專利名稱：用于確定成像設備運動的方法和系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及用于確定成像設備運動的方法和系統(tǒng)。
背景技術：
成像設備的使用者，例如靜止圖像照相機或視頻攝像機的使用者，經常捕捉到模糊或抖動的圖像。引起圖像的模糊或抖動可能是由于在捕捉圖像期間物體運動，也可能是由于成像設備自身在圖像捕捉期間的運動產生的振動。例如，照相機顫動、快門速度較低、或者使用不帶三角架的攝遠鏡頭，都可能由于成像設備在圖像捕捉期間發(fā)生運動而造成模糊或抖動的圖像。
圖像穩(wěn)定技術用于對成像器在圖像捕捉期間的運動進行補償。圖像穩(wěn)定通過對成像設備或成像器的運動產生的振動提供阻尼或反作用而產生更加清晰的圖像。一種圖像穩(wěn)定技術采用內建的陀螺傳感器，在照相機發(fā)生抖動時對這種抖動進行測量和校正。另一種圖像穩(wěn)定技術采用成像傳感器來捕捉用于對成像器的運動進行補償?shù)膱D像。
圖1是根據現(xiàn)有技術的成像設備正視圖的框圖。成像設備100包括成像器102和運動傳感器104。如圖2所示，成像器102和運動傳感器104都對景物106的圖像進行捕捉。運動傳感器104以高幀率捕捉圖像，通過對傳感器104的連續(xù)圖像進行相關處理來對成像設備100的運動進行計算。運動傳感器104與成像器102相比具有較少的象素，使得傳感器104的視場110比成像器102要小。較小的視場可能使運動傳感器104檢測到圖像106中產生的運動，并錯誤地對這種運動而不是對成像設備的任何運動進行補償。例如，在成像器102對人的圖像進行捕捉時，運動傳感器104可能捕捉到人頭部的圖像。在圖像捕捉期間，運動傳感器104會檢測到人晃動頭部的運動。但是成像設備100可能并未運動，或者其運動比頭部的運動要少。這樣，圖像穩(wěn)定技術就可能錯誤地對未發(fā)生的運動進行補償，或者對成像設備100的運動進行了過度補償。

發(fā)明內容
根據本發(fā)明，提供了用于確定成像設備運動的方法和系統(tǒng)。成像設備中包括多個運動傳感器件。一個或多個運動傳感器件捕捉圖像，然后至少部分傳感圖像得到處理以確定所處理的傳感圖像的一個或多個運動矢量。當運動矢量的預定部分匹配時，產生表示成像器在圖像捕捉期間運動量的至少一個運動矢量。


圖1是根據現(xiàn)有技術的成像設備正視圖的框圖；圖2是圖1所示成像設備左側視圖的框圖；圖3是根據本發(fā)明一種實施例的成像設備正視圖的框圖；圖4是成像設備300的左側視圖的框圖；圖5A-5B圖示了根據本發(fā)明一種實施例對成像設備的運動進行確定的方法的流程圖；圖6是根據本發(fā)明一種實施例中景物和傳感圖像的框圖；圖7圖示了根據本發(fā)明一種實施例中帶有窗口的傳感圖像602；圖8圖示了根據本發(fā)明一種實施例中帶有子窗口的窗口700；圖9圖示了根據圖5A-5B所示方法處理的帶有窗口的第一傳感圖像；圖10圖示了根據圖5A-5B所示方法處理的帶有窗口的第二傳感圖像。
具體實施例方式
進行下面的說明是為了使本領域技術人員能夠制造和使用本發(fā)明的實施例，文中闡明了本發(fā)明申請及其要求。對于本領域技術人員而言，容易對所公開的實施例進行各種改變，本發(fā)明的一般原理可以應用到其他實施例中。因此，本發(fā)明不應限于所示出的實施例，而應當具有與權利要求及此處所述原理和特征一致的最寬范圍。應當明白，本發(fā)明涉及的附圖不是按比例繪制的。
在所有附圖中，相同的標號表示相應的部件。圖3是根據本發(fā)明一種實施例中成像設備正視圖的框圖。成像設備300包括成像器102和光學運動傳感器302。運動傳感器302包括傳感器件304、306、308，在根據本發(fā)明的一種實施例中，它們可以以互補金屬氧化物半導體(CMOS)器件的形式來實現(xiàn)。在根據本發(fā)明的其他實施例中，傳感器件304、306、308可以采用其他成像器件來實現(xiàn)，例如電荷耦合器件(CCD)。
成像器102以任何可以捕捉靜止圖像或視頻圖像的已知成像設備的形式實現(xiàn)。成像器102捕捉位于其視場中的景物106的圖像。在根據本發(fā)明的一種實施例中，傳感器件304、306、308捕捉若干景物片段的一個或多個圖像。在根據本發(fā)明的另一種實施例中，一些或全部傳感器件304、306、308對位于成像器102視場外的圖像的一個或多個圖像進行捕捉。
傳感器圖像用于確定與成像設備300在圖像捕捉期間的運動有關的一個或多個運動矢量(即方向和距離值)。在根據本發(fā)明的一種實施例中，圖像穩(wěn)定技術采用一個或多個運動矢量來對成像器102捕捉的圖像進行穩(wěn)定。盡管圖3中只示出了三個傳感器件，但是根據本發(fā)明的實施例可以包括任意數(shù)量的多個傳感器。
圖4是成像設備300的左側視圖的框圖。為了清楚起見，并未示出成像器102。小透鏡陣列400包括分別設置在傳感器件304、306、308成像路徑中的三個透鏡402、404、406?？梢詫γ總€透鏡進行傾斜和旋轉以使其相應的傳感器件能夠捕捉景物106的不同片段。例如，在根據本發(fā)明的一種實施例中，透鏡402設置為(例如傾斜)使傳感器件304能夠捕捉景物106的子區(qū)域408的圖像，透鏡404設置為使傳感器件306能夠捕捉子區(qū)域410的圖像，而透鏡406設置為使傳感器件308能夠捕捉子區(qū)域412的圖像。在根據本發(fā)明的其他實施例中，小透鏡陣列400中的透鏡可以設置在任何給定方向上。
傳感器304、306、308捕捉的傳感圖像由處理裝置414進行處理，以確定每個傳感圖像的一個或多個運動矢量。在根據本發(fā)明的一種實施例中，傳感圖像在得到處理之前儲存在存儲器416中?？梢杂糜诖_定運動矢量的一種技術是圖像相關。對同一傳感器捕捉到的兩個圖像進行相關處理以便確定捕捉兩個圖像的時間之間是否有運動發(fā)生。運動可以是來自成像設備的運動、景物中物體的運動，或者既有成像設備的運動又有景物中物體的運動。圖5A-5B圖示了根據本發(fā)明的一種實施例中對圖像裝置的運動進行確定的方法的流程圖。
共同轉讓的美國專利申請11/014,482中公開了可以用于確定運動矢量的另一種技術，該申請通過引用而結合于此。對于成像設備300中的每個傳感器件304、306、308，捕捉兩個傳感圖像，并通過從一個傳感圖像I(t+Δ)中減去另一個傳感圖像I(t)而產生差別圖像。例如，從圖像I(t+Δ)的灰度值中減去來自圖像I(t)的灰度值。這樣，差別圖像就代表了兩個傳感圖像之間灰度值的差異。
然后將差別圖像與用于產生差別圖像的傳感圖像之一進行相關。例如，在根據本發(fā)明的一種實施例中，差別圖像與圖像I(t)進行相關。在根據本發(fā)明的另一種實施例中，差別圖像與圖像I(t+Δ)進行相關。然后用進行相關所得結果來確定捕捉到圖像I(t)和I(t+Δ)的時間之間是否發(fā)生了運動。同樣，運動可以是來自成像設備的運動、景物中物體的運動，或者既有成像設備的運動又有景物中物體的運動。
圖5A-5B圖示了根據本發(fā)明的一種實施例中對圖像裝置的運動進行確定的方法的流程圖。一開始，如方框500所示，成像設備中的一些或全部傳感器件捕捉到傳感圖像。可以同時捕捉傳感圖像，也可以連續(xù)捕捉。
如前所述，每個傳感圖像描述了景物的一個片段。圖6是根據本發(fā)明的一種實施例中，景物和傳感圖像的框圖。景物600包括傳感圖像602、604、606。在圖6的實施例中，傳感圖像602、604、606的位置對應于圖3中傳感器件304、306、308。根據本發(fā)明的其他實施例可以包括任意給定數(shù)量的傳感圖像。此外，傳感圖像可以按照任何給定的方式布置。
再參考圖5A，在方框502處判斷是否對傳感圖像進行細分。在圖5A-5B所示實施例中，所有的傳感圖像都進行了細分。在根據本發(fā)明的另一種實施例中，并非所有的傳感圖像都進行細分。在根據本發(fā)明的再一種實施例中，一些或全部傳感圖像只有一部分進行了細分。
如果要對傳感圖像進行細分，則流程進行到方框504，在該處判斷是否對傳感圖像中的窗口進行細分。如果窗口不進行細分，則方框506處在傳感圖像中產生兩個或多個窗口。圖7圖示了根據本發(fā)明的一種實施例中具有窗口的傳感圖像602。傳感圖像602包括九個窗口700，每個窗口700包括傳感圖像602中的部分圖像。窗口700可以尺寸相同，也可以尺寸不同。此外，窗口700的形狀不限于正方形或矩形。窗口700可以設置為任何給定的形狀。
接下來，在方框508處，對傳感圖像中的多個窗口進行單獨處理以確定每個窗口的運動矢量。在根據本發(fā)明的另一種實施例中，不是對所有窗口都進行處理，而是選擇出要處理的窗口。在根據本發(fā)明的再一種實施例中，可以將窗口以各種布局分組到一起，并對所得的組進行處理。
然后在方框510處儲存運動矢量，并對是否還有傳感圖像要處理進行判斷(方框512)。如果還有傳感圖像要處理，則本方法返回方框506并重復進行，直到所有的傳感圖像都得到處理。
回到方框504，如果要對窗口進行細分，則流程進行到框514，該處在傳感圖像中產生兩個或多個窗口。然后，在方框516處，在窗口中產生兩個或多個子窗口。在圖5A-5B所示的實施例中，所有的窗口都進行了細分。在根據本發(fā)明的另一種實施例中，并非所有窗口都進行細分。在根據本發(fā)明的再一種實施例中，一些或全部傳感圖像只有一部分進行了細分。
圖8圖示了根據本發(fā)明的一種實施例中帶有子窗口的窗口700。窗口700包括四個子窗口800，每個子窗口包括窗口700中的部分圖像。子窗口800可以尺寸相等，也可以尺寸不同。此外，子窗口800的形狀不限于正方形或矩形。子窗口可以設置為任何給定的形狀。
然后在方框518處對窗口中的每個子窗口進行單獨處理，以確定每個子窗口的運動矢量。在根據本發(fā)明的另一種實施例中，不是對所有子窗口都進行處理，而是選擇出要處理的子窗口。在根據本發(fā)明的再一種實施例中，可以將子窗口以各種布局分組到一起，并對所得的組進行處理。
接下來，在方框520和522處儲存運動矢量，并對是否還有窗口要處理進行判斷。如果還有窗口要處理，則本方法返回方框514并重復進行，直到所有的窗口都得到處理。當沒有剩余窗口要處理時，流程在方框524處繼續(xù)進行，在該處確定是否還有傳感圖像要處理。如果有，則本方法返回方框514并重復進行，直到所有的傳感圖像都得到處理。
當所有傳感圖像的運動矢量都確定時，在方框526處對運動矢量進行比較。然后在方框528處判斷是否所有運動矢量都匹配。圖9圖示了根據圖5A-5B方法處理的、帶有窗口的第一傳感圖像。每個窗口的運動矢量由箭頭900指示。如圖9所示，所有窗口的運動矢量都匹配。因此，運動矢量900指示了根據本發(fā)明的一種實施例中在圖像捕捉期間成像器的運動量。圖像穩(wěn)定技術中采用與運動矢量900相關的值來對成像設備中的成像器(例如圖3中成像設備300的成像器102)捕捉到的圖像進行穩(wěn)定。
如果不是所有窗口或子窗口的運動矢量都匹配，則本方法進行到方框530，在該處判斷是否窗口或子窗口中大部分運動矢量都匹配。圖10圖示了根據圖5A-5B所示方法處理的、帶有窗口的第二傳感圖像。四個窗口的運動矢量由箭頭1000指示，而五個窗口的運動矢量由箭頭1002指示。由于五個窗口在九個中是大部分，所以與運動矢量1002相關的值指示了成像器的運動量，并由圖像穩(wěn)定技術用于對根據本發(fā)明一種實施例中的成像器所捕捉的圖像進行穩(wěn)定。在根據本發(fā)明一種實施例中，運動矢量1000表示景物中發(fā)生的運動，不被圖像穩(wěn)定技術所采用。
如果大部分運動矢量不匹配，則運動矢量表示圖像捕捉期間景物中發(fā)生的運動。所以，在方框532處輸出等于零的運動矢量，因為運動不是由于成像設備的運動造成的。如果在方框528處所有的運動矢量都匹配，或者在方框530處大部分運動矢量都匹配，則在方框534處輸出與所有運動矢量或者所述大部分運動矢量相等的運動矢量。然后在圖像穩(wěn)定技術中采用方框534處輸出的運動矢量來對成像設備中成像器所捕捉的圖像進行穩(wěn)定。
再參考圖5A中的方框502，如果不對傳感圖像進行細分，則本方法進行到方框536處，在根據本發(fā)明一種實施例中，在該處對傳感圖像進行單獨處理以確定每個傳感圖像的運動矢量。然后在方框526處對運動矢量進行比較，并確定是否所有的運動矢量都匹配(方框528)。如果傳感圖像的運動矢量不匹配，則本方法在方框530處繼續(xù)進行，在該處確定是否大部分傳感圖像的運動矢量都匹配。
如果大部分運動矢量都不匹配，則在方框532處輸出等于零的運動矢量。如果所有或者大部分傳感圖像的運動矢量都匹配，則在方框534處輸出與所有傳感圖像或者所述大部分傳感圖像中的運動矢量相等的運動矢量。然后在圖像穩(wěn)定技術中采用方框534處輸出的運動矢量來對成像設備中成像器所捕捉的圖像進行穩(wěn)定。
盡管圖5A-5B所示方法對與傳感圖像相關的運動矢量進行比較以確定是否所有或者大部分都匹配，但是根據本發(fā)明的其他實施例不限于這樣的實施方式。在根據本發(fā)明的其他實施例中，對運動矢量進行比較以確定是否運動矢量的預定部分是匹配的。此外，所述比較不一定包括所有計算出的運動矢量。根據本發(fā)明的其他實施例可以僅僅對部分運動矢量進行比較，或者對比較哪些運動矢量進行選擇。
圖5A-5B圖示了用于確定成像設備運動的一種方法。根據本發(fā)明的實施例不限于圖5A-5B所示的方框或其順序。根據本發(fā)明的其他實施例可以包括圖5A-5B中未曾示出的其他方框。此外，還可以刪去或者重新排列圖5A-5B所示的一個或多個方框。例如，可以不對窗口進行細分，就可以不必在根據本發(fā)明的這種實施例中包括方框514-524。
權利要求
1.一種成像設備，包括多個傳感器件，每個所述傳感器件能夠用來捕捉一個或多個傳感圖像；以及包括多個透鏡的透鏡陣列，其中，每個透鏡設置在相應傳感器件的成像路徑中，使得由所述多個傳感器件中所述傳感器件之一捕捉到的一個或多個傳感圖像與其他傳感器件捕捉到的圖像不同。
2.根據權利要求1所述的成像設備，還包括成像器，所述成像器能夠用來捕捉一個或多個圖像。
3.根據權利要求2所述的成像設備，還包括處理裝置，所述處理裝置能夠用來從所述多個傳感器件接收所述一個或多個傳感圖像，并確定至針對于少部分所述傳感圖像的一個或多個運動矢量。
4.根據權利要求3所述的成像設備，其中，所述處理裝置能夠用來在至少部分所述傳感圖像中產生多個窗口并確定針對于每個窗口的運動矢量。
5.根據權利要求4所述的成像設備，其中，所述處理裝置能夠用來在至少部分所述窗口中產生多個子窗口并確定針對于每個子窗口的運動矢量。
6.根據權利要求2所述的成像設備，其中，當與所述傳感圖像相關的所述運動矢量的預定部分匹配時，所述處理裝置能夠用來產生表示所述成像器運動量的一個或多個運動矢量。
7.一種用于確定成像設備中成像器的運動量的系統(tǒng)，所述系統(tǒng)包括多個運動傳感器件，每個所述運動傳感器件能夠用來捕捉一個或多個傳感圖像；包括多個透鏡的透鏡陣列，其中，每個透鏡設置在相應運動傳感器件的成像路徑中，使得由所述多個運動傳感器件中所述運動傳感器件之一捕捉到的一個或多個傳感圖像與其他運動傳感裝置捕捉到的圖像不同；和處理裝置，所述處理裝置能夠用來從所述多個運動傳感器件接收所述一個或多個傳感圖像，并能夠用來確定針對于至少部分所述傳感圖像的一個或多個運動矢量，其中，當與所述傳感圖像相關的所述運動矢量的至少預定部分匹配時，產生表示所述成像器運動量的一個或多個運動矢量。
8.根據權利要求7所述的系統(tǒng)，還包括存儲器，所述存儲器能夠用來對與所述傳感圖像相關的所述一個或多個運動矢量進行儲存。
9.根據權利要求7所述的系統(tǒng)，其中，所述處理裝置能夠用來在至少部分所述傳感圖像中產生多個窗口并確定針對于每個窗口的運動矢量。
10.根據權利要求7所述的系統(tǒng)，其中，所述處理裝置能夠用來在至少部分所述窗口中產生多個子窗口并對每個子窗口進行處理以確定針對于每個子窗口的運動矢量。
11.一種用于確定成像設備中成像器運動量的方法，包括接收包括景物第一片段的第一傳感圖像；接收包括景物第二片段的第二傳感圖像，其中，所述景物第一片段與所述景物第二片段不同；以及確定針對于所述第一傳感圖像和所述第二傳感圖像的一個或多個運動矢量。
12.根據權利要求11所述的方法，還包括對針對于所述第一傳感圖像和所述第二傳感圖像的所述運動矢量進行比較；確定所述運動矢量的預定部分是否匹配；以及當所述運動矢量的所述預定部分匹配時，產生表示所述成像器運動量的運動矢量。
13.根據權利要求11所述的方法，還包括在至少部分的所述第一傳感圖像和第二傳感圖像中產生多個窗口。
14.根據權利要求13所述的方法，其中，確定針對于所述第一傳感圖像和所述第二傳感圖像的一個或多個運動矢量的步驟包括確定針對于所述第一傳感圖像和所述第二傳感圖像中至少部分所述窗口的運動矢量。
15.根據權利要求14所述的方法，還包括比較針對于所述第一傳感圖像和所述第二傳感圖像中所述窗口確定的所述運動矢量；判斷所述運動矢量的預定部分是否匹配；以及當所述運動矢量的所述預定部分匹配時，產生表示所述成像器運動量的一個或多個運動矢量。
16.根據權利要求15所述的方法，還包括對針對于所述第一傳感圖像和所述第二傳感圖像中所述窗口確定的運動矢量進行儲存。
17.根據權利要求13所述的方法，還包括為所述第一傳感圖像和所述第二傳感圖像中至少部分所述窗口產生多個子窗口。
18.根據權利要求17所述的方法，其中，確定針對于所述第一傳感圖像和所述第二傳感圖像的一個或多個運動矢量的步驟包括確定針對于至少部分所述子窗口的運動矢量。
19.根據權利要求18所述的方法，還包括比較針對于所述子窗口確定的所述運動矢量；確定所述運動矢量的預定部分是否匹配；以及當所述運動矢量的所述預定部分匹配時，產生表示所述成像器運動量的一個或多個運動矢量。
20.根據權利要求19所述的方法，還包括存儲針對于所述子窗口確定的所述運動矢量。
全文摘要
本發(fā)明公開了用于確定成像設備運動的方法和系統(tǒng)。成像設備中包括多個運動傳感器件。一個或多個運動傳感器件捕捉圖像，然后對至少部分傳感圖像進行處理以確定所處理的傳感圖像的一個或多個運動矢量。當運動矢量的預定部分匹配時，產生表示成像器在圖像捕捉期間運動量的至少一個運動矢量。
文檔編號H04N5/225GK1921565SQ20061011157
公開日2007年2月28日 申請日期2006年8月23日 優(yōu)先權日2005年8月26日
發(fā)明者雷內·P·海爾兵, 威廉·R·小托特納 申請人:安華高科技Ecbu Ip(新加坡)私人有限公司