專利名稱：圖像處理裝置和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置和圖像處理方法。
背景技術(shù)：
以往，公知有根據(jù)拍攝的動態(tài)圖像幀間的運動數(shù)據(jù)進行動態(tài)圖像的校正處理的裝置。例如，在下面的專利文獻I中公開了以下裝置計算基準圖像與比較圖像間的運動數(shù)據(jù)，利用運動數(shù)據(jù)，按每個對應(yīng)的塊計算圖像間的像素值的差分，根據(jù)該像素值的差分，按每個塊決定基準圖像與比較圖像的重疊比率，進行重疊處理，得到合成圖像，由此得到更鮮明的手抖校正圖像。專利文獻專利文獻1:日本特開2009-164857號公報
此外，公知有通過合成由多個照相機拍攝的圖像而取得具有立體感的立體圖像的技木。此外，還公知有連續(xù)地拍攝、顯示這種立體圖像來取得立體動態(tài)圖像的技木。在這種立體動態(tài)圖像中，與普通的動態(tài)圖像同樣，需要進行手抖校正、失真校正等校正處理。在分別對從多個攝像元件取得的圖像獨立地進行專利文獻I中記載的手抖校正的情況下，無法得到從各攝像元件取得的圖像間的手抖校正的匹配性，可能無法進行適當?shù)男Ｕ幚怼?br>
發(fā)明內(nèi)容
因此，本發(fā)明的目的在于提供能夠進行在從多個攝像元件得到的圖像之間具有匹配性的校正處理的圖像處理裝置和圖像處理方法。本發(fā)明的圖像處理裝置對由攝像裝置拍攝的多個幀圖像進行圖像處理，其中，所述攝像裝置具有多個依次連續(xù)地拍攝第I幀圖像和第2幀圖像的攝像元件，所述圖像處理裝置的特征在于，該圖像處理裝置具有設(shè)置信息取得部，其按每個攝像元件，取得表示攝像元件相對于攝像裝置的設(shè)置狀態(tài)的設(shè)置信息；運動信息取得部，其取得第I幀圖像和第2幀圖像間的攝像裝置的運動信息；以及輸出區(qū)域取得部，其按每個攝像元件，取得第2輸出區(qū)域的位置信息，該第2輸出區(qū)域是第2幀圖像內(nèi)的區(qū)域，與第I幀圖像內(nèi)的第I輸出區(qū)域?qū)?yīng)，輸出區(qū)域取得部根據(jù)由設(shè)置信息決定的第I輸出區(qū)域的位置信息和運動信息，取得多個攝像元件中的作為基準的基準攝像元件的第2輸出區(qū)域，輸出區(qū)域取得部根據(jù)基準攝像元件的設(shè)置信息、多個攝像元件中的不同于基準攝像元件的其它攝像元件的設(shè)置信息以及運動信息，取得其它攝像元件的第2輸出區(qū)域。本發(fā)明的圖像處理方法用于對由攝像裝置拍攝的多個幀圖像進行圖像處理，其中，攝像裝置具有多個依次連續(xù)地拍攝第I幀圖像和第2幀圖像的攝像元件，圖像處理方法的特征在于，該圖像處理方法包括以下步驟設(shè)置信息取得步驟，按每個攝像元件，取得表示攝像元件相對于攝像裝置的設(shè)置狀態(tài)的設(shè)置信息；運動信息取得步驟，取得第I幀圖像和第2幀圖像間的攝像裝置的運動信息；以及輸出區(qū)域取得步驟，按每個攝像元件，取得第2輸出區(qū)域的位置信息，該第2輸出區(qū)域是第2幀圖像內(nèi)的區(qū)域，與第I幀圖像內(nèi)的第I輸出區(qū)域?qū)?yīng)，在輸出區(qū)域取得步驟中，根據(jù)由設(shè)置信息決定的第I輸出區(qū)域的位置信息和運動信息，取得多個攝像元件中的作為基準的基準攝像元件的第2輸出區(qū)域，在輸出區(qū)域取得步驟中，根據(jù)基準攝像元件的設(shè)置信息、多個攝像元件中的不同于基準攝像元件的其它攝像元件的設(shè)置信息以及運動信息，取得其它攝像元件的第2輸出區(qū)域。根據(jù)這種發(fā)明，根據(jù)由設(shè)置信息決定的第I輸出區(qū)域的位置信息和運動信息，取得基準攝像元件的第2輸出區(qū)域，根據(jù)基準攝像元件的設(shè)置信息、其它攝像元件的設(shè)置信息以及運動信息，取得多個攝像元件中的不同于基準攝像元件的其它攝像元件的第2輸出區(qū)域。此處，基準攝像元件的第2輸出區(qū)域和其它攝像元件的第2輸出區(qū)域是根據(jù)在這些攝像元件之間通用的運動信息而取得的，因此，能夠進行在從多個攝像元件得到的圖像之間具有匹配性的校正處理。此處，還可以具有判定部，該判定部針對所有攝像元件，判定第2輸出區(qū)域的位置信息是否位于第2幀圖像內(nèi)，在第2輸出區(qū)域的位置信息不位于第2幀圖像內(nèi)的情況下，輸出區(qū)域取得部對根據(jù)第I輸出區(qū)域的·位置信息與第2輸出區(qū)域的位置信息之間的差分求出的移動量進行縮小調(diào)整，直到在所有攝像元件中，第2輸出區(qū)域的位置信息位于第2幀圖像內(nèi)為止。該情況下，可以防止由于第2輸出區(qū)域不位于第2幀圖像內(nèi)而導(dǎo)致無法進行圖像處理。運動信息取得部可以從基準攝像元件拍攝的第I幀圖像和第2幀圖像中取得運動信息。該情況下，能夠從圖像取得運動信息，因此不需要新的硬件的結(jié)構(gòu)，就能夠取得多個攝像元件中通用的運動信息。運動信息取得部可以通過陀螺儀傳感器取得運動信息。該情況下，能夠從陀螺儀傳感器取得多個攝像元件中通用的運動信息，因此能夠降低運算負荷。運動信息取得部取得從多個攝像元件拍攝的第I幀圖像和第2幀圖像中得到的運動信息的加權(quán)平均，作為運動信息。該情況下，根據(jù)多個攝像元件取得運動信息，因此，能夠高精度地取得運動信息。此外，可以根據(jù)攝像條件從多個攝像元件的中選擇基準攝像元件。該情況下，例如選擇性能優(yōu)越的攝像元件作為基準攝像元件，由此能夠高精度地取得運動信息。輸出區(qū)域取得部可以將由于具有多個攝像元件而所需的輸出區(qū)域以外的區(qū)域用作為由于運動而進行校正時使用的區(qū)域。此時，在將用于得到立體圖像的邊緣和由于運動而進行校正時的邊緣共用的情況下，能夠利用ー個邊緣進行多個校正處理。因此，能夠減少因確保邊緣而導(dǎo)致的校正處理后的有效像素數(shù)下降。根據(jù)本發(fā)明，能夠進行在從多個攝像元件得到的圖像間具有匹配性的校正處理。


圖1是說明多個攝像元件的手抖校正的概要的圖。圖2是示出第I實施方式的圖像處理裝置的功能結(jié)構(gòu)的框圖。圖3是說明第I攝像元件和第2攝像元件的設(shè)置信息的圖。圖4是示出圖像處理裝置的硬件結(jié)構(gòu)的圖。圖5是說明運動イ目息的圖。圖6是示出輸出區(qū)域取得部中的運算處理的步驟的圖。
圖7是示出第I實施方式的第2輸出區(qū)域的取得處理的流程圖。圖8是示出第2實施方式的圖像處理裝置的功能結(jié)構(gòu)的框圖。圖9是說明運動校正矩陣的再計算方法的圖。圖10是示出第2實施方式的第2輸出區(qū)域的取得處理的流程圖。圖11是示出第3實施方式的圖像處理裝置的功能結(jié)構(gòu)的框圖。圖12是示出平均運動校正矩陣的取得處理的步驟的圖。圖13是示出第3實施方式的第2輸出區(qū)域的取得處理的流程圖。圖14是示出平均運動校正矩陣的取得處理的流程圖。 標號說明1、1A、1B圖像處理裝置；10攝像部；11第I攝像元件；12第2攝像元件；21第I輸入部；22第2輸入部；30信息取得部；40設(shè)置信息取得部；41設(shè)置信息存儲部；50、50A、50B輸出區(qū)域取得部；60判定部。
具體實施例方式以下，參照附圖對本發(fā)明的實施方式進行說明。在附圖的說明中，對相同的要素標注相同的標號，省略重復(fù)的說明。(第I實施方式)第I實施方式的圖像處理裝置進行在從多個攝像元件輸入的圖像之間具有匹配性的手抖校正處理，并安裝在便攜電話、數(shù)碼照相機、攝像機或者普通的計算機系統(tǒng)中。例如，用于多鏡頭照相機。在本實施方式中，作為多個攝像元件的例子，對具有兩個攝像元件的結(jié)構(gòu)進行說明。首先，為了便于理解發(fā)明，對從兩個攝像元件取得立體圖像的方法進行說明。圖1示出兩個攝像元件即第I攝像元件和第2攝像元件拍攝的輸入幀和對該輸入幀的一部分的像素區(qū)域進行剪切而得到的輸出幀。以下，將從第I攝像元件拍攝的第I幀、第2幀中剪切的區(qū)域(第I輸出區(qū)域)分別稱為第I輸出區(qū)域AU、第2輸出區(qū)域A12。此外，將從第2攝像元件拍攝的第I幀、第2幀中剪切的區(qū)域(第2輸出區(qū)域)分別稱為第I輸出區(qū)域A21、第2輸出區(qū)域A22。為了使用第I攝像元件和第2攝像元件得到立體圖像，剪切第I攝像元件拍攝的第I幀圖像中的包含對象物T的規(guī)定的圖像區(qū)域作為第I輸出區(qū)域All，從第2攝像元件12拍攝的第I幀圖像中剪切與第I輸出區(qū)域All對應(yīng)的第I輸出區(qū)域A21。然后，根據(jù)第I輸出區(qū)域All與第1輸出區(qū)域A21之間的視差信息得到立體圖像。此處，與第I輸出區(qū)域A12對應(yīng)的第1輸出區(qū)域A21的位置由第2攝像元件相對于第I攝像元件的設(shè)置位置、設(shè)置角度等設(shè)置信息唯一地決定。此外，與第I輸出區(qū)域A21對應(yīng)的第I輸出區(qū)域All的位置由第I攝像元件相對于第2攝像元件的設(shè)置位置、設(shè)置角度等設(shè)置信息唯一地決定。設(shè)置信息在后面詳細敘述。本實施方式的圖像處理裝置檢測第I幀圖像和第2幀圖像間的攝像部10的運動信息，根據(jù)攝像部的移動量，移動第I攝像元件和第2攝像元件的第2輸出區(qū)域A12、A22的位置，取得移動后的第2輸出區(qū)域A12、A22的位置信息。此處，如果各自的攝像元件獨立地進行手抖校正，則無法取得第2輸出區(qū)域A12與第2輸出區(qū)域A22之間的對應(yīng)，可能無法得到適當?shù)囊暡钚畔?。因此，本實施方式的圖像處理裝置將根據(jù)一方的攝像元件的運動信息而得到的輸出區(qū)域的移動量反映到另一方的攝像元件的輸出區(qū)域，由此與設(shè)置位置無關(guān)地進行具有匹配性的手抖校正。以下，對本實施方式的圖像處理裝置進行說明。圖2是示出本實施方式的圖像處理裝置I的功能結(jié)構(gòu)的框圖。圖像處理裝置I是對具有多個攝像元件的攝像部10拍攝的圖像進行圖像處理的裝置。本實施方式的攝像部10具有兩個攝像元件。攝像部10具有第I攝像元件11和第2攝像元件12。第I攝像元件11和第2攝像元件12是對攝像對象物進行拍攝的單元,例如，以C-MOS (Complementary Metal OxideSemiconductor :互補金屬氧化物半導(dǎo)體)或CCD (Charged Coupled Device:電荷稱合兀件)等攝像元件為主要部件而構(gòu)成。第I攝像元件11和第2攝像元件12連續(xù)地依次拍攝第I幀圖像和第2幀圖像。此處，如圖3 (a)、(b)所示，第I攝像元件11和第2攝像元件12被配置為彼此具有規(guī)定的間隔、角度。如圖3 (a)所示，這樣配置的攝像部10對同一攝像對象物T進行拍攝。攝像部10由多個攝像元件中的作為基準的基準攝像元件、和作為不同于基準攝像元件的其它攝像元件的參照攝像元件構(gòu)成。由基準攝像元件拍攝的圖像在生成運動信息時使用，該運動信息在進行圖像的校正處理時使用。在本實施方式中，將第I攝像元件11作為基準攝像元件，將第2攝像元件12作為參照攝像元件。第I攝像元件11和第2攝像元件12將拍攝的第I幀圖像和第2幀圖像作為圖像數(shù)據(jù)輸出到圖像處理裝置I。 圖4是圖像處理裝置I的硬件結(jié)構(gòu)圖。如圖4所示，圖像處理裝置I作為普通的計算機系統(tǒng)而構(gòu)成，其在物理上包含CPU (Central Processing Unit :中央處理單元)100、ROM (Read Only Memory :只讀存儲器)101 以及 RAM (Random Access Memory :隨機存取存儲器)102等主存儲裝置、鍵盤等輸入設(shè)備103、顯示器等輸出設(shè)備104、硬盤等輔助存儲裝置105等。在CPU100、R0M10U RAM102等硬件上讀取規(guī)定的計算機軟件，由此在CPU100的控制下使輸入設(shè)備103和輸出設(shè)備104動作，進行主存儲裝置和輔助存儲裝置105中的數(shù)據(jù)的讀出和寫入，從而實現(xiàn)后述圖像處理裝置I的各功能。此外，圖像處理裝置I也可以具有通信模塊等。如圖2所示，圖像處理裝置I在功能上具有第I輸入部21、第2輸入部22、運動信息取得部30、設(shè)置信息取得部40、設(shè)置信息存儲部41以及輸出區(qū)域取得部50。第I輸入部21是取得由基準攝像元件即第I攝像元件11拍攝的圖像數(shù)據(jù)(以下，稱為基準圖像)的功能。第I輸入部21將由第I攝像元件拍攝的第I幀圖像和第2幀圖像輸出到運動信息取得部30和輸出區(qū)域取得部50。第2輸入部22是取得由參照攝像元件即第2攝像元件12拍攝的圖像數(shù)據(jù)(以下，稱為參照圖像)的功能。第2輸入部22分別取得第2攝像元件12拍攝的第I幀圖像和第2幀圖像。第2輸入部22將第2攝像元件拍攝的第I幀圖像和第2幀圖像輸出到輸出區(qū)域取得部50。運動信息取得部30是取得第I幀圖像和第2幀圖像間的攝像部10的運動信息的功能。運動信息是根據(jù)作為基準的第I幀圖像和第2幀圖像間的空間位移量計算的值。具體而言，在第I幀圖像和第2幀圖像中，在幀間檢索與分割為規(guī)定大小的塊內(nèi)的圖像信號圖案最類似的圖像信號圖案，計算幀間的最類似的圖像信號圖案間的空間位移量(運動矢量)作為運動信息。具體而言，如圖5所示，運動信息取得部30取得第2幀圖像相對于第I幀圖像的旋轉(zhuǎn)量9、圖像原點的偏移量ぉ、(17、放大量8，作為運動信息。運動信息取得部30將取得的運動信息輸出到輸出區(qū)域取得部50。設(shè)置信息取得部40取得表示第I攝像元件11以及第2攝像元件12相對于攝像部10的設(shè)置狀態(tài)的設(shè)置信息。設(shè)置信息是表示攝像元件相對于攝像部10的設(shè)置位置、設(shè)置角度等的參數(shù)。這些參數(shù)是在設(shè)計攝像部10時設(shè)定的參數(shù)，當攝像部10與圖像處理裝置I連接時，取得存儲在攝像部10中的設(shè)置信息，存儲到設(shè)置信息存儲部41。設(shè)置信息取得部40從設(shè)置信息存儲部41取得第I攝像元件11和第2攝像元件12的設(shè)置信息。設(shè)置信息取得部40將取得的第I攝像元件11和第2攝像元件12的設(shè)置信息輸出到輸出區(qū)域取得部50。另外，設(shè)置信息取得部40也可以直接從攝像部10取得設(shè)置信息。輸出區(qū)域取得部50取得第2輸出區(qū)域A12、A22的位置信息，第2輸出區(qū)域A12、A22是第2幀圖像內(nèi)的區(qū)域，與第I幀圖像內(nèi)的第I輸出區(qū)域All、A21對應(yīng)。此處，與第1輸出區(qū)域A11、A21對應(yīng)的第2輸出區(qū)域A12、A22是指，與第I輸出區(qū)域A11、A21成對的第2輸出區(qū)域A12、A22。輸出區(qū)域取得部50以相對于第I幀圖像中的第I輸出區(qū)域A11、A21抖動消失的方式設(shè)定第2幀圖像的第2輸出區(qū)域A12、A22的位置。有時所設(shè)定的第2輸出區(qū)域A12、A22的位置是與第I輸出區(qū)域A11、A21 —致的位置，有時是與第I輸出區(qū)域A11、A21不同的位置。輸出區(qū)域取得部50按每個攝像元件取得第2輸出區(qū)域。以下，對用于取得第I攝像元件11和第2攝像元件12的第2輸出區(qū)域A12、A22的位置信息的運算處理進行說明。圖6示出用于取得第I攝像元件11和第2攝像元件12的第2輸出區(qū)域A12、A22的位置信息的運算處理的步驟。根據(jù)圖6，說明輸出區(qū)域取得部50的運算處理。首先，輸出區(qū)域取得部50根據(jù)式(I)將參照圖像的第I幀圖像內(nèi)的任意坐標(X’，y’)變換為正規(guī)坐標系(正規(guī)座標系)的坐標(xn，yn)0正規(guī)矩陣是進行從輸入圖像的坐標系向正規(guī)坐標系的變換的矩陣。此處，式(I)的正規(guī)矩陣(正規(guī)化行列鴻’—1是式(2)所示的第2攝像元件12的逆正規(guī)矩陣M’的逆矩陣。逆正規(guī)矩陣M’是進行從正規(guī)坐標系向參照圖像的坐標系的變換的矩陣。逆正規(guī)矩陣M，由第2攝像元件12的第I幀圖像的第I輸出區(qū)域A21的剪切位置即(Xl’，y/ )、(x2’，y2’)、U3，，y/ )求出，是由從設(shè)置信息取得部40輸出的第2攝像元件12相對于攝像部10的位置信息決定的矩陣。
權(quán)利要求
1.一種圖像處理裝置，其對由攝像裝置拍攝的多個幀圖像進行圖像處理，其中，所述攝像裝置具有多個依次連續(xù)地拍攝第I幀圖像和第2幀圖像的攝像元件，所述圖像處理裝置的特征在于，該圖像處理裝置具有 設(shè)置信息取得部，其按每個所述攝像元件，取得表示所述攝像元件相對于所述攝像裝置的設(shè)置狀態(tài)的設(shè)置信息； 運動信息取得部，其取得所述第I幀圖像和所述第2幀圖像間的所述攝像裝置的運動/[目息;以及 輸出區(qū)域取得部，其按每個所述攝像元件，取得第2輸出區(qū)域的位置信息，該第2輸出區(qū)域是所述第2幀圖像內(nèi)的區(qū)域，與所述第I幀圖像內(nèi)的第I輸出區(qū)域?qū)?yīng)， 所述輸出區(qū)域取得部根據(jù)由所述設(shè)置信息決定的所述第I輸出區(qū)域的位置信息和所述運動信息，取得多個所述攝像元件中的作為基準的基準攝像元件的所述第2輸出區(qū)域， 所述輸出區(qū)域取得部根據(jù)所述基準攝像元件的設(shè)置信息、多個所述攝像元件中的不同于所述基準攝像元件的其它所述攝像元件的設(shè)置信息以及所述運動信息，取得其它所述攝像元件的所述第2輸出區(qū)域。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述圖像處理裝置具有判定部，該判定部針對所有攝像元件，判定所述第2輸出區(qū)域的位置信息是否位于所述第2幀圖像內(nèi)， 在所述第2輸出區(qū)域的位置信息不位于所述第2幀圖像內(nèi)的情況下，所述輸出區(qū)域取得部對根據(jù)所述第I輸出區(qū)域的位置信息與所述第2輸出區(qū)域的位置信息之間的差分求出的移動量進行縮小調(diào)整，直到在所有攝像元件中，所述第2輸出區(qū)域的位置信息位于所述第2幀圖像內(nèi)為止。
3.根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其中， 所述運動信息取得部從所述基準攝像元件拍攝的所述第I幀圖像和所述第2幀圖像中取得運動息。
4.根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其中， 所述運動信息取得部通過陀螺儀傳感器取得運動信息。
5.根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其中， 所述運動信息取得部取得從多個所述攝像元件拍攝的所述第I幀圖像和所述第2幀圖像中得到的運動信息的加權(quán)平均，作為運動信息。
6.根據(jù)權(quán)利要求1 5中的任意一項所述的圖像處理裝置，其中， 根據(jù)攝像條件從多個所述攝像元件的中選擇所述基準攝像元件。
7.根據(jù)權(quán)利要求1 6中的任意一項所述的圖像處理裝置，其中， 所述輸出區(qū)域取得部將由于具有多個攝像元件而所需的輸出區(qū)域以外的區(qū)域用作為由于運動而進行校正時使用的區(qū)域。
8.一種圖像處理方法，對由攝像裝置拍攝的多個幀圖像進行圖像處理，其中，所述攝像裝置具有多個依次連續(xù)地拍攝第I幀圖像和第2幀圖像的攝像元件，所述圖像處理方法的特征在于，該圖像處理方法包括以下步驟 設(shè)置信息取得步驟，按每個所述攝像元件，取得表示所述攝像元件相對于所述攝像裝置的設(shè)置狀態(tài)的設(shè)置信息；運動信息取得步驟，取得所述第I幀圖像和所述第2幀圖像間的所述攝像裝置的運動/[目息;以及 輸出區(qū)域取得步驟，按每個所述攝像元件，取得第2輸出區(qū)域的位置信息，該第2輸出區(qū)域是所述第2幀圖像內(nèi)的區(qū)域，與所述第I幀圖像內(nèi)的第I輸出區(qū)域?qū)?yīng)， 在所述輸出區(qū)域取得步驟中，根據(jù)由所述設(shè)置信息決定的所述第I輸出區(qū)域的位置信息和所述運動信息，取得多個所述攝像元件中的作為基準的基準攝像元件的所述第2輸出區(qū)域， 在所述輸出區(qū)域取得步驟中，根據(jù)所述基準攝像元件的設(shè)置信息、多個所述攝像元件中的不同于所述基準攝像元件的其它所述攝像元件的設(shè)置信息以及所述運動信息，取得其它所述攝像元件的所述第2輸出區(qū)域。
全文摘要
圖像處理裝置和圖像處理方法。該裝置具有設(shè)置信息取得部，其按每個攝像元件取得表示攝像元件相對于攝像部的設(shè)置狀態(tài)的設(shè)置信息；運動信息取得部，其取得第1幀圖像和第2幀圖像間的攝像裝置的運動信息；輸出區(qū)域取得部，其按每個攝像元件取得第2輸出區(qū)域的位置信息，第2輸出區(qū)域是第2幀圖像內(nèi)的區(qū)域，與第1幀圖像內(nèi)的第1輸出區(qū)域?qū)?yīng)，輸出區(qū)域取得部根據(jù)由設(shè)置信息決定的第1輸出區(qū)域(A11)的位置信息和運動信息取得多個攝像元件中作為基準的基準攝像元件的第2輸出區(qū)域(A12)，根據(jù)基準攝像元件的設(shè)置信息、其它攝像元件的設(shè)置信息和運動信息取得多個攝像元件中不同于基準攝像元件的其它攝像元件的第2輸出區(qū)域(A22)。
文檔編號G06T7/20GK103037158SQ20121036809
公開日2013年4月10日 申請日期2012年9月28日 優(yōu)先權(quán)日2011年10月4日
發(fā)明者羽深兼介, 阿部剛 申請人:株式會社 摩如富