專利名稱：圖像處理設(shè)備、成像設(shè)備、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備、成像設(shè)備、圖像處理方法和程序，并且，更具體地，涉及執(zhí)行使用在移動照相機(jī)的同時所捕獲的多個圖像來生成用于顯示三維圖像(3D圖像)的圖像的處理的圖像處理設(shè)備、成像設(shè)備、圖像處理方法和程序。
背景技術(shù)：
為了生成三維圖像(也稱為3D圖像或立體圖像)，需要從互不相同的視點(diǎn)捕獲圖像，換句話說，左眼圖像和右眼圖像。從互不相同的視點(diǎn)捕獲圖像的方法主要分為兩種方法。第一種技術(shù)是使用多個照相機(jī)單元從不同視點(diǎn)對被攝體同時成像的技術(shù)，S卩，使用所謂的多鏡頭照相機(jī)的技術(shù)。第二種技術(shù)是使用單個照相機(jī)單元通過移動成像設(shè)備從互不相同的視點(diǎn)連續(xù)地捕獲圖像的技術(shù)，即，使用所謂的單鏡頭照相機(jī)的技術(shù)。例如，用于上述第一種技術(shù)的多鏡頭照相機(jī)系統(tǒng)具有這樣的配置，其中，各鏡頭被包括在彼此分開的位置處，并且被攝體可以從互不相同的視點(diǎn)被同時拍攝。但是，這樣的多鏡頭照相機(jī)系統(tǒng)需要多個照相機(jī)單元，因此，存在該照相機(jī)系統(tǒng)價格昂貴的問題。與此相反，用于上述第二種技術(shù)的單鏡頭照相機(jī)系統(tǒng)可以具有包括一個照相機(jī)單元的配置，其類似于現(xiàn)有技術(shù)中的照相機(jī)的配置。在這樣的配置中，來自互不相同的視點(diǎn)的圖像在移動包括一個照相機(jī)單元的照相機(jī)的同時被連續(xù)地捕獲，并通過使用多個捕獲的圖像來生成三維圖像。如上所述，在使用單鏡頭照相機(jī)系統(tǒng)的情況中，通過使用類似于現(xiàn)有技術(shù)中的照相機(jī)的一個照相機(jī)單元，可以實(shí)現(xiàn)相對低成本的系統(tǒng)。另外，作為公開了從在移動單鏡頭照相機(jī)的同時捕獲的圖像獲取被攝體的距離信息的技術(shù)的現(xiàn)有技術(shù)中的技術(shù)，存在NPLl “Acquiring Omn1-directional RangeInformation (The Transactionsof the Institute of Electronics, Informationand CommunicationEngineers, D-1I, Vol.J74-D-1I，N0.4，1991)，，。 另外，還在NPL2 “Omn1-Directional Stereo, IEEE Transaction On Pattern Analysis AndMachineIntelligence, VOL.14, N0.2, February 1992” 中公開了與 NPLl 相同的內(nèi)容的報告。在NPLl和NPL2中，公開了一種技術(shù)，其中，照相機(jī)被固定地安裝在與旋轉(zhuǎn)臺的旋轉(zhuǎn)中心分開預(yù)定距離的圓周上，并且，通過在旋轉(zhuǎn)旋轉(zhuǎn)基座的同時連續(xù)地捕獲圖像，使用通過兩個垂直狹縫獲取的兩個圖像來獲取被攝體的距離信息。另外，在PTLl (日本未審專利申請公開N0.11-164326)中，與NPLl和NPL2中公開的配置類似，公開了這樣一種配置，其中，在照相機(jī)被安裝為與旋轉(zhuǎn)臺的旋轉(zhuǎn)中心分開預(yù)定距離并且被旋轉(zhuǎn)的同時捕獲圖像，并且，通過使用通過兩個狹縫獲取的兩個圖像，獲取用于顯示三維圖像的左眼全景圖像和右眼全景圖像。如上所述，在現(xiàn)有技術(shù)中的技術(shù)中，公開了可以通過使用當(dāng)照相機(jī)被旋轉(zhuǎn)的同時通過狹縫獲取的圖像來獲取用于顯示三維圖像的左眼圖像和右眼圖像。同時，已知一種技術(shù)，其通過在移動照相機(jī)的同時捕獲圖像并連接多個捕獲圖像來用于生成全景圖像，即，水平長的二維圖像。例如，在PTL2 (日本專利N0.3928222)、PTL3(日本專利N0.4293053)等中，公開了用于生成全景圖像的技術(shù)。如上所述，在生成二維全景圖像時，使用在移動照相機(jī)的同時獲取的多個捕獲圖像。在上述的NPL1、NPL2和PTLl中，描述了使用由諸如全景圖像生成處理的捕獲處理所捕獲的多個圖像通過裁剪出和連接預(yù)定區(qū)域的圖像來獲取作為三維圖像的左眼圖像和右眼圖像的原理。但是，在通過從使用在照相機(jī)移動時捕獲的多個捕獲圖像裁剪出預(yù)定區(qū)域的圖像并連接這些圖像來生成作為三維圖像的左眼圖像和右眼圖像或二維全景圖像的情況中，例如，通過用戶使用其手進(jìn)行的照相機(jī)的搖擺操作，存在這樣一種情況，其中，根據(jù)用戶執(zhí)行的照相機(jī)的移動的形式不能生成用于顯示三維圖像的左眼圖像和右眼圖像。另外，還存在不能生成二維全景圖像的情況。結(jié)果，無意義的圖像數(shù)據(jù)作為記錄數(shù)據(jù)被記錄在介質(zhì)上，并且可能發(fā)生這樣的情形，其中，在再現(xiàn)時再現(xiàn)沒有依照用戶意圖的圖像，或者圖像不能被再現(xiàn)。引文列表專利文獻(xiàn)[PTL1]JP-A-11-164326[PTL2]日本專利 N0.3928222[PTL3]日本專利 N0.4293053非專利文獻(xiàn)[NPLl]^Acquiring Omn1-directional Range Information(TheTransactions ofthe Institute of Electronics, Information andCommunication Engineers, D-1I, Vol.J74-D-1I,N0.4，1991) ”[NPL2] “Omn1-Directional Stereo”，IEEE Transaction OnPattern AnalysisAnd Machine Intelligence, VOL.14, N0.2, February1992^

發(fā)明內(nèi)容
技術(shù)問題例如，考慮到了上述問題而設(shè)計(jì)本發(fā)明，并且本發(fā)明的目的在于提供這樣的圖像處理設(shè)備、成像設(shè)備、圖像處理方法和程序，在從在移動照相機(jī)的同時所捕獲的多個圖像生成用于顯示三維圖像的左眼圖像和右眼圖像或二維全景圖像的配置中，其能夠根據(jù)照相機(jī)的旋轉(zhuǎn)或移動狀態(tài)來執(zhí)行最優(yōu)的圖像生成處理，并且，在不能生成2D全景圖像或3D圖像的情況中，其能夠?qū)⑦@樣的情形警告用戶。解決問題的方案根據(jù)本發(fā)明的第一方面，提供一種圖像處理設(shè)備，該圖像處理設(shè)備包括:圖像合成單元，其接收從互不相同的位置捕獲的多個圖像作為輸入，并通過連接從這些圖像中的每一個裁剪出的條狀區(qū)域(stripped area)來生成合成圖像,其中，圖像合成單元基于在捕獲圖像時成像設(shè)備的移動信息從(a)用于顯示三維圖像的左眼合成圖像和右眼合成圖像的合成圖像生成處理、(b) 二維全景圖像的合成圖像生成處理、以及(C)停止合成圖像生成當(dāng)中確定一個處理方式，并執(zhí)行確定的處理。另外，在本發(fā)明的圖像處理設(shè)備的實(shí)施例中，上述圖像處理設(shè)備還包括:轉(zhuǎn)動動量檢測單元，其獲取或計(jì)算在捕獲圖像時成像設(shè)備的轉(zhuǎn)動動量(Θ );以及平移動量檢測單元，其獲取或計(jì)算在捕獲圖像時成像設(shè)備的平移動量(t)，其中，圖像合成單元基于由轉(zhuǎn)動動量檢測單元檢測的轉(zhuǎn)動動量(Θ )和由平移動量檢測單元檢測的平移動量(t)來確定處理方式。此外，在本發(fā)明的圖像處理設(shè)備的實(shí)施例中，上述圖像處理設(shè)備還包括:輸出單元，其根據(jù)圖像合成單元的確定的信息向用戶呈示警告或通知。另外，在本發(fā)明的圖像處理設(shè)備的實(shí)施例中，在由轉(zhuǎn)動動量檢測單元檢測的轉(zhuǎn)動動量(Θ )為零的情況中，上述圖像合成單元停止三維圖像和二維全景圖像的合成圖像生成處理。 此外，在本發(fā)明的圖像處理設(shè)備的實(shí)施例中，在由轉(zhuǎn)動動量檢測單元檢測的轉(zhuǎn)動動量(Θ )不為零，并且由平移動量檢測單元檢測的平移動量(t)為零的情況中，上述圖像合成單元執(zhí)行二維全景圖像的合成圖像生成處理與停止合成圖像生成的其中之一。另外，在本發(fā)明的圖像處理設(shè)備的實(shí)施例中，在由轉(zhuǎn)動動量檢測單元檢測的轉(zhuǎn)動動量(Θ )不為零，并且由平移動量檢測單元檢測的平移動量(t)不為零的情況中，上述圖像合成單元執(zhí)行三維圖像的合成圖像生成處理與二維全景圖像的合成圖像生成處理的其中之一。此外，在本發(fā)明的圖像處理設(shè)備的實(shí)施例中，在由轉(zhuǎn)動動量檢測單元檢測的轉(zhuǎn)動動量(Θ )不為零，并且由平移動量檢測單元檢測的平移動量(t)不為零的情況中，圖像合成單元執(zhí)行這樣的處理，其中，要被生成的3D圖像的LR圖像在Θ *t〈0的情況和在Θ *t>0的情況中被反轉(zhuǎn)地設(shè)置。另外，在本發(fā)明的圖像處理設(shè)備的實(shí)施例中，上述轉(zhuǎn)動動量檢測單元是檢測圖像處理設(shè)備的轉(zhuǎn)動動量的傳感器。此外，在本發(fā)明的圖像處理設(shè)備的實(shí)施例中，上述平移動量檢測單元是檢測圖像處理設(shè)備的平移動量的傳感器。另外，在本發(fā)明的圖像處理設(shè)備的實(shí)施例中，上述轉(zhuǎn)動動量檢測單元是通過分析捕獲的圖像來檢測在捕獲圖像時的轉(zhuǎn)動動量的圖像分析單元。此外，在本發(fā)明的圖像處理設(shè)備的實(shí)施例中，上述平移動量檢測單元是通過分析捕獲的圖像來檢測在捕獲圖像時的平移動量的圖像分析單元。另外，根據(jù)本發(fā)明的第二方面，提供一種成像設(shè)備，其包括:成像單元；和圖像處理單元，執(zhí)行根據(jù)權(quán)利要求1到11中的任意一個所述的圖像處理。另外，根據(jù)本發(fā)明的第三方面，提供一種在圖像處理設(shè)備中執(zhí)行的圖像處理方法，該圖像處理方法包括:通過使用圖像合成單元，接收從互不相同的位置捕獲的多個圖像作為輸入，并通過連接從這些圖像中的每一個裁剪出的條狀區(qū)域來生成合成圖像，其中，在接收多個圖像并生成合成圖像時，基于在捕獲圖像時成像設(shè)備的移動信息從(a)用于顯示三維圖像的左眼合成圖像和右眼合成圖像的合成圖像生成處理、(b) 二維全景圖像的合成圖像生成處理、以及(C)停止合成圖像生成當(dāng)中確定一個處理方式，并執(zhí)行確定的處理。另外，根據(jù)本發(fā)明的第四方面，提供一種使圖像處理設(shè)備執(zhí)行圖像處理的程序，該程序使得圖像合成單元執(zhí)行如下:接收從互不相同的位置捕獲的多個圖像作為輸入，并通過連接從這些圖像中的每一個裁剪出的條狀區(qū)域來生成合成圖像，其中，在接收多個圖像并生成合成圖像時，基于在捕獲圖像時成像設(shè)備的移動信息從(a)用于顯示三維圖像的左眼合成圖像和右眼合成圖像的合成圖像生成處理、(b) 二維全景圖像的合成圖像生成處理、以及(C)停止合成圖像生成當(dāng)中確定一個處理方式，并執(zhí)行確定的處理。另外，例如，根據(jù)本發(fā)明的程序是可以作為用于可以執(zhí)行各種程序代碼的計(jì)算機(jī)系統(tǒng)或信息處理設(shè)備的以計(jì)算機(jī)可讀形式的存儲介質(zhì)或通信介質(zhì)提供的程序。通過以計(jì)算機(jī)可讀形式提供這樣的程序，在信息處理設(shè)備或計(jì)算機(jī)系統(tǒng)上實(shí)現(xiàn)根據(jù)該程序的處理。通過參考附圖對示例性實(shí)施例進(jìn)行詳細(xì)描述，將使得本發(fā)明的其它特征和優(yōu)點(diǎn)變得更加明顯。另外，在本說明書中描述的系統(tǒng)是多個系統(tǒng)的邏輯集合配置，并且每一種配置的設(shè)備并不限制為被置于相同的殼體內(nèi)。本發(fā)明的有益效果根據(jù)本發(fā)明的實(shí)施例的配置，在通過連接從多個圖像裁剪出的條狀區(qū)域來生成二維全景圖像或用于顯示三維圖像的圖像的配置中，實(shí)現(xiàn)這樣的配置，其中，基于照相機(jī)的移動來生成可以生成的合成圖像，并且生成確定的合成圖像。在通過連接從多個圖像裁剪出的條狀區(qū)域來生成二維全景圖像或用于顯示三維圖像的左眼合成圖像和右眼合成圖像的配置中，分析在捕獲圖像時成像設(shè)備的移動的信息，確定是否可以生成二維全景圖像或三維圖像，并且執(zhí)行生成可以被生成的合成圖像的處理。根據(jù)捕獲圖像時照相機(jī)的轉(zhuǎn)動動量(Θ )和平移動量(t)，從(a)用于顯示三維圖像的左眼合成圖像和右眼合成圖像的合成圖像生成處理、(b) 二維全景圖像的合成圖像生成處理、以及(C)停止合成圖像生成當(dāng)中確定一個處理方式，并執(zhí)行確定的處理。另外，向用戶呈示處理的內(nèi)容的通知或警告。


圖1是示出全景圖像生成處理的示圖。圖2是示出生成用于顯示三維(3D)圖像的左眼圖像(L圖像)和右眼圖像(R圖像)的處理的示圖。圖3是示出生成用于顯示三維(3D)圖像的左眼圖像(L圖像)和右眼圖像(R圖像)的原理的示圖。圖4是示出使用虛擬成像表面的反轉(zhuǎn)模型(reverse model)的示圖。圖5是示出用于捕獲全景圖像(3D全景圖像)的處理的模型的示圖。圖6是示出在全景圖像(3D全景圖像)捕獲處理中捕獲的圖像以及左眼圖像和右眼圖像的條帶的設(shè)置的例子的示圖。圖7是示出條狀區(qū)域連接處理以及生成3D左眼合成圖像(3D全景L圖像)和3D右眼合成圖像(3D全景R圖像)的處理的例子的示圖。圖8是示出在通過從在照相機(jī)被移動的同時連續(xù)地成像的多個圖像裁剪出條狀區(qū)域來生成3D圖像或2D全景圖像的情況中理想的照相機(jī)移動處理的例子的示圖。圖9是示出通過從在照相機(jī)被移動的同時連續(xù)地成像的多個圖像裁剪出條狀區(qū)域不能生成3D圖像或2D全景圖像的照相機(jī)移動處理的例子的示圖。圖10是示出作為根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備的成像設(shè)備的配置例子的示圖。圖11是示出圖示由根據(jù)本發(fā)明的圖像處理設(shè)備執(zhí)行的圖像捕獲和合成處理的序列的流程圖的示圖。圖12是示出圖示由根據(jù)本發(fā)明的圖像處理設(shè)備執(zhí)行的處理確定處理的序列的流程圖的不圖。圖13是一同示出由轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212檢測的檢測信息以及根據(jù)該檢測信息確定的處理的示圖。
具體實(shí)施例方式在下文中，將參考附圖描述根據(jù)本發(fā)明的圖像處理設(shè)備、成像設(shè)備、圖像處理方法和程序。將按照下面項(xiàng)目的順序呈示描述。1.用于生成全景圖像和三維(3D)圖像的處理的基本配置2.使用在照相機(jī)被移動的同時捕獲的多個圖像的條狀區(qū)域生成3D圖像時的問題3.根據(jù)本發(fā)明的圖像處理設(shè)備的配置例子4.圖像捕犾和圖像處理的序列5.轉(zhuǎn)動動量檢測單元和平移動量檢測單元的具體配置例子6.基于轉(zhuǎn)動動量與平移動量的處理之間的切換例子1.用于生成全景圖像和三維(3D)圖像的處理的基本配置本發(fā)明涉及通過連接圖像的區(qū)域(條狀區(qū)域)來生成用于顯示三維(3D)圖像的左眼圖像(L圖像)和右眼圖像(R圖像)的處理，這些圖像的區(qū)域(條狀區(qū)域)是使用在成像設(shè)備(照相機(jī))被移動的同時連續(xù)地捕獲的多個圖像以條帶的形狀裁剪出的。能夠使用在移動照相機(jī)的同時連續(xù)地捕獲的多個圖像來生成二維全景圖像(2D全景圖像)的照相機(jī)已經(jīng)被實(shí)現(xiàn)并使用了。首先，將參考圖1描述生成全景圖像(2D全景圖像)的處理，該全景圖像作為二維合成圖像被生成。在圖1中，描繪了示出(I)成像處理、
(2)捕獲的圖像、以及(3) 二維合成圖像(2D全景圖像)的示圖。用戶將照相機(jī)10設(shè)置為全景拍攝模式，手持照相機(jī)10，并且如圖1 (I)所示，在快門被按下的情況下將照相機(jī)從左側(cè)(點(diǎn)A)移動到右側(cè)(點(diǎn)B)。當(dāng)在設(shè)置全景拍攝模式下用戶按下快門被檢測到時，照相機(jī)10執(zhí)行連續(xù)圖像捕獲操作。例如，大約10到100個圖像被連續(xù)地捕獲。這些圖像是在圖1 (2)中示出的圖像20。多個圖像20是在照相機(jī)10被移動的同時被連續(xù)地捕獲的圖像，并且是來自互不相同的視點(diǎn)的圖像。例如，從互不相同的視點(diǎn)捕獲的100個圖像20被順序地記錄在存儲器中。照相機(jī)10的數(shù)據(jù)處理單元從存儲器讀出在圖1 (2)中示出的多個圖像20，裁剪出用于根據(jù)這些圖像生成全景圖像的條狀區(qū)域，并執(zhí)行連接這些裁剪出的條狀區(qū)域的處理，從而生成在圖1 (3)中示出的2D全景圖像30。在圖1 (3)中示出的2D全景圖像30是二維(2D)圖像，并且是通過裁剪出捕獲圖像的部分并將這些部分連接而得到的水平長的圖像。在圖1 (3)中描繪的虛線示出這些圖像的連接部分。每個圖像20的裁剪出的區(qū)域?qū)⒈环Q為條狀區(qū)域。
根據(jù)本發(fā)明的圖像處理設(shè)備或成像設(shè)備執(zhí)行如圖1所示的圖像捕獲處理，換句話說，如圖1 (I)所示，使用在照相機(jī)被移動的同時被連續(xù)地捕獲的多個圖像來生成用于顯示三維(3D)圖像的左眼圖像(L圖像)和右眼圖像(R圖像)。將參考圖2描述用于生成左眼圖像(L圖像)和右眼圖像(R圖像)的處理的基本配置。圖2 Ca)示出在圖1 (2)中示出的全景拍攝處理中捕獲的一個圖像20。如參考圖1所描述的生成2D全景圖像的處理中一樣，用于顯示三維(3D)圖像的左眼圖像(L圖像)和右眼圖像(R圖像)是通過從圖像20裁剪出預(yù)定的條狀區(qū)域并連接這些條狀區(qū)域而生成的。但是，針對左眼圖像(L圖像)和右眼圖像(R圖像)，被設(shè)置為裁剪出的區(qū)域的條狀區(qū)域位于不同的位置。如圖2 (a)所示，左眼圖像條(L圖像條)51和右眼圖像條(R圖像條)52的裁剪出的位置存在不同。盡管在圖2中僅示出了一個圖像20，但是對于如圖1 (2)所示的在照相機(jī)移動的情況下捕獲的多個圖像中的每一個，設(shè)置位于不同的裁剪出的位置的左眼圖像條(L圖像條)和右眼圖像條(R圖像條)。其后，通過僅僅收集并連接左眼圖像條(L圖像條)，可以生成在圖2 (bl)中示出的3D左眼全景圖像(3D全景L圖像)。另外，通過僅僅收集并連接右眼圖像條(R圖像條)，可以生成在圖2 (b2)中示出的3D右眼全景圖像(3D全景R圖像)。如上所述，通過連接從在照相機(jī)移動的情況下捕獲的多個圖像獲取的裁剪出的位置被不同地設(shè)置的條帶，可以生成用于顯示三維(3D)圖像的左眼圖像(L圖像)和右眼圖像(R圖像)。將參照圖3描述該原理。圖3示出這樣的情形，其中，通過移動照相機(jī)10，在兩個捕獲位置(a)和(b)處拍攝被攝體80。在位置(a)，作為被攝體80的圖像，從左側(cè)看到的圖像被記錄在照相機(jī)10的成像裝置70的左眼圖像條(L圖像條)51中。接下來，作為在照相機(jī)10移動到的位置(b)處的被攝體80的圖像，從右側(cè)看到的圖像被記錄在照相機(jī)10的成像裝置70的右眼圖像條(R圖像條)52中。如上所述，從互不相同的視點(diǎn)看到的同一被攝體的圖像被記錄在成像裝置70的預(yù)定區(qū)域(條狀區(qū)域)中。通過單獨(dú)地提取這些，換句話說，通過僅僅收集和連接左眼圖像條(L圖像條)，生成在圖2 (bl)中示出的3D左眼全景圖像(3D全景L圖像)，并且，通過僅僅收集和連接右眼圖像條(R圖像條)，生成在圖2 (b2)中示出的3D右眼全景圖像(3D全景R圖像)。在圖3中，為了易于理解，描繪了移動設(shè)置，其中，照相機(jī)10從被攝體80的左側(cè)向右側(cè)穿過被攝體，照相機(jī)10穿過被攝體80的移動不是必要的。只要從互不相同的視點(diǎn)看到的圖像可以被記錄在照相機(jī)10的成像裝置70的預(yù)定區(qū)域中，就可以生成用于顯示3D圖像的左眼圖像和右眼圖像。接下來，將參考圖4描述在下面呈示的描述中使用的使用虛擬成像表面的反轉(zhuǎn)模型。在圖4中，描繪了(a)圖像捕獲配置、(b)正向模型和(C)反轉(zhuǎn)模型的圖。在圖4 (a)中示出的圖像捕獲配置示出了與參考圖3描述的全景圖像類似的全景圖像被捕獲時的處理配置。圖4 (b)示出在圖4 Ca)中示出的捕獲處理中被實(shí)際地捕獲到設(shè)置在照相機(jī)10內(nèi)部的成像裝置70中的圖像的例子。在成像裝置70中，如圖4 (b)所示，左眼圖像72和右眼圖像73被以垂直反轉(zhuǎn)的方式記錄。在使用這樣的反轉(zhuǎn)圖像進(jìn)行描述的情況中，在下面呈示的描述中，將使用在圖4(c)中示出的反轉(zhuǎn)模型來進(jìn)行描述。該反轉(zhuǎn)模型是在對成像設(shè)備等中的圖像進(jìn)行解釋中經(jīng)常使用的模型。在圖4 (C)中示出的反轉(zhuǎn)模型中，假定虛擬成像裝置101被設(shè)置在對應(yīng)于照相機(jī)的焦點(diǎn)的光學(xué)中心102的前面，并且被攝體圖像被捕獲到虛擬成像裝置101中。如圖4(c)所示，在虛擬成像裝置101中，位于照相機(jī)的左前方的被攝體A91被捕獲到左側(cè)中，位于照相機(jī)的右前方的被攝體B92被捕獲到右側(cè)中，并且，這些圖像被設(shè)置為不是垂直地反轉(zhuǎn)，由此，直接反映這些被攝體的實(shí)際位置關(guān)系。換句話說，在虛擬成像裝置101上形成的圖像表示與實(shí)際捕獲的圖像相同的圖像數(shù)據(jù)。在下面呈示的描述中，使用該虛擬成像裝置101的反轉(zhuǎn)模型將被使用。如圖4 (C)所示，在虛擬成像裝置101上，左眼圖像(L圖像)111被捕獲到虛擬成像裝置101上的右側(cè)，并且右眼圖像(R圖像)112被捕獲到虛擬成像裝置101上的左側(cè)。2.使用在照相機(jī)被移動的同時捕獲的多個圖像的條狀區(qū)域生成3D圖像或2D全景圖像時的問題接下來，將描述使用在照相機(jī)被移動的同時捕獲的多個圖像的條狀區(qū)域生成3D圖像或2D全景圖像時的問題。作為用于捕獲全景圖像(2D/3D全景圖像)的處理的模型，將假設(shè)在圖5中示出的捕獲模型。如圖5所示，照相機(jī)100被放置，從而使得照相機(jī)100的光學(xué)中心102被設(shè)置與作為旋轉(zhuǎn)中心的旋轉(zhuǎn)軸P隔開距離R (轉(zhuǎn)動半徑)的位置處。虛擬成像表面101被設(shè)置在與光學(xué)中心102相距焦距f的旋轉(zhuǎn)軸P的外側(cè)。在這樣的設(shè)置中，照相機(jī)100沿順時針方向(從A到B的方向)圍繞旋轉(zhuǎn)軸P旋轉(zhuǎn)，并且多個圖像被連續(xù)地捕獲。在每個捕獲點(diǎn)中，除了用于生成2D全景圖像的條帶，左眼圖像條111和右眼圖像條112的圖像被記錄在虛擬成像裝置101上。例如，記錄的圖像具有在圖6中示出的配置。圖6示出由照相機(jī)100捕獲的圖像110。另外，該圖像110與在虛擬成像裝置101上形成的圖像相同。在圖像110中，如圖6所示，從圖像的中心部分向左側(cè)偏移并且以條帶的形狀裁剪出的區(qū)域(條狀區(qū)域)被設(shè)置為右眼圖像條112，并且從圖像的中心部分向右側(cè)偏移并且以條帶的形狀裁剪出的區(qū)域(條狀區(qū)域)被設(shè)置為左眼圖像條111。另外，在圖6中示出當(dāng)二維(2D)全景圖像被生成時所使用的2D全景圖像條115。如圖6所示，用于二維合成圖像的2D全景圖像條115與左眼圖像條111之間的距離以及2D全景圖像條115與右眼圖像條112之間的距離被定義為“偏移”或“條帶偏移”=dl和d2。另外，左眼圖像條111與右眼圖像條112之間的距離被定義為“條帶間偏移”=D。
此外，條帶間偏移=(條帶偏移)X2，并且D=dl+d2。條帶寬度w是對所有2D全景圖像條115、左眼圖像條111和右眼圖像條112都相同的寬度W。該條帶寬度根據(jù)照相機(jī)的移動速度等來改變。在照相機(jī)的移動速度高的情況中，條帶寬度w變寬，并且，在照相機(jī)的移動速度低的情況中，條帶寬度w變窄。這一點(diǎn)將在稍后的階段中進(jìn)一步描述。條帶偏移或條帶間偏移可以被設(shè)置為各種值。例如，在條帶偏移被設(shè)置為較大的情況中，左眼圖像與右眼圖像之間的差異較大，并且，在條帶偏移被設(shè)置為較小的情況中，左眼圖像與右眼圖像之間的差異較小。在條帶偏移=0的情況中，左眼圖像條111=右眼圖像條112=2D全景圖像條115。在這樣的情況中，通過合成左眼圖像條111獲取的左眼合成圖像(左眼全景圖像)以及通過合成右眼圖像條112獲取的右眼合成圖像(右眼全景圖像)是完全相同的圖像，SP，與通過合成2D全景圖像條115獲取的二維全景圖像相同并且不能被用于顯示三維圖像的圖像。在下面呈示的描述中，條帶寬度w的長度、條帶偏移和條帶間偏移被描述為以像素?cái)?shù)量定義的值。在照相機(jī)100內(nèi)部設(shè)置的數(shù)據(jù)處理單元獲取在照相機(jī)100被移動的同時連續(xù)捕獲的圖像之間的運(yùn)動向量，并且，在條狀區(qū)域被對準(zhǔn)從而使得上述條狀區(qū)域的圖案被連接在一起的同時，數(shù)據(jù)處理單元順序地確定從每個圖像裁剪出的條狀區(qū)域，并連接從每個圖像裁剪出的這些條狀區(qū)域。換句話說，左眼合成圖像(左眼全景圖像)是通過從這些圖像中僅選擇左眼圖像條111并連接和合成所選左眼圖像條來生成的，并且右眼合成圖像(右眼全景圖像)是通過從這些圖像中僅選擇右眼圖像條112并連接和合成所選右眼圖像條來生成的。圖7 (I)是示出條狀區(qū)域連接處理的例子的示圖。假定圖像間的捕獲時間間隔是Δ t，并且，在捕獲時間T=O到η Λ t之間n+1個圖像被捕獲。從n+1個圖像提取的條狀區(qū)域被連接在一起。但是，在生成3D左眼合成圖像(3D全景L圖像)的情況中，僅提取和連接左眼圖像條(L圖像條)111。另外，在生成3D右眼合成圖像(3D全景R圖像)的情況中，僅提取和連接右眼圖像條(R圖像條)112。如上所述，通過僅僅收集并連接左眼圖像條(L圖像條)111，生成在圖7 (2a)中示出的3D左眼合成圖像(3D全景L圖像)。另外，通過僅僅收集并連接右眼圖像條(R圖像條)112，生成在圖7 (2b)中示出的3D右眼合成圖像(3D全景R圖像)。如參考圖6和圖7所描述的，通過合成在圖像100中設(shè)置的2D全景圖像條115，生成二維全景圖像。另外，通過將從圖像100的中心向右側(cè)偏移的條狀區(qū)域結(jié)合，生成在圖7(2a)中示出的3D左眼合成圖像(3D全景L圖像)。另外，通過將從圖像100的中心向左側(cè)偏移的條狀區(qū)域結(jié)合，生成在圖7 (2b)中示出的3D右眼合成圖像(3D全景R圖像)。在這兩個圖像中，如上面參考圖3所描述的，當(dāng)基本上相同的被攝體被成像的同時，從互不相同的位置對同一被攝體進(jìn)行成像，從而產(chǎn)生差異。通過在可以顯示3D (立體)圖像的顯示設(shè)備中顯示其間具有差異的兩個圖像，作為成像對象的被攝體可以以立體的方式被顯示。另外，作為3D圖像的顯示類型，存在多種類型。例如，存在對應(yīng)于被動式眼鏡類型的3D圖像顯示類型、對應(yīng)于主動式眼鏡類型的3D圖像顯示類型等，在對應(yīng)于被動式眼鏡類型的3D圖像顯示類型中，由左眼和右眼觀測到的圖像通過使用偏振濾光器或?yàn)V色器被相互分開；在對應(yīng)于主動式眼鏡類型的3D圖像顯示類型中，通過交替地打開/關(guān)閉左右液晶快門來將觀測到的圖像在時間上交替地針對左眼和右眼分開。通過上述條帶連接處理生成的左眼圖像和右眼圖像可以被應(yīng)用于這些類型中的
每一種。如上所述，通過從在照相機(jī)被移動的同時連續(xù)捕獲的多個圖像中的每一個裁剪出條狀區(qū)域而生成左眼圖像和右眼圖像，可以生成從互不相同的視點(diǎn)(即，從左眼位置和右眼位置)觀測到的左眼圖像和右眼圖像。但是，盡管從在照相機(jī)被移動的同時連續(xù)捕獲的多個圖像中的每一個裁剪出條狀區(qū)域，也存在不能生成這樣的3D圖像或2D全景圖像的情況。更具體地說，例如，如圖8 (A)所示，在照相機(jī)以弧形被移動從而光軸彼此不相交的情況中，可以裁剪出用于生成3D圖像或2D全景圖像的條帶。但是，存在用于生成3D圖像或2D全景圖像的條帶不能從根據(jù)除了這樣的移動以外的移動捕獲的圖像裁剪出的情況。例如，這樣的情況為圖9中示出的情況(bl)或情況(b2)，在情況(bl)中，照相機(jī)進(jìn)行不伴隨有轉(zhuǎn)動的平移移動，在情況(b2)中，照相機(jī)沿著弧形移動，從而使得光軸根據(jù)照相機(jī)的移動而彼此相交。在用戶通過照相機(jī)搖擺操作等移動照相機(jī)的情況中，很難移動照相機(jī)以繪制如圖8中所示的理想軌跡，并且可以進(jìn)行如圖9 (bl)或圖9 (b2)所示的移動。本發(fā)明的目的在于提供這樣的圖像處理設(shè)備、成像設(shè)備、圖像處理方法和程序，其能夠在通過各種形式的移動捕獲圖像的情況中根據(jù)照相機(jī)的轉(zhuǎn)動移動或平移移動執(zhí)行最佳的圖像處理過程，并且在不能生成2D全景圖像或3D圖像的情況中向用戶警告該情形。在下文中，將對該過程進(jìn)行詳細(xì)描述。3.根據(jù)本發(fā)明的圖像處理設(shè)備的配置例子首先，將參考圖10描述根據(jù)本發(fā)明實(shí)施例的作為圖像處理設(shè)備的成像設(shè)備的配置例子。在圖10中示出的成像設(shè)備200對應(yīng)于參考圖1已經(jīng)描述的照相機(jī)10，并且例如具有允許用戶在全景拍攝模式中使用其手持的成像設(shè)備連續(xù)地捕獲多個圖像的配置。從被攝體發(fā)送的光通過透鏡系統(tǒng)201入射到成像裝置202。例如，成像裝置202由CXD (電荷耦合器件)或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)傳感器構(gòu)成。入射到成像裝置202的被攝體圖像由成像裝置202轉(zhuǎn)換為電信號。另外，雖然未在圖中示出，但是成像裝置202包括預(yù)定的信號處理電路，對通過信號處理電路轉(zhuǎn)換的電信號進(jìn)行進(jìn)一步轉(zhuǎn)換，并將數(shù)字圖像數(shù)據(jù)供應(yīng)到圖像信號處理單元203。圖像信號處理單元203執(zhí)行諸如伽馬校正或輪廓增強(qiáng)校正的圖像信號處理，并在顯示單元204上顯示作為信號處理的結(jié)果的圖像信號。作為由圖像信號處理單元203執(zhí)行的處理的結(jié)果的圖像信號被供應(yīng)到包括圖像存儲器(用于合成處理)205、圖像存儲器(用于檢測移動量)206和移動量計(jì)算單元207的單元，其中，圖像存儲器(用于合成處理)205是用于合成處理的圖像存儲器，圖像存儲器(用于檢測移動量)206用于檢測連續(xù)捕獲的圖像之間的移動量，移動量計(jì)算單元207計(jì)算這些圖像間的移動量。移動量計(jì)算單元207將從圖像信號處理單元203供應(yīng)的圖像信號與存儲在圖像存儲器(用于檢測移動量)206中的作為前一幀的幀的圖像一同獲取，并檢測當(dāng)前圖像與作為前一幀的幀的圖像之間的移動量。例如，通過對構(gòu)成被連續(xù)捕獲的兩個圖像的像素執(zhí)行匹配的處理，換句話說，確定同一被攝體的捕獲區(qū)域的匹配處理，計(jì)算在圖像間移動的像素的數(shù)量。另外，基本上，該處理是通過假定被攝體是停止的來執(zhí)行的。在存在移動被攝體的情況中，盡管除了整個圖像的移動向量以外的移動向量被檢測，但是，在對應(yīng)于移動被攝體的移動向量未被設(shè)置為檢測對象時，該處理被執(zhí)行。換句話說，對應(yīng)于根據(jù)照相機(jī)的移動發(fā)生的整個圖像的移動的移動向量(GMV:全局移動向量)被檢測。另外，例如，移動量被計(jì)算為移動像素的數(shù)量。通過比較圖像η和在圖像η之前的圖像η-l來計(jì)算圖像η的移動量，并且檢測到的移動量(像素的數(shù)量)作為對應(yīng)于圖像η的移動量被存儲在移動量存儲器208中。另外，圖像存儲器(用于合成處理)205是用于合成已經(jīng)被連續(xù)捕獲的圖像的處理的存儲器，換句話說，是其中存儲用于生成全景圖像的圖像的存儲器。盡管該圖像存儲器(用于合成處理)205可以被配置為使得所有圖像，例如，在全景拍攝模式中被捕獲的n+1個圖像，被存儲在其中，但是，例如，圖像存儲器205可以被設(shè)置為使得圖像的末端部分被剪掉，并且僅有圖像的中心區(qū)域被選擇以被存儲，生成全景圖像所必需的條狀區(qū)域來自該圖像的中心區(qū)域。通過這樣的設(shè)置，可以降低所需的存儲器容量。此外，在圖像存儲器(用于合成處理)205中，不僅捕獲的圖像數(shù)據(jù)而且諸如焦距[f]等的捕獲參數(shù)都作為圖像的屬性信息與該圖像相關(guān)聯(lián)地被記錄。這些參數(shù)與圖像數(shù)據(jù)一同被供應(yīng)到圖像合成單元220。例如,轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212中的每一個被配置為包括在成像設(shè)備200中的傳感器或分析捕獲圖像的圖像分析單元。在轉(zhuǎn)動動量檢測單元211被配置為傳感器的情況中，其為姿勢檢測傳感器，其檢測被稱為照相機(jī)的俯仰/滾動/橫擺的照相機(jī)的姿勢。平移動量檢測單元212是移動檢測傳感器，其檢測照相機(jī)相對于世界坐標(biāo)系統(tǒng)的移動作為照相機(jī)的移動信息。由轉(zhuǎn)動動量檢測單元211檢測的檢測信息和由平移動量檢測單元212檢測的檢測信息被供應(yīng)到圖像合成單元220。另外，由轉(zhuǎn)動動量檢測單元211檢測的檢測信息和由平移動量檢測單元212檢測的檢測信息可以被配置為在捕獲圖像時作為捕獲圖像的屬性信息與捕獲圖像一同存儲在圖像存儲器(用于合成處理)205中，并且檢測信息可以被配置為與作為合成對象的圖像一同從圖像存儲器(用于合成處理)205輸入到圖像合成單元220。此外，轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212可以不由傳感器配置，而是由執(zhí)行圖像分析處理的圖像分析單元構(gòu)成。轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212通過分析捕獲的圖像來獲取類似于傳感器檢測信息的信息，并將獲取的信息供應(yīng)到圖像合成單元220。在這樣的情況中,轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212從圖像存儲器(用于檢測移動量)206接收圖像數(shù)據(jù)作為輸入，并執(zhí)行圖像分析。將在稍后階段中描述這樣的處理的具體的例子。在捕獲處理結(jié)束后，圖像合成單元220從圖像存儲器(用于合成處理)205獲取圖像，進(jìn)一步獲取其它所需的信息，并執(zhí)行圖像合成處理，其中，從獲取自圖像存儲器(用于合成處理)205的圖像裁剪出條狀區(qū)域，并連接這些條狀區(qū)域。通過該處理，生成左眼合成圖像和右眼合成圖像。在捕獲處理結(jié)束后，圖像合成單元220接收作為輸入的存儲在移動量存儲器208中的對應(yīng)于每個圖像的移動量和由轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212檢測的檢測信息(通過傳感器檢測或圖像分析獲取的信息)、以及來自圖像存儲器(用于合成處理)205的在捕獲處理期間存儲的多個圖像(或部分圖像)。圖像合成單元220使用輸入信息及其連接處理從已經(jīng)連續(xù)地捕獲的多個圖像裁剪出條帶，從而生成作為2D全景圖像或3D圖像的左眼合成圖像(左眼全景圖像)和右眼合成圖像(右眼全景圖像)。另外，圖像合成單元220針對每個圖像執(zhí)行諸如JPEG的壓縮處理，然后將壓縮圖像存儲在記錄單元(記錄介質(zhì))221中。另外，圖像合成單元220接收由轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212檢測的檢測信息(通過傳感器檢測或圖像分析獲取的信息)作為輸入，并確定處理方式。更具體地說，圖像合成單元220執(zhí)行下列處理的其中之一，所述處理包括:(a) 3D全景圖像的生成；(b) 2D全景圖像的生成；以及(c) 3D和2D全景圖像都不生成。另外，在執(zhí)行(a) 3D全景圖像的生成的情況中，可以根據(jù)檢測信息來執(zhí)行LR圖像(左眼圖像和右眼圖像)的反轉(zhuǎn)等。此外，在執(zhí)行(c ) 3D和2D全景圖像都不生成的情況中，針對用戶的警告輸出處理等被執(zhí)行。另外，將在稍后階段中詳細(xì)描述其具體的處理例子。記錄單元(記錄介質(zhì))221存儲由圖像合成單元220合成的合成圖像，S卩，左眼合成圖像(左眼全景圖像)和右眼合成圖像(右眼全景圖像)。記錄單元(記錄介質(zhì))221可以是任何類型的記錄介質(zhì)，只要其是可以將數(shù)字信號記錄在其上的記錄介質(zhì)即可，并且，例如，可以使用諸如硬盤、磁光盤、DVD (數(shù)字多功能盤)、MD (迷你盤)或半導(dǎo)體存儲器的記錄介質(zhì)。另外，盡管未在圖10中示出，但是，除了在圖10中示出的配置外，成像設(shè)備200包括輸入操作單元、控制單元和存儲單元(存儲器)，其中，輸入操作單元被用來執(zhí)行用于設(shè)置可以由用戶操作的快門和變焦的各種輸入、模式設(shè)置處理等，控制單元控制由成像設(shè)備200執(zhí)行的處理，存儲單元(存儲器)存儲任何其它構(gòu)成單元的處理程序和參數(shù)、參數(shù)等。在圖10中示出的成像設(shè)備200的每個構(gòu)成單元的處理以及數(shù)據(jù)的輸入/輸出是在置于成像設(shè)備200內(nèi)部的控制單元的控制下被執(zhí)行的?？刂茊卧x出事先存儲在置于成像設(shè)備200內(nèi)部的存儲器中的程序，并根據(jù)該程序執(zhí)行對在成像設(shè)備200中執(zhí)行的處理的整體控制，這些處理諸如:捕獲圖像的獲取、數(shù)據(jù)處理、合成圖像的生成、記錄生成的合成圖像的處理、顯示處理等。4.圖像捕獲和圖像處理的序列接下來，將參考圖11中的流程圖來描述由根據(jù)本發(fā)明的圖像處理設(shè)備執(zhí)行的圖像捕獲和合成處理的序列的例子。例如，根據(jù)圖11中示出的流程圖的處理是在被置于在圖10中示出的成像設(shè)備200內(nèi)部的控制單元的控制下被執(zhí)行的。將描述在圖11中示出的流程圖的每個步驟的處理。首先，在根據(jù)電源開啟而執(zhí)行硬件診斷和初始化后，圖像處理設(shè)備(例如，成像設(shè)備200)前進(jìn)到步驟SlOl。在步驟SlOl中，各種捕獲參數(shù)被計(jì)算。在該步驟SlOl中，例如，與由曝光系統(tǒng)識別的亮度有關(guān)的信息被獲取，并且諸如光圈值和快門速度的捕獲參數(shù)被計(jì)算。接下來，處理前進(jìn)到步驟S102，并且控制單元確定用戶是否執(zhí)行了快門操作。這里，假定3D圖像全景拍攝模式已經(jīng)被事先設(shè)置。在3D圖像全景拍攝模式中，這樣的處理被執(zhí)行:其中，根據(jù)用戶的快門操作連續(xù)地捕獲多個圖像，從這些捕獲圖像裁剪出左眼圖像條和右眼圖像條，并且生成和記錄可以用于顯示3D圖像的左眼合成圖像(全景圖像)和右眼合成圖像(全景圖像)。在步驟S102中，在控制單元未檢測到用戶的快門操作的情況中，處理返回到步驟
SlOlo另一方面，在步驟S102中，在控制單元檢測到用戶的快門操作的情況中，處理前進(jìn)到步驟S103。在步驟S103中，控制單元通過執(zhí)行基于在步驟SlOl中計(jì)算的參數(shù)的控制來開始捕獲處理。更具體地說，例如，執(zhí)行在圖10中示出的透鏡系統(tǒng)201的光圈驅(qū)動單元的調(diào)整等，并且開始圖像捕獲。作為其中多個圖像被連續(xù)地捕獲的處理，圖像捕獲處理被執(zhí)行。對應(yīng)于連續(xù)捕獲的圖像的電信號被從圖10中示出的成像裝置202順序地讀出，伽馬校正、輪廓增強(qiáng)校正等的處理由圖像信號處理單元203來執(zhí)行，并且處理的結(jié)果被顯示在顯示單元204上，并且被順序地供應(yīng)到存儲器205和206以及移動量檢測單元207。接下來，處理前進(jìn)到步驟S104，并且圖像之間的移動量被計(jì)算。該處理是圖10中示出的移動量檢測單元207的處理。移動量計(jì)算單元207將從圖像信號處理單元203供應(yīng)的圖像信號與存儲在圖像存儲器(用于檢測移動量)206中的作為前一幀的幀的圖像一同獲取，并檢測當(dāng)前圖像與作為前一幀的幀的圖像之間的移動量。另外，作為在這里計(jì)算的移動量，如上所述，例如，通過執(zhí)行對構(gòu)成被連續(xù)捕獲的兩個圖像的像素進(jìn)行匹配的處理，換句話說，確定同一被攝體的捕獲區(qū)域的匹配處理，計(jì)算在圖像間移動的像素的數(shù)量被計(jì)算。另外，基本上，該處理是在假定被攝體是停止的同時執(zhí)行的。在存在移動被攝體的情況中，盡管除了整個圖像的移動向量以外的移動向量被檢測，但是在對應(yīng)于移動被攝體的移動向量未被設(shè)置為檢測對象的同時執(zhí)行該處理。換句話說，對應(yīng)于依照照相機(jī)的移動發(fā)生的整個圖像的移動的移動向量(GMV:全局移動向量)被檢測。
另外，例如，移動量作為移動像素的數(shù)量被計(jì)算。通過比較圖像η和在圖像η之前的圖像η-l來計(jì)算圖像η的移動量，并且檢測到的移動量(像素的數(shù)量)作為對應(yīng)于圖像η的移動量被存儲在移動量存儲器208中。該移動使用對應(yīng)于步驟S105的存儲處理的存儲處理。在步驟S105中，在步驟S104中被檢測到的圖像間的移動量與連續(xù)捕獲的圖像中的每一個的ID相關(guān)聯(lián)地存儲在圖10中示出的移動量存儲器208中。接下來，處理前進(jìn)到步驟S106，并且，在步驟S103中捕獲并由圖像信號處理單元203處理的圖像被存儲在圖10中示出的圖像存儲器(用于合成處理)205中。另外，如上所述，盡管該圖像存儲器(用于合成處理)205可以被配置為使得所有圖像，例如，在全景拍攝模式(或3D圖像全景拍攝模式)中被捕獲的n+1個圖像，被存儲在其中，例如，圖像存儲器205可以被設(shè)置為使得圖像的末端部分被剪掉，并且僅有圖像的中心區(qū)域被選擇以便被存儲，生成全景圖像(3D全景圖像)所必需的條狀區(qū)域來自該圖像的中心區(qū)域。通過這樣的設(shè)置，所需的存儲器容量可以被降低。此外，在圖像存儲器(用于合成處理)205中，圖像可以被配置為在針對該圖像執(zhí)行諸如JPEG等的壓縮處理后被存儲。接下來，處理前進(jìn)到步驟S107，并且控制單元確定用戶是否繼續(xù)按下了快門操作。換句話說，捕獲的結(jié)束定時被確定。在快門被用戶繼續(xù)按下的情況中，處理返回到步驟S103，從而繼續(xù)捕獲處理，并且被攝體的成像被重復(fù)。另一方面，在步驟S107中，在確定按下快門已經(jīng)結(jié)束的情況中，為了前進(jìn)到捕獲結(jié)束操作，處理前進(jìn)到步驟S108。當(dāng)在全景拍攝模式中的連續(xù)圖像捕獲結(jié)束時，在步驟S108中，圖像合成單元220確定要被執(zhí)行的處理。換句話說，圖像合成單元220接收轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212的檢測信息(通過傳感器檢測或圖像分析獲取的信息)作為輸入，并確定處理方式。更具體地說，圖像合成單元220執(zhí)行下列處理的其中之一，所述處理包括:(al) 3D全景圖像的生成；(a2) 3D全景圖像的生成(伴隨著LR圖像的反轉(zhuǎn)處理)；(b) 2D全景圖像的生成；以及(c) 3D和2D全景圖像都不生成。另外，如(al)和(a2)中所示，也是在生成3D全景圖像的情況中，存在這樣一種情況，其中，根據(jù)檢測信息進(jìn)行LR圖像(左眼圖像和右眼圖像)的反轉(zhuǎn)。此外，在3D和2D全景圖像都未生成的情況、處理前進(jìn)到確定的處理等情況中，在每個場景中通知或警告被輸出給用戶。將參考圖12中的流程圖描述在步驟S108中示出的確定要被執(zhí)行的處理的處理的具體例子。在步驟S210中，圖像合成單元220接收轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212的檢測信息(通過傳感器檢測或圖像分析獲取的信息)作為輸入。另外，轉(zhuǎn)動動量檢測單元211在作為圖像合成單元220的圖像合成處理對象的圖像被捕獲的時間點(diǎn)獲取或計(jì)算照相機(jī)的轉(zhuǎn)動動量Θ，并將該值輸出到圖像合成單元220。這里，轉(zhuǎn)動動量檢測單元211的檢測信息可以被設(shè)置為直接從轉(zhuǎn)動動量檢測單元211輸出到圖像合成單元220，或者其可以被配置為使得檢測信息作為圖像的屬性信息與圖像一同記錄在存儲器中，并且圖像合成單元220獲取記錄在存儲器中的值。此外，平移動量檢測單元212在作為圖像合成單元220的圖像合成處理對象的圖像被捕獲的時間點(diǎn)獲取或計(jì)算照相機(jī)的平移動量t，并將該值輸出到圖像合成單元220。這里，平移動量檢測單元212的檢測信息可以被設(shè)置為直接從平移動量檢測單元212輸出到圖像合成單元220，或者其可以被配置為使得檢測信息作為圖像的屬性信息與圖像一同記錄在存儲器中，并且圖像合成單元220獲取記錄在存儲器中的值。另外，例如，轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212由傳感器或圖像分析單元構(gòu)成。將在稍后階段中描述具體的配置例子和處理例子。首先，在步驟S202中，圖像合成單元220確定由轉(zhuǎn)動動量檢測單元211獲取的在捕獲圖像時照相機(jī)的轉(zhuǎn)動動量Θ是否等于零。另外，一種處理可以被配置為被執(zhí)行，其中，在檢測到的值并不完全等于零而且與零的差在事先設(shè)置的允許范圍內(nèi)的情況中，在考慮了測量誤差等的情況下確定零。當(dāng)在步驟S202中在捕獲圖像時的照相機(jī)的轉(zhuǎn)動動量被確定為零Θ =0的情況中，處理前進(jìn)到步驟S203，并且，在確定Θ古O的情況中，處理前進(jìn)到步驟S205。當(dāng)在步驟S202中在捕獲圖像時的照相機(jī)的轉(zhuǎn)動動量被確定為零Θ =0的情況中，處理前進(jìn)到步驟S203，并且，用于通知用戶2D全景圖像和3D全景圖像都不能被生成的警告被輸出。另外，圖像合成單元220的確定信息被輸出到該設(shè)備的控制單元，并且，例如，在控制單元的控制下根據(jù)該確定信息的警告或通知被顯示在顯示單元204上?；蛘?，可以采用輸出警報的配置。照相機(jī)的轉(zhuǎn)動動量為零Θ =0的情況對應(yīng)于事先參考圖9 (bl)描述的例子。在圖像捕獲伴隨有這樣的移動的情況中，2D全景圖像和3D全景圖像都不能被生成，并且用于向用戶通知該情形的警告被輸出。在該警告被輸出后，處理前進(jìn)到步驟S204，并且在不執(zhí)行圖像合成處理的情況下
結(jié)束處理。另一方面，當(dāng)在步驟S202中在捕獲圖像時的照相機(jī)的轉(zhuǎn)動動量被確定為不為零Θ古O的情況中，處理前進(jìn)到步驟S205，并且，確定由平移動量檢測單元212獲取的在捕獲圖像時的照相機(jī)的平移動量t是否等于零。另外，一種處理可以被配置為被執(zhí)行，其中，在檢測到的值并不完全等于零而且與零的差在事先設(shè)置的允許范圍內(nèi)的情況中，在考慮了測量誤差等的情況下確定零。當(dāng)在步驟S205中在捕獲圖像時的照相機(jī)的平移動量被確定為零t=0的情況中，處理前進(jìn)到步驟S206，并且，在確定t古O的情況中，處理前進(jìn)到步驟S209。當(dāng)在步驟S205中在捕獲圖像時的照相機(jī)的轉(zhuǎn)動動量被確定為零t=0的情況中，處理前進(jìn)到步驟S206，并且，用于通知用戶3D全景圖像的生成不能被執(zhí)行的警告被輸出。照相機(jī)的轉(zhuǎn)動動量為零t=0的情況是不存在照相機(jī)的平移動量的情況。但是，在這種情況中，轉(zhuǎn)動動量在步驟S202中被確定為不為零Θ古0，并且處于進(jìn)行一定旋轉(zhuǎn)的狀態(tài)中。在這種情況中，盡管可以生成3D全景圖像，但是也可以生成2D全景圖像。
用于通知用戶這種情形的警告被輸出。在步驟S206中輸出警告后，處理前進(jìn)到步驟S207，并且確定是否生成了 2D全景圖像。例如，通過詢問用戶關(guān)于生成的情況并基于用戶的輸入執(zhí)行確認(rèn)處理來執(zhí)行該確定處理?；蛘?，基于事先設(shè)置的信息來確定該處理。在步驟S207中，在確定2D全景圖像要被生成的情況中，在步驟S208中，2D全景圖像被生成。另一方面，當(dāng)在步驟S207中確定2D全景圖像不被生成的情況中，處理前進(jìn)到步驟S204，并且在不執(zhí)行圖像合成處理的情況下結(jié)束本處理。在步驟S205中，在照相機(jī)的平移動量被確定為不為零t古O的情況中，處理前進(jìn)到步驟S209，并且確定通過將在捕獲圖像時照相機(jī)的轉(zhuǎn)動動量Θ與平移動量t相乘所獲取的值QXt是否小于零。如圖5所示,對于在順時針方向上的轉(zhuǎn)動,照相機(jī)的轉(zhuǎn)動動量Θ被設(shè)置為“+”，并且，如圖5所示，對于向右側(cè)的移動，照相機(jī)的平移動量t被設(shè)置為“+”。通過將在捕獲圖像時的轉(zhuǎn)動動量Θ與平移動量t相乘所獲取的值等于或大于零的情況，換句話說，不滿足Θ.t〈0的公式的情況是下列情況(al)或(a2)。(al)0>O 且 t>0(&2)0〈0且七〈0(al)的情況對應(yīng)于在圖5中示出的例子。在(a2)的情況中，轉(zhuǎn)動方向與圖5中示出的例子的轉(zhuǎn)動方向相反，并且平移移動的方向與上述例子的平移移動的方向相反。在這種情況中，可以生成用于正常3D圖像的左眼全景圖像(L圖像)和右眼全景圖像(R圖像)。在這種情況中，換句話說，在步驟S209中，通過將在捕獲圖像時照相機(jī)的轉(zhuǎn)動動量Θ與平移動量t相乘所獲取的值Θ Xt等于或大于零,換句話說,在確定Θ.t〈0的公式未被滿足的情況中，處理前進(jìn)到步驟S212，并且執(zhí)行生成用于正常3D圖像的左眼全景圖像(L圖像)和右眼全景圖像(R圖像)的處理。另一方面,在步驟S209中,通過將在捕獲圖像時照相機(jī)的轉(zhuǎn)動動量Θ與平移動量t相乘所獲取的值Θ Xt小于零的情況，換句話說，滿足Θ.t〈0的公式的情況是下列情況(bl)或(b2)。(131)0>0且七〈0(b2)0〈O 且 t>0在這種情況中，執(zhí)行將用于正常3D圖像的左眼全景圖像(L圖像)與右眼全景圖像(R圖像)相互交換的處理。換句話說，通過相互交換LR圖像，可以生成用于正常3D圖像的左眼全景圖像(L圖像)和右眼全景圖像(R圖像)。在這種情況中，處理前進(jìn)到步驟S210。在步驟S210中，確定是否生成3D全景圖像。例如，通過詢問用戶關(guān)于生成的情況并基于用戶的輸入執(zhí)行確認(rèn)處理來執(zhí)行該確定處理?；蛘撸谑孪仍O(shè)置的信息來確定該處理。在步驟S210中，在確定3D全景圖像要被生成的情況中，在步驟S211中，3D全景圖像被生成。但是，在這種情況的處理中，不同于在步驟212中生成3D全景圖像的處理，LR圖像反轉(zhuǎn)處理被執(zhí)行，其中，通過與步驟S212中生成3D全景圖像的處理相同的序列生成的左眼圖像(L圖像)被設(shè)置為右眼圖像(R圖像)，并且右眼圖像(R圖像)被設(shè)置為左眼圖像(L圖像)。 當(dāng)在步驟210中確定未生成3D全景圖像的情況中，處理前進(jìn)到步驟S207，并且，確定是否生成2D全景圖像。例如，通過詢問用戶關(guān)于生成的情況并基于用戶的輸入執(zhí)行確認(rèn)處理來執(zhí)行該確定處理?；蛘撸谑孪仍O(shè)置的信息來確定該處理。在步驟S207中，在確定2D全景圖像要被生成的情況中，在步驟S208中，2D全景圖像被生成。另一方面，當(dāng)在步驟S207中確定2D全景圖像不被生成的情況中，處理前進(jìn)到步驟S204，并且在不執(zhí)行圖像合成處理的情況下結(jié)束本處理。如上所述，圖像合成單元220接收由轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212檢測的檢測信息(通過傳感器檢測或圖像分析獲取的信息)作為輸入，并確定處理方式。該處理作為在圖11中示出的步驟S108的處理被執(zhí)行。在步驟S108的處理完成后，處理前進(jìn)到在圖11中示出的步驟S109。步驟S109表示根據(jù)要被執(zhí)行的處理的確定的分支步驟，該確定在步驟S108中進(jìn)行。如參考圖12的流程所示，根據(jù)轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212的檢測信息(通過傳感器檢測或圖像分析獲取的信息)，圖像合成單元220確定下列處理中的一個處理，這些處理包括:(a) 3D全景圖像的生成(圖12中示出的流程的步驟S212)；(a2) 3D全景圖像的生成(伴隨著反轉(zhuǎn)LR圖像的處理)(圖12中示出的流程的步驟 S211)；(b) 2D全景圖像的生成(圖12中示出的流程的步驟S208)；(c) 3D和2D全景圖像都不生成(圖12中示出的流程的步驟S204)。在步驟S108的處理中，在(al)或(a2)的處理被確定的情況下，換句話說，在步驟S211或S212的3D圖像合成處理被確定為要在圖12中示出的流程中執(zhí)行的處理時，處理前進(jìn)到步驟SI 10。在步驟S108的處理中，在(b)的處理被確定的情況中，換句話說，在步驟S208的2D圖像合成處理被確定為要在圖12中示出的流程中執(zhí)行的處理的情況中，處理前進(jìn)到步驟 S121。在步驟S108的處理中，在(C)的處理被確定的情況中，換句話說，在步驟S204的沒有圖像合成處理被確定為要在圖12中示出的流程中執(zhí)行的處理的情況中，處理前進(jìn)到步驟S113。在步驟S108的處理中，在(C)的處理被確定的情況中，換句話說，在步驟S204的沒有圖像合成處理被確定為要在圖12中示出的流程中執(zhí)行的處理的情況中，處理前進(jìn)到步驟SI 13，在不執(zhí)行圖像合成的情況下將捕獲圖像記錄在記錄單元(記錄介質(zhì))221中，并結(jié)束處理。另外，可以這樣配置:使得在該記錄處理前對圖像是否被記錄執(zhí)行用戶確認(rèn)，并且只有在用戶具有記錄圖像的意圖的情況下執(zhí)行記錄處理。在步驟S108的處理中，在(b)的處理的情況中，換句話說，在步驟S208的2D圖像合成處理被確定為要在圖12中示出的流程中執(zhí)行的處理的情況中，處理前進(jìn)到步驟S121，圖像合成處理作為2D全景圖像生成處理被執(zhí)行，其中，用于生成2D全景圖像的條帶從每個圖像裁剪出并被連接，生成的2D全景圖像被記錄在記錄單元(記錄介質(zhì))221中，并且處理結(jié)束。
在步驟S108的處理中，在(al)或(a2)的處理，換句話說，步驟S211或S212的3D圖像合成處理被確定為要在圖12示出的流程中執(zhí)行的處理的情況中，處理前進(jìn)到步驟S110，并且圖像合成處理作為3D全景圖像生成處理被執(zhí)行，其中，用于生成3D全景圖像的條帶從每個圖像裁剪出并被連接。首先，在步驟S110，圖像合成單元220計(jì)算要成為3D圖像的左眼圖像與右眼圖像的條狀區(qū)域之間的偏移量，換句話說，左眼圖像與右眼圖像的條狀區(qū)域之間的距離(條帶間偏移)D。另外，如參考圖6所述，在本說明書中，用于二維合成圖像的2D全景圖像條115與左眼圖像條111之間的距離以及2D全景圖像條115與右眼圖像條112之間的距離被定義為“偏移”或“條帶偏移”=dl和d2，并且，左眼圖像條111與右眼圖像條112之間的距離被定義為“條帶間偏移”=D。另外，條帶間偏移=(條帶偏移)X2,并且D=dl+d2。當(dāng)在步驟SllO中計(jì)算左眼圖像與右眼圖像的條狀區(qū)域之間的距離以及條帶偏移dl和d2的處理中，例如，這些偏移被設(shè)置為滿足下面的條件。(條件I)不會發(fā)生左眼圖像條與右眼圖像條之間的條帶重疊。(條件2)這些條帶不會突出到存儲在圖像存儲器(用于合成處理)205中的圖像區(qū)域的外部。被設(shè)置為滿足條件I和2的條帶偏移dl和d2被計(jì)算。在步驟SllO中，當(dāng)條帶間偏移D (左眼圖像與右眼圖像的條狀區(qū)域之間的距離)的計(jì)算被完成時，處理前進(jìn)到步驟SI 11。在步驟Slll中，使用捕獲圖像的第一圖像合成處理被執(zhí)行。另外，處理前進(jìn)到步驟S112，并且使用捕獲圖像的第二圖像合成處理被執(zhí)行。步驟Slll和S112的圖像合成處理是生成用于顯示3D圖像顯示的左眼合成圖像和右眼合成圖像的處理。例如，合成圖像作為全景圖像被生成。如上所述，通過其中僅提取并連接左眼圖像條的合成處理來生成左眼合成圖像。通過其中僅提取并連接右眼圖像條的合成處理來生成右眼合成圖像。作為這樣的合成處理的結(jié)果，例如，在圖7 (2a)和圖7 (2b)中示出的兩個全景圖像被生成。在步驟S102中按下快門的確定為“是”后且在步驟S107中確認(rèn)到快門按下結(jié)束之前，在捕獲連續(xù)圖像期間，通過使用存儲在圖像存儲器(用于合成處理)205中的多個圖像(或部分圖像)來執(zhí)行步驟Slll和S112的圖像合成處理。當(dāng)該合成處理被執(zhí)行時，圖像合成單元220從移動量存儲器208獲取與多個圖像相關(guān)聯(lián)的移動量，并接收作為輸入的在步驟SllO計(jì)算的條帶間偏移D=dl+d2的值。例如，在步驟Slll中，通過使用偏移dl來確定左眼圖像的條帶位置，并且，在步驟S112中，通過使用偏移dl來確定左眼圖像的條帶位置。另外，盡管可以配置為使得dl=d2，但是不必配置dl=d2。當(dāng)滿足D=dl+d2的條件時，dl和d2的值可以彼此不同。圖像合成單元220將用于構(gòu)成左眼合成圖像的左眼條設(shè)置到從圖像中心向右側(cè)偏移預(yù)定量的位置。用于構(gòu)成右眼合成圖像的右眼條被設(shè)置到從圖像中心向左側(cè)偏移預(yù)定量的位置。
當(dāng)條狀區(qū)域設(shè)置處理被執(zhí)行時，圖像合成單元220將條狀區(qū)域確定為滿足偏移條件，該偏移條件滿足用于生成形成為3D圖像的左眼圖像和右眼圖像的條件。圖像合成單元220通過裁剪出和連接每個圖像的左眼圖像條和右眼圖像條來執(zhí)行圖像合成，從而生成左眼合成圖像和右眼合成圖像。另外，在存儲在圖像存儲器(用于合成處理)205的圖像(或部分圖像)是根據(jù)JPEG等的壓縮數(shù)據(jù)的情況中，為了實(shí)現(xiàn)高處理速度，自適應(yīng)解壓處理可以被配置為被執(zhí)行，其中，基于在步驟S104中獲取的圖像間的移動量，其中諸如JPEG等的壓縮被解壓的圖像區(qū)域僅在被用作合成圖像的條狀區(qū)域中被設(shè)置。通過步驟Slll和S112的處理，用于顯示3D圖像的左眼合成圖像和右眼合成圖像被生成。另外，在(al)3D全景圖像的生成的處理(在圖12中示出的流程的步驟S212)被執(zhí)行的情況中，在上述處理中被生成的左眼圖像(L圖像)和右眼圖像(R圖像)被直接作為用于顯示3D圖像的LR圖像存儲在介質(zhì)上。但是，在(a2) 3D全景圖像的生成的處理(伴隨著LR圖像的反轉(zhuǎn)的處理)(在圖12中示出的流程的步驟S211)被執(zhí)行的情況中，在上述處理中被生成的左眼圖像(L圖像)和右眼圖像(R圖像)被彼此交換，換句話說，用于顯示3D圖像的LR圖像被設(shè)置為使得在上述處理中生成的左眼圖像(L圖像)被配置為右眼圖像(R圖像)，右眼圖像(R圖像)被配置為左眼圖像(L圖像)。 最終，處理前進(jìn)到步驟S113，在步驟S111和S112中合成的圖像被以適當(dāng)?shù)挠涗浉袷?例如，CIPA DC-007多圖片格式等)生成，并被存儲在記錄單元(記錄介質(zhì))221中。通過執(zhí)行上述步驟，可以合成包括用于顯示3D圖像的左眼圖像和右眼圖像的兩個圖像。5.轉(zhuǎn)動動量檢測單元和平移動量檢測單元的具體配置例子接下來，將描述轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212的具體配置例子。轉(zhuǎn)動動量檢測單元211檢測照相機(jī)的轉(zhuǎn)動動量,平移動量檢測單元212檢測照相機(jī)的平移動量。作為每個檢測單元的檢測配置的具體例子，將描述下面三個例子。(例子I)使用傳感器的檢測處理的例子(例子2)通過圖像分析的檢測處理的例子(例子3)通過傳感器和圖像分析兩者的檢測處理的例子在下文中，將順序地描述這些處理例子。(例子I)使用傳感器的檢測處理的例子首先，將描述一個例子，其中，轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212由傳感器構(gòu)成。例如，平移移動可以通過使用加速度傳感器來檢測?；蛘?，平移移動可以使用從衛(wèi)星發(fā)射的電波根據(jù)GPS (全球定位系統(tǒng))的緯度和經(jīng)度來計(jì)算。另外，例如，用于使用加速度傳感器來檢測平移動量的處理在日本未審專利申請公開N0.2000-78614中被公開了。另外，關(guān)于照相機(jī)的轉(zhuǎn)動移動(姿勢)，存在通過參考地磁的方向來測量方位(bearing)的方法、通過參考重力的方向使用加速儀檢測傾斜的角度的方法、使用通過組合振動陀螺儀和加速度傳感器而獲取的角度傳感器的方法、以及用于通過使用加速度傳感器與初始狀態(tài)的參照角進(jìn)行比較來執(zhí)行計(jì)算的計(jì)算方法。如上所述,轉(zhuǎn)動動量檢測單元211可以由地磁傳感器、加速儀、振動陀螺儀、加速度傳感器、角度傳感器、角速度傳感器或這些傳感器的組合構(gòu)成。另外，平移動量檢測單元212可以由加速度傳感器或GPS (全球定位系統(tǒng))構(gòu)成。這些傳感器的轉(zhuǎn)動動量和平移動量被直接提供給圖像合成單元210或通過圖像存儲器(用于合成處理)205提供給圖像合成單元210，并且圖像合成單元210基于其檢測值來確定合成處理的方式。(例子2)通過圖像分析的檢測處理的例子接下來,將描述一個例子,其中，轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212不被配置為傳感器，而是被配置為接收捕獲圖像作為輸入并執(zhí)行圖像分析的圖像分析單
J Li ο在本例中，在圖10中示出的轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212從圖像存儲器(用于檢測移動量)205接收作為合成處理對象的圖像數(shù)據(jù)作為輸入，執(zhí)行輸入圖像的分析，并獲取在捕獲圖像的時間點(diǎn)的照相機(jī)的轉(zhuǎn)動分量和平移分量。更具體地說，首先，通過使用Harris角部檢測器等，從作為合成對象的已經(jīng)被連續(xù)地捕獲的圖像提取特征量。另外，通過匹配圖像的特征量或者通過以均勻的間隔分割每個圖像并以分割區(qū)域的單位進(jìn)行匹配(塊匹配)，來計(jì)算圖像間的光通量(optical flow)。此外，在照相機(jī)模型是透視投影圖像的前提下，可以通過使用迭代方法解非線性方程來提取轉(zhuǎn)動分量和平移分量。另外，例如，本技術(shù)在下面的文獻(xiàn)中進(jìn)行了詳細(xì)描述，并且本技術(shù)可以被使用?！癕ulti View Geometry in Computer Vision”， Richard Hartley 與 AndrewZisserman,劍橋大學(xué)出版社或者，更簡單地，通過假定被攝體是平面的，可以使用這樣的方法，其中，根據(jù)光通量計(jì)算單應(yīng)性(homography ),并且轉(zhuǎn)動分量和平移分量被計(jì)算。在該處理的本例子被執(zhí)行的情況中，在圖10中示出的轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212被配置為不是傳感器而是圖像分析單元。轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212從圖像存儲器(用于檢測移動量)205接收作為圖像合成處理對象的圖像數(shù)據(jù)作為輸入，并執(zhí)行輸入圖像的圖像分析，從而獲取在捕獲圖像時照相機(jī)的轉(zhuǎn)動分量和平移分量。(例子3)通過傳感器和圖像分析兩者的檢測處理的例子接下來，將描述處理的一個例子，其中，轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212包括傳感器和圖像分析單元的兩種功能，并獲取傳感器檢測信息和圖像分析信息兩者。將描述一個例子，其中，各單元被配置為接收作為輸入的捕獲圖像并執(zhí)行圖像分析的圖像分析單元。通過校正處理，連續(xù)捕獲的圖像被形成為僅包括平移移動的連續(xù)捕獲的圖像，從而使得基于由角速度傳感器獲取的角速度數(shù)據(jù)，角速度為零，并且可以基于由加速度傳感器獲取的加速度數(shù)據(jù)和校正處理后的連續(xù)捕獲的圖像來計(jì)算平移移動。例如，該處理在日本未審專利申請公開N0.2000-222580中被公開了。在該處理的例子中，轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212中的平移動量檢測單元212被配置為具有角速度傳感器和圖像分析單元，并且通過采用這樣的配置，通過使用在日本未審專利申請公開N0.2000-222580中公開的技術(shù)來計(jì)算在捕獲圖像時的
平移動量。轉(zhuǎn)動動量檢測單元211被假定為具有在使用傳感器的檢測處理的例子(例子I)和通過圖像分析的檢測處理的例子(例子2)的其中之一中描述的傳感器的配置或圖像分析單元的配置。6.在基于轉(zhuǎn)動動量與平移動量的處理之間切換的例子接下來，將描述基于照相機(jī)的轉(zhuǎn)動動量和平移動量的切換的例子。如參考圖12中示出的流程圖在之前所描述的，基于由上述的轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212的處理獲取或計(jì)算的在捕獲圖像時的成像設(shè)備(照相機(jī))的轉(zhuǎn)動動量和平移動量，圖像合成單元220改變處理方式。更具體地說，根據(jù)轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212的檢測信息(通過傳感器檢測或圖像分析獲取的信息)，圖像合成單元220確定下列處理的其中之一，這些處理包括:(a) 3D全景圖像的生成(圖12中示出的流程的步驟S212)；(a2) 3D全景圖像的生成(伴隨著反轉(zhuǎn)LR圖像的處理)(圖12中示出的流程的步驟 S211)；(b) 2D全景圖像的生成(圖12中示出的流程的步驟S208)；(c) 3D和2D全景圖像都不生成(圖12中示出的流程的步驟S204)。在圖13中示出總結(jié)轉(zhuǎn)動動量檢測單元211和平移動量檢測單元212的檢測信息和根據(jù)該檢測信息確定的處理的示圖。在照相機(jī)的轉(zhuǎn)動動量Θ為零(狀態(tài)4、狀態(tài)5或狀態(tài)6)的情況中，由于既不能正確地執(zhí)行2D圖像也不能正確地執(zhí)行3D圖像，所以為用戶執(zhí)行諸如給出警告的反饋，并且在不執(zhí)行圖像合成處理的情況下，處理再次返回到捕獲等待狀態(tài)。在照相機(jī)的轉(zhuǎn)動動量Θ不為零的情況中，并且在平移動量t為零(狀態(tài)2或狀態(tài)
8)的情況中，即使在執(zhí)行了3D捕獲時，也不能獲取差異，因此，僅執(zhí)行2D合成，或者為用戶執(zhí)行諸如給出警告的反饋，并且該處理返回到等待狀態(tài)。在照相機(jī)的轉(zhuǎn)動動量Θ不為零并且平移動量t不為零的情況中(在兩者都不為零的情況中)，并且當(dāng)轉(zhuǎn)動動量Θ與平移動量t的符號彼此相反，換句話說，Θ.t<0 (狀態(tài)3或狀態(tài)7)時，可以執(zhí)行2D合成或3D合成。但是，由于在照相機(jī)的光軸彼此相交的方向上執(zhí)行捕獲，因此在合成3D圖像的情況中需要記錄其中左圖像和右圖像的極性被反轉(zhuǎn)的圖像。在這種情況中，例如，通過詢問用戶來確認(rèn)哪個圖像被記錄，然后，執(zhí)行用戶期望的處理。在用戶不希望數(shù)據(jù)記錄的情況中，不記錄圖像，并且處理返回到等待狀態(tài)。另外,在轉(zhuǎn)動動量Θ不為零并且平移動量t不為零的情況中(在兩者都不為零的情況中)，并且當(dāng)轉(zhuǎn)動動量Θ與平移動量t的符號相同，換句話說，Θ -t>0 (狀態(tài)I或狀態(tài)
9)時，可以執(zhí)行2D合成或3D合成。在這種情況中，由于假定照相機(jī)處于移動狀態(tài)，因此執(zhí)行3D合成，并且處理返回到等待狀態(tài)。另外，也是在這種情況中，在通過詢問用戶來確認(rèn)2D圖像和3D圖像當(dāng)中的要被記錄的圖像后，用戶期望的處理可以被設(shè)置為被執(zhí)行。在用戶不希望數(shù)據(jù)記錄的情況中，不記錄圖像，并且處理返回到等待狀態(tài)。如上所述，根據(jù)本發(fā)明的配置，在通過合成由用戶在各種條件下捕獲的圖像而生成作為3D圖像或2D全景圖像的左眼圖像和右眼圖像的配置中，基于照相機(jī)的轉(zhuǎn)動動量Θ和平移動量t來確定可以被生成的合成圖像，針對可以被生成的圖像執(zhí)行可以被生成的圖像合成處理，并且，對用戶的確認(rèn)處理被執(zhí)行，以執(zhí)行用戶期望的圖像合成處理。因此，可以可靠地生成用戶期望的圖像并將該圖像記錄在介質(zhì)上。如上所述，已經(jīng)通過參考具體實(shí)施例對本發(fā)明進(jìn)行了詳細(xì)描述。但是，顯然的是，在不脫離本發(fā)明的概念的范圍內(nèi)，本領(lǐng)域技術(shù)人員可以修改或替換實(shí)施例。換句話說，由于本發(fā)明是以例子的形式公開的，所以不必以限制的方式來解釋本發(fā)明。為了確定本發(fā)明的概念，必須參照權(quán)利要求。在本說明書中描述的一系列處理可以通過硬件、軟件、或硬件和軟件兩者的組合配置來執(zhí)行。在通過軟件執(zhí)行這些處理的情況中，可以配置為使得其中記錄有處理序列的程序被安裝到置于計(jì)算機(jī)內(nèi)部的存儲器并被執(zhí)行，該計(jì)算機(jī)被構(gòu)建在專用硬件中，或者程序被安裝到可以執(zhí)行各種處理的通用計(jì)算機(jī)并被執(zhí)行。例如，該程序可以事先被記錄在記錄介質(zhì)中。代替從記錄介質(zhì)安裝該程序，其可以被配置為使得該程序通過諸如LAN (局域網(wǎng))或互聯(lián)網(wǎng)的網(wǎng)絡(luò)被接收并安裝到構(gòu)建中其中的諸如硬盤的記錄介質(zhì)。另外，根據(jù)執(zhí)行這些處理的設(shè)備的處理能力或按照需要，在本說明書中描述的各種處理可以以按照本描述的時間序列來執(zhí)行，或者可以并行或相互獨(dú)立地執(zhí)行。在本說明書中描述的系統(tǒng)表示多個系統(tǒng)的邏輯上集成的配置，并且這些種配置的設(shè)備并不限制為被置于同一殼體內(nèi)。工業(yè)應(yīng)用性如上所述，根據(jù)本發(fā)明的實(shí)施例的配置，在二維全景圖像或用于顯示三維圖像的圖像是通過連接從多個圖像裁剪出的條狀區(qū)域生成的配置中，實(shí)現(xiàn)這樣的配置，其中，基于照相機(jī)的移動來確定可以生成的合成圖像，并且生成確定的合成圖像。在通過連接從多個圖像裁剪出的條狀區(qū)域來生成二維全景圖像或用于顯示三維圖像的左眼合成圖像或右眼合成圖像的配置中，通過分析在捕獲圖像時成像設(shè)備的移動的信息來確定是否可以生成二維全景圖像或三維圖像，并且執(zhí)行生成可以被生成的合成圖像的處理。根據(jù)捕獲圖像時照相機(jī)的轉(zhuǎn)動動量(Θ )和平移動量(t)，從(a)用于顯示三維圖像的左眼合成圖像和右眼合成圖像的合成圖像生成處理、(b) 二維全景圖像的合成圖像生成處理、以及(C)停止合成圖像生成當(dāng)中確定一個處理方式，并執(zhí)行確定的處理。另外，為用戶執(zhí)行對處理內(nèi)容的通知或給出警告。附圖標(biāo)記列表10照相機(jī)20 圖像212D全景圖像條302D全景圖像51左眼圖像條
52右眼圖像條70成像裝置72左眼圖像73右眼圖像100照相機(jī)101虛擬成像表面102光學(xué)中心110 圖像111左眼圖像條112右眼圖像條1152D全景圖像條200成像設(shè)備201透鏡系統(tǒng)202成像裝置203圖像信號處理單元204顯示單元205圖像存儲器(用于合成處理)206圖像存儲器(用于檢測移動量)207移動量檢測單元208移動量存儲器211轉(zhuǎn)動動量檢測單元212平移動量檢測單元220圖像合成單元221記錄單元
權(quán)利要求
1.一種圖像處理設(shè)備，包括: 圖像合成單元，該圖像合成單元接收從互不相同的位置捕獲的多個圖像作為輸入，并通過連接從這些圖像中的每一個裁剪出的條狀區(qū)域來生成合成圖像， 其中，圖像合成單元基于在捕獲圖像時成像設(shè)備的移動信息從(a)用于顯示三維圖像的左眼合成圖像和右眼合成圖像的合成圖像生成處理、(b) 二維全景圖像的合成圖像生成處理、以及(C)停止合成圖像生成當(dāng)中確定一個處理方式，并執(zhí)行確定的處理。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括: 轉(zhuǎn)動動量檢測單元，該轉(zhuǎn)動動量檢測單元獲取或計(jì)算在捕獲圖像時成像設(shè)備的轉(zhuǎn)動動量(Θ );以及 平移動量檢測單元，該平移動量檢測單元獲取或計(jì)算在捕獲圖像時成像設(shè)備的平移動量(t);并且， 其中，圖像合成單元基于由轉(zhuǎn)動動量檢測單元檢測的轉(zhuǎn)動動量(Θ )和由平移動量檢測單元檢測的平移動量(t)來確定處理方式。
3.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括輸出單元，該輸出單元根據(jù)圖像合成單元的確定的信息向用戶呈示警告或通知。
4.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，在由轉(zhuǎn)動動量檢測單元檢測的轉(zhuǎn)動動量(Θ )為零的情況中，圖像合成單元停止三維圖像和二維全景圖像的合成圖像生成處理。
5.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，在由轉(zhuǎn)動動量檢測單元檢測的轉(zhuǎn)動動量(Θ )不為零，并且由平移動量檢測單元檢測的平移動量(t)為零的情況中，圖像合成單元執(zhí)行二維全景圖像的合成圖像`生成處理與停止合成圖像生成的其中之一。
6.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，在由轉(zhuǎn)動動量檢測單元檢測的轉(zhuǎn)動動量(Θ )不為零，并且由平移動量檢測單元檢測的平移動量(t)不為零的情況中，圖像合成單元執(zhí)行三維圖像的合成圖像生成處理和二維全景圖像的合成圖像生成處理的其中之一。
7.根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其中，在由轉(zhuǎn)動動量檢測單元檢測的轉(zhuǎn)動動量(Θ )不為零，并且由平移動量檢測單元檢測的平移動量(t)不為零的情況中，圖像合成單元執(zhí)行這樣的處理，其中，要被生成的3D圖像的LR圖像在Θ.t〈0的情況和在Θ.t>0的情況中被反轉(zhuǎn)地設(shè)置。
8.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，轉(zhuǎn)動動量檢測單元是檢測圖像處理設(shè)備的轉(zhuǎn)動動量的傳感器。
9.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，平移動量檢測單元是檢測圖像處理設(shè)備的平移動量的傳感器。
10.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，轉(zhuǎn)動動量檢測單元是通過分析捕獲的圖像來檢測在捕獲圖像時的轉(zhuǎn)動動量的圖像分析單元。
11.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，平移動量檢測單元是通過分析捕獲的圖像來檢測在捕獲圖像時的平移動量的圖像分析單元。
12.—種成像設(shè)備，包括: 成像單元；和 圖像處理單元，該圖像處理單元執(zhí)行根據(jù)權(quán)利要求1到11中的任意一個所述的圖像處理。
13.一種在圖像處理設(shè)備中執(zhí)行的圖像處理方法，該圖像處理方法包括: 通過使用圖像合成單元，接收從互不相同的位置捕獲的多個圖像作為輸入，并通過連接從這些圖像中的每一個裁剪出的條狀區(qū)域來生成合成圖像， 其中，在接收多個圖像并生成合成圖像時，基于在捕獲圖像時成像設(shè)備的移動信息從(a)用于顯示三維圖像的左眼合成圖像和右眼合成圖像的合成圖像生成處理、(b) 二維全景圖像的合成圖像生成處理、以及(C)停止合成圖像生成當(dāng)中確定一個處理方式，并執(zhí)行確定的處理。
14.一種使圖像處理設(shè)備執(zhí)行圖像處理的程序，該程序使得圖像合成單元執(zhí)行如下:接收從互不相同的位置捕獲的多個圖像作為輸入，并通過連接從這些圖像中的每一個裁剪出的條狀區(qū)域來生成合成圖像， 其中，在接收多個圖像并生成合成圖像時， 基于在捕獲圖像時成像設(shè)備的移動信息從(a)用于顯示三維圖像的左眼合成圖像和右眼合成圖像的合成圖像生成處理、(b) 二維全景圖像的合成圖像生成處理、以及(C)停止合成圖像生成當(dāng)中確定一個處理方式，并執(zhí)行確定的處理。
全文摘要
提供了用于連接從多個圖像裁剪出的矩形區(qū)域并生成用于顯示二維全景圖像或三維圖像的圖像的配置，其中，基于照相機(jī)的移動確定可以生成的合成圖像，并且，生成確定的合成圖像。還提供用于連接從多個圖像裁剪出的矩形區(qū)域并生成用于顯示二維全景圖像或三維圖像的左眼圖像和右眼圖像的配置，其中，分析在圖像捕獲期間的成像裝置的移動，確定是否可以生成二維全景圖像或三維圖像，并且，生成可以生成的合成圖像。根據(jù)在捕獲圖像期間照相機(jī)的轉(zhuǎn)動動量(θ)和平移動量(t)，(a)執(zhí)行處理以生成用于顯示三維圖像的左眼合成圖像和右眼合成圖像的合成圖像，(b)執(zhí)行處理以生成二維全景圖像的合成圖像，或者(c)暫停合成圖像的生成。確定要執(zhí)行處理(a)至(c)中的哪一個，并且，執(zhí)行確定的處理。向用戶通知或警告處理的內(nèi)容。
文檔編號H04N13/02GK103109537SQ20118004438
公開日2013年5月15日 申請日期2011年9月12日 優(yōu)先權(quán)日2010年9月22日
發(fā)明者小坂井良太, 稻葉靖二郎 申請人:索尼公司