專利名稱：圖像處理裝置及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理裝置及圖像處理方法。
背景技術(shù)：
以往，出現(xiàn)了基于平面顯示的圖像來顯示立體地展現(xiàn)的圖像(以下稱為“3D(Dimensions)圖像”)的技術(shù)。作為顯示3D圖像的技術(shù)，例如具有如下技術(shù)，即利用通過右眼和左眼看到的像的位置的差異(視差)來感覺像的進深的人的特性，準(zhǔn)備視差不同的2張圖像來顯示3D圖像(日本專利平8-30806號公報)。在這種利用視差不同的2張圖像來顯示3D圖像的上述專利文獻所記載的技術(shù)中，在3D圖像內(nèi)處于近景處的對象物的視差大，處于遠景處的對象物的視差小。
此外,近年來要求布局(arrange)圖像來有效地顯示圖像,對于3D圖像,也要求進行用于具備視覺效果的多樣化布局。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種能夠生成可實現(xiàn)多樣化布局的3D圖像數(shù)據(jù)的圖像處理裝置及圖像處理方法。根據(jù)本發(fā)明的一個技術(shù)方案，是一種圖像處理裝置，包括獲取單元，其獲取由具有左右視差的2個圖像構(gòu)成的第I三維圖像數(shù)據(jù)；分離單元，其從通過所述獲取單元獲取到的所述第I三維圖像數(shù)據(jù)的左右圖像中，分別分離遠景區(qū)域和近景區(qū)域；遠景圖像生成單元，其對由所述分離單元分離出的所述左右圖像中的至少一方的所述遠景區(qū)域?qū)嵤﹫D像處理，生成遠景部分圖像的數(shù)據(jù)；以及三維圖像數(shù)據(jù)生成單元，其對由所述遠景圖像生成單元生成的所述遠景部分圖像的數(shù)據(jù)、和由所述分離單元分別從所述左右圖像中分離出的所述近景區(qū)域的近景部分圖像的數(shù)據(jù)進行合成，從而生成由具有左右視差的2個圖像構(gòu)成的第2三維圖像數(shù)據(jù)。根據(jù)本發(fā)明的另一個技術(shù)方案，是一種圖像處理方法，是由圖像處理裝置執(zhí)行的，該圖像處理方法包括獲取步驟，獲取具有左右視差的第I三維圖像數(shù)據(jù)；分離步驟，從通過所述獲取步驟的處理獲取到的所述第I三維圖像數(shù)據(jù)的左右圖像中，分別分離遠景區(qū)域和近景區(qū)域；遠景圖像生成步驟，對通過所述分離步驟的處理分離出的所述左右圖像中的至少一方的所述遠景區(qū)域?qū)嵤﹫D像處理，從而生成遠景部分圖像的數(shù)據(jù)；以及三維圖像數(shù)據(jù)生成步驟，對通過所述遠景圖像生成步驟的處理生成的所述遠景部分圖像的數(shù)據(jù)、和通過所述分離步驟的處理從所述左右圖像分別分離出的所述近景區(qū)域的近景部分圖像的數(shù)據(jù)進行合成，從而生成由具有左右視差的2個圖像構(gòu)成的第2三維圖像數(shù)據(jù)。


圖I是用于說明遠景描繪3D圖像數(shù)據(jù)的生成的示意圖。圖2是表示本發(fā)明的一個實施方式的圖像處理裝置的硬件結(jié)構(gòu)的框圖。
圖3是表示在圖2的圖像處理裝置的功能結(jié)構(gòu)中用于執(zhí)行遠景描繪3D圖像生成處理的功能結(jié)構(gòu)的功能框圖。圖4是表示圖3的遠景描繪圖像生成部的詳細功能結(jié)構(gòu)的功能框圖。圖5是說明具有圖3的功能結(jié)構(gòu)的圖2的圖像處理裝置所執(zhí)行的遠景描繪3D圖像生成處理的流程的流程圖。圖6是說明具有圖4的功能結(jié)構(gòu)的圖2的圖像處理裝置所執(zhí)行的遠景描繪圖像生成處理的流程的流程圖。
具體實施方式
以下，在說明本發(fā)明的實施方式之前，為了便于理解，說明本發(fā)明的概要。本發(fā)明的圖像處理裝置是能夠顯示遠景描繪3D圖像的裝置。在此，“遠景描繪3D圖像”是指，相當(dāng)于遠景的部分(遠景部分)顯示為描繪風(fēng)格(在本實施方式中為水彩風(fēng)格)、除了遠景部分以外的部分(近景部分)立體地顯示為如同向前方突出的圖像。圖I是用于說明遠景描繪3D圖像數(shù)據(jù)的生成的示意圖。具體而言，圖IA是表示用于實現(xiàn)3D圖像的顯示的左眼用圖像及右眼用圖像的一例的示意圖。圖IB是表示分別對圖IA的左眼用圖像及右眼用圖像在遠景區(qū)域?qū)嵤┟枥L轉(zhuǎn)換處理后的左眼用圖像及右眼用圖像的一例的示意圖。圖IC是表示利用圖IB的左眼用圖像及右眼用圖像顯示的3D圖像的影像(image)的一例的示意圖。在此，“左眼用圖像”是指，映在人的左眼上的圖像，是同一被攝體與右眼用圖像相比更向左偵彳偏移的圖像。此外，“右眼用圖像”是指，映在人的右眼上的圖像，是同一被攝體與左眼用圖像相比更向右側(cè)偏移的圖像。S卩，就人而言，左眼用圖像映在左眼的視網(wǎng)膜上，右眼用圖像映在右眼的視網(wǎng)膜上，例如，在圖1A、圖IB中，在左右方向上分離了距離d的各線L1、L2在左眼用圖像及右眼用圖像中分別被畫在左右方向的同一位置上。然而，在左眼用圖像中，前景的車輛的側(cè)視鏡位于線LI的位置，而在右眼用圖像中，前景的車輛的側(cè)視鏡位于從線LI偏移了距離d的線L2的位置。該偏移的距離d為視差，由于該視差的存在，前景的車輛在人的大腦中被識別為仿佛向前方突出那樣被立體顯示。在3D圖像中，該視差越大，向前方突出的程度就越大。換言之，視差的偏差量大的被攝體成為前景，顯示為向前方突出，視差的偏差量小的被攝體成為遠景，具有進深且顯示為位于后方。另外，在本實施方式的說明中所使用的3D圖像的例子使用將車輛作為被攝體來拍攝的圖像。具體而言，在圖像中，車輛位于中央部分的近前側(cè)，樹位于車輛的里側(cè)。即，圖像是以樹為背景且存在車輛的構(gòu)圖。關(guān)于各左眼用圖像及右眼用圖像，本發(fā)明的圖像處理裝置僅對遠景區(qū)域的數(shù)據(jù)實施圖像處理。即，本發(fā)明的圖像處理裝置生成對遠景區(qū)域?qū)嵤﹫D像處理而對近景區(qū)域不實施圖像處理的左眼用圖像及右眼用圖像各自的數(shù)據(jù)。在參照圖I之后的圖說明的實施方式中，作為圖像處理，例如實施成為描繪風(fēng)格的描繪轉(zhuǎn)換處理。
其結(jié)果，如圖IB所示，生成遠景區(qū)域(在本例中是被攝體為樹的區(qū)域)成為描繪風(fēng)格、近景區(qū)域(在本例中是被攝體為車輛的區(qū)域)保持原樣的左眼用圖像及右眼用圖像各自的數(shù)據(jù)。另外，以下將這樣遠景區(qū)域成為描繪風(fēng)格、近景區(qū)域保持原樣的左眼用圖像及右眼用圖像分別稱為遠景描繪左眼用圖像及遠景描繪右眼用圖像。此外，將遠景描繪左眼用圖像及遠景描繪右眼用圖像的各數(shù)據(jù)適當(dāng)?shù)亟y(tǒng)稱為“遠景描繪3D圖像數(shù)據(jù)”。這樣，在用于生成遠景描繪左眼用圖像及遠景描繪右眼用圖像的各數(shù)據(jù)(遠景描繪3D圖像數(shù)據(jù))的圖像處理中，只有左眼用圖像及右眼用圖像中的遠景區(qū)域成為處理對象。因此，在左眼用圖像及右眼用圖像中，需要區(qū)分遠景區(qū)域和除此之外的近景區(qū)域。這種遠景區(qū)域和近景區(qū)域的區(qū)分方法并沒有特別限定，可以采用如下的方法利用左眼用圖像與右眼用圖像的視差，并利用在近景中視差大(即產(chǎn)生大的偏差)、在遠景中視差小(即與 近景相比所產(chǎn)生的偏差量小)的特性。具體而言，可以采用在各左眼用圖像和右眼用圖像中，將視差在一定以上的同一被攝體的區(qū)域(偏離了一定以上的同一被攝體的區(qū)域)作為近景、將除此之外的區(qū)域作為遠景的方法。本發(fā)明的圖像處理裝置顯示各個遠景描繪左眼用圖像及遠景描繪右眼用圖像，從而在作為觀賞者的用戶的眼中映出如同顯示了遠景描繪3D圖像。即，在用戶的眼中，如圖IC所示，近景區(qū)域(在該圖的例子中是被攝體為車輛的區(qū)域)立體地顯現(xiàn)為仿佛向前方突出，而遠景區(qū)域(在該圖的例子中是被攝體為樹的區(qū)域)看起來如同在后方?jīng)]有突出且位于里側(cè)，看起來成為了描繪風(fēng)格。這樣，用戶能夠觀賞到加入了遠景區(qū)域成為描繪風(fēng)格的布局(arrange)的更高演出效果的遠景描繪3D圖像，而不是現(xiàn)有的簡單的3D圖像。以下，參照

能夠生成這種遠景描繪左眼用圖像及遠景描繪右眼用圖像的各數(shù)據(jù)(遠景描繪3D圖像數(shù)據(jù))的圖像處理裝置、即本發(fā)明的圖像處理裝置的一個實施方式。圖2是表示本發(fā)明的一個實施方式的圖像處理裝置I的硬件結(jié)構(gòu)的框圖。圖像處理裝置I例如構(gòu)成為數(shù)碼相機。圖像處理裝置I 包括 CPU (Central Processing Unit :中央處理器)11、R0M(ReadOnly Memory :只讀存儲器)12、RAM (Random Access Memory :隨機存儲器)13、總線 14、輸入輸出接口 15、攝像部16、輸入部17、輸出部18、存儲部19、通信部20及驅(qū)動器21。CPUll根據(jù)R0M12中所記錄的程序或從存儲部19載入到RAM13中的程序，執(zhí)行各種處理。在RAM13中還適當(dāng)存儲CPUll執(zhí)行各種處理時所需要的數(shù)據(jù)等。CPU1UR0M12及RAM13經(jīng)由總線14而相互連接。該總線14上還連接有輸入輸出接口 15。輸入輸出接口 15上連接有攝像部16、輸入部17、輸出部18、存儲部19、通信部20及驅(qū)動器21。雖然未圖示，但是攝像部16具備光學(xué)透鏡部和圖像傳感器。光學(xué)透鏡部為了拍攝被攝體而由使光匯聚的透鏡例如聚焦透鏡、變焦透鏡構(gòu)成。聚焦透鏡是使被攝體像成像于圖像傳感器的受光面的透鏡。變焦透鏡是在一定的范圍內(nèi)自由改變焦距的透鏡。在光學(xué)透鏡部中，還根據(jù)需要設(shè)置調(diào)整焦點、曝光、白平衡等設(shè)定參數(shù)的外圍電路。圖像傳感器由光電變換元件、AFE(Analog Front End :模擬前端)等構(gòu)成。光電變換兀件例如由CMOS (Complementary Metal Oxide Semicondu ctor :互補金屬氧化物半導(dǎo)體)型的光電變換元件等構(gòu)成。從光學(xué)透鏡部向光電變換元件入射被攝體像。因此，光電變換元件對被攝體像進行光電轉(zhuǎn)換(拍攝)并將圖像信號蓄積一定時間，將所蓄積的圖像信號作為模擬信號，依次提供給AFE。AFE對該模擬的圖像信號執(zhí)行A/D (Analog/Digital :模擬/數(shù)字)轉(zhuǎn)換處理等各種信號處理。通過各種信號處理，生成數(shù)字信號，并作為攝像部16的輸出信號來輸出。以下，將這種攝像部16的輸出信號稱為“攝像圖像的數(shù)據(jù)”。將攝像圖像的數(shù)據(jù)適當(dāng)提供給CPUll等。
輸入部17由各種按鈕等構(gòu)成，根據(jù)用戶的指示操作，輸入各種信息。輸出部18由顯不器、揚聲器等構(gòu)成，輸出圖像、聲音。存儲部19由硬盤或DRAM (Dynamic Random Access Memory :動態(tài)隨機存儲器)等構(gòu)成，存儲各種圖像的數(shù)據(jù)。通信部20控制經(jīng)由包括因特網(wǎng)在內(nèi)的網(wǎng)絡(luò)在與其他裝置(未圖示)之間進行的通信。在驅(qū)動器21上適當(dāng)?shù)匕惭b由磁盤、光盤、光磁盤或半導(dǎo)體存儲器等構(gòu)成的可移動介質(zhì)31。根據(jù)需要，由驅(qū)動器21從可移動介質(zhì)31中讀出的程序被安裝到存儲部19。此外，可移動介質(zhì)31還能夠與存儲部19同樣地存儲在存儲部19中所存儲的圖像的數(shù)據(jù)等各種數(shù)據(jù)。圖3是表示這種圖像處理裝置I的功能結(jié)構(gòu)中用于執(zhí)行遠景描繪3D圖像生成處理的功能結(jié)構(gòu)的功能框圖。遠景描繪3D圖像生成處理是指，根據(jù)現(xiàn)有的3D圖像顯示用的左眼用圖像及右眼用圖像的各數(shù)據(jù)(以下適當(dāng)稱為“3D圖像數(shù)據(jù)”)生成遠景描繪左眼用圖像及遠景描繪右眼用圖像的各數(shù)據(jù)(遠景描繪3D圖像數(shù)據(jù))為止的一系列處理。另外，在本實施方式中，根據(jù)由攝像部16獲取的攝像圖像的數(shù)據(jù)來生成現(xiàn)有的3D圖像顯示用的左眼用圖像及右眼用圖像的各數(shù)據(jù)(3D圖像數(shù)據(jù))的處理，也包含在遠景描繪3D圖像生成處理中。但是，這種處理在遠景描繪3D圖像生成處理中不是必須的，例如，在攝像部16本身搭載了立體透鏡(stereoscopic lens)的情況、或能夠與外部進行通信等的情況下，能夠獲得生成完的左眼用圖像及右眼用圖像的各數(shù)據(jù)，因此是不需要的。在圖像處理裝置I的CPUll中，在執(zhí)行遠景描繪3D圖像生成處理的情況下，3D圖像生成部41、3D圖像獲取部42、差分計算部43、遠近景分離部44、遠景描繪圖像生成部45及遠景描繪3D圖像生成部46發(fā)揮作用。此時，使用被設(shè)置為存儲部19的一個區(qū)域的3D圖像存儲部47。3D圖像生成部41根據(jù)所獲取的圖像的數(shù)據(jù)，生成現(xiàn)有的3D圖像顯示用的左眼用圖像及右眼用圖像的各數(shù)據(jù)(3D圖像數(shù)據(jù))。在本實施方式中，3D圖像生成部41根據(jù)由攝像部16拍攝的I張圖像的數(shù)據(jù)，生成如圖IA所示的視差不同的2張左眼用圖像及右眼用圖像的各數(shù)據(jù)。在3D圖像存儲部47中存儲由3D圖像生成部41生成的左眼用圖像及右眼用圖像的各數(shù)據(jù)(3D圖像數(shù)據(jù))。3D圖像獲取部42從3D圖像存儲部47獲取現(xiàn)有的3D圖像顯示用的左眼用圖像及右眼用圖像的各數(shù)據(jù)(3D圖像數(shù)據(jù))。差分計算部43計算由3D圖像獲取部42獲取到的左眼用圖像與右眼用圖像的各數(shù)據(jù)(3D圖像數(shù)據(jù))的差分值。差分計算部43根據(jù)計算出的差分值，按與左眼用圖像及右眼用圖像分別對應(yīng)的每個區(qū)域或每個像素，計算視差。遠近景分離部44根據(jù)利用左眼用圖像與右眼用圖像的差分值計算出的各區(qū)域的視差的不同，從該左眼用圖像及該右眼用圖像各自的數(shù)據(jù)中分別分離近景部分圖像及遠景部分圖像的各數(shù)據(jù)。 在此，近景部分圖像是指如下的圖像分辨率與左眼用圖像及右眼用圖像相同，且近景區(qū)域具有原來的像素值(近景區(qū)域保持原樣)而除此之外的區(qū)域具有一定的像素值的圖像，即只存在近景區(qū)域，而除此之外的區(qū)域為黑色等均一色。另一方面，遠景部分圖像是指如下的圖像分辨率與左眼用圖像及右眼用圖像相同，且遠景區(qū)域具有原來的像素值(遠景區(qū)域保持原樣)而除此之外的區(qū)域具有一定的像素值，即只存在遠景區(qū)域而除此之外的區(qū)域為黑色等均一色。將左眼用圖像及右眼用圖像各自的近景部分圖像的各數(shù)據(jù)提供給遠景描繪3D圖像生成部46。另一方面，將左眼用圖像及右眼用圖像各自的遠景部分圖像的各數(shù)據(jù)提供給遠景描繪圖像生成部45。遠景描繪圖像生成部45將從遠近景分離部44提供的左眼用圖像及右眼用圖像各自的遠景部分圖像的各數(shù)據(jù)作為處理對象，對處理對象實施描繪轉(zhuǎn)換處理。以下，將這種一系列的處理稱為“遠景描繪圖像生成處理”。此外，將從遠景描繪圖像生成處理的結(jié)果中得到的遠景部分圖像的數(shù)據(jù)稱為“遠景描繪部分圖像的數(shù)據(jù)”。左眼用圖像及右眼用圖像各自的遠景描繪部分圖像的各數(shù)據(jù)是從遠景描繪圖像生成部45提供給遠景描繪3D圖像生成部46的。針對左眼用圖像及右眼用圖像的每一個，遠景描繪3D圖像生成部46對由遠景描繪圖像生成部45生成的遠景描繪部分圖像的數(shù)據(jù)、和由遠近景分離部44分離的近景部分圖像的數(shù)據(jù)進行合成，從而生成如圖IB所示的遠景描繪左眼用圖像及遠景描繪右眼用圖像的各數(shù)據(jù)(遠景描繪3D圖像數(shù)據(jù))。將這樣生成的遠景描繪左眼用圖像及遠景描繪右眼用圖像的各數(shù)據(jù)(遠景描繪3D圖像數(shù)據(jù))存儲在3D圖像存儲部47中。圖4是表示圖3的遠景描繪圖像生成部45的詳細功能結(jié)構(gòu)的功能框圖。遠景描繪圖像生成部45包括描繪轉(zhuǎn)換部61和遠景描繪圖像輸出部62。描繪轉(zhuǎn)換部61將從遠近景分離部44提供的左眼用圖像及右眼用圖像各自的遠景部分圖像的各數(shù)據(jù)作為處理對象，對處理對象實施描繪轉(zhuǎn)換處理，從而生成描繪轉(zhuǎn)換后的遠景部分圖像的各數(shù)據(jù)、即遠景描繪部分圖像的數(shù)據(jù)。在此，描繪轉(zhuǎn)換部61所實施的描繪轉(zhuǎn)換處理并沒有特別限定，例如可以采用水彩畫風(fēng)格、油畫風(fēng)格、蠟筆畫風(fēng)格、鉛筆畫風(fēng)格
坐寸ο遠景描繪圖像輸出部62輸出由描繪轉(zhuǎn)換部61生成的各數(shù)據(jù)、即關(guān)于左眼用圖像及右眼用圖像各自的遠景描繪部分圖像的各數(shù)據(jù)，并提供給遠景描繪3D圖像生成部46。
圖5是說明具有圖3的功能結(jié)構(gòu)的圖2的圖像處理裝置I所執(zhí)行的遠景描繪3D圖像生成處理的流程的流程圖。例如，用戶按下快門按鈕(輸入部17的一個構(gòu)成要素)，從而向3D圖像生成部41提供由攝像部16拍攝到的攝像圖像的數(shù)據(jù)。3D圖像生成部41根據(jù)攝像圖像的數(shù)據(jù)，生成現(xiàn)有的3D圖像顯示用的左眼用圖像及右眼用圖像的各數(shù)據(jù)(3D圖像數(shù)據(jù))，并存儲于3D圖像存儲部47。這樣，在將現(xiàn)有的3D圖像顯示用的左眼用圖像及右眼用圖像的各數(shù)據(jù)(3D圖像數(shù)據(jù))存儲到3D圖像存儲部47中的狀態(tài)下，若用戶對輸入部17進行規(guī)定的操作，則開始進行遠景描繪3D圖像生成處理。 在步驟SI中，3D圖像獲取部42獲取如圖IA所示的現(xiàn)有的3D圖像顯示用的左眼用圖像及右眼用圖像的各數(shù)據(jù)(是3D圖像數(shù)據(jù)，在圖5中記載為3D圖像的數(shù)據(jù))。在步驟S2中，差分計算部43針對左眼用圖像及右眼用圖像的各數(shù)據(jù)(3D圖像數(shù)據(jù))，按分別對應(yīng)的各區(qū)域或每個像素分別提取差分，從而計算每個該區(qū)域的視差。例如，在圖IA的左眼用圖像及右眼用圖像的各數(shù)據(jù)成為處理對象的情況下，按被攝體(車輛、樹)的每個區(qū)域分別提取差分(偏差量)，從而分別計算視差。在步驟S3中，差分計算部43按左眼用圖像及右眼用圖像的各區(qū)域分別生成表示視差的大小的差分量數(shù)據(jù)。該差分量數(shù)據(jù)是例如表示在圖像上偏移了多少像素的像素數(shù)等數(shù)據(jù)。在步驟S4中，遠近景分離部44按左眼用圖像及右眼用圖像的各區(qū)域，分析基于應(yīng)與差分量數(shù)據(jù)(其表示的視差的大小)比較的閾值的差分量數(shù)據(jù)。即，遠近景分離部44將左眼用圖像及右眼用圖像的各區(qū)域依次作為處理對象，比較處理對象的差分量數(shù)據(jù)(其表示的視差的大小)與閾值，從而分析處理對象的區(qū)域是遠景區(qū)域還是近景區(qū)域，且反復(fù)進行該處理。并且，遠近景分離部44根據(jù)各區(qū)域的分析結(jié)果，從左眼用圖像及右眼用圖像的各數(shù)據(jù)中分別分離近景部分圖像及遠景部分圖像的各數(shù)據(jù)。在步驟S5中，遠景描繪圖像生成部45將關(guān)于左眼用圖像及右眼用圖像各自的近景部分圖像及遠景部分圖像的各數(shù)據(jù)作為處理對象，執(zhí)行遠景描繪圖像生成處理。由此，獲得關(guān)于左眼用圖像及右眼用圖像各自的近景描繪部分圖像及遠景描繪部分圖像的各數(shù)據(jù)。另外，關(guān)于遠景描繪圖像生成處理的詳情，將在后面參照圖6的流程圖進行說明。在步驟S6中，遠景描繪3D圖像生成部46針對左眼用圖像及右眼用圖像分別進行與遠景描繪部分圖像與近景部分圖像的各數(shù)據(jù)的合成(圖5中所述的左右遠近合成)，從而生成如圖IB所示的遠景描繪左眼用圖像及遠景描繪右眼用圖像的各數(shù)據(jù)(遠景描繪3D圖像數(shù)據(jù))。若這樣生成的遠景描繪左眼用圖像及遠景描繪右眼用圖像的各數(shù)據(jù)(遠景描繪3D圖像數(shù)據(jù))被存儲在3D圖像存儲部47中，則結(jié)束遠景描繪3D圖像生成處理。接著，參照圖6說明遠景描繪圖像生成處理的流程。圖6是說明圖5的步驟S5的遠景描繪圖像生成處理的詳細流程的流程圖。在步驟S51中，描繪轉(zhuǎn)換部61獲取從遠近景分離部44提供的左眼用圖像及右眼用圖像各自的遠景部分圖像的各數(shù)據(jù)。在步驟S52中，描繪轉(zhuǎn)換部61將在步驟S51的處理中獲取的遠景部分圖像的各數(shù)據(jù)作為處理對象，對處理對象實施描繪轉(zhuǎn)換處理，從而生成描繪轉(zhuǎn)換后的遠景部分圖像的各數(shù)據(jù)、即遠景描繪部分圖像的數(shù)據(jù)。在步驟S53中，遠景描繪圖像輸出部62輸出在步驟S52的處理中生成的各數(shù)據(jù)、即關(guān)于左眼用圖像及右眼用圖像各自的遠景描繪部分圖像的各數(shù)據(jù)，并提供給遠景描繪3D圖像生成部46。另外，所輸出的圖像可以是實施了描繪轉(zhuǎn)換處理的左眼用圖像及右眼用圖像的遠景部分圖像中的任一方。即，遠景描繪部分圖像輸出左眼用及右眼用中任一方的遠景部分圖像用于左眼及右眼，左右均可以是相同的遠景描繪部分圖像。由此，遠景描繪圖像生成處理結(jié)束，即圖5的步驟S5的處理結(jié)束，處理進入步驟S6。上述結(jié)構(gòu)的圖像處理裝置I包括3D圖像獲取部42、遠近景分離部44、遠景描繪圖像生成部45及遠景描繪3D圖像生成部46。
3D圖像獲取部42獲取具有左右視差的3D圖像數(shù)據(jù)。遠近景分離部44從通過3D圖像獲取部42獲取到的3D圖像數(shù)據(jù)的左右各圖像中分離遠景區(qū)域和近景區(qū)域。遠景描繪圖像生成部45對由遠近景分離部44分離出的左右各圖像的各個遠景區(qū)域?qū)嵤┟枥L轉(zhuǎn)換處理，生成至少一個遠景描繪圖像的數(shù)據(jù)。遠景描繪3D圖像生成部46對左右圖像的每一個合成由遠景描繪圖像生成部45生成的遠景描繪圖像的數(shù)據(jù)、和由遠近景分離部44分離出的近景區(qū)域的近景部分圖像的數(shù)據(jù)，從而生成遠景描繪3D圖像數(shù)據(jù)。上述結(jié)構(gòu)的圖像處理裝置I能夠生成近景被立體顯示的遠景描繪3D圖像數(shù)據(jù)。因此，能夠向用戶提供用于使3D圖像具有視覺效果的多樣化圖像布局。此外，圖像處理裝置I還包括差分計算部43，其對3D圖像數(shù)據(jù)的左右圖像計算出分別對應(yīng)的區(qū)域的差分。遠近景分離部44基于由差分計算部43計算出的差分，從3D圖像數(shù)據(jù)的左右圖像的每一個中分離遠景區(qū)域和近景區(qū)域。在上述結(jié)構(gòu)的圖像處理裝置I中，由于利用3D圖像中的遠景區(qū)域和近景區(qū)域的區(qū)域的差分不同這一特性，來分離遠景區(qū)域和近景區(qū)域，因此能夠可靠地分離遠景區(qū)域和近景區(qū)域。此外，圖像處理裝置I具備3D圖像生成部41。3D圖像生成部41根據(jù)所獲取的I個圖像數(shù)據(jù)，生成具有左右視差的3D圖像數(shù)據(jù)。在上述結(jié)構(gòu)的圖像處理裝置I中，由于能夠根據(jù)I張圖像生成3D圖像的數(shù)據(jù)，因此即使所獲取的圖像不是3D圖像，也能夠生成遠景描繪3D圖像數(shù)據(jù)。另外，本發(fā)明并不限于上述實施方式，能夠?qū)崿F(xiàn)本發(fā)明的目的的范圍內(nèi)的變形、改良等屬于本發(fā)明。在上述實施方式中，說明了由3D圖像即靜態(tài)圖像構(gòu)成的情況，但不限于此，也可以由動態(tài)圖像構(gòu)成。此時，通過對構(gòu)成動態(tài)圖像的各靜態(tài)圖像實施遠景描繪3D圖像生成處理，從而在動態(tài)圖像中也能夠進行同樣的顯示。此外，在上述實施方式中，對遠景部分圖像實施了描繪轉(zhuǎn)換處理，但不限于此，也可以對近景部分圖像實施描繪轉(zhuǎn)換處理。
此外，在上述實施方式中，對所獲取的左眼用圖像及右眼用圖像的各數(shù)據(jù)(3D圖像數(shù)據(jù))，按分別對應(yīng)的區(qū)域或每個像素提取了差分，但是在表示差分的信息、表示視差的信息、或表示近景區(qū)域和遠景區(qū)域的信息預(yù)先被附加于3D圖像數(shù)據(jù)的情況下，也可以不提取差分。此外，在上述實施方式中，將遠景部分當(dāng)作了描繪風(fēng)格(例如，油畫風(fēng)格)，但不限于此，例如也可以做成浮雕風(fēng)格等使遠景通過各種圖像處理而具有特殊的效果。此外，在上述實施方式中，以數(shù)碼相機為例說明了適用本發(fā)明的圖像處理裝置1，但不特別限定于此。
例如，本發(fā)明一般能夠適用于具有遠景描繪3D圖像生成處理功能的電子設(shè)備。具體而言，例如本發(fā)明能夠適用于筆記本型個人計算機、打印機、電視接收機、攝像機、便攜式導(dǎo)航裝置、移動電話、便攜式游戲機等。上述一系列的處理可以通過硬件來執(zhí)行，也可以通過軟件來執(zhí)行。換言之，圖3的功能結(jié)構(gòu)僅僅是示例，并不特別限定。即，只要圖像處理裝置I具備能夠?qū)⑸鲜鲆幌盗刑幚碜鳛檎w來執(zhí)行的功能即可，至于為了實現(xiàn)該功能而使用何種功能塊是不特別限定于圖3的例子的。此外，I個功能塊可以由硬件單體構(gòu)成，也可以由軟件單體構(gòu)成，也可以由它們的組合構(gòu)成。在通過軟件執(zhí)行一系列處理的情況下，構(gòu)成該軟件的程序從網(wǎng)絡(luò)或記錄介質(zhì)被安裝到計算機等中。計算機可以是組裝于專用硬件上的計算機。此外，計算機也可以是能夠通過安裝各種程序來執(zhí)行各種功能的計算機，例如通用的個人計算機。包括這種程序的記錄介質(zhì)不僅由為了向用戶提供程序而獨立于裝置主體配置的圖2的可移動介質(zhì)31構(gòu)成，還由在預(yù)先組裝于裝置主體的狀態(tài)下向用戶提供的記錄介質(zhì)等構(gòu)成?？梢苿咏橘|(zhì)31例如由磁盤(包括軟盤)、光盤或光磁盤等構(gòu)成。光盤例如由CD-ROM (Compact Disk-Read O nly Memory) > DVD (Digital Versatile Disk)等構(gòu)成。光磁盤由MD(Mini-Disk)等構(gòu)成。此外，在預(yù)先組裝于裝置主體的狀態(tài)下向用戶提供的記錄介質(zhì)例如由記錄了程序的圖2的R0M12、圖2的存儲部19中所包含的硬盤等構(gòu)成。另外，在本說明書中，描述在記錄介質(zhì)中記錄的程序的步驟當(dāng)然包括沿著其順序按時序進行的處理，除此之外還包括不一定按時序處理而是并行或單獨執(zhí)行的處理。此外，在本說明書中，系統(tǒng)的用語意味著由多個裝置、多個單元等構(gòu)成的整體性的
>J-U ρ α裝直。以上，說明了本發(fā)明的幾個實施方式，但上述實施方式僅僅是示例，并不限定本發(fā)明的技術(shù)范圍。本發(fā)明可以采用其他各種實施方式，進一步可以在不脫離本發(fā)明的宗旨的范圍內(nèi)進行省略、置換等各種變更。這些實施方式及其變形包含在本說明書等中所記載的發(fā)明的范圍及要旨中，并且包含在技術(shù)方案中所記載的發(fā)明及其等同范圍內(nèi)。
權(quán)利要求
1.一種圖像處理裝置，包括 獲取單元，其獲取由具有左右視差的2個圖像構(gòu)成的第I三維圖像數(shù)據(jù)； 分離單元，其從通過所述獲取單元獲取到的所述第I三維圖像數(shù)據(jù)的左右圖像中，分別分離遠景區(qū)域和近景區(qū)域； 遠景圖像生成單元，其對由所述分離單元分離出的所述左右圖像中的至少一方的所述遠景區(qū)域?qū)嵤﹫D像處理，生成遠景部分圖像的數(shù)據(jù)；以及 三維圖像數(shù)據(jù)生成單元，其對由所述遠景圖像生成單元生成的所述遠景部分圖像的數(shù)據(jù)、和由所述分離單元分別從所述左右圖像中分離出的所述近景區(qū)域的近景部分圖像的數(shù)據(jù)進行合成，從而生成由具有左右視差的2個圖像構(gòu)成的第2三維圖像數(shù)據(jù)。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中， 所述圖像處理裝置還包括計算單元，該計算單元針對所述第I三維圖像數(shù)據(jù)的左右圖像計算分別對應(yīng)的區(qū)域的差分， 所述分離單元根據(jù)由所述計算單元計算出的所述差分，從所述第I三維圖像數(shù)據(jù)的左右圖像中分別分離遠景區(qū)域和近景區(qū)域。
3.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中， 所述遠景圖像生成單元作為所述圖像處理而執(zhí)行轉(zhuǎn)換為描繪風(fēng)格的圖像處理。
4.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中， 所述圖像處理裝置還包括生成單元，該生成單元根據(jù)獲取到的I個圖像數(shù)據(jù)生成所述第I三維圖像數(shù)據(jù)。
5.一種圖像處理方法，是由圖像處理裝置執(zhí)行的，該圖像處理方法包括 獲取步驟，獲取具有左右視差的第I三維圖像數(shù)據(jù)； 分離步驟，從通過所述獲取步驟的處理獲取到的所述第I三維圖像數(shù)據(jù)的左右圖像中，分別分離遠景區(qū)域和近景區(qū)域； 遠景圖像生成步驟，對通過所述分離步驟的處理分離出的所述左右圖像中的至少一方的所述遠景區(qū)域?qū)嵤﹫D像處理，從而生成遠景部分圖像的數(shù)據(jù)；以及 三維圖像數(shù)據(jù)生成步驟，對通過所述遠景圖像生成步驟的處理生成的所述遠景部分圖像的數(shù)據(jù)、和通過所述分離步驟的處理從所述左右圖像分別分離出的所述近景區(qū)域的近景部分圖像的數(shù)據(jù)進行合成，從而生成由具有左右視差的2個圖像構(gòu)成的第2三維圖像數(shù)據(jù)。
全文摘要
本發(fā)明提供一種圖像處理裝置及圖像處理方法。圖像處理裝置包括獲取單元，其獲取由具有左右視差的2個圖像構(gòu)成的第1三維圖像數(shù)據(jù)；分離單元，其從通過所述獲取單元獲取到的所述第1三維圖像數(shù)據(jù)的左右圖像中，分別分離遠景區(qū)域和近景區(qū)域；遠景圖像生成單元，其對由所述分離單元分離出的所述左右圖像中的至少一方的所述遠景區(qū)域?qū)嵤﹫D像處理，生成遠景部分圖像的數(shù)據(jù)；以及三維圖像數(shù)據(jù)生成單元，其對由所述遠景圖像生成單元生成的所述遠景部分圖像的數(shù)據(jù)、和由所述分離單元分別從所述左右圖像中分離出的所述近景區(qū)域的近景部分圖像的數(shù)據(jù)進行合成，從而生成由具有左右視差的2個圖像構(gòu)成的第2三維圖像數(shù)據(jù)。
文檔編號G06T7/00GK102957927SQ20121028156
公開日2013年3月6日 申請日期2012年8月9日 優(yōu)先權(quán)日2011年8月12日
發(fā)明者二渡茂 申請人:卡西歐計算機株式會社