圖像處理裝置和圖像處理方法
【專利摘要】為了能夠拍攝三維圖像的圖像獲取裝置中實現(xiàn)更恰當?shù)臉?gòu)圖設置，提供一種圖像處理裝置，所述圖像處理裝置包括：第一構(gòu)圖設置單元，被構(gòu)造為基于第一技術(shù)對以二維方式顯示的輸入圖像設置構(gòu)圖；和第二構(gòu)圖設置單元，被構(gòu)造為基于與第一技術(shù)不同的第二技術(shù)對以三維方式顯示的輸入圖像設置構(gòu)圖。
【專利說明】圖像處理裝置和圖像處理方法

【技術(shù)領域】
[0001]本公開涉及一種圖像處理裝置和圖像處理方法。

【背景技術(shù)】
[0002]近年來，自動調(diào)整焦點和曝光的成像裝置(諸如，數(shù)字靜止照相機)已廣泛普及。在這種成像裝置中，例如，設置適合拍攝的場景的焦點、曝光等，因此用戶能夠在不直接調(diào)整它們的情況下獲取令人滿意的拍攝圖像。
[0003]另外，已提出用于在沒有用戶的操縱的情況下對拍攝圖像自動設置構(gòu)圖的技術(shù)，例如，在專利文獻I和專利文獻2中公開的技術(shù)。在這些技術(shù)中，例如，檢測被攝體的臉的大小和位置，并且基于該信息，剪出拍攝圖像中的合適區(qū)域作為修剪圖像。
[0004]引用列表
[0005]專利文獻
[0006]專利文獻I JP2OlO-1O3972A
[0007]專利文獻2 JP2OO9-2I88O7A


【發(fā)明內(nèi)容】

[0008]技術(shù)問題
[0009]另一方面，最近，能夠拍攝三維圖像的成像裝置也逐漸增加。由于在具有深度的情況下觀察三維圖像，所以當設置三維圖像的構(gòu)圖時應該考慮的元素并不總是與二維圖像的在設置二維圖像的構(gòu)圖時應該考慮的元素相同。上述專利文獻I和專利文獻2中公開的技術(shù)僅考慮到二維圖像，因此，很難說這些技術(shù)實現(xiàn)對三維圖像的合適的構(gòu)圖設置。
[0010]因此，本公開提出一種能夠在能拍攝三維圖像的成像裝置中實現(xiàn)更合適的構(gòu)成設置的新的改進的圖像處理裝置和圖像處理方法。
[0011]問題的解決方案
[0012]根據(jù)本公開，提供一種圖像處理裝置，所述圖像處理裝置包括:第一構(gòu)圖設置單元，被構(gòu)造為基于第一技術(shù)對以二維方式顯示的輸入圖像設置構(gòu)圖；和第二構(gòu)圖設置單元，被構(gòu)造為基于與第一技術(shù)不同的第二技術(shù)對以三維方式顯示的輸入圖像設置構(gòu)圖。
[0013]根據(jù)本公開，提供一種圖像處理方法，所述圖像處理方法包括:基于第一技術(shù)對以二維方式顯示的輸入圖像設置構(gòu)圖；以及基于與第一技術(shù)不同的第二技術(shù)對以三維方式顯示的輸入圖像設置構(gòu)圖。
[0014]根據(jù)本公開，提供一種圖像處理裝置，所述圖像處理裝置包括:構(gòu)圖設置單元，被構(gòu)造為基于指示輸入圖像的深度的深度信息設置以三維方式顯示的輸入圖像的構(gòu)圖。
[0015]根據(jù)本公開，提供一種圖像處理方法，所述圖像處理方法包括:基于指示輸入圖像的深度的深度信息設置以三維方式顯示的輸入圖像的構(gòu)圖。
[0016]根據(jù)上述結(jié)構(gòu)，不同于二維顯示的情況，針對以三維方式顯示的輸入圖像執(zhí)行構(gòu)圖設置處理。因此，能夠在構(gòu)圖設置中反映適應于三維圖像的元素。
[0017]發(fā)明的有益效果
[0018]如上所述，根據(jù)本公開，可在能夠拍攝三維圖像的成像裝置中實現(xiàn)更合適的構(gòu)圖設置。

【專利附圖】

【附圖說明】
[0019]圖1是示意性地顯示根據(jù)本公開的第一實施例的數(shù)字靜止照相機的功能結(jié)構(gòu)的方框圖。
[0020]圖2是顯示根據(jù)本公開的第一實施例的數(shù)字靜止照相機的處理的流程圖。
[0021]圖3是用于示意性地顯示根據(jù)本公開的第一實施例的二維和三維構(gòu)圖設置處理的示圖。
[0022]圖4是由根據(jù)本公開的第一實施例的三維構(gòu)圖設置單元執(zhí)行的處理的流程圖。
[0023]圖5是用于示意性地描述根據(jù)本公開的第二實施例的二維和三維構(gòu)圖設置處理的示圖。
[0024]圖6是由根據(jù)本公開的第二實施例的三維構(gòu)圖設置單元執(zhí)行的處理的流程圖。
[0025]圖7是由根據(jù)本公開的第三實施例的三維構(gòu)圖設置單元執(zhí)行的處理的流程圖。
[0026]圖8是顯示根據(jù)本公開的第四實施例的數(shù)字靜止照相機的功能結(jié)構(gòu)的示意性方框圖。

【具體實施方式】
[0027]以下，將參照附圖詳細描述本發(fā)明的優(yōu)選實施例。需要注意的是，在本說明書和附圖中，具有基本上相同的功能和結(jié)構(gòu)的元素由相同的標號表示，并且省略重復的解釋。
[0028]需要注意的是，將按照下面的次序提供描述。
[0029]1.第一實施例(二維構(gòu)圖設置和三維構(gòu)圖設置的切換的例子)
[0030]1-1.功能結(jié)構(gòu)
[0031]1-2.處理流程
[0032]1-3.三維構(gòu)圖設置處理的例子
[0033]2.第二實施例(使用深度信息和景深的例子)
[0034]3.第三實施例(使用深度的范圍的例子)
[0035]4.第四實施例(主要設置三維構(gòu)圖的例子)
[0036]5.補充
[0037]在以下的描述中，將介紹與作為圖像處理裝置的例子的數(shù)字靜止照相機相關(guān)的本公開的第一至第四實施例。需要注意的是，根據(jù)本公開的實施例的圖像處理裝置不限于數(shù)字靜止照相機，并且能夠是具有通過處理輸入圖像來產(chǎn)生修剪圖像的功能的各種裝置。另夕卜，本公開的實施例還包括一種用于通過處理輸入圖像來產(chǎn)生修剪圖像的方法、用于使計算機實現(xiàn)通過處理輸入圖像來產(chǎn)生修剪圖像的功能的程序和記錄這種程序的計算機可讀記錄介質(zhì)。
[0038](1.第一實施例)
[0039](1-1.功能結(jié)構(gòu))
[0040]首先，將參照圖1描述根據(jù)本公開的第一實施例的數(shù)字靜止照相機的功能結(jié)構(gòu)。圖1是顯示根據(jù)本實施例的數(shù)字靜止照相機100的功能結(jié)構(gòu)的示意性方框圖。
[0041]數(shù)字靜止照相機100包括成像光學系統(tǒng)101、成像單元102、控制電路110、顯示單元120和存儲單元130?？刂齐娐?10實現(xiàn)被攝體識別單元111、圖像判定單元112、二維構(gòu)圖設置單元113、三維構(gòu)圖設置單元114、修剪單元115、記錄控制單元116和顯示控制單元117的功能。需要注意的是，除了示出的功能結(jié)構(gòu)之外，數(shù)字靜止照相機100還能夠包括通常布置在數(shù)字靜止照相機中的組成元件，諸如操縱單元。
[0042]成像光學系統(tǒng)101由各種透鏡(包括聚焦透鏡、變焦透鏡)和光學濾波器、光闌等的光學部件構(gòu)成。從被攝體入射的光學像(被攝體像)經(jīng)成像光學系統(tǒng)101中所包括的光學部件形成在成像單元102中所包括的圖像傳感器的曝光表面上。
[0043]成像單元102包括:圖像傳感器，例如CXD (電荷耦合器件)或者CMOS (互補金屬氧化物半導體)；時間發(fā)生器，用于驅(qū)動圖像傳感器；和信號處理電路。信號處理電路處理當圖像傳感器對被攝體像執(zhí)行光電轉(zhuǎn)換時輸出的模擬圖像信號，將該信號轉(zhuǎn)換成數(shù)字圖像信號，并且將該信號輸出到控制電路110。信號處理電路由例如DSP(數(shù)字信號處理器)實現(xiàn)。
[0044](關(guān)于二維和三維輸入圖像)
[0045]這里，成像光學系統(tǒng)101和成像單元102具有獲取以二維方式顯示的輸入圖像(以下也稱為二維輸入圖像)和以三維方式顯示的輸入圖像(以下也稱為三維輸入圖像)的功能。
[0046]這里，通過將代表圖像的深度的深度信息添加到二維輸入圖像的信息來獲得三維輸入圖像。利用例如與左眼圖像對應的右眼圖像表示深度信息。在這種情況下，基于左眼圖像和右眼圖像之間的視差提取深度信息。當再現(xiàn)圖像時，在分別地將左眼圖像提供給觀察者的左眼并且將右眼圖像提供給觀察者的右眼時，使觀察者感知深度。
[0047]另外，深度信息可以是使用例如映射圖、數(shù)值等表示圖像的深度的信息。在這種情況下，通過在成像期間使用例如距離傳感器實際測量深度能夠獲取深度信息。當圖像將要被再現(xiàn)時，使用深度信息，產(chǎn)生設置了根據(jù)深度的視差的左眼圖像和右眼圖像，然后圖像被提供給觀察者。
[0048]為了獲取這種三維輸入圖像，例如，成像光學系統(tǒng)101可以是包括用于左眼圖像和右眼圖像的兩對透鏡的雙目光學系統(tǒng)。另外，成像光學系統(tǒng)101可以是包括將由一對透鏡獲取的光學圖像劃分成左眼圖像和右眼圖像的成像器等的單目光學系統(tǒng)。
[0049]需要注意的是，在例如JP2011-248693A等中公開了這種成像系統(tǒng)的結(jié)構(gòu)。對于光學系統(tǒng)101和成像單元102，從在以上文件中描述的結(jié)構(gòu)開始，能夠使用各種已知結(jié)構(gòu)。
[0050]作為另一例子，成像光學系統(tǒng)101和成像單元102可具有與獲取二維輸入圖像的通常的成像系統(tǒng)相同的結(jié)構(gòu)。在這種情況下，當數(shù)字靜止照相機100在沿左右方向移動的同時執(zhí)行成像時，例如，可控制成像單元102，從而獲取左眼圖像和右眼圖像作為三維輸入圖像。
[0051]控制電路110實現(xiàn)被攝體識別單元111、圖像判定單元112、二維構(gòu)圖設置單元113、三維構(gòu)圖設置單元114、修剪單元115、記錄控制單元116和顯示控制單元117的功能，并且控制數(shù)字靜止照相機100的每個單元的操作。控制電路110由通過例如基于保存在存儲單元130中的程序的操作實現(xiàn)上述功能的CPU(中央處理單元)實現(xiàn)。控制電路110的一些或全部功能可由DSP以與上述信號處理電路相同的方式實現(xiàn)。以下，將描述由控制電路110實現(xiàn)的每個功能。
[0052]被攝體識別單元111分析從成像單元102獲取的輸入圖像的數(shù)字圖像信號，然后識別該圖像中所包括的被攝體。這里，被攝體是例如人的臉。除此之外，被攝體能夠是各種物體，諸如動物的臉、花或食物。被攝體識別單元111使用例如小波變換、Harr特征檢測等的算法計算被攝體的區(qū)域。如果被攝體的區(qū)域是例如人的臉，則該區(qū)域能夠是包括頦、耳朵和眉毛的最小矩形的坐標值。需要注意的是，被攝體的區(qū)域可不必是矩形，并且可以是諸如三角形或橢圓形的形狀。另外，除了被攝體的區(qū)域之外，被攝體識別單元111還可識別被攝體的方位。
[0053]圖像判定單元112判定從成像單元102獲取的輸入圖像是二維輸入圖像還是三維輸入圖像?；诶巛斎雸D像是否伴隨有深度信息進行這種判定。在這種情況下，當輸入圖像包括右眼圖像和左眼圖像時，或者當輸入圖像伴隨有關(guān)于深度信息的諸如映射圖或數(shù)值的數(shù)據(jù)時，圖像判定單元112判定輸入圖像是三維輸入圖像。
[0054]替代地，圖像判定單元112可基于通過用戶的操作等在數(shù)字靜止照相機100中設置的操作模式執(zhí)行該判定。作為數(shù)字靜止照相機100的結(jié)構(gòu)的例子，存在成像光學系統(tǒng)101和成像單元102例行地獲取深度信息的情況。在這種情況下，準備二維成像模式和三維成像模式作為操作模式，并且當設置了三維成像模式時，可產(chǎn)生修剪圖像作為三維圖像。
[0055]在這種情況下，即使當輸入圖像在由圖像判定單元112進行判定時伴隨有深度信息時，輸入圖像也不限于以三維方式顯示。因此，在這種情況下，圖像判定單元112可基于在數(shù)字靜止照相機100中設置的操作模式判定輸入圖像是二維輸入圖像還是三維輸入圖像。需要注意的是，可根據(jù)例如成像環(huán)境或者根據(jù)用戶的操縱自動設置操作模式。
[0056]圖像判定單元112基于判定的結(jié)果控制二維構(gòu)圖設置單元113和三維構(gòu)圖設置單元114。更具體地講，圖像判定單元112控制二維構(gòu)圖設置單元113和三維構(gòu)圖設置單元114，從而當輸入圖像是二維輸入圖像時，二維構(gòu)圖設置單元113工作，并且當輸入圖像是三維圖像時，三維構(gòu)圖設置單元114工作。需要注意的是，當數(shù)字靜止照相機100具有針對二維顯示和三維顯示都記錄相同的輸入圖像的操作模式時，圖像判定單元112可使二維構(gòu)圖設置單元113和三維構(gòu)圖設置單元114都工作。在這種情況下，輸入圖像能夠被修剪并且記錄為分別用于二維顯示和三維顯示的圖像。
[0057]二維構(gòu)圖設置單元113基于第一技術(shù)對二維輸入圖像設置構(gòu)圖。這里提及的“構(gòu)圖的設置”可包括輸入圖像的修剪區(qū)域的設置。二維構(gòu)圖設置單元113設置修剪區(qū)域，以使得例如按照三分構(gòu)圖、對分構(gòu)圖等布置輸入圖像的被攝體。這里，由二維構(gòu)圖設置單元113在設置構(gòu)圖時使用的元素是例如由被攝體識別單元111識別的被攝體的位置、大小、方位等。例如，二維構(gòu)圖設置單元113根據(jù)被攝體的大小決定修剪區(qū)域的大小。另外，二維構(gòu)圖設置單元113根據(jù)被攝體的方位決定放置被攝體的位置。另外，二維構(gòu)圖設置單元113根據(jù)決定的被攝體的放置決定修剪區(qū)域。此時，二維構(gòu)圖設置單元113可調(diào)整修剪區(qū)域，以使得另一被攝體被包括在用作構(gòu)圖設置的參考的主被攝體的周圍。需要注意的是，除了例如改變修剪區(qū)域的大小之外，這里提及的修剪區(qū)域的調(diào)整還包括將修剪區(qū)域改變?yōu)檠厮椒较蜉^長或者沿垂直方向較長。二維構(gòu)圖設置單元113將設置的修剪區(qū)域的信息提供給修剪單元115。
[0058]三維構(gòu)圖設置單元114基于第二技術(shù)對三維輸入圖像設置構(gòu)圖。這里提及的“設置構(gòu)圖”可包括輸入圖像的修剪區(qū)域的設置。三維構(gòu)圖設置單元114設置修剪區(qū)域，以使得以與對分構(gòu)圖設置單元113相同的方式按照例如三分構(gòu)圖、對分構(gòu)圖等放置輸入圖像的被攝體。然而，除了二維構(gòu)圖設置單元113使用的被攝體的位置、大小、方位等之外，三維構(gòu)圖設置單元114還在構(gòu)圖設置時使用例如輸入圖像的深度信息、景深的信息等。換句話說，三維構(gòu)圖設置單元114基于與二維構(gòu)圖設置單元113使用的第一技術(shù)不同的第二技術(shù)設置構(gòu)圖。因此，由三維構(gòu)圖設置單元114設置的構(gòu)圖能夠不同于由二維構(gòu)圖設置單元113設置的構(gòu)圖。
[0059]如將會詳細所述，當調(diào)整修剪區(qū)域的大小以使得包括位于用作構(gòu)圖設置的參考的被攝體的周圍的另一被攝體時，例如，三維構(gòu)圖設置單元114可排除顯示出與主被攝體的深度的差異的另一被攝體。另外，三維構(gòu)圖設置單元114可調(diào)整修剪區(qū)域的大小以使得包括具有不同深度的區(qū)域。另外，三維構(gòu)圖設置單元114可設置對稱構(gòu)圖，諸如對分構(gòu)圖或者徑向構(gòu)圖。
[0060]需要注意的是，如以下將會詳細所述，由三維構(gòu)圖設置單元114設置的修剪區(qū)域可被應用于二維輸入圖像。例如，由二維構(gòu)圖設置單元113和三維構(gòu)圖設置單元114設置修剪區(qū)域，然后，可從輸入圖像產(chǎn)生兩種修剪圖像。另外，可根據(jù)用戶的操縱選擇將會使用二維構(gòu)圖設置單元113和三維構(gòu)圖設置單元114中的哪一個。
[0061]當設置的修剪區(qū)域超過輸入圖像的范圍時，二維構(gòu)圖設置單元113和三維構(gòu)圖設置單元114可通過改變設置條件來重新設置修剪區(qū)域。可重復重新設置處理，直至修剪圖像落在輸入圖像的范圍內(nèi)。
[0062]需要注意的是，在本說明書中，圖像中的被攝體的放置的總體狀態(tài)被稱為“構(gòu)圖”。在上述例子中，由構(gòu)圖的類型(例如，三分構(gòu)圖或?qū)Ψ謽?gòu)圖)、被攝體相對于修剪區(qū)域的相對大小、應該放置被攝體的點(例如，在三分構(gòu)圖中應該放置被攝體的四個交叉點之一)和修剪區(qū)域的大小定義“構(gòu)圖”。
[0063]修剪單元115從輸入圖像產(chǎn)生由二維構(gòu)圖設置單元113或三維構(gòu)圖設置單元114設置的修剪區(qū)域的修剪圖像。此時,修剪單元115可通過例如經(jīng)像素內(nèi)插提高分辨率的處理(該處理也稱為超分辨率處理)將修剪圖像的大小增加至輸入圖像的大小。二維構(gòu)圖設置單元113和三維構(gòu)圖設置單元114可使用圖像能夠通過放大處理被放大至輸入圖像的大小的事實作為用于構(gòu)圖重新設置處理的重復的條件。
[0064]另外，修剪單元115可調(diào)整針對修剪圖像設置的深度信息。由于通過剪出輸入圖像的一部分來獲得修剪圖像，所以存在深度局限于有限范圍的情況。因此，修剪單元115調(diào)整修剪圖像的深度信息，以使得基于輸入圖像的深度信息有利地平衡修剪圖像內(nèi)的深度的分布。例如，修剪單元115可通過調(diào)整作為修剪圖像從輸入圖像產(chǎn)生的左眼圖像和右眼圖像之間的視差來調(diào)整深度信息。
[0065]另外，修剪單元115可根據(jù)修剪圖像的場景或被攝體的狀態(tài)調(diào)整針對修剪圖像設置的深度信息。當例如被攝體被拍攝為在修剪圖像中看起來較大時，修剪單元115可設置很小的視差以使得被攝體不會跳出圖像。另外，修剪單元115可在顯微拍攝的情況下增加視差，或者在風景拍攝的情況下減小視差。
[0066]記錄控制單元116將由修剪單元115產(chǎn)生的修剪圖像作為圖像數(shù)據(jù)記錄在存儲單元130中。記錄控制單元116可記錄輸入圖像的圖像數(shù)據(jù)以及修剪圖像。
[0067]顯示控制單元117使作為圖像數(shù)據(jù)記錄在存儲單元130中的圖像顯示在顯示單元120上。在由數(shù)字靜止照相機100執(zhí)行成像之后，例如，顯示控制單元117可使圖像顯示為預覽圖像，或者根據(jù)用戶的操縱使記錄在存儲單元130中的任意圖像顯示為再現(xiàn)圖像。
[0068]顯示單元120被構(gòu)造為例如IXD (液晶顯示器)、有機EL(場致發(fā)光)顯示器等。顯示單元120在顯示控制單元117的控制下為用戶顯示與數(shù)字靜止照相機100相關(guān)的各種信息。
[0069]與數(shù)字靜止照相機100的處理相關(guān)的各種數(shù)據(jù)被保存在存儲單元130中。存儲單元130能夠是例如半導體存儲器(諸如，閃速ROM (只讀存儲器)或DRAM (動態(tài)隨機存取存儲器))、光盤(諸如，DVD(數(shù)字通用盤)或CD(壓縮盤))、硬盤等。存儲單元130可以是安裝在數(shù)字靜止照相機100中的存儲裝置或者可連接到數(shù)字靜止照相機100并且可從數(shù)字靜止照相機100拆卸的記錄介質(zhì)。另外，存儲單元130可包括多種存儲裝置或記錄介質(zhì)。在存儲單元130中，不僅能夠由記錄控制單元116保存修剪圖像和輸入圖像的圖像數(shù)據(jù)，還能夠保存用于使控制電路110的CPU實現(xiàn)上述功能的程序等。
[0070](1-2.處理流程)
[0071](整個流程)
[0072]接下來，將參照圖2描述根據(jù)本公開的第一實施例的數(shù)字靜止照相機的處理流程。圖2是顯示數(shù)字靜止照相機100的處理的流程圖。
[0073]在示出的處理中，首先，被攝體識別單元111分析從成像單元102獲取的輸入圖像的數(shù)字圖像信號以識別輸入圖像中所包括的被攝體(步驟S101)。
[0074]接下來，圖像判定單元112判定輸入圖像是否是三維輸入圖像(步驟S103)。當例如圖像伴隨有深度信息時，圖像判定單元112判定輸入圖像是三維輸入圖像。如上所述，這里提及的深度信息是指示輸入圖像的深度的信息。具體地講，深度信息能夠是與左眼圖像對應的右眼圖像(其中視差代表深度)或者使用映射圖、數(shù)值等表示圖像的深度的數(shù)據(jù)等。替代地，圖像判定單元112可基于在數(shù)字靜止照相機100中設置的操作模式執(zhí)行該判定。
[0075]在步驟S103中，當輸入圖像被判定為是三維輸入圖像時，三維構(gòu)圖設置單元114執(zhí)行三維構(gòu)圖設置處理(步驟S105)以設置輸入圖像的修剪區(qū)域。另一方面，當輸入圖像被判定為不是三維輸入圖像(換句話說，被判定為是二維輸入圖像)時，二維構(gòu)圖設置單元113執(zhí)行二維構(gòu)圖設置處理(步驟S107)以設置輸入圖像的修剪區(qū)域。如上所述，在步驟S105和S107的構(gòu)圖設置處理中，能夠使用在步驟SlOl中識別的被攝體的信息。需要注意的是，將在稍后詳細地描述三維和二維構(gòu)圖設置處理的細節(jié)。
[0076]接下來，三維構(gòu)圖設置單元114或二維構(gòu)圖設置單元113判定是否已在輸入圖像的范圍中設置修剪區(qū)域(步驟S109)。這里，當判定已在輸入圖像的范圍中設置修剪區(qū)域時，修剪單元115根據(jù)設置的修剪區(qū)域從輸入圖像產(chǎn)生修剪圖像(步驟S111)，并且記錄控制單元116使修剪圖像被記錄在存儲單元130中(步驟SI 13)。
[0077]另一方面，當在步驟S109中判定未在輸入圖像的范圍中設置修剪區(qū)域時，三維構(gòu)圖設置單元114或二維構(gòu)圖設置單元113修改構(gòu)圖設置條件(步驟SI 15)，然后再次從步驟S103執(zhí)行構(gòu)圖設置處理。
[0078]在這種情況下，應該執(zhí)行三維構(gòu)圖設置處理(步驟S105)和二維構(gòu)圖設置處理(步驟S107)中的哪一個基本上與第一回合的處理相同。然而，例如，當在二維構(gòu)圖設置處理(步驟S107)中未在輸入圖像的范圍中設置修剪區(qū)域時，可在下一輪中執(zhí)行三維構(gòu)圖設置處理(步驟S105)，或者可存在相反的情況。換句話說，應該使用二維和三維構(gòu)圖設置處理中的哪一個可被包括在在步驟S115中改變的構(gòu)圖設置條件中。
[0079](1-3.三維構(gòu)圖設置處理的例子)
[0080]接下來，將參照圖3和4描述根據(jù)本公開的第一實施例的三維構(gòu)圖設置處理。圖3是用于示意性地顯示根據(jù)本實施例的二維和三維構(gòu)圖設置處理的示圖。圖4是顯示由三維構(gòu)圖設置單元執(zhí)行的處理的流程圖。
[0081]在圖3中，示出輸入圖像300、使用二維構(gòu)圖設置處理修剪的修剪圖像420和使用三維構(gòu)圖設置處理修剪的修剪圖像422。
[0082]輸入圖像300包括優(yōu)先臉311和其它臉312。在示出的例子中，被攝體識別單元111檢測人的臉作為被攝體。優(yōu)先臉311是例如圖像中所包括的臉之中假設為具有最高優(yōu)先級的用戶的臉。在構(gòu)圖設置中，優(yōu)先臉311被用作參考主被攝體。另一方面，其它臉312是除優(yōu)先臉311之外由被攝體識別單元111檢測到的臉。
[0083]如上所述，能夠調(diào)整根據(jù)構(gòu)圖設置的修剪區(qū)域的大小以使得包括位于主被攝體周圍的另一被攝體。在示出的例子中，其它臉312對應于其它周圍被攝體。然而，盡管所有的其它臉312在圖像上的平面距離方面位于優(yōu)先臉311的周圍，但在實際空間的深度方面，與優(yōu)先臉311相比，它們位于更向內(nèi)的位置。
[0084]當二維構(gòu)圖設置單元113如上所述對輸入圖像執(zhí)行構(gòu)圖設置處理時，設置修剪區(qū)域320。參照優(yōu)先臉311設置修剪區(qū)域320。另外，調(diào)整修剪區(qū)域320以使得包括位于優(yōu)先臉311的周圍的其它臉312。
[0085]另一方面，當三維構(gòu)圖設置單元114執(zhí)行構(gòu)圖設置處理時，設置修剪區(qū)域322。也參照優(yōu)先臉311設置修剪區(qū)域322。然而，不調(diào)整修剪區(qū)域322以使得在修剪區(qū)域322中包括位于優(yōu)先臉311的周圍的其它臉312。這是因為，在優(yōu)先臉311和其它臉312之間存在顯著的深度差異。結(jié)果，修剪區(qū)域322被設置為小于修剪區(qū)域320并且沿垂直方向較長，而修剪區(qū)域320沿水平方向較長。
[0086]需要注意的是，當具有較小深度差異的位于優(yōu)先臉311的周圍的其它臉312被包括在輸入圖像300中時，三維構(gòu)圖設置單元114可調(diào)整修剪區(qū)域322以使得在修剪區(qū)域322中包括其它臉312。以這種方式，在本實施例中，二維構(gòu)圖設置單元113和三維構(gòu)圖設置單元114能夠通過不同的處理設置修剪區(qū)域。
[0087]通常，位于優(yōu)先臉311的周圍的其它臉312能夠是例如與優(yōu)先臉311具有某種關(guān)系的人的臉，諸如與優(yōu)先臉311的人一起拍攝的人的臉。由于這個原因，能夠調(diào)整修剪區(qū)域320以包括位于優(yōu)先臉311的周圍的其它臉312。然而，由于在示出的例子中優(yōu)先臉311和其它臉312實際具有不同深度，所以具有優(yōu)先臉311的人可能與其它臉312的人無關(guān)。
[0088]當以二維方式顯示圖像時，即使當其它臉312被包括在修剪圖像中時，觀察者也很少從圖像感到不適。這是因為，在圖像的二維顯示中主要通過圖像上的平面距離感知被攝體之間的距離。因此，如果圖像上的優(yōu)先臉311和其它臉312之間的平面距離接近，則其構(gòu)圖不會感覺不自然。
[0089]另一方面，當以三維方式顯示圖像時，當如上所述其它臉312被包括在圖像中時，觀察者容易從圖像感到不適。這是因為，在圖像的三維顯示中，除了圖像上的平面距離之夕卜，還基于深度感知被攝體之間的距離。因此，盡管優(yōu)先臉311和其它臉312在圖像上具有接近的平面距離，但如果優(yōu)先臉311和其它臉312具有不同的深度，則能夠存在其它臉312在構(gòu)圖中感覺不自然的情況，并且作為結(jié)果，構(gòu)圖感覺不自然。
[0090]因此，在本實施例中，如上所述考慮到三維顯示而針對三維輸入圖像來執(zhí)行構(gòu)圖設置處理，由此實現(xiàn)更合適的修剪圖像的產(chǎn)生。
[0091]需要注意的是，在示出的例子中，不調(diào)整修剪區(qū)域322以使得在修剪區(qū)域322中包括位于優(yōu)先臉311的周圍的其它臉312，但因此，其它臉312中的一些被包括在修剪區(qū)域322中。如上所述，在本實施例的構(gòu)圖設置處理中“排除一個臉作為構(gòu)圖設置的目標”并不必然意味著“在修剪區(qū)域中不包括這個臉”。
[0092](處理流程)
[0093]參照圖4，作為本實施例中的三維構(gòu)圖設置單元114的處理，首先提取優(yōu)先臉311和位于其周圍的其它臉312 (步驟S121)。這里，提取其它臉312作為將要被包括在參照優(yōu)先臉311設置的修剪區(qū)域322中的被攝體的候選。
[0094]接下來，獲取提取的優(yōu)先臉311和其它臉312的深度(步驟S123)。能夠使用例如伴隨輸入圖像的深度信息來獲取臉的深度。例如，當獲取左眼圖像和右眼圖像作為輸入圖像時，通過從圖像提取臉的區(qū)域中的視差，能夠獲取深度。
[0095]接下來，判定在其它臉312之中是否存在與優(yōu)先臉311具有不同深度的臉(步驟S125)。這里，基于例如當觀察以三維方式顯示的圖像時的人類視覺的特性，設置深度被確定為不同的深度的差異的閾值。閾值可以是隨著例如優(yōu)先臉311的深度變化的值。
[0096]在步驟S125中，當判定在其它臉312之中存在與優(yōu)先臉311具有不同深度的臉時，排除對應的臉312作為構(gòu)圖中所包括的被攝體的候選(步驟S127)。在上述圖3的例子中，排除所有的其它臉312。
[0097]接下來，參照優(yōu)先臉311設置構(gòu)圖(步驟S129)，并且根據(jù)構(gòu)圖設置修剪區(qū)域(步驟S131)。此時，能夠調(diào)整修剪區(qū)域的大小，以使得未在步驟S127中排除的其余的臉312被包括在修剪區(qū)域中。
[0098]需要注意的是，在本實施例中，二維構(gòu)圖設置單元113執(zhí)行以上參照圖4描述的處理，但步驟S123至S127的處理除外。換句話說，在本實施例的三維構(gòu)圖設置處理中，步驟S123至S127中示出的其它臉312的選擇處理被添加到二維構(gòu)圖設置處理。
[0099]在上述本公開的第一實施例中，例如，因為在二維輸入圖像和三維輸入圖像中以不同方式執(zhí)行將要被包括在修剪區(qū)域中的被攝體的選擇處理，所以針對三維輸入圖像產(chǎn)生僅包括更合適的被攝體的修剪圖像。
[0100](2.第二實施例)
[0101]接下來，將參照圖5和6描述本公開的第二實施例。圖5是用于示意性地描述根據(jù)本實施例的二維和三維構(gòu)圖設置處理的示圖。圖6是由三維構(gòu)圖設置單元執(zhí)行的處理的流程圖。
[0102]需要注意的是，在第二實施例中，由于構(gòu)圖設置處理不同于上述第一實施例的構(gòu)圖設置處理，所以將在以下詳細描述該處理。另一方面，由于除該處理之外的結(jié)構(gòu)與第一實施例的結(jié)構(gòu)相同，所以將省略其詳細描述。
[0103]圖5顯示輸入圖像300、使用二維構(gòu)圖設置處理修剪的修剪圖像420和使用三維構(gòu)圖設置處理修剪的修剪圖像422。
[0104]優(yōu)先臉311被包括在輸入圖像300中。另外，輸入圖像300包括包含優(yōu)先臉311的前區(qū)域332 (具有較小深度的區(qū)域)和對應于背景的內(nèi)區(qū)域334 (具有較大深度的區(qū)域)。
[0105]當二維構(gòu)圖設置單元113如上所述對輸入圖像執(zhí)行構(gòu)圖設置處理時，設置修剪區(qū)域320。修剪區(qū)域320基于優(yōu)先臉311來設置，并且其大小是基于例如優(yōu)先臉311的大小的預定大小。
[0106]另一方面，當三維構(gòu)圖設置單元114執(zhí)行構(gòu)圖設置處理時，設置修剪區(qū)域322。也基于優(yōu)先臉311設置修剪區(qū)域322。然而，除了包括優(yōu)先臉311的前區(qū)域332之外，設置修剪區(qū)域322以便還包括內(nèi)區(qū)域334。結(jié)果，修剪區(qū)域322被設置為大于修剪區(qū)域320并且沿水平方向較長，而修剪區(qū)域320沿垂直方向較長。以這種方式，二維構(gòu)圖設置單元113和三維構(gòu)圖設置單元114能夠通過不同的處理設置修剪區(qū)域。
[0107]當以三維方式顯示圖像時，如果圖像中的深度的范圍較窄，則觀察者幾乎不會感覺到立體效果。換句話說，在圖像的印象方面不存在與二維顯示的差別。另一方面，如果圖像中的深度的范圍較寬，則觀察者容易感覺到立體效果。換句話說，僅在三維顯示中可實現(xiàn)圖像的這種印象。
[0108]因此，在本實施例中，考慮到三維顯示對三維輸入圖像執(zhí)行構(gòu)圖設置處理，由此實現(xiàn)更合適的修剪圖像的產(chǎn)生。
[0109](處理流程)
[0110]參照圖6，作為本實施例中的三維構(gòu)圖設置單元114的處理，首先提取優(yōu)先臉311(步驟S141)。接下來，獲取輸入圖像的被攝體深度的信息(步驟S143)。輸入圖像的深度之中的被攝體深度指示成像光學系統(tǒng)101聚焦的范圍。基于例如在成像期間的成像光學系統(tǒng)101的設置計算景深的信息，并且將景深的信息附著于輸入圖像作為指示范圍的數(shù)值數(shù)據(jù)。
[0111]接下來，判定在輸入圖像中的景深內(nèi)的區(qū)域中是否存在其深度不同于優(yōu)先臉311的區(qū)域(步驟S145)。這里，基于例如當觀察以三維方式顯示的圖像時的人類視覺的特性，設置用于確定不同深度的閾值。閾值可以是隨著例如優(yōu)先臉311的深度變化的值。
[0112]在步驟S145中，當判定存在具有不同深度的區(qū)域時，設置修剪區(qū)域322的大小以包括對應區(qū)域(步驟S147)。這里，能夠設置修剪區(qū)域322的大小，以使得例如修剪區(qū)域322中所包括的前區(qū)域332與內(nèi)區(qū)域334的面積比是預定值。能夠例如基于當觀察以三維方式顯示的圖像時的人類視覺的特性設置所述預定值。作為例子，修剪區(qū)域322中所包括的前區(qū)域332與內(nèi)區(qū)域334的面積比能夠被設置為1: 2、1:3等。
[0113]需要注意的是，如步驟S145中所示，當內(nèi)區(qū)域334的深度被包括在景深的范圍中時，在本實施例中，內(nèi)區(qū)域334被包括在修剪區(qū)域322中。這是因為，當以三維方式顯示包括不在景深的范圍中(即，未聚焦)的區(qū)域的圖像時，用戶可能感到不適。
[0114]另一方面，在步驟S145中，當判定不存在具有不同深度的區(qū)域時，參照優(yōu)先臉311的大小設置修剪區(qū)域322的大小(步驟S149)。修剪區(qū)域322的大小的這種設置與二維構(gòu)圖設置處理相同。
[0115]接下來，以在步驟S147或步驟S149中設置的大小設置修剪區(qū)域(步驟S151)。
[0116]需要注意的是，在本實施例中，二維構(gòu)圖設置單元113執(zhí)行以上參照圖6描述的處理，但步驟S143至S147的處理除外。換句話說，在本實施例的三維構(gòu)圖設置處理中，步驟S143至S147中示出的大小設置處理被添加到二維構(gòu)圖設置處理。
[0117]在上述本公開的第二實施例中，例如，通過針對二維輸入圖像和三維輸入圖像以不同方式執(zhí)行修剪區(qū)域的大小的設置，從三維輸入圖像產(chǎn)生給予用戶僅可在三維圖像中實現(xiàn)的印象的修剪圖像。
[0118](3.第三實施例)
[0119]接下來，將參照圖7描述本公開的第三實施例。圖7是由本實施例中的三維構(gòu)圖設置單元執(zhí)行的處理的流程圖。
[0120]需要注意的是，由于第三實施例的構(gòu)圖設置處理不同于上述第一實施例，所以將在以下詳細描述該處理。另一方面，由于其它結(jié)構(gòu)與第一實施例的結(jié)構(gòu)相同，所以將省略其詳細描述。另外，由于在本實施例中作為二維和三維構(gòu)圖設置處理的結(jié)果產(chǎn)生的修剪圖像基本上與上述圖5的例子中的修剪圖像相同，所以將在本實施例中繼續(xù)參照圖5.
[0121]參照圖7，作為本實施例的三維構(gòu)圖設置單元114的處理，首先獲取整個圖像的深度信息(步驟S161)。當例如獲取左眼圖像和右眼圖像作為輸入圖像時，能夠通過從這些圖像提取整個圖像的視差分布來獲取整個圖像的深度信息。
[0122]接下來，判定圖像的深度的范圍是否較寬(步驟S163)。這里，基于例如當觀察以三維方式顯示的圖像時的人類視覺的特性設置用于確定較寬的深度的范圍的閾值。閾值可以是隨著例如在圖像中位于最前面位置的部分的深度變化的值。
[0123]在步驟S163中 ，當深度的范圍被判定為較寬時，修剪區(qū)域的大小被設置為η =Ii1(步驟S165)。需要注意的是，在本實施例中，修剪區(qū)域的大小被設置為優(yōu)先臉311的大小的η倍(η≥1)。在步驟S165中，η的值被設置為第一預定值Ii1。
[0124]另一方面，在步驟S163中，當深度的范圍被判定為不寬時，修剪區(qū)域的大小被設置為η = η2 (步驟S167)。這里，第二預定值η2是滿足ηι>η2的值。換句話說，在本實施例中，當深度的范圍較寬時，用于根據(jù)優(yōu)先臉311的大小的比例設置修剪區(qū)域的大小的系數(shù)被設置為高于當深度的范圍較窄時的用于設置修剪區(qū)域的大小的系數(shù)。換句話說，當優(yōu)先臉311的大小相同時，如果圖像的深度的范圍較寬時，修剪區(qū)域的大小增加。
[0125]接下來，修剪區(qū)域被設置為在步驟S165或步驟S167中設置的大小(步驟S169)。
[0126]在上述本公開的第三實施例中，例如，當圖像的深度信息具有等于或大于預定閾值的寬度時，能夠像在圖5的修剪圖像422中一樣設置進一步的放大構(gòu)圖。另一方面，當圖像的深度信息僅具有小于所述預定閾值的寬度時，能夠設置進一步的縮小構(gòu)圖。因此，能夠產(chǎn)生包括給予輸入圖像中所包括的立體效果的部分(具有不同深度的部分)的修剪圖像，給予用戶僅可在三維顯示中實現(xiàn)的印象。
[0127](4.第四實施例)
[0128]接下來，將參照圖8描述本公開的第四實施例。圖8是顯示根據(jù)本實施例的數(shù)字靜止照相機200的功能結(jié)構(gòu)的示意性方框圖。
[0129]需要注意的是，在第四實施例中，由于數(shù)字靜止照相機200與第一實施例的不同之處在于該數(shù)字靜止照相機僅使用三維構(gòu)圖設置單元114設置構(gòu)圖，所以將在以下提供其詳細描述。另一方面，由于其它結(jié)構(gòu)與第一實施例的結(jié)構(gòu)相同，所以將省略其詳細描述。需要注意的是，在構(gòu)圖設置處理中，可執(zhí)行與第二和第三實施例相同的處理。
[0130]參照圖8，根據(jù)本實施例的數(shù)字靜止照相機200與根據(jù)第一實施例數(shù)字靜止照相機100的不同之處在于:數(shù)字靜止照相機200不包括圖像判定單元112和二維構(gòu)圖設置單元113。在本實施例中，成像單元102通常輸出具有深度信息的輸入圖像。由于這個原因，僅由三維構(gòu)圖設置單元114執(zhí)行用于產(chǎn)生修剪圖像的構(gòu)圖設置。
[0131]然而，在數(shù)字靜止照相機200中，修剪圖像可并不總是被記錄為三維圖像。如上所述，由三維構(gòu)圖設置單元114設置的修剪區(qū)域能夠被應用于二維圖像的修剪。因此，在本實施例中，修剪單元115可根據(jù)由三維構(gòu)圖設置單元114設置的修剪區(qū)域產(chǎn)生修剪圖像作為二維圖像。在例如在數(shù)字靜止照相機200中設置的操作模式下決定修剪單元115是產(chǎn)生三維修剪圖像還是產(chǎn)生二維修剪圖像。
[0132](5.補充)
[0133]需要注意的是，除了上述本公開的實施例的例子之外，還能夠如以下其例子中所示以各種方式修改本公開的實施例。
[0134]例如，根據(jù)本公開的實施例的圖像處理裝置不限于數(shù)字靜止照相機，并且可以是具有成像功能的移動終端，諸如移動電話(智能電話)或平板PC(個人計算機)。另外，圖像處理裝置可以是不具有成像功能的信息處理裝置，諸如桌上型PC。在這種情況下，圖像處理裝置獲取使用例如另一裝置拍攝的圖像作為輸入圖像。
[0135]以上參照附圖描述了本發(fā)明的優(yōu)選實施例，但本發(fā)明當然不限于以上例子。本領域技術(shù)人員可在所附權(quán)利要求的范圍內(nèi)發(fā)現(xiàn)各種改變和修改，并且應該理解，它們將會自然落在本發(fā)明的技術(shù)范圍內(nèi)。
[0136]另外，本技術(shù)也可如下構(gòu)造。
[0137](I) —種圖像處理裝置，包括:
[0138]第一構(gòu)圖設置單元，被構(gòu)造為基于第一技術(shù)對以二維方式顯示的輸入圖像設置構(gòu)圖；和
[0139]第二構(gòu)圖設置單元，被構(gòu)造為基于與第一技術(shù)不同的第二技術(shù)對以三維方式顯示的輸入圖像設置構(gòu)圖。
[0140](2)如(I)所述的圖像處理裝置，其中所述第二構(gòu)圖設置單元基于指示以三維方式顯示的輸入圖像的深度的深度信息設置構(gòu)圖。
[0141](3)如(2)所述的圖像處理裝置，其中所述第二構(gòu)圖設置單元設置放置以三維方式顯示的輸入圖像中所包括的第一被攝體的構(gòu)圖，并且根據(jù)該構(gòu)圖，設置以三維方式顯示的輸入圖像的修剪區(qū)域，以使得在輸入圖像中位于第一被攝體的周圍的第二被攝體之中與第一被攝體具有較小的深度的差異的被攝體被包括在修剪區(qū)域中。
[0142](4)如(2)或(3)所述的圖像處理裝置，其中所述第二構(gòu)圖設置單元設置以三維方式顯示的輸入圖像的修剪區(qū)域，以使得根據(jù)基于第二技術(shù)設置的構(gòu)圖在修剪區(qū)域中包括以三維方式顯示的輸入圖像中具有較小深度的第一區(qū)域和具有較大深度的第二區(qū)域。
[0143](5)如(4)所述的圖像處理裝置，其中當?shù)诙^(qū)域的深度被包括在以三維方式顯示的輸入圖像的景深的范圍中時，第二構(gòu)圖設置單元使第二區(qū)域被包括在修剪區(qū)域中。
[0144](6)如(4)或(5)所述的圖像處理裝置，其中所述第二構(gòu)圖設置單元設置修剪區(qū)域，以使得將要被包括在修剪區(qū)域中的第一區(qū)域與第二區(qū)域之比是預定值。
[0145](7)如(2)至(6)中任何一項所述的圖像處理裝置，其中所述第二構(gòu)圖設置單元根據(jù)基于第二技術(shù)設置的構(gòu)圖設置以三維方式顯示的輸入圖像的修剪區(qū)域，并且在以三維方式顯示的輸入圖像的深度的范圍等于或高于預定范圍時將修剪區(qū)域設置得較大。
[0146](8)如(I)至(7)中任何一項所述的圖像處理裝置，其中所述第二構(gòu)圖設置單元基于指示輸入圖像的景深的信息設置構(gòu)圖。
[0147](9)如(I)至(8)中任何一項所述的圖像處理裝置，其中所述第二構(gòu)圖設置單元設置放置輸入圖像中所包括的被攝體的構(gòu)圖。
[0148](10)如(I)至(9)中任何一項所述的圖像處理裝置，其中所述第二構(gòu)圖設置單元設置對稱構(gòu)圖。
[0149](11)如(I)至(10)中任何一項所述的圖像處理裝置，還包括:
[0150]修剪單元，被構(gòu)造為從以三維方式顯示的輸入圖像產(chǎn)生根據(jù)基于第二技術(shù)設置的構(gòu)圖設置的修剪區(qū)域的修剪圖像，并且基于指示以三維方式顯示的輸入圖像的深度的深度信息調(diào)整針對修剪圖像設置的深度。
[0151](12)如(I)至(11)中任何一項所述的圖像處理裝置，還包括:
[0152]圖像判定單元，被構(gòu)造為確定以二維方式顯示的輸入圖像和以三維方式顯示的輸入圖像。
[0153](13) —種圖像處理方法，包括:
[0154]基于第一技術(shù)對以二維方式顯示的輸入圖像設置構(gòu)圖；以及
[0155]基于與第一技術(shù)不同的第二技術(shù)對以三維方式顯示的輸入圖像設置構(gòu)圖。
[0156](14) 一種圖像處理裝置，包括:
[0157]構(gòu)圖設置單元，被構(gòu)造為基于指示輸入圖像的深度的深度信息對以三維方式顯示的輸入圖像設置構(gòu)圖。
[0158](15)如(14)所述的圖像處理裝置，其中所述構(gòu)圖設置單元設置放置輸入圖像中所包括的第一被攝體的構(gòu)圖，并且根據(jù)該構(gòu)圖，設置輸入圖像的修剪區(qū)域，以使得在輸入圖像中位于第一被攝體的周圍的第二被攝體之中與第一被攝體具有較小的深度的差異的被攝體被包括在修剪區(qū)域中。
[0159](16)如(15)所述的圖像處理裝置，其中，根據(jù)設置的構(gòu)圖，構(gòu)圖設置單元設置輸入圖像的修剪區(qū)域，以使得具有由深度信息代表的較小的深度的第一區(qū)域和具有較大的深度的第二區(qū)域被包括在修剪區(qū)域中。
[0160](17)如(16)所述的圖像處理裝置，其中當所述第二區(qū)域的深度被包括在輸入圖像的景深的范圍中時，構(gòu)圖設置單元使第二區(qū)域被包括在修剪區(qū)域中。
[0161](18)如(16)或(17)所述的圖像處理裝置，其中所述構(gòu)圖設置單元設置修剪區(qū)域，以使得將要被包括在修剪區(qū)域中的第一區(qū)域與第二區(qū)域之比具有預定值。
[0162](19)如(14)至(18)中任何一項所述的圖像處理裝置，還包括:
[0163]修剪單元，被構(gòu)造為從輸入圖像產(chǎn)生根據(jù)構(gòu)圖設置的修剪區(qū)域的修剪圖像，并且基于深度信息調(diào)整針對修剪圖像設置的深度。
[0164](20) —種圖像處理方法，包括:
[0165]基于指示輸入圖像的深度的深度信息對以三維方式顯示的輸入圖像設置構(gòu)圖。
[0166]標號列表
[0167]100,200數(shù)字靜止照相機(圖像處理裝置)
[0168]102成像單元
[0169]111被攝體識別單元
[0170]112圖像判定單元
[0171]113 二維構(gòu)圖設置單元
[0172]114三維構(gòu)圖設置單元
[0173]115修剪單元
[0174]116記錄控制單元
[0175]117顯示控制單元
[0176]120顯示單元
[0177]130存儲單元
[0178]300輸入圖像
[0179]320第一修剪區(qū)域
[0180]322第二修剪區(qū)域
【權(quán)利要求】
1.一種圖像處理裝置，包括: 第一構(gòu)圖設置單元，被構(gòu)造為基于第一技術(shù)對以二維方式顯示的輸入圖像設置構(gòu)圖；和 第二構(gòu)圖設置單元，被構(gòu)造為基于與第一技術(shù)不同的第二技術(shù)對以三維方式顯示的輸入圖像設置構(gòu)圖。
2.如權(quán)利要求1所述的圖像處理裝置，其中所述第二構(gòu)圖設置單元基于指示以三維方式顯示的輸入圖像的深度的深度信息設置構(gòu)圖。
3.如權(quán)利要求2所述的圖像處理裝置，其中所述第二構(gòu)圖設置單元設置放置以三維方式顯示的輸入圖像中所包括的第一被攝體的構(gòu)圖，并且根據(jù)該構(gòu)圖，設置以三維方式顯示的輸入圖像的修剪區(qū)域，以使得在輸入圖像中位于第一被攝體的周圍的第二被攝體之中與第一被攝體具有較小的深度的差異的被攝體被包括在修剪區(qū)域中。
4.如權(quán)利要求2所述的圖像處理裝置，其中所述第二構(gòu)圖設置單元設置以三維方式顯示的輸入圖像的修剪區(qū)域，以使得根據(jù)基于第二技術(shù)設置的構(gòu)圖在修剪區(qū)域中包括以三維方式顯示的輸入圖像中具有較小深度的第一區(qū)域和具有較大深度的第二區(qū)域。
5.如權(quán)利要求 4所述的圖像處理裝置，其中當?shù)诙^(qū)域的深度被包括在以三維方式顯示的輸入圖像的景深的范圍中時，第二構(gòu)圖設置單元使第二區(qū)域被包括在修剪區(qū)域中。
6.如權(quán)利要求4所述的圖像處理裝置，其中所述第二構(gòu)圖設置單元設置修剪區(qū)域，以使得將要被包括在修剪區(qū)域中的第一區(qū)域與第二區(qū)域之比是預定值。
7.如權(quán)利要求2所述的圖像處理裝置，其中所述第二構(gòu)圖設置單元根據(jù)基于第二技術(shù)設置的構(gòu)圖設置以三維方式顯示的輸入圖像的修剪區(qū)域，并且在以三維方式顯示的輸入圖像的深度的范圍等于或高于預定范圍時將修剪區(qū)域設置得較大。
8.如權(quán)利要求1所述的圖像處理裝置，其中所述第二構(gòu)圖設置單元基于指示輸入圖像的景深的信息設置構(gòu)圖。
9.如權(quán)利要求1所述的圖像處理裝置，其中所述第二構(gòu)圖設置單元設置放置輸入圖像中所包括的被攝體的構(gòu)圖。
10.如權(quán)利要求1所述的圖像處理裝置，其中所述第二構(gòu)圖設置單元設置對稱構(gòu)圖。
11.如權(quán)利要求1所述的圖像處理裝置，還包括: 修剪單元，被構(gòu)造為從以三維方式顯示的輸入圖像產(chǎn)生根據(jù)基于第二技術(shù)設置的構(gòu)圖設置的修剪區(qū)域的修剪圖像，并且基于指示以三維方式顯示的輸入圖像的深度的深度信息調(diào)整針對修剪圖像設置的深度。
12.如權(quán)利要求1所述的圖像處理裝置，還包括: 圖像判定單元，被構(gòu)造為確定以二維方式顯示的輸入圖像和以三維方式顯示的輸入圖像。
13.一種圖像處理方法，包括: 基于第一技術(shù)對以二維方式顯示的輸入圖像設置構(gòu)圖；以及 基于與第一技術(shù)不同的第二技術(shù)對以三維方式顯示的輸入圖像設置構(gòu)圖。
14.一種圖像處理裝置，包括: 構(gòu)圖設置單元，被構(gòu)造為基于指示輸入圖像的深度的深度信息對以三維方式顯示的輸入圖像設置構(gòu)圖。
15.如權(quán)利要求14所述的圖像處理裝置，其中所述構(gòu)圖設置單元設置放置輸入圖像中所包括的第一被攝體的構(gòu)圖，并且根據(jù)該構(gòu)圖，設置輸入圖像的修剪區(qū)域，以使得在輸入圖像中位于第一被攝體的周圍的第二被攝體之中與第一被攝體具有較小的深度的差異的被攝體被包括在修剪區(qū)域中。
16.如權(quán)利要求14所述的圖像處理裝置，其中，根據(jù)設置的構(gòu)圖，構(gòu)圖設置單元設置輸入圖像的修剪區(qū)域，以使得具有由深度信息代表的較小的深度的第一區(qū)域和具有較大的深度的第二區(qū)域被包括在修剪區(qū)域中。
17.如權(quán)利要求16所述的圖像處理裝置，其中當所述第二區(qū)域的深度被包括在輸入圖像的景深的范圍中時，構(gòu)圖設置單元使第二區(qū)域被包括在修剪區(qū)域中。
18.如權(quán)利要求16所述的圖像處理裝置，其中所述構(gòu)圖設置單元設置修剪區(qū)域，以使得將要被包括在修剪區(qū)域中的第一區(qū)域與第二區(qū)域之比具有預定值。
19.如權(quán)利要求14所述的圖像處理裝置，還包括: 修剪單元，被構(gòu)造為從輸入圖像產(chǎn)生根據(jù)構(gòu)圖設置的修剪區(qū)域的修剪圖像，并且基于深度信息調(diào)整針對修剪圖像設置的深度。
20.—種圖像處理方法，包括: 基于指示輸入圖像 的深度的深度信息對以三維方式顯示的輸入圖像設置構(gòu)圖。
【文檔編號】H04N13/00GK104054332SQ201280067432
【公開日】2014年9月17日 申請日期:2012年11月7日 優(yōu)先權(quán)日:2012年1月26日
【發(fā)明者】深田陽子, 小野俊樹, 三上真笵 申請人:索尼公司