專利名稱：圖像處理裝置和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置和圖像處理方法，以及更具體地涉及從輸入的兩視點(diǎn)圖像產(chǎn)生多視點(diǎn)圖像的圖像處理裝置和圖像處理方法。
背景技術(shù)：
從具有彼此不同的視點(diǎn)并且被拍攝成立體圖像的兩個(gè)圖像產(chǎn)生對應(yīng)于任意中間視點(diǎn)的圖像的技術(shù)對于在具有附接有雙凸透鏡片的表面的立體影印機(jī)或各種其他立體圖像顯示裝置上顯示適當(dāng)立體圖像是重要的。PTL I描述了一種技術(shù)，其中深度或雙眼之間的視差的增加相對于作為中心的任意點(diǎn)被線性壓縮，以及可以相應(yīng)地通過簡單轉(zhuǎn)換得到期望的深度感。根據(jù)該技術(shù)，可以改變將被產(chǎn)生的三維顯示圖像的預(yù)定區(qū)域中的深度感，從而能夠靈活響應(yīng)觀眾等的喜好。引用列表專利文獻(xiàn)PTL I日本專利申請公開No. 08-331607

發(fā)明內(nèi)容
技術(shù)問題然而，根據(jù)在PTL I中描述的發(fā)明，由于沒有執(zhí)行對主對象的立體效果的目標(biāo)值的控制，因此在這種情況下，對由于過大視差導(dǎo)致的不能被立體觀察的圖像執(zhí)行抑制視差的處理，這樣產(chǎn)生了作為不利效果的缺點(diǎn)，即主對象的視差分布變得過分小，從而可能失去立體效果。本發(fā)明鑒于上述情況而提出，因此其目的是提供產(chǎn)生多視點(diǎn)圖像的圖像處理裝置和圖像處理方法，其中整個(gè)圖像的視差被抑制得足夠小，從而在保持主對象的立體效果的同時(shí)，能夠進(jìn)行立體觀看。問題的解決方案為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的第一方面的圖像處理裝置包括圖像輸入單元， 用于接收彼此之間具有視差的兩視點(diǎn)圖像；用于獲取兩視點(diǎn)圖像之間的每個(gè)像素或每個(gè)區(qū)域的視差的視差獲取單元；主對象檢測單元，用于檢測兩視點(diǎn)圖像上的主對象；用于獲取主對象的視差的視差獲取單元；設(shè)置單元，用于根據(jù)將要產(chǎn)生的多視點(diǎn)圖像的各個(gè)視點(diǎn)位置設(shè)置視差的轉(zhuǎn)換因數(shù)；校正單元，用于根據(jù)主對象的視差校正每個(gè)像素、每個(gè)區(qū)域、或每個(gè)圖像的視差的轉(zhuǎn)換因數(shù)；多視點(diǎn)圖像產(chǎn)生單元，用于根據(jù)校正的視差的轉(zhuǎn)換因數(shù)轉(zhuǎn)換兩視點(diǎn)圖像中的至少一個(gè)圖像，從而產(chǎn)生多視點(diǎn)圖像；圖像調(diào)節(jié)單元，用于沿水平方向移動兩視點(diǎn)圖像或多視點(diǎn)圖像，以使得多視點(diǎn)圖像上的主對象的視差變?yōu)檫m于立體觀看的視差； 以及立體顯示圖像產(chǎn)生單元，用于基于多視點(diǎn)圖像產(chǎn)生立體顯示的圖像。根據(jù)第一方面，基于主對象的視差，針對每個(gè)像素來校正根據(jù)將要產(chǎn)生的多視點(diǎn)圖像的各個(gè)視點(diǎn)位置的視差的轉(zhuǎn)換因數(shù)，因此可以產(chǎn)生多視點(diǎn)圖像，其中整個(gè)圖像的視差被抑制為足夠小，從而在保持主對象的立體效果的同時(shí)能夠進(jìn)行立體觀看。根據(jù)本發(fā)明的第二方面的圖像處理裝置在所述第一方面中還包括保持單元，用于保持整個(gè)圖像的目標(biāo)視差分布以及主對象的目標(biāo)視差分布，其中設(shè)置單元設(shè)置視差的轉(zhuǎn)換因數(shù)，以使得將要產(chǎn)生的多視點(diǎn)圖像的整個(gè)圖像的視差分布滿足整個(gè)圖像的目標(biāo)視差分布；以及校正單元，其校正每個(gè)像素、每個(gè)區(qū)域、或每個(gè)圖像的視差的轉(zhuǎn)換因數(shù)，以使得將要產(chǎn)生的多視點(diǎn)圖像上的主對象的視差分布滿足主對象的目標(biāo)視差分布。這使得產(chǎn)生具有適當(dāng)?shù)恼麄€(gè)圖像的視差分布和主對象的視差分布的多視點(diǎn)圖像成為可能。根據(jù)本發(fā)明的第三方面的圖像處理裝置在所述第一或第二方面中進(jìn)一步包括輸出單元，用于以預(yù)定尺寸輸出所產(chǎn)生的立體顯示圖像；以及修改單元，用于根據(jù)所述預(yù)定尺寸修改整個(gè)圖像的目標(biāo)視差分布以及主對象的目標(biāo)視差分布。這就使得產(chǎn)生具有根據(jù)輸出尺寸的視差的多視點(diǎn)圖像成為可能。在根據(jù)本發(fā)明的第四方面的圖像處理裝置中，第一至第三方面中的校正單元基于每個(gè)像素或每個(gè)區(qū)域的視差與主對象的視差之間的差校正每個(gè)像素、每個(gè)區(qū)域、或每個(gè)圖像的轉(zhuǎn)換因數(shù)。這使得產(chǎn)生具有適當(dāng)?shù)恼麄€(gè)圖像的視差和主對象的視差的多視點(diǎn)圖像成為可能。根據(jù)本發(fā)明的第五方面的圖像處理裝置中，第四方面中的校正單元校正視差的轉(zhuǎn)換因數(shù)，以使得在視差之間具有較大差的像素或區(qū)域中更多地抑制視差。這就使得產(chǎn)生具有適當(dāng)?shù)恼麄€(gè)圖像的視差和主對象的視差的多視點(diǎn)圖像成為可倉泛。根據(jù)本發(fā)明的第六方面的圖像處理裝置中，第四方面中的校正單元校正視差的轉(zhuǎn)換因數(shù)，以使得在視差之間具有較小差的像素或區(qū)域中更多地增大視差。這就使得產(chǎn)生具有適當(dāng)?shù)恼麄€(gè)圖像的視差和主對象的視差的多視點(diǎn)圖像成為可倉泛。根據(jù)本發(fā)明的第七方面的圖像處理裝置在第四方面中進(jìn)一步包括拍攝模式檢測單元，用于從兩視點(diǎn)圖像的附屬信息中檢測拍攝兩視點(diǎn)圖像時(shí)設(shè)置的拍攝模式；以及選擇單元，用于根據(jù)所檢測到的拍攝模式，來選擇是使校正單元校正視差的轉(zhuǎn)換因數(shù)以使得在視差之間具有較大差的像素或區(qū)域中更多地抑制視差，還是使校正單元校正視差的轉(zhuǎn)換因數(shù)以使得在視差之間具有較小差的像素或區(qū)域中更多地增大視差。這使得產(chǎn)生具有適當(dāng)?shù)恼麄€(gè)圖像的視差或主對象的視差的多視點(diǎn)圖像成為可能。根據(jù)本發(fā)明的第八方面的圖像處理裝置在第一方面中進(jìn)一步包括視差柱狀圖獲取單元，用于獲取每個(gè)像素的視差或每個(gè)區(qū)域的視差的柱狀圖，其中校正單元校正每個(gè)像素或每個(gè)區(qū)域的視差的轉(zhuǎn)換因數(shù)，以使得視差階調(diào)隨柱狀圖中的頻率保持恒定。這就使得產(chǎn)生具有恒定視差階調(diào)的多視點(diǎn)圖像成為可能。根據(jù)本發(fā)明的第九方面的圖像處理裝置在第一方面中進(jìn)一步包括拍攝場景識別單元，用于識別兩視點(diǎn)圖像上的拍攝場景；以及主對象設(shè)置單元，用于根據(jù)拍攝場景設(shè)置主對象區(qū)域，其中，校正單元根據(jù)圖像上距離主對象區(qū)域的距離校正每個(gè)區(qū)域或每個(gè)像素的視差的轉(zhuǎn)換因數(shù)。這就使得通過簡單處理設(shè)置主對象、以及產(chǎn)生具有適當(dāng)?shù)恼麄€(gè)圖像的視差和主對象的視差的多視點(diǎn)圖像成為可能。根據(jù)本發(fā)明的第十方面的圖像處理裝置，第九方面中的拍攝場景識別單元包括拍攝模式檢測單元，用于從兩視點(diǎn)圖像的附屬信息中檢測拍攝兩視點(diǎn)圖像時(shí)設(shè)置的拍攝模式；在所檢測出的拍攝模式是人物模式的情況下，主對象區(qū)域設(shè)置單元將通過垂直分割圖像所獲得的多個(gè)區(qū)域中的中央?yún)^(qū)域設(shè)置為主對象區(qū)域；以及校正單元根據(jù)在水平方向上距離主對象區(qū)域的距離來校正每個(gè)區(qū)域或每個(gè)像素的視差的轉(zhuǎn)換因數(shù)。這使得通過簡單處理設(shè)置主對象，以及產(chǎn)生具有適當(dāng)?shù)恼麄€(gè)圖像的視差和主對象的視差的多視點(diǎn)圖像成為可能。根據(jù)本發(fā)明的第十一方面的圖像處理裝置，第九方面中的拍攝場景識別單元包括拍攝模式檢測單元，其從兩視點(diǎn)圖像的附屬信息中檢測拍攝兩視點(diǎn)圖像時(shí)設(shè)置的拍攝模式；在所檢測到的拍攝模式是場景模式時(shí)，主對象區(qū)域設(shè)置單元將通過水平分割圖像得到的多個(gè)區(qū)域中的中心區(qū)域設(shè)置為主對象區(qū)域；以及校正單元，根據(jù)在垂直方向上距離主對象區(qū)域的距離校正每個(gè)區(qū)域或每個(gè)像素的視差的轉(zhuǎn)換因數(shù)。這使得通過簡單處理設(shè)置主對象，以及產(chǎn)生具有適當(dāng)?shù)恼麄€(gè)圖像的視差和主對象的視差的多視點(diǎn)圖像成為可能。根據(jù)本發(fā)明的第十二方面的圖像處理裝置，第九方面中的拍攝場景識別單元包括提取單元，用于從兩視點(diǎn)圖像中提取短距離景象區(qū)域、中距離景象區(qū)域和長距離景象區(qū)域； 以及第九方面中的校正單元根據(jù)各個(gè)提取出的區(qū)域校正每個(gè)區(qū)域或每個(gè)像素的視差的轉(zhuǎn)換因數(shù)。這使得通過簡單處理設(shè)置主對象、以及產(chǎn)生具有適當(dāng)?shù)恼麄€(gè)圖像的視差和主對象的視差的多視點(diǎn)圖像成為可能。在根據(jù)本發(fā)明的第十三方面的圖像處理裝置中，在將要產(chǎn)生的多視點(diǎn)圖像是四個(gè)或更多的情況下，第一至第十二方面中的設(shè)置單元設(shè)置視差的轉(zhuǎn)換因數(shù)，以使得在中央部分中的視點(diǎn)位置之間的差大于在兩端部分處的視點(diǎn)位置之間的差。這就使得產(chǎn)生能夠以各種式樣觀看的多視點(diǎn)圖像成為可能。在根據(jù)本發(fā)明的第十四方面的圖像處理裝置中，第一至第十三方面中的校正單元校正每個(gè)像素、每個(gè)區(qū)域、或每個(gè)圖像的視差的轉(zhuǎn)換因數(shù)，以使得兩視點(diǎn)圖像中的一個(gè)圖像的視差的轉(zhuǎn)換因數(shù)變?yōu)榱?；以及多視點(diǎn)圖像產(chǎn)生單元對視差的轉(zhuǎn)換因數(shù)為零的圖像進(jìn)行轉(zhuǎn)換，從而產(chǎn)生多視點(diǎn)圖像。這就使得關(guān)于多視點(diǎn)圖像的至少一端的圖像使用實(shí)際拍攝圖像成為可能。在根據(jù)本發(fā)明的第十五方面，第一至第十三方面中的校正單元校正每個(gè)像素、每個(gè)區(qū)域、或每個(gè)圖像的視差的轉(zhuǎn)換因數(shù)，以使得在將要產(chǎn)生的多視點(diǎn)圖像的中央視點(diǎn)位置處的圖像的視差的轉(zhuǎn)換因數(shù)變?yōu)樽钚?。這使得產(chǎn)生自然的多視點(diǎn)圖像成為可能。為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的第十六方面的圖像處理方法，包括圖像輸入步驟，用于接收彼此之間具有視差的兩視點(diǎn)圖像；用于獲取兩視點(diǎn)圖像之間的每個(gè)像素或每個(gè)區(qū)域的視差的視差獲取步驟；主對象檢測步驟，用于檢測兩視點(diǎn)圖像上的主對象；用于獲取主對象的視差的視差獲取步驟；設(shè)置步驟，用于根據(jù)將要產(chǎn)生的多視點(diǎn)圖像的各個(gè)視點(diǎn)位置設(shè)置視差的轉(zhuǎn)換因數(shù)；校正步驟，用于基于主對象的視差校正每個(gè)像素、每個(gè)區(qū)域、或每個(gè)圖像的視差的轉(zhuǎn)換因數(shù)；多視點(diǎn)圖像產(chǎn)生步驟，用于根據(jù)校正的視差的轉(zhuǎn)換因數(shù)轉(zhuǎn) 換兩視點(diǎn)圖像的至少ー個(gè)圖像，從而產(chǎn)生多視點(diǎn)圖像；圖像調(diào)節(jié)步驟，用于沿水平方向移 動兩視點(diǎn)圖像或多視點(diǎn)圖像，以使得多視點(diǎn)圖像上的主對象的視差變?yōu)檫m于立體觀看的視 差；以及立體圖像產(chǎn)生步驟，用于基于多視點(diǎn)圖像產(chǎn)生立體顯示圖像。發(fā)明的有益效果根據(jù)本發(fā)明，整個(gè)圖像的視差可以被抑制的足夠小從而使得在保持主對象的立體 效果的同吋，能夠進(jìn)行立體觀看。


圖I是示出了根據(jù)第一實(shí)施例的多視點(diǎn)圖像的產(chǎn)生過程的流程圖；圖2A是示出了輸入圖像的示例的示意圖；圖2B是示出了主對象區(qū)域的示意圖；圖2C是不出了在右視點(diǎn)圖像和左視點(diǎn)圖像之間的對應(yīng)關(guān)系的不意圖；圖2D是示出了在右視點(diǎn)圖像R被移動之后，左視點(diǎn)圖像L和右視點(diǎn)圖像R的示意 圖；圖2E是示出了多視點(diǎn)圖像CO至C5的示意圖；圖2F是示出了最終的多視點(diǎn)圖像SO至S5的示意圖；圖3A是示出了用于設(shè)置每個(gè)像素的視差的校正量的函數(shù)Table(x)的曲線；圖3B是示出了用于設(shè)置每個(gè)像素的視差的校正量的函數(shù)Table(x)的曲線；圖3C是示出了用于設(shè)置每個(gè)像素的視差的校正量的函數(shù)Table(x)的曲線；圖3D是示出了用于設(shè)置每個(gè)像素的視差的校正量的函數(shù)Table(x)的曲線；圖4A是示出了用于設(shè)置每個(gè)像素的視差的校正量的函數(shù)Table(x)的曲線；圖4B是示出了用于設(shè)置每個(gè)像素的視差的校正量的函數(shù)Table(x)的曲線；圖4C是示出了用于設(shè)置每個(gè)像素的視差的校正量的函數(shù)Table(x)的曲線；圖4D是示出了用于設(shè)置每個(gè)像素的視差的校正量的函數(shù)Table(x)的曲線；圖5是示出了根據(jù)主對象的用于設(shè)置Factor2的過程的流程圖；圖6是示出了根據(jù)第三實(shí)施例的用于多視點(diǎn)圖像的產(chǎn)生過程的流程圖；圖7是示出了用于設(shè)置每個(gè)像素的視差的轉(zhuǎn)換因數(shù)Factorl的過程的流程圖；圖8A是示出了視差分布的曲線；圖8B是示出了視差分布的曲線；圖9是示出了用于設(shè)置每個(gè)圖像的視差的轉(zhuǎn)換因數(shù)Factorl的過程的流程圖；圖10是示出了根據(jù)第四實(shí)施例的多視點(diǎn)圖像的產(chǎn)生過程的流程圖；圖IlA是示出了視差分布的曲線；圖IlB是示出了校正量Factor2的曲線；圖12是示出了根據(jù)第五實(shí)施例的多視點(diǎn)圖像的產(chǎn)生過程的流程圖；圖13是示出了根據(jù)第五實(shí)施例的多視點(diǎn)圖像的產(chǎn)生過程的流程圖；圖14A是描述左視點(diǎn)圖像的等分的示意圖；圖14B是描述左視點(diǎn)圖像的等分的示意圖；圖15是示出了根據(jù)第六實(shí)施例的多視點(diǎn)圖像的產(chǎn)生過程的流程圖；以及
圖16是示出了圖像處理裝置10的框圖。
具體實(shí)施例方式以及將參考附圖描述根據(jù)本發(fā)明的圖像處理裝置和圖像處理方法的優(yōu)選實(shí)施例。<第一實(shí)施例>圖I是示出了根據(jù)第一實(shí)施例的多視點(diǎn)圖像的產(chǎn)生過程的示意圖，以及圖2是各自示出了用于描述每個(gè)過程的圖像示例的示意圖。在本實(shí)施例中，對所產(chǎn)生的多視點(diǎn)圖像之間的視差進(jìn)行控制，從而在該圖像中的主對象具有適合的立體效果。首先，輸入平行雙眼立體圖像(步驟SI)。平行雙眼立體圖像表示兩個(gè)圖像(兩視點(diǎn)圖像)，即，彼此具有不同視點(diǎn)的左視點(diǎn)圖像和右視點(diǎn)圖像。在此，以輸入如圖2A中示出的左視點(diǎn)圖像L和右視點(diǎn)圖像R的情況為例進(jìn)行說明。接下來，設(shè)置將要產(chǎn)生的每個(gè)圖像的視差的轉(zhuǎn)換因數(shù)Factorl (步驟S2)。在此，討論根據(jù)左視點(diǎn)圖像和右視點(diǎn)圖像產(chǎn)生六視點(diǎn)圖像(六個(gè)多視點(diǎn)圖像)的情況。這六個(gè)圖像的轉(zhuǎn)換因數(shù)Factorl [O]至Factorl [5]例如被分別設(shè)置為0，O. 2，O. 4，O. 6，O. 8和I. O。應(yīng)該理解，將要產(chǎn)生的多視點(diǎn)圖像的視點(diǎn)的數(shù)量不局限于6，并且可以根據(jù)輸出裝置適當(dāng)確定。接下來，從左視點(diǎn)圖像L檢測到主對象，以及獲取所檢測到的主對象在該圖像中的區(qū)域(步驟S3)。以下，使用包括該主對象的矩形區(qū)域的左上坐標(biāo)(Xtoplrft, Ytopleft)和右
h Jr*(-^bottomright ^bottomright
)，將檢測到的主對象在該圖像中的區(qū)域描述為區(qū)域(Xtopleft, Ytopleft) (^bottomright， Ybottomright)。應(yīng)該注意，主對象區(qū)域的形狀不局限于矩形。關(guān)于主對象，例如，在圖像中檢測到人或人臉的情況下，人或人臉被定義為主對象?？商鎿Q地，從輸入的圖像數(shù)據(jù)的附屬信息中獲取拍攝時(shí)的焦點(diǎn)位置，并且將具有根據(jù)焦點(diǎn)位置的距離的視差的區(qū)域定義為主對象。仍然可替換地，可以基于針對每個(gè)像素獲取的視差產(chǎn)生視差柱狀圖，以及將在頻率分布中具有平均值、最頻值(mode value)、中值或類似值的視差的區(qū)域定義為主對象。在該種情況下，優(yōu)選地關(guān)于例如去除圖像的10%的邊界的區(qū)域創(chuàng)建視差柱狀圖。這是因?yàn)橹鲗ο罂梢员徽J(rèn)為不存在于圖像的邊界中。在圖2B示出的示例中，人臉被檢測為主對象。此外，圖2B中示出的圖像中的框表
不檢測到的王對象的區(qū)域(Xtopleft，Ytopleft) _ (^bottomrighf Ybottomright)。接下來，參考左視點(diǎn)圖像L，獲取相對于右視點(diǎn)圖像R的每個(gè)像素的視差D (X，y) (步驟S4)。每個(gè)像素的視差D(x，y)是通過計(jì)算左視點(diǎn)圖像L和右視點(diǎn)圖像R之間的相關(guān)性來獲取的，從而檢測出兩者之間的每個(gè)像素的相應(yīng)點(diǎn)。圖2C示出了左視點(diǎn)圖像L上的主對象內(nèi)的點(diǎn)L (xL, yL)及其右視點(diǎn)圖像R上的相應(yīng)點(diǎn)R(xr，yE)。在此，yL = yK，從而該像素處的視差由視差D(x, y) = Xk-X1j表示。此外，基于每個(gè)像素的視差D (X，y)獲取主對象的視差D [main](步驟S5)。主對象的視差D[main]被表示為主對象的區(qū)域(Xtopleft
，Ytopleft) (Xbottomright，^bottomright^ 中的I
像素的視差D(x，y)的平均值，如下面的表達(dá)式I中所示。[表達(dá)式I]
9
權(quán)利要求
1.一種圖像處理裝置，包括圖像輸入單元，用于接收彼此之間具有視差的兩視點(diǎn)圖像；用于獲取所述兩視點(diǎn)圖像之間的每個(gè)像素的視差或每個(gè)區(qū)域的視差的視差獲取單元;主對象檢測單元，用于檢測所述兩視點(diǎn)圖像上的主對象；用于獲取所述主對象的視差的視差獲取單元；設(shè)置單元，用于根據(jù)將要產(chǎn)生的多視點(diǎn)圖像的各個(gè)視點(diǎn)位置設(shè)置所述視差的轉(zhuǎn)換因數(shù)；校正單元，用于基于所述主對象的視差校正每個(gè)像素、每個(gè)區(qū)域、或每個(gè)圖像的視差的轉(zhuǎn)換因數(shù)；多視點(diǎn)圖像產(chǎn)生單元，用于根據(jù)校正的視差的轉(zhuǎn)換因數(shù)來轉(zhuǎn)換所述兩視點(diǎn)圖像中的至少一個(gè)圖像，以產(chǎn)生所述多視點(diǎn)圖像；圖像調(diào)節(jié)單元，用于沿水平方向移動所述兩視點(diǎn)圖像或所述多視點(diǎn)圖像，使得所述多視點(diǎn)圖像上的主對象的視差變?yōu)檫m于立體觀看的視差；以及立體顯示圖像產(chǎn)生單元，用于基于所述多視點(diǎn)圖像產(chǎn)生立體顯示圖像。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，還包括保持單元，用于保持整個(gè)圖像的目標(biāo)視差分布以及所述主對象的目標(biāo)視差分布，其中所述設(shè)置單元設(shè)置所述視差的轉(zhuǎn)換因數(shù)，以使得將要產(chǎn)生的所述多視點(diǎn)圖像的整個(gè)圖像的視差分布滿足所述整個(gè)圖像的目標(biāo)視差分布；以及所述校正單元校正每個(gè)像素、每個(gè)區(qū)域、或每個(gè)圖像的視差的轉(zhuǎn)換因數(shù)，以使得將要產(chǎn)生的所述多視點(diǎn)圖像上的主對象的視差分布滿足所述主對象的目標(biāo)視差分布。
3.根據(jù)權(quán)利要求I或2所述的圖像處理裝置，還包括輸出單元，用于以預(yù)定尺寸輸出所產(chǎn)生的立體顯示圖像；以及修改單元，用于根據(jù)所述預(yù)定尺寸來修改所述整個(gè)圖像的目標(biāo)視差分布以及所述主對象的目標(biāo)視差分布。
4.根據(jù)權(quán)利要求I至3中任一項(xiàng)所述的圖像處理裝置，其中，所述校正單元基于所述每個(gè)像素的視差或每個(gè)區(qū)域的視差與所述主對象的視差之間的差來校正每個(gè)像素、每個(gè)區(qū)域、或每個(gè)圖像的視差的轉(zhuǎn)換因數(shù)。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述校正單元校正所述視差的轉(zhuǎn)換因數(shù)，以使得所述視差在視差之間具有較大差的像素或區(qū)域中被更多地抑制。
6.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述校正單元校正所述視差的轉(zhuǎn)換因數(shù)，以使得所述視差在視差之間具有較小差的像素或區(qū)域中被更多地增大。
7.根據(jù)權(quán)利要求4所述的圖像處理裝置，還包括拍攝模式檢測單元，用于從所述兩視點(diǎn)圖像的附屬信息中檢測拍攝所述兩視點(diǎn)圖像時(shí)設(shè)置的拍攝模式；以及選擇單元，用于根據(jù)所檢測到的拍攝模式，來選擇是使所述校正單元校正所述視差的轉(zhuǎn)換因數(shù)以使得所述視差在視差之間具有較大差的像素或區(qū)域中被更多地抑制，還是使所述校正單元校正所述視差的轉(zhuǎn)換因數(shù)以使得所述視差在視差之間具有較小差的像素或區(qū)域中被更多地增大。
8.根據(jù)權(quán)利要求I所述的圖像處理裝置，還包括視差柱狀圖獲取單元，用于獲取所述每個(gè)像素的視差或每個(gè)區(qū)域的視差的柱狀圖，其中，所述校正單元校正每個(gè)像素或每個(gè)區(qū)域的視差的轉(zhuǎn)換因數(shù)，以使得視差階調(diào)隨所述柱狀圖中的頻率保持恒定。
9.根據(jù)權(quán)利要求I所述的圖像處理裝置，還包括拍攝場景識別單元，用于識別所述兩視點(diǎn)圖像上的拍攝場景；以及主對象設(shè)置單元，用于根據(jù)所述拍攝場景設(shè)置主對象區(qū)域，其中，所述校正單元根據(jù)所述圖像上距離所述主對象區(qū)域的距離來校正每個(gè)區(qū)域或每個(gè)像素的視差的轉(zhuǎn)換因數(shù)。
10.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中所述拍攝場景識別單元包括用于從所述兩視點(diǎn)圖像的附屬信息中檢測拍攝所述兩視點(diǎn)圖像時(shí)設(shè)置的拍攝模式的拍攝模式檢測單元；在所檢測到的拍攝模式是人物模式的情況下，所述主對象區(qū)域設(shè)置單元將通過垂直分割所述圖像得到的多個(gè)區(qū)域的中央?yún)^(qū)域設(shè)置為所述主對象區(qū)域；以及所述校正單元根據(jù)在水平方向上距離所述主對象區(qū)域的距離來校正每個(gè)區(qū)域或每個(gè)像素的視差的轉(zhuǎn)換因數(shù)。
11.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中所述拍攝場景識別單元包括用于從所述兩視點(diǎn)圖像的附屬信息中檢測拍攝所述兩視點(diǎn)圖像時(shí)設(shè)置的拍攝模式的拍攝模式檢測單元；在所檢測到的拍攝模式是場景模式的情況下，所述主對象區(qū)域設(shè)置單元將通過水平分割所述圖像獲得的多個(gè)區(qū)域的中央?yún)^(qū)域設(shè)置為所述主對象區(qū)域；以及所述校正單元根據(jù)在垂直方向上距離所述主對象區(qū)域的距離來校正每個(gè)區(qū)域或每個(gè)像素的視差的轉(zhuǎn)換因數(shù)。
12.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中所述拍攝場景識別單元包括用于從所述兩視點(diǎn)圖像中提取短距離景象區(qū)域、中距離景象區(qū)域、以及長距離景象區(qū)域的提取單元；以及所述校正單元根據(jù)各個(gè)所提取的區(qū)域校正每個(gè)區(qū)域或每個(gè)像素的視差的轉(zhuǎn)換因數(shù)。
13.根據(jù)權(quán)利要求I至12中任一項(xiàng)所述的圖像處理裝置，其中，在將要產(chǎn)生的多視點(diǎn)圖像是四個(gè)或更多的情況下，所述設(shè)置單元將所述視差的轉(zhuǎn)換因數(shù)設(shè)置為使得中央部分中的視點(diǎn)位置之間的差大于兩端部分處的視點(diǎn)位置之間的差。
14.根據(jù)權(quán)利要求I至13中任一項(xiàng)所述的圖像處理裝置，其中所述校正單元校正每個(gè)像素、每個(gè)區(qū)域、或每個(gè)圖像的視差的轉(zhuǎn)換因數(shù)，以使得所述兩視點(diǎn)圖像中的一個(gè)圖像的視差的轉(zhuǎn)換因數(shù)變?yōu)榱悖灰约八龆嘁朁c(diǎn)圖像產(chǎn)生單元對視差的轉(zhuǎn)換因數(shù)為零的圖像進(jìn)行轉(zhuǎn)換，以產(chǎn)生所述多視點(diǎn)圖像。
15.根據(jù)權(quán)利要求I至13中任一項(xiàng)所述的圖像處理裝置，其中所述校正單元校正每個(gè)像素、每個(gè)區(qū)域、或每個(gè)圖像的視差的轉(zhuǎn)換因數(shù)，以使得將要產(chǎn)生的所述多視點(diǎn)圖像的中央視點(diǎn)位置處的圖像的視差的轉(zhuǎn)換因數(shù)變?yōu)樽钚　?br> 16.—種圖像處理方法,包括圖像輸入步驟，用于接收彼此之間具有視差的兩視點(diǎn)圖像；用于獲取所述兩視點(diǎn)圖像之間的每個(gè)像素的視差或每個(gè)區(qū)域的視差的視差獲取步驟；主對象檢測步驟，用于檢測所述兩視點(diǎn)圖像上的主對象；用于獲取所述主對象的視差的視差獲取步驟；設(shè)置步驟，用于根據(jù)將要產(chǎn)生的多視點(diǎn)圖像的各個(gè)視點(diǎn)位置設(shè)置所述視差的轉(zhuǎn)換因數(shù)；校正步驟，用于基于所述主對象的視差校正每個(gè)像素、每個(gè)區(qū)域、或每個(gè)圖像的視差的轉(zhuǎn)換因數(shù)；多視點(diǎn)圖像產(chǎn)生步驟，用于根據(jù)校正的視差的轉(zhuǎn)換因數(shù)，轉(zhuǎn)換所述兩視點(diǎn)圖像中的至少一個(gè)圖像，以產(chǎn)生所述多視點(diǎn)圖像；圖像調(diào)節(jié)步驟，用于沿水平方向移動所述兩視點(diǎn)圖像或所述多視點(diǎn)圖像，以使得所述多視點(diǎn)圖像上的主對象的視差變?yōu)檫m于立體觀看的視差；以及立體圖像產(chǎn)生步驟，用于基于所述多視點(diǎn)圖像產(chǎn)生立體顯示圖像。
全文摘要
根據(jù)本發(fā)明一方面的圖像處理裝置包括圖像輸入單元，接收其間具有視差的兩視點(diǎn)圖像；獲取兩視點(diǎn)圖像間的每個(gè)像素或每個(gè)區(qū)域的視差的視差獲取單元；主對象檢測單元，檢測兩視點(diǎn)圖像上的主對象；獲取主對象的視差的視差獲取單元；設(shè)置單元，根據(jù)要產(chǎn)生的多視點(diǎn)圖像的各視點(diǎn)位置設(shè)置視差的轉(zhuǎn)換因數(shù)；校正單元，基于主對象的視差校正每個(gè)像素、每個(gè)區(qū)域或每個(gè)圖像的視差的轉(zhuǎn)換因數(shù)；多視點(diǎn)圖像產(chǎn)生單元，根據(jù)校正的視差的轉(zhuǎn)換因數(shù)轉(zhuǎn)換兩視點(diǎn)圖像中的至少一個(gè)圖像以產(chǎn)生多視點(diǎn)圖像；圖像調(diào)節(jié)單元，沿水平方向移動兩視點(diǎn)圖像或多視點(diǎn)圖像使多視點(diǎn)圖像上主對象的視差變?yōu)檫m于立體觀看的視差；和立體顯示圖像產(chǎn)生單元，基于多視點(diǎn)圖像產(chǎn)生立體顯示圖像。
文檔編號G06T1/00GK102598051SQ20108004852
公開日2012年7月18日 申請日期2010年10月14日 優(yōu)先權(quán)日2009年10月30日
發(fā)明者三澤充史, 大久保猛, 張貽彤, 渡邊干夫, 田中康一, 矢作宏一, 石山英二, 遠(yuǎn)藤恒史 申請人:富士膠片株式會社