專利名稱：圖像處理裝置、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本公開涉及圖像處理裝置、圖像處理方法和程序。具體地，本公開涉及處理由兩個透鏡類型的立體圖像捕獲相機所捕獲的左眼圖像和右眼圖像的圖像處理裝置等。
背景技術(shù)：
作為通過拍照來獲取形成立體(3D)圖像的左眼圖像和右眼圖像的方法，存在單個透鏡類型的獲取方法，其中，由單個透鏡所感知的光被光學(xué)地分為光系統(tǒng)內(nèi)的左圖像和右圖像，并且，存在兩個透鏡類型的獲取方法，其中，在相同時間點處的圖像通過同步不同的左相機系統(tǒng)和右相機系統(tǒng)來獲得。在相機系統(tǒng)中，條紋(striation)被看作是出現(xiàn)在如下的場景中太陽照射在作 品上側(cè)的天空中，而風(fēng)景在下側(cè)延伸的場景，或者，在夜間拍攝的夜空下利用強光照射運動場的場景，等等。在兩個透鏡的類型的圖像獲取方法中，出現(xiàn)在左眼圖像和右眼圖像中的條紋形狀與導(dǎo)致立體(3D)感覺的幾何相關(guān)無關(guān)，并且，是給圖像內(nèi)容的觀看者帶來不舒服的因素，因為其被光源或條紋以及背景的對比所強調(diào)。例如，日本未審查專利申請公開No. 2003-69896公開了實施例，其中，包括在由相機所拍攝的圖像中的閃光被校正。在該實施例中，相機的閃光特點被預(yù)先測量，并且，所捕獲的圖像中的閃光被利用閃光特點來校正。另外，閃光是包括條紋和光線的概念。

發(fā)明內(nèi)容
希望防止由于出現(xiàn)在左眼圖像和右眼圖像中的光學(xué)噪聲而使感知立體圖像的觀看者感覺不舒服。根據(jù)本公開的實施例，提供了圖像處理裝置，其包括噪聲去除単元，該噪聲去除単元通過執(zhí)行噪聲去除處理來校正左眼圖像和右眼圖像的光學(xué)噪聲的幾何失配，該噪聲去除處理用于去除由兩個透鏡類型的立體圖像捕獲相機所捕獲并獲得的左眼圖像和右眼圖像上単獨生成的光學(xué)噪聲。左眼圖像和右眼圖像的幾何失配由噪聲去除単元通過執(zhí)行噪聲去除處理來被校正，該噪聲去除處理用于去除由兩個透鏡類型的立體圖像捕獲相機所捕獲并獲得的左眼圖像和右眼圖像上単獨生成的光學(xué)噪聲。此處，光學(xué)噪聲包括由于經(jīng)由透鏡卷筒從成像透鏡所生成的光反射到成像設(shè)備所出現(xiàn)的閃光，并且，該閃光包括條紋或光線。如此，根據(jù)本公開的實施例，左眼圖像和右眼圖像的幾何失配被校正。出于此原因，可以防止感知立體圖像的觀看者感覺由于出現(xiàn)在左眼圖像和右眼圖像中的光學(xué)噪聲所導(dǎo)致的不舒服。例如，噪聲去除単元可從所述左眼圖像和所述右眼圖像中的每ー個檢測包括光源、條紋和光線的條紋區(qū)域以及鄰近所述條紋區(qū)域的條紋背景區(qū)域，并且，將ー個圖像的條紋區(qū)域和條紋背景區(qū)域用另ー圖像的條紋區(qū)域和條紋背景區(qū)域來替換。因此，左眼圖像和右眼圖像的幾何失配被校正。
在該情形中，例如，噪聲去除単元可包括區(qū)域分割部件，該區(qū)域分割部件將所述左眼圖像和所述右眼圖像中的每ー個分割為多個區(qū)域；分割區(qū)域相關(guān)部件，該分割區(qū)域相關(guān)部件將包括彼此相同的對象的區(qū)域、或由所述區(qū)域分割部件所分割的左眼圖像和右眼圖像的所分割區(qū)域中由光學(xué)上彼此相同的原因所生成的圖像的區(qū)域相關(guān)；條紋搜索部件，該條紋搜索部件從由所述區(qū)域分割部件所分割的左眼圖像和右眼圖像的所分割區(qū)域檢測包括光源、條紋和光線的條紋區(qū)域以及 鄰近所述條紋區(qū)域的條紋背景區(qū)域；以及圖像替換部件，該圖像替換部件基于來自所述分割區(qū)域相關(guān)部件的相關(guān)結(jié)果，將左眼圖像和右眼圖像中的ー個的條紋區(qū)域和條紋背景區(qū)域用另ー圖像的條紋區(qū)域和條紋背景區(qū)域來替換。另外，例如，噪聲去除単元可從左眼圖像和右眼圖像中的每ー個檢測包括光源、條紋和光線的條紋區(qū)域和鄰近所述條紋區(qū)域的條紋背景區(qū)域，從左眼圖像和右眼圖像中去除包括在所述條紋區(qū)域中的所述光源、所述條紋和所述光線，并且，向所述左眼圖像和所述右眼圖像給出具有適合于觀看立體圖像的幾何相關(guān)的光源、條紋和光線效果。因此，左眼圖像和右眼圖像的幾何失配被校正。在該情形中，例如，噪聲去除単元可包括區(qū)域分割部件，該區(qū)域分割部件將所述左眼圖像和所述右眼圖像中的每ー個分割為多個區(qū)域；條紋搜索部件，該條紋捜索部件從由所述區(qū)域分割部件所分割的左眼圖像和右眼圖像的所分割區(qū)域檢測包括光源、條紋和光線的條紋區(qū)域以及鄰近所述條紋區(qū)域的條紋背景區(qū)域；以及圖像替換部件，該圖像替換部件從左眼圖像和右眼圖像中去除包括在所述條紋區(qū)域中的所述光源、所述條紋和所述光線，并且，向左眼圖像和右眼圖像給出具有適合于觀看立體圖像的幾何相關(guān)的光源、條紋和光線效果。。另外，例如，圖像處理裝置還可包括噪聲去除處理判定単元，該噪聲去除處理判定単元所述噪聲去除単元是否執(zhí)行所述噪聲去除處理。因此，可以防止噪聲去除處理不必要地執(zhí)行在左眼圖像和右眼圖像上。在該情形中，例如，可以減少CPU(中央處理單元)的計算量，并且從而減少其負載。在該情形中，例如，圖像處理裝置還可包括輸入終端単元，從相機系統(tǒng)傳輸?shù)淖笱蹐D像和右眼圖像被輸入到該輸入終端單元，并且，從所述相機系統(tǒng)傳輸?shù)呐臄z設(shè)定信息被輸入到該輸入終端單元，并且，噪聲去除處理判定単元基于包括在從所述相機系統(tǒng)所傳輸?shù)乃雠臄z設(shè)定信息中的光圈值來判定是否執(zhí)行所述噪聲去除處理。另外，例如，光學(xué)噪聲可以是條紋或光線，并且，噪聲去除處理判定単元基于出現(xiàn)在左眼圖像和右眼圖像中的條紋或光線的半徑來判定是否執(zhí)行所述噪聲去除處理。另外，在該情形中，光學(xué)噪聲可以是條紋，并且，噪聲去除處理判定単元基于出現(xiàn)在左眼圖像和右眼圖像中的條紋數(shù)來判定是否執(zhí)行所述噪聲去除處理。另外，在該情形中，光學(xué)噪聲可以是條紋，并且，噪聲去除處理判定単元基于用于獲得左眼圖像和右眼圖像的相機的相機透鏡的光圈片的數(shù)目的信息來判定是否執(zhí)行所述噪聲去除處理。另外，在該情形中，光學(xué)噪聲可以是條紋，并且，噪聲去除處理判定単元基于出現(xiàn)在左眼圖像和右眼圖像中的條紋或光線的持續(xù)時段來判定是否執(zhí)行所述噪聲去除處理。根據(jù)本公開的實施例，可以校正左眼圖像和右眼圖像的幾何失配，并且從而可以防止感受立體圖像的觀看者感覺不舒服。


圖I是示出了根據(jù)本公開的第一實施例的圖像處理裝置的配置示例的框圖。圖2是示出了中央處理單元中的噪聲去除處理的處理流程的示例的流程圖。圖3是示出了包括對足球場和標記結(jié)果的全景示圖的原始圖像(左眼圖像和右眼圖像)的示圖。圖4是示出了針對每個所分割的區(qū)域的區(qū)域分割結(jié)果和標記結(jié)果的示圖。圖5是示出了對左眼圖像和右眼圖像的各自區(qū)域的分割區(qū)域校正的示例的示圖。圖6是示出了用于檢測光源位置的算法示例的示圖。
圖7是示出了中央處理單元中的噪聲去除處理的處理流程的示例的流程圖。圖8是示出了根據(jù)本公開的第二實施例的圖像處理裝置的配置示例的框圖。圖9是示出了計算條紋數(shù)的方法的示例的示圖。圖IOA和圖IOB是示出了通過比較在FlO的光圈處的圖像示例和在F2的光圈處的圖像示例的示圖。
具體實施例方式以下，將描述本公開的實施例。將以以下的次序來做出描述。I.第一實施例2.第二實施例3.修改示例I.第一實施例圖像處理裝置的配置示例圖I示出了根據(jù)第一實施例的圖像處理裝置100的配置示例。圖像處理裝置100處理由兩個透鏡的類型的立體圖像捕獲相機所捕獲并獲得的左眼圖像和右眼圖像。也就是說，圖像處理裝置100執(zhí)行用于去除獨立地生成在左眼圖像和右眼圖像上的光學(xué)噪聲的噪聲去除處理，從而校正光學(xué)噪聲的幾何失配。此處，光學(xué)噪聲包括由于從成像透鏡所生成的光經(jīng)由透鏡卷筒(barrel)反射到成像設(shè)備所出現(xiàn)的閃光，并且，該閃光包括條紋或光線。條紋與光線相同，但是，一般而言，條紋指示輪廓清晰的狀態(tài)，而光線指示輪廓模糊的狀態(tài)。在以下的描述中，為了簡化描述，假定光學(xué)噪聲為條紋。圖像處理裝置100包括中央處理單元(CPU) 101、主存儲設(shè)備102、用戶指令輸入設(shè)備103、用戶信息輸出設(shè)備104、圖像數(shù)據(jù)累積設(shè)備105，以及程序累積設(shè)備106。各個設(shè)備被連接至內(nèi)部總線107。圖像數(shù)據(jù)累積設(shè)備105累積由兩個透鏡類型的立體圖像捕獲相機所捕獲并獲得的左眼圖像和右眼圖像的數(shù)據(jù)。另外，圖像數(shù)據(jù)累積設(shè)備105還在噪聲去除處理被執(zhí)行之后累積左眼圖像和右眼圖像的數(shù)據(jù)。程序累積設(shè)備106累積中央處理單元101的處理程序。中央處理單元101控制圖像處理裝置100的各個設(shè)備，并且，執(zhí)行用于去除在圖像數(shù)據(jù)累積設(shè)備105中所累積的左眼圖像和右眼圖像上的上述光學(xué)噪聲的噪聲去除處理。主存儲設(shè)備102例如包括ROM(只讀存儲器)、RAM(隨機訪問存儲器)等。例如，中央處理單元101從程序累積設(shè)備106讀取處理程序，并且，例如在主存儲設(shè)備102的RAM上開發(fā)所讀取的程序，從而執(zhí)行上述控制處理和噪聲去除處理。用戶指令輸入設(shè)備103是用于輸入用戶指令的鍵盤、鼠標等。用戶信息輸出設(shè)備104是顯示器或處理用戶操作信息、處理進程信息等的設(shè)備，并且，為了用戶方便，其被設(shè)置。噪聲去除處理的細節(jié)將描述由中央處理單元101所執(zhí)行的噪聲去除處理。包括(I)區(qū)域分割算法、(2)分割區(qū)域相關(guān)算法、(3)條紋搜索算法和(4)圖像替換算法的程序被以可執(zhí)行的格式預(yù)留在程序累積設(shè)備106中。該程序被讀取到主存儲設(shè)備102，并且，中央處理單元101將每個算法應(yīng)用到從圖像數(shù)據(jù)累積設(shè)備105所讀取的圖像數(shù)據(jù)。 區(qū)域分割算法通過利用每個像素的顔色、亮度和位置坐標的分類將圖像數(shù)據(jù)分割成多個區(qū)域。分割區(qū)域相關(guān)算法校正包括彼此相同的對象的區(qū)域、或左眼圖像和右眼圖像的所分割區(qū)域中由光學(xué)上相同的原因所生成的圖像的區(qū)域。條紋搜索算法檢測條紋區(qū)域。換言之，條紋搜索算法例如指定在圖像的X軸方向和Y軸方向上來自亮度直方圖的光源的中央位置，在距離中心相同間隔的圓半徑上采樣多個點，并且，通過比較所采樣的亮度分布和之前的區(qū)域分割結(jié)果來判定條紋區(qū)域。另外，條紋搜索算法檢測條紋背景區(qū)域。換言之，條紋搜索算法檢測如下區(qū)域作為條紋背景區(qū)域該區(qū)域由這種均一的顔色點所形成，其中構(gòu)成像素的色度信息或亮度信息被包括在所希望的方差內(nèi)。例如，所分割區(qū)域中所有點的亮度接近0的部分被指定為條紋背景區(qū)域，其用“LBACK”和“ RBACK”表示。由其亮度接近記錄比特寬度的飽和值的點所形成的部分被指定為條紋區(qū)域，其用“Lray”和“Rray”表示。圖像替換算法利用區(qū)域分割結(jié)果來將ー個圖像的條紋區(qū)域和條紋背景區(qū)域用另ー圖像的條紋區(qū)域和條紋背景區(qū)域來替換?？商鎿Q地，圖像替換算法從左眼圖像和右眼圖像去除光源和包括在條紋區(qū)域中的條紋，并且，將具有適于查看立體圖像的幾何相關(guān)的光源和條紋效果給予兩個圖像。圖2中的流程圖示出了由中央處理單元101所執(zhí)行的噪聲去除處理的處理流程示例。該示例對應(yīng)于如下情形中的處理流程圖像替換算法利用區(qū)域分割結(jié)果將一個圖像的條紋區(qū)域和條紋背景區(qū)域用另ー圖像的條紋區(qū)域和條紋背景區(qū)域來替換。中央處理單元101在步驟STl中開始處理，并且然后，流程進行到步驟ST2中的處理。在步驟ST2中，中央處理單元101將將要在主存儲設(shè)備102中處理的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)存儲在來自圖像數(shù)據(jù)累積設(shè)備105的主存儲設(shè)備102中。接下來，在步驟ST3中，中央處理單元101將左眼圖像和右眼圖像中的每ー個分割成多個區(qū)域。另外，在步驟ST4中，中央處理單元101校正包括彼此相同的對象的區(qū)域，或校正左眼圖像和右眼圖像的所分割區(qū)域中由光學(xué)上相同的原因所生成的圖像。接下來，在步驟ST5中，中央處理單元101從左眼圖像和右眼圖像的各個所分割的區(qū)域中檢測包括光源和條紋的條紋區(qū)域以及鄰近條紋區(qū)域的條紋背景區(qū)域。另外，在步驟ST6中，中央處理單元101基于所分割區(qū)域的相關(guān)結(jié)果將左眼圖像和右眼圖像中的ー個的條紋區(qū)域和條紋背景區(qū)域用另ー圖像的對應(yīng)區(qū)域(條紋區(qū)域和條紋背景區(qū)域)來替換。在該情形中，中央處理單元101不是簡單地執(zhí)行替換，而是可在執(zhí)行給一個圖像的條紋區(qū)域和條紋背景區(qū)域提供視差的修改之后執(zhí)行替換。接下來，在步驟SI7中，中央處理單元101在圖像數(shù)據(jù)累積設(shè)備105中保存替換之后的圖像數(shù)據(jù)，即，另ー圖像的圖像數(shù)據(jù)。以后，中央處理單元101在步驟ST8中完成處理。將更加詳細地描述圖2中的流程圖的每個步驟中的處理。在步驟ST2中，中央處理單元101從圖像數(shù)據(jù)累積設(shè)備105將具有相同的時間點信息的左眼圖像L和右眼圖像R讀取到主存儲設(shè)備102。另外，在步驟ST3中，中央處理單元101將區(qū)域分割算法應(yīng)用到每個圖像，并且，執(zhí)行區(qū)域分割處理。在該情形中，中央處理單元101通過應(yīng)用現(xiàn)有的方法(例如，在L*a*b的顏色空間中的分簇)來 執(zhí)行區(qū)域分割處理。另外，在步驟ST4中，中央處理單元101將分割區(qū)域相關(guān)算法應(yīng)用到左圖像和右圖像，并且，執(zhí)行所分割區(qū)域的相關(guān)。此處，所分割的子區(qū)域由左眼圖像AL、BL、CL、...和右眼圖像AR、BR、CR、.來表示。例如,如在圖3中所示,考慮包括夜間足球場全景示圖的作品示例。在該作品示例的左眼圖像L和右眼圖像R中，天空部分由AL和AR表示，光源和條紋部分由BL和BR表示，位于中心右側(cè)的看臺和人物部分由CL和CR表示，而足球場區(qū)域由DL和DR表示。圖4示出了區(qū)域分割結(jié)果和各個所分割區(qū)域的標記名稱。中央處理單元101基于L*a*b空間中的分簇結(jié)果中的每個簇(cluster)的中心坐標、簇中的像素數(shù)和形成簇的像素的坐標來使每個區(qū)域的左側(cè)和右側(cè)相關(guān)。圖5示出了每個區(qū)域的左相關(guān)結(jié)果和右相關(guān)結(jié)果。另外，在步驟ST5中，中央處理單元101應(yīng)用條紋搜索算法(光源和條紋檢測算法)，并且，利用區(qū)域分割結(jié)果來檢測條紋區(qū)域和條紋背景區(qū)域。將描述條紋搜索算法的示例。對光源的檢測假定如下的圖像區(qū)域是光源區(qū)域該圖像區(qū)域形成以ー區(qū)域作為中心的簇，該區(qū)域被預(yù)測為包括L*a*b空間中的光源并且其亮度為高(例如，白色)。另外，假定如下的圖像區(qū)域是諸如天空之類的背景區(qū)域該圖像區(qū)域形成以在L*a*b空間中的幾乎均一的背景顔色(例如，黒色至深藍色)作為中心的簇。在圖3、圖4和圖5中所示的示例中，背景和天空基本上對應(yīng)于區(qū)域I (AL和AR)，而光源基本上對應(yīng)于區(qū)域2 (BL和BR)。如在圖6中所示，在左眼圖像L中，組合了 AL和BL的圖像區(qū)域被用作整個掃描范圍，并且，在X方向和Y方向中的每ー個方向上的一行上的像素的總亮度信息被獲取。在X方向和Y方向二者上都具有峰值的像素位置Px (Xp，Yp)被用作光源的坐標位置。雖然未示出，但在右眼圖像R中，組合了 AR和BR的圖像區(qū)域被用作整個掃描范圍，并且，在X方向和Y方向中的每ー個方向上的一行上的像素的總亮度信息被獲取。在X方向和Y方向二者上都具有峰值的像素位置Px(Xp，Yp)被用作光源的坐標位置。對條紋區(qū)域和條紋背景區(qū)域的檢測另外，如下的圖像區(qū)域被重新判定為條紋區(qū)域該圖像區(qū)域的亮度根據(jù)到光源的坐標的距離而單調(diào)遞減，并且，像素的亮度等于或大于所希望的閾值Vth。重新判定的區(qū)域(條紋區(qū)域和條紋背景區(qū)域)用AL’、BL’、AR’和BR’表示。另外，此處，如果重新判定的結(jié)果和初始區(qū)域分割結(jié)果可被看作是彼此相同的，例如AL和AL’、BL和BL’、AR’和AR、BR’和BR彼此相同，或重疊的像素數(shù)等于或大于99 %，則使用原始參考標號。另外，在步驟ST6中，中央處理單元101應(yīng)用圖像替換算法，并且，將由右眼圖像的背景區(qū)域AR和條紋區(qū)域BR所形成的區(qū)域用由左眼圖像的背景區(qū)域AL和條紋區(qū)域BL所形成的圖像來替換。另外，中央處理單元101在圖像數(shù)據(jù)累積設(shè)備105中保存替換之后的右眼圖像的圖像數(shù)據(jù)。另外，在該情形中，當(dāng)由右眼圖像的背景區(qū)域AR和條紋區(qū)域BR所形成的區(qū)域用由左眼圖像的背景區(qū)域AL和條紋區(qū)域BL所形成的圖像來替換時，該替換不是簡單地執(zhí)行的，而是可在用于給出視差的修改之后執(zhí)行該替換。在圖像處理裝置100之后經(jīng)由單獨的終端或通信網(wǎng)絡(luò)向另一系統(tǒng)傳送用于立體顯示的兩個視點的圖像的情形中，中央處理單元101提供替換之后的原始的左眼圖像和右眼圖像。圖7中的流程圖示出了由中央處理單元101所執(zhí)行的噪聲去除處理的處理流程的示例。該示例對應(yīng)于在如下情形中的處理流程從左眼圖像和右眼圖像去除包括在條紋區(qū)域中的光源和光線，并且，向兩個圖像給出具有適合于查看立體圖像的幾何相關(guān)的光源和光線效果。中央處理單元101開始步驟STll中的處理，并且然后，流程進行到步驟ST12中的處理。在步驟ST12中，中央處理單元101存儲來自圖像數(shù)據(jù)累積設(shè)備105的將要在主存儲 設(shè)備102中處理的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。接下來，在步驟ST13中，中央處理單元101將左眼圖像和右眼圖像中的每ー個分成多個區(qū)域。另外，在步驟ST14中，中央處理單元101使包括彼此相同的對象的區(qū)域相關(guān)，或使左眼圖像和右眼圖像的所分割區(qū)域中由光學(xué)上相同的原因所生成的圖像相關(guān)。接下來，在步驟ST15中，中央處理單元101從左眼圖像和右眼圖像的各個所分割區(qū)域中檢測包括光源和條紋的條紋區(qū)域以及鄰近條紋區(qū)域的條紋背景區(qū)域。接下來，在步驟ST16中，中央處理單元101基于光源信息和虛擬光源系統(tǒng)來創(chuàng)建條紋圖像F。另外，在步驟ST17中，中央處理單元101將條紋圖像F與右眼圖像合成，并且，在步驟ST18中，將條紋圖像F與左眼圖像合成。另外，在步驟ST19中，中央處理單元101將合成的左眼圖像和右眼圖像的圖像數(shù)據(jù)保存在圖像數(shù)據(jù)累積設(shè)備105中。將更加詳細地描述圖7中的流程圖的每個步驟中的處理。另外，圖7的流程圖的步驟ST12至ST15中的處理與圖2的流程圖的步驟ST2至ST5中的處理相同，并且因此，將省略對其的詳細描述。也就是說，此處，將描述步驟ST16中的處理。在步驟ST16至ST18中，中央處理單元101應(yīng)用圖像替換算法。也就是說，中央處理單元101將包括在條紋區(qū)域中的光源和條紋從左眼圖像L和右眼圖像R中去除，并且，向兩個圖像給出具有適合于觀看立體圖像的幾何相關(guān)的光源和條紋效果。換言之，中央處理單元101利用條紋背景區(qū)域Ax的顔色信息和紋理信息來在左眼圖像L和右眼圖像R 二者中校正條紋區(qū)域，就好像不存在光源和條紋一祥。另外，中央處理単元101設(shè)定具有所希望的光強度特點的虛擬光源，將其設(shè)置在如下光源位置處該光源位置具有三維位置信息，并且，被投影到步驟ST15中所檢測到的原始圖像上的光源位置Px上。此時，光源的福射方向性(radiation directivity)可被添加到虛擬光源的特點中。中央處理單元101將光源位置、光強、輻射方向性等一起用作光源信息。另外，中央處理単元101創(chuàng)建虛擬條紋圖像F，該虛擬條紋圖像F由從具有光源信息特點的虛擬光源經(jīng)過虛擬光學(xué)系統(tǒng)的光束所生成，并且，中央處理單元101將虛擬條紋圖像F與已校正的左眼圖像和右眼圖像合成。具體地,通過呈現(xiàn)光衍射(light diffraction)現(xiàn)象來獲得條紋圖像F,該光衍射現(xiàn)象是由來自上述虛擬光源經(jīng)過虛擬光學(xué)系統(tǒng)的入射光生成的，該虛擬光學(xué)系統(tǒng)被設(shè)置在與捕獲原始圖像的右圖像光學(xué)系統(tǒng)相對相同的位置處。中央處理單元101以所希望的混合比率將條紋圖像F疊加到已校正的右眼圖像上。中央處理單元101在執(zhí)行視差校正之后將條紋圖像F與左眼圖像合成。另外，中央處理單元101將左眼圖像和右眼圖像的圖像數(shù)據(jù)保存在圖像數(shù)據(jù)累積設(shè)備105中，利用該左眼圖像和右眼圖像，條紋圖像F已經(jīng)被合成。在立體顯示器的兩視點的圖像之后經(jīng)由單獨的終端或通信網(wǎng)絡(luò)被傳送到另一系統(tǒng)的情形中，中央處理單元101提供左眼圖像和右眼圖像，利用該左眼圖像和右眼圖像，條紋圖像F已經(jīng)被合成。另外，中央處理單元101可創(chuàng)建并利用過濾圖像(條紋圖像)，該過濾圖像通過CG由諸如緩沖減少方法之類的現(xiàn)存方法單獨創(chuàng)建，而非通過上述呈現(xiàn)所創(chuàng)建的條紋圖像F。在該情形中，例如，中央處理單元101以所希望的混合比率將過濾圖像疊加到已校正的右眼圖像上，執(zhí)行處理以引起條紋和光線效果，并且，以相同的方式，在執(zhí)行視差校正之后，將過 濾圖像F與左眼圖像合成。如上所述，在圖I中所示的圖像處理裝置100中，用于去除単獨生成的光學(xué)噪聲的噪聲去除處理被執(zhí)行在由兩個透鏡的類型的立體圖像捕獲相機所捕獲并獲得的左眼圖像和右眼圖像上。另外，左眼圖像和右眼圖像的幾何失配被校正。例如，從左眼圖像和右眼圖像中的每ー個中檢測到包括光源和條紋的條紋區(qū)域以及鄰近條紋區(qū)域的條紋背景區(qū)域，并且，一個圖像的條紋區(qū)域和條紋背景區(qū)域用另ー圖像的條紋區(qū)域和條紋背景區(qū)域來替換。另外，例如，從左眼圖像和右眼圖像中的每ー個中檢測到包括光源和條紋的條紋區(qū)域以及鄰近條紋區(qū)域的條紋背景區(qū)域，并且，包括在條紋區(qū)域中的光源和條紋被從左眼圖像和右眼圖像中去除。另外，可以向左眼圖像和右眼圖像給出具有適合于觀看立體圖像的幾何相關(guān)的光源和條紋效果。出于該原因，在圖I中所示的圖像處理裝置100中，可以順利地防止感知立體圖像的觀看者由于光學(xué)噪聲(例如，出現(xiàn)在左眼圖像和右眼圖像中的條紋)而感覺不舒服。2.第二實施例圖像處理裝置的配置示例圖8示出了根據(jù)第二實施例的圖像處理裝置100A的配置示例。以與圖I中所示的圖像處理裝置100相同的方式，圖像處理裝置100A也在由兩個透鏡的類型的立體圖像捕獲相機所捕獲并獲得的左眼圖像和右眼圖像上執(zhí)行處理。在圖8中，對應(yīng)于圖I中的部分被給予相同的參考標號，并且，省略了對其的詳細描述。圖像處理裝置100A包括中央處理單元101、主存儲設(shè)備102、用戶指令輸入設(shè)備103、用戶信息輸出設(shè)備104、程序累積設(shè)備106、圖像數(shù)據(jù)輸入終端IllL和111R，以及圖像數(shù)據(jù)輸出終端112。各個部分被連接至內(nèi)部總線107。圖像數(shù)據(jù)輸入終端11IL是用于輸入由相機系統(tǒng)200L所捕獲的左眼圖像的圖像數(shù)據(jù)和拍攝設(shè)定信息(諸如，相機系統(tǒng)200L中的光圈值)的終端。圖像數(shù)據(jù)輸入終端IllR是用于輸入由相機系統(tǒng)200R所捕獲的右眼圖像的圖像數(shù)據(jù)和拍攝設(shè)定信息(諸如，相機系統(tǒng)200R中的光圈值)的終端。圖像數(shù)據(jù)輸出終端112是用于將所處理的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)輸出到圖像數(shù)據(jù)輸出監(jiān)視器300的終端。雖然未詳細描述，但是，以與圖I中所示的上述圖像處理裝置100相同的方式，中央處理単元101從程序累積設(shè)備106讀取處理程序，并且，開發(fā)例如主存儲設(shè)備102的RAM上的程序，從而執(zhí)行噪聲去除處理。也就是說，中央處理單元101執(zhí)行用于去除從相機系統(tǒng)200L和200R輸入的左眼圖像和右眼圖像的圖像數(shù)據(jù)上的光學(xué)噪聲的處理，并且，從圖像數(shù)據(jù)輸出終端112將已處理的圖像數(shù)據(jù)輸出到監(jiān)視器300。另外，中央處理單元101利用從相機系統(tǒng)200L和200R輸入的拍攝設(shè)定信息和圖像數(shù)據(jù)一起來執(zhí)行處理。中央處理單元101例如利用光圈值來判定是否執(zhí)行噪聲去除處理，并且因此，防止噪聲去除處理被浪費地執(zhí)行。稍后將再次描述關(guān)于是否執(zhí)行噪聲去除處理的判定。圖8中所示的圖像處理裝置100A的其余部件與圖I中所示的圖像處理裝置100的那些部件相同。因此，圖8中所示的圖像處理裝置100A也可獲得與圖I中所示的圖像處理裝置100相同的效果。在圖8中所示的圖像處理裝置100A中，左眼圖像數(shù)據(jù)被從相機系統(tǒng)200L輸入，而右眼圖像數(shù)據(jù)被從相機系統(tǒng)200R中輸入。但是，左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)不必從兩個 相機系統(tǒng)輸入。例如，兩個相機系統(tǒng)200L和200R部分可以是包括兩個或更多個光學(xué)系統(tǒng)的ー個相機系統(tǒng)，并且因此，可輸出從分離的視場(viewing field)所捕獲的多個圖像。3.修改示例另外，在上述實施例中，已經(jīng)存在對示例的描述，其中，噪聲去除處理被執(zhí)行，以便校正累積在圖像數(shù)據(jù)累積設(shè)備105中或從相機系統(tǒng)輸入的左眼圖像和右眼圖像的光學(xué)噪聲的幾何失配。中央處理單元101可判定是否執(zhí)行噪聲去除處理，并且然后，可防止噪聲去除處理被不必要地執(zhí)行。例如，通過這些，可以減少中央處理單元(CPU)IOl的計算量，并且因此，減少其負載。此后，將描述不執(zhí)行噪聲去除處理的條件。(I)在條紋的最大半徑小于所希望的半徑的情形中如果條紋的半徑小于所希望的閾值半徑，例如，如果圖像的X方向上的像素數(shù)小于1/30，則中央處理單元101不在關(guān)于光源所生成的條紋上執(zhí)行噪聲去除處理。(2)在從光源所生成的條紋數(shù)大于所希望的數(shù)目并且因此條紋束之間的間隔小的情形中如果從ー個光源所生成的條紋數(shù)大于單獨設(shè)定的閾值數(shù)，則中央處理單元101不在任意條紋或部分條紋上執(zhí)行噪聲去除處理。在該情形中，這是因為超過了可視的判定極限，即，其數(shù)目大并且間隔小，并且因此，鄰近某條紋的條紋無法區(qū)分。此處，將參照圖9做出對計算條紋數(shù)的方法的示例的描述。當(dāng)條紋區(qū)域BR和光源位置Px被固定時，中央處理單元101用距離r來繪制點的亮度，該距離r在角度 (范圍0< <2ji)上以光源位置(Xp，Yp)作為中心點，同時變化r。另外，中央處理單元101例如從所繪制的曲線Lrk中任意選擇兩個Lrl和Lr2,并且,計算其相關(guān)度“L( )=Lrl ( ) XLr2( ) ”。接下來，中央處理單元101姆當(dāng)通過計算L( )的關(guān)于O的第一導(dǎo)數(shù)而獲得最大值時將條紋數(shù)増加I，并且，將0< <2^1中的最大值數(shù)(此處為六)作為條紋數(shù)。(3)相機透鏡的偶數(shù)和奇數(shù)以及光圈片(diaphragm blade)的數(shù)目相機透鏡的光圈片的數(shù)目W與條紋數(shù)具有某些規(guī)則，并且，如果W是偶數(shù)，則生成W個條紋，并且，如果W是奇數(shù)，則生成2W個條紋。換言之，對從上述光源所生成的條紋數(shù)與所希望的數(shù)目的比較可被透鏡光圈是具有偶數(shù)片還是奇數(shù)片以及光圈片的數(shù)目所替代。因此，透鏡光圈片的數(shù)目被從相機設(shè)定信息獲得，并且，如果例如該值為七或更大的奇數(shù)，則使得不執(zhí)行噪聲去除處理。(4)在條紋的持續(xù)時間短于所希望的閾值的情形中如果由于相機的閃光等而從任意光源生成條紋時的時間(從運動圖像中的相同光源生成條紋的連續(xù)幀的數(shù)目)短于所希望的閾值，則使得不執(zhí)行噪聲去除處理。在該情形中，這是因為條紋并不長時間地在觀看體驗中吸引注意力。(5)在相機的光圈值小于設(shè)定值的情形中如果相機透鏡的光圈值變大，一般而言，則條紋束的長度增加。例如，圖IOA示出了在FlO的光圈處的圖像示例，而圖IOB示出了在F2的光圈處的圖像示例。因此，如果光圈值小于所設(shè)定的閾值(例如，F(xiàn)8)，則條紋束的長度被看作是足夠短以可以被允許，并且 因此，不便得噪聲去除處理被執(zhí)行。雖然在上述描述中已經(jīng)描述了不執(zhí)行處理的條件，但是，用于執(zhí)行處理的條件可通過反轉(zhuǎn)與閾值的幅度關(guān)系而被設(shè)定。另外，可通過組合多個條件來設(shè)定用于執(zhí)行處理的條件或不執(zhí)行處理的條件。本公開保護與2011年3月22日遞交日本專利局的日本優(yōu)先權(quán)專利申請JP2011-062020公開的內(nèi)容相關(guān)的主題，其全部內(nèi)容通過引用被結(jié)合于此。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計要求和其他因素，可以發(fā)生各種修改、組合、子組合和變更，只要它們在所附權(quán)利要求或其等同物的范圍內(nèi)即可。
權(quán)利要求
1.ー種圖像處理裝置，包括 噪聲去除単元，該噪聲去除単元通過執(zhí)行噪聲去除處理來校正左眼圖像和右眼圖像的光學(xué)噪聲的幾何失配，該噪聲去除處理用于去除由兩個透鏡類型的立體圖像捕獲相機所捕獲并獲得的所述左眼圖像和所述右眼圖像上単獨生成的光學(xué)噪聲。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中，所述噪聲去除単元校正出現(xiàn)在所述左眼圖像中的條紋和光線以及出現(xiàn)在所述 右眼圖像中的條紋和光線的幾何失配。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述噪聲去除単元從所述左眼圖像和所述右眼圖像中的每ー個檢測包括光源、條紋和光線的條紋區(qū)域以及臨近所述條紋區(qū)域的條紋背景區(qū)域，并且，將ー個圖像的條紋區(qū)域和條紋背景區(qū)域用另ー圖像的條紋區(qū)域和條紋背景區(qū)域來替換。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，所述噪聲去除単元包括 區(qū)域分割部件，該區(qū)域分割部件將所述左眼圖像和所述右眼圖像中的每ー個分割為多個區(qū)域； 分割區(qū)域相關(guān)部件，該分割區(qū)域相關(guān)部件將由所述區(qū)域分割部件所分割的所述左眼圖像和所述右眼圖像的所分割的區(qū)域中的包括彼此相同的對象的區(qū)域、或由光學(xué)上彼此相同的原因所生成的圖像的區(qū)域相關(guān)； 條紋搜索部件，該條紋捜索部件從由所述區(qū)域分割部件所分割的所述左眼圖像和所述右眼圖像的所分割的區(qū)域檢測包括光源、條紋和光線的條紋區(qū)域以及臨近所述條紋區(qū)域的條紋背景區(qū)域；以及 圖像替換部件，該圖像替換部件基于來自所述分割區(qū)域相關(guān)部件的相關(guān)結(jié)果，將左眼圖像和右眼圖像中的ー個的條紋區(qū)域和條紋背景區(qū)域用另ー圖像的條紋區(qū)域和條紋背景區(qū)域來替換。
5.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述噪聲去除単元從所述左眼圖像和所述右眼圖像中的每ー個檢測包括光源、條紋和光線的條紋區(qū)域和鄰近所述條紋區(qū)域的條紋背景區(qū)域，從所述左眼圖像和所述右眼圖像中去除包括在所述條紋區(qū)域中的所述光源、所述條紋和所述光線，并且，向所述左眼圖像和所述右眼圖像給出具有適合于觀看立體圖像的幾何相關(guān)的光源、條紋和光線效果。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中，所述噪聲去除単元包括 區(qū)域分割部件，該區(qū)域分割部件將所述左眼圖像和所述右眼圖像中的每ー個分割為多個區(qū)域； 條紋搜索部件，該條紋捜索部件從由所述區(qū)域分割部件所分割的所述左眼圖像和所述右眼圖像的所分割的區(qū)域檢測包括光源、條紋和光線的條紋區(qū)域以及鄰近所述條紋區(qū)域的條紋背景區(qū)域；以及 圖像替換部件，該圖像替換部件從所述左眼圖像和所述右眼圖像中去除包括在所述條紋區(qū)域中的所述光源、所述條紋和所述光線，并且，向所述左眼圖像和所述右眼圖像給出具有適合于觀看立體圖像的幾何相關(guān)的光源、條紋和光線效果。
7.根據(jù)權(quán)利要求I所述的圖像處理裝置，還包括噪聲去除處理判定単元，該噪聲去除處理判定単元判定所述噪聲去除単元是否執(zhí)行所述噪聲去除處理。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置，還包括輸入終端単元，從相機系統(tǒng)傳輸?shù)乃鲎笱蹐D像和所述右眼圖像被輸入到該輸入終端單元，并且，從所述相機系統(tǒng)傳輸?shù)呐臄z設(shè)定信息被輸入到該輸入終端單元， 其中，所述噪聲去除處理判定単元基于包括在從所述相機系統(tǒng)傳輸?shù)乃雠臄z設(shè)定信息中的光圈值來判定是否執(zhí)行所述噪聲去除處理。
9.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中，所述光學(xué)噪聲是條紋或光線，并且 其中，所述噪聲去除處理判定単元基于出現(xiàn)在所述左眼圖像和所述右眼圖像中的條紋或光線的半徑來判定是否執(zhí)行所述噪聲去除處理。
10.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中，所述光學(xué)噪聲是條紋，并且 其中，所述噪聲去除處理判定単元基于出現(xiàn)在所述左眼圖像和所述右眼圖像中的條紋數(shù)來判定是否執(zhí)行所述噪聲去除處理。
11.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中，所述光學(xué)噪聲是條紋，并且 其中，所述噪聲去除處理判定単元基于用于獲得所述左眼圖像和所述右眼圖像的相機的相機透鏡的光圈片的數(shù)目的信息來判定是否執(zhí)行所述噪聲去除處理。
12.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中，所述光學(xué)噪聲是條紋，并且 其中，所述噪聲去除處理判定単元基于出現(xiàn)在所述左眼圖像和所述右眼圖像中的條紋或光線的持續(xù)時段來判定是否執(zhí)行所述噪聲去除處理。
13.ー種圖像處理方法，包括 通過執(zhí)行噪聲去除處理來校正左眼圖像和右眼圖像的光學(xué)噪聲的幾何失配，該噪聲去除處理用于去除由兩個透鏡類型的立體圖像捕獲相機所捕獲并獲得的所述左眼圖像和所述右眼圖像上単獨生成的光學(xué)噪聲。
14.一種使能計算機用作如下部件的程序，該計算機處理由兩個透鏡類型的立體圖像捕獲相機所捕獲并獲得的左眼圖像和右眼圖像 區(qū)域分割部件，該區(qū)域分割部件將所述左眼圖像和所述右眼圖像中的每ー個分割為多個區(qū)域； 分割區(qū)域相關(guān)部件，該分割區(qū)域相關(guān)部件將由所述區(qū)域分割部件所分割的所述左眼圖像和所述右眼圖像的所分割區(qū)域中的包括彼此相同的對象的區(qū)域、或由光學(xué)上彼此相同的原因所生成的圖像的區(qū)域相關(guān)； 條紋搜索部件，該條紋捜索部件從由所述區(qū)域分割部件所分割的所述左眼圖像和所述右眼圖像的所分割區(qū)域檢測包括光源、條紋和光線的條紋區(qū)域以及鄰近所述條紋區(qū)域的條紋背景區(qū)域；以及 圖像替換部件，該圖像替換部件基于來自所述分割區(qū)域相關(guān)部件的相關(guān)結(jié)果，將所述左眼圖像和所述右眼圖像中的ー個的條紋區(qū)域和條紋背景區(qū)域用另ー圖像的條紋區(qū)域和條紋背景區(qū)域來替換。
15.一種使能計算機用作如下部件的程序，該計算機處理由兩個透鏡類型的立體圖像捕獲相機所捕獲并獲得的左眼圖像和右眼圖像 區(qū)域分割部件，該區(qū)域分割部件將所述左眼圖像和所述右眼圖像中的每ー個分割為多個區(qū)域； 條紋搜索部件，該條紋捜索部件從由所述區(qū)域分割部件所分割的所述左眼圖像和所述右眼圖像的所分割區(qū)域檢測包括光源、條紋和光線的條紋區(qū)域以及鄰近所述條紋區(qū)域的條紋背景區(qū)域；以及 圖像替換部件，該圖像替換部件從所述左眼圖像和所述右眼圖像中去除包括在所述條紋區(qū)域中的所述光源、所述條紋和所述光線，并且，向所述左眼圖像和所述右眼圖像給出具有適合于觀看立體圖像的幾何相關(guān)的光源、條紋和光線效果。
全文摘要
本發(fā)明公開了圖像處理裝置、圖像處理方法和程序。一種圖像處理裝置包括噪聲去除單元，該噪聲去除單元通過執(zhí)行噪聲去除處理來校正左眼圖像和右眼圖像的光學(xué)噪聲的幾何失配，該噪聲去除處理用于去除由兩個透鏡類型的立體圖像捕獲相機所捕獲并獲得的左眼圖像和右眼圖像上單獨生成的光學(xué)噪聲。
文檔編號H04N5/21GK102739922SQ201210073578
公開日2012年10月17日 申請日期2012年3月15日 優(yōu)先權(quán)日2011年3月22日
發(fā)明者荒船晶 申請人:索尼公司