專利名稱：圖像處理裝置和模擬立體圖像生成裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置和模擬立體圖像生成裝置。特別涉及根據(jù)屋外等拍攝的 通常的二維靜止圖像或動態(tài)圖像等、沒有給出進深方向信息的圖像(二維圖像)，推定出三 維形狀，制成模擬立體圖像的模擬立體圖像生成裝置。
背景技術(shù)：
對于二維靜止圖像，要想能任意改變視點來欣賞模擬立體圖像，就必需使用各種 方法，取得通常用來表現(xiàn)立體的進深方向信息。為此，只要使用例如特殊的測距儀和例如變 動光源的所謂活動檢測系統(tǒng)即可。但是，這種結(jié)構(gòu)很難在一般民用的相機上搭載。因此，正在探討一種方法，根據(jù)拍攝的場景圖像，使用各種假設(shè)，推定出立體構(gòu)造， 實現(xiàn)圖像合成和虛擬的視點移動。根據(jù)該方法，雖然不能根據(jù)一般場景，準確恢復推定立體 構(gòu)造所需要的信息，但卻可以較為成功地模擬出立體構(gòu)造。專利文獻1公開的方法是以諸如伸向無限遠方的道路這類典型的進深場景為對 象，通過合成3個基本種類的場景構(gòu)造模型，賦予二維相片圖像以進深模型，進行模擬的立 體化合成。非專利文獻1公開的方法是例如以通用的攝影場景為對象，同樣輸入1張彩色圖 像，根據(jù)其像素的色彩信息、圖像微小區(qū)域的紋理信息、圖像上的配置信息、和作為被攝物 體的建筑物等人工物體表面的平行線邊緣，推定消失點。根據(jù)這些信息，識別場景中反映 的各個區(qū)域，例如天空、地面、垂直于地面的墻壁等平面、草木等凹凸面。然后，根據(jù)檢出的 地面和建筑物面的法線信息，實行簡單的三維立體化，就如同“立體畫冊”那樣，將相片立體 化，合成從任意視點看到的圖像。一般認為，通過學習典型的場景圖像，上述推定可以非常 精準地實施。然而，根據(jù)專利文獻1的技術(shù)，立體信息與其說是從圖像中抽出的，不如說是從基 本圖形中抽出的。其結(jié)果，對象場景被限定。因此，不得不說該技術(shù)通用性較差，實用性不 強。而對于非專利文獻1的技術(shù)來說，雖然是從圖像中抽出信息，卻存在以下課題。1)無法正確推定相對于地表傾斜的斜面的法線。2)在除長方形以外的側(cè)面，無法正確推定法線。3)會錯誤判定色彩信息接近天空和地面的面。這些課題全都緣自于無法從二維圖像直接推定表面法線。要想根據(jù)二維圖像獲得 表面法線信息，已知有以下技術(shù)，例如使用現(xiàn)有激光測距儀，或使用立體攝影由距離求出。 但是，如果對象是在屋外且是遠處的巨大建筑物等，二者均不實用。作為即便是對于這種遠距離也能通過無源(passive)方法抽出面法線的技術(shù)，例 如有使用偏光信息的技術(shù)。專利文獻2的技術(shù)就是采用完全漫射照明，對被攝物體周圍進 行360度照明，用可取得其圖像偏光信息的相機拍攝，取得被攝物體的形狀。假設(shè)被攝物體 的折射率已知，則能夠取得通常測定困難的透明物體等的形狀。專利文獻2的技術(shù)要點是被攝物體是鏡面反射(specular reflection)物體，反射光按照菲涅爾(Fresnel)法則發(fā)生偏光；對完全包住被攝物體的整個面進行照明，使被 攝物體的整個面發(fā)生鏡面反射。另外，專利文獻2的技術(shù)有以下優(yōu)點形狀推定不是諸如 使用測距儀或進行立體測量，先測定距離再推定法線，而是直接求出表面法線，不用求出距
1 O就白天屋外的環(huán)境而言，已知雖然距離被攝物體很遠，但其四周都被天空照明， 而且，如果是晴天的話，被攝物體大多呈現(xiàn)鏡面反射，所以，這種環(huán)境與本技術(shù)的狀況極其 類似。另外，非專利文獻1公開了根據(jù)二維圖像形成模擬立體圖像的技術(shù)。非專利文獻2 和非專利文獻3中有關(guān)于天空偏光(偏振)的報告，專利文獻3公開了偏光成像裝置的現(xiàn) 有例。專利文獻1 特開2006-186510號公報專利文獻2 特開平11-211433號公報專利文獻3 特開2007-86720號公報非專利文獻1 “Automatic photo pop-up", Derek Hoiem et.al，ACM SIGGRPAH 2005非專利文獻2 :“Polarization Analysis of the Skylight Caused by Rayleigh Scattering and Sun Orientation Estimation using Fisheye-Lens Camera，，， Daisuke Miyazaki et. al,電子信息通信學會模式識別·媒介理解研究會，Vol. 108，No, 198, pp.25-32,2008非專利文獻3:“The Journal of Experimental Biology 204，2933-2942 (2001)，，專利文獻2的技術(shù)應(yīng)用于屋外時，存在以下的課題。在根據(jù)鏡面反射光的偏光信息推定表面法線時，不僅需要對被攝物體的四周進行 照明，還需要照射的照明是非偏光(隨機的偏光)照明。所以，在專利文獻2中，使用了一 種非常特殊的裝置，用完全漫射球完全覆蓋被攝物體，從其外部進行照明。而屋外環(huán)境的照明在晴天時是由太陽的直接光(平行光)和藍天的表面照明組 成。太陽光是非偏振光，藍天是偏振光。在攝影時，被攝物體通常不會被太陽的直接光照射， 其四周會被藍天的偏光照射，發(fā)生鏡面反射。所以，在這種情況下，現(xiàn)有技術(shù)無法使用。

發(fā)明內(nèi)容
本發(fā)明的圖像處理裝置包括偏光圖像取得部，獲取具有多個像素的偏光信息的 偏光圖像；被攝物體法線推定部，根據(jù)所述偏光圖像擁有的偏光信息，推定屋外被攝物體表 面的法線；和全天空偏光映射圖取得部，獲取全天空偏光映射圖，它表示全天空的位置與所 述位置的偏光信息之間的關(guān)系。所述被攝物體法線推定部利用所述全天空偏光映射圖，從 所述偏光信息中求出所述被攝物體表面的鏡面反射光的偏光狀態(tài)，由此推定所述被攝物體 表面的法線。本發(fā)明的另一圖像處理裝置包括圖像取得部，獲取亮度圖像和偏光圖像，該亮度 圖像具有多個像素的亮度信息，該偏光圖像具有所述多個像素的偏光信息；天氣判定部，將 天氣狀態(tài)判定為陰天狀態(tài)或晴天狀態(tài)；和被攝物體法線推定部，根據(jù)所述偏光狀態(tài)，求出屋 外被攝物體表面產(chǎn)生的鏡面反射光的偏光狀態(tài)，按照所述天氣判定部決定的天氣狀態(tài)，采取不同方法，推定所述被攝物體的表面法線。在優(yōu)選的實施方式中，所述圖像取得部針對多種不同顏色取得所述亮度圖像。在優(yōu)選的實施方式中，所述天氣判定部根據(jù)天空的偏光度或偏光度在基準水平以 上的區(qū)域的面積，決定天氣狀態(tài)。在優(yōu)選的實施方式中，所述天氣判定部將天氣狀態(tài)判定為天空偏光度低于規(guī)定的 基準水平的陰天狀態(tài)，或所述偏光度在所述基準水平以上的晴天狀態(tài)。在優(yōu)選的實施方式中，所述天氣判定部將天空局部有云的部分晴天判定為晴天狀 態(tài)。在優(yōu)選的實施方式中，所述天氣判定部從外部獲取表示天氣狀態(tài)的信息，決定天 氣的狀態(tài)。在優(yōu)選的實施方式中，具備全天空偏光映射圖取得部，獲取表示以下兩者關(guān)系的 全天空偏光映射圖，即整個天空中的一個位置與所述位置的偏光狀態(tài)間的關(guān)系。當所述天 氣判定部判定天氣狀態(tài)為晴天狀態(tài)時，利用所述全天空偏光映射圖，推定所述被攝物體表 面的法線。在優(yōu)選的實施方式中，具備陰天時法線推定部，實行基于鏡面反射偏光的法線推 定；和晴天時法線推定部，實行基于幾何學的法線推定、以及基于鏡面反射偏光的法線推 定。所述晴天時法線推定部在實行基于幾何學的法線推定時，會利用所述全天空偏光映射 圖表示的整個天空中的一個位置與所述位置的偏光狀態(tài)間的關(guān)系。在優(yōu)選的實施方式中，所述全天空偏光映射圖取得部利用廣角鏡頭，獲取整個天 空的偏光圖像。在優(yōu)選的實施方式中，所述全天空偏光映射圖取得部從外部獲取所述全天空偏光 映射圖的數(shù)據(jù)。在優(yōu)選的實施方式中，具備晴天天空區(qū)域分離部，晴天時將天空區(qū)域從所述圖像 中分離出去；和陰天天空區(qū)域分離部，陰天時將天空區(qū)域從所述圖像中分離出去。根據(jù)所 述天氣判定部的輸出，選擇性切換晴天天空區(qū)域分離部和陰天天空區(qū)域分離部的動作或輸
出ο在優(yōu)選的實施方式中，所述圖像取得部具有彩色偏光同時取得部，在具有彩色馬 賽克濾片的單板彩色攝像元件的同一個多色像素內(nèi)，具有角度不同的透過偏振波面的多個 偏光子相鄰配置；偏光信息處理部，將對所述取得的每種顏色的多個偏光子的觀測亮度近 似為正弦函數(shù)，對得到的近似參數(shù)進行顏色間的平均化，取得歸總的偏光信息；和色彩信息 處理部，根據(jù)所述取得的多個觀測亮度，進行亮度平均化，生成平均色彩亮度。輸出(i)彩 色圖像；(ii)基于所述偏光圖像的偏光度信息和偏光相位圖像。在優(yōu)選的實施方式中，(i)當光源的入射角小于規(guī)定值時，采用基于幾何學的法線 推定；(ii)當光源的偏光度小于規(guī)定值時，采用基于鏡面反射偏光的法線推定。在優(yōu)選的實施方式中，天氣狀態(tài)被判定為陰天時，根據(jù)鏡面反射光的偏光相位和 偏光度，推定法線。當推定的法線向量在視線向量的周圍有多個存在時，選擇的法線具有相 對于包含所述視線向量的水平面方向朝上的向量，當推定的法線向量在包含所述視線向量 和入射光線的平面內(nèi)有多個存在時，選擇的法線具有入射角小于布儒斯特偏振角的向量。本發(fā)明的模擬立體圖像生成裝置具有面抽出部，根據(jù)上述任意一項所述的圖像處理裝置所推定的被攝物體的表面法線，抽出與所述表面法線垂直的面；和模擬立體化部， 根據(jù)所述抽出部抽出的面，實施視點轉(zhuǎn)換，生成其它視點下的生成場景圖像。在優(yōu)選的實施方式中，所述模擬立體化部推定所述面抽出部抽出的面的頂點的世 界坐標。本發(fā)明的圖像處理方法包含以下步驟取得屋外場景的偏光圖像；取得全天空偏 光映射圖；判定天氣狀態(tài)。還包含推定步驟，根據(jù)所述偏光圖像，檢測屋外被攝物體表面的 鏡面反射光的偏光狀態(tài)，根據(jù)天氣狀態(tài)，采取不同方法，推定所述被物體的表面法線。在優(yōu)選的實施方式中，在天氣狀態(tài)被判定為晴天的情況下，利用兩種法線，即基于 幾何學的法線和基于鏡面反射偏光的法線，來實施法線推定。在優(yōu)選的實施方式中，光源的入射角小時，增加基于幾何學推定法線的可靠度。光 源的偏光度小時，增加基于鏡面反射偏光推定法線的可靠度。最終采用可靠度高的法線。在優(yōu)選的實施方式中，當天氣狀態(tài)被判定為陰天時，根據(jù)鏡面反射光的偏光相位 和偏光度，推定法線。當推定的法線向量在視線向量的周圍有多個存在時，選擇的法線具有 相對于包含所述視線向量的水平面方向朝上的向量。當推定的法線向量在包含所述視線 向量和入射光線的平面內(nèi)有多個存在時，選擇的法線具有入射角小于布儒斯特偏振角的向 量。本發(fā)明的模擬立體圖像的生成方法包含以下步驟取得屋外場景的偏光圖像；根 據(jù)所述偏光圖像具有的偏光信息，推定屋外被攝物體表面的法線；根據(jù)推定的被攝物體的 表面法線，抽出垂直于所述表面法線的面；和實施視點轉(zhuǎn)換，以生成其它視點下的場景圖像。在優(yōu)選的實施方式中，還包含對所抽出的面的頂點的世界坐標進行推定的步驟。根據(jù)本發(fā)明，就可以提供一種圖像處理方法和裝置，在例如推定屋外距離相機較 遠的巨大建筑物的三維形狀時，即使現(xiàn)有的測距儀和立體攝影都不奏效，也可以利用天空 的偏光信息，推定被攝物體的表面法線，推定出三維形狀。此外，還可以對例如天空、地面、 墻壁面、屋頂?shù)冗M行識別處理。另外，通過利用本發(fā)明的圖像處理，還可以提供一種模擬立 體化裝置，實現(xiàn)虛擬的立體化。


圖IA是屋外被攝物體鏡面反射的說明圖。圖IB是屋外被攝物體鏡面反射的另一說明圖。圖IC是與本發(fā)明有關(guān)的圖像處理裝置的一個實施方式的外觀圖。圖2是與本發(fā)明有關(guān)的圖像處理裝置的框圖。圖3(A)是本發(fā)明的實施方式的彩色偏光圖像取得部的構(gòu)成框圖，(B)是全天空偏 光映射圖取得部的構(gòu)成圖。圖4(A)是彩色偏光同時取得部的立體構(gòu)成圖，(B)沿光軸方向從正上方觀察其一 部分攝像面的示圖，(C)是圖(B)的局部放大圖。圖5㈧至(C)分別是表示B、G、R偏光像素波長特性的示意圖。圖6是表示透過4種偏光主軸方向不同的偏光子的光的亮度。圖7 (A)至(C)表示拍攝建筑物場景時彩色偏光圖像取得部取得的3種圖像實例。
圖8㈧至(C)分別是說明圖7(A)至(C)圖像的示意圖。圖9㈧和⑶表示全天空偏光映射圖取得部取得的兩種圖像。圖IOA是說明一例天氣判定部動作的流程圖。圖IOB是說明另一例天氣判定部動作的流程圖。圖11是說明晴天天空區(qū)域分離部的框圖。圖12(A)至(H)是利用偏光和亮度從實際的場景中分離出天空區(qū)域的結(jié)果(成功 例)。圖13(A)至(F)是利用偏光和亮度從實際的場景中分離出天空區(qū)域的結(jié)果(失敗 例)。圖14(A)至(D)是利用色相和亮度從實際的場景中分離出天空區(qū)域的結(jié)果(成功 例)。圖15是說明陰天天空區(qū)域分離部的框圖。圖16是表示晴天或陰天時天空區(qū)域被分離之后的場景圖像示意圖。圖17 (A)和(B)是晴天時與陰天時被攝物體鏡面反射現(xiàn)象的偏光現(xiàn)象差異的說明 圖。圖18是利用與入射角的關(guān)系來表現(xiàn)鏡面反射中菲涅爾反射率的圖線。圖19是實現(xiàn)晴天時法線推定部的流程圖。圖20A是表示根據(jù)幾何學實施法線推定時的偏光相位圖。圖20B是用被攝物體鏡頭拍攝的被攝物體圖像的示圖。圖20C是用拍攝天空的廣角鏡頭拍攝的天空圖像的示圖。圖21是根據(jù)幾何學計算法線的處理說明圖。圖22是基于幾何學的法線和可靠度的示圖。圖23是表示根據(jù)鏡面反射偏光實施法線推定時的偏光相位圖。圖對是入射角α與偏光度P的關(guān)系式的說明圖線。圖25是基于鏡面反射偏光的法線和可靠度的示圖。圖沈是可靠度評價后的法線推定結(jié)果的示圖。圖27是陰天時實施法線推定的流程圖。圖28是表示模擬立體化部處理流程的流程圖。圖四是表示世界坐標系與相機坐標系之間關(guān)系的示圖。圖30是表示視點轉(zhuǎn)換后的模擬立體化效果的示圖。圖31是根據(jù)本發(fā)明的圖像處理裝置的另一實施方式的框圖。圖32是根據(jù)本發(fā)明的圖像處理裝置的又一實施方式的框圖。圖33是與本發(fā)明的第2實施方式有關(guān)的圖像處理裝置的框圖。圖34是表示本發(fā)明的第2實施方式的單色偏光圖像取得部的構(gòu)成框圖。圖35是本發(fā)明的第2實施方式的晴天天空區(qū)域分離部的說明框圖。圖36是本發(fā)明的第2實施方式的陰天天空區(qū)域分離部的說明框圖。圖37是陰天天空區(qū)域分離部3304的構(gòu)成框圖。圖中200-偏光信息取得部，201-彩色偏光圖像取得部，202-全天空偏光映射圖 取得部，203-天氣判定部，204-晴天天空區(qū)域分離部，205-陰天天空區(qū)域分離部，206-晴天時法線推定部，207-陰天時法線推定部，208-模擬立體化部，210-法線推定部。
具體實施例方式已知屋外的偏光(偏振)現(xiàn)象幾乎都是僅因鏡面反射(Specular Reflection) 發(fā)生的。本發(fā)明就是在屋外的被攝物體被天空照明時，利用被攝物體表面所產(chǎn)生的鏡面反 射光的偏光狀態(tài)，來推定被攝物體的表面法線。但是，由于晴天和陰天天空的偏光狀態(tài)不 同，所以優(yōu)選的實施方式是將二者分開，實施處理。圖IA示意地表現(xiàn)了如下情況光從天空的某個位置103a向屋外的被攝物體(例 如“房屋”)1600表面的某個位置1600a照射，由于鏡面反射，光改變方向，射入相機100。被 攝物體1600表面的位置1600a的法線N是將該位置1600a指向天空位置103a的向量L和 相機100的視線向量V 二等分的向量。所以，如圖IA所示，當光的入射角為θ時，出射角 也等于0。圖IB示意地表現(xiàn)了如下情況光從天空的另一位置10 向屋外的被攝物體1600 表面的另一位置1600b照射，由于鏡面反射，光改變方向，射入相機100。所以，法線N是隨 被攝物體表面位置的變化而變化，天空發(fā)出射入相機的光的位置(103a，103b)也會變化。另外，在圖IA和圖IB所示的例子中，法線N是與圖面(紙面)平行的。當然，由 于法線N會隨被攝物體表面的形狀和位置而發(fā)生改變，所以有時也不與圖面平行。為了求 出法線N，不僅需要圖IA所示的角度θ，還需要決定圍繞相機的視線向量V的轉(zhuǎn)角ψ。晴天時，由于天空發(fā)生偏光，所以無法使用專利文獻2所示的方法，也就是說，無 法利用被攝物體表面產(chǎn)生的鏡面反射的偏光，推定被攝物體的表面法線。然而，晴天時，由 于被攝物體表面會發(fā)生鏡面反射，所以，在完全鏡面的條件下，天空特定位置上的偏光狀態(tài) 會在被攝物體的一部分上原樣體現(xiàn)。例如，在圖IB所示的例子中，天空位置10 上的天空 的偏光狀態(tài)會反映到被攝物體1600表面的位置1600b上。所以，如果利用另行取得的全天 空偏光映射圖上的偏光信息與偏光圖像上顯現(xiàn)的偏光信息的對應(yīng)關(guān)系，就可以確定射入相 機的光是從天空的哪一個位置發(fā)出的。而且，在清楚該位置以后，就可以像圖1A、1B所示的 那樣，按照幾何學原理，決定被攝物體表面的法線N。這里，對雖說是晴天但局部有云的“局部晴天”的情況進行說明。本發(fā)明優(yōu)選的實 施方式會將這種局部晴天的狀態(tài)全部作為“晴天”處理。在進行這種處理時，本發(fā)明會根據(jù) 可信度來決定是采用陰天前提下的基于鏡面反射偏光的法線，還是晴天前提下的基于幾何 學的法線。如果是全陰天，整個天空都被云均勻覆蓋，那么天空可以視為非偏光照明(半球 狀照明)。這樣，就可以使用與專利文獻2所述的同樣的方法，在全陰天的情況下推定被攝 物體表面的法線。根據(jù)本發(fā)明，根據(jù)取自屋外的被攝物體的偏光信息，可以推定出二維圖像上被攝 物體表面的法線。然后，使用這樣推定出來的法線信息，就可以從二維圖像中抽出三維信息 (進深信息)，生成模擬的三維立體圖像。另外，對本發(fā)明而言，實現(xiàn)方式不僅可以表現(xiàn)為圖像處理方法和模擬立體圖像生 成方法，也可以表現(xiàn)為具備執(zhí)行處理的各個步驟的機構(gòu)的圖像生成裝置；讓計算機執(zhí)行各 個步驟的計算機程序；和存放該程序的CD-ROM等計算機可讀取的存儲介質(zhì)等。
本發(fā)明的圖像處理裝置包括獲取偏光圖像的偏光圖像取得部；和根據(jù)取從偏光 圖像獲得的上述偏光信息，推定屋外被攝物體表面法線的被攝物體法線推定部。另外，本說明書中的“偏光圖像”是指，包含被攝物體的二維圖像中具有偏光信息 的多個像素所組成的圖像。也就是說，偏光圖像的意思是，構(gòu)成該圖像的多個像素的每一個 通過表示該像素的偏光信息而構(gòu)成的圖像。偏光信息包含偏光度和偏光相位(偏光角)。 所以，只要沒有特別限定，“偏光圖像”就是“偏光度圖像”和“偏光相位圖像”的總稱?！捌?度圖像”是各像素偏光度的二維表示；“偏光相位圖像”是各像素偏光相位的二維表示。各 像素的偏光度和偏光相位的大小(數(shù)值)可以通過該像素的亮度或色相(色調(diào))表現(xiàn)。在 本申請的附圖中，偏光度和偏光相位的大小由亮度的高低表現(xiàn)。此外，本說明書中的“圖像”不一定像人的視覺所能識別的那樣，是像素二維排列 呈現(xiàn)的狀態(tài)。也就是說，“圖像”這一用語有時表現(xiàn)的是構(gòu)成圖像的各個像素的信息(數(shù)值) 的排列(圖像數(shù)據(jù))，例如亮度、偏光度、偏光相位等。本發(fā)明的圖像處理裝置具備被攝物體法線推定部，用來根據(jù)從這種偏光圖像得到 的偏光信息，推定屋外被攝物體的表面法線。在優(yōu)選的實施方式中，本圖像處理裝置具備全天空偏光映射圖取得部，用來取得 全天空偏光映射圖，該圖表示全天空的位置與該位置的偏光信息間的關(guān)系。本圖像處理裝 置根據(jù)全天空偏光映射圖，推定被攝物體表面的法線。優(yōu)選本發(fā)明的圖像處理裝置具備天氣判定部，判定天氣的狀態(tài)是偏光度低于基準 水平的陰天狀態(tài)，還是偏光度為該基準水平以上的晴天狀態(tài)。本發(fā)明的圖像處理裝置會測 定屋外被攝物體表面的鏡面反射光的偏光狀態(tài)，根據(jù)天氣判定部決定的天氣狀態(tài)，采用不 同方法來推定被攝物體表面的法線。下面，利用附圖，對本發(fā)明的實施方式進行說明。(實施方式1)首先，對本發(fā)明的圖像處理裝置的第1實施方式進行說明。本實施方式是具有相機形態(tài)的圖像處理裝置，外觀構(gòu)成如圖IC所示。圖IC的圖 像處理裝置(相機100)包括被攝物體鏡頭部101，用來通過攝影，獲取被攝物體的偏光圖 像和彩色圖像信息；廣角鏡頭部102，設(shè)置在相機頂部，用來通過攝影，獲取天空的偏光圖 像信息；和水準儀等水平指示裝置103。被攝物體的攝像是在相機100維持水平的狀態(tài)下， 水平指示裝置103表示方向為水平方向、廣角鏡頭部102垂直向上的狀態(tài)下進行。下面，參照圖2，對本實施方式的構(gòu)成進行更加詳細的說明。圖2是本實施方式的 圖像處理裝置的功能框圖。圖2的圖像處理裝置具有偏光信息取得部200，它包含彩色偏光圖像取得部201和 全天空偏光映射圖取得部202。彩色偏光圖像取得部201通過圖IC的鏡頭部101，取得被攝物體的偏光度圖像 P、偏光相位圖像Φ、彩色圖像C的信息。全天空偏光映射圖取得部202被設(shè)置在相機頂 部，用來通過圖IC的廣角鏡頭部102，獲取天空的偏光圖像信息。這里，“全天空偏光映射 圖”是表示整個天空多個位置(點)的天空偏光信息的映射圖。本實施方式的圖像處理裝置還包括法線推定部210和模擬立體化部208。法線推 定部210包含天氣判定部203、晴天天空區(qū)域分離部204、陰天天空區(qū)域分離部205、晴天時法線推定部206和陰天時法線推定部207。本實施方式中，測定屋外被攝物體表面的鏡面反射光的偏光狀態(tài)，根據(jù)天氣的狀 態(tài)，采用不同方法推定被攝物體表面的法線。天氣判定部203是根據(jù)天空的偏光度決定天 氣狀態(tài)的機構(gòu)，用來判定場景拍攝時天氣是晴是陰。具體而言就是，當天空的偏光度低于基 準水平時，就判定“陰天狀態(tài)”；當天空的偏光度為基準水平以上時，就判定“晴天狀態(tài)”。本實施方式中，測定屋外被攝物體表面的鏡面反射光的偏光狀態(tài)，根據(jù)天氣的狀 態(tài)，采用不同方法推定被攝物體表面的法線。天氣判定部203是根據(jù)天空的偏光度決定天 氣狀態(tài)的機構(gòu)，用來判定場景拍攝時天氣是晴是陰。具體用兩個例子說明。一個例子是，當 天空的偏光度低于基準水平時，就判定“陰天狀態(tài)”；當天空的偏光度為基準水平以上時，就 判定“晴天狀態(tài)”。另一個例子是，當天空偏光度低于基準水平的區(qū)域在整個天空占有一定 面積以上時，就判定“陰天狀態(tài)”；除此之外就判定“晴天狀態(tài)”。本發(fā)明的“陰天狀態(tài)”可以 視為整個天空都被云覆蓋的完全陰天狀態(tài)。所以，“晴天狀態(tài)”包含天空局部有云存在的狀 態(tài)。晴天天空區(qū)域分離部204輸入P、Φ、C，晴天時將天空區(qū)域和被攝物體區(qū)域從圖 像中分離出去，輸出將天空區(qū)域分離后的晴天時被攝物體偏光度圖像P fo、晴天時被攝物 體偏光相位圖像Ofo。另一方面，陰天天空區(qū)域分離部205是在陰天時，將天空區(qū)域和被 攝物體區(qū)域從圖像中分離出去，同樣生成將天空區(qū)域分離后的陰天時被攝物體偏光度圖像 P co、陰天時被攝物體偏光相位圖像Φ(30。晴天時法線推定部206在晴天時利用全天空偏光映射圖，根據(jù)偏光度圖像和偏光 相位圖像的信息，推定法線圖像N;陰天時法線推定部207在陰天時，根據(jù)偏光度圖像和偏 光相位圖像的信息，推定并取得法線圖像N。模擬立體化部208利用取得的晴天或陰天的法線圖像N，對彩色圖像C實行模擬立 體化。圖3 (A)是表示偏光信息取得部200的內(nèi)部構(gòu)成的框圖，也就是彩色偏光圖像取得 部201和全天空偏光映射圖取得部202。如圖所示，本實施方式的偏光信息取得部200包括 拍攝被攝物體的被攝物體鏡頭部101、在相機正上方朝上設(shè)置的廣角鏡頭部102、可動式反 射板303、驅(qū)動機構(gòu)304、彩色偏光攝像元件(彩色偏光取得部)305、偏光信息處理部306、 和色彩信息處理部307。在圖3(A)所示的狀態(tài)下，天空的光310通過廣角鏡頭部102被可動式反射板303 反射，到達彩色偏光攝像元件305。所以，在攝像時，彩色偏光攝像元件305可以拍攝整個天 空。大范圍的天空區(qū)域可以利用例如魚眼相機拍攝，能夠觀測天空(整個天空)的偏光狀 態(tài)。偏光信息處理部306根據(jù)彩色偏光攝像元件305的輸出，獲得表示天空偏光狀態(tài) 的全天空偏光映射圖。另外，取得全天空偏光映射圖的具體方法在非專利文獻2中有述。在 非專利文獻2中，方向向上的數(shù)碼相機上設(shè)置了規(guī)格為F3. 5焦距為8mm的魚眼鏡頭，其前 端設(shè)置了偏光板。通過手動，將偏光板的偏光透過軸旋轉(zhuǎn)0度、45度、90度，可以獲得整個 天空130度范圍的天空偏光模式(pattern)。本實施方式也基本上采取相同的處理，但是不 使用轉(zhuǎn)動的偏光板，使用的是偏光攝像元件，這樣，可以實時取得偏光映射圖。因此優(yōu)點在 于在偏光板轉(zhuǎn)動期間，不會由于云的移動等造成偽影(artifact)。
接下來，驅(qū)動機構(gòu)304將反射板303向上方(箭頭312)轉(zhuǎn)動，此時，如圖3(B)所 示，來自被攝物體鏡頭部101的光311會進入彩色偏光攝像元件305。如此，在拍攝被攝物 體時，偏光信息處理部306和色彩信息處理部307工作。被攝物體和整個天空的攝像順序 也可以顛倒過來。下面，以拍攝被攝物體為例，說明彩色偏光圖像取得部201的動作。對于全天空偏 光映射圖取得部202的動作，同樣也只有與偏光處理有關(guān)的部分。優(yōu)選，同時或以較短的時間間隔取得屋外的場景圖像和場景偏光圖像。由于會有 風起云動等情況，所以優(yōu)選采取實時取得方式。在取得偏光圖像時，轉(zhuǎn)動偏光板、進行多個 圖像拍攝的技術(shù)不適合屋外。所以，必須使用實時偏光相機。專利文獻3公開了同時實時取得單色圖像和偏光圖像的技術(shù)。根據(jù)該技術(shù)，要想 同時取得亮度圖像和被攝物體的部分偏光圖像，就要對攝像元件空間上設(shè)置多個偏光主軸 (偏光透過軸)不同的模式化偏光子(偏振器)。作為模式化偏光子，利用的有光子結(jié)晶 或構(gòu)造多折射波片陣列(構(gòu)造複屈折波長板7 > ^ )。但是，這些技術(shù)仍然不能使彩色圖像 和偏光圖像同時取得。相對于此，采取圖3(A)的結(jié)構(gòu)下，可以對被攝物體實時取得彩色圖像，并同時取 得偏光圖像，輸出兩種偏光圖像(偏光度圖像P和偏光相位圖像Φ)。入射光射入到彩色偏光攝像元件305中。通過該入射光，彩色偏光攝像元件305可 以實時取得彩色動態(tài)信息和偏光圖像信息兩方。彩色偏光攝像元件305輸出表示彩色動態(tài) 圖像信息和偏光圖像信息的信號，分別輸入到偏光信息處理部306和色彩信息處理部307。 偏光信息處理部306和色彩信息處理部307對上述信號實施各種處理，輸出彩色圖像C、偏 光度圖像P、偏光相位圖像Φ。圖4(A)是表示彩色偏光攝像元件305的基本構(gòu)成的示意圖。在圖示的例子中，彩 色濾片和模式化偏光子被疊設(shè)在攝像元件像素的前面。入射光透過彩色濾片和模式化偏光 子到達攝像元件，通過攝像元件像素，可觀測到亮度。這樣，根據(jù)本實施方式，就可以利用彩 色馬賽克型單板彩色攝像元件，同時獲得彩色圖像信息和偏光圖像信息。圖4(B)是沿光軸方向從正上方觀察彩色偏光攝像元件305的一部分攝像面的示 圖。為了簡化起見，圖中只圖示了攝像面中的16個像素0X4)。圖示的4個矩形區(qū)域401 404分別表示設(shè)置在4個像素單元上的拜耳型(kiyer)彩色馬賽克濾片的對應(yīng)部分。矩形 區(qū)域404是B (藍色)濾片區(qū)，罩住了像素單元Bl Β4。像素單元Bl Β4上緊密附著了 偏光主軸互不相同的B(藍色)用模式化偏光子。這里，“偏光主軸”是指，與透過偏光子的 光的偏波面(透過偏波面)平行的軸。在本實施方式中，顏色相同的像素內(nèi)，具有角度不同 的透過偏波面的偏光子單位(微小偏光板)被相鄰配置。具體而言就是，4種透過偏波面方 向互不相同的偏光子單位被配置在R (紅色)、G (綠色)、B (藍色)的各個顏色相同的像素 群中。1個偏光子單位對應(yīng)1個細微的偏光像素。圖中，對每個偏光像素賦予了例如Gl等 符號。圖4(C)是表示緊密附著了 B(藍色)用偏光子的4個細微的偏光像素上分配的偏 光主軸。在圖4(B)中，各細微偏光像素上的直線示意了微小偏光板的偏光主軸方向。對于 圖中的例子，4個細微偏光像素的偏光主軸角度各異，分別是UU = 0°、45°、90°、135°。矩形區(qū)域402、403的像素上分別緊密附著了 4個G(綠色)用偏光子，矩形區(qū)域401的像素上附著了 4個R(紅色)用偏光子。圖中，參照符號“405”所示的位置是一個虛 擬像素位置，表示的是本攝像體系中將4個像素視為一個整體時的像素位置。如圖所示，各 矩形區(qū)域401 403的模式化偏光子也被分割成4個具有不同偏光主軸的部分。這樣，本實施方式就具備了以下特征各彩色像素都包含偏光主軸不同的多個細 微的偏光像素。彩色馬賽克排列本身是任意的。在以下的說明中，稱各個細微的偏光像素 為“偏光像素”。圖5㈧至(C)是分別示意地表示B (藍色)、G (綠色)、R(紅色)偏光像素的波長特 性的圖線。各圖線的縱軸是透過光的強度，橫軸是波長。B、G、R用偏光像素具有在B、G、R的 各波長頻帶中透過TM(Transverse Magnetic Wave)波、反射(不使其透過)TE (Transverse Electric Wave)波的偏光特性。TM波是磁場分量相對于入射面為橫向的波，TE波是電場 分量相對于入射面為橫向的波。圖5㈧示出了 B(藍色)偏光圖像的偏光特性502、503以及B(藍色)用彩色濾 片的透過特性501。偏光特性502、503分別表示TM波和TE波的透過率。圖5 (B)示出了 G偏光圖像的偏光特性505、506以及G用彩色濾片的透過特性504。 偏光特性505、506分別表示TM波和TE波的透過率。圖5(C)示出了 R偏光圖像的偏光特性508、509以及R用彩色濾片的透過特性507。 偏光特性508、509分別表示TM波和TE波的透過率。圖5㈧至(C)所示的特性可以利用例如專利文獻3所述的光子結(jié)晶來實現(xiàn)。在使 用光子結(jié)晶的情況下，具有與該結(jié)晶表面形成的溝槽平行的電場向量振動面的光是TE波； 具有與該結(jié)晶表面形成的溝槽垂直的磁場向量振動面的光是TM波。如圖5㈧至(C)所示，本實施方式的要點在于，在B、G、R的各個透過波長頻帶中， 都使用了體現(xiàn)偏光分離特性的模式化偏光子。在使用單色圖像亮度和偏光濾片時，不用對表現(xiàn)偏光分離特性的波長頻帶進行優(yōu) 化；而在對每個彩色像素取得偏光信息時，需要整合色彩的分離特性和偏光的分離特性。本說明書中，采用4個數(shù)字“ 1、2、3、4”和3個符號“R、G、B”的組合(例如"Rl，，或 “G1”等)來表示偏光像素的特性，4個數(shù)字表示偏光像素的偏光主軸方位，3個符號用來區(qū) 別顏色。對于偏光像素Rl和偏光像素G1，數(shù)字是相同的，所以偏光主軸的方向一致，但RGB 的符號不同，所以它們是不同的偏光像素，透過的光具有不同的波長頻帶。本實施方式通過 圖4(A)所示的彩色濾片和模式化偏光子的組合實現(xiàn)了這種偏光像素的排列。下面，利用圖6，對圖3的偏光信息處理部306的處理進行說明。圖6示出了透過 4種偏光主軸方向不同(Ψ = 0°、45°、90°、135° )的偏光子的光的亮度601 604。 這里，設(shè)偏光主軸的轉(zhuǎn)角Ψ為Vi時，觀測亮度為Ii。其中，“i”為1以上N以下的整數(shù)， “N”是采樣數(shù)量。在圖6所示的例子中，N = 4，所以i = l，2，3，4。圖6示出了與4個像素 的取樣(Ψ ，Ii)相對應(yīng)的亮度601 604。偏光主軸的角度Vi與亮度601 604的關(guān)系被表現(xiàn)為正弦函數(shù)曲線。圖6記述 了亮度601 604的4個點在一條正弦曲線上的情況。在根據(jù)更多的觀測亮度來決定正弦 曲線的情況下，一部分觀測亮度有時稍微偏離正弦曲線。另外，本詳細說明書中的“偏光信息”指的是正弦曲線上的調(diào)幅度和相位信息，表 示亮度對偏光主軸角度的依賴性。
實際處理時，對圖4(A)所示的每個顏色相同的區(qū)域401 404取樣內(nèi)部的4個像 素亮度值，按照以下公式，對模式化偏光子主軸角Ψ所對應(yīng)的反射光亮度I進行近似。[數(shù)式1]Ι(ψ) = A · sin 2(￥_B)+C(式1)這里，如圖6所示，A、B、C是常數(shù)，分別表現(xiàn)偏光亮度變動曲線的振幅、相位、平均 值。(式1)可以如下展開。[數(shù)式2]I (ψ) = a · sin 2 Ψ+b · cos 2 Ψ+C(式 2)其中，A和B分別由以下的(式3)和(式4)表示。[數(shù)式3]
權(quán)利要求
1.一種圖像處理裝置，其特征在于，包括偏光圖像取得部，獲取具有多個像素的偏光信息的偏光圖像； 被攝物體法線推定部，根據(jù)所述偏光圖像擁有的偏光信息，推定屋外被攝物體表面的 法線；和全天空偏光映射圖取得部，獲取全天空偏光映射圖，它表示全天空的位置與所述位置 的偏光信息之間的關(guān)系，所述被攝物體法線推定部，利用所述全天空偏光映射圖，從所述偏光信息中求出所述 被攝物體表面的鏡面反射光的偏光狀態(tài)，由此推定所述被攝物體表面的法線。
2.一種圖像處理裝置，其特征在于，包括圖像取得部，獲取亮度圖像和偏光圖像，該亮度圖像具有多個像素的亮度信息， 該偏光圖像具有所述多個像素的偏光信息；天氣判定部，將天氣狀態(tài)判定為陰天狀態(tài)或晴天狀態(tài)；和被攝物體法線推定部，根據(jù)所述偏光狀態(tài)，求出屋外被攝物體表面產(chǎn)生的鏡面反射光 的偏光狀態(tài)，按照所述天氣判定部決定的天氣狀態(tài)，采取不同方法，推定所述被攝物體的表 面法線。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 所述圖像取得部針對多種不同顏色取得所述亮度圖像。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于，所述天氣判定部根據(jù)天空的偏光度或偏光度在基準水平以上的區(qū)域的面積，決定天氣 狀態(tài)。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于，所述天氣判定部將天氣狀態(tài)判定為天空偏光度低于規(guī)定的基準水平的陰天狀態(tài)，或所 述偏光度在所述基準水平以上的晴天狀態(tài)。
6.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述天氣判定部將天空局部有云的部分晴天判定為晴天狀態(tài)。
7.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于，所述天氣判定部從外部獲取表示天氣狀態(tài)的信息，決定天氣的狀態(tài)。
8.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于，具備全天空偏光映射圖取得部，獲取表示整個天空中的一個位置與所述位置的偏光狀 態(tài)間的關(guān)系的全天空偏光映射圖，當所述天氣判定部判定天氣狀態(tài)為晴天狀態(tài)時，利用所述全天空偏光映射圖，推定所 述被攝物體表面的法線。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在于，具備陰天時法線推定部，實行基于鏡面反射偏光的法線推定；和 晴天時法線推定部，實行基于幾何學的法線推定、以及基于鏡面反射偏光的法線推定， 所述晴天時法線推定部，在實行基于幾何學的法線推定時，利用所述全天空偏光映射 圖表示的整個天空中的一個位置與所述位置的偏光狀態(tài)間的關(guān)系。
10.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在于，所述全天空偏光映射圖取得部利用廣角鏡頭，獲取整個天空的偏光圖像。
11.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在于，所述全天空偏光映射圖取得部，從外部獲取所述全天空偏光映射圖的數(shù)據(jù)。
12.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于，具備晴天天空區(qū)域分離部，晴天時將天空區(qū)域從所述圖像中分離出去；和 陰天天空區(qū)域分離部，陰天時將天空區(qū)域從所述圖像中分離出去， 根據(jù)所述天氣判定部的輸出，選擇性切換晴天天空區(qū)域分離部和陰天天空區(qū)域分離部 的動作或輸出。
13.根據(jù)權(quán)利要求2 12任意一項所述的圖像處理裝置，其特征在于， 所述圖像取得部具有彩色偏光同時取得部，在具有彩色馬賽克濾片的單板彩色攝像元件的同一個多色像素 內(nèi)，具有角度不同的透過偏振波面的多個偏光子相鄰配置；偏光信息處理部，將對所述取得的每種顏色的多個偏光子的觀測亮度近似成為正弦函 數(shù)，對得到的近似參數(shù)進行顏色間的平均化，取得歸總的偏光信息；和色彩信息處理部，根據(jù)所述取得的多個觀測亮度，進行亮度平均化，生成平均色彩亮度，輸出(i)彩色圖像；(ii)基于所述偏光信息的偏光度圖像和偏光相位圖像。
14.根據(jù)權(quán)利要求9所述的圖像處理裝置，其特征在于，(i)當光源的入射角小于規(guī)定值時，采用基于幾何學的法線推定； ( )當光源的偏光度小于規(guī)定值時，采用基于鏡面反射偏光的法線推定。
15.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于，天氣狀態(tài)被判定為陰天時，根據(jù)鏡面反射光的偏光相位和偏光度，推定法線， 當推定的法線向量在視線向量的周圍有多個存在時，選擇的法線具有相對于包含所述 視線向量的水平面方向朝上的向量，當推定的法線向量在包含所述視線向量和入射光線的平面內(nèi)有多個存在時，選擇的法 線具有入射角小于布儒斯特偏振角的向量。
16.一種模擬立體圖像生成裝置，其特征在于，具有面抽出部，根據(jù)權(quán)利要求1 13任意一項所述的圖像處理裝置所推定的被攝物體的表 面法線，抽出與所述表面法線垂直的面；和模擬立體化部，根據(jù)所述抽出部抽出的面，實施視點轉(zhuǎn)換，生成其它視點下的場景圖像。
17.根據(jù)權(quán)利要求16所述的模擬立體圖像生成裝置，其特征在于， 所述模擬立體化部推定所述面抽出部抽出的面的頂點的世界坐標。
18.一種圖像處理方法，其特征在于， 包含以下步驟取得屋外場景的偏光圖像； 取得全天空偏光映射圖； 判定天氣狀態(tài)，還包含推定步驟，根據(jù)所述偏光圖像，檢測屋外被攝物體表面的鏡面反射光的偏光狀 態(tài)，根據(jù)天氣狀態(tài)，采取不同方法，推定所述被物體的表面法線。
19.根據(jù)權(quán)利要求18所述的圖像處理方法，其特征在于，在天氣狀態(tài)被判定為晴天的情況下，利用兩種法線，即基于幾何學的法線和基于鏡面 反射偏光的法線，來實施法線推定。
20.根據(jù)權(quán)利要求19所述的圖像處理方法，其特征在于， 光源的入射角小時，增加基于幾何學推定法線的可靠度，光源的偏光度小時，增加基于鏡面反射偏光推定法線的可靠度， 最終采用可靠度高的法線。
21.根據(jù)權(quán)利要求18所述的圖像處理方法，其特征在于，當天氣狀態(tài)被判定為陰天時，根據(jù)鏡面反射光的偏光相位和偏光度，推定法線， 當推定的法線向量在視線向量的周圍有多個存在時，選擇的法線具有相對于包含所述 視線向量的水平面方向朝上的向量，當推定的法線向量在包含所述視線向量和入射光線的平面內(nèi)有多個存在時，選擇的法 線具有入射角小于布儒斯特偏振角的向量。
22.—種模擬立體圖像生成方法，其特征在于， 包含以下步驟取得屋外場景的偏光圖像；根據(jù)所述偏光圖像具有的偏光信息，推定屋外被攝物體表面的法線； 根據(jù)推定的被攝物體的表面法線，抽出垂直于所述表面法線的面；和 實施視點轉(zhuǎn)換，以生成其它視點下的場景圖像。
23.根據(jù)權(quán)利要求22所述的模擬立體圖像生成方法，其特征在于， 還包含對所抽出的面的頂點的世界坐標進行推定的步驟。
全文摘要
本發(fā)明提供一種圖像處理裝置和模擬立體圖像生成裝置，由以下各部構(gòu)成彩色偏光圖像取得部(201)、全天空偏光映射圖取得部(202)、天氣判定部(203)、晴天天空區(qū)域分離部(204)、陰天時法線推定部(207)和模擬立體化部(208)。該圖像處理裝置通過上述構(gòu)成，考慮屋外天空的偏光狀態(tài)，取得偏光信息，推定二維圖像的被攝物體表面的面法線信息，生成表面的法線圖像。利用該法線圖像，對被攝物體進行區(qū)域分割，抽出三維信息，生成視點轉(zhuǎn)換圖像，生成模擬的三維立體圖像。
文檔編號G01C11/06GK102113021SQ20098013065
公開日2011年6月29日 申請日期2009年12月16日 優(yōu)先權(quán)日2008年12月25日
發(fā)明者佐藤智, 甲本亞矢子, 金森克洋 申請人:松下電器產(chǎn)業(yè)株式會社