專利名稱：圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及能夠同時(shí)取得來(lái)自被拍攝體的彩色信息和偏振信息的圖 像處理裝置。
背景技術(shù)：
近年的數(shù)字?jǐn)z像機(jī)的進(jìn)步異常顯著，預(yù)想將來(lái)移動(dòng)電話的照相機(jī)中也
能夠得到HDTV畫(huà)質(zhì)。可是，若光學(xué)系統(tǒng)、攝像元件小型化，則產(chǎn)生因靈 敏度、透鏡衍射極限等產(chǎn)生的圖像攝像極限的問(wèn)題，因此，認(rèn)為將來(lái)高精 細(xì)化也會(huì)達(dá)到極限。在該情況下，在不足的被拍攝體的圖像信息中添加計(jì) 算機(jī)圖形學(xué)的處理對(duì)于畫(huà)質(zhì)提高較為有效?？墒?，因此沒(méi)有取得被拍攝體 的3維形狀信息、將被拍攝體照明的光源等圖像生成過(guò)程中的物理信息。 在形狀信息的取得過(guò)程中，通常，需要使用激光、LED (Light Emitting Diode)光的有源傳感器、2眼立體視(2眼7亍k才)等距離測(cè)量系統(tǒng)。 這些除了為較大規(guī)模的系統(tǒng)外，還存在各種的制約。例如照相機(jī)和被拍攝 體的距離充其量不過(guò)只有數(shù)m程度、對(duì)象被拍攝體被局限于固形物且明亮 的擴(kuò)散物體等制約。因此，在遠(yuǎn)距離的屋外場(chǎng)景攝影，和/或毛發(fā)、衣服較 為重要的人物攝影中不能夠利用。
以往，作為完全被動(dòng)(受動(dòng))的被拍攝體形狀檢測(cè)(i y^y夕、')方 式，存在利用偏振的技術(shù)。這是利用了如下原理的技術(shù)即來(lái)自被非偏振 的自然光照射了的被拍攝體的反射光(鏡面反射光或擴(kuò)散反射光)，由于 表面的朝向、視點(diǎn)這樣的幾何學(xué)的因素而呈現(xiàn)出種種的部分偏振。為了該 信息的取得，需要將被拍攝體各像素的部分偏振狀態(tài)作為偏振圖像而取 得。
非專利文獻(xiàn)l中，公開(kāi)了一邊對(duì)安裝于照相機(jī)的透鏡前的液晶型偏振 板進(jìn)行控制一邊取得動(dòng)態(tài)圖像的照相機(jī)。若使用此，則能夠?qū)⒉噬珓?dòng)態(tài)圖 像和被拍攝體的部分偏振的信息作為圖像而取得?？墒?，通過(guò)一邊在液晶 h施加電壓而改變偏振板的偏振主軸一邊取得數(shù)幀，能夠首先取得一個(gè)的偏振信息。因此，在彩色圖像和偏振圖像中產(chǎn)生數(shù)幀的錯(cuò)位，不能夠同時(shí)取得這些的圖像。該技術(shù)，與機(jī)構(gòu)地使偏振板旋轉(zhuǎn)的技術(shù)等同。
非專利文獻(xiàn)2和非專利文獻(xiàn)3中，公開(kāi)了為了同時(shí)取得輝度圖像和被拍攝體的部分偏振的圖像而在攝像元件上空間地配置具有多個(gè)不同的偏振主軸的圖案化偏振體的技術(shù)方案。作為圖案化偏振體，可以利用光子晶體、構(gòu)造復(fù)折射波長(zhǎng)板陣列?？墒?，這些技術(shù)中，只能夠同時(shí)取得單色圖像和偏振圖像。
專利文獻(xiàn)l，公開(kāi)了通過(guò)在拜爾(Bayer) (^<<亇)彩色馬賽克中的G(green)像素的一部上配置偏振濾光器，而使攝像元件的一部具有偏振特性，并同時(shí)取得彩色圖像和偏振信息的技術(shù)方案。在該技術(shù)中，從彩色圖像取得抑制了鏡面反射成分后的圖像。在該技術(shù)中，由于進(jìn)行了取得在不同的兩個(gè)偏振像素之間存在的差這樣的單純操作，因此不能夠完全取得被拍攝體的部分偏振的信息。
專利文獻(xiàn)1特開(kāi)2006 — 254331號(hào)公報(bào)
非專利文獻(xiàn)1Lawrence B.Wolff: "Polarization vision :a new sensory approach to image understanding", Image and Vision Computing 15 (1997) P P. 81—93，Elsevier Science B. V.
非專利文獻(xiàn)2川島，佐藤，川上，長(zhǎng)嶋，太田，青木'圖案化偏振體^用V、f:偏振0—^y夕、'fA一7和利用技術(shù)的開(kāi)発'電子信息通信學(xué)會(huì)2006年総合全國(guó)大會(huì)，N o . D — ll一52， P52，Ma r c h 200非專利文獻(xiàn)3菊田，巖田'偏振圖像測(cè)量系統(tǒng)，，Op 1 u s E，Vol. 25， No. 11， P1241 —1247， 2003
以往的技術(shù)中，不能夠同時(shí)取得被拍攝體的彩色圖像和被拍攝體的部分偏振的偏振圖像。為此，不能夠取得彩色動(dòng)態(tài)圖像，且不能夠取得時(shí)間卜.不錯(cuò)位的形狀信息。
專利文獻(xiàn)1中，在彩色圖像添加一部分偏振信息而對(duì)彩色圖像進(jìn)行控制，并對(duì)鏡面反射進(jìn)行抑制。在該技術(shù)中，如圖37所示，將像素以拜爾馬賽克狀配置。圖37中，G1和G2，均表示G像素，但是在G2的位置配置偏振體，在G1的位置不配置偏振體。另一方面，R1和B1，分別表
示R (赤)和B (青)的像素，在這些的像素位置不設(shè)置偏振體。即，在該像素配置中，僅僅G2像素作為偏振像素而發(fā)揮功能。
基于專利文獻(xiàn)1的裝置的處理，將G1和G2的像素位置中的輝度差乘以固定倍數(shù)，并分別加算于R1、 Gl、 Bl這樣的非偏振像素。由此，能夠?qū)Σ噬x度值進(jìn)行控制。在該構(gòu)成中，即使取得彩色圖像和偏振信息，由于在G2的像素位置設(shè)置有偏振體，因此不能夠取得正確的G輝度，在
插補(bǔ)后的彩色圖像產(chǎn)生色錯(cuò)位。
此外，由于僅僅使用l種的偏振像素，因此所取得的部分偏振的信息是不完全的。結(jié)果，不清楚在各像素位置中在其中一個(gè)的方向上產(chǎn)生哪種程度的部分偏振。也即，不能夠取得完全的偏振圖像。

發(fā)明內(nèi)容
本發(fā)明為了解決上述課題而提出，其目的在于提供一種能夠與彩色圖像 -起同時(shí)取得對(duì)偏振的方向和程度進(jìn)行表達(dá)的偏振圖像的圖像處理裝置和圖像處理方法。
另外，本發(fā)明的其他的目的，在于提供一種能夠適當(dāng)?shù)赜糜谏鲜龅膱D像處理裝置的圖案化偏振體，和備有該圖案化偏振體的單板攝像元件。
本發(fā)明的圖像處理裝置，具有彩色偏振光取得部，其包含單板彩色攝像元件，所述單板彩色攝像元件具有彩色馬賽克濾光器和圖案化偏振休，所述圖案化偏振體中具有不同角度的透過(guò)偏振面的多個(gè)偏振體單位被設(shè)置在所述彩色馬賽克濾光器內(nèi)的同一色的多個(gè)像素上；偏振信息處理部，其用正弦函數(shù)對(duì)所述同一色的多個(gè)像素中透過(guò)所述偏振體單位的光的輝度與所述偏振體單位的透過(guò)偏振面的角度之間的關(guān)系進(jìn)行近似；彩色馬賽克插補(bǔ)部，其通過(guò)進(jìn)行彩色輝度的插補(bǔ)，而得到在注目像素中沒(méi)有得到的彩色輝度，從而生成彩色輝度圖像。
在優(yōu)選的實(shí)施方式中，所述圖案化偏振體，具有如下構(gòu)成即透過(guò)偏振面的角度相互不同的4種偏振體單位鄰接而配置。
在優(yōu)選的實(shí)施方式中，所述彩色馬賽克濾光器，具有如下構(gòu)成即單
一特定色的像素以鋸齒形格子狀排列，所述偏振體單位，配置于以所述鋸
8齒形格子狀排列的像素。
在優(yōu)選的實(shí)施方式中，所述特定色是R (紅)、G(綠)、B(藍(lán))中的G
(綠)。
本發(fā)明的圖像處理方法具有使用在彩色像素排列中的單一特定色的多個(gè)像素設(shè)置有透過(guò)偏振面的角度不同的偏振體單位的單板彩色攝像元件，對(duì)各像素的輝度進(jìn)行觀測(cè)的步驟；根據(jù)在所述單一特定色的多個(gè)像素所觀測(cè)到的輝度取得偏振信息的步驟；通過(guò)基于所述單一特定色和其他的2色的光的輝度，而對(duì)彩色輝度空間地進(jìn)行插補(bǔ)，從而生成彩色輝度圖像的步驟。
本發(fā)明的圖像處理裝置，具有彩色偏振光取得部，其包含單板彩色
攝像元件，所述單板彩色攝像元件具有彩色馬賽克濾光器和圖案化偏振體，所述圖案化偏振體中具有不同角度的透過(guò)偏振面的多個(gè)偏振體單位被
設(shè)置于所述彩色馬賽克濾光器內(nèi)的不同色的多個(gè)像素；偏振信息處理部，其利用正弦函數(shù)對(duì)所述不同色的多個(gè)像素中透過(guò)所述偏振體單位后的光的輝度或校正輝度與所述偏振體單位的透過(guò)偏振面的角度的關(guān)系進(jìn)行近似；彩色馬賽克插補(bǔ)部，其通過(guò)進(jìn)行色輝度的插補(bǔ)，而得到在注目像素沒(méi)有得到的彩色輝度，從而生成彩色輝度圖像。
在優(yōu)選的實(shí)施方式中，所述彩色馬賽克濾光器具有單一特定色的像素排列為鋸齒形格子狀的結(jié)構(gòu)，在所述排列為鋸齒形格子狀的像素中，透過(guò)偏振面角度相互不同的4種偏振體單位鄰接而配置，并在其他色的像素配置有透過(guò)偏振面的角度相互不同的至少兩種偏振體單位。
在優(yōu)選的實(shí)施方式中，所述特定色是R (紅)、G (綠)、B (藍(lán))中的G (綠)。
在優(yōu)選的實(shí)施方式中，所述彩色馬賽克插補(bǔ)部，通過(guò)對(duì)在注目像素近旁在具有透過(guò)偏振面的角度相互e。不同的(180/ e )種類的偏振體單位的同一色像素所觀測(cè)到的輝度進(jìn)行平均化，而消除偏振的效果，從而對(duì)彩色輝度進(jìn)行插補(bǔ)。
在優(yōu)選的實(shí)施方式中，所述彩色馬賽克插補(bǔ)部，基于在注目像素近旁由透過(guò)偏振面的角度相等的不同的色的像素所觀測(cè)到的輝度，對(duì)彩色輝度進(jìn)行推定。
9在優(yōu)選的實(shí)施方式中，在同一色的像素中使用的偏振體單位的偏振波長(zhǎng)依存特性，在與該色相對(duì)應(yīng)的波長(zhǎng)帶域內(nèi)相互大致相等。
本發(fā)明的圖像處理方法，具有使用在彩色像素排列中的不同色的多個(gè)像素設(shè)置有透過(guò)偏振面的角度不同的偏振體單位的單板彩色攝像元件，對(duì)各像素的輝度進(jìn)行觀測(cè)的步驟；基于同一色且透過(guò)偏振面的角度不同的
多個(gè)像素的輝度取得偏振信息的步驟；對(duì)注目像素近旁中的不同色且透過(guò)偏振面角度不同的多個(gè)像素的輝度進(jìn)行校正而取得偏振信息的步驟；以及分別利用注目像素近旁中的同一色且具有透過(guò)偏振面的角度相互以e °
不同的(180/ e)種的偏振體單位的像素的輝度，和不同色且具有透過(guò)偏振面的角度相等的偏振體單位的像素，對(duì)在注H像素中沒(méi)有得到的彩色輝度進(jìn)行推定，從而生成彩色輝度圖像的步驟。
本發(fā)明的圖案化偏振體，具有與彩色像素排列的至少1色的像素對(duì)應(yīng)而二維地排列的多個(gè)偏振體單位，其中，所述多個(gè)偏振體單位，包含透過(guò)偏振面的角度相互不同的偏振體單位。
在優(yōu)選的實(shí)施方式中，所述多個(gè)偏振體單位以鋸齒形格子狀排列，并在鄰接的偏振體單位之間不配置偏振體單位。
在優(yōu)選的實(shí)施方式中，所述多個(gè)偏振體單位，具有如下結(jié)構(gòu)即周期
性地排列由透過(guò)偏振面角度相互e。不同的(180/ e)種的偏振體單位
組成的組。
在優(yōu)選的實(shí)施方式中，所述多個(gè)偏振體單位，具有偏振體單位，其與鋸齒形格子狀排列的特定色的像素相對(duì)應(yīng)；偏振體單位，其與所述鋸齒
形格子狀排列的特定色的像素以外的像素相對(duì)應(yīng)。
在優(yōu)選的實(shí)施方式中，與所述鋸齒形格子狀排列的特定色的像素相對(duì)
應(yīng)的偏振體單位，具有如下結(jié)構(gòu)即周期性地排列由透過(guò)偏振面的角度以
相互e °不同的(180/ e )種類的偏振體單位組成的組，與所述特定色
的像素以外的像素相對(duì)應(yīng)的偏振體單位，具有如下結(jié)構(gòu)即周期性地排列
由透過(guò)偏振面的角度不同的兩種偏振體單位組成的組。
本發(fā)明的單板彩色攝像元件，備有上述任何一種圖案化偏振體；以
及與各像素重合的方式配置有所述圖案化偏振體的各偏振體單位的彩色馬賽克濾光器。本發(fā)明的圖像處理裝置，具有彩色偏振光取得部，其具有單板彩色攝像元件，所述單板彩色攝像元件具有彩色馬賽克濾光器和圖案化偏振體，所述圖案化偏振體中具有不同的4個(gè)以上的角度的透過(guò)偏振面的多個(gè)偏振體單位被設(shè)置于所述彩色馬賽克濾光器內(nèi)的同一色的多個(gè)像素；偏振信息處理部，其用正弦函數(shù)對(duì)所述同一色的多個(gè)像素中透過(guò)所述偏振體單位后的光的輝度與所述偏振體單位的透過(guò)偏振面的角度之間的關(guān)系進(jìn)行近似；彩色馬賽克插補(bǔ)部，其通過(guò)進(jìn)行彩色輝度的插補(bǔ)，將由透過(guò)偏振面的角度相互不同、且鄰接的3個(gè)的偏振體單位形成的三角形區(qū)域作為像素單位而生成彩色輝度圖像。
根據(jù)本發(fā)明，將多種偏振體單位組合于彩色馬賽克濾光器的像素排列而使用，因此能夠同時(shí)取得與彩色輝度和偏振相關(guān)的信息，并能夠進(jìn)行處理。


圖1是表示本發(fā)明中的圖像處理裝置的構(gòu)成的方框圖。
圖2是表示本發(fā)明中的彩色偏振光取得部的構(gòu)成的圖。圖3是偏振體單位的4種偏振主軸的說(shuō)明圖。
圖4 ( a)和(b)是第1實(shí)施方式的彩色濾光器和圖案偏振元件的排列狀態(tài)的說(shuō)明圖。
圖5 ( a)和(b)是第1實(shí)施方式的彩色濾光器和圖案偏振元件的排列狀態(tài)的其他例的說(shuō)明圖。
圖6 ( a)和(b)是具有課題的彩色濾光器和圖案偏振元件的排列狀態(tài)的說(shuō)明圖。
圖7是具有課題的彩色濾光器和圖案偏振元件的排列狀態(tài)的其他例的說(shuō)明圖。
圖8是第1實(shí)施方式中的R (B)像素周邊的圖。圖9是對(duì)第1實(shí)施方式中的正弦函數(shù)狀輝度變動(dòng)和觀測(cè)輝度點(diǎn)進(jìn)行說(shuō)明的圖。
圖10是第1實(shí)施方式中的G像素周邊的圖。
圖11是對(duì)第1實(shí)施方式中的彩色馬賽克插補(bǔ)部的動(dòng)作進(jìn)行說(shuō)明的流程圖。
圖12是對(duì)第1的實(shí)施方式中的偏振信息處理部102的動(dòng)作進(jìn)行說(shuō)明的流程圖。
圖13 ( a )是對(duì)作為球體的塑料制球被拍攝體的輸入圖像，(b )和(c)分別是表示與(a)的被拍攝體相對(duì)應(yīng)的偏振度圖像P ( x ， y)和偏振相位圖像4) (x， y)的例的圖像。
圖14 ( a )禾P ( b )是表示偏振度圖像P ( x ， y )和偏振相位圖像4) (x， y)的被拍攝體上的數(shù)值變化的示意圖。
圖15 ( a )到(d )，是表示向鏡面反射成分圖像和擴(kuò)散反射成分圖
像的分離的例子的圖。
圖16 ( a )和(b )是表示第2實(shí)施方式中的彩色濾光器和圖案化偏
振體的排列的圖。
圖17 ( a )和(b )是表示第2實(shí)施方式中的彩色濾光器和圖案化偏振體的其他排列的圖。
圖18 ( a )至(c )，是對(duì)第2實(shí)施方式中的圖案化偏振體的波長(zhǎng)特
性進(jìn)行說(shuō)明的圖。
圖19是第2實(shí)施方式中的R (B)像素周邊的圖。
圖20是對(duì)第2實(shí)施方式中使用偏振信息的彩色輝度推定進(jìn)行說(shuō)明的
;圖21是第2實(shí)施方式中的G像素周邊的圖。
圖22是對(duì)第2實(shí)施方式中色散為彩色的偏振信息的歸一化進(jìn)行說(shuō)明的圖。
圖23是對(duì)第2實(shí)施方式中的彩色馬賽克插補(bǔ)部的動(dòng)作進(jìn)行說(shuō)明的流程圖。
圖24是對(duì)第2實(shí)施方式中的偏振信息處理部的動(dòng)作進(jìn)行說(shuō)明的流程圖。
圖25是表示第3實(shí)施方式中的彩色濾光器和圖案化偏振體的排列的圖。
圖26是表示第3實(shí)施方式中的彩色濾光器和圖案化偏振體的其他排列的圖。
12圖27是第3實(shí)施方式中的R (B)像素周邊的圖。圖28是第3實(shí)施方式中的G像素周邊的圖。
圖29 ( a )和(b )是對(duì)第4實(shí)施方式中的彩色濾光器和圖案化偏振體的排列和單位像素的形狀進(jìn)行說(shuō)明的圖。
圖30 ( a )和(b )是對(duì)第4實(shí)施方式中的彩色濾光器和圖案化偏振體的排列、以及單位像素的形狀進(jìn)行說(shuō)明的圖。
圖31 ( a )和(b )是對(duì)第4實(shí)施方式中的其他彩色濾光器和圖案化偏振體的排列，以及單位像素的形狀進(jìn)行說(shuō)明的圖。
圖32是對(duì)第4實(shí)施方式中的三角形區(qū)域的集合和G彩色輝度的插補(bǔ)
方法進(jìn)行說(shuō)明的圖。
圖33是對(duì)第4實(shí)施方式中的三角形區(qū)域的集合和B彩色輝度的插補(bǔ)
方法進(jìn)行說(shuō)明的圖。
圖34是對(duì)第4實(shí)施方式中的三角形區(qū)域的集合和R彩色輝度的插補(bǔ)方法進(jìn)行說(shuō)明的圖。
圖35是表示第4實(shí)施方式中的彩色馬賽克插補(bǔ)部的處理的流程圖。
圖36是表示第4實(shí)施方式中的偏振信息處理部的處理的流程圖。
圖37是以往技術(shù)的說(shuō)明圖。
圖中
100 透鏡
101彩色偏振光取得部102偏振信息處理部103彩色馬賽克插補(bǔ)部104彩色圖像幀存儲(chǔ)器105偏振度圖像幀存儲(chǔ)器106偏振相位圖像幀存儲(chǔ)器107馬賽克圖像幀存儲(chǔ)器
具休實(shí)施方式 '
以下，參照附圖對(duì)基于本發(fā)明的圖像處理裝置和圖像處理方法的實(shí)施方式進(jìn)行說(shuō)明。以下所說(shuō)明的本發(fā)明的優(yōu)選實(shí)施方式，大概具有以下的構(gòu)成。
實(shí)施方式l:彩色馬賽克中，僅在G像素配置偏振體。
實(shí)施方式2:在彩色馬賽克中的R、 G、 B的所有的像素配置偏振體。
實(shí)施方式3:僅在彩色馬賽克中的G和R或G和B配置偏振體。實(shí)施方式4:與實(shí)施方式1同樣僅在G像素設(shè)置4種偏振體，但是選擇鄰接的3種偏振體而進(jìn)行偏振信息取得和彩色插補(bǔ)。
(實(shí)施方式1)
圖1是表示本說(shuō)明書(shū)中說(shuō)明的本發(fā)明的實(shí)施方式的所有共通的基本的構(gòu)成的方框圖。本實(shí)施方式的裝置，能夠從被拍攝體實(shí)時(shí)取得彩色圖像信總，同時(shí)取得偏振圖像信息，并作為兩種類的偏振圖像(偏振度圖像p
和偏振相位圖像cJO而輸出。偏振度圖像P和偏振相位圖像cj)可以是靜
止、動(dòng)態(tài)圖像的任何一種。
通過(guò)圖1所示的透鏡IOO后的入射光，入射到彩色偏振光取得部101。彩色偏振光取得部101從該入射光同時(shí)取得彩色動(dòng)態(tài)圖像和偏振信息圖像的數(shù)據(jù)。從彩色偏振光取得部101輸出的彩色馬賽克圖像的數(shù)據(jù)被存儲(chǔ)馬賽克圖像幀存儲(chǔ)器107。
從馬賽克圖像幀存儲(chǔ)器107順次讀出馬賽克圖像的數(shù)據(jù)，并發(fā)送到彩色馬賽克插補(bǔ)部102而進(jìn)行插補(bǔ)處理。插補(bǔ)處理的結(jié)果，對(duì)于一像素，存儲(chǔ)在由RGB的3平面(7°^—>)構(gòu)成的彩色圖像幀存儲(chǔ)器104，也進(jìn)行適宜讀出。
從馬賽克圖像幀存儲(chǔ)器107，順次讀出像素信號(hào)，并被發(fā)送到偏振信息處理部103。這些像素信號(hào)，在偏振信息處理部103中被處理，并被存儲(chǔ)在偏振度圖像幀存儲(chǔ)器105和偏振相位圖像幀存儲(chǔ)器106。從偏振度圖像幀存儲(chǔ)器105輸出偏振度圖像(P)的數(shù)據(jù)，并從偏振相位圖像幀存儲(chǔ)器106輸出偏振相位圖像(dO的數(shù)據(jù)。
圖2是表示彩色偏振光取得部101的基本的構(gòu)成的示意圖。在圖示的例中，彩色馬賽克濾光器201和圖案化偏振體202，在攝像元件像素203的前表面被重疊而設(shè)置。彩色馬賽克濾光器201和圖案化偏振體202的重疊順序也可以是相反。入射光204透過(guò)彩色馬賽克濾光器201和圖案化偏振體202而到達(dá)攝像元件，并利用攝像元件像素203按照像素單位觀測(cè)輝
14度。根據(jù)本實(shí)施方式，能夠使用單板彩色攝像元件而同時(shí)取的彩色信息和偏振信息的兩方。另外，圖案化偏振體202，如后面詳細(xì)說(shuō)明的那樣，由
包含透過(guò)偏波面的角度相互不同的偏振體單位(ir夕'？ y卜)的多數(shù)的偏振體單位構(gòu)成。每個(gè)的偏振體單位，典型地具有與l像素相當(dāng)?shù)拇笮?，但是不需要偏振體單位配置在彩色馬賽克濾光器201的全部的像素。
這樣的圖案化偏振體202，能夠使用例如非專利文獻(xiàn)2所記載的光子晶體而實(shí)現(xiàn)。光子晶體的情況下，具有與在其表面形成的溝平行的電場(chǎng)矢量(振動(dòng)面)的光成為T(mén)E波(Transverse Electric Wave,電場(chǎng)成分相對(duì)于入射面橫朝向)，垂直的電場(chǎng)矢量(振動(dòng)面)的光成為T(mén)M波(TransverseMagnetic Wave,磁場(chǎng)成分相對(duì)于入射面橫朝向)。并且，偏振體單位，表現(xiàn)出在各波長(zhǎng)帶域中TM波透過(guò)、TE波反射(不透過(guò))的偏振特性。
圖3不意性地表示由圖案化偏振體202的各偏振體單位所描繪的斜線的意思。圖3所示的各像素內(nèi)的斜線，表示各像素上設(shè)置的微小偏振板(偏振體單位)的偏振主軸方向。這里，所謂'偏振主軸，，是透過(guò)偏振體的光的與偏波面(透過(guò)偏波面)平行的軸。
偏振體單位透過(guò)在主軸方向具有振動(dòng)面的光，并對(duì)具有與此垂直的振動(dòng)面的光進(jìn)行遮斷。本說(shuō)明書(shū)中，偏振體編號(hào)1 4的偏振體單位，分別對(duì)角度^=0° 、 45° 、 90° 、 135°的偏振主軸進(jìn)行分配。偏振體單位的偏振透過(guò)率，依存于所利用的光的波長(zhǎng)，因此與彩色馬賽克濾光器的透過(guò)波長(zhǎng)帶相一致而設(shè)計(jì)。例如由符號(hào)(符合)'G1'所特定的偏振體單位以在'G'的波長(zhǎng)帶域中透過(guò)主軸方向?yàn)?l'(即，角度W=0° )的方向的偏振的方式進(jìn)行設(shè)計(jì)。
圖4 ( a )表示本實(shí)施方式的彩色偏振光取得部101中的縱8個(gè)X橫8個(gè)的合計(jì)16個(gè)的像素的配置。圖4 (a)的例中，在拜爾型彩色馬賽克濾光器中的G像素的位置中配置'G1' 'G4'這4種的偏振體單位，但是在R像素和B像素的位置沒(méi)有配置偏振體單位。在圖4 (a)中，僅僅示出了 8X8 = 64個(gè)的像素，但是在實(shí)際的彩色偏振光取得部101中，在與攝像面平行的面內(nèi)周期性地排列與圖4(a)所示的64個(gè)的像素方框(7"口、乂夕)相同的多數(shù)的像素方框。
圖4 ( b)中，從圖4 (a )所示的像素方框省略R像素和B像素的記載，并且，示出了對(duì)G像素中的偏振體單位的主軸方向進(jìn)行規(guī)定的數(shù)字。
即，圖4 (b)中的編號(hào)'1， M，分別表示配置了 'G1' 'G4，的偏振體單位的像素。沒(méi)有標(biāo)出編號(hào)'l' 的空白的像素，是R像素和B像素的其中一方，如前述的那樣，由于在這些的像素不設(shè)置偏振體單位，因此能夠稱為'非偏振像素'。
在圖4 ( b )所示的配置中，各自由4X4 = 16個(gè)的像素構(gòu)成的兩個(gè)的方框(A)禾口，同樣各自由4X4=16個(gè)的像素構(gòu)成的兩個(gè)方框(B)組合在一起。該配置，具有以下的特征點(diǎn)。
(l一l)由編號(hào) '4'所表示的不同的4種的偏振像素位于組401中包含的非偏振像素的近旁4連結(jié)位置。另外，所謂'近旁4連結(jié)位置，，表示位于邊相對(duì)于中心圖像鄰接的十字位置的4像素。同樣的情況，也適合其他任意的非偏振像素。即，對(duì)于任何的非偏振像素，不同的4種偏振像素均位于近旁4連結(jié)位置。如此，在非偏振像素的近旁存在4個(gè)不同的偏振像素，因此能夠以較高的精度得到非偏振像素的位置中的偏振信息。
(l一2) 像素組402 405，分別由位于中心的偏振像素和位于其近旁8連結(jié)(傾斜)位置的4個(gè)的偏振像素的合計(jì)5個(gè)的偏振像素構(gòu)成。為了對(duì)這些的組402 405的各個(gè)中包含的合計(jì)5個(gè)像素附加編號(hào)，必須包含編號(hào)'l' '4'的全部。另外，在5個(gè)像素中附加的編號(hào)中的1個(gè)是重復(fù)的。例如組合402中包含的5個(gè)的像素中，分別分配為編號(hào)、 '2'、'3'、 '3'、 '4'，編號(hào)'3'重復(fù)。這樣，在偏振像素的近旁8連結(jié)位置，存在所有種類的圖案化偏振體，因此偏振像素的位置中的偏振信息也能夠以較高的精度得到。
(l一3)將圖4 ( b )所示的8X8 = 64個(gè)的像素配置作為1個(gè)的單位
周期圖案而在上下左右周期性地重復(fù)鋪滿，能夠維持單位周期圖案的邊界附近中的連續(xù)性而充滿(埋力盡〈)攝像面的全體。
圖5 ( a)和(b)是用于說(shuō)明從其他視點(diǎn)說(shuō)明上述像素配置的特征的圖。圖5 (a )表示與圖4的像素配置相同的像素配置，圖5 (b )表示具有同樣的性質(zhì)的其他的像素配置例。這些配置中，在相互平行的多個(gè)對(duì)角直線的各個(gè)上以不同相位交互地配置兩種偏振像素。例如，在對(duì)角直線505 508，分別重復(fù)1 —2 —1—2 — ' ■ , ， 3 —4 — 3 — 4—■ ■ , ， 2 —1 — 2 — 1. ■ , ， 4一3 — 4 — 3' ■,，這樣的排列。同樣，在對(duì)角直線514 517中，以1 — 3 — 1 — 3, ■ ■ ， 2 —4 — 2 —4—■■■， 3 — 1 — 3 — 1—...， 4一2 —4 — 2' ■ ■的方式變化相位而排列兩種像素。
圖6 U )和(b)表示與圖4的像素配置相類似的像素配置。其中，圖6 (a)禾P (b)所示的配置中，偏振像素的近旁8連結(jié)位置中的偏振像素的種類不足4種，因此不能夠在本實(shí)施方式1中采用。即，圖6 ( a )和(b )所示的配置，備有上述的特征點(diǎn)(l一l) (1_3)中特征點(diǎn)(1一l)和(l一3)，但是不具有特征點(diǎn)(l一2)。例如在圖6 (a)中的偏振像素620的近旁8連結(jié)位置，不存在編號(hào)'1'、 '4'的偏振像素，在圖6(b)中的偏振像素630的近旁8連結(jié)位置，不存在編號(hào)'1'、 '2'的偏振像素。在對(duì)角直線601 604，分別重復(fù)1 —2 — 1 —2—' ■ ■ ， 3 — 4一3—4—. ■ ■ ， 2 — 1 — 2 — 1' ■ , ， 3 — 4 — 3 — 4',,，這樣的排列，在3—4一6 — 4的排列沒(méi)有相位的變化。圖6 (b)的配置中也同樣，在對(duì)角宵線610， 612中的1一3 — 1一3的排列，沒(méi)有相位的變化。
圖7表示與圖4的像素配置類似的其他像素配置。該配置，也是在偏振像素的近旁8連結(jié)位置偏振像素的種類不足，因此在本發(fā)明的實(shí)施中不能夠采用。這里，示出了各自鋪滿由4X4二16個(gè)的像素構(gòu)成的方框的配置，該配置也是具有上述特征點(diǎn)中的特征點(diǎn)(l一l)和(l一3)，而不具有特征點(diǎn)(l一2)。例如，在圖7所示的組502中，由編號(hào)'3'所特定的偏振像素的近旁8連結(jié)位置中，僅僅存在編號(hào)'2'、' 4'這兩種的偏振像素。這樣的配置中，存在能夠從其周?chē)钠裣袼氐倪m當(dāng)?shù)氐玫椒瞧裣袼?白方框(77))的偏振信息，而不能夠從其周?chē)钠裣袼剡m當(dāng)?shù)氐玫狡裣袼氐钠裥畔⒌膯?wèn)題。
如從以上的考察所明了的那樣，本實(shí)施方式中，作為兼具前述的3個(gè)特征點(diǎn)的像素配置，能夠適當(dāng)?shù)夭捎脠D4或圖5所示的例子。以下的說(shuō)明中，對(duì)于采用圖4所示的像素配置的情況進(jìn)行。
參照?qǐng)D8和圖10，說(shuō)明使用本實(shí)施方式的圖案化偏振體而取得偏振信息和彩色信息的原理和處理。圖8和圖10，記載了用于從圖4所示的像素配置提取由4X4 = 16個(gè)的像素構(gòu)成的1方框，并對(duì)方框內(nèi)中的像素位置200880
進(jìn)行特定的下標(biāo)(x， y)。下標(biāo)x和y，分別是1 4的整數(shù)，是識(shí)別方框內(nèi)中的矩陣(7卜！J、;/夕7)的行和列的數(shù)字。<只像素位置的偏振信息>
以圖8的R."為例進(jìn)行說(shuō)明。圖8中，Rn、 Ru、 R:u、 R33，分別表示像素坐標(biāo)(x:橫，y:縱)=(1， 1)， (1， 3)， (3， 1)， (3， 3)中的R像素。另外，B22、 B24、 B42、 B彬分別表示像素坐標(biāo)(2， 2)、 (2，4)、 (4， 2)、 (4， 4)中的B像素。這些R像素和B像素是非偏振像素。
另一方面，(Gl) 12、 (G3) "、 (G2) 21、 (G4) 23、 (G3) 32、 (G2)M、 (G4)化(Gl) 43，分別表示像素坐標(biāo)(1， 2)的G1像素、(1， 4)的G3像素、(2， 1)的G2像素、(2， 3)的G4像素、(3， '2)的G3像素、(3， 4)的G2像素、(4， 1)的G4像素、(4， 3)的G1像素。Gl G4像素，分別是偏振主軸的朝向不同的4種偏振像素。
圖8所示的Rn等的記號(hào)，是對(duì)像素位置進(jìn)行特定并對(duì)該像素位置中的觀測(cè)輝度進(jìn)行表示的記號(hào)。
如圖8所示那樣，在用圓包圍記號(hào)的非偏振像素R33的近旁4連結(jié)位置，配置偏振主軸的方向不同的4種偏振像素，即(Gl)4:,、 (G2):m、 (G3) S2、 (G4) 2:i。這些4個(gè)的偏振像素G均存在于離非偏振像素R33空間上非常近的位置，因此基于從這些4個(gè)的偏振像素G得到的偏振信息，能夠
取得非偏振像素R 33中的偏振信息。
圖9是透過(guò)具有方向不同的偏振主軸(W i =0° 、45° 、90° 、135° )的4種偏振體后的G光的輝度901 904。這里，將偏振主軸的旋轉(zhuǎn)角V為V,時(shí)的觀測(cè)輝度設(shè)為I i。其中，'i '，為1以上N以下的整數(shù)，'N'為樣本數(shù)，圖7所示的例中，由于是N二4，因此成為i =1， 2， 3， 4。在圖9中，示出了與4個(gè)G像素的樣本(Vi， I ,)對(duì)應(yīng)的輝度901 904。
偏振主軸的角度W i和輝度901 904的關(guān)系，由正弦函數(shù)所表達(dá)。表示該輝度的4點(diǎn)，以正好位于(^上5P乘3)在l根的正弦函數(shù)曲線上的方式進(jìn)行描繪，但是正弦函數(shù)相對(duì)于表示由實(shí)際的所觀測(cè)到的輝度的4點(diǎn)，作為基于最小二乘法的最佳值而被決定。
另外，所謂本說(shuō)明書(shū)中的'偏振信息'，是指對(duì)輝度相對(duì)于偏振主軸角度的依存性進(jìn)行表示的正弦函數(shù)曲線中的振幅調(diào)制度P和相位信息4>
18的參數(shù)。
偏振體單位的相對(duì)于偏振主軸的角V (圖3參照)的觀測(cè)輝度，由以卜.的式所農(nóng)示。
數(shù)學(xué)式1
)".sin2(y-丑)+ C (式l)
這里如圖9所示的那樣，A、 B、 C是常數(shù)，分別表示偏振輝度的變
動(dòng)曲線的振幅、相位、平均值。(式l)能夠按照以下方式進(jìn)行展開(kāi)。數(shù)學(xué)式2
其中，A和B，分別由以下的(式3)和(式4)所表示。數(shù)學(xué)式3
X Wa2 +62 、 sin(-2B) = ~r^~~、 cos(-25) = (式3)
數(shù)學(xué)式4
(式4)
R " -'W5 = —tan —
2 、a>
4像素的樣本(L Ii)中，若求取將以下的(式5)最小化的A、B、 C，則能夠決定正弦函數(shù)(式1)。其中，I,表示偏振板旋轉(zhuǎn)角V，時(shí)的觀測(cè)輝度，N表示樣本數(shù)(這里為4)。
數(shù)學(xué)式5
/(a，6， C) - Z (A - ". sin 2y, - 6 ， cos 2y, - C) (式5 )
這里，由編號(hào)'r '4'所特定的偏振體單位中的偏振主軸的角
度限亍Vi=0° 、 45° 、 90° 、 135°的情況，如以下的(式6) (式8)所示的那樣，能夠不使用最小2乘法，直接從觀測(cè)輝度求得(式5)的結(jié)果。
數(shù)學(xué)式6數(shù)學(xué)式7
萬(wàn)=—tan 12
"—r 、
(式7 )
數(shù)學(xué)式8
C-^+^ + A + A) (式8)
根據(jù)以上的處理，確定正弦函數(shù)近似的A、 B、 C這3個(gè)參數(shù)。如此，能夠求得表示各像素中的偏振度P的偏振度圖像和表示各像素中的偏振相位4)的偏振相位圖像。偏振度P表示對(duì)應(yīng)像素的光偏振的程度，偏振相位4)表示采用圖9的近似后的正弦函數(shù)的最大值的角度位置。該角度在圖像面內(nèi)，表示來(lái)自被拍攝體的反射光引起內(nèi)部擴(kuò)散反射的情況下的被拍攝體的表面法線所存在的面的角度。另外，關(guān)于偏振主軸的角度，0°和180° (")是同一的。
值p、 d) (0^4)^兀)，分別由以下的(式9)和(式IO)所算出。
數(shù)學(xué)式9
/ 一/ ^
p = _2S5S1!L =— (式g)
/ +/ C
i max■*加n v
數(shù)學(xué)式10
"!+B (式i o)
< R像素位置的彩色輝度的插補(bǔ)〉
R像素中應(yīng)該插補(bǔ)的彩色輝度是B和G的輝度。對(duì)于B輝度，將位于圖8的Rm的近旁8連結(jié)位置的4點(diǎn)的B像素中的輝度的平均值作為B輝度的插補(bǔ)值。
數(shù)學(xué)式11
43,22+^4+542+^)/4 (式1 1 )
20對(duì)于G輝度，首先采用位于R33的周?chē)?連結(jié)位置的4點(diǎn)G像素(偏振像素)的輝度的平均。如此，若將相對(duì)于180。成為間隔角度6的(180/ e)種類的偏振像素的輝度全部加算而進(jìn)行平均操作，則如圖9的輝度901和輝度903，以及輝度902和輝度904那樣，將正弦函數(shù)上相位正好相反(正反対)的兩個(gè)樣本點(diǎn)加算平均，因此與正弦函數(shù)的平均值C相等。即，基于偏振的輝度的變動(dòng)的效果被抵消而計(jì)算出平均輝度，因此能夠?qū)⒋俗鳛镚輝度的插補(bǔ)值。其中，透過(guò)偏振板后的輝度與沒(méi)有偏振板的情況相比較，輝度衰減到1/2，需要2倍的校正。
上述的說(shuō)明中，為了簡(jiǎn)單，將偏振體單位的最大透過(guò)率T作為1 (100%)。為此沒(méi)有偏振體的狀態(tài)下的G輝度值與透過(guò)偏振體后消除了偏振效果后的平均輝度相等?？墒?，對(duì)于不能夠?qū)崿F(xiàn)100%透過(guò)率的現(xiàn)實(shí)的偏振體單位的情況，上述的G插補(bǔ)值需要使用偏振體單位的最大透過(guò)率T而進(jìn)行校正，G的插補(bǔ)值如以下那樣。
數(shù)學(xué)式12
4=[((Gl)43+(G2)34+(G3)32+(G4)23)/4r]x2 (式1 2)
另外，這些插補(bǔ)式是基于線形插補(bǔ)的插補(bǔ)式。作為拜爾型馬賽克濾光器的插補(bǔ)方式，以往，存在使用輝度梯度的方法等，因此若適當(dāng)利用這些方法，則能夠以更高的精度進(jìn)行插補(bǔ)。
〈B像素位置的偏振信息〉
以圖8的B22為例進(jìn)行說(shuō)明。在作為B像素的B22的近旁，配置偏振主軸的方向不同的4個(gè)的偏振像素(Gl) ,2， (G2) 21， (G3) 32， (G4)
,,，因此能夠利用與針對(duì)R像素所說(shuō)明的方法同樣的方法，得到偏振信息。<B像素位置的彩色輝度的插補(bǔ)〉
B像素中，應(yīng)該插補(bǔ)的彩色輝度，是R和G的輝度。對(duì)于R的輝度，如以下的(式13)所示，采用圖8的B22的近旁8連結(jié)位置存在的4種R像素中的觀測(cè)輝度的平均，而作為R輝度的插補(bǔ)值。
數(shù)學(xué)式13
21先2 +/ U + / 3I+A33)/4 (式13)
對(duì)于G的輝度，也可以，如以下的(式14)所示那樣，采用4種偏振像素的輝度平均消除偏振效果，而作為G的插補(bǔ)值。數(shù)學(xué)式14
=[((G1)'2 +(G2)21 +(G3)32 +(G4)23)/4r]x2 (式1 4 >
另外，這些的插補(bǔ)式是基于線形插補(bǔ)的式子，如前述的那樣可以適當(dāng)利用其他的公知的方法，也能夠進(jìn)行更高精度的插補(bǔ)?！碐像素位置的偏振信息〉
以圖10的(G4) 23為例進(jìn)行說(shuō)明。圖IO所示的下標(biāo)的意味等，是與圖8所示的相同。
在(G4) w的近旁8連結(jié)位置存在偏振主軸方向不同的4種的偏振像素(Gl) 12， (G3) m， (G3) ,,2， (G2)."。為此，基于這些的偏振像素中得到的觀測(cè)輝度，決定圖9所示的輝度曲線，也能夠得到偏振信息。其中，與R、 B像素的情況不同，由于包含兩個(gè)的偏振像素G3，因此兩個(gè)的偏振信息重復(fù)。為此，也可以使用以下的兩種方法的其中之一。
作為第1方法，舍棄(G3) 14或(G3) 32的其中1個(gè)的信息而僅使用不同的4種的不同的圖案化偏振體的信息。在該情況下，與其他的色像素同樣，使用(式6) (式8)而決定輝度曲線。該方法，具有計(jì)算簡(jiǎn)單優(yōu)點(diǎn)。
第2方法是從包含2個(gè)重復(fù)點(diǎn)的5點(diǎn)的觀測(cè)輝度，使用(式5)的最小2乘法而決定輝度曲線的方法。<0像素位置的彩色輝度>
G像素是設(shè)置有偏振體單位的像素，因此該像素位置中，除了R和B的輝度的外，也需要計(jì)算原來(lái)的G輝度。
首先，根據(jù)R和B的輝度插補(bǔ)進(jìn)行說(shuō)明。如從圖4所明了的那樣，G像素的周邊(G (含)像素的上下或左右)，必須存在R像素和B像素。這里以圖10的(G4) 23像素為例進(jìn)行說(shuō)明。在(G4) 23的像素的上下R像素、在左右B像素各存在2像素。為此，若對(duì)兩個(gè)的R像素和兩個(gè)的
22B像素的各個(gè)進(jìn)行平均化，則能夠求得(G4) 23的像素位置中的R和B 的平均輝度。即，對(duì)于G像素位置中的R輝度和B輝度，能夠按照以下 的(式15)所示的那樣進(jìn)行線形插補(bǔ)。數(shù)學(xué)式15
^23 二 (7 3+A33)/2 石23 =(丑22 + ^24)/2 (式1 5)
接下來(lái)，對(duì)于G輝度進(jìn)行說(shuō)明。
在G像素的近旁4連結(jié)位置、8連結(jié)位置的任何之一均不存在能夠用 于插補(bǔ)那樣的G像素。為此，使用已經(jīng)插補(bǔ)后的R像素和B像素位置中 的G插補(bǔ)值，而按照以下的(式16)所示的那樣進(jìn)行插補(bǔ)。數(shù)學(xué)式16
43=((513+42+43 + 44)/4 (式ie) 接下來(lái)，參照?qǐng)D11，對(duì)圖1中的彩色馬賽克插補(bǔ)部102的動(dòng)作進(jìn)行 說(shuō)明。
首先，由彩色偏振光取得部101所取得的彩色馬賽克圖像的數(shù)據(jù)被 存儲(chǔ)在馬賽克圖像幀存儲(chǔ)器107。步驟SllOl中讀出馬賽克圖像的以下 的注目像素，同時(shí)也讀出近旁4連結(jié)位置的像素的輝度。
步驟S1102中，如果注目像素是R像素，則進(jìn)入步驟S1103。步驟 S1103中，使用(式11)(式12)而對(duì)B和G輝度進(jìn)行插補(bǔ)，并存儲(chǔ)在 彩色圖像幀存儲(chǔ)器104的注目像素位置的B和G平面(yi^—^)。同時(shí)， 在R平面(7W—y)，也原樣存儲(chǔ)有該注目像素的R輝度，因此(RGB) 的全彩色輝度全部被存儲(chǔ)在彩色圖像幀存儲(chǔ)器104。
接下來(lái)，步驟S1104中，若注目像素是B像素，則進(jìn)入步驟S105。 步驟S1105中，使用(式13)(式14)而對(duì)R和G輝度進(jìn)行插補(bǔ)，并存儲(chǔ) 在彩色圖像幀存儲(chǔ)器104的注目像素位置的R和G平面(7°^—>0。同 時(shí)，在B平面(7。k一y)，原樣存儲(chǔ)該注目像素的B輝度，因此(RGB) 的全彩色輝度全部存儲(chǔ)在彩色圖像幀存儲(chǔ)器104。
接下來(lái)，在注目像素為G像素的情況下，進(jìn)入步驟S 1106。步驟S 1106 中，使用(式15)對(duì)R和B輝度進(jìn)行插補(bǔ)而存儲(chǔ)。這里，由于沒(méi)有對(duì)周?chē)?的G輝度進(jìn)行插補(bǔ)，因此G的插補(bǔ)不可能。重復(fù)以上的處理直到步驟S1107中所有像素結(jié)束。
接下來(lái)，在步驟S1108中，從結(jié)束了插補(bǔ)后的彩色圖像幀存儲(chǔ)器104 確定G輝度未定的像素和近旁的確定了的G輝度。步驟S1109中，使用(式 16)對(duì)G像素輝度進(jìn)行插補(bǔ)，再度存儲(chǔ)到彩色圖像幀存儲(chǔ)器104。步驟S 1110中，重復(fù)進(jìn)行上述的處理，直到確定了圖像中包含的G像素的全部的 G輝度。
以上處理的結(jié)果，具有各像素中的(RGB)輝度值的彩色輝度圖像I (x， y)的數(shù)據(jù)，在彩色圖像幀存儲(chǔ)器104內(nèi)生成。該I (x， y)的 圖像尺寸，如從作成過(guò)程所明了的那樣，與彩色馬賽克圖像的圖像尺寸相 等。結(jié)果，偏振體單位存在，并且具有與使用通常的單板彩色馬賽克的插 補(bǔ)圖像同一的色再現(xiàn)性，并且能夠插補(bǔ)生成分辨率也不降低的全彩色圖
接下來(lái)，參照?qǐng)D12對(duì)圖1的偏振信息處理部103的動(dòng)作進(jìn)行說(shuō)明。 首先，在彩色偏振光取得部101中取得的彩色馬賽克圖像的數(shù)據(jù)也被 存儲(chǔ)在馬賽克圖像幀存儲(chǔ)器107。步驟S1201中，讀出馬賽克圖像的下一 個(gè)注f:H象素，同時(shí)也讀出近旁4連結(jié)位置的像素輝度。在步驟S 1202中注 ll像素是R像素的情況下，進(jìn)入步驟S 1203。在步驟S 1203中，使用R像 素的近旁4連結(jié)位置中的G1 G4像素，從(式6) (式8)算出正弦 函數(shù)參數(shù)。
接下來(lái)，在步驟S 1204中，在注目像素為B像素的情況下，同樣在步 驟S 1205中使用近旁4連結(jié)位置中的G1 G4像素而從(式6) (式8) 算出函數(shù)參數(shù)。
在注目像素為G像素的情況下，也可以，在步驟S 1206中，在G像素 位置基于(式6) (式8)使用近旁G1至G4而確定正弦函數(shù)參數(shù)?；?者，如前述那樣，由于G3的信息兩個(gè)重復(fù)，因此也可以從含有兩個(gè)重復(fù) 的5點(diǎn)的信息利用(式5)的最小2乘法而確定輝度變化曲線。
步驟S 1207中，從針對(duì)各像素而決定的正弦函數(shù)參數(shù)A、 B、 C使用 (式9)(式10)而作成偏振度p和偏振相位cl)，并在偏振圖像幀存儲(chǔ)器 105和偏振相位圖像幀存儲(chǔ)器106與該像素附加對(duì)應(yīng)而存儲(chǔ)。重復(fù)以上的 處理，直到在步驟S 1208中馬賽克圖像幀存儲(chǔ)器的全像素都結(jié)束。如此，在偏振度圖像幀存儲(chǔ)器105內(nèi)生成偏振度圖像p ( x， y )的 數(shù)據(jù)，并在偏振相位圖像幀存儲(chǔ)器106內(nèi)生成偏振相位圖像4) ( x， y ) 的數(shù)據(jù)。這些圖像的尺寸，如從其作成過(guò)程所明了的那樣，與彩色馬賽克 圖像的圖像尺寸相等。結(jié)果，雖然僅僅在G像素配置圖案化偏振體，但是 能夠以與全彩色圖像I (x， y)相同的分辨率得到偏振信息。
另外，圖11和圖12的處理，互相獨(dú)立，因此也可以并列地執(zhí)行這些 處理。另外，這些處理，可以用軟件實(shí)施，也可以用硬件執(zhí)行同樣的處理。
本實(shí)施方式中，使用從光子晶體形成的圖案化偏振體，但是也可以使 用膜型的偏振元件，或線柵(7Y亇一夕"!J 、7 K)型，或基于其他原理的 偏振元件。
圖13 ( a )是作為球體的塑料制球被拍攝體的輸入圖像。圖13 ( b ) 和(c )分別表示相對(duì)于圖13 ( a )的被拍攝體的偏振度圖像P ( x ， y )和偏振相位圖像4) ( x ， y )的例。圖13 ( a )、 ( b )中，各圖像 屮，以偏振度P 、偏振相位*越大，表現(xiàn)出越高的亮度的方式進(jìn)行表示。
圖14 ( a )禾B ( b )是用于說(shuō)明圖13 ( b )禾卩(c )的圖像的示意 圖。在偏振度圖像P (x， y)中，像素位置從照相機(jī)的視線方向和球的 表面法線成為同一的中心附近向方位1401的朝向越遠(yuǎn)離，其像素的偏振 度P也越增加。另外，在球的表面法線相對(duì)于照相機(jī)的視線方向接近于 90°的球的遮蔽邊緣(與背景的邊界)附近中，偏振度P變得最大。在 圖14 ( a )中，用等高線示意性地表達(dá)了該偏振度P 。
可知在圖14 (b)的偏振相位圖像4> (x， y)中，相對(duì)于表示 相位=0°的圖像的天地方向的垂線，偏振相位以180°周期圍繞球體的周 圍以反時(shí)針旋轉(zhuǎn)沿箭頭符號(hào)1402， 1403的朝向單調(diào)增加。根據(jù)這些偏振 信息圖像，明確得知偏振度P和偏振相位4>，與被拍攝體的表面法線 的2自由度的朝向相當(dāng)。即偏振信息能夠?qū)Ρ慌臄z體的形狀進(jìn)行推定。
另外，本實(shí)施方式中，被拍攝體的反射光中輸出擴(kuò)散反射成分的偏振 度圖像和偏振相位圖像，但是這也可以是鏡面反射成分，在該情況下偏振 相位巾也可以是與90。不同的相位。
另外，作為偏振信息，除了所謂的(P， 40組合，可以是從圖5的 正弦函數(shù)得到的信息，也可以是其他信息的組合，也可以是從該信息生成的圖像。例如從偏振信息分離被拍攝體的擴(kuò)散反射成分和鏡面反射成分在 應(yīng)用方面是重要的。為了在本發(fā)明中執(zhí)行此，也可以相對(duì)于鏡面反射區(qū)域
的偏振，在P ( x ， y )上乘以一定的比率而從原圖像減算。圖15 ( a ) 至(d)示出了如此而生成的圖像的例。
(實(shí)施方式2)
以下，對(duì)基于本發(fā)明的圖像處理裝置的第2實(shí)施方式進(jìn)行說(shuō)明。
本實(shí)施方式的基本構(gòu)成，如圖l的方框圖所示，因此這里也適合參照 圖1。本實(shí)施方式的圖像處理裝置的特征性點(diǎn)在于在R、 G、 B的全部 的像素設(shè)置構(gòu)成圖案化偏振體的偏振體單位。
圖16 ( a )是表示本實(shí)施方式中的彩色偏振光取得部101的像素配置 的圖。與實(shí)施方式l中的像素配置的不同點(diǎn)在于，不僅在G像素，而且在 R像素和B像素也設(shè)置偏振體單位。圖16 ( b )是在圖16 ( a )中增加 記載將與G像素鄰接的R像素或B像素中具有與G像素的偏振主軸平行 的偏振主軸的像素和該G像素連接的線段組的附圖。
該排列，是將拜爾型彩色馬賽克濾光器作為基本的排列，在G像素的 位置，配置具有由編號(hào)1 4所特定的偏振主軸方向的4種偏振像素G1 G4。 G1 G4的像素配置，與圖4所示的G1 G4的像素配置相同。本 實(shí)施方式的像素配置與圖4的像素配置不同點(diǎn)，在于除了在G像素上設(shè) 置偏振體單位外，將R1 (偏振主軸方向=0° )和R3 (偏振主軸方向二 90° )配置在R像素的位置，并將B2 (偏振主軸方向=45° )和B4 (偏 振t:軸方向二135。)配置在B像素的位置。
該像素配置的特征點(diǎn)如下
(2 — 1) 對(duì)于R像素和B像素的各個(gè)，通過(guò)設(shè)置偏振主軸的角度以 90°不同的兩種偏振體單位，能夠有選擇地配置偏振的相位以90。不同的
偏振像素。
(2 — 2) 在G1 G4的全部的G像素的近旁4連結(jié)位置，存在具有 與該G像素的偏振主軸的角度同一角度的偏振主軸的B像素或R像素。例 如，在G2的近旁4連結(jié)位置存在R2，圖16 ( b )所示的直線組的各個(gè)， 是表示形成這樣的對(duì)的兩個(gè)像素的結(jié)合的線段。
26(2 — 3) 在G1 G4的全部的G像素的近旁4連結(jié)位置，存在具有 由編號(hào)'1'， '2'， '3'， '4'特定的偏振主軸的偏振像素。圖16的配置 中，包含注目像素的5個(gè)的像素的組合被點(diǎn)線所圍繞。在由這些的點(diǎn)線所 圍繞的5個(gè)的像素的中心位置，存在G像素，在G像素的近旁4連結(jié)位置， 存在R和B偏振像素。例如在G4像素的近旁4連結(jié)位置，存在R1、 B2、 R3、 B4這4個(gè)偏振像素，這些4個(gè)偏振像素中的偏振主軸的角度，分別 是0° 、 45。 、 90。 、 135。。
基于特征點(diǎn)(2 — 1)的效果，對(duì)偏振的相位以90。不同的兩個(gè)的偏振 像素的觀測(cè)輝度進(jìn)行加算平均，抵消了偏振的效果，因此能夠得到通常的 彩色輝度。
基于特征點(diǎn)(2 — 2)的效果，如后述那樣，能夠進(jìn)行由(式20)、(式 23)、(式24)等所表達(dá)的插補(bǔ)。即，對(duì)于在周?chē)嬖诓煌那闆r下從在 相同的像素位置已經(jīng)插補(bǔ)后的其他的彩色輝度值實(shí)施偏振信息的歸一化 的情況是較為重要的。
基于特征點(diǎn)(2 — 3)的效果，對(duì)于在G像素算出偏振信息算出的情況 是較為重要的。
圖17 ( a )和(b )表示具有上述特征點(diǎn)的其他的配置例。圖17 ( a ) 和(b )所示的符號(hào)、直線組，如針對(duì)圖16 ( a )禾P ( b )所說(shuō)明的那樣。 在實(shí)際的裝置中，由上述的8X8像素組成的單位周期在上下左右重
復(fù)配置。
圖18 ( a )至(c )，分別是示意性表示B、 G、 R偏振像素的波長(zhǎng) 特性的曲線圖。各曲線圖的縱軸是透過(guò)光的強(qiáng)度，橫軸是波長(zhǎng)。B、 G、 R用的偏振像素，具有在B、 G、 R的各波長(zhǎng)帶域中透過(guò)TM波、反射TE 波(不透過(guò))的偏振特性。TM波，是磁場(chǎng)成分相對(duì)于入射面的橫朝向的波， TE波，是電場(chǎng)成分相對(duì)于入射面的橫朝向的波。
在圖18 (a)，示出了B偏振圖像的偏振特性1802、 1803、 B用彩色 濾光器的透過(guò)特性1801。偏振特性1802、 1803，分別表示TM波和TE波 的透過(guò)率。
在圖18 (b)中，示出了G偏振圖像的偏振特性1805、 1806， G用 的彩色濾光器的透過(guò)特性1804。偏振特性1805、 1806，分別表示TM波和
27TE波的透過(guò)率。
在圖18(c)，示出了R偏振圖像的偏振特性1808、 1809， R用彩色 濾光器的透過(guò)特性1807。偏振特性1808、 1809，分別表示TM波和TE波 的透過(guò)率。
從圖18 ( a )至(c )所示的特性，能夠使用例如非專利文獻(xiàn)2所記 載的光子晶體而實(shí)現(xiàn)。在光子晶體的情況下，具有與在其表面形成的溝平 行的電場(chǎng)矢量振動(dòng)面的光成為T(mén)E波，具有垂直的電場(chǎng)矢量振動(dòng)面的光成 為T(mén)M波。
本實(shí)施方式中重要點(diǎn)在于，如圖18 ( a )至(c )所示的那樣，在B、 G、 R的透過(guò)波長(zhǎng)帶域的各個(gè)中使用表示偏振分離特性的圖案化偏振體。
本說(shuō)明書(shū)中，使用表示偏振像素中的偏振主軸的方位的4個(gè)數(shù)字'l、 2、 3、 4'和用于對(duì)彩色進(jìn)行區(qū)別的3個(gè)符號(hào)'R、 G、 B，的組合(例 如'R1'、 'G1'等)，而表示偏振像素的特性。偏振像素R1和偏振像素 Gl屮，數(shù)字是相同的，因此偏振主軸的方向一致，但是由于RGB符號(hào)不 同，因此透過(guò)的光的波長(zhǎng)帶域與不同的偏振像素相當(dāng)。本實(shí)施方式中，利 用圖2所示的彩色濾光器201和圖案化偏振體202的組合來(lái)實(shí)現(xiàn)這樣的偏 振像素的排列。
通過(guò)對(duì)具有這樣的特性的偏振體單位的偏振主軸角度進(jìn)行調(diào)整而排 列，能夠如圖16、圖17所示的那樣，實(shí)現(xiàn)與彩色和偏振相關(guān)的復(fù)合馬賽 克排列。這樣的波長(zhǎng)特性，在第l實(shí)施方式中是重要的，但是對(duì)于RGB全 部的彩色像素設(shè)置偏振體單位的第2實(shí)施方式中更為重要。
以下，作為圖案化偏振體的配置圖使用圖19和圖21，進(jìn)行偏振信息 和彩色信息的取得原理和處理的說(shuō)明。圖19和圖21，均從圖16的配置提 取由左上4X4 = 16個(gè)像素構(gòu)成的方框，并將2維的像素位置(x， y) 作為下標(biāo)而記載。
<11像素位置的偏振信息>
以圖19的(Rl),，為例進(jìn)行說(shuō)明。
圖19中，(Rl) n、 (R3) ,.,、■ ■ ■ (B2) 22等，表示各個(gè)坐標(biāo)(x: 橫，y:縱)=(1， 1)中的R1的偏振像素，(1， 3)中的R3的偏振像 素，(2， 2)中的B2的偏振像素。這些記號(hào)，如前述那樣，表示像素，并且表示數(shù)學(xué)式中在對(duì)應(yīng)像素觀測(cè)到的輝度大小。
在(Rl) n的近旁4連結(jié)位置，配置從G1到G4的同色，且偏振主
軸角度不同的4種偏振像素(Gl) "， (G2) .M， (G3) ,2， (G4) 23。與 針對(duì)實(shí)施方式1所說(shuō)明的方法同樣，能夠從這些偏振像素的觀測(cè)輝度得到 (Rl).,.,中的偏振信息。由此，不限于由(Rl) 33所示的位置的R像素， 對(duì)于存在于R1、 R3的像素位置存在的全部的R像素成立。 〈R像素位置的輝度〉
本實(shí)施方式的R像素中設(shè)置偏振體單位，因此R像素中，不僅G和B 的輝度，也有必要推定包含R的輝度的全部的彩色輝度。
能夠從位于R像素的周邊的G1 G4的4像素求得G輝度。在G1 G4的4像素的各個(gè)所觀測(cè)的輝度，是透過(guò)偏振體單位的G光的輝度，但 是G1 G4的4像素的偏振主軸角度以每45°而不同，因此通過(guò)對(duì)這些 像素中的觀測(cè)輝度進(jìn)行平均的操作，能夠消除偏振的效果而求出G光的平 均輝度。
上述的說(shuō)明中，為了簡(jiǎn)單，將偏振體單位的最大透過(guò)率T設(shè)為1 (100 %)。為此，沒(méi)有偏振體的狀態(tài)下的G輝度值，和透過(guò)偏振體后消除了偏 振效果后的平均輝度相等?？墒牵诓荒軌?qū)崿F(xiàn)100%透過(guò)率的現(xiàn)實(shí)的偏 振體單位的情況下，需要使用偏振體單位的最大透過(guò)率T而校正上述的G 插補(bǔ)值，(Rl) 33的像素位置中的G輝度的插補(bǔ)值成為以下那樣。
數(shù)學(xué)式17
4=[((Gl)43+(G2)34+(G3)32+(G4)23)/4rx2 (式1 7)
同樣，對(duì)于B輝度，以90°相位不同的B2和B4的像素存在于R像 素的近旁8連結(jié)位置，因此能夠通過(guò)平均操作消除偏振效果而求取。這里， 若使用偏振體單位中的B光的最大透過(guò)率T，則(Rl) , 的像素位置中的 B輝度的插補(bǔ)值，如以下的(式18)所示的那樣被表達(dá)。另外，這里，假 定偏振體單位的最大透過(guò)率T，對(duì)于R、 G、 B同一地設(shè)計(jì)，但是這對(duì)于
本發(fā)明并非必須的事項(xiàng)。數(shù)學(xué)式18
K((i 2)22+(52)44+(54)24 + (54)42)/47>2 (式1 8)接下來(lái)，對(duì)R輝度的插補(bǔ)進(jìn)行說(shuō)明。在R像素的周?chē)?，不存在能夠?于插補(bǔ)的R的偏振像素。為此，本實(shí)施方式中，進(jìn)行色散為彩色的偏振信 息的歸一化。以下，對(duì)該歸一化進(jìn)行說(shuō)明。
圖20所示的曲線2001， 2002， 2003分別表示R、 G、 B的輝度變化。 曲線圖的縱軸是輝度I ，橫軸是偏振主軸角度W。如圖20所示的黑點(diǎn)'R l'，白點(diǎn)'G1'、 'G2'、 'G3'、 'G4'，分別表示圖19的(R1) 33和在 位于其周邊4個(gè)的G像素觀測(cè)的輝度值。這里，假想偏振體單位的最大透 過(guò)率100%的情況，線2004、 2005、 2006，分別表示R、 G、 B的平均輝 度(沒(méi)有偏振體的情況下所觀測(cè)的輝度的平均值)。
位于自然界的被拍攝體是各種各樣的?？墒牵趯?duì)金屬以外的電介質(zhì) 假想設(shè)想的情況下，將照明照射到被拍攝體而得到的反射光的性質(zhì)，由菲 涅耳(7k氺》)反射的理論所記述。為此，在鏡面反射和擴(kuò)散反射的任 何一種的情況下，其偏振的性質(zhì)，均在R、 G、 B的波長(zhǎng)帶域中較大地變 化。g卩，表示R、 G、 B的輝度變動(dòng)的正弦函數(shù)，均是周期180° ，并以 相等的相位變化。因此，使用(式9)的偏振度P的關(guān)系式，表示R、 G、 B的輝度變化的L (W)， I。 (W)， IB (W)，分別能夠由(式19)所 表達(dá)。
數(shù)學(xué)式19
,/!) = 5+4 sin(2y -25) = 7 [1 + psin(2y - 25)] ^(y—^+^jSinP^-Z^-rGtl + zOsinp^-^B)] (式1 9 )
Ja (W) = & + 4 sin(2y — 25) = 7^1 + / sin(2y - 25)]
折射率n、光的入射角和出射角，在R、 G、 B之間實(shí)質(zhì)上是一定 的，因此偏振度P也在R、 G、 B之間為一定。為此，(式19)中的3 種正弦函數(shù)的變動(dòng)部分，對(duì)于R、 G、 B是共通的。
其結(jié)果，圖20的3根偏振輝度的曲線2001、 2002、 2003的輝度比率， 與平均輝度2004、 2005、 2006的比率相等。即，R1和G1的輝度比率， 與R和G的輝度比率相等。
若利用上述的性質(zhì)，則通過(guò)在已經(jīng)求得的G的輝度插補(bǔ)值(由式17 所確定的值)上乘算R1像素的輝度值和與R1像素鄰接的G1像素的輝度 值的比率，能夠推定R的平均輝度(沒(méi)有圖案化偏振體的情況下的理想輝
30度)。最大透過(guò)率T的效果已經(jīng)包含在G的輝度插補(bǔ)值中，因此(Rl) 33
的像素位置中的R輝度，能夠由以下的(式20)所表達(dá)。數(shù)學(xué)式20
A (式2 0)
(Gl)43
以上，雖然針對(duì)R1像素的例進(jìn)行了說(shuō)明，但是對(duì)于R3像素也同樣 地能夠從周?chē)鷮?duì)角度90。不同的G輝度和B輝度空間地進(jìn)行插補(bǔ)，對(duì)于R 輝度能夠使用R3和G3像素的輝度比進(jìn)行求取。
〈B像素位置的偏振信息〉
這里，以圖19的(B2) 22為例進(jìn)行說(shuō)明。偏振信息，與R像素同樣， 能夠從周邊的G1 G4像素中的觀測(cè)輝度得到，因此省略說(shuō)明。 〈B像素位置的彩色輝度〉
以圖19的(B2) 22為例進(jìn)行說(shuō)明。需要對(duì)R、 G、 B全部的彩色輝 度進(jìn)行求取。
首先，偏振主軸的角度90。不同的R1和R3像素存在于(B2) 22的 周邊，因此如(式21)所示，通過(guò)對(duì)在R1和R3的像素所得到的觀測(cè)輝 度進(jìn)行平均，消除偏振的效果，而求取(B2) 22中的R輝度。數(shù)學(xué)式21
= 十(及1)33 +(i 3)13 +(/ 3)3,)/4r]x2 (式2 1 )
另外，對(duì)于G的輝度，如(式22)所示那樣，能夠通過(guò)對(duì)由位于周邊 的G1 G4的4個(gè)的像素所得到的觀測(cè)輝度進(jìn)行平均，消除偏振的效果而求取。
數(shù)學(xué)式22
<^=[((Gl)12+(G2)21+(G3)32+(G4)23)/4rx2 (式2 2 )
另夕卜，在(B2) 22的周邊，不存在能夠在B輝度的空間的馬賽克插補(bǔ) 中使用的B像素?？墒牵鶕?jù)以下的(式23)，基于G2的輝度值和已經(jīng) 求得的G的輝度插補(bǔ)值的關(guān)系，能夠從B2的輝度值決定B的平均輝度(沒(méi) 有圖案化偏振體的情況下的理想輝度)。
數(shù)學(xué)式23
22 (G2)21
(式2 3)
以上的事項(xiàng)，對(duì)于B2的例進(jìn)行了說(shuō)明，但是對(duì)于B4的像素也同樣 成立。即，對(duì)于相對(duì)于B4的周?chē)嵌仁瞧裰鬏S角度以45。和90°不同 的對(duì)的G輝度、R輝度迸行空間插補(bǔ)，對(duì)于B輝度使用B4和G4的輝度
比而進(jìn)行求取。
〈G像素位置的偏振信息〉
以圖21的(G4) 23為例進(jìn)行說(shuō)明。在該像素的近旁4連結(jié)位置，存 在R1、 R3、 B2、 B4。可是，R光和B光的偏振主軸角度，分別只有2 個(gè)。為了決定正弦函數(shù)參數(shù)A、 B、 C，需要最低3個(gè)的不同的偏振主軸 角度中的觀測(cè)輝度，因此對(duì)于同一彩色在僅觀測(cè)2個(gè)偏振主軸角度中的輝 度的情況下，不能夠決定正弦函數(shù)參數(shù)。為了解決該問(wèn)題，使用(式19)。
圖22記載了從(G4) 2.3的近旁4連結(jié)位置中的4個(gè)的偏振像素得到 的觀測(cè)輝度和，理論的正弦函數(shù)曲線。兩個(gè)的黑點(diǎn)，分別表示R1和R3 的輝度，附加有斜線兩個(gè)的點(diǎn)，分別表示(B2) 22和(B4) 24的輝度。如 以下的(式24)所示那樣，通過(guò)在(B2) 22和(B4) w的觀測(cè)輝度上乘 算系數(shù)K，能夠?qū)x度進(jìn)行校正。
數(shù)學(xué)式24
(萬(wàn)2')22 =/Cx(52)22
(54% =iCxCB4)24 (式2 4)
^ j= (/ 1)33+(/ 3)13 —I —(52)22+0 4)24
該校正的結(jié)果，如圖22的箭頭符號(hào)2207所示那樣，在R的曲線上附 著(乗3)有4點(diǎn)R1、 R3、 B2' 、 B4'。并能夠使用該4點(diǎn)決定正弦 曲線，因此能夠基于該正弦曲線得到偏振信息。
上述的事項(xiàng)，針對(duì)G4的例進(jìn)行了說(shuō)明，但是對(duì)于G1 G3完全同樣
■ ，、. 一、 *成旦。
〈G像素位置的輝度〉以圖21的(G4) 23為例，按照以下方式對(duì)R、 G、 B的彩色輝度進(jìn)
行插補(bǔ)、推定。
首先，在(G4),,的上下鄰接位置存在偏振主軸角度90°不同的偏 振像素即R1和R3，因此通過(guò)對(duì)這些像素位置中的觀測(cè)輝度進(jìn)行平均，能 夠消除偏振效果，得到(G4) 23中的R輝度。這里，T是偏振體單位的最 大透過(guò)率。
數(shù)學(xué)式25
K((叫"+(及3),3)/2r]x2 (式2 5)
同樣，關(guān)于(G4) w中的B輝度，若對(duì)在與(G4) 2:,的左右鄰接的B 2和B4的偏振像素所觀測(cè)的輝度進(jìn)行平均，則能夠得到消除了偏振效果 后的插補(bǔ)值。
數(shù)學(xué)式26
& =[((52)22+(54)24)/27>2 (式2 6)
接下來(lái)，對(duì)G像素的輝度進(jìn)行說(shuō)明。該像素是G4像素，因此能夠使 用鄰接的B4像素的輝度和所推定的B輝度，按照以下的(式27)所示的
方式進(jìn)行推定。數(shù)學(xué)式27
另外，這里，對(duì)于G4的例進(jìn)行了說(shuō)明，但是對(duì)于G1 G3的像素也 基本上是同樣的。即，若對(duì)R和B空間地進(jìn)行插補(bǔ)，并對(duì)R或B的插補(bǔ)后 的輝度乘算一定的比率，則能夠?qū)像素的輝度進(jìn)行插補(bǔ)。該比率，在G 1的情況下是G1和R1的輝度比，在G2的情況下是G2和B2的輝度比， 在G3的情況下是G3和R3的輝度比。
接下來(lái)，參照?qǐng)D23，對(duì)本實(shí)施方式中的彩色馬賽克插補(bǔ)部103的動(dòng)作 進(jìn)行說(shuō)明。
最初由彩色偏振光取得部101所取得的彩色馬賽克圖像的數(shù)據(jù)被存儲(chǔ) 在馬賽克圖像幀存儲(chǔ)器107。
步驟S 2301中，讀出馬賽克圖像幀存儲(chǔ)器107的最初的注目像素，同時(shí)也讀出近旁4連結(jié)位置的像素輝度。在步驟S2302中，若注目像素是R 像素，則進(jìn)入S 2303。在步驟S 2303中，使用(式17)、(式18)對(duì)G和 B輝度進(jìn)行插補(bǔ)。接下來(lái)，基于之前插補(bǔ)的G輝度在步驟S 2304利用(式 20)對(duì)R輝度進(jìn)行插補(bǔ)。
接下來(lái)，在步驟S 2305中，若注目像素是B像素，則進(jìn)入步驟S 2306。 在步驟S 2306中，使用(式21)(式22)而對(duì)R和G輝度進(jìn)行插補(bǔ)，接下 來(lái)基于之前插補(bǔ)后的G輝度，在步驟S 2307使用(式23)對(duì)B輝度進(jìn)行 插補(bǔ)。
接下來(lái)，在注目像素G像素的情況下，進(jìn)入步驟S 2308。在步驟S 2308 中，使用(式25)、(式26)對(duì)R和B輝度進(jìn)行插補(bǔ)，在步驟S 2309中， 基于之前插補(bǔ)的B輝度或R輝度，使用(式27)等對(duì)G輝度進(jìn)行插補(bǔ)。被 插補(bǔ)的像素的輝度值(RGB)，在步驟S2310中存儲(chǔ)于彩色圖像幀存儲(chǔ)器 104。
在步驟S 2311中重復(fù)以上的處理，直到馬賽克圖像幀存儲(chǔ)器107的全 像素都結(jié)束。
接下來(lái)，參照?qǐng)D24，對(duì)本實(shí)施方式中的偏振信息處理部103的動(dòng)作進(jìn) 行說(shuō)明。最初由彩色偏振光取得部101取得的彩色馬賽克圖像的數(shù)據(jù)被存 儲(chǔ)在馬賽克圖像幀存儲(chǔ)器107。
步驟S2401中，讀出馬賽克圖像的下一個(gè)注目像素，同時(shí)也讀出近旁 4連結(jié)位置的像素輝度。在注目像素為步驟S 2402中R像素的情況下，進(jìn) 入步驟S2403。步驟S 2403中，基于R像素位置的4連結(jié)近旁的G l G4 像素的輝度，從(式6) (式8)算出正弦函數(shù)參數(shù)。
接下來(lái)，在步驟S 2404，在注目像素為B像素的情況下，也同樣地在 步驟S 2405中基于近旁4連結(jié)位置中的G1 G4像素的輝度，從(式6) (式8)算出正弦函數(shù)參數(shù)。在注目像素為G像素的情況下，在步驟S 2406 中，在G像素位置使用(式24)，使用位于近旁4連結(jié)位置的R1和R3、 作為施加了校正后的輝度即的B2'和B4'這合計(jì)4樣本的輝度，同樣地 決定(式6) (式8)的正弦函數(shù)參數(shù)。
步驟S 2407中，從針對(duì)各像素決定的正弦函數(shù)，使用(式9)(式IO) 而作成偏振度P和偏振相位4)，并在偏振圖像幀存儲(chǔ)器105和偏振相位
34圖像幀存儲(chǔ)器106中與該像素附加對(duì)應(yīng)而存儲(chǔ)。
重復(fù)以上的處理，直到步驟S2408中馬賽克圖像幀存儲(chǔ)器的全像素結(jié)
束為止。
根據(jù)以上的處理，在偏振度圖像幀存儲(chǔ)器105內(nèi)，生成偏振度圖像P (x， y)的數(shù)據(jù)，另外，在偏振相位圖像幀存儲(chǔ)器106內(nèi)生成偏振相位 圖像小(x， y)的數(shù)據(jù)。這些圖像的尺寸，如從其作成過(guò)程所明了的那 樣，與彩色馬賽克圖像的圖像尺寸等同。作為結(jié)果，具有以與全彩色圖像 I (x， y )相同的分辨率得到偏振信息的效果。
另外，圖23和圖24的處理，相互獨(dú)立，因此可以并列地用軟件實(shí)施， 也可以用硬件執(zhí)行同樣的處理。
另外，本實(shí)施方式中，記載了在圖案化偏振體中使用光子晶體的情況， 但是如果是偏振元件，則使用膜型的偏振元件，或線柵(!7^亇一夕'i; 、乂 K)型、或基于其他原理的偏振元件也無(wú)妨。
(實(shí)施方式3)
以下，對(duì)基于本發(fā)明的圖像處理裝置的第3實(shí)施方式進(jìn)行說(shuō)明。
本實(shí)施方式的基本構(gòu)成也在圖1的方框圖中示出，因此這里也適宜參 照?qǐng)D1。本實(shí)施方式的圖像處理裝置的特征性點(diǎn)在于，僅在G和R的像素， 或G和B的像素設(shè)置構(gòu)成偏振體單位的偏振體單位。
圖25是表示本實(shí)施方式中的彩色偏振光取得部101的像素配置。該 排列，是以拜爾型彩色馬賽克濾光器為基本的排列，在G像素的位置，配 置具有由編號(hào)1 4所特定的偏振主軸方向的4種偏振像素G1 G4。 G 1 G4的像素配置，與圖4所示的G1 G4的像素配置相同。本實(shí)施方 式的像素配置與圖4的像素配置不同的點(diǎn)在于，除了在G像素設(shè)置偏振體 單位外，將R1 (偏振主軸方向二0。)和R3 (偏振主軸方向=90° )配 置在R像素的位置。另外，在B像素的位置不配置偏振體的方面，本實(shí)施 方式的配置與實(shí)施方式2的配置不同。
該像素配置的特征點(diǎn)，如下。
(3 — 1)作為R像素僅僅配置具有相位以90°不同的偏振主軸兩種偏 振體單位。
35(3 — 2) 在G1 G4像素的全部的近旁2連結(jié)位置，必定存在不同 的兩種的R像素。
基于特征點(diǎn)(3 — 1)和(3 — 2)的效果，是若對(duì)兩者進(jìn)行加算平均， 則抵消偏振的效果，而成為通常的彩色輝度。
除了G像素，也可以僅在B像素設(shè)置偏振體單位。另外，作為偏振主 軸角度90°不同的偏振體單位，可以使用由編號(hào)'2'禾B '4'所特定的。 圖26表示該情況下的配置例。
以下的說(shuō)明中，對(duì)于采用圖25的配置的例進(jìn)行說(shuō)明。
用于G像素和R像素的偏振體單位，與第2實(shí)施方式同樣，具有圖18
所示的波長(zhǎng)特性。
以下，作為圖案化偏振體的配置圖，參照?qǐng)D27或圖28。圖27和圖 28中，均從圖25的配置抽出由左上4X4=16個(gè)的像素構(gòu)成的方框，并將 2維的像素位置(x， y)作為下標(biāo)而記載。
〈R像素位置的偏振信息〉
以圖27的(Rl) , 為例進(jìn)行說(shuō)明。在R像素(Rl) : 的近旁4連結(jié) 位置，配置G1到G4的同色且種類不同的4種偏振像素(Gl) 、 (G2) ,,、(G3) w、 (G4) 2.,，由此，能夠與第1實(shí)施方式同樣得到偏振信息。 省略詳細(xì)。另外，這在全部的R1、 R3的像素位置成立。
〈R像素位置的輝度〉
R像素，是設(shè)置有偏振體單位的偏振像素，因此需要對(duì)R像素位置中 的R、 G、 B的全部的彩色輝度進(jìn)行推定。
G輝度，是G1 G4的周邊4像素透過(guò)偏振體單位后的輝度，但是偏 振的主軸角度以45。不同的像素存在4種，因此通過(guò)由該平均操作抵消偏 振的效果而求取平均輝度。上述的G插補(bǔ)值需要使用偏振體單位的G光的 最大透過(guò)率T而進(jìn)行校正，G的插補(bǔ)值如下。 <formula>formula see original document page 36</formula>同樣，B輝度按照以下的方式被插補(bǔ)'
數(shù)學(xué)式29
(式2 9)
在R輝度周邊不存在能夠使用像素，因此如(式30)等，使用插補(bǔ) 后G輝度值，以及G1和R1的比率，進(jìn)行插補(bǔ)。數(shù)學(xué)式30
》33 =^x[((Gl)43 +(G2)34 +(G3)32+(G4)u)/4r]x2
(式3 0)
〈B像素位置的偏振信息〉
若以圖27的B22為例進(jìn)行說(shuō)明，則對(duì)于偏振信息，與R像素同樣能夠 利用周邊的G1 G4而得到，因此省略說(shuō)明。 〈B像素位置的彩色輝度〉
以該圖28的822為例進(jìn)行說(shuō)明。所求取的是R、 G的彩色輝度。首先， 對(duì)于R，由于在周邊像素內(nèi)存在90°角度不同的R1和R3，因此能夠用 這^的平均抵消偏振的效果而求取。數(shù)學(xué)式31
42-[((及l(fā))U+(i 3)!3+(i 3)3,+(/ l)33)/4r]x2 (式3 1 )
另外，對(duì)于G，能夠利用G1至G4的周邊4像素的平均抵消偏振的 效果而求取。
數(shù)學(xué)式32
4 =[((Gl)l2 +(G2)21 +(G3)32 + 4,2 (式3 2 )
<0像素位置的偏振信息>
以圖28的(G4) 23為例進(jìn)行說(shuō)明。在該像素的近旁4連結(jié)位置，作 為偏振像素，由于僅僅存在R1、 R3，因此與實(shí)施方式l同樣，通過(guò)基于 存在丁-近旁8連結(jié)位置的4種的Gl G4的像素(Gl) 12、 (G3) 14、 (G 3) ,,2、 (G2) .M中的觀測(cè)輝度決定G輝度曲線，而得到偏振信息。其中，
37與R、 B像素的情況不同，G3的信息是2個(gè)重復(fù)，因此可以使用以下的
兩種方法的任何一種。
第l方法中，舍棄(G3) 14或(G3) 32的其中l(wèi)個(gè)的信息，基于不同 的4種圖案化偏振體的信息，使用(式6) (式8)而決定輝度曲線。
第2方法中，從含有重復(fù)的2個(gè)的5點(diǎn)信息，經(jīng)過(guò)(式5)的最小2 乘法而決定輝度曲線。
〈G像素位置的彩色輝度〉
G像素是設(shè)置有偏振體單位的偏振像素，因此在該位置中，需要除了 R和B的輝度外也計(jì)算G的輝度。首先，對(duì)R和B的輝度插補(bǔ)進(jìn)行說(shuō)明。 如從圖28所明了的那樣，在G像素的周邊，R像素和B像素存在上 下或左右。這里，也以圖28的(G4) 2:,為例進(jìn)行說(shuō)明。在(G4) 23的上 F存在有R1和R3，因此能夠利用平均化處理抵消偏振的效果而求取平均 輝度。另外，由于在左右存在B像素，因此這也能夠利用平均化處理求值。 利用此，如以下的(式33)所示的那樣，對(duì)R輝度和B輝度進(jìn)行線形插補(bǔ)。數(shù)學(xué)式33
A3=[((A3)13+(i l)33)/2r〗x2 43=(522+J524)/2 (式3 3)
接下來(lái)，對(duì)于G輝度，能夠使用巳經(jīng)在周?chē)?jì)算的G輝度，按照以 K的(式34)所示的方式進(jìn)行插補(bǔ)。數(shù)學(xué)式34
623=(《3+^22+《3+44)/4 (式3 4)
動(dòng)作流程大致與第1實(shí)施方式中的動(dòng)作流程相同，因此這里省略說(shuō)明。
上述的各實(shí)施方式中，使用拜爾排列的彩色馬賽克濾光器，但是能夠 在本發(fā)明中使用的彩色馬賽克濾光器的排列不限于拜爾型，也可以是具有
其他類型的排列的濾光器。另外，排列密度最高的像素的色不限于G (夕'
y—y)，也可以是其他色。
(實(shí)施方式4)
以下，對(duì)基于本發(fā)明圖像處理裝置的第4實(shí)施方式進(jìn)行說(shuō)明。
38本實(shí)施方式的基本的構(gòu)成，也在圖l的方框圖中示出，因此這里也適 宜參照?qǐng)D1。本實(shí)施方式的圖像處理裝置中的特征性點(diǎn)在于如下方面即 與第l實(shí)施方式同樣，僅在G像素設(shè)置4種偏振體單位，但是偏振信息取 得和彩色插補(bǔ)的單位僅選擇3種偏振體而實(shí)現(xiàn)，結(jié)果作為三角形像素進(jìn)行 插補(bǔ)處理。
圖29 ( a )表示本實(shí)施方式中的彩色偏振光取得部101的像素配置。 該排列是以拜爾型彩色馬賽克濾光器為基本的排列，在G像素的位置，配 置具有由編號(hào)1 4所特定的偏振主軸方向的4種偏振像素G1 G4。 G 1 G4的像素配置，與圖4所示的G1 G4的像素配置相同?？墒?，根 據(jù)這樣的像素配置，如在圖29(b)所示那樣，能夠用由不同的3種偏振體 單位構(gòu)成的三角形像素填滿平面。本實(shí)施方式中，將該三角形像素作為單 位而實(shí)施偏振信息取得和彩色插補(bǔ)。
圖30表示與圖5的像素配置同一的像素配置，圖31表示與圖6的像 素配置同一的像素配置。第l實(shí)施方式的說(shuō)明中，圖6的像素配置在偏振 信息取得中并不適宜，但是由于本實(shí)施方式中三角形像素的各個(gè)也可以含 有3種偏振體單位，因此能夠采用圖31所示的像素配置。
<三角形像素位置的偏振信息>
如圖30和圖31所示，本實(shí)施方式中的各三角形像素，具有從相鄰的 4種偏振體單位1 4空缺(欠落)l個(gè)的偏振像素的構(gòu)成。本實(shí)施方式中， 基于從位于各三角像素的定點(diǎn)的3種偏振體單位得到的偏振信息，求取正 弦函數(shù)參數(shù)A、 B、 C。
首先，通過(guò)對(duì)偏振的相位處于反轉(zhuǎn)關(guān)系的兩個(gè)的不同的角度的2個(gè)的 輝度進(jìn)行加算平均而求算參數(shù)C。為此，對(duì)于空缺的各偏振像素，利用以 卩的表1的右欄所示的式求取參數(shù)C。[表1]
空缺的偏振像素C的算出方法
1(/2+/4)/2
2"+/3)/2
3(/2+/4)/2
4(/1+/3)/2
接下來(lái)，空缺的偏振像素的輝度信息，能夠由如以下的表2的右欄所 示的式所求取。
空缺的偏振像素c的算出方法
1A =2C_/3
2/2=2C-/4
3
4/4=2C-/2
根據(jù)以上的計(jì)算，能夠得到偏振像素的輝度I, 14，因此能夠使用
(式6) (式8)求取其他的參數(shù)A、 B。
另外，針對(duì)每個(gè)三角形像素求取偏振度和偏振相位，是指以三角形像 素為單位而構(gòu)成偏振度圖像幀存儲(chǔ)器105和偏振相位幀存儲(chǔ)器106的圖
〈G的彩色輝度的插補(bǔ)〉
圖32是對(duì)圖29 ( a )中的三角形像素的集合進(jìn)行描繪的圖，三角形 的各頂點(diǎn)(a ) (i )與G的偏振像素1、 2、 3、 4的其中之一相對(duì)應(yīng)。 如圖32所示的那樣，本實(shí)施方式中彩色輝度插補(bǔ)也以三角形像素為單位
40而實(shí)施。
關(guān)于將由圖32所示的(a ) ( b ) ( e ) ( d )構(gòu)成的斜正方形分割為 t下的三角形(a ) ( b ) ( d )的G輝度即Gu，三角形(b ) ( e ) ( d ) 的G輝度即Gd，若將各頂點(diǎn)像素中的觀測(cè)輝度設(shè)為I I 。，則能夠由以 下的(式35)和(式36)所求取。數(shù)學(xué)式35
"—-^- (式3S)
數(shù)學(xué)式36
這里，(式35)、(式36)中的常數(shù)2，是非偏振的光透過(guò)直線偏振體 的情況卜'光量成為1/2的現(xiàn)象的校正項(xiàng)。另外，這些的式中的T表示偏 振體的透過(guò)率，T是由非100%引起的校正項(xiàng)。
同樣，能夠求取圖32的全部的三角形區(qū)域中的G輝度Gu， Gd。另外， 這些三角形像素的各個(gè)成為具有1個(gè)輝度的單位。
〈B的彩色輝度的插補(bǔ)〉
圖33是表示為了取得圖32所示的三角形像素的B的彩色輝度而需要 的像素的圖。圖33所示的9個(gè)的頂點(diǎn)(a) (i )，位于三角形像素的 頂點(diǎn)，并與G的偏振像素1、 2、 3、 4的其中之一相對(duì)應(yīng)。在圖33，作為 為了取得插補(bǔ)所必需的數(shù)據(jù)的像素位置，圖示了由上述的頂點(diǎn)(a ) (i ) 構(gòu)成的三角形像素的外側(cè)的4個(gè)的頂點(diǎn)(a ) ( P ) ( Y ) ( S )，也圖示了 更外側(cè)的頂點(diǎn)(tO ( v)。
圖33中，由點(diǎn)線圍成的矩形區(qū)域3301 3304，表示具有B彩色輝度 的正方形像素。B像素位于矩形區(qū)域3301 3304內(nèi)，B像素的面積占三 角形像素的面積的50%。作為上下的三角形像素也采用該值。若基于該考 慮方法，圖33中B值存在的區(qū)域，是附加了斜線后的區(qū)域。具體來(lái)說(shuō)， 是斜正方形(b ) ( c ) ( f ) ( e )，斜正方形(e ) ( h ) ( g ) ( d )，三
41角形(a ) ( b ) ( a )，三角形(a ) ( d ) )，三角形(f ) (y) ( i )， 三角形(h ) ( i ) ( S )。
B輝度空缺的三角形區(qū)域，是斜正方形(a ) ( b ) ( e ) ( d )和斜 止方形(e) (f ) ( i ) (h)中包含的各個(gè)2個(gè)的白區(qū)域所示的三角形。 這些的三角形像素中的B彩色輝度，必須由插補(bǔ)生成。為此，可以通過(guò)對(duì) 矩形區(qū)域3301 3304的B彩色輝度平均而進(jìn)行插補(bǔ)。假若例如以B，那 樣記載矩形區(qū)域3301的B輝度，則能夠利用以下的(式37)計(jì)算插補(bǔ)值。
數(shù)學(xué)式37
必=丑3301 +丑3302 +丑3303 +丑33Q4 (式3 7 )
<formula>formula see original document page 42</formula>
其中，需要將斜正方形的區(qū)域上下分割為2個(gè)三角形像素。利用B 彩色輝度和G彩色輝度具有相關(guān)性，能夠?qū)θ切蜗袼氐拿總€(gè)利用以下的 (式38)計(jì)算B彩色輝度Bu， Bd。數(shù)學(xué)式38
<formula>formula see original document page 42</formula>
<只的彩色輝度的插補(bǔ)>
圖34是為了取得圖32所示的三角形像素的R彩色輝度而表示必要的 像素的圖。為了取得插補(bǔ)所需要的數(shù)據(jù)，也描繪了由頂點(diǎn)(a) (i ) 構(gòu)成的二角形像素的外側(cè)的G像素位置即4個(gè)的頂點(diǎn)(e ) ( C ) ( ii)
(e)。這里，之所以存在R像素，是因?yàn)楦鶕?jù)與先前的B像素同樣的考 慮方法，是附加了斜線后的區(qū)域。具體來(lái)說(shuō)，是斜正方形(a ) ( b ) ( e )
(d )，斜正方形(e ) ( f ) ( i ) ( h )的位置，三角形(e ) ( c ) ( b )， 三角形(c ) ( C ) ( f )，三角形(d ) (g) ( il)，三角形(g ) ( h ) ( e )。 不具有R像素的三角形像素的插補(bǔ)，與B像素的插補(bǔ)同樣，能夠由以下(式 39)(式40)計(jì)算出。數(shù)學(xué)式39
<formula>formula see original document page 42</formula>數(shù)學(xué)式40
<formula>formula see original document page 43</formula>
根據(jù)以上的處理，對(duì)于圖29所示的每個(gè)三角形像素，生產(chǎn)偏振度圖 像和偏振相位圖像，乃至(RGB)全彩色輝度圖像。
若將彩色偏振光取得部101的像素排列和構(gòu)成由三角形像素組成的 圖像的像素排列重疊而顯示，則三角形像素和原始(元i:&3)的正方形 像素的面積相等?？墒?，在不使用三角形像素的情況下，偏振信息、G彩 色輝度的插補(bǔ)結(jié)果所處的中心坐標(biāo)位置從原來(lái)的正方格子的坐標(biāo)系錯(cuò)位。 由于擔(dān)心該處理變得復(fù)雜化，本實(shí)施方式中，將偏振度圖像等的輸出圖像 作為由三角形像素構(gòu)成的圖像而輸出。
基于本實(shí)施方式中生成的上述的偏振度圖像等，將圖像在顯示裝置顯 小的情況下，需要以適宜地對(duì)顯示裝置中的像素排列進(jìn)行整合的方式對(duì)圖 像數(shù)據(jù)進(jìn)行處理。這樣的處理，可以在顯示裝置一側(cè)進(jìn)行，但是也可以采 川本實(shí)施方式的在圖像處理裝置內(nèi)進(jìn)行后輸出到外部的構(gòu)成。
接下來(lái)， 一邊參照?qǐng)D1和圖35， 一邊對(duì)本實(shí)施方式中的彩色馬賽克 插補(bǔ)部102的動(dòng)作進(jìn)行說(shuō)明。
首先，假設(shè)將由彩色偏振光取得部101取得的彩色馬賽克圖像的數(shù)據(jù) 存儲(chǔ)在馬賽克圖像幀存儲(chǔ)器107。步驟S 3501中馬賽克圖像的G輝度的像 素的組合(G1—G2—G3)作為l單位而被讀出。步驟S 3502中，使用 (式35)或(式36)而對(duì)G輝度進(jìn)行插補(bǔ)。步驟S 3503中，在彩色圖像 幀存儲(chǔ)器104的G平面(7°1^ — >0作為三角形像素而存儲(chǔ)G輝度。步驟 S 3504中，判定全部的G輝度的像素的組合(G l — G2— G3)是否結(jié)束。 在沒(méi)有結(jié)束的情況下，重復(fù)步驟3501 3504的處理。在步驟S3504中判 定為'結(jié)束'的情況下，進(jìn)入步驟S 3505。
步驟S 3505中，從馬賽克圖像幀存儲(chǔ)器取得B輝度和R輝度的像素。 該取得也可以并行地被執(zhí)行。步驟S 3506中，在B像素、R像素面積上占三角形像素的50%的情況下，作為三角形像素的B像素和R像素采用
該值。步驟S 3507中，對(duì)于B輝度空缺的三角形像素，使用(式37)、(式 38)而進(jìn)行插補(bǔ)，對(duì)于R輝度的空缺的三角形像素使用(式39)、(式40) 而進(jìn)行插補(bǔ)。
步驟S 3508中，將上述插補(bǔ)后的B輝度的三角形像素和R輝度的三 角形像素，分別，存儲(chǔ)于彩色圖像幀存儲(chǔ)器104的B 、 R平面(7。l^一y )。 歩驟S 3509中，對(duì)于馬賽克圖像幀存儲(chǔ)器中包含的全部的B輝度像素、
R輝度像素，判定上述的處理是否結(jié)束。在判定為沒(méi)有結(jié)束的情況下，重 復(fù)步驟S 3505 S 3509的處理。
以上的處理的結(jié)果，在彩色圖像幀存儲(chǔ)器104內(nèi)生成具有各像素的 (RGB)輝度值的彩色輝度圖像I (x， y)的數(shù)據(jù)。該I (x， y)的 圖像，處于三角形像素構(gòu)造中，但是能夠?qū)κ褂猛ǔ５陌轄柌噬R賽克的 單板彩色攝像元件和具有同程度的色再現(xiàn)性的全彩色圖像進(jìn)行插補(bǔ)生成。 接下來(lái)，參照?qǐng)D1和圖36對(duì)本實(shí)施方式中的偏振信息處理部103的 動(dòng)作進(jìn)行說(shuō)明。
首先，將彩色偏振光取得部101中取得的彩色馬賽克圖像的數(shù)據(jù)存儲(chǔ) 于馬賽克圖像幀存儲(chǔ)器107。步驟S 3601中，從馬賽克圖像幀存儲(chǔ)器讀出 G輝度像素(G1—G2—G3)的組合。接下來(lái)，使用所謂的G1、 G2、 G 3的偏振輝度，使用(式6)至(式8)和表1 、表2而確定正弦函數(shù)參數(shù)A 、 B、 C。
步驟S 3603中，使用(式9)(式10)而作成偏振度P和偏振相位4>。
步驟S 3604中，將生成的值在偏振圖像幀存儲(chǔ)器105和偏振相位圖 像幀存儲(chǔ)器106存儲(chǔ)于三角形像素的位置。
重復(fù)以上的處理，直到在步驟S 3605中判定為馬賽克圖像幀存儲(chǔ)器 的全像素都結(jié)束。如此，在偏振度圖像幀存儲(chǔ)器105內(nèi)生成偏振度圖像P (x， y )的數(shù)據(jù)，另外在偏振相位圖像幀存儲(chǔ)器106內(nèi)生成偏振相位圖 像4) ( x， y )的數(shù)據(jù)。這些圖像的尺寸，如從其生成過(guò)程所明了的那樣， 與彩色馬賽克圖像的圖像構(gòu)造不同，成為三角形像素的構(gòu)造。作為結(jié)果， 雖然僅在G像素配置圖案化偏振體，但是能夠以全彩色圖像I (x， y)相同的像素構(gòu)造和分辨率，取得偏振信息。
另外，圖35和圖36的處理相互獨(dú)立，因此也可以并行地執(zhí)行這些處
理。另外，這些的處理可以用軟件實(shí)施，也可以用硬件執(zhí)行同樣的處理。 本實(shí)施方式中，雖然使用了從光子晶體形成的圖案化偏振體，但是也
可以使用膜型的偏振元件、線柵(17,亇一夕'!； 、_y K')型、基于其他原理 的偏振元件。
另外，實(shí)施方式4中，使用將4種偏振體單位排列于G像素的攝像裝 置，而取得將三角形像素作為最小單位的偏振信息和彩色輝度信息，但是 排列的偏振體的種類不限于4種，也可以是5種以上。重要點(diǎn)在于不同的 3種偏振體單位配置于三角形像素的頂點(diǎn)。
另外，也可以在1個(gè)圖像處理裝置中選擇執(zhí)行實(shí)施方式1的處理和實(shí) 施方式4的處理。具有共通的硬件的圖像處理裝置，若具有進(jìn)行實(shí)施方式 1的處理軟件和進(jìn)行實(shí)施方式4的處理的軟件，能夠選擇地執(zhí)行任何一種 處理。
本發(fā)明的圖像處理裝置和圖像處理方法，能夠同時(shí)取得來(lái)自被拍攝體 的彩色信息和偏振信息，因此能夠適用于各種數(shù)字靜物(X-夕》7于》) 照相機(jī)、數(shù)字?jǐn)z像機(jī)、監(jiān)視照相機(jī)、車(chē)載搭載照相機(jī)等。
權(quán)利要求
1、一種圖像處理裝置，其特征在于，具有彩色偏振光取得部，其包含單板彩色攝像元件，所述單板彩色攝像元件具有彩色馬賽克濾光器和圖案化偏振體，所述圖案化偏振體中具有不同角度的透過(guò)偏振面的多個(gè)偏振體單位被設(shè)置在所述彩色馬賽克濾光器內(nèi)的同一色的多個(gè)像素上；偏振信息處理部，其用正弦函數(shù)對(duì)所述同一色的多個(gè)像素中透過(guò)所述偏振體單位的光的輝度與所述偏振體單位的透過(guò)偏振面的角度之間的關(guān)系進(jìn)行近似；彩色馬賽克插補(bǔ)部，其通過(guò)進(jìn)行彩色輝度的插補(bǔ)，而得到在注目像素中沒(méi)有得到的彩色輝度，從而生成彩色輝度圖像。
2、 根據(jù)權(quán)利要求l所述的圖像處理裝置，其特征在于， 所述圖案化偏振體，具有如下構(gòu)成即透過(guò)偏振面的角度相互不同的4種偏振體單位鄰接而配置。
3、 根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其特征在于， 所述彩色馬賽克濾光器，具有如下構(gòu)成即單一特定色的像素以鋸齒形格子狀排列，所述偏振體單位，配置于以所述鋸齒形格子狀排列的像素。
4、 根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于， 所述特定色是R (紅)、G(綠)、B(藍(lán))中的G (綠)。
5、 一種圖像處理方法，其特征在于， 具有使用在彩色像素排列中的單一特定色的多個(gè)像素設(shè)置有透過(guò)偏振面 的角度不同的偏振體單位的單板彩色攝像元件，對(duì)各像素的輝度進(jìn)行觀測(cè)的步驟；根據(jù)在所述單一特定色的多個(gè)像素所觀測(cè)到的輝度取得偏振信息的 步驟；通過(guò)基于所述單一特定色和其他的2色的光的輝度，而對(duì)彩色輝度空間地進(jìn)行插補(bǔ)，從而生成彩色輝度圖像的步驟。
6、 一種圖像處理裝置，其特征在于， 具有彩色偏振光取得部，其包含單板彩色攝像元件，所述單板彩色攝像元 件具有彩色馬賽克濾光器和圖案化偏振體，所述圖案化偏振體中具有不同 角度的透過(guò)偏振面的多個(gè)偏振體單位被設(shè)置于所述彩色馬賽克濾光器內(nèi) 的不同色的多個(gè)像素；偏振信息處理部，其利用正弦函數(shù)對(duì)所述不同色的多個(gè)像素中透過(guò)所 述偏振體單位后的光的輝度或校正輝度與所述偏振體單位的透過(guò)偏振面的角度的關(guān)系進(jìn)行近似；彩色馬賽克插補(bǔ)部，其通過(guò)進(jìn)行色輝度的插補(bǔ)，而得到在注目像素沒(méi) 有得到的彩色輝度，從而生成彩色輝度圖像。
7、 根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于， 所述彩色馬賽克濾光器具有單一特定色的像素排列為鋸齒形格子狀的結(jié)構(gòu)，在所述排列為鋸齒形格子狀的像素中，透過(guò)偏振面角度相互不同的4 種偏振體單位鄰接而配置，并在其他色的像素配置有透過(guò)偏振面的角度相 互不同的至少兩種偏振體單位。
8、 根據(jù)權(quán)利要求7所述的圖像處理裝置，其特征在于， 所述特定色是R (紅)、G (綠)、B (藍(lán))中的G (綠)。
9、 根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于， 所述彩色馬賽克插補(bǔ)部，通過(guò)對(duì)在注目像素近旁在具有(180/ e)種類的偏振體單位的同一色像素所觀測(cè)到的輝度進(jìn)行平均化，而消除偏振 的效果，從而對(duì)彩色輝度進(jìn)行插補(bǔ)，所述(180/ e)種類的偏振體單位，其透過(guò)偏振面的角度相互e。不同。
10、 根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于，所述彩色馬賽克插補(bǔ)部，基于在注目像素近旁由透過(guò)偏振面的角度相 等的不同的色的像素所觀測(cè)到的輝度，對(duì)彩色輝度進(jìn)行推定。
11、 根據(jù)權(quán)利要求1或6所述的圖像處理裝置，其特征在于， 在同一色的像素中使用的偏振體單位的偏振波長(zhǎng)依存特性，在與該色相對(duì)應(yīng)的波長(zhǎng)帶域內(nèi)相互大致相等。
12、 一種圖像處理方法，其特征在于， 具有使用在彩色像素排列中的不同色的多個(gè)像素設(shè)置有透過(guò)偏振面的角 度不同的偏振體單位的單板彩色攝像元件，對(duì)各像素的輝度進(jìn)行觀測(cè)的步 驟；基于同一色且透過(guò)偏振面的角度不同的多個(gè)像素的輝度取得偏振信 息的步驟；對(duì)注目像素近旁中的不同色且透過(guò)偏振面角度不同的多個(gè)像素的輝 度進(jìn)行校正而取得偏振信息的步驟；以及分別利用注目像素近旁中的同一色且具有透過(guò)偏振面的角度相互以 e°不同的(180/ e)種的偏振體單位的像素的輝度，和不同色且具有 透過(guò)偏振面的角度相等的偏振體單位的像素，對(duì)在注目像素中沒(méi)有得到的 彩色輝度進(jìn)行推定，從而生成彩色輝度圖像的步驟。
13、 一種圖案化偏振體，具有與彩色像素排列的至少l色的像素對(duì)應(yīng) 而二維地排列的多個(gè)偏振體單位，其特征在于，所述多個(gè)偏振體單位，包含透過(guò)偏振面的角度相互不同的偏振體單位。
14、 根據(jù)權(quán)利要求13所示的圖案化偏振體，其特征在于， 所述多個(gè)偏振體單位以鋸齒形格子狀排列，并在鄰接的偏振體單位之間不配置偏振體單位。
15、 根據(jù)權(quán)利要求14所示的圖案化偏振體，其特征在于， 所述多個(gè)偏振體單位，具有如下結(jié)構(gòu)即周期性地排列由透過(guò)偏振面角度相互e °不同的(180/ e)種的偏振體單位組成的組。
16、 根據(jù)權(quán)利要求13所示的圖案化偏振體，其特征在于， 所述多個(gè)偏振體單位，具有偏振體單位，其與鋸齒形格子狀排列的特定色的像素相對(duì)應(yīng)； 偏振體單位，其與所述鋸齒形格子狀排列的特定色的像素以外的像素相對(duì)應(yīng)。
17、 根據(jù)權(quán)利要求13所示的圖案化偏振體，其特征在于，與所述鋸齒形格子狀排列的特定色的像素相對(duì)應(yīng)的偏振體單位，具有如下結(jié)構(gòu)即周期性地排列由透過(guò)偏振面的角度以相互e°不同的(180 /e)種類的偏振體單位組成的組，與所述特定色的像素以外的像素相對(duì)應(yīng)的偏振體單位，具有如下結(jié) 構(gòu)即周期性地排列由透過(guò)偏振面的角度不同的兩種偏振體單位組成的組。
18、 一種單板彩色攝像元件，其特征在于，備有權(quán)利要求13 17中任一項(xiàng)所述的圖案化偏振體；以及 以與各像素重合的方式配置有所述圖案化偏振體的各偏振體單位的 彩色馬賽克濾光器。
19、 一種圖像處理裝置，其特征在于， 具有彩色偏振光取得部，其具有單板彩色攝像元件，所述單板彩色攝像元 件具有彩色馬賽克濾光器和圖案化偏振體，所述圖案化偏振體中具有不同 的4個(gè)以上的角度的透過(guò)偏振面的多個(gè)偏振體單位被設(shè)置于所述彩色馬賽克濾光器內(nèi)的同一色的多個(gè)像素；偏振信息處理部，其用正弦函數(shù)對(duì)所述同一色的多個(gè)像素中透過(guò)所述 偏振體單位后的光的輝度與所述偏振體單位的透過(guò)偏振面的角度之間的 關(guān)系進(jìn)行近似；彩色馬賽克插補(bǔ)部，其通過(guò)進(jìn)行彩色輝度的插補(bǔ)，將由透過(guò)偏振面的 角度相互不同、且鄰接的3個(gè)的偏振體單位形成的三角形區(qū)域作為像素單 位而生成彩色輝度圖像。
全文摘要
本發(fā)明公開(kāi)一種圖像處理裝置，具有彩色偏振光取得部(101)，其包含單板彩色攝像元件，所述單板彩色攝像元件具有彩色馬賽克濾光器(201)和圖案化偏振體(202)，所述圖案化偏振體(202)中具有不同角度的透過(guò)偏振面的多個(gè)偏振體單位被設(shè)置在所述彩色馬賽克濾光器(201)內(nèi)的同一色(G)的多個(gè)像素上；偏振信息處理部(103)，其用正弦函數(shù)對(duì)G像素中透過(guò)所述偏振體單位的光的輝度與偏振體單位的透過(guò)偏振面的角度之間的關(guān)系進(jìn)行近似；彩色馬賽克插補(bǔ)部(103)，其通過(guò)進(jìn)行彩色輝度的插補(bǔ)，而得到在注目像素中沒(méi)有得到的彩色輝度，從而生成彩色輝度圖像。
文檔編號(hào)H04N5/335GK101569205SQ20088000130
公開(kāi)日2009年10月28日 申請(qǐng)日期2008年5月14日 優(yōu)先權(quán)日2007年6月15日
發(fā)明者佐藤智, 金森克洋 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社