專利名稱:備有在可見(jiàn)光和紅外線區(qū)域具有靈敏度的攝像元件的攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及備有在可見(jiàn)光和紅外線區(qū)域具有靈敏度的攝像元件的攝像裝置。
背景技術(shù)：
所謂的CCD(Charge Couple Device)和CMOS(Complementally MetalOxide Semiconductor)傳感器的攝像元件，通常不僅對(duì)可見(jiàn)光而且對(duì)紅外線也具有靈敏度。在使用這種攝像元件而在較暗的環(huán)境下進(jìn)行攝影的情況下，能夠利用該紅外線成分而得到亮度成分，并能夠?qū)崿F(xiàn)高靈敏度的單色圖像。另一方面，為了得到實(shí)現(xiàn)良好的色再現(xiàn)性的彩色圖像，需要除去紅外線成分。
在專利文獻(xiàn)1中，公開(kāi)了備有攝像元件和紅外線受光元件，并從攝像元件的輸出信號(hào)(可見(jiàn)光成分和紅外線成分之和)減算紅外線受光元件的輸出信號(hào)(紅外線成分)的方法。
另外，為了得到以上述那樣的攝像元件實(shí)現(xiàn)良好的色再現(xiàn)性的彩色圖像，需要除去紅外線成分。另外，在較暗環(huán)境下攝像的情況下，通過(guò)攝入紅外線成分而得到亮度成分，由此能夠?qū)で髮?shí)現(xiàn)高靈敏度的單色圖像。
在專利文獻(xiàn)1中，公開(kāi)了如下方法即備有攝像元件和紅外線受光元件，在從攝像元件的輸出信號(hào)(即可見(jiàn)光成分和紅外線成分之和)中減去紅外線受光元件的輸出信號(hào)(即紅外線成分)，且減算結(jié)果不足一定的閾值的情況下，代替減算處理對(duì)來(lái)自攝像元件的輸出信號(hào)進(jìn)行色抑制，由此能夠從包含紅外線成分的輸出信號(hào)抽取亮度成分。由此，對(duì)于在較亮的環(huán)境下進(jìn)行攝像的情況，能夠?qū)υ佻F(xiàn)了良好的色再現(xiàn)性的彩色圖像進(jìn)行攝像。在較暗的環(huán)境下，能夠?qū)Ω哽`敏度的單色圖像進(jìn)行攝像。
〔專利文獻(xiàn)1〕特開(kāi)平6-105319號(hào)公報(bào)然而，按照專利文獻(xiàn)1所公開(kāi)的方法，存在如下問(wèn)題即當(dāng)攝像元件上設(shè)置的可見(jiàn)光濾光器和在紅外線受光元件上設(shè)置的紅外線濾光器的紅外線區(qū)域中的光譜特性不一致時(shí)，不能夠從攝像元件的輸出信號(hào)充分除去紅外線成分，并不能得到良好的色再現(xiàn)性。
另外，按照專利文獻(xiàn)1所公開(kāi)的方法，由于彩色圖像和單色圖像的切換瞬間進(jìn)行，因此存在對(duì)攝像者產(chǎn)生異樣感覺(jué)的問(wèn)題。

發(fā)明內(nèi)容本發(fā)明針對(duì)這種狀況而提出，其目的為提供一種能夠得到色再現(xiàn)性良好的彩色圖像的攝像裝置。并且，本發(fā)明的另一目的在于提供一種能夠在色再現(xiàn)性良好的彩色圖像和感度高的單色圖像之間平滑地進(jìn)行切換的攝像裝置。
本發(fā)明的一種方式是關(guān)于一種攝像裝置，其中，備有第1像素，其對(duì)可見(jiàn)光和紅外線這兩方進(jìn)行受光；第2像素，其對(duì)紅外線進(jìn)行受光；預(yù)測(cè)部，其基于所述第1像素所受光的光的光譜特性和所述第2像素所受光的光的光譜特性，并根據(jù)由所述第2像素所輸出的信號(hào)，對(duì)由所述第1像素所輸出的信號(hào)中所包含的紅外線成分的大小進(jìn)行預(yù)測(cè)；以及減法部，其從由所述第1像素輸出的信號(hào)中減去所述預(yù)測(cè)所得到的紅外線成分。
按照該方式，即使在由對(duì)可見(jiàn)光和紅外線這兩方進(jìn)行受光的第1像素所受光的光的光譜特性，與由對(duì)紅外線進(jìn)行受光的第2攝像元件所受光的光的光譜特性不同的情況下，也能夠基于各自光譜特性，并根據(jù)由第2像素輸出的信號(hào)對(duì)從第1像素輸出的信號(hào)中所包含的紅外線成分進(jìn)行大致正確地進(jìn)行預(yù)測(cè)，因此能夠從由第1攝像元件輸出的信號(hào)充分地除去紅外線成分。由此，通過(guò)該攝像裝置，能夠得到色再現(xiàn)性良好的彩色圖像。
另外，由第1像素和第2像素所受光的光的光譜特性，可以由例如，各個(gè)像素上所備置的色濾光器的光譜特性、各個(gè)像素所備置的光電變換元件的光譜特性所確定。由此，即使在色濾光器的光譜特性和光電變換元件的光譜特性在第1像素和第2像素中不同的情況下，也能夠?qū)牡?像素輸出的信號(hào)中所包含的紅外線成分進(jìn)行大致正確地進(jìn)行預(yù)測(cè)。
另外，由所述第1像素和所述第2像素所受光的光的光譜特性，也可以由入射到各個(gè)像素的光的光譜特性所確定。由此，即使在光源和被拍攝體變化的情況下，也能夠?qū)牡?像素輸出的信號(hào)中所包含的紅外線成分大致正確地進(jìn)行預(yù)測(cè)。
在該方式中，第1像素和所述第2像素可以在同一攝像元件上形成。由此，備有一個(gè)攝像元件也可以，并且由于不需要用于取出紅外線成分的光學(xué)元件，因此能夠謀求攝像裝置的小型化。
本發(fā)明的另一方式，涉及攝像裝置。該裝置，備有第1像素，其對(duì)可見(jiàn)光和紅外線這兩方進(jìn)行受光；第2像素，其對(duì)紅外線進(jìn)行受光；減法部，其從由所述第1像素輸出的信號(hào)中，減去在由所述第2像素輸出的信號(hào)上乘以系數(shù)后的信號(hào)；確定部，其基于由所述第1像素輸出的信號(hào)的大小和由所述第2像素所輸出的信號(hào)的大小的比率，而對(duì)在所述減法部中在由所述第2像素所輸出的信號(hào)上所乘算的系數(shù)進(jìn)行確定。
按照該方式，在從包含可見(jiàn)光成分和紅外線成分的信號(hào)中除去紅外線成分時(shí)，能夠與紅外線成分的量相對(duì)于包含可見(jiàn)光成分和紅外線成分的信號(hào)的量的比率相對(duì)應(yīng)地，確定減算紅外線成分的比例。例如，在紅外線成分的比率十分小的情況下，將紅外線成分原樣減去，隨著紅外線成分的比率變大，慢慢地降低將紅外線成分減算的比例。并且，在紅外線成分的比率足夠大的情況下，不減算紅外線成分。
由此，由于在紅外線成分的比率足夠小時(shí)能夠確實(shí)除去紅外線成分，因此能夠得到色再現(xiàn)性良好的彩色圖像，并且在紅外線成分的比率較大時(shí)，能夠利用包含于各像素中的紅外線成分而得到感度好的單色圖像。此外，由于與紅外線的比率的大小相對(duì)應(yīng)地慢慢變化將紅外線成分減算的比例，因此能夠平滑地進(jìn)行彩色圖像和單色圖像之間的切換。
在該方式中，也可以是，確定部進(jìn)一步基于攝像時(shí)的照度，而確定在由第2像素輸出的信號(hào)上所乘算的系數(shù)。由此，在亮環(huán)境下進(jìn)行攝影的情況下，即使紅外線成分的比率較大時(shí)，若以較多地除去紅外線成分的方式確定系數(shù)，則能夠得到色再現(xiàn)性良好的彩色圖像。
另外，在該方式中，也可以是，減法部按照亮度成分用和色成分用，而分別地從由所述第1像素輸出的信號(hào)，減去在由所述第2像素輸出的信號(hào)上乘以系數(shù)后的信號(hào)。由此，關(guān)于亮度成分，通過(guò)將系數(shù)值較小地設(shè)定，能夠借助于將透過(guò)可見(jiàn)光濾光器的紅外線成分活化而提高感度。關(guān)于色成分，能夠通過(guò)較大地設(shè)定系數(shù)的值而盡可能除去紅外線成分，由此能夠?qū)崿F(xiàn)良好的色再現(xiàn)性。
另外，在該方式中，確定部對(duì)用于對(duì)所述第1像素的光譜特性和所述第2像素的光譜特性的不同進(jìn)行校正的另一系數(shù)進(jìn)行確定，減法部，從由所述第1像素所輸出的信號(hào)，減去在由所述第2像素輸出的信號(hào)上乘以另一系數(shù)后的信號(hào)。由此，即使在第1像素和第2像素中分光特性不同的情況下，也能夠準(zhǔn)確地對(duì)包含于從第1像素輸出的信號(hào)中的紅外線成分確實(shí)地進(jìn)行預(yù)測(cè)，并能夠進(jìn)一步提高色再現(xiàn)性。
另外，在該方式中，第1像素和第2像素，可以在同一攝像元件上形成。由此，若備有一個(gè)攝像元件也可以，并且由于不需要用于取出紅外線成分的光學(xué)元件，因此能夠謀求攝像裝置的小型化。
另外，在方法、裝置、系統(tǒng)等之間將以上的結(jié)構(gòu)要素的任意的組合、本發(fā)明的構(gòu)成要素或表現(xiàn)相互地進(jìn)行置換，作為本發(fā)明的方式也是有效的。
圖1是本發(fā)明的實(shí)施方式1所涉及的攝像裝置的結(jié)構(gòu)圖。
圖2是表示圖1的攝像元件的色濾光器的排列的圖。
圖3是表示本發(fā)明的實(shí)施方式1所涉及的紅色濾光器、綠色濾光器、藍(lán)色濾光器和紅外線濾光器的各像素的光譜特性的一例的圖。
圖4是本發(fā)明的實(shí)施方式2所涉及的攝像裝置的結(jié)構(gòu)圖。
圖5是表示圖4的攝像元件的色濾光器的排列的圖。
圖6是本發(fā)明的實(shí)施方式2的變形例2所涉及的攝像裝置的結(jié)構(gòu)圖。
圖7是本發(fā)明的實(shí)施方式2的變形例2所涉及的攝像裝置的結(jié)構(gòu)圖。
圖8是本發(fā)明的實(shí)施方式2所涉及的、備有紅色濾光器、綠色濾光器、藍(lán)色濾光器和紅外線濾光器的各像素的光譜特性的一例的圖。
實(shí)施方式以下參照優(yōu)選實(shí)施方式對(duì)本發(fā)明進(jìn)行描述。這并非是為了限制當(dāng)前發(fā)明的范圍，而是為了解釋發(fā)明。
以下說(shuō)明用于實(shí)施本發(fā)明的最佳實(shí)施方式。
圖1是表示本發(fā)明的實(shí)施方式1所涉及的攝像裝置100的結(jié)構(gòu)的圖。該結(jié)構(gòu)，在硬件方面，能夠由任意的計(jì)算機(jī)的CPU、存儲(chǔ)器、其他的LSI所實(shí)現(xiàn)，在軟件方面能夠由載置于存儲(chǔ)器等中的程序所實(shí)現(xiàn)，但是這里描述了由它們的聯(lián)合所實(shí)現(xiàn)的功能模塊。因此，對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)，這些功能模塊僅由硬件、僅由軟件、或它們的組合以各種各樣的形式實(shí)現(xiàn)是可以理解的。
攝像裝置100，備有攝像元件10、模擬/數(shù)字變換單元12、減法單元14、紅外線成分預(yù)測(cè)單元16、信號(hào)處理單元18。來(lái)自被拍攝體光被入射到攝像元件10。
攝像元件10，是由例如CCD(電荷耦合裝置)和CMOS(ComplementaryMetal Oxide Semiconductor)傳感器等所構(gòu)成的器件，并備有以矩陣狀配置的光電二極管，并由各個(gè)光電二極管構(gòu)成像素。
另外，攝像元件10中，在每個(gè)像素上備有不同色的濾光器，并由該色濾光器進(jìn)行色分解。攝像元件10上備置的色濾光器包含透過(guò)可見(jiàn)光和紅外線的可見(jiàn)光濾光器；以及主要透過(guò)紅外線的紅外線濾光器。此外，可見(jiàn)光濾光器，對(duì)應(yīng)于透過(guò)的色，被分類為紅色濾光器、綠色濾光器、和藍(lán)色濾光器。
圖2是表示攝像元件10所備置的色濾光器的排列的圖。攝像元件10的像素20上配置有透過(guò)綠色光的綠色濾光器，像素22上配置有透過(guò)紅色光的紅色濾光器，像素24上配置有透過(guò)藍(lán)色光的藍(lán)色濾光器。這些綠色濾光器、紅色濾光器、藍(lán)色濾光器具有紅外線也透過(guò)的特性。并且在像素26上配置主要透過(guò)紅外線的紅外線濾光器。并且，這些綠色濾光器、紅色濾光器、藍(lán)色濾光器和紅外線濾光器，以縱向兩像素、橫向兩像素為單位重復(fù)配置。
攝像元件10，將透過(guò)與每個(gè)像素對(duì)應(yīng)的色濾光器的光變換為與其強(qiáng)度對(duì)應(yīng)的電信號(hào)，并將其作為圖像信號(hào)每一像素地順次輸出。也就是說(shuō)，從像素20輸出的圖像信號(hào)成為合并綠色光和紅外線成分的量(大きさ)，從像素22輸出的像素信號(hào)成為合并紅色光和紅外線成分的量。并且，從像素24輸出的圖像信號(hào)成為合并藍(lán)色光和紅外線成分的量。另一方面，從像素26輸出的圖像信號(hào)，成為與紅外線成分相對(duì)應(yīng)的量。
模擬/數(shù)字變換單元12，將從攝像元件10輸出的圖像信號(hào)變換為例如10位的數(shù)字信號(hào)。變換后的數(shù)字信號(hào)，被輸入到減法單元14和紅外線成分預(yù)測(cè)單元16。
減法單元14從由攝像元件10的像素20、22和24輸出的圖像信號(hào)，即綠色光成分+紅外線成分(G+IR)、紅色光成分+紅外線成分(R+IR)、藍(lán)色光成分+紅外線成分(B+IR)，除去由像素26輸出的圖像信號(hào)即紅外線成分IR。此時(shí)，不是原樣減算由像素26輸出的紅外線成分IR，而是由紅外線成分預(yù)測(cè)單元16對(duì)綠色光成分+紅外線成分(G+IR)、紅色光成分+紅外線成分(R+IR)、藍(lán)色光成分+紅外線成分(B+IR)的每個(gè)分別個(gè)別地校正紅外線成分IR而進(jìn)行減算。
紅外線成分預(yù)測(cè)單元16，基于由攝像元件10的各像素所受光的光的光譜特性(分光特性)而對(duì)由像素26輸出的紅外線成分IR進(jìn)行校正，由此預(yù)測(cè)疊加于各色成分G+IR、R+IR、B+IR的紅外線成分。例如，求由像素20所受光的光的紅外線區(qū)域和由像素26所受光的光的光譜特性之比，并在像素26的輸出圖像信號(hào)即紅外線成分IR上乘算該比，由此對(duì)疊加于色成分G+IR的紅外線成分進(jìn)行預(yù)測(cè)。
同樣，紅外線成分預(yù)測(cè)單元16，求算由像素22所受光的光的紅外線區(qū)域與由像素26所受光的光，以及由像素24所受光的光的紅外線區(qū)域與由像素26所受光的光的光譜特性之比，進(jìn)行求算，并通過(guò)在紅外線成分IR上乘算該比，由此預(yù)測(cè)在色成分R+IR和B+IR疊加的紅外線成分。
由各像素所受光的光的光譜特性，由各個(gè)像素所備置的色濾光器的光譜特性、發(fā)光二極管的光譜特性、以及入射到各像素的光的光譜特性所確定。色濾光器的光譜特性和發(fā)光二極管的光譜特性由攝像元件10的各像素的形狀和工藝(process)所確定。紅外線成分預(yù)測(cè)單元16，存儲(chǔ)各個(gè)像素的色濾光器和發(fā)光二極管的光譜特性。另一方面，各個(gè)像素的所入射的光的光譜特性，由紅外線成分預(yù)測(cè)單元16對(duì)從攝像元件10所輸出的圖像信號(hào)進(jìn)行積分而求算。另外，也可以通過(guò)未圖示的控制裝置確定所受光的光譜特性。
紅外線成分預(yù)測(cè)單元16，將所預(yù)測(cè)的紅外線成分的量傳送到減法單元14。減法單元14，利用對(duì)從紅外線成分預(yù)測(cè)單元16傳送的色成分的每種進(jìn)行校正的紅外線成分，從各色成分G+IR、R+IR、B+IR除去紅外線成分。
從減法單元14輸出的信號(hào)，由信號(hào)處理單元18實(shí)施亮度信號(hào)和色信號(hào)的抽出以及多種圖像處理，由信號(hào)處理單元18得到的信號(hào)，被發(fā)送到未圖示的顯示裝置和圖像壓縮裝置等。
基于該結(jié)構(gòu)，以下說(shuō)明圖1所示的攝像裝置100的動(dòng)作。
輸入到攝像元件10的光，由圖2所示的色濾光器色分解為綠色光成分+紅外線成分(G+IR)、紅色光成分+紅外線成分(R+IR)、藍(lán)色光成分+紅外線成分(B+IR)，以及紅外線成分IR，并變換為電信號(hào)。該電信號(hào)，從攝像元件10每一像素地作為圖像信號(hào)而輸出，并由模擬/數(shù)字變換單元12而變換為數(shù)字信號(hào)。
由模擬/數(shù)字變換單元12變換為數(shù)字信號(hào)的圖像信號(hào)，被輸入到減法單元14和紅外線成分預(yù)測(cè)單元16。紅外線成分預(yù)測(cè)單元16，在從備有紅外線濾光器的像素輸出的紅外線成分IR上，乘算備有綠色濾光器、紅色濾光器和藍(lán)色濾光器的像素分別所受光的光的紅外線區(qū)域的光譜特性與備有紅外線濾光器的像素所受光的光的光譜特性之比，而各自分別地預(yù)測(cè)綠色光成分+紅外線成分(G+IR)、紅色光成分+紅外線成分(R+IR)、藍(lán)色光成分+紅外線成分(B+IR)。
在由紅外線成分預(yù)測(cè)單元16所預(yù)測(cè)的在各色成分上疊加的紅外線成分的量，被傳送到減法單元14。于是，由減法單元14，從綠色光成分+紅外線成分(G+IR)、紅色光成分+紅外線成分(R+IR)、藍(lán)色光成分+紅外線成分(B+IR)，各自分別地減算所預(yù)測(cè)的成分。
以下，更具體地說(shuō)明這些處理。
紅外線成分預(yù)測(cè)單元16，確定用于調(diào)整備有色濾光器的像素和備有紅外線的像素之間的光譜特性不同的系數(shù)(LR、LG、LB)的值，并傳遞到減法單元14。減法單元14，從由攝像元件10的像素20、22和24所輸出的圖像信號(hào)即綠色光成分+紅外線成分(G+IR)、紅色光成分+紅外線成分(R+IR)、藍(lán)色光成分+紅外線成分(B+IR)，除去由像素26輸出的圖像信號(hào)即紅外線成分IR。此時(shí)，不是原樣減算由像素26輸出的圖像信號(hào)即紅外線成分IR，而是減去乘算了系數(shù)(LR、LG、LB)后的值。也就是說(shuō)，減法單元14由以下的式(1)～(3)計(jì)算出紅外光成分R、綠色光成分G、和藍(lán)色光成分B。
R＝R+IR-LR·IR ……(1)G＝G+IR-LG·IR ……(2)B＝B+IR-LB·IR ……(3)圖3是備有紅色濾光器、綠色濾光器、藍(lán)色濾光器和紅外線濾光器的各像素的光譜特性的一例的圖。圖3中，橫軸為波長(zhǎng)、縱軸為靈敏度。比邊界線a高的波長(zhǎng)的區(qū)域表示紅外線區(qū)域，比邊界線低的波長(zhǎng)區(qū)域表示可見(jiàn)光區(qū)域。
備有紅色濾光器的像素的紅外線波長(zhǎng)區(qū)域中的靈敏度，比并備有紅外線濾光器的像素的靈敏度相當(dāng)?shù)卮?。在圖3的特性中，備有紅外線濾光器的像素，在紅外線波長(zhǎng)區(qū)域具有備有紅色濾光器的像素的大約1.5倍的靈敏度。因此，將備有紅色濾光器的像素的系數(shù)LR的值設(shè)為1.5。僅將從備有紅外線濾光器的像素輸出的紅外線成分原樣減去，而不從備有紅色濾光器的像素輸出的信號(hào)除去紅外線成分。這一點(diǎn)，通過(guò)從備有紅外線濾光器的像素輸出的紅外線成分IR上乘算系數(shù)LR而進(jìn)行校正，而能夠完全除去備有紅色濾光器的像素的輸出信號(hào)中所包含的紅外線成分。
備有藍(lán)色濾光器的像素的紅外線波長(zhǎng)區(qū)域中的靈敏度，為與備有紅外線濾光器的像素的靈敏度相同的程度。備有綠色濾光器的像素的紅外線波長(zhǎng)區(qū)域中的靈敏度比備有藍(lán)色紅外線濾光器的像素的靈敏度小大約十分之一。因此，將備有藍(lán)色濾光器的像素的系數(shù)LR的值設(shè)定為1，將備有綠色濾光器的像素的系數(shù)LR的值設(shè)定為0.9。因此，具有圖3的特性例的攝像元件10中的系數(shù)(LR、LG、LB)的值，成為大約(1.5，0.9，1.0)。
上述的光譜特性，不僅受濾光器的光譜特性，也受光源的光譜特性和被拍攝體的光譜特性的影響。這些特性，因光源和攝像對(duì)象而不同，靈敏度不一致，波長(zhǎng)的光的強(qiáng)度越強(qiáng)，則越弱。因此，系數(shù)(LR、LG、LB)的值，優(yōu)選為對(duì)于每個(gè)光源和被拍攝體而切換。
紅外線成分預(yù)測(cè)單元16，也可以存儲(chǔ)著對(duì)于每種光源的種類所預(yù)先計(jì)算出的系數(shù)(LR、LG、LB)的值。例如，對(duì)于朝向太陽(yáng)光、朝向熒光燈、朝向白熾燈分別保持不同的系數(shù)(LR、LG、LB)的值。這些值，由設(shè)計(jì)者通過(guò)試驗(yàn)和仿真所求得。紅外線成分預(yù)測(cè)單元16，若由用戶選擇光源的模式，則使用與選擇的模式相對(duì)應(yīng)的系數(shù)(LR、LG、LB)。
另外，紅外線成分預(yù)測(cè)單元16，也可以存儲(chǔ)著對(duì)于每種被拍攝體的種類所預(yù)先計(jì)算出的系數(shù)(LR、LG、LB)的值。例如，分別對(duì)于朝向人、朝向植物、朝向建筑物而保持不同的系數(shù)(LR、LG、LB)的值。若由用戶選擇攝像對(duì)象的模式，則紅外線成分預(yù)測(cè)單元16使用與所選擇的模式相對(duì)應(yīng)的系數(shù)(LR、LG、LB)的值。另外，也可以對(duì)于每種光源和被拍攝體的組合保持不同的系數(shù)(LR、LG、LB)的值。
另外，也可以不將與光源和被拍攝體的光譜特性相對(duì)應(yīng)的系數(shù)(LR、LG、LB)預(yù)先注冊(cè)于紅外線成分預(yù)測(cè)單元16，而對(duì)于每種攝影，適宜地計(jì)算出系數(shù)(LR、LG、LB)。例如，也可以是，紅外線成分預(yù)測(cè)單元16通過(guò)對(duì)從攝像元件10輸出的圖像信號(hào)進(jìn)行積分而在攝影時(shí)對(duì)入射到各像素的光的光譜特性進(jìn)行求算。另外，也可以在攝像裝置300上設(shè)置光譜特性傳感器，測(cè)定攝影時(shí)的光譜特性，而確定系數(shù)(LR、LG、LB)。
信號(hào)處理單元18基于減法單元14的輸出信號(hào)，實(shí)施各種圖像處理，并輸出到外部。
以上，按照本實(shí)施方式所涉及的攝像裝置，從由備有可見(jiàn)光濾光器的像素輸出的包含紅外線成分的色成分減算紅外線成分時(shí)，能夠在備有紅外線濾光器的像素輸出的紅外線成分上，乘算由備有可見(jiàn)光濾光器的像素所受光的光的紅外線區(qū)域的光譜特性和由備有紅外線濾光器的像素所受光的光的光譜特性之比，由此，對(duì)于由備有可見(jiàn)光濾光器的像素所輸出的色成分中所包含的紅外線成分進(jìn)行預(yù)測(cè)。由此，即使在由備有可見(jiàn)光濾光器的像素所受光的光的光譜特性，與備有紅外線濾光器的像素所受光的光的光譜特性不同的情況下，也能夠大致正確地預(yù)測(cè)由備有可見(jiàn)光濾光器的像素輸出的色成分中所包含的紅外線成分，并能夠從該色成分中充分除去紅外線成分。因此，通過(guò)該攝像裝置，能夠得到色再現(xiàn)性好的彩色圖像。
以上，基于實(shí)施方式1說(shuō)明了本發(fā)明。實(shí)施方式1只是例示，在它們的各構(gòu)成要素和各處理程序的組合中可能有各種各樣的變形例，并且那樣的變形例也在本發(fā)明的范圍內(nèi)，這對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)是可以被理解的。
例如，在上述實(shí)施方式1中，紅外線成分預(yù)測(cè)單元16，在從備有紅外線濾光器的像素輸出的紅外線成分IR上，乘以備有可見(jiàn)光濾光器的像素所受光的光的紅外線區(qū)域的光譜特性與備有紅外線濾光器的像素所受光的光的光譜特性之比，而示出了對(duì)紅外線成分進(jìn)行校正的例子，但是也可以將備有可見(jiàn)光濾光器的像素所受光的光的紅外線區(qū)域的光譜特性，與備有紅外線濾光器的像素所受光的光的光譜特性的差視為偏移量，而在從備有紅外線濾光器的像素輸出的紅外線成分IR上加算該偏移量，而預(yù)測(cè)紅外線成分。該方法，在濾光器的特性重疊的紅外線成分作為偏移量而表現(xiàn)的情況下是有效的。
另外，雖然在上述實(shí)施方式1中，紅外線成分預(yù)測(cè)單元16基于備有可見(jiàn)光濾光器的像素所受光的光的紅外線成分的光譜特性和備有紅外線濾光器的像素所受光的光的光譜特性，而對(duì)從備有可見(jiàn)光濾光器的像素輸出的信號(hào)中所包含的紅外線成分進(jìn)行預(yù)測(cè)。但是也可以，不僅基于從備有可見(jiàn)光濾光器的像素所受光的光的紅外線領(lǐng)域，而且還基于也包含其他波長(zhǎng)的光的一部分的光譜特性和備有紅外線濾光器的像素所受光的光的光譜特性，而對(duì)從備有可見(jiàn)光濾光器的像素輸出的信號(hào)中所包含的紅外線成分進(jìn)行預(yù)測(cè)。該方法，在紅外線濾光器具有使可見(jiàn)光的一部分透過(guò)的特性的情況下是有效的。
另外，在上述實(shí)施方式1中，示出了攝像元件10具備備有透過(guò)可見(jiàn)光和紅外線的雙方的可見(jiàn)光濾光器的像素，以及備有主要透過(guò)紅外線的紅外線濾光器的像素的例子，但是不限于此，也可以具備備有可見(jiàn)光濾光器的攝像元件和備有紅外線濾光器的攝像元件這兩個(gè)，并分別使用從各自輸出的圖像信號(hào)，也包含在本發(fā)明的攝像裝置中。
另外，在上述實(shí)施方式1中，對(duì)使用三原色濾光器和紅外線濾光器的攝像元件10進(jìn)行了說(shuō)明。這點(diǎn)在本實(shí)施例中，也可以適用于使用補(bǔ)充色濾光器和紅外線濾光器的攝像元件10。補(bǔ)充色濾光器色分解為黃色Ye、藍(lán)綠(シアン)Cy、和品紅(マゼンダ)Mg?；蛘撸纸鉃辄S色Ye、藍(lán)綠Cy、和綠色Gr；或黃色Ye、藍(lán)綠Cy、品紅Mg和綠色Gr。透過(guò)各種的色成分的濾光器，與上述3原色濾光器同樣，也透過(guò)紅外線成分。
圖4是表示本發(fā)明實(shí)施方式2所涉及的攝像裝置2100的結(jié)構(gòu)的圖。該結(jié)構(gòu)，在硬件上，能夠以任意的計(jì)算機(jī)的CPU、存儲(chǔ)器、其他的LSI所實(shí)現(xiàn)，并能夠由軟件上載置于存儲(chǔ)器的程序等所實(shí)現(xiàn)，但是這里描述了由它們的聯(lián)合所實(shí)現(xiàn)的功能程序。因此，這些功能程序僅是通過(guò)硬件、軟件、或它們的組合等各種程序的形式而實(shí)現(xiàn)，對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)是可以理解的。
攝像裝置2100，備有攝像元件2010、模擬/數(shù)字變換單元2012、減法單元2014、紅外線除去比例確定單元2016、信號(hào)處理單元2018。來(lái)自被拍攝體的光被入射到攝像元件2010。
攝像元件2010是由例如CCD(Charge Coupled Devices)和CMOS(complementary Metal Oxide Semiconductor)傳感器等構(gòu)成的器件，備有矩陣狀配置的光電二極管(photo dioide)，并通過(guò)各個(gè)光電二極管構(gòu)成像素。
另外，攝像元件2010在每個(gè)像素上備有色濾光器，并通過(guò)該色濾光器進(jìn)行色分解。備置于攝像元件2010上的色濾光器包含透過(guò)可見(jiàn)光和紅外線的可見(jiàn)光濾光器，和主要透過(guò)紅外線的紅外線濾光器。并且，可見(jiàn)光濾光器，與透過(guò)的色相對(duì)應(yīng)地分類為紅色濾光器、綠色濾光器、和藍(lán)色濾光器。
圖5是表示攝像元件2010所備置的色濾光器的排列的圖。在攝像元件2010的像素2020上，配置透過(guò)綠色光的綠色濾光器，在像素2022上配置透過(guò)紅色光的紅色濾光器，在像素2044上配置透過(guò)藍(lán)色光的藍(lán)色濾光器。這些綠色濾光器、紅色濾光器、藍(lán)色濾光器具有紅外線也透過(guò)的特性。另外，在像素2026上配置主要透過(guò)紅外線的紅外線濾光器。于是，這些綠色濾光器、紅色濾光器、藍(lán)色濾光器和紅外線濾光器以縱2個(gè)像素、橫2個(gè)像素為單位重復(fù)排列。
攝像元件2010，將與每個(gè)像素相對(duì)應(yīng)的、透過(guò)色濾光器的光變換為與其強(qiáng)度相對(duì)應(yīng)的電信號(hào)，并將其作為圖像信號(hào)而逐像素地順次輸出。也就是說(shuō)，從像素2020輸出的像素信號(hào)成為合并了綠色光和紅外線成分的量，從像素2022輸出的圖像信號(hào)成為合并了紅色光和紅外線成分的量。另外，從像素2024輸出的圖像信號(hào)成為合并了藍(lán)色光和紅外線成分的量。另一方面，從像素2026輸出的圖像信號(hào)，成為對(duì)應(yīng)于紅外線成分的量。
模擬/數(shù)字變換單元2012，將從攝像元件2010輸出的圖像信號(hào)變換為例如10位的數(shù)字信號(hào)。變換后的數(shù)字信號(hào)，被輸入到減法單元2014和紅外線除去比例確定單元2016。
減法單元2014從攝像元件2010的像素2020、2022、2024輸出的圖像信號(hào)即綠色光成分+紅外線成分(G+IR)、紅色光成分+紅外線成分(R+IR)、藍(lán)色光成分+紅外線成分(B+IR)，除去由像素2026所輸出的像素信號(hào)即紅外線成分IR。此時(shí)，并非原樣減算從像素2026輸出的紅外線成分IR，而是減算在紅外線成分IR上乘以系數(shù)K(0≤K≤1)的值。也就是說(shuō)，減法單元2014，通過(guò)以下的式子計(jì)算出紅色光成分R、綠色光成分G、藍(lán)色光成分B。
R＝R+IR-K·IR ……(4)G＝G+IR-K·IR ……(5)R＝B+IR-K·IR ……(6)紅外線除去比例確定單元2016，在由減法單元2014除去紅外線成分時(shí)，確定在紅外線成分IR上乘以系數(shù)K的值。該系數(shù)K，由紅色光成分+紅外線成分(R+IR)、綠色光成分+紅外線成分(G+IR)、或藍(lán)色光成分+紅外線成分(B+IR)與紅外線成分IR的比率所求算。
此時(shí)，用于式(4)的K可以由紅色光成分+紅外線成分(R+IR)與紅外線成分IR的比率求得，用于式(5)的K可以由綠色光成分+紅外線成分(G+IR)與紅外線成分IR的比率求得，用于式(6)的K可以由藍(lán)色光成分+紅外線成分(B+IR)與紅外線成分IR的比率求得?；蛘咭部梢酝ㄟ^(guò)紅色光成分+紅外線成分(R+IR)、綠色光成分+紅外線成分(G+IR)、或藍(lán)色光成分+紅外線成分(B+IR)的其中之一與紅外線成分IR的比率求算用于式(4)～(6)的K。
紅外線除去比例確定單元2016，在紅外線成分IR的比率十分小的情況下將K的值確定為1。由此，能夠從紅色光成分+紅外線成分(R+IR)、綠色光成分+紅外線成分(G+IR)、藍(lán)色光成分+紅外線成分(B+IR)成分除去紅外線成分IR，因此能夠得到色再現(xiàn)性良好的彩色圖像。
另一方面，在紅外線成分IR的比率足夠大的情況下，紅外線除去比例確定單元2016將K的值確定為0。此時(shí)，由于紅色光成分+紅外線成分(R+IR)、綠色光成分+紅外線成分(G+IR)、藍(lán)色光成分+紅外線成分(B+IR)中所包含的各可見(jiàn)光成分大致為零，因此R+IR、G+IR、B+IR中紅外線成分是支配性的。因此，在減法單元2014中，將K的值置為0，由式(4)～(6)求R、G、B的值，這些值也可以大致認(rèn)為是紅外線的成分。由此，能夠得到將紅外線成分的量活化的、靈敏度高的單色圖像。另外，上述各種比率和所設(shè)定的系數(shù)K的對(duì)應(yīng)關(guān)系，由設(shè)計(jì)者實(shí)驗(yàn)和仿真所確定。
另外，在雖然紅外線成分IR的比率不十分大但較多地包含的情況下，隨著該比率的變多，K值以從1到0的方式被設(shè)定。由此，能夠平滑地進(jìn)行彩色圖像和單色圖像的切換。
從減法單元2014輸出的信號(hào)，在信號(hào)處理單元2018中實(shí)施亮度信號(hào)和色信號(hào)的抽出、各種圖像處理。在信號(hào)處理單元2018中得到的信號(hào)，被發(fā)送到未圖示的顯示裝置和圖像壓縮裝置。
基于該結(jié)構(gòu)，以下說(shuō)明圖4所示的攝像裝置2100的動(dòng)作。
輸入到攝像元件2010的光，由圖5所示的色濾光器在每個(gè)像素上被色分解為紅色光成分+紅外線成分(R+IR)、綠色光成分+紅外線成分(G+IR)、藍(lán)色光成分+紅外線成分(B+IR)，以及紅外線成分IR，并變換為電信號(hào)。該電信號(hào)，從攝像元件2010，逐像素地作為圖像信號(hào)而輸出，由模擬/數(shù)字變換單元2012變換為數(shù)字信號(hào)。
由模擬/數(shù)字變換單元2012變換為數(shù)字信號(hào)的圖像信號(hào)，被輸入到減法單元2014和紅外線除去比例確定單元2016。紅外線除去比例確定單元2016，由紅色光成分+紅外線成分(R+IR)、綠色光成分+紅外線成分(G+IR)、或藍(lán)色光成分+紅外線成分(B+IR)，與紅外線成分IR的比率，確定式(4)～(6)的系數(shù)K。也就是說(shuō)，在紅外線成分IR的比率十分小的情況下，將K設(shè)定為1，并隨著紅外線成分IR的比率變大，將K的值從1設(shè)定為接近于零的值。并且在紅外線成分IR的比率十分大的情況下，將K設(shè)定為0。
由紅外線除去比例確定單元2016所設(shè)定的系數(shù)K的值，被傳遞到運(yùn)算單元2014。于是，減法單元2014根據(jù)式(4)～(6)，從紅色光成分+紅外線成分(R+IR)、綠色光成分+紅外線成分(G+IR)、或藍(lán)色光成分+紅外線成分(B+IR)，減算在紅外線成分IR上乘以系數(shù)K的值。
信號(hào)處理單元2018基于減法單元2014的輸出信號(hào)，實(shí)施各種圖像處理，并輸出到外部。
以上，按照本實(shí)施方式所涉及的攝像裝置，從包含由攝像元件攝取的可見(jiàn)光成分和紅外線成分的圖像信號(hào)除去紅外線成分之時(shí)，與紅外線成分的量相對(duì)于包含可見(jiàn)光成分和紅外線成分的圖像信號(hào)的量的比率相對(duì)應(yīng)地，確定減去紅外線成分的比例。也就是說(shuō)，在紅外線成分的比率較小的情況下，原樣減去紅外線成分，并隨著紅外線成分的比率變大，慢慢地將減算紅外線成分的比例減低。并且，在紅外線成分的比率足夠大的情況下，不減算紅外線成分。由此，在紅外線成分的比率十分小時(shí)，能夠確實(shí)地除去紅外線成分，因此能夠得到色再現(xiàn)性好的彩色圖像。并且在紅外線成分的比率足夠大時(shí)，能夠利用各像素中所包含的紅外線成分而得到靈敏度高的單色圖像。此外，由于與紅外線的比率的量相對(duì)應(yīng)地，對(duì)紅外線成分進(jìn)行減算的比例緩緩地變化，因此能夠平滑地進(jìn)行彩色圖像和單色圖像的切換。
以上，基于實(shí)施例2而說(shuō)明本發(fā)明。實(shí)施方式2是列示，在它們的各構(gòu)成要素和各處理程序的組合中能夠進(jìn)行各種各樣的變形例，這對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)是可以理解的。
例如，也可以設(shè)計(jì)為以亮度成分和色成分個(gè)別地進(jìn)行紅外線除去。圖6是表示本發(fā)明的實(shí)施方式2的變形例2所涉及的攝像組織2200的結(jié)構(gòu)的圖。該攝像裝置2200，作為圖4的攝像裝置2100的減法單元2014和紅外線除去比例確定單元2016的替代，備有亮度用減法單元2030、亮度用紅外線除去比例確定單元2030、色減法單元2034、色用紅外線除去比例確定單元2036。由此，對(duì)于亮度成分將系數(shù)K的值較小地設(shè)定，藉此能夠通過(guò)將透過(guò)可見(jiàn)光濾光器的紅外線成分活化而提高靈敏度，對(duì)于色成分通過(guò)較大地設(shè)定系數(shù)K的值，而盡可能地除去紅外線成分，由此能夠?qū)崿F(xiàn)良好的色再現(xiàn)性。
另外，在上述的實(shí)施方式2中，為如下方式即與透過(guò)可見(jiàn)光濾光器的可見(jiàn)光成分和紅外線成分之和與透過(guò)紅外線濾光器的紅外線成分的比率相對(duì)應(yīng)地，確定所除去的紅外線成分的比例即系數(shù)K的值，但是也可以考慮攝像時(shí)的照度。例如，在亮環(huán)境下進(jìn)行攝像的情況下，即使紅外線成分的比率較大，通過(guò)增大系數(shù)K的值而較多地除去紅外線成分，由此能夠提高色再現(xiàn)性。此時(shí)，攝像時(shí)的照度，可以由攝像元件2010的曝光時(shí)間的長(zhǎng)度所確定。也可以通過(guò)備有照度傳感器而由照度傳感器所測(cè)定。
另外，在上述實(shí)施方式2中，示出了攝像元件2010具備如下像素的例子即備有透過(guò)可見(jiàn)光和紅外線這兩方的可見(jiàn)光濾光器的像素；以及備有主要透過(guò)紅外線的紅外線濾光器的像素。但是并不限定于此，使用備有可見(jiàn)光濾光器的攝像元件以及備有紅外線濾光器的攝像元件這兩個(gè)而使用從各自輸出的圖像信號(hào)，也包含在本發(fā)明的攝像裝置中。
另外，在上述實(shí)施方式2中，確定所除去的紅外線成分的比率時(shí)對(duì)攝像元件2010的各像素所受光的光的光譜特性沒(méi)有考慮。在變形例2中，參照各像素所受光的光的光譜特性，對(duì)于每種色，對(duì)應(yīng)該從疊加有紅外線成分的各色成分中減去的紅外線成分上所乘算的系數(shù)的值進(jìn)行調(diào)整。圖7是該本發(fā)明的實(shí)施方式2的變形例2所涉及的攝像裝置2300的結(jié)構(gòu)。該攝像裝置2300，是在圖4的攝像裝置2100的結(jié)構(gòu)上添加紅外線成分預(yù)測(cè)單元2020的結(jié)構(gòu)。另外，權(quán)利要求
中的確定單元，也可以是總稱紅外線除去比例確定單元2016和紅外線成分預(yù)測(cè)單元2020的概念。
紅外線成分預(yù)測(cè)單元2020，對(duì)在從透過(guò)各色濾光器的光得到的信號(hào)上疊加的紅外線成分進(jìn)行預(yù)測(cè)。也就是說(shuō)，對(duì)疊加于紅色光成分+紅外線成分(R+IR)、綠色光成分+紅外線成分(G+IR)、和藍(lán)色光成分+紅外線成分(B+IR)的各個(gè)的紅外線成分進(jìn)行預(yù)測(cè)。此時(shí)，考慮備有各色濾光器的像素2020、2022、2024和紅外線濾光器的像素2026之間的光譜特性不同。
由各個(gè)像素所受光的光的光譜特性，由各個(gè)像素上所備置的濾光器的光譜特性和光電二極管的光譜特性、以及入射到備有各個(gè)像素的光的光譜特性等所確定。濾光器的光譜特性和光電二極管的光譜特性由攝像元件2010的各像素的形狀和工藝所確定。特別是，由于濾光器的光譜特性和光電二極管的光譜特性不一致，因此在從疊加有紅外線成分的各色成分減去紅外線成分時(shí)，通過(guò)對(duì)于每種色對(duì)乘于其紅外線成分上的系數(shù)的值進(jìn)行變化，能夠提高色再現(xiàn)性。
紅外線成分預(yù)測(cè)單元2020，對(duì)用于調(diào)整備有色濾光器的像素和備有紅外線濾光器的像素之間的光譜特性的不同的系數(shù)(LR、LG、LB)進(jìn)行確定，并傳送到減法單元2014。減法單元2014，從攝像元件2010的像素2020、2022、和2024輸出的圖像信號(hào)即綠色光成分+紅外線成分(G+IR)、紅色光成分+紅外線成分(R+IR)、藍(lán)色光成分+紅外線成分(B+IR)，除去由像素2026所輸出的圖像信號(hào)即紅外線成分IR。此時(shí)，不是將由像素2026輸出的紅外線成分IR原樣減算，而是在紅外線成分IR上乘以第一系數(shù)K(0≤K≤1)和第二系數(shù)(LR、LG、LB)的值。也就是說(shuō)，減法單元2014，由以下的式(7)～(9)計(jì)算出紅色光成分R、綠色光成分G、和藍(lán)色光成分B。這里，第一系數(shù)K是基于由紅外線除去比例確定單元2016所確定的疊加有紅外線成分的各可見(jiàn)光成分和紅外線成分IR的比率的系數(shù)。第2系數(shù)(LR、LG、LB)是基于由紅外線成分預(yù)測(cè)單元2020所確定的備有各色濾光器的像素分別所受光的光的紅外線區(qū)域的光譜特性和備有紅外線濾光器的像素所受光的光的光譜特性的比率的系數(shù)。
R＝R+IR-K·LR·IR ……(7)G＝G+IR-K·LG·IR ……(8)B＝B+IR-K·LB·IR ……(9)圖8是表示備有紅色濾光器、綠色濾光器、藍(lán)色濾光器和紅外線濾光器的各像素的光譜特性的一例的圖。圖8中橫軸是波長(zhǎng)，縱軸是靈敏度。比邊界線a高的波長(zhǎng)區(qū)域表示紅外線區(qū)域，比邊界線a低的波長(zhǎng)區(qū)域表示可見(jiàn)光區(qū)域。
備有紅色濾光器的像素的紅外線波長(zhǎng)區(qū)域中的靈敏度，比備有紅外線濾光器的像素的靈敏度高得多。在圖8的特性例中，備有紅外線濾光器的像素，在紅外線波長(zhǎng)區(qū)域中，具有備有紅色濾光器的像素的大約1.5倍的靈敏度。因此，將備有紅色濾光器的像素的第2系數(shù)LR的值設(shè)定為1.5。即使在第1系數(shù)為1的情況下，即完全除去紅外線成分的情況下，也是僅原樣減算從備有紅外線濾光器的像素輸出的紅外線成分IR，而不能從備有紅色濾光器的像素的輸出信號(hào)完全除去紅外線成分。這一點(diǎn)，通過(guò)在從備有紅外線濾光器的像素的輸出的紅外線成分IR上乘以第2系數(shù)LR而進(jìn)行校正，由此能夠完全除去備有紅色濾光器的像素的輸出信號(hào)中所包含的紅外線成分。
備有藍(lán)色濾光器的像素的紅外線波長(zhǎng)區(qū)域的靈敏度，與備有紅外線濾光器的像素的靈敏度為相同的程度。備有綠色濾光器的像素的紅外線波長(zhǎng)區(qū)域的靈敏度，比備有紅外線濾光器的像素的靈敏度小十分之一。因此，將備有藍(lán)色濾光器的像素的第2系數(shù)LR的值設(shè)定為1，將備有綠色濾光器的像素的第2系數(shù)LR的值設(shè)定為0.9。因此，具有圖8的特性例的攝像元件2010中的第2系數(shù)(LR、LG、LB)的值，成為大約(1.5，0.9，1.0)。
上述的光譜特性，不僅受濾光器的光譜特性和光電二極管的光譜特性，而且也受光源的光譜特性和被拍攝體的光譜特性影響。這些特性，因光源和攝影對(duì)象而多種多樣，靈敏度不一致的波長(zhǎng)的光的強(qiáng)度有強(qiáng)有弱。因此，第2系數(shù)(LR、LG、LB)的值也優(yōu)選為對(duì)于每種光源和被拍攝體而切換。
紅外線成分預(yù)測(cè)單元2020，也可以對(duì)于每種光源種類保持預(yù)先計(jì)算出的第2系數(shù)(LR、LG、LB)的值。例如，對(duì)于朝向太陽(yáng)光、朝向熒光燈、朝向白熾燈，保持不同的第2系數(shù)(LR、LG、LB)的值。這些值，由設(shè)計(jì)者通過(guò)試驗(yàn)或仿真而求得。若由用戶選擇光源的模式，則紅外線成分預(yù)測(cè)單元2020，使用與所選擇的模式相對(duì)應(yīng)的第2系數(shù)(LR、LG、LB)。
另外，也可以是，紅外線成分預(yù)測(cè)單元2020，對(duì)于每種被拍攝體種類保持預(yù)先算出的第2系數(shù)(LR、LG、LB)的值。例如，分別對(duì)于朝向人、朝向植物、朝向建筑物而保持不同的第2系數(shù)(LR、LG、LB)的值。若由用戶選擇攝像對(duì)象的模式，則紅外線成分預(yù)測(cè)單元2020使用與所選擇的模式相對(duì)應(yīng)的第2系數(shù)(LR、LG、LB)的值。另外，也可以對(duì)于每種光源和被拍攝體的組合保持不同的第2系數(shù)(LR、LG、LB)的值。
另外，也可以不將與光源和被拍攝體的光譜特性相對(duì)應(yīng)的第2系數(shù)(LR、LG、LB)預(yù)先注冊(cè)于紅外線成分預(yù)測(cè)單元2020，而對(duì)于每種攝影，適宜地計(jì)算出第2系數(shù)(LR、LG、LB)。例如，也可以是，紅外線成分預(yù)測(cè)單元2020通過(guò)對(duì)從攝像元件2010輸出的圖像信號(hào)進(jìn)行積分而在攝影時(shí)對(duì)入射到各像素的光的光譜特性進(jìn)行求算。另外，也可以在攝像裝置2300上設(shè)置光譜特性傳感器，測(cè)定攝影時(shí)的光譜特性，而確定系數(shù)(LR、LG、LB)。
按照變形例2，一邊對(duì)備有色濾光器的像素和備有紅外線濾光器的像素間的光譜特性的不同而進(jìn)行調(diào)整，一邊從疊加有紅外線成分的各色成分中除去紅外線成分，由此能夠確切地預(yù)測(cè)疊加于各色成分的紅外線成分，并能夠進(jìn)一步提高色再現(xiàn)性。并且，也能夠維持色平衡。
另外，在上述實(shí)施方式2中，對(duì)使用三原色濾光器和紅外線濾光器的攝像元件2010進(jìn)行了說(shuō)明。這點(diǎn)在本實(shí)施例中，也可以適用于使用補(bǔ)充色濾光器和紅外線濾光器的攝像元件2010。補(bǔ)充色濾光器色分解為黃色Ye、藍(lán)綠(シアン)Cy、和品紅(マゼンダ)Mg?；蛘撸纸鉃辄S色Ye、藍(lán)綠Cy、和綠色Gr；或黃色Ye、藍(lán)綠Cy、品紅Mg和綠色Gr。透過(guò)各種色成分的濾光器，與上述3原色濾光器同樣，也透過(guò)紅外線成分。
權(quán)利要求
1.一種攝像裝置，其特征在于，備有第1像素，其對(duì)可見(jiàn)光和紅外線這兩方進(jìn)行受光；第2像素，其對(duì)紅外線進(jìn)行受光；預(yù)測(cè)部，其基于所述第1像素所受光的光的光譜特性和所述第2像素所受光的光的光譜特性，并根據(jù)由所述第2像素所輸出的信號(hào)，對(duì)由所述第1像素所輸出的信號(hào)中所包含的紅外線成分的大小進(jìn)行預(yù)測(cè)；以及減法部，其從由所述第1像素輸出的信號(hào)中減去所述預(yù)測(cè)所得到的紅外線成分。
2.根據(jù)權(quán)利要求
1所述攝像裝置，其特征在于，所述第1像素和第2像素所受光的光的光譜特性，由各個(gè)像素所備置的色濾光器的光譜特性所確定。
3.根據(jù)權(quán)利要求
1所述攝像裝置，其特征在于，由所述第1像素和第2像素所受光的光的光譜特性，由各個(gè)像素所備置的光電變換元件的光譜特性所確定。
4.根據(jù)權(quán)利要求
1所述攝像裝置，其特征在于，由所述第1像素和所述第2像素所受光的光的光譜特性，由入射到各個(gè)像素的光的光譜特性所確定。
5.根據(jù)權(quán)利要求
1所述攝像裝置，其特征在于，所述第1像素和所述第2像素在同一攝像元件上形成。
6.一種攝像裝置，其特征在于，備有第1像素，其對(duì)可見(jiàn)光和紅外線這兩方進(jìn)行受光；第2像素，其對(duì)紅外線進(jìn)行受光；減法部，其從由所述第1像素輸出的信號(hào)中，減去在由所述第2像素輸出的信號(hào)上乘以系數(shù)后的信號(hào)；確定部，其基于由所述第1像素輸出的信號(hào)的大小和由所述第2像素所輸出的信號(hào)的大小的比率，而對(duì)在所述減法部中在由所述第2像素所輸出的信號(hào)上所乘算的系數(shù)進(jìn)行確定。
7.根據(jù)權(quán)利要求
6所述攝像裝置，其特征在于，所述確定部進(jìn)一步基于攝像時(shí)的照度，而確定在由所述第2像素輸出的信號(hào)上所乘算的系數(shù)。
8.根據(jù)權(quán)利要求
6所述攝像裝置，其特征在于，所述減法部，按照亮度成分用和色成分用，而分別地從由所述第1像素輸出的信號(hào)，減去在由所述第2像素輸出的信號(hào)上乘以系數(shù)后的信號(hào)。
9.根據(jù)權(quán)利要求
7所述攝像裝置，其特征在于，所述減法部，按照亮度成分用和色成分用，而分別地從由所述第1像素輸出的信號(hào)，減去在由所述第2像素輸出的信號(hào)上乘以系數(shù)后的信號(hào)。
10.根據(jù)權(quán)利要求
6所述攝像裝置，其特征在于，所述確定部，確定用于對(duì)所述第1像素的光譜特性和所述第2像素的光譜特性的不同進(jìn)行校正的另一系數(shù)，所述減法部，從由所述第1像素所輸出的信號(hào)，減去在由所述第2像素輸出的信號(hào)上再乘以所述另一系數(shù)后的信號(hào)。
11.根據(jù)權(quán)利要求
7所述攝像裝置，其特征在于，所述確定部，確定用于對(duì)所述第1像素的光譜特性和所述第2像素的光譜特性的不同進(jìn)行校正的另一系數(shù)，所述減法部，從由所述第1像素所輸出的信號(hào)，減去在由所述第2像素輸出的信號(hào)上再乘以所述另一系數(shù)后的信號(hào)。
12.根據(jù)權(quán)利要求
8所述攝像裝置，其特征在于，所述確定部，確定用于對(duì)所述第1像素的光譜特性和所述第2像素的光譜特性的不同進(jìn)行校正的另一系數(shù)，所述減法部，從由所述第1像素所輸出的信號(hào)，減去在由所述第2像素輸出的信號(hào)上再乘以所述另一系數(shù)后的信號(hào)。
13.根據(jù)權(quán)利要求
9所述攝像裝置，其特征在于，所述確定部，確定用于對(duì)所述第1像素的光譜特性和所述第2像素的光譜特性的不同進(jìn)行校正的另一系數(shù)，所述減法部，從由所述第1像素所輸出的信號(hào)，減去在由所述第2像素輸出的信號(hào)上再乘以所述另一系數(shù)的信號(hào)。
14.根據(jù)權(quán)利要求
6所述攝像裝置，其特征在于，所述第1像素和所述第2像素，在同一攝像元件上形成。
15.根據(jù)權(quán)利要求
7所述攝像裝置，其特征在于，所述第1像素和所述第2像素，在同一攝像元件上形成。
16.根據(jù)權(quán)利要求
8所述攝像裝置，其特征在于，所述第1像素和所述第2像素，在同一攝像元件上形成。
17.根據(jù)權(quán)利要求
9所述攝像裝置，其特征在于，所述第1像素和所述第2像素，在同一攝像元件上形成。
專利摘要
本發(fā)明公開(kāi)一種攝像裝置，其特征在于，備有第1像素，其對(duì)可見(jiàn)光和紅外線這兩方進(jìn)行受光；第2像素，其對(duì)紅外線進(jìn)行受光；預(yù)測(cè)部，其基于第1像素所受光的光的光譜特性和第2像素所受光的光的光譜特性，并根據(jù)第2像素所輸出的信號(hào)，對(duì)由第1像素所輸出的信號(hào)中所包含的紅外線成分的大小進(jìn)行預(yù)測(cè)；以及減法部，其從由第1像素輸出的信號(hào)中減去預(yù)測(cè)的紅外線成分。
文檔編號(hào)H04N1/40GK1992910SQ200610171151
公開(kāi)日2007年7月4日 申請(qǐng)日期2006年12月25日
發(fā)明者鈴木和博, 加藤桂史 申請(qǐng)人:三洋電機(jī)株式會(huì)社導(dǎo)出引文BiBTeX, EndNote, RefMan