專利名稱：處理多孔徑像數(shù)據(jù)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及處理多孔徑像數(shù)據(jù)，尤其是，但不是排他地涉及:用于處理多孔徑像數(shù)據(jù)的方法及系統(tǒng)、供這種系統(tǒng)中使用的像處理設(shè)備、以及使用這種方法的計(jì)算機(jī)程序產(chǎn)品。
背景技術(shù)：
在各種不同技術(shù)領(lǐng)域，諸如移動(dòng)遠(yuǎn)程通信、汽車和生物測(cè)量學(xué)中，數(shù)字圖片和視頻成像技術(shù)的日益增加的使用，要求發(fā)展小的集成的攝像機(jī)，它提供的像質(zhì)量與單鏡頭反光攝像機(jī)提供的像質(zhì)量匹配或至少相近。但是，集成和小型化的數(shù)字?jǐn)z像機(jī)技術(shù)對(duì)光學(xué)系統(tǒng)和像傳感器的設(shè)計(jì)提出嚴(yán)格限制，從而負(fù)面地影響該成像系統(tǒng)產(chǎn)生的像質(zhì)量。寬廣的機(jī)械焦距和孔徑設(shè)定機(jī)構(gòu)，不適合用于這種集成的攝像機(jī)應(yīng)用。因此，各種不同數(shù)字?jǐn)z像機(jī)捕獲和處理技術(shù)被發(fā)展，為的是增強(qiáng)基于固定焦距透鏡的成像系統(tǒng)的成像質(zhì)量。以國(guó)際專利申請(qǐng)?zhí)朠CT/EP2009/050502 和 PCT/EP2009/060936 的 PCT 申請(qǐng)，描述通過使用組合彩色和紅外成像技術(shù)二者的光學(xué)系統(tǒng)，擴(kuò)展固定焦距透鏡成像系統(tǒng)的景深的方式，這些申請(qǐng)?jiān)诖吮灰?，供參考。適合用于在彩色和紅外光譜二者中成像的像傳感器，以及波長(zhǎng)選擇性多孔徑的孔徑的組合使用，允許有固定焦距透鏡的數(shù)字?jǐn)z像機(jī)，以簡(jiǎn)單和良好性價(jià)比方式擴(kuò)展景深和增加ISO速度。它要求對(duì)已知數(shù)字成像系統(tǒng)較小的修正，從而使該過程特別適合于大規(guī)模生產(chǎn)。雖然多孔徑成像系統(tǒng)的使用，提供大體上優(yōu)于已知數(shù)字成像系統(tǒng)的優(yōu)點(diǎn)，但這樣的系統(tǒng)可能仍然不提供如在單鏡頭反光攝像機(jī)中所提供的相同功能性。尤其是，使固定透鏡多孔徑成像系統(tǒng)允許攝像機(jī)參數(shù)調(diào)整，諸如可調(diào)整景深和/或焦距調(diào)整，是合乎需要的。此外，提供有類似于已知3D數(shù)字?jǐn)z像機(jī)的3D成像功能性的這種多孔徑成像系統(tǒng)，是合乎需要的。因此，本領(lǐng)域需要允許提供增強(qiáng)功能性的多孔徑成像系統(tǒng)的方法和系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)目的，是降低或消除至少一個(gè)現(xiàn)有技術(shù)中已知的缺點(diǎn)。在第一方面中，本發(fā)明可以涉及用于處理多孔徑像數(shù)據(jù)的方法，其中，該方法可以包括:通過令成像系統(tǒng)中的像傳感器，同時(shí)曝光于使用至少第一孔徑的與電磁波光譜的至少第一部分相關(guān)聯(lián)的光譜能量以及使用至少第二孔徑的與電磁波光譜的至少第二部分相關(guān)聯(lián)的光譜能量，捕獲與一個(gè)或多個(gè)物體相關(guān)聯(lián)的像數(shù)據(jù)；產(chǎn)生與電磁波光譜的所述第一部分相關(guān)聯(lián)的第一像數(shù)據(jù)以及與電磁波光譜的所述第二部分相關(guān)聯(lián)的第二像數(shù)據(jù)；以及，在所述第一像數(shù)據(jù)的至少一個(gè)區(qū)域中第一清晰度信息以及所述第二像數(shù)據(jù)的至少一個(gè)區(qū)域中第二清晰度信息的基礎(chǔ)上，產(chǎn)生與所述被捕獲像相關(guān)聯(lián)的深度信息。因此，在多孔徑像數(shù)據(jù)，S卩，多孔徑成像系統(tǒng)產(chǎn)生的像數(shù)據(jù)的基礎(chǔ)上，該方法允許深度信息的產(chǎn)生，該深度信息建立像中物體與物體到攝像機(jī)距離的關(guān)系。使用該深度信息，與被捕獲像相關(guān)聯(lián)的深度映射(cbpth map)可以被產(chǎn)生。該距離信息和深度映射，允許像處理功能的實(shí)施，該像處理功能可以提供增強(qiáng)功能性的固定透鏡成像系統(tǒng)。
在一個(gè)實(shí)施例中，該方法可以包括:建立所述第一像數(shù)據(jù)的至少一個(gè)區(qū)域中的第一清晰度信息和所述第二像數(shù)據(jù)的至少一個(gè)區(qū)域中的第二清晰度信息之間的差，與所述成像系統(tǒng)和至少一個(gè)所述物體之間的距離的關(guān)系。在另一個(gè)實(shí)施例中，該方法可以包括:使用預(yù)定深度函數(shù)，建立所述第一和第二清晰度信息之間的差，最好是所述第一和第二清晰度信息之間的比值，與所述距離的關(guān)系。被定位在成像系統(tǒng)的DSP或存儲(chǔ)器中的預(yù)定深度函數(shù)，可以有效地建立相對(duì)清晰度信息與距離信息的關(guān)系。在再另一個(gè)實(shí)施例中，該方法可以包括:通過把所述第一和/或第二像數(shù)據(jù)提交高通濾波器處理，或者通過確定所述第一和/或第二像數(shù)據(jù)的傅里葉系數(shù)，最好是高頻傅里葉系數(shù)，確定第一和/或第二清晰度信息。該清晰度信息可以由彩色像數(shù)據(jù)和/或紅外像數(shù)據(jù)中的高頻分量有利地確定。在一個(gè)實(shí)施例中，電磁波譜的所述第一部分，可以與可見光譜的至少一部分相關(guān)聯(lián)，和/或電磁波譜的所述第二部分，可以與不可見光譜，最好是紅外光譜的至少一部分相關(guān)聯(lián)。紅外光譜的使用，允許像傳感器的靈敏度的有效使用，從而允許信噪比的顯著改進(jìn)。在再一個(gè)實(shí)施例中，該方法可以包括:通過令所述第一和第二清晰度信息之間的差和/或比值，與所述成像系統(tǒng)和所述一個(gè)或多個(gè)物體之間的距離相關(guān)聯(lián)，產(chǎn)生與所述被捕獲像的至少一部分相關(guān)聯(lián)的深度映射。在該實(shí)施例中，被捕獲像的深度映射可以被產(chǎn)生。該深度映射使像中每一像素?cái)?shù)據(jù)或每一組像素?cái)?shù)據(jù)與距離值相關(guān)聯(lián)。在又再一個(gè)實(shí)施例中，該方法可以包括:在所述深度信息的基礎(chǔ)上，通過位移所述第一像數(shù)據(jù)中的像素，產(chǎn)生供立體觀察使用的至少一個(gè)像。因此，用于立體觀察的像可以被產(chǎn)生。這些像可以在被多孔徑成像系統(tǒng)捕獲的像和它的相關(guān)聯(lián)深度映射的基礎(chǔ)上被產(chǎn)生。被捕獲的像可以用高頻紅外信息增強(qiáng)。在一種變型中，該方法可以包括:通過把所述第二像數(shù)據(jù)提交高通濾波器處理，產(chǎn)生高頻第二像數(shù)據(jù)；提供至少一個(gè)閾值距離或至少一個(gè)距離范圍；在所述深度信息的基礎(chǔ)上，在所述高頻第二像數(shù)據(jù)中，識(shí)別與大于或小于所述閾值距離的距離相關(guān)聯(lián)的一個(gè)或多個(gè)區(qū)域，或者在所述高頻第二像數(shù)據(jù)中，識(shí)別與在所述至少一個(gè)距離范圍內(nèi)的距離相關(guān)聯(lián)的一個(gè)或多個(gè)區(qū)域；按照掩模函數(shù)(masking function),在所述高頻第二像數(shù)據(jù)的所述被識(shí)別的一個(gè)或多個(gè)區(qū)域中，設(shè)定高頻分量；把所述被修改的第二高頻像數(shù)據(jù)，添加到所述第一像數(shù)據(jù)中。在該變型中，深度信息可以由此提供景深的控制。在另一種變型中，該方法可以包括:通過把所述第二像數(shù)據(jù)提交高通濾波器處理，產(chǎn)生高頻第二像數(shù)據(jù)；提供至少一個(gè)焦距；在所述深度信息的基礎(chǔ)上，在所述高頻第二像數(shù)據(jù)中，識(shí)別與大體上等于所述至少一個(gè)焦距的距離相關(guān)聯(lián)的一個(gè)或多個(gè)區(qū)域；按照掩模函數(shù)，在不同于所述被識(shí)別的一個(gè)或多個(gè)區(qū)域的區(qū)域中，設(shè)定高頻第二像數(shù)據(jù)；把所述被修改的高頻第二像數(shù)據(jù)，添加到所述第一像數(shù)據(jù)中。在該實(shí)施例中，該深度信息可以由此提供焦點(diǎn)的控制。在又另一種變型中，該方法可以包括:使用像處理功能處理所述被捕獲像，其中一個(gè)或多個(gè)像處理功能參數(shù)依賴于所述深度信息，最好是，所述像處理包含對(duì)所述第一和/或第二像數(shù)據(jù)濾波，其中所述濾波器的一個(gè)或多個(gè)濾波器參數(shù)依賴于所述深度信息。因此，該深度信息還可以在常用像處理步驟，諸如濾波步驟中被使用。
在另一方面中，本發(fā)明可以涉及使用多孔徑像數(shù)據(jù)確定深度函數(shù)的方法，其中該方法可以包括:在不同的物體到攝像機(jī)距離上，捕獲一個(gè)或多個(gè)物體的像，每一像的捕獲，都通過令像傳感器，同時(shí)曝光于使用至少第一孔徑的與電磁波光譜的至少第一部分相關(guān)聯(lián)的光譜能量以及使用至少第二孔徑的與電磁波光譜的至少第二部分相關(guān)聯(lián)的光譜能量；對(duì)至少一部分所述被捕獲像，產(chǎn)生與電磁波光譜的所述第一部分相關(guān)聯(lián)的第一像數(shù)據(jù)以及與電磁波光譜的所述第二部分相關(guān)聯(lián)的第二像數(shù)據(jù)；以及，通過確定所述第一像數(shù)據(jù)的至少一個(gè)區(qū)域中的第一清晰度信息和所述第二像數(shù)據(jù)的對(duì)應(yīng)區(qū)域中的第二清晰度信息之間的關(guān)系，作為所述距離的函數(shù)，產(chǎn)生深度函數(shù)。在再一方面中，本發(fā)明可以涉及信號(hào)處理模塊，其中該模塊可以包括:輸入，用于接收與電磁波光譜的所述第一部分相關(guān)聯(lián)的第一像數(shù)據(jù)以及與電磁波光譜的所述第二部分相關(guān)聯(lián)的第二像數(shù)據(jù)；至少一個(gè)高通濾波器，用于確定所述第一像數(shù)據(jù)的至少一個(gè)區(qū)域中的第一清晰度信息以及所述第二像數(shù)據(jù)的對(duì)應(yīng)區(qū)域中的第二清晰度信息；包括深度函數(shù)的存儲(chǔ)器，所述深度函數(shù)包括與電磁波光譜的第一部分相關(guān)聯(lián)的像數(shù)據(jù)和與電磁波光譜的第二部分相關(guān)聯(lián)的像數(shù)據(jù)之間的清晰度信息的差之間的關(guān)系(relation)，作為距離的函數(shù)，該距離最好是物體到攝像機(jī)距離；以及，深度信息處理器，用于在所述深度函數(shù)和從所述高通濾波器接收的所述第一及第二清晰度信息的基礎(chǔ)上，產(chǎn)生深度信息。在又再一方面中，本發(fā)明可以涉及多孔徑成像系統(tǒng)，其中該系統(tǒng)可以包括:像傳感器；光學(xué)透鏡系統(tǒng)；波長(zhǎng)選擇性多孔徑，被配置成令所述像傳感器，同時(shí)曝光于使用至少第一孔徑的與電磁波光譜的至少第一部分相關(guān)聯(lián)的光譜能量以及使用至少第二孔徑的與電磁波光譜的至少第二部分相關(guān)聯(lián)的光譜能量；第一處理模塊，用于產(chǎn)生與電磁波光譜的所述第一部分相關(guān)聯(lián)的第一像數(shù)據(jù)以及與電磁波光譜的所述第二部分相關(guān)聯(lián)的第二像數(shù)據(jù)；以及，第二處理模塊，用于在所述第一像數(shù)據(jù)的至少一個(gè)區(qū)域中的第一清晰度信息以及所述第二像數(shù)據(jù)的至少一個(gè)區(qū)域中的第二清晰度信息的基礎(chǔ)上，產(chǎn)生與所述像數(shù)據(jù)相關(guān)聯(lián)的深度信息。在又一個(gè)實(shí)施例中，該方法可以包括:使用消馬賽克算法(demosaickingalgorith)產(chǎn)生所述第一和第二像數(shù)據(jù)。本發(fā)明的更多方面，涉及數(shù)字?jǐn)z像機(jī)系統(tǒng)，最好是移動(dòng)終端中使用的數(shù)字?jǐn)z像機(jī)系統(tǒng)，包括如上所述的信號(hào)處理模塊和/或多孔徑成像系統(tǒng)，并涉及用于處理像數(shù)據(jù)的計(jì)算機(jī)程序產(chǎn)品，其中所述計(jì)算機(jī)程序產(chǎn)品，包括軟件代碼部分，該軟件代碼部分被配置成當(dāng)在計(jì)算機(jī)系統(tǒng)的存儲(chǔ)器中運(yùn)行時(shí)，執(zhí)行如上所述的方法。本發(fā)明將進(jìn)一步參照附圖被示出，附圖將示意地展示按照本發(fā)明的實(shí)施例。應(yīng)當(dāng)理解，本發(fā)明無論如何不受這些具體的實(shí)施例的限制。


圖1按照本發(fā)明一個(gè)實(shí)施例，畫出多孔徑成像系統(tǒng)。圖2畫出數(shù)字?jǐn)z像機(jī)的彩色響應(yīng)。圖3畫出熱反射鏡濾波器的響應(yīng)和硅的響應(yīng)。圖4畫出使用多孔徑系統(tǒng)的示意光學(xué)系統(tǒng)。圖5按照本發(fā)明一個(gè)實(shí)施例，畫出供與多孔徑成像系統(tǒng)一道使用的像處理方法。
圖6A照本發(fā)明一個(gè)實(shí)施例，畫出用于確定深度函數(shù)的方法。圖6B畫出作為距離函數(shù)的深度函數(shù)和描繪高頻彩色及紅外信息的曲線圖的示意圖。圖7照本發(fā)明一個(gè)實(shí)施例，畫出用于產(chǎn)生深度映射的方法。圖8照本發(fā)明一個(gè)實(shí)施例，畫出用于獲得立體觀察的方法。圖9按照本發(fā)明一個(gè)實(shí)施例，畫出用于控制景深的方法。圖10照本發(fā)明一個(gè)實(shí)施例，畫出用于控制焦點(diǎn)的方法。圖11照本發(fā)明另一個(gè)實(shí)施例，畫出使用多孔徑系統(tǒng)的光學(xué)系統(tǒng)。圖12照本發(fā)明另一個(gè)實(shí)施例，畫出用于確定深度函數(shù)的方法。圖13照本發(fā)明另一個(gè)實(shí)施例，畫出用于控制景深的方法。圖14畫出供多孔徑成像系統(tǒng)中使用的多孔徑系統(tǒng)。
具體實(shí)施例方式圖1示出按照本發(fā)明一個(gè)實(shí)施例的多孔徑成像系統(tǒng)100。該成像系統(tǒng)可以是數(shù)字?jǐn)z像機(jī)或被集成在移動(dòng)電話、網(wǎng)絡(luò)攝像頭、生物測(cè)量傳感器、像掃描器或要求像捕獲功能性的任何其他多媒體裝置中的一部分。圖1中畫出的系統(tǒng)包括:像傳感器102、用于使景物中物體聚焦到像傳感器的成像平面上的透鏡系統(tǒng)104、快門106和包括預(yù)定數(shù)量孔徑的孔徑系統(tǒng)108，這些孔徑允許光(電磁輻射)的第一部分，如可見部分，以及至少EM光譜的第二部分，如不可見部分，諸如電磁(EM)光譜的紅外部分，按受控制方式進(jìn)入該成像系統(tǒng)。該多孔徑系統(tǒng)108，下面將更詳細(xì)討論，被配置成控制像傳感器曝光于EM光譜的可見部分的光，以及任選地不可見部分，如紅外部分。尤其是，該多孔徑系統(tǒng)可以定義至少第一大小的第一孔徑和至少第二大小的第二孔徑，該第一孔徑用于使像傳感器曝光于EM光譜的第一部分，該第二孔徑用于使像傳感器曝光于EM光譜的第二部分。例如，在一個(gè)實(shí)施例中，該EM光譜的第一部分可以涉及彩色光譜，而該第二部分可以涉及紅外光譜。在另一個(gè)實(shí)施例中，該多孔徑系統(tǒng)可以包括預(yù)定數(shù)量的孔徑，各被設(shè)計(jì)成使像傳感器曝光于EM光譜的預(yù)定范圍內(nèi)的輻射。像傳感器對(duì)EM輻射的曝光，受快門106和多孔徑系統(tǒng)108的孔徑的控制。當(dāng)快門被打開時(shí)，孔徑系統(tǒng)控制光的量和使像傳感器102曝光的光的準(zhǔn)直度。快門可以是機(jī)械快門，或換種方式，快門可以是被集成在像傳感器中的電子快門。該像傳感器包括形成兩維像素陣列的光敏部位(像素)的行及列。該像傳感器可以是CMOS (互補(bǔ)型金屬氧化物半導(dǎo)體)有源像素傳感器，或CCD (電荷耦合器件)像傳感器。另外，該像傳感器可以涉及另一種Si(如，a-Si)、II1-V (如，GaAs)或基于導(dǎo)電聚合物的像傳感器結(jié)構(gòu)。當(dāng)光被透鏡系統(tǒng)投射到像傳感器上時(shí)，每一像素產(chǎn)生電信號(hào)，該電信號(hào)與入射該像素上的電磁輻射(能量)成比例。為了獲得彩色信息并分離投射到像傳感器成像平面上的像的彩色成分，通常，彩色濾波器陣列120 (CFA)被置于透鏡和該像傳感器之間。該彩色濾波器陣列可以與像傳感器集成，以便像傳感器的每一像素有對(duì)應(yīng)的像素濾波器。每一彩色濾波器適合使預(yù)定彩色頻帶通過，進(jìn)入該像素。常常是，紅色、綠色和藍(lán)色(RGB)濾波器的組合被使用，但是，其他濾波器方案也是可能的，如，CYGM (藍(lán)綠色、黃色、綠色、絳紅色)、RGBE(紅色、綠色、藍(lán)色、鮮綠色)等等。
被曝光的像傳感器的每一像素，產(chǎn)生與通過與該像素相關(guān)聯(lián)的彩色濾波器的電磁輻射成比例的電信號(hào)。該像素陣列由此產(chǎn)生像數(shù)據(jù)(幀)，代表通過該彩色濾波器陣列的電磁能量(輻射)的空間分布。從像素接收的信號(hào)，可以用一個(gè)或多個(gè)芯片上放大器放大。在一個(gè)實(shí)施例中，像傳感器的每一顏色通道，可以用分開的放大器放大，從而允許分開地控制不同顏色的ISO速度。另外，像素信號(hào)可以被抽樣、量化和用一個(gè)或多個(gè)模擬到數(shù)字(A/D)轉(zhuǎn)換器110變換為數(shù)字格式的字，該轉(zhuǎn)換器110可以被集成在像傳感器的芯片上。數(shù)字化的像數(shù)據(jù)由與像傳感器耦合的數(shù)字信號(hào)處理器112(DSP)處理，該數(shù)字信號(hào)處理器112被配置成進(jìn)行熟知的信號(hào)處理功能，諸如內(nèi)插、濾波、白平衡、亮度校正、數(shù)據(jù)壓縮技術(shù)(如，MPEG或JPEG類型的技術(shù))。該DSP被耦合到中央處理器114、存儲(chǔ)捕獲的像的存儲(chǔ)器116和程序存儲(chǔ)器118，諸如EEPROM或包括一種或多種軟件程序的非易失性存儲(chǔ)器的另一種類型，這些軟件程序供DSP處理像數(shù)據(jù)使用，或供中央處理器管理成像系統(tǒng)的操作使用。另外，該DSP可以包括一種或多種信號(hào)處理功能124，這些功能被配置成獲得與多孔徑成像系統(tǒng)捕獲的像相關(guān)聯(lián)的深度信息。這些信號(hào)處理功能，可以提供有擴(kuò)展的成像功能性的固定透鏡多孔徑成像系統(tǒng)，該成像功能性包含可變DOF和聚焦控制及立體3D像觀察能力。與這些信號(hào)處理功能相關(guān)聯(lián)的細(xì)節(jié)和優(yōu)點(diǎn)，下面將更詳細(xì)討論。如上所述，該成像系統(tǒng)的靈敏度通過使用紅外成像功能性被擴(kuò)展。為此，透鏡系統(tǒng)可以被配置成允許可見光和紅外輻射或至少一部分紅外輻射二者進(jìn)入成像系統(tǒng)。透鏡系統(tǒng)前面的濾波器，被配置成允許至少一部分紅外輻射進(jìn)入該成像系統(tǒng)。尤其是，這些濾波器不包括常常被稱為熱反射鏡濾波器的紅外阻擋濾波器，它在常用彩色成像攝像機(jī)中被使用，以阻擋紅外輻射進(jìn)入攝像機(jī)。因此，進(jìn)入多孔徑成像系統(tǒng)的EM輻射122，可以由此包括與EM光譜的可見和紅外部分二者相關(guān)聯(lián)的輻射，從而允許像傳感器的光響應(yīng)擴(kuò)展到紅外光譜。(沒有)紅外阻擋濾波器對(duì)常用CFA彩色像傳感器的作用，在圖2-3中示出。在圖2A和2B中，曲線202代表沒有紅外阻擋濾波器(熱反射鏡濾波器)的數(shù)字?jǐn)z像機(jī)典型的彩色響應(yīng)。曲線圖A更詳細(xì)示出使用熱反射鏡濾波器的作用。熱反射鏡濾波器210的響應(yīng)，限制像傳感器對(duì)可見光譜的光譜響應(yīng)，從而實(shí)際上限制像傳感器的整個(gè)靈敏度。如果把熱反射鏡濾波器拿走，一些紅外輻射將通過彩色像素濾波器。這一作用由曲線圖B畫出，曲線圖B示出包括藍(lán)色像素濾波器204、綠色像素濾波器206和紅色像素濾波器208的常用彩色像素的光響應(yīng)。這些彩色像素濾波器，尤其是紅色像素濾波器，可以(部分地)透射紅外輻射，因此，一部分像素信號(hào)可以被認(rèn)為由紅外輻射貢獻(xiàn)。這些紅外貢獻(xiàn)可以使彩色平衡畸變，導(dǎo)致包括所謂偽彩色的像。圖3畫出熱反射鏡濾波器302的響應(yīng)和硅304(即，數(shù)字?jǐn)z像機(jī)中使用的像傳感器的主要半導(dǎo)體部件)的響應(yīng)。這些響應(yīng)清楚示出，硅像傳感器對(duì)紅外輻射的靈敏度，比它對(duì)可見光的靈敏度高出大致4倍。為了利用如圖2和3所示的由像傳感器提供的光譜靈敏度，圖1的成像系統(tǒng)中的像傳感器102，可以是常用的像傳感器。在常用的RGB傳感器中，紅外輻射主要由紅色像素感測(cè)。在這樣的情形下，DSP可以處理紅色像素信號(hào)，以便提取其中的低噪聲紅外信息。這一處理過程下面將更詳細(xì)描述。換種方式，像傳感器可以被具體配置成對(duì)至少一部分紅外光譜成像。該像傳感器可以包括，例如一個(gè)或多個(gè)與彩色像素結(jié)合的紅外(I)像素，從而允許該像傳感器產(chǎn)生RGB彩色像和相對(duì)低噪聲的紅外像。紅外像素可以通過用濾波器材料覆蓋光敏部位(photo-site)而實(shí)現(xiàn)，該材料大體上阻擋可見光而大體上透射紅外輻射，最好是在約700到IlOOnm范圍內(nèi)的紅外輻射。該紅外透射像素濾波器可以設(shè)在紅外/彩色濾波器陣列(ICFA)中，并可以用熟知的濾波器材料實(shí)現(xiàn)，該材料對(duì)光譜的紅外頻帶中的波長(zhǎng)有高的透射率，例如由Brewer Science以商標(biāo)“DARC 400”出售的黑色聚酰亞胺材料。實(shí)現(xiàn)這樣的濾波器的方法，在US2009/0159799中描述。ICFA可以含有像素的塊，如，2X2像素的塊，其中每一塊包括紅色、綠色、藍(lán)色和紅外像素。當(dāng)被曝光時(shí)，這種像ICFA彩色像傳感器，可以產(chǎn)生包括RGB彩色信息和紅外信息二者的原始馬賽克像。在用熟知的消馬賽克算法處理該原始馬賽克像之后，RGB彩色像和紅外像可以被獲得。這樣的ICFA像彩色傳感器，對(duì)紅外輻射的靈敏度，可以通過增加塊中紅外像素的數(shù)量而增加。在一種配置(未畫出)中，該像傳感器濾波器陣列，例如可以包括16個(gè)像素的塊，包括4個(gè)彩色像素RGGB和12個(gè)紅外像素。代替ICFA像彩色傳感器，在另一個(gè)實(shí)施例中，該像傳感器可以涉及光敏部位的陣列，其中每一光敏部位包括一定數(shù)量疊層的本領(lǐng)域熟知的光電二極管。最好是，這樣疊層的光敏部位，包括至少4個(gè)分別對(duì)至少基色RGB和紅外響應(yīng)的疊層的光電二極管。這些疊層的光電二極管可以被集成進(jìn)像傳感器的硅基底中。該多孔徑系統(tǒng)，如，多孔徑光闌，可以被用于改進(jìn)攝像機(jī)的景深(D0F)。這樣的多孔徑系統(tǒng)400的原理，在圖4中示出。當(dāng)捕獲像時(shí)，該DOF確定離焦點(diǎn)對(duì)準(zhǔn)的攝像機(jī)的距離范圍。在該范圍內(nèi)，物體是可接受地清晰的。對(duì)適度大的距離和給定的像格式，DOF由透鏡焦距N、與透鏡開孔(孔徑)相關(guān)聯(lián)的f數(shù)、以及物體到攝像機(jī)距離s確定?？讖皆綄?接收的光越多)，DOF受到的限制越大?？梢姾图t外光譜能量，可以經(jīng)由多孔徑系統(tǒng)進(jìn)入成像系統(tǒng)。在一個(gè)實(shí)施例中，該多孔徑系統(tǒng)可以包括有預(yù)定直徑Dl的圓孔402的濾波器涂覆的透明基底。該濾波器涂層404可以透射可見輻射和反射和/或吸收紅外輻射。不透明的蓋板406可以包括具有直徑D2的圓形開孔，該直徑D2大于孔402的直徑D1。該蓋可以包括反射紅外和可見輻射二者的薄膜涂層，或者換種方式，該蓋可以是把基底夾持和定位在光學(xué)系統(tǒng)中的不透明夾持器的一部分。這樣，該多孔徑系統(tǒng)包括多個(gè)波長(zhǎng)選擇性孔徑，允許像傳感器受控地曝光于EM光譜的不同部分的光譜能量。通過孔徑系統(tǒng)的可見和紅外光譜能量，隨后被透鏡412投射到像傳感器的成像平面414上，該像傳感器包括用于獲得與可見光譜能量相關(guān)聯(lián)的像數(shù)據(jù)的像素，以及用于獲得與不可見(紅外)光譜能量相關(guān)聯(lián)的像數(shù)據(jù)的像素。像傳感器的像素由此可以接收第一(相對(duì)地)寬孔徑像信號(hào)416，該像信號(hào)416與具有有限的DOF的可見光譜能量相關(guān)聯(lián)，疊加在第二小孔徑像信號(hào)418上，該像信號(hào)418與具有大DOF的紅外光譜能量相關(guān)聯(lián)。接近透鏡焦距N的平面的物體420，以相對(duì)小的散焦模糊通過可見輻射投射到像平面上，而被定位在離焦距平面更遠(yuǎn)的物體422，以相對(duì)小的散焦模糊通過紅外輻射投射到像平面上。因此，與包括單一孔徑的常用成像系統(tǒng)相反，雙孔徑或多孔徑成像系統(tǒng)，使用包括兩個(gè)或更多不同大小的孔徑的孔徑系統(tǒng)，用于控制使像傳感器曝光的光譜的不同頻帶中輻射的量和準(zhǔn)直。
DSP可以被配置成處理捕獲的彩色和紅外信號(hào)。圖5畫出與多孔徑成像系統(tǒng)一道使用的典型的像處理步驟500。在該例子中，多孔徑成像系統(tǒng)包括常用彩色像傳感器，例如使用Bayer彩色濾波器陣列。在該情形中，主要是紅色像素濾波器使紅外輻射透射到像傳感器。捕獲的像幀的紅色像素?cái)?shù)據(jù)，包括高振幅的可見紅色信號(hào)和清晰的、低振幅的不可見紅外信號(hào)二者。該紅外分量可以比可見紅色分量低8到16倍。另外，使用已知彩色平衡技術(shù)，該紅色平衡可以被調(diào)整，以補(bǔ)償由紅外輻射的存在而產(chǎn)生的輕微畸變。在其他的變型中，RGBI像傳感器可以被使用，其中該紅外像可以用I像素直接獲得。在第一步驟502中，捕獲經(jīng)Bayer濾波器濾波的原始像數(shù)據(jù)。此后，DSP可以提取紅色像數(shù)據(jù)，該像數(shù)據(jù)還包括紅外信息(步驟504)。此后，DSP可以從紅色像數(shù)據(jù)中提取與紅外像相關(guān)聯(lián)的清晰度信息，并使用該清晰度信息增強(qiáng)彩色像。在空間域中提取清晰度信息的一種方式，可以通過把高通濾波器應(yīng)用于紅色像數(shù)據(jù)而獲得。高通濾波器可以保存紅色像內(nèi)的高頻信息(高頻分量)，同時(shí)降低低頻信息(低頻分量)。高通濾波器的核可以被設(shè)計(jì)成增加中心像素相對(duì)于鄰域像素的亮度。該核陣列常常在它的中心含有單獨(dú)的正值，該單獨(dú)的正值完全被負(fù)值包圍。用于高通濾波器的3X3核的簡(jiǎn)單非限制性例子，可以看似:1-1/9 -1/9 -1/91-1/9 8/9 -1/91-1/9 -1/9 -1/9因此，為了提取與紅外像信號(hào)相關(guān)聯(lián)的高頻分量(B卩，清晰度信息)，該紅色像數(shù)據(jù)被通過高通濾波器(步驟506)。因?yàn)榧t外孔徑的相對(duì)地小的大小產(chǎn)生相對(duì)地小的紅外像信號(hào)，該被濾波的高頻分量按與可見光孔徑相對(duì)于紅外孔徑的比值成正比地被放大(步驟508)。紅外孔徑的相對(duì)地小的大小的作用，部分地由紅色像素捕獲的紅外輻射的頻帶比紅色輻射頻帶約寬4倍(數(shù)字紅外攝像機(jī)的靈敏度通常比可見光攝像機(jī)大4倍)的事實(shí)補(bǔ)償。在放大之后，從紅外像信號(hào)導(dǎo)出的放大的高頻分量，被添加到(被一道混合)經(jīng)Bayer濾波器濾波的原始像數(shù)據(jù)的每一彩色分量中(步驟510)。這樣，紅外像數(shù)據(jù)的清晰度信息被添加到彩色像中。此后，組合的像數(shù)據(jù)可以用本領(lǐng)域熟知的消馬賽克算法，變換為全RGB彩色像(步驟512)。在一種變型(未畫出)中，該經(jīng)Bayer濾波器濾波的原始像數(shù)據(jù)，首先被消馬賽克而成為RGB彩色像，并隨后通過相加(混合)與被放大的高頻分量組合。圖5畫出的方法，允許多孔徑成像系統(tǒng)有寬的孔徑，以便在較低光的情形中有效的操作，與此同時(shí)有導(dǎo)致更清晰圖像的更大D0F。另外，該方法有效地增加透鏡的光學(xué)性能、降低要求達(dá)到相同性能的透鏡的費(fèi)用。該多孔徑成像系統(tǒng)因此允許簡(jiǎn)單的移動(dòng)電話攝像機(jī)有典型的f數(shù)7 (如，7mm的焦距N和1_的直徑)，以通過有變化的f數(shù)的第二孔徑，如，f數(shù)在直徑0.5mm的14直到直徑等于或小于0.2mm的70或更大之間變化，改進(jìn)它的D0F，其中，該f數(shù)由焦距f和孔徑的有效直徑的比值定義。較可取的實(shí)施方案包含的光學(xué)系統(tǒng)，包括用于增加近處物體清晰度的可見輻射的約2到4的f數(shù)，與用于增加遠(yuǎn)處物體清晰度的紅外孔徑的約16到22的f數(shù)的組合。
由多孔徑成像系統(tǒng)提供的在DOF和ISO速度方面的改進(jìn)，在有關(guān)申請(qǐng)PCT/EP2009/050502和PCT/EP2009/060936中被更詳細(xì)描述。此外，如參照?qǐng)D1_5所述的多孔徑成像系統(tǒng)，可以被用于產(chǎn)生與單個(gè)捕獲的像相關(guān)聯(lián)的深度信息。尤其更甚的是，多孔徑成像系統(tǒng)的DSP可以包括至少一個(gè)深度函數(shù)，該深度函數(shù)依賴于光學(xué)系統(tǒng)的參數(shù)，且該深度函數(shù)在一個(gè)實(shí)施例中，可以事先由制造商確定并存儲(chǔ)在攝像機(jī)的存儲(chǔ)器中，供數(shù)字像處理功能使用。像可以含有位于離攝像機(jī)透鏡不同距離處的不同物體，因此，更接近攝像機(jī)焦平面的物體，將比更遠(yuǎn)離該焦平面的物體更清晰。深度函數(shù)可以建立清晰度信息與涉及的距離信息的關(guān)系，該清晰度信息與被成像在像的不同區(qū)域的物體相關(guān)聯(lián)，該距離是這些物體從攝像機(jī)被移開的距離。在一個(gè)實(shí)施例中，深度函數(shù)R可以包含對(duì)離開攝像機(jī)透鏡不同距離上的物體，確定彩色像分量和紅外像分量的清晰度比值。在另一個(gè)實(shí)施例中，深度函數(shù)D可以包含被高通濾波的紅外像的自相關(guān)分析。這些實(shí)施例在下面參照?qǐng)D6-14更詳細(xì)地被描述。在第一實(shí)施例中，深度函數(shù)R可以由彩色像中的清晰度信息和紅外像中的清晰度信息的比值定義。在此，清晰度參數(shù)可以涉及所謂彌散圓，該彌散圓對(duì)應(yīng)于由物空間中不清晰地成像點(diǎn)的像傳感器測(cè)得的模糊光斑直徑。代表散焦模糊的模糊盤直徑，對(duì)焦平面中的點(diǎn)是非常小的(零)，而當(dāng)在物空間中向前景或背景移動(dòng)離開該平面時(shí)，逐步地增長(zhǎng)。只要該模糊盤比最大可接受彌散圓c更小，則被認(rèn)為足夠清晰并被認(rèn)為是DOF范圍的一部分。根據(jù)已知DOF公式，由此得出，在物體深度，即它離攝像機(jī)的距離S，和該物體在攝像機(jī)中的模糊(即，清晰度)量之間存在直接關(guān)系。因此，在多孔徑成像系統(tǒng)中，彩色像RGB分量的清晰度，相對(duì)于紅外像中IR分量的清晰度的增加或減小，取決于被成像物體離透鏡的距離。例如，如果透鏡被聚焦在3米，RGB分量和IR分量二者的清晰度可以相同。相反，由于對(duì)I米距離上的物體，用于紅外像的小的孔徑，RGB分量的清晰度可以顯著地小于紅外分量的那些清晰度。這一依賴性可以被用于估算物體離攝像機(jī)透鏡的距離。尤其是，如果透鏡被設(shè)定成大的(“無限遠(yuǎn)”)焦點(diǎn)(該點(diǎn)可以被稱為該多孔徑系統(tǒng)的超焦距H)，則攝像機(jī)可以確定像中彩色和紅外分量同樣清晰的點(diǎn)。像中的這些點(diǎn)，對(duì)應(yīng)于被定位在離攝像機(jī)相對(duì)大距離(通常是背景)上的物體。對(duì)于被定位在遠(yuǎn)離超焦距H的物體，在紅外分量和彩色分量之間的清晰度中的相對(duì)差，將作為物體和透鏡之間距離s的函數(shù)而增加。彩色像中清晰度信息和在一個(gè)光斑(如，一個(gè)或一組像素)上測(cè)得的紅外信息中清晰度信息之間的比值，本文此后將稱為深度函數(shù)R(s)。該深度函數(shù)R(S)，可以通過對(duì)離攝像機(jī)透鏡不同距離s的一個(gè)或多個(gè)測(cè)試物體，測(cè)量清晰度比值而獲得，其中該清晰度由相應(yīng)像中的高頻分量確定。圖6A按照本發(fā)明一個(gè)實(shí)施例，畫出與深度函數(shù)的確定相關(guān)聯(lián)的流程圖600。在第一步驟602中，測(cè)試物體可以被放置在離攝像機(jī)至少在超焦距H上。此后，用多孔徑成像系統(tǒng)捕獲像數(shù)據(jù)。然后，與彩色像及紅外信息相關(guān)聯(lián)的清晰度信息，從捕獲的數(shù)據(jù)提取(步驟606-608)。清晰度信息R(H)之間的比值，隨后被存儲(chǔ)在存儲(chǔ)器中(步驟610)。然后，該測(cè)試物體在離開超焦距H的距離Λ上被移動(dòng)，而R在該距離上被確定。這一過程被重復(fù)，直到對(duì)接近攝像機(jī)透鏡的所有距離，R都被確定為止(步驟612)。這些值可以被存儲(chǔ)在存儲(chǔ)器中。為了獲得連續(xù)的深度函數(shù)R(S)，內(nèi)插可以被使用(步驟614)。在一個(gè)實(shí)施例中，R可以被定義為在像中特定光斑上測(cè)得的高頻紅外分量Db的絕對(duì)值和高頻彩色分量Dral的絕對(duì)值之間的比值。在另一個(gè)實(shí)施例中，在特定區(qū)域中紅外和彩色分量之間的差，可以被計(jì)算。在該區(qū)域中該差的和，可以在其后被當(dāng)作距離的測(cè)量。圖6B畫出作為距離函數(shù)的Dral和Db曲線(曲線圖A)，以及作為距離函數(shù)的R=DjDcol曲線(曲線圖B)。在曲線圖A中，表明在焦距N周圍，高頻彩色分量有最高值，而遠(yuǎn)離該焦距，高頻彩色分量作為模糊效應(yīng)的結(jié)果迅速下降。此外，作為相對(duì)小的紅外孔徑的結(jié)果，高頻紅外分量在離開焦點(diǎn)N的大距離上，將有相對(duì)高的值。曲線圖B畫出作為DJDm1之間比值定義而得到的深度函數(shù)R，該曲線圖指出，對(duì)大體上大于焦距N的距離，清晰度信息被包括在高頻紅外像數(shù)據(jù)中。該深度函數(shù)R(S)可以事先由制造商獲得，并可以存儲(chǔ)在攝像機(jī)的存儲(chǔ)器中，它在那里可以被DSP在一種或多種后處理功能中使用，以便處理被多孔徑成像系統(tǒng)捕獲的像。在一個(gè)實(shí)施例中，該后處理功能之一可以涉及與被多孔徑成像系統(tǒng)捕獲的單幅像相關(guān)聯(lián)的深度映射的產(chǎn)生。圖7按照本發(fā)明的一個(gè)實(shí)施例，畫出用于產(chǎn)生這樣的深度映射的過程的示意圖。在該多孔徑成像系統(tǒng)中的像傳感器在一幀像幀中同時(shí)捕獲可見和紅外像信號(hào)二者之后(步驟702)，DSP可以使用例如熟知所消馬賽克算法，分離捕獲的原始馬賽克像中的彩色和紅外像素信號(hào)(步驟704)。此后，DSP可以對(duì)彩色像數(shù)據(jù)(如，RGB像)和紅外像數(shù)據(jù)使用高通濾波器，以便獲得兩種像數(shù)據(jù)的高頻分量(步驟706)。此后，DSP可以令距離與每一像素P (i，j)或像素組相關(guān)聯(lián)。為此，DSP可以對(duì)每一像素P (i，j)確定高頻紅外分量和高頻彩色分量之間的清晰度比值R (i，j):R (i，j)=Dir (i，j)/Dcol (i，j)(步驟708)。在深度函數(shù)R(s)，尤其是反深度函數(shù)R' (R)的基礎(chǔ)上，DSP然后可以令每一像素上測(cè)得的清晰度比值R (i, j)與到攝像機(jī)透鏡的距離s (i,j)相關(guān)聯(lián)(步驟710)。該過程將產(chǎn)生距離映射，其中映射中每一距離值被與像中某一像素相關(guān)聯(lián)。如此產(chǎn)生的映射可以被存儲(chǔ)在攝像機(jī)的存儲(chǔ)器中(步驟712)。向每一像素指配距離，可能要求大量數(shù)據(jù)處理。為了降低計(jì)算量，在一種變型中，在第一步驟中，像中的邊緣可以用熟知的邊緣檢測(cè)算法檢測(cè)。此后，圍繞這些邊緣的區(qū)域可以被用作樣本區(qū)域，以便用這些區(qū)域中的清晰度比值R，確定離攝像機(jī)透鏡的距離。該變型提供的優(yōu)點(diǎn)是，它要求較少的計(jì)算。因此，在被多孔徑攝像機(jī)系統(tǒng)捕獲的像，即像素幀{p (i，j)}的基礎(chǔ)上，該包括深度函數(shù)的數(shù)字成像處理器，可以確定相關(guān)聯(lián)的深度映射Is (i，j)}。對(duì)該像素幀中每一像素，該深度映射包括相關(guān)聯(lián)的距離值。該深度映射可以通過對(duì)每一像素P (i，j)計(jì)算相關(guān)聯(lián)的深度值S (i，j)而被確定。換種方式，該深度映射可以通過令深度值與像中像素組相關(guān)聯(lián)而被確定。該深度映射可以與捕獲的像一起，按任一種合適的數(shù)據(jù)格式，被存儲(chǔ)在攝像機(jī)的存儲(chǔ)器中。該過程不受參照?qǐng)D7所述步驟限制。各種不同的變型是可能的，并不違背本發(fā)明。例如，高通濾波可以在消馬賽克步驟之前施行。在該情形中，高頻彩色像是通過對(duì)被高通濾波的像數(shù)據(jù)消馬賽克而獲得的。另外，在清晰度信息的基礎(chǔ)上確定距離的其他方式，也是可能的，并不違背本發(fā)明。例如，代替用例如高通濾波器在空間域中分析清晰度信息(即，邊緣信息)，該清晰度信息也可以在頻域中被分析。例如，在一個(gè)實(shí)施例中，運(yùn)行離散傅里葉變換(DFT)可以被采用，以便獲得清晰度信息。DFT可以被用于計(jì)算彩色像和紅外像二者的傅里葉系數(shù)。分析這些系數(shù)，尤其是高頻系數(shù)，可以提供距離的指示。例如，在一個(gè)實(shí)施例中，與彩色像和紅外像中特定區(qū)域相關(guān)聯(lián)的高頻DFT系數(shù)之間的絕對(duì)差，可以被用作距離的指示。在再一個(gè)實(shí)施例中，傅里葉分量可以被用于分析與紅外及彩色信號(hào)相關(guān)聯(lián)的截止頻率。例如，如果在像的特定區(qū)域中，紅外像信號(hào)的截止頻率大于彩色像信號(hào)的截止頻率，那么該差可以提供距離的指示。在深度映射的基礎(chǔ)上，各種不同像處理功能被實(shí)現(xiàn)。圖8按照本發(fā)明的一個(gè)實(shí)施例，畫出用于獲得立體觀察的方案800。在被放置在離物體P距離s上的原來攝像機(jī)位置C。的基礎(chǔ)上，兩個(gè)虛擬攝像機(jī)位置C1和C2 (—個(gè)用于左眼而一個(gè)用于右眼)可以被定義。這些虛擬攝像機(jī)位置的每一個(gè)，相對(duì)于原來攝像機(jī)位置在距離_t/2和+t/2上被對(duì)稱地位移。給定焦距N、C0, Q、C2、t和s之間的幾何關(guān)系，要求產(chǎn)生與該兩個(gè)虛擬攝像機(jī)位置相關(guān)聯(lián)的兩個(gè)被移位的“虛擬”像的像素移位量，可以由下面表達(dá)式確定:P1=P0-(t*N)/ (2s)和 P2=p0+(t*N)/(2s)；因此，在這些表達(dá)式和深度映射中距離信息s (i，j)的基礎(chǔ)上，像處理功能可以對(duì)原來像中每一像素P。(i，j)，計(jì)算與第一和第二虛擬像相關(guān)聯(lián)的像素P1 (1，」)和巧(i，j)(步驟802-806)。這樣，原來像中每一像素P。(i，j)可以按照上面的表達(dá)式被移位，產(chǎn)生適合供立體觀察的兩個(gè)移位的像(P1 (i，j) }和{p2 (i，j) }。圖9按照一個(gè)實(shí)施例，畫出又一種像處理功能900。該功能允許在多孔徑成像系統(tǒng)中控制DOF的縮減。因?yàn)槎嗫讖匠上裣到y(tǒng)使用固定透鏡和固定多孔徑系統(tǒng)，所以光學(xué)系統(tǒng)以該光學(xué)系統(tǒng)的固定(被改進(jìn))的DOF提交像。但是，在一些情況下，有可變的DOF可能是期望的。在第一步驟902中，像數(shù)據(jù)和相關(guān)聯(lián)的深度映射可以被產(chǎn)生。此后，該功能可以允許特定距離s'的選擇(步驟904)，該距離可以被用作截止距離，在它之后，在高頻紅外分量基礎(chǔ)上的清晰度增強(qiáng)可以被舍棄。使用該深度映射，DSP可以識(shí)別像中第一區(qū)域和第二區(qū)域，該第一區(qū)域與大于被選擇的距離s'的物體到攝像機(jī)距離相關(guān)聯(lián)(步驟906)，該第二區(qū)域與小于被選擇的距離s'的物體到攝像機(jī)距離相關(guān)聯(lián)。此后，DSP可以檢索高頻紅外像，并按照掩模函數(shù)，把被識(shí)別的第一區(qū)域中的高頻紅外分量設(shè)定為某一值(步驟910)。該如此修改的高頻紅外像，然后按圖5所示類似方式與RGB像混合(步驟912)。這樣，其中像中物體離開攝像機(jī)透鏡直到距離s'，都被用從高頻紅外分量獲得的清晰度信息增強(qiáng)的RGB像可以被獲得。這樣，DOF可以按受控方式被縮減。應(yīng)當(dāng)承認(rèn)，各種不同的變型是可能的，并不違背本發(fā)明。例如，代替單一的距離，距離范圍[sl，s2]可以被該多孔徑系統(tǒng)的用戶選擇。像中的物體可以與離開攝像機(jī)的距離有關(guān)。此后，DSP可以確定哪些物體區(qū)域被定位在該范圍之內(nèi)。這些區(qū)域隨后被高頻分量中的清晰度信息增強(qiáng)。再一種像處理功能，可以涉及控制攝像機(jī)的焦點(diǎn)。該功能示意地在圖10中畫出。在該實(shí)施例中，(虛擬)焦距N'可以被選擇(步驟1004)。使用深度映射，與該被選擇焦距相關(guān)聯(lián)的像中的區(qū)域，可以被確定(步驟1006)。此后，DSP可以產(chǎn)生高頻紅外像(步驟1008)，并按照掩模函數(shù)，把被識(shí)別的區(qū)域以外的所有高頻分量設(shè)定為某一值(步驟1010)。該如此修改的高頻紅外像，可以與RGB像混合(步驟1012)，從而只增強(qiáng)與焦距N'相關(guān)聯(lián)的像中該區(qū)域中的清晰度。這樣，像中焦點(diǎn)可以按可控方式被改變?？刂平咕嗟牧硗獾淖冃?，可以包含多個(gè)焦距N'、N"、等等的選擇。對(duì)這些被選定距離的每一個(gè)，紅外像中相關(guān)聯(lián)的高頻分量可以被確定。高頻紅外像的隨后修改并參照與圖10所示類似方式與彩色像的混合，可以產(chǎn)生的像例如是:在2米處的物體是焦點(diǎn)對(duì)準(zhǔn)的，在3米處的物體是散焦的和在4米處的物體是焦點(diǎn)對(duì)準(zhǔn)的。在再另一個(gè)實(shí)施例中，如參照?qǐng)D9和10所示的焦點(diǎn)控制，可以被應(yīng)用于像中一個(gè)或多個(gè)特定區(qū)域。為此，用戶或DSP可以選擇像中需要焦點(diǎn)控制的一個(gè)或多個(gè)特定區(qū)域。在又另一個(gè)實(shí)施例中，距離函數(shù)R(S)和/或深度映射，可以被用于使用熟知像處理功能(如，濾波、混合、平衡，等等)處理所述捕獲的像，其中，與該功能相關(guān)聯(lián)的一種或多種像處理功能參數(shù)，依賴于深度信息。例如，在一個(gè)實(shí)施例中，該深度信息可以被用于控制截止頻率和/或控制被用于產(chǎn)生高頻紅外像的高通濾波器的滾降。當(dāng)該像的某個(gè)區(qū)域的彩色像和紅外像中清晰度信息大體上相同時(shí),要求紅外像的較小的清晰度信息(即，高頻紅外分量)。因此，在這種情形中，有非常高截止頻率的高通濾波器可以被使用。相反，當(dāng)彩色像和紅外像中清晰度信息不同時(shí)，有較低截止頻率的高通濾波器可以被使用，以便彩色像中的模糊，可以被紅外像中清晰度信息補(bǔ)償。這樣，整幅像或像的特定部分中，高通濾波器的滾降和/或截止頻率，可以按照彩色像和紅外像中清晰度信息的差而被調(diào)整。深度映射的產(chǎn)生和在該深度映射基礎(chǔ)上像處理功能的實(shí)施，不受上面的實(shí)施例的限制。圖11按照再一個(gè)實(shí)施例，畫出用于產(chǎn)生深度信息的多孔徑成像系統(tǒng)1100的示意圖。在該實(shí)施例中，深度信息是通過使用修改的多孔徑配置獲得的。代替如圖4所示在中心的一個(gè)紅外孔徑，圖11中的多孔徑1101包括多個(gè)(即，兩個(gè)或更多)小的紅外孔徑1102、1104在形成更大彩色孔徑1106的光闌的邊緣(或沿周邊)。這些多個(gè)小的孔徑大體上比如圖4所示的單個(gè)紅外孔徑更小，從而提供的作用是，焦點(diǎn)對(duì)準(zhǔn)的物體1108，作為清晰的單幅紅外像1112，被成像到成像平面1110上。與此相反，離焦的物體1114，作為兩個(gè)紅外像1116、1118，被成像到成像平面上。與第一紅外孔徑1102相關(guān)聯(lián)的第一紅外像1116，相對(duì)于與第二紅外孔徑相關(guān)聯(lián)的第二紅外像1118在距離Λ上被位移。不同于通常與散焦透鏡相關(guān)聯(lián)的連續(xù)模糊的像，包括多個(gè)小紅外孔徑的多孔徑允許不連續(xù)的、清晰的像的形成。當(dāng)與單個(gè)紅外孔徑比較時(shí)，多個(gè)紅外孔徑的使用，允許更小孔徑的使用，從而達(dá)到景深的進(jìn)一步增強(qiáng)。物體離焦越遠(yuǎn)，距離Λ越大。因此，兩個(gè)成像的紅外像之間的位移Λ，是物體和攝像機(jī)透鏡之間的距離的函數(shù)，并可以被用于確定深度函數(shù)△ (S)。深度函數(shù)Λ (s)可以通過令測(cè)試物體在離攝像機(jī)透鏡的多個(gè)距離上成像，并在這些不同距離上測(cè)量Λ而被確定。Λ (s)可以被存儲(chǔ)在攝像機(jī)的存儲(chǔ)器中，它在那里可以供DSP在一種或多種后處理功能中使用，如在下面更詳細(xì)的討論。在一個(gè)實(shí)施例中，一種后處理功能，可以涉及與多孔徑成像系統(tǒng)捕獲的單幅像相關(guān)聯(lián)的深度信息的產(chǎn)生，該多孔徑成像系統(tǒng)包括不連續(xù)的多個(gè)孔徑，如參照?qǐng)D11所述。在一幀像幀中同時(shí)捕獲可見和紅外像信號(hào)兩者之后，DSP可以使用例如熟知的消馬賽克算法，分離捕獲的原始馬賽克 像中的彩色和紅外像素信號(hào)。DSP可以隨后對(duì)紅外像數(shù)據(jù)使用高通濾波器，以便獲得紅外像數(shù)據(jù)的高頻分量，該紅外像數(shù)據(jù)可以包括物體是焦點(diǎn)對(duì)準(zhǔn)的區(qū)域和物體是離焦的區(qū)域。另外，DSP可以用自相關(guān)函數(shù)，從高頻紅外像數(shù)據(jù)導(dǎo)出深度信息。該過程被示意地畫在圖12中。當(dāng)取高頻紅外像1204 (—部分)的自相關(guān)函數(shù)1202時(shí)，單個(gè)尖峰1206將出現(xiàn)在對(duì)準(zhǔn)焦點(diǎn)的被成像物體1208的高頻邊緣。相反，該自相關(guān)函數(shù)將在離焦的被成像物體1212的高頻邊緣上產(chǎn)生雙尖峰1210。在此，尖峰之間的移位代表兩個(gè)高頻紅外像之間的移位Λ，它依賴于被成像物體和攝像機(jī)透鏡之間的距離S。因此，高頻紅外像(一部分)的自相關(guān)函數(shù)，將在離焦物體的高頻紅外像的位置上包括雙尖峰，且其中雙尖峰之間的距離給出距離的測(cè)量(即，離開焦距的距離)。另外，自相關(guān)函數(shù)將在焦點(diǎn)對(duì)準(zhǔn)的物體的像的位置上包括單尖峰。DSP可以通過令雙峰之間的距離與使用預(yù)定深度函數(shù)△ (s)的距離相關(guān)聯(lián)，處理該自相關(guān)函數(shù)，并把其中信息變換為與“真實(shí)距離”相關(guān)聯(lián)的深度映射。使用該深度映射，相似的功能，如，立體觀察、DOF和焦點(diǎn)的控制，可以如上所述，參照?qǐng)D8-10被施行。例如，A(s)或深度映射，可以被用于選擇與特定選擇的攝像機(jī)到物體距離相關(guān)聯(lián)的紅外像中的高頻分量。某些像處理功能，可以通過分析高頻紅外像的自相關(guān)函數(shù)獲得。圖13畫出例如過程1300，其中DOF通過比較自相關(guān)函數(shù)中的峰寬度與一定閾值寬度而被縮減。在第一步驟1302中，使用如圖11所示的多孔徑成像系統(tǒng)捕獲像，彩色和紅外像數(shù)據(jù)被提取(步驟1304)，以及高頻紅外像數(shù)據(jù)被產(chǎn)生(步驟1306)。此后，高頻紅外像數(shù)據(jù)的自相關(guān)函數(shù)被計(jì)算(步驟1308)。另外，閾值寬度w被選定(步驟1310)。如果與某個(gè)被成像物體相關(guān)聯(lián)的自相關(guān)函數(shù)中的峰，比該閾值寬度更窄，則與自相關(guān)函數(shù)中該峰相關(guān)聯(lián)的高頻紅外分量被選定，以便與彩色像數(shù)據(jù)組合。如果與某個(gè)被成像物體的邊緣相關(guān)聯(lián)的自相關(guān)函數(shù)中的峰或兩個(gè)峰之間的距離，比閾值寬度更寬，則與自相關(guān)函數(shù)中該峰相關(guān)聯(lián)的高頻分量，按照掩模函數(shù)被設(shè)定(步驟1312-1314)。此后，該如此修改的高頻紅外像，用標(biāo)準(zhǔn)像處理技術(shù)處理，以便消除由多孔徑引入的移位Λ，由此它可以與彩色像數(shù)據(jù)混合(步驟1316)?；旌现?，有縮減DOF的彩色像被形成。該過程通過選擇預(yù)定閾值寬度而允許DOF的控制。圖14畫出供上述多孔徑成像系統(tǒng)中使用的多孔徑的兩種非限制性例子1402、1410。第一種多孔徑1402可以包括透明基底，上有兩個(gè)不同薄膜濾波器:第一圓形薄膜濾波器1404在基底的中心，形成透射EM光譜的第一頻帶中的輻射的第一孔徑，以及第二薄膜濾波器1406，圍繞該第一濾波器形成(如，在同心環(huán)中)，透射EM光譜的第二頻帶中的輻射。該第一濾波器可以被配置成透射可見和紅外輻射二者，而該第二濾波器可以被配置成反射紅外輻射并透射可見輻射。外同心環(huán)的外直徑，可以由不透明孔徑夾持器1408中的開孔定義，或者換種方式，由淀積在該基底上的阻擋紅外和可見輻射二者的不透明薄膜層1408中限定的開孔定義。本領(lǐng)域熟練技術(shù)人員應(yīng)當(dāng)清楚，薄膜多孔徑的形成背后的原理，可以容易推廣到包括3個(gè)或更多孔徑的多孔徑，其中每一孔徑透射與EM光譜中特定頻帶相關(guān)聯(lián)的輻射。
在一個(gè)實(shí)施例中，該第二薄膜濾波器可以涉及分色濾波器，該分色濾波器反射紅外光譜中的輻射而透射可見光譜中的輻射。亦稱干涉濾波器的分色濾波器，是本領(lǐng)域周知的，并通常包括許多具體厚度的薄膜介質(zhì)層，這些介質(zhì)層被配置成反射紅外輻射(如，波長(zhǎng)在約750到1250納米之間的輻射)而透射該光譜的可見部分中的輻射。
第二種多孔徑1410可以供參照?qǐng)D11所述的多孔徑系統(tǒng)中使用。在該變型中，該多孔徑包括相對(duì)地大的第一孔徑1412，它作為不透明孔徑夾持器1414中的開孔被定義，或者換種方式，由淀積在透明基底上的不透明薄膜層中限定的開孔定義，其中該不透明薄膜阻擋紅外和可見輻射二者。在該相對(duì)地大的第一孔徑中，多個(gè)小的紅外孔徑1416-1422被定義為薄膜熱反射鏡濾波器1424中的開孔，該熱反射鏡濾波器1424被形成在第一孔徑內(nèi)。本發(fā)明的這些實(shí)施例，可以作為程序產(chǎn)品被實(shí)施，供與計(jì)算機(jī)系統(tǒng)一道使用。該程序產(chǎn)品的程序，定義這些實(shí)施例(包含本文描述的方法)的功能，并能夠被包含在多種多樣的計(jì)算機(jī)可讀存儲(chǔ)媒體上。說明性計(jì)算機(jī)可讀存儲(chǔ)媒體包括，但不限于:(i)不可寫存儲(chǔ)媒體(如，計(jì)算機(jī)內(nèi)的只讀存儲(chǔ)器裝置，諸如可由CD-ROM驅(qū)動(dòng)器讀取的CD-ROM盤，快速擦寫存儲(chǔ)器，ROM芯片或固態(tài)非易失性半導(dǎo)體存儲(chǔ)器的任何類型)，在該不可寫存儲(chǔ)媒體上，信息被永久地存儲(chǔ)；和(ii )可寫存儲(chǔ)媒體(如，盤驅(qū)動(dòng)器或硬盤驅(qū)動(dòng)器內(nèi)的軟盤，或固態(tài)隨機(jī)存取半導(dǎo)體存儲(chǔ)器的任何類型)，在該可寫存儲(chǔ)媒體上，存儲(chǔ)可變的信息。應(yīng)當(dāng)理解，涉及任何一個(gè)實(shí)施例中描述的任一特征，可以被單獨(dú)使用，或與被描述的其他特征組合使用，并還可以與任何其他實(shí)施例的一種或多種特征組合使用，或與任何其他實(shí)施例的任何組合使用。此外，本發(fā)明不限于上述的實(shí)施例，本發(fā)明可以在所附權(quán)利要求書的范圍內(nèi)變化。
權(quán)利要求
1.一種處理多孔徑像數(shù)據(jù)的方法，包括: 通過令成像系統(tǒng)中的像傳感器，同時(shí)曝光于使用至少第一孔徑的與電磁波光譜的至少第一部分相關(guān)聯(lián)的光譜能量以及使用至少第二孔徑的與該電磁波光譜的至少第二部分相關(guān)聯(lián)的光譜能量，捕獲與一個(gè)或多個(gè)物體相關(guān)聯(lián)的像數(shù)據(jù)； 產(chǎn)生與該電磁波光譜的所述第一部分相關(guān)聯(lián)的第一像數(shù)據(jù)以及與該電磁波光譜的所述第二部分相關(guān)聯(lián)的第二像數(shù)據(jù)；和 在所述第一像數(shù)據(jù)的至少一個(gè)區(qū)域中的第一清晰度信息以及所述第二像數(shù)據(jù)的至少一個(gè)區(qū)域中的第二清晰度信息的基礎(chǔ)上，產(chǎn)生與所述被捕獲像相關(guān)聯(lián)的深度信息。
2.按照權(quán)利要求1的方法，包括: 建立所述第一像數(shù)據(jù)的至少一個(gè)區(qū)域中的第一清晰度信息和所述第二像數(shù)據(jù)的至少一個(gè)區(qū)域中的第二清晰度信息之間的差，與所述成像系統(tǒng)和至少一個(gè)所述物體之間的距離的關(guān)系。
3.按照權(quán)利要求2的方法，包括: 使用預(yù)定深度函數(shù)，建立所述第一和第二清晰度信息之間的差與所述距離的關(guān)系。
4.按照權(quán)利要求1-3任一項(xiàng)的方法,包括: 最好使用高通濾波器，確定空間域中第一和/或第二清晰度信息，或者最好通過使用傅里葉變換，確定頻域中所述第一和/或第二清晰度信息。
5.按照權(quán)利要求1-4任一項(xiàng)的方法，其中該電磁波光譜的所述第一部分與至少一部分可見光譜相關(guān)聯(lián)，和/或其中該電磁波光譜的所述第二部分與至少一部分不可見光譜，最好是紅外光譜相關(guān)聯(lián)。
6.按照權(quán)利要求1-5任一項(xiàng)的方法,包括: 通過令所述第一和第二清晰度信息之間的差和/或比值，與所述成像系統(tǒng)和所述一個(gè)或多個(gè)物體之間的距離相關(guān)聯(lián)，產(chǎn)生與所述被捕獲像的至少一部分相關(guān)聯(lián)的深度映射。
7.按照權(quán)利要求1-6任一項(xiàng)的方法,包括: 在所述深度信息的基礎(chǔ)上，通過位移所述第一像數(shù)據(jù)中的像素，產(chǎn)生供立體觀察使用的至少一個(gè)像。
8.按照權(quán)利要求1-6任一項(xiàng)的方法,包括: 通過把所述第二像數(shù)據(jù)提交高通濾波器處理，產(chǎn)生高頻第二像數(shù)據(jù)； 提供至少一個(gè)閾值距離或至少一個(gè)距離范圍； 在所述深度信息的基礎(chǔ)上，在所述高頻第二像數(shù)據(jù)中，識(shí)別與大于或小于所述閾值距離的距離相關(guān)聯(lián)的一個(gè)或多個(gè)區(qū)域，或者在所述高頻第二像數(shù)據(jù)中，識(shí)別與所述至少一個(gè)距離范圍內(nèi)的距離相關(guān)聯(lián)的一個(gè)或多個(gè)區(qū)域； 按照掩模函數(shù)，在所述高頻第二像數(shù)據(jù)的所述被識(shí)別的一個(gè)或多個(gè)區(qū)域中設(shè)定高頻分量; 把所述被修改的高頻第二像數(shù)據(jù)，添加到所述第一像數(shù)據(jù)中。
9.按照權(quán)利要求1-6任一項(xiàng)的方法,包括: 通過把所述第二像數(shù)據(jù)提交高通濾波器處理，產(chǎn)生高頻第二像數(shù)據(jù)； 提供至少一個(gè)焦距； 在所述深度信息的基礎(chǔ)上，在所述高頻第二像數(shù)據(jù)中，識(shí)別與大體上等于所述至少一個(gè)焦距的距離相關(guān)聯(lián)的一個(gè)或多個(gè)區(qū)域； 按照掩模函數(shù)，在不同于所述被識(shí)別的一個(gè)或多個(gè)區(qū)域的區(qū)域中設(shè)定高頻第二像數(shù)據(jù)； 把所述被修改的高頻第二像數(shù)據(jù)，添加到所述第一像數(shù)據(jù)中。
10.按照權(quán)利要求1-6任一項(xiàng)的方法,包括: 使用像處理功能，處理所述被捕獲像，其中一個(gè)或多個(gè)像處理功能參數(shù)，依賴于所述深度信息，最好是，所述像處理包含對(duì)所述第一和/或第二像數(shù)據(jù)濾波，其中所述濾波器的一個(gè)或多個(gè)濾波器參數(shù)，依賴于所述深度信息。
11.一種使用多孔徑像數(shù)據(jù)確定深度函數(shù)的方法，包括: 在不同的物體到攝像機(jī)距離上，捕獲一個(gè)或多個(gè)物體的像，每一像的捕獲，都通過令像傳感器同時(shí)曝光于 使用至少第一孔徑的與電磁波光譜的至少第一部分相關(guān)聯(lián)的光譜能量以及使用至少第二孔徑的與該電磁波光譜的至少第二部分相關(guān)聯(lián)的光譜能量； 對(duì)至少一部分所述被捕獲像，產(chǎn)生與該電磁波光譜的所述第一部分相關(guān)聯(lián)的第一像數(shù)據(jù)以及與該電磁波光譜的所述第二部分相關(guān)聯(lián)的第二像數(shù)據(jù)；和 通過確定所述第一像數(shù)據(jù)的至少一個(gè)區(qū)域中的第一清晰度信息和所述第二像數(shù)據(jù)的對(duì)應(yīng)區(qū)域中的第二清晰度信息之間的關(guān)系作為所述距離的函數(shù)，產(chǎn)生深度函數(shù)。
12.—種信號(hào)處理模塊,包括: 輸入，用于接收與電磁波光譜的所述第一部分相關(guān)聯(lián)的第一像數(shù)據(jù)以及與該電磁波光譜的所述第二部分相關(guān)聯(lián)的第二像數(shù)據(jù)； 至少一個(gè)高通濾波器，用于確定所述第一像數(shù)據(jù)的至少一個(gè)區(qū)域中的第一清晰度信息以及所述第二像數(shù)據(jù)的對(duì)應(yīng)區(qū)域中的第二清晰度信息； 包括深度函數(shù)的存儲(chǔ)器，所述深度函數(shù)包括與該電磁波光譜的第一部分相關(guān)聯(lián)的像數(shù)據(jù)以及與該電磁波光譜的第二部分相關(guān)聯(lián)的像數(shù)據(jù)之間清晰度信息中的差之間的關(guān)系作為距離的函數(shù)，最好是物體到攝像機(jī)距離的函數(shù)；和 深度信息處理器，用于在所述深度函數(shù)和從所述高通濾波器接收的所述第一及第二清晰度信息的基礎(chǔ)上，產(chǎn)生深度信息。
13.一種多孔徑成像系統(tǒng)，包括: 像傳感器； 光學(xué)透鏡系統(tǒng)； 波長(zhǎng)選擇性多孔徑，被配置成令所述像傳感器，同時(shí)曝光于使用至少第一孔徑的與電磁波光譜的至少第一部分相關(guān)聯(lián)的光譜能量以及使用至少第二孔徑的與該電磁波光譜的至少第二部分相關(guān)聯(lián)的光譜能量； 第一處理模塊，用于產(chǎn)生與該電磁波光譜的所述第一部分相關(guān)聯(lián)的第一像數(shù)據(jù)以及與該電磁波光譜的所述第二部分相關(guān)聯(lián)的第二像數(shù)據(jù)；和 第二處理模塊，用于在所述第一像數(shù)據(jù)的至少一個(gè)區(qū)域中的第一清晰度信息以及所述第二像數(shù)據(jù)的至少一個(gè)區(qū)域中的第二清晰度信息的基礎(chǔ)上，產(chǎn)生與所述像數(shù)據(jù)相關(guān)聯(lián)的深度 目息。
14.一種數(shù)字?jǐn)z像機(jī)，最好是移動(dòng)終端中使用的數(shù)字?jǐn)z像機(jī)，包括按照權(quán)利要求12的信號(hào)處理模塊，和/或按照權(quán)利要求13的多孔徑成像系統(tǒng)。
15.用于處理像數(shù)據(jù)的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括軟件代碼部分，該軟件代碼部分被配置成當(dāng)在計(jì)算機(jī)系統(tǒng)的存儲(chǔ)器中運(yùn)行時(shí)，執(zhí)行按照權(quán)利要求ι- ο任一項(xiàng)的方 法步驟。
全文摘要
處理多孔徑像數(shù)據(jù)。一種用于處理多孔徑像數(shù)據(jù)的方法和系統(tǒng)被描述，其中該方法包括通過令成像系統(tǒng)中的像傳感器，同時(shí)曝光于使用至少第一孔徑的與電磁波光譜的至少第一部分相關(guān)聯(lián)的光譜能量以及使用至少第二孔徑的與電磁波光譜的至少第二部分相關(guān)聯(lián)的光譜能量，捕獲與一個(gè)或多個(gè)物體相關(guān)聯(lián)的像數(shù)據(jù)；產(chǎn)生與電磁波光譜的所述第一部分相關(guān)聯(lián)的第一像數(shù)據(jù)，以及與電磁波光譜的所述第二部分相關(guān)聯(lián)的第二像數(shù)據(jù)；以及，在所述第一像數(shù)據(jù)的至少一個(gè)區(qū)域中第一清晰度信息以及所述第二像數(shù)據(jù)的至少一個(gè)區(qū)域中第二清晰度信息的基礎(chǔ)上，產(chǎn)生與所述被捕獲像相關(guān)聯(lián)的深度信息。
文檔編號(hào)G02B27/00GK103210641SQ201080066092
公開日2013年7月17日 申請(qǐng)日期2010年2月19日 優(yōu)先權(quán)日2010年2月19日
發(fā)明者A·A·維斯 申請(qǐng)人:雙光圈股份有限公司