專(zhuān)利名稱(chēng)：成像裝置及其方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及成像應(yīng)用，尤其涉及處理圖像數(shù)據(jù)以聚焦和/或校正圖像數(shù)據(jù)。
背景技術(shù)：
諸如涉及相機(jī)、攝像機(jī)、顯微鏡、望遠(yuǎn)鏡等的成像應(yīng)用通常受限于所采集的光的量。即，大多數(shù)成像裝置不記錄關(guān)于進(jìn)入該裝置的光分布的大部分信息。例如，諸如數(shù)碼靜態(tài)相機(jī)和攝像機(jī)的傳統(tǒng)相機(jī)不記錄關(guān)于從外界進(jìn)入的光分布的大部分信息。在這些裝置中，所采集的光常常不能用各種方法處理，諸如聚焦在不同深度(距成像裝置的距離)、校正透鏡像差或控制視角。
對(duì)于靜態(tài)成像應(yīng)用，捕獲特定場(chǎng)景的典型成像裝置通常聚焦在場(chǎng)景中的目標(biāo)或?qū)ο螅搱?chǎng)景的其它部分落在焦點(diǎn)之外。對(duì)于視頻成像應(yīng)用，存在類(lèi)似的問(wèn)題，其中視頻應(yīng)用中使用的圖像采集不能焦點(diǎn)對(duì)準(zhǔn)地捕獲場(chǎng)景。
許多成像應(yīng)用遭受用于采集光的器件(透鏡)的像差。這種像差可包括例如球面像差、色差、畸變、光場(chǎng)彎曲、斜像散、以及彗形像差。對(duì)像差的校正一般涉及使用校正光學(xué)部件，此時(shí)易于向成像裝置添加體積、支出和重量。在諸如相機(jī)電話(huà)和安全相機(jī)的一些得益于小型光學(xué)部件的應(yīng)用中，與應(yīng)用相關(guān)聯(lián)的物理限制不期望包括附加光學(xué)部件。
與以上相關(guān)聯(lián)的困難已對(duì)包括涉及數(shù)字圖像的獲取和改變的圖像應(yīng)用提出了挑戰(zhàn)。

發(fā)明內(nèi)容
本發(fā)明涉及克服與成像裝置及其實(shí)現(xiàn)相關(guān)的上述挑戰(zhàn)和其它挑戰(zhàn)。本發(fā)明在許多實(shí)現(xiàn)和應(yīng)用中例示，其中一部分將在下文中概述。
根據(jù)本發(fā)明的一示例實(shí)施方式，用表征被檢測(cè)光的方向信息來(lái)檢測(cè)該光。對(duì)應(yīng)于再聚焦圖像和經(jīng)校正圖像之一或兩者，方向信息與被檢測(cè)光一起用來(lái)產(chǎn)生虛像。
根據(jù)本發(fā)明的另一示例實(shí)施方式，對(duì)在場(chǎng)景中不同焦深的兩個(gè)或多個(gè)目標(biāo)進(jìn)行成像，其中將場(chǎng)景的對(duì)應(yīng)于各個(gè)目標(biāo)的部分成像在不同的焦平面。來(lái)自場(chǎng)景的光在一物理焦平面上聚焦并與表征方向的信息一起被檢測(cè)，其中該光從該方向到達(dá)物理焦平面上的特定位置。對(duì)于位于未聚焦在物理焦平面上的景深的至少一個(gè)目標(biāo)，確定與物理焦平面不同的虛焦平面。使用被檢測(cè)光及其方向特性，光的對(duì)應(yīng)于虛焦平面上至少一個(gè)目標(biāo)的聚焦圖像的部分被采集并累加以形成該至少一個(gè)目標(biāo)的虛聚焦圖像。
根據(jù)本發(fā)明再一示例實(shí)施方式，對(duì)場(chǎng)景進(jìn)行數(shù)字成像。對(duì)傳輸?shù)浇蛊矫嫔喜煌恢玫膩?lái)自場(chǎng)景的光進(jìn)行檢測(cè)，并對(duì)在焦平面上不同位置檢測(cè)到的光的入射角進(jìn)行檢測(cè)。被檢測(cè)光所源自的場(chǎng)景部分的景深被檢測(cè)，并與所確定的入射角一起用于對(duì)被檢測(cè)光進(jìn)行數(shù)字化重新排列。取決于應(yīng)用，重新排列包括再聚焦和/或校正透鏡像差。
本發(fā)明的以上歸納并不旨在描述本發(fā)明的各個(gè)示出實(shí)施方式或每個(gè)實(shí)現(xiàn)。下文的附圖和詳細(xì)描述更具體地例示了這些實(shí)施方式。


考慮到下文中與附圖相關(guān)的本發(fā)明的各個(gè)實(shí)施方式的詳細(xì)描述，可更透徹地理解本發(fā)明，在附圖中圖1是根據(jù)本發(fā)明一示例實(shí)施方式的光線(xiàn)捕捉和處理裝置；圖2是根據(jù)本發(fā)明另一示例實(shí)施方式的光學(xué)成像裝置；圖3是根據(jù)本發(fā)明又一示例實(shí)施方式的圖像處理的過(guò)程流程圖；圖4是根據(jù)本發(fā)明另一示例實(shí)施方式的用于產(chǎn)生預(yù)覽圖像的過(guò)程流程圖；圖5是根據(jù)本發(fā)明又一示例實(shí)施方式的用于處理和壓縮圖像數(shù)據(jù)的過(guò)程流程圖；圖6是根據(jù)本發(fā)明另一示例實(shí)施方式的用于圖像合成的過(guò)程流程圖；圖7是根據(jù)本發(fā)明又一示例實(shí)施方式的用于圖像再聚焦的過(guò)程流程圖；
圖8是根據(jù)本發(fā)明另一示例實(shí)施方式的用于延伸圖像中景深的過(guò)程流程圖；圖9是根據(jù)本發(fā)明又一示例實(shí)施方式的用于延伸圖像中景深的另一方法的過(guò)程流程圖；圖10示出根據(jù)本發(fā)明另一示例實(shí)施方式的分離光線(xiàn)的一個(gè)示例方法；圖11示出根據(jù)本發(fā)明又一示例實(shí)施方式的將傳感器像素位置映射到相對(duì)于所采集數(shù)據(jù)的L(u，v，s，t)空間中光線(xiàn)的方法；圖12示出根據(jù)本發(fā)明另一示例實(shí)施方式的再聚焦在不同深度的若干圖像；圖13A示出根據(jù)本發(fā)明又一示例實(shí)施方式的2D成像配置；圖13B示出根據(jù)本發(fā)明另一示例實(shí)施方式的總計(jì)成一個(gè)像素的來(lái)自一個(gè)3D點(diǎn)的光線(xiàn)錐；圖14A-14C示出根據(jù)本發(fā)明又一示例實(shí)施方式的計(jì)算具有不同景深的圖像的方法；圖15示出根據(jù)本發(fā)明另一示例實(shí)施方式的跟蹤來(lái)自虛膠片平面上的一個(gè)3D點(diǎn)的光線(xiàn)的方法；圖16示出根據(jù)本發(fā)明又一示例實(shí)施方式的得到光的值的方法；圖17A示出根據(jù)本發(fā)明另一示例實(shí)施方式的理想512×512相片；圖17B示出根據(jù)本發(fā)明又一示例實(shí)施方式的用f/2雙凸球面透鏡產(chǎn)生的圖像；圖17C示出根據(jù)本發(fā)明另一示例實(shí)施方式的使用圖像校正方法計(jì)算的圖像；圖18A-18C示出根據(jù)本發(fā)明又一示例實(shí)施方式的跟蹤彩色成像系統(tǒng)中共用的光線(xiàn)；圖19A-19F示出根據(jù)本發(fā)明另一示例實(shí)施方式的實(shí)現(xiàn)鑲嵌陣列的方法；圖20是根據(jù)本發(fā)明又一示例實(shí)施方式在傅立葉域中再聚焦的計(jì)算方法的過(guò)程流程圖；圖21A示出根據(jù)本發(fā)明另一示例實(shí)施方式的三角濾波方法；圖21B示出根據(jù)本發(fā)明又一示例實(shí)施方式的三角濾波方法的傅立葉變換；圖22是根據(jù)本發(fā)明另一示例實(shí)施方式的在頻域中再聚焦的方法的流程圖；圖23示出根據(jù)本發(fā)明又一示例實(shí)施方式的通過(guò)期望焦點(diǎn)的光線(xiàn)集合；圖24A-B示出根據(jù)本發(fā)明另一示例實(shí)施方式的微透鏡陣列的一部分的不同視圖；圖24C示出根據(jù)本發(fā)明又一示例實(shí)施方式的在光傳感器上出現(xiàn)的圖像；圖25示出本發(fā)明一示例實(shí)施方式，其中虛像被計(jì)算成就像它出現(xiàn)在虛膠片上；
圖26示出根據(jù)本發(fā)明另一示例實(shí)施方式的操縱虛透鏡平面的方法；圖27示出根據(jù)本發(fā)明又一示例實(shí)施方式虛膠片可采用任何形狀；圖28示出根據(jù)本發(fā)明另一示例實(shí)施方式的成像裝置；圖29是根據(jù)本發(fā)明又一示例實(shí)施方式的預(yù)計(jì)算與各個(gè)輸出圖像像素和各個(gè)光線(xiàn)傳感器值相關(guān)聯(lián)的權(quán)重?cái)?shù)據(jù)庫(kù)的過(guò)程流程圖；圖30是根據(jù)本發(fā)明另一示例實(shí)施方式的使用權(quán)重?cái)?shù)據(jù)庫(kù)計(jì)算輸出圖像的過(guò)程流程圖；圖31A-D示出根據(jù)本發(fā)明又一示例實(shí)施方式的作為虛光圈函數(shù)選擇性實(shí)現(xiàn)的各種標(biāo)量函數(shù)；圖32示出根據(jù)本發(fā)明另一示例實(shí)施方式的逐個(gè)像素變化的虛光圈函數(shù)；圖33是根據(jù)本發(fā)明又一示例實(shí)施方式的用戶(hù)選擇輸出圖像的一個(gè)區(qū)域、編輯一圖像部分并保存輸出圖像的過(guò)程流程圖；圖34是根據(jù)本發(fā)明另一示例實(shí)施方式的用于延伸圖像中景深的流程圖；以及圖35是根據(jù)本發(fā)明又一示例實(shí)施方式的用于根據(jù)接收到的光線(xiàn)傳感器數(shù)據(jù)計(jì)算經(jīng)再聚焦圖像的過(guò)程流程圖。
雖然本發(fā)明易于具有各種變體和其它形式，但是其細(xì)節(jié)通過(guò)示例在附圖中示出并將詳細(xì)描述。然而，應(yīng)該理解，并非旨在將本發(fā)明限制于所述的特定實(shí)施方式。相反，本發(fā)明涵蓋落在本發(fā)明的精神和范圍內(nèi)的所有變體、等效方案和替換方案。
詳細(xì)描述相信本發(fā)明對(duì)各種不同類(lèi)型的裝置有用，且發(fā)現(xiàn)本發(fā)明尤其適用于電子成像裝置和應(yīng)用。雖然本發(fā)明不必受限于這種應(yīng)用，但是通過(guò)使用上下文討論各種示例，可以理解本發(fā)明的各個(gè)方面。
根據(jù)本發(fā)明的一示例實(shí)施方式，使用涉及確定到達(dá)位于焦平面的傳感器的光的量和方向的方法來(lái)檢測(cè)四維(4D)光場(chǎng)(例如沿諸如自由空間的區(qū)域中每條光線(xiàn)傳播)。對(duì)焦平面中光的二維位置與表征方向的信息一起進(jìn)行檢測(cè)，其中該光從該方向到達(dá)平面上的特定位置。使用該方法，到達(dá)傳感器上不同位置的定向照明分布被確定并用于形成圖像。在本文的各種討論中，實(shí)現(xiàn)用于感測(cè)和/或測(cè)量光場(chǎng)的組件或多個(gè)組件被稱(chēng)為“光線(xiàn)傳感器”或“射線(xiàn)傳感器”。
在一應(yīng)用中，使用具有對(duì)入射到成像平面上的光線(xiàn)空間進(jìn)行采樣的光學(xué)部件和傳感器的成像系統(tǒng)來(lái)實(shí)現(xiàn)與上文類(lèi)似的方法，該成像系統(tǒng)具有以不同方法從測(cè)量光線(xiàn)集合呈現(xiàn)圖像的計(jì)算功能。取決于實(shí)現(xiàn)，組合或單獨(dú)地使用不同的方法來(lái)實(shí)現(xiàn)光學(xué)部件、傳感器和計(jì)算功能。例如，具有將圖像聚焦在位于成像平面的光傳感器陣列(多個(gè)傳感器)上的透鏡(光學(xué)部件)的相機(jī)可用于對(duì)光線(xiàn)空間進(jìn)行采樣。從光傳感器陣列的輸出與計(jì)算功能(例如在相機(jī)內(nèi)部和/或外部的處理器上)一起用來(lái)呈現(xiàn)圖像，諸如通過(guò)計(jì)算聚焦在不同深度或具有不同景深的相片，和/或通過(guò)計(jì)算校正透鏡像差以產(chǎn)生更高質(zhì)量的圖像。
在另一示例實(shí)施方式中，成像系統(tǒng)的光學(xué)部件和傳感器部件將光線(xiàn)傳導(dǎo)在傳感器元件上，使各個(gè)傳感器元件感測(cè)包括從特定方向發(fā)散的光線(xiàn)的光線(xiàn)集合。在許多應(yīng)用中，該光線(xiàn)集合是在空間和方向上局域化的一束光線(xiàn)。對(duì)于許多應(yīng)用，該束光線(xiàn)隨著光學(xué)部件和傳感器分辨率增加而匯聚成單個(gè)幾何光線(xiàn)。這樣，本文中的不同描述部分將由傳感器元件感測(cè)的值稱(chēng)為“光射線(xiàn)”或“光線(xiàn)”或簡(jiǎn)單地“射線(xiàn)”，即使通常它們并不局限于幾何光線(xiàn)。
現(xiàn)在參照附圖，圖28示出根據(jù)本發(fā)明另一示例實(shí)施方式的成像裝置2890。該成像裝置2890包括主透鏡2810，以及對(duì)到達(dá)傳感器上不同位置并來(lái)自不同入射方向的光的值進(jìn)行測(cè)量的光線(xiàn)傳感器。在本文的上下文中，可通過(guò)檢測(cè)到達(dá)傳感器上不同位置的光以及諸如強(qiáng)度的光的特性來(lái)產(chǎn)生數(shù)值，以實(shí)現(xiàn)對(duì)光的值的測(cè)量。
圖1示出根據(jù)本發(fā)明另一實(shí)施方式的成像系統(tǒng)100。該成像系統(tǒng)100包括具有主透鏡110、微透鏡陣列120和光傳感器陣列130的成像裝置190。在該情形中，微透鏡陣列120和光傳感器陣列130實(shí)現(xiàn)一光線(xiàn)傳感器。雖然圖1示出一特定主透鏡110(單個(gè)元件)和特定微透鏡陣列120，但是本領(lǐng)域技術(shù)人員應(yīng)該意識(shí)到通過(guò)例如替換所示出的主透鏡和/或微透鏡陣列，各種透鏡和/或微透鏡陣列(目前已有或即將開(kāi)發(fā))可用類(lèi)似的方法選擇性地實(shí)現(xiàn)。
來(lái)自成像場(chǎng)景中對(duì)象105上單個(gè)點(diǎn)的光線(xiàn)可到達(dá)微透鏡陣列120的焦平面上的單個(gè)聚焦點(diǎn)。例如，當(dāng)對(duì)象105上成像點(diǎn)在距主透鏡與從微透鏡陣列到主透鏡的距離共軛的距離處時(shí)，如圖所示距離“d”約等于距離“s”。在該匯聚點(diǎn)上的微透鏡122將這些光線(xiàn)根據(jù)光的方向分開(kāi)，從而在微透鏡下的光傳感器上產(chǎn)生主透鏡110的光圈的聚焦圖像。
光傳感器陣列130對(duì)入射到其上的光進(jìn)行檢測(cè)并產(chǎn)生通過(guò)一個(gè)或多個(gè)不同部件處理的輸出。在本申請(qǐng)中，輸出光數(shù)據(jù)被傳遞到傳感器數(shù)據(jù)處理電路140，該電路使用該數(shù)據(jù)以及關(guān)于提供數(shù)據(jù)的各個(gè)光傳感器的位置信息來(lái)產(chǎn)生場(chǎng)景(例如包括對(duì)象105、106和107)的圖像。傳感器數(shù)據(jù)處理電路140用例如計(jì)算機(jī)或在共用部件(例如芯片)或不同部件中實(shí)現(xiàn)的其它處理電路實(shí)現(xiàn)。在一實(shí)現(xiàn)中，傳感器數(shù)據(jù)處理電路140的一部分在成像裝置390中實(shí)現(xiàn)，而另一部分在外部計(jì)算機(jī)中實(shí)現(xiàn)。使用檢測(cè)光(以及例如檢測(cè)光的特性)以及到達(dá)微透鏡陣列的光的已知入射方向(如使用各個(gè)光傳感器的已知位置計(jì)算的)，在形成圖像時(shí)傳感器數(shù)據(jù)處理電路140選擇性地再聚焦和/或校正光數(shù)據(jù)(其中再成像可校正)。以下參照或不參照其它附圖詳細(xì)描述處理被檢測(cè)光數(shù)據(jù)的各種方法。這些方法可用與以上一致的傳感器數(shù)據(jù)處理電路140選擇性地實(shí)現(xiàn)。
成像系統(tǒng)100的不同部分取決于特定應(yīng)用而在共用或單獨(dú)的物理裝置中選擇性地實(shí)現(xiàn)。例如，當(dāng)用各種應(yīng)用實(shí)現(xiàn)時(shí)，微透鏡陣列120和光傳感器陣列130可組合成一共用裝置180。在一些應(yīng)用中，微透鏡陣列120和光傳感器陣列130在共用芯片或其它電路裝置上耦合在一起。當(dāng)用諸如類(lèi)似相機(jī)裝置的手持式裝置實(shí)現(xiàn)時(shí)，主透鏡110、微透鏡陣列120和光傳感器陣列130選擇性地組合成與手持式裝置集成的共用成像裝置190中。此外，某些應(yīng)用涉及在具有光傳感器陣列130的共用電路裝置中(例如在共用芯片上)實(shí)現(xiàn)傳感器數(shù)據(jù)處理電路140的部分或全部。
在一些應(yīng)用中，成像裝置100包括用于向捕捉圖像的用戶(hù)呈現(xiàn)預(yù)覽圖像的預(yù)覽裝置150。該預(yù)覽裝置被通信耦合，以接收來(lái)自光傳感器陣列130的圖像數(shù)據(jù)。預(yù)覽處理器160處理該圖像數(shù)據(jù)以產(chǎn)生在預(yù)覽屏幕170上顯示的預(yù)覽圖像。在一些應(yīng)用中，預(yù)覽處理器160與圖像傳感器180一起在共用芯片上和/或共用電路中實(shí)現(xiàn)。在如上所述傳感器數(shù)據(jù)處理電路140與光傳感器陣列130一起實(shí)現(xiàn)的應(yīng)用中，預(yù)覽處理器160用傳感器數(shù)據(jù)處理電路140選擇性地實(shí)現(xiàn)，其中光傳感器陣列130采集的圖像數(shù)據(jù)的部分或全部用于產(chǎn)生預(yù)覽圖像。
使用與用于產(chǎn)生最終圖像的相比相對(duì)較少的計(jì)算功能和/或更少的數(shù)據(jù)可產(chǎn)生預(yù)覽圖像。例如，當(dāng)用諸如相機(jī)或手機(jī)的手持式成像裝置實(shí)現(xiàn)時(shí)，不實(shí)現(xiàn)任何聚焦或透鏡校正的預(yù)覽圖像就足夠。這樣，期望實(shí)現(xiàn)相對(duì)便宜和/或較小的處理電路以產(chǎn)生預(yù)覽圖像。在這些應(yīng)用中，預(yù)覽處理器通過(guò)例如使用上述第一延伸景深計(jì)算方法，以相對(duì)較低的計(jì)算成本和/或使用更少的數(shù)據(jù)來(lái)產(chǎn)生圖像。
取決于應(yīng)用，成像系統(tǒng)100可用各種方式實(shí)現(xiàn)。例如，雖然微透鏡陣列120作為示例被示為具有若干可分辨微透鏡，但是該陣列通常使用多個(gè)(例如幾千、幾百萬(wàn))微透鏡實(shí)現(xiàn)。光傳感器陣列130通常包括比微透鏡陣列120相對(duì)更精細(xì)的間距，其中對(duì)于微透鏡陣列120中的各個(gè)微透鏡存在若干光傳感器。此外，微透鏡陣列120中的微透鏡和光傳感器陣列130中的光傳感器通常定位成通過(guò)各個(gè)微透鏡傳播到光傳感器陣列的光不與傳播通過(guò)相鄰微透鏡的光交疊。
在不同應(yīng)用中，主透鏡110沿其光軸平移(如圖1所示在水平方向)，以聚焦在位于由主透鏡和示例成像目標(biāo)105之間例示的期望深度“d”的感興趣目標(biāo)上。通過(guò)示例，為討論目的示出來(lái)自目標(biāo)105上單個(gè)點(diǎn)的光線(xiàn)。這些光線(xiàn)傳輸?shù)轿⑼哥R陣列120焦平面上的微透鏡122處的單個(gè)匯聚點(diǎn)。微透鏡122根據(jù)方向分開(kāi)這些光線(xiàn)，從而在微透鏡下的像素陣列中像素集132上產(chǎn)生主透鏡110光圈的聚焦圖像。圖10示出一示例方法，該方法分開(kāi)光線(xiàn)使得從主透鏡1010上的一個(gè)點(diǎn)發(fā)散并到達(dá)同一微透鏡(例如1022)的表面上任何位置的所有光線(xiàn)由該微透鏡傳導(dǎo)以匯聚在光傳感器(例如1023)上的同一點(diǎn)。圖10中示出的該方法可例如與圖1相關(guān)地實(shí)現(xiàn)(即用主透鏡1010實(shí)現(xiàn)主透鏡110、用微透鏡陣列1020實(shí)現(xiàn)微透鏡陣列120、以及用光傳感器陣列1030實(shí)現(xiàn)光傳感器陣列130)。
在微透鏡陣列122中特定微透鏡下形成的圖像表示系統(tǒng)對(duì)于成像平面上該位置的方向分辨率。在一些應(yīng)用中，通過(guò)使微透鏡聚焦在主透鏡的主平面而有助于銳化微透鏡圖像來(lái)增強(qiáng)方向分辨率。在某些應(yīng)用中，微透鏡比微透鏡陣列與主透鏡110之間的間隔至少小兩個(gè)量級(jí)。在這些應(yīng)用中，主透鏡110在微透鏡的光學(xué)無(wú)限距離(optical infinity)處有效；為了聚焦微透鏡，將光傳感器陣列130置于位于微透鏡焦深處的平面內(nèi)。
主透鏡110與微透鏡陣列120之間的間隔“s”選擇成在微透鏡景深內(nèi)實(shí)現(xiàn)銳化圖像。在許多應(yīng)用中，該間隔精確到約Δxp·(fm/Δxm)內(nèi)，其中Δxp是傳感器像素的寬度，fm是微透鏡的焦深且Δxm是微透鏡的寬度。在一特定應(yīng)用中，Δxp為約9微米，fm為約500微米且Δxm為約125微米，且微透鏡陣列120與光傳感器陣列130之間的間隔精確到約36微米。
使用各個(gè)微透鏡的一個(gè)或多個(gè)及其配置實(shí)現(xiàn)微透鏡陣列120。在一示例實(shí)施方式中，具有潛在空間變化性質(zhì)的微透鏡平面被用作微透鏡陣列120。例如，微透鏡陣列可包括均勻和/或不均勻、正方形外延或非正方形外延、有規(guī)律分布或無(wú)規(guī)律分布、以及在可重復(fù)或不可重復(fù)的圖案內(nèi)的透鏡，以及可任選地遮擋的部分。微透鏡自身可以是凸面、非凸面，或者具有任意外形以實(shí)現(xiàn)光的期望物理方向，且外形可隨平面上的微透鏡逐個(gè)地變化。可選擇性地組合不同的分布和透鏡外形。這些不同實(shí)施方式提供在陣列的一些區(qū)域空間較高(相應(yīng)地較低的角度)、而在其它區(qū)域角度較高(相應(yīng)地較低的空間)采樣圖案。這種數(shù)據(jù)的一種用途是便于插值以匹配4D空間中的期望空間和角度分辨率。
圖24A示出根據(jù)本發(fā)明另一示例實(shí)施方式的微透鏡陣列的一部分的視圖(視線(xiàn)垂直于平面)。微透鏡是正方形的并有規(guī)律地分布在陣列中。
圖24B示出根據(jù)本發(fā)明另一示例實(shí)施方式的微透鏡陣列的一部分的視圖。微透鏡平面分布是沒(méi)有規(guī)律或不重復(fù)的，且微透鏡為任意形狀。
圖24C示出與本發(fā)明的另一示例實(shí)施方式相關(guān)的、通過(guò)使用如圖24A所示具有凸面外形的分布和具有圓形光圈的主透鏡，在光傳感器上出現(xiàn)的圖像。
在其它示例實(shí)施方式中，使用較大和較小的微透鏡的常規(guī)鑲嵌。在一實(shí)現(xiàn)中，對(duì)得到的光傳感器數(shù)據(jù)進(jìn)行插值以提供具有鑲嵌中一個(gè)或多個(gè)微透鏡的最大空間和角度分辨率的均勻采樣。
圖19A-19F示出與本發(fā)明的一個(gè)或多個(gè)示例實(shí)施方式相關(guān)地、實(shí)現(xiàn)諸如上述鑲嵌陣列的方法。圖19A是示出多個(gè)微透鏡的示例相關(guān)尺寸和排列的俯視平面圖。圖19B是通過(guò)圖19A中的各個(gè)微透鏡投射之后在光傳感器陣列上形成的圖像形狀的視圖。圖19C是圖19A中陣列的橫截面圖，示出了微透鏡具有相同的光圈值(f-number)且其焦點(diǎn)在同一平面上。這需要較小的微透鏡比較大的微透鏡放置成更靠近焦平面。這導(dǎo)致出現(xiàn)在各個(gè)微透鏡后的主透鏡圖像較大卻無(wú)重疊，且聚焦在置于包含焦點(diǎn)的平面處的光傳感器上。
圖19D示出根據(jù)本發(fā)明的另一示例實(shí)施方式的在包含主透鏡1910、鑲嵌微透鏡陣列1920和光傳感器裝置1930的完整成像裝置中實(shí)現(xiàn)的圖19A和19C中所示微透鏡的橫截面圖。注意，雖然附圖示為有若干個(gè)微透鏡以及每個(gè)微透鏡有若干像素，但是微透鏡和像素的實(shí)際數(shù)目可用不同方法選擇，諸如通過(guò)確定給定應(yīng)用的分辨率要求并實(shí)現(xiàn)每個(gè)的適當(dāng)數(shù)目。
圖19E是表示從主透鏡1910上的u開(kāi)始、并在微透鏡陣列1920上的s結(jié)束的光線(xiàn)空間的笛卡爾光線(xiàn)圖(雖然光線(xiàn)空間是4D的，但是為清楚起見(jiàn)，光線(xiàn)空間被示為2D)。由圖19C所示的各個(gè)光傳感器(標(biāo)識(shí)為A-P)求和的光線(xiàn)集合在圖19D中的笛卡爾光線(xiàn)圖示出。在完全的4D光線(xiàn)空間中，各個(gè)光傳感器結(jié)合4D光線(xiàn)盒。與較小的微透鏡下的光傳感器相比，較大的微透鏡下的光傳感器4D盒在(u，v)方向軸具有一半的寬度(兩倍的分辨率)，而在(x，y)空間軸具有兩倍的寬度(一半的分辨率)。
在另一示例實(shí)施方式中，光傳感器值被插值到規(guī)則網(wǎng)格中，使所有軸中的分辨率與所有軸中的最大分辨率匹配。圖19F示出這種方法，其中通過(guò)插值附近盒值對(duì)表示各個(gè)光傳感器值的光線(xiàn)盒進(jìn)行分割。在所示的2D光線(xiàn)空間中，每個(gè)盒被分成兩個(gè)，但是在4D空間中，每個(gè)盒被分成四個(gè)(沿其兩條較長(zhǎng)邊的每條一分為二)。在一些實(shí)施方式中，經(jīng)插值的值通過(guò)分析鄰近值來(lái)計(jì)算。在另一實(shí)施方式中，插值實(shí)現(xiàn)為期望值鄰域的初始、未分割盒的值的加權(quán)和。
在一些應(yīng)用中，以取決于基于鄰域中值的判定函數(shù)的方式實(shí)現(xiàn)加權(quán)。例如，加權(quán)可沿在4D函數(shù)空間中最不可能包含邊緣的軸插值。該值附近的邊緣的可能性可根據(jù)在這些位置處函數(shù)值的梯度大小以及該函數(shù)的拉普拉斯算子成分估計(jì)。
在另一示例實(shí)施方式中，各個(gè)微透鏡(例如在圖19D中的陣列1920或類(lèi)似的中)向內(nèi)傾斜使它們的光軸都以主透鏡的光圈為中心。該方法減小了在微透鏡下向陣列的邊緣形成的圖像中的像差。
再次參照?qǐng)D1，主透鏡110和微透鏡陣列120中微透鏡的光圈尺寸(例如透鏡中開(kāi)口的有效尺寸)也選擇成適于其中實(shí)現(xiàn)成像配置100的特殊應(yīng)用。在許多應(yīng)用中，相對(duì)光圈尺寸被選擇成所采集的圖像在不重疊的情況下盡可能地大(即，從而光不會(huì)不合需要地重疊在相鄰光傳感器上)。該方法通過(guò)匹配主透鏡和微透鏡的光圈值(聚焦比數(shù)，即透鏡的光圈與有效焦距的比值)。在此情形中，以光圈值表示的主透鏡110的有效焦距是主透鏡光圈的直徑與主透鏡110和微透鏡陣列120之間的距離“s”之間的比值。在其中主透鏡110的主平面相對(duì)于微透鏡陣列120所在的平面平移的應(yīng)用中，選擇性地更改主透鏡的光圈以保持微透鏡陣列中各個(gè)微透鏡下形成的圖像的比率以及因而尺寸。在一些應(yīng)用中，諸如正方形光圈的不同主透鏡光圈形狀用于實(shí)現(xiàn)期望的(例如有效的)微透鏡陣列下光傳感器表面上的圖像陣列包。
以下討論與本發(fā)明的一個(gè)和多個(gè)示例實(shí)施方式相關(guān)地涉及圖1的成像裝置100的普通應(yīng)用。考慮成像裝置100內(nèi)的兩平面(two-plane)光場(chǎng)“L”，L(u，v，s，t)表示沿與主透鏡110在(u，v)相交、且與微透鏡陣列12的平面在(s，t)相交的光線(xiàn)傳播的光。假設(shè)微透鏡陣列120中的理想微透鏡和光傳感器陣列130中對(duì)齊網(wǎng)格上的理想光傳感器(例如像素)，傳輸?shù)焦鈧鞲衅鞯乃泄庖矀鬏斖ㄟ^(guò)微透鏡陣列120中的其正方形母微透鏡，并傳輸通過(guò)主透鏡110上光傳感器的共軛正方形。主透鏡110和微透鏡上的這兩個(gè)正方形區(qū)域指定光場(chǎng)中小的四維盒，且光傳感器測(cè)量由該盒表示的光線(xiàn)集合中光的總量。相應(yīng)地，各個(gè)光傳感器檢測(cè)光場(chǎng)中的這種四維盒，因此由光傳感器陣列130檢測(cè)的光場(chǎng)是L(u，v，s，t)的盒過(guò)濾、直線(xiàn)采樣。
圖11示出根據(jù)本發(fā)明另一示例實(shí)施方式的將傳感器像素位置映射到相對(duì)于所采集數(shù)據(jù)的L(u，v，s，t)空間中光線(xiàn)的方法。圖11所示的和本文討論的方法可以例如用于圖1，其中光傳感器陣列130中的各個(gè)光傳感器對(duì)應(yīng)于傳感器像素。右下角的圖像1170是從光線(xiàn)傳感器(光傳感器)1130讀取的原始數(shù)據(jù)的下采樣(downsample)，并具有在一圓形微透鏡下形成的被圈出的圖像1150。左下角的圖像1180是圍繞被圈出微透鏡圖像1150的原始數(shù)據(jù)部分的放大表示，其中一個(gè)光傳感器值1140在微透鏡內(nèi)圈出。由于該圓形圖像1150是透鏡光圈的圖像，因此盤(pán)內(nèi)所選像素的位置提供主透鏡上所示光線(xiàn)110起始位置的(u，v)坐標(biāo)。傳感器圖像1170內(nèi)微透鏡圖像1150的位置提供光線(xiàn)1120的(x，y)坐標(biāo)。
雖然相對(duì)于附圖(以及其它示例實(shí)施方式)討論了傳感器元件到光線(xiàn)的映射，但與各個(gè)傳感器元件相關(guān)聯(lián)的值選擇性地由傳輸通過(guò)光學(xué)部件到達(dá)各個(gè)特定傳感器元件的光線(xiàn)集合的值來(lái)表示。因此在圖1的環(huán)境中，光傳感器陣列中的各個(gè)光傳感器可被實(shí)現(xiàn)，以提供表示傳輸通過(guò)主透鏡110和微透鏡陣列120到達(dá)光傳感器的光線(xiàn)集合的值。即，各個(gè)光傳感器響應(yīng)于入射到光傳感器上的光產(chǎn)生輸出，且各個(gè)光傳感器相對(duì)于微透鏡陣列120的位置用于提供關(guān)于入射光的方向信息。
在一示例實(shí)施方式中，微透鏡陣列120的分辨率被選擇成匹配特定應(yīng)用中最終圖像的期望分辨率。光傳感器陣列130的分辨率被選擇成使各個(gè)微透鏡按需覆蓋盡可能多的光傳感器，以匹配該應(yīng)用的期望方向分辨率，或者可實(shí)現(xiàn)的光傳感器的最好分辨率。這樣，考慮到諸如成像類(lèi)型、成本、復(fù)雜性和用于達(dá)到特定分辨率的可用設(shè)備，成像系統(tǒng)100(以及本文討論的其它系統(tǒng))的分辨率選擇性地調(diào)整成適于特定應(yīng)用。
一旦圖像數(shù)據(jù)經(jīng)由光學(xué)部件和傳感器(例如使用圖1中的成像裝置190)捕獲，就可實(shí)現(xiàn)多種計(jì)算功能和裝置以選擇性地處理圖像數(shù)據(jù)。在本發(fā)明的一示例實(shí)施方式中，不同的光傳感器集合捕捉來(lái)自各個(gè)微透鏡的分開(kāi)光線(xiàn)、并將關(guān)于所捕獲光線(xiàn)的信息傳送到諸如處理器的計(jì)算部件。場(chǎng)景的圖像根據(jù)所測(cè)量的光線(xiàn)集合計(jì)算。
在圖1的環(huán)境中，實(shí)現(xiàn)傳感器數(shù)據(jù)處理電路140以處理圖像數(shù)據(jù)并計(jì)算包括目標(biāo)105、106和107的場(chǎng)景圖像。在一些應(yīng)用中，也實(shí)現(xiàn)預(yù)覽裝置150以用預(yù)覽處理器160產(chǎn)生預(yù)覽圖像，其中預(yù)覽圖像顯示在預(yù)覽屏幕170上。預(yù)覽處理器160選擇性地通過(guò)傳感器數(shù)據(jù)處理電路140實(shí)現(xiàn)，其中以例如與以下討論的方法一致的方式產(chǎn)生預(yù)覽圖像。
在另一實(shí)施方式中，對(duì)于從傳感器裝置輸出的圖像中的各個(gè)像素，計(jì)算部件對(duì)測(cè)量光束的子集進(jìn)行加權(quán)并求和。此外，計(jì)算部件可對(duì)例如使用圖像合成方法以上述方式計(jì)算的圖像集合進(jìn)行分析和組合。雖然本發(fā)明不必限于這種應(yīng)用，但本發(fā)明的各個(gè)方面可通過(guò)對(duì)這種計(jì)算部件的若干具體示例實(shí)施方式的討論來(lái)理解。
與各個(gè)示例實(shí)施方式相關(guān)，圖像數(shù)據(jù)處理涉及再聚焦正在捕捉的圖像的至少一部分。在一些實(shí)施方式中，輸出圖像根據(jù)聚焦于特定場(chǎng)景的期望元素上的照片產(chǎn)生。在一些實(shí)施方式中，經(jīng)計(jì)算的照片被聚焦于全域(場(chǎng)景)的特定期望深度，且散焦模糊與常規(guī)相片一樣隨著遠(yuǎn)離期望深度而增加。不同焦深可選擇成對(duì)場(chǎng)景中不同目標(biāo)聚焦。
圖12示出再聚焦在不同深度、從根據(jù)本發(fā)明另一示例實(shí)施方式測(cè)量的單個(gè)光場(chǎng)計(jì)算的若干圖像1200-1240。圖12所示的方法可例如使用諸如如圖1所示的成像裝置實(shí)現(xiàn)。
圖13A和13B根據(jù)本發(fā)明另一示例實(shí)施方式示出再聚焦方法。該方法可例如通過(guò)諸如圖1中傳感器數(shù)據(jù)處理電路140的成像系統(tǒng)的計(jì)算/處理部件來(lái)實(shí)現(xiàn)。來(lái)自成像裝置的各個(gè)輸出像素(例如1301)對(duì)應(yīng)于虛膠片平面1310上的三維(3D)點(diǎn)(例如1302)。該虛膠片平面1310位于主透鏡1330之后，其中該平面1310與全域(未示出)中的期望焦平面光學(xué)共軛。即，虛膠片平面1310位于這樣的位置膠片平面期望定位在此位置以捕捉簡(jiǎn)單二維(2D)圖像(例如該位置可與照片膠片對(duì)常規(guī)相機(jī)定位以捕獲2D圖像的位置相比)。通過(guò)按方向分離光(例如使用圖1的微透鏡陣列120)，可選擇性地計(jì)算到達(dá)虛膠片平面1310的光。這樣，輸出像素1301的值可通過(guò)對(duì)匯聚在相應(yīng)3D點(diǎn)1302上的光線(xiàn)錐1320求和來(lái)計(jì)算。這些光線(xiàn)的值可根據(jù)由光線(xiàn)傳感器1350采集的數(shù)據(jù)收集。為了查看簡(jiǎn)單，圖13A示出2D的成像配置。在圖13B中，在更靠近主透鏡時(shí)使用所選全域焦深，為同一像素1301對(duì)來(lái)自3D點(diǎn)1340的光線(xiàn)錐1330求和。
在一些實(shí)施方式中，所需光線(xiàn)值不與由光線(xiàn)傳感器捕獲的離散樣本位置精確對(duì)應(yīng)。在一些實(shí)施方式中，光線(xiàn)值被估算為所選緊密樣本位置的加權(quán)和。在一些實(shí)現(xiàn)中，該加權(quán)方法對(duì)應(yīng)于根據(jù)離散傳感器樣本重建連續(xù)四維光場(chǎng)的四維濾波器核(filter kernel)。在一些實(shí)現(xiàn)中，該四維濾波器通過(guò)對(duì)應(yīng)于四維空間中16個(gè)最鄰近樣本的四線(xiàn)性插值的四維帳篷函數(shù)(tent function)來(lái)實(shí)現(xiàn)。
圖35是根據(jù)本發(fā)明另一示例實(shí)施方式用于根據(jù)接收到的光線(xiàn)傳感器數(shù)據(jù)計(jì)算再聚焦圖像的流程圖。在框3520，從光線(xiàn)傳感器數(shù)據(jù)3510提取子光圈圖像集，其中各個(gè)子光圈圖像由像素在其微透鏡下相同相對(duì)位置處的各個(gè)微透鏡圖像下的單個(gè)像素組成。在框3530，組合子光圈圖像集以生成最終的輸出圖像?？扇芜x地將子光圈圖像彼此相對(duì)地平移并合成以使期望平面聚焦。
在另一示例實(shí)施方式中，與輸出圖像邊緣附近的像素相關(guān)聯(lián)的暗化得以減輕。例如，對(duì)于輸出圖像邊緣附近的像素，一些所需光線(xiàn)未被捕獲在測(cè)量光場(chǎng)中(它們可超出諸如圖1中微透鏡陣列120和光傳感器陣列130的成像裝置的空間或方向邊界)。對(duì)于該暗化是不期望的應(yīng)用中，像素值通過(guò)將與像素關(guān)聯(lián)的值(例如由光傳感器陣列捕獲的)除以實(shí)際上在測(cè)量光場(chǎng)中找到的光的部分來(lái)歸一化。
如上所述，對(duì)不同的應(yīng)用選擇各種不同計(jì)算方法。以下討論闡述各種這樣的方法。在一些應(yīng)用中，對(duì)附圖進(jìn)行參照，且在其它應(yīng)用中，對(duì)諸方法進(jìn)行一般地描述。在各個(gè)這些應(yīng)用中，特定方法可使用諸如圖1所示的傳感器數(shù)據(jù)處理電路140的計(jì)算型部件實(shí)現(xiàn)。
在另一示例實(shí)施方式中，特定成像系統(tǒng)的各個(gè)輸出像素的成像方法對(duì)應(yīng)于虛相機(jī)模型，其中虛膠片被任意和/或選擇性地轉(zhuǎn)動(dòng)或變形、并且虛主透鏡光圈按需相應(yīng)地移動(dòng)并改變其大小。作為示例，圖25示出一示例實(shí)施方式，其中如果虛像已在被允許與物理主透鏡平面2510不一致的虛透鏡平面2530上任意大小的虛透鏡光圈2520之后出現(xiàn)，則如同已出現(xiàn)在虛膠片2560上一樣地計(jì)算虛像。通過(guò)對(duì)傳輸通過(guò)虛光圈2520并匯聚在點(diǎn)2550、根據(jù)其相交點(diǎn)和在光線(xiàn)傳感器2570上的入射方向指定的光線(xiàn)求和來(lái)計(jì)算對(duì)應(yīng)于虛膠片2560上點(diǎn)2550的像素值。
圖26示出根據(jù)本發(fā)明另一示例實(shí)施方式的操縱虛透鏡平面的方法。虛透鏡平面2630和/或虛膠片平面2660選擇性地相對(duì)物理主透鏡或其它基準(zhǔn)傾斜。使用該方法計(jì)算的圖像具有與成像平面不平行的所得全域焦平面。
在另一示例實(shí)施方式中，如圖27中所例示，虛膠片2560無(wú)需為平面，而可以采用任何形狀。
各種方法涉及不同光圈的選擇性實(shí)現(xiàn)。在一示例實(shí)施方式中，虛透鏡平面上的虛光圈通常是圓孔，而在其它示例實(shí)施方式中，虛光圈通常是非圓形的和/或?qū)崿F(xiàn)為具有任何形狀的多個(gè)不同區(qū)域。在這些或其它實(shí)施方式中，“虛光圈”的概念可被一般化，而在一些應(yīng)用中，對(duì)應(yīng)于涉及光數(shù)據(jù)處理以對(duì)應(yīng)于可通過(guò)所選“虛”光圈接收的光的方法。
在各個(gè)實(shí)施方式中，虛光圈方法通過(guò)虛透鏡平面上預(yù)定卻任意的函數(shù)實(shí)現(xiàn)。圖31A-31D示出結(jié)合一個(gè)或多個(gè)示例實(shí)施方式選擇性地實(shí)現(xiàn)為虛光圈函數(shù)的不同標(biāo)量函數(shù)。各個(gè)函數(shù)包括例如平滑地變化值(如圖31B例示)、實(shí)現(xiàn)多個(gè)不同區(qū)域(如圖31A例示)、以及采用負(fù)值(如圖31D例示)。為了計(jì)算虛膠片上點(diǎn)的值，從虛透鏡上不同點(diǎn)出發(fā)并匯聚在虛膠片上的點(diǎn)的所有光線(xiàn)通過(guò)虛光圈函數(shù)加權(quán)并求和。在各個(gè)其它實(shí)施方式中，最終值通過(guò)取決于光線(xiàn)值的任意計(jì)算函數(shù)來(lái)計(jì)算。例如，計(jì)算函數(shù)可不對(duì)應(yīng)于通過(guò)虛光圈函數(shù)的加權(quán)，但可包含取決于對(duì)光線(xiàn)值計(jì)算的測(cè)試函數(shù)值的不連續(xù)程序分支。
在其它示例實(shí)施方式中，由于可與本文所述的其它實(shí)施方式相結(jié)合地實(shí)現(xiàn)，因此可獨(dú)立地選擇計(jì)算輸出像素的方法。例如，在一示例實(shí)施方式中，包括虛透鏡平面的取向和虛光圈尺寸的參數(shù)對(duì)各個(gè)輸出像素連續(xù)地變化。在另一示例中，如圖32所示，用于積分各個(gè)輸出像素的光線(xiàn)的虛光圈函數(shù)逐個(gè)像素地變化。在輸出圖像3200中，像素3201使用虛光圈函數(shù)3210而像素3251使用虛光圈函數(shù)3250。
在另一示例實(shí)施方式中，虛光圈函數(shù)逐個(gè)像素地變化。在一具體實(shí)施例中，將該函數(shù)選擇成遮擋掉來(lái)自特定場(chǎng)景不期望部分的光線(xiàn)，諸如前景中的不期望目標(biāo)。
在又一示例實(shí)施方式中，用戶(hù)交互地選擇虛光圈參數(shù)，且根據(jù)該選擇處理光數(shù)據(jù)。圖33是示出一個(gè)這樣的示例實(shí)施方式的過(guò)程流程圖。在第一框3310中，該過(guò)程從光線(xiàn)傳感器接收數(shù)據(jù)。在框3320中，用戶(hù)選擇輸出圖像的區(qū)域；在框3330中，用戶(hù)選擇圖像形成方法；而在框3340中，用戶(hù)更改所選方法的參數(shù)、并在視覺(jué)上檢驗(yàn)在框3350計(jì)算的場(chǎng)景圖像(例如在計(jì)算機(jī)監(jiān)視器上)?？?360檢查用戶(hù)是否對(duì)圖像部分完成了編輯以及是否返回到框3330?？?370檢查用戶(hù)是否對(duì)待編輯的圖像部分完成了選擇以及是否返回到框3320。如果編輯完成，則框3380保存最終的編輯圖像。
在另一示例實(shí)施方式中，通過(guò)同時(shí)對(duì)一個(gè)以上目標(biāo)聚焦來(lái)計(jì)算具有延伸景深的圖像。在一實(shí)現(xiàn)中，輸出圖像的景深通過(guò)用縮小光圈(尺寸減小)的主透鏡光圈的常規(guī)圖形成像而得到延伸。對(duì)于各個(gè)輸出像素，使用通過(guò)比在光線(xiàn)感測(cè)中使用的光圈小的光圈(在虛透鏡平面上)會(huì)聚在輸出像素上的光線(xiàn)進(jìn)行求值。
在涉及圖1所示的示例系統(tǒng)100的一實(shí)現(xiàn)中，景深通過(guò)提取各個(gè)微透鏡圖像下的光傳感器值而得到延伸，其中各個(gè)光傳感器置于各個(gè)微透鏡圖像內(nèi)相同的相對(duì)位置。對(duì)于圖1，景深的延伸產(chǎn)生了一圖像，其中不僅目標(biāo)105在焦點(diǎn)上(由于距離“d”和“s”之間的相關(guān)性)而且可能由于散焦而模糊的諸如對(duì)象106和107的在不同深度處的物體也在焦點(diǎn)上。與對(duì)所得圖像任選地下采樣相結(jié)合的延伸景深的方法是計(jì)算有效的。該方法在其中隨圖像產(chǎn)生的噪聲可以忍受的應(yīng)用中被選擇性地實(shí)現(xiàn)，例如其中所產(chǎn)生的圖像是為了預(yù)覽目的(例如用于在圖1的預(yù)覽屏幕170上顯示)。以下討論的圖4進(jìn)一步涉及產(chǎn)生預(yù)覽圖像的方法。
圖14A和14B示出結(jié)合一個(gè)或多個(gè)示例實(shí)施方式計(jì)算具有不同景深的圖像的方法。圖14A示出通過(guò)再聚焦計(jì)算的圖像和特寫(xiě)。注意到特寫(xiě)中的臉由于較淺的景深而模糊。圖14B的中間行示出用諸如上一段落所述的延伸景深方法計(jì)算的最終圖像。
圖8是根據(jù)本發(fā)明另一示例實(shí)施方式的延伸圖像中景深的另一計(jì)算方法的流程圖。在框810中，再聚焦在特定場(chǎng)景所有焦深的一圖像集被再次聚焦。在框820，對(duì)于各個(gè)像素，根據(jù)具有最高局域?qū)Ρ榷鹊囊粓D像集確定一個(gè)像素。在框830，具有最高局域?qū)Ρ榷鹊南袼乇唤M成一最終虛像。使用該方法，使用相對(duì)大量的像素(例如相對(duì)于為微透鏡陣列中的各個(gè)微透鏡選擇單個(gè)像素(光傳感器))可獲得期望的信噪比(SNR)。參照?qǐng)D14C，所示的示例圖像是使用與結(jié)合圖8所述的相類(lèi)似的方法產(chǎn)生的，并呈現(xiàn)相對(duì)較低的圖像噪聲。
在一可選實(shí)施例中，按照各個(gè)再聚焦圖像的虛膠片平面與圖像的光傳輸?shù)教撃z片平面所經(jīng)由的主透鏡主平面之間的距離，待計(jì)算的再聚焦圖像的最小集合定義如下。最小距離設(shè)定在主透鏡的焦距，而最大距離設(shè)定在場(chǎng)景中最近目標(biāo)的共軛深度。各個(gè)虛膠片平面之間的間距不大于Δxmf/A，其中Δxm是微透鏡的寬度，f是主透鏡和微透鏡陣列之間的間距，而A是透鏡光圈的寬度。
在另一示例實(shí)施方式中，多個(gè)再聚焦圖像被組合，以在各個(gè)最終像素處產(chǎn)生延伸景深圖像來(lái)保留在再聚焦圖像集的任一個(gè)中最佳聚焦的像素。在另一實(shí)施方式中，待保留的像素通過(guò)增強(qiáng)與鄰近像素的局域?qū)Ρ榷群拖喔尚詠?lái)進(jìn)行選擇。對(duì)于關(guān)于成像的一般信息以及關(guān)于涉及增強(qiáng)局域?qū)Ρ榷鹊某上穹椒ǖ木唧w信息，可以參考ACM Transaction on Graphics的2004年第23卷3號(hào)292-300頁(yè)，A.Agarwala、M.Dontcheva、M.Agrawala、S.Drucker、A.Colburn、B.Curless、D.Salesin、M.Cohen的“Interactive Digital Photomontage(交互數(shù)字圖片集錦)”，該文章通過(guò)應(yīng)用整體結(jié)合于此。
在本發(fā)明的另一示例實(shí)施方式中，延伸景深圖像如下進(jìn)行計(jì)算。對(duì)于各個(gè)輸出圖像像素，再聚焦計(jì)算在像素處進(jìn)行以在不同深度聚焦。在各個(gè)深度，計(jì)算匯聚光線(xiàn)均一性的度量。選擇產(chǎn)生(相對(duì))最大均一性的深度并對(duì)該像素值保持該深度。使用該方法，在圖像像素焦點(diǎn)對(duì)準(zhǔn)時(shí)，所有其光線(xiàn)源自場(chǎng)景中的同一點(diǎn)，并因此有可能具有類(lèi)似的色彩和強(qiáng)度。
雖然可以用不同方法來(lái)定義均一性度量，但是對(duì)于許多應(yīng)用，使用如下均一性度量對(duì)于各個(gè)光線(xiàn)的各個(gè)色彩分量，根據(jù)中心光束(以最靠近主透鏡光軸的角度到達(dá)像素的光線(xiàn))的相應(yīng)色彩分量計(jì)算色彩強(qiáng)度的方差。對(duì)所有這些方差求和，并將均一性取為該和的倒數(shù)。
圖34是根據(jù)本發(fā)明另一示例實(shí)施方式的延伸圖像中景深的流程圖。在框3410，在待計(jì)算的虛像中選擇像素。在框3420，將該像素再聚焦在多個(gè)焦距，并計(jì)算組合成再聚焦在各個(gè)深度的光線(xiàn)的均一性。在框3430，與被組合光線(xiàn)的最大均一性相關(guān)聯(lián)的再聚焦像素值被保留為最終輸出圖像像素值。該過(guò)程在框3440繼續(xù)，直到所有像素被處理。
在另一示例實(shí)施方式中，上述過(guò)程被調(diào)整成使最終像素值的選擇考慮到相鄰像素值、以及相組合來(lái)計(jì)算這些像素值的關(guān)聯(lián)光線(xiàn)的均一性。
在本發(fā)明又一示例實(shí)施方式中，景深通過(guò)將各個(gè)像素聚焦在該方向上最接近物體的深度而得到延伸。圖9是根據(jù)一個(gè)這種示例實(shí)施方式的用于延伸圖像中景深的流程圖。在框910，選擇待計(jì)算的最終虛像中的像素。在框920，對(duì)于從所選像素通過(guò)透鏡中心傳輸進(jìn)入場(chǎng)景的光線(xiàn)(或光線(xiàn)集)，估算最近物體的深度。
在框930，在再聚焦于估算深度的圖像中計(jì)算所選像素的值。如果在框940附加像素得到了預(yù)期地處理，則在框910選擇另一像素，且該過(guò)程在框920對(duì)新選擇的像素繼續(xù)。當(dāng)沒(méi)有附加像素在框940得到預(yù)期地處理，則各個(gè)所選像素的計(jì)算值用于建立最終虛像。
在一些涉及景深延伸的實(shí)施方式中，通過(guò)不考慮源自比期望物體的深度更近的深度的光線(xiàn)以減輕或消除圍繞更靠近透鏡的物體邊緣的例如通常稱(chēng)為“敷霜(blooming)”或“光暈”的偽像(artifact)。作為示例，圖23示出傳輸通過(guò)感興趣目標(biāo)2310上全域的期望焦點(diǎn)2301的光線(xiàn)集合。這些光線(xiàn)中的一部分被物體2320從主透鏡阻斷，且這些光線(xiàn)對(duì)應(yīng)于由光線(xiàn)傳感器2350檢測(cè)到的、但是在計(jì)算點(diǎn)2301的圖像值中不予考慮的光線(xiàn)2340。在一些實(shí)施方式中，得到的像素值通過(guò)除以不予考慮的一部分光線(xiàn)而歸一化。這些實(shí)施方式可單獨(dú)地或者彼此結(jié)合地使用，以及與包括涉及延伸景深的任何其它實(shí)施方式相結(jié)合使用。
如上所述，根據(jù)各個(gè)示例實(shí)施方式來(lái)處理光數(shù)據(jù)以聚焦和/或校正圖像。涉及后校正方法的各種方法如下所述。在這些實(shí)施方式中的一些中，通過(guò)追蹤通過(guò)在捕獲光線(xiàn)時(shí)使用的光學(xué)部件的實(shí)際光學(xué)元件(例如透鏡或透鏡組)的光線(xiàn)，并將所追蹤的光線(xiàn)映射到捕獲該光的特定光傳感器來(lái)校正像差。使用由光學(xué)部件展現(xiàn)的已知缺陷以及檢測(cè)該光的傳感器的已知位置，光數(shù)據(jù)得以重新排列。
在一校正型實(shí)施方式中，對(duì)于合成相片的膠片上的各個(gè)像素計(jì)算貢獻(xiàn)于通過(guò)理想化光學(xué)部件形成的各個(gè)像素的光線(xiàn)全域。在一實(shí)現(xiàn)中，通過(guò)追蹤從虛膠片位置通過(guò)理想光學(xué)部件回到全域的光線(xiàn)來(lái)計(jì)算這些光線(xiàn)。圖15示出結(jié)合一個(gè)這樣的示例實(shí)施方式追蹤從虛膠片平面1510上的3D點(diǎn)1501通過(guò)理想薄主透鏡1520到全域光線(xiàn)錐1530的光線(xiàn)的方法。在一些實(shí)現(xiàn)中，期望光線(xiàn)集合1525可不必對(duì)應(yīng)于通過(guò)實(shí)際透鏡的方向，但是可對(duì)應(yīng)于要被加權(quán)并求和來(lái)產(chǎn)生期望圖像值的任何光線(xiàn)集合。
圖16示出結(jié)合另一示例實(shí)施方式的對(duì)于特定應(yīng)用得到沿理想光線(xiàn)傳播的光的值的方法。這些值通過(guò)追蹤透過(guò)實(shí)際主透鏡1650的期望理想全域光線(xiàn)1630計(jì)算，該主透鏡是具有球形界面的單個(gè)元件并用于在測(cè)量(檢測(cè))該光線(xiàn)時(shí)將實(shí)際全域光線(xiàn)物理地導(dǎo)向光線(xiàn)傳感器1640。在該實(shí)施方式中，理想?yún)R聚在單個(gè)3D點(diǎn)(1601)的光線(xiàn)并不匯聚，這表示具有球形界面的透鏡的稱(chēng)為球形像差的缺陷。光線(xiàn)傳感器1640提供像差光線(xiàn)(諸如1651)每一個(gè)的用于校正球形像差的各個(gè)值。
圖17A-17C示出使用通過(guò)透鏡校正方法的計(jì)算機(jī)模擬的示例結(jié)果。圖17A中的圖像是理想512×512相片(通過(guò)理想光學(xué)部件可見(jiàn)的)。圖17B中的圖像是使用實(shí)際f/2雙凸球透鏡產(chǎn)生的圖像，它具有對(duì)比度損失和模糊。圖17C中的圖像是通過(guò)使用便于在各個(gè)512×512微透鏡處10×10方向(u，v)分辨率的光學(xué)部件和傳感器裝置，使用上述圖像校正方法計(jì)算的相片。
在本發(fā)明的另一示例實(shí)施方式中，校正用于捕獲圖像的主透鏡的色差。色差是由光線(xiàn)在物理導(dǎo)向通過(guò)光學(xué)部件時(shí)由于取決于光波長(zhǎng)在物理方向上的差異而引起的發(fā)散所導(dǎo)致的。考慮發(fā)生在實(shí)際光學(xué)部件中的波長(zhǎng)相關(guān)的光折射率，入射光線(xiàn)通過(guò)實(shí)際光學(xué)部件來(lái)追蹤。在一些應(yīng)用中，根據(jù)主波長(zhǎng)分別追蹤系統(tǒng)的各個(gè)色彩分量。
在另一示例實(shí)施方式中，如圖18A所示，分別追蹤彩色成像系統(tǒng)中共存的各個(gè)紅色、綠色和藍(lán)色分量。綠色全域光線(xiàn)通過(guò)計(jì)算追蹤返回成像系統(tǒng)以產(chǎn)生綠色光線(xiàn)1830，并確定它們?cè)诤翁幣c彩色光線(xiàn)傳感器1810相交、以及它們?cè)谑裁捶较蚺c彩色光線(xiàn)傳感器1810相交。類(lèi)似地，圖18B示出通過(guò)計(jì)算追蹤期望藍(lán)色全域光線(xiàn)1820，相比綠色光線(xiàn)這些光線(xiàn)被折射到更大的范圍。圖18C示出通過(guò)計(jì)算追蹤期望紅色全域光線(xiàn)1830，相比綠色光線(xiàn)這些光線(xiàn)被折射到較小的范圍。使用例如結(jié)合本文中所述的其它示例實(shí)施方式描述的方法根據(jù)來(lái)自光線(xiàn)傳感器1810的值計(jì)算各個(gè)光線(xiàn)的值。對(duì)各個(gè)光線(xiàn)的光場(chǎng)值進(jìn)行積分以計(jì)算各個(gè)特定膠片像素的校正圖像值。對(duì)于一些應(yīng)用，色差通過(guò)將各個(gè)色彩通道聚焦在其波長(zhǎng)最佳聚焦的平面上而得到改進(jìn)。
期望光線(xiàn)可能未精確地在由光線(xiàn)傳感器采樣的離散光線(xiàn)值之一上收斂。在一些實(shí)施方式中，用于這些光線(xiàn)的值被計(jì)算為離散光線(xiàn)值的函數(shù)。在一些實(shí)施方式中，該函數(shù)對(duì)應(yīng)于期望光線(xiàn)領(lǐng)域中的離散光線(xiàn)值的加權(quán)和。在一些實(shí)施方式中，該加權(quán)和對(duì)應(yīng)于用預(yù)定的卷積核心(kernel)函數(shù)的離散采樣值的4D卷積。在其它實(shí)施方式中，加權(quán)可對(duì)應(yīng)于根據(jù)16個(gè)最近鄰進(jìn)行的四線(xiàn)性插值。在另外的實(shí)施方式中，加權(quán)可對(duì)應(yīng)于從16個(gè)最近鄰進(jìn)行的三次或雙三次插值。
值得注意的是為了概念簡(jiǎn)單已根據(jù)光線(xiàn)追蹤描述了示例校正過(guò)程；各種其它方法也可用校正實(shí)現(xiàn)。在一實(shí)施方式中，對(duì)于各個(gè)期望輸出像素，預(yù)先計(jì)算做出貢獻(xiàn)的光傳感器值集及其相對(duì)權(quán)重。如上所述，這些權(quán)重是包括光學(xué)部件、傳感器、要對(duì)各個(gè)輸出像素加權(quán)并求和的期望光線(xiàn)集合以及期望光場(chǎng)重建濾波器的許多因素的屬性。這些權(quán)重被選擇性地使用光線(xiàn)追蹤預(yù)先計(jì)算，并存儲(chǔ)。經(jīng)校正的圖像通過(guò)加權(quán)并累加各個(gè)輸出像素的適當(dāng)感測(cè)光場(chǎng)值來(lái)形成。
圖29和圖30示出結(jié)合上述校正方法使用的其它示例實(shí)施方式。圖29是用于預(yù)先計(jì)算與光線(xiàn)(光)傳感器相關(guān)聯(lián)的權(quán)重?cái)?shù)據(jù)庫(kù)和與各個(gè)光線(xiàn)傳感器相關(guān)聯(lián)的輸出像素值的過(guò)程流程圖。在前兩個(gè)框2910和2920中，對(duì)于期望圖像形成過(guò)程，接收由要求和以產(chǎn)生輸出圖像像素值的理想全域光線(xiàn)集合組成(對(duì)于各個(gè)輸出圖像像素)的數(shù)據(jù)集(例如數(shù)據(jù)庫(kù)中)，并接收用于將光線(xiàn)物理地傳導(dǎo)到光線(xiàn)傳感器的實(shí)際主透鏡光學(xué)部件的規(guī)范。在框2925，選擇一圖像像素。對(duì)于該像素的輸出值，在框2930用計(jì)算方法通過(guò)主透鏡光學(xué)部件的虛擬表示到光線(xiàn)傳感器地追蹤全域光線(xiàn)關(guān)聯(lián)集合。這導(dǎo)致施加于各個(gè)光線(xiàn)傳感器值以計(jì)算輸出像素值的權(quán)重集。在框2940中這些值存儲(chǔ)在輸出數(shù)據(jù)庫(kù)中?？?950檢查是否已經(jīng)處理了所有像素，如果不是則返回框2925。如果已處理了所有像素，則最終框2960保護(hù)完成的數(shù)據(jù)庫(kù)。
圖30是使用通過(guò)如圖29中的過(guò)程計(jì)算的權(quán)重?cái)?shù)據(jù)庫(kù)計(jì)算輸出圖像的過(guò)程的流程圖。在框3010和3020中，該過(guò)程接收數(shù)據(jù)庫(kù)并通過(guò)計(jì)算該數(shù)據(jù)庫(kù)時(shí)使用的主透鏡光學(xué)部件捕獲的光線(xiàn)傳感器值的集合。在框3025，選擇輸出圖像中的像素，使得其最終圖像值可進(jìn)行計(jì)算。對(duì)于所選像素，框3030使用數(shù)據(jù)庫(kù)來(lái)尋找作出貢獻(xiàn)的光線(xiàn)傳感器集合及其權(quán)重。在框3040，對(duì)于該圖像像素值，各個(gè)在3020中給出的傳感器值被加權(quán)并求和。在框3050，進(jìn)行檢查以查看是否已處理了所有圖像像素。如果不是，則該過(guò)程返回框3025，如果是則在框3060保存輸出圖像。
在各種示例實(shí)施方式中，使用涉及在傅立葉域中運(yùn)算的再聚焦計(jì)算方法的某些方法，在頻域中處理光數(shù)據(jù)。圖20是結(jié)合另一示例實(shí)施方式示出一個(gè)這種方法的流程圖。該算法的輸入是表示為L(zhǎng)(s，t，u，v)的離散4D光場(chǎng)2010，它表示從主透鏡上(u，v)開(kāi)始并在微透鏡平面上(s，t)終止的光線(xiàn)(例如來(lái)自從圖1的主透鏡110并在微透鏡陣列120的平面終止)。第一步是計(jì)算光場(chǎng)的離散4D傅立葉變換2020。稱(chēng)為M(ks，kt，ku，kv)的在(ks，kt，ku，kv)上的4D傅立葉變換值由以下方程定義M(ks,kt,ku,kv)=∫∫∫∫L(s,t,u,v)exp(-2π-1(sks+tkt+uku+vkv))dsdtdudv---(1)]]>其中exp函數(shù)是指數(shù)函數(shù)，exp(x)＝ex。在一些實(shí)施方式中，在4D空間的直線(xiàn)網(wǎng)格上對(duì)離散光場(chǎng)進(jìn)行采樣，且使用快速傅立葉變換(FFT)算法計(jì)算傅立葉變換。
下一步，對(duì)期望再聚焦圖像的各個(gè)深度執(zhí)行一次的是提取4D傅立葉變換的適當(dāng)2D片2030，并計(jì)算提取片的2D傅立葉逆變換，它們是聚焦在不同深度的相片2040。對(duì)于函數(shù)G(kx，ky)，2D傅立葉逆變換g(x，y)由以下方程定義g(x,y)=∫∫G(kx,ky)exp(2π-1(xkx+yky))dkxdky---(2)]]>提取2D片上的值根據(jù)期望聚焦的深度確定。考慮期望全域焦平面的共軛平面(在透鏡的圖像側(cè))，當(dāng)該共軛平面與主透鏡之間的間距為D而微透鏡平面與主透鏡之間的間距為F時(shí)，則坐標(biāo)(kx，ky)中提取2D片的值由下式給出G(kx，ky)＝1/F2·M(kx(1-D/F)，ky(1-D/F)，kxD/F，kyD/F)(3)使用不同的方法，因離散化、重采樣和傅立葉變換導(dǎo)致的偽像被選擇性地改善。在一般信號(hào)處理時(shí)期中，當(dāng)對(duì)信號(hào)進(jìn)行采樣時(shí)，它在雙域(dual domain)中周期性地復(fù)制。當(dāng)通過(guò)卷積重建該采樣信號(hào)時(shí)，它在雙域中與卷積濾波器的傅立葉變換相乘。這樣，初始、中心復(fù)制品(replica)被分離出來(lái)，從而消除其它所有復(fù)制品。期望濾波器是4D sinc函數(shù)，sinc(s)sinc(t)sinc(u)sinc(v)，其中sinc(x)＝sin(πx)/(πx)；然而，該函數(shù)具有無(wú)限外延。
在各種方法中，有限外延濾波器用于頻域處理；這種濾波器可呈現(xiàn)可被選擇性減輕的缺陷。圖21A結(jié)合下文涉及減輕或這種缺陷的相應(yīng)討論示出關(guān)于具體1D濾波器的這些缺陷。圖21A表示用1D線(xiàn)性插值實(shí)現(xiàn)(或作為4D四線(xiàn)性濾波器的基礎(chǔ))的三角濾波器。圖21B示出三角濾波器方法的傅立葉變換，它是頻帶限制內(nèi)的非單位值(參看2010)，且隨頻率增加逐漸減小到更小的分?jǐn)?shù)值。此外，該濾波器不是真正頻帶限制的，它包括在期望抑制頻帶外頻率下的能量(2020)。
上述第一缺陷導(dǎo)致可引起計(jì)算相片邊界發(fā)暗的“傾斜(rolloff)偽像”。濾波器頻譜隨頻率增加的衰減表示由該頻譜調(diào)制的空間光場(chǎng)值也朝邊界“傾斜”到分?jǐn)?shù)值。
上述第二缺陷涉及與在頻帶限制以上頻率的能量相關(guān)的計(jì)算相片中的混淆偽像(aliasing artifact)。外延超過(guò)頻帶限制的非零能量表示周期性復(fù)制品未被完全消除，從而導(dǎo)致兩種混淆。第一，與限幅平面(slicing plane)平行出現(xiàn)的復(fù)制品作為侵占最終相片邊界的2D復(fù)制品出現(xiàn)。第二，與該平面垂直定位的復(fù)制品被投影并累加到圖像平面上，從而創(chuàng)建重像和對(duì)比度的損失。
在一示例實(shí)施方式中，對(duì)上述傾斜型缺陷的校正通過(guò)將輸入光場(chǎng)與濾波器反向傅立葉頻譜的倒數(shù)相乘而得到消除，以抵消在重采樣過(guò)程中引入的效應(yīng)。在該示例實(shí)施方式中，相乘在算法的預(yù)處理步驟中進(jìn)行4D傅立葉變換之前進(jìn)行。雖然它校正了傾斜誤差，但是預(yù)相乘可加重光場(chǎng)靠近其邊界的能量，從而最大化重疊回期望視場(chǎng)作為混淆的能量。
三種抑制混淆偽像的方法-過(guò)采樣(oversampling)、高級(jí)過(guò)濾(superiorfiltering)、和零填充(zero-padding)-在下述的各種示例實(shí)施方式中單獨(dú)或結(jié)合使用。提取2D片內(nèi)的過(guò)采樣增加了空間域中的復(fù)制周期。這表示面內(nèi)復(fù)制品尾部(tail)中的較小能量落在最終相片的邊界內(nèi)。增大一個(gè)域中的采樣速率導(dǎo)致另一域中視場(chǎng)的增加。鄰近復(fù)制品中的混淆能量落在這些外圍區(qū)域中，并被修剪掉以隔離感興趣的初始中心圖像。
減輕混淆的另一方法涉及盡可能近地近似完美頻譜(可通過(guò)使用理想濾波器呈現(xiàn))的有限外延濾波器。在一示例實(shí)施方式中，4D凱撒-貝塞爾(Kaiser-Bessel)可分離函數(shù)kb4(s，t，u，v)＝kb(s)kb(t)kb(u)kb(v)用作濾波器，其中kd(x)=1/W·I0(P·1-(2x/W)2)---(4)]]>在該方程中，I0是標(biāo)準(zhǔn)零階校正的第一類(lèi)凱撒-貝塞爾函數(shù)，W是期望濾波器的寬度，而P是取決于W的參數(shù)。在該示例實(shí)施方式中，W的值為5、4.5、4.0、3.5、3.0、2.5、2.0和1.5，且P的值分別為7.4302、6.6291、5.7567、4.9107、4.2054、3.3800、2.3934和1.9980。對(duì)于關(guān)于混淆的一般信息，以及對(duì)于關(guān)于結(jié)合一個(gè)或多個(gè)本發(fā)明示例實(shí)施方式減輕混淆的方法的具體信息，可以參照1997年的IEEETransactions on Medical Imaging的10卷3號(hào)473-478頁(yè)J.L.Jackson、C.H.Meyer、D.G.Nishimura和A.Macovski的“Selection of convolution function for Fourierinversion using gridding(使用網(wǎng)格化來(lái)選擇逆向傅立葉的卷積函數(shù))”，該文獻(xiàn)通過(guò)引用整體結(jié)合于此。在一實(shí)現(xiàn)中，實(shí)現(xiàn)小于約2.5的寬度“W”以達(dá)到期望的圖像質(zhì)量。
在另一示例實(shí)施方式中，混淆通過(guò)在預(yù)相乘之前填充具有較小零值邊界的光場(chǎng)并進(jìn)行傅立葉變換得以減輕。這將能量稍微推離邊界，并最小化由傾斜校正的預(yù)相乘引起的混淆能量放大。
圖22是根據(jù)本發(fā)明另一示例實(shí)施方式示出使用上述各種校正在頻域中再聚焦的方法的流程圖。在框2210，接收離散4D光場(chǎng)。在每個(gè)輸入光場(chǎng)進(jìn)行一次的預(yù)處理階段，框2215檢查是否混淆減小是所期望的，且如果是則執(zhí)行用小零值邊界(例如在該維度上寬度的5％)填充光場(chǎng)的框2220。在框2225，進(jìn)行檢查以確定是否傾斜校正是所期望的，且如果是則在框2230通過(guò)重采樣濾波器的傅立葉變換的倒數(shù)對(duì)光場(chǎng)進(jìn)行調(diào)制。在預(yù)處理階段的最后框中，在框2240計(jì)算光場(chǎng)的4D傅立葉變換。
在每個(gè)期望焦距進(jìn)行一次的再聚焦階段，該過(guò)程在框2250諸如通過(guò)用戶(hù)的引導(dǎo)接收再聚焦圖像的期望焦距。在框2260，進(jìn)行檢查以確定是否混淆減小是所期望的。如果否，則框2270使用期望4D重采樣濾波器提取光場(chǎng)傅立葉變換的2D片，其中2D片的軌跡對(duì)應(yīng)于期望焦距；且框2275計(jì)算所提取片的2D傅立葉逆變換并進(jìn)行到框2290。如果在框2260混淆減小是所期望的，則過(guò)程進(jìn)行到框2280，其中使用期望4D重采樣濾波器和過(guò)采樣(例如在兩個(gè)維度的每一個(gè)上的2x過(guò)采樣)提取2D片。在框2283，計(jì)算片的2D傅立葉逆變換并將得到的圖像修剪成初始尺寸而無(wú)需在框2286過(guò)采樣，在框2286之后過(guò)程進(jìn)行到框2290。在框2290，進(jìn)行檢測(cè)以確定再聚焦是否完成。如果否，則在框2250選擇另一焦距且過(guò)程如上所述地進(jìn)行。如果再聚焦完成，則過(guò)程在框2295退出。
通過(guò)如以上可選實(shí)施方式所述的明確地對(duì)光線(xiàn)求和，該頻域算法的漸進(jìn)計(jì)算復(fù)雜性小于再聚焦。假設(shè)輸入離散光場(chǎng)在其四個(gè)維度的每一個(gè)上具有N個(gè)樣本。則對(duì)于在各個(gè)新深度再聚焦，明確地對(duì)光線(xiàn)求和的算法的計(jì)算復(fù)雜性是O(N4)。對(duì)于在各個(gè)新深度再聚焦，頻域算法的計(jì)算復(fù)雜性為O(N2logN)，主要是2D傅立葉逆變換的成本。然而，預(yù)處理步驟對(duì)于各個(gè)新光場(chǎng)數(shù)據(jù)集消耗O(N4logN)。
在另一示例實(shí)施方式中，所捕獲的光線(xiàn)被光學(xué)濾除。雖然不限于這種應(yīng)用，但是這種濾波器的一些示例是中性密度濾波器、彩色濾波器、偏振濾波器。任何現(xiàn)有濾波器或?qū)⒁_(kāi)發(fā)的濾波器可用于對(duì)光線(xiàn)進(jìn)行所需的過(guò)濾。在一個(gè)實(shí)現(xiàn)中，光線(xiàn)被成組或單獨(dú)地光學(xué)濾除，使得各組或個(gè)別光被不同地濾除。在另一實(shí)現(xiàn)中，通過(guò)使用附加于主透鏡的空間變化濾波器實(shí)現(xiàn)過(guò)濾。在一示例應(yīng)用中，諸如中性密度梯度濾波器的梯度濾波器用于過(guò)濾光。在另一實(shí)現(xiàn)中，空間變化濾波器在光線(xiàn)傳感器、微透鏡陣列或光傳感器陣列中一個(gè)或多個(gè)之前使用。參照?qǐng)D1，作為示例，選擇性地將一個(gè)或多個(gè)這樣的濾波器置于主透鏡110、微透鏡陣列120和光傳感器陣列130中一個(gè)或多個(gè)之前。
在本發(fā)明的另一示例實(shí)施方式中，編程諸如處理器的計(jì)算部件以選擇性地選擇組合在計(jì)算輸出像素中的光線(xiàn)，以便于對(duì)該像素值進(jìn)行期望的凈過(guò)濾。作為示例，考慮涉及主透鏡處的光學(xué)中性梯度密度濾波器，在微透鏡下出現(xiàn)的各個(gè)透鏡光圈圖像根據(jù)跨越其范圍的濾波器梯度加權(quán)。在一實(shí)現(xiàn)中，通過(guò)選擇在各個(gè)微透鏡下處于與輸出圖像像素的中性密度過(guò)濾的期望水平匹配的梯度的點(diǎn)上的光傳感器，計(jì)算輸出圖像。例如，為了產(chǎn)生其中各個(gè)像素在較大的范圍上過(guò)濾的圖像，各個(gè)像素值被設(shè)定為在相應(yīng)微透鏡下處于與最大過(guò)濾對(duì)應(yīng)的梯度極端的傳感器值。
圖2是結(jié)合本發(fā)明的其它示例實(shí)施方式示出處理圖像的方法的數(shù)據(jù)流程圖。圖像傳感器裝置210以與例如圖1中示出且在上文描述的微透鏡陣列120和光傳感器陣列130類(lèi)似的方式使用微透鏡/光傳感器芯片裝置212采集圖像數(shù)據(jù)。圖像傳感器裝置210光學(xué)地包括承載某一處理電路的集成處理電路214，以準(zhǔn)備采集圖像數(shù)據(jù)以便傳輸。
在圖像傳感器裝置210上產(chǎn)生的傳感器數(shù)據(jù)被傳輸?shù)叫盘?hào)處理器220。該信號(hào)處理器包括低分辨率圖像處理器222以及壓縮處理器224和(光)線(xiàn)方向處理器226之一或兩者；這些處理器的每一個(gè)取決于應(yīng)用單獨(dú)實(shí)現(xiàn)或使用共同處理器功能地實(shí)現(xiàn)。此外，各個(gè)如圖2所示的處理器選擇性地編程有結(jié)合其它附圖或本文其它段落描述的一個(gè)或多個(gè)處理功能。信號(hào)處理器220與圖像傳感器裝置210任選地在共同器件或部件上實(shí)現(xiàn)，例如在共同電路和/或在共同圖像器件上。
低分辨率圖像處理器222使用從圖像傳感器裝置210接收的傳感器數(shù)據(jù)來(lái)產(chǎn)生低分辨率圖像數(shù)據(jù)，該低分辨率圖像數(shù)據(jù)被發(fā)送到探視顯示器230。諸如相機(jī)或攝像機(jī)上按鈕的輸入器件235發(fā)送圖像捕獲請(qǐng)求到信號(hào)處理器220，以請(qǐng)求例如捕獲在探視顯示器230中顯示的特定圖像和/或在如此實(shí)現(xiàn)時(shí)開(kāi)始視頻成像。
響應(yīng)于圖像捕獲請(qǐng)求或其它向?qū)?，信?hào)處理器220使用由圖像傳感器裝置210捕獲的傳感器數(shù)據(jù)來(lái)產(chǎn)生經(jīng)處理的傳感器數(shù)據(jù)。在一些應(yīng)用中，壓縮處理器224被實(shí)現(xiàn)成產(chǎn)生轉(zhuǎn)移到數(shù)據(jù)存儲(chǔ)裝置240(例如存儲(chǔ)器)的壓縮原數(shù)據(jù)。然后，這種原數(shù)據(jù)在信號(hào)處理器220和/或外部計(jì)算機(jī)260或其它處理裝置選擇性地進(jìn)行處理，從而實(shí)現(xiàn)諸如用如下所述的光線(xiàn)方向處理器226實(shí)現(xiàn)的光線(xiàn)方向處理。
在某些應(yīng)用中，光線(xiàn)方向處理器226被實(shí)現(xiàn)成處理在信號(hào)處理器220接收的處理器數(shù)據(jù)，以重新排列用于產(chǎn)生聚焦和/或校正圖像數(shù)據(jù)的傳感器數(shù)據(jù)。光線(xiàn)方向處理器226使用從圖像傳感器裝置210接收的傳感器數(shù)據(jù)和傳送到數(shù)據(jù)存儲(chǔ)裝置240的原數(shù)據(jù)之一或兩者。在這些應(yīng)用中，光線(xiàn)方向處理器226使用特定成像裝置(例如相機(jī)、攝像機(jī)或移動(dòng)電話(huà))的光線(xiàn)映射特性，在這些成像裝置中圖像傳感器裝置210被實(shí)現(xiàn)成確定用微透鏡/光傳感器芯片212感測(cè)的光線(xiàn)的重新排列。將用光線(xiàn)方向處理器226產(chǎn)生的圖像數(shù)據(jù)發(fā)送到數(shù)據(jù)存儲(chǔ)裝置240和/或到通信鏈路250用于各種應(yīng)用，諸如使圖像數(shù)據(jù)流傳送到遠(yuǎn)程場(chǎng)所或?qū)D像數(shù)據(jù)發(fā)送到遠(yuǎn)程場(chǎng)所。
在一些應(yīng)用中，集成處理電路214通過(guò)實(shí)現(xiàn)例如CMOS型處理器或具有適當(dāng)功能的其它處理器包括信號(hào)處理器220的處理功能的一些或全部。例如，低分辨率圖像處理器222選擇性地包括有集成處理電路214，且低分辨率圖像數(shù)據(jù)從圖像傳感器裝置210直接發(fā)送到探視顯示器230。類(lèi)似地，壓縮處理器224或其類(lèi)似功能選擇性地用集成處理電路214實(shí)現(xiàn)。
在一些應(yīng)用中，最終圖像的計(jì)算可在集成處理電路214上進(jìn)行(例如在一些僅輸出最終圖像的數(shù)字靜態(tài)相機(jī)中)。在其它應(yīng)用中，圖像傳感器裝置210可將原始光線(xiàn)數(shù)據(jù)或這些數(shù)據(jù)的壓縮版簡(jiǎn)單地發(fā)送到諸如桌上型計(jì)算機(jī)的外部計(jì)算裝置。根據(jù)這些數(shù)據(jù)計(jì)算最終圖像然后在外部裝置上進(jìn)行。
圖3是根據(jù)本發(fā)明另一示例實(shí)施方式的處理圖像數(shù)據(jù)的方法的流程圖。在框310，使用主透鏡或具有諸如圖1所示的微透鏡/光傳感器陣列的透鏡組，在相機(jī)或其它成像裝置上捕捉圖像數(shù)據(jù)。如果在框320預(yù)覽圖像是所期望的，則在框330使用例如探視鏡或其它類(lèi)型的顯示器產(chǎn)生預(yù)覽圖像。使用捕獲的圖像數(shù)據(jù)的子集在例如相機(jī)或攝像機(jī)的探視鏡上顯示該預(yù)覽圖像。
在框340，來(lái)自光傳感器陣列的原數(shù)據(jù)被處理并壓縮以供使用。在框350，從經(jīng)處理和壓縮的數(shù)據(jù)中提取光線(xiàn)數(shù)據(jù)。該提取涉及例如檢測(cè)入射到光傳感器陣列中特定光傳感器的光線(xiàn)束或集合。在框360對(duì)于圖像數(shù)據(jù)捕獲其中的成像裝置檢索光線(xiàn)映射數(shù)據(jù)。在框370，光線(xiàn)映射數(shù)據(jù)和所提取的光線(xiàn)數(shù)據(jù)用于合成重新排列圖像。例如，提取、映射和合成框350-370通過(guò)確定光線(xiàn)被采集場(chǎng)景的特定像素的一束光線(xiàn)，并積分光線(xiàn)能量以合成特定像素的值來(lái)選擇性地實(shí)現(xiàn)。在一些應(yīng)用中，光線(xiàn)映射數(shù)據(jù)用于通過(guò)用于獲取圖像數(shù)據(jù)的實(shí)際透鏡追蹤各個(gè)特定像素的光線(xiàn)。例如，通過(guò)在框370確定累加在一起以便于聚焦在特定焦距處的所選目標(biāo)的適當(dāng)光線(xiàn)集合，該光線(xiàn)可被重新排列以到達(dá)聚焦圖像。類(lèi)似地，通過(guò)確定適當(dāng)?shù)墓饩€(xiàn)安排以校正諸如成像裝置中的透鏡像差的狀況，該光線(xiàn)可被重新排列以產(chǎn)生相對(duì)而言沒(méi)有相關(guān)于像差或其它狀況的特性的圖像。
各種方法選擇性地用于產(chǎn)生相機(jī)型和其它應(yīng)用的預(yù)覽圖像。圖4是根據(jù)本發(fā)明另一示例實(shí)施方式的產(chǎn)生這種預(yù)覽圖像的過(guò)程流程圖。圖4中示出且在下文描述的方法可與例如在圖3的框330產(chǎn)生預(yù)覽圖像相結(jié)合地實(shí)現(xiàn)。
在框410接收對(duì)原始傳感器數(shù)據(jù)的預(yù)覽指令。在框420，將中心像素從原始傳感器圖像數(shù)據(jù)中的各個(gè)微透鏡圖像選出。在框430收集所選中心像素以形成高景深圖像。在框440，以適于探視顯示器的分辨率對(duì)高景深圖像進(jìn)行下采樣。參照?qǐng)D2，作為示例，這種下采樣在一個(gè)或多個(gè)圖像傳感器裝置210或信號(hào)處理器220上選擇性地進(jìn)行。在框450將產(chǎn)生的預(yù)覽圖像數(shù)據(jù)發(fā)送到探視顯示器，而在框460，探視鏡用預(yù)覽圖像數(shù)據(jù)顯示圖像。
圖5是根據(jù)本發(fā)明另一示例實(shí)施方式的處理和壓縮圖像數(shù)據(jù)的流程圖。圖5中示出且在下文描述的方法可與在圖3中框340處理和壓縮圖像數(shù)據(jù)相結(jié)合地實(shí)現(xiàn)。當(dāng)用如圖2所示的裝置實(shí)現(xiàn)時(shí)，圖5所示的方法可在例如圖像傳感器裝置210和信號(hào)處理器220之一或兩者實(shí)現(xiàn)。
在框510，從傳感器陣列接收原始圖像數(shù)據(jù)。如果在框520期望進(jìn)行著色，則在框530對(duì)彩色濾波器陣列值進(jìn)行去馬賽克，以在傳感器處產(chǎn)生色彩。如果在框540期望進(jìn)行調(diào)整和對(duì)齊，則微透鏡在框550被調(diào)整并與光傳感器陣列對(duì)齊。如果在框560期望進(jìn)行插值，則在570將像素值插值到與各個(gè)微透鏡關(guān)聯(lián)的整數(shù)個(gè)像素。在框580，經(jīng)處理的原始圖像數(shù)據(jù)被壓縮并呈現(xiàn)以便于合成處理(例如形成再聚焦和/或校正圖像)。
圖6是根據(jù)本發(fā)明另一示例實(shí)施方式的圖像合成的流程圖。圖6中示出并在下文中描述的方法可與在圖3的框370示出并在下文中進(jìn)一步描述的圖像合成方法相結(jié)合地實(shí)現(xiàn)。
在框610，從光傳感器陣列接收原始圖像數(shù)據(jù)。如果在框620期望進(jìn)行再聚焦，則在框630使用例如本文所述的方法對(duì)圖像數(shù)據(jù)進(jìn)行再聚焦，以選擇性重新排列由原始圖像數(shù)據(jù)表示的光。如果在框640期望進(jìn)行圖像校正，則在框650校正圖像數(shù)據(jù)。在不同應(yīng)用中，在期望進(jìn)行再聚焦和圖像校正兩者的應(yīng)用中，在框650的圖像校正之前或在與框630的再聚焦同時(shí)進(jìn)行。在框660，使用包括經(jīng)再聚焦和經(jīng)校正數(shù)據(jù)的經(jīng)處理圖像數(shù)據(jù)(可用時(shí))產(chǎn)生所得圖像。
圖7A是根據(jù)本發(fā)明另一示例實(shí)施方式的使用透鏡裝置進(jìn)行圖像再聚焦的流程圖。在圖7示出且在下文中描述的方法可例如與圖6中框630的圖像數(shù)據(jù)再聚焦結(jié)合地實(shí)現(xiàn)。
在框710，選擇用于再聚焦圖像部分的虛焦平面。在框720，選擇虛焦平面的虛像像素。如果在框730期望進(jìn)行校正(例如對(duì)于透鏡像差)，則在框740計(jì)算在所選像素與各個(gè)特定透鏡位置之間通過(guò)的虛光線(xiàn)(或虛光線(xiàn)集合)值。在一應(yīng)用中，通過(guò)計(jì)算落在所選像素上的共軛光線(xiàn)并通過(guò)透鏡裝置中的路徑追蹤該光線(xiàn)來(lái)便于該計(jì)算。
在框750，累加特定焦平面的各個(gè)透鏡位置的光線(xiàn)值(或虛光線(xiàn)集合)之和以確定所選像素的總值。在一些應(yīng)用中，在框750累加的和是加權(quán)和，其中某些光線(xiàn)(或光線(xiàn)集合)給定比其它的更大的權(quán)重。如果在框760存在用于再聚焦的附加像素，則在框720選擇另一像素且繼續(xù)該過(guò)程直到?jīng)]有像素需要再聚焦。在像素已被再聚焦之后，在框770組合像素?cái)?shù)據(jù)以產(chǎn)生在框710選擇的虛焦平面處的再聚焦虛像。涉及圖7中框720、730、740和750的部分或全部的再聚焦方法通過(guò)各種應(yīng)用的更具體功能進(jìn)行實(shí)施。
使用本文所述的一個(gè)或多個(gè)示例實(shí)施方式實(shí)現(xiàn)的傳感器數(shù)據(jù)處理電路取決于實(shí)現(xiàn)可包括一個(gè)或多個(gè)微處理器、專(zhuān)用集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP)和/或可編程門(mén)陣列(例如現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA))。這樣，傳感器數(shù)據(jù)處理電路可以是現(xiàn)在已知或以后開(kāi)發(fā)的任何類(lèi)型或形式的電路。例如，傳感器數(shù)據(jù)處理電路可包括耦合在一起實(shí)現(xiàn)、提供和/或進(jìn)行期望操作/功能/應(yīng)用的有源和/或無(wú)源的單個(gè)部件或多個(gè)部件(微處理器、ASIC和DSP)。
在不同應(yīng)用中，傳感器數(shù)據(jù)處理電路實(shí)現(xiàn)或執(zhí)行實(shí)現(xiàn)本文所述和/或示出的特定方法、任務(wù)或運(yùn)算的一個(gè)或多個(gè)應(yīng)用、例程、程序和/或數(shù)據(jù)結(jié)構(gòu)。應(yīng)用、例程或程序的功能被選擇性地組合或分配在某些應(yīng)用中。在一些應(yīng)用中，應(yīng)用、例程或程序通過(guò)傳感器(或其它)數(shù)據(jù)處理電路使用已知或以后開(kāi)發(fā)的各種編程語(yǔ)言中的一種或多種實(shí)現(xiàn)。這種編程語(yǔ)言包括例如結(jié)合本發(fā)明一個(gè)或多個(gè)方面選擇性地實(shí)現(xiàn)的編譯或未編譯的FORTRAN、C、C++、Java和BASIC。
上述各種實(shí)施方式僅作為說(shuō)明提供而不應(yīng)該解釋為對(duì)本發(fā)明的限制。根據(jù)以上描述和說(shuō)明，對(duì)本領(lǐng)域技術(shù)人員顯而易見(jiàn)的是可對(duì)本發(fā)明進(jìn)行各種更改和改變，而不必嚴(yán)格遵循本文示出和描述的示例性實(shí)施方式和應(yīng)用。例如，這種變化可包括在不同類(lèi)型的應(yīng)用中實(shí)現(xiàn)各種光學(xué)成像應(yīng)用和器件、增加或減少每個(gè)像素(或其它所選圖像區(qū)域)所采集的光線(xiàn)數(shù)、或?qū)崿F(xiàn)與所述示例不同的算法和/或方程以采集或處理圖像數(shù)據(jù)。其它變化可包括使用除了笛卡爾坐標(biāo)以外或者附加于笛卡爾坐標(biāo)的坐標(biāo)表示，例如極坐標(biāo)。這種更改和變化不背離本發(fā)明的實(shí)質(zhì)精神和范圍。
權(quán)利要求
1.一種用于對(duì)場(chǎng)景進(jìn)行數(shù)字成像的方法，所述方法包括使用光傳感器陣列來(lái)同時(shí)檢測(cè)來(lái)自所述場(chǎng)景并傳輸?shù)浇蛊矫嫔喜煌恢玫墓?；確定在所述焦平面上不同位置處檢測(cè)到的所述光的入射角；使用所述經(jīng)確定的入射角和經(jīng)確定的景深來(lái)計(jì)算輸出圖像，其中所述圖像的至少一部分被再聚焦。
2.如權(quán)利要求1所述的方法，其特征在于，計(jì)算輸出圖像包括再聚焦所述檢測(cè)到的光以形成至少其一部分聚焦在不同焦平面的圖像。
3.如權(quán)利要求2所述的方法，其特征在于，再聚焦所述檢測(cè)到的光包括根據(jù)所述檢測(cè)到的光確定組成聚焦在不同焦平面的所述圖像的至少一部分的光線(xiàn)集合；以及組合所述經(jīng)確定的光線(xiàn)集合以形成聚焦在所述不同焦平面的所述輸出圖像的所述部分。
4.如權(quán)利要求1所述的方法，其特征在于，再聚焦所述檢測(cè)到的光包括校正檢測(cè)所述光時(shí)使用的光學(xué)部件的狀況。
5.如權(quán)利要求1所述的方法，其特征在于，再聚焦所述檢測(cè)到的光包括校正透鏡像差。
6.一種用于根據(jù)場(chǎng)景合成圖像的數(shù)字成像系統(tǒng)，所述系統(tǒng)包括光傳感器陣列，具有多個(gè)光傳感器；光學(xué)部件裝置，調(diào)節(jié)成將來(lái)自所述場(chǎng)景的光通過(guò)二維焦平面?zhèn)鲗?dǎo)到所述光傳感器陣列；其中，對(duì)于傳輸通過(guò)所述二維焦平面的特定部分的光線(xiàn)集合，多個(gè)所述光傳感器被排列成檢測(cè)以不同入射角同時(shí)到達(dá)所述二維焦平面的所述特定部分的所述光線(xiàn)集合的不同光線(xiàn)；以及處理器，被編程為根據(jù)在不同光傳感器檢測(cè)到的所述光和所述檢測(cè)到的光入射到由檢測(cè)所述光的各個(gè)光傳感器的位置表征的所述二維焦平面上的入射角來(lái)計(jì)算經(jīng)合成的再聚焦圖像。
7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述光學(xué)部件裝置包括位于所述焦平面的微透鏡陣列，所述微透鏡陣列包括多個(gè)微透鏡，各個(gè)微透鏡調(diào)節(jié)成分開(kāi)入射到所述微透鏡上的光線(xiàn)、并將分開(kāi)的光線(xiàn)傳導(dǎo)到所述光傳感器陣列中的光傳感器集合。
8.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述處理器使用各個(gè)光傳感器相對(duì)于所述微透鏡的位置確定光入射到各個(gè)光傳感器上的入射角。
9.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述處理器被編程為確定發(fā)射所述檢測(cè)到的光的所述場(chǎng)景中目標(biāo)的景深，并使用所述景深和所述檢測(cè)到的光的入射角來(lái)計(jì)算聚焦在與所述二維焦平面不同的焦平面上的合成圖像。
10.一種用于根據(jù)所捕獲的光線(xiàn)集合合成圖像的數(shù)字成像系統(tǒng)，所述系統(tǒng)包括主透鏡；用于捕捉光線(xiàn)集合的光傳感器陣列；在所述主透鏡與所述光傳感器陣列之間的微透鏡陣列，所述光線(xiàn)集合從所述主透鏡經(jīng)過(guò)所述微透鏡陣列被物理地傳導(dǎo)到所述光傳感器陣列；數(shù)據(jù)處理器，通過(guò)由所述光傳感器陣列捕獲的所述光線(xiàn)集合的虛擬重定向來(lái)計(jì)算經(jīng)合成的再聚焦圖像。
11.如權(quán)利要求10所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)處理器通過(guò)選擇性地組合所選光束以對(duì)所述光束集合虛擬地重定向來(lái)計(jì)算圖像。
12.如權(quán)利要求10所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)處理器通過(guò)選擇性地累加所選光線(xiàn)以對(duì)所述光線(xiàn)集合虛擬地重定向來(lái)計(jì)算圖像。
13.如權(quán)利要求10所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)處理器通過(guò)選擇性地加權(quán)并累加光線(xiàn)以對(duì)所述光線(xiàn)集合虛擬地重定向來(lái)計(jì)算圖像。
14.如權(quán)利要求10所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)處理器通過(guò)根據(jù)所述光線(xiàn)集合在所述光傳感器陣列上的空間分布、以及根據(jù)所述光線(xiàn)集合從所述主透鏡經(jīng)過(guò)所述微透鏡陣列到達(dá)所述光傳感器陣列的所述物理方向?qū)λ龉馐咸摂M地重定向來(lái)計(jì)算圖像。
15.如權(quán)利要求10所述的數(shù)字成像系統(tǒng)，其特征在于，所述數(shù)據(jù)處理器對(duì)所述光束集合虛擬地重定向，以將所述圖像的一部分再聚焦在與所述微透鏡陣列置于其中的平面不同的焦平面。
16.如權(quán)利要求10所述的數(shù)字成像系統(tǒng)，其特征在于，所述數(shù)據(jù)處理器對(duì)所述光線(xiàn)虛擬地重定向以校正透鏡像差。
17.如權(quán)利要求10所述的數(shù)字成像系統(tǒng)，其特征在于，所述數(shù)據(jù)處理器對(duì)所述光線(xiàn)虛擬地重定向以延伸所述合成圖像的所述景深。
18.如權(quán)利要求10所述的數(shù)字成像系統(tǒng)，其特征在于，對(duì)于所述微透鏡陣列中的各個(gè)微透鏡，所述光傳感器陣列包括多個(gè)光傳感器。
19.如權(quán)利要求18所述的數(shù)字成像系統(tǒng)，其特征在于，所述主透鏡將場(chǎng)景的二維圖像聚焦在所述微透鏡陣列上，且其中所述微透鏡陣列中的各個(gè)微透鏡被調(diào)節(jié)成發(fā)散由所述主透鏡聚焦其上的光線(xiàn)，并將所述發(fā)散光線(xiàn)傳導(dǎo)到所述微透鏡的多個(gè)光傳感器。
20.如權(quán)利要求10所述的數(shù)字成像系統(tǒng)，其特征在于，所述數(shù)據(jù)處理器使用來(lái)自所述光傳感器陣列的數(shù)據(jù)來(lái)通過(guò)解析各個(gè)子圖像的不同焦深建立根據(jù)由所述捕獲光線(xiàn)示出的場(chǎng)景不同部分的聚焦子圖像。
21.如權(quán)利要求20所述的數(shù)字成像系統(tǒng)，其特征在于，所述數(shù)據(jù)處理器通過(guò)組合所述聚焦子圖像合成最終圖像。
全文摘要
圖像數(shù)據(jù)被處理以有助于聚焦和/或光學(xué)校正。根據(jù)本發(fā)明的一示例實(shí)施方式，成像裝置采集與傳輸通過(guò)特定焦平面的光對(duì)應(yīng)的光數(shù)據(jù)。使用有助于確定入射到焦平面一部分上的光的各個(gè)部分發(fā)散來(lái)源方向的方法來(lái)采集光數(shù)據(jù)。與通過(guò)光傳感器檢測(cè)的光的值結(jié)合地使用該方向信息，由該光表示的圖像被選擇性地聚焦和/或校正。
文檔編號(hào)H04N5/225GK101065955SQ200580039822
公開(kāi)日2007年10月31日 申請(qǐng)日期2005年9月30日 優(yōu)先權(quán)日2004年10月1日
發(fā)明者Y-R·恩, P·M·漢拉恩, M·S·萊沃, M·A·霍羅威茨 申請(qǐng)人:利蘭·斯坦福青年大學(xué)托管委員會(huì)