傳統(tǒng)照相機(jī)使用(一個或多個)透鏡將場景中的每個點(diǎn)成像到傳感器上的單個點(diǎn)上。在數(shù)字照相機(jī)中，傳感器是圖像元素或“像素”的二維陣列，其將成像場景編碼為數(shù)字圖像數(shù)據(jù)以用于存儲、處理和再現(xiàn)。

數(shù)字成像已經(jīng)使能新成像架構(gòu)。Cathey和Dowski采取遠(yuǎn)離通過利用數(shù)字處理的傳統(tǒng)模型的早期和概念上重要的步驟。他們設(shè)計(jì)立方相光學(xué)板，其當(dāng)被插入傳統(tǒng)照相機(jī)的光學(xué)路徑中時(shí)導(dǎo)致其(顯著的)模糊獨(dú)立于物體深度的圖像：傳感器平面上的圖像不像其將在傳統(tǒng)照相機(jī)中那樣“看起來好的”。然而，后續(xù)的圖像處理使整個模糊圖像銳利，因此這導(dǎo)致增強(qiáng)的景深。從那以后計(jì)算成像場已經(jīng)探索成像架構(gòu)，在該成像架構(gòu)中原始信號并非表面上類似傳統(tǒng)圖像；相反，根據(jù)這樣的信號計(jì)算最終圖像?？偝上瘛柏?fù)擔(dān)”中的越來也多由計(jì)算負(fù)擔(dān)，從而擴(kuò)大可用的光學(xué)部件的種類。這樣，可以計(jì)算地而不是光學(xué)地校正許多光學(xué)像差。該成像范式已經(jīng)導(dǎo)致光學(xué)和圖像處理的聯(lián)合設(shè)計(jì)的新概念基礎(chǔ)，以及各種各樣的非標(biāo)準(zhǔn)成像架構(gòu)諸如全光編碼孔徑和多孔徑系統(tǒng)，每個與信號處理的方法相關(guān)聯(lián)。

對于包括出現(xiàn)在移動計(jì)算市場中的照相機(jī)的電子設(shè)備的微型化的經(jīng)濟(jì)壓力已經(jīng)導(dǎo)致較小的成像器形狀因子。最近地，新微型成像架構(gòu)已經(jīng)被探索，這是一個基于具有光探測器陣列的集成衍射光學(xué)元件。該架構(gòu)摒棄透鏡并且相反依賴于可以使用與被用于創(chuàng)建底層傳感器的那些過程類似的過程創(chuàng)建的衍射光柵。對于給定圖像分辨率而言，這樣的衍射元件使能比使用傳統(tǒng)照相機(jī)的光學(xué)路徑可能的小得多的成像設(shè)備并且以低得多的成本的構(gòu)建。

附圖說明

詳細(xì)描述以示例的方式而非以限制的方式圖示在附圖的圖形中，并且其中相同附圖標(biāo)記指代相同元件，并且其中：

圖1A是具有疊加光探測器陣列110的奇對稱光柵105的感測器件100(諸如CCD(電荷耦合器件))或CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)傳感器的剖視圖。

圖1B描繪了模擬圖示遮蔽140和焦點(diǎn)145對入射角的敏感性的銳角160處的入射光平面120的圖1A的傳感器100。

圖2描繪了根據(jù)一個實(shí)施例的二元奇對稱光柵200。

圖3描繪了根據(jù)其中二元奇對稱光柵310由兩個不同的折射率的材料之間的接口形成的實(shí)施例的感測器件300。

圖4A是根據(jù)另一實(shí)施例的傳感器400的平面圖。

圖4B是圖4A的傳感器400的三維視角并且示出光420如何從與光柵表面垂直的方向投影底層的光電二極管陣列430上的干涉圖案425。

圖5A、圖5B、圖5C和圖5D各自描繪了二維光電二極管陣列505上的奇對稱500的三個界限。

圖6描繪了各自具有不同的相對寬度的特征段的三個奇對稱光柵600、620和630。

圖7A是根據(jù)使用超過兩層產(chǎn)生奇對稱的實(shí)施例的相位光柵700的剖視圖。

圖7B是與圖7A的相位光柵700光學(xué)類似但是使用較少層的相位光柵710的剖視圖。

圖8是圖示奇對稱可以如何擴(kuò)展為曲線函數(shù)的相位光柵800的剖視圖。

圖9是根據(jù)其中奇對稱905的邊界從光柵的中心徑向延伸并且其中特征段的寬度遠(yuǎn)離中心逐漸地加寬的特征段的寬度的實(shí)施例的光柵900的平面圖。

圖10是根據(jù)奇對稱1005的同心界限的實(shí)施例的光柵1000的平面圖并且包括沿著線A-A的剖視圖。

圖11是根據(jù)與圖9的光柵900類似的實(shí)施例的光柵1100的平面圖。

圖12是根據(jù)另一實(shí)施例的光柵1200的平面圖。

圖13描繪了根據(jù)另一實(shí)施例的光柵1300。

圖14描繪了光柵1400和相關(guān)聯(lián)的光電二極管陣列1405。

圖15描繪了光柵1500和相關(guān)聯(lián)的光電二極管陣列1505。

圖16是根據(jù)具有奇對稱1605的五角形界限的實(shí)施例的光柵1600的平面圖。

圖17A是根據(jù)另一實(shí)施例的光柵1700的平面圖。

圖17B描繪了圖17A的界限1705的形狀。

圖18描繪了被布置在光電二極管陣列(未示出)上的光柵1805的二維陣列1800。

圖19是詳述根據(jù)圖17的光柵1700如何采集和解析圖像1905的流程圖1900。

圖20描繪了根據(jù)一個實(shí)施例的用于形成圖像傳感器2000的光刻過程。

圖21A描繪了根據(jù)包括透鏡2105的實(shí)施例的照相機(jī)2100。

圖21B是具有聚焦在陣列2115上成像的點(diǎn)源2125的照相機(jī)2100的示例。

圖21C是具有未聚焦在陣列2115上成像的點(diǎn)源2140的照相機(jī)2100的示例。

圖21D是具有比圖21C的示例中的點(diǎn)源2140更未聚焦成像的點(diǎn)源2155的照相機(jī)2100的示例。

圖22是利用三個PSF 2205、2210和2215照射的像素2200陣列的一部分的平面圖。

圖23描繪了圖示根據(jù)一些實(shí)施例的照相機(jī)可以如何補(bǔ)償包括球面像差、彗形像差和Petzval場曲率的透鏡像差的三個螺旋2300、2305和2310。

圖24描繪了圖示根據(jù)一些實(shí)施例的相位光柵的各方面的棋盤格光學(xué)元件2400。

圖25描繪了由圖24的光柵2400產(chǎn)生的定向啁啾內(nèi)的空間調(diào)制的豐富圖案如何促進(jìn)離焦PSF的經(jīng)改進(jìn)的分辨率。

圖26A和圖26B描繪了根據(jù)一些實(shí)施例的棋盤格光柵2600和2605。

圖27A和圖27B描繪了根據(jù)一些實(shí)施例的棋盤格光柵2700和2705。

圖28描繪了根據(jù)一個實(shí)施例的棋盤格光柵2800。

圖29描繪了根據(jù)另一實(shí)施例的棋盤格光柵2900。

圖30描繪了根據(jù)一些實(shí)施例可以被用于使用圖21A-圖21D中詳述的類型的照相機(jī)產(chǎn)生顏色圖像的濾波器陣列3000。

圖31描繪了顏色通道3100(結(jié)合圖30引入的實(shí)施例的四個顏色通道之一)。

圖32描繪了支持低功率模式的圖像改變的探測器3200。

圖33將圖32的陣列3205描繪為像素300的陣列。

圖34描繪了具有重疊或懸浮在光電傳感器3415(例如，光電二極管)的一維陣列3410上的光柵3405的圖像傳感器3400。

圖35是可以被用于IR照相機(jī)的服務(wù)中的圖像34的陣列3400的1D陣列3505-熱輻射測定器的兩個像素3500的剖視圖。

圖36圖示了被布置在相對于場景的不同的定向處的多個1D傳感器可以如何被用于定位稀少的移動的熱物體。

圖37描繪了包括結(jié)合圖34和圖35上文詳述的類型的八個1D傳感器3400以及提供成像場景的獨(dú)立測量結(jié)果的22.5度的角間距的照相機(jī)3700。

圖38A和38B是詳述如何使用圖17的光柵1700采集和解析QR代碼3805的流程圖3800和假定二進(jìn)制圖像的反演算法的實(shí)施例。

圖39描繪了采用無透鏡IR傳感器3905監(jiān)測眼睛3910的運(yùn)動的眼球追蹤系統(tǒng)3900。

圖40描繪了Purkinje圖像P1-P4的模擬星座。

圖41表示通過包括結(jié)合圖17A和圖17B詳述的類型的螺旋光柵的IR傳感器3905的實(shí)施例的原始光電檢測器信號采集的圖40的相同星座，但是針對其奇對稱的線的間距被優(yōu)化用于LED 3915的IR帶寬。

圖42描繪了與支持操作性位置中的傳感器3905和LED 3915的幀4200相反的圖39的眼睛3920。

圖43描繪了具有兩側(cè)中的每一個的傳感器4305和光源4310的陣列的眼鏡框4300。

圖44描繪了根據(jù)包括例如橋中的前面照相機(jī)4405的實(shí)施例的一副智能眼鏡4400。

具體實(shí)施方式

圖1A是具有疊加光探測器陣列110的奇對稱光柵105的感測器件100(諸如CCD(電荷耦合器件))或CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)傳感器的剖視圖。光柵105的特征提供對感興趣的波長帶中的入射光的波長以及光柵105與光電檢測器陣列110之間的制造距離的相當(dāng)大的不敏感性。光柵105生成用于由陣列110采集的干涉圖案。然后，可以從圖案提取照片和其他圖像信息。

感興趣的波長帶(諸如可見光譜)中的光是來自正交于光柵105的橫向平面120的方向115的入射光柵105。虛線125突出基本上奇對稱的周期性界限。這些界限中的每一個是奇對稱的特征130和135的結(jié)果，并且產(chǎn)生由相鄰特征130與135之間的相消相位干擾創(chuàng)建的最小強(qiáng)度的通常布置的遮蔽140。遮蔽140由焦點(diǎn)145分離，并且遮蔽140和焦點(diǎn)145的集合(最大光強(qiáng)度的遮蔽)從光柵105延伸通過設(shè)備100的主體150以產(chǎn)生光電檢測器陣列110上的干涉圖案。在該圖示中，入射在焦點(diǎn)和遮蔽中的強(qiáng)度變化的圖案是起因于近場衍射的近場空間調(diào)制。陣列110內(nèi)的一個光敏元件155遮蔽在焦點(diǎn)145下面來用作針對設(shè)備100對入射光角的敏感性的后續(xù)討論的參考；然而，在對應(yīng)的焦點(diǎn)下面的其他光敏元件同樣地對入射光做出反應(yīng)。

圖1A的圖像起因于具有以下參數(shù)和假定特定參數(shù)的感測器件的模擬。主體150具有熔融石英，并且與具有以2.2um間隔的光敏元件的常規(guī)光電檢測器陣列110接觸。在該示例中，光柵105的頂部是空氣界面。特征130和135的相對小段是大約1um，并且相對較大的段是大約4um。這些段一般地形成橫向平面120，其以大約25um與陣列110分離。遮蔽140和焦點(diǎn)145是針對532nm入射光的破壞性和建設(shè)性干涉圖案。響應(yīng)于點(diǎn)源，光柵105因此引起照射非相鄰像素上的圖案的近場空間調(diào)制。

盡管針對模擬的532nm光的選擇，但是主體150的厚度和特征130和135的段的長度被優(yōu)化用于400nm光。因此，最緊的焦點(diǎn)在陣列110上面大約5um發(fā)生(在20um標(biāo)記處)。結(jié)果遮蔽140在20um標(biāo)記上面和下面平坦地分離焦點(diǎn)145，然而這圖示對感興趣帶內(nèi)的波長的魯棒的不敏感性。遮蔽140的相對深和連續(xù)的滲透還提供了針對主體150的厚度的相當(dāng)大的制造容限。這些優(yōu)點(diǎn)由于投影到陣列110上的近場空間調(diào)制是在感興趣的波長帶上獨(dú)立的波長獲得，其意味著相鄰調(diào)制(暗和亮)不利用感興趣帶內(nèi)的波長內(nèi)的改變反轉(zhuǎn)符號。

圖1B描繪了模擬圖示遮蔽140和焦點(diǎn)對入射角的敏感性的銳角160處的入射光平面120的圖1A的傳感器100。將元件155用作參考點(diǎn)，我們看到照射圖1A中的元件155的焦點(diǎn)145在圖1B中已經(jīng)相當(dāng)大地移到右邊。遮蔽140和焦點(diǎn)145在根據(jù)Snell定律與角160有關(guān)的銳角處延伸。維持通過遮蔽140對焦點(diǎn)145的分離。因此，傳感器100對入射角靈敏。

圖2描繪了根據(jù)一個實(shí)施例的二元奇對稱光柵200。使用垂直虛線指示奇對稱的三個界限中的每一個。光柵200的上特征在足以引起感興趣帶中的阻滯的一個半波長相對于下特征或相對相位延遲的弧度的高處。每個界限的任一側(cè)的特征205和210展示具有三個不同地大小段W₀、W₁和W₂的奇對稱。利用該布置，配對段(例如，特征205和210內(nèi)的W₀)引起通過近似一半感興趣的波長帶上的波長不同的相應(yīng)的相位延遲。

圖3描繪了根據(jù)其中二進(jìn)制奇對稱相位光柵310由兩個不同的折射率的材料(在該示例中，聚碳酸酯層315和光學(xué)重鑭火石玻璃320)之間的界面形成的實(shí)施例的感測器件300。使用垂直虛線指示奇對稱325的四個界限中的每一個。如在前述示例中，光柵310的上特征引起一個波長(π弧度)的一半相對于下特征的相位阻滯。每個界限的任一側(cè)上的特征330和335展示奇對稱。利用該布置，配對段引起通過近似一半感興趣的波長帶上的波長不同的相應(yīng)的相位延遲。

這些元件以結(jié)合圖1A和圖1B詳述的方式產(chǎn)生分析器層327(例如，常規(guī)光電二極管陣列)上的干涉圖案。該示例假定光柵300的光界面正交于相位光柵310的橫向平面的光入射，在該情況中進(jìn)入與奇對稱325的界限之一等距離的光柵310(諸如在位置(-X,0)和(X,0)處)的光場在陣列310下面的點(diǎn)(例如，點(diǎn)(0,Z))處離焦，并且因此破壞性地干擾以產(chǎn)生最小強(qiáng)度的遮蔽(例如，圖1的遮蔽140)。基本上光譜上的光的深度Z和波長二者都不顯著地影響該破壞性干涉。建設(shè)性干涉類似地產(chǎn)生具有最大強(qiáng)度的焦點(diǎn)(例如，圖1的焦點(diǎn)145)。高特征和低特征二者準(zhǔn)許光，其提供相對于選擇性地阻擋光的光柵的相對高量子有效性。

以下討論詳述了在即將到來的論文“Lensless Ultra-Miniature Imagers Using Odd-Symmetry Spiral Phase Gratings.”2013年美國光學(xué)學(xué)會中由Patrick R.Gill和David G.Stork所描述的示例的相位光柵。在該文章中，Gill和Stork描述了由可以近似地將λ無關(guān)相位偏移引入所有通常入射可見光中的高n低色散襯底和低n高色散涂層形成的相位光柵。上文討論了類似的光柵。如果存在在其傳輸t(·)和相位推遲φ(·)中滿足以下對稱性的該界面上的某些點(diǎn)p，

其中y是橫向于光柵方向的水平平移，那么光柵具有關(guān)于點(diǎn)p的奇對稱，并且光將破壞性地干擾小于p而不管λ和深度Z。

在光電傳感器陣列上的線性奇對稱光柵可以傳遞來自遠(yuǎn)場(橫向于光柵定向)中的特征的單個空間定向的信息。然而，為了采集關(guān)于復(fù)雜場景的任意定向特征的信息，具有衍射光學(xué)中的定向的完整分布是優(yōu)選的。更一般地，如果點(diǎn)源響應(yīng)(PSR)是近似空間不變的，成像器的傳遞函數(shù)近似與PSR函數(shù)卷積。在這樣的情況下，PSR應(yīng)當(dāng)具有在所有2D空間頻率處的顯著的功率以使圖像的反演問題恢復(fù)狀態(tài)良好的。

在Gill和Stork中所提供的一個示例中，光柵數(shù)字地被優(yōu)化為將可見光聚焦到以下光電檢測器陣列100μm上。光學(xué)模擬估計(jì)在具有由遠(yuǎn)離傳感器的復(fù)雜場景(＞＞100μm)照射的傳感器的光柵的來自具有2.2μm間距100μm的60x 60像素陣列的這樣的設(shè)備的成像性能。來自像素陣列的結(jié)果光電流是難理解的；然而，場景被重建為基于使用Tikhonov正則化的Talbot-effect角靈敏的大得多的衍射成像器可能的更高的分辨率。Gill和Stork包括壓縮傳感技術(shù)可以適于如果已經(jīng)場景基于可壓縮的結(jié)構(gòu)則改進(jìn)重建質(zhì)量。如果存在PSR的傅里葉變換中的小間隙，則壓縮感測可以是特別有利的。

圖4A是根據(jù)另一實(shí)施例的傳感器400的平面圖。奇對稱415的八個界限中的每一個的任一側(cè)的相對高段405和低段410創(chuàng)建其中段的寬度隨著與傳感器的中心的距離增加的光柵。對于給定焦點(diǎn)深度而言，較高頻率的光傾向于產(chǎn)生具有較窄的特征寬度的較銳利的焦點(diǎn)。因此，傳感器400可以被優(yōu)化使得光柵的中心部分被優(yōu)化用于相對較高的頻率光的集合和相對較低的頻率光的集合的外圍區(qū)域。下文結(jié)合其他附圖詳述了該話題。

圖4B是圖4A的傳感器400的三維視角并且示出光420如何從與光柵表面垂直的方向投影底層的光電二極管陣列430上的干涉圖案425。如先前詳述的，遮蔽和焦點(diǎn)相應(yīng)地投射陰影435和亮形狀440以由陣列430的單獨(dú)的光敏元件445感測。陣列430采集圖案425的數(shù)字表示。

圖5A、圖5B、圖5C和圖5D各自描繪了二維光電二極管陣列505上的奇對稱500的三個界限。遮蔽510將陰影515投影在底層光電探測器520上，并且因此創(chuàng)建的圖案取決于入射光的角是不同的。因此，陣列505可以對結(jié)果干涉圖案進(jìn)行采樣來獲得關(guān)于入射角的信息。

圖6描繪了各自具有不同的相對寬度的特征段的三個奇對稱光柵600、620和630。其對于創(chuàng)建具有如所示的多個寬度比的傳感器來補(bǔ)償制造影響光柵特征的相對高度的容限可以是有用的。假定例如光柵600是被優(yōu)化用于感興趣的制造過程的寬度，但是該過程產(chǎn)生40％而不是理想的50％的相對相位延遲以形成期望的位置處的最小強(qiáng)度的遮蔽。對于第一級而言，如在光柵630中所描繪的相對寬段的增加的寬度可以改進(jìn)起因于錯誤的相位偏移的失真?？梢酝ㄟ^使如在光柵620中所描繪的相對寬段變窄校正大于50％的相位偏移。一些實(shí)施例包括覆蓋光電二極管陣列的不同的區(qū)域來容納制造容限的相對段寬度的混合物。與提供最銳利的焦點(diǎn)或針對波長或波長范圍的最銳利的焦點(diǎn)的光柵相關(guān)聯(lián)的圖像可以被選擇或組合來獲得期望的圖像數(shù)據(jù)。不同的光柵還可以針對具有不同波長或入射角的光更好地執(zhí)行，因此針對給定圖像使用哪些光柵的選擇可以被優(yōu)化用于除制造容限外的變量。

圖7A是根據(jù)使用超過兩層產(chǎn)生奇對稱的實(shí)施例的相位光柵700的剖視圖。附加層可以慮及較銳利的焦點(diǎn)，但是可以要求更復(fù)雜的制造過程。如果光柵將使用光刻法制造，例如，附加層要求附加的掩碼步驟。奇對稱的每個界限的任一側(cè)的配對表面引起通過近似一半波長加上感興趣的波長帶上的整數(shù)個波長不同的相應(yīng)的配對相位延遲。

圖7B是與圖7A的相位光柵700光學(xué)類似但是使用較少層的相位光柵710的剖視圖。結(jié)果較大的突然的不連續(xù)性715可以引起不期望的圖像偽影或可能難以準(zhǔn)確地制造，但是降低數(shù)目的層可以降低制造成本。

圖8是圖示奇對稱可以如何擴(kuò)展為曲線函數(shù)的相位光柵800的剖視圖。

圖9是根據(jù)其中奇對稱905的邊界從光柵的中心徑向延伸并且其中特征段的寬度遠(yuǎn)離中心逐漸地加寬的特征段的寬度的實(shí)施例的光柵900的平面圖。光柵900以連續(xù)地變化的寬度集采集十六個分立角處的圖像信息。雖然便于將光柵900繪制為圓形，但是可以使用其他形狀。在一些實(shí)施例中，例如，光柵的集合被排列在光電二極管陣列上。在這樣的情況下，該共享共同界限(例如，諸如六邊形、正方形或三角形界限)更高效地利用底層的光電二極管。

圖10是根據(jù)基本上奇對稱1005的同心界限的實(shí)施例的光柵1000的平面圖并且包括沿著線A-A的剖視圖。在該示例中，特征段的寬度是分立的，并且角是連續(xù)的。光柵1000的間距顯得一致的，但是可以變化以慮及對于波長范圍、入射角或制造變化的銳利焦點(diǎn)。

圖11是根據(jù)與圖9的光柵900類似的實(shí)施例的光柵1100的平面圖。光柵900的兩半提供基本上相同的信息。光柵1100以垂直定向添加半圓極化濾波器1105和1110。因此，光柵1100的每半產(chǎn)生特定于兩個極化之一的圖像數(shù)據(jù)，并且這些數(shù)據(jù)可以分離地或一起使用。具有相同或不同定向的更多或更少的濾波器可以使用在其他實(shí)施例中。不同的類型的濾波器還可以被用于覆蓋本文所描述的類型的光柵中的全部或一部分。

圖12是根據(jù)另一實(shí)施例的光柵1200的平面圖。奇對稱1205的曲線界限從光柵的中心徑向地延伸，并且特征段的寬度遠(yuǎn)離中心逐漸地加寬。當(dāng)保持圖9的光柵900的連續(xù)地變化的間距時(shí)，界限1205的曲率提供與什么從圖10的光柵1000可用類似的連續(xù)地不同的角信息。

圖13描繪了根據(jù)另一實(shí)施例的光柵1300。如先前所指出的，光柵特征的不同的寬度提供針對感興趣的波長帶內(nèi)的光的不同的顏色的較銳利的焦點(diǎn)。光柵1300具有圖9的光柵900的相同徑向?qū)ο?，但是間距被優(yōu)化用于藍(lán)、綠和紅光的那些區(qū)域提供有準(zhǔn)許其相應(yīng)波長的濾波器。省略在底層的分析器上提供模糊的干涉圖案的波長可以改進(jìn)圖像銳利，并且可以允許顏色圖像數(shù)據(jù)的更準(zhǔn)確的重建。光柵1300以由定義孔徑的限制的不透明屏蔽1305為邊界。

圖14描繪了光柵1400和相關(guān)聯(lián)的光電二極管陣列1405。光柵1400具有平行奇對稱界限1410，其可以具有相同或不同寬度或沿著一個或多個界限的不同的寬度的特征。具有采樣足夠數(shù)目的空間頻率的寬度和間距的必須的多樣性的平行界限可以對一維圖像(例如，條形碼)進(jìn)行成像。沿著光柵1400而不是在光柵1400下面示出陣列1405來突出界限1410的方向與陣列1405中的光敏元件列之間的角θ_A。角θ_A創(chuàng)建測量結(jié)果的更多的多樣性，因?yàn)榫€性陰影覆蓋不同行中的像素的不同的百分比。在一個實(shí)施例中，選擇角θ_A使得每個界限的頂部與底部偏移大約陣列1405中的一個像素。

圖15描繪了光柵1500和相關(guān)聯(lián)的光電二極管陣列1505。光柵1500具有平行的右角界限1510，其可以具有相同或不同寬度或沿著一個或多個界限的不同的寬度的特征。具有沿著采樣足夠數(shù)目的空間頻率的兩個維度的寬度和間距的必需的多樣性的平行界限可以對例如點(diǎn)源進(jìn)行成像，諸如以標(biāo)識太陽的位置、基準(zhǔn)LED或用于運(yùn)動采集的回射元件或分片。可以出于結(jié)合圖14上文所呈現(xiàn)的原因引入角θ_A。還可以利用還適于成像功能的光柵完成點(diǎn)源標(biāo)識。

圖16是根據(jù)具有奇對稱1605的五角形界限的實(shí)施例的光柵1600的平面圖。在該示例中，特征段的寬度是分立的，但是在其他實(shí)施例中其可以沿著一個或多個界限變化。直線界限可以在曲線那些上是有利的，因?yàn)榫€段可以容易地提供精確的奇對稱。

光柵1600提供五個不同的定向處的信息。其他界限形狀(諸如其他多邊形)使用在其他實(shí)施例中。一般而言，具有奇數(shù)個邊的多邊形提供比具有類似但是偶數(shù)個邊的多邊形提供更大的定向多樣性(例如，五邊形提供比正方形或六邊形更大的定向多樣性)。

圖17A是根據(jù)另一實(shí)施例的光柵1700的平面圖。相對窄(寬)段間距的回憶對于相對高(低)頻率工作更好，特征間距沿著與中心間距的奇對稱界限(在暗區(qū)域與亮區(qū)域之間)。奇對稱1705的曲線界限從光柵的中心徑向地延伸到周圍，在中心附近在暗(提升的)和亮(凹進(jìn)的)臂之間輻射出。曲線界限由圖17A中的光柵特征掩蓋，因此在圖17B中描繪界限1705的形狀以便于回顧。

段寬度不繼續(xù)隨著半徑增加，因?yàn)榇嬖卺槍Ω信d趣的給定波長帶的最大期望的寬度(例如，最寬可以對應(yīng)于可見紅光的最低的頻率)。因此，定義界限1705的特征展示不連續(xù)性，因?yàn)槠湎蚬鈻?700的周圍延伸。在該示例中，光柵1700具有三個分立的區(qū)域，每個調(diào)諧到感興趣帶中的波長的子集或全部。

圖18描繪了被布置在光電二極管陣列(未示出)上的光柵1805的二維陣列1800。光柵1805中的每一個是相同的，但是任何數(shù)目的參數(shù)(上文討論其中的許多)可以在光柵1805內(nèi)和中間變化。例如，不同的形狀和類型的光柵可以被用于對不同的類型的干涉圖案進(jìn)行創(chuàng)建和成像，其可以分離地組合或使用來獲得某個期望的結(jié)果。考慮由構(gòu)成光柵中的一個或多個生成的信息的全部或特定子集的決策可以在諸如在容納過程變化的制造時(shí)完成或可以動態(tài)地完成來突出場景的不同的方面。強(qiáng)調(diào)不同的圖案的各方面可以被用于例如突出不同的極化、波長或入射角的光。

特別地當(dāng)其特點(diǎn)很好地匹配時(shí)，面向相同方向的間隔光柵可以被用于感測移動對象。假定具有固定分離的匹配光柵接收來自相同場景的光，相應(yīng)的分析器層的光電流之間的差異僅對相對地靠近對的對象靈敏。而且，該差異的時(shí)間導(dǎo)數(shù)對附近的移動對象靈敏并且對相對地遠(yuǎn)的移動或固定對象不靈敏。

圖19是詳述根據(jù)圖17的光柵1700如何采集和解析圖像1905的流程圖1900。第一，呈現(xiàn)圖像1910使得來自圖像1910的光是入射光柵1700。入射光穿過相位光柵1700以產(chǎn)生光電傳感器(未示出)的底層的二維陣列上的強(qiáng)度圖案1920，其采集圖案(1915)。采集圖案1920對于人類可能顯得難以理解；然而，因?yàn)楣鈻?700具有其點(diǎn)擴(kuò)散函數(shù)(PSF)中的銳利特征，圖案包含關(guān)于圖像的豐富信息。

光柵1700的PSF(可能地組合底層的陣列)從先驗(yàn)校準(zhǔn)或高保真仿真已知。還可以類似地確定PSF根據(jù)入射角和顏色變化的方式。該信息由響應(yīng)1930表示。因此，基于該響應(yīng)的數(shù)學(xué)轉(zhuǎn)換可以被用于根據(jù)圖案1920重建圖像1910。

為了恢復(fù)原始圖像，響應(yīng)1920和1930組合形成反演問題(1925)，其解析(1935)以恢復(fù)原始圖像的版本1940。一個實(shí)施例采用眾所周知的Tikhonov正則化反演技術(shù)來完成步驟1925和1935。將以下各項(xiàng)作為出發(fā)點(diǎn)a)光柵1700的PSF的詳細(xì)知識，b)在當(dāng)前照明調(diào)節(jié)下系統(tǒng)的噪聲水平的知識，和c)針對該圖像觀察的特定讀數(shù)(圖案1920)。將未知的圖像表達(dá)為N x 1向量x，其中N是人們希望重建的像素的總數(shù)。將來自光電傳感器的讀數(shù)表達(dá)為M x 1向量y，其中M是陣列中的光電傳感器的總數(shù)。將PSF的詳細(xì)知識表達(dá)為M x N矩陣A，使得對于任何圖像x而言，在x下產(chǎn)生期望的觀察信號y的公式是y＝Ax，被稱為“前向方程”。

為了重建圖像，其滿足利用針對未知圖像x的已知測量結(jié)果向量y求解前向方程如下。將前向方程的兩側(cè)乘以A^T(A的轉(zhuǎn)置)來獲得A^T y＝A^T Ax。矩陣A^T A是正方形并且原則上可以直接反轉(zhuǎn)以恢復(fù)x；然而，當(dāng)存在噪聲并且并非A^T A的所有特征向量具有相同大的相關(guān)聯(lián)的本征值時(shí)，通常不佳地調(diào)節(jié)本發(fā)明。因此，實(shí)際上，Tikhonov正則化(如下)通常遞送優(yōu)選的結(jié)果。

然后，基于當(dāng)前照明條件處的噪聲水平選擇正則化參數(shù)λ>0。最后，反轉(zhuǎn)矩陣(A^T A+λI)(其中I是單位矩陣)，假定(A^T A+λI)≈(A^T A)并且乘以先前方程的左邊來獲得x≈(A^TA+λI)^-1A^T y。因此，對于給定正則化參數(shù)λ而言，通過Tikhonov正則化恢復(fù)的圖像是來自光電傳感器的讀數(shù)的線性組合。如果PSF在可以忽略其空間依賴性的程度上是足夠地空間不變的，則這些計(jì)算可以在傅里葉域中完成，這慮及快得多的數(shù)值。

另一實(shí)施例使用壓縮傳感恢復(fù)矩陣x。如果場景被期望在一些基礎(chǔ)中是稀疏的(諸如針對自然圖像的子波變換W)，則可以使用以下方法。我們可以通過找到最小化以下成本函數(shù)的z恢復(fù)稀疏場景分量z其中x＝Wz：1/2r^Tr+λf(z)，其中r是殘余的(y-AWz)，λ>0是正則化參數(shù)(與使用在Tikhonov正則化中的那個不同，而且噪聲相關(guān)的)，并且f(z)是懲罰非稀疏(penalizing non-sparse)z的函數(shù)。如果f(z)是z的凸函數(shù)(諸如L₁規(guī)范)，可以使用凸優(yōu)化技術(shù)高效地解決該優(yōu)化問題。懲罰函數(shù)f(z)還可以采取其他形式，包括重建圖像x或其他先驗(yàn)場景知識中的項(xiàng)懲罰總變差。

線性方法(諸如Tikhonov正則化)上的壓縮感測的主要優(yōu)點(diǎn)中的一些主要優(yōu)點(diǎn)是前者允許關(guān)于期望的場景結(jié)構(gòu)的更多先驗(yàn)信息幫助塑造最終圖像。而且，如果A^T A不具有滿秩或不能測量場景的某些方面(例如，由于PSF的2D傅里葉變換的一些近零區(qū)域)，則給定關(guān)于期望圖像的正確先驗(yàn)信息，使用壓縮感測有時(shí)克服這些限制。

前述Tikhonov和壓縮感測技術(shù)可以包括降低問題復(fù)雜度的迭代方法。例如，Richardson-Lucy重疊合法可以迭代地近似Tikhonov正則化反演并且重復(fù)子波閾值化可以是聚合為壓縮感測類似解的數(shù)值高效的方式。

在一些實(shí)施例中，傳感器的目的不是重建圖像而是執(zhí)行某個光學(xué)感測任務(wù)。在這樣的情況下，向量x可以表示尋求測量結(jié)果而不是圖像像素的場，并且可以近似地修改正向變換A。

圖20描繪了根據(jù)一個實(shí)施例的用于形成圖像傳感器2000的光刻過程。第一，在感興趣的波長帶上透明的材料的晶圓2005利用定義什么將變?yōu)楸疚闹性斒龅念愋偷钠鎸ΨQ光柵表面的相對高特征的掩模2010圖案化。然后，晶圓2005的裸露面被蝕刻為創(chuàng)建凹進(jìn)區(qū)域2015。然后，移除標(biāo)記2010。最后，晶圓2005(現(xiàn)在包括光柵)被結(jié)合為光電二極管陣列2025。光刻法和晶圓結(jié)合過程對于本領(lǐng)域的技術(shù)人員而言是眾所周知的，因此省略詳細(xì)討論。

圖21A描繪了根據(jù)實(shí)施例的照相機(jī)2100，其中聚合光學(xué)元件(在該情況中透鏡2105(雖然為了圖示的簡單性示出單元件透鏡，但是一般地光學(xué)元件可以包括一個或多個折射、衍射和/或反射元件))結(jié)合被布置在光學(xué)元件與密集光電檢測器陣列2115之間的路徑中的相位光柵元件(光柵2110)使用以在其上形成圖像。在透鏡2105的前端的場景入射投影通過光柵2110并且直到陣列2115。光柵2110引起入射光中的空間調(diào)制并且將所得的干涉圖案傳遞給陣列2115，其采集空間調(diào)制的數(shù)字表示。電氣耦合到陣列2115的集成處理器2120根據(jù)數(shù)字表示計(jì)算場景的圖像。處理器還示出物理地耦合到陣列2115，但是處理器可以定位在其他實(shí)施例中的其他地方。

透鏡2105定義前焦點(diǎn)FFP和后焦點(diǎn)RFP，并且以小于透鏡2105與焦點(diǎn)RFP之間的圖像平面距離D的距離與光柵2110間隔。在該示例中，陣列2115在來自光柵2110的焦點(diǎn)RFP的相對側(cè)。光柵2110可以是奇對稱光柵，其具有結(jié)合前述附圖上文詳述的特性。在其他實(shí)施例中(諸如在宏模式中類似操作的實(shí)施例)，針對無限對象定義的透鏡2105的焦距可以比光柵2110與透鏡2105更近或者可以在涵蓋這樣的相對定位的范圍上移動。

光柵2110的表面特征以距離X與陣列2115分離。雖然示出為分離的結(jié)構(gòu)以便于圖示，但是光柵2110可以與陣列2115集成或附接到陣列2115。在該示例中，照相機(jī)2100中的距離X不超過400倍光柵2110的表面特征與陣列2115之間的(多個)介質(zhì)中的最長的感興趣波長λ_max(X≤400λ_max)。例如，其中λ_max是0.5微米的照相機(jī)可以具有光柵2110的特征與直到200微米的陣列2115的表面之間的間距X。

圖21B是具有聚焦在陣列2115上成像的由箭頭的尖端表示的點(diǎn)源2125的照相機(jī)2100的示例。光柵2110在焦點(diǎn)平面之外，因此來自透鏡2105的光將模糊斑點(diǎn)PSF 2130呈現(xiàn)給光柵2110。(如在本文使用的其他示例中，由PSF 2130占用的區(qū)域指代中瓣的區(qū)域)。光柵2110根據(jù)函數(shù)2130產(chǎn)生干涉圖案，但是圖案的照明界限在緊密地聚焦的陣列2115上的衍射有限的斑點(diǎn)2135中是不明顯的。點(diǎn)源2125的范圍和位置處的對象緊密地聚焦(場曲率和其他像差可以改變針對其他位置的最佳焦點(diǎn)范圍)，并且名義上在陣列2115的全分辨率處成像，假定透鏡2105能夠具有這樣的分辨率。

圖21C是具有未聚焦在陣列2115上成像的點(diǎn)源2140的照相機(jī)2100的示例。如在先驗(yàn)示例中，來自透鏡2105的光將模糊斑點(diǎn)PSF 2145呈現(xiàn)給關(guān)山2110，并且光柵2110產(chǎn)生空間調(diào)制的圖案。由于點(diǎn)源2140離焦成像，然而，陣列2115處的PSF 2150的區(qū)域大于在圖21B的示例中，并且圖案區(qū)域內(nèi)的照明過渡/子結(jié)構(gòu)是明顯的。在照相機(jī)2100中，這些照明過渡是由光柵2110的特征引起的近場空間調(diào)制。PSF 2150的結(jié)果螺旋圖案優(yōu)選地是可逆的定向啁啾。如本文所使用的，“定向啁啾”是覆蓋足以恢復(fù)期望的分辨率處的圖像的空間頻率和定向的范圍的空間調(diào)制的圖案。

圖21D是具有比圖21C的示例中的點(diǎn)源2140更未聚焦成像的點(diǎn)源2155的照相機(jī)2100的示例。來自透鏡2105的光呈現(xiàn)仍然大于PSF 2145的模糊斑點(diǎn)PSF 2160，并且陣列2115上的結(jié)果不可逆的PSF 2165類似地大于PSF 2150。雖然未示出，但是對圖21A的FFP處的點(diǎn)源成像產(chǎn)生包括定向啁啾特征的不可逆的PSF。兩個點(diǎn)源(一個在點(diǎn)2125前面并且一個在點(diǎn)2125后面但是沿著相同光軸)可以產(chǎn)生類似大小的定向啁啾。然而，由于透鏡系統(tǒng)中的像差，啁啾可以不同--這樣的不同的特性可以被用于解析范圍，如下文進(jìn)一步詳述的。

圖21A至圖21D圖示了陣列2115上的圖案面積和伴隨的空間調(diào)制的豐富性是焦點(diǎn)的函數(shù)的一般點(diǎn)，焦點(diǎn)越不活躍，面積越大并且解析空間調(diào)制越好。比圖21A的點(diǎn)源2125更遠(yuǎn)離透鏡2105的點(diǎn)源產(chǎn)生與其遠(yuǎn)離(或朝向)透鏡2105移動的陣列上的更大的PSF。

針對離焦點(diǎn)源的PSF是來自光柵2110的定向啁啾的縮放版本，其中定向啁啾的直徑與點(diǎn)源的散焦成正比。因此，傳感器平面(陣列2115的表面)處的觀察將是聚焦和離焦成像點(diǎn)，每個與取決于從該點(diǎn)所接收、根據(jù)離焦參數(shù)縮放并且與來自其他成像點(diǎn)的類似貢獻(xiàn)空間地疊加的光線束的位置的啁啾相位處的定向啁啾卷積。照相機(jī)2100可以恢復(fù)離焦對象的相對高的分辨率圖像，因?yàn)樵摼矸e對于大部分共同圖像采集情況而言是計(jì)算上不可逆的。在該上下文中，“計(jì)算上不可逆的”意味著圖像數(shù)據(jù)可以使用例如可逆的、偽可逆和壓縮感測變換恢復(fù)到指定的精確度。PSF是計(jì)算上不可逆的，例如，如果其2D傅里葉變換是“完整的”或者具有以指定分辨率恢復(fù)圖像所要求的所有空間頻率處的基本上的幅度。

并非所有螺旋PSF是完整的。例如，阿基米德螺線具有規(guī)則地間隔的臂，其傅里葉變換具有臂間周期的倒數(shù)處的峰和這些峰之間的空值。相比之下，圖19的螺旋PSF 1930具有通過所有定向銳利地限制并且掃描的很少不均勻的間隔臂，因此其具有所有空間頻率處的顯著的傅里葉功率并且是完整的。由于該完整性，準(zhǔn)確的重疊合法是相對狀態(tài)良好的，因此取消PSF的效果是相對直接的。不管是在傅里葉域中還是在空間域中執(zhí)行計(jì)算，如果PSF的傅里葉變換不具有零，則重疊合法很好地工作。在點(diǎn)源引起不與螺線同軸的模糊斑點(diǎn)2160的情況下，所得的PSF將包含PSF的空間包裹版本。空間包裹螺線基本上不影響其完整性。

在首先不需要聚焦的情況下，照相機(jī)2100可以測量來自光電檢測器陣列2115的光強(qiáng)度(但是一些實(shí)施例可以手動或自動地聚焦)。由陣列2115采集的數(shù)據(jù)包括具有隨著深度變化的傅里葉分量強(qiáng)度的定向啁啾(參見圖21B-圖21D)。局部觀察的傅里葉變換將是成像對象的傅里葉變換和定向啁啾的深度相關(guān)傅里葉變換的積。通過搜索針對最佳匹配針對每個成像點(diǎn)的該積的特定深度的內(nèi)核，可以確定場景深度，假定場景具有某個紋理，如下文所詳述的。

局部場景分片x的深度d可以通過貝葉斯估計(jì)從讀數(shù)y推斷如下。首先，每個深度的似然性p(y|d)可以通過基于y的傅里葉變換是x的傅里葉變換和深度相關(guān)PSF的積的知識并且利用照相對象的典型的功率譜的知識的另一貝葉斯估計(jì)計(jì)算。然后，該似然性p(y|d)由場景中的深度和深度改變的已知分布上的貝葉斯先驗(yàn)加權(quán)以到達(dá)針對場景中的每個點(diǎn)處的深度的p(d|x)的事后機(jī)率?；谏疃群蜕疃雀淖兿闰?yàn)的場景的深度圖的貝葉斯估計(jì)以及與對應(yīng)的確定性相關(guān)聯(lián)的深度的點(diǎn)向估計(jì)(由似然性p(y|d)中的峰的高度所指示的)是本領(lǐng)域的技術(shù)人員已知的技術(shù)，并且將不在此處進(jìn)一步討論。在本申請中，真實(shí)的深度圖的知識對于針對與PSF的傅里葉變換交互的空間頻率中的顯著的傅里葉功率的那些圖像精確地準(zhǔn)確的圖像恢復(fù)(不久地將被描述)是重要的。因此，準(zhǔn)確的深度圖在場景具有精細(xì)紋理處并且在場景分片缺少與PSF的該紋理卷積不使場景中的圖像質(zhì)量退化處是可能的。

然后，在圖像空間或傅里葉域中將傅里葉變換去卷積；問題尺度將指示這些中的哪一個是更快的。還可以使去卷積內(nèi)核隨著針對韋納最佳重建的光強(qiáng)度變化(雖然人類傾向于偏好過度銳利的圖像；該銳利過濾器可以包含有去卷積濾波器來節(jié)省附加的步驟)。

選擇跟隨有去卷積的正確濾波器的結(jié)果是深度圖和原始圖像的重建。如果定向啁啾是傅里葉完整的，則重建圖像可以將相同數(shù)目的像素解析為陣列2115。這是不同的最全光照相機(jī)，并且通過每個像素讀數(shù)對去卷積問題貢獻(xiàn)有用的信息的事實(shí)可能的。在其中PSF的高頻率分量是小的情況下，處理器2120可以使最高的空間頻率平滑以避免添加太多噪聲。在低光條件中，照相機(jī)2100可以失去例如歸因于該效果的解析像素中的兩倍；這表示對現(xiàn)有全光照相機(jī)上的改進(jìn)，其像素效率可以與4％一樣低。對于根據(jù)實(shí)施例的很好形成的定向螺旋和一般成像條件，具有多達(dá)六個光電檢測器間距的中瓣直徑的PSF應(yīng)當(dāng)不可逆來恢復(fù)具有多達(dá)至少0.25周圍每光電檢測器的空間頻率的圖像特征(奈奎斯特頻率是光電檢測器陣列的主要維度中的0.5周期每光電檢測器間距)。這樣的性能部分取決于具有相關(guān)空間頻率處的足夠的調(diào)制傳遞函數(shù)的透鏡元件。

圖22是利用三個PSF 2205、2210和2215照射的像素2200陣列的一部分的平面圖。PSF 2205是表示銳利地聚焦點(diǎn)源的定向啁啾；給定陣列2200的間距，不能解析照明子結(jié)構(gòu)。如果給定場景的所有點(diǎn)聚焦，則圖像分辨率主要是陣列間距或衍射有線斑點(diǎn)的陣列間距和直徑的函數(shù)。

PSF 2210是表示不佳地聚焦點(diǎn)源的定向啁啾；空間調(diào)制表現(xiàn)為可以由陣列2200解析以定位圖像中的對應(yīng)的點(diǎn)源的計(jì)算上豐富的PSF的旋臂。最后，PSF 2215表示其焦點(diǎn)在PSF 2205與2215中的那些之間的點(diǎn)源；空間調(diào)制可以再次解析以定位圖像中的對應(yīng)的點(diǎn)源。

對于PSF 2210和2215二者而言，圖像的分辨率由PSF螺線的臂之間的分離的較大的間距和間隔限制。在該圖示中，三個點(diǎn)源容易地定位在陣列2200的兩個維度中。而且，三個PSF的三個不同的圖案區(qū)域提供與陣列2200垂直的維度中的距離的測量。因此，像圖21A-D的照相機(jī)2100的照相機(jī)可以提供場的延伸深度、對于離焦對象的聚焦圖像和來自圖像數(shù)據(jù)的距離的測量。

圖23描繪了圖示根據(jù)一些實(shí)施例的照相機(jī)可以如何補(bǔ)償包括球面像差、彗形像差和Petzval場曲率的透鏡像差的三個螺旋2300、2305和2310。這樣的補(bǔ)償可以簡化主要透鏡設(shè)計(jì)并且允許在不犧牲圖像質(zhì)量的情況下孔徑中的增加。

球面像差是其中透鏡的給定環(huán)體的焦距隨著環(huán)體的半徑線性地變化的條件。在圖21的配置中，該條件可以影響陣列上的定向啁啾的形狀。圖23的PSF 2300是假設(shè)的理想的啁啾，完美透鏡的結(jié)果。PSF 2305示出了可以起因于具有球面像差的透鏡的啁啾失真的類型。與PSF 2300相比較，PSF 2305具有在中心附近的相對線性臂。只要定向啁啾是完整的(不可逆以恢復(fù)圖像數(shù)據(jù))，將不使成像性能退化。即使不完整，如果定向啁啾足夠地不可逆以將圖像恢復(fù)到期望的分辨率，則成像性能可以可接受的。

如果穿過集中在透鏡上的不同的環(huán)體的光形成其中心隨著環(huán)體半徑變化的圖像傳感器上的環(huán)體，則透鏡具有彗形像差。如在PSF 2310中所示，彗形像差產(chǎn)生伸長并且失真、但是完整的螺線。Petzval場曲率是其中透鏡的焦平面不是平面的像差。與球面像差一樣，如果定向啁啾是足夠完整的，則可以取消彗形像差、Petzval場曲率和其他像差。

在一些實(shí)施例中，透鏡像差可以是有益的。對圖像平面的一側(cè)的PSF離焦可以覆蓋于圖像平面的另一側(cè)的PSF離焦相同大小的圖案區(qū)域。如果兩個這樣的PSF是相同的，那么照相機(jī)可能不能夠在他們之間進(jìn)行區(qū)分。透鏡像差可以使這樣的PSF可區(qū)分的，然而，諸如通過產(chǎn)生相反的非對稱性，并且可以因此允許根據(jù)一些實(shí)施例的照相機(jī)更好地區(qū)分沿著如射軸線的點(diǎn)源。

圖24描繪了圖示根據(jù)一些實(shí)施例的相位光柵的各方面的棋盤格光學(xué)元件2400。元件2400利用子元件2405的螺旋整體2410棋盤格——被描繪為曲線界限——其是跨越棋盤格邊界接近的(六邊形邊界用于圖示，并且在該示例中不表示物理結(jié)構(gòu))。對每個整體的子元件進(jìn)行布置，使得由來自點(diǎn)源的元件2400覆蓋并且穿過整體2410之一的光形成具有代表整體的空間調(diào)制的PSF。在一個方面中，棋盤格光學(xué)元件還覆蓋什么將否則將傳感器陣列作為模糊PSF穿透到當(dāng)具有與假設(shè)PSF類似大小時(shí)包含高頻率子結(jié)構(gòu)的PSF。

暫時(shí)返回到圖21D的示例，模糊斑點(diǎn)PSF 2160被假定為集中在螺旋特征的整體上以產(chǎn)生螺旋PSF 2165。這在某種程度上是特殊情況。然而在一般位置中，在與照相機(jī)相同距離處的點(diǎn)源將具有包含從相鄰整體采集的至少一個整體2410的所有子元件2405的PSF，以及其中的一些空間地包裹。在圖24的示例中，PSF輪廓2415表示關(guān)于子光柵2410偏離中心的中瓣的區(qū)域，但是盡管如此覆蓋足夠的光柵特征2405以產(chǎn)生不可逆的定向啁啾。一般而言，有益的是，整體2410之間的空間特征的包裹基本上不更改結(jié)果定向啁啾的傅里葉變換的分量的幅度?？梢匝刂噜彽恼w的路徑掃描涵蓋整體2410之一的足夠的區(qū)域的像輪廓2415的圓形，同時(shí)對于沿著掃描路徑的所有中間圓形位置而言，掃描圓形包含被布置在包含在路徑的開始處的圓形中的所有定向處的光學(xué)子元件(例如，所有位置產(chǎn)生類似的光譜，但是具有偏移的相位)。

圖25描繪了由圖24的光柵2400產(chǎn)生的定向啁啾內(nèi)的空間調(diào)制的豐富圖案如何促進(jìn)離焦PSF的經(jīng)改進(jìn)的分辨率。如在其他示例中，每個元件名字的前面(一個或多個)數(shù)字指示其中引入元件的圖形。使用該協(xié)定，元件24##和25##指代相應(yīng)地在圖24和圖25中所描繪的特征。

在圖25的頂行中，來自點(diǎn)源2500的光線穿過透鏡(未示出)并且到右如模糊的PSF 2510的輪廓2415涵蓋的區(qū)域2505的圖像24的棋盤格光柵2400上。光柵創(chuàng)建定向啁啾2515，其包括作為輪廓2415的區(qū)域內(nèi)的子元件2405的結(jié)果的空間調(diào)制的豐富集合。啁啾2515不是螺旋的，因?yàn)镻SF 2510未集中在整體上(啁啾2515的圖案被示出匹配PSF輪廓2415內(nèi)的子元件2405的圖案)。然而，啁啾2515的空間調(diào)制是足夠的，該啁啾2515是不可逆的。

圖25的第二行與第一行類似，但是包括來自照射重疊區(qū)域2525以產(chǎn)生一對重疊的模糊的PSF 2530的相鄰點(diǎn)源2520的光線。光柵創(chuàng)建可辨別的一對定向啁啾2535和2540，其位置可以計(jì)算上反轉(zhuǎn)為比可以彌散的PSF 2530更高的分辨率。分離地示出給右邊的啁啾2535和2540相互相位不同，因?yàn)槊總€PSF 2530侵犯光柵的稍微不同的區(qū)域。

圖25的第三行示出了照射具有重疊的模糊的PSF 2550的光柵的區(qū)域2545的九個點(diǎn)源2542的棋盤格，并且結(jié)果的九個定向啁啾共同地標(biāo)記2555。如在最后的示例中，可以以比使用PSF 2550完成大得多的精度解析對應(yīng)于定向啁啾2555的點(diǎn)源的位置。

圖26A和圖26B描繪了根據(jù)一些實(shí)施例的棋盤格光柵2600和2605。使用高特征與低特征之間的界限描繪光柵2600，然而光柵2605相應(yīng)地以黑色和白色描繪了高特征和低特征。

圖27A和圖27B描繪了根據(jù)一些實(shí)施例的棋盤格光柵2700和2705。使用高特征與低特征之間的界限描繪光柵2700，然而光柵2705相應(yīng)地以黑色和白色描繪了高特征和低特征。

圖28描繪了根據(jù)一個實(shí)施例的棋盤格光柵2800。光柵2800以相應(yīng)地黑色和白色描繪了相對高和低特征。

圖29描繪了根據(jù)另一實(shí)施例的棋盤格光柵2900。光柵2900以相應(yīng)地黑色和白色描繪了相對高和低特征。

圖30描繪了根據(jù)一些實(shí)施例可以被用于使用圖21A-圖21D中詳述的類型的照相機(jī)產(chǎn)生顏色圖像的濾波器陣列3000。濾波器陣列3000包括四個顏色濾波器，紅色濾波器3005、兩個綠色濾波器3010和3015和藍(lán)色濾波器3020。每個濾波器與什么相當(dāng)于像充當(dāng)針對總體照相機(jī)的四個顏色通道之一的圖21A的照相機(jī)2100的照相機(jī)的實(shí)例相關(guān)聯(lián)。對于像照相機(jī)2100的每個照相機(jī)而言，感興趣的波長帶限于由光學(xué)路徑中的顏色濾波器傳遞的波長。

圖31描繪了顏色通道3100(結(jié)合圖30引入的實(shí)施例的四個顏色通道之一)。通道3100與圖21A-D的照相機(jī)2100類似，因此省略了詳細(xì)討論。簡單地，通道3100包括顏色濾波器，其光學(xué)特性應(yīng)當(dāng)被調(diào)諧用于由顏色濾波器、光柵3110和光電檢測器陣列3115準(zhǔn)許的光頻率的透鏡3105。圖30的紅色濾波器3005被插入在光學(xué)路徑中的某個地方并且覆蓋整個視場(在該情況中在透鏡3105與光柵3110之間)。通道3100的特性(諸如透鏡3105的焦距、光柵3110與陣列3115之間的間距X、光柵3110的空間頻率范圍、光柵特征的深度和光柵3110的組成和光柵子元件的幾何形狀)可以被優(yōu)化用于所選擇的顏色。圖像處理器(未示出)可以將由顏色通道采集的信息組合來恢復(fù)顏色圖像。

顏色通道可以具有不同的焦距的固定透鏡或者可以具有相同透鏡但是透鏡與光柵之間的不同的間距。在具有不同的焦距的多個通道的照相機(jī)中，呈現(xiàn)最銳利的焦點(diǎn)的(一個或多個)通道可以被用于采集高分辨率場景信息，同時(shí)其他相對地散焦通道可以提供顏色信息。將相對低分辨率顏色信息“噴涂”在高分辨率圖像上的技術(shù)對于本領(lǐng)域的技術(shù)人員而言是眾所周知的。

無論對于相同還是不同的感興趣的波長帶而言，具有多個通道的照相機(jī)提供可以與從定向啁啾導(dǎo)出的其他信息組合來制造場景的深度圖的視差的度量。還有利地，來自多個通道的信息可以被用于消除在其中對象展示欺騙性結(jié)構(gòu)的情況下的深度的歧義。例如，具有聚焦螺旋圖案的場景可以看起來散焦到螺旋整體。在這樣的情況下，對一個或多個附加通道的交叉檢查可以通過選擇哪個“現(xiàn)實(shí)”與由不同的通道提供的圖像數(shù)據(jù)最一致解析二義性。

一些成像應(yīng)用(諸如視頻監(jiān)控)浪費(fèi)相當(dāng)大的功率和監(jiān)測未改變的場景的存儲器資源。為了解決該問題，一些照相機(jī)支持其中圖像傳感器的空間和時(shí)間分辨率劇烈地降低的低功率模式。感測較少的像素，并且較不頻繁地節(jié)省傳感器處的功率，并且相對少量的數(shù)據(jù)節(jié)省圖像處理和傳輸功率。在低功率模式中采集的圖像數(shù)據(jù)被用于檢測改變，并且所檢測的改變可以觸發(fā)照相機(jī)切換到支持高得多的空間和時(shí)間分辨率的高性能模式。

圖32描繪了支持太高效以致于其使用(可選地)集成光電池供電的低功率模式的圖像改變探測器3200。檢測器3200可以實(shí)例化在單個半導(dǎo)體管芯上，并且在該實(shí)施例中包括具有重疊的光柵1700的光電檢測器陣列3205、將模擬信息從陣列3205轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)的模擬數(shù)字轉(zhuǎn)換器(ADC)3210、處理、存儲和傳遞數(shù)字信號的邏輯和存儲器3215和對其他元件中的每一個供電的光電池3220。無論實(shí)現(xiàn)在單個管芯還是多個管芯上，可以不透明地封裝檢測器3200，以及透射性窗口覆蓋光柵1700(和可選的光電池)的位置。

檢測器3200支持感測場景活動中的改變的低分辨率低功率模式和采集響應(yīng)于所檢測的運(yùn)動的較高的分辨率圖像數(shù)據(jù)的一個或多個幀的高分辨率模式。雖然邏輯和存儲器3215可以支持改變檢測和成像功能，但是一些實(shí)施方式可以具有與成像不同的主要功能，以及改變檢測將輸入提供給芯片來添加態(tài)勢感知。在這樣的情況中，光電檢測器陣列3205包含足夠的元件以產(chǎn)生較高的分辨率圖像可能不是必要的。

圖33將圖32的陣列3205描繪為像素300的陣列。八個非相鄰的像素3300變暗以指示在低功率模式中有效的子集。因?yàn)槠淇梢猿霈F(xiàn)在傳感器平面處，所以定向啁啾3305表示來自示例性成像點(diǎn)源的銳利地聚焦響應(yīng)。

常規(guī)圖像傳感器將點(diǎn)源解析為傳感器陣列上的聚焦“點(diǎn)”。如果照相機(jī)將檢測非常小的運(yùn)動，則甚至在低功率模式中必須維持有效像素的豐富集合。想象例如點(diǎn)源被解析為陣列3205上的銳利或模糊點(diǎn)，使得僅照射相鄰像素之一或集合。在該情況下，點(diǎn)源可以在沒有檢測的情況下相對于傳感器相當(dāng)大地移動。在最壞的情況下，點(diǎn)可以在沒有檢測的情況下在有效像素3300與封閉陣列3205之間移動。

啁啾3305(由點(diǎn)源造成的照明的結(jié)果)包括改變照射比將解析斑點(diǎn)的包括非相鄰那些的更多像素的光強(qiáng)度的“臂”，并且當(dāng)點(diǎn)源相對于傳感器移動時(shí)跨越許多像素3300掃描。因此，較小的像素3300需要輪詢以覆蓋比具有采用傳統(tǒng)聚焦光學(xué)元件的系統(tǒng)的視場。在該示例中，在X-Y方面內(nèi)的任何方向上移動啁啾3305一個像素或兩個的點(diǎn)源的運(yùn)動將影響有效像素3300中的至少一個，并且可以因此感測。感測可以包含來自不同的時(shí)間點(diǎn)處的光電二極管的相同子集的信號的模擬-數(shù)字轉(zhuǎn)換。在其他實(shí)施例中，模擬采樣和保持電路和比較器可以被用于成像視場中的信號改變。取決于應(yīng)用，這樣的感測運(yùn)動可以是感興趣的信息或可以被用于使低功率模式當(dāng)中的檢測器3200采取和存儲相對高分辨率數(shù)據(jù)的一個或多個幀。

一些實(shí)施例支持附加的操作模式或“階段”。在一個實(shí)施例中，例如，邏輯和存儲器3215支持三狀態(tài)機(jī)，其包括警戒階段、試驗(yàn)階段和確認(rèn)階段。在警戒階段中，監(jiān)測n1個像素并且如果這些像素中的k1(<n1)改變連續(xù)的圖像幀之間的準(zhǔn)則值θ₁，那么狀態(tài)機(jī)轉(zhuǎn)換到試驗(yàn)階段。在試驗(yàn)階段中，監(jiān)測n2個像素并且如果這些中的k2(<n2)改變連續(xù)幀之間的準(zhǔn)則值θ₂，那么狀態(tài)機(jī)轉(zhuǎn)換到狀態(tài)3，否則系統(tǒng)恢復(fù)到狀態(tài)1。如果系統(tǒng)處于狀態(tài)3，則監(jiān)測n3個像素并且如果這些像素中的k3(<n3)改變連續(xù)幀之間的準(zhǔn)則值θ₃，那么狀態(tài)機(jī)發(fā)射表示所檢測的圖像改變的信號并且保持處于狀態(tài)3，否則系統(tǒng)轉(zhuǎn)換到狀態(tài)2。

該系統(tǒng)的一個益處在于，由于光柵光學(xué)元件，因而每個光電檢測器像素隊(duì)視場中的位置的范圍作出反應(yīng)；因此需要監(jiān)測的像素的數(shù)目比在傳統(tǒng)的基于透鏡的系統(tǒng)中更低(耗散較低的功率)，其中每個像素對視場中的位置中的非常小范圍作出反應(yīng)。電路分析示出一些ADC實(shí)施例可以獲得亞400nW圖像改變檢測，以及ADC 3210所要求的功率占主導(dǎo)。針對支持降低的功耗的像素的輪詢子集的地址發(fā)生器電路對本領(lǐng)域的技術(shù)人員而言是眾所周知的，因此省略詳細(xì)討論。

光電池3220提供足夠的功率來支持環(huán)境光中的低功率模式，以及額外足夠?qū)δ軌蛑С指咝阅苣Ｊ街械氖褂玫耐话l(fā)的集成或外部能量存儲設(shè)備進(jìn)行充電。在一些實(shí)施例中，檢測器3200包括分離或集成RFID芯片和相關(guān)聯(lián)的天線以允許圖像數(shù)據(jù)無線地檢索。檢測器3200可以支持其他形式的有線或無線連接，如由本領(lǐng)域的技術(shù)人員將理解的。在題為“Ultra-Miniature Low-Power Lensless Image Change Detector”的伴隨文檔中詳述具有光柵1700的陣列3205的示例，其通過引用并入本文。

可以使用標(biāo)準(zhǔn)CMOS過程創(chuàng)建陣列3205和光柵1700，并且其形成因此與任何數(shù)目的功能塊相容。實(shí)際上，能通過包括成像設(shè)備獲益的任何集成電路可以適于包括一個功能塊。例如，被稱為“智能微塵”的技術(shù)描述了其中許多微機(jī)電系統(tǒng)(MEMS)可以在分布式無線計(jì)算機(jī)網(wǎng)絡(luò)上操作來共同地執(zhí)行各種感測和通信任務(wù)的系統(tǒng)。智能微塵設(shè)備可以在一側(cè)是大約幾毫米，其容易地足以包含本文詳述的類型的傳感器。在一個實(shí)施例中，例如，發(fā)明人創(chuàng)建在一側(cè)是200微米的128x128像素傳感器。本文詳述的類型的圖像傳感器可以集成如此便宜以致于其可以包含到信用卡中或出于安全性目的的其他形式的標(biāo)識或促進(jìn)微型機(jī)器人領(lǐng)域中的視覺系統(tǒng)。

圖34描繪了具有重疊或懸浮在光電傳感器3415(例如，光電二極管)的一維陣列3410上的光柵3405的圖像傳感器3400。光柵3405展示PSR，其展開圖像特征來照明跨越底層像素的圖案。光柵3405具有平行奇對稱界限3420，并且可以具有相同或不同帶寬或沿著一個或多個界限的不同的帶寬的特征3425——垂直帶。在一個實(shí)施例中，光柵3405具有垂直帶的三個集合的集合，每個帶被優(yōu)化用于可見光波長的不同帶(相應(yīng)地短、中和長波長光)。具有采用足夠數(shù)目的空間頻率的寬度和間距的必須多樣性的平行界限可以對一維圖像(例如，條形碼)進(jìn)行成像或可以跟蹤水平維度X上的對象或光柵的相對運(yùn)動。

傳感器3400提取沿著水平軸X的信息。處理器(未示出)可以使用具有Tikhonov正則化的脊回歸和閾值化恢復(fù)圖像來處理由陣列3410采集的圖案。像素3415的縱橫比傾向于沿著垂直線平均強(qiáng)度，其改進(jìn)信噪比。在條形碼的情況下，結(jié)果圖像可以用作對用于條形碼的讀數(shù)的傳統(tǒng)過程的輸入，其可以由處理器或在其他地方執(zhí)行。

傳感器3400可以適于紅外(IR)圖像檢測。在IR透鏡(例如，單晶質(zhì)鍺)的制造中使用的材料相對于針對可見光的那個一般地是昂貴的，并且IR透鏡的成本傾向于隨著其線性大小的立方進(jìn)行縮放。因此，使IR傳感器小來將成本降低到實(shí)際的水平。小大小指示具有高尺寸精度比例的小熱傳感器。僅存在能夠給定一側(cè)的熱波長(大約10μm)的縮放的像素中的好的室溫?zé)嵝阅艿膸讉€材料和技術(shù)。高質(zhì)量真空密封熱換能器是當(dāng)前工業(yè)標(biāo)準(zhǔn)，因?yàn)槠涮峁┻m當(dāng)?shù)拇笮√幍淖銐虻男阅堋Ｈ欢?，這樣的換能器是過分地昂貴的。傳感器3400消除對于分離的透鏡的需要，并且劇烈地降低IR透射性材料的大小和體積。便宜的熱光學(xué)元件慮及具有相對較大的區(qū)域的傳感器，因此在不過度地折衷性能的情況下可以使熱準(zhǔn)確度每單位面積相當(dāng)?shù)馗偷?。因此，可以使用較大的不太昂貴的熱換能器。

圖35是可以被用于IR照相機(jī)的服務(wù)中的圖像34的陣列3400的1D陣列3505-熱輻射測定器的兩個像素3500的剖視圖。每個像素3500包括經(jīng)由一對點(diǎn)接觸3520懸浮在反射器3515上的IR吸收材料3510的條帶(僅示出一個接觸3520)。元件被安裝在例如硅的襯底3525上。每個條帶3510展示隨著對附近IR輻射的曝光變化的其相應(yīng)接觸3520之間的電阻?？梢园ǚ瓷淦?515以通過向材料3510向上反射回IR光改進(jìn)敏感性。電路周期性地讀取針對材料3510的每個條帶的電阻值以形成陣列3505暴露于的圖案的一維圖像。

條帶3510與反射器3505、重疊光柵(例如，圖34的光柵3405)和用于熱隔離的相關(guān)電路相互分離。在一些實(shí)施例中，傳感器3400密封并且要么撤出要么空氣利用具有較低的熱導(dǎo)率的氣體替換。

條帶3510是大約幾十微米寬?？梢允蛊淇v橫比高(例如，至少10：1)。具有高縱橫比的條帶傾向于沿著其長度平均強(qiáng)度，其增加信噪比并且使接觸3510的導(dǎo)熱性遭受降低的影響。而且，光柵相對于常規(guī)IR透鏡的重要的相對低的成本意味著可以使聚焦光學(xué)元件和傳感器二者相當(dāng)?shù)馗蟛⑶覍τ诮o定價(jià)格點(diǎn)更靈敏。與光子檢測器相反，條帶3500是熱的并且可以是例如熱敏電阻、熱電偶或電阻性熱設(shè)備；有利地，這些設(shè)備提供比光電二極管或光伏檢測器更低頻率的光譜范圍。在一些實(shí)施例中，例如，條帶3510具有超過五微米的室溫光譜范圍(例如，在五微米與二十微米之間)?？梢允褂迷贔lemming等人的美國專利號8,709,702中詳述的微制造技術(shù)做出適合的檢測器，其通過引用并入本文。

在一個示例中，熱輻射測定器像素是大約一厘米長。這樣的像素可以使用體相過程(諸如噴墨印刷、LCD制造技術(shù)或卷對卷打印)制造來降低或最小化制造成本。像素3415的間距可以是例如50μm，這產(chǎn)生沿著垂直于像素的維度的大約200熱測量結(jié)果每cm(例如，在圖34中的X軸)。在其他實(shí)施例中，熱輻射測定器像素被布置在1D光柵下面的2D陣列中。在這樣的情況下，可以沿著垂直于針對經(jīng)改進(jìn)的信噪比的1D光柵的像素列平均圖像強(qiáng)度。然而，在其他實(shí)施例中，光柵和傳感器二者可以是產(chǎn)生1D或2D圖像的2D。在其他實(shí)施例中，像素可以具有例如熱電或鐵電材料，或者可以包括產(chǎn)生獨(dú)立的測量結(jié)果的不同的類型的材料。

許多熱感測應(yīng)用不要求全熱視頻——其僅需要測量在何處移動的溫暖身體在場景中。例如，運(yùn)動檢測器被用于例如接通或關(guān)斷照明或者加熱或者提供入侵者警報(bào)。不像其中照明改變的可見場景那樣，移動陰影等可以引起對固定對象的照度的大的改變，固定熱身體(具有高發(fā)射性的至少一個)將不非常迅速地改變其熱發(fā)射。例如，對比在30fps視頻中的場景周圍的背景移動溫暖10K的手部進(jìn)行比較。由手部運(yùn)動影響的場景像素的熱時(shí)間倒數(shù)多達(dá)300K/s；比除可能燃燒的開始外的任何家用的加熱過程快得多。

圖36圖示了被布置在相對于場景的不同的定向處的多個1D傳感器可以如何被用于定位稀少的移動的熱物體。一般而言，熱場景由不同的定向處的N個一維熱傳感器的集合采樣(通常地在π/N弧度的定向增量處，但是參見下文)。

在圖36中，熱場景3600由四個一維傳感器(未示出)測量，其中的每一個具有1x 77個像素的分辨率。每個線性陣列測量熱場景的1D投影。四個繪圖3605、3610、3615和3620表示這些投影和場景周圍的相應(yīng)傳感器的相對定向。例如，繪圖3605表示從上到下的感興趣的IR帶寬的場景3600的水平平均強(qiáng)度；并且繪圖3615表示從左到右的相同帶上的場景3600的平均強(qiáng)度。特征3630和3635示出了沿著歸因于相對溫暖的貓和蠟燭的水平軸的相對高強(qiáng)度。使用相對于水平近似45度定向的1D傳感器取得的繪圖3610不在貓與蠟燭之間進(jìn)行區(qū)分。

隨著熱對象移動，來自傳感器中的每一個傳感器的圖像偽影跟蹤生成他們的對象。因此，從多個1D照相機(jī)取得的圖像可以組合以解析2D圖像，以及更多傳感器產(chǎn)生更多信息和更好的分辨率。在一些實(shí)施例中，(一個或多個)傳感器可以旋轉(zhuǎn)以采集不同的角處的數(shù)據(jù)，并且該數(shù)據(jù)也可以被用于解析2D場景。在圖36中，右上繪圖3625是對于問題“what sparse combination of locations seems to have thermal motion？”的基追蹤去噪方案。場景3600是來自其中貓正移動的視頻的幀，并且繪圖3635中的亮斑一般地代表該運(yùn)動。

為了計(jì)算在何處存在來自僅幾個一維投影的熱運(yùn)動源，我們解決欠定層析技術(shù)問題。如果熱場景是N x N并且存在四個傳感器，那么存在擬合N²個未知的可用的4N個測量結(jié)果，并且一般而言存在各自完美地?cái)M合數(shù)據(jù)的方案的(N-4)N維空間。我們使用一個或多個附加約束條件來從擬合數(shù)據(jù)的該子空間當(dāng)中選擇“正確的”方案。

如果我們期望僅場景中的幾個位置使其溫度從最后的采集劇烈地改變到下一個，那么我們可以使用該稀疏性找到熱改變的最可能的集合。為此，我們可以利用N²個未知和4N個觀察解決基追蹤去噪(BPDN)問題?？梢酝ㄟ^在P.R.Gill,A.Wang和A.Molnar“The In-Crowd Algorithm for Fast Basis Pursuit Denoising”IEEE TRANSACTIONS ON SIGNAL PROCESSING,第59卷,第10號,2011年10月(第4595-4605頁)中詳述的In-Crowd算法解決該縮放的BPDN問題，其通過引用并入本文。BPDN還提供信號的噪聲移除——我們查明5％的噪聲水平是相當(dāng)可接受的并且不定性地影響熱運(yùn)動定位。小現(xiàn)代移動圖形處理器可以以視頻速率執(zhí)行該計(jì)算。變型可以利用Radon變換進(jìn)一步加速問題。對圖像重建的另一約束條件是時(shí)間連續(xù)性。多幀創(chuàng)建(將例如Kalman過濾使用在時(shí)間域和空間域中)一般地通過對噪聲進(jìn)行平均改進(jìn)這樣的情況中的估計(jì)。

標(biāo)準(zhǔn)熱成像上的熱運(yùn)動定位的一個優(yōu)點(diǎn)在于，熱傳感器傾向于對他們的某種程度的時(shí)間漂移，并且因此要求周期性非均勻性校正(NUC)。由于本申請對于信號的時(shí)間導(dǎo)數(shù)靈敏，因而熱非均勻性是不太有害的并且校正非均勻性可以整個降低或避免。

利用足夠的定向處的足夠的1D信息，熱場景自身和不僅其時(shí)間導(dǎo)數(shù)可以通過反Radon變換(也被稱為濾過反向投影)重建。甚至在沒有工作的傳統(tǒng)技術(shù)(諸如濾過反向投影)的足夠的1D信息的情況下，關(guān)于欠定層析技術(shù)問題的總變型或TV規(guī)范最小化利用計(jì)算上易處理的算法恢復(fù)場景信息。在S.Hashemi,S.Beheshti,P.Gill,N.Paul和R.Cobbold“Efficient Low Dose X-ray CT Reconstruction through Sparsity-Based MAP Modeling”(2014年2月8日)中詳述了一個這樣的算法，其在http://arxiv.org/abs/1402.1801處是可用的。Hashemi等人的該參考文獻(xiàn)通過引用并入本文。對于迅速地運(yùn)行的一些高級反演技術(shù)而言，將角定向與偽極性組斜率間隔可以是有利的，因?yàn)楫?dāng)生成矩形陣列作為最終圖像時(shí)，該間距方案可以導(dǎo)致較少的重建偽影。

本文詳述的類型的1D成像設(shè)備可以被用于使用雙目差異對熱源進(jìn)行排列。在該情況下，具有由其敏感性的方向上的某個數(shù)量分離的兩個或兩個以上1D傳感器的系統(tǒng)基于由兩個傳感器采集的圖案之間的差異，采集關(guān)于熱源的深度的信息。

圖37描繪了包括結(jié)合圖34和圖35上文詳述的類型的八個1D傳感器3400以及提供成像場景的獨(dú)立測量結(jié)果的22.5度的角間距的照相機(jī)3700。包括可見光照相機(jī)3705，使得由傳感器3400所觀察的熱改變可以與可見光圖像配準(zhǔn)。照相機(jī)3700包括：讀電路3710，其被耦合到傳感器3400的集合以讀取代表其相應(yīng)的所采集的1D圖像的信號；和處理器3715，其解譯來自讀電路3710的信號以產(chǎn)生代表成像場景的期望的輸出信號。

解譯其采集的圖案使用的圖像傳感器和算法可以被裁制以執(zhí)行特定圖像采集任務(wù)?？梢院喕渲衅浔黄谕哂泄餐匦缘乃惴?。在條形碼的情況下，例如，二進(jìn)制強(qiáng)度的假定可以被用于簡化將采集的圖案轉(zhuǎn)換以恢復(fù)代碼的過程。數(shù)據(jù)的其他光學(xué)機(jī)器可讀表示可以具有不同的期望特性。

圖38A和38B是詳述如何使用圖17的光柵1700采集和解析QR代碼3805的流程圖3800和假定二進(jìn)制圖像的反演算法的實(shí)施例。第一，在步驟3810中，QR代碼3805操作地被定位在圖像傳感器附近，使得光柵1700可以根據(jù)QR代碼調(diào)制所接收的光場并且底層的傳感器陣列可以采集強(qiáng)度圖案3815，其包括結(jié)果響應(yīng)和來自例如傳感器陣列的任何噪聲二者。圖案3815承載對QR代碼3805的很少相似點(diǎn)但是當(dāng)與光柵1700的響應(yīng)1930組合時(shí)包含足夠的信息來恢復(fù)代碼。

上文結(jié)合圖19詳述了響應(yīng)1930。在該討論中還注意由圖案3815所表示的響應(yīng)和噪聲與響應(yīng)1930組合以形成反演問題，其被解決(1925)以恢復(fù)原始QR代碼的噪聲、灰度版本3820。該示例基于低分辨率校準(zhǔn)和相對于圖19的示例的增加的噪聲以基于例如二進(jìn)制圖像的假定圖示正則化的益處。

一般而言，正則化過程引入附加信息來降低噪聲、解決不適定的問題或防止過度擬合。在該示例中，為了恢復(fù)原始QR代碼，反轉(zhuǎn)過程考慮QR代碼的二進(jìn)制特性。例如，閾值可以應(yīng)用到灰度圖像3820的數(shù)據(jù)，以及過程相應(yīng)地將像素設(shè)置在閾值以下和以上到暗和亮。其他實(shí)施例利用針對正則化的期望場景的其他已知特性來改進(jìn)圖像識別。

然后，響應(yīng)1930可以被用于反轉(zhuǎn)結(jié)果圖像。將該反轉(zhuǎn)的結(jié)果與圖案3815相比較來確定擬合?？煺請D像的單獨(dú)像素然后以隨機(jī)和反轉(zhuǎn)來反轉(zhuǎn)并且重復(fù)比較步驟來確定改變是否改進(jìn)或退化擬合。可以重復(fù)這些步驟直到圖案集中到最佳擬合。更一般地，諸如模擬降溫和遺傳算法的技術(shù)可以被用于找到其對應(yīng)的期望信號最佳地匹配所觀察的數(shù)據(jù)3815的二進(jìn)制值標(biāo)記。該匹配函數(shù)可以是均方差，首先同方差數(shù)據(jù)的泊松噪聲知道的度量，或者更一般地，度量可以反映可能的信號圖案中的期望相關(guān)性。然后，搜索解碼二進(jìn)制代碼變?yōu)榻o定所觀察的數(shù)據(jù)，從要么最大似然性方法(允許任何代碼)要么貝葉斯搜索(其中包括關(guān)于代碼內(nèi)容的先驗(yàn)概率)找到最可能的代碼。

備選地，高閾值和低閾值可以被用于快照由已知的真實(shí)黑色值和白色值的Tikhonov正則化所采集的圖像3820的亮像素和暗像素，留下針對閾值之間的像素的灰度值。結(jié)果快照圖像與Tikhonov圖像之間的差異是由于噪聲。然后，從黑暗像素“取得”的殘余亮度和從變亮的像素取得的黑暗被重新分布在中間值中間。具有低空間頻率的圖像特征一般地比具有較高的空間頻率的那些更容易解析，因此該方法傾向于區(qū)域地分布高頻率亮度(3830)。例如，太亮的像素意味著鄰近地區(qū)中的其他未知像素在Tikhonov圖像中被表示為太弱的。該理解可以被用于加快最佳擬合上的收斂。如果八個相鄰像素中的六個已知是黑色或白色，則剩余的兩個表示僅未知。如果Tikhonov圖像中的已知像素包括過剩的亮度，那么未知像素可能地被表示為太弱的。

因此，實(shí)現(xiàn)該重新分布的一個方式如下。首先，計(jì)算二進(jìn)制標(biāo)記的Tikhonov重建3820。然后，通過Tikhonov重建中的其明白地暗和亮值標(biāo)識已知的黑像素和白像素。然后，利用具有正確值的已知真實(shí)的黑和白區(qū)域生成“快照”圖像3825，但是所有其他值如由原始Tikhonov重建給定。然后，生成將利用該快照圖像獲得的期望數(shù)據(jù)。然后，計(jì)算期望數(shù)據(jù)與觀察數(shù)據(jù)3815之間的差。然后，應(yīng)用關(guān)于該差的Tikhonov正則化圖像重建來獲得校正。然后，將該校正添加到原始Tikhonov重建3820來獲得低噪聲重建3835。

結(jié)果圖像3835類似QR代碼3805但是包括什么應(yīng)當(dāng)是QR代碼邊界外的噪聲。過程檢測邊界(3840)來產(chǎn)生QR代碼3805的最終圖像3845。圖像3845與QR代碼3805不同，但是代碼自身包括某種誤差校正，并且這足以校正那些誤差。圖像3845以本領(lǐng)域的技術(shù)人員好理解的方式被解譯為QR代碼。

二進(jìn)制標(biāo)記常常具有相當(dāng)?shù)夭幌翊蠖鄶?shù)自然場景的二階統(tǒng)計(jì)數(shù)字。例如，代碼39條代碼僅具有垂直定向，并且QR代碼具有近似平坦的功率譜直到由其構(gòu)成點(diǎn)的寬度的倒數(shù)管理的空間頻率。相比之下，自然場景通常地具有1/f^2功率譜。

由于本地衍射光柵的操作近似卷積，光電二極管上的感測信號的功率譜將是近似光柵的PSF的傅里葉幅度譜和場景的傅里葉幅度譜的積。由于條形碼和QR代碼的功率譜不像大多數(shù)自然場景中的那些，因而當(dāng)存在QR代碼或條形碼時(shí)，傳感器讀數(shù)的功率譜將同樣地明顯不同的。因此，僅使用傳感器讀數(shù)的二階統(tǒng)計(jì)數(shù)字中的一些的粗略采樣，人們可以確定視場中的目標(biāo)是例如條形碼還是QR代碼。當(dāng)傳感器呈現(xiàn)有大多數(shù)自然場景時(shí)，該粗略采樣可以具有非常低的假陽性率。因此，可以避免成像和解譯這樣的代碼采用的計(jì)算來節(jié)省功率和處理器帶寬。

基于眼鏡的移動顯示器(諸如Google眼鏡、Samsung Galaxy眼鏡)和其他系統(tǒng)需要準(zhǔn)確并且快速地知道眼睛的注視的方向，例如以確定用戶的感興趣焦點(diǎn)、使視覺顯示器偏移和控制指向。一種用于估計(jì)眼睛中的注視的方向的方法是通過監(jiān)測Purkinje圖像的位置——從眼睛中的四個表面反射的小源的圖像的二維空間位置(外角膜、內(nèi)角膜、外眼透鏡和內(nèi)眼透鏡)。在一些系統(tǒng)中，源是小IR LED，并且圖像監(jiān)測IR有透鏡的照相機(jī)。

基于Purkinje圖像的注視檢測可以實(shí)現(xiàn)在眼鏡中，其中安裝在眼鏡框(例如)上的IR LED和安裝在眼鏡框上的其他地方的小成像器被用于監(jiān)測Purkinje圖像的位置。常常地，在遠(yuǎn)程計(jì)算機(jī)(例如，移動設(shè)備或?qū)Ｓ锰幚砥?上完成處理。

對于傳感器的空間和重量要求是嚴(yán)重的——特別地其厚度要求。具有被優(yōu)化用于檢測Purkinje圖像的位置的光柵和處理的無透鏡智能傳感器將支持眼睛注視跟蹤。

目鏡調(diào)節(jié)是目鏡改變用于聚焦在附近或遙遠(yuǎn)對象上的其曲率(在眼睛睫狀肌的控制下)的過程。Purkinje圖像的位置可以被用于推斷目鏡的曲率和因此眼睛的適應(yīng)的深度?？梢允褂帽疚乃枋龅念愋偷囊粋€或多個圖像傳感器確定這樣的信息。

圖39描繪了采用無透鏡IR傳感器3905監(jiān)測眼睛3910的運(yùn)動的眼球追蹤系統(tǒng)3900。IR LED 3915將IR光的波束照耀到眼睛3910中。該光對于眼睛不可見，但是引起若干反射P1-P4——所謂的“Purkinje圖像”——其可以被用于跟蹤眼睛運(yùn)動。最亮的Purkinje圖像P1對角膜3920的外表面反射，并且被稱為閃光；第二圖像P2反射角膜的內(nèi)表面；并且第三和第四偏離透鏡3925的相應(yīng)的外表面和內(nèi)表面。傳感器3905可以具有濾波器3930，其通過排除來自LED 3915的IR帶外的光改進(jìn)信噪比。來自LED 3915的光可以以某種方式(諸如通過極化或在已知速率或圖案處閃爍)調(diào)制來輔助將Purkinje圖像與背景區(qū)分。然而，恢復(fù)Purkinje圖像，那些圖像的位置隨著眼睛運(yùn)動改變。因此，具有對存儲器3955的出口的微控制器可以基于Purkinje圖像的星座計(jì)算眼睛3910的位置。

圖40(現(xiàn)有技術(shù))描繪了Purkinje圖像P1-P4的模擬棋盤格。強(qiáng)度的跨度減小以便于圖示；實(shí)際星座中的相對強(qiáng)度跨越一系列粗略地100x。

圖41表示通過包括結(jié)合圖17A和圖17B詳述的類型的螺旋光柵的IR傳感器3905的實(shí)施例的原始光電檢測器信號采集的圖40的相同星座，但是針對其奇對稱的線的間距被優(yōu)化用于LED 3915的IR帶寬。每個Purkinje圖像由螺旋干涉圖案表示。如結(jié)合圖19上文所詳述的，可以處理這些圖案來定位Purkinje圖像。結(jié)果數(shù)據(jù)表示針對四個斑點(diǎn)中的每一個的兩個維度。眼睛位置和焦點(diǎn)可以與Purkinje星座相關(guān)，并且可以針對給定眼睛和應(yīng)用校準(zhǔn)這些相關(guān)性。用于使用Purkinje圖像跟蹤眼睛位置的方法對于本領(lǐng)域的技術(shù)人員而言眾所周知，因此出于簡潔省略詳細(xì)討論。

由于在手邊的任務(wù)是定位Purkinje圖像而不是完成成像，因而若干備選光柵設(shè)計(jì)可以被用于該應(yīng)用。例如，圖9和圖10的徑向和同心光柵可以通向比螺旋更容易找到的點(diǎn)位置，并且圖15和圖16的光柵可以通向比給定完整的空間頻率信息的光柵更小的光柵。

定位來自像圖41中的那些的圖案的Purkinje圖像的一個方式是找到最亮的圖案、定位對應(yīng)的Purkinje圖像并且從總體傳感器信號提取圖案，留下三個剩余的圖案?？梢葬槍γ總€圖案重復(fù)該過程直到定位每個Purkinje圖像。如上文所指出的，Purkinje圖像跨越亮度的相當(dāng)大的范圍，并且最亮可以使傳感器飽和。所提出的方法固有地較不易受飽和影響，因?yàn)閬碜宰盍恋拈W光的信號散步在許多(可能地幾百個)光電檢測器上。然而，在一些情況下，光電檢測器上的若干像素可以變?yōu)轱柡偷?。在這種情況下，利用找到圖像中的點(diǎn)的以上標(biāo)識和減法方法，人們可以考慮若干像素可以已經(jīng)變?yōu)轱柡偷?。人們還可以忽視以上搜索中的任何飽和像素。更復(fù)雜的方法可以要求恢復(fù)點(diǎn)和強(qiáng)度的任何候選集合足以使實(shí)際上被觀察為飽和的那些像素飽和。

圖42描繪了與支持操作性位置中的傳感器3905和LED 3915的幀4200相反的圖39的眼睛3920?？?200是例如眼鏡框。結(jié)合先前附圖如上文所描述的是剩余的元件。

圖43描繪了具有兩側(cè)中的每一個的傳感器4305和光源4310的陣列的眼鏡框4300。每個光源4310產(chǎn)生Purkinje圖像的唯一棋盤格，并且來自傳感器4300的信息可以組合以改進(jìn)跟蹤。一般而言，可以針對每個眼睛提供N個傳感器和M個光源。源4310可以提供可區(qū)分的波長、極化或者可以時(shí)間多路復(fù)用以允許傳感器4305對他們進(jìn)行區(qū)分?？?300中的透鏡4315可以包含IR截止濾波器以降低朝向眼睛的IR傳輸，并且因此改進(jìn)針對射到傳感器4305上的信號的信噪比。

圖44描繪了根據(jù)包括例如橋中的前面照相機(jī)4405的實(shí)施例的一副智能眼鏡4400。傳感器和光源在照相機(jī)4405對面?zhèn)?，并且因此未示出。必需的電子產(chǎn)品中的一些或全部可以安裝在模板4410上或其內(nèi)。備選地，外部電子產(chǎn)品4415可以使用要么有線要么無線連接被耦合到由眼鏡4400支持的電子產(chǎn)品。眼鏡4400可以包含抬頭顯示器、耳機(jī)或二者。

具有照相機(jī)的實(shí)施例可以使眼睛跟蹤與由照相機(jī)采集的圖像相關(guān)以記錄觀察者考慮什么。例如，眼鏡4400可以檢測臉并且向觀察者呈現(xiàn)或呼出名字，可以轉(zhuǎn)譯符號或菜單，或可以報(bào)告觀察者考慮廣告或路標(biāo)花費(fèi)的時(shí)間。

前述示例采用具有PSF的奇對稱光柵，所述PSF將來自點(diǎn)源的光聚焦到跨越相對大數(shù)目的非相鄰像素空間分布的螺旋圖案。該質(zhì)量與典型的透鏡相反，其中點(diǎn)源被解析為聚焦點(diǎn)或未聚焦的模糊點(diǎn)。其他實(shí)施例可以包含不同的類型的無透鏡傳感器來產(chǎn)生跨越非相鄰像素空間分布的PSR。例如，光柵可以使用菲涅耳波帶板或菲涅耳波帶板的重疊部分產(chǎn)生適合的沖激響應(yīng)。

雖然已經(jīng)結(jié)合特定實(shí)施例描繪了主題，但是也設(shè)想其他實(shí)施例。例如；雖然先前詳述的每個光柵可以結(jié)合光感受器被用于采集入射光，但是根據(jù)這些和其他實(shí)施例的光柵可以更一般地使用在投影來自光電發(fā)射器的圖像而不是或補(bǔ)充感測其的成像設(shè)備中；如使用透鏡所描述的照相機(jī)還可以采用其他類型的光學(xué)元件(例如，反射鏡)；感興趣的波長帶可以比前述示例的那些更寬或更窄，并且可以是不連續(xù)的；并且本文詳述的照相機(jī)和光柵可以適于使用在多孔徑或可編程孔徑應(yīng)用中。其他變型對于本領(lǐng)域的技術(shù)人員而言將是明顯的。因此，隨附的權(quán)利要求的精神和范圍不應(yīng)當(dāng)限于前述描述。僅特別地記載“用于......的裝置(means for)”或“用于......的步驟(step for)”的那些權(quán)利要求應(yīng)當(dāng)以在35U.S.C.§112的第六段下所要求的方式解譯。