專利名稱：用于獲取場景的4d光場的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及圖像處理和計算式攝影(computational photography),更具體地涉及用相機獲取場景的4D光場。
背景技術(shù)：
圖像處理和計算式攝影的趨勢是在獲取圖像時獲取額外的光學信 息。這使得能夠進行更多的獲取后圖像處理應(yīng)用，例如去模糊、重聚焦 和新圖像。
關(guān)鍵理念是獲取經(jīng)由鏡頭進入相機并入射在相機傳感器上的整個 4D光場。光場是描述了通過空間中的每個點在每個方向上穿過的光量的 函數(shù)，參見由Moon等人翻譯的"The Light Field", Gershun, Journal of MathematicsandPhysics，Vol.XVIII，MIT, 1939，pp.51陽151， 1939。在常規(guī) 相機中，感測出的2D圖像只是4D光場的2D投影。因此，不可能重構(gòu) 出整個4D光場。因此，可以對常規(guī)圖像進行有意義的改變的方式非常有 限。
通過利用光學元件的復(fù)雜布置，例如，多個透鏡、反射鏡、分束器 和/或傳感器，可以使用2D傳感器重新組合(re-bin)并獲取4D射線， 參見 Georgiev et al.， " Spatio-angular resolution trade-offs in integral photography" , EGSR, pp. 263-272， 2006。目前存在一種以多個光路來執(zhí) 行光場的兩個平面參數(shù)化的光學實施的透鏡陣列，參見Levoy et al., "Light field rendering" , SIGGRAPH 96, pp. 31-42, 1996和Gortler et al., "The lumigraph" ,SIGGRAPH， pp. 43-54， 1996。然而，光線的光學重新 組合通過透鏡陣列在空間分辨率與角度分辨率之間強加了固定且永久的 折衷。
光場獲取積分(integral)攝像大約在一個世紀以前，最先將光場獲取描述為"撤銷(undo)"到達 4D膠片或傳感器平面上一點的所有光線的方向積分，而不是單獨測量每 個進入方向從而估計整個4D光場函數(shù)。Okano et al.， "Three dimensional video system based on integral photography" , Optical Engineering 38， pp. 1072-1077， 1999中描述了最初的積分相機及其變型的綜覽。
Levoy等和Gortler等將4D光場的概念描述為自由空間中所有光線 的表示。雖然都是從虛擬觀點出發(fā)而創(chuàng)建的圖像，但是Levoy等也描述 了通過虛擬孔徑獲得的計算式圖像。然而，直到Isaksen et al., "Dynamically reparameterized light fields", SIGGRAPH, pp. 297-306, 2000 中對4D插入和濾波進行全面研究之后，才論證了計算這種圖像的實際方 法。類似方法也被稱為合成孔徑攝像，Varish et al.， "Using plane + parallax for calibrating dense camera arrays" , Proc, Conf. Computer Vision and Pattern Recognition, pp. 2-9, 2004。
為了通過2D傳感器來獲取4D光場,最經(jīng)常使用的是以下兩種技術(shù)。 第一種技術(shù)使用透鏡陣列來從視點網(wǎng)格(grid of viewpoint)獲取場景的 光場。在每個透鏡之后形成的圖像提供了角度樣本的有序網(wǎng)格，從而提 供了與積分攝像類似的結(jié)果。除了固定透鏡陣列，也可以使用單個相機 的光學等效配置。其中，借助于棱鏡在常規(guī)相機前方放置凸透鏡陣列。
第二種技術(shù)在微鏡陣列前方放置單個大透鏡并將每個微鏡都視為空 間樣本。那些全視相機在微鏡陣列上形成了圖像，每個全視相機都生成
了對該點的輻射角度分布進行采樣的圖像。該技術(shù)使空間樣本和角度樣 本在圖像平面上的放置互換。
以上兩種技術(shù)都是用空間分辨率來交換分辨角度差異的能力。它們 要求微鏡和光路相對于傳感器非常精確的對準。顯然，這些技術(shù)不適于 只有透鏡、孔徑和傳感器的簡單常規(guī)(數(shù)字)相機。
編碼成像
在天文學中，編碼孔徑成像被用來克服針孔相機的缺陷，Skinner, "X-Ray Imaging with Coded Masks", Scientific American 259 p. 84， August 1988。修正的均勻冗余陣列(MURA)已用來對遠距星的光分布進行編碼。然而，孔徑成像排除了對常規(guī)相機中使用的透鏡的使用。
編碼曝光相機可以在運動模糊圖像中保留高空間頻率，并使得去模
糊處理很好地執(zhí)行，參見Raskar et al., "Coded exposure photography: motion deblurring using fluttered shutter" ， ACM Trans. Graph. 25， 3， pp. 795-804， 2006和2006年5月8日Raskar提交的名稱為"Method and Apparatus for Deblurring Images"的美國專利申請No. 11/430233，在此通 過引用將二者并入。該技術(shù)使用時間調(diào)制來最小化圖像中的運動模糊。
涉及透鏡和編碼遮光板的現(xiàn)有光學系統(tǒng)非常有限。 一種系統(tǒng)在主透 鏡前方放置帶有四個針孔的遮光板并通過捕獲四個圖像來估計距離離焦 的深度，Hiura et al.， "Depth measurement by the multi-focus camera", CVPR '98: Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, IEEE Computer Society, WashingtonDC, USA, p.953， 1998。然而，人們希望只用單個圖像來獲取 光場。
波前編碼是另一種實現(xiàn)使用非球面鏡而產(chǎn)生具有與景深無關(guān)的模糊 的圖像的擴展景深(DOF)的技術(shù)，Dowskietal.， "Wavefront coding: A modern method of achieving high performance and/or low cost imaging systems" ， SPIE Annual Meeting, 1999。雖然其結(jié)果擴展了圖像中的景深， 但是其設(shè)計并不能提供光場。

發(fā)明內(nèi)容
本發(fā)明的實施方式提供了一種用于獲取并重構(gòu)場景的4D光場的方 法和設(shè)備。將帶圖案的平面遮光板布置在相機的鏡頭與傳感器之間的光 路中，通過相機的2D數(shù)字傳感器來獲取場景的光場。在感測到4D光場 之前，透射式遮光板對4D光場進行空間調(diào)制?？梢詮?D傳感器圖像重 構(gòu)出4D光場。
現(xiàn)有技術(shù)光場相機需要多個透鏡，(和/或)多個傳感器，(和/或)多 個圖像，或多個光路。
遮光板可以具有高頻圖案或?qū)拵D案。帶圖案的遮光板部分地衰減了相機內(nèi)的光線，而不是像現(xiàn)有技術(shù)光場相機那樣使它們彎曲。衰減可
重構(gòu)地將4D光場調(diào)制并編碼到2D傳感器上，作為2D輸入圖像。可以 正如用來在全傳感器分辨率下獲取常規(guī)2D圖像的常規(guī)相機那樣對相機 進行聚焦。即，相機可以獲取"靜止"拍攝或視頻。
對于根據(jù)本發(fā)明實施方式的相機，像素強度也可以分辨(resolve) 經(jīng)調(diào)制的4D光場?？梢酝ㄟ^將傳感器像素值的2D傅里葉變換的拼接塊 重新布置成4D平面并確定用于解調(diào)該4D光場的逆傅里葉變換，來重構(gòu) 出光場。
當將寬帶遮光板設(shè)置在靠近透鏡處，例如孔徑中時，該方法可以在 全傳感器分辨率下對分層朗伯場景(Lambertian scene)的圖像進行重聚 焦。這種對4D光場的部分調(diào)制和編碼使得能夠按深度對圖像內(nèi)容進行編 輯，以除去或抑制不希望的遮蔽物(occluder)。
本發(fā)明的實施方式利用了易于調(diào)整的混合成像/光場相機設(shè)計。用戶 可以僅改變單個衰減遮光板而不是透鏡陣列。
本發(fā)明利用了光線可以線性組合的事實。我們的設(shè)計與光線的加權(quán) 總和無關(guān)地進行線性感測，而不是在其本身的像素傳感器上感測每條4D 光線。隨后可以將這些光線組合在編碼圖像中。隨后可以對該編碼圖像 進行解碼或解調(diào)，以重構(gòu)出4D光場的光線。在傅里葉域而不是光線空間 中進行這些操作。
從4D光線空間到2D傳感器陣列的映射也可以利用在頻域中描述得 最好的外差法。通過利用頻域中的調(diào)制和巻積理論，可以確定簡單的衰 減遮光板?？梢詫⒄诠獍逯糜谙鄼C的光路中，來獲取傅里葉域重新映射。 不需要額外的透鏡，并且可以根據(jù)需要通過軟件來計算經(jīng)解碼的光線。


圖1是根據(jù)本發(fā)明一個實施方式的被構(gòu)造用于獲取場景的4D光場的
相機的示意性側(cè)視圖2是根據(jù)本發(fā)明另 一個實施方式的被構(gòu)造用于獲取場景的4D光場 的相機的示意性側(cè)視圖；圖3是圖1和2的相機的光路的示意圖4是根據(jù)本發(fā)明實施方式的光場、遮光板調(diào)制函數(shù)和經(jīng)調(diào)制的光 場的示意圖5是外差光場相機的光譜分割的示意圖6是根據(jù)本發(fā)明實施方式的被巻積從而形成光譜副本的光場和遮 光板光譜的示意圖7是根據(jù)本發(fā)明實施方式的對傳感器切片進行解調(diào)來重構(gòu)光場的 的示意圖8是遮光板相對于相機傳感器的放置的示意圖9是在傳感器上投射軟陰影的余弦遮光板的示意圖IO是根據(jù)本發(fā)明實施方式的傅里葉域中的光譜拼接塊的示意圖IIA是根據(jù)本發(fā)明實施方式的高頻遮光板的圖11B是現(xiàn)有技術(shù)二元遮光板的圖IIC是根據(jù)本發(fā)明實施方式的連續(xù)寬帶遮光板的圖12是帶有遮光板控制器的相機的頂視圖13A是包括對焦柵欄和離焦人物的輸入圖像；
圖13B是與圖13A相對應(yīng)的去模糊圖像；
圖13C是圖13A中的柵欄的遮光板；
圖13D是根據(jù)本發(fā)明實施方式的柵欄和人物都對焦的輸出圖像；
圖14A是傾斜書本的輸入圖像，部分離焦；而
圖14B是根據(jù)本發(fā)明實施方式的書本整體對焦的輸出圖像。
具體實施方式
光場相機
如圖1和2所示，本發(fā)明的實施方式提供了用于獲取并重構(gòu)場景102 的4D光場101的相機100和200。相機100包括常規(guī)鏡頭110、常規(guī)孔 徑115和常規(guī)傳感器120。鏡頭可以包括多個元件(如復(fù)合透鏡中那樣)， 來校正像差、彗差和失真。然而，應(yīng)當理解只有一個光路103。掃描儀 可以是CCD行掃描儀。相機還包括微處理器MO，其可用來實現(xiàn)這里描述的方法?；?br> 本上是這樣的，微處理器接收2D輸入圖像101 (其對4D光場進行了編 碼)，并且可以生成輸出圖像104 (其是光場的重構(gòu))。輸出圖像104是輸 入圖像的解調(diào)結(jié)果。
因為輸入圖像對光場進行了編碼，所以輸出圖像可以重聚焦在不同 或更大景深處，就像使用了更小的孔徑或針孔一樣。輸出圖像104也可 以被去模糊，或者是新穎圖像，參見圖13和14。
相機還包括設(shè)置在透鏡與傳感器之間的筆直光路中的帶圖案的遮光 板130。圖案使光場部分地衰減。圖案可以是空間低頻、空間高頻或二者 之間。實際上，圖案對傳感器120獲取的場景102的4D光場進行空間調(diào) 制。圖案也可以是解析2D函數(shù)、二元函數(shù)或連續(xù)2D函數(shù)。還應(yīng)當理解， 可以在光路中設(shè)置多個遮光板。
在相機100中，在從透鏡到傳感器的光路103中設(shè)置了空間連續(xù)高 頻2D遮光板130，參見圖IIA。如圖1中所示的相機100，遮光板130 設(shè)置在傳感器120的前表面上或靠近傳感器120的前表面，來產(chǎn)生外差 光場101。圖2中的相機具有設(shè)置在靠近鏡頭或孔徑115中的空間連續(xù)低 頻遮光板230，參見圖11C。除了遮光板和微處理器中運行的方法之外， 該相機都是常規(guī)的。
在傳感器120檢測到經(jīng)衰減的4D光線之后，本發(fā)明的基本目的得以 實現(xiàn)。傳感器，即傳感器元或像素，現(xiàn)在存儲了 4D光場的經(jīng)調(diào)制的2D "圖像"，其足以重構(gòu)出入射的4D光場。
本發(fā)明的實施方式還描述了對所獲取的4D光場的某些部分進行編 碼和處理的方法。我們描述了這樣一類4D光場相機，它們將4D光線空 間的傅里葉變換重新映射到2D傳感器上。
相反，現(xiàn)有技術(shù)4D相機使用2D透鏡陣列來投影4D光線空間本身， 而不是光線空間的傅里葉變換。
我們使用單個透射式遮光板來實現(xiàn)這種頻域重新映射，并且我們的 方法并不需要額外的光學元件，例如現(xiàn)有技術(shù)中的透鏡陣列。換句話說， 我們的相機中的筆直單個光路全都是常規(guī)的。我們的分析引出了兩種相機設(shè)計。圖1示出了外差光場相機100。
該設(shè)計基于4D頻域中的調(diào)制理論，參見Fessenden， "Wireless telephony" Trans. American Institute of Electrical Engineers 27， pp. 553-629, 1908，在此
通過引用將其并入。
我們使用在無線電信令領(lǐng)域被稱為"外差"的方法的光學4D光學版 本來獲取光場。外差通過以非線性方式混合兩個或更多個信號來生成新 頻率。兩個頻率的混合得到的是作為這兩個頻率之和的第一頻率，以及 作為這兩個頻率之差的第二頻率。我們的相機中的外差是通過透射式遮 光板130產(chǎn)生的。我們通過在設(shè)置在相機的透鏡與傳感器之間的光路中 的遮光板130上形成高頻正弦圖案(參見圖11A)，而在4D頻域中生成
光場的光譜拼接塊。
為了重構(gòu)出4D光場，參見圖5-7，我們計算傳感器所感測到的2D 信號的傅里葉變換，將2D拼接塊重新匯集成平面的4D堆，并對拼接塊 的堆應(yīng)用逆傅里葉變換。
與依靠透鏡陣列的現(xiàn)有技術(shù)4D光場相機不同，我們的混合成像/光 場相機并不對場景102的對焦部分強加分辨率折衷。當光線沿著從場景 到傳感器的筆直光路移動時，遮光板^不、吏它們彎曲。遮光板只以類似 陰影的方式來衰減光線。衰減提供了對光場的空間調(diào)制。如果我們對該 陰影進行補償，則我們保留了場景的全分辨率2D圖像。此外，我們可以 通過傅里葉域解碼或解調(diào)來重構(gòu)出4D光場。
圖2中示出的相機200基于頻域中的巻積理論，Oppenheim et al., "Discrete-Time Signal Processing" , Prentice-Hall， 1999，此處通過引用將 其并入。通過將低頻遮光板230置于其他部分都為常規(guī)的2D相機的鏡頭 孔徑115附近或鏡頭孔徑115中，我們對離焦模糊進行編碼以保留高空 間頻率。隨后可以通過圖像去模糊技術(shù)來重構(gòu)出該高空間頻率，參見圖 13和14。
我們描述了如何對分層朗伯場景通過計算將全分辨率圖像重聚焦為 不同深度。這種計算的重聚焦是不需要測量整個4D光場的頻域中的4D 重新映射的特殊情況。它避免了分辨率劣化。對于兩種相機設(shè)計，我們都描述了遮光板130和230的最優(yōu)設(shè)計標 準，并且都描述了一種生成非常有效的遮光板的方法。 光場
圖3和8示出了我們的發(fā)明的實施方式的基本操作。圖3示出了編 碼模糊相機200的光學系統(tǒng)。圖8示出了外差光場相機100的光學系統(tǒng)。
在光線空間中，來自場景點310的4D光場的聚焦場景光線(/)通 過透鏡和遮光板會聚為傳感器120上的點(像素)320。離焦光線在傳感 器圖像上蓋印了 (imprint)遮光板圖案。
在如圖4所示的傅里葉域中，朗伯場景中的光場410缺少角度維度 5的變化，從而形成了水平光譜。置于孔徑處的遮光板缺少；c平面的變 化，從而形成了垂直光譜。由于遮光板調(diào)制函數(shù)420，經(jīng)調(diào)制的光場430 的光譜是兩個光譜的巻積。聚焦傳感器對離焦時發(fā)生傾斜的水平光譜切 片進行測量。
我們考慮2D光場空間(LS)，該空間包括x平面301中的一個空 間維度；e平面302中的一個角度維度；以及1D傳感器120，我們認為 其可以光學地根據(jù)焦點而移動到位置S目。SQ (對焦)和SfM。我們用小 寫字母來表示變量，用大寫字母來表示其相應(yīng)的傅里葉域表示。令/Gc， 《)表示由如圖3所示的雙平面參數(shù)化進行了參數(shù)化的2D光場。選擇^ 平面302作為主透鏡，或者具有復(fù)合透鏡的相機的孔徑的平面。對于平 面朗伯場景的情況，我們假定x平面301與場景平面重合。
光學元件對光場的影響
我們現(xiàn)在討論各種光學元件(例如傳感器、透鏡和孔徑)對頻域中 的2D光場的影響，頻域在這里被我們稱為傅里葉域光場空間(FLS)。 (x, 《)空間被稱為原始域。
傳感器形成在1D (2D)傳感器上的圖像是進入相機的2D (4D) 光場的1D (2D)投影，其還對應(yīng)于傅里葉域中的光場的切片440，參見 圖4。對于不同焦點設(shè)定，參見圖3，獲得的圖像對應(yīng)于不同角度/路線的 切片。
透鏡薄透鏡將光場的x平面移動到由薄透鏡公式1&+1/1;=1//給定的共軛平面，其中X是從場景到透鏡中心的距離，V是從透鏡中心到傳感 器的距離，而/是透鏡的焦距。透鏡還對光場的X平面進行顛倒。
孔徑相機的孔徑充當限光器，只允許通過孔徑的光線進入相機。 通過孔徑之后的光場/由以下公式給出
其中。(:c， ^是由a(x， P)=reCt (《/2 給出的孔徑(矩形)調(diào)制函數(shù)， 而2 P。是孔徑的尺寸。
通過公式(1)，孔徑之后的光場的傅里葉變換由以下公式給出 =M乂,力)， (2)
其中吸表示巻積。丄和^分別是(孔徑之前的)光場的傅里葉變換和孔徑 調(diào)制函數(shù)。因為"(x，《)是rect函數(shù)，所以
^(/』=2a0sinc(2a0/e). (3)
FLS和光場中的信息內(nèi)容
光場是自由空間中光線的4D表示。2D傳感器僅可以對該光場的一 個2D切片進行采樣。根據(jù)場景的不同，光場中的信息內(nèi)容集中于光場的 不同部分。
平面朗伯場景
讓我們假定要成像的場景包括x平面301中的平面朗伯場景410。因 為來自朗伯場景的光線輻射中沒有角度變化，所以其光場410的信息內(nèi) 容局限于沿/,軸。因此，對于所有不等于零的/"都有丄(4》)=0。因為 丄(4/0與》無關(guān)，并且^^,》)與^無關(guān)，所以我們通過公式(2)和(3) 得到，
^(A,/e)="y;，/》 ^/;,/" (4)
0,力) (5)
=2a。(X,O)sinC(2fl。/0) (6)
感測到的圖像是該調(diào)制光場430的切片440，參見圖4。 當傳感器對焦一圖3中的(So) —時，來自場景點的所有光線都會
聚在傳感器像素上。因此，對焦圖像與沿,(/"FO)的ZM(^，/0的切片相對
應(yīng)。令乂力和y (/;)分別表示傳感器觀測及其傅里葉變換。對于對焦傳感<formula>formula see original document page 16</formula> (7)
因此，當朗伯平面對焦時，沒有丟失任何信息。因此， <formula>formula see original document page 16</formula>(8)
因此，對于離焦設(shè)定(SneajP Sfa》，光場因遮光板調(diào)制函數(shù)420的 頻率變換而衰減，遮光板調(diào)制函數(shù)420的頻率變換是對于全開孔徑的正 弦基函數(shù)(sine cardinal) (sine)函數(shù)。這解釋了當場景離焦時所獲取的 信號中的高空間頻率的衰減。
因此，我們對孔徑進行修改，使得最終的孔徑調(diào)制函數(shù)420具有寬 帶頻率響應(yīng)，從而確保當圖像離焦時保留光場中的高空間頻率。
順便提及，對于針孔相機，孔徑函數(shù)是Dirac S函數(shù)，孔徑調(diào)制函數(shù) 在》中是寬帶的。這解釋了為什么針孔相機獲取的圖像總是對焦。
然而，具有極小孔徑的針孔相機的光損耗非常嚴重，從而降低了圖 像的信噪比(SNR)。
如下所述，人們可以使用精心選擇的遮光板來執(zhí)行》中的光場的寬 帶調(diào)制器的功能，并實現(xiàn)針對朗伯場景的更大的自由度，然而與針孔相 機比較卻需要增大捕獲的光量。
頻帶受限光場
如圖5所示，對一般場景，我們假定光場被頻帶限制為,o和》o
對于所有l(wèi)/^,0， 1/4》/^，都有丄(4》)=0。
常規(guī)相機僅可以采用2D (4D)光場的ID (2D)切片。為了重構(gòu)出 光場的全部信息內(nèi)容，我們對進入的光場進行調(diào)制，從而將來自4DFLS 空間的能量重新分配到2D傳感器空間。
圖5示出了外差光場相機100中的光譜分割。在傅里葉域中，傳感 器僅沿水平軸(》=0)測量光譜。在沒有遮光板的情況下，傳感器120 不能獲取整個2D光場光譜。遮光板光譜形成了以角度c傾斜的脈沖序 列。
如圖6所示，根據(jù)我們的調(diào)制理論，沿傳感器的寬平面》=0放置光場光譜切片，傳感器光場和遮光板光譜巻積從而形成光譜副本。
如圖7所示，為了重構(gòu)出光場光譜，如箭頭所示，我們通過對傳感
器切片進行解調(diào)來將傳感器光譜段移回它們初始的乂和/。位置從而重構(gòu)
出光場101。
外差光場相機
如圖8所示，可以利用設(shè)置在透鏡與傳感器之間的適當位置的適當 選擇的2D遮光板來在頻域中實現(xiàn)所需的調(diào)制。該遮光板只是2D調(diào)制器。 然而，非常顯著的是，與透鏡110串聯(lián)便可以實現(xiàn)所希望的4D調(diào)制。
我們相信根據(jù)本發(fā)明實施方式的相機是不使用任何額外透鏡或其它 光線彎曲光學器件的"單個快照"光場相機的第一種設(shè)計調(diào)制理論及其含義
Oppenherm等人的調(diào)制理論指出，用基帶信號s(x)乘以頻率力的余 弦，所得結(jié)果是該頻率下的信號的副本
其中F(^)表示^c)的傅里葉變換。該原理已廣泛用于電信和無線電 系統(tǒng)。其中，利用頻率高得多的載波信號對基帶信號進行調(diào)制，從而可 以在沒有顯著的能量損耗的情況下對基帶信號進行遠距離傳輸。接收器 對接收到的信號進行解調(diào)，以重構(gòu)出基帶信號。實質(zhì)上，我們希望在光 域中實現(xiàn)類似的結(jié)果。
我們希望將光場(》頻率)的角度變化的信息調(diào)制到義中的較高頻 率，從而高分辨率傳感器120可以檢測到該信息。
圖5示出了頻域中的理想頻帶受限光場501。為簡單起見，我們假 定x平面是共軛平面，從而傳感器圖像與沿《的切片，即，水平切片相 對應(yīng)?，F(xiàn)在考慮如圖5-6所示的頻率響應(yīng)由排列在斜線503上的脈沖組成 的調(diào)制函數(shù)502。
如果光場經(jīng)這樣的調(diào)制函數(shù)調(diào)制，則這些脈沖中的每一個都在其中 心頻率處生成光場的光譜副本。因此，該巻積的結(jié)果是沿該斜線的理想 光場的幾個光譜副本，參見圖6。該特定調(diào)制的優(yōu)點是經(jīng)調(diào)制的光場光譜的水平切片610 (虛線框)
此時捕獲了原始光場中的所有信息。要注意，角度c 503是根據(jù)e和x
維度上需要的頻率分辨率以及進入光場的帶寬而設(shè)計的。
電信系統(tǒng)中的外差接收器對進入信號進行解調(diào)，以重構(gòu)出基帶信號。
在如圖7所示我們的情況下，解調(diào)也將ID信號重新分配到2D光場空間 中。如圖7所示，解調(diào)處理對傳感器的頻率響應(yīng)1T《)進行重新排列，以 重構(gòu)出頻帶受限光場丄(4》)101。 基于遮光板的外差
可以通過將適當選擇的衰減遮光板置于透鏡與傳感器之間的光路 中，來實現(xiàn)圖5-6中所示的調(diào)制。 作為光場調(diào)制器的遮光板
如圖8所示，我們的遮光板實質(zhì)上是置于透鏡與傳感器之間的光路 中的特殊lD碼c(y)(對于4D光場410是2D)。雖然該遮光板是1D的， 伹是其調(diào)制函數(shù)420是2D的，示于圖9-10中用于設(shè)置我們的外差光場 相機。如圖8所示，在光線空間中，d處的余弦遮光板在傳感器上投影了 軟陰影。
在如圖IO所示的傅里葉域中，與由脈沖組成的遮光板光譜進行了巻 積的場景光譜生成了偏置光譜拼接塊910。遮光板光譜脈沖在d=0處是水 平的，在^^處是垂直或傾斜的。
遮光板根據(jù)其沿相機中的光路放置的位置而對光場產(chǎn)生不同影響。 如果遮光板置于孔徑115處，即，^平面處，則遮光板的影響是將孔徑 調(diào)制函數(shù)乘以遮光板調(diào)制函數(shù)410。遮光板調(diào)制函數(shù)附(x, e)由m(:c,《)= c()^《)給出，即，該調(diào)制函數(shù)與x無關(guān)。當置于e平面處時，遮光板與 光線所來自的場景點無關(guān)地以類似方式在角度e下對所有光線產(chǎn)生影 響。
如果將遮光板置于共軛平面處，則遮光板針對同一x與e無關(guān)地對 所有光線進行同等的衰減。這是因為在共軛平面處，來自焦平面上的點 的所有光線都會聚為單個點。因此，遮光板調(diào)制函數(shù)變?yōu)椤?amp; " = c(y=x)。
因此，將置于孔徑和共軛平面的相同要求(碼)所對應(yīng)的調(diào)制函數(shù)通過在2D光場空間中旋轉(zhuǎn)90。而產(chǎn)生關(guān)聯(lián)。而且，如圖所示，隨著1D
碼從孔徑平面向傳感器平面移動，所得遮光板調(diào)制函數(shù)在2D中旋轉(zhuǎn)。在 頻域中，如果將遮光板c(y)置于距離共軛平面d處，則遮光板調(diào)制函數(shù)由 以下公式給出
<formula>formula see original document page 19</formula> (io)
其中C表示1D遮光板的傅里葉變換，v是取決于透鏡110的焦距的 孔徑與共軛平面之間的距離。 旋轉(zhuǎn)角c由以下公式給出
<formula>formula see original document page 19</formula>
換句話說，遮光板調(diào)制函數(shù)將所有能量都集中于2DFLS空間中的直 線上。直線503相對于/,軸的角度。取決于遮光板的位置。當遮光板被 置于共軛平面("=0)處時，角度。等于0。如圖IO所示，當遮光板從共 軛平面向孔徑移動時，該角度在孔徑平面內(nèi)線性增大到90° 。
用于外差的最優(yōu)遮光板位置
為了獲取2D光場，在角度a的一系列脈沖的調(diào)制函數(shù)M(^,》)由以
下公式給定
<formula>formula see original document page 19</formula>其中，是光場在力軸上的帶寬，表示》軸上的理想頻率分辨率， 如圖6所示。
例如，在圖6中，將頻率分辨率繪制為等于/^=(2/5)/-。，其中/-0 是光場在》軸上的帶寬。因此，為了獲取給定帶寬的光場，可以通過公 式(12)和(11)來確定遮光板的物理位置。
實際上，因為空間分辨率遠大于角度分辨率，所以角度。非常小， 因此要將遮光板放置得靠近用于外差光場相機的傳感器。
最優(yōu)遮光板圖案
為了將MO;，/0實現(xiàn)為傾斜SD線的一組1D脈沖，1D遮光板的傅 里葉變換C(/)應(yīng)當是一組脈沖。令2p+l為》)中的脈沖數(shù)。于是， 1D遮光板的傅里葉變換由以下公式給出<formula>formula see original document page 20</formula>
其中基頻是
<formula>formula see original document page 20</formula>
從圖5可以得到，(2/計1)/^=2/,/沖的帶寬被/^進行了離散。 因此，光場中獲得的角度采樣數(shù)等于
因為最優(yōu)遮光板的傅里葉變換是一組對稱DimcS函數(shù)(與DC — 起)，所以這表示物理遮光板是給定基頻力的一組余弦及其諧波的總和。
所需的諧波數(shù)實際上是p，其取決于光場在》軸上的帶寬和理想頻 率分辨率/，
重構(gòu)2D光場
為了從1D傳感器圖像重構(gòu)出2D光場，我們確定傳感器圖像的傅里 葉變換，如圖7所示將1D傅里葉變換整形(reshape)為2D，并確定逆 傅里葉變換。因此，
/(x, 6>)=釘—/z—j0)))， (14)
其中FT和IFT表示傅里葉變換和逆傅里葉變換，少0)是觀察到的傳
感器圖像。
關(guān)于4D光場捕獲的注意事項
盡管針對2D光場說明了用于獲取光場的基于遮光板的外差的分析 和結(jié)構(gòu)，但是過程對于利用2D傳感器來獲取4D光場是相同的?？梢灾?接擴展到4D情況。
在4D光場的情況下，利用置于透鏡與傳感器之間的2D遮光板將4D
光場中的信息內(nèi)容外差到2D傳感器空間。2D遮光板的傅里葉變換包含
2D平面上的一組脈沖。 <formula>formula see original document page 20</formula> (15) 因為我們不能按照要求在遮光板中實現(xiàn)負值，所以我們提高C(/}/2)的DC成分，從而自始至終使遮光板為正。
圖11A示出了放大的高頻2D余弦遮光板，放大倍率很高。該2D遮 光板在兩個維度上均具有四個諧波(^=4， / 2=4)，且基頻/c/和/^等于1 個循環(huán)/mm。這樣就能夠?qū)崿F(xiàn)4D光場中的9X9角度分辨率。
如圖7所示，為了重構(gòu)出4D光場，解調(diào)涉及在4D中對傳感器傅里 葉變換進行整形。光場中的角度采樣數(shù)是
f產(chǎn)2^+l，以及/2=2; 2+1
2D傳感器圖像有NXN個像素。我們首先確定傳感器圖像的2D FFT。然后，我們將2D傅里葉變換的"Xb個拼接塊重新排列成4D平面， 以獲得(iV/h) X (iV/ X ^ X ^的4D傅里葉變換。該4D傅里葉變換的逆FFT 提供了所述4D光場。
用于光場相機的應(yīng)用
基于光場的數(shù)字重聚焦
可以通過采用適當?shù)那衅?，從重?gòu)出的光場的傅里葉變換獲得重聚 焦的圖像，參見以上通過引用并入的Ng. 2005。通過使用重構(gòu)出的光場 101，我們能夠顯著地增強圖像中的景深。基于重構(gòu)光場的數(shù)字重聚焦使 得我們即使在復(fù)雜場景的情況下也能夠重聚焦。
此外，我們可以對來自重構(gòu)光場101的新穎圖像和視圖進行合成。 例如，新穎圖像可以來自不同的視角。
為場景的對焦部分生成高分辨率圖像
我們的光場相機擁有其他優(yōu)點。我們可以生成朗伯場景的對焦部分
的高分辨率圖像。考慮銳聚焦的場景點。來自該場景點的所有光線都到
達同一傳感器像素，但是由于遮光板而程度不同地被衰減。因此，傳感
器像素值是場景輻照度和遮光板在到達該像素的光線的錐形內(nèi)的平均值
的乘積。該衰減r(x,力對于每個像素都不同，并且可以通過分析被確定，
或通過獲取均勻強度朗伯場景的單個標定(calibration)圖像而被重構(gòu)。
我們可以如下來重構(gòu)對焦場景點的高分辨率圖像/(x，力 /(X力-^,力/;Kx，力， (16)
其中s(x，力是獲取的傳感器圖像。場景的未對焦部分在/(x,力中具有空間變化的模糊。我們使用均勻強度朗伯燈箱的圖像作為K。 編碼模糊相機
以上，我們描述了使用衰減遮光板的光場相機。在這一部分中，我
們來描述光場的特定子類，例如由分層朗伯場景得到的光場。對于這樣
的場景，我們表明了使用位于孔徑處的低頻遮光板是實現(xiàn)全分辨率數(shù)字 重聚焦的非常有效方式。
在常規(guī)相機中，攝影者只能通過控制孔徑的尺寸(f-stop)來控制景 深(DOF)。隨著孔徑尺寸減小，相機的DOF成比例地增大，但是SNR 由于光損耗而成比例地降低。
以上我們描述了全幵孔徑抑制了離焦圖像中的高空間頻率。為了保 留高空間頻率，我們在孔徑處放置了頻率響應(yīng)是寬帶的物理遮光板。對 于放置在孔徑處的遮光板，通過公式(10)可知，M仏，/e)的所有能量都 沿A方向集中。因此，對于所有不為零的/r都有71<^,,)=0。遮光板 調(diào)制光場的頻率變換是
LM(A，/0) =Itt，/s) M(AJa) (17) 因為對于朗伯場景，丄(^，》)=0，所以上式簡化為
緣》耿0 )-
因此，用光場的頻率變換乘以遮光板調(diào)制函數(shù)。在原始域中，這相 當于遮光板與場景的清晰圖像的巻積。遮光板的標度取決于離焦模糊的 程度。可以利用所標定的遮光板對模糊圖像進行解巻積而重構(gòu)出清晰圖 像?？梢詮牟东@圖像的基于光線的分析而得到相同的結(jié)果。
用于編碼離焦模糊的最優(yōu)遮光板
因為將光場的頻率變換乘以了遮光板調(diào)制函數(shù)，所以最優(yōu)遮光板在 頻域中具有寬帶響應(yīng)。寬帶遮光板也被廣泛稱作修正的均勻冗余陣列
(MURA)編碼，其已應(yīng)用于編碼孔徑天文學中。
然而，我們的基于透鏡的編碼孔徑與不使用透鏡的天文學中所用的 常規(guī)編碼孔徑有顯著的區(qū)別。在常規(guī)編碼孔徑中，用遮光板循環(huán)地巻積 每個場景元。
與我們的基于透鏡的編碼相反，觀察到的圖像是清晰圖像與離焦點擴散函數(shù)(PSF)的線性巻積。因為線性巻積等價于與補零核的循環(huán)巻積，
所以對于基于透鏡的編碼孔徑的最優(yōu)遮光板與MURA不同。
而且，天文學中的編碼孔徑只能對諸如恒星的銀河源的點提高SNR， 而對于區(qū)域光源來說采用多個針孔并未提供額外的優(yōu)點。因此，這些技 術(shù)不適于自然世界場景的攝影。
以上，Raskar等人描述了針對運動模糊問題的根據(jù)對補零碼的DFT 大小的最小值進行最大化來搜索最佳二元碼的強力線性搜索。
這里，我們表明了連續(xù)值碼與二元碼相比可以提供更優(yōu)越的性能， 優(yōu)點在于顯著縮短了搜索時間。為了得到連續(xù)碼，我們根據(jù)對補零碼的 DFT幅度的最小值進行最大化來進行連續(xù)值優(yōu)化。
可以提供次優(yōu)二元碼，例如MURA碼，作為初始猜測。圖11B示出 了在計算搜索10小時之后獲得的常規(guī)7X7 二元遮光板。圖11C示出了 在優(yōu)化的幾分鐘之內(nèi)獲得的連續(xù)寬帶遮光板。與針對二元碼的0.003相 反，針對連續(xù)碼，DFT的最小幅度等于0.013 (在補零到128之后)。 利用下述的噪音分析，與二元遮光板相比，連續(xù)值碼的解巻積噪音小了 73 dB。
為了捕獲光場，我們要使用與傳感器的分辨率相匹配的遮光板。這 對于像素變得越來越小以實現(xiàn)更高分辨率的數(shù)字相機的未來趨勢很理 想?？梢栽诶缇哂?024個灰度的25、 50和100納米分辨率的像素分 辨率下打印RGB Bayer馬賽克。這樣的高分辨率遮光板支持單遮光板中 的外差以及Bayer馬賽克操作。我們的遮光板在4D空間中實際上是2D 的，但是我們也可以使用與全息圖類似的以角度和位置設(shè)置的遮光板， 來實現(xiàn)完全4D效果。我們的寬帶和余弦遮光板也可以是彩色的，并利用 起偏效應(yīng)來估計場景性質(zhì)。
另選的是，遮光板可以是活動的，從而用戶或相機可以根據(jù)應(yīng)用或 場景來改變遮光板的位置和遮光板上的圖案。這樣，遮光板的空間頻率 就連續(xù)地從低變到高。如圖12所示，可以用與"縮放"透鏡控制類似的 組件對遮光板進行操作。移入和移出1201桶狀控制件將在連續(xù)范圍內(nèi)改 變遮光板的位置W)，而旋轉(zhuǎn)1202該控制件將在連續(xù)范圍內(nèi)改變遮光板的空間頻率。
如果遮光板是靠近傳感器的高頻，則結(jié)果是2D (4D)光場的傅里葉 變換與遮光板的傅里葉變換的巻積。遮光板的傅里葉變換總是沿2D(4D) 空間中的直線(平面)的ID (2D)變換。如果遮光板靠近透鏡，則直線 沿^軸，而如果靠近傳感器則沿x軸。
遮光板在透鏡處是低頻的原因在于衍射。衍射隨著傳感器與限制孔 徑的距離而增大。所以當遮光板靠近傳感器時，衍射不是問題，因而我 們可以使用高頻遮光板?？拷鼈鞲衅鱽硎褂糜嘞艺诠獍宓脑蛟谟谖覀?希望實現(xiàn)的特定調(diào)制。
將遮光板置于透鏡存在衍射問題，所以我們優(yōu)選低頻遮光板。我們 在透鏡處使用寬帶遮光板而不是余弦遮光板的原因在于，我們希望在離 焦圖像中保留高空間頻率，從而我們可以去模糊并重聚焦。有趣的是， 如果我們在透鏡附近放置余弦遮光板，則我們可以精確地感測深度。
基于解巻積的數(shù)字重聚焦
我們利用圖像解巻積技術(shù)，實現(xiàn)了從單編碼離焦圖像的全分辨率數(shù) 字重聚焦。獲取的圖像中的離焦模糊與場景的深度有關(guān)。雖然已知離焦 的深度，但是如果不假定關(guān)于場景的先驗知識，或者不使用基于學習的 方式，則根據(jù)單離焦圖像來確定深度映射還是很具有挑戰(zhàn)性的。
相反，我們假定場景102由"個不同層組成，其中"是很小的數(shù)， 每層內(nèi)的離焦點擴散函數(shù)(PSF)是空間不變的。該假定對各種場景都非
常適用。我們還假定圖像中的最大模糊直徑可以是r個像素。
我們以兩步來實現(xiàn)重聚焦。首先，我們自動分析場景并估計層數(shù)和 每層的PSF的標度(scale)。然后，我們通過用所估計的模糊核對獲取的 模糊圖像進行解巻積來生成n個去模糊圖像A、 ...、 / 。
為了在層!'重聚焦，我們根據(jù)"-l個圖像(A、…、/h、 /w…、。 的模糊與層I的模糊的差異來對它們進行重新模糊，然后將力與重新模糊 的圖像進行復(fù)合以獲得重聚焦的圖像。
PSF估計
我們假定整個圖像為一層，離焦模糊直徑為k個像素。獲取的圖像S通過如下巻積與清晰圖像/產(chǎn)生關(guān)聯(lián)
萬0'力=/(義,力*/^，>;)+7， (18)
其中"表示測量噪音，M是標度A下的PSF。給定圖像/和//，可以 將似然率誤差(likelihood error)寫為
e"力=諷;c,力一 /(x,力* ;^，力)2. (19)
然而，該誤差本身不足以唯一地確定/和//，因為可以通過假定5 等于/來使Q(x，力等于零。
為了解決這種不確定性，我們利用了自然圖像的統(tǒng)計數(shù)據(jù)。已知真 實世界圖像在其梯度中遵守重尾分布。在模糊圖像中，高梯度受到抑制， 因此抑制了該分布的尾部。我們使用梯度的四階矩(峰度)作為用于描 繪梯度分布的特征的統(tǒng)計數(shù)據(jù)。
在每個像素處，將梯度誤差&(x，力定義為像素周圍的小鄰域i 內(nèi) 的梯度的峰度，例如
eg(X力=一(^wrtoy/j( {/"x' y)}; ) + ^m尸/oWj( {/y(;c,力} R)， (20)
其中A、 /y表示x梯度和y梯度。
然而，在高于正確標度k的錯誤標度下進行去模糊引入了可能降低 eg的高頻解巻積偽影(artifact)。要注意，e,對于A的低值很小，同一像 素P的eg對于模糊圖像很高。因此，兩個誤差測量彼此競爭。為了定位 正確的標度，我們使用了組合誤差e(x，力二e,(x，力+萬&(x，力，其中 ^是常量。
在有多個(n)層的情況下，我們使用不同尺寸(范圍從1到T個像 素)的模糊核對圖像進行去模糊。對于這T個去模糊圖像中的每一個， 我們都確定誤差映射e(x，力。對于具有正確標度A的層，第A個誤差映 射在與該層相對應(yīng)的區(qū)域具有最小值。這等價于對具有r個標記的每個 像素進行離散標記的問題。在給定標記A的每個像素處進行標記的成本 由第&個誤差映射一(;c，力給出。
我們通過對。擴展圖片剪切程序進行改寫而解決了該標記問題，參 見Boykov et al.， "Fast approximate energy minimization using graph cuts" 正EE Trans. Pattern Anal. Machine Intell. 23, pp. 1222-1239， 2001 ，此處通過引用將其并入。因為圖像中的均勻區(qū)域不包含任何模糊信息，所以我們 將均勻區(qū)域的數(shù)據(jù)成本設(shè)為零，從而它們在圖片剪切最優(yōu)化期間對于每 一層都被填充。
相反，我們在圖像中除去像素數(shù)少于像素總數(shù)10%的假層，并在標 記上進行簡單形態(tài)操作，例如，填孔。該程序就層和相應(yīng)標度而言產(chǎn)生
了場景的段(segmentatkm)。沒有獲得層之間的精確邊界，但是對層的內(nèi) 部進行了正確標記。
合成重聚焦的圖像
因為場景有"層，所以我們只需要考慮相應(yīng)標度下的w個去模糊圖 像(A、 ...、 /n)。我們使用來自先前步驟的內(nèi)部標定，根據(jù)相應(yīng)的去模糊 圖像來為每一層(單獨處理每個通道)構(gòu)建彩色直方圖。我們還利用給 定的模糊圖像來為所有層外部的均勻區(qū)域構(gòu)建直方圖。
為了重聚焦到層z'上，我們根據(jù)w-l個圖像中的每一個的標度與層/ 的差異對其進行重新模糊。重聚焦的圖像由力和《-1個重新模糊的圖像組 成?？梢詫⒋嗽僖暈闃擞泦栴}。我們使用Agarwala et al.， "Interactive digital photomontage" , ACM Trans. Graph. 23,3, pp, 294-302， 2004 (此處通 過引用將其并入)中描述的程序來生成復(fù)合圖像。使用彩色直方圖選擇 每個像素處的數(shù)據(jù)成本作為"最大似然率"，并且場景基于匹配顏色和梯 度。
有部分遮蔽物的情況下的重聚焦
圖像填充和其它幻覺技術(shù)可以用來填充圖像的丟失或不想要的區(qū) 域。然而，這樣的技術(shù)可能對離焦模糊圖像無效。因為幻覺像素值不是 根據(jù)離焦模糊來建模的，所以對這樣的圖像進行去模糊會產(chǎn)生偽影。
圖13A示出了前方的柵欄處于銳聚焦狀態(tài)而柵欄后的人物處于離焦 狀態(tài)的場景。在不考慮遮蔽物的情況下對該圖像進行去模糊會產(chǎn)生如圖 13B所示的偽影。然而，因為模糊將信息分布到相鄰像素，所以如果模 糊尺寸大于遮蔽物尺寸，我們就可以恢復(fù)出清晰圖像。
如圖13C所示，我們利用局部方差分析來識別被柵欄遮蔽的像素。 然后，我們通過求輛下式來進行圖像的加權(quán)解巻積<formula>formula see original document page 27</formula>， (21)
其中『是將與模糊圖像中的遮蔽像素相對應(yīng)的權(quán)重設(shè)為零的加權(quán)矩 陣，6是向量化模糊圖像，而^是表示2D模糊的l央-Toeplitz矩陣。如圖 13D所示，在獲得對焦圖像之后，我們將該對焦圖像與柵欄的對焦圖像 進行復(fù)合，從而使人物和柵欄同時對焦。要注意，只要模糊足夠大，就 可以過高估計遮蔽物的遮罩(matte)。
空間變化的PSF
圖14A-14B示出了由于傾斜書本造成的空間變化離焦模糊的例子。
為了獲得對焦圖像，我們將去模糊圖像/,...../r合并(flise)。我們使
用模糊圖像上的四個點來估計書本的單應(yīng)性(homogmphy)，并利用端點 處的標度來估計每個像素處的PSF標度以及單應(yīng)性參數(shù)。然后根據(jù)空間 變化標度對去模糊圖像進行組合，來獲得圖14B中所示的全對焦圖像。 注意，詞"ARCHITECTURE"在圖14A所示的模糊圖像中無法看清，但 是在圖14B所示的輸出圖像中卻很清晰。
例如，通過在時間[2006年Raskar等人]和空間中同時進行編碼，可 以將我們的寬帶編碼改寫為更高維度。遮光板與透鏡相比的優(yōu)點是缺少 依賴于波長的對焦和色差。該事實普遍用于天文學中。因此，遮光板對 于超光譜成像可能是理想的。場的陰影深度是醫(yī)學和科學顯微鏡學中的 嚴重障礙。在保持全分辨率的同時來重聚焦的設(shè)備具有很多益處。與共 焦編碼孔徑照明相結(jié)合，我們可以在焦平面的較少遞增步驟中捕獲數(shù)字 重聚焦的圖像。
本發(fā)明的效果
本發(fā)明提供了設(shè)置在除此以外均為常規(guī)的相機的光路中的編碼遮光 板，使得能夠?qū)ο鄼C獲取的圖像實現(xiàn)不同類型的計算改善。我們可以將 精細、窄帶遮光板放置在傳感器前方附近。然后，我們可以通過計算來 重構(gòu)出進入相機鏡頭的4D光場。遮光板保留了我們的相機在用于捕獲 4D光場的同一次曝光中在傳感器的全分辨率下捕獲圖像的聚焦部分的能 力。
另選的是，我們將粗糙、寬帶遮光板放置在鏡頭孔徑處。然后，我們可以通過計算在全分辨率下對離焦圖像進行重聚焦。因為該重聚焦依 靠解巻積，所以我們可以對需要恒定或分段平面聚焦的圖像的聚焦進行 校正。其它遮光板位置和空間頻率也是可以的。
我們描述了對4D光場的有用部分進行編碼和操作的方法。我們識別
了將4D光線空間的傅里葉變換重新映射到2D傳感器上的一類4D相機。 常規(guī)4D光場相機使用2D透鏡陣列來對4D光線空間本身而不是光線的 傅里葉變換進行投影。我們利用單個透射式遮光板實現(xiàn)了這種頻域重新 映射，并且我們的方法不需要額外的光學元件，例如常規(guī)4D光場相機中 的透鏡陣列。
外差光場相機設(shè)計根據(jù)的是4D頻域中的調(diào)制理論。我們利用在無線 電領(lǐng)域中被稱為"外差"的方法的4D版本來獲取光場。我們通過將高頻 正弦曲線圖案置于相機的鏡頭與傳感器之間，而在4D頻域中生成光場的 光譜拼接塊。為了重構(gòu)出4D光場，我們對2D感測信號進行傅里葉變換、 將2D拼接塊重新匯集為平面的4D堆，并進行逆傅里葉變換。
與依靠透鏡陣列的常規(guī)4D相機相反，我們的混合成像/光場設(shè)計并 未對場景的對焦部分強加分辨率折衷。當光線從場景向傳感器行進時， 遮光板并不使它們彎曲，而只是以細微、類似陰影的方式來衰減光線。 如果我們補償該陰影，則我們保留了場景的全分辨率2D圖像，以及我們 通過傅里葉域解碼而重構(gòu)出的低分辨率4D光場。
編碼模糊相機設(shè)計根據(jù)的是頻域中的巻積理論。通過將寬帶遮光板 放置在除此以外均為常規(guī)的2D相機的孔徑中，我們對散焦模糊進行編 碼，以保留隨后可以通過圖像去模糊而來重構(gòu)出的高空間頻率。我們表 明了如何通過計算針對分層朗伯場景在不同深度下對全分辨率圖像進行 重聚焦。這種計算出的重聚焦是頻域中的4D重新映射的不需要測量整個 4D光場的特殊情況，使得我們可以避免其嚴重的分辨率劣化。對于這兩 種設(shè)計，我們都描述了遮光板圖案的最優(yōu)化標準，并描述了計算高效遮 光板的方法。
我們的基于遮光板的混合成像/光場相機提供了幾個較之先前方法 的優(yōu)點。衰減遮光板與多相機或透鏡陣列相比要簡單得多且成本更低，并且避免了例如球差、色差、彗差和失準的誤差。更簡單的安裝和靈活 的遮光板實現(xiàn)了提供用戶可選擇的遮光板的相機設(shè)計。攝影者可以選擇 角度分辨率對空間分辨率的任何希望的折衷。
雖然以優(yōu)選實施方式為例描述了本發(fā)明，但是應(yīng)當理解，可以在本 發(fā)明的精神和范圍內(nèi)進行各種其它改動和變型。因此，所附權(quán)利要求的 目的是涵蓋落入本發(fā)明的真實精神和范圍內(nèi)的所有這種改動和變型。
權(quán)利要求
1、一種用于獲取場景的4D光場的設(shè)備，該設(shè)備包括透鏡；傳感器；以及設(shè)置在所述透鏡與所述傳感器之間的筆直光路中的遮光板，該遮光板包括用于對傳感器獲取的場景的4D光場進行空間調(diào)制的衰減圖案。
2、 根據(jù)權(quán)利要求1所述的設(shè)備，其中所述衰減圖案的空間頻率低并 被設(shè)置得靠近所述透鏡。
3、 根據(jù)權(quán)利要求1所述的設(shè)備，其中所述衰減圖案的空間頻率高并 被設(shè)置得靠近所述傳感器。
4、 根據(jù)權(quán)利要求3所述的設(shè)備，其中所述遮光板對所述4D光場進行外差。
5、 根據(jù)權(quán)利要求1所述的設(shè)備，其中所述傳感器產(chǎn)生輸入圖像，并 且該設(shè)備還包括用于從所述輸入圖像重構(gòu)出所述4D光場的裝置。
6、 根據(jù)權(quán)利要求5所述的設(shè)備，其中通過傅里葉域解碼來重構(gòu)所述 4D光場。
7、 根據(jù)權(quán)利要求2所述的設(shè)備，其中所述傳感器產(chǎn)生散焦模糊輸入 圖像。
8、 根據(jù)權(quán)利要求2所述的設(shè)備，其中可以在沒有分辨率損耗的情況 下實現(xiàn)數(shù)字重聚焦，經(jīng)重聚焦的圖像的分辨率等于所述傳感器的像素分 辨率。
9、 根據(jù)權(quán)利要求1所述的設(shè)備，其中所述衰減圖案打印在所述遮光 板上。
10、 根據(jù)權(quán)利要求1所述的設(shè)備，其中所述遮光板是活動的，并且 該設(shè)備還包括用于連續(xù)改變所述遮光板的位置和所述衰減圖案的空間頻率的裝置。
11、 根據(jù)權(quán)利要求5所述的設(shè)備，該設(shè)備還包括.-用于在沒有分辨率損耗的情況下，根據(jù)重構(gòu)出的4D光場對所述輸入圖像進行重聚焦以產(chǎn)生對焦輸出圖像的裝置。
12、 根據(jù)權(quán)利要求ll所述的設(shè)備，其中所述輸出圖像具有增大的景深。
13、 根據(jù)權(quán)利要求5所述的設(shè)備，該設(shè)備還包括用于根據(jù)重構(gòu)出的4D光場來合成新的重聚焦圖像的裝置。
14、 根據(jù)權(quán)利要求5所述的設(shè)備，該設(shè)備還包括用于根據(jù)重構(gòu)出的4D光場來生成高分辨率圖像的裝置。
15、 根據(jù)權(quán)利要求1所述的設(shè)備，其中所述衰減圖案包括顏色。
16、 根據(jù)權(quán)利要求1所述的設(shè)備，其中所述遮光板被放置為相對于 所述筆直光路成一角度。
17、 根據(jù)權(quán)利要求1所述的設(shè)備，其中所述遮光板具有余弦圖案。
18、 根據(jù)權(quán)利要求1所述的設(shè)備，其中所述遮光板利用了起偏效應(yīng)。
19、 根據(jù)權(quán)利要求1所述的設(shè)備，其中所述衰減圖案的空間頻率高， 并被設(shè)置得靠近所述透鏡以精確地感測場景的深度。
20、 根據(jù)權(quán)利要求7所述的設(shè)備，該設(shè)備還包括用于對所述輸入圖像進行去模糊以除去離焦模糊的裝置。
21、 根據(jù)權(quán)利要求1所述的設(shè)備，其中所述傳感器產(chǎn)生對所述4D 光場進行了編碼的輸入圖像，并且該設(shè)備還包括連接到所述傳感器，用于根據(jù)所述輸入圖像來生成輸出圖像的微處 理器。
22、 根據(jù)權(quán)利要求1所述的設(shè)備，其中所述傳感器獲取場景的一系 列圖像。
23、 一種用于獲取場景的4D光場的方法，該方法包括以下步驟 沿筆直光路通過透鏡將所述4D光場傳遞到傳感器；以及 利用設(shè)置在所述透鏡與所述傳感器之間的筆直光路中的衰減遮光板對所述4D光場進行調(diào)制。
24、 根據(jù)權(quán)利要求23所述的方法，其中所述衰減遮光板的空間頻率低并被設(shè)置得靠近所述透鏡。
25、 根據(jù)權(quán)利要求23所述的方法，其中所述衰減遮光板的空間頻率 高并被設(shè)置得靠近所述傳感器。
26、 根據(jù)權(quán)利要求25所述的方法，其中所述衰減遮光板對所述4D 光場進行外差。
27、 根據(jù)權(quán)利要求23所述的方法，其中所述傳感器產(chǎn)生輸入圖像， 并且該方法還包括以下步驟根據(jù)所述輸入圖像來重構(gòu)所述4D光場。
28、 根據(jù)權(quán)利要求27所述的方法，其中通過傅里葉域解碼來重構(gòu)所 述4D光場。
29、 根據(jù)權(quán)利要求24所述的方法，其中所述傳感器產(chǎn)生散焦模糊輸 入圖像。
30、 根據(jù)權(quán)利要求29所述的方法，其中通過對所述輸入圖像進行去 模糊而獲取的重聚焦圖像具有與所述傳感器的像素分辨率相同的分辨 率。
31、 根據(jù)權(quán)利要求23所述的方法，其中所述衰減遮光板上打印有圖案。
32、 根據(jù)權(quán)利要求23所述的方法，其中所述衰減遮光板是活動的， 并且該方法還包括以下步驟連續(xù)改變所述衰減遮光板的位置和圖案的空間頻率。
33、 根據(jù)權(quán)利要求27所述的方法，該方法還包括以下步驟 根據(jù)重構(gòu)出的4D光場對所述輸入圖像進行重聚焦，以產(chǎn)生對焦輸出圖像。
34、 根據(jù)權(quán)利要求33所述的方法，其中所述輸出圖像具有增大的景深。
35、 根據(jù)權(quán)利要求27所述的方法，該方法還包括以下步驟 根據(jù)重構(gòu)出的4D光場來合成新的圖像。
36、 根據(jù)權(quán)利要求27所述的方法，該方法還包括以下步驟 根據(jù)重構(gòu)出的4D光場來生成高分辨率圖像。
37、 根據(jù)權(quán)利要求23所述的方法，其中所述衰減遮光板包括顏色。
38、 根據(jù)權(quán)利要求23所述的方法，其中所述衰減遮光板被放置為相 對所述筆直光路成一角度。
39、 根據(jù)權(quán)利要求23所述的方法，其中所述衰減遮光板具有余弦圖案。
40、 根據(jù)權(quán)利要求23所述的方法，其中所述衰減遮光板利用了起偏 效應(yīng)。
41、 根據(jù)權(quán)利要求23所述的方法，其中所述衰減遮光板的空間頻率 高，并被設(shè)置得靠近所述透鏡以精確感測場景的深度。
42、 根據(jù)權(quán)利要求29所述的方法，該方法還包括以下步驟 對所述輸入圖像進行去模糊。
43、 根據(jù)權(quán)利要求23所述的方法，其中所述傳感器產(chǎn)生對所述4D 光場進行了編碼的輸入圖像，并且該方法還包括以下步驟根據(jù)所述傳感器產(chǎn)生的輸入圖像來生成輸出圖像。
44、 根據(jù)權(quán)利要求23所述的方法，其中所述傳感器獲取所述場景的 一系列圖像。
45、 根據(jù)權(quán)利要求23所述的方法，該方法還包括以下步驟 對所述傳感器感測到的2D信號應(yīng)用傅里葉變換，以獲取2D拼接塊； 將所述2D拼接塊重新匯集為平面的4D堆；以及 對所述平面的4D堆應(yīng)用逆傅里葉變換，以重構(gòu)出所述4D光場。
46、 根據(jù)權(quán)利要求23所述的方法，其中所述衰減遮光板設(shè)置在孔徑 中，并且其中場景的4D光場的光譜缺少角度維度的變化，所述衰減遮光 板的光譜缺少空間維度的變化，并且所述傳感器感測到這兩個光譜的巻 積。
47、 根據(jù)權(quán)利要求45所述的方法，其中通過以下調(diào)制來實現(xiàn)穿過孔 徑后的4D光場/的所述傅里葉變換以孔徑調(diào)制函數(shù)的傅里葉變換對進 入光場進行傅里葉變換。
48、 根據(jù)權(quán)利要求27所述的方法，該方法還包括以下步驟 根據(jù)所述輸入圖像來確定不同深度下的重聚焦圖像。
49、 根據(jù)權(quán)利要求27所述的方法，該方法還包括以下步驟 根據(jù)重構(gòu)出的4D光場來合成不同視角的新圖像。
50、 根據(jù)權(quán)利要求23所述的方法，其中所述筆直光路中設(shè)置有多個 遮光板。
51、 根據(jù)權(quán)利要求23所述的方法，其中所述衰減遮光板的圖案是解 析2D函數(shù)。
52、 根據(jù)權(quán)利要求23所述的方法，其中所述衰減遮光板的圖案是二 元函數(shù)。
53、 根據(jù)權(quán)利要求23所述的方法，其中所述衰減遮光板的圖案是連 續(xù)2D函數(shù)。
54、 根據(jù)權(quán)利要求50所述的方法，其中所述傳感器利用多個所述遮 光板來獲取場景的一系列圖像。
55、 一種用于獲取場景的4D光場的方法，該方法包括以下步驟 利用設(shè)置在透鏡與傳感器之間的筆直光路中的衰減遮光板對4D光場進行調(diào)制；以及通過所述傳感器來感測經(jīng)調(diào)制的4D光場，以產(chǎn)生對所述4D光場進 行了編碼的輸入圖像。
56、 根據(jù)權(quán)利要求55所述的方法，該方法還包括以下步驟 對所述輸入圖像進行解調(diào)，以恢復(fù)所述4D光場。
全文摘要
本發(fā)明提供了用于獲取場景的4D光場的設(shè)備和方法。相機獲取場景的4D光場。該相機包括透鏡和傳感器。透鏡與傳感器之間的筆直光路中設(shè)置有遮光板。該遮光板包括用于對傳感器獲取的場景的4D光場進行空間調(diào)制的衰減圖案。當遮光板被布置得靠近透鏡時，圖案的空間頻率低，當遮光板被布置得靠近傳感器時，圖案的空間頻率高。
文檔編號G02B27/22GK101430426SQ20081000868
公開日2009年5月13日 申請日期2008年2月5日 優(yōu)先權(quán)日2007年2月6日
發(fā)明者拉梅什·拉什卡爾, 阿米特·庫馬爾·阿格拉瓦爾 申請人:三菱電機株式會社