專利名稱：一種多通道空時編碼孔徑的動態(tài)光場成像方法和成像系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及立體視像中的光場成像技術，特別是指一種多通道空時編碼孔徑的動態(tài)光場成像方法和成像系統(tǒng)。
背景技術：
立體視像作為全球下一代數(shù)字影視和數(shù)字娛樂行業(yè)的核心支柱，逐漸形成了以三維影像/立體視頻為基礎的新產(chǎn)業(yè)增長點和新產(chǎn)業(yè)鏈。三維實景捕獲為三維模型繪制和立體顯示提供三維內(nèi)容支撐，是整個產(chǎn)業(yè)鏈中必不可少的前端和基礎環(huán)節(jié)。近年發(fā)展起來的光場成像技術可獲取傳統(tǒng)成像模型無法捕獲的場景幾何等額外信息。這一特性有效擴展了成像應用的能力，通過結合成像幾何模型，避免了傳統(tǒng)視覺計算模型中的病態(tài)性逆問題求解。為三維信息采集和處理開辟了新的理論框架和途徑。但是， 目前這方面的技術還處于理論探索和實驗室原型的初期階段，面臨著諸多挑戰(zhàn)。長期以來，以Marr視覺理論為核心的視覺計算理論體系一直是以傳統(tǒng)的光學積分成像模型作為信息獲取的唯一方式，取得了大量令人矚目的研究成果。然而傳統(tǒng)成像模型只是簡單地將三維場景投影到二維圖像，在光積分期間不可避免地丟失場景幾何和深度等重要信息，使得傳統(tǒng)的視覺研究往往面臨著從二維圖像恢復三維信息的病態(tài)逆問題求解，難以有效解決其一般性、魯棒性和實時性等問題。隨著計算攝影學在近年來取得的突破性進展，光場成像作為一種廣義光學信息采集的新技術，通過捕獲額外的光場信息，可獲得傳統(tǒng)成像模型無法捕獲的場景幾何等額外信息，為視覺信息采集和處理開辟了革新性的理論框架和途徑。光場捕獲的最直接方法是采用像機陣列或單像機運動。美國斯坦福大學M. Levoy 在1996年構建了由128個像機組成的4維光場采集平臺[I]。美國南加州大學P. Debevec 在2000年首次實現(xiàn)了用于人臉采集的4維靜態(tài)變光照采集系統(tǒng)[2]，但該系統(tǒng)只能進行固定視角的靜態(tài)采集。2005年A. Wenger和P. Debevec針對前系統(tǒng)的缺點，采用156個LED 燈和一臺12bit的CMOS高速像機，將高速變化的動態(tài)光場和高速像機相結合，實現(xiàn)變光照條件下動態(tài)人臉采集[3]。2006年P. Einarsson和P. Debevec采用像機陣列代替高速像機，實現(xiàn)了普通像機陣列在變光照條件下的動態(tài)人體采集[4]。該系統(tǒng)將14維的反射場函數(shù)降維到7維函數(shù)處理。此外,美國麻省理工W. Matusik[5],英國莎里大學J. Starck[6] 等也都提出了多像機光場采集系統(tǒng)。然而這類方法的主要局限在于系統(tǒng)體積龐大，有效采集范圍有限；此外需要完成復雜的顏色和幾何標定，以及多像機間的嚴格同步等步驟；同時還面臨著海量數(shù)據(jù)壓縮和有限帶寬傳輸?shù)确矫娴奶魬?zhàn)。為克服像機陣列或單像機運動方法的局限性，美國麻省理工E. H. Adelson首次提出了全光像機[7]的概念，并在2005年由美國斯坦福大學R. Ng[8]進一步完善。該方法在傳統(tǒng)像機的成像平面處插入微透鏡陣列，用以記錄入射光的輻射角分布，并通過一個額外的中繼透鏡傳遞到光電傳感器上實現(xiàn)4維光場成像。其核心思想在于以微透鏡陣列取代像機陣列，以犧牲成像空間分辨率換取輻射角分辨率，因而不可避免地存在空間分辨率低的缺陷，且微透鏡間微小的基線長度及衍射導致深度分辨率降低。近期T. Georgiev等人采用超分辨率重建技術實現(xiàn)具有較高空間分辨率的Plenoptic 2. O全光像機[9，10]。J. P. Luke又在T. Georgiev等人的基礎上，提出一種基于多視點深度估計的超分辨率焦點棧變換技術[11]，在提高最終圖像的空間分辨率的同時，可獲得超分辨率深度圖和全焦距圖像。 雖然全光像機在近年來取得了顯著進展，但空間和深度分辨率仍然較低，難以達到百萬級像素的分辨率，并且全光像機無法實現(xiàn)傳統(tǒng)二維圖像拍攝。近期A. Levin[12]和A. Veeraraghavan[13]等人提出了基于編碼孔徑的光場捕獲技術，它在傳統(tǒng)像機的鏡頭光圈處插入模式遮光片，利用透鏡模型推導出目標到焦平面的距離與散焦模糊間的關系，并結合概率模型恢復深度信息和全焦點圖像。與全光像機相比，編碼孔徑技術可獲得與光電傳感器相同的像素分辨率，無需額外的光學設備，只需對傳統(tǒng)像機略加改動，且可以很容易地實現(xiàn)與傳統(tǒng)二維像機間的功能轉(zhuǎn)換。但該方法需要較長的曝光時間且圖像信噪比較低。C. Liang等人結合編碼孔徑和多次曝光技術提出一種可直接捕獲4維光場和估計深度圖的可編程孔徑技術[14]，并采用光照復用技術提高圖像信噪比。雖然A. Levin等人已證明了編碼孔徑方法的可行性[12]，但現(xiàn)有原型系統(tǒng)都隱含著許多理想化的假設，以簡化系統(tǒng)復雜度，并未考慮實際攝影過程中Bayer模式濾波器、快門噪聲、運動模糊等諸多因素的影響。我國在光場成像和計算攝影學研究中起步較晚，但也取得了較大的進展。清華大學戴瓊海教授沖破了發(fā)達國家對動態(tài)光場相關技術的研究壟斷，搭建了國內(nèi)首個直徑6 米，包含40臺像機和310個LED光源的變光照動態(tài)光場穹隆采集系統(tǒng)[15]，以及8X8的光場像機陣列[16]。上海大學安平教授建立了基于光線空間的自由視點實驗平臺[17]。中科院長春光機所搭建了基于微透鏡陣列的三維成像實驗平臺并驗證其有效性[18]。中科院上海光機所設計并實現(xiàn)一種適于遠距離大尺度三維物體成像的編碼孔徑方法[19]。北京航空航天大學袁艷教授建立了光場成像與數(shù)字對焦的數(shù)理模型[20]。此外北京大學、哈爾濱工業(yè)大學、浙江大學、西安電子科技大學、中國科技大學、合肥工業(yè)大學、寧波大學等院校也在光場成像等方面展開了卓有成效的探索和研究。綜上所述，目前國際上對光場成像的研究已初具規(guī)模，提出并成功研制了多種光場采集方法及相應的硬件原型。但從總體而言仍處于起步階段，主要表現(xiàn)在1)光場采集及表示理論尚未成熟和完善?；谙駲C陣列或單像機運動的相關研究往往局限于靜態(tài)或周期性運動的單目標捕獲。全光相機或編碼孔徑方法僅初步實現(xiàn)理論和實驗原型論證，恢復出的深度圖和全焦點圖像較為粗略。2)現(xiàn)有硬件原型尚處于實驗室階段，受限于理論上的缺陷，在空間和深度分辨率、實時性、便攜性、以及與傳統(tǒng)像機的兼容性等方面都存在不足， 與像機陣列或全光像機等其他光場成像技術相比，編碼孔徑方法在空間/深度分辨率、實時性、便攜性、以及與傳統(tǒng)像機的兼容性等方面的均衡中更具優(yōu)勢。近兩年編碼孔徑方法在理論研究和原型實踐上都取得了重大進展。例如
中國專利文獻(
公開日2008年7月23日，公開號CN101228460A)公開了一種編碼
孔徑成像設備和方法。在一個方面，編碼孔徑成像器具有至少一個檢測器陣列和可重新配置的編碼孔徑掩模裝置?？芍匦屡渲玫木幋a孔徑掩模裝置可以顯示多個編碼孔徑掩模，以便跨越不同的視場和/或以不同的分辨率提供成像，而無需任何移動部件或龐大的光學組件?？梢允褂枚嘤谝粋€檢測器陣列來提供大面積成像而無需無縫拼接，并且這代表本發(fā)明的另一方面。上述發(fā)明還涉及到在可見波段、紫外波段或紅外波段內(nèi)使用編碼孔徑成像。教導了使用編碼孔徑成像來通過彎曲的光學元件進行成像，因為圖像解碼可以自動去除由該彎曲元件引入的任何像差。但仍存在許多關鍵問題有待進一步探索。主要表現(xiàn)為1)現(xiàn)有理論和原型系統(tǒng)局限于4維靜態(tài)光場采集。2)需較長的曝光時間且圖像信噪比低。3)長曝光時間引起的運動模糊對光場后處理算法有較大影響。4)缺乏對圖像傳感器Bayer輸出模式、快門噪聲等實際因素的考慮。因此，有必要結合計算機攝影學和光場理論的最新研究成果，提出一種在Bayer 輸出模式和動態(tài)環(huán)境下基于編碼孔徑的深度超分辨率重建和全焦點圖像恢復的技術方案， 將編碼孔徑方法推廣到更一般化情況。

發(fā)明內(nèi)容
本發(fā)明的目的旨在解決實際光場捕獲過程中存在的圖像傳感器快門噪聲和Bayer 輸出模式，以及動態(tài)場景引起的運動模糊等因素影響，克服現(xiàn)有光場成像中深度分辨率低且精度不高的缺點而建立一個基于多通道空時編碼孔徑的動態(tài)光場成像模型。為了實現(xiàn)上述目的，本發(fā)明的技術方案是一種多通道空時編碼孔徑的動態(tài)光場成像方法，包括以下步驟
a.建立空時編碼孔徑的5維動態(tài)光場成像模型，在4維光場的基礎上將曝光時間作為時間維度引入編碼孔徑，實現(xiàn)光圈孔徑模式的空時聯(lián)合編碼，實現(xiàn)基于多路復用的正交空時編碼孔徑，建立空時編碼孔徑的5維動態(tài)光場成像模型，所述的多路復用的正交空時編碼孔徑是將曝光時間編碼和光場多路復用引入編碼孔徑中來實現(xiàn)的；該原型是通過對普通數(shù)碼單反相機稍作改動實現(xiàn)在像機鏡頭處放置一塊開關液晶，通過對開關液晶的不同區(qū)域加不同電壓可控制該區(qū)域透光或遮光，從而實現(xiàn)編碼孔徑。在一次光積分期間根據(jù)曝光時間編碼控制電子快門的打開和關閉，在快門關閉時切換不同的編碼孔徑模式。這些編碼孔徑模式為一組正交編碼孔徑。在每個編碼孔徑模式下采集一路光場信息，從而實現(xiàn)通過曝光時間編碼和一組正交孔徑編碼實現(xiàn)光場多路復用采集。b.運動場估計和消除運動模糊，實現(xiàn)基于曝光時間編碼的運動模糊圖像的復原， 所述的曝光時間編碼的運動模糊圖像的復原是通過曝光時間編碼與運動模糊消除的統(tǒng)一， 建立寬帶頻率響應的曝光時間編碼來實現(xiàn)的；該過程中，在滿足開關液晶切換編碼的響應時間基礎上，選擇具有寬帶頻率響應的曝光時間編碼序列，以保留圖像中高頻空間細節(jié)信息。通過前景目標運動解碼和背景估計消除運動模糊，并實現(xiàn)運動估計。曝光時間編碼的采用短-長-短曝光時間交替的編碼方式，通過短曝光時間捕獲目標，長曝光時間捕獲目標的運動模糊。假定在運動目標在短-長-短曝光時間編碼過程中勻速運動，根據(jù)前后短曝光時間成像，可大致估計出運動速度，并建立勻速的運動模糊核，實現(xiàn)運動模糊復原。對于已知運動速度實現(xiàn)運動模糊復原為成熟方法。c.多通道深度超分辨率重建，所述的多通道深度超分辨率重建是將超分辨率技術從二維擴展到三維焦點堆棧，在圖像傳感器Bayer模式輸出下實現(xiàn)的；通過正交編碼解調(diào)從已消除運動模糊的圖像中提取不同編碼孔徑成像結果，完成Bayer模式下的多通道深度估計。并將二維超分辨率重建技術推廣到三維，建立超分辨率焦點堆疊，同時恢復全焦點圖
6
d.實現(xiàn)運動場和深度場的解耦，并恢復全焦點圖像。曝光時間編碼的頻率響應特性和運動模糊圖像復原的實現(xiàn)，保證了積分圖像中運動模糊和散焦模糊解耦，從而使得動態(tài)光場后處理過程中復原后的圖像的清晰度得到了保障，實現(xiàn)了全焦點圖像的恢復。作為優(yōu)選，所述的空時編碼孔徑的5維動態(tài)光場成像包括空時編碼孔徑的光積分過程，光圈孔徑的正交編碼構建和光場多路復用的孔徑模式構建過程；
所述的空時編碼孔徑的光積分過程是一個時間和空間的投影過程，在積分過程中對動態(tài)場景或像機抖動引起的運動模糊和焦平面位置外場景引起的散焦模糊，在頻域建立兩類模糊的級聯(lián)混合模型；在積分過程中不可避免地存在兩類模糊，一類是動態(tài)場景或像機抖動引起運動模糊，另一類是焦平面位置外場景點引起的散焦模糊。這兩類模糊都是模糊核在空間域的卷積，為簡化計算而在頻域建立兩類模糊的級聯(lián)混合模型。所述的光圈孔徑的正交編碼構建是根據(jù)電子快門切換狀態(tài)，采用相應的二維正交編碼序列對光圈孔徑進行調(diào)制，使得光場采集后，通過正交編碼解調(diào)重新恢復不同編碼孔徑的成像結果。為避免光積分過程中丟失入射角度等重要的光場信息，在每次光積分期間， 根據(jù)電子快門切換狀態(tài)，采用不同的二維正交編碼序列對光圈孔徑進行調(diào)制，使得光場采集后，通過正交編碼解調(diào)可重新恢復不同編碼孔徑的成像結果。所述的光場多路復用的孔徑模式構建過程是在每次曝光期間同時采集多路光場， 最終圖像為積分期間N幀光場圖像的線性組合
JUl
Cii5jfc為第k次曝光采集的光場圖像權值，將矢= h 作為多路復用模
式。通過解復用可從積分圖像中重新恢復各曝光時刻的光場圖像。為提高圖
像信噪比和減少快門噪聲，采用光場多路復用方法，即在每次曝光期間同時采集多路光場。作為優(yōu)選，所述的最佳正交編碼序列是在二維正交集中同時滿足A. Levin提出的最大KL散度以及最優(yōu)多路復用模式的一個子集；本發(fā)明中采用光場多路復用設計以提高成像質(zhì)量，因此最佳正交編碼序列應是在二維正交集中同時滿足A. Levin提出的最大KL散度以及最優(yōu)多路復用模式的一個子集。作為優(yōu)選，所述的最優(yōu)或近似最優(yōu)的多路復用模式是通過定義代價函數(shù)
=廣其中W=卜_ w職,選擇合適的優(yōu)化算法最小化該代價函
數(shù)，來獲得。當噪聲符合獨立同分布時，Hadamard碼是一種最佳的解復用模式。但圖像傳感器噪聲往往是與輸入信號相關(如快門噪聲)，Hadamard碼反而會導致數(shù)據(jù)質(zhì)量退化。本發(fā)明通過定義代價函數(shù)選擇合適的優(yōu)化算法最小化該代價函數(shù)，以獲得最優(yōu)或近似最優(yōu)的多路復用模式。作為優(yōu)選，所述的運動場估計包括寬帶頻率響應的曝光時間編碼的實現(xiàn)，所述的寬帶頻率響應的曝光時間編碼的實現(xiàn)是根據(jù)硬件條件約束和代價設定合適的編碼長度，然后采用離散傅立葉變換的最小幅度最大，以及離散傅立葉變換具有最小方差的線性搜索方式，確定最優(yōu)的曝光時間編碼；本發(fā)明根據(jù)硬件條件約束和代價設定合適的編碼長度，然后采用線性隨機搜索方式尋找近似最優(yōu)的曝光時間編碼。本發(fā)明采用的搜索策略為離散傅立葉變換的最小幅度最大，以及離散傅立葉變換具有最小方差。作為優(yōu)選，所述的基于曝光時間編碼的運動模糊圖像復原，包括動態(tài)目標運動解碼和靜態(tài)背景估計兩部分，對于動態(tài)目標運動解碼采用線性代數(shù)方式描述模糊核卷積，采用最小二乘估計實現(xiàn)動態(tài)目標的運動模糊復原，而運動目標區(qū)域提取是通過背景差或幀差法獲?。辉陟o態(tài)背景估計中是根據(jù)目標和背景特性進行分類，進而從模糊目標的邊緣處恢復未知背景。本發(fā)明是針對不同場景區(qū)域具有不同點擴散函數(shù)的情況，圍繞動態(tài)目標運動解碼和靜態(tài)背景估計兩部分展開。作為優(yōu)選，所述的多通道深度超分辨率重建包括多通道編碼孔徑的深度和基于運動估計的深度超分辨率重建；
所述的多通道編碼孔徑的深度是將A. Levin單通道算法首先轉(zhuǎn)換到Bayer模式下，然后轉(zhuǎn)換到多通道，最后采用基底變換方法將其推廣到更一般化情況；大多數(shù)圖像傳感器都是采用Bayer模式輸出，本本發(fā)明將A. Levin單通道算法首先推廣到Bayer模式下,然后轉(zhuǎn)換到多通道，從而將A. Levin單通道算法推廣到多通道，本發(fā)明基于多通道零均值重尾分布先驗，以及濾波器選取和深度估計的理論，通過原型實驗，同時采用基底變換方法將其推廣到更一般化情況，如YUV和CYMK等多通道情況。所述的基于運動估計的深度超分辨率重建是結合空時編碼孔徑的動態(tài)光場特點， 分別估計光積分期間不同孔徑編碼模式下的深度圖并建立相應的離散焦點堆棧，經(jīng)運動估計進行目標配準后，將超分辨率重建技術從二維推廣到包含時間軸的三維的焦點堆棧，通過光場插值和線積分獲得超分辨率焦點堆棧，根據(jù)深度圖和超分辨率焦點堆棧實現(xiàn)全焦點圖像恢復。本發(fā)明根據(jù)全光像機的離散焦點堆疊方法，將其概念應用到本發(fā)明中動態(tài)光場的深度估計，以提高深度方向分辨率。該方法是結合空時編碼孔徑的動態(tài)光場特點，分別估計光積分期間不同孔徑編碼模式下的深度圖并建立相應的離散焦點堆棧。經(jīng)運動估計進行目標配準后，將超分辨率重建技術從二維推廣到包含時間軸三維的焦點堆棧，通過光場插值和線積分獲得超分辨率焦點堆棧。根據(jù)深度圖和超分辨率焦點堆?？蛇M一步實現(xiàn)全焦點圖像恢復。一種多通道空時編碼孔徑的動態(tài)光場成像系統(tǒng)，包括數(shù)碼單反像機和電腦，所述的數(shù)碼單反像機內(nèi)設有實現(xiàn)基于FPGA的開關液晶和電子快門控制電路，所述的電腦內(nèi)部設置有在Visual C++環(huán)境下完成光場處理算法和軟件平臺編寫的軟件系統(tǒng)。本成像系統(tǒng)是通過對數(shù)碼單反像機進行改裝，設計并實現(xiàn)基于FPGA的開關液晶和電子快門控制電路， 構建空時編碼孔徑的動態(tài)光場成像原型系統(tǒng)和米用個人電腦在Visual C++環(huán)境下完成光場處理算法和軟件平臺編寫，實現(xiàn)運動模糊圖像復原和運動估計，以及深度超分辨率重建和全焦點圖像恢復。本發(fā)明的有益效果是(1)是將曝光時間編碼和光場多路復用引入編碼孔徑中， 構成一種基于多路復用的正交空時編碼孔徑；多路復用可提高圖像信噪比，減弱快門噪聲影響，提高光場成像質(zhì)量。(2)是曝光時間編碼與運動模糊消除的統(tǒng)一，建立寬帶頻率響應的曝光時間編碼， 構建基于曝光時間編碼的運動模糊圖像復原方法；曝光時間編碼的頻率響應特性和運動模糊圖像復原能夠提高復原后圖像的清晰度，實現(xiàn)積分圖像中運動模糊和散焦模糊解耦合。
(3)將超分辨率技術從二維擴展到三維焦點堆棧，在圖像傳感器Bayer模式輸出下，構成多通道深度超分辨率重建模塊；深度超分辨率重建將光積分期間的多幅低分辨率深度圖進行融合和優(yōu)化，提高了深度分辨率，并修正了低分辨率深度圖中的估計誤差。(4)建立空時編碼孔徑的5維動態(tài)光場成像模型，實現(xiàn)運動場和深度場的解耦估計，并恢復全焦點圖像。


圖I是本發(fā)明多通道空時編碼孔徑的動態(tài)光場成像方法和成像系統(tǒng)的一種示意圖2是本發(fā)明多通道空時編碼孔徑的動態(tài)光場成像方法和成像系統(tǒng)中空時編碼孔徑的光積分過程示意圖3是本發(fā)明多通道空時編碼孔徑的動態(tài)光場成像方法和成像系統(tǒng)中的空時編碼孔徑的動態(tài)光場采集模型；
圖4是本發(fā)明多通道空時編碼孔徑的動態(tài)光場成像方法和成像系統(tǒng)中曝光時間編碼短-長-短曝光時間交替的編碼方式示意圖。
具體實施例方式下面結合附圖對本發(fā)明做進上步詳細說明。本發(fā)明是針對現(xiàn)有技術中的不足，將曝光時間作為“時間”維度引入編碼孔徑，實現(xiàn)光圈孔徑和曝光時間的空時編碼設計，建立基于空時編碼孔徑的5維動態(tài)光場成像模型。本發(fā)明一種多通道空時編碼孔徑的動態(tài)光場成像方法和成像系統(tǒng)如圖I所示，它是在4維光場的基礎上將曝光時間作為“時間”維度引入編碼孔徑，實現(xiàn)光圈孔徑模式的空時聯(lián)合編碼，建立空時編碼孔徑的5維動態(tài)光場成像模型，實現(xiàn)運動場和深度場的解耦，并恢復全焦點圖像，主要包含了 空時編碼孔徑的動態(tài)光場采集，以及運動場估計和深度超分辨率重建兩個后處理過程?？諘r編碼孔徑的動態(tài)光場采集模塊的建立是將曝光時間編碼和光場多路復用引入編碼孔徑中，實現(xiàn)一種基于多路復用的正交空時編碼孔徑；本實施例中的原型是通過對普通數(shù)碼單反相機稍作改動實現(xiàn)，在像機鏡頭處放置一塊開關液晶，通過對開關液晶的不同區(qū)域加不同電壓可控制該區(qū)域透光或遮光，從而實現(xiàn)編碼孔徑。在一次光積分期間根據(jù)曝光時間編碼控制電子快門的打開和關閉，在快門關閉時切換不同的編碼孔徑模式。這些編碼孔徑模式為一組正交編碼孔徑。在每個編碼孔徑模式下采集一路光場信息，從而實現(xiàn)通過曝光時間編碼和一組正交孔徑編碼實現(xiàn)光場多路復用采集(見圖3)。運動場估計模塊的建立是曝光時間編碼與運動模糊消除的統(tǒng)一，建立寬帶頻率響應的曝光時間編碼，構建基于曝光時間編碼的運動模糊圖像復原方法；該過程中，在滿足開關液晶切換編碼的響應時間基礎上，選擇具有寬帶頻率響應的曝光時間編碼序列，以保留圖像中高頻空間細節(jié)信息。通過前景目標運動解碼和背景估計消除運動模糊，并實現(xiàn)運動估計。曝光時間編碼的采用短-長-短曝光時間交替的編碼方式，通過短曝光時間捕獲目標，長曝光時間捕獲目標的運動模糊。假定在運動目標在短-長-短曝光時間編碼過程中勻速運動，根據(jù)前后短曝光時間成像，可大致估計出運動速度，并建立勻速的運動模糊核，實現(xiàn)運動模糊復原(見圖4)。深度超分辨率重建模塊的建立是將超分辨率技術從二維擴展到三維焦點堆棧， 在圖像傳感器Bayer模式輸出下，構成多通道深度超分辨率重建模塊。通過正交編碼解調(diào)從已消除運動模糊的圖像中提取不同編碼孔徑成像結果，完成Bayer模式下的多通道深度估計。并將二維超分辨率重建技術推廣到三維，建立超分辨率焦點堆疊，同時恢復全焦點圖像?？諘r編碼孔徑的動態(tài)光場采集包括空時編碼孔徑的光積分過程，光圈孔徑的正交編碼構建和光場多路復用的孔徑模式構建過程；
空時編碼孔徑的光積分過程(見圖2)是一個時間和空間的投影過程，在光積分過程中不可避免地存在兩類模糊，一類是動態(tài)場景或像機抖動引起運動模糊，另一類是焦平面位置外場景點成像引起的散焦模糊。光圈孔徑的正交編碼構建是根據(jù)電子快門切換狀態(tài)，采用不同的二維正交編碼序列對光圈孔徑進行調(diào)制，使得光場采集后，通過正交編碼解調(diào)重新恢復不同編碼孔徑的成像結果。為避免光積分過程中丟失入射角度等重要的光場信息，在每次光積分期間，根據(jù)電子快門切換狀態(tài)，采用不同的二維正交編碼序列對光圈孔徑進行調(diào)制，使得光場采集后，通過正交編碼解調(diào)可重新恢復不同編碼孔徑的成像結果。本發(fā)明中采用光場多路復用設計以提高成像質(zhì)量，因此最佳正交編碼序列應是在二維正交集中同時滿足A. Levin提出的最大 KL散度以及最優(yōu)多路復用模式的一個子集。所述最佳正交編碼序列可以是滿足上述要求的任意一個子集。光場多路復用的孔徑模式構建過程是在每次曝光期間同時采集多路光場，最終圖像為積分期間N幀光場圖像的線性組合。所述的最優(yōu)或近似最優(yōu)的多路復用模式是通過定義代價函數(shù)來獲得。為提高圖像信噪比和減少快門噪聲，采用光場多路復用方法，即在每次曝光期間同時采集多路光場。最終圖像為積分期間N幀光場圖像的線性組合
權利要求
1.一種多通道空時編碼孔徑的動態(tài)光場成像方法，其特征在于包括以下步驟 建立空時編碼孔徑的5維動態(tài)光場成像模型，在4維光場的基礎上將曝光時間作為時間維度引入編碼孔徑，實現(xiàn)光圈孔徑模式的空時聯(lián)合編碼，實現(xiàn)基于多路復用的正交空時編碼孔徑，建立空時編碼孔徑的5維動態(tài)光場成像模型，所述的多路復用的正交空時編碼孔徑是將曝光時間編碼和光場多路復用引入編碼孔徑中來實現(xiàn)的；運動場估計和消除運動模糊，實現(xiàn)基于曝光時間編碼的運動模糊圖像的復原，所述的曝光時間編碼的運動模糊圖像的復原是通過曝光時間編碼與運動模糊消除的統(tǒng)一，建立寬帶頻率響應的曝光時間編碼來實現(xiàn)的；c.多通道深度超分辨率重建，所述的多通道深度超分辨率重建是將超分辨率技術從二維擴展到三維焦點堆棧，在圖像傳感器Bayer模式輸出下實現(xiàn)的；d.實現(xiàn)運動場和深度場的解耦，并恢復全焦點圖像。
2.根據(jù)權利要求I所述的一種多通道空時編碼孔徑的動態(tài)光場成像方法，其特征在于所述的空時編碼孔徑的5維動態(tài)光場成像包括空時編碼孔徑的光積分過程，光圈孔徑的正交編碼構建和光場多路復用的孔徑模式構建過程；所述的空時編碼孔徑的光積分過程是一個時間和空間的投影過程，在積分過程中對動態(tài)場景或像機抖動引起的運動模糊和焦平面位置外場景引起的散焦模糊，在頻域建立兩類模糊的級聯(lián)混合模型；所述的光圈孔徑的正交編碼構建是根據(jù)電子快門切換狀態(tài)，采用相應的二維正交編碼序列對光圈孔徑進行調(diào)制，使得光場采集后，通過正交編碼解調(diào)重新恢復不同編碼孔徑的成像結果；所述的光場多路復用的孔徑模式構建過程是在每次曝光期間同時采集多路光場，最終圖像為積分期間N幀光場圖像的線性組合{χ} ~ Σ (x^k)A-Ia就為第k次曝光采集的光場圖像權值，將矢=作為多路復用模式，通過解復用可從積分圖像中重新恢復各曝光時刻的光場圖像4Pa)。
3.根據(jù)權利要求2所述的一種多通道空時編碼孔徑的動態(tài)光場成像方法，其特征在于所述的最佳正交編碼序列是在二維正交集中同時滿足A. Levin提出的最大KL散度以及最優(yōu)多路復用模式的一個子集。
4.根據(jù)權利要求2所述的一種多通道空時編碼孔徑的動態(tài)光場成像方法，其特征在于所述的最優(yōu)或近似最優(yōu)的多路復用模式是通過定義代價函數(shù)其中W =,選擇合適的優(yōu)化算法最小化該代價函數(shù)，來獲得。
5.根據(jù)權利要求I所述的一種多通道空時編碼孔徑的動態(tài)光場成像方法，其特征在于所述的運動場估計包括寬帶頻率響應的曝光時間編碼的實現(xiàn)，所述的寬帶頻率響應的曝光時間編碼的實現(xiàn)是根據(jù)硬件條件約束和代價設定合適的編碼長度，然后采用離散傅立葉變換的最小幅度最大，以及離散傅立葉變換具有最小方差的線性搜索方式，確定最優(yōu)的曝光時間編碼。
6.根據(jù)權利要求I所述的一種多通道空時編碼孔徑的動態(tài)光場成像方法，其特征在于所述的基于曝光時間編碼的運動模糊圖像復原，包括動態(tài)目標運動解碼和靜態(tài)背景估計兩部分，對于動態(tài)目標運動解碼采用線性代數(shù)方式描述模糊核卷積，采用最小二乘估計實現(xiàn)動態(tài)目標的運動模糊復原，而運動目標區(qū)域提取是通過背景差或幀差法獲取；在靜態(tài)背景估計中是根據(jù)目標和背景特性進行分類，進而從模糊目標的邊緣處恢復未知背景。
7.根據(jù)權利要求I所述的一種多通道空時編碼孔徑的動態(tài)光場成像方法，其特征在于所述的多通道深度超分辨率重建包括多通道編碼孔徑的深度和基于運動估計的深度超分辨率重建；所述的多通道編碼孔徑的深度是將A. Levin單通道算法首先轉(zhuǎn)換到Bayer模式下，然后轉(zhuǎn)換到多通道，最后采用基底變換方法將其推廣到更一般化情況；所述的基于運動估計的深度超分辨率重建是結合空時編碼孔徑的動態(tài)光場特點，分別估計光積分期間不同孔徑編碼模式下的深度圖并建立相應的離散焦點堆棧，經(jīng)運動估計進行目標配準后，將超分辨率重建技術從二維推廣到包含時間軸的三維的焦點堆棧，通過光場插值和線積分獲得超分辨率焦點堆棧，根據(jù)深度圖和超分辨率焦點堆棧實現(xiàn)全焦點圖像恢復。
8.—種多通道空時編碼孔徑的動態(tài)光場成像系統(tǒng)，其特征在于包括數(shù)碼單反像機和電腦，所述的數(shù)碼單反像機內(nèi)設有實現(xiàn)基于FPGA的開關液晶和電子快門控制電路，所述的電腦內(nèi)部設置有在Visual C++環(huán)境下完成光場處理算法和軟件平臺編寫的軟件系統(tǒng)。
全文摘要
本發(fā)明公開了一種多通道空時編碼孔徑的動態(tài)光場成像方法和成像系統(tǒng)，建立空時編碼孔徑的5維動態(tài)光場成像模型，在4維光場的基礎上將曝光時間作為時間維度引入編碼孔徑，實現(xiàn)光圈孔徑模式的空時聯(lián)合編碼，實現(xiàn)基于多路復用的正交空時編碼孔徑；運動場估計和消除運動模糊，實現(xiàn)基于曝光時間編碼的運動模糊圖像的復原；多通道深度超分辨率重建；實現(xiàn)運動場和深度場的解耦，并恢復全焦點圖像。多路復用可提高圖像信噪比，減弱快門噪聲影響，提高光場成像質(zhì)量；曝光時間編碼的頻率響應特性和運動模糊圖像復原能夠提高復原后圖像的清晰度，深度超分辨率重建提高了深度分辨率，并修正了低分辨率深度圖中的估計誤差。
文檔編號G02B27/00GK102595171SQ20121002562
公開日2012年7月18日 申請日期2012年2月3日 優(yōu)先權日2012年2月3日
發(fā)明者周文暉, 林麗莉, 王秀萍 申請人:浙江工商大學