專利名稱：一種車載或機載圖像采集與重構(gòu)方法及使用該方法的系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機圖像采集與重構(gòu)技術(shù)領(lǐng)域，特別涉及一種車載或機載圖像采集與重構(gòu)方法及使用該方法的系 統(tǒng)。
背景技術(shù)：
在車載或機載成像環(huán)境下，要實現(xiàn)圖像采集和清晰的圖像重構(gòu)，主要需要解決三個方面的問題一是車窗或機窗玻璃附著物對成像質(zhì)量的影響，二是車窗或機窗玻璃反光帶來的成像影響，三是高速運動下的抖動模糊。目前，針對車窗或機窗玻璃附著物對成像質(zhì)量的影響，哥倫比亞大學(xué)的Gu等在拍攝相機可以取得的情況下，通過多幅帶遮擋的取樣圖片估算出由于附著物帶來的衰減圖樣a和散射圖樣b，通過a、b進而可以求解出原圖像，而如果拍攝相機無法取得，則通過一組拍攝圖片或一段拍攝視頻來求解，用取樣圖像的平均值A(chǔ)vg(I)和取樣圖像梯度大小的平均值A(chǔ)vg(IlI)進行多項式迭代匹配便可以得到原圖像的Avg (IO)和Avg (IIO I)，進而可以得到衰減圖樣a和散射圖樣b，對于外界光照強度，則分別對于視頻的每一幀圖像進行求解，最后對于每一幀的圖像帶入a、b、以及對應(yīng)的外界光照強度值即可還原到原圖像。針對車窗或機窗玻璃反光帶來的影響，利用傳統(tǒng)的梯度投影法進行求解，有可能丟失低頻信息或使圖像顏色失真。而針對高速運動下的抖動模糊，傳統(tǒng)矩形卷積函數(shù)的頻譜具有多零點，其對原圖像的高頻信息損失較大。

發(fā)明內(nèi)容
本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題，特別創(chuàng)新地提出了一種車載或機載圖像采集與重構(gòu)方法及使用該方法的系統(tǒng)。為了實現(xiàn)本發(fā)明的上述目的，根據(jù)本發(fā)明的第一個方面，本發(fā)明提供了一種車載或機載圖像采集與重構(gòu)方法，其包括如下步驟SI :采集車窗或機窗玻璃附著物的成像特性信息，采集車窗或機窗玻璃的反射透射信息和采集運動模糊采集場景的信息；S2 :構(gòu)建成像模型，分析提取實際成像系統(tǒng)及場景先驗；S3 :分解成像要素，獲取車窗或機窗玻璃附著物的成像特性參數(shù)，獲取車窗或機窗玻璃反射透射參數(shù)，獲取運動載荷的運動參數(shù)；S4 :分離場景信號，并基于場景先驗對分離場景信號進行有效增強，提高信噪比；S5:基于步驟S2獲得的成像模型和步驟S3獲得的參數(shù)及成像要素的解析結(jié)果，實現(xiàn)車載或機載圖像效果的渲染與重現(xiàn)。本發(fā)明車載或機載圖像采集與重構(gòu)方法解決了車窗或機窗玻璃附著物、車窗或機窗玻璃反光和高速運動下的抖動模糊對圖像采集和重構(gòu)的影響，能夠得到高質(zhì)量的成像結(jié)果。為了實現(xiàn)本發(fā)明的上述目的，根據(jù)本發(fā)明的第二個方面，本發(fā)明提供了一種車載或機載圖像采集與重構(gòu)系統(tǒng)，其包括相機及與其相連的成像傳感器；位于所述相機鏡頭前的第一極化器，所述第一極化器用于濾除玻璃反射的極化光，只留下玻璃附著物的散射光進入相機鏡頭；可編程快門，所述可編程快門與所述相機相連，所述可編程快門用于控制所述相機進行編碼曝光以去除運動模糊；可控光源及與所述可控光源連接的第二極化器，所述可控光源用于增強車內(nèi)場景的光線和進入相機的進光量，所述第二極化器用于產(chǎn)生具有極化特性的光線。本發(fā)明的車載或機載圖像采集與重構(gòu)系統(tǒng)通過利用帶極化器的可控光源、帶極化器的可控鏡頭和可編程快門，解決了車窗或機窗玻璃附著物、車窗或機窗玻璃反光和高速運動下的抖動模糊對圖像采集和重構(gòu)的影響，能夠得到高質(zhì)量的成像結(jié)果。本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明的上述和/或附加的方面和優(yōu)點從結(jié)合下面附圖對實施例的描述中將變 得明顯和容易理解，其中圖I本發(fā)明車載或機載圖像采集與重構(gòu)系統(tǒng)的一種優(yōu)選實施方式的結(jié)構(gòu)示意圖；圖2是本發(fā)明車載或機載圖像采集與重構(gòu)方法的步驟流程圖；圖3是利用極化采集的系統(tǒng)示意圖；圖4是極化米集系統(tǒng)的光路原理不意圖；圖5是利用閃光非閃光圖像對采集的系統(tǒng)示意圖；圖6是閃光非閃光圖像對采集系統(tǒng)的光路原理示意圖；圖7是實時采集的系統(tǒng)示意圖；圖8是實時采集系統(tǒng)操作步驟示意圖。
具體實施例方式下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。在本發(fā)明的描述中，需要理解的是，術(shù)語“縱向”、“橫向”、“上”、“下”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底” “內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對本發(fā)明的限制。在本發(fā)明的描述中，除非另有規(guī)定和限定，需要說明的是，術(shù)語“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是機械連接或電連接，也可以是兩個元件內(nèi)部的連通，可以是直接相連，也可以通過中間媒介間接相連，對于本領(lǐng)域的普通技術(shù)人員而言，可以根據(jù)具體情況理解上述術(shù)語的具體含義。在車載或機載成像環(huán)境下，為提取出玻璃附著物的特性、去除玻璃反射成像影響和去除運動模糊，本發(fā)明提供了一種車載或機載圖像采集與重構(gòu)系統(tǒng)，圖I是本發(fā)明車載或機載圖像采集與重構(gòu)系統(tǒng)的一種優(yōu)選實施方式的結(jié)構(gòu)示意圖，從圖中可見，該車載或機載圖像采集與重構(gòu)系統(tǒng)包括相機及與其相連的成像傳感器，在相機鏡頭前設(shè)置有第一極化器，該第一極化器用于濾除玻璃反射的極化光，只留下玻璃附著物的散射光進入相機鏡頭。該車載或機載圖像采集與重構(gòu)系統(tǒng)還包括可編程快門，可控光源及與可控光源連接的第二極化器，可控光源用于增強車內(nèi)場景的光線和進入相機的進光量，第二極化器用于產(chǎn)生具有極化特性的光線，可編程快門與相機相連，用于控制相機進行編碼曝光以去除運動模糊。利用本發(fā)明的車載或機載圖像采集與重構(gòu)系統(tǒng)，本發(fā)明提供了一種車載或機載圖像采集與重構(gòu)方法，該方法有如下幾點假設(shè)車內(nèi)或機內(nèi)場景靜止無變化，車外或機外場景為近似平面場景。在這兩點假設(shè)前提下，如圖2所示，該車載或機載圖像采集與重構(gòu)方法包括如下步驟
·
SI :采集車窗或機窗玻璃附著物的成像特性信息，采集車窗或機窗玻璃的反射透射信息和采集運動模糊采集場景的信息；S2 :構(gòu)建成像模型，分析提取實際成像系統(tǒng)及場景先驗；S3 :分解成像要素，獲取車窗或機窗玻璃附著物的成像特性參數(shù)，獲取車窗或機窗玻璃反射透射參數(shù)，獲取運動載荷的運動參數(shù)；S4 :分離場景信號，并基于場景先驗對分離場景信號進行有效增強，提高信噪比；S5:基于步驟S2獲得的成像模型和步驟S3獲得的參數(shù)及成像要素的解析結(jié)果，實現(xiàn)車載或機載圖像效果的渲染與重現(xiàn)。在步驟SI中，如圖2所示，采集過程分為兩個部分，首先是校準(zhǔn)采集，包括極化采集和閃光非閃光圖像對采集兩部分，這兩個采集過程在車輛或者飛機靜止的情況下進行，此時并沒有運動模糊的作用。然后，當(dāng)車輛或飛機啟動時，進行實時的編碼曝光采集。在采集完成后，通過采集得到的數(shù)據(jù)求解得到成像所需的參數(shù)，代入到成像模型中還原出清晰的車外場景。對于極化采集，閃光非閃光圖像對采集和實時的編碼曝光采集，具體的描述如下在本發(fā)明的一個優(yōu)選實施例中，采用可控極化光源和可控極化鏡頭采集車窗或機窗玻璃附著物的成像特性信息。圖3是利用極化采集的系統(tǒng)示意圖，在光源前加上極化器，使得發(fā)出的光線具有極化特性，也即光波電磁波只沿著一個方向振動。在傳輸過程中，玻璃介質(zhì)不改變極化特性，而玻璃的附著物是漫反射介質(zhì)，入射到其上的極化光的極化特性會發(fā)生改變，變?yōu)榉菢O化光，也即振動方向均勻分布。在相機前加上極化器，該極化器僅允許沿著某一方向振動的光線通過，只要將該極化方向調(diào)整為和玻璃反射的極化光振動方向不同即可將極化光過濾，從而只有和附著物作用的光線被采集到，圖4為極化采集系統(tǒng)的光路原理示意圖。接下來進行校準(zhǔn)采集的第二步，即通過閃光非閃光圖像對采集車窗或機窗玻璃的反射透射信息，用閃光非閃光圖像對消除車輛或飛機內(nèi)反射光線的成像作用，由于本發(fā)明最終期望采集得到的是車外或飛機外的場景信息，所以必須去除被反射的車內(nèi)或飛機內(nèi)的光線，圖5為利用閃光非閃光圖像對采集的系統(tǒng)示意圖，圖6是閃光非閃光圖像對采集系統(tǒng)的光路原理示意圖。在沒有閃光燈的情況下，車內(nèi)或飛機內(nèi)的光線與車外或飛機外的光線的強度相當(dāng)，雖然一般玻璃的透射系數(shù)比反射系數(shù)要大很多，但是由于車內(nèi)或飛機內(nèi)的光線本身較強，所以仍有一部分光線貢獻到最后的成像結(jié)果中，如圖6 Ca)中直線所示，這是不期望采集到的光線，但是卻無法忽略。而在圖6 (b)中，使用了閃光燈，這時車內(nèi)或飛機內(nèi)的光線強度瞬間增強，遠大于外部光線，因此在成像結(jié)果中，車內(nèi)或飛機內(nèi)的場景內(nèi)容占了主導(dǎo)，也即以點線為主。利用這一閃光非閃光圖像對，可以將圖6 (a)中無閃光的圖像投影到圖6 (b)中閃光圖像的張量空間中，因為場景雖然在這兩幅圖像中的亮度不同，但結(jié)構(gòu)是不變的。通過這種方法，把圖6 Ca)圖像中的反射成分提取并消除掉。校準(zhǔn)米集完成以后，進行實時米集，此米集過程應(yīng)在車運動過程中完成。在本實施方式中，采用可控編碼曝光傳感器采集運動模糊采集場景的信息。圖7是實時采集的系統(tǒng)示意圖，這一步的關(guān)鍵是要能夠控制相機進行編碼曝光，也即在一幀的采集時間內(nèi)，使相機快門按照一定的規(guī)律開閉，從而使得運動模糊核的頻譜無零點，保留了場景的高頻信息。但是基于編碼曝光的運動去模糊，需要已知模糊圖像的運動模糊核，也即運動速度，或者說是清晰圖像的一個點在模糊圖像中被模糊成多少個像素。運動模糊核的估計可以利用車輛或者飛機本身的速度儀表直接獲得，若是無法直接獲得，可以參考玻璃附著物的分布特性來進行估計，方法是以附著物介質(zhì)層中的某一點為特征點，度量模糊圖像中某一特征的線性 模糊尺度，然后，重構(gòu)具有高質(zhì)量高頻信息的清晰圖像，圖8是實時采集系統(tǒng)操作步驟示意圖。采集完成以后，對采集到的圖像進行重構(gòu)，如圖2所示，首先，構(gòu)建運動、玻璃反射介質(zhì)、玻璃附著物介質(zhì)層共同作用下的耦合成像模型I = aMrt {{areflecti<jn X ^in ) + Prefraction
(km0)) + b—xIdM+n，其中，Ici是待重構(gòu)的清晰成像場景信號，k是運動載荷的運動參數(shù)，表述為運動模糊核，Iin是玻璃反射的車內(nèi)或機內(nèi)場景信號，a是玻璃反射系數(shù)，Iefrartim是玻璃透射系數(shù)，adirt是玻璃附著物對光信號的衰減參數(shù)，Idirt是玻璃附著物本身的成像參數(shù)，bdirt是玻璃附著物本身的成像信息的反射系數(shù)，n是系統(tǒng)成像噪聲。在本實施方式中，利用車窗或機窗玻璃及其附著物的不同極化特性，基于極化光源與極化鏡頭的配合采集，分離極化成像成分與非極化成像成分，從而求解車窗或機窗玻璃附著物的成像特性參數(shù)adirt，bdirt及Idirt。利用閃光與非閃光的圖像對，基于兩幅圖像梯度方向一致原理，消除內(nèi)部反射成分，提取外部透射成分，從而求解車窗或機窗玻璃反射透射參數(shù)Iin，a reflectlon，PMfrac;ti()n。利用編碼曝光采集，結(jié)合重構(gòu)的玻璃附著物結(jié)構(gòu)及模式輔助運動方向和運動速度的估計，從而估計運動載荷的運動參數(shù)，并進行高質(zhì)量運動模糊重構(gòu)得到分離出的Itl信號?；谶\動模糊重構(gòu)得到分離出的Itl信號，考慮相機成像的噪聲模型和場景梯度分布先驗知識，在稀疏約束下計算重構(gòu)并增強場景信號，達到高信噪比成像結(jié)果。在本實施方式中，還可以通過計算重構(gòu)方法得到的參數(shù)，實現(xiàn)對清晰場景的車載機載效果的逼真渲染與重現(xiàn)，并通過改變參數(shù)獲得不同運動、不同介質(zhì)層效果的結(jié)果。在本說明書的描述中，參考術(shù)語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點包含于本發(fā)明的至少一個實施例或示例中。在本說明書中，對上述術(shù)語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結(jié)合。盡管已經(jīng)示出和描述了本發(fā)明的實施例，本領(lǐng)域的普通技術(shù)人員可以理解在不脫離本發(fā)明的原理和宗旨的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發(fā)明的范圍由權(quán)利要求及其等同物限定。
權(quán)利要求
1.一種車載或機載圖像采集與重構(gòu)方法，其特征在于，包括如下步驟 Si:采集車窗或機窗玻璃附著物的成像特性信息，采集車窗或機窗玻璃的反射透射信息和采集運動模糊采集場景的信息； 52:構(gòu)建成像模型，分析提取實際成像系統(tǒng)及場景先驗； 53:分解成像要素，獲取車窗或機窗玻璃附著物的成像特性參數(shù)，獲取車窗或機窗玻璃反射透射參數(shù)，獲取運動載荷的運動參數(shù)； 54:分離場景信號，并基于場景先驗對分離場景信號進行有效增強，提高信噪比； 55:基于步驟S2獲得的成像模型和步驟S3獲得的參數(shù)及成像要素的解析結(jié)果，實現(xiàn)車載或機載圖像效果的渲染與重現(xiàn)。
2.如權(quán)利要求I所述的車載或機載圖像采集與重構(gòu)方法，其特征在于，在所述步驟SI中，采用可控極化光源和可控極化鏡頭采集車窗或機窗玻璃附著物的成像特性信息。
3.如權(quán)利要求I所述的車載或機載圖像采集與重構(gòu)方法，其特征在于，在步驟SI中，通過閃光非閃光圖像對米集車窗或機窗玻璃的反射透射信息。
4.如權(quán)利要求I所述的車載或機載圖像采集與重構(gòu)方法，其特征在于，在步驟SI中，通過可控編碼曝光傳感器采集運動模糊采集場景的信息。
5.如權(quán)利要求I所述的車載或機載圖像采集與重構(gòu)方法，其特征在于，在步驟S2中，成像模型為 I _ ^dirt ^y^reflecrion ^ I in〉 + ド refraction(Ar J0)) + bdjn XIdjrt + n 其中，Itl是待重構(gòu)的清晰成像場景信號，k是運動載荷的運動參數(shù)，表述為運動模糊核，Iin是玻璃反射的車內(nèi)或機內(nèi)場景信號，a reflection是玻璃反射系數(shù)，^ refraction是玻璃透射系數(shù)，adirt是玻璃附著物對光信號的衰減參數(shù)，Idirt是玻璃附著物本身的成像參數(shù)，bdirt是玻璃附著物本身的成像信息的反射系數(shù)，n是系統(tǒng)成像噪聲。
6.如權(quán)利要求I所述的車載或機載圖像采集與重構(gòu)方法，其特征在于，在步驟S3中，利用不同介質(zhì)的不同極化特性，基于極化光源與極化鏡頭的配合采集，分離極化成像成分與非極化成像成分，從而求解車窗或機窗玻璃附著物的成像特性參數(shù)adirt，bdirt及Idirt。
7.如權(quán)利要求I所述的車載或機載圖像采集與重構(gòu)方法，其特征在于，在步驟S3中，利用閃光與非閃光的圖像對，基于兩幅圖像梯度方向一致原理，消除內(nèi)部反射成分，提取外部透射成分，從而求解車窗或機窗玻璃反射透射參數(shù)Iin，Q reflection^ ^ refraction"
8.如權(quán)利要求I所述的車載或機載圖像采集與重構(gòu)方法，其特征在于，在步驟S3中，利用編碼曝光采集，結(jié)合重構(gòu)的玻璃附著物結(jié)構(gòu)及模式輔助運動方向和運動速度的估計，估計運動載荷的運動參數(shù)k，并進行高質(zhì)量運動模糊重構(gòu)得到分離出的Itl信號。
9.如權(quán)利要求I所述的車載或機載圖像采集與重構(gòu)方法，其特征在于，在步驟S4中，基于運動模糊重構(gòu)得到分離出的Itl信號，考慮相機成像的噪聲模型和場景梯度分布先驗知識，在稀疏約束下計算重構(gòu)并增強場景信號，達到高信噪比成像結(jié)果。
10.一種車載或機載圖像采集與重構(gòu)系統(tǒng)，其特征在于，包括 相機及與其相連的成像傳感器； 位于所述相機鏡頭前的第一極化器，所述第一極化器用于濾除玻璃反射的極化光，只留下玻璃附著物的散射光進入相機鏡頭；可編程快門，所述可編程快門與所述相機相連，所述可編程快門用于控制所述相機進行編碼曝光以去除運動模糊；可控光源及與所述可控光源連接的第二極化器，所述可控光源用于增強車內(nèi)場景的光線和進入相機的進光量，所述第二極化器用于產(chǎn)生具有極化特性的光線。
全文摘要
本發(fā)明提出了一種車載或機載圖像采集與重構(gòu)方法及使用該方法的系統(tǒng)，該系統(tǒng)包括相機，成像傳感器，第一極化器，可編程快門，可控光源及和第二極化器。該方法包括采集車窗或機窗玻璃附著物的成像特性信息、玻璃反射透射信息和運動模糊采集場景的信息；構(gòu)建成像模型；分解成像要素，獲取車窗或機窗玻璃附著物的成像特性參數(shù)、玻璃反射透射參數(shù)和運動載荷的運動參數(shù)；分離場景信號；基于獲得的參數(shù)及成像要素的解析結(jié)果，實現(xiàn)圖像效果的渲染與重現(xiàn)。本發(fā)明通過利用帶極化器的可控光源、帶極化器的可控鏡頭和可編程快門，解決了車窗或機窗玻璃附著物、車窗或機窗玻璃反光和高速運動下的抖動模糊對圖像采集和重構(gòu)的影響，能夠得到高質(zhì)量的成像結(jié)果。
文檔編號H04N5/235GK102739946SQ201210180128
公開日2012年10月17日 申請日期2012年6月1日 優(yōu)先權(quán)日2012年6月1日
發(fā)明者季向陽, 戴瓊海, 武迪, 譚天 申請人:清華大學(xué)