專利名稱：序列虹膜圖像超分辨率重建方法
技術(shù)領(lǐng)域：
本發(fā)明屬于生物特征識別領(lǐng)域，涉及數(shù)字圖像處理、統(tǒng)計學(xué)習(xí)和模式識別等技術(shù)，特別是涉及一種序列虹膜圖像的超分辨率重建方法。
背景技術(shù)：
基于虹膜的身份鑒別以其高可靠性，穩(wěn)定性和非侵犯性而占有生物特征識別技術(shù)的重要地位。一般的識別方法都是基于滿足一定分辨率的圖像進行的，如國際標(biāo)準(zhǔn)要求圖像中虹膜直徑不少于150像素。而在實際圖像獲取中，在一些特定環(huán)境，如遠(yuǎn)距離識別或者受到系統(tǒng)光學(xué)性能的限制，不一定能獲取較高分辨率的圖像，低分辨率圖像往往在識別時被摒棄，或者在識別時不能獲得高的性能，對這些圖像進行高分辨率重構(gòu)能夠增加識別率，提高系統(tǒng)魯棒性及易用性。目前，虹膜圖像的超分辨率重建可以基于普通圖像超分辨率重建技術(shù)，但就虹膜圖像而言，因其虹膜紋理與占據(jù)環(huán)形區(qū)域的特殊性，其重建過程與普通圖像有所不同。其主要步驟包括圖像預(yù)處理、圖像配準(zhǔn)和超分辨率重建。虹膜圖像在進行采集時由于瞳孔的振顫特性而使圖像具有不同的瞳孔尺寸和虹膜紋理區(qū)域，在識別時只考慮虹膜紋理區(qū)域特征，因此可以先將虹膜進行定位及歸一化展開，只保留虹膜紋理區(qū)域進行后續(xù)超分辨率重建。序列圖像的配準(zhǔn)即運動估計，是尋找兩幅圖像在空間和灰度上的映射的過程，一般情況下圖像配準(zhǔn)的方法通?？煞譃槿?I)基于像素的配準(zhǔn)方法，即根據(jù)待配準(zhǔn)圖像的相關(guān)函數(shù)、Fourier變換和各階矩量之間的關(guān)系式來計算配準(zhǔn)參數(shù)。(2)基于特征的配準(zhǔn)方法，即根據(jù)需要配準(zhǔn)圖像重要相同特征之間的幾何關(guān)系確定配準(zhǔn)參數(shù)。這類方法首先需要提取特征，如圖像的邊緣、角、點、線、曲率等具有不變性的特征。提取特征可在空間域內(nèi)進行。也可在變換域內(nèi)進行。(3)基于模型的配準(zhǔn)方法，這種方法是根據(jù)圖像失真的數(shù)學(xué)模型來進行非線性校正式的配準(zhǔn)。由于虹膜圖像的旋轉(zhuǎn)在歸一化圖像中體現(xiàn)為水平位移，因此序列歸一化虹膜圖像的配準(zhǔn)可只考慮二維的位移。根據(jù)歸一化圖像的特點，以及虹膜識別系統(tǒng)的速度和精度要求，選擇基于像素的Fourier變換方法來對其進行配準(zhǔn)。目前，序列虹膜圖像的超分辨率重建方法多采用空域的方法，包括主成分變換法、基于學(xué)習(xí)的多層感知器法、圖像平均法、以及貝葉斯最大后驗概率法等。這些方法包含先驗信息的約束，能將插值、迭代、濾波重采樣同復(fù)雜的運動模型結(jié)合起來處理?？沼蚍ǖ慕蒂|(zhì)過程模型內(nèi)容廣泛，可以包括非理想采樣、空間可變點擴散函數(shù)、全局運動和局部運動、光學(xué)模糊、運動模糊等。重復(fù)背投影法也是空域法中的一種，首先用一幅輸入圖像進行插值作為輸出圖像的初始估計，并將所有低分辨率圖像插值得到高分辨率圖像，估計圖像與實際觀測圖像的高分辨率插值圖像之間的差值稱為模擬誤差，根據(jù)模擬誤差不斷更新當(dāng)前估計。簡而言之，就是重復(fù)地應(yīng)用各幅低分辨率圖像的插值圖像與估計得到的高分辨率圖像的差來更新估計的高分辨率圖像。重復(fù)背投影法通過觀測方程使超分辨率的結(jié)果與觀測數(shù)據(jù)匹配，因此， 可以用于序列虹膜圖像的重建。

發(fā)明內(nèi)容
(一 )要解決的技術(shù)問題本發(fā)明的目的在于減少虹膜識別系統(tǒng)中對圖像分辨率要求的限制，提供一種序列虹膜圖像的超分辨率重建方法。此方法能提取低分辨率序列虹膜圖像中的信息，重建得到高分辨率虹膜圖像，提高虹膜識別系統(tǒng)的易用性，具有更低的等錯誤率。(二)技術(shù)解決方案為達(dá)到上述目的，本發(fā)明提供了一種序列虹膜圖像的超分辨率重建方法，其中至少使用一幀圖像對序列虹膜圖像進行重建，包括以下步驟S1、從視頻中選取任意幅虹膜圖像，并對選取的序列圖像分別進行預(yù)處理，得到序列歸一化虹膜圖像；S2、采用頻域配準(zhǔn)方法對序列歸一化虹膜圖像進行配準(zhǔn)；S3、采用改進的重復(fù)背投影法對配準(zhǔn)后的歸一化虹膜圖像進行超分辨率重建；上述方案中，所述步驟SI包括S11、從視頻序列中選取成像清晰、對比度較好的正面虹膜圖像；S12、對選取的序列虹膜圖像分別進行虹膜內(nèi)外邊界的定位，將虹膜區(qū)域從圖像中分割，并將分割得到的虹膜區(qū)域映射到極坐標(biāo)，得到歸一化的虹膜圖像。步驟Sll中采用局部對比度法進行圖像清晰度判斷，并且采用微積分算子進行瞳孔和虹膜是否圓形的檢測以確定是否為正向虹膜圖像；步驟S12中采用Sobel算子和Hough變換的方法定位虹膜，采用分段插值得到虹膜紋理矩形圖像。上述方案中，所述步驟S2包括S21、從序列虹膜圖像中選取一幀作為參考幀，對所有序列圖像進行頻域變換并計算其他幀與參考幀之間的頻移；S23、根據(jù)計算得到的頻移計算對應(yīng)的歸一化圖像中的水平和垂直位移并進行圖像配準(zhǔn)。其中采用Fourier變換的方法計算多幀圖像間的位移，實現(xiàn)空域圖像的運動估計。上述方案中，所述步驟S3包括S31、對配準(zhǔn)后的歸一化序列虹膜圖像進行插值得到高分辨率序列插值圖像；S32、將插值后的參考幀作為高分辨率圖像的初始估計，計算估計圖像與輸入的第一幀高分辨率插值圖像間的均方誤差；采用迭代方式對高分辨率估計圖像進行逐步修正迭代，每次迭代后再次計算均方誤差，滿足預(yù)設(shè)的收斂條件時停止迭代；S33、計算下一幀輸入高分辨率插值圖像與當(dāng)前估計圖像的均方誤差，再次修正并迭代，直到最后一幀高分辨率插值圖像與估計圖像間的誤差滿足收斂條件，輸出估計圖像得到高分辨率歸一化虹膜圖像。其中步驟S32中在計算均方誤差時，采用高分辨率序列插值圖像的降質(zhì)模型的中值與輸入幀數(shù)的乘積來代替所有高分辨率序列插值圖像的降質(zhì)模型之和；步驟S32和S33的收斂條件為當(dāng)前迭代與最后三次迭代之間的均方誤差小于設(shè)定的閾值。(三)有益效果從上述技術(shù)方案可以看出，本發(fā)明具有以下有益效果1、本發(fā)明提供的這種序列虹膜圖像的超分辨率重建方法，通過利用低分辨率序列虹膜圖像間的互補信息，能有效重建出包含更多信息的高分辨率虹膜圖像，實現(xiàn)多幅低分辨率虹膜圖像信息融合到一幅高分辨率圖像，而且可以對任意幅輸入的虹膜圖像進行重建。
2、本發(fā)明提供的這種序列虹膜圖像的超分辨率重建方法，對虹膜圖像歸一化后進行配準(zhǔn)，能夠消除瞳孔收縮引起的虹膜紋理區(qū)域尺寸不一致帶來的圖像配準(zhǔn)困難；此外，虹膜圖像的旋轉(zhuǎn)轉(zhuǎn)變?yōu)闅w一化圖像的平移，計算簡便；采用基于灰度的頻域變換的方法進行圖像配準(zhǔn)，處理速度快。3、本發(fā)明提供的這種序列虹膜圖像的超分辨率重建方法，采用一種改進的重復(fù)背投影法，通過逐次計算高分辨率估計圖像與輸入圖像間的均方誤差并修正來迭代得到更接近于虹膜圖像源的高分辨率圖像。采用高分辨率序列插值圖像的降質(zhì)模型的中值與輸入幀數(shù)的乘積來代替所有高分辨率序列插值圖像的降質(zhì)模型之和，代入計算均方誤差公式，不僅有效正確的估計高分辨率圖像，而且提高了算法魯棒性，在序列低分辨率虹膜圖像中有一些離群值時，能提高識別精度。


圖1是序列虹膜圖像超分辨率重建流程圖；圖2是改進的重復(fù)背投影法進行超分辨率圖像重建的流程圖；圖3是不同分辨率水平的虹膜圖像的示例，其中(a)是常用的分辨率為640X480的虹膜圖像(其中虹膜直徑約200像元)；(b)是分辨率為320 X 240的虹膜圖像；(c)是分辨率為160X 120的虹膜圖像；圖4是序列虹膜圖像超分辨率重建的結(jié)果，其中(a)是序列歸一化虹膜圖像；(b) (c) (d)分別是用2、4、6幅圖像重建的高分辨率歸一化虹膜圖像；圖5是不同數(shù)量虹膜圖像進行超分辨率重建后建立對應(yīng)虹膜數(shù)據(jù)庫的識別ROC曲線及EER ；圖6是采用本發(fā)明提供的序列虹膜圖像超分辨率重建方法以及“圖像平均(imageaveraging)”方法對Set S2分別采用4幅圖像進行超分辨率重建后識別結(jié)果的比較。
具體實施例方式下面結(jié)合實施例并參照附圖詳細(xì)說明本發(fā)明技術(shù)方案中所涉及的各個細(xì)節(jié)問題。低分辨率的虹膜圖像會對識別性能有較壞的影響。一般來說，虹膜識別系統(tǒng)的前端都有質(zhì)量評價體系，對于低于一定分辨率的虹膜圖像予以舍棄，只選擇較高分辨率清晰虹膜圖像做識別。但在一些大場景或遠(yuǎn)距離拍攝的情況下，或者受到系統(tǒng)光學(xué)性能的限制，虹膜圖像的分辨率無法達(dá)到標(biāo)準(zhǔn)。因此，對低分辨率序列虹膜圖像進行超分辨率重建并識另IJ，可提高虹膜識別系統(tǒng)的易用性。本發(fā)明提出的序列虹膜圖像的超分辨率重建方法，可用于多種虹膜圖像識別系統(tǒng)，其流程圖如圖1所示，包括以下步驟S1、從視頻序列中選取任意幅虹膜圖像，并對選取的圖像分別進行預(yù)處理，得到序列歸一化虹膜圖像；S2、采用頻域配準(zhǔn)方法對序列歸一化虹膜圖像進行配準(zhǔn)；S3、采用改進的重復(fù)背投影法對配準(zhǔn)后的歸一化虹膜圖像進行超分辨率重建；
下面對本發(fā)明涉及的關(guān)鍵步驟進行逐一說明。本發(fā)明所述方法中各個基本步驟的具體形式如下所述首先，步驟SI從視頻序列中選取任意幅虹膜圖像，并對選取的圖像分別進行預(yù)處理，得到序列歸一化虹膜圖像。采集到視頻圖像不一定每幀都是清晰有效的，從中選取合適的圖像進行處理是保證有效超分辨圖像重建的前提。對圖像進行定位及歸一化處理，可有效分隔出虹膜紋理區(qū)域，得到矩形區(qū)域便于后續(xù)處理。具體過程如下S11、選取任意幅成像清晰、對比度較好的正面虹膜圖像。采用局部對比度法進行圖像清晰度判斷，并且采用微積分算子進行瞳孔和虹膜是否圓形的檢測以確定是否為正向虹膜圖像，同時利用圓形檢測結(jié)果剔除眼皮遮擋嚴(yán)重的虹膜圖像；S12、對選取的序列虹膜圖像分別進行虹膜內(nèi)外邊界的定位，將虹膜區(qū)域從圖像中分割，并將分割得到的虹膜區(qū)域映射到極坐標(biāo)，得到歸一化的虹膜圖像。采用二值化方法定位瞳孔邊界，即虹膜內(nèi)邊界，然后采用Sobel算子進行邊緣檢測，利用Hough變換的方法定位虹膜外邊界，采用分段插值將定位后的虹膜區(qū)域映射到極坐標(biāo)得到歸一化的虹膜圖像。其次，步驟S2是采用頻域配準(zhǔn)方法對其他序列幀與參考幀進行配準(zhǔn)；虹膜圖像的旋轉(zhuǎn)在歸一化圖像中轉(zhuǎn)化為水平方向平移，通過估計歸一化圖像中的水平和垂直位移則可得到序列虹膜圖像間的運動估計。具體過程如下S21、依據(jù)空間域的平移量與頻域的頻移量的對應(yīng)關(guān)系，可以快速的實現(xiàn)運動估計。從序列虹膜圖像中選取一幀作為參考幀，計算所有輸入幀的傅里葉變換，比較輸入幀與參考幀之間的頻率位移。S22、依據(jù)傅里葉變換公式，得到頻率位移對應(yīng)得水平和垂直位移。按照得到的位移量將圖像平移配準(zhǔn)。最后，步驟S3是采用改進的重復(fù)背投影法對配準(zhǔn)后的歸一化虹膜圖像進行超分辨率重建，其流程圖如圖2所示，具體過程如下S31、采用雙三次線性插值對配準(zhǔn)后的序列歸一化圖像插值，得到高分辨率的序列歸一化虹膜圖像S32、對高分辨率圖像進行估計和迭代，經(jīng)過配準(zhǔn)后的歸一化虹膜圖像降質(zhì)模型表示為Yt =DtCtFt X+E1(I)其中，X是用向量表示的高分辨率估計圖像，Yk表示輸入n幀圖像的第k幅圖像，Dk表示降采樣矩陣，Ck表示模糊矩陣，F(xiàn)k表示幾何變形矩陣，Ek表示噪聲。對單幀高分辨率圖像做降質(zhì)處理，依次進行幾何變形、模糊、降采樣過程及增加噪聲，獲得低分辨率序列圖像Yk。根據(jù)式(2)計算每一次迭代后的均方誤差
權(quán)利要求
1.一種序列虹膜圖像的超分辨率重建方法，其中至少使用一幀圖像對序列虹膜圖像進行超分辨力重建，包括以下步驟 51、從視頻中選取序列虹膜圖像，分別進行預(yù)處理，得到序列歸一化虹膜圖像； 52、采用頻域變換方法對序列歸一化虹膜圖像進行配準(zhǔn)； 53、采用改進的重復(fù)背投影法對配準(zhǔn)后的歸一化虹膜圖像進行超分辨率重建。
2.根據(jù)權(quán)利要求1所述的序列虹膜圖像超分辨率重建方法，其特征在于，所述步驟SI包括 511、從視頻中選取任意幅紋理清晰、對比度良好的正面虹膜圖像； 512、對選取的序列虹膜圖像分別進行虹膜內(nèi)外邊界的定位，將虹膜區(qū)域從圖像中分害I]，并將分割得到的虹膜區(qū)域映射到極坐標(biāo)，得到歸一化的虹膜圖像。
3.根據(jù)權(quán)利要求2所述的序列虹膜圖像超分辨率重建方法，其特征在于， 步驟Sll中采用局部對比度法進行圖像清晰度判斷，并且采用微積分算子進行瞳孔和虹膜是否圓形的檢測以確定是否為正向虹膜圖像；
4.根據(jù)權(quán)利要求2所述的序列虹膜圖像超分辨率重建方法，其特征在于， 步驟S12中采用Sobel算子和Hough變換的方法定位虹膜，采用分段插值得到虹膜紋理矩形圖像；
5.根據(jù)權(quán)利要求1所述的序列虹膜圖像超分辨率重建方法，其特征在于，所述步驟S2包括 521、從序列虹膜圖像中選取一幀作為參考幀，對所有序列圖像進行頻域變換并計算其他幀與參考幀之間的頻移； 522、根據(jù)計算得到的頻移計算對應(yīng)的歸一化圖像中的水平和垂直位移。
6.根據(jù)權(quán)利要求5所述的序列虹膜圖像超分辨率重建方法，其特征在于， 采用Fourier變換的方法計算多幀圖像間的位移，實現(xiàn)空域圖像的運動估計；
7.根據(jù)權(quán)利要求1所述的序列虹膜圖像超分辨率重建方法，其特征在于，所述步驟S3包括 531、對配準(zhǔn)后的歸一化序列虹膜圖像進行插值得到高分辨率序列插值圖像； 532、將插值后的參考幀作為高分辨率圖像的初始估計，計算估計圖像與輸入的第一幀高分辨率插值圖像間的均方誤差；采用迭代方式對高分辨率估計圖像進行逐步修正迭代，每次迭代后再次計算均方誤差，滿足預(yù)設(shè)的收斂條件時停止迭代； 533、計算下一幀輸入高分辨率插值圖像與當(dāng)前估計圖像的均方誤差，再次修正并迭代，直到最后一幀高分辨率插值圖像與估計圖像間的誤差滿足收斂條件，輸出估計圖像得到高分辨率歸一化虹膜圖像。
8.根據(jù)權(quán)利要求7所述的序列虹膜圖像超分辨率重建方法，其特征在于， 步驟S32中在計算均方誤差時，采用高分辨率序列插值圖像的降質(zhì)模型的中值與輸入幀數(shù)的乘積來代替所有高分辨率序列插值圖像的降質(zhì)模型之和；
9.根據(jù)權(quán)利要求7所述的序列虹膜圖像超分辨率重建方法，其特征在于， 步驟S32和S33的收斂條件為當(dāng)前迭代與最后三次迭代之間的均方誤差小于設(shè)定的閾值。
全文摘要
本發(fā)明公開了一種序列虹膜圖像超分辨率重建方法，首先選取合適的序列虹膜圖像，分別進行定位及歸一化處理，然后用頻域的方法對序列歸一化圖像進行配準(zhǔn)，在圖像插值的基礎(chǔ)上，采用改進的重復(fù)背投影法提取多幅虹膜圖像信息對高分辨率虹膜圖像進行估計和迭代，實現(xiàn)超分辨率虹膜圖像重建。本發(fā)明可以有效減小低分辨率虹膜圖像對識別性能的影響，提升系統(tǒng)的魯棒性，放寬對用戶的限制，增加虹膜識別系統(tǒng)的應(yīng)用領(lǐng)域。
文檔編號G06T3/40GK103020898SQ20121050786
公開日2013年4月3日 申請日期2012年12月3日 優(yōu)先權(quán)日2012年12月3日
發(fā)明者何玉青, 任慧穎, 潘景, 李力, 李嘉琦 申請人:北京理工大學(xué)