專利名稱：基于拉普拉斯金字塔的人臉圖像融合方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于拉普拉斯金字塔的人臉圖像融合方法，屬于人臉識別技術(shù)。
背景技術(shù)：
在某些情況下，可見光傳感器采集的圖像會嚴(yán)重受到光照條件的影響，這給圖像的 進(jìn)一步處理和分析造成了很大的不便，例如人臉檢測和識別。而近紅外傳感器采集的圖 像有對光照影響不敏感的優(yōu)點。因此可以應(yīng)用多傳感器圖像融合技術(shù)在一定程度上消除 光照對于圖像的影響。
隨著新的圖像傳感器技術(shù)的發(fā)展，多傳感器圖像融合技術(shù)也得到了蓬勃的發(fā)展。至 今為止，出現(xiàn)了許多性能優(yōu)良的融合技術(shù)，如簡單加權(quán)融合技術(shù)，基于主分量分析的融 合技術(shù)，假彩色融合技術(shù)，基于神經(jīng)網(wǎng)絡(luò)的融合技術(shù)和多分辨率分解融合技術(shù)等。其中 多分辨率融合技術(shù)處于佼佼者的地位。
作為一種新興的圖像處理技術(shù)，多傳感器圖像融合技術(shù)涉及了多個領(lǐng)域，例如模式 識別，人工智能，圖像處理等各個方面。并因為其強大的圖像處理功能在遙感，計算機 視覺，醫(yī)學(xué)圖像處理和軍事方面有著廣闊的應(yīng)用前景。雖然利用兩幅或多幅圖像進(jìn)行圖 像融合的技術(shù)已經(jīng)取得顯著得成果，但是如何得到更精確、更清晰穩(wěn)定、帶有更多有用 信息的圖像仍然是多傳感器圖像融合技術(shù)亟待解決的問題。 發(fā)明 內(nèi) 容
本發(fā)明的內(nèi)容在于建立一種基于拉普拉斯金字塔的人臉圖像融合方法，用于獲得一 幅高清晰度、便于人眼觀察、對光照魯棒性好的圖像，為直接應(yīng)用或者進(jìn)一步的處理提 供優(yōu)秀的圖像源。為了達(dá)到上述目的，本發(fā)明的技術(shù)解決方案提供了一種基于拉普拉斯 金字塔的人臉圖像融合方法，本發(fā)明在基于拉普拉斯金字塔分解的基礎(chǔ)上，將改進(jìn)的局 部二值模式(Local Binary Pattern,簡稱LBP)算子應(yīng)用于融合規(guī)則，從而對紅外和 可見光人臉圖像進(jìn)行有效融合得到細(xì)節(jié)信息豐富、清晰穩(wěn)定、便于人眼觀察的融合圖像。 如圖1所示，該方法包含如下步驟步驟一分別用近紅外攝像頭和可見光攝像頭采集近紅外人臉圖像和可見光人臉圖
像；
步驟二拉普拉斯金字塔分解；
將步驟一得到的近紅外人臉圖像和可見光人臉圖像分別進(jìn)行拉普拉斯金字塔分解； 步驟三融合近紅外人臉圖像和可見光人臉圖像；
基于局部二值模式，即基于簡稱為LBP算子的融合規(guī)則，將從步驟二中得到的近紅 外拉普拉斯金字塔人臉圖像和可見光拉普拉斯金字塔人臉圖像進(jìn)行融合； 步驟四逆拉普拉斯金字塔分解；
將從步驟三中得到的融合結(jié)果進(jìn)行逆拉普拉斯金字塔分解，得到融合人臉圖像； 步驟五融合人臉圖像f俞出； 將從步驟四中得到的融合人臉圖像輸出。 本發(fā)明的優(yōu)點在于
(1) 在基于拉普拉斯金字塔分解基礎(chǔ)上，將改進(jìn)的局部二值模式(Local Binary Pattern,簡稱LBP)算子應(yīng)用于融合規(guī)則；
(2) 對紅外和可見光人臉圖像進(jìn)行有效融合可以得到細(xì)節(jié)信息豐富，清晰穩(wěn)定， 便于人眼觀察的融合圖像；
(3) 與可見光圖像和近紅外圖像相比較，融合圖像的信息熵更大，而平均交叉熵 和均方根交叉熵更小，融合圖像的效果就更明顯。


圖1為本發(fā)明基于拉普拉斯金字塔的人臉圖像融合方法示意圖2為本發(fā)明采用的LBP算子的不變一致性模式；
圖3為本發(fā)明與現(xiàn)有技術(shù)的實驗效果對比圖。
具體實施例方式
下面結(jié)合附圖和具體實施方式
對本發(fā)明做進(jìn)一步詳細(xì)說明。
圖1所示為本發(fā)明基于拉普拉斯金字塔的人臉圖像融合方法示意圖，本發(fā)明所述方 法包含如下步驟
步驟一分別用近紅外攝像頭和可見光攝像頭采集近紅外人臉圖像和可見光人臉圖
像；圖像釆集由」臺近紅外攝像頭、 一臺可見光攝像頭、 一塊圖像釆集卡和一臺計箅機 來完成。近紅外攝像頭和可見光攝像頭之間的距離經(jīng)過調(diào)試確定之后，調(diào)整目標(biāo)人物與 攝像頭之間的距離以獲取兩張像素上比較相近的圖像，達(dá)到初步配準(zhǔn)兩幅圖像的目的， 之后再通過最大相關(guān)性原則對兩幅圖像進(jìn)行精確配準(zhǔn)并將其歸一化為60乘60的大小。
步驟二拉普拉斯金字塔分解；
將步驟一得到的近紅外人臉圖像和可見光人臉圖像分別進(jìn)行拉普拉斯金字塔分解， 具體過程如下
首先,構(gòu)建高斯金字塔，以釆集的圖像為金字塔的第0層，第/層的圖像通過對第/-1 層圖像進(jìn)行隔行降采樣獲得，
G/ = S S "X ,一j (2/ +附，2_/ + w)
其中，N為金字塔的總層數(shù)，C,和i ,分別代表第/層金字塔的列數(shù)和行數(shù)， 稱為權(quán)函數(shù)或者生成核，具體采用數(shù)值如下
256
14641
41624164
62436246
41624164
14641
這個過程稱為"REDUCE算子"，記做G,i^DL/CE[(^]，由于金字塔各層圖像
均為低通圖像，故稱之為"高斯金字塔"。
然后，由髙斯金字塔構(gòu)建拉普拉斯金字塔
構(gòu)建的關(guān)鍵步驟是對高斯金字塔的各層圖像進(jìn)行內(nèi)插放大，該過程稱為EXPAND 算子，記做C^,EXPAND[G,]，具體計算步驟如下
2
2
2
2
2
2
0
當(dāng)，^為整數(shù)時 2 2 其它
最后，拉普拉斯金字塔的第/層圖像由A-G,-^^MA^[G,J獲得。其中Z,為拉普 拉斯金字塔的第/層圖像，《和《+1分別為高斯金字塔第/和/+1層圖像。 步驟三融合近紅外人臉圖像和可見光人臉圖像；
7基于局部二值模式，即基于簡稱為LBP算子的融合規(guī)則，將從步驟二中得到的近紅 外拉普拉斯金字塔人臉圖像和可見光拉普拉斯金字塔人臉圖像進(jìn)行融合； 融合方法設(shè)計如下
,首先，將要融合的同一層拉普拉斯金字塔圖像的對應(yīng)像素點擴展到5x5的區(qū)域，然 后用旋轉(zhuǎn)不變性的一致性模式Z朋算子M《f對這個區(qū)域提取Z朋特征，其中上標(biāo)
r!'"2代表旋轉(zhuǎn)不變的一致性模式，下標(biāo)8,1代表著以某像素為中心，在半徑為1的范圍 內(nèi)比較周圍8個像素與該中心像素間的關(guān)系。丄萬《;"2算子總共有256個模式，在這256 個模式中一共有9類旋轉(zhuǎn)不變的一致性模式，如圖2所示。
除了采用圖2所示的9個模式外，將其余的247個模式都?xì)w到第10類，得到一 個lxlO維的統(tǒng)計直方圖向量，統(tǒng)計直方圖向量的元素值代表各個類的總數(shù)。由于單純
的丄SP值所能攜帶的信息量有限，并不能充分表達(dá)區(qū)域特征，因此在丄5戶值的基礎(chǔ)上丄.
引入平均梯度的概念^ = 4^^-&|，其中&為中心像素的灰度值，gp為周圍像素
點的灰度值，將原有的1x10維統(tǒng)計直方圖向量擴展到了 lxll維統(tǒng)計直方圖向量，并
力r
設(shè)定了一個Salience值5 = ^來代表特征，其中^G為平均梯度，SD為圖像直方圖
的標(biāo)準(zhǔn)差。至于兩個向量間的匹配度，采用Chi平方統(tǒng)計相似性測度來測量，定義如下 r (A,-/f2,)2
M = XW ^ +// ， bO,l，....lO， M代表了近紅外圖像統(tǒng)計直方圖向量//,，,
和可見光圖像統(tǒng)計直方圖向量//2,,的匹配程度，權(quán)值w在此處取值為1。
融合后的圖像像素點的灰度值由紅外和可見光圖像對應(yīng)像素點的灰度值加權(quán)得到
F(/,yXM,(/,力+ ^/M2(/,_/)，其中F(/，力為融合圖像(i,j)點的灰度值，/M々，/)和
/似2(/,刀分別為近紅外和可見光相應(yīng)像素點的灰度值，^和^為各自的權(quán)值。當(dāng)
M20.75時，存在較小的權(quán)值w^ =^^和較大的權(quán)值"_ =l-wmin ，其中"=0.75 ;
2(1-")
其他情況fi^n =0 fl""Wmax =1。然后比較兩個像素點的5 =:值，假設(shè)S1為近紅外圖
像的Salience值，S2為可見光圖像的Salience值，如果S12S2 ，則 A = wmax "wJ 2 = wmin ，反之貝U w2 = max am/q = wmin 。遍歷所有像素點之后，從而得
到融合后的圖像。
步驟四逆拉普拉斯金字塔分解；將從步驟三中得到的融合結(jié)果進(jìn)行逆拉普拉斯金字塔分解，得到融合人臉圖像。 步驟五融合人臉圖像輸出；
將從步驟四中得到的融合人臉圖像輸出。
為了證明本發(fā)明所述方法的有效性，將發(fā)明所述方法與另外兩種方法進(jìn)行比較，一 種是簡單的選大方法，即將灰度值較大的像素點選為融合圖像的相應(yīng)像素點，另一種是
經(jīng)典的Burt方法，在Burt的方法中，先計算兩幅圖像對應(yīng)的中心像素點3x3區(qū)域的 局部能量，然后根據(jù)局部能量的匹配度來確定加權(quán)融合中的權(quán)值。并用信息熵，平均交 叉熵和均方根交叉熵對三種方法進(jìn)行定量比較。
如圖3結(jié)果所示(A)為可見光圖像，(B)為近紅外圖像，(C)為單純選大的融 合圖像，(D)為Burt方法的融合圖像，(E)為本發(fā)明的方法。
下表1顯示了定量比較的結(jié)果
表l
融合方法信息熵平均交叉熵均方根交叉熵
選大方法4.73620.230650.25941
Burt方法4.84970.215990.24383
本發(fā)明方法4.85050.174760.22293
信息熵越大說明圖像攜帶的有用信息含量就越多，而平均交叉熵和均方根交叉熵越 小說明融合圖像與可見光圖像和近紅外圖像的關(guān)聯(lián)就越小，融合的效果就越明顯。從表 1可見本發(fā)明方法的信息熵最大，而平均交叉熵和均方根交叉熵最小，因此本發(fā)明的方 法要優(yōu)于另外兩種方法。
權(quán)利要求
1、基于拉普拉斯金字塔的人臉圖像融合方法，該方法包括如下步驟步驟一分別用近紅外攝像頭和可見光攝像頭采集近紅外人臉圖像和可見光人臉圖像；圖像采集由一臺近紅外攝像頭、一臺可見光攝像頭、一塊圖像采集卡和一臺計算機來完成；首先，調(diào)試確定近紅外攝像頭和可見光攝像頭之間的距離；然后，調(diào)整目標(biāo)人物與攝像頭之間的距離，獲取兩張像素上比較相近的圖像；最后，通過最大相關(guān)性原則對兩幅圖像進(jìn)行精確配準(zhǔn)，并將其歸一化為60乘60的大??；步驟二拉普拉斯金字塔分解；將步驟一得到的近紅外人臉圖像和可見光人臉圖像分別進(jìn)行拉普拉斯金字塔分解，具體過程如下首先，構(gòu)建高斯金字塔，以采集的圖像為金字塔的第0層，第l層的圖像通過對第l-1層圖像進(jìn)行隔行降采樣獲得，0<l≤N，0≤i<Cl，0≤j<Rl其中，N為金字塔的總層數(shù)，Cl和Rl分別代表第l層金字塔的列數(shù)和行數(shù)，ω(m，n)稱為權(quán)函數(shù)或者生成核，具體采用數(shù)值如下上述過程為REDUCE算子，記做Gl＝REDUCE[Gl-1]；上述金字塔為高斯金字塔；然后，由該高斯金字塔構(gòu)建拉普拉斯金字塔；構(gòu)建的關(guān)鍵步驟是對高斯金字塔的各層圖像進(jìn)行內(nèi)插放大，該過程稱為EXPAND算子，記做，具體計算步驟如下最后，拉普拉斯金字塔的第l層圖像由Ll＝Gl-EXPAND[Gl+1]獲得；其中Ll為拉普拉斯金字塔的第l層圖像，Gl和Gl+1分別為高斯金字塔第l和l+1層圖像；步驟三融合近紅外人臉圖像和可見光人臉圖像；基于局部二值模式，即基于簡稱為LBP算子的融合規(guī)則，將從步驟二中得到的近紅外拉普拉斯金字塔人臉圖像和可見光拉普拉斯金字塔人臉圖像進(jìn)行融合；融合方法設(shè)計如下首先，將要融合的同一層拉普拉斯金字塔圖像的對應(yīng)像素點擴展到5×5的區(qū)域；然后，用旋轉(zhuǎn)不變性的一致性模式LBP算子對這個區(qū)域提取LBP特征；其中，上標(biāo)riu2代表旋轉(zhuǎn)不變的一致性模式，下標(biāo)8，1代表著以某像素為中心，在半徑為1的范圍內(nèi)比較周圍8個像素與該中心像素間的關(guān)系；算子總共有256個模式，在這256個模式中一共有9類旋轉(zhuǎn)不變的一致性模式；除了采用該9類旋轉(zhuǎn)不變的一致性模式外，將其余的247個模式都?xì)w到第10類，得到一個1×10維的統(tǒng)計直方圖向量，統(tǒng)計直方圖向量的元素值代表各個類的總數(shù)；在LBP值的基礎(chǔ)上引入平均梯度的概念；其中，gc為中心像素的灰度值，gp為周圍像素點的灰度值，將原有的1×10維統(tǒng)計直方圖向量擴展到了1×11維統(tǒng)計直方圖向量，并設(shè)定了一個Salience值來代表特征，其中AG為平均梯度，SD為圖像直方圖的標(biāo)準(zhǔn)差；兩個向量間的匹配度，采用Chi平方統(tǒng)計相似性測度來測量，其定義如下其中，i＝0，1，....10，M代表了近紅外圖像統(tǒng)計直方圖向量H1，i和可見光圖像統(tǒng)計直方圖向量H2，i的匹配程度，權(quán)值w在此處取值為1；融合后的圖像像素點的灰度值由紅外和可見光圖像對應(yīng)像素點的灰度值加權(quán)得到F(i，j)＝ω1IM1(i，j)+ω2IM2(i，j)；其中，F(xiàn)(i，j)為融合圖像(i，j)點的灰度值，IM1(i，j)和IM2(i，j)分別為近紅外和可見光相應(yīng)像素點的灰度值，ω1和ω2為各自的權(quán)值；當(dāng)M≥0.75時，存在較小的權(quán)值和較大的權(quán)值ωmax＝1-ωmin，其中a＝0.75；其他情況ωmin＝0 and ωmax＝1；接著，比較兩個像素點的值；假設(shè)S1為近紅外圖像的Salience值，S2為可見光圖像的Salience值，如果S1≥S2，則ω1＝ωmaxand ω2＝ωmin；反之，則ω2＝ωmax and ω1＝ωmin；最后，在遍歷所有像素點之后，得到融合后的圖像；步驟四逆拉普拉斯金字塔分解；將從步驟三中得到的融合結(jié)果進(jìn)行逆拉普拉斯金字塔分解，得到融合人臉圖像；步驟五融合人臉圖像輸出；將從步驟四中得到的融合人臉圖像輸出。
全文摘要
本發(fā)明涉及一種基于拉普拉斯金字塔的人臉圖像融合方法，本發(fā)明在基于拉普拉斯金字塔分解的基礎(chǔ)上，將改進(jìn)的局部二值模式算子應(yīng)用于融合規(guī)則，對于拉普拉斯金字塔各層的紅外和可見光人臉圖像，利用圖像的平均梯度、圖像直方圖的標(biāo)準(zhǔn)差和Chi平方統(tǒng)計相似性測度來決定紅外和可見光圖像各自加權(quán)系數(shù)的選擇，并利用確定的加權(quán)系數(shù)進(jìn)行有效融合，從而得到細(xì)節(jié)信息豐富、清晰穩(wěn)定、便于人眼觀察的融合圖像。與可見光圖像和近紅外圖像相比較，本發(fā)明提供的融合圖像的信息熵更大，平均交叉熵和均方根交叉熵更小，融合圖像的效果更明顯。
文檔編號G06T5/50GK101425137SQ20081022641
公開日2009年5月6日 申請日期2008年11月10日 優(yōu)先權(quán)日2008年11月10日
發(fā)明者王一丁, 王蘊紅, 邵春水 申請人:北方工業(yè)大學(xué);北京航空航天大學(xué)