基于魯棒主成分稀疏分解的紅外與可見光圖像融合方法
【專利摘要】本發(fā)明公開了一種基于魯棒主成分稀疏分解的紅外與可見光圖像融合方法，屬于圖像處理技術(shù)領(lǐng)域，主要解決現(xiàn)有紅外與可見光圖像融合中可見光圖像的光譜信息損失過多的問題。本發(fā)明的具體實(shí)現(xiàn)步驟為：對(duì)已精確配準(zhǔn)的圖像分別進(jìn)行魯棒性主成分分析得到各自的稀疏矩陣；對(duì)圖像分別進(jìn)行非下采樣Contourlet變換，得到各自的高、低頻子帶圖像；利用稀疏矩陣對(duì)低頻子帶圖像和高頻子帶圖像分別進(jìn)行融合；進(jìn)行非下采樣Contourlet逆變換，得到融合圖像。本發(fā)明可應(yīng)用于已配準(zhǔn)的紅外與可見光圖像融合處理中。
【專利說明】
基于魯棒主成分稀疏分解的紅外與可見光圖像融合方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉圖像處理技術(shù)領(lǐng)域，具體涉及紅外與可見光圖像的融合處理。
【背景技術(shù)】
[0002]紅外圖像的成像基于場(chǎng)景的熱輻射特性，其不受天氣情況及光照環(huán)境的影響，但是紅外圖像整體比較模糊，且具有較低的空間分辨率和圖像對(duì)比度;然而，可見光圖像基于場(chǎng)景的反射特性成像，可見光圖像具有較高的空間分辨率、清晰的紋理信息以及豐富的圖像細(xì)節(jié)成分，但其易受光照條件以及天氣環(huán)境的干擾。將紅外與可見光圖像進(jìn)行融合，可以利用兩者之間良好的互補(bǔ)特性，將紅外圖像的抗干擾特性與可見光圖像的光譜信息保留性結(jié)合到一起，有利于增強(qiáng)圖像系統(tǒng)對(duì)場(chǎng)景的表達(dá)能力。
[0003]非下采樣Contourlet變換作為一種重要的多尺度分析工具，由于其在時(shí)頻域良好的局部特性和平移不變性，廣泛地應(yīng)用于圖像融合領(lǐng)域。在基于非下采樣Contourlet變換的圖像融合中，高、低頻子帶的融合規(guī)則對(duì)融合結(jié)果有著至關(guān)重要的影響。簡(jiǎn)單的融合規(guī)則如加權(quán)平均法獲得的融合圖像具有較低的對(duì)比度；基于鄰域特征的融合規(guī)則[Chen Y,X1ng J1Liu H L,et al.Fus1n method of infrared and visible images based onneighborhood characteristic and reg1nalizat1n in NSCT domain[J].0ptik-1nternat1nal Journal for Light and Electron Optics，2014，125(17):4980-4984]，其融合圖像中包含了較多的紅外圖像中的光譜信息，而丟失了較多的可見光圖像中的光譜信息；基于PCNN的融合規(guī)則[Xiang T,Yan L,Gao R.A fus1n algorithm for infraredand visible images based on adaptive dual-channel unit-linking PCNN in NSCTdomain[J].1nfrared Physics&Technology, 2015,69:53-61 ]，其融合圖像容易丟失源圖像中的邊緣信息。在上述融合規(guī)則中，融合圖像中損失了較多的可見光圖像中的光譜信息，而可見光圖像中的光譜信息能夠?yàn)閳?chǎng)景提供豐富細(xì)節(jié)、紋理和邊緣等信息。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的發(fā)明目的在于:針對(duì)現(xiàn)有圖像融合中存在源可見光圖像中光譜信息損失過多的技術(shù)問題，提供一種利用非下采樣Contourlet變換的平移不變性，和魯棒性主成分分析的稀疏特性，對(duì)紅外與可見光圖像進(jìn)行融合，既能夠充分提取出紅外圖像中的目標(biāo)特征，又能夠保留可見光圖像中的豐富的光譜信息。
[0005]本發(fā)明的基于魯棒主成分稀疏分解的紅外與可見光圖像融合方法，包括下列步驟:
[0006]步驟I:將輸入的相同尺寸(M*N)的紅外圖像IR和可見光圖像VI的圖像矩陣分別轉(zhuǎn)換為列向量Mir(對(duì)應(yīng)紅外圖像IR)和Mvi，并進(jìn)行魯棒性主成分分析，得到各自的稀疏向量S i r和Sv i。例如通過求解如下優(yōu)化問題來(lái)獲取:
[0007]求解優(yōu)化問題minLir,sirI Lir *+λ Sir |1，s.t.Mir = Lir+Sir，得到紅外圖像的稀疏向量Sir，其中Mir表示紅外圖像的列向量，Lir表示紅外圖像的低秩向量，I |.| I*表示矩陣的核范數(shù)，I I.I 11表示矩陣的I范數(shù)，系數(shù)X = k/(M*N)1/2，參數(shù)k為預(yù)設(shè)值，其取值范圍通常為ke[0，l];
[0008]求解優(yōu)化問題minLvi,sviI Lvi *+λ Svi |1，s.t.Mvi =Lvi+Svi，得到可見光圖像的稀疏向量Svi，其中Mvi表示可見光圖像的列向量，Lvi表示可見光圖像的低秩向量。
[0009]然后，將稀疏向量Sir和Svi分別轉(zhuǎn)換成與輸入圖像大小相同的稀疏矩陣并歸一化至1J[O，I ]區(qū)間，得到紅外圖像、可見光圖像的歸一化稀疏矩陣Sir、svi，而sir、svi中的各元素分別對(duì)應(yīng)像素點(diǎn)的稀疏值；
[0010]步驟2:對(duì)紅外圖像IR和可見光圖像VI進(jìn)行非下采樣變換，得到低頻子帶圖像和高頻子帶圖像系數(shù)；
[0011]步驟3:對(duì)紅外圖像IR和可見光圖像VI分別進(jìn)行低頻子帶圖像系數(shù)融合、高頻子帶圖像系數(shù)融合，得到融合圖像的低頻子帶圖像系數(shù)、高頻子帶圖像系數(shù)；
[0012]其中，融合圖像的低頻子帶圖像系數(shù)為紅外圖像和可見光圖像的低頻子帶圖像系數(shù)的加權(quán)和，加權(quán)系數(shù)取決于紅外圖像的稀疏值；
[0013]當(dāng)紅外圖像的高頻子帶圖像系數(shù)的絕對(duì)值小于可見光的高頻子帶圖像系數(shù)的絕對(duì)值，或紅外圖像與可見光圖像的稀疏值之差大于預(yù)設(shè)閾值Th(通常，The [01])時(shí)，融合圖像的高頻子帶圖像系數(shù)等于可見光圖像的高頻子帶圖像系數(shù);否則，融合圖像的高頻子帶圖像系數(shù)等于紅外圖像的高頻子帶圖像系數(shù)；
[0014]步驟4:基于非下采樣逆變換對(duì)融合圖像的低頻子帶圖像系數(shù)和高頻子帶圖像系數(shù)進(jìn)行重構(gòu)，得到融合圖像。
[0015]綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是:解決了現(xiàn)有紅外與可見光圖像融合中存在的可見光圖像的光譜信息損失過多的問題;并較好的突出了紅外圖像中的目標(biāo)信息。
【附圖說明】
[0016]圖1是本發(fā)明的流程圖；
[0017]圖2是用于實(shí)施例的紅外圖像，圖像寬度為360，高度為270;
[0018]圖3是用于實(shí)施例的可見光圖像，圖像寬度為360，高度為270;
[0019]圖4是基于本發(fā)明的融合方法得到的融合圖像示例。
【具體實(shí)施方式】
[0020]為使本發(fā)明的目的、方案和優(yōu)點(diǎn)更加清楚，下面結(jié)合實(shí)施方式和附圖，對(duì)本發(fā)明作進(jìn)一步地詳細(xì)描述。
[0021]參見圖1，本發(fā)明的基于魯棒主成分稀疏分解的紅外與可見光圖像融合方法主要包括下述過程:
[0022](I)對(duì)輸入的紅外圖像IR和可見光圖像VI進(jìn)行魯棒性主成分分析；
[0023](2)對(duì)輸入的紅外圖像IR和可見光圖像VI進(jìn)行非下采樣Contourlet變換；
[0024](3)紅外圖像IR和可見光圖像VI的低頻子帶圖像融合；
[0025](4)紅外圖像IR和可見光圖像VI的高頻子帶圖像融合；
[0026](5)利用非下采樣Contourlet逆變換方法重構(gòu)融合子帶圖像，得到融合圖像并輸出。
[0027]其中步驟(I)、(2)可并行執(zhí)行，步驟(3)、(4)可并行執(zhí)行，步驟(I)?(5)的其具體實(shí)現(xiàn)過程如下:
[0028]I)讀取紅外圖像IR，如圖2所示，圖像尺寸為360 X 270。
[0029]2)讀取可見光圖像VI，如圖3所示，圖像尺寸為360 X 270。
[0030]3)將紅外圖像IR和可見光圖像VI的圖像矩陣轉(zhuǎn)換為列向量Mir和Mvi，列向量的大小為97200X1。
[0031]4)求解優(yōu)化問題minLir,sir I Lir *+λ Sir |1，s.t.Mir = Lir+Sir，其中A = k/(360 X 270)1氣k = 0.45，得到紅外圖像的稀疏向量Sir，其大小為97200 X I。
[0032]5)求解優(yōu)化問題minLvi,svi I Lvi *+λ Svi |1，s.t.Mvi =Lvi+Svi，其中X = k/(360 X 270)1氣k = 0.45，得到可見光圖像的稀疏向量Svi，其大小為97200 X I。
[0033]6)將稀疏向量Sir和Svi轉(zhuǎn)換成與輸入圖像尺寸大小相同的稀疏矩陣S7 ir和S7 vi，其大小為360 X 270。
[0034]7)將稀疏矩陣S' ir和S' vi歸一化到[O，I ]區(qū)間，得到與紅外圖像相對(duì)應(yīng)的歸一化稀疏矩陣sir，和與可見光圖像相對(duì)應(yīng)的歸一化稀疏矩陣svi，即sir、svi中的各元素分別對(duì)應(yīng)像素點(diǎn)的稀疏值s ir (m，11)、8￥；[(111，11)，其中(111，11)表示像素點(diǎn)坐標(biāo)。
[0035]8)對(duì)紅外圖像IR和可見光圖像VI分別進(jìn)行非下采樣Contourlet變換，選擇拉普拉斯尺度濾波器、7^^’和方向?yàn)V波器’(:(1’，分解層次為{2，3，3，4}。得到紅外圖像的子帶分解系數(shù){?!^(!!!，!^，(^!^(!!!，!^和可見光圖像的子帶分解系數(shù)!^^^，!!)，…^!^，
11)}，其中_]_￡{0，1，2，3，4}，1^ = 2\(111，11)表示像素點(diǎn)坐標(biāo)，每個(gè)像素點(diǎn)的子帶分解系數(shù)構(gòu)成各自的子帶圖像(大小均為360 X 270)。
[0036]9)對(duì)紅外圖像IR的低頻子帶圖像系數(shù)CIRL(m，n)和可見光圖像VI的低頻子帶圖像系數(shù)CVIL(m，n)進(jìn)行融合，通過以下方法獲得融合圖像的低頻子帶系數(shù)CFL(m，n):
[0037]CFL(m，n)=sir(m，n)*CIRL(m，n) + (l-sir(m，n)*CVIL(m，n))
[0038]10)對(duì)紅外圖像IR的高頻子帶圖像系數(shù)CIRHj,k(m，n)和可見光圖像VI的高頻子帶圖像系數(shù)CVIHik(m，n)進(jìn)行融合，通過以下方式得到融合圖像的高頻子帶系數(shù)CFHik(m，n):
[0039]當(dāng)I CVIHj,k(m,n) | ^ | CIRHj,k(m，n) |，或sir(m,n)-svi(m,η) >Th時(shí)，
[0040]CFUm.rOzCVlUm，!!)，其中 Th 取 0.3;
[0041 ]在其他情況下，CFHj,k(m,n) =CIRHj,k(m,η)。
[0042]11)利用非下采樣Contourlet逆變換方法對(duì)融合圖像的子帶圖像系數(shù){CFL(m，n)，CFHj, k(m ,η)}進(jìn)行重構(gòu)，得到融合圖像，如圖4，其大小為360 X 270。
[0043]本實(shí)施案例所得的融合圖像，充分保留了可見光圖像中的光譜信息，又突出了紅外圖像中的目標(biāo)信息，具有良好的融合效果。
[0044]以上所述，僅為本發(fā)明的【具體實(shí)施方式】，本說明書中所公開的任一特征，除非特別敘述，均可被其他等效或具有類似目的的替代特征加以替換;所公開的所有特征、或所有方法或過程中的步驟，除了互相排斥的特征和/或步驟以外，均可以任何方式組合。
【主權(quán)項(xiàng)】
1.基于魯棒主成分稀疏分解的紅外與可見光圖像融合方法，其特征在于，包括下列步驟: 步驟1:將輸入圖像的圖像矩陣轉(zhuǎn)換為列向量并進(jìn)行魯棒性主成分分析，得到輸入圖像的稀疏向量，其中輸入圖像包括紅外圖像、可見光圖像； 將稀疏向量轉(zhuǎn)換成與輸入圖像大小相同的稀疏矩陣并歸一化到[O，I]區(qū)間，得到紅外圖像、可見光圖像的稀疏值； 步驟2:對(duì)輸入圖像進(jìn)行非下采樣變換，得到低頻子帶圖像系數(shù)和高頻子帶圖像系數(shù)；步驟3:對(duì)輸入圖像分別進(jìn)行低頻子帶圖像系數(shù)、高頻子帶圖像系數(shù)融合，得到融合圖像的低頻子帶圖像系數(shù)、高頻子帶圖像系數(shù)； 其中，融合圖像的低頻子帶圖像系數(shù)為紅外圖像和可見光圖像的低頻子帶圖像系數(shù)的加權(quán)和，加權(quán)系數(shù)取決于紅外圖像的稀疏值； 當(dāng)紅外圖像的高頻子帶圖像系數(shù)的絕對(duì)值小于可見光的高頻子帶圖像系數(shù)的絕對(duì)值，或紅外圖像與可見光圖像的稀疏值之差大于預(yù)設(shè)閾值Th時(shí)，融合圖像的高頻子帶圖像系數(shù)等于可見光圖像的高頻子帶圖像系數(shù);否則，融合圖像的高頻子帶圖像系數(shù)等于紅外圖像的高頻子帶圖像系數(shù)； 步驟4:基于非下采樣逆變換對(duì)融合圖像的低頻子帶圖像系數(shù)和高頻子帶圖像系數(shù)進(jìn)行重構(gòu)，得到融合圖像。2.如權(quán)利要求1所述的方法，其特征在于，步驟3中，在計(jì)算融合圖像的低頻子帶圖像系數(shù)時(shí)，紅外圖像的低頻子帶圖像系數(shù)的加權(quán)系數(shù)為紅外圖像的稀疏值，可見光圖像的低頻子帶圖像系數(shù)的加權(quán)系數(shù)為數(shù)值“I”與紅外圖像的稀疏值的差。3.如權(quán)利要求1或2所述的方法，其特征在于，預(yù)設(shè)閾值Th的取值范圍為[O,l]o4.如權(quán)利要求1或2所述的方法，其特征在于，步驟I中，得到輸入圖像的稀疏向量具體為: 求解優(yōu)化問題minLir,sir I Lir *+λ Sir 11^t-Mir = LiHSir,得到紅外圖像的稀疏向量Sir，其中Mir表示紅外圖像的列向量，Lir表示紅外圖像的低秩向量，I |.| I*表示矩陣的核范數(shù)，I I.I 11表示矩陣的I范數(shù)，系數(shù)X = k/(M*N)1/2，參數(shù)k為預(yù)設(shè)值，M*N表示輸入圖像的尺寸； 求解優(yōu)化問題minu1.svi I Lvi *+λ Svi 11，s.t.Mvi =Lvi+Svi，得到可見光圖像的稀疏向量Svi，其中Mvi表示可見光圖像的列向量，Lvi表示可見光圖像的低秩向量。5.如權(quán)利要求4所述的方法，其特征在于，參數(shù)k的取值范圍為[O,l]o6.如權(quán)利要求1或2所述的方法，其特征在于，步驟2中，對(duì)輸入圖像進(jìn)行非下采樣變換時(shí)，采用拉普拉斯尺度濾波器和方向?yàn)V波器，分解層次為{2，3，3，4}。
【文檔編號(hào)】G06T5/50GK105976346SQ201610272262
【公開日】2016年9月28日
【申請(qǐng)日】2016年4月28日
【發(fā)明人】傅志中, 王雪, 王琦藝, 周寧, 李曉峰, 徐進(jìn)
【申請(qǐng)人】電子科技大學(xué)