本發(fā)明涉及計(jì)算機(jī)圖像處理技術(shù)，尤其涉及一種基于導(dǎo)向?yàn)V波顯著性區(qū)域提取的多尺度紅外可見(jiàn)光圖像融合方法。

背景技術(shù)：

隨著傳感器技術(shù)的發(fā)展，不同波段的圖像傳感器被廣泛應(yīng)用，隨之發(fā)展的圖像融合技術(shù)也成為人們研究的熱點(diǎn)。多波段圖像融合能夠?qū)⑼粓?chǎng)景下不同圖像傳感器采集的圖像進(jìn)行信息融合，獲得信息更為豐富的融合圖像，在軍事和民用等成像探測(cè)領(lǐng)域有著重要的應(yīng)用。

紅外可見(jiàn)光圖像融合技術(shù)能夠?qū)⒓t外圖像中的熱輻射目標(biāo)區(qū)域信息和可見(jiàn)光圖像中的場(chǎng)景細(xì)節(jié)信息相結(jié)合，在融合結(jié)果中同時(shí)保留兩者圖像中的特征信息。國(guó)內(nèi)外研究學(xué)者提出了很多圖像融合算法，主要包括利用多尺度圖像分解工具、利用金字塔分解、利用主成分分析以及形態(tài)學(xué)高帽變換等算法，融合結(jié)合具有良好的紋理及對(duì)比度特征，提取了可見(jiàn)光和紅外圖像中重要特征。從融合算法的研究動(dòng)態(tài)來(lái)看，如何有效的提取多源圖像中的顯著性特征信息，實(shí)現(xiàn)圖像細(xì)節(jié)信息的精細(xì)融合，是紅外可見(jiàn)光圖像融合算法亟待解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提出一種基于導(dǎo)向?yàn)V波顯著區(qū)域提取的多尺度圖像融合方法，利用非下采樣輪廓波變換(nsct)對(duì)輸入的紅外圖像和可見(jiàn)光圖像進(jìn)行多尺度分解，在不同細(xì)節(jié)尺度圖層中，結(jié)合基于導(dǎo)向?yàn)V波的顯著性區(qū)域提取方法，開(kāi)展有效的圖像融合，保證了各個(gè)圖層的多尺度分解圖像中視覺(jué)顯著區(qū)域信息的保留，最終通過(guò)加權(quán)重建得到具有很好視覺(jué)增強(qiáng)效果的融合結(jié)果。

本發(fā)明利用nsct多尺度圖像分解和導(dǎo)向?yàn)V波顯著性區(qū)域提取方法，提出了一種基于導(dǎo)向?yàn)V波顯著性區(qū)域提取的多尺度紅外可見(jiàn)光圖像融合方法，其主要思路是：

1.利用nsct多尺度分解工具，實(shí)現(xiàn)了有效的多尺度分解，保證了融合信息由粗糙到精細(xì)的分層處理，有助于提升融合結(jié)果的信息豐富程度。同時(shí)，利用加權(quán)累加重建，將不同尺度細(xì)節(jié)圖層融合融合結(jié)果重建得到最終的融合圖像，通過(guò)合理的權(quán)重值設(shè)置能夠得到較好的視覺(jué)信息增強(qiáng)效果。

2.采用了基于導(dǎo)向?yàn)V波的顯著性區(qū)域提取算法，能夠有效提取對(duì)應(yīng)圖層的顯著區(qū)域信息。利用設(shè)計(jì)的算法得到二值化的顯著性區(qū)域權(quán)重圖，作為導(dǎo)向?yàn)V波操作的輸入圖像，該圖表征了原始圖像中局部標(biāo)準(zhǔn)差較大的邊緣和細(xì)節(jié)豐富區(qū)域，使得濾波結(jié)果能夠反映人眼視覺(jué)顯著特性。將原始圖作為導(dǎo)向?yàn)V波操作的導(dǎo)向圖，能夠得到原始圖像中[0,1]連續(xù)分布的邊緣顯著信息，并結(jié)合導(dǎo)向模糊參數(shù)設(shè)置，可以得到由粗糙到精細(xì)的不同尺度的顯著性圖結(jié)果，使得各個(gè)圖層的多尺度分解圖像的顯著區(qū)域信息得到更好的保留。

一種基于導(dǎo)向?yàn)V波顯著區(qū)域提取的多尺度圖像融合方法，包括如下步驟：

(1)利用非下采樣輪廓波變換開(kāi)展多尺度圖像分解。

輸入同一成像場(chǎng)景的可見(jiàn)光圖像f和紅外圖像g，分別對(duì)其實(shí)施多尺度圖像分解，利用非下采樣輪廓波分解(nsct，non-subsampledcontourlettransform)得到不同細(xì)節(jié)尺度的分解圖層，其過(guò)程表示如下：

fi＝multi_nsct(f,i)(1)

gi＝multi_nsct(g,i)(2)

其中，i＝1,2...n，n表示nsct的分解層數(shù)。multi_nsct表示利用nsct的圖像多尺度分解框架。fi和gi分別表示對(duì)應(yīng)尺度的可見(jiàn)光和紅外細(xì)節(jié)圖層。

nsct具有良好的多尺度和時(shí)頻局部特性，同時(shí)也具備各項(xiàng)異性的多方向特性。利用nsct開(kāi)展圖像多尺度分解，分解后的各圖層圖像能夠較好地保留不同尺度的圖像邊緣信息，有助于最終效果的提升。同時(shí)，該分解方法沒(méi)有任何下采樣操作，每個(gè)分解圖層都能夠保持圖像原有的分辨率大小，重建過(guò)程沒(méi)有上采樣帶來(lái)的信息損失。

(2)局部標(biāo)準(zhǔn)差分布圖計(jì)算。

對(duì)于步驟(1)得到的各圖層分解圖像，采用局部窗口遍歷方法，計(jì)算得到局部標(biāo)準(zhǔn)差分布圖，過(guò)程表示如下：

其中，w為大小為t×t的局部窗口，localstd為局部窗口圖像標(biāo)準(zhǔn)差計(jì)算操作，和分別為可見(jiàn)光和紅外對(duì)應(yīng)圖層的局部標(biāo)準(zhǔn)差分布圖。局部方差較大的圖像區(qū)域在分布圖中具有較大的像素值。

(3)二值化顯著性權(quán)重圖獲取。

對(duì)于步驟(2)得到的局部標(biāo)準(zhǔn)差分布圖，通過(guò)同一圖層的紅外和可見(jiàn)光標(biāo)準(zhǔn)差分布圖比較，并結(jié)合圖像閉操作，得到二值化的顯著性權(quán)重圖，過(guò)程表示如下：

其中，和分別為可見(jiàn)光和紅外圖對(duì)應(yīng)圖層在像素k處的像素值。二值化的選取準(zhǔn)則保證了顯著性權(quán)重圖能夠很好的體現(xiàn)各自波段的顯著性信息。隨后，應(yīng)用圖像形態(tài)學(xué)中的閉操作，得到最終的二值化的顯著性權(quán)重圖：

其中，imclose()為圖像形態(tài)學(xué)處理中的閉操作，和分別為得到的對(duì)應(yīng)圖層的二值化顯著性權(quán)重圖。通過(guò)圖像閉操作，能夠有效消除顯著性權(quán)區(qū)域中的細(xì)小未聯(lián)通區(qū)域，得到更加光滑的顯著性區(qū)域輪廓。

(4)基于導(dǎo)向?yàn)V波的顯著性區(qū)域圖提取。

對(duì)于步驟(3)得到的二值化顯著性權(quán)重圖，利用導(dǎo)向?yàn)V波得到顯著性區(qū)域提取的結(jié)果，其過(guò)程表示為：

其中，gf()表示導(dǎo)向?yàn)V波操作，和為導(dǎo)向?yàn)V波處理過(guò)程中的輸入圖像，f和g為導(dǎo)向?yàn)V波處理過(guò)程中的導(dǎo)向圖，ri和μi分別為對(duì)應(yīng)圖層的導(dǎo)向?yàn)V波器尺寸和模糊程度，和分別為可見(jiàn)光和紅外對(duì)應(yīng)圖層的顯著性區(qū)域提取結(jié)果。

在顯著性區(qū)域提取過(guò)程中，將二值化的顯著性權(quán)重圖作為輸入圖像，該圖表示了原始圖像中局部方差較大的邊緣和細(xì)節(jié)豐富區(qū)域，這些區(qū)域正是人眼視覺(jué)最感興趣、最關(guān)注的區(qū)域，結(jié)合導(dǎo)向?yàn)V波的過(guò)程，保證了濾波結(jié)果能夠反映人眼視覺(jué)顯著特性。將原始圖像作為導(dǎo)向圖，通過(guò)導(dǎo)向?yàn)V波操作，相比二值化的顯著區(qū)域權(quán)重圖，能夠進(jìn)一步得到原始圖像中[0,1]連續(xù)分布的邊緣顯著信息，同時(shí)，利用不同的導(dǎo)向?yàn)V波模糊參數(shù)設(shè)置，可以得到由粗糙到精細(xì)的不同尺度的顯著性圖結(jié)果，使得各個(gè)圖層的多尺度分解圖像的顯著區(qū)域信息得到更好的保留。

(5)結(jié)合顯著性區(qū)域提取的圖像融合

利用步驟(4)得到的顯著性區(qū)域圖提取結(jié)果，在各尺度圖層上開(kāi)展圖像融合處理，使得融合結(jié)果能夠更好地保留不同圖像中的顯著區(qū)域細(xì)節(jié)信息，具體表示如下：

其中，mi表示各圖層的融合結(jié)果。

(6)融合圖像加權(quán)重建

對(duì)于步驟(5)得到的各圖層融合結(jié)果，利用加權(quán)累加重建得到最終的融合結(jié)果，融合圖像加權(quán)重建過(guò)程表示如下：

其中，λi為各圖層融合結(jié)果重建權(quán)重值，mfusion為最終的可見(jiàn)光紅外融合結(jié)果，通過(guò)設(shè)置合理的權(quán)重值來(lái)得到信息增強(qiáng)的融合圖像結(jié)果。

本發(fā)明的有益效果是：本發(fā)明針對(duì)可見(jiàn)光和紅外圖像融合技術(shù)，利用利用非下采樣輪廓波變換nsct對(duì)圖像進(jìn)行多尺度分解，在不同細(xì)節(jié)尺度圖層中，結(jié)合基于導(dǎo)向?yàn)V波的顯著性區(qū)域提取方法，開(kāi)展有效的圖像融合，保證了各個(gè)圖層的多尺度分解圖像中視覺(jué)顯著區(qū)域信息的保留，最終通過(guò)加權(quán)重建得到具有很好視覺(jué)增強(qiáng)效果的融合結(jié)果。在本發(fā)明中，只要輸入同一場(chǎng)景的可見(jiàn)光圖像和紅外圖像，即可實(shí)施有效的多尺度圖像融合，得到高質(zhì)量的融合結(jié)果。本發(fā)明可應(yīng)用于遙感探測(cè)、軍事偵察、安全監(jiān)控、工業(yè)生產(chǎn)等領(lǐng)域。

附圖說(shuō)明

圖1為算法流程圖；

圖2(a)為輸入的紅外圖像；

圖2(b)為可見(jiàn)光圖像；

圖3(a)為紅外圖像局部標(biāo)準(zhǔn)差分布圖；

圖3(b)為可見(jiàn)光圖像局部標(biāo)準(zhǔn)差分布圖；

圖4(a)為紅外圖像二值化顯著性權(quán)重圖；

圖4(b)為可見(jiàn)光圖像二值化顯著性權(quán)重圖；

圖5(a)為紅外圖像顯著性區(qū)域圖；

圖5(b)為可見(jiàn)光圖像顯著性區(qū)域圖；

圖6為紅外可見(jiàn)光圖像融合結(jié)果。

具體實(shí)施方式

下面結(jié)合附圖，通過(guò)具體實(shí)施例，對(duì)本發(fā)明的技術(shù)方案進(jìn)行清楚、完整的描述。

本發(fā)明方法的流程圖如圖1所示。

圖2為一組同一場(chǎng)景的紅外可見(jiàn)光圖像的例子，其中圖2(a)為輸入的紅外圖像，圖2(b)為輸入的可見(jiàn)光圖像。

圖3-圖5展示了基于導(dǎo)向?yàn)V波的顯著性區(qū)域圖獲取的過(guò)程。圖3(a)和(b)分別為紅外圖像和可見(jiàn)光圖像的局部標(biāo)準(zhǔn)差分布圖，凸顯出了處理圖像中局部標(biāo)準(zhǔn)差較大的場(chǎng)景區(qū)域；圖4(a)和(b)分別為紅外圖像和可見(jiàn)光圖像的二值化顯著性權(quán)重圖，反映了各自圖像的人眼顯著性信息；圖5(a)和(b)分別為紅外圖像和可見(jiàn)光圖像的顯著性區(qū)域圖，顯著性圖反映了人眼視覺(jué)最感興趣當(dāng)前區(qū)域，將其引入圖像融合框架，有助于得到具有更好主觀視覺(jué)效果的融合結(jié)果。

本實(shí)施例中，設(shè)置n＝4，即利用nsct多尺度分解工具對(duì)輸入圖像進(jìn)行4個(gè)尺度的多尺度分解，得到由粗糙到精細(xì)的4個(gè)細(xì)節(jié)圖層。

隨后對(duì)于每個(gè)分解尺度，借助對(duì)應(yīng)的原始紅外圖和可見(jiàn)光圖作為導(dǎo)向圖，開(kāi)展顯著性區(qū)域圖提取。其中，局部標(biāo)準(zhǔn)差分布圖計(jì)算過(guò)程中，局部窗口w的大小設(shè)置為t＝11；導(dǎo)向?yàn)V波顯著性區(qū)域圖提取過(guò)程中，導(dǎo)向?yàn)V波器尺寸和模糊程度參數(shù)設(shè)置為ri＝{10,7,7,7},μi＝{0.1,0.001,0.00001,0.000001}

(i＝1,2,3,4)。分解圖層越精細(xì)，對(duì)應(yīng)的導(dǎo)向?yàn)V波模糊程度越小，以便更好地保留顯著性區(qū)域的細(xì)節(jié)信息。

結(jié)合顯著性圖分布，對(duì)于每個(gè)尺度的紅外圖和可見(jiàn)光圖像開(kāi)展融合，能夠較好地保持圖像的邊緣和細(xì)節(jié)，突出人眼視覺(jué)顯著性區(qū)域。

最后，通過(guò)各尺度融合結(jié)果圖的加權(quán)重建得到最終的紅外可見(jiàn)光融合結(jié)果。融合結(jié)果重建權(quán)重值選取為λi＝{0.60,0.31,0.45,0.75}(i＝1,2,3,4)，最終的融合結(jié)果如圖6所示，較好地保留了紅外圖和可見(jiàn)光圖的顯著性區(qū)域信息，具有優(yōu)異的視覺(jué)效果。