本發(fā)明涉及一種圖像融合方法，尤其是涉及一種基于區(qū)域稀疏表示的紅外與可見光圖像融合方法。

背景技術(shù)：

圖像融合可以將關(guān)于某個(gè)具體場(chǎng)景的多個(gè)圖像加以綜合，并以符合特定任務(wù)需求的方式展現(xiàn)給觀測(cè)者或供下一步處理。圖像融合可以使信息覆蓋更廣泛的空間和時(shí)間范圍、降低信息的冗余性及不確定性、提升信息的互補(bǔ)性及可靠性，在民用及國(guó)防領(lǐng)域都有著重要應(yīng)用。紅外圖像與可見光圖像的融合是多源圖像融合的重要方面。紅外圖像可以提供較多的目標(biāo)信息，可見光圖像可以提供較多的背景信息，兩者融合后可以顯著提升觀測(cè)者的認(rèn)知表現(xiàn)。

圖像融合方法可以大體上分為兩類，基于空間域的融合方法與基于變換域的融合方法?；诳臻g域的融合方法直接對(duì)源圖像的像素值進(jìn)行融合，包括取像素最值，取像素均值及主成分分析等?；谧儞Q域的融合方法對(duì)源圖像在變換域中的系數(shù)進(jìn)行融合，再將融合后的系數(shù)進(jìn)行反變換后得到融合圖像。

根據(jù)所變換區(qū)域的不同，基于變換域的融合方法可以分為全局變換融合與局部變換融合兩種方案，前者對(duì)整幅源圖像進(jìn)行變換和融合處理，包括基于拉普拉斯金字塔的融合方法，基于離散小波變換的融合方法，基于離散余弦變換的融合方法等；后者將源圖像分塊，塊間保留一定的重疊，從上至下，從左至右，逐個(gè)對(duì)圖像塊進(jìn)行變換和融合處理，最后將所有圖像塊組裝成融合圖像，包括基于稀疏表示的融合方法、基于特征學(xué)習(xí)的融合方法等。與采用全局變換融合的方法相比，采用局部變換融合的方法可以更好地保留源圖像中的邊緣信息及對(duì)比度，具有更佳的融合效果，近年來(lái)引起廣泛關(guān)注。

與一般的圖像融合問(wèn)題相比，紅外與可見光圖像融合有其自身特點(diǎn)。圖像融合的過(guò)程實(shí)質(zhì)上就是保留顯著性高的信息、忽略顯著性低的信息的過(guò)程。然而，由于特殊的成像機(jī)制，紅外圖像畫面模糊、細(xì)節(jié)缺乏，若僅從局部來(lái)看，與可見光圖像中的細(xì)節(jié)信息相比，紅外圖像中的邊界或輪廓等結(jié)構(gòu)信息普遍具有較低的顯著性。因此，在現(xiàn)有的采用局部變換融合的方法中，這些來(lái)自紅外圖像的、重要的結(jié)構(gòu)信息，或是被可見光圖像中的細(xì)節(jié)信息遮蓋而在融合圖中消失，或是被細(xì)節(jié)信息分割而在融合圖中表現(xiàn)為不連續(xù)的結(jié)構(gòu)。

無(wú)論哪一種情況出現(xiàn)在融合圖中，都會(huì)對(duì)識(shí)別任務(wù)造成負(fù)面影響，應(yīng)該盡量避免。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于區(qū)域稀疏表示的紅外與可見光圖像融合方法，解決了現(xiàn)有融合方法對(duì)紅外圖像中的邊界、輪廓等結(jié)構(gòu)信息保留缺乏完整性的問(wèn)題。

本發(fā)明的目的可以通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)：

一種基于區(qū)域稀疏表示的紅外與可見光圖像融合方法，該方法首先將紅外與可見光圖像分塊；然后檢索出每個(gè)圖像塊所在的一致性區(qū)域，對(duì)一致性區(qū)域進(jìn)行聯(lián)合稀疏編碼并據(jù)此計(jì)算顯著性測(cè)度；最后按照顯著性測(cè)度對(duì)相應(yīng)圖像塊進(jìn)行加權(quán)融合，把所有的融合圖像塊組裝成融合圖像。

所述的將紅外與可見光圖像分塊時(shí)，其塊間設(shè)有設(shè)定的重疊區(qū)域，并按照從上到下、從左到右依次逐個(gè)處理圖像塊。

所述的一致性區(qū)域檢索時(shí)以每個(gè)圖像塊為中心，所述的一致性區(qū)域是指位于中心圖像塊的半徑為N個(gè)像素的搜索范圍之內(nèi)、與中心圖像塊最相似的一組圖像塊集合，該集合包含中心圖像塊。

所述的圖像塊之間的相似性采用結(jié)構(gòu)相似度進(jìn)行度量。

所述的結(jié)構(gòu)相似度計(jì)算具體如下：

給定兩個(gè)大小同為r×r的圖像塊A和B，記和分別為A和B的均值，和分別A和B的方差，σ_AB為A和B之間的斜方差，則A與B的結(jié)構(gòu)相似度為

SSIM(A,B)即為評(píng)價(jià)圖像塊A和B之間結(jié)構(gòu)相似度的指數(shù)，取值范圍為[-1 1]，值越大越相似，乘積的第一部分為兩圖像塊的相似系數(shù)，第二部分為亮度扭曲度，第三部分為對(duì)比度扭曲度。

所述的聯(lián)合稀疏編碼使來(lái)自紅外的圖像塊集合與來(lái)自可見光的圖像塊集合在進(jìn)行稀疏分解時(shí)使用相同的字典基，只有系數(shù)不同；這能夠保證區(qū)域間稀疏編碼的可比較性。

所述的顯著性測(cè)度具體計(jì)算如下：

圖像塊i的顯著性測(cè)度e_i定義為

其中，

S_i為圖像塊i的相似集，x_j為圖像塊i的相似集中的圖像塊j的稀疏編碼，x_j,t是x_j中的第t個(gè)元素，I＝1，當(dāng)x_j,1(l)≠0。

所述的按照顯著性測(cè)度對(duì)相應(yīng)圖像塊進(jìn)行加權(quán)融合為：

針對(duì)待融合的紅外與可見光圖像塊分別重新進(jìn)行獨(dú)立稀疏編碼，再根據(jù)顯著性測(cè)度進(jìn)行加權(quán)融合，可以最小化重建誤差。

所述的加權(quán)融合具體過(guò)程如下：

在稀疏分解前對(duì)每個(gè)圖像塊都被減去其均值m_i，并對(duì)系數(shù)和均值的融合分別進(jìn)行處理；

稀疏系數(shù)的融合公式為：

均值的融合公式為：

其中，x_i(1)、e_i(1)表示來(lái)自紅外圖像的圖像塊i及其顯著性測(cè)度，x_i(2)、e_i(2)表示來(lái)自可將光圖像的圖像塊i及其顯著性測(cè)度，k為控制函數(shù)平滑度的參數(shù)，可以在(0,∞)間選擇，k＝0時(shí)，融合公式為取平均值策略；k＝∞時(shí)，融合公式為取最大值策略

融合圖像塊由下式得到：

D為聯(lián)合稀疏編碼時(shí)使用過(guò)的字典基。

所述的把所有的融合圖像塊組裝成融合圖像具體為：將所有融合圖像塊按照從上至下、從左至右依次逐個(gè)排列成融合圖像，重疊部分取各圖像塊上相應(yīng)像素的均值。

與現(xiàn)有技術(shù)相比，本發(fā)明可以保存紅外圖像中局部不顯著、但非局部顯著的結(jié)構(gòu)信息，能夠有效提升融合圖像的結(jié)構(gòu)完整性及區(qū)域一致性。

附圖說(shuō)明

圖1為本發(fā)明的工作流程圖；

圖2為實(shí)施例使用本發(fā)明方法及現(xiàn)有主流融合方法的融合效果對(duì)比圖，其中a)和b)分別為模擬伏擊戰(zhàn)情的紅外圖像和可見光圖像，c)為拉普拉斯金字塔方法(LAP)的融合效果圖，d)為平移不變離散小波變換方法(SIDWT)的融合效果圖，e)為基于稀疏表示方法(SR)的融合效果圖，f)為本發(fā)明方法的融合效果圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明的一部分實(shí)施例，而不是全部實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)的前提下所獲得的所有其他實(shí)施例，都應(yīng)屬于本發(fā)明保護(hù)的范圍。

圖2為實(shí)施例使用本發(fā)明方法及現(xiàn)有主流融合方法的融合效果對(duì)比圖。其中，本發(fā)明方法的融合效果圖通過(guò)以下具體方式實(shí)施：

1)將紅外與可見光圖像分塊，塊間保留一定的重疊，從上至下，從左至右，逐個(gè)處理圖像塊。本實(shí)施例中，紅外與可見光圖像均為256×256像素，所分圖像塊的大小為5×5像素，重疊寬度為2像素。

2)以每個(gè)圖像塊為中心，檢索出其所在的一致性區(qū)域。所謂一致性區(qū)域是指位于中心圖像塊的半徑為N個(gè)像素的搜索范圍之內(nèi)、與中心圖像塊相似的一組圖像塊集合，該集合包含中心圖像塊。圖像塊之間的相似性采用結(jié)構(gòu)相似度進(jìn)行度量。本實(shí)施例中，半徑N為15個(gè)像素，每個(gè)圖像集合包含了前15個(gè)與中心圖像塊最相似的圖像塊。

本實(shí)施例中，用于度量圖像塊相似性的結(jié)構(gòu)相似度定義為：

給定兩個(gè)大小同為r×r的圖像塊A和B，記和分別為A和B的均值，和分別A和B的方差，σ_AB為A和B之間的斜方差，則A與B的結(jié)構(gòu)相似度為

SSIM(A,B)即為評(píng)價(jià)圖像塊A和B之間結(jié)構(gòu)相似度的指數(shù)，取值范圍為[-1 1]，值越大越相似。乘積的第一部分為兩圖像塊的相似系數(shù)，第二部分為亮度扭曲度，第三部分為對(duì)比度扭曲度。

3)對(duì)每一對(duì)待融合的紅外圖像塊與可見光圖像塊所在的兩個(gè)一致性區(qū)域進(jìn)行聯(lián)合稀疏編碼，并據(jù)此計(jì)算顯著性測(cè)度。本實(shí)施例中，聯(lián)合稀疏編碼采用SOMP算法，針對(duì)每一對(duì)待融合圖像塊，參與聯(lián)合稀疏編碼的圖像塊共為30個(gè)，其中15個(gè)為紅外圖像塊的相似集、15個(gè)為可見光圖像塊的相似集。

本實(shí)施例中，圖像塊i的顯著性測(cè)度e_i定義為

其中，

S_i為圖像塊i的相似集，x_j為圖像塊i的相似集中的圖像塊j的稀疏編碼，x_j,t是x_j中的第t個(gè)元素。I＝1，當(dāng)x_j,1(l)≠0。

本實(shí)施例中，聯(lián)合稀疏編碼所用到的過(guò)完備字典D大小為25×100，預(yù)先從來(lái)自60幅紅外及可見光圖像的10⁵個(gè)樣本塊中使用K-SVD方法學(xué)習(xí)而得，最大迭代次數(shù)為20。

4)針對(duì)待融合圖像塊重新進(jìn)行獨(dú)立稀疏編碼，按照顯著性測(cè)度對(duì)獨(dú)立稀疏編碼結(jié)果進(jìn)行加權(quán)融合，生成融合圖像塊。本實(shí)施例中，獨(dú)立稀疏編碼采用OMP算法。

本實(shí)施例中，獨(dú)立稀疏編碼結(jié)果采用如下方法進(jìn)行加權(quán)融合：

為了提高圖像塊稀疏編碼的的穩(wěn)定性，在稀疏分解前每個(gè)圖像塊都被減去其均值m_i，因此本實(shí)施例對(duì)系數(shù)和均值的融合分別進(jìn)行處理。

稀疏系數(shù)的融合公式為：

均值的融合公式為：

·(1)表示來(lái)自紅外圖像，·(2)表示來(lái)自可將光圖像。k為控制函數(shù)平滑度的參數(shù)，可以在(0,∞)間選擇，k＝0時(shí)，融合公式為取平均值策略；k＝∞時(shí)，融合公式為取最大值策略，本實(shí)施例中k＝100。

融合圖像塊由下式得到：

D為步驟3中使用的過(guò)完備字典。

5)把所有的融合圖像塊組裝成融合圖像。將所有融合圖像塊按照從上至下，從左至右，逐個(gè)排列成融合圖像，重疊部分取各圖像塊上相應(yīng)像素的均值。

從圖2可以看出，SR和本發(fā)明方法結(jié)果圖的對(duì)比度和邊緣信息均顯著優(yōu)于基于多尺度分析的LAP和SIDWT，提供了較好的目標(biāo)區(qū)域的穿透煙霧的觀測(cè)效果，并且保留了可見光圖像中的草叢等細(xì)節(jié)信息。但是相比于本發(fā)明方法結(jié)果圖中各景物的完整結(jié)構(gòu)，SR的結(jié)果圖中出現(xiàn)了明顯的不連續(xù)區(qū)域，如左下角的草叢區(qū)域，并在在煙霧穿透區(qū)域產(chǎn)生了斑狀虛假信息。

以上所述，僅為本發(fā)明的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到各種等效的修改或替換，這些修改或替換都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求的保護(hù)范圍為準(zhǔn)。