基于nsct域底層視覺特征的可見光和紅外圖像融合算法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種基于非下采樣輪廓波變換(NSCT)域底層視覺特征的可見光和紅 外圖像融合算法，屬于圖像融合數(shù)據(jù)處理技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 在圖像處理領(lǐng)域，圖像融合是一項(xiàng)很有發(fā)展前景的研究。圖像融合技術(shù)通過綜合 同一場(chǎng)景的多傳感器圖像或者不同場(chǎng)景的同一傳感器圖像的有用信息來合成一幅復(fù)合圖 像。而合成的復(fù)合圖像具有前者所有的特征信息，更適合用于后期的處理和研究。一個(gè)高效 的融合方法可W根據(jù)實(shí)際需求處理多通道信息。運(yùn)些優(yōu)勢(shì)使得圖像融合在很多領(lǐng)域里都特 別受歡迎。例如，遙感成像，計(jì)算機(jī)視覺，偵查，監(jiān)控等領(lǐng)域。尤其是可見光和紅外圖像的融 合，在軍事領(lǐng)域中起到了很重要的作用。
[0003] 隨著圖像融合研究的不斷深入，很多的學(xué)者提出了很多的圖像融合算法。根據(jù)對(duì) 輸入圖像的處理方式的不同，主流的紅外和可見光圖像融合算法主要分為五類:基于置換 的技術(shù)，基于分割技術(shù)，基于神經(jīng)網(wǎng)絡(luò)技術(shù)，基于數(shù)學(xué)形態(tài)學(xué)技術(shù)和基于多尺度變換技術(shù)。 基于置換的技術(shù)在融合中容易引起光譜的變形。基于分割的技術(shù)過分依賴于分割算法，而 通常一個(gè)好的圖像分割算法往往是不容易得到的?；谏窠?jīng)網(wǎng)絡(luò)的算法需要人工設(shè)置大量 的參數(shù)?；跀?shù)學(xué)形態(tài)學(xué)的算法在圖像融合中也發(fā)揮著很重要的作用，但是一些原始圖像 中的細(xì)節(jié)可能會(huì)在最終的融合結(jié)果中被平滑。和W上四類算法相比，多尺度變換方法更符 合人眼的視覺特征。
[0004] 多尺度變換對(duì)圖像融合來說是一項(xiàng)有效的方法。近年來，多尺度變換方法已經(jīng)在 很多圖像融合的研究中得到廣泛的應(yīng)用，尤其是可見光和紅外圖像的融合。一些常見的多 尺度變換有拉普拉斯金字塔化P)變換，金字塔變換(PT),離散小波變換(DWT)，靜態(tài)小波變 換(SWT)，輪廓波變換(CT)，曲波變換(CVT)和非下采樣輪廓波變換(NSCT)等。然而，拉普拉 斯金字塔變換，金字塔變換和靜態(tài)小波變換都無(wú)法很好地保存源圖像的空間細(xì)節(jié)信息并且 容易導(dǎo)致塊效應(yīng)。離散小波變換由于不能捕捉源圖像中的靜態(tài)特征而導(dǎo)致在融合圖像中出 現(xiàn)"吉布斯"現(xiàn)象。曲波變化也不能捕捉到源圖像中的空間信息。對(duì)于輪廓波變換來說，由于 在分解中存在上采樣和下采樣操作，缺乏平移不變性，容易導(dǎo)致混頻現(xiàn)象。而非下采樣輪廓 波變換取消了上下采樣操作，從而克服了運(yùn)一缺點(diǎn)。
[0005] 在圖像融合中，除了融合工具之外，有效的融合規(guī)則也至關(guān)重要。近年來，有很多 的學(xué)者提出了很多有效的基于多尺度變換的融合算法。大概可W分為=類:基于單個(gè)像素 的，基于窗口的和基于區(qū)域的?；趩蝹€(gè)像素的融合最常見的規(guī)則是"絕對(duì)值最大選擇"策 略;基于窗口的融合規(guī)則主要是根據(jù)當(dāng)前像素的活躍水平，而活躍水平由窗口內(nèi)像素之間 的關(guān)系來度量，常見的活躍因子包括絕對(duì)分量和（SML )、空間頻率(SF )、對(duì)比度(Contras t) 等等;基于區(qū)域的融合方法的基本思想就是對(duì)不同子帶系數(shù)進(jìn)行分割，然后選擇更清晰的 區(qū)域進(jìn)行融合。對(duì)于多尺度融合方法來說，清晰度因子在提高融合性能方面至關(guān)重要，通常 傳統(tǒng)的清晰度因子是基于單個(gè)圖像局部特征設(shè)計(jì)的。實(shí)際上，人眼視覺系統(tǒng)主要是靠圖像 的底層特征來理解一幅圖像的，也就是說由清晰度運(yùn)一個(gè)底層特征所反映的視覺信息是非 常有限的。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的缺點(diǎn)和不足，提出了一種基于NSCT域底層視覺 特征的可見光和紅外圖像融合技術(shù)方案。
[0007] 本發(fā)明所采用的技術(shù)方案是一種基于NSCT域底層視覺特征的可見光和紅外圖像 融合算法，包括W下步驟：
[0008] 步驟1，輸入可見光和紅外圖像并進(jìn)行NSCT變換，分別得到可見光圖像和紅外圖像 的子帶系數(shù)，所述子帶系數(shù)包括低頻子帶系數(shù)和高頻子帶系數(shù)；
[0009] 步驟2,根據(jù)可見光和紅外圖像低頻子帶系數(shù)的相位一致性、鄰域空間頻率和鄰域 能量信息計(jì)算融合圖像的低頻子帶系數(shù)；
[0010] 計(jì)算可見光和紅外圖像低頻子帶系數(shù)的相位一致性：
[0011]
[0012]
[0013] 快的、快的分別表示可見光和紅外圖像在像素點(diǎn)(x，y)的低頻子帶系 數(shù)的相位一致性，L表示低頻，V巧日IR分別表示可見光和紅外圖像，n={0，l，...，J-l}，k = (0，1，. . .，K-1}，J和K分別表示可見光和紅外圖像在傅里葉頻域分解的尺度數(shù)量和方向數(shù) 量，0k表示濾波器的方向角，片,.,,（-V，1')、Alw (-v，.r)分別表示可見光和紅外圖像像素點(diǎn)（x，y) 的低頻子帶系數(shù)在第n尺度，0k方向角的傅里葉頻域的局部能量，每.,,.fii知y)、端,。4 (.、-，封 分別表示可見光和紅外圖像像素點(diǎn)（x，y)的低頻子帶系數(shù)在第n尺度，0k方向角的傅里葉頻 域的局部振幅信息，e為正常量；
[0014] 計(jì)貸可化化巧針外閣像化頻子帶系敬的巧間稠率：
[0015]
[0016]
[0017] SCMvi (X，y)、SCMir(X，y)分另懐示可見光圖像和紅外圖像在像素點(diǎn)（X，y)的低頻子 帶系數(shù)的空間頻率，山"^，7)、山〇^^，7)分別表示可見光圖像、紅外圖像在像素點(diǎn)^，7)的 低頻子帶系數(shù)，山刊片日，7日）、山1^義日，7日)分別表示可見光圖像、紅外圖像在像素點(diǎn)(刪7〇)的 低頻子帶系數(shù)，Qo表示預(yù)設(shè)的鄰域，（xo，yo)表示W(wǎng)像素點(diǎn)（x，y)為中屯、的鄰域Qo內(nèi)任意一 點(diǎn)' ；
[0018] 將可見光和紅外圖像中所有像素的低頻子帶系數(shù)的空間頻率構(gòu)成矩陣并計(jì)算可 見光和紅外圖像低頻子帶系數(shù)的鄰域空間頻率LSCMviU,y)，LSCMiR(x,y);
[0019] 計(jì)算可見光和紅外圖像低頻子帶系數(shù)的鄰域能量：
[0020]
[0021]
[0022] 161^山7)、1^6化^義，7)分別表示可見光圖像、紅外圖像在像素點(diǎn)山7)的低頻子 帶系數(shù)的鄰域能量，山￥1(針111，7+]1)、山1[?(針111，7+]1)分別表示可見光圖像、紅外圖像在像素 點(diǎn)(x+m，y+n)的低頻子帶系數(shù)，M XN表示預(yù)設(shè)的鄰域大小，（x+m，y+n)表示W(wǎng) (X，y)為中屯、的 鄰域M X N內(nèi)任意一點(diǎn)；
[0023] 計(jì)算可見光和紅外圖像低頻子帶系數(shù)的像素活躍水平：
[0024] NAMvi(x,y) = [PCL'vi(x,y)]ax [LSCMvi(x,y)]ex [LENvi(x,y)]Y
[002引 NAMiR(x,y) = |iPCL,iR(x,y)!rx [LSCMiR(x,y)]0X [LENiR(x,y)]Y
[0026] NAMvI(x，y)、NAMIR(x，y)分別表示可見光和紅外圖像在像素點(diǎn)(x，y)的低頻子帶系 數(shù)的活躍水平，a、e、丫分別表示相位一致性信息、鄰域空間頻率和鄰域能量的權(quán)重；
[0027] 將可見光和紅外圖像中所有像素的低頻子帶系數(shù)的活躍水平構(gòu)成矩陣，設(shè)置滑動(dòng) 窗口 Q 1，計(jì)算可見光和紅外圖像的低頻子帶系數(shù)的融合權(quán)重：
[002引
[0029]
[0030] LmapviU,y)、LmapiR(x,y)表示可見光和紅外圖像在像素點(diǎn)(x,y)的低頻子帶系數(shù) 的融合權(quán)重，XXY表不滑動(dòng)窗口Ql大小，LsumvI(x,y)、LsumIR(x,y)分別表不可見光和紅外 圖像在滑動(dòng)窗口 Q 1內(nèi)活躍水平較大的像素?cái)?shù)量；
[0031]
[0032]
[0033] 「]表示集合的勢(shì)，（x〇，y〇)表示滑動(dòng)窗口 Qi內(nèi)任意一點(diǎn)；
[0034] 計(jì)算融合圖像低頻子帶系數(shù)lL,F(x，y):
[003引 lL,F(x,y) = lL,vi(x,y) XLmapvi(x,y)+lL,iR(x,y) XLmapiR(x,y);
[0036] 步驟3,根據(jù)可見光和紅外圖像高頻子帶系數(shù)的相位一致性信息、清晰度和圖像亮 度計(jì)算融合圖像的高頻子帶系數(shù)；
[0037] 計(jì)算可見光和紅外圖像高頻子帶系數(shù)的相位一致性：
[00；3 引
[0039]
[0040] 巧苗f:(為妨，fG/托.V)分別表示可見光和紅外圖像在像素點(diǎn)（x，y)的第I尺度、 第P方向高頻子帶的相位一致性信息，1和P分別表示高頻子帶系數(shù)的尺度和方向， 斟芯i(.Y，3；)、鳥品,托3；)分別表示可見光和紅外圖像像素點(diǎn)（x，y)的第1尺度、第P方向高頻 子帶系數(shù)在第11尺度、01^方向角的傅里葉頻域的局部能量，雜^1&知，乂>、^4知，的分別表 示可見光和紅外圖像像素點(diǎn)（x，y)的第1尺度、第P方向高頻子帶系數(shù)在第n尺度、0k方向角 的傅里葉頻域的局部振幅，e是正常量；
[0041] 計(jì)算可見光和紅外圖像高頻子帶系數(shù)的清晰度：
[0042]
[0043]
[0044] ，挪），iVSM；/(A，y。):分別表示可見光和紅外圖像在像素點(diǎn)（xo，yo)的第 1尺度、第P方向的高頻子帶系數(shù)的清晰度，H表示高頻子帶系數(shù)，/註T(A-，y)，媒分別 表示可見光和紅外圖像在像素點(diǎn)（x，y)的第1尺度，第P方向的高頻子帶系數(shù)， /敵知，斯;），培苗(?，拘)分別表示可見光和紅外圖像在像素點(diǎn)(xo，yo)的第1尺度，第P方向 的高頻子帶系數(shù)，〇2表示預(yù)設(shè)的領(lǐng)域，^0,70)表示^^，7)為中屯、的預(yù)設(shè)領(lǐng)域〇2內(nèi)任意一 占. '?、、，
[0045] 計(jì)算可見光和紅外圖像在像素(x，y)第1尺度，第P方向的高頻子帶系數(shù)的像素活 躍水平：
[004引 V..V)、WM;/(a：..v)分別表示可見光和紅外圖像在像素點(diǎn)(x，y)的第1層、
[0046]
[0047] 第P方向的高頻子帶系數(shù)的活躍水平