專利名稱：基于非下采樣輪廓波的多傳感器圖像自適應(yīng)融合方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，特別說是涉及利用非下采樣輪廓波對多傳感器圖像進行自適應(yīng)融合的方法。該方法可用于遙感圖像、航拍圖像的預(yù)處理。

背景技術(shù)：
多傳感器圖像融合是數(shù)據(jù)融合的一個重要分支。各種單一傳感器獲取的圖像數(shù)據(jù)在幾何、光譜、時間和空間分辨率等方面存在明顯的局限性和差異性，所以僅僅利用一種傳感器圖像數(shù)據(jù)是難以滿足實際需求的，特別是在未來戰(zhàn)爭中，電磁環(huán)境將異常復(fù)雜，無論是空戰(zhàn)、海戰(zhàn)還是陸戰(zhàn)以至于陸、海、空相結(jié)合的立體戰(zhàn)爭，都將日益依賴于各種傳感器設(shè)備。為了對觀測目標(biāo)有一個更加全面、清晰、準(zhǔn)確的理解與認(rèn)識，人們迫切希望尋求一種綜合利用各類圖像數(shù)據(jù)的技術(shù)方法。因此把不同的圖像數(shù)據(jù)的各自優(yōu)勢和互補性綜合起來加以利用就顯得非常重要和實用。
多傳感器圖像融合方法大體可以分為兩類。一類是在空間域上，對匹配后的源圖像直接進行加權(quán)平均處理，從而得到一幅新的融合圖像。這種方法簡單易行，但卻忽略了不同傳感器圖像在相應(yīng)目標(biāo)區(qū)域所包含重要信息量多少的差異，該方法相當(dāng)于在含有最多信息量的融合圖像和含有最少信息量的融合圖像之間取一個折衷。當(dāng)被融合的源圖像之間差異較大時，這種方法得到的融合圖像會產(chǎn)生明顯的人工拼接痕跡，不利于后續(xù)的圖像處理。對比于此類方法，近些年來，國內(nèi)外已經(jīng)提出了很多成功的基于變換的方法。這些方法將多尺度變換作為抽取圖像顯著特征的工具。它們包括基于塔形分解的方法，如拉普拉斯塔形分解、梯度金字塔、比率低通金字塔等和基于小波的方法。
相比于塔形分解的方法，基于小波的圖像融合方法可以提供更好的圖像融合性能。然而小波變換的分解和重構(gòu)實際是低通高通濾波的過程。而在大多數(shù)濾波器涉及的插補問題里，會使結(jié)果圖像產(chǎn)生振鈴，因為好的綜合函數(shù)通常是振蕩的。小波變換缺乏平移不變性，不可避免地在融合后圖像的尖銳邊緣附近的均勻局部區(qū)域，引入振鈴和抖動。而振鈴抖動與下采樣時采樣的離散特性有關(guān)。為了克服小波缺乏平移不變性，已有學(xué)者提出了相應(yīng)的解決辦法。目前，非下采樣變換的策略是避免振鈴現(xiàn)象的首選方法。非下采樣輪廓波變換NSCT是一種新的具有平移不變性的多尺度、局域的、多方向的過完備圖像表示方法。NSCT滿足各向異性尺度關(guān)系，有很好的方向性，可以準(zhǔn)確地捕捉圖像中的邊緣輪廓信息和紋理細(xì)節(jié)信息，適合于表達(dá)具有豐富細(xì)節(jié)及方向信息的多傳感器圖像。但是由于現(xiàn)有的多傳感器圖像融合方法，對變換后的低通子帶融合模型參數(shù)多是采用加權(quán)求和的方法進行設(shè)定，而多傳感器圖像融合目標(biāo)之間的關(guān)系并非簡單的線性加權(quán)關(guān)系，并且加權(quán)求和需要事先知道各個目標(biāo)的權(quán)重，存在很大的主觀偏好性，直接影響了融合后圖像的質(zhì)量，因此有必要采用優(yōu)化的方法期待獲得最佳的參數(shù)配置。
發(fā)明的內(nèi)容 本發(fā)明的目的在于克服了已有技術(shù)的不足，即避免因簡單采用基于變換的方法易在融合圖像中引入失真的問題，提出了一種基于非下采樣輪廓波的多傳感器圖像自適應(yīng)融合方法，以提高融合后圖像的質(zhì)量。
實現(xiàn)本發(fā)明目的的技術(shù)方案是采用非下采樣輪廓波作為對源圖像變換的工具，并采用黃金分割法搜索最優(yōu)的低頻子帶融合權(quán)值，實現(xiàn)自適應(yīng)圖像融合分解，具體實現(xiàn)過程如下 (1)輸入多傳感器源圖像A和B，并分別對其進行L層非下采樣輪廓波NSCT分解，得到低頻子帶SLA(n，m)、SLB(n，m)和各個尺度上的高頻方向子帶{Dl，iA(n，m)，0≤l≤L-1，1≤i≤kl}、{Dl，iB(n，m)，0≤l≤L-1，1≤i≤kl}，kl表示在尺度2-l上的高頻方向子帶數(shù)目，Dl，iA(n，m)表示源圖像A在尺度2-l上的第i個方向子帶，Dl，iB(n，m)表示源圖像B在尺度2-l上的第i個方向子帶，L為3～5； (2)對所述的低頻子帶采用黃金分割法搜索其最優(yōu)的低頻子帶融合權(quán)值w*，并利用低頻融合公式對多傳感器源圖像的低頻子帶系數(shù)進行融合； (3)對所述各個尺度上的高頻方向子帶，利用高頻融合公式進行融合，即 式中，為源圖像A尺度2-l上的高頻方向子帶信息和， 為源圖像B尺度2-l上的高頻方向子帶信息和； (4)對融合后的低頻子帶SF(n，m)和各個尺度上的高頻方向子帶{Dl，iF(n，m)，0≤l≤L-1，1≤i≥kl}，進行非下采樣輪廓波NSCT逆變換，得到融合圖像F。
所述的對低頻子帶采用黃金分割法搜索其最優(yōu)的低頻子帶融合權(quán)值w*，按如下過程進行 1)將傳感器圖像的低頻子帶系數(shù)的融合質(zhì)量指數(shù)QE(w)，作為搜索目標(biāo)函數(shù) 2)設(shè)搜索區(qū)間的左端點a的初始值為0，搜索區(qū)間的右端點b的初始值為1，初始待搜索區(qū)間[a，b]的值為
，搜索區(qū)間的最小長度ε＝0.01，并計算初始待搜索區(qū)間[a，b]中低頻子帶融合權(quán)值的第一個試探點w1＝a+0.382*(b-a)和低頻子帶融合權(quán)值的第二個試探點w2＝a+b-w1，w1，w2∈[a，b]； 3)根據(jù)所計算的低頻子帶融合權(quán)值第一個試探點的值，計算該第一個試探點的融合質(zhì)量指數(shù)QE(w1)； 4)根據(jù)所計算的低頻子帶融合權(quán)值第二個試探點的值，計算該第二個試探點融合質(zhì)量指數(shù)QE(w2)； 5)比較QE(w1)與QE(w2)的計算結(jié)果，如果QE(w1)大于QE(w2)，則更新搜索區(qū)間的左端點取值為a′＝w1，并將新的搜索區(qū)間長度|b-a′|與初始待搜索區(qū)間的最小長度ε進行比較，確定最優(yōu)的低頻子帶融合權(quán)值w* 第一種情況如果|b-a′|＜ε，則w*取為新搜索區(qū)間的中點w*＝(a′+b)/2，停止搜索； 第二種情況如果|b-a′|≥ε，則更新該搜索區(qū)間的兩個試探點，重新計算融合質(zhì)量指數(shù)QE(w1′)和QE(w2′)，再通過對該兩個融合質(zhì)量指數(shù)的比較結(jié)果確定最優(yōu)的低頻子帶融合權(quán)值w*； 6)比較QE(w1)與QE(w2)的計算結(jié)果，如果QE(w1)小于或等于QE(w2)，則更新搜索區(qū)間的右端點取值為b′＝w2，并將新的搜索區(qū)間長度|b′-a|與初始待搜索區(qū)間的最小長度ε進行比較，確定最優(yōu)的低頻子帶融合權(quán)值w* 第一種情況如果|b′-a|＜ε，則w*取為新搜索區(qū)間的中點w*＝(a+b′)/2，停止搜索； 第二種情況如果|b′-a|≥ε，則更新該搜索區(qū)間的兩個試探點，重新計算融合質(zhì)量指數(shù)QE(w1′)和QE(w2′)，再通過對該兩個融合質(zhì)量指數(shù)的比較結(jié)果確定最優(yōu)的低頻子帶融合權(quán)值w*。
本發(fā)明與現(xiàn)有技術(shù)相比具有以下優(yōu)點 1、本發(fā)明由于采用非下采樣輪廓波變換，可以有效避免因變換工具缺乏平移不變性而在融合圖像中產(chǎn)生的抖動失真。
2、本發(fā)明由于采用針對不同的多傳感器圖像自適應(yīng)地選擇最佳的低頻融合權(quán)值，不僅充分利用了圖像的信息，有效保留了源圖像中的紋理和邊緣信息，而且能夠得到目標(biāo)場景清晰、詳細(xì)的融合圖像。
3.仿真結(jié)果表明，本發(fā)明相對于傳統(tǒng)的多傳感器圖像融合方法，其效果有明顯的提高。
本發(fā)明的技術(shù)過程和效果可結(jié)合以下附圖詳細(xì)說明


圖1是本發(fā)明的實現(xiàn)過程示意圖； 圖2是本發(fā)明的自適應(yīng)搜索選擇最佳的低頻融合權(quán)值w*過程示意圖； 圖3是用本發(fā)明和已有方法對傳感器圖像組im1的仿真融合結(jié)果圖； 圖4是用本發(fā)明和已有方法對傳感器圖像組im2的仿真融合結(jié)果圖； 圖5是用本發(fā)明和已有方法對傳感器圖像組im3的仿真融合結(jié)果圖。

具體實施例方式 本發(fā)明的實例是對兩幅多傳感器圖像A和B進行融合。
參照圖1，本發(fā)明的具體步驟如下 步驟1，輸入多傳感器圖像A和B，并分別對其進行L層NSCT分解。
NSCT是一種新的具有平移不變性的多尺度、局域的、多方向的過完備圖像表示方法。NSCT的構(gòu)造基于非下采樣的塔形濾波器組和非下采樣的方向濾波器組，兩部分之間是相互獨立的。對源圖像A和B分別進行一層NSCT分解，其過程為 1)將源圖像A和B分別輸入非下采樣的塔形濾波器組，得到源圖像A和B一層NSCT分解的低頻信號和帶通信號； 2)將源圖像A和B的帶通信號輸入非下采樣的方向濾波器組，得到源圖像A和B一層NSCT分解的高頻方向子帶，高頻方向子帶的數(shù)目可以是2的任意次冪； 3)將源圖像A和B的NSCT分解的低頻信號作為新的輸入源圖像，重復(fù)上述步驟1)和2)，得到源圖像A和B分別進行L層NSCT分解的低頻子帶SLA(n，m)，SLB(n，m)，和各個尺度上的高頻方向子帶{Dl，iA(n，m)，0≤l≤L-1，1≤i≤kl}，{Dl，iB(n，m)，0≤l≤L-1，1≤i≤kl}， 其中，kl表示在尺度2-l上的高頻方向子帶數(shù)目，Dl，iA(n，m)表示源圖像A在尺度2-l上的第i個方向子帶，L為3～5； 步驟2，采用黃金分割法搜索最優(yōu)的低頻子帶融合權(quán)值w*。
黃金分割法是采用去掉“壞點”以外的區(qū)間，留下“好點”所在的區(qū)間來縮短搜索區(qū)間，經(jīng)反復(fù)多次比較試探點處的函數(shù)值，就能夠越來越精確地估計出最優(yōu)權(quán)值的位置。目標(biāo)函數(shù)取為可以反映融合圖像邊緣保持情況的邊緣融合質(zhì)量指數(shù)QE(w)。這項指標(biāo)的數(shù)值越高，表明融合后圖像的質(zhì)量越好。本發(fā)明采用黃金分割法搜索最優(yōu)的低頻子帶融合權(quán)值，的過程為 1)將多傳感器圖像的低頻子帶系數(shù)的融合質(zhì)量指數(shù)QE(w)，作為搜索目標(biāo)函數(shù) 2)設(shè)搜索區(qū)間的左端點a的初始值為0，搜索區(qū)間的右端點b的初始值為1，初始待搜索區(qū)間[a，b]的值為
，搜索區(qū)間的最小長度ε＝0.01，并計算初始待搜索區(qū)間[a，b]中低頻子帶融合權(quán)值的第一個試探點w1＝a+0.382*(b-a)和低頻子帶融合權(quán)值的第二個試探點w2＝a+b-w1，w1，w2∈[a，b]； 3)根據(jù)所計算的低頻子帶融合權(quán)值第一個試探點的值，計算該第一個試探點的融合質(zhì)量指數(shù)QE(w1)； 4)根據(jù)所計算的低頻子帶融合權(quán)值第二個試探點的值，計算該第二個試探點融合質(zhì)量指數(shù)QE(w2)； 5)比較QE(w1)與QE(w2)的計算結(jié)果，如果QE(w1)大于QE(w2)，則更新搜索區(qū)間的左端點取值為a′＝w1，并將新的搜索區(qū)間長度|b-a′|與初始待搜索區(qū)間的最小長度ε進行比較，確定最優(yōu)的低頻子帶融合權(quán)值w* 第一種情況如果|b-a′|＜ε，則w*取為新搜索區(qū)間的中點w*＝(a′+b)/2，停止搜索； 第二種情況如果|b-a′|≥ε，則按如下過程確定w* 5a)分別更新第一個試探點的值為w1′＝w2，第二個試探點的值為w2′＝a′+0.618*(b-a′)； 5b)重新計算融合質(zhì)量指數(shù)QE(w1′)和QE(w2′)，并比較QE(w1′)和QE(w2′)的大?。? 5c)對于QE(w1′)大于QE(w2′)，則更新搜索區(qū)間的左端點取值為a″＝w1′，并將新的搜索區(qū)間長度|b-a″|與初始待搜索區(qū)間的最小長度ε進行比較 如果|b-a″|＜ε，則w*取為新搜索區(qū)間的中點w*＝(a″+b)/2，停止搜索； 如果|b-a″|≥ε，則更新該搜索區(qū)間的兩個試探點，重新計算融合質(zhì)量指數(shù)QE(w1″)和QE(w2″)，并對該兩個融合質(zhì)量指數(shù)進行比較，再轉(zhuǎn)回步驟5c)，此過程循環(huán)進行，直到搜索出最優(yōu)的低頻子帶融合權(quán)值w*； 5d)對于QE(w1′)小于或等于QE(w2′)，則更新搜索區(qū)間的右端點取值為b′＝w2，并將新的搜索區(qū)間長度|b′-a′|與初始待搜索區(qū)間的最小長度ε進行比較， 如果|b′-a′|＜ε，則w*取為新搜索區(qū)間的中點w*＝(a′+b′)/2，停止搜索； 如果|b′-a′|≥ε，則更新該搜索區(qū)間的兩個試探點，轉(zhuǎn)回步驟5b)，此過程循環(huán)進行，直到搜索出最優(yōu)的低頻子帶融合權(quán)值w*。
6)比較QE(w1)與QE(w2)的計算結(jié)果，對于QE(w1)小于或等于QE(w2)，則更新搜索區(qū)間的右端點取值為b′＝w2，并將新的搜索區(qū)間長度|b′-a|與初始待搜索區(qū)間的最小長度ε進行比較，確定最優(yōu)的低頻子帶融合權(quán)值w* 第一種情況如果|b′-a|＜ε，則w*取為新搜索區(qū)間的中點w*＝(a+b′)/2，停止搜索； 第二種情況如果|b′-a|≥ε，則按如下過程確定w* 6a)更新第一個試探點的值為w1′＝a+0.382*(b′-a)，第二個試探點的值為w2′＝w1； 6b)重新計算融合質(zhì)量指數(shù)QE(w1′)和QE(w2′)，并比較QE(w1′)和QE(w2′)的大??； 6c)對于QE(w1′)大于QE(w2′)，則更新搜索區(qū)間的左端點取值為a′＝w1′，并將新的搜索區(qū)間長度|b′-a′|與初始待搜索區(qū)間的最小長度ε進行比較 如果|b′-a′|＜ε，則w*取為新搜索區(qū)間的中點w*＝(a′+b′)/2，停止搜索； 如果|b′-a′|≥ε，則更新該搜索區(qū)間的兩個試探點，重新計算融合質(zhì)量指數(shù)QE(w1″)和QE(w2″)，并對該兩個融合質(zhì)量指數(shù)進行比較，再轉(zhuǎn)回步驟6c)，循環(huán)進行此過程，直到搜索出最優(yōu)的低頻子帶融合權(quán)值w*； 6d)如果QE(w1′)小于或等于QE(w2′)，則更新搜索區(qū)間的右端點取值為b″＝w2′，并將新的搜索區(qū)間長度|b″-a|與初始待搜索區(qū)間的最小長度ε進行比較 如果|b″-a|＜ε，則w*取為新搜索區(qū)間的中點w*＝(a+b″)/2，停止搜索； 如果|b″-a|≥ε，則更新該搜索區(qū)間的兩個試探點，轉(zhuǎn)回步驟6b)，循環(huán)進行此過程，直到搜索出最優(yōu)的低頻子帶融合權(quán)值w*。
步驟3，利用搜索到的最優(yōu)低頻子帶融合權(quán)值w*，通過低頻融合公式對多傳感器源圖像的低頻子帶系數(shù)進行融合。
多傳感器源圖像的低頻子帶包含了圖像的概要信息，其融合公式為 w為融合權(quán)重，且w∈
(1) 將搜索到的最優(yōu)低頻子帶融合權(quán)值w*，代入低頻子帶融合公式(1)，可得到融合圖像的低頻子帶變換系數(shù)為 將搜索到的最優(yōu)低頻子帶融合權(quán)值w*，代入低頻融合公式， 步驟4，對多傳感器源圖像各個尺度上的高頻方向子帶，利用高頻融合公式進行融合。
NSCT對源圖像不僅提供了多尺度分析，它的基函數(shù)還比小波基函數(shù)具有更豐富的方向和形狀，因此它在捕獲圖像的光滑輪廓和幾何結(jié)構(gòu)上更為有效。源圖像的高頻方向子帶系數(shù)都在零值附近波動，包含了圖像的細(xì)節(jié)信息，比如邊緣，線狀特征和區(qū)域邊界。兩幅待融合的源圖像中模值較大的變換系數(shù)包含了更多的邊緣和紋理信息，指出了邊緣的位置，一般的融合規(guī)則是為每個像素點選擇一個較大的變換系數(shù)。源圖像經(jīng)NSCT分解后高頻方向子帶與源圖像大小相同，且高頻方向子帶的每個像素與源圖像相同位置上的像素一一對應(yīng)，還可以觀察到源圖像的強邊緣在同一尺度上的所有高頻方向子帶都具有模值較大的系數(shù)，所以本發(fā)明將源圖像每個象素同一尺度上的高頻方向子帶信息匯集起來進行比較。源圖像經(jīng)NSCT分解后，在尺度2-l上的高頻方向子帶信息和定義為 有高頻方向子帶的融合公式 根據(jù)高頻方向子帶的融合公式，對多傳感器源圖像各個尺度上的高頻方向子帶按照如下不同情況進行融合 如果源圖像A在尺度2-l上任意一個像素位置(n，m)的高頻方向子帶信息和大于或等于源圖像B在該位置的高頻方向子帶信息和，即則選取源圖像A在尺度2-l上(n，m)像素位置的高頻方向子帶系數(shù)，作為融合圖像F在相應(yīng)位置上的NSCT分解系數(shù)； 如果源圖像A在尺度2-l上任意一個像素位置(n，m)的高頻方向子帶信息和小于源圖像B在該位置的高頻方向子帶信息和，即則選取源圖像B在尺度2-l上(n，m)像素位置的高頻方向子帶系數(shù)作為融合圖像F在相應(yīng)位置上的NSCT分解系數(shù)； 最后得到融合圖像F的各個尺度上的高頻方向子帶{Dl，iF(n，m)，0≤l≤L-1，1≤i≤kl}。
步驟5，對融合圖像F的低頻子帶和各個尺度上的高頻方向子帶，作NSCT逆變換，得到融合圖像F。
NSCT逆變換是利用NSCT分解系數(shù)對圖像進行重構(gòu)的過程。對融合圖像F的低頻子帶SF(n，m)和各個尺度上的高頻方向子帶{Dl，iF(n，m)，0≤l≤L-1，1≤i≤kl}，作NSCT逆變換，其過程為 1)依次對高頻方向子帶{Dl，iF(n，m)，0≤l≤L-1，1≤i≤kl}作非下采樣方向濾波器組重構(gòu)，得到融合圖像F第L，L-1，...，1層NSCT分解的帶通信號； 2)對低頻子帶SF(n，m)和融合圖像F第L層的的帶通信號作非下采樣塔形濾波器組重構(gòu)，得到融合圖像F第L-1層NSCT分解的低通信號； 3)對融合圖像F第N層NSCT分解的低通信號和融合圖像F第N層NSCT分解的帶通信號作非下采樣塔形濾波器組重構(gòu)，得到融合圖像F第N-1層NSCT分解的低通信號，依次令N＝L-1，L-2，...，1； 最終得到精確重構(gòu)的融合圖像F，即融合圖像F第0層NSCT分解的低通信號。
以下通過仿真實驗驗證本發(fā)明方法的有效性。
仿真條件使用的源圖均為512*512大小的傳感器圖像，圖像中包含了多種場景，如工廠、城區(qū)和自然景物。
仿真內(nèi)容①選擇了圖像處理領(lǐng)域里廣泛使用的基于多尺度分析的圖像融合技術(shù)，即基于小波變換的圖像融合方法WTF與本發(fā)明的方法NSCTF進行對比；②選擇了不具有平移不變性的輪廓波變換對圖像進行融合的方法CTF與本發(fā)明的方法NSCTF進行對比；③選擇了平穩(wěn)小波變換SWTF的融合方法與本發(fā)明的方法NSCTF進行對比。
實驗中對圖像均采用四層分解。其中WTF和SWTF中選用的小波基為‘db8’，CTF，NSCTF均采用經(jīng)典的‘9-7’塔形分解和’c-d’方向濾波器組，由細(xì)尺度到粗尺度方向子帶的分解數(shù)目為16，8，4，4。
實驗中所使用的融合規(guī)則為最小尺度下的近似逼近系數(shù)取均值，其他分解系數(shù)選取絕對值最大的作為融合圖像數(shù)據(jù)。本發(fā)明采用黃金分割法搜索到的低頻最優(yōu)融合權(quán)重相對應(yīng)于圖像組im1，im2，im3和分別為0.0163，0.0933，0.2392，與通常所選取的w＝0.5，差別較大。
融合圖像評價融合圖像的客觀評價應(yīng)符合于主觀評價，也就是說，圖像的統(tǒng)計參數(shù)特征應(yīng)該符合人眼的目視感覺。對于多傳感器圖像融合效果的評價，應(yīng)綜合考慮圖像信息的豐富程度和對源圖像空間邊緣細(xì)節(jié)信息的的保持。本發(fā)明采用的評價指標(biāo)為 (1)信息熵entropy即圖像中所包含的平均信息量。該信息熵entropy的定義式為 式中，H表示圖像的熵，J表示圖像總的灰度級數(shù)，pj表示灰度值為j的像素數(shù)Ni與圖像總的像素數(shù)N之比，即pj＝Nj/N。圖像信息熵是衡量圖像信息豐富程度的一個重要指標(biāo)，通過對圖像信息熵的比較可以對比出圖像的細(xì)節(jié)表現(xiàn)能力。熵的大小，反映了圖像攜帶的信息量的多少。融合圖像的熵值越大，說明融合圖像攜帶的信息量越大。
(2)互信息量MI?；バ畔⒘縈I是信息論中的重要概念，可作為衡量兩個變量之間的相關(guān)性的量度，因此可以用互信息來衡量融合圖像與源圖像的相關(guān)度，來評價融合效果。MI值越大，則融合圖像從源圖像獲得的信息越多，融合效果越好。
融合圖像與源圖像A、B的互信息表示為 其中，PA、PB和PF為圖像A、B和F的概率密度，PFA(r，t)和PFB(r，t)分別為融合圖像和源圖像的聯(lián)合概率密度。
本發(fā)明中，取融合圖像包含源圖像的信息總和作為總的互信息，用該總的互信息除以源圖像信息熵之和，并將其歸一到
，即 (3)邊緣融合質(zhì)量指數(shù)QE。QE是近幾年提出的一種新的評價融合圖像質(zhì)量的客觀指標(biāo)，可以反映融合圖像的邊緣保持情況和邊緣周圍振鈴效應(yīng)的強弱，定義為 QE(A，B，F(xiàn))＝QH′(A，B，F(xiàn))1-α·QH′(A′，B′，F(xiàn)′)α(7) 其中QE表示邊緣融合質(zhì)量指數(shù)，QH′是加權(quán)融合評價指標(biāo)。A′、B′和F′分別為源圖像A，B和融合圖像F的邊緣圖像，參數(shù)α∈
，反映了邊緣圖像在原圖像中的重要程度，α越接近1邊緣圖像越重要。邊緣融合質(zhì)量指數(shù)越大，融合圖像的質(zhì)量越高。
仿真結(jié)果 (1)按照所述仿真內(nèi)容仿真的幾個圖像度量指標(biāo)如表1。
表1實驗結(jié)果比較
注“--”表示沒有數(shù)據(jù) 從表1的實驗數(shù)據(jù)可見，本發(fā)明提出的方法NSCTF在信息熵entropy，互信息量MI和邊緣融合質(zhì)量QE上和其他融合方法相比均具有優(yōu)勢，如對于圖像組im1，源圖像A的信息熵為5.6150，源圖像B的信息熵為6.8066，使用基于小波變換的圖像融合方法WTF，平穩(wěn)小波變換SWTF的融合方法，基于輪廓波變換CTF與本發(fā)明的方法NSCTF得到的融合圖像的信息熵分別為6.1895，6.1585，6.1995，6.7962；而且本發(fā)明方法得到的互信息量MI和邊緣融合質(zhì)量QE分別為0.2368和0.3859，都高出其他方法。
(2)用本發(fā)明和已有方法對傳感器圖像組im1的仿真融合結(jié)果如圖3。其中圖3(a)和圖3(b)分別為傳感器圖像組im1的源圖像A和B；圖3(c)為采用基于小波變換的圖像融合方法WTF得到的融合圖像；圖3(d)為采用平穩(wěn)小波變換的圖像融合方法SWTF得到的融合圖像；圖3(e)為采用輪廓波變換的圖像融合方法CTF得到的融合圖像；圖3(f)為采用本發(fā)明的方法NSCTF得到的融合圖像。
(3)用本發(fā)明和已有方法對傳感器圖像組im2的仿真融合結(jié)果如圖4。其中圖4(a)和圖4(b)分別為傳感器圖像組im2的源圖像A和B；圖4(c)為采用基于小波變換的圖像融合方法WTF得到的融合圖像；圖4(d)為采用平穩(wěn)小波變換的圖像融合方法SWTF得到的融合圖像；圖4(e)為采用輪廓波變換的圖像融合方法CTF得到的融合圖像；圖4(f)為采用本發(fā)明的方法NSCTF得到的融合圖像。
(4)用本發(fā)明和已有方法對傳感器圖像組im3的仿真融合結(jié)果如圖5。圖5(a)和5圖5(b)分別為傳感器圖像組im3的源圖像A和B；圖5(c)為采用基于小波變換的圖像融合方法WTF得到的融合圖像；圖5(d)為采用平穩(wěn)小波變換的圖像融合方法SWTF得到的融合圖像；圖5(e)為采用輪廓波變換的圖像融合方法CTF得到的融合圖像；圖5(f)為采用本發(fā)明的方法NSCTF得到的融合圖像。
參照圖3、圖4和圖5可見，在圖3的稻田圈輪廓附近，圖4和圖5的水域附近，采用基于小波變換的圖像融合方法WTF得到的融合圖像圖3(c)、圖4(c)和圖5(c)存在不同程度抖動失真；采用基于輪廓波變換的圖像融合方法CTF得到的融合圖像圖3(e)、圖4(e)和圖5(e)存在不同程度抖動失真；而采用SWTF方法得到的融合圖像圖3(d)、圖4(d)、圖5(d)和采用本發(fā)明NSCTF方法得到的融合圖像圖3(f)、圖4(f)、圖5(f)在這些區(qū)域顯得平滑和清晰。這是因為平穩(wěn)小波和本發(fā)明所采用的非下采樣輪廓波變換都是平移不變的變換，避免了在融合圖像中引入失真。
本發(fā)明相比于現(xiàn)有的傳統(tǒng)圖像融合方法，不管從客觀參數(shù)的評價上，還是從圖像的視覺質(zhì)量上來看都具有優(yōu)越性，可以有效避免某些變換因缺乏平移不變性而產(chǎn)生的圖像失真，能夠有效捕捉多傳感器圖像中豐富的方向和細(xì)節(jié)紋理信息，能夠得到目標(biāo)場景清晰、詳細(xì)的融合圖像，是一種有效可行的融合方法。
權(quán)利要求
1.一種基于非下采樣輪廓波的多傳感器圖像自適應(yīng)融合方法，包括如下過程
(1)輸入多傳感器源圖像A和B，并分別對其進行L層非下采樣輪廓波NSCT分解，得到低頻子帶SLA(n，m)、SLB(n，m)和各個尺度上的高頻方向子帶{Dl，iA(n，m)，0≤l≤L-1，1≤i≤kl}、{Dl，iB(n，m)，0≤l≤L-1，1≤i≤kl}，kl表示在尺度2-l上的高頻方向子帶數(shù)目，Dl，iA(n，m)表示源圖像A在尺度2-l上的第i個方向子帶，Dl，iB(n，m)表示源圖像B在尺度2-l上的第i個方向子帶，L為3～5；
(2)對所述的低頻子帶采用黃金分割法自適應(yīng)搜索選擇最佳的低頻融合權(quán)值w*，并利用低頻融合公式對多傳感器源圖像的低頻子帶系數(shù)進行融合；
(3)對所述各個尺度上的高頻方向子帶，利用高頻融合公式進行融合，即
式中，為源圖像A尺度2-l上的高頻方向子帶信息和，
為源圖像B尺度2-l上的高頻方向子帶信息和；
(4)對融合后的低頻子帶SF(n，m)和各個尺度上的高頻方向子帶{Dl，iF(n，m)，0≤l≤L-1，1≤i≤kl}，進行非下采樣輪廓波NSCT逆變換，得到融合圖像F。
2.根據(jù)權(quán)利要求書1所述的多傳感器圖像自適應(yīng)融合方法，其中步驟(2)所述的對低頻子帶采用黃金分割法搜索其最優(yōu)的低頻子帶融合權(quán)值w*，按如下過程進行
1)將傳感器圖像的低頻子帶系數(shù)的融合質(zhì)量指數(shù)QE(w)，作為搜索目標(biāo)函數(shù)
2)設(shè)搜索區(qū)間的左端點a的初始值為0，搜索區(qū)間的右端點b的初始值為1，初始待搜索區(qū)間[a，b]的值為
，搜索區(qū)間的最小長度ε＝0.01，并計算初始待搜索區(qū)間[a，b]中低頻子帶融合權(quán)值的第一個試探點w1＝a+0.382*(b-a)和低頻子帶融合權(quán)值的第二個試探點w2＝a+b-w1，w1，w2∈[a，b]；
3)根據(jù)所計算的低頻子帶融合權(quán)值第一個試探點的值，計算該第一個試探點的融合質(zhì)量指數(shù)QE(w1)
4)根據(jù)所計算的低頻子帶融合權(quán)值第二個試探點的值，計算該第二個試探點融合質(zhì)量指數(shù)QE(w2)；
5)比較QE(w1)與QE(w2)的計算結(jié)果，如果QE(w1)大于QE(w2)，則更新搜索區(qū)間的左端點取值為a′＝w1，并將新的搜索區(qū)間長度|b-a′|與初始待搜索區(qū)間的最小長度ε進行比較，確定最優(yōu)的低頻子帶融合權(quán)值w*
第一種情況如果|b-a′|＜ε，則w*取為新搜索區(qū)間的中點w*＝(a′+b)/2；
第二種情況如果|b-a′|≥ε，則更新該搜索區(qū)間的兩個試探點，重新計算融合質(zhì)量指數(shù)QE(w1′)和QE(w2′)，再通過對該兩個融合質(zhì)量指數(shù)的比較結(jié)果確定最優(yōu)的低頻子帶融合權(quán)值w*；
6)比較QE(w1)與QE(w2)的計算結(jié)果，如果QE(w1)小于或等于QE(w2)，則更新搜索區(qū)間的右端點取值為b′＝w2，并將新的搜索區(qū)間長度|b′-a|與初始待搜索區(qū)間的最小長度ε進行比較，確定最優(yōu)的低頻子帶融合權(quán)值w*
第一種情況如果|b′-a|＜ε，則w*取為新搜索區(qū)間的中點w*＝(a+b′)/2；
第二種情況如果|b′-a|≥ε，則更新該搜索區(qū)間的兩個試探點，重新計算融合質(zhì)量指數(shù)QE(w1′)和QE(w2′)，再通過對該兩個融合質(zhì)量指數(shù)的比較結(jié)果確定最優(yōu)的低頻子帶融合權(quán)值w*。
3.根據(jù)權(quán)利要求書2所述的多傳感器圖像自適應(yīng)融合方法，其中步驟5)所述的第二種情況，按如下過程進行
5a)分別更新第一個試探點的值為w1′＝w2，第二個試探點的值為w2′＝a′+0.618*(b-a′)；
5b)重新計算融合質(zhì)量指數(shù)QE(w1′)和QE(w2′)，并比較QE(w1′)和QE(w2′)的大??；
5c)如果QE(w1′)大于QE(w2′)，則更新搜索區(qū)間的左端點取值為a″＝w1′，并將新的搜索區(qū)間長度|b-a″|與初始待搜索區(qū)間的最小長度ε進行比較
如果|b-a″|＜ε，則w*取為新搜索區(qū)間的中點w*＝(a″+b)/2，停止搜索；
如果|b-a″|≥ε，則更新該搜索區(qū)間的兩個試探點w1″和w2″，重新計算融合質(zhì)量指數(shù)QE(w1″)和QE(w2″)，并對該兩個融合質(zhì)量指數(shù)進行比較，再轉(zhuǎn)回步驟5c)，循環(huán)進行此過程，直到搜索出最優(yōu)的低頻子帶融合權(quán)值w*；
5d)如果QE(w1′)小于或等于QE(w2′)，則更新搜索區(qū)間的右端點取值為b′＝w2，并將新的搜索區(qū)間長度|b′-a′|與初始待搜索區(qū)間的最小長度ε進行比較，
如果|b′-a′|＜ε，則w*取為新搜索區(qū)間的中點w*＝(a′+b′)/2，停止搜索；
如果|b′-a′|≥ε，則更新該搜索區(qū)間的兩個試探點，轉(zhuǎn)回步驟5b)，此過程循環(huán)進行，直到搜索出最優(yōu)的低頻子帶融合權(quán)值w*。
4.根據(jù)權(quán)利要求書2所述的多傳感器圖像自適應(yīng)融合方法，其中步驟6)所述的第二種情況，按如下過程進行
6a)更新第一個試探點的值為w1′＝a+0.382*(b′-a)，第二個試探點的值為w2′＝w1；
6b)重新計算融合質(zhì)量指數(shù)QE(w1′)和QE(w2′)，并比較QE(w1′)和QE(w2′)的大?。?br> 6c)如果QE(w1′)大于QE(w2′)，則更新搜索區(qū)間的左端點取值為a′＝w1′，并將新的搜索區(qū)間長度|b′-a′|與初始待搜索區(qū)間的最小長度ε進行比較
如果|b′-a′|＜ε，則w*取為新搜索區(qū)間的中點w*＝(a′+b′)/2，停止搜索；
如果|b′-a′|≥ε，則更新該搜索區(qū)間的兩個試探點，重新計算融合質(zhì)量指數(shù)QE(w1″)和QE(w2″)，并對該兩個融合質(zhì)量指數(shù)進行比較，再轉(zhuǎn)回步驟6c)，此過程循環(huán)進行，直到搜索出最優(yōu)的低頻子帶融合權(quán)值w*；
6d)如果QE(w1′)小于或等于QE(w2′)，則更新搜索區(qū)間的右端點取值為b″＝w2′，并將新的搜索區(qū)間長度|b″-a|與初始待搜索區(qū)間的最小長度ε進行比較
如果|b″-a|＜ε，則w*取為新搜索區(qū)間的中點w*＝(a+b″)/2，停止搜索；
如果|b″-a|≥ε，則更新該搜索區(qū)間的兩個試探點，轉(zhuǎn)回步驟6b)，循環(huán)進行此過程，直到搜索出最優(yōu)的低頻子帶融合權(quán)值w*。
全文摘要
本發(fā)明公開了一種基于非下采樣輪廓波的多傳感器圖像自適應(yīng)融合方法，主要解決現(xiàn)有圖像融合方法易在融合圖像中產(chǎn)生失真的問題。其融合過程是對源圖像分別作非下采樣輪廓波NSCT分解，得到源圖像的低通子帶和各個尺度上的高頻方向子帶；將得到的低通子帶采用黃金分割法搜索最優(yōu)的低頻子帶融合權(quán)值；利用最優(yōu)的低頻子帶融合權(quán)值自適應(yīng)地進行融合，得到融合圖像的低通子帶；利用高頻融合公式進行融合對源圖像的各個尺度上的高頻方向子帶進行融合，得到圖像在各個尺度上的高頻方向子帶；最后對融合圖像的低通子帶和高頻方向子帶作NSCT逆變換，得到融合圖像。本發(fā)明具有融合圖像平滑、清晰和細(xì)節(jié)信息豐富的優(yōu)點，可用于遙感圖像、航拍圖像的預(yù)處理。
文檔編號G06T5/00GK101303764SQ20081001823
公開日2008年11月12日 申請日期2008年5月16日 優(yōu)先權(quán)日2008年5月16日
發(fā)明者焦李成, 彪 侯, 霞 常, 爽 王, 公茂果, 芳 劉, 張向榮, 馬文萍 申請人:西安電子科技大學(xué)