基于多層帶間結(jié)構(gòu)模型的多光譜圖像和全色圖像融合方法
【專利摘要】基于多層帶間結(jié)構(gòu)模型的多光譜圖像和全色圖像融合方法，屬于圖像融合方法領(lǐng)域。為了解決在建立ARSIS模型的過程中，單層細(xì)節(jié)圖像在描述帶間關(guān)系時的局限性。本發(fā)明將低分辨率多光譜圖像MSLR重采樣到PAN圖像大小，將其均值作為z1LR圖像；對z1LR和MSLR進(jìn)行GS正交變換，將z1LR圖像變換后的圖像記為利用SWT構(gòu)建多尺度模型MSM；將MSM中各近似圖像和細(xì)節(jié)圖像劃分為64×64大小的圖像塊；對和計算全局結(jié)構(gòu)相似度SSIM，對每個圖像塊計算局部結(jié)構(gòu)相似度，并應(yīng)用定義的模型求得利用SWT逆變換得到得到z1HR后進(jìn)行GS反變換；輸出高分辨率多光譜圖像MSHR。本發(fā)明有效地提升了多光譜圖像的空間分辨率，實現(xiàn)了多光譜圖像全色銳化的目的。
【專利說明】
基于多層帶間結(jié)構(gòu)模型的多光譜圖像和全色圖像融合方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及一種基于多層帶間結(jié)構(gòu)模型的多光譜圖像和全色圖像融合方法。
【背景技術(shù)】
[0002] ARSIS模型是指通過注入結(jié)構(gòu)信息來提升圖像空間分辨率的融合方法。由于多光 譜圖像的光譜信息一般由其低頻部分表示，其空間信息則由高頻部分來表示。因此，在保持 光譜特性方面具有顯著的優(yōu)勢。ARSIS模型的核心是多尺度模型（MSM)和帶間結(jié)構(gòu)模型 (IBSM)。通過在多尺度模型中，建立多光譜圖像低分辨率下細(xì)節(jié)圖像的IBSM，準(zhǔn)確地描述其 所缺失的高分辨率下的細(xì)節(jié)信息。現(xiàn)有的帶間結(jié)構(gòu)模型通常用低分辨率下單層的細(xì)節(jié)子圖 像去構(gòu)建IBSM，但是多尺度模型中其它層次的細(xì)節(jié)信息并沒有被有效地利用，造成了信息 丟失嚴(yán)重，模型描述不夠準(zhǔn)確的現(xiàn)象。更為重要的一點是，遙感圖像的分辨率差異與用數(shù)學(xué) 模型去描述時并不是完全一致的。也就是說，一般采用的多分辨率分析方法，如金字塔變 換、小波變換等，與實際圖像中的分辨率差異是不同的。這是因為影響實際成像過程的因素 往往比用簡單的數(shù)學(xué)模型去描述時更為復(fù)雜。舉例來說，現(xiàn)有的一些商業(yè)衛(wèi)星的多光譜圖 像和全色圖像的分辨率比值通常為4，如QuickBird、IK0N0S等，然而對全色圖像進(jìn)行2層小 波分解后的圖像(理論上與多光譜圖像具有相同的分辨率），與真實的多光譜圖像之間仍然 存在著分辨率上的差異，因此，采用單層細(xì)節(jié)圖像去描述這種帶間關(guān)系就存在著較大的誤 差。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的是為了解決在建立ARSIS模型的過程中，單層細(xì)節(jié)圖像在描述帶間 關(guān)系時的局限性的問題，而提出一種基于多層帶間結(jié)構(gòu)模型的多光譜圖像和全色圖像融合 方法。
[0004] -種基于多層帶間結(jié)構(gòu)模型的多光譜圖像和全色圖像融合方法，所述方法通過以 下步驟實現(xiàn)：
[0005] 對于輸入的待融合圖像MSLR和高分辨率全色圖像PAN;
[0006] 步驟一、將低分辨率多光譜圖像MSLR利用雙線性插值法重采樣到全色圖像PAN圖像 大小，并將待融合圖像MS lR的均值圖像作為均值圖像ZllR;
[0007] 步驟二、對均值圖像z1LR和待融合圖像MSLR進(jìn)行GS正交變換，將均值圖像z1LR變換后 的圖像記為尺度為2的低分辨率多光譜圖像即第2層近似低分辨率多光譜圖像
[0008] 步驟三、利用靜態(tài)小波變換SWT對第2層近似低分辨率多光譜圖像ΑΓ進(jìn)行2層小波 變換，對高分辨率全色圖像PAN進(jìn)行4層小波變換，構(gòu)建多尺度模型MSM;
[0009] 其中，靜態(tài)小波變換是指，由第2層近似低分辨率多光譜圖像和高分辨率全色 圖像PAN分別進(jìn)行2層和四層分解;每分解一層會產(chǎn)生一個近似圖像和水平、垂直、對角三個 方向的細(xì)節(jié)圖像，層數(shù)越高則分辨率越低，高分辨率全色圖像PAN與z 1HR的分辨率相同，而 與』Γ以及MSlr與mR都具有相同分辨率;且第1、2層稱為低層，而第3、4層及以上稱為 尚層；
[0010] 步驟四、將多尺度模型MSM中各近似圖像對AMS與Apan，以及細(xì)節(jié)圖像對DMS與D PAN，都 劃分為64 X 64個像素大小的圖像塊；
[0011]步驟五、對于尺度為2的近似圖像對:第2層近似低分辨率多光譜圖像.和第2層 低分辨率全色圖像Jf'計算全局結(jié)構(gòu)相似度SSIM，計算每個圖像塊的局部結(jié)構(gòu)相似度 LSS頂，并最終求得每個圖像塊的低層細(xì)節(jié)系數(shù)圖像
[0012] 步驟六、步驟五求得的第2層細(xì)節(jié)系數(shù)圖像與第2層近似低分辨率多光譜圖像 進(jìn)行靜態(tài)小波逆變換，合成得到尺度為1的近似低分辨率多光譜圖像即第1層低分 辨率多光譜圖像
[0013] 步驟七、對于尺度為1的近似圖像對:第1層低分辨率多光譜圖像和第1層低分 辨率全色圖像Jf'重復(fù)步驟四到步驟六的過程得到高分辨率多光譜圖像的均值圖像2_， 即高分辨率多光譜圖像的均值圖像 Z1HR;
[0014] 步驟八、對高分辨率多光譜圖像的均值圖像Z1HR和低分辨率多光譜圖像MSw進(jìn)行GS 反變換；
[0015] 最終輸出高分辨率多光譜圖像MShr。
[0016] 本發(fā)明的有益效果為：
[0017] 為解決在建立ARSIS模型的過程中，單層細(xì)節(jié)圖像在描述帶間關(guān)系時的局限性，本 發(fā)明在分析不同層次的帶間關(guān)系的基礎(chǔ)上，設(shè)計了一種基于多層帶間結(jié)構(gòu)模型的多光譜圖 像融合方法，有效地利用了多光譜和全色圖像多分辨率模型下的不同高層細(xì)節(jié)圖像的相互 關(guān)系，克服了傳統(tǒng)方法的缺點，更加有效地提升了多光譜圖像的空間分辨率，實現(xiàn)了多光譜 圖像全色銳化的目的。
[0018] 對多光譜圖像全色銳化的實驗表明，本發(fā)明設(shè)計的融合方法，不僅具有最高的平 均梯度，即豐富的空間信息，而且具有最小的誤差，即保持光譜信息。對高光譜圖像的銳化 實驗表明，本發(fā)明設(shè)計的融合方法具有最小的融合誤差和最高的信噪比。與一般的融合方 法相比，該方法呈現(xiàn)出顯著的優(yōu)勢。
【附圖說明】
[0019] 圖1為本發(fā)明方法涉及的基于多層帶間結(jié)構(gòu)模型的多光譜圖像全色銳化方案示意 圖；
[0020] 圖2為本發(fā)明實驗所用多光譜和全色圖像，分別圖2a-圖2f為:QuickBird、IK0N0S 和WorldView-II多光譜圖像，以及QuickBird、IK0N0S和WorldView-II 全色圖像；
[0021 ]圖3a和圖3b為本發(fā)明實驗所用兩幅尚光譜圖像；圖3a為:圣地亞哥海車基地圖像； 圖3b為:帕維亞大學(xué)圖像；
[0022]圖4為6幅部分融合結(jié)果效果示意圖：其中，圖4a為Hobart原始多光譜圖像，圖4b為 CBD模型的融合結(jié)果，圖4c為提出方法的融合結(jié)果，圖4d為Rio de Janeiro的原始多光譜圖 像，圖4e為RWM模型的融合結(jié)果，圖4f為提出方法的融合結(jié)果；
[0023]圖5a_e為5幅高光譜圖像融合結(jié)果比較:其中，圖5a和圖5d為原始高光譜圖像假彩 色合成后的圖像，圖5b為圖5a中紅色圓圈內(nèi)飛機(jī)目標(biāo)的光譜曲線，圖5c為圖5a中標(biāo)記的停 機(jī)坪的光譜曲線，圖5e為圖5d中紅色圓圈內(nèi)的樹木的光譜曲線；
[0024]圖6a、圖6b為兩幅高光譜圖像融合結(jié)果的峰值信噪比比較:其中，圖6a:圣地亞哥 海軍基地圖像;圖6b:帕維亞大學(xué)圖像；
[0025]圖7a和圖7b分別為融合圖像平均梯度AG和均方根誤差RMSE與靜態(tài)小波分解層數(shù) 的關(guān)系示意圖，圖7a為Boulder數(shù)據(jù)，圖7b為Hobart數(shù)據(jù)；
[0026]圖8為本發(fā)明方法流程圖。
【具體實施方式】
[0027]【具體實施方式】一：
[0028]本實施方式的基于多層帶間結(jié)構(gòu)模型的多光譜圖像和全色圖像融合方法，結(jié)合圖 1所示的方法流程，所述方法通過以下步驟實現(xiàn)：
[0029]對于輸入的待融合圖像MSlr和高分辨率全色圖像PAN;
[0030] 步驟一、將低分辨率多光譜圖像MSlr利用雙線性插值法重采樣到全色圖像PAN圖像 大小，并將待融合圖像MSw的均值圖像作為均值圖像 Z1U?;
[0031] 步驟二、對均值圖像z1LR和待融合圖像MSlr進(jìn)行GS正交變換，將均值圖像Z1LR變換后 的圖像記為尺度為2的低分辨率多光譜圖像即第2層近似低分辨率多光譜圖像if;
[0032] 步驟三、利用靜態(tài)小波變換SWT對第2層近似低分辨率多光譜圖像乂〃進(jìn)行2層小波 變換，對高分辨率全色圖像PAN進(jìn)行4層小波變換，構(gòu)建多尺度模型MSM;
[0033] 其中，靜態(tài)小波變換是指，由第2層近似低分辨率多光譜圖像jflP高分辨率全色 圖像PAN分別進(jìn)行2層和四層分解;每分解一層會產(chǎn)生一個近似圖像和水平、垂直、對角三個 方向的細(xì)節(jié)圖像，層數(shù)越高則分辨率越低，所以圖1中的高分辨率全色圖像PAN與z 1HR的分辨 率相同，而#Λ'與以及MSLR與z1LR都具有相同分辨率;且第1、2層稱為低層，而第3、4層及 以上稱為高層；
[0034] 步驟四、將多尺度模型MSM中各近似圖像對AMS與Apan，以及細(xì)節(jié)圖像對DMS與D PAN，都 劃分為64 X 64個像素大小的圖像塊；
[0035] 步驟五、對于尺度為2的近似圖像對:第2層近似低分辨率多光譜圖像次Γ和第2層 低分辨率全色圖像計算全局結(jié)構(gòu)相似度SSIM，計算每個圖像塊的局部結(jié)構(gòu)相似度 LSS頂，并最終求得每個圖像塊的低層細(xì)節(jié)系數(shù)圖像
[0036] 步驟六、步驟五求得的第2層細(xì)節(jié)系數(shù)圖像與第2層近似低分辨率多光譜圖像 名&進(jìn)行靜態(tài)小波逆變換，合成得到尺度為1的近似低分辨率多光譜圖像ΧΓ，即第1層低分 辨率多光譜圖像
[0037] 步驟七、對于尺度為1的近似圖像對:第1層低分辨率多光譜圖像』fs和第1層低分 辨率全色圖像』重復(fù)步驟四到步驟六的過程得到高分辨率多光譜圖像的均值圖像2_， 即高分辨率多光譜圖像的均值圖像 Z1HR;
[0038] 步驟八、對高分辨率多光譜圖像的均值圖像z1HR和低分辨率多光譜圖像MSw進(jìn)行GS 反變換；
[0039]最終輸出高分辨率多光譜圖像MShr。
[0040]【具體實施方式】二：
[0041]與【具體實施方式】一不同的是，本實施方式的基于多層帶間結(jié)構(gòu)模型的多光譜圖像 和全色圖像融合方法，步驟一所述將低分辨率多光譜圖像MSlr利用雙線性插值法重采樣到 高分辨率全色圖像PAN圖像大小，并將待融合圖像MSlr的均值圖像作為均值圖像z 1LR的過程 為，對低分辨率多光譜圖像MSw的各波段圖像求和，除以波段圖像數(shù)，產(chǎn)生均值圖像，作為Z1 圖像
[0042]【具體實施方式】三：
[0043] 與【具體實施方式】一或二不同的是，本實施方式的基于多層帶間結(jié)構(gòu)模型的多光譜 圖像和全色圖像融合方法，步驟二所述對均值圖像z 1LR和待融合圖像MSlr進(jìn)行GS正交變換， 將均值圖像Z1LR變換后的圖像記為尺度為2的低分辨率多光譜圖像即第2層近似低分辨 率多光譜圖像4 /5的過程為，一般的ARSIS模型通常直接應(yīng)用在多光譜圖像的各個波段上， 也有先對多光譜圖像進(jìn)行主成分變換(PCA)，并將ARSIS模型應(yīng)用在第一主成分上的研究。 研究顯示，Gram-Schmidt波譜銳化(GS)方法對多光譜圖像融合能產(chǎn)生較好的效果。因此，
[0044] 步驟二一、將低分辨率多光譜圖像MSLR進(jìn)行GS正交變換：
[0045] 設(shè)Ζ = Χ · ΙΓ1表示改進(jìn)的GS正交變換方法，式中，X表示低分辨率多光譜圖像MSw各 波段，Z表示變換后的各分量，R為變換矩陣，且
[0047] R中的元素計算如下：
[0048] /?. ，zk = xk/llxkll，下角標(biāo)k表示當(dāng)前計算的分量，k=l，2,…，s;下角標(biāo)j表 示當(dāng)前分量之后的各個分量，j = k+l，. . .，s，每次計算一個rkj后，xj更新為xj = xj_zk · rkj;
[0049] 步驟二二、利用步驟一獲取的均值圖像zmd十算GS變換其它分量zs，則低分辨率多 光譜圖像MSlr和高分辨率全色圖像PAN的多尺度模型分別建立在均值圖像z 1LR和高分辨率全 色圖像PAN上，如圖1所示，均值圖像Z1Lr為上面合成的均值圖像，對應(yīng)MSM中的，z 1HR為 ARSIS融合后的圖像，與其它分量zs進(jìn)行GS反變換，得到融合后的高分辨率多光譜圖像MShr。
【具體實施方式】 [0050] 四：
[0051] 與【具體實施方式】三不同的是，本實施方式的基于多層帶間結(jié)構(gòu)模型的多光譜圖像 和全色圖像融合方法，步驟三所述利用靜態(tài)小波變換SWT對第2層近似低分辨率多光譜圖像 進(jìn)行2層小波變換，對高分辨率全色圖像PAN進(jìn)行4層小波變換后，得到：一個近似圖像 術(shù)〃或，'以及分別為水平、垂直、對角三個方向上的細(xì)節(jié)圖像D = DH，Dv，Dd，由于三個方向 是獨立、互不影響的，而后面所用的方法都是相同的，所以用一個D來表示。
【具體實施方式】 [0052] 五：
[0053]與【具體實施方式】一、二或四不同的是，本實施方式的基于多層帶間結(jié)構(gòu)模型的多 光譜圖像和全色圖像融合方法，步驟四所述將多尺度模型MSM中各近似圖像對AMS與Apan，以 及細(xì)節(jié)圖像對D MS與DPAN，都劃分為64 X 64個像素大小的圖像塊的過程為，不失一般性，
[0054] 步驟四一、利用上述定義的符號來表示MSM中各系數(shù)層:I3fs;和表示靜態(tài)小波 變換后尺度為i上的水平、垂直和對角方向的細(xì)節(jié)層；
[0055]步驟四二、多層帶間結(jié)構(gòu)模型MLIBSM的第一步是將各近似圖像和細(xì)節(jié)圖像都劃分 為64X64大小的圖像塊，之后分別在每個圖像塊中計算各層系數(shù)。
【具體實施方式】 [0056] 六：
[0057] 與【具體實施方式】五不同的是，本實施方式的基于多層帶間結(jié)構(gòu)模型的多光譜圖像 和全色圖像融合方法，步驟五所述對于尺度為2的近似圖像對:第2層近似低分辨率多光譜 圖像術(shù)〃和第2層低分辨率全色圖像計算全局結(jié)構(gòu)相似度SSIM，計算每個圖像塊的局 部結(jié)構(gòu)相似度LSS頂，并最終求得每個圖像塊的低層細(xì)節(jié)系數(shù)圖像Df的過程為，
[0058]步驟五一、針對圖1中的尺度為2的近似圖像對:第2層近似低分辨率多光譜圖像 和第2層低分辨率全色圖像名，計算整圖結(jié)構(gòu)相似度：
[0060]式中，μ和σ分別是圖像各自的均值和標(biāo)準(zhǔn)差;cov為和的協(xié)方差;cdPc2是 為了保證分母不為〇而設(shè)置的遠(yuǎn)小于1的常數(shù)；
[0061 ]步驟五二、計算每個圖像塊的局部結(jié)構(gòu)相似度LSS頂；
[0062] 步驟五三、計算每個圖像塊的
[0063] ^LSSIM(Am, ) > SSIM(Am, ),
[0064] 則 嚴(yán)S
[0065] 否則 = α. + 々 (2)
[0066] 式中，尺度i的值為2;α、β表示調(diào)整系數(shù)，用于將全色圖像的低層細(xì)節(jié)系數(shù)Df調(diào) 整為多光譜圖像的低層細(xì)節(jié)系數(shù)Ι>Γ ;
[0067]之后計算參數(shù)α和β的最優(yōu)解；
[0068]步驟五四、根據(jù)ARSIS的定義，高層細(xì)節(jié)系數(shù)的關(guān)系要盡可能與底層細(xì)節(jié)系數(shù)的關(guān) 系保持一致，則βΓ = ?、〇嚴(yán)'+#同樣適用于尺度i = 3,4,...；由于
[0072]定義如下目標(biāo)函數(shù)，使求出的α和β更好地擬合不同尺度的細(xì)節(jié)系數(shù)：
[0075]式中，Ν為分解層數(shù)；
[0086]將求得的α和郵]最優(yōu)解代入式⑵中，得到每個圖像塊的Df5,此時，尺度i = 2，j = 3,4，. . .，N，j表示MSM的高層。
【具體實施方式】 [0087] 七：
[0088] 與【具體實施方式】一、二、四或六不同的是，本實施方式的基于多層帶間結(jié)構(gòu)模型的 多光譜圖像和全色圖像融合方法，步驟七所述對于尺度為1的第1層低分辨率多光譜圖像 名^和第1層低分辨率全色圖像jf'重復(fù)步驟四到步驟六的過程得到高分辨率多光譜圖像 的均值圖像z?的過程為，
[0089] 步驟七一、將式(2)表示的模型應(yīng)用于尺度為1的平面上，并利用式(9)和式（11)求 出α和β的最優(yōu)解，得到其中，i = l，j = 2,3,4,. . .，N;
[0090] 步驟七二、進(jìn)行小波逆變換得到高分辨率的多光譜圖像的均值圖像Z1HR圖像。
[0091] 實施例1:
[0092]本發(fā)明的實驗針對三組星載多光譜/全色圖像和兩組高光譜圖像展開。三組多光 譜和全色圖像如圖2所示，參數(shù)如下表所示。實驗中對所有圖像進(jìn)行4倍亞采樣，并把原始多 光譜圖像作為參考圖像，這樣融合后的圖像就具有與原始多光譜圖像具有相同的分辨率， 從而可以進(jìn)行更有效地評價。
[0093]表1實驗多光譜和全色圖像詳細(xì)參數(shù)
[0095]同時，為了更好地顯示本發(fā)明設(shè)計的方法在光譜保持特性方面的優(yōu)勢，采用了兩 組高光譜圖像進(jìn)行仿真實驗，如圖3所示。其中，第一幅高光譜圖像為一幅低軌道AVIRIS高 光譜數(shù)據(jù)，采集于美國加利福尼亞圣地亞哥海軍基地，它包含126個波段，大小為400 X 400， 分辨率為3.5米。這里將序號為6-36的波段合成為一幅全色圖像，并對原始高光譜圖像進(jìn)行 4倍下采樣，進(jìn)行仿真實驗。第二幅圖像為R0SIS高光譜數(shù)據(jù)，采集于意大利帕維亞大學(xué)，包 含103個波段，大小為610X340分辨率為1.3米。類似地，將1-65的波段合成為一幅全色圖 像，并對原始高光譜圖像進(jìn)行4倍下采樣，進(jìn)行仿真實驗。
[0096]實驗結(jié)果及分析：
[0097]實驗結(jié)果通過一些常用的融合評價指標(biāo)來衡量，分別為平均梯度AG，均方根誤差 RMSE，相對無量綱全局綜合誤差ERGAS。表2所示為融合圖像各波段均值。
[0098]表2多光譜和全色圖像融合結(jié)果
[0099]
[0100] 從表中可以看出提出的方法（即Prop.)在增強(qiáng)空間信息和保持光譜特性方面具有 顯著的優(yōu)勢，如絕大部分情況下均具有最大的平均梯度，最小的誤差。APCA-CT在保持光譜 特性方面有一定的優(yōu)勢，特別是在第二組實驗中。圖4顯示了部分融合結(jié)果圖。從圖中可以 看出，提出的方法能增強(qiáng)圖像清晰度，比如對Hobart圖像來說，在紅色圓圈中，能更清晰地 看到建筑物的輪廓。同樣對于Rio de Janeiro圖像來說，提出的方法能觀察到紅色圓圈中 跑道的中心線，而在中間圖上，則觀察不到。因此，從結(jié)果來看，本發(fā)明設(shè)計的方法在圖像銳 化方面具有顯著的優(yōu)勢。
[0101]表3列出了高光譜圖像的融合結(jié)果。從表中可以看出，除了在空間清晰度方面的優(yōu) 勢之外，本發(fā)明的方法具有最小的融合誤差，因此融合結(jié)果最接近理想情況。
[0102]表3高光譜圖像融合結(jié)果
[0104] 圖5顯示了部分目標(biāo)或地物的光譜曲線。從圖中可以看出，在第一幅高光譜圖像 中，本發(fā)明設(shè)計的方法對于飛機(jī)目標(biāo)的光譜信息保持最好，其光譜曲線最接近與參考圖像 (REF)。而對于停機(jī)坪來說，本發(fā)明的方法與M2都更加接近于參考圖像。對于第二幅高光譜 圖像來說，這三種方法的光譜曲線都十分接近于參考圖像，但在植被的兩個反射峰處(綠色 波段和近紅外波段處），本發(fā)明的方法略微優(yōu)于其它兩種。為了更加宏觀地顯示幾種方法的 優(yōu)劣，將幾種方法融合結(jié)果按波段繪制峰值信噪比(PSNR)，如圖6所示。從圖中可以看出，相 比之下，本發(fā)明設(shè)計的方法具有最高的峰值信噪比，即最接近于原始高光譜圖像。另外，在 兩幅圖中可以看到，各自的峰值信噪比在前幾十個波段比較高，而在后面的波段中則比較 低，這是因為在合成全色圖像時，均只用了前幾十個波段。比如對于圣地亞哥海軍基地圖像 來說，全色圖像的波長范圍覆蓋了波段6-36,因此在圖中，前36個波段的峰值信噪比較高， 而之后的值則較低。
[0105] 從最終的實驗結(jié)果來看，本發(fā)明設(shè)計的方法在提升圖像空間分辨率和保持圖像光 譜特性方面均優(yōu)于其它幾種方法。
[0106] 另外，通過圖7給出本專利設(shè)計的方法中小波分解層數(shù)對于圖像融合效果的影響， 從圖中可以看出，在一定程度上，隨著小波分解層數(shù)的增加，對于細(xì)節(jié)信息的描述更加準(zhǔn) 確，因此，融合圖像的平均梯度隨之增加，而均方根誤差則隨之降低，說明圖像融合效果在 逐漸增強(qiáng)。但是，小波分解層數(shù)的增加，會使計算量和計算時間呈顯著增長的趨勢。因此，在 本發(fā)明設(shè)計的方法中，靜態(tài)小波分解的層數(shù)一般被設(shè)置為4-5層。
【主權(quán)項】
1. 基于多層帶間結(jié)構(gòu)模型的多光譜圖像和全色圖像融合方法，其特征在于:所述方法 通過以下步驟實現(xiàn)： 對于輸入的待融合圖像MSlr和高分辨率全色圖像PAN; 步驟一、將低分辨率多光譜圖像MSlr利用雙線性插值法重采樣到全色圖像PAN圖像大 小，并將待融合圖像MSw的均值圖像作為均值圖像Z1U?; 步驟二、對均值圖像z1LR和待融合圖像MSlr進(jìn)行GS正交變換，將均值圖像z1LR變換后的圖 像記為尺度為2的低分辨率多光譜圖像，Γ，即第2層近似低分辨率多光譜圖像; 步驟三、利用靜態(tài)小波變換SWT對第2層近似低分辨率多光譜圖像4〃進(jìn)行2層小波變 換，對高分辨率全色圖像PAN進(jìn)行4層小波變換，構(gòu)建多尺度模型MSM; 其中，靜態(tài)小波變換是指，由第2層近似低分辨率多光譜圖像4Γ和高分辨率全色圖像 PAN分別進(jìn)行2層和四層分解;每分解一層會產(chǎn)生一個近似圖像和水平、垂直、對角三個方向 的細(xì)節(jié)圖像，層數(shù)越高則分辨率越低，高分辨率全色圖像PAN與z 1HR的分辨率相同，而3?^與 以及MSLR與z1LR都具有相同分辨率;且第1、2層稱為低層，而第3、4層及以上稱為高層； 步驟四、將多尺度模型MSM中各近似圖像對AMS與Apan，以及細(xì)節(jié)圖像對DMS與D PAN，都劃分 為64 X 64個像素大小的圖像塊； 步驟五、對于尺度為2的近似圖像對:第2層近似低分辨率多光譜圖像和第2層低分 辨率全色圖像計算全局結(jié)構(gòu)相似度SSM，計算每個圖像塊的局部結(jié)構(gòu)相似度LSSM， 并最終求得每個圖像塊的低層細(xì)節(jié)系數(shù)圖像 步驟六、步驟五求得的第2層細(xì)節(jié)系數(shù)圖像Dfs與第2層近似低分辨率多光譜圖像4?進(jìn) 行靜態(tài)小波逆變換，合成得到尺度為1的近似低分辨率多光譜圖像即第1層低分辨率多 光譜圖像 步驟七、對于尺度為1的近似圖像對:第1層低分辨率多光譜圖像和第1層低分辨率 全色圖像重復(fù)步驟四到步驟六的過程得到高分辨率多光譜圖像的均值圖像z1HR，即高 分辨率多光譜圖像的均值圖像 2_; 步驟八、對高分辨率多光譜圖像的均值圖像z1HR和低分辨率多光譜圖像MSw進(jìn)行GS反變 換； 最終輸出高分辨率多光譜圖像MSHR。2. 根據(jù)權(quán)利要求1所述基于多層帶間結(jié)構(gòu)模型的多光譜圖像和全色圖像融合方法，其 特征在于:步驟一所述將低分辨率多光譜圖像MSlr利用雙線性插值法重采樣到高分辨率全 色圖像PAN圖像大小，并將待融合圖像MSw的均值圖像作為均值圖像m R的過程為，對低分辨 率多光譜圖像MSw的各波段圖像求和，除以波段圖像數(shù)，產(chǎn)生均值圖像，作為Z1圖像。3. 根據(jù)權(quán)利要求1或2所述基于多層帶間結(jié)構(gòu)模型的多光譜圖像和全色圖像融合方法， 其特征在于:步驟二所述對均值圖像z1LR和待融合圖像MSlr進(jìn)行GS正交變換，將均值圖像 變換后的圖像記為尺度為2的低分辨率多光譜圖像即第2層近似低分辨率多光譜圖像 的過程為， 步驟二一、將低分辨率多光譜圖像MSw進(jìn)行GS正交變換： 設(shè)Ζ = Χ · ΙΓ1表示改進(jìn)的GS正交變換方法，式中，X表示低分辨率多光譜圖像MSw各波段， Z表示變換后的各分量，R為變換矩陣，且 R中的元素計算如下：4 =ζ? ·\，ζ?. =·^./ΙΜ，下角標(biāo)k表示當(dāng)前計算的分量，k=l，2,. . .，s;下角標(biāo)j表示當(dāng) 前分量之后的各個分量，j = k+l，· · ·，s，每次計算一個rkj后，xj更新為xj = xj_zk · rkj; 步驟二二、利用步驟一獲取的均值圖像zmH十算GS變換其它分量zs，則低分辨率多光譜 圖像MSlr和高分辨率全色圖像PAN的多尺度模型分別建立在均值圖像z1LR和高分辨率全色圖 像PAN上，均值圖像z 1LR為上面合成的均值圖像，對應(yīng)MSM中的47S，z1Hr為ARSIS融合后的圖 像，與其它分量z s進(jìn)行GS反變換，得到融合后的高分辨率多光譜圖像MSHR。4. 根據(jù)權(quán)利要求3所述基于多層帶間結(jié)構(gòu)模型的多光譜圖像和全色圖像融合方法，其 特征在于:步驟三所述利用靜態(tài)小波變換SWT對第2層近似低分辨率多光譜圖像4 /s進(jìn)行2層 小波變換，對高分辨率全色圖像PAN進(jìn)行4層小波變換后，得到:一個近似圖像1廠或44\以 及分別為水平、垂直、對角三個方向上的細(xì)節(jié)圖像D = Dh，Dv，Dd。5. 根據(jù)權(quán)利要求1、2或4所述基于多層帶間結(jié)構(gòu)模型的多光譜圖像和全色圖像融合方 法，其特征在于:步驟四所述將多尺度模型MSM中各近似圖像對A MS與Apan，以及細(xì)節(jié)圖像對 DMS與DPAN，都劃分為64 X 64個像素大小的圖像塊的過程為， 步驟四一、利用上述定義的符號來表示MSM中各系數(shù)層:DP和飲~表示靜態(tài)小波變換 后尺度為i上的水平、垂直和對角方向的細(xì)節(jié)層； 步驟四二、多層帶間結(jié)構(gòu)模型MLIBSM的第一步是將各近似圖像和細(xì)節(jié)圖像都劃分為64 X64大小的圖像塊，之后分別在每個圖像塊中計算各層系數(shù)。6. 根據(jù)權(quán)利要求5所述基于多層帶間結(jié)構(gòu)模型的多光譜圖像和全色圖像融合方法，其 特征在于:步驟五所述對于尺度為2的近似圖像對:第2層近似低分辨率多光譜圖像Zf s和第 2層低分辨率全色圖像，計算全局結(jié)構(gòu)相似度SS頂，計算每個圖像塊的局部結(jié)構(gòu)相似度 LSS頂，并最終求得每個圖像塊的低層細(xì)節(jié)系數(shù)圖像的過程為， 步驟五一、針對尺度為2的近似圖像對:第2層近似低分辨率多光譜圖像為#和第2層低 分辨率全色圖像，計算整圖結(jié)構(gòu)相似度：式中，以和〇分別是圖像各自的均值和標(biāo)準(zhǔn)差;cov為4"和的協(xié)方差;cdPC2是為了 保證分母不為0而設(shè)置的遠(yuǎn)小于1的常數(shù)； 步驟五二、計算每個圖像塊的局部結(jié)構(gòu)相似度LSS頂； 步驟五三、計算每個圖像塊的Ι>Γ': 若 ；)之 5S/M(4i/s, )， 則蹲? 否則 ,,. (2) 式中，尺度i的值為2;α、β表示調(diào)整系數(shù)，用于將全色圖像的低層細(xì)節(jié)系數(shù)〇ΓΥ調(diào)整為 多光譜圖像的低層細(xì)節(jié)系數(shù)； 步驟五四、根據(jù)ARSIS的定義，高層細(xì)節(jié)系數(shù)的關(guān)系要盡可能與底層細(xì)節(jié)系數(shù)的關(guān)系保 持一致，則= a，D"' \ +彡同樣適用于尺度土 = 3，4，· · ·；由于(3) 則a和β分別表不為：(4).定義如下目標(biāo)函數(shù)，使求出的a和β更好地擬合不同尺度的細(xì)節(jié)系數(shù)：式中，Ν為分解層數(shù)；通過下式計算f(a)關(guān)于a的偏導(dǎo)數(shù)： (5) (6)(7) 則式(7)表示為：從而，得求出式(5)中a的最優(yōu)解為：(9) 通過下式計算g(i3)的偏導(dǎo)數(shù)：(10) 得求出式(6)中邱勺最優(yōu)解為：(Π) 將求得的a和β的最優(yōu)解代入式⑵中，得到每個圖像塊的Dfs?此時，尺度i = 2，j = 3， 4，. . .，N，j表示MSM的高層。7.根據(jù)權(quán)利要求1、2、4或6所述基于多層帶間結(jié)構(gòu)模型的多光譜圖像和全色圖像融合 方法，其特征在于:步驟七所述對于尺度為1的第1層低分辨率多光譜圖像Jf"和第1層低分 辨率全色圖像乂，重復(fù)步驟四到步驟六的過程得到高分辨率多光譜圖像的均值圖像 Z1HR 的過程為， 步驟七一、將式(2)表示的模型應(yīng)用于尺度為1的平面上，并利用式(9)和式（11)求出α 和β的最優(yōu)解，得到沈％其中，i = l，j = 2,3,4,. . .，Ν; 步驟七二、進(jìn)行小波逆變換得到高分辨率的多光譜圖像的均值圖像z1HR圖像。
【文檔編號】G06T3/40GK105869114SQ201610179673
【公開日】2016年8月17日
【申請日】2016年3月25日
【發(fā)明人】張鈞萍, 陸小辰, 李彤
【申請人】哈爾濱工業(yè)大學(xué)