專利名稱:基于模糊積分的圖像優(yōu)化融合方法
技術(shù)領(lǐng)域:
本發(fā)明涉及一種基于模糊積分的圖像優(yōu)化融合方法,結(jié)合小波多分辨率分解具有的時頻特性和IHS(強度Intensity-色度Hue-飽和度Saturation)變換融合方法,利用模糊積分綜合光譜信息和空間分辨率兩個單因素指標(biāo),進行遙感影像優(yōu)化融合,有效改善融合影像的光譜信息指標(biāo),在各類軍用或民用的遙感信息處理系統(tǒng)、數(shù)字城市空間信息系統(tǒng)等領(lǐng)域中均可有廣泛的應(yīng)用。
背景技術(shù):
有效的融合高分辨率全色遙感影像和低分辨率的多光譜遙感影像,均衡融合結(jié)果中空間細節(jié)信息和光譜信息兩項特征指標(biāo),是多源遙感影像融合技術(shù)的研究熱點之一。
Haydn等人首先提出的IHS融合方法是經(jīng)典的實用算法之一。該方法將多光譜影像通過IHS變換從RGB(紅Red-綠Green-藍Blue)空間變換到IHS空間,同時將高分辨率的全色影像進行線性拉伸,使得拉伸后影像的均值和方差與IHS空間中的強度分量I0一致。然后,將拉伸后的高分辨率影像作為新的強度分量,與H和S分量一起按照IHS逆變換公式變換到原RGB空間。這樣,使得融合后的影像既具有較高的空間分辨率,同時又保持了原低分辨率多光譜影像相同的色度和飽和度。然而,這種經(jīng)典的IHS融合方法存在著一定的缺陷,由于不同波段的數(shù)據(jù)具有不同的光譜特性曲線,IHS融合方法扭曲了原始的光譜特性,產(chǎn)生了不同程度的光譜退化現(xiàn)象,因而不利于影像的正確識別和分類,特別是對于不同時相的多傳感器遙感影像的影像融合,IHS融合方法無法使得融合影像的色調(diào)和原多光譜影像的色調(diào)保持一致,這種因為光譜信息的變換,導(dǎo)致了影像不能用于地物識別和反演。Te-Ming等人在IHS空間進行了數(shù)學(xué)上的證明,論述了IHS融合方法的缺陷,得到的結(jié)論是盡管用于替換強度分量I0的高分辨率的全色影像Inew在替換前進行了影像的統(tǒng)計特性的匹配,但是匹配誤差δ=Inew-I導(dǎo)致了彩色的畸變。
當(dāng)利用模糊測度表征對評價指標(biāo)的重視程度后,引入模糊積分則可以有效的綜合光譜信息指標(biāo)和空間分辨率兩個單因素指標(biāo),在IHS融合方法和小波變換融合的基礎(chǔ)上,模糊積分可以方便快捷的進行圖像優(yōu)化融合。目前尚未見有關(guān)將模糊積分用于圖像優(yōu)化融合的方法報道。
發(fā)明內(nèi)容
本發(fā)明的目的在于針對上述IHS變換融合技術(shù)的不足,提供一種遙感影像優(yōu)化融合方法,引入模糊積分作為綜合光譜信息指標(biāo)和空間分辨率兩個單因素指標(biāo),既能提高融合后影像的空間分辨率,又能降低彩色的畸變,有效改善融合影像的光譜信息指標(biāo)。
為實現(xiàn)這樣的目的,本發(fā)明在IHS空間,將多光譜影像的強度分量經(jīng)小波多層分解得到的低頻基帶系數(shù),與高分辨率影像經(jīng)對應(yīng)多層小波分解得到的低頻基帶系數(shù)進行以空間細節(jié)信息和光譜信息兩項特征指標(biāo)的模糊優(yōu)化融合,對經(jīng)小波分解后的高頻子帶系數(shù)進行高頻細節(jié)特征融合,然后將小波系數(shù)進行對應(yīng)的小波逆變換,得到新的強度分量,再進行IHS逆變換后得到融合后的影像。
由于小波變換在變換域具有良好的分頻特性,小波系數(shù)的統(tǒng)計特性反映了遙感影像的邊緣、線和區(qū)域等顯著特征,本發(fā)明將小波變換的多分辨分析(Multi-resolution Analysis)方法引入高分辨率全色遙感影像和低分辨率的多光譜遙感影像的融合中。
本發(fā)明的方法包括如下具體步驟1.對待融合的多光譜影像B進行IHS變換,分別得到在IHS彩色空間的色度H、飽和度S和強度分量I,然后對I分量進行小波分解,得到低頻基帶系數(shù)和高頻子帶系數(shù)。
2.對待融合高分辨率影像A進行線性拉伸和直方圖匹配,然后進行小波分解,得到低頻基帶系數(shù)和高頻子帶系數(shù),分解層數(shù)與多光譜影像I分量的小波分解層數(shù)相同。
3.確定一個3×3的空域窗口,分別求得影像B的I分量的高頻子帶系數(shù)和影像A的高頻子帶系數(shù)的均值μ(2j)和方差D(2j)。
4.在對應(yīng)分辨率層上,高頻子帶系數(shù)按照(1)式進行高頻細節(jié)特征融合 (1)式中,2j為小波分解層數(shù),Wk(2j,x,y)為2j分辨率下得到的高頻子帶系數(shù)融合結(jié)果;WAK(2j,x,y)和WBK(2j,x,y)分別為影像A及影像B中I分量所對應(yīng)的高頻子帶系數(shù),DAK、DBK分別是以(x,y)為中心像元的3×3的空域窗口的方差。
5.對影像B的I分量和影像A的低頻基帶系數(shù),按照(2)式進行優(yōu)化的像素級融合,權(quán)系數(shù)的kopt按照光譜信息評價指標(biāo)和空間分辨率評價指標(biāo)進行求優(yōu),求優(yōu)采用模糊積分綜合光譜信息指標(biāo)和空間分辨率兩項單因素指標(biāo)A(2j,x,y)=k1AA(2j,x,y)+k2AB(2j,x,y) (2)(2)式中,AA(2j,x,y)、AB(2j,x,y)分別為影像A及影像B中I分量對應(yīng)的2j分辨率的低頻基帶數(shù)據(jù),k1、k2為需要求優(yōu)的權(quán)系數(shù)。按照歸一化要求,k1、k2滿足k1+k2=1,即求優(yōu)權(quán)系數(shù)的確定可以歸結(jié)為滿足目標(biāo)函數(shù)的kopt=k1=1-k2。優(yōu)化融合迭代過程中的權(quán)系數(shù)滿足0≤kopt≤1;按照式S=sup{min[e(u1),g(E1)],min[e(u2),g(E2)]}計算尋優(yōu)評價指標(biāo)確定的模糊積分值Ei,求得SKopt=max(Ei),SKopt對應(yīng)的迭代值kopt即為最優(yōu)權(quán)系數(shù),式中,g(E1)、g(E2)為對光譜信息指標(biāo)和空間分辨率兩項指標(biāo)的重視度,e(u1)為光譜信息指標(biāo),e(u2)為空間分辨率指標(biāo),根據(jù)e(u1),e(u2)的大小,u1和u2是對光譜信息和空間分辨率從小到大的排序位置。
6.對得到的像素級融合的小波系數(shù)的低頻基帶系數(shù),以及各高頻小波系數(shù)進行對應(yīng)的小波逆變換,得到新的強度分量I’;7.將I’、H、S進行IHS逆變換,得到融合后的影像C。
本發(fā)明引入模糊積分對光譜信息指標(biāo)和空間分辨率兩項單因素指標(biāo)進行象素級優(yōu)化融合時定義設(shè)X為論域,e是從X到
的可測函數(shù),A∈P(X),則e關(guān)于模糊測度g在集A上的模糊積分S定義如(3)式S=∫Ae(x)·g(x)=supminα∈
[α,g(A∩Eα)]]]>=maxα∈
[min(α,g(A∩Eα))]--(3)]]>其中,Eα={x|e(x)≥α},P(x)是X的冪集。g(·)是模糊測度。利用模糊積分進行優(yōu)化融合時,模糊測度可以表征重視程度。
利用模糊積分進行優(yōu)化融合的關(guān)鍵是模糊測度g(x)的定義,可以采用gλ測度。在論域X={x1,x2,x3,…xn}(因素集)為有限的情況下,在λ=0時,只要確定了單點集(單因素集){xi}的gλ模糊測度gλ(xi),則可以得到任意AX的測度。對于多光譜、高分辨圖像融合問題,論域X={x1,x2},評價因素有兩個,x1=光譜信息,x2=空間分辨率。重視度為gλ(x1),gλ(x2),簡單表示為g1、g2,則g({x1})=g1,g({x2})=g2,g({x1,x2})=g({x1})+g({x2})=1。e(x)表示光譜信息評價指標(biāo)和分辨率評價指標(biāo)。論域X相應(yīng)的評價指標(biāo)為e(x1)=ESP,e(x2)=EHF簡單表示為e1,e2。按照模糊積分的定義,可以得到(4)式∫Xe(x)·g(x)=supminα∈
[α,g(X∩Eα)]--(4)]]>=maxα∈
[min(α,g(Eα))]]]>根據(jù)e1,e2的大小,對x1和x2排序,按從小到大的排序位置記為u1和u2。此時α的取值有兩種情況當(dāng)α=e(u1)時,Eα=E1={u1,u2},則g(E1)=1;當(dāng)α=e(u2)時,Eε=E2={u2},則g(E2)=g({u2})。
按照模糊積分的定義,可表示為(5)式S=sup{min[e(u1),g(E1)],min[e(u2),g(E2)]} (5)當(dāng)e1>e2時,x1和x2從小到大的排序位置為u1=x2,u2=x1,相應(yīng)地e(u1)=e2,g(E1)=1,e(u2)=e1,g(E2)=g({u2})=g({x1})=g1,則模糊積分S=max(e1·g1,e2)。
當(dāng)e1<e2時,x1和x2從小到大的排序位置為u1=x1,u2=x2,相應(yīng)地e(u1)=e1,g(E1)=1,e(u2)=e2,g(E2)=g({u2})=g({x2})=g2,則模糊積分S=max(e1,e2·g2)。
當(dāng)e1=e2時,S可取上面兩個值中的任意一個。
在優(yōu)化融合迭代求取權(quán)系數(shù)kopt的過程中,利用(5)式求得關(guān)于光譜信息指標(biāo)和空間分辨率兩項單因素指標(biāo)的模糊積分值,再求得SKopt=max(Ei),SKopt對應(yīng)的迭代值kopt即為最優(yōu)權(quán)系數(shù),這樣即可方便快捷的確定最優(yōu)權(quán)值kopt。
本發(fā)明結(jié)合了IHS融合方法和小波融合方法的特點,通過分別對小波基帶系數(shù)的權(quán)系數(shù)進行了像素級求優(yōu)融合和高頻子帶系數(shù)的高頻細節(jié)特征融合,其有益效果體現(xiàn)為使得融合后的影像既達到最高的空間分辨率,同時又最大限度的降低了彩色的畸變。均衡了融合結(jié)果中空間細節(jié)信息和光譜信息兩項特征指標(biāo),有效的改善了融合影像的光譜信息指標(biāo)。同時,引入了模糊積分方法,有效的綜合光譜信息和空間分辨率兩個單因素指標(biāo),方便快捷的確定像素級求優(yōu)融合過程中的最優(yōu)權(quán)值,其結(jié)果更加符合人對融合影像的主觀感受。
圖1為本發(fā)明-基于模糊積分的圖像優(yōu)化融合方法流程圖。
圖2為本發(fā)明遙感影像融合結(jié)果和IHS、WT(小波)方法的對比。其中,圖2(a)為多光譜遙感影像(256×256);圖2(b)為高空間分辨率全色遙感影像(256×256);圖2(c)為IHS方法的融合結(jié)果,圖2(d)為WT方法的融合結(jié)果,圖2(e)本發(fā)明的優(yōu)化融合結(jié)果。
圖3為本發(fā)明的性能評價指標(biāo)曲線。
具體實施例方式
為了更好地理解本發(fā)明的技術(shù)方案,以下結(jié)合附圖作進一步描述。
本發(fā)明方法的詳細流程如圖1所示。本發(fā)明選取一多光譜遙感影像B(256×256)如圖2(a),高分辨率全色遙感影像A(256×256)如圖2(b),A、B嚴格配準(zhǔn)后,實施如下步驟1、對多光譜影像B進行IHS變換,分別得到在IHS彩色空間的色度H、飽和度S和強度分量I,然后對I分量進行3層小波分解,得到低頻基帶系數(shù)和高頻子帶系數(shù)。
2、對高分辨率影像A進行線性拉伸和直方圖匹配,然后進行小波分解,分解層數(shù)也為3層,得到低頻基帶系數(shù)和高頻子帶系數(shù)。
3、確定一個3×3的空域窗口,分別求得影像B中I分量的高頻子帶系數(shù)和影像A的高頻小波系數(shù)的均值μ(2j)和方差D(2j)。
4、按照下式確定對應(yīng)分辨率層的高頻子帶系數(shù),進行高頻細節(jié)特征融合,可以得到對應(yīng)分辨率層的高頻細節(jié)特征融合結(jié)果。
5、引入模糊積分對光譜信息指標(biāo)和空間分辨率兩項單因素指標(biāo)進行綜合的方法如下按照下式S=sup{min[e(u1),g(E1)],min[e(u2),g(E2)]}計算尋優(yōu)評價指標(biāo)確定的模糊積分值Ei,求得SKopt=max(Ei),SKopt對應(yīng)的迭代值kopt即為最優(yōu)權(quán)系數(shù)。
其中,融合圖像尋優(yōu)評價指標(biāo)分別定義如下(i)光譜信息評價指標(biāo)利用融合圖像與多光譜圖像的相關(guān)程度來定義光譜信息的評價指標(biāo)。
令f為融合后圖像,f0為多光譜圖像。定義光譜信息評價ESP指標(biāo)如(6)式。
ESP=Corr(f,f0)=-Σj=1npix(fj-f‾)(f0j-f‾0)Σj=1npix(fj-f‾)2Σj=0npix(f0j-f‾0)2---(6)]]>其中,npix是圖像中像素點的個數(shù),f和f0表示圖像的灰度均值,相關(guān)程度Corr(f,f0)反映了影像f和f0的相似程度。
(ii)空間分辨率評價指標(biāo)利用融合圖像對應(yīng)的灰度的高頻分量與高分辨率圖像高頻分量之間的相關(guān)程度來定義空間分辨率指標(biāo)。令fH為高分辨率全色影像。首先將融合的圖像轉(zhuǎn)化為灰度圖像,然后進行小波分解,得到融合圖像的四個分量(fa,fh,fv,fd),分別表示融合圖像的低頻分量、水平方向的高頻分量、垂直方向的高頻分量和對角線方向的高頻分量。同樣也可以得到高分辨率圖像小波分解的四個分量(fHa,fHh,fHv,fHd)。定義空間分辨率評價指標(biāo)如(7)式所示EHF=Corr(fh,fHh)+Corr(fv,fHv)+Corr(fd,fHd)3--(7)]]>為了驗證基于模糊積分計算得到的最優(yōu)權(quán)值的有效性,可以按照(8)式進行像素級融合,權(quán)系數(shù)kopt按照(8)式所示的目標(biāo)函數(shù)求優(yōu) 依據(jù)融合圖像的尋優(yōu)評價指標(biāo)修正融合準(zhǔn)則中的基帶數(shù)據(jù)融合的權(quán)系數(shù)k1、k2。隨著高分辨率影像低頻基帶系數(shù)的融合權(quán)值k1的增加,空間分辨率評價指標(biāo)EHF隨之增大,光譜信息評價指標(biāo)ESP減小。因此,(6)式中的kopt是使得目標(biāo)函數(shù)達到最大的權(quán)系數(shù),即使得ESP、EHF達到同時最大的權(quán)系數(shù)。kopt取值范圍為
。
根據(jù)權(quán)系數(shù)kopt的求優(yōu)目標(biāo)函數(shù),在取值區(qū)間
內(nèi),隨著權(quán)系數(shù)融合權(quán)值k1的增加,按(9)式得到空間分辨率評價指標(biāo)EHF和光譜信息評價指標(biāo)ESP的曲線,曲線交點即為最優(yōu)權(quán)系數(shù)的kopt,如圖3所示。
E(i)=E(i)-MinE(i)Max[E(i)-Min(E(i)](9)]]>(9)式中,E(i)為評價指標(biāo),i為權(quán)系數(shù)k1尋優(yōu)的次數(shù)。圖3所示為在
以尋優(yōu)步長0.001得到的ESP、EHF曲線。可以看到,歸一化后的ESP、EHF都呈非線性。滿足求優(yōu)目標(biāo)函數(shù)的權(quán)系數(shù)kopt是ESP和EHF的交點kopt=0.424(收斂精度δ≤0.001)。
如圖3所示,顯然,引入模糊積分對光譜信息指標(biāo)和空間分辨率兩項單因素指標(biāo)進行綜合評價,計算求得SKopt(SKopt=max(Ei))所對應(yīng)的迭代值kopt即為按(9)式求得的EHF、ESP的曲線交點,即為最優(yōu)權(quán)系數(shù)的kopt。
6、對得到的像素級優(yōu)化融合的小波系數(shù)的低頻基帶系數(shù),以及進行的特征級融合的各高頻小波系數(shù)進行對應(yīng)的小波逆變換,得到新的強度分量I’。
7、將I’、H、S進行IHS逆變換,得到融合后的影像C。
融合結(jié)果比較圖2(c)為IHS方法的融合結(jié)果(256×256),圖2(d)為WT方法的融合結(jié)果(256×256),圖2(e)本發(fā)明的優(yōu)化融合結(jié)果(256×256)。
在尋優(yōu)過程中,根據(jù)(4)~(5)式定義的兩項特征評價指標(biāo),代入(5)式,按照每100個步長計算模糊積分S的值,結(jié)果如表1所示(重視度g1=0.7,g2=0.3)。同時將模糊積分值S繪制如圖3所示。顯然,模糊積分值S呈現(xiàn)一個非線性的變化過程,具有一個峰值點,這個峰值點即是將兩項特征指標(biāo)歸一化后得到的指標(biāo)曲線的交點-最優(yōu)權(quán)系數(shù)kopt,其使得融合后的影像既達到最高的空間分辨率,同時又最大限度的降低了彩色的畸變。
表1融合結(jié)果的評價指標(biāo)比較
表1所示的光譜信息和空間分辨率信息這兩種因素評價值的變化符合人的主觀評價感受。換言之,采用基于模糊積分圖像優(yōu)化融合方法得到的圖2(e)符合人的主觀評價習(xí)慣和主觀感受。
表2不同融合方法結(jié)果的評價指標(biāo)比較
表2為采用相關(guān)系數(shù)和平均梯度兩項指標(biāo)定量對不同融合方法得到的融合影像進行評價的結(jié)果。從表2可知,采用本發(fā)明基于模糊積分的圖像優(yōu)化融合方法可以使得融合后影像在影像的光譜信息保留性能得到很大提高,但在空間分辨率的提高方面略差于小波變換(WT)方法,而與IHS方法獲得的融合影像的空間分辨率指標(biāo)基本相同。因此,本發(fā)明方法是在達到最高的空間分辨率的同時,又最大限度的降低了彩色的畸變。
權(quán)利要求
1.一種基于模糊積分的圖像優(yōu)化融合方法,其特征在于包括如下具體步驟(1)對待融合的多光譜影像B進行IHS變換,分別得到在IHS彩色空間的色度H、飽和度S和強度分量I,然后對I分量進行小波分解,得到低頻基帶系數(shù)和高頻子帶系數(shù);(2)對待融合高分辨率影像A進行線性拉伸和直方圖匹配,然后進行小波分解,得到低頻基帶系數(shù)和高頻子帶系數(shù),分解層數(shù)與多光譜影像I分量的小波分解層數(shù)相同;(3)確定一個3×3的空域窗口,分別求得影像B的I分量的高頻子帶系數(shù)和影像A的高頻子帶系數(shù)的均值μ(2j)和方差D(2j);(4)對應(yīng)分辨率層的高頻子帶系數(shù)按照下式 進行高頻細節(jié)特征融合,式中,2j為小波分解層數(shù),Wk(2j,x,y)為2j分辨率下得到的高頻子帶系數(shù)融合結(jié)果,WAk(2j,x,y)和WBk(2j,x,y)分別為影像A及影像B中I分量的對應(yīng)高頻子帶系數(shù),DAk、DBk分別是以(x,y)為中心像元的3×3的空域窗口的方差;(5)對影像B的I分量和影像A的低頻基帶系數(shù),按照下式A(2j,x,y)=k1AA(2j,x,y)+k2AB(2j,x,y)進行優(yōu)化的像素級融合,式中,AA(2j,x,y)、AB(2j,x,y)分別為影像A及影像B中I分量對應(yīng)的2j分辨率的低頻基帶數(shù)據(jù),k1、k2為需要求優(yōu)的權(quán)系數(shù),k1+k2=1;引入模糊積分對光譜信息指標(biāo)和空間分辨率兩項單因素指標(biāo)進行綜合,優(yōu)化融合迭代過程中的權(quán)系數(shù)kopt=k1=1-k2,滿足0≤kopt≤1;按照式S=sup{min[e(u1),g(E1)],min[e(u2),g(E2)]}計算尋優(yōu)評價指標(biāo)確定的模糊積分值Ei,求得SKopt=max(Ei),SKopt對應(yīng)的迭代值kopt即為最優(yōu)權(quán)系數(shù),式中,g(E1)、g(E2)為對光譜信息指標(biāo)和空間分辨率兩項指標(biāo)的重視度,e(u1)為光譜信息指標(biāo),e(u2)為空間分辨率指標(biāo),根據(jù)e(u1),e(u2)的大小,u1和u2是對光譜信息和空間分辨率從小到大的排序位置;(6)對得到的像素級優(yōu)化融合的小波系數(shù)的低頻基帶系數(shù),以及進行的特征級融合的各高頻小波系數(shù)進行對應(yīng)的小波逆變換,得到新的強度分量I’;(7)將I’、H、S進行IHS逆變換,得到融合后的影像C。
全文摘要
一種基于模糊積分的圖像優(yōu)化融合方法,在IHS空間,將多光譜影像的強度分量經(jīng)小波多層分解得到的低頻基帶系數(shù),與高分辨率影像經(jīng)對應(yīng)多層小波分解得到的低頻基帶系數(shù),利用模糊積分綜合光譜信息和空間分辨率這兩個單因素指標(biāo),進行迭代求優(yōu)的像素級融合,同時對經(jīng)小波分解后的高頻子帶系數(shù)進行高頻細節(jié)特征融合,然后將融合處理后得到的高頻子帶系數(shù)、低頻系數(shù)進行對應(yīng)的小波逆變換,得到新的強度分量I’,再進行IHS逆變換后得到優(yōu)化融合后的影像。本發(fā)明結(jié)合了IHS融合方法和小波融合方法的特點,使融合后的影像既達到最高的空間分辨率,又最大限度的降低了彩色的畸變,有效的改善了融合影像的光譜信息指標(biāo)。
文檔編號G06T5/00GK1588448SQ20041005420
公開日2005年3月2日 申請日期2004年9月2日 優(yōu)先權(quán)日2004年9月2日
發(fā)明者敬忠良, 肖剛, 李建勛 申請人:上海交通大學(xué)