專利名稱：基于整體結(jié)構(gòu)和空間細節(jié)信息融合的光譜圖像全色銳化方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種遙感圖像融合方法，尤其涉及一種基于整體結(jié)構(gòu)和空間細節(jié)信息融合的全色銳化方法，屬于數(shù)字圖像處理技術(shù)領(lǐng)域。
背景技術(shù)：
隨著衛(wèi)星與遙感技術(shù)的發(fā)展，世界各國發(fā)射了越來越多的多傳感器衛(wèi)星，例如IKONOS (艾克諾斯)、QuickBird (快鳥)、資源三號等衛(wèi)星同時搭載了全色與多光譜等傳感器。由于成像器件在光譜分辨率和空間分辨率之間存在取舍，全色圖像的空間分辨率優(yōu)于多光譜和高光譜圖像，而多光譜和高光譜圖像含有多個光譜波段，光譜分辨率優(yōu)于全色圖像。在此情形下，利用全色圖像的空間細節(jié)信息銳化多光譜和高光譜圖像，生成空間細節(jié)清晰且光譜信息豐富的融合圖像，既有助于機器更好、更準地提取人們所需的信息，也有助于圖像解譯人員快速準確地分析圖像。在本發(fā)明中，多光譜圖像和高光譜圖像統(tǒng)稱為光譜圖像。通常，光譜成像包含多個光譜波段，因此光譜圖像含有多個分量，每個分量是一幅灰度圖像。在實際應(yīng)用中，全色與光譜圖像融合方法必須滿足以下要求:光譜保真，即融合圖像的光譜信息必須與光譜圖像的光譜信息保持一致；細節(jié)保真，即融合圖像的空間細節(jié)信息必須與全色圖像的空間細節(jié)信息保持一致；高時效性，即融合方法的計算復(fù)雜度低，以便快速地完成大數(shù)據(jù)量、大尺寸的全色與光譜圖像融合。迄今為止，研究人員已經(jīng)提出了大量的圖像融合方法，例如基于分量替換的融合方法，主要包括基于IHS變換、基于PCA變換、基于Gram-Schmidt變換(GS變換)等融合方法，以及基于頻率分解的融合方法，主要包括基于小波變換、基于曲波變換等融合方法?？傮w而言，基于分量替換的融合方法空間細節(jié)保真效果好，然而，在全色圖像和被替換分量亮度差異較大的區(qū)域，融合圖像的光譜存在嚴重失真；基于頻率分解的融合方法光譜保真效果較好，但存在著細節(jié)失真的不足。此外，上述融合方法計算復(fù)雜較高，對尺寸較大的全色與光譜圖像，融合處理的計算非常耗時。以當前應(yīng)用效果最好的兩種方法，即ENVI (TheEnvironment for Visualizing Images)遙感圖像處理軟件提供的基于GS變換融合方法(簡稱ENV1-GS變換法)和PCI (PCI Geomatica)遙感圖像處理軟件提供的全色銳化法(簡稱PCI銳化法)為例，在配置為3.2GHz的4核CPU，2GB的內(nèi)存，Windows XP操作系統(tǒng)的計算機上，對于尺寸為12000 X 12000像素的全色圖像與3000 X 3000像素多光譜圖像，二者的融合計算均大于150秒，難以滿足用戶的高時效要求。在此背景下，研究一種可以有效避免融合圖像光譜和空間細節(jié)失真，且計算復(fù)雜度低的全色銳化融合方法，對快速有效地獲取高分辨率的全色和光譜融合圖像具有重要意義
發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個方面，提供了一種基于整體結(jié)構(gòu)和空間細節(jié)信息融合的光譜圖像全色銳化方法。在本發(fā)明中，光譜圖像具體指多光譜圖像和高光譜圖像。通常，光譜成像包含多個光譜波段，因此光譜圖像含有多個分量，每個分量是一幅灰度圖像。例如，QuickBird和IKONOS衛(wèi)星的多光譜圖像均包含4個分量，高光譜圖像包含幾十個甚至幾百個分量。本申請中，將光譜圖像的分量總數(shù)記為N。本發(fā)明僅通過圖像做差和圖像平滑濾波，實現(xiàn)了全色與光譜圖像的高保真融合，且本發(fā)明的方法的計算速度快，適應(yīng)性好。為實現(xiàn)上述目的，本發(fā)明提供了一種基于整體結(jié)構(gòu)和空間細節(jié)信息融合的光譜圖像全色銳化方法，包括如下步驟:(I)對全色圖像進行亮度線性拉伸，使全色圖像的方差σ P與光譜圖像的方差σ s相等；(2)將光譜圖像的N個分量分別插值成與全色圖像同樣分辨率的插值圖像序列
工1，工2，...，In ;(3)將所述線性拉伸后的全色圖像分別與所述插值圖像序列I1, I2,…，In相減，得到差值圖像序列D1, D2,…，Dn ；(4)對差值圖像序列D1, D2,…，Dn進行高斯濾波，得到差值趨勢圖像序列S1, S2,…，Sn ；(5)將所述線性拉伸后的全色圖像分別與差值趨勢圖像序列S1, S2,…，Sn相減，得到融合圖像序列U1, U2,...，Un。其中，在所述步驟(I)中，將全色圖像的像素值乘以^/σ,/σΡ進行線性亮度拉伸。

所述步驟(I)中，隨機選取一定數(shù)量的像素點來估計光譜圖像的方差以及全色圖像的方差。述步驟(2)中，利用雙線性插值法進行圖像插值放大。所述步驟(4)中，利用一維高斯濾波器G先對圖像按行進行平滑濾波，再利用所述一維高斯濾波器G的轉(zhuǎn)置Gt對圖像按列進行平滑濾波。所述步驟(4)中，一維高斯濾波器G的長度為13，G的尺度參數(shù)為3.33。本發(fā)明所提供的基于整體結(jié)構(gòu)和空間細節(jié)信息融合的光譜圖像全色銳化方法的優(yōu)點包括:1.實現(xiàn)了融合圖像的光譜和空間細節(jié)保真，適應(yīng)性好；2.方法簡單，僅涉及圖像做差和圖像平滑操作，計算速度快；3.不受光譜圖像波段數(shù)量的限制，可以根據(jù)應(yīng)用的要求選擇任意數(shù)量的波段進行融合。


圖1為根據(jù)本發(fā)明的一個實施例的融合方法的流程示意圖；圖2(a) -2(e)顯示了根據(jù)本發(fā)明的實施例的融合方法與現(xiàn)有典型融合方法在QuickBird圖像上的實驗結(jié)果對比；其中，圖2(a)為全色圖像，圖2(b)為多光譜圖像，圖2(c)為ENV1-GS變換法，圖2(d)為PCI銳化法，圖2(e)為根據(jù)本發(fā)明的實施例的方法。圖3(a) -3(e)顯示了根據(jù)本發(fā)明的實施例的融合方法與現(xiàn)有典型融合方法在IKONOS圖像上的實驗結(jié)果對比；其中，圖3(a)為全色圖像，圖3(b)為多光譜圖像，圖3(c)為ENV1-GS變換法，圖3(d)為PCI銳化法，(e)為根據(jù)本發(fā)明的實施例的方法。
具體實施例方式下面結(jié)合附圖和具體實施方式
對本發(fā)明作進一步的詳細說明。根據(jù)本發(fā)明的一個實施例，將圖像數(shù)據(jù)分為整體結(jié)構(gòu)和空間細節(jié)兩個部分:整體結(jié)構(gòu)信息主要反映了圖像數(shù)據(jù)的整體走勢，內(nèi)容比較模糊；空間細節(jié)信息的變化波動較劇烈，主要刻畫了圖像紋理和邊緣，反映了圖像局部細節(jié)的清晰程度。光譜圖像的空間分辨率較低，但反映了地物的光譜反射率，可用于分析地物的材質(zhì)屬性。因此，全色與光譜圖像融合只能從全色圖像中抽取空間細節(jié)信息來銳化光譜圖像，若引入了全色圖像的整體結(jié)構(gòu)信息則會改變光譜圖像的光譜屬性，引起光譜失真。換言之，若融合圖像的整體結(jié)構(gòu)信息與光譜插值圖像的整體結(jié)構(gòu)信息相同，則融合圖像的光譜保真效果好。同時，引入至光譜圖像中的空間細節(jié)信息必須與全色圖像的空間細節(jié)信息保持一致，否則會導(dǎo)致融合圖像的紋理細節(jié)模糊不清，影響銳化效果。根據(jù)本發(fā)明的一個實施例，將全色圖像的整體結(jié)構(gòu)信息與光譜插值圖像的N個分量分別進行融合，在保持全色圖像空間細節(jié)信息不變的前提下，通過融合使全色圖像的整體結(jié)構(gòu)信息與光譜插值圖像的整體結(jié)構(gòu)信息之差處處趨于0，從而實現(xiàn)光譜和空間細節(jié)保真的目標。圖1展示了根據(jù)本發(fā)明的一個實施例的方法的流程圖，包括:首先對全色圖像進行亮度線性拉伸；將光譜圖像插值至全色圖像相同的分辨率；接著，將全色圖像分別減去光譜插值圖像的N個分量，得到N個差值圖像；然后，分別對N個差值圖像序列進行高斯濾波，得到N個差值趨勢圖像；將全色圖像分別減去N個差值趨勢圖像，得到融合圖像。下面具體介紹根據(jù)本發(fā)明所提供的基于整體結(jié)構(gòu)和空間細節(jié)信息融合的光譜圖像全色銳化方法的具體步驟:(I)對全色圖像進行亮度線性拉伸，使全色圖像的方差σ P與光譜圖像的方差σ s相等；首先分別計算光譜圖像和全色圖像的方差。為了提高方差的計算速度，在一個具體實施例中，可隨機選取一定數(shù)量的像素點來估計光譜圖像和全色圖像的方差，以減少方
差計算的時間消耗。然后將全色圖像的像素值乘以進行線性亮度拉伸。(2)將光譜圖像的N個分量分別插值成與全色圖像同樣分辨率的插值圖像序列
工1，工2，...，In ;在本發(fā)明中，光譜圖像具體指多光譜圖像和高光譜圖像。通常，光譜成像包含多個(N個)光譜波段，因此光譜圖像含有多個分量，每個分量是一幅灰度圖像。例如，QuickBird和IKONOS衛(wèi)星的多光譜圖像均包含4個分量，高光譜圖像包含幾十個甚至幾百個分量。由于光譜圖像的分辨率低于全色圖像，圖像融合時須將光譜圖像插值至全色圖像相同的分辨率。作為圖像插值的一種實施方式，利用雙線性插值法對多光譜圖像進行插值。假設(shè)像素點 I(i+u，j+v)為像素點{I(i，j)，I(i+l，j)，I(i，j+l)，I(i+l，j+Ι)}之間的一個插值點，其中0〈u〈l，0〈V〈l，i為圖像的行號，j為圖像的列號，則插值的計算方法具體如下:I (i+u, j+v) = (1-u) (1-v) I (i, j) +uvl (i+1, j+1)
+V (1-u) I (i, j+1) +u (1-v) I (i+1, j)(3)將所述線性拉伸后的全色圖像分別與所述插值圖像序列I1, I2,…，In相減，得到差值圖像序列D1, D2,…，Dn ；在該步驟中，全色圖像分別與Ii ( =1，2，...，Ν)相減即可。相減得到的差值圖像包含兩部分信息:一部分是全色圖像的空間細節(jié)信息，另一部分是全色的整體結(jié)構(gòu)信息與光譜圖像的整體結(jié)構(gòu)信息之差。(4)對差值圖像序列D1, D2,…，Dn進行高斯濾波，得到差值趨勢圖像序列S1, S2,…，Sn ；對差值圖像進行高斯濾波是為了濾除差值圖像中全色圖像的空間細節(jié)信息，得到全色的整體結(jié)構(gòu)信息與光譜圖像的整體結(jié)構(gòu)信息之差。根據(jù)一個具體實施例，為了快速地完成高斯濾波操作，利用一維高斯濾波器G先對圖像按行進行平滑濾波，再利用所述一維高斯濾波器G的轉(zhuǎn)置Gt對圖像按列進行平滑濾波。其中，一維高斯濾波器G的長度優(yōu)選為13，G的尺度參數(shù)優(yōu)選為3.33。(5)將所述線性拉伸后的全色圖像分別與差值趨勢圖像序列S1, S2,…，Sn相減，得到融合圖像序列U1, U2,...，Un。在該步驟中，全色圖像分別與Si (i=l, 2，…，N)相減即可。全色圖像減去S1, S2,…，Sn得到融合圖像，由于S1, S2,…，Sn是全色的整體結(jié)構(gòu)信息與光譜圖像的整體結(jié)構(gòu)信息之差，因此融合圖像與全色圖像的空間細節(jié)信息相同，同時融合圖像與光譜圖像的整體信息相同，即融合圖像與光譜圖像的光譜信息保持一致。本發(fā)明方法與現(xiàn)有主流遙感圖像處理軟件中最好的融合方法，即ENVI軟件的GS變換融合法(簡稱ENV1-GS變換法)和PCI軟件的全色銳化法(簡稱PCI銳化法)進行了實驗對比。實驗數(shù)據(jù)為QuickBird衛(wèi)星和IKONOS衛(wèi)星等拍攝的全色與多光譜圖像，共計21景。其中，全色圖像平均每景尺寸約為12000X12000像素，多光譜圖像每景尺寸約為3000X3000 像素。圖2和圖3分別展示QuickBird衛(wèi)星和IKONOS衛(wèi)星的全色和多光譜圖像以及融合圖像。由于實驗圖像的尺寸較大，為了清晰地展示圖中的地物，圖2和圖3僅給出了實驗圖像的局部區(qū)域。(由于無法利用假彩色圖像顯示融合圖像，這里將假彩色的融合圖像轉(zhuǎn)化為灰度圖像來顯示融合效果)在主觀視覺效果上，本發(fā)明的方法對所有的實驗數(shù)據(jù)均有較好的光譜和空間細節(jié)保真效果，如圖2(e)和圖3(e)。但是，作為對比的現(xiàn)有技術(shù)方法均存在失真現(xiàn)象:對于ENV1-GS變換法，在某些區(qū)域內(nèi)融合圖像的光譜嚴重失真，見圖2(c)和圖3(c);對于PCI銳化法，在某些區(qū)域內(nèi)融合圖像的光譜出現(xiàn)失真，見圖2(d)。下面利用在光譜扭曲度、光譜角和全局相對誤差來評價融合圖像的光譜保真效果，同時利用細節(jié)扭曲度來評價融合圖像的空間細節(jié)保真效果。這些指標的取值越小，融合圖像的保真效果越小，其定義如下:(1)光譜扭曲度(Spectral Distortion, SD)光譜扭曲度反映了融合圖像[Fu1Jmxnxp與多光譜圖像[Mi^1Jmxnxp的光譜失真程度，其中m和η為圖像的高度與寬度，P為圖像的波段數(shù)量，i和j為圖像的行號與列號，k為圖像波段號，G為高斯濾波器。它的取值越小，說明融合圖像的光譜失真越小，計算公式如下:
權(quán)利要求
1.一種基于整體結(jié)構(gòu)和空間細節(jié)信息融合的光譜圖像全色銳化方法，其特征在于包括: (1)對全色圖像進行亮度線性拉伸，使全色圖像的方差σρ與光譜圖像的方差％相等; (2)將光譜圖像的N個分量分別插值成與全色圖像同樣分辨率的插值圖像序列I” 工2，…，In ; (3)將所述線性拉伸后的全色圖像分別與所述插值圖像序列I1,I2,…，In相減，得到差值圖像序列D1, D2,...,Dn ；(4)對差值圖像序列D1,D2,…，Dn進行高斯濾波，得到差值趨勢圖像序列S1, S2,…，Sn ； (5)將所述線性拉伸后的全色圖像分別與差值趨勢圖像序列S1,S2,…，Sn相減，得到融合圖像序列U1, U2, - ,Uno
2.如權(quán)利要求1所述的基于整體結(jié)構(gòu)和空間細節(jié)信息融合的光譜圖像全色銳化方法，其特征在于: 在所述步驟(I)中，將全色圖像的像素值乘以進行線性亮度拉伸。
3.如權(quán)利要求2所述的基于整體結(jié)構(gòu)和空間細節(jié)信息融合的光譜圖像全色銳化方法，其特征在于: 所述步驟(I)中，隨機選取一定數(shù)量的像素點來計算光譜圖像的方差以及全色圖像的方差。
4.如權(quán)利要求1所述的基于整體結(jié)構(gòu)和空間細節(jié)信息融合的光譜圖像全色銳化方法，其特征在于: 在所述步驟(2)中，利用雙線性插值法對光譜圖像進行插值。
5.如權(quán)利要求1所述的基于整體結(jié)構(gòu)和空間細節(jié)信息融合的光譜圖像全色銳化方法，其特征在于: 所述步驟(4)中，利用一維高斯濾波器G先對圖像按行進行平滑濾波，再利用所述一維高斯濾波器G的轉(zhuǎn)置Gt對圖像按列進行平滑濾波。
6.如權(quán)利要求5所述的基于整體結(jié)構(gòu)和空間細節(jié)信息融合的光譜圖像全色銳化方法，其特征在于: 所述一維高斯濾波器G的長度為13，G的尺度參數(shù)為3.33。
7.根據(jù)權(quán)利要求1一 7之一的方法，其中所述光譜圖像是多光譜圖像。
8.根據(jù)權(quán)利要求1一 7之一的方法，其中所述光譜圖像是高光譜圖像。
全文摘要
本發(fā)明公開了一種基于整體結(jié)構(gòu)和空間細節(jié)信息融合的光譜圖像全色銳化方法。該方法首先對全色圖像的亮度進行線性拉伸，并將多光譜或高光譜圖像的N個分量分別插值成與全色圖像同樣分辨率的插值圖像序列；接著，將全色圖像分別與多光譜或高光譜插值圖像序列做減法，得到差值圖像序列；然后，對差值圖像序列進行高斯濾波，得到差值趨勢圖像序列。最后，將全色圖像分別與差值趨勢圖像序列做減法，得到融合圖像。與現(xiàn)有技術(shù)相比較，本方法能夠同時保持融合圖像光譜和紋理細節(jié)不失真，計算速度快，適應(yīng)性強。
文檔編號G06T5/50GK103198463SQ20131011820
公開日2013年7月10日 申請日期2013年4月7日 優(yōu)先權(quán)日2013年4月7日
發(fā)明者李波, 徐其志, 田越, 高峰, 鐘陳 申請人:北京航空航天大學(xué)