專利名稱：高光譜圖像復(fù)選性加權(quán)分類方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種高光譜圖像的分類方法，特別是一種基于最小二乘支持向量機(jī)(最小二乘SVM)的高光譜圖像復(fù)選性(多重)加權(quán)分類方法，屬于模式識別領(lǐng)域。
背景技術(shù)：
隨著遙感技術(shù)的發(fā)展，高光譜圖像(HSI)得到了越來越廣泛的應(yīng)用。高光譜圖像中的基本像元為高維數(shù)據(jù)向量，將其正確分類是高光譜數(shù)據(jù)分析的最基本、最重要內(nèi)容。在眾多的高光譜圖像分類方法中，支持向量機(jī)(SVM)以其優(yōu)良的分類性能得到廣泛好評和使用。SVM在發(fā)展過程中出現(xiàn)了許多結(jié)構(gòu)類型。在這些結(jié)構(gòu)類型中，最小二乘SVM受到了普遍歡迎，其主要原因在于，最小二乘SVM的代價函數(shù)是一個僅帶有等式約束的的優(yōu)化問題，其求解可在線性系統(tǒng)中進(jìn)行。雖然最小二乘SVM在高光譜圖像分類中表現(xiàn)出良好的性能，但如何進(jìn)一步提高其分類性能仍然是一項值得研究的內(nèi)容。在高光譜圖像分類過程中，最小二乘SVM的泛化表現(xiàn)對于訓(xùn)練過程中的野值點和噪聲干擾像元(統(tǒng)稱為異常像元)較為敏感，而它們又常常不可避免地廣泛存在于高光譜數(shù)據(jù)之中，影響了模型的準(zhǔn)確性。最小二乘的建模方法過于依賴訓(xùn)練樣本，對異常像元的存在很敏感，通常少量異常像元的引入就可能完全破壞模型的泛化性能。
2002年J.A.K.SUYKENS提出最小二乘SVM的加權(quán)方法，使得高光譜圖像中受到噪聲干擾嚴(yán)重的像元和野值點得到有效控制，從而獲得了更加良好的魯棒特性和推廣能力。這種加權(quán)的方法包含一次的預(yù)備訓(xùn)練。而我們知道，一次訓(xùn)練所需要的計算量一般較大，尤其是當(dāng)訓(xùn)練樣本較多時，該方法將變得極為耗時。由于這一原因，該方法并沒有得到有效推廣。
上面的加權(quán)方法以及其他現(xiàn)有的基于SVM的高光譜圖像分類加權(quán)方法都是針對訓(xùn)練樣本實施的，而對于如下兩種情況卻少有文獻(xiàn)考慮。其一，高光譜圖像不同的特征(或稱波段，譜段)對于類別可分性的影響是不同的，即他們對分類的作用是不同的，因此在分類器設(shè)計中不應(yīng)等同對待；其二，在實際應(yīng)用中，遙感數(shù)據(jù)類別眾多，而不同類別對于高光譜數(shù)據(jù)分析的意義往往不同，或者說研究者對于他們所感興趣的程度不同，因此也同樣需要在分類器設(shè)計中加以考慮。傳統(tǒng)的特征選擇方法可以將對于類別可分性影響較大的特征提取出來，但這種方式明顯地缺乏靈活性而影響分析效果。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種對像元、特征和類別進(jìn)行多重加權(quán)處理的基于最小二乘SVM的高光譜圖像復(fù)選性加權(quán)分類方法。
本發(fā)明的目的是這樣實現(xiàn)的 本發(fā)明它至少包括樣本加權(quán)、特征加權(quán)或類別加權(quán)處理過程的一個； 1)所述的樣本加權(quán)過程包括 ①為每個訓(xùn)練樣本像元xi計算其相應(yīng)的距離D(xi，x0)，其計算公式為 D(xi，x0)＝(K(xi，xi)+K(x0，x0)-2K(xi，x0))1/2，i＝1，2，Λ，n.(1) 其中，x0為樣本xi所對應(yīng)的類中心(即該類全部樣本的平均值)，函數(shù)K(·，·)為SVM中的核函數(shù)； ②對距離D(xi，x0)進(jìn)行歸一化處理，歸一化處理所選用的公式為 其中， ③歸一化距離ND(xi，xyi)，轉(zhuǎn)化為相應(yīng)的權(quán)值，其轉(zhuǎn)化公式為 其中， ④將最小二乘SVM分類優(yōu)化表達(dá)式中的誤差項{ei}i＝1n替換為其加權(quán)形式{viei}i＝1n，得到樣本加權(quán)的最小二乘SVM分類優(yōu)化表達(dá)式 i＝1，2，Λ，n，γ＞0.(4) s.t. yi＝(w，φ(xi))+b+ei 2)所述的特征加權(quán)過程包括 ①對全部n個訓(xùn)練樣本樣本像元計算各類平均向量μj(j＝1，2，Λ，n) 其中，cj、nj分別代表第j類樣本集合及其樣本數(shù)目； ②計算類內(nèi)散度矩陣SW，其公式為 ③利用適當(dāng)?shù)恼痪仃嘦和對角化B，將實對稱矩陣SW轉(zhuǎn)化為如下形式 則矩陣G＝(UB-1/2)T可用作加權(quán)矩陣而對全部高光譜數(shù)據(jù)進(jìn)行左乘而完成波段加權(quán)； 3)所述的類別加權(quán)過程包括 ①指定全部n個訓(xùn)練樣本的排列順序后，根據(jù)分析意義的不同為每個類別規(guī)定不同的加權(quán)值； ②構(gòu)造n×n的對角矩陣

對角元素，使得

對角元素對應(yīng)相應(yīng)順序訓(xùn)練樣本所屬類別的權(quán)值； ③用所構(gòu)造的對角矩陣

替換最小二乘SVM對應(yīng)的線性方程組中的單位矩陣I，得到新的具有類別加權(quán)性質(zhì)的分類方程組 其中，y＝[y1，y2，Λ，yn]T為訓(xùn)練樣本所對應(yīng)的類別屬性值，1v＝[1，1，Λ，1]T；通過求解上面加權(quán)后的方程組得出分類判別函數(shù)實現(xiàn)高光譜圖像的類別加權(quán)分類。
本發(fā)明還可以包括 所述的為每個訓(xùn)練樣本像元xi計算其相應(yīng)的距離D(xi，x0)所選用的計算公式為 D(xi，x0)＝(K(xi，xi)+K(x0，x0)-2K(xi，x0))1/2-r，i＝1，2，Λ，n.(1)其中，r為以x0為圓心，包含該類指定比例樣本像元的最小圓周半徑。這里，r也可以免于計算而設(shè)定為0，對加權(quán)效果只有較小的影響。
為了實現(xiàn)本發(fā)明的目的需使得在建立分類模型時異常程度不同的訓(xùn)練樣本得到不同的控制；類別可分性不同的特征得到不同的體現(xiàn)；分析意義不同的數(shù)據(jù)類別得到不同的對待，最終實現(xiàn)更好的數(shù)據(jù)分析效果。
本發(fā)明根據(jù)樣本異常程度與樣本偏離類中心距離之間的關(guān)系，將距離非線性映射為相應(yīng)權(quán)值來完成樣本加權(quán)；根據(jù)類內(nèi)散度矩陣對線性光譜分離問題的加權(quán)特性，將其推廣到最小二乘SVM分類問題中來完成特征加權(quán)；根據(jù)最小二乘SVM線性方程組中單位矩陣對角元素的特殊含義，將其設(shè)定為體現(xiàn)類別重要性的不同數(shù)值來完成類別加權(quán)。
在以上三種加權(quán)方法中，樣本加權(quán)是專對訓(xùn)練樣本所施加的手段，第二種是對全部數(shù)據(jù)進(jìn)行的操作，而類別加權(quán)是在訓(xùn)練過程中對矩陣對角元素的重置。他們可以單獨(dú)使用，也可以以任何復(fù)選方式組合使用。


圖1到圖2為樣本加權(quán)過程中由距離到權(quán)值的映射關(guān)系圖。
圖3為最小二乘SVM復(fù)選性加權(quán)操作界面示意圖。
圖3a-圖3-e為第一組不同加權(quán)情況下分類結(jié)果比較，其中圖3-a)為應(yīng)用未加權(quán)最小二乘SVM的分類結(jié)果圖圖3-b)為應(yīng)用樣本加權(quán)下的最小二乘SVM的分類結(jié)果圖圖3-c)為特征加權(quán)下的最小二乘SVM的分類結(jié)果圖；圖3-d)為類別加權(quán)下的最小二乘SVM的分類結(jié)果圖圖3-e)為聯(lián)合三種加權(quán)方法下的最小二乘SVM分類結(jié)果圖。
圖4a-圖4-e為第一組不同加權(quán)情況下分類結(jié)果比較，其中圖4-a)為應(yīng)用未加權(quán)最小二乘SVM的分類結(jié)果圖；圖4-b)為應(yīng)用樣本加權(quán)下的最小二乘SVM的分類結(jié)果圖；圖4-c)為特征加權(quán)下的最小二乘SVM的分類結(jié)果圖；圖4-d)為類別加權(quán)下的最小二乘SVM的分類結(jié)果圖；圖4-e)為聯(lián)合三種加權(quán)方法下的最小二乘SVM分類結(jié)果圖。
具體實施例方式 下面結(jié)合附圖舉例對本發(fā)明做更詳細(xì)地描述 本發(fā)明為一種在應(yīng)用最小二乘SVM進(jìn)行高光譜圖像分類時提高分析效果的方法，采用三重可復(fù)選的加權(quán)方式完成。樣本加權(quán)基本過程如下1)為每個訓(xùn)練樣本像元計算到其相應(yīng)類中心的距離D(xi，x0)；2)將距離D(xi，x0)進(jìn)行歸一化處理ND(xi，xyi)；3)進(jìn)一步，將歸一化距離ND(xi，xyi)轉(zhuǎn)化為相應(yīng)的權(quán)值；4)最后，將最小二乘SVM分類優(yōu)化表達(dá)式中的誤差項{ei}i＝1n替換為其加權(quán)形式{viei}i＝1n便得到樣本加權(quán)的最小二乘SVM分類優(yōu)化表達(dá)式。特征加權(quán)過程步驟如下1)對全部n個訓(xùn)練樣本樣本像元計算各類平均向量μj(j＝1，2，Λ，n)；2)利用平均向量μj計算類內(nèi)散度矩陣SW；3)利用類內(nèi)散度矩陣SW計算出加權(quán)矩陣而完成波段加權(quán)。類別加權(quán)過程步驟如下1)指定全部n個訓(xùn)練樣本的排列順序后，根據(jù)分析意義的不同為每個類別規(guī)定不同的加權(quán)值2)構(gòu)造n×n的對角矩陣

對角元素，使得

對角元素對應(yīng)相應(yīng)順序訓(xùn)練樣本所屬類別的權(quán)值；3)用所構(gòu)造的對角矩陣

替換最小二乘SVM對應(yīng)的線性方程組中的單位矩陣I，得到新的具有類別加權(quán)性質(zhì)的分類方程組。下面首先給出構(gòu)建本發(fā)明所述方法的詳細(xì)說明 1)關(guān)于樣本加權(quán)。最小二乘SVM的數(shù)學(xué)模型是一個僅帶有等式約束的誤差代價函數(shù)平方和的優(yōu)化問題，其求解可在線性系統(tǒng)中進(jìn)行。其優(yōu)化問題表達(dá)式為 i＝1，2，Λ，n，γ＞0.(1) s.t.yi＝<w，φ(xi)>+b+ei， 為了獲得最小二乘SVM的加權(quán)性訓(xùn)練模型，將公式(1)中的誤差變量進(jìn)行加權(quán)處理，即ei對應(yīng)于權(quán)值vi，這樣，此公式變?yōu)? i＝1，2，Λ，n，γ＞0.(2) s.t.yi＝<w，φ(xi)>+b+ei 這樣，如何合理地確定權(quán)值vi成為樣本加權(quán)中的關(guān)鍵問題。由于訓(xùn)練樣本中異常樣本到其相應(yīng)的類中心相對距離較遠(yuǎn)，因此可以通過距離尺度來度量其“異常”程度。圖1給出了一組同類真實高光譜數(shù)據(jù)樣本所對應(yīng)的排序距離，及將此距離映射為相應(yīng)權(quán)值的情形。
另一方面，由于類內(nèi)光譜的差異性，即使是純樣本也不可能集中在相應(yīng)的類中心，而是存在一個相對較小的偏離?？紤]到這一點，在計算距離時，我們可以將前面所求得距離減去一個修正常數(shù)。為此，可首先確定以類中心為圓心，包含該類別規(guī)定比例樣本點的最小半徑，進(jìn)而將該半徑設(shè)為上述修正常數(shù)。
設(shè)樣本xi所對應(yīng)的類中心為x0，而以x0為圓心半徑為r的圓為包含該類指定比例樣本的最小圓。用

表示樣本xi到x0未經(jīng)修正的距離，則

的計算公式如下 從而可以規(guī)定xi到其類中心x0的修正距離D(xi，x0)為 i＝1，2，Λ，n.(4) 記 (5) 并用ND(xi，xyi)表示D(xi，xyi)的正規(guī)化形式，即 則權(quán)值因子可以通過下面的公式來求得 容易驗證0＜vi≤1?，F(xiàn)在將(1)式中的誤差項{ei}i＝1n替換為其加權(quán)形式{viei}i＝1n便得到一種新型的加權(quán)最小二乘SVM，數(shù)學(xué)模型為 i＝1，2，Λ，n，γ＞0.(8) s.t.yi＝<w，φ(xi)>+b+ei 2)關(guān)于特征加權(quán)。特征加權(quán)關(guān)鍵是要找到一個合適的加權(quán)矩陣，這個矩陣可以加強(qiáng)有效的特征，削弱相對效果較差的特征。下面給出一種基于Fisher線性判別分析(一種廣泛使用的模式分類技術(shù))的加權(quán)矩陣確定方法。設(shè)有n個訓(xùn)練樣本向量用來分類，μj是第j類樣本的平均值(j＝1，2，Λ，n)，即 cj、nj分別代表第j類樣本集合及其樣本數(shù)目，據(jù)此可以定義類內(nèi)散度矩陣SW如下 這里 在Fisher線性光譜混合分析中，SW-1曾被成功地用作混合像素光譜分離問題中的加權(quán)矩陣 其中，r為待分析的混合光譜向量，α為待求解的混合比例向量，M為由光譜端元作為列向量的光譜矩陣。由分析可知，SW為實對稱矩陣，從而存在正交矩陣U將其對角化為矩陣B UTSWU＝B (13) 進(jìn)一步可推知 記G＝(UB-1/2)T，則(12)式轉(zhuǎn)化為 對比原始光譜分離問題 可知(9)式相當(dāng)于將G＝(UB-1/2)T用作樣本加權(quán)矩陣。由光譜分離與數(shù)據(jù)分類問題之間的關(guān)系(光譜分離為更精確的軟分類)知G可以用作分類問題中的樣本加權(quán)矩陣。
3)關(guān)于類別加權(quán)。在最小二乘SVM算法中，相應(yīng)的對偶問題為 其最優(yōu)KKT條件為 利用消元法消去w和e后上式可進(jìn)一步表示為 其中，y＝[y1，y2，Λ，yn]T，1v＝[1，1，Λ，1]T,α＝[α1，α2，Λ，αn]T，K為訓(xùn)練樣本的核函數(shù)矩陣，I是一個n×n的單位矩陣，n是訓(xùn)練樣本的個數(shù)。當(dāng)I是單位矩陣時，表示訓(xùn)練過程對每一訓(xùn)練樣本等同考慮。類別加權(quán)指的就是通過改變I中某些類別樣本的對應(yīng)位置的對角元素值，而不再是原始的1，以達(dá)到改變對各個類別的重視程度，從而保護(hù)感興趣類別，抑制非重要類別的目的。
根據(jù)理論分析和仿真試驗，I的對角元素值能夠體現(xiàn)對各個訓(xùn)練樣本的重視程度。I的某一項權(quán)值相對越大，則表示訓(xùn)練過程對所對應(yīng)的樣本越不重視，反之亦反。因此，把感興趣類別的訓(xùn)練樣本對應(yīng)的權(quán)值適當(dāng)減小，而把非感興趣類別的訓(xùn)練樣本對應(yīng)的權(quán)值適當(dāng)增大，能有效地提高感興趣類別的分類精度。
圖2給出了最小二乘SVM復(fù)選性加權(quán)的操作界面示意圖。
按照上述方法，本發(fā)明對真實遙感圖像進(jìn)行性能評價。遙感圖像取自1992年6月拍攝的美國印第安納州西北部印第安農(nóng)林高光譜遙感試驗區(qū)的一部分，圖像大小為144×144，220譜段(特征)。原始監(jiān)督數(shù)據(jù)將該圖像界定為除背景外共16種地物類別。
第一組實驗樣本由圖像中3、8、11三類地物的數(shù)據(jù)組合而成。抽取部分像元的光譜特征作訓(xùn)練樣本，整類數(shù)據(jù)作為測試樣本。依次采用未加權(quán)、樣本加權(quán)、特征加權(quán)、類別加權(quán)方式(三個類別依次對應(yīng)權(quán)值1，5，10)，以及三重加權(quán)方式進(jìn)行效果測試，分類結(jié)果依次如圖2a)-e)所示。分類結(jié)果中，以上三個類別依次被標(biāo)記為蘭色、粉色和綠色。圖像中分類錯誤的像元用白點顯示出來。實驗結(jié)果表明，使用樣本加權(quán)和特征加權(quán)的方法均能不同程度地提高整體分類精度，而類別加權(quán)方法可以提高相對較小權(quán)值對應(yīng)類別的分析效果(同時降低相對較大權(quán)值對應(yīng)類別的分析效果)，三種加權(quán)方法同時使用可以達(dá)到整體上更好的分析效果。
第二組實驗選擇2、10、6三類地物，實驗方式同上，分類結(jié)果如圖3所示。以上兩組實驗的客觀評價指標(biāo)分別如表1、表2所示。
表1 第一組地物分類中錯分樣本數(shù)目 表2 第二組地物分類中錯分樣本數(shù)目
權(quán)利要求
1.一種高光譜圖像復(fù)選性加權(quán)分類方法，它至少包括樣本加權(quán)、特征加權(quán)或類別加權(quán)處理過程的一個，其特征是
1)所述的樣本加權(quán)過程包括
①為每個訓(xùn)練樣本像元xi計算其相應(yīng)的距離D(xi，x0)，其計算公式為
D(xi，x0)＝(K(xi，xi)+K(x0，x0)-2K(xi，x0))1/2，i＝1，2，Λ，n.
其中，x0為樣本xi所對應(yīng)的類中心，函數(shù)K(·，·)為SVM中的核函數(shù)；
②對距離D(xi，x0)進(jìn)行歸一化處理，歸一化處理所選用的公式為
i＝1，2，Λ，n.
其中，
③歸一化距離ND(xi，xyi)，轉(zhuǎn)化為相應(yīng)的權(quán)值，其轉(zhuǎn)化公式為
i＝1，2，Λ，n.
其中，
④將最小二乘SVM分類優(yōu)化表達(dá)式中的誤差項{ei}i＝1n替換為其加權(quán)形式{viei}i＝1n，得到樣本加權(quán)的最小二乘SVM分類優(yōu)化表達(dá)式
i＝1，2，Λ，n，γ＞0.
s.t.yi＝<w，φ(xi)>+b+ei
2)所述的特征加權(quán)過程包括
①對全部n個訓(xùn)練樣本樣本像元計算各類平均向量μj，j＝1，2，Λ，n
其中，cj、nj分別代表第j類樣本集合及其樣本數(shù)目；
②計算類內(nèi)散度矩陣SW，其公式為
③利用適當(dāng)?shù)恼痪仃嘦和對角化B，將實對稱矩陣SW轉(zhuǎn)化為如下形式
則矩陣G＝(UB-1/2)T可用作加權(quán)矩陣而對全部高光譜數(shù)據(jù)進(jìn)行左乘而完成波段加權(quán)；
3)所述的類別加權(quán)過程包括
①指定全部n個訓(xùn)練樣本的排列順序后，根據(jù)分析意義的不同為每個類別規(guī)定不同的加權(quán)值；
②構(gòu)造n×n的對角矩陣
對角元素，使得
對角元素對應(yīng)相應(yīng)順序訓(xùn)練樣本所屬類別的權(quán)值；
③用所構(gòu)造的對角矩陣
替換最小二乘SVM對應(yīng)的線性方程組中的單位矩陣I，得到新的具有類別加權(quán)性質(zhì)的分類方程組
其中，y＝[y1，y2，Λ，yn]T為訓(xùn)練樣本所對應(yīng)的類別屬性值，1v＝[1，1，Λ，1]T；通過求解上面加權(quán)后的方程組得出分類判別函數(shù)實現(xiàn)高光譜圖像的類別加權(quán)分類。
2.根據(jù)權(quán)利要求1所述的光譜圖像復(fù)選性加權(quán)分類方法，其特征是
所述的為每個訓(xùn)練樣本像元xi計算其相應(yīng)的距離D(xi，x0)所選用的計算公式為
D(xi，x0)＝(K(xi，xi)+K(x0，x0)-2K(xi，x0))1/2-r，i＝1，2，Λ，n.
其中，r為以x0為圓心，包含該類指定比例樣本像元的最小圓周半徑。
3.根據(jù)權(quán)利要求1或2所述的光譜圖像復(fù)選性加權(quán)分類方法，其特征是它是樣本加權(quán)、特征加權(quán)和類別加權(quán)處理的組合。
全文摘要
本發(fā)明提供的是一種高光譜圖像復(fù)選性加權(quán)分類方法，它至少包括樣本加權(quán)、特征加權(quán)或類別加權(quán)處理過程的一個。本發(fā)明根據(jù)樣本異常程度與樣本偏離類中心距離之間的關(guān)系，將距離非線性映射為相應(yīng)權(quán)值來完成樣本加權(quán)；根據(jù)類內(nèi)散度矩陣對線性光譜分離問題的加權(quán)特性，將其推廣到最小二乘SVM分類問題中來完成特征加權(quán)；根據(jù)最小二乘SVM線性方程組中單位矩陣對角元素的特殊含義，將其設(shè)定為體現(xiàn)類別重要性的不同數(shù)值來完成類別加權(quán)。
文檔編號G06K9/62GK101127086SQ20071014430
公開日2008年2月20日 申請日期2007年9月12日 優(yōu)先權(quán)日2007年9月12日
發(fā)明者王立國, 趙春暉, 喬玉龍 申請人:哈爾濱工程大學(xué)