本發(fā)明屬于遙感技術(shù)領(lǐng)域,具體涉及一種協(xié)同演化算法優(yōu)化的支持向量機濕地遙感分類方法。
背景技術(shù):
支持向量機(svm)是一種基于統(tǒng)計學(xué)習(xí)理論的新型的機器學(xué)習(xí)方法,該方法以統(tǒng)計學(xué)習(xí)理論中的vc維和結(jié)構(gòu)風(fēng)險最小化原理為基礎(chǔ),借助核函數(shù)將線性不可分問題轉(zhuǎn)化為線性可分問題,使問題最終轉(zhuǎn)化為求解凸二次規(guī)劃問題,克服了“維數(shù)災(zāi)難”和“過學(xué)習(xí)”,在小樣本、非線性以及高維模式識別中具有突出優(yōu)勢,現(xiàn)已在諸多應(yīng)用領(lǐng)域取得很好的效果,成為機器學(xué)習(xí)領(lǐng)域的研究熱點。
研究表明,參數(shù)的選擇對于支持向量機的求解性能有著重要意義。目前,將智能算法融入到svm的參數(shù)選擇當(dāng)中是svm參數(shù)優(yōu)化的主要方法。在遙感領(lǐng)域,有學(xué)者利用支持向量機進行分類及信息提取。lyu,aporwal,ejholden,mcdentith.towardsautomaticlithologicalclassificationfromremotesensingdatausingsupportvectormachines[j].computers&geosciences2010,45(6):229-239提出了改進的基于網(wǎng)格搜索的優(yōu)化支持向量機參數(shù)的遙感分類方法。臧淑英,張策,張麗娟,張玉紅.遺傳算法優(yōu)化的支持向量機濕地遙感分類.地理科學(xué)[j]2012,32(4):434-441提出了遺傳算法優(yōu)化的支持向量機進行遙感分類,然而將支持向量機與協(xié)同演化算法相結(jié)合在遙感分類研究中尚未出現(xiàn)。
技術(shù)實現(xiàn)要素:
本發(fā)明的目的提供了一種協(xié)同演化算法優(yōu)化的支持向量機濕地遙感分類方法,本發(fā)明采用pso-ga協(xié)同演化算法對svm模型參數(shù)進行優(yōu)化選擇,并將粒子群算法pso和遺傳算法ga相結(jié)合,以獲得最優(yōu)化參數(shù)和高精度分類,對演化策略進行概率選擇。
為實現(xiàn)上述目的,本發(fā)明采取的技術(shù)方案如下:
一種協(xié)同演化算法優(yōu)化的支持向量機濕地遙感分類方法,所述方法步驟如下:
一、個體編碼方式
由于svm分類器的兩個調(diào)節(jié)參數(shù)為實數(shù),所以采用實數(shù)編碼方法;其中,每個個體用如下的向量表示:
上式(5)中,indi表示不定因子個體;
依據(jù)此編碼方式,則將核函數(shù)參數(shù)優(yōu)化問題轉(zhuǎn)換為尋找最佳個體的問題;
二、計算個體適應(yīng)度函數(shù)
選擇分類識別精度作為計算個體的適應(yīng)度函數(shù);適應(yīng)度函數(shù)如下:
f(x)=max(precision)=max(tp/(tp+fp))(6)
上式(6)中,precision表示預(yù)測精度;
其中tp為被正確地劃分為正例的個數(shù),fp為被錯誤地劃分為正例的個數(shù);
三、pso-ga協(xié)同演化算法
(1)初始化種群及參數(shù)
設(shè)n為種群規(guī)模,迭代次數(shù)g,ga交叉概率
在第k代開始時,pso-ga協(xié)同演化算法根據(jù)策略選擇概率μ(k)選擇本代的演化策略;
(2)pso演化策略
pso-ga所使用的pso演化策略在搜索空間ω內(nèi)采用群體的最優(yōu)位置gi和個體的歷史最優(yōu)位置pi來調(diào)控粒子當(dāng)前速度;按照公式(7)產(chǎn)生k+1代候選解x′(k+1);
上式(7)中,ω表示超平面的法向量、vi表示速度、v′i為下一時刻速度;
(3)ga演化策略
pso-ga所使用的ga演化策略要解決的優(yōu)化問題定義為:
式中,f是實值函數(shù),x={x1,x2,...,xm}t為在rn空間內(nèi)變量集,其中x為式(8)中x的最優(yōu)解集合,ω為所有可行解集合,其中σ2∈[0.01,50],c∈[1,1000];
(4)選擇子代
在第k代演化結(jié)束后,從|x(k)∪x′(k+1)|個個體中,采用基于轉(zhuǎn)盤式選擇思想,選擇n個個體構(gòu)成最終子代x(k+1);具體做法是:以個體的相對適應(yīng)值作為該個體在下一代中存活的概率,并使每個個體都有機會根據(jù)其相對適應(yīng)值而被選中;實施該策略的步驟如下:
步驟一:順序累計種群中各個體適應(yīng)度值fi,得到適應(yīng)度的累加值
步驟二:計算各個體被選中的概率pi=fi/sn;
步驟三:累計pi,求得累計概率
步驟四:產(chǎn)生[0,1]內(nèi)的均勻分布的隨機數(shù)r,若滿足gi-1<r≤gi,則選擇個體i;
步驟五:反復(fù)執(zhí)行步驟四,直到產(chǎn)生的個體數(shù)目等于種群規(guī)模;
(5)更新策略的選擇概率
第k代演化結(jié)束后,根據(jù)x(k+1)中每個子代個體及其對應(yīng)父代個體x(k),對μ(k)進行如下更新;
針對x(k+1)代中個體,如果是來自于父代的演化,說明第k代使用的演化策略為當(dāng)前的優(yōu)勢策略;為促使演化過程盡快收斂,應(yīng)提高該演化策略h的選擇概率μ(k)(h),同時降低其他演化策略l的選擇概率μ(k)(l),并確保μ(k)(h)+μ(k)(l)=1。
本發(fā)明相對于現(xiàn)有技術(shù)具有的有益效果是:
實驗結(jié)果表明,該算法同其他智能算法進行精度對比,得到了更好的執(zhí)行效率和分類性能。本發(fā)明采用pso-ga協(xié)同演化算法對svm模型參數(shù)進行優(yōu)化選擇,該算法結(jié)合pso和ga,以獲得最優(yōu)化參數(shù)和高精度分類為設(shè)計方案,對演化策略進行概率選擇,pso的優(yōu)勢在于其對解的記憶能力及高效的收斂速度,但是容易陷入到局部最優(yōu)解,表現(xiàn)為極強的趨同性和較低的種群多樣性。ga算法采取概率的方式保留一些具有潛在尋優(yōu)能力的候選解,提高了種群的多樣性,但其收斂速度相對較慢。兩種演化計算方式的結(jié)合,既保證全局搜索能力以防止陷入局部最優(yōu),又提升演化速度。
具體實施方式
下面對本發(fā)明的技術(shù)方案作進一步說明,但并不局限于此,凡是對本發(fā)明技術(shù)方案進行修正或等同替換,而不脫離本發(fā)明技術(shù)方案的精神范圍,均應(yīng)涵蓋在本發(fā)明的保護范圍之中。
具體實施方式一:
1.基本原理及其性能分析
1.1支持向量機分類原理
支持向量機(svm)的機理是尋找一個滿足分類要求的最優(yōu)分類超平面,使得該超平面在保證分類精度的同時,能夠使超平面兩側(cè)的空白區(qū)域最大化;以兩類數(shù)據(jù)分類為例,給定訓(xùn)練樣本集(xi,yi),i=1,...,l;x∈rn,y∈{+1,-1},超平面記作(w·x)+b=0,為使分類面對所有樣本正確分類并且具備分類間隔,就要求它滿足如下約束:
yi[(w·xi)+b]≥1i=1,2,…,l(1)
上式(1)中w表示超平面的法向量、b表示偏置;
可以計算出分類間隔為2/||w||,因此構(gòu)造最優(yōu)超平面的問題就轉(zhuǎn)化為在約束式下求:
上式(2)中φ(w)為代價函數(shù),w′為w的轉(zhuǎn)置;
在高維空間中,如果訓(xùn)練樣本不可分或者事先不知道它是否線性可分,將允許存在一定數(shù)量的錯分類樣本,引入非負松弛變量ζi;上述問題轉(zhuǎn)化為線性約束條件下的二次規(guī)劃問題:
然而,在實際分類中,很難保證類別之間線性可分;對于線性不可分情況,支持向量機引入核函數(shù)技術(shù),將輸入向量映射到一個高維的特征向量空間,并在該特征空間中構(gòu)造最優(yōu)分類面;由于徑向基核函數(shù)具有的良好性能,在實際應(yīng)用中,一般選擇徑向基核函數(shù)作為支持向量機分類的核函數(shù):
k表示徑向基核函數(shù);
1.2粒子群算法(pso)和遺傳算法(ga)
pso是一種基于迭代的優(yōu)化算法,系統(tǒng)初始化為一組隨機解,通過迭代搜尋最優(yōu)值;該算法規(guī)則簡單,易于實現(xiàn),算法精度高、收斂快,并且在解決實際問題中展示了其優(yōu)越性但容易陷入到局部最優(yōu)解,表現(xiàn)為極強的趨同性和較低的種群多樣性;ga是一種隨機搜索的算法,在遺傳機理與生物自然選擇基礎(chǔ)上發(fā)展而來的算法,能很好的解決最優(yōu)問題;該算法采取概率的方式保留一些具有潛在尋優(yōu)能力的候選解,提高了種群的多樣性,但其收斂速度慢;ga與pso的演化特征具有互補性,結(jié)合pso和ga進行算法設(shè)計,能夠提高收斂速度并實現(xiàn)深度和廣度的優(yōu)化過程;
1.3支持向量機中參數(shù)對分類性能的影響
以徑向基函數(shù)為核函數(shù)的svm分類器有兩個可調(diào)參數(shù),核函數(shù)參數(shù)σ2和誤差懲罰因子c;核函數(shù)參數(shù)σ2主要影響樣本數(shù)據(jù)在高維特征空間中分布的復(fù)雜程度,而誤差懲罰因子c的作用是在確定的特征空間中調(diào)節(jié)學(xué)習(xí)機的置信范圍和經(jīng)驗風(fēng)險的比例;因此要想獲得推廣能力良好的svm分類器,首先要選擇合適的σ2將數(shù)據(jù)映射到合適的特征空間,然后針對該確定的特征空間尋找合適的c以使學(xué)習(xí)機的置信范圍和經(jīng)驗風(fēng)險具有最佳比例;這就使得對svm核函數(shù)參數(shù)σ2和c同時進行優(yōu)化具有重大意義;除了在同一特征空間優(yōu)化c以獲得對應(yīng)該空間的最優(yōu)svm,還要優(yōu)化核函數(shù)參數(shù)σ2以獲得全局最優(yōu)的svm;
2優(yōu)化svm參數(shù)的協(xié)同演化算法
2.1算法設(shè)計思路
根據(jù)nfl(nofreelunch)理論,不存在適用于所有問題的優(yōu)化算法;但對于一些特定的優(yōu)化問題,則能夠通過協(xié)同演化進行優(yōu)化算法設(shè)計,提高優(yōu)化算法獲取最優(yōu)解的期望;從結(jié)構(gòu)上看,協(xié)同演化算法分為串行協(xié)同和并行協(xié)同;其中,串行協(xié)同是指在每一代中順序執(zhí)行多個演化策略;并行協(xié)同通過策略選擇概率,在多個策略中依歷史信息,選擇適用于當(dāng)前演化過程的演化策略;與串行協(xié)同相比,并行協(xié)同對不同優(yōu)化問題的適應(yīng)性更強、時間復(fù)雜度更低;本發(fā)明基于pso(particleswarmoptimization)和ga(geneticalgorithm)演化策略設(shè)計適用于優(yōu)化支持向量機參數(shù)的pso-ga協(xié)同演化算法;
2.2個體編碼方式
由于svm分類器的兩個調(diào)節(jié)參數(shù)為實數(shù),所以采用實數(shù)編碼方法;這種編碼方法計算速度更快,并且更能夠穩(wěn)定的收斂于全局最大值;此類實數(shù)編碼方式是現(xiàn)有研究中被使用的方法,其中,每個個體用如下的向量表示:
上式(5)中,indi表示不定因子個體;
依據(jù)此編碼方式,則將核函數(shù)參數(shù)優(yōu)化問題轉(zhuǎn)換為尋找最佳個體的問題;
2.3計算個體適應(yīng)度函數(shù)
協(xié)同演化策略需要對個體進行評價,因此需要尋找一種將核函數(shù)參數(shù)作為個體進行評價的適應(yīng)度函數(shù),本發(fā)明選擇分類識別精度作為計算個體的適應(yīng)度函數(shù);適應(yīng)度函數(shù)如下:
f(x)=max(precision)=max(tp/(tp+fp))(6)
在上式(6)中,precision表示預(yù)測精度;
其中tp為被正確地劃分為正例的個數(shù),fp為被錯誤地劃分為正例的個數(shù);
2.4pso-ga協(xié)同演化算法
(1)初始化種群及參數(shù)
設(shè)n為種群規(guī)模,迭代次數(shù)g,ga交叉概率
在第k代開始時,pso-ga協(xié)同演化算法根據(jù)策略選擇概率μ(k)選擇本代的演化策略;
(2)pso演化策略
pso-ga所使用的pso演化策略在搜索空間ω內(nèi)采用群體的最優(yōu)位置gi和個體的歷史最優(yōu)位置pi來調(diào)控粒子當(dāng)前速度;按照公式(7)產(chǎn)生k+1代候選解x′(k+1);
上式(7)中ω表示超平面的法向量、vi表示速度、v′i為下一時刻速度;
(3)ga演化策略
pso-ga所使用的ga演化策略要解決的優(yōu)化問題定義為:
式中,f是實值函數(shù),x={x1,x2,...,xm}t為在rn空間內(nèi)變量集,其中x為式(8)中x的最優(yōu)解集合,ω為所有可行解集合,其中σ2∈[0.01,50],c∈[1,1000];
(4)選擇子代
在第k代演化結(jié)束后,從|x(k)∪x′(k+1)|個個體中,采用基于轉(zhuǎn)盤式選擇思想,選擇n個個體構(gòu)成最終子代x(k+1);具體做法是:以個體的相對適應(yīng)值作為該個體在下一代中存活的概率,并使每個個體都有機會根據(jù)其相對適應(yīng)值而被選中;實施該策略的步驟如下:
步驟一:順序累計種群中各個體適應(yīng)度值fi,得到適應(yīng)度的累加值
步驟二:計算各個體被選中的概率pi=fi/sn;
步驟三:累計pi,求得累計概率
步驟四:產(chǎn)生[0,1]內(nèi)的均勻分布的隨機數(shù)r,若滿足gi-1<r≤gi,則選擇個體i;
步驟五:反復(fù)執(zhí)行步驟四,直到產(chǎn)生的個體數(shù)目等于種群規(guī)模;
(5)更新策略的選擇概率
第k代演化結(jié)束后,根據(jù)x(k+1)中每個子代個體及其對應(yīng)父代個體x(k),對μ(k)進行如下更新;
針對x(k+1)代中個體,如果是來自于父代的演化,說明第k代使用的演化策略為當(dāng)前的優(yōu)勢策略;為促使演化過程盡快收斂,應(yīng)提高該演化策略h的選擇概率μ(k)(h),同時降低其他演化策略l的選擇概率μ(k)(l),并確保μ(k)(h)+μ(k)(l)=1。
3實驗分析
3.1數(shù)據(jù)準(zhǔn)備與濕地分類體系
采用2015年6月14日過境的landsattm5影像(軌道號120/27),分辨率為30m,均勻選取控制點;通過二次多項式幾何精校正到albersconicalequalarea投影下,并對研究區(qū)域進行了裁剪.利用扎龍保護區(qū)配準(zhǔn)后的1∶50000地形圖構(gòu)建數(shù)字高程模型(dem),分別提取樣本光譜特征變量和紋理特征變量及gis輔助特征變量,共組成50維特征變量的矩陣作為初始的實驗數(shù)據(jù);
綜合考慮研究區(qū)地物形態(tài),將研究區(qū)域劃分為6種地物類型,分別為:耕地、草地、沼澤濕地、水體、居民地、未利用地.
3.2實驗配置
設(shè)置種群規(guī)模為50,迭代次數(shù)g為200,ga交叉概率
本發(fā)明訓(xùn)練集采用6種類型地物各選取300個訓(xùn)練樣本,盡可能地保證屬于各類地物的“藍本”,均勻分布于整個研究區(qū).最終確定核函數(shù)最優(yōu)參數(shù)σ2為17.336,c為91.453,此時的訓(xùn)練精度為95.18%,以該尋優(yōu)參數(shù)構(gòu)造svm分類器并用于測試.測試集在6種類型地物各選取40個測試樣本。
3.3分類驗證及對比分析
為了驗證本發(fā)明提出算法的有效性,將其優(yōu)化的核函數(shù)參數(shù)同遺傳算法優(yōu)化的svm參數(shù)和網(wǎng)格搜索優(yōu)化的svm參數(shù)進行分類精度驗證,結(jié)果見表1,2和3所示;
表1pso-ga協(xié)同演化算法優(yōu)化svm機濕地遙感分類精度
表2遺傳算法優(yōu)化svm濕地遙感分類精度
表3網(wǎng)格搜索優(yōu)化svm濕地遙感分類精度
對比表1和表2可知,pso-ga協(xié)同演化算法優(yōu)化的svm濕地遙感分類與遺傳算法優(yōu)化的svm濕地遙感分類相比,在不同地物上分別有不同程度的精度提高,尤為顯著的是在草地和耕地中,制圖精度分別提高了17%和12%左右,在居民地和耕地中,用戶精度提高了17.5%和10%。草地、耕地與居民地三者光譜相似,群落相互之間沒有嚴格的界限,協(xié)同演化算法優(yōu)化的支持向量機依然能做出準(zhǔn)確地區(qū)分。
4結(jié)論
本發(fā)明提出的pso-ga協(xié)同演化算法優(yōu)化svm參數(shù)的濕地遙感分類方法,通過建立種群之間的競爭或合作關(guān)系以及相互作用來提高各自性能,適應(yīng)復(fù)雜系統(tǒng)的動態(tài)演化環(huán)境,以達到種群優(yōu)化的目的;該方法是一種有效的濕地遙感分類手段,具有一定的普適性和應(yīng)用價值。