專利名稱：一種基于自適應(yīng)核函數(shù)選擇的支持向量機(jī)自動(dòng)分類方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像信息處理技術(shù)領(lǐng)域中關(guān)于圖像分類的方法，尤其是ー種通過(guò)自適應(yīng)地選擇核函數(shù)來(lái)實(shí)現(xiàn)對(duì)多類場(chǎng)景圖像進(jìn)行分類的方法。
背景技術(shù)：
圖像分類是指在對(duì)圖像總體認(rèn)識(shí)的基礎(chǔ)上，根據(jù)情景信息將多幅圖像標(biāo)記為不同類別的過(guò)程。隨著圖像內(nèi)容的復(fù)雜化和數(shù)據(jù)量的増大，傳統(tǒng)的依靠人工目視對(duì)圖像進(jìn)行分類標(biāo)注的方式逐漸受到挑戰(zhàn)，如何自動(dòng)準(zhǔn)確地完成圖像分類，已成為信息處理領(lǐng)域的研究
ハ、、ハ、、°支持向量機(jī)(Support Vector machine, SVM)是由Vapnik等人在1992年提出的一種新的機(jī)器學(xué)習(xí)方法。該方法通過(guò)引入核方法，將原空間中線性不可分的數(shù)據(jù)映射到高維特征空間，在克服傳統(tǒng)機(jī)器學(xué)習(xí)存在的維數(shù)災(zāi)難和局部最小問(wèn)題的同吋，實(shí)現(xiàn)了數(shù)據(jù)的線性分類，并在圖像分類中取得了一定的效果。模型選擇直接決定支持向量機(jī)方法的性能。它主要包括核函數(shù)類型的選擇、核函數(shù)參數(shù)以及權(quán)衡最大化分類邊界和最小化分類誤差的懲罰因子C的優(yōu)化，C可以并入核函數(shù)中作為核函數(shù)的參數(shù)之一。因此，支持向量機(jī)模型選擇就是核函數(shù)類型及其參數(shù)的選擇。 不少學(xué)者先后提出若干支持向量機(jī)模型選擇的方法。ー類方法通過(guò)網(wǎng)格算法選擇支持向量機(jī)模型。由于其實(shí)際上是一種窮舉搜索算法，當(dāng)核函數(shù)較復(fù)雜(參數(shù)超過(guò)兩個(gè))時(shí)，時(shí)間開(kāi)銷較大，在復(fù)雜分類問(wèn)題中的應(yīng)用受到限制。另ー類方法基于分類器性能評(píng)估準(zhǔn)則采用迭代尋優(yōu)選擇支持向量機(jī)模型。如 Olivier等計(jì)算了類器性能評(píng)估準(zhǔn)則T對(duì)于核函數(shù)參數(shù)的梯度，并采用梯度下降法求解最優(yōu)模型。Carl等引入了貝葉斯證據(jù)理論作為支持向量機(jī)分類器性能的評(píng)估準(zhǔn)則，并采用蒙特卡羅算法推斷貝葉斯證據(jù)的梯度值。雖然這類方法可以快速得到較好的模型，但是對(duì)于初始值較敏感，容易收斂到局部最優(yōu)值，且要求分類器性能評(píng)估準(zhǔn)則和核函數(shù)對(duì)于支持向量機(jī)模型參數(shù)均為可導(dǎo)。由于以上兩類方法的局限性，ー種新的進(jìn)化方法被用于支持向量機(jī)模型的選擇。 該類方法可以在復(fù)雜參數(shù)空間進(jìn)行高效的搜索，主要包括遺傳算法、進(jìn)化程序和進(jìn)化策略等。Friedrichs等采用遺傳策略優(yōu)化帶有尺度因子和旋轉(zhuǎn)因子的高斯核函數(shù)，實(shí)驗(yàn)表明遺傳策略對(duì)于參數(shù)較多的問(wèn)題在搜索效率上具有很大的優(yōu)勢(shì)。類似的，Ana等在其研究中證明了遺傳算法用于復(fù)雜參數(shù)空間搜索可以獲得全局最優(yōu)值。然而，進(jìn)化方法仍然存在以下若干問(wèn)題(1)進(jìn)化方法自身的控制參數(shù)是根據(jù)經(jīng)驗(yàn)設(shè)定的，沒(méi)有針對(duì)具體問(wèn)題在進(jìn)化過(guò)程中進(jìn)行動(dòng)態(tài)調(diào)整，這會(huì)導(dǎo)致算法不穩(wěn)定以及收斂速度較慢等問(wèn)題；( 采用進(jìn)化方法對(duì)支持向量機(jī)模型進(jìn)行選擇，優(yōu)化的核函數(shù)類型較単一，核函數(shù)的參數(shù)也較少，進(jìn)化算法對(duì)于復(fù)雜參數(shù)空間的高效搜索優(yōu)勢(shì)沒(méi)有得到充分利用；C3)之前的大多研究只把重點(diǎn)放在對(duì)核函數(shù)參數(shù)的選擇上，并沒(méi)有提出有效的核函數(shù)類型的選擇方法。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于自適應(yīng)核函數(shù)選擇的支持向量機(jī)自動(dòng)分類方法，以解決不同場(chǎng)景圖像的分類問(wèn)題。為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案如下一種基于自適應(yīng)核函數(shù)選擇的支持向量機(jī)自動(dòng)分類方法，其包括以下步驟第一歩，建立分類圖像代表集；第二歩，依多類圖像代表集計(jì)算所有訓(xùn)練圖像的灰度均值、標(biāo)準(zhǔn)偏差、平滑度、三階矩、一致性、熵，得到所有訓(xùn)練圖像的特征向量；第三步，結(jié)合數(shù)據(jù)驅(qū)動(dòng)下的機(jī)器學(xué)習(xí)處理思想，提出核函數(shù)的原型；第四歩，基于自適應(yīng)的遺傳算法實(shí)現(xiàn)核函數(shù)類型及參數(shù)的最優(yōu)選擇；第五歩，重復(fù)第二歩，計(jì)算得到待分類圖像的特征向量；第六歩，使用學(xué)習(xí)得到的分類器進(jìn)行處理，得到待分類圖像所屬的類別。所述的自動(dòng)分類方法，其所述第一歩，包括(1)根據(jù)需要定義J個(gè)類別的圖像或數(shù)據(jù)，類別編號(hào)為1 J，J為自然數(shù)；(2)對(duì)每類圖像標(biāo)記出實(shí)際所屬的類別，選取其中數(shù)量為L(zhǎng)的圖像數(shù)據(jù)作為訓(xùn)練集，其余圖像作為測(cè)試集；(3)將所有J類圖像代表合并為多類圖像代表集。所述的自動(dòng)分類方法，其所述第三歩，方法是(A)構(gòu)造滿足核函數(shù)性質(zhì)的基本核函數(shù)，具體步驟是Al、構(gòu)造多項(xiàng)式核Kp。ly，定義為Kpoly (xi Xj) = (a (Xi ‘ Xj)+b)d(1)A2、構(gòu)造徑向基核Krbf,定義為Krbf (Xi, Xj) = exp (- γ | | XiIj | |2) (2)A3、構(gòu)造神經(jīng)網(wǎng)絡(luò)核Ksig，定義為Ksig(Xi，Xj) = tanh(a(Xi · Xj) + β) (3)以上三式中，a,b, α, β, y為核函數(shù)系數(shù)，χ為核函數(shù)中的數(shù)據(jù)向量。(B)基于㈧步所得基本核函數(shù)，構(gòu)建核函數(shù)原型，定義如下
權(quán)利要求
1.一種基于自適應(yīng)核函數(shù)選擇的支持向量機(jī)自動(dòng)分類方法，其特征在于包括以下步驟第一歩，建立分類圖像代表集；第二歩，依多類圖像代表集計(jì)算所有訓(xùn)練圖像的灰度均值、標(biāo)準(zhǔn)偏差、平滑度、三階矩、 一致性、熵，得到所有訓(xùn)練圖像的特征向量；第三步，結(jié)合數(shù)據(jù)驅(qū)動(dòng)下的機(jī)器學(xué)習(xí)處理思想，提出核函數(shù)的原型； 第四歩，基于自適應(yīng)的遺傳算法實(shí)現(xiàn)核函數(shù)類型及參數(shù)的最優(yōu)選擇； 第五歩，重復(fù)第二歩，計(jì)算得到待分類圖像的特征向量； 第六歩，使用學(xué)習(xí)得到的分類器進(jìn)行處理，得到待分類圖像所屬的類別。
2.如權(quán)利要求1所述的自動(dòng)分類方法，其特征在于所述第一歩，包括(1)根據(jù)需要定義J個(gè)類別的圖像或數(shù)據(jù)，類別編號(hào)為1 J，J為自然數(shù)；(2)對(duì)每類圖像標(biāo)記出實(shí)際所屬的類別，選取其中數(shù)量為L(zhǎng)的圖像數(shù)據(jù)作為訓(xùn)練集，其余圖像作為測(cè)試集；(3)將所有J類圖像代表合并為多類圖像代表集。
3.如權(quán)利要求1所述的自動(dòng)分類方法，其特征在于所述第三歩，方法是(A)構(gòu)造滿足核函數(shù)性質(zhì)的基本核函數(shù)，具體步驟是 八し構(gòu)造多項(xiàng)式核ら徹，定義為Kpoly (xi Xj) = (a (Xi ‘ Xj)+b)d(1)A2、構(gòu)造徑向基核KAf，定義為Krbf (Xi, Xj) = exp (- y I I Xi-Xj I 12) (2)A3、構(gòu)造神經(jīng)網(wǎng)絡(luò)核Ksig，定義為Ksig (xi Xj) = tanh (a Ui * Xj) + β ) ⑶以上三式中，a，b，α, β, y分別為核函數(shù)系數(shù)，χ為核函數(shù)中的數(shù)據(jù)向量。(B)基于(A)步所得基本核函數(shù)，構(gòu)建核函數(shù)原型，定義如下κ (X， = AKpoly (x,zf + A2Krbf (x,zf + A3Ksig (x,zf( 4 )其中，λ” θ, e R+，i = 1，2，3，χ和ζ分別為數(shù)據(jù)向量；根據(jù)多項(xiàng)式核與徑向基核的表達(dá)式，指數(shù)因子Q1和θ 2可以分別并入核函數(shù)自身參數(shù)中，使核函數(shù)原型簡(jiǎn)化為如下的普適形式K (χ, ζ) = λ JKpoly (χ, ζ) + λ 2Krbf (χ, ζ) + λ 3Ksig (χ, ζ) (5)。
4.如權(quán)利要求3所述的自動(dòng)分類方法，其特征在于所述(A)步中，基本核函數(shù)應(yīng)滿足以下性質(zhì)假設(shè)K1, K2是XXX上的核函數(shù)，;T Ci ", a e R+,則下面的函數(shù)也是核函數(shù)(1)K(x，ζ)= K1 (x，ζ)+K2 (χ, ζ)(2)K (χ, ζ) = K1 (χ，ζ) K2 (χ, ζ)(3)K (χ, ζ) = aK^ (χ, ζ) ο其中，χ和Ζ分別為數(shù)據(jù)向量。
5.如權(quán)利要求1所述的自動(dòng)分類方法，其特征在于所述第四步中，為了使用自適應(yīng)遺傳算法對(duì)核函數(shù)的類型和參數(shù)進(jìn)行選擇，必須將核函數(shù)類型參數(shù)和各基本核函數(shù)的參數(shù)以基因的方式編碼到染色體中；染色體編碼方式為，λ (21位)和パ4位)為核函數(shù)類型參數(shù)， a(7位)、b(7位)、Υ(12位)、α (12位)和β (12位)為核函數(shù)參數(shù)，C(15位)為懲罰因子。
6.如權(quán)利要求3所述的自動(dòng)分類方法，其特征在干所述公式(5)的核函數(shù)原型中存在兩類參數(shù)，分別是核函數(shù)類型參數(shù)λ i和ei，及核函數(shù)原型的各基本核函數(shù)的參數(shù)；基于自適應(yīng)核函數(shù)選擇的支持向量機(jī)分類方法針對(duì)具體問(wèn)題，選擇出最優(yōu)的ΛΚ，然后將ス廣和 ぐ代入核函數(shù)原型中得到適合該問(wèn)題的最優(yōu)的核函數(shù)類型。
7.如權(quán)利要求1或6所述的自動(dòng)分類方法，其特征在于所述第四歩，方法是(1)采用最佳隨機(jī)初始化算法形成初始種群，首先隨機(jī)生成一定數(shù)量的個(gè)體，然后計(jì)算其適應(yīng)度，從中選擇適應(yīng)度最高的個(gè)體加入初始種群，循環(huán)這個(gè)操作，直到初始種群的大小達(dá)到要求為止；(2)對(duì)種群中個(gè)體的染色體進(jìn)行解碼形成一組支持向量機(jī)模型，在訓(xùn)練集上對(duì)這組支持向量機(jī)模型進(jìn)行訓(xùn)練得到一組支持向量機(jī)分類器；(3)采用交叉驗(yàn)證方法對(duì)每個(gè)支持向量機(jī)分類器進(jìn)行性能評(píng)估，將交叉驗(yàn)證準(zhǔn)確率作為遺傳算法中的適應(yīng)度函數(shù)，而每個(gè)個(gè)體的適應(yīng)度值就是每個(gè)支持向量機(jī)模型對(duì)應(yīng)的交叉驗(yàn)證準(zhǔn)確率與所有支持向量機(jī)模型交叉驗(yàn)證準(zhǔn)確率總和的比值，其值在0 1之間，由此得到種群中每個(gè)個(gè)體的適應(yīng)度；(4)通過(guò)自適應(yīng)方法動(dòng)態(tài)調(diào)整種群中個(gè)體的交叉概率和變異概率，并據(jù)此對(duì)種群中的個(gè)體進(jìn)行選擇、交叉和變異操作，形成下一代種群；(5)如果算法的進(jìn)化代數(shù)達(dá)到設(shè)定的最大值，或者種群中已經(jīng)產(chǎn)生了最優(yōu)解，則算法結(jié)束；否則重復(fù)步驟⑵至G)。
8.如權(quán)利要求7所述的自動(dòng)分類方法，其特征在干所述第四步的步驟0)，支持向量機(jī)分類器的訓(xùn)練方法如下假定訓(xùn)練數(shù)據(jù)集為KXi，yi)}m，其中，Xi是輸入向量的第i個(gè)樣本，Xi e R，m是樣本容量，Ji e {-1，+1}是第i個(gè)樣本的類別；目標(biāo)是尋找ー個(gè)最優(yōu)的分類超平面wTx+b = 0，使其將訓(xùn)練數(shù)據(jù)線性分開(kāi)，并能獲得最大分類間隔，其中，w是分類超平面的法向量，b為超平面的偏移量；求解最優(yōu)分類超平面的問(wèn)題，被轉(zhuǎn)化成下面的二次最優(yōu)化問(wèn)題
9.如權(quán)利要求7所述的自動(dòng)分類方法，其特征在于所述第四步的步驟G)，步驟為 4a、從種群中選擇適應(yīng)度最高的個(gè)體，并采用經(jīng)典的輪盤(pán)賭算法選擇出適應(yīng)度較高的個(gè)體，這些個(gè)體經(jīng)過(guò)繁殖形成下一代種群，使得在維持種群規(guī)模不變的同吋，保證種群中出現(xiàn)的最佳個(gè)體是歷史最優(yōu)的；4b、交叉操作使得種群中個(gè)體的基因進(jìn)行重組，產(chǎn)生出新的基因型，采用自適應(yīng)交叉算子根據(jù)個(gè)體的適應(yīng)度對(duì)其交叉概率進(jìn)行動(dòng)態(tài)調(diào)整，保證新的基因型獲得更好的解；4c、變異算子用于恢復(fù)種群進(jìn)化過(guò)程中丟失的遺傳信息，與構(gòu)造上述自適應(yīng)交叉算子的原理類似，采用自適應(yīng)變異算子動(dòng)態(tài)調(diào)整種群的變異概率。
10.如權(quán)利要求9所述的自動(dòng)分類方法，其特征在干所述第四步的步驟中，自適應(yīng)交叉算子的計(jì)算方式如下
11.如權(quán)利要求9所述的自動(dòng)分類方法，其特征在于所述第四步的步驟中，自適應(yīng)變異算子的計(jì)算方式如下
全文摘要
本發(fā)明公開(kāi)了一種基于自適應(yīng)核函數(shù)選擇的支持向量機(jī)自動(dòng)分類方法，涉及圖像信息處理技術(shù)，步驟為建立分類圖像代表集；統(tǒng)計(jì)訓(xùn)練圖像的特征向量；結(jié)合數(shù)據(jù)驅(qū)動(dòng)下的機(jī)器學(xué)習(xí)處理思想，提出核函數(shù)的原型；基于自適應(yīng)的遺傳算法實(shí)現(xiàn)核函數(shù)類型及參數(shù)的最優(yōu)選擇；使用學(xué)習(xí)得到的分類器對(duì)待分類圖像進(jìn)行分類處理。本發(fā)明的自動(dòng)分類方法，克服了傳統(tǒng)的支持向量機(jī)模型選擇方法中人為指定核函數(shù)類型導(dǎo)致模型不能達(dá)到最優(yōu)性能的缺點(diǎn)，能夠滿足不同場(chǎng)景圖像的分類需求。
文檔編號(hào)G06K9/66GK102567742SQ20101058883
公開(kāi)日2012年7月11日 申請(qǐng)日期2010年12月15日 優(yōu)先權(quán)日2010年12月15日
發(fā)明者付琨, 孫顯, 王宏琦, 陳剛 申請(qǐng)人:中國(guó)科學(xué)院電子學(xué)研究所