專利名稱：一種小樣本數(shù)據(jù)模式識別的特征選擇方法
技術(shù)領(lǐng)域：
本發(fā)明屬于模式識別技術(shù)領(lǐng)域，涉及一種小樣本數(shù)據(jù)模式識別的特征選擇方法。
背景技術(shù)：
模式識別系統(tǒng)主要由4個部分組成數(shù)據(jù)獲取，預(yù)處理，特征選擇與提取，分類決策，如圖I所示。其中特征選擇與提取部分就是要根據(jù)原始數(shù)據(jù)，選擇和提取最能反映分類本質(zhì)的特征。特征選擇是模式識別中的一個關(guān)鍵問題。由于在很多實際問題中常常不容易找到那些重要的特征，這就使特征選擇和提取的任務(wù)復(fù)雜化而成為構(gòu)造模式識別系統(tǒng)最困難的任務(wù)之一。這個問題已經(jīng)越來越受到人們重視。特征重要性度方法是特征選擇排序的核心?，F(xiàn)有度量方法包括基于熵函數(shù)、類內(nèi)類間距離、相關(guān)性分析、基尼系數(shù)(Gini Index)等，由于這些方法都是基于傳統(tǒng)統(tǒng)計理論，存在抗噪聲能力低、樣本數(shù)量要求大等局限性，不適合于小樣本、非線性、高維數(shù)據(jù)的模式識別的特征選擇處理。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種小樣本數(shù)據(jù)模式識別的特征選擇方法，以解決現(xiàn)有方法不適合于小樣本數(shù)據(jù)的特征選擇處理問題。為實現(xiàn)上述目的，本發(fā)明的小樣本數(shù)據(jù)模式識別的特征選擇方法步驟如下(I)根據(jù)訓(xùn)練樣本集構(gòu)造SVM分類面模型；(2)確定SVM分類面模型的邊界點，選擇合理異類邊界點對，計算各合理異類邊界點對的分類面點；(3)根據(jù)所有分類面模型的分類面點，由特征重要性度量模型計算各特征的重要性度量值；(4)對于計算出的特征重要性度量值，值越大表示越重要，由大至小進行特征排序，并優(yōu)先選擇排在前面的特征。進一步的，所述步驟(I)中構(gòu)造SVM分類面模型的方式為對于多分類問題的每個類別，構(gòu)造該類與其它類別所組成的2分類SVM分類面模型Modeli, i = 1，2，. . .，C，其中，C為類別數(shù)；對于2分類問題，則僅構(gòu)造I個SVM分類面模型。進一步的，所述步驟(I)中，對于給定的訓(xùn)練樣本集
第m個樣本點的特征值向量，yffl e {-I, +1}為相應(yīng)的二分類類別標號，則SVM的最優(yōu)分類面模型可表示為
I
權(quán)利要求
1.一種小樣本數(shù)據(jù)模式識別的特征選擇方法，其特征在于，該方法的步驟如下 (1)根據(jù)訓(xùn)練樣本集，構(gòu)造SVM分類面模型； (2)確定SVM分類面的邊界點，選擇合理異類邊界點對，計算各合理異類邊界點對的分類面點； (3)根據(jù)所有分類面模型的分類面點，由特征重要性度量模型計算各特征的重要性度量值； (4)對于計算出的特征重要性度量值，值越大表示越重要，由大至小進行特征排序，并優(yōu)先選擇排在前面的特征。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述步驟(I)中構(gòu)造SVM分類面模型的方式為對于多分類問題的每個類別，構(gòu)造該類與其它類別所組成的2分類SVM分類面模型Modeli, i = 1，2，...，C，其中，C為類別數(shù)；對于2分類問題，則僅構(gòu)造I個SVM分類面模型。
3.根據(jù)權(quán)利要求I或2所述的方法，其特征在于，所述步驟(I)中，對于給定的訓(xùn)練樣本集s =其中X111 e Rn為第m個樣本點的特征值向量，Yni e {-I, +1}為相應(yīng)的ニ分類類別標號，則SVM的最優(yōu)分類面模型可表示為
4.根據(jù)權(quán)利要求3所述的方法，其特征在于所述步驟(2)中確定模型Modeli的邊界點，對于任一樣本點X，若χ屬于-I類，則必有Z(X) < 1，若χ屬于+1類，則必有Z(X) >1，Z(x) I = I的鄰近區(qū)域為分類邊界區(qū)域，則對于給定的訓(xùn)練樣本集S，其邊界點集合Sb為 Sb = {χ I χ e S，IZ (χ) I < θ , Θ > 0}(2) 其中Θ為給定的邊界點的分類值門限，取Θ <1.2。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述步驟(2)中選擇合理異類邊界點對的步驟如下 (211)對于給定的訓(xùn)練樣本集S和邊界點集合SB，求出由所有異類邊界點對構(gòu)成的連線中點集合So,并求出各異類邊界點對連線中點Oi的鄰近點數(shù)N(Oi), Oi e S0, i = I,...,S0I, S0I為連線中點個數(shù)； (212)若連線中點集合S。為空，則結(jié)束； (213)若
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述步驟(2)中計算各合理異類邊界點對的分類面點Xd的步驟如下 (221)在0-1之間,系數(shù)P均勻取r點,5彡r彡O,各點為Pi; i = I, . . . , r, P。=O, Pr=I5 (222)從PC1 = O點開始，計算第i點P i的SVM分類面模型值Z (P J，若 Z(P1^)ZiP1XO ,則轉(zhuǎn)步驟(223)；(223)計算插值點
7.根據(jù)權(quán)利要求6所述的方法，其特征在干所述步驟(3)中對于離散特征，給定的訓(xùn)練樣本子集Sr和分類面點子集*5/^ ; CS，，由Sr內(nèi)所有樣本求出特征x4的各種取值，并由小到大排序，形成特征χ的取值集合'=Wv2,...，v|^，根據(jù)
全文摘要
本發(fā)明涉及一種小樣本數(shù)據(jù)模式識別的特征選擇方法，首先根據(jù)訓(xùn)練樣本集構(gòu)造SVM分類面模型；確定SVM分類面的邊界點，選擇合理異類邊界點對，計算各合理異類邊界點對的分類面點；根據(jù)所有分類面模型的分類面點，由特征重要性度量模型計算各特征的重要性度量值；依計算出的特征重要性度量值大小進行特征排序與選擇；本發(fā)明的方法具有特征重要性度量準確快速等特點，可滿足小樣本分類器設(shè)計的特征選擇與排序的實際需要，為模式識別等領(lǐng)域特征選擇與排序提供了新的有效技術(shù)。
文檔編號G06K9/62GK102663417SQ20121007327
公開日2012年9月12日 申請日期2012年3月19日 優(yōu)先權(quán)日2012年3月19日
發(fā)明者于俊偉, 劉燦, 張德賢, 張苗, 李保利, 楊衛(wèi)東, 梁義濤, 王洪群, 許偉濤, 靳小波 申請人:河南工業(yè)大學(xué)