專利名稱：結合支持向量機以及近鄰法的模式分類方法
技術領域：
本發(fā)明涉及模式分類技術，尤其涉及一種結合支持向量機以及近鄰法的模式分類方法。

背景技術：
機器學習作為人工智能的一個主要研究領域經歷了很長的發(fā)展時期，基于訓練樣本的機器學習從觀測訓練樣本出發(fā)尋找規(guī)律，并利用這些規(guī)律對未來樣本或無法觀測的樣本進行預測。到了八十年代，一個由大量的簡單處理單元廣泛連接組成的人工網絡即神經網絡成為了一種重要的機器學習方法，用來模擬大腦神經系統(tǒng)的結構和功能，其中神經網絡的連接方式以及權值決定了神經網絡的行為。神經網絡模型根據網絡拓撲結構分為前饋型網絡和回饋型網絡兩大類，已被廣泛應用到模式識別和函數回歸等領域中。然而，由于神經網絡模型缺乏數學理論支持，存在使機器過學習的問題，即對訓練樣本學習過度，對未參加訓練樣本的學習能力差，因此在實際應用中存在一定的局限性。
目前，針對采用上述神經網絡模型存在使機器過學習的問題，采用支持向量機(SVM，Support Vector Machine)來替代上述神經網絡模型進行模式識別。SVM作為一種新的模式分類方法是建立在統(tǒng)計學習理論的VC維理論和結構風險最小化基礎上，它不僅對訓練樣本有較強的學習能力，而且具有很好的推廣能力，即能對未知樣本有較強的預測能力，SVM已被應用于人臉識別、文本識別、手寫體識別等領域。其中，作為統(tǒng)計學習理論中一個核心概念的VC維為描述函數集或機器學習的復雜性即機器學習能力的一個重要指標，并在此概念基礎上發(fā)展出了一系列關于統(tǒng)計學習的一致性、收斂速度以及推廣性能等重要結論。
然而，在SVM的應用中還存在諸如針對不同的應用問題較難選擇核函數的參數、針對較復雜問題采用SVM模式分類精度不高、以及針對大規(guī)模模式分類問題訓練時間長等問題。雖然也采用了相應的解決方法，包括首先建立模式分類性能的評價函數，然后對SVM中的核函數的參數進行優(yōu)化；或者使用直推方法對給定訓練樣本設計最優(yōu)的SVM，但是采用上述兩種方法在設計和計算時都非常復雜，而且通過計算機實現該兩種方法成本都很高。


發(fā)明內容
有鑒于此，本發(fā)明的主要目的在于提供一種結合支持向量機以及近鄰法的模式分類方法，不僅提高了模式分類的精確度，而且在降低了設計和計算復雜度的同時，節(jié)約了計算機實現模式分類的成本。
為達到上述目的，本發(fā)明的技術方案是這樣實現的 一種結合支持向量機以及近鄰法的模式分類方法，包括以下步驟 A、通過核函數將輸入樣本空間的訓練樣本以非線性方式映射到特征空間，通過支持向量機SVM的二次優(yōu)化訓練算法獲得支持向量； B、將獲得的所述支持向量設置為代表點，計算待識別樣本和代表點的距離差，判斷距離差是否大于預置的分類閾值，如果大于，則執(zhí)行步驟C；否則執(zhí)行步驟D； C、以SVM分類算法對所述待識別樣本進行模式分類，結束當前處理流程； D、在全部所述代表點中尋找與所述待識別樣本之間距離最近的K個代表點，根據這K個代表點所屬的類別以及屬于不同類別的代表點個數，確定代表點個數最多的類別，將待識別樣本歸為所確定的類別，并把確定的類別設置為待識別樣本所屬的類別。
其中，步驟A中通過SVM的二次優(yōu)化訓練算法獲得支持向量具體為 將所述樣本空間中的訓練樣本xi，yi，輸入到公式及公式αi(yi[(w，xi)-b]-1)＝0，i＝1，…，l中，其中，在滿足約束條件αi≥0，i＝1，…，l及時成立，輸出αi，i＝1，…，l；αi對應的所述訓練樣本為所述支持向量； 相應地，步驟C中以SVM分類算法對待識別樣本進行模式分類，具體為 將αi輸入分類函數

輸出f(x)，f(x)對應于待識別樣本x的類別。
其中，步驟A中的所述核函數為多項式核函數、徑向基核函數、或感知機核函數中的一種。
其中，K＝1時，步驟D具體為 在全部所述代表點中尋找與所述待識別樣本之間距離最近的一個代表點，將待識別樣本設置為該代表點所屬的類別。
其中，所述代表點所屬的類別為兩類時，步驟A中通過SVM的二次優(yōu)化訓練算法獲得支持向量具體為 將所述樣本空間中的訓練樣本xi，yi，輸入到公式及公式αi(yi[(w，xi)-b]-1)＝0，i＝1，…，l中，其中，在滿足約束條件αi≥0，i＝1，…，l以及時成立，輸出αi，i＝1，…，l；αi對應的所述訓練樣本為所述支持向量； 相應地，步驟B具體為 步驟B1、將所述支持向量xj，yj，αj以及常數b輸入公式

輸出所述距離差g(x)； 步驟B2、判斷距離差g(x)是否大于預置的分類閾值ε，如果大于，則執(zhí)行步驟C1；否則執(zhí)行步驟D1； 步驟C具體為 步驟C1、將g(x)輸入f(x)＝sgn(g(x))，輸出f(x)，f(x)對應于待識別樣本的類別； 步驟D具體為 步驟D1、將待識別樣本x和代表點xi輸入計算待識別樣本x與代表點xi之間的距離，取距離該待識別樣本x最近的K個代表點對待識別樣本x進行分類。
本發(fā)明的方法首先采用SVM的二次優(yōu)化訓練算法獲得支持向量；再將SVM訓練所得的支持向量作為代表點，計算待識別樣本和代表點的距離差，判斷距離差是否大于預置的分類閾值，如果大于，則直接采用SVM分類算法對待識別樣本進行模式分類，否則，結合近鄰法(KNN)計算全部所述代表點和待識別樣本的距離，即取距離該待識別樣本最近的K個代表點對待識別樣本進行模式分類。
由SVM的原理可知錯分樣本在分界面附近，可知應盡量利用分界面附近的訓練樣本提供的信息，以提高模式分類的精確度；而且，分界面附近的訓練樣本基本上為支持向量。同時，由于結合SVM和KNN的基礎為SVM把兩類支持向量每類組合成一個代表點，即可以被看成每類只有一個代表點的最近鄰分類器(1NN)，因此結合SVM和KNN進行模式分類的方法區(qū)別于僅采用KNN的選擇所有的訓練樣本進行模式分類的方法，僅把經由SVM訓練所得的支持向量作為代表點，即把每個支持向量作為一個代表點進行分類，不僅容易實現而且計算復雜度低。
綜上所述，采用本發(fā)明的模式分類方法不僅提高了模式分類的精確度，而且在降低了設計和計算復雜度的同時，節(jié)約了計算機實現模式分類的成本。



圖1為本發(fā)明進行模式分類的原理實現流程示意圖。

具體實施例方式 本發(fā)明的核心思想為首先采用SVM的二次優(yōu)化訓練算法獲得支持向量；再將SVM訓練所得的支持向量作為代表點，計算待識別樣本和代表點的距離差，判斷距離差是否大于預置的分類閾值，如果大于，則直接采用SVM分類算法對待識別樣本進行模式分類，否則，結合KNN在全部所述代表點中尋找和待識別樣本距離最近的K個代表點對待識別樣本進行模式分類。這里，所述樣本空間指輸入樣本的空間，通常是指訓練集樣本組成的原始輸入空間，不包括待識別的樣本。
其中，SVM的原理為首先通過核函數將上述原始輸入空間的訓練樣本通過非線性映射--φ映射到高維特征空間，然后建立一個線性判別函數，或者說在高維特征空間中建立一個能夠區(qū)分訓練樣本的最優(yōu)超平面，以增加訓練樣本的可分性，使得原本線形不可分的訓練樣本在高維特征空間中線形可分，由此可簡單地用高維特征空間的一個最優(yōu)超平面完成分類，并在高維特征空間構造線性支持向量機，還原到原來的輸入空間即原特征空間則是一個非線性決策面。
SVM的核心是基于核函數的核化技術，通過內積核函數k(x，x′)替代點積(x，x′)，將原特征空間的x變換到某一新的特征空間的φ(x)。具體來說，核函數k(xi，xj)對所有屬于輸入空間的訓練樣本xi和xj，使其滿足k(xi，xj)＝{φ(xi)，φ(xj)}，其中，

是從輸入空間到特征空間即內積空間的映射。
所謂KNN也稱為k-近鄰，其基本原理為選擇樣本空間中所有的訓練樣本作為代表點，尋找和待識別樣本距離最近的K個代表點，根據這K個代表點所屬的類別確定K個代表點中多數所屬的類別，把待識別樣本歸為所確定的類別。
為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚明白，以下舉具體實施例并參照附圖，對本發(fā)明進一步詳細說明。
如圖1所示，本發(fā)明結合支持向量機以及近鄰法的模式分類方法，包括以下步驟 步驟101、通過核函數將輸入樣本空間的訓練樣本以非線性方式映射到特征空間，通過SVM的二次優(yōu)化訓練算法獲得支持向量。
其中，特征空間為經由核函數k(x，x′)對樣本空間的輸入樣本進行非線性映射后，得到的高維特征空間，在此空間下樣本的類別不變。特征空間與樣本空間之間的區(qū)別在于樣本空間的維數比較低，而特征空間的維數比較高。一個特征空間的樣本點也稱為一個特征向量。
步驟102、將獲得的所述支持向量設置為代表點，計算待識別樣本和代表點的距離差，判斷距離差是否大于預置的分類閾值，如果大于，則執(zhí)行步驟103；否則，執(zhí)行步驟104。
步驟103、以SVM分類算法對所述待識別樣本進行模式分類，結束當前處理流程。
步驟104、在全部所述代表點中尋找與所述待識別樣本之間距離最近的K個代表點，根據這K個代表點所屬的類別以及屬于不同類別的代表點個數，確定代表點個數最多的類別，將待識別樣本歸為所確定的類別，并把確定的類別設置為待識別樣本所屬的類別，結束當前處理流程。
例如在全部代表點中存在距離待識別樣本最近的五個代表點，其中三個代表點所屬的類別以+1標識，二個代表點所屬的類別以-1標識，由于以+1標識的代表點多，因此把待識別樣本歸為該三個代表點所屬的類別，即以+1標識。
已知訓練樣本(xi，yi)，i＝1，…，l，xi∈Rd，y∈{-1，+1}，訓練樣本的學習任務即尋找滿足以下解決二次優(yōu)化問題的公式(1)的拉格郎日乘子αi。
由于考慮到由Karush-Kuhn-Tucker提出的KKT條件，此二次優(yōu)化問題的解W(α)還必須同時滿足以下公式(2)才能獲得αi，因此基于圖1的實現原理，步驟101中通過SVM的二次優(yōu)化訓練算法獲得支持向量具體為 將樣本空間中的訓練樣本輸入到公式(1)及公式(2)，輸出αi，i＝1，…，l。其中，公式(1)在同時滿足約束條件αi≥0，i＝1，…，l以及時成立。
αi(yi[(w，xi)-b]-1)＝0，i＝1，…，l(2) 由此可知，多數已知訓練樣本對應的αi將為0，只有一部分通常是少部分αi將不為零，αi所對應的訓練樣本為支持向量。SVM的分類函數為
相應地，步驟103中以SVM分類算法對待識別樣本x進行模式分類，具體為 將上述步驟得到的αi輸入上述公式(3)，輸出f(x)，f(x)對應于待識別樣本x的類別。
綜上所述，步驟101為輸入訓練樣本采用SVM的訓練學習過程在同時滿足公式(1)及公式(2)式的條件下，SVM的訓練算法通過循環(huán)迭代求解。首先將原問題劃分成若干子問題，然后按照換入換出的迭代策略，通過反復求解子問題，最終使結果收斂到原問題的最優(yōu)解αi，并由此得到支持向量，解決二次優(yōu)化問題，解為最優(yōu)體現在所構造的分界面把兩類樣本分開的距離最大。其中，分界面附近的輸入向量被稱為支持向量，意即其它向量不影響分界面即決策函數。
也就是說，從訓練樣本集中選擇一工作樣本集，工作樣本集的大小固定在算法速度可以容忍的限度內，在該固定工作樣本集中劃分子問題的條件下，上述迭代求解的具體過程為選擇一種換入換出的迭代策略，將剩余樣本中的一部分與工作樣本集中的樣本進行等量交換，即使支持向量的個數超過工作樣本集的大小，也不改變工作樣本集的規(guī)模，而只對支持向量中的一部分進行優(yōu)化。比較成熟的算法是LIBSVM，它是一個成熟的SVM算法的軟件包，其中包括算法說明和軟件。上述采用SVM根據有限的訓練樣本在模型的復雜性以及學習能力之間尋求折衷，也就是說在對特定訓練樣本的學習精度與無錯誤地識別任意樣本的能力之間找到最優(yōu)解，從而獲得最好的推廣能力。
公式(1)中的K(xi，xj)稱為核函數，在步驟101中采用的核函數為多項式核函數、徑向基核函數、或感知機核函數中的一種。通過采用不同的函數作為核函數，可以構造實現輸入空間中不同類型的非線形決策面的機器學習，三類核函數具體為 多項式核函數K(x，xi)＝[(x·xi)+1]q，所得到的是q多項式分類器； 徑向基函數(RBF)所得分類器與傳統(tǒng)RBF方法的重要區(qū)別是這里每個基函數中心對應一個支持向量，它們及輸出權值都是由算法自動確定的； 采用感知機核函數(Sigmoid)作為內積，K(x，xi)＝tanh(v(x·xi)+c)。
基于圖1的實現原理，當K＝1時，如圖2所示，步驟104具體為 在全部所述代表點中尋找與所述待識別樣本之間距離最近的一個代表點，將待識別樣本設置為該代表點所屬的類別。
采用SVM與圖1中采用SVM結合KNN的區(qū)別在于采用SVM時，由于SVM對每類支持向量只取一個代表點，有時該代表點不能很好的代表該類，僅在待識別樣本離分界面較遠的情況下才能正確地進行分類；而采用SVM結合KNN時即分類時從支持向量中選出待識別樣本的K個近鄰，看這K個近鄰中的多數屬于哪一類，就把待識別樣本歸到哪一類。因此將SVM與KNN相結合是因為KNN是將每類所有支持向量作為代表點，從而使分類器具有更高的分類準確率。
實施例一 模式識別分為兩類和多類問題，本實施例針對兩類問題進行模式識別以及模式分類。兩類中包括正例和反例，分別用+1和-1來標識，即將兩類支持向量即代表點所屬的類別分別用+1和-1來標識。本實施例中，采用一個SVM-KNN分類器即將SVM與KNN相結合，當所述代表點所屬的類別為兩類時，結合支持向量機以及近鄰法的模式分類方法為 步驟101中通過SVM的二次優(yōu)化訓練算法獲得支持向量具體為 將所述樣本空間中的訓練樣本xi，yi，輸入到公式以及公式αi(yi[(w，xi)-b]-1)＝0，i＝1，…，l中，其中，在滿足約束條件αi≥0，i＝1，…，l以及時成立，輸出αi，i＝1，…，l；αi對應的所述訓練樣本為所述支持向量。
相應地，步驟102具體為 先將所述支持向量xj，yj、αj以及常數b輸入公式

輸出所述距離差g(x)；也就是說，在所述特征空間，根據所述待識別樣本與所述代表點中的第一類代表點之間的距離、以及該待識別樣本與第二類代表點之間的距離，計算所述二個距離之間的距離差； 然后判斷距離差g(x)是否大于預置的分類閾值ε； 如果大于，則待識別樣本離分界面較遠，直接采用SVM分類算法對待識別樣本進行模式分類，所執(zhí)行的步驟為將g(x)輸入f(x)＝sgn(g(x))，輸出f(x)，f(x)對應于所述待識別樣本的類別； 如果不大于，則待識別樣本離分界面較近，結合KNN分類算法在全部所述代表點中尋找與所述待識別樣本之間距離最近的K個代表點即取距離該待識別樣本最近的K個代表點，對待識別樣本進行模式分類，所執(zhí)行的步驟為將待識別樣本x和代表點xX輸入，計算待識別樣本x與代表點xi之間的距離，取距離該待識別樣本x最近的K個代表點對待識別樣本x進行分類。
基于實施例一的原理，上述采用SVM-KNN分類器對兩類問題進行模式分類的具體實現為 預設置操作為設T為測試集是待識別樣本的集合，Tsv為支持向量集，k為KNN的個數。利用步驟101的SVM二次優(yōu)化訓練算法，求出相應的支持向量αi以及常數b，SVM-KNN算法中的分類閾值ε通常預置為1左右，當ε設為0，K＝1，SVM-KNN算法就是SVM-1NN算法。
SVM-KNN分類器所執(zhí)行的分類算法包括以下步驟 第一步、如果測試集不空，取一個待識別樣本x，如果測試樣本集空，SVM-KNN算法停止；也就是說如果T≠Φ，取x∈T，如果T＝Φ，停止； 第二步、將所述支持向量xj，yj，根據由步驟101中的SVM的二次優(yōu)化訓練算法獲得的αj，以及常數b輸入公式

在特征空間根據待識別樣本分別到兩類代表點的距離，計算兩個距離之間的距離差

輸出距離差g(x)。
第三步、如果距離差g(x)大于預置的分類閾值ε，則直接使用SVM分類算法對待識別樣本進行模式分類，即將g(x)輸入f(x)＝sgn(g(x)))直接計算f(x)作為輸出；如果距離差g(x)小于預置的分類閾值ε，結合SVM分類算法以及KNN分類算法對待識別樣本進行模式分類，即將g(x)輸入f(x)＝sgn(g(x))計算f(x)，并跳轉到下述KNN分類器執(zhí)行SVM-KNN分類，其輸入KNN分類器的傳遞參數為待識別樣本x、Tsv以及k，返回結果作為輸出。
第四步、將已識別完的樣本x從測試集中去除，返回第一步重新開始執(zhí)行。
KNN分類器所執(zhí)行的KNN分類算法包括以下步驟，其中，輸入包括待識別樣本x、支持向量集Tsv、k為KNN的個數；輸出LBL(x)返回結果 第1步、從支持向量集合任意取出k個樣本作為初始的k個近鄰，并計算待識別樣本x和這k個近鄰的距離，組成k近鄰距離表； 也就是說，初始化k近鄰表Tkn＝{xi|xi∈Tsv，i＝0，1，…，k-1}和k近鄰距離表Dkn＝{di|di＝‖φ(x)-φ(xi)‖2，xi∈Tkn}，其中剩余支持向量集Trest＝Tsv-Tkn。
第2步、在剩余的支持向量集合中依次取樣本xi，計算樣本x和xi的距離，如果剩余樣本集空，跳轉執(zhí)行第4步； 也就是說，若Trset＝Φ，則跳轉執(zhí)行第4步，否則取xi∈Trest，計算，Trest←Trest-{xi}。
第3步、比較

和k近鄰距離表里的每個距離，若交換(

di)，更新k近鄰表和k近鄰距離表； 也就是說，依次比較

與若交換(

di)，更新k近鄰表和k近鄰距離表。
第4步、計算最后得到的k近鄰表里的樣本屬于兩類的樣本個數，哪類的樣本數多就把待識別樣本歸為哪一類； 也就是說，對于若label(x)＝+1，PosiNum++； 若label(x)＝-1，NegNum++；//label(x)為x的類別標識 If(PosiNum＞NegNum)，LBL(x)＝+1；否則，LBL(x)＝-1。
其中，所使用的KNN分類算法和通常的KNN分類算法有兩點不同一個不同點是，計算測試樣本和每個支持向量的距離是在特征空間進行的而不是在原始樣本空間中計算； 另一個不同點是，使用公式‖φ(x)-φ(xi)‖2＝k(x，x)-2k(x，xi)+k(xi，xi)計算測試樣本即待識別樣本與每個支持向量的距離，而不是通常采用的歐氏距離公式。
實施例二將結合SVM及KNN的模式分類方法具體應用在太陽耀斑預報問題中。
將結合SVM及KNN的模式分類方法用于太陽耀斑預報是將耀斑發(fā)生看作一個模式識別問題，提取活動區(qū)的特征作為特征參量，也稱為預報因子。預報因子包括黑子面積、磁分型、Mcintosh分類和10cm射電流量，他們組成一個向量xi＝[xi1，xi2，xi3，xi4]。通過統(tǒng)計預報因子與耀斑發(fā)生的產率給他們賦值，作為模型的輸入。每個預報因子決定一個活動區(qū)是否爆發(fā)耀斑，如果活動區(qū)未來48小時有耀斑發(fā)生，則將其作為一類，標記為+1，沒有耀斑發(fā)生作為另一類，標記為-1，結果作為模型的輸出yi。
所用的測量數據為第23個太陽活動周，取自美國SEC網站http://sec.noaa.gov/ftpmenu/forecasts/SRS.html，時間跨度從1996至2004年，每天每個活動區(qū)的數據都參加統(tǒng)計，每個活動區(qū)的數據對應數據集的一個樣本，共有19544個樣本，這些樣本分為訓練集和測試集。采用2000年至2004年的數據組成四個測試集，相當于進行連續(xù)4年的模擬預報。對每個測試集，訓練集的數據范圍為1996年到測試年的前一年。
將每個訓練集中的(xi，yi)代入上述步驟101中的公式(1)計算，公式中核函數選擇高斯核函數分類時分別用SVM算法和SVM-KNN算法進行了預報。SVM-KNN方法中分類閾值ε設為0.8，k近鄰的個數是1。結果如表1～表4所示。表中前兩列指得預報和觀測的次數，報準是對耀斑發(fā)生和沒發(fā)生報準的個數之和，虛報是把實際沒發(fā)生的樣本預報為發(fā)生樣本的個數，漏報相反，是把發(fā)生的預報為沒發(fā)生。其中，表1為2001年測試結果，表2為2002年測試結果，表3為2003年測試結果，表4為2004年測試結果。
表1 表2 表3 表4 從表1～表4中可以看到，對于四年的數據，使用SVM-KNN方法比單獨使用SVM方法預報的報準率均有提高而虛報率有所降低。將SVM和KNN分類方法結合構造了一種新的分類方法并將它用于太陽耀斑預報。SVM-KNN方法根據待分類樣本的空間分布采用不同的分類方法。將此方法用于太陽耀斑預報具有較高的報準率，比采用傳統(tǒng)的統(tǒng)計方法和神經網絡方法的有更好的預報效果。SVM-KNN分類器是一種通用的分類算法，不僅可以用于太陽耀斑預報，而且能應用在機器學習和模式識別的各個應用領域，有比較好的應用前景。使用該分類方法的分類準確率比單純使用SVM分類器一般有不同程度的提高，并且該分類器在一定程度上不受核函數參數選擇的影響，具有一定的穩(wěn)健性。
以上所述，僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍。
權利要求
1、一種結合支持向量機以及近鄰法的模式分類方法，其特征在于，包括以下步驟
A、通過核函數將輸入樣本空間的訓練樣本以非線性方式映射到特征空間，通過支持向量機SVM的二次優(yōu)化訓練算法獲得支持向量；
B、將獲得的所述支持向量設置為代表點，計算待識別樣本和代表點的距離差，判斷距離差是否大于預置的分類閾值，如果大于，則執(zhí)行步驟C；否則執(zhí)行步驟D；
C、以SVM分類算法對所述待識別樣本進行模式分類，結束當前處理流程；
D、在全部所述代表點中尋找與所述待識別樣本之間距離最近的K個代表點，根據這K個代表點所屬的類別以及屬于不同類別的代表點個數，確定代表點個數最多的類別，將待識別樣本歸為所確定的類別，并把確定的類別設置為待識別樣本所屬的類別。
2、根據權利要求1所述的結合支持向量機以及近鄰法的模式分類方法，其特征在于，步驟A中通過SVM的二次優(yōu)化訓練算法獲得支持向量具體為
將所述樣本空間中的訓練樣本xi，yi，輸入到公式及公式αi(yi[(w，xi)-b]-1)＝0，i＝1，…，l中，其中，在滿足約束條件αi≥0，i＝1，…，l及時成立，輸出αi，i＝1，…，l；αi對應的所述訓練樣本為所述支持向量；
相應地，步驟C中以SVM分類算法對待識別樣本進行模式分類，具體為
將αi輸入分類函數
輸出f(x)，f(x)對應于待識別樣本x的類別。
3、根據權利要求1或2所述的結合支持向量機以及近鄰法的模式分類方法，其特征在于，步驟A中的所述核函數為多項式核函數、徑向基核函數、或感知機核函數中的一種。
4、根據權利要求1或2所述的結合支持向量機以及近鄰法的模式分類方法，其特征在于，K＝1時，步驟D具體為
在全部所述代表點中尋找與所述待識別樣本之間距離最近的一個代表點，將待識別樣本設置為該代表點所屬的類別。
5、根據權利要求1所述的結合支持向量機以及近鄰法的模式分類方法，其特征在于，所述代表點所屬的類別為兩類時，步驟A中通過SVM的二次優(yōu)化訓練算法獲得支持向量具體為
將所述樣本空間中的訓練樣本xi，yi，輸入到公式及公式αi(yi[(w，xi)-b]-1)＝0，i＝1，…，l中，其中，在滿足約束條件αi≥0，i＝1，…，l以及時成立，輸出αi，i＝1，…，l；αi對應的所述訓練樣本為所述支持向量；
相應地，步驟B具體為
步驟B1、將所述支持向量xj，yj，αj以及常數b輸入公式
輸出所述距離差g(x)；
步驟B2、判斷距離差g(x)是否大于預置的分類閾值ε，如果大于，則執(zhí)行步驟C1；否則執(zhí)行步驟D1；
步驟C具體為
步驟C1、將g(x)輸入f(x)＝sgn(g(x))，輸出f(x)，f(x)對應于待識別樣本的類別；
步驟D具體為
步驟D1、將待識別樣本x和代表點xi輸入計算待識別樣本x與代表點xi之間的距離，取距離該待識別樣本x最近的K個代表點對待識別樣本x進行分類。
全文摘要
本發(fā)明公開了一種結合支持向量機以及近鄰法的模式分類方法，包括以下步驟通過核函數將輸入樣本空間的訓練樣本以非線性方式映射到特征空間，通過支持向量機SVM的二次優(yōu)化訓練算法獲得支持向量；將獲得的支持向量設置為代表點，計算待識別樣本和代表點的距離差，判斷距離差是否大于預置的分類閾值，如果大于，則直接用SVM分類算法對待識別樣本進行模式分類；否則在全部所述代表點中尋找與所述待識別樣本之間距離最近的K個代表點對待識別樣本進行模式分類。采用本發(fā)明的方法不僅提高了模式分類的精確度，而且在降低了設計和計算復雜度的同時，節(jié)約了計算機實現模式分類的成本。
文檔編號G06K9/62GK101295362SQ20071009886
公開日2008年10月29日 申請日期2007年4月28日 優(yōu)先權日2007年4月28日
發(fā)明者蓉 李, 王華寧, 崔延美, 晗 賀, 杜占樂 申請人:中國科學院國家天文臺