本發(fā)明涉及一種支持向量機(jī)主動(dòng)學(xué)習(xí)的方法，尤其涉及一種基于K近鄰的支持向量機(jī)主動(dòng)學(xué)習(xí)的方法。

背景技術(shù)：
在模式識(shí)別與機(jī)器學(xué)習(xí)領(lǐng)域，訓(xùn)練一個(gè)分類性能良好的分類器需要大量的已標(biāo)注樣本。然而標(biāo)注樣本并不是越多越好。過(guò)多的樣本對(duì)分類器性能的提高上幫助有限，但卻會(huì)引起冗余，增加計(jì)算量。此外，在大量的訓(xùn)練樣本中，并不是每個(gè)樣本都是對(duì)訓(xùn)練有益的。只有那些信息含量大，對(duì)提高分類器性能貢獻(xiàn)大的樣本才是有用的樣本，這樣的樣本才是值得我們標(biāo)注的樣本。因此，當(dāng)標(biāo)注訓(xùn)練樣本時(shí)，除了數(shù)量之外，還應(yīng)當(dāng)保證標(biāo)注樣本的質(zhì)量。這樣不但能提高分類器的分類性能，而且能減少手工標(biāo)注的工作量。主動(dòng)學(xué)習(xí)（ActiveLearning，AL）技術(shù)正是針對(duì)這一問(wèn)題提出的。主動(dòng)學(xué)習(xí)技術(shù)的核心思想是：選擇最有用的樣本參與訓(xùn)練，盡可能地減少手工標(biāo)注的工作量。目前已經(jīng)有大量主動(dòng)學(xué)習(xí)的相關(guān)研究，但是針對(duì)支持向量機(jī)（SupportVectorMachines，SVM）的主動(dòng)學(xué)習(xí)研究還很少。SVM是一種非常有效的分類模型，現(xiàn)已廣泛應(yīng)用于眾多分類領(lǐng)域。在許多分類問(wèn)題中，由于手工標(biāo)注非常耗費(fèi)時(shí)間和精力，因此已標(biāo)注訓(xùn)練樣本的獲取代價(jià)通常都很昂貴。這直接導(dǎo)致了已標(biāo)注訓(xùn)練樣本集通常都比較小。而SVM是解決小樣本問(wèn)題的最有效的分類模型之一。因此，針對(duì)SVM分類模型的主動(dòng)學(xué)習(xí)研究是非常必要，非常有價(jià)值的。本申請(qǐng)結(jié)合K近鄰和SVM分類模型來(lái)研究主動(dòng)學(xué)習(xí)方法?，F(xiàn)有文獻(xiàn)中已經(jīng)有將K近鄰和SVM分類模型相結(jié)合的研究，但是這些文獻(xiàn)中的結(jié)合方案和本申請(qǐng)的完全不同，而且結(jié)合方案的具體應(yīng)用領(lǐng)域也完全不同。比如，海信集團(tuán)的劉薇申請(qǐng)的專利“基于有監(jiān)督的近鄰保持嵌入和支持向量機(jī)的人臉識(shí)別方法”（專利申請(qǐng)?zhí)枺?00710114882.4），其方法中用樣本的K近鄰來(lái)擬合樣本，然后通過(guò)擬合系數(shù)組成的矩陣來(lái)進(jìn)一步對(duì)樣本進(jìn)行降維。其用K近鄰的目的是對(duì)樣本降維，得到低維空間中的樣本表達(dá)。然后再用SVM對(duì)低維空間的樣本進(jìn)行分類。再比如，胡正平提出的“基于模糊K近鄰決策的柔性SVM分類算法”中（儀器儀表學(xué)報(bào)，26卷第8期），該算法是利用模糊k近鄰混迭度來(lái)判斷樣本和異類樣本的混迭程度，進(jìn)而達(dá)到修剪訓(xùn)練數(shù)據(jù)的目的。而本申請(qǐng)中是利用K近鄰來(lái)服務(wù)于主動(dòng)學(xué)習(xí)，通過(guò)K近鄰來(lái)判斷樣本的信息含量，進(jìn)而便于主動(dòng)學(xué)習(xí)算法挑選信息含量最大的樣本進(jìn)行手工標(biāo)注。因此，本申請(qǐng)對(duì)K近鄰和SVM分類模型的結(jié)合研究和現(xiàn)有文獻(xiàn)中的相關(guān)研究是完全不同的。最經(jīng)典的支持向量機(jī)主動(dòng)學(xué)習(xí)算法是由SimonTong于2001年提出的，這里簡(jiǎn)記為SVMAL。Xu指出SVMAL算法沒(méi)有考慮樣本的分布，因此提出一種代表性采樣主動(dòng)學(xué)習(xí)算法，這里簡(jiǎn)記為SVMRep。SVMRep在采樣的過(guò)程中除了考慮樣本與分類面的距離，同時(shí)還兼顧樣本的代表性。此外，其它文獻(xiàn)中提出的支持向量機(jī)主動(dòng)學(xué)習(xí)算法也具有和SVMRep類似的算法思想，即在采樣的過(guò)程中考慮樣本的代表性。但是Xu通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，與SVMAL相比，代表性采樣只在前幾輪迭代中對(duì)分類器性能有明顯的提高，卻難以從整體上提高分類器的性能。

技術(shù)實(shí)現(xiàn)要素：
本發(fā)明的目的就是為了解決上述問(wèn)題，提供一種基于K近鄰的支持向量機(jī)主動(dòng)學(xué)習(xí)的方法，與SVMAL和SVMRep相比，它具有能進(jìn)一步提高分類器性能，進(jìn)而進(jìn)一步減少手工標(biāo)注工作量的優(yōu)點(diǎn)。為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：一種基于K近鄰的支持向量機(jī)主動(dòng)學(xué)習(xí)的方法，具體步驟為：步驟一：用初始已標(biāo)注樣本集L訓(xùn)練一個(gè)初始SVM分類器；步驟二：用SVM分類器對(duì)未標(biāo)注樣本集U中的樣本進(jìn)行分類，取分類間隔內(nèi)的未標(biāo)注樣本組成潛在的高信息含量樣本集Sp；步驟三：對(duì)高信息含量樣本集Sp內(nèi)的每個(gè)樣本，確定每個(gè)樣本與其K近鄰樣本所組成的樣本集中任意兩個(gè)樣本之間距離的平均值，取平均值最大的樣本作為信息含量最大的樣本；步驟四：將此高信息含量的樣本從未標(biāo)注樣本集U中移除，并交由專家手工標(biāo)注后放入已標(biāo)注樣本集L中；步驟五：用更新的已標(biāo)注樣本集L重新訓(xùn)練SVM分類器；步驟六：判斷是否滿足停止準(zhǔn)則，滿足則停止迭代，輸出訓(xùn)練好的SVM分類器，不滿足則重復(fù)步驟二至步驟五。所述步驟二的具體步驟為：（2-1）用SVM分類器對(duì)未標(biāo)注樣本集U中的樣本進(jìn)行分類；（2-2）取處于分類間隔內(nèi)的未標(biāo)注樣本組成潛在的高信息含量樣本集Sp；Sp＝{xi|xi∈U,且|f(xi)|＜1}所述步驟三的具體步驟為：（3-1）對(duì)高信息含量樣本集Sp內(nèi)每個(gè)樣本xi(i＝1,2,…，|Sp|),首先尋找與其距離最近的K個(gè)近鄰樣本，|Sp|表示高信息含量樣本集Sp中的樣本數(shù)量；（3-2）假設(shè)樣本xi和其K近鄰組成樣本集Xi，然后計(jì)算Xi中任意兩個(gè)樣本xj、xl之間距離的平均值，將此平均距離表達(dá)為關(guān)于xi的函數(shù)：其中，D(xj,xl)表示樣本xj、xl之間的歐式距離；（3-3）將具有最大平均距離值的樣本選作信息含量最大的樣本，記此樣本為xinf，則：所述步驟（3-1）中確定K的取值的具體步驟為：（31-1）對(duì)于高信息含量樣本集Sp中的任一個(gè)樣本xi，首先計(jì)算其與已標(biāo)注樣本集L中所有樣本的距離，并記作|L|表示已標(biāo)注樣本集L中樣本的數(shù)量；令其中，D(xi,xj)表示樣本xi、xj之間的歐式距離，sgn(f(xi))是SVM分類器對(duì)樣本xi的分類標(biāo)簽，y(xj)代表已標(biāo)注樣本集L中樣本xj的真實(shí)類標(biāo)簽；（31-2）將中的各個(gè)距離值按照其絕對(duì)值由小到大的順序進(jìn)行排序；（31-3）排序后，根據(jù)各個(gè)距離值的正負(fù)號(hào)，找到第一個(gè)具有和其前一距離值異號(hào)的那個(gè)距離值的位置，記這一位置為mi，mi是在{2,3,…,|L|}中取值的整數(shù)；（31-4）將高信息含量樣本集Sp中所有樣本的mi值記為其中，|Sp|表示高信息含量樣本集Sp中樣本的數(shù)量，則K近鄰中K的取值應(yīng)滿足下列不等式：在滿足上述不等式的基礎(chǔ)上，通過(guò)重復(fù)試驗(yàn)最終得到了一個(gè)比較合適的K值。所述步驟六中停止準(zhǔn)則的設(shè)定方法為：采用最大迭代次數(shù)作為停止準(zhǔn)則；即設(shè)定迭代次數(shù)的最大值，當(dāng)?shù)螖?shù)達(dá)到此最大值時(shí)則停止迭代。本發(fā)明的有益效果：1.本發(fā)明基于樣本的K近鄰來(lái)判斷樣本的信息含量，其對(duì)樣本信息含量的描述更加準(zhǔn)確，因而能找到真正的信息含量大的樣本，進(jìn)而能更好地提高分類器的分類性能；2.本發(fā)明提出的算法能大幅度地減少手工標(biāo)注的工作量，且加速分類器的收斂；3.目前，針對(duì)支持向量機(jī)的主動(dòng)學(xué)習(xí)算法研究還很少，本發(fā)明提出的方法是對(duì)這方面研究的一個(gè)有益補(bǔ)充。附圖說(shuō)明圖1為本發(fā)明提出的基于K近鄰的支持向量機(jī)主動(dòng)學(xué)習(xí)算法的流程圖；圖2為支持向量機(jī)分類模型的分類超平面以及分類間隔的示意圖；圖3為尋找mi的一個(gè)示例圖；圖4為三種算法在不同手工標(biāo)注樣本數(shù)量下的F1值對(duì)比圖。具體實(shí)施方式下面結(jié)合附圖與實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明。如圖1所示，基于K近鄰的支持向量機(jī)主動(dòng)學(xué)習(xí)算法的流程圖，其具體步驟為：（1）用初始已標(biāo)注樣本集L訓(xùn)練一個(gè)初始SVM分類器；（2）用SVM分類器對(duì)未標(biāo)注樣本集U中的樣本進(jìn)行分類。取分類間隔內(nèi)的未標(biāo)注樣本組成潛在的高信息含量樣本集Sp；（3）對(duì)Sp內(nèi)每個(gè)樣本，求樣本與其K近鄰樣本所組成的樣本集中任意兩個(gè)樣本之間距離的平均值。取平均值最大的樣本作為信息含量最大的樣本；（4）將此高信息含量的樣本從未標(biāo)注樣本集U中移除，并交由專家手工標(biāo)注后放入已標(biāo)注樣本集L中；（5）用更新的已標(biāo)注樣本集L重新訓(xùn)練SVM分類器；（6）判斷是否滿足停止準(zhǔn)則，滿足則停止迭代，輸出訓(xùn)練好的SVM分類器。不滿足則重復(fù)步驟（2）～步驟（5）。下面首先介紹一下“主動(dòng)學(xué)習(xí)”和“支持向量機(jī)”的概念，然后再對(duì)本發(fā)明中的步驟做進(jìn)一步說(shuō)明。主動(dòng)學(xué)習(xí)（AL）：主動(dòng)學(xué)習(xí)技術(shù)主要可以分為兩大類：不確定性采樣和基于委員會(huì)的采樣。本發(fā)明提出的主動(dòng)學(xué)習(xí)算法屬于不確定性采樣。令L代表已標(biāo)注樣本集，令U代表未標(biāo)注樣本集，則不確定性采樣主動(dòng)學(xué)習(xí)的算法流程可以表述為：①用初始已標(biāo)注樣本集L訓(xùn)練一個(gè)初始分類器②設(shè)計(jì)一種采樣準(zhǔn)則，從未標(biāo)注樣本集U中選擇信息含量大的樣本③將選擇的樣本交由專家手工標(biāo)注，并將標(biāo)注后的樣本放入已標(biāo)注樣本集L中④用更新的已標(biāo)注訓(xùn)練集L重新訓(xùn)練分類器⑤步驟②～④重復(fù)迭代，直至滿足停止準(zhǔn)則主動(dòng)學(xué)習(xí)的關(guān)鍵技術(shù)在于如何定義樣本的信息量，以及如何尋找信息含量大的樣本。支持向量機(jī)（SVM）：SVM是一種二值分類模型，可以表述為如下形式：f(x)＝wTφ(x)+b(1)其中w和b分別代表權(quán)值向量和偏差，T表示矩陣的轉(zhuǎn)置，φ(·)是非線性映射函數(shù)，用于將低維下線性不可分的訓(xùn)練數(shù)據(jù)映射到高維空間，使得樣本在高維空間中線性可分。假設(shè)d維空間的訓(xùn)練樣本為xi(i=1,2,…,N)，N代表訓(xùn)練樣本的總個(gè)數(shù)，樣本的類別標(biāo)簽為yi∈{+1,-1}。SVM的優(yōu)化目標(biāo)是尋找一個(gè)分類超平面，使得該超平面不但能正確分類訓(xùn)練樣本中的兩類樣本，而且能最大化兩類之間的分類間隔，即：且滿足yi(wTφ(xi))≥1-ξi,ξi≥0,i＝1,…，N(3)其中ξi表示松弛變量，C表示懲罰因子，i是自然數(shù)。SVM分類模型的分類超平面和分類間隔的示意圖如圖2所示。圖中H0代表分類超平面，即由f(x)=0所確定的超平面。H1，H-1分別對(duì)應(yīng)超平面f(x)=+1和超平面f(x)=-1。超平面H1、H-1之間的間隔稱為分類間隔。通常將此兩個(gè)超平面與分類超平面之間的距離量化為1，即所以，任一樣本xi到分類超平面的距離為：通過(guò)拉格朗日函數(shù)，上述優(yōu)化問(wèn)題可以轉(zhuǎn)換為以下對(duì)偶優(yōu)化問(wèn)題：且滿足其中αi代表拉格朗日乘子。那些拉格朗日乘子不為0的訓(xùn)練樣本稱為支持向量。通常，φ(xi)·φ(xj)的值是通過(guò)一個(gè)kernel函數(shù)K(xi,xj)求得的，因而不需要知道函數(shù)φ(·)的具體形式。對(duì)于任一待分類樣本x，其類別標(biāo)簽是通過(guò)下式得到的：下面對(duì)本發(fā)明中的步驟做進(jìn)一步說(shuō)明。所述步驟（2）中，用SVM分類器對(duì)未標(biāo)注樣本集U中的樣本進(jìn)行分類，取分類間隔內(nèi)的未標(biāo)注樣本組成潛在的高信息含量樣本集Sp；用SVM分類器對(duì)未標(biāo)注樣本集U中的樣本進(jìn)行分類；根據(jù)前面對(duì)SVM分類模型的介紹，處于分類間隔內(nèi)的未標(biāo)注樣本應(yīng)當(dāng)是那些到分類超平面距離小于1的樣本，這些樣本滿足下列不等式：d(x)＝|f(x)|＜1（8）其中，d(x)如公式（4）所示，表示樣本x到分類超平面的距離；則高信息含量樣本集Sp可以表述為：Sp＝{xi|xi∈U,且|f(xi)|＜1}（9）其中，xi表示未標(biāo)注樣本集中的第i個(gè)樣本，|f(xi)|如公式（4）所示，反映了樣本xi到分類超平面的距離。所述步驟（3）：對(duì)高信息含量樣本集Sp內(nèi)每個(gè)樣本，求樣本與其K近鄰樣本所組成的樣本集中任意兩個(gè)樣本之間距離的平均值，取平均值最大的樣本作為信息含量最大的樣本；對(duì)高信息含量樣本集Sp內(nèi)每個(gè)樣本xi(i＝1,2,…，|Sp|)(|Sp|表示Sp中樣本的個(gè)數(shù)),首先從整個(gè)訓(xùn)練樣本集（包括已標(biāo)注樣本集L和未標(biāo)注樣本集U）中尋找與其距離最近的K個(gè)近鄰樣本；設(shè)樣本xi和其K近鄰組成樣本集Xi；計(jì)算Xi中任意兩個(gè)樣本xj、xl之間距離的平均值，將此平均距離表達(dá)為關(guān)于xi的函數(shù)：其中，D(xj,xl)表示樣本xj、xl之間的歐式距離；最后，將具有最大平均距離值的樣本選作信息含量最大的樣本，記此樣本為xinf，則：正如半監(jiān)督學(xué)習(xí)的聚類假設(shè)所述，分類超平面應(yīng)當(dāng)穿過(guò)稀疏區(qū)域；因?yàn)橄鄬?duì)于不同類的樣本來(lái)說(shuō)，同類樣本更傾向于聚集在一起，因此兩類之間的分類邊界處樣本通常會(huì)比較稀疏。具有較大Adis值的樣本，說(shuō)明其處在一個(gè)比較稀疏的區(qū)域，因而其處在兩類邊界的可能性較大；如果選擇具有較大Adis值的樣本訓(xùn)練SVM分類器，則必將有利于SVM快速找到真正的類邊界。但是上述假設(shè)成立的前提條件是K近鄰中K值的選取應(yīng)該適當(dāng)，K的取值既不能太大也不能太??；如果K取值太小，則樣本的K近鄰中將只包含正類樣本或者只包含負(fù)類樣本，此時(shí)，樣本的較大Adis值只能說(shuō)明其處在正類或負(fù)類的類內(nèi)稀疏區(qū)域，而不代表其處在兩類的邊界區(qū)域。如果K取值太大，則樣本的K近鄰中會(huì)包含相當(dāng)多正類和負(fù)類的類內(nèi)部樣本，這些樣本都會(huì)參與Adis值的求算，因此會(huì)使Adis值受到正類和負(fù)類的類內(nèi)樣本分布的影響，導(dǎo)致Adis值不能正確反映類邊界的稀疏性。本發(fā)明采用如下方法確定K的取值。由于未標(biāo)注樣本集U中樣本的類別標(biāo)簽未知，因此這里只用已標(biāo)注樣本集L來(lái)估計(jì)K的取值。對(duì)于Sp中的任一個(gè)樣本xi，首先計(jì)算其與L中所有樣本的距離，并記作|L|表示L中樣本的數(shù)量，此距離的求算方法為：其中，代表Sp中的第i個(gè)樣本與L中的第j個(gè)樣本之間的距離；D(xi,xj)表示樣本xi、xj之間的歐式距離；sgn(f(xi))如公式（7）所述，代表SVM分類器對(duì)樣本xi的分類標(biāo)簽；y(xj)代表已標(biāo)注樣本集L中樣本xj的真實(shí)類標(biāo)簽；可見(jiàn)，對(duì)于已標(biāo)注樣本集L中的樣本xj，如果其類標(biāo)簽與樣本xi的分類標(biāo)簽一致，則為兩者之間的距離D(xi,xj)添加一個(gè)正號(hào)，即+D(xi,xj)；否則添加一個(gè)負(fù)號(hào)，即-D(xi,xj)；將中的各個(gè)距離值按照其絕對(duì)值由小到大的順序進(jìn)行排序；排序后，只考慮各個(gè)距離值的正負(fù)號(hào)，則很容易找到第一個(gè)具有和其前一距離值異號(hào)的那個(gè)距離值的位置，記這一位置為mi，mi是在{2,3,…,|L|}中取值的整數(shù)；如圖3所示，給出了尋找mi的一個(gè)示例。將Sp中所有樣本的mi值記為其中，|Sp|表示Sp中樣本的數(shù)量，則K近鄰中K的取值應(yīng)滿足下列不等式：在滿足上述不等式的基礎(chǔ)上，本發(fā)明通過(guò)重復(fù)試驗(yàn)最終得到了一個(gè)比較合適的K值。步驟（6）：判斷是否滿足停止準(zhǔn)則，滿足則停止迭代，輸出訓(xùn)練好的SVM分類器。不滿足則重復(fù)步驟（2）～（5）。本發(fā)明采用最大迭代次數(shù)作為停止準(zhǔn)則。即設(shè)定迭代次數(shù)的最大值，當(dāng)?shù)螖?shù)達(dá)到此最大值時(shí)則停止迭代。為了驗(yàn)證本發(fā)明的有效性，將基于K近鄰的支持向量機(jī)主動(dòng)學(xué)習(xí)算法和背景技術(shù)部分介紹的SVMAL、SVMRep算法進(jìn)行了比較，為便于在實(shí)驗(yàn)結(jié)果圖中表示本發(fā)明的算法，這里將其簡(jiǎn)記為SVMKNN；將這三種算法用于音頻分類領(lǐng)域，用于區(qū)分音頻文檔中的語(yǔ)音和非語(yǔ)音片段。我們創(chuàng)建了一個(gè)“Friends”數(shù)據(jù)庫(kù)，將其中的音頻片段標(biāo)記為語(yǔ)音或非語(yǔ)音。幀長(zhǎng)和幀移分別采用30毫秒和10毫秒。對(duì)每個(gè)幀提取短時(shí)能量、過(guò)零率等一系列常用的音頻特征。這里以1秒長(zhǎng)的音頻片段為分類單位。對(duì)音頻片段內(nèi)包含的所有幀的特征取均值和標(biāo)準(zhǔn)差，將其作為音頻片段的特征。而且，對(duì)每個(gè)音頻片段還提取了高過(guò)零率、低能量率等音頻特征。從整個(gè)音頻庫(kù)中隨機(jī)選取約70%的樣本組成訓(xùn)練樣本集，剩下的作為測(cè)試集。將訓(xùn)練樣本集進(jìn)一步拆分成兩部分：取訓(xùn)練樣本集中20%的樣本組成初始已標(biāo)注樣本集L，剩下的80%組成未標(biāo)注訓(xùn)練樣本集U。每項(xiàng)實(shí)驗(yàn)都獨(dú)立重復(fù)5次，取5次的平均值作為最后的實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)采用F1測(cè)度作為評(píng)價(jià)準(zhǔn)則。如圖4所示，給出了三種算法在不同手工標(biāo)注樣本數(shù)量下的F1值對(duì)比。從圖中可以看出本發(fā)明提出的基于K近鄰的支持向量機(jī)主動(dòng)學(xué)習(xí)算法明顯地好于SVMAL、SVMRep算法。這說(shuō)明本發(fā)明基于樣本的K近鄰來(lái)判斷樣本的信息含量，其對(duì)樣本信息含量的描述更加準(zhǔn)確，因而能找到真正的信息含量大的樣本，進(jìn)而能更好地提高分類器的分類性能。表1給出了三種算法在分類器收斂時(shí)所達(dá)到的F1值以及所需的手工標(biāo)注工作量。這里對(duì)分類器的收斂定義為：如果相鄰兩次迭代中F1的絕對(duì)差值和前一次迭代中F1值的比率小于0.5%，且這種情況連續(xù)出現(xiàn)了5次，則認(rèn)為分類器已經(jīng)收斂。從表1可見(jiàn)，本發(fā)明提出的算法能以較少的手工標(biāo)注工作量使分類器快速收斂，且分類器收斂后的分類性能較高。所以本發(fā)明提出的算法能大幅度地減少手工標(biāo)注的工作量，且加速分類器的收斂。表1三種算法在使分類器收斂時(shí)所達(dá)到的分類性能及所需的手工標(biāo)注工作量上述雖然結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式進(jìn)行了描述，但并非對(duì)本發(fā)明保護(hù)范圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動(dòng)即可做出的各種修改或變形仍在本發(fā)明的保護(hù)范圍以內(nèi)。