基于自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)的模式識別方法
【專利摘要】本發(fā)明涉及模式識別領(lǐng)域，具體的說是一種基于自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)的模式識別方法；該方法首先采用概率神經(jīng)網(wǎng)絡(luò)模型對輸入的訓(xùn)練樣本進行分類，得到分類正確的樣本和分類錯誤的樣本；然后在概率神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)的基礎(chǔ)上添加輸入層、中心層和激勵層，構(gòu)建自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)；之后針對概率神經(jīng)網(wǎng)絡(luò)模型分類錯誤的樣本，以自身為中心點，計算與其他類別樣本間的允許半徑，聚類同類別錯誤樣本，從而實現(xiàn)分類模式的批量修正以及判決分界面的重新規(guī)劃，建立自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型；最后基于自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型對輸入的測試樣本進行模式識別；本發(fā)明具有模式分類準確率高、模型泛化能力強、分類實時性能好、應(yīng)用前景廣闊等特點。
【專利說明】基于自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)的模式識別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于模式識別領(lǐng)域，特別是一種基于自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)的模式識別方法。
【背景技術(shù)】
[0002]神經(jīng)網(wǎng)絡(luò)作為一種模式識別技術(shù)，不需要預(yù)先給出有關(guān)模式的經(jīng)驗知識和判別函數(shù)，通過自身的學(xué)習(xí)機制即可自動形成所需要的決策區(qū)域，因此，近年來神經(jīng)網(wǎng)絡(luò)在模式識別領(lǐng)域得到越來越廣泛的應(yīng)用，文獻成果報道最多的主要包括以下幾種:
[0003]標(biāo)準反向傳播神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Network, BPNN)米用基于誤差代價函數(shù)的最速梯度下降靜態(tài)尋優(yōu)法進行模式識別，其固定的學(xué)習(xí)率、學(xué)習(xí)過程癱瘓現(xiàn)象易導(dǎo)致收斂速度慢、局部極小值、網(wǎng)絡(luò)結(jié)構(gòu)和規(guī)模難以確定等問題。采用變學(xué)習(xí)速率和附加動量項的改進BPNN診斷方法在一定程度上改善了標(biāo)準BPNN的收斂速度，避免網(wǎng)絡(luò)限于較淺的局部極小值，但沒有徹底避免不收斂的情況，且仍采用類似于標(biāo)準BPNN的算法結(jié)構(gòu)，訓(xùn)練精度不高，不適合大規(guī)模數(shù)據(jù)并行處理，難以實現(xiàn)診斷模型的快速在線構(gòu)建與自動更新。
[0004]徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(RadialBasis Function Neural Network, RBFNN)基于多變量插值徑向基函數(shù)，能夠以任意精度逼近任意連續(xù)函數(shù)，具有最佳的局部逼近特性和全局近似性能，無論在逼近能力、分類能力和學(xué)習(xí)速度等方面均優(yōu)于BPNN，能夠?qū)崿F(xiàn)大規(guī)模數(shù)據(jù)并行處理，支持在線、離線建模。但是RBFNN需要依靠誤差代價函數(shù)控制進行反復(fù)訓(xùn)練從而形成各類別模式間的判別表面，且輸出層采用連接權(quán)線性疊加，可能發(fā)生樣本“拒識”的情況。
[0005]概率神經(jīng)網(wǎng)絡(luò)(ProbabilisticNeural Network, PNN)是 RBFNN 的一種變化形式，采用基于模式樣本后驗概率估計方法進行分類，當(dāng)獲得足夠多的有代表性的樣本后可直接學(xué)習(xí)，無需反復(fù)訓(xùn)練，收斂速度很快，分類能力理想，且輸出層采用競爭機制，避免了樣本“拒識”。因此，PNN被廣泛應(yīng)用于大規(guī)模數(shù)據(jù)分類、模式識別、故障診斷、非線性濾波等領(lǐng)域。但是PNN沒有考慮不同類別模式間的交錯影響，形成的判決分界面是有偏的，整體分類性能是受限的。
[0006]徑向基概率神經(jīng)網(wǎng)絡(luò)(RadialBasis Probabilistic Neural Networks, RBPNN)是在RBFNN和PNN基礎(chǔ)上發(fā)展而來的，具有RBFNN和PNN的優(yōu)點，如快速的收斂性能，降低的計算復(fù)雜度等，在保證網(wǎng)絡(luò)性能前提下，進一步降低了網(wǎng)絡(luò)規(guī)模，減少了訓(xùn)練強度，增強了分類準確性。同RBFNN類似，RBPNN輸出層仍采用連接權(quán)線性疊加，可能發(fā)生樣本“拒識”的情況。

【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的在于提供一種分類準確率高、模型泛化能力強、分類實時性能好、應(yīng)用前景廣闊的基于自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)的模式識別方法。[0008]實現(xiàn)本發(fā)明目的的技術(shù)解決方案為:
[0009]一種基于自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)的模式識別方法，包括以下步驟:
[0010]第一步，概率神經(jīng)網(wǎng)絡(luò)模式分類，即采用概率神經(jīng)網(wǎng)絡(luò)模型對輸入的訓(xùn)練樣本進行分類，得到分類正確的樣本和分類錯誤的樣本；
[0011]第二步，構(gòu)建自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)，即在概率神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)的基礎(chǔ)上添加輸入層、中心層和激勵層；
[0012]第三步，建立自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型，即針對概率神經(jīng)網(wǎng)絡(luò)模型分類錯誤的樣本，以自身為中心點，計算與其他類別樣本間的允許半徑，聚類同類別錯誤樣本，從而實現(xiàn)分類模式的批量修正以及判決分界面的重新規(guī)劃，最終建立自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型；
[0013]第四步，模式識別，即利用上述步驟所得自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型，對輸入的測試樣本進行模式識別。
[0014]本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點:
[0015](I)分類準確率高。本發(fā)明方法針對模式間交錯影響造成判決界面有偏的問題，提出一種自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型。該模型針對概率神經(jīng)網(wǎng)絡(luò)方法分類錯誤的樣本，以自身為中心點，自行計算與其他類別樣本間的允許半徑，聚類同類別錯誤樣本，從而實現(xiàn)批量模式修正，因此分類準確率高。
[0016](2)模型泛化能力強。本發(fā)明方法采用自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型，能夠在低信噪比情況下避免樣本“拒識”現(xiàn)象的發(fā)生、保證較高的分類準確率，因此模型泛化能力強。
[0017](3)分類實時性能好。本發(fā)明方法中模型的訓(xùn)練時間隨訓(xùn)練樣本個數(shù)的增加而平緩上升，耗時較少，模型的分類時間受模型復(fù)雜程度影響較小，波動不大，耗時為毫秒級，因此分類實時性能好，適用于實時分類領(lǐng)域。
[0018]( 4 )應(yīng)用前景廣闊。本發(fā)明方法所需先驗知識少，并且采用小波分析技術(shù)提取數(shù)據(jù)的特征向量進行建模，對原始數(shù)據(jù)要求低，得到的模型更加精確，因此應(yīng)用前景廣闊。
[0019]下面結(jié)合附圖對本發(fā)明作進一步詳細描述。
【專利附圖】

【附圖說明】
[0020]圖1為本發(fā)明基于自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)的模式識別方法流程圖。
[0021]圖2為本發(fā)明方法中概率神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖。
[0022]圖3為本發(fā)明方法中自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖。
[0023]圖4為本發(fā)明方法中自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型算法原理圖。
[0024]圖5為本發(fā)明方法應(yīng)用的雙螺旋訓(xùn)練樣本分布示意圖。
[0025]圖6為使用本發(fā)明方法和概率神經(jīng)網(wǎng)絡(luò)方法所得的分類界面結(jié)果圖；其中(a)為概率神經(jīng)網(wǎng)絡(luò)方法(PNN)所得的分類界面結(jié)果圖；(b)為本發(fā)明方法(ACNN)所得的分類界面結(jié)果圖。
[0026]圖7為使用本發(fā)明方法所得的錯誤樣本的聚類分布結(jié)果圖。
[0027]圖8為使用本發(fā)明方法所得的樣本訓(xùn)練時間結(jié)果圖。
[0028]圖9為使用本發(fā)明方法對測試樣本分類的平均時間結(jié)果圖。
【具體實施方式】[0029]下面結(jié)合附圖及實施例對本發(fā)明一種基于自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)的模式識別方法的實施方式進行詳細說明。
[0030]如圖1所示，為本發(fā)明基于自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)的模式識別方法流程圖。第一步，采用概率神經(jīng)網(wǎng)絡(luò)模型對輸入的訓(xùn)練樣本進行分類，得到分類正確的樣本和分類錯誤的樣本；第二步，在概率神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)的基礎(chǔ)上添加輸入層、中心層和激勵層；第三步，針對概率神經(jīng)網(wǎng)絡(luò)模型分類錯誤的樣本，以自身為中心點，計算與其他類別樣本間的允許半徑，聚類同類別錯誤樣本，從而實現(xiàn)分類模式的批量修正以及判決分界面的重新規(guī)劃，建立自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型(Adaptive Correction Neural Network, ACNN);第三步，基于自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型對輸入的測試樣本進行模式識別。
[0031]如圖2所示，為本發(fā)明方法中概率神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖。其基本結(jié)構(gòu)包括輸入層、模式層、求和層和競爭層，具體說明如下:
[0032](I)輸入層包括η個神經(jīng)元(n e N+)，代表輸入樣本的維數(shù)，即X= (X1, X2，…，xn)；
[0033](2)模式層包括m個隱神經(jīng)元(m e N+)，對應(yīng)m個訓(xùn)練樣本，即Y=(Yι,Y2,-，ym)，模式層針對輸入樣本，計算其同每一個訓(xùn)練樣本之間的距離，然后使用徑向基函數(shù)(如高斯函數(shù))計算當(dāng)前輸入與本身所代表樣本的相似度，其輸出out_yi可根據(jù)公式
【權(quán)利要求】
1.一種基于自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)的模式識別方法，其特征在于，包括以下步驟: 第一步，概率神經(jīng)網(wǎng)絡(luò)模式分類，即采用概率神經(jīng)網(wǎng)絡(luò)模型對輸入的訓(xùn)練樣本進行分類，得到分類正確的樣本和分類錯誤的樣本； 第二步，構(gòu)建自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)，即在概率神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)的基礎(chǔ)上添加輸入層、中心層和激勵層； 第三步，建立自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型，即針對概率神經(jīng)網(wǎng)絡(luò)模型分類錯誤的樣本，以自身為中心點，計算與其他類別樣本間的允許半徑，聚類同類別錯誤樣本，從而實現(xiàn)分類模式的批量修正以及判決分界面的重新規(guī)劃，最終建立自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型； 第四步，模式識別，即利用上述步驟所得自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型，對輸入的測試樣本進行模式識別。
2.根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)的模式識別方法，其特征在于概率神經(jīng)網(wǎng)絡(luò)模式分類過程如下:每個訓(xùn)練樣本包括原始數(shù)據(jù)和對應(yīng)的真實模式，采用概率神經(jīng)網(wǎng)絡(luò)模型對訓(xùn)練樣本的原始數(shù)據(jù)進行模式分類，將所得分類模式與樣本真實模式進行對比,如果模式相同,則樣本分類正確,否則,樣本分類錯誤。
3.根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)的模式識別方法，其特征在于自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如下:所述自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)是在概率神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上添加輸入層、中心層和激勵層，輸入層代表概率神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中分類錯誤的樣本，中心層代表所有錯誤分類樣本的不同聚類，激勵層代表樣本模式，能夠根據(jù)中心層的輸出直接輸出樣本模式，或者激活概率神經(jīng)網(wǎng)絡(luò)模型進一步識別模式。
4.根據(jù)權(quán)利要求3所述的一種基于自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)的模式識別方法，其特征在于:所述中心層的聚類由中心矢量`和半徑表示，其中心矢量為錯誤分類樣本，半徑為該中心矢量同所有訓(xùn)練樣本中其他類別樣本之間的最小距離的一半。
5.根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)的模式識別方法，其特征在于建立自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型步驟如下: 第一步，使用概率神經(jīng)網(wǎng)絡(luò)模型對輸入的訓(xùn)練樣本進行分類，將訓(xùn)練樣本中分類錯誤的樣本全部提出，存儲至錯誤分類集合中； 第二步，判斷錯誤分類集合是否為空，如果是，則訓(xùn)練過程結(jié)束，建立自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型，如果否，則在錯誤分類集合中選取一個樣本作為中心點，將該樣本作為一個中心矢量加入聚類集合中； 第三步，獲取該中心矢量所屬的真實模式類別，并在錯誤分類集合中刪除該樣本；第四步，計算該中心矢量同所有訓(xùn)練樣本中其他類別樣本之間的距離，并從中選取最小距離的一半，作為該中心矢量對應(yīng)的半徑加入聚類集合中； 第五步，計算錯誤分類集合中的所有樣本同所選中心矢量之間的距離； 第六步，判斷錯誤分類集合中的一個樣本同所選中心矢量的距離是否小于對應(yīng)半徑，如果是，則在錯誤分類集合中刪除該樣本，選擇錯誤分類集合中的下一個樣本重復(fù)該判斷，如果否，則選擇錯誤分類集合中的下一個樣本重復(fù)該判斷； 第七步，如果錯誤分類集合中的所有樣本均已進行過上述判斷，則錯誤分類集合的更新過程結(jié)束，進一步判斷錯誤分類集合是否為空，重復(fù)上述訓(xùn)練過程。
6.根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)的模式識別方法，其特征在于模式識別步驟如下: 第一步，使用新的自適應(yīng)修正神經(jīng)網(wǎng)絡(luò)模型對輸入的測試樣本進行分類，計算新樣本同聚類集合中的一個中心矢量之間的距離； 第二步，判斷該距離是否小于對應(yīng)半徑，如果是，則新樣本的分類與該中心矢量所屬類別相同，該新樣本的模式識別過程結(jié)束，如果否，則說明該新樣本不屬于該聚類，繼續(xù)選取聚類集合中的下一個中心矢量重復(fù)該分類計算； 第三步，如果聚類集合中的所有中心矢量均已進行過計算，則說明該新樣本不在各聚類的范圍內(nèi)，繼續(xù)使用概 率神經(jīng)網(wǎng)絡(luò)模型對該樣本進行模式識別。
【文檔編號】G06K9/62GK103489009SQ201310422987
【公開日】2014年1月1日 申請日期:2013年9月17日 優(yōu)先權(quán)日:2013年9月17日
【發(fā)明者】高甜容, 岳東峰, 孫雨, 王進, 朱磊森, 張瑩瑩, 崔夢瑩, 王文劍, 高冉, 杜易, 冒蓉 申請人:北方信息控制集團有限公司