專利名稱：有限樣本集上特征值誤差補(bǔ)償及參數(shù)分布修正方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種用于統(tǒng)計(jì)模式識(shí)別技術(shù)領(lǐng)域的方法，具體地說，是一種有限樣本集上特征值誤差補(bǔ)償及參數(shù)分布修正方法。
背景技術(shù)：
馬氏距離是模式識(shí)別中一個(gè)有效的相似性測度，可以采用從主向量分析(PCA)中得到的特征值-特征向量表達(dá)。PCA對描述數(shù)據(jù)的原坐標(biāo)系進(jìn)行正交變換，是從可能的高維數(shù)據(jù)中提取結(jié)構(gòu)的有效技術(shù)。PCA可以通過解特征值問題或采用估計(jì)主向量的迭代算法實(shí)施，描述數(shù)據(jù)的新坐標(biāo)值被稱為主向量，通常采用主向量表達(dá)數(shù)據(jù)的結(jié)構(gòu)比原坐標(biāo)系要有效得多。然而，當(dāng)可以利用的樣本數(shù)量有限時(shí)，PCA計(jì)算的特征值通常包含誤差。傳統(tǒng)的馬氏距離是在多變量正態(tài)分布概率密度函數(shù)的假設(shè)下推導(dǎo)出來的，因此，如果樣本的分布服從多變量正態(tài)分布，馬氏距離被認(rèn)為是一個(gè)合適的測度指標(biāo)。然而，研究發(fā)現(xiàn)樣本的分布與正態(tài)分布有較大的差異，其中包括類內(nèi)樣本分布的非對稱特性。因此需要采用改進(jìn)的馬氏距離來計(jì)算未知模式的特征矢量與某類的均值矢量之間的距離。
經(jīng)對現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，N.Kato，M.Suzuki，S.Omachi，H.Aso andY.Nemoto在“采用方向元素特征和非對稱馬氏距離的手寫字符識(shí)別系統(tǒng)”(電子電器工程師協(xié)會(huì)模式分析與機(jī)器智能學(xué)報(bào)，1999，21(3)258-262.)一文中，采用對特征值加上偏移量的方法對所有的特征值進(jìn)行誤差補(bǔ)償，并采用非對稱模型描述所有主向量上的參數(shù)分布。其不足之處是，馬氏距離在次主向量(對應(yīng)于較小的特征值)上的偏差遠(yuǎn)大于在優(yōu)勢主向量上的偏差，對主特征值進(jìn)行誤差補(bǔ)償可能同時(shí)增加類間的相似度；同時(shí)次特征值通常很小而且存在較大誤差，因此無法精確地在相應(yīng)的次主向量上對參數(shù)進(jìn)行非對稱分布描述。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足和缺陷，提供一種有限樣本集上特征值誤差補(bǔ)償及參數(shù)分布修正方法，采用非對稱分布對多變量正態(tài)分布假設(shè)進(jìn)行修正，可以更精確地刻畫實(shí)際樣本的分布情況，能夠顯著地提高手寫體數(shù)字字符的識(shí)別精度。
本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明以最小的主特征值替換次特征值，并采用非對稱模型描述特征矢量在優(yōu)勢主向量上的分布，分別用于減小次主向量空間和優(yōu)勢主向量空間導(dǎo)致的總體距離偏差來實(shí)現(xiàn)誤差補(bǔ)償及參數(shù)分布修正。。
本發(fā)明的具體步驟如下(1)計(jì)算各類樣本的均值特征矢量和協(xié)方差矩陣。這兩個(gè)參數(shù)描述樣本在特征矢量空間的分布狀況，是本發(fā)明進(jìn)行特征值誤差補(bǔ)償及參數(shù)分布修正的基礎(chǔ)。其中，某類的均值特征矢量表示該類的質(zhì)心，協(xié)方差矩陣表示該類樣本分布的離散程度；(2)對協(xié)方差矩陣進(jìn)行對角化。通過PCA對描述數(shù)據(jù)的原坐標(biāo)系進(jìn)行正交變換，得到特征向量矩陣和特征值矩陣，有效地提取這些數(shù)據(jù)的結(jié)構(gòu)。特征向量矩陣表示描述數(shù)據(jù)的新坐標(biāo)系，描述數(shù)據(jù)的新坐標(biāo)值被稱為主向量，特征值則表示相應(yīng)主向量上參數(shù)分布的離散程度。采用主向量表達(dá)數(shù)據(jù)的結(jié)構(gòu)比原坐標(biāo)系要有效得多，本發(fā)明的誤差補(bǔ)償及參數(shù)分布修正是在主向量空間進(jìn)行的。
(3)根據(jù)設(shè)定的閾值分別選擇每類的主特征值，其余為次特征值，通過采用最小的主特征值替換所有的次特征值對次特征值進(jìn)行誤差補(bǔ)償；對應(yīng)于主特征值的特征向量為優(yōu)勢主向量，對應(yīng)于次特征值的特征向量為次主向量。對由于有限樣本導(dǎo)致的次特征誤差進(jìn)行補(bǔ)償，可以顯著減少馬氏距離在次主向量空間的誤差。
(4)根據(jù)非對稱假設(shè)計(jì)算優(yōu)勢特征向量上的準(zhǔn)方差，準(zhǔn)方差表示參數(shù)在均值特征矢量兩側(cè)分布的離散程度，并描述了參數(shù)在均值特征矢量兩側(cè)分布的非對稱性。可以降低由于多變量正態(tài)分布假設(shè)導(dǎo)致的馬氏距離在優(yōu)勢主向量空間的誤差。
(5)采用上述計(jì)算得到的準(zhǔn)方差和修正后的特征值替換傳統(tǒng)馬氏距離計(jì)算中的相應(yīng)的特征值項(xiàng)，完成對馬氏距離計(jì)算的修正。此處同時(shí)考慮了次特征值誤差和優(yōu)勢主向量上非對稱分布的影響，可以顯著降低馬氏距離的計(jì)算誤差，從而顯著地提高識(shí)別的精度。
本發(fā)明的有益效果是本發(fā)明計(jì)算簡單，針對性和通用性好，識(shí)別時(shí)不需要任何額外的計(jì)算開銷，能夠更精確地刻畫實(shí)際樣本的分布情況，能顯著地提高識(shí)別的精度，滿足手寫體數(shù)字字符識(shí)別速度快，精度高的要求。
具體實(shí)施例方式
為了更好地理解本發(fā)明的技術(shù)方案，該部分將做進(jìn)一步詳細(xì)描述，并在最后給出一個(gè)實(shí)施例。
1)有限樣本集上的主向量分解①根據(jù)某類的M個(gè)訓(xùn)練樣本xk，k＝1，...，M，其中xk∈RN，計(jì)算均值矢量μ和協(xié)方差矩陣∑Xμ‾=1MΣk=1Mxk]]>ΣX=1MΣj=1M(xj-μ‾)(xj-μ‾)T]]>②協(xié)方差矩陣對角化。將協(xié)方差矩陣∑X被分解為特征值矩陣與特征向量矩陣的乘積∑X＝UDUT其中，U是特征向量矩陣，且UTU＝I，D是由特征值構(gòu)成的對角矩陣。λj和φj分別是協(xié)方差矩陣的第j個(gè)特征值和特征向量。
③以U為變換矩陣，將N維矢量X線性變換為N維矢量YY＝UTX變換后的協(xié)方差矩陣為∑Y＝UT∑XU＝D④對Y進(jìn)行D-1/2變換，將協(xié)方差矩陣變換為單位矩陣I。
Y＝D-1/2UTX＝(UD-1/2)TX∑Y＝D-1/2UT∑XUD-1/2＝D-1/2DD-1/2＝I變換矩陣UD-1/2稱為白化變換。變換矩陣D-1/2的目的是以 為比例因子改變主向量的尺度，該變換意味著在主向量上對樣本參數(shù)進(jìn)行規(guī)范化。
⑤計(jì)算白化變換后的距離測度d(x)=||(UD-1/2)T(x-μ‾)||=((UD-1/2)T(x-μ‾))T((UD-1/2)T(x-μ‾))=(x-μ‾)TUD-1/2UT(x-μ‾)=(x-μ‾)TUD-1UT(x-μ‾)=(x-μ‾)TΣx-1(x-μ‾)]]>上式表明，白化變換空間的距離實(shí)際上就是未知模式的特征矢量x與某類的均值矢量μ之間的馬氏距離，可以采用特征值-特征向量的方式表達(dá)如下d(x)=Σj=1N1λj(x-μ‾,φj)2]]>有時(shí)，某些類的協(xié)方差矩陣是奇異矩陣，因此，計(jì)算馬氏距離時(shí)，首先需要計(jì)算該協(xié)方差矩陣的偽逆矩陣。本質(zhì)上，采用上式計(jì)算馬氏距離將不可避免地遇到(x-μ，φj)2/(λj)＝0/0的情況。
2)本發(fā)明的次特征值的誤差補(bǔ)償欲完成次特征值的誤差補(bǔ)償，需進(jìn)行下列計(jì)算①選擇主特征值。根據(jù)下式選擇主特征值的個(gè)數(shù)k＝{n|(λ1+λ2+…+λn-1)/(λ1+λ2+…+λN)＜thr，(λ1+λ2+…+λn)/(λ1+λ2+…+λN)≥thr}其中，0＜thr≤1.0為主特征值選擇閾值。
②采用最小的主特征值λk替換其余N-k個(gè)次特征值λk+1，λk+2，...，λN，即，λi‾=λi,ifi≤kλk,ifi>k]]>③計(jì)算修改后的協(xié)方差矩陣∑X＝UDUT其中，D是修改后的特征值矩陣
D＝diag{λ1，λ2，...，λN}顯然∑X必定是非奇異矩陣。
④計(jì)算改進(jìn)的距離測度d‾(x)=(x-μ‾)TΣ‾X-1(x-μ‾)]]>也可以采用下列的特征值-特征向量表達(dá)方式d‾(x)=Σj=1N1λ‾j(x-μ‾,φj)2]]>上式從本質(zhì)上避免了計(jì)算時(shí)出現(xiàn)(x-μ，φj)2/(λj)＝0/0的情況。
3)本發(fā)明的非對稱分布為了描述非對稱分布，需進(jìn)行下列計(jì)算①定義矢量集合Sj+和Sj-:
Sj+={μ‾jl|μ‾jl≥0}]]>SJ-={μ‾jl|μ‾jl<0}]]>其中μ‾jl=(xi-μ‾,φj)]]>表示xi-μ(i＝1，2，...，M)在特征向量φj(j＝1，2，...，k)上的投影。
②計(jì)算準(zhǔn)方差(σj+)2和(σj-)2(σj+)2=1|Sj+|Σu∈Sj+u2]]>(σj-)2=1|Sj-|Σu∈Sj-u2]]>③采用非對稱模型刻畫選定的優(yōu)勢主向量上的參數(shù)分布，采用特征值-特征向量表達(dá)方式計(jì)算改進(jìn)后的馬氏距離d‾‾(x)=Σj=1N1σj(x-μ‾,φj)2]]>
其中，

以下進(jìn)一步提供本發(fā)明馬氏距離計(jì)算的實(shí)施例本發(fā)明在UCI手寫體數(shù)字字符集(C.Blake，E.Keogh and C.J.Merz.UCI機(jī)器學(xué)習(xí)數(shù)據(jù)庫.Irvine，CA加州大學(xué)信息與計(jì)算機(jī)科學(xué)系.1998)上進(jìn)行了實(shí)驗(yàn)。該數(shù)據(jù)庫共包含5620個(gè)字符樣本，將其中訓(xùn)練集中的3823個(gè)樣本用于訓(xùn)練，測試集中的其余1797個(gè)樣本用于測試。為減小圖像的尺寸，共計(jì)算8×8＝64個(gè)像素，其中每個(gè)像素值等于原圖像中4×4塊中各像素值之和?；谟?xùn)練集樣本計(jì)算10類(0-9)字符的次特征值補(bǔ)償值及優(yōu)勢主向量的非對稱分布參數(shù)(準(zhǔn)方差)。計(jì)算每一個(gè)測試樣本到所有類別均值矢量的改進(jìn)馬氏距離，用最小距離分類器進(jìn)行分類決策。本發(fā)明的方法在不同的thr值下進(jìn)行識(shí)別率測試，結(jié)果參見表1。表2出了不同thr取值條件下各類的k值(優(yōu)勢主向量的數(shù)量)。而且，本發(fā)明的方法與現(xiàn)有的一些其它方法進(jìn)行了識(shí)別性能比較，包括馬氏距離，采用歐氏距離為測度指標(biāo)的K-NN算法。比較實(shí)驗(yàn)的結(jié)果列于表3中。
表1中的識(shí)別率數(shù)據(jù)表明，本發(fā)明算法的識(shí)別性能隨補(bǔ)償閾值thr的變化而變化，當(dāng)thr＝0.97時(shí)，識(shí)別率達(dá)到最大值，98.39％。顯然，對應(yīng)于thr＝1.00的識(shí)別率等于采用馬氏距離的識(shí)別率。從表2容易看出，各類的優(yōu)勢主向量的個(gè)數(shù)隨thr變化，類別3，6，8的原始協(xié)方差矩陣是奇異矩陣，因?yàn)樗鼈兎?特征值的個(gè)數(shù)小于特征矢量的維數(shù)，因此，在計(jì)算輸入特征矢量到上述三類的馬氏距離時(shí)，需要采用它們各自協(xié)方差矩陣的偽逆矩陣。從表3可以看出，本發(fā)明改進(jìn)的馬氏距離的分類性能明顯優(yōu)于馬氏距離，而且超過采用歐氏距離為測度指標(biāo)的K-NN算法。最后應(yīng)該指出，在識(shí)別階段本發(fā)明的算法與其它方法相比，不需要額外的計(jì)算開銷。
表1不同thr條件下的識(shí)別率結(jié)果(％)


表2不同thr取值條件下各類的k值

表3不同算法的識(shí)別率比較(％)

權(quán)利要求
1.一種有限樣本集上特征值誤差補(bǔ)償及參數(shù)分布修正方法，其特征在于，以最小的主特征值替換次特征值，并采用非對稱模型描述特征矢量在優(yōu)勢主向量上的分布，分別用于減小次主向量空間和優(yōu)勢主向量空間導(dǎo)致的總體距離偏差來實(shí)現(xiàn)誤差補(bǔ)償及參數(shù)分布修正。
2.根據(jù)權(quán)利要求1所述的有限樣本集上特征值誤差補(bǔ)償及參數(shù)分布修正方法，其特征是，具體步驟如下(1)計(jì)算各類樣本的均值特征矢量和協(xié)方差矩陣；(2)對協(xié)方差矩陣進(jìn)行對角化；(3)根據(jù)設(shè)定的閾值分別選擇每類的主特征值，其余為次特征值，通過采用最小的主特征值替換所有的次特征值對次特征值進(jìn)行誤差補(bǔ)償；對應(yīng)于主特征值的特征向量為優(yōu)勢主向量，對應(yīng)于次特征值的特征向量為次主向量；(4)根據(jù)非對稱假設(shè)計(jì)算優(yōu)勢特征向量上的準(zhǔn)方差，準(zhǔn)方差表示參數(shù)在均值特征矢量兩側(cè)分布的離散程度，并描述了參數(shù)在均值特征矢量兩側(cè)分布的非對稱性；(5)采用上述計(jì)算得到的準(zhǔn)方差和修正后的特征值替換傳統(tǒng)馬氏距離計(jì)算中的相應(yīng)的特征值項(xiàng)，完成對馬氏距離計(jì)算的修正。
3.根據(jù)權(quán)利要求1所述的有限樣本集上特征值誤差補(bǔ)償及參數(shù)分布修正方法，其特征是，所述的步驟1中的均值特征矢量和協(xié)方差矩陣，這兩個(gè)參數(shù)描述樣本在特征矢量空間的分布狀況，是本發(fā)明進(jìn)行特征值誤差補(bǔ)償及參數(shù)分布修正的基礎(chǔ)。
4.根據(jù)權(quán)利要求2或者3所述的有限樣本集上特征值誤差補(bǔ)償及參數(shù)分布修正方法，其特征是，所述的步驟1中的均值特征矢量和協(xié)方差矩陣，均值特征矢量表示該類的質(zhì)心，協(xié)方差矩陣表示該類樣本分布的離散程度
5.根據(jù)權(quán)利要求1所述的有限樣本集上特征值誤差補(bǔ)償及參數(shù)分布修正方法，其特征是，所述的步驟2，通過PCA對描述數(shù)據(jù)的原坐標(biāo)系進(jìn)行正交變換，得到特征向量矩陣和特征值矩陣，有效地提取這些數(shù)據(jù)的結(jié)構(gòu)。
6.根據(jù)權(quán)利要求5所述的有限樣本集上特征值誤差補(bǔ)償及參數(shù)分布修正方法，其特征是，所述的特征向量矩陣表示描述數(shù)據(jù)的新坐標(biāo)系，描述數(shù)據(jù)的新坐標(biāo)值被稱為主向量，特征值則表示相應(yīng)主向量上參數(shù)分布的離散程度，誤差補(bǔ)償及參數(shù)分布修正是在主向量空間進(jìn)行的。
7.根據(jù)權(quán)利要求2所述的有限樣本集上特征值誤差補(bǔ)償及參數(shù)分布修正方法，其特征是，所述的步驟3，對由于有限樣本導(dǎo)致的次特征值誤差進(jìn)行補(bǔ)償，可以顯著減少馬氏距離在次主向量空間的誤差。
全文摘要
一種有限樣本集上特征值誤差補(bǔ)償及參數(shù)分布修正方法。以最小的主特征值替換次特征值，并采用非對稱模型描述特征矢量在優(yōu)勢主向量上的分布，分別用于減小次主向量空間和優(yōu)勢主向量空間導(dǎo)致的總體距離偏差來實(shí)現(xiàn)誤差補(bǔ)償及參數(shù)分布修正。本發(fā)明計(jì)算簡單，識(shí)別時(shí)不需要任何額外的計(jì)算開銷，能夠更精確地刻畫實(shí)際樣本的分布情況，能顯著地提高識(shí)別的精度。
文檔編號(hào)G06K9/62GK1674039SQ20051002492
公開日2005年9月28日 申請日期2005年4月7日 優(yōu)先權(quán)日2005年4月7日
發(fā)明者李國宏, 施鵬飛 申請人:上海交通大學(xué)