本發(fā)明隸屬于模式識別技術(shù)領(lǐng)域,具體地說,涉及一種基于核空間自解釋稀疏表示的分類器設(shè)計方法。
背景技術(shù):模式識別過程通常包含兩個階段,第一個階段是特征提取,另一個是構(gòu)造分類器和標(biāo)簽預(yù)測。分類器設(shè)計(ClassifierDesign)作為模式識別系統(tǒng)的一個重要環(huán)節(jié),一直以來都是模式識別領(lǐng)域研究的核心問題之一。目前,主要的分類器設(shè)計方法有以下幾種。1、支持向量機方法(英文:SupportVectorMachine)支持向量機方法是CorinnaCortes和Vapnik等于1995年首先提出來的,它旨在通過最大化類別間隔建立最優(yōu)分類面。該類方法在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢。然而,該類分類器只有少量的邊界點(即支持向量)參與到分類面建立,如果邊界點分布的位置不好,那么對于分類是十分不利的。2、基于稀疏表示的多類分類方法(英文:SparseRepresentationbasedClassifier)基于稀疏表示的多類分類方法是由J.Wright等人于2009年提出的,該分類方法首先將測試樣本在所有訓(xùn)練集上進行稀疏編碼,然后根據(jù)產(chǎn)生最小編碼誤差的類別決定分類結(jié)果。該分類方法在多類分類中取得了很大的成功,然而,該分類方法沒有訓(xùn)練的過程,直接將每類訓(xùn)練樣本構(gòu)造相應(yīng)子空間,并沒有考慮該分類樣本中每個個體對構(gòu)造子空間的貢獻,容易產(chǎn)生較大的擬合誤差。3、基于協(xié)同表示的多類分類方法(英文:CollaborativeRepresentationbasedClassifier)基于協(xié)同表示的多類分類方法是由zhang等人于2011年提出,該分類方法首先將測試樣本在所有訓(xùn)練集上進行協(xié)同表示,然后根據(jù)產(chǎn)生最小編碼誤差的類別決定分類結(jié)果。該分類方法在某些數(shù)據(jù)集上性能優(yōu)于基于稀疏表示的多類分類方法。同樣地,該分類方法沒有訓(xùn)練的過程,直接將每類訓(xùn)練樣本構(gòu)造相應(yīng)子空間,容易產(chǎn)生較大擬合誤差,導(dǎo)致分類性能不高。4、基于詞典學(xué)習(xí)的多類分類方法基于詞典學(xué)習(xí)的多類分類方法是由Yang等人于2010年提出,該分類方法彌補了傳統(tǒng)的基于稀疏表示的多類分類方法容易產(chǎn)生較大擬合誤差導(dǎo)致分類準(zhǔn)確率不高的問題,然而,該分類方法只能在歐式空間中進行,很難處理具有非線性結(jié)構(gòu)的數(shù)據(jù),使其使用范圍大大受限。由上可知,現(xiàn)有的分類器設(shè)計方法均存在擬合誤差比較大以及特征的非線性結(jié)構(gòu)缺失而導(dǎo)致分類精確度不高的問題。
技術(shù)實現(xiàn)要素:本發(fā)明針對現(xiàn)有分類器設(shè)計方法設(shè)計的分類器存在擬合誤差大、精確度不高的上述不足,提供一種基于核空間自解釋稀疏表示的分類器設(shè)計方法。一方面,本發(fā)明考慮了特征的非線性結(jié)構(gòu),能夠更加精確的對特征進行稀疏編碼,另一方面,本發(fā)明通過學(xué)習(xí)的方式訓(xùn)練詞典,有效地降低擬合誤差。從而大大提升分類器的性能。本發(fā)明的技術(shù)方案是:一種基于核空間自解釋稀疏表示的分類器設(shè)計方法,含有以下步驟:步驟一:設(shè)計分類器,其步驟為:(一)讀取訓(xùn)練樣本,訓(xùn)練樣本一共C類,定義X=[X1,X2,…,Xc,…,XC]∈RD×N表示訓(xùn)練樣本,D是人臉特征維度,N是訓(xùn)練樣本總的數(shù)目,X1,X2,…,Xc,…,XC分別表示第1,2,…,c,…,C類樣本,定義N1,N2,…,Nc,…,NC分別表示每類訓(xùn)練樣本數(shù)目,則N=N1+N2+…+Nc+…+NC;(二)對訓(xùn)練樣本進行二范數(shù)歸一化,得到歸一化的訓(xùn)練樣本;(三)依次取出訓(xùn)練樣本中的每一類,并對該類樣本訓(xùn)練詞典,訓(xùn)練詞典的過程為:(1)取出第c類樣本Xc,將Xc映射到核空間φ(Xc);(2)根據(jù)φ(Xc)訓(xùn)練基于稀疏編碼算法的詞典Bc,Bc表示第c類樣本學(xué)習(xí)到的詞典,該詞典的訓(xùn)練需要滿足約束條件,所述約束條件的目標(biāo)函數(shù)為:式中,α為稀疏編碼算法中稀疏項約束的懲罰系數(shù),Sc為第c類核空間訓(xùn)練樣本的稀疏表示矩陣,K為學(xué)習(xí)得到的詞典的大小,是一個權(quán)重矩陣,其每一列表示核空間樣本對構(gòu)造詞典中每個詞條的貢獻大小,詞典Bc=φ(Xc)Wc;(3)對步驟(2)中約束條件的目標(biāo)函數(shù)進行求解,即對公式(1)求解,其求解過程為:固定Wc,更新Sc;隨機產(chǎn)生矩陣Wc,將其帶入約束條件的目標(biāo)函數(shù),這時該目標(biāo)函數(shù)轉(zhuǎn)化成為一個l1范數(shù)正則化最小二乘問題,即目標(biāo)函數(shù)轉(zhuǎn)化為:上述公式(2)可以簡化為:κ(Xc,Xc)=<φ(Xc),φ(Xc)>為核函數(shù)。進一步把公式(3)分解成一系列子問題求解;針對Sc中的每一個元素進行求解,并剔除掉與求解無關(guān)的項,則公式(3)可以簡化為:根據(jù)拋物線理論,很容易求出公式(4)的解;由于每個樣本點是獨立的,每次求解Sc的一行,其求解公式如下:式中,E=Wc^Tκ(Xc,Xc)Wc遍歷Sc的每一列,完成Sc的一次更新;(4)固定步驟(3)中更新后的Sc,更新Wc,這時約束條件的目標(biāo)函數(shù)轉(zhuǎn)換為一個范數(shù)約束的最小二乘問題,即目標(biāo)函數(shù)轉(zhuǎn)化為:上述公式(6)采用拉格朗日乘子的方法求解,最終求得的解為:式中,F(xiàn)=ScScT,(5)交替迭代步驟(3)和步驟(4),最終得到最優(yōu)稀疏編碼詞典Bc=φ(Xc)Wc;(6)按照步驟(1)至(5)獲得每類樣本的最優(yōu)稀疏編碼詞典,將每類樣本得到的最優(yōu)稀疏編碼詞典放在一起,獲得詞典B=[B1,…,Bc,…,BC];步驟二:對樣本進行分類,其步驟為:(1)讀取待識別測試樣本的圖像特征,并對圖像特征進行二范數(shù)歸一化,定義y∈RD×1表示一幅待識別的測試樣本圖像特征;(2)將測試樣本圖像特征y映射到核空間φ(y);(3)使用步驟一中獲得的詞典B,對核空間φ(y)進行擬合,擬合函數(shù)為:式中s表示核空間中測試樣本圖像特征y的稀疏編碼;(4)步驟(3)中的擬合函數(shù)進行求解,求解結(jié)果為:式中,s=[s1,…,sc,…,sC];(5)求核空間φ(y)在每類樣本所構(gòu)成子空間的擬合誤差,用r(c)表示,其表達(dá)式為:(6)比較核空間φ(y)和每類樣本的擬合誤差,待識別圖像則屬于擬合誤差最小的那個類別。本發(fā)明的有益效果是:本發(fā)明結(jié)合核技巧和詞典學(xué)習(xí)方法,設(shè)計多類分類器,讀取訓(xùn)練樣本,將訓(xùn)練樣本進行非線性變換,變換到高維的核空間,然后在高維核空間對每一類訓(xùn)練樣本進行學(xué)習(xí),找出該類訓(xùn)練樣本中每個個體對于構(gòu)造該類訓(xùn)練樣本子空間所做的貢獻(即權(quán)重),該類訓(xùn)練樣本與權(quán)重矩陣的乘積構(gòu)成詞典,將所有類別的詞典依次排列構(gòu)成一個大的詞典矩陣;對測試樣本通過詞典矩陣獲得該測試樣本在核空間的稀疏編碼,即測試樣本在詞典矩陣的擬合系數(shù),用每一類的詞典及詞典所對應(yīng)的的稀疏編碼擬合測試樣本,并計算該擬合誤差;最后,擬合誤差最小的類即為測試樣本的類別,實現(xiàn)了對每個輸入測試樣本進行分類。與現(xiàn)有技術(shù)相比,一方面,本發(fā)明考慮了特征的非線性結(jié)構(gòu),能夠更加精確的對特征進行稀疏編碼,另一方面,本發(fā)明通過學(xué)習(xí)的方式訓(xùn)練詞典,有效地降低擬合誤差。從而大大提升分類器的性能。附圖說明圖1為本發(fā)明具體實施例設(shè)計分類器的流程圖。圖2為本發(fā)明具體實施例對樣本進行分類的流程圖。具體實施方式下面結(jié)合一個仿真實例并結(jié)合附圖對本發(fā)明作出進一步說明。一種基于核空間的分類集中稀疏表示的分類器設(shè)計方法,含有以下步驟:步驟一:設(shè)計分類器,其步驟為:(一)讀取訓(xùn)練樣本,訓(xùn)練樣本一共C類,定義X=[X1,X2,…,Xc,…,XC]∈RD×N表示訓(xùn)練樣本,D是人臉特征維度,N是訓(xùn)練樣本總的數(shù)目,X1,X2,…,Xc,…,XC分別表示第1,2,…,c,…,C類樣本,定義N1,N2,…,Nc,…,NC分別表示每類訓(xùn)練樣本數(shù)目,則N=N1+N2+…+Nc+…+NC;(二)對訓(xùn)練樣本進行二范數(shù)歸一化,得到歸一化的訓(xùn)練樣本;(三)依次取出訓(xùn)練樣本中的每一類,并對該類樣本訓(xùn)練詞典,訓(xùn)練詞典的過程為:(1)取出第c類樣本Xc,將Xc映射到核空間φ(Xc);(2)根據(jù)φ(Xc)訓(xùn)練基于稀疏編碼算法的詞典Bc,Bc表示第c類樣本學(xué)習(xí)到的詞典,該詞典的訓(xùn)練需要滿足約束條件,所述約束條件的目標(biāo)函數(shù)為:式中,α為稀疏編碼算法中稀疏項約束的懲罰系數(shù),Sc為第c類核空間訓(xùn)練樣本的稀疏表示矩陣,K為學(xué)習(xí)得到的詞典的大小,是一個權(quán)重矩陣,其每一列表示核空間樣本對構(gòu)造詞典中每個詞條的貢獻大小,詞典Bc=φ(Xc)Wc;(3)對步驟(2)中約束條件的目標(biāo)函數(shù)進行求解,即對公式(1)求解,其求解過程為:固定Wc,更新Sc;隨機產(chǎn)生矩陣Wc,將其帶入約束條件的目標(biāo)函數(shù),這時該目標(biāo)函數(shù)轉(zhuǎn)化成為一個范數(shù)正則化最小二乘問題,即目標(biāo)函數(shù)轉(zhuǎn)化為:上述公式(2)可以簡化為:κ(Xc,Xc)=<φ(Xc),φ(Xc)>為核函數(shù)。進一步把公式(3)分解成一系列子問題求解;針對Sc中的每一個元素進行求解,并剔除掉與求解無關(guān)的項,則公式(3)可以簡化為:根據(jù)拋物線理論,求出公式(4)的解;由于每個樣本點是獨立的,每次求解Sc的一行,其求解公式如下:式中,E=Wc^Tκ(Xc,Xc)Wc遍歷Sc的每一列,完成Sc的一次更新;(4)固定步驟(3)中更新后的Sc,更新Wc,這時約束條件的目標(biāo)函數(shù)轉(zhuǎn)換為一個范數(shù)約束的最小二乘問題,即目標(biāo)函數(shù)轉(zhuǎn)化為:上述公式(6)采用拉格朗日乘子的方法求解,最終求得的解為:式中,F(xiàn)=ScScT,(5)交替迭代步驟(3)和步驟(4),最終得到最優(yōu)稀疏編碼詞典Bc=φ(Xc)Wc;(6)按照步驟(1)至(5)獲得每類樣本的最優(yōu)稀疏編碼詞典,將每類樣本得到的最優(yōu)稀疏編碼詞典放在一起,獲得詞典B=[B1,…,Bc,…,BC];步驟二:對樣本進行分類,其步驟為:(1)讀取待識別測試樣本的圖像特征,并對圖像特征進行二范數(shù)歸一化,定義y∈RD×1表示一幅待識別的測試樣本圖像特征;(2)將測試樣本圖像特征y映射到核空間φ(y);(3)使用步驟一中獲得的詞典B,對核空間φ(y)進行擬合,擬合函數(shù)為:式中s表示核空間中測試樣本圖像特征y的稀疏編碼;(4)步驟(3)中的擬合函數(shù)進行求解,求解結(jié)果為:式中,s=[s1,…,sc,…,sC];(5)求核空間φ(y)在每類樣本所構(gòu)成子空間的擬合誤差,用r(c)表示,其表達(dá)式為:(6)比較核空間φ(y)和每類樣本的擬合誤差,待識別圖像則屬于擬合誤差最小的那個類別。通過本發(fā)明上述方法可以對每個輸入測試樣本進行分類,一方面本發(fā)明考慮了特征的非線性結(jié)構(gòu),能夠更加精確的對特征進行稀疏編碼,另一方面,本發(fā)明通過學(xué)習(xí)的方式訓(xùn)練詞典,有效地降低擬合誤差。從而大大提升分類器的性能。以上所舉實施例僅用為方便舉例說明本發(fā)明,并非對本發(fā)明保護范圍的限制,在本發(fā)明所述技術(shù)方案范疇,所屬技術(shù)領(lǐng)域的技術(shù)人員所作各種簡單變形與修飾,均應(yīng)包含在以上申請專利范圍中。