專利名稱：基于特征點矢量與紋理形變能量參數的人臉表情識別方法
技術領域：
本發(fā)明涉及一種人臉表情識別方法，尤其是基于特征點與特征塊的人臉表情特征提取方法，屬于人臉表情識別領域。
背景技術：
情感識別一直是人機交互領域中一個重要的研究方向。為了建立友好和諧的人機交互模式，大量研究者從語音，面部表情，文本等方面入手，期望以單?；蛘叨嗄Ｈ诤系姆椒▽崿F(xiàn)更好的人機交互效果。其中，面部表情識別是情感識別的一個重要研究方向，近些年也有大量優(yōu)秀的研究成果涌現(xiàn)，這無疑有力地推動了人機交互研究的快速發(fā)展。感謝圖像處理，模式識別等領域專家們的不懈努力，在計算機軟硬件技術飛速發(fā)展的大前提下，基于面部表情的自動化情感識別在最近些年已經取得了顯著的成果。Ekman和Friesen提出了高興、悲傷、驚訝、生氣、嫌惡、害怕這6種基本表情，并在1978年開發(fā)了面部動作編碼系 統(tǒng)。然而，真正意義上的依靠計算機的自動化人臉表情識別始于上世紀九十年代，許多基于Ekman和Friesen所提理論的研究成果相繼出現(xiàn)。當然，也有一些研究者提出6種情感以外的情感模式，這極大的豐富了人臉情感識別研究的內容。為了識別這6種基本情感，研究者們所提出的研究方向大致分為兩個主要的分支一個是基于外觀的方法，另一個就是基于特征的方法。目前所用到的識別特征主要有灰度特征、運動特征和頻率特征三種?；叶忍卣魇菑谋砬閳D像的灰度值上來處理，利用不同表情有不同灰度值來得到識別的依據；運動特征利用了不同表情情況下人臉的主要表情點的運動信息來進行識別；頻域特征主要是利用了表情圖像在不同的頻率分解下的差別，速度快是其顯著特點。具體的表情識別方法主要有三個一是整體識別法和局部識別法，二是形變提取法和運動提取法，三是幾何特征法和容貌特征法。當然，這三個發(fā)展方向不是嚴格獨立的，恰恰相反，是相互聯(lián)系，相互影響的，它們只是從不同側面來提取所需要的表情特征，都只是提供了一種分析表情的思路。在此，本發(fā)明著重于基于紋理與基于特征兩方面進行說明。目前在人臉表情識別領域，結合人臉結構特征與紋理信息，并且考慮個體差異對人臉表情識別結果的影響，這樣的方法還比較少，這在一定程度上制約了人臉表情識別研究的進一步發(fā)展。結合特征點矢量和紋理形變能量參數的人臉表情識別方法能夠很好的解決這一問題。因此，提出這樣一種有效的人臉表情識別方法具有很強的現(xiàn)實意義。

發(fā)明內容
本發(fā)明創(chuàng)新性地給出了特征點矢量與紋理形變能量參數的概念，提出一種基于兩者結合的人臉表情識別方法。本發(fā)明的主要內容為對人臉表情樣本進行特征點定位,根據選取的特征點計算特征點矢量與紋理形變能量參數，然后通過RBF神經網絡訓練學習，完成七種人臉表情(高興、悲傷、驚訝、生氣、嫌惡、害怕、中性)識別。該方法的具體步驟如下
步驟I :利用OPENCV的AAM工具對人臉表情序列始端的中性表情和末端的驚訝表情(任為六種基本表情之一，以驚訝為例說明)分別進行特征點定位。步驟2 :將選取的特征點構成特征點矢量。矢量有大小和方向，為適應人臉表情識另|J，本發(fā)明將特征點矢量分為特征點之間的歐氏距離d (代表大小)和連線的夾角α (代表方向)兩部分。根據d與α計算特征點之間的距離系數比^，去掉冗余部分匕，得到kd_final。同理可以得到k α _final。步驟3 :根據特征點確立特征塊，計算紋理形變能量系數矩陣，再經過PCA，最終得
到紋理形變能量參數ks_final。步驟4 :將最終的特征輸入，即kfinal=kd_final+ka_final+ks_final作為RBF神經網絡的訓練數據，最終實現(xiàn)人臉表情識別。本發(fā)明提供的人臉表情識別方法，其優(yōu)點和積極效果在于 I該方法基于人臉結構特征與紋理信息相結合的角度進行人臉表情識別。2該方法考慮不同個體之間的差異，解決了個性信息，光照，小范圍頭部姿勢等因素對人臉表情識別的影響。


圖I人臉表情識別系統(tǒng)框2特征點定位3紋理形變能量參數獲取4RBF神經網絡結構圖
具體實施例方式本發(fā)明的基本思想是通過AAM對人臉特征點進行定位，根據選取所需的26個特征點，計算特征點向量與紋理形變能量參數并進行整合，最后通過RBF神經網絡實現(xiàn)人臉表情(高興、悲傷、驚訝、生氣、嫌惡、害怕、中性)識別的目的。根據以上思想，本發(fā)明的系統(tǒng)結構框圖如圖I所示。為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖，具體闡述本發(fā)明的實施方式。應當理解，此處所描述的具體實例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。I、在獲取特征點矢量與特征塊之前，利用AAM對人臉表情序列始端的中性表情和末端的驚訝表情(任為六種基本表情之一，以驚訝為例說明)分別進行特征點定位，其中AAM工具來源于OPENCV軟件包。特征點定位后，本發(fā)明選取其中26點作為最終的特征點，具體位置如圖2所示，具體說明如下。
權利要求
1.基于特征點矢量與紋理形變能量參數的人臉表情識別方法，其主要特征在于 步驟I :利用OPENCV的AAM工具對人臉表情序列始端的中性表情和末端的驚訝表情(任為六種基本表情之一，以驚訝為例說明)分別進行特征點定位； 步驟2 :將選取的特征點構成特征點矢量，為適應人臉表情識別，本發(fā)明將特征點矢量分為特征點之間的歐氏距離d (代表大小)和連線的夾角α (代表方向)兩部分，然后根據d與α計算特征點之間的距離系數比^，去掉冗余部分匕，得到kd_final，同理可以得到k a -final步驟3 :根據特征點確立特征塊，計算紋理形變能量系數矩陣，再經過主成分分析(PCA),最終得到紋理形變能量參數ks_final ； 步驟4 :將最終的輸入特征，即kfinal=kd_final+ka_final+ks_final作為RBF神經網絡的訓練數據，最終實現(xiàn)人臉表情識別。
2.根據權利要求I所述方法，其步驟一中的主要特征為最后選取的52個特征點記為Pfture Q = 1,2,3,……26)與Pfupris.1, (i = 1,2,3.......26);。
3.根據權利要求I所述方法，其步驟二中的主要特征為計算特征點之間的距離和，特征點連線的夾角，然后對所得距離與夾角進行標準化，即-Jiprise /dffture Jiprise Jdfture，再將所有表情條件下兩個比值不會發(fā)生變化或者變化很小的冗余特征去除，最終參與后續(xù)訓練分類實驗的特征輸入記為kd_final和ka_final。
4.根據權利要求I所述方法，其步驟三中的主要特征為參與計算的兩個特征塊記為匕，16，9，2和F3,1(U3，6 (其中下標表示特征點標號)，對特征塊進行大小調整后，本發(fā)明對特征塊進行傅里葉變換；隨后，將得到的驚訝與中性頻譜圖相比，則得到比例系數矩陣，再轉化為系數向量；最后，系數向量組合后再進行PCA，得到紋理形變能量參數，記為ks_final。
全文摘要
本發(fā)明提出了一種基于特征點矢量與紋理形變能量參數的人臉表情識別方法，概括為1、利用OPENCV的AAM工具對人臉表情序列始端的中性表情和末端表情分別進行特征點定位；2、將選取的26個特征點構成特征點矢量，為適應人臉表情識別，本發(fā)明將特征點矢量分為特征點之間的歐氏距離d(代表大小)和連線的夾角α(代表方向)兩部分。根據d與α計算特征點之間的距離系數比kd，去掉冗余部分kl，得到kd-final。同理可以得到kα-final；3、根據特征點確立特征塊，計算紋理形變能量系數矩陣，再經過PCA，最終得到紋理形變能量參數ks-final；4、將最終的特征輸入，即kfinal=kd-final+kα-final+ks-final作為RBF神經網絡的訓練數據，最終實現(xiàn)人臉表情識別。
文檔編號G06K9/00GK102945361SQ20121039389
公開日2013年2月27日 申請日期2012年10月17日 優(yōu)先權日2012年10月17日
發(fā)明者毛峽, 易積政, 薛雨麗, 陳立江, 王曉侃 申請人:北京航空航天大學