一種基于模糊訓(xùn)練樣本的半監(jiān)督學(xué)習(xí)人臉表情識(shí)別方法
【專利摘要】本發(fā)明公開了一種基于模糊訓(xùn)練樣本的半監(jiān)督學(xué)習(xí)人臉表情識(shí)別方法，本發(fā)明首先對(duì)人臉數(shù)據(jù)庫數(shù)據(jù)預(yù)處理，然后使用改進(jìn)的SVM算法進(jìn)行人臉表情識(shí)別，最后對(duì)未知表情圖像進(jìn)行識(shí)別。本發(fā)明在使用相同數(shù)量的有標(biāo)記樣本時(shí)通過加入大量無標(biāo)記樣本將表情識(shí)別率提高3％～7％；在使用少量標(biāo)記樣本情況下，該方法通過STSVM算法將識(shí)別率提升至與使用大量標(biāo)記樣本得到的SVM分類器識(shí)別率相當(dāng)?shù)乃健?br>【專利說明】
一種基于模糊訓(xùn)練樣本的半監(jiān)督學(xué)習(xí)人臉表情識(shí)別方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及圖像處理及模式識(shí)別技術(shù)領(lǐng)域，尤其涉及一種二維人臉表情識(shí)別方向 中的半監(jiān)督式學(xué)習(xí)自訓(xùn)練支持向量機(jī)分類方法。
【背景技術(shù)】
[0002] 人臉表情識(shí)別一般包括三個(gè)步驟:臉部圖像獲取、特征提取、臉部表情分類。在做 表情識(shí)別分類時(shí)，某一個(gè)樣本可能同時(shí)具有憤怒和悲傷特征，進(jìn)行分類時(shí)，分類器的性能會(huì) 受到一定的影響。同時(shí)實(shí)際生活中存在著大量的具有模糊性的無標(biāo)記數(shù)據(jù)，而傳統(tǒng)的監(jiān)督 學(xué)習(xí)不能很好的利用這些數(shù)據(jù)。本發(fā)明結(jié)合半監(jiān)督學(xué)習(xí)算法，通過利用大量的無標(biāo)注數(shù)據(jù)， 實(shí)現(xiàn)對(duì)模糊樣本的更精確的分類。
[0003] 表情特征提取方式中，基于主成分分析(PCA)的分類方法能夠較好地處理高維度 的數(shù)據(jù)，但是在運(yùn)算過程中計(jì)算量較大，且可分性較差;基于臉部關(guān)鍵點(diǎn)的特征提取具有對(duì) 光線等不敏感的特性，但缺乏對(duì)細(xì)節(jié)的描述;而本發(fā)明使用的基于紋理的特征提取(如LBP (局部二值模式(Local Binary Pattern))特征)就能夠較好地獲取表情圖像的細(xì)節(jié)特征， 如臉部的形變。
[0004] 目前表情分類器主要有線性分類器、神經(jīng)網(wǎng)絡(luò)分類器、隱馬爾可夫模型、支持向量 機(jī)等分類識(shí)別方法。線性分類器假設(shè)不同類別的模式空間線性可分，但需要足夠的有標(biāo)記 訓(xùn)練數(shù)據(jù)來得到完備的模型，而實(shí)際中有標(biāo)記的數(shù)據(jù)遠(yuǎn)遠(yuǎn)少于無標(biāo)記的數(shù)據(jù)，在有標(biāo)記樣 本較少時(shí)，分類正確率會(huì)明顯降低;神經(jīng)網(wǎng)絡(luò)分類器將人臉特征的坐標(biāo)位置和其相應(yīng)的灰 度值作為神經(jīng)網(wǎng)絡(luò)的輸入，可以提供復(fù)雜的類間分界面，但需要大量的訓(xùn)練樣本和訓(xùn)練時(shí) 間，不能滿足實(shí)時(shí)處理的要求;隱馬爾可夫模型適用于動(dòng)態(tài)過程時(shí)間序列建模，能夠比較精 確地描繪表情的變化本質(zhì)和動(dòng)態(tài)性能，但不適合本專利的靜態(tài)識(shí)別應(yīng)用場(chǎng)景;而支持向量 機(jī)分類方法泛化能力很強(qiáng)，在解決小樣本、非線性及高維模式識(shí)別問題方面具有明顯優(yōu)勢(shì)。
[0005] 本發(fā)明的創(chuàng)新之處在于根據(jù)傳統(tǒng)支持向量機(jī)分類出的無標(biāo)記訓(xùn)練樣本結(jié)果的置 信度，將部分置信度高的無標(biāo)記訓(xùn)練樣本加入到監(jiān)督學(xué)習(xí)有標(biāo)記訓(xùn)練樣本集中，從而增加 了訓(xùn)練樣本數(shù)量，通過自訓(xùn)練算法得到自訓(xùn)練支持向量機(jī)分類器，進(jìn)而提升了對(duì)無標(biāo)記測(cè) 試樣本表情識(shí)別的正確率。與傳統(tǒng)的監(jiān)督學(xué)習(xí)表情分類器相比，該表情分類器擁有更好的 識(shí)別性能。實(shí)驗(yàn)結(jié)果表明，該表情識(shí)別方法在使用相同數(shù)量的有標(biāo)記樣本時(shí)通過加入大量 無標(biāo)記樣本將表情識(shí)別率提高3 %~7 % ;在使用少量標(biāo)記樣本情況下，該方法通過STSVM方 法將識(shí)別率提升至與使用大量標(biāo)記樣本得到的SVM分類器識(shí)別率相當(dāng)?shù)乃?。本發(fā)明在訓(xùn) 練數(shù)據(jù)或計(jì)算資源有限的應(yīng)用場(chǎng)景中能夠提供與大量訓(xùn)練數(shù)據(jù)輸入的表情識(shí)別方法相同 甚至更高的識(shí)別率，具有很高的實(shí)用價(jià)值。
[0006] 在未來，許多與臉部表情自動(dòng)識(shí)別相關(guān)的應(yīng)用會(huì)展現(xiàn)出來，比如機(jī)器人、圖像處 理、視頻索引、虛擬現(xiàn)實(shí)、心理學(xué)研究、臉部圖像壓縮和臉部動(dòng)態(tài)分析等。本發(fā)明提出的人臉 表情識(shí)別技術(shù)具有很重要的現(xiàn)實(shí)意義。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的在于針對(duì)目前二維人臉表情識(shí)別領(lǐng)域內(nèi)現(xiàn)有技術(shù)需要大量有標(biāo)記 訓(xùn)練數(shù)據(jù)，而實(shí)際中存在的大量無標(biāo)記表情圖像數(shù)據(jù)無法利用的問題，提供一種基于模糊 訓(xùn)練樣本的半監(jiān)督學(xué)習(xí)人臉表情識(shí)別方法，該方法能夠在訓(xùn)練數(shù)據(jù)不足時(shí)有效提高人臉表 情的識(shí)別率。
[0008] 本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：一種基于模糊訓(xùn)練樣本的半監(jiān)督學(xué) 習(xí)人臉表情識(shí)別方法，該方法包括以下步驟：
[0009] (1)人臉數(shù)據(jù)庫數(shù)據(jù)預(yù)處理，具體包括以下子步驟：
[0010] (1.1)人臉圖像按表情類別預(yù)分類:使用卡耐基梅隆大學(xué)CK+人臉表情數(shù)據(jù)庫，選 取有標(biāo)記的表情圖像，按照6類表情名稱(高興、驚訝、悲傷、生氣、厭惡、恐懼)對(duì)應(yīng)放在6個(gè) 文件夾下；
[0011] (1.2)圖像數(shù)據(jù)分為訓(xùn)練集和測(cè)試集:具體方法為每次從6類表情中分別選出i張， 共計(jì)6i個(gè)樣本作為有標(biāo)記訓(xùn)練集，每類中選取j張，共計(jì)6 j個(gè)樣本作為無標(biāo)記訓(xùn)練集，其余 樣本作為測(cè)試集；
[0012] (1.3)讀取訓(xùn)練集和測(cè)試集中的圖像數(shù)據(jù)進(jìn)行人臉檢測(cè)，提取人臉后計(jì)算局部二 值模式(Local Binary Pattern,LBP)特征:LBP定義在3X3像素鄰域內(nèi)，以鄰域中心像素值 為閾值，將相鄰8個(gè)像素的灰度值與其進(jìn)行比較，若大于中心像素值，則該像素點(diǎn)的位置被 標(biāo)記為1，否則為0。這樣，3X3鄰域內(nèi)的8個(gè)點(diǎn)經(jīng)比較可產(chǎn)生8位二進(jìn)制數(shù)，即得到該鄰域中 心像素點(diǎn)的LBP值，并用這個(gè)值來反映該區(qū)域的紋理信息。鄰域中心點(diǎn)LBP特征值計(jì)算方法：
[0014] (1.4)對(duì)三個(gè)樣本集的LBP特征進(jìn)行直方圖統(tǒng)計(jì)：圖像提取LBP特征之后，可以得到 一系列0~255之間的值，通過對(duì)其進(jìn)行直方統(tǒng)計(jì)，可以得到相應(yīng)的LBP特征向量，每個(gè)樣本 的特征向量為IX 256維；
[0015] (2)使用改進(jìn)的SVM算法進(jìn)行人臉表情識(shí)別，具體包括以下子步驟：
[0016] (2.1)表情數(shù)據(jù)二分類:將6種表情分成兩類，每次選取其中一種表情作為一類，其 余五種作為另一類，"其他表情"。共進(jìn)行6次二分類。對(duì)每一類表情重復(fù)以下步驟；
[0017] (2.2)對(duì)有標(biāo)記的訓(xùn)練集和測(cè)試集進(jìn)行標(biāo)注，標(biāo)簽為+1或-1，將無標(biāo)記的訓(xùn)練集樣 本標(biāo)簽全部標(biāo)注為0。
[0018] (2.3)輸入有標(biāo)記訓(xùn)練集，計(jì)算并輸出有標(biāo)記訓(xùn)練集的SVM模型：
[0019] (2.3.1)規(guī)范化訓(xùn)練樣本，消除奇異樣本數(shù)據(jù)對(duì)結(jié)果的影響：對(duì)有標(biāo)記訓(xùn)練集256 維LBP特征中的特征值進(jìn)行縮放，縮放目標(biāo)區(qū)間為[-1，1 ]，方法為得到每維數(shù)據(jù)的最大值 max和最小值mi η，對(duì)于[m i η，max ]中的任意值va 1 ue，縮放的計(jì)算公式為，保 存縮放結(jié)果和記錄了每維數(shù)據(jù)最大值和最小值的規(guī)范化參數(shù)Range;
[0020] (2.3.2)構(gòu)造 SVM-階軟間隔分類器：
[0021] g(x) =wTx+b = 0
[0022] 其中，x是輸入訓(xùn)練樣本的向量表示，g(x)是以w為法向量以b為平移項(xiàng)的分類超平 面。為了減少離群點(diǎn)對(duì)整個(gè)分類器的影響，引入松弛變量ξ和懲罰因子C，把損失加入到目標(biāo) 函數(shù)里，使間隔最大化，優(yōu)化問題：
[0024]限制條件為yi · (wT · Xi+b)彡l_|i，i = l，2,3, · · ·，η，其中yiG {-1 , + 1}是樣本標(biāo) 簽。通過拉格朗日對(duì)偶變換后，上式轉(zhuǎn)化為一個(gè)凸二次規(guī)劃問題求解：
[0026]
，其中α為拉格 朗日乘子；
[0027] (2.3.3)選用RBF核函數(shù):核函數(shù)的本質(zhì)是定義了高維空間中兩個(gè)向量的內(nèi)積。通 過RBF核函數(shù)將有標(biāo)記訓(xùn)練集的數(shù)據(jù)映射到高維空間，使數(shù)據(jù)能夠在高維空間進(jìn)行線性分 類。RBF核函數(shù)定義如下：
[0028] K(xi,xJ) = exp(~^|x; -χ^) = φ{(diào)χ?)1 φ{(diào)χ^
[0029] 其中Xl，Xj是兩個(gè)低維空間里的向量，在本發(fā)明中指某張表情圖像的LBP特征向量， γ是核參數(shù)，步驟(2.3.2)中的凸二次優(yōu)化問題變?yōu)椋?br>[0031；
，其中α為拉格 朗日乘子；
[0032] (2.3.4)交叉驗(yàn)證尋找最優(yōu)參數(shù):對(duì)歸一化的有標(biāo)記訓(xùn)練數(shù)據(jù)的LBP直方圖統(tǒng)計(jì) 集，取不同的松弛變量C和參數(shù)γ進(jìn)行訓(xùn)練，交叉驗(yàn)證得到識(shí)別率，取識(shí)別率最高時(shí)對(duì)應(yīng)的C 和γ，訓(xùn)練得到SVM模型。
[0033] (2.4)根據(jù)有標(biāo)記訓(xùn)練集規(guī)范化參數(shù)Range對(duì)測(cè)試集LBP特征值進(jìn)行縮放，通過有 標(biāo)記訓(xùn)練集輸出的SVM模型對(duì)規(guī)范化的無標(biāo)記訓(xùn)練集進(jìn)行分類預(yù)測(cè)；
[0034] (2.5)通過核函數(shù)和超平面參數(shù)計(jì)算無標(biāo)記訓(xùn)練集中每一個(gè)樣本到SVM模型中超 平面的距離，得到距離集。對(duì)距離集中的數(shù)據(jù)取絕對(duì)值，并降序排序；
[0035] ( 2.7 )引入自訓(xùn)練樣本置信度的分割參數(shù)Part i t ion，取值范圍：0~1。根據(jù) Partition參數(shù)將距離集分成兩部分，取置信度高也即距離數(shù)值大的第一部分距離集，并將 與之對(duì)應(yīng)的無標(biāo)記訓(xùn)練集中的樣本及其預(yù)測(cè)標(biāo)簽取出，加入到有標(biāo)記訓(xùn)練集中；
[0036] (2.8)輸入更新的有標(biāo)記訓(xùn)練集和無測(cè)試集的LBP特征，進(jìn)行步驟(2.3)重新計(jì)算 SVM模型，輸出自訓(xùn)練SVM模型(STSVM);
[0037] (2.9)對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，并將預(yù)測(cè)結(jié)果與測(cè)試集中的樣本標(biāo)簽進(jìn)行比較，通過混 淆矩陣對(duì)識(shí)別率進(jìn)行分析。
[0038] (2.10)對(duì)1，」，？&^^1〇11參數(shù)分別選取不同的值進(jìn)行循環(huán)計(jì)算，得到識(shí)別正確率 最高時(shí)對(duì)應(yīng)的STSVM模型和更新后有標(biāo)記訓(xùn)練集的Range參數(shù)，并保存6個(gè)二分類STSVM模型 的識(shí)別率作為分類置信度；
[0039] (3)對(duì)未知表情圖像進(jìn)行識(shí)別，具體包括以下子步驟：
[0040] (3.1)未知表情圖像的獲取和預(yù)處理:相機(jī)或攝像頭拍攝的人臉圖片轉(zhuǎn)為8位灰度 圖，提取人臉，計(jì)算LBP特征，生成1 X 256維特征向量。根據(jù)STSVM模型中更新的有標(biāo)記訓(xùn)練 集的Range參數(shù)對(duì)未知表情圖像的LBP特征進(jìn)行規(guī)范化處理；
[0041] (3.2)將縮放結(jié)果輸入6個(gè)二分類STSVM模型中，如果6個(gè)結(jié)果中，有一個(gè)被分類到 某一表情A下，其余5個(gè)結(jié)果是"其他表情"，則返回表情A;如果6個(gè)結(jié)果均被分為"其他表情" 或有超過一個(gè)結(jié)果被分類到某一表情下，則通過核函數(shù)和超平面參數(shù)計(jì)算未知表情樣本到 6個(gè)二分類STSVM模型中超平面的距離，得到6個(gè)距離作為分類結(jié)果置信度，選擇最大距離對(duì) 應(yīng)的分類結(jié)果返回。
[0042] 本發(fā)明的有益效果是，本發(fā)明采用支持向量機(jī)分類器通過自訓(xùn)練方式，將無標(biāo)記 數(shù)據(jù)應(yīng)用于算法優(yōu)化，提高了識(shí)別正確率。本發(fā)明使用支持向量機(jī)分類器對(duì)無標(biāo)記的表情 樣本進(jìn)行預(yù)測(cè)。支持向量機(jī)(Support Vector Machine，SVM)是一種通過尋找能最好地將訓(xùn) 練樣本分開的超平面來預(yù)測(cè)新樣本標(biāo)簽的算法。本發(fā)明創(chuàng)新地使用SVM算法，提出自訓(xùn)練 SVM(Self-Training-based SVM，STSVM)人臉表情分類方法。根據(jù)傳統(tǒng)SVM分類出的無標(biāo)記 訓(xùn)練樣本結(jié)果的置信度，將部分置信度高的無標(biāo)記訓(xùn)練樣本加入到監(jiān)督學(xué)習(xí)有標(biāo)記訓(xùn)練樣 本集中，通過自訓(xùn)練算法得到STSVM分類器，最后實(shí)現(xiàn)對(duì)無標(biāo)記測(cè)試樣本中表情標(biāo)簽的預(yù) 測(cè)。與傳統(tǒng)的監(jiān)督學(xué)習(xí)表情分類器相比，該表情分類器擁有更好的識(shí)別性能。實(shí)驗(yàn)結(jié)果表 明，該表情識(shí)別方法在使用相同數(shù)量的有標(biāo)記樣本時(shí)通過加入大量無標(biāo)記樣本將表情識(shí)別 率提高3 %~7 % ;在使用少量標(biāo)記樣本情況下，該方法通過STSVM算法將識(shí)別率提升至與使 用大量標(biāo)記樣本得到的SVM分類器識(shí)別率相當(dāng)?shù)乃健?br>【附圖說明】
[0043]圖1為本發(fā)明方法的流程圖。
【具體實(shí)施方式】
[0044]下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。
[0045] 如圖1所示，本發(fā)明一種基于模糊訓(xùn)練樣本的半監(jiān)督學(xué)習(xí)人臉表情識(shí)別方法，該方 法包括以下步驟：
[0046] (1)人臉數(shù)據(jù)庫數(shù)據(jù)預(yù)處理，具體包括以下子步驟：
[0047] (1.1)人臉圖像按表情類別預(yù)分類:使用卡耐基梅隆大學(xué)CK+人臉表情數(shù)據(jù)庫，選 取有標(biāo)記的表情圖像，按照6類表情名稱(高興、驚訝、悲傷、生氣、厭惡、恐懼)對(duì)應(yīng)放在6個(gè) 文件夾下；
[0048] (1.2)圖像數(shù)據(jù)分為訓(xùn)練集和測(cè)試集:具體方法為每次從6類表情中分別選出i張， 共計(jì)6i個(gè)樣本作為有標(biāo)記訓(xùn)練集，每類中選取j張，共計(jì)6 j個(gè)樣本作為無標(biāo)記訓(xùn)練集，其余 樣本作為測(cè)試集；
[0049] (1.3)讀取訓(xùn)練集和測(cè)試集中的圖像數(shù)據(jù)進(jìn)行人臉檢測(cè)，提取人臉后計(jì)算局部二 值模式(Local Binary Pattern,LBP)特征:LBP定義在3X3像素鄰域內(nèi)，以鄰域中心像素值 為閾值，將相鄰8個(gè)像素的灰度值與其進(jìn)行比較，若大于中心像素值，則該像素點(diǎn)的位置被 標(biāo)記為1，否則為0。這樣，3X3鄰域內(nèi)的8個(gè)點(diǎn)經(jīng)比較可產(chǎn)生8位二進(jìn)制數(shù)，即得到該鄰域中 心像素點(diǎn)的LBP值，并用這個(gè)值來反映該區(qū)域的紋理信息。鄰域中心點(diǎn)LBP特征值計(jì)算方法：
[0051 ] (1.4)對(duì)三個(gè)樣本集的LBP特征進(jìn)行直方圖統(tǒng)計(jì)：圖像提取LBP特征之后，可以得到 一系列0~255之間的值，通過對(duì)其進(jìn)行直方統(tǒng)計(jì)，可以得到相應(yīng)的LBP特征向量，每個(gè)樣本 的特征向量為IX 256維；
[0052] (2)使用改進(jìn)的SVM算法進(jìn)行人臉表情識(shí)別，具體包括以下子步驟：
[0053] (2.1)表情數(shù)據(jù)二分類:將6種表情分成兩類，每次選取其中一種表情作為一類，其 余五種作為另一類，"其他表情"。共進(jìn)行6次二分類。對(duì)每一類表情重復(fù)以下步驟；
[0054] (2.2)對(duì)有標(biāo)記的訓(xùn)練集和測(cè)試集進(jìn)行標(biāo)注，標(biāo)簽為+1或-1，將無標(biāo)記的訓(xùn)練集樣 本標(biāo)簽全部標(biāo)注為0。
[0055] (2.3)輸入有標(biāo)記訓(xùn)練集，計(jì)算并輸出有標(biāo)記訓(xùn)練集的SVM模型：
[0056] (2.3.1)規(guī)范化訓(xùn)練樣本，消除奇異樣本數(shù)據(jù)對(duì)結(jié)果的影響：對(duì)有標(biāo)記訓(xùn)練集256 維LBP特征中的特征值進(jìn)行縮放，縮放目標(biāo)區(qū)間為[-1，1 ]，方法為得到每維數(shù)據(jù)的最大值
max和最小值min，對(duì)于[min, max]中的任意值value，縮放的計(jì)算公式為 存縮放結(jié)果和記錄了每維數(shù)據(jù)最大值和最小值的規(guī)范化參數(shù)Range;
[0057] (2.3.2)構(gòu)造 SVM-階軟間隔分類器：
[0058] g(x) =wTx+b = 0
[0059] 其中，x是輸入訓(xùn)練樣本的向量表示，g(x)是以w為法向量以b為平移項(xiàng)的分類超平 面。為了減少離群點(diǎn)對(duì)整個(gè)分類器的影響，引入松弛變量ξ和懲罰因子C，把損失加入到目標(biāo) 函數(shù)里，使間隔最大化，優(yōu)化問題：
[0061]限制條件為yi · (wT · Xi+b)彡l_|i，i = l，2,3, · · ·，η，其中yiG {-1 , + 1}是樣本標(biāo) 簽。通過拉格朗日對(duì)偶變換后，上式轉(zhuǎn)化為一個(gè)凸二次規(guī)劃問題求解：
[0063]
，其中α為拉格 朗日乘子；
[0064] (2.3.3)選用RBF核函數(shù):核函數(shù)的本質(zhì)是定義了高維空間中兩個(gè)向量的內(nèi)積。通 過RBF核函數(shù)將有標(biāo)記訓(xùn)練集的數(shù)據(jù)映射到高維空間，使數(shù)據(jù)能夠在高維空間進(jìn)行線性分 類。RBF核函數(shù)定義如下：
[0065] K{xi,xj) = exp(-f| xt -1") = φ(χ{ f (piXj)
[0066] 其中Xl，Xj是兩個(gè)低維空間里的向量，在本發(fā)明中指某張表情圖像的LBP特征向量， γ是核參數(shù)，步驟(2.3.2)中的凸二次優(yōu)化問題變?yōu)椋?br>[0068]
其中α為拉格 朗日乘子；
[0069] (2.3.4)交叉驗(yàn)證尋找最優(yōu)參數(shù):對(duì)歸一化的有標(biāo)記訓(xùn)練數(shù)據(jù)的LBP直方圖統(tǒng)計(jì) 集，取不同的松弛變量C和參數(shù)γ進(jìn)行訓(xùn)練，交叉驗(yàn)證得到識(shí)別率，取識(shí)別率最高時(shí)對(duì)應(yīng)的C 和γ，訓(xùn)練得到SVM模型。
[0070] (2.4)根據(jù)有標(biāo)記訓(xùn)練集規(guī)范化參數(shù)Range對(duì)測(cè)試集LBP特征值進(jìn)行縮放，通過有 標(biāo)記訓(xùn)練集輸出的SVM模型對(duì)規(guī)范化的無標(biāo)記訓(xùn)練集進(jìn)行分類預(yù)測(cè)；
[0071] (2.5)通過核函數(shù)和超平面參數(shù)計(jì)算無標(biāo)記訓(xùn)練集中每一個(gè)樣本到SVM模型中超 平面的距離，得到距離集。對(duì)距離集中的數(shù)據(jù)取絕對(duì)值，并降序排序；
[0072] (2.7)引入自訓(xùn)練樣本置信度的分割參數(shù)Partition，取值范圍：0~1。根據(jù) Partition參數(shù)將距離集分成兩部分，取置信度高也即距離數(shù)值大的第一部分距離集，并將 與之對(duì)應(yīng)的無標(biāo)記訓(xùn)練集中的樣本及其預(yù)測(cè)標(biāo)簽取出，加入到有標(biāo)記訓(xùn)練集中；
[0073] (2.8)輸入更新的有標(biāo)記訓(xùn)練集和無測(cè)試集的LBP特征，進(jìn)行步驟(2.3)重新計(jì)算 SVM模型，輸出自訓(xùn)練SVM模型(STSVM);
[0074] (2.9)對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，并將預(yù)測(cè)結(jié)果與測(cè)試集中的樣本標(biāo)簽進(jìn)行比較，通過混 淆矩陣對(duì)識(shí)別率進(jìn)行分析。
[0075] (2.10)對(duì)1，」，？&^^1〇11參數(shù)分別選取不同的值進(jìn)行循環(huán)計(jì)算，得到識(shí)別正確率 最高時(shí)對(duì)應(yīng)的STSVM模型和更新后有標(biāo)記訓(xùn)練集的Range參數(shù)，并保存6個(gè)二分類STSVM模型 的識(shí)別率作為分類置信度；
[0076] (3)對(duì)未知表情圖像進(jìn)行識(shí)別，具體包括以下子步驟：
[0077] (3.1)未知表情圖像的獲取和預(yù)處理:相機(jī)或攝像頭拍攝的人臉圖片轉(zhuǎn)為8位灰度 圖，提取人臉，計(jì)算LBP特征，生成1 X 256維特征向量。根據(jù)STSVM模型中更新的有標(biāo)記訓(xùn)練 集的Range參數(shù)對(duì)未知表情圖像的LBP特征進(jìn)行規(guī)范化處理；
[0078] (3.2)將縮放結(jié)果輸入6個(gè)二分類STSVM模型中，如果6個(gè)結(jié)果中，有一個(gè)被分類到 某一表情A下，其余5個(gè)結(jié)果是"其他表情"，則返回表情A;如果6個(gè)結(jié)果均被分為"其他表情" 或有超過一個(gè)結(jié)果被分類到某一表情下，則通過核函數(shù)和超平面參數(shù)計(jì)算未知表情樣本到 6個(gè)二分類STSVM模型中超平面的距離，得到6個(gè)距離作為分類結(jié)果置信度，選擇最大距離對(duì) 應(yīng)的分類結(jié)果返回。
【主權(quán)項(xiàng)】
1. 一種基于模糊訓(xùn)練樣本的半監(jiān)督學(xué)習(xí)人臉表情識(shí)別方法，其特征在于，該方法包括 W下步驟： (1) 人臉數(shù)據(jù)庫數(shù)據(jù)預(yù)處理，具體包括W下子步驟： (1.1) 人臉圖像按表情類別預(yù)分類:使用卡耐基梅隆大學(xué)CK+人臉表情數(shù)據(jù)庫，選取有 標(biāo)記的表情圖像，按照6類表情名稱(高興、驚訝、悲傷、生氣、厭惡、恐懼)對(duì)應(yīng)放在6個(gè)文件 夾下； (1.2) 圖像數(shù)據(jù)分為訓(xùn)練集和測(cè)試集:具體方法為每次從6類表情中分別選出i張，共計(jì) 6i個(gè)樣本作為有標(biāo)記訓(xùn)練集，每類中選取j張，共計(jì)6j個(gè)樣本作為無標(biāo)記訓(xùn)練集，其余樣本 作為測(cè)試集； (1.3) 讀取訓(xùn)練集和測(cè)試集中的圖像數(shù)據(jù)進(jìn)行人臉檢測(cè)，提取人臉后計(jì)算LBP特征:LBP 定義在3X3像素鄰域內(nèi)，W鄰域中屯、像素值為闊值，將相鄰8個(gè)像素的灰度值與其進(jìn)行比 較，若大于中屯、像素值，則該像素點(diǎn)的位置被標(biāo)記為1，否則為0。運(yùn)樣，3X3鄰域內(nèi)的8個(gè)點(diǎn) 經(jīng)比較可產(chǎn)生8位二進(jìn)制數(shù)，即得到該鄰域中屯、像素點(diǎn)的LBP值，并用運(yùn)個(gè)值來反映該區(qū)域 的紋理信息。鄰域中屯、點(diǎn)LBP特征值計(jì)算方法：(1.4) 對(duì)Ξ個(gè)樣本集的LBP特征進(jìn)行直方圖統(tǒng)計(jì)：圖像提取LBP特征之后，可W得到一系 列0~255之間的值，通過對(duì)其進(jìn)行直方統(tǒng)計(jì)，可W得到相應(yīng)的LBP特征向量，每個(gè)樣本的特 征向量為IX 256維； (2) 使用改進(jìn)的SVM算法進(jìn)行人臉表情識(shí)別，具體包括W下子步驟： (2.1) 表情數(shù)據(jù)二分類:將6種表情分成兩類，每次選取其中一種表情作為一類，其余五 種作為另一類："其他表情"。共進(jìn)行6次二分類。對(duì)每一類表情重復(fù)W下步驟； (2.2) 對(duì)有標(biāo)記的訓(xùn)練集和測(cè)試集進(jìn)行標(biāo)注，標(biāo)簽為+1或-1，將無標(biāo)記的訓(xùn)練集樣本標(biāo) 簽全部標(biāo)注為0。 (2.3) 輸入有標(biāo)記訓(xùn)練集，計(jì)算并輸出有標(biāo)記訓(xùn)練集的SVM模型： (2.3.1) 規(guī)范化訓(xùn)練樣本，消除奇異樣本數(shù)據(jù)對(duì)結(jié)果的影響:對(duì)有標(biāo)記訓(xùn)練集256維LBP 特征中的特征值進(jìn)行縮放，縮放目標(biāo)區(qū)間為[-1，1 ]，方法為得到每維數(shù)據(jù)的最大值max和最 小值min,對(duì)于[min,max]中的任意值value,縮放的計(jì)算公式3保存縮放 結(jié)果和記錄了每維數(shù)據(jù)最大值和最小值的規(guī)范化參數(shù)Range;(2.3.2) 構(gòu)造 SVM-階軟間隔分類器： g(x) =w\+b = 0 其中，X是輸入訓(xùn)練樣本的向量表示，g(x)是Ww為法向量Wb為平移項(xiàng)的分類超平面。 為了減少離群點(diǎn)對(duì)整個(gè)分類器的影響，引入松弛變量ξ和懲罰因子C，把損失加入到目標(biāo)函 數(shù)里，使間隔最大化，優(yōu)化問題：限制條件為yi · (ffT · xi+b)> 1-Ci,i = l,2,3,. . . ,η，其中yiG {-1 ,+1}是樣本標(biāo)簽。通 過拉格朗日對(duì)偶變換后，上式轉(zhuǎn)化為一個(gè)凸二次規(guī)劃問題求解：限制條件夫0《ai《C，i = l，2,3，. .，，n，j = l，2,3，.. .，n，其中α為拉格朗日 乘子； (2.3.3) 選用RBF核函數(shù):核函數(shù)的本質(zhì)是定義了高維空間中兩個(gè)向量的內(nèi)積。通過RBF 核函數(shù)將有標(biāo)記訓(xùn)練集的數(shù)據(jù)映射到高維空間，使數(shù)據(jù)能夠在高維空間進(jìn)行線性分類。RBF 核函數(shù)定義如下：其中是兩個(gè)低維空間里的向量，在本發(fā)明中指某張表情圖像的LBP特征向量，丫是 核參數(shù)，步驟(2.3.2)中的凸二次優(yōu)化問題變?yōu)椋合拗茥l件；0《ai《C，i = l，2,3，. .，，n，j = l，2,3，.. .，n，其中α為拉格朗日 乘子； (2.3.4) 交叉驗(yàn)證尋找最優(yōu)參數(shù):對(duì)歸一化的有標(biāo)記訓(xùn)練數(shù)據(jù)的LBP直方圖統(tǒng)計(jì)集，取 不同的松弛變量C和參數(shù)丫進(jìn)行訓(xùn)練，交叉驗(yàn)證得到識(shí)別率，取識(shí)別率最高時(shí)對(duì)應(yīng)的C和丫， 訓(xùn)練得到SVM模型。 (2.4) 根據(jù)有標(biāo)記訓(xùn)練集規(guī)范化參數(shù)Range對(duì)測(cè)試集LBP特征值進(jìn)行縮放，通過有標(biāo)記 訓(xùn)練集輸出的SVM模型對(duì)規(guī)范化的無標(biāo)記訓(xùn)練集進(jìn)行分類預(yù)測(cè)； (2.5) 通過核函數(shù)和超平面參數(shù)計(jì)算無標(biāo)記訓(xùn)練集中每一個(gè)樣本到SVM模型中超平面 的距離，得到距離集。對(duì)距離集中的數(shù)據(jù)取絕對(duì)值，并降序排序； (2.7) 引入自訓(xùn)練樣本置信度的分割參數(shù)Edition，取值范圍：0~1。根據(jù)化dition 參數(shù)將距離集分成兩部分，取置信度高也即距離數(shù)值大的第一部分距離集，并將與之對(duì)應(yīng) 的無標(biāo)記訓(xùn)練集中的樣本及其預(yù)測(cè)標(biāo)簽取出，加入到有標(biāo)記訓(xùn)練集中； (2.8) 輸入更新的有標(biāo)記訓(xùn)練集和無測(cè)試集的LBP特征，進(jìn)行步驟(2.3)重新計(jì)算SVM模 型，輸出自訓(xùn)練SVM模型（STSVM); (2.9) 對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，并將預(yù)測(cè)結(jié)果與測(cè)試集中的樣本標(biāo)簽進(jìn)行比較，通過混淆矩 陣對(duì)識(shí)別率進(jìn)行分析。 (2.10) 對(duì)1〇'，化的^1〇11參數(shù)分別選取不同的值進(jìn)行循環(huán)計(jì)算，得到識(shí)別正確率最高 時(shí)對(duì)應(yīng)的STSVM模型和更新后有標(biāo)記訓(xùn)練集的Range參數(shù)，并保存6個(gè)二分類STSVM模型的識(shí) 別率作為分類置信度； (3)對(duì)未知表情圖像進(jìn)行識(shí)別，具體包括W下子步驟： (3.1) 未知表情圖像的獲取和預(yù)處理:相機(jī)或攝像頭拍攝的人臉圖片轉(zhuǎn)為8位灰度圖， 提取人臉，計(jì)算LBP特征，生成1 X256維特征向量。根據(jù)STSVM模型中更新的有標(biāo)記訓(xùn)練集的 Range參數(shù)對(duì)未知表情圖像的LBP特征進(jìn)行規(guī)范化處理； (3.2) 將縮放結(jié)果輸入6個(gè)二分類STSVM模型中，如果6個(gè)結(jié)果中，有一個(gè)被分類到某一 表情A下，其余5個(gè)結(jié)果是"其他表情"，則返回表情A;如果6個(gè)結(jié)果均被分為"其他表情"或有 超過一個(gè)結(jié)果被分類到某一表情下，則通過核函數(shù)和超平面參數(shù)計(jì)算未知表情樣本到6個(gè) 二分類STSVM模型中超平面的距離，得到6個(gè)距離作為分類結(jié)果置信度，選擇最大距離對(duì)應(yīng) 的分類結(jié)果返回。
【文檔編號(hào)】G06K9/00GK106096557SQ201610427189
【公開日】2016年11月9日
【申請(qǐng)日】2016年6月15日
【發(fā)明人】胡浩基, 李娜雨, 蔡成飛, 劉佐珠
【申請(qǐng)人】浙江大學(xué)