一種基于魯棒的正則化編碼表情識別方法及數(shù)據(jù)監(jiān)測系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種基于魯棒的正則化編碼表情識別方法及數(shù)據(jù)監(jiān)測系統(tǒng)。魯棒的正則化編碼，通過正則回歸系數(shù)對給定信號進(jìn)行魯棒回歸。為了減少遮擋部分對人臉表情識別系統(tǒng)的影響，待識別的表情圖像的每個像素點將被分配不同的權(quán)重由于被遮擋部分的像素點應(yīng)該分配較小的值，通過連續(xù)迭代的方法直到權(quán)重收斂于設(shè)定的權(quán)重閾值；待測圖像的最終稀疏表示將通過最優(yōu)的權(quán)重矩陣進(jìn)行計算，并且待測表情圖像的分類結(jié)果將根據(jù)每類訓(xùn)練樣本逼近待測表情圖像的最小殘差決定。本發(fā)明對各種臉部遮擋情況都有較好的去除遮擋能力和提高遮擋情況下的人臉表情識別率有重要意義,是一種有效的并對隨機(jī)遮擋具有魯棒性的人臉表情識別方法。
【專利說明】
一種基于魯棒的正則化編碼表情識別方法及數(shù)據(jù)監(jiān)測系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及一種模式識別領(lǐng)域的識別方法，具體涉及基于魯棒的正則化和自動更 新權(quán)重的隨機(jī)遮擋的表情識別方法及數(shù)據(jù)監(jiān)測系統(tǒng)，提高了稀疏表示的魯棒性和有效性。 屬于人臉表情信息提取和識別領(lǐng)域。
【背景技術(shù)】
[0002] 人臉表情識別技術(shù)是生理學(xué)、心理學(xué)、圖像處理、模式識別和計算機(jī)視覺等領(lǐng)域的 一個具有挑戰(zhàn)性的交叉學(xué)科。為了確保信息的完整性，研究人員們使用不存在遮擋人臉表 情圖像在受控的實驗室條件下進(jìn)行實驗和研究。然而，人臉遮擋是在現(xiàn)實生活中很常見，例 如，太陽鏡可以遮擋眼睛區(qū)域、一條圍巾或外科口罩遮擋嘴部區(qū)。因此，在人臉存在遮擋的 表情識別仍然是人臉表情識別系統(tǒng)在實際應(yīng)用中最重要的瓶頸之一。
[0003] 近年來，針對部分遮擋人臉表情識別研究人員們已經(jīng)提出了許多方法來減少遮擋 對表情識別的影響。Kotsia受Fi sher的線性判別分析和支持向量機(jī)(SVM)的啟發(fā)，提出了一 種新穎的最小類內(nèi)方差的多類分類器來研究在不同人臉器官遮擋的情況下對人臉表情識 別的影響。Tarrgs F提出了基于PCA和LDA并結(jié)合直方圖均衡化和均值、方差歸一化預(yù)處理 的方法，減少了遮擋部分對人臉識別過程的影響。Kotsia對遮擋的人臉圖像進(jìn)行Gabor小波 濾波提取紋理特征，利用監(jiān)督的判別非負(fù)矩陣因子分解DNMF進(jìn)行圖像分解，再采用基于模 型的方法來描述特定的面部特征的幾何位移來完成遮擋圖像的特征表征。Zhang等利用蒙 特卡羅算法對表情圖像提取Gabor特征，并遍歷表情圖像的每個區(qū)域進(jìn)行模板匹配以產(chǎn)生 對遮擋具有魯棒性的特征向量。
[0004] 但是，上述方法主要研究眼部遮擋和嘴部遮擋對人臉表情識別效果的影響，沒有 充分考慮遮擋在現(xiàn)實生活中出現(xiàn)的特點，對隨機(jī)遮擋情況的適應(yīng)性較弱。人臉遮擋的特點 是遮擋可以在人臉的任何地方發(fā)生，并且遮擋范圍的大小和遮擋的形狀都是未知的，沒有 任何關(guān)于它的先驗知識。因此，不能只考慮臉部某個區(qū)域?qū)θ四槺砬樽R別的影響情況，應(yīng)該 根據(jù)遮擋的特點來展開研究，并提出一些可以克服這個問題的方法。Wright采用稀疏編碼 的方法完成了人臉識別任務(wù)，并提出使用已知類別的訓(xùn)練人臉圖像對測試人臉圖像進(jìn)行稀 疏表示的方法，在隨機(jī)遮擋人臉識別系統(tǒng)中取得了較為理想的識別效果。
[0005] 為了提高稀疏表示的魯棒性和有效性，本發(fā)明提出了基于魯棒的正則化編碼和自 動更新權(quán)重的隨機(jī)遮擋表情識別方法。
[0006] 技術(shù)內(nèi)容
[0007] 本發(fā)明的目的是:針對現(xiàn)有人臉表情識別方法對臉部有遮擋的情況，原始的稀疏 表示模型實際上假定表示殘差是遵循高斯分布的，這可能不足以準(zhǔn)確描述實際人臉表情識 別系統(tǒng)的表示殘差。提出基于魯棒的正則化編碼和自動更新權(quán)重的隨機(jī)遮擋表情識別方法 及數(shù)據(jù)監(jiān)測系統(tǒng)，提高了稀疏表示的魯棒性和有效性，它能使人臉在有遮檔的情況下獲得 較高的表情識別效果。
[0008] 本發(fā)明一種基于魯棒的正則化編碼表情識別方法及數(shù)據(jù)檢測系統(tǒng)。首先，對待測 的人臉表情圖像的每個像素點賦予不同的權(quán)重。其次，通過連續(xù)迭代得到收斂的權(quán)重矩陣。 得到收斂后的權(quán)重矩陣后，待測表情圖像的最優(yōu)稀疏表示稀疏可通過計算得到。最后，計算 每類訓(xùn)練表情圖像逼近待測表情圖像的編碼殘差，并根據(jù)最小逼近殘差的準(zhǔn)則將待測表情 圖像分類到訓(xùn)練表情圖像逼近待測表情圖像最小逼近殘差所對應(yīng)的類別。
[0009] 本發(fā)明涉及一種基于魯棒的正則化編碼表情識別方法，其步驟如下：
[0010] -種基于魯棒的正則化編碼表情識別方法，首先，對待測的人臉表情圖像的每個 像素點賦予不同的權(quán)重;其次，通過連續(xù)迭代得到收斂的權(quán)重矩陣;得到收斂后的權(quán)重矩陣 后，待測表情圖像的最優(yōu)稀疏表示稀疏可通過計算得到;最后，計算每類訓(xùn)練表情圖像逼近 待測表情圖像的編碼殘差，并根據(jù)最小逼近殘差的準(zhǔn)則將待測表情圖像分類到訓(xùn)練表情圖 像逼近待測表情圖像最小逼近殘差所對應(yīng)的類別；
[0011] 該識別方法步驟如下：
[0012] 步驟一:將人臉表情圖像庫中的表情圖像按照七種表情分為七類，即憤怒、厭惡、 恐懼、高興、中性、悲傷和驚訝，一些表情圖像作為訓(xùn)練樣本，一些表情圖像作為測試樣本；
[0013] 步驟二:對圖像庫中原始圖像進(jìn)行預(yù)處理，通過旋轉(zhuǎn)使眼睛水平面對準(zhǔn)，并根據(jù)兩 眼間的距離來從原始的表情圖像裁剪出實驗用的只含正面人臉表情的矩形區(qū)域，并對待測 樣本進(jìn)行不同程度遮擋，用T表示訓(xùn)練表情圖像字典，用y表示待測的表情圖像，α是待測的 表情圖像y在訓(xùn)練表情圖像字典T上的編碼向量；
[0014] 步驟三:對待測的人臉表情圖像的每個像素點賦予不同的權(quán)重，Wm表示分配給待 測表情圖像y每個像素點i的權(quán)值;首先，定義F sM = Σ:?)，F(xiàn)e(e)在定義域內(nèi)某點e〇處的一 階泰勒展開式：^? = ^>,1) + &-￡")7>|,) +仏):其中#0(6)是？0(6)的導(dǎo)數(shù)，1?1(6)是？0(6)的高 階余項；定義V Θ是ΡΘ的導(dǎo)數(shù)，并且有F' S(GQ) = IiP' Θ(Θ0,1) !P' Θ(Θ0,2) ;··· θ(θθ,η)] ;e〇,i是eo 的第i位元素；
[0015] 步驟四：設(shè)置初值，對待測表情圖像y設(shè)置初值，首先應(yīng)該初始化y的編碼殘差e，對 e初始化為e = y-Ta(())，a(())是初始編碼向量，由于待測表情圖像y所屬類別事先未知，α (())的
合理初始編碼向量可以設(shè)置為 ，這樣Taw表示的就是所有訓(xùn)練表情圖像的 平均表情圖像；
[0016] 步驟五:不斷迭代優(yōu)化更新權(quán)重W，直到權(quán)重收斂為止，即相鄰迭代權(quán)重之間的差 異足夠/丨、_瑪忒O)成立時偉IH失代.
[0017]
[0018]其中，γ是較小的正數(shù)，w(t)表示在t狀態(tài)的權(quán)重，w&u表示在t-i狀態(tài)的權(quán)重；
[0019] 步驟六:得到收斂后的權(quán)重矩陣W后，最優(yōu)的稀疏表示?稱為魯棒的正則化編碼通 過下式得到：
[0020]
式（3)
[0021] 步驟七:計算每類訓(xùn)練表情圖像逼近待測表情圖像y的逼近殘差ri(y)，式(4)為：
[0022]
式(4)
[0023] 其中，武(句是?第i類訓(xùn)練樣本空間的最終的編碼向量，WfinaI是最終的權(quán)重矩陣，k 表示表情的類別數(shù)；
[0024] 步驟八:根據(jù)最小逼近殘差的準(zhǔn)則，待測表情圖像y最終將被分類到訓(xùn)練表情圖像 逼近待測表情圖像殘差最小的類別，由式(5)判斷：
[0025]
式（5)
[0026] 從而對待測的表情圖像進(jìn)行識別分類。
[0027]步驟三中，為使F ' e ( e )嚴(yán)格顯凸性便于最小化，近似余項為
.其中，W是對角矩陣，為了使e中的兀素獨立且在Fe(e)中ei和ej(i辛 j)沒有交叉項;Fe(e)在e = 0取得最小值的同時，它的近似值P⑷在e = 0也應(yīng)取得最小值； 令F%(0)=0,可以得到W的對角元素。
[0028] 步驟三中，所述 [0029] pe(e)具有以下性質(zhì)：
[0030] (I)Pe(O)是pe(e)的局部最小值；
[0031] (2)對稱性：pe(ei)=pe(-ei);
[0032] (3)單調(diào)性：當(dāng) |ei| > |e2| 時，Ρθ(θ?)>Ρθ(θ2);不失一般性，令 Ρθ(0)=0;如式（1)權(quán) 重函數(shù)最好選擇邏輯函數(shù)：
[0033] WijI = P^(GOjI)Zeo,!式（1)
[0034] 根據(jù)Ρθ的性質(zhì)，p' e(ei)和ei符號相同，所以Wi,i為非負(fù)的標(biāo)量，令Wi,ie [0, 1];
[0035] 步驟六中，通常情況下，稀疏編碼問題可以定義為公式： ? = argmi傘I 其中，ε>〇的常數(shù)，保真項定義為IJ - Γα|:;從貝葉斯估計的觀點 確切說是最大后驗概率估計觀點考慮人臉表示問題;通過字典T對待測表情圖像y進(jìn)行編 碼，編碼向量α的最大后驗概率估計變成? = argmax !η .r)利用貝葉斯公式得： ? ; argmax{ln I a) + ;其中的字典T改寫成Tr = [，:;r;;…]~表示T的第i列，而且e = y- Ta = [ei;e2; ·，·θη];ei = yi_ria，i = l，2,…，n;假設(shè)元素 ei是獨立同分布的，并且概率密度函 數(shù)為f e(ei)，而且·ρ(.ι· Π ./()· ;與此同時，假設(shè)編碼向量a = [Ci1; a2;…；am]中的兀 素 aj，j = 1，2，…，m是獨立同分布的并且概率密度函數(shù)為f ο (aj)，而且/_t?) = Π ./: (? );從而a的 最大后驗概率估計為：
(a)魯棒的正則化編碼公式為 ^
'將得到的權(quán)重值帶入， 從而武(e)可以寫成
是由eo決定的標(biāo)量常 量;不考慮t，則魯棒的正則化編碼公式為式(3)。
[0036]用于上述的一種基于魯棒的正則化編碼表情識別方法的數(shù)據(jù)監(jiān)測系統(tǒng)，主要由攝 像機(jī)1、顯示屏2、主機(jī)3、報警設(shè)備4組成，所述的攝像機(jī)1與顯示屏2相連，顯示屏2與主機(jī)3相 連，主機(jī)3與報警設(shè)備4相連，所述攝像機(jī)1在病房內(nèi)將病人的圖像記錄下來在顯示屏2上顯 示，主機(jī)3將顯示屏2中的圖片進(jìn)行判別，是否有異常表情，若有則進(jìn)行圖片判別并立即報 警，所述的主機(jī)的交互界面分成四個區(qū)域，包括:攝像機(jī)設(shè)置區(qū)、表情識別顯示區(qū)、識別結(jié)果 判別區(qū)、報警設(shè)置區(qū)。
[0037]在相機(jī)設(shè)置區(qū)內(nèi)，所述的攝像機(jī)1能夠進(jìn)行360°全方位的監(jiān)控，對相機(jī)的像素、幀 率、圖像格式及對比度進(jìn)行在線控制。
[0038]在表情識別顯示區(qū)內(nèi)包括一個表情識別功能按鈕，一個識別結(jié)果顯示框和一個表 情圖像顯示窗口，當(dāng)按下表情識別按鈕后，系統(tǒng)將此時的人臉表情圖像進(jìn)行采樣，經(jīng)過處理 在顯示窗口進(jìn)行顯示。
[0039]在識別結(jié)果判別區(qū)包含一個表情判別按鈕，一個表情判別顯示窗口，當(dāng)按下表情 判別按鈕后，系統(tǒng)將此時的人臉表情圖像進(jìn)行判別，并在顯示窗口進(jìn)行顯示系統(tǒng)的判別結(jié) 果。
[0040]在報警設(shè)置區(qū)包含一個病床號顯示窗口，一個LED燈顯示窗口，一個報警器，表情 判別若顯示有問題，則報警設(shè)置區(qū)內(nèi)病床號顯示窗口會顯示病床號，LED顯示窗口會閃爍， 報警器會發(fā)出報警聲。
[0041 ]從而對待測的表情圖像進(jìn)行識別分類。
[0042]本發(fā)明的積極效果和優(yōu)點在于：
[0043] 1.本發(fā)明使用原始圖像數(shù)據(jù)(像素點）不需要采用特征降為、特征提取、綜合訓(xùn)練 樣本和特定領(lǐng)域信息，就可以對隨機(jī)遮擋表情圖像進(jìn)行識別；
[0044] 2.本發(fā)明考慮到現(xiàn)實生活中遮擋情況的隨機(jī)性，對提高隨機(jī)遮擋情況下的表情識 別有重要意義；
[0045] 3.本發(fā)明基于魯棒的正則化編碼和自動更新權(quán)重的隨機(jī)遮擋表情識別方法，提高 稀疏表示的魯棒性和有效性。
【附圖說明】
[0046] 圖1方法步驟方框圖。
[0047]圖2 JAFFE數(shù)據(jù)庫中的部分預(yù)處理的隨機(jī)遮擋表情圖像。
[0048]圖3 Cohn-Kanade數(shù)據(jù)庫中的部分預(yù)處理的隨機(jī)遮擋表情圖像。
[0049] 圖4數(shù)據(jù)監(jiān)測系統(tǒng)硬件結(jié)構(gòu)圖。
[0050] 圖5數(shù)據(jù)監(jiān)測系統(tǒng)原理圖。
[0051]圖6數(shù)據(jù)監(jiān)測系統(tǒng)人機(jī)交互界面。
【具體實施方式】
[0052]見圖1所示，本發(fā)明一種基于魯棒的正則化編碼表情識別方法，其步驟如下：
[0053]步驟一：將人臉表情圖像庫中的表情圖像按照七種表情分為七類，即憤怒、厭惡、 恐懼、高興、中性、悲傷和驚訝，一些表情圖像作為訓(xùn)練樣本，一些表情圖像作為測試樣本； [0054]步驟二:對圖像庫中原始圖像進(jìn)行預(yù)處理，通過旋轉(zhuǎn)使眼睛水平面對準(zhǔn)，并根據(jù)兩 眼間的距離來從原始的表情圖像裁剪出實驗用的只含正面人臉表情的矩形區(qū)域，并對待測 樣本進(jìn)行不同程度遮擋，用T表示訓(xùn)練表情圖像字典，用y表示待測的表情圖像，α是待測的 表情圖像y在訓(xùn)練表情圖像字典T上的編碼向量；
[0055]步驟三:對待測的人臉表情圖像的每個像素點賦予不同的權(quán)重，Wm表示分配給待 測表情圖像y每個像素點i的權(quán)值。首先，定義= Σ；",Ak)，F(xiàn)e (e)在定義域內(nèi)某點eo處的一 階泰勒展開式：6⑷= i>j + (e -+#(<?);其中，F(xiàn)7 θ(e)是Fe(e)的導(dǎo)數(shù)，Ri(e)是Fe(e)的高 階余項；定義V Θ是ΡΘ的導(dǎo)數(shù)，并且有F' S(GQ) = IiP' θ(θ〇,ι) !P7 θ(θ〇,2) ;··· θ(θο,η)] ;et),i是eo 的第i位元素；為使F、（ e)嚴(yán)格顯凸性便于最小化，近似余項為/? (t(π。其 中，W是對角矩陣，為了使e中的元素獨立且在Fe (e)中ei和ej (i辛j)沒有交叉項。Fe (e)在e = 〇取得最小值的同時，它的近似值^⑷在e = 0也應(yīng)取得最小值。令F7 θ(0 )= 0，可以得到W的 對角元素。Pe(e)具有以下性質(zhì)：（1)Ρθ(0)是Ρθ(θ)的局部最小值；（2)對稱性:pe(ei)=pe(-ei); (3)單調(diào)性：當(dāng)I ei I > I e21時，Pe(ei) >Pe(e2)。不失一般性，令Ρθ(0) = 0。如式（1)權(quán)重函 數(shù)最好選擇邏輯函數(shù)：
[0056] Wij = P'e(eo，i)/eQ，i 式（1)
[0057] 根據(jù)Ρθ的性質(zhì)，p' e(ei)和ei符號相同，所以Wi,i非負(fù)的標(biāo)量，令Wi,ie [0, 1];
[0058] 步驟四：設(shè)置初值，對待測表情圖像y設(shè)置初值，首先應(yīng)該初始化y的編碼殘差e，對 e初始化為e = y-Ta(())，a(())是初始編碼向量，由于待測表情圖像y所屬類別事先未知，α (())的 合理初始編碼向量可以設(shè)置；
這樣Taw表示的就是所有訓(xùn)練表情圖像的 平均表情圖像；
[0059] 步驟五:不斷迭代優(yōu)化更新權(quán)重W，直到權(quán)重收斂為止，即相鄰迭代權(quán)重之間的差 異足夠小，當(dāng)式(2)成立時停止迭代：
[0060]
[0061] 其中，γ是較小的正數(shù)，Ww表示在t狀態(tài)的權(quán)重，表示在t-Ι狀態(tài)的權(quán)重；
[0062] 步驟六:得到收斂后的權(quán)重矩陣W后，最優(yōu)的稀疏表示4稱為魯棒的正則化編碼。通 常情況下，稀疏編碼問題可以定義為公式：會='argminlttli其中，ε >〇的常數(shù)， 保真項定義為從貝葉斯估計的觀點確切說是最大后驗概率估計觀點考慮人臉表 示問題。通過字典T對待測表情圖像y進(jìn)行編碼，編碼向量a的最大后驗概率估計變成 i = argmaxtoi^or I ]，)。利用貝葉斯公式得：= ar_gmax{lnP(v_| ?).+ 1τιΡ(α)丨:其中的字典T改寫成
表示1'的第；1列，而且6 = 7-1€[=[61;62;"_611]池=7廣1^4 = 1，2，"，11。假設(shè) 元素出是獨立同分布的，并且概率密度函數(shù)為fe(ei)，而且汽>'《)==Π /.0· 與此同時， 假設(shè)編碼向量a = [Ci1; α2;…；am]中的元素 a j，j = 1，2，…，m是獨立同分布的并且概率密度 函數(shù)為f〇(aj)，而且+)=11/:(6/ )-從而a的最大后驗概率估計為：
和pQ(a) =-lnf〇(a)魯棒的正則化編碼 公式為：
將得到的權(quán)重值帶入，從而6(e)可以寫成
是由eo決定的標(biāo)量常量。不考慮\，則魯 棒的正則化編碼公式為式(3):
[0063]
式⑶
[0064] 步驟七:計算每類訓(xùn)練表情圖像逼近待測表情圖像y的逼近殘差ri(y)，式(4)為： [00651
式⑷
[0066] 其中，《(?)是4第i類訓(xùn)練樣本空間的最終的編碼向量，WfinaI是最終的權(quán)重矩陣，k 表示表情的類別數(shù)；
[0067] 步驟八:根據(jù)最小逼近殘差的準(zhǔn)則，待測表情圖像y最終將被分類到訓(xùn)練表情圖像 逼近待測表情圖像殘差最小的類別，由式(5)判斷：
[0068]
式（5)
[0069] 從而對待測的表情圖像進(jìn)行識別分類。
[0070] -種基于魯棒的正則化編碼表情識別方法及數(shù)據(jù)監(jiān)測系統(tǒng)，使用原始圖像數(shù)據(jù) (像素點)不需要采用特征降為、特征提取、綜合訓(xùn)練樣本和特定領(lǐng)域信息，就可以獲取質(zhì)量 穩(wěn)定的圖像來對隨機(jī)遮擋的面部表情進(jìn)行識別。
[0071] 一種基于魯棒的正則化編碼表情識別方法及數(shù)據(jù)監(jiān)測系統(tǒng)，主要由攝像機(jī)1、顯示 屏2、主機(jī)3、報警設(shè)備4組成，其硬件結(jié)構(gòu)如圖4所示，所述的攝像機(jī)1與顯示屏2相連，顯示屏 2與主機(jī)3相連，主機(jī)3與報警設(shè)備4相連，攝像機(jī)1在病房內(nèi)將病人的圖像記錄下來在顯示屏 2上顯示，主機(jī)3將顯示屏2中的圖片進(jìn)行判別，是否有異常表情，若有則進(jìn)行圖片判別并立 即報警，若無則不用報警。所述的主機(jī)的交互界面分成四個區(qū)域，包括:攝像機(jī)設(shè)置區(qū)、表情 識別顯示區(qū)、識別結(jié)果判別區(qū)、報警設(shè)置區(qū)。
[0072] 在相機(jī)設(shè)置區(qū)內(nèi)，所述的攝像機(jī)1能夠進(jìn)行360°全方位的監(jiān)控，對相機(jī)的像素、幀 率、圖像格式及對比度進(jìn)行在線控制。
[0073]在表情識別顯示區(qū)內(nèi)包括一個表情識別功能按鈕，一個識別結(jié)果顯示框和一個表 情圖像顯示窗口，當(dāng)按下表情識別按鈕后，系統(tǒng)將此時的人臉表情圖像進(jìn)行采樣，經(jīng)過處理 在顯示窗口進(jìn)行顯示。
[0074]在識別結(jié)果判別區(qū)包含一個表情判別按鈕，一個表情判別顯示窗口，當(dāng)按下表情 判別按鈕后，系統(tǒng)將此時的人臉表情圖像進(jìn)行判別，并在顯示窗口進(jìn)行顯示系統(tǒng)的判別結(jié) 果。
[0075]在報警設(shè)置區(qū)包含一個病床號顯示窗口，一個LED燈顯示窗口，一個報警器，表情 判別若顯示有問題，則報警設(shè)置區(qū)內(nèi)病床號顯示窗口會顯示病床號，LED顯示窗口會閃爍， 報警器會發(fā)出報警聲。
【主權(quán)項】
1. 一種基于魯棒的正則化編碼表情識別方法，其特征在于： 首先，對待測的人臉表情圖像的每個像素點賦予不同的權(quán)重;其次，通過連續(xù)迭代得到 收斂的權(quán)重矩陣;得到收斂后的權(quán)重矩陣后，待測表情圖像的最優(yōu)稀疏表示稀疏可通過計 算得到;最后，計算每類訓(xùn)練表情圖像逼近待測表情圖像的編碼殘差，并根據(jù)最小逼近殘差 的準(zhǔn)則將待測表情圖像分類到訓(xùn)練表情圖像逼近待測表情圖像最小逼近殘差所對應(yīng)的類 別； 該識別方法步驟如下： 步驟一:將人臉表情圖像庫中的表情圖像按照七種表情分為七類，即憤怒、厭惡、恐懼、 高興、中性、悲傷和驚訝，一些表情圖像作為訓(xùn)練樣本，一些表情圖像作為測試樣本； 步驟二:對圖像庫中原始圖像進(jìn)行預(yù)處理，通過旋轉(zhuǎn)使眼睛水平面對準(zhǔn)，并根據(jù)兩眼間 的距離來從原始的表情圖像裁剪出實驗用的只含正面人臉表情的矩形區(qū)域，并對待測樣本 進(jìn)行不同程度遮擋，用T表示訓(xùn)練表情圖像字典，用y表示待測的表情圖像， α是待測的表情 圖像y在訓(xùn)練表情圖像字典Τ上的編碼向量； 步驟三:對待測的人臉表情圖像的每個像素點賦予不同的權(quán)重，WM表示分配給待測表 情圖像7每個像素點1的權(quán)值;首先，定義巧:時=￡：11/^,.)..，？0(6)在定義域內(nèi)某點6()處的一階泰 勒展開式：足ω = /：(e,:) +._(e - )??.) + Λ,⑷;其中，F(xiàn)' Θ (e)是Fe (e)的導(dǎo)數(shù)，Ri (e)是Fe (e)的高階余 項；定義V θ是Ρθ的導(dǎo)數(shù)，并且有F' θ(θο) = 1^ e(eo,i) # e(eo,2);…# e(eo,n)] ;eo,i是eo的第i 位元素； 步驟四：設(shè)置初值，對待測表情圖像y設(shè)置初值，首先應(yīng)該初始化y的編碼殘差e，對e初 始化為e = y-Ta(())，a(())是初始編碼向量，由于待測表情圖像y所屬類別事先未知，α (())的合理初始編碼向量可以設(shè)置為 ，這樣Τα(())表示的就是所有訓(xùn)練表情圖像的平均 表情圖像； 步驟五：不斷迭代優(yōu)化更新權(quán)重W，直到權(quán)重收斂為止，即相鄰迭代權(quán)重之間的差異足 夠小，當(dāng)式(2)成立時停止迭代： ff(t)_ff(t-D| |s/| |ff(t-l)| |2< γ 式⑵ 其中，γ是較小的正數(shù)，w(t)表示在t狀態(tài)的權(quán)重，W(t-1〉表示在t-ι狀態(tài)的權(quán)重； 步驟六:得到收斂后的權(quán)重矩陣W后，最優(yōu)的稀疏表示^稱為魯棒的正則化編碼通過下 式得到：步驟七:計算每類訓(xùn)練表情圖像逼近待測表情圖像y的逼近殘差ri(y)，式(4)為：其中彳⑷是設(shè)第i類訓(xùn)練樣本空間的最終的編碼向量，Wfinal是最終的權(quán)重矩陣，k表示 表情的類別數(shù)； 步驟八:根據(jù)最小逼近殘差的準(zhǔn)則，待測表情圖像y最終將被分類到訓(xùn)練表情圖像逼近 待測表情圖像殘差最小的類別，由式(5)判斷： 從而對待測的表情圖像進(jìn)行識別分類。2. 根據(jù)權(quán)利要求1所述的一種基于魯棒的正則化編碼表情識別方法，其特征在于： 步驟三中，為使F'Ke)嚴(yán)格顯凸性便于最小化，近似余項為中，W是對角矩陣，為了使e中的元素獨立且在Fe (e)中ei和e j (i辛j)沒有交叉項;Fe (e)在e = 〇取得最小值的同時，它的近似值g (e)在e = 0也應(yīng)取得最小值;令F' θ(Ο) = Ο，可以得到W的 對角元素。3. 根據(jù)權(quán)利要求1所述的一種基于魯棒的正則化編碼表情識別方法，其特征在于： 步驟三中，所述 pe(e)具有以下性質(zhì)： (Ι)Ρθ(Ο)是Pe(e)的局部最小值； ⑵對稱性:Pe(ei) =Pe(_ei); (3)單調(diào)性：當(dāng)I ei I > I e21時，Pe(ei)>Pe(e2);不失一般性，令Ρθ(0)=0;如式（1)權(quán)重函 數(shù)最好選擇邏輯函數(shù)： = e(e〇,i)/e〇,i 式（1) 根據(jù)Ρθ的性質(zhì)，P' e(ei)和ei符號相同，所以Wi,i為非負(fù)的標(biāo)量，令Wi,ie [〇, 1]。4. 根據(jù)權(quán)利要求1所述的一種基于魯棒的正則化編碼表情識別方法，其特征在于： 步驟六中，通常情況下，稀疏編碼問題可以定義為公式：? = argminforHv - Γα|> ?';其 中，ε>〇的常數(shù)，保真項定義為從貝葉斯估計的觀點確切說是最大后驗概率估計 觀點考慮人臉表示問題;通過字典Τ對待測表情圖像y進(jìn)行編碼，編碼向量α的最大后驗概 率估計變成邊=argmaxln/^cr | .ν):利用貝葉斯公式得:6 = argmax^ni^丨β)+_Ι?Ρ(α)};其中的字 典Τ改寫成T= [ri;r2;…；rn]ri表示Τ的第i列，而且e = y_Ta = [ei;e2; ·，·θη] ;ei = yi-ria，i = 1，2,…，n;假設(shè)元素^是獨立同分布的，并且概率密度函數(shù)Sfe(ei)，而且 外' α)= ΠU -味);與此同時，假設(shè)編碼向量a = [ w ; a2;am]中的元素aj，j = 1，2，…，m 是獨立同分布的并且概率密度函數(shù)為5(4),而且〃(〃) = Γ1/ (? 從而a的最大后驗概率估 計為：S = argmax{n'=l_/:(.v -m) + rr_i_A(c〇};令Pe(e) =-lnfe(e)和P〇(a) =-lnf〇(a)魯棒的正則 化編碼公式為：6 = argmiii丨Σ /?;將得到的權(quán)重值帶入，從而.$_(e)可以寫 成是由e〇決定的標(biāo)量常量;不考慮<，_則 魯棒的正則化編碼公式為式(3)。5. 用于權(quán)利要求1至4任一項所述的一種基于魯棒的正則化編碼表情識別方法的數(shù)據(jù) 監(jiān)測系統(tǒng)，主要由攝像機(jī)（1)、顯示屏(2)、主機(jī)(3)、報警設(shè)備(4)組成，其特征在于，所述的 攝像機(jī)（1)與顯示屏(2)相連，顯示屏(2)與主機(jī)(3)相連，主機(jī)(3)與報警設(shè)備(4)相連，所述 攝像機(jī)（1)在病房內(nèi)將病人的圖像記錄下來在顯示屏(2)上顯示，主機(jī)(3)將顯示屏(2)中的 圖片進(jìn)行判別，是否有異常表情，若有則進(jìn)行圖片判別并立即報警，所述的主機(jī)的交互界面 分成四個區(qū)域，包括:攝像機(jī)設(shè)置區(qū)、表情識別顯示區(qū)、識別結(jié)果判別區(qū)、報警設(shè)置區(qū)。6. 根據(jù)權(quán)利要求5所述的一種基于魯棒的正則化編碼表情識別方法的數(shù)據(jù)監(jiān)測系統(tǒng)， 其特征在于，在相機(jī)設(shè)置區(qū)內(nèi)，所述的攝像機(jī)（1)能夠進(jìn)行360°全方位的監(jiān)控，對相機(jī)的像 素、幀率、圖像格式及對比度進(jìn)行在線控制。7. 根據(jù)權(quán)利要求5或6所述的一種基于魯棒的正則化編碼表情識別方法的數(shù)據(jù)監(jiān)測系 統(tǒng)，其特征在于，在表情識別顯示區(qū)內(nèi)包括一個表情識別功能按鈕，一個識別結(jié)果顯示框和 一個表情圖像顯示窗口，當(dāng)按下表情識別按鈕后，系統(tǒng)將此時的人臉表情圖像進(jìn)行采樣，經(jīng) 過處理在顯示窗口進(jìn)行顯示。8. 根據(jù)權(quán)利要求7所述的一種基于魯棒的正則化編碼表情識別方法的數(shù)據(jù)監(jiān)測系統(tǒng)， 其特征在于，在識別結(jié)果判別區(qū)包含一個表情判別按鈕，一個表情判別顯示窗口，當(dāng)按下表 情判別按鈕后，系統(tǒng)將此時的人臉表情圖像進(jìn)行判別，并在顯示窗口進(jìn)行顯示系統(tǒng)的判別 結(jié)果。9. 根據(jù)權(quán)利要求7所述的一種基于魯棒的正則化編碼表情識別方法的數(shù)據(jù)監(jiān)測系統(tǒng)， 其特征在于，在報警設(shè)置區(qū)包含一個病床號顯不窗口，一個LED燈顯不窗口，一個報警器， 表情判別若顯示有問題，則報警設(shè)置區(qū)內(nèi)病床號顯示窗口會顯示病床號，LED顯示窗口會閃 爍，報警器會發(fā)出報警聲。
【文檔編號】G06K9/00GK106056103SQ201610517778
【公開日】2016年10月26日
【申請日】2016年7月5日
【發(fā)明人】劉帥師, 郭文燕, 程曦
【申請人】長春工業(yè)大學(xué)