一種基于elm的人臉表情識(shí)別方法
【專利摘要】本發(fā)明公開了一種基于ELM的人臉表情識(shí)別方法，對(duì)人臉表情圖像的處理得到人臉區(qū)域，再對(duì)含有表情特征的表情區(qū)域進(jìn)行圖像分割，得到眼睛、鼻子、嘴唇的表情區(qū)域，再用Gabor濾波器對(duì)其進(jìn)行表情特征提取得到每種表情的總特征向量，利用得到的表情特征向量訓(xùn)練ELM模型，將每種表情的ELM模型組合成ELM表情分類器，最后測(cè)試ELM分類器達(dá)到表情分類識(shí)別的目的。本發(fā)明在不受光照影響的情況下提高了表情識(shí)別率。
【專利說明】-種基于ELM的人臉表情識(shí)別方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及人臉表情識(shí)別領(lǐng)域，特別是一種基于ELM的人臉表情識(shí)別方法。

【背景技術(shù)】
[0002] 人臉表情識(shí)別是人機(jī)交互研究中的重要研究方向，涉及到圖像處理與分析、人工 智能、模式識(shí)別、計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)等多種學(xué)科。對(duì)人機(jī)交互的研究也是對(duì)這些學(xué) 科以及相關(guān)領(lǐng)域的促進(jìn)。在多模式人機(jī)交互界面中，表情與視線、體態(tài)、聲音等結(jié)合起來可 以獲得更高效的人機(jī)交流。
[0003] 對(duì)表情識(shí)別進(jìn)行深入研究可以使機(jī)器人更好地理解人類的感情和心理，在與人的 交互環(huán)境中，變得更人性化，更智能，從而更有利于服務(wù)人類，并且人臉表情識(shí)別在很多其 他的領(lǐng)域中存在著潛在的使用價(jià)值，例如人機(jī)交互、遠(yuǎn)程教育、安全領(lǐng)域、智能機(jī)器人研制、 醫(yī)療、合成面部動(dòng)畫、視頻檢索、虛擬現(xiàn)實(shí)技術(shù)等。通過分析和識(shí)別人臉的表情，能夠有助于 更好的認(rèn)知人的心理狀態(tài)。語(yǔ)言有時(shí)候并不能完全真實(shí)傳達(dá)人的想法，但表情卻能夠在一 定程度上體現(xiàn)出人的內(nèi)心感受。因此人臉表情識(shí)別將在未來獲得更為深入的研究和更廣闊 的應(yīng)用。如果計(jì)算機(jī)也能夠像人類那樣具有理解和表達(dá)情感的能力，自主適應(yīng)環(huán)境，將從根 本上改變?nèi)伺c計(jì)算機(jī)之間的關(guān)系，使計(jì)算機(jī)更好地為人類服務(wù)。這也正是研究人臉表情識(shí) 別并賦予計(jì)算機(jī)具有情感理解和情感表達(dá)課題的重要意義。
[0004] 發(fā)明專利"一種人臉表情的識(shí)別方法及系統(tǒng)"的步驟是：步驟1 :獲取人臉表情樣 本圖像；步驟2 :人臉表情樣本圖像處理以及特征提取獲得特征序列；步驟3 :將提取的表 情序列特征作為觀測(cè)序列，然后對(duì)表情樣本進(jìn)行訓(xùn)練，為各種表情建立相應(yīng)的隱馬爾科夫 模型；步驟4 :組合各種表情的隱馬爾科夫模型，形成人臉表情分類器；其中，步驟2 (人臉 表情樣本圖像處理以及特征提取獲得特征序列）的具體實(shí)施過程是：首先對(duì)表情圖像樣 本進(jìn)行二值化和灰度化，然后采用光流法對(duì)樣本進(jìn)行表情特征提取，獲得特征序列。步驟 4 (組合各種表情的隱馬爾科夫模型，形成人臉表情分類器）。通過這方表情識(shí)別方式能夠 得到相應(yīng)的二值圖和灰度圖，基本的表情識(shí)別都會(huì)經(jīng)過對(duì)表情圖像進(jìn)行處理，得到二值圖 和灰度圖才能進(jìn)一步的進(jìn)行表情特征提取。
[0005]方法存在不足：
[0006] 現(xiàn)有的方法無論從實(shí)用性、可靠性和精度來說，都存在著不足。
[0007] 表情識(shí)別離不開特征提取，迄今對(duì)表情特征提取已進(jìn)行了許多研究，并提出了很 多相關(guān)算法。前期算法多數(shù)針對(duì)的是靜態(tài)表情圖像，是從單幀圖像中提取出表情特征作為 表情識(shí)別的依據(jù)，如幾何特征提取法、Gabor濾波法、局部二元模式（LBP)、活動(dòng)外觀模型 (AAM)、自相關(guān)特征法和矩特征法等。但是由于表情的變化過程是一個(gè)從開始到發(fā)展然后消 退的動(dòng)態(tài)過程，根據(jù)單幀圖像識(shí)別表情很難獲得較高的識(shí)別率。提取表情序列特征的方法， 常見的有特征點(diǎn)跟蹤法、模型跟蹤法和光流特征法等。特征點(diǎn)跟蹤法和模型跟蹤法分別是 通過跟蹤預(yù)先確定的特征點(diǎn)或模型獲得序列的表情特征參數(shù)，均需要手工干預(yù)，很難自動(dòng) 實(shí)現(xiàn)。光流特征法則是根據(jù)序列的光流變化分析表情，缺點(diǎn)在于對(duì)光照變化非常敏感。
[0008] 現(xiàn)有的表情分類的方法主要有隱馬爾科夫模型（HMM)、神經(jīng)網(wǎng)絡(luò)、Adaboost、支持 向量機(jī)（SVM)，但這些方法在表情訓(xùn)練分類中也存在著訓(xùn)練速度慢，泛化性能低，調(diào)節(jié)參數(shù) 多的問題。


【發(fā)明內(nèi)容】

[0009] 本發(fā)明所要解決的技術(shù)問題是，針對(duì)現(xiàn)有技術(shù)不足，提供一種基于ELM的人臉表 情識(shí)別方法，在不受光照影響的情況下提高表情識(shí)別率。
[0010] 為解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案是：一種基于ELM的人臉表情識(shí) 別方法，包括以下步驟：
[0011] 1)對(duì)彩色表情圖像進(jìn)行預(yù)處理，得到預(yù)處理后的表情圖像；
[0012] 2)采用Adaboost分類器對(duì)預(yù)處理后的表情圖像進(jìn)行人臉檢測(cè)，得到人臉區(qū)域，并 對(duì)人臉區(qū)域中含有表情信息的區(qū)域進(jìn)行分割；
[0013] 3)對(duì)上述步驟2)處理后的人臉表情圖像I，用Gabor濾波器對(duì)人臉表情圖像I進(jìn) 行特征提取，得到人臉表情圖像I的總特征（F1,F2, ...，F(xiàn)k};其中，k為人臉表情圖像I的總 像素；
[0014]4)利用2DPCA對(duì)1)上述總特征的，F(xiàn)2,. . .，F(xiàn)J進(jìn)行降維，得到降維后的表情特征 F'(廠I，廠"
[0015] 5)將.F作為ELM單隱層前饋神經(jīng)網(wǎng)絡(luò)的輸入，對(duì)F進(jìn)行訓(xùn)練，得到每一種表情的 ELM訓(xùn)練模型，將所有表情的ELM訓(xùn)練模型組合成ELM表情分類器；
[0016] 6)對(duì)待測(cè)試的表情圖像，進(jìn)行步驟1)?步驟4)的處理后，利用所述步驟5)的ELM 表情分類器進(jìn)行測(cè)試，識(shí)別該表情圖像的表情。
[0017] 與現(xiàn)有技術(shù)相比，本發(fā)明所具有的有益效果為：本發(fā)明通過對(duì)一幅表情圖像進(jìn)行 處理，定位人臉，實(shí)現(xiàn)表情區(qū)域的分割，采用圖像分割技術(shù)得到表情區(qū)域的具體表情信息， 并且可以省略不必要的數(shù)據(jù)信息，降低了處理數(shù)據(jù)處理難度；采用ELM進(jìn)行表情識(shí)別，使 得表情訓(xùn)練調(diào)整的參數(shù)少、訓(xùn)練時(shí)間短、功耗低，在不受光照影響的情況下提高了表情識(shí)別 率。

【專利附圖】

【附圖說明】
[0018] 圖1為本發(fā)明一實(shí)施例方法流程圖；
[0019] 圖2為本發(fā)明一實(shí)施例人臉分割流程圖；
[0020] 圖3為本發(fā)明一實(shí)施例ELM單隱層前饋神經(jīng)網(wǎng)絡(luò)；
[0021] 圖4為本發(fā)明一實(shí)施例ELM模型建立流程圖。

【具體實(shí)施方式】
[0022] 如圖1所示，本發(fā)明總體流程如下：首先是表情圖像預(yù)處理，人臉檢測(cè)和表情特征 區(qū)域獲??；其次對(duì)獲得的表情區(qū)域采用Gabor濾波器進(jìn)行表情特征提取，再次對(duì)提取的表 情特征向量用2DPCA進(jìn)行降維；最后對(duì)降維后的表情特征用ELM訓(xùn)練分類器進(jìn)行訓(xùn)練，得到 表情分類器最終達(dá)到表情識(shí)別。
[0023]本發(fā)明具體步驟如下：
[0024]St印1:表情圖像預(yù)處理。輸入一張彩色表情圖像，首先進(jìn)行光照補(bǔ)償，然后對(duì)圖 像進(jìn)行灰度化處理轉(zhuǎn)化為灰度圖像，最后對(duì)此圖像進(jìn)行二值化。
[0025] 1)光照補(bǔ)償：光照補(bǔ)償是針對(duì)輸入的彩色表情圖像來說的。對(duì)輸入圖片進(jìn)行光照 補(bǔ)償：即計(jì)算某范圍的像素灰度總值T，0<T< 255,再設(shè)定一個(gè)閾值

【權(quán)利要求】
1. 一種基于ELM的人臉表情識(shí)別方法，其特征在于，包括以下步驟： A、 獲取ELM表情分類器： 1) 對(duì)彩色表情圖像進(jìn)行預(yù)處理，得到預(yù)處理后的表情圖像； 2) 采用Adaboost分類器對(duì)預(yù)處理后的表情圖像進(jìn)行人臉檢測(cè)，得到人臉區(qū)域，并對(duì)人 臉區(qū)域中含有表情信息的區(qū)域進(jìn)行分割； 3) 對(duì)上述步驟2)處理后的人臉表情圖像I，用Gabor濾波器對(duì)人臉表情圖像I進(jìn)行特 征提取，得到人臉表情圖像I的總特征（F1J2,...，F(xiàn)k};其中，k為人臉表情圖像I的總像 素； 4) 利用2DPCA對(duì)上述總特征（F11F2,...，F(xiàn)k}進(jìn)行降維，得到降維后的表情特征 5) 將歹作為ELM神經(jīng)網(wǎng)絡(luò)的輸入，對(duì)F進(jìn)行訓(xùn)練，得到每一種表情的ELM訓(xùn)練模型，將 所有表情的ELM訓(xùn)練模型組合成ELM表情分類器； B、 利用所述ELM表情分類器進(jìn)行表情識(shí)別：對(duì)待測(cè)試的表情圖像，進(jìn)行步驟1)?步驟 4)的處理后，利用所述步驟5)的ELM表情分類器對(duì)所述待測(cè)試的表情圖像降維后的表情特 征進(jìn)行測(cè)試，識(shí)別該表情圖像的表情。
2. 根據(jù)權(quán)利要求1所述的基于ELM的人臉表情識(shí)別方法，其特征在于，所述步驟1)中， 對(duì)彩色表情圖像進(jìn)行預(yù)處理的具體過程如下：對(duì)彩色表情圖像進(jìn)行光照補(bǔ)償，得到均衡的 光強(qiáng)表情圖片，對(duì)所述光強(qiáng)表情圖片進(jìn)行直方圖均衡化。
3. 根據(jù)權(quán)利要求2所述的基于ELM的人臉表情識(shí)別方法，其特征在于，所述步驟2)中， 人臉檢測(cè)和分割的具體過程如下： 1) 采用Adaboost分類器對(duì)直方圖均衡化后的預(yù)處理圖像進(jìn)行人臉檢測(cè)，并切割出人 臉部分； 2) 判斷表情預(yù)處理圖像是否傾斜，若傾斜，則進(jìn)入步驟3);否則，進(jìn)入步驟）； 3) 計(jì)算兩眼瞳孔位置，然后判斷兩眼瞳孔是否在同一條水平線上，如果不在同一條水 平線上，則根據(jù)兩眼瞳孔斜度確定要旋轉(zhuǎn)的方向和角度； 4) 旋轉(zhuǎn)擺正預(yù)處理圖像后，將人臉部分統(tǒng)一剪裁為MXN大小的區(qū)域，所述區(qū)域的定位 是以雙眼為出發(fā)點(diǎn)，向四周擴(kuò)展到MXN大小；剪裁后，形成MXN的規(guī)整人臉表情圖片； 5) 對(duì)人臉表情圖片表情區(qū)域進(jìn)行尺寸歸一化，灰度均衡化。
【文檔編號(hào)】G06K9/66GK104318221SQ201410616659
【公開日】2015年1月28日 申請(qǐng)日期:2014年11月5日 優(yōu)先權(quán)日:2014年11月5日
【發(fā)明者】劉振燾, 譚冠政, 眭貴田, 李凱, 王晶, 湯晅恒 申請(qǐng)人:中南大學(xué)