專(zhuān)利名稱(chēng)：一種基于人臉表情的游戲角色控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像分析與識(shí)別技術(shù)領(lǐng)域，特別是基于人臉表情的交互方法。

背景技術(shù)：
近年來(lái)，隨著計(jì)算機(jī)技術(shù)的革新，以計(jì)算機(jī)游戲?yàn)榇淼臄?shù)字娛樂(lè)產(chǎn)業(yè)飛速發(fā)展。作為一類(lèi)特殊的應(yīng)用軟件，計(jì)算機(jī)游戲通過(guò)向游戲用戶提供一系列的菜單選項(xiàng)和操作指令，實(shí)現(xiàn)用戶與游戲之間的交互操作。用于游戲的傳統(tǒng)人機(jī)交互方式有鼠標(biāo)鍵盤(pán)、游戲桿及專(zhuān)用游戲設(shè)備等，以手動(dòng)和有線連接為主。伴隨計(jì)算機(jī)游戲種類(lèi)與內(nèi)容的不斷擴(kuò)展豐富，其操作復(fù)雜性劇增，仍然僅采用傳統(tǒng)交互方式，越來(lái)越難于控制。
鼠標(biāo)和鍵盤(pán)是最常用的設(shè)備，它們將用戶手的敲擊、移動(dòng)轉(zhuǎn)化成電信號(hào)并最終成為一種供系統(tǒng)響應(yīng)的事件。專(zhuān)用游戲設(shè)備是鼠標(biāo)和鍵盤(pán)在功能上的擴(kuò)展，但其原理大致相同。前者相比于后者的優(yōu)越性體現(xiàn)在操作性上，如可玩性和方便性。
傳統(tǒng)的交互方式基本上是以事件來(lái)驅(qū)動(dòng)的，這是一種低層次的交互，因?yàn)樗⒉荒芾斫庥螒虻膬?nèi)容，所以用戶要實(shí)現(xiàn)一種有語(yǔ)義的控制往往需要一系列的低層次操作。


發(fā)明內(nèi)容
為了解決傳統(tǒng)交互方式，缺乏語(yǔ)義理解的能力，本發(fā)明的目的是要用玩家的人臉表情來(lái)與游戲交互，作為一種針對(duì)傳統(tǒng)的鍵盤(pán)鼠標(biāo)所代表的交互方式的補(bǔ)充，為此，本發(fā)明提供了一種基于人臉表情的游戲角色控制方法。
為了實(shí)現(xiàn)上述目的，本發(fā)明提出的技術(shù)方案是一種基于玩家人臉表情的游戲角色控制方法其方法步驟如下 步驟1通過(guò)統(tǒng)計(jì)的方法對(duì)人臉目標(biāo)樣本進(jìn)行學(xué)習(xí)，得到待檢測(cè)玩家人臉目標(biāo)的模式； 步驟2通過(guò)圖像輸入設(shè)備采集待檢測(cè)玩家視頻圖像； 步驟3對(duì)待檢測(cè)玩家視頻圖像進(jìn)行預(yù)處理，生成預(yù)處理圖像； 步驟4利用學(xué)習(xí)到的目標(biāo)模式，在預(yù)處理圖像上進(jìn)行人臉檢測(cè)和跟蹤，生成人臉區(qū)閾； 步驟5利用人臉特征點(diǎn)定位算法，在人臉區(qū)域上進(jìn)行人臉對(duì)齊，得到人臉特征點(diǎn)位置； 步驟6在獲得人臉特征點(diǎn)位置的基礎(chǔ)上，進(jìn)行表情分析，包括眼睛、嘴唇和眉毛的運(yùn)動(dòng)信息； 步驟7將人臉表情信息用于控制游戲角色。
根據(jù)本發(fā)明的實(shí)施例，所述圖像預(yù)處理步驟采用像素的均值和方差算法來(lái)進(jìn)行光線矯正。
根據(jù)本發(fā)明的實(shí)施例，所述人臉檢測(cè)和跟蹤的步驟包括 步驟41通過(guò)學(xué)習(xí)到的人臉模式，在預(yù)處理圖像上搜索人臉目標(biāo)； 步驟42通過(guò)模板匹配，對(duì)人臉局部進(jìn)行跟蹤，來(lái)實(shí)現(xiàn)整個(gè)人臉的跟蹤。
根據(jù)本發(fā)明的實(shí)施例，所述人臉對(duì)齊步驟包括 步驟51通過(guò)主動(dòng)外觀模型，對(duì)預(yù)處理圖像進(jìn)行人臉特征點(diǎn)定位； 步驟52對(duì)人臉特征點(diǎn)的位置進(jìn)行平滑處理。
根據(jù)本發(fā)明的實(shí)施例，所述人臉表情分析包括 步驟61通過(guò)主動(dòng)外觀模型，對(duì)人臉表情姿態(tài)進(jìn)行判別； 步驟62通過(guò)歷史運(yùn)動(dòng)圖，對(duì)眉毛運(yùn)動(dòng)進(jìn)行判別； 步驟63通過(guò)動(dòng)態(tài)閥值法，對(duì)嘴唇狀態(tài)進(jìn)行判別； 步驟64通過(guò)神經(jīng)網(wǎng)絡(luò)的方法，對(duì)眼睛狀態(tài)進(jìn)行判別。
根據(jù)本發(fā)明的實(shí)施例，所述游戲角色的驅(qū)動(dòng)包括 步驟71將人臉的姿態(tài)參數(shù)，用于控制動(dòng)畫(huà)角色的頭部姿態(tài)； 步驟72將眉毛運(yùn)動(dòng)的位移信息，用于控制動(dòng)畫(huà)角色眉毛的運(yùn)動(dòng)； 步驟73將嘴唇的張開(kāi)程度信息，用于控制動(dòng)畫(huà)角色嘴唇的張開(kāi)程度； 步驟74將眼睛的睜開(kāi)程度信息，用于控制動(dòng)畫(huà)角色眼睛的睜開(kāi)程度。
本發(fā)明的有益效果采用玩家臉部的表情控制游戲角色，就是用玩家的表情信息作為傳統(tǒng)的鍵盤(pán)鼠標(biāo)交互方式的補(bǔ)充，來(lái)豐富人機(jī)交互的方式。它僅通過(guò)攝像頭拍攝玩家人臉，在計(jì)算機(jī)中進(jìn)行表情分析和識(shí)別，并將結(jié)果轉(zhuǎn)化為游戲的控制指令，實(shí)現(xiàn)對(duì)游戲中角色表情的直接控制，以擴(kuò)展傳統(tǒng)的游戲交互方式。由于游戲?qū)?shí)時(shí)性要求高，因此視頻檢測(cè)方法必需實(shí)時(shí)、魯棒。為便于用戶使用，這種控制方法還必需易于實(shí)現(xiàn)和操作。本發(fā)明能使游戲用戶期望能以更自然、更智能的新方式進(jìn)行交互操作，如采用頭部的運(yùn)動(dòng)、人臉五官的運(yùn)動(dòng)等表情運(yùn)動(dòng)，由此可使游戲更具交互性和沉浸感。隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，應(yīng)用視覺(jué)進(jìn)行自然的人機(jī)交互已經(jīng)成為可能，由于攝像頭已經(jīng)成為計(jì)算機(jī)常用的配置，這種技術(shù)的應(yīng)用也就具有廣闊的前景。



圖1為本發(fā)明的基于玩家表情的游戲角色控制方法流程圖。
圖2為采用本發(fā)明方法的游戲角色控制示意圖。
圖3為本發(fā)明實(shí)施例Haar特征結(jié)構(gòu)。
圖4為本發(fā)明實(shí)施例人臉上一個(gè)顯著的Haar特征。
圖5為本發(fā)明實(shí)施例嘴唇狀態(tài)的判別流程圖。

具體實(shí)施例方式 下面將結(jié)合附圖對(duì)本發(fā)明加以詳細(xì)說(shuō)明，應(yīng)指出的是，所描述的實(shí)施例僅旨在便于對(duì)本發(fā)明的理解，而對(duì)其不起任何限定作用。
根據(jù)本發(fā)明的圖1所示，為本發(fā)明的基于玩家表情的游戲角色控制方法流程圖，圖2為采用本發(fā)明方法的游戲角色控制示意圖，圖中窗口右上角顯示的是玩家的視頻圖像，窗口右下角是供玩家選擇的用于貼到人臉上的虛擬人物和道具，窗口右邊顯示的是被驅(qū)動(dòng)的動(dòng)畫(huà)人物，玩家可以做出睜閉眼、張閉嘴、擠眉毛等動(dòng)作來(lái)驅(qū)動(dòng)動(dòng)畫(huà)人物做相應(yīng)的表情運(yùn)動(dòng)。
圖1中所示具體實(shí)施步驟如下 步驟1離線學(xué)習(xí)通過(guò)統(tǒng)計(jì)的方法對(duì)人臉目標(biāo)樣本進(jìn)行學(xué)習(xí)，得到待檢測(cè)玩家人臉目標(biāo)的模式； 步驟2一步驟3獲取圖像通過(guò)高速圖像捕獲模塊從圖象輸入設(shè)備實(shí)時(shí)獲取待檢測(cè)玩家視頻圖像；對(duì)待檢測(cè)玩家視頻圖像進(jìn)行預(yù)處理，生成預(yù)處理圖像； 步驟4基于統(tǒng)計(jì)的人臉檢測(cè)和跟蹤考慮到算法的簡(jiǎn)便性與魯棒性的要求，設(shè)計(jì)了基于統(tǒng)計(jì)學(xué)習(xí)的檢測(cè)方法，另外通過(guò)對(duì)亮度的分析補(bǔ)償，在預(yù)處理圖像上搜索人臉目標(biāo)；從而盡可能地消除光照變化的影響；當(dāng)用人臉檢測(cè)初始化后，在后續(xù)幀用模板匹配的方法進(jìn)行人臉跟蹤； 步驟5人臉特征點(diǎn)對(duì)齊在得到人臉區(qū)域后，就可以用主動(dòng)外觀模型進(jìn)行人臉特征點(diǎn)的定位算法，在人臉區(qū)域上進(jìn)行人臉對(duì)齊，得到各個(gè)人臉特征點(diǎn)位置； 步驟6人臉表情分析這里指的表情分析是指人五官的相對(duì)運(yùn)動(dòng)和狀態(tài)。人頭部的姿態(tài)可以用主動(dòng)外觀模型的參數(shù)來(lái)線性估計(jì)；眉毛的運(yùn)動(dòng)采用歷史運(yùn)動(dòng)圖來(lái)計(jì)算；人眼睛的運(yùn)動(dòng)采用基于Gabor特征的神經(jīng)網(wǎng)絡(luò)方法來(lái)判別；人臉的嘴唇狀態(tài)采用動(dòng)態(tài)閥值和矩估計(jì)的方法來(lái)得到。
步驟7動(dòng)畫(huà)角色驅(qū)動(dòng)可以用由步驟6得到的表情數(shù)據(jù)來(lái)驅(qū)動(dòng)動(dòng)畫(huà)角色。
本發(fā)明實(shí)現(xiàn)方法需要的硬件為計(jì)算機(jī)及圖像采集設(shè)備。
所述的角色即游戲中玩家控制的人物或動(dòng)畫(huà)等有表情動(dòng)作的對(duì)象；人臉特征點(diǎn)對(duì)齊，即用算法自動(dòng)找到人臉五官和輪廓的準(zhǔn)確位置；頭部的姿態(tài)指頭部在空間中的三個(gè)方向的角度；表情信息指臉部五官的運(yùn)動(dòng)信息和狀態(tài)信息；其它計(jì)算圖像算法如Adaboost、歷史運(yùn)動(dòng)圖、Gabor特征、神經(jīng)網(wǎng)絡(luò)等，將會(huì)在后面詳細(xì)介紹。
關(guān)鍵技術(shù)的實(shí)現(xiàn)過(guò)程 一、本發(fā)明所述的人臉檢測(cè)是通過(guò)基于Adaboost的統(tǒng)計(jì)學(xué)習(xí)方法來(lái)實(shí)現(xiàn)，它包括兩個(gè)步驟(1)獲取人臉樣本；(2)統(tǒng)計(jì)學(xué)習(xí)人臉模式。
(1)人臉樣本庫(kù)的制作。人臉樣本庫(kù)包含正樣本庫(kù)和負(fù)樣本庫(kù)。用圖像采集設(shè)備采集多個(gè)人分別在不同的光線，不同的背景下的多個(gè)姿態(tài)的人臉圖片若干，然后手工剪裁出只包含一個(gè)人臉的區(qū)域，放縮到同一個(gè)尺寸下，再用進(jìn)行預(yù)處理。這樣就獲得了可直接用于統(tǒng)計(jì)學(xué)習(xí)的人臉正樣本庫(kù)。負(fù)樣本庫(kù)的單個(gè)樣本不包含人臉或包括人臉但不只一個(gè)。正樣本庫(kù)是事先制作好的，是固定的，而負(fù)樣本是的統(tǒng)計(jì)學(xué)習(xí)過(guò)程中生成的，是變化的。
(2)用于學(xué)習(xí)人臉模式的統(tǒng)計(jì)學(xué)習(xí)方法是Adaboost算法。
Adaboost意為Adaptive Boost，是AT&T實(shí)驗(yàn)室提出的一種自提升Boosting算法。它通過(guò)調(diào)用弱學(xué)習(xí)器不斷學(xué)習(xí)訓(xùn)練樣本中的難學(xué)習(xí)的樣本，從而達(dá)到較高的泛化精度。
基于Adaboost的人臉檢測(cè)算法是一種統(tǒng)計(jì)學(xué)習(xí)算法，它通過(guò)對(duì)Haar特征的統(tǒng)計(jì)來(lái)判別是不是人臉。Haar特征是Haar小波變化而來(lái)，其通過(guò)相鄰區(qū)域的灰度差，也就是亮度關(guān)系來(lái)描述目標(biāo)。圖3所示的是四種非常簡(jiǎn)單的Haar特征，其中每一個(gè)框代表了圖像子窗口，分別計(jì)算子窗口內(nèi)所有灰色矩形區(qū)域內(nèi)像素灰度值的和與所有白色矩形區(qū)域內(nèi)像素灰度值的和，兩者的差即為對(duì)應(yīng)特征的值。人臉可以通過(guò)若干這樣的Haar特征來(lái)描述。其物理意義是十分明確的，如圖4，對(duì)人臉樣本來(lái)說(shuō)中間區(qū)域的應(yīng)該比兩側(cè)區(qū)域亮，而非人臉樣本不具有這樣的特征，只要能找到足夠多這樣的特征，就能將人臉和非人臉?lè)珠_(kāi)。
Adaboost算法的主要過(guò)程是首先給樣本集合，然后對(duì)該樣本集合進(jìn)行循環(huán)操作，每次循環(huán)首先得到一個(gè)弱分類(lèi)器，然后計(jì)算該假設(shè)的錯(cuò)誤率，根據(jù)該錯(cuò)誤率改變每個(gè)例子的權(quán)重進(jìn)入下一個(gè)循環(huán)，若干個(gè)弱分類(lèi)級(jí)聯(lián)組成一個(gè)強(qiáng)分類(lèi)器。其具體過(guò)程如下 Adaboost算法流程 給定樣本(x1，y1)，…，(xn，yn)，對(duì)m個(gè)負(fù)樣本，y1＝0；對(duì)l個(gè)正樣本y1＝1，n＝m+l。
分別對(duì)負(fù)樣本正樣本初始化權(quán) t＝1，…，T 1.歸一化權(quán) 2.對(duì)于每一特征j，訓(xùn)練出一個(gè)弱分類(lèi)器hj，計(jì)算出與之對(duì)應(yīng)的錯(cuò)誤率
3.選擇錯(cuò)誤率

最小的

。
4.更新權(quán)， 其中，

若分類(lèi)正確，ej＝1，否則ej＝0。
最終T個(gè)弱分類(lèi)器組成一個(gè)強(qiáng)分類(lèi)器

其中， 二、本發(fā)明所述的圖像預(yù)處理步驟包括采用像素的均值和方差算法來(lái)進(jìn)行光線矯正。
具體地，圖像的預(yù)處理方法 對(duì)一幅圖像，求取整幅圖像灰度值的均值和方差。然后對(duì)于圖像中每一個(gè)像素，將其灰度值減去均值然后除以方差得到的值作為新的灰度值，這樣處理后的圖像就是進(jìn)行光線矯正好的圖像。
三、本發(fā)明所述檢測(cè)與跟蹤的步驟包括 步驟41通過(guò)學(xué)習(xí)到的人臉模式，在經(jīng)過(guò)預(yù)處理的圖像上搜索人臉目標(biāo)； 步驟42通過(guò)對(duì)檢測(cè)到的人臉進(jìn)行特征分析，并建立人臉模板，對(duì)于后繼圖像幀用模板匹配算法來(lái)搜索當(dāng)前的人臉區(qū)域。具體方法是 步驟41由人臉模式檢測(cè)人臉，過(guò)程如下 在人臉可能出現(xiàn)的區(qū)域(由上一次檢測(cè)的結(jié)果預(yù)測(cè)到)內(nèi)，在不同尺度下取候選人臉圖片的一系列有用Haar特征(由Adaboost算法得取)送入學(xué)習(xí)到的分類(lèi)器，分類(lèi)器輸出其是否為人臉的判斷結(jié)果。
步驟42用步驟41得到的結(jié)果，建立人臉模板。針對(duì)后繼圖像幀，以上一幀中人臉的位置為初始點(diǎn)，獲得人臉區(qū)域，將此區(qū)域與模板作差，然后通過(guò)牛頓梯度下降算法最小化這個(gè)差值來(lái)更新人臉區(qū)域的相似變換參數(shù)，最后得到當(dāng)前圖像幀中人臉的位置。
四、本發(fā)明所述的人臉特征點(diǎn)對(duì)齊是用主動(dòng)外觀模型來(lái)實(shí)現(xiàn)。
步驟51通過(guò)主動(dòng)外觀模型，對(duì)預(yù)處理圖像進(jìn)行人臉特征點(diǎn)定位； 步驟52對(duì)人臉特征點(diǎn)的位置進(jìn)行平滑處理。
主動(dòng)外觀模型是一種基于統(tǒng)計(jì)的形狀對(duì)齊方法。為了便于描述，這里先介紹一種與之相關(guān)的算法，即主動(dòng)形狀模型。
主動(dòng)形狀模板是一種參數(shù)變形模板基于點(diǎn)分布模型的方法，它從訓(xùn)練集中學(xué)習(xí)到形狀的一個(gè)統(tǒng)計(jì)模式，。這就是點(diǎn)分布模式，點(diǎn)分布模式然后用于將已經(jīng)模板其通過(guò)變形匹配得到未變知的形狀上。作為一種統(tǒng)計(jì)模型，它也分為訓(xùn)練和搜索兩個(gè)階段 主動(dòng)形狀模板基本思想是主成分分析，即目標(biāo)形狀可以表達(dá)為一系列的基本形狀的線性組合。訓(xùn)練的目的是找到這些基本形狀。訓(xùn)練地過(guò)程很簡(jiǎn)單，即將訓(xùn)練集中的形狀規(guī)范化后，進(jìn)行特征值和特征向量分解，特征向量即為基本形狀，特征值反映了樣本形狀在這個(gè)基本形狀上的分布情況。形狀模板的訓(xùn)練過(guò)程還需要對(duì)形狀上每個(gè)特征點(diǎn)附近的梯度信息進(jìn)行主成分分析，建立局部紋理模型，用于搜索過(guò)程中點(diǎn)的更新。
主動(dòng)形狀模板的搜索過(guò)程為先初始化平均形狀，然后每個(gè)點(diǎn)利用其附近的梯度信息與訓(xùn)練得到的梯度信息求明氏距離。在一點(diǎn)范圍內(nèi)，用明氏距離最小的點(diǎn)來(lái)更新這個(gè)點(diǎn)。最終平均形狀被更新，投影到模型空間中(即投影到基本形狀上)，就得到了模型空間中的一個(gè)形狀實(shí)例。再將這個(gè)形狀作為初始化形狀重復(fù)以上過(guò)程，直至找到最終形狀。
主動(dòng)外觀模板是主動(dòng)形狀模板的改進(jìn)模型，主動(dòng)形狀模板只利用了形狀信息和點(diǎn)局部的梯度信息，容易在匹配時(shí)失敗。主動(dòng)外觀模型在統(tǒng)計(jì)形狀模型的基礎(chǔ)上，進(jìn)一步對(duì)對(duì)象紋理(將人臉圖像變形到平均形狀得到的形狀無(wú)關(guān)圖像)進(jìn)行統(tǒng)計(jì)建模，將對(duì)象的形狀和紋理信息綜合到了一個(gè)框架下。
搜索過(guò)程采用基于紋理預(yù)測(cè)參數(shù)變化的啟發(fā)式搜索策略。假設(shè)模型參數(shù)變化及相似變換參數(shù)的變化與輸入圖像和模型紋理之間存在一定程度的線性關(guān)系，然后通過(guò)線性回歸進(jìn)行參數(shù)預(yù)測(cè)進(jìn)而得到模型參數(shù)和相似變換參數(shù)。
五、本發(fā)明所述的表情分析主要包括以下幾個(gè)部分 所述人臉表情分析包括 步驟61通過(guò)主動(dòng)外觀模型，對(duì)人臉表情姿態(tài)進(jìn)行判別； 步驟62通過(guò)歷史運(yùn)動(dòng)圖，對(duì)眉毛運(yùn)動(dòng)進(jìn)行判別； 步驟63通過(guò)動(dòng)態(tài)閥值法，對(duì)嘴唇狀態(tài)進(jìn)行判別； 步驟64通過(guò)神經(jīng)網(wǎng)絡(luò)的方法，對(duì)眼睛狀態(tài)進(jìn)行判別。
頭部姿態(tài)的獲取 主動(dòng)外觀模型中的形狀模型包括了形狀的姿態(tài)信息，試驗(yàn)表明，一個(gè)方向的姿態(tài)與某個(gè)形狀參數(shù)存在近似的線性關(guān)系，因?yàn)橛螒蚩刂撇⒉恍枰^對(duì)精確的數(shù)據(jù)，所以這種近似是可取的。其計(jì)算公式如下 αyaw＝3.3b4 αalt＝5.7b5 其中，b1，b2，b3，b4，b5為形狀模型的前6個(gè)參數(shù)。
眉毛運(yùn)動(dòng)信息的獲取 眉毛的運(yùn)動(dòng)可以從兩幀之間的差來(lái)感知。在應(yīng)用中，可以假定眉毛不會(huì)長(zhǎng)時(shí)間偏離原來(lái)的位置。這樣其運(yùn)動(dòng)的趨勢(shì)就可以用歷史運(yùn)動(dòng)信息圖來(lái)得到。歷史運(yùn)動(dòng)圖是一種很實(shí)用的運(yùn)動(dòng)分析方法?；舅枷胧乔竺繋牟罘謭D，如果像素有運(yùn)動(dòng)就將其標(biāo)定為一個(gè)值，同時(shí)將前若干幀的差分值減小一定量。這樣，就可以得到一幅由明到暗的圖像，亮的部分是最新的運(yùn)動(dòng)的位置，暗的部分是若干時(shí)間前運(yùn)動(dòng)留下的痕跡。這個(gè)由暗到明的方向正是運(yùn)動(dòng)的方向。
眼睛狀態(tài)的判別 實(shí)施例是采用基于Gabor特征的神經(jīng)網(wǎng)絡(luò)來(lái)判別眼睛狀態(tài)的。Gabor特征是一種方便的局部特征，它可以看作一個(gè)對(duì)方向和尺度敏感的有方向性的顯微鏡，能夠檢測(cè)(響應(yīng))圖像中一些具有相應(yīng)的方向頻率信息的、局部的顯著特征，從而可以形成亮度圖像的局部特征圖譜，這些局部特征形成了原始輸入圖像的一種魯棒、緊湊的特征表示。
它的表達(dá)式為 其中，μ和v定義了Gabor核的方向和尺度， z＝(x，y)，kv＝kmax/fv，kmax＝π/2，φμ＝2πμ/8. 實(shí)施中選擇了五個(gè)尺度(v∈{0，1，2，3，4，5})八個(gè)方向(μ∈{0，1，2，3，4，5，6，7})的Gabor特征。
神經(jīng)網(wǎng)絡(luò)是一種簡(jiǎn)單的分類(lèi)器，本發(fā)明采取的是三層BP神經(jīng)網(wǎng)絡(luò)。輸入層、隱藏層和輸出層的神經(jīng)元個(gè)數(shù)分別為120，15和2。
嘴唇狀態(tài)的判別 圖5說(shuō)明了嘴唇狀態(tài)分析的整個(gè)流程 (1)人臉關(guān)鍵點(diǎn)定位算法可以定位到嘴唇的區(qū)域； (2)在嘴唇區(qū)域進(jìn)行光線矯正后，用動(dòng)態(tài)閥值法對(duì)其進(jìn)行二值化； (3)利用嘴唇張開(kāi)時(shí)，其內(nèi)部的灰度應(yīng)該比周?chē)陌祦?lái)確定嘴唇內(nèi)部的區(qū)域； (4)計(jì)算出包圍嘴唇的橢圓的大小和方向。其計(jì)算公式如下 其中， Mij＝∑x∑yxiyjI(x，y)， 其兩個(gè)軸的長(zhǎng)度可由下面的兩個(gè)式子得到 其中， 短軸與長(zhǎng)軸的比值表明了嘴唇張開(kāi)的程度。
六、本發(fā)明所述游戲角色控制是指用提取的表情信息控制游戲角色做相應(yīng)的動(dòng)作。所述游戲角色的控制驅(qū)動(dòng)包括 步驟71將人臉的姿態(tài)參數(shù)，用于控制動(dòng)畫(huà)角色的頭部姿態(tài)； 步驟72將眉毛運(yùn)動(dòng)的位移信息，用于控制動(dòng)畫(huà)角色眉毛的運(yùn)動(dòng)； 步驟73將嘴唇的張開(kāi)程度信息，用于控制動(dòng)畫(huà)角色嘴唇的張開(kāi)程度； 步驟74將眼睛的睜開(kāi)程度信息，用于控制動(dòng)畫(huà)角色眼睛的睜開(kāi)程度。
在具體實(shí)現(xiàn)的過(guò)程中，提取到的表情信息要經(jīng)過(guò)適當(dāng)處理，這是從游戲穩(wěn)定性的角度考慮，主要是為了抗噪聲。可用的方法有平均法，卡爾曼濾波法等。
上面的描述是用于實(shí)現(xiàn)本發(fā)明及其實(shí)施例，因此，本發(fā)明的范圍不應(yīng)由該描述來(lái)限定。本領(lǐng)域的技術(shù)人員應(yīng)該理解，在不脫離本發(fā)明的范圍的任何修改或局部替換，均屬于本發(fā)明權(quán)利要求來(lái)限定的范圍。
權(quán)利要求
1.一種基于人臉表情的游戲角色控制方法，其特征在于，包括如下步驟
步驟1通過(guò)統(tǒng)計(jì)的方法對(duì)人臉目標(biāo)樣本進(jìn)行學(xué)習(xí)，得到待檢測(cè)玩家人臉目標(biāo)的模式；
步驟2通過(guò)圖像輸入設(shè)備采集待檢測(cè)玩家視頻圖像；
步驟3對(duì)待檢測(cè)玩家視頻圖像進(jìn)行預(yù)處理，生成預(yù)處理圖像；
步驟4利用學(xué)習(xí)到的目標(biāo)模式，在預(yù)處理圖像上進(jìn)行人臉檢測(cè)和跟蹤，生成人臉區(qū)域；
步驟5利用人臉特征點(diǎn)定位算法，在人臉區(qū)域上進(jìn)行人臉對(duì)齊，得到人臉特征點(diǎn)位置；
步驟6在獲得人臉特征點(diǎn)位置的基礎(chǔ)上，進(jìn)行表情分析，包括眼睛、嘴唇和眉毛的運(yùn)動(dòng)信息；
步驟7將人臉表情信息用于控制游戲角色。
2.根據(jù)權(quán)利要求1所述的基于人臉表情的游戲角色控制方法，其特征在于所述圖像預(yù)處理采用像素的均值和方差算法來(lái)進(jìn)行光線矯正。
3.根據(jù)權(quán)利要求1所述的基于人臉表情的游戲角色控制方法，其特征在于所述人臉檢測(cè)和跟蹤的步驟包括
步驟41通過(guò)學(xué)習(xí)到的人臉模式，在預(yù)處理圖像上搜索人臉目標(biāo)；
步驟42通過(guò)模板匹配，對(duì)人臉局部進(jìn)行跟蹤，來(lái)實(shí)現(xiàn)整個(gè)人臉的跟蹤。
4.根據(jù)權(quán)利要求1所述的基于人臉表情的游戲角色控制方法，其特征在于所述人臉對(duì)齊步驟包括
步驟51通過(guò)主動(dòng)外觀模型，對(duì)預(yù)處理圖像進(jìn)行人臉特征點(diǎn)定位；
步驟52對(duì)人臉特征點(diǎn)的位置進(jìn)行平滑處理。
5.根據(jù)權(quán)利要求1所述的基于人臉表情的游戲角色控制方法，其特征在于所述人臉表情分析包括
步驟61通過(guò)主動(dòng)外觀模型，對(duì)人臉表情姿態(tài)進(jìn)行判別；
步驟62通過(guò)歷史運(yùn)動(dòng)圖，對(duì)眉毛運(yùn)動(dòng)進(jìn)行判別；
步驟63通過(guò)動(dòng)態(tài)閥值法，對(duì)嘴唇狀態(tài)進(jìn)行判別；
步驟64通過(guò)神經(jīng)網(wǎng)絡(luò)的方法，對(duì)眼睛狀態(tài)進(jìn)行判別。
6.根據(jù)權(quán)利要求1所述的基于人臉表情的游戲角色控制方法，其特征在于所述游戲角色的驅(qū)動(dòng)包括
步驟71將人臉的姿態(tài)參數(shù)，用于控制動(dòng)畫(huà)角色的頭部姿態(tài)；
步驟72將眉毛運(yùn)動(dòng)的位移信息，用于控制動(dòng)畫(huà)角色眉毛的運(yùn)動(dòng)；
步驟73將嘴唇的張開(kāi)程度信息，用于控制動(dòng)畫(huà)角色嘴唇的張開(kāi)程度；
步驟74將眼睛的睜開(kāi)程度信息，用于控制動(dòng)畫(huà)角色眼睛的睜開(kāi)程度。
全文摘要
本發(fā)明公開(kāi)一種基于人臉?lè)治黾夹g(shù)的游戲角色控制方法，包括對(duì)從圖像輸入設(shè)備獲得的圖像進(jìn)行簡(jiǎn)單有效的預(yù)處理；通過(guò)統(tǒng)計(jì)學(xué)習(xí)方法進(jìn)行人臉的檢測(cè)和關(guān)鍵點(diǎn)定位；通過(guò)對(duì)定位的結(jié)果進(jìn)行分析，得到人臉的姿態(tài)和表情信息，并將這些信息映射成對(duì)應(yīng)的游戲控制指令，實(shí)現(xiàn)游戲中角色面部的實(shí)時(shí)控制功能。用玩家的人臉信息控制游戲角色，僅通過(guò)攝像頭拍攝玩家的人臉，然后分析其在空間中的狀態(tài)和表情信息，并將結(jié)果轉(zhuǎn)化為游戲角色的控制指令，擴(kuò)展了傳統(tǒng)游戲的互動(dòng)方式。本發(fā)明視頻檢測(cè)方法實(shí)時(shí)、魯棒、易于實(shí)現(xiàn)和操作。本發(fā)明能使游戲用戶以更自然、更智能的新方式進(jìn)行交互操作，如采用自身頭部姿態(tài)、臉部表情等，由此可使游戲更具交互性和沉浸感。
文檔編號(hào)G06K9/00GK101393599SQ200710121978
公開(kāi)日2009年3月25日 申請(qǐng)日期2007年9月19日 優(yōu)先權(quán)日2007年9月19日
發(fā)明者王陽(yáng)生, 王書(shū)昌, 馮雪濤, 汪曉妍, 健 姚 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所, 北京盛開(kāi)交互娛樂(lè)科技有限公司