專利名稱：基于統(tǒng)計(jì)模型的人臉姿勢識別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人臉圖像處理技術(shù)領(lǐng)域的方法，具體的說，涉及的是一種基于統(tǒng)計(jì)模型的人臉姿勢計(jì)算方法，能直接應(yīng)用于三維人臉識別、人機(jī)交互、人臉跟蹤、三維動(dòng)畫等領(lǐng)域。
背景技術(shù)：
人臉姿勢確定是人機(jī)交互中很重要的一個(gè)研究領(lǐng)域。在人機(jī)交互中，一個(gè)很重要的問題是如何確定人的注意焦點(diǎn)，這可以通過人的頭部在深度方向的旋轉(zhuǎn)角度和眼睛的注視方向中推斷出來。因此，大體上頭部和眼睛的注視方向通過計(jì)算臉部的旋轉(zhuǎn)角度得到。更重要的是，一個(gè)人的心情狀態(tài)和他的警戒水平也可以從人臉的方向上推斷出來，比如，通過多幀跟蹤人臉的方向檢測一個(gè)人的點(diǎn)頭工作，可以推斷出這個(gè)人的疲勞水平。人臉姿勢計(jì)算在人臉識別中也有很重要的應(yīng)用?，F(xiàn)有的人臉識別方法中，在約束環(huán)境下采集的人臉圖像(在對象配合的情況下拍攝的正面、中性表情、無遮擋、光照均勻的高質(zhì)量人臉相片)，近年來在對人臉識別系統(tǒng)和商業(yè)系統(tǒng)的FERET和FRVT測試表明識別率可達(dá)到95％以上(使用FERET人臉數(shù)據(jù)庫)。但是在光照的變化、人臉姿態(tài)的變化的環(huán)境下，臉部三維特征投影到二維空間有很大的變化，這樣增加了人臉處理的復(fù)雜性。因此，由于這些因素的影響，要求新的方法出現(xiàn)。三維人臉識別方法可以比較好的解決這些問題，在此算法中，人臉姿態(tài)的計(jì)算是必須要解決的問題之一。
經(jīng)對現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn)，Jeffrey Ng等(Jeffrey Ng，Shaogang GongComposite support vector machines for detection of faces across views and poseestimation，Image and Vision Computing，20(5-6)，2002359-368)(合成的支持向量機(jī)用于多視圖的人臉檢測與姿勢估計(jì))，Image and Vision Computing(圖像和視覺計(jì)算)，20(5-6)，2002359-368)，此方法計(jì)算成本很高，而且需要大量的不同人的不同姿勢的圖像作為訓(xùn)練樣本，所以成本比較高。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足，提出一種基于統(tǒng)計(jì)模型的人臉姿勢識別方法。使其具有比較高的可靠性和穩(wěn)健性，可以廣泛的應(yīng)用于人臉識別、表情識別和人機(jī)交互等領(lǐng)域。
本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，首先在人臉上標(biāo)注出眼眉、眼睛、鼻子、嘴巴等特征點(diǎn)，這些特征點(diǎn)將會(huì)隨著人臉姿勢的變化而變化。因此，通過這些特征點(diǎn)變化，可以知道由于人臉在深度方向上發(fā)生旋轉(zhuǎn)而發(fā)生的形狀變化。然后，使用三角函數(shù)表示人臉姿勢的變化角度。最后，尋求人臉形狀的變化和人臉姿勢的變化角度的映射。從而，通過人臉特征點(diǎn)的變化，可以識別人臉的姿勢。
本發(fā)明用一部分人的各種人臉姿勢圖像作為訓(xùn)練集，然后訓(xùn)練集中的每一幅人臉圖像標(biāo)出人臉的眉毛、眼睛、鼻子、嘴巴等特征點(diǎn)。標(biāo)注特征點(diǎn)的方式有兩種，一種是采用手工的方式，另一種采用跟蹤的方式。把這些特征點(diǎn)坐標(biāo)整合成一個(gè)矢量，這樣訓(xùn)練集中的所有不同姿勢的人臉圖像經(jīng)過相同的操作，形成一個(gè)矢量矩陣。矢量矩陣經(jīng)過對齊等一些重要步驟的處理，得到形狀變化參數(shù)。但是從考慮標(biāo)注點(diǎn)的準(zhǔn)確性來講，在本發(fā)明中，采用手工方式標(biāo)注人臉的特征點(diǎn)。
所述訓(xùn)練集中，每幅人臉的特征點(diǎn)坐標(biāo)用一個(gè)矢量來表示X＝(x1，y1，x2，y2，...，xN，yN)，這里N代表特征點(diǎn)的數(shù)量。訓(xùn)練集中的每幅人臉圖像都標(biāo)出特征點(diǎn)后，形成一個(gè)矢量矩陣Y＝(X1，.....，Xm，......，XM)，這里M代表訓(xùn)練集中人臉圖像的數(shù)量。為了消除人臉在圖像位置中的影響，采用去除重心的方法。在此基礎(chǔ)上尋找人臉形狀由于人臉在深度方向發(fā)生旋轉(zhuǎn)帶來的變化因素。
所述訓(xùn)練集中人臉姿勢的變化采用三角函數(shù)表示。人臉的姿勢變化用三個(gè)旋轉(zhuǎn)角度表示偏航角γ，俯仰角β和航向角α。分別用三角函數(shù)中的正弦和余弦表示。
所述訓(xùn)練集中，尋找人臉形狀的變化與人臉姿勢的變化之間的映射。A:Y→φ。找到他們之間的映射關(guān)系后，輸入一幅新的人臉圖像到系統(tǒng)后，通過特征點(diǎn)就可以識別出人臉的姿勢。
本發(fā)明具有以下優(yōu)點(diǎn)(1)本發(fā)明具有很好的實(shí)時(shí)性。(2)本發(fā)明不需要大量的訓(xùn)練樣本。(3)本發(fā)明使用的人臉圖像是二維人臉圖像，具有不同的人臉姿勢，使用一般的采集設(shè)備，所以成本比較低，采集圖像比較方便。
本發(fā)明識別的人臉姿勢具有比較高的可靠性和穩(wěn)健性，可以廣泛的應(yīng)用于人臉識別、表情識別和人機(jī)交互等領(lǐng)域。


圖1為本發(fā)明人臉特征點(diǎn)的定義圖具體實(shí)施方式
以下結(jié)合具體的實(shí)施例對本發(fā)明的技術(shù)方案作進(jìn)一步詳細(xì)描述。
本發(fā)明的基于統(tǒng)計(jì)模型的人臉姿勢識別的實(shí)現(xiàn)方法按如下步驟進(jìn)行依據(jù)上述附圖1，整個(gè)發(fā)明分為兩大部分訓(xùn)練階段和測試階段。
首先，說明訓(xùn)練階段的具體步驟1.首先，人臉的特征點(diǎn)坐標(biāo)形成一個(gè)矢量Xm=(x1m,y1m,x2m,y2m,...,xmm,ymm,...xNm,yNm).]]>在訓(xùn)練集中，人臉在不同人臉圖像中的位置是不一樣的。為了消除人臉位置的影響，用ux=1NΣn=1Nxnm,]]>uy=1NΣn=1Nynm]]>計(jì)算Xm的重心，則Xm變?yōu)槿缦碌氖噶縓Xm‾=(x1m-ux,y1m-uy,x2m-ux,y2m-uy,...,xmm-ux,ymm-uy,...,xNm-ux,yNm-uy).]]>這樣整個(gè)訓(xùn)練集變成如下的向量矩陣YY‾=(XX1‾,XX2‾,...,XXm‾,...,XXM‾).]]>下面對矩陣YY進(jìn)行對齊的操作，對齊需要如下的計(jì)算步驟首先選擇第一個(gè)向量 為參考，其余的向量通過仿射變換，包括旋轉(zhuǎn)、平移、縮放，使其與第一個(gè)向量最為接近，這樣得到了M個(gè)新的向量，計(jì)算這M個(gè)向量的平均，對這個(gè)平均通過仿射變換使其與第一個(gè)向量最為接近，得到一個(gè)新的平均，然后以該平均為基準(zhǔn)形狀，把N個(gè)向量通過仿射變換使其與該平均最為接近，重復(fù)該過程，直到收斂。為了對齊所有的訓(xùn)練樣本，一般采用Procrustes分析，其基本思想是最小化所有形狀到平均形狀的距離和，即最小化D＝∑|Si-S|2，這可以通過下面的迭代過程實(shí)現(xiàn)●對每個(gè)樣本xi做旋轉(zhuǎn)、縮放、并與樣本x1對齊，因此得到x重復(fù)▲計(jì)算變換后的形狀平均值x，▲將所有樣本旋轉(zhuǎn)、縮放、并與平均形狀對齊，●如果平均形狀x變化不大，即收斂，則算法停止；否則，算法繼續(xù)重復(fù)。訓(xùn)練集中向量對齊后，用下面的矩陣表示YYY‾=(XXX1‾,XXX2‾,...,XXXm‾,...,XXXM‾).]]>用下式計(jì)算YYY的平均形狀矢量μ=1MΣi=1MXXXi‾.]]>然后計(jì)算訓(xùn)練集中的每一個(gè)形狀矢量與平均矢量的偏差dxi‾=XXXi‾-μ.]]>因此，可以得到訓(xùn)練集的協(xié)方差S=1MΣi=1Mdxi‾dxiT‾,]]>用主成分分析協(xié)方差S可以得到下式XXi‾=u+Pbi‾,]]>在式中P是矩陣S特征分解的特征向量，b為形狀矢量，不同的形狀對應(yīng)不用的b。b的合理變化范圍是-3λk≤bk≤3λk,]]>λk是矩陣S的特征值。
2.姿態(tài)參數(shù)的表示。3D臉部角度 被非線性轉(zhuǎn)換到三角函數(shù)表示的矢量φ中。 sin(α-uφ1)，cos(β-uφ2)，sin(β-uφ2)，cos(γ-uφ3)，sin(γ-uφ3))表示轉(zhuǎn)換公式，在式中uφ‾(uφ1,uφ2,uφ3)=1MΣm=1Mφm‾.]]>3.形狀模型參數(shù)與姿態(tài)參數(shù)之間的映射。通過上面兩步求出的形狀模型參數(shù)和姿態(tài)參數(shù)表示，通過下式表示它們之間的映射 在式中，H通過訓(xùn)練集中得到的形狀變化參數(shù)和姿態(tài)參數(shù)得到。這樣通過一些簡單的矩陣運(yùn)算可以得到人臉的姿勢 通過上式可以計(jì)算得到人臉的轉(zhuǎn)換角度。
測試階段輸入一幅新的人臉圖像進(jìn)入系統(tǒng)，首先得到人臉的特征點(diǎn)，這樣得到一個(gè)特征點(diǎn)矢量，可以計(jì)算得到形狀變化量b，這樣就可以通過訓(xùn)練過程中的一些公式計(jì)算得到人臉姿勢參數(shù)。
本發(fā)明的方法能夠獲得較高的測試準(zhǔn)確率，廣泛的應(yīng)用于人臉識別、人機(jī)交互、人臉跟蹤等領(lǐng)域中。
權(quán)利要求
1.一種基于統(tǒng)計(jì)模型的人臉姿勢識別方法，其特征在于，首先在人臉上標(biāo)注出特征點(diǎn)，這些特征點(diǎn)將會(huì)隨著人臉姿勢的變化而變化，通過這些特征點(diǎn)變化能知道由于人臉在深度方向上發(fā)生旋轉(zhuǎn)而發(fā)生的形狀變化，然后，使用三角函數(shù)表示人臉姿勢的變化角度，最后，尋求人臉形狀的變化和人臉姿勢的變化角度的映射，從而通過人臉特征點(diǎn)的變化識別出人臉的姿勢。
2.根據(jù)權(quán)利要求1所述的基于統(tǒng)計(jì)模型的人臉姿勢識別方法，其特征是用一部分人的各種人臉姿勢圖像作為訓(xùn)練集，然后訓(xùn)練集中的每一幅人臉圖像標(biāo)出人臉的眉毛、眼睛、鼻子、嘴巴的特征點(diǎn)，把這些特征點(diǎn)坐標(biāo)整合成一個(gè)矢量，這樣訓(xùn)練集中的所有不同姿勢的人臉圖像經(jīng)過相同的操作，形成一個(gè)矢量矩陣，矢量矩陣經(jīng)過對齊處理，得到形狀變化參數(shù)。
3.根據(jù)權(quán)利要求2所述的基于統(tǒng)計(jì)模型的人臉姿勢識別方法，其特征是所述訓(xùn)練集中，每幅人臉的特征點(diǎn)坐標(biāo)用一個(gè)矢量來表示X＝(x1，y1，x2，y2，…，xN，yN)，這里N代表特征點(diǎn)的數(shù)量，訓(xùn)練集中的每幅人臉圖像都標(biāo)出特征點(diǎn)后，形成一個(gè)矢量矩陣Y＝(X1，……，Xm，……，XM)，這里M代表訓(xùn)練集中人臉圖像的數(shù)量，為了消除人臉在圖像位置中的影響，采用去除重心的方法，在此基礎(chǔ)上尋找人臉形狀由于人臉在深度方向發(fā)生旋轉(zhuǎn)帶來的變化因素。
4.根據(jù)權(quán)利要求1所述的基于統(tǒng)計(jì)模型的人臉姿勢識別方法，其特征是所述使用三角函數(shù)表示人臉姿勢的變化角度，即人臉的姿勢變化用三個(gè)旋轉(zhuǎn)角度表示偏航角γ，俯仰角β和航向角α，分別用三角函數(shù)中的正弦和余弦表示。
5.根據(jù)權(quán)利要求1所述的基于統(tǒng)計(jì)模型的人臉姿勢識別方法，其特征是所述尋求人臉形狀的變化和人臉姿勢的變化角度的映射，即A:Y→φ，找到它們之間的映射關(guān)系后，輸入一幅新的人臉圖像到系統(tǒng)后，通過特征點(diǎn)就識別出人臉的姿勢。
全文摘要
一種圖像處理技術(shù)領(lǐng)域的基于統(tǒng)計(jì)模型的人臉姿勢識別方法。本發(fā)明首先在人臉上標(biāo)注出特征點(diǎn)，這些特征點(diǎn)將會(huì)隨著人臉姿勢的變化而變化，通過這些特征點(diǎn)變化能知道由于人臉在深度方向上發(fā)生旋轉(zhuǎn)而發(fā)生的形狀變化，然后，使用三角函數(shù)表示人臉姿勢的變化角度，最后，尋求人臉形狀的變化和人臉姿勢的變化角度的映射，從而通過人臉特征點(diǎn)的變化識別出人臉的姿勢。本發(fā)明應(yīng)用于人臉識別、人機(jī)交互、表情識別等方面，具有較快的速度和較高的精度。
文檔編號G06K9/64GK1831846SQ20061002587
公開日2006年9月13日 申請日期2006年4月20日 優(yōu)先權(quán)日2006年4月20日
發(fā)明者戈新良, 楊杰, 杜春華, 張?zhí)镪?申請人:上海交通大學(xué)