一種基于aam模型的視頻序列人臉識(shí)別方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了基于AAM模型的視頻序列人臉識(shí)別方法，包括訓(xùn)練步驟和識(shí)別步驟；（1）訓(xùn)練步驟包括：PCA投影；（1-2）LDA投影：通過(guò)LDA投影矩陣WLDA對(duì)PCA投影降維后的特征向量進(jìn)行投影，得到每張訓(xùn)練圖片最佳分類(lèi)特征Γij；（2）識(shí)別步驟包括：（2-1）Adaboost檢測(cè)；（2-2）AAM跟蹤與姿勢(shì)校正；（2-3）PCA投影；（2-4）LDA投影：得到待識(shí)別人臉圖像最佳分類(lèi)特征；（2-5）最近鄰分類(lèi)器決策：待識(shí)別人臉圖像的最佳分類(lèi)特征Γ與各個(gè)訓(xùn)練圖片的最佳分類(lèi)特征Γij的最小歐幾里德距離γ1，將γ1所在分類(lèi)特征所在類(lèi)的人臉圖片判定為識(shí)別結(jié)果。本發(fā)明方法在人臉姿態(tài)多變化的情況下能夠精確的識(shí)別出人臉，具有魯棒性強(qiáng)的優(yōu)點(diǎn)。
【專(zhuān)利說(shuō)明】—種基于AAM模型的視頻序列人臉識(shí)別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種人臉識(shí)別方法，特別涉及一種基于AAM模型的視頻序列人臉識(shí)別方法。
【背景技術(shù)】
[0002]在這個(gè)信息膨脹，計(jì)算機(jī)技術(shù)日新月異的信息時(shí)代，人類(lèi)開(kāi)始希望電腦成為一種能夠用自然語(yǔ)言與之間進(jìn)行交流的機(jī)器，并渴望開(kāi)發(fā)全新概念的人機(jī)界面和人工智能技術(shù)，從而使人們能夠不再依賴(lài)傳統(tǒng)計(jì)算機(jī)的鍵盤(pán)、鼠標(biāo)和顯示設(shè)備等交互設(shè)備。然而，要實(shí)現(xiàn)如此自然的人機(jī)交互就要求計(jì)算機(jī)能夠準(zhǔn)確快速地獲取用戶的身份、狀態(tài)、意圖以及相關(guān)的特征信息。由于人臉?biāo)N(yùn)含的大量信息內(nèi)容是一個(gè)重要的信息傳遞窗口，計(jì)算機(jī)通過(guò)利用人臉面部的獨(dú)一無(wú)二性來(lái)獲取對(duì)象的身份和相關(guān)信息，同時(shí)通過(guò)人臉豐富的表情變化傳達(dá)對(duì)象的狀態(tài)和意圖，使人與計(jì)算機(jī)之間建起一座智能化的橋梁，而這些必然要研究有效的與人臉相關(guān)的圖像處理技術(shù)。
[0003]目前已有的人臉識(shí)別方法中，人臉特征提取方法主要是基于幾何特征，基于模板匹配，基于子空間和基于神經(jīng)網(wǎng)絡(luò)等方法。在基于子空間的提取方法中，主成分分析PCA和Fisher線性判別等方法是比較常用的方法，它們?cè)陟o態(tài)圖像中取得較高的識(shí)別率。但是在視頻序列中，目前的人臉識(shí)別方法必須在用戶配合的情況下才能取得理想識(shí)別效果，如果用戶在識(shí)別過(guò)程中不配合的情況下，識(shí)別效果有可能發(fā)生大幅降低。另外在視頻序列中，由于人臉姿勢(shì)的多變等導(dǎo)致這些方法的識(shí)別率有不同程度的下降。
[0004]活動(dòng)外觀模型(Active Appearance Model,AAM)是廣泛應(yīng)用于模式識(shí)別領(lǐng)域的一種特征點(diǎn)提取方法。基于AAM的人臉特征定位方法在建立人臉模型過(guò)程中，不但考慮局部特征信息，而且綜合考慮到全局形狀和紋理信息，通過(guò)對(duì)人臉形狀特征以及紋理特征進(jìn)行統(tǒng)計(jì)分析，建立人臉混合模型，即最終對(duì)應(yīng)的AAM模型。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種基于AAM模型的視頻序列人臉識(shí)別方法。該方法在人臉姿勢(shì)多變的情況下也能夠精確的識(shí)別出人臉，具有很強(qiáng)的
魯棒性。
[0006]本發(fā)明的目的通過(guò)下述技術(shù)方案實(shí)現(xiàn):一種基于AAM模型的視頻序列人臉識(shí)別方法，包括訓(xùn)練階段和識(shí)別階段；
[0007](I)所述訓(xùn)練階段包括:
[0008](1-1) PCA 投影:
[0009]首先對(duì)訓(xùn)練圖片進(jìn)行歸一化，根據(jù)歸一化后的訓(xùn)練圖片計(jì)算平均臉，將所有歸一化后的訓(xùn)練圖片與平均臉做差值運(yùn)算，得到第一差值；
[0010]然后根據(jù)第一差值構(gòu)建協(xié)方差矩陣，通過(guò)協(xié)方差矩陣前K個(gè)最大特征值的特征向量組成PCA投影矩陣WPCA，作為特征量空間；[0011]最后將第一差值通過(guò)PCA投影矩陣WPCA投影到低維空間，得到降維后的特征向量;
[0012](1-2) LDA 投影:
[0013]首先計(jì)算所有訓(xùn)練圖片樣本經(jīng)PCA投影得到的降維后的特征向量的均值向量m以及第i類(lèi)訓(xùn)練圖片樣本經(jīng)PCA投影得到的降維后的特征向量的均值向量mi ；
[0014]然后根據(jù)均值向量m、mi和計(jì)算訓(xùn)練樣本類(lèi)內(nèi)離散度矩陣Sw和類(lèi)間離散度矩陣Sb,計(jì)算矩陣Sw-1Sb的特征向量，通過(guò)選取S/SB的前L個(gè)最大的特征向量構(gòu)成LDA投影矩陣Wlda;
[0015]最后通過(guò)LDA投影矩陣Wuia對(duì)通過(guò)PCA投影降維后的特征向量進(jìn)行投影，得到每張訓(xùn)練圖片的最佳分類(lèi)特征ru ；
[0016](2)所述識(shí)別階段包括:
[0017](2-1) Adaboost檢測(cè):通過(guò)Adaboost算法標(biāo)識(shí)出測(cè)試視頻幀包含人臉的子區(qū)域；
[0018](2-2) AAM跟蹤與姿勢(shì)校正:首先訓(xùn)練得到AAM模型；然后通過(guò)訓(xùn)練得到的AAM模型對(duì)人臉子區(qū)域進(jìn)行跟蹤；最后采用AAM模型訓(xùn)練時(shí)得到的最終形狀參數(shù)對(duì)人臉的子區(qū)域進(jìn)行姿勢(shì)校正，得到姿勢(shì)校正后的人臉子區(qū)域；
[0019](2-3) PCA 投影:
[0020]首先對(duì)上述得到的姿勢(shì)校正后的人臉子區(qū)域圖片進(jìn)行歸一化，然后與訓(xùn)練階段的PCA投影時(shí)得到的平均臉做差值運(yùn)算，得到第二差值；
[0021]然后將上述第二差值矩陣投影到訓(xùn)練階段得到的PCA投影矩陣WrcA，得到降維后的特征向量rI ;
[0022](2_4)LDA投影:將步驟(2_3)中得到的降維后的特征向量投影到訓(xùn)練階段得到的LDA投影矩陣W.，得到待識(shí)別人臉圖像的最佳分類(lèi)特征；
[0023]( 2-5)最近鄰分類(lèi)器決策:
[0024]首先計(jì)算出各訓(xùn)練圖片最佳分類(lèi)特征與其他訓(xùn)練圖片最佳分類(lèi)特征之間的歐式距離，從中選取出最大的歐式距離值F ；設(shè)定一個(gè)閾值b，該閾值b的大小為最大的歐式距離值F的一半；
[0025]然后計(jì)算步驟(2-4)得到的待識(shí)別人臉圖像的最佳分類(lèi)特征與訓(xùn)練階段得到的各個(gè)訓(xùn)練圖片的最佳分類(lèi)特征的最小歐幾里德距離Y1 ;
[0026]最后將最小歐幾里德距離Y1與閾值b進(jìn)行比較，若大于閾值b，則判斷該待識(shí)別人臉圖像為非訓(xùn)練庫(kù)圖片；若小于閾值b，則將最小歐幾里德距離Y1所在分類(lèi)特征所在類(lèi)的人臉圖片判定為識(shí)別結(jié)果。
[0027]優(yōu)選的，所述步驟(1-1)中計(jì)算得到的平均臉f為:
[0028]
【權(quán)利要求】
1.一種基于AAM模型的視頻序列人臉識(shí)別方法，包括訓(xùn)練階段和識(shí)別階段； (1)所述訓(xùn)練階段包括: (1-1) PCA 投影: 首先對(duì)訓(xùn)練圖片進(jìn)行歸一化，根據(jù)歸一化后的訓(xùn)練圖片計(jì)算平均臉，將所有歸一化后的訓(xùn)練圖片與平均臉做差值運(yùn)算，得到第一差值； 然后根據(jù)第一差值構(gòu)建協(xié)方差矩陣，通過(guò)協(xié)方差矩陣前K個(gè)最大特征值的特征向量組成PCA投影矩陣WrcA，作為特征量空間； 最后將第一差值通過(guò)PCA投影矩陣Vpca投影到低維空間，得到降維后的特征向量； (1-2) LDA 投影: 首先計(jì)算所有訓(xùn)練圖片樣本經(jīng)PCA投影得到的降維后的特征向量的均值向量m以及第i類(lèi)訓(xùn)練圖片樣本經(jīng)PCA投影得到的降維后的特征向量的均值向量mi ； 然后根據(jù)均值向量m、mi和計(jì)算訓(xùn)練樣本類(lèi)內(nèi)離散度矩陣Sw和類(lèi)間離散度矩陣Sb，計(jì)算矩陣S/SB的特征向 量，通過(guò)選取S/SB的前L個(gè)最大的特征向量構(gòu)成LDA投影矩陣Wuia ；最后通過(guò)LDA投影矩陣Wuia對(duì)通過(guò)PCA投影降維后的特征向量進(jìn)行投影，得到每張訓(xùn)練圖片的最佳分類(lèi)特征rij; (2)所述識(shí)別階段包括: (2-1) Adaboost檢測(cè):通過(guò)Adaboost算法標(biāo)識(shí)出測(cè)試視頻幀包含人臉的子區(qū)域；(2-2) AAM跟蹤與姿勢(shì)校正:首先訓(xùn)練得到AAM模型；然后通過(guò)訓(xùn)練得到的AAM模型對(duì)人臉子區(qū)域進(jìn)行跟蹤；最后采用AAM模型訓(xùn)練時(shí)得到的最終形狀參數(shù)對(duì)人臉的子區(qū)域進(jìn)行姿勢(shì)校正，得到姿勢(shì)校正后的人臉子區(qū)域； (2-3) PCA 投影: 首先對(duì)上述得到的姿勢(shì)校正后的人臉子區(qū)域圖片進(jìn)行歸一化，然后與訓(xùn)練階段的PCA投影時(shí)得到的平均臉做差值運(yùn)算，得到第二差值； 然后將上述第二差值矩陣投影到訓(xùn)練階段得到的PCA投影矩陣WrcA，得到降維后的特征向量rI ; (2-4) LDA投影:將步驟(2-3)中得到的降維后的特征向量投影到訓(xùn)練階段得到的LDA投影矩陣Wm，得到待識(shí)別人臉圖像的最佳分類(lèi)特征； (2-5)最近鄰分類(lèi)器決策: 首先計(jì)算出各訓(xùn)練圖片最佳分類(lèi)特征與其他訓(xùn)練圖片最佳分類(lèi)特征之間的歐式距離，從中選取出最大的歐式距離值F ;設(shè)定一個(gè)閾值b,該閾值b的大小為最大的歐式距離值F的一半； 然后計(jì)算步驟(2-4)得到的待識(shí)別人臉圖像的最佳分類(lèi)特征與訓(xùn)練階段得到的各個(gè)訓(xùn)練圖片的最佳分類(lèi)特征的最小歐幾里德距離Y1; 最后將最小歐幾里德距離Y工與閾值b進(jìn)行比較，若大于閾值b，則判斷該待識(shí)別人臉圖像為非訓(xùn)練庫(kù)圖片；若小于閾值b，則將最小歐幾里德距離Y1所在分類(lèi)特征所在類(lèi)的人臉圖片判定為識(shí)別結(jié)果。
2.根據(jù)權(quán)利要求1所述的基于AAM模型的視頻序列人臉識(shí)別方法，其特征在于，所述步驟(1-1)中計(jì)算得到的平均臉f為:
3.根據(jù)權(quán)利要求2所述的基于AAM模型的視頻序列人臉識(shí)別方法，其特征在于，所述步驟(1-2)中所有訓(xùn)練圖片樣本經(jīng)PCA投影得到的降維后的特征向量的均值向量m為:
j
4.根據(jù)權(quán)利要求1所述的基于AAM模型的視頻序列人臉識(shí)別方法，其特征在于，所述步驟(2-2)中AAM跟蹤與姿勢(shì)校正的AAM模型的訓(xùn)練步驟如下: (2-2-1)選取訓(xùn)練對(duì)象為包括正臉、左右側(cè)臉、上仰臉、低頭臉的S個(gè)可靠樣本； (2-2-2)對(duì)可靠樣本進(jìn)行描點(diǎn)，對(duì)人臉的68個(gè)特征明顯的位置進(jìn)行標(biāo)定； (2-2-3)采用Procrustes對(duì)描點(diǎn)后的人臉進(jìn)行對(duì)齊，得到去除平移、尺度和旋轉(zhuǎn)的對(duì)齊人臉； (2-2-4)采用主成分分析方法對(duì)步驟(2-2-3)得到的對(duì)齊人臉進(jìn)行形狀建模，得到形狀參數(shù)P (即扭曲系數(shù))和形狀模型； (2-2-5)從形狀模型中去除平均形狀人臉，然后對(duì)其進(jìn)行delaunay三角劃分，再用分片仿射法使紋理投射到平均形狀中，最后用主成分分析法處理，得到紋理參數(shù)和紋理模型； (2-2-6)根據(jù)上述得到的形狀模型和紋理模型，利用反向組合aam匹配算法分別對(duì)現(xiàn)有形狀模型和紋理模型進(jìn)行訓(xùn)練，得到hessian矩陣。
5.根據(jù)權(quán)利要求4所述的基于AAM模型的視頻序列人臉識(shí)別方法，其特征在于，所述步驟(2-2-1)中可靠樣本的數(shù)量S為100~1000個(gè)。
6.根據(jù)權(quán)利要求4所述的基于AAM模型的視頻序列人臉識(shí)別方法，其特征在于，所述步驟(2-2)中人臉子區(qū)域進(jìn)行跟蹤的過(guò)程如下: (2-2-7)根據(jù)hessian矩陣和形狀模型的形狀參數(shù)P通過(guò)以下分片映射函數(shù)得到形狀參數(shù)增量Δρ:
7.根據(jù)權(quán)利要求6所述的基于AAM模型的視頻序列人臉識(shí)別方法，其特征在于，所述閾值a為500至2000。
8.根據(jù)權(quán)利要求6所述的基于AAM模型的視頻序列人臉識(shí)別方法，其特征在于，所述步驟(2-2)中的姿勢(shì)校正過(guò)程如下:當(dāng)準(zhǔn)確跟蹤到目標(biāo)人臉圖像后，根據(jù)跟蹤迭代過(guò)程中得到的最終形狀參數(shù)P對(duì)人臉的子區(qū)域進(jìn)行姿勢(shì)校正，得到扭轉(zhuǎn)后的形狀I(lǐng) (W(x;p))即為和正臉一致的重建臉。
9.根據(jù)權(quán)利要求1所述的基于AAM模型的視頻序列人臉識(shí)別方法，其特征在于，所述步驟(2-3)中得到降維后的特征向量η為:
η =WpcatU ； 待識(shí)別人臉圖像的最佳分類(lèi)特征gamma為:
T=WldatWpcatU; 其中U為步驟(2-3)中得到的第二差值；其中u=x-f ；x為步驟(2-3)中得到的姿勢(shì)校正后的人臉子區(qū)域歸一化后的圖片，f為步驟(1-1)中得到的平均臉。
10.根據(jù)權(quán)利要求1所述的基于AAM模型的視頻序列人臉識(shí)別方法，其特征在于，所述步驟(2-5)中待識(shí)別人臉圖像的最佳分類(lèi)特征gamma與訓(xùn)練階段得到的各個(gè)訓(xùn)練圖片的最佳分類(lèi)特征gamma ,j的最小歐幾里德距離Y i為:
【文檔編號(hào)】G06K9/00GK103514442SQ201310445776
【公開(kāi)日】2014年1月15日 申請(qǐng)日期:2013年9月26日 優(yōu)先權(quán)日:2013年9月26日
【發(fā)明者】徐向民, 陳曉仕, 黃卓彬, 林旭斌 申請(qǐng)人:華南理工大學(xué)