專利名稱：遠(yuǎn)距離視頻下的正面人體自動身份識別方法
遠(yuǎn)距離視頻下的正面人體自動身份識別方法
(一) 技術(shù)領(lǐng)域 本發(fā)明屬于模式識別技術(shù)領(lǐng)域，具體涉及步態(tài)識別方法。
(二)
背景技術(shù)：
美國國防部高級研究項(xiàng)目署DARPA在2000年資助的HID計(jì)劃中，聯(lián)合了 馬里蘭大學(xué)、麻省理工學(xué)院、卡耐基梅隆大學(xué)等諸多知名院校參與，它的任務(wù)就 是開發(fā)多模式的、大范圍的視覺監(jiān)控技術(shù)以實(shí)現(xiàn)遠(yuǎn)距離下的人的檢測、分類與識 別，從而增強(qiáng)國防、民用等場合免受恐怖分子的襲擊。另外，加拿大、日本、瑞 士等國家的一些高校和研究機(jī)構(gòu)也開始了這方面的積極探索。國內(nèi)也展開了這方 面的研究，中國科學(xué)院自動化所模式識別國家重點(diǎn)實(shí)驗(yàn)室(NLPR)最早就"基于 步態(tài)的身份識別"問題展開了深入的研究。步態(tài)識別是根據(jù)人們走路姿勢的不同 來識別其身份的，步態(tài)識別在門禁系統(tǒng)、安全監(jiān)控、人機(jī)交互、醫(yī)療診斷等領(lǐng)域 具有廣泛的應(yīng)用前景和經(jīng)濟(jì)價(jià)值，因此激發(fā)了國內(nèi)外廣大科研工作者的研究熱 情。與此相關(guān)的公開報(bào)道有- Constantine P P， Michael O， Tomaso P. A general framework for object
detection[C].Sixth International Conference on Computer Vision, 1998:555-562; [2] Oren M, Papageorgiou C, Sinha P, et al. Pedestrian detection using wavelet templates[C〗.IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1997:193-199; [3] Paul Viola, Michael J J. Rapid object detection using a boosted cascade of simple
features[C]. IEEE CWR, 2001; [4] Rainer Lienhart,ochen Maydt. An extended set of haar國like features for rapid
object detection[C]. IEEE ICIP， 2002; [5〗Zhang D, Chen S, Zhou Z . Recognizing face or object from a single image: Linear vs, kernel methods on 2d patterns[C].In: Proceedings of the Joint IAPR International Workshops on Structural and Syntactic Pattern Recognition and Statistical Techniques in Pattern Recognition (S+SSPR'06),HongKong,China,2006:889-897;王海賢.有限混合模型、非線性二維主成分分析及其在模式分類中應(yīng)用[D].安 徽大學(xué)博士學(xué)位論文，2005。
但至今未見成型的步態(tài)識別系統(tǒng)，現(xiàn)有研究停留在理論上。
(三)

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種能夠提高識別精度的遠(yuǎn)距離視頻下的正面人體 自動身份識別方法。
本發(fā)明的目的是這樣實(shí)現(xiàn)的
本發(fā)明的遠(yuǎn)距離視頻下的正面人體自動身份識別方法，包括步態(tài)模塊和人臉 模塊；首先讀入視頻文件，用Adaboost方法檢測行人，若檢測到便自動開啟人 臉模塊和歩態(tài)模塊，分別對步態(tài)和人臉采用核主成分分析(KPCA)進(jìn)行特征提取， 最后采用人臉特征輔助步態(tài)特征在決策級的融合方法進(jìn)行識別。
所述的用Adaboost方法檢測行人，是對讀入的視頻文件采用Adaboost方法 檢測人體，并加入幀間差分方法驗(yàn)證。
所述的步態(tài)模塊是對步態(tài)序列圖像進(jìn)行預(yù)處理，再進(jìn)行步態(tài)周期檢測，最終 將表征步態(tài)特征的步態(tài)能量圖歸一到64*64像素。
所述的人臉模塊是用Adaboost方法檢測人臉，再進(jìn)行膚色驗(yàn)證判斷，將人 臉圖像灰度化并統(tǒng)一歸一到32*32像素。
為了實(shí)現(xiàn)實(shí)時(shí)的自動步態(tài)識別，本發(fā)明設(shè)計(jì)出一套遠(yuǎn)距離視頻下的正面人體 自動身份識別系統(tǒng)。考慮到Comtantine等人[1]使用Adaboost方法對物體檢測提 出了一個整體框架，Oren等人PM吏用Haar小波進(jìn)行行人檢測，P.Viok^提出了一 種基于 Haar 特征的 Adaboost 算法， 己達(dá)到實(shí)時(shí)的效果，Rainer等人采用積分圖 [4]進(jìn)一步降低計(jì)算成本，本發(fā)明也將Adaboost方法嵌入到自動身份識別系統(tǒng)中。
本發(fā)明的主要貢獻(xiàn)和特點(diǎn)在于為遠(yuǎn)距離身份識別提出新的解決思路，采用 人臉特征輔助步態(tài)特征在決策級融合的方法。在單樣本的步態(tài)識別中輔助人臉特 征的優(yōu)點(diǎn)在于，即使步態(tài)訓(xùn)練樣本是單樣本，而人臉圖像是多個的，這樣便從另 外一個角度擴(kuò)充了訓(xùn)練樣本的數(shù)目，有助于身份識別，融合人臉特征可以提高 2.4%的識別精度。
(四)


4圖1是遠(yuǎn)距離視頻下的正面人體自動身份識別系統(tǒng)的模塊組成示意圖2是使用的矩形特征；
圖3是檢測錯誤的人臉情況；
圖4是加入膚色驗(yàn)證的檢測結(jié)果；
圖5是檢測錯誤的人體情況；
圖6是加入差分驗(yàn)證的檢測結(jié)果；
圖7是部分肢體占身高比例；
圖8是單獨(dú)步態(tài)特征的識別結(jié)果，其中表示前"個樣本訓(xùn)練，"5""
表示單獨(dú)第n個樣本訓(xùn)練；
圖9是人臉特征輔助步態(tài)特征識別的性能比較表1。
具體實(shí)施方式
下面結(jié)合附圖舉例對本發(fā)明做更詳細(xì)地描述 1.行人檢測與人臉檢測
行人檢測與人臉檢測均采用Adaboost算法實(shí)現(xiàn)。 1.1 Adaboost算法
給定樣本圖像集(X,X)，...，(、,凡)，其中乂={0， 1}分別表示負(fù)樣本和
正樣本。初始化權(quán)值^,=丄,丄分別對應(yīng)乂= 0， 1樣本的權(quán)值(因?yàn)?br> 附><丄+ /><丄=1)，其中附,/分別表示負(fù)、正樣本個數(shù)。 2w 2/
Adaboost算法訓(xùn)練的過程如下
(1)權(quán)值歸一化，~~J^。對于每一個特征J'，構(gòu)造弱分類器/7,，統(tǒng) 計(jì)樣本集上特征7分布的極大值F^(力和極小值F^(乂)，令窮舉搜索閾值參數(shù)
《e [F國(力,F匪(力]，使得~的錯誤率。最小'
(2) 選擇《二argmin。，并將其對應(yīng)的弱分類器作為/z,;
(3) 更新樣本權(quán)重w(+u 如果樣本x,被正確分類，則￡,=0;否
5則￡,=1，其中，
(2)
(4)最后輸出強(qiáng)分類器
/z(x)=
1 D4")45]二,",
0
(3)
其中QT, = log丄；
重復(fù)(i) (4)過程r次，z=i， ... ， r。
1.2 Adaboost檢測人臉模塊以及膚色驗(yàn)證
本發(fā)明將Adaboost與積分圖的Haar-like特征結(jié)合檢測人臉，并采用矩形特 征如圖2所示。Adaboost分類器是由多層弱分類器級聯(lián)而成，從第一層分類器出 來的正確結(jié)果觸發(fā)第二層分類器，從第二層出來的正確結(jié)果觸發(fā)第三層分類器， 以此類推。相反，從任何一個結(jié)點(diǎn)輸出的被否定的結(jié)果都會導(dǎo)致對這個子窗口的 檢測立即停止。通過設(shè)置每層的閾值，使得絕大多數(shù)人臉都能通過，非人臉不能 通過，這樣靠近級聯(lián)分類器后端的層拒絕了大部分的非人臉。
人臉檢測結(jié)果如圖3所示，深色矩形框?yàn)闄z測到的人臉區(qū)域。這里存在檢測 錯誤的情況，因?yàn)橐曨l場景中的某些區(qū)域類似于人臉的局部特征，眼睛部位的"黑 白黑"與定標(biāo)帶十分相近。若保留這些樣本，對遠(yuǎn)距離的身份識別不利。我們發(fā) 現(xiàn)，檢測錯誤的人臉與真實(shí)人臉相差甚遠(yuǎn)，人肉眼很容易區(qū)分，這里采用膚色模 型對人臉區(qū)域加以驗(yàn)證。不同種族、不同年齡、不同性別的人的膚色看起來存在 差異，這個差異主要體現(xiàn)在亮度上，當(dāng)去除亮度，膚色就具有很高的聚類性，選 取YCbCr色彩空間，歸一色度直方圖后假定膚色滿足二維高斯模型
K。,O) = exp[-0.5(x - m)7 C一1 (x - w)] (4)
其中w為均值，C為協(xié)方差矩陣，x = (0>,0)7'。通過式(4)得膚色似然圖像，
Ostu法求出最佳二值化閾值，從而區(qū)分人臉與非人臉。Adaboost加上膚色模型 驗(yàn)證結(jié)果如圖4所示。1.3 Adaboost行人檢測模塊
設(shè)置Adaboost行人檢測模塊的目的在于該系統(tǒng)能夠觸發(fā)自動開啟步態(tài)周期 檢測模塊和人臉檢測模塊。Adaboost行人檢測模塊設(shè)計(jì)思想與Adaboost人臉檢 測的基本一致，選用的也是"矩形特征"，由于我們想實(shí)現(xiàn)的是正面行人檢測， 我們沒有選擇"三角特征"。單純的Adaboost行人檢測也會出現(xiàn)誤檢情況，如圖 5所示，淺色的矩形框?yàn)闄z測人體的結(jié)果，將支架也檢測為人體，這是因?yàn)橹Ъ?的"腿"與人的腿部類似。因此需要驗(yàn)證環(huán)節(jié)，鑒于步態(tài)識別的研究對象是行人 的姿態(tài)，必然是運(yùn)動個體，而支架始終是靜止不動的，假定室內(nèi)光線不會出現(xiàn)急 劇的變化，將相鄰兩幀圖像中的人體中各像素點(diǎn)的RGB值按下式進(jìn)行運(yùn)算
<formula>formula see original document page 7</formula>
式中，^&,6,和^,&,^分別為相鄰兩幀的圖像中待處理像素點(diǎn)的RGB值。把當(dāng)
前圖像的Em和預(yù)設(shè)閾值r進(jìn)行比較，當(dāng)Em〉r時(shí)，認(rèn)為其區(qū)域?qū)儆诓綉B(tài)區(qū)域， 人體檢測淺色矩形框給予保留；反之，當(dāng)EwSr時(shí)，則認(rèn)為其區(qū)域?qū)儆诜菤i態(tài) 區(qū)域，人體檢測淺色矩形框刪除。其中，￡*表示期望。針對CASIA(B)視頻，考 慮一定的光照影響，選擇7=20。 Adaboost加上差分驗(yàn)證的實(shí)驗(yàn)結(jié)果如圖6所示。
2.步態(tài)預(yù)處理與周期檢測
讀入視頻文件，用Adaboost方法檢測行人，若檢測到便自動對歩態(tài)序列圖 像進(jìn)行預(yù)處理，以便進(jìn)行步態(tài)周期檢測。 2.1步態(tài)序列圖像預(yù)處理
為了提取人體目標(biāo)，首先從原始視頻中提取單幀圖像進(jìn)行灰度變換；然后計(jì) 算各像素點(diǎn)在逐幀中的中值，作為整個序列的背景圖像；最后，采用背景減除法 提取人體目標(biāo)，用數(shù)學(xué)形態(tài)學(xué)填補(bǔ)二值化圖像的空洞、單連通分析提取人的側(cè)影。 為了消除圖像大小對識別的影響應(yīng)使人體居中，將圖像的大小統(tǒng)一為64*64像 素。
2.2周期檢測
步態(tài)周期定義為同一只腳連續(xù)兩次腳跟觸地的時(shí)間間隔。在進(jìn)行步態(tài)識別 時(shí)，通常提取一個步態(tài)周期或多個步態(tài)周期的平均來進(jìn)行分析。因?yàn)樵谝粋€周期 內(nèi)比較， 一方面能夠消除圖像序列長度不同的影響；另一方面，也能夠降低特征提取、分類識別的運(yùn)算復(fù)雜度。
解剖學(xué)中，利用人體的正面影像抽取人體的骨架，假設(shè)H表示人體身高， 則部分肢體占身高的比例關(guān)系如圖7所示。統(tǒng)計(jì)下臂搖擺區(qū)域的像素?cái)?shù)目的逐幀 變化來判定步態(tài)周期。具體方法如下設(shè)累計(jì)區(qū)域像素值為NH，找到NH的一 個局部極小值(或極大值)，然后按順序向后査找NH的第3個極小值(或極大 值)，記下這兩幀圖像在序列中的幀號，則兩幀中間所夾的就是一個步態(tài)周期。 前面所述的步態(tài)序列圖像預(yù)處理中已將圖像統(tǒng)一歸一到64*64像素，則下臂搖擺 區(qū)域在圖像平面的第25 29行。
3.特征提取與識別
采用CASIA(B)歩態(tài)數(shù)據(jù)庫上的正面視角實(shí)驗(yàn)，該庫包含124個人。選擇正常 步態(tài)作為研究對象。實(shí)驗(yàn)分為兩個階段訓(xùn)練階段和識別階段。訓(xùn)練時(shí)，讀入視 頻文件，首先采用Adaboost方法和差分驗(yàn)證進(jìn)行行人檢測， 一旦檢測到存在運(yùn)動 人體，便自動開啟步態(tài)周期檢測模塊和人臉檢測模塊(包含Adaboost人臉檢測模 塊和膚色驗(yàn)證)。由于遠(yuǎn)距離情況下，人臉區(qū)域很小，主要以步態(tài)作為身份識別 的依據(jù)，人臉為輔助特征。將人臉圖像歸一到32*32像素；通過檢測到的一個周 期的步態(tài)圖像加權(quán)平均生成GEI，即
G(x，， ^J5,"力 (6)
其中，5,(x，力為步態(tài)單幀圖像，W是步態(tài)周期的長度，f為時(shí)間，xj為二維圖像 平面坐標(biāo)。
采用KPCA方法分別進(jìn)行步態(tài)和人臉的特征提取，通過核映射升維，使原 輸入數(shù)據(jù)在iT空間中線性不可分的模式在特征空間F中可能變得線性可分。本 專利并沒有采用基于矩陣的核主成分分析方法(如核二維主成分分析，K2DPCA)， 這是因?yàn)镵2DPCA定義的圖像矩陣4(z、l,…,M) (4eR,")的核映射為
0(4) = ,;)V" ]T (7) 其中，J/為J/的第7'(j、1,…,—個行向量。它的本質(zhì)是將圖像矩陣的行作為輸
入單元進(jìn)行KPCA，將樣本數(shù)擴(kuò)充到原來的行數(shù)("力倍，是KPCA分段線性化的 特殊情況，理論上應(yīng)該比KPCA獲得更好的識別結(jié)果。但是K2DPCA的核矩陣
8維數(shù)將變?yōu)樵瓉淼摹?倍，這無疑會造成核矩陣的特征值、特征向量求取的計(jì)算
負(fù)擔(dān)。張道強(qiáng)在文獻(xiàn)[5]中提出的近似計(jì)算方法，也需要計(jì)算一個維數(shù)為MxM大 小的核矩陣和另外一個維數(shù)為MwxM大小的核矩陣，在求取投影軸也較KPCA 加大了計(jì)算量。王海賢在他的博士論文[6]中對K2DPCA提出了三種改進(jìn)模型， 但是計(jì)算復(fù)雜度都很大。所以，本專利采用KPCA方法，核函數(shù)選擇為高斯核
函數(shù)ftrO,j;) = eXp(||x->f/2cr2)，其中核寬度o"選擇為訓(xùn)練樣本的標(biāo)準(zhǔn)差。
3.1單獨(dú)步態(tài)特征
由于每人有6個樣本，分別選擇前5個樣本、前4個樣本、前3個樣本、前 2個樣本和單樣本訓(xùn)練，余下的樣本采用最近鄰分類器(NN)來測試識別。實(shí)驗(yàn)結(jié) 果如圖8所示。我們發(fā)現(xiàn)，特征維數(shù)等于樣本數(shù)時(shí)，有最佳識別率，當(dāng)保留特征 的維數(shù)越少時(shí)，識別率下降；當(dāng)特征維數(shù)相等時(shí)，每一類提供的訓(xùn)練樣本越多， 識別率就越高；單樣本訓(xùn)練的識別率較多樣本訓(xùn)練下降得很多，因?yàn)橐粋€樣本存 在很大的局限性與特殊性，而且如果沒有先驗(yàn)知識，也很難做到通過一個樣本去 擴(kuò)充生成多個樣本。前5個樣本訓(xùn)練時(shí)得到的識別精度為95.97%，此時(shí)的特征 維數(shù)為110維；而單樣本訓(xùn)練的平均識別精度為88.52%，特征維數(shù)保持在124 維。
3.2人臉特征輔助步態(tài)特征
當(dāng)步態(tài)存在多個訓(xùn)練樣本時(shí)，識別性能較好，但是一旦出現(xiàn)訓(xùn)練樣本只有一
個時(shí)，識別率會大大降低，所以針對此問題，本發(fā)明采用人臉特征輔助步態(tài)特征
進(jìn)行遠(yuǎn)距離的視頻下正面人體身份自動識別任務(wù)，分別采用KPCA對GEI和人臉
灰度特征進(jìn)行特征提取，識別時(shí)采用計(jì)分法對兩組特征在決策級融合的方法，計(jì)
分方法如下
&0"(義,力=^>,^(《) (8)
式中X是待識別樣本；X,是待識別樣本Z^第/種特征；W,是一個權(quán)值，其值 來自利用第/種特征識別時(shí)的識別率，是一個先驗(yàn)概率；表示待識樣本義， 利用第/種特征對第J'類的隸屬度，A(I,)= * '"—— (9)
產(chǎn)l
其中，6>1是一個可以控制聚類結(jié)果的模糊程度的常數(shù)，通過實(shí)驗(yàn)選取6=1.5; A 為總的類別數(shù)；^為利用第/種特征的第y類的聚類中心，且 通過^:-均值聚類方
法得到。若c-argmax5twe(ZJ),貝ij義屬于類c。
在單樣本訓(xùn)練的步態(tài)識別中，為了驗(yàn)證人臉特征輔助步態(tài)特征的有效性，采 用上述決策級融合方法，實(shí)驗(yàn)結(jié)果如表l所示，人臉特征輔助步態(tài)特征識別可以 較單獨(dú)的步態(tài)特征提高2.4個百分點(diǎn)。輔助人臉特征的優(yōu)點(diǎn)在于，即使步態(tài)訓(xùn)練 樣本是單樣本，而人臉圖像是多個的，這樣便從另外一個角度擴(kuò)充了訓(xùn)練樣本的 數(shù)目，有助于身份識別。
10
權(quán)利要求
1、一種遠(yuǎn)距離視頻下的正面人體自動身份識別方法，其特征是包括步態(tài)模塊和人臉模塊；首先讀入視頻文件，用Adaboost方法檢測行人，若檢測到便自動開啟人臉模塊和步態(tài)模塊，分別對步態(tài)和人臉采用核主成分分析進(jìn)行特征提取，最后采用人臉特征輔助步態(tài)特征在決策級的融合方法進(jìn)行識別。
2、 根據(jù)權(quán)利要求l所述的遠(yuǎn)距離視頻下的正面人體自動身份識別方法，其特 征是所述的用Adaboost方法檢測行人，是對讀入的視頻文件采用Adaboost方 法檢測人體，并加入幀間差分方法驗(yàn)證。
3、 根據(jù)權(quán)利要求1或2所述的遠(yuǎn)距離視頻下的正面人體自動身份識別方法， 其特征是所述的步態(tài)模塊是對步態(tài)序列圖像進(jìn)行預(yù)處理，再進(jìn)行步態(tài)周期檢測， 最終將表征歩態(tài)特征的步態(tài)能量圖歸一到64*64像素。
4、 根據(jù)權(quán)利要求1或2所述的遠(yuǎn)距離視頻下的正面人體自動身份識別方法， 其特征是所述的人臉模塊是用Adaboost方法檢測人臉，再進(jìn)行膚色驗(yàn)證判斷， 將人臉圖像灰度化并統(tǒng)一歸一到32*32像素。
5、 根據(jù)權(quán)利要求3所述的遠(yuǎn)距離視頻下的正面人體自動身份識別方法，其特 征是所述的人臉模塊是用Adaboost方法檢測人臉，再進(jìn)行膚色驗(yàn)證判斷，將人 臉圖像灰度化并統(tǒng)一歸一到32*32像素。
全文摘要
本發(fā)明提供的是一種遠(yuǎn)距離視頻下的正面人體自動身份識別方法。包括步態(tài)模塊和人臉模塊；首先讀入視頻文件，用Adaboost方法檢測行人，若檢測到便自動開啟人臉模塊和步態(tài)模塊，分別對步態(tài)和人臉采用核主成分分析進(jìn)行特征提取，最后采用人臉特征輔助步態(tài)特征在決策級的融合方法進(jìn)行識別。本發(fā)明為遠(yuǎn)距離身份識別提出新的解決思路，采用人臉特征輔助步態(tài)特征在決策級融合方法。在單樣本的步態(tài)識別中輔助人臉特征的優(yōu)點(diǎn)在于，即使步態(tài)訓(xùn)練樣本是單樣本，而人臉圖像是多個的，這樣便從另外一個角度擴(kuò)充了訓(xùn)練樣本的數(shù)目，有助于身份識別，融合人臉特征可以提高2.4％的識別精度。
文檔編號G06K9/00GK101661554SQ20091007300
公開日2010年3月3日 申請日期2009年9月29日 優(yōu)先權(quán)日2009年9月29日
發(fā)明者欣 李, 王晨暉, 王科俊, 賁晛燁 申請人:哈爾濱工程大學(xué)