專(zhuān)利名稱(chēng)：基于人體輪廓的人物識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于人體輪廓的人物識(shí)別方法，具體涉及一種從單個(gè)固定攝像
機(jī)提取人體輪廓信息，并據(jù)此特征信息將人物分辨出來(lái)的方法?？蓮V泛應(yīng)用于非接
觸式遠(yuǎn)距離的身份識(shí)別，智能監(jiān)控，輔助破案等，屬于模式識(shí)別中的人物識(shí)別領(lǐng)域。
背景技術(shù)：
隨著科學(xué)技術(shù)的飛速發(fā)展，利用攝像機(jī)來(lái)監(jiān)控動(dòng)態(tài)場(chǎng)景早己被廣泛應(yīng)用于社會(huì) 各個(gè)領(lǐng)域，例如對(duì)安全性要求敏感的門(mén)禁系統(tǒng)、安全監(jiān)控。由于廣泛的應(yīng)用前景和 潛在的經(jīng)濟(jì)價(jià)值，人體運(yùn)動(dòng)的視頻監(jiān)控是近年來(lái)備受關(guān)注的前沿課題，而利用生物 識(shí)別技術(shù)輔助人體運(yùn)動(dòng)分析更是發(fā)展的趨勢(shì)。在目前的遠(yuǎn)距離身份識(shí)別視頻監(jiān)控系 統(tǒng)中步態(tài)被認(rèn)為是最具潛力的生物特征，臉像、指紋、虹膜等第一代生物特征，通 常要求近距離地或者接觸性地感知，如指紋需要接觸指紋掃描儀、臉像需要近距離 捕捉以滿(mǎn)足分辨率等。而步態(tài)在此方面卻突出了它的優(yōu)越性，尤其是在遠(yuǎn)距離的情 況下，人的步態(tài)易于感知、非侵犯性、非接觸性、難于隱藏和偽裝的優(yōu)點(diǎn)已經(jīng)使其 成為一個(gè)獨(dú)具特色的生物行為。步態(tài)識(shí)別是根據(jù)人物走路的姿勢(shì)進(jìn)行人的身份識(shí) 別，以提取的人體輪廓圖像為基礎(chǔ)，旨在不考慮衣服、背景等因素。由于光線(xiàn)、環(huán) 境等因素，視頻中檢測(cè)到的人體輪廓總是受到大量噪聲的影響，因此如何在減少噪 聲的影響同時(shí)又能盡可能的將人體輪廓信息凸現(xiàn)出來(lái)成為工程、實(shí)際中亟待解決的 問(wèn)題。
經(jīng)過(guò)對(duì)現(xiàn)有技術(shù)文獻(xiàn)的查找發(fā)現(xiàn)，目前基于步態(tài)的人物識(shí)別方法主要分為兩 類(lèi) 一類(lèi)是基于模型的方法，Lee等人于2002年發(fā)表在ProceedingsoftheFi他正EE International Conference on Automatic Face Gesture Recognition上的論文Gait analysis
3for recognition and classification(基于步態(tài)分析的識(shí)別和分類(lèi))提出用7個(gè)橢圓來(lái)建模 人體的各個(gè)部分，提取橢圓參數(shù)(長(zhǎng)短軸之比、質(zhì)心坐標(biāo)、主軸夾角)以及人體結(jié)構(gòu) 參數(shù)(質(zhì)心坐標(biāo))共29個(gè)參數(shù)作為步態(tài)識(shí)別的特征。該方法對(duì)人自身的遮擋魯棒性非 常差，而且運(yùn)算量大，因此不適合于工程應(yīng)用。另外一類(lèi)是非模型的方法，JuHan 等人于2006年發(fā)表在IEEE Transactions On Pattern Analysis And Machine Intelligence 上的論文Individual Recognition Using Gait Energy Image (基于步態(tài)能量圖的人物識(shí) 別)向人們提出了一種新的表示人體輪廓信息的非模型的方法將一個(gè)步態(tài)周期內(nèi) 得到的二值化人體輪廓圖像相加在一起，得到一幅反映人體運(yùn)動(dòng)姿態(tài)分布的步態(tài)能 量圖。該方法的優(yōu)點(diǎn)是易于獲得，抗噪能力強(qiáng)，然而步態(tài)能量圖直接用于匹配有個(gè) 很大的缺陷模糊了人體輪廓的特征，因此該方法的準(zhǔn)確性不高，限制了其實(shí)際應(yīng) 用。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提出一種基于人體輪廓的人物識(shí)別方 法，能在光照變化、檢測(cè)噪聲等實(shí)際工程應(yīng)用的復(fù)雜環(huán)境下，將人體輪廓特征信息 凸現(xiàn)出來(lái)。
為實(shí)現(xiàn)上述目的，本發(fā)明首先提取目標(biāo)人物視頻中的人體輪廓圖像，根據(jù)人體 輪廓的寬度變化劃分步態(tài)周期，保持高寬比不變將人體輪廓圖像縮放到同一大??； 然后將每個(gè)步態(tài)周期內(nèi)得到的所有人體輪廓圖像的灰度值相加再除以人體輪廓圖
像的個(gè)數(shù)，得到與該步態(tài)周期對(duì)應(yīng)的步態(tài)能量圖；再計(jì)算步態(tài)能量圖的梯度直方圖； 最后對(duì)訓(xùn)練用的步態(tài)能量圖的梯度直方圖進(jìn)行主元分析，得到轉(zhuǎn)換矩陣，利用轉(zhuǎn)換 矩陣分別對(duì)訓(xùn)練用的和待識(shí)別的步態(tài)能量圖的梯度直方圖進(jìn)行降維，得到訓(xùn)練好的 步態(tài)數(shù)據(jù)和待識(shí)別的步態(tài)數(shù)據(jù)，對(duì)兩種數(shù)據(jù)進(jìn)行最近鄰匹配，完成人體輪廓的人物 識(shí)別。
本發(fā)明的方法通過(guò)以下具體步驟實(shí)現(xiàn)
1)首先把目標(biāo)人物的視頻讀入計(jì)算機(jī)，再對(duì)視頻進(jìn)行背景建模與背景實(shí)時(shí)更新，采用當(dāng)前幀與背景幀相減的方法得到目標(biāo)人物的人體輪廓前景圖像；調(diào)用 OpenCV中的功能函數(shù)，將人體輪廓前景圖像中存在的空洞和零散白點(diǎn)去除；
2) 從人體輪廓前景圖像中提取人體輪廓的特征，將每個(gè)人體輪廓最左面的點(diǎn)與 最右面的點(diǎn)的距離作為該人體輪廓的寬度，最上面的點(diǎn)與最下面的點(diǎn)的距離作為該 人體輪廓的高度；選擇人體輪廓水平方向的變化作為劃分步態(tài)周期的標(biāo)志；按人體 輪廓的寬度和高度將人體輪廓圖像扣出；保持高寬比不變，將所有人體輪廓圖像縮 放到同一大??；
3) 分別將每個(gè)步態(tài)周期內(nèi)得到的所有人體輪廓圖像的灰度值相加再除以人體 輪廓圖像的個(gè)數(shù)，得到與該步態(tài)周期對(duì)應(yīng)的步態(tài)能量4) 依據(jù)步態(tài)能量圖的大小把步態(tài)能量圖劃分為大小相同的若干個(gè)單元，相鄰的 單元組成一個(gè)區(qū)域，區(qū)域之間允許擁有相同的單元；求出每個(gè)單元的梯度直方圖， 然后對(duì)每個(gè)區(qū)域內(nèi)的單元梯度直方圖進(jìn)行歸一化，得到步態(tài)能量圖的梯度直方5) 將步態(tài)能量圖的梯度直方圖分為兩部分一部分用作訓(xùn)練，一部分用作識(shí)別； 對(duì)訓(xùn)練用的步態(tài)能量圖的梯度直方圖進(jìn)行主元分析，從中提取能代表人體輪廓信息 的特征向量，構(gòu)成轉(zhuǎn)換矩陣；利用轉(zhuǎn)換矩陣對(duì)訓(xùn)練用的步態(tài)能量圖的梯度直方圖進(jìn) 行降維，得到訓(xùn)練好的步態(tài)數(shù)據(jù)，將轉(zhuǎn)換矩陣和訓(xùn)練好的步態(tài)數(shù)據(jù)儲(chǔ)存起來(lái)；同時(shí)， 利用轉(zhuǎn)換矩陣對(duì)待識(shí)別的步態(tài)能量圖的梯度直方圖進(jìn)行降維，得到待識(shí)別的步態(tài)數(shù) 據(jù)，再與訓(xùn)練好的步態(tài)數(shù)據(jù)進(jìn)行最近鄰匹配，完成人體輪廓的人物識(shí)別。
本發(fā)明針對(duì)智能視頻監(jiān)控中的目標(biāo)識(shí)別和跟蹤，利用人物輪廓特征信息，將人 物識(shí)別出來(lái)，具有算法簡(jiǎn)單、精確度高、魯棒性強(qiáng)等優(yōu)點(diǎn)。本發(fā)明在降低了噪聲影 響的同時(shí)，凸出了步態(tài)周期內(nèi)人體姿勢(shì)信息。另外對(duì)實(shí)際中出現(xiàn)的光照變化、檢測(cè) 噪聲、前景檢測(cè)誤差等干擾具有較高的魯棒性。由于克服了實(shí)際中復(fù)雜環(huán)境帶來(lái)的 噪聲因素，而且同時(shí)提高了人物輪廓特征信息的分析能力，因此真正做到了復(fù)雜環(huán) 境中人物的準(zhǔn)確識(shí)別，為智能視頻監(jiān)控中目標(biāo)識(shí)別和跟蹤提供一種新的可靠的方 法。
5本發(fā)明可廣泛應(yīng)用于非接觸式遠(yuǎn)距離的身份識(shí)別，智能監(jiān)控，輔助破案等技術(shù)
領(lǐng)域。


圖1本發(fā)明方法流程圖。
圖2人體步態(tài)運(yùn)動(dòng)的輪廓分割示例，其中(a)背景圖像；(b)二值化后的前景輪
廓圖像；(c)OpenCV處理后的前景輪廓圖像。
圖3步態(tài)能量圖合成示意圖。
圖4特征空間中特征值的幅度圖。
圖5特征空間中特征值的累計(jì)曲線(xiàn)圖。
圖6訓(xùn)練步態(tài)和待識(shí)別步態(tài)通過(guò)轉(zhuǎn)換矩陣降維后的示例。
具體實(shí)施例方式
以下結(jié)合附圖和實(shí)施例對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步詳細(xì)說(shuō)明。以下實(shí)施例在 以本發(fā)明技術(shù)方案為前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和過(guò)程，但本發(fā)明的 保護(hù)范圍不限于下述的實(shí)施例。
本發(fā)明實(shí)施例按圖1所示流程進(jìn)行，包括讀入目標(biāo)人物的視頻，提取與處理 人體輪廓特征，合成步態(tài)能量圖，求出步態(tài)能量圖的梯度直方圖，進(jìn)行主元分析并 作最近鄰匹配。具體實(shí)施步驟如下(使用Visual 〔++語(yǔ)言編程)
(1)提取目標(biāo)人物視頻中的人體輪廓前景圖像
首先采用OpenCV (Intel開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù))中的功能函數(shù)把目標(biāo)人物的視頻 讀入計(jì)算機(jī)，再對(duì)視頻進(jìn)行背景建模與背景實(shí)時(shí)更新，采用當(dāng)前幀與背景幀相減的 方法得到目標(biāo)人物的人體輪廓前景圖像；由于諸多客觀因素的影響，得到的人體輪 廓前景圖像總是存在空洞和零散的白點(diǎn)，為了消除這一不利因素，本發(fā)明調(diào)用 OpenCV中的功能函數(shù)把輪廓最大的區(qū)域像素值填充為255，把剩余區(qū)域的像素值 賦為0 ，得到比較準(zhǔn)確的人體輪廓前景圖像，效果可見(jiàn)圖2。圖2中，(a)背景圖像; (b)二值化后的前景輪廓圖像；(c)OpenCV處理后的前景輪廓圖像。(2) 提取與處理人體輪廓信息
人體輪廓的寬度和高度的提取每幅人體輪廓前景圖像實(shí)際上是平面點(diǎn)的集 合，可以根據(jù)平面幾何知識(shí)提取人體輪廓的特征。每個(gè)人體輪廓最左面的點(diǎn)與最右 面的點(diǎn)的距離作為該人體輪廓的寬度，最上面的點(diǎn)與最下面的點(diǎn)的距離作為該人體 輪廓的高度。
人體輪廓的步態(tài)周期的提取考慮到水平運(yùn)動(dòng)比垂直運(yùn)動(dòng)有著更大的變化，從 而有著更強(qiáng)的分辨力，本實(shí)施例選擇人體輪廓水平方向的變化作為劃分步態(tài)周期的 標(biāo)志。實(shí)際中人邁出兩步為一個(gè)步態(tài)周期，本實(shí)施例的步態(tài)周期從兩腳靠攏開(kāi)始， 此時(shí)人體輪廓寬度最小，經(jīng)過(guò)一次兩腳靠攏，再到下一次兩腳靠攏時(shí)完成兩步，形 成一個(gè)步態(tài)周期。
人體輪廓的縮放按人體輪廓的寬度和高度將人體輪廓圖像扣出，本實(shí)施例的 高寬比為2，不滿(mǎn)足者上下或左右添加相同的值為零的行或者列，考慮到運(yùn)算的復(fù) 雜度和匹配的準(zhǔn)確度，本實(shí)施例將處理好扣出的輪廓圖縮放到32*64。
(3) 合成步態(tài)能量圖
分別將每個(gè)步態(tài)周期內(nèi)得到的所有人體輪廓圖像的灰度值相加再除以人體輪 廓圖像的個(gè)數(shù)，得到與該步態(tài)周期對(duì)應(yīng)的步態(tài)能量圖，
其中，N是步態(tài)周期內(nèi)輪廓的個(gè)數(shù)，t是步態(tài)周期內(nèi)輪廓的序號(hào)，x和y兩維圖像坐 標(biāo)值，S,(x,力是該點(diǎn)的灰度值。
步態(tài)能量合成如圖3所示箭頭左面的每個(gè)二值化圖像對(duì)應(yīng)于一個(gè)步態(tài)周期 內(nèi)每幀經(jīng)過(guò)縮放處理的人體輪廓圖像，箭頭右面灰度圖像是該步態(tài)周期對(duì)應(yīng)的步態(tài)8*8的單元，相鄰的4個(gè)單元組成一個(gè)區(qū)域，區(qū)域之間可以擁有相同的單元，這樣 共有21個(gè)區(qū)域。
點(diǎn)的梯度方向單元內(nèi)的任一點(diǎn)(JC，力的梯度方向-
r(x,力=arg tan ,: ，二 :，:( -l，y)-/j(;v; + l,力
If r(>,;v)<0
其中Wx,力為步態(tài)能量圖中坐標(biāo)為O，力的灰度值。
單元的梯度直方圖經(jīng)過(guò)實(shí)驗(yàn)證明采用雙線(xiàn)性插值、點(diǎn)的灰度值作為權(quán)值并將
梯度方向范圍(0,180)分為九個(gè)等級(jí)能取到相對(duì)良好梯度直方圖。
Ww[intOO,力/ 20)]+ = AO,力* (1 — 力/ 20 - int(0(x，力/ 20))) Wrf[(intOO,力/ 20) +1)%9]+ = Z (x,力* 力/ 20 — int(OO,力/ 20))
其中為該單元的梯度直方圖，為上步求得的單元內(nèi)點(diǎn)的梯度方向。
區(qū)域直方圖的歸一化對(duì)每個(gè)區(qū)域內(nèi)的所有單元梯度直方圖臨時(shí)看成一個(gè)直方 圖并進(jìn)行歸一化，得到步態(tài)能量圖的梯度直方圖。 (5)主元分析、最近鄰匹配
將步態(tài)能量圖的梯度直方圖分為兩部分 一部分用作訓(xùn)練， 一部分用作識(shí)別。 給定S個(gè)訓(xùn)練類(lèi)別，每個(gè)類(lèi)別代表一個(gè)人的步態(tài)能量圖的梯度直方圖形成的信 號(hào)序列，下述基于主元分析的訓(xùn)練過(guò)程。
令"^是類(lèi)i的第j個(gè)信號(hào)特征，并且iV,是類(lèi)i的個(gè)數(shù)，則總的訓(xùn)練樣本數(shù)為
7V, =+ iV2 +…+ W,，整個(gè)樣本集為,,D,2,…,D,N|,...Z)sNs]，該訓(xùn)練集的均值附^
和全局方差3為<formula>formula see original document page 9</formula>
如果矩陣的秩是N。則利用奇異值分解理論能夠得到N個(gè)非零特征值 ^;^,…,;iw及其對(duì)應(yīng)特征向量A,e2,…, ，本實(shí)施例全局方差矩陣維數(shù)為756*756，
秩為20，對(duì)應(yīng)于20個(gè)非零特征值，這些特征值從大到小顯示如圖4所示。
一般而言，特征值較大的包含有用的信息多，小的包含有用的信息少。出于對(duì) 存儲(chǔ)和計(jì)算的有效性考慮，本實(shí)施例對(duì)非零特征值按絕對(duì)值大小排列并使用閾值為 90%來(lái)忽略那些絕對(duì)值小的特征值<formula>formula see original document page 9</formula>圖5為本實(shí)施例特征空間中特征值的累計(jì)曲線(xiàn)圖前七位的特征值累加就已經(jīng)
超過(guò)了全部特征值的90%。
我們可以構(gòu)建轉(zhuǎn)換矩陣E為h，^,…,q]，利用E對(duì)每個(gè)訓(xùn)練信號(hào)D^降維<formula>formula see original document page 9</formula>
得到數(shù)據(jù)量小的易于儲(chǔ)存和運(yùn)算的訓(xùn)練好的步態(tài)數(shù)據(jù)。
最近鄰匹配利用轉(zhuǎn)換矩陣對(duì)待識(shí)別的步態(tài)能量圖的梯度直方圖進(jìn)行降維，得 到待識(shí)別的步態(tài)數(shù)據(jù)，再與訓(xùn)練好的步態(tài)數(shù)據(jù)進(jìn)行最近鄰匹配，完成人體輪廓的人 物識(shí)別。如圖6所示本實(shí)施例選取了前七位特征值的特征向量作為轉(zhuǎn)換矩陣，其 中實(shí)線(xiàn)表示訓(xùn)練好的某人的步態(tài)，虛線(xiàn)和點(diǎn)劃線(xiàn)是待識(shí)別的步態(tài)，可以看出，實(shí)線(xiàn)
與點(diǎn)劃線(xiàn)的相差很小，可以判定是同一個(gè)人，而實(shí)線(xiàn)與虛線(xiàn)相差較大，可以判定是 另外一個(gè)人，與實(shí)際相符。
權(quán)利要求
1、一種基于人體輪廓的人物識(shí)別方法，其特征在于包括如下具體步驟1)首先把目標(biāo)人物的視頻讀入計(jì)算機(jī)，再對(duì)視頻進(jìn)行背景建模與背景實(shí)時(shí)更新，采用當(dāng)前幀與背景幀相減的方法得到目標(biāo)人物的人體輪廓前景圖像；調(diào)用OpenCV中的功能函數(shù)，將人體輪廓前景圖像中存在的空洞和零散白點(diǎn)去除；2)從人體輪廓前景圖像中提取人體輪廓的特征，將每個(gè)人體輪廓最左面的點(diǎn)與最右面的點(diǎn)的距離作為該人體輪廓的寬度，最上面的點(diǎn)與最下面的點(diǎn)的距離作為該人體輪廓的高度；選擇人體輪廓水平方向的變化作為劃分步態(tài)周期的標(biāo)志；按人體輪廓的寬度和高度將人體輪廓圖像扣出；保持高寬比不變，將所有人體輪廓圖像縮放到同一大小；3)分別將每個(gè)步態(tài)周期內(nèi)得到的所有人體輪廓圖像的灰度值相加再除以人體輪廓圖像的個(gè)數(shù)，得到與該步態(tài)周期對(duì)應(yīng)的步態(tài)能量圖；4)依據(jù)步態(tài)能量圖的大小把步態(tài)能量圖劃分為大小相同的若干個(gè)單元，相鄰的單元組成一個(gè)區(qū)域，區(qū)域之間允許擁有相同的單元；求出每個(gè)單元的梯度直方圖，然后對(duì)每個(gè)區(qū)域內(nèi)的單元梯度直方圖進(jìn)行歸一化，得到步態(tài)能量圖的梯度直方圖；5)將步態(tài)能量圖的梯度直方圖分為兩部分一部分用作訓(xùn)練，一部分用作識(shí)別；對(duì)訓(xùn)練用的步態(tài)能量圖的梯度直方圖進(jìn)行主元分析，從中提取能代表人體輪廓信息的特征向量，構(gòu)成轉(zhuǎn)換矩陣；利用轉(zhuǎn)換矩陣對(duì)訓(xùn)練用的步態(tài)能量圖的梯度直方圖進(jìn)行降維，得到訓(xùn)練好的步態(tài)數(shù)據(jù)，將轉(zhuǎn)換矩陣和訓(xùn)練好的步態(tài)數(shù)據(jù)儲(chǔ)存起來(lái)；同時(shí)，利用轉(zhuǎn)換矩陣對(duì)待識(shí)別的步態(tài)能量圖的梯度直方圖進(jìn)行降維，得到待識(shí)別的步態(tài)數(shù)據(jù)，再與訓(xùn)練好的步態(tài)數(shù)據(jù)進(jìn)行最近鄰匹配，完成人體輪廓的人物識(shí)別。
全文摘要
本發(fā)明涉及一種基于人體輪廓的人物識(shí)別方法，具體涉及一種從單個(gè)固定攝像機(jī)提取人體輪廓信息，并據(jù)此特征信息將人物分辨出來(lái)的方法。包括(1)提取目標(biāo)人物視頻中的人體輪廓前景圖像；(2)人體輪廓圖像的高度、寬度、步態(tài)周期等信息的提取與人體輪廓圖像縮放；(3)合成步態(tài)能量圖；(4)求出步態(tài)能量圖的梯度直方圖；(5)主元分析、最近鄰匹配。本發(fā)明具有易于實(shí)現(xiàn)、魯棒性強(qiáng)、精確度高、實(shí)時(shí)性強(qiáng)等優(yōu)點(diǎn)，在降低噪聲影響的同時(shí)，又把人體輪廓信息凸現(xiàn)出來(lái)，可廣泛應(yīng)用于非接觸式遠(yuǎn)距離的身份識(shí)別，智能監(jiān)控，輔助破案等。
文檔編號(hào)G06K9/00GK101587541SQ20091005332
公開(kāi)日2009年11月25日 申請(qǐng)日期2009年6月18日 優(yōu)先權(quán)日2009年6月18日
發(fā)明者劉允才, 史文歡, 兵 孫, 科 李 申請(qǐng)人:上海交通大學(xué)