一種基于雙目視覺的人體動作識別方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于雙目視覺的人體動作識別方法及系統(tǒng)，其中，該基于雙目視覺的人體動作識別方法首先通過雙目標(biāo)定獲取相機的內(nèi)外參數(shù)，然后對左右相機分別拍攝的圖像進行預(yù)處理及目標(biāo)檢測，以提取出目標(biāo)輪廓，接著，從目標(biāo)輪廓中提取出目標(biāo)的邊緣，之后，對左右兩幅圖像中的像素點進行匹配，將匹配的結(jié)果作為HMM模型進行訓(xùn)練的數(shù)據(jù)依據(jù)。按照上述方法訓(xùn)練出多個動作對應(yīng)的HMM模型，當(dāng)采集者在相機采集范圍內(nèi)做出動作時，可通過已訓(xùn)練好的多個HMM模型分別判斷采集者做出相應(yīng)動作的概率。本發(fā)明能夠較準(zhǔn)確的判斷人體三維立體信息且運行成本較低。
【專利說明】
一種基于雙目視覺的人體動作識別方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及一種人體動作識別方法，具體而言，涉及一種基于雙目視覺的人體動 作識別方法，以及用于實施該方法的系統(tǒng)。
【背景技術(shù)】
[0002] 人是社會活動的主體，人體動作包括人體各個肢段，例如手、四肢、頭、面部或身體 等的姿態(tài)或運動過程，是一種人與環(huán)境的信息交互方式，表達了人的某種意愿。以人作為研 究對象，研究人體動作的主要任務(wù)就是將運動的人體從獲取的視頻中檢測并分割提取出 來。人體動作包含一系列運動目標(biāo)(例如手、四肢、頭、面部或身體等），在對這些運動目標(biāo)進 行檢測的過程中，由于各不相同的實際環(huán)境以及各種干擾因素的存在，給準(zhǔn)確、快速地從視 頻圖像中檢測提取出運動目標(biāo)帶來很大的難度，同時也給后面的運動跟蹤、目標(biāo)識別帶來 困難。因此，提高運動目標(biāo)檢測算法的準(zhǔn)確性、穩(wěn)定性及魯棒性尤為重要，目前，運動目標(biāo)檢 測算法主要存在兩個難點:一個是多義性的處理;另一個是遮擋的處理。
[0003] 人體運動目標(biāo)檢測是計算機視覺領(lǐng)域中最活躍的研究主題之一，其核心是利用計 算機視覺技術(shù)從圖像序列中檢測、跟蹤、識別人并對其行為進行理解與描述?；谟嬎銠C視 覺的人體動作檢測和識別方法是人體運動目標(biāo)檢測研究的核心技術(shù)，它包括對視場中的人 體進行檢測、跟蹤人體、獲取反映人體動作的參數(shù)，以達到理解人體動作的目的，在智能監(jiān) 控、虛擬現(xiàn)實、行為分析、基于內(nèi)容的視頻檢索和人機交互等領(lǐng)域有著廣闊的應(yīng)用前景和極 大的經(jīng)濟價值與社會價值。另外，人體行為檢測和識別研究在視頻會議、醫(yī)學(xué)臨床診斷和身 份鑒別等領(lǐng)域也起著相當(dāng)重要的作用，有著廣闊的應(yīng)用前景。
[0004] 目前，基于視覺的人體動作識別的處理方法大體可分為3類:非參數(shù)方法、立方體 分析方法以及參數(shù)化時間序列分析的方法.非參數(shù)方法通常從視頻的每一幀中提取某些特 征，然后用這些特征與預(yù)先存儲的模板(template)進行匹配;立方體分析方法不是基于幀 的處理，而是將整段視頻數(shù)據(jù)看作是一個3維的時空立方體進行分析;而參數(shù)化時間序列分 析的方法對運動的動態(tài)過程給出一個特定的模型，并通過對訓(xùn)練樣本數(shù)據(jù)的學(xué)習(xí)獲得每一 類動作特定的模型參數(shù)，其中比較常用的模型包括：隱馬爾可夫模型（Hidden Markov Models，HMMS)、線性動態(tài)系統(tǒng)（Linear Dynamical Systems，LDSs)等。
[0005] 上述基于視覺的人體動作識別的處理方法需要對大量人體動作模板進行前期訓(xùn) 練，運行成本較高，且不能完整地反應(yīng)三維世界中人體部位的位置關(guān)系，因此無法對人體動 作進行較為準(zhǔn)確的識別。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明提供一種基于雙目視覺的人體動作識別方法以及實施該方法的系統(tǒng)，用以 利用雙目立體視覺原理研究人體的姿態(tài)動作。
[0007] 為了達到上述目的，本發(fā)明提供了一種基于雙目視覺的人體動作識別方法，其包 括以下步驟：
[0008] si:將同一型號的左相機和右相機固定于與地面平行的同一水平線上，兩部相機 之間的距離為設(shè)定值，且兩部相機均能拍攝到完整的人體；
[0009] S2:對所述左相機和所述右相機進行雙目標(biāo)定，首先準(zhǔn)備一塊帶有多個圓形特征 點的矩形標(biāo)定板，其中，多個所述圓形特征點排列成多行和多列的陣列，位于同一行的圓形 特征點的圓心在同一直線上，位于同一列的圓形特征點的圓心在同一直線上；
[0010] S3:將所述標(biāo)定板置于相機拍攝區(qū)域內(nèi)的至少5個不同方位，并分別使用左相機和 右相機對所述標(biāo)定板進行拍攝，得到多張對應(yīng)左相機的左標(biāo)定板圖像和多張對應(yīng)右相機的 右標(biāo)定板圖像；
[0011] S4:計算所述左標(biāo)定板圖像中的多個所述圓形特征點在左圖像坐標(biāo)系中的坐標(biāo)， 以及所述右標(biāo)定板圖像中的多個所述圓形特征點在右圖像坐標(biāo)系中的坐標(biāo)，其中，所述左 圖像坐標(biāo)系的原點為所述左相機的成像面與其光軸的交點，所述右圖像坐標(biāo)系的原點為所 述右相機的成像面與其光軸的交點；
[0012] S5:利用極線約束規(guī)則分別匹配同一方位下的所述左標(biāo)定板圖像和所述右標(biāo)定板 圖像，得到每個方位下多個所述圓形特征點在所述左圖像坐標(biāo)系和所述右圖像坐標(biāo)系中的 特征圓心；
[0013] S6:根據(jù)每個方位下多個所述圓形特征點在所述左圖像坐標(biāo)系和所述右圖像坐標(biāo) 系中的特征圓心，利用Leventberg-Marquardt算法求取相機單應(yīng)矩陣Η，以及兩相機的內(nèi)外 參數(shù)和畸變系數(shù)，并將這些參數(shù)保存在一 xml文件中；
[0014] S7:在所述左相機和所述右相機的圖像采集范圍內(nèi)，被采集者做出"平移"的動作；
[0015] S8:使用所述左相機和所述右相機分別采集一幀左相機圖像和一幀右相機圖像；
[0016] S9:分別對所述左相機圖像和所述右相機圖像進行濾波去噪處理和膚色增強處 理，得到待檢測左相機圖像和待檢測右相機圖像；
[0017] S10:采用高斯模型背景去除法分別去除所述待檢測左相機圖像和所述待檢測右 相機圖像中的背景。得到待提取左相機圖像和待提取右相機圖像；
[0018] S11:采用Sobel算子分別計算所述待提取左相機圖像和所述待提取右相機圖像中 每一個像素點的梯度值G，并將該梯度值G與一預(yù)設(shè)梯度閾值進行比較，并根據(jù)每一像素點 的比較結(jié)果分別生成一左邊緣幅度圖像和一右邊緣幅度圖像，其中：
[0019] 若6>預(yù)設(shè)梯度閾值，則令所述左邊緣幅度圖像或所述右邊緣幅度圖像中相應(yīng)的 像素點的灰度值為255，
[0020] 若6<預(yù)設(shè)梯度閾值，則令所述左邊緣幅度圖像或所述右邊緣幅度圖像中相應(yīng)的 像素點的灰度值為〇;
[0021] S12:剔除所述左邊緣幅度圖像和所述右邊緣幅度圖像中對比度低于一設(shè)定閾值T 的點，得到一左邊緣圖像和一右邊緣圖像；
[0022] S13:設(shè)定一匹配閾值，采用surf算法對所述左邊緣圖像和所述右邊緣圖像中的像 素點進行匹配，得到多對匹配像素點，每對匹配像素點分別包括一個位于所述左邊緣圖像 中的左像素點和一個位于所述右邊緣圖像中的右像素點；
[0023] S14:從步驟S6中得到的xml文件中讀取出相機單應(yīng)矩陣Η以及兩相機的內(nèi)外參數(shù) 和畸變系數(shù)，并采用張氏標(biāo)定法計算出每對像素點所對應(yīng)的實際空間點在三維空間坐標(biāo)系 中的坐標(biāo)；
[0024] S15:利用S14步驟中得到的每對像素點所對應(yīng)的實際空間點在三維空間坐標(biāo)系中 的坐標(biāo)，對一 HMM模型進行初始化及訓(xùn)練，得到對應(yīng)"平移"動作的HMM模型Μ，λ: = (A，π，μ，U， ω );
[0025] S16:在所述左相機和所述右相機的圖像采集范圍內(nèi)，被采集者分別做出"下蹲"、 "揮手"和"抬腿"的動作，并分別重復(fù)上述步驟S8~S15,其中于步驟S15中分別得到對應(yīng)"下 蹲"、"揮手"和"抬腿"動作的HMM模型，并分別用λ 2，λ3λ4表示；
[0026] S17:根據(jù)前述步驟中得到的對應(yīng)"平移"、"下蹲"、"揮手"和"抬腿"動作的HMM模 型，分別建立"平移"、"下蹲"、"揮手"和"抬腿"動作的估計函數(shù)和P4,其中：
[0027] Ρη=1η(ρ(Οι，〇2· · ·0τ|λη))，η=1，2,3,4;
[0028] S18:從tl時刻起至t2時刻止，被采集者在所述左相機和所述右相機的采集區(qū)域內(nèi) 做出"平移"、"下蹲"、"揮手"、"抬腿"中的任意動作，并使用所述左相機和所述右相機每隔 一設(shè)定時間米集一幅圖像，共米集τ幀左相機圖像和T幀右相機圖像；
[0029] S19:根據(jù)步驟S18采集到的所述左相機圖像和所述右相機圖像，得到一組觀察符 號0,其中〇={〇1，〇 2~糾，01-〇1分別表示對應(yīng)于1'個采集時刻的動作姿態(tài)；
[0030] S20:將所述觀察符號0分別輸入到和P4中，分別計算得到被采集者對應(yīng) "平移"、"下蹲"、"揮手"和"抬腿"動作的概率值PiAA和P4;
[0031] S21:判斷和P4中的最大值，最大值對應(yīng)的動作即為被采集者在tl時刻至 t2時刻之間所做出的動作。
[0032]較佳的，在步驟S9中，采用中值濾波方式進行濾噪處理，采用高通濾波進行膚色增 強處理。
[0033]較佳的，在步驟S12中，所述設(shè)定閾值T為(山+1]2)/2，其中，對于所述左邊緣幅度圖 像來說，山、1]2分別為所述左邊緣幅度圖像中最大的灰度值和最小的灰度值，對于所述右邊 緣幅度圖像來說，山、1] 2分別為所述右邊緣幅度圖像中最大的灰度值和最小的灰度值。
[0034] 較佳的，在步驟S13中，所述匹配閾值為0.9。
[0035] 本發(fā)明還提供了一種實施上述基于雙目視覺的人體動作識別方法的系統(tǒng)，其包 括:雙目標(biāo)定模塊、視頻圖像獲取模塊、視頻圖像預(yù)處理模塊、目標(biāo)檢測模塊、特征提取匹配 模塊、三維坐標(biāo)獲取模塊和運動分析模塊，其中：
[0036] 所述雙目標(biāo)定模塊用于對一左相機和一右相機進行雙目標(biāo)定；
[0037] 所述視頻圖像獲取模塊的作用為：在所述左相機和所述右相機的圖像采集范圍 內(nèi)，當(dāng)被采集者分別做出"平移"、"下蹲"、"揮手"和"抬腿"動作時，使用所述左相機和所述 右相機分別采集一幀左相機圖像和一幀右相機圖像，以及在tl時刻至t2時刻之間，被采集 者在所述左相機和所述右相機的采集區(qū)域內(nèi)做出任意動作，使用所述左相機和所述右相機 分別采集T幀左相機圖像和T幀右相機圖像；
[0038] 所述視頻圖像預(yù)處理模塊用于對所述視頻圖像獲取模塊獲取到的左相機圖像和 所述右相機圖像進行預(yù)處理，以得到待檢測左相機圖像和待檢測右相機圖像；
[0039]所述目標(biāo)檢測模塊用于從所述視頻圖像預(yù)處理模塊預(yù)處理后的圖像中去除背景， 以得到包含運動的人體目標(biāo)的待提取左相機圖像和待提取右相機圖像；
[0040]所述特征提取匹配模塊用于從所述待提取左相機圖像和所述待提取右相機圖像 中提取到多對匹配像素點，每對匹配像素點分別包括一個位于所述左邊緣圖像中的左像素 點和一個位于所述右邊緣圖像中的右像素點；
[0041] 所述三維坐標(biāo)獲取模塊用于計算相匹配的像素點在世界坐標(biāo)系中的坐標(biāo)；
[0042] 所述運動分析模塊用于分析和識別被采集者在tl時刻至t2時刻之間做出的動作。
[0043] 本發(fā)明提供的基于雙目視覺的人體動作識別方法及系統(tǒng)利用雙目視覺獲取深度 信息的原理，通過獲取左右攝像頭視頻幀中人體相應(yīng)人體部位的三維坐標(biāo)點信息，能夠較 準(zhǔn)確的判斷人體三維立體信息。該技術(shù)不需要拍攝大量圖像，能夠通過實時采集視頻幀，通 過人體動作特征點進行立體匹配，來獲取關(guān)鍵部位的位置之間的關(guān)系，運行成本較低。
【附圖說明】
[0044] 為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以 根據(jù)這些附圖獲得其他的附圖。
[0045]圖1為雙目視覺原理圖；
[0046] 圖2a為背景消除后的待提取左相機圖像；
[0047] 圖2b為背景消除后的待提取右相機圖像；
[0048]圖3為箱式濾波器的示意圖；
[0049 ] 圖4為3 X 3鄰域的不意圖；
[0050] 圖5為匹配像素點的示意圖。
【具體實施方式】
[0051] 下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完 整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于 本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有付出創(chuàng)造性勞動前提下所獲得的所有其他 實施例，都屬于本發(fā)明保護的范圍。
[0052] 如圖1所示為雙目視覺原理圖，如圖所示，P點為左相機和右相機采集區(qū)域內(nèi)的一 空間點，0〇lUlVl為左圖像坐標(biāo)系，OorUrVr為右圖像坐標(biāo)系，其中，左圖像坐標(biāo)系OolUlVl位于左 相機的成像面內(nèi)，左相機成像平面坐標(biāo)系oixiyi原點為左相機的成像面與其光軸的交點，右 圖像坐標(biāo)系OorUrVr位于右相機的成像面內(nèi)，右相機成像平面坐標(biāo)系OrXryr原點為右相機的 成像面與其光軸的交點，OolUlVl和OorUrVr的U軸均為沿水平方向向右，V軸方向均為豎直向 下。空間點P( Xw，yw，zw)在左右兩相機的成像平面上的投影點分別是pdPpr根據(jù)極線的定義： 空間物點、空間物點在左相機中的成像點和空間物點在右相機中的成像點組成的平面分別 與左相機的成像平面和右相機的成像平面相交的直線。由圖1可知，左相機成像平面內(nèi)的極 線為1 P1，右相機成像平面內(nèi)的極線為lPr圖1中，OcdXcaycdZca為左相機坐標(biāo)系，其原點為左相 機的光心，OcrXcrycrZcr為右相機坐標(biāo)系，其原點為右相機的光心，0 clXciyclZcl和0crX crycrZcr的 X軸方向與圖像坐標(biāo)系中u軸的方向相同，y軸方向與圖像坐標(biāo)系中v軸的方向相同。
[0053] 下面通過具體實施例說明本發(fā)明提供的基于雙目視覺的人體姿態(tài)動作研究方法。
[0054] 本發(fā)明提供的基于雙目視覺的人體動作識別方法包括以下步驟：
[0055] S1:將同一型號的左相機和右相機固定于與地面平行的同一水平線上，兩部相機 之間的距離為設(shè)定值，且兩部相機均能拍攝到完整的人體；
[0056]其中，不僅應(yīng)確保兩部相機型號相同，而且應(yīng)盡量將兩部相機固定于同一水平高 度；
[0057] S2:對左相機和右相機進行雙目標(biāo)定，首先準(zhǔn)備一塊帶有多個圓形特征點的矩形 標(biāo)定板，其中，多個圓形特征點排列成多行和多列的陣列，位于同一行的圓形特征點的圓心 在同一直線上，位于同一列的圓形特征點的圓心在同一直線上；
[0058]其中，標(biāo)定板為一平整的板面，背景為黑色，特征點為白色實心圓，特征點的個數(shù) 為99個，也可按實際需求設(shè)定為其他個數(shù)，特征點的大小以人眼能辨識為準(zhǔn)，不宜太小或太 大；
[0059] S3:將標(biāo)定板置于相機拍攝區(qū)域內(nèi)的至少5個不同方位，并分別使用左相機和右相 機對標(biāo)定板進行拍攝，得到多張對應(yīng)左相機的左標(biāo)定板圖像和多張對應(yīng)右相機的右標(biāo)定板 圖像；
[0060] S4:計算左標(biāo)定板圖像中的多個圓形特征點在左圖像坐標(biāo)系中的坐標(biāo)，以及右標(biāo) 定板圖像中的多個圓形特征點在右圖像坐標(biāo)系中的坐標(biāo)，其中，左圖像坐標(biāo)系的原點為左 相機的成像面與其光軸的交點，右圖像坐標(biāo)系的原點為右相機的成像面與其光軸的交點；
[0061] S5:利用極線約束規(guī)則分別匹配同一方位下的左標(biāo)定板圖像和右標(biāo)定板圖像，得 到每個方位下多個圓形特征點在左圖像坐標(biāo)系和右圖像坐標(biāo)系中的特征圓心；
[0062] S6:根據(jù)每個方位下多個圓形特征點在左圖像坐標(biāo)系和右圖像坐標(biāo)系中的特征圓 心，利用Leventberg-Marquardt算法求取相機單應(yīng)矩陣H，以及兩相機的內(nèi)外參數(shù)和畸變系 數(shù)，并將這些參數(shù)保存在一 xml文件中；
[0063]上述S1~S6完成了對兩部相機的雙目標(biāo)定。
[0064] S7:在左相機和右相機的圖像采集范圍內(nèi)，被采集者做出"平移"的動作；
[0065] S8:使用左相機和右相機分別采集一幀左相機圖像和一幀右相機圖像；
[0066] S9:分別對左相機圖像和右相機圖像進行濾波去噪處理和膚色增強處理，得到待 檢測左相機圖像和待檢測右相機圖像；
[0067] 在該步驟中，可以采用中值濾波方式進行濾噪處理，采用高通濾波進行膚色增強 處理。
[0068] S10:采用高斯模型背景去除法分別去除待檢測左相機圖像和待檢測右相機圖像 中的背景。得到待提取左相機圖像和待提取右相機圖像；
[0069] 如圖2a、圖2b所示為分別背景消除后的待提取左相機圖像和待提取右相機圖像。
[0070] S11:采用Sobel算子分別計算待提取左相機圖像和待提取右相機圖像中每一個像 素點的梯度值G，并將該梯度值G與一預(yù)設(shè)梯度閾值進行比較，并根據(jù)每一像素點的比較結(jié) 果分別生成一左邊緣幅度圖像和一右邊緣幅度圖像，其中：
[0071 ]若6 >預(yù)設(shè)梯度閾值，則令左邊緣幅度圖像或右邊緣幅度圖像中相應(yīng)的像素點的 灰度值為255，
[0072] 若6<預(yù)設(shè)梯度閾值，則令左邊緣幅度圖像或右邊緣幅度圖像中相應(yīng)的像素點的 灰度值為〇;
[0073] Sobel算子是一種梯度幅值，可以用下面的式（1)、式(2)來實現(xiàn)。通過水平模版和 垂直模版與圖像進行卷積，得到兩個梯度矩陣G x和Gy，那么圖像中的每一個像素的梯度值G 可用式(3)計算得到，
[0077] 其中，I代表步驟S10處理后的圖像。對于圖像的每一個像素點，采用閾值的方式 (即如果梯度G大于某一閥值，則認為該點（x，y)為邊緣點）進行處理，這樣生成一幅邊緣幅 度的圖像。
[0078] S12:剔除左邊緣幅度圖像和右邊緣幅度圖像中對比度低于一設(shè)定閾值T的點，得 到一左邊緣圖像和一右邊緣圖像；
[0079]對經(jīng)過上一步驟Sobel算法處理后的圖像進行高斯濾波器濾波建立尺度空間，可 以采用箱式濾波器來近似代替高斯核函數(shù)，使得卷積模板均由簡單的矩形構(gòu)成。積分圖像 的引入解決了矩形區(qū)域快速計算的問題，箱式濾波器的近似極大提升了計算速度。
[0080] 箱式濾波器的示意圖如圖3所示，其中，第一組第一層濾波器尺寸為9,第二層為 15,依次以等差6相加。下一組的第一層為前一組的第二層，共三組，每組兩層。
[0081] 下面求解局部極值點，圖像局部極值點包含了圖像的空間頻率、幅值包絡(luò)等信息， 而圖像的局部極值點能夠用于挖掘和反映圖像中包含的最高頻率的信息，因此，通過局部 極值點特性判斷圖像清晰度。
[0082] SURF算法在求解極值點時用的是快速Hess ian矩陣檢測，之所以說是快速，是因為 SURF算法將原Hessian矩陣：
[0086] 其中，Dxx，Dxy等是是箱式濾波器的值。用濾波器近似高斯核函數(shù)和用比例因子糾 正后，Hessian矩陣的行列式就可以表示為：
[0087] det(Happrox) = DxxDxy-( ωDxy)2 (6)
[0088] 在極值點的檢測過程中，是通過3X3鄰域內(nèi)共9個點進行比較，通過非極大點抑制 選取特征點。
[0089] 如圖4所示為3X3鄰域的示意圖，在3X3鄰域內(nèi)，只要滿足下列條件之一，就稱為 結(jié)構(gòu)局部極值點：
[0090] (1 )X5>X2 且 X5>X8 或 X5〈X2 且 X5〈X8;
[0091] (2)父5>父4且父5>父6或父50(4且父50(6;
[0092] (3)X5>X3且X5>X7或X5〈X3且X5〈X7;
[0093] (4)X5>X1且X5>X9或X5〈X1且X5〈X9;
[0094] 為了精確定位極值點，需要尺度空間進行插值。在精確定位的過程中，用到了泰勒 展開式。濾波器函數(shù)D(x，y，〇)在局部極值點 XQ，yQ，〇處的泰勒展開式如下所示
[0096]通過對上式求導(dǎo)，并令其為0,得出精確的極值位置Xm，如下所示：
[0098] 要剔除對比度低的點，增強匹配的穩(wěn)定性和抗噪聲能力，計算出Xm*標(biāo)處的Dxx， Dyy，Dxy的值，從而得到det(Η〇_〇χ)的值。其中，設(shè)定閾值T為(山+1] 2)/2，對于左邊緣幅度圖像 來說，山、1]2分別為左邊緣幅度圖像中最大的灰度值和最小的灰度值，對于右邊緣幅度圖像 來說，山、1] 2分別為右邊緣幅度圖像中最大的灰度值和最小的灰度值。若(1Μ(Η〇ρρμχ)的值小 于Τ，則直接不予計算，只有閾值大于Τ的才進行比較。
[0099] S13:設(shè)定一匹配閾值，采用surf算法對左邊緣圖像和右邊緣圖像中的像素點進行 匹配，得到多對匹配像素點，如圖5所示，每對匹配像素點分別包括一個位于左邊緣圖像中 的左像素點和一個位于右邊緣圖像中的右像素點；
[0100] SURF算法的相似性度量公式為：
[0102] 其中，discriptionreal是當(dāng)前左相機圖像描述子，discriptionbase是當(dāng)前右相機圖 像描述子，dist是兩幅圖像的描述子的差得平方和。
[0103] 利用公式(9)找出兩個最匹配的點，分別記為:distf，dists，按照下式（10)進行計 算：
[0105] thresh(可以視為一個閾值)的值取為0.9,如果上式成立，則認為兩幅圖像中的這 兩個點是匹配的。
[0106] S14:從步驟S6中得到的xml文件中讀取出相機單應(yīng)矩陣Η以及兩相機的內(nèi)外參數(shù) 和畸變系數(shù)，并采用張氏標(biāo)定法計算出每對像素點所對應(yīng)的實際空間點在三維空間坐標(biāo)系 中的坐標(biāo)；
[0107] S15:利用S14步驟中得到的每對像素點所對應(yīng)的實際空間點在三維空間坐標(biāo)系中 的坐標(biāo)，對一 ΗΜΜ模型進行初始化及訓(xùn)練，得到對應(yīng)"平移"動作的ΗΜΜ模型Μ，λ: = (Α，π，μ，U， ω );
[0108] Α為初始狀態(tài)轉(zhuǎn)移概率矩陣，π為初始概率分布，μ為混合高斯概率密度函數(shù)的均 值、U為協(xié)方差矩陣，ω為權(quán)值。
[0109] S16:在左相機和右相機的圖像采集范圍內(nèi)，被采集者分別做出"下蹲"、"揮手"和 "抬腿"的動作，并分別重復(fù)上述步驟S8~S15,其中于步驟S15中分別得到對應(yīng)"下蹲"、"揮 手"和"抬腿"動作的ΗΜΜ模型，并分別用λ2，λ3λ4表示；
[0110]這一步驟需要用到前向后向算法和Baum-Welch算法，如果符合收斂條件，也就是 前后兩次的迭代誤差小于e4時，迭代終止，即默認達到收斂，這樣最終的結(jié)果模型就是重估 后的模型λ。
[0111] S17:根據(jù)前述步驟中得到的對應(yīng)"平移"、"下蹲"、"揮手"和"抬腿"動作的ΗΜΜ模 型，分別建立"平移"、"下蹲"、"揮手"和"抬腿"動作的估計函數(shù)和Ρ4,其中：
[0112] Ρη=1η(ρ(Οι，〇2· · ·0τ|λη))，η=1，2,3,4;
[0113] S18:從tl時刻起至t2時刻止，被采集者在左相機和右相機的采集區(qū)域內(nèi)做出"平 移"、"下蹲"、"揮手"、"抬腿"中的任意動作，并使用左相機和右相機每隔一設(shè)定時間采集一 幅圖像，共米集T幀左相機圖像和T幀右相機圖像；
[0114] S19:根據(jù)步驟S18采集到的左相機圖像和右相機圖像，得到一組觀察符號0,其中0 ={(h，02···0τ}，0ι_0τ分別表示對應(yīng)于T個采集時刻的動作姿態(tài)；
[0115] S20:將觀察符號0分別輸入到和Ρ4中，分別計算得到被采集者對應(yīng)"平 移"、"下蹲"、"揮手"和"抬腿"動作的概率值和P4;
[0116] S21:判斷和P4中的最大值，最大值對應(yīng)的動作即為被采集者在tl時刻至 t2時刻之間所做出的動作。
[0117] 本發(fā)明還提供了一種實施上述基于雙目視覺的人體動作識別方法的系統(tǒng)，其包 括:雙目標(biāo)定模塊、視頻圖像獲取模塊、視頻圖像預(yù)處理模塊、目標(biāo)檢測模塊、特征提取匹配 模塊、三維坐標(biāo)獲取模塊和運動分析模塊，其中：
[0118]雙目標(biāo)定模塊用于對一左相機和一右相機進行雙目標(biāo)定；
[0119] 視頻圖像獲取模塊的作用為:在左相機和右相機的圖像采集范圍內(nèi)，當(dāng)被采集者 分別做出"平移"、"下蹲"、"揮手"和"抬腿"動作時，使用左相機和右相機分別采集一幀左相 機圖像和一幀右相機圖像，以及在tl時刻至t2時刻之間，被采集者在左相機和右相機的采 集區(qū)域內(nèi)做出任意動作，使用左相機和右相機分別采集T幀左相機圖像和T幀右相機圖像；
[0120] 視頻圖像預(yù)處理模塊用于對視頻圖像獲取模塊獲取到的左相機圖像和右相機圖 像進行預(yù)處理，以得到待檢測左相機圖像和待檢測右相機圖像；
[0121]目標(biāo)檢測模塊用于從視頻圖像預(yù)處理模塊預(yù)處理后的圖像中去除背景，以得到包 含運動的人體目標(biāo)的待提取左相機圖像和待提取右相機圖像；
[0122] 特征提取匹配模塊用于從待提取左相機圖像和待提取右相機圖像中提取到多對 匹配像素點，每對匹配像素點分別包括一個位于左邊緣圖像中的左像素點和一個位于右邊 緣圖像中的右像素點；
[0123] 三維坐標(biāo)獲取模塊用于計算相匹配的像素點在世界坐標(biāo)系中的坐標(biāo)；
[0124] 運動分析模塊用于分析和識別被采集者在tl時刻至t2時刻之間做出的動作。
[0125] 本發(fā)明提供的基于雙目視覺的人體動作識別方法及系統(tǒng)利用雙目視覺獲取深度 信息的原理，通過獲取左右攝像頭視頻幀中人體相應(yīng)人體部位的三維坐標(biāo)點信息，能夠較 準(zhǔn)確的判斷人體三維立體信息。該技術(shù)不需要拍攝大量圖像，能夠通過實時采集視頻幀，通 過人體動作特征點進行立體匹配，來獲取關(guān)鍵部位的位置之間的關(guān)系，運行成本較低。
[0126] 本領(lǐng)域普通技術(shù)人員可以理解:附圖只是一個實施例的示意圖，附圖中的模塊或 流程并不一定是實施本發(fā)明所必須的。
[0127] 本領(lǐng)域普通技術(shù)人員可以理解:實施例中的裝置中的模塊可以按照實施例描述分 布于實施例的裝置中，也可以進行相應(yīng)變化位于不同于本實施例的一個或多個裝置中。上 述實施例的模塊可以合并為一個模塊，也可以進一步拆分成多個子模塊。
[0128] 最后應(yīng)說明的是：以上實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制;盡管 參照前述實施例對本發(fā)明進行了詳細的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可 以對前述實施例所記載的技術(shù)方案進行修改，或者對其中部分技術(shù)特征進行等同替換;而 這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明實施例技術(shù)方案的精神和范 圍。
【主權(quán)項】
1. 一種基于雙目視覺的人體動作識別方法，其特征在于，包括以下步驟： S1:將同一型號的左相機和右相機固定于與地面平行的同一水平線上，兩部相機之間 的距離為設(shè)定值，且兩部相機均能拍攝到完整的人體； S2:對所述左相機和所述右相機進行雙目標(biāo)定，首先準(zhǔn)備一塊帶有多個圓形特征點的 矩形標(biāo)定板，其中，多個所述圓形特征點排列成多行和多列的陣列，位于同一行的圓形特征 點的圓心在同一直線上，位于同一列的圓形特征點的圓心在同一直線上； S3:將所述標(biāo)定板置于相機拍攝區(qū)域內(nèi)的至少5個不同方位，并分別使用左相機和右相 機對所述標(biāo)定板進行拍攝，得到多張對應(yīng)左相機的左標(biāo)定板圖像和多張對應(yīng)右相機的右標(biāo) 定板圖像； S4:計算所述左標(biāo)定板圖像中的多個所述圓形特征點在左圖像坐標(biāo)系中的坐標(biāo)，以及 所述右標(biāo)定板圖像中的多個所述圓形特征點在右圖像坐標(biāo)系中的坐標(biāo)，其中，所述左圖像 坐標(biāo)系的原點為所述左相機的成像面與其光軸的交點，所述右圖像坐標(biāo)系的原點為所述右 相機的成像面與其光軸的交點； S5:利用極線約束規(guī)則分別匹配同一方位下的所述左標(biāo)定板圖像和所述右標(biāo)定板圖 像，得到每個方位下多個所述圓形特征點在所述左圖像坐標(biāo)系和所述右圖像坐標(biāo)系中的特 征圓心； S6:根據(jù)每個方位下多個所述圓形特征點在所述左圖像坐標(biāo)系和所述右圖像坐標(biāo)系中 的特征圓心，利用Leventberg-Marquardt算法求取相機單應(yīng)矩陣H，以及兩相機的內(nèi)外參數(shù) 和畸變系數(shù)，并將這些參數(shù)保存在一 xml文件中； S7:在所述左相機和所述右相機的圖像采集范圍內(nèi)，被采集者做出"平移"的動作； S8:使用所述左相機和所述右相機分別采集一幀左相機圖像和一幀右相機圖像； S9:分別對所述左相機圖像和所述右相機圖像進行濾波去噪處理和膚色增強處理，得 到待檢測左相機圖像和待檢測右相機圖像； S10:采用高斯模型背景去除法分別去除所述待檢測左相機圖像和所述待檢測右相機 圖像中的背景。得到待提取左相機圖像和待提取右相機圖像； S11:采用Sobel算子分別計算所述待提取左相機圖像和所述待提取右相機圖像中每一 個像素點的梯度值G，并將該梯度值G與一預(yù)設(shè)梯度閾值進行比較，并根據(jù)每一像素點的比 較結(jié)果分別生成一左邊緣幅度圖像和一右邊緣幅度圖像，其中： 若6>預(yù)設(shè)梯度閾值，則令所述左邊緣幅度圖像或所述右邊緣幅度圖像中相應(yīng)的像素 點的灰度值為255， 若6<預(yù)設(shè)梯度閾值，則令所述左邊緣幅度圖像或所述右邊緣幅度圖像中相應(yīng)的像素 點的灰度值為〇; S12:剔除所述左邊緣幅度圖像和所述右邊緣幅度圖像中對比度低于一設(shè)定閾值T的 點，得到一左邊緣圖像和一右邊緣圖像； S13:設(shè)定一匹配閾值，采用surf算法對所述左邊緣圖像和所述右邊緣圖像中的像素點 進行匹配，得到多對匹配像素點，每對匹配像素點分別包括一個位于所述左邊緣圖像中的 左像素點和一個位于所述右邊緣圖像中的右像素點； S14:從步驟S6中得到的xml文件中讀取出相機單應(yīng)矩陣Η以及兩相機的內(nèi)外參數(shù)和畸 變系數(shù)，并采用張氏標(biāo)定法計算出每對像素點所對應(yīng)的實際空間點在三維空間坐標(biāo)系中的 坐標(biāo)； S15:利用S14步驟中得到的每對像素點所對應(yīng)的實際空間點在三維空間坐標(biāo)系中的坐 標(biāo)，對一HMM模型進行初始化及訓(xùn)練，得到對應(yīng)"平移"動作的HMM模型λ:，h = (A，π，μ，U，ω ); S16:在所述左相機和所述右相機的圖像采集范圍內(nèi)，被采集者分別做出"下蹲"、"揮 手"和"抬腿"的動作，并分別重復(fù)上述步驟S8~S15,其中于步驟S15中分別得到對應(yīng)"下 蹲"、"揮手"和"抬腿"動作的ΗΜΜ模型，并分別用λ 2，λ3 λ4表示； S17 :根據(jù)前述步驟中得到的對應(yīng)"平移"、"下蹲"、"揮手"和"抬腿"動作的ΗΜΜ模型，分 別建立"平移"、"下蹲"、"揮手"和"抬腿"動作的估計函數(shù)和Ρ4,其中： Ρη=1η(ρ(Οι，〇2· · ·0τ|λη))，η=1，2,3,4; S18:從tl時刻起至t2時刻止，被采集者在所述左相機和所述右相機的采集區(qū)域內(nèi)做出 "平移"、"下蹲"、"揮手"、"抬腿"中的任意動作，并使用所述左相機和所述右相機每隔一設(shè) 定時間米集一幅圖像，共米集τ幀左相機圖像和T幀右相機圖像； S19:根據(jù)步驟S18采集到的所述左相機圖像和所述右相機圖像，得到一組觀察符號0， 其中0= {(h，02…0τ}，(h-〇T分別表示對應(yīng)于T個采集時刻的動作姿態(tài)； S20:將所述觀察符號0分別輸入到和P4中，分別計算得到被采集者對應(yīng)"平移"、 "下蹲"、"揮手"和"抬腿"動作的概率值Pi、P2、P3和P4; S21:判斷和P4中的最大值，最大值對應(yīng)的動作即為被采集者在tl時刻至t2時刻 之間所做出的動作。2. 根據(jù)權(quán)利要求1所述的基于雙目視覺的人體動作識別方法，其特征在于，在步驟S9 中，采用中值濾波方式進行濾噪處理，采用高通濾波進行膚色增強處理。3. 根據(jù)權(quán)利要求1所述的基于雙目視覺的人體動作識別方法，其特征在于，在步驟S12 中，所述設(shè)定閾值T為(山+1]2)/2,其中，對于所述左邊緣幅度圖像來說，山、1] 2分別為所述左 邊緣幅度圖像中最大的灰度值和最小的灰度值，對于所述右邊緣幅度圖像來說，山、1]2分別 為所述右邊緣幅度圖像中最大的灰度值和最小的灰度值。4. 根據(jù)權(quán)利要求1所述的基于雙目視覺的人體動作識別方法，其特征在于，在步驟S13 中，所述匹配閾值為0.9。5. -種實施權(quán)利要求1所述的基于雙目視覺的人體動作識別方法的系統(tǒng)，其特征在于， 包括:雙目標(biāo)定模塊、視頻圖像獲取模塊、視頻圖像預(yù)處理模塊、目標(biāo)檢測模塊、特征提取匹 配模塊、三維坐標(biāo)獲取模塊和運動分析模塊，其中： 所述雙目標(biāo)定模塊用于對一左相機和一右相機進行雙目標(biāo)定； 所述視頻圖像獲取模塊的作用為:在所述左相機和所述右相機的圖像采集范圍內(nèi)，當(dāng) 被采集者分別做出"平移"、"下蹲"、"揮手"和"抬腿"動作時，使用所述左相機和所述右相機 分別采集一幀左相機圖像和一幀右相機圖像，以及在tl時刻至t2時刻之間，被采集者在所 述左相機和所述右相機的采集區(qū)域內(nèi)做出任意動作，使用所述左相機和所述右相機分別采 集T幀左相機圖像和T幀右相機圖像； 所述視頻圖像預(yù)處理模塊用于對所述視頻圖像獲取模塊獲取到的左相機圖像和所述 右相機圖像進行預(yù)處理，以得到待檢測左相機圖像和待檢測右相機圖像； 所述目標(biāo)檢測模塊用于從所述視頻圖像預(yù)處理模塊預(yù)處理后的圖像中去除背景，以得 到包含運動的人體目標(biāo)的待提取左相機圖像和待提取右相機圖像； 所述特征提取匹配模塊用于從所述待提取左相機圖像和所述待提取右相機圖像中提 取到多對匹配像素點，每對匹配像素點分別包括一個位于所述左邊緣圖像中的左像素點和 一個位于所述右邊緣圖像中的右像素點； 所述三維坐標(biāo)獲取模塊用于計算相匹配的像素點在世界坐標(biāo)系中的坐標(biāo)； 所述運動分析模塊用于分析和識別被采集者在tl時刻至t2時刻之間做出的動作。
【文檔編號】G06T7/00GK105869166SQ201610188972
【公開日】2016年8月17日
【申請日】2016年3月29日
【發(fā)明人】葉青, 鄧俊, 張永梅
【申請人】北方工業(yè)大學(xué)