專(zhuān)利名稱(chēng)：一種基于深度信息的手勢(shì)識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明屬于人機(jī)交互技術(shù)領(lǐng)域，涉及ー種基于深度信息的手勢(shì)識(shí)別方法。
背景技術(shù)：
近年來(lái)手勢(shì)識(shí)別技術(shù)取得了快速的發(fā)展?；趩螖z像機(jī)的手勢(shì)識(shí)別、基于雙攝像機(jī)的手勢(shì)識(shí)、微軟的kinect手勢(shì)識(shí)別已相繼出現(xiàn)在家電控制、游戲控制等應(yīng)用領(lǐng)域，然而在實(shí)際應(yīng)用環(huán)境和用戶(hù)體驗(yàn)上均存在著一定的問(wèn)題，主要表現(xiàn)在單攝像機(jī)下存在的多人體或手勢(shì)出現(xiàn)遮擋時(shí)，手部無(wú)法準(zhǔn)確定位，導(dǎo)致識(shí)別率較低；如專(zhuān)利《基于視覺(jué)的靜態(tài)手勢(shì)識(shí)別方法》、《互動(dòng)系統(tǒng)中的動(dòng)態(tài)手勢(shì)識(shí)別方法》等；
單攝像機(jī)與雙攝像機(jī)下的方法主要以人體的膚色、大小和運(yùn)動(dòng)等信息作為主要特征，使用時(shí)操作距離、手部顔色等受到限制；如專(zhuān)利《一種頭戴式立體視覺(jué)手勢(shì)識(shí)別裝置》;
微軟的kinect不能適應(yīng)光照的變化，戶(hù)外的陽(yáng)光照射和室內(nèi)的開(kāi)關(guān)燈均會(huì)存在干擾，僅應(yīng)用于光源穩(wěn)定的室內(nèi)場(chǎng)景。

發(fā)明內(nèi)容
本發(fā)明的目的是克服現(xiàn)有技術(shù)的不足，提供一種基于深度信息的非接觸式手勢(shì)識(shí)別方法，使識(shí)別率不受距離、膚色、遮擋、光照、運(yùn)動(dòng)等因素的影響，能夠適應(yīng)復(fù)雜多變的應(yīng)用環(huán)境。本發(fā)明解決技術(shù)問(wèn)題所采取的技術(shù)方案
步驟I :從可輸出深度信息的雙目攝像機(jī)中獲取實(shí)時(shí)的深度圖像，對(duì)深度圖像使用混合高斯的背景建模方法獲得背景圖像。步驟2 :利用背景圖像和當(dāng)前圖像作差分，檢測(cè)出前景區(qū)域。步驟3 :利用雙背景更新方法對(duì)建立的背景圖像進(jìn)行更新。步驟4:通過(guò)統(tǒng)計(jì)方法學(xué)習(xí)人體形態(tài)的模型，并根據(jù)人體模型對(duì)檢測(cè)出的區(qū)域進(jìn)行分割，以提取出獨(dú)立的人體區(qū)域。步驟5 :通過(guò)統(tǒng)計(jì)方法學(xué)習(xí)手部模型的分類(lèi)器，在每個(gè)獨(dú)立的人體區(qū)域上檢測(cè)出手部區(qū)域、輪廓信息；若能夠檢測(cè)出手部區(qū)域，則執(zhí)行步驟6，若檢測(cè)不到手部區(qū)域，則跳轉(zhuǎn)至步驟I。步驟6 :通過(guò)手部的運(yùn)動(dòng)狀態(tài)利用自回歸模型對(duì)手部運(yùn)動(dòng)進(jìn)行預(yù)測(cè)，基于預(yù)測(cè)位置，以手部區(qū)域的深度信息為特征，利用面積加權(quán)均值偏移方法跟蹤手部，獲取手部跟蹤的運(yùn)動(dòng)軌跡。步驟7 :利用隱馬爾科夫模型對(duì)運(yùn)動(dòng)軌跡進(jìn)行建摸，從而識(shí)別出手勢(shì)。所述的手勢(shì)包括水平方向的單手運(yùn)動(dòng)、水平方向的雙手運(yùn)動(dòng)、垂直方向的雙手運(yùn)動(dòng)和單個(gè)阿拉伯?dāng)?shù)字單手繪制運(yùn)動(dòng)。本發(fā)明的有益效果本發(fā)明能夠適應(yīng)膚色變化的干擾，在室內(nèi)環(huán)境下不受距離、光照、遮擋、運(yùn)動(dòng)等因素的影響，算法計(jì)算量小，實(shí)時(shí)性高。


圖I為本發(fā)明方法流程圖。
具體實(shí)施例方式以下結(jié)合附圖對(duì)本發(fā)明作進(jìn)ー步說(shuō)明。步驟I :從可輸出深度信息的雙目攝像機(jī)中獲取實(shí)時(shí)的深度圖像，對(duì)深度圖像使用混合高斯的背景建模方法獲得背景圖像。由于深度計(jì)算方法易受遮擋、扭曲等影響而使深度圖像中出現(xiàn)噪點(diǎn)、空洞等情況，因此這里的混合高斯方法利用三個(gè)高斯核。即圖I的建立背景模型步驟。步驟2 :利用背景圖像和當(dāng)前圖像作差分，檢測(cè)出前景區(qū)域。即對(duì)應(yīng)圖I的運(yùn)動(dòng)檢測(cè)。
·
步驟3 :利用雙背景更新方法對(duì)建立的背景圖像進(jìn)行更新，以降低對(duì)深度圖像計(jì)
算誤差的影響。步驟4:收集人體樣本和非人體樣本，采用隨機(jī)森林分類(lèi)器訓(xùn)練出人體形態(tài)的模型。在實(shí)時(shí)處理時(shí)，首先對(duì)前景區(qū)域進(jìn)行垂直投影，得到投影直方圖；統(tǒng)計(jì)投影直方圖，估計(jì)出人體的數(shù)目和位置；然后利用該位置和數(shù)目作為初始，基于人體形態(tài)的模型、占用前景的概率和未占用前景的概率作為約束，利用馬爾科夫鏈蒙特卡洛方法捜索出最優(yōu)的人體數(shù)目和位置，以分割出獨(dú)立的人體區(qū)域。即對(duì)應(yīng)圖I的人體分割。步驟5 :若沒(méi)有人體區(qū)域，則直接跳出本次處理，否則基于檢測(cè)出的人體區(qū)域進(jìn)行手部定位，傳統(tǒng)方法大多基于膚色、運(yùn)動(dòng)等信息受限制較大。假設(shè)待定位的手部自然伸展且位于身體之前，因此在深度圖像上手部的視差大于身體且在已知的范圍內(nèi)，通過(guò)收集人體樣本，并獲取對(duì)應(yīng)的深度圖，采用隨機(jī)森林分類(lèi)器學(xué)習(xí)出人體與手部視差的分布概率以用于從深度圖上分割出手部區(qū)域。另根據(jù)手臂與手的連貫性和人體的対稱(chēng)性可定位出左右手的位置，且有效濾除其它接近的運(yùn)動(dòng)物體或其它人體的手部。若無(wú)法檢測(cè)出手部區(qū)域且未進(jìn)行手勢(shì)跟蹤，則跳出本次處理，否則執(zhí)行手勢(shì)跟蹤模塊。步驟6 :提取手部區(qū)域的輪廓、區(qū)域等信息，若沒(méi)有處于手勢(shì)跟蹤狀態(tài)，或手部檢測(cè)的置信度較高，則更新跟蹤的特征模型，否則不做更新。首先對(duì)手勢(shì)的運(yùn)動(dòng)方程參數(shù)進(jìn)行估計(jì)，設(shè)手勢(shì)的運(yùn)動(dòng)軌跡有如下三次恒加速多項(xiàng)式的自回歸模型描述
X = X0+^ + Jt2I2 + x3t3 , j = J0 + y\t + y2t2 + y3t3
其中，(ち乃)為鄰近軌跡點(diǎn)。利用該模型對(duì)手勢(shì)運(yùn)動(dòng)進(jìn)行預(yù)測(cè)，基于預(yù)測(cè)的位置進(jìn)行跟
蹤搜索出最佳位置，并更新目標(biāo)軌跡，以修正預(yù)測(cè)誤差。跟蹤統(tǒng)計(jì)的特征中采用面積加權(quán)的深度分布和梯度分布的聯(lián)合直方圖，其描述為
ZLZI1UC1
も:《咖 Il2)和啦)-V] ’ 1
其中，C為歸ー化常數(shù)，為聯(lián)合概率密度分布函數(shù)，其維度為，N為待統(tǒng)計(jì)的點(diǎn)的總數(shù)目，たO為核函數(shù)， )為A處的深度值，ゐ( )為此處的梯度值f力n+1幀特征維
度為u，v的質(zhì)心，S為n+1幀特征維度為u，V時(shí)的面積值。該特征可適應(yīng)手部的姿勢(shì)變化、局部遮擋等干擾。由于采用了面積加權(quán)，可減少迭代的次數(shù)，降低計(jì)算量。步驟7 :本發(fā)明定義十二種可識(shí)別的手勢(shì)，即單手水平揮動(dòng)、雙手水平拍手、雙手上下?lián)]手和0-9的單個(gè)阿拉伯?dāng)?shù)字單手繪制運(yùn)動(dòng)。采集十二種預(yù)定手勢(shì)的數(shù)據(jù)，對(duì)手勢(shì)的軌跡進(jìn)行預(yù)處理去除密集點(diǎn)，獲得預(yù)處理軌跡，然后采用Baum-Welch算法訓(xùn)練獲得十二種預(yù)定手勢(shì)的隱馬爾科夫模型，模型中狀態(tài)的長(zhǎng)度為5。在實(shí)時(shí)分析時(shí)同樣過(guò)濾手勢(shì)軌跡，并將有效軌跡量化為16個(gè)方向，采用前向遞推算法獲得手勢(shì)模型的 概率，并取最大者作為識(shí)別結(jié)果。以上所述，僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍，應(yīng)帶理解，本發(fā)明并不限于這里所描述的實(shí)現(xiàn)方案，這些實(shí)現(xiàn)方案描述的目的在于幫助本領(lǐng)域中的技術(shù)人員實(shí)踐本發(fā)明。
權(quán)利要求
1.一種基于深度信息的手勢(shì)識(shí)別方法，其特征在于該方法包括以下步驟 步驟I:從可輸出深度信息的雙目攝像機(jī)中獲取實(shí)時(shí)的深度圖像，對(duì)深度圖像使用混合高斯的背景建模方法獲得背景圖像； 步驟2 :利用背景圖像和當(dāng)前圖像作差分，檢測(cè)出前景區(qū)域； 步驟3 :利用雙背景更新方法對(duì)建立的背景圖像進(jìn)行更新； 步驟4:通過(guò)統(tǒng)計(jì)方法學(xué)習(xí)人體形態(tài)的模型，并根據(jù)人體模型對(duì)檢測(cè)出的區(qū)域進(jìn)行分害I]，以提取出獨(dú)立的人體區(qū)域； 步驟5:通過(guò)統(tǒng)計(jì)方法學(xué)習(xí)手部模型的分類(lèi)器，在每個(gè)獨(dú)立的人體區(qū)域上檢測(cè)出手部區(qū)域、輪廓信息；若能夠檢測(cè)出手部區(qū)域，則執(zhí)行步驟6，若檢測(cè)不到手部區(qū)域，則跳轉(zhuǎn)至步驟I; 步驟6 :通過(guò)手部的運(yùn)動(dòng)狀態(tài)利用自回歸模型對(duì)手部運(yùn)動(dòng)進(jìn)行預(yù)測(cè)，基于預(yù)測(cè)位置，以手部區(qū)域的深度信息為特征，利用面積加權(quán)均值偏移方法跟蹤手部，獲取手部跟蹤的運(yùn)動(dòng)軌跡； 步驟7 :利用隱馬爾科夫模型對(duì)運(yùn)動(dòng)軌跡進(jìn)行建模，從而識(shí)別出手勢(shì)； 所述的手勢(shì)包括水平方向的單手運(yùn)動(dòng)、水平方向的雙手運(yùn)動(dòng)、垂直方向的雙手運(yùn)動(dòng)和單個(gè)阿拉伯?dāng)?shù)字單手繪制運(yùn)動(dòng)。
2.根據(jù)權(quán)利要求I所述的一種基于深度信息的手勢(shì)識(shí)別方法，其特征在于步驟I中的混合高斯方法采用三個(gè)高斯核。
3.根據(jù)權(quán)利要求I所述的一種基于深度信息的手勢(shì)識(shí)別方法，其特征在于步驟4具體是收集人體樣本，采用隨機(jī)森林分類(lèi)器學(xué)習(xí)出人體形態(tài)的模型； 在實(shí)時(shí)處理時(shí)，首先對(duì)前景區(qū)域進(jìn)行垂直投影，得到投影直方圖；統(tǒng)計(jì)投影直方圖，估計(jì)出人體的數(shù)目和位置； 然后利用該位置和數(shù)目作為初始，基于人體形態(tài)的模型、占用前景的概率和未占用前景的概率作為約束，利用馬爾科夫鏈蒙特卡洛方法搜索出最優(yōu)的人體數(shù)目和位置，以確定獨(dú)立的人體區(qū)域。
4.根據(jù)權(quán)利要求I所述的一種基于深度信息的手勢(shì)識(shí)別方法，其特征在于步驟5中檢測(cè)手部區(qū)域的具體方法為 設(shè)待定位的手部自然伸展且位于身體之前，因此在深度圖像上手部的視差大于身體且在已知的范圍內(nèi)，通過(guò)收集人體樣本，并獲取對(duì)應(yīng)的深度圖，采用隨機(jī)森林分類(lèi)器學(xué)習(xí)出人體與手部視差的分布概率以用于從深度圖上分割出手部區(qū)域。
5.根據(jù)權(quán)利要求4所述的一種基于深度信息的手勢(shì)識(shí)別方法，其特征在于根據(jù)手臂與手的連貫性和人體的對(duì)稱(chēng)性可定位出左右手的位置，且有效濾除其它接近的運(yùn)動(dòng)物體或其它人體的手部。
6.根據(jù)權(quán)利要求I所述的一種基于深度信息的手勢(shì)識(shí)別方法，其特征在于步驟6中的自回歸模型采用三次恒加速多項(xiàng)式，利用該模型對(duì)手勢(shì)運(yùn)動(dòng)進(jìn)行預(yù)測(cè)，基于預(yù)測(cè)的位置進(jìn)行跟蹤搜索出最佳位置，并更新目標(biāo)軌跡，以修正預(yù)測(cè)誤差。
7.根據(jù)權(quán)利要求I所述的一種基于深度信息的手勢(shì)識(shí)別方法，其特征在于所述的隱馬爾科夫模型建立過(guò)程中采用Baum-Welch算法進(jìn)行訓(xùn)練，模型中狀態(tài)的長(zhǎng)度為5。
全文摘要
本發(fā)明涉及一種基于深度信息的手勢(shì)識(shí)別方法?，F(xiàn)有方法在實(shí)際應(yīng)用環(huán)境和用戶(hù)體驗(yàn)上均存在著一定的問(wèn)題。本發(fā)明首先獲取實(shí)時(shí)的深度圖像，背景建模后獲得背景圖像，利用背景圖像和當(dāng)前圖像作差分，檢測(cè)出前景區(qū)域。其次對(duì)建立的背景圖像進(jìn)行更新，并以提取出獨(dú)立的人體區(qū)域。然后在每個(gè)獨(dú)立的人體區(qū)域上檢測(cè)出手部區(qū)域、輪廓信息；獲取手部跟蹤的運(yùn)動(dòng)軌跡。最后利用隱馬爾科夫模型對(duì)運(yùn)動(dòng)軌跡進(jìn)行建模，識(shí)別出手勢(shì)。本發(fā)明能夠適應(yīng)膚色變化的干擾，在室內(nèi)環(huán)境下不受距離、光照、遮擋、運(yùn)動(dòng)等因素的影響，算法計(jì)算量小，實(shí)時(shí)性高。
文檔編號(hào)G06K7/00GK102789568SQ201210242290
公開(kāi)日2012年11月21日 申請(qǐng)日期2012年7月13日 優(yōu)先權(quán)日2012年7月13日
發(fā)明者余天明, 尚凌輝, 張兆生, 賀磊盈, 高勇 申請(qǐng)人:浙江捷尚視覺(jué)科技有限公司