一種實(shí)時(shí)手勢(shì)識(shí)別方法及裝置制造方法
【專利摘要】本發(fā)明涉及體感控制領(lǐng)域，尤其是一種實(shí)時(shí)手勢(shì)識(shí)別方法及裝置。本發(fā)明所要解決的技術(shù)問題是：針對(duì)上述存在的問題，提供一種實(shí)時(shí)手勢(shì)識(shí)別方法及裝置，本發(fā)明涉及一種實(shí)時(shí)精準(zhǔn)的手勢(shì)識(shí)別方法，能在一幀內(nèi)邊進(jìn)行圖像實(shí)時(shí)輸出邊進(jìn)行該算法進(jìn)行圖像處理，從而可以獲得任何類型的二維或三維圖像目標(biāo)邊緣、骨架、尖端、節(jié)點(diǎn)等豐富數(shù)據(jù)信息；且數(shù)據(jù)信息能實(shí)時(shí)的進(jìn)行排序以獲得順序數(shù)組。還可以實(shí)現(xiàn)基于骨架特征的目標(biāo)精確實(shí)時(shí)跟蹤匹配，醫(yī)學(xué)上動(dòng)靜脈軌跡分析。本裝置包括所述手勢(shì)識(shí)別裝置包括手勢(shì)識(shí)別控制裝置和2自由度機(jī)械桿。
【專利說明】一種實(shí)時(shí)手勢(shì)識(shí)別方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及體感控制領(lǐng)域，尤其是一種實(shí)時(shí)手勢(shì)識(shí)別方法及裝置。
【背景技術(shù)】
[0002]手勢(shì)識(shí)別是體感控制領(lǐng)域的一項(xiàng)重要技術(shù)，通過此項(xiàng)技術(shù)用戶可以通過手勢(shì)識(shí)別控制器以最自然的方式進(jìn)行人機(jī)的交互，比如通過用戶的手就可以進(jìn)行音樂創(chuàng)作，實(shí)現(xiàn)手指空中彈奏，醫(yī)療的遠(yuǎn)程手術(shù)，遠(yuǎn)程危險(xiǎn)做業(yè)，三維模型搭建等操作。
[0003]傳統(tǒng)的手勢(shì)識(shí)別過程是先通過幀差法或是膚色識(shí)別等方法從可見光圖像中提取手勢(shì)目標(biāo)；接著進(jìn)行目標(biāo)邊緣檢測(cè)，再對(duì)邊緣序列進(jìn)行排序拼接；最后通過曲率角點(diǎn)算法，獲取曲率最大的坐標(biāo)處即為類指尖，因?yàn)橹讣夂褪种傅目p隙是手指的曲率最大極值點(diǎn)，為了排除指縫還需要再通過向量旋轉(zhuǎn)角度特征排除手指縫坐標(biāo)，從而最終獲得指尖坐標(biāo)。
[0004]但是傳統(tǒng)的手勢(shì)識(shí)別算法有很多的缺點(diǎn)，第一在手勢(shì)目標(biāo)提取過程中要通過手勢(shì)目標(biāo)的提取過程中，因?yàn)樵诳梢姽猸h(huán)境下，圖像對(duì)可見光線敏感，易影響目標(biāo)的提取效果，通用性差，而且采用幀差法還要訓(xùn)練背景模板，增加識(shí)別算法復(fù)雜度及模板的更新問題，存儲(chǔ)一幀數(shù)據(jù)進(jìn)行對(duì)比使過程難度加大，嵌入式移植時(shí)的存儲(chǔ)量增加等問題，不利于嵌入式平臺(tái)移植。第二對(duì)于邊緣檢測(cè)序列的拼接需要消耗較多的時(shí)間和資源，不能使手勢(shì)識(shí)別計(jì)算結(jié)果在一幀內(nèi)完成，總要延時(shí)若干幀，實(shí)時(shí)性差。第三對(duì)于在幀與幀之間獲取最大的曲率角點(diǎn)坐標(biāo)，具有坐標(biāo)跳躍性，不具有坐標(biāo)連貫性，會(huì)產(chǎn)生明顯的坐標(biāo)抖動(dòng)，然而最終會(huì)使得指尖的定位產(chǎn)生明顯抖動(dòng)，不利于之后的精確地操作應(yīng)用。第四無法再手勢(shì)識(shí)別的同時(shí)獲取目標(biāo)的骨架數(shù)據(jù)信息，只是單純的識(shí)別指尖的大致邊界區(qū)域。

【發(fā)明內(nèi)容】

[0005]本發(fā)明所要解決的技術(shù)問題是:針對(duì)現(xiàn)有技術(shù)存在的問題，提供一種實(shí)時(shí)手勢(shì)識(shí)別方法及裝置，本發(fā)明涉及一種實(shí)時(shí)精準(zhǔn)的手勢(shì)識(shí)別方法，能在一幀內(nèi)邊進(jìn)行圖像實(shí)時(shí)輸出邊進(jìn)行該算法進(jìn)行圖像處理，從而可以獲得任何類型的二維或三維圖像目標(biāo)邊緣、手指骨干、手指尖端、末端節(jié)點(diǎn)等豐富數(shù)據(jù)信息；且數(shù)據(jù)信息能實(shí)時(shí)的進(jìn)行排序以獲得順序數(shù)組。還可以實(shí)現(xiàn)基于骨架特征的目標(biāo)精確實(shí)時(shí)跟蹤匹配，醫(yī)學(xué)上動(dòng)靜脈軌跡分析。
[0006]本發(fā)明采用的技術(shù)方案如下:
[0007]一種實(shí)時(shí)手勢(shì)識(shí)別方法包括:
[0008]步驟1:通過手勢(shì)識(shí)別裝置的左攝像頭、右攝像頭，進(jìn)行圖像顯示幀的同步實(shí)時(shí)k行全屏掃描，獲取紅外圖像數(shù)據(jù)，處理器分別對(duì)紅外圖像數(shù)據(jù)進(jìn)行處理；步驟2:處理器將紅外圖像轉(zhuǎn)化為灰度圖像通過自適應(yīng)閥值處理，將手勢(shì)區(qū)域與背景區(qū)域進(jìn)行分離，通過圖像二值化的自適應(yīng)法處理獲得手勢(shì)目標(biāo)的二值化圖；
`[0009]步驟3:通過基于目標(biāo)邊界的預(yù)測(cè)歸類算法對(duì)手勢(shì)區(qū)域中每個(gè)手指進(jìn)行相關(guān)特征的坐標(biāo)位置的預(yù)測(cè)，并將不同的手指特征數(shù)據(jù)分離歸類，獲取手勢(shì)區(qū)域中不同手指起始邊緣數(shù)組ae1、手指終止邊緣數(shù)組be1、手掌邊緣數(shù)組和手指骨干數(shù)組Cei ;當(dāng)^1時(shí)，代表左攝像頭數(shù)據(jù)，e=2時(shí)，代表右攝像數(shù)據(jù)；
[0010]步驟4:通過每個(gè)手指的手指起始邊緣ae1、手指終止邊緣bei和手指骨干數(shù)組cei，獲得手指指尖圓心坐標(biāo)(Xei, Yei)；
[0011]步驟5:通過步驟3、4，根據(jù)手指末端判斷準(zhǔn)則，獲得不同手指指節(jié)末端；
[0012]步驟6:所述左攝像頭、右攝像頭分別通過對(duì)應(yīng)的不同手指指節(jié)末端和手掌邊緣擬合手掌圓心(^)，yJ ;對(duì)左攝像頭、右攝像頭采集同一手勢(shì)姿勢(shì)的數(shù)據(jù)，進(jìn)行雙視差圖匹配計(jì)算，得到匹配手勢(shì)識(shí)別坐標(biāo)點(diǎn)；
[0013]步驟7:將匹配手勢(shì)識(shí)別坐標(biāo)點(diǎn)進(jìn)行三維建模從而獲得手勢(shì)的3維數(shù)據(jù)信息；對(duì)三維數(shù)據(jù)信息的運(yùn)動(dòng)軌跡進(jìn)行平滑處理；將平滑后的三維數(shù)據(jù)信息進(jìn)行應(yīng)用輸出。
[0014]優(yōu)選的，所述步驟3中基于目標(biāo)邊界的預(yù)測(cè)歸類算法具體步驟:
[0015]步驟31:當(dāng)檢測(cè)到疑似手勢(shì)目標(biāo)，即二值圖白色像素，并記錄手勢(shì)姿勢(shì)在該行的起始點(diǎn)aei,其坐標(biāo)值為(xaei，yaei)；
[0016]步驟32:當(dāng)k行該疑似目標(biāo)寬度，即連續(xù)白色像素個(gè)數(shù)大于閾值P時(shí)，認(rèn)為檢測(cè)到了手勢(shì)目標(biāo)而不是噪聲點(diǎn)，并記錄該行手勢(shì)目標(biāo)的終止點(diǎn)bei (xbei，ybei)，其中p=10。
[0017]步驟33:通過前兩步驟獲得k-Ι行某個(gè)手指姿勢(shì)的起始邊緣(Xae(i_D，Yae^1,)和終止邊緣(Xbe(H), Ybe(H))，且 ^e(H) =Ybe(H),通過(Xae(H)Jae(H))' (Xbe(H)Jbe(H))兩點(diǎn)求出該手指姿勢(shì)在k-Ι行的中點(diǎn)坐標(biāo)，即手指骨干坐標(biāo)，myy^)，其中所述.
【權(quán)利要求】
1.一種實(shí)時(shí)手勢(shì)識(shí)別方法，其特征在于包括: 步驟1:通過手勢(shì)識(shí)別裝置的左攝像頭、右攝像頭，進(jìn)行圖像顯示幀的同步實(shí)時(shí)k行全屏掃描，獲取紅外圖像數(shù)據(jù)，處理器分別對(duì)紅外圖像數(shù)據(jù)進(jìn)行處理；步驟2:處理器將紅外圖像轉(zhuǎn)化為灰度圖像通過自適應(yīng)閥值處理，將手勢(shì)區(qū)域與背景區(qū)域進(jìn)行分離，通過圖像二值化的自適應(yīng)法處理獲得手勢(shì)目標(biāo)的二值化圖； 步驟3:通過基于目標(biāo)邊界的預(yù)測(cè)歸類算法對(duì)手勢(shì)區(qū)域中每個(gè)手指進(jìn)行相關(guān)特征的坐標(biāo)位置的預(yù)測(cè)，并將不同的手指特征數(shù)據(jù)分離歸類，獲取手勢(shì)區(qū)域中不同手指起始邊緣數(shù)組ae1、手指終止邊緣數(shù)組be1、手掌邊緣數(shù)組和手指骨干數(shù)組Cei ;當(dāng)^1時(shí)，代表左攝像頭數(shù)據(jù)，e=2時(shí)，代表右攝像數(shù)據(jù)； 步驟4:通過每個(gè)手指的手指起始邊緣ae1、手指終止邊緣bei和手指骨干數(shù)組Cei，獲得手指指尖圓心坐標(biāo)(xei) Yei)； 步驟5:通過步驟3、4，根據(jù)手指末端判斷準(zhǔn)則，獲得不同手指指節(jié)末端； 步驟6:所述左攝像頭、右攝像頭分別通過對(duì)應(yīng)的不同手指指節(jié)末端和手掌邊緣擬合手掌圓心Um yj ;對(duì)左攝像頭、右攝像頭采集同一手勢(shì)姿勢(shì)的數(shù)據(jù)，進(jìn)行雙視差圖匹配計(jì)算，得到匹配手勢(shì)識(shí)別坐標(biāo)點(diǎn)； 步驟7:將匹配手勢(shì)識(shí)別坐標(biāo)點(diǎn)進(jìn)行三維建模從而獲得手勢(shì)的3維數(shù)據(jù)信息；對(duì)三維數(shù)據(jù)信息的運(yùn)動(dòng)軌跡進(jìn)行平滑處理；將平滑后的三維數(shù)據(jù)信息進(jìn)行應(yīng)用輸出。
2.根據(jù)權(quán)利要求1所述的一種實(shí)時(shí)手勢(shì)識(shí)別方法，其特征在于所述步驟3 中基于目標(biāo)邊界的預(yù)測(cè)歸類算法具體步驟: 步驟31:當(dāng)檢測(cè)到疑似手勢(shì)目標(biāo)，即二值圖白色像素，并記錄手勢(shì)姿勢(shì)在該行的起始點(diǎn)aei，其坐標(biāo)值為(xaei，yaei)； 步驟32:當(dāng)k行該疑似目標(biāo)寬度，即連續(xù)白色像素個(gè)數(shù)大于閾值P時(shí)，認(rèn)為檢測(cè)到了手勢(shì)目標(biāo)而不是噪聲點(diǎn)，并記錄該行手勢(shì)目標(biāo)的終止點(diǎn)bei (xbei, ybei),其中p=10。 步驟33:通過前兩步驟獲得k-Ι行某個(gè)手指姿勢(shì)的起始邊緣(Xae(i_D，yae(i_D)和終止邊緣(Xbe(H), Ybe(^1))，且 yae(i_1)=ybe(i_1),通過(Xae(H), Yaeii^1))、(Xbe(H), Ybeii^)兩點(diǎn)求出該手指姿勢(shì)在k-Ι行的中點(diǎn)坐標(biāo)即手指骨干坐標(biāo)my^^)，(xae(i_u +Xbelj,,)其中所述 hmWMi=-^- HiyeiH) =yae(i_D ;其中 k>=l, i>l。步驟 34:由于手指姿勢(shì)圖像具有連續(xù)性，每個(gè)手指行掃描中點(diǎn)位置也具有連續(xù)性，則通過k-Ι行起始邊緣(Xaei1-D, Yae(^1))、終止邊緣(XbeI1), Ybe(^1))、手指骨干坐標(biāo) Oiixe^1), Iiiye^1)),預(yù)測(cè)下一行，即k行的起始邊緣(xaei, yaei)、終止邊緣(xbei, ybei)、手指骨干坐標(biāo)(mxei, myei),其中所述
Xai^Xb1.nn" = 2 ^ei=Yaei ; 步驟35:根據(jù)連續(xù)性k行的起始邊緣和終止邊緣與k-Ι行相等，即當(dāng)k行的手指骨干坐標(biāo)在預(yù)測(cè)的手指姿勢(shì)起始邊緣與手指姿勢(shì)終止邊緣之間，則該中點(diǎn)、起始邊緣、終止邊緣都屬于此手指目標(biāo)的中點(diǎn)、起始邊緣點(diǎn)、終止邊緣，否則都不屬于該手指目標(biāo)，起始邊緣(xaei, yaei)是通過i個(gè)起始邊緣組成的邊緣,終止邊緣(xbei, ybei)是通過i個(gè)終止邊緣組成的邊緣，手指骨干坐標(biāo)Oiixei, myei)是通過i個(gè)中點(diǎn)坐標(biāo)骨架；步驟36:通過實(shí)時(shí)行掃描區(qū)分不同的手勢(shì)姿勢(shì)中不同手指骨干坐標(biāo)(mxei，myei)、起始邊緣(xaei, yaei)、終止邊緣(xbei, ybei),得到每個(gè)手勢(shì)目標(biāo)中不同手指骨干坐標(biāo)(mxei, myei)、起始邊緣(xaei, yaei)、終止邊緣(xbei, ybei),以及手掌邊緣數(shù)組,進(jìn)行分類存儲(chǔ)。
3.根據(jù)權(quán)利要求2所述的一種實(shí)時(shí)手勢(shì)識(shí)別方法，其特征在于所述步驟4獲得指尖圓心坐標(biāo)采用擬合方法，具體步驟: 步驟41:對(duì)于獲得的手勢(shì)姿勢(shì)中手指骨干坐標(biāo)(mxei，myei)，當(dāng)首次同行出現(xiàn)連續(xù)P個(gè)白色像素的目標(biāo)時(shí)，左邊界點(diǎn)aQ坐標(biāo)(XaeQ，yae0)、右邊界點(diǎn)bQ坐標(biāo)(xbeCI，ybe0)、下一行左邊界點(diǎn)C。坐標(biāo)(xael, yael)組成三角形的外接圓，通過a。、b0> C0進(jìn)行指尖圓心坐標(biāo)(xeCI, ye0)的擬合； 步驟42:yae0=ybe0, yael=yae(l+c,修正參數(shù)c范圍值為9到11 ； 步驟43:指尖圓心坐標(biāo)(xe0, ye0):
4.根據(jù)權(quán)利要求2所述的一種實(shí)時(shí)手勢(shì)識(shí)別方法，其特征在于所述步驟4獲得指尖圓心坐標(biāo)采用重心算法，具體步驟: 步驟41:對(duì)于獲得的手勢(shì)姿勢(shì)中手指骨干坐標(biāo)(mxei，myei)，當(dāng)首次同行出現(xiàn)連續(xù)P個(gè)白色像素的目標(biāo)時(shí)，左邊界點(diǎn)aQ坐標(biāo)(XaeQ，yae0)、右邊界點(diǎn)bQ坐標(biāo)(xbeCI，ybe0)、下一行左邊界點(diǎn)C。坐標(biāo)(xael, yael)組成三角形的外接圓，通過a。、b0> C0進(jìn)行指尖圓心坐標(biāo)(xeCI, ye0)的擬合；


步驟 42:指尖圓心坐標(biāo)(Xi，Yi)，
5.根據(jù)權(quán)利要求3或4所述的一種實(shí)時(shí)手勢(shì)識(shí)別方法，其特征在于所述步驟5手指末端判斷準(zhǔn)則具體步驟是:判斷首次出現(xiàn)兩個(gè)或以上個(gè)數(shù)的手指骨架預(yù)測(cè)中點(diǎn)he(h+1)坐標(biāo)(mxe(h+1)，mye(h+1)) >ie(u+1)坐標(biāo)(mxe(u+1)，mye(u+1)) >Je(v+1)坐標(biāo)(mxe(v+1)，mye(v+1))出現(xiàn)在同一個(gè)白色掃描區(qū)域，那么上一行與之對(duì)應(yīng)的手指骨架中點(diǎn)為手指指節(jié)末端heh坐標(biāo)(mXeh，myJ、ieu坐標(biāo)(mxeu, myeu) > jev 坐標(biāo)(mxev, myev),其中所述 h+l〈=1、u+l〈=1、v+l〈=i。
6.根據(jù)權(quán)利要求5所述的一種實(shí)時(shí)手勢(shì)識(shí)別方法，其特征在于所述步驟6具體步驟包括: 步驟61:通過兩點(diǎn)手指指節(jié)末端和任一隨機(jī)手掌邊緣點(diǎn)用指尖圓心擬合的方法得到掌心坐標(biāo)(?, %)，并以掌心坐標(biāo)為原點(diǎn)建立坐標(biāo)系，分別計(jì)算指尖圓心坐標(biāo)(xei，yei)到對(duì)應(yīng)手指指節(jié)末端Onxe^myeJ ,再從指節(jié)末端Oiixeii, IiiyeJ到掌心坐標(biāo)(Xc^ytl)的矢量:
7.根據(jù)權(quán)利要求6所述的一種實(shí)時(shí)手勢(shì)識(shí)別方法，其特征在于所述手勢(shì)識(shí)別裝置包括手勢(shì)識(shí)別控制裝置和2自由度機(jī)械桿，所述手勢(shì)識(shí)別控制裝置包括左攝像頭、右攝像頭、最少兩個(gè)紅外LED、處理器、與攝像頭對(duì)應(yīng)的紅外濾光片、外框架、2自由度機(jī)械桿，所述處理器用于控制左攝像頭、右攝像頭、紅外LED、2自由度機(jī)械桿工作，處理器放置于外框架內(nèi)部，左攝像頭、右攝像頭底座分布于外框架正面，所述紅外LED等分布于外框架正面，所述紅外濾光片與攝像頭上端面表面連接，所述2自由度機(jī)械桿一端與外框架側(cè)端面連接，2自由度機(jī)械桿另一端通過底座接地，處理器控制2自由度機(jī)械桿的旋轉(zhuǎn)電機(jī)。
8.根據(jù)權(quán)利要求7所述的一種實(shí)時(shí)手勢(shì)識(shí)別方法，其特征在于所述包括3個(gè)紅外LED，所述紅外LED與左攝像頭、右攝像頭間隔均勻分布在外框架正面。
9.基于權(quán)利要求1至7之一所述的一種實(shí)時(shí)手勢(shì)識(shí)別裝置，其特征在于包括手勢(shì)識(shí)別控制裝置和2自由度機(jī)械桿，所述手勢(shì)識(shí)別控制裝置包括左攝像頭、右攝像頭、最少兩個(gè)紅外LED、處理器、與攝像頭對(duì)應(yīng)的紅外濾光片、外框架、2自由度機(jī)械桿，所述處理器用于控制左攝像頭、右攝像頭、紅外LED、2自由度機(jī)械桿工作，處理器放置于外框架內(nèi)部，左攝像頭、右攝像頭底座分布于外框架正面，所述紅外LED等分布于外框架正面，所述紅外濾光片與攝像頭上端面表面連接，所述2自由度機(jī)械桿一端與外框架側(cè)端面連接，2自由度機(jī)械桿另一端通過底座接地，處理器控制2自由度機(jī)械桿的旋轉(zhuǎn)電機(jī)。
10.根據(jù)權(quán)利要求9所述的一種實(shí)時(shí)手勢(shì)識(shí)別裝置，其特征在于包括3個(gè)紅外LED，所述紅外LED與左攝像頭、右攝像頭間隔均勻分布在外框架正面。
【文檔編號(hào)】G06F3/01GK103714322SQ201310731359
【公開日】2014年4月9日 申請(qǐng)日期:2013年12月26日 優(yōu)先權(quán)日:2013年12月26日
【發(fā)明者】李翔, 符贊宣, 王付生 申請(qǐng)人:四川虹歐顯示器件有限公司