一種3d連續(xù)手勢(shì)識(shí)別方法
【專利摘要】本發(fā)明公開了一種3D連續(xù)手勢(shì)識(shí)別方法，屬于計(jì)算機(jī)視覺和人機(jī)交互領(lǐng)域，具體步驟為：步驟1，獲取手勢(shì)數(shù)據(jù)并提取手勢(shì)特征；步驟2，計(jì)算全局代價(jià)矩陣；步驟3，對(duì)初始筆畫進(jìn)行檢測(cè)；步驟4，對(duì)后續(xù)筆畫進(jìn)行檢測(cè)，從而得的整個(gè)手勢(shì)。通過引入了搜索窗口，不斷的調(diào)整擴(kuò)大搜索窗口的長寬參數(shù)，尋找規(guī)整路徑，最終將窗口擴(kuò)大至包含整個(gè)規(guī)整路徑，此時(shí)，檢測(cè)出對(duì)應(yīng)模板序列，在搜索窗口調(diào)整的過程中，如果某一筆畫未及時(shí)檢測(cè)出，則本次檢測(cè)結(jié)束，最終完成整個(gè)連續(xù)手勢(shì)的識(shí)別。本發(fā)明無需標(biāo)記手勢(shì)的起始結(jié)束點(diǎn)，自動(dòng)的檢測(cè)手勢(shì)起始結(jié)束點(diǎn)，使交互更加流暢自然，同時(shí)，解決了手勢(shì)的自包含現(xiàn)象，是檢測(cè)結(jié)果更加準(zhǔn)確，系統(tǒng)更加穩(wěn)定可靠。
【專利說明】一種3D連續(xù)手勢(shì)識(shí)別方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺和人機(jī)交互領(lǐng)域，具體涉及一種3D連續(xù)手勢(shì)識(shí)別方法。

【背景技術(shù)】
[0002] 隨著3D視覺設(shè)備（尤其是以Kinect為代表深度攝像機(jī)）的商業(yè)化推進(jìn)，手勢(shì)識(shí) 別在3D人機(jī)交互領(lǐng)域（HCI)獲得了越來越多的關(guān)注。手勢(shì)是人類最本能的意圖表達(dá)，也最 為形象生動(dòng)，最符合人們習(xí)慣的自然的交流方式。手勢(shì)作為一種新型的人機(jī)交互方式，具有 以下優(yōu)點(diǎn)：（1)手勢(shì)生動(dòng)形象，意義明了。（2)手勢(shì)通用性高。（3)手勢(shì)種類豐富多樣，應(yīng)用 范圍廣泛。（4)手勢(shì)擺脫了輸入設(shè)備的局限。在手勢(shì)應(yīng)用方面，其中最重要的應(yīng)用當(dāng)屬手 語。手語作為一種交流語言，被各個(gè)國家廣泛使用，如美國手語（American Sign Language， ASL)、英國手語（British Sign Language，BSL)、中國手語等。同時(shí)手語還被應(yīng)用于軍事指 揮，體育裁判，交通指揮等領(lǐng)域。我們有理由相信，在不久的將來，3D手勢(shì)識(shí)別將會(huì)在人們的 日常生活中扮演越來越重要的角色。
[0003] 目前的手勢(shì)識(shí)別主要關(guān)注在手勢(shì)識(shí)別的正確率上，而忽視了交互的流暢性和自然 性。在實(shí)際應(yīng)用時(shí)，需要人為地標(biāo)記手勢(shì)的起始點(diǎn)和終止點(diǎn)，這違背了自然人機(jī)交互這一理 念。針對(duì)這一問題，本發(fā)明提供了一種3D連續(xù)手勢(shì)識(shí)別方法，實(shí)現(xiàn)在無限長手勢(shì)序列中自 動(dòng)檢測(cè)手勢(shì)的起始點(diǎn)和終止點(diǎn)，消除自包含現(xiàn)象。同時(shí)，加入局部窗口，濾除手勢(shì)噪聲干擾。
[0004] 中國專利申請(qǐng)?zhí)枮?01310684231的發(fā)明專利申請(qǐng)公開了一種3D手勢(shì)識(shí)別方法， 該算法基于筆畫特征和多層分類思想，將連續(xù)的運(yùn)動(dòng)手勢(shì)軌跡，分割成一個(gè)個(gè)標(biāo)準(zhǔn)的手勢(shì) 筆畫，提取筆畫序號(hào)與長度組成手勢(shì)的特征序列，然后計(jì)算手勢(shì)特征序列與模板手勢(shì)的相 似度。在該算法中，用到了兩層分類器。第一層分類器把手勢(shì)運(yùn)動(dòng)軌跡拆分為標(biāo)準(zhǔn)的16種 筆畫；第二層分類器進(jìn)行手勢(shì)分類，計(jì)算測(cè)試樣本到類的相似度，得到最終分類結(jié)果。該算 法應(yīng)用在手勢(shì)起始點(diǎn)和終止點(diǎn)已知的手勢(shì)識(shí)別中，手勢(shì)識(shí)別過程中，用戶需要給定手勢(shì)的 端點(diǎn)信息，影響了交互的流暢性和自然性。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于克服傳統(tǒng)動(dòng)態(tài)時(shí)間規(guī)整算法（TDTW)檢測(cè)手勢(shì)需要預(yù)先知道手 勢(shì)的起始點(diǎn)和終止點(diǎn)的不足，消除自包含手勢(shì)導(dǎo)致的誤檢測(cè)，使得整個(gè)手勢(shì)識(shí)別系統(tǒng)更加 流暢自然，提供了一種3D連續(xù)手勢(shì)識(shí)別方法。
[0006] 本發(fā)明的具體方案如下：
[0007] -種3D連續(xù)手勢(shì)識(shí)別方法，包含以下步驟：
[0008] 步驟1，獲取手勢(shì)數(shù)據(jù)并提取手勢(shì)特征；步驟2,計(jì)算全局代價(jià)矩陣；步驟3,對(duì)初始 筆畫進(jìn)行檢測(cè)；步驟4,對(duì)后續(xù)筆畫進(jìn)行檢測(cè)，從而得的整個(gè)手勢(shì)。
[0009] 進(jìn)一步的，所述步驟1是使用深度攝像機(jī)kinect進(jìn)行手勢(shì)數(shù)據(jù)獲取，采用kinect 的SDK中的手勢(shì)跟蹤模塊跟蹤手掌空間位置坐標(biāo)，根據(jù)此坐標(biāo)提取手勢(shì)特征。
[0010] 進(jìn)一步的，所述步驟3包括定義搜索窗口 W為[y, X ;h, w]，并計(jì)算搜索窗口 W的 代價(jià)值SwS Sw = M(f(W[y，x ;h，w]));定義第i個(gè)筆畫的相似度閥值TiQ彡i彡N)，

【權(quán)利要求】
1. 一種3D連續(xù)手勢(shì)識(shí)別方法，其特征在于，包含以下步驟： 步驟1，獲取手勢(shì)數(shù)據(jù)并提取手勢(shì)特征；步驟2,計(jì)算全局代價(jià)矩陣；步驟3,對(duì)初始筆畫 進(jìn)行檢測(cè)；步驟4,對(duì)后續(xù)筆畫進(jìn)行檢測(cè)，從而得的整個(gè)手勢(shì)。
2. 如權(quán)利要求1所述的一種3D連續(xù)手勢(shì)識(shí)別方法，其特征在于，所述步驟1是使用深 度攝像機(jī)kinect進(jìn)行手勢(shì)數(shù)據(jù)獲取，采用kinect的SDK中的手勢(shì)跟蹤模塊跟蹤手掌空間 位置坐標(biāo)，根據(jù)此坐標(biāo)提取手勢(shì)特征。
3. 如權(quán)利要求1所述的一種3D連續(xù)手勢(shì)識(shí)別方法，其特征在于，所述步驟3包括定義 搜索窗口 W為[y，X ;h，w]，并計(jì)算搜索窗口 W的代價(jià)值Sw為Sw = M (f (W[y，X ;h，w]));定義
始化窗口 W為[1，I J1, 1]，窗口的左上角元素坐標(biāo)為（1，1)，窗口高為T1，寬度為1，其中， T1為模板手勢(shì)筆畫1對(duì)應(yīng)的手勢(shì)模板長度，依次逐列向后調(diào)整窗口，在每一步調(diào)整窗口過程 中，計(jì)算窗口的代價(jià)值Sw，并將Sw與模板手勢(shì)第一筆畫的相似度閾值T i進(jìn)行比較，直到滿 足=Sw彡T i，則第一筆畫被檢測(cè)到，調(diào)整窗口到[1，& 1]，通過鄰域值的選取情況，回溯 得到了從元素（Lk1)到元素（1，1〇的規(guī)整路徑，調(diào)整窗口 W到[Lkci5T1^1-Ig,使得W包 含整個(gè)第一筆畫的規(guī)整路徑，若不滿足，則繼續(xù)逐列向后移動(dòng)，調(diào)整窗口，直至檢測(cè)到第一 筆畫。
4. 如權(quán)利要求3所述的一種3D連續(xù)手勢(shì)識(shí)別方法，其特征在于，所述領(lǐng)域值的選取具 體為，定義〇(i，j)為針對(duì)元素（i，j)值選取的函數(shù)操作，它表示元素（i，j)的minu，eN(u)M(?'）取自于哪一個(gè)鄰域元素，以數(shù)字1、2、3分別表示這三個(gè)鄰域元素，則
5. 如權(quán)利要求1所述的一種3D連續(xù)手勢(shì)識(shí)別方法，其特征在于，所述步驟4包括，第 一，窗口的擴(kuò)展；第二，計(jì)算每一個(gè)調(diào)整窗口的代價(jià)值Sw，并判斷當(dāng)前筆畫是否被檢測(cè)到。
6. 如權(quán)利要求1至5任一項(xiàng)所述的一種3D連續(xù)手勢(shì)識(shí)別方法，其特征在于，在手勢(shì)識(shí) 別過程中引入了約束規(guī)整路徑的局部窗口。
【文檔編號(hào)】G06F3/01GK104360742SQ201410660206
【公開日】2015年2月18日 申請(qǐng)日期:2014年11月18日 優(yōu)先權(quán)日:2014年11月18日
【發(fā)明者】程洪, 羅軍 申請(qǐng)人:電子科技大學(xué)