本發(fā)明涉及一種基于hausdorff距離的動(dòng)態(tài)手勢(shì)識(shí)別方法。

背景技術(shù)：

人機(jī)交互技術(shù)包括機(jī)器通過(guò)輸出或顯示設(shè)備給人提供大量有關(guān)信息及提示請(qǐng)示，人通過(guò)輸入設(shè)備給機(jī)器輸入有關(guān)信息，回答問(wèn)題及提示請(qǐng)示等。人機(jī)交互技術(shù)是計(jì)算機(jī)用戶界面設(shè)計(jì)中的重要內(nèi)容之一，它與認(rèn)知學(xué)、人機(jī)工程學(xué)、心理學(xué)等學(xué)科領(lǐng)域有密切的聯(lián)系，已然成為當(dāng)今重大科學(xué)技術(shù)之一。國(guó)家973計(jì)劃和中長(zhǎng)期科技發(fā)展綱要中提出要大力支持“和諧人機(jī)交互理論和智能信息處理基礎(chǔ)研究”，重點(diǎn)和優(yōu)先發(fā)展“虛擬現(xiàn)實(shí)技術(shù)”和“智能感知技術(shù)”。

手勢(shì)是一種自然、直觀、易于理解的人機(jī)交互手段。根據(jù)不同的存儲(chǔ)手段，手勢(shì)可以分為靜態(tài)手勢(shì)和動(dòng)態(tài)手勢(shì)。靜態(tài)手勢(shì)強(qiáng)調(diào)通過(guò)手型傳遞一定的信息，通常是基于視覺(jué)的2d手勢(shì)識(shí)別，而動(dòng)態(tài)手勢(shì)通常定義為手的運(yùn)動(dòng)軌跡，強(qiáng)調(diào)手在運(yùn)動(dòng)過(guò)程中的變化。而根據(jù)輸入設(shè)備的不同，手勢(shì)可以分為基于數(shù)字手套的手勢(shì)識(shí)別和基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別。

數(shù)字手套，通常也被稱為數(shù)據(jù)手套，它是一種可穿戴式的虛擬現(xiàn)實(shí)交互設(shè)備。其中含有多個(gè)傳感器，通過(guò)組成的傳感器系統(tǒng)，可以將佩戴者的動(dòng)作轉(zhuǎn)變成量化的數(shù)據(jù)或信號(hào)，通過(guò)對(duì)數(shù)據(jù)進(jìn)行其他操作進(jìn)而控制虛擬手做出不同的手勢(shì)或者抓取、移動(dòng)和釋放物體等，完成與虛擬環(huán)境的交互。它的出現(xiàn)極大地推動(dòng)了虛擬交互技術(shù)的發(fā)展,使得用戶的交互方式更接近現(xiàn)實(shí)、更自然。但目前的手勢(shì)識(shí)別一般存在步驟繁瑣，計(jì)算量大，速度慢，正確率低等缺點(diǎn)。

技術(shù)實(shí)現(xiàn)要素：

為解決以上技術(shù)上的不足，本發(fā)明提供了一種計(jì)算量小，識(shí)別速度快的基于hausdorff距離的動(dòng)態(tài)手勢(shì)識(shí)別方法。

本發(fā)明是通過(guò)以下措施實(shí)現(xiàn)的：

本發(fā)明的一種基于hausdorff距離的動(dòng)態(tài)手勢(shì)識(shí)別方法，包括以下步驟：

步驟1，將人手上的手指關(guān)節(jié)進(jìn)行編號(hào)，然后采用數(shù)字手套獲得多種動(dòng)態(tài)手勢(shì)類別對(duì)應(yīng)的手指關(guān)節(jié)的運(yùn)動(dòng)數(shù)據(jù)，采用最小二乘法對(duì)每種動(dòng)態(tài)手勢(shì)對(duì)應(yīng)的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行曲線擬合，并將每種動(dòng)態(tài)手勢(shì)類別以及對(duì)應(yīng)的樣本擬合曲線數(shù)據(jù)存儲(chǔ)到手勢(shì)庫(kù)內(nèi)；

步驟2，采用數(shù)字手套獲得待識(shí)別動(dòng)態(tài)手勢(shì)的手指關(guān)節(jié)的運(yùn)動(dòng)數(shù)據(jù)，然后采用與步驟1中相同的最小二乘法對(duì)該運(yùn)動(dòng)數(shù)據(jù)進(jìn)行曲線擬合，得到待識(shí)別擬合曲線數(shù)據(jù)；

步驟3，將待識(shí)別擬合曲線數(shù)據(jù)與手勢(shì)庫(kù)內(nèi)的樣本擬合曲線數(shù)據(jù)進(jìn)行hausdorff距離的計(jì)算，計(jì)算出與待識(shí)別擬合曲線數(shù)據(jù)距離最小的那個(gè)樣本擬合曲線數(shù)據(jù)，最終判定待識(shí)別動(dòng)態(tài)手勢(shì)類別與該樣本擬合曲線數(shù)據(jù)對(duì)應(yīng)的動(dòng)態(tài)手勢(shì)類別一致。

上述在步驟3中，待識(shí)別擬合曲線數(shù)據(jù)與手勢(shì)庫(kù)內(nèi)的樣本擬合曲線數(shù)據(jù)進(jìn)行hausdorff距離的計(jì)算時(shí)，在待識(shí)別擬合曲線數(shù)據(jù)中和樣本擬合曲線數(shù)據(jù)中選取相同數(shù)目的曲線值進(jìn)行計(jì)算。

上述在步驟1中，將人手上的十五個(gè)手指關(guān)節(jié)進(jìn)行編號(hào)，每一個(gè)類別的手勢(shì)對(duì)應(yīng)十五組關(guān)節(jié)運(yùn)動(dòng)數(shù)據(jù)。

上述采用最小二乘法進(jìn)行多項(xiàng)式曲線擬合，所用多項(xiàng)式階數(shù)為8。

本發(fā)明的有益效果是：本發(fā)明將復(fù)雜的手勢(shì)識(shí)別問(wèn)題簡(jiǎn)化，具有計(jì)算量小、識(shí)別率高的優(yōu)點(diǎn)。

附圖說(shuō)明

圖1為本發(fā)明的工作流程框圖。

圖2為人手關(guān)節(jié)標(biāo)號(hào)示意圖。

圖3右手做五指握拳動(dòng)作第1號(hào)關(guān)節(jié)的運(yùn)動(dòng)擬合曲線。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步詳細(xì)的描述：

本發(fā)明所提出的基于hausdorff距離的動(dòng)態(tài)手勢(shì)識(shí)別方法，對(duì)其獲取的數(shù)據(jù)做一定處理而后進(jìn)行識(shí)別。如圖1所示，首先將手勢(shì)關(guān)節(jié)運(yùn)動(dòng)數(shù)據(jù)利用最小二乘法進(jìn)行曲線擬合，而后進(jìn)行的識(shí)別是通過(guò)計(jì)算待識(shí)別的手勢(shì)數(shù)據(jù)與樣本庫(kù)中已有的數(shù)據(jù)之間的hausdorff距離從而達(dá)到識(shí)別的目的，因之前進(jìn)行了曲線擬合過(guò)程，且相同手勢(shì)的曲線形狀大致是相同的，這就將手勢(shì)識(shí)別問(wèn)題轉(zhuǎn)換為相似曲線的識(shí)別問(wèn)題。使用matlab編程實(shí)現(xiàn)手勢(shì)的識(shí)別。

步驟1，將人手上的手指關(guān)節(jié)進(jìn)行編號(hào)，然后采用數(shù)字手套獲得多種動(dòng)態(tài)手勢(shì)類別對(duì)應(yīng)的手指關(guān)節(jié)的運(yùn)動(dòng)數(shù)據(jù)，采用最小二乘法對(duì)每種動(dòng)態(tài)手勢(shì)對(duì)應(yīng)的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行曲線擬合，并將每種動(dòng)態(tài)手勢(shì)類別以及對(duì)應(yīng)的樣本擬合曲線數(shù)據(jù)存儲(chǔ)到手勢(shì)庫(kù)內(nèi)。

本發(fā)明將動(dòng)態(tài)手勢(shì)看做人手十八個(gè)關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)，其序號(hào)與關(guān)節(jié)相對(duì)應(yīng)情況為：

1-3：大拇指從下至上三個(gè)關(guān)節(jié)；4-6：食指從下至上三個(gè)關(guān)節(jié)；7-9：中指從下至上三個(gè)關(guān)節(jié)；10-12：無(wú)名指從下至上三個(gè)關(guān)節(jié)；13-15：小指從下至上三個(gè)關(guān)節(jié)。實(shí)際分布如圖2所示。

最小二乘法最早成為回歸分析法，是一種數(shù)學(xué)優(yōu)化方法，利用此方法可以簡(jiǎn)便地求得未知的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差平方和最小，本發(fā)明使用最小二乘法將數(shù)字手套獲取的每個(gè)關(guān)節(jié)的幀數(shù)據(jù)進(jìn)行曲線擬合。

數(shù)據(jù)擬合的具體作法是：對(duì)給定數(shù)據(jù)(xi,yi)(i＝0,1,…,m)，在取定的函數(shù)類φ中,求p(x)∈φ,使誤差ri＝p(xi)-yi(i＝0,1,…,m)的平方和最小，即

從幾何意義上講，即尋求與給定點(diǎn)(xi,yi)(i＝0,1,…,m)的距離平方和為最小的曲線y＝p(x)，函數(shù)p(x)稱為擬合函數(shù)或最小二乘解，此方法稱為曲線擬合或最小二乘法。

那么，如果φ為所有次數(shù)不超過(guò)n(n＜m)的多項(xiàng)式構(gòu)成的函數(shù)類，現(xiàn)求一使得

當(dāng)擬合函數(shù)為多項(xiàng)式時(shí)，稱為多項(xiàng)式擬合，滿足(1)式的pn(x)稱為最小二乘擬合多項(xiàng)式。

本發(fā)明便是基于最小二乘法進(jìn)行的多項(xiàng)式曲線擬合，顯然由上述可知，是a0,a1,a2…,an的多元函數(shù)，因此上述問(wèn)題即轉(zhuǎn)化為求極值的問(wèn)題。由多元函數(shù)求極值的必要條件可得

即

由此可知，(3)式是關(guān)于a0,a1,a2…,an的線性方程組，用矩陣表示為

式(3)或式(4)稱為正規(guī)方程組或法方程組。

可以證明，方程組(4)的系數(shù)矩陣是一個(gè)對(duì)稱正定矩陣，故存在唯一解。從式(4)中解出ak(k＝0,1,…,n)，從而可得多項(xiàng)式

由式(2)可得

因此，多項(xiàng)式擬合的一般方法可歸納為以下幾步：

(1)由已知數(shù)據(jù)畫出函數(shù)粗略的圖形——散點(diǎn)圖，確定擬合多項(xiàng)式的次數(shù)n；

(2)列表計(jì)算和

(3)寫出正規(guī)方程組，求出a0,a1,a2…,an；

(4)寫出擬合多項(xiàng)式

因此，在本發(fā)明所提出的算法中，每一關(guān)節(jié)對(duì)應(yīng)一組數(shù)據(jù)(數(shù)量即為所抓取幀數(shù))，將其分布在直角坐標(biāo)系中，可發(fā)現(xiàn)它們呈現(xiàn)某種“趨勢(shì)”，根據(jù)這種“趨勢(shì)”確定擬合多項(xiàng)式的次數(shù)，能夠返回多項(xiàng)式系數(shù)。

步驟2，采用數(shù)字手套獲得待識(shí)別動(dòng)態(tài)手勢(shì)的手指關(guān)節(jié)的運(yùn)動(dòng)數(shù)據(jù)，然后采用與步驟1中相同的最小二乘法對(duì)該運(yùn)動(dòng)數(shù)據(jù)進(jìn)行曲線擬合，得到待識(shí)別擬合曲線數(shù)據(jù)；

步驟3，將待識(shí)別擬合曲線數(shù)據(jù)與手勢(shì)庫(kù)內(nèi)的樣本擬合曲線數(shù)據(jù)進(jìn)行hausdorff距離的計(jì)算，計(jì)算出與待識(shí)別擬合曲線數(shù)據(jù)距離最小的那個(gè)樣本擬合曲線數(shù)據(jù)，最終判定待識(shí)別動(dòng)態(tài)手勢(shì)類別與該樣本擬合曲線數(shù)據(jù)對(duì)應(yīng)的動(dòng)態(tài)手勢(shì)類別一致。

hausdorff距離是描述兩組點(diǎn)集之間相似程度的一種量度,它是兩個(gè)點(diǎn)集之間距離的一種定義形式[11]:假設(shè)有兩組集合a＝{a1,a2,…,ap},b＝{b1,b2,…,bq}，則這兩個(gè)點(diǎn)集合之間的hausdorff距離定義為

h(a,b)＝max(h(a,b),h(b,a))(7)

其中

這里，式(7)稱為雙向hausdorff距離，是hausdorff距離最基本的形式，式(8)中的h(a,b)和h(b,a)分別稱為從集合a到集合b和從集合b到集合a的單向hausdorff距離。即h(a,b)首先對(duì)點(diǎn)集a中的每個(gè)點(diǎn)ai到距離此點(diǎn)的最近的點(diǎn)集b中的各個(gè)點(diǎn)bj之間的距離||ai-bj||進(jìn)行排序，然后取最大值作為h(a,b)的值。h(b,a)同理可得。由式(7)可知，雙向hausdorff距離h(a,b)是單向距離h(a,b)和h(b,a)中的較大者，它度量了兩個(gè)點(diǎn)集之間的最大不匹配度，通常沒(méi)有順序的限制。

在本文中，我們將采集到的手勢(shì)關(guān)節(jié)數(shù)據(jù)做上述曲線擬合處理之后，對(duì)于每一種手勢(shì)我們都得到15條曲線，分別對(duì)應(yīng)圖2所示的每一個(gè)關(guān)節(jié)點(diǎn)。由于每次采集的幀數(shù)不同，因此曲線長(zhǎng)度不同。為了能使手勢(shì)識(shí)別配過(guò)程中，關(guān)節(jié)與關(guān)節(jié)之間能夠相互匹配，加之減少計(jì)算數(shù)量，對(duì)于每條曲線我們?nèi)∠嗤瑪?shù)目的x值，即每條曲線的取值步長(zhǎng)由曲線長(zhǎng)度決定，這樣便產(chǎn)生規(guī)定數(shù)目的曲線上的y值(曲線擬合函數(shù)已知)。那么對(duì)于一個(gè)手勢(shì)，將其所有節(jié)點(diǎn)的曲線數(shù)據(jù)作為集合a，那么每當(dāng)進(jìn)行手勢(shì)識(shí)別時(shí)，被識(shí)別的手勢(shì)也做相同的預(yù)處理，作為集合b，因此，手勢(shì)識(shí)別問(wèn)題即求hausdorff距離最小值的問(wèn)題。

本發(fā)明示意10中手勢(shì)，分別為二指抓、二指放、三指抓、三指放、三指旋轉(zhuǎn)、四指揮、五指抓、五指放，五指旋轉(zhuǎn)、一指點(diǎn)，具體手勢(shì)說(shuō)明如下表所示。

表4.1手勢(shì)說(shuō)明

針對(duì)某一種手勢(shì)，我們通過(guò)數(shù)字手套獲取了其關(guān)節(jié)的運(yùn)動(dòng)數(shù)據(jù)，每次的實(shí)驗(yàn)數(shù)據(jù)均包含15組關(guān)節(jié)運(yùn)動(dòng)數(shù)據(jù)。對(duì)于不同手勢(shì)的每組數(shù)據(jù)，由于截取時(shí)間不同，因此其數(shù)據(jù)長(zhǎng)度也有所不同。

在本文所提出的算法中，首先將某一次實(shí)驗(yàn)的所有手勢(shì)所包含的全部運(yùn)動(dòng)數(shù)據(jù)進(jìn)行曲線擬合，每一個(gè)關(guān)節(jié)數(shù)據(jù)是一條曲線，它表示從動(dòng)作開(kāi)始到結(jié)束對(duì)應(yīng)關(guān)節(jié)的運(yùn)動(dòng)角度變化趨勢(shì)。例如右手做五指握拳動(dòng)作第1號(hào)關(guān)節(jié)的運(yùn)動(dòng)擬合曲線如圖3所示。

使用最小二乘法進(jìn)行多項(xiàng)式曲線擬合，隨著多項(xiàng)式階數(shù)的增加，擬合曲線越來(lái)越平滑，越接近真實(shí)數(shù)值，但是階數(shù)超出所需的最大值就會(huì)存在過(guò)擬合的現(xiàn)象。經(jīng)實(shí)驗(yàn)本文所用多項(xiàng)式階數(shù)為8，此時(shí)擬合效果最好即曲線值與真實(shí)值的平方差和最小，且無(wú)過(guò)擬合現(xiàn)象。

本發(fā)明所提出的算法將一種手勢(shì)的所有關(guān)節(jié)運(yùn)動(dòng)數(shù)據(jù)看做一個(gè)集合，10種手勢(shì)即有10個(gè)集合，即為實(shí)驗(yàn)所需的樣本庫(kù)。進(jìn)行識(shí)別時(shí)，同樣將某一手勢(shì)的新的所有數(shù)據(jù)看做一個(gè)集合，按照上述計(jì)算hausdorff距離的方法，將此集合與庫(kù)中的10個(gè)集合進(jìn)行hausdorff距離的比較，得出與之hausdorff距離最小的集合，若為同一種手勢(shì)，即為識(shí)別成功，反之則失敗。

十人分別使用數(shù)據(jù)手套采集10種手勢(shì)各三次，從所有采集數(shù)據(jù)中任選包含所有手勢(shì)的一次數(shù)據(jù)作為手勢(shì)庫(kù)，任意一種手勢(shì)數(shù)據(jù)作為待識(shí)別手勢(shì)進(jìn)行實(shí)驗(yàn)，若待識(shí)別手勢(shì)與手勢(shì)庫(kù)中相同手勢(shì)對(duì)應(yīng)且輸出庫(kù)中此手勢(shì)序號(hào)(如表4.2所示)即為識(shí)別成功，反之則失敗。

表4.2手勢(shì)序號(hào)

以五指抓為例，基于不同的手勢(shì)庫(kù)共進(jìn)行10次實(shí)驗(yàn)，識(shí)別結(jié)果如下表所示：

表4.3五指抓識(shí)別結(jié)果

由于五指抓在表1中為7號(hào)手勢(shì)，因此若識(shí)別正確則輸出7。由表2所示，雖然輸出均正確，但其中在第4次和第7次實(shí)驗(yàn)中，該手勢(shì)與第9號(hào)手勢(shì)的hausdorff距離與最小值差別很小，這是由于不同人在做手勢(shì)時(shí)與標(biāo)準(zhǔn)動(dòng)作不一致造成的。本文針對(duì)所有10種手勢(shì)均做了10次實(shí)驗(yàn)，其中五指抓識(shí)別為五指旋轉(zhuǎn)一次，三指抓識(shí)別為三指旋轉(zhuǎn)一次，因此可以說(shuō)識(shí)別率為98％。

此外，本專利所用數(shù)據(jù)均由不同人佩戴同一數(shù)字手套采集獲得，因此不同大小、形狀的人手對(duì)本文提出的手勢(shì)識(shí)別算法沒(méi)有影響，即該算法具有魯棒性。本專利的算法將復(fù)雜的手勢(shì)識(shí)別問(wèn)題簡(jiǎn)化，具有計(jì)算量小、識(shí)別率高的優(yōu)點(diǎn)，數(shù)次實(shí)驗(yàn)證明本文算法是可行且正確的。

以上所述僅是本專利的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本專利技術(shù)原理的前提下，還可以做出若干改進(jìn)和替換，這些改進(jìn)和替換也應(yīng)視為本專利的保護(hù)范圍。