一種基于手指分割的實時手勢識別方法
【專利摘要】本發(fā)明公開了一種基于手指分割的實時手勢識別方法。手勢識別技術(shù)是人機(jī)交互領(lǐng)域中非常熱門的話題之一。在本發(fā)明中，我們提出了一種新的手勢識別技術(shù)。首先，我們利用背景減除方法將整個手部區(qū)域提取出來，針對提取出來的手部區(qū)域，我們再進(jìn)行手掌和手指部分的分割；根據(jù)手指的位置、角度等多種信息判斷手指類型；最后通過一個規(guī)則分類器來對整個手勢進(jìn)行手勢識別。我們通過大量實驗圖像進(jìn)行相關(guān)手勢識別測試，結(jié)果表明，我們的識別方法速度快，效率高，可以達(dá)到實時的效果。
【專利說明】一種基于手指分割的實時手勢識別方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明主要涉及手勢識別技術(shù)，具體涉及一種基于手指分割的實時手勢識別方 法。

【背景技術(shù)】
[0002] 基于視覺的手勢識別技術(shù)是人機(jī)交互（HCI)中非常重要的內(nèi)容。十幾年來，鍵盤 和鼠標(biāo)是人機(jī)交互的重要媒介。但是，隨著硬件和軟件的快速發(fā)展，對HCI方法也有了更高 的要求。特別地，語音識別和動作識別技術(shù)在HCI領(lǐng)域中得到了非常多的關(guān)注。
[0003] 動作是身體的行為或情緒的表達(dá)。這包括身體姿勢和手勢。它可以分為兩類：靜 態(tài)動作和動態(tài)動作。對前者來講，身體的姿勢或手勢表示是一個符號。對后者來講，身體或 手的動作表達(dá)了一些重要信息。手勢可以作為人機(jī)交互中的重要通信工具。這與傳統(tǒng)的基 于硬件的HCI方法有很大的不同。手勢識別是通過識別姿勢或動作的一部分來確定用戶的 意圖。在過去的十年里，研究者人員一直致力于改進(jìn)手勢識別技術(shù)。手勢識別在許多應(yīng)用 中具有很大價值。例如手語識別、增強(qiáng)現(xiàn)實（虛擬現(xiàn)實）、手語翻譯、機(jī)器人控制等。
[0004] 一般的手勢識別流程如下：
[0005] (1)利用輸入設(shè)備（攝像頭）得到手勢圖像。
[0006] (2)提取手勢的某些主要特征。
[0007] (3)通過測量特征數(shù)據(jù)與匹配數(shù)據(jù)的相似度來完成手勢識別。
[0008] 輸入設(shè)備用來提供原始圖像信息。包括一般的相機(jī)，雙目相機(jī)和T0F(Time of Flight)相機(jī)。雙目相機(jī)和T0F相機(jī)同時還提供深度信息，在復(fù)雜背景的情況下也很容易 檢測到手部區(qū)域。一般的單目相機(jī)對膚色的光照和背景顏色很敏感，所以一般要結(jié)合多種 特征進(jìn)行手部區(qū)域的檢測。檢出R〇I(Regionof Interest)以后，從R0I區(qū)域提取有用的特 征。顏色，亮度和梯度是廣泛使用的特征。
[0009] 除了顏色、形狀、亮度等一般特征外，還有很多其他比較復(fù)雜的特征，比如Gabor filter，H0G，SIFT，BRIEF和ORB等特征。這些特征都可以被各個復(fù)雜分類器，如SVM，HMM，CRF 和adapted boosting分類器等用來訓(xùn)練從而進(jìn)行手勢識別。上面提到的復(fù)雜分類器雖然識 另IJ性能良好，但是時間成本過高，達(dá)不到實時識別的目的。


【發(fā)明內(nèi)容】

[0010] 本發(fā)明的目的在于提出一種基于手指分割的實時手勢識別方法，以解決現(xiàn)有技術(shù) 中存在的缺陷。在該發(fā)明中，用戶不必佩戴任何穿戴裝置或任何標(biāo)記物；并且避開使用復(fù)雜 分類器。所以該方法具有很好的高效性和實時性。
[0011] 本發(fā)明的技術(shù)方案如下：
[0012] (1)手部區(qū)域檢測：利用一般的網(wǎng)絡(luò)攝像機(jī)作為輸入設(shè)備，進(jìn)行手勢圖像采集。由 于背景單一，所以利用背景減除的方法進(jìn)行手部區(qū)域檢測。為防治背景中噪聲干擾，利用 HSV色彩空間的膚色信息。確定手部區(qū)域，同時將圖像大小調(diào)整為200*200。
[0013] (2)手掌手指分割：首先利用距離變換找到手掌中心點；以手掌中心點為圓心找 到手部區(qū)域內(nèi)的內(nèi)切圓，為了有效分割手掌，將內(nèi)切圓的半徑擴(kuò)大1.2倍，得到最后的掌心 圓；根據(jù)掌心圓上的點繼續(xù)檢測手指指根連接點和手腕兩端的腕點，從而得到手掌部分； 手部區(qū)域減去手掌區(qū)域得到手指部分。
[0014] (3)手指識別：根據(jù)步驟（2)，得到分割后的手指。用Labeling算法確定手指個 數(shù)；找到手指尖、手指中心、指根；掃描找到手掌線，將手掌線四等分；結(jié)合位置信息和角度 信息進(jìn)行那個手指識別。
[0015] (4)手勢識別：使用簡單規(guī)則的分類器，根據(jù)上面得到的手部特征進(jìn)行手勢識別。
[0016] 本發(fā)明的優(yōu)勢在于，用戶可以不用佩戴任何穿戴式設(shè)備，并且對檢測的手部區(qū)域 具有旋轉(zhuǎn)不變形和縮放性，計算簡單，可以很好的滿足實時的要求。

【專利附圖】

【附圖說明】
[0017] 圖1為本發(fā)明中手勢識別方法的概要圖
[0018] 圖2為手部區(qū)域檢測圖
[0019] 圖3為分割手部區(qū)域的二值圖
[0020] 圖4為距離變換矩陣示意圖
[0021] 圖5為距離變換圖
[0022] 圖6為計算掌心和手掌分割示意圖
[0023] 圖7為手掌分割圖
[0024] 圖8為手部區(qū)域旋轉(zhuǎn)后的分割二值圖
[0025] 圖9為手指分割圖
[0026] 圖10為手指區(qū)域的外切矩形示意圖
[0027] 圖11為手掌線示意圖
[0028] 圖12為手指識別示意圖

【具體實施方式】
[0029] 如圖1所示，基于手指分割的實時手勢識別方法的步驟如下：
[0030] 步驟1:手部區(qū)域檢測
[0031] 如圖2所示，利用一般的網(wǎng)絡(luò)攝像機(jī)作為輸入設(shè)備，進(jìn)行手勢圖像采集由于背景 單一，利用背景減除的方法進(jìn)行手部區(qū)域檢測。為了防治背景中噪聲干擾，利用了 HSV色彩 空間的膚色信息，使用的具體空間數(shù)值為H:315，S:94，V:37。圖3為確定的手部區(qū)域，同時 將圖像大小調(diào)整為200*200。
[0032] 步驟2:手掌手指分割
[0033] 先利用距離變換找到手掌中心點。此處距離變換又可以稱為距離映射。在距離變 換圖上記錄手部區(qū)域內(nèi)各像素點與邊界像素的距離。如圖4所示，左圖表示二值圖中像素 點的值，右圖表示用距離變換方法計算得到的結(jié)果圖。距離邊界像素越遠(yuǎn)，所賦予的像素點 的值越大。例如圖中像素點的最大值為4,即此像素點為距離邊界最遠(yuǎn)的點，此點為要找的 手掌掌心。對應(yīng)的手部區(qū)域距離變換圖如圖5所示。
[0034] 如圖6所示，以手掌中心點為圓心找到手部區(qū)域內(nèi)的內(nèi)切圓，為了有效分割手掌， 將內(nèi)切圓的半徑擴(kuò)大1.2倍，得到最后的掌心圓。令圓心坐標(biāo)為I)，在掌心圓上以弧 度t為步長取樣本點。樣本點的坐標(biāo)由公式如下：

【權(quán)利要求】
1. 一種基于手指分割的實時手勢識別方法，其特征包括以下步驟： (1) 手部區(qū)域檢測：利用一般的網(wǎng)絡(luò)攝像機(jī)作為輸入設(shè)備，進(jìn)行手勢圖像采集，由于背 景單一，所以利用背景減除的方法進(jìn)行手部區(qū)域檢測，為防止背景中噪聲干擾，利用HSV色 彩空間的膚色信息。確定手部區(qū)域，同時將圖像大小調(diào)整為200*200 ; (2) 手掌手指分割：首先利用距離變換找到手掌中心點；以手掌中心點為圓心找到手 部區(qū)域內(nèi)的內(nèi)切圓，為了有效分割手掌，將內(nèi)切圓的半徑擴(kuò)大1.2倍，得到最后的掌心圓； 根據(jù)掌心圓上的點繼續(xù)檢測手掌周圍的目標(biāo)點和手腕兩端的腕點，從而得到手掌部分；手 部區(qū)域減去手掌區(qū)域得到手指部分； ⑶手指識別：根據(jù)步驟⑵，得到分割后的手指；用Labeling算法確定手指個數(shù)；找 到手指尖、手指中心、指根；掃描找到手掌線，將手掌線四等分；結(jié)合位置信息和角度信息 進(jìn)行那個手指識別。 (4)手勢識別：使用簡單規(guī)則的分類器，根據(jù)上面得到的手部特征進(jìn)行手勢識別。
2. 根據(jù)權(quán)利要求1所述的一種基于手指分割的實時手勢識別方法，其特征在于步驟 (1) 所述手部區(qū)域檢測：采用背景減除的方法進(jìn)行初步分割；利用HSV色彩空間中的膚色信 息防止背景中的噪聲干擾，具體空間數(shù)值為H: 315, S: 94, V: 37。
3. 根據(jù)權(quán)利要求1所述的一種基于手指分割的實時手勢識別方法，其特征在于步驟 (2) 所述手掌手指分割，其具體過程如下： (21) 采用距離變換找到手掌中心，以手掌中心為圓心，找到手部區(qū)域內(nèi)的最大內(nèi)切圓； 為有效得到手掌區(qū)域，將內(nèi)切圓的半徑擴(kuò)大1.2倍得到掌心圓； (22) 在掌心圓上以弧度t為步長取樣本點，坐標(biāo)如下：
(1) 分別以這些樣本點為圓心，畫圓，找到距離這些樣本點最近的手掌邊界點，稱之為目標(biāo) 點；連接所有目標(biāo)點，得到手掌區(qū)域； (33)距離最大的相鄰的兩個目標(biāo)點為手腕兩端的腕點，利用公式（2)判斷兩目標(biāo)點是 否為腕點；
(2) 其中為Pi，pi+1相鄰的兩個目標(biāo)點；s為手掌區(qū)域邊界中目標(biāo)點集合；連接兩腕點，得到 手腕線；將手腕線以下手臂部分去除；手部區(qū)域減除手掌區(qū)域，得到手指分割區(qū)域。
4. 根據(jù)權(quán)利要求1所述的一種基于手指分割的實時手勢識別方法，其特征在于步驟 (3) 所述手指識別，其具體過程如下： (31) 連結(jié)手腕線中點和掌心，連線指向掌心。通過旋轉(zhuǎn)連線，使得其指向正北方，將手 勢堅直放置； (32) 根據(jù)步驟⑵得到的手指分割區(qū)域，利用Labeling方法，確定手指區(qū)域個數(shù)；手 指區(qū)域包含的像素個數(shù)滿足某一閾值，則將此手指區(qū)域保留，否則，去除；針對每個手指區(qū) 域，找到其最小外切矩形，該矩形的中心標(biāo)記為手指中心； (33) 拇指檢測：計算手指中心和掌心連線與水平方向的夾角，小于50度，則標(biāo)記為拇 指；若沒有，說明此手勢中無搗指； (34) 其余手指檢測：沒有拇指時，從手腕線開始向上掃描，知道掃描線被分成兩部分， 停止掃描，得到的掃描線為手掌線；有拇指時，從經(jīng)過距離手掌中心最近的目標(biāo)點的掃描線 還是掃描，直到掃描停止，得到手掌線；將手掌線四等分，根據(jù)手指中心橫坐標(biāo)和手掌線四 等分信息可以判斷手指類型；為準(zhǔn)確檢測，有時也要計算角度和手指間距離等信息。
5.根據(jù)權(quán)利要求1所述的一種基于手指分割的實時手勢識別方法，其特征在于步驟 (4)所述手勢識別中，利用自定義的簡單分類器代替復(fù)雜分類器，更加快速地進(jìn)行手勢識 另IJ，達(dá)到實時要求。
【文檔編號】G06K9/62GK104063059SQ201410331833
【公開日】2014年9月24日 申請日期:2014年7月13日 優(yōu)先權(quán)日:2014年7月13日
【發(fā)明者】陳志華, 金正泰, 梁建寧, 袁玉波, 張靜, 應(yīng)方立 申請人:華東理工大學(xué)