專利名稱：動(dòng)態(tài)手勢(shì)控制系統(tǒng)與方法
技術(shù)領(lǐng)域：
本發(fā)明所述的動(dòng)態(tài)手勢(shì)控制系統(tǒng)與方法，屬于一種基于視頻的數(shù)據(jù)處理系統(tǒng)與方 法，適用于虛擬現(xiàn)實(shí)的人機(jī)交互環(huán)節(jié)、大型互動(dòng)投影系統(tǒng)、顯示系統(tǒng)特別是體三維顯示系統(tǒng) 的人機(jī)交互環(huán)節(jié)。
背景技術(shù)：
交互技術(shù)是虛擬現(xiàn)實(shí)系統(tǒng)的一項(xiàng)關(guān)鍵技術(shù)，也是體三維顯示等新型顯示系統(tǒng)的一 項(xiàng)關(guān)鍵技術(shù)。交互技術(shù)實(shí)現(xiàn)了人與機(jī)器的互動(dòng)、現(xiàn)實(shí)世界與虛擬世界的互動(dòng)。通過動(dòng)態(tài)手 勢(shì)控制實(shí)現(xiàn)交互的前提，一是實(shí)時(shí)獲得用戶手部的位置等信息，二是識(shí)別手勢(shì)軌跡的意義。 前者為手勢(shì)跟蹤、后者為手勢(shì)識(shí)別。目前，手勢(shì)跟蹤主要分為基于數(shù)據(jù)手套的手勢(shì)跟蹤和基于視頻的手勢(shì)跟蹤。參見“石教英著，《虛擬現(xiàn)實(shí)基礎(chǔ)及實(shí)用算法》，科學(xué)出版社，2002”，系統(tǒng)闡述了數(shù) 據(jù)手套的相關(guān)內(nèi)容數(shù)據(jù)手套將手指和手掌伸曲時(shí)的各種姿態(tài)轉(zhuǎn)化為數(shù)字信號(hào)送給計(jì)算 機(jī)，用于識(shí)別和執(zhí)行，進(jìn)而實(shí)現(xiàn)人機(jī)交互。標(biāo)準(zhǔn)配置是每個(gè)手指上有兩個(gè)傳感器，控制裝在 手指背面的兩條光纖環(huán)或其它測(cè)量元件，用來(lái)測(cè)量手指主要關(guān)節(jié)的彎曲角度。數(shù)據(jù)手套還 可提供測(cè)量大拇指的并攏/張開以及上翹/下翹角度的傳感器作為選件。數(shù)據(jù)手套可以精確的獲得手指的部位和姿態(tài)信息，但是其不足同樣明顯(1)結(jié) 構(gòu)復(fù)雜，佩戴不便，影響了人與機(jī)器間自然而直觀的交互；(2)價(jià)格不菲，具有高精度的精 密的傳感器部件增加了制造成本?；谝曨l的手勢(shì)跟蹤，主要通過攝像頭跟蹤佩戴在手指上的特殊顏色標(biāo)記或跟蹤 手持式輔助設(shè)備如SONY公司的PlayStation Move等實(shí)現(xiàn)。參見“Τ. Grossman, D. ffigdor, R. Balakrishnan, Multi-Finger Gestural Interaction with 3D Volumetric Displays. Proceedings of the 17th Annual ACM Symposium on User interface Software and Technology. UIST，04 Santa Fe, NM, USA, October 24-27，2004 :61_70”，通過在手指 上佩戴特殊顏色的標(biāo)記，真三維顯示系統(tǒng)Perspecta允許用戶在半球形顯示器外殼上實(shí)現(xiàn) 基于視頻的手勢(shì)控制。以上基于視頻的手勢(shì)跟蹤方法盡管通過輔助設(shè)備提高了跟蹤的精 度，但同樣影響了人與機(jī)器間自然而直觀的交互。

發(fā)明內(nèi)容
本發(fā)明目的是針對(duì)現(xiàn)有技術(shù)存在的缺陷提供一種基于計(jì)算機(jī)視覺的、非接觸式 的、成本低廉、輕便且實(shí)用的動(dòng)態(tài)手勢(shì)控制系統(tǒng)與方法，實(shí)現(xiàn)動(dòng)態(tài)手勢(shì)控制功能。所要解決 的技術(shù)問題包括手勢(shì)跟蹤的快速啟動(dòng)、動(dòng)態(tài)手勢(shì)的快速跟蹤、動(dòng)態(tài)手勢(shì)的準(zhǔn)確識(shí)別。本發(fā)明為實(shí)現(xiàn)上述目的，采用如下技術(shù)方案本發(fā)明動(dòng)態(tài)手勢(shì)控制系統(tǒng)，包括計(jì)算機(jī)、攝像頭，攝像頭直接與計(jì)算機(jī)相連。動(dòng)態(tài)手勢(shì)控制系統(tǒng)的控制方法，包括靜態(tài)手勢(shì)識(shí)別階段、動(dòng)態(tài)手勢(shì)跟蹤階段和動(dòng) 態(tài)手勢(shì)識(shí)別階段；(1)靜態(tài)手勢(shì)檢測(cè)階段按以下步驟檢測(cè)完全張開的靜態(tài)手勢(shì)1)對(duì)于當(dāng)前幀與前一幀幀差的二值圖像，提取靜態(tài)手外部輪廓；2)按Sklansky算法計(jì)算外部輪廓的凸包，凸包的頂點(diǎn)即為指尖點(diǎn)；3)計(jì)算外部輪廓的凸起缺陷及其深度，即各個(gè)缺陷點(diǎn)到凸包的距離；設(shè)置最大深度值 為D虹，取深度超過OAiJjfcr的缺 陷點(diǎn)為指間縫隙點(diǎn)；4)若指尖數(shù)為5且指間縫隙數(shù)為4，靜態(tài)手勢(shì)檢測(cè)成功；以凸起缺陷點(diǎn)集；所確定的矩 形區(qū)域?yàn)槌跏几檯^(qū)域，以所有指尖點(diǎn)和凸起缺陷點(diǎn)確定的矩形區(qū)域?yàn)槭植窟吔鐓^(qū)域，建 立手部膚色分布模型并退出手勢(shì)檢測(cè)；否則讀取新的輸入幀并進(jìn)入步驟1)；(2)動(dòng)態(tài)手勢(shì)跟蹤階段首先按光流發(fā)更新跟蹤區(qū)域內(nèi)各個(gè)特征點(diǎn)的位置，各個(gè)特征點(diǎn)的位置即不能遠(yuǎn)離中心 位置，也不能相互重疊；(3)動(dòng)態(tài)手勢(shì)識(shí)別階段a)對(duì)輸入的動(dòng)態(tài)手勢(shì)I包含的軌跡按八方向Freeman鏈碼進(jìn)行量化處理，得到觀測(cè)值 序列0= {&，、，…，么};b)計(jì)算動(dòng)態(tài)手勢(shì)HMM庫(kù)中各模型(^ieftq)產(chǎn)生觀測(cè)值序列0的概率P；J^U 采用離散HMM模型即DHMM，記為Jl = {π,AS),其中* = ( , ,--% )是初始概率向量，Jf為狀態(tài)數(shù)；是狀態(tài)概率轉(zhuǎn)移矩陣:^ = (^( ))^是觀測(cè)值概率矩陣M為觀 測(cè)符號(hào)數(shù)-,1是手勢(shì)HMM庫(kù)中的模型數(shù)，手勢(shì)編號(hào)從1到7 ；c)取{ …Jf}中最大值巧=MAX{P;^-,P；},如果起>7 , τ為一確定閾值，Jl卩為識(shí)別出的手勢(shì)編號(hào)。其中，步驟(2)動(dòng)態(tài)手勢(shì)跟蹤階段先將與中心位置超過一定范圍的特征點(diǎn)按膚色 分布模型調(diào)整到與中心位置接近且位于膚色像素點(diǎn)之上，然后將距離太接近的任意兩個(gè)特 征點(diǎn)中的其中一個(gè)調(diào)整到閾值之外的距離，使得所有的特征點(diǎn)都不會(huì)相互重疊，隨后更新 所有特征點(diǎn)的中心。其中，步驟(3)動(dòng)態(tài)手勢(shì)跟蹤階段僅對(duì)手部中心位置的軌跡曲線進(jìn)行特 征提取對(duì)于手勢(shì)軌跡線上相鄰的兩個(gè)采樣點(diǎn)即中心位置P1、乓，計(jì)算其連線@與水平線的夾角沒，根據(jù)夾角5按八方向Freeman鏈碼對(duì)@進(jìn)行編碼，編碼值為 V=￡V45° 身[OjeO^OiTV :^。其中，只有在當(dāng)前采樣點(diǎn)與前一有效采樣點(diǎn)的間距大于閾值外時(shí)，當(dāng)前采樣點(diǎn)才 為被設(shè)置為有效采樣點(diǎn)。本發(fā)明的有益效果是與數(shù)據(jù)手套、特殊顏色標(biāo)記和手持式游戲手柄等輔助設(shè)備相比，具有如下明顯優(yōu)勢(shì) (1)非接觸式，用戶無(wú)需任何輔助設(shè)備，僅通過攝像頭即可實(shí)現(xiàn)用戶動(dòng)態(tài)手勢(shì)的跟蹤和識(shí) 別；(2)無(wú)需進(jìn)行標(biāo)定，簡(jiǎn)化了系統(tǒng)的使用，手勢(shì)控制啟動(dòng)快速、跟蹤快速、識(shí)別準(zhǔn)確；(3)成本低廉。目前，各類數(shù)據(jù)手套的購(gòu)置與維護(hù)價(jià)格昂貴，而普通攝像頭價(jià)格低廉且無(wú)需維護(hù)， 這極大降低了手勢(shì)控制系統(tǒng)的購(gòu)置與維護(hù)成本。


圖1是動(dòng)態(tài)手勢(shì)控制系統(tǒng)的構(gòu)成框圖。圖2是靜態(tài)手勢(shì)檢測(cè)的原理圖。1-指尖2-指間縫隙3-腕部凹點(diǎn)圖3是動(dòng)態(tài)手勢(shì)跟蹤階段特征點(diǎn)位置調(diào)整的原理圖。1-中心點(diǎn) 2-特征點(diǎn)。
具體實(shí)施例方式首先，如圖1所示的系統(tǒng)構(gòu)成框圖進(jìn)行系統(tǒng)布局，然后通過攝像頭采集用戶手勢(shì) 運(yùn)動(dòng)信息，通過計(jì)算機(jī)完成靜態(tài)手勢(shì)的識(shí)別、動(dòng)態(tài)手勢(shì)的跟蹤和動(dòng)態(tài)手勢(shì)的識(shí)別。(1)靜態(tài)手勢(shì)檢測(cè)階段按以下步驟檢測(cè)完全張開的靜態(tài)手勢(shì)1)對(duì)于當(dāng)前幀與前一幀幀差的二值圖像，提取其外部輪廓。2)按Sklansky算法計(jì)算外部輪廓的凸包，凸包的頂點(diǎn)即為指尖點(diǎn)(去除位于腕 部的凸包頂點(diǎn)，如圖2中第3類點(diǎn))，如圖2中第1類點(diǎn)。3)計(jì)算外部輪廓的凸起缺陷及其深度，即各個(gè)缺陷點(diǎn)到凸包的距離。記最大深度 值為‘，取深度超過OAjDjtoW缺陷點(diǎn)為指間縫隙點(diǎn)，如圖2中第2類點(diǎn)。4)若指尖數(shù)為5且指間縫隙數(shù)為4，靜態(tài)手勢(shì)檢測(cè)成功。以凸起缺陷點(diǎn)集(如圖2， 包括第1類和第3類點(diǎn))所確定的矩形區(qū)域?yàn)槌跏几檯^(qū)域，以所有指尖點(diǎn)和凸起缺陷點(diǎn)確 定的矩形區(qū)域?yàn)槭植窟吔鐓^(qū)域，建立手部膚色分布模型并退出手勢(shì)檢測(cè)；否則讀取新的輸 入幀并進(jìn)入步驟1)。以上靜態(tài)手勢(shì)檢測(cè)算法充分利用手部區(qū)域的凸包頂點(diǎn)和凸起缺陷點(diǎn)，具有方向不 變性，并且Sklansky算法復(fù)雜度低，因此保證了手勢(shì)控制啟動(dòng)的準(zhǔn)確和快速。( 2)動(dòng)態(tài)手勢(shì)跟蹤階段在圖3中，首先按光流發(fā)更新跟蹤區(qū)域內(nèi)各個(gè)特征點(diǎn)(圖3中第2類點(diǎn))的位置。此外， 按照“群”(Flock)的理論，各個(gè)特征點(diǎn)的位置即不能遠(yuǎn)離中心位置(圖3中第1點(diǎn))，也不 能相互重疊。因此先將與中心位置超過一定范圍的特征點(diǎn)按膚色分布模型調(diào)整到與中心位 置接近且位于膚色像素點(diǎn)之上，然后將距離太接近的任意兩個(gè)特征點(diǎn)中的其中一個(gè)調(diào)整到 閾值之外的距離，使得所有的特征點(diǎn)都不會(huì)相互重疊，隨后更新所有特征點(diǎn)的中心。這樣的 處理使得特征點(diǎn)的中心位置變化更為穩(wěn)定和平滑，提高了跟蹤過程的可靠性。以上跟蹤算法綜合了光流法和特征點(diǎn)群算法的優(yōu)點(diǎn)，使得非接觸式的手勢(shì)跟蹤過 程準(zhǔn)確而快速。(2)動(dòng)態(tài)手勢(shì)識(shí)別階段為提高手勢(shì)識(shí)別的實(shí)時(shí)性能，在此僅對(duì)手部中心位置的軌跡曲線進(jìn)行特征提取。對(duì)于 手勢(shì)軌跡線上相鄰的兩個(gè)采樣點(diǎn)(中心位置)P^Ptl,計(jì)算其連線@與水平線的夾角Q ,根據(jù)5，可按八方向Freeman鏈碼對(duì)@進(jìn)行編碼，
權(quán)利要求
1.一種動(dòng)態(tài)手勢(shì)控制系統(tǒng)，其特征在于包括計(jì)算機(jī)、攝像頭，攝像頭直接與計(jì)算機(jī)相連。
2.一種如權(quán)利要求1所述的動(dòng)態(tài)手勢(shì)控制系統(tǒng)的控制方法，其特征在于包括靜態(tài)手勢(shì) 識(shí)別階段、動(dòng)態(tài)手勢(shì)跟蹤階段和動(dòng)態(tài)手勢(shì)識(shí)別階段；靜態(tài)手勢(shì)檢測(cè)階段按以下步驟檢測(cè)完全張開的靜態(tài)手勢(shì)1)對(duì)于當(dāng)前幀與前一幀幀差的二值圖像，提取靜態(tài)手外部輪廓；2)按Sklansky算法計(jì)算外部輪廓的凸包，凸包的頂點(diǎn)即為指尖點(diǎn)；3)計(jì)算外部輪廓的凸起缺陷及其深度，即各個(gè)缺陷點(diǎn)到凸包的距離；設(shè)置最大深度值 為Iijfc ,取深度超過IKADlto的缺 陷點(diǎn)為指間縫隙點(diǎn)；4)若指尖數(shù)為5且指間縫隙數(shù)為4，靜態(tài)手勢(shì)檢測(cè)成功；以凸起缺陷點(diǎn)集；所確定的矩 形區(qū)域?yàn)槌跏几檯^(qū)域，以所有指尖點(diǎn)和凸起缺陷點(diǎn)確定的矩形區(qū)域?yàn)槭植窟吔鐓^(qū)域，建 立手部膚色分布模型并退出手勢(shì)檢測(cè)；否則讀取新的輸入幀并進(jìn)入步驟1)；(2)動(dòng)態(tài)手勢(shì)跟蹤階段首先按光流發(fā)更新跟蹤區(qū)域內(nèi)各個(gè)特征點(diǎn)的位置，各個(gè)特征點(diǎn)的位置即不能遠(yuǎn)離中心 位置，也不能相互重疊；(3)動(dòng)態(tài)手勢(shì)識(shí)別階段a)對(duì)輸入的動(dòng)態(tài)手勢(shì)I包含的軌跡按八方向Freeman鏈碼進(jìn)行量化處理，得到觀測(cè)值 序列0= {&，、，…，么};b)計(jì)算動(dòng)態(tài)手勢(shì)HMM庫(kù)中各模型dieDLq)產(chǎn)生觀測(cè)值序列0的概率itiepj]；采用離散HMM模型即DHMM，記為^[(艮羔灼，其中=JT=Or1JTyJrw)是初始概率向量，M為狀態(tài)數(shù)如種腿是狀態(tài)概率轉(zhuǎn)移矩陣s = (^My)mjt是觀測(cè)值概率矩陣Μ為觀 測(cè)符號(hào)數(shù)-J是手勢(shì)HMM庫(kù)中的模型數(shù)，手勢(shì)編號(hào)從1到/ ;c)取 …》if}中最大值 4 =ΜΑΧ{Ρ^Χ, -,P；} , Iiw^ Pj>T , τ 為一確定閾值，Jl卩為識(shí)別出的手勢(shì)編號(hào)。
3.根據(jù)權(quán)利要求2所述的動(dòng)態(tài)手勢(shì)控制系統(tǒng)的控制方法，其特征在于步驟(2)動(dòng)態(tài)手 勢(shì)跟蹤階段先將與中心位置超過一定范圍的特征點(diǎn)按膚色分布模型調(diào)整到與中心位置接 近且位于膚色像素點(diǎn)之上，然后將距離太接近的任意兩個(gè)特征點(diǎn)中的其中一個(gè)調(diào)整到閾值 之外的距離，使得所有的特征點(diǎn)都不會(huì)相互重疊，隨后更新所有特征點(diǎn)的中心。
4.根據(jù)權(quán)利要求2所述的動(dòng)態(tài)手勢(shì)控制系統(tǒng)的控制方法，其特征在于步驟(3)動(dòng)態(tài)手 勢(shì)跟蹤階段僅對(duì)手部中心位置的軌跡曲線進(jìn)行特征提取對(duì)于手勢(shì)軌跡線上相鄰的兩個(gè)采樣點(diǎn)即中心位置之、戽，計(jì)算其連線耳耳與水平線的夾角fl，根據(jù)夾角#按八方向Freeman鏈碼對(duì)^ph進(jìn)行編碼，編碼值為ν= 45·· , θe[0360°X0<V<7
5.根據(jù)權(quán)利要求3所述的動(dòng)態(tài)手勢(shì)控制系統(tǒng)的控制方法，其特征在于只有在當(dāng)前采樣 點(diǎn)與前一有效采樣點(diǎn)的間距大于閾值外時(shí)，當(dāng)前采樣點(diǎn)才為被設(shè)置為有效采樣點(diǎn)。
全文摘要
本發(fā)明公布了一種動(dòng)態(tài)手勢(shì)控制系統(tǒng)與方法，所述系統(tǒng)包括計(jì)算機(jī)、攝像頭，攝像頭直接與計(jì)算機(jī)相連。所述方法包括包括靜態(tài)手勢(shì)識(shí)別階段、動(dòng)態(tài)手勢(shì)跟蹤階段和動(dòng)態(tài)手勢(shì)識(shí)別階段。本發(fā)明(1)非接觸式，用戶無(wú)需任何輔助設(shè)備，僅通過攝像頭即可實(shí)現(xiàn)用戶動(dòng)態(tài)手勢(shì)的跟蹤和識(shí)別；(2)無(wú)需進(jìn)行標(biāo)定，簡(jiǎn)化了系統(tǒng)的使用，手勢(shì)控制啟動(dòng)快速、跟蹤快速、識(shí)別準(zhǔn)確；(3)成本低廉。目前，各類數(shù)據(jù)手套的購(gòu)置與維護(hù)價(jià)格昂貴，而普通攝像頭價(jià)格低廉且無(wú)需維護(hù)，這極大降低了手勢(shì)控制系統(tǒng)的購(gòu)置與維護(hù)成本。
文檔編號(hào)G06K9/00GK102053702SQ201010519309
公開日2011年5月11日 申請(qǐng)日期2010年10月26日 優(yōu)先權(quán)日2010年10月26日
發(fā)明者岳健, 張趙行, 沈春林, 潘文平, 王冬翠, 耿征, 趙曉庚, 邢建芳, 龔華軍 申請(qǐng)人:南京航空航天大學(xué)