專利名稱：一種基于手勢識別的輸入設(shè)備的制作方法
技術(shù)領(lǐng)域：
本實用新型涉及計算機(jī)技術(shù)領(lǐng)域，更具體地，涉及一種基于手勢識別的輸入設(shè)備。
背景技術(shù)：
隨著社會的進(jìn)步與信息爆炸時代的來臨，人們越來越多依靠各式各樣的消費電子設(shè)備(如移動終端、個人數(shù)字助理(PDA)等)獲取各種信息。比如:打電話與別人溝通，瀏覽網(wǎng)頁獲取新聞和查看電子郵件等。目前廣泛應(yīng)用的人機(jī)交互包括依靠傳統(tǒng)的鍵盤鼠標(biāo)等硬件設(shè)備，以及近幾年逐漸流行起來的觸摸屏等。人們對于現(xiàn)存的人機(jī)交互方式并不滿足，人們期望新一代的人機(jī)交互能像人與人交互一樣自然、準(zhǔn)確和快捷。在20世紀(jì)90年代，人機(jī)交互的研究進(jìn)到了多模態(tài)階段，稱為人機(jī)自然交互(Human-Computer Nature Interaction, HCNI 或 Human-Machine NatureInteraction, HMNI)。近年來，人機(jī)自然交互受到廣泛關(guān)注，對于人機(jī)自然手勢識別技術(shù)研究也得到了長足的發(fā)展。隨著以美國蘋果公司Iphone、Ipad等設(shè)備為代表的平面觸摸屏交互界面的發(fā)展，人們可以方便地對平面觸摸屏幕上的交互內(nèi)容進(jìn)行直接觸摸點擊、拖動、圖片放大縮小等手勢交互操作。以微軟公司的Kinect設(shè)備為代表，基于體感識別技術(shù)，用戶可以通過自然地空間手勢動作來控制屏幕上的交互內(nèi)容。然而，目前現(xiàn)有的手勢識別設(shè)備均只適用于特定設(shè)備以及特定的交互界面，并不是標(biāo)準(zhǔn)的輸入輸出設(shè)備，無法與其它設(shè)備相兼容，無法應(yīng)用到各種普遍應(yīng)用情形之中，也不便于獨立攜帶。

實用新型內(nèi)容本實用新型提出一種基于手勢識別的輸入設(shè)備，可以像鼠標(biāo)或鍵盤一樣成為一種標(biāo)準(zhǔn)輸入設(shè)備，可以與其它設(shè)備相兼容，能夠適用于各種普遍應(yīng)用情形，而不僅適用于特定的設(shè)備以及特定的交互界面。本實用新型的技術(shù)方案如下:一種基于手勢識別的輸入設(shè)備，包括攝像模塊、圖像運算處理模塊和通用接口模塊，其中:攝像模塊，其視野方向朝向用戶前方，用于實時獲取用戶前方視野范圍內(nèi)含有景深信息的圖像流數(shù)據(jù)；圖像運算處理模塊，用于接收攝像模塊獲取的所述圖像流數(shù)據(jù)，從所述圖像流數(shù)據(jù)中解析出所述景深信息，根據(jù)用戶手的特征跟蹤所述圖像流數(shù)據(jù)中手型部分的區(qū)域位置，并結(jié)合所述景深信息實時獲得用戶手的空間三維位置信息和手指的動作狀態(tài)；通用接口模塊，用于將所述的用戶手的空間三維位置信息和手指的動作狀態(tài)輸出到計算機(jī)主機(jī)。[0013]攝像模塊，用于以至少每秒30幀的速率實時獲取用戶前方視野范圍內(nèi)含有景深信息的圖像流數(shù)據(jù)。圖像運算處理模塊，用于根據(jù)用戶手的特征，應(yīng)用膚色檢測算法與模版識別算法相結(jié)合的方式對所述圖像流數(shù)據(jù)進(jìn)行解析，以跟蹤所述圖像流數(shù)據(jù)中手型部分的區(qū)域位置。通用接口模塊，用于通過有線數(shù)據(jù)接口或無線數(shù)據(jù)接口的方式，將所述的用戶手的空間三維位置信息和手指的動作狀態(tài)輸出到計算機(jī)主機(jī)。所述有線數(shù)據(jù)接口為通用串行總線(USB)數(shù)據(jù)接口。所述無線數(shù)據(jù)接口為:藍(lán)牙數(shù)據(jù)接口、紅外數(shù)據(jù)接口或wifi數(shù)據(jù)接口。所述攝像模塊、圖像運算處理模塊及通用接口模塊集成在一起，以形成為獨立的可佩戴設(shè)備。所述攝像模塊、圖像運算處理模塊及通用接口模塊集成在一起，構(gòu)成為獨立的可佩戴設(shè)備的功能單元。圖像運算處理模塊，用于應(yīng)用模版識別算法將用戶手實時識別為骨架模型，在該骨架模型中，手指由直線表征，手的關(guān)節(jié)由點表征。從上述技術(shù)方案可以看出，在本實用新型實施方式中，攝像模塊，其視野方向朝向用戶前方，用于實時獲取用戶前方視野范圍內(nèi)含有景深信息的圖像流數(shù)據(jù)；圖像運算處理模塊，用于接收攝像模塊獲取的所述圖像流數(shù)據(jù)，從所述圖像流數(shù)據(jù)中解析出所述景深信息，根據(jù)用戶手的特征跟蹤所述圖像流數(shù)據(jù)中手型部分的區(qū)域位置，并結(jié)合所述景深信息實時獲得用戶手的空間三維位置信息和手指的動作狀態(tài)；通用接口模塊，用于將所述的用戶手的空間三維位置信息和手指的動作狀態(tài)輸出到計算機(jī)主機(jī)。由此可見，應(yīng)用本實用新型之后，提出了一種通用的手勢識別交互設(shè)備的解決方案，基于該解決方案所開發(fā)的設(shè)備將可以像鼠標(biāo)和鍵盤一樣成為一種標(biāo)準(zhǔn)輸入設(shè)備，可以與其它設(shè)備相兼容，能夠適用于各種普遍應(yīng)用情形，而不僅適用于特定的設(shè)備以及特定的交互界面。而且，本實用新型可以集成為一個可佩戴設(shè)備，或集成為某可佩戴設(shè)備上的功能模塊，可攜帶性非常好。另外，用戶也可將本實用新型佩戴在頭上、胸前、肩上等多個位置，可以適用于很多的場景。

圖1為本實用新型的基于手勢識別的輸入設(shè)備與主機(jī)連接結(jié)構(gòu)圖。圖2為人手骨架系統(tǒng)示意圖。
具體實施方式
為使本實用新型的目的、技術(shù)方案和優(yōu)點更加清楚，
以下結(jié)合附圖對本實用新型作進(jìn)一步的詳細(xì)描述。本實用新型提出一種通用的手勢識別設(shè)備，該設(shè)備將可廣泛用于目前的人機(jī)交互界面，使人可以通過手勢自然地進(jìn)行人機(jī)交互。在一個實施方式中，該設(shè)備包括攝像模塊，圖像運算處理模塊和通用接口模塊。[0029]在物理上，攝像模塊與圖像運算處理模塊及通用接口模塊可集成在一起成為一個可佩戴設(shè)備?？蛇x地，攝像模塊與圖像運算處理模塊及通用接口模塊可集成為某可佩戴設(shè)備上的功能模塊。用戶可將該佩戴設(shè)備或功能模塊佩戴在頭上、胸前、肩上等多個位置，其中攝像模塊視野方向朝向人的前方，用戶的手抬起后將進(jìn)入攝像模塊的視野范圍。如，攝像模塊示范性地以至少每秒30幀實時獲取前方視野范圍內(nèi)含有景深信息的圖像流數(shù)據(jù)，用于后續(xù)圖像運算處理模塊進(jìn)行分析得到視野場景的景深信息并進(jìn)一步獲得視野中人手及手指的位置與運動信息。圖像運算處理模塊接收攝像模塊得到的圖像流數(shù)據(jù)，通過一定的軟件算法獲得攝像模塊視野前方場景的景深信息，并根據(jù)人手的特征判斷出人手在攝像模塊的攝像頭視野場景中的出現(xiàn)，并實時追蹤人手及手指的位置與運動信息。圖2為人手骨架系統(tǒng)示意圖。在實際處理中，該軟件算法中可以包括人手的骨架追蹤系統(tǒng)，通過該算法將人手實時的識別為一個骨架模型(如圖2所示)，其中手指由直線表征，手的關(guān)節(jié)由點表征，從而可實時得到人手的三維空間位置信息以及手指的動作狀態(tài)。通用接口模塊可以是通用的有線(如USB)或無線(如藍(lán)牙，wifi等)多重數(shù)據(jù)接口。通過與主機(jī)相連，通用接口模塊可以將圖像運算處理模塊得到的人手的三維空間位置信息以及手指的動作狀態(tài)等數(shù)據(jù)實時地以特定的數(shù)據(jù)格式發(fā)送給主機(jī)。主機(jī)端安裝有相應(yīng)主機(jī)操作系統(tǒng)下的該設(shè)備或模塊的驅(qū)動程序，該驅(qū)動程序?qū)⒔馕鰧崟r傳輸?shù)街鳈C(jī)的數(shù)據(jù)并轉(zhuǎn)化為交互操作命令，其流程就像鼠標(biāo)通過USB與電腦聯(lián)機(jī)，電腦端安裝了鼠標(biāo)的驅(qū)動程序后，鼠標(biāo)就可以控制電腦屏幕上的指針進(jìn)行交互操作一樣。圖1為本實用新型的基于手勢識別的輸入設(shè)備與主機(jī)連接結(jié)構(gòu)圖。如圖1所示，該基于手勢識別的輸入設(shè)備包括攝像模塊、圖像運算處理模塊和通用接口模塊。攝像模塊，其視野方向朝向用戶前方，用于實時獲取用戶前方視野范圍內(nèi)含有景深信息的圖像流數(shù)據(jù)；圖像運算處理模塊，用于接收攝像模塊獲取的所述圖像流數(shù)據(jù)，從所述圖像流數(shù)據(jù)中解析出所述景深信息，根據(jù)用戶手的特征跟蹤所述圖像流數(shù)據(jù)中手型部分的區(qū)域位置，并結(jié)合所述景深信息實時獲得用戶手的空間三維位置信息和手指的動作狀態(tài)；通用接口模塊，用于將所述的用戶手的空間三維位置信息和手指的動作狀態(tài)輸出到計算機(jī)主機(jī)。在一個實施方式中，攝像模塊，用于以至少每秒30幀的速率實時獲取用戶前方視野范圍內(nèi)含有景深信息的圖像流數(shù)據(jù)。比如，攝像模塊具體可以采用以色列Primesense公司研發(fā)的深度攝像傳感裝置。該深度攝像傳感裝置可以實時獲得前方視場圖像的深度信息，它通過從傳感器投射出紅外點陣圖案，然后通過帶紅外濾波器的傳統(tǒng)CMOS圖像傳感器檢測疊加了紅外點陣圖案的前方視場，由于紅外點陣圖案會根據(jù)反射光線的物體的遠(yuǎn)近以及形狀發(fā)生改變，集成在深度攝像傳感裝置中的芯片實時接收來自CMOS圖像傳感器的結(jié)果并根據(jù)紅外點陣圖案的變化分析計算出每個像素點的深度信息。[0044]在一個實施方式中，圖像運算處理模塊，用于根據(jù)用戶手的特征，應(yīng)用膚色檢測算法與模版識別算法相結(jié)合的方式對所述圖像流數(shù)據(jù)進(jìn)行解析，以跟蹤所述圖像流數(shù)據(jù)中手型部分的區(qū)域位置。優(yōu)選地，圖像運算處理模塊，用于應(yīng)用模版識別算法將用戶手實時識別為骨架模型，在該骨架模型中，手指由直線表征，手的關(guān)節(jié)由點表征。具體地，當(dāng)攝像模塊具體可以采用以色列Primesense公司研發(fā)的深度攝像傳感裝置時，圖像運算處理模塊接收來自深度攝像傳感裝置的一幀幀帶有深度信息的圖像數(shù)據(jù)，根據(jù)膚色檢測算法與模版識別算法相結(jié)合的方法對接收到的圖像數(shù)據(jù)進(jìn)行分析跟蹤圖像中手型部分的區(qū)域位置，結(jié)合深度信息進(jìn)而可以實時獲得手點的空間三維位置和手指的動作狀態(tài)。在一個實施方式中，通用接口模塊，用于通過有線數(shù)據(jù)接口或無線數(shù)據(jù)接口的方式，將所述的用戶手的空間三維位置信息和手指的動作狀態(tài)輸出到計算機(jī)主機(jī)。其中，有線數(shù)據(jù)接口具體可以包括通用串行總線(USB)數(shù)據(jù)接口 ；無線數(shù)據(jù)接口具體可以包括:藍(lán)牙數(shù)據(jù)接口、紅外數(shù)據(jù)接口或wifi數(shù)據(jù)接口，等等。優(yōu)選地，可以將攝像模塊、圖像運算處理模塊及通用接口模塊集成在一起，以形成為獨立的可佩戴設(shè)備?？蛇x地，還可以將攝像模塊、圖像運算處理模塊及通用接口模塊集成在一起，構(gòu)成為獨立的可佩戴設(shè)備的功能單元。在一個實施方式中，可以將攝像模塊與圖像運算處理模塊整體作為一個手勢傳感單元。該手勢傳感單元包括攝像模塊與圖像處理模塊，而且攝像模塊與圖像處理模塊的上述結(jié)合僅作為手勢傳感單元的一個具體實例。在這里，手勢傳感單元，用于實時感測跟蹤傳感模塊視場中用戶手的位置以及手的至少兩種狀態(tài)。綜上所述，在本實用新型實施方式中，攝像模塊，其視野方向朝向用戶前方，用于實時獲取用戶前方視野范圍內(nèi)含有景深信息的圖像流數(shù)據(jù)；圖像運算處理模塊，用于接收攝像模塊獲取的所述圖像流數(shù)據(jù)，從所述圖像流數(shù)據(jù)中解析出所述景深信息，根據(jù)用戶手的特征跟蹤所述圖像流數(shù)據(jù)中手型部分的區(qū)域位置，并結(jié)合所述景深信息實時獲得用戶手的空間三維位置信息和手指的動作狀態(tài)；通用接口模塊，用于將所述的用戶手的空間三維位置信息和手指的動作狀態(tài)輸出到計算機(jī)主機(jī)。由此可見，應(yīng)用本實用新型之后，提出了一種通用的手勢識別交互設(shè)備的解決方案，基于該解決方案所開發(fā)的設(shè)備將可以像鼠標(biāo)和鍵盤一樣成為一種標(biāo)準(zhǔn)輸入設(shè)備，可以與其它設(shè)備相兼容，能夠適用于各種普遍應(yīng)用情形，而不僅適用于特定的設(shè)備以及特定的交互界面。而且，本實用新型可以集成為一個可佩戴設(shè)備，或集成為某可佩戴設(shè)備上的功能模塊，可攜帶性非常好。另外，用戶也可將本實用新型佩戴在頭上、胸前、肩上等多個位置，可以適用于很多的場景。以上所述，僅為本實用新型的較佳實施例而已，并非用于限定本實用新型的保護(hù)范圍。凡在本實用新型的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本實用新型的保護(hù)范圍之內(nèi)。
權(quán)利要求1.一種基于手勢識別的輸入設(shè)備，其特征在于，包括攝像模塊、圖像運算處理模塊和通用接口模塊，其中: 攝像模塊，其視野方向朝向用戶前方，用于實時獲取用戶前方視野范圍內(nèi)含有景深信息的圖像流數(shù)據(jù)； 圖像運算處理模塊，用于接收攝像模塊獲取的所述圖像流數(shù)據(jù)，從所述圖像流數(shù)據(jù)中解析出所述景深信息，根據(jù)用戶手的特征跟蹤所述圖像流數(shù)據(jù)中手型部分的區(qū)域位置，并結(jié)合所述景深信息實時獲得用戶手的空間三維位置信息和手指的動作狀態(tài)； 通用接口模塊，用于將所述的用戶手的空間三維位置信息和手指的動作狀態(tài)輸出到計算機(jī)主機(jī)； 所述攝像模塊、圖像運算處理模塊及通用接口模塊集成在一起，以形成為獨立的可佩戴設(shè)備或構(gòu)成為獨立的可佩戴設(shè)備的功能單元。
2.根據(jù)權(quán)利要求1所述的基于手勢識別的輸入設(shè)備，其特征在于， 攝像模塊，用于以至少每秒30幀的速率實時獲取用戶前方視野范圍內(nèi)含有景深信息的圖像流數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的基于手勢識別的輸入設(shè)備，其特征在于， 通用接口模塊，用于通過有線數(shù)據(jù)接口或無線數(shù)據(jù)接口的方式，將所述用戶手的空間三維位置信息和手指的動作狀態(tài)輸出到計算機(jī)主機(jī)。
4.根據(jù)權(quán)利要求3所述的基于手勢識別的輸入設(shè)備，其特征在于，所述有線數(shù)據(jù)接口為通用串行總線(USB)數(shù)據(jù)接口。
5.根據(jù)權(quán)利要求3所述的基于手勢識別的輸入設(shè)備，其特征在于，所述無線數(shù)據(jù)接口為:藍(lán)牙數(shù)據(jù)接口、紅外數(shù)據(jù)接口或wifi數(shù)據(jù)接口。
專利摘要本實用新型提出了一種基于手勢識別的輸入設(shè)備。攝像模塊，其視野方向朝向用戶前方，用于實時獲取用戶前方視野范圍內(nèi)含有景深信息的圖像流數(shù)據(jù)；圖像運算處理模塊，用于接收攝像模塊獲取的圖像流數(shù)據(jù)，從圖像流數(shù)據(jù)中解析出景深信息，根據(jù)用戶手的特征跟蹤圖像流數(shù)據(jù)中手型部分的區(qū)域位置，并結(jié)合景深信息實時獲得用戶手的空間三維位置信息和手指的動作狀態(tài)；通用接口模塊，用于將用戶手的空間三維位置信息和手指的動作狀態(tài)輸出到計算機(jī)主機(jī)。本實用新型可以像鼠標(biāo)和鍵盤一樣成為一種標(biāo)準(zhǔn)輸入設(shè)備，而且自身可以集成為可佩戴設(shè)備或成為可佩戴設(shè)備上的功能模塊，可攜帶性非常好。
文檔編號G06F3/01GK203070205SQ201220299370
公開日2013年7月17日 申請日期2012年6月21日 優(yōu)先權(quán)日2012年6月21日
發(fā)明者劉廣松 申請人:乾行訊科(北京)科技有限公司