基于手臂肌肉電流檢測(cè)和運(yùn)動(dòng)傳感器的手勢(shì)識(shí)別設(shè)備的制作方法
【專利摘要】基于手臂肌肉電流信號(hào)檢測(cè)和運(yùn)動(dòng)傳感器的手勢(shì)識(shí)別設(shè)備,作為一種機(jī)器命令輸入設(shè)備可用于任何需要人機(jī)交互的電子系統(tǒng)。本發(fā)明包括外形為可佩戴在手腕處的手環(huán)或前臂處的臂環(huán);通過(guò)緊貼皮膚位置的一路或者多路肌肉表皮電流傳感器,提取手臂肌肉運(yùn)動(dòng)時(shí)產(chǎn)生的生物電流,并經(jīng)放大器電路,濾波電路,模擬數(shù)字轉(zhuǎn)換電路,實(shí)時(shí)數(shù)字信號(hào)算法處理進(jìn)行手勢(shì)的特征參數(shù)提取,實(shí)現(xiàn)手勢(shì)識(shí)別。識(shí)別的手勢(shì)被映射成各種可配置的控制命令,通過(guò)藍(lán)牙或者其他方式的無(wú)線或有線傳輸方式傳遞給受控主機(jī)。本發(fā)明通過(guò)手臂肌肉電流和運(yùn)動(dòng)傳感器判斷手勢(shì),實(shí)現(xiàn)一種全新的人機(jī)交互命令輸入方式。
【專利說(shuō)明】基于手臂肌肉電流檢測(cè)和運(yùn)動(dòng)傳感器的手勢(shì)識(shí)別設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種新型的人機(jī)交互接口(HCI)控制輸入設(shè)備。傳統(tǒng)的人機(jī)控制輸入方法采用:手指直接操作鼠標(biāo),鍵盤,按鈕,觸摸屏等;語(yǔ)音識(shí)別;二維或者三維機(jī)器視覺實(shí)現(xiàn)手勢(shì)或者身體姿勢(shì)識(shí)別。很多情況下傳統(tǒng)的人機(jī)交互方法占用了太多雙手時(shí)間,且非自然和不易于操作;語(yǔ)音識(shí)別和機(jī)器視覺識(shí)別在一定程度上解放了雙手,但是它們受環(huán)境因素影響大,比如在嘈雜環(huán)境下,光線暗淡環(huán)境下,其檢測(cè)結(jié)果可能會(huì)非常不可靠,并且在使用過(guò)程中用戶會(huì)干擾到其他人;語(yǔ)音識(shí)別還有實(shí)時(shí)性差的缺點(diǎn)。隨著用于傳遞資訊的電子產(chǎn)品的日益豐富,人機(jī)交互的需求成指數(shù)上升,本發(fā)明提出了一種更自然和直接,且不受環(huán)境影響的人機(jī)交互方式。
[0002]佩戴在手腕或者手臂上的可穿戴設(shè)備,例如手環(huán)、臂環(huán)或者智能手表,如果具有實(shí)時(shí)檢測(cè)和識(shí)別用戶手勢(shì)的能力,通過(guò)將手勢(shì)映射成相應(yīng)的機(jī)器命令,可以很好的滿足這樣的需求。這樣的設(shè)備小巧,使用自然,不受環(huán)境影響,可為用戶提供更好的用戶體驗(yàn)。
[0003]在技術(shù)上,當(dāng)我們做某種手勢(shì)時(shí),相應(yīng)的肌肉會(huì)產(chǎn)生微弱的生物電流。通過(guò)檢測(cè)肌肉電流的變化,配合運(yùn)動(dòng)傳感器檢測(cè)的加速度數(shù)據(jù)和角度數(shù)據(jù),經(jīng)過(guò)實(shí)時(shí)數(shù)字信號(hào)算法處理,可以檢測(cè)出手臂、手指、手掌、手腕的運(yùn)動(dòng)。一種可行的方案是在手環(huán)和臂環(huán)緊貼用戶皮膚的位置上安置一路或者多路電極,通過(guò)采集、放大特定肌肉上方皮膚的表皮肌肉電流,經(jīng)過(guò)實(shí)時(shí)運(yùn)算和分析,提取特征參數(shù),實(shí)現(xiàn)相應(yīng)手勢(shì)的甄別;配合運(yùn)動(dòng)傳感器檢測(cè)到的在三維空間上的運(yùn)動(dòng),實(shí)現(xiàn)相應(yīng)的手勢(shì)動(dòng)作識(shí)別;識(shí)別后的手勢(shì)信息將被映射成各種控制命令,以實(shí)現(xiàn)類似鼠標(biāo)、鍵盤、觸摸屏等傳統(tǒng)輸入設(shè)備的信息輸入功能。
【背景技術(shù)】
[0004]人類的肌肉是由大量的神經(jīng)元和肌肉纖維組成。骨骼肌由肌肉通過(guò)肌腱附著在骨骼上,運(yùn)動(dòng)是骨骼配合骨骼肌的收縮產(chǎn)生的?,F(xiàn)代醫(yī)學(xué)揭示運(yùn)動(dòng)的產(chǎn)生過(guò)程:當(dāng)我們想運(yùn)動(dòng)或者做某個(gè)動(dòng)作時(shí),大腦通過(guò)神經(jīng)系統(tǒng)向相應(yīng)的運(yùn)動(dòng)神經(jīng)元發(fā)送電信號(hào),神經(jīng)元接收到電信號(hào)后會(huì)向它周邊的肌肉纖維傳遞電信號(hào),而肌肉纖維在接收到電信號(hào)后會(huì)收縮并將維持一定的時(shí)間。我們的神經(jīng)系統(tǒng)可以很快的調(diào)整和精確的定位電信號(hào)發(fā)射的目標(biāo),使得肌肉纖維可以被交替觸發(fā)并收縮。當(dāng)我們做不同動(dòng)作時(shí),不同的肌肉或者肌肉群會(huì)被觸發(fā)。在肌肉收縮的過(guò)程中,這些交替或者疊加的電信號(hào)被稱之為肌肉生物電流(EMG,Electromyography)。通過(guò)監(jiān)測(cè)多塊肌肉的同步EMG信號(hào),并根據(jù)通道間信號(hào)的頻率、幅度、相位、能量等信息,可以在一定程度上提取各個(gè)動(dòng)作的特征參數(shù),并通過(guò)特征參數(shù)進(jìn)行甄另O。在醫(yī)學(xué)上,EMG信號(hào)可以用侵入式的探針插入到肌肉內(nèi)實(shí)現(xiàn)高精度的提取,但本發(fā)明采用非侵入性的、緊貼或吸附在肌肉上方皮膚表面的電極來(lái)提取肌肉電流信號(hào)(EMG)。在皮膚表面提取EMG信號(hào)的優(yōu)點(diǎn)是對(duì)用戶沒有創(chuàng)傷性,容易使用,用戶體驗(yàn)好;缺點(diǎn)是由于肌肉內(nèi)部的電流信號(hào)需要穿越人體組織到達(dá)皮膚表面,所以最終提取到的EMG信號(hào)比較微弱,同時(shí)會(huì)混有多種干擾,對(duì)于后續(xù)的信號(hào)處理有更高的算法要求。
【發(fā)明內(nèi)容】
[0005]本發(fā)明的目的是針對(duì)傳統(tǒng)人機(jī)交互接口中信息輸入非自然和非直接的缺點(diǎn),結(jié)合生物電子科技提出的一種更自然、直接和高效的新型方案。本發(fā)明的核心原理是解析手臂肌肉生物電流和手勢(shì)間的對(duì)應(yīng)關(guān)系。在實(shí)施中,采集并放大一路或者多路手臂肌肉生物電流,加上三維運(yùn)動(dòng)傳感器數(shù)據(jù),經(jīng)過(guò)實(shí)時(shí)數(shù)據(jù)處理提取手勢(shì)特征參數(shù),實(shí)現(xiàn)手勢(shì)識(shí)別,并將識(shí)別后的手勢(shì)映射成各種機(jī)器命令,以實(shí)現(xiàn)用手勢(shì)作為信息輸入的方法。此發(fā)明可落實(shí)為佩戴和緊貼在手臂前臂處的彈性臂環(huán),或者佩戴和緊貼在手腕處的彈性手環(huán),也可直接集成到例如智能手表等佩戴在手臂上的設(shè)備中,通過(guò)緊貼皮膚處安置的傳感器監(jiān)測(cè)環(huán)下皮膚處的一路或者多路表皮肌肉電流,經(jīng)過(guò)實(shí)時(shí)數(shù)據(jù)運(yùn)算和處理,模式匹配等算法,提取各個(gè)手勢(shì)的特征參數(shù),到達(dá)手勢(shì)識(shí)別的目的。手勢(shì)信息或者經(jīng)過(guò)映射后的控制命令,通過(guò)有線或者無(wú)線方式傳遞到需要控制的上位機(jī),以實(shí)現(xiàn)類似鼠標(biāo)、鍵盤、觸摸屏等傳統(tǒng)輸入設(shè)備的功能,但本發(fā)明具有更優(yōu)良的用戶體驗(yàn)。
【專利附圖】
【附圖說(shuō)明】
[0006]基于手臂肌肉收縮和手勢(shì),肌肉收縮和肌肉電流信號(hào)(EMG)間的關(guān)系,我們可以通過(guò)觀察并解析EMG信號(hào)獲得手勢(shì)動(dòng)作的相應(yīng)特征參數(shù)信息,并且進(jìn)一步應(yīng)用到手勢(shì)識(shí)別技術(shù)上。下面通過(guò)附圖和實(shí)施例,對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。
[0007]圖1:EMG手勢(shì)識(shí)別臂環(huán)佩戴在前臂處的一種方式。
[0008]圖2 =EMG手勢(shì)識(shí)別手環(huán)佩戴在手腕處的一種方式。
[0009]圖3 =EMG手勢(shì)識(shí)別臂環(huán)或者手環(huán)主要的構(gòu)成部件。
[0010]圖4:EMG手勢(shì)識(shí)別基本算法流程。
[0011]圖5:EMG手勢(shì)識(shí)別訓(xùn)練流程。
[0012]圖6 =EMG手勢(shì)識(shí)別手環(huán)或者臂環(huán)用于控制電子游戲的實(shí)例。
【具體實(shí)施方式】
[0013]本發(fā)明在實(shí)現(xiàn)中的核心技術(shù)是如何從手臂微弱的表皮肌肉生物電流信號(hào)中找出各個(gè)手勢(shì)動(dòng)作的特征參數(shù)信息,以及特征參數(shù)信息間的差異,以達(dá)到手勢(shì)識(shí)別的目的。
[0014]圖1是設(shè)備臂環(huán)(100)佩戴在前臂處的一種方式。此位置集中了大部分的手臂肌肉(102),可以檢測(cè)到比較強(qiáng)的表皮肌肉電流信號(hào),最終區(qū)別手掌、手指(103)所構(gòu)成的手勢(shì)。通過(guò)在臂環(huán)合適位置放置電極,同時(shí)在一定范圍內(nèi)限定臂環(huán)佩戴的位置和角度(101),可以相對(duì)穩(wěn)定的檢測(cè)到算法感興趣的肌肉的電流,以簡(jiǎn)化算法。但是按照不同的應(yīng)用和成本,選擇不同復(fù)雜度的算法,本設(shè)備可以被設(shè)計(jì)成包含限定或不限定佩戴位置。示意圖中,臂環(huán)可以在一定的位置放置一路或者多路電極(300),運(yùn)動(dòng)傳感器(304),數(shù)字信號(hào)處理器(DSP)或者中央處理器(CPU)或者專用集成芯片(305)。
[0015]圖2是設(shè)備手環(huán)(100)佩戴在手腕處的一種方式。此位置主要集中的是肌腱,對(duì)于肌肉電流信號(hào)的提取難度高,但是擁有更好的用戶體驗(yàn),在實(shí)踐中將是更佳的選擇。通過(guò)實(shí)現(xiàn)復(fù)雜度更高的算法,或者跟蹤某種類EMG的生物信號(hào),手勢(shì)手環(huán)同樣可行。
[0016]圖3示意EMG手勢(shì)識(shí)別臂環(huán)或者手環(huán)的主要構(gòu)成部分:設(shè)備包括一路或者多路表皮EMG差分電極(300),用于從手臂皮膚檢測(cè)出皮下肌肉的EMG信號(hào)。原則上,EMG通道越多,則后續(xù)手勢(shì)識(shí)別精度越高,但是會(huì)帶來(lái)系統(tǒng)成本、功耗、運(yùn)算復(fù)雜度的上升。表皮EMG信號(hào)經(jīng)差分電極(300)后進(jìn)入模擬信號(hào)放大電路(301)。從表皮采集的EMG原始信號(hào),其振幅通常只在+/-1Omv以內(nèi),放大電路的作用是將信號(hào)擴(kuò)展到后續(xù)模擬數(shù)字轉(zhuǎn)換器(303)的有效量程,到達(dá)更細(xì)分的分辨率。經(jīng)過(guò)放大后的模擬信號(hào),經(jīng)濾波電路(302)來(lái)濾除干擾信號(hào)和限制的頻率范圍。例如環(huán)境中50/60HZ的交流電源干擾可通過(guò)設(shè)置陷波濾波器濾除。濾波電路也可以在數(shù)字化后由數(shù)字信號(hào)處理器(DSP)或者中央處理器(CPU)或?qū)S眉尚酒?305)在數(shù)字域通過(guò)數(shù)字方式實(shí)現(xiàn)。放大器電路(301)和濾波電路(302)的次序在實(shí)現(xiàn)中可能可以調(diào)換。經(jīng)過(guò)放大和濾波后的模擬信號(hào),需要經(jīng)由模擬數(shù)字轉(zhuǎn)換器電路(303)轉(zhuǎn)換到數(shù)字領(lǐng)域,然后經(jīng)數(shù)字信號(hào)處理器(DSP)或者中央處理器(CPU)或者專用集成芯片
(305)進(jìn)行分析處理,解析提取特征參數(shù),以實(shí)現(xiàn)手勢(shì)識(shí)別。設(shè)備中可能包含運(yùn)動(dòng)傳感器電路(304),用于檢測(cè)手臂的運(yùn)動(dòng)。設(shè)備還需要包含用于傳輸原始或者甄別后的手勢(shì)數(shù)據(jù)的有線或者無(wú)線通訊電路(306),存放DSP或CPU程序和設(shè)置、存放手勢(shì)庫(kù)特征參數(shù)的存儲(chǔ)單元(307),顯示單元(308),喇叭(309),振動(dòng)馬達(dá)(310),按鍵(311),充電電池(312),有線或者無(wú)線充電電路(313),外殼(314)。
[0017]圖4示意的是本發(fā)明采用和設(shè)想的手勢(shì)識(shí)別基本的算法流程。安置在設(shè)備(100)上的電極將檢測(cè)到的表皮肌肉電流信號(hào)(401)通過(guò)模擬預(yù)處理電路(402)進(jìn)行放大、濾波、經(jīng)過(guò)模擬數(shù)字轉(zhuǎn)換器電路轉(zhuǎn)換到數(shù)字域。數(shù)字化后的信號(hào)可通過(guò)數(shù)字預(yù)處理模塊(403 )進(jìn)行更精準(zhǔn)的數(shù)字濾波、整流等處理。其后對(duì)信號(hào)進(jìn)行包含了加窗和閾值判斷電路等的分段算法(404)。分段后的信號(hào)經(jīng)過(guò)自相關(guān)參數(shù)提取算法(405)進(jìn)行特征參數(shù)提取。提取出的特征參數(shù)信息通過(guò)線性判斷分析(406),例如手勢(shì)庫(kù)模糊查詢算法,進(jìn)行手勢(shì)甄別,并最終得到最高概率的手勢(shì)結(jié)果。
[0018]圖5示意的是本發(fā)明采用的手勢(shì)識(shí)別訓(xùn)練流程基本設(shè)想。訓(xùn)練流程和圖4示意的手勢(shì)識(shí)別算法流程基本一致,區(qū)別在于自相關(guān)參數(shù)提取(405)步驟后,參數(shù)被存放入手勢(shì)庫(kù)(501)。手勢(shì)訓(xùn)練需要在訓(xùn)練引導(dǎo)程序的指引下進(jìn)行,并且對(duì)于同一個(gè)手勢(shì)需要做多次訓(xùn)練,以達(dá)到較優(yōu)化的提取和限定某個(gè)手勢(shì)的特征參數(shù)范圍。對(duì)于一些常用手勢(shì),可以在出廠前預(yù)置進(jìn)手勢(shì)庫(kù)。
[0019]圖6示意的是手勢(shì)識(shí)別手環(huán)或者臂環(huán)(100)應(yīng)用于實(shí)現(xiàn)電子游戲控制器的實(shí)例。它可以替代鼠標(biāo)、鍵盤或游戲搖桿等控制設(shè)備控制游戲機(jī)(601)。在此示意圖中,游戲控制器只是作為一種可能應(yīng)用被描述出來(lái),游戲機(jī)(601)作為上位機(jī),帶有自己的電路、運(yùn)算、顯示等單元。手勢(shì)識(shí)別手環(huán)或者臂環(huán)在應(yīng)用上沒有限制,它可以被應(yīng)用到任何需要輸入控制的場(chǎng)合,例如遙控玩具的遙控器,智能電視的遙控器等等。
[0020]最后應(yīng)說(shuō)明的是,以上實(shí)施例僅用以說(shuō)明本發(fā)明可能的技術(shù)方案而非限制。根據(jù)實(shí)際應(yīng)用的不同,如EMG采集通道數(shù)目的可以變化,數(shù)據(jù)可在設(shè)備內(nèi)實(shí)時(shí)處理,或原始數(shù)據(jù)上傳到上位機(jī)進(jìn)行處理等等多種不同的實(shí)現(xiàn)。盡管參照較佳實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)說(shuō)明,本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解,可以對(duì)本發(fā)明的技術(shù)方案進(jìn)行修改或等同替換,而不脫離本發(fā)明技術(shù)方案的精神和范圍。
【權(quán)利要求】
1.一種用于檢測(cè)手勢(shì)的可佩戴在手臂前臂部位的臂環(huán)、或佩戴在手腕部位的手環(huán)設(shè)備,通過(guò)有線或者無(wú)線數(shù)據(jù)傳輸連接到上位機(jī),例如個(gè)人電腦、智能手機(jī)、個(gè)人數(shù)字助理、平板電腦、智能電視、智能手表、遙控玩具等設(shè)備;在上位機(jī)中,此設(shè)備被映射成一種人機(jī)交互設(shè)備(HCI);此設(shè)備通過(guò)手臂肌肉電流信號(hào)(EMG)的變化實(shí)現(xiàn)手勢(shì)檢測(cè)并可映射成各種計(jì)算機(jī)命令,以實(shí)現(xiàn)多種控制命令輸入。
2.如權(quán)利要求1所示的臂環(huán)或手環(huán)設(shè)備,在緊貼皮膚的部位配備有一路或多路非侵入式且緊貼皮膚的表皮肌肉電流(EMG)檢測(cè)電極;設(shè)備內(nèi)部帶有模擬信號(hào)放大器電路,可以拾取和放大表皮肌肉電流,設(shè)備內(nèi)部可帶有運(yùn)動(dòng)傳感器電路,可以跟蹤手臂的移動(dòng);設(shè)備可具有但不限于檢測(cè)其他生命體征信息,例如脈搏(ECG)的能力。
3.如權(quán)利要求2,放大后的一路或多路肌肉電流信號(hào)在設(shè)備內(nèi)部經(jīng)過(guò)濾波電路后,由分時(shí)復(fù)用或者單個(gè)信號(hào)通道獨(dú)用的模擬數(shù)字轉(zhuǎn)換器電路轉(zhuǎn)換成數(shù)字信號(hào),轉(zhuǎn)換后的數(shù)字信息,以及手臂在三維空間的加速度和角度信息,可經(jīng)過(guò)有線或者無(wú)線數(shù)據(jù)傳輸方式,上傳到權(quán)利要求1中列出的上位機(jī),在上位機(jī)進(jìn)行實(shí)時(shí)數(shù)據(jù)運(yùn)算處理,得到相應(yīng)的手勢(shì)信息;數(shù)字信息也可直接由設(shè)備內(nèi)嵌的數(shù)字信號(hào)處理器或者中央處理器或?qū)S眉尚酒?,進(jìn)行實(shí)時(shí)數(shù)據(jù)運(yùn)算和處理,甄別得到相應(yīng)的手勢(shì)信息;手勢(shì)信息或手勢(shì)信息被映射成的控制命令,通過(guò)有線或者無(wú)線數(shù)據(jù)傳輸方式,上傳到權(quán)利要求1中的上位機(jī),達(dá)到控制命令輸入的目的。
4.如權(quán)利要求3,手勢(shì)信息包含經(jīng)由肌肉電流(EMG)檢測(cè)出和識(shí)別到的手指、手掌、手腕的運(yùn)動(dòng),以及由運(yùn)動(dòng)傳感器檢測(cè)到的手臂的移動(dòng)和轉(zhuǎn)動(dòng);手指動(dòng)作包含單指和多指。
5.如權(quán)利要求3,4,手勢(shì)識(shí)別方法可能需要處理的信息包括但不限于肌肉電流(EMG)信號(hào)的振幅,信號(hào)的包絡(luò),信號(hào)的頻率譜,信號(hào)的能量分布,各個(gè)信號(hào)通道間的相位差和一致性等;手勢(shì)識(shí)別可能需要但不限于運(yùn)動(dòng)傳感器檢測(cè)到的加速度和角度信息,以進(jìn)行更精確的手勢(shì)動(dòng)作甄別。
6.如權(quán)利要求3,4 ,5,手勢(shì)識(shí)別流程中可能采用但不限于手勢(shì)訓(xùn)練的方法;方法包括使用預(yù)設(shè)手勢(shì)特征信息庫(kù)和用戶自定義手勢(shì)特征信息庫(kù);自定義手勢(shì)信息庫(kù)可由訓(xùn)練指引程序指導(dǎo)用戶,在正確穿戴上設(shè)備后通過(guò)做某些手勢(shì)來(lái)建立和擴(kuò)展。
7.如權(quán)利要求4,5,6,手勢(shì)識(shí)別方法可能但不限于信號(hào)的自動(dòng)分段檢測(cè),小波運(yùn)算,迭代運(yùn)算,快速傅立葉變換,自適應(yīng)等多種方法,以實(shí)現(xiàn)手勢(shì)特征參數(shù)提取,并通過(guò)和手勢(shì)特征信息庫(kù)比對(duì),來(lái)定位一個(gè)手勢(shì)的開始和結(jié)束,以及甄別具體的手勢(shì)。
8.如權(quán)利要求1,2,3,本手勢(shì)檢測(cè)設(shè)備硬件電路可能需要但不限于以下部件:表皮肌肉電流(EMG)檢測(cè)電極,運(yùn)動(dòng)傳感器,濾波電路,模擬數(shù)字轉(zhuǎn)換器電路,數(shù)字信號(hào)處理器或中央處理器或?qū)S眉尚酒糜诖娣盘幚沓绦?、配置信息、手?shì)特征信息庫(kù)的存儲(chǔ)單元,有線或者無(wú)線通訊模塊,按鈕,顯示單元,喇叭,振動(dòng)馬達(dá)等;設(shè)備可采用分立元件或者集成電路實(shí)現(xiàn)。
9.如權(quán)利要求8,本手勢(shì)檢測(cè)設(shè)備可配備充電電池,以及有線、或滿足某種無(wú)線充電標(biāo)準(zhǔn)的充電電路。
10.如權(quán)利要求1,2,3,8,9,設(shè)備的外殼可設(shè)計(jì)為由多個(gè)獨(dú)立的單元通過(guò)某種具有彈性的連接件連接在一起,或某種柔性材料一體成型制成;設(shè)備作為一個(gè)佩戴和緊貼在手臂或者手腕處的環(huán),在一定范圍內(nèi)可以收張,以適應(yīng)不同粗細(xì)的手臂;設(shè)備的內(nèi)部電路可能需由多塊電路板通過(guò)電線連接,或者采用但不限于柔性電路板制成;設(shè)備外殼上可有但不限于明 顯的佩戴位置指示信息。
【文檔編號(hào)】G06F3/01GK103777752SQ201310531766
【公開日】2014年5月7日 申請(qǐng)日期:2013年11月2日 優(yōu)先權(quán)日:2013年11月2日
【發(fā)明者】不公告發(fā)明人 申請(qǐng)人:上海威璞電子科技有限公司