雙通道操作感知虛擬假手訓(xùn)練系統(tǒng)及方法
【專利摘要】雙通道操作感知虛擬假手訓(xùn)練系統(tǒng)及方法，涉及一種肌電假手訓(xùn)練領(lǐng)域。它是為了解決殘疾人使用肌電假手初期難以或無法完成抓取任務(wù)的問題。它包括肌電電極、數(shù)據(jù)采集板卡、虛擬現(xiàn)實模塊和電刺激器。肌電電極用于對人體肌電信號的濾波和放大，數(shù)據(jù)采集板卡用于肌電電極輸出信號的A/D轉(zhuǎn)換，虛擬現(xiàn)實模塊包括了虛擬場景顯示、人手控制關(guān)節(jié)轉(zhuǎn)角、關(guān)節(jié)轉(zhuǎn)角位置測量顯示、抓取場景選擇和指示、肌電信號分類和解碼控制、關(guān)節(jié)電機力矩大小控制、抓取過程中虛擬假手和抓取物碰撞檢測功能、抓取關(guān)節(jié)力矩測量顯示，電刺激器則根據(jù)假手接觸物體的虛擬力矩值進(jìn)行相應(yīng)電刺激信號的輸出。本發(fā)明適用于殘疾人剛開始使用肌電假手時操作訓(xùn)練。
【專利說明】雙通道操作感知虛擬假手訓(xùn)練系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種肌電假手訓(xùn)練領(lǐng)域，尤其是一種結(jié)合虛擬現(xiàn)實的肌電假手訓(xùn)練裝置及方法。
【背景技術(shù)】
[0002]虛擬現(xiàn)實(Virtual Reality)是一種能夠建立和體驗虛擬世界的計算機技術(shù),它可通過計算機技術(shù)生成一個逼真的、可基于計算信息的沉浸式交互環(huán)境，從而被廣泛應(yīng)用于機械制造、生物醫(yī)療、城市規(guī)劃、軍事模擬和航空航天等多個領(lǐng)域，并創(chuàng)造出巨大的經(jīng)濟(jì)效益和社會效益。當(dāng)前基于虛擬現(xiàn)實的訓(xùn)練系統(tǒng)大多集中在中風(fēng)、腦損傷、帕金森和外科手術(shù)后的康復(fù)性訓(xùn)練上。Francesca Cordelia使用kinect作為人手的動作捕捉裝置來進(jìn)行人手在抓取過程中運動軌跡的記錄，將患者和健康人手完成相同動作的關(guān)節(jié)軌跡對比進(jìn)行康復(fù)評估，并利用虛擬現(xiàn)實環(huán)境進(jìn)行相應(yīng)的康復(fù)訓(xùn)練。
[0003]肌電假手是一種利用人體前臂的肌肉電信號(Electromyography, EMG)作為信息源，通過一定的信息解碼策略，將人的控制意圖轉(zhuǎn)化為運動控制信息完成多種抓取任務(wù)的康復(fù)裝備，例如 OttoBock 公司的 Sensorhandspeed, Michelangelo Hand 等。
[0004]對于前臂缺失或者腕離斷殘疾人來說，殘臂肌肉在截肢手術(shù)后往往會出現(xiàn)萎縮、壞死等癥狀，且隨著用戶對于假手性能要求的逐漸提高，假手的自由度也越多，因此伴隨的控制難度也會增加，這些都導(dǎo)致殘疾人剛開始使用肌電假手時較為困難，出現(xiàn)操作不熟練，或者根本無法完成抓取任務(wù)的情況。因此假手訓(xùn)練就顯得尤為重要，但基于真實假手的訓(xùn)練具有復(fù)雜程度高、維護(hù)費用高、動作演示示范性差以及統(tǒng)計訓(xùn)練結(jié)果困難等諸多缺點。為了提高訓(xùn)練的效率、降低成本，一種可以幫助患者完成模式訓(xùn)練的虛擬現(xiàn)實系統(tǒng)顯得十分必要。
【發(fā)明內(nèi)容】
[0005]本發(fā)明是為了解決殘疾人使用肌電假手初期難以或無法完成抓取任務(wù)的問題，從而提供一種雙通道操作感知虛擬假手訓(xùn)練系統(tǒng)及方法。
[0006]雙通道操作感知虛擬假手訓(xùn)練系統(tǒng)，它包括肌電電極、數(shù)據(jù)采集板卡、PC機和電刺激器；PC機內(nèi)部嵌入虛擬現(xiàn)實模塊；
[0007]肌電電極用于采集人體的肌電信號，并將采集到的肌電信號進(jìn)行濾波和放大，并將濾波和放大后的信號發(fā)送給數(shù)據(jù)采集板卡；
[0008]數(shù)據(jù)采集板卡用于將經(jīng)過肌電電極濾波和放大后的肌電信號進(jìn)行模數(shù)轉(zhuǎn)換，并將信號發(fā)送給PC機中的虛擬現(xiàn)實模塊；
[0009]電刺激器用于接收PC機中的虛擬現(xiàn)實模塊發(fā)出的電刺激控制指令，并產(chǎn)生電刺
激信號；
[0010]虛擬現(xiàn)實模塊包括虛擬場景顯示模塊、人手控制模塊、虛擬位置傳感器模塊、抓取場景選擇和指示模塊、肌電解碼和自動控制模塊、電機力矩輸出控制模塊、碰撞檢測模塊和虛擬力矩傳感器模塊；
[0011]虛擬場景顯示模塊用于提供不同抓取物體的調(diào)用和替換，進(jìn)行虛擬假手和對應(yīng)物體的抓取模擬；
[0012]人手控制模塊用于提供虛擬假手關(guān)節(jié)位置手動控制信號、抓取物體替換控制信號、肌電信號采集訓(xùn)練啟動信號和人手肌電控制信號編碼自動控制啟動信號；
[0013]虛擬位置傳感器模塊用于對虛擬假手的關(guān)節(jié)轉(zhuǎn)角進(jìn)行檢測；
[0014]抓取場景選擇和指示模塊用于對虛擬假手的抓取場景進(jìn)行選擇和指示；
[0015]肌電解碼和自動控制模塊用于對數(shù)據(jù)采集板卡發(fā)送的肌電信號運用分類器將肌電控制信號進(jìn)行分類，并針對產(chǎn)生的編碼信號進(jìn)行解碼，根據(jù)當(dāng)前手動輸入的關(guān)節(jié)力矩，采用手指動力學(xué)方程關(guān)節(jié)轉(zhuǎn)角數(shù)值解數(shù)組方式實時控制虛擬假手關(guān)節(jié)動作；
[0016]電機力矩輸出控制模塊用于向虛擬假手的控制電機輸出力矩控制信號，以及假手動力學(xué)數(shù)值解求解賦值；
[0017]碰撞檢測模塊用于對于虛擬假手進(jìn)行不同物體抓取的碰撞檢測；
[0018]虛擬力矩傳感器模塊用于在檢測到碰撞后，根據(jù)抓取力學(xué)分析或者假手現(xiàn)實抓取碰撞發(fā)生后產(chǎn)生的值獲得相應(yīng)力矩傳感器值。
[0019]雙通道操作感知虛擬假手訓(xùn)練方法，它包括以下步驟:
[0020]采用肌電電極用于采集人體的肌電信號，并將采集到的肌電信號進(jìn)行濾波和放大，并將濾波和放大后的信號發(fā)送給數(shù)據(jù)采集板卡的步驟；
[0021]采用數(shù)據(jù)采集板卡用于將經(jīng)`過肌電電極濾波和放大后的肌電信號進(jìn)行模數(shù)轉(zhuǎn)換，并將信號發(fā)送給PC機中的虛擬現(xiàn)實模塊的步驟；
[0022]采用電刺激器用于接收PC機中的虛擬現(xiàn)實模塊發(fā)出的電刺激控制指令，并產(chǎn)生電刺激信號的步驟；
[0023]虛擬現(xiàn)實模塊的信號處理方法包括:
[0024]用于提供不同抓取物體的調(diào)用和替換，進(jìn)行虛擬假手和對應(yīng)物體的抓取模擬的虛擬場景顯示步驟；
[0025]用于提供虛擬假手關(guān)節(jié)位置手動控制信號、抓取物體替換控制信號、肌電信號采集訓(xùn)練啟動信號和人手肌電控制信號編碼自動控制啟動信號的人手控制步驟；
[0026]用于對虛擬假手的關(guān)節(jié)轉(zhuǎn)角進(jìn)行檢測的步驟；
[0027]用于對虛擬假手的抓取場景進(jìn)行動作選擇和指示的步驟:
[0028]用于對數(shù)據(jù)采集板卡發(fā)送的肌電信號運用分類器將肌電控制信號進(jìn)行分類，并針對產(chǎn)生的編碼信號進(jìn)行解碼，根據(jù)當(dāng)前手動輸入的關(guān)節(jié)力矩，采用手指動力學(xué)方程關(guān)節(jié)轉(zhuǎn)角數(shù)值解數(shù)組方式實時控制虛擬假手關(guān)節(jié)動作的肌電解碼和自動控制步驟；
[0029]用于向虛擬假手的控制電機輸出力矩控制信號的電機力矩輸出控制，以及假手動力學(xué)數(shù)值解求解賦值步驟；
[0030]用于對于虛擬假手進(jìn)行不同物體抓取的碰撞檢測的碰撞檢測步驟；
[0031]用于在檢測到碰撞后，根據(jù)抓取力學(xué)分析或者假手現(xiàn)實抓取碰撞發(fā)生后產(chǎn)生的值獲得相應(yīng)力矩傳感器值的獲得步驟。
[0032]肌電解碼和自動控制模塊的信號處理過程為:肌電解碼和自動控制模塊首先將人手彎、放松、伸的肌電信號進(jìn)行分類，再根據(jù)肌電信號持續(xù)的時間對肌電信號進(jìn)行細(xì)分，按照持續(xù)時間的長短和肌肉的種類，將肌電信號分為短伸信號、短屈信號、長伸信號和長屈信號；最后對肌肉動作序列的編碼信號進(jìn)行解碼，使用6種不同的肌肉動作序列組合對應(yīng)6種不同的抓取動作。
[0033]人手控制模塊包括手動控制虛擬假手動作模塊、虛擬抓取場景切換選擇模塊、采集訓(xùn)練和自動控制開始控制按鈕；
[0034]手動控制虛擬假手動作模塊包括啟動手動控制按鈕和對應(yīng)關(guān)節(jié)轉(zhuǎn)角的輸入控件；
[0035]虛擬抓取場景切換選擇模塊包括不同典型抓取對應(yīng)物體導(dǎo)入按鍵；采集訓(xùn)練和自動控制開始控制按鈕包括采集訓(xùn)練和自動控制開始按鈕；
[0036]虛擬假手電機力矩調(diào)節(jié)模塊包括虛擬假手電機力矩人手輸入控件和假手動力學(xué)數(shù)值解求解賦值模塊；
[0037]虛擬假手電機力矩輸入控件包括虛擬假手關(guān)節(jié)電機力矩的輸入控件；
[0038]假手動力學(xué)數(shù)值解求解賦值模塊通過假手動力學(xué)分析，建立假手電機力矩和關(guān)節(jié)轉(zhuǎn)角、角速度、角加速度的關(guān)系，并求得關(guān)節(jié)轉(zhuǎn)角的數(shù)值解數(shù)組，根據(jù)關(guān)節(jié)轉(zhuǎn)角數(shù)值解數(shù)組進(jìn)行抓取中關(guān)節(jié)轉(zhuǎn)角的賦值，在虛擬場景中顯示對應(yīng)關(guān)節(jié)電機力矩的動態(tài)抓取過程。
[0039]碰撞檢測模塊用于對于虛擬假手進(jìn)行不同物體抓取的碰撞檢測的過程具體為:
[0040]建立DualSce neCollide類的步驟:用于調(diào)用碰撞檢測類以及實例化碰撞檢測對；
[0041]調(diào)用SoPath類定義被抓物體為靜態(tài)搜索路徑，然后分別定義11個指節(jié)為11條動態(tài)搜索路徑，并分別與靜態(tài)搜索路徑建立起碰撞檢測對的步驟；
[0042]調(diào)用Open Inventor中SoMaterial類定義五種不同顏色的碰撞點標(biāo)記五個不同的手指的碰撞檢測，再調(diào)用Open Inventor自帶的SoDualSceneCollider類中的checkCoIlision函數(shù)對每對碰撞檢測對進(jìn)行碰撞檢測，并返回碰撞發(fā)生點的坐標(biāo)值的步驟。
[0043]電刺激器的刺激頻率與虛擬力矩傳感器模塊獲得的力矩值成正比。
[0044]虛擬場景顯示模塊是沉浸式虛擬現(xiàn)實抓取場景模塊，用于進(jìn)行虛擬假手場景、典型性抓取物體場景的切換，以及虛擬物體紋理顏色和光照的設(shè)置。
[0045]本發(fā)明雙通道操作感知虛擬假手訓(xùn)練系統(tǒng)通過對人體EMG控制信號的采集、分類，自動識別人體EMG編碼控制意圖進(jìn)行相應(yīng)類型物體的抓取，并融合了虛擬關(guān)節(jié)位置和力矩傳感器，同時能夠進(jìn)行關(guān)節(jié)驅(qū)動力矩控制和碰撞檢測，增加了假手訓(xùn)練系統(tǒng)的真實感，使訓(xùn)練者能夠沉浸其中進(jìn)行假手產(chǎn)品的訓(xùn)練，提高了假手訓(xùn)練的效率，對于提高假手訓(xùn)練者的肌電信號和控制熟練程度有很好的幫助，同時還可以提高訓(xùn)練者的自信心。成功解決了殘疾人使用肌電假手初期難以或無法完成抓取任務(wù)的問題。
【專利附圖】
【附圖說明】
[0046]圖1是本發(fā)明的結(jié)構(gòu)原理框圖；
[0047]圖2為本發(fā)明雙向人機交互示意圖。
【具體實施方式】
[0048]【具體實施方式】一、結(jié)合圖1說明本【具體實施方式】，雙通道操作感知虛擬假手訓(xùn)練系統(tǒng)，它包括肌電電極、數(shù)據(jù)采集板卡、PC機和電刺激器；PC機內(nèi)部嵌入虛擬現(xiàn)實模塊；
[0049]肌電電極用于采集人體的肌電信號，并將采集到的肌電信號進(jìn)行濾波和放大，并將濾波和放大后的信號發(fā)送給數(shù)據(jù)采集板卡；
[0050]數(shù)據(jù)采集板卡用于將經(jīng)過肌電電極濾波和放大后的肌電信號進(jìn)行模數(shù)轉(zhuǎn)換，并將信號發(fā)送給PC機中的虛擬現(xiàn)實模塊；
[0051]電刺激器用于接收PC機中的虛擬現(xiàn)實模塊發(fā)出的電刺激控制指令，并產(chǎn)生電刺
激信號；
[0052]虛擬現(xiàn)實模塊包括虛擬場景顯示模塊、人手控制模塊、虛擬位置傳感器模塊、抓取場景選擇和指示模塊、肌電解碼和自動控制模塊、電機力矩輸出控制模塊、碰撞檢測模塊和虛擬力矩傳感器模塊；
[0053]虛擬場景顯示模塊用于提供不同抓取物體的調(diào)用和替換，進(jìn)行虛擬假手和對應(yīng)物體的抓取模擬；
[0054]人手控制模塊用于提供虛擬假手關(guān)節(jié)位置手動控制信號、抓取物體替換控制信號、肌電信號采集訓(xùn)練啟動信號和人手肌電控制信號編碼自動控制啟動信號；
[0055]虛擬位置傳感器模塊用于對虛擬假手的關(guān)節(jié)轉(zhuǎn)角進(jìn)行檢測；
[0056]抓取場景選擇和指示模塊用于對虛擬假手的抓取場景進(jìn)行選擇和指示；
[0057]肌電解碼和自動控制模塊用于對數(shù)據(jù)采集板卡發(fā)送的肌電信號運用分類器將肌電控制信號進(jìn)行分類，并針對產(chǎn)生的編碼信號進(jìn)行解碼，根據(jù)當(dāng)前手動輸入的關(guān)節(jié)力矩，采用手指動力學(xué)方程關(guān)節(jié)轉(zhuǎn)角數(shù)值解數(shù)組方式實時控制虛擬假手關(guān)節(jié)動作；
[0058]電機力矩輸出控制模塊用于向虛擬假手的控制電機輸出力矩控制信號，以及假手動力學(xué)數(shù)值解求解賦值；
[0059]碰撞檢測模塊用于對于虛擬假手進(jìn)行不同物體抓取的碰撞檢測；
[0060]虛擬力矩傳感器模塊用于在檢測到碰撞后，根據(jù)抓取力學(xué)分析或者假手現(xiàn)實抓取碰撞發(fā)生后產(chǎn)生的值獲得相應(yīng)力矩傳感器值。
[0061]【具體實施方式】二、雙通道操作感知虛擬假手訓(xùn)練方法，它包括以下步驟:
[0062]采用肌電電極用于采集人體的肌電信號，并將采集到的肌電信號進(jìn)行濾波和放大，并將濾波和放大后的信號發(fā)送給數(shù)據(jù)采集板卡的步驟；
[0063]采用數(shù)據(jù)采集板卡用于將經(jīng)過肌電電極濾波和放大后的肌電信號進(jìn)行模數(shù)轉(zhuǎn)換，并將信號發(fā)送給PC機中的虛擬現(xiàn)實模塊的步驟；
[0064]采用電刺激器用于接收PC機中的虛擬現(xiàn)實模塊發(fā)出的電刺激控制指令，并產(chǎn)生電刺激信號的步驟；
[0065]虛擬現(xiàn)實模塊的動作執(zhí)行方法包括:
[0066]用于提供不同抓取物體的調(diào)用和替換，進(jìn)行虛擬假手和對應(yīng)物體的抓取模擬的虛擬場景顯示步驟；
[0067]用于提供虛 擬假手關(guān)節(jié)位置手動控制信號、抓取物體替換控制信號、肌電信號采集訓(xùn)練啟動信號和人手肌電控制信號編碼自動控制啟動信號的人手控制步驟；
[0068]用于對虛擬假手的關(guān)節(jié)轉(zhuǎn)角進(jìn)行檢測的步驟；
[0069]用于對虛擬假手的進(jìn)行動作選擇和指示的步驟:
[0070]用于對數(shù)據(jù)采集板卡發(fā)送的肌電信號運用分類器將肌電控制信號進(jìn)行分類，并針對產(chǎn)生的編碼信號進(jìn)行解碼，根據(jù)當(dāng)前手動輸入的關(guān)節(jié)力矩，采用手指動力學(xué)方程關(guān)節(jié)轉(zhuǎn)角數(shù)值解數(shù)組方式實時控制虛擬假手關(guān)節(jié)動作的肌電解碼和自動控制步驟；
[0071]用于向虛擬假手的控制電機輸出力矩控制信號的電機力矩輸出控制，以及假手動力學(xué)數(shù)值解求解賦值步驟；
[0072]用于對于虛擬假手進(jìn)行不同物體抓取的碰撞檢測的碰撞檢測步驟；
[0073]用于在檢測到碰撞后，根據(jù)抓取力學(xué)分析或者假手現(xiàn)實抓取碰撞發(fā)生后產(chǎn)生的值獲得相應(yīng)力矩傳感器值的獲得步驟。
[0074]肌電解碼和自動控制模塊的信號處理過程為:肌電解碼和自動控制模塊依據(jù)肌電信號持續(xù)的時間對肌電信號進(jìn)行細(xì)分，按照持續(xù)時間的長短和肌肉的種類，將肌電信號分為短伸信號、短屈信號、長伸信號和長屈信號；最后對肌肉動作序列進(jìn)行編碼，使用6種不同的肌肉動作序列組合對應(yīng)6種不同的抓取動作。
[0075]人手控制模塊包括手動控制虛擬假手動作模塊、虛擬抓取場景選擇模塊、采集訓(xùn)練和自動控制開始控制按鈕；
[0076]手動控制虛擬假手動作模塊包括啟動手動控制按鈕和對應(yīng)關(guān)節(jié)轉(zhuǎn)角的輸入控件；
[0077]虛擬抓取場景切換選擇模塊包括不同典型抓取對應(yīng)物體導(dǎo)入按鍵；采集訓(xùn)練和自動控制開始控制按鈕包括采集訓(xùn)練和自動控制開始按鈕；
[0078]虛擬假 手電機力矩調(diào)節(jié)模塊包括虛擬假手電機力矩人手輸入控件和假手動力學(xué)數(shù)值解求解賦值模塊；
[0079]虛擬假手電機力矩輸入控件包括虛擬假手關(guān)節(jié)電機力矩的輸入控件；
[0080]假手動力學(xué)數(shù)值解求解賦值模塊通過假手動力學(xué)分析，建立假手電機力矩和關(guān)節(jié)轉(zhuǎn)角、角速度、角加速度的關(guān)系，并求得關(guān)節(jié)轉(zhuǎn)角的數(shù)值解數(shù)組，根據(jù)關(guān)節(jié)轉(zhuǎn)角數(shù)值解數(shù)組進(jìn)行抓取中關(guān)節(jié)轉(zhuǎn)角的賦值，在虛擬場景中顯示對應(yīng)關(guān)節(jié)電機力矩的動態(tài)抓取過程。
[0081]碰撞檢測模塊用于對于虛擬假手進(jìn)行不同物體抓取的碰撞檢測的過程具體為:
[0082]建立DualSceneCollide類的步驟:用于調(diào)用碰撞檢測類以及實例化碰撞檢測對；
[0083]調(diào)用SoPath類定義被抓物體為靜態(tài)搜索路徑，然后分別定義11個指節(jié)為11條動態(tài)搜索路徑，并分別與靜態(tài)搜索路徑建立起碰撞檢測對的步驟；
[0084]調(diào)用Open Inventor中SoMaterial類定義五種不同顏色的碰撞點標(biāo)記五個不同的手指的碰撞檢測，再調(diào)用Open Inventor自帶的SoDualSceneCollider類中的checkCoIlision函數(shù)對每對碰撞檢測對進(jìn)行碰撞檢測，并返回碰撞發(fā)生點的坐標(biāo)值的步驟。
[0085]電刺激器的刺激頻率與虛擬力矩傳感器模塊獲得的力矩值成正比。
[0086]虛擬場景顯示模塊是沉浸式虛擬現(xiàn)實抓取場景模塊，用于進(jìn)行虛擬假手場景、典型性抓取物體場景的切換，以及虛擬物體紋理顏色和光照的設(shè)置。
[0087]工作原理:肌電電極用于將肌電信號濾波放大，發(fā)送到數(shù)據(jù)采集板卡；
[0088]數(shù)據(jù)采集板卡將接收到的肌電信號進(jìn)行A/D轉(zhuǎn)換，并將轉(zhuǎn)換后的肌電信號傳給PC機；
[0089]PC機在虛擬現(xiàn)實操作面板點選采樣訓(xùn)練的前提下，接受人手彎、放松、伸的肌電信號，并通過分類器將3種模式的肌電信號進(jìn)行分類，然后依據(jù)肌電信號持續(xù)的時間對肌電信號進(jìn)行細(xì)分，按照持續(xù)時間的長短和種類，肌電信號分為短伸信號、短屈信號、長伸信號和長屈信號。點選要做的抓取模式和操作界面的自動控制按鈕，人手根據(jù)提前設(shè)定好的6種不同的抓取動作進(jìn)行屈、伸動作的編碼，PC機根據(jù)此時人手動作的編碼指令及前期采集訓(xùn)練的分類結(jié)果，進(jìn)行控制指令的分類和解碼，最終自動的實現(xiàn)對應(yīng)指令的抓取任務(wù)，抓取過程中關(guān)節(jié)轉(zhuǎn)角根據(jù)虛擬假手手指動力學(xué)方程的數(shù)值解數(shù)組進(jìn)行實時賦值，以產(chǎn)生逼真的動力學(xué)運動效果；
[0090]同時在動作過程中進(jìn)行實時碰撞檢測，碰撞檢測的過程為:(I)建立DualSceneCoIlide類,用于調(diào)用碰撞檢測類以及實例化碰撞檢測對。
[0091](2)調(diào)用SoPath類定義被抓物體為靜態(tài)搜索路徑，然后分別定義11個指節(jié)為11條動態(tài)搜索路徑，并分別與靜態(tài)搜索路徑建立起碰撞檢測對。
[0092](3)由于新一代假手為耦合手指設(shè)計，因此通常狀態(tài)下每個手指和虛擬物體的接觸點只有一個，因此每個手指的碰撞對中同時僅能有一個碰撞對發(fā)生碰撞。調(diào)用OpenInventor中SoMaterial類定義五種不同顏色的碰撞點標(biāo)記五個不同的手指的碰撞檢測，再調(diào)用Open Inventor自帶的SoDualSceneCollider類中的checkCollision函數(shù)對每對碰撞檢測對進(jìn)行碰撞檢測，并返回碰撞發(fā)生點的坐標(biāo)值。在此過程中，將當(dāng)前假手動力學(xué)計算存儲的轉(zhuǎn)角數(shù)值解數(shù)組對應(yīng)的元素值賦值給虛擬位置傳感器，并實時顯示，當(dāng)碰撞發(fā)生后，記錄碰撞發(fā)生后的前一個時間點的角度值，此外，對應(yīng)的肌電電極采集的肌電信號數(shù)值、采用編碼控制的人手編碼控制指令、分類器信息也可實時顯示，當(dāng)碰撞發(fā)生后手指的各個關(guān)節(jié)停止動作，此時虛擬力矩傳感器根據(jù)抓取力學(xué)分析或者假手現(xiàn)實抓取碰撞發(fā)生后產(chǎn)生的值得出相應(yīng)力矩傳感器值，并進(jìn)行實時顯示，如附圖2所示，電刺激器根據(jù)虛擬力矩傳感器的值進(jìn)行電刺激信號的調(diào)整。
[0093]當(dāng)選擇虛擬現(xiàn)實界面的手動控制按鈕，此時通過手動給定虛擬假手對應(yīng)的關(guān)節(jié)轉(zhuǎn)角值進(jìn)行當(dāng)前假手關(guān)節(jié)轉(zhuǎn)角的控制，并把手動給定的虛擬假手關(guān)節(jié)轉(zhuǎn)角值賦值給虛擬位置傳感器，進(jìn)行實時顯示，6`種抓取場景的切換按鈕用于提供不同的抓取模擬場景轉(zhuǎn)換，同時每種場景選定后對應(yīng)的虛擬LED燈會被點亮，指示抓取場景切換成功。采集訓(xùn)練和自動控制模式的開啟，均需要在控制面板點選對應(yīng)的開啟按鈕才可，采集訓(xùn)練的LED燈用于指示人手對應(yīng)編碼指令樣本采集完成。電機的力矩可以進(jìn)行人工設(shè)置，并根據(jù)人手設(shè)置值進(jìn)行對應(yīng)關(guān)節(jié)力矩值的動力學(xué)方程求解計算和控制，對應(yīng)的關(guān)節(jié)力矩值還可實時顯示。
[0094]虛擬現(xiàn)實場景顯示模塊選擇點光源作為虛擬訓(xùn)練系統(tǒng)的環(huán)境光源，這樣在帶來較逼真的顯示效果的同時又不會對碰撞檢測的標(biāo)記點產(chǎn)生干擾。使用Open Inventor中SoTeXture2節(jié)點來完成紋理的導(dǎo)入，增強了虛擬現(xiàn)實系統(tǒng)的真實性和沉浸感。
【權(quán)利要求】
1.雙通道操作感知虛擬假手訓(xùn)練系統(tǒng)，其特征是:它包括肌電電極、數(shù)據(jù)采集板卡、PC機和電刺激器；PC機內(nèi)部嵌入虛擬現(xiàn)實模塊； 肌電電極用于采集人體的肌電信號，并將采集到的肌電信號進(jìn)行濾波和放大，并將濾波和放大后的信號發(fā)送給數(shù)據(jù)采集板卡； 數(shù)據(jù)采集板卡用于將經(jīng)過肌電電極濾波和放大后的肌電信號進(jìn)行模數(shù)轉(zhuǎn)換，并將信號發(fā)送給PC機中的虛擬現(xiàn)實模塊； 電刺激器用于接收PC機中的虛擬現(xiàn)實模塊發(fā)出的電刺激控制指令，并產(chǎn)生電刺激信號; 虛擬現(xiàn)實模塊包括虛擬場景顯示模塊、人手控制模塊、虛擬位置傳感器模塊、抓取場景選擇和指示模塊、肌電解碼和自動控制模塊、電機力矩輸出控制模塊、碰撞檢測模塊和虛擬力矩傳感器模塊； 虛擬場景顯示模塊用于提供不同抓取物體的調(diào)用和替換，進(jìn)行虛擬假手和對應(yīng)物體的抓取模擬； 人手控制模塊用于提供虛擬假手關(guān)節(jié)位置手動控制信號、抓取物體替換控制信號、肌電信號采集訓(xùn)練啟動信號和人手肌電控制信號編碼自動控制啟動信號； 虛擬位置傳感器模塊用于對虛擬假手的關(guān)節(jié)轉(zhuǎn)角進(jìn)行檢測； 抓取場景選擇和指示 模塊用于對虛擬假手的抓取場景進(jìn)行選擇和指示； 肌電解碼和自動控制模塊用于對數(shù)據(jù)采集板卡發(fā)送的肌電信號運用分類器將肌電控制信號進(jìn)行分類，并針對產(chǎn)生的編碼信號進(jìn)行解碼，根據(jù)當(dāng)前手動輸入的關(guān)節(jié)力矩，采用手指動力學(xué)方程關(guān)節(jié)轉(zhuǎn)角數(shù)值解數(shù)組方式實時控制虛擬假手關(guān)節(jié)動作； 電機力矩輸出控制模塊用于向虛擬假手的控制電機輸出力矩控制信號，以及假手動力學(xué)數(shù)值解求解賦值； 碰撞檢測模塊用于對于虛擬假手進(jìn)行不同物體抓取的碰撞檢測； 虛擬力矩傳感器模塊用于在檢測到碰撞后，根據(jù)抓取力學(xué)分析或者假手現(xiàn)實抓取碰撞發(fā)生后產(chǎn)生的值獲得相應(yīng)力矩傳感器值。
2.雙通道操作感知虛擬假手訓(xùn)練方法，其特征是:它包括以下步驟: 采用肌電電極用于采集人體的肌電信號，并將采集到的肌電信號進(jìn)行濾波和放大，并將濾波和放大后的信號發(fā)送給數(shù)據(jù)采集板卡的步驟； 采用數(shù)據(jù)采集板卡用于將經(jīng)過肌電電極濾波和放大后的肌電信號進(jìn)行模數(shù)轉(zhuǎn)換，并將信號發(fā)送給PC機中的虛擬現(xiàn)實模塊的步驟； 采用電刺激器用于接收PC機中的虛擬現(xiàn)實模塊發(fā)出的電刺激控制指令，并產(chǎn)生電刺激信號的步驟； 虛擬現(xiàn)實模塊的信號處理方法包括: 用于提供不同抓取物體的調(diào)用和替換，進(jìn)行虛擬假手和對應(yīng)物體的抓取模擬的虛擬場景顯示步驟； 用于提供虛擬假手關(guān)節(jié)位置手動控制信號、抓取物體替換控制信號、肌電信號采集訓(xùn)練啟動信號和人手肌電控制信號編碼自動控制啟動信號的人手控制步驟； 用于對虛擬假手的關(guān)節(jié)轉(zhuǎn)角進(jìn)行檢測的步驟； 用于對虛擬假手的抓取場景進(jìn)行抓取場景選擇和指示的步驟:用于對數(shù)據(jù)采集板卡發(fā)送的肌電信號運用分類器將肌電控制信號進(jìn)行分類，并針對產(chǎn)生的編碼信號進(jìn)行解碼，根據(jù)當(dāng)前手動輸入的關(guān)節(jié)力矩，采用手指動力學(xué)方程關(guān)節(jié)轉(zhuǎn)角數(shù)值解數(shù)組方式實時控制虛擬假手關(guān)節(jié)動作的肌電解碼和自動控制步驟； 用于向虛擬假手的控制電機輸出力矩控制信號的電機力矩輸出控制，以及假手動力學(xué)數(shù)值解求解賦值步驟； 用于對于虛擬假手進(jìn)行不同物體抓取的碰撞檢測的碰撞檢測步驟； 用于在檢測到碰撞后，根據(jù)抓取力學(xué)分析或者假手現(xiàn)實抓取碰撞發(fā)生后產(chǎn)生的值獲得相應(yīng)力矩傳感器值的獲得步驟。
3.根據(jù)權(quán)利要求2所述的雙通道操作感知虛擬假手訓(xùn)練方法，其特征在于肌電解碼和自動控制模塊的信號處理過程為:肌電解碼和自動控制模塊首先將人手彎、放松、伸的肌電信號進(jìn)行分類，再根據(jù)肌電信號持續(xù)的時間對肌電信號進(jìn)行細(xì)分，按照持續(xù)時間的長短和肌肉的種類，將肌電信號分為短伸信號、短屈信號、長伸信號和長屈信號；最后對肌肉動作序列的編碼信號進(jìn)行解碼，使用6種不同的肌肉動作序列組合對應(yīng)6種不同的抓取動作。
4.根據(jù)權(quán)利要求2所述的雙通道操作感知虛擬假手訓(xùn)練方法，其特征在于人手控制模塊包括手動控制虛擬假手動作模塊、虛擬抓取場景切換選擇模塊、采集訓(xùn)練和自動控制開始控制按鈕； 手動控制虛擬假手動作模塊包括啟動手動控制按鈕和對應(yīng)關(guān)節(jié)轉(zhuǎn)角的輸入控件； 虛擬抓取場景切換選擇模塊包括不同典型抓取對應(yīng)物體導(dǎo)入按鍵；采集訓(xùn)練和自動控制開始控制按鈕包括采集訓(xùn)練和自動控制開始按鈕。
5.根據(jù)權(quán)利要求2所述的雙通道操作感知虛擬假手訓(xùn)練方法，其特征在于虛擬假手電機力矩調(diào)節(jié)模塊包括虛 擬假手電機力矩人手輸入控件和假手動力學(xué)數(shù)值解求解賦值模塊； 虛擬假手電機力矩輸入控件包括虛擬假手關(guān)節(jié)電機力矩的輸入控件； 假手動力學(xué)數(shù)值解求解賦值模塊，通過假手動力學(xué)分析，建立假手電機力矩和關(guān)節(jié)轉(zhuǎn)角、角速度、角加速度的關(guān)系，并求得關(guān)節(jié)轉(zhuǎn)角的數(shù)值解數(shù)組，根據(jù)關(guān)節(jié)轉(zhuǎn)角數(shù)值解數(shù)組進(jìn)行抓取中關(guān)節(jié)轉(zhuǎn)角的賦值，在虛擬場景中顯示對應(yīng)關(guān)節(jié)電機力矩的動態(tài)抓取過程。
6.根據(jù)權(quán)利要求2所述的雙通道操作感知虛擬假手訓(xùn)練方法，其特征在于碰撞檢測模塊用于對于虛擬假手進(jìn)行不同物體抓取的碰撞檢測的過程具體為: 建立DualSceneCollide類的步驟:用于調(diào)用碰撞檢測類以及實例化碰撞檢測對； 調(diào)用SoPath類定義被抓物體為靜態(tài)搜索路徑，然后分別定義11個指節(jié)為11條動態(tài)搜索路徑，并分別與靜態(tài)搜索路徑建立起碰撞檢測對的步驟； 調(diào)用Open Inventor中SoMaterial類定義五種不同顏色的碰撞點標(biāo)記五個不同的手指的碰撞檢測，再調(diào)用Open Inventor自帶的SoDualSceneCollider類中的checkCo11 i sion函數(shù)對每對碰撞檢測對進(jìn)行碰撞檢測，并返回碰撞發(fā)生點的坐標(biāo)值的步驟。
7.根據(jù)權(quán)利要求2所述的雙通道操作感知虛擬假手訓(xùn)練方法，其特征在于電刺激器的刺激頻率與虛擬力矩傳感器模塊獲得的力矩值成正比。
8.根據(jù)權(quán)利要求2所述的雙通道操作感知虛擬假手訓(xùn)練方法，其特征在于虛擬場景顯示模塊是沉浸式虛擬現(xiàn)實抓取場景模塊，用于進(jìn)行虛擬假手場景、典型性抓取物體場景的切換，以及虛擬物體紋理顏色和光照的設(shè)置。
【文檔編號】A61F2/54GK103815991SQ201410079225
【公開日】2014年5月28日 申請日期:2014年3月6日 優(yōu)先權(quán)日:2014年3月6日
【發(fā)明者】姜力, 劉源, 楊大鵬, 陳川, 劉宏 申請人:哈爾濱工業(yè)大學(xué)