專利名稱：基于混合傳感器的人機交互方法
技術(shù)領(lǐng)域：
本發(fā)明屬于機器人運動領(lǐng)域，特別涉及一種基于混合傳感器的人機交互方法。
背景技術(shù)：
當人類不適合出現(xiàn)在機器人現(xiàn)場，在非結(jié)構(gòu)化動態(tài)環(huán)境中利用操作員操縱遠程機器人是十分必要的。為達成目標操作任務(wù)，遙操作使用的機械和其他接觸接口需要不自然的人類動作，它們往往會妨礙人體動作?，F(xiàn)有的基于視覺的人機交換方式要么只用到人手的少數(shù)自由度，要么需要操作者做大幅度運動，操作起來非常費力。這篇發(fā)明提出了一種不接觸的基于多傳感器的機器人遙操作方法，它允許操作者通過自然的人手三維動作控制六自由度虛擬機器人來完成操作任務(wù)。基于多傳感器的人機接口幫助操作者使用人手動作控制機器人和了解機器人動作和周圍環(huán)境。通常使用的遙操作機械式人機接口包括了多種操作員佩戴的裝置，比如骨骼式機械裝置，工具手套，電磁或慣性動作跟蹤傳感器，或者肌電靈敏度傳感器。然而，這些佩戴的裝置，傳感器還有它們的連線可能妨礙操作員靈活的動作。其他接觸式的接口比如仿機器人機械手，轉(zhuǎn)盤，搖桿，電腦鼠標和計算機圖形界面等都需要操作員不自然的動作或者需要操作者學(xué)習(xí)如何操作?；谝曈X的交互技術(shù)使用了手勢識別和語音識別結(jié)合的控制方式，它允許操作者更自然直觀的給出命令而沒有物理裝置上的限制。然而在這種控制下，被控的機器人的動作都是由一些簡單的命令組成，比如確定末端執(zhí)行器的位置和方位，抓取還有一系列更小的任務(wù)如上移下移，旋轉(zhuǎn)，暫停，繼續(xù)還有改變操作的模式。當要求的機器人操作器動作的復(fù)雜度比較高的時候，這個技術(shù)都會難以操作。單攝像頭的手部動作跟蹤已經(jīng)被應(yīng)用在機器人遙操作和遙操作的模擬上。然而，動作命令只局限在真正的末端執(zhí)行器自由度的子集里。此外，那些與特定的操作任務(wù)無關(guān)的手勢被用來改變機器人的操作模式，所以這些都造成了操作任務(wù)的交流不自然。理想地，一種自然的不用將復(fù)雜的任務(wù)分解為有限指令和沒有接觸式物理裝置限制的方法被人們所需要。

發(fā)明內(nèi)容
這個發(fā)明提出了一種基于混合傳感器的人機交互方法，允許操作者通過三維的手部動作來控制機器人。這個方法使用了非接觸式的基于基于混合傳感器的人機接口，它可以通過操作者動作控制機器人還有反饋機器人動作和機器人與周圍環(huán)境物體的交互的情況，具體技術(shù)方案如下。基于混合傳感器的人機交互方法，其包括如下步驟:S1、實時獲取并處理操作員通過手部運動進行機器人操作任務(wù)過程中的RGB圖像和深度圖像，得到操作員的手部位置；S2、使用慣性測量儀測量操作員的手部姿態(tài)，并結(jié)合四元數(shù)算法(FQA)和卡爾曼濾波(KFs)對姿態(tài)數(shù)據(jù)進行估計，從而得到穩(wěn)定的操作員的手部姿態(tài)；S3、根據(jù)上述步驟獲取的操作員手部位姿驅(qū)動機器人。
進一步的，所述步驟SI包括以下步驟:操作員通過手部運動進行機器人操作任務(wù)時，由固定在操作員前面的Kinect捕獲RGB圖像和深度圖像，連續(xù)處理該過程中的RGB圖像和深度圖像實現(xiàn)人手跟蹤和定位；Kinect有三種自動對焦攝像頭:兩個優(yōu)化深度檢測的紅外攝像頭和一個標準的用于視覺識別的視覺光譜攝像頭；從深度圖像中提取人體骨架關(guān)節(jié)點；所提取出來的這十五個關(guān)節(jié)點如

圖1所示，從上到下和從左到右排序為:(1)頭；(2)肩中心；(3)右肩；(4)右手射；(5)右手腕；(6)左肩;(7)左手射；(8)左手腕；(9)散關(guān)節(jié)中心；(10)右散；(11)右膝；(12)右腳；(13)左髖；(14)左膝；(15)左腳；這十五個關(guān)節(jié)點的坐標被稱為Kinect坐標；如圖2所示，操作員右手的位置可定義為右手腕P5的位置，但這樣直接利用P5的位置信息來控制機器人可能導(dǎo)致機器人的位置受操作員身體移動或顫抖的影響；為了解決這個問題，將肩關(guān)節(jié)P3作為參考點并構(gòu)建參考點的右手框架；相對于參考點右)的卩5位置P' 5為:Pi S=P5-P3⑴定義右手相對于右肩的移動范圍為W^h < X < W^11 ,H1rh < V < H'rh ,^rh < 2 < Lrh，
而機器人的移動范圍為<，機器人移動范圍的映射
點為:
權(quán)利要求
1.基于混合傳感器的人機交互方法，其特征在于，包括以下步驟: 51、實時獲取并處理操作員通過手部運動進行機器人操作任務(wù)過程中的RGB圖像和深度圖像，得到操作員的手部位置； 52、使用慣性測量儀測量操作員 的手部姿態(tài)，并結(jié)合四元數(shù)算法和卡爾曼濾波對姿態(tài)數(shù)據(jù)進行估計，從而得到穩(wěn)定的操作員的手部姿態(tài)； 53、根據(jù)上述步驟獲取的操作員手部位姿驅(qū)動機器人。
2.根據(jù)權(quán)利要求1所述的基于混合傳感器的人機交互方法，其特征在于，所述步驟SI包括: 操作員通過手部運動進行機器人操作任務(wù)時，由固定在操作員前面的Kinect捕獲RGB圖像和深度圖像，連續(xù)處理該過程中的RGB圖像和深度圖像實現(xiàn)人手跟蹤和定位；Kinect有三種自動對焦攝像頭:兩個優(yōu)化深度檢測的紅外攝像頭和一個標準的用于視覺識別的視覺光譜攝像頭； 從深度圖像中提取人體骨架關(guān)節(jié)點；所提取出來的這十五個關(guān)節(jié)點從上到下和從左到右排序為:(1)頭；(2)肩中心；(3)右肩；(4)右手射；(5)右手腕；(6)左肩；(7)左手射；(8)左手腕；(9)散關(guān)節(jié)中心；(10)右散；(11)右膝；(12)右腳；(13)左散；(14)左膝；(15)左腳；這十五個關(guān)節(jié)點的坐標被稱為Kinect坐標；操作員右手的位置定義為右手腕P5的位置，將肩關(guān)節(jié)P3作為參考點并構(gòu)建參考點(<，咬,4)的右手框架； 相對于參考點位置P' 5為: Pr S=P5-P3(I) 設(shè)定右手相對于右肩的移動范圍為< λ: < W^h ,H1xh < y < H2rh <z〈 ，而機器人的移動范圍為『^<1<『^,^4 <>、^^,4<二<4，機器人移動范圍的映射點為:
3.根據(jù)權(quán)利要求1所述的基于混合傳感器的人機交互方法，其特征在于，所述步驟S2包括以下步驟: 操作員通過手部運動進行機器人操作任務(wù)時，右手拿著一個慣性測量儀，這個慣性測量儀可以確定操作員右手的滾動、俯仰和偏轉(zhuǎn)姿態(tài)；慣性測量儀由一個三軸加速計，兩個兩軸陀螺儀和一個三軸磁力計組成； 定義三個坐標系:操作員本體坐標系xbybzb，慣性測量儀坐標系xsyszs和地球坐標系XeYeZe ;慣性測量儀坐標系xsyszs對應(yīng)三個正交安裝的加速計和磁力計的軸；由于慣性測量儀被剛性地安裝在機器人末端上，假定操作員本體坐標系xbybzb與慣性測量儀坐標系xsyszs結(jié)合；地球固定坐標系XeJA遵循北-東-下(NED)公約,其中指向北^指向東而指向下；慣性測量儀能測量其自身的滾動、俯仰和偏轉(zhuǎn)姿態(tài)；定義繞\的旋轉(zhuǎn)Φ表示滾動，繞ye軸的旋轉(zhuǎn)θ表示俯仰而繞％軸的旋轉(zhuǎn)V表示偏轉(zhuǎn)；根據(jù)歐拉旋轉(zhuǎn)定理，從歐拉角Φ、θ和Ψ到四元數(shù)q的轉(zhuǎn)換為:
4.根據(jù)權(quán)利要求1所述的基于混合傳感器的人機交互方法，其特征在于，所述步驟S3包括以下步驟: 利用機器人的末端位姿進行反解，然后每個關(guān)節(jié)按反解的角度運動，當全部關(guān)節(jié)運動完畢虛擬機器人的手抓末端就到達指定的位置；這種情況適合于周圍沒有障礙物的情況，虛擬機器人手臂運動不會與周圍環(huán)境障礙物發(fā)生碰撞； 在Denavit-Hartenberg表示法中,Ai表示從坐標系i_l到坐標系i的齊次坐標變換矩陣，則有:
全文摘要
本發(fā)明提供了基于混合傳感器的人機交互方法，包括步驟(1)實時獲取并處理操作員通過手部運動進行機器人操作任務(wù)過程中的RGB圖像和深度圖像，得到操作員的手部位置；(2)使用慣性測量儀測量操作員的手部姿態(tài)，并結(jié)合四元數(shù)算法(FQA)和卡爾曼濾波(KFs)對姿態(tài)數(shù)據(jù)進行估計，從而得到穩(wěn)定的操作員的手部姿態(tài)；(3)根據(jù)上述步驟獲取的操作員手部位姿驅(qū)動機器人。本發(fā)明允許操作者通過三維的手部動作來控制機器人。本發(fā)明允許操作員使用手部和手臂的動作控制機器人而沒有物理裝置的限制，只需要把精力集中在手頭的任務(wù)也不用把任務(wù)都分解為那些有限的指令。
文檔編號B25J19/04GK103112007SQ20131004728
公開日2013年5月22日 申請日期2013年2月6日 優(yōu)先權(quán)日2013年2月6日
發(fā)明者張平, 杜廣龍, 盧曉敏 申請人:華南理工大學(xué)