本發(fā)明涉及人機交互技術(shù)領域，尤其涉及一種基于虛擬現(xiàn)實（virtualreality，vr）的人機交互方法。

背景技術(shù)：

人機交互技術(shù)即為通過人與機器人之間的信息交互，實現(xiàn)人控制機器人執(zhí)行各種動作。在如救援、高危作業(yè)等各領域中需要應用機器人執(zhí)行相應任務，通過人機交互技術(shù)，由操作人員在遠端遙控機器人，獲取機器人的實時動作、周圍環(huán)境信息后，再控制機器人調(diào)整相應執(zhí)行動作，無需操作人員現(xiàn)場進行操作，執(zhí)行效率以及安全性能高。

為實現(xiàn)人機交互，目前通常是直接通過網(wǎng)絡數(shù)據(jù)傳輸機器人的運動信息、實景環(huán)境視頻數(shù)據(jù)等，再直接利用液晶顯示屏等顯示設備將視頻數(shù)據(jù)進行顯示，以使得操作人員能夠獲取到機器人運動、環(huán)境信息。但是直接利用顯示設備顯示機器人環(huán)境信息，操作人員在第三視角下的臨場感不強，且通常機器人所處環(huán)境網(wǎng)絡帶寬有限，直接通過網(wǎng)絡獲取環(huán)境信息給顯示設備顯示時，所需的帶寬大，使得傳回的視頻流經(jīng)常會存在延時和丟包現(xiàn)象，不僅增加操作人員的操作難度，還容易使操作人員疲勞。

雖然通過肌電、腦電、語音等新興的交互設備也可以實現(xiàn)有效的人機交互，完成在特定任務下的機器人動作級、行為級、任務級等控制，但是存在以下問題：

1）均只能特定的適用于基于如肌電、腦電、語音等信息執(zhí)行交互，具有極強的針對性和局限性，不能廣泛適用于多種任務和機器人平臺中；

2）對于實時實景環(huán)境數(shù)據(jù)獲取，仍然是基于完整的實景視頻數(shù)據(jù)傳輸，直接使用顯示設備將視頻數(shù)據(jù)進行顯示，數(shù)據(jù)量大、對網(wǎng)絡傳輸帶寬要求高，且實時性不強。

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題就在于：針對現(xiàn)有技術(shù)存在的技術(shù)問題，本發(fā)明提供一種實現(xiàn)方法簡單、所需通信帶寬小、人機交互效率高以及效果好，且應用靈活的基于虛擬現(xiàn)實的人機交互方法。

為解決上述技術(shù)問題，本發(fā)明提出的技術(shù)方案為：

一種基于虛擬現(xiàn)實的人機交互方法，步驟包括：

1）在被控機器人端，實時采集被控機器人的運動信息、所處環(huán)境的實景環(huán)境數(shù)據(jù)，根據(jù)采集的所述運動信息對被控機器人的位姿進行估計以及根據(jù)采集的所述實景環(huán)境數(shù)據(jù)構(gòu)建對應的三維環(huán)境地圖，實時獲取所述位姿估計結(jié)果以及所述三維環(huán)境地圖實時更新得到的增量數(shù)據(jù)進行發(fā)送；

2）在控制端，通過虛擬現(xiàn)實系統(tǒng)顯示所述三維環(huán)境地圖以及由建立的機器人模型顯示被控機器人的位姿狀態(tài)，并實時接收所述位姿估計結(jié)果、所述增量數(shù)據(jù)，根據(jù)接收到的所述位姿估計結(jié)果、所述增量數(shù)據(jù)分別對機器人模型的位姿狀態(tài)、所述三維環(huán)境地圖進行更新；根據(jù)更新后的位姿狀態(tài)以及三維環(huán)境地圖生成控制指令發(fā)送給被控機器人，以控制被控機器人執(zhí)行所需動作。

作為本發(fā)明的進一步改進，所述步驟1）中具體通過每隔指定周期數(shù)時，將當前周期三維環(huán)境地圖與指定周期數(shù)前三維環(huán)境地圖進行比較，去除當前周期三維環(huán)境地圖中，與指定周期數(shù)前三維環(huán)境地圖相似度在指定范圍內(nèi)的數(shù)據(jù)，得到所述增量數(shù)據(jù)。

作為本發(fā)明的進一步改進：所述步驟1）中具體采用一個線程對被控機器人的位姿進行估計，并實時獲取所述位姿估計結(jié)果進行發(fā)送，由另一個線程構(gòu)建三維環(huán)境地圖，并實時獲取所述三維環(huán)境地圖實時更新得到的增量數(shù)據(jù)進行發(fā)送。

作為本發(fā)明的進一步改進：所述實現(xiàn)對被控機器人的位姿進行估計，并實時獲取所述位姿估計結(jié)果進行發(fā)送，以及所述構(gòu)建三維環(huán)境地圖，并實時獲取所述三維環(huán)境地圖實時更新得到的增量數(shù)據(jù)進行發(fā)送，具體采用loam算法的雙線程分別執(zhí)行。

作為本發(fā)明的進一步改進：所述步驟1）中具體基于搭載在被控機器人上的三維距離傳感器和imu，實時采集被控機器人的運動信息、所處環(huán)境的實景環(huán)境數(shù)據(jù)。

作為本發(fā)明的進一步改進，所述步驟2）中虛擬現(xiàn)實系統(tǒng)顯示所述三維環(huán)境地圖以及被控機器人的位姿狀態(tài)的具體步驟為：

2.1）預先構(gòu)建機器人模型，并在虛擬現(xiàn)實系統(tǒng)中進行可視化渲染；

2.2）獲取所述機器人模型的位姿狀態(tài)、所述三維環(huán)境地圖的初始數(shù)據(jù)，根據(jù)獲取的所述初始數(shù)據(jù)在虛擬現(xiàn)實系統(tǒng)中構(gòu)建機器人模型的初始位姿狀態(tài)、初始三維環(huán)境地圖；

2.3）所述虛擬現(xiàn)實系統(tǒng)實時接收被控機器人端發(fā)送的所述位姿估計結(jié)果、所述增量數(shù)據(jù)，由接收到的所述位姿估計結(jié)果對機器人模型的位姿狀態(tài)進行可視化渲染，以更新被控機器人的位姿狀態(tài)，以及將所述增量數(shù)據(jù)在當前三維環(huán)境地圖中進行可視化渲染，以更新三維環(huán)境地圖。

作為本發(fā)明的進一步改進：所述步驟1）中進行發(fā)送時，將待發(fā)送數(shù)據(jù)進行json格式編碼，將編碼后的數(shù)據(jù)進行發(fā)送；所述步驟2）中接收到被控機器人端發(fā)送的數(shù)據(jù)時，按照json格式進行解碼后，得到傳輸?shù)乃鑫蛔斯烙嫿Y(jié)果、所述增量數(shù)據(jù)。

作為本發(fā)明的進一步改進：所述被控機器人端與所述控制端具體使用udp通信方式進行數(shù)據(jù)傳輸。

與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點在于：

1）本發(fā)明基于虛擬現(xiàn)實的人機交互方法，通過實時采集機器人運動信息和實景環(huán)境信息，分別估計機器人位姿和構(gòu)建三維環(huán)境地圖，然后將機器人位姿、三維環(huán)境地圖更新的增量數(shù)據(jù)傳輸至控制端，將位姿、地圖增量數(shù)據(jù)在虛擬現(xiàn)實系統(tǒng)中進行可視化渲染，實現(xiàn)機器人位姿以及三維環(huán)境地圖實時更新，使操作人員能夠在第一視角下獲取到機器人的運動狀態(tài)、所處三維環(huán)境，從而基于虛擬現(xiàn)實系統(tǒng)對機器人進行遠程控制，實現(xiàn)人與機器人的高級交互，同時三維環(huán)境地圖更新時僅實時傳輸三維環(huán)境地圖實時更新的增量數(shù)據(jù)，傳輸?shù)臄?shù)據(jù)量小，能夠有效降低所需網(wǎng)絡帶寬，提高人機交互的實時性；

2）本發(fā)明基于虛擬現(xiàn)實的人機交互方法，構(gòu)建得到三維環(huán)境地圖后，采用增量式的地圖傳輸方式，每次向控制端發(fā)送地圖數(shù)據(jù)時，僅發(fā)送新產(chǎn)生的三維環(huán)境地圖的增量數(shù)據(jù)以進行地圖可視化渲染，相比于傳統(tǒng)的需要傳輸整個環(huán)境視頻數(shù)據(jù)，數(shù)據(jù)傳輸量非常小，從而有效降低人機交互時所需網(wǎng)絡帶寬需求；

3）本發(fā)明基于虛擬現(xiàn)實的人機交互方法，進一步采用雙線程分別對被控機器人的位姿進行估計及數(shù)據(jù)傳輸、構(gòu)建對應的三維環(huán)境地圖及數(shù)據(jù)傳輸，由兩個線程分別處理機器人位姿、三維環(huán)境地圖，避免位姿更新頻率高、地圖數(shù)據(jù)量大而使得機器人位姿更新滯后等問題，保證人機交互的實時性。

附圖說明

圖1是本實施例基于虛擬現(xiàn)實的人機交互方法的實現(xiàn)流程示意圖。

圖2是本實施例基于虛擬現(xiàn)實的人機交互方法的詳細實現(xiàn)原理示意圖。

圖3是本實施例獲取增量式地圖的具體實現(xiàn)原理示意圖。

圖4是本實施例步驟2）的詳細步驟實現(xiàn)流程示意圖。

具體實施方式

以下結(jié)合說明書附圖和具體優(yōu)選的實施例對本發(fā)明作進一步描述，但并不因此而限制本發(fā)明的保護范圍。

如圖1、2所示，本實施例基于虛擬現(xiàn)實的人機交互方法步驟包括：

1）在被控機器人端，實時采集被控機器人的運動信息、所處環(huán)境的實景環(huán)境數(shù)據(jù)，根據(jù)采集的運動信息對被控機器人的位姿進行估計以及根據(jù)采集的實景環(huán)境數(shù)據(jù)構(gòu)建對應的三維環(huán)境地圖，實時獲取位姿估計結(jié)果以及三維環(huán)境地圖實時更新得到的增量數(shù)據(jù)進行發(fā)送；

2）在控制端，通過虛擬現(xiàn)實系統(tǒng)顯示三維環(huán)境地圖以及由建立的機器人模型顯示被控機器人的位姿狀態(tài)，并實時接收位姿估計結(jié)果、增量數(shù)據(jù)，根據(jù)接收到的位姿估計結(jié)果、增量數(shù)據(jù)分別對機器人模型的位姿狀態(tài)、三維環(huán)境地圖進行更新；根據(jù)更新后的位姿狀態(tài)以及三維環(huán)境地圖生成控制指令后發(fā)送給被控機器人，以控制被控機器人執(zhí)行所需動作。

本實施例通過采集機器人周圍環(huán)境和運動信息，分別估計機器人位姿和構(gòu)建三維環(huán)境地圖，然后將機器人位姿和三維環(huán)境地圖更新的增量數(shù)據(jù)傳輸至控制端，進一步在虛擬現(xiàn)實系統(tǒng)中進行可視化渲染，實現(xiàn)機器人位姿以及三維環(huán)境地圖實時更新，使操作人員能夠在第一視角下獲取到機器人的運動狀態(tài)、所處三維環(huán)境，基于虛擬現(xiàn)實系統(tǒng)對機器人進行控制，實現(xiàn)人與機器人的高級交互，同時三維環(huán)境地圖更新時僅實時傳輸三維環(huán)境地圖實時更新的增量數(shù)據(jù)，傳輸?shù)臄?shù)據(jù)量小，能夠有效降低所需網(wǎng)絡帶寬，提高人機交互的實時性。

本實施例中，步驟1）中具體基于搭載在被控機器人上的三維距離傳感器和imu，實時采集被控機器人的運動信息、所處環(huán)境的實景環(huán)境數(shù)據(jù)，三維距離傳感器可采用三維激光雷達、單線激光雷達和電機組合、kinect等，三維距離傳感器可獲取空間的深度信息，由三維距離傳感器結(jié)合慣性測量單元進行實景環(huán)境數(shù)據(jù)采集，能夠獲取完整的環(huán)境數(shù)據(jù)，從而準確的反映機器人所處的環(huán)境信息。

由于網(wǎng)絡通信帶寬有限，同時考慮虛擬現(xiàn)實系統(tǒng)中渲染效果的限制，本實施例構(gòu)建得到三維環(huán)境地圖后，采用增量式的地圖傳輸方式，每次向控制端發(fā)送地圖數(shù)據(jù)時，僅發(fā)送新產(chǎn)生的三維環(huán)境地圖的增量數(shù)據(jù)以進行地圖可視化渲染，相比于傳統(tǒng)的需要傳輸整個環(huán)境視頻數(shù)據(jù)，數(shù)據(jù)傳輸量非常小，從而能夠有效降低人機交互時所需網(wǎng)絡帶寬需求。

本實施例中，獲取增量地圖數(shù)據(jù)的具體步驟為：每隔指定周期數(shù)時，通過將當前周期三維環(huán)境地圖與指定周期數(shù)前三維環(huán)境地圖進行比較，去除當前周期三維環(huán)境地圖中，與指定周期數(shù)前三維環(huán)境地圖相似度在指定范圍內(nèi)的數(shù)據(jù)，得到增量數(shù)據(jù)，構(gòu)成增量式地圖。

如圖3所示，在具體應用實施例中，假設激光雷達和imu的工作周期為k，獲取增量地圖數(shù)據(jù)時，將第k周期獲取的新點云地圖（三維環(huán)境地圖）與第k-1周期之前構(gòu)建的所有點云地圖（三維環(huán)境地圖）作對比，再濾除第k周期產(chǎn)生的新點云地圖中與第k-n周期之前所有點云地圖在空間上相近的點，得到增量式點云地圖，其中n為設定的間隔周期數(shù)，n以及相似點判定的閾值均根據(jù)實際需求設置。相似點判定的閾值具體可設定為0.01m，考慮到機器人平臺運行速度，n可設定為5，即采用新產(chǎn)生5幀地圖做一次增量式計算，以獲取三維環(huán)境地圖更新的增量數(shù)據(jù)，使得交互實現(xiàn)效率及精度更高。

由于在虛擬現(xiàn)實系統(tǒng)中執(zhí)行人機交互時，相比于地圖更新，機器人位姿的更新頻率要求較高，且地圖數(shù)據(jù)量遠遠大于機器人位姿數(shù)據(jù)量，若機器人位姿估計及位姿數(shù)據(jù)發(fā)送、三維環(huán)境地圖構(gòu)建及發(fā)送采用同一線程，則會導致機器人位姿更新嚴重滯后。本實施例步驟1）中具體采用雙線程分別對被控機器人的位姿進行估計及數(shù)據(jù)傳輸、構(gòu)建對應的三維環(huán)境地圖及數(shù)據(jù)傳輸，即由一個線程估計機器人位姿，并發(fā)送位姿估計結(jié)果給控制端，由另一個線程構(gòu)建三維環(huán)境地圖，并發(fā)送三維環(huán)境地圖更新的增量數(shù)據(jù)給控制端，兩個線程相互獨立執(zhí)行，避免機器人位姿更新滯后，保證人機交互的實時性。

如圖2所示，在具體應用實施例中，實現(xiàn)對被控機器人的位姿進行估計，并實時獲取所述位姿估計結(jié)果進行發(fā)送，以及構(gòu)建三維環(huán)境地圖，并實時獲取三維環(huán)境地圖實時更新得到的增量數(shù)據(jù)進行發(fā)送，具體采用loam算法（low_driftandreal-timelidarodometryandmapping）的雙線程分別執(zhí)行。loam算法為異頻雙線程icp算法，loam算法使用一個獨立線程獲取實時采集到的機器人的運動信息進行位姿估計，將位姿估計結(jié)果通過網(wǎng)絡傳輸至控制端，使用另一個獨立線程獲取實時采集到的實景環(huán)境數(shù)據(jù)，構(gòu)建對應的三維環(huán)境地圖后，每隔指定周期數(shù)時計算三維環(huán)境地圖的增量數(shù)據(jù)，得到增量式地圖，將增量式地圖通過網(wǎng)絡傳輸發(fā)送給控制端，基于loam算法能夠進一步提高位姿估計、三維環(huán)境地圖構(gòu)建的精度及實時性。

如圖4所示，本實施例步驟2）中虛擬現(xiàn)實系統(tǒng)顯示三維環(huán)境地圖以及被控機器人的位姿狀態(tài)的具體步驟為：

2.1）預先構(gòu)建機器人模型，并在虛擬現(xiàn)實系統(tǒng)中進行可視化渲染；

2.2）獲取機器人模型的位姿狀態(tài)、三維環(huán)境地圖的初始數(shù)據(jù)，根據(jù)獲取的初始數(shù)據(jù)在虛擬現(xiàn)實系統(tǒng)中構(gòu)建機器人模型的初始位姿狀態(tài)、初始三維環(huán)境地圖；

2.3）虛擬現(xiàn)實系統(tǒng)實時接收被控機器人端發(fā)送的位姿估計結(jié)果、增量數(shù)據(jù)，由接收到的位姿估計結(jié)果對機器人模型的位姿狀態(tài)進行可視化渲染，以更新被控機器人的位姿狀態(tài)，以及將獲取的增量數(shù)據(jù)在當前三維環(huán)境地圖中增加進行可視化渲染，以更新三維環(huán)境地圖。

在具體應用實施例中，首先采用建模軟件（如3dsmax）構(gòu)建機器人模型以表示被控機器人，使操作人員可以在虛擬現(xiàn)實系統(tǒng)中識別該模型，并可獲取機器人位姿的狀態(tài)；當控制端接收到被控機器人端發(fā)送的位姿估計結(jié)果數(shù)據(jù)，則對位姿估計結(jié)果數(shù)據(jù)在機器人模型中進行可視化渲染，以實時更新模型中機器人的位姿狀態(tài)，以及接收到被控機器人端發(fā)送的三維環(huán)境地圖的增量數(shù)據(jù)后，對增量數(shù)據(jù)在當前三維環(huán)境地圖中進行可視化渲染，以實時更新模型中三維地圖環(huán)境，其中更新頻率可設置為不低于24hz，通過虛擬現(xiàn)實系統(tǒng)可直接觀測到機器人的實時位姿狀態(tài)以及周圍實景環(huán)境狀態(tài)。

本實施例中，步驟1）中進行發(fā)送時，將待發(fā)送數(shù)據(jù)進行json格式編碼，將編碼后的數(shù)據(jù)進行發(fā)送；步驟2）中接收到被控機器人端發(fā)送的數(shù)據(jù)時，按照json格式進行解碼后，得到傳輸?shù)奈蛔斯烙嫿Y(jié)果、增量數(shù)據(jù)，基于json的數(shù)據(jù)編碼格式可靈活適用于多平臺的網(wǎng)絡數(shù)據(jù)傳輸。被控機器人端與控制端具體使用udp通信方式進行數(shù)據(jù)傳輸，也可以根據(jù)實際需求采用其他通信方式。

在虛擬現(xiàn)實系統(tǒng)中渲染地圖和機器人位姿后，結(jié)合更新后的三維環(huán)境地圖以及機器人的位姿狀態(tài)對機器人當前所處情況做出判斷，生成控制指令以控制機器人執(zhí)行下一步的動作序列或任務，其中控制端發(fā)送控制指令可與機器人位姿數(shù)據(jù)傳輸采用同一線程，也可采用新的線程發(fā)送控制指令。在具體實施例中，操作人員可采用虛擬現(xiàn)實手柄、頭顯設備或手柄衍生的射線等為機器人下達運動指令或任務指令，操作人員下達的運動指令或任務指令通過網(wǎng)絡通信傳輸至機器人；當機器人接收到控制指令后，解析并執(zhí)行該控制指令，由此完成人與機器人之間基于虛擬現(xiàn)實系統(tǒng)的人機交互過程。

本發(fā)明上述人機交互方法，可適用于多種機器人平臺以執(zhí)行多種任務，包括與飛行器、地面移動機器人、水下機器人等各種移動機器人，實現(xiàn)指定動作控制的動作級、包括多種動作控制的行為級和包含多種行為控制的任務級等多種任務交互。

上述只是本發(fā)明的較佳實施例，并非對本發(fā)明作任何形式上的限制。雖然本發(fā)明已以較佳實施例揭露如上，然而并非用以限定本發(fā)明。因此，凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容，依據(jù)本發(fā)明技術(shù)實質(zhì)對以上實施例所做的任何簡單修改、等同變化及修飾，均應落在本發(fā)明技術(shù)方案保護的范圍內(nèi)。