本發(fā)明屬于虛擬現(xiàn)實(shí)領(lǐng)域，尤其涉及虛擬仿真飛機(jī)座艙領(lǐng)域，是一種帶有力/觸覺反饋的虛擬現(xiàn)實(shí)飛機(jī)座艙系統(tǒng)。

背景技術(shù)：

飛行模擬器是對飛行員進(jìn)行訓(xùn)練的主要工具，可縮短訓(xùn)練周期，降低訓(xùn)練成本，提高訓(xùn)練安全性。因此，對飛行模擬器的研究具有重要意義。

傳統(tǒng)的全任務(wù)飛行模擬器采用大屏幕投影和1：1實(shí)物座艙，艙內(nèi)設(shè)備(如控制面板、操縱機(jī)構(gòu)等)均采用與真實(shí)座艙尺寸、外形一致的實(shí)物，飛行員可直接對其進(jìn)行操控。此類飛行模擬器功能強(qiáng)大，逼真度高，但體積龐大、結(jié)構(gòu)復(fù)雜，且不同型號的飛機(jī)需配備不同的模擬器。

虛擬現(xiàn)實(shí)飛機(jī)座艙以虛擬現(xiàn)實(shí)技術(shù)作為人機(jī)交互方式，用頭盔顯示器和運(yùn)動跟蹤設(shè)備取代了常規(guī)飛行模擬器的實(shí)物座艙及操縱機(jī)構(gòu)，大大減小了占地面積，精簡了結(jié)構(gòu)，且在結(jié)構(gòu)以及功能上具有較強(qiáng)的柔性。但同時也犧牲了力/觸覺交互，不能獲得較好的沉浸感和交互性。

南京航空航天大學(xué)研發(fā)的半虛擬現(xiàn)實(shí)座艙方案是按照“眼見為虛，手摸為實(shí)”原則構(gòu)建的模擬座艙，取消艙內(nèi)用于顯示的部件實(shí)物，采用頭盔顯示器作為立體顯示設(shè)備，但可觸摸操作的部分均保持1：1的實(shí)物，為用戶提供力/觸覺反饋。該方案仍存在體積較大、靈活性不佳的問題，沒有突出虛擬現(xiàn)實(shí)飛機(jī)座艙的優(yōu)勢。

美國國防部下屬的stricom主持研發(fā)的基于topit(touchedobjectspositionedintime)技術(shù)的虛擬座艙系統(tǒng)，其中力/觸覺反饋由topit技術(shù)實(shí)現(xiàn)。該方案是在用戶面前設(shè)置一個機(jī)械系統(tǒng)，上面裝有不同類型的控件(如按鈕、旋鈕、撥鈕)，每一個控件可代表虛擬座艙中所有同類型的控件。在用戶進(jìn)行操作時，通過伺服系統(tǒng)將相應(yīng)的控件送至用戶操作的目標(biāo)位置，提供力/觸覺反饋。該方案可簡化控制面板和操縱機(jī)構(gòu)，且可通過改變軟件模擬不同的種類的控制面板，但該機(jī)械系統(tǒng)體積仍較大，且控件的運(yùn)動范圍是一個平面，無法實(shí)現(xiàn)三維空間中的交互。

技術(shù)實(shí)現(xiàn)要素：

針對現(xiàn)有技術(shù)的不足，本發(fā)明提出一種帶有力/觸覺反饋的虛擬現(xiàn)實(shí)飛機(jī)座艙系統(tǒng)，保持虛擬現(xiàn)實(shí)飛機(jī)座艙輕便、靈活性強(qiáng)的優(yōu)點(diǎn)，同時獲得較好的力/觸覺體驗(yàn)。

本發(fā)明帶有力/觸覺反饋的虛擬現(xiàn)實(shí)飛機(jī)座艙系統(tǒng)，為計(jì)算機(jī)、虛擬現(xiàn)實(shí)接口設(shè)備和人構(gòu)成的三層人機(jī)閉環(huán)系統(tǒng)。

計(jì)算機(jī)采用基于網(wǎng)絡(luò)的分布式結(jié)構(gòu)，采用兩臺，分別為綜合控制計(jì)算機(jī)與圖像渲染計(jì)算機(jī)。綜合控制計(jì)算機(jī)負(fù)責(zé)運(yùn)動數(shù)據(jù)的處理、力/觸覺反饋機(jī)構(gòu)控制、飛行動力學(xué)解算和系統(tǒng)的通信與同步；圖像渲染計(jì)算機(jī)用于虛擬場景的計(jì)算與渲染。

虛擬現(xiàn)實(shí)接口設(shè)備用于實(shí)現(xiàn)虛擬環(huán)境與人的連接，包括頭盔顯示器、運(yùn)動跟蹤傳感器與力/觸覺反饋系統(tǒng)。運(yùn)動跟蹤傳感器包括頭部運(yùn)動跟蹤傳感器和手部運(yùn)動跟蹤傳感器，采集用戶的運(yùn)動數(shù)據(jù)，送入計(jì)算機(jī)進(jìn)行處理；頭盔顯示器將計(jì)算機(jī)生成的虛擬場景進(jìn)行三維輸出，為用戶提供視覺反饋；力/觸覺反饋系統(tǒng)包括機(jī)械臂、滑軌和控制器，機(jī)械臂底座安裝在滑軌上，末端執(zhí)行器帶有一個裝有不同類型控件的簡化的控制面板，用于給用戶提供力/觸覺反饋。

虛擬座艙系統(tǒng)是人機(jī)閉環(huán)系統(tǒng)。人的頭部、手部運(yùn)動數(shù)據(jù)由運(yùn)動跟蹤傳感器采集，送入綜合控制計(jì)算機(jī)，計(jì)算出頭部、手部的位置和姿態(tài)，并將數(shù)據(jù)送入圖像渲染計(jì)算機(jī)。圖像渲染計(jì)算機(jī)根據(jù)頭部位姿數(shù)據(jù)進(jìn)行視點(diǎn)變換，更新虛擬場景，并根據(jù)手部位姿數(shù)據(jù)更新虛擬場景中的虛擬手部圖像。同時，綜合控制計(jì)算機(jī)根據(jù)手部位姿數(shù)據(jù)進(jìn)行實(shí)時手部軌跡預(yù)測，并對力/觸覺反饋機(jī)構(gòu)進(jìn)行軌跡規(guī)劃和軌跡生成，控制其運(yùn)動。當(dāng)用戶有交互操作時，用戶可在頭盔顯示器中看到虛擬環(huán)境中虛擬手對控制面板的操作；與此同時，力/觸覺反饋系統(tǒng)帶動機(jī)械臂末端的控制面板將對應(yīng)的控件移動到用戶操作的目標(biāo)位置，提供與視覺相配合的力/觸覺反饋。用戶的操縱信號送入飛行動力學(xué)模型解算飛機(jī)運(yùn)動參數(shù)，并送入圖像渲染計(jì)算機(jī)，更新座艙外視景。圖像渲染計(jì)算機(jī)計(jì)算生成的圖像通過頭盔顯示器輸出，為用戶提供視覺反饋。

本發(fā)明的優(yōu)點(diǎn)在于：

1、本發(fā)明帶有力/觸覺反饋的虛擬現(xiàn)實(shí)飛機(jī)座艙系統(tǒng)，用虛擬現(xiàn)實(shí)設(shè)備取代了傳統(tǒng)的實(shí)物座艙，降低了成本，且取得較強(qiáng)的柔性，不改變硬件結(jié)構(gòu)，只需改變軟件即可對不同機(jī)型或不同飛行任務(wù)進(jìn)行仿真。

2、本發(fā)明帶有力/觸覺反饋的虛擬現(xiàn)實(shí)飛機(jī)座艙系統(tǒng)，采用基于機(jī)械臂的力/觸覺反饋系統(tǒng)，提供真實(shí)的力/觸覺交互，提高了交互性和沉浸感，同時保持了虛擬現(xiàn)實(shí)飛機(jī)座艙輕便、靈活性強(qiáng)的優(yōu)點(diǎn)。

3、本發(fā)明帶有力/觸覺反饋的虛擬現(xiàn)實(shí)飛機(jī)座艙系統(tǒng)，采用基于網(wǎng)絡(luò)的分布式結(jié)構(gòu)，可降低對硬件的性能要求。

附圖說明

圖1為本發(fā)明帶有力/觸覺反饋的虛擬現(xiàn)實(shí)飛機(jī)座艙系統(tǒng)整體三層結(jié)構(gòu)示意圖；

圖2為本發(fā)明帶有力/觸覺反饋的虛擬現(xiàn)實(shí)飛機(jī)座艙系統(tǒng)應(yīng)用流程圖；

圖3為本發(fā)明帶有力/觸覺反饋的虛擬現(xiàn)實(shí)飛機(jī)座艙系統(tǒng)中力/觸覺反饋機(jī)構(gòu)結(jié)構(gòu)示意圖。

圖中：

1-計(jì)算機(jī)2-虛擬現(xiàn)實(shí)接口設(shè)備3-人

201-頭盔顯示器202-頭部運(yùn)動跟蹤傳感器203-手部運(yùn)動跟蹤傳感器

204-機(jī)械臂205-滑軌206-控制器

207-控制面板

具體實(shí)施方式

下面結(jié)合附圖對發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說明：

本發(fā)明帶有力/觸覺反饋的虛擬現(xiàn)實(shí)飛機(jī)座艙系統(tǒng)，是由計(jì)算機(jī)1、虛擬現(xiàn)實(shí)接口設(shè)備2和人3構(gòu)成的三層人機(jī)閉環(huán)系統(tǒng)，如圖1所示。

所述計(jì)算機(jī)1采用基于網(wǎng)絡(luò)的分布式結(jié)構(gòu)，每臺計(jì)算機(jī)作為一個計(jì)算節(jié)點(diǎn)。本發(fā)明中計(jì)算機(jī)采用兩臺，分別為綜合控制計(jì)算機(jī)pc1與圖像渲染計(jì)算機(jī)pc2；其中，綜合控制計(jì)算機(jī)pc1負(fù)責(zé)運(yùn)動數(shù)據(jù)的處理、力/觸覺反饋機(jī)構(gòu)控制、飛行動力學(xué)解算和系統(tǒng)的通信與同步；圖像渲染計(jì)算機(jī)pc2用于虛擬場景的計(jì)算與渲染，虛擬場景包括座艙內(nèi)部場景，艙外視景及虛擬手部。綜合控制計(jì)算機(jī)pc1與圖像渲染計(jì)算機(jī)pc2之間由網(wǎng)線連接，通過ethernet協(xié)議通信，進(jìn)行數(shù)據(jù)交換和計(jì)算同步。

所述虛擬現(xiàn)實(shí)接口設(shè)備2用于實(shí)現(xiàn)虛擬場景與人的連接，采集用戶的運(yùn)動信息，送入計(jì)算機(jī)1進(jìn)行處理后再反饋給用戶，為用戶提供視覺和力/觸覺反饋。本發(fā)明中虛擬現(xiàn)實(shí)接口設(shè)備2包括頭盔顯示器201、運(yùn)動跟蹤傳感器與力/觸覺反饋機(jī)構(gòu)。

其中，頭盔顯示器201與圖像渲染計(jì)算機(jī)pc2相連，通過hdmi接口進(jìn)行圖像傳輸，將圖像渲染計(jì)算機(jī)pc2生成的虛擬場景進(jìn)行三維輸出至用戶；用戶佩戴頭盔顯示器201，即可獲取視覺反饋。

運(yùn)動跟蹤傳感器包括頭部運(yùn)動跟蹤傳感器202與手部運(yùn)動跟蹤傳感器203，兩者均與綜合控制計(jì)算機(jī)pc1相連。頭部運(yùn)動跟蹤傳感器包括陀螺儀和視頻跟蹤設(shè)備，實(shí)現(xiàn)用戶頭部姿態(tài)和位置數(shù)據(jù)的獲??；其中，陀螺儀安裝于用戶頭部，獲取用戶頭部姿態(tài)數(shù)據(jù)；視頻跟蹤設(shè)備設(shè)置于用戶頭部前方，獲取用戶頭部位置數(shù)據(jù)。手部運(yùn)動跟蹤傳感器采用用戶手部佩戴的數(shù)據(jù)手套或設(shè)置于用戶前方的視頻跟蹤設(shè)備，實(shí)現(xiàn)用戶手部運(yùn)動數(shù)據(jù)采集，包括手掌的位置和方向數(shù)據(jù)，以及每個手指關(guān)節(jié)的角度數(shù)據(jù)等。

力/觸覺反饋機(jī)構(gòu)包括機(jī)械臂204、滑軌205與控制器206。其中，機(jī)械臂的末端執(zhí)行器上安裝有控制面板207，控制面板207上設(shè)計(jì)有不同種類的控件，為用戶提供真實(shí)的觸感。如圖2所示，上述機(jī)械臂204底座安裝于滑軌205上，滑軌205采用單自由度滑軌，可為機(jī)械臂204增加一個方向的自由度，擴(kuò)大其可達(dá)工作空間?？刂破?06用于實(shí)現(xiàn)對機(jī)械臂204的控制，采用單片機(jī)，與綜合控制計(jì)算機(jī)pc1連接，獲取綜合控制計(jì)算機(jī)pc1發(fā)送的控制指令，驅(qū)動機(jī)械臂204及滑軌205的電機(jī)運(yùn)動，并將運(yùn)動信息反饋給綜合控制計(jì)算機(jī)pc1。將力/觸覺反饋機(jī)構(gòu)置于用戶面前，選擇合適的距離，確保機(jī)械臂204的工作空間與用戶手部的運(yùn)動范圍產(chǎn)生交集，以實(shí)現(xiàn)與手部的交互。

本發(fā)明帶有力/觸覺反饋的虛擬現(xiàn)實(shí)飛機(jī)座艙系統(tǒng)，在應(yīng)用時，如圖2所示，流程如下：

(1)用戶佩戴頭盔顯示器201，看到虛擬場景；同時，頭部運(yùn)動傳感器202與手部運(yùn)動傳感器203實(shí)時采集用戶頭部與手部的運(yùn)動數(shù)據(jù)。

(2)將頭部運(yùn)動數(shù)據(jù)送入綜合控制計(jì)算機(jī)pc1，由綜合控制計(jì)算機(jī)pc1計(jì)算頭部的位置和姿態(tài)，將數(shù)據(jù)傳輸給圖像渲染計(jì)算機(jī)pc2，由圖像渲染計(jì)算機(jī)pc2根據(jù)頭部位置與姿態(tài)數(shù)據(jù)進(jìn)行視點(diǎn)變換，更新虛擬場景。

(3)將手部運(yùn)動數(shù)據(jù)送入綜合控制計(jì)算機(jī)pc1，由綜合控制計(jì)算機(jī)pc1計(jì)算手部的位置和姿態(tài)，并將數(shù)據(jù)傳輸給圖像渲染計(jì)算機(jī)pc2，由圖像渲染計(jì)算機(jī)pc2根據(jù)手部的位姿更新虛擬場景中虛擬手部圖像。根據(jù)手掌位置和方向數(shù)據(jù)更新虛擬手部在虛擬場景中的位置和方向；根據(jù)手指關(guān)節(jié)角度信息對虛擬手部進(jìn)行變形，更新手勢。同時，綜合控制計(jì)算機(jī)pc1根據(jù)手部當(dāng)前位置和以前的運(yùn)動軌跡，對手部未來的運(yùn)動軌跡進(jìn)行實(shí)時預(yù)測，預(yù)測手部與力/觸覺反饋機(jī)構(gòu)的交互點(diǎn)的空間位置p和手部到達(dá)該點(diǎn)p的時間t，對力/觸覺反饋機(jī)構(gòu)進(jìn)行軌跡規(guī)劃和軌跡生成，并將控制指令發(fā)送給力/觸覺反饋機(jī)構(gòu)的控制器206，由控制器206驅(qū)動機(jī)械臂204及滑軌205運(yùn)動，使末端執(zhí)行器上的控制面板207上相應(yīng)的控件可以在時間t到達(dá)交互點(diǎn)p，以此為用戶提供力/觸覺反饋。

(4)當(dāng)用戶對控制面板進(jìn)行操作時，用戶可在頭盔顯示器201中看到虛擬場景中虛擬手部對虛擬控制面板的操作，同時力/觸覺反饋機(jī)構(gòu)將末端執(zhí)行器上的控制面板207中相應(yīng)的控件送至用戶操作的目標(biāo)位置，為用戶提供與視覺相配合的力/觸覺反饋。根據(jù)檢測到的手部位置和機(jī)械臂204位置對二者進(jìn)行接觸檢測，并判斷用戶的操作類型，將用戶的操縱信號送入綜合控制計(jì)算機(jī)pc1，進(jìn)行飛行動力學(xué)解算，計(jì)算飛機(jī)運(yùn)動參數(shù)，并送入圖像渲染計(jì)算機(jī)pc2，進(jìn)行位姿、視點(diǎn)變換，更新虛擬場景中座艙外視景。