本發(fā)明涉及飛行模擬訓(xùn)練設(shè)施技術(shù)領(lǐng)域，尤其涉及一種具有混合現(xiàn)實功能的模擬飛行座艙系統(tǒng)及其處理方法。

背景技術(shù)：

虛擬現(xiàn)實是多種技術(shù)的綜合，包括實時三維計算機圖形技術(shù)，廣角(寬視野)立體顯示技術(shù)，對觀察者頭、眼和手的跟蹤技術(shù)，以及觸覺/力覺反饋、立體聲、網(wǎng)絡(luò)傳輸、語音輸入輸出技術(shù)等。隨著虛擬現(xiàn)實的顯示技術(shù)和模式識別的技術(shù)發(fā)展，體驗者可以將現(xiàn)實世界的實際環(huán)境視覺和聽覺由立體攝像頭導(dǎo)入到數(shù)字世界中，并通過立體的頭戴顯示器讓人的視覺神經(jīng)產(chǎn)生出虛擬現(xiàn)實的數(shù)字世界。近些年來，虛擬現(xiàn)實技術(shù)已經(jīng)廣泛應(yīng)用在飛行員的飛行模擬訓(xùn)練中，很好地降低訓(xùn)練成本，保證訓(xùn)練效果，且能減少飛行學(xué)員等受訓(xùn)人員的駕機培訓(xùn)時間。

公開號為CN101034503A的專利申請文件公開了一種輕型飛行模擬器，包括座艙系統(tǒng)和虛擬現(xiàn)實頭盔，其中虛擬現(xiàn)實頭盔作為視景設(shè)備，座艙內(nèi)取消了儀表盤等所有顯示部件的實物，所有可觸摸操作的部分與艙內(nèi)外的視景均通過計算機生成，然后通過虛擬現(xiàn)實頭盔進行顯示，計算機生成的圖像包括座艙儀表板、開關(guān)、飛行員手部動作等，的座艙內(nèi)取消了儀表盤等所有顯示部件的實物，使得座艙系統(tǒng)的重量更輕，結(jié)構(gòu)更為簡單。

但是，在飛行模擬訓(xùn)練中，座艙系統(tǒng)中儀表、操作設(shè)備和綜合顯示系統(tǒng)的真實模擬對提升飛行員訓(xùn)練過程中的真實感和現(xiàn)場感顯得尤為重要。不管是上述專利還是目前技術(shù)的發(fā)展，都沒有把座艙內(nèi)視景和虛擬現(xiàn)實信息結(jié)合起來，不能在立體的視覺體驗中，精確無差別地融合艙內(nèi)視景和虛擬現(xiàn)實信息，從而嚴重影響使用體驗，阻礙技術(shù)廣泛地應(yīng)用。目前的問題主要體現(xiàn)在：

(1)無法實時并同時立體觀測和操作現(xiàn)實環(huán)境和虛擬數(shù)字空間，攝 像模塊捕捉的真實視景信息在與虛擬現(xiàn)實信息結(jié)合之前需要通過計算機進行大量的后期處理,有些后期處理工作甚至需要人工參與，從而造成一定的時間延遲，顯示的畫面和受訓(xùn)者的操作有偏差與延遲，影響訓(xùn)練效果；

(2)處理后的最終顯示效果不夠逼真，攝像模塊捕捉的真實視景信息需經(jīng)過計算機與人工進行后期處理，由于處理時間較短與技術(shù)問題，會導(dǎo)致最終圖像的合成邊沿毛刺噪聲嚴重,嚴重影響圖像的顯示質(zhì)量；

(3)受訓(xùn)者獲取最終顯示效果時，由于距離、拍攝景深等原因，雖然能判斷物體的景深,但無法保證其與真實的距離、高度感相一致，影響參訓(xùn)者的正常操作，甚至?xí)a(chǎn)生不安全和不舒適的體驗。

因此，如何發(fā)明一種具有逼真的顯示效果與較低的延遲時間的模擬飛行座艙系統(tǒng)及處理方法是本領(lǐng)域技術(shù)人員有待解決的技術(shù)難題。

技術(shù)實現(xiàn)要素：

本發(fā)明為要解決的技術(shù)問題提供了一種具有混合現(xiàn)實功能的模擬飛行座艙系統(tǒng)及系統(tǒng)的處理方法，該系統(tǒng)和方法能夠快速地處理、修正與融合虛擬視景和環(huán)境實景的圖像信息，參訓(xùn)者可以實時地觀測到自己的操作動作，提高了圖像顯示的實時性，也使得圖像顯示的逼真效果大為提升，同時具有更好的舒適度和訓(xùn)練效果。

為解決上述技術(shù)問題，本發(fā)明所提供的技術(shù)方案如下：

一種具有混合現(xiàn)實功能的模擬飛行座艙系統(tǒng)，適用于仿真模擬飛行器的座艙，該座艙包括視窗區(qū)域與操作區(qū)域，所述視窗區(qū)域與操作區(qū)域之間為作為分隔線的紅外邊界；

該系統(tǒng)至少包括紅外邊界立體模式識別模塊、立體圖像數(shù)字化處理模塊、虛擬視景生成模塊、虛擬視景與實景融合模塊；

其中，紅外邊界立體模式識別模塊連接紅外攝像頭，紅外邊界立體模式識別模塊對紅外邊界進行識別并上傳至虛擬視景與實景融合模塊；

所述立體圖像數(shù)字化處理模塊連接立體攝像頭，立體圖像數(shù)字化處理模塊對環(huán)境實景的圖像信息進行識別和編碼并上傳至虛擬視景與實景融合模塊；

虛擬視景與實景融合模塊連接用于生成虛擬視景信息的虛擬視景生 成模塊，用于完成所有的虛擬視景和環(huán)境實景的圖像的修正與后期處理以及在同一空間坐標系的融合。

本發(fā)明的具有混合現(xiàn)實功能的模擬飛行座艙系統(tǒng)，在視窗區(qū)域與操作區(qū)域之間設(shè)置了肉眼無法觀測的紅外邊界，使得虛擬視景和環(huán)境實景之間具有明顯的分界線，方便后期的圖像處理；另外，紅外邊界作為操作區(qū)域的輪廓線，很容易通過建模計算出紅外攝像頭與操作區(qū)域的空間相對位置，對立體攝像頭捕捉的環(huán)境實景的圖像信息進行修正。

本發(fā)明的系統(tǒng)還包括高清顯示模塊，高清顯示模塊連接虛擬視景與實景融合模塊，經(jīng)虛擬視景與實景融合模塊處理融合后的圖像顯示在高清顯示模塊中的顯示屏上。

為區(qū)分視窗區(qū)域與操作區(qū)域，即形成虛擬視景和環(huán)境實景的分隔線，方便圖像信息的修正和后期處理，具體方案為，使用若干LED紅外燈排布形成紅外邊界，形成操作區(qū)域的輪廓線。

為方便圖像信息的修正和后期處理，需要增加視窗區(qū)域與操作區(qū)域的色彩差異度，具體方案為，視窗區(qū)域內(nèi)沿紅外邊界鋪滿綠幕。

為使參訓(xùn)者的操作體感更接近真實，優(yōu)選的，操作區(qū)域內(nèi)設(shè)有采用1：1的實物座艙模擬仿真的儀表、按鍵、油門與操縱桿。

進一步地，虛擬視景生成模塊為計算機，紅外邊界立體模式識別模塊、立體圖像數(shù)字化處理模塊、虛擬視景與實景融合模塊與高清顯示模塊集成在基板上，所述基板置于頭戴顯示器內(nèi)部，頭戴顯示器的外表面分別設(shè)有兩個沿水平向居中的紅外攝像頭、位于兩端的立體攝像頭，以及用于安裝高清顯示模塊的顯示屏。

本發(fā)明另一方面還提供一種具有混合現(xiàn)實功能的模擬飛行座艙系統(tǒng)的處理方法，包括以下步驟：

S100系統(tǒng)各模塊初始化；

S200捕捉環(huán)境實景與紅外邊界的圖像信息，并判斷環(huán)境實景真實的空間相對位置；

S300計算機建立對應(yīng)的立體的虛擬視景；

S400對捕捉的圖像信息進行空間相對位置的修正與后期處理，然后 高速混入立體的虛擬視景的圖像信息；

S500最終將融合了環(huán)境實景與虛擬視景的立體圖像在顯示屏中輸出。

其中，步驟S400中空間相對位置的修正具體為：紅外攝像頭捕捉的紅外邊界圖像信息通過紅外邊界立體模式識別模塊識別后，通過建模計算出紅外攝像頭與操作區(qū)域的真實的空間相對位置，對立體攝像頭捕捉的環(huán)境實景的圖像信息進行修正。

步驟S400中對捕捉的圖像信息進行后期處理具體為：立體攝像頭捕捉的圖像信息以紅外邊界作為分隔線分為視窗區(qū)域與操作區(qū)域兩個部分，高速混入對應(yīng)的立體的虛擬視景的圖像信息替換掉視窗區(qū)域的圖像信息。

本發(fā)明的具有混合現(xiàn)實功能的模擬飛行座艙系統(tǒng)系統(tǒng)的處理方法和現(xiàn)有技術(shù)相比具有如下有益效果：

(1)視窗區(qū)域與操作區(qū)域之間設(shè)有由LED紅外燈組成的紅外邊界，可以明顯的區(qū)分虛擬視景和環(huán)境實景，不需要人工參與進行后期處理，極大降低了圖像的處理時間，解決了現(xiàn)有技術(shù)中由于處理時間過長造成的動作與圖像不同步的情況，提高了圖像的實時性；

(2)虛擬視景和環(huán)境實景的邊界極為明顯，在進行圖像的后期處理時的技術(shù)難度較小，可以很容易的在短時間內(nèi)獲得高質(zhì)量的圖像信息，解決了現(xiàn)有技術(shù)中由于處理難度較大或為縮短處理時間而造成的圖像質(zhì)量較差的問題，使得圖像的最終顯示效果更為逼真；

(3)紅外邊界形成了操作區(qū)域的輪廓線，通過紅外攝像頭進行捕捉測距，解決了現(xiàn)有技術(shù)中由于距離、拍攝景深等原因造成的操作區(qū)域與實際的距離、高度感不一致的問題，提高了參訓(xùn)者的訓(xùn)練效果和訓(xùn)練時的舒適度；

(4)座艙系統(tǒng)內(nèi)操作區(qū)域內(nèi)的儀表、按鍵和操縱桿等均采用1：1的實物座艙模擬仿真，使得參訓(xùn)者體感更接近真實效果，提高了參訓(xùn)者的訓(xùn)練效果。

附圖說明

圖1為實施例1的處理系統(tǒng)的結(jié)構(gòu)示意圖；

圖2為實施例1的處理系統(tǒng)的結(jié)構(gòu)示意圖；

圖3為實施例1的頭盔的結(jié)構(gòu)示意圖；

圖4為實施例1的座艙的結(jié)構(gòu)示意圖；

圖5位實施例2的處理方法的步驟示意圖。

具體實施方式

為使本發(fā)明實施方式的目的、技術(shù)方案和優(yōu)點表達得更加清楚明白，下面結(jié)合附圖及具體實施例對本發(fā)明實施方式再作進一步詳細的說明。

實施例1

圖1為根據(jù)本發(fā)明實施方式的具有混合現(xiàn)實功能的模擬飛行座艙系統(tǒng)的結(jié)構(gòu)示意圖。該處理系統(tǒng)包括：紅外邊界立體模式識別模塊10、立體圖像數(shù)字化處理模塊20、虛擬視景生成模塊30、虛擬視景與實景融合模塊40與高清顯示模塊50。

該處理系統(tǒng)可應(yīng)用在座艙中，如圖4所示，座艙包括操作區(qū)域1和視窗區(qū)域2。其中，操作區(qū)域1的輪廓線為由若干LED紅外燈排布形成的紅外邊界3，肉眼無法直接額看到，同時該紅外邊界3還可作為環(huán)境實景與虛擬視景的明顯分界線。操作區(qū)域1內(nèi)設(shè)有采用1：1的實物座艙模擬仿真的儀表、按鍵、油門與操縱桿等，視窗區(qū)域2內(nèi)沿紅外邊界3鋪滿綠幕21。

如圖1和圖2所示，紅外邊界立體模式識別模塊10連接紅外攝像頭，紅外邊界立體模式識別模塊10對紅外攝像頭捕捉的紅外邊界3的圖像信息進行識別，通過識別紅外邊界3的輪廓線可以建模計算出紅外攝像頭與操作區(qū)域1的實際空間相對位置，然后將操作區(qū)域1的空間相對位置信息傳輸至虛擬視景與實景融合模塊40，虛擬視景與實景融合模塊40對立體攝像頭捕捉的環(huán)境實景的圖像信息進行修正。另外，紅外邊界3作為環(huán)境實景與虛擬視景的明顯分界線，方便虛擬視景與實景融合模塊40對環(huán)境實景的圖像信息進行后期處理。

立體圖像數(shù)字化處理模塊20連接立體攝像頭，立體圖像數(shù)字化處理模塊20對立體攝像頭捕捉的環(huán)境實景的圖像信息進行識別編碼并上傳至 虛擬視景與實景融合模塊40。

虛擬視景生成模塊30用于生成對應(yīng)的虛擬視景信息并上傳至虛擬視景與實景融合模塊40。

虛擬視景與實景融合模塊40分別連接紅外邊界立體模式識別模塊10、立體圖像數(shù)字化處理模塊20與虛擬視景生成模塊30，用于接收紅外邊界立體模式識別模塊10、立體圖像數(shù)字化處理模塊20與虛擬視景生成模塊30所傳輸?shù)男畔?，同時完成所有的虛擬視景和環(huán)境實景的圖像的修正與后期處理以及在同一空間坐標系的融合。

高清顯示模塊50連接虛擬視景與實景融合模塊40，經(jīng)虛擬視景與實景融合模塊40處理融合后的圖像顯示在高清顯示模塊50中的顯示屏上。

如圖2和圖3所示，本實施例的座艙系統(tǒng)中，紅外邊界立體模式識別模塊10、立體圖像數(shù)字化處理模塊20、虛擬視景與實景融合模塊40與高清顯示模塊50集成在基板上，其中，基板置于頭戴顯示器4的內(nèi)部，頭戴顯示器4的外表面分別設(shè)有兩個沿水平向居中的紅外攝像頭41、位于兩端的立體攝像頭42，以及用于安裝高清顯示模塊50的顯示屏43，虛擬視景生成模塊30為場景計算機。

實施例2

一種具有混合現(xiàn)實功能的模擬飛行座艙系統(tǒng)的處理方法，如圖5所示，包括以下步驟：

S100系統(tǒng)各模塊初始化；

S200捕捉環(huán)境實景與紅外邊界的圖像信息，并判斷環(huán)境實景真實的空間相對位置；

S300計算機建立對應(yīng)的立體的虛擬視景；

S400對捕捉的圖像信息進行空間相對位置的修正與后期處理，然后高速混入立體的虛擬視景的圖像信息；

S500最終將融合了環(huán)境實景與虛擬視景的立體圖像在顯示屏中輸出。

其中紅外攝像頭捕捉的紅外邊界圖像信息通過紅外邊界立體模式識別模塊識別后，通過建模計算出紅外攝像頭與操作區(qū)域的實際空間相對位 置，虛擬視景與實景融合模塊對立體攝像頭捕捉的環(huán)境實景的圖像信息進行修正。

立體攝像頭捕捉的圖像信息以紅外邊界作為分隔線分為視窗區(qū)域與操作區(qū)域兩個部分，高速混入由虛擬視景生成模塊生成的對應(yīng)立體虛擬視景的圖像信息替換掉視窗區(qū)域的圖像信息。

綜上所述，本發(fā)明的具有混合現(xiàn)實功能的模擬飛行座艙系統(tǒng)系統(tǒng)的處理方法，視窗區(qū)域與操作區(qū)域之間設(shè)有由LED紅外燈組成的紅外邊界，可以明顯的區(qū)分虛擬視景和環(huán)境實景，不需要人工參與進行后期處理，極大降低了圖像的處理時間，解決了現(xiàn)有技術(shù)中由于處理時間過長造成的動作與圖像不同步的情況，提高了圖像的實時性。

虛擬視景和環(huán)境實景的邊界極為明顯，在進行圖像的后期處理時的技術(shù)難度較小，可以很容易的在短時間內(nèi)獲得高質(zhì)量的圖像信息，解決了現(xiàn)有技術(shù)中由于處理難度較大或為縮短處理時間而造成的圖像質(zhì)量較差的問題，使得圖像的最終顯示效果更為逼真。

紅外邊界形成了操作區(qū)域的輪廓線，通過紅外攝像頭進行捕捉測距，解決了現(xiàn)有技術(shù)中由于距離、拍攝景深等原因造成的操作區(qū)域與實際的距離、高度感不一致的問題，提高了參訓(xùn)者的訓(xùn)練效果和訓(xùn)練時的舒適度。

座艙系統(tǒng)內(nèi)操作區(qū)域內(nèi)的儀表、按鍵和操縱桿等均采用1：1的實物座艙模擬仿真，使得參訓(xùn)者體感更接近真實效果，提高了參訓(xùn)者的訓(xùn)練效果。

以上所述實施例僅僅是本發(fā)明的優(yōu)選實施方式進行描述，并非對本發(fā)明的范圍進行限定，在不脫離本發(fā)明設(shè)計精神的前提下，本領(lǐng)域普通技術(shù)人員對本發(fā)明的技術(shù)方案作出的各種變形和改進，均應(yīng)落入本發(fā)明的權(quán)利要求書確定的保護范圍內(nèi)。