本發(fā)明涉及教學(xué)實(shí)訓(xùn)，尤其是一種基于虛實(shí)融合的多終端交互式示范演練方法、系統(tǒng)及介質(zhì)。

背景技術(shù)：

1、目前主流的支持虛實(shí)融合下的示范演練主要是基于hololens2頭盔、或者部分vr頭盔，僅支持部分的終端設(shè)備，在虛實(shí)融合示范演練技術(shù)的推廣以及實(shí)用性等方面存在諸多問題。目前的相關(guān)技術(shù)包括hololens等技術(shù)，主要是基于以微軟頭盔為主設(shè)備的操作環(huán)境，依賴硬件設(shè)備環(huán)境因素較多，而其他技術(shù)也僅是基于固定的設(shè)備環(huán)境下的直播環(huán)境，或者是基于現(xiàn)實(shí)環(huán)境的直播推流，缺乏數(shù)字模型與現(xiàn)實(shí)世界的交互、互動(dòng)以及虛實(shí)貼合信號(hào)的輸出，無法實(shí)現(xiàn)多終端交互式的示范演練，影響了示范演練的效率和用戶的使用體驗(yàn)。

2、術(shù)語解釋：

3、虛實(shí)融合模式是混合現(xiàn)實(shí)(mr)技術(shù)主要應(yīng)用方向，mr是一種利用計(jì)算機(jī)圖像技術(shù)、傳感技術(shù)以及可視化穿戴設(shè)備等相關(guān)技術(shù)與設(shè)備，實(shí)現(xiàn)數(shù)字虛擬對(duì)象與現(xiàn)實(shí)世界對(duì)象共存的可視化環(huán)境，并能夠使用戶在對(duì)現(xiàn)實(shí)世界正常感知的基礎(chǔ)上構(gòu)建虛擬與現(xiàn)實(shí)世界的交互反饋回路，達(dá)到虛擬世界與現(xiàn)實(shí)世界及時(shí)與深度的互動(dòng)的技術(shù)。

4、多形態(tài)適配技術(shù)是基于網(wǎng)絡(luò)通信技術(shù)以及一套統(tǒng)一的數(shù)據(jù)格式和解析協(xié)議，使不同終端解析云端數(shù)據(jù)后，可自動(dòng)重構(gòu)軟件界面和交互形態(tài)，且同步請(qǐng)求操作的操縱終端對(duì)交互對(duì)象的操作數(shù)據(jù)的技術(shù)。目前該技術(shù)已經(jīng)支持的終端設(shè)備包括pc電腦、桌面式虛擬現(xiàn)實(shí)操作平臺(tái)(如zspace等)、vr頭盔、hololens?2以及手機(jī)移動(dòng)端。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于至少一定程度上解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一。

2、為此，本發(fā)明實(shí)施例的一個(gè)目的在于提供一種基于虛實(shí)融合的多終端交互式示范演練方法，該方法可實(shí)現(xiàn)多終端交互式的示范演練，提高了示范演練的效率和用戶的使用體驗(yàn)。

3、本發(fā)明實(shí)施例的另一個(gè)目的在于提供一種基于虛實(shí)融合的多終端交互式示范演練系統(tǒng)。

4、為了達(dá)到上述技術(shù)目的，本發(fā)明實(shí)施例所采取的技術(shù)方案包括：

5、第一方面，本發(fā)明實(shí)施例提供了一種基于虛實(shí)融合的多終端交互式示范演練方法，包括以下步驟：

6、獲取目標(biāo)實(shí)訓(xùn)場景的實(shí)景視頻數(shù)據(jù)和3d掃描數(shù)據(jù)，并對(duì)所述3d掃描數(shù)據(jù)進(jìn)行數(shù)字重建，得到虛擬場景數(shù)據(jù)；

7、通過第一終端對(duì)所述虛擬場景數(shù)據(jù)和所述實(shí)景視頻數(shù)據(jù)進(jìn)行虛實(shí)融合，得到第一融合視頻流，并通過示范演練虛擬房間將所述第一融合視頻流推流至多個(gè)第二終端，使得所述第二終端展示所述第一融合視頻流；

8、響應(yīng)于當(dāng)前終端的虛擬資源操作請(qǐng)求，通過上一推流終端將所述實(shí)景視頻數(shù)據(jù)和所述虛擬場景數(shù)據(jù)同步至所述當(dāng)前終端；

9、獲取所述當(dāng)前終端的虛擬資源操作指令，根據(jù)所述虛擬資源操作指令對(duì)所述虛擬場景數(shù)據(jù)進(jìn)行更新，并對(duì)更新后的所述虛擬場景數(shù)據(jù)和所述實(shí)景視頻數(shù)據(jù)進(jìn)行虛實(shí)融合，得到第二融合視頻流，進(jìn)而通過所述示范演練虛擬房間將所述第二融合視頻流推送至其他終端。

10、進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，所述獲取目標(biāo)實(shí)訓(xùn)場景的實(shí)景視頻數(shù)據(jù)和3d掃描數(shù)據(jù)，并對(duì)所述3d掃描數(shù)據(jù)進(jìn)行數(shù)字重建，得到虛擬場景數(shù)據(jù)，其具體包括：

11、通過視覺傳感器獲取所述實(shí)景視頻數(shù)據(jù)，并通過3d掃描儀獲取所述3d掃描數(shù)據(jù)；

12、根據(jù)所述3d掃描數(shù)據(jù)確定所述目標(biāo)實(shí)訓(xùn)場景的各個(gè)目標(biāo)物體的三維空間數(shù)據(jù)；

13、根據(jù)所述三維空間數(shù)字對(duì)各所述目標(biāo)物體進(jìn)行數(shù)字重建，得到各所述目標(biāo)物體的虛擬數(shù)字資源，進(jìn)而根據(jù)所述虛擬數(shù)據(jù)資源生成所述虛擬場景數(shù)據(jù)。

14、進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，所述通過第一終端對(duì)所述虛擬場景數(shù)據(jù)和所述實(shí)景視頻數(shù)據(jù)進(jìn)行虛實(shí)融合，得到第一融合視頻流，其具體包括：

15、根據(jù)所述實(shí)景視頻數(shù)據(jù)確定所述目標(biāo)實(shí)訓(xùn)場景的實(shí)景圖像，并對(duì)所述實(shí)景圖像進(jìn)行圖像識(shí)別，得到各所述目標(biāo)物體的特征點(diǎn)位置；

16、根據(jù)所述特征點(diǎn)位置對(duì)所述虛擬數(shù)字資源進(jìn)行定位，并將所述虛擬數(shù)字資源與所述實(shí)景視頻數(shù)據(jù)進(jìn)行融合，得到所述第一融合視頻流。

17、進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，所述通過示范演練虛擬房間將所述第一融合視頻流推流至多個(gè)第二終端，使得所述第二終端展示所述第一融合視頻流，其具體包括：

18、創(chuàng)建所述示范演練虛擬房間，基于多形態(tài)適配技術(shù)將所述第一終端和所述第二終端加入所述示范演練虛擬房間；

19、通過所述第一終端在所述示范演練虛擬房間進(jìn)行多路直播推流，通過所述第二終端接收并展示所述第一融合視頻流。

20、進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，所述響應(yīng)于當(dāng)前終端的虛擬資源操作請(qǐng)求，通過上一推流終端將所述實(shí)景視頻數(shù)據(jù)和所述虛擬場景數(shù)據(jù)同步至所述當(dāng)前終端，其具體包括：

21、獲取所述當(dāng)前終端的所述虛擬資源操作請(qǐng)求，將所述虛擬資源操作請(qǐng)求傳輸至所述上一推流終端；

22、通過所述上一推流終端對(duì)所述當(dāng)前終端進(jìn)行權(quán)限認(rèn)證；

23、當(dāng)權(quán)限認(rèn)證成功，通過所述上一推流終端將所述實(shí)景視頻數(shù)據(jù)和所述虛擬場景數(shù)據(jù)下發(fā)至所述當(dāng)前終端。

24、進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，所述根據(jù)所述虛擬資源操作指令對(duì)所述虛擬場景數(shù)據(jù)進(jìn)行更新，其具體包括：

25、根據(jù)所述虛擬資源操作指令確定目標(biāo)操作對(duì)象和目標(biāo)操作動(dòng)作，所述目標(biāo)操作動(dòng)作包括拆裝、旋轉(zhuǎn)、縮放、平移以及移除中的至少一種；

26、根據(jù)所述目標(biāo)操作對(duì)象確定對(duì)應(yīng)的所述虛擬數(shù)字資源為目標(biāo)虛擬數(shù)字資源，并根據(jù)所述目標(biāo)操作動(dòng)作對(duì)所述目標(biāo)虛擬數(shù)字資源進(jìn)行編輯，得到更新后的所述虛擬場景數(shù)據(jù)。

27、進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，所述對(duì)更新后的所述虛擬場景數(shù)據(jù)和所述實(shí)景視頻數(shù)據(jù)進(jìn)行虛實(shí)融合，得到第二融合視頻流，進(jìn)而通過所述示范演練虛擬房間將所述第二融合視頻流推送至其他終端，其具體包括：

28、根據(jù)更新后的所述虛擬場景數(shù)據(jù)確定若干個(gè)第一虛擬數(shù)字資源和若干個(gè)第二虛擬數(shù)字資源，并確定所述第一虛擬數(shù)字資源和所述第二虛擬數(shù)字資源的位置關(guān)系；

29、根據(jù)所述特征點(diǎn)位置對(duì)所述第一虛擬數(shù)字資源進(jìn)行定位，并根據(jù)所述位置關(guān)系對(duì)所述第二虛擬數(shù)字資源進(jìn)行定位，進(jìn)而將所述第一虛擬數(shù)字資源和所述第二虛擬數(shù)字資源與所述實(shí)景視頻數(shù)據(jù)進(jìn)行融合，得到所述第二融合視頻流；

30、通過所述當(dāng)前終端在所述示范演練虛擬房間進(jìn)行多路直播推流，通過所述其他終端接收并展示所述第二融合視頻流。

31、第二方面，本發(fā)明實(shí)施例提供了一種基于虛實(shí)融合的多終端交互式示范演練系統(tǒng)，包括：

32、數(shù)據(jù)獲取模塊，用于獲取目標(biāo)實(shí)訓(xùn)場景的實(shí)景視頻數(shù)據(jù)和3d掃描數(shù)據(jù)，并對(duì)所述3d掃描數(shù)據(jù)進(jìn)行數(shù)字重建，得到虛擬場景數(shù)據(jù)；

33、虛實(shí)融合模塊，用于通過第一終端對(duì)所述虛擬場景數(shù)據(jù)和所述實(shí)景視頻數(shù)據(jù)進(jìn)行虛實(shí)融合，得到第一融合視頻流，并通過示范演練虛擬房間將所述第一融合視頻流推流至多個(gè)第二終端，使得所述第二終端展示所述第一融合視頻流；

34、數(shù)據(jù)同步模塊，用于響應(yīng)于當(dāng)前終端的虛擬資源操作請(qǐng)求，通過上一推流終端將所述實(shí)景視頻數(shù)據(jù)和所述虛擬場景數(shù)據(jù)同步至所述當(dāng)前終端；

35、數(shù)據(jù)更新模塊，用于獲取所述當(dāng)前終端的虛擬資源操作指令，根據(jù)所述虛擬資源操作指令對(duì)所述虛擬場景數(shù)據(jù)進(jìn)行更新，并對(duì)更新后的所述虛擬場景數(shù)據(jù)和所述實(shí)景視頻數(shù)據(jù)進(jìn)行虛實(shí)融合，得到第二融合視頻流，進(jìn)而通過所述示范演練虛擬房間將所述第二融合視頻流推送至其他終端。

36、第三方面，本發(fā)明實(shí)施例提供了一種基于虛實(shí)融合的多終端交互式示范演練裝置，包括：

37、至少一個(gè)處理器；

38、至少一個(gè)存儲(chǔ)器，用于存儲(chǔ)至少一個(gè)程序；

39、當(dāng)所述至少一個(gè)程序被所述至少一個(gè)處理器執(zhí)行時(shí)，使得所述至少一個(gè)處理器實(shí)現(xiàn)上述的一種基于虛實(shí)融合的多終端交互式示范演練方法。

40、第四方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中存儲(chǔ)有處理器可執(zhí)行的程序，所述處理器可執(zhí)行的程序在由處理器執(zhí)行時(shí)用于執(zhí)行上述的一種基于虛實(shí)融合的多終端交互式示范演練方法。

41、本發(fā)明的優(yōu)點(diǎn)和有益效果將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到：

42、本發(fā)明實(shí)施例獲取目標(biāo)實(shí)訓(xùn)場景的實(shí)景視頻數(shù)據(jù)和3d掃描數(shù)據(jù)，并對(duì)3d掃描數(shù)據(jù)進(jìn)行數(shù)字重建，得到虛擬場景數(shù)據(jù)，通過第一終端對(duì)虛擬場景數(shù)據(jù)和實(shí)景視頻數(shù)據(jù)進(jìn)行虛實(shí)融合，得到第一融合視頻流，并通過示范演練虛擬房間將第一融合視頻流推流至多個(gè)第二終端，使得第二終端展示第一融合視頻流，響應(yīng)于當(dāng)前終端的虛擬資源操作請(qǐng)求，通過上一推流終端將實(shí)景視頻數(shù)據(jù)和虛擬場景數(shù)據(jù)同步至當(dāng)前終端，獲取當(dāng)前終端的虛擬資源操作指令，根據(jù)虛擬資源操作指令對(duì)虛擬場景數(shù)據(jù)進(jìn)行更新，并對(duì)更新后的虛擬場景數(shù)據(jù)和實(shí)景視頻數(shù)據(jù)進(jìn)行虛實(shí)融合，得到第二融合視頻流，進(jìn)而通過示范演練虛擬房間將第二融合視頻流推送至其他終端。本發(fā)明實(shí)施例通過示范演練虛擬房間實(shí)現(xiàn)虛實(shí)融合視頻流的直播推流，并通過推流終端與接收終端的實(shí)時(shí)切換使得各個(gè)終端都可以完成對(duì)虛擬場景數(shù)據(jù)的實(shí)訓(xùn)操作，從而實(shí)現(xiàn)了多終端交互式的示范演練，提高了示范演練的效率和用戶的使用體驗(yàn)。