本發(fā)明涉及物聯(lián)網(wǎng)技術(shù)，尤其涉及基于多模態(tài)物聯(lián)感知與虛實(shí)共生的實(shí)訓(xùn)方法及系統(tǒng)。

背景技術(shù)：

1、隨著物聯(lián)網(wǎng)、人工智能、虛擬現(xiàn)實(shí)等新興技術(shù)的快速發(fā)展，傳統(tǒng)的實(shí)訓(xùn)方法已經(jīng)難以滿足現(xiàn)代教育的需求。傳統(tǒng)實(shí)訓(xùn)主要依賴于實(shí)體設(shè)備和現(xiàn)場(chǎng)環(huán)境，存在著成本高、風(fēng)險(xiǎn)大、不易擴(kuò)展等問(wèn)題。同時(shí)，傳統(tǒng)實(shí)訓(xùn)難以提供逼真的場(chǎng)景和全面的感知，學(xué)習(xí)者無(wú)法獲得身臨其境的體驗(yàn)和全方位的技能訓(xùn)練。

2、現(xiàn)有的技術(shù)通常只關(guān)注單一領(lǐng)域或環(huán)節(jié)，缺乏系統(tǒng)性和整合性。物聯(lián)感知與虛實(shí)共生尚未有效結(jié)合，難以發(fā)揮各自優(yōu)勢(shì)，提供全面、協(xié)同、智能的實(shí)訓(xùn)服務(wù)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供基于多模態(tài)物聯(lián)感知與虛實(shí)共生的實(shí)訓(xùn)方法及系統(tǒng)，能夠解決現(xiàn)有技術(shù)中的問(wèn)題。

2、本發(fā)明實(shí)施例的第一方面，

3、提供基于多模態(tài)物聯(lián)感知與虛實(shí)共生的實(shí)訓(xùn)方法，包括：

4、獲取實(shí)訓(xùn)場(chǎng)景中的物聯(lián)網(wǎng)多模態(tài)傳感器數(shù)據(jù)，所述多模態(tài)傳感器數(shù)據(jù)包括視頻數(shù)據(jù)、音頻數(shù)據(jù)和環(huán)境數(shù)據(jù)中至少一種；基于深度學(xué)習(xí)算法分別對(duì)所述視頻數(shù)據(jù)、所述音頻數(shù)據(jù)和所述環(huán)境數(shù)據(jù)進(jìn)行特征提取，分別確定所述視頻數(shù)據(jù)中實(shí)訓(xùn)場(chǎng)景的物體特征，所述音頻數(shù)據(jù)中的語(yǔ)音指令特征，以及所述環(huán)境數(shù)據(jù)中實(shí)訓(xùn)場(chǎng)景的設(shè)備的振動(dòng)特征；

5、將所述物體特征、所述語(yǔ)音指令特征以及所述振動(dòng)特征通過(guò)本體知識(shí)圖譜和圖神經(jīng)網(wǎng)絡(luò)模型進(jìn)行語(yǔ)義關(guān)聯(lián)，確定所述物體特征、所述語(yǔ)音指令特征以及所述振動(dòng)特征對(duì)應(yīng)的關(guān)聯(lián)規(guī)則并進(jìn)行特征融合，得到多模態(tài)融合特征；基于所述多模態(tài)融合特征，通過(guò)三維建模構(gòu)建實(shí)訓(xùn)場(chǎng)景對(duì)應(yīng)的虛擬數(shù)字孿生模型，通過(guò)物聯(lián)網(wǎng)中間件實(shí)現(xiàn)所述虛擬數(shù)字孿生模型與所述實(shí)訓(xùn)場(chǎng)景的雙向數(shù)據(jù)交互和狀態(tài)映射；

6、根據(jù)預(yù)設(shè)的實(shí)訓(xùn)任務(wù)難度等級(jí)，自適應(yīng)生成實(shí)訓(xùn)指導(dǎo)方案，動(dòng)態(tài)優(yōu)化所述虛擬數(shù)字孿生模型中的各要素權(quán)重，生成與目標(biāo)對(duì)象匹配的實(shí)訓(xùn)指導(dǎo)信息，所述實(shí)訓(xùn)指導(dǎo)信息包括三維動(dòng)畫(huà)指導(dǎo)、全息影像指導(dǎo)、ar標(biāo)注指導(dǎo)、振動(dòng)反饋指導(dǎo)和多通道語(yǔ)音指導(dǎo)中至少一種。

7、在一種可選的實(shí)施方式中，

8、將所述物體特征、所述語(yǔ)音指令特征以及所述振動(dòng)特征通過(guò)本體知識(shí)圖譜和圖神經(jīng)網(wǎng)絡(luò)模型進(jìn)行語(yǔ)義關(guān)聯(lián)，確定所述物體特征、所述語(yǔ)音指令特征以及所述振動(dòng)特征對(duì)應(yīng)的關(guān)聯(lián)規(guī)則包括：

9、基于所述物體特征、所述語(yǔ)音指令特征以及所述振動(dòng)特征構(gòu)建初始本體知識(shí)圖譜，所述初始本體知識(shí)圖譜包括概念節(jié)點(diǎn)和關(guān)系邊，其中，所述概念節(jié)點(diǎn)包括所述物體特征、所述語(yǔ)音指令特征以及所述振動(dòng)特征，所述關(guān)系邊用于指示所述概念節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系；

10、通過(guò)圖神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)所述概念節(jié)點(diǎn)的語(yǔ)義表示向量，所述圖神經(jīng)網(wǎng)絡(luò)模型通過(guò)聚合所述概念節(jié)點(diǎn)的鄰居信息，確定不同概念節(jié)點(diǎn)之間的語(yǔ)義相似度，并通過(guò)注意力機(jī)制確定所述關(guān)系邊的關(guān)系邊權(quán)重，確定所述初始本體知識(shí)圖譜對(duì)應(yīng)的多條關(guān)聯(lián)規(guī)則；

11、將所述關(guān)聯(lián)規(guī)則的前件概念節(jié)點(diǎn)和后件概念節(jié)點(diǎn)的語(yǔ)義表示向量聚合得到規(guī)則表示向量，并確定每條關(guān)聯(lián)規(guī)則的置信度，其中，所述前件概念節(jié)點(diǎn)用于指示關(guān)聯(lián)規(guī)則的前提條件，所述后件概念節(jié)點(diǎn)用于指示關(guān)聯(lián)規(guī)則的結(jié)論。

12、在一種可選的實(shí)施方式中，

13、確定所述初始本體知識(shí)圖譜對(duì)應(yīng)的多條關(guān)聯(lián)規(guī)則包括：

14、基于不同概念節(jié)點(diǎn)之間的語(yǔ)義相似度和關(guān)系邊權(quán)重，對(duì)所述初始本體知識(shí)圖譜進(jìn)行優(yōu)化和修正，對(duì)語(yǔ)義相似度超過(guò)預(yù)設(shè)相似度閾值但在初始本體知識(shí)圖譜中沒(méi)有直接連接的兩個(gè)節(jié)點(diǎn)，在它們之間添加一條新的關(guān)系邊；

15、利用優(yōu)化后的初始本體知識(shí)圖譜，通過(guò)基于路徑排序的關(guān)聯(lián)規(guī)則挖掘算法，找出以每個(gè)概念節(jié)點(diǎn)為頭實(shí)體的多個(gè)關(guān)系路徑，并計(jì)算每條關(guān)系路徑的規(guī)則得分；

16、對(duì)規(guī)則得分進(jìn)行排序，選取規(guī)則得分靠前的k條關(guān)系路徑，將k條關(guān)系路徑對(duì)應(yīng)的關(guān)系類型序列作為一條關(guān)聯(lián)規(guī)則，添加到關(guān)聯(lián)規(guī)則集合中；

17、對(duì)關(guān)聯(lián)規(guī)則集合中的每條關(guān)聯(lián)規(guī)則，計(jì)算其支持度和置信度，篩選出支持度和置信度均滿足預(yù)設(shè)篩選閾值的關(guān)聯(lián)規(guī)則作為最終的規(guī)則挖掘結(jié)果。

18、在一種可選的實(shí)施方式中，

19、基于所述多模態(tài)融合特征，通過(guò)三維建模構(gòu)建實(shí)訓(xùn)場(chǎng)景對(duì)應(yīng)的虛擬數(shù)字孿生模型包括：

20、獲取實(shí)訓(xùn)場(chǎng)景的圖像信息，所述圖像信息包括實(shí)訓(xùn)場(chǎng)景的rgb圖像、深度圖像；

21、對(duì)所述rgb圖像和所述深度圖像進(jìn)行配準(zhǔn)，通過(guò)迭代最近點(diǎn)算法將所述深度圖像與所述rgb圖像對(duì)齊，得到帶有深度信息的彩色點(diǎn)云數(shù)據(jù)；

22、利用基于卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)義分割模型對(duì)所述rgb圖像進(jìn)行物體類別標(biāo)注，得到實(shí)訓(xùn)場(chǎng)景中每個(gè)像素對(duì)應(yīng)的物體類別標(biāo)簽；

23、將所述彩色點(diǎn)云數(shù)據(jù)和所述物體類別標(biāo)簽融合，通過(guò)點(diǎn)云拼接算法生成所述實(shí)訓(xùn)場(chǎng)景的三維語(yǔ)義點(diǎn)云模型，所述三維語(yǔ)義點(diǎn)云模型包含實(shí)訓(xùn)場(chǎng)景的幾何、紋理和語(yǔ)義信息；

24、基于所述三維語(yǔ)義點(diǎn)云模型，利用三維重建算法構(gòu)建實(shí)訓(xùn)場(chǎng)景的多邊形網(wǎng)格模型，通過(guò)網(wǎng)格簡(jiǎn)化和材質(zhì)烘焙優(yōu)化所述多邊形網(wǎng)格模型，得到虛擬數(shù)字孿生模型，并在所述虛擬數(shù)字孿生模型中集成物理引擎，定義物體的材質(zhì)屬性、碰撞屬性和運(yùn)動(dòng)約束，實(shí)現(xiàn)虛擬物體的真實(shí)物理行為。

25、在一種可選的實(shí)施方式中，

26、通過(guò)物聯(lián)網(wǎng)中間件實(shí)現(xiàn)所述虛擬數(shù)字孿生模型與所述實(shí)訓(xùn)場(chǎng)景的雙向數(shù)據(jù)交互和狀態(tài)映射包括：

27、搭建基于物聯(lián)網(wǎng)通信協(xié)議的物聯(lián)網(wǎng)中間件平臺(tái)，將實(shí)訓(xùn)場(chǎng)景中的物理傳感器和物理執(zhí)行器設(shè)備接入所述物聯(lián)網(wǎng)中間件平臺(tái)，并在所述虛擬數(shù)字孿生模型中內(nèi)置對(duì)應(yīng)的虛擬傳感器和虛擬執(zhí)行器設(shè)備；

28、將所述物理傳感器采集的實(shí)時(shí)數(shù)據(jù)按照預(yù)設(shè)的數(shù)據(jù)格式和時(shí)間頻率發(fā)布到所述物聯(lián)網(wǎng)中間件平臺(tái)的目標(biāo)主題，所述虛擬數(shù)字孿生模型訂閱所述目標(biāo)主題并解析所述物理傳感器采集的實(shí)時(shí)數(shù)據(jù)，根據(jù)所述實(shí)時(shí)數(shù)據(jù)更新虛擬傳感器的狀態(tài)參數(shù)；

29、在所述虛擬數(shù)字孿生模型中對(duì)虛擬物體執(zhí)行交互操作，通過(guò)物理引擎計(jì)算操作導(dǎo)致的物體狀態(tài)變化，并將控制指令按照預(yù)設(shè)的數(shù)據(jù)格式發(fā)布到所述物聯(lián)網(wǎng)中間件平臺(tái)的目標(biāo)主題；

30、所述物理執(zhí)行器設(shè)備訂閱所述所述目標(biāo)主題，解析所述控制指令，驅(qū)動(dòng)執(zhí)行器執(zhí)行相應(yīng)的物理動(dòng)作，并將執(zhí)行結(jié)果反饋到所述物聯(lián)網(wǎng)中間件平臺(tái)。

31、在一種可選的實(shí)施方式中，

32、根據(jù)預(yù)設(shè)的實(shí)訓(xùn)任務(wù)難度等級(jí)，自適應(yīng)生成實(shí)訓(xùn)指導(dǎo)方案，動(dòng)態(tài)優(yōu)化所述虛擬數(shù)字孿生模型中的各要素權(quán)重，生成與目標(biāo)對(duì)象匹配的實(shí)訓(xùn)指導(dǎo)信息包括：

33、預(yù)設(shè)多個(gè)難度等級(jí)形成實(shí)訓(xùn)任務(wù)難度等級(jí)集合，所述實(shí)訓(xùn)任務(wù)難度等級(jí)集合中的每個(gè)難度等級(jí)對(duì)應(yīng)一組任務(wù)復(fù)雜度參數(shù)，所述任務(wù)復(fù)雜度參數(shù)包括任務(wù)目標(biāo)完成率和操作步驟數(shù)量；

34、構(gòu)建實(shí)訓(xùn)指導(dǎo)方案模板庫(kù)，所述實(shí)訓(xùn)指導(dǎo)方案模板庫(kù)中包含多個(gè)指導(dǎo)方案模板，每個(gè)所述指導(dǎo)方案模板定義一種實(shí)訓(xùn)指導(dǎo)方案的內(nèi)容要素，所述內(nèi)容要素包括任務(wù)簡(jiǎn)介、操作步驟和關(guān)鍵提示；

35、獲取目標(biāo)對(duì)象選擇的難度等級(jí)，根據(jù)所述難度等級(jí)從所述實(shí)訓(xùn)任務(wù)難度等級(jí)集合中確定對(duì)應(yīng)的任務(wù)復(fù)雜度參數(shù)；

36、在虛擬數(shù)字孿生模型中設(shè)置各要素的初始權(quán)重，形成模型要素權(quán)重向量，所述模型要素權(quán)重向量中每個(gè)權(quán)重對(duì)應(yīng)所述虛擬數(shù)字孿生模型中的一個(gè)要素；

37、將所述虛擬數(shù)字孿生模型中各要素的權(quán)重調(diào)整建模為多臂老虎機(jī)問(wèn)題，每個(gè)所述要素對(duì)應(yīng)一個(gè)搖臂，所述要素的權(quán)重作為所述搖臂的獎(jiǎng)勵(lì)概率，目標(biāo)對(duì)象的每次操作對(duì)應(yīng)一次搖臂嘗試；

38、基于湯普森采樣算法，通過(guò)多次搖臂嘗試，根據(jù)目標(biāo)對(duì)象的操作結(jié)果動(dòng)態(tài)更新每個(gè)搖臂的后驗(yàn)分布參數(shù)，并從后驗(yàn)分布中采樣得到每個(gè)搖臂的獎(jiǎng)勵(lì)概率樣本，選擇獎(jiǎng)勵(lì)概率樣本最大的搖臂對(duì)應(yīng)的要素權(quán)重。

39、在一種可選的實(shí)施方式中，

40、基于湯普森采樣算法，通過(guò)多次搖臂嘗試，根據(jù)目標(biāo)對(duì)象的操作結(jié)果動(dòng)態(tài)更新每個(gè)搖臂的后驗(yàn)分布參數(shù)，并從后驗(yàn)分布中采樣得到每個(gè)搖臂的獎(jiǎng)勵(lì)概率樣本，選擇獎(jiǎng)勵(lì)概率樣本最大的搖臂對(duì)應(yīng)的要素權(quán)重包括：

41、設(shè)置虛擬數(shù)字孿生模型包含k個(gè)要素，對(duì)應(yīng)k個(gè)搖臂，初始時(shí)為每個(gè)搖臂設(shè)置一個(gè)先驗(yàn)beta分布，表示對(duì)每個(gè)搖臂獎(jiǎng)勵(lì)概率的初始值，所述beta分布的兩個(gè)參數(shù)α和β的初始值均設(shè)為1；

42、當(dāng)目標(biāo)對(duì)象進(jìn)行第t次操作時(shí)，根據(jù)每個(gè)搖臂當(dāng)前的后驗(yàn)beta分布，獨(dú)立地采樣一個(gè)獎(jiǎng)勵(lì)概率樣本，選擇獎(jiǎng)勵(lì)概率樣本最大的搖臂作為本次嘗試的要素權(quán)重；

43、獲取目標(biāo)對(duì)象在本次嘗試的操作結(jié)果，若操作正確且在規(guī)定時(shí)間內(nèi)完成，則獎(jiǎng)勵(lì)反饋為1，否則獎(jiǎng)勵(lì)反饋為0；

44、基于所述獎(jiǎng)勵(lì)反饋，更新所選搖臂的后驗(yàn)beta分布參數(shù)，若獎(jiǎng)勵(lì)反饋為1，則對(duì)應(yīng)搖臂的α值加1，否則β值加1；

45、重復(fù)迭代進(jìn)行多次搖臂嘗試，迭代更新后驗(yàn)beta分布參數(shù)，直至收斂向真實(shí)的獎(jiǎng)勵(lì)概率分布。

46、本技術(shù)實(shí)施例的第二方面，

47、提供基于多模態(tài)物聯(lián)感知與虛實(shí)共生的實(shí)訓(xùn)系統(tǒng)，包括：

48、第一單元，用于獲取實(shí)訓(xùn)場(chǎng)景中的物聯(lián)網(wǎng)多模態(tài)傳感器數(shù)據(jù)，所述多模態(tài)傳感器數(shù)據(jù)包括視頻數(shù)據(jù)、音頻數(shù)據(jù)和環(huán)境數(shù)據(jù)中至少一種；基于深度學(xué)習(xí)算法分別對(duì)所述視頻數(shù)據(jù)、所述音頻數(shù)據(jù)和所述環(huán)境數(shù)據(jù)進(jìn)行特征提取，分別確定所述視頻數(shù)據(jù)中實(shí)訓(xùn)場(chǎng)景的物體特征，所述音頻數(shù)據(jù)中的語(yǔ)音指令特征，以及所述環(huán)境數(shù)據(jù)中實(shí)訓(xùn)場(chǎng)景的設(shè)備的振動(dòng)特征；

49、第二單元，用于將所述物體特征、所述語(yǔ)音指令特征以及所述振動(dòng)特征通過(guò)本體知識(shí)圖譜和圖神經(jīng)網(wǎng)絡(luò)模型進(jìn)行語(yǔ)義關(guān)聯(lián)，確定所述物體特征、所述語(yǔ)音指令特征以及所述振動(dòng)特征對(duì)應(yīng)的關(guān)聯(lián)規(guī)則并進(jìn)行特征融合，得到多模態(tài)融合特征；基于所述多模態(tài)融合特征，通過(guò)三維建模構(gòu)建實(shí)訓(xùn)場(chǎng)景對(duì)應(yīng)的虛擬數(shù)字孿生模型，通過(guò)物聯(lián)網(wǎng)中間件實(shí)現(xiàn)所述虛擬數(shù)字孿生模型與所述實(shí)訓(xùn)場(chǎng)景的雙向數(shù)據(jù)交互和狀態(tài)映射；

50、第三單元，用于根據(jù)預(yù)設(shè)的實(shí)訓(xùn)任務(wù)難度等級(jí)，自適應(yīng)生成實(shí)訓(xùn)指導(dǎo)方案，動(dòng)態(tài)優(yōu)化所述虛擬數(shù)字孿生模型中的各要素權(quán)重，生成與目標(biāo)對(duì)象匹配的實(shí)訓(xùn)指導(dǎo)信息，所述實(shí)訓(xùn)指導(dǎo)信息包括三維動(dòng)畫(huà)指導(dǎo)、全息影像指導(dǎo)、ar標(biāo)注指導(dǎo)、振動(dòng)反饋指導(dǎo)和多通道語(yǔ)音指導(dǎo)中至少一種。

51、本發(fā)明實(shí)施例的第三方面，

52、提供一種電子設(shè)備，包括：

53、處理器；

54、用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；

55、其中，所述處理器被配置為調(diào)用所述存儲(chǔ)器存儲(chǔ)的指令，以執(zhí)行前述所述的方法。

56、本發(fā)明實(shí)施例的第四方面，

57、提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)前述所述的方法。

58、本技術(shù)利用深度學(xué)習(xí)算法對(duì)多模態(tài)數(shù)據(jù)進(jìn)行特征提取，分別獲取視頻中的物體特征、音頻中的語(yǔ)音指令特征以及環(huán)境數(shù)據(jù)中的設(shè)備振動(dòng)特征，實(shí)現(xiàn)了對(duì)實(shí)訓(xùn)場(chǎng)景的智能解析和理解，降低了數(shù)據(jù)處理的復(fù)雜度。通過(guò)本體知識(shí)圖譜和圖神經(jīng)網(wǎng)絡(luò)模型，將提取的多模態(tài)特征進(jìn)行語(yǔ)義關(guān)聯(lián)和融合，挖掘出特征之間的關(guān)聯(lián)規(guī)則，獲得了高層次的多模態(tài)融合特征。這種語(yǔ)義級(jí)別的特征融合方法，有效地提高了實(shí)訓(xùn)場(chǎng)景理解和分析的準(zhǔn)確性和全面性。

59、基于多模態(tài)融合特征，通過(guò)三維建模技術(shù)構(gòu)建實(shí)訓(xùn)場(chǎng)景的虛擬數(shù)字孿生模型，并通過(guò)物聯(lián)網(wǎng)中間件實(shí)現(xiàn)虛擬模型與物理場(chǎng)景的雙向數(shù)據(jù)交互和狀態(tài)映射。這種虛實(shí)共生的實(shí)訓(xùn)方式，既提供了逼真的虛擬體驗(yàn)，又能夠?qū)崟r(shí)反映物理環(huán)境的變化，極大地提高了實(shí)訓(xùn)的沉浸感和交互性。根據(jù)預(yù)設(shè)的實(shí)訓(xùn)任務(wù)難度等級(jí)，自適應(yīng)生成個(gè)性化的實(shí)訓(xùn)指導(dǎo)方案，并動(dòng)態(tài)優(yōu)化虛擬數(shù)字孿生模型中的各要素權(quán)重，生成與目標(biāo)對(duì)象匹配的多樣化實(shí)訓(xùn)指導(dǎo)信息，包括三維動(dòng)畫(huà)、全息影像、ar標(biāo)注、振動(dòng)反饋、多通道語(yǔ)音等多種形式。這種智能化、個(gè)性化的實(shí)訓(xùn)指導(dǎo)方法，能夠根據(jù)學(xué)習(xí)者的特點(diǎn)和需求，提供最優(yōu)的學(xué)習(xí)體驗(yàn)和指導(dǎo)服務(wù)，提高了實(shí)訓(xùn)的針對(duì)性和有效性。

60、本發(fā)明融合了物聯(lián)網(wǎng)、人工智能、虛擬現(xiàn)實(shí)等多種前沿技術(shù)，實(shí)現(xiàn)了實(shí)訓(xùn)過(guò)程的數(shù)字化、智能化、沉浸化，突破了傳統(tǒng)實(shí)訓(xùn)方法的局限性。基于多模態(tài)物聯(lián)感知與虛實(shí)共生的創(chuàng)新實(shí)訓(xùn)方法，可以全面提升實(shí)訓(xùn)效果和效率，降低實(shí)訓(xùn)成本和風(fēng)險(xiǎn)，為現(xiàn)代教育提供先進(jìn)的技術(shù)支撐和應(yīng)用范式。