本申請(qǐng)涉及智能管理領(lǐng)域，且更為具體地，涉及一種基于虛擬現(xiàn)實(shí)技術(shù)的實(shí)訓(xùn)管理系統(tǒng)及方法。

背景技術(shù)：

1、實(shí)訓(xùn)教學(xué)是一種以實(shí)際操作和技能訓(xùn)練為主的教學(xué)方法，它與傳統(tǒng)的理論教學(xué)相對(duì)應(yīng)，更加注重學(xué)生的實(shí)踐能力和技能掌握。也就是，重點(diǎn)培養(yǎng)學(xué)生的動(dòng)手能力和專業(yè)技能，使學(xué)生能夠在真實(shí)或模擬的工作環(huán)境中展示其專業(yè)能力。

2、但由于實(shí)訓(xùn)教學(xué)通常需要大量的物理設(shè)備和場(chǎng)地，這可能導(dǎo)致資源分配不均，并且，傳統(tǒng)的實(shí)訓(xùn)教學(xué)通常需要在特定的時(shí)間和地點(diǎn)進(jìn)行，這限制了學(xué)生的靈活性和可訪問性，不利于學(xué)生根據(jù)自己的時(shí)間安排進(jìn)行學(xué)習(xí)。其次，在傳統(tǒng)實(shí)訓(xùn)中，反饋通常依賴于教師的現(xiàn)場(chǎng)觀察和評(píng)估，這一過程可能需要在實(shí)訓(xùn)結(jié)束后進(jìn)行，導(dǎo)致反饋存在延遲，從而影響學(xué)習(xí)效率和質(zhì)量。

3、因此，期待一種優(yōu)化的實(shí)訓(xùn)管理系統(tǒng)。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問題，提出了本申請(qǐng)。本申請(qǐng)的實(shí)施例提供了一種基于虛擬現(xiàn)實(shí)技術(shù)的實(shí)訓(xùn)管理系統(tǒng)及方法，其通過獲取學(xué)生在虛擬實(shí)訓(xùn)中的行為操作視頻，且對(duì)所述行為操作視頻進(jìn)行關(guān)鍵幀提取，并采用基于深度學(xué)習(xí)的視頻關(guān)鍵幀分析技術(shù)和處理算法來對(duì)各個(gè)行為操作視頻關(guān)鍵幀進(jìn)行行為特征分析和上下文之間的語義關(guān)聯(lián)，并將經(jīng)過多個(gè)關(guān)鍵幀差分計(jì)算得到的行為操作變化上下文語義理解特征向量的序列進(jìn)行基于全時(shí)域的融合，從而智能地得到學(xué)生的操作是否符合實(shí)驗(yàn)的正確步驟的判斷結(jié)果，并生成實(shí)時(shí)反饋指令。通過這樣的方式，實(shí)訓(xùn)可以在虛擬空間中進(jìn)行，不再受限于物理空間的大小和可用性，也不再受制于特定的時(shí)間和地點(diǎn)，從而解決了實(shí)訓(xùn)教學(xué)空間受限的問題，也提高了時(shí)間地點(diǎn)的靈活性。同時(shí)，系統(tǒng)能夠根據(jù)學(xué)生的具體操作行為，與學(xué)生進(jìn)行更加有效的交互，提供即時(shí)的指導(dǎo)和個(gè)性化的反饋，從而提高學(xué)習(xí)效率和效果。

2、根據(jù)本申請(qǐng)的一個(gè)方面，提供了一種基于虛擬現(xiàn)實(shí)技術(shù)的實(shí)訓(xùn)管理系統(tǒng)，其包括：

3、行為操作視頻獲取模塊，用于獲取學(xué)生在虛擬實(shí)訓(xùn)中的行為操作視頻；

4、行為操作關(guān)鍵幀提取特征捕捉模塊，用于對(duì)所述行為操作視頻進(jìn)行關(guān)鍵幀提取后輸入行為操作特征提取模塊以得到行為操作特征向量的序列；

5、行為操作語義理解模塊，用于將所述行為操作特征向量的序列輸入行為操作上下文語義理解編碼模塊以得到行為操作上下文語義理解特征向量的序列；

6、行為操作上下文語義理解差分變化計(jì)算模塊，用于計(jì)算所述行為操作上下文語義理解特征向量的序列中每?jī)蓚€(gè)相鄰時(shí)間點(diǎn)的行為操作上下文語義理解差分變化以得到行為操作變化上下文語義理解特征向量的序列；

7、操作變化全時(shí)域特征融合模塊，用于將所述行為操作變化上下文語義理解特征向量的序列進(jìn)行融合以得到行為操作變化上下文語義理解全時(shí)域特征向量；

8、判斷結(jié)果生成模塊，用于基于所述行為操作變化上下文語義理解全時(shí)域特征向量，得到判斷結(jié)果，并基于所述判斷結(jié)果，生成實(shí)時(shí)反饋指令。

9、根據(jù)本申請(qǐng)的另一方面，提供了一種基于虛擬現(xiàn)實(shí)技術(shù)的實(shí)訓(xùn)管理方法，其包括：

10、獲取學(xué)生在虛擬實(shí)訓(xùn)中的行為操作視頻；

11、對(duì)所述行為操作視頻進(jìn)行關(guān)鍵幀提取后輸入行為操作特征提取模塊以得到行為操作特征向量的序列；

12、將所述行為操作特征向量的序列輸入行為操作上下文語義理解編碼模塊以得到行為操作上下文語義理解特征向量的序列；

13、計(jì)算所述行為操作上下文語義理解特征向量的序列中每?jī)蓚€(gè)相鄰時(shí)間點(diǎn)的行為操作上下文語義理解差分變化以得到行為操作變化上下文語義理解特征向量的序列；

14、將所述行為操作變化上下文語義理解特征向量的序列進(jìn)行融合以得到行為操作變化上下文語義理解全時(shí)域特征向量；

15、基于所述行為操作變化上下文語義理解全時(shí)域特征向量，得到判斷結(jié)果，并基于所述判斷結(jié)果，生成實(shí)時(shí)反饋指令。

16、與現(xiàn)有技術(shù)相比，本申請(qǐng)?zhí)峁┑囊环N基于虛擬現(xiàn)實(shí)技術(shù)的實(shí)訓(xùn)管理系統(tǒng)及方法，其通過獲取學(xué)生在虛擬實(shí)訓(xùn)中的行為操作視頻，且對(duì)所述行為操作視頻進(jìn)行關(guān)鍵幀提取，并采用基于深度學(xué)習(xí)的視頻關(guān)鍵幀分析技術(shù)和處理算法來對(duì)各個(gè)行為操作視頻關(guān)鍵幀進(jìn)行行為特征分析和上下文之間的語義關(guān)聯(lián)，并將經(jīng)過多個(gè)關(guān)鍵幀差分計(jì)算得到的行為操作變化上下文語義理解特征向量的序列進(jìn)行基于全時(shí)域的融合，從而智能地得到學(xué)生的操作是否符合實(shí)驗(yàn)的正確步驟的判斷結(jié)果，并生成實(shí)時(shí)反饋指令。通過這樣的方式，實(shí)訓(xùn)可以在虛擬空間中進(jìn)行，不再受限于物理空間的大小和可用性，也不再受制于特定的時(shí)間和地點(diǎn)，從而解決了實(shí)訓(xùn)教學(xué)空間受限的問題，也提高了時(shí)間地點(diǎn)的靈活性。同時(shí)，系統(tǒng)能夠根據(jù)學(xué)生的具體操作行為，與學(xué)生進(jìn)行更加有效的交互，提供即時(shí)的指導(dǎo)和個(gè)性化的反饋，從而提高學(xué)習(xí)效率和效果。

技術(shù)特征：

1.一種基于虛擬現(xiàn)實(shí)技術(shù)的實(shí)訓(xùn)管理系統(tǒng)，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于虛擬現(xiàn)實(shí)技術(shù)的實(shí)訓(xùn)管理系統(tǒng)，其特征在于，所述行為操作關(guān)鍵幀提取特征捕捉模塊，包括：

3.根據(jù)權(quán)利要求2所述的基于虛擬現(xiàn)實(shí)技術(shù)的實(shí)訓(xùn)管理系統(tǒng)，其特征在于，所述基于深度神經(jīng)網(wǎng)絡(luò)的行為操作特征提取模塊為基于卷積神經(jīng)網(wǎng)絡(luò)的行為操作特征提取模塊。

4.根據(jù)權(quán)利要求3所述的基于虛擬現(xiàn)實(shí)技術(shù)的實(shí)訓(xùn)管理系統(tǒng)，其特征在于，所述行為操作語義理解模塊，用于：

5.根據(jù)權(quán)利要求4所述的基于虛擬現(xiàn)實(shí)技術(shù)的實(shí)訓(xùn)管理系統(tǒng)，其特征在于，所述行為操作上下文語義理解差分變化計(jì)算模塊，用于：

6.根據(jù)權(quán)利要求5所述的基于虛擬現(xiàn)實(shí)技術(shù)的實(shí)訓(xùn)管理系統(tǒng)，其特征在于，所述判斷結(jié)果生成模塊，包括：

7.根據(jù)權(quán)利要求6所述的基于虛擬現(xiàn)實(shí)技術(shù)的實(shí)訓(xùn)管理系統(tǒng)，其特征在于，所述行為操作變化上下文語義相似度學(xué)習(xí)補(bǔ)償單元，用于：

8.一種基于虛擬現(xiàn)實(shí)技術(shù)的實(shí)訓(xùn)管理方法，其特征在于，包括：

9.根據(jù)權(quán)利要求8所述的基于虛擬現(xiàn)實(shí)技術(shù)的實(shí)訓(xùn)管理方法，其特征在于，對(duì)所述行為操作視頻進(jìn)行關(guān)鍵幀提取后輸入行為操作特征提取模塊以得到行為操作特征向量的序列，包括：

10.根據(jù)權(quán)利要求9所述的基于虛擬現(xiàn)實(shí)技術(shù)的實(shí)訓(xùn)管理方法，其特征在于，計(jì)算所述行為操作上下文語義理解特征向量的序列中每?jī)蓚€(gè)相鄰時(shí)間點(diǎn)的行為操作上下文語義理解差分變化以得到行為操作變化上下文語義理解特征向量的序列，包括：

技術(shù)總結(jié)
本申請(qǐng)涉及智能管理領(lǐng)域，其具體地公開了一種基于虛擬現(xiàn)實(shí)技術(shù)的實(shí)訓(xùn)管理系統(tǒng)及方法，其通過獲取學(xué)生在虛擬實(shí)訓(xùn)中的行為操作視頻，且對(duì)所述行為操作視頻進(jìn)行關(guān)鍵幀提取，并采用基于深度學(xué)習(xí)的視頻關(guān)鍵幀分析技術(shù)和處理算法來對(duì)各個(gè)行為操作視頻關(guān)鍵幀進(jìn)行行為特征分析和關(guān)聯(lián)，并將經(jīng)過多個(gè)關(guān)鍵幀差分計(jì)算得到的行為操作變化上下文語義理解特征進(jìn)行基于全時(shí)域的融合，從而智能地得到學(xué)生的操作是否符合實(shí)驗(yàn)的正確步驟的判斷結(jié)果，并生成實(shí)時(shí)反饋指令。通過這樣的方式，實(shí)訓(xùn)可以在虛擬空間中進(jìn)行，同時(shí)，系統(tǒng)能夠提供即時(shí)的指導(dǎo)和個(gè)性化的反饋，從而提高學(xué)習(xí)效率和效果。

技術(shù)研發(fā)人員：朱華東,鄭楊,傅萍
受保護(hù)的技術(shù)使用者：日照職業(yè)技術(shù)學(xué)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/12