本發(fā)明涉及在線智慧教學，具體涉及一種基于多模態(tài)共享表示學習的在線智慧教學系統(tǒng)。

背景技術(shù)：

1、隨著數(shù)字化和信息技術(shù)的不斷發(fā)展，在線智慧教學作為一種現(xiàn)代化、靈活性高的教學方式逐漸受到廣泛關(guān)注。在線智慧教學借助互聯(lián)網(wǎng)和數(shù)字化工具，為學生提供了更加個性化、多樣化的學習體驗。通過在線平臺、虛擬課堂和交互式內(nèi)容，學生可以自主選擇學習時間和地點，以及根據(jù)自身需求調(diào)整學習進度和方式。這種教學方法打破了傳統(tǒng)學習的時空限制，促進了全球范圍內(nèi)的知識分享和合作。在線智慧教學在提供個性化學習、資源豐富性和靈活性方面具有明顯優(yōu)勢，但也面臨著面對面交流減少、技術(shù)依賴性高和自律性要求等挑戰(zhàn)。

技術(shù)實現(xiàn)思路

1、為解決現(xiàn)有在線智慧教學中面臨的面對面交流減少、技術(shù)依賴性高和自律性要求等問題，本發(fā)明提供一種基于多模態(tài)共享表示學習的在線智慧教學系統(tǒng)，以解決背景技術(shù)中提出的問題。

2、為了實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于多模態(tài)共享表示學習的在線智慧教學系統(tǒng)，該教學系統(tǒng)至少包括用戶學習偏好模塊、用戶學習能力模塊、課程測驗及評價數(shù)據(jù)模塊以及課程推薦模型；

3、用戶學習偏好模塊，用于采集用戶在學習類型、學習時間段、課程展現(xiàn)形式等方面的學習習慣偏好數(shù)據(jù)；

4、用戶學習能力模塊，用于構(gòu)建用戶記憶模型，包括專注力測試和記憶規(guī)律測試，采集用戶個人的學習能力數(shù)據(jù)；

5、課程測驗及評價數(shù)據(jù)模塊，用于獲得用戶測評后分數(shù)以及積分情況，并決定用戶是否進入下一章節(jié)的學習；

6、將用戶學習偏好模塊、用戶學習能力模塊、課程測驗及評價數(shù)據(jù)模塊作為模態(tài)輸入數(shù)據(jù)，通過課程推薦模型生成符合用戶學習能力的課程；完成符合用戶學習能力的課程的用戶獲得用戶等級升級、課程測驗及評價，該課程測驗及評價數(shù)據(jù)作為課程測驗及評價數(shù)據(jù)模塊的輸入數(shù)據(jù)；

7、其中，課程推薦模型設(shè)計如下：

8、輸入數(shù)據(jù)集d，表示為d＝[(xr,yr),(xa,ya),(xs,ys)]，其中(xr,yr)表示學習習慣偏好數(shù)據(jù)、(xa,ya)表示學習能力數(shù)據(jù)、(xs,ys)表示課程測驗及評價數(shù)據(jù)，每個模態(tài)都與一個預(yù)測函數(shù)相關(guān)聯(lián)，預(yù)測函數(shù)表述為fm＝g·hm,其中m取值為{r,a,s}，r表示學習偏好數(shù)據(jù)，a表示學習能力數(shù)據(jù)，s表示課程測驗及評價數(shù)據(jù)，代表的是三個模態(tài)；其中，函數(shù)hm作為特定的編碼器，函數(shù)g表示所有模態(tài)中的共享頭部；

9、給定t個總訓練步長，該模型每次迭代只從一個模態(tài)接收數(shù)據(jù)；

10、在每個訓練步長t∈t中，通過最小化相應(yīng)的單模態(tài)數(shù)據(jù)中的訓練集的預(yù)測風險lt來迭代優(yōu)化課程推薦模型：

11、

12、其中，上式中的(x,y)泛指輸入數(shù)據(jù)和標簽，和分別為在t時間點內(nèi)的編碼器和共享頭g的可學習參數(shù)，l表示損失函數(shù)；表示在t時間點內(nèi)的預(yù)測函數(shù)；mt表示t步長下的模態(tài)；

13、對三個模態(tài)的數(shù)據(jù)學習完成后，通過學習跨模態(tài)信息進行模態(tài)融合：課程推薦模型在所有給定的模態(tài)中都采用共享的頭部g，從而能夠在整個過程中捕獲跨模態(tài)的交互信息；

14、課程推薦模型優(yōu)化結(jié)束后，其預(yù)測過程如下：

15、對于一個給定的測試示例(x，y)，計算其預(yù)測如下：

16、

17、其中，m的取值1，2，3，1表示學習偏好數(shù)據(jù)r，2表示學習能力數(shù)據(jù)a，3表示課程測驗及評價數(shù)據(jù)s；表示三模態(tài)下的預(yù)測函數(shù)，表示模態(tài)m在預(yù)測標簽中的重要性，λm計算如下：

18、

19、其中，ev與em均表示不同的模態(tài)，em表示x使用每個單獨模態(tài)輸出的熵，em-ev為計算三個模態(tài)之間的熵的差值，softmax函數(shù)將輸出對數(shù)轉(zhuǎn)換為概率表示模態(tài)總數(shù)可變下的總集合的預(yù)測函數(shù)。

20、優(yōu)選的，設(shè)計多維學習習慣測評量表，采集用戶學習偏好數(shù)據(jù)；

21、所述多維學習習慣測評量表設(shè)計如下：

22、學習類型偏好：文本、語音、圖片、文本和語音結(jié)合、文本和圖片結(jié)合、語音和圖片結(jié)合、文本、語音和圖片三者結(jié)合；

23、學習時間段偏好：8：00-10:00、10：00-12：00、14：00-16：00、16：00-18：00、19：00-20：00；

24、課程展現(xiàn)形式偏好：自主學習類、研討類、實訓類、問答類；

25、通過用戶完成多維學習習慣測評量表，采集用戶在學習類型、學習時間段、課程展現(xiàn)形式方面的學習偏好數(shù)據(jù)。

26、優(yōu)選的，設(shè)計學習能力測評方法，用于采集用戶個人的學習能力數(shù)據(jù)；

27、所述學習能力測評方法設(shè)計如下：

28、構(gòu)建用戶記憶模型，包括專注力測試和記憶規(guī)律測試；

29、專注力測試：計算給定時間t內(nèi)，用戶點擊目標的準確率；

30、記憶規(guī)律測試：觀察一組物體或符號的位置，然后在屏幕上進行位置恢復(fù)或確認，計算準確率。

31、優(yōu)選的，用戶等級升級設(shè)計如下：

32、完成當前學時教學任務(wù)將獲得獎勵勛章，進行等級升級，作為一部分平時成績評價，獎勵勛章包括：

33、初級勛章：完成課程學習，學習用時不合理，完成度較差，無法升級；

34、中級勛章：完成課程學習，學習用時合理，完成度合理，升一級；

35、高級勛章：完成課程學習，學習用時合理，完成度較高，升兩級；

36、其中，學習用時：定義每章節(jié)最大完成時限qmax及最小完成時限qmin，若學習用時q<qmin或q>qmax，則評價為用時不合理，否則為用時合理；

37、完成度：每章節(jié)課程包括若干頁課件，包括基礎(chǔ)知識、難點知識、拓展知識三部分，若僅完成基礎(chǔ)知識或用時不在合理范圍內(nèi)，則評價為不合理完成度；若完成基礎(chǔ)知識和難點知識且用時在合理范圍內(nèi)，則評價為合理完成度；若完成基礎(chǔ)知識、難點知識和拓展知識三部分且用時在合理范圍內(nèi)，則評價為較高完成度；

38、等級：無法升級表示下游成績，在線學習平時成績?yōu)閟1(s1>0)分；升一級表示中等成績，在線學習平時成績?yōu)閟2(s2>s1)分；升兩級表示上游成績，在線平時學習成績?yōu)閟3(s3>s2)分。最后在線學習平時總成績npscore為所有章節(jié)成績相加再平均,如下所示：

39、

40、式中，npscore為在線學習平時總成績，ni(i＝1,2,...,n)為章節(jié)i的章節(jié)成績。

41、優(yōu)選的，課程測驗及評價設(shè)計如下：

42、完成章節(jié)學習后，隨機從題庫中抽取題目進行測評，并要求學生對該章節(jié)學習類型、學習時間段及課程展現(xiàn)體現(xiàn)進行打分，根據(jù)測評結(jié)果及打分完成情況進行積分發(fā)放。測評成績?yōu)榇笥诘扔趕2分且課程評價完成的用戶可獲取積分，獲取積分后可進行下一章節(jié)學習，否則要求學生重新進行題目測評，若連續(xù)三次無法獲取積分，則提醒學生重新進行章節(jié)學習。

43、本發(fā)明具有如下優(yōu)點：

44、(1)通過用戶學習習慣測評及用戶專注力和記憶規(guī)律測評，實現(xiàn)對在線用戶主、客觀學習能力評價，智能化生成符合用戶學習能力的課程，促進用戶更好更快學習；

45、(2)設(shè)計的基于多模態(tài)共享表示學習的課程推薦模型可以捕獲所有可用模態(tài)的豐富表示，模態(tài)數(shù)量可以變化(不局限于上述提及的模態(tài))，同時避免多模態(tài)模型只學習主導(dǎo)模態(tài)信息(即模態(tài)懶惰)。同時，該模型在訓練階段不需要成對的多模態(tài)數(shù)據(jù)，這使得它自然適合于具有極端模態(tài)懶惰的場景，比如使用缺失模態(tài)的學習。

46、(3)通過勛章等級升級及積分解鎖課程的方式，促使學生科學主動的學習，進一步提高學生自主學習能力。