本發(fā)明涉及教育類知識(shí)圖譜自動(dòng)生成，更具體地說(shuō)，本發(fā)明涉及一種多模態(tài)標(biāo)準(zhǔn)化知識(shí)圖譜自動(dòng)化生成方法及系統(tǒng)。

背景技術(shù)：

1、多模態(tài)標(biāo)準(zhǔn)化知識(shí)圖譜是一種將不同模態(tài)（如文本、圖像、音頻、視頻等）的信息整合到統(tǒng)一的知識(shí)結(jié)構(gòu)中的技術(shù)，旨在通過(guò)跨模態(tài)數(shù)據(jù)的關(guān)聯(lián)、融合和分析來(lái)提升知識(shí)的呈現(xiàn)和理解，在教育領(lǐng)域，學(xué)生學(xué)習(xí)資源通常以多種形式呈現(xiàn)，如課本中的文字解釋、視頻講解、互動(dòng)式圖表等，單一模態(tài)的信息往往難以滿足不同學(xué)習(xí)需求，通過(guò)多模態(tài)知識(shí)圖譜的生成，系統(tǒng)能夠自動(dòng)整合和呈現(xiàn)不同模態(tài)的教育資源，使學(xué)生在學(xué)習(xí)過(guò)程中獲得更全面的知識(shí)結(jié)構(gòu)，增強(qiáng)學(xué)習(xí)效果。

2、現(xiàn)有技術(shù)存在的不足：在處理知識(shí)點(diǎn)抽象層次和模態(tài)間層次對(duì)應(yīng)方面存在不足，知識(shí)點(diǎn)的抽象層次分類往往依賴于單一模態(tài)（如文本）的分析，缺乏對(duì)圖像、視頻、音頻等其他模態(tài)的深度理解，導(dǎo)致對(duì)多模態(tài)信息的抽象層次劃分不夠精準(zhǔn)，無(wú)法全面反映知識(shí)點(diǎn)在不同模態(tài)下的復(fù)雜性與抽象性，其次，模態(tài)間的層次對(duì)應(yīng)關(guān)系生成存在局限性，現(xiàn)有的跨模態(tài)映射算法大多基于簡(jiǎn)單的語(yǔ)義相似度計(jì)算，難以捕捉各模態(tài)中知識(shí)點(diǎn)層次的細(xì)微差別，導(dǎo)致模態(tài)對(duì)齊不夠精確，在檢測(cè)和處理模態(tài)間層次沖突時(shí)，缺乏有效的機(jī)制來(lái)解決層次間的差異，容易導(dǎo)致學(xué)習(xí)路徑中的層次不一致，使得學(xué)生在不同模態(tài)下獲取到的信息層次不統(tǒng)一，進(jìn)而影響知識(shí)的連貫性和深度理解。

技術(shù)實(shí)現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)的上述缺陷，本發(fā)明提供一種多模態(tài)標(biāo)準(zhǔn)化知識(shí)圖譜自動(dòng)化生成方法及系統(tǒng)，以解決上述背景技術(shù)中知識(shí)圖譜生成不準(zhǔn)確的問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、一種多模態(tài)標(biāo)準(zhǔn)化知識(shí)圖譜自動(dòng)化生成方法，包括如下步驟：

4、從文本模態(tài)、視頻模態(tài)和圖像模態(tài)的數(shù)據(jù)源中采集與知識(shí)點(diǎn)相關(guān)的多模態(tài)數(shù)據(jù)，并對(duì)所采集的數(shù)據(jù)進(jìn)行預(yù)處理；

5、對(duì)各模態(tài)數(shù)據(jù)進(jìn)行特征選擇，通過(guò)信息增益確定關(guān)鍵特征，并對(duì)文本、視頻、圖像的特征向量進(jìn)行歸一化處理，統(tǒng)一特征的數(shù)值范圍；

6、根據(jù)模態(tài)信度函數(shù)計(jì)算不同模態(tài)的信度值，并根據(jù)信度值分配模態(tài)權(quán)重，對(duì)各模態(tài)的特征進(jìn)行融合，生成統(tǒng)一的特征向量表示；

7、根據(jù)融合后的特征向量進(jìn)行知識(shí)點(diǎn)層次劃分，生成對(duì)應(yīng)的層次標(biāo)簽，并進(jìn)行模態(tài)間的一致性處理，生成多模態(tài)標(biāo)準(zhǔn)化知識(shí)圖譜并進(jìn)行自動(dòng)化更新。

8、在一個(gè)優(yōu)選的實(shí)施方式中，從文本模態(tài)、視頻模態(tài)和圖像模態(tài)的數(shù)據(jù)源中采集與知識(shí)點(diǎn)相關(guān)的多模態(tài)數(shù)據(jù)，并對(duì)所采集的數(shù)據(jù)進(jìn)行預(yù)處理，具體過(guò)程如下：

9、文本模態(tài)從電子教材、文檔、在線課程材料中提取段落、章節(jié)；視頻模態(tài)從視頻講解或課堂錄制中提取片段；圖像模態(tài)從教學(xué)圖表、示意圖或演示圖像中提?。?/p>

10、對(duì)各模態(tài)數(shù)據(jù)進(jìn)行知識(shí)點(diǎn)關(guān)聯(lián)，建立模態(tài)間的統(tǒng)一知識(shí)點(diǎn)映射表；

11、文本數(shù)據(jù)進(jìn)行分詞、去停用詞、詞干化處理，生成清理后的文本，獲取視頻中的幀序列，并對(duì)幀圖像進(jìn)行過(guò)濾、去噪聲和增強(qiáng)，對(duì)圖像進(jìn)行灰度化、邊緣檢測(cè)和圖像增強(qiáng)處理，并提取文本、視頻、圖像數(shù)據(jù)特征。

12、在一個(gè)優(yōu)選的實(shí)施方式中，對(duì)各模態(tài)數(shù)據(jù)進(jìn)行特征選擇，通過(guò)信息增益確定關(guān)鍵特征，并對(duì)文本、視頻、圖像的特征向量進(jìn)行歸一化處理，統(tǒng)一特征的數(shù)值范圍，具體過(guò)程如下：

13、對(duì)文本、視頻、圖像特征，使用信息增益來(lái)確定特征對(duì)知識(shí)點(diǎn)分類的貢獻(xiàn)度，并根據(jù)信息增益篩選各模態(tài)特征；

14、將每個(gè)模態(tài)的特征按信息增益進(jìn)行排序，根據(jù)排序獲得前列特征，并形成新的特征向量；

15、對(duì)文本、視頻和圖像的特征向量進(jìn)行最大最小歸一化處理生成文本、視頻、圖像特征向量。

16、在一個(gè)優(yōu)選的實(shí)施方式中，根據(jù)模態(tài)信度函數(shù)計(jì)算不同模態(tài)的信度值，并根據(jù)信度值分配模態(tài)權(quán)重，對(duì)各模態(tài)的特征進(jìn)行融合，生成統(tǒng)一的特征向量表示，具體過(guò)程如下：

17、歷史信息數(shù)據(jù)集的構(gòu)建涉及從多個(gè)數(shù)據(jù)源中提取不同維度的信息，并構(gòu)建聯(lián)合數(shù)據(jù)集；

18、根據(jù)模態(tài)信度值函數(shù)的結(jié)果，計(jì)算每個(gè)模態(tài)的權(quán)重因子，并對(duì)文本、視頻、圖像模態(tài)進(jìn)行融合得到融合特征向量；

19、對(duì)融合特征向量進(jìn)行抽象層次的測(cè)度，根據(jù)知識(shí)點(diǎn)的抽象度函數(shù)得到抽象度，并根據(jù)到抽象度區(qū)分基礎(chǔ)知識(shí)和高度抽象。

20、在一個(gè)優(yōu)選的實(shí)施方式中，根據(jù)融合后的特征向量進(jìn)行知識(shí)點(diǎn)層次劃分，生成對(duì)應(yīng)的層次標(biāo)簽，并進(jìn)行模態(tài)間的一致性處理，生成多模態(tài)標(biāo)準(zhǔn)化知識(shí)圖譜并進(jìn)行自動(dòng)化更新，具體過(guò)程如下：

21、進(jìn)行知識(shí)點(diǎn)層次劃分與標(biāo)簽生成，將知識(shí)點(diǎn)劃分為基礎(chǔ)層次、中間層次和高級(jí)層次，并定義層次劃分閾值，根據(jù)層次劃分閾值將知識(shí)點(diǎn)生成層次標(biāo)簽；

22、在劃分層次后，通過(guò)模態(tài)一致性驗(yàn)證確定不同模態(tài)的知識(shí)點(diǎn)層次匹配情況；

23、若一致性驗(yàn)證函數(shù)小于等于一致性驗(yàn)證閾值，則視為一致，否則重新調(diào)整模態(tài)間層次表達(dá)。

24、在一個(gè)優(yōu)選的實(shí)施方式中，生成多模態(tài)標(biāo)準(zhǔn)化知識(shí)圖譜并進(jìn)行自動(dòng)化更新，具體過(guò)程如下：

25、進(jìn)行模態(tài)特征分布映射，將各模態(tài)的特征映射到統(tǒng)一的層次空間，將不同模態(tài)下的特征在同一空間中進(jìn)行對(duì)比和對(duì)應(yīng)；

26、對(duì)于每個(gè)模態(tài)的特征定義映射函數(shù)并映射到多維層次空間，基于歐幾里得距離定義模態(tài)間層次的相似度函數(shù)，并根據(jù)相似度函數(shù)測(cè)量不同模態(tài)下知識(shí)點(diǎn)層次的相似性；

27、定義相似度閾值，生成模態(tài)間的層次對(duì)應(yīng)關(guān)系，若相似度函數(shù)大于等于相似度閾值，則不同模態(tài)的層次一致，并為知識(shí)點(diǎn)生成統(tǒng)一的層次標(biāo)簽；若相似度函數(shù)小于相似度閾值，則對(duì)模態(tài)間層次進(jìn)行調(diào)整；

28、在完成了模態(tài)間層次對(duì)應(yīng)關(guān)系生成后，進(jìn)行多模態(tài)標(biāo)準(zhǔn)化知識(shí)圖譜自動(dòng)化生成。

29、在一個(gè)優(yōu)選的實(shí)施方式中，若相似度函數(shù)小于相似度閾值，則對(duì)模態(tài)間層次進(jìn)行調(diào)整，具體步驟如下：

30、當(dāng)模態(tài)間的相似度函數(shù)小于相似度閾值時(shí)，通過(guò)插值函數(shù)進(jìn)行調(diào)整，根據(jù)模態(tài)間的層次差異程度，自動(dòng)生成過(guò)渡層次調(diào)整模態(tài)特征；

31、在層次調(diào)整完成后，根據(jù)插值后的層次使用最小化模態(tài)層次重新擬合模態(tài)層次標(biāo)簽；

32、在生成最終的統(tǒng)一層次標(biāo)簽后，基于層次間的平方差進(jìn)行模態(tài)層次一致性驗(yàn)證與反饋。

33、在一個(gè)優(yōu)選的實(shí)施方式中，在完成了模態(tài)間層次對(duì)應(yīng)關(guān)系生成后，進(jìn)行多模態(tài)標(biāo)準(zhǔn)化知識(shí)圖譜自動(dòng)化生成，具體步驟如下：

34、根據(jù)知識(shí)點(diǎn)特征將知識(shí)點(diǎn)映射為知識(shí)圖譜中的節(jié)點(diǎn)，并確定節(jié)點(diǎn)間的關(guān)聯(lián)關(guān)系；

35、根據(jù)關(guān)聯(lián)相似度函數(shù)，為每對(duì)知識(shí)點(diǎn)的關(guān)聯(lián)關(guān)系賦予邊權(quán)重；

36、根據(jù)生成的節(jié)點(diǎn)和生成的邊權(quán)重，構(gòu)建知識(shí)圖譜。

37、一種多模態(tài)標(biāo)準(zhǔn)化知識(shí)圖譜自動(dòng)化生成系統(tǒng)，用于實(shí)現(xiàn)上述一種多模態(tài)標(biāo)準(zhǔn)化知識(shí)圖譜自動(dòng)化生成方法，包括：

38、模態(tài)數(shù)據(jù)處理模塊，用于從文本模態(tài)、視頻模態(tài)和圖像模態(tài)的數(shù)據(jù)源中采集與知識(shí)點(diǎn)相關(guān)的多模態(tài)數(shù)據(jù)，并對(duì)所采集的數(shù)據(jù)進(jìn)行預(yù)處理；

39、特征融合模塊，用于對(duì)各模態(tài)數(shù)據(jù)進(jìn)行特征選擇，通過(guò)信息增益確定關(guān)鍵特征，并對(duì)文本、視頻、圖像的特征向量進(jìn)行歸一化處理，統(tǒng)一特征的數(shù)值范圍，根據(jù)模態(tài)信度函數(shù)計(jì)算不同模態(tài)的信度值，并根據(jù)信度值分配模態(tài)權(quán)重，對(duì)各模態(tài)的特征進(jìn)行融合，生成統(tǒng)一的特征向量表示；

40、圖譜生成模塊，用于根據(jù)融合后的特征向量進(jìn)行知識(shí)點(diǎn)層次劃分，生成對(duì)應(yīng)的層次標(biāo)簽，并進(jìn)行模態(tài)間的一致性處理，生成多模態(tài)標(biāo)準(zhǔn)化知識(shí)圖譜并進(jìn)行自動(dòng)化更新。

41、本發(fā)明的技術(shù)效果和優(yōu)點(diǎn)：

42、本發(fā)明通過(guò)對(duì)多模態(tài)數(shù)據(jù)的預(yù)處理與特征選擇，通過(guò)特定的預(yù)處理方法，如文本分詞、視頻關(guān)鍵幀提取、圖像灰度化等，使得不同模態(tài)數(shù)據(jù)在統(tǒng)一的處理框架下進(jìn)行特征提取，消除了模態(tài)間的差異，特征選擇步驟通過(guò)信息增益的計(jì)算篩選出各模態(tài)的關(guān)鍵特征，再結(jié)合歸一化處理使得不同模態(tài)特征向量的數(shù)值范圍統(tǒng)一，保證了后續(xù)特征融合的準(zhǔn)確性和一致性；

43、通過(guò)模態(tài)信度函數(shù)計(jì)算各模態(tài)的信度值，并根據(jù)信度值分配權(quán)重，使得在多模態(tài)特征融合過(guò)程中，權(quán)重更高的模態(tài)能夠?qū)μ卣飨蛄康纳善鸬礁笞饔?，從而提升知識(shí)點(diǎn)的表示效果，融合后的統(tǒng)一特征向量用于知識(shí)點(diǎn)的層次劃分，不僅保證了知識(shí)點(diǎn)層次表達(dá)的精準(zhǔn)性，還通過(guò)模態(tài)間一致性處理，避免了不同模態(tài)之間的層次沖突，能夠隨著多模態(tài)數(shù)據(jù)的變化動(dòng)態(tài)調(diào)整知識(shí)點(diǎn)及其層次，實(shí)現(xiàn)了更為智能化和動(dòng)態(tài)化的知識(shí)圖譜管理。