本發(fā)明涉及人工智能技術(shù)在助盲教育領(lǐng)域的應(yīng)用，尤其涉及基于最短編輯距離的視障人群的多模垂直領(lǐng)域知識問答方法。

背景技術(shù)：

1、在當前數(shù)字信息時代，視障人群對信息技術(shù)的依賴日益增長，尤其是在特定的垂直領(lǐng)域知識獲取上，他們面臨的挑戰(zhàn)更加顯著。垂直領(lǐng)域知識指的是某一特定領(lǐng)域內(nèi)的深層次、專業(yè)的信息內(nèi)容，多模指的是除了文本模態(tài)的知識外，還有表格和圖片等等。這些內(nèi)容的獲取對于視障人群來說尤為困難，因為它們往往需要更加精細和高效的信息處理能力。

2、目前的信息檢索系統(tǒng)，盡管在普適性信息獲取方面有所進步，但在應(yīng)對多模垂直領(lǐng)域知識檢索時，仍然存在諸多不便。對于視障人群，他們在使用這類系統(tǒng)時，面臨的問題主要包括：多模信息檢索過程復(fù)雜、多模信息不夠直觀易懂、缺乏有效的信息過濾和優(yōu)化機制等。這些問題不僅減緩了知識獲取的速度，而且影響了獲取知識的準確性。另一方面，由于視障人群無法通過視覺進行信息的快速篩選和評估，因此，他們更加依賴于信息檢索系統(tǒng)提供的結(jié)果的相關(guān)性和準確性。

3、在這種情況下，傳統(tǒng)的基于關(guān)鍵詞匹配的檢索方法往往難以滿足其需求。由于缺乏對視障人群特定需求的理解和技術(shù)優(yōu)化，現(xiàn)有的問答系統(tǒng)無法有效地引入和處理多模垂直領(lǐng)域知識，導(dǎo)致視障人群在獲取高質(zhì)量的專業(yè)信息時經(jīng)常遭遇困境。此外，視障人群在面對長段文字閱讀時會遇到困難，這進一步增加了他們獲取多模垂直領(lǐng)域知識的難度。為了幫助視障人群更好地獲取和理解這些知識，現(xiàn)有技術(shù)需要在信息的處理、摘要和呈現(xiàn)方式上進行優(yōu)化，以解決上述問題。

技術(shù)實現(xiàn)思路

1、為了解決上述技術(shù)問題，本發(fā)明提供了一種基于最短編輯距離的視障人群的多模垂直領(lǐng)域知識問答方法，在信息的摘要和呈現(xiàn)方式上進行優(yōu)化，能夠為視障人群提供更加精確和個性化的多模垂直領(lǐng)域知識引入問答服務(wù)。

2、本發(fā)明提供了一種基于最短編輯距離的視障人群的多模垂直領(lǐng)域知識問答方法，多模垂直領(lǐng)域知識包括文本模態(tài)的知識、表格模態(tài)的知識和圖片模態(tài)的知識，包括以下步驟：

3、s110，將多模垂直領(lǐng)域知識庫進行結(jié)構(gòu)化處理，其中，將文本模態(tài)的知識分解為標題和內(nèi)容兩部分，用于進行信息檢索和匹配；

4、s120，將表格模態(tài)的知識進行結(jié)構(gòu)識別并生成為html標簽后，分解為表格的標題和內(nèi)容兩部分，用于進行信息檢索和匹配；

5、s130，將圖片模態(tài)的知識通過圖文大模型，生成詳細描述信息，同時將詳細描述信息分解為圖片的標題和內(nèi)容兩部分，用于進行信息檢索和匹配；

6、s140，文本模態(tài)的知識、表格模態(tài)的知識和圖片模態(tài)的知識經(jīng)過處理和分解后，將分解后的標題和內(nèi)容兩部分形成文檔替換原來的字符，并使用id對文檔進行標識；

7、s150，接受用戶查詢請求，采用最短編輯距離算法處理標準化后的查詢請求，計算與多模垂直領(lǐng)域知識庫中每一個文檔的標題和內(nèi)容的編輯距離，篩選出最相關(guān)的前四個文檔；

8、s160，對篩選出的前四個文檔中的內(nèi)容進行綜合評分，評分依據(jù)包括編輯距離、文檔的原始評價指標和用戶歷史交互數(shù)據(jù)；

9、s170，根據(jù)綜合評分對四個文檔按照相關(guān)性從高到低進行重排序；

10、s180，根據(jù)四個文檔的內(nèi)容分別各自生成多層次摘要選項，供視障用戶選擇，同時，利用id標識召回原始的文本模態(tài)的知識、表格模態(tài)的知識或圖片模態(tài)的知識，供非視障用戶進行檢查。

11、進一步地，步驟s110中的將文本模態(tài)的知識分解為標題和內(nèi)容兩部分，具體包括：

12、s1101，運用自動化文本分析工具，對文本模態(tài)的知識內(nèi)容執(zhí)行語義解析；

13、s1102，將解析得到的數(shù)據(jù)標記為標題和內(nèi)容兩個字段，并將標題和內(nèi)容存儲于索引數(shù)據(jù)庫中以支持高效檢索。

14、進一步地，步驟s150中的接受用戶查詢請求，采用最短編輯距離算法處理標準化后的查詢請求，計算與多模垂直領(lǐng)域知識庫中每一個文檔的標題和內(nèi)容的編輯距離，篩選出最相關(guān)的前四個文檔，具體包括：

15、s1501，將用戶自然語言的查詢請求轉(zhuǎn)換為標準查詢格式；

16、s1502，對查詢請求和多模垂直領(lǐng)域知識庫中的標題進行最短編輯距離的計算；

17、s1503，選定距離最短的前四個文檔，并對這前四個文檔的內(nèi)容進行同樣的編輯距離計算。

18、進一步地，步驟s160中的對篩選出的前四個文檔中的內(nèi)容進行綜合評分，評分依據(jù)包括編輯距離、文檔的原始評價指標和用戶歷史交互數(shù)據(jù)，具體包括：

19、s1601，依據(jù)四個文檔中的內(nèi)容與標準化后的查詢請求的編輯距離給予初步評分；

20、s1602，結(jié)合文檔的相關(guān)性指標，包括點擊率和引用次數(shù)，進行評分調(diào)整；

21、s1603，參考用戶的歷史查詢請求和用戶偏好，再次進行評分調(diào)整，得到綜合評分。

22、進一步地，步驟s170中的根據(jù)綜合評分對四個文檔按照相關(guān)性從高到低進行重排序，具體包括：

23、s1701，利用綜合評分對文檔進行排序，形成一個按相關(guān)性降序的列表；

24、s1702，將排序后的文檔列表通過用戶交互接口呈現(xiàn)給視障用戶，提供語音讀出或者點字輸出的信息傳遞方式。

25、進一步地，步驟s180中的多層次摘要選項，包括簡要回答選項和詳細回答選項,用戶根據(jù)需求選擇閱讀簡要回答或詳細回答。

26、本申請實施例還提供一種計算機可讀存儲介質(zhì)，其上存儲有程序，該程序被處理器執(zhí)行時，實現(xiàn)本申請任一實施例提供的一種基于最短編輯距離的視障人群的多模垂直領(lǐng)域知識問答方法的步驟。

27、本申請實施例還提供一種電子設(shè)備，包括：存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，處理器執(zhí)行程序，以實現(xiàn)本申請任一實施例提供的一種基于最短編輯距離的視障人群的多模垂直領(lǐng)域知識問答方法的步驟。

28、本發(fā)明實施例具有以下技術(shù)效果：

29、本發(fā)明提供了基于最短編輯距離的視障人群的多模垂直領(lǐng)域知識問答方法，將多模垂直領(lǐng)域知識庫中的文本模態(tài)的知識、表格模態(tài)的知識和圖片模態(tài)的知識進行結(jié)構(gòu)化處理，分解為標題和內(nèi)容兩部分，并形成文檔替換原來的字符，使用id對文檔進行標識，并采用最短編輯距離算法處理，篩選出最相關(guān)的前四個文檔進行綜合評分和重排序，對四個文檔的內(nèi)容分別各自生成多層次摘要，為視障用戶提供多層次摘要選項，同時，利用所述id標識召回原始的文本模態(tài)的知識、表格模態(tài)的知識或圖片模態(tài)的知識，供非視障人群進行檢查。通過上述方法，能夠為視障人群提供更加精確和個性化的多模垂直領(lǐng)域知識引入問答服務(wù)，并通過非視障用戶的檢查，能夠?qū)柎鸾Y(jié)果和最短編輯距離算法進行優(yōu)化。這種改進方法能夠極大地提高視障人群在獲取多模垂直領(lǐng)域知識時的效率和準確性，同時減少他們獲取無關(guān)信息的勞動強度，提升整體的查詢體驗。

技術(shù)特征：

1.基于最短編輯距離的視障人群多模垂直領(lǐng)域知識問答方法，所述多模垂直領(lǐng)域知識包括文本模態(tài)的知識、表格模態(tài)的知識和圖片模態(tài)的知識，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于最短編輯距離的視障人群的多模垂直領(lǐng)域知識問答方法，其特征在于：

3.根據(jù)權(quán)利要求1所述的基于最短編輯距離的視障人群的多模垂直領(lǐng)域知識問答方法，其特征在于：

4.根據(jù)權(quán)利要求1所述的基于最短編輯距離的視障人群的多模垂直領(lǐng)域知識問答方法，其特征在于：

5.根據(jù)權(quán)利要求1所述的基于最短編輯距離的視障人群的多模垂直領(lǐng)域知識問答方法，其特征在于：

6.根據(jù)權(quán)利要求1所述的基于最短編輯距離的視障人群的多模垂直領(lǐng)域知識問答方法，其特征在于：

7.一種計算機可讀存儲介質(zhì)，其特征在于，其上存儲有程序，該程序被處理器執(zhí)行時，實現(xiàn)如權(quán)利要求1-6中任一項所述的基于最短編輯距離的視障人群的多模垂直領(lǐng)域知識問答方法的步驟。

8.一種電子設(shè)備，其特征在于，包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述程序，以實現(xiàn)如權(quán)利要求1-6中任一項所述的基于最短編輯距離的視障人群的多模垂直領(lǐng)域知識問答方法的步驟。

技術(shù)總結(jié)
本發(fā)明涉及人工智能技術(shù)在助盲教育領(lǐng)域的應(yīng)用，公開了一種基于最短編輯距離的視障人群的多模垂直領(lǐng)域知識問答方法。通過將多模垂直領(lǐng)域知識庫中的文本模態(tài)的知識、表格模態(tài)的知識和圖片模態(tài)的知識進行結(jié)構(gòu)化處理，采用最短編輯距離算法處理標準化后的查詢請求，計算與多模垂直領(lǐng)域知識庫中每一個文檔的標題和內(nèi)容的編輯距離，篩選出最相關(guān)的前四個文檔，對其內(nèi)容進行綜合評分和重排序，根據(jù)四個文檔的內(nèi)容分別各自生成多層次摘要，為視障用戶提供多層次摘要選項，使其能夠選擇簡要回答或詳細回答，提高視障人群在獲取多模垂直領(lǐng)域知識時的效率和準確性，同時減少他們獲取無關(guān)信息的勞動強度，提升整體的查詢體驗。

技術(shù)研發(fā)人員：王煒,俞琦,沈宇帆,陸程紅,許誠
受保護的技術(shù)使用者：杭州小曦智能科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/9