本發(fā)明屬于大語言模型,具體而言,涉及一種大語言模型問答規(guī)則封裝方法、介質(zhì)及系統(tǒng)。
背景技術(shù):
1、當(dāng)前,大語言模型已經(jīng)在問答系統(tǒng)、內(nèi)容生產(chǎn)等領(lǐng)域取得了廣泛應(yīng)用。這些基于大語言模型的系統(tǒng)能夠針對用戶的自然語言問題給出流暢、連貫的回答。但是,這些大語言模型在生成回答的過程中往往缺乏對相關(guān)規(guī)則的考慮和約束,很容易產(chǎn)生違反道德、隱私、安全等規(guī)則的內(nèi)容。比如,在回答一些涉及倫理問題、個人隱私、社會安全等的問題時,大語言模型可能會給出一些不恰當(dāng)、有爭議的內(nèi)容。
2、針對這一問題,一些研究者嘗試通過在訓(xùn)練大語言模型時加入規(guī)則約束來解決。但是這種方法往往難以覆蓋所有可能出現(xiàn)的規(guī)則場景,而且規(guī)則的設(shè)計和實現(xiàn)也非常復(fù)雜。另一些研究則提出通過構(gòu)建專門的規(guī)則模塊來輔助大語言模型生成符合規(guī)則的回答。但這種方法通常需要大量的人工標注樣本來訓(xùn)練規(guī)則模塊,而且規(guī)則模塊與大語言模型之間的耦合度較高,難以靈活地調(diào)整和擴展。
3、因此,亟需一種更加通用、靈活的大語言模型問答規(guī)則封裝方法,能夠有效利用大語言模型的生成能力和各類專門規(guī)則的約束能力,生成既符合用戶需求又遵循各類規(guī)則要求的高質(zhì)量問答結(jié)果。
技術(shù)實現(xiàn)思路
1、有鑒于此,本發(fā)明提供一種大語言模型問答規(guī)則封裝方法、介質(zhì)及系統(tǒng),能夠解決現(xiàn)有技術(shù)中規(guī)則模塊與大語言模型之間的耦合度較高難以靈活地調(diào)整和擴展的問題。
2、本發(fā)明是這樣實現(xiàn)的:
3、本發(fā)明的第一方面提供一種大語言模型問答規(guī)則封裝方法,其中,包括以下步驟:
4、s10、構(gòu)建多個輕量級神經(jīng)網(wǎng)絡(luò),每個輕量級神經(jīng)網(wǎng)絡(luò)對應(yīng)一種規(guī)則類型;每一種輕量級神經(jīng)網(wǎng)絡(luò)設(shè)置有一個觸發(fā)詞組,包括多個觸發(fā)詞,計算全部觸發(fā)詞組兩兩之間的相似度;具體包括:首先,構(gòu)建多個輕量級神經(jīng)網(wǎng)絡(luò),每個輕量級神經(jīng)網(wǎng)絡(luò)對應(yīng)一種規(guī)則類型。這種輕量級神經(jīng)網(wǎng)絡(luò)采用多層感知機結(jié)構(gòu),用于文本分類和內(nèi)容修改。輸入是待處理的文本向量,輸出是修改后的文本向量及其對應(yīng)的規(guī)則符合度得分。其次,設(shè)置每個輕量級神經(jīng)網(wǎng)絡(luò)都有一個觸發(fā)詞組,包括多個觸發(fā)詞。為了計算全部觸發(fā)詞組兩兩之間的相似度,具體包括:將每個觸發(fā)詞組轉(zhuǎn)化為詞向量、計算兩個觸發(fā)詞組之間的余弦相似度、對所有詞對的相似度取平均值作為最終的觸發(fā)詞組相似度。該步驟的目的是建立規(guī)則之間的關(guān)聯(lián)關(guān)系;
5、s20、將全部的輕量級神經(jīng)網(wǎng)絡(luò)形成規(guī)則圖,所述規(guī)則圖的節(jié)點為每個輕量級神經(jīng)網(wǎng)絡(luò)、節(jié)點的值為對應(yīng)的觸發(fā)詞組,所述規(guī)則圖的邊為兩個節(jié)點對應(yīng)的觸發(fā)詞組之間的相似度;該步驟的目的是構(gòu)建一個可以檢索和遍歷的規(guī)則關(guān)系網(wǎng)絡(luò);
6、s30、接收提問者輸入的問題,將所述問題輸入大語言模型,得到初始回答;該步驟的目的是獲得大語言模型生成的初步回答作為基礎(chǔ);
7、s40、計算所述初始回答與每個觸發(fā)詞組的關(guān)聯(lián)度,以關(guān)聯(lián)度最高的觸發(fā)詞組對應(yīng)的節(jié)點作為起始節(jié)點,以關(guān)聯(lián)度高于最低閾值中最低的觸發(fā)詞組對應(yīng)的節(jié)點作為目的節(jié)點;計算所述初始回答與每個觸發(fā)詞組的關(guān)聯(lián)度。以關(guān)聯(lián)度最高的觸發(fā)詞組對應(yīng)的節(jié)點作為起始節(jié)點,以關(guān)聯(lián)度高于最低閾值中最低的觸發(fā)詞組對應(yīng)的節(jié)點作為目的節(jié)點。其中,最低閾值可以通過以下步驟獲得:收集大量樣本數(shù)據(jù)、計算樣本數(shù)據(jù)中觸發(fā)詞組的關(guān)聯(lián)度分布、選擇能夠覆蓋80%樣本的最小關(guān)聯(lián)度值作為最低閾值,默認值為0.5。該步驟的目的是確定需要應(yīng)用的規(guī)則范圍,即確定起始節(jié)點和目的節(jié)點;
8、s50、在所述規(guī)則圖中,采用圖搜索算法確定從起始節(jié)點到目的節(jié)點的最短路徑,所述最短路徑上的節(jié)點構(gòu)成規(guī)則處理序列;
9、s60、將所述初始回答依次輸入規(guī)則處理序列中的每個節(jié)點對應(yīng)的輕量級神經(jīng)網(wǎng)絡(luò),每個輕量級神經(jīng)網(wǎng)絡(luò)對輸入的內(nèi)容進行對應(yīng)規(guī)則處理,輸出規(guī)則化結(jié)果;具體包括:對輸入的文本進行語義分析,識別出違反對應(yīng)規(guī)則的內(nèi)容,并對違規(guī)內(nèi)容進行修改或刪除,最后輸出符合規(guī)則要求的文本。該步驟的目的是利用各類規(guī)則對初始回答進行逐步修正和完善;
10、s70、將規(guī)則處理序列中最后一個輕量級神經(jīng)網(wǎng)絡(luò)輸出的規(guī)則化結(jié)果作為對提問者問題的最終回答。
11、在上述技術(shù)方案的基礎(chǔ)上,本發(fā)明的一種大語言模型問答規(guī)則封裝方法還可以做如下改進:
12、其中,所述規(guī)則類型至少包括道德規(guī)則、輿論規(guī)則、隱私規(guī)則、安全規(guī)則、文化規(guī)則、法律規(guī)則、情感規(guī)則、邏輯規(guī)則。
13、進一步的,所述每個輕量級神經(jīng)網(wǎng)絡(luò)對輸入的內(nèi)容進行對應(yīng)規(guī)則處理,具體是對輸入的文本進行語義分析,識別出違反對應(yīng)規(guī)則的內(nèi)容,并對違規(guī)內(nèi)容進行修改或刪除,最后輸出符合規(guī)則要求的文本。
14、進一步的,所述輕量級神經(jīng)網(wǎng)絡(luò)采用多層感知機結(jié)構(gòu),用于文本分類和內(nèi)容修改,輸入是待處理的文本向量,輸出是修改后的文本向量及其對應(yīng)的規(guī)則符合度得分。
15、進一步的,所述輕量級神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集的構(gòu)建步驟具體包括收集大量符合和違反特定規(guī)則的文本樣本、對樣本進行預(yù)處理和標注、將樣本轉(zhuǎn)化為向量形式、劃分訓(xùn)練集和驗證集。
16、進一步的,所述輕量級神經(jīng)網(wǎng)絡(luò)的訓(xùn)練步驟,具體包括初始化網(wǎng)絡(luò)參數(shù)、使用批量梯度下降法進行前向傳播和反向傳播、計算損失函數(shù)并更新參數(shù)、在驗證集上評估模型性能、重復(fù)以上步驟直至收斂或達到預(yù)設(shè)訓(xùn)練輪次。
17、進一步的,所述觸發(fā)詞組兩兩之間的相似度的計算步驟,具體是將每個觸發(fā)詞組轉(zhuǎn)化為詞向量、計算兩個觸發(fā)詞組之間的余弦相似度、對所有詞對的相似度取平均值作為最終的觸發(fā)詞組相似度。
18、進一步的,所述最低閾值,默認為0.5。
19、所述最低閾值也可以采用下面的步驟獲得:收集大量樣本數(shù)據(jù)、計算樣本數(shù)據(jù)中觸發(fā)詞組的關(guān)聯(lián)度分布、選擇能夠覆蓋80%樣本的最小關(guān)聯(lián)度值作為最低閾值。
20、進一步的,所述道德規(guī)則用于識別和處理涉及倫理道德問題的內(nèi)容,對應(yīng)的觸發(fā)詞組至少包括表示善良、正直、誠實、公平、責(zé)任、尊重、同情、正義等的詞語或其同義詞、近義詞、反義詞;
21、所述輿論規(guī)則用于識別和處理可能引發(fā)輿論爭議的內(nèi)容,對應(yīng)的觸發(fā)詞組至少包括表示熱點、爭議、輿論、傳播、影響、觀點、態(tài)度、傾向的詞語或其同義詞、近義詞、反義詞;
22、所述隱私規(guī)則用于識別和保護涉及個人隱私的信息,對應(yīng)的觸發(fā)詞組至少包括表示個人信息、隱私權(quán)、保密、數(shù)據(jù)保護、匿名、授權(quán)、同意、泄露的詞語或其同義詞、近義詞、反義詞;
23、所述安全規(guī)則用于識別和處理可能威脅公共安全的內(nèi)容,對應(yīng)的觸發(fā)詞組至少表示包括危險、威脅、風(fēng)險、安全、防護、預(yù)警、應(yīng)急、防范的詞語或其同義詞、近義詞、反義詞;
24、所述文化規(guī)則用于識別和尊重不同文化背景的內(nèi)容,對應(yīng)的觸發(fā)詞組至少包括表示文化、傳統(tǒng)、習(xí)俗、禁忌、禮儀、信仰、多元化、包容的詞語或其同義詞、近義詞、反義詞;
25、所述法律規(guī)則用于識別和處理涉及法律問題的內(nèi)容,對應(yīng)的觸發(fā)詞組至少包括表示法律、法規(guī)、條例、權(quán)利、義務(wù)、違法、合法、訴訟的詞語或其同義詞、近義詞、反義詞;
26、所述情感規(guī)則用于識別和調(diào)節(jié)回答中的情感傾向,對應(yīng)的觸發(fā)詞組至少包括表示情緒、感受、態(tài)度、語氣、共鳴、安撫、鼓勵、理解的詞語或其同義詞、近義詞、反義詞;
27、所述邏輯規(guī)則用于保證回答的邏輯性和連貫性,對應(yīng)的觸發(fā)詞組至少包括表示推理、論證、因果、前提、結(jié)論、矛盾、一致性、合理性的詞語或其同義詞、近義詞、反義詞。
28、本發(fā)明的第二方面提供一種計算機可讀存儲介質(zhì),其中,所述計算機可讀存儲介質(zhì)中存儲有程序指令,所述程序指令在計算機中運行時,用于執(zhí)行上述的一種大語言模型問答規(guī)則封裝方法。
29、本發(fā)明的第三方面提供一種大語言模型問答規(guī)則封裝系統(tǒng),其中,包含上述的計算機可讀存儲介質(zhì)。
30、與現(xiàn)有技術(shù)相比較,本發(fā)明提供的一種大語言模型問答規(guī)則封裝方法、介質(zhì)及系統(tǒng)的有益效果是:首先,該方法構(gòu)建了多個輕量級神經(jīng)網(wǎng)絡(luò)作為各類規(guī)則的實現(xiàn)模塊,每個模塊都針對特定的規(guī)則類型進行優(yōu)化訓(xùn)練。這種分而治之的設(shè)計大大提高了規(guī)則處理的靈活性和針對性。
31、其次,該方法將這些規(guī)則神經(jīng)網(wǎng)絡(luò)構(gòu)建成一個規(guī)則關(guān)系圖,通過圖搜索算法確定最優(yōu)的規(guī)則處理序列。這種基于規(guī)則關(guān)系圖的方法不僅能夠自動識別和應(yīng)用相關(guān)規(guī)則,而且能夠充分利用規(guī)則之間的關(guān)聯(lián)性,生成更加全面、系統(tǒng)的規(guī)則化回答。
32、再次,該方法根據(jù)初步回答與各規(guī)則觸發(fā)詞組的關(guān)聯(lián)度動態(tài)確定需要應(yīng)用的規(guī)則范圍,避免了簡單地窮舉所有規(guī)則的低效做法。同時,還提出了一種自適應(yīng)調(diào)整規(guī)則最低閾值的方法,進一步提高了規(guī)則應(yīng)用的針對性和魯棒性。
33、總的來說,本發(fā)明提出的大語言模型問答規(guī)則封裝方法充分發(fā)揮了大語言模型的生成能力和各類專門規(guī)則的約束能力,能夠生成既符合用戶需求又遵循各類規(guī)則要求的高質(zhì)量問答結(jié)果。相比于現(xiàn)有技術(shù),該方法具有更強的通用性、靈活性和自適應(yīng)性,在提高問答質(zhì)量的同時也確保了輸出內(nèi)容的安全性和合規(guī)性。解決了現(xiàn)有技術(shù)中規(guī)則模塊與大語言模型之間的耦合度較高難以靈活地調(diào)整和擴展的問題。