本發(fā)明涉及一種緩解大語言模型幻覺的方法，同時也涉及一種緩解大語言模型幻覺的系統(tǒng)，屬于自然語言處理。

背景技術：

1、大語言模型（llms）是一類具有大規(guī)模參數(shù)和計算能力的自然語言處理模型，它們通過深度學習和自然語言處理技術，能夠理解和生成自然語言。這些模型在預訓練階段學習廣泛的語境和語言結構，使得它們在下游任務中能夠實現(xiàn)高效的自然語言生成和理解。llms的應用范圍廣泛，包括但不限于文本摘要、問答系統(tǒng)、機器翻譯等，它們正在深刻地改變電商行業(yè)，提供從客戶服務到個性化推薦等一系列創(chuàng)新應用的可能性。

2、然而，大語言模型在應用中也面臨著挑戰(zhàn)，尤其是所謂的“幻覺”問題。這是指大語言模型在生成文本時，可能會產生看似邏輯合理，但實際上無法站得住腳的答案。這種現(xiàn)象在法律語言模型應用中尤為明顯，模型給出的答案可能以偏概全，或者基于錯誤的推理，導致大量虛假信息的產生。當前的解決方案大多依賴于大語言模型的訓練數(shù)據(jù)，但未能從根本上解決幻覺問題。為了應對這一挑戰(zhàn)，研究人員正在探索如何檢測和減少幻覺現(xiàn)象，例如通過提供外部知識和增加推理步數(shù)來提升大語言模型檢測幻覺的能力。此外，還有研究專注于構建基準數(shù)據(jù)集，用于檢測和評估大語言模型幻覺，如halueval數(shù)據(jù)集。這些努力旨在提高大語言模型的可靠性和準確性，使其在法律、醫(yī)療等關鍵領域中得到更廣泛的應用。

技術實現(xiàn)思路

1、本發(fā)明所要解決的首要技術問題在于提供一種緩解大語言模型幻覺的方法。

2、本發(fā)明所要解決的另一技術問題在于提供一種緩解大語言模型幻覺的系統(tǒng)。

3、為實現(xiàn)上述技術目的，本發(fā)明采用以下的技術方案：

4、根據(jù)本發(fā)明實施例的第一方面，提供一種緩解大語言模型幻覺的方法，包括如下步驟：

5、獲取大語言模型中第t個時間步的多個候選詞，其中t為正整數(shù)；

6、針對每一個候選詞，獲取所述大語言模型的每一層中高層神經網(wǎng)絡的預測概率；

7、針對所述候選詞，將所述大語言模型的每一層中高層神經網(wǎng)絡的預測概率進行歸一化處理，以使得概率之和為1，從而形成針對所述候選詞的跨層預測分布；

8、基于所述候選詞的跨層預測分布，計算所述跨層預測分布的熵作為所述候選詞的跨層熵；

9、基于所述候選詞的跨層熵，對所述候選詞在第t個時間步下的初始預測概率進行修正，以獲取所述候選詞在第t個時間步下的修正概率；

10、根據(jù)所述大語言模型中，第t個時間步下每一個候選詞的修正概率，輸出修正概率的值最高的候選詞，作為第t個時間步對應的輸出結果。

11、其中較優(yōu)地，所述方法還包括：

12、令t＝t＋1，以獲取第t＋1個時間步對應的輸出結果；

13、重復以上過程，并將各個時間步對應的輸出結果按照時間先后進行排序，從而輸出所述大語言模型最終的回答結果。

14、其中較優(yōu)地，針對每一個候選詞，獲取所述大語言模型的每一層中高層神經網(wǎng)絡的預測概率，具體包括：

15、獲取所述候選詞在所述大語言模型選定層級范圍內每一層神經網(wǎng)絡的預測輸出；其中，i表示所述大語言模型的第i層神經網(wǎng)絡，layer表示所述大語言模型的中高層神經網(wǎng)絡對應的層級范圍；

16、采用softmax函數(shù)對每一層神經網(wǎng)絡的預測輸出進行概率轉化，以獲取每一層神經網(wǎng)絡的預測概率。

17、其中較優(yōu)地，所述候選詞的跨層預測分布通過以下步驟形成：

18、基于每一層神經網(wǎng)絡的預測概率進行歸一化處理，以獲取所述大語言模型的第i層神經網(wǎng)絡的歸一概率；

19、其中，?；

20、基于所述大語言模型選定層級范圍內每一層神經網(wǎng)絡的歸一概率，形成所述候選詞的跨層預測分布。

21、其中較優(yōu)地，采用以下公式計算所述跨層預測分布的熵：

22、。

23、其中較優(yōu)地，所述候選詞在第t個時間步下的修正概率通過以下步驟獲?。?/p>

24、獲取所述候選詞在第t個時間步下的初始預測概率；其中，＝，i為所述大語言模型選定層級范圍的最后一層神經網(wǎng)絡；

25、以指數(shù)冪形式引入跨層熵修正項，以對所述初始預測概率進行修正，形成所述候選詞在第t個時間步下的修正概率；

26、其中，；e表示指數(shù)函數(shù)運算；λ表示調整系數(shù)，用于控制對初始預測概率的修正程度。

27、其中較優(yōu)地，獲取大語言模型中第t個時間步的多個候選詞，具體包括：

28、獲取大語言模型中，第t個時間步下的候選詞表，其中，所述候選詞表中包括多個初始預測概率各不相同的候選詞；其中，所述初始預測概率為所述候選詞在最后一層神經網(wǎng)絡輸出的概率值；

29、從所述候選詞表中選取最高概率候選詞的概率值；

30、將所述最高概率候選詞的概率值的α倍設置為閾值；其中，α設置為0.001～0.1；

31、根據(jù)所述閾值，從所述候選詞表中篩選出概率值高于所述閾值的候選詞，作為所述大語言模型中，第t個時間步的多個候選詞。

32、根據(jù)本發(fā)明實施例的第二方面，提供一種緩解大語言模型幻覺的系統(tǒng)，包括：

33、數(shù)據(jù)獲取單元，用于獲取大語言模型中第t個時間步的多個候選詞；

34、概率轉化單元，與所述數(shù)據(jù)獲取單元連接，以針對每一個候選詞，獲取所述大語言模型的每一層中高層神經網(wǎng)絡的預測概率；

35、跨層分布單元，與所述概率轉化單元連接，以針對所述候選詞，將所述大語言模型的每一層中高層神經網(wǎng)絡的預測概率進行歸一化處理，以使得概率之和為1，從而形成針對所述候選詞w的跨層預測分布；

36、計算單元，與所述跨層分布單元連接，以基于所述候選詞的跨層預測分布，計算所述跨層預測分布的熵作為所述候選詞的跨層熵；

37、修正單元，與所述計算單元連接，以基于所述候選詞的跨層熵，對所述候選詞在第t個時間步下的初始預測概率進行修正，以獲取所述候選詞在第t個時間步下的修正概率；

38、輸出單元，與所述修正單元連接，以根據(jù)所述大語言模型中，第t個時間步下每一個候選詞的修正概率，輸出修正概率的值最高的候選詞，作為第t個時間步對應的輸出結果。

39、根據(jù)本發(fā)明實施例的第三方面，提供一種緩解大語言模型幻覺的系統(tǒng)，包括處理器和存儲器，所述處理器和所述存儲器耦接；其中，所述存儲器用于存儲計算機程序；所述處理器用于運行存儲在所述存儲器中的計算機程序，執(zhí)行上述緩解大語言模型幻覺的方法。

40、與現(xiàn)有技術相比較，本發(fā)明具有以下的技術效果：

41、（1）縱向收集大語言模型的每一層中高層神經網(wǎng)絡的預測概率，全局性地分析內部預測的變化，對大語言模型內部的預測概率變化進行充分捕捉，盡可能地避免偶然性的發(fā)生。

42、（2）對熵的增強是從候選詞粒度入手的，而不是由一整層直接進行對比，即使選取的這一層并不能凸顯這一時間步解碼中每一個候選詞的事實性，但由于每個候選詞在層間的變化是不一致的，因此，單獨對每一個候選詞作跨層預測分析，可以更細粒度地增強事實性概率，從而實現(xiàn)更精細可靠的解碼增強。

43、（3）無需額外的模型訓練，可以直接作為模塊插入到transformer架構中作為可選解碼算法，即插即用，并且具有高泛化性，在多種模型基座上均有效提升效力。

44、（4）在長文本的開放式生成情境下，通過設置閾值來限定候選詞的范圍，只選取詞表中概率值高于這個閾值的候選詞，從而形成頭部候選詞的集合。由此，通過只對頭部候選詞的集合范圍內的候選詞計算跨層熵并進行生成概率修正，大大降低了計算成本，保持了可觀的推理速率。