本發(fā)明屬于人工智能和自然語言處理，具體涉及一種強化因果信號指導的自合理化解釋方法及裝置。

背景技術：

1、自合理化解釋(self-explaining?rationalization)作為一項提升模型自解釋能力的技術，是人工智能(artificial?intelligence，ai)領域的一項重要研究任務，在自然語言處理、計算機視覺等研究方向具有重要作用。

2、近年來，隨著深度學習技術(如gpt、llama等預訓練語言模型)的發(fā)展，人工智能模型在自然語言處理、計算機視覺等研究上取得了前所未有的突破，然而這些模型的黑盒問題也愈發(fā)凸顯。由于模型難以解釋，一定程度上降低了預測結(jié)果的可信度，導致其難以被理解和驗證。為了提升模型的可解釋能力，自合理化解釋范式得到了廣泛的研究，其旨在從輸入信息中選擇一個小的且易于人類理解的子集(即解釋或證據(jù))，從而在給出預測結(jié)果時支持和解釋這些結(jié)果。

3、現(xiàn)有主流的研究方法主要包含兩大類：1)基于采樣的方法；2)基于外部組件的方法。這些方法主要集中于直接改進抽樣或調(diào)整解釋以外的信息來提高自合理化解釋模型的性能。然而，這些方法容易產(chǎn)生退化累積問題，退化累積是指生成器產(chǎn)生錯誤或沒有意義的解釋，預測器進而在訓練過程中過擬合這些信息的現(xiàn)象。這是因為這些方法通常無法識別生成器在訓練過程中是否產(chǎn)生了一些沒有意義或有缺陷的解釋。相反，生成器即使生成的不好的解釋，它們也會直接將它們傳遞給預測器。

4、上述自合理化解釋方法由于退化累積問題的產(chǎn)生，導致其預測器收到退化的解釋時，將會引導模型在訓練過程中產(chǎn)生一定的學習偏差，進而導致模型朝著一個不理想的方向訓練。

技術實現(xiàn)思路

1、針對目前提升模型可解釋能力的方法容易產(chǎn)生退化累積問題，本發(fā)明提供了一種強化因果信號指導的自合理化解釋方法及裝置。

2、為了達到上述目的，本發(fā)明采用了下列技術方案：

3、一種強化因果信號指導的自合理化解釋裝置，包括生成器模塊、預測器模塊、因果歸因模塊、強化學習模塊、信號生成模塊；

4、所述生成器模塊用于對模型的輸入信息進行編碼，并結(jié)合概率分布生成用于預測標簽的解釋信息；

5、所述預測器模塊是基于生成器模塊給出的解釋信息進行標簽預測；

6、所述因果歸因模塊用于根據(jù)輸入信息對解釋信息進行因果效應的歸因和量化；

7、所述強化學習模塊用于將生成器模塊和預測器模塊協(xié)同博弈的過程建模為一種馬爾可夫決策過程，并細化解釋信息訓練過程中的學習偏差；

8、所述信號生成模塊用于在結(jié)合預訓練技術為生成器和預測器的博弈優(yōu)化方向提供一個好的指導信號。

9、一種基于前述裝置的強化因果信號指導的自合理化解釋方法，包括以下步驟：

10、步驟1，通過生成器模塊對模型的輸入信息進行編碼，并結(jié)合概率分布生成用于預測標簽的解釋信息；

11、步驟2，基于生成器模塊給出的解釋信息，利用預測器模塊進行標簽預測；

12、步驟3，根據(jù)模型的輸入信息對解釋信息進行因果效應的歸因和量化；

13、步驟4，利用強化學習模塊將生成器和預測器協(xié)同博弈的過程建模為一種馬爾可夫決策過程，并細化解釋信息在協(xié)同博弈過程中的學習偏差；

14、步驟5，通過信號生成模塊結(jié)合預訓練技術為生成器和預測器的博弈優(yōu)化方向提供一個好的指導信號。

15、進一步，所述步驟1的具體操作為：通過生成器fg(·)對輸入信息x進行編碼，并結(jié)合概率分布生成用于預測標簽的解釋信息z；考慮到文本的分類問題，將生成器和預測器分別記為fg(·)和fp(·)；將包含tokenxi的輸入文本記為x＝[x1,x2,...,xl](1≤i≤l)，其中l(wèi)是該文本序列中token的個數(shù)；x的標簽是一個獨熱編碼向量y∈{0,1}c，其中c是類別標簽的個數(shù)；

16、生成器fg(·)首先使用gru(gatedrecurrentunit)對輸入信息x進行編碼；然后，通過二進制掩碼矩陣m＝[m1,m2,...,ml]∈{0,1}的序列從x中選擇信息量最豐富的片段；基于二進制掩碼矩陣m得到解釋信息z，如下：

17、z＝m⊙x＝[m1x1,m2x2,...,mlxl]

18、其中，z的信息量用負信息熵損失進行衡量。

19、進一步，所述步驟2的具體操作為：

20、基于生成器fg(·)給出的解釋信息，利用預測器fp(·)進行標簽預測，其中z＝fg(x)，具體公式如下：

21、

22、其中，θg表示生成器的參數(shù)；θp表示預測器的參數(shù)；s.t.表示使得滿足某個條件，在這里表示優(yōu)化生成器和預測器的參數(shù)，使得模型滿足

23、z被稀疏性和連貫性的正則化項約束，具體公式如下：

24、

25、其中，ω(m)表示二進制掩碼矩陣m的約束條件，包含兩個約束：稀疏性約束和連貫性約束。λ1表示稀疏性約束的超參數(shù)；λ2表示連貫性約束的超參數(shù)。mt表示m中第t個token。

26、進一步，所述步驟3的具體操作為：

27、解釋歸因過程：需要基于模型的輸入信息x，從包含l個token的序列中選擇解釋信息z，具體公式如下：

28、

29、其中，表示模型預測的第k個解釋信息，表示模型的目標預測，k是選取的解釋信息的個數(shù)；a(·)旨在衡量每個候選解釋對于目標預測。

30、因果量化過程：在引入因果干預算子do(·)，包含do(z＝zk)和因此，上述解釋歸因從到zk的過程形式化為以下公式：

31、

32、其中，i(·)表示互信息量的計算。

33、進一步，所述步驟4的具體操作為：

34、利用強化學習模塊將生成器和預測器協(xié)同博弈的過程建模為一種馬爾可夫決策過程，并細化解釋信息在協(xié)同博弈過程中的學習偏差。

35、步驟3給出了從到zk訓練解釋信息的過程，但其在第i步可能生成退化的解釋信息(0＜i＜k)；因此，為了細化每一步訓練偏差，zi到zi+1之間的差異需要進一步量化，具體公式如下：

36、

37、因此能夠得到zi到zi+1之間的因果效應，即：

38、

39、進一步推導，將上述公式轉(zhuǎn)換成概率分布表示為：

40、

41、其中，表示條件熵；上述公式的概率分布能夠基于前一個解釋zi量化zi+1對預測標簽的影響程度；

42、由于生成器和預測器的協(xié)同博弈優(yōu)化機制，將其訓練過程建模成一種馬爾可夫決策過程m＝{s,a,p,r}，其中，s＝{si}表示訓練期間優(yōu)化解釋過程的狀態(tài)集合，而a＝{ai}表示動作集合；特別地，p＝p(si+1|si,ai+1)表示狀態(tài)轉(zhuǎn)移概率，指定了如何通過采取動作ai+1從之前的狀態(tài)si更新狀態(tài)到狀態(tài)si+1；r＝r(si,ai+1)用于量化前一個狀態(tài)si采取動作ai+1后所獲得的獎勵；將上述協(xié)同博弈的訓練描述為一個序列過程(s0,a1,r1,s1,...,ak,rk,sk)；其中，狀態(tài)si由第i次更新進行si＝zi表示；s0＝z0由生成器fg(·)進行初始化；

43、為了減小訓練過程的學習偏差，將上述序列過程重新形式化為其中表示第i次更新中從狀態(tài)si到的轉(zhuǎn)換過程；

44、根據(jù)上述強化過程的動作轉(zhuǎn)換法則，給定一個狀態(tài)si＝zi，則有可利用的動作空間：那么搜索的動作空間可以被形式化為：

45、

46、其中，表示動作空間中的候選動作；基于動作狀態(tài)轉(zhuǎn)移表示為合并到zi，即，

47、

48、基于此，產(chǎn)生動作對于緩解模型學習偏差的影響用獎勵函數(shù)形式化表示，具體如下：

49、

50、進一步，所述步驟5的具體操作為：

51、步驟5.1，預訓練信號；首先，定義一個分類器fa用于產(chǎn)生指導信號a，則

52、fa→a

53、然后，使用輸入信息x和標簽y進行有監(jiān)督學習預訓練分類器fa，具體如下：

54、

55、其中，θa表示分類器fa可學習的參數(shù)，并且表示最優(yōu)解；

56、步驟5.2，理論分析；假設x,z,y和a是合理化解釋模型訓練過程中的隨機變量，分別表示輸入信息，解釋信息，標簽以及指導信號的變量；

57、引理：給定x,z,y，存在一個指導信號a能夠使得預測器fp(·)實現(xiàn)更好的預測；也就是說，實現(xiàn)一個更好的預測，指導信號a的解存在，并且x是a的一個解；

58、證明：給定隨機變量x,z,y和a，其中a是來自x的概率分布；根據(jù)上述公式，為了得到一個好的預測器，需要

59、

60、其中，z＝fg(x)；也就是說，需要最小化h(y,z)去減小指向標簽y的不確定性；假設存在變量a能夠減小學習y的不確定性，即使得，

61、h(y,a)≤h(y,z)

62、根據(jù)互信息公式得到：

63、h(y)-h(y,a)≥h(y)-h(y,z)

64、所以，i(y,a)≥i(y,z)；

65、因為x＝{z,x\z}，其中x\z表示來自于x且與預測不相關的解釋信息，得到：

66、i(y；x)＝i(y；{z,x\z})＝i(y；z)+i(y；x\z|z)

67、根據(jù)互信息的非負性，得到i(y；x\z|z)≥0，因此，i(y；x)≥i(y；z)；

68、進一步，假設i(y,x)＝σ0≥σ1≥i(y,z)≥σ2，其中σ1和σ2分別表示i(y,z)的上界和下界；因此，能夠推出當a＝x時，等式i(y,a)＝σ0≥σ1≥i(y,z)≥σ2成立；即指導信號a的解存在，并且x是a的一個解；引理得證。

69、一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)如權(quán)利要求2至7任一項所述一種強化因果信號指導的自合理化解釋方法的步驟。

70、一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求2至7任一項所述一種強化因果信號指導的自合理化解釋方法的步驟。

71、與現(xiàn)有技術相比本發(fā)明具有以下優(yōu)點：

72、(1)本發(fā)明提出一種結(jié)合因果歸因和強化學習的自合理化解釋方法及裝置，其中，因果歸因能夠使模型輸入對解釋信息的因果效應進行量化和歸因；強化學習將生成器和預測器協(xié)同博弈的過程建模為一種馬爾可夫決策過程，能夠細化解釋信息訓練過程中的學習偏差。

73、(2)本發(fā)明通過構(gòu)建指導信號，能夠指導模型生成器和預測器下一步的訓練動作，減小模型訓練過程中的學習偏差。

74、(3)本發(fā)明在強化因果環(huán)境構(gòu)建指導信號，能夠橋接自合理化解釋模型生成、預測、歸因、強化各個環(huán)節(jié)，量化模型學習偏差，從而有效緩解現(xiàn)有方法存在的退化累積問題。