本發(fā)明涉及人工智能，特別是涉及一種基于常識推理的文本情緒深層原因識別方法及裝置。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，越來越多帶有主觀情緒的文本數(shù)據(jù)產(chǎn)生，譬如電商領(lǐng)域的評論數(shù)據(jù)，心理咨詢領(lǐng)域的對話數(shù)據(jù)等。這些情緒是一系列由感覺、認知、思想和行為等多種因素綜合產(chǎn)生的身心狀態(tài)。這種帶有情緒的文本蘊含著豐富的主觀知識，反映著人們的喜好與感受。挖掘這些偏好知識具有重要的價值。決策者從現(xiàn)象中看到本質(zhì)，實現(xiàn)從“知其然”到“知其所以然”，解決根源原因的問題。譬如在對話系統(tǒng)中，通過分析用戶在對話表達中蘊含的情感和原因，機器可以生成更契合的回復(fù)；對于產(chǎn)品或服務(wù)運營，企業(yè)可以通過分析評論數(shù)據(jù)中用戶的情緒和誘發(fā)的內(nèi)在原因，準確把握用戶的真實體驗和需求。這有利于明確改進和優(yōu)化方向，推出更符合消費者預(yù)期的產(chǎn)品和服務(wù)。

2、針對情緒原因發(fā)現(xiàn)的問題，現(xiàn)有工作大多只關(guān)注激發(fā)情緒的淺層原因上，對深層原因的研究很薄弱。此處的“淺層”和“深層”指語義的認知程度。淺層原因一般指出現(xiàn)在文本字面上的情緒原因或者事件，人們可以直接提取原因事件所在的句子，或通過“導(dǎo)致”“由于”等線索詞從文本中抽取某些片段作為原因。譬如針對文本“小明由于考試不及格，很傷心?！笨梢猿槿∥谋酒潍@得負面情緒的原因是“考試不及格”。這些方法可以識別表層的簡單原因。然而，情緒的表達多樣且復(fù)雜，有些情緒原因比較模糊和隱晦。如圖1所示，針對文本“最近買了這款雜牌手機真鬧心，打個電話’請問問....你你...是是....等等....等等....’。電話給客服，她說可以嘗試把手機放在一個更高的位置，或者放在窗戶邊加個信號放大器。受不了了，下一步換華為。”這段評論中含了“憤怒”的情緒。通過字面匹配，提取淺層原因事件是“買了這款手機”，或者“打個電話”。然而，這些中性的動作不帶有任何情感傾向，并非造成憤怒情緒的根本原因，即“手機信號不好”。這種并沒有直接出現(xiàn)在文本中，但人們很容易通過理解文本語義并結(jié)合常識來獲知的原因，我們稱之為深層次原因。識別深層原因可以更好地揭示事物的本質(zhì)，更準確地指導(dǎo)決策。因此，本發(fā)明聚焦深層情緒原因的發(fā)現(xiàn)，該任務(wù)具有重要的商業(yè)價值。另一方面，由于深層原因常常不直接出現(xiàn)在文本字面上，傳統(tǒng)基于抽取的方法難以識別。而且深層原因通常涉及語義的理解和常識推理，但機器卻不擅長抽象知識的理解和推理能力。在這個具有挑戰(zhàn)的任務(wù)上，目前缺乏研究，學(xué)術(shù)研究價值巨大。

3、在學(xué)術(shù)領(lǐng)域，傳統(tǒng)方法研究情感原因的獨立提取，或者情感-原因?qū)Φ穆?lián)合提取。其中情感原因提取任務(wù)指從給定文本中抽取情緒相關(guān)的片段或詞組作為原因；情緒-原因?qū)Φ奶崛∪蝿?wù)一般是子句級的抽取，旨在從給定文檔中抽取一系列具有因果關(guān)系的句子，以此作為情緒-原因?qū)?。然而這兩類工作都屬于淺層的情感識別。據(jù)了解，目前沒有對深層情感原因發(fā)現(xiàn)的研究。

4、針對情緒原因發(fā)現(xiàn)，傳統(tǒng)技術(shù)可以歸納為三類，分別為基于原因觸發(fā)詞的規(guī)則方法、基于統(tǒng)計的機器學(xué)習(xí)方法和基于深度學(xué)習(xí)的方法。其中第一類方法，人們在經(jīng)驗指導(dǎo)下通過觀察數(shù)據(jù)的語言特征來構(gòu)建規(guī)則集，進而抽取情緒表達及其原因。而統(tǒng)計方法主要通過情感原因相關(guān)的特征工程，將情感原因提取問題看作是文本分類或序列標注問題來提取情感原因。此類方法一般先假定觸發(fā)情感的原因是一個或者一系列的事件，情感原因就在情感詞附近。一般的流程如下，先找出一段話中有意義的實詞，然后確定分類的特征，比如事件特征、語言學(xué)特征、距離特征、詞法特征等，最后利用這些特征完成情感原因的分類或序列標注。隨著深度學(xué)習(xí)在自然語言處理領(lǐng)域中的廣泛應(yīng)用，基于神經(jīng)網(wǎng)絡(luò)的方法從2017年開始被應(yīng)用于文本情感原因提取。其一般過程為：首先將詞映射到向量空間中；其次通過神經(jīng)網(wǎng)絡(luò)模型來對文本特征進行自動提??；最后使用softmax函數(shù)計算最大的概率提取情感原因?，F(xiàn)有的深度提取模型包括卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、長短時記憶網(wǎng)絡(luò)、門控循環(huán)網(wǎng)絡(luò)、transformer、圖卷積網(wǎng)絡(luò)等，通過組合、變形、融合注意力機制等方式來構(gòu)造更復(fù)雜高效的模型。此外，還有研究通過多任務(wù)學(xué)習(xí)框架將情感分類與情感原因抽取任務(wù)進行聯(lián)合學(xué)習(xí)，或者引入子句相對位置信息、外部知識與外部情感詞匯等來提升情緒原因識別的性能。在上述方法中，規(guī)則法一般識別目標是文本中的一段短語，規(guī)則通常包含詞匯特征或語義特征。但受限于規(guī)則的有限性，覆蓋度和完備度不足。統(tǒng)計法一般立足于特征工程，同時依賴大規(guī)模訓(xùn)練數(shù)據(jù)，因此缺點在于過度依賴特征的選取。這些特征通常需要人工設(shè)計，可擴展性弱，難以處理復(fù)雜的語義信息和語句之間的邏輯。深度學(xué)習(xí)方法仍處于識別并抽取表面原因事件的階段，缺乏發(fā)現(xiàn)隱式或深層的原因的機制，且推理能力方面仍較弱。

5、在專利領(lǐng)域，目前缺乏在識別情感深層原因的技術(shù)。已有工作主要集中在抽取淺層原因上。cn113486657a通過在詞編碼表示階段融合外部知識來輔助情感原因?qū)Φ某槿　Ｓ捎趯χR利用的不充分，對子句之間的因果關(guān)系的判斷力仍不強。cn113505583a和cn114065769b分別使用語義決策圖神經(jīng)網(wǎng)絡(luò)和圖注意力網(wǎng)絡(luò)來抽取情感原因子句；cn114357164a使用了融合高斯先驗的注意力模塊對情感原因?qū)M行抽取，但方法對情感子句集和原因子句集應(yīng)用笛卡爾積進行組合，導(dǎo)致計算成本較高效率較低；cn113988048a提出利用帶有反思機制的多輪機器閱讀理解方法來驗證提取的情感原因?qū)?，減少噪音。然而，這些方法都適合識別淺層原因。通過序列標注或者分類的方式等方式，從給定的文本中抽取片段或句子作為原因。對于情感原因的識別停留在文字表面原因，忽視了這些表面原因事件中蘊含著與情緒產(chǎn)生更具備因果邏輯關(guān)系深層原因。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種基于常識推理的文本情緒深層原因識別方法及裝置，用于發(fā)現(xiàn)蘊含在文本語義中的情緒深層原因。

2、為了實現(xiàn)上述目的，本發(fā)明提供了一種基于常識推理的文本情緒深層原因識別方法，包括：

3、s1、首先對文本中的句子提取出潛在情感子句和潛在原因子句，再通過將子句作為節(jié)點，子句間的依存關(guān)系作為邊，分別構(gòu)建情感子句圖和原因子句圖；對于情感子句圖和原因子句圖中的每個節(jié)點，先檢索出常識，將檢索出的常識通過新增為對應(yīng)節(jié)點的鄰接知識節(jié)點來擴展原圖，得到擴展后的情感子句圖和原因子句圖；

4、s2、對于擴展后的情感子句圖和原因子句圖，通過多層的圖注意力層的計算更新了節(jié)點，在計算過程中為節(jié)點表征融入了子句上下文的信息以及其對應(yīng)外部常識知識的信息，得到更新后的情感子句圖和原因子句圖；

5、s3、對更新后的情感子句圖和原因子句圖，先篩選出各自用于組合配對的節(jié)點，然后將篩選出的情感子句圖的節(jié)點與原因子句圖的節(jié)點進行配對，得到多個候選情感-原因組合；在得到一個候選情感-原因組合后，將該候選組合的情感子句圖節(jié)點與原因子句圖節(jié)點在圖結(jié)構(gòu)中的隱層向量表示進行拼接，得到該候選組合的聯(lián)合表示向量；接著對候選情感-原因組合進行多頭注意力交互計算，計算得出的相關(guān)度最高的情感-原因向量組合；對相關(guān)度最高的情感-原因向量組合對向量進行解碼，獲得深層情感原因。

6、作為優(yōu)選方案，在步驟s1中，先對文本中的句子進行預(yù)處理分詞，并將得到的詞匯在情感詞典sentiwordnet中檢索，把詞匯出現(xiàn)在情感詞典sentiwordnet中的子句視為潛在情感子句，得到潛在情感子句集合并將文本中的全部句子都視為潛在原因子句，得到潛在原因子句集合

7、作為優(yōu)選方案，使用預(yù)訓(xùn)練模型roberta對文本中的所有子句進行編碼，目的是得到每個子句ci的向量表征vi，以便更好地理解和處理自然語言。在輸入roberta前，在子句的前部和后部分別加入特殊字符[cls]和[sep]以標記句子的開始和結(jié)束，每個子句表示為其中，wi表示子句中的詞。

8、作為優(yōu)選方案，當為一個子句生成常識知識時，將該子句替換占位符，由此作為提示輸入gpt大模型，通過采樣可得到該子句的一組常識描述k＝{k1,k2,...,k10}；考慮到這些描述可能含有噪音，通過點互信息pmi來過濾，點互信息pmi可以計算子句vi和每個描述k之間的相關(guān)性，參考公式(1)，

9、

10、由于vi和k都是句子，使用prlm來估計概率，并使用子句vi作為條件來計算常識描述與子句之間的互信息：

11、

12、pmi衡量了子句和知識之間的依存關(guān)系，相關(guān)性越大，pmi值越大；即當pmi分數(shù)為正數(shù)，則兩者之間存在積極相關(guān)；當pmi為零，則沒有關(guān)聯(lián)；當pmi為負數(shù)，則子句與知識之間可能是相互矛盾的；通過只保留pmi分數(shù)為正的知識，并將其擴展為相應(yīng)子句節(jié)點的鄰接知識節(jié)點。

13、作為優(yōu)選方案，在步驟s1中，使用comet模型從知識庫中檢索與每個子句相關(guān)的常識；對于原因子句圖，使用4種與因果相關(guān)的類型：xintend、xwant、xneed、xeffect，其中，xintend描述了行為背后的意圖或目的；xeffect描述了事件或行為導(dǎo)致的影響；xwant代表一個人想要實現(xiàn)的目標或愿望；xneed代表某人的需要或要求；對于情感子句圖，使用3種與情感表達相關(guān)的類型：xreact、oreact、xattr，其中，xreact代表自己或他人對事件的感受和反應(yīng)；xattr代表屬性或特質(zhì)。

14、作為優(yōu)選方案，對新增知識節(jié)點中comet生成的知識進行情緒識別，按照情緒類別將知識進行劃分，然后挑選出與文檔中的情緒類別相符的知識，將情緒映射為情感極性，使用情感詞典sentiwordnet來進行情感分數(shù)計算，

15、對于某條常識知識，從情感詞典sentiwordnet中查詢其中每個詞的positive分數(shù)、negative分數(shù)和objective分數(shù)，然后分別求三種分數(shù)的平均值，得到rpos,rneg和rneu。再根據(jù)公式(3)：

16、

17、計算得到這條常識知識的情感分數(shù)rs，如果rs>0則代表常識知識為積極的，rs<0則為消極的，否則為中立的，在計算得到所有的常識知識情感后，將常識知識按照情緒分為三組，根據(jù)輸入的文本中蘊含的情緒來選擇與之匹配的常識。

18、作為優(yōu)選方案，在步驟s2中，對于原因子句圖，擴展后的原因字句圖的節(jié)點數(shù)量n為原文檔子句數(shù)量與所有節(jié)點新增鄰接知識節(jié)點之和，

19、假設(shè)表示第t層圖注意力的輸入節(jié)點表示，為節(jié)點vi的第t-1層輸出表示，第一層圖注意力的輸入為對于圖中的每個節(jié)點通過以下的聚集方式進行更新，如公式4所示：

20、

21、其中，為輸出表示，wt和bt是學(xué)習(xí)的參數(shù)，n(i)表示與節(jié)點vi相連的鄰居，然后，即可計算注意力權(quán)重用于表示節(jié)點vi和節(jié)點vj的相關(guān)性

22、

23、

24、其中，[,；,]是拼接操作。通過堆疊t層圖注意力層建模句間關(guān)系，得到最后一層圖注意力的輸出子句表示，記為ht＝(h1,h2,...,hn)t∈rn×d。

25、作為優(yōu)選方案，在步驟s3中，情感子句圖和原因子句圖的節(jié)點篩選規(guī)則如下：

26、對于原因子句圖，不考慮原始文檔子句的節(jié)點，僅保留擴展的知識節(jié)點，以此避免發(fā)現(xiàn)一些淺層原因；

27、對于情感子句圖，僅考慮情感子句圖中的原始文檔子句的節(jié)點，不考慮擴展的知識節(jié)點；

28、僅考慮與情感子句在原始文檔中相對位置≤2的原因子句的擴展鄰接知識節(jié)點，原因子句圖中的擴展節(jié)點是作為一個獨立原因納入與情感句配對的范圍。

29、作為優(yōu)選方案，在步驟s3中，候選組合的聯(lián)合表示向量為

30、將所有候選組合表示組成矩陣h＝[h1,h2,...,hn]∈rt×2d，其中t是所有滿足條件的候選情緒-原因組合的數(shù)目，為了充分獲取一個情感-原因組合的全局信息，在h上使用多頭注意力機制，如下公式(7)所示：

31、

32、其中，nh表示注意力頭的數(shù)量，dk為多頭注意力隱層向量維度，為了顯式引入相對位置信息，加入相對位置編碼并通過公式進行拼接，其中wp和bp是學(xué)習(xí)的參數(shù)；

33、通過解碼器對情感-原因向量組合進行解碼：

34、首先初始化解碼器的隱藏狀態(tài)hi序列，然后計算解碼器在時間步t的上下文向量在每個時間步t上，解碼器gru層接受輸入的向量，得到時間步t的隱藏狀態(tài)st，通過公式8和9得到注意力分布：

35、

36、

37、其中，vt、wh、ws和battn為可學(xué)習(xí)參數(shù)，接下來將所得到的注意力分布與編碼器的隱藏狀態(tài)進行加權(quán)求和得到上下文向量將與st拼接后輸入到兩個線性層得到詞匯分布pvocab，其中v‘、v、b‘、b為可學(xué)習(xí)參數(shù)，pvocab為詞匯表中所有單詞的概率分布；

38、對于每一個時間步t，生成句子的概率pgen通過上下文向量解碼器狀態(tài)st和解碼器輸入xt三者得到其中，bgen為可學(xué)習(xí)參數(shù)，σ為sigmoid激活函數(shù)；接下來，pgen是軟開關(guān)，根據(jù)詞匯概率pvocab來決定是從詞匯表中生成單詞還是根據(jù)注意力分布at從源文本中復(fù)制單詞；對于最終的詞匯概率分布，使用公式10來表示：

39、

40、在這個公式中，如果w是詞庫內(nèi)單詞，pvocab大于零；如果w沒有出現(xiàn)在源文本中，則將等于零；在訓(xùn)練過程中，時間步t的損失值為目標單詞的負對數(shù)似然值：整個序列的整體損失為：

41、本發(fā)明還提供一種基于常識推理的文本情緒深層原因識別裝置，包括：

42、常識因果圖構(gòu)建單元，用于對文本中的句子提取出潛在情感子句和潛在原因子句，再通過將子句作為節(jié)點，子句間的依存關(guān)系作為邊，分別構(gòu)建情感子句圖和原因子句圖；對于情感子句圖和原因子句圖中的每個節(jié)點，先檢索出常識，將檢索出的常識通過新增為對應(yīng)節(jié)點的鄰接知識節(jié)點來擴展原圖，得到擴展后的情感子句圖和原因子句圖；

43、情感語義圖表征單元，用于對擴展后的情感子句圖和原因子句圖，通過多層的圖注意力層的計算更新了節(jié)點，在計算過程中為節(jié)點表征融入了子句上下文的信息以及其對應(yīng)外部常識知識的信息，得到更新后的情感子句圖和原因子句圖；

44、圖交互推理生成單元，用于對更新后的情感子句圖和原因子句圖，先篩選出各自用于組合配對的節(jié)點，然后將篩選出的情感子句圖的節(jié)點與原因子句圖的節(jié)點進行配對，得到多個候選情感-原因組合；在得到一個候選情感-原因組合后，將該候選組合的情感子句圖節(jié)點與原因子句圖節(jié)點在圖結(jié)構(gòu)中的隱層向量表示進行拼接，得到該候選組合的聯(lián)合表示向量；接著對候選情感-原因組合進行多頭注意力交互計算，計算得出的相關(guān)度最高的情感-原因向量組合；對相關(guān)度最高的情感-原因向量組合對向量進行解碼，獲得深層情感原因。

45、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：

46、本發(fā)明先識別文中的潛在情感子句和潛在原因子句，構(gòu)建相應(yīng)的情感子句圖和原因子句圖；然后，檢索出與這些子句相關(guān)的情感和因果常識來擴展圖結(jié)構(gòu)，得到兩個圖神經(jīng)網(wǎng)絡(luò)分別表征情感和原因圖的上下文語義以及常識知識；并利用交互注意力機制找出相關(guān)度最大的情感-原因組合子句對，進一步解碼出具有較強因果關(guān)系的深層原因與對應(yīng)的情感。由于充分刻畫文本語法結(jié)構(gòu)并融合相關(guān)的外部常識，本發(fā)明能更好地解碼出深層的情感原因，實現(xiàn)對文本表面情感原因事件背后潛在的深層情感原因挖掘，有效提升了情感原因推斷的準確性和可靠性。