本發(fā)明涉及智能客服響應(yīng)生成，特別涉及一種智能客服響應(yīng)生成方法和系統(tǒng)。

背景技術(shù)：

1、售后客戶(hù)每天都會(huì)接收到大量用戶(hù)的咨詢(xún)，因此建立一種智能客服響應(yīng)生成系統(tǒng)以快速響應(yīng)用戶(hù)的常見(jiàn)問(wèn)題，可以減輕客服人員的工作壓力和提高服務(wù)效率，并確保所有用戶(hù)獲得的信息都是統(tǒng)一和準(zhǔn)確的，避免由于信息傳遞不一致導(dǎo)致的誤解和問(wèn)題；還可以通過(guò)問(wèn)答系統(tǒng)可以收集用戶(hù)的問(wèn)題數(shù)據(jù)，從而了解用戶(hù)最關(guān)心的問(wèn)題和服務(wù)的痛點(diǎn)。

2、現(xiàn)有技術(shù)中，transform可以作為問(wèn)答模型的基礎(chǔ)架構(gòu)，transform中的編碼基于多頭注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)對(duì)用戶(hù)問(wèn)題進(jìn)行編碼，獲得用戶(hù)問(wèn)題的語(yǔ)義向量；transform中的解碼器通過(guò)多頭注意力機(jī)制、前饋神經(jīng)網(wǎng)絡(luò)和掩碼多頭自注意力機(jī)制對(duì)用戶(hù)問(wèn)題的語(yǔ)義向量進(jìn)行解碼，輸出對(duì)應(yīng)的答案。

3、但是，當(dāng)用戶(hù)的問(wèn)題存在多個(gè)實(shí)體需要關(guān)注時(shí)，如問(wèn)題中既包含電費(fèi)也包含電表時(shí)，可能導(dǎo)致transform的注意力機(jī)制在分配注意力權(quán)重時(shí)出現(xiàn)偏差，導(dǎo)致所獲得的上下文含義和用戶(hù)問(wèn)題的焦點(diǎn)偏離，從而生成的回答與用戶(hù)問(wèn)題相關(guān)性不高。

技術(shù)實(shí)現(xiàn)思路

1、基于此，為了解決現(xiàn)有技術(shù)中，當(dāng)用戶(hù)問(wèn)題存在多實(shí)體時(shí)，生成的回答與問(wèn)題相關(guān)度不高的技術(shù)問(wèn)題，本發(fā)明提供一種智能客服響應(yīng)生成方法和系統(tǒng)。

2、本發(fā)明提供了一種智能客服響應(yīng)生成方法，包括：

3、將用戶(hù)問(wèn)題輸入到問(wèn)答大模型中，輸出用戶(hù)問(wèn)題對(duì)應(yīng)的客服回答；

4、所述問(wèn)答大模型包括依次連接的實(shí)體掩碼模塊、編碼器模塊、解碼器模塊和輸出模塊；所述編碼器模塊包括依次連接的第一多頭注意力機(jī)制模塊和掩碼實(shí)體注意力機(jī)制模塊；所述實(shí)體掩碼模塊用于對(duì)用戶(hù)問(wèn)題中的部分實(shí)體進(jìn)行掩碼；所述編碼器模塊用于對(duì)掩碼后的用戶(hù)問(wèn)題進(jìn)行編碼，獲得第一問(wèn)題語(yǔ)義向量；所述解碼器模塊中的第一多頭注意力機(jī)制模塊用于對(duì)第一問(wèn)題語(yǔ)義向量進(jìn)行加權(quán)處理，獲得第一回答語(yǔ)義向量；所述解碼器模塊中的掩碼實(shí)體注意力機(jī)制模塊用于增加第一回答語(yǔ)義向量中與被掩碼的實(shí)體存在關(guān)系的實(shí)體或事件的權(quán)重，獲得第二回答語(yǔ)義向量；所述輸出模塊用于根據(jù)第二回答語(yǔ)義向量獲得對(duì)應(yīng)的客服回答。

5、進(jìn)一步地，所述實(shí)體掩碼模塊，具體包括：

6、實(shí)體識(shí)別層，用于對(duì)用戶(hù)問(wèn)題進(jìn)行實(shí)體識(shí)別，獲得用戶(hù)問(wèn)題中的所有實(shí)體；

7、實(shí)體關(guān)系提取層，用于提取用戶(hù)問(wèn)題中存在關(guān)系的實(shí)體和事件以及互相存在關(guān)系的實(shí)體；

8、實(shí)體選擇層，用于從所有實(shí)體中隨機(jī)選擇k個(gè)實(shí)體并標(biāo)記為

9、實(shí)體掩碼生成層，用于生成與待回答用戶(hù)問(wèn)題序列長(zhǎng)度相同的實(shí)體掩碼向量，其中，在實(shí)體掩碼向量中對(duì)應(yīng)位置的掩碼值設(shè)置為0；其余位置的掩碼值設(shè)置為1；

10、關(guān)系掩碼層，用于生成與待回答用戶(hù)問(wèn)題序列長(zhǎng)度相同的關(guān)系掩碼向量，其中，與存在關(guān)系的實(shí)體或事件在關(guān)系掩碼向量中對(duì)應(yīng)的掩碼值用li表示；其余位置的掩碼值設(shè)置為0；

11、實(shí)體掩碼層；用于將實(shí)體掩碼向量與用戶(hù)問(wèn)題相乘，獲得被掩碼的待回答用戶(hù)問(wèn)題；

12、關(guān)系掩碼層，用于將關(guān)系掩碼向量與待回答用戶(hù)問(wèn)題相乘，獲得與被掩碼的實(shí)體存在關(guān)系的實(shí)體或事件。

13、進(jìn)一步地，所述掩碼實(shí)體注意力機(jī)制模塊，具體包括：

14、掩碼實(shí)體注意力計(jì)算層，用于生成掩碼實(shí)體增強(qiáng)矩陣

15、

16、其中，是掩碼實(shí)體增強(qiáng)矩陣中第i行第j列的元素值；表示第i個(gè)被掩碼的實(shí)體；nli表示與第i個(gè)被掩碼的實(shí)體存在關(guān)系的實(shí)體或事件對(duì)應(yīng)的token數(shù)量；e表示自然數(shù)；

17、掩碼實(shí)體加權(quán)層，用于將矩陣與多頭注意力機(jī)制模塊輸出的注意力得分矩陣相乘：

18、

19、其中，表示掩碼實(shí)體注意力機(jī)制模塊的輸出；i表示全1矩陣；attentionoutputmasked表示編碼器模中多頭注意力機(jī)制模塊的輸出的注意力得分矩陣。

20、進(jìn)一步地，所述解碼器模塊，還包括：

21、與所述第一多頭注意力機(jī)制模塊輸入端連接的掩碼多頭自注意力機(jī)制模塊，用于在計(jì)算自注意力權(quán)重時(shí)將正在生成的輸出位置之后的所有位置進(jìn)行屏蔽；

22、與所述掩碼實(shí)體注意力機(jī)制模塊輸出端連接的第一前饋神經(jīng)網(wǎng)絡(luò)模塊，用于對(duì)第二回答語(yǔ)義向量進(jìn)行非線性操作。

23、進(jìn)一步地，所述編碼器模塊，具體包括：依次連接的第二多頭注意力機(jī)制模塊和第二前饋神經(jīng)網(wǎng)絡(luò)模塊；

24、所述第二多頭注意力機(jī)制模塊通過(guò)計(jì)算用戶(hù)問(wèn)題中任意兩個(gè)位置的注意力權(quán)重，以捕捉用戶(hù)問(wèn)題中的長(zhǎng)距離依賴(lài)關(guān)系；

25、所述第二前饋神經(jīng)網(wǎng)絡(luò)模塊用于對(duì)第二前饋神經(jīng)網(wǎng)絡(luò)模塊的輸出進(jìn)行非線性變換，獲得第一問(wèn)題語(yǔ)義向量。

26、進(jìn)一步地，所述輸出模塊，具體包括：依次連接的線性變換層、softmax激活函數(shù)層和貪心解碼層；

27、所述線性變換層用于對(duì)所述第二回答語(yǔ)義向量進(jìn)行線性變換；

28、所述softmax激活函數(shù)層用于將線性變換層的輸出轉(zhuǎn)換為概率分布；

29、所述貪心解碼層用于根據(jù)述softmax激活函數(shù)層輸出的概率分布使用貪心解碼策略以選擇概率最高的單詞作為輸出。

30、本發(fā)明提供了一種智能客服響應(yīng)生成系統(tǒng)，包括：

31、響應(yīng)生成模塊，用于將用戶(hù)問(wèn)題輸入到問(wèn)答大模型中，輸出用戶(hù)問(wèn)題對(duì)應(yīng)的客服回答；

32、所述問(wèn)答大模型包括依次連接的實(shí)體掩碼模塊、編碼器模塊、解碼器模塊和輸出模塊；所述編碼器模塊包括依次連接的第一多頭注意力機(jī)制模塊和掩碼實(shí)體注意力機(jī)制模塊；所述實(shí)體掩碼模塊用于對(duì)用戶(hù)問(wèn)題中的部分實(shí)體進(jìn)行掩碼；所述編碼器模塊用于對(duì)掩碼后的用戶(hù)問(wèn)題進(jìn)行編碼，獲得第一問(wèn)題語(yǔ)義向量；所述解碼器模塊中的第一多頭注意力機(jī)制模塊用于對(duì)第一問(wèn)題語(yǔ)義向量進(jìn)行加權(quán)處理，獲得第一回答語(yǔ)義向量；所述解碼器模塊中的掩碼實(shí)體注意力機(jī)制模塊用于增加第一回答語(yǔ)義向量中與被掩碼的實(shí)體存在關(guān)系的實(shí)體或事件的權(quán)重，獲得第二回答語(yǔ)義向量；所述輸出模塊用于根據(jù)第二回答語(yǔ)義向量獲得對(duì)應(yīng)的客服回答。

33、本發(fā)明采用的上述至少一個(gè)技術(shù)方案能夠達(dá)到以下有益效果：

34、在本發(fā)明提供的智能客服響應(yīng)生成方法中，通過(guò)對(duì)用戶(hù)問(wèn)題中的部分實(shí)體進(jìn)行遮擋，迫使模型更多地依賴(lài)上下文中的其他詞匯來(lái)推斷被遮擋實(shí)體的意義，這種方式使得模型不會(huì)過(guò)分依賴(lài)特定實(shí)體的出現(xiàn)來(lái)生成響應(yīng)，而是學(xué)會(huì)從實(shí)體與實(shí)體間的關(guān)系和實(shí)體與事件間的關(guān)系來(lái)獲得整體語(yǔ)境信息，增強(qiáng)了模型對(duì)上下文信息的理解和利用能力，有助于模型更準(zhǔn)確地理解多實(shí)體情況下用戶(hù)問(wèn)題的關(guān)注焦點(diǎn)；并且為了彌補(bǔ)由于在編碼過(guò)程中對(duì)實(shí)體進(jìn)行遮擋造成的信息損失，在編碼器解碼過(guò)程中放大與被遮擋實(shí)體存在關(guān)系的實(shí)體權(quán)重，從而在生成回答時(shí)，可以關(guān)注與被遮擋實(shí)體相關(guān)的信息，從而在遮擋信息的情況下生成與問(wèn)題焦點(diǎn)更相關(guān)的答案。

技術(shù)特征：

1.一種智能客服響應(yīng)生成方法，其特征在于，包括：

2.如權(quán)利要求1所述的智能客服響應(yīng)生成方法，其特征在于，所述實(shí)體掩碼模塊，具體包括：

3.如權(quán)利要求2所述的智能客服響應(yīng)生成方法，其特征在于，所述掩碼實(shí)體注意力機(jī)制模塊，具體包括：

4.如權(quán)利要求1所述的智能客服響應(yīng)生成方法，其特征在于，所述解碼器模塊，還包括：

5.如權(quán)利要求1所述的智能客服響應(yīng)生成方法，其特征在于，所述編碼器模塊，具體包括：依次連接的第二多頭注意力機(jī)制模塊和第二前饋神經(jīng)網(wǎng)絡(luò)模塊；

6.如權(quán)利要求1所述的智能客服響應(yīng)生成方法，其特征在于，所述輸出模塊，具體包括：依次連接的線性變換層、softmax激活函數(shù)層和貪心解碼層；

7.一種智能客服響應(yīng)生成系統(tǒng)，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種智能客服響應(yīng)生成方法和系統(tǒng)，涉及智能客服響應(yīng)生成技術(shù)領(lǐng)域。該方法首先對(duì)語(yǔ)句中的部分實(shí)體進(jìn)行遮擋，迫使模型更多地依賴(lài)上下文中的其他詞匯來(lái)推斷被遮擋實(shí)體的意義，而不會(huì)過(guò)分依賴(lài)特定實(shí)體的出現(xiàn)來(lái)生成響應(yīng)，而是學(xué)會(huì)從整體語(yǔ)境中提取信息，從而增強(qiáng)模型對(duì)上下文信息的理解和利用能力，有助于模型在遇到問(wèn)題中含有未知實(shí)體時(shí)仍能作出合理的推斷。其次，通過(guò)放大與被遮擋實(shí)體存在關(guān)系的實(shí)體權(quán)重，模型可以更加關(guān)注與被遮擋實(shí)體相關(guān)的上下文信息，即使存在多個(gè)實(shí)體，模型也可以根據(jù)與被遮擋實(shí)體相關(guān)的信息來(lái)生成回答，從而使得生成的答案更加相關(guān)和準(zhǔn)確。

技術(shù)研發(fā)人員：于永濱,杜文勇,張才俊,張莉,王殊,徐胤
受保護(hù)的技術(shù)使用者：國(guó)家電網(wǎng)有限公司客戶(hù)服務(wù)中心
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19