本技術(shù)涉及人工智能開發(fā)與金融科技領(lǐng)域,尤其涉及基于人工智能的句子分析方法、裝置、計算機設(shè)備及存儲介質(zhì)。
背景技術(shù):
1、句法分析是自然語言處理中的關(guān)鍵技術(shù)之一,其基本任務(wù)是確定句子的句法結(jié)構(gòu)或句子中詞匯的依存關(guān)系。目前,對于金融保險行業(yè),保險業(yè)務(wù)場景下大致有以下三種類型的業(yè)務(wù)需求:1.某業(yè)務(wù)更改為某業(yè)務(wù);2.取消業(yè)務(wù);3.辦理業(yè)務(wù)。對于保險企業(yè)在保險業(yè)務(wù)場景下所服務(wù)的用戶,這些用戶提出的服務(wù)請求所包含的業(yè)務(wù)請求句子數(shù)據(jù)通常是以上三種類型的排列組合,每條業(yè)務(wù)請求句子數(shù)據(jù)中可能包含1~3種類型,每種類型又會自由組合,每種類型可能包含多個業(yè)務(wù),使得業(yè)務(wù)請求句子數(shù)據(jù)通常存在較為復(fù)雜的內(nèi)容結(jié)構(gòu)。如果需要從用戶提出的業(yè)務(wù)請求句子數(shù)據(jù)中提取用戶的意圖,通常先需要業(yè)務(wù)請求句子數(shù)據(jù)進行句子分析并簡化的處理,再對簡化后的句子進行用戶意圖提取。
2、對業(yè)務(wù)請求句子數(shù)據(jù)進行句子分析并簡化的處理,目前保險企業(yè)所使用的處理方式通常是基于規(guī)則匹配的處理方式,這種方式需要工手寫規(guī)則來分析句子的所有可能的語法結(jié)構(gòu),處理效率不高。并且業(yè)務(wù)請求句子數(shù)據(jù)中可能會存在很多復(fù)雜的不符合常見語法規(guī)則的結(jié)構(gòu)歧義,基于規(guī)則匹配的處理方式往往無法對業(yè)務(wù)請求句子數(shù)據(jù)進行準確的分析簡化處理,導(dǎo)致處理準確率較低。
技術(shù)實現(xiàn)思路
1、本技術(shù)實施例的目的在于提出一種基于人工智能的句子分析方法、裝置、計算機設(shè)備及存儲介質(zhì),以解決現(xiàn)有的企業(yè)所使用的處理方式通常是基于規(guī)則匹配的處理方式需要工手寫規(guī)則來分析句子的所有可能的語法結(jié)構(gòu),處理效率不高,并且業(yè)務(wù)請求句子數(shù)據(jù)中可能會存在很多復(fù)雜的不符合常見語法規(guī)則的結(jié)構(gòu)歧義,基于規(guī)則匹配的處理方式往往無法對業(yè)務(wù)請求句子數(shù)據(jù)進行準確的分析簡化處理,導(dǎo)致處理準確率較低的技術(shù)問題。
2、為了解決上述技術(shù)問題,本技術(shù)實施例提供一種基于人工智能的句子分析方法,采用了如下所述的技術(shù)方案:
3、獲取預(yù)先構(gòu)建的復(fù)合句數(shù)據(jù);其中,所述復(fù)合句數(shù)據(jù)為包含有多個意圖的句子數(shù)據(jù);
4、對所述復(fù)合句數(shù)據(jù)進行轉(zhuǎn)換處理,得到對應(yīng)的字序列;
5、基于預(yù)設(shè)的標注方式對所述字序列進行標注處理,得到對應(yīng)的目標字序列;其中,所述目標字序列中包括與所述字序列對應(yīng)的標簽數(shù)據(jù);
6、基于所述目標字序列對預(yù)先構(gòu)建的初始句子分析模型進行訓(xùn)練,獲取所述初始句子分析模型的訓(xùn)練輸出結(jié)果;其中,所述句子分析模型包括預(yù)訓(xùn)練語言模型、線性層、條件隨機場以及預(yù)測層;
7、基于所述訓(xùn)練輸出結(jié)果與所述標簽數(shù)據(jù)確定所述初始句子分析模型的訓(xùn)練損失;
8、基于所述訓(xùn)練損失對所述句子分析模型進行模型優(yōu)化處理,得到對應(yīng)的目標句子分析模型;
9、基于所述目標分析模型對用戶輸入的目標句子數(shù)據(jù)進行分析處理,生成與所述目標句子數(shù)據(jù)對應(yīng)的簡單句結(jié)果。
10、進一步的,所述獲取預(yù)先構(gòu)建的復(fù)合句數(shù)據(jù)的步驟,具體包括:
11、獲取輸入的初始復(fù)合句數(shù)據(jù);
12、基于預(yù)設(shè)的詞語替換策略對所述初始復(fù)合句數(shù)據(jù)進行替換處理,得到對應(yīng)的第一句子數(shù)據(jù);
13、基于預(yù)設(shè)的句子組合策略對所述初始復(fù)合句數(shù)據(jù)進行組合處理,得到對應(yīng)的第二句子數(shù)據(jù);
14、基于所述初始復(fù)合句數(shù)據(jù)、所述第一句子數(shù)據(jù)以及所述第二句子數(shù)據(jù)構(gòu)建得到所述復(fù)合句數(shù)據(jù)。
15、進一步的,所述基于所述目標字序列對預(yù)先構(gòu)建的初始句子分析模型進行訓(xùn)練,獲取所述初始句子分析模型的訓(xùn)練輸出結(jié)果的步驟,具體包括:
16、將所述目標字序列輸入至所述初始句子分析模型內(nèi);
17、通過所述預(yù)訓(xùn)練語言模型對所述目標字序列進行數(shù)據(jù)轉(zhuǎn)換處理,得到對應(yīng)的隱狀態(tài)向量;
18、通過所述線性層對所述隱狀態(tài)向量進行數(shù)據(jù)映射處理,得到對應(yīng)的句子特征矩陣;
19、通過所述條件隨機場對句子矩陣特征進行處理,得到對應(yīng)的打分數(shù)據(jù);
20、基于所述預(yù)測層對打分數(shù)據(jù)進行歸一化處理,得到對應(yīng)的預(yù)測概率分布數(shù)據(jù);
21、將所述預(yù)測概率分布數(shù)據(jù)作為所述初始句子分析模型的訓(xùn)練輸出結(jié)果。
22、進一步的,所述基于所述訓(xùn)練輸出結(jié)果與所述標簽數(shù)據(jù)確定所述初始句子分析模型的訓(xùn)練損失的步驟,具體包括:
23、確定目標損失函數(shù);
24、基于所述目標損失函數(shù)對所述訓(xùn)練輸出與所述標簽數(shù)據(jù)進行計算處理,得到對應(yīng)的差異數(shù)據(jù);
25、將所述差異數(shù)據(jù)作為所述初始句子分析模型的訓(xùn)練損失。
26、進一步的,在所述基于所述訓(xùn)練損失對所述句子分析模型進行模型優(yōu)化處理,得到對應(yīng)的目標句子分析模型的步驟之后,還包括:
27、基于所述復(fù)合句數(shù)據(jù)構(gòu)建驗證數(shù)據(jù)集;
28、基于所述驗證數(shù)據(jù)集對所述目標句子分析模型進行性能驗證;
29、若所述目標句子分析模型未通過性能驗證,獲取預(yù)設(shè)的模型優(yōu)化策略;
30、基于所述模型優(yōu)化策略對所述目標句子分析模型進行優(yōu)化處理,得到優(yōu)化后的目標句子分析模型;
31、所述基于所述目標分析模型對用戶輸入的目標句子數(shù)據(jù)進行分析處理,生成與所述目標句子數(shù)據(jù)對應(yīng)的簡單句結(jié)果的步驟,包括:
32、基于所述優(yōu)化后的目標分析模型對用戶輸入的目標句子數(shù)據(jù)進行分析處理,生成與所述目標句子數(shù)據(jù)對應(yīng)的簡單句結(jié)果。
33、進一步的,在所述基于所述驗證數(shù)據(jù)集對所述目標句子分析模型進行性能驗證的步驟之后,還包括:
34、若所述目標句子分析模型通過性能驗證,則保留所述目標句子分析模型的模型參數(shù)與配置數(shù)據(jù);
35、確定與所述目標句子分析模型對應(yīng)的目標存儲方式;
36、基于所述目標存儲方式對所述目標句子分析模型進行存儲處理。
37、進一步的,在所述基于所述目標分析模型對用戶輸入的目標句子數(shù)據(jù)進行分析處理,生成與所述目標句子數(shù)據(jù)對應(yīng)的簡單句結(jié)果的步驟之后,還包括:
38、調(diào)用預(yù)先構(gòu)建的意圖識別模型;
39、基于所述意圖識別模型對所述簡單句結(jié)果進行意圖識別,得到與所述簡單句結(jié)果對應(yīng)的用戶意圖;
40、基于所述用戶意圖執(zhí)行對應(yīng)的響應(yīng)處理。
41、為了解決上述技術(shù)問題,本技術(shù)實施例還提供一種基于人工智能的句子分析裝置,采用了如下所述的技術(shù)方案:
42、第一獲取模塊,用于獲取預(yù)先構(gòu)建的復(fù)合句數(shù)據(jù);其中,所述復(fù)合句數(shù)據(jù)為包含有多個意圖的句子數(shù)據(jù);
43、轉(zhuǎn)換模塊,用于對所述復(fù)合句數(shù)據(jù)進行轉(zhuǎn)換處理,得到對應(yīng)的字序列;
44、標注模塊,用于基于預(yù)設(shè)的標注方式對所述字序列進行標注處理,得到對應(yīng)的目標字序列;其中,所述目標字序列中包括與所述字序列對應(yīng)的標簽數(shù)據(jù);
45、訓(xùn)練模塊,用于基于所述目標字序列對預(yù)先構(gòu)建的初始句子分析模型進行訓(xùn)練,獲取所述初始句子分析模型的訓(xùn)練輸出結(jié)果;其中,所述句子分析模型包括預(yù)訓(xùn)練語言模型、線性層、條件隨機場以及預(yù)測層;
46、第一確定模塊,用于基于所述訓(xùn)練輸出結(jié)果與所述標簽數(shù)據(jù)確定所述初始句子分析模型的訓(xùn)練損失;
47、第一優(yōu)化模塊,用于基于所述訓(xùn)練損失對所述句子分析模型進行模型優(yōu)化處理,得到對應(yīng)的目標句子分析模型;
48、分析模塊,用于基于所述目標分析模型對用戶輸入的目標句子數(shù)據(jù)進行分析處理,生成與所述目標句子數(shù)據(jù)對應(yīng)的簡單句結(jié)果。
49、為了解決上述技術(shù)問題,本技術(shù)實施例還提供一種計算機設(shè)備,采用了如下所述的技術(shù)方案:
50、獲取預(yù)先構(gòu)建的復(fù)合句數(shù)據(jù);其中,所述復(fù)合句數(shù)據(jù)為包含有多個意圖的句子數(shù)據(jù);
51、對所述復(fù)合句數(shù)據(jù)進行轉(zhuǎn)換處理,得到對應(yīng)的字序列;
52、基于預(yù)設(shè)的標注方式對所述字序列進行標注處理,得到對應(yīng)的目標字序列;其中,所述目標字序列中包括與所述字序列對應(yīng)的標簽數(shù)據(jù);
53、基于所述目標字序列對預(yù)先構(gòu)建的初始句子分析模型進行訓(xùn)練,獲取所述初始句子分析模型的訓(xùn)練輸出結(jié)果;其中,所述句子分析模型包括預(yù)訓(xùn)練語言模型、線性層、條件隨機場以及預(yù)測層;
54、基于所述訓(xùn)練輸出結(jié)果與所述標簽數(shù)據(jù)確定所述初始句子分析模型的訓(xùn)練損失;
55、基于所述訓(xùn)練損失對所述句子分析模型進行模型優(yōu)化處理,得到對應(yīng)的目標句子分析模型;
56、基于所述目標分析模型對用戶輸入的目標句子數(shù)據(jù)進行分析處理,生成與所述目標句子數(shù)據(jù)對應(yīng)的簡單句結(jié)果。
57、為了解決上述技術(shù)問題,本技術(shù)實施例還提供一種計算機可讀存儲介質(zhì),采用了如下所述的技術(shù)方案:
58、獲取預(yù)先構(gòu)建的復(fù)合句數(shù)據(jù);其中,所述復(fù)合句數(shù)據(jù)為包含有多個意圖的句子數(shù)據(jù);
59、對所述復(fù)合句數(shù)據(jù)進行轉(zhuǎn)換處理,得到對應(yīng)的字序列;
60、基于預(yù)設(shè)的標注方式對所述字序列進行標注處理,得到對應(yīng)的目標字序列;其中,所述目標字序列中包括與所述字序列對應(yīng)的標簽數(shù)據(jù);
61、基于所述目標字序列對預(yù)先構(gòu)建的初始句子分析模型進行訓(xùn)練,獲取所述初始句子分析模型的訓(xùn)練輸出結(jié)果;其中,所述句子分析模型包括預(yù)訓(xùn)練語言模型、線性層、條件隨機場以及預(yù)測層;
62、基于所述訓(xùn)練輸出結(jié)果與所述標簽數(shù)據(jù)確定所述初始句子分析模型的訓(xùn)練損失;
63、基于所述訓(xùn)練損失對所述句子分析模型進行模型優(yōu)化處理,得到對應(yīng)的目標句子分析模型;
64、基于所述目標分析模型對用戶輸入的目標句子數(shù)據(jù)進行分析處理,生成與所述目標句子數(shù)據(jù)對應(yīng)的簡單句結(jié)果。
65、與現(xiàn)有技術(shù)相比,本技術(shù)實施例主要有以下有益效果:
66、本技術(shù)首先獲取預(yù)先構(gòu)建的復(fù)合句數(shù)據(jù),并對所述復(fù)合句數(shù)據(jù)進行轉(zhuǎn)換處理,得到對應(yīng)的字序列;然后基于預(yù)設(shè)的標注方式對所述字序列進行標注處理,得到對應(yīng)的目標字序列;之后基于所述目標字序列對預(yù)先構(gòu)建的初始句子分析模型進行訓(xùn)練,獲取所述初始句子分析模型的訓(xùn)練輸出結(jié)果;后續(xù)基于所述訓(xùn)練輸出結(jié)果與所述標簽數(shù)據(jù)確定所述初始句子分析模型的訓(xùn)練損失;進一步基于所述訓(xùn)練損失對所述句子分析模型進行模型優(yōu)化處理,得到對應(yīng)的目標句子分析模型;最后基于所述目標分析模型對用戶輸入的目標句子數(shù)據(jù)進行分析處理,生成與所述目標句子數(shù)據(jù)對應(yīng)的簡單句結(jié)果。本技術(shù)通過對預(yù)先構(gòu)建的復(fù)合句數(shù)據(jù)進行轉(zhuǎn)換處理與標注處理得到目標字序列,進而使用目標字序列對預(yù)先構(gòu)建的初始句子分析模型進行訓(xùn)練處理與優(yōu)化處理以得到目標句子分析模型,后續(xù)通過所述目標分析模型對用戶輸入的目標句子數(shù)據(jù)進行分析處理來實現(xiàn)快速準確地生成與所述目標句子數(shù)據(jù)對應(yīng)的簡單句結(jié)果,相比于現(xiàn)有技術(shù)中才有的基于規(guī)則匹配進行句子分析并簡化的處理方式,不需要進行工手寫規(guī)則來分析句子的所有可能的語法結(jié)構(gòu),并且能準確地完成對于存在很多復(fù)雜的不符合常見語法規(guī)則的結(jié)構(gòu)歧義的復(fù)合句數(shù)據(jù)的分析簡化處理,有效地提高了對句子數(shù)據(jù)進行分析處理的處理效率,保證了得到的簡單句結(jié)果的準確性。