本申請涉及文本處理,具體涉及一種文本應答方法、裝置、計算機設備和存儲介質。
背景技術:
1、隨著aigc(ai?generated?content,人工智能生成內容)技術的興起,人們熱衷于使用各種ai工具進行創(chuàng)作,例如,比較常見的ai工具有各種基于llm(large?languagemodel,大規(guī)模語言模型)搭建的聊天工具等等。
2、然而,由于模型本身因素,這類大規(guī)模語言模型可能會出現(xiàn)無法準確理解用戶輸入的文本的現(xiàn)象,尤其是針對于用戶輸入了一些攜帶有修辭手法的文本,語言模型往往會從文本的字面意思進行理解,導致模型輸出的結果不正確。
技術實現(xiàn)思路
1、基于此,有必要針對上述技術問題,提供一種文本應答方法、裝置、計算機設備和存儲介質,用以解決現(xiàn)有的語言模型在處理用戶輸入的部分文本所存在的應答結果不準確的問題。
2、第一方面,本申請?zhí)峁┮环N文本應答方法,包括:
3、獲取待處理文本;
4、根據(jù)文本規(guī)范化模型對所述待處理文本進行處理,得到所述待處理文本對應的規(guī)范文本;
5、將所述規(guī)范文本輸入至預設的語言模型,得到所述待處理文本對應的應答文本。
6、作為本申請的一種可行實施例,所述根據(jù)文本規(guī)范化模型對所述待處理文本進行處理,得到所述待處理文本對應的規(guī)范文本,包括:
7、根據(jù)所述待處理文本對應的場景領域信息,獲取與所述場景領域信息對應的目標文本規(guī)范化模型;所述目標文本規(guī)范化模型是基于所述場景領域信息對應的訓練文本訓練得到;
8、根據(jù)所述目標文本規(guī)范化模型對所述待處理文本進行處理,得到所述待處理文本對應的規(guī)范文本。
9、作為本申請的一種可行實施例,所述將所述規(guī)范文本輸入至預設的語言模型,得到所述待處理文本對應的應答文本,包括:
10、將所述待處理文本輸入至預設的語言模型中進行處理,得到第一應答文本,以及將所述規(guī)范文本輸入至所述語言模型中進行處理,得到第二應答文本;
11、根據(jù)所述第一應答文本和所述第二應答文本之間的相似度,將所述第一應答文本和所述第二應答文本中的至少一者確定為所述待處理文本對應的應答文本。
12、作為本申請的一種可行實施例,所述根據(jù)所述第一應答文本和所述第二應答文本之間的相似度,將所述第一應答文本和所述第二應答文本中的至少一者確定為所述待處理文本對應的應答文本,包括:
13、若所述第一應答文本和所述第二應答文本之間的相似度大于預設的相似度閾值,則將所述第一應答文本確定為所述待處理文本對應的應答文本;
14、若所述第一應答文本和所述第二應答文本之間的相似度小于預設的相似度閾值,則將所述第二應答文本確定為所述待處理文本對應的應答文本。
15、作為本申請的一種可行實施例,所述文本規(guī)范化模型是通過如下步驟獲取得到:
16、獲取訓練文本;
17、基于所述訓練文本中各字詞的詞性標注信息,和/或,預設的命名實體識別模型確定所述訓練文本中的目標字詞;
18、對所述訓練文本中的目標字詞進行處理,得到與所述訓練文本對應的標簽文本;
19、基于所述訓練文本以及所述標簽文本訓練生成文本規(guī)范化模型。
20、作為本申請的一種可行實施例,所述基于所述訓練文本以及所述標簽文本訓練生成文本規(guī)范化模型,包括:
21、基于所述訓練文本中的第一訓練文本以及所述標簽文本中的第一標簽文本對預訓練模型進行訓練,生成初始化模型;
22、基于所述訓練文本中的第二訓練文本輸入至所述初始化模型中得到的輸出文本,以及所述標簽文本中的第二標簽文本,對預設的初始化打分模型進行訓練,生成目標打分模型;
23、基于所述初始化模型以及所述目標打分模型對預設的初始規(guī)范化模型進行訓練,得到文本規(guī)范化模型。
24、作為本申請的一種可行實施例,所述根據(jù)預先訓練得到的文本規(guī)范化模型對所述待處理文本進行處理,得到所述待處理文本對應的規(guī)范文本,包括:
25、根據(jù)所述待處理文本對應的場景領域信息,獲取與所述場景領域信息對應的目標文本規(guī)范化模型;所述目標文本規(guī)范化模型是基于所述場景領域信息對應的訓練文本訓練得到;
26、根據(jù)所述目標文本規(guī)范化模型對所述待處理文本進行處理,得到所述待處理文本對應的規(guī)范文本。
27、作為本申請的一種可行實施例,所述根據(jù)文本規(guī)范化模型對所述待處理文本進行處理,得到所述待處理文本對應的規(guī)范文本的步驟之前,所述方法還包括:
28、對所述待處理文本進行語義識別處理,得到所述待處理文本中各字詞的詞性信息;
29、若所述待處理文本中包含詞性信息為目標詞性的待規(guī)范字詞,則執(zhí)行所述根據(jù)文本規(guī)范化模型對所述待處理文本進行處理,得到所述待處理文本對應的規(guī)范文本的步驟。
30、第二方面,本申請?zhí)峁┮环N文本應答裝置,包括:
31、獲取模塊,用于獲取待處理文本;
32、處理模塊,用于根據(jù)文本規(guī)范化模型對所述待處理文本進行處理,得到所述待處理文本對應的規(guī)范文本;
33、應答模塊,用于將所述規(guī)范文本輸入至預設的語言模型,得到所述待處理文本對應的應答文本。
34、第三方面,本申請還提供一種計算機設備,所述計算機設備包括:
35、一個或多個處理器;
36、存儲器;以及
37、一個或多個應用程序,其中所述一個或多個應用程序被存儲于所述存儲器中,并配置為由所述處理器執(zhí)行上述任一項提供的文本應答方法。
38、第四方面,本申請還提供一種計算機可讀存儲介質,其上存儲有計算機程序,所述計算機程序被處理器進行加載,以執(zhí)行上述任一項所述的文本應答方法。
39、本申請實施例提供的文本應答方法,在獲取到用戶輸入的待處理文本后,會先基于訓練好的文本規(guī)范化模型來對待處理文本進行處理,得到對待處理文本進行規(guī)范化處理之后的規(guī)范文本,然后將規(guī)范文本輸入至預設的語言模型中,由于規(guī)范文本是基于預先訓練好的文本規(guī)范化模型對待處理文本得到,因此,相較于待處理文本,規(guī)范文本中的文本描述更加規(guī)范化,在輸入至語言模型進行處理時,更利于語言模型理解用戶的意圖,從而更準確的輸出對應的應答信息。
1.一種文本應答方法,其特征在于,包括:
2.根據(jù)權利要求1所述的文本應答方法,其特征在于,所述根據(jù)文本規(guī)范化模型對所述待處理文本進行處理,得到所述待處理文本對應的規(guī)范文本,包括:
3.根據(jù)權利要求1所述的文本應答方法,其特征在于,所述將所述規(guī)范文本輸入至預設的語言模型,得到所述待處理文本對應的應答文本,包括:
4.根據(jù)權利要求3所述的文本應答方法,其特征在于,所述根據(jù)所述第一應答文本和所述第二應答文本之間的相似度,將所述第一應答文本和所述第二應答文本中的至少一者確定為所述待處理文本對應的應答文本,包括:
5.根據(jù)權利要求1所述的文本應答方法,其特征在于,所述文本規(guī)范化模型是通過如下步驟獲取得到:
6.根據(jù)權利要求5所述的文本應答方法,其特征在于,所述基于所述訓練文本以及所述標簽文本訓練生成文本規(guī)范化模型,包括:
7.根據(jù)權利要求1~6任一項所述的文本應答方法,其特征在于,所述根據(jù)文本規(guī)范化模型對所述待處理文本進行處理,得到所述待處理文本對應的規(guī)范文本的步驟之前,所述方法還包括:
8.一種文本應答裝置,其特征在于,包括:
9.一種計算機設備,其特征在于,所述計算機設備包括:
10.一種計算機可讀存儲介質,其特征在于,其上存儲有計算機程序,所述計算機程序被處理器進行加載,以執(zhí)行權利要求1至7任一項所述的文本應答方法。