本技術(shù)涉及人工智能、大語(yǔ)言模型等，本技術(shù)涉及一種基于大模型的文本處理方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品。

背景技術(shù)：

1、近年來(lái)，大語(yǔ)言模型（large?language?model，llm）具備強(qiáng)大的處理能力，在各個(gè)領(lǐng)域得到快速發(fā)展?；诖竽Ｐ偷奈谋咎幚矸椒☉?yīng)運(yùn)而生。

2、然而，利用大模型針對(duì)特定領(lǐng)域的文本進(jìn)行處理時(shí)，仍存在不足。例如，針對(duì)特定領(lǐng)域的信息抽取時(shí)，信息抽取的準(zhǔn)確性仍有很大提升空間。因而，如何利用大模型更好的進(jìn)行文本處理，仍是本領(lǐng)域中亟待解決的問(wèn)題之一。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供了一種基于大模型的文本處理方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品。所述技術(shù)方案如下：

2、一方面，本技術(shù)提供了一種基于大模型的文本處理方法，所述方法包括：

3、獲取待處理文本；

4、基于所述待處理文本，采用通用大模型對(duì)所述待處理文本進(jìn)行實(shí)體單元識(shí)別，得到對(duì)應(yīng)于第一詞典的第一概率分布，采用識(shí)別大模型對(duì)所述待處理文本進(jìn)行實(shí)體單元識(shí)別，得到對(duì)應(yīng)于所述第一詞典的第二概率分布，所述第一詞典包括多個(gè)候選實(shí)體單元；

5、基于所述第一概率分布和第二概率分布，獲得所述待處理文本中的目標(biāo)實(shí)體單元；

6、基于所述待處理文本和目標(biāo)實(shí)體單元，采用所述通用大模型對(duì)所述目標(biāo)實(shí)體單元進(jìn)行分類(lèi)，得到對(duì)應(yīng)于第二詞典的第三概率分布，采用分類(lèi)大模型對(duì)所述目標(biāo)實(shí)體單元進(jìn)行分類(lèi)，得到對(duì)應(yīng)于所述第二詞典的第四概率分布，所述第二詞典包括多個(gè)候選類(lèi)別；

7、基于所述第三概率分布和第四概率分布，獲得所述目標(biāo)實(shí)體單元的目標(biāo)類(lèi)別；

8、基于所述目標(biāo)實(shí)體單元和目標(biāo)實(shí)體單元的目標(biāo)類(lèi)別，得到所述待處理文本的抽取結(jié)果。

9、另一方面，本技術(shù)提供了一種基于大模型的文本處理裝置，包括：

10、第一獲取模塊，用于獲取待處理文本；

11、第一識(shí)別模塊，用于基于所述待處理文本，采用通用大模型對(duì)所述待處理文本進(jìn)行實(shí)體單元識(shí)別，得到對(duì)應(yīng)于第一詞典的第一概率分布，采用識(shí)別大模型對(duì)所述待處理文本進(jìn)行實(shí)體單元識(shí)別，得到對(duì)應(yīng)于所述第一詞典的第二概率分布，所述第一詞典包括多個(gè)候選實(shí)體單元；

12、第一獲得模塊，用于基于所述第一概率分布和第二概率分布，獲得所述待處理文本中的目標(biāo)實(shí)體單元；

13、第一分類(lèi)模塊，用于基于所述待處理文本和目標(biāo)實(shí)體單元，采用所述通用大模型對(duì)所述目標(biāo)實(shí)體單元進(jìn)行分類(lèi)，得到對(duì)應(yīng)于第二詞典的第三概率分布，采用分類(lèi)大模型對(duì)所述目標(biāo)實(shí)體單元進(jìn)行分類(lèi)，得到對(duì)應(yīng)于所述第二詞典的第四概率分布，所述第二詞典包括多個(gè)候選類(lèi)別；

14、第二獲得模塊，用于基于所述第三概率分布和第四概率分布，獲得所述目標(biāo)實(shí)體單元的目標(biāo)類(lèi)別；

15、第三獲得模塊，用于基于所述目標(biāo)實(shí)體單元和目標(biāo)實(shí)體單元的目標(biāo)類(lèi)別，得到所述待處理文本的抽取結(jié)果。

16、在一個(gè)可能實(shí)現(xiàn)方式中，所述識(shí)別大模型是基于各個(gè)第一樣本的第一預(yù)測(cè)實(shí)體單元和實(shí)體標(biāo)簽之間的相似度進(jìn)行訓(xùn)練得到的；所述分類(lèi)大模型是基于各個(gè)第二樣本的第二預(yù)測(cè)類(lèi)別和類(lèi)別標(biāo)簽之間的相似度進(jìn)行訓(xùn)練得到的；

17、所述通用大模型是基于各個(gè)第三樣本的第三抽取結(jié)果和樣本標(biāo)簽之間的相似度進(jìn)行訓(xùn)練得到的，所述第三抽取結(jié)果包括第三預(yù)測(cè)實(shí)體單元和第三類(lèi)別，樣本標(biāo)簽包括第三樣本的實(shí)體標(biāo)簽和類(lèi)別標(biāo)簽。

18、在一個(gè)可能實(shí)現(xiàn)方式中，所述裝置還包括：

19、第二分類(lèi)模塊，用于基于所述待處理文本，采用分類(lèi)大模型對(duì)所述待處理文本進(jìn)行實(shí)體單元識(shí)別，得到對(duì)應(yīng)于第一詞典的第五概率分布；

20、第二識(shí)別模塊，用于基于所述待處理文本和目標(biāo)實(shí)體單元，采用所述識(shí)別大模型對(duì)所述目標(biāo)實(shí)體單元進(jìn)行分類(lèi)，得到對(duì)應(yīng)于第二詞典的第六概率分布；

21、其中，所述第一獲得模塊，在基于所述第一概率分布和第二概率分布，獲取所述待處理文本中的目標(biāo)實(shí)體單元時(shí)，用于：

22、基于所述第一概率分布、第二概率分布和第五概率分布，獲取所述目標(biāo)實(shí)體單元；

23、其中，所述第二獲得模塊，在基于所述第三概率分布和第四概率分布，獲得所述目標(biāo)實(shí)體單元的目標(biāo)類(lèi)別時(shí)，用于：

24、基于所述第三概率分布、第四概率分布和第六概率分布，獲得所述目標(biāo)實(shí)體單元對(duì)應(yīng)的目標(biāo)類(lèi)別。

25、在一個(gè)可能實(shí)現(xiàn)方式中，所述裝置還包括：

26、第二獲取模塊，用于獲取抽取任務(wù)的提示文本；

27、其中，所述提示文本包括識(shí)別提示詞和分類(lèi)提示詞，所述識(shí)別提示詞指示對(duì)待處理文本中目標(biāo)領(lǐng)域的實(shí)體單元進(jìn)行識(shí)別，所述分類(lèi)提示詞指示對(duì)識(shí)別的實(shí)體單元進(jìn)行分類(lèi)。

28、在一個(gè)可能實(shí)現(xiàn)方式中，其中，所述第一概率分布是基于待處理文本和識(shí)別提示詞、采用通用大模型對(duì)待處理文本進(jìn)行實(shí)體單元識(shí)別得到的；所述第二概率分布是基于待處理文本和識(shí)別提示詞、采用識(shí)別大模型對(duì)待處理文本進(jìn)行實(shí)體單元識(shí)別得到的；

29、其中，所述第三概率分布是基于待處理文本、目標(biāo)實(shí)體單元和分類(lèi)提示詞，采用通用大模型對(duì)目標(biāo)實(shí)體單元進(jìn)行分類(lèi)得到的；所述第四概率分布是基于待處理文本、目標(biāo)實(shí)體單元和分類(lèi)提示詞，采用分類(lèi)大模型對(duì)目標(biāo)實(shí)體單元進(jìn)行分類(lèi)得到的。

30、在一個(gè)可能實(shí)現(xiàn)方式中，所述第一獲得模塊，具體用于：

31、基于所述第一概率分布和第二概率分布之間的相似度，確定所述第二概率分布的第一識(shí)別誤差；

32、基于所述第二概率分布與第一識(shí)別誤差之間的差值，確定針對(duì)所述第一概率分布的第一調(diào)整概率；

33、基于所述第一調(diào)整概率對(duì)所述第一概率分布進(jìn)行調(diào)整，得到第一目標(biāo)概率分布；

34、基于所述第一目標(biāo)概率分布，獲得所述目標(biāo)實(shí)體單元。

35、在一個(gè)可能實(shí)現(xiàn)方式中，所述第一獲得模塊，具體用于：

36、基于所述第一概率分布和第二概率分布之間的相似度，確定所述第二概率分布的第一識(shí)別誤差；

37、基于所述第一概率分布和第五概率分布之間的相似度，確定所述第五概率分布的第二識(shí)別誤差；

38、基于所述第二概率分布與第一識(shí)別誤差之間的差值，確定對(duì)第一概率分布的第一調(diào)整概率；

39、基于所述第一調(diào)整概率對(duì)所述第一概率分布進(jìn)行調(diào)整；

40、基于調(diào)整后的第一概率分布與所述第二識(shí)別誤差之間的差值，確定第二目標(biāo)概率分布；

41、基于所述第二目標(biāo)概率分布，獲得所述目標(biāo)實(shí)體單元。

42、在一個(gè)可能實(shí)現(xiàn)方式中，所述第一概率分布和所述第二概率分布是通過(guò)以下方式得到的：

43、基于所述待處理文本，采用通用大模型對(duì)待處理文本進(jìn)行實(shí)體單元識(shí)別，得到對(duì)應(yīng)于第一詞典的第一初始概率分布，采用識(shí)別大模型對(duì)所述待處理文本進(jìn)行實(shí)體單元識(shí)別，得到對(duì)應(yīng)于第一詞典的第二初始概率分布；

44、其中，第一初始概率分布包括各個(gè)候選實(shí)體單元的第一初始概率，第二初始概率包括各個(gè)候選實(shí)體單元的第二初始概率；

45、基于所述第一初始概率分布和所述第二初始概率分布，從所述各個(gè)候選實(shí)體單元中確定出第一初始概率和第二初始概率均不低于目標(biāo)閾值的目標(biāo)候選單元；

46、分別對(duì)第一初始概率分布、第二初始概率分布中的非目標(biāo)候選單元對(duì)應(yīng)的概率進(jìn)行消除處理，得到所述第一概率分布、第二概率分布。

47、在一個(gè)可能實(shí)現(xiàn)方式中，所述待處理文本包括多個(gè)目標(biāo)實(shí)體單元，所述抽取結(jié)果包括多個(gè)目標(biāo)實(shí)體單元和目標(biāo)實(shí)體單元的目標(biāo)類(lèi)別；

48、所述抽取結(jié)果是通過(guò)執(zhí)行n次任務(wù)生成的，每次任務(wù)為一次識(shí)別任務(wù)或一次分類(lèi)任務(wù)，每次任務(wù)的生成文本為目標(biāo)實(shí)體單元或目標(biāo)類(lèi)別；

49、其中，第i次任務(wù)的執(zhí)行過(guò)程，包括：

50、基于第i-1次任務(wù)的生成文本，確定待生成文本的文本類(lèi)型，所述文本類(lèi)型為識(shí)別類(lèi)型或分類(lèi)類(lèi)型，第1次任務(wù)對(duì)應(yīng)的文本類(lèi)型為識(shí)別類(lèi)型；

51、基于所述待處理文本和前i-1次任務(wù)的生成文本，采用通用大模型得到通用概率分布，采用識(shí)別大模型得到識(shí)別概率分布，采用分類(lèi)大模型得到分類(lèi)概率分布；

52、其中，所述通用概率分布為第一概率分布或第三概率分布，所述識(shí)別概率分布為第二概率分布或第六概率分布，所述分類(lèi)概率分布為第四概率分布或第五概率分布；

53、基于所述通用概率分布、識(shí)別概率分布和分類(lèi)概率分布，生成所述第i次任務(wù)的生成文本。

54、在一個(gè)可能實(shí)現(xiàn)方式中，所述裝置還包括第一訓(xùn)練模塊，所述第一訓(xùn)練模塊，在訓(xùn)練識(shí)別大模型時(shí)，包括：

55、第一獲取單元，用于獲取第一訓(xùn)練集，所述第一訓(xùn)練集包括多個(gè)帶有樣本標(biāo)簽的第一樣本文本，每個(gè)第一樣本的樣本標(biāo)簽包括該第一樣本的實(shí)體標(biāo)簽；

56、第一識(shí)別單元，用于基于每個(gè)第一樣本，采用待訓(xùn)練的識(shí)別大模型對(duì)所述每個(gè)第一樣本進(jìn)行實(shí)體單元識(shí)別，得到每個(gè)第一樣本的第一預(yù)測(cè)實(shí)體單元；

57、第一分類(lèi)單元，用于基于所述每個(gè)第一樣本和第一預(yù)測(cè)實(shí)體單元，采用待訓(xùn)練的識(shí)別大模型對(duì)所述第一預(yù)測(cè)實(shí)體單元進(jìn)行分類(lèi)，得到所述第一預(yù)測(cè)實(shí)體單元的第一預(yù)測(cè)類(lèi)別，基于所述每個(gè)第一樣本的第一預(yù)測(cè)實(shí)體單元和第一預(yù)測(cè)類(lèi)別，得到所述每個(gè)第一樣本的抽取結(jié)果；

58、第一訓(xùn)練單元，用于基于各個(gè)第一樣本的第一預(yù)測(cè)實(shí)體單元和實(shí)體標(biāo)簽之間的相似度，確定第一訓(xùn)練損失，基于所述第一訓(xùn)練損失，對(duì)待訓(xùn)練的識(shí)別大模型的模型參數(shù)進(jìn)行微調(diào)。

59、在一個(gè)可能實(shí)現(xiàn)方式中，所述裝置還包括第二訓(xùn)練模塊，所述第二訓(xùn)練模塊，在訓(xùn)練分類(lèi)大模型時(shí)，包括：

60、第二獲取單元，用于獲取第二訓(xùn)練集，所述第二訓(xùn)練集包括帶有樣本標(biāo)簽的多個(gè)第二樣本，每個(gè)第二樣本的樣本標(biāo)簽包括該第二樣本的各實(shí)體標(biāo)簽的類(lèi)別標(biāo)簽；

61、第二識(shí)別單元，用于基于每個(gè)第二樣本，采用待訓(xùn)練的分類(lèi)大模型對(duì)所述每個(gè)第二樣本進(jìn)行實(shí)體單元識(shí)別，得到每個(gè)第二樣本的第二預(yù)測(cè)實(shí)體單元；

62、第二分類(lèi)單元，用于基于所述每個(gè)第二樣本和第二預(yù)測(cè)實(shí)體單元，采用待訓(xùn)練的分類(lèi)大模型對(duì)所述第二預(yù)測(cè)實(shí)體單元進(jìn)行分類(lèi)，得到所述第二預(yù)測(cè)實(shí)體單元的第二預(yù)測(cè)類(lèi)別，基于所述每個(gè)第二樣本的第二預(yù)測(cè)實(shí)體單元和第二預(yù)測(cè)類(lèi)別，得到所述每個(gè)第二樣本的抽取結(jié)果；

63、第二訓(xùn)練單元，用于基于各個(gè)第二樣本的第二預(yù)測(cè)類(lèi)別和類(lèi)別標(biāo)簽之間的相似度，確定第二訓(xùn)練損失，基于所述第二訓(xùn)練損失對(duì)待訓(xùn)練的分類(lèi)大模型的模型參數(shù)進(jìn)行微調(diào)。

64、在一個(gè)可能實(shí)現(xiàn)方式中，所述裝置還包括第三訓(xùn)練模塊，所述第三訓(xùn)練模塊，在訓(xùn)練通用大模型時(shí)，包括：

65、第三獲取單元，用于獲取第三訓(xùn)練集，所述第三訓(xùn)練集包括帶有樣本標(biāo)簽的多個(gè)第三樣本，每個(gè)第三樣本的樣本標(biāo)簽包括該第三樣本的實(shí)體標(biāo)簽以及各實(shí)體標(biāo)簽的類(lèi)別標(biāo)簽；

66、第三識(shí)別單元，用于基于每個(gè)第三樣本，采用待訓(xùn)練的通用大模型對(duì)所述每個(gè)第三樣本進(jìn)行實(shí)體單元識(shí)別，得到每個(gè)第三樣本的第三預(yù)測(cè)實(shí)體單元；

67、第三分類(lèi)單元，用于基于所述每個(gè)第三樣本和第三預(yù)測(cè)實(shí)體單元，采用待訓(xùn)練的通用大模型對(duì)所述第三預(yù)測(cè)實(shí)體單元進(jìn)行分類(lèi)，得到所述第三預(yù)測(cè)實(shí)體單元的第三預(yù)測(cè)類(lèi)別，基于所述每個(gè)第三樣本的第三預(yù)測(cè)實(shí)體單元和第三預(yù)測(cè)類(lèi)別，得到所述每個(gè)第三樣本的抽取結(jié)果；

68、第三訓(xùn)練單元，用于基于各個(gè)第三樣本的第三抽取結(jié)果和樣本標(biāo)簽之間的相似度，確定第三訓(xùn)練損失，基于所述第三訓(xùn)練損失對(duì)待訓(xùn)練的通用大模型的模型參數(shù)進(jìn)行微調(diào)。

69、另一方面，提供了一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)上述的基于大模型的文本處理方法。

70、另一方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的基于大模型的文本處理方法。

71、另一方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的基于大模型的文本處理方法。

72、本技術(shù)實(shí)施例提供的技術(shù)方案帶來(lái)的有益效果是：

73、本技術(shù)的基于大模型的文本處理方法，通過(guò)基于待處理文本，采用通用大模型進(jìn)行實(shí)體單元識(shí)別得到第一概率分布，采用識(shí)別大模型進(jìn)行實(shí)體單元識(shí)別得到第二概率分布，基于所述第一概率分布和第二概率分布，獲得所述待處理文本中的目標(biāo)實(shí)體單元；使得識(shí)別時(shí)，可利用識(shí)別大模型的識(shí)別能力，減輕通用大模型的識(shí)別任務(wù)中由分類(lèi)能力引起的幻覺(jué)，提高識(shí)別的準(zhǔn)確性。并且，基于待處理文本和目標(biāo)實(shí)體單元，采用通用大模型對(duì)目標(biāo)實(shí)體單元進(jìn)行分類(lèi)得到第三概率分布，采用分類(lèi)大模型進(jìn)行分類(lèi)得到第四概率分布，并基于第三概率分布和第四概率分布獲得目標(biāo)類(lèi)別；從而分類(lèi)時(shí)可進(jìn)一步利用分類(lèi)大模型的分類(lèi)能力，減輕通用大模型的分類(lèi)任務(wù)中由識(shí)別能力引起的幻覺(jué)，提高分類(lèi)的準(zhǔn)確性。通過(guò)將抽取分解為識(shí)別和分類(lèi)的不同流程，在不同流程中輪換利用不同大模型的識(shí)別能力或分類(lèi)能力，可進(jìn)一步提高抽取結(jié)果的準(zhǔn)確性。