本技術(shù)涉及計(jì)算機(jī)，具體涉及一種模型訓(xùn)練與用戶特征提取方法、裝置、設(shè)備與可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)絡(luò)的發(fā)展，越來越多的業(yè)務(wù)希望通過構(gòu)建用戶畫像的方式來為用戶提供更好的體驗(yàn)，例如，通過構(gòu)建用戶畫像來為用戶提供更好的物品推薦、閱讀文章推薦等等，而在此過程中，構(gòu)建的用戶畫像，也就是所提取的用戶特征往往會(huì)對下游的業(yè)務(wù)產(chǎn)生影響。

2、而現(xiàn)有的用戶特征受制于實(shí)時(shí)性約束和訓(xùn)練開銷，通常會(huì)選擇編碼器對采集的用戶數(shù)據(jù)直接進(jìn)行嵌入式編碼，然而，在實(shí)際應(yīng)用過程中發(fā)現(xiàn)，通過嵌入式編碼模型來提取用戶特征的方式所構(gòu)建的用戶畫像在用于下游業(yè)務(wù)處理時(shí)，往往會(huì)存在業(yè)務(wù)效果表現(xiàn)不佳的問題。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對上述技術(shù)問題，提供一種模型訓(xùn)練與用戶特征提取方法、裝置、設(shè)備與可讀存儲(chǔ)介質(zhì)，用以解決相關(guān)嵌入式編碼模型來提取用戶特征方式所存在的效果不佳，影響到下游業(yè)務(wù)表現(xiàn)效果的技術(shù)問題。

2、第一方面，本技術(shù)提供一種語言模型的訓(xùn)練方法，包括：

3、獲取樣本用戶的樣本信息，并通過預(yù)設(shè)的文本提示模型對所述樣本信息進(jìn)行處理，得到所述樣本信息對應(yīng)的樣本描述文本；

4、基于所述樣本描述文本構(gòu)建正樣本信息對和負(fù)樣本信息對；

5、將所述正樣本信息對和所述負(fù)樣本信息對輸入至初始語言模型中，得到所述正樣本信息對對應(yīng)的第一預(yù)測結(jié)果以及所述負(fù)樣本信息對對應(yīng)的第二預(yù)測結(jié)果；

6、根據(jù)所述第一預(yù)測結(jié)果以及所述第二預(yù)測結(jié)果對所述初始語言模型進(jìn)行訓(xùn)練，得到目標(biāo)語言模型。

7、作為本技術(shù)的一種可行實(shí)施例，所述基于所述樣本描述文本構(gòu)建正樣本信息對和負(fù)樣本信息對，包括：

8、基于所述樣本描述文本中同一樣本用戶對應(yīng)的第一樣本描述文本以及第二樣本描述文本構(gòu)建正樣本信息對；

9、基于所述樣本描述文本中第一樣本用戶對應(yīng)的第三樣本描述文本以及第二樣本用戶對應(yīng)的第四樣本描述文本構(gòu)建負(fù)樣本信息對。

10、作為本技術(shù)的一種可行實(shí)施例，所述根據(jù)所述第一預(yù)測結(jié)果以及所述第二預(yù)測結(jié)果對所述初始語言模型進(jìn)行訓(xùn)練，直至得到所述目標(biāo)語言模型，包括：

11、根據(jù)所述第一預(yù)測結(jié)果之間的相似度，以及所述第二預(yù)測結(jié)果之間的差異值確定所述初始語言模型對應(yīng)的損失值；

12、根據(jù)所述損失值對所述初始語言模型進(jìn)行更新，得到更新后的語言模型；

13、直至將所述正樣本信息對和所述負(fù)樣本信息對輸入至更新后的語言模型所得到的損失值滿足預(yù)設(shè)條件時(shí)，將當(dāng)前得到的更新后的語言模型作為所述目標(biāo)語言模型。

14、作為本技術(shù)的一種可行實(shí)施例，所述將所述正樣本信息對和所述負(fù)樣本信息對輸入至初始語言模型的步驟，包括：

15、對所述樣本描述文本的文本長度進(jìn)行統(tǒng)計(jì)，得到文本長度統(tǒng)計(jì)值；

16、構(gòu)建與所述文本長度統(tǒng)計(jì)值對應(yīng)的文本隊(duì)列，并將所述正樣本信息對和所述負(fù)樣本信息對通過所述文本隊(duì)列輸入至初始語言模型。

17、作為本技術(shù)的一種可行實(shí)施例，所述根據(jù)所述第一預(yù)測結(jié)果以及所述第二預(yù)測結(jié)果對所述初始語言模型進(jìn)行訓(xùn)練，得到目標(biāo)語言模型的步驟之后，所述方法還包括：

18、將所述目標(biāo)語言模型作為用戶特征編碼器對待處理的目標(biāo)用戶的用戶信息進(jìn)行編碼處理，得到所述目標(biāo)用戶的用戶特征。

19、第二方面，本技術(shù)提供一種用戶特征提取方法，包括：

20、獲取待處理的目標(biāo)用戶的用戶信息；所述用戶信息包括用戶屬性信息以及用戶行為信息中的至少一種；

21、通過預(yù)設(shè)的文本提示模型對所述用戶信息進(jìn)行處理，得到所述用戶信息對應(yīng)的用戶描述文本；

22、將所述用戶描述文本輸入至預(yù)設(shè)的目標(biāo)語言模型中進(jìn)行處理，得到所述目標(biāo)用戶的用戶特征。

23、作為本技術(shù)的一種可行實(shí)施例，所述將所述用戶描述文本輸入至預(yù)設(shè)的目標(biāo)語言模型中進(jìn)行處理，得到所述目標(biāo)用戶的用戶特征，包括：

24、將所述用戶描述文本輸入至目標(biāo)語言模型中進(jìn)行處理，得到第一用戶特征；

25、將所述用戶信息輸入至特征編碼模型中進(jìn)行處理，得到第二用戶特征；

26、將所述第一用戶特征和所述第二用戶特征融合，得到所述目標(biāo)用戶的用戶特征。

27、第三方面，本技術(shù)提供一種物品推薦方法，包括：

28、響應(yīng)于接收的物品推薦指令，獲取所述物品推薦指令對應(yīng)的目標(biāo)用戶的物品行為信息；所述物品行為信息至少包括物品瀏覽信息、物品分享信息以及物品購買信息中的至少一種；

29、通過預(yù)設(shè)的文本提示模型對所述物品行為信息進(jìn)行處理，得到用戶描述文本；

30、將所述用戶描述文本輸入至預(yù)設(shè)的目標(biāo)語言模型中進(jìn)行處理，得到所述目標(biāo)用戶的用戶特征；

31、獲取與所述物品行為信息中物品類型對應(yīng)的初始推薦物品；

32、根據(jù)所述用戶特征與所述初始推薦物品的物品特征之間的相似度，從所述初始推薦物品中確定所述目標(biāo)用戶的目標(biāo)推薦物品。

33、第四方面，本技術(shù)提供一種語言模型的訓(xùn)練裝置，包括：

34、第一獲取模塊，用于獲取樣本用戶的樣本信息，并通過預(yù)設(shè)的文本提示模型對所述樣本信息進(jìn)行處理，得到所述樣本信息對應(yīng)的樣本描述文本；

35、構(gòu)建模塊，用于基于所述樣本描述文本構(gòu)建正樣本信息對和負(fù)樣本信息對；

36、第一處理模塊，用于將所述正樣本信息對和所述負(fù)樣本信息對輸入至初始語言模型中，得到所述正樣本信息對對應(yīng)的第一預(yù)測結(jié)果以及所述負(fù)樣本信息對對應(yīng)的第二預(yù)測結(jié)果；

37、訓(xùn)練模塊，用于根據(jù)所述第一預(yù)測結(jié)果以及所述第二預(yù)測結(jié)果對所述初始語言模型進(jìn)行訓(xùn)練，得到目標(biāo)語言模型。

38、第五方面，本技術(shù)提供一種用戶特征提取裝置，包括：

39、第二獲取模塊，用于待處理的目標(biāo)用戶的用戶信息；所述用戶信息包括用戶屬性信息以及用戶行為信息中的至少一種；

40、第二處理模塊，用于通過預(yù)設(shè)的文本提示模型對所述用戶信息進(jìn)行處理，得到所述用戶信息對應(yīng)的用戶描述文本；

41、特征提取模塊，用于將所述用戶描述文本輸入至預(yù)設(shè)的目標(biāo)語言模型中進(jìn)行處理，得到所述目標(biāo)用戶的用戶特征。

42、第六方面，本技術(shù)提供一種物品推薦裝置，包括：

43、第三獲取模塊，用于響應(yīng)于接收的物品推薦指令，獲取所述物品推薦指令對應(yīng)的目標(biāo)用戶的物品行為信息；所述物品行為信息至少包括物品瀏覽信息、物品分享信息以及物品購買信息中的至少一種；

44、第三處理模塊，用于通過預(yù)設(shè)的文本提示模型對所述物品行為信息進(jìn)行處理，得到用戶描述文本；

45、第四處理模塊，用于將所述用戶描述文本輸入至預(yù)設(shè)的目標(biāo)語言模型中進(jìn)行處理，得到所述目標(biāo)用戶的用戶特征；

46、第四獲取模塊，用于獲取與所述物品行為信息中物品類型對應(yīng)的初始推薦物品；

47、推薦模塊，用于根據(jù)所述用戶特征與所述初始推薦物品的物品特征之間的相似度，從所述初始推薦物品中確定所述目標(biāo)用戶的目標(biāo)推薦物品。

48、第七方面，本技術(shù)還提供一種計(jì)算機(jī)設(shè)備，所述計(jì)算機(jī)設(shè)備包括：

49、一個(gè)或多個(gè)處理器；

50、存儲(chǔ)器；以及

51、一個(gè)或多個(gè)應(yīng)用程序，其中所述一個(gè)或多個(gè)應(yīng)用程序被存儲(chǔ)于所述存儲(chǔ)器中，并配置為由所述處理器執(zhí)行以實(shí)現(xiàn)上述提供的模型的訓(xùn)練方法或用戶特征提取方法或物品推薦方法。

52、第八方面，本技術(shù)還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器進(jìn)行加載，以執(zhí)行上述提供的模型的訓(xùn)練方法或用戶特征提取方法或物品推薦方法。

53、本技術(shù)實(shí)施例提供的模型訓(xùn)練方法，通過采集用戶的樣本信息，并利用文本提示模型處理得到信息密度更高的樣本描述文本后，通過構(gòu)建正負(fù)樣本信息對，來得到不同信息對對應(yīng)的預(yù)測結(jié)果以對語言模型進(jìn)行比對學(xué)習(xí)，提高了所得到的語言模型在文本嵌入的能力，在用于后續(xù)對用戶信息進(jìn)行處理時(shí)，能夠基于文本描述信息得到更豐富語義的用戶特征來構(gòu)建用戶畫像，在用于下游業(yè)務(wù)時(shí)，具有更好地業(yè)務(wù)表現(xiàn)效果。