本申請涉及人工智能，特別涉及一種模型訓(xùn)練方法、裝置、系統(tǒng)及程序產(chǎn)品。

背景技術(shù)：

1、隨著人工智能技術(shù)的發(fā)展，人們的社會生活方式正在經(jīng)歷一場深刻的變革，這項(xiàng)前沿技術(shù)正在各個行業(yè)展示出巨大的潛力。以大語言模型為例，其在處理自然語言文本任務(wù)和生成式任務(wù)上具有得天獨(dú)厚的優(yōu)勢。將其與網(wǎng)約車做單任務(wù)相結(jié)合，能夠提示司機(jī)在特定時間前往訂單較多的地區(qū)進(jìn)行客運(yùn)。一方面，能夠環(huán)節(jié)局部地區(qū)人流壓力；另一方面，能夠提高司機(jī)接單成功率。而對于司機(jī)駕駛行為進(jìn)行建模，通常采用深度網(wǎng)絡(luò)處理所涉及的海量數(shù)據(jù)，但當(dāng)前主流的深度網(wǎng)絡(luò)難以從數(shù)據(jù)中提取復(fù)雜的出行特征；對于各種出行特征之間的關(guān)聯(lián)性難以有效表達(dá)。因此，如何有效地訓(xùn)練一個推薦司機(jī)做單的模型，是亟待解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、為了解決訓(xùn)練一個推薦司機(jī)做單模型的問題，本申請?zhí)峁┮韵录夹g(shù)方案：

2、第一方面，提供一種模型訓(xùn)練方法，包括：

3、響應(yīng)于被訓(xùn)練模型的損失值大于預(yù)設(shè)損失值，進(jìn)行模型訓(xùn)練；

4、根據(jù)原始出行數(shù)據(jù)，獲得相應(yīng)的詞嵌入輸出，其中，詞嵌入輸出包括至少一個詞嵌入輸出元素；

5、將至少一個詞嵌入輸出元素作為節(jié)點(diǎn)，構(gòu)建計算圖，并基于計算圖確定出行詞；

6、根據(jù)出行詞，確定出行詞預(yù)測值；

7、根據(jù)出行詞預(yù)測值計算被訓(xùn)練模型損失值，通過反向傳播更新模型參數(shù)。

8、進(jìn)一步地，確定出行詞包括：

9、根據(jù)：

10、

11、確定出行詞，其中，t為出行詞，i、j為整數(shù)，表示計算圖中的節(jié)點(diǎn)編號，n為計算圖中的節(jié)點(diǎn)數(shù)量，ei為計算圖中第i節(jié)點(diǎn)對應(yīng)的詞嵌入輸出元素，aij為計算圖中第i節(jié)點(diǎn)與第j節(jié)點(diǎn)的相關(guān)性權(quán)重，v(i)是與第i節(jié)點(diǎn)相鄰的節(jié)點(diǎn)集合。

12、進(jìn)一步地，確定計算圖中第i節(jié)點(diǎn)對應(yīng)的詞嵌入輸出元素包括：

13、初始化計算圖；

14、從初始化后的計算圖中挑選至少一個節(jié)點(diǎn)，獲取所挑選的至少一個節(jié)點(diǎn)中每個節(jié)點(diǎn)的鄰居節(jié)點(diǎn)，組成鄰居節(jié)點(diǎn)集合，其中，鄰居節(jié)點(diǎn)為與所挑選節(jié)點(diǎn)中任一節(jié)點(diǎn)之間存在相關(guān)性權(quán)重的節(jié)點(diǎn)；

15、聚合鄰居節(jié)點(diǎn)集合中的節(jié)點(diǎn)，獲得計算圖中任一節(jié)點(diǎn)的節(jié)點(diǎn)特性；

16、根據(jù)計算圖中任一節(jié)點(diǎn)的節(jié)點(diǎn)特性，通過第一激活函數(shù)確定計算圖中任一節(jié)點(diǎn)的詞嵌入輸出。

17、進(jìn)一步地，確定計算圖中第i節(jié)點(diǎn)與第j節(jié)點(diǎn)的相關(guān)性權(quán)重包括：

18、使用權(quán)重矩陣分別對計算圖中任一節(jié)點(diǎn)，以及計算圖中任一節(jié)點(diǎn)所對應(yīng)的鄰居節(jié)點(diǎn)進(jìn)行變換，并將相應(yīng)的變換結(jié)果進(jìn)行拼接；

19、采用第二激活函數(shù)對拼接后的變換結(jié)果進(jìn)行非線性變換，獲得注意力機(jī)制權(quán)重；

20、規(guī)范化注意力機(jī)制權(quán)重，并將規(guī)范化后的注意力機(jī)制權(quán)重作為計算圖中第i節(jié)點(diǎn)與第j節(jié)點(diǎn)的相關(guān)性權(quán)重。

21、進(jìn)一步地，根據(jù)出行詞，確定出行詞預(yù)測值，包括：

22、獲取出行詞的位置編碼，與出行詞相加得到相應(yīng)的出行數(shù)據(jù)，其中，位置編碼用于表示對應(yīng)出行詞的稠密程度；

23、采樣出行詞歷史數(shù)據(jù)生成出行詞時間序列，其中，出行詞歷史數(shù)據(jù)對應(yīng)于歷史數(shù)據(jù)采集時刻的出行詞數(shù)據(jù)；

24、基于出行數(shù)據(jù)以及出行詞時間序列預(yù)測下一時刻的出行詞。

25、進(jìn)一步地，根據(jù)出行詞預(yù)測值計算被訓(xùn)練模型損失值，通過反向傳播更新模型參數(shù)，包括：

26、使用至少一個分類器處理出行數(shù)據(jù)，得到至少一個損失值，其中，至少一個損失值與出行數(shù)據(jù)的至少一個出行特征相對應(yīng)；

27、根據(jù)至少一個出行特征中正負(fù)樣本的易區(qū)分程度，確定至少一個出行特征的出行特征權(quán)重；

28、根據(jù)：

29、

30、確定損失值，其中，l為損失值，la為第a個出行特征對應(yīng)的損失值，為第a個損失值的權(quán)重，a為出行特征編號，n為出行特征總數(shù)。

31、進(jìn)一步地，根據(jù)原始出行數(shù)據(jù)，獲得相應(yīng)的詞嵌入輸出，包括：

32、s210：基于業(yè)務(wù)邏輯處理原始出行數(shù)據(jù)，得到原始出行數(shù)據(jù)標(biāo)識，其中，業(yè)務(wù)邏輯用于將原始出行數(shù)據(jù)轉(zhuǎn)換為計算機(jī)可識別、可處理標(biāo)識的處理邏輯；

33、s220：對原始出行數(shù)據(jù)標(biāo)識進(jìn)行獨(dú)熱編碼，得到出行編碼數(shù)據(jù)；

34、s230：基于詞嵌入層處理出行編碼數(shù)據(jù)，得到與出行編碼數(shù)據(jù)對應(yīng)的詞嵌入輸出。

35、第二方面，提供一種模型訓(xùn)練裝置，包括：

36、訓(xùn)練判斷模塊，用于響應(yīng)于被訓(xùn)練模型的損失值大于預(yù)設(shè)損失值，進(jìn)行模型訓(xùn)練；

37、詞嵌入獲取模塊，用于根據(jù)原始出行數(shù)據(jù)，獲得相應(yīng)的詞嵌入輸出，其中，詞嵌入輸出包括至少一個詞嵌入輸出元素；

38、計算圖構(gòu)建模塊，用于將至少一個詞嵌入輸出元素作為節(jié)點(diǎn)，構(gòu)建計算圖，并基于計算圖確定出行詞；

39、出行詞預(yù)測模塊，用于根據(jù)出行詞，確定出行詞預(yù)測值；

40、根據(jù)出行詞預(yù)測值計算被訓(xùn)練模型損失值，通過反向傳播更新模型參數(shù)。

41、第三方面，提供一種模型訓(xùn)練系統(tǒng)，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的模型訓(xùn)練程序，處理器執(zhí)行模型訓(xùn)練程序時，實(shí)現(xiàn)第一方面記載的模型訓(xùn)練方法。

42、第四方面，提供一種計算機(jī)可讀存儲介質(zhì)，其上存儲有模型訓(xùn)練程序，模型訓(xùn)練程序被處理器執(zhí)行時，實(shí)現(xiàn)第一方面記載的模型訓(xùn)練方法。

43、第五方面，提供一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序，該計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)第一方面記載的模型訓(xùn)練方法。

44、本申請實(shí)施例提供的技術(shù)方案帶來的有益效果是：

45、通過實(shí)施本申請實(shí)施例公開的一種模型訓(xùn)練方法、裝置、系統(tǒng)及程序產(chǎn)品，能夠訓(xùn)練得到推薦司機(jī)做單的模型。該模型通過學(xué)習(xí)能夠向網(wǎng)約車司機(jī)推薦接單成功率高的行駛線路，提高網(wǎng)約車司機(jī)的接單成功率。

技術(shù)特征：

1.一種模型訓(xùn)練方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的模型訓(xùn)練方法，其特征在于，所述確定出行詞包括：

3.根據(jù)權(quán)利要求2所述的模型訓(xùn)練方法，其特征在于，確定所述計算圖中第i節(jié)點(diǎn)對應(yīng)的詞嵌入輸出元素包括：

4.根據(jù)權(quán)利要求2所述的模型訓(xùn)練方法，其特征在于，確定所述計算圖中第i節(jié)點(diǎn)與第j節(jié)點(diǎn)的相關(guān)性權(quán)重包括：

5.根據(jù)權(quán)利要求1所述的模型訓(xùn)練方法，其特征在于，所述根據(jù)所述出行詞，確定出行詞預(yù)測值，包括：

6.根據(jù)權(quán)利要求1所述的模型訓(xùn)練方法，其特征在于，所述根據(jù)所述出行詞預(yù)測值計算被訓(xùn)練模型損失值，通過反向傳播更新模型參數(shù)，包括：

7.根據(jù)權(quán)利要求1所述的模型訓(xùn)練方法，其特征在于，所述根據(jù)原始出行數(shù)據(jù)，獲得相應(yīng)的詞嵌入輸出，包括：

8.一種模型訓(xùn)練裝置，其特征在于，包括：

9.一種模型訓(xùn)練系統(tǒng)，其特征在于，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的模型訓(xùn)練程序，所述處理器執(zhí)行所述模型訓(xùn)練程序時，實(shí)現(xiàn)權(quán)利要求1至7任一項(xiàng)所述的模型訓(xùn)練方法。

10.一種計算機(jī)程序產(chǎn)品，其特征在于，包括計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時，實(shí)現(xiàn)權(quán)利要求1-7任一項(xiàng)所述的模型訓(xùn)練方法。

技術(shù)總結(jié)
本申請公開一種模型訓(xùn)練方法、裝置、系統(tǒng)及程序產(chǎn)品，涉及人工智能技術(shù)領(lǐng)域。模型訓(xùn)練方法，包括：響應(yīng)于被訓(xùn)練模型的損失值大于預(yù)設(shè)損失值，進(jìn)行模型訓(xùn)練；根據(jù)原始出行數(shù)據(jù)，獲得相應(yīng)的詞嵌入輸出，其中，詞嵌入輸出包括至少一個詞嵌入輸出元素；將至少一個詞嵌入輸出元素作為節(jié)點(diǎn)，構(gòu)建計算圖，并基于計算圖確定出行詞；根據(jù)出行詞，確定出行詞預(yù)測值；根據(jù)出行詞預(yù)測值計算被訓(xùn)練模型損失值，通過反向傳播更新模型參數(shù)。通過實(shí)施本申請實(shí)施例公開的一種模型訓(xùn)練方法、裝置、系統(tǒng)及程序產(chǎn)品，能夠訓(xùn)練得到推薦司機(jī)做單的模型。該模型通過學(xué)習(xí)能夠向網(wǎng)約車司機(jī)推薦接單成功率高的行駛線路，提高網(wǎng)約車司機(jī)的接單成功率。

技術(shù)研發(fā)人員：孟曉楠,殷維棟,史武俊,何睿,強(qiáng)琦
受保護(hù)的技術(shù)使用者：浙江吉利控股集團(tuán)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/17