【】本發(fā)明涉及順序推薦系統(tǒng)的，特別是時(shí)序推薦模型的。

背景技術(shù)

0、
背景技術(shù)：

1、順序推薦系統(tǒng)是一種可在用戶交互序列的基礎(chǔ)上經(jīng)過各種運(yùn)算來預(yù)測下一個(gè)項(xiàng)目的系統(tǒng)。由于順序推薦系統(tǒng)的核心是預(yù)測用戶是否會與某一商品進(jìn)行交互(包括點(diǎn)擊、評分和購買等)，且交互歷史通常蘊(yùn)含著各種各樣的信息，因此如何對用戶的長期偏好和短期意向進(jìn)行數(shù)據(jù)建模是非常重要的。

2、在序列推薦中，數(shù)據(jù)建模主要考慮兩個(gè)方面——時(shí)間推薦和順序推薦。時(shí)間推薦側(cè)重于對絕對時(shí)間戳建模，用于捕獲用戶和物品的時(shí)間動(dòng)態(tài)(如一個(gè)用戶的興趣程度可能會在不同的時(shí)間段發(fā)生變化或者一個(gè)物品的受歡迎程度可能會隨著時(shí)間的推移而增加或減少)。這種模型在研究數(shù)據(jù)集的時(shí)間變化時(shí)非常有用，能夠更快速地挖掘出用戶的動(dòng)態(tài)興趣變化，以便更精準(zhǔn)地進(jìn)行推薦。大多數(shù)模型的順序推薦都是根據(jù)交互時(shí)間戳對項(xiàng)目進(jìn)行排序，且在排序后就不再用到時(shí)間戳，而只專注于順序模式挖掘，從而預(yù)測下一個(gè)可能進(jìn)行交互，如sasrec(w.-c.kang?and?j.mcauley.2018."self-attentive?sequentialrecommendation".in?proceeding?ofthe?18th?ieee?international?conference?ondata?mining(icdm))。此外，還有一小部分模型在順序推薦的基礎(chǔ)上引入了對時(shí)間戳的運(yùn)用，如tisasrec(它在順序推薦中還用到物品之間的時(shí)間間隔)。

3、傳統(tǒng)的順序推薦方法會丟棄時(shí)間戳，只保留項(xiàng)目的順序。也就是說，在這種方法下，影響下一項(xiàng)的元素只有物品的位置和身份(如只要兩個(gè)用戶有相同的順序，就會認(rèn)為兩個(gè)用戶的交互對下一個(gè)項(xiàng)目的影響是一樣的)。在此基礎(chǔ)上，tisasrec提出了相對時(shí)間概念。它認(rèn)為時(shí)間戳越近的項(xiàng)目對下一個(gè)項(xiàng)目的影響越大(如假設(shè)兩個(gè)用戶具有相同的交互順序，且其中一個(gè)用戶在短時(shí)間內(nèi)產(chǎn)生了這些交互，而另一個(gè)用戶在長時(shí)間內(nèi)完成了這些交互，因此即便兩個(gè)用戶具有相同的順序位置，這兩個(gè)用戶的交互也應(yīng)該會對下一個(gè)項(xiàng)目產(chǎn)生不同的影響)。但是，序列推薦中的位置信息不應(yīng)該只用物品在序列中的位置，物品位置取值范圍就在[1,2,...,l]。這種取值模式過于局部且不具有鮮明性。這是因?yàn)檫@種位置信息僅考慮了物品在當(dāng)前序列中的位置，并沒有考慮到物品在用戶整個(gè)歷史交互序列中的位置。此外，這種位置信息也完全沒有考慮相同時(shí)間戳的情況的。事實(shí)上，現(xiàn)有的購物網(wǎng)站大多存在購物車，而購物車能夠讓用戶在同一時(shí)間內(nèi)同時(shí)產(chǎn)生多條購物信息(在這種情況下，這些物品就應(yīng)該擁有著相同的位置信息)。

4、注意力機(jī)制是一種可計(jì)算輸入的權(quán)重以使模型更易于解釋的機(jī)制(注意力機(jī)制背后的思想是輸出依賴于輸入中相關(guān)的特定部分)。注意力機(jī)制通常使用縮放的點(diǎn)積注意，且定義為(即公式(1))。其中，q、k和v分別表示查詢、鍵和值(在自我注意中，這三種輸入通常使用同一個(gè)對象)。目前，注意力機(jī)制已經(jīng)被納入順序推薦模型，如sasrec是一種將自注意機(jī)制應(yīng)用于順序推薦的模型，在推薦問題上實(shí)現(xiàn)了顯著的成效；dfar(g.lin,c.gao,y.zheng,et?al.2023."dual-interest?factorization-headsattention?for?sequential?recommendation".inacm)在注意力機(jī)制的基礎(chǔ)上引入了對比學(xué)習(xí)進(jìn)行建模；coserec(z.liu,y.chen,j.li,et?al.2021."contrastive?self-supervised?sequential?recommendation?with?robustaugmentation".in?sigir)在自注意力機(jī)制上進(jìn)行了數(shù)據(jù)增強(qiáng)，且針對不同長度的序列采用不同的增強(qiáng)手法；mojito(v.a.tran,g.salha-galvan,b.sguerra,et?al.2023."attention?mixtures?for?time-aware?sequential?recommendation".in?proceedings?of?the?46th?international?acmsigir?conference?on?research?and?development?in?information?retrieval)先將物品的嵌入與物品文本嵌入帶入注意力機(jī)制，再將其結(jié)果與原嵌入結(jié)合作為短期興趣，將用戶嵌入、物品序列嵌入與預(yù)測物品嵌入結(jié)合當(dāng)做長期興趣，在推薦問題上也有不錯(cuò)的效果。但是，上述模型都只考慮了用戶交互的時(shí)間順序，忽略了其他豐富的時(shí)間信息。

5、此外，本領(lǐng)域還存在一些基于時(shí)間感知序列推薦的時(shí)間感知模型，如time-lstm(]y.zhu,h.li,y.liao,et?al.2017."what?to?do?next:modeling?user?behaviors?bytime-lstm".in?proceedings?of?the?twenty-sixth?international?joint?conferenceonartificial?intelligence,(ijcai))使用連續(xù)項(xiàng)目之間的時(shí)間間隔，基于帶時(shí)間門的lstm對用戶的順序動(dòng)作進(jìn)行建模；slrc(c.wang,m.zhang,w.ma,et?al.2019."modelingitem-specific?temporal?dynamics?of?repeat?consumption?for?recommendersystems".in?the?worldwide?web?conference)結(jié)合hawkes過程和協(xié)同過濾，對重復(fù)消費(fèi)的時(shí)間動(dòng)態(tài)進(jìn)行建模；cta(j.wu,r.cai?and?h.wang.2020."déjàvu:a?contextualizedtemporal?attention?mechanism?for?sequential?recommendation".in?proceedingsofthe?web?conference?2020)利用多個(gè)時(shí)間內(nèi)核函數(shù)來衡量歷史操作的影響；tisasrec(j.li,y.wang?and?j.mcauley.2020."time?interval?aware?self-attention?forsequential?recommendation".in?proceedings?of?the?13th?internationalconference?on?web?search?and?data?mining(icdm))使用該用戶不同項(xiàng)目之間的時(shí)間間隔、項(xiàng)目的位置信息和項(xiàng)目嵌入信息通過自注意力層對用戶的順序動(dòng)作進(jìn)行建模。盡管這些模型近期取得了一定的進(jìn)展，但是這些模型所采用的方法都沒有考慮到本發(fā)明針對時(shí)間戳所用到的方法。

技術(shù)實(shí)現(xiàn)思路

0、
技術(shù)實(shí)現(xiàn)要素：

1、本發(fā)明的目的就是解決現(xiàn)有技術(shù)中的問題，提出基于對比增強(qiáng)時(shí)間感知自注意力機(jī)制的時(shí)序推薦模型，可對項(xiàng)目之間的相對時(shí)間間隔、物品的熱度信息、用戶評分、物品的絕對時(shí)間戳以及物品在序列的位置信息進(jìn)行建模，在密集和稀疏數(shù)據(jù)集上都優(yōu)于最先進(jìn)的算法。

2、為實(shí)現(xiàn)上述目的，本發(fā)明通過以下技術(shù)方案來實(shí)現(xiàn)：

3、基于對比增強(qiáng)時(shí)間感知自注意力機(jī)制的時(shí)序推薦模型，包括catsasrec層、預(yù)測層和對比學(xué)習(xí)層，所述catsasrec層由依次設(shè)置的數(shù)據(jù)預(yù)處理層、嵌入層和自注意力層所共同構(gòu)成，所述嵌入層可在數(shù)據(jù)預(yù)處理層完成數(shù)據(jù)預(yù)處理后根據(jù)物品之間的時(shí)間間隔、物品的位置信息、用戶對物品的評分和物品的熱度信息以構(gòu)建物品與用戶的有效嵌入表示并計(jì)算注意力權(quán)重，所述預(yù)測層和對比學(xué)習(xí)層分別與catsasrec層相連接。

4、作為優(yōu)選，所述數(shù)據(jù)預(yù)處理層在進(jìn)行數(shù)據(jù)預(yù)處理期間，設(shè)定u和i以分別表示用戶集和項(xiàng)目集，又在時(shí)間感知的順序推薦設(shè)置中對于每個(gè)用戶u∈u分別給出用戶的動(dòng)作序列絕對時(shí)間序列用戶評分序列以及物品熱度序列且絕對時(shí)間序列用戶評分序列以及物品熱度序列分別對應(yīng)于用戶的動(dòng)作序列在訓(xùn)練過程中，模型根據(jù)之前的t項(xiàng)以及項(xiàng)目i和j之間的時(shí)間間隔項(xiàng)目i和項(xiàng)目j的絕對時(shí)間戳ti,tj、項(xiàng)目i和項(xiàng)目j的物品熱度信息hi,hj以及用戶對項(xiàng)目i和項(xiàng)目j的評分ri,rj以預(yù)測下一個(gè)項(xiàng)目。

5、更進(jìn)一步的，對于所述用戶的動(dòng)作序列而言，將每個(gè)用戶的訓(xùn)練序列轉(zhuǎn)化為固定長度序列s＝(s1,s2,...,sn)，且n表示最大固定長度，如果序列大于n，則只考慮最近的n個(gè)動(dòng)作，如果序列小于n，則往左邊添加填充項(xiàng)0直到長度為n；對于所述絕對時(shí)間序列用戶評分序列以及物品熱度序列而言，分別設(shè)定固定長度的時(shí)間序列t＝(t1,t2,...,tn)、用戶評分序列r＝(r1,r2,...,rn)以及物品熱度序列h＝(h1,h2,...,hn)，且所述用戶評分序列以及物品熱度序列的填充項(xiàng)都是0，而所述絕對時(shí)間序列采用用戶的動(dòng)作序列中第一個(gè)物品的時(shí)間戳來做填充項(xiàng)。

6、再進(jìn)一步的，在給定所述固定長度的時(shí)間序列t＝(t1,t2,...,tn)時(shí)，第i項(xiàng)和第j項(xiàng)的時(shí)間間隔為|ti-tj|，用戶u的時(shí)間間隔集在除0外的條件下為gu，用戶的最小時(shí)間間隔為縮放后的時(shí)間區(qū)間為且用戶u的關(guān)系矩陣mu∈nn×n如公式(2)所示：

7、

8、作為優(yōu)選，所述嵌入層可為項(xiàng)目創(chuàng)建一個(gè)嵌入矩陣mi∈r|i|×d，且d為隱藏維度，常數(shù)零向量0被用作填充項(xiàng)的嵌入，所述嵌入層可嵌入查找操作檢索前n個(gè)項(xiàng)的嵌入并堆疊在一起以得到如公式(3)所示的矩陣ei∈rn×d：

9、

10、自注意機(jī)制中的鍵和值包含如公式(4)、公式(5)、公式(6)、公式(7)和公式(8)所示的多種元素：

11、p＝w(eabs+ep)?(4)；

12、

13、其中，是序列中的位置信息，是物品的絕對時(shí)間，w是可學(xué)習(xí)參數(shù)，p是新的位置信息嵌入，和分別是鍵和值中的位置嵌入；和分別是兩個(gè)用戶評分矩陣通過嵌入層后得到用戶評分嵌入矩陣；和分別是兩個(gè)物品熱度矩陣通過嵌入層后得到物品熱度嵌入矩陣；和分別是兩個(gè)相對時(shí)間間隔嵌入矩陣通過嵌入層后得到嵌入矩陣，為對稱矩陣且在主對角線上的元素均為零。

14、作為優(yōu)選，對于每個(gè)輸入序列而言，當(dāng)時(shí)，所述自注意力層混合感知且可計(jì)算新的序列z＝(z1,z2,...,zn)，每個(gè)輸出元素zi通過公式(9)計(jì)算為線性變化后的輸入元素、相對時(shí)間關(guān)系嵌入、位置信息嵌入、用戶評分嵌入和物品熱度嵌入的加權(quán)和：

15、

16、其中，wv∈rd×d是值的輸入投影，是物品i與物品j的時(shí)間間隔，是物品j的評分，是物品j的位置信息，是物品j的物品熱度信息，每一個(gè)系數(shù)aij都通過公式(10)以使用softmax函數(shù)計(jì)算：

17、

18、其中，eij采用如公式(11)所示的考慮輸入、相對時(shí)間關(guān)系、物品位置信息、用戶評分信息和物品熱度信息的兼容函數(shù)計(jì)算而得：

19、

20、其中，wq∈rd×d和wk∈rd×d分別是查詢和健的輸入投影權(quán)重，為標(biāo)度因子。

21、更進(jìn)一步的，在每個(gè)時(shí)間感知注意層后，如公式(12)所示應(yīng)用線性變換和relu激活以賦予模型非線性：

22、ffn(zi)＝max(0,ziw1+b1)w2+b2?(12)；

23、其中，在所述自注意力層與前饋層疊加后，如公式(13)所示進(jìn)行層歸一化、殘差連接和dropout正則化：

24、zi＝zi+dropout(ffn(layernorm(zi)))?(13)；

25、假設(shè)x是一個(gè)包含樣本所有特征的向量，層歸一化如公式(14)進(jìn)行定義：

26、

27、其中，⊙是元素積，μ和σ分別是x的均值和方差，α和β分別是學(xué)習(xí)的比例因子和偏差項(xiàng)。

28、作為優(yōu)選，所述預(yù)測層如公式(15)所示使用潛因子模型計(jì)算用戶對項(xiàng)目i的偏好得分：

29、

30、其中，是項(xiàng)目i的嵌入，zt是給定第一個(gè)t項(xiàng)的表示(i.e.,s1,s2,...,st)與它們的時(shí)間間隔、位置、評分和熱度信息的結(jié)合；所述預(yù)測層采用負(fù)抽樣來優(yōu)化項(xiàng)目的排名，對于每個(gè)期望的正輸出oi，抽取一個(gè)負(fù)項(xiàng)生成一組成對的偏好順序d＝{(su,tu,o,o')}，通過sigmoid函數(shù)σ(x)＝1/(1+e-x)將模型輸出分?jǐn)?shù)轉(zhuǎn)換為范圍(0,1)，再如公式(16)所示采用二元交叉熵作為損失函數(shù)：

31、

32、作為優(yōu)選，所述對比學(xué)習(xí)層令用戶交互序列走兩遍自注意力層且第一遍得出的混合表示為而第二遍得出的混合表示為又令兩次得出表示構(gòu)成一個(gè)“正對”，將除自身之外的用戶隨機(jī)挑選n個(gè)混合嵌入作為負(fù)樣本并表示為采用公式(17)計(jì)算對比損耗lcon：

33、

34、其中，τ為超參數(shù)，d為訓(xùn)練數(shù)據(jù)集，sim(.,.)為相似性函數(shù)，且如公式(18)所示用余弦相似度計(jì)算：

35、

36、更進(jìn)一步的，使預(yù)測損失lpred和對比損失lcon相結(jié)合并根據(jù)公式(17)將損失函數(shù)進(jìn)一步定位為公式(19)：

37、

38、其中，為嵌入矩陣集合，||.||f是frobenius范數(shù)。

39、本發(fā)明在模型tisasrec的基礎(chǔ)上，提出了一個(gè)混合感知的連續(xù)推薦的自我注意模型(contrast?enhanced?time?aware?self-attention?for?sequential?recommendation，catsasrec)，且目標(biāo)是有效的利用物品時(shí)間戳。模型catsasrec可對項(xiàng)目之間的相對時(shí)間間隔、物品的熱度信息、用戶評分、物品的絕對時(shí)間戳以及物品在序列的位置信息進(jìn)行建模，從而預(yù)測未來的相互作用?；诙鄠€(gè)不同種類的數(shù)據(jù)集的實(shí)驗(yàn)證明，模型catsasrec優(yōu)于目前先進(jìn)的序列模型，且在稀疏數(shù)據(jù)集上仍然表現(xiàn)良好。

40、總的來說，本發(fā)明的有益效果如下：

41、1)本發(fā)明通過將絕對時(shí)間戳與傳統(tǒng)位置信息相結(jié)合，從而形成全新的位置信息，可讓物品表示更加全面；

42、2)本發(fā)明通過在用戶嵌表示中融入評分信息和物品流行度，從而可有效增強(qiáng)用戶的個(gè)性化表示；

43、3)本發(fā)明通過引入對比學(xué)習(xí)方法，從而優(yōu)化了同一用戶不同表征之間的距離。

44、本發(fā)明的特征及優(yōu)點(diǎn)將通過實(shí)施例結(jié)合附圖進(jìn)行詳細(xì)說明。