技術(shù)特征：

1.一種融合多模態(tài)數(shù)據(jù)基于異構(gòu)圖神經(jīng)網(wǎng)絡(luò)的短視頻推薦方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的融合多模態(tài)數(shù)據(jù)基于異構(gòu)圖神經(jīng)網(wǎng)絡(luò)的短視頻推薦方法，其特征在于，所述步驟3中，按照以下方式為每個短視頻節(jié)點選擇所有類型和相同數(shù)量的異構(gòu)鄰居：

3.根據(jù)權(quán)利要求1所述的融合多模態(tài)數(shù)據(jù)基于異構(gòu)圖神經(jīng)網(wǎng)絡(luò)的短視頻推薦方法，其特征在于，所述短視頻節(jié)點的初始嵌入表示為：

4.根據(jù)權(quán)利要求1所述的融合多模態(tài)數(shù)據(jù)基于異構(gòu)圖神經(jīng)網(wǎng)絡(luò)的短視頻推薦方法，其特征在于，所述步驟4中，按照以下方式聚合得到的短視頻節(jié)點的初始嵌入表示：

5.根據(jù)權(quán)利要求4所述的融合多模態(tài)數(shù)據(jù)基于異構(gòu)圖神經(jīng)網(wǎng)絡(luò)的短視頻推薦方法，其特征在于，所述步驟4中，按照以下方式得到短視頻節(jié)點的最終嵌入表示：

6.根據(jù)權(quán)利要求1所述的融合多模態(tài)數(shù)據(jù)基于異構(gòu)圖神經(jīng)網(wǎng)絡(luò)的短視頻推薦方法，其特征在于，所述步驟4中，按照以下方式得到最終的會話嵌入表示：

7.根據(jù)權(quán)利要求1所述的融合多模態(tài)數(shù)據(jù)基于異構(gòu)圖神經(jīng)網(wǎng)絡(luò)的短視頻推薦方法，其特征在于，所述特定于行為的嵌入傳播層中，按照以下方式進行消息傳遞：

8.根據(jù)權(quán)利要求1所述的融合多模態(tài)數(shù)據(jù)基于異構(gòu)圖神經(jīng)網(wǎng)絡(luò)的短視頻推薦方法，其特征在于，所述跨行為依賴建模模塊中，采用自注意機制，將用戶節(jié)點u在所有行為下的嵌入進行連接，然后計算出用戶u在行為k下與其他行為之間依賴關(guān)系的系數(shù)，進而得到節(jié)點u在行為k下的增強嵌入，然后利用均值池來整合所有層的嵌入，得到加入行為嵌入后的用戶表示。

9.根據(jù)權(quán)利要求1所述的融合多模態(tài)數(shù)據(jù)基于異構(gòu)圖神經(jīng)網(wǎng)絡(luò)的短視頻推薦方法，其特征在于，所述步驟6中，所述對比損失函數(shù)為：

10.一種融合多模態(tài)數(shù)據(jù)基于異構(gòu)圖神經(jīng)網(wǎng)絡(luò)的短視頻推薦系統(tǒng)，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明公開一種融合多模態(tài)數(shù)據(jù)基于異構(gòu)圖神經(jīng)網(wǎng)絡(luò)的短視頻推薦方法和系統(tǒng)，針對當前短視頻推薦方法未充分考慮視頻中豐富的文本、圖像、音頻等多模態(tài)信息且仍采用簡單的多模態(tài)特征相加的方式，缺乏對不同模態(tài)之間關(guān)聯(lián)的深入挖掘的問題。同時，還忽略了用戶的多種交互行為(如瀏覽、點贊、收藏等)中潛在的興趣特征，導致推薦結(jié)果的局限性。本發(fā)明構(gòu)建包含注意力機制的異構(gòu)內(nèi)容編碼器對不同模態(tài)的特征進行融合，使用異構(gòu)圖神經(jīng)網(wǎng)絡(luò)挖掘短視頻的潛在特征。與此同時，引入時間上下文信息，利用圖感知網(wǎng)絡(luò)挖掘用戶多種行為中潛在的特征，接著使用圖對比減輕多種交互行為監(jiān)督信號的稀疏性造成的影響，最終為用戶提供精準的短視頻推薦。

技術(shù)研發(fā)人員：田保軍,張旺旺
受保護的技術(shù)使用者：內(nèi)蒙古工業(yè)大學
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10