本發(fā)明涉及數(shù)據(jù)處理，尤其涉及一種基于信息瓶頸原則的多模態(tài)推薦方法。

背景技術：

1、在當今信息爆炸的時代，隨著互聯(lián)網(wǎng)用戶數(shù)量的劇增及數(shù)據(jù)的海量積累，推薦系統(tǒng)作為個性化信息推送的重要工具，日益發(fā)揮著關鍵作用。推薦系統(tǒng)的核心目標是通過分析用戶的行為和偏好，提供量身定制的內容推薦，從而提升用戶體驗和滿意度。傳統(tǒng)的推薦系統(tǒng)通常依賴于單一模態(tài)的數(shù)據(jù)，如用戶的瀏覽記錄、評分、購買歷史等。然而，隨著多媒體信息的普及，用戶生成的數(shù)據(jù)形式愈發(fā)多樣化，包括文本、圖像、視頻等多模態(tài)數(shù)據(jù)。這些多模態(tài)數(shù)據(jù)不僅提供了用戶行為的直接信息，還蘊含著豐富的語義和情感信息。因此，如何有效利用這些多模態(tài)信息，已成為推薦系統(tǒng)研究中的一個關鍵方向。近年來，多模態(tài)推薦系統(tǒng)受到了廣泛關注，并在學術界和工業(yè)界取得了一定進展。然而，現(xiàn)有的方法在實際應用中仍面臨顯著的局限性。首先，多模態(tài)信息的異質性帶來了巨大的挑戰(zhàn)。不同模態(tài)之間的差異可能導致信息融合的困難，從而影響推薦系統(tǒng)的效果。例如，圖像和文本在表達方式上存在顯著差異，這種差異可能導致模態(tài)之間的關聯(lián)性不足，進而影響推薦的準確性。其次，從大量的多模態(tài)數(shù)據(jù)中挖掘出用戶的真實偏好并去除噪聲信息，是當前研究中的一個難點。多模態(tài)數(shù)據(jù)中的冗余和噪聲信息可能干擾用戶偏好的提取，導致推薦結果的準確性下降。最后，許多現(xiàn)有的多模態(tài)推薦系統(tǒng)未能有效區(qū)分不同模態(tài)信息對下游推薦任務的不同貢獻，這限制了模型的性能。例如，在某些情況下，文本信息可能比圖像信息對推薦結果的影響更大，但如果系統(tǒng)無法正確衡量這種差異，就可能導致推薦結果的不準確。

2、因此，本發(fā)明提供一種基于信息瓶頸原則的多模態(tài)推薦方法。

技術實現(xiàn)思路

1、本發(fā)明針對現(xiàn)有技術的不足，研制一種基于信息瓶頸原則的多模態(tài)推薦方法，不僅能夠從多模態(tài)數(shù)據(jù)中提取關鍵信息，并去除冗余和噪聲，而且計算物品表征在不同模態(tài)下對下游推薦任務的貢獻度。

2、本發(fā)明解決技術問題的技術方案為：一種基于信息瓶頸原則的多模態(tài)推薦方法，包括以下步驟：

3、a)根據(jù)amazon數(shù)據(jù)集中的用戶-物品歷史交互記錄構建數(shù)據(jù)集；

4、b)通過歷史交互記錄為每個模態(tài)構建一張用戶-物品圖，將用戶和物品的嵌入通過多層圖卷積計算得到用戶的最終表示和物品的融合嵌入；

5、c)為物品的每個模態(tài)構建一張物品-物品相似圖，保留相似度最高的前k個物品的鄰居，捕獲物品間的語義信號，再根據(jù)物品模態(tài)對于下游推薦任務的貢獻度聚合物品語義信號，得到物品的最終表示；

6、d)使用對比學習實現(xiàn)信息瓶頸對模態(tài)特征去噪，進一步最大化不同模態(tài)用戶嵌入的互信息，獲取用戶的跨模態(tài)偏好；

7、e)?通過bpr損失、信息瓶頸對比學習損失、跨模態(tài)偏好對比學習損失和adam優(yōu)化器優(yōu)化用戶物品嵌入。

8、步驟a)具體如下：

9、提取amazon數(shù)據(jù)集中用戶-物品的多模態(tài)信息，構建數(shù)據(jù)集，，數(shù)據(jù)集中包括個用戶構成的用戶集合，個物品構成的物品集合，每個物品包含圖片和文本兩個形式，圖片對應視覺嵌入，文本對應文本嵌入，從amazon數(shù)據(jù)集中提取的物品數(shù)據(jù)具體為圖片數(shù)據(jù)的4096維物品視覺模態(tài)嵌入和文本數(shù)據(jù)的372維嵌入，再通過用于生成句子嵌入的sentence-transformers將372維的文本嵌入轉換為384維物品文本模態(tài)嵌入；

10、其中，表示用戶，表示物品，表示用戶集合中第個用戶，表示物品集合中第個物品；

11、并為數(shù)據(jù)集中每個正樣本都增加了一個對應的負樣本，正樣本為用戶與物品的真實交互對，負樣本為用戶與物品的非交互對。

12、步驟b)具體如下：

13、b-1)物品中圖片和文本分別對應視覺模態(tài)和文本模態(tài)，通過數(shù)據(jù)集中用戶與物品之間的交互關系分別為物品的視覺模態(tài)和文本模態(tài)構建交互圖，進而得到視覺模態(tài)的交互圖和文本模態(tài)的交互圖；

14、b-2)?對于用戶，基于協(xié)同過濾方法，通過id索引將用戶的id映射到低維密集向量得到用戶的嵌入，用戶視覺模態(tài)的嵌入矩陣記作，用戶文本模態(tài)的嵌入矩陣記作；

15、對于物品，使用對應的物品視覺模態(tài)嵌入和物品文本模態(tài)嵌入進行初始化；

16、然后對齊用戶和物品嵌入的維度，通過分別將物品視覺模態(tài)嵌入和物品文本模態(tài)嵌入的維度縮小來使用戶和物品嵌入的維度對齊，具體計算如下：

17、，

18、，

19、其中，和分別表示視覺模態(tài)和文本模態(tài)的權重矩陣，表示轉置，表示物品文本模態(tài)的嵌入矩陣，表示物品視覺模態(tài)的嵌入矩陣；

20、通過用戶視覺模態(tài)和文本模態(tài)的嵌入矩陣以及物品視覺模態(tài)和文本模態(tài)的嵌入矩陣得到用戶-物品的視覺模態(tài)嵌入和用戶-物品的文本模態(tài)嵌入，具體計算如下：

21、，

22、；

23、b-3)通過多層圖卷積計算得到每個模態(tài)下第層圖卷積的用戶-物品嵌入，具體過程如下：

24、對于視覺模態(tài)：

25、，

26、，；

27、對于文本模態(tài)：

28、，；

29、，；

30、其中，根據(jù)視覺模態(tài)的交互圖和文本模態(tài)的交互圖來確定和，和分別表示在用戶-物品圖中用戶和物品的一階鄰居，和分別表示視覺模態(tài)和文本模態(tài)在第層圖卷積的用戶-物品嵌入，和分別表示視覺模態(tài)和文本模態(tài)在第層圖卷積的用戶-物品嵌入，，圖卷積共層，；

31、再分別計算視覺模態(tài)和文本模態(tài)下最終用戶-物品嵌入，計算公式如下：

32、，

33、，

34、其中，和分別表示視覺模態(tài)和文本模態(tài)下的最終用戶-物品嵌入，，，表示用戶視覺模態(tài)的最終嵌入，表示物品視覺模態(tài)的最終嵌入，表示用戶文本模態(tài)的最終嵌入，表示物品文本模態(tài)的最終嵌入；

35、b-4)通過拼接將多個模態(tài)的最終嵌入融合在一起，具體過程如下：

36、，

37、，

38、其中，表示物品兩個模態(tài)的最終嵌入的融合，表示最終的用戶表示。

39、步驟c)具體如下：

40、c-1)使用?k?近鄰knn方法為物品的每個模態(tài)建立物品-物品相似圖，計算物品的視覺模態(tài)嵌入與物品的視覺模態(tài)嵌入之間視覺模態(tài)的相似分數(shù)，以及物品的文本模態(tài)嵌入與物品的文本模態(tài)嵌入之間文本模態(tài)的相似分數(shù)，物品為物品的鄰居，具體計算如下：

41、，

42、，

43、分別保留視覺模態(tài)和文本模態(tài)下相似度最高的前個鄰居，具體計算如下：

44、，

45、，

46、其中，表示視覺模態(tài)下物品的前個鄰居，表示文本模態(tài)下物品的前個鄰居；

47、c-2)通過聚合多層物品的鄰居物品信息來捕獲視覺模態(tài)和文本模態(tài)下更深層次的語義關系和，具體計算如下：

48、，

49、，

50、其中，表示視覺模態(tài)下的語義關系，表示文本模態(tài)下的語義關系，表示物品的個鄰居物品的集合；

51、c-3)通過注意力機制計算物品每個模態(tài)對推薦任務的貢獻度，具體計算如下：

52、，

53、，

54、其中，表示注意力機制操作，通過一個多層感知機實現(xiàn)，表示視覺模態(tài)下的貢獻度，表示文本模態(tài)下的貢獻度；

55、再通過每個模態(tài)的語義信號增強物品嵌入，并生成綜合考慮多模態(tài)信息的最終物品表示，具體計算如下：

56、。

57、步驟d）具體如下：

58、d-1)計算信息瓶頸對比學習損失去除模態(tài)噪音，通過信息瓶頸原則鼓勵物品的嵌入矩陣和物品的最終嵌入之間存在差異，同時最大化與推薦任務相關的信息量，物品的嵌入矩陣包括物品視覺模態(tài)的嵌入矩陣和物品文本模態(tài)的嵌入矩陣，物品的最終嵌入包括物品視覺模態(tài)的最終嵌入和物品文本模態(tài)的最終嵌入，具體計算如下：

59、，

60、其中，表示基于貝葉斯個性化排序bpr的推薦損失，表示兩個嵌入的互信息，表示視覺模態(tài)下的信息瓶頸對比學習損失，表示文本模態(tài)下的信息瓶頸對比學習損失；

61、視覺模態(tài)和文本模態(tài)下物品的嵌入矩陣和物品的最終嵌入之間的互信息，具體計算如下：

62、，

63、，

64、其中，表示度量兩個向量之間的相似度，表示溫度系數(shù)，物品為用戶交互過的正樣本，物品為用戶未交互過的負樣本，表示用戶在視覺模態(tài)的嵌入矩陣，表示用戶在文本模態(tài)的嵌入矩陣，根據(jù)步驟b-2）同理可得和；

65、d-2)通過對比學習方法來捕捉不同模態(tài)間的依賴，將用戶視覺模態(tài)和文本模態(tài)下的最終嵌入映射到統(tǒng)一的特征空間得到映射后的用戶視覺模態(tài)和文本模態(tài)下的嵌入，具體計算如下：

66、，

67、其中表示多層感知機mlp，表示映射后的用戶視覺模態(tài)下的嵌入，表示映射后的用戶文本模態(tài)下的嵌入，表示融合操作；

68、根據(jù)和計算用戶的跨模態(tài)偏好，具體計算如下：

69、，

70、其中，表示取最大值操作。

71、步驟e)具體如下：

72、e-1)通過bpr損失優(yōu)化參數(shù)，具體計算如下：

73、，

74、其中，表示bpr損失，表示用戶交互過的正樣本，表示用戶未交互過的負樣本；

75、e-2)將bpr損失、信息瓶頸對比學習損失和跨模態(tài)偏好對比學習損失結合，得到最終損失，具體計算如下：

76、，

77、其中，和表示平衡各項損失的兩個不同的超參數(shù)；

78、e-3)通過adam優(yōu)化器優(yōu)化用戶物品嵌入。

79、
技術實現(xiàn)要素：
中提供的效果僅僅是實施例的效果，而不是發(fā)明所有的全部效果，上述技術方案具有如下優(yōu)點或有益效果：

80、本發(fā)明提出一種基于信息瓶頸原則的多模態(tài)推薦方法，該方法主要包括三個核心模塊：模態(tài)特征圖卷積編碼器、注意力語義圖卷積模塊以及對比學習信息瓶頸模塊；

81、首先，模態(tài)特征圖卷積編碼器模塊通過用戶-物品交互圖，在每個模態(tài)中實現(xiàn)信息的有效傳播與融合，從而生成用戶和物品的多模態(tài)表征，通過這種方式，模型不僅能夠捕捉用戶與物品之間的直接交互關系，還能通過圖結構揭示潛在的關系網(wǎng)絡，增強推薦系統(tǒng)對用戶偏好的理解和捕捉能力，進而實現(xiàn)用戶與物品多模態(tài)特征的深度融合；

82、其次，注意力語義圖卷積模塊利用k-近鄰方法構建物品-物品模態(tài)內容相似圖，并在此基礎上進行語義圖卷積操作，通過這種自適應加權機制，模型能夠根據(jù)具體任務的需求靈活調整各模態(tài)信息的權重，顯著提升推薦系統(tǒng)的精度與魯棒性；

83、最后，對比學習信息瓶頸模塊通過信息瓶頸原則，致力于在保證下游推薦任務信息充分性的前提下，捕獲最小化的充分模態(tài)信息，達到模態(tài)特征去噪的效果；該模塊設計了一個對比學習損失函數(shù)，通過最大限度地壓縮模態(tài)信息，在減少冗余與噪聲的同時，提升推薦系統(tǒng)的整體性能，特別是在跨模態(tài)偏好的處理上，該方法通過最大化不同模態(tài)用戶表征之間的互補性，促進了多模態(tài)信息的綜合利用，從而不僅提高了推薦結果的準確性，還增強了系統(tǒng)在應對噪聲數(shù)據(jù)時的穩(wěn)健性；

84、綜上所述，本發(fā)明所提出的基于信息瓶頸的多模態(tài)表征學習個性化推薦方法，通過巧妙融合圖卷積、注意力機制與對比學習，有效提升了推薦系統(tǒng)的性能，具備較高的實際應用價值。