本申請涉及數(shù)據處理，具體涉及一種特征融合方法、裝置、計算機設備和存儲介質(計算機可讀存儲介質)。

背景技術：

1、多模態(tài)特征融合是指將不同模態(tài)的特征進行整合，如圖像、音頻、文本，以提取更全面、準確的信息。在多模態(tài)任務中，通常會使用深度學習模型提取不同模態(tài)的特征表示。在多模態(tài)特征融合中，常見的方法是使用雙線性匯聚操作，將兩個特征矩陣相乘，并通過一個全連接層來獲得注意力權重，將注意力權重應用于每個模態(tài)的特征表示，以加權融合多個模態(tài)的信息。

技術實現(xiàn)思路

1、本申請實施例提供一種特征融合方法、裝置、計算機設備和存儲介質。

2、第一方面，本申請實施例提供一種特征融合方法，包括：

3、獲取特征集；所述特征集中包括至少兩種類型的數(shù)據特征；

4、基于所述特征集包括的數(shù)據特征的特征信息進行融合，得到第一特征表示和第二特征表示；所述第一特征表示表征所述特征集包括的數(shù)據特征在特征交互時的重要程度；所述第二特征表示表征所述特征集包括的數(shù)據特征之間的關聯(lián)關系；

5、基于所述第一特征表示和所述第二特征表示進行融合，得到融合特征表示。

6、第二方面，本申請實施例提供一種特征融合裝置，包括：

7、特征獲取模塊，用于獲取特征集；所述特征集中包括至少兩種類型的數(shù)據特征；

8、第一特征融合模塊，用于基于所述特征集包括的數(shù)據特征的特征信息進行融合，得到第一特征表示和第二特征表示；所述第一特征表示表征所述特征集包括的數(shù)據特征在特征交互時的重要程度；所述第二特征表示表征所述特征集包括的數(shù)據特征之間的關聯(lián)關系；

9、第二特征融合模塊，用于基于所述第一特征表示和所述第二特征表示進行融合，得到融合特征表示。

10、第三方面，本申請實施例還提供一種計算機設備，包括存儲器存儲有多條計算機程序；處理器從存儲器中加載計算機程序，以執(zhí)行本申請實施例所提供的任一種特征融合方法。

11、第四方面，本申請實施例還提供一種計算機可讀存儲介質，計算機可讀存儲介質存儲有多條計算機程序，計算機程序適于處理器進行加載，以執(zhí)行本申請實施例所提供的任一種特征融合方法。

12、第五方面，本申請實施例還提供一種計算機程序產品，包括計算機程序或計算機程序，計算機程序或計算機程序被處理器執(zhí)行時實現(xiàn)本申請實施例所提供的任一種特征融合方法。

13、采用申請實施例的方案，通過第一特征表示捕捉各個數(shù)據特征在特征交互時的重要程度，通過第二特征表示捕捉各個數(shù)據特征之間的關聯(lián)關系，即可確定各個數(shù)據特征之間的相關性、相互影響和依賴關系，因此，將第一特征表示融合添加至第二特征表示后，得到最終的融合特征表示不僅考慮了數(shù)據特征之間的關聯(lián)關系，還考慮了數(shù)據特征在特征交互時的重要程度，使得最終的融合特征表示更加準確且全面地描述各個數(shù)據特征之間的關系，提升了最終的融合特征表示的豐富性、表達能力和表現(xiàn)力，因此，更能準確地描述各個數(shù)據特征之間的交互性，從而提升了最終的融合特征表示的特征表征能力。

技術特征：

1.一種特征融合方法，其特征在于，所述方法包括：

2.如權利要求1所述的特征融合方法，其特征在于，所述數(shù)據特征的特征信息包括查詢向量、鍵向量和值向量；

3.根據權利要求2所述的特征融合方法，其特征在于，所述特征集包括第一數(shù)據特征和多個第二數(shù)據特征；

4.如權利要求1所述的特征融合方法，其特征在于，所述第一特征表示有多個，所述第二特征表示有多個；

5.如權利要求4所述的特征融合方法，其特征在于，所述對所述第二特征矩陣進行歸一化處理，得到第三特征矩陣，包括：

6.如權利要求4所述的特征融合方法，其特征在于，所述基于多個所述第一特征表示構建第一特征矩陣，包括：

7.一種特征融合裝置，其特征在于，所述裝置包括：

8.一種計算機設備，其特征在于，包括處理器和存儲器，所述存儲器存儲有多條計算機程序；所述處理器從所述存儲器中加載計算機程序，以執(zhí)行如權利要求1～6任一項所述的特征融合方法。

9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有多條計算機程序，所述計算機程序適于處理器進行加載，以執(zhí)行如權利要求1～6任一項所述的特征融合方法。

10.一種計算機軟件，其特征在于，所述計算機軟件，包括計算機程序，所述計算機程序被處理器執(zhí)行如權利要求1～6任一項所述的特征融合方法。

技術總結
本申請公開了一種特征融合方法、裝置、計算機設備和存儲介質，該方法包括：獲取特征集；基于特征集包括的數(shù)據特征的特征信息進行融合，得到第一特征表示和第二特征表示；第一特征表示表征特征集包括的數(shù)據特征在特征交互時的重要程度；第二特征表示表征特征集包括的數(shù)據特征之間的關聯(lián)關系；基于第一特征表示和第二特征表示進行融合，得到融合特征表示。本申請將第一特征表示與第二特征表示進行特征融合，使得最終的融合特征表示更加準確且全面地描述各個數(shù)據特征之間的關系，提升了最終的融合特征表示的豐富性、表達能力和表現(xiàn)力，因此，更能準確地描述各個數(shù)據特征之間的交互性，從而提升了最終的融合特征表示的特征表征能力。

技術研發(fā)人員：熊雪軍
受保護的技術使用者：馬上消費金融股份有限公司
技術研發(fā)日：
技術公布日：2024/12/19