本申請涉及金融科技，尤其涉及一種內(nèi)容生成方法和裝置、計算機設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、為了提高金融服務(wù)的質(zhì)量，金融應(yīng)用上會設(shè)置展示金融產(chǎn)品的宣傳內(nèi)容，以通過宣傳內(nèi)容介紹金融產(chǎn)品。相關(guān)技術(shù)中，金融產(chǎn)品的宣傳內(nèi)容都是以單一模態(tài)類別的形式展示，且宣傳內(nèi)容也是基于單一模態(tài)類別的內(nèi)容學(xué)習(xí)后生成，所以生成的宣傳內(nèi)容較為單調(diào)，影響用戶在查閱宣傳內(nèi)容時的體驗感，從而影響金融產(chǎn)品的宣傳效果。因此，提高內(nèi)容生成的豐富性，成為了亟待解決的技術(shù)問題。

技術(shù)實現(xiàn)思路

1、本申請實施例的主要目的在于提出一種內(nèi)容生成方法和裝置、計算機設(shè)備及存儲介質(zhì)，旨在讓內(nèi)容生成更加豐富。

2、為實現(xiàn)上述目的，本申請實施例的第一方面提出了一種內(nèi)容生成方法，所述方法包括：

3、獲取多模態(tài)數(shù)據(jù)；其中，所述多模態(tài)數(shù)據(jù)包括：至少三個原始數(shù)據(jù)特征和至少三個原始模態(tài)類別，每一所述原始數(shù)據(jù)特征具有一個所述原始模態(tài)類別；

4、從所述至少三個原始數(shù)據(jù)特征中選出選中數(shù)據(jù)特征；

5、通過預(yù)設(shè)的多頭注意力機制和參考數(shù)據(jù)特征對所述選中數(shù)據(jù)特征進行注意力計算，得到所述選中數(shù)據(jù)特征的目標(biāo)注意力權(quán)重集；其中，所述參考數(shù)據(jù)特征的參考模態(tài)類別和所述選中數(shù)據(jù)特征的原始模態(tài)類別不同；

6、根據(jù)所述目標(biāo)注意力權(quán)重集將所述至少三個原始數(shù)據(jù)特征進行特征融合，得到目標(biāo)數(shù)據(jù)特征；

7、基于預(yù)設(shè)的目標(biāo)內(nèi)容生成模型對所述目標(biāo)數(shù)據(jù)特征進行內(nèi)容生成。

8、在一些實施例，所述通過預(yù)設(shè)的多頭注意力機制和參考數(shù)據(jù)特征對所述選中數(shù)據(jù)特征進行注意力計算，得到所述選中數(shù)據(jù)特征的目標(biāo)注意力權(quán)重集，包括：

9、根據(jù)預(yù)設(shè)的注意力頭數(shù)對所述選中數(shù)據(jù)特征進行拆分處理，得到候選數(shù)據(jù)特征；

10、通過所述多頭注意力機制和所述參考數(shù)據(jù)特征對所述候選數(shù)據(jù)特征進行注意力計算，得到初步注意力權(quán)重；

11、將所述初步注意力權(quán)重進行拼接處理，得到所述選中數(shù)據(jù)特征的所述目標(biāo)注意力權(quán)重集。

12、在一些實施例，所述初步注意力權(quán)重包括：查詢權(quán)重、鍵權(quán)重和值權(quán)重；所述目標(biāo)注意力權(quán)重集包括：查詢權(quán)重矩陣、鍵權(quán)重矩陣和值權(quán)重矩陣；所述將所述初步注意力權(quán)重進行拼接處理，得到所述選中數(shù)據(jù)特征的所述目標(biāo)注意力權(quán)重集，包括：

13、將所述查詢權(quán)重進行拼接處理，得到查詢權(quán)重矩陣；

14、將所述鍵權(quán)重進行拼接處理，得到鍵權(quán)重矩陣；

15、將所述值權(quán)重進行拼接處理，得到值權(quán)重矩陣；

16、根據(jù)所述查詢權(quán)重矩陣、所述鍵權(quán)重矩陣和所述值權(quán)重矩陣構(gòu)建所述目標(biāo)注意力權(quán)重集。

17、在一些實施例，所述至少三個原始數(shù)據(jù)特征包括：原始文本特征、原始圖像特征和原始音頻特征；所述根據(jù)所述目標(biāo)注意力權(quán)重集將所述至少三個原始數(shù)據(jù)特征進行特征融合，得到目標(biāo)數(shù)據(jù)特征，包括：

18、根據(jù)所述目標(biāo)注意力權(quán)重集對所述原始文本特征、所述原始圖像特征和所述原始音頻特征進行注意力處理，得到選定數(shù)據(jù)特征；

19、根據(jù)預(yù)設(shè)的權(quán)重矩陣將所述選定數(shù)據(jù)特征進行特征合并，得到所述目標(biāo)數(shù)據(jù)特征。

20、在一些實施例，若所述選定數(shù)據(jù)特征為選定文本特征；所述根據(jù)所述目標(biāo)注意力權(quán)重集對所述原始文本特征、所述原始圖像特征和所述原始音頻特征進行注意力處理，得到選定數(shù)據(jù)特征，包括：

21、根據(jù)所述查詢權(quán)重矩陣對所述原始文本特征進行注意力處理，得到文本查詢特征；

22、根據(jù)所述鍵權(quán)重矩陣對所述原始圖像特征進行注意力處理，得到文本鍵特征；

23、根據(jù)所述值權(quán)重矩陣對所述原始音頻特征進行注意力處理，得到文本值特征；

24、對所述文本查詢特征、所述文本鍵特征和所述文本值特征進行歸一化處理，得到所述選定文本特征。

25、在一些實施例，所述根據(jù)預(yù)設(shè)的權(quán)重矩陣將所述選定數(shù)據(jù)特征進行特征合并，得到所述目標(biāo)數(shù)據(jù)特征，包括：

26、根據(jù)所述權(quán)重矩陣對所述選定數(shù)據(jù)特征進行線性變換，得到變換數(shù)據(jù)特征；

27、將所述變換數(shù)據(jù)特征進行拼接處理，得到所述目標(biāo)數(shù)據(jù)特征。

28、在一些實施例，在所述基于預(yù)設(shè)的目標(biāo)內(nèi)容生成模型對所述目標(biāo)數(shù)據(jù)特征進行內(nèi)容生成之后，所述方法還包括：

29、獲取所述目標(biāo)內(nèi)容生成模型生成的目標(biāo)內(nèi)容；

30、根據(jù)預(yù)設(shè)的驗證內(nèi)容和所述目標(biāo)內(nèi)容進行損失計算，得到目標(biāo)損失數(shù)據(jù)；

31、根據(jù)所述目標(biāo)損失數(shù)據(jù)對所述目標(biāo)內(nèi)容生成模型進行模型更新。

32、為實現(xiàn)上述目的，本申請實施例的第二方面提出了一種內(nèi)容生成裝置，所述裝置包括：

33、數(shù)據(jù)獲取模塊，用于獲取多模態(tài)數(shù)據(jù)；其中，所述多模態(tài)數(shù)據(jù)包括：至少三個原始數(shù)據(jù)特征和至少三個原始模態(tài)類別，每一所述原始數(shù)據(jù)特征具有一個所述原始模態(tài)類別；

34、特征選中模塊，用于從所述至少三個原始數(shù)據(jù)特征中選出選中數(shù)據(jù)特征；

35、注意力計算模塊，用于通過預(yù)設(shè)的多頭注意力機制和參考數(shù)據(jù)特征對所述選中數(shù)據(jù)特征進行注意力計算，得到所述選中數(shù)據(jù)特征的目標(biāo)注意力權(quán)重集；其中，所述參考數(shù)據(jù)特征的參考模態(tài)類別和所述選中數(shù)據(jù)特征的原始模態(tài)類別不同；

36、特征融合模塊，用于根據(jù)所述目標(biāo)注意力權(quán)重集將所述至少三個原始數(shù)據(jù)特征進行特征融合，得到目標(biāo)數(shù)據(jù)特征；

37、內(nèi)容生成模塊，用于基于預(yù)設(shè)的目標(biāo)內(nèi)容生成模型對所述目標(biāo)數(shù)據(jù)特征進行內(nèi)容生成。

38、為實現(xiàn)上述目的，本申請實施例的第三方面提出了一種計算機設(shè)備，所述計算機設(shè)備包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述第一方面所述的方法。

39、為實現(xiàn)上述目的，本申請實施例的第四方面提出了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述第一方面所述的方法。

40、本申請?zhí)岢龅膬?nèi)容生成方法和裝置、計算機設(shè)備及存儲介質(zhì)，其通過獲取至少三種原始數(shù)據(jù)特征，且每一原始數(shù)據(jù)特征具備一個原始模態(tài)類別，然后從至少三個原始數(shù)據(jù)特征中選擇選中數(shù)據(jù)特征，按照多頭注意力機制和參考數(shù)據(jù)特征對選中數(shù)據(jù)特征做注意力計算，計算選中數(shù)據(jù)特征與模態(tài)類別不同的參考數(shù)據(jù)特征之間的關(guān)聯(lián)關(guān)系以得到目標(biāo)注意力權(quán)重集。因此，基于目標(biāo)注意力權(quán)重集將至少三個原始數(shù)據(jù)特征融合成目標(biāo)數(shù)據(jù)特征，構(gòu)建涵蓋多種模態(tài)類別的數(shù)據(jù)特征，那么基于目標(biāo)數(shù)據(jù)特征做內(nèi)容生成，可以實現(xiàn)更加豐富的內(nèi)容生成，從而提高內(nèi)容的豐富性。

技術(shù)特征：

1.一種內(nèi)容生成方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過預(yù)設(shè)的多頭注意力機制和參考數(shù)據(jù)特征對所述選中數(shù)據(jù)特征進行注意力計算，得到所述選中數(shù)據(jù)特征的目標(biāo)注意力權(quán)重集，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述初步注意力權(quán)重包括：查詢權(quán)重、鍵權(quán)重和值權(quán)重；所述目標(biāo)注意力權(quán)重集包括：查詢權(quán)重矩陣、鍵權(quán)重矩陣和值權(quán)重矩陣；所述將所述初步注意力權(quán)重進行拼接處理，得到所述選中數(shù)據(jù)特征的所述目標(biāo)注意力權(quán)重集，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述至少三個原始數(shù)據(jù)特征包括：原始文本特征、原始圖像特征和原始音頻特征；所述根據(jù)所述目標(biāo)注意力權(quán)重集將所述至少三個原始數(shù)據(jù)特征進行特征融合，得到目標(biāo)數(shù)據(jù)特征，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，若所述選定數(shù)據(jù)特征為選定文本特征；所述根據(jù)所述目標(biāo)注意力權(quán)重集對所述原始文本特征、所述原始圖像特征和所述原始音頻特征進行注意力處理，得到選定數(shù)據(jù)特征，包括：

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)預(yù)設(shè)的權(quán)重矩陣將所述選定數(shù)據(jù)特征進行特征合并，得到所述目標(biāo)數(shù)據(jù)特征，包括：

7.根據(jù)權(quán)利要求1至6任一項所述的方法，其特征在于，在所述基于預(yù)設(shè)的目標(biāo)內(nèi)容生成模型對所述目標(biāo)數(shù)據(jù)特征進行內(nèi)容生成之后，所述方法還包括：

8.一種內(nèi)容生成裝置，其特征在于，所述裝置包括：

9.一種計算機設(shè)備，其特征在于，所述計算機設(shè)備包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)權(quán)利要求1至7任一項所述的內(nèi)容生成方法。

10.一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至7中任一項所述的內(nèi)容生成方法。

技術(shù)總結(jié)
本申請實施例提供了一種內(nèi)容生成方法和裝置、計算機設(shè)備及存儲介質(zhì)，屬于金融科技技術(shù)領(lǐng)域。該方法包括：獲取多模態(tài)數(shù)據(jù)；其中，多模態(tài)數(shù)據(jù)包括：至少三個原始數(shù)據(jù)特征和至少三個原始模態(tài)類別，每一原始數(shù)據(jù)特征具有一個原始模態(tài)類別；從至少三個原始數(shù)據(jù)特征中選出選中數(shù)據(jù)特征；通過預(yù)設(shè)的多頭注意力機制和參考數(shù)據(jù)特征對選中數(shù)據(jù)特征進行注意力計算，得到選中數(shù)據(jù)特征的目標(biāo)注意力權(quán)重集；其中，參考數(shù)據(jù)特征的參考模態(tài)類別和選中數(shù)據(jù)特征的原始模態(tài)類別不同；根據(jù)目標(biāo)注意力權(quán)重集將至少三個原始數(shù)據(jù)特征進行特征融合，得到目標(biāo)數(shù)據(jù)特征；基于預(yù)設(shè)的目標(biāo)內(nèi)容生成模型對所述目標(biāo)數(shù)據(jù)特征進行內(nèi)容生成。本申請實施例能夠讓內(nèi)容生成更豐富。

技術(shù)研發(fā)人員：劉羲,馬英寧,舒暢,陳又新
受保護的技術(shù)使用者：平安科技（深圳）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10