[]本發(fā)明涉及引入專家知識的多模態(tài)大語言模型的偽造信息檢測方法。

背景技術：

0、[背景技術]

1、隨著社交媒體平臺越來越多地融人們的生活，使得社交媒體平臺已成為公眾獲取信息的主要來源。因此，虛假新聞容易被快速傳播，且假新聞的內容容易令人困惑，容易誤導人們，反過來影響他們的判斷和決定。

2、但現有使用大語言模型對虛假新聞檢測方法中，缺少對新聞圖像和文本對是否匹配的判斷和缺少分析文本和圖像雙模態(tài)是否充足的判斷，以及對虛假新聞缺乏引入該新聞內容涉及領域的專家知識的判斷，因此對于虛假信息的偽造信息檢測準確性低，容易出現將虛假新聞識別為真實新聞并傳播等問題。

技術實現思路

0、[
技術實現要素：
]

1、本發(fā)明克服了現有技術的不足，提供了引入專家知識的多模態(tài)大語言模型的偽造信息檢測方法。

2、為實現上述目的，本發(fā)明采用了下列技術方案：

3、引入專家知識的多模態(tài)大語言模型的偽造信息檢測方法，其特征在于：包括有

4、s1、初步判斷，利用多模態(tài)大語言模型判斷輸入的新聞圖像和文本對是否匹配，以及分析圖像和文本雙模態(tài)的信息是否充足，并在圖像和文本對不匹配且圖像和文本雙模態(tài)信息不充足時，檢索圖像的文本證據；

5、s2、專家系統(tǒng)推理，多模態(tài)大語言模型根據給定的提示生成專家身份描述，并以專家身份描述為條件，根據圖像和文本生成假新聞檢測依據，或根據圖像、文本和檢索的圖像的文本證據生成假新聞檢測依據；

6、s3、多模態(tài)特征交互融合學習與分類，對新聞的圖像和文本分別進行特征提取和編碼，并將圖像編碼特征、文本編碼特征和假新聞檢測依據互相交互學習，將交互特征拼接并輸入到分類器中進行新聞類別分類。

7、如上所述的引入專家知識的多模態(tài)大語言模型的偽造信息檢測方法，其特征在于：s1包括有

8、s11、設定新聞的圖像記作v，新聞的文本記作t，提取(v,t)圖像文本對各自的實體，并識別文本實體集和圖像實體集將識別的文本實體和圖像實體按照提示的格式輸入到多模態(tài)大語言模型中，判斷圖像和文本對是否匹配，以及分析圖像和文本雙模態(tài)的信息是否充足，其中，圖像和文本對匹配的結果記作yd，檢索證據的依據記作rd；

9、s12、當圖像和文本對匹配時，對圖像和文本輸入進行專家系統(tǒng)推理；當圖像和文本對不匹配且圖像和文本雙模態(tài)的信息不足時，通過多模態(tài)大語言模型對圖像生成搜索短語，然后用being搜索引擎根據生成的搜索短語檢索文本證據，并將檢索圖像的文本證據記作ev。

10、如上所述的引入專家知識的多模態(tài)大語言模型的偽造信息檢測方法，其特征在于：s11中的文本實體集通過實體鏈接工具tagme從新聞文本模態(tài)中識別，圖像實體集通過yolov3目標識別器從新聞文本模態(tài)中識別。

11、如上所述的引入專家知識的多模態(tài)大語言模型的偽造信息檢測方法，其特征在于：s2包括有

12、s21、專家身份識別，設定專家判斷提示指令為q，通過指令q使多模態(tài)大語言模型mllm根據輸入的文本、圖像和檢索的證據判斷領域所屬的專家身份，判斷領域所屬專家身份的公式如下

13、

14、其中ea表示識別的專家身份，ev分別表示文本實體，圖像實體和檢索的證據；

15、s22、多模態(tài)大語言模型推理，將每個專家身份ea與ev輸入到多模態(tài)大語言模型中，讓多模態(tài)大語言模型根據判斷新聞真假的提示t，生成假新聞檢測依據rn，生成的公式如下：

16、

17、如上所述的引入專家知識的多模態(tài)大語言模型的偽造信息檢測方法，其特征在于：s3包括有

18、s31、新聞特征編碼，對新聞的圖像模態(tài)和文本模態(tài)進行特征的提取和編碼，得到圖像編碼后的特征xv和文本編碼后的特征xt；

19、s32、特征和依據交互融合，特征和依據交互融合學習了xt和xv之間的交互特征ft→v和fv→t，xt和rn的交互特征ft→r和fr→t，xv和rf的交互特征fv→r和fr→v，并ft→v，fv→t，ft→r，fr→t，fv→r，fr→v，xv，xt聚合，得到聚合特征m，并通過交叉注意力機制進行特征的交互學習，交叉注意力機制描述為：

20、

21、其中q′＝wq*q，k′＝wk*k，v′＝wv*v，d表示特征維度，q代表查詢，k代表鍵，v代表值，wo，wk和wv分別表示查詢、鍵、值的變化矩陣；對于給定的xt、xv、rd，交互特征的計算公式如下：

22、ft→v＝avgpool(ca(xt，xv，xv))

23、fv→t＝avgpool(ca(xv，xt，xt))

24、ft→r＝avgpool(ca(xt，rn，rn))

25、fr→t＝avgpool(ca(rn，xt，xt))

26、fv→r＝avgpool(ca(xv，rf，rn)))

27、fr→v＝avgpool(ca(rf，xv，xv))

28、其中函數avgpool表示池化層計算，函數ca表示交叉注意力機制計算；

29、s33、分類預測，將聚合特征m通過激活函數的fc層進行轉換，以預測假新聞的概率，公式如下：

30、

31、其中wc表示權重，bc表示偏置；

32、使用交叉熵損失作為整個模型的損失，計算公式如下：

33、

34、其中表示預測的結果,y表示實際的結果。

35、如上所述的引入專家知識的多模態(tài)大語言模型的偽造信息檢測方法，其特征在于：s31中由vgg-16圖像特征編碼器從圖像模態(tài)中提取特征并編碼后得到特征xv；由transformer文本特征編碼器從文本模態(tài)中提取特征并編碼后得到特征xt。

36、如上所述的引入專家知識的多模態(tài)大語言模型的偽造信息檢測方法，其特征在于：s32中通過雙向交叉注意力機制的新聞-推理交互器進行特征的交互學習。

37、如上所述的引入專家知識的多模態(tài)大語言模型的偽造信息檢測方法，其特征在于：s33中激活函數為sigmoid激活函數。

38、本發(fā)明的有益效果是：

39、本發(fā)明在新聞的圖像和文本對不匹配且圖像和文本雙模態(tài)信息不充足時，通過檢索外部圖像的文本證據支持新聞真假的判斷，同時通過生成專家身份引入專家知識，以生成專家身份對新聞圖像、文本和檢索圖像的文本證據生成假新聞檢測的依據，最后通過多模態(tài)特征交互融合學習與分類模塊，實現對虛假新聞偽造信息的準確檢測；同時本案中的多模態(tài)特征交互融合學習使用了多模態(tài)大語言模型良好的分析能力和小語言模型良好的提取特定任務特征的能力，通過多模態(tài)大語言模型提供的提示，提升偽造信息檢測的準確率，同時新聞-推理交互學習多模態(tài)大語言模型生成了推理和新聞模態(tài)間的交互信息，實現了小語言模型和多模態(tài)大語言模型優(yōu)勢的充分結合。

技術特征：

1.引入專家知識的多模態(tài)大語言模型的偽造信息檢測方法，其特征在于：包括有

2.根據權利要求1所述的引入專家知識的多模態(tài)大語言模型的偽造信息檢測方法，其特征在于：s1包括有

3.根據權利要求2所述的引入專家知識的多模態(tài)大語言模型的偽造信息檢測方法，其特征在于：s11中的文本實體集通過實體鏈接工具tagme從新聞文本模態(tài)中識別，圖像實體集通過yolov3目標識別器從新聞文本模態(tài)中識別。

4.根據權利要求2所述的引入專家知識的多模態(tài)大語言模型的偽造信息檢測方法，其特征在于：s2包括有

5.根據權利要求4所述的引入專家知識的多模態(tài)大語言模型的偽造信息檢測方法，其特征在于：s3包括有

6.根據權利要求5所述的引入專家知識的多模態(tài)大語言模型的偽造信息檢測方法，其特征在于：s31中由vgg-16圖像特征編碼器從圖像模態(tài)中提取特征并編碼后得到特征xv；由transformer文本特征編碼器從文本模態(tài)中提取特征并編碼后得到特征xt。

7.根據權利要求5所述的引入專家知識的多模態(tài)大語言模型的偽造信息檢測方法，其特征在于：s32中通過雙向交叉注意力機制的新聞-推理交互器進行特征的交互學習。

8.根據權利要求5所述的引入專家知識的多模態(tài)大語言模型的偽造信息檢測方法，其特征在于：s33中激活函數為sigmoid激活函數。

技術總結
本發(fā)明公開了引入專家知識的多模態(tài)大語言模型的偽造信息檢測方法，包括有S1初步判斷，利用多模態(tài)大語言模型判斷輸入的新聞圖像和文本對是否匹配，以及分析圖像和文本雙模態(tài)的信息是否充足，并在信息不充足時，檢索圖像的文本證據；S2專家系統(tǒng)推理，多模態(tài)大語言模型根據給定的提示生成專家身份描述，并以專家身份描述為條件，生成假新聞檢測依據；S3多模態(tài)特征交互融合學習與分類，對新聞的圖像和文本分別進行特征提取和編碼，并將圖像編碼特征、文本編碼特征和假新聞檢測依據互相交互學習，將交互特征拼接并輸入到分類器中進行新聞類別分類，實現對虛假新聞偽造信息的準確檢測。

技術研發(fā)人員：王茂林,張鵬
受保護的技術使用者：深圳市金大智能創(chuàng)新科技有限公司
技術研發(fā)日：
技術公布日：2024/9/9