本發(fā)明涉及視頻處理與識(shí)別，尤其涉及一種基于全局-局部時(shí)空特征對(duì)齊的視頻真實(shí)性判斷方法、系統(tǒng)、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、近年來(lái)，隨著數(shù)字技術(shù)的快速發(fā)展，視頻編輯和篡改技術(shù)也日益成熟，偽造視頻通過(guò)將目標(biāo)視頻人物的臉替換成指定的原始視頻人臉，或讓目標(biāo)人臉重演、模仿原始人臉的動(dòng)作、表情等，從而制作出目標(biāo)人臉的偽造視頻，然而目前偽造視頻難以通過(guò)肉眼進(jìn)行鑒別。

2、而針對(duì)投資風(fēng)險(xiǎn)偏好的識(shí)別是金融投資很重要的一環(huán)，特別是針對(duì)投資者的情緒，如中國(guó)發(fā)明專(zhuān)利公開(kāi)說(shuō)明書(shū)cn115861068a公開(kāi)了一種基于可變形注意力的時(shí)空混合視頻超分辨率方法，包括：將低分辨率視頻數(shù)據(jù)流進(jìn)行局部特征提取以及全局特征提取，經(jīng)過(guò)串聯(lián)的塊丟棄注意力模塊和可變形注意力模塊，獲取集聚全局信息的視頻幀特征向量，再次進(jìn)行局部特征提取并通過(guò)跳躍連接結(jié)合淺層特征信息，利用時(shí)間軌跡提取每一個(gè)空間塊向量在時(shí)間維度上的特征信息并完成特征對(duì)齊，將獲取的前后向超分結(jié)果融合并通過(guò)重建模塊輸出最終的高分辨率幀結(jié)果。但是，通過(guò)此方法未充分考慮局部特征以及全局特征之間的聯(lián)系，且需要丟棄視頻中的幀數(shù)，將導(dǎo)致視頻考慮不全面。

3、現(xiàn)有技術(shù)中視頻真實(shí)性判斷方法大多依賴(lài)于手工設(shè)計(jì)的特征，或是僅僅利用視頻的時(shí)空信息來(lái)檢測(cè)深度偽造的人臉視頻，因此其性能往往受限于特征提取的準(zhǔn)確性，且難以準(zhǔn)確識(shí)別出精細(xì)偽造視頻中的異常時(shí)空特征，缺少泛化能力?，F(xiàn)有技術(shù)的方法中通常只關(guān)注視頻的局部特征或全局特征，而忽略了它們之間的關(guān)聯(lián)性和交互作用，導(dǎo)致判斷結(jié)果的不準(zhǔn)確。

技術(shù)實(shí)現(xiàn)思路

1、為解決現(xiàn)有技術(shù)的不足，本發(fā)明提出基于全局-局部時(shí)空特征對(duì)齊的視頻真實(shí)性判斷方法、系統(tǒng)、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

2、為實(shí)現(xiàn)以上目的，本發(fā)明所采用的技術(shù)方案包括：

3、一種基于全局-局部時(shí)空特征對(duì)齊的視頻真實(shí)性判斷方法，其特征在于，包括：

4、s1、視頻采樣：獲取目標(biāo)視頻，并對(duì)所述目標(biāo)視頻進(jìn)行采樣，得出預(yù)設(shè)數(shù)量視頻組，所述視頻組內(nèi)包含對(duì)應(yīng)視頻長(zhǎng)度的連續(xù)幀；

5、s2、局部時(shí)空特征提?。簩?duì)所述連續(xù)幀的每一幀進(jìn)行幀級(jí)空間特征提取，將所述幀級(jí)空間特征在時(shí)間維度上連接得到連續(xù)特征，并采用時(shí)間學(xué)習(xí)網(wǎng)絡(luò)基于所述連續(xù)特征得出局部時(shí)空特征；

6、s3、全局時(shí)空特征提?。簩⑺鲆曨l組對(duì)應(yīng)的所述局部時(shí)空特征進(jìn)行融合，形成全局時(shí)空特征；

7、s4、特征對(duì)齊：將所述全局時(shí)空特征進(jìn)行域劃分，提取域特征，并采用最大平均差異度量計(jì)算所述域特征的分布差異，通過(guò)調(diào)整所述域特征的分布以減小所述分布差異，對(duì)所述全局時(shí)空特征進(jìn)行對(duì)齊；

8、s5、視頻真實(shí)性判斷：將對(duì)齊處理后的所述全局時(shí)空特征映射至二分類(lèi)空間，并采用函數(shù)進(jìn)行概率轉(zhuǎn)化，輸入至真?zhèn)闻袛嗄Ｐ椭羞M(jìn)行真?zhèn)闻袛?，其中所述真?zhèn)闻袛嗄Ｐ筒捎脦в姓鎸?shí)或偽造標(biāo)簽的視頻數(shù)據(jù)訓(xùn)練。

9、進(jìn)一步，所述步驟s5中將對(duì)齊處理后的所述全局時(shí)空特征映射至二分類(lèi)空間具體包括：將對(duì)齊處理后的所述全局時(shí)空特征采用全連接層映射至二分類(lèi)空間，所述全連接層的輸出節(jié)點(diǎn)數(shù)量設(shè)置為2。

10、更進(jìn)一步，所述步驟s5中采用采用函數(shù)進(jìn)行概率轉(zhuǎn)化具體包括：采用softmax函數(shù)進(jìn)行概率轉(zhuǎn)化，且使得轉(zhuǎn)化后的概率值之和為1，根據(jù)所述概率值進(jìn)行真?zhèn)闻袛唷?/p>

11、更進(jìn)一步，所述步驟s5中真?zhèn)闻袛嗄Ｐ筒捎脦в姓鎸?shí)或偽造標(biāo)簽的視頻數(shù)據(jù)訓(xùn)練還包括：在訓(xùn)練過(guò)程中，通過(guò)優(yōu)化算法調(diào)節(jié)所述全連接層的權(quán)重，并進(jìn)行迭代，使所述真?zhèn)闻袛嗄Ｐ偷呐袛嘟Y(jié)果與所述真實(shí)標(biāo)簽視頻數(shù)據(jù)之間的損失函數(shù)最小化。

12、可選地，步驟s3中將所述視頻組對(duì)應(yīng)的所述局部時(shí)空特征進(jìn)行融合具體包括：

13、采用全局-局部轉(zhuǎn)換模型將所述視頻組對(duì)應(yīng)的所述局部時(shí)空特征進(jìn)行融合，所述全局-局部轉(zhuǎn)換模型包含局部轉(zhuǎn)換模型和全局轉(zhuǎn)換模型，通過(guò)所述局部轉(zhuǎn)換模型挖掘所述局部時(shí)空特征之間的短期交互，通過(guò)所述全局轉(zhuǎn)換模型挖掘所述局部時(shí)空特征和所述全局時(shí)空線(xiàn)索之間的長(zhǎng)期相互作用。

14、進(jìn)一步，所述局部轉(zhuǎn)換模型包含多頭注意力機(jī)制、前饋層和歸一化層。

15、此外，本發(fā)明還涉及一種基于全局-局部時(shí)空特征對(duì)齊的視頻真實(shí)性判斷系統(tǒng)，其特征在于，包括：

16、視頻采樣模塊，用于獲取目標(biāo)視頻，并對(duì)所述目標(biāo)視頻進(jìn)行采樣，得出預(yù)設(shè)數(shù)量視頻組，所述視頻組內(nèi)包含對(duì)應(yīng)視頻長(zhǎng)度的連續(xù)幀；

17、局部時(shí)空特征提取模塊，用于對(duì)所述連續(xù)幀的每一幀進(jìn)行幀級(jí)空間特征提取，將所述幀級(jí)空間特征在時(shí)間維度上連接得到連續(xù)特征，并采用時(shí)間學(xué)習(xí)網(wǎng)絡(luò)基于所述連續(xù)特征得出局部時(shí)空特征；

18、全局時(shí)空特征提取模塊，用于將所述視頻組對(duì)應(yīng)的所述局部時(shí)空特征進(jìn)行融合，形成全局時(shí)空特征；

19、特征對(duì)齊模塊，用于將所述全局時(shí)空特征進(jìn)行域劃分，提取域特征，并采用最大平均差異度量計(jì)算所述域特征的分布差異，通過(guò)調(diào)整所述域特征的分布以減小所述分布差異，對(duì)所述全局時(shí)空特征進(jìn)行對(duì)齊；

20、視頻真實(shí)性判斷模塊，用于將對(duì)齊處理后的所述全局時(shí)空特征映射至二分類(lèi)空間，并采用函數(shù)進(jìn)行概率轉(zhuǎn)化，輸入至真?zhèn)闻袛嗄Ｐ椭羞M(jìn)行真?zhèn)闻袛?，其中所述真?zhèn)闻袛嗄Ｐ筒捎脦в姓鎸?shí)或偽造標(biāo)簽的視頻數(shù)據(jù)訓(xùn)練。

21、進(jìn)一步，所述視頻真實(shí)性判斷模塊，還包括：

22、映射單元，用于將對(duì)齊處理后的所述全局時(shí)空特征采用全連接層映射至二分類(lèi)空間，所述全連接層的輸出節(jié)點(diǎn)數(shù)量設(shè)置為2。

23、更進(jìn)一步，所述視頻真實(shí)性判斷模塊，還包括：

24、概率轉(zhuǎn)化單元，用于采用softmax函數(shù)進(jìn)行概率轉(zhuǎn)化，且使得轉(zhuǎn)化后的概率值之和為1，根據(jù)所述概率值進(jìn)行真?zhèn)闻袛唷?/p>

25、更進(jìn)一步，所述視頻真實(shí)性判斷模塊，還包括：

26、優(yōu)化單元，用于在訓(xùn)練過(guò)程中，通過(guò)優(yōu)化算法調(diào)節(jié)所述全連接層的權(quán)重，并進(jìn)行迭代，使所述真?zhèn)闻袛嗄Ｐ偷呐袛嘟Y(jié)果與所述真實(shí)標(biāo)簽視頻數(shù)據(jù)之間的損失函數(shù)最小化。

27、可選地，所述全局時(shí)空特征提取模塊，還包括：

28、融合單元，采用全局-局部轉(zhuǎn)換模型將所述視頻組對(duì)應(yīng)的所述局部時(shí)空特征進(jìn)行融合，所述全局-局部轉(zhuǎn)換模型包含局部轉(zhuǎn)換模型和全局轉(zhuǎn)換模型，通過(guò)所述局部轉(zhuǎn)換模型挖掘所述局部時(shí)空特征之間的短期交互，通過(guò)所述全局轉(zhuǎn)換模型挖掘所述局部時(shí)空特征和所述全局時(shí)空線(xiàn)索之間的長(zhǎng)期相互作用。

29、進(jìn)一步，所述局部轉(zhuǎn)換模型，還包括：多頭注意力機(jī)制、前饋層和歸一化層。

30、此外，本發(fā)明還涉及一種電子設(shè)備，其特征在于，包括處理器和存儲(chǔ)器；

31、所述存儲(chǔ)器，用于存儲(chǔ)操作指令；

32、所述處理器，用于通過(guò)調(diào)用所述操作指令，執(zhí)行上述的方法。

33、此外，本發(fā)明還涉及一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的方法。

34、采用本技術(shù)提供的方案，對(duì)目標(biāo)視頻進(jìn)行采樣，獲取包含連續(xù)幀的視頻組，通過(guò)提取每個(gè)視頻組的局部時(shí)空特征，進(jìn)而融合形成全局時(shí)空特征，對(duì)全局時(shí)空特征進(jìn)行域劃分和分布差異計(jì)算，調(diào)整域特征的分布實(shí)現(xiàn)特征對(duì)齊，最后，將對(duì)齊處理后的全局時(shí)空特征映射至二分類(lèi)空間，利用真?zhèn)闻袛嗄Ｐ瓦M(jìn)行視頻真實(shí)性的判斷，因此采用上述技術(shù)方案，在考慮局部特征的情況下，又融合了整個(gè)視頻組的全局特征，能夠準(zhǔn)確識(shí)別出異常時(shí)空特征，提高視頻真實(shí)性判斷的準(zhǔn)確性及泛化能力。