本發(fā)明涉及深度偽造的檢測(cè)領(lǐng)域，尤其是指一種基于領(lǐng)域魯棒表示學(xué)習(xí)的泛化人臉偽造檢測(cè)方法。

背景技術(shù)：

1、目前，深度偽造技術(shù)使個(gè)人能夠容易地操縱視頻中的面部屬性或身份，從而達(dá)到欺騙人類視覺系統(tǒng)的目的。近年來，許多方法將人臉偽造檢測(cè)視為一個(gè)二分類任務(wù)。最初，這些方法依賴于提取手動(dòng)特征，但隨后轉(zhuǎn)向利用各種深度模型來辨別潛在的偽造線索。這些模型在檢測(cè)準(zhǔn)確率上不斷改善，并在具有相似偽造模式和圖像場(chǎng)景的多個(gè)數(shù)據(jù)集上表現(xiàn)出令人滿意的性能。然而，在現(xiàn)實(shí)場(chǎng)景中，偽造的人臉數(shù)據(jù)通常來自不同的內(nèi)容背景，并采用各種偽造技術(shù)，導(dǎo)致訓(xùn)練數(shù)據(jù)和未知測(cè)試數(shù)據(jù)之間存在不同的統(tǒng)計(jì)分布，從而引入了領(lǐng)域偏移。因此，盡管偽造檢測(cè)模型需要在真實(shí)場(chǎng)景中展示穩(wěn)定的檢測(cè)性能，但不幸的是，這些檢測(cè)方法經(jīng)常會(huì)過擬合于可見的領(lǐng)域數(shù)據(jù)。當(dāng)面臨具有不同統(tǒng)計(jì)分布的未知域測(cè)試數(shù)據(jù)時(shí)，模型的檢測(cè)性能會(huì)顯著下降。

2、盡管當(dāng)前許多方法已經(jīng)關(guān)注到了探索更一般性的偽造特征表示來提升檢測(cè)模型的泛化性，但它們大多仍缺乏穩(wěn)定的泛化表現(xiàn)。一方面是因?yàn)楫?dāng)前方法不可避免地依賴于已見訓(xùn)練數(shù)據(jù)中的有限數(shù)據(jù)變化或特定的偽造線索，缺乏對(duì)未知領(lǐng)域數(shù)據(jù)的代表性，另一方面無法有效學(xué)習(xí)到對(duì)于領(lǐng)域變化具有魯棒性的判別特征，從而難以解決復(fù)雜數(shù)據(jù)場(chǎng)景中由不同的領(lǐng)域特性導(dǎo)致的領(lǐng)域偏移問題。這些問題都反映了當(dāng)前的人臉偽造檢測(cè)模型在穩(wěn)定的泛化性上仍有提升空間。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提出了一種基于領(lǐng)域魯棒表示學(xué)習(xí)的泛化人臉偽造檢測(cè)方法，該方法通過削弱豐富數(shù)據(jù)變化中的領(lǐng)域特征表達(dá)來學(xué)習(xí)對(duì)未知域魯棒的判別特征表示。該方法共由兩個(gè)關(guān)鍵過程組成：數(shù)據(jù)風(fēng)格增強(qiáng)和魯棒性特征學(xué)習(xí)。數(shù)據(jù)風(fēng)格增強(qiáng)基于內(nèi)容風(fēng)格變化和偽造風(fēng)格變化增廣了豐富且具有代表性的新數(shù)據(jù)以緩解檢測(cè)模型對(duì)可見數(shù)據(jù)的過擬合。魯棒性特征學(xué)習(xí)能夠準(zhǔn)確地從判別特征中移除領(lǐng)域特征，包括偽造無關(guān)的內(nèi)容相關(guān)性和對(duì)領(lǐng)域敏感的偽造特征，并增強(qiáng)判別特征在不同領(lǐng)域變化中的表達(dá)一致性，最終獲得準(zhǔn)確且魯棒的偽造判別特征表示。

2、為實(shí)現(xiàn)上述目的，本發(fā)明所提供的技術(shù)方案為：基于領(lǐng)域魯棒表示學(xué)習(xí)的泛化人臉偽造檢測(cè)方法，包括以下步驟：

3、1)采樣豐富的人臉偽造視頻和真實(shí)人臉視頻，涉及不同的人臉偽造方法和內(nèi)容場(chǎng)景，裁剪偽造視頻中的面部區(qū)域，并縮放到統(tǒng)一的圖像尺寸，再進(jìn)行隨機(jī)數(shù)據(jù)增強(qiáng)，獲得具有豐富變化的人臉偽造視頻幀訓(xùn)練集；

4、2)用人臉偽造視頻幀訓(xùn)練集對(duì)所設(shè)計(jì)的領(lǐng)域魯棒表示學(xué)習(xí)的人臉偽造檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，學(xué)習(xí)對(duì)領(lǐng)域變化具有魯棒性的偽造表示，并獲取具有最佳性能的網(wǎng)絡(luò)權(quán)重參數(shù)；其中，所述人臉偽造檢測(cè)網(wǎng)絡(luò)包含數(shù)據(jù)風(fēng)格增強(qiáng)部分和魯棒性特征學(xué)習(xí)部分，訓(xùn)練時(shí)，所述數(shù)據(jù)風(fēng)格增強(qiáng)部分分別在圖像空間和特征空間風(fēng)格化圖像的內(nèi)容信息和特征的偽造信息，再從對(duì)應(yīng)的困難風(fēng)格空間中采樣代表性的新風(fēng)格向量，與輸入樣本重組增廣具有代表性內(nèi)容信息和偽造信息變化的新樣本，緩解網(wǎng)絡(luò)對(duì)可見域樣本的過擬合，對(duì)于豐富的偽造特征，所述魯棒特征學(xué)習(xí)部分首先通過基于特征對(duì)抗融合重構(gòu)的內(nèi)容去相關(guān)模塊去除偽造特征中的內(nèi)容相關(guān)性，隨后由基于通道相關(guān)性變化的敏感通道丟棄模塊移除偽造特征中對(duì)領(lǐng)域變化敏感的通道，并通過類間非對(duì)稱的魯棒一致性損失增強(qiáng)偽造特征在不同偽造差異下的表達(dá)一致性，從而獲得對(duì)領(lǐng)域變化具有魯棒性的判別性特征表示；

5、3)應(yīng)用步驟2)中構(gòu)造的人臉偽造檢測(cè)網(wǎng)絡(luò)和基于領(lǐng)域魯棒表示學(xué)習(xí)訓(xùn)練好的網(wǎng)絡(luò)權(quán)重參數(shù)，將待檢測(cè)的人臉圖像裁剪并縮放到規(guī)定尺寸后輸入訓(xùn)練好的人臉偽造檢測(cè)網(wǎng)絡(luò)，根據(jù)網(wǎng)絡(luò)輸出的分類預(yù)測(cè)標(biāo)簽判斷輸入的人臉圖像是否存在偽造操作。

6、進(jìn)一步，在步驟1)中，對(duì)于采樣自不同的人臉偽造方法和內(nèi)容場(chǎng)景的人臉偽造視頻和真實(shí)人臉視頻，按照預(yù)設(shè)的幀間隔提取人臉偽造視頻的視頻幀，使用公開的人臉檢測(cè)網(wǎng)絡(luò)mtcnn檢測(cè)并裁剪視頻幀中的面部區(qū)域，并將裁剪的面部圖像大小統(tǒng)一縮放為256×256的尺寸，使用數(shù)據(jù)增強(qiáng)方法中的裁剪、噪聲、對(duì)比度和壓縮對(duì)圖像進(jìn)行增強(qiáng)，圖像的標(biāo)簽與來源視頻的標(biāo)簽保持一致，得到具有豐富變化的人臉偽造視頻幀訓(xùn)練集。

7、進(jìn)一步，在步驟2)中，使用步驟1)中構(gòu)建的人臉偽造視頻幀訓(xùn)練集對(duì)所設(shè)計(jì)的領(lǐng)域魯棒表示學(xué)習(xí)的人臉偽造檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練過程包括以下步驟：

8、2.1)通過數(shù)據(jù)風(fēng)格增強(qiáng)部分中的內(nèi)容風(fēng)格增強(qiáng)模塊，豐富輸入圖像的全局內(nèi)容信息變化，涉及圖像的色彩、紋理和對(duì)比度，具體過程為：在每個(gè)更新周期，選擇其中數(shù)據(jù)增強(qiáng)后的n*個(gè)具有高分類交叉熵的樣本形成困難樣本集提取困難樣本的均值和方差作為其內(nèi)容風(fēng)格，其中表示困難樣本的類別真實(shí)標(biāo)簽，對(duì)于第i個(gè)困難樣本表示所有c×h×w的實(shí)矩陣的集合，c、h、w分別表示圖像的通道數(shù)、長度、寬度，其通道c的均值和方差定義為：

9、

10、

11、式中，j表示通道c中的元素序號(hào)，的整體內(nèi)容風(fēng)格向量為代表通道的均值向量，代表通道的方差向量，基于困難樣本集dw中所有樣本的風(fēng)格向量構(gòu)造困難內(nèi)容風(fēng)格空間分別表示均值向量和方差向量的多元空間；對(duì)于輸入樣本xi，從中隨機(jī)采樣內(nèi)容風(fēng)格，并與xi的原始風(fēng)格組合成為新的內(nèi)容風(fēng)格分別表示新的內(nèi)容均值向量和內(nèi)容方差向量：

12、

13、

14、

15、式中，表示標(biāo)準(zhǔn)正態(tài)分布，∈μ和∈σ都是從中采樣的隨機(jī)向量，kaug表示控制增強(qiáng)程度的超參數(shù)，將新的內(nèi)容風(fēng)格向量嵌入輸入樣本xi：

16、

17、式中，所生成的新樣本x′i為內(nèi)容風(fēng)格增強(qiáng)后的樣本，與原始樣本xi一起作為后續(xù)特征提取網(wǎng)絡(luò)的輸入樣本；

18、2.2)基于獲取的內(nèi)容風(fēng)格增強(qiáng)后的輸入樣本，使用特征提取網(wǎng)絡(luò)獲取其深層特征，通過魯棒性特征學(xué)習(xí)中的內(nèi)容去相關(guān)模塊去除其中和偽造特征無關(guān)的內(nèi)容相關(guān)性，具體的過程為：特征提取網(wǎng)絡(luò)獲得輸入樣本的偽造特征zi，通過樣例自適應(yīng)歸一化adain將其嵌入到輸入樣本的內(nèi)容特征中進(jìn)行約束，表示為qi表示內(nèi)容編碼器提取的輸入樣本xi的內(nèi)容特征，μ(·)和σ(·)表示特征通道維度的均值和方差；然后將嵌入融合后的特征重建到圖像空間，應(yīng)用內(nèi)容去相關(guān)約束lctd，損失函數(shù)定義為：

19、

20、式中，g表示內(nèi)容編碼器，r表示包含adain層的內(nèi)容解碼器，||·||1表示l1重構(gòu)約束，n為樣本數(shù)量，通過將原始樣本的偽造特征zi和隨機(jī)的內(nèi)容風(fēng)格增強(qiáng)樣本的偽造特征z′l重構(gòu)回相同的輸入樣本，抑制其中的內(nèi)容相關(guān)性表達(dá)；

21、2.3)基于獲得的去除內(nèi)容相關(guān)性后的偽造特征，通過數(shù)據(jù)風(fēng)格增強(qiáng)部分中的偽造風(fēng)格增強(qiáng)模塊，豐富特征中的偽造信息變化，具體過程為：與內(nèi)容風(fēng)格增強(qiáng)相似，首先在每個(gè)風(fēng)格空間更新周期提取困難樣本集dw中樣本特征的偽造風(fēng)格，表示所有cz×hz×wz的實(shí)矩陣的集合，cz、hz、wz分別表示特征的通道數(shù)、長度、寬度，計(jì)算方式如下：

22、

23、式中，分別表示困難樣本特征通道c的均值和方差，其整體偽造風(fēng)格中的均值向量和方差向量分別表示分別基于不同類別困難樣本特征的偽造風(fēng)格構(gòu)造對(duì)應(yīng)類別的困難偽造風(fēng)格空間分別表示類別均值向量和方差向量的多元空間，r表示真實(shí)類，f表示偽造類；在每個(gè)訓(xùn)練批次中，對(duì)于內(nèi)容風(fēng)格增強(qiáng)后的輸入樣本x′i的偽造特征z′i，其偽造風(fēng)格對(duì)應(yīng)的均值向量和方差向量分別為從中隨機(jī)采樣新的偽造風(fēng)格變化，組合成為新的偽造風(fēng)格對(duì)應(yīng)的均值向量和方差向量分別為

24、

25、式中，kaug為與內(nèi)容風(fēng)格增強(qiáng)中一致的超參數(shù)，用于控制增強(qiáng)程度，將新的偽造風(fēng)格向量嵌入偽造特征z′i，嵌入方式定義為：

26、

27、式中，所獲得的特征z″i為偽造風(fēng)格增廣后的樣本偽造特征，即風(fēng)格增強(qiáng)特征；

28、2.4)基于魯棒性特征學(xué)習(xí)中的敏感通道丟棄模塊丟棄對(duì)領(lǐng)域變化敏感的特征通道，并通過非對(duì)稱的魯棒一致性損失增強(qiáng)偽造特征在不同偽造差異下的表達(dá)一致性，得到對(duì)偽造域變化具有魯棒性的特征表示，具體過程如下：計(jì)算特征通道的敏感分?jǐn)?shù)：對(duì)于特征首先計(jì)算表示其特征通道間相關(guān)性的協(xié)方差矩陣∑i：

29、

30、式中，表示所有cz×cz的實(shí)矩陣的集合，cz表示特征的通道數(shù)，t表示矩陣的轉(zhuǎn)置，然后獲取∑i的行均值向量作為通道相關(guān)性向量其中的每個(gè)元素表示該通道與特征內(nèi)其它通道的平均相關(guān)性，計(jì)算樣本對(duì)特征zi和z″i的通道相關(guān)性向量和之間的方差作為特征通道的敏感分?jǐn)?shù)向量中的元素值越大表示該通道對(duì)偽造信息變化越敏感，不同的樣本對(duì)選擇獲得不同的敏感分?jǐn)?shù)向量；

31、獲得偽造特征的魯棒性輸出：對(duì)于特征zi及其通道的敏感分?jǐn)?shù)向量以確定的通道丟棄比例kdrop確定該敏感分?jǐn)?shù)向量的閾值基于此計(jì)算特征通道的掩碼mii”，定義通道j的掩碼為mii”(j)：

32、

33、以同樣的方法獲得敏感分?jǐn)?shù)向量對(duì)應(yīng)的通道掩碼mil”，將掩碼mii”和mil”分別與特征zi相乘：

34、

35、式中，⊙表示矩陣的點(diǎn)乘操作，和表示特征zi在不同樣本對(duì)選擇下丟棄敏感通道的魯棒性輸出；

36、使用魯棒一致性約束對(duì)齊偽造特征zi的不同魯棒性輸出和增強(qiáng)偽造特征在偽造信息變化中的表達(dá)一致性，魯棒一致性損失lrc定義為：

37、

38、式中，h′表示分類網(wǎng)絡(luò)，kl表示kullback–leibler散度度量，s表示softmax函數(shù)，n表示樣本數(shù)量，τr/f表示損失函數(shù)中不同類別樣本所采用的溫度參數(shù)，對(duì)應(yīng)真實(shí)類和偽造類分別表示為τr和τf，考慮人臉偽造數(shù)據(jù)分布中類間分布不對(duì)稱的情況，τr和τf的設(shè)置也是不對(duì)稱的，τr大于τf；對(duì)于風(fēng)格增強(qiáng)特征z″i，采用與原始樣本特征zi相同的方法丟棄敏感通道并應(yīng)用魯棒性一致性損失；基于交叉熵?fù)p失來監(jiān)督網(wǎng)絡(luò)學(xué)習(xí)與人臉偽造檢測(cè)任務(wù)相關(guān)的特征表示，交叉熵?fù)p失lce定義為：

39、

40、式中，yi表示xi的類別真實(shí)標(biāo)簽，和分別表示原始樣本特征和增強(qiáng)樣本特征輸入敏感通道丟棄模塊的輸出，其中d表示敏感通道的丟棄操作，d1和d2分別表示基于不同通道掩碼的丟棄操作；

41、2.5)領(lǐng)域魯棒表示學(xué)習(xí)的人臉偽造檢測(cè)網(wǎng)絡(luò)的總體優(yōu)化損失ltotal為：

42、ltotal＝lce+λ1lctd+λ2lrc

43、式中，λ1和λ2表示損失函數(shù)的尺度因子，基于優(yōu)化損失ltotal和學(xué)習(xí)率α訓(xùn)練e個(gè)周期，保存最佳的領(lǐng)域魯棒表示學(xué)習(xí)的人臉偽造檢測(cè)網(wǎng)絡(luò)的權(quán)重參數(shù)。

44、進(jìn)一步，在步驟3)中，對(duì)于待檢測(cè)的人臉圖像，將其裁剪縮放到256×256的尺寸，應(yīng)用步驟2)中訓(xùn)練好的領(lǐng)域魯棒表示學(xué)習(xí)的人臉偽造檢測(cè)網(wǎng)絡(luò)和具有最佳性能的網(wǎng)絡(luò)權(quán)重參數(shù)，將裁剪縮放后的圖像輸入人臉偽造檢測(cè)網(wǎng)絡(luò)，根據(jù)網(wǎng)絡(luò)輸出的類別預(yù)測(cè)標(biāo)簽判斷輸入的人臉圖像是否存在偽造操作，即輸入圖像是否為人臉偽造圖像，若類別預(yù)測(cè)標(biāo)簽為0，則為真實(shí)人臉圖像，若類別預(yù)測(cè)標(biāo)簽為1，則為人臉偽造圖像。

45、本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點(diǎn)與有益效果：

46、1、本發(fā)明提出了具有代表性的數(shù)據(jù)風(fēng)格增強(qiáng)機(jī)制，包含內(nèi)容風(fēng)格增強(qiáng)模塊和偽造風(fēng)格增強(qiáng)模塊，這些模塊在所構(gòu)建的具有挑戰(zhàn)性的風(fēng)格空間中隨機(jī)采樣來探索具有代表性的非線性特征風(fēng)格變化，通過困難風(fēng)格重組豐富了未知的內(nèi)容特征和偽造特征，提升了可見數(shù)據(jù)對(duì)未知域的代表性。

47、2、本發(fā)明提出了針對(duì)不同類型域差異的魯棒性特征學(xué)習(xí)機(jī)制，包含內(nèi)容去相關(guān)模塊和敏感通道丟棄模塊，分別從特征表示中移除與偽造無關(guān)的內(nèi)容相關(guān)性和領(lǐng)域敏感的偽造特征，在實(shí)現(xiàn)有效的領(lǐng)域魯棒表示學(xué)習(xí)的同時(shí)保障了特征的類判別性，并通過非對(duì)稱的魯棒一致性約束，強(qiáng)化偽造特征表示在領(lǐng)域變化中的一致性，并提升其對(duì)類間數(shù)據(jù)分布不對(duì)稱性的適應(yīng)能力。

48、3、本發(fā)明結(jié)合了數(shù)據(jù)風(fēng)格增強(qiáng)機(jī)制和魯棒性特征學(xué)習(xí)機(jī)制，與其它人臉偽造檢測(cè)方法相比，泛化性能明顯提高，生成的特征表示對(duì)數(shù)據(jù)變化更加穩(wěn)定，整體方法魯棒性更優(yōu)。