本發(fā)明涉及模型水印，尤其是涉及一種抗攻擊的魯棒生成式模型水印處理方法和系統(tǒng)。

背景技術(shù)：

1、隨著深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域的廣泛應(yīng)用，深度神經(jīng)網(wǎng)絡(luò)(dnn)已經(jīng)成為現(xiàn)代技術(shù)的核心組成部分，它們?cè)趫D像處理、分類等任務(wù)上展現(xiàn)出了卓越性能。然而，隨之而來的是知識(shí)產(chǎn)權(quán)保護(hù)問題日益凸顯，如何有效地確保深度模型的原創(chuàng)性和防止未經(jīng)授權(quán)的復(fù)用成為亟待解決的問題。

2、模型水印技術(shù)在此背景下應(yīng)運(yùn)而生，它是通過在深度神經(jīng)網(wǎng)絡(luò)模型的內(nèi)部參數(shù)、結(jié)構(gòu)、動(dòng)態(tài)功能或輸出中嵌入水印信息，以此來證明模型的所有權(quán)和追蹤模型的實(shí)際使用情況。生成式模型水印技術(shù)作為一種特別定制的模型知識(shí)產(chǎn)權(quán)保護(hù)手段，專注于為圖像處理網(wǎng)絡(luò)及圖像生成網(wǎng)絡(luò)提供安全保障。其基本設(shè)計(jì)理念在于將專屬的水印信息嵌入至由模型生成的每一張圖像之中，藉此實(shí)現(xiàn)對(duì)模型產(chǎn)權(quán)的有效驗(yàn)證和對(duì)其知識(shí)產(chǎn)權(quán)的有力捍衛(wèi)。需著重指出的是，一款優(yōu)秀的生成式模型水印方案應(yīng)具備極高的魯棒性，針對(duì)各類圖像編輯操作的挑戰(zhàn)，例如，圖像裁剪、加噪、壓縮。要保證在生成圖像遭受各種形式的圖像編輯修改后，水印可以從已編輯過的圖像中準(zhǔn)確無誤地提取出來，以完成對(duì)知識(shí)產(chǎn)權(quán)的權(quán)威認(rèn)證和堅(jiān)固防護(hù)，確保技術(shù)產(chǎn)權(quán)的完整性不受破壞。

3、同時(shí)，還應(yīng)該盡可能地保證水印的不可見性，以此來降低水印被攻擊的概率，從而也能夠提升水印系統(tǒng)的安全性。除此外，還應(yīng)該保證模型水印具備良好的隱蔽性。如果攻擊者無法感知嵌入的水印，則他可能不會(huì)采取任何行動(dòng)來攻擊水印。這意味著更好的不可見性可以在一定程度上降低水印被攻擊的概率，從而極大程度地提升了水印系統(tǒng)的安全性。

4、生成式模型水印技術(shù)在圖像處理網(wǎng)絡(luò)和圖像生成網(wǎng)絡(luò)中的應(yīng)用場(chǎng)景十分廣泛和關(guān)鍵。如在藝術(shù)創(chuàng)作和數(shù)字內(nèi)容創(chuàng)意領(lǐng)域，開發(fā)者創(chuàng)造了一種先進(jìn)的藝術(shù)風(fēng)格轉(zhuǎn)換模型，能夠?qū)⑵胀ㄕ掌D(zhuǎn)換為不同風(fēng)格的藝術(shù)作品。為了保護(hù)他們的模型知識(shí)產(chǎn)權(quán)，則可以采用生成模型水印技術(shù)。通過這項(xiàng)技術(shù)，開發(fā)者可以實(shí)現(xiàn)在每個(gè)生成的藝術(shù)作品中嵌入特定的水印信息，包括工作室的標(biāo)識(shí)、模型版本信息等。因此，無論是在社交媒體上分享、在線出售或公開模型api供用戶使用，都可以通過檢測(cè)水印來追溯到原始的模型和其知識(shí)產(chǎn)權(quán)所有者，如圖1。

5、現(xiàn)有生成式模型水印存在兩大主要缺點(diǎn)：一是缺乏頻域隱蔽性，由于忽視圖像頻域上的隱蔽性需求，導(dǎo)致水印系統(tǒng)在頻域上容易暴露，安全性降低；二是魯棒性考慮不夠充分，尤其對(duì)圖像編輯攻擊和模型竊取攻擊的防御不足。這些問題限制了生成式模型水印在實(shí)際應(yīng)用中的有效性和可靠性。

6、經(jīng)過檢索，中國(guó)發(fā)明專利公開號(hào)cn113222800b公開了一種基于深度學(xué)習(xí)的魯棒圖像水印嵌入與提取方法及系統(tǒng)，包括：1、采集圖像數(shù)據(jù)分為訓(xùn)練集與測(cè)試集；2、得到載體圖像向量；3、使用水印嵌入網(wǎng)絡(luò)得到水印圖像，計(jì)算水印圖像失真損失；4、將水印圖像轉(zhuǎn)化為有損水印圖像；5、將有損水印圖像輸入水印提取網(wǎng)絡(luò)中，提取出水印信息并計(jì)算信息提取損失；6、將載體圖像向量與水印圖像輸入一個(gè)判別器，計(jì)算其差別；7、使用測(cè)試集重復(fù)步驟2至5計(jì)算測(cè)試集水印的魯棒性以及不可感知性；8、根據(jù)整體損失調(diào)整對(duì)應(yīng)參數(shù)，重復(fù)步驟3至8，直到測(cè)試集水印的魯棒性水印圖像的不可感知性達(dá)到閾值，完成訓(xùn)練；9、使用訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行水印嵌入與提取。該現(xiàn)有專利存在水印的魯棒性和隱蔽性不高的問題。

7、如何實(shí)現(xiàn)提高用于神經(jīng)網(wǎng)絡(luò)生成式模型水印的魯棒性和隱蔽性，成為需要解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種抗攻擊的魯棒生成式模型水印處理方法和系統(tǒng)，具有良好的隱蔽性和魯棒性，可以實(shí)現(xiàn)對(duì)圖像生成式模型的高效知識(shí)產(chǎn)權(quán)保護(hù)。

2、本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：

3、根據(jù)本發(fā)明的一個(gè)方面，提供了一種抗攻擊的魯棒生成式模型水印處理方法，該方法包括以下步驟：

4、步驟s1，獲取待嵌入水印目標(biāo)模型的數(shù)據(jù)集，其中數(shù)據(jù)集為待嵌入水印目標(biāo)模型的輸入輸出數(shù)據(jù)對(duì)；

5、步驟s2，將步驟s1的數(shù)據(jù)集劃分為兩部分：第一數(shù)據(jù)集和第二數(shù)據(jù)集，其中第一數(shù)據(jù)集用于模型水印初始訓(xùn)練階段，第二數(shù)據(jù)集用于竊取模型對(duì)抗訓(xùn)練階段；

6、步驟s3，在模型水印初始訓(xùn)練階段，將第一數(shù)據(jù)集送入水印嵌入網(wǎng)絡(luò)進(jìn)行標(biāo)記，然后對(duì)標(biāo)記圖像進(jìn)行模擬攻擊和水印提??；

7、步驟s4，在竊取模型對(duì)抗訓(xùn)練階段，利用第二數(shù)據(jù)集，訓(xùn)練兩個(gè)替代模型，然后微調(diào)水印提取網(wǎng)絡(luò)以便從含水印的替代模型輸出中提取出水印。

8、優(yōu)選地，所述的步驟s3的過程包括：

9、步驟s301，將第一數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集；

10、步驟s302，將待嵌入水印目標(biāo)模型的輸出圖像送入水印嵌入網(wǎng)絡(luò)中進(jìn)行標(biāo)記，得到標(biāo)記圖像；

11、步驟s303，將標(biāo)記圖像送入攻擊模擬層中，來模擬遭受圖像編輯攻擊后的標(biāo)記圖像；

12、步驟s304，將遭到圖像編輯后的標(biāo)記圖像送入到水印提取網(wǎng)絡(luò)中提取出水印。

13、優(yōu)選地，所述的步驟s4的過程包括：

14、步驟s401，將第二數(shù)據(jù)集劃分為替代攻擊訓(xùn)練集、驗(yàn)證集和測(cè)試集；

15、步驟s402，添加替代模型a，其中替代模型a使用含水印的輸入輸出數(shù)據(jù)對(duì)進(jìn)行訓(xùn)練；添加替代模型b，其中替代模型b使用不含水印的輸入輸出數(shù)據(jù)對(duì)進(jìn)行訓(xùn)練；

16、步驟s403，固定水印嵌入網(wǎng)絡(luò)，通過微調(diào)水印提取網(wǎng)絡(luò)，從替代模型a的輸出中提取出水印。

17、更加優(yōu)選地，所述替代模型a和替代模型b的訓(xùn)練包括：

18、在竊取模型對(duì)抗訓(xùn)練階段，同時(shí)訓(xùn)練替代模型a和替代模型b，分別用n1和n2表示；

19、a的目的是學(xué)習(xí)映射：即使用了含水印的數(shù)據(jù)對(duì)訓(xùn)練；

20、b的目的是學(xué)習(xí)映射：即使用了不含水印的數(shù)據(jù)對(duì)訓(xùn)練；

21、n1和n2的期望優(yōu)化公式：

22、

23、

24、然后水印提取網(wǎng)絡(luò)r從a的輸出中提取正確的水印，從b的輸出中提取噪聲圖像，這就要求最小化公式：

25、

26、其中，sin表示待嵌入水印目標(biāo)模型h的輸入域，smarked表示含水印的輸出域，sout表示不含水印的輸出域，h(·)表示待嵌入水印目標(biāo)模型輸出的圖像，e(·)表示水印嵌入網(wǎng)絡(luò)所標(biāo)記的圖像，r(·)表示水印提取網(wǎng)絡(luò)所提取的水印，w表示地面真實(shí)水印，wz是隨機(jī)噪聲圖像。

27、優(yōu)選地，所述的水印嵌入網(wǎng)絡(luò)基于u-net架構(gòu)，包括依次連接的編碼器、解碼器和輸出層。

28、更加優(yōu)選地，所述的編碼器包括多個(gè)下采樣模塊，所述的下采樣模塊，首先使用卷積核進(jìn)行卷積，接著使用leakyrelu作為激活函數(shù)，并應(yīng)用批歸一化來加速收斂，最后采用深度卷積抗混疊核以實(shí)現(xiàn)降采樣；

29、所述的解碼器包括多個(gè)上采樣模塊，所述的上采樣模塊采用傳統(tǒng)的最近鄰上采樣策略，最近鄰上采樣層之后為卷積層；

30、所述的輸出層被設(shè)計(jì)為下采樣模塊的鏡像，所述的輸出層使用卷積核進(jìn)行轉(zhuǎn)置卷積來實(shí)現(xiàn)上采樣，并將深度卷積抗混疊與固定卷積核連接起來進(jìn)行抗鋸齒處理。

31、優(yōu)選地，所述的模擬攻擊通過攻擊模擬層實(shí)現(xiàn)，所述攻擊模擬層設(shè)計(jì)多種攻擊，包括噪聲添加、調(diào)整大小、jpeg壓縮、圖像翻轉(zhuǎn)和高頻信息濾除的攻擊。

32、優(yōu)選地，使用優(yōu)化聯(lián)合損失函數(shù)聯(lián)合訓(xùn)練所述的水印提取網(wǎng)絡(luò)和所述的水印嵌入網(wǎng)絡(luò)，具體為：

33、水印提取的損失函數(shù)表示為：

34、

35、其中α是可調(diào)參數(shù)，sin表示待嵌入水印目標(biāo)模型h的輸入域，h(·)表示待嵌入水印目標(biāo)模型輸出的圖像，e(·)表示水印嵌入網(wǎng)絡(luò)所標(biāo)記的圖像，r(·)表示水印提取網(wǎng)絡(luò)所提取的水印，w表示地面真實(shí)水印，wz表示隨機(jī)噪聲圖像；

36、為了以不可見的方式嵌入水印，希望待嵌入水印目標(biāo)模型h生成的圖像與水印嵌入網(wǎng)絡(luò)e生成的圖像之間的視覺距離最小化，表示為公式：

37、

38、使用經(jīng)過訓(xùn)練的網(wǎng)絡(luò)來獲取圖像的特征，從而計(jì)算特征之間的距離以進(jìn)行圖像質(zhì)量評(píng)估，使用vgg19提取的特征進(jìn)行圖像質(zhì)量評(píng)估，即要最小化公式：

39、

40、其中，vggk(·)表示預(yù)訓(xùn)練的vgg19模型的第k層提取的特征映射；

41、鑒別器損失由真損失和假損失組成，分別表示鑒別器對(duì)真實(shí)圖像和模型生成圖像的損失，鑒別器損失函數(shù)被定義為下式：

42、

43、其中，d(real)為真損失，d(fake)為假損失；

44、最終，訓(xùn)練水印嵌入網(wǎng)絡(luò)e、鑒別器d、水印提取網(wǎng)絡(luò)r的初始損失為公式:

45、

46、其中β1、β2和β3為可調(diào)參數(shù)。

47、根據(jù)本發(fā)明的另一個(gè)方面，提供了一種抗攻擊的魯棒生成式模型水印處理系統(tǒng)，該系統(tǒng)包括依次連接的水印嵌入網(wǎng)絡(luò)、攻擊模擬層和水印提取網(wǎng)絡(luò)；

48、所述水印嵌入網(wǎng)絡(luò)用于將水印嵌入到待嵌入水印目標(biāo)模型生成的圖像中，得到標(biāo)記圖像；

49、所述水印提取網(wǎng)絡(luò)用于從水印嵌入網(wǎng)絡(luò)生成的標(biāo)記圖像中提取水??；

50、所述攻擊模擬層用于模擬遭受圖像編輯攻擊后的標(biāo)記圖像。

51、優(yōu)選地，該系統(tǒng)還包括鑒別器，所述鑒別器分別與水印嵌入網(wǎng)絡(luò)和攻擊模擬層連接，所述鑒別器采用patchgan架構(gòu)來增強(qiáng)標(biāo)記圖像的質(zhì)量。

52、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

53、1)本發(fā)明在模型水印初始訓(xùn)練階段通過水印嵌入網(wǎng)絡(luò)對(duì)待嵌入水印目標(biāo)模型輸出的圖像進(jìn)行標(biāo)記，然后對(duì)標(biāo)記圖像進(jìn)行模擬攻擊和水印提取，其中模擬攻擊考慮了多種實(shí)際場(chǎng)景中可能出現(xiàn)的攻擊，遭受攻擊后仍能正常提取水?。辉诟`取模型對(duì)抗訓(xùn)練階段同時(shí)對(duì)兩個(gè)替換模型進(jìn)行訓(xùn)練，通過微調(diào)水印提取網(wǎng)絡(luò)，從含水印的替代模型的輸出中提取出水印，大幅提升了水印在多種場(chǎng)景下對(duì)竊取模型攻擊的魯棒性，從而提升待嵌入水印目標(biāo)模型對(duì)抗攻擊的魯棒性。

54、2)本發(fā)明的水印嵌入網(wǎng)絡(luò)使用了抗混疊技術(shù)的編碼器，使得水印系統(tǒng)的隱蔽性高于現(xiàn)有技術(shù)，降低了水印系統(tǒng)遭受攻擊的可能性，從而提升了水印系統(tǒng)的安全性。

55、3)本發(fā)明引入鑒別器，進(jìn)一步提升水印的不可見性，從而提升水印系統(tǒng)的安全性。

56、4)本發(fā)明使用聯(lián)合損失函數(shù)在模型水印初始訓(xùn)練階段，水印嵌入網(wǎng)絡(luò)、水印提取網(wǎng)絡(luò)和鑒別器一起從零開始訓(xùn)練，提升了水印系統(tǒng)的魯棒性和不可見性。