本技術(shù)涉及機(jī)器學(xué)習(xí)，特別涉及一種用于數(shù)據(jù)保護(hù)的預(yù)訓(xùn)練模型微調(diào)方法、應(yīng)用方法及裝置。

背景技術(shù)：

1、在數(shù)字化時(shí)代，pcs（personalized?content?synthesis，個(gè)性化內(nèi)容合成）技術(shù)在文本到圖像生成領(lǐng)域中扮演著日益重要的角色。用戶(hù)通過(guò)提供簡(jiǎn)短的描述文本，利用pcs技術(shù)生成與特定主題或?qū)ο笙嚓P(guān)的高質(zhì)量圖像。

2、dm（diffusion?model，擴(kuò)散模型）是實(shí)現(xiàn)pcs技術(shù)的一種主流方法。用戶(hù)通過(guò)提供與soi（subject?of?interest，感興趣主題）相關(guān)的圖像，利用如dreambooth算法對(duì)預(yù)訓(xùn)練的擴(kuò)散模型進(jìn)行微調(diào)，從而可生成包含soi的新圖像。惡意用戶(hù)可利用該技術(shù)生成逼真的合成圖像，并通過(guò)社交媒體平臺(tái)傳播虛假信息，會(huì)對(duì)個(gè)人的安全和隱私構(gòu)成威脅。

3、相關(guān)技術(shù)中，為了解決pcs中惡意使用面部圖像引起的隱私和安全問(wèn)題，現(xiàn)有技術(shù)中提出了anti-dreambooth，以引導(dǎo)模型生成無(wú)關(guān)聯(lián)的結(jié)果，該方式通過(guò)學(xué)習(xí)一個(gè)可替代的模型來(lái)干擾dreambooth，從而增強(qiáng)了個(gè)人圖像的保護(hù)效果。但是目前的anti-dreambooth訓(xùn)練時(shí)需要構(gòu)建先驗(yàn)類(lèi)樣本且訓(xùn)練時(shí)需要訓(xùn)練模型的所有參數(shù)，同時(shí)目前需要較多次數(shù)的干擾才能學(xué)習(xí)完成，導(dǎo)致實(shí)際訓(xùn)練場(chǎng)景中計(jì)算需求大，計(jì)算成本較高。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供了一種用于數(shù)據(jù)保護(hù)的預(yù)訓(xùn)練模型微調(diào)方法、應(yīng)用方法及裝置。為了對(duì)披露的實(shí)施例的一些方面有一個(gè)基本的理解，下面給出了簡(jiǎn)單的概括。該概括部分不是泛泛評(píng)述，也不是要確定關(guān)鍵／重要組成元素或描繪這些實(shí)施例的保護(hù)范圍。其唯一目的是用簡(jiǎn)單的形式呈現(xiàn)一些概念，以此作為后面的詳細(xì)說(shuō)明的序言。

2、第一方面，本技術(shù)實(shí)施例提供了一種用于數(shù)據(jù)保護(hù)的預(yù)訓(xùn)練模型微調(diào)方法，方法包括：

3、創(chuàng)建用于數(shù)據(jù)保護(hù)的代理模型，代理模型是將預(yù)訓(xùn)練的擴(kuò)散模型中除文本編碼器和u-net結(jié)構(gòu)的交叉注意層的參數(shù)之外的其他參數(shù)禁用之后得到的；

4、根據(jù)預(yù)設(shè)人臉圖像集及其描述文本，對(duì)代理模型進(jìn)行預(yù)設(shè)時(shí)間步的迭代微調(diào)，得到代理個(gè)性化生成模型；

5、使用預(yù)設(shè)對(duì)抗樣本集與描述文本，對(duì)代理個(gè)性化生成模型進(jìn)行攻擊，得到擾動(dòng)值，其中，預(yù)設(shè)對(duì)抗樣本集是將預(yù)設(shè)人臉圖像集進(jìn)行預(yù)處理得到的，計(jì)算擾動(dòng)值時(shí)的擾動(dòng)步長(zhǎng)是根據(jù)時(shí)間步數(shù)計(jì)算得到的；

6、將擾動(dòng)值添加至預(yù)設(shè)對(duì)抗樣本集中，并繼續(xù)執(zhí)行對(duì)代理個(gè)性化生成模型進(jìn)行攻擊的步驟，直到攻擊次數(shù)到達(dá)預(yù)設(shè)次數(shù)閾值的情況下，得到目標(biāo)對(duì)抗樣本；

7、使用目標(biāo)對(duì)抗樣本，再次對(duì)代理模型進(jìn)行預(yù)設(shè)時(shí)間步的迭代微調(diào)，在當(dāng)前微調(diào)次數(shù)到達(dá)預(yù)設(shè)擾動(dòng)閾值的情況下，得到最終的代理個(gè)性化生成模型。

8、可選的，使用預(yù)設(shè)對(duì)抗樣本集與描述文本，對(duì)代理個(gè)性化生成模型進(jìn)行攻擊，得到擾動(dòng)值，包括：

9、將預(yù)設(shè)對(duì)抗樣本集與描述文本輸入代理個(gè)性化生成模型，以計(jì)算擾動(dòng)值；

10、輸出預(yù)設(shè)對(duì)抗樣本集對(duì)應(yīng)的處理結(jié)果；

11、獲取處理結(jié)果中包括的擾動(dòng)值。

12、可選的，將預(yù)設(shè)對(duì)抗樣本集與描述文本輸入代理個(gè)性化生成模型，以計(jì)算擾動(dòng)值，包括：

13、代理個(gè)性化生成模型使用分?jǐn)?shù)蒸餾采樣算法，對(duì)預(yù)設(shè)對(duì)抗樣本集與描述文本進(jìn)行計(jì)算處理，得到當(dāng)前梯度；

14、代理個(gè)性化生成模型獲取時(shí)間步數(shù)；

15、代理個(gè)性化生成模型根據(jù)時(shí)間步數(shù)，計(jì)算擾動(dòng)步長(zhǎng)；

16、代理個(gè)性化生成模型根據(jù)當(dāng)前梯度與擾動(dòng)步長(zhǎng)，計(jì)算擾動(dòng)值。

17、可選的，擾動(dòng)步長(zhǎng)計(jì)算公式為：

18、

19、其中，為擾動(dòng)步長(zhǎng)，為超參數(shù)，用于調(diào)整步長(zhǎng)的大小，可以根據(jù)模型的需要和訓(xùn)練過(guò)程中的表現(xiàn)進(jìn)行調(diào)整，在時(shí)間步數(shù)時(shí)的加噪強(qiáng)度，加噪強(qiáng)度與擴(kuò)散模型的噪聲方差相關(guān)，為時(shí)間步數(shù)，用于動(dòng)態(tài)調(diào)整步長(zhǎng)，使得隨著時(shí)間步的增加，更新幅度逐漸減小；

20、擾動(dòng)值的計(jì)算公式為：

21、

22、其中，為擾動(dòng)值，是一個(gè)縮放因子，為0.1，用于控制對(duì)抗性擾動(dòng)的強(qiáng)度，為擾動(dòng)步長(zhǎng)，為損失函數(shù)梯度的符號(hào)函數(shù)，它返回梯度向量的符號(hào)（正或負(fù)），在對(duì)抗性攻擊中，使用梯度的符號(hào)來(lái)確定擾動(dòng)的方向，為使用分?jǐn)?shù)蒸餾采樣算法得到的當(dāng)前梯度。

23、可選的，當(dāng)前梯度計(jì)算公式為：

24、

25、其中，表示對(duì)的梯度運(yùn)算符，用于計(jì)算損失函數(shù)l相對(duì)于輸入預(yù)設(shè)對(duì)抗樣本集中圖像的梯度；表示在模型函數(shù)下，圖像經(jīng)過(guò)擾動(dòng)后的損失函數(shù)；表示在迭代過(guò)程中的第次迭代的圖像，表示使用分?jǐn)?shù)蒸餾采樣算法計(jì)算的損失函數(shù)，表示期望值運(yùn)算符，用于計(jì)算在所有可能的組合下梯度的平均值，表示原始輸入圖像，在迭代和擾動(dòng)之前的狀態(tài)，為時(shí)間步數(shù)，為模型參數(shù)的集合，為時(shí)間步數(shù)時(shí)添加到圖像中的實(shí)際噪聲，表示模型根據(jù)當(dāng)前的模型參數(shù)集合、時(shí)間步數(shù)和描述文本預(yù)測(cè)的噪聲，表示時(shí)間步數(shù)時(shí)，模型輸出相對(duì)于的梯度，為時(shí)間步數(shù)時(shí)模型的輸出，為時(shí)間步數(shù)時(shí)模型的輸入。

26、可選的，代理模型的損失函數(shù)為：

27、

28、其中，為損失函數(shù)，用于度量在給定模型參數(shù)和預(yù)設(shè)人臉圖像集的情況下計(jì)算的損失值，是期望值運(yùn)算符，用于計(jì)算所有可能的組合下?lián)p失函數(shù)的平均值，為時(shí)間步數(shù)，為模型參數(shù)的集合，為時(shí)間步數(shù)時(shí)添加到圖像中的實(shí)際噪聲，表示模型根據(jù)當(dāng)前的模型參數(shù)集合、時(shí)間步數(shù)和描述文本預(yù)測(cè)的噪聲。

29、可選的，預(yù)設(shè)時(shí)間步為3步，預(yù)設(shè)次數(shù)閾值大于6，預(yù)設(shè)擾動(dòng)閾值為50次，代理模型的微調(diào)方式采用dreambooth算法的訓(xùn)練方式。

30、第二方面，本技術(shù)實(shí)施例提供了一種模型應(yīng)用方法，方法包括：

31、接收?qǐng)D像處理請(qǐng)求，圖像處理請(qǐng)求攜帶用戶(hù)的人臉圖像；

32、將人臉圖像輸入最終的代理個(gè)性化生成模型中，輸出添加隱私保護(hù)信息的目標(biāo)圖像，隱私保護(hù)信息用于防止擴(kuò)散模型生成與感興趣主題相關(guān)的圖像；最終的代理個(gè)性化生成模型是通過(guò)用于數(shù)據(jù)保護(hù)的預(yù)訓(xùn)練模型微調(diào)方法微調(diào)得到的；

33、展示目標(biāo)圖像。

34、第三方面，本技術(shù)實(shí)施例提供一種用于數(shù)據(jù)保護(hù)的預(yù)訓(xùn)練模型微調(diào)裝置，裝置包括：

35、創(chuàng)建模塊，用于創(chuàng)建用于數(shù)據(jù)保護(hù)的代理模型，代理模型是將預(yù)訓(xùn)練的擴(kuò)散模型中除文本編碼器和u-net結(jié)構(gòu)的交叉注意層的參數(shù)之外的其他參數(shù)禁用之后得到的；

36、第一微調(diào)模塊，用于根據(jù)預(yù)設(shè)人臉圖像集及其描述文本，對(duì)代理模型進(jìn)行預(yù)設(shè)時(shí)間步的迭代微調(diào)，得到代理個(gè)性化生成模型；

37、第一攻擊模塊，用于使用預(yù)設(shè)對(duì)抗樣本集與描述文本，對(duì)代理個(gè)性化生成模型進(jìn)行攻擊，得到擾動(dòng)值，其中，預(yù)設(shè)對(duì)抗樣本集是將預(yù)設(shè)人臉圖像集進(jìn)行預(yù)處理得到的，計(jì)算擾動(dòng)值時(shí)的擾動(dòng)步長(zhǎng)是根據(jù)時(shí)間步數(shù)計(jì)算得到的；

38、第二攻擊模塊，用于將擾動(dòng)值添加至預(yù)設(shè)對(duì)抗樣本集中，并繼續(xù)執(zhí)行對(duì)代理個(gè)性化生成模型進(jìn)行攻擊的步驟，直到攻擊次數(shù)到達(dá)預(yù)設(shè)次數(shù)閾值的情況下，得到目標(biāo)對(duì)抗樣本；

39、第二微調(diào)模塊，用于使用目標(biāo)對(duì)抗樣本，再次對(duì)代理模型進(jìn)行預(yù)設(shè)時(shí)間步的迭代微調(diào)，在當(dāng)前微調(diào)次數(shù)到達(dá)預(yù)設(shè)擾動(dòng)閾值的情況下，得到最終的代理個(gè)性化生成模型。

40、第四方面，本技術(shù)實(shí)施例提供一種模型應(yīng)用裝置，裝置包括：

41、接收模塊，用于接收?qǐng)D像處理請(qǐng)求，圖像處理請(qǐng)求攜帶用戶(hù)的人臉圖像；

42、輸入模塊，用于將人臉圖像輸入最終的代理個(gè)性化生成模型中，輸出添加隱私保護(hù)信息的目標(biāo)圖像，隱私保護(hù)信息用于防止擴(kuò)散模型生成與感興趣主題相關(guān)的圖像；最終的代理個(gè)性化生成模型是通過(guò)用于數(shù)據(jù)保護(hù)的預(yù)訓(xùn)練模型微調(diào)方法微調(diào)得到的；

43、展示模塊，用于展示目標(biāo)圖像。

44、本技術(shù)實(shí)施例提供的技術(shù)方案可以包括以下有益效果：

45、在本技術(shù)實(shí)施例中，通過(guò)將預(yù)訓(xùn)練的擴(kuò)散模型中除文本編碼器和u-net結(jié)構(gòu)的交叉注意層的參數(shù)之外的其他參數(shù)禁用，使得模型參數(shù)大大減少，同時(shí)根據(jù)時(shí)間步數(shù)動(dòng)態(tài)調(diào)整擾動(dòng)更新步長(zhǎng)，不僅破壞了惡意用戶(hù)可能利用的文本與圖像之間的耦合，而且減少了對(duì)抗樣本訓(xùn)練所需的時(shí)間和計(jì)算資源，使得實(shí)際訓(xùn)練場(chǎng)景中計(jì)算需求少，減少了計(jì)算資源的浪費(fèi)。

46、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本技術(shù)。