本說明書一個或多個實(shí)施例涉及計算機(jī)網(wǎng)絡(luò)，尤其涉及一種圖像合成算法的優(yōu)化方法、圖像合成方法及裝置。

背景技術(shù)：

1、隨著人工智能生成內(nèi)容(artificial?intelligence?generation?content，aigc)技術(shù)的發(fā)展，基于aigc技術(shù)生成圖像的應(yīng)用場景越來越多。例如，在一款圖像合成應(yīng)用中，用戶可以先上傳用戶圖像，然后選擇想要合成的模版圖像。之后，圖像合成算法可以基于用戶上傳的用戶圖像和用戶選擇的模版圖像，生成圖像。其中，圖像合成算法生成的圖像質(zhì)量是影響用戶體驗(yàn)的一項重要因素。如果圖像合成算法生成的圖像的良品率較低，則顯示給用戶的異常圖像的概率較高，這樣將嚴(yán)重影響用戶對圖像合成應(yīng)用的使用體驗(yàn)。

2、因此，需要提供一種能夠提高圖像合成算法合成的圖像的良品率的方法。

技術(shù)實(shí)現(xiàn)思路

1、為了提高圖像合成算法合成的圖像的良品率，以提高用戶對圖像合成應(yīng)用的使用體驗(yàn)，本說明書一個或多個實(shí)施例提供了一種一種圖像合成算法的優(yōu)化方法、圖像合成方法及裝置。

2、第一方面，本說明書一個或多個實(shí)施例提供了一種圖像合成算法的優(yōu)化方法，所述方法包括：獲取待質(zhì)檢合成圖像，所述待質(zhì)檢合成圖像為利用圖像合成算法，基于用戶圖像和模版圖像合成的圖像；利用離線質(zhì)檢模型對所述待質(zhì)檢合成圖像中目標(biāo)人臉圖像進(jìn)行異常檢測，得到第一檢測結(jié)果；所述目標(biāo)人臉圖像為所述待質(zhì)檢合成圖像中任一人臉圖像；基于所述第一檢測結(jié)果優(yōu)化所述圖像合成算法。

3、一種可能的實(shí)現(xiàn)方式中，所述方法還包括：利用異常攔截模型對所述目標(biāo)人臉圖像進(jìn)行異常檢測，得到第二檢測結(jié)果；若所述第一檢測結(jié)果與所述第二檢測結(jié)果不一致，則發(fā)送第一提示信息，所述第一提示信息用于提示人工對所述目標(biāo)人圖像進(jìn)行異常檢測；接收人工輸入的人工檢測結(jié)果；基于所述人工檢測結(jié)果優(yōu)化所述圖像合成算法。

4、一種可能的實(shí)現(xiàn)方式中，所述方法還包括：若所述第一檢測結(jié)果與所述第二檢測結(jié)果一致，則基于所述第一檢測結(jié)果和/或所述第二檢測結(jié)果優(yōu)化所述圖像合成算法。

5、一種可能的實(shí)現(xiàn)方式中，所述第一檢測結(jié)果為所述目標(biāo)人臉圖像對應(yīng)的異常類型，所述第二檢測結(jié)果為所述目標(biāo)人臉圖像對應(yīng)正常分值；其中，在所述正常分值大于正常閾值的情況下，所述第二檢測結(jié)果為所述目標(biāo)人臉圖像正常；在所述正常分值小于或者等于正常閾值的情況下，所述第二檢測結(jié)果為所述目標(biāo)人臉圖像異常。

6、一種可能的實(shí)現(xiàn)方式中，在接收人工輸入的人工檢測結(jié)果之后，所述方法還包括：向異常檢測錯誤的模型發(fā)送第二提示信息，所述第二提示信息用于提示對所述目標(biāo)人臉圖像異常檢測錯誤；所述異常檢測錯誤的模型為所述離線質(zhì)檢模型或者所述異常攔截模型。

7、一種可能的實(shí)現(xiàn)方式中，所述方法還包括：基于所述目標(biāo)人臉圖像，提取至少一個目標(biāo)人臉屬性信息；獲取所述模版圖像中與所述目標(biāo)人臉圖像相同位置的人臉的模版屬性信息；確定各所述目標(biāo)人臉屬性信息與對應(yīng)的所述模版屬性信息是否一致；若所述目標(biāo)人臉屬性信息與所述模版屬性信息不一致，則修正所述模版屬性信息中與所述目標(biāo)人臉屬性信息不一致的屬性信息。

8、一種可能的實(shí)現(xiàn)方式中，所述方法還包括：基于所述模版圖像，對所述待質(zhì)檢合成圖像中非人臉圖像進(jìn)行異常檢測，得到非人臉圖像檢測結(jié)果；基于所述非人臉圖像檢測結(jié)果優(yōu)化所述圖像合成算法。

9、一種可能的實(shí)現(xiàn)方式中，所述基于所述模版圖像，對所述待質(zhì)檢合成圖像中非人臉圖像進(jìn)行異常檢測，得到非人臉圖像檢測結(jié)果，包括：基于所述模版圖像，對所述待質(zhì)檢合成圖像中非人臉圖像的清晰度和/或內(nèi)容進(jìn)行異常檢測，得到清晰度檢測結(jié)果和/或內(nèi)容異常檢測結(jié)果。

10、一種可能的實(shí)現(xiàn)方式中，所述離線質(zhì)檢模型為預(yù)先訓(xùn)練得到的視覺-語言預(yù)訓(xùn)練模型，所述離線質(zhì)檢模型的檢測精度高于所述異常攔截模型的檢測精度。

11、第二方面，本說明書一個或多個實(shí)施例提供了一種圖像生成方法，所述方法包括：接收用戶上傳的用戶圖像；確定用戶選擇的模版圖像；利用如第一方面中任一項所述方法優(yōu)化得到的圖像合成算法，基于所述用戶圖像和所述模版圖像，生成合成圖像。

12、一種可能的實(shí)現(xiàn)方式中，在利用如第一方面中任一項所述方法優(yōu)化得到的圖像合成算法，所述基于所述用戶圖像和所述模版圖像，生成合成圖像之后，所述方法還包括：利用異常攔截模型，對所述合成圖像中目標(biāo)人臉圖像進(jìn)行異常檢測；所述目標(biāo)人臉圖像為所述合成圖像中任一人臉圖像；若所述目標(biāo)人臉圖像異常，則生成第三提示信息，所述第三提示信息用于提示所述合成圖像異常；若所述目標(biāo)人臉圖像正常，則顯示所述合成圖像。

13、一種可能的實(shí)現(xiàn)方式中，所述利用異常攔截模型，對所述合成圖像中目標(biāo)人臉圖像進(jìn)行異常檢測，包括：利用異常攔截模型，確定所述目標(biāo)人臉圖像的正常分值；若所述正常分值大于正常閾值，則確定所述合成圖像中所述目標(biāo)人臉圖像正常；若所述正常分值小于或者等于所述正常閾值，則確定所述合成圖像中所述目標(biāo)人臉圖像異常。

14、一種可能的實(shí)現(xiàn)方式中，在利用如第一方面中任一項所述方法優(yōu)化得到的圖像合成算法，所述基于所述用戶圖像和所述模版圖像，生成合成圖像之前，所述方法還包括：對所述用戶圖像進(jìn)行異常檢測；若所述用戶圖像正常，則利用如第一方面中任一項所述方法優(yōu)化得到的圖像合成算法，基于所述用戶圖像和所述模版圖像，生成合成圖像；若所述用戶圖像中異常，則生成第四提示信息，所述第四提示信息用于提示所述用戶圖像異常。

15、第三方面，本說明書一個或多個實(shí)施例提供了一種離線質(zhì)檢模型的訓(xùn)練方法，所述離線質(zhì)檢模型為視覺-語言預(yù)訓(xùn)練模型，所述方法包括：獲取訓(xùn)練數(shù)據(jù)；其中，所述訓(xùn)練數(shù)據(jù)包括樣本圖像以及與所述樣本圖像對應(yīng)的真實(shí)異常類型，所述樣本圖像包括正常圖像和異常圖像；獲取異常檢測指令；以所述樣本圖像和所述異常檢測指令作為所述離線質(zhì)檢模型的輸入，輸出異常描述信息；基于所述異常描述信息，確定所述樣本圖像對應(yīng)的預(yù)測異常類型；基于所述真實(shí)異常類型和所述預(yù)測異常類型，訓(xùn)練所述離線質(zhì)檢模型至收斂，得到訓(xùn)練后的離線質(zhì)檢模型。

16、一種可能的實(shí)現(xiàn)方式中，所述異常檢測指令包括至少一種語種對應(yīng)的異常檢測指令。

17、第四方面，本說明書一個或多個實(shí)施例提供了一種圖像合成算法的優(yōu)化裝置，所述裝置包括：第一獲取模塊，用于獲取待質(zhì)檢合成圖像，所述待質(zhì)檢合成圖像為利用圖像合成算法，基于用戶圖像和模版圖像合成的圖像；第一檢測模塊，用于利用離線質(zhì)檢模型對所述待質(zhì)檢合成圖像中目標(biāo)人臉圖像進(jìn)行異常檢測，得到第一檢測結(jié)果；所述目標(biāo)人臉圖像為所述待質(zhì)檢合成圖像中任一人臉圖像；優(yōu)化模塊，用于基于所述第一檢測結(jié)果優(yōu)化所述圖像合成算法。

18、一種可能的實(shí)現(xiàn)方式中，所述裝置還包括：第二檢測模塊，用于利用異常攔截模型對所述目標(biāo)人臉圖像進(jìn)行異常檢測，得到第二檢測結(jié)果；第一發(fā)送模塊，用于若所述第一檢測結(jié)果與所述第二檢測結(jié)果不一致，則發(fā)送第一提示信息，所述第一提示信息用于提示人工對所述目標(biāo)人圖像進(jìn)行異常檢測；第一接收模塊，用于接收人工輸入的人工檢測結(jié)果；所述優(yōu)化模塊，還用于基于所述人工檢測結(jié)果優(yōu)化所述圖像合成算法。

19、一種可能的實(shí)現(xiàn)方式中，所述第一檢測結(jié)果為所述目標(biāo)人臉圖像對應(yīng)的異常類型，所述第二檢測結(jié)果為所述目標(biāo)人臉圖像對應(yīng)正常分值；其中，在所述正常分值大于正常閾值的情況下，所述第二檢測結(jié)果為所述目標(biāo)人臉圖像正常；在所述正常分值小于或者等于正常閾值的情況下，所述第二檢測結(jié)果為所述目標(biāo)人臉圖像異常。

20、一種可能的實(shí)現(xiàn)方式中，所述優(yōu)化模塊，還用于若所述第一檢測結(jié)果與所述第二檢測結(jié)果一致，則基于所述第一檢測結(jié)果和/或所述第二檢測結(jié)果優(yōu)化所述圖像合成算法。

21、一種可能的實(shí)現(xiàn)方式中，所述裝置還包括：第二發(fā)送模塊，用于向異常檢測錯誤的模型發(fā)送第二提示信息，所述第二提示信息用于提示對所述目標(biāo)人臉圖像異常檢測錯誤；所述異常檢測錯誤的模型為所述離線質(zhì)檢模型或者所述異常攔截模型。

22、一種可能的實(shí)現(xiàn)方式中，所述裝置還包括：提取模塊，用于基于所述目標(biāo)人臉圖像，提取至少一個目標(biāo)人臉屬性信息；第四獲取模塊，用于獲取所述模版圖像中與所述目標(biāo)人臉圖像相同位置的人臉的模版屬性信息；第三確定各所述目標(biāo)人臉屬性信息與對應(yīng)的所述模版屬性信息是否一致；修正模塊，用于若所述目標(biāo)人臉屬性信息與所述模版屬性信息不一致，則修正所述模版屬性信息中與所述目標(biāo)人臉屬性信息不一致的屬性信息。

23、一種可能的實(shí)現(xiàn)方式中，所述裝置還包括：第四檢測模塊，用于基于所述模版圖像，對所述待質(zhì)檢合成圖像中非人臉圖像進(jìn)行異常檢測，得到非人臉圖像檢測結(jié)果；優(yōu)化模塊，還用于基于所述非人臉圖像檢測結(jié)果優(yōu)化所述圖像合成算法。

24、一種可能的實(shí)現(xiàn)方式中，第四檢測模塊，用于基于所述模版圖像，對所述待質(zhì)檢合成圖像中非人臉圖像進(jìn)行異常檢測，得到非人臉圖像檢測結(jié)果；具體為：第四檢測模塊，用于基于所述模版圖像，對所述待質(zhì)檢合成圖像中非人臉圖像的清晰度和/或內(nèi)容進(jìn)行異常檢測，得到清晰度檢測結(jié)果和/或內(nèi)容異常檢測結(jié)果。

25、一種可能的實(shí)現(xiàn)方式中，所述離線質(zhì)檢模型為預(yù)先訓(xùn)練得到的視覺-語言預(yù)訓(xùn)練模型，所述離線質(zhì)檢模型的檢測精度高于所述異常攔截模型的檢測精度。

26、第五方面，本說明書一個或多個實(shí)施例提供了一種圖像生成裝置，所述裝置包括：第二接收模塊，用于接收用戶上傳的用戶圖像；第一確定模塊，用于確定用戶選擇的模版圖像；生成模塊，用于利用如第一方面中任一項所述方法優(yōu)化得到的圖像合成算法，基于所述用戶圖像和所述模版圖像，生成合成圖像。

27、一種可能的實(shí)現(xiàn)方式中，所述裝置還包括：第三檢測模塊，用于利用異常攔截模型，對所述合成圖像中目標(biāo)人臉圖像進(jìn)行異常檢測；所述目標(biāo)人臉圖像為所述合成圖像中任一個或者多個人臉圖像；生成模塊，用于若所述目標(biāo)人臉圖像異常，則生成第三提示信息，所述第三提示信息用于提示所述合成圖像異常；顯示模塊，用于若所述目標(biāo)人臉圖像正常，則顯示所述合成圖像。

28、一種可能的實(shí)現(xiàn)方式中，第三檢測模塊，用于利用異常攔截模型，對所述合成圖像中目標(biāo)人臉圖像進(jìn)行異常檢測；具體為：

29、第三檢測模塊，用于利用異常攔截模型，確定各所述目標(biāo)人臉圖像的正常分值；若所述正常分值大于正常閾值，則確定所述合成圖像中所述目標(biāo)人臉圖像正常；若所述正常分值小于或者等于所述正常閾值，則確定所述合成圖像中所述目標(biāo)人臉圖像異常。

30、一種可能的實(shí)現(xiàn)方式中，所述裝置還包括第五檢測模塊，用于對所述用戶圖像進(jìn)行異常檢測；若所述用戶圖像正常，則利用如第一方面中任一項所述方法優(yōu)化得到的圖像合成算法，基于所述用戶圖像和所述模版圖像，生成合成圖像；若所述用戶圖像中異常，則生成第四提示信息，所述第四提示信息用于提示所述用戶圖像異常。

31、第六方面，本說明書一個或多個實(shí)施例提供了一種離線質(zhì)檢模型的訓(xùn)練裝置，所述離線質(zhì)檢模型為視覺-語言預(yù)訓(xùn)練模型，所述裝置包括：第二獲取模塊，用于獲取訓(xùn)練數(shù)據(jù)；其中，所述訓(xùn)練數(shù)據(jù)包括樣本圖像以及與所述樣本圖像對應(yīng)的真實(shí)異常類型，所述樣本圖像包括正常圖像和異常圖像；第三獲取模塊，用于獲取異常檢測指令；輸出模塊，用于以所述樣本圖像和所述異常檢測指令作為所述離線質(zhì)檢模型的輸入，輸出異常描述信息；第二確定模塊，用于基于所述異常描述信息，確定所述樣本圖像對應(yīng)的預(yù)測異常類型；訓(xùn)練模塊，用于基于所述真實(shí)異常類型和所述預(yù)測異常類型，訓(xùn)練所述離線質(zhì)檢模型至收斂，得到訓(xùn)練后的離線質(zhì)檢模型。

32、一種可能的實(shí)現(xiàn)方式中，所述異常檢測指令包括至少一種語種對應(yīng)的異常檢測指令。

33、第七方面，本說明書一個或多個實(shí)施例還提供了一種電子設(shè)備，該電子設(shè)備包括存儲器和處理器；所述存儲器用于存儲計算機(jī)程序產(chǎn)品；所述處理器用于執(zhí)行所述存儲器中存儲的計算機(jī)程序產(chǎn)品，且所述計算機(jī)程序產(chǎn)品被執(zhí)行時，實(shí)現(xiàn)上述第一方面、第二方面或者第三方面的方法。

34、第八方面，本說明書一個或多個實(shí)施例還提供了一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)存儲有計算機(jī)程序指令，該計算機(jī)程序指令被執(zhí)行時，實(shí)現(xiàn)上述第一方面、第二方面或者第三方面的方法。

35、綜上，為了提高圖像合成算法合成的圖像的良品率，本說明書一個或多個實(shí)施例提供了一種圖像合成算法的優(yōu)化方法、圖像合成方法及裝置。其中，圖像合成算法的優(yōu)化方法，可以利用預(yù)先訓(xùn)練的離線質(zhì)檢模型，對批量的合成圖像中人臉圖像進(jìn)行精細(xì)化地異常檢測，以盡可能挖掘出合成圖像中的異常情況。這樣，可以基于挖掘出的異常情況對圖像合成算法進(jìn)行優(yōu)化，使優(yōu)化后的圖像合成算法盡可能提前避免異常情況的發(fā)生。

36、在后續(xù)圖像生成階段，可以利用優(yōu)化后的圖像合成算法，基于用戶圖像和模版圖像，生成合成圖像。這樣，由于優(yōu)化后的圖像合成算法已經(jīng)提前對可能發(fā)生異常的情況進(jìn)行了優(yōu)化，因此可以提高合成圖像的良品率。另外，在圖像生成階段，還可以利用預(yù)先訓(xùn)練的輕量化的異常攔截模型，對異常合成圖像進(jìn)行攔截，以補(bǔ)償優(yōu)化后的圖像合成算法依然生成異常圖像的情況。這樣，通過提前對圖像合成算法的優(yōu)化以及對異常合成圖像的線上攔截，這兩者的雙重保障，可以大幅度提高用戶對圖像合成應(yīng)用的使用體驗(yàn)。