本發(fā)明涉及圖像處理，尤其是涉及一種圖像處理方法、多模態(tài)圖像生成模型的訓(xùn)練方法及裝置。

背景技術(shù)：

1、工業(yè)缺陷檢測中，通常會將待檢測缺陷圖像輸入至預(yù)先訓(xùn)練好的目標(biāo)檢測模型，以檢測該待檢測缺陷圖像的相關(guān)缺陷數(shù)據(jù)，為保證檢測結(jié)果的準(zhǔn)確性，在對目標(biāo)檢測模型進行訓(xùn)練時，需要提供足夠的缺陷圖像樣本，相關(guān)技術(shù)中，可以使用基于生成對抗網(wǎng)絡(luò)的圖像生成模型生成缺陷圖像，但該方式難以準(zhǔn)確捕捉到復(fù)雜的工業(yè)缺陷特征，導(dǎo)致生成的缺陷圖像與實際情況相差較大；還可以采用傳統(tǒng)的數(shù)據(jù)增強算法進行數(shù)據(jù)增強，但該方式通?；诤唵蔚膸缀巫儞Q和圖像處理操作，難以準(zhǔn)確地模擬工業(yè)缺陷的真實特征，無法提供足夠的數(shù)據(jù)多樣性，因此，基于相關(guān)技術(shù)無法解決工業(yè)缺陷檢測所需要的缺陷圖像數(shù)量不足的問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種圖像處理方法、多模態(tài)圖像生成模型的訓(xùn)練方法及裝置，以解決工業(yè)缺陷檢測所需要的缺陷圖像數(shù)量不足的問題。

2、本發(fā)明提供的一種圖像處理方法，方法包括：獲取待處理文本；其中，待處理文本中包括缺陷特征信息；將待處理文本輸入至預(yù)先訓(xùn)練好的多模態(tài)圖像生成模型中，以通過多模態(tài)圖像生成模型，輸出待處理文本對應(yīng)的目標(biāo)缺陷圖像；其中，多模態(tài)圖像生成模型為穩(wěn)定擴散模型和目標(biāo)lora模型相結(jié)合的模型；目標(biāo)lora模型用于微調(diào)穩(wěn)定擴散模型的權(quán)重參數(shù)；目標(biāo)lora模型為與缺陷特征信息所屬缺陷類別相匹配的模型。

3、本發(fā)明提供的一種多模態(tài)圖像生成模型的訓(xùn)練方法，方法包括：獲取多種缺陷類別的子缺陷圖像樣本集；針對每種缺陷類別，基于該缺陷類別的子缺陷圖像樣本集確定樣本圖像；其中，樣本圖像具有對應(yīng)的目標(biāo)命名標(biāo)簽；將目標(biāo)命名標(biāo)簽輸入至初始圖像生成模型中，以通過初始圖像生成模型，輸出該目標(biāo)命名標(biāo)簽對應(yīng)的預(yù)測圖像；其中，初始圖像生成模型包括穩(wěn)定擴散模型和初始lora模型；初始lora模型嵌入在穩(wěn)定擴散模型中，用于微調(diào)穩(wěn)定擴散模型的權(quán)重參數(shù)；基于樣本圖像和預(yù)測圖像，更新初始lora模型的參數(shù)，繼續(xù)執(zhí)行基于該缺陷類別的子缺陷圖像樣本集確定樣本圖像的步驟，直至初始lora模型收斂，得到目標(biāo)lora模型；基于目標(biāo)lora模型和穩(wěn)定擴散模型得到訓(xùn)練好的多模態(tài)圖像生成模型。

4、進一步的，獲取多種缺陷類別的子缺陷圖像樣本集的步驟包括：獲取目標(biāo)缺陷圖像樣本集；按預(yù)設(shè)分類方式，對目標(biāo)缺陷圖像樣本集進行分類，得到多種缺陷類別的子缺陷圖像樣本集；其中，預(yù)設(shè)分類方式包括以下至少一種：按缺陷形態(tài)分類、按缺陷尺寸分類、按缺陷顏色分類。

5、進一步的，獲取目標(biāo)缺陷圖像樣本集的步驟包括：獲取第一缺陷圖像樣本；其中，第一缺陷圖像樣本中包含第一缺陷特征；對第一缺陷圖像樣本進行裁剪處理，以從第一缺陷圖像樣本中裁剪出第一缺陷特征對應(yīng)的第一缺陷區(qū)域圖像；按預(yù)設(shè)相似度比對算法，將第一缺陷區(qū)域圖像與預(yù)設(shè)的缺陷圖像集合中的每張圖像進行相似度比對，得到比對結(jié)果；根據(jù)比對結(jié)果確定目標(biāo)缺陷圖像樣本集。

6、進一步的，根據(jù)比對結(jié)果確定目標(biāo)缺陷圖像樣本集的步驟包括：將比對結(jié)果大于預(yù)設(shè)相似度閾值的圖像，確定為增強缺陷圖像樣本；對增強缺陷圖像樣本進行裁剪處理，以從增強缺陷圖像樣本中裁剪出第一缺陷特征對應(yīng)的第二缺陷區(qū)域圖像；對第一缺陷區(qū)域圖像和第二缺陷區(qū)域圖像進行篩選處理，得到目標(biāo)缺陷圖像樣本集。

7、進一步的，目標(biāo)命名標(biāo)簽通過下述方式確定：針對每種缺陷類別，按預(yù)設(shè)標(biāo)簽命名規(guī)則，對該缺陷類別的子缺陷圖像樣本集中的每張樣本圖像設(shè)置初始命名標(biāo)簽；針對每張樣本圖像，將該樣本圖像的初始命名標(biāo)簽發(fā)送至穩(wěn)定擴散模型的基礎(chǔ)模型中，以通過基礎(chǔ)模型輸出第一結(jié)果；如果第一結(jié)果與初始命名標(biāo)簽不匹配，將初始命名標(biāo)簽確定為該樣本圖像的目標(biāo)命名標(biāo)簽；如果第一結(jié)果與命名標(biāo)簽相匹配，更新該樣本圖像的初始命名標(biāo)簽，重復(fù)執(zhí)行將該樣本圖像的命名標(biāo)簽發(fā)送至穩(wěn)定擴散模型中的基礎(chǔ)模型中的步驟，直至確定該樣本圖像的目標(biāo)命名標(biāo)簽。

8、進一步的，標(biāo)簽命名規(guī)則包括：初始命名標(biāo)簽中包括項目信息和該缺陷類別對應(yīng)的缺陷描述信息。

9、本發(fā)明提供的一種圖像處理裝置，裝置包括：第一獲取模塊，用于獲取待處理文本；其中，待處理文本中包括缺陷特征信息；第一輸出模塊，用于將待處理文本輸入至預(yù)先訓(xùn)練好的多模態(tài)圖像生成模型中，以通過多模態(tài)圖像生成模型，輸出待處理文本對應(yīng)的目標(biāo)缺陷圖像；其中，多模態(tài)圖像生成模型為穩(wěn)定擴散模型和目標(biāo)lora模型相結(jié)合的模型；目標(biāo)lora模型用于微調(diào)穩(wěn)定擴散模型的權(quán)重參數(shù)；目標(biāo)lora模型為與缺陷特征信息所屬缺陷類別相匹配的模型。

10、本發(fā)明提供的一種多模態(tài)圖像生成模型的訓(xùn)練裝置，裝置包括：第二獲取模塊，用于獲取多種缺陷類別的子缺陷圖像樣本集；確定模塊，用于針對每種缺陷類別，基于該缺陷類別的子缺陷圖像樣本集確定樣本圖像；其中，樣本圖像具有對應(yīng)的目標(biāo)命名標(biāo)簽；第二輸出模塊，用于將目標(biāo)命名標(biāo)簽輸入至初始圖像生成模型中，以通過初始圖像生成模型，輸出該目標(biāo)命名標(biāo)簽對應(yīng)的預(yù)測圖像；其中，初始圖像生成模型包括穩(wěn)定擴散模型和初始lora模型；初始lora模型嵌入在穩(wěn)定擴散模型中，用于微調(diào)穩(wěn)定擴散模型的權(quán)重參數(shù)；更新模塊，用于基于樣本圖像和預(yù)測圖像，更新初始lora模型的參數(shù)，繼續(xù)執(zhí)行基于該缺陷類別的子缺陷圖像樣本集確定樣本圖像的步驟，直至初始lora模型收斂，得到訓(xùn)練好的多模態(tài)圖像生成模型。

11、本發(fā)明提供的一種電子設(shè)備，包括處理器和存儲器，存儲器存儲有能夠被處理器執(zhí)行的機器可執(zhí)行指令，處理器執(zhí)行機器可執(zhí)行指令以實現(xiàn)上述圖像處理方法，或上述任一項的多模態(tài)圖像生成模型的訓(xùn)練方法。

12、本發(fā)明提供的圖像處理方法、多模態(tài)圖像生成模型的訓(xùn)練方法及裝置，圖像處理方法包括：獲取待處理文本；其中，待處理文本中包括缺陷特征信息；將待處理文本輸入至預(yù)先訓(xùn)練好的多模態(tài)圖像生成模型中，以通過多模態(tài)圖像生成模型，輸出待處理文本對應(yīng)的目標(biāo)缺陷圖像；其中，多模態(tài)圖像生成模型為穩(wěn)定擴散模型和目標(biāo)lora模型相結(jié)合的模型；目標(biāo)lora模型用于微調(diào)穩(wěn)定擴散模型的權(quán)重參數(shù)；目標(biāo)lora模型為與缺陷特征信息所屬缺陷類別相匹配的模型。該方式中，由于目標(biāo)lora模型為與缺陷特征信息所屬缺陷類別相匹配的模型，因此，通過該目標(biāo)lora模型和穩(wěn)定擴散模型相結(jié)合的多模態(tài)圖像生成模型，可以使生成的目標(biāo)缺陷圖像中準(zhǔn)確包含該缺陷特征信息所描述的缺陷，提高了生成目標(biāo)缺陷圖像的便利性、可控性，進而可以提供滿足需求的缺陷圖像數(shù)量。

技術(shù)特征：

1.一種圖像處理方法，其特征在于，所述方法包括：

2.一種多模態(tài)圖像生成模型的訓(xùn)練方法，其特征在于，所述方法包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，獲取多種缺陷類別的子缺陷圖像樣本集的步驟包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，獲取目標(biāo)缺陷圖像樣本集的步驟包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，根據(jù)所述比對結(jié)果確定目標(biāo)缺陷圖像樣本集的步驟包括：

6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述目標(biāo)命名標(biāo)簽通過下述方式確定：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述標(biāo)簽命名規(guī)則包括：所述初始命名標(biāo)簽中包括項目信息和該缺陷類別對應(yīng)的缺陷描述信息。

8.一種圖像處理裝置，其特征在于，所述裝置包括：

9.一種多模態(tài)圖像生成模型的訓(xùn)練裝置，其特征在于，所述裝置包括：

10.一種電子設(shè)備，其特征在于，包括處理器和存儲器，所述存儲器存儲有能夠被所述處理器執(zhí)行的機器可執(zhí)行指令，所述處理器執(zhí)行所述機器可執(zhí)行指令以實現(xiàn)權(quán)利要求1所述的圖像處理方法，或權(quán)利要求2-7任一項所述的多模態(tài)圖像生成模型的訓(xùn)練方法。

技術(shù)總結(jié)
本發(fā)明提供了圖像處理方法、多模態(tài)圖像生成模型的訓(xùn)練方法及裝置，圖像處理方法包括：將待處理文本輸入至預(yù)先訓(xùn)練好的多模態(tài)圖像生成模型中，輸出目標(biāo)缺陷圖像；多模態(tài)圖像生成模型為穩(wěn)定擴散模型和目標(biāo)LoRA模型相結(jié)合的模型；目標(biāo)LoRA模型用于微調(diào)穩(wěn)定擴散模型的權(quán)重參數(shù)；目標(biāo)LoRA模型為與缺陷特征信息所屬缺陷類別相匹配的模型。該方式中，由于目標(biāo)LoRA模型為與缺陷特征信息所屬缺陷類別相匹配的模型，因此，通過該目標(biāo)LoRA模型和穩(wěn)定擴散模型相結(jié)合的多模態(tài)圖像生成模型，可以使生成的目標(biāo)缺陷圖像中準(zhǔn)確包含該缺陷特征信息所描述的缺陷，提高了生成目標(biāo)缺陷圖像的便利性、可控性，進而可以提供滿足需求的缺陷圖像數(shù)量。

技術(shù)研發(fā)人員：王凱,方超群,孫瑞,田楷,晏文仲,曹彬,胡江洪,陳立名
受保護的技術(shù)使用者：菲特（天津）檢測技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/9