本發(fā)明涉及人工智能，尤其涉及一種利用lora模型生成相似圖像的方法及系統(tǒng)。

背景技術(shù)：

1、相似圖像指的是在視覺上具有相似特征或內(nèi)容的圖像。這些圖像可能在顏色、紋理、形狀、布局或整體主題上相似。相似圖像可能來源于不同的拍攝角度、光照條件、分辨率或處理手法，但它們所傳達(dá)的信息或呈現(xiàn)的主題往往是相近或相同的。在計(jì)算機(jī)視覺領(lǐng)域，對于模式識別和機(jī)器學(xué)習(xí)，若有大量相似圖像作為樣本，則能提高模型的泛化能力和魯棒性，并增加模型的訓(xùn)練樣本多樣性，提升模型性能。

2、隨著深度學(xué)習(xí)技術(shù)的發(fā)展，圖像生成已成為計(jì)算機(jī)視覺領(lǐng)域的重要研究方向。然而，全面微調(diào)預(yù)訓(xùn)練模型以生成特定風(fēng)格的相似圖像往往需要大量的計(jì)算資源和時(shí)間。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，解決計(jì)算生成相似圖像所需資源大、效率低、靈活性差以及實(shí)現(xiàn)困難等問題，提供一種利用lora模型生成相似圖像的方法及系統(tǒng)。

2、本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：

3、一種利用lora模型生成相似圖像的方法，包括以下步驟：

4、步驟一、加載預(yù)訓(xùn)練模型：基于圖像生成任務(wù)加載所需要的預(yù)訓(xùn)練模型；

5、步驟二、配置lora矩陣：根據(jù)預(yù)訓(xùn)練模型中各個(gè)層的重要性和圖像生成任務(wù)需求明確需要應(yīng)用lora矩陣的目標(biāo)層，并定義lora矩陣參數(shù)；

6、步驟三、應(yīng)用lora矩陣到預(yù)訓(xùn)練模型：實(shí)例化lora矩陣配置對象，通過peft技術(shù)將lora矩陣的參數(shù)傳遞給預(yù)訓(xùn)練模型的目標(biāo)層，為目標(biāo)層添加lora矩陣；并固定預(yù)訓(xùn)練模型的其余部分，僅允許lora矩陣的權(quán)重在訓(xùn)練過程中更新；

7、步驟四、準(zhǔn)備訓(xùn)練數(shù)據(jù)集：選擇與參考圖像相似的高質(zhì)量圖像作為訓(xùn)練集，并對訓(xùn)練集進(jìn)行預(yù)處理；

8、步驟五、訓(xùn)練lora模型：使用預(yù)處理后的訓(xùn)練數(shù)據(jù)集對包含lora矩陣的預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練，并通過優(yōu)化算法對lora矩陣的權(quán)重進(jìn)行調(diào)整，以最小化生成圖像與參考圖像之間的差異，得到lora模型；

9、步驟六、生成相似圖像：通過lora模型生成與參考圖像相似的圖像。

10、進(jìn)一步的，所述預(yù)訓(xùn)練模型為通過大量數(shù)據(jù)進(jìn)行訓(xùn)練后得到。

11、進(jìn)一步的，所述lora矩陣參數(shù)包括秩、縮放因子和dropout率。

12、進(jìn)一步的，所述步驟四中的預(yù)處理過程包括調(diào)整圖像大小、裁剪和歸一化。

13、進(jìn)一步的，所述步驟五中通過優(yōu)化算法對lora矩陣的權(quán)重進(jìn)行調(diào)整的具體過程為：

14、步驟501、定義損失函數(shù)：用于評價(jià)生成圖像與參考圖像之間的差異度；

15、步驟502、梯度下降法優(yōu)化：基于損失函數(shù)計(jì)算lora矩陣中兩個(gè)低秩矩陣a和b的梯度，使用梯度下降法或adam優(yōu)化器更新低秩矩陣a和b的權(quán)重參數(shù)；

16、步驟503：重復(fù)步驟501和步驟502，直到損失函數(shù)的值達(dá)到預(yù)設(shè)的閾值或迭代次數(shù)達(dá)到預(yù)設(shè)的最大值。

17、進(jìn)一步的，所述損失函數(shù)采用均方誤差函數(shù)。

18、進(jìn)一步的，所述步驟5訓(xùn)練過程中，還包括監(jiān)控訓(xùn)練過程中的損失值和生成圖像的質(zhì)量，以確保模型按預(yù)期進(jìn)行訓(xùn)練。

19、進(jìn)一步的，所述實(shí)例化lora矩陣配置對象具體為：在peft庫中設(shè)置lora類來指定任務(wù)類型、需要應(yīng)用lora矩陣的目標(biāo)層以及定義lora矩陣參數(shù)，并傳入所有配置參數(shù)。

20、一種利用lora模型生成相似圖像的系統(tǒng)，包括：

21、預(yù)訓(xùn)練模型加載模塊：用于加載已有的或已訓(xùn)練完成的預(yù)訓(xùn)練模型；

22、數(shù)據(jù)集準(zhǔn)備模塊：負(fù)責(zé)選取、預(yù)處理和標(biāo)注訓(xùn)練圖像；

23、lora矩陣配置模塊：用于定義lora矩陣參數(shù)，實(shí)例化lora矩陣配置對象，完成lora矩陣的參數(shù)到預(yù)訓(xùn)練模型目標(biāo)層的傳遞；

24、lora模型訓(xùn)練模塊：用于對包含lora矩陣的預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練，得到目標(biāo)lora模型；

25、圖像生成模塊：利用訓(xùn)練好的lora模型，根據(jù)輸入條件生成與目標(biāo)圖像相似的圖像。

26、本發(fā)明的有益效果：本發(fā)明利用lora模型生成相似圖像具有高效以及靈活的特點(diǎn)，僅需調(diào)整預(yù)訓(xùn)練模型中的少量參數(shù)（即lora矩陣），大大減少了計(jì)算資源的需求和訓(xùn)練時(shí)間；用戶可以根據(jù)需要調(diào)整lora矩陣的參數(shù)和輸入?yún)?shù)，以生成不同風(fēng)格和特點(diǎn)的相似圖像；同時(shí)，由于lora矩陣的引入，模型在保持原始預(yù)訓(xùn)練模型性能的同時(shí)，能夠生成高質(zhì)量的相似圖像；并可以方便地集成到各種圖像生成系統(tǒng)中。

技術(shù)特征：

1.一種利用lora模型生成相似圖像的方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種利用lora模型生成相似圖像的方法，其特征在于，所述預(yù)訓(xùn)練模型為通過大量數(shù)據(jù)進(jìn)行訓(xùn)練后得到。

3.根據(jù)權(quán)利要求1所述的一種利用lora模型生成相似圖像的方法，其特征在于，所述lora矩陣參數(shù)包括秩、縮放因子和dropout率。

4.根據(jù)權(quán)利要求1所述的一種利用lora模型生成相似圖像的方法，其特征在于，所述步驟四中的預(yù)處理過程包括調(diào)整圖像大小、裁剪和歸一化。

5.根據(jù)權(quán)利要求1所述的一種利用lora模型生成相似圖像的方法，其特征在于，所述步驟五中通過優(yōu)化算法對lora矩陣的權(quán)重進(jìn)行調(diào)整的具體過程為：

6.根據(jù)權(quán)利要求5所述的一種利用lora模型生成相似圖像的方法，其特征在于，所述損失函數(shù)采用均方誤差函數(shù)。

7.根據(jù)權(quán)利要求1所述的一種利用lora模型生成相似圖像的方法，其特征在于，所述步驟5訓(xùn)練過程中，還包括監(jiān)控訓(xùn)練過程中的損失值和生成圖像的質(zhì)量，以確保模型按預(yù)期進(jìn)行訓(xùn)練。

8.根據(jù)權(quán)利要求1所述的一種利用lora模型生成相似圖像的方法，其特征在于，所述實(shí)例化lora矩陣配置對象具體為：在peft庫中設(shè)置lora類來指定任務(wù)類型、需要應(yīng)用lora矩陣的目標(biāo)層以及定義lora矩陣參數(shù)，并傳入所有配置參數(shù)。

9.一種利用lora模型生成相似圖像的系統(tǒng)，應(yīng)用了如權(quán)利要求1~8任一所述的一種利用lora模型生成相似圖像的方法，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明公開了一種利用LoRa模型生成相似圖像的方法及系統(tǒng)，應(yīng)用于人工智能技術(shù)領(lǐng)域，方法包括：步驟一、加載預(yù)訓(xùn)練模型；步驟二、配置LoRa矩陣；步驟三、應(yīng)用LoRa矩陣到預(yù)訓(xùn)練模型；步驟四、準(zhǔn)備訓(xùn)練數(shù)據(jù)集；步驟五、訓(xùn)練LoRa模型；步驟六、生成相似圖像。本發(fā)明的利用LoRa模型生成相似圖像具有高效以及靈活的特點(diǎn)，僅需調(diào)整預(yù)訓(xùn)練模型中的少量參數(shù)，大大減少了計(jì)算資源的需求和訓(xùn)練時(shí)間；用戶可以根據(jù)需要調(diào)整LoRa矩陣的參數(shù)和輸入?yún)?shù)，以生成不同風(fēng)格和特點(diǎn)的相似圖像；同時(shí)，由于LoRa矩陣的引入，模型在保持原始預(yù)訓(xùn)練模型性能的同時(shí)，能夠生成高質(zhì)量的相似圖像；并可以方便地集成到各種圖像生成系統(tǒng)中。

技術(shù)研發(fā)人員：許婉妮,關(guān)銘華,王璐,謝煒芳
受保護(hù)的技術(shù)使用者：福州大學(xué)廈門工藝美術(shù)學(xué)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23