本發(fā)明屬于圖像處理，具體涉及一種基于語義和風格信息引導的房間裝修風格遷移方法。

背景技術(shù)：

1、近年來，計算機視覺在室內(nèi)裝修行業(yè)的應(yīng)用日益廣泛。房間整體風格決定了空間的視覺效果和氛圍，對房間圖像進行風格遷移有助于實現(xiàn)個性化和多樣化的裝修設(shè)計。傳統(tǒng)的非參數(shù)圖像風格遷移方法主要基于筆畫渲染、圖像類別或濾波方法以及紋理合成。這些方法通常只能提取圖像的底層特征，難以生成高層次的抽象特征。因此，它們僅適用于藝術(shù)化的圖像風格遷移，在現(xiàn)代家居設(shè)計中效果不佳，難以滿足實際需求。

2、深度學習的出現(xiàn)帶來了新的圖像風格遷移方法。gatys提出了基于卷積神經(jīng)網(wǎng)絡(luò)(cnn)的圖像風格遷移算法，通過不同層次提取圖像特征，實現(xiàn)風格和內(nèi)容的分離。然而，該方法生成的圖像往往存在噪聲、不清晰等問題，需要大量成對的訓練圖像，訓練速度慢且占用大量內(nèi)存。zhu等人提出的循環(huán)生成對抗網(wǎng)絡(luò)(cyclegan)結(jié)合了gan和對偶學習，使用兩個生成器和兩個判別器在兩種風格域之間進行轉(zhuǎn)換，并通過循環(huán)一致性損失來保留圖像的內(nèi)容信息，但這種方法在結(jié)構(gòu)完整性和紋理細節(jié)合理性方面仍然存在問題?，F(xiàn)代家居設(shè)計內(nèi)容復雜，強調(diào)寫實與逼真，現(xiàn)有的方法難以有效保留圖像的結(jié)構(gòu)信息并生成真實的紋理。因此，開發(fā)一種能夠同時保留房間圖片結(jié)構(gòu)信息并生成真實風格紋理的圖像風格遷移方法具有重要意義。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)的不足，本發(fā)明提出了一種基于語義和風格信息引導的房間裝修風格遷移方法，該方法通過雙分支結(jié)構(gòu)，對空間結(jié)構(gòu)和紋理細節(jié)進行獨立處理，使得生成的房間圖片在局部細節(jié)上細膩、逼真，同時在全局上具有一致性和連貫性特點。

2、一種基于語義和風格信息引導的房間裝修風格遷移方法，具體方法如下:

3、步驟1、使用預訓練模型提取原始房間圖片的特征，得到對應(yīng)的語義解析特征，將原始房間圖片、參考風格圖片以及語義解析特征，一同作為訓練樣本，將改變風格后的房間圖片作為標簽，構(gòu)建訓練集。

4、步驟2、構(gòu)建基于參考風格的房間裝修的風格遷移生成對抗網(wǎng)絡(luò)模型；所述生成對抗網(wǎng)絡(luò)包括生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)。所述生成器網(wǎng)絡(luò)包括生成房間圖片編碼器、參考風格圖片編碼器、雙分支歸一化模塊(dbn)和解碼器。

5、所述房間圖片編碼器、參考風格圖片編碼器的結(jié)構(gòu)相同，分別用于對原始房間圖片、參考風格圖片進行特征提取，得到房間照片特征以及參考圖片特征。

6、所述雙分支歸一化模塊包括類自適應(yīng)歸一化模塊、實例自適應(yīng)歸一化模塊和注意力特征融合aff模塊(attentional?feature?fusion，aff)。

7、所述類自適應(yīng)歸一化模塊根據(jù)語義解析特征對參考圖片特征進行歸一化，提供空間結(jié)構(gòu)信息，首先對輸入的語義解析特征、參考圖片特征進行類自適應(yīng)歸一化clade處理，經(jīng)過relu激活函數(shù)后，再經(jīng)過一個卷積核大小為3、填充為1、步幅為1的卷積層。將經(jīng)過卷積的特征與語義解析特征一起再進行clade處理，再次經(jīng)過relu激活函數(shù)與一個卷積核大小為3、填充為1、步幅為1的卷積層后，得到的結(jié)果與參考圖片特征進行殘差連接，輸出空間結(jié)構(gòu)信息。

8、所述實例自適應(yīng)歸一化模塊使用參考圖片特征中的信息來調(diào)整房間照片特征的歸一化過程，提供紋理細節(jié)信息，首先對輸入的房間照片特征和參考圖片特征進行實例自適應(yīng)歸一化adain處理，然后通過一個卷積核大小為3、填充為1、步幅為1的卷積層和relu激活函數(shù)，再通過一個卷積核大小為3、填充為1、步幅為1的卷積層和relu激活函數(shù)后，與輸入的房間照片特征進行殘差連接，再經(jīng)過relu激活函數(shù)后，輸出紋理細節(jié)信息。

9、所述aff特征融合模塊用于對類自適應(yīng)歸一化模塊輸出的空間結(jié)構(gòu)信息和實例自適應(yīng)歸一化模塊輸出的紋理細節(jié)信息進行特征融合。

10、所述解碼器對aff特征融合模塊融合后的特征進行解碼，得到具有參考風格的房間圖像。

11、所述判別器網(wǎng)絡(luò)用于判別解碼器輸出的圖像，促使生成器網(wǎng)絡(luò)生成的圖片更加真實，細節(jié)更加細膩。

12、步驟3、將步驟1中的訓練集數(shù)據(jù)輸入步驟2構(gòu)建的生成對抗網(wǎng)絡(luò)模型，采用adam優(yōu)化算法優(yōu)化網(wǎng)絡(luò)模型，使用的損失函數(shù)包括生成圖片的感知損失、對抗損失和循環(huán)一致性損失，保存訓練得到的模型參數(shù)。

13、步驟4、選擇一張需要進行裝修風格修改的房間圖像，通過預訓練模型提取對應(yīng)的語義解析特征，再將該房間圖像、語義解析特征與具有遷移目標風格的參考圖像一同輸入步驟3訓練后的生成器網(wǎng)絡(luò)中，得到裝修風格遷移后的房間圖像。

14、本發(fā)明具有以下有益效果：

15、該方法通過雙分支歸一化模塊，分別對空間信息和細節(jié)紋理信息進行解耦處理：第一個分支使用參考風格生成實例適應(yīng)性權(quán)重，并應(yīng)用實例適應(yīng)性權(quán)重對輸入圖像進行實例歸一化處理，從而在局部細節(jié)上使生成的房間圖像更加細膩和逼真。第二個分支利用房間圖片的語義解析生成類適應(yīng)性權(quán)重，并使用生成的權(quán)重對參考圖像進行類適應(yīng)性歸一化處理處理，從而在整體上確保生成的房間圖像具有一致性和連貫性；二者分別進行處理，充分考慮了紋理信息和空間信息獨立性的影響。

技術(shù)特征：

1.一種基于語義和風格信息引導的房間裝修風格遷移方法，其特征在于：具體包括以下步驟：

2.如權(quán)利要求1所述一種基于語義和風格信息引導的房間裝修風格遷移方法，其特征在于：使用預訓練后的vgg網(wǎng)絡(luò)提取原始房間圖片的語義解析特征。

3.如權(quán)利要求1所述一種基于語義和風格信息引導的房間裝修風格遷移方法，其特征在于：所述房間圖片編碼器、參考風格圖片編碼器的結(jié)構(gòu)相同，均包括級聯(lián)的4個編碼單元，每個編碼單元包括一個卷積核為3、步長為2、填充為1的卷積層，一個實例歸一化層和一個激活函數(shù)relu。

4.如權(quán)利要求1所述一種基于語義和風格信息引導的房間裝修風格遷移方法，其特征在于：所述類自適應(yīng)歸一化模塊首先對輸入的語義解析特征、參考圖片特征進行類自適應(yīng)歸一化clade處理，再經(jīng)過relu激活函數(shù)與卷積層，然后將經(jīng)過卷積的特征與語義解析特征一起再進行clade處理，再經(jīng)過relu激活函數(shù)與卷積層，得到的結(jié)果與參考圖片特征進行殘差連接，輸出空間結(jié)構(gòu)信息。

5.如權(quán)利要求1所述一種基于語義和風格信息引導的房間裝修風格遷移方法，其特征在于：所述實例自適應(yīng)歸一化模塊首先對房間照片特征和參考圖片特征進行實例自適應(yīng)歸一化adain處理，然后通過一個卷積層和relu激活函數(shù)，再通過一個卷積層和relu激活函數(shù)后，與輸入的房間照片特征進行殘差連接，再經(jīng)過relu激活函數(shù)后，輸出紋理細節(jié)信息。

6.如權(quán)利要求1所述一種基于語義和風格信息引導的房間裝修風格遷移方法，其特征在于：所述aff融合模塊首先對空間結(jié)構(gòu)信息和紋理細節(jié)信息進行拼接，分別計算全局注意力與局部注意力，將兩個注意力計算結(jié)果拼接后通過sigmoid函數(shù)激活，將激活結(jié)果分別與輸入的空間結(jié)構(gòu)信息和紋理細節(jié)信息相乘，再進行拼接，得到融合后的特征。

7.如權(quán)利要求3所述一種基于語義和風格信息引導的房間裝修風格遷移方法，其特征在于：所述解碼器包括4個解碼單元、一個卷積核大小為3、填充為1、步幅為1的卷積層和一個激活函數(shù)tanh；每個解碼單元包含一個卷積核為3、步長為2、填充為1的轉(zhuǎn)置卷積層、一個實例歸一化層和一個激活函數(shù)relu，用于輸出一個經(jīng)過上采樣處理的特征圖，并與同層級的房間圖片編碼器的輸出特征圖在通道維度進行拼接，作為下一個解碼單元的輸入。

8.如權(quán)利要求1所述一種基于語義和風格信息引導的房間裝修風格遷移方法，其特征在于：設(shè)置總損失函數(shù)為：

9.如權(quán)利要求1或8所述一種基于語義和風格信息引導的房間裝修風格遷移方法，其特征在于：采用adam優(yōu)化算法優(yōu)化生成對抗網(wǎng)絡(luò)模型參數(shù)。

技術(shù)總結(jié)
本發(fā)明提出了一種基于語義和風格信息引導的房間裝修風格遷移方法。該方法首先提取原始房間圖片的語義解析特征，然后將原始房間圖片、參考風格圖片以及語義解析特征，一同作為訓練樣本，將改變風格后的房間圖片作為標簽，構(gòu)建訓練集。利用生成器網(wǎng)絡(luò)提取房間照片特征以及參考圖片特征，通過雙分支歸一化模塊，以參考圖片特征調(diào)整歸一化過程，得到空間結(jié)構(gòu)信息和紋理細節(jié)信息，再通過AFF特征融合，最后輸出具有參考風格的房間圖像。并使用判別器網(wǎng)絡(luò)，以標簽為基準，判別生成的圖像，完成網(wǎng)絡(luò)訓練。最后向訓練后的生成器網(wǎng)絡(luò)輸入原始房間圖片及其語義解析特征，以及參考風格圖片，生成具有參考風格的房間圖像，完成裝修風格遷移。

技術(shù)研發(fā)人員：趙曉陽,常幸,王會榮,潘常春,李益,章磊,周后盤,黃經(jīng)州
受保護的技術(shù)使用者：浙江大學
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/17