本公開(kāi)涉及圖像處理領(lǐng)域,尤其涉及虛擬試衣方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。
背景技術(shù):
1、隨著互聯(lián)網(wǎng)科技的不斷發(fā)展,電子商務(wù)平臺(tái)逐漸成為人們挑選購(gòu)買衣物的主要途徑。但是與線下親自試穿相比,人們一般只能憑借經(jīng)驗(yàn)來(lái)判斷衣物是否合適,這也成為網(wǎng)購(gòu)衣物大量退單的重要原因之一。此外,為了展示自家服裝,大量電子商務(wù)賣家對(duì)模特試穿也有著及其旺盛的需求,而邀約模特拍攝的成本也成為了大多中小電子商務(wù)賣家頭疼的問(wèn)題之一,畢竟服裝銷售的銷量與模特拍攝的質(zhì)量成正比關(guān)系。
2、隨著計(jì)算機(jī)視覺(jué)、圖像處理以及人工智能技術(shù)的發(fā)展,虛擬試衣技術(shù)的研發(fā)在很大程度上緩解了上述兩個(gè)難題。針對(duì)網(wǎng)購(gòu)衣物無(wú)法親自試穿的痛點(diǎn),虛擬試衣能夠使用戶無(wú)需實(shí)際脫衣來(lái)更換衣物,只需上傳一張自拍照,選中衣物,就能實(shí)現(xiàn)一鍵換裝,極大提高了網(wǎng)購(gòu)的效率以及客戶的購(gòu)物體驗(yàn)。針對(duì)模特約拍的成本痛點(diǎn),賣家可以利用模特整成模塊,通過(guò)文字描述模特的膚色,發(fā)型,身材等樣貌細(xì)節(jié)來(lái)實(shí)現(xiàn)模特的生成(模特均由ai生成,無(wú)肖像權(quán)爭(zhēng)議)。利用ai生成的模特來(lái)身穿賣家指定的衣物,可以大大降低中小電子商務(wù)賣家的成本。
3、現(xiàn)有的虛擬試衣相關(guān)技術(shù)主要可以分為兩大類:
4、一是通過(guò)深度學(xué)習(xí)技術(shù)來(lái)根據(jù)人物的姿勢(shì)體態(tài)預(yù)估衣物的形變,隨后利用生成對(duì)抗網(wǎng)絡(luò)將形變后的衣物與人物貼合到一塊達(dá)到試衣效果。該類方法的缺點(diǎn)是,最后生成的圖片分辨率通常較低,衣物形變無(wú)法產(chǎn)生相應(yīng)的褶皺感,光影融合性較差;另外,服裝與人物融合的邊緣細(xì)節(jié)一般也比較粗糙,導(dǎo)致整體的試衣效果的整體逼真度較低。
5、二是由商戶將衣物套上假人模特或者真人穿上衣物后當(dāng)成底模任務(wù),利用ai生成工具將底模人物替換成真實(shí)模特或者用戶的肖像。該類方法的缺點(diǎn)是,雖然能在一定程度上緩解邀約模特拍攝的成本問(wèn)題,但不僅商戶操作麻煩,只能變換商戶拍攝的指定姿勢(shì),而且將底模替換成真實(shí)用戶形象的保真度離真實(shí)的用戶形象還存在一定的差距,不能夠在形象上使用戶達(dá)到較為滿意的購(gòu)物體驗(yàn)。
技術(shù)實(shí)現(xiàn)思路
1、本公開(kāi)提供了一種虛擬試衣方法、裝置、設(shè)備及存儲(chǔ)介質(zhì),解決了的技術(shù)問(wèn)題。
2、根據(jù)本公開(kāi)的第一方面,提供了一種虛擬試衣方法。該方法包括:
3、獲取第一人物圖像及衣物圖像;
4、對(duì)所述第一人物圖像進(jìn)行衣物信息的遮罩處理,得到第二人物圖像;
5、將所述第二人物圖像、所述衣物圖像輸入預(yù)先訓(xùn)練得到的虛擬試衣模型,得到虛擬試衣圖像;所述虛擬試衣模型為雙u-net結(jié)構(gòu),包括圖像編碼器、兩個(gè)u-net、圖像解碼器,其中,兩個(gè)u-net分別作為衣物表征網(wǎng)絡(luò)和潛在擴(kuò)散網(wǎng)絡(luò);所述兩個(gè)u-net網(wǎng)絡(luò)結(jié)構(gòu)一致,包括一個(gè)或多個(gè)下采樣層、一個(gè)或多個(gè)中間層以及一個(gè)或多個(gè)上采樣層。
6、如上所述的方面和任一可能的實(shí)現(xiàn)方式,進(jìn)一步提供一種實(shí)現(xiàn)方式,所述將所述第二人物圖像、所述衣物圖像輸入預(yù)先訓(xùn)練得到的虛擬試衣模型,得到虛擬試衣圖像包括:
7、將所述衣物圖像輸入圖像編碼器得到衣物潛在特征,將所述衣物潛在特征作為衣物表征網(wǎng)絡(luò)的輸入;記錄上采樣層、中間層與下采樣層的進(jìn)行空間自注意力運(yùn)算時(shí)的特征;
8、將所述第二人物圖像輸入圖像編碼器得到人物潛在特征、遮罩區(qū)域信息,將所述人物潛在特征、遮罩區(qū)域信息以及一個(gè)服從高斯分布的隨機(jī)噪聲作為潛在擴(kuò)散網(wǎng)絡(luò)的輸入;
9、將衣物表征網(wǎng)絡(luò)記錄的上采樣層、中間層與下采樣層的進(jìn)行空間自注意力運(yùn)算時(shí)的特征與潛在擴(kuò)散網(wǎng)絡(luò)進(jìn)行迭代去噪的過(guò)程中相對(duì)應(yīng)位置上的上采樣層、中間層與下采樣層的進(jìn)行空間自注意力運(yùn)算時(shí)的特征分別進(jìn)行拼接,作為潛在擴(kuò)散網(wǎng)絡(luò)的相對(duì)應(yīng)位置上的特征;
10、將潛在擴(kuò)散網(wǎng)絡(luò)輸出的特征輸入到圖像解碼器中,輸出虛擬試衣圖像。
11、如上所述的方面和任一可能的實(shí)現(xiàn)方式,進(jìn)一步提供一種實(shí)現(xiàn)方式,所述虛擬試衣模型的訓(xùn)練過(guò)程包括:
12、基于馬爾科夫鏈的擴(kuò)散步驟向訓(xùn)練樣本中添加隨機(jī)噪聲,在反向過(guò)程中從噪聲樣本中恢復(fù)干凈的樣本,計(jì)算真實(shí)噪聲與估計(jì)噪聲之間的損失,反向傳播更新潛在擴(kuò)散網(wǎng)絡(luò)的模型參數(shù),直到收斂,保存模型參數(shù)并作為衣物表征網(wǎng)絡(luò)的模型參數(shù)。
13、如上所述的方面和任一可能的實(shí)現(xiàn)方式,進(jìn)一步提供一種實(shí)現(xiàn)方式,對(duì)所述第一人物圖像進(jìn)行衣物信息的遮罩處理,得到第二人物圖像包括:
14、將所述第一人物圖像輸入預(yù)先訓(xùn)練得到的深度學(xué)習(xí)圖像語(yǔ)義分割神經(jīng)網(wǎng)絡(luò)模型進(jìn)行語(yǔ)義分割,得到語(yǔ)義分割后的人物圖像,所述語(yǔ)義分割后的人物圖像至少包括劃分了人體信息區(qū)域和衣物信息區(qū)域的圖像;
15、將所述語(yǔ)義分割后的人物圖像中的衣物信息區(qū)域進(jìn)行遮罩處理,得到第二人物圖像。
16、如上所述的方面和任一可能的實(shí)現(xiàn)方式,進(jìn)一步提供一種實(shí)現(xiàn)方式,所述將所述語(yǔ)義分割后的人物圖像中的衣物信息區(qū)域進(jìn)行遮罩處理包括:
17、獲取衣物圖像中的衣物與所述語(yǔ)義分割后的人物圖像中的人物的貼合區(qū)域;將所述貼合區(qū)域與所述語(yǔ)義分割后的人物圖像中的衣物信息區(qū)域的并集作為人物圖像中需要進(jìn)行遮罩處理的區(qū)域。
18、如上所述的方面和任一可能的實(shí)現(xiàn)方式,進(jìn)一步提供一種實(shí)現(xiàn)方式,獲取衣物圖像中的衣物與所述語(yǔ)義分割后的人物圖像中的人物的貼合區(qū)域包括:
19、對(duì)所述語(yǔ)義分割后的人物圖像進(jìn)行姿態(tài)識(shí)別得到姿態(tài)信息;對(duì)所述衣物圖像進(jìn)行分割,分割出衣物的待遮罩區(qū)域;將所述待遮罩區(qū)域與所述姿態(tài)信息輸入預(yù)先訓(xùn)練的淺層卷積神經(jīng)網(wǎng)絡(luò),確定所述衣物圖像中的衣物在所述語(yǔ)義分割后的人物圖像中人體的遮罩區(qū)域,作為人物圖像中需要進(jìn)行遮罩處理的區(qū)域。
20、根據(jù)本公開(kāi)的第二方面,提供了另一種虛擬試衣方法。該方法包括:
21、采用如第一方面所述的方法得到虛擬試衣圖像;所述第一人物圖像包括用戶圖像,所述衣物圖像為至少兩個(gè),所述虛擬試衣圖像分別與所述衣物圖像對(duì)應(yīng);
22、在至少兩個(gè)虛擬試衣圖像中選擇至少一個(gè)目標(biāo)虛擬試衣圖像進(jìn)行展示或推薦。
23、根據(jù)本公開(kāi)的第三方面,提供了一種虛擬試衣裝置。該裝置包括:
24、獲取模塊,用于獲取第一人物圖像及衣物圖像;
25、衣物信息遮罩模塊,用于對(duì)所述第一人物圖像進(jìn)行衣物信息的遮罩處理,得到第二人物圖像;
26、虛擬試衣圖像生成模塊,用于將所述第二人物圖像、所述衣物圖像輸入預(yù)先訓(xùn)練得到的虛擬試衣模型,得到虛擬試衣圖像;所述虛擬試衣模型為雙u-net結(jié)構(gòu),包括圖像編碼器、兩個(gè)u-net、圖像解碼器,其中,兩個(gè)u-net分別作為衣物表征網(wǎng)絡(luò)和潛在擴(kuò)散網(wǎng)絡(luò);所述兩個(gè)u-net網(wǎng)絡(luò)結(jié)構(gòu)一致,包括一個(gè)或多個(gè)下采樣層、一個(gè)或多個(gè)中間層以及一個(gè)或多個(gè)上采樣層。
27、根據(jù)本公開(kāi)的第四方面,提供了一種電子設(shè)備。該電子設(shè)備包括:存儲(chǔ)器和處理器,所述存儲(chǔ)器上存儲(chǔ)有計(jì)算機(jī)程序,所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如以上所述的方法。
28、根據(jù)本公開(kāi)的第五方面,提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如根據(jù)本公開(kāi)的第一方面和/或第二方面的方法。
29、應(yīng)當(dāng)理解,
技術(shù)實(shí)現(xiàn)要素:
部分中所描述的內(nèi)容并非旨在限定本公開(kāi)的實(shí)施例的關(guān)鍵或重要特征,亦非用于限制本公開(kāi)的范圍。本公開(kāi)的其它特征將通過(guò)以下的描述變得容易理解。