本公開涉及人工智能，尤其涉及計算機視覺、深度學(xué)習(xí)、大模型等，可應(yīng)用于aigc基于人工智能的內(nèi)容生成等場景。更具體地，本公開提供了一種三維模型的紋理生成方法、深度學(xué)習(xí)模型的訓(xùn)練方法、裝置、電子設(shè)備、存儲介質(zhì)以及計算機程序產(chǎn)品。

背景技術(shù)：

1、隨著人工智能的快速發(fā)展，基于人工智能的圖像生成的應(yīng)用越來越豐富。紋理生成是指對于給定輸入的不包含紋理信息的三維模型，以及圖片和文本引導(dǎo)，利用經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)為三維模型生成與引導(dǎo)文本或圖片相匹配的紋理貼圖，以便于后續(xù)的使用。

技術(shù)實現(xiàn)思路

1、本公開提供了一種三維模型的紋理生成方法、深度學(xué)習(xí)模型的訓(xùn)練方法、裝置、電子設(shè)備、存儲介質(zhì)以及計算機程序產(chǎn)品。

2、根據(jù)第一方面，提供了一種三維模型的紋理生成方法，該方法包括：將三維模型的點云數(shù)據(jù)轉(zhuǎn)換為樹狀數(shù)據(jù)結(jié)構(gòu)，其中，三維模型的點云數(shù)據(jù)分區(qū)塊存儲在樹狀數(shù)據(jù)結(jié)構(gòu)的多個葉節(jié)點中；根據(jù)三維模型各個區(qū)塊的高斯表示，得到三維模型的高斯表示，其中，各個區(qū)塊的高斯表示是根據(jù)每個葉節(jié)點所存儲的點云數(shù)據(jù)生成的；以及將三維模型的高斯表示的渲染結(jié)果貼合到三維模型，得到具有紋理信息的三維模型。

3、根據(jù)第二方面，提供了一種深度學(xué)習(xí)模型的訓(xùn)練方法，該方法包括：將樣本模型的點云數(shù)據(jù)轉(zhuǎn)換為樹狀數(shù)據(jù)結(jié)構(gòu)，其中，樣本模型的點云數(shù)據(jù)分區(qū)塊存儲在樹狀數(shù)據(jù)結(jié)構(gòu)的多個葉節(jié)點中；針對每個葉節(jié)點，使用深度學(xué)習(xí)模型對葉節(jié)點中存儲的點云數(shù)據(jù)進行處理，得到葉節(jié)點的點云數(shù)據(jù)所屬區(qū)塊的高斯表示；根據(jù)樣本模型各個區(qū)塊的高斯表示，得到樣本模型的高斯表示；對樣本模型的高斯表示進行渲染，得到輸出紋理圖像；根據(jù)輸出紋理圖像與樣本紋理圖像之間的差異，確定深度學(xué)習(xí)模型的損失，其中，樣本紋理圖像是對樣本模型進行渲染得到的圖像；以及根據(jù)損失，調(diào)整深度學(xué)習(xí)模型的參數(shù)。

4、根據(jù)第三方面，提供了一種三維模型的紋理生成裝置，該裝置包括：第一轉(zhuǎn)換模塊，用于將三維模型的點云數(shù)據(jù)轉(zhuǎn)換為樹狀數(shù)據(jù)結(jié)構(gòu)，其中，三維模型的點云數(shù)據(jù)分區(qū)塊存儲在樹狀數(shù)據(jù)結(jié)構(gòu)的多個葉節(jié)點中；第一高斯表示生成模塊，用于根據(jù)三維模型各個區(qū)塊的高斯表示，得到三維模型的高斯表示，其中，各個區(qū)塊的高斯表示是根據(jù)每個葉節(jié)點所存儲的點云數(shù)據(jù)生成的；以及紋理生成模塊，用于將三維模型的高斯表示的渲染結(jié)果貼合到三維模型，得到具有紋理信息的三維模型。

5、根據(jù)第四方面，提供了一種深度學(xué)習(xí)模型的訓(xùn)練裝置，該裝置包括：第二轉(zhuǎn)換模塊，用于將樣本模型的點云數(shù)據(jù)轉(zhuǎn)換為樹狀數(shù)據(jù)結(jié)構(gòu)，其中，樣本模型的點云數(shù)據(jù)分區(qū)塊存儲在樹狀數(shù)據(jù)結(jié)構(gòu)的多個葉節(jié)點中；葉節(jié)點處理模塊，用于針對每個葉節(jié)點，使用深度學(xué)習(xí)模型對葉節(jié)點中存儲的點云數(shù)據(jù)進行處理，得到葉節(jié)點的點云數(shù)據(jù)所屬區(qū)塊的高斯表示；第二高斯表示生成模塊，用于根據(jù)樣本模型各個區(qū)塊的高斯表示，得到樣本模型的高斯表示；渲染模塊，用于對樣本模型的高斯表示進行渲染，得到輸出紋理圖像；損失確定模塊，用于根據(jù)輸出紋理圖像與樣本紋理圖像之間的差異，確定深度學(xué)習(xí)模型的損失，其中，樣本紋理圖像是對樣本模型進行渲染得到的圖像；以及調(diào)整模塊，用于根據(jù)損失，調(diào)整深度學(xué)習(xí)模型的參數(shù)。

6、根據(jù)第五方面，提供了一種電子設(shè)備，包括：至少一個處理器；以及與至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執(zhí)行的指令，指令被至少一個處理器執(zhí)行，以使至少一個處理器能夠執(zhí)行根據(jù)本公開提供的方法。

7、根據(jù)第六方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質(zhì)，該計算機指令用于使計算機執(zhí)行根據(jù)本公開提供的方法。

8、根據(jù)第七方面，提供了一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序存儲于可讀存儲介質(zhì)和電子設(shè)備其中至少之一上，所述計算機程序在被處理器執(zhí)行時實現(xiàn)根據(jù)本公開提供的方法。

9、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識本公開的實施例的關(guān)鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

技術(shù)特征：

1.一種三維模型的紋理生成方法，包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，所述將所述三維模型的高斯表示的渲染結(jié)果貼合到所述三維模型，得到具有紋理信息的三維模型包括：

3.根據(jù)權(quán)利要求2所述的方法，其中，所述將所述多個視角的第一紋理圖像貼合到所述三維模型，得到所述具有紋理信息的三維模型包括：在每個視角下，

4.根據(jù)權(quán)利要求3所述的方法，其中，所述根據(jù)所述第一紋理圖像和所述第二紋理圖像之間的顏色差異，調(diào)整所述三維模型的顏色，得到具有顏色信息的三維模型包括：

5.根據(jù)權(quán)利要求1所述的方法，還包括：針對每個葉節(jié)點，

6.一種深度學(xué)習(xí)模型的訓(xùn)練方法，包括：

7.根據(jù)權(quán)利要求6所述的方法，其中，所述樣本紋理圖像包括在多個視角下對所述樣本模型進行渲染得到的到多個樣本紋理圖像；所述對所述樣本模型的高斯表示進行渲染，得到輸出紋理圖像包括：

8.根據(jù)權(quán)利要求7所述的方法，其中，所述根據(jù)所述輸出紋理圖像與樣本紋理圖像之間的差異，確定所述深度學(xué)習(xí)模型的損失包括：

9.根據(jù)權(quán)利要求8所述的方法，其中，所述針對每個視角，根據(jù)所述視角下的樣本紋理圖像和輸出紋理圖像之間的差異，確定所述視角下的損失包括：針對每個視角，

10.根據(jù)權(quán)利要求6所述的方法，其中，所述針對每個葉節(jié)點，使用深度學(xué)習(xí)模型對所述葉節(jié)點中存儲的點云數(shù)據(jù)進行處理，得到所述葉節(jié)點的點云數(shù)據(jù)所屬區(qū)塊的高斯表示包括：針對每個葉節(jié)點，

11.一種三維模型的紋理生成裝置，包括：

12.根據(jù)權(quán)利要求11所述的裝置，其中，所述紋理生成模塊包括：

13.根據(jù)權(quán)利要求12所述的裝置，其中，所述第二紋理生成單元包括：

14.根據(jù)權(quán)利要求13所述的裝置，其中，所述顏色調(diào)整子單元，用于將所述三維模型映射為二維圖像；根據(jù)所述顏色差異，調(diào)整所述二維圖像的顏色；以及響應(yīng)于所述二維圖像上顏色的調(diào)整，根據(jù)所述三維模型和所述二維圖像的映射關(guān)系，調(diào)整所述三維模型上的顏色。

15.根據(jù)權(quán)利要求11所述的裝置，還包括：

16.一種深度學(xué)習(xí)模型的訓(xùn)練裝置，包括：

17.根據(jù)權(quán)利要求16所述的裝置，其中，所述樣本紋理圖像包括在多個視角下對所述樣本模型進行渲染得到的到多個樣本紋理圖像；所述渲染模塊包括：

18.根據(jù)權(quán)利要求17所述的裝置，其中，所述損失確定模塊包括：

19.根據(jù)權(quán)利要求18所述的裝置，其中，所述第一損失確定單元包括：

20.根據(jù)權(quán)利要求16所述的裝置，其中，所述葉節(jié)點處理模塊包括：

21.一種電子設(shè)備，包括：

22.一種存儲有計算機指令的非瞬時計算機可讀存儲介質(zhì)，其中，所述計算機指令用于使所述計算機執(zhí)行根據(jù)權(quán)利要求1至10中任一項所述的方法。

23.一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序存儲于可讀存儲介質(zhì)和電子設(shè)備其中至少之一上，所述計算機程序在被處理器執(zhí)行時實現(xiàn)根據(jù)權(quán)利要求1至10中任一項所述的方法。

技術(shù)總結(jié)
本公開提供了一種三維模型的紋理生成方法，涉及人工智能技術(shù)領(lǐng)域，尤其涉及計算機視覺、深度學(xué)習(xí)、大模型等技術(shù)領(lǐng)域，可應(yīng)用于AIGC基于人工智能的內(nèi)容生成等場景。具體實現(xiàn)方案為：將三維模型的點云數(shù)據(jù)轉(zhuǎn)換為樹狀數(shù)據(jù)結(jié)構(gòu)，其中，三維模型的點云數(shù)據(jù)分區(qū)塊存儲在樹狀數(shù)據(jù)結(jié)構(gòu)的多個葉節(jié)點中；根據(jù)三維模型各個區(qū)塊的高斯表示，得到三維模型的高斯表示，其中，各個區(qū)塊的高斯表示是根據(jù)每個葉節(jié)點所存儲的點云數(shù)據(jù)生成的；以及將三維模型的高斯表示的渲染結(jié)果貼合到三維模型，得到具有紋理信息的三維模型。本公開還提供了一種深度學(xué)習(xí)模型的訓(xùn)練方法、裝置、電子設(shè)備和存儲介質(zhì)。

技術(shù)研發(fā)人員：熊伯君,劉家倫,劉星,趙晨,丁二銳
受保護的技術(shù)使用者：北京百度網(wǎng)訊科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10