本公開(kāi)涉及人工智能，尤其涉及一種對(duì)象重建方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、在諸如mr領(lǐng)域、vr領(lǐng)域等多種領(lǐng)域都會(huì)涉及到對(duì)象重建技術(shù)，諸如，通過(guò)預(yù)訓(xùn)練模型進(jìn)行手部重建，生成手部對(duì)應(yīng)的三維重建網(wǎng)格，以此呈現(xiàn)給用戶。然而，相關(guān)技術(shù)所采用的對(duì)象重建技術(shù)可達(dá)到的效果不佳，諸如可能會(huì)存在網(wǎng)格精度不佳或者重建穩(wěn)定性較差等問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問(wèn)題或者至少部分地解決上述技術(shù)問(wèn)題，本公開(kāi)提供了一種對(duì)象重建方法、裝置、設(shè)備及介質(zhì)。

2、第一方面，本公開(kāi)實(shí)施例提供了一種對(duì)象重建方法，所述方法包括：獲取待處理圖像；其中，所述待處理圖像包含待重建的目標(biāo)對(duì)象；通過(guò)預(yù)先訓(xùn)練所得的信息預(yù)測(cè)模型獲取所述待處理圖像對(duì)應(yīng)的目標(biāo)對(duì)象的三維重建網(wǎng)格信息；其中，所述三維重建網(wǎng)格信息包括三維重建網(wǎng)格的頂點(diǎn)信息，以及用于構(gòu)建所述三維重建網(wǎng)格的指定參數(shù)，所述指定參數(shù)用于對(duì)所述頂點(diǎn)信息進(jìn)行約束；根據(jù)所述三維重建網(wǎng)格的頂點(diǎn)信息，構(gòu)建所述目標(biāo)對(duì)象的三維重建網(wǎng)格。

3、第二方面，本公開(kāi)實(shí)施例還提供了一種對(duì)象重建裝置，包括：圖像獲取模塊，用于獲取待處理圖像；其中，所述待處理圖像包含待重建的目標(biāo)對(duì)象；信息獲取模塊，用于通過(guò)預(yù)先訓(xùn)練所得的信息預(yù)測(cè)模型獲取所述待處理圖像對(duì)應(yīng)的目標(biāo)對(duì)象的三維重建網(wǎng)格信息；其中，所述三維重建網(wǎng)格信息包括三維重建網(wǎng)格的頂點(diǎn)信息，以及用于構(gòu)建所述三維重建網(wǎng)格的指定參數(shù)，所述指定參數(shù)用于對(duì)所述頂點(diǎn)信息進(jìn)行約束；網(wǎng)格構(gòu)建模塊，用于根據(jù)所述三維重建網(wǎng)格的頂點(diǎn)信息，構(gòu)建所述目標(biāo)對(duì)象的三維重建網(wǎng)格。

4、第三方面，本公開(kāi)實(shí)施例還提供了一種電子設(shè)備，所述電子設(shè)備包括：處理器；用于存儲(chǔ)所述處理器可執(zhí)行指令的存儲(chǔ)器；所述處理器，用于從所述存儲(chǔ)器中讀取所述可執(zhí)行指令，并執(zhí)行所述指令以實(shí)現(xiàn)如本公開(kāi)實(shí)施例提供的對(duì)象重建方法。

5、第四方面，本公開(kāi)實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序用于執(zhí)行如本公開(kāi)實(shí)施例提供的對(duì)象重建方法。

6、本公開(kāi)實(shí)施例提供的上述技術(shù)方案所采用的信息預(yù)測(cè)模型不僅預(yù)測(cè)待處理圖像中目標(biāo)對(duì)象的三維重建網(wǎng)格的頂點(diǎn)信息，還可以預(yù)測(cè)用于構(gòu)建三維重建網(wǎng)格的指定參數(shù)，該指定參數(shù)用于對(duì)頂點(diǎn)信息進(jìn)行約束，通過(guò)預(yù)測(cè)頂點(diǎn)信息保障網(wǎng)格精度，而通過(guò)指定參數(shù)對(duì)頂點(diǎn)信息進(jìn)行約束的方式來(lái)保障重建穩(wěn)定性，有效提升對(duì)象重建效果。

7、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本公開(kāi)的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本公開(kāi)的范圍。本公開(kāi)的其它特征將通過(guò)以下的說(shuō)明書(shū)而變得容易理解。

技術(shù)特征：

1.一種對(duì)象重建方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)預(yù)先訓(xùn)練所得的信息預(yù)測(cè)模型獲取所述待處理圖像對(duì)應(yīng)的目標(biāo)對(duì)象的三維重建網(wǎng)格信息，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于注意力機(jī)制，通過(guò)預(yù)先訓(xùn)練所得的信息預(yù)測(cè)模型獲取所述待處理圖像對(duì)應(yīng)的目標(biāo)對(duì)象的三維重建網(wǎng)格信息，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述目標(biāo)對(duì)象包括相互關(guān)聯(lián)的第一對(duì)象和第二對(duì)象；所述第一注意力矩陣還用于保留所述第一對(duì)象的頂點(diǎn)信息對(duì)所述第一對(duì)象的指定參數(shù)的單向影響，以及保留所述第二對(duì)象的頂點(diǎn)信息對(duì)所述第二對(duì)象的指定參數(shù)的單向影響。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述目標(biāo)對(duì)象包括相互關(guān)聯(lián)的第一對(duì)象和第二對(duì)象；

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述第二注意力矩陣還用于保留所述第一對(duì)象的頂點(diǎn)信息對(duì)所述第二對(duì)象的指定參數(shù)的單向影響，以及，用于保留所述第二對(duì)象的頂點(diǎn)信息對(duì)所述第一對(duì)象的指定參數(shù)的單向影響。

7.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述信息預(yù)測(cè)模型包括圖像編解碼網(wǎng)絡(luò)和信息交互網(wǎng)絡(luò)；

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述信息交互網(wǎng)絡(luò)包括信息初預(yù)測(cè)單元以及第一信息交互單元；

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述第一信息交互單元的數(shù)量為多個(gè)，且多個(gè)所述第一信息交互單元串行連接；

10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述特征圖的數(shù)量為多個(gè)，且不同所述特征圖的尺寸不同；多個(gè)所述特征圖對(duì)應(yīng)多個(gè)目標(biāo)圖；其中，所述目標(biāo)圖是通過(guò)對(duì)所述特征圖按照預(yù)設(shè)倍數(shù)進(jìn)行采樣得到的，且所述目標(biāo)圖用于輸入至所述第一信息交互單元，不同所述第一信息交互單元輸入的目標(biāo)圖不同。

11.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述目標(biāo)對(duì)象包括相互關(guān)聯(lián)的第一對(duì)象和第二對(duì)象；所述第一信息交互單元包括圖卷積子單元以及兩個(gè)串行連接的注意力子單元；

12.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述信息預(yù)測(cè)模型還包括信息修正網(wǎng)絡(luò)；

13.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述根據(jù)所述待處理圖像的特征圖對(duì)所述信息交互網(wǎng)絡(luò)輸出的三維重建網(wǎng)格信息進(jìn)行修正，包括：

14.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述信息修正網(wǎng)絡(luò)包括第二信息交互單元；

15.根據(jù)權(quán)利要求1至14任一項(xiàng)所述的方法，其特征在于，所述信息預(yù)測(cè)模型是通過(guò)如下步驟訓(xùn)練得到的：

16.根據(jù)權(quán)利要求15所述的方法，其特征在于，所述基于所述樣本對(duì)象的三維重建網(wǎng)格信息與所述標(biāo)簽信息，對(duì)所述初始模型進(jìn)行訓(xùn)練，包括：

17.根據(jù)權(quán)利要求16所述的方法，其特征在于，所述標(biāo)簽信息還包括所述樣本對(duì)象的三維重建網(wǎng)格的法向量標(biāo)簽；

18.一種對(duì)象重建裝置，其特征在于，包括：

19.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：

20.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序用于執(zhí)行上述權(quán)利要求1-16中任一所述的對(duì)象重建方法。

技術(shù)總結(jié)
本公開(kāi)實(shí)施例涉及一種對(duì)象重建方法、裝置、設(shè)備及介質(zhì)，其中該方法包括：獲取待處理圖像；其中，所述待處理圖像包含待重建的目標(biāo)對(duì)象；通過(guò)預(yù)先訓(xùn)練所得的信息預(yù)測(cè)模型獲取所述待處理圖像對(duì)應(yīng)的目標(biāo)對(duì)象的三維重建網(wǎng)格信息；其中，所述三維重建網(wǎng)格信息包括三維重建網(wǎng)格的頂點(diǎn)信息，以及用于構(gòu)建所述三維重建網(wǎng)格的指定參數(shù)，所述指定參數(shù)用于對(duì)所述頂點(diǎn)信息進(jìn)行約束；根據(jù)所述三維重建網(wǎng)格的頂點(diǎn)信息，構(gòu)建所述目標(biāo)對(duì)象的三維重建網(wǎng)格。本公開(kāi)實(shí)施例可以有效提升對(duì)象重建效果。

技術(shù)研發(fā)人員：朱飛達(dá),王從藝,文石磊
受保護(hù)的技術(shù)使用者：北京字跳網(wǎng)絡(luò)技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/10