本公開(kāi)涉及人工智能領(lǐng)域中的計(jì)算機(jī)視覺(jué)、圖像處理及數(shù)字人等，尤其涉及一種三維人體動(dòng)作重建方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、三維人體動(dòng)作重建技術(shù)是一種通過(guò)計(jì)算機(jī)視覺(jué)和圖像處理技術(shù)，從二維圖像或視頻中重建出人體的三維模型及其動(dòng)作的技術(shù)。三維人體動(dòng)作重建技術(shù)在多個(gè)領(lǐng)域有廣泛的應(yīng)用，尤其是在運(yùn)動(dòng)科學(xué)和康復(fù)訓(xùn)練中，精確的三維人體動(dòng)作重建技術(shù)對(duì)于分析和優(yōu)化人體動(dòng)作至關(guān)重要。

2、目前，通常采用多視角和深度學(xué)習(xí)相結(jié)合的方法來(lái)進(jìn)行三維人體動(dòng)作重建。例如，通過(guò)多視角人體動(dòng)作捕捉系統(tǒng)(easy?mocap)進(jìn)行三維人體動(dòng)作重建，其中，在對(duì)相機(jī)進(jìn)行外參標(biāo)定時(shí)，依賴(lài)于標(biāo)定板的像素標(biāo)注。但在一些場(chǎng)景下，通過(guò)上述方式對(duì)相機(jī)進(jìn)行外參標(biāo)定，獲得的外參精度較低，進(jìn)而導(dǎo)致三維人體動(dòng)作重建的精度較低。

技術(shù)實(shí)現(xiàn)思路

1、本公開(kāi)提供了一種用于提高三維人體動(dòng)作重建精度的三維人體動(dòng)作重建方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

2、根據(jù)本公開(kāi)的第一方面，提供了一種三維人體動(dòng)作重建方法，包括：獲取多個(gè)第一圖像，多個(gè)第一圖像是由多個(gè)rgb深度相機(jī)分別采集的包含目標(biāo)人體的動(dòng)作的同一幀圖像；提取每個(gè)第一圖像中目標(biāo)人體的人體關(guān)鍵點(diǎn)的二維坐標(biāo)和置信度；針對(duì)每個(gè)人體關(guān)鍵點(diǎn)，根據(jù)二維坐標(biāo)、置信度以及二維坐標(biāo)對(duì)應(yīng)的rgb深度相機(jī)的投影矩陣，獲取人體關(guān)鍵點(diǎn)的三維坐標(biāo)，其中，投影矩陣是根據(jù)rgb深度相機(jī)的內(nèi)參矩陣和外參矩陣獲得的，外參矩陣是對(duì)基于多個(gè)rgb深度相機(jī)采集的同一幀第二圖像分別對(duì)應(yīng)的深度信息獲得的點(diǎn)云數(shù)據(jù)進(jìn)行對(duì)齊處理獲得的；基于三維坐標(biāo)，完成三維人體動(dòng)作重建。

3、根據(jù)本公開(kāi)的第二方面，提供了一種三維人體動(dòng)作重建裝置，包括：第一獲取單元，用于獲取多個(gè)第一圖像，多個(gè)第一圖像是由多個(gè)rgb深度相機(jī)分別采集的包含目標(biāo)人體的動(dòng)作的同一幀圖像；提取單元，用于提取每個(gè)第一圖像中目標(biāo)人體的人體關(guān)鍵點(diǎn)的二維坐標(biāo)和置信度；處理單元，用于針對(duì)每個(gè)人體關(guān)鍵點(diǎn)，根據(jù)二維坐標(biāo)、置信度以及二維坐標(biāo)對(duì)應(yīng)的rgb深度相機(jī)的投影矩陣，獲取人體關(guān)鍵點(diǎn)的三維坐標(biāo)，其中，投影矩陣是根據(jù)rgb深度相機(jī)的內(nèi)參矩陣和外參矩陣獲得的，外參矩陣是對(duì)基于多個(gè)rgb深度相機(jī)采集的同一幀第二圖像分別對(duì)應(yīng)的深度信息獲得的點(diǎn)云數(shù)據(jù)進(jìn)行對(duì)齊處理獲得的；重建單元，用于基于三維坐標(biāo)，完成三維人體動(dòng)作重建。

4、根據(jù)本公開(kāi)的第三方面，提供了一種電子設(shè)備，包括：至少一個(gè)處理器；以及與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行第一方面所述的三維人體動(dòng)作重建方法。

5、根據(jù)本公開(kāi)的第四方面，提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行第一方面所述的三維人體動(dòng)作重建方法。

6、根據(jù)本公開(kāi)的第五方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括：計(jì)算機(jī)程序，所述計(jì)算機(jī)程序存儲(chǔ)在可讀存儲(chǔ)介質(zhì)中，電子設(shè)備的至少一個(gè)處理器可以從所述可讀存儲(chǔ)介質(zhì)讀取所述計(jì)算機(jī)程序，所述至少一個(gè)處理器執(zhí)行所述計(jì)算機(jī)程序使得電子設(shè)備執(zhí)行第一方面所述的三維人體動(dòng)作重建方法。

7、根據(jù)本公開(kāi)的技術(shù)解決了通過(guò)目前方式進(jìn)行三維人體動(dòng)作重建，存在的三維人體動(dòng)作重建的精度較低的問(wèn)題。本公開(kāi)通過(guò)獲取多個(gè)第一圖像，多個(gè)第一圖像是由多個(gè)rgb深度相機(jī)分別采集的包含目標(biāo)人體的動(dòng)作的同一幀圖像；考慮到不同視角的rgb深度相機(jī)對(duì)人體關(guān)鍵點(diǎn)的可視性和檢測(cè)精度，提取每個(gè)第一圖像中目標(biāo)人體的人體關(guān)鍵點(diǎn)的二維坐標(biāo)和置信度；針對(duì)每個(gè)人體關(guān)鍵點(diǎn)，根據(jù)二維坐標(biāo)、置信度以及二維坐標(biāo)對(duì)應(yīng)的rgb深度相機(jī)的投影矩陣，獲取人體關(guān)鍵點(diǎn)的三維坐標(biāo)，基于三維坐標(biāo)，完成三維人體動(dòng)作重建。其中，投影矩陣是根據(jù)rgb深度相機(jī)的內(nèi)參矩陣和外參矩陣獲得的，外參矩陣的標(biāo)定不依賴(lài)標(biāo)定板，是對(duì)基于多個(gè)rgb深度相機(jī)采集的同一幀第二圖像分別對(duì)應(yīng)的深度信息獲得的點(diǎn)云數(shù)據(jù)進(jìn)行對(duì)齊處理獲得的，能夠更加準(zhǔn)確地獲得外參矩陣，進(jìn)而結(jié)合不同視角下人體關(guān)鍵點(diǎn)的置信度來(lái)提高三維人體動(dòng)作重建的質(zhì)量，能夠顯著提升三維人體動(dòng)作重建的精度和效率。

8、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本公開(kāi)的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本公開(kāi)的范圍。本公開(kāi)的其它特征將通過(guò)以下的說(shuō)明書(shū)而變得容易理解。

技術(shù)特征：

1.一種三維人體動(dòng)作重建方法，包括：

2.根據(jù)權(quán)利要求1所述的三維人體動(dòng)作重建方法，其中，所述外參矩陣是通過(guò)以下方式獲得的：

3.根據(jù)權(quán)利要求2所述的三維人體動(dòng)作重建方法，其中，所述基于所述標(biāo)注點(diǎn)三維坐標(biāo)序列和所述深度信息，獲取所述其他rgb深度相機(jī)相對(duì)參考相機(jī)的初始外參矩陣以及多個(gè)所述rgb深度相機(jī)分別對(duì)應(yīng)的點(diǎn)云數(shù)據(jù)，包括：

4.根據(jù)權(quán)利要求2所述的三維人體動(dòng)作重建方法，其中，所述基于所述初始外參矩陣和所述點(diǎn)云數(shù)據(jù)，對(duì)所述點(diǎn)云數(shù)據(jù)進(jìn)行對(duì)齊處理，得到所述外參矩陣，包括：

5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的三維人體動(dòng)作重建方法，其中，所述根據(jù)所述二維坐標(biāo)、所述置信度以及所述二維坐標(biāo)對(duì)應(yīng)的rgb深度相機(jī)的投影矩陣，獲取所述人體關(guān)鍵點(diǎn)的三維坐標(biāo)，包括：

6.根據(jù)權(quán)利要求5所述的三維人體動(dòng)作重建方法，其中，所述對(duì)所述目標(biāo)矩陣進(jìn)行奇異值分解，獲取所述人體關(guān)鍵點(diǎn)的三維坐標(biāo)，包括：

7.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的三維人體動(dòng)作重建方法，其中，所述基于所述三維坐標(biāo)，完成三維人體動(dòng)作重建，包括：

8.根據(jù)權(quán)利要求7所述的三維人體動(dòng)作重建方法，其中，所述將所述三維坐標(biāo)轉(zhuǎn)換為線性混合皮膚多人物smpl模型的目標(biāo)參數(shù)，包括：

9.一種三維人體動(dòng)作重建裝置，包括：

10.根據(jù)權(quán)利要求9所述的三維人體動(dòng)作重建裝置，其中，還包括第二獲取單元，用于通過(guò)以下方式獲得所述外參矩陣：

11.根據(jù)權(quán)利要求10所述的三維人體動(dòng)作重建裝置，其中，所述第二獲取單元在用于基于所述標(biāo)注點(diǎn)三維坐標(biāo)序列和所述深度信息，獲取所述其他rgb深度相機(jī)相對(duì)參考相機(jī)的初始外參矩陣以及多個(gè)所述rgb深度相機(jī)分別對(duì)應(yīng)的點(diǎn)云數(shù)據(jù)時(shí)，包括：

12.根據(jù)權(quán)利要求10所述的三維人體動(dòng)作重建裝置，其中，所述第二獲取單元在用于基于所述初始外參矩陣和所述點(diǎn)云數(shù)據(jù)，對(duì)所述點(diǎn)云數(shù)據(jù)進(jìn)行對(duì)齊處理，得到所述外參矩陣時(shí)，包括：

13.根據(jù)權(quán)利要求9至12中任一項(xiàng)所述的三維人體動(dòng)作重建裝置，其中，所述處理單元包括：

14.根據(jù)權(quán)利要求13所述的三維人體動(dòng)作重建裝置，其中，所述三維坐標(biāo)獲取模塊包括：

15.根據(jù)權(quán)利要求9至12中任一項(xiàng)所述的三維人體動(dòng)作重建裝置，其中，所述重建單元包括：

16.根據(jù)權(quán)利要求15所述的三維人體動(dòng)作重建裝置，其中，所述轉(zhuǎn)換模塊包括：

17.一種電子設(shè)備，包括：

18.一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的三維人體動(dòng)作重建方法。

19.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的三維人體動(dòng)作重建方法的步驟。

技術(shù)總結(jié)
本公開(kāi)提供了一種三維人體動(dòng)作重建方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，涉及人工智能技術(shù)領(lǐng)域，尤其涉及計(jì)算機(jī)視覺(jué)、圖像處理及數(shù)字人等技術(shù)領(lǐng)域。該方法包括：獲取由多個(gè)RGB深度相機(jī)分別采集的包含目標(biāo)人體的動(dòng)作的同一幀第一圖像；提取每個(gè)第一圖像中目標(biāo)人體的人體關(guān)鍵點(diǎn)的二維坐標(biāo)和置信度；針對(duì)每個(gè)人體關(guān)鍵點(diǎn)，根據(jù)二維坐標(biāo)、置信度以及二維坐標(biāo)對(duì)應(yīng)的RGB深度相機(jī)的投影矩陣，獲取人體關(guān)鍵點(diǎn)的三維坐標(biāo)，其中，用于獲取投影矩陣的外參矩陣是對(duì)基于多個(gè)RGB深度相機(jī)采集的同一幀第二圖像分別對(duì)應(yīng)的深度信息獲得的點(diǎn)云數(shù)據(jù)進(jìn)行對(duì)齊處理獲得的；基于三維坐標(biāo)，完成三維人體動(dòng)作重建。

技術(shù)研發(fā)人員：彭昊天,盧飛翔,呂以豪,李龍騰,姜禾
受保護(hù)的技術(shù)使用者：北京百度網(wǎng)訊科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10