本發(fā)明涉及圖像處理，具體涉及多視角的三維運(yùn)動(dòng)視頻處理，更具體地涉及一種基于多視角穿衣人體運(yùn)動(dòng)視頻的重建及驅(qū)動(dòng)方法。

背景技術(shù)：

1、動(dòng)態(tài)三維穿衣人體的重建和驅(qū)動(dòng)是計(jì)算機(jī)視覺(jué)中的一個(gè)重要研究方向。它在許多領(lǐng)域都有廣泛的應(yīng)用，例如直播、視頻會(huì)議和vr/ar（virtual?reality：虛擬現(xiàn)實(shí)/augmented?reality：增強(qiáng)現(xiàn)實(shí)）。雖然這一方向已經(jīng)研究了很長(zhǎng)時(shí)間，但由于服裝在驅(qū)動(dòng)姿態(tài)下的非剛性變形難以預(yù)測(cè)，這一問(wèn)題仍然具有挑戰(zhàn)性。關(guān)鍵的技術(shù)難題是如何準(zhǔn)確地模擬寬松的服裝，并產(chǎn)生符合運(yùn)動(dòng)力學(xué)的服裝運(yùn)動(dòng)。

2、傳統(tǒng)的穿衣人體重建及驅(qū)動(dòng)方法往往需要手動(dòng)對(duì)人體和衣服進(jìn)行精細(xì)化建模，并使用基于優(yōu)化的物理仿真方法來(lái)驅(qū)動(dòng)衣物。由于手動(dòng)建模需要耗費(fèi)大量的人力與時(shí)間，且最終成果嚴(yán)重依賴于負(fù)責(zé)建模的三維動(dòng)畫(huà)藝術(shù)家的技術(shù)能力?，F(xiàn)有的部分穿衣人體重建及驅(qū)動(dòng)方法忽略了衣服的非剛性形變，導(dǎo)致所得到的驅(qū)動(dòng)結(jié)果失真；另外的穿衣人體重建及驅(qū)動(dòng)方法雖然考慮到了衣服的非剛性形變，并且在大量訓(xùn)練集的基礎(chǔ)上取得了不錯(cuò)的驅(qū)動(dòng)效果，但是這些方法只依賴于單幀的驅(qū)動(dòng)姿態(tài)信息，并且在訓(xùn)練集外的人體姿態(tài)下會(huì)生成不合理的驅(qū)動(dòng)結(jié)果，進(jìn)而產(chǎn)生不符合運(yùn)動(dòng)力學(xué)的運(yùn)動(dòng)結(jié)果。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述問(wèn)題，本發(fā)明提供了一種基于多視角穿衣人體運(yùn)動(dòng)視頻的重建及驅(qū)動(dòng)方法。

2、根據(jù)本發(fā)明的實(shí)施例，提供了一種基于多視角穿衣人體運(yùn)動(dòng)視頻的重建及驅(qū)動(dòng)方法，上述方法包括：

3、從多視角穿衣人體運(yùn)動(dòng)視頻中得到相機(jī)參數(shù)和目標(biāo)人物的人體姿態(tài)信息，并對(duì)多視角穿衣人體運(yùn)動(dòng)視頻進(jìn)行分割，得到視頻分割結(jié)果；

4、獲取基準(zhǔn)空間下的人體粗糙三維三角網(wǎng)格，并利用視頻分割結(jié)果、相機(jī)參數(shù)、人體粗糙三維三角網(wǎng)格以及人體姿態(tài)信息得到基準(zhǔn)空間下的衣服粗糙三維三角網(wǎng)格；

5、將人體三維高斯表示錨定在人體粗糙三維三角網(wǎng)格上，并將衣服三維高斯表示錨定在衣服粗糙三維三角網(wǎng)格上；

6、分別將人體粗糙三維三角網(wǎng)格和人體三維高斯表示以及衣服粗糙三維三角網(wǎng)格和衣服三維高斯表示從基準(zhǔn)空間變換到觀測(cè)空間；

7、將觀測(cè)空間中的人體三維高斯表示和衣服三維高斯表示投影成二維高斯表示，對(duì)人體二維高斯表示和衣服二維高斯表示進(jìn)行渲染；

8、重復(fù)執(zhí)行空間變換操作、投影操作以及渲染操作，并自監(jiān)督地對(duì)粗糙三維三角網(wǎng)格以及三維高斯表示進(jìn)行優(yōu)化，得到目標(biāo)人物的重建結(jié)果。

9、根據(jù)本發(fā)明的實(shí)施例，上述基于多視角穿衣人體運(yùn)動(dòng)視頻的重建及驅(qū)動(dòng)方法還包括：

10、根據(jù)輸入的驅(qū)動(dòng)姿態(tài)序列，對(duì)目標(biāo)人物的人體進(jìn)行驅(qū)動(dòng)，得到驅(qū)動(dòng)時(shí)的人體粗糙三維三角網(wǎng)格；

11、基于驅(qū)動(dòng)時(shí)的人體粗糙三維三角網(wǎng)格，對(duì)目標(biāo)人物的衣服進(jìn)行驅(qū)動(dòng)，得到驅(qū)動(dòng)時(shí)的衣服粗糙三維三角網(wǎng)格；

12、更新與驅(qū)動(dòng)時(shí)的人體粗糙三維三角網(wǎng)格和驅(qū)動(dòng)時(shí)的衣服粗糙三維三角網(wǎng)格相對(duì)應(yīng)的三維高斯表示；

13、利用重建結(jié)果和相機(jī)參數(shù)，對(duì)更新后的三維高斯表示進(jìn)行投影和渲染，得到目標(biāo)人物的驅(qū)動(dòng)結(jié)果。

14、根據(jù)本發(fā)明的實(shí)施例，上述對(duì)多視角穿衣人體運(yùn)動(dòng)視頻進(jìn)行分割，得到視頻分割結(jié)果包括：

15、利用預(yù)定義的相機(jī)標(biāo)定及人體姿態(tài)捕捉方法對(duì)多視角穿衣人體運(yùn)動(dòng)視頻的每個(gè)視角進(jìn)行逐幀地相機(jī)參數(shù)獲取操作和目標(biāo)人物的人體動(dòng)作捕捉操作，得到每一幀圖像的相機(jī)參數(shù)和目標(biāo)人物的人體姿態(tài)信息，其中，預(yù)定義的相機(jī)標(biāo)定及人體姿態(tài)捕捉方法包括easymocap方法；

16、利用預(yù)訓(xùn)練的圖像分割大模型對(duì)多視角穿衣人體運(yùn)動(dòng)視頻的每個(gè)視角進(jìn)行逐幀分割，得到每一幀圖像的視頻分割結(jié)果，其中，預(yù)訓(xùn)練的圖像分割大模型包括預(yù)訓(xùn)練的sam模型，其中，每一幀圖像的視頻分割結(jié)果包括目標(biāo)人物的人體標(biāo)簽和衣服標(biāo)簽。

17、根據(jù)本發(fā)明的實(shí)施例，上述利用視頻分割結(jié)果、相機(jī)參數(shù)、人體粗糙三維三角網(wǎng)格以及人體姿態(tài)信息得到基準(zhǔn)空間下的衣服粗糙三維三角網(wǎng)格包括：

18、根據(jù)用戶輸入的包括目標(biāo)人物的人體運(yùn)動(dòng)視頻，利用預(yù)訓(xùn)練的3d人體模板模型獲取目標(biāo)人物在基準(zhǔn)空間下的人體粗糙三維三角網(wǎng)格，其中，預(yù)訓(xùn)練的3d人體模板模型包括預(yù)訓(xùn)練的smpl-x模型；

19、利用每一幀圖像的視頻分割結(jié)果中的衣服標(biāo)簽、相機(jī)參數(shù)以及人體姿態(tài)信息從人體粗糙三維三角網(wǎng)格中分割得到衣服粗糙三維三角網(wǎng)格。

20、根據(jù)本發(fā)明的實(shí)施例，上述將人體三維高斯表示錨定在人體粗糙三維三角網(wǎng)格上，并將衣服三維高斯表示錨定在衣服粗糙三維三角網(wǎng)格上包括：

21、在人體粗糙三維三角網(wǎng)格上錨定人體三維高斯表示，并在衣服粗糙三維三角網(wǎng)格上錨定衣服三維高斯表示，其中，三維高斯表示包括多個(gè)三維高斯橢球；

22、根據(jù)三維三角面片的幾何信息定義三維高斯表示的幾何屬性計(jì)算方法，并分別計(jì)算人體三維高斯表示和衣服三維高斯表示的位置信息、旋轉(zhuǎn)信息和尺度信息；

23、基于計(jì)算所得到的位置信息、旋轉(zhuǎn)信息和尺度信息，在空間變換過(guò)程中實(shí)現(xiàn)三維高斯表示和粗糙三維三角網(wǎng)格的同步變換。

24、根據(jù)本發(fā)明的實(shí)施例，上述分別將人體粗糙三維三角網(wǎng)格和人體三維高斯表示以及衣服粗糙三維三角網(wǎng)格和衣服三維高斯表示從基準(zhǔn)空間變換到觀測(cè)空間包括：

25、基于人體姿態(tài)信息，利用人體非剛性變形多層級(jí)感知機(jī)建模多視角穿衣人體運(yùn)動(dòng)視頻中每個(gè)視角下的每一幀圖像的人體粗糙三維三角網(wǎng)格的非剛性變形；

26、利用預(yù)訓(xùn)練的3d人體模板模型中基于線性混合蒙皮的骨架剛性變形模塊將帶有非剛性變形的人體粗糙三維三角網(wǎng)格變換到觀測(cè)空間，并利用預(yù)定義的三維高斯表示的屬性計(jì)算方法更新所述人體三維高斯表示的幾何屬性；

27、基于人體姿態(tài)信息，利用衣服非剛性變形多層級(jí)感知機(jī)建模多視角穿衣人體運(yùn)動(dòng)視頻中每個(gè)視角下的每一幀圖像的衣服粗糙三維三角網(wǎng)格的非剛性變形；

28、利用基于線性混合蒙皮的骨架剛性變形模塊將帶有非剛性變形的衣服粗糙三維三角網(wǎng)格變換到觀測(cè)空間，并利用預(yù)定義的三維高斯表示的屬性計(jì)算方法更新衣服三維高斯表示的幾何屬性。

29、根據(jù)本發(fā)明的實(shí)施例，上述將觀測(cè)空間中的人體三維高斯表示和衣服三維高斯表示投影成二維高斯表示，對(duì)人體二維高斯表示和衣服二維高斯表示進(jìn)行渲染包括：

30、利用預(yù)定義的三維高斯表示的屬性計(jì)算方法，計(jì)算多視角穿衣人體運(yùn)動(dòng)視頻中每一幀圖像的三維高斯表示的幾何屬性，其中，三維高斯表示包括人體三維高斯表示和衣服三維高斯表示；

31、利用多視角穿衣人體運(yùn)動(dòng)視頻中每個(gè)視角下的每一幀圖像的相機(jī)參數(shù)和三維高斯表示的幾何屬性，將觀測(cè)空間中的三維高斯表示投影到成像平面內(nèi)，得到多視角穿衣人體運(yùn)動(dòng)視頻中每個(gè)視角下的每一幀圖像的二維高斯表示，其中二維高斯表示包括人體二維高斯表示和衣服二維高斯表示；

32、通過(guò)顏色多層級(jí)感知機(jī)以及預(yù)定義的濺射方法獲取二維高斯表示對(duì)多視角穿衣人體運(yùn)動(dòng)視頻中每個(gè)像素的影響信息；

33、利用所得到的影響信息以及二維高斯表示的密度和顏色信息，通過(guò)顏色多層級(jí)感知機(jī)以及預(yù)定義的渲染方法計(jì)算多視角穿衣人體運(yùn)動(dòng)視頻中每個(gè)像素的顏色進(jìn)而完成渲染操作。

34、根據(jù)本發(fā)明的實(shí)施例，上述重復(fù)執(zhí)行空間變換操作、投影操作以及渲染操作，并自監(jiān)督地對(duì)粗糙三維三角網(wǎng)格以及三維高斯表示進(jìn)行優(yōu)化，得到目標(biāo)人物的重建結(jié)果包括：

35、重復(fù)執(zhí)行空間變換操作、投影操作以及渲染操作，并通過(guò)預(yù)定義的損失函數(shù)自監(jiān)督地對(duì)粗糙三維三角網(wǎng)格、三維高斯、人體非剛性變形多層級(jí)感知機(jī)、衣服非剛性變形多層級(jí)感知機(jī)和顏色多層級(jí)感知機(jī)進(jìn)行優(yōu)化，得到目標(biāo)人物的重建結(jié)果。

36、根據(jù)本發(fā)明的實(shí)施例，上述根據(jù)輸入的驅(qū)動(dòng)姿態(tài)序列，對(duì)目標(biāo)人物的人體進(jìn)行驅(qū)動(dòng)，得到驅(qū)動(dòng)時(shí)的人體粗糙三維三角網(wǎng)格包括：

37、根據(jù)用戶輸入的驅(qū)動(dòng)姿勢(shì)序列，利用預(yù)訓(xùn)練的3d人體模板模型中基于線性混合蒙皮的骨架剛性變形模塊驅(qū)動(dòng)目標(biāo)人物的人體，得到驅(qū)動(dòng)時(shí)的人體粗糙三維三角網(wǎng)格；

38、其中，基于驅(qū)動(dòng)時(shí)的人體粗糙三維三角網(wǎng)格，對(duì)目標(biāo)人物的衣服進(jìn)行驅(qū)動(dòng)，得到驅(qū)動(dòng)時(shí)的衣服粗糙三維三角網(wǎng)包括：

39、基于驅(qū)動(dòng)時(shí)的人體粗糙三維三角網(wǎng)格，利用神經(jīng)物理仿真模型驅(qū)動(dòng)目標(biāo)人物的衣服，得到驅(qū)動(dòng)時(shí)的衣服粗糙三維三角網(wǎng)格，其中，神經(jīng)物理仿真模型預(yù)訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型。

40、根據(jù)本發(fā)明的實(shí)施例，上述更新與驅(qū)動(dòng)時(shí)的人體粗糙三維三角網(wǎng)格和驅(qū)動(dòng)時(shí)的衣服粗糙三維三角網(wǎng)格相對(duì)應(yīng)的三維高斯表示包括：

41、利用預(yù)定義的三維高斯表示的屬性計(jì)算方法，通過(guò)驅(qū)動(dòng)時(shí)的人體粗糙三維三角網(wǎng)格和驅(qū)動(dòng)時(shí)的衣服粗糙三維三角網(wǎng)格來(lái)更新驅(qū)動(dòng)時(shí)的三維高斯表示的幾何屬性；

42、其中，利用重建結(jié)果和相機(jī)參數(shù)，對(duì)更新后的三維高斯表示進(jìn)行投影和渲染，得到目標(biāo)人物的驅(qū)動(dòng)結(jié)果包括：

43、利用重建結(jié)果、相機(jī)參數(shù)以及驅(qū)動(dòng)時(shí)的粗糙三維三角網(wǎng)格對(duì)驅(qū)動(dòng)時(shí)的三維高斯表示進(jìn)行投影和渲染，得到目標(biāo)人物的驅(qū)動(dòng)結(jié)果。

44、本發(fā)明提供的上述基于多視角穿衣人體運(yùn)動(dòng)視頻的重建及驅(qū)動(dòng)方法利用了雙層三維高斯表示用于分別表示穿衣人體運(yùn)動(dòng)視頻中目標(biāo)人物的人體和衣服，通過(guò)不斷優(yōu)化雙層三維高斯表示和所構(gòu)建的多類別多層級(jí)感知機(jī)，實(shí)現(xiàn)了穿衣人體運(yùn)動(dòng)視頻中目標(biāo)人物的高質(zhì)量重建，并通過(guò)利用物理仿真模型實(shí)現(xiàn)了符合運(yùn)動(dòng)力學(xué)特點(diǎn)的人體驅(qū)動(dòng)。本發(fā)明不僅能夠?qū)崿F(xiàn)高效率、高質(zhì)量的人體重建以及符合運(yùn)動(dòng)力學(xué)的人體驅(qū)動(dòng)，在虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)技術(shù)領(lǐng)域還具有廣闊的應(yīng)用場(chǎng)景，能夠產(chǎn)生良好的經(jīng)濟(jì)和社會(huì)效益。