本申請實(shí)施例涉及視頻處理，尤其涉及一種數(shù)字人替換方法、系統(tǒng)、設(shè)備、介質(zhì)和程序產(chǎn)品。

背景技術(shù)：

1、現(xiàn)有技術(shù)中的人工智能生成內(nèi)容“artificial?intelligence?generatedcontent，aigc”技術(shù)可以幫助用戶實(shí)現(xiàn)ai換臉，即將用戶的臉換到視頻中的目標(biāo)人臉中。對于長視頻等技術(shù)，aigc尚未實(shí)現(xiàn)使用用戶的身體替換視頻中的角色的相關(guān)技術(shù)。

2、由于身體替換由于技術(shù)門檻較高，因此對于普通用戶來說，生成自己的數(shù)字人形象替換視頻的門檻較高，用戶不能沉浸式體驗(yàn)視頻內(nèi)容，導(dǎo)致用戶在觀看視頻的體驗(yàn)感和代入感就有所降低。

技術(shù)實(shí)現(xiàn)思路

1、本申請實(shí)施例提供一種數(shù)字人替換方法、系統(tǒng)、設(shè)備、介質(zhì)和程序產(chǎn)品，以解決如何增強(qiáng)用戶觀看視頻的體驗(yàn)感和帶入感的技術(shù)問題。

2、為了解決上述技術(shù)問題，本申請是這樣實(shí)現(xiàn)的：

3、第一方面，本申請實(shí)施例提供了一種數(shù)字人替換方法，包括：

4、接收包含目標(biāo)用戶身體實(shí)例的用戶視頻；

5、對所述用戶視頻進(jìn)行人體三維重建操作，生成所述目標(biāo)用戶的數(shù)字人形象；

6、接收到使用所述目標(biāo)用戶的數(shù)字人形象進(jìn)行數(shù)字人替換的替換請求；

7、將目標(biāo)視頻中目標(biāo)角色替換為所述目標(biāo)用戶的數(shù)字人形象，生成替換視頻。

8、可選的，所述人體三維重建操作包括：

9、提取所述用戶視頻的圖像幀；

10、將所述用戶視頻的圖像幀輸入遮罩算法中，生成所述目標(biāo)用戶身體對應(yīng)的遮罩；

11、將所述目標(biāo)用戶身體對應(yīng)的遮罩輸入幾何算法中，計算所述目標(biāo)用戶的數(shù)字人幾何模型，其中，所述目標(biāo)用戶的數(shù)字人幾何模型用于表示所述目標(biāo)用戶的數(shù)字人形象；

12、將通用的三維人體模型注冊到所述目標(biāo)用戶的數(shù)字人幾何模型上。

13、可選的，所述接收到使用所述目標(biāo)用戶的數(shù)字人形象進(jìn)行數(shù)字人替換的替換請求之后還包括：

14、接收到所述目標(biāo)用戶選擇所述目標(biāo)角色的請求；

15、對所述目標(biāo)視頻的畫面進(jìn)行分割，得到分割后的所述目標(biāo)角色；

16、標(biāo)記所述目標(biāo)角色。

17、可選的，所述接收到使用所述目標(biāo)用戶的數(shù)字人形象進(jìn)行數(shù)字人替換的替換請求之后還包括：

18、獲取所述目標(biāo)用戶選擇的替換時長；

19、以所述目標(biāo)視頻的當(dāng)前幀為起始時間，將向后截取所述替換時長的目標(biāo)視頻作為用于生成所述替換視頻的目標(biāo)視頻。

20、可選的，所述將目標(biāo)視頻中目標(biāo)角色替換為所述目標(biāo)用戶的數(shù)字人形象，生成替換視頻包括：

21、對所述目標(biāo)視頻中的每一幀目標(biāo)圖像進(jìn)行下述操作后合成，生成替換視頻：

22、獲取并追蹤分割后的所述目標(biāo)角色；

23、將所述目標(biāo)用戶的數(shù)字人幾何模型覆蓋在所述目標(biāo)角色上。

24、可選的，所述將所述目標(biāo)用戶的數(shù)字人幾何模型覆蓋在所述目標(biāo)角色上包括：

25、對所述分割后的目標(biāo)角色進(jìn)行姿態(tài)估計，得到所述目標(biāo)角色的估算三維姿態(tài)，并跟蹤所述目標(biāo)角色的姿態(tài)軌跡；

26、調(diào)整所述目標(biāo)用戶的數(shù)字人的身體尺寸和比例與所述目標(biāo)角色匹配；

27、將所述目標(biāo)用戶的數(shù)字人幾何模型對齊到所述目標(biāo)角色的估算三維姿態(tài)；

28、調(diào)整所述目標(biāo)用戶的數(shù)字人幾何模型的動作和姿勢以匹配所述目標(biāo)角色的動作和姿勢；

29、調(diào)整所述目標(biāo)用戶的數(shù)字人幾何模型的光照與環(huán)境中的光照匹配；

30、將調(diào)整后所述目標(biāo)用戶的數(shù)字人幾何模型覆蓋在被追蹤的目標(biāo)角色上。

31、第二方面，本申請實(shí)施例提供了一種數(shù)字人替換系統(tǒng)，包括：

32、接收模塊，用于接收包含目標(biāo)用戶身體實(shí)例的用戶視頻；

33、重建模塊，用于對所述用戶視頻進(jìn)行人體三維重建操作，生成所述目標(biāo)用戶的數(shù)字人形象；

34、請求模塊，用于接收到使用所述目標(biāo)用戶的數(shù)字人形象進(jìn)行數(shù)字人替換的替換請求；

35、替換模塊，用于將目標(biāo)視頻中目標(biāo)角色替換為所述目標(biāo)用戶的數(shù)字人形象，生成替換視頻。

36、第三方面，本申請實(shí)施例提供了一種電子設(shè)備，包括：處理器、存儲器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的程序，所述程序被所述處理器執(zhí)行時實(shí)現(xiàn)如上述第一方面所述的數(shù)字人替換方法的步驟。

37、第四方面，本申請實(shí)施例提供了一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如上述第一方面所述的數(shù)字人替換方法的步驟。

38、第五方面，提供一種計算機(jī)程序產(chǎn)品，包括計算機(jī)指令，該計算機(jī)指令被處理器執(zhí)行時實(shí)現(xiàn)如第一方面所述的數(shù)字人替換方法的步驟。

39、在本申請中，通過接收包含目標(biāo)用戶身體實(shí)例的用戶視頻；對所述用戶視頻進(jìn)行人體三維重建操作，生成所述目標(biāo)用戶的數(shù)字人形象；接收到使用所述目標(biāo)用戶的數(shù)字人形象進(jìn)行數(shù)字人替換的替換請求；將目標(biāo)視頻中目標(biāo)角色替換為所述目標(biāo)用戶的數(shù)字人形象，生成替換視頻。本申請實(shí)施例中，能夠根據(jù)用戶上傳的真人視頻身體實(shí)例快速生成目標(biāo)用戶的數(shù)字人形象，并使用用戶的數(shù)字人形象替代用戶想要替換的目標(biāo)角色，使得最終生成的視頻中為用戶執(zhí)行目標(biāo)角色的動作，從而增強(qiáng)用戶在觀看視頻時的代入感和體驗(yàn)感，并降低用戶視頻的創(chuàng)作門檻，便于吸引更多用戶進(jìn)行視頻創(chuàng)作。

技術(shù)特征：

1.一種數(shù)字人替換方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述人體三維重建操作包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述接收到使用所述目標(biāo)用戶的數(shù)字人形象進(jìn)行數(shù)字人替換的替換請求之后還包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述接收到使用所述目標(biāo)用戶的數(shù)字人形象進(jìn)行數(shù)字人替換的替換請求之后還包括：

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述將目標(biāo)視頻中目標(biāo)角色替換為所述目標(biāo)用戶的數(shù)字人形象，生成替換視頻包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述將所述目標(biāo)用戶的數(shù)字人幾何模型覆蓋在所述目標(biāo)角色上包括：

7.一種數(shù)字人替換系統(tǒng)，其特征在于，包括：

8.一種電子設(shè)備，其特征在于，包括：處理器、存儲器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的程序，所述程序被所述處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的數(shù)字人替換方法的步驟。

9.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的數(shù)字人替換方法的步驟。

10.一種計算機(jī)程序產(chǎn)品，其特征在于，包括計算機(jī)指令，所述計算機(jī)指令被處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的數(shù)字人替換方法的步驟。

技術(shù)總結(jié)
本申請?zhí)峁┮环N數(shù)字人替換方法、系統(tǒng)、設(shè)備、介質(zhì)和程序產(chǎn)品，該方法包括：接收包含目標(biāo)用戶身體實(shí)例的用戶視頻；對所述用戶視頻進(jìn)行人體三維重建操作，生成所述目標(biāo)用戶的數(shù)字人形象；接收到使用所述目標(biāo)用戶的數(shù)字人形象進(jìn)行數(shù)字人替換的替換請求；將目標(biāo)視頻中目標(biāo)角色替換為所述目標(biāo)用戶的數(shù)字人形象，生成替換視頻。本申請根據(jù)用戶上傳的真人視頻身體實(shí)例快速生成目標(biāo)用戶的數(shù)字人形象，并使用用戶的數(shù)字人形象替代用戶想要替換的目標(biāo)角色，使得最終生成的視頻中為用戶執(zhí)行目標(biāo)角色的動作，從而增強(qiáng)用戶在觀看視頻時的代入感和體驗(yàn)感，并降低用戶視頻的創(chuàng)作門檻，便于吸引更多用戶進(jìn)行視頻創(chuàng)作。

技術(shù)研發(fā)人員：蔣晨晨,蔡永輝,陳霖甲,高明陽
受保護(hù)的技術(shù)使用者：咪咕文化科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/17