本公開涉及2d數(shù)字人，特別涉及一種2d數(shù)字人動作庫的生成方法、裝置、集群和存儲介質(zhì)。

背景技術(shù)：

1、隨著二維(two?dimensional，2d)數(shù)字人技術(shù)的發(fā)展，越來越多的場景中使用2d數(shù)字人動作視頻。例如，演講場景、新聞播報場景和短視頻場景等。在生成2d數(shù)字人動作視頻前，預(yù)先構(gòu)建動作庫，動作庫包括多個2d數(shù)字人動作，如招手、擺手和握拳等動作，在生成2d數(shù)字人動作視頻時，將動作庫中的動作應(yīng)用到虛擬人物身上，得到2d數(shù)字人動作視頻。

2、相關(guān)技術(shù)中，在構(gòu)建動作庫時，人工錄制對應(yīng)動作視頻，得到動作庫，這樣，每當(dāng)構(gòu)建一個形象時，需要重新錄制一遍已有動作，獲得動作庫，導(dǎo)致獲得動作庫的效率比較低。

技術(shù)實現(xiàn)思路

1、本公開提供了一種2d數(shù)字人動作庫的生成方法、裝置、集群和存儲介質(zhì)，能夠提升動作庫的獲得效率。

2、第一方面，本公開提供了一種2d數(shù)字人動作庫的生成方法、裝置、集群和存儲介質(zhì)，該方法包括：獲取第一圖像文件和第一形象在目標(biāo)場景的參考動作庫，其中，所述第一圖像文件包括第二形象的2d真人照片或者所述第二形象的2d真人動作視頻，所述參考動作庫包括所述第一形象的多個2d數(shù)字人動作；基于所述第一圖像文件和所述參考動作庫，生成所述第二形象在所述目標(biāo)場景的基礎(chǔ)動作庫，其中，所述基礎(chǔ)動作庫包括所述第二形象的多個2d數(shù)字人動作，所述基礎(chǔ)動作庫中的2d數(shù)字人動作與所述參考動作庫中的2d數(shù)字人動作相同，所述基礎(chǔ)動作庫用于生成所述第二形象的2d數(shù)字人動作視頻。

3、本公開所示的方案中，在給定真人圖片或者動作視頻，就能生成與參考動作庫中動作一致的2d數(shù)字人動作庫，無需重新錄制該真人對應(yīng)的2d數(shù)字人動作，提升動作庫生成效率。而且對于不同的形象，相同動作均能夠符合標(biāo)準(zhǔn)，保持一致。

4、在一種可選的方式中，所述基于所述第一圖像文件和所述參考動作庫，生成所述第二形象在所述目標(biāo)場景的基礎(chǔ)動作庫，包括：將所述第一圖像文件和所述參考動作庫中的2d數(shù)字人動作輸入2d真人動作生成模型，生成所述第二形象的多個2d數(shù)字人動作，其中，所述第二形象的多個2d數(shù)字人動作組成所述基礎(chǔ)動作庫，所述2d真人動作生成模型是基于多個動作視頻訓(xùn)練獲得。

5、在一種可選的方式中，所述第一圖像文件包括所述第二形象的真人動作視頻；所述將所述第一圖像文件和所述參考動作庫中的2d數(shù)字人動作輸入2d真人動作生成模型之前，所述方法還包括：使用所述2d真人動作視頻，對所述2d真人動作生成模型進(jìn)行更新。

6、本公開所示的方案中，在使用2d真人動作生成模型之前，使用2d真人動作視頻進(jìn)行更新，能夠使得2d真人動作生成模型生成的2d數(shù)字人動作與真人更接近。

7、在一種可選的方式中，所述第一圖像文件包括所述第二形象的2d真人動作視頻；所述方法還包括：獲取所述2d真人動作視頻對應(yīng)的專有動作信息，其中，所述專有動作信息包括專有動作在所述2d真人動作視頻中的時間段；基于所述2d真人動作視頻和所述專有動作信息，生成所述第二形象在所述目標(biāo)場景的專有動作庫，其中，所述專有動作庫中包括所述第二形象的2d數(shù)字人專有動作。這樣，還能夠生成第二形象的2d數(shù)字人專有動作，使得第二形象的動作庫包括的動作更全面。

8、在一種可選的方式中，所述獲取所述2d真人動作視頻對應(yīng)的專有動作信息，包括：提供專有動作標(biāo)注界面，其中，所述專有動作標(biāo)注界面用于用戶標(biāo)注所述2d真人動作視頻的專有動作；獲取用戶通過所述專有動作標(biāo)注界面反饋的所述專有動作信息。這樣，提供專有動作標(biāo)注界面，讓用戶標(biāo)注專有動作，使得專有動作更準(zhǔn)確。

9、在一種可選的方式中，獲取所述參考動作庫，包括：接收用戶輸入的所述參考動作庫；或者，接收用戶輸入的所述目標(biāo)場景的場景標(biāo)識，確定所述場景標(biāo)識對應(yīng)的所述參考動作庫。

10、在一種可選的方式中，在生成所述第二形象在目標(biāo)場景的基礎(chǔ)動作庫之后，所述方法還包括：獲取驅(qū)動語音和第二圖像文件，其中，所述第二圖像文件包括所述第二形象的2d真人照片或者所述第二形象的2d真人動作視頻；基于所述驅(qū)動語音和所述第二圖像文件，生成與所述驅(qū)動語音匹配的2d數(shù)字人動作視頻；獲取所述2d數(shù)字人動作視頻的待編輯動作片段；使用所述基礎(chǔ)動作庫，對所述2d數(shù)字人動作視頻中所述待編輯動作片段進(jìn)行編輯，獲得編輯后的2d數(shù)字人動作視頻。

11、本公開所示的方案中，在獲得第二形象在目標(biāo)場景的基礎(chǔ)動作庫后，還能夠自動生成第二形象在目標(biāo)場景的2d數(shù)字人動作視頻，提升2d數(shù)字人動作視頻的生成效率。

12、第二方面，本公開提供了一種2d數(shù)字人動作庫的生成裝置，該裝置包括至少一個模塊，該至少一個模塊用于實現(xiàn)上述第一方面或第一方面中任一種可選的方式所提供的2d數(shù)字人動作庫的生成方法。

13、在一些實施例中，2d數(shù)字人動作庫的生成裝置中的模塊通過軟件實現(xiàn)，2d數(shù)字人動作庫的生成裝置中的模塊是程序模塊。在另一些實施例中，2d數(shù)字人動作庫的生成裝置中的模塊通過硬件或固件實現(xiàn)。

14、第三方面，本公開提供了一種計算設(shè)備集群，該計算設(shè)備集群包括至少一個計算設(shè)備，每個計算設(shè)備包括處理器和存儲器，該至少一個計算設(shè)備的處理器用于執(zhí)行該至少一個計算設(shè)備的存儲器中存儲的指令，以使得該計算設(shè)備集群執(zhí)行上述第一方面或第一方面中任一種可選的方式所提供的2d數(shù)字人動作庫的生成方法。

15、第四方面，本公開提供了一種計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)包括計算機程序指令，當(dāng)該計算機程序指令由計算設(shè)備集群執(zhí)行時，該計算設(shè)備集群執(zhí)行上述第一方面或第一方面中任一種可選的方式所提供的2d數(shù)字人動作庫的生成方法。

16、第五方面，本公開提供了一種包含指令的計算機程序產(chǎn)品，當(dāng)該指令被計算設(shè)備集群運行時，使得所述計算設(shè)備集群執(zhí)行上述第一方面或第一方面中任一種可選的方式所提供的2d數(shù)字人動作庫的生成方法。

技術(shù)特征：

1.一種二維2d數(shù)字人動作庫的生成方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述第一圖像文件和所述參考動作庫，生成所述第二形象在所述目標(biāo)場景的基礎(chǔ)動作庫，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第一圖像文件包括所述第二形象的真人動作視頻；

4.根據(jù)權(quán)利要求1至3任一項所述的方法，其特征在于，所述第一圖像文件包括所述第二形象的2d真人動作視頻；

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述獲取所述2d真人動作視頻對應(yīng)的專有動作信息，包括：

6.根據(jù)權(quán)利要求1至5任一項所述的方法，其特征在于，獲取所述參考動作庫，包括：

7.根據(jù)權(quán)利要求1至6任一項所述的方法，其特征在于，在生成所述第二形象在目標(biāo)場景的基礎(chǔ)動作庫之后，所述方法還包括：

8.一種二維2d數(shù)字人動作庫的生成裝置，其特征在于，所述裝置包括：

9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述生成模塊，用于：

10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述第一圖像文件包括所述第二形象的真人動作視頻；

11.根據(jù)權(quán)利要求8至10任一項所述的裝置，其特征在于，所述第一圖像文件包括所述第二形象的2d真人動作視頻；

12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述獲取模塊，還用于：

13.根據(jù)權(quán)利要求8至12任一項所述的裝置，其特征在于，所述獲取模塊，用于：

14.根據(jù)權(quán)利要求8至13任一項所述的裝置，其特征在于，所述獲取模塊，還用于在生成所述第二形象在目標(biāo)場景的基礎(chǔ)動作庫之后，獲取驅(qū)動語音和第二圖像文件，其中，所述第二圖像文件包括所述第二形象的2d真人照片或者所述第二形象的2d真人動作視頻；

15.一種計算設(shè)備集群，其特征在于，包括至少一個計算設(shè)備，每個計算設(shè)備包括處理器和存儲器；

16.一種計算機可讀存儲介質(zhì)，其特征在于，包括計算機程序指令，當(dāng)所述計算機程序指令由計算設(shè)備集群執(zhí)行時，所述計算設(shè)備集群執(zhí)行如權(quán)利要求1至7任一項所述的方法。

技術(shù)總結(jié)
本公開提供了一種2d數(shù)字人動作庫的生成方法、裝置、集群和存儲介質(zhì)，屬于2d數(shù)字人技術(shù)領(lǐng)域。該方法包括：獲取第一圖像文件和第一形象在目標(biāo)場景的參考動作庫，第一圖像文件包括第二形象的2d真人照片或者第二形象的2d真人動作視頻，參考動作庫包括第一形象的多個2d數(shù)字人動作，基于第一圖像文件和參考動作庫，生成第二形象在目標(biāo)場景的基礎(chǔ)動作庫，該基礎(chǔ)動作庫包括多個2d數(shù)字人動作，基礎(chǔ)動作庫中的2d數(shù)字人動作與該參考動作庫中的2d數(shù)字人動作相同，基礎(chǔ)動作庫用于生成第二形象的2d數(shù)字人動作視頻。采用本公開的方法，獲得2d數(shù)字人動作庫時能夠自動獲得動作庫，提升2d數(shù)字人動作庫的獲得效率。

技術(shù)研發(fā)人員：陳志毅,李明磊,楊昌鵬,戴宗宏
受保護(hù)的技術(shù)使用者：華為云計算技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10