本申請(qǐng)涉及人工智能領(lǐng)域，特別涉及一種人體骨架驅(qū)動(dòng)的視頻生成方法、系統(tǒng)、存儲(chǔ)介質(zhì)和設(shè)備。

背景技術(shù)：

1、近來(lái)，擴(kuò)散模型在圖像、視頻生成領(lǐng)域獲得了較大進(jìn)展。但目前在人體骨架驅(qū)動(dòng)視頻生成領(lǐng)域，依舊需要事先搜集了大量不同人物id的訓(xùn)練數(shù)據(jù)并進(jìn)行了精細(xì)化標(biāo)注。標(biāo)注工作包括避免多鏡頭切換或服裝、人物id切換的視頻切片，修正2d骨架圖檢測(cè)錯(cuò)誤的標(biāo)注修改，對(duì)出現(xiàn)特效的視頻刪除等。其依賴于大量的標(biāo)注工作，其風(fēng)格化效果單一，依舊保留了原有特征。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)的目的是提供一種人體骨架驅(qū)動(dòng)的視頻生成方法、系統(tǒng)、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和電子設(shè)備，能夠根據(jù)輸入的人物圖像和骨架驅(qū)動(dòng)視頻，生成具有指定風(fēng)格的人體骨骼驅(qū)動(dòng)視頻。

2、為解決上述技術(shù)問(wèn)題，本申請(qǐng)?zhí)峁┮环N人體骨架驅(qū)動(dòng)的視頻生成方法，具體技術(shù)方案如下：

3、獲取待處理圖片和骨架驅(qū)動(dòng)視頻；

4、檢測(cè)所述待處理圖片中的人體結(jié)構(gòu)，擦除所述人體結(jié)構(gòu)，得到背景圖片；

5、確定所述待處理圖片中的人物執(zhí)行所述骨架驅(qū)動(dòng)視頻對(duì)應(yīng)姿態(tài)時(shí)在所述待處理圖片中的相應(yīng)坐標(biāo)信息，得到二維姿勢(shì)序列圖；

6、基于所述背景圖片生成與所述骨架驅(qū)動(dòng)視頻幀數(shù)相同的空白視頻；

7、在所述空白視頻中基于所述二維姿勢(shì)序列圖進(jìn)行蒙版重繪，得到結(jié)果視頻。

8、可選的，所述檢測(cè)所述待處理圖片中的人體結(jié)構(gòu)，擦除所述人體結(jié)構(gòu)，得到背景圖片包括：

9、檢測(cè)所述待處理圖片中的人體結(jié)構(gòu)的位置信息，得到所述人體結(jié)構(gòu)對(duì)應(yīng)的蒙版信息；

10、根據(jù)所述蒙版信息對(duì)所述待處理圖片進(jìn)行擦除處理，得到背景圖片。

11、可選的，確定所述待處理圖片中的人物執(zhí)行所述骨架驅(qū)動(dòng)視頻對(duì)應(yīng)姿態(tài)時(shí)在所述待處理圖片中的相應(yīng)坐標(biāo)信息包括：

12、確定所述待處理圖片中的人體結(jié)構(gòu)與所述骨架驅(qū)動(dòng)視頻中的標(biāo)準(zhǔn)人體骨骼長(zhǎng)度之間的骨骼比例；

13、計(jì)算所述骨架驅(qū)動(dòng)視頻中的人體二維姿勢(shì)圖；

14、確定錨點(diǎn)，以所述錨點(diǎn)為基準(zhǔn)根據(jù)所述骨骼比例計(jì)算人體二維姿勢(shì)圖中其他關(guān)節(jié)點(diǎn)的變換后的坐標(biāo)位置。

15、可選的，所述確定所述待處理圖片中的人體結(jié)構(gòu)與所述骨架驅(qū)動(dòng)視頻中的標(biāo)準(zhǔn)人體骨骼長(zhǎng)度之間的骨骼比例包括：

16、基于三維骨架檢測(cè)所述待處理圖片中的人體結(jié)構(gòu)與所述骨架驅(qū)動(dòng)視頻中任一幀的人體信息，確定關(guān)節(jié)點(diǎn)的三維坐標(biāo)；

17、根據(jù)所述三維坐標(biāo)計(jì)算相鄰關(guān)節(jié)點(diǎn)之間的關(guān)節(jié)距離；

18、根據(jù)所述關(guān)節(jié)距離確定所述待處理圖片中的人體骨骼長(zhǎng)度與所述骨架驅(qū)動(dòng)視頻中的標(biāo)準(zhǔn)人體骨骼長(zhǎng)度之間的骨骼比例。

19、可選的，根據(jù)所述關(guān)節(jié)距離確定所述待處理圖片中的人體骨骼長(zhǎng)度與所述骨架驅(qū)動(dòng)視頻中的標(biāo)準(zhǔn)人體骨骼長(zhǎng)度之間的骨骼比例之后，還包括：

20、根據(jù)所述骨骼比例確定所述待處理圖片中所述人體結(jié)構(gòu)的被遮擋部位的關(guān)節(jié)坐標(biāo)。

21、可選的，基于所述背景圖片生成與所述骨架驅(qū)動(dòng)視頻幀數(shù)相同的空白視頻之前，還包括：

22、將所述骨架驅(qū)動(dòng)視頻按照所述待處理圖片的長(zhǎng)寬比進(jìn)行補(bǔ)邊，以確保所述骨架驅(qū)動(dòng)視頻和所述待處理圖片的長(zhǎng)寬比相同。

23、可選的，在所述空白視頻中基于所述二維姿勢(shì)序列圖進(jìn)行蒙版重繪，得到結(jié)果視頻之后，還包括：

24、對(duì)所述結(jié)果視頻進(jìn)行人臉修復(fù)、超分和換臉中的至少一項(xiàng)操作，得到結(jié)果視頻。

25、本申請(qǐng)還提供一種人體骨架驅(qū)動(dòng)的視頻生成系統(tǒng)，包括：

26、數(shù)據(jù)獲取模塊，用于獲取待處理圖片和骨架驅(qū)動(dòng)視頻；

27、前景擦除模塊，用于檢測(cè)所述待處理圖片中的人體結(jié)構(gòu)，擦除所述人體結(jié)構(gòu)，得到背景圖片；

28、動(dòng)作遷移模塊，用于確定所述待處理圖片中的人物執(zhí)行所述骨架驅(qū)動(dòng)視頻對(duì)應(yīng)姿態(tài)時(shí)在所述待處理圖片中的相應(yīng)坐標(biāo)信息，得到二維姿勢(shì)序列圖；

29、空白視頻生成模塊，用于基于所述背景圖片生成與所述骨架驅(qū)動(dòng)視頻幀數(shù)相同的空白視頻；

30、視頻蒙版重繪模塊，用于在所述空白視頻中基于所述二維姿勢(shì)序列圖進(jìn)行蒙版重繪，得到結(jié)果視頻。

31、本申請(qǐng)還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的視頻生成方法的步驟。

32、本申請(qǐng)還提供一種電子設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存有計(jì)算機(jī)程序，所述處理器調(diào)用所述存儲(chǔ)器中的計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上所述的視頻生成方法的步驟。

33、本申請(qǐng)?zhí)峁┮环N人體骨架驅(qū)動(dòng)的視頻生成方法，包括：獲取待處理圖片和骨架驅(qū)動(dòng)視頻；檢測(cè)所述待處理圖片中的人體結(jié)構(gòu)，擦除所述人體結(jié)構(gòu)，得到背景圖片；確定所述待處理圖片中的人物執(zhí)行所述骨架驅(qū)動(dòng)視頻對(duì)應(yīng)姿態(tài)時(shí)在所述待處理圖片中的相應(yīng)坐標(biāo)信息，得到二維姿勢(shì)序列圖；基于所述背景圖片生成與所述骨架驅(qū)動(dòng)視頻幀數(shù)相同的空白視頻；在所述空白視頻中基于所述二維姿勢(shì)序列圖進(jìn)行蒙版重繪，得到結(jié)果視頻。

34、本申請(qǐng)?jiān)谏扇梭w骨架驅(qū)動(dòng)視頻時(shí)，能夠根據(jù)輸入的驅(qū)動(dòng)視頻和待處理圖片，生成具有指定風(fēng)格的人體動(dòng)作視頻。本申請(qǐng)?jiān)谏扇梭w骨架驅(qū)動(dòng)視頻時(shí)，無(wú)需執(zhí)行模型微調(diào)，減少了訓(xùn)練時(shí)間并降低了對(duì)計(jì)算資源的需求，能夠快速生成人體骨架驅(qū)動(dòng)視頻。同時(shí)本申請(qǐng)具有較高的魯棒性和可擴(kuò)展性，能夠適配不同類型的待處理圖片，并進(jìn)行視覺(jué)風(fēng)格的匹配。

35、本申請(qǐng)還提供一種人體骨架驅(qū)動(dòng)的視頻生成系統(tǒng)、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和電子設(shè)備，具有上述有益效果，此處不再贅述。

技術(shù)特征：

1.一種人體骨架驅(qū)動(dòng)的視頻生成方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的視頻生成方法，其特征在于，所述檢測(cè)所述待處理圖片中的人體結(jié)構(gòu)，擦除所述人體結(jié)構(gòu)，得到背景圖片包括：

3.根據(jù)權(quán)利要求1所述的視頻生成方法，其特征在于，確定所述待處理圖片中的人物執(zhí)行所述骨架驅(qū)動(dòng)視頻對(duì)應(yīng)姿態(tài)時(shí)在所述待處理圖片中的相應(yīng)坐標(biāo)信息包括：

4.根據(jù)權(quán)利要求3所述的視頻生成方法，其特征在于，所述確定所述待處理圖片中的人體結(jié)構(gòu)與所述骨架驅(qū)動(dòng)視頻中的標(biāo)準(zhǔn)人體骨骼長(zhǎng)度之間的骨骼比例包括：

5.根據(jù)權(quán)利要求4所述的視頻生成方法，其特征在于，根據(jù)所述關(guān)節(jié)距離確定所述待處理圖片中的人體骨骼長(zhǎng)度與所述骨架驅(qū)動(dòng)視頻中的標(biāo)準(zhǔn)人體骨骼長(zhǎng)度之間的骨骼比例之后，還包括：

6.根據(jù)權(quán)利要求1所述的視頻生成方法，其特征在于，基于所述背景圖片生成與所述骨架驅(qū)動(dòng)視頻幀數(shù)相同的空白視頻之前，還包括：

7.根據(jù)權(quán)利要求1所述的視頻生成方法，其特征在于，在所述空白視頻中基于所述二維姿勢(shì)序列圖進(jìn)行蒙版重繪，得到結(jié)果視頻之后，還包括：

8.一種人體骨架驅(qū)動(dòng)的視頻生成系統(tǒng)，其特征在于，包括：

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的視頻生成方法的步驟。

10.一種電子設(shè)備，其特征在于，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存有計(jì)算機(jī)程序，所述處理器調(diào)用所述存儲(chǔ)器中的計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的視頻生成方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┮环N人體骨架驅(qū)動(dòng)的視頻生成方法，包括：獲取待處理圖片和骨架驅(qū)動(dòng)視頻；檢測(cè)所述待處理圖片中的人體結(jié)構(gòu)，擦除所述人體結(jié)構(gòu)，得到背景圖片；確定所述待處理圖片中的人物執(zhí)行所述骨架驅(qū)動(dòng)視頻對(duì)應(yīng)姿態(tài)時(shí)在所述待處理圖片中的相應(yīng)坐標(biāo)信息，得到二維姿勢(shì)序列圖；基于所述背景圖片生成與所述骨架驅(qū)動(dòng)視頻幀數(shù)相同的空白視頻；在所述空白視頻中基于所述二維姿勢(shì)序列圖進(jìn)行蒙版重繪，得到結(jié)果視頻。本申請(qǐng)能夠快速生成人體骨架驅(qū)動(dòng)視頻。同時(shí)本申請(qǐng)具有較高的魯棒性和可擴(kuò)展性，能夠適配不同類型的待處理圖片，并進(jìn)行視覺(jué)風(fēng)格的匹配。本申請(qǐng)還提供一種人體骨架驅(qū)動(dòng)的視頻生成系統(tǒng)、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和電子設(shè)備，具有上述有益效果。

技術(shù)研發(fā)人員：何奇凱
受保護(hù)的技術(shù)使用者：浙江大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/9