技術(shù)特征：

1.一種基于增強(qiáng)視頻擴(kuò)散模型的動(dòng)作視頻生成方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的動(dòng)作視頻生成方法，其特征在于，所述步驟s3中特征融合層中特征融合的計(jì)算公式為：

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于增強(qiáng)視頻擴(kuò)散模型的動(dòng)作視頻生成方法，根據(jù)實(shí)際情況設(shè)置動(dòng)作的參考視頻集合，根據(jù)實(shí)際需要構(gòu)建文本編碼器，變分自編碼器和擴(kuò)散U?Net模型并分別采用相應(yīng)的訓(xùn)練樣本集進(jìn)行預(yù)訓(xùn)練，基于以上子模型構(gòu)建增強(qiáng)視頻擴(kuò)散模型并采用若干源視頻對(duì)增強(qiáng)視頻擴(kuò)散模型進(jìn)行訓(xùn)練，在訓(xùn)練過(guò)程中通過(guò)添加噪聲將源視頻特征轉(zhuǎn)換為噪聲，然后利用增強(qiáng)視頻擴(kuò)散模根據(jù)參考視頻的視覺(jué)信息以及文本描述預(yù)測(cè)噪聲，利用噪聲的差距計(jì)算損失函數(shù)更新模型參數(shù)；將字幕文本和噪聲輸入訓(xùn)練好的增強(qiáng)視頻擴(kuò)散模型，即可生成對(duì)應(yīng)的動(dòng)作視頻。本發(fā)明可以無(wú)需對(duì)未經(jīng)訓(xùn)練的動(dòng)作進(jìn)行任何進(jìn)一步的微調(diào)即可根據(jù)字幕文本準(zhǔn)確生成動(dòng)作視頻。

技術(shù)研發(fā)人員：高聯(lián)麗,劉健知,郭嘉琪,羅葉雨,曾鵬鵬,宋井寬
受保護(hù)的技術(shù)使用者：電子科技大學(xué)（深圳）高等研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10