本發(fā)明屬于計(jì)算機(jī)視覺(jué)領(lǐng)域、深度學(xué)習(xí)領(lǐng)域和計(jì)算機(jī)圖形學(xué)領(lǐng)域，具體涉及一種物理與數(shù)據(jù)驅(qū)動(dòng)結(jié)合的流體動(dòng)畫(huà)生成方法及裝置。

背景技術(shù)：

1、將靜態(tài)圖像轉(zhuǎn)化為動(dòng)畫(huà)代表了一個(gè)引人注目且快速發(fā)展的領(lǐng)域，對(duì)于多媒體編輯的進(jìn)步至關(guān)重要。這個(gè)過(guò)程旨在增強(qiáng)視覺(jué)想象力，超越單一圖像展現(xiàn)的紋理效果。擴(kuò)散模型和先進(jìn)的生成模型例如open?ai的sora、runway的gen-2模型等，通過(guò)綜合的端到端學(xué)習(xí)過(guò)程，在實(shí)現(xiàn)逼真且高清的動(dòng)畫(huà)方面發(fā)揮了重要作用。然而，在沒(méi)有直接應(yīng)用物理定律的情況下，準(zhǔn)確模擬自然現(xiàn)象的復(fù)雜性，尤其是現(xiàn)實(shí)世界中的流體動(dòng)力學(xué)，依然是一個(gè)巨大的挑戰(zhàn)。

2、為了生成自然流體動(dòng)畫(huà)，應(yīng)對(duì)這些挑戰(zhàn)的有效策略包括從靜態(tài)圖像中提取和估計(jì)運(yùn)動(dòng)場(chǎng)。先前的相關(guān)研究中提到，通過(guò)引入一個(gè)專(zhuān)門(mén)用于運(yùn)動(dòng)場(chǎng)估計(jì)的階段，提取深度特征，將動(dòng)態(tài)特性引入靜態(tài)圖像。這些方法使得靜態(tài)圖像可以呈現(xiàn)出栩栩如生的運(yùn)動(dòng)效果，增加了圖像的真實(shí)感和觀賞性。

3、在動(dòng)畫(huà)生成網(wǎng)絡(luò)中，一種創(chuàng)新的方法是引入物理求解器，通過(guò)模擬運(yùn)動(dòng)場(chǎng)來(lái)增強(qiáng)動(dòng)畫(huà)的真實(shí)性。這種方法通過(guò)對(duì)圖像中的場(chǎng)景進(jìn)行建模，可以更準(zhǔn)確地再現(xiàn)自然界中的物理現(xiàn)象。然而，這些方法通常在各種場(chǎng)景中采用統(tǒng)一的物理求解器，而沒(méi)有充分考慮求解器適用條件的具體性。這一疏忽可能導(dǎo)致對(duì)不同場(chǎng)景中的流體特性的感知不足，從而影響解決方案的準(zhǔn)確性。例如，在模擬河流和瀑布時(shí)，統(tǒng)一的物理求解器可能無(wú)法精確捕捉這兩種場(chǎng)景流體的不同特性，導(dǎo)致動(dòng)畫(huà)效果欠佳。

4、同時(shí)，在紋理特征獲取方面，這些方法通過(guò)擴(kuò)展神經(jīng)網(wǎng)絡(luò)的參數(shù)來(lái)增強(qiáng)動(dòng)畫(huà)效果，但這伴隨著訓(xùn)練成本的大幅增加。擴(kuò)展參數(shù)化意味著需要更多的數(shù)據(jù)和計(jì)算資源，這對(duì)實(shí)際應(yīng)用中的硬件要求較高，增加了實(shí)現(xiàn)難度。此外，由于固有的設(shè)計(jì)限制，它們未能充分解決精細(xì)特征提取和有效的紋理映射問(wèn)題，導(dǎo)致一致性缺陷，如紋理空洞和清晰度不足。這些缺陷在高分辨率動(dòng)畫(huà)中尤為明顯，直接影響到觀眾的視覺(jué)體驗(yàn)。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問(wèn)題，本發(fā)明提供一種物理與數(shù)據(jù)驅(qū)動(dòng)結(jié)合的流體動(dòng)畫(huà)生成方法及裝置，有效緩解了模糊、空洞等問(wèn)題，在復(fù)雜水流場(chǎng)景方面表現(xiàn)出色。

2、為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案為：

3、一種物理與數(shù)據(jù)驅(qū)動(dòng)結(jié)合的流體動(dòng)畫(huà)生成方法，包括：

4、步驟s1：構(gòu)建透明流體運(yùn)動(dòng)場(chǎng)階段，基于雙向序列的自監(jiān)督運(yùn)動(dòng)光流捕捉網(wǎng)絡(luò)，對(duì)雙向視頻序列的光流施加一致性約束，利用原始視頻數(shù)據(jù)集s中的真實(shí)流體視頻數(shù)據(jù)進(jìn)行自監(jiān)督訓(xùn)練，使用訓(xùn)練好的運(yùn)動(dòng)光流捕捉網(wǎng)絡(luò)生成平均光流數(shù)據(jù)f并構(gòu)建訓(xùn)練數(shù)據(jù)；

5、步驟s2：動(dòng)畫(huà)生成模型訓(xùn)練階段，將所述訓(xùn)練數(shù)據(jù)輸入基于自注意力驅(qū)動(dòng)的多尺度雙流紋理特征學(xué)習(xí)網(wǎng)絡(luò)，通過(guò)多尺度變形結(jié)構(gòu)增強(qiáng)紋理特征的關(guān)聯(lián)性，結(jié)合原始視頻數(shù)據(jù)集s與平均光流數(shù)據(jù)f進(jìn)行訓(xùn)練；

6、步驟s3：流體動(dòng)畫(huà)生成階段，基于流體場(chǎng)景感知驅(qū)動(dòng)的智能物理模型選擇與運(yùn)動(dòng)場(chǎng)模擬模塊，對(duì)輸入圖像進(jìn)行流體場(chǎng)景感知并智能選擇合適的物理模型進(jìn)行運(yùn)動(dòng)場(chǎng)模擬，使用物理模型模擬得到的運(yùn)動(dòng)m，指導(dǎo)訓(xùn)練完成的雙流紋理特征學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行實(shí)際的自然流體動(dòng)畫(huà)生成。

7、另一方面，本發(fā)明還提供了一種物理與數(shù)據(jù)驅(qū)動(dòng)結(jié)合的流體動(dòng)畫(huà)生成裝置，包括：

8、基于雙向序列的一致性約束自監(jiān)督光流捕捉與生成模塊，所述模塊采用雙向視頻序列的輸入，并針對(duì)雙向的光流輸出進(jìn)行一致性約束，利用原始視頻數(shù)據(jù)集s中的真實(shí)流體視頻數(shù)據(jù)進(jìn)行自監(jiān)督訓(xùn)練，使用訓(xùn)練好的運(yùn)動(dòng)光流捕捉網(wǎng)絡(luò)生成平均光流數(shù)據(jù)f并構(gòu)建訓(xùn)練數(shù)據(jù)；

9、自注意力驅(qū)動(dòng)的多尺度雙流紋理學(xué)習(xí)與生成模塊，將所述訓(xùn)練數(shù)據(jù)輸入基于自注意力驅(qū)動(dòng)的多尺度雙流紋理特征學(xué)習(xí)網(wǎng)絡(luò)，通過(guò)多尺度變形結(jié)構(gòu)增強(qiáng)紋理特征的關(guān)聯(lián)性，結(jié)合原始視頻數(shù)據(jù)集s與平均光流數(shù)據(jù)f進(jìn)行訓(xùn)練；

10、流體場(chǎng)景感知驅(qū)動(dòng)的智能物理模型選擇與運(yùn)動(dòng)場(chǎng)模擬模塊，用于對(duì)輸入圖像進(jìn)行流體場(chǎng)景感知并智能選擇合適的物理模型進(jìn)行運(yùn)動(dòng)場(chǎng)模擬，使用物理模型模擬得到的運(yùn)動(dòng)場(chǎng)m，指導(dǎo)訓(xùn)練完成的雙流紋理特征學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行實(shí)際的自然流體動(dòng)畫(huà)生成。

11、本發(fā)明的有益效果在于：

12、本發(fā)明設(shè)計(jì)的一個(gè)利用雙向序列的自監(jiān)督運(yùn)動(dòng)光流捕捉網(wǎng)絡(luò)，為動(dòng)畫(huà)生成模型的訓(xùn)練提供光流數(shù)據(jù)，能夠更精確地估計(jì)流體的光流，尤其在復(fù)雜水流場(chǎng)景方面表現(xiàn)出色；

13、設(shè)計(jì)的一個(gè)自注意力驅(qū)動(dòng)的多尺度雙流紋理特征學(xué)習(xí)網(wǎng)絡(luò)，能夠更好地捕捉長(zhǎng)距離依賴(lài)關(guān)系，提升了對(duì)復(fù)雜紋理特征的理解和處理能力，該網(wǎng)絡(luò)在訓(xùn)練過(guò)程中利用雙向序列的自監(jiān)督運(yùn)動(dòng)光流捕捉模型生成的雙向光流數(shù)據(jù)進(jìn)行訓(xùn)練，在訓(xùn)練時(shí)能夠獲得更加豐富和全面的運(yùn)動(dòng)信息，提高了對(duì)紋理細(xì)節(jié)的捕捉能力，從而增強(qiáng)其對(duì)圖像紋理細(xì)節(jié)的學(xué)習(xí)和紋理聯(lián)想能力。這種方法有效地減少了生成流體動(dòng)畫(huà)中的空洞和模糊問(wèn)題，使得生成的動(dòng)畫(huà)更加細(xì)膩、逼真，大幅提升了動(dòng)畫(huà)的生成質(zhì)量；

14、設(shè)計(jì)的流體場(chǎng)景感知驅(qū)動(dòng)的智能物理模型選擇與運(yùn)動(dòng)場(chǎng)模擬模塊，對(duì)于復(fù)雜流體場(chǎng)景，通過(guò)引入流體場(chǎng)景感知進(jìn)行智能選擇的物理模擬。這種方法使得動(dòng)畫(huà)生成模型能夠適用于多樣的場(chǎng)景，如河流、瀑布、山泉等，并且更加符合實(shí)際場(chǎng)景的物理特性。為生成模型提供了真實(shí)的物理指導(dǎo)，有效緩解了生成模型因缺少物理指導(dǎo)而產(chǎn)生的不符合物理規(guī)律的問(wèn)題。

技術(shù)特征：

1.一種物理與數(shù)據(jù)驅(qū)動(dòng)結(jié)合的流體動(dòng)畫(huà)生成方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種物理與數(shù)據(jù)驅(qū)動(dòng)結(jié)合的流體動(dòng)畫(huà)生成方法，其特征在于，所述步驟s1包括：

3.根據(jù)權(quán)利要求1所述的一種物理與數(shù)據(jù)驅(qū)動(dòng)結(jié)合的流體動(dòng)畫(huà)生成方法，其特征在于，所述步驟s2包括：

4.根據(jù)權(quán)利要求1所述的一種物理與數(shù)據(jù)驅(qū)動(dòng)結(jié)合的流體動(dòng)畫(huà)生成方法，其特征在于，所述步驟s3包括：

5.一種物理與數(shù)據(jù)驅(qū)動(dòng)結(jié)合的流體動(dòng)畫(huà)生成裝置，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明涉及一種物理與數(shù)據(jù)驅(qū)動(dòng)結(jié)合的流體動(dòng)畫(huà)生成方法及裝置，其方法包括：步驟S1：構(gòu)建透明流體運(yùn)動(dòng)場(chǎng)階段，對(duì)雙向視頻序列的光流施加一致性約束，利用原始視頻數(shù)據(jù)集S中的真實(shí)流體視頻數(shù)據(jù)進(jìn)行自監(jiān)督訓(xùn)練，生成平均光流數(shù)據(jù)F并構(gòu)建訓(xùn)練數(shù)據(jù)；步驟S2：動(dòng)畫(huà)生成模型訓(xùn)練階段，將所述訓(xùn)練數(shù)據(jù)輸入基于自注意力驅(qū)動(dòng)的多尺度雙流紋理特征學(xué)習(xí)網(wǎng)絡(luò)，結(jié)合原始視頻數(shù)據(jù)集S與平均光流數(shù)據(jù)F進(jìn)行訓(xùn)練；步驟S3：流體動(dòng)畫(huà)生成階段，對(duì)輸入圖像使用物理模型模擬得到的運(yùn)動(dòng)場(chǎng)M，指導(dǎo)實(shí)際的自然流體動(dòng)畫(huà)生成。本發(fā)明提供的方法提高了流體動(dòng)畫(huà)生成的物理真實(shí)性，為復(fù)雜流體現(xiàn)象的模擬和可視化提供了新的解決方案。

技術(shù)研發(fā)人員：姜那,翟相程,邱宇軒,李科駿,施智平
受保護(hù)的技術(shù)使用者：首都師范大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19