本公開實(shí)施例涉及計(jì)算機(jī)視覺領(lǐng)域，具體涉及視頻幀獲取方法、裝置、電子設(shè)備和存儲介質(zhì)。

背景技術(shù)：

1、目前，深度學(xué)習(xí)算法在視頻插幀和視頻預(yù)測領(lǐng)域已經(jīng)取得了豐碩的成果。特別地，基于光流的像素合成是目前視頻插幀和預(yù)測領(lǐng)域的主流算法。該算法主要分為兩步：第一步、估計(jì)輸入幀與目標(biāo)幀之間的光流；第二步、用光流來引導(dǎo)中間幀的合成。

2、視頻插幀指的是輸入連續(xù)幀，合成出連續(xù)幀之間本不存在的任意中間幀。視頻預(yù)測指的是輸入連續(xù)兩幀，預(yù)測連續(xù)兩幀前后的任意幀。

3、相關(guān)技術(shù)中，基于神經(jīng)網(wǎng)絡(luò)的視頻插幀和預(yù)測方法中通常是通過不同模型實(shí)現(xiàn)視頻插幀的獲取，以及視頻幀的預(yù)測，沒有單個(gè)模型既能支持任意時(shí)刻的視頻插幀獲取，也能支持任意時(shí)刻的視頻幀的預(yù)測，也就是說沒有一個(gè)模型能夠?qū)崿F(xiàn)任意時(shí)刻的目標(biāo)視頻幀獲取。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本申請?zhí)峁┮环N視頻幀獲取方法、裝置、電子設(shè)備和存儲介質(zhì)，能夠通過單個(gè)模型實(shí)現(xiàn)任意時(shí)刻的目標(biāo)視頻幀獲取。

2、為解決上述技術(shù)問題，本申請的技術(shù)方案是這樣實(shí)現(xiàn)的：

3、在一個(gè)實(shí)施例中，提供了一種視頻幀獲取方法，所述方法包括：

4、獲取視頻幀預(yù)測信息，其中，所述視頻幀預(yù)測信息包括：輸入視頻幀和待獲取的目標(biāo)視頻幀對應(yīng)的時(shí)間信息；

5、基于預(yù)設(shè)視頻幀獲取模型獲取所述視頻幀預(yù)測信息對應(yīng)的目標(biāo)視頻幀；

6、其中，所述預(yù)設(shè)視頻幀獲取模型在獲取所述目標(biāo)視頻幀時(shí)，疊加特征通道信息；所述特征通道信息用于表征所述目標(biāo)視頻幀與所述輸入視頻幀之間的時(shí)間關(guān)系；所述特征通道信息根據(jù)對所述輸入視頻幀設(shè)定的時(shí)間信息，以及待獲取的目標(biāo)視頻幀對應(yīng)的時(shí)間信息確定。

7、其中，所述輸入視頻幀包括：第一視頻幀和第二視頻幀；所述特征通道信息根據(jù)對所述輸入視頻幀設(shè)定的時(shí)間信息，以及待獲取的目標(biāo)視頻幀對應(yīng)的時(shí)間信息確定，包括：

8、所述特征通道信息確定為：

9、1＜t，0＜t＜1，或t＜0；

10、其中，0為對所述第一視頻幀設(shè)定的時(shí)間信息，1為對所述第二視頻幀設(shè)定的時(shí)間信息，t為待獲取的目標(biāo)視頻幀對應(yīng)的時(shí)間信息。

11、其中，所述輸入視頻幀包括：第一視頻幀和第二視頻幀；所述基于預(yù)設(shè)視頻幀獲取模型獲取所述視頻幀預(yù)測信息對應(yīng)的目標(biāo)視頻幀，包括：

12、所述預(yù)設(shè)視頻幀獲取模型基于所述第一視頻幀和所述第二視頻幀預(yù)測兩幀之間的雙向光流；

13、基于所述雙向光流采用線性加權(quán)方法獲得所述第一視頻幀到所述目標(biāo)視頻幀的第一光流，以及所述第二視頻幀到所述目標(biāo)視頻幀的第二光流；

14、基于所述第一光流、所述第二光流、所述第一視頻幀、所述第二視頻幀，以及所述第一視頻幀的cnn特征和所述第二視頻幀的cnn特征進(jìn)行前向映射獲得映射后的第一映射視頻幀和第二映射視頻幀；

15、基于所述第一映射視頻幀、所述第二映射視頻幀、所述第一映射視頻幀的cnn特征、所述第二映射視頻幀的cnn特征和所述特征通道信息進(jìn)行視頻合成，獲得所述目標(biāo)視頻幀并輸出。

16、其中，所述雙向光流包括正向光流和逆向光流；所述正向光流為所述第一視頻幀到所述第二視頻幀的光流；所述逆向光流為所述第二視頻幀到所述第一視頻幀的光流；

17、所述基于所述雙向光流采用線性加權(quán)方法獲得所述第一視頻幀到所述目標(biāo)視頻幀的第一光流，以及所述第二視頻幀到所述目標(biāo)視頻幀的第二光流，包括：

18、確定所述第一光流為所述正向光流與t的乘積；

19、確定所述第二光流為所述逆向光流與1-t的乘積。

20、其中，所述預(yù)設(shè)視頻幀獲取模型的獲取包括：

21、建立初始視頻幀獲取模型；

22、獲取訓(xùn)練樣本；所述訓(xùn)練樣本包括多組三元組，每個(gè)所述三元組為三張連續(xù)的視頻幀；其中任一幀作為目標(biāo)視頻幀，另外兩幀作為輸入的視頻幀；

23、使用所述訓(xùn)練樣本訓(xùn)練所述初始視頻幀獲取模型獲取預(yù)設(shè)視頻幀獲取模型。

24、其中，所述獲取視頻幀預(yù)測信息之后，所述基于預(yù)設(shè)視頻幀獲取模型獲取所述視頻幀預(yù)測信息對應(yīng)的目標(biāo)視頻幀之前，所述方法進(jìn)一步包括：

25、確定t是否小于-1，或大于2，如果是，使用迭代法確定目標(biāo)視頻幀；否則，執(zhí)行所述基于預(yù)設(shè)視頻幀獲取模型獲取所述視頻幀預(yù)測信息對應(yīng)的目標(biāo)視頻幀。

26、在另一個(gè)實(shí)施例中，提供了一種視頻幀獲取裝置，所述裝置包括：

27、存儲單元，用于存儲預(yù)設(shè)視頻幀獲取模型；

28、第一獲取單元，用于獲取視頻幀預(yù)測信息，其中，所述視頻幀預(yù)測信息包括：輸入視頻幀和待獲取的目標(biāo)視頻幀對應(yīng)的時(shí)間信息；

29、第二獲取單元，用于基于預(yù)設(shè)視頻幀獲取模型獲取所述視頻幀預(yù)測信息對應(yīng)的目標(biāo)視頻幀；其中，所述預(yù)設(shè)視頻幀獲取模型在獲取所述目標(biāo)視頻幀時(shí)，疊加特征通道信息；所述特征通道信息用于表征所述目標(biāo)視頻幀與所述輸入視頻幀之間的時(shí)間關(guān)系；所述特征通道信息根據(jù)對所述輸入視頻幀設(shè)定的時(shí)間信息，以及待獲取的目標(biāo)視頻幀對應(yīng)的時(shí)間信息確定。

30、其中，

31、所述輸入視頻幀包括：第一視頻幀和第二視頻幀；特征通道信息為：

32、1＜t，0＜t＜1，或t＜0；

33、其中，0為對所述第一視頻幀設(shè)定的時(shí)間信息，1為對所述第二視頻幀設(shè)定的時(shí)間信息，t為待獲取的目標(biāo)視頻幀對應(yīng)的時(shí)間信息。

34、在另一個(gè)實(shí)施例中，提供了一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)視頻幀獲取方法。

35、在另一個(gè)實(shí)施例中，提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)視頻幀獲取方法。

36、由上面的技術(shù)方案可見，上述實(shí)施例中通過在建立的預(yù)設(shè)視頻幀獲取模型中疊加特征通道信息，其中的特征通道信息用于表征目標(biāo)視頻幀與輸入視頻幀之間的時(shí)間關(guān)系，來獲取輸入視頻幀對應(yīng)的任意時(shí)刻的視頻插幀或預(yù)測幀。該方案能夠通過單個(gè)模型實(shí)現(xiàn)任意時(shí)刻的目標(biāo)視頻幀獲取。

技術(shù)特征：

1.一種視頻幀獲取方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述輸入視頻幀包括：第一視頻幀和第二視頻幀；所述特征通道信息根據(jù)對所述輸入視頻幀設(shè)定的時(shí)間信息，以及待獲取的目標(biāo)視頻幀對應(yīng)的時(shí)間信息確定，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述輸入視頻幀包括：第一視頻幀和第二視頻幀；所述基于預(yù)設(shè)視頻幀獲取模型獲取所述視頻幀預(yù)測信息對應(yīng)的目標(biāo)視頻幀，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述雙向光流包括正向光流和逆向光流；所述正向光流為所述第一視頻幀到所述第二視頻幀的光流；所述逆向光流為所述第二視頻幀到所述第一視頻幀的光流；

5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的方法，其特征在于，所述預(yù)設(shè)視頻幀獲取模型的獲取包括：

6.根據(jù)權(quán)利要求2-4任一項(xiàng)所述的方法，其特征在于，所述獲取視頻幀預(yù)測信息之后，所述基于預(yù)設(shè)視頻幀獲取模型獲取所述視頻幀預(yù)測信息對應(yīng)的目標(biāo)視頻幀之前，所述方法進(jìn)一步包括：

7.一種視頻幀獲取裝置，其特征在于，所述裝置包括：

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，

9.一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-6任一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-6任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請?zhí)峁┝艘环N視頻幀獲取方法，該方法包括：獲取視頻幀預(yù)測信息，其中，視頻幀預(yù)測信息包括：輸入視頻幀和待獲取的目標(biāo)視頻幀對應(yīng)的時(shí)間信息；基于預(yù)設(shè)視頻幀獲取模型獲取視頻幀預(yù)測信息對應(yīng)的目標(biāo)視頻幀；其中，預(yù)設(shè)視頻幀獲取模型在獲取目標(biāo)視頻幀時(shí)，疊加特征通道信息；特征通道信息用于表征目標(biāo)視頻幀與輸入視頻幀之間的時(shí)間關(guān)系；特征通道信息根據(jù)對輸入視頻幀設(shè)定的時(shí)間信息，以及待獲取的目標(biāo)視頻幀對應(yīng)的時(shí)間信息確定。該方法能夠通過單個(gè)模型實(shí)現(xiàn)任意時(shí)刻的目標(biāo)視頻幀獲取。

技術(shù)研發(fā)人員：金鑫,吳龍海,陳潔,趙一賢,咸哲熙
受保護(hù)的技術(shù)使用者：三星電子（中國）研發(fā)中心
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19