本發(fā)明涉及三維顯示，特別涉及一種虛擬視點視頻序列生成方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、目前普遍使用的視頻都是單攝像機拍攝的，立體影院所使用的雙目視頻已經(jīng)非常稀少，而裸眼三維顯示系統(tǒng)使用的多視點視頻就更加稀缺。導(dǎo)致顯示內(nèi)容匱乏的主要原因在于只有高水平的影視公司才能制作出多視點視頻，而且，與普通視頻相比，多視點視頻的拍攝成本在成倍增長，通常情況下，雙目視頻的拍攝成本是普通單目視頻的2倍，如果裸眼三維顯示系統(tǒng)使用八視點視頻，則拍攝成本會增加到普通單目視頻的8倍，目前多視點視頻動畫的制作費用約為6000元/秒，高昂的制作成本嚴重制約了三維顯示技術(shù)的推廣和普及。

2、由上可見，如何提高生成虛擬視點視頻序列的質(zhì)量，實現(xiàn)單視點視頻到多視點視頻的高效、高質(zhì)量及低成本轉(zhuǎn)換是本領(lǐng)域有待解決的問題。

技術(shù)實現(xiàn)思路

1、有鑒于此，本發(fā)明的目的在于提供一種虛擬視點視頻序列生成方法、裝置、設(shè)備及介質(zhì)，能夠提高生成虛擬視點視頻序列的質(zhì)量，實現(xiàn)單視點視頻到多視點視頻的高效、高質(zhì)量及低成本轉(zhuǎn)換。其具體方案如下：

2、第一方面，本技術(shù)公開了一種虛擬視點視頻序列生成方法，包括：

3、獲取單視點視頻序列，對所述單視點視頻序列中的相鄰幀圖像進行劃分，以得到當前關(guān)鍵幀圖像和當前關(guān)聯(lián)幀圖像；

4、從所述當前關(guān)鍵幀圖像和所述當前關(guān)聯(lián)幀圖像中分別確定當前關(guān)鍵幀深度圖和當前關(guān)聯(lián)幀深度圖，對所述當前關(guān)鍵幀深度圖和所述當前關(guān)聯(lián)幀深度圖進行優(yōu)化處理，以得到優(yōu)化后的所述當前關(guān)鍵幀深度圖和優(yōu)化后的所述當前關(guān)聯(lián)幀深度圖；

5、基于優(yōu)化后的所述當前關(guān)鍵幀深度圖和優(yōu)化后的所述當前關(guān)聯(lián)幀深度圖，對所述當前關(guān)鍵幀圖像和所述當前關(guān)聯(lián)幀圖像進行三維坐標系像素點投影以及虛擬視點投影，以得到關(guān)鍵幀虛擬視點圖像和關(guān)聯(lián)幀虛擬視點圖像；

6、基于所述關(guān)鍵幀虛擬視點圖像和所述關(guān)聯(lián)幀虛擬視點圖像生成虛擬視點視頻序列。

7、可選的，所述對所述單視點視頻序列中的相鄰幀圖像進行劃分，以得到當前關(guān)鍵幀圖像和當前關(guān)聯(lián)幀圖像，包括：

8、從所述單視點視頻序列中篩選當前幀圖像，以及與所述當前幀圖像相鄰的前一幀圖像；

9、判斷所述當前幀圖像與所述前一幀圖像之間的拍攝景深是否一致；

10、若所述當前幀圖像與所述前一幀圖像之間的拍攝景深不一致，則將所述當前幀圖像作為當前關(guān)鍵幀圖像；

11、若所述當前幀圖像與所述前一幀圖像之間的拍攝景深一致，則將所述當前幀圖像作為當前關(guān)聯(lián)幀圖像。

12、可選的，所述判斷所述當前幀圖像與所述前一幀圖像之間的拍攝景深是否一致；若所述當前幀圖像與所述前一幀圖像之間的拍攝景深不一致，則將所述當前幀圖像作為當前關(guān)鍵幀圖像；若所述當前幀圖像與所述前一幀圖像之間的拍攝景深一致，則將所述當前幀圖像作為當前關(guān)聯(lián)幀圖像，包括：

13、從所述當前幀圖像中確定第一目標近景物和第一目標遠景物，并計算所述第一目標近景物和所述第一目標遠景物在相機光軸方向上的第一距離；

14、從與所述當前幀圖像相鄰的所述前一幀圖像中確定第二目標近景物和第二目標遠景物，并計算所述第二目標近景物和所述第二目標遠景物在相機光軸方向上的第二距離；

15、判斷所述第一距離與所述第二距離是否一致，若所述第一距離與所述第二距離不一致，則將所述當前幀圖像作為當前關(guān)鍵幀圖像，若所述第一距離與所述第二距離一致，則將所述當前幀圖像作為當前關(guān)聯(lián)幀圖像。

16、可選的，對所述當前關(guān)鍵幀深度圖進行優(yōu)化處理，以得到優(yōu)化后的所述當前關(guān)鍵幀深度圖，包括：

17、對所述當前關(guān)鍵幀圖像進行邊緣檢測和連通域識別，以得到各分割區(qū)域；

18、將各所述分割區(qū)域映射至所述當前關(guān)鍵幀深度圖，并對映射后的所述當前關(guān)鍵幀深度圖中的各所述分割區(qū)域?qū)?yīng)的深度值分別進行直方圖統(tǒng)計以及低頻突變深度值修正處理，以得到處理后的所述當前關(guān)鍵幀深度圖；

19、對處理后的所述當前關(guān)鍵幀深度圖中的各所述分割區(qū)域?qū)?yīng)的深度值分別進行中值濾波，以得到優(yōu)化后的所述當前關(guān)鍵幀深度圖。

20、可選的，對所述當前關(guān)聯(lián)幀深度圖進行優(yōu)化處理，以得到優(yōu)化后的所述當前關(guān)聯(lián)幀深度圖，包括：

21、將對所述當前關(guān)聯(lián)幀圖像進行邊緣檢測和連通域識別后的各分割區(qū)域映射至所述當前關(guān)聯(lián)幀深度圖，并對映射后的所述當前關(guān)聯(lián)幀深度圖中的各所述分割區(qū)域的深度值分別進行直方圖統(tǒng)計以及低頻突變深度值修正處理、中值濾波，以得到中值濾波后的所述當前關(guān)聯(lián)幀深度圖；

22、獲取與所述當前關(guān)聯(lián)幀圖像相鄰的前一幀圖像；所述前一幀圖像包括前一幀關(guān)鍵幀圖像或前一幀關(guān)聯(lián)幀圖像；

23、從所述當前關(guān)聯(lián)幀深度圖中確定各關(guān)聯(lián)幀深度圖像區(qū)域，并從所述當前關(guān)聯(lián)幀圖像中確定與各所述關(guān)聯(lián)幀深度圖像區(qū)域?qū)?yīng)的各圖像區(qū)域，采用塊搜索方法將各所述圖像區(qū)域與所述前一幀圖像進行匹配，以得到對應(yīng)的各前一幀圖像區(qū)域；

24、根據(jù)各所述前一幀圖像區(qū)域確定所述前一幀圖像的前一幀深度圖的各前一幀深度圖像區(qū)域，基于所有的所述前一幀深度圖像區(qū)域和所有的所述關(guān)聯(lián)幀深度圖像區(qū)域確定優(yōu)化后的所述當前關(guān)聯(lián)幀深度圖。

25、可選的，所述基于所有的所述前一幀深度圖像區(qū)域和所有的所述關(guān)聯(lián)幀深度圖像區(qū)域確定優(yōu)化后的所述當前關(guān)聯(lián)幀深度圖，包括：

26、判斷所述前一幀深度圖像區(qū)域的深度值及對應(yīng)的所述關(guān)聯(lián)幀深度圖像區(qū)域的深度值是否一致；

27、若所述前一幀深度圖像區(qū)域的深度值及對應(yīng)的所述關(guān)聯(lián)幀深度圖像區(qū)域的深度值不一致，則判斷所述前一幀深度圖像區(qū)域的深度值及對應(yīng)的所述關(guān)聯(lián)幀深度圖像區(qū)域的深度值之間的變化是否符合正常變化條件；

28、若所述前一幀深度圖像區(qū)域的深度值及對應(yīng)的所述關(guān)聯(lián)幀深度圖像區(qū)域的深度值之間的變化不符合正常變化條件，則計算所述前一幀深度圖像區(qū)域的深度值中值，并將所述關(guān)聯(lián)幀深度圖像區(qū)域的所有的深度值替換為所述深度值中值；

29、繼續(xù)對其他的所述前一幀深度圖像區(qū)域及對應(yīng)的所述關(guān)聯(lián)幀深度圖像區(qū)域進行深度值判斷；

30、當所有的所述前一幀深度圖像區(qū)域和所有的所述關(guān)聯(lián)幀深度圖像區(qū)域的深度值全部判斷完成后，生成優(yōu)化后的所述當前關(guān)聯(lián)幀深度圖。

31、可選的，所述基于優(yōu)化后的所述當前關(guān)鍵幀深度圖和優(yōu)化后的所述當前關(guān)聯(lián)幀深度圖，對所述當前關(guān)鍵幀圖像和所述當前關(guān)聯(lián)幀圖像進行三維坐標系像素點投影以及虛擬視點投影，以得到關(guān)鍵幀虛擬視點圖像和關(guān)聯(lián)幀虛擬視點圖像，包括：

32、基于優(yōu)化后的當前關(guān)鍵幀深度圖和優(yōu)化后的當前關(guān)聯(lián)幀深度圖中的每個像素點的深度值以及獲取單視點視頻序列的拍攝相機的相機內(nèi)部參數(shù)，將當前關(guān)鍵幀圖像和當前關(guān)聯(lián)幀圖像中的每個像素點從二維圖像投影到三維世界坐標系中，以得到關(guān)鍵幀三維點云數(shù)據(jù)和關(guān)聯(lián)幀三維點云數(shù)據(jù)；

33、將所述關(guān)鍵幀三維點云數(shù)據(jù)和所述關(guān)聯(lián)幀三維點云數(shù)據(jù)投影至虛擬視點成像平面，并采用二維圖像插值法進行空洞填充，以得到關(guān)鍵幀虛擬視點圖像和關(guān)聯(lián)幀虛擬視點圖像。

34、第二方面，本技術(shù)公開了一種虛擬視點視頻序列生成裝置，包括：

35、圖像劃分模塊，用于獲取單視點視頻序列，對所述單視點視頻序列中的相鄰幀圖像進行劃分，以得到當前關(guān)鍵幀圖像和當前關(guān)聯(lián)幀圖像；

36、優(yōu)化處理模塊，用于從所述當前關(guān)鍵幀圖像和所述當前關(guān)聯(lián)幀圖像中分別確定當前關(guān)鍵幀深度圖和當前關(guān)聯(lián)幀深度圖，對所述當前關(guān)鍵幀深度圖和所述當前關(guān)聯(lián)幀深度圖進行優(yōu)化處理，以得到優(yōu)化后的所述當前關(guān)鍵幀深度圖和優(yōu)化后的所述當前關(guān)聯(lián)幀深度圖；

37、投影模塊，用于基于優(yōu)化后的所述當前關(guān)鍵幀深度圖和優(yōu)化后的所述當前關(guān)聯(lián)幀深度圖，對所述當前關(guān)鍵幀圖像和所述當前關(guān)聯(lián)幀圖像進行三維坐標系像素點投影以及虛擬視點投影，以得到關(guān)鍵幀虛擬視點圖像和關(guān)聯(lián)幀虛擬視點圖像；

38、虛擬視點視頻序列生成模塊，用于基于所述關(guān)鍵幀虛擬視點圖像和所述關(guān)聯(lián)幀虛擬視點圖像生成虛擬視點視頻序列。

39、第三方面，本技術(shù)公開了一種電子設(shè)備，包括：

40、存儲器，用于保存計算機程序；

41、處理器，用于執(zhí)行所述計算機程序，以實現(xiàn)前述的虛擬視點視頻序列生成方法。

42、第四方面，本技術(shù)公開了一種計算機存儲介質(zhì)，用于保存計算機程序；其中，所述計算機程序被處理器執(zhí)行時實現(xiàn)前述公開的虛擬視點視頻序列生成方法的步驟。

43、可見，本技術(shù)提供了一種虛擬視點視頻序列生成方法，包括獲取單視點視頻序列，對所述單視點視頻序列中的相鄰幀圖像進行劃分，以得到當前關(guān)鍵幀圖像和當前關(guān)聯(lián)幀圖像；從所述當前關(guān)鍵幀圖像和所述當前關(guān)聯(lián)幀圖像中分別確定當前關(guān)鍵幀深度圖和當前關(guān)聯(lián)幀深度圖，對所述當前關(guān)鍵幀深度圖和所述當前關(guān)聯(lián)幀深度圖進行優(yōu)化處理，以得到優(yōu)化后的所述當前關(guān)鍵幀深度圖和優(yōu)化后的所述當前關(guān)聯(lián)幀深度圖；基于優(yōu)化后的所述當前關(guān)鍵幀深度圖和優(yōu)化后的所述當前關(guān)聯(lián)幀深度圖，對所述當前關(guān)鍵幀圖像和所述當前關(guān)聯(lián)幀圖像進行三維坐標系像素點投影以及虛擬視點投影，以得到關(guān)鍵幀虛擬視點圖像和關(guān)聯(lián)幀虛擬視點圖像；基于所述關(guān)鍵幀虛擬視點圖像和所述關(guān)聯(lián)幀虛擬視點圖像生成虛擬視點視頻序列。本技術(shù)對單視點視頻序列中的每幀圖像進行劃分，得到當前關(guān)鍵幀圖像和當前關(guān)聯(lián)幀圖像，確定對應(yīng)的當前關(guān)鍵幀深度圖和當前關(guān)聯(lián)幀深度圖，為了保證單幀圖像中深度信息的合理性以及同一景物在相鄰幀之間深度信息的平滑過渡，對當前關(guān)鍵幀深度圖和當前關(guān)聯(lián)幀深度圖進行優(yōu)化處理，得到優(yōu)化后的當前關(guān)鍵幀深度圖和優(yōu)化后的當前關(guān)聯(lián)幀深度圖，并對當前關(guān)鍵幀圖像和當前關(guān)聯(lián)幀圖像進行三維坐標系像素點投影以及虛擬視點投影，得到關(guān)鍵幀虛擬視點圖像和關(guān)聯(lián)幀虛擬視點圖像，能夠有效提高虛擬視點圖像的生成質(zhì)量和效率，給觀眾帶來更大的視覺沖擊和感染力，最后基于關(guān)鍵幀虛擬視點圖像和關(guān)聯(lián)幀虛擬視點圖像生成虛擬視點視頻序列，實現(xiàn)單視點視頻到多視點視頻的高效、高質(zhì)量及低成本轉(zhuǎn)換。