本技術(shù)涉及視頻處理，特別是涉及一種億級(jí)像素融合視頻的回看方法、裝置、億級(jí)像素計(jì)算成像系統(tǒng)、計(jì)算機(jī)設(shè)備、存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、視頻監(jiān)控因具有可靠性高、及時(shí)性強(qiáng)、便于查看等優(yōu)點(diǎn)，已廣泛應(yīng)用于安防領(lǐng)域。當(dāng)監(jiān)控范圍較大時(shí)，為實(shí)現(xiàn)大場(chǎng)景的超高清視頻監(jiān)控，出現(xiàn)了基于陣列攝像機(jī)的億級(jí)像素計(jì)算成像系統(tǒng)，通過陣列攝像機(jī)包含的多個(gè)長(zhǎng)焦窄視野的局部相機(jī)對(duì)監(jiān)控場(chǎng)景拍攝多路局部高清視頻，進(jìn)而將各局部視頻拼接融合，得到大視野或?qū)捯曇暗目蛇_(dá)億像素級(jí)別的超高清融合視頻，適用于對(duì)機(jī)場(chǎng)、公路、園區(qū)、運(yùn)動(dòng)賽場(chǎng)、邊關(guān)、海面等較大場(chǎng)景進(jìn)行視頻拍攝和安全監(jiān)控。

2、相關(guān)技術(shù)中，億級(jí)像素計(jì)算成像系統(tǒng)還可以提供融合視頻回看功能。為了實(shí)現(xiàn)融合視頻回看，通常是將各局部視頻進(jìn)行分段錄制，得到多組錄像文件，需回看融合視頻時(shí)，將每組錄像文件中的對(duì)應(yīng)幀進(jìn)行拼接融合即可。

3、然而，由于各局部相機(jī)獨(dú)立進(jìn)行曝光、編碼等，各局部視頻的拍攝時(shí)間難以絕對(duì)同步，在同一時(shí)段錄制的各局部相機(jī)的錄像文件中(一組錄像文件中)，幀序號(hào)相同(如第一幀、第二幀等)的視頻幀并非同步拍攝，因而一組錄像文件中各局部視頻的開始時(shí)間和結(jié)束時(shí)間不一致，存在一定時(shí)間差，該時(shí)間差將導(dǎo)致每組錄像文件中存在無法用于同步拼接(拼接同步拍攝的視頻)的部分視頻幀，進(jìn)而導(dǎo)致融合視頻存在丟幀的問題，視頻回看連續(xù)性較差。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對(duì)上述技術(shù)問題，提供一種能夠提高融合視頻回看連續(xù)性的億級(jí)像素融合視頻的回看方法、裝置、億級(jí)像素計(jì)算成像系統(tǒng)、計(jì)算機(jī)設(shè)備、存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

2、第一方面，本技術(shù)提供了一種億級(jí)像素融合視頻的回看方法。所述方法包括：

3、響應(yīng)于針對(duì)融合視頻的回看指令，確定視頻回看時(shí)間，在存儲(chǔ)的各單位錄制時(shí)段對(duì)應(yīng)的各組錄像文件中，獲取所述視頻回看時(shí)間對(duì)應(yīng)的若干組目標(biāo)錄像文件；

4、其中，一個(gè)單位錄制時(shí)段對(duì)應(yīng)的一組錄像文件，是針對(duì)所述融合視頻對(duì)應(yīng)的每路局部視頻流，將所述單位錄制時(shí)段的開始時(shí)間之后的第一個(gè)關(guān)鍵幀以后、以及所述單位錄制時(shí)段的結(jié)束時(shí)間對(duì)應(yīng)的視頻幀組的最后一個(gè)參考幀以前的各視頻幀錄制得到；相鄰的兩個(gè)所述單位錄制時(shí)段中，下一單位錄制時(shí)段的開始時(shí)間早于上一單位錄制時(shí)段的結(jié)束時(shí)間，且所述下一單位錄制時(shí)段的開始時(shí)間和所述上一單位錄制時(shí)段的結(jié)束時(shí)間的時(shí)間差不小于所述局部視頻流的幀組時(shí)長(zhǎng)；

5、基于每組所述目標(biāo)錄像文件進(jìn)行拼接融合，得到用于回看的所述融合視頻。

6、在其中一個(gè)實(shí)施例中，所述時(shí)間差為所述局部視頻流的幀組時(shí)長(zhǎng)的n倍，n為不小于1的正整數(shù)；所述基于每組所述目標(biāo)錄像文件進(jìn)行拼接融合，得到用于回看的所述融合視頻，包括：

7、針對(duì)各組所述目標(biāo)錄像文件中的第一組目標(biāo)錄像文件，確定該組中每個(gè)所述目標(biāo)錄像文件的第一個(gè)視頻幀的第一時(shí)間戳和最后一個(gè)視頻幀的第二時(shí)間戳，將各所述第一時(shí)間戳中最大的第一時(shí)間戳作為該組目標(biāo)錄像文件的拼接起始時(shí)間基準(zhǔn)，將各所述第二時(shí)間戳中最小的第二時(shí)間戳作為該組目標(biāo)錄像文件的拼接結(jié)束時(shí)間基準(zhǔn)；

8、針對(duì)除所述第一組目標(biāo)錄像文件之外的其它組所述目標(biāo)錄像文件，確定每個(gè)所述目標(biāo)錄像文件的第一個(gè)視頻幀的第三時(shí)間戳和最后一個(gè)視頻幀的第四時(shí)間戳，將該組中所述第三時(shí)間戳最大的所述目標(biāo)錄像文件中、第n+1個(gè)關(guān)鍵幀的時(shí)間戳，作為該組目標(biāo)錄像文件的拼接起始時(shí)間基準(zhǔn)，將各所述第四時(shí)間戳中最小的第四時(shí)間戳作為該組目標(biāo)錄像文件的拼接結(jié)束時(shí)間基準(zhǔn)；

9、基于各組所述目標(biāo)錄像文件的所述拼接起始時(shí)間基準(zhǔn)和所述拼接結(jié)束時(shí)間基準(zhǔn)，對(duì)各組所述目標(biāo)錄像文件進(jìn)行拼接融合，得到用于回看的所述融合視頻。

10、在其中一個(gè)實(shí)施例中，所述時(shí)間差為所述局部視頻流的幀組時(shí)長(zhǎng)；所述響應(yīng)于針對(duì)融合視頻的回看指令之前，所述方法還包括：

11、響應(yīng)于融合視頻的錄像指令，根據(jù)錄像開始時(shí)間、單位錄制時(shí)長(zhǎng)和所述局部視頻流的幀組時(shí)長(zhǎng)，確定各單位錄制時(shí)段的開始時(shí)間和結(jié)束時(shí)間，其中，相鄰的兩個(gè)單位錄制時(shí)段中，下一單位錄制時(shí)段的開始時(shí)間早于上一單位錄制時(shí)段的結(jié)束時(shí)間，且所述下一單位錄制時(shí)段的開始時(shí)間和所述上一單位錄制時(shí)段的結(jié)束時(shí)間的時(shí)間差為所述幀組時(shí)長(zhǎng)；

12、在當(dāng)前時(shí)間達(dá)到當(dāng)前單位錄制時(shí)段的開始時(shí)間時(shí)，針對(duì)每路所述局部視頻流，將所述局部視頻流中所述當(dāng)前單位錄制時(shí)段的開始時(shí)間之后的第一個(gè)關(guān)鍵幀以后、以及所述當(dāng)前單位錄制時(shí)段的結(jié)束時(shí)間對(duì)應(yīng)的視頻幀組的最后一個(gè)參考幀以前的各視頻幀，錄制為所述當(dāng)前單位錄制時(shí)段對(duì)應(yīng)的錄像文件，將各所述局部視頻流在同一所述單位錄制時(shí)段內(nèi)的所述錄像文件存儲(chǔ)為一組錄像文件。

13、在其中一個(gè)實(shí)施例中，所述方法還包括：

14、將在所述錄像開始時(shí)間之后獲取到的第一個(gè)關(guān)鍵幀的相機(jī)時(shí)間戳，作為基準(zhǔn)時(shí)間戳；

15、將各所述錄像文件中各視頻幀的相機(jī)時(shí)間戳與所述基準(zhǔn)時(shí)間戳的差值，作為各所述視頻幀的視頻時(shí)間戳，并將所述視頻時(shí)間戳寫入所述錄像文件中。

16、在其中一個(gè)實(shí)施例中，所述方法應(yīng)用于服務(wù)器，所述服務(wù)器包括協(xié)同模塊和兩個(gè)錄像模塊，所述時(shí)間差為所述局部視頻流的幀組時(shí)長(zhǎng)；所述響應(yīng)于針對(duì)融合視頻的回看指令之前，所述方法還包括：

17、所述協(xié)同模塊響應(yīng)于融合視頻的錄像指令，向第一錄像模塊發(fā)送第一開始錄像指令，所述第一錄像模塊響應(yīng)于所述第一開始錄像指令，獲取所述融合視頻對(duì)應(yīng)的各路局部視頻流，針對(duì)每路所述局部視頻流，從當(dāng)前時(shí)刻之后獲取到的所述局部視頻流的第一個(gè)關(guān)鍵幀開始，將所述第一個(gè)關(guān)鍵幀及之后的各視頻幀錄制為所述當(dāng)前單位錄制時(shí)段的錄像文件；

18、在當(dāng)前時(shí)間達(dá)到下一單位錄制時(shí)段的開始時(shí)間時(shí)，所述協(xié)同模塊向第二錄像模塊發(fā)送第二開始錄像指令，所述第二錄像模塊響應(yīng)于所述第二開始錄像指令，獲取所述融合視頻對(duì)應(yīng)的各路局部視頻流，針對(duì)每路所述局部視頻流，從當(dāng)前時(shí)刻之后獲取到的所述局部視頻流的第一個(gè)關(guān)鍵幀開始，將所述第一個(gè)關(guān)鍵幀及之后的各視頻幀錄制為所述下一單位錄制時(shí)段的錄像文件；

19、在當(dāng)前時(shí)間達(dá)到所述當(dāng)前單位錄制時(shí)段的結(jié)束時(shí)間時(shí)，所述協(xié)同模塊向所述第一錄像模塊發(fā)送第一停止錄像指令，所述第一錄像模塊響應(yīng)于所述第一停止錄像指令，將當(dāng)前時(shí)刻獲取的視頻幀所在的視頻幀組的全部視頻幀寫入所述當(dāng)前單位錄制時(shí)段的錄像文件后，停止錄像；

20、在當(dāng)前時(shí)間達(dá)到所述下一單位錄制時(shí)段的結(jié)束時(shí)間時(shí)，所述協(xié)同模塊向所述第二錄像模塊發(fā)送第二停止錄像指令，所述第二錄像模塊響應(yīng)于所述第二停止錄像指令，將當(dāng)前時(shí)刻獲取的視頻幀所在的視頻幀組的全部視頻幀寫入所述下一單位錄制時(shí)段的錄像文件后，停止錄像；

21、其中，所述下一單位錄制時(shí)段的開始時(shí)間早于所述當(dāng)前單位錄制時(shí)段的結(jié)束時(shí)間，且所述下一單位錄制時(shí)段的開始時(shí)間和所述當(dāng)前單位錄制時(shí)段的結(jié)束時(shí)間的時(shí)間差為所述局部視頻流的幀組時(shí)長(zhǎng)。

22、第二方面，本技術(shù)還提供了一種億級(jí)像素融合視頻的回看裝置。所述裝置包括：

23、獲取模塊，用于響應(yīng)于針對(duì)融合視頻的回看指令，確定視頻回看時(shí)間，在存儲(chǔ)的各單位錄制時(shí)段對(duì)應(yīng)的各組錄像文件中，獲取所述視頻回看時(shí)間對(duì)應(yīng)的若干組目標(biāo)錄像文件；其中，一個(gè)單位錄制時(shí)段對(duì)應(yīng)的一組錄像文件，是針對(duì)所述融合視頻對(duì)應(yīng)的每路局部視頻流，將所述單位錄制時(shí)段的開始時(shí)間之后的第一個(gè)關(guān)鍵幀以后、以及所述單位錄制時(shí)段的結(jié)束時(shí)間對(duì)應(yīng)的視頻幀組的最后一個(gè)參考幀以前的各視頻幀錄制得到；相鄰的兩個(gè)所述單位錄制時(shí)段中，下一單位錄制時(shí)段的開始時(shí)間早于上一單位錄制時(shí)段的結(jié)束時(shí)間，且所述下一單位錄制時(shí)段的開始時(shí)間和所述上一單位錄制時(shí)段的結(jié)束時(shí)間的時(shí)間差不小于所述局部視頻流的幀組時(shí)長(zhǎng)；

24、融合模塊，用于基于每組所述目標(biāo)錄像文件進(jìn)行拼接融合，得到用于回看的所述融合視頻。

25、第三方面，本技術(shù)還提供了一種億級(jí)像素計(jì)算成像系統(tǒng)。所述億級(jí)像素計(jì)算成像系統(tǒng)包括陣列攝像機(jī)和服務(wù)器，所述陣列攝像機(jī)包含多個(gè)局部相機(jī)，其中：

26、所述陣列攝像機(jī)用于通過各所述局部相機(jī)拍攝局部視頻，并將各路局部視頻流發(fā)送給所述服務(wù)器；

27、所述服務(wù)器用于響應(yīng)于融合視頻的錄像指令，將獲取的各所述局部視頻流存儲(chǔ)為多個(gè)單位錄制時(shí)段的多組錄像文件；其中，一個(gè)單位錄制時(shí)段對(duì)應(yīng)的一組錄像文件，是針對(duì)所述融合視頻對(duì)應(yīng)的每路局部視頻流，將所述單位錄制時(shí)段的開始時(shí)間之后的第一個(gè)關(guān)鍵幀以后、以及所述單位錄制時(shí)段的結(jié)束時(shí)間對(duì)應(yīng)的視頻幀組的最后一個(gè)參考幀以前的各視頻幀錄制得到；相鄰的兩個(gè)所述單位錄制時(shí)段中，下一單位錄制時(shí)段的開始時(shí)間早于上一單位錄制時(shí)段的結(jié)束時(shí)間，且所述下一單位錄制時(shí)段的開始時(shí)間和所述上一單位錄制時(shí)段的結(jié)束時(shí)間的時(shí)間差不小于所述局部視頻流的幀組時(shí)長(zhǎng)；

28、所述服務(wù)器還用于響應(yīng)于針對(duì)所述融合視頻的回看指令，確定視頻回看時(shí)間，在存儲(chǔ)的各單位錄制時(shí)段對(duì)應(yīng)的各組錄像文件中，獲取所述視頻回看時(shí)間對(duì)應(yīng)的若干組目標(biāo)錄像文件；基于每組所述目標(biāo)錄像文件進(jìn)行拼接融合，得到用于回看的所述融合視頻。

29、第四方面，本技術(shù)還提供了一種計(jì)算機(jī)設(shè)備。所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)第一方面所述的方法的步驟。

30、第五方面，本技術(shù)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面所述的方法的步驟。

31、第六方面，本技術(shù)還提供了一種計(jì)算機(jī)程序產(chǎn)品。所述計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面所述的方法的步驟。

32、上述億級(jí)像素融合視頻的回看方法、裝置、億級(jí)像素計(jì)算成像系統(tǒng)、計(jì)算機(jī)設(shè)備、存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品，通過在當(dāng)前錄制時(shí)段的結(jié)束時(shí)間之前、間隔至少一個(gè)幀組時(shí)長(zhǎng)的時(shí)刻，啟動(dòng)下一錄制時(shí)段的視頻錄制，使得相鄰錄制時(shí)段的錄像文件中存在至少一個(gè)重疊的視頻幀組數(shù)據(jù)。由于各局部相機(jī)的拍攝時(shí)間并不絕對(duì)同步，因而在回看時(shí)，基于上一時(shí)段的錄像文件得到的融合視頻，將以時(shí)間戳最小的最后一個(gè)視頻幀結(jié)束，該組內(nèi)其它錄像文件中用于拼接的最后一個(gè)視頻幀，可能是該錄像文件中最后一個(gè)視頻幀組內(nèi)的一個(gè)中間參考幀(并不一定是最后一個(gè)視頻幀)。由于下一時(shí)段與上一時(shí)段存在至少一個(gè)重疊的視頻幀組數(shù)據(jù)，因而在下一時(shí)段的錄像文件中可以找到與上一時(shí)段結(jié)束時(shí)刻連續(xù)的視頻幀，且該錄像文件中還包括該視頻幀所在視頻幀組的關(guān)鍵幀，因而該連續(xù)的視頻幀可以解碼得到完整圖像，從而可以拼接得到畫面同步準(zhǔn)確且時(shí)間連續(xù)的融合視頻。因此，基于本方案進(jìn)行融合視頻回看，可以在保障融合視頻的畫面同步準(zhǔn)確的同時(shí)，提高融合視頻回看的連續(xù)性，能夠解決相關(guān)技術(shù)中融合視頻丟幀、連續(xù)性較差的問題。