十億像素視頻的實現(xiàn)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，特別涉及一種十億像素視頻的實現(xiàn)方法。
【背景技術(shù)】
[0002] 目前在科學研究、工業(yè)生產(chǎn)以及人類生活領(lǐng)域中，對圖像高分辨率、寬視野范圍的 需求不斷提高，因此引起了研究人員越來越多的重視。到目前為止，十億像素媒體技術(shù)，尤 其是十億像素圖像技術(shù)，已經(jīng)取得了很多研究成果。而十億像素視頻技術(shù)，概括起來可以主 要可以分為三類：1)采用延時攝影的方法來制作十億像素視頻；2)使用視頻文理（例如水 波、風吹落葉）來實現(xiàn)簡單場景的十億像素視頻；3)采用半球形透鏡陣列來采集大場景的 視頻。這些方法在各自的方面都取得了較大的成功，具有一定的應用價值。但是，十億像素 視頻技術(shù)目前存在的主要問題在于：1)采集裝置制作和使用復雜，不易維護和攜帶；2)數(shù) 據(jù)存儲量巨大，缺乏有效的數(shù)據(jù)壓縮方法；3)實現(xiàn)的交互方式缺乏真實感。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明旨在至少在一定程度上解決上述相關(guān)技術(shù)中的技術(shù)問題之一。
[0004] 為此，本發(fā)明的目的在于提供一種十億像素視頻的實現(xiàn)方法，該方法易于實現(xiàn)，無 需復雜的采集裝置，具有有效的數(shù)據(jù)存儲方式及真實感強的交互方式。
[0005] 為了實現(xiàn)上述目的，本發(fā)明的實施例提出了一種十億像素視頻的實現(xiàn)方法，包括 以下步驟：通過逐行和/或逐列掃描方式采集十億像素背景圖像，其中，相鄰的行和/或列 對應的背景圖像中存在重疊區(qū)域，所述重疊區(qū)域的面積與對應的背景圖像的總面積的比例 大于預設值；采集所述十億像素背景圖像對應場景內(nèi)的動態(tài)視頻，并以第一存儲方式單獨 存儲所述動態(tài)視頻；根據(jù)相鄰的行和/或列對應的背景圖像中的重疊區(qū)域的特征點對多個 背景圖像進行拼接以得到完整的十億像素背景圖像；在所述十億像素背景圖像中對所述動 態(tài)視頻進行滑動窗口搜索，并計算相應的變換矩陣；采用直方圖匹配方式對所述動態(tài)視頻 對應的前景與所述十億像素背景圖像的背景進行亮度匹配，以將動態(tài)視頻嵌入十億像素背 景圖像中，得到十億像素視頻，其中，以第二存儲方式單獨存儲所述十億像素背景圖像。
[0006] 另外，根據(jù)本發(fā)明上述實施例的十億像素視頻的實現(xiàn)方法還可以具有如下附加的 技術(shù)特征：
[0007] 在一些示例中，還包括：通過手動瀏覽模式或者自動瀏覽模式展示所述十億像素 視頻。
[0008] 在一些示例中，所述手動瀏覽模式包括：對所述十億像素視頻的平移和/或縮放， 并在平移過程中，當瀏覽到距離所述動態(tài)視頻的距離小于第一預設距離時，播放對應的動 態(tài)視頻；在縮放過程中，通過顯示框顯示所述動態(tài)視頻的位置，并當瀏覽到距離所述動態(tài)視 頻的距離小于第二預設距離時，淡化所述顯示框。
[0009] 在一些示例中，所述自動瀏覽模式包括：當點擊需要瀏覽的動態(tài)視頻的縮略圖之 后，自動平移和/或縮放到對應的觀看視野。
[0010] 在一些示例中，根據(jù)路徑規(guī)劃后的路徑自動平移和/或縮放到對應的觀看視野， 其中，所述路徑規(guī)劃包括：采用三次貝塞爾曲線進行路徑規(guī)劃，并對路徑規(guī)劃后的路徑進行 優(yōu)化。
[0011] 在一些示例中，所述對路徑規(guī)劃后的路徑進行優(yōu)化，具體包括：
[0012] 定義平滑度能量項為：
[0014] 其中，κ(s)定義為s處曲率半徑的倒數(shù)；
[0015] 定義"突然出現(xiàn)"能量項為：
[0017] 其中，R(t)表示t時刻視野被視頻占據(jù)的比例，D(t)表示t時刻視頻中心和視野 中心的距離；
[0018] 根據(jù)優(yōu)化公式對對路徑規(guī)劃后的路徑進行優(yōu)化，所述優(yōu)化公式為：
[0020] 在一些示例中，所述預設值為[15%，30% ]。
[0021 ] 在一些示例中，所述第二存儲方式為金字塔狀分層存儲方式。
[0022] 在一些示例中，所述根據(jù)相鄰的行和/或列對應的背景圖像中的重疊區(qū)域的特征 點對多個背景圖像進行拼接以得到完整的十億像素背景圖像之前，還包括：通過SURF算法 檢測所述特征點。
[0023] 根據(jù)本發(fā)明實施例的十億像素視頻的實現(xiàn)方法，包括十億像素視頻的采集、制作 和展示等三個有機組成的部分。該方法無需復雜的采集裝置，即可完成對數(shù)據(jù)的采集工作， 采用圖像拼接和視頻嵌入的方法實現(xiàn)十億像素視頻制作，將稀疏的動態(tài)內(nèi)容無縫嵌入大范 圍的場景，從而產(chǎn)生大范圍的視頻，通過一套算法流程制作成十億像素視頻，并且按照提出 的數(shù)據(jù)格式存儲，即具有有效的數(shù)據(jù)存儲方式；另外，該方法的交互方式真實感強，讓用戶 有身臨其境的感覺。
[0024] 本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發(fā)明的實踐了解到。
【附圖說明】
[0025] 本發(fā)明的上述和/或附加的方面和優(yōu)點從結(jié)合下面附圖對實施例的描述中將變 得明顯和容易理解，其中：
[0026] 圖1是根據(jù)本發(fā)明一個實施例的十億像素視頻的實現(xiàn)方法的流程圖；
[0027] 圖2是根據(jù)本發(fā)明一個實施例的逐行和/或逐列采集十億像素背景圖像的示意 圖；
[0028] 圖3是根據(jù)本發(fā)明一個實施例的背景圖像拼接過程的特征點匹配示意圖；
[0029] 圖4是根據(jù)本發(fā)明一個實施例的幾何匹配過程示意圖；
[0030] 圖5是根據(jù)本發(fā)明一個實施例的金字塔狀分層存儲示意圖；
[0031] 圖6是根據(jù)本發(fā)明一個實施例的手動交互模式狀態(tài)機示意圖；以及
[0032] 圖7是根據(jù)本發(fā)明一個實施例的自動交互模式視野切換示意圖。
【具體實施方式】
[0033] 下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終 相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。
[0034] 以下結(jié)合附圖描述根據(jù)本發(fā)明實施例的十億像素視頻的實現(xiàn)方法。
[0035] 圖1是根據(jù)本發(fā)明一個實施例的十億像素視頻的實現(xiàn)方法的流程圖。如圖1所示， 該方法包括以下步驟：
[0036] 步驟S1 :通過逐行和/或逐列掃描方式采集十億像素背景圖像，其中，相鄰的行和 /或列對應的背景圖像中存在重疊區(qū)域，重疊區(qū)域的面積與對應的背景圖像的總面積的比 例大于預設值。在本發(fā)明的一個實施例中，預設值例如為[15%，30%]。在具體實施過程 中，使用的采集設備例如包括：單反相機、對應焦距的鏡頭（拍遠景需要長焦鏡頭）、三腳架 (可以采用專用的支架實現(xiàn)自動采集）。具體地說，在拍攝時，首先使用長鏡頭相機對場景 進行按行和/或列掃描拍攝（例如拍攝20行，10列的圖像），需要注意的是，為了后期數(shù)據(jù) 處理的需要，采集十億像素背景圖像時，相鄰的行和/或列之間應該保持約15%~30%的 重疊面積，例如圖2所示。
[0037] 步驟S2 :采集十億像素背景圖像對應場景內(nèi)的動態(tài)視頻，并以第一存儲方式單獨 存儲動態(tài)視頻。
[0038] 在一些示例中，例如可以多臺相機同時采集場景內(nèi)的動態(tài)視頻，動態(tài)視頻可以分 為兩種：一種是鏡頭靜止，另一種是鏡頭跟蹤某一動態(tài)事物（例如飛機）。進一步地，第一存 儲方式例如為普通格式存儲，也就是說，將采集到的動態(tài)視頻按照普通格式存儲，例如JPEG 格式。
[0039] 步驟S3 :根據(jù)相鄰的行和/或列對應的背景圖像中的重疊區(qū)域的特征點對多個背 景圖像進行拼接以得到完整的十億像素背景圖像。在本發(fā)明的一個實施例中，在該步驟S3 之前，還包括：通過SURF算法檢測特征點。具體地說，圖像拼接的基本原理是利用相鄰幀之 間的重疊區(qū)域進行特征值匹配。例如圖3所示，通過左右相鄰兩幀圖像的對應特征點的對 應關(guān)系可以計算出變換矩陣，圖中亮色矩形區(qū)域為對應于在右側(cè)圖像坐標系中的位置，彩 色細線的兩個端點表示兩幅圖像匹配的特征點。特征點的檢測和特征計算可以采用成熟的 SURF算法
[0040] 步驟S4 :在十億像素背景圖像中對動態(tài)視頻進行滑動窗口搜索，并計算相應的變 換矩陣。視頻嵌入技術(shù)主要分為：幾何匹配、光學匹配、前景圖片分割等三個方面。對于幾 何匹配，對于某一個視頻幀，在十億像素大背景進行滑動窗口搜索，然后計算出變換矩陣， 例如圖4所示，展示了幾何匹配過程的示意圖。
[0041] 步驟S5 :采用直方圖匹配方式對動態(tài)視頻對應的前景與十億像素背景圖像的背 景進行亮度匹配，以將動態(tài)視頻嵌入十億像素背景圖像中，得到十億像素視頻，其中，以第 二存儲方式單獨存儲十億像素背景圖像。在本發(fā)明的一個實施例中，第二存儲方式例如為 金字塔狀分層存儲方式。
[0042] 具體地說，對于光學匹配，主要是采用直方圖匹配技術(shù)來使得前景和背景的亮度 值接近。另外，本發(fā)明的實施例提出了對應的數(shù)據(jù)存儲格式，對靜態(tài)背景和動態(tài)前景分別存 儲。靜態(tài)背景使用金字塔狀分層存儲，每一層都被切割成很多小的tile來提高數(shù)據(jù)訪問的 速度。金字塔狀分層存儲示意圖如圖5所示。
[0043] 進一步地，在本發(fā)明的一個實施例中，還包括：通過手動瀏覽模式或者自動瀏覽模 式展示十億像素視頻。換言之，即該方法包好兩種交互模式：自動模式和手動模式。在自動 模式中，用戶只需點擊感興趣的動態(tài)內(nèi)容，即可自動實現(xiàn)場景切換。而手動模式支持用戶自 己在大范圍場景中使用拖拽和滾動的方法來瀏覽場景。
[0044] 具體地說，手動瀏覽模式包括：用戶可以完全控制十億像素視頻的平移和/或縮 放。在交互式瀏覽時，視頻剛開始處于暫停狀態(tài)，只顯示第一幀。并在平移過程中，當瀏覽 到距離動態(tài)視頻的距離小于第一預設距離時，播放對應的動態(tài)視