全景視頻瀏覽播放方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種全景視頻瀏覽播放器，尤其是針對(duì)具有水平360°視角、垂直360° 視角全景的720°全景視頻的瀏覽播放，特別涉及一種720°全景視頻的分屏瀏覽播放器。
【背景技術(shù)】
[0002] 目前，在安防行業(yè)中為了實(shí)現(xiàn)對(duì)監(jiān)控點(diǎn)周圍的720°全景畫面進(jìn)行全面直接監(jiān)控， 廣泛地采用了多路攝像機(jī)采集不同方位角的圖像畫面，進(jìn)而通過(guò)觀看多路攝像機(jī)采集的多 路畫面同時(shí)顯示完成全景監(jiān)控，但是除了多路攝像機(jī)安裝造成監(jiān)控成本的上升之外，多路 攝像機(jī)安裝位置固定，對(duì)于相鄰相機(jī)之間的共同監(jiān)控的畫面區(qū)域往往不能有效(不完整或 不清晰)地顯示；另外，可以采用安裝球機(jī)的方式，通過(guò)控制云臺(tái)移動(dòng)攝像頭來(lái)針對(duì)感興趣 的方位區(qū)域進(jìn)行有效監(jiān)控，但無(wú)法記錄未對(duì)準(zhǔn)方位上視頻信息，不能實(shí)現(xiàn)真正意義的實(shí)時(shí) 全景監(jiān)控。針對(duì)這些問(wèn)題一種解決方法是引入全景相機(jī)到安防視頻監(jiān)控中，產(chǎn)生的720°全 景畫面一般為長(zhǎng)寬比為2:1(360° X 180°)的畫面，實(shí)時(shí)記錄720°全視角畫面實(shí)現(xiàn)全景監(jiān)控 的目的，但是對(duì)于長(zhǎng)寬比為2:1的全景畫面把720°畫面信息集中到二維平面畫面中，必然造 成了畫面中圖像的扭曲而且對(duì)瀏覽觀看而言，很難在畫面中對(duì)方位有清晰的概念。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明根據(jù)現(xiàn)有技術(shù)的不足公開了一種全景視頻瀏覽播放方法。本發(fā)明為了克服 720°全景圖像瀏覽時(shí)有扭曲及瀏覽方位不明確的弊端，并且更好的實(shí)現(xiàn)全景監(jiān)控，提出了 一種特殊的全景瀏覽模式，通過(guò)三維投影及圖像畸變矯正技術(shù)實(shí)現(xiàn)全景圖像立體瀏覽及實(shí) 時(shí)分視窗瀏覽。
[0004] 本發(fā)明解決技術(shù)問(wèn)題所采用的技術(shù)方案是：
[0005] 全景視頻瀏覽播放方法包括：
[0006] 獲得720°全景圖像；
[0007] 構(gòu)建虛擬立體球形場(chǎng)景，通過(guò)設(shè)定720°全景圖像到球形場(chǎng)景的映射關(guān)系，從而通 過(guò)圖像映射及圖像插值得到全景立體球形圖像；
[0008] 將全景立體球形圖像經(jīng)過(guò)透視投影變換得到屏幕顯示的圖像。
[0009 ]所述720°全景圖像還通過(guò)內(nèi)置陀螺儀進(jìn)行姿態(tài)調(diào)整。
[0010] 所述構(gòu)建虛擬立體球形場(chǎng)景是：將720°全景圖像中點(diǎn)ΡΚχυυΟ通過(guò)以下計(jì)算 式(1)映射到全景立體球形圖像球體坐標(biāo)系中P'KlonJat)實(shí)現(xiàn)：
[0011]
式⑴。 1 所述將全景立體球形圖像經(jīng)過(guò)透視投影變換得到屏幕顯示的圖像是通過(guò)投影矩 陣進(jìn)行的；投影矩陣的定義為:把視錐體投影為設(shè)定立方體，對(duì)于從任一視錐體點(diǎn)P(x，y，z) 投影到觀察體中一點(diǎn)？'（1'，7'，2'）通過(guò)以下計(jì)算式(2)得到：
[0013] P'=MP 式（2);
[0014]其中，Μ通過(guò)以下計(jì)算式(3)得到：
[0015]
[0016] F、N為遠(yuǎn)近視截面的距離；L、R為投影面左右邊界坐標(biāo)；Τ、Β為投影面上下邊界坐 標(biāo)。
[0017]上述獲得720°全景圖像是通過(guò)單一圖像傳感器的全景圖像采集系統(tǒng)得到。所述單 一圖像傳感器的全景圖像采集系統(tǒng)是一種單傳感器的全景圖像采集系統(tǒng)，該圖像采集系統(tǒng) 只需要一片傳感器芯片就可使實(shí)現(xiàn)對(duì)全景圖像的采集，有效地克服了不同傳感器成像差異 的缺陷；由于沒(méi)有成像差異的缺陷，在本發(fā)明構(gòu)建虛擬立體球形場(chǎng)景獲得全景立體球形圖 像，進(jìn)一步經(jīng)過(guò)透視投影變換得到屏幕顯示的圖像時(shí)，本發(fā)明更能展現(xiàn)均勻、連貫、一體式 的立體全景場(chǎng)景畫面，在觀看時(shí)不會(huì)出現(xiàn)監(jiān)控視角缺失及畫面斷裂現(xiàn)象，并且模擬觀測(cè)視 角更能接近人眼，觀察者在觀測(cè)場(chǎng)景中有直觀方位的體驗(yàn)。本發(fā)明所采用的單一圖像傳感 器全景圖像采集系統(tǒng)已于中國(guó)專利2015106005041公開。
[0018]所述將全景立體球形圖像經(jīng)過(guò)透視投影變換得到屏幕顯示的圖像包括一窗口瀏 覽方式和多窗口瀏覽方式。
[0019] 一窗口瀏覽方式是經(jīng)過(guò)透視投影變換得到屏幕顯示的圖像為單一視窗口，該單一 視窗口通過(guò)人工交互來(lái)對(duì)圖像進(jìn)行指定位置的圖像顯示，在啟動(dòng)自動(dòng)瀏覽模式時(shí)，單一視 窗口顯示的圖像以水平方向轉(zhuǎn)動(dòng)，依次顯示四周畫面。
[0020]多窗口瀏覽方式包括四窗口瀏覽方式，在該模式下，屏幕顯不為四個(gè)均分的視窗 部分，四個(gè)視窗均勻在水平方向截取畫面，每個(gè)單獨(dú)畫面，均可以對(duì)其所對(duì)準(zhǔn)的視角進(jìn)行調(diào) 整。
[0021 ]多窗口瀏覽方式還包括六窗口瀏覽方式，在該模式下，屏幕顯不為六個(gè)均分的視 窗部分，六個(gè)視窗均勻在水平方向和上下方向截取畫面，每個(gè)單獨(dú)畫面，均可以對(duì)其所對(duì)準(zhǔn) 的視角進(jìn)行調(diào)整。
[0022]本發(fā)明通過(guò)構(gòu)建虛擬立體球形場(chǎng)景，設(shè)定720°全景圖像到球形的映射關(guān)系，從而 通過(guò)圖像映射及圖像插值得到立體全景圖像。針對(duì)得到的立體全景圖像，本發(fā)明方案還設(shè) 計(jì)了三種瀏覽模式。
[0023]本發(fā)明的有益效果是，本發(fā)明實(shí)現(xiàn)模擬機(jī)械云臺(tái)全景監(jiān)控;實(shí)現(xiàn)全景視頻監(jiān)控的 全景視頻立體交互觀看效果;適應(yīng)傳統(tǒng)安防中多視角多畫面的模式，并且實(shí)現(xiàn)任意指定方 位的監(jiān)控;通過(guò)本發(fā)明可以使得全景相機(jī)在安防監(jiān)控領(lǐng)域有更強(qiáng)的適用性;通過(guò)與單一圖 像傳感器全景圖像采集系統(tǒng)的結(jié)合，本發(fā)明處理更能展現(xiàn)均勻、連貫、一體式的立體全景場(chǎng) 景畫面，并且模擬觀測(cè)視角更能接近人眼。
【附圖說(shuō)明】
[0024] 圖1是構(gòu)建虛擬立體球形場(chǎng)景示意圖；
[0025] 圖2是全景立體球形圖像經(jīng)過(guò)透視投影變換得到屏幕圖像示意圖；
[0026] 圖3是視錐體三視圖及其中參數(shù)說(shuō)明；
[0027] 圖4是視錐體觀測(cè)示意圖；
[0028]圖5是本發(fā)明全景視頻瀏覽播放的三種方法；
[0029]圖6是本發(fā)明方法流程圖。
【具體實(shí)施方式】
[0030] 下面結(jié)合【具體實(shí)施方式】對(duì)本發(fā)明進(jìn)一步說(shuō)明，【具體實(shí)施方式】是對(duì)本發(fā)明原理的進(jìn) 一步說(shuō)明，不以任何方式限制本發(fā)明，與本發(fā)明相同或類似技術(shù)均沒(méi)有超出本發(fā)明保護(hù)的 范圍。
[0031] 結(jié)合附圖。
[0032]全景視頻瀏覽播放方法包括：
[0033]獲得7 20。全景圖像；
[0034] 構(gòu)建虛擬立體球形場(chǎng)景，通過(guò)設(shè)定720°全景圖像到球形場(chǎng)景的映射關(guān)系，從而通 過(guò)圖像映射及圖像插值得到全景立體球形圖像；
[0035]將全景立體球形圖像經(jīng)過(guò)透視投影變換得到屏幕顯示的圖像。
[0036]上述720°全景圖像還通過(guò)內(nèi)置陀螺儀進(jìn)行姿態(tài)調(diào)整。
[0037]構(gòu)建虛擬立體球形場(chǎng)景是:將720°全景圖像中點(diǎn)PKxum)通過(guò)以下計(jì)算式（1) 映射到全景立體球形圖像球體坐標(biāo)系中P ' 1 (Ion，lat)實(shí)現(xiàn)：
[0038]
[0039] 將全景立體球形圖像經(jīng)過(guò)透視投影變換得到屏幕顯示的圖像是通過(guò)投影矩陣進(jìn) 行的;投影矩陣的定義為:把視錐體投影為設(shè)定立方體，對(duì)于從任一視錐體點(diǎn)P(x，y，z)投影 到觀察體中一點(diǎn)？'（1'，7'，2'）通過(guò)以下計(jì)算式(2)得到：
[0040] P'=MP 式（2);
[0041 ]其中，Μ通過(guò)以下計(jì)算式(3)得到：
[0042]
[0043] F、N為遠(yuǎn)近視截面的距離；L、R為投影面左右邊界坐標(biāo)；Τ、Β為投影面上下邊界坐 標(biāo)。
[0044] 上述獲得720°全景圖像是通過(guò)單一圖像傳感器的全景圖像采集系統(tǒng)得到。單一圖 像傳感器全景圖像采集系統(tǒng)在中國(guó)專利2015106005041中公開。
[0045] 本發(fā)明將全景立體球形圖像經(jīng)過(guò)透視投影變換得到屏幕顯示的圖像包括一窗口 瀏覽方式和多窗口瀏覽方式。
[0046] 下面結(jié)合附圖進(jìn)行具體說(shuō)明：
[0047] 圖1是構(gòu)建虛擬立體球形場(chǎng)景示意圖，把圖像數(shù)據(jù)繪制到球體上，繪制圖像的方式 為:對(duì)于圖1中點(diǎn)Pi Ui，yi，Z1)映射到球體坐標(biāo)系中P ' 1 (Ion，lat)通過(guò)以下公式得到
[0048]
[0049] 圖2是全景立體球形圖像經(jīng)過(guò)透視投影變換得到屏幕圖像示意圖，全景立體球形 圖像經(jīng)過(guò)透視投影變換得到屏幕顯示的圖像，投影計(jì)算是通過(guò)投影矩陣來(lái)進(jìn)行的。投影矩 陣的定義為:把視錐體投影為設(shè)定立方體，如圖2中對(duì)于從任一視錐體點(diǎn)P(x，y，z)投影到觀 察體中一點(diǎn)P'（X'，y'，z'）
[0050] P，=MP [0051 ] 其中
[0052: 'V.
[0053] 各個(gè)符號(hào)定義如圖3所示:F、N為遠(yuǎn)近視截面的距離，L、R(L = R)為投影面左右邊界 坐標(biāo)，T、B(T = B)為投影面上下邊界坐標(biāo)，fov為視場(chǎng)角，通過(guò)N、L、R、T、B計(jì)算獲得。
[0054] 投影過(guò)程中首先設(shè)定觀察所在視點(diǎn)的位置及觀察的水平、垂直視場(chǎng)角以及遠(yuǎn)近端 切面F、N，如圖3所示。當(dāng)對(duì)立體球形全景圖像進(jìn)行立體瀏覽時(shí)，是通過(guò)改變立體全景球的