專利名稱：一種360度全景視頻的瀏覽操作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻監(jiān)控技術(shù)，特指一種360度全景視頻的瀏覽操作方法。
背景技術(shù)：
現(xiàn)在市場上的監(jiān)控攝像機產(chǎn)品主要是“槍機(即固定安裝的攝像機)”和“球機(即帶旋轉(zhuǎn)云臺的攝像機)”。這種普通攝像機由于視場范圍小，存在監(jiān)控盲區(qū)和監(jiān)控死角。在很多例如銀行和交通樞紐等重要場所，若要實現(xiàn)對大范圍、寬視角的監(jiān)控，則需要安裝多個這種普通攝像機。近年來，隨著視頻監(jiān)控技術(shù)的發(fā)展，市場對實現(xiàn)180度和360度的全景監(jiān)控設(shè)備有著越來越迫切的需求。全景監(jiān)控技術(shù)利用魚眼鏡頭或折反射全向成像裝置，生成包含空間360度全方位 場景信息的全景視頻圖像。通常，采集得到的原始全向圖不符合人眼觀察習(xí)慣，在獲取全景視頻圖像后需要進行處理，展開成符合人眼觀察習(xí)慣的視頻圖像。頂視角360度全景采集設(shè)備拍攝的視頻圖像是全方位場景信息中比較特殊的，由于其拍攝方式是從上至下的，即使變換成了全景視頻圖像，用戶在瀏覽時也會覺得不適應(yīng)。本發(fā)明提出一種針對頂視360度的視頻圖像的瀏覽操作方法，使得用戶可以更加便利和直觀的實現(xiàn)全景視頻監(jiān)控。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題在于全景視頻圖像由于其采集裝置的光學(xué)結(jié)構(gòu)特殊，得到的原始全向圖像往往不符合人眼的觀看習(xí)慣，通常的做法是將全向圖像展開成全景圖像給用戶觀看。頂視360度全景視頻圖像由于其俯視的拍攝模式，原始圖像是有嚴重畸變的環(huán)狀圖像，用戶瀏覽時覺得不夠直觀。如何提供給用戶方便的操作方式去瀏覽觀看這種全景圖像是一個問題。為解決上述技術(shù)問題，本發(fā)明提出的技術(shù)方案是利用在全景視頻圖像上的輔助示意，使得用戶能夠方便的實現(xiàn)頂視360度全景視頻圖像的環(huán)視、縮放、旋轉(zhuǎn)操作。根據(jù)本發(fā)明提供的方案，用戶可以利用這種交互操作方式，實現(xiàn)360度全視野的監(jiān)控和瀏覽。頂視360度全景采集設(shè)備是指安裝在室內(nèi)墻頂?shù)?，對室?nèi)360度空間進行俯視拍攝的圖像采集設(shè)備。頂視360度全景采集設(shè)備包括頂視全景攝像機、監(jiān)視器和外部控制設(shè)備。其中頂視全景攝像機包括相互連接的全景成像器件和圖像處理電路板，所述圖像處理電路板上連接有網(wǎng)絡(luò)數(shù)據(jù)通訊接口，電源接口。圖像處理電路板經(jīng)網(wǎng)絡(luò)接口與監(jiān)視器連接，所述圖像處理電路板還經(jīng)數(shù)據(jù)通訊接口與外部控制設(shè)備的控制端連接。所述成像組件可以為CXD成像組件或CMOS成像組件。頂視360度全景視頻圖像是指為頂視360度全景采集設(shè)備采集的數(shù)字視頻圖像，也被稱為頂視圖。環(huán)視瀏覽指對于頂視全景攝像機拍攝到頂視圖中感興趣區(qū)域，在另外顯示窗口中把頂視視頻圖像變換成為更符合人眼觀看習(xí)慣的環(huán)視圖像的一種瀏覽方法。瀏覽操作方法指一個窗口作為原始采集頂視圖的顯示窗口，通過這個窗口內(nèi)的輔助示意和輔助標(biāo)示操作全景視頻圖像中局部感興趣區(qū)域的位置、大小、角度，然后對這個局部區(qū)域圖像進行環(huán)視變換并且顯示在另外一個變換窗口中。操作區(qū)域可以是全景視頻圖像中任意位置的一個和多個區(qū)域。當(dāng)操作多個區(qū)域的時候，輔助示意會用不同顏色或者其他標(biāo)識給用戶提示，然后分別顯示在多個變換窗口中。


圖I是本發(fā)明所述的一種頂視360度全景采集設(shè)備；圖2是本發(fā)明所述頂視360度全景視頻圖像；圖3是本發(fā)明所述采集的原始頂視圖和通過變換算法得到的局部環(huán)視圖；
圖4是本發(fā)明所述全景視頻圖像的環(huán)視軌道操作和瀏覽方法；圖5是本發(fā)明所述全景視頻圖像的局部縮放操作和瀏覽方法；圖6是本發(fā)明所述全景視頻圖像的局部旋轉(zhuǎn)操作和瀏覽方法；圖7是本發(fā)明所述全景視頻圖像的多個局部區(qū)域變換的操作和瀏覽方法；
具體實施例方式以下將結(jié)合實施例和附圖對本發(fā)明做進一步詳細說明。如圖I所示，頂視360度全景視頻圖像采集設(shè)備為一種安裝在室內(nèi)的，從上往下俯視拍攝室內(nèi)360度全景的視頻圖像采集裝置。其內(nèi)部主要器件包括全景成像感光芯片，圖像處理電路板，網(wǎng)絡(luò)接口，串口，電源接口和其他接口。360度全景成像器件可以由成像組件連接魚眼鏡頭組成。所述成像組件為(XD成像組件,或CMOS成像組件。本發(fā)明提出的全景視頻圖像的瀏覽操作方法通過以下兩種途徑實現(xiàn)對于通過計算機監(jiān)控終端等設(shè)備實施交互的模式，是指利用鼠標(biāo)和外部設(shè)備操作瀏覽，對全景攝像機從網(wǎng)絡(luò)傳輸來的圖像進行變換。具體來說，全景攝像機的圖像采集系統(tǒng)把采集到的圖像通過網(wǎng)絡(luò)傳輸?shù)接嬎銠C監(jiān)控終端，在計算機監(jiān)控終端上完成上述全景視頻圖像交互方式。對于相機嵌入式系統(tǒng)的控制模式，外部控制設(shè)備利用攝像機提供的網(wǎng)絡(luò)接口控制全景攝像機，通過更改感興趣區(qū)域的位置和移動；全景攝像機的圖像處理電路板按照更改后的操控和參數(shù)進行全景視頻圖像的局部環(huán)視變換，然后輸出和傳輸所得到的視頻圖像給計算機監(jiān)控終端。圖2是本發(fā)明所述頂視360度全景視頻圖像。這種圖像在瀏覽時有兩個缺點首先其俯視的拍攝視角，直接瀏覽并不符合人眼觀察習(xí)慣。再者圖像有嚴重的畸變，因為物體形狀的扭曲造成很多圖像信息的失真。圖3是本發(fā)明所述采集的原始頂視圖和通過變換算法得到的局部環(huán)視圖。通過這種變換，用戶看到的圖像仿佛是其置身于全景空間的正中央，平視觀看場景中無變形的透視圖像。圖4是本發(fā)明所述全景視頻圖像的環(huán)視軌道操作和瀏覽方法。由于環(huán)視瀏覽，在原始全景視頻圖像中都是按照橢圓或者圓的軌跡環(huán)視一圈。這里我們就通過一條輔助示意把這個軌道在原圖上顯示出來，用戶操作的時候，感興趣區(qū)域(熱區(qū))的中心也就一直在這個“軌道示意線”上。這條輔助示意的軌道本省是用戶可以根據(jù)實際需要設(shè)置的。對于示意軌道上設(shè)定和調(diào)整，以及操作感興趣區(qū)域在示意軌道上的運動，可以通過外設(shè)鍵盤操作，也可以通過外設(shè)鼠標(biāo)的點擊、移動來操作，或者其他外部設(shè)備來進行操作。圖5是本發(fā)明所述全景視頻圖像的局部放大操作和瀏覽方法。感興趣區(qū)域的大小在這個操作方法中可以被調(diào)整，用戶通過調(diào)整“縮放示意線”來確定區(qū)域的大小。這一步操作可以通過外設(shè)鍵盤操作，也可以通過外設(shè)鼠標(biāo)的點擊、移動來操作，或者其他外部設(shè)備來進行操作。圖6是本發(fā)明所述全景視頻圖像的局部旋轉(zhuǎn)操作和瀏覽方法；感興趣區(qū)域的顯示角度在這個操作方法中可以被調(diào)整，用戶通過調(diào)整“旋轉(zhuǎn)示意線”的示意箭頭方向來確定區(qū)域的顯示角度。這一步操作可以通過外設(shè)鍵盤操作，也可以通過外設(shè)鼠標(biāo)的點擊、移動來操作，或者其他外部設(shè)備來進行操作。圖7是本發(fā)明所述全景視頻圖像的多個局部區(qū)域變換的操作和瀏覽方法。圖4、圖
5、圖6分別介紹了全景視頻圖像的操作和瀏覽方法。這些方法都是對應(yīng)在一個感興趣區(qū)域的變換上，本發(fā)明還提供多個感興趣區(qū)域的變換和顯示。需要改變的是在原圖顯示窗口用不同顏色和標(biāo)識區(qū)分不同感興趣區(qū)域，然后分別在不同的變換窗口把他們顯示出來。注意， 不同的感興趣區(qū)域的操作和瀏覽是相互獨立的。本發(fā)明提出的360度全景視頻的瀏覽操作方法的具體算法由兩部分組成。第一部分是核心的環(huán)視變換算法部分，實現(xiàn)了從頂視360度全景視頻圖像變換成局部的環(huán)視圖像。第二部分是操作參數(shù)部分，核心算法為上層的操作提供了位置、放大倍數(shù)、旋轉(zhuǎn)角度等參數(shù)接口。用戶在具體操作的時候，按照操作方式改變了這些參數(shù)，并且通過核心算法實時算出根據(jù)這些參數(shù)的變換，就可以實現(xiàn)本發(fā)明提出的全景視頻的瀏覽。I.核心的環(huán)視變換算法如下360度全景視頻圖像變換到環(huán)視圖像的核心是球面全景圖像的反投影變換方法。當(dāng)選定全景視頻圖像中某個位置(x，y)的時候，其在球面(球面半徑為f)的坐標(biāo)為
W=/C0S(^-^)C0S(y)< V =/sin(營- )
,η V,、. .χ\
W = / cos(——■—) sm(—)
、^ J Jα角為原點連接點(u，v，w)的直線與x，y平面的夾角，β角為其與x，z平面的夾角。a =)
V/ = arccos(^^)將世界坐標(biāo)系選裝到凝視對準(zhǔn)的反投影平面，可得到點(U，V, w)在旋轉(zhuǎn)后的坐標(biāo)為
Uy I O O omβ O -sin^ uvf = O cos6f sin ο: 0 I 0 v w1 0 -sin or cos or smβ 0 cos/ w那么過點(u’，v’ w’)的參數(shù)方程為
權(quán)利要求
1.一種360度全景視頻的瀏覽操作方法，其特征是利用在360度全景視頻上的輔助示意，使得用戶通過外部控制設(shè)備能夠?qū)斠?60度全景視頻進行環(huán)視操作、縮放操作和旋轉(zhuǎn)操作，方便360度全視野的監(jiān)控和瀏覽。
2.根據(jù)權(quán)利要求I所述的360度全景視頻的瀏覽操作方法，其特征是所述的360度全景視是通過安裝在室內(nèi)天花板的全景視頻采集裝置，從上往下拍攝的俯視全景視頻。
3.根據(jù)權(quán)利要求I所述的360度全景視頻的瀏覽操作方法，其特征是所述的環(huán)視操作、縮放操作和旋轉(zhuǎn)操作可由計算機監(jiān)控終端或搖桿等外部控制設(shè)備進行操控。
4.根據(jù)權(quán)利要求I所述的360度全景視頻的瀏覽操作方法，其特征是所述的輔助示意通過各種顯示在頂視全景視頻圖像上的輔助標(biāo)示，包括輔助示意線、輔助示意圈、輔助示意箭頭。
5.根據(jù)權(quán)利要求I所述的360度全景視頻的瀏覽操作方法，其特征是所述的全景環(huán)視操作、縮放操作和旋轉(zhuǎn)操作通過輔助示意和環(huán)視變換算法，實現(xiàn)對頂視全景視頻圖像的感興趣區(qū)域沿著一定的軌道或者規(guī)定線路進行環(huán)視瀏覽，實現(xiàn)頂視全景視頻圖像的感興趣區(qū)域的縮小或者放大操作，實現(xiàn)頂視全景視頻圖像的感興趣區(qū)域的各個旋轉(zhuǎn)角度瀏覽。
6.根據(jù)權(quán)利要求5所述的360度全景視頻的瀏覽操作方法，其特征是所述的環(huán)視變換算法通過光學(xué)幾何推導(dǎo)，將頂視的全景視頻圖像變換成環(huán)視圖像。
7.根據(jù)權(quán)利要求6所述的360度全景視頻的瀏覽操作方法，其特征是所述的環(huán)視圖像讓用戶體驗置身于全景空間中，環(huán)顧四周看到的圖像。
全文摘要
本發(fā)明公開了一種360度全景視頻的瀏覽操作方法。全景視頻圖像由于其采集裝置的光學(xué)結(jié)構(gòu)特殊，得到的原始圖像往往不符合人眼的觀看習(xí)慣，通常的做法是展開成全景圖像給用戶觀看。頂視360度全景視頻圖像由于其從上往下的拍攝模式，用戶觀看也會覺得不夠直觀。本發(fā)明利用各種在全景視頻圖像上的輔助示意，使得用戶能夠方便的實現(xiàn)頂視360度全景圖像的環(huán)視、縮放、旋轉(zhuǎn)等操作。根據(jù)本發(fā)明提供的方案，用戶可以利用多種交互操作方式，實現(xiàn)360度全視野的監(jiān)控和瀏覽。
文檔編號H04N7/18GK102833525SQ20121025110
公開日2012年12月19日 申請日期2012年7月19日 優(yōu)先權(quán)日2012年7月19日
發(fā)明者劉煜, 熊志輝, 譚樹人, 王煒, 包衛(wèi)東, 張茂軍, 徐瑋, 賴世銘, 李永樂 申請人:中國人民解放軍國防科學(xué)技術(shù)大學(xué)