本發(fā)明屬于圖像處理
技術(shù)領(lǐng)域：
，涉及視頻全景圖像處理，特指一種720度全景視頻快速瀏覽方法。
背景技術(shù)：
：隨著信息技術(shù)的發(fā)展，人們對(duì)獲取廣視角范圍的場(chǎng)景信息要求越來(lái)越高，傳統(tǒng)攝影方法只能獲得有限角度范圍的圖像幀，圖像拼接技術(shù)為解決這一難題而產(chǎn)生并迅速發(fā)展。它是通過(guò)將相互有重疊信息的兩幅或多幅圖片拼接成一個(gè)超寬視角的完整圖像，以達(dá)到降低圖像冗余度和獲取更廣視角信息的目的，其中全景圖像的生成也是圖像拼接技術(shù)的一個(gè)典型應(yīng)用。720度全景視頻是一種基于球面模型的視頻圖像序列，可實(shí)現(xiàn)水平360度和垂直360度任意視角方向的環(huán)視瀏覽。瀏覽時(shí)，需要根據(jù)當(dāng)前視線方向和視域范圍對(duì)球面視頻圖像進(jìn)行反投影變換，以獲得符合人眼視覺(jué)習(xí)慣的平面透視圖像。通過(guò)這種方式，可以同時(shí)實(shí)現(xiàn)模擬相機(jī)旋轉(zhuǎn)運(yùn)動(dòng)和變焦運(yùn)動(dòng)，改變視域。對(duì)于調(diào)閱和回放海量視頻數(shù)據(jù)需要耗費(fèi)大量的時(shí)間和精力，傳統(tǒng)的拖拉瀏覽方法容易忽視短時(shí)間內(nèi)的突發(fā)異常事件，長(zhǎng)時(shí)間視頻數(shù)據(jù)的搜索不利于有效信息的提取。因此需要對(duì)全景視頻進(jìn)行了進(jìn)一步的處理，實(shí)現(xiàn)對(duì)全景視頻的快速瀏覽，其核心工作是對(duì)原始視頻的分割和視頻中關(guān)鍵序列的提取。當(dāng)前，視頻分割與關(guān)鍵幀提取方法主要分為四類：一是簡(jiǎn)單的生成算法，通過(guò)對(duì)視頻序列進(jìn)行等時(shí)間均勻采樣提取關(guān)鍵幀的方法，但這種方法由于短時(shí)間內(nèi)視頻信息量變化不同，容易出現(xiàn)關(guān)鍵幀提取過(guò)多或代表不足的問(wèn)題；二是基于視覺(jué)信息的生成方法，根據(jù)視頻中的顏色、形狀、紋理等視覺(jué)信息，應(yīng)用各種視頻處理技術(shù)進(jìn)行場(chǎng)景聚類、鏡頭探測(cè)、關(guān)鍵幀提取等操作，最終生成縮略視頻，這種基于視覺(jué)特征的方法在簡(jiǎn)單生成算法上有了明顯的提高，但忽略了原始視頻中的音頻、字幕等信息；三是融合多特征的生成方法，如采用人臉識(shí)別技術(shù)探測(cè)新聞中重要人物的出現(xiàn)，利用音頻處理技術(shù)探測(cè)體育視頻中的精彩片段等，結(jié)合視頻自身的特征和其他圖像處理技術(shù)對(duì)視頻的多個(gè)特征融合，算法處理過(guò)程比較復(fù)雜；四是基于視頻句法語(yǔ)義的生成方法，探尋鏡頭與鏡頭之間、場(chǎng)景與場(chǎng)景之間的結(jié)構(gòu)規(guī)則，以此為基礎(chǔ)形成視頻摘要。綜上所述，針對(duì)不同的視頻類型和用途，對(duì)視頻快速瀏覽處理方法不同，目前全景視頻技術(shù)廣泛的應(yīng)用于旅游景點(diǎn)、房產(chǎn)居家、汽車展示、休閑會(huì)所、城市建筑規(guī)劃等網(wǎng)絡(luò)虛擬展示中，這些視頻場(chǎng)景主要以給人一種身臨其境的體驗(yàn)和完美展現(xiàn)全景達(dá)到較好的宣傳目的。技術(shù)實(shí)現(xiàn)要素：本發(fā)明提出一種720度全景視頻快速瀏覽方法，其通過(guò)反投影方法實(shí)現(xiàn)了水平360度和垂直360度全方位角度下觀測(cè)視頻，并依據(jù)視頻不同場(chǎng)景下拍攝鏡頭長(zhǎng)短的不同，提取關(guān)鍵幀，形成視頻概要，達(dá)到快速瀏覽的目的。一種720度全景視頻快速瀏覽方法，包括以下步驟：S1，首先利用反投影法對(duì)720度全景視頻圖像進(jìn)行重構(gòu)，得到球面視點(diǎn)空間每一個(gè)視線方向上所對(duì)應(yīng)的視圖序列。S2，通過(guò)計(jì)算視頻序列中相鄰圖像幀的絕對(duì)亮度幀差來(lái)判斷鏡頭長(zhǎng)短，然后提取關(guān)鍵幀，實(shí)現(xiàn)全景視頻快速瀏覽。其中，S1包括以下步驟：S1.1，基于球面視點(diǎn)空間模型完成720度全景圖像的拼接，并建立以球心為中心的兩個(gè)坐標(biāo)系，分別表示世界坐標(biāo)系XYZ和照相機(jī)坐標(biāo)系xyz；其中照相機(jī)坐標(biāo)系xyz是由世界坐標(biāo)系XYZ繞世界坐標(biāo)系中的X軸旋轉(zhuǎn)α角，再繞世界坐標(biāo)系中的Y軸旋轉(zhuǎn)β角度而得到的。S1.1中基于球面視點(diǎn)空間模型完成720度全景圖像的拼接的方法是：根據(jù)照相機(jī)坐標(biāo)系xyz中與y軸平行的直線按照球面參數(shù)變換式生成的圖像中與圖像橫軸垂直的直線仍為垂線這一性質(zhì)，對(duì)魚眼鏡頭拍攝的多張實(shí)景圖像進(jìn)行旋轉(zhuǎn)變換校正，得到每張實(shí)景圖像上像素點(diǎn)的在視點(diǎn)空間的方位信息，利用方位信息對(duì)多張圖像進(jìn)行拼接，消除實(shí)景圖像之間可能存在的重復(fù)信息，最后投影到一個(gè)球面上，以球面全景圖像的形式存儲(chǔ)。S1.2，將S1.1中兩坐標(biāo)系下像素點(diǎn)的基本度量單位統(tǒng)一，則要計(jì)算以像素作為基本量度單位的像素焦距即在照相機(jī)坐標(biāo)系下對(duì)每個(gè)像素點(diǎn)估計(jì)視點(diǎn)到視平面的像素焦距f。S1.2中，設(shè)圖像S為一張拼接完畢的球面全景圖像，Q是球面全景圖像S上任意一個(gè)像素點(diǎn)，圖像坐標(biāo)為；J是需要生成的視圖，點(diǎn)P為球面全景圖像上的點(diǎn)Q在視圖J上所對(duì)應(yīng)的點(diǎn)，其圖像坐標(biāo)為；f表示像素焦距，f根據(jù)拍攝實(shí)景圖像使用的是鏡頭進(jìn)行估計(jì)。廣角鏡頭或標(biāo)準(zhǔn)鏡頭的像素焦距f的估計(jì)方法為：設(shè)照相機(jī)水平旋轉(zhuǎn)一周所拍攝的實(shí)景圖像n張，則照相機(jī)的水平視角為360/n，實(shí)景圖像寬度為W，根據(jù)三角函數(shù)關(guān)系可以得出普通鏡頭的像素焦距估計(jì)公式為：f＝W/(2tan(180/n))。魚眼鏡頭的像素焦距f的估計(jì)方法為：將魚眼圖像的黑色邊框去掉之后圖像的寬度記為W，則魚眼鏡頭的像素焦距估計(jì)公式為：f＝W/φ，其中φ為魚眼鏡頭的水平視域。S1.3，用像素焦距f建立二維圖像點(diǎn)的坐標(biāo)與球面所對(duì)應(yīng)的三維參數(shù)坐標(biāo)點(diǎn)的轉(zhuǎn)化關(guān)系式，再根據(jù)世界坐標(biāo)系XYZ繞世界坐標(biāo)系中的X軸旋轉(zhuǎn)α角度，再繞世界坐標(biāo)系中的Y軸旋轉(zhuǎn)β角度的過(guò)程中，隨著坐標(biāo)軸的旋轉(zhuǎn)，像素點(diǎn)在各坐標(biāo)分量上的表示也發(fā)生相應(yīng)的變化(坐標(biāo)系旋轉(zhuǎn)后各像素點(diǎn)的對(duì)應(yīng)位置需要在新的坐標(biāo)系下重新表示，坐標(biāo)分量為各自在x,y,z三個(gè)坐標(biāo)軸上的對(duì)應(yīng)分量)，這一變化可以用三角函數(shù)關(guān)系在各自坐標(biāo)分量上表示出來(lái)，從而得到兩坐標(biāo)系下對(duì)應(yīng)點(diǎn)的變換矩陣H。S1.4，由變換矩陣H建立反變換函數(shù)，找出全景圖像上任意點(diǎn)到球面空間各視圖上點(diǎn)的對(duì)應(yīng)關(guān)系式，計(jì)算各點(diǎn)坐標(biāo)，得到視點(diǎn)空間每個(gè)視線方向上對(duì)應(yīng)的視圖。在S1.3中，用像素焦距f建立二維圖像點(diǎn)的坐標(biāo)與球面所對(duì)應(yīng)的三維參數(shù)坐標(biāo)點(diǎn)的轉(zhuǎn)化關(guān)系式，如下：u=fcos(π2-yf)cos(xf)v=fsin(π2-yf)w=fcos(π2-yf)sin(xf)---(1)]]>計(jì)算兩坐標(biāo)系下對(duì)應(yīng)點(diǎn)的變換矩陣H，表達(dá)式如下：H=1000cosαsinα0-sinαcosαcosβ0-sinβ010sinβ0cosβ---(2)]]>在S1.4中，由S1.3中的式(1)和(2)可知，坐標(biāo)系XYZ下的點(diǎn)，在坐標(biāo)系xyz下對(duì)應(yīng)的坐標(biāo)為。已知視頻中所拍攝實(shí)景圖像的寬度為W，高度為H，建立球面全景圖像上任意一點(diǎn)Q與點(diǎn)Q在視圖J上所對(duì)應(yīng)的點(diǎn)P的函數(shù)關(guān)系式，并利用式(3)計(jì)算各對(duì)應(yīng)點(diǎn)的坐標(biāo)，得到視點(diǎn)空間每個(gè)視線方向上對(duì)應(yīng)的視圖。x=W2-fcos(π2-y′f)cos(x′f+β)cos(π2-y′f)cosαsin(x′f+β)-sin(π2-y′f)sinαy=H2-fsin(π2-y′f)cosα+fcos(π2-y′f)sinαsin(x′f+β)cos(π2-y′f)cosαsin(x′f+β)-sin(π2-y′f)sinα---(3)]]>本發(fā)明的S2的包括以下步驟：S2.1，對(duì)全景視頻序列進(jìn)行結(jié)構(gòu)化處理，全景視頻在每一個(gè)視線方向上所對(duì)應(yīng)的都是一組視圖構(gòu)成的視頻序列，將步驟S1得到的視頻序列按照投影在不同方向視角上的視圖幀序列進(jìn)行分類，得到多個(gè)視角上可單獨(dú)瀏覽的視頻序列組；S2.2，分別對(duì)各視角方向的視頻序列組進(jìn)行分割，計(jì)算視頻序列中相鄰圖像幀的絕對(duì)亮度幀差，判斷視頻鏡頭的轉(zhuǎn)換節(jié)點(diǎn)，將視頻序列分割為多個(gè)鏡頭片段；S2.3，計(jì)算各鏡頭片段的運(yùn)動(dòng)量總和，設(shè)定運(yùn)動(dòng)量衡量門限，根據(jù)鏡頭持續(xù)時(shí)間判斷當(dāng)前鏡頭為長(zhǎng)鏡頭或短鏡頭；S2.4，對(duì)長(zhǎng)、短鏡頭分別提取關(guān)鍵幀，對(duì)于短鏡頭隨機(jī)提取一個(gè)關(guān)鍵幀，長(zhǎng)鏡頭則按等間隔法提取多幀圖像作為關(guān)鍵幀；S2.5，將提取的關(guān)鍵幀序列進(jìn)行重組，還原到不同視角方向上生成視頻概要，觀察者通過(guò)對(duì)視頻概要的操作達(dá)到視頻快速瀏覽的目的。在S2.2中，選用絕對(duì)亮度幀差A(yù)IFD作為衡量視頻內(nèi)容變化程度的特征量，其定義式如下：AIFD(t)=Σx=1WΣy=1Habs(f(x,y,t+1)-f(x,y,t))---(4)]]>上式中和分別表示視頻序列中t時(shí)刻圖像幀在坐標(biāo)處像素點(diǎn)的亮度值和t時(shí)刻下一幀在坐標(biāo)處像素點(diǎn)的亮度值，W和H分別表示視頻幀的寬度和高度；設(shè)某一視角方向上視頻完整播放的圖像幀數(shù)目為N，則視頻的亮度幀差均值為：AIFD(t)‾=1NAIFD(t)---(5)]]>通過(guò)計(jì)算亮度幀差均值作為判定基準(zhǔn)，設(shè)置兩個(gè)不同系數(shù)a和b(當(dāng)a和b的值設(shè)定太小時(shí)，容易誤檢；設(shè)定太大時(shí)，容易漏檢。實(shí)驗(yàn)中a的取值為1.2，b取值為2.3，經(jīng)驗(yàn)值)對(duì)亮度幀差均值進(jìn)行加權(quán)得到高低閾值thresh_low和thresh_high，作為鏡頭是否轉(zhuǎn)換和以哪種方式轉(zhuǎn)換的判定條件，其中thresh_low=a·AIFD(t)‾thresh_high=b·AIFD(t)‾---(6)]]>在S2.2中，對(duì)視頻序列組進(jìn)行分割的方法如下：首先對(duì)輸入的視頻幀數(shù)據(jù)進(jìn)行初始化，計(jì)算t時(shí)刻相鄰兩幀的AIFD特征值，比較并判斷當(dāng)前幀的特征值與判定閾值的大小，以此來(lái)檢測(cè)當(dāng)前幀與下一幀之間是否存在鏡頭轉(zhuǎn)換，判定方法為若當(dāng)前幀特征值小于thresh_low則不存在鏡頭切換，若大于thresh_low且小于thresh_high則認(rèn)為當(dāng)前幀發(fā)生了漸變鏡頭轉(zhuǎn)換，若大于thresh_high則認(rèn)為當(dāng)前幀發(fā)生了突變鏡頭轉(zhuǎn)換，漸變鏡頭轉(zhuǎn)換和突變鏡頭轉(zhuǎn)換都表示當(dāng)前幀記錄為發(fā)生了鏡頭的轉(zhuǎn)換，當(dāng)前幀即為記錄鏡頭轉(zhuǎn)換節(jié)點(diǎn)。在S2.3中，通過(guò)對(duì)計(jì)算鏡頭的運(yùn)動(dòng)量總和的計(jì)算，并與預(yù)先設(shè)置的運(yùn)動(dòng)量衡量門限比較，判斷鏡頭屬于長(zhǎng)鏡頭還是短鏡頭，其中表示t時(shí)刻相鄰兩視頻幀之間的相對(duì)運(yùn)動(dòng)量，表示鏡頭的持續(xù)時(shí)間，當(dāng)鏡頭運(yùn)動(dòng)量總和大于運(yùn)動(dòng)量衡量門限時(shí)判定為長(zhǎng)鏡頭，否則為短鏡頭。本發(fā)明提出的一種72度全景視頻快速瀏覽方法能夠快速地生成虛擬場(chǎng)景在不同視線方向上的透視視圖，并在各方向視圖上有效地模擬相機(jī)旋轉(zhuǎn)和變焦運(yùn)動(dòng)，提高了虛擬場(chǎng)景的瀏覽速度，能夠很好的滿足虛擬現(xiàn)實(shí)系統(tǒng)這一特定應(yīng)用領(lǐng)域。附圖說(shuō)明圖1全景圖像反投影坐標(biāo)系示意圖圖2全景視頻不同視圖方向上分割重組框圖圖3關(guān)鍵幀提取框圖圖4為W、f、θ三者之間的三角函數(shù)關(guān)系示意圖具體實(shí)施方式以下將結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步詳細(xì)說(shuō)明。為了能在各個(gè)方向視圖上對(duì)720度全景視頻進(jìn)行高速有效地瀏覽，本發(fā)明的第一步是利用反投影法對(duì)全景視頻進(jìn)行重構(gòu)，得到球面視點(diǎn)空間每一個(gè)視線方向上所對(duì)應(yīng)的視圖序列，并模擬相機(jī)的旋轉(zhuǎn)和變焦運(yùn)動(dòng)實(shí)現(xiàn)在不同視角上瀏覽視頻，具體步驟如下：S1.1，基于球面視點(diǎn)空間模型完成720度全景圖像的拼接，并建立以球心為中心的兩個(gè)坐標(biāo)系，分別表示世界坐標(biāo)系XYZ和照相機(jī)坐標(biāo)系xyz。其中，基于球面視點(diǎn)空間模型完成720度全景圖像的拼接的方法是：根據(jù)照相機(jī)坐標(biāo)系xyz中與y軸平行的直線按照球面參數(shù)變換式生成的圖像中與圖像橫軸垂直的直線仍為垂線這一性質(zhì)，對(duì)魚眼鏡頭拍攝的多張實(shí)景圖像進(jìn)行旋轉(zhuǎn)變換校正，得到每張實(shí)景圖像上像素點(diǎn)的在視點(diǎn)空間的方位信息，利用方位信息對(duì)多張圖像進(jìn)行拼接，消除實(shí)景圖像之間可能存在的重復(fù)信息，最后投影到一個(gè)球面上，以球面全景圖像的形式存儲(chǔ)。其中照相機(jī)坐標(biāo)系xyz是由世界坐標(biāo)系XYZ繞世界坐標(biāo)系中的X軸旋轉(zhuǎn)角，再繞世界坐標(biāo)系中的Y軸旋轉(zhuǎn)角度而得到的。設(shè)定圖像S為一張拼接完畢的球面全景圖像，Q是球面全景圖像S上任意一個(gè)像素點(diǎn)，圖像坐標(biāo)為；J是需要生成的視圖(即J是最終要得到的某一個(gè)視線方向上的一張視圖)，如圖1所示，點(diǎn)P為球面上的點(diǎn)Q在視圖J上所對(duì)應(yīng)的點(diǎn)，其圖像坐標(biāo)為；f表示像素焦距，根據(jù)拍攝實(shí)景圖像使用的是普通鏡頭(一般的廣角鏡頭和標(biāo)準(zhǔn)鏡頭)或者魚目鏡頭進(jìn)行估計(jì)。S1.2，為了將兩個(gè)坐標(biāo)系下像素點(diǎn)的基本量度單位統(tǒng)一，對(duì)鏡頭的像素焦距f進(jìn)行估計(jì)。普通鏡頭(一般的廣角鏡頭和標(biāo)準(zhǔn)鏡頭)的像素焦距估計(jì)方法為：設(shè)照相機(jī)水平旋轉(zhuǎn)一周所拍攝的實(shí)景圖像n張，則照相機(jī)的水平視角為360/n，實(shí)景圖像寬度為W，根據(jù)三角函數(shù)關(guān)系可以得出普通鏡頭的像素焦距估計(jì)公式為：f＝W/(2tan(180/n))。其中三角函數(shù)關(guān)系是指直角三角形內(nèi)存在的正弦、余弦、正切等關(guān)系。參照?qǐng)D4，取全景圖的一個(gè)切面圖，可以由三角函數(shù)關(guān)系對(duì)各個(gè)量進(jìn)行表示。假設(shè)圖中用θ表示照相機(jī)的水平視角，則有θ＝360/n，由圖可知W、f、θ三者之間的三角函數(shù)關(guān)系可以得到：轉(zhuǎn)換推導(dǎo)出，f＝W/(2tan(θ/2))，即f＝W/(2tan(180/n))魚眼鏡頭的像素焦距估計(jì)可以由魚眼鏡頭的等距成像模型推導(dǎo)出來(lái)，具體為：將魚眼圖像的黑色邊框去掉之后圖像的寬度記為W，則魚眼鏡頭的像素焦距估計(jì)公式為：f＝W/φ，其中φ為魚眼鏡頭的水平視域，可以通過(guò)魚眼鏡頭說(shuō)明書進(jìn)行查找。S1.3，根據(jù)全景圖像生成過(guò)程的逆運(yùn)算，將二維圖像坐標(biāo)轉(zhuǎn)化為三維參數(shù)坐標(biāo)下進(jìn)行運(yùn)算，圖像坐標(biāo)點(diǎn)Q對(duì)應(yīng)球面上點(diǎn)，滿足如下轉(zhuǎn)化關(guān)系式：u=fcos(π2-yf)cos(xf)v=fsin(π2-yf)w=fcos(π2-yf)sin(xf)---(1)]]>計(jì)算兩坐標(biāo)系下對(duì)應(yīng)點(diǎn)的變換矩陣H，表達(dá)式如下：H=1000cosαsinα0-sinαcosαcosβ0-sinβ010sinβ0cosβ---(2)]]>求得變換矩陣之后，由上面兩個(gè)式子可知，坐標(biāo)系XYZ下的點(diǎn)，在坐標(biāo)系xyz下對(duì)應(yīng)的坐標(biāo)為。S1.4，已知視頻中所拍攝實(shí)景圖像幀的寬度為W，高度為H，建立球面全景圖像上任意一點(diǎn)Q與其在視圖J上對(duì)應(yīng)的點(diǎn)P的函數(shù)關(guān)系式，并計(jì)算各對(duì)應(yīng)點(diǎn)的坐標(biāo)。x=W2-fcos(π2-y′f)cos(x′f+β)cos(π2-y′f)cosαsin(x′f+β)-sin(π2-y′f)sinαy=H2-fsin(π2-y′f)cosα+fcos(π2-y′f)sinαsin(x′f+β)cos(π2-y′f)cosαsin(x′f+β)-sin(π2-y′f)sinα---(3)]]>至此完成了本發(fā)明的第一步，將720度全景視頻的圖像幀經(jīng)過(guò)反投影變換，得到視點(diǎn)空間任意視線方向上對(duì)應(yīng)的視圖，即可以對(duì)720度全景視頻進(jìn)行任意視線方向上進(jìn)行觀看。由于直接對(duì)720度全景視頻進(jìn)行全方位逐一瀏覽，存在瀏覽訪問(wèn)數(shù)據(jù)量過(guò)大的問(wèn)題，一方面容易造成觀察者的疲勞，另一方面影響關(guān)鍵信息提取的效率，基于此，本發(fā)明還包括第二步，第二步根據(jù)不同場(chǎng)景下拍攝視頻鏡頭的長(zhǎng)短提取關(guān)鍵幀，將提取出來(lái)的關(guān)鍵幀構(gòu)建一段視頻摘要，觀察者通過(guò)對(duì)重組的關(guān)鍵幀序列視頻進(jìn)行操作，達(dá)到對(duì)720度全景視頻快速瀏覽的目的。視頻是由多個(gè)不同場(chǎng)景組成的，每個(gè)場(chǎng)景下包含多個(gè)鏡頭，其中有長(zhǎng)鏡頭、短鏡頭，每個(gè)鏡頭都是由多幀關(guān)聯(lián)圖像按照一定順序播放形成的，因此視頻幀是形成視頻最基本的單元。為了能實(shí)現(xiàn)視頻的快速瀏覽，獲取視頻圖像中的關(guān)鍵幀成為視頻有效信息提取的關(guān)鍵。一般而言，不同類型的視頻會(huì)根據(jù)自身主題對(duì)拍攝場(chǎng)景有重點(diǎn)和次重點(diǎn)之分，鏡頭的長(zhǎng)短也會(huì)根據(jù)關(guān)注點(diǎn)的不同有所區(qū)分，因此通過(guò)檢測(cè)和判斷視頻中的長(zhǎng)短鏡頭，對(duì)于關(guān)鍵幀的提取更有利。S2.1，第一步得到全景視頻在不同方向上的視圖序列，將這些視頻序列按照投影在不同方向視角上的視圖序列進(jìn)行分類(一幅展開的360度全景圖由多個(gè)不同視角的圖像拼接而成，經(jīng)過(guò)反投影就是將全景圖還原到不同視角上的多張視圖，這些視圖按照序列排放，按照序號(hào)分類)，得到多個(gè)視角上可單獨(dú)瀏覽的視圖序列組。全景視頻中的一幀全景圖反投影得到的是多個(gè)視線方向上的視圖，而全景視頻反投影得到的是多個(gè)視角方向上的視頻視圖序列，每個(gè)方向上都有多張視圖。S2.2,分別對(duì)不同方向視角上的視頻序列組進(jìn)行分割處理。選用絕對(duì)亮度幀差A(yù)IFD(absoluteintensityframedifference)作為衡量視頻內(nèi)容變化程度的特征量，其定義式如下：AIFD(t)=Σx=1WΣy=1Habs(f(x,y,t+1)-f(x,y,t))---(4)]]>上式中和分別表示視頻序列中t時(shí)刻圖像幀在坐標(biāo)處像素點(diǎn)的亮度值和t+1時(shí)刻圖像幀在坐標(biāo)處像素點(diǎn)的亮度值，W和H分別表示視頻幀的寬度和高度。設(shè)某一視角方向上視頻完整播放的圖像幀數(shù)目為N，則視頻的亮度幀差均值為：AIFD(t)‾=1NAIFD(t)---(5)]]>由于同一鏡頭下像素點(diǎn)的亮度幀差變化不大，呈現(xiàn)出比較均勻的分布情況，因此可以通過(guò)計(jì)算亮度幀差均值作為判定基準(zhǔn)，設(shè)置兩個(gè)不同系數(shù)a和b，當(dāng)a和b的值設(shè)定太小時(shí)，容易誤檢；設(shè)定太大時(shí)，容易漏檢。(實(shí)驗(yàn)中a的取值為1.2，b取值為2.3，經(jīng)驗(yàn)值)，對(duì)亮度幀差均值進(jìn)行加權(quán)得到高低閾值thresh_low和thresh_high，作為鏡頭是否轉(zhuǎn)換和以哪種方式轉(zhuǎn)換的判定條件。thresh_low=a·AIFD(t)‾thresh_high=b·AIFD(t)‾---(6)]]>對(duì)視頻序列進(jìn)行分割的具體實(shí)現(xiàn)步驟為首先對(duì)輸入的視頻幀數(shù)據(jù)進(jìn)行初始化，計(jì)算t時(shí)刻相鄰兩幀的AIFD特征值，比較并判斷當(dāng)前幀的特征值與判定閾值的大小，以此來(lái)檢測(cè)當(dāng)前幀與下一幀之間是否存在鏡頭轉(zhuǎn)換。判定方法為若當(dāng)前幀特征值小于thresh_low則不存在鏡頭切換，若大于thresh_low且小于thresh_high則認(rèn)為當(dāng)前幀可能發(fā)生了漸變鏡頭轉(zhuǎn)換，若大于thresh_high則認(rèn)為當(dāng)前幀可能發(fā)生了突變鏡頭轉(zhuǎn)換，無(wú)論是漸變或突變都將當(dāng)前幀記錄為發(fā)生了鏡頭的轉(zhuǎn)換，即記錄鏡頭轉(zhuǎn)換節(jié)點(diǎn)。S2.3,運(yùn)動(dòng)分量通常用來(lái)表征視頻中內(nèi)容變化的情況，通過(guò)對(duì)計(jì)算鏡頭的運(yùn)動(dòng)量總和的計(jì)算，并與設(shè)置的運(yùn)動(dòng)量衡量門限(運(yùn)動(dòng)量衡量門限為預(yù)先設(shè)定的閾值，通常認(rèn)為同一鏡頭下兩幀圖像的直方圖差異較小，當(dāng)差異累計(jì)值即運(yùn)動(dòng)量總和超過(guò)設(shè)定的運(yùn)動(dòng)量衡量門限時(shí)，判定為長(zhǎng)鏡頭)比較，判斷鏡頭屬于長(zhǎng)鏡頭還是短鏡頭，其中表示t時(shí)刻相鄰兩視頻幀之間的相對(duì)運(yùn)動(dòng)量，就是相鄰兩幀之間的差異，用直方圖差異率來(lái)衡量的，即便是同一鏡頭下的兩幀圖像并非完全不變，只是差異值較小。表示鏡頭的持續(xù)時(shí)間，當(dāng)鏡頭運(yùn)動(dòng)量總和大于運(yùn)動(dòng)量衡量門限時(shí)判定為長(zhǎng)鏡頭，否則為短鏡頭。S2.4，對(duì)于短鏡頭按照隨機(jī)選取方法提取一個(gè)關(guān)鍵幀，長(zhǎng)鏡頭則按照鏡頭起始幀開始，等間隔的選取多幀圖像作為長(zhǎng)鏡頭的關(guān)鍵幀。S2.5，對(duì)提取的關(guān)鍵幀序列進(jìn)行重組，還原到不同視角方向上生成視頻概要，觀察者通過(guò)對(duì)視頻概要的操作達(dá)到視頻快速瀏覽的目的。當(dāng)前第1頁(yè)1 2 3