專(zhuān)利名稱(chēng)：面向全景視頻編碼的自適應(yīng)選擇全局運(yùn)動(dòng)估計(jì)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖象視頻編碼壓縮技術(shù)，具體地說(shuō)是一種面向全景視頻編碼的運(yùn)動(dòng)估計(jì)方法。

背景技術(shù)：
基于圖像渲染的視頻是一種全方位視頻，全方位視頻也稱(chēng)為沉浸式視頻，目的是給用戶提供虛擬現(xiàn)實(shí)體驗(yàn)，讓用戶可以觀察到周?chē)谜掌瑘D像拼接起來(lái)的場(chǎng)景。它的基本思想是使用圖像，而不是幾何圖形，做基本單位來(lái)構(gòu)成場(chǎng)景，并且同時(shí)支持虛擬的攝像機(jī)運(yùn)動(dòng)，如旋轉(zhuǎn)、縮放等全局運(yùn)動(dòng)。全方位視頻的一個(gè)典型代表就是全景視頻。
全景視頻廣泛應(yīng)用在體育節(jié)目、三維電影、多方視頻會(huì)議等應(yīng)用中。一幅全景圖像是由一個(gè)六面或者八面的魚(yú)眼攝像機(jī)繞著固定的軸做旋轉(zhuǎn)或者縮放運(yùn)動(dòng)，對(duì)攝像機(jī)周?chē)膱?chǎng)景同一時(shí)刻拍攝不同方位的照片，把這些照片用一些“縫合”技術(shù)無(wú)縫拼接，再根據(jù)柱面或者球面映射算法映射成柱面圖或者球面圖而成。因此，全景圖像的分辨率一般來(lái)說(shuō)比較高(因?yàn)槭嵌喾Ｒ?guī)圖像拼接而成)，運(yùn)動(dòng)細(xì)節(jié)更豐富(因?yàn)槠唇拥亩喾鶊D像之間有很強(qiáng)的空域相關(guān)性，全景視頻序列相鄰幀之間有很強(qiáng)的時(shí)域相關(guān)性)。而且，由于全景視頻為了要讓用戶有現(xiàn)實(shí)場(chǎng)景體驗(yàn)，一般支持虛擬的攝像機(jī)運(yùn)動(dòng)重現(xiàn)，因此，全局運(yùn)動(dòng)和局部運(yùn)動(dòng)交錯(cuò)特征更明顯。再者，柱面和球面映射算法會(huì)引起物體運(yùn)動(dòng)變形，使得運(yùn)動(dòng)估計(jì)的難度加大。二維平面坐標(biāo)映射到柱面坐標(biāo)的變換如式(3)所示 θ＝tan-1(x/z)(3) 相應(yīng)的，二維平面坐標(biāo)映射到球面坐標(biāo)的變換如上式所示 θ＝tan-1(x/z) 式(3)中，(x，y，z)是像素點(diǎn)的三維空間坐標(biāo)，θ是攝像機(jī)搖攝的角度，v是線掃描比例；式(4)中，Φ是攝像機(jī)繞固定軸旋轉(zhuǎn)角度。
基于塊匹配的運(yùn)動(dòng)估計(jì)算法，完全是建立在二維物體做平移運(yùn)動(dòng)，大小形狀不改變的基礎(chǔ)上。一旦這個(gè)前提不成立，那么基于塊匹配的運(yùn)動(dòng)估計(jì)將失去其理論基礎(chǔ)，編碼效率將嚴(yán)重下降。由公式(3)、公式(4)可以看出，在空間中，物體如果做平移運(yùn)動(dòng)，全景視頻中物體圖像將發(fā)生形變，物體運(yùn)動(dòng)也必將與傳統(tǒng)的二維平面運(yùn)動(dòng)不一致，傳統(tǒng)視頻基于塊匹配的運(yùn)動(dòng)估計(jì)算法將失去理論基礎(chǔ)。但同時(shí)，我們從二維平面坐標(biāo)映射柱面坐標(biāo)和球面坐標(biāo)的分析中可以發(fā)現(xiàn)，全景圖像物體在柱面或者球面上的運(yùn)動(dòng)形變主要表現(xiàn)為攝像機(jī)旋轉(zhuǎn)、縮放、錯(cuò)切運(yùn)動(dòng)的形變，因此，對(duì)全景視頻采用反映攝像機(jī)運(yùn)動(dòng)流的全局運(yùn)動(dòng)估計(jì)方法將會(huì)取得較為精確的運(yùn)動(dòng)估計(jì)結(jié)果和編碼壓縮效果。再者，以往的研究表明，一般來(lái)說(shuō)，越復(fù)雜的運(yùn)動(dòng)模型，可模擬的運(yùn)動(dòng)樣式越多，運(yùn)動(dòng)估計(jì)越精確，編碼壓縮率越高。特別在一些比較復(fù)雜的運(yùn)動(dòng)背景場(chǎng)景下，多參數(shù)運(yùn)動(dòng)模型往往比稀疏參數(shù)運(yùn)動(dòng)模型取得更好的運(yùn)動(dòng)預(yù)測(cè)效果。但是，多參數(shù)運(yùn)動(dòng)模型必須要付出更多的計(jì)算復(fù)雜度。由于全局運(yùn)動(dòng)估計(jì)是基于求解誤差函數(shù)最小值的原理，在現(xiàn)有的算法框架下，如Gauss-Newton迭代法和Levenberg-Marquardt迭代法，要估計(jì)的運(yùn)動(dòng)參數(shù)越多，則迭代算法的復(fù)雜性越高(呈倍數(shù)增長(zhǎng))?？紤]到視頻背景內(nèi)容的多樣性，綜合衡量計(jì)算復(fù)雜度和編碼壓縮效率，本發(fā)明提出一種基于率失真優(yōu)化的自適應(yīng)選擇最優(yōu)運(yùn)動(dòng)模型方法來(lái)對(duì)全景視頻進(jìn)行全局運(yùn)動(dòng)估計(jì)補(bǔ)償。


發(fā)明內(nèi)容
本發(fā)明的目的是提供一種達(dá)到兼顧全景視頻里各種復(fù)雜運(yùn)動(dòng)流的面向全景視頻的運(yùn)動(dòng)估計(jì)方法。
本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案是 面向全景視頻編碼的自適應(yīng)選擇全局運(yùn)動(dòng)估計(jì)方法，包括以下步驟(1)把圖像劃分為若干個(gè)子圖像塊、(2)零運(yùn)動(dòng)矢量塊判定、(3)多分辨率運(yùn)動(dòng)估計(jì)、(4)平移運(yùn)動(dòng)模型運(yùn)動(dòng)參數(shù)估計(jì)、(5)六參數(shù)運(yùn)動(dòng)模型運(yùn)動(dòng)參數(shù)估計(jì)、(6)十二參數(shù)運(yùn)動(dòng)模型運(yùn)動(dòng)參數(shù)估計(jì)和(7)率失真優(yōu)化自適應(yīng)選擇全局運(yùn)動(dòng)估計(jì)模型，步驟中 1)把一幅圖象劃分為若干個(gè)子圖象塊。具體來(lái)說(shuō)，就是把CIF圖象劃分了3×3個(gè)子圖象塊，把QCIF圖象劃分了2×2個(gè)子圖象塊。選取每個(gè)子圖象塊的中心區(qū)域作為全局運(yùn)動(dòng)估計(jì)的初始化輸入。中心區(qū)域的大小是64×64像素。考慮到運(yùn)動(dòng)物體通常集中在圖象中部，因此，位于圖象中心的子圖象塊不作為初始化輸入的候選值。
2)使用零運(yùn)動(dòng)矢量判別方法來(lái)剔除靜止區(qū)域塊。在做塊匹配運(yùn)動(dòng)估計(jì)之前，首先計(jì)算當(dāng)前塊和參考幀對(duì)應(yīng)塊之間的殘差，如果亮度均方差MSE(lum)和色度均方差MSE(chr)同時(shí)滿足以下條件，則當(dāng)前塊的模式是零矢量運(yùn)動(dòng)模式，如下式所示 式中，QP為量化步長(zhǎng)，如果當(dāng)前塊的亮度均方差MSE(lum)和色度均方差MSE(chr)不同時(shí)滿足以上條件，則當(dāng)前塊為有效的全局運(yùn)動(dòng)估計(jì)塊，進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)。
3)使用多分辨率運(yùn)動(dòng)估計(jì)。多分辨率圖像的金字塔共三層，從下至上每增加一層，圖像分辨率在水平和垂直兩個(gè)方向上都同時(shí)減半。由頂層運(yùn)動(dòng)矢量插值得到各層的校正質(zhì)量，插值方法為
在l+1層中，根據(jù)初始解搜索校正矢量ul+1，m，n，l+1層的運(yùn)動(dòng)矢量為 頂層的運(yùn)動(dòng)矢量dl，m，n和各層的校正矢量ul+1，m，n由最小化誤差函數(shù)得到；本方法設(shè)計(jì)的編碼器采用上述這種金字塔式運(yùn)動(dòng)估計(jì)搜索，搜索范圍是14個(gè)像素，對(duì)8×8塊是整像素搜索精度，對(duì)16×16塊和32×32塊是2個(gè)像素搜索精度，首先對(duì)32×32塊進(jìn)行塊匹配，依次下來(lái)是對(duì)16×16、8×8塊進(jìn)行塊匹配。其中，8×8塊是否需要進(jìn)行塊匹配取決于在做16×16塊運(yùn)動(dòng)估計(jì)時(shí)，塊內(nèi)像素點(diǎn)的平均MSE是否超過(guò)MSEspliThr 式中，λ＝0.85QP2。如果超過(guò)MSEspliThr則說(shuō)明16×16塊運(yùn)動(dòng)估計(jì)沒(méi)有達(dá)到很好的運(yùn)動(dòng)估計(jì)準(zhǔn)確度，需要將當(dāng)前16×16塊分為四個(gè)8×8塊分別進(jìn)行塊匹配和運(yùn)動(dòng)估計(jì)。
4)平移運(yùn)動(dòng)模型運(yùn)動(dòng)參數(shù)在步驟3)中計(jì)算得到。
5)六參數(shù)運(yùn)動(dòng)模型參數(shù)值估計(jì)方法采用改進(jìn)的高斯牛頓迭代法，在本方法中，估算MSE閾值被設(shè)為0.1。
6)十二參數(shù)運(yùn)動(dòng)模型運(yùn)動(dòng)參數(shù)估計(jì)過(guò)程與步驟5)中六參數(shù)運(yùn)動(dòng)模型運(yùn)動(dòng)參數(shù)估計(jì)過(guò)程相同。
7)率失真優(yōu)化自適應(yīng)選擇全局運(yùn)動(dòng)估計(jì)模型中，率失真優(yōu)化模型的拉格朗日乘子法代價(jià)函數(shù)定義如下 JMODE(Sk，Ik|Q，λMODE)＝DREC(Sk，Ik|Q)+λMODE·RREC(Sk，Ik|Q)(1) 式中Ik表示某種編碼模式；DREC(Sk，Ik|Q)表示重構(gòu)恢復(fù)圖像與原始圖像間的失真度；RREC(Sk，Ik|Q)表示對(duì)宏塊編碼后數(shù)據(jù)及相關(guān)參數(shù)在碼流中所占用的比特?cái)?shù)，包括宏塊頭，運(yùn)動(dòng)矢量，運(yùn)動(dòng)補(bǔ)償殘差等所有信息編碼所用的比特?cái)?shù)；Q表示量化參數(shù)；λMODE表示拉各朗日參數(shù)， 針對(duì)全景視頻里運(yùn)動(dòng)流的特點(diǎn)，經(jīng)過(guò)大量實(shí)驗(yàn)與對(duì)比，本發(fā)明公開(kāi)在全景視頻編碼中，式(1)中λ按下式確定 λ＝0.85×2QP/3+2QP/6(2) 在依次用平移運(yùn)動(dòng)模型法、六參數(shù)運(yùn)動(dòng)模型法和十二參數(shù)運(yùn)動(dòng)模型法進(jìn)行全局運(yùn)動(dòng)估計(jì)補(bǔ)償，量化編碼再解碼重構(gòu)過(guò)程中，使用拉各朗日乘子法把源圖像和預(yù)測(cè)圖像的失真度DREC以及編碼所使用的比特?cái)?shù)RREC，公式(2)所示的λ值代入式(1)可分別計(jì)算出各運(yùn)動(dòng)模型的代價(jià)函數(shù)值，設(shè)Jtranslation代表當(dāng)前塊使用平移運(yùn)動(dòng)模型的代價(jià)函數(shù)值，Jaffine代表當(dāng)前塊使用六參數(shù)仿射運(yùn)動(dòng)模型的代價(jià)函數(shù)值，Jquadratic代表當(dāng)前塊使用十二參數(shù)二次項(xiàng)運(yùn)動(dòng)模型的代價(jià)函數(shù)值，則三者中代價(jià)函數(shù)值最小的，被選為最優(yōu)模式，即min{Jtranslation，Jaffine，Jquadratic}。
本發(fā)明的優(yōu)點(diǎn)是使用三種候選全局運(yùn)動(dòng)估計(jì)模型平移運(yùn)動(dòng)模型、六參數(shù)運(yùn)動(dòng)模型和十二參數(shù)運(yùn)動(dòng)模型來(lái)模擬當(dāng)前幀攝像機(jī)運(yùn)動(dòng)流特點(diǎn)，并通過(guò)率失真優(yōu)化在三種候選全局運(yùn)動(dòng)估計(jì)模型中選擇最優(yōu)全局運(yùn)動(dòng)估計(jì)模型來(lái)自適應(yīng)運(yùn)動(dòng)估計(jì)視頻流中攝像機(jī)的運(yùn)動(dòng)和背景的位移，提高運(yùn)動(dòng)估計(jì)精度，使得編碼性能更高；同時(shí)，針對(duì)全景視頻運(yùn)動(dòng)細(xì)節(jié)豐富，分辨率較高的特點(diǎn)，本發(fā)明取拉格朗日參數(shù)為λ＝0.85×2QP/3+2QP/6，進(jìn)一步在壓縮碼率和圖像失真度之間取得較好的均衡。

具體實(shí)施例方式 下面結(jié)合具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步描述 步驟1中，把一幅圖象劃分為若干個(gè)子圖象塊。具體來(lái)說(shuō)，就是把CIF圖象劃分了3×3個(gè)子圖象塊，把QCIF圖象劃分了2×2個(gè)子圖象塊。選取每個(gè)子圖象塊的中心區(qū)域作為全局運(yùn)動(dòng)估計(jì)的初始化輸入。中心區(qū)域的大小是64×64像素?？紤]到運(yùn)動(dòng)物體通常集中在圖象中部，因此，位于圖象中心的子圖象塊不作為初始化輸入的候選值。
步驟2中，使用塊匹配運(yùn)動(dòng)估計(jì)算法估算背景的平移運(yùn)動(dòng)，將得到的運(yùn)動(dòng)矢量作為下一步迭代式全局運(yùn)動(dòng)參數(shù)估計(jì)的初始化輸入值?？紤]到圖象的靜止區(qū)域(即運(yùn)動(dòng)矢量為零的塊區(qū)域)往往映射到參考幀里也是同一個(gè)位置的區(qū)域，因此，把這些位于靜止區(qū)域的塊納入全局運(yùn)動(dòng)估計(jì)中，不但干擾全局運(yùn)動(dòng)估計(jì)的精確性，而且增加計(jì)算復(fù)雜度。本發(fā)明使用零運(yùn)動(dòng)矢量判別方法來(lái)剔除靜止區(qū)域塊。在做塊匹配運(yùn)動(dòng)估計(jì)之前，首先計(jì)算當(dāng)前塊和參考幀對(duì)應(yīng)塊之間的殘差，如果亮度均方差MSE(lum)和色度均方差MSE(chr)同時(shí)滿足以下條件，則當(dāng)前塊的模式是零矢量運(yùn)動(dòng)模式，如下式所示 式中，QP為量化步長(zhǎng)。如果當(dāng)前塊的亮度均方差MSE(lum)和色度均方差MSE(chr)不同時(shí)滿足以上條件，則當(dāng)前塊為有效的全局運(yùn)動(dòng)估計(jì)塊，進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)。
步驟3中，多分辨率圖像的金字塔共三層，從下至上每增加一層，圖像分辨率在水平和垂直兩個(gè)方向上都同時(shí)減半。假設(shè)l層的塊(m，n)的運(yùn)動(dòng)矢量表示為dl，m，n，進(jìn)行運(yùn)動(dòng)估計(jì)時(shí)，首先在頂層估計(jì)所有塊的運(yùn)動(dòng)矢量dl，m，n，然后由l層的運(yùn)動(dòng)矢量dl，m，n插值到l+1層的運(yùn)動(dòng)矢量，插值方法為
式中符號(hào)

表示對(duì)x下取整，即不大于x的最大整數(shù)。在l+1層中，根據(jù)初始解搜索校正矢量ul+1，m，n，l+1層的運(yùn)動(dòng)矢量為 頂層的運(yùn)動(dòng)矢量dl，m，n和各層的校正矢量ul+1，m，n由最小化誤差函數(shù)得到。
本發(fā)明設(shè)計(jì)的編碼器采用上述這種金字塔式運(yùn)動(dòng)估計(jì)搜索，搜索范圍是14個(gè)像素，對(duì)8×8塊是整像素搜索精度，對(duì)16×16塊和32×32塊是2個(gè)像素搜索精度。首先對(duì)32×32塊進(jìn)行塊匹配，依次下來(lái)是對(duì)16×16、8×8塊進(jìn)行塊匹配。其中，8×8塊是否需要進(jìn)行塊匹配取決于在做16×16塊運(yùn)動(dòng)估計(jì)時(shí)，塊內(nèi)像素點(diǎn)的平均MSE是否超過(guò)MSEspliThr 式中，λ＝0.85QP2。如果超過(guò)MSEspliThr則說(shuō)明16×16塊運(yùn)動(dòng)估計(jì)沒(méi)有達(dá)到很好的運(yùn)動(dòng)估計(jì)準(zhǔn)確度，需要將當(dāng)前16×16塊分為四個(gè)8×8塊分別進(jìn)行塊匹配和運(yùn)動(dòng)估計(jì)。這個(gè)判定條件目的是要在運(yùn)算復(fù)雜度和運(yùn)動(dòng)估計(jì)準(zhǔn)確度之間取得均衡(trade-off)。
步驟4中，平移運(yùn)動(dòng)模型運(yùn)動(dòng)參數(shù)已經(jīng)在步驟3中計(jì)算得到； 步驟5中，六參數(shù)運(yùn)動(dòng)模型參數(shù)值估計(jì)方法如下 解六參數(shù)仿射運(yùn)動(dòng)方程的關(guān)鍵是解出a1，a2，a3，a4，a5和a6六個(gè)運(yùn)動(dòng)參數(shù)。由于運(yùn)動(dòng)模型的運(yùn)動(dòng)參數(shù)的解具有不唯一性，因此需要使用層次性的迭代算法來(lái)估算運(yùn)動(dòng)參數(shù)的解。在數(shù)學(xué)方法中，解這類(lèi)方程的算法有Gauss-Newton迭代法和Levenberg-Marquardt迭代法，在本章研究中所采用的算法是Gauss-Newton迭代法。在運(yùn)動(dòng)對(duì)象區(qū)域里，我們用均方預(yù)測(cè)誤差極值法來(lái)估算仿射運(yùn)動(dòng)的六參數(shù)，均方預(yù)測(cè)誤差函數(shù)E(R，T)為 (5) 式中，DFD(x，y，a)是當(dāng)前幀第i個(gè)像素點(diǎn)的亮度值與參考幀中用全局運(yùn)動(dòng)參數(shù)位移后的對(duì)應(yīng)插值像素點(diǎn)的亮度值之間的差。使用Gauss-Newton迭代法，上式可轉(zhuǎn)化為 Gδ＝g(6) 式中，δ是每一次迭代過(guò)程中，參數(shù)初始值coefficientold和更新后的參數(shù)值coefficientnew的差，即δ＝coefficientnew-coefficientold；G是一個(gè)6×6的半正定對(duì)稱(chēng)矩陣，矩陣各個(gè)系數(shù)由DPD2(x，y，a)對(duì)運(yùn)動(dòng)參數(shù)a1，a2，a3，a4，a5和a6分別求二次偏導(dǎo)計(jì)算得出。G的矩陣系數(shù)如下式所示 其中i＝1-3，j＝1-3。將式(7)展開(kāi)，得如下矩陣


是插值像素點(diǎn)的X或Y分量對(duì)運(yùn)動(dòng)參數(shù)a的求導(dǎo)值，其計(jì)算過(guò)程如下 先把coefficientold代入六參數(shù)仿射運(yùn)動(dòng)方程算出當(dāng)前點(diǎn)的運(yùn)動(dòng)矢量，然后在參考幀中找到經(jīng)過(guò)位移后的對(duì)應(yīng)像素點(diǎn)，再對(duì)這一像素點(diǎn)進(jìn)行插值，得出新的插值像素點(diǎn)，對(duì)該插值像素點(diǎn)的X或Y分量對(duì)運(yùn)動(dòng)參數(shù)a求偏導(dǎo)，最后得出

如下面式子所示 式(9)是DPD(x，y，a)對(duì)Δx求偏導(dǎo)，式(10)是DPD(x，y，a)對(duì)Δy求偏導(dǎo)。
在六參數(shù)仿射運(yùn)動(dòng)方程中，Δx＝a1x+a2y+a3，Δy＝a4x+a5y+a6，因此，

的值可由Δx對(duì)a1，a2，a3分別求偏導(dǎo)得到，

的值可由Δy對(duì)a4，a5，a6分別求偏導(dǎo)得到 讓dx代表

dy代表

把式(9)、式(10)、式(11)代入式(8)，可得到如下6×6矩陣
在式(6)中，g是一個(gè)六系數(shù)向量，有如下形式 類(lèi)似的，我們令dx代表

dy代表

En代表DPD(x，y，c)，把式(9)、式(10)、式(11)代入式(13)，則式(13)可轉(zhuǎn)化為如下6×1矩陣 在式(6)中，向量δ是長(zhǎng)度為6的運(yùn)動(dòng)參數(shù)殘差矩陣 把式(12)、式(14)、式(15)代入式(6)，可得出向量δ里各個(gè)運(yùn)動(dòng)參數(shù)殘差的值。則更新后的運(yùn)動(dòng)參數(shù)值anew＝δ+aold。將anew代入式(6)得出當(dāng)前塊內(nèi)各像素點(diǎn)的運(yùn)動(dòng)矢量，通過(guò)運(yùn)動(dòng)補(bǔ)償?shù)玫较袼攸c(diǎn)預(yù)測(cè)值，進(jìn)而算出當(dāng)前塊和預(yù)測(cè)塊之間的預(yù)測(cè)均方差MSEtemp，如果MSEtemp滿足以下條件，則停止迭代，產(chǎn)生最終的仿射運(yùn)動(dòng)方程的六個(gè)運(yùn)動(dòng)參數(shù)；否則，將anew當(dāng)成aold作為下一輪高斯牛頓迭代的初始輸入值，繼續(xù)執(zhí)行以上高斯牛頓迭代步驟。
MSEtemp＜MSEmin(16) 式中，MSEmin是一估算MSE閾值，在本發(fā)明中，MSEmin的值被設(shè)為0.1。
步驟6中，十二參數(shù)運(yùn)動(dòng)模型運(yùn)動(dòng)參數(shù)估計(jì)過(guò)程與步驟5中六參數(shù)運(yùn)動(dòng)模型運(yùn)動(dòng)參數(shù)估計(jì)過(guò)程相同； 步驟7中，使用拉格朗日參數(shù)λ＝0.85×2QP/3+2QP/6的率失真優(yōu)化模型來(lái)分別計(jì)算平移運(yùn)動(dòng)模型，六參數(shù)運(yùn)動(dòng)模型和十二參數(shù)運(yùn)動(dòng)模型的代價(jià)函數(shù)值，并從中選出代價(jià)函數(shù)值最小的作為當(dāng)前幀的最優(yōu)全局運(yùn)動(dòng)模型。
最后所應(yīng)說(shuō)明的是，以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案而非限制。盡管參照實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，對(duì)本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換，都不脫離本發(fā)明技術(shù)方案的精神和范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求內(nèi)。
權(quán)利要求
1.面向全景視頻編碼的自適應(yīng)選擇全局運(yùn)動(dòng)估計(jì)方法，包括以下步驟(1)把圖像劃分為若干個(gè)子圖像塊、(2)零運(yùn)動(dòng)矢量塊判定、(3)多分辨率運(yùn)動(dòng)估計(jì)、(4)平移運(yùn)動(dòng)模型運(yùn)動(dòng)參數(shù)估計(jì)、(5)六參數(shù)運(yùn)動(dòng)模型運(yùn)動(dòng)參數(shù)估計(jì)和(6)十二參數(shù)運(yùn)動(dòng)模型運(yùn)動(dòng)參數(shù)估計(jì)，其特征在于增設(shè)了(7)率失真優(yōu)化自適應(yīng)選擇全局運(yùn)動(dòng)估計(jì)模型，步驟中
1)把一幅圖象劃分為若干個(gè)子圖象塊，具體來(lái)說(shuō)，就是把CIF圖象劃分了3×3個(gè)子圖象塊，把QCIF圖象劃分了2×2個(gè)子圖象塊，選取每個(gè)子圖象塊的中心區(qū)域作為全局運(yùn)動(dòng)估計(jì)的初始化輸入，中心區(qū)域的大小是64×64像素，考慮到運(yùn)動(dòng)物體通常集中在圖象中部，因此，位于圖象中心的子圖象塊不作為初始化輸入的候選值；
2)使用零運(yùn)動(dòng)矢量判別方法來(lái)剔除靜止區(qū)域塊，在做塊匹配運(yùn)動(dòng)估計(jì)之前，首先計(jì)算當(dāng)前塊和參考幀對(duì)應(yīng)塊之間的殘差，如果亮度均方差MSE(lum)和色度均方差MSE(chr)同時(shí)滿足以下條件，則當(dāng)前塊的模式是零矢量運(yùn)動(dòng)模式，如下式所示
式中，QP為量化步長(zhǎng)，如果當(dāng)前塊的亮度均方差MSE(lum)和色度均方差MSE(chr)不同時(shí)滿足以上條件，則當(dāng)前塊為有效的全局運(yùn)動(dòng)估計(jì)塊，進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)；
3)使用多分辨率運(yùn)動(dòng)估計(jì)，多分辨率圖像的金字塔共三層，從下至上每增加一層，圖像分辨率在水平和垂直兩個(gè)方向上都同時(shí)減半，由頂層運(yùn)動(dòng)矢量插值得到各層的校正質(zhì)量，插值方法為
在l+1層中，根據(jù)初始解搜索校正矢量ul+1，m，n，l+1層的運(yùn)動(dòng)矢量為
頂層的運(yùn)動(dòng)矢量dl，m，n和各層的校正矢量ul+1，m，n由最小化誤差函數(shù)得到；本方法設(shè)計(jì)的編碼器采用上述這種金字塔式運(yùn)動(dòng)估計(jì)搜索，搜索范圍是14個(gè)像素，對(duì)8×8塊是整像素搜索精度，對(duì)16×16塊和32×32塊是2個(gè)像素搜索精度，首先對(duì)32×32塊進(jìn)行塊匹配，依次下來(lái)是對(duì)16×16、8×8塊進(jìn)行塊匹配，其中，8×8塊是否需要進(jìn)行塊匹配取決于在做16×16塊運(yùn)動(dòng)估計(jì)時(shí)，塊內(nèi)像素點(diǎn)的平均MSE是否超過(guò)MSEspliThr
式中，λ＝0.85QP2，如果超過(guò)MSEspliThr則說(shuō)明16×16塊運(yùn)動(dòng)估計(jì)沒(méi)有達(dá)到很好的運(yùn)動(dòng)估計(jì)準(zhǔn)確度，需要將當(dāng)前16×16塊分為四個(gè)8×8塊分別進(jìn)行塊匹配和運(yùn)動(dòng)估計(jì)；
4)平移運(yùn)動(dòng)模型運(yùn)動(dòng)參數(shù)在步驟(3)中計(jì)算得到；
5)六參數(shù)運(yùn)動(dòng)模型參數(shù)值估計(jì)方法采用改進(jìn)的高斯牛頓迭代法，在本方法中，估算MSE閾值被設(shè)為0.1；
6)十二參數(shù)運(yùn)動(dòng)模型運(yùn)動(dòng)參數(shù)估計(jì)過(guò)程與步驟5)中六參數(shù)運(yùn)動(dòng)模型運(yùn)動(dòng)參數(shù)估計(jì)過(guò)程相同；
7)率失真優(yōu)化自適應(yīng)選擇全局運(yùn)動(dòng)估計(jì)模型中，率失真優(yōu)化模型的拉格朗日乘子法代價(jià)函數(shù)定義如下
JMODE(Sk，Ik|Q，λMODE)＝DREC(Sk，Ik|Q)+λMODE·RREC(Sk，Ik|Q)(1)
式中Ik表示某種編碼模式；DREC(Sk，Ik|Q)表示重構(gòu)恢復(fù)圖像與原始圖像間的失真度；RREC(Sk，Ik|Q)表示對(duì)宏塊編碼后數(shù)據(jù)及相關(guān)參數(shù)在碼流中所占用的比特?cái)?shù)，包括宏塊頭，運(yùn)動(dòng)矢量，運(yùn)動(dòng)補(bǔ)償殘差等所有信息編碼所用的比特?cái)?shù)；Q表示量化參數(shù)；λMODE表示拉各朗日參數(shù)，
針對(duì)全景視頻里運(yùn)動(dòng)流的特點(diǎn)，經(jīng)過(guò)大量實(shí)驗(yàn)與對(duì)比，本發(fā)明公開(kāi)在全景視頻編碼中，式(1)中λ按下式確定
λ＝0.85×2QP/3+2QP/6(2)
在依次用平移運(yùn)動(dòng)模型法、六參數(shù)運(yùn)動(dòng)模型法和十二參數(shù)運(yùn)動(dòng)模型法進(jìn)行全局運(yùn)動(dòng)估計(jì)補(bǔ)償，量化編碼再解碼重構(gòu)過(guò)程中，使用拉各朗日乘子法把源圖像和預(yù)測(cè)圖像的失真度DREC以及編碼所使用的比特?cái)?shù)RREC，公式(2)所示的λ值代入式(1)可分別計(jì)算出各運(yùn)動(dòng)模型的代價(jià)函數(shù)值，設(shè)Jtranslation代表當(dāng)前塊使用平移運(yùn)動(dòng)模型的代價(jià)函數(shù)值，Jaffine代表當(dāng)前塊使用六參數(shù)仿射運(yùn)動(dòng)模型的代價(jià)函數(shù)值，Jquadratic代表當(dāng)前塊使用十二參數(shù)二次項(xiàng)運(yùn)動(dòng)模型的代價(jià)函數(shù)值，則三者中代價(jià)函數(shù)值最小的，被選為最優(yōu)模式，即min{Jtranslation，Jaffine，Jquadratic}。
全文摘要
本發(fā)明公開(kāi)了一種面向全景視頻編碼的自適應(yīng)選擇全局運(yùn)動(dòng)估計(jì)方法，包括以下步驟(1)把圖像劃分為若干個(gè)子圖像塊、(2)零運(yùn)動(dòng)矢量塊判定、(3)多分辨率運(yùn)動(dòng)估計(jì)、(4)平移運(yùn)動(dòng)模型運(yùn)動(dòng)參數(shù)估計(jì)、(5)六參數(shù)運(yùn)動(dòng)模型運(yùn)動(dòng)參數(shù)估計(jì)和(6)十二參數(shù)運(yùn)動(dòng)模型運(yùn)動(dòng)參數(shù)估計(jì)和(7)率失真優(yōu)化自適應(yīng)選擇全局運(yùn)動(dòng)估計(jì)模型。本發(fā)明的優(yōu)點(diǎn)是通過(guò)率失真優(yōu)化選擇最優(yōu)全局運(yùn)動(dòng)估計(jì)模型可較好的描述當(dāng)前幀攝像機(jī)運(yùn)動(dòng)流特點(diǎn)，使得運(yùn)動(dòng)估計(jì)更精確，編碼性能更高；同時(shí)，針對(duì)全景視頻運(yùn)動(dòng)細(xì)節(jié)豐富，分辨率較高的特點(diǎn)，本發(fā)明取拉格朗日參數(shù)為λ＝0.85×2QP/3+2QP/6，進(jìn)一步在壓縮碼率和圖像失真度之間取得較好的均衡。
文檔編號(hào)H04N7/32GK101771878SQ201010045630
公開(kāi)日2010年7月7日 申請(qǐng)日期2010年1月14日 優(yōu)先權(quán)日2010年1月14日
發(fā)明者覃團(tuán)發(fā), 鄭嘉利 申請(qǐng)人:廣西大學(xué)