一種3d視頻深度圖像模型模式的幀內楔形分割模式選擇方法
【技術領域】
[0001] 本發(fā)明屬于視頻編解碼技術領域，具體涉及一種3D視頻深度圖像模型模式的幀 內楔形分割模式選擇方法。
【背景技術】
[0002] 2013年1月聯(lián)合視頻開發(fā)組發(fā)布了新一代國際視頻編碼標準HEVC，也稱為H. 265。 HEVC適應了高清視頻的發(fā)展需求，同時在提高并行計算和適應移動網(wǎng)絡方面進行了改進。 與上一代的視頻編碼標準H. 264相比，新標準HEVC在得到相同視頻質量的情況下，可以減 少約50%的碼率。目前，聯(lián)合視頻開發(fā)組正致力于HEVC的優(yōu)化和擴展標準的制定，包括高 保真的擴展、多視點視頻編碼標準的MV-HEVC、可伸縮視頻編碼標準的MFC-HEVC、3D視頻編 碼標準的3D-HEVC。
[0003] 3D-HEVC標準采用了多視點加深度圖像的（MVD)的視頻格式。在MVD視頻格式里， 比特流中只需包含兩三個視點的視頻和相應的深度圖像。我們可以通過基于深度渲染技術 (DIBR)得到用戶所需要的虛擬中間視點。利用DIBR技術繪制虛擬視角，需要深度圖像提供 場景的深度信息。然而，3D-HEVC和以往的視頻編碼一樣并非無失真編碼方案，可以引起深 度圖像的失真。編碼過程中產生的失真，使得解碼端的深度值與實際的深度值有很大的偏 差。當解碼器進行渲染獲得虛擬視角時，這種深度值的偏差體現(xiàn)為視差的偏移，導致了一些 像素點無法正確地映射到虛擬視角。如果深度圖像中物體邊緣的深度值發(fā)生了失真，那么 渲染過程很可能將一些原本屬于前景的像素點映射到虛擬視點的背景區(qū)域或是將背景區(qū) 域的像素點映射到前景區(qū)域，從而引起了虛擬視角的結構失真。人眼對于結構的失真十分 敏感，因此深度圖像失真引起虛擬視角的結構失真，嚴重降低了虛擬視角視頻的主觀質量。 綜上所述，3D視頻中的深度圖像需要與傳統(tǒng)編碼方式不同的編碼方案編碼。3D-HEVC的編 碼順序是首先編碼紋理圖像，再編碼深度圖像，因此在深度圖像編碼的時候可以利用解碼 的重建的紋理圖像。
[0004] 為此，3D-HEVC針對深度圖像的特殊性質，提出了一些有效的編碼技術。首先性質 一：深度圖像的大部分為被銳利邊緣所分割的平滑區(qū)域。其次性質二：如上所述，銳利邊緣 的失真將導致合成視角的結構失真。最后性質三：深度圖像的主要作用并非是用來觀看， 而是用來合成虛擬視角。針對性質三，"3Dvideocodingwithdepthmodelingmodes andviewsynthesisoptimization,'，（K.Muller,P.Merkle,G.Tech,andT.ffiegand,Dec 2012,pp. 1 -4.) -文中使用合成視點優(yōu)化技術（VS0)作為新的率失真評價函數(shù)來選擇 編碼參數(shù)。其中包括編碼單元的大小，幀內預測模式以及運動向量等等。但是由于此方 法需要進行復雜的渲染過程，以獲得虛擬合成視角。因此，為了降低此方法的計算復雜程 度，在大多數(shù)情況下，一些基于模型的非渲染的合成視點優(yōu)化技術被廣泛采用，這些技術可 以獲得和合成視點優(yōu)化質量相當?shù)奶摂M合成視角，但是率失真的評價函數(shù)的復雜程度極 大的降低了。除此之外，針對性質二：深度圖幀內編碼還采用了非角度分割，模式模擬模 式。"Fastdepthmodelingmodeselectionfor3dhevcdepthintracoding, '，（Z.Gu,J.Zheng,N.Ling,andP.Zhang,inMultimediaandExpoWorkshops(ICMEff), 2013 IEEEInternationalConferenceon,July2013,pp. 1-4) 一文中提出了一個快速算法， 對于深度圖來說，大部分區(qū)域為被銳利邊緣所分割的平滑區(qū)域，對于平滑區(qū)域，可以跳過深 度圖像模型模式DMM。此方法已經被3D-HEVC的實驗模型采納。"Edge-basedintramode selectionfordepth-mapcodingin3D_hevc, '，（C. _S.Park,，ImageProcessing,IEEE Transactionson,vol. 24,no. 1,pp. 155 - 162,Jan2015.) 一文中通過在哈達姆變換域內 一個簡單的邊緣分類來剔除不必要的深度圖像模型模式DMM，"Complexityreductionof depthintracodingfor3DvideoextensionofHEVC, (T.daSilva,L.Agostini,and L.daSilvaCruz,inVisualCommunicationsandImageProcessingConference, 20141 EEE，Dec2014,pp. 229 - 232). -文通過利用最大可能模式和粗略模式決策來降低深度圖像 模型模式DMM的運算復雜度。
[0005] 隨著深度圖像模型模式的快速發(fā)展，深度圖像模型模式的數(shù)目有了很大的減少， 因此在減少深度圖像模型模式數(shù)目的方向上上一時難有大的突破，故而本發(fā)明從深度圖 幀內楔形分割模式快速選擇的方向入手，旨在降低選擇最優(yōu)幀內楔形分割模式的運算復雜 度，提高幀內楔形分割模式的選擇速度。幀內楔形分割模式如圖1所示。圖1是一個3D-HEVC 規(guī)定的一個幀內楔形分割模式的例子，沿起點和終點連成的直線方向將深度圖劃分為兩個 區(qū)域。為了得到最優(yōu)的幀內楔形分割模式，需要遍歷每種幀內楔形分割模式，對每種幀內楔 形分割模式都進行一次率失真評價函數(shù)的計算，最小的率失真評價函數(shù)對應的幀內楔形分 割模式為最優(yōu)的幀內楔形分割模式。
[0006] 表1不同大小的預測單元所包含的幀內楔形分割模式的數(shù)目
[0007]
[0008] 但是，如表1所示，幀內楔形分割模式的數(shù)目比較多，例如，當預測單元的大小是 8X8時，全搜索的幀內楔形分割模式的數(shù)目是766,即使用到了"Simplifiedwedgelet searchforDMMmodesland3"提出的快速算法，幀內楔形分割模式的數(shù)目也有310種， 造成選擇幀內楔形分割模式的速度較慢。本文參考的傳統(tǒng)的幀內楔形分割模式選擇方法是 3D-HEVC中的幀內楔形分割模式選擇方法，其流程圖如圖2所示，步驟如下：
[0009] 步驟201 :在一個給定的幀內楔形分割模式下，對一大小為HXH的預測單元，確定 此分割模式的兩分割區(qū)域；
[0010] 步驟202 :計算此幀內楔形分割模式兩分割區(qū)域的像素均值，記為Means^ Meansl〇
[0011]步驟203 :根據(jù)像素均值MeansJPMean31構建重建深度圖RecD，使得重建深度圖兩 個區(qū)域的像素值分別等于均值MeansJPMeansl;
[0012] 步驟204 :根據(jù)原始深度圖和重建深度圖計算合成視點失真VSD，用合成視點失真 VSD作為幀內楔形分割模式率失真評價函數(shù)。合成視點失真VSD的計算方法如下：
[0013]
[0014] 其中B是原始深度圖，SD和SD，分別代表原始深度圖和重建深度圖的像素值，ST'代 表重建的紋理圖像的像素值，a是一個由相機參數(shù)決定的系數(shù)；
[0015] 步驟205 :重復步驟201到步驟204,遍歷所有的幀內楔形分割模式，具有最小合成 視點失真VSD的幀內楔形分割模式，就是最優(yōu)的3D視頻深度圖像模型模式的幀內楔形分割 模式。
[0016] 在上述幀內楔形分割模式選擇方法中的步驟203、204和205中，在一個給定的幀 內楔形分割模式下需要獲得重建深度圖和計算合成視點失真，合成視點失真的計算需要原 始深度圖和重建深度圖，計算復雜度較高。

【發(fā)明內容】

[0017] 本發(fā)明提出了一種3D視頻深度圖像模型模式的幀內楔形分割模式選擇方法，能 夠在保證合成視角視頻質量的前提下降低運算復雜度，提高深度圖像幀內楔形分割模式的 選擇速度。
[0018] 為了解決上述技術問題，本發(fā)明提供一種3D視頻深度圖像模型模式的幀內楔形 分割模式選擇方法，用分割兩區(qū)域的方差平方和作為幀內楔形分割模式的率失真評價函 數(shù)。
[0019] 進一步，具體步驟包括：
[0020] 步驟1 :任意選擇一個幀內楔形分割模式，在所述選擇的的幀內楔形分割模式下， 對一大小為HXH的預測單元，確定其兩分割區(qū)域；
[0021] 步驟2 :分別計算所述兩分割區(qū)域各自的像素均值；
[0022] 步驟3 :根據(jù)所述像素均值分別計算兩分割區(qū)域各自的方差，根據(jù)所述兩個方差 計算獲得兩分割區(qū)域的方差平方和；
[0023] 步驟4:重復步驟1至步驟3,遍歷所有幀內楔形分割模式，將具有最小方差平方和 的幀內楔形分割模式作為最優(yōu)的幀內楔形分割模式。
[0024] 進一步，所述方差平方和SSV的計算方法為：
[0025]
[0026] 其中，Sgl和Sg^別表不幀內楔形分割模式的兩分割區(qū)域，N和M分別表不兩分割 區(qū)域內的像素個數(shù)，Si(Xl，yi)表示區(qū)域Sgl的像素值，S2 (x2,y2)表示區(qū)域Sg2的像素值，x1 和yi表示區(qū)域Sg丨內像素點坐標，x2和y2表示區(qū)域SgM像素點坐標，Mean51表示區(qū)域Sgl 的像素均值，]^311;32表示區(qū)域Sg2的像素均值。
[0027] 本發(fā)明與現(xiàn)有技術相比，其顯著優(yōu)點在于，（1)本發(fā)明只考慮原始深度圖像的方差 大小，省去了重建深度圖像的重建；（2)選擇最優(yōu)的幀內楔形模式的率失真代價函數(shù)由獲 取復雜度低的方差平方和SSV代替復雜度高的合成視點失真VSD，減少了 75%的獲取復雜 程度，降低了獲取復雜度；（3)本發(fā)明可以很好地和其他方法兼容，能夠進一步提高最優(yōu)幀 內楔形分割模式的選擇速度，方差平方和SSV可以很好的近似合成視點失真VSD，所以本方 法可以在保證合成視點質量的前提下，快速地找到最優(yōu)的幀內楔形分割模式。
【附圖說明】
[0028] 圖1是一種幀內楔形分割模式示意圖。
[0029] 圖2是傳統(tǒng)的幀內楔形分割模式選擇方法的流程圖。
[0030] 圖3是幀內楔形分割模式候選集中兩分割區(qū)域的方差分布示意圖。
[0031] 圖4是最優(yōu)的幀內楔形分割模式具有最小方差平方和的比例示意圖。
[0032] 圖5是本發(fā)明所述幀內楔形分割模式選擇方法的流程圖。
[0033] 圖6是本發(fā)明方法與圖2所示傳統(tǒng)幀內楔形分割模式選擇方法的流程對比示意 圖。
【具體實施方式】
[0034] 容易理解，依據(jù)本發(fā)明的技術方案，在不變更本發(fā)明的實質精神的情況下，本領域 的一般技術人員可以想象出本發(fā)明3D視頻深度