面向3d視頻編碼的基于深度增強的重采樣方法
【技術領域】
[0001] 本發(fā)明屬于3D視頻處理技術領域，尤其設及一種面向3D視頻編碼的基于深度增強 的重采樣方法。
【背景技術】
[0002] 隨著3D視頻技術的廣泛應用，給人們帶來了立體的視覺感受。然而，高質(zhì)量的3D視 頻顯示常常需要大量的多視點視頻，其龐大的數(shù)據(jù)量在實際應用中難W實現(xiàn)。因此，多視點 加深度視頻是目前主要的3D視頻格式，它由一些彩色視頻及其對應的深度視頻組成，可W 運用視點合成技術獲得其它虛擬的多視點視頻，增加了視點數(shù)量的同時有效減少了 3D視頻 的數(shù)據(jù)量。隨著基于肥VC的多視點加深度視頻編碼標準3D-肥VC的正式發(fā)布，帶來了 3D視頻 的高效壓縮編碼。然而，隨著高清和超高清視頻的應用，用戶數(shù)量的不斷增加，龐大的3D視 頻數(shù)據(jù)量對于有限的存儲容量和傳輸帶寬來說構成了強大的挑戰(zhàn)。深度圖是由較大的平坦 區(qū)域和銳利的邊緣組成的灰度圖，特別適合于作多分辨率的轉(zhuǎn)換，從而提高3D視頻編碼的 效率。因此，面向3D視頻編碼的深度重采樣方法的研究對于提高3D視頻的獲取，壓縮和顯示 技術具有重要的意義。
[0003] 現(xiàn)有的面向3D視頻編碼的深度重采樣方法，其深度下采樣方法常用最近鄰域下采 樣方法，雙線性下采樣方法或者雙=次下采樣方法。運些下采樣方法的共同缺點是未能充 分考慮深度圖中的深度值的分布特點，容易導致重要深度信息的丟失。當重新對深度圖上 采樣后，原有的深度信息難W恢復。而常用的深度上采樣方法，采用匹配彩色圖和深度圖的 邊緣來對深度邊緣插值，從而達到邊緣保護的目的。運些方法的共同缺點是未充分考慮到 彩色視頻和深度視頻在經(jīng)過3D視頻編解碼后，彩色圖的邊緣和深度圖的邊緣往往不再相互 對應，導致對深度圖插值重建后物體的邊緣被平滑，物體的形狀發(fā)生失真，從而降低了上采 樣深度圖的質(zhì)量。因此，本發(fā)明提出了基于深度增強的重采樣方法來提高深度圖的質(zhì)量。根 據(jù)深度圖的特點是物體內(nèi)部的大部分區(qū)域的深度值是相似的，而僅在邊緣有不同的深度 值。本發(fā)明提出了基于頻率選擇的深度下采樣方法，根據(jù)采樣窗口內(nèi)深度值出現(xiàn)的頻率來 對深度下采樣，并根據(jù)運些深度值與采樣窗口中屯、像素深度值的相似度來最終確定下采樣 的深度值。同時作深度上采樣的時候，為了保護深度邊緣，本發(fā)明提出了采用基于深度圖可 信邊緣引導的深度增強方法。首先將深度圖預插值，得到原始分辨率的深度圖。然后將彩色 圖的邊緣映射到其對應的上采樣深度圖中，得到深度圖的可信邊緣。接著結(jié)合彩色圖和深 度圖空域和時域約束關系來構造實現(xiàn)深度增強的能量函數(shù)。該能量函數(shù)包含空域能量函數(shù) 和時域能量函數(shù)。其中空域能量函數(shù)包含的平滑函數(shù)項是由深度圖的可信邊緣引導下定義 的由彩色和空間相似性度量組成的能量約束函數(shù)。而時域能量函數(shù)則是由相鄰兩帖的彩色 圖相似性和深度圖相似性度量組成的能量約束函數(shù)。最后對總的空時能量函數(shù)作最小化求 解，得到最終的上采樣深度圖。本發(fā)明提出的上采樣方法同時考慮了彩色圖和深度圖的空 域和時域特征，因此能夠很好地恢復原始分辨率的深度圖，并保護深度的邊緣。因此，本發(fā) 明提出的基于頻率選擇的深度下采樣方法和基于深度圖可信邊緣引導的深度增強的上采 樣方法，在深度重采樣的過程中能夠很好地保留和恢復深度圖的邊緣信息，因此在3D視頻 解碼端能夠合成高質(zhì)量的多視點視頻。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是針對現(xiàn)有的面向3D視頻編碼的深度重采樣方法的不足，提出了一 種基于深度增強的重采樣方法。
[0005] 本發(fā)明方法對彩色視頻按原始分辨率進行編碼，對深度視頻進行降分辨率編碼。 為了保留原始深度圖的深度特征，采用基于頻率選擇的濾波方法對深度視頻下采樣。深度 下采樣方法是先把采樣窗口內(nèi)的像素 W平均值為闊值，分為兩個像素集合，選取大于窗口 內(nèi)一半總像素數(shù)目的集合為采樣集合，并選擇該集合內(nèi)出現(xiàn)次數(shù)最多的與中屯、像素最相似 的深度值為下采樣深度值。
[0006] 為了在深度上采樣過程中保護原始分辨率的深度圖的邊緣，得到連續(xù)的邊緣，對 于深度視頻上采樣，首先通過鄰域預插值生成初始的原始分辨率的深度圖。然后檢測彩色 圖的邊緣圖，在它的引導下得到其對應深度圖的可信邊緣。接著構造實現(xiàn)深度增強的空時 能量約束函數(shù)。對于該函數(shù)中的空域能量函數(shù)，根據(jù)深度圖像素與可信邊緣像素的相對位 置，定義不同的由彩色相似性和空間相似性度量的平滑函數(shù)。對于時域能量函數(shù)，它由相鄰 兩帖的彩色圖相似性W及由深度可信邊緣引導的深度圖相似性來度量。最后，采用常規(guī)的 置信傳播算法對整個空時能量函數(shù)作最小化求解得到增強后的上采樣深度圖。該深度圖與 解碼后的彩色圖用典型的基于深度圖擅染算法進行視點合成，得到所需的多視點視頻。
[0007] 本發(fā)明包括編碼方法和解碼方法。
[000引編碼方法的具體步驟是：
[0009] 步驟(1)、將彩色視頻W原始分辨率進行編碼，按編碼配置文件的參考順序輸入編 碼器；
[0010] 步驟(2)、將深度視頻采用基于頻率選擇的濾波方法進行下采樣，然后送入3D視頻 編碼器；
[0011] 步驟(3)、將彩色視頻編碼的比特流和深度視頻編碼的比特流按參考編碼順序合 并后輸出；
[0012] 解碼方法的具體步驟是：
[0013] 步驟(1)、將視頻編碼的比特流進行解碼，按參考編碼順序輸出為彩色視頻和深度 視頻；
[0014] 步驟（E)、將解碼的深度視頻，采用基于深度圖可信邊緣引導的深度增強方法進 行上采樣，得到與原始視頻相同尺寸的解碼視頻；
[0015] 步驟（虹）、采用典型的基于深度圖擅染算法將解碼后的彩色視頻和上采樣深度視 頻進行視點合成，得到所需的多視點視頻。
[0016] 本發(fā)明有益效果如下：
[0017] (1)本發(fā)明可使用多級采樣的方式實現(xiàn)不同縮放系數(shù)的深度重采樣，即每一級采 樣可W實現(xiàn)縮放系數(shù)為2的深度重采樣，因此多級采樣就可W適用于不同縮放系數(shù)的深度 重采樣；（2)本發(fā)明提出的面向3D視頻編碼的深度下采樣方法是選擇采樣窗口內(nèi)與中屯、像 素深度值最相似的出現(xiàn)頻率最高的深度值作為下采樣深度值，因此能夠很好的保留原始深 度圖中的深度值；（3)本發(fā)明提出的面向3D視頻編碼的深度上采樣方法，采用基于深度圖可 信邊緣引導的深度增強方法。首先將深度圖預插值，得到原始分辨率的深度圖。然后將彩色 圖的邊緣映射到其對應的預插值深度圖中，得到深度圖的可信邊緣。接著結(jié)合彩色圖和深 度圖空域和時域約束關系來構造實現(xiàn)深度增強的能量函數(shù)，根據(jù)預插值深度圖的像素與深 度圖可信邊緣的相對位置，定義了該能量函數(shù)的空域能量函數(shù)和時域能量函數(shù)。最后，采用 置信傳播算法對該空時能量函數(shù)作最小化求解，得到上采樣的深度圖。由于充分考慮了空 域和時域中彩色圖和深度圖的相互對應和約束關系，本發(fā)明提出的上采樣方法能夠很好地 恢復和保護深度圖的邊緣特征，從而提高合成視點的質(zhì)量。
【附圖說明】
[0018] 圖1為本發(fā)明中面向3D視頻編碼的深度重采樣方法流程圖；
[0019] 圖2為本發(fā)明中深度圖預插值上采樣方法的流程圖；
[0020] 圖3為本發(fā)明中深度圖可信邊緣生成方法的示意圖；
[0021] 圖4為本發(fā)明中基于深度圖可信邊緣引導的像素分類示意圖；
[0022] 圖5為本發(fā)明中時域能量函數(shù)系數(shù)生成的示意圖。
【具體實施方式】
[0023] 下面結(jié)合附圖和實施例對本發(fā)明作進一步的說明。
[0024] 面向3D視頻編碼的基于深度增強的重采樣方法，采用3D視頻編碼HTM模型，測試條 件參考JCT-3V的通用測試條件(JCT3V-E1100)，使用HTM模型自帶的2個視點的多視點編碼 (MV-HEVC)的配置文件baseCfg_2view.cfg,下采樣和上采樣的縮放系數(shù)S = 2。
[0025] 具體實施步驟參照附圖（1)~(4)。
[0026] 3D視頻的具體編碼方法如圖1所示：
[0027] 步驟（1)、將彩色視頻W原始分辨率進行編碼，按編碼配置文件的參考順序輸入 3D-HEVC編碼器。
[0028] 步驟（2)、將深度視頻采用基于頻率選擇的濾波方法進行下采樣，然后送入3D-肥VC編碼器。其步驟為：
[0029] a.求采樣窗口 wX W內(nèi)像素深度的平均值：
(1)
[0031] 其中，w = 3，Dn(i，j)是采樣窗口內(nèi)的像素。
[0032] b.利用平均值Dm將Dn(i，j)劃分為兩個像素集合Gh，Gl:
但)
[0034] C.下采樣點像素的深度值Dd(i，j)取值為： (3)
[0036] 其中，馬和盡，分別表示像素集合Gh，Gi內(nèi)的下采樣深度值，L = WXw表示窗口內(nèi)所 有像素的數(shù)目，L(Gh)表示集合Gh中的像素數(shù)目。由于從Gh中求解馬。與從Gi中求解/?的步驟 是一樣的，運里我們統(tǒng)一稱為從G中求解Rg,其步驟如下：
[0037] 1)遍歷集合G內(nèi)的每個像素 Gp,統(tǒng)計G內(nèi)每個深度值k出現(xiàn)的次數(shù)Nk:
[003引2)把所有的Nk從大到小的順序排列：
[0039] 化〉化〉...Nk (4)
[0040] 3)記化和化對應的深度值為化和求化和化與采樣窗口內(nèi)的中屯、像素深度值Dp的 絕對差值：
[0041 ] Ui= ID廣Dp I (5)
[00伯]U2=|D2-Dp| (6)
[0043] 4)最后，下采樣深度值Rg的值為： ' D、if U、<.U, '口\
[0044] 也二 1 ' 2 巧） IX Oihenvise
[0045] 步驟(3)、將彩色視頻編碼的比特流和深度視頻編碼的比特流按參考編碼順序合 并后輸出。<