一種深度視頻編碼方法
【專利摘要】本發(fā)明公開了一種深度視頻編碼方法，其根據(jù)深度失真對(duì)虛擬視點(diǎn)圖像繪制的影響，得到原始深度視頻圖像的最大可容忍失真分布圖像，然后計(jì)算對(duì)原始深度視頻圖像進(jìn)行宏塊層編碼的編碼量化參數(shù)，接著計(jì)算對(duì)原始深度視頻圖像進(jìn)行宏塊層編碼的率失真代價(jià)函數(shù)，最后采用HBP編碼預(yù)測(cè)結(jié)構(gòu)并根據(jù)已確立的編碼量化參數(shù)和率失真代價(jià)函數(shù)對(duì)原始深度視頻圖像進(jìn)行編碼，優(yōu)點(diǎn)是本發(fā)明方法在保證虛擬視點(diǎn)圖像繪制性能的基礎(chǔ)上，充分地消除了深度視頻的視覺冗余信息，大大提高了深度視頻圖像的編碼效率，并大大降低了深度視頻圖像的編碼復(fù)雜度。
【專利說明】一種深度視頻編碼方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種視頻信號(hào)的編碼壓縮方法，尤其是涉及一種深度視頻編碼方法。

【背景技術(shù)】
[0002] 進(jìn)入本世紀(jì)以來，隨著數(shù)字2D(二維）視頻技術(shù)日趨成熟，以及計(jì)算機(jī)、通信及網(wǎng) 絡(luò)技術(shù)的快速發(fā)展，引發(fā)了人們對(duì)新一代視頻系統(tǒng)的強(qiáng)烈需求?，F(xiàn)行的二維視頻系統(tǒng)在表 現(xiàn)自然場(chǎng)景時(shí)，難以滿足用戶的立體感和視點(diǎn)交互等的需求。三維視頻系統(tǒng)由于能夠提供 立體感、視點(diǎn)交互性的全新視覺體驗(yàn)而越來越受到人們的歡迎，因此在無線視頻通信、影視 娛樂、數(shù)字動(dòng)漫、虛擬戰(zhàn)場(chǎng)、旅游觀光、遠(yuǎn)程教學(xué)等領(lǐng)域有著廣泛的應(yīng)用前景。與單通道視頻 相比，三維視頻由于包含了深度視頻信息，其數(shù)據(jù)量要遠(yuǎn)遠(yuǎn)大于傳統(tǒng)二維視頻的數(shù)據(jù)量，因 此在不影響三維視頻主觀質(zhì)量的前提下，盡可能地降低三維視頻的數(shù)據(jù)量以提高編碼效率 是一個(gè)亟需解決的問題。
[0003] 然而，直接采用彩色視頻編碼方法對(duì)深度視頻編碼，會(huì)存在如下的問題：1)深 度視頻編碼會(huì)對(duì)后續(xù)的虛擬視點(diǎn)繪制產(chǎn)生影響，其不同區(qū)域具有不同的深度敏感保真度 (cbpth sensitivity fidelity)，而傳統(tǒng)的視頻編碼器并沒有考慮這個(gè)因素；2)根據(jù)深度視 頻的數(shù)據(jù)特性，其紋理較為簡(jiǎn)單，包含較多的平坦區(qū)域，這樣不同的區(qū)域根據(jù)其重要性應(yīng)當(dāng) 分配不同的計(jì)算負(fù)載，而傳統(tǒng)的視頻編碼器給所有的區(qū)域分配相同的計(jì)算負(fù)載。因此，如何 更好地利用深度視頻圖像的深度敏感保真度，以保證獲得最優(yōu)編碼效率、計(jì)算復(fù)雜度和繪 制質(zhì)量，是一個(gè)亟需解決的問題。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問題是提供一種能夠充分地消除深度視頻的視覺冗余信 息，并能夠有效地降低深度視頻編碼復(fù)雜度的深度視頻編碼方法。
[0005] 本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為：一種深度視頻編碼方法，其特征 在于包括以下步驟：
[0006] ①將三維視頻中t時(shí)刻的原始彩色視頻圖像和t時(shí)刻的原始深度視頻圖像對(duì)應(yīng)記 為{Ιμ(χ，7)}和{Dt(x，y)}，其中，i = 1，2,3分別表示YUV顏色空間的三個(gè)分量，YUV顏 色空間的第1個(gè)分量為亮度分量并記為Y、第2個(gè)分量為第一色度分量并記為U及第3個(gè) 分量為第二色度分量并記為V，（x，y)表示{Ι μ(χ，7)}和{Dt(x，y)}中的像素點(diǎn)的坐標(biāo)位 置，

【權(quán)利要求】
1. 一種深度視頻編碼方法，其特征在于包括以下步驟： ① 將三維視頻中t時(shí)刻的原始彩色視頻圖像和t時(shí)刻的原始深度視頻圖像對(duì)應(yīng)記為 {1^(1，7)}和仉〇^7)}，其中，1 = 1，2,3分別表示￥-顏色空間的三個(gè)分量，￥爪^顏色 空間的第1個(gè)分量為亮度分量并記為Y、第2個(gè)分量為第一色度分量并記為U及第3個(gè)分 量為第二色度分量并記為V，（x，y)表示{IuUy)}和{Dt(x，y)}中的像素點(diǎn)的坐標(biāo)位 置，1彡X彡W，1彡y彡H，W表示{IwOcj)}和{Dt(x，y)}的寬度，H表示{IwOcj)}和 {Dt(x，y)}的高度，It,i(X，y)表示{IwUy)}中坐標(biāo)位置為（x，y)的像素點(diǎn)的第i個(gè)分量 的值，Dt(x，y)表示{Dt(x，y)}中坐標(biāo)位置為（x，y)的像素點(diǎn)的深度值； ② 根據(jù){It，i(x，y)}中的每個(gè)像素點(diǎn)的第1個(gè)分量的值，獲取{Dt(x，y)}中的每個(gè)像素 點(diǎn)的左方向最大可容忍失真值和右方向最大可容忍失真值；然后根據(jù){Dt(x，y)}中的每個(gè) 像素點(diǎn)的左方向最大可容忍失真值和右方向最大可容忍失真值，提取出{Dt(x，y)}的最大 可容忍失真分布圖像，記為{St(x，y)}，其中，St(x，y)表示{St(x，y)}中坐標(biāo)位置為（x，y) 的像素點(diǎn)的最大可容忍失真值； ③ 對(duì){Dt(x，y)}和{St(x，y)}分別進(jìn)行分子塊處理，然后根據(jù){St(x，y)}中的所有像素 點(diǎn)的最大可容忍失真值的均值及{St(x，y)}中的每個(gè)子塊中的所有像素點(diǎn)的最大可容忍失 真值的均值，獲取對(duì){Dt(x，y)}中的每個(gè)子塊進(jìn)行編碼的編碼量化參數(shù)和宏塊模式選擇的 率失真代價(jià)函數(shù)； ④ 采用HBP編碼預(yù)測(cè)結(jié)構(gòu)，并根據(jù)已確立的編碼量化參數(shù)和宏塊模式選擇的率失真代 價(jià)函數(shù)，對(duì){Dt(x，y)}中的每個(gè)子塊進(jìn)行編碼，完成{Dt(x，y)}的編碼過程。
2. 根據(jù)權(quán)利要求1所述的一種深度視頻編碼方法，其特征在于所述的步驟②的具體過 程為： ②-1、將{Dt(x，y)}中當(dāng)前待處理的像素點(diǎn)定義為當(dāng)前像素點(diǎn)； ②-2、將當(dāng)前像素點(diǎn)的坐標(biāo)位置記為（X1,y),如果1彡X1彡W且Y1 = 1,則直接將 當(dāng)前像素點(diǎn)的橫坐標(biāo)作為當(dāng)前像素點(diǎn)的左方向最大可容忍失真值，記為S 如果 1彡X1SW且Ky1SH,則在I^i(Xj)}中位于坐標(biāo)位置為（Xpy1)的像素點(diǎn)的水平左側(cè)的 所有像素點(diǎn)中，找出第1個(gè)分量的值與坐標(biāo)位置為（Xl，yi)的像素點(diǎn)的第1個(gè)分量的值相等 的所有像素點(diǎn)，再計(jì)算找出的每個(gè)像素點(diǎn)的橫坐標(biāo)與坐標(biāo)位置為（X1^1)的像素點(diǎn)的橫坐 標(biāo)X1的橫坐標(biāo)差值，最后將所有橫坐標(biāo)差值中值最小的橫坐標(biāo)差值作為當(dāng)前像素點(diǎn)的左方 向最大可容忍失真值，記為S1(Xpy1);同樣，如果Is^x1彡1且Y1 =H,則直接將當(dāng)前像素 點(diǎn)的橫坐標(biāo)作為當(dāng)前像素點(diǎn)的右方向最大可容忍失真值，記為SJx1,yi)，如果1彡Xl彡W 且1彡71〈11,則在{11，1(1，7)}中位于坐標(biāo)位置為（1 1，71)的像素點(diǎn)的水平右側(cè)的所有像素 點(diǎn)中，找出第1個(gè)分量的值與坐標(biāo)位置為（Xpy1)的像素點(diǎn)的第1個(gè)分量的值相等的所有像 素點(diǎn)，再計(jì)算找出的每個(gè)像素點(diǎn)的橫坐標(biāo)與坐標(biāo)位置為（Xpy1)的像素點(diǎn)的橫坐標(biāo)X1的橫 坐標(biāo)差值，最后將所有橫坐標(biāo)差值中值最大的橫坐標(biāo)差值作為當(dāng)前像素點(diǎn)的右方向最大可 容忍失真值，記為sr(X1, y);其中，1彡X1彡W，1彡Y1彡H; ②_3、根據(jù)S1(Xpy1)和L(Xl，yi)，確定當(dāng)前像素點(diǎn)的最大可容忍失真值，記為
其中，min()為取最小值函數(shù)，符號(hào) "II"為取絕對(duì)值符號(hào)； ②-4、將{Dt(x，y)}中下一個(gè)待處理的像素點(diǎn)作為當(dāng)前像素點(diǎn)，然后返回步驟②-2繼 續(xù)執(zhí)行，直至{Dt(x，y)}中的所有像素點(diǎn)處理完畢，得到{Dt(x，y)}的最大可容忍失真分布 圖像，記為{St(x，y)}，其中，St(x，y)表示{St(x，y)}中坐標(biāo)位置為（x，y)的像素點(diǎn)的最大 可容忍失真值。
3.根據(jù)權(quán)利要求1或2所述的一種深度視頻編碼方法，其特征在于所述的步驟③的具 體過程為： ③-1、計(jì)算{St(x，y)}中的所有像素點(diǎn)的最大可容忍失真值的均值，記為然后 將{Dt(x，y)}和{St(x，y)}分別劃分成
個(gè)互不重疊的尺寸大小為16X16的子 塊，將{Dt(x，y)}中當(dāng)前待處理的第k個(gè)子塊定義為當(dāng)前第一子塊，記為{ftD(x2，y2)}， 將{St(x，y)}中當(dāng)前待處理的第k個(gè)子塊定義為當(dāng)前第二子塊，記為{fts(x2，y2)}，其 中，
，（x2，y2)表示和
中的像素點(diǎn)的坐標(biāo)位置，
1彡X2彡16, 1彡y2彡16，ftD(x2,y2)表示當(dāng)前第一子塊{ftD(x2,y2)}中坐標(biāo)位置為（x2,y2) 的像素點(diǎn)的深度值，fts(x2，y2)表示當(dāng)前第二子塊{fts(x2，y2)}中坐標(biāo)位置為（x2，y2)的像 素點(diǎn)的最大可容忍失真值； ③-2、計(jì)算當(dāng)前第二子塊{fts(x2，y2)}中的所有像素點(diǎn)的最大可容忍失真值的均值，記 為Mt ; ③-3、獲取對(duì)當(dāng)前第一子塊ftD(x2，y2)進(jìn)行編碼的編碼量化參數(shù)，記為QPt，
，其中，round()為四舍五入函數(shù)，QPbase為對(duì) {Dt (X，y)}進(jìn)行編碼的基本量化步長(zhǎng)，exp()表示以自然基數(shù)e為底的指數(shù)函數(shù)，a、b和c為 控制參數(shù)； ③-4、獲取對(duì)當(dāng)前第一子塊ftD(x2,y2)進(jìn)行編碼的宏塊模式選擇的率失真代價(jià)函數(shù)， 記為
，其中，Dd表示以QPt對(duì)當(dāng)前第一子塊ftD(x2，y2)進(jìn)行編 碼的編碼失真，
》AD(x2,y2)表示以QPt對(duì)當(dāng)前第一子塊ftD(x2,y2) 進(jìn)行編碼時(shí)當(dāng)前第一子塊ftD(x2，y2)中坐標(biāo)位置為（x2，y2)的像素點(diǎn)的編碼失真，Dv表示 對(duì)以QPt對(duì)當(dāng)前第一子塊ftD(x2,y2)進(jìn)行編碼得到的解碼第一子塊進(jìn)行虛擬視點(diǎn)圖像繪 制的繪制失真，.
,
?表 示水平相機(jī)陣列中各相機(jī)的水平焦距，L表示{It;i(x，y)}所在的視點(diǎn)與虛擬視點(diǎn)之間的 基線距離，Znea,表示最小的場(chǎng)景深度值，Zfa,表示最大的場(chǎng)景深度值，▽八x2nv2)表示當(dāng)前 第一子塊ftD(x2，y2)中坐標(biāo)位置為（x2，y2)的像素點(diǎn)的梯度值，Rd表示以QPt對(duì)當(dāng)前第一 子塊ftD(x2，y2)進(jìn)行編碼的碼率，符號(hào)"II"為取絕對(duì)值符號(hào)，Xvk和為拉格朗曰參 數(shù)，
，y為調(diào)節(jié)參數(shù)，

表示當(dāng)前第一子塊ftD(x2,y2)中的所有像素點(diǎn)的梯度的平方 之和，，
，入Mde表不拉格朗日參數(shù)，
; ③-5、令
，將{Dt(x，y)}中的下一個(gè)待處理的子塊作為當(dāng)前第一子塊， 將{St(x，y)}中的下一個(gè)待處理的子塊作為當(dāng)前第二子塊，然后返回步驟③_2繼續(xù)執(zhí)行， 直至{Dt(x，y)}和{St(x，y)}中的所有子塊均處理完畢，其中，k'的初始值為0，
和：
中的"="為賦值符號(hào)。
【文檔編號(hào)】H04N19/147GK104244008SQ201410464387
【公開日】2014年12月24日 申請(qǐng)日期:2014年9月12日 優(yōu)先權(quán)日:2014年9月12日
【發(fā)明者】邵楓, 李祖團(tuán), 郁梅, 李福翠 申請(qǐng)人:寧波大學(xué)