專利名稱：一種基于深度圖像繪制的立體視頻編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻信號(hào)的編碼壓縮方法，尤其是涉及一種基于深度圖像繪制的立體視頻編碼方法。
背景技術(shù)：
進(jìn)入本世紀(jì)以來(lái)，隨著數(shù)字2D(二維)視頻技術(shù)日趨成熟，以及計(jì)算機(jī)、通信及網(wǎng)絡(luò)技術(shù)的快速發(fā)展，引發(fā)了人們對(duì)新一代視頻系統(tǒng)的強(qiáng)烈需求。現(xiàn)行的二維視頻系統(tǒng)在表現(xiàn)自然場(chǎng)景時(shí)，難以滿足用戶的立體感和視點(diǎn)交互等的需求。(立體)三維視頻系統(tǒng)由于能夠提供立體感、視點(diǎn)交互性的全新視覺(jué)體驗(yàn)而越來(lái)越受到人們的歡迎，因此在無(wú)線視頻通信、影視娛樂(lè)、數(shù)字動(dòng)漫、虛擬戰(zhàn)場(chǎng)、旅游觀光、遠(yuǎn)程教學(xué)等領(lǐng)域有著廣泛的應(yīng)用前景。與單通道視頻相比，立體視頻要處理至少翻一倍的數(shù)據(jù)量，因此在不影響立體視頻主觀質(zhì)量的前提下，盡可能地降低立體視頻的編碼碼率是一個(gè)亟需解決的問(wèn)題。目前，已有基于視點(diǎn)合成預(yù)測(cè)(view synthesis prediction)、右視點(diǎn)下采樣(down sampling)的方法對(duì)立體視頻的右視點(diǎn)視頻進(jìn)行編碼，以降低立體視頻的編碼碼率。然而，現(xiàn)有的立體/多視點(diǎn)視頻編碼的研究并沒(méi)有充分利用立體視頻的冗余信息，這是因?yàn)橐环矫妫捎谏疃仁怯脕?lái)表征場(chǎng)景幾何的負(fù)載信息，左右視點(diǎn)的相關(guān)性(冗余信息)可以通過(guò)基于深度圖像的繪制來(lái)反映(消除)；另一方面，由于深度估計(jì)的不精確，繪制得到的右視點(diǎn)圖像與真實(shí)圖像之間會(huì)存在幾何失真，并且會(huì)在繪制得到的右視點(diǎn)圖像中產(chǎn)生新的空洞，嚴(yán)重影響了右視點(diǎn)圖像的質(zhì)量，因此，如何通過(guò)基于深度圖像的繪制來(lái)降低右視點(diǎn)圖像的傳輸碼率并保持較高的右視點(diǎn)圖像重構(gòu)質(zhì)量，都是立體視頻數(shù)據(jù)的編碼過(guò)程中需要研究解決的問(wèn)題。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種基于深度圖像繪制的立體視頻編碼方法， 其能夠充分地消除立體視頻的冗余信息，且能夠有效地提高立體視頻的編碼效率。本發(fā)明解決上述技術(shù)問(wèn)題所采用的技術(shù)方案為一種基于深度圖像繪制的立體視頻編碼方法，其特征在于包括以下步驟①將外部立體視頻捕獲工具捕獲得到的未經(jīng)處理的且顏色空間為YUV的彩色立體視頻及其對(duì)應(yīng)的深度立體視頻定義為原始三維立體視頻，在空域上該原始三維立體視頻包括原始左視點(diǎn)三維視頻和原始右視點(diǎn)三維視頻，原始左視點(diǎn)三維視頻包括原始左視點(diǎn)彩色視頻和原始左視點(diǎn)深度視頻，原始左視點(diǎn)彩色視頻主要由若干個(gè)幀組的原始左視點(diǎn)彩色圖像組成，原始左視點(diǎn)深度視頻主要由若干個(gè)幀組的原始左視點(diǎn)深度圖像組成，原始右視點(diǎn)三維視頻包括原始右視點(diǎn)彩色視頻和原始右視點(diǎn)深度視頻，原始右視點(diǎn)彩色視頻主要由若干個(gè)幀組的原始右視點(diǎn)彩色圖像組成，原始右視點(diǎn)深度視頻主要由若干個(gè)幀組的原始右視點(diǎn)深度圖像組成；②將t時(shí)刻的原始左視點(diǎn)彩色圖像記為K,(x，>0j，將t時(shí)刻的原始左視點(diǎn)深度圖
8像記為[Df(U))，將t時(shí)刻的原始右視點(diǎn)彩色圖像記為{《(xj)}，將t時(shí)刻的原始右視點(diǎn)深度圖像記為[Df(A>0l，其中，i = 1，2，3分別表示YUV顏色空間的三個(gè)分量，YUV顏色空間
的第1個(gè)分量為亮度分量并記為Y、第2個(gè)分量為第一色度分量并記為U及第3個(gè)分量為第二色度分量并記為V，(x, y)表示彩色圖像或深度圖像中像素點(diǎn)的坐標(biāo)位置，1 ^ χ ^ W, l^y^ H，W表示彩色圖像或深度圖像的寬度，H表示彩色圖像或深度圖像的高度，《(x，>0
表示t時(shí)刻的原始左視點(diǎn)彩色圖像[^.(x，>0j中坐標(biāo)位置為(x，y)的像素點(diǎn)的第i個(gè)分量的值，Ai(U)表示t時(shí)刻的原始左視點(diǎn)深度圖像中坐標(biāo)位置為(χ，y)的像素點(diǎn)的深度值，《(x,>0表示t時(shí)刻的原始右視點(diǎn)彩色圖像i《(A>0j中坐標(biāo)位置為(x，y)的像素點(diǎn)的第i個(gè)分量的值，Df(U)表示t時(shí)刻的原始右視點(diǎn)深度圖像[of (x，>0j中坐標(biāo)位置為(X， y)的像素點(diǎn)的深度值；③采用基于深度圖像繪制的方法，將t時(shí)刻的原始左視點(diǎn)彩色圖像{《(x,>0j從左
視點(diǎn)投影到右視點(diǎn)，得到t時(shí)刻的原始右視點(diǎn)彩色圖像的繪制圖像，記為p^X^+其中，
ζ.(χ,>0表示t時(shí)刻的原始右視點(diǎn)彩色圖像的繪制圖像丨巧仁，力丨中坐標(biāo)位置為(X，y)的像素點(diǎn)的第i個(gè)分量的值；④計(jì)算t時(shí)刻的原始右視點(diǎn)彩色圖像K.(X,M與t時(shí)刻的原始右視點(diǎn)彩色圖像的繪制圖像K(XJ)丨的殘差圖像，記為Κ(χ，>0}，Et(XJ)=片權(quán)力-巧(X,y)，其中，EH(X, y) 表示j￡S(x，>0j中坐標(biāo)位置為(χ，y)的像素點(diǎn)的第i個(gè)分量的值；⑤對(duì)t時(shí)刻的原始右視點(diǎn)彩色圖像Μ與t時(shí)刻的原始右視點(diǎn)彩色圖像的繪
制圖像fi(x，>0j的殘差圖像1￡=仁，>01進(jìn)行預(yù)處理操作，得到預(yù)處理后的t時(shí)刻的原始右視
點(diǎn)彩色圖像g(x，_y)j與t時(shí)刻的原始右視點(diǎn)彩色圖像的繪制圖像@(x，>0j的殘差圖像，記
為{蜀仁，>0丨，其中，^^,>0表示{蜀僅>0}中坐標(biāo)位置為(χ，y)的像素點(diǎn)的第i個(gè)分量的值；⑥根據(jù)設(shè)定的編碼預(yù)測(cè)結(jié)構(gòu)對(duì)t時(shí)刻的原始左視點(diǎn)彩色圖像K,(x，>0j進(jìn)行編碼， 再將編碼后的左視點(diǎn)彩色圖像經(jīng)網(wǎng)絡(luò)傳輸給解碼端；在解碼端對(duì)編碼后的左視點(diǎn)彩色圖像進(jìn)行解碼，獲得解碼后的t時(shí)刻的左視點(diǎn)彩色圖像，記為·(^(x,>0j，其中J“x,>o表示解碼
后的t時(shí)刻的左視點(diǎn)彩色圖像中坐標(biāo)位置為(X，y)的像素點(diǎn)的第i個(gè)分量的值；⑦根據(jù)設(shè)定的編碼預(yù)測(cè)結(jié)構(gòu)對(duì)預(yù)處理后的t時(shí)刻的原始右視點(diǎn)彩色圖像 {《.(Χ，>0}與t時(shí)刻的原始右視點(diǎn)彩色圖像的繪制圖像仗權(quán)力}的殘差圖像[ζ(Χ，>0丨進(jìn)行編碼，再將編碼后的t時(shí)刻的殘差圖像經(jīng)網(wǎng)絡(luò)傳輸給解碼端；在解碼端對(duì)編碼后的t時(shí)刻的殘差圖像進(jìn)行解碼，獲得解碼后的t時(shí)刻的殘差圖像，記為俾(XJ)丨，其中，總(XJ)表示解
碼后的t時(shí)刻的殘差圖像[^.(χ，> 中坐標(biāo)位置為(X，y)的像素點(diǎn)的第i個(gè)分量的值；
9
⑧采用與步驟③相同的操作，將解碼后的t時(shí)刻的左視點(diǎn)彩色圖像從左
視點(diǎn)投影到右視點(diǎn)，得到解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的繪制圖像，記為j7;〗(x,>oj，其
中，7^(χ,>0表示解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的繪制圖像丨巧&,>0丨中坐標(biāo)位置為(χ， y)的像素點(diǎn)的第i個(gè)分量的值；⑨根據(jù)解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的繪制圖像和解碼后的t時(shí)刻的殘差圖像pi(x,>0j，得到解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的最終重構(gòu)圖像，記為
{ifMy)}，其中，g(χ，>0表示解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的最終重構(gòu)圖像丨巧仁，力}
中坐標(biāo)位置為(X，y)的像素點(diǎn)的第i個(gè)分量的值。所述的步驟③的具體過(guò)程為③-1、定義t時(shí)刻的原始左視點(diǎn)彩色圖像中當(dāng)前正在處理的像素點(diǎn)為當(dāng)前像素點(diǎn)；③_2、將當(dāng)前像素點(diǎn)的圖像坐標(biāo)位置記為(Xl，yi)，將當(dāng)前像素點(diǎn)的圖像坐標(biāo)位置(X1, Y1)從二維圖像平面投影到三維場(chǎng)景平面，得到當(dāng)前像素點(diǎn)的圖像坐標(biāo)位置(Xl，Y1) 的投影坐標(biāo)位置，記為…，V,^，0/,=R1A1Ix1,Zf(X1J1) + !;，其中，Zf(X1J1)表
示t時(shí)刻的原始左視點(diǎn)深度圖像[Df&，>0j中坐標(biāo)位置為U1, Y1)的像素點(diǎn)的場(chǎng)景深度，
權(quán)利要求
1. 一種基于深度圖像繪制的立體視頻編碼方法，其特征在于包括以下步驟①將外部立體視頻捕獲工具捕獲得到的未經(jīng)處理的且顏色空間為YUV的彩色立體視頻及其對(duì)應(yīng)的深度立體視頻定義為原始三維立體視頻，在空域上該原始三維立體視頻包括原始左視點(diǎn)三維視頻和原始右視點(diǎn)三維視頻，原始左視點(diǎn)三維視頻包括原始左視點(diǎn)彩色視頻和原始左視點(diǎn)深度視頻，原始左視點(diǎn)彩色視頻主要由若干個(gè)幀組的原始左視點(diǎn)彩色圖像組成，原始左視點(diǎn)深度視頻主要由若干個(gè)幀組的原始左視點(diǎn)深度圖像組成，原始右視點(diǎn)三維視頻包括原始右視點(diǎn)彩色視頻和原始右視點(diǎn)深度視頻，原始右視點(diǎn)彩色視頻主要由若干個(gè)幀組的原始右視點(diǎn)彩色圖像組成，原始右視點(diǎn)深度視頻主要由若干個(gè)幀組的原始右視點(diǎn)深度圖像組成；②將t時(shí)刻的原始左視點(diǎn)彩色圖像記為· / (χ,>0 ，將t時(shí)刻的原始左視點(diǎn)深度圖像記為Pf(^)I，將t時(shí)刻的原始右視點(diǎn)彩色圖像記為K.(x，>0j，將t時(shí)刻的原始右視點(diǎn)深度圖像記為[o;^，>0l，其中，i = 1，2，3分別表示YUV顏色空間的三個(gè)分量，YUV顏色空間的第1個(gè)分量為亮度分量并記為Y、第2個(gè)分量為第一色度分量并記為U及第3個(gè)分量為第二色度分量并記為V，(x, y)表示彩色圖像或深度圖像中像素點(diǎn)的坐標(biāo)位置，1 ^ χ ^ W, 1 ^y ^ H，W表示彩色圖像或深度圖像的寬度，H表示彩色圖像或深度圖像的高度，《(x，>0表示t時(shí)刻的原始左視點(diǎn)彩色圖像{《(x,>0j中坐標(biāo)位置為(x，y)的像素點(diǎn)的第i個(gè)分量的值，Df(Xj)表示t時(shí)刻的原始左視點(diǎn)深度圖像中坐標(biāo)位置為U，Y)的像素點(diǎn)的深度值，《(X，>0表示t時(shí)刻的原始右視點(diǎn)彩色圖像i《(A>0j中坐標(biāo)位置為(x，y)的像素點(diǎn)的第i個(gè)分量的值，Df(U)表示t時(shí)刻的原始右視點(diǎn)深度圖像[of &，>0j中坐標(biāo)位置為(X， y)的像素點(diǎn)的深度值；③采用基于深度圖像繪制的方法，將t時(shí)刻的原始左視點(diǎn)彩色圖像[^.(x，>0j從左視點(diǎn)投影到右視點(diǎn)，得到t時(shí)刻的原始右視點(diǎn)彩色圖像的繪制圖像，記為pau+其中，ζ.(χ,>0表示t時(shí)刻的原始右視點(diǎn)彩色圖像的繪制圖像丨巧仁，力丨中坐標(biāo)位置為(X，y)的像素點(diǎn)的第i個(gè)分量的值；④計(jì)算t時(shí)刻的原始右視點(diǎn)彩色圖像與t時(shí)刻的原始右視點(diǎn)彩色圖像的繪制圖像K(XJ)丨的殘差圖像，記為牧仁，力丨,Ef1(XJ) =片辦，力-矻(X，y)，其中，￡2(x,>0表示 j￡S(x，>0j中坐標(biāo)位置為(χ，y)的像素點(diǎn)的第i個(gè)分量的值；⑤對(duì)t時(shí)刻的原始右視點(diǎn)彩色圖像與t時(shí)刻的原始右視點(diǎn)彩色圖像的繪制圖像fi(x，>0j的殘差圖像1￡=仁，>01進(jìn)行預(yù)處理操作，得到預(yù)處理后的t時(shí)刻的原始右視點(diǎn)彩色圖像g(x，_y)j與t時(shí)刻的原始右視點(diǎn)彩色圖像的繪制圖像@(x，>oj的殘差圖像，記為 {蜀仁，力丨，其中，貧私力表示俟辦，力丨中坐標(biāo)位置為(χ，y)的像素點(diǎn)的第i個(gè)分量的值；⑥根據(jù)設(shè)定的編碼預(yù)測(cè)結(jié)構(gòu)對(duì)t時(shí)刻的原始左視點(diǎn)彩色圖像進(jìn)行編碼，再將編碼后的左視點(diǎn)彩色圖像經(jīng)網(wǎng)絡(luò)傳輸給解碼端；在解碼端對(duì)編碼后的左視點(diǎn)彩色圖像進(jìn)行解碼，獲得解碼后的t時(shí)刻的左視點(diǎn)彩色圖像，記為·，其中，表示解碼后的t時(shí)刻的左視點(diǎn)彩色圖像Ρ (χ，>θ}中坐標(biāo)位置為(x，y)的像素點(diǎn)的第i個(gè)分量的值；⑦根據(jù)設(shè)定的編碼預(yù)測(cè)結(jié)構(gòu)對(duì)預(yù)處理后的t時(shí)刻的原始右視點(diǎn)彩色圖像K.(x，>0j與t時(shí)刻的原始右視點(diǎn)彩色圖像的繪制圖像^ (χ，> 的殘差圖像i」^Xx,_y)j進(jìn)行編碼，再將編碼后的t時(shí)刻的殘差圖像經(jīng)網(wǎng)絡(luò)傳輸給解碼端；在解碼端對(duì)編碼后的t時(shí)刻的殘差圖像進(jìn)行解碼，獲得解碼后的t時(shí)刻的殘差圖像，記為[^.(x，>oj，其中，#(χ，>0表示解碼后的t時(shí)刻的殘差圖像 」 (χ，>θ}中坐標(biāo)位置為(X，y)的像素點(diǎn)的第i個(gè)分量的值；⑧采用與步驟③相同的操作，將解碼后的t時(shí)刻的左視點(diǎn)彩色圖像pi(x，>0j從左視點(diǎn)投影到右視點(diǎn)，得到解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的繪制圖像，記為·(巧(x,_y)j，其中，7^(x,>0表示解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的繪制圖像丨 ;〗(χ,>0丨中坐標(biāo)位置為U，y) 的像素點(diǎn)的第i個(gè)分量的值；⑨根據(jù)解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的繪制圖像和解碼后的t時(shí)刻的殘差圖像[^僅>01，得到解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的最終重構(gòu)圖像，記為Ig(Xj)I，其中，g(x,>0表示解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的最終重構(gòu)圖像fg(x，>0j中坐標(biāo)位置為(χ，y)的像素點(diǎn)的第i個(gè)分量的值。
2.根據(jù)權(quán)利要求1所述的一種基于深度圖像繪制的立體視頻編碼方法，其特征在于所述的步驟③的具體過(guò)程為③-1、定義t時(shí)刻的原始左視點(diǎn)彩色圖像[C.(x，>0j中當(dāng)前正在處理的像素點(diǎn)為當(dāng)前像素占.③-2、將當(dāng)前像素點(diǎn)的圖像坐標(biāo)位置記為(Xl，yi)，將當(dāng)前像素點(diǎn)的圖像坐標(biāo)位置 (X1, Y1)從二維圖像平面投影到三維場(chǎng)景平面，得到當(dāng)前像素點(diǎn)的圖像坐標(biāo)位置(Xl，Y1) 的投影坐標(biāo)位置，記為
3.根據(jù)權(quán)利要求1或2所述的一種基于深度圖像繪制的立體視頻編碼方法，其特征在于所述的步驟⑤的具體過(guò)程為⑤-1、分別將t時(shí)刻的原始右視點(diǎn)彩色圖像K(x，>0[s t時(shí)刻的原始右視點(diǎn)彩色圖像{《(χ,>0丨與t時(shí)刻的原始右視點(diǎn)彩色圖像的繪制圖像 (χ,>0丨的殘差圖像{i (χ,>0丨分成 WxH個(gè)互不重疊的4X4子塊，定義t時(shí)刻的原始右視點(diǎn)彩色圖像{《(^”中的第k個(gè)4X4子塊為當(dāng)前第一子塊，記為[/^(X3J3)I定義t時(shí)刻的原始右視點(diǎn)彩色圖像j《(x，>0j與t時(shí)刻的原始右視點(diǎn)彩色圖像的繪制圖像碎(x,_y)j的殘差圖像[ES(Xj)丨中的第k個(gè)WxH4X4子塊為當(dāng)前第二子塊，記為j/J^^yjj，其中，l《^u，(x3，y3)表示當(dāng)前第一子土夬{/ifeh)丨或當(dāng)前第二子塊{/3( ，>0丨中的像素點(diǎn)的坐標(biāo)位置，1 ( X3 < 4，1 < y3 < 4， />3,凡)表示當(dāng)前第一子塊{03,>^中坐標(biāo)位置為(x3，y3)的像素點(diǎn)的第i個(gè)分量的值， /J(x3,_y3)表示當(dāng)前第二子塊[/J(X3J3))中坐標(biāo)位置為(x3，y3)的像素點(diǎn)的第i個(gè)分量的值；⑤-2、判斷當(dāng)前第二子塊中坐標(biāo)位置為(x3' , y3')的像素點(diǎn)的各個(gè)分量的值是否為0，如果是，則Num1 = Nunii+Ι，其中，Num1的初始值為0，1彡X3 ‘彡4， IW 彡 4;⑤_3、返回步驟⑤-2繼續(xù)對(duì)當(dāng)前第二子塊(x3,_y3)j中剩余的像素點(diǎn)進(jìn)行處理，直至當(dāng)前第二子塊[/^( ，_y3)j中的4X4個(gè)像素點(diǎn)均處理完畢；⑤_4、判斷Num1Zle > 0. 5是否成立，如果是，則將當(dāng)前第二子塊(x3,_y3)j中的各個(gè)像素點(diǎn)的各個(gè)分量的值均設(shè)為0，否則，將當(dāng)前第一子塊[^(xyjj中的各個(gè)像素點(diǎn)的各個(gè)分量的值賦給當(dāng)前第二子塊[/^( ，_y3)j中坐標(biāo)位置對(duì)應(yīng)的像素點(diǎn)的對(duì)應(yīng)分量；⑤-5、將當(dāng)前第二子塊[/^( ,凡)j中的各個(gè)像素點(diǎn)的各個(gè)分量的值作為預(yù)處理后的t時(shí)刻的原始右視點(diǎn)彩色圖像g(x，_y)j與t時(shí)刻的原始右視點(diǎn)彩色圖像的繪制圖像@(x，>0j 的殘差圖像中坐標(biāo)位置對(duì)應(yīng)的像素點(diǎn)的對(duì)應(yīng)分量的值，將預(yù)處理后的t時(shí)刻的原始右視點(diǎn)彩色圖像@(^)1與t時(shí)刻的原始右視點(diǎn)彩色圖像的繪制圖像^J(x，>0j的殘差圖像中坐標(biāo)位置為(X4，y4)的像素點(diǎn)的第i個(gè)分量的值記為蜀(X4J4)，蜀.(X4,凡)= /i(x3,>g，其中， (x4，y4)表示當(dāng)前第二子塊(x3,凡)j中坐標(biāo)位置為U3，y3)的像素點(diǎn)在t時(shí)刻的原始右視點(diǎn)彩色圖像K(x，>0}與t時(shí)刻的原始右視點(diǎn)彩色圖像的繪制圖像^J(x，>0j的殘差圖像中的坐標(biāo)位置，1 ^ x4 ^ W, 1 ^ y4 ^ H ； ⑤_6、令k" =k+l, k = k"，將t時(shí)刻的原始右視點(diǎn)彩色圖像j《(x,—中的下一個(gè) 4X4子塊作為當(dāng)前第一子塊，將t時(shí)刻的原始右視點(diǎn)彩色圖像{《(x，>0j與t時(shí)刻的原始右視點(diǎn)彩色圖像的繪制圖像^仁，；^的殘差圖像中的下一個(gè)4X4子塊作為當(dāng)前第二子塊，返回步驟⑤-2繼續(xù)執(zhí)行，直至t時(shí)刻的原始右視點(diǎn)彩色圖像及t時(shí)刻的原始右視點(diǎn)彩色圖像&(χ，Μ與t時(shí)刻的原始右視點(diǎn)彩色圖像的繪制圖像@(x，>0j的殘WxH差圖像jig. 0c，>0}中的Ii個(gè)互不重疊的4X4子塊均處理完畢，得到預(yù)處理后的t時(shí)刻的原始右視點(diǎn)彩色圖像與t時(shí)刻的原始右視點(diǎn)彩色圖像的繪制圖的殘差圖像，記為·(島(x，_y)j，其中，k"的初始值為0。
4.根據(jù)權(quán)利要求3所述的一種基于深度圖像繪制的立體視頻編碼方法，其特征在于所述的步驟⑨的具體過(guò)程為⑨-1、根據(jù)解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的繪制圖像和解碼后的t時(shí)刻的殘差圖像得到解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的初始重建圖像，記為 {ζ(χ，>0} ril^y) = T^y)+ Efa(X^y)，其中，表示解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的初始重建圖像 (χ，>^中坐標(biāo)位置為(X，y)的像素點(diǎn)的第i個(gè)分量的值；⑨-2、計(jì)算解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的初始重建圖像的空洞掩膜圖像，記為{似；^,>01，如果巧@，>))=0，則似；^，>0=0，否則，似；^，>0=1，其中，似；^，>))表示解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的初始重建圖像{ζ(χ，>0}的空洞掩膜圖像{Λ<(Χ,>0} 中坐標(biāo)位置為(X，y)的像素點(diǎn)的像素值；⑨-3、定義解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的初始重建圖像中當(dāng)前正在處理的且在空洞掩膜圖像中像素值為0的像素點(diǎn)為當(dāng)前像素點(diǎn)；⑨_4、將當(dāng)前像素點(diǎn)的坐標(biāo)位置記為0，將當(dāng)前像素點(diǎn)的像素值記為4°〕，將與當(dāng)前像素點(diǎn)相鄰的東、南、西、北四個(gè)方向的像素點(diǎn)的坐標(biāo)位置分別記為E、S、W、N，將解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的初始重建圖像 巧中坐標(biāo)位置為E、S、W、N的像素點(diǎn)的像素值分別記為<〕、40)> <)、4°〕，將與當(dāng)前像素點(diǎn)相鄰的東北、西北、西南、東南四個(gè)方向的像素點(diǎn)的坐標(biāo)位置分別記為NE、NW、SW、SE，將解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的初始重建圖中坐標(biāo)位置為NE、NW、SW、SE的像素點(diǎn)的像素值分別記為<、《、⑨-5、將解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的初始重建圖像j@(x，>0j中坐標(biāo)位置為E的像素點(diǎn)的梯度值記為I V<〕I，將解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的初始重建圖像中坐標(biāo)位置為S的像素點(diǎn)的梯度值記為I Vi^0I，將解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的初始重建圖像 (χ，>^中坐標(biāo)位置為W的像素點(diǎn)的梯度值記為 I V^ I，將解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的初始重建圖像g〗(x，>^中坐標(biāo)位置為N 的像素點(diǎn)的梯度值記為IV^Pl，計(jì)算|V《〕|經(jīng)過(guò)1' -1次迭代后的值，記為|V《'—υ|，IV4''—1) I-被rH + [ Γ1) -4Γ))/2]2，計(jì)算IWPI經(jīng)過(guò)1 ‘ “1次迭代后的值，記為I wr、I，I υ I-+[(47-471))/2]2，計(jì)算I I經(jīng)過(guò) ι ‘ -ι 次迭代后的值，記為IV4T-1) I，I ν《—υ I-K-υ-"Γυ)2+[ τ—υ-0/2]2，計(jì)算I ν《I經(jīng)過(guò) 1 ‘ -1 次迭代后的值，記為I DI，IV4-1) I--《―1))2 +
2，其中，W-1)表示當(dāng)前像素點(diǎn)的像素值經(jīng)過(guò)Γ -1次迭代后的值，υ、U”、o^ITo分別表示解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的初始重建圖像g〗(x，>^中坐標(biāo)位置為E、S、W、N的像素點(diǎn)的像素值<〕、40)> <)、經(jīng)過(guò)1' -1次迭代后的值，4:7、^^、^、^^分別表示解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的初始重建圖像g〗(x，>^中坐標(biāo)位置為NE、NW、SW、SE 的像素點(diǎn)的像素值、《；、《、經(jīng)過(guò)1' -1次迭代后的值，1'之1;⑨-6、將當(dāng)前像素點(diǎn)的重建像素值記為<〕，計(jì)算當(dāng)前像素點(diǎn)的重建像素值經(jīng)過(guò),.C') _ V h(v-v> W—1)1'次迭代后的值，記為u° -LnhOp xuP ，其中，Ω。= {E，S，W，N}表示與當(dāng)前uO ，P^O像素點(diǎn)相鄰的東、南、西、北四個(gè)方向的像素點(diǎn)的坐標(biāo)位置的集合，表示解碼后的t 時(shí)刻的右視點(diǎn)彩色圖像的初始重建圖像ii(x，>0j中坐標(biāo)位置為P的像素點(diǎn)的權(quán)重經(jīng)過(guò)Γ -1次迭代后的υ =‘ 表示解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的Zj Wq ,..(V-I) wp初始重建圖像 @(χ，>^中坐標(biāo)位置為P的像素點(diǎn)的加權(quán)系數(shù)經(jīng)過(guò)Γ -1次迭代后的值，(廠―1) —1~ = Vu(J'-O ρ +a2 ’υ|表示解碼后的t 白勺點(diǎn)、1 謝象白徹臺(tái)謹(jǐn)醜中坐標(biāo)位置為P的像素點(diǎn)的梯度值經(jīng)過(guò)1' -1次迭代后的值，a表示修正值，Mf-1〕 表示解碼后的t時(shí)刻的右視點(diǎn)彩色圖像的初始重建圖像g〗(x，>^中坐標(biāo)位置為Q的像素點(diǎn)
5.根據(jù)權(quán)利要求4所述的一種基于深度圖像繪制的立體視頻編碼方法，其特征在于所述的設(shè)定的編碼預(yù)測(cè)結(jié)構(gòu)采用HBP編碼預(yù)測(cè)結(jié)構(gòu)。
全文摘要
本發(fā)明公開(kāi)了一種基于深度圖像繪制的立體視頻編碼方法，其通過(guò)基于深度圖像繪制的方法，將原始左視點(diǎn)彩色圖像從左視點(diǎn)投影到右視點(diǎn)，得到原始右視點(diǎn)彩色圖像與原始右視點(diǎn)彩色圖像的繪制圖像的殘差圖像，并對(duì)殘差圖像進(jìn)行預(yù)處理操作，然后對(duì)原始左視點(diǎn)圖像和預(yù)處理后的殘差圖像進(jìn)行編碼，最后根據(jù)解碼后的右視點(diǎn)彩色圖像的繪制圖像和解碼后的殘差圖像，得到解碼后的右視點(diǎn)彩色圖像的最終重構(gòu)圖像，本發(fā)明方法在保證較高的右視點(diǎn)彩色圖像的重構(gòu)質(zhì)量的前提下，大大提高了立體視頻的編碼效率。
文檔編號(hào)H04N13/00GK102438167SQ20111032271
公開(kāi)日2012年5月2日 申請(qǐng)日期2011年10月21日 優(yōu)先權(quán)日2011年10月21日
發(fā)明者蔣剛毅, 邵楓, 郁梅 申請(qǐng)人:寧波大學(xué)