專利名稱：三維視頻幀內(nèi)預(yù)測方法及編解碼方法
技術(shù)領(lǐng)域：
本發(fā)明屬于數(shù)字信號處理領(lǐng)域，特別是三維視頻數(shù)據(jù)壓縮和圖像/視頻編解碼領(lǐng)域，更進(jìn)一步地涉及去除三維視頻中視間冗余的幀內(nèi)預(yù)測方法及編解碼方法
背景技術(shù)：
隨著三維視頻技術(shù)的發(fā)展，人們利用普通平板顯示器體驗三維場景成為可能。當(dāng)前，從研究領(lǐng)域到工業(yè)界，三維視頻技術(shù)的進(jìn)一步發(fā)展吸引了越來越多的關(guān)注，各種標(biāo)準(zhǔn)化組織做了大量的工作，令三維視頻更具實際應(yīng)用性。早在上世紀(jì)九十年代，多視檔次就已經(jīng)存在于MPEG-2中[I]。在那之后，MPEG于2001年成立了致力于發(fā)展三維音視頻生成技術(shù)的三維音視頻小組(3DAV) [2] [3]。最近，一些面向三維視頻應(yīng)用的國際標(biāo)準(zhǔn)和表達(dá)格式相繼建立起來。其中一種發(fā)展成熟的技術(shù)是利用多視點渲染一個三維場景，各個視點視頻通過現(xiàn)存的視頻編解碼器(如H. 264/AVC)獨立編解碼[4]。由于大量的視間統(tǒng)計冗余的存在，通過應(yīng)用混合時間/視間預(yù)測模型，H. 264/MPEG-4AVC提出了多視點視頻編碼標(biāo)準(zhǔn)(MVC)。MVC支持利用單一碼流直接編碼多視點中的同步信息，并且通過探索視點間的冗余信息降低碼率。該標(biāo)準(zhǔn)模型于2008年完成[6]。在H.264/AVC中，立體增強(qiáng)信息[7]能夠在傳統(tǒng)的H. 264/AVC碼流中標(biāo)注出三維視頻，該方案具有高兼容性和低復(fù)雜度的優(yōu)點。中國音視頻編解碼標(biāo)準(zhǔn)(AVS)同樣構(gòu)建了自己的三維方案，包括AVS立體檔次和立體拼接方案。此外，完整的三維視頻系統(tǒng)包括三維內(nèi)容獲取，編碼，傳輸，顯示。歐洲信息社會技術(shù)(1ST) [8] [9] [10]的先進(jìn)三維電視系統(tǒng)技術(shù)(ATTEST)項目構(gòu)建了三維視頻處理鏈，其中有效的數(shù)據(jù)表示是這一項目中的最重要問題之一。實際上，當(dāng)前存在許多種三維視頻格式，如聯(lián)播式，立體交織式，二維+深度式，多視點視頻編碼式，分層深度視頻等。這些細(xì)節(jié)的討論可以在[11]中找到。根據(jù)經(jīng)驗，立體交織格式中的兩個視點經(jīng)過下采樣后在一幀中顯示出來，相對于其他格式可以達(dá)到編碼效率和編碼復(fù)雜度之間的很好的平衡，同時與傳統(tǒng)編碼標(biāo)準(zhǔn)(如H. 264/AVC，AVS)之間保持了很高的兼容性。這些特征都有利于三維視頻的應(yīng)用。然而，由于第一視點和第二視點是通過兩個攝像機(jī)在同一時刻從同一場景的不同角度獲取，兩個視點間存在著很大的相關(guān)性，生成的交織幀內(nèi)存在著許多視間冗余信息。參考文獻(xiàn)[I] “Generic coding of moving pictures and associated audioinformation-Part 2 video,” ITU-T Rec. H. 222. 0&IS0/IEC13818-1(MPEG2 Systems)，ITU-T and IS0/IEC JTCl，1994[2]“R印ort on 3DAV exploration，，，IS0/IEC JTC/SC29/WG11,N5878, July 2003.[3]M. Jose, “MPEG 3DAV AhG activities report,，，65th MPEG Meeting,Trondheim, Norway,2003.[4] “Advance video coding for generic audio-visual services,” ITU-TRecommendation H. 264&IS0/IEC 14496-10AVC,2003.[5] S. Shinya, K. Hideaki and Y. Ohtani，“Real-time free-viewer frommulti-view video plus depth representation coded byH. 264/AVC MVC extension,，’in3DTV Conference The True Vision—Capture，Transmission and Display of 3D video,2009.
[6] Y. Chen, Μ. M. Hannuksela，L. Zhu, A. Hallapuro, M. Gabbouj, H. Li，“Codingtechniques in multiview video coding andjoint multiview video model，，，in PictureCoding Symposium, May,2009.[7] “SEI message to indicate stereo video information in progressiveH.264 streams，”IS0/IEC JTC1/SC29/WG11, JVT-L023, July 19-23，2004.[8]ATTEST,2002-2004. European IST-2001-34396 project. 2002-2004.[9]DISTIMA,1992-1995. European Race 2045.project 1992-1995.[10]PAN0RAMA,1995-1998. European ACTS AC092 project. 1995-1998.[11] A. Vetro, S. Yea and A. Smolic，“Towards a 3D Video Format forAuto-Stereoscopic Displays”， in SPIE Conf.onApplications of Digital ImageProcessing XXXI，Vol. 7073，September 2008.

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是在傳統(tǒng)混合編碼框架下改進(jìn)三維視頻幀內(nèi)預(yù)測方法，提高三維視頻/圖像編碼的壓縮效率。本發(fā)明提供的技術(shù)方案如下方案I :一種三維視頻幀內(nèi)預(yù)測方法，應(yīng)用于同一幀中含有不同視點圖像的交織模式下的三維視頻，其特征在于，所述方法包括如下步驟(流程參見圖I)a)將該幀中不同視點圖像抽離出來；b)編碼至少一個視點圖像；c)根據(jù)已編碼的視點圖像構(gòu)建虛擬幀作為參考圖像；d)編碼當(dāng)前視點圖像時，參考上一步構(gòu)建的參考圖像，進(jìn)行差異搜索，得到差異向量和殘差矩陣。方案2 :作為方案I的一種優(yōu)選實現(xiàn)，其特征在于，在步驟a)中，對所述幀進(jìn)行預(yù)處理，使之轉(zhuǎn)化為垂直拼接模式。例如對于水平雙拼模式，把第二視點圖像移到幀的下半部；對于垂直雙拼模式，不執(zhí)行任何操作。方案3 :作為方案2的一種優(yōu)選實現(xiàn)，其特征在于，所述步驟c)中虛擬幀的構(gòu)建方法為在虛擬幀的底部，對應(yīng)于預(yù)處理后幀的當(dāng)前視點圖像區(qū)域，用編碼后的其他視點圖像進(jìn)行填充，其余的區(qū)域用默認(rèn)值填充。默認(rèn)值可以是任意數(shù)字。本發(fā)明同時提供了一種三維視頻幀內(nèi)預(yù)測編碼方法，方案如下方案4 :一種三維視頻幀內(nèi)預(yù)測編碼方法，應(yīng)用于同一幀中含有不同視點圖像的交織模式下的三維視頻，其特征在于，所述方法包括如下步驟(參見圖2)a)開始編碼一個宏塊；b)根據(jù)重構(gòu)的相鄰塊和當(dāng)前塊進(jìn)行幀內(nèi)方向預(yù)測；c)根據(jù)已編碼視點的重構(gòu)圖像和當(dāng)前塊，利用方案I所述方法進(jìn)行幀內(nèi)差異預(yù)測，獲取差異向量和殘差矩陣；
d)通過率失真優(yōu)化方法得到最優(yōu)幀內(nèi)預(yù)測模式和幀內(nèi)預(yù)測殘差矩陣；e)對殘差矩陣進(jìn)行變換和量化；f)對量化矩陣和編碼模式熵編碼；g)輸出碼流文件。本發(fā)明同時提供了相應(yīng)的三維視頻幀內(nèi)補(bǔ)償解碼方法，方案如下方案5 :—種和方案4對應(yīng)的三維視頻幀內(nèi)補(bǔ)償解碼方法，其特征在于，所述方法包括(流程參見圖3)a)開始解碼一個宏塊；b)根據(jù)碼流文件解析幀內(nèi)模式；c)解析差異向量和殘差矩陣；d)對殘差矩陣進(jìn)行反量化、反變換；e)根據(jù)幀內(nèi)已解碼的其他視點圖像構(gòu)建虛擬參考圖像；f)根據(jù)差異向量，反變換殘差矩陣，虛擬參考圖像進(jìn)行幀內(nèi)差異補(bǔ)償；g)輸出重構(gòu)的宏塊。本發(fā)明的有益效果本發(fā)明提出了一種新的幀內(nèi)差異預(yù)測方法，通過幀內(nèi)差異估計提高預(yù)測精度。本發(fā)明不僅能夠明顯提高常用碼率范圍內(nèi)三維視頻/圖像編碼的壓縮效率，同時計算復(fù)雜度相對較低，適合實際應(yīng)用。


下面結(jié)合附圖對本發(fā)明的具體實施方式
作進(jìn)一步詳細(xì)的說明，其中圖I三維視頻幀內(nèi)差異預(yù)測方法流程2三維視頻幀內(nèi)預(yù)測編碼方法流程3三維視頻幀內(nèi)補(bǔ)償解碼方法流程4預(yù)處理過程(a)下采樣和融合幀(b)預(yù)處理后幀圖5測試序列的率失真曲線
具體實施例方式下面以包含兩個視點的視頻幀為例對本發(fā)明做進(jìn)一步的說明，但是需要注意的是，本發(fā)明并不局限于兩個視點，對于包含多個視點的視頻幀，本發(fā)明所述的方案同樣適用。針對于在一幀圖像中存在來自于不同視點的圖像的交織模式三維圖像/視頻，如圖4(a)所示，視間相關(guān)性明顯存在于下采樣和融合圖像中，對于編碼來說，該相關(guān)性意味著冗余。以兩個視點圖像為例，如果編碼時幀內(nèi)的第二視點圖像能夠參考幀內(nèi)的第一視點圖像，那么編碼效率將會有很大的提高。為了能夠有效消除視間冗余，應(yīng)用多視點視頻編碼中的差異估計和差異補(bǔ)償理論，第二個視點的圖像編碼需要在第一個視點重構(gòu)之后進(jìn)行。
在不改變原有標(biāo)準(zhǔn)掃描順序的前提下，對于水平雙拼模式，需要對原始圖像的排列順序進(jìn)行預(yù)處理。在傳統(tǒng)的編碼標(biāo)準(zhǔn)中，定義了水平方向的掃描順序，當(dāng)編碼右側(cè)區(qū)域時，對應(yīng)的左側(cè)區(qū)域可能不可用，為了盡可能與傳統(tǒng)視頻編碼標(biāo)準(zhǔn)兼容，在編碼之前需要對幀的結(jié)構(gòu)進(jìn)行調(diào)整，將第二視點移到幀的下半部，如圖4(b)。這樣當(dāng)編碼第二視點時，第一視點的重構(gòu)圖像可以完全得到。在顯示端，在進(jìn)行分離和上采樣之前，應(yīng)該先對解碼后圖像進(jìn)行與預(yù)處理過程相反的后處理過程。對于垂直雙拼模式則不需要預(yù)處理及后處理。三維視頻幀內(nèi)差異預(yù)測方法針對于在同一幀中包含至少來自于兩個視點圖像的三維視頻幀，將不同視點圖像抽離出來，依次編碼各個視點。編碼當(dāng)前視點時，參考由已編碼視點圖像構(gòu)建的虛擬參考幀，流程如圖I所示。以兩視點水平雙拼圖像為例，首先按照如上所述的預(yù)處理方法將第一視點圖像抽離出來，編碼第一視點圖像。在第一視點編碼后，按如下方法構(gòu)建一個與預(yù)處理后圖像相同分辨率的虛擬參考幀在虛擬幀的底部，對應(yīng)于預(yù)處理后幀的第二視點區(qū)域，用重構(gòu)后的第一視點進(jìn)行填充，其余的區(qū)域用默認(rèn)值填充，如128。當(dāng)編碼第二視點時，除了通常的幀內(nèi)預(yù)測，第二視點的塊參考虛擬幀。三維視頻幀內(nèi)預(yù)測編碼方法流程如圖2所示，在傳統(tǒng)的幀內(nèi)方向預(yù)測模式之外加入幀內(nèi)差異預(yù)測方法，通過率失真優(yōu)化方法選出最優(yōu)模式，對最優(yōu)模式下的殘差矩陣進(jìn)行變換、量化，對最優(yōu)編碼模式和量化殘差矩陣熵編碼得到編碼碼流。三維視頻幀內(nèi)補(bǔ)償解碼方法流程如圖3所示，通過解析碼流得到當(dāng)前宏塊的差異向量和殘差矩陣。根據(jù)解析得到的差異向量，殘差矩陣和由已解碼其他視點圖像構(gòu)建的虛擬參考幀計算出當(dāng)前塊的重構(gòu)值。其中已解碼其他視點圖像構(gòu)建虛擬參考幀的方法與三維視頻幀內(nèi)差異預(yù)測方法中的虛擬參考幀的構(gòu)建方法相同。圖5和表I顯示了本發(fā)明在AVS參考軟件I幀上實現(xiàn)的結(jié)果對比，其中分辨率分別為1920x1088和1024x768，IBBP結(jié)構(gòu)編碼，每15幀插入一個I幀，熵編碼使用C2DVLC。該結(jié)果與聯(lián)播格式進(jìn)行了比較。圖5列出了對序列Poznan_Street (1920x1088)和Iovebirdl (1024x768)的RD性能曲線。從圖5中可以看出本發(fā)明提出的三維視頻巾貞內(nèi)預(yù)測的編碼方法能夠顯著提高常用碼率內(nèi)的編碼性能，這是因為交織模式下的三維視頻幀內(nèi)的視間冗余信息被去除，相對于傳統(tǒng)的幀內(nèi)預(yù)測方法提高了預(yù)測精度。在表I中列出了在更多序列上測試的比特率和峰值信噪比(PSNR)的變化結(jié)果，實驗表明，本發(fā)明能夠有效的提高三維視頻編碼性能。表I測試結(jié)果
權(quán)利要求
1.一種三維視頻幀內(nèi)預(yù)測方法，應(yīng)用于同一幀中含有不同視點圖像的交織模式下的三維視頻，其特征在于，所述方法包括如下步驟 a)將該幀中不同視點圖像抽離出來； b)編碼至少一個視點圖像； c)根據(jù)已編碼的視點圖像構(gòu)建虛擬幀作為參考圖像； d)編碼當(dāng)前視點圖像時，參考上一步構(gòu)建的參考圖像，進(jìn)行差異搜索，得到差異向量和殘差矩陣。
2.如權(quán)利要求I所述的幀內(nèi)預(yù)測方法，其特征在于，在步驟a)中，對所述幀進(jìn)行預(yù)處理，使之轉(zhuǎn)化為垂直拼接模式。
3.如權(quán)利要求2所述的幀內(nèi)預(yù)測方法，其特征在于，所述步驟c)中虛擬幀的構(gòu)建方法為在虛擬幀的底部，對應(yīng)于預(yù)處理后幀的當(dāng)前視點圖像區(qū)域，用編碼后的其他視點圖像進(jìn)行填充，其余的區(qū)域用默認(rèn)值填充。
4.一種三維視頻幀內(nèi)預(yù)測編碼方法，應(yīng)用于同一幀中含有不同視點圖像的交織模式下的三維視頻，其特征在于，所述方法包括如下步驟 a)開始編碼一個宏塊； b)根據(jù)重構(gòu)的相鄰塊和當(dāng)前塊進(jìn)行幀內(nèi)方向預(yù)測； c)根據(jù)已編碼視點的重構(gòu)圖像和當(dāng)前塊，利用權(quán)利要求I所述方法進(jìn)行幀內(nèi)差異預(yù)測，獲取差異向量和殘差矩陣； d)通過率失真優(yōu)化方法得到最優(yōu)幀內(nèi)預(yù)測模式和幀內(nèi)預(yù)測殘差矩陣； e)對殘差矩陣進(jìn)行變換和量化； f)對量化矩陣和編碼模式熵編碼； g)輸出碼流文件。
5.一種和權(quán)利要求4對應(yīng)的三維視頻幀內(nèi)補(bǔ)償解碼方法，其特征在于，所述方法包括 a)開始解碼一個宏塊； b)根據(jù)碼流文件解析幀內(nèi)模式； c)解析差異向量和殘差矩陣； d)對殘差矩陣進(jìn)行反量化、反變換； e)根據(jù)幀內(nèi)已解碼的其他視點圖像構(gòu)建虛擬參考圖像； f)根據(jù)差異向量，反變換殘差矩陣，虛擬參考圖像進(jìn)行幀內(nèi)差異補(bǔ)償； g)輸出重構(gòu)的宏塊。
全文摘要
本發(fā)明提供了一種三維視頻幀內(nèi)預(yù)測方法及編解碼方法。本發(fā)明要解決的技術(shù)問題是在傳統(tǒng)混合編碼框架下改進(jìn)三維視頻幀內(nèi)預(yù)測方法，提高三維視頻/圖像編碼的壓縮效率。本發(fā)明提出了一種新的幀內(nèi)差異補(bǔ)償預(yù)測方法，在交織模式下的三維視頻，首先對其他視點的圖像內(nèi)容進(jìn)行編碼，然后在編碼當(dāng)前視點時，利用已重構(gòu)的其他視點圖像作為參考圖像，進(jìn)行視間差異估計及差異補(bǔ)償，降低預(yù)測冗余，提高編碼效率。本發(fā)明不僅能夠明顯提高常用碼率范圍內(nèi)三維視頻/圖像編碼的壓縮效率，同時計算復(fù)雜度相對較低，適合實際應(yīng)用。
文檔編號H04N7/26GK102625097SQ20111003371
公開日2012年8月1日 申請日期2011年1月31日 優(yōu)先權(quán)日2011年1月31日
發(fā)明者張莉, 李曉明, 王榮剛, 趙德斌, 馬思偉, 高文 申請人:北京大學(xué)