對(duì)具有深度范圍變化的運(yùn)動(dòng)深度圖進(jìn)行譯碼的制作方法
【專利摘要】本發(fā)明描述用于對(duì)3D視頻塊單元進(jìn)行譯碼的技術(shù)。在一個(gè)實(shí)例中，視頻編碼器經(jīng)配置以：確定包括參考視圖分量的第一深度視圖分量的第一現(xiàn)實(shí)世界深度范圍；確定包括當(dāng)前視圖分量的第二深度視圖分量的第二現(xiàn)實(shí)世界深度范圍，其中所述當(dāng)前視圖分量是相對(duì)于所述參考視圖分量而預(yù)測(cè)；從所述參考視圖分量確定所述當(dāng)前視圖分量的一部分的預(yù)測(cè)塊；基于所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的差來調(diào)整所述預(yù)測(cè)塊的值；以及基于所述預(yù)測(cè)塊的所述經(jīng)調(diào)整的值來預(yù)測(cè)所述當(dāng)前視圖的所述部分。
【專利說明】對(duì)具有深度范圍變化的運(yùn)動(dòng)深度圖進(jìn)行譯碼
[0001]優(yōu)先權(quán)主張
[0002]本申請(qǐng)案涉及2011年7月22日申請(qǐng)的第61/510，753號(hào)美國(guó)臨時(shí)申請(qǐng)案且主張所述臨時(shí)申請(qǐng)案的優(yōu)先權(quán)，所述臨時(shí)申請(qǐng)案以全文引用的方式并入本文中。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明涉及視頻譯碼領(lǐng)域，例如，對(duì)3維視頻數(shù)據(jù)進(jìn)行譯碼。
【背景技術(shù)】
[0004]數(shù)字視頻能力可并入到大范圍的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、例如無線電電話手持機(jī)等無線通信裝置、無線廣播系統(tǒng)、個(gè)人數(shù)字助理(PDA)、膝上型或桌上型計(jì)算機(jī)、數(shù)碼相機(jī)、數(shù)字記錄裝置、視頻游戲裝置、視頻游戲控制臺(tái)等。數(shù)字視頻裝置實(shí)施若干視頻壓縮技術(shù)，例如MPEG-2、MPEG-4或H.264/MPEG-4第10部分、高級(jí)視頻譯碼(AVC)，從而更高效地發(fā)射和接收數(shù)字視頻。視頻壓縮技術(shù)執(zhí)行空間預(yù)測(cè)和時(shí)間預(yù)測(cè)以減少或移除視頻序列中所固有的冗余。
[0005]視頻壓縮技術(shù)執(zhí)行空間預(yù)測(cè)和/或時(shí)間預(yù)測(cè)以減少或移除視頻序列中固有的冗余。對(duì)于基于塊的視頻譯碼，可將一視頻幀或切片分割成若干宏塊。可進(jìn)一步分割每一宏塊。使用關(guān)于相鄰宏塊的空間預(yù)測(cè)編碼經(jīng)幀內(nèi)譯碼的(I)幀或切片中的宏塊。經(jīng)幀間譯碼的(P或B)幀或切片中的宏塊可使用關(guān)于同一幀或切片中的相鄰宏塊的空間預(yù)測(cè)或關(guān)于其它參考幀的時(shí)間預(yù)測(cè)。
[0006]在已將視頻數(shù)據(jù)編碼之后，可將所述視頻數(shù)據(jù)包化以用于發(fā)射或存儲(chǔ)。可將所述視頻數(shù)據(jù)組配為符合多種標(biāo)準(zhǔn)中的任一者的視頻文件，例如國(guó)際標(biāo)準(zhǔn)化組織(ISO)基礎(chǔ)媒體文件格式及其擴(kuò)展形式，例如AVC。
[0007]已經(jīng)作出努力開開發(fā)基于H.264/AVC的新視頻譯碼標(biāo)準(zhǔn)。一種此類標(biāo)準(zhǔn)是可縮放視頻譯碼(SVC)標(biāo)準(zhǔn)，其為對(duì)H.264/AVC的可縮放擴(kuò)展。另一標(biāo)準(zhǔn)是多視圖視頻譯碼(MVC)，其已變?yōu)閷?duì)H.264/AVC的多視圖擴(kuò)展。在2008年7月德國(guó)的漢諾威的第28屆JVT會(huì)議的JVT_AB204“多視圖視頻譯碼聯(lián)合草案 8.0 (Joint Draft 8.0on Multiview Video Coding)”中描述了 MVC 的聯(lián)合草案，這在 http://wftp3.1tu.1nt/av-arch/jvt_site/2008_07_Hannover/JVT-AB204.zip處可以獲得。在2009年2月瑞士的日內(nèi)瓦的第30屆JVT會(huì)議的JVT-AD007“對(duì)ITU-T Rec.H.264 | IS0/IEC14496-10高級(jí)視頻譯碼的編輯者的草案修訂-為ITU-T SG 16AAP 達(dá)成一致做準(zhǔn)備(以整合形式)(Editors' draft revision to ITU-TRec.Η.2641IS0/IEC 14496-10 Advanced Video Coding-1n preparation for ITU-T SG16 AAP Consent (in integrated form))” 中描述了 AVC 標(biāo)準(zhǔn)的版本,這在 http://wftp3.1tu.1nt/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip 處可以獲得。此文獻(xiàn)將 SVC和MVC整合于AVC規(guī)格中。

【發(fā)明內(nèi)容】
[0008]一般來說，本發(fā)明描述用于支持三維(3D)視頻譯碼和再現(xiàn)的技術(shù)。具體來說，本發(fā)明的技術(shù)涉及對(duì)3D視頻內(nèi)容進(jìn)行譯碼和解碼。本發(fā)明的技術(shù)包含對(duì)紋理信息(例如，亮度或明度數(shù)據(jù)以及色彩或色度數(shù)據(jù))以及用于紋理信息的深度圖進(jìn)行譯碼。所述深度圖可使用與經(jīng)應(yīng)用以對(duì)紋理信息進(jìn)行譯碼的技術(shù)類似的技術(shù)進(jìn)行預(yù)測(cè)性地譯碼，所述技術(shù)例如為幀內(nèi)預(yù)測(cè)譯碼和/或幀間預(yù)測(cè)譯碼。使用幀間預(yù)測(cè)譯碼技術(shù)而譯碼的深度圖在本文中被稱作“運(yùn)動(dòng)深度圖”本發(fā)明提出對(duì)相對(duì)于參考深度圖具有深度范圍變化的運(yùn)動(dòng)深度圖進(jìn)行譯碼。舉例來說，本發(fā)明提出基于參考深度視圖分量的第一現(xiàn)實(shí)世界深度范圍與當(dāng)前深度視圖分量的第二現(xiàn)實(shí)世界深度范圍之間的差來調(diào)整預(yù)測(cè)塊的值。舉例來說，可根據(jù)在運(yùn)動(dòng)補(bǔ)償之后執(zhí)行的像素值再映射譯碼過程來調(diào)整所預(yù)測(cè)的深度圖的值。
[0009]在3D編解碼器中，特定時(shí)刻中的視頻解碼的每一視圖的視圖分量可包含紋理視圖分量和深度視圖分量。紋理視圖分量可包含明度(Y)分量和色度(Cb和Cr)分量，其統(tǒng)稱為“紋理信息”或“紋理分量”。明度(亮度)和色度(色彩)分量在本文統(tǒng)稱為“紋理”分量。深度視圖分量可來自圖像的深度圖。在3D圖像再現(xiàn)中，深度圖包含深度值，且可用于從相對(duì)于另一視圖(例如，包含紋理信息的視圖)所提供的觀看角度來產(chǎn)生虛擬視圖。經(jīng)譯碼塊單元(在本發(fā)明中還被簡(jiǎn)稱為“經(jīng)譯碼塊”)可對(duì)應(yīng)于ITU-T H.264/AVC(高級(jí)視頻譯碼)中的宏塊或高效率視頻譯碼(HEVC)的譯碼單元。
[0010]在一個(gè)方面中，一種處理視頻數(shù)據(jù)的方法包括:確定對(duì)應(yīng)于參考視圖分量的第一深度視圖分量的第一現(xiàn)實(shí)世界深度范圍；以及確定對(duì)應(yīng)于當(dāng)前視圖分量的第二深度視圖分量的第二現(xiàn)實(shí)世界深度范圍，其中所述當(dāng)前視圖分量是相對(duì)于所述參考視圖分量而預(yù)測(cè)。所述方法還包括從所述參考視圖分量確定所述當(dāng)前視圖分量的一部分的預(yù)測(cè)塊。所述方法進(jìn)一步包括:基于所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的差來調(diào)整所述預(yù)測(cè)塊的值；以及基于所述預(yù)測(cè)塊的所述經(jīng)調(diào)整的值來預(yù)測(cè)所述當(dāng)前視圖的所述部分。
[0011]在另一方面中，一種用于對(duì)數(shù)據(jù)進(jìn)行編碼的裝置包括視頻譯碼器，所述視頻譯碼器經(jīng)配置以:確定包括參考視圖分量的第一深度視圖分量的第一現(xiàn)實(shí)世界深度范圍；確定包括當(dāng)前視圖分量的第二深度視圖分量的第二現(xiàn)實(shí)世界深度范圍，其中所述當(dāng)前視圖分量是相對(duì)于所述參考視圖分量而預(yù)測(cè)；從所述參考視圖分量確定所述當(dāng)前視圖分量的一部分的預(yù)測(cè)塊；基于所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的差來調(diào)整所述預(yù)測(cè)塊的值；以及基于所述預(yù)測(cè)塊的所述經(jīng)調(diào)整的值來預(yù)測(cè)所述當(dāng)前視圖的所述部分。
[0012]在另一方面中，一種計(jì)算機(jī)可讀媒體包括計(jì)算機(jī)可讀存儲(chǔ)媒體，所述計(jì)算機(jī)可讀存儲(chǔ)媒體具有存儲(chǔ)于其上的指令，所述指令在被執(zhí)行時(shí)致使視頻譯碼裝置的處理器:確定對(duì)應(yīng)于參考視圖分量的第一深度視圖分量的第一現(xiàn)實(shí)世界深度范圍；確定對(duì)應(yīng)于當(dāng)前視圖分量的第二深度視圖分量的第二現(xiàn)實(shí)世界深度范圍，其中所述當(dāng)前視圖分量是相對(duì)于所述參考視圖分量而預(yù)測(cè)；從所述參考視圖分量確定所述當(dāng)前視圖分量的一部分的預(yù)測(cè)塊；基于所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的差來調(diào)整所述預(yù)測(cè)塊的值；以及基于所述預(yù)測(cè)塊的所述經(jīng)調(diào)整的值來預(yù)測(cè)所述當(dāng)前視圖的所述部分。
[0013]在另一方面中，提供一種裝置，所述裝置包括用于確定對(duì)應(yīng)于參考視圖分量的第一深度視圖分量的第一現(xiàn)實(shí)世界深度范圍的裝置；用于確定對(duì)應(yīng)于當(dāng)前視圖分量的第二深度視圖分量的第二現(xiàn)實(shí)世界深度范圍的裝置，其中所述當(dāng)前視圖分量是相對(duì)于所述參考視圖分量而預(yù)測(cè)；以及用于從所述參考視圖分量確定所述當(dāng)前視圖分量的一部分的預(yù)測(cè)塊的裝置。所述裝置進(jìn)一步包括:用于基于所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的差來調(diào)整所述預(yù)測(cè)塊的值的裝置；以及用于基于所述預(yù)測(cè)塊的所述經(jīng)調(diào)整的值來預(yù)測(cè)所述當(dāng)前視圖的所述部分的裝置。
[0014]本發(fā)明中所描述的技術(shù)的各方面可以硬件、軟件、固件，或其任何組合來實(shí)施。如果以軟件來實(shí)施，則可在例如微處理器、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)或數(shù)字信號(hào)處理器(DSP)或其它等效集成或離散邏輯電路等可涉及一個(gè)或一個(gè)以上處理器的處理器中執(zhí)行軟件?？勺畛鯇ㄓ靡詧?zhí)行所述技術(shù)的指令的軟件存儲(chǔ)于計(jì)算機(jī)可讀媒體中且在處理器中加載并執(zhí)行。
[0015]因此，本發(fā)明還預(yù)期包括用以致使處理器執(zhí)行本發(fā)明中所描述的多種技術(shù)中的任一者的指令的計(jì)算機(jī)可讀媒體。在一些情況下，所述計(jì)算機(jī)可讀媒體可形成計(jì)算機(jī)程序產(chǎn)品的一部分，可將所述計(jì)算機(jī)程序產(chǎn)品出售給制造商和/或用于裝置中。所述計(jì)算機(jī)程序產(chǎn)品可包含計(jì)算機(jī)可讀媒體，且在一些情況下，還可包含封裝材料。
[0016]本發(fā)明還可適用于攜載信息的電磁信號(hào)。舉例來說，電磁信號(hào)可包括與用于內(nèi)插參考樣本的子整數(shù)像素的值的全像素支持相關(guān)的信息。
[0017]在一些實(shí)例中，可從或通過實(shí)施本文中所描述的技術(shù)的裝置來產(chǎn)生或傳輸信號(hào)。在其它實(shí)例中，本發(fā)明可適用于可在實(shí)施本文中所描述的技術(shù)的裝置處接收的信號(hào)。
[0018]本發(fā)明的一個(gè)或一個(gè)以上方面的細(xì)節(jié)在附圖及以下描述中陳述。從描述和圖式并從權(quán)利要求書將明白本發(fā)明中所描述的技術(shù)的其它特征、目的和優(yōu)點(diǎn)。
【專利附圖】

【附圖說明】
[0019]圖1是說明根據(jù)本發(fā)明的技術(shù)的視頻編碼和解碼系統(tǒng)的一個(gè)實(shí)例的框圖。
[0020]圖2是進(jìn)一步詳細(xì)地說明根據(jù)本發(fā)明的技術(shù)的圖1的視頻編碼器的一實(shí)例的框圖。
[0021]圖3是根據(jù)本發(fā)明的技術(shù)的用于多視圖視頻譯碼的MVC預(yù)測(cè)結(jié)構(gòu)的一個(gè)實(shí)例的圖。
[0022]圖4是進(jìn)一步詳細(xì)地說明根據(jù)本發(fā)明的技術(shù)的圖1的視頻解碼器的一實(shí)例的框圖。
[0023]圖5是說明根據(jù)本發(fā)明的技術(shù)的與本發(fā)明一致的視頻編碼器的實(shí)例性操作的流程圖。
[0024]圖6是說明根據(jù)本發(fā)明的技術(shù)的用于調(diào)整深度圖的運(yùn)動(dòng)補(bǔ)償值的另一實(shí)例性譯碼裝置的組件之間的實(shí)例性流程的概念圖。
【具體實(shí)施方式】
[0025]本發(fā)明描述在視頻編碼和解碼過程中的至少一者的至少幀間預(yù)測(cè)階段期間編碼器可應(yīng)用且解碼器可使用的信令技術(shù)。所描述的技術(shù)涉及三維(“3D”)視頻內(nèi)容的譯碼。本發(fā)明提出對(duì)相對(duì)于參考深度圖具有深度范圍變化的運(yùn)動(dòng)深度圖進(jìn)行譯碼。舉例來說，本發(fā)明提出基于參考深度視圖分量的第一現(xiàn)實(shí)世界深度范圍與當(dāng)前深度視圖分量的第二現(xiàn)實(shí)世界深度范圍之間的差來調(diào)整預(yù)測(cè)塊的值。舉例來說，可在運(yùn)動(dòng)補(bǔ)償之后執(zhí)行像素值再映射譯碼過程。根據(jù)本發(fā)明的技術(shù)，可應(yīng)用這些技術(shù)對(duì)類似于多視圖視頻譯碼(MVC)位流的位流進(jìn)行編碼，其中MVC位流的任何或所有視圖可進(jìn)一步包含深度信息。在本發(fā)明中，術(shù)語“譯碼”可指編碼和/或解碼中的任一者或兩者。
[0026]更具體來說，所述技術(shù)涉及接收至少一個(gè)具有紋理視圖分量和深度視圖分量的二維圖像。一些紋理視圖分量和深度視圖分量可一起被編碼為單個(gè)經(jīng)譯碼塊或單獨(dú)的塊。可通過深度視圖分量和紋理視圖分量來界定一圖像。
[0027]可相對(duì)于尤其用于一圖像幀或圖片的深度范圍來界定所述圖像幀的深度值。然而，不同幀的深度視圖分量可具有不同的深度范圍。因此，如果兩個(gè)不同幀的深度范圍不同，那么所述兩個(gè)幀的兩個(gè)深度值可對(duì)應(yīng)于不同的現(xiàn)實(shí)世界深度值。舉例來說，當(dāng)前視圖幀和對(duì)應(yīng)的參考幀可具有相同的深度值。然而，如果當(dāng)前視圖幀及其對(duì)應(yīng)的參考幀具有不同的現(xiàn)實(shí)世界深度值，那么相同的深度值對(duì)應(yīng)于不同的現(xiàn)實(shí)世界深度值。本文中所描述的技術(shù)對(duì)運(yùn)動(dòng)深度圖進(jìn)行譯碼以補(bǔ)償參考視圖與當(dāng)前視圖之間的這些深度值差。
[0028]基于深度估計(jì)和虛擬視圖合成的視頻轉(zhuǎn)換可用于產(chǎn)生3D圖像，例如3D視頻、應(yīng)用。具體來說，可使用場(chǎng)景的虛擬視圖來產(chǎn)生場(chǎng)景的3D視圖。常規(guī)上通過在合成場(chǎng)景的虛擬視圖之前估計(jì)對(duì)象深度值而實(shí)現(xiàn)基于場(chǎng)景的現(xiàn)有視圖產(chǎn)生所述虛擬視圖。深度估計(jì)是從立體對(duì)或單視場(chǎng)內(nèi)容估計(jì)對(duì)象與相機(jī)平面之間的絕對(duì)或相對(duì)距離的過程。深度信息可包含有用于形成三維視頻的信息，例如深度圖(例如，基于每個(gè)像素的深度值)或取景視差圖(例如，基于每個(gè)像素的水平視差)。深度信息可具有一定范圍的現(xiàn)實(shí)世界深度值，其被稱作深度范圍。圖片的現(xiàn)實(shí)世界深度值可通常參考深度范圍來量化，以產(chǎn)生所述圖片的深度圖。
[0029]所估計(jì)的深度信息(通用通過灰度級(jí)圖表示)可用于使用基于深度圖像的再現(xiàn)(DIBR)技術(shù)來產(chǎn)生任意角度的虛擬視圖。與其中多視圖序列面臨著高效的視圖間壓縮的挑戰(zhàn)的傳統(tǒng)三維電視(3DTV)系統(tǒng)相比，基于深度圖的系統(tǒng)可通過傳輸可被高效編碼的僅一個(gè)或數(shù)個(gè)視圖以及深度圖而減少帶寬的使用。在將深度圖用于視圖合成中之前，用于基于深度圖的轉(zhuǎn)換中的深度圖可為可由終端用戶控制的(例如，通過縮放)?？僧a(chǎn)生具有不同量的感知深度的自定義虛擬視圖。而且，可使用單視場(chǎng)視頻來執(zhí)行對(duì)深度的估計(jì)，其中僅一個(gè)視圖2D內(nèi)容可用。
[0030]基于塊的幀間譯碼是依賴于時(shí)間預(yù)測(cè)來減少或移除視頻序列的連續(xù)經(jīng)譯碼單元的視頻塊之間的時(shí)間冗余的譯碼技術(shù)?？蓪g譯碼應(yīng)用于紋理和深度信息兩者。經(jīng)譯碼單元可包括視頻幀、視頻幀的切片、圖片群組，或經(jīng)編碼視頻塊的另一經(jīng)定義單元。如本文中所使用，術(shù)語“幀”和“圖片”可互換地使用。對(duì)于幀間譯碼，視頻編碼器執(zhí)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償以估計(jì)一個(gè)或一個(gè)以上鄰近的經(jīng)譯碼單元的視頻塊之間的運(yùn)動(dòng)。通過使用用于運(yùn)動(dòng)估計(jì)的技術(shù)，視頻編碼器產(chǎn)生運(yùn)動(dòng)向量，所述運(yùn)動(dòng)向量可指示視頻塊相對(duì)于一個(gè)或一個(gè)以上參考幀或其它經(jīng)譯碼單元中的對(duì)應(yīng)預(yù)測(cè)視頻塊的移位。通過使用用于運(yùn)動(dòng)補(bǔ)償?shù)募夹g(shù)，視頻編碼器可使用運(yùn)動(dòng)向量從一個(gè)或一個(gè)以上參考幀或其它經(jīng)譯碼單元產(chǎn)生預(yù)測(cè)視頻塊。在運(yùn)動(dòng)補(bǔ)償之后，視頻編碼器可通過從正被譯碼的原始視頻塊減去預(yù)測(cè)視頻塊來計(jì)算殘余視頻塊。還可使用視圖間譯碼從其它視圖的參考視圖分量預(yù)測(cè)紋理和/或深度信息，其中可相對(duì)于參考視圖分量計(jì)算并使用移位向量來形成預(yù)測(cè)塊。[0031]圖1是說明可用于實(shí)施本發(fā)明的技術(shù)中的一者或一者以上的視頻編碼和解碼系統(tǒng)10的一個(gè)實(shí)例的框圖。如圖1中所示，系統(tǒng)10包括源裝置12，所述源裝置經(jīng)由通信信道15將經(jīng)編碼的視頻發(fā)射到目的裝置16。源裝置12及目的地裝置16可包括廣泛范圍的裝置中的任一者。在一些情況下，源裝置12和目的地裝置16中的任一者或兩者可包括無線通信裝置，例如無線手持機(jī)、所謂的蜂窩式或衛(wèi)星無線電電話，或可在通信信道15上(在此情況下，通信信道15為無線的)傳送視頻信息的任何無線裝置。然而，涉及對(duì)包含紋理信息和深度信息兩者的視頻數(shù)據(jù)的塊進(jìn)行譯碼的本發(fā)明的技術(shù)不一定受限于無線應(yīng)用或環(huán)境。所述技術(shù)還可用于廣泛范圍的其它環(huán)境和裝置，包含經(jīng)由物理電線、光纖或其它物理或無線媒體進(jìn)行通信的裝置。
[0032]另外，所述編碼或解碼技術(shù)還可應(yīng)用于不一定與任何其它裝置進(jìn)行通信的獨(dú)立裝置中。舉例來說，視頻解碼器28可駐留于數(shù)字媒體播放器或其它裝置中，且經(jīng)由流式傳輸、下載或存儲(chǔ)媒體接收經(jīng)編碼的視頻數(shù)據(jù)。因此，出于對(duì)實(shí)例性實(shí)施方案的說明的目的來提供源裝置12和目的地裝置16彼此通信的描繪，且不應(yīng)視為對(duì)本發(fā)明中所描述的技術(shù)進(jìn)行限制，所述技術(shù)可通常適用于多種環(huán)境、應(yīng)用或?qū)嵤┓桨钢械囊曨l譯碼。
[0033]在圖1的實(shí)例中，源裝置12可包含視頻源20、深度處理單元21、視頻編碼器22、調(diào)制器/解調(diào)器(調(diào)制解調(diào)器)23和發(fā)射器24。目的地裝置16可包含接收器26、調(diào)制解調(diào)器27、視頻解碼器28及顯示裝置30。根據(jù)本發(fā)明，源裝置12的視頻編碼器22可經(jīng)配置以應(yīng)用本發(fā)明的技術(shù)中的一者或一者以上以作為視頻編碼過程的部分。類似地，目的地裝置16的視頻解碼器28可經(jīng)配置以應(yīng)用本發(fā)明的技術(shù)中的一者或一者以上以作為視頻解碼過程的部分。
[0034]視頻序列通常包含一連串視頻幀(還被稱作視頻圖片)。視頻編碼器22對(duì)個(gè)別視頻幀內(nèi)的視頻塊進(jìn)行操作以便編碼視頻數(shù)據(jù)。所述視頻塊可具有固定的或變化的大小，且可根據(jù)指定的譯碼標(biāo)準(zhǔn)而大小不同。每一視頻幀包含一連串一個(gè)或一個(gè)以上切片。在ITU-TH.264標(biāo)準(zhǔn)中，舉例來說，每一切片可包含一連串宏塊，所述宏塊可布置到子塊中。ITU-TH.264標(biāo)準(zhǔn)支持:以用于二維(2D)視頻編碼的各種塊大小進(jìn)行的幀內(nèi)預(yù)測(cè)，例如，針對(duì)明度分量的16乘16、8乘8或4乘4以及針對(duì)色度分量的8X8 ;以及以各種塊大小進(jìn)行的幀間預(yù)測(cè)，例如，針對(duì)明度分量的16乘16、16乘8、8乘16、8乘8、8乘4、4乘8和4乘4以及針對(duì)色度分量的對(duì)應(yīng)經(jīng)縮放大小。視頻塊可包括像素?cái)?shù)據(jù)塊，或例如在例如離散余弦變換(DCT)或概念上類似的變換過程等變換過程之后的變換系數(shù)塊。這些技術(shù)可擴(kuò)展到3D視頻。
[0035]較小的視頻塊可提供較佳的分辨率，且可用于包含較高細(xì)節(jié)水平的視頻幀的定位。一般來說，宏塊和各種子塊可被視為視頻塊。另外，可將切片視為一連串視頻塊，例如若干宏塊和/或若干子塊。每一切片可為視頻幀的可獨(dú)立解碼單元?；蛘撸瑤陨砜蔀榭山獯a單元，或可將幀的其它部分定義為可解碼單元。
[0036]通過將來自深度圖或取景視差圖的深度信息連同用于那個(gè)視頻幀或切片的相關(guān)聯(lián)的明度和色度分量(即，紋理分量)進(jìn)行編碼，ITU-T H.264的2D宏塊可擴(kuò)展到3D。取景視差映射(還被稱作虛擬位移映射或偏移映射)基于在一像素位置處的視圖角度和高度圖的函數(shù)來移位所述像素位置處的紋理分量。視頻編碼器22可將深度信息編碼為單色視頻。[0037]為了編碼視頻塊(例如，經(jīng)譯碼塊)，視頻編碼器22執(zhí)行幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)以產(chǎn)生一個(gè)或一個(gè)以上預(yù)測(cè)塊。視頻編碼器22從將被編碼的原始視頻塊減去預(yù)測(cè)塊以產(chǎn)生殘余塊。因此，殘余塊可表示正被譯碼的塊與預(yù)測(cè)塊之間的逐像素差。
[0038]視頻編碼器22還可應(yīng)用變換、量化和熵譯碼過程以進(jìn)一步減小與殘余塊的通信相關(guān)聯(lián)的位率。變換技術(shù)可包括離散余弦變換(DCT)或概念上類似的過程。或者，可使用小波變換、整數(shù)變換，或其它類型的變換。在DCT過程中，作為一實(shí)例，可將一組像素值轉(zhuǎn)換為可表示頻域中的像素值的能量的變換系數(shù)。
[0039]視頻編碼器22還可量化變換系數(shù)，其可一般涉及減少與對(duì)應(yīng)的變換系數(shù)相關(guān)聯(lián)的位數(shù)目的過程。量化一般指代其中將系數(shù)量化以可能地減少用于表示系數(shù)的數(shù)據(jù)量的過程。在量化之后，可根據(jù)熵譯碼方法執(zhí)行熵譯碼。熵譯碼可包含共同地壓縮數(shù)據(jù)以供輸出到位流的一個(gè)或一個(gè)以上過程，其中經(jīng)壓縮的數(shù)據(jù)可包含(例如)譯碼模式、運(yùn)動(dòng)信息、經(jīng)譯碼塊模式和經(jīng)量化變換系數(shù)的序列。熵譯碼的實(shí)例包含(但不限于)上下文自適應(yīng)可變長(zhǎng)度譯碼(CAVLC)和上下文自適應(yīng)二進(jìn)制算術(shù)譯碼(CABAC)。下文關(guān)于圖2來描述由視頻編碼器22執(zhí)行的編碼過程的額外細(xì)節(jié)。
[0040]經(jīng)譯碼視頻塊可由可用于創(chuàng)建或識(shí)別預(yù)測(cè)塊的預(yù)測(cè)信息以及可應(yīng)用于預(yù)測(cè)塊以重新創(chuàng)建原始?jí)K的殘余數(shù)據(jù)塊表示。所述預(yù)測(cè)信息可包括用于識(shí)別預(yù)測(cè)數(shù)據(jù)塊的一個(gè)或一個(gè)以上運(yùn)動(dòng)向量。通過使用所述運(yùn)動(dòng)向量，視頻解碼器28可能夠重構(gòu)曾用于對(duì)殘余塊進(jìn)行譯碼的預(yù)測(cè)塊。因此，給定一組殘余塊和一組運(yùn)動(dòng)向量(以及可能一些額外語法)，視頻解碼器28可重構(gòu)曾最初被編碼的視頻幀。基于幀間譯碼的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償可在不具有過多的數(shù)據(jù)損失的情況下實(shí)現(xiàn)相對(duì)高的壓縮量，因?yàn)檫B續(xù)的視頻幀或其它類型的經(jīng)譯碼單元常常是類似的。經(jīng)編碼視頻序列可包括殘余數(shù)據(jù)塊、運(yùn)動(dòng)向量(當(dāng)被幀間預(yù)測(cè)編碼時(shí))、用于幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)模式的指示，以及語法元素。
[0041]通過基于深度值范圍來補(bǔ)償或再映射像素值，這些技術(shù)可改進(jìn)編碼深度圖的過程。另外，本文中所描述的技術(shù)可提高運(yùn)動(dòng)補(bǔ)償?shù)男省？稍谑褂脙?nèi)插的子像素運(yùn)動(dòng)補(bǔ)償之后針對(duì)當(dāng)前視圖中的深度值執(zhí)行再映射。
[0042]在一些實(shí)例中，視頻編碼器22和視頻解碼器28遵照使用塊運(yùn)動(dòng)補(bǔ)償?shù)腍.264/AVC標(biāo)準(zhǔn)。在塊運(yùn)動(dòng)補(bǔ)償(BMC)中，以像素塊來分割幀?？蓮膮⒖紟械南嗟却笮〉膲K來預(yù)測(cè)每一塊?？刹灰猿艘莆坏筋A(yù)測(cè)塊的位置之外的任何方式來變換塊。此移位可由運(yùn)動(dòng)向量表不。
[0043]為了利用相鄰塊向量之間的冗余(例如，對(duì)于由多個(gè)塊覆蓋的單個(gè)移動(dòng)對(duì)象)，在一些情況下，可僅在位流中對(duì)當(dāng)前和前一運(yùn)動(dòng)向量之間的差進(jìn)行譯碼。此求差過程的結(jié)果可在數(shù)學(xué)上類似于能夠搖攝的全局運(yùn)動(dòng)補(bǔ)償。熵譯碼單元(例如，圖2中所示的熵譯碼單元46)可利用圍繞零向量的運(yùn)動(dòng)向量的所得統(tǒng)計(jì)分布來減小輸出大小。
[0044]可將塊移位非整數(shù)數(shù)目個(gè)像素，其可被稱作子像素精度。子像素在全整數(shù)像素之間，且可通過內(nèi)插相鄰像素而產(chǎn)生。通常，可使用二分之一像素或四分之一像素精度。歸因于內(nèi)插所需的額外處理，子像素精度的計(jì)算費(fèi)用可高于全整數(shù)像素精度。此外，在編碼器側(cè)上評(píng)估更大數(shù)目的潛在的源塊。
[0045]塊運(yùn)動(dòng)補(bǔ)償可在塊邊界處引入不連續(xù)性，這被稱作成塊假影或成塊性假影。這些成塊假影以人眼可認(rèn)出的尖銳的水平和垂直邊緣的形式出現(xiàn)，且在用于殘余幀的變換譯碼的傅立葉相關(guān)變換中產(chǎn)生振鈴效果(高頻子頻帶中的大系數(shù))。
[0046]塊運(yùn)動(dòng)補(bǔ)償將當(dāng)前幀劃分為非重疊的塊，且運(yùn)動(dòng)向量提供用于檢索這些塊的所預(yù)測(cè)值的信息。用于參考的塊可能在參考幀(還被稱作源幀)中重疊，且因此，不需要一定出現(xiàn)在參考幀內(nèi)的塊邊界處。一些視頻壓縮算法從多片若干不同的先前發(fā)射的幀裝配當(dāng)前幀。
[0047]還可從未來幀(S卩，比正被譯碼的當(dāng)前幀在時(shí)間上晚顯示的幀(雖然這些隨后顯示的幀是在當(dāng)前幀之前被譯碼，且因此，在位流本身中更早地提供這些幀的數(shù)據(jù)))預(yù)測(cè)幀。可在所預(yù)測(cè)的幀之前對(duì)未來幀進(jìn)行編碼。因此，編碼次序不一定與實(shí)際幀次序匹配。此些幀通常是從兩個(gè)方向預(yù)測(cè)，即從緊接在所預(yù)測(cè)的幀前面或后面的I幀或P幀來預(yù)測(cè)。這些雙向預(yù)測(cè)的幀被稱為B幀。譯碼方案可例如為IBBPBBPBBPBB。
[0048]參數(shù)集可含有序列層級(jí)標(biāo)頭信息(在序列參數(shù)集SPS中)以及不頻繁變化的圖片層級(jí)標(biāo)頭信息(在圖片參數(shù)集PPS中)。通過參數(shù)集，不需要針對(duì)每一序列或圖片來重復(fù)此不頻繁變化的信息，因此譯碼效率得到提高。此外，參數(shù)集的使用實(shí)現(xiàn)了對(duì)重要標(biāo)頭信息的帶外發(fā)射，從而避免了需要將冗余發(fā)射用于錯(cuò)誤彈性。在帶外發(fā)射中，可在與其它NAL單元不同的信道上發(fā)射參數(shù)集NAL單元。
[0049]再者，圖1的所說明的系統(tǒng)10僅是一個(gè)實(shí)例。可通過支持基于塊的預(yù)測(cè)編碼的任何編碼裝置，或通過支持基于塊的預(yù)測(cè)解碼的任何解碼裝置來執(zhí)行本發(fā)明的各種技術(shù)。源裝置12及目的地裝置16僅為此些譯碼裝置的實(shí)例，其中源裝置12產(chǎn)生供發(fā)射到目的地裝置16的經(jīng)譯碼視頻數(shù)據(jù)。在一些情況下，裝置12和16可以大體上對(duì)稱的方式操作，以使得裝置12和16中的每一者包含視頻編碼和解碼組件。因此，系統(tǒng)10可支持視頻裝置12和16之間的單向或雙向視頻發(fā)射，例如用于視頻流式傳輸、視頻回放、視頻廣播或視頻電話。
[0050]源裝置12的視頻源20可包含一個(gè)或一個(gè)以上視頻俘獲裝置，例如攝像機(jī)、含有先前所俘獲的視頻的視頻存檔，或來自視頻內(nèi)容提供者的視頻饋入。作為另一替代方案，視頻源20可產(chǎn)生基于計(jì)算機(jī)圖形的數(shù)據(jù)作為源視頻，或直播視頻(live video)、存檔視頻和/或計(jì)算機(jī)產(chǎn)生的視頻的組合。在一些情況下，如果視頻源20是攝像機(jī)，那么源裝置12和目的地裝置16可形成所謂的相機(jī)電話或視頻電話，或經(jīng)配置以操縱視頻數(shù)據(jù)的其它移動(dòng)裝置，例如平板計(jì)算裝置。在每一情況下，視頻編碼器22可對(duì)所俘獲、預(yù)俘獲或計(jì)算機(jī)產(chǎn)生的視頻進(jìn)行編碼。視頻源20俘獲視圖且將視圖提供給深度處理單元21。在一些實(shí)例中，深度處理單元21是視頻編碼器22的一部分。
[0051]可從由視頻源20俘獲的視圖確定視圖中的對(duì)象的深度圖像。深度處理單元21可經(jīng)配置以自動(dòng)計(jì)算視圖中的對(duì)象的深度值。舉例來說，深度處理單元21可基于亮度信息來計(jì)算對(duì)象的深度值。深度處理單元21還可確定視圖中的深度值的深度范圍。所述深度范圍可對(duì)應(yīng)于最小(例如,最近)現(xiàn)實(shí)世界深度值到最大(例如,最遠(yuǎn))現(xiàn)實(shí)世界深度值的范圍。如本文中所使用，將深度值表示為d，而將深度范圍表示為zn_到zfm。
[0052]在一些實(shí)例中，深度處理單元21經(jīng)配置以從用戶接收深度信息。在一些實(shí)例中，視頻源20可以不同角度俘獲場(chǎng)景的兩個(gè)視圖，且基于兩個(gè)視圖中的對(duì)象之間的視差來計(jì)算場(chǎng)景中的對(duì)象的深度信息。在各種實(shí)例中，視頻源20可包括標(biāo)準(zhǔn)的二維相機(jī)、提供場(chǎng)景的立體視圖的二相機(jī)系統(tǒng)、俘獲場(chǎng)景的多個(gè)視圖的相機(jī)陣列，或俘獲一個(gè)視圖加深度信息的相機(jī)。[0053]深度處理單元21將紋理視圖分量和深度視圖分量傳遞給視頻編碼器22。深度處理單元21還可將視圖傳遞給視頻解碼器22。深度視圖分量可來自視圖的深度圖圖像。深度圖圖像可包括與將顯示的區(qū)域(例如，塊、切片或幀)相關(guān)聯(lián)的每一像素區(qū)的深度值的圖。像素區(qū)可為單個(gè)像素或一個(gè)或一個(gè)以上像素的群組。深度圖的一些實(shí)例針對(duì)每個(gè)像素具有一個(gè)深度分量。在具有子像素精度的其它實(shí)例中，每個(gè)像素存在多個(gè)深度分量。可以實(shí)質(zhì)上類似于紋理數(shù)據(jù)的方式，例如相對(duì)于其它先前經(jīng)譯碼深度數(shù)據(jù)而使用幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)，來對(duì)深度圖進(jìn)行譯碼。
[0054]在一些實(shí)例中，估計(jì)深度圖。當(dāng)一個(gè)以上視圖可用時(shí)，可使用立體匹配來估計(jì)深度圖。然而，在2D到3D的轉(zhuǎn)換中，估計(jì)深度可更困難。盡管如此，可使用通過各種方法估計(jì)的深度圖來用于根據(jù)基于深度圖像的再現(xiàn)(DIBR)的3D再現(xiàn)。
[0055]雖然視頻源20可提供場(chǎng)景的多個(gè)視圖，但深度處理單元21可基于所述多個(gè)視圖來計(jì)算深度信息，且源裝置12可一般針對(duì)場(chǎng)景的每一視圖發(fā)射一個(gè)視圖加深度信息。
[0056]當(dāng)視圖是數(shù)字靜態(tài)圖片時(shí)，視頻編碼器22可經(jīng)配置以將視圖編碼為(例如)聯(lián)合照片專家組(JPEG)圖像。當(dāng)視圖是視頻數(shù)據(jù)幀時(shí)，視頻編碼器22可經(jīng)配置以根據(jù)視頻譯碼標(biāo)準(zhǔn)對(duì)第一視圖進(jìn)行編碼，所述視頻譯碼標(biāo)準(zhǔn)例如為運(yùn)動(dòng)圖片專家組(MPEG)、國(guó)際標(biāo)準(zhǔn)化組織(ISO)/ 國(guó)際電工委員會(huì)(IEC)MPEG-1 視覺、IS0/IEC MPEG-2 視覺、IS0/IECMPEG-4視覺、國(guó)際電信聯(lián)盟(ITU) H.261、ITU-T H.262、ITU-T H.263、ITU-TH.264/MPEG-4、H.264高級(jí)視頻譯碼(AVC)、即將到來的高效率視頻譯碼(HEVC)標(biāo)準(zhǔn)(還被稱作H.265)，或其它視頻編碼標(biāo)準(zhǔn)。視頻編碼器22可包含深度視圖分量以及經(jīng)編碼圖像以形成一個(gè)或一個(gè)以上經(jīng)譯碼塊。視頻編碼器22將一個(gè)或一個(gè)以上經(jīng)譯碼塊傳遞到發(fā)射器24。可在包含信令信息以及經(jīng)譯碼塊的位流中將經(jīng)譯碼塊傳送到接收器26。
[0057]經(jīng)編碼視頻信息可包含紋理視圖分量和深度視圖分量。紋理分量可包含視頻信息的明度(Iuma)和色度(chiOma)分量。明度分量一般描述亮度，而色度分量一般描述色調(diào)。深度處理單元21可從所俘獲的視圖的深度圖提取深度信息。視頻編碼器22可將紋理視圖分量和深度視圖分量編碼為經(jīng)編碼視頻數(shù)據(jù)的單個(gè)經(jīng)譯碼塊。同樣，視頻編碼器22可對(duì)塊進(jìn)行編碼以使得將明度分量的運(yùn)動(dòng)或幀內(nèi)預(yù)測(cè)模式信息再用于色度分量和深度分量。視頻編碼器22可相對(duì)于當(dāng)前視圖的深度范圍與參考視圖的深度范圍之間的差而再映射當(dāng)前視圖的深度值。
[0058]可由調(diào)制解調(diào)器23根據(jù)例如碼分多址(CDMA)或另一通信標(biāo)準(zhǔn)等通信標(biāo)準(zhǔn)來調(diào)制經(jīng)譯碼塊，且經(jīng)由發(fā)射器24和通信信道15將經(jīng)譯碼塊發(fā)射到目的地裝置16。調(diào)制解調(diào)器23可包含各種混頻器、濾波器、放大器或經(jīng)設(shè)計(jì)以用于信號(hào)調(diào)制的其它組件。發(fā)射器24可包含經(jīng)設(shè)計(jì)以用于發(fā)射數(shù)據(jù)的電路，包含放大器、濾波器及一個(gè)或一個(gè)以上天線。在一些實(shí)例中，不經(jīng)由通信信道進(jìn)行發(fā)射，源裝置12將包含具有紋理分量和深度分量的塊的經(jīng)編碼視頻數(shù)據(jù)存儲(chǔ)到存儲(chǔ)媒體中，所述存儲(chǔ)媒體例如為數(shù)字視頻光盤(DVD)、藍(lán)光光盤、快閃驅(qū)動(dòng)器等。
[0059]目的地裝置16的接收器26在通信信道15上接收信息，且調(diào)制解調(diào)器27解調(diào)所述信息。與發(fā)射器24類似，接收器26可包含經(jīng)設(shè)計(jì)以用于接收數(shù)據(jù)的電路，包含放大器、濾波器及一個(gè)或一個(gè)以上天線。在一些實(shí)例中，發(fā)射器24和/或接收器26可并入包含接收和發(fā)射電路的單個(gè)收發(fā)器組件內(nèi)。調(diào)制解調(diào)器27可包含各種混頻器、濾波器、放大器或經(jīng)設(shè)計(jì)以用于信號(hào)解調(diào)的其它組件。在一些實(shí)例中，調(diào)制解調(diào)器23和27可包含用于執(zhí)行調(diào)制和解調(diào)兩者的組件。
[0060]而且，由視頻編碼器22執(zhí)行的視頻編碼過程可在可包含運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)編碼以及幀內(nèi)預(yù)測(cè)編碼期間實(shí)施本文中所描述的技術(shù)中的一者或一者以上。由視頻解碼器28執(zhí)行的視頻解碼過程還可在解碼過程的運(yùn)動(dòng)補(bǔ)償階段期間執(zhí)行此些技術(shù)。
[0061]術(shù)語“譯碼器”在本文中用于指代執(zhí)行視頻編碼或視頻解碼的專用計(jì)算機(jī)裝置或設(shè)備。術(shù)語“譯碼器”一般指代任何視頻編碼器、視頻解碼器，或組合式編碼器/解碼器(編解碼器)。術(shù)語“譯碼”指代編碼或解碼。術(shù)語“經(jīng)譯碼塊”、“經(jīng)譯碼塊單元”或“經(jīng)譯碼單元”可指代視頻幀的任何可獨(dú)立解碼的單元，例如完整的幀、幀的切片、視頻數(shù)據(jù)塊，或根據(jù)所使用的譯碼技術(shù)界定的另一可獨(dú)立解碼的單元。
[0062]顯示裝置30向用戶顯示經(jīng)解碼的視頻數(shù)據(jù)，且可包括多種一個(gè)或一個(gè)以上顯示裝置中的任一者，例如陰極射線管(CRT)、液晶顯示器(IXD)、等離子體顯示器、有機(jī)發(fā)光二極管(OLED)顯示器或另一類型的顯示裝置。在一些實(shí)例中，顯示裝置30對(duì)應(yīng)于能夠進(jìn)行三維回放的裝置。舉例來說，顯示裝置30可包括立體顯示器，所述立體顯示器與觀看者佩戴的眼睛佩戴物結(jié)合使用。所述眼睛佩戴物可包括主動(dòng)式眼鏡，在此情況下，顯示裝置30與主動(dòng)式眼鏡的鏡片的交替快門同步地在不同視圖的圖像之間快速交替?；蛘?，所述眼睛佩戴物可包括被動(dòng)式眼鏡，在此情況下，顯示裝置30同時(shí)顯示來自不同視圖的圖像，且被動(dòng)式眼鏡可包含偏光鏡片，所述偏光鏡片一般在正交方向上偏光以在不同視圖之間進(jìn)行濾波。
[0063]在圖1的實(shí)例中，通信信道15可包括任一無線或有線通信媒體，例如，射頻(RF)頻譜或一個(gè)或一個(gè)以上物理傳輸線、或無線和有線媒體的任一組合。通信信道15可形成例如局域網(wǎng)、廣域網(wǎng)或例如因特網(wǎng)的全球網(wǎng)絡(luò)的基于包的網(wǎng)絡(luò)的部分。通信信道15通常表示用于將視頻數(shù)據(jù)從源裝置12發(fā)射到目的地裝置16的任何合適的通信媒體或不同通信媒體的集合。通信信道15可包含可用于促進(jìn)從源裝置12到目的地裝置16的通信的路由器、交換器、基站或任何其它設(shè)備。
[0064]視頻編碼器22和視頻解碼器28可根據(jù)例如ITU-T H.264標(biāo)準(zhǔn)(或者被描述為MPEG-4第10部分，高級(jí)視頻譯碼(AVC))的視頻壓縮標(biāo)準(zhǔn)而操作?？捎梢曨l編碼器22和視頻解碼器28使用的基于ITU H.264/AVC標(biāo)準(zhǔn)的額外視頻壓縮標(biāo)準(zhǔn)包含可縮放視頻譯碼(SVC)標(biāo)準(zhǔn)，其為對(duì)ITU H.264/AVC標(biāo)準(zhǔn)的可縮放擴(kuò)展。視頻編碼器22和視頻解碼器28可根據(jù)其而操作的另一標(biāo)準(zhǔn)包含多視圖視頻譯碼(MVC)標(biāo)準(zhǔn)，其為對(duì)ITUH.264/AVC標(biāo)準(zhǔn)的多視圖擴(kuò)展。然而，本發(fā)明的技術(shù)不限于任何特定視頻譯碼標(biāo)準(zhǔn)。
[0065]在一些方面中，視頻編碼器22及視頻解碼器28可各自與音頻編碼器及解碼器集成，且可包含適當(dāng)?shù)腗UX-DEMUX單元或其它硬件及軟件，以處置對(duì)共同數(shù)據(jù)流或單獨(dú)數(shù)據(jù)流中的音頻與視頻兩者的編碼。如果適用，MUX-DEMUX單元可遵照ITU H.223多路復(fù)用器協(xié)議或例如用戶數(shù)據(jù)報(bào)協(xié)議(UDP)等其它協(xié)議。
[0066]視頻編碼器22及視頻解碼器28各自可經(jīng)實(shí)施為一個(gè)或一個(gè)以上微處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、離散邏輯、軟件、硬件、固件或其任何組合。當(dāng)以軟件實(shí)施本發(fā)明的技術(shù)中的任一者或全部時(shí)，實(shí)施裝置可進(jìn)一步包含用于存儲(chǔ)和/或執(zhí)行用于軟件的指令的硬件，例如用于存儲(chǔ)指令的存儲(chǔ)器以及用于執(zhí)行指令的一個(gè)或一個(gè)以上處理單元。視頻編碼器22和視頻解碼器28中的每一者可包含在一個(gè)或一個(gè)以上編碼器或解碼器中，其任一者可作為提供編碼和解碼能力的組合式編解碼器的部分集成在相應(yīng)的移動(dòng)裝置、訂戶裝置、廣播裝置、服務(wù)器等中。
[0067]當(dāng)前正在努力開發(fā)新的視頻譯碼標(biāo)準(zhǔn)(當(dāng)前被稱作高效視頻譯碼(HEVC))。即將到來的標(biāo)準(zhǔn)還被稱作H.265。標(biāo)準(zhǔn)化工作是基于被稱作HEVC測(cè)試模型(HM)的視頻譯碼裝置模型。HM假設(shè)優(yōu)于根據(jù)(例如)ITU-T H.264/AVC的裝置的視頻譯碼裝置的若干能力。舉例來說，盡管H.264提供九種幀內(nèi)預(yù)測(cè)編碼模式，但HM提供多達(dá)三十三種幀內(nèi)預(yù)測(cè)編碼模式。HEVC可經(jīng)擴(kuò)展以支持如本文中所描述的切片標(biāo)頭信息技術(shù)。
[0068]HM將視頻數(shù)據(jù)塊稱作譯碼單元(CU)。位流內(nèi)的語法數(shù)據(jù)可定義最大譯碼單元(LCU)，其為在像素?cái)?shù)目方面的最大譯碼單元。一般來說，CU具有與H.264的宏塊類似的目的，只不過⑶不具有大小區(qū)別。根據(jù)HM標(biāo)準(zhǔn)，經(jīng)譯碼塊可為⑶。因此，⑶可被分裂為若干子CU。一般來說，在本發(fā)明中對(duì)CU的參考可涉及圖片的最大譯碼單元(LCU)或LCU的子CU。LCU可被分裂成若干子CU，且每一子CU可被分裂成若干子CU。位流的語法數(shù)據(jù)可定義LCU可被分裂的最大倍數(shù)，被稱作CU深度。因此，位流還可定義最小譯碼單元(SCU)。本發(fā)明還使用術(shù)語“塊”來指代CU、預(yù)測(cè)單元(PU)或變換單元(TU)中的任一者。
[0069]IXU可與四叉樹數(shù)據(jù)結(jié)構(gòu)相關(guān)聯(lián)。一般來說，四叉樹數(shù)據(jù)結(jié)構(gòu)每個(gè)⑶包含一個(gè)節(jié)點(diǎn)，其中根節(jié)點(diǎn)對(duì)應(yīng)于LCU。如果將CU分裂為四個(gè)子CU，那么對(duì)應(yīng)于CU的節(jié)點(diǎn)包含四個(gè)葉節(jié)點(diǎn)，所述四個(gè)葉節(jié)點(diǎn)中的每一者對(duì)應(yīng)于子CU中的一者。所述四叉樹數(shù)據(jù)結(jié)構(gòu)的每一節(jié)點(diǎn)可提供對(duì)應(yīng)CU的語法數(shù)據(jù)。舉例來說，四叉樹中的節(jié)點(diǎn)可包含分裂旗標(biāo)，從而指示對(duì)應(yīng)于所述節(jié)點(diǎn)的CU是否被分裂為子CU?？蛇f歸地定義CU的語法元素，且所述語法元素可取決于CU是否被分裂為子CU。
[0070]未分裂的⑶可包含一個(gè)或一個(gè)以上預(yù)測(cè)單元(PU)。一般來說，I3U表示對(duì)應(yīng)⑶的全部或一部分，且包含用于檢索PU的參考樣本的數(shù)據(jù)。舉例來說，在對(duì)進(jìn)行幀內(nèi)模式編碼時(shí)，可包含描述的幀內(nèi)預(yù)測(cè)模式的數(shù)據(jù)。作為另一實(shí)例，在對(duì)進(jìn)行幀間模式編碼時(shí)，PU可包含界定PU的運(yùn)動(dòng)向量的數(shù)據(jù)。界定運(yùn)動(dòng)向量的數(shù)據(jù)可描述(例如)運(yùn)動(dòng)向量的水平分量、運(yùn)動(dòng)向量的垂直分量、運(yùn)動(dòng)向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、運(yùn)動(dòng)向量指向的參考幀，和/或運(yùn)動(dòng)向量的參考列表(例如，列表O或列表I)。還可將運(yùn)動(dòng)向量處理為具有用于紋理視圖分量和深度視圖分量的不同分辨率。界定PU的CU的數(shù)據(jù)還可描述(例如)將CU分割為一個(gè)或一個(gè)以上ro。分割模式在CU未被譯碼、被幀內(nèi)預(yù)測(cè)模式編碼還是被幀間預(yù)測(cè)模式編碼之間可不同。
[0071]具有一個(gè)或一個(gè)以上I3U的⑶還可包含一個(gè)或一個(gè)以上變換單元(TU)。在使用PU進(jìn)行預(yù)測(cè)之后，視頻編碼器22可計(jì)算CU的對(duì)應(yīng)于的部分的殘余值。可變換、掃描和量化所述殘余值。TU不一定受限于PU的大小。因此，TU可比同一⑶的對(duì)應(yīng)PU更大或更小。在一些實(shí)例中，TU的最大大小可對(duì)應(yīng)于對(duì)應(yīng)CU的大小。
[0072]如上文所述，幀內(nèi)預(yù)測(cè)包含從一圖片的先前經(jīng)譯碼⑶來預(yù)測(cè)同一圖片的當(dāng)前⑶的PU。更具體來說，視頻編碼器22可使用特定幀內(nèi)預(yù)測(cè)模式來對(duì)圖片的當(dāng)前CU進(jìn)行幀內(nèi)預(yù)測(cè)。HM編碼器可被配置有多達(dá)三十三種幀內(nèi)預(yù)測(cè)模式。因此，為了支持方向性幀內(nèi)預(yù)測(cè)模式與方向性變換之間的一對(duì)一映射，HM編碼器和解碼器將需要針對(duì)每一所支持的變換大小來存儲(chǔ)66個(gè)矩陣。此外，針對(duì)其而支持所有三十三種幀內(nèi)預(yù)測(cè)模式的塊大小可為相對(duì)大的塊，例如32X32像素、64 X 64像素，或更大。
[0073]在目的地裝置16中，視頻解碼器28接收經(jīng)編碼視頻數(shù)據(jù)。視頻解碼器28根據(jù)例如CAVLC或CABAC等熵譯碼方法對(duì)例如經(jīng)譯碼塊等所接收的視頻數(shù)據(jù)進(jìn)行熵解碼，以獲得經(jīng)量化系數(shù)。視頻解碼器28應(yīng)用反量化(解量化)和反變換功能以在像素域中重構(gòu)殘余塊。視頻解碼器28還基于經(jīng)編碼視頻數(shù)據(jù)中所包含的控制信息或語法信息(例如，譯碼模式、運(yùn)動(dòng)向量、界定濾波器系數(shù)的語法等)而產(chǎn)生預(yù)測(cè)塊。視頻解碼器28可計(jì)算預(yù)測(cè)塊與經(jīng)重構(gòu)的殘余塊的總和以產(chǎn)生用于顯示的經(jīng)重構(gòu)視頻塊。下文關(guān)于圖5來描述由視頻解碼器28執(zhí)行的實(shí)例性解碼過程的額外細(xì)節(jié)。
[0074]如本文中所描述，Y可表示明度，Cb和Cr可表示三維YCbCr色彩空間(例如，藍(lán)色和紅色色調(diào))的色度的兩個(gè)不同值，且d可表示深度信息。在一些實(shí)例中，每一像素位置可實(shí)際上界定用于三維色彩空間的三個(gè)像素值以及用于像素位置的深度的一個(gè)像素值。在其它實(shí)例中，每個(gè)色度分量可存在不同數(shù)目的明度分量。舉例來說，每個(gè)深度分量可存在四個(gè)明度分量。另外，深度分量和紋理分量可具有不同的分辨率。在此實(shí)例中，在紋理視圖分量(例如，明度分量)與深度視圖分量之間可能不是一對(duì)一的關(guān)系。此外，不同視圖之間的深度值可具有不同深度圖像。然而，本發(fā)明的技術(shù)可為了簡(jiǎn)單起見而涉及關(guān)于一個(gè)維度的預(yù)測(cè)。在關(guān)于一個(gè)維度上的像素值來描述技術(shù)的程度上，類似技術(shù)可擴(kuò)展到其它維度。具體來說，根據(jù)本發(fā)明的一個(gè)方面，視頻編碼器22和/或視頻解碼器28可獲得像素塊，其中像素塊包含紋理視圖分量和深度視圖分量。
[0075]在一些實(shí)例中，視頻編碼器22和視頻解碼器28可在運(yùn)動(dòng)補(bǔ)償期間使用一種或一種以上內(nèi)插濾波技術(shù)。也就是說，視頻編碼器22和/或視頻解碼器28可應(yīng)用內(nèi)插濾波器來對(duì)包括多組全整數(shù)像素位置的支持進(jìn)行濾波。
[0076]目的地裝置16的視頻解碼器28可連同包含與紋理視圖分量相關(guān)的語法信息的額外信息一起接收一個(gè)或一個(gè)以上經(jīng)譯碼塊以作為經(jīng)編碼視頻位流的部分。視頻編碼器28可基于經(jīng)譯碼塊和語法元素來再現(xiàn)視頻數(shù)據(jù)以供3D回放?？稍谇衅瑯?biāo)頭中用信號(hào)發(fā)送語法元素。可用信號(hào)發(fā)送深度視圖分量的一些語法元素。可在切片層級(jí)中包含旗標(biāo)，所述旗標(biāo)指示是否需要再映射來解碼當(dāng)前深度切片。在另一實(shí)例中，可在每一參考視圖或圖片的切片標(biāo)頭中包含不同的旗標(biāo)，所述旗標(biāo)指示在運(yùn)動(dòng)補(bǔ)償是來自那個(gè)特定參考視圖或圖片時(shí)是否需要再映射。在其它實(shí)例中，除了切片層級(jí)(例如，在切片標(biāo)頭中)之外，還可在序列層級(jí)(例如，在序列參數(shù)集(SPS)數(shù)據(jù)結(jié)構(gòu)中)、圖片層級(jí)(例如，在圖片參數(shù)集(PPS)數(shù)據(jù)結(jié)構(gòu)或幀標(biāo)頭中)或塊層級(jí)(例如，在塊標(biāo)頭中)處用信號(hào)發(fā)送語法元素。
[0077]圖2是進(jìn)一步詳細(xì)地說明圖1的視頻編碼器22的一實(shí)例的方框圖。視頻編碼器22可對(duì)具有不同的深度范圍的運(yùn)動(dòng)深度圖進(jìn)行編碼。視頻編碼器22是在本文被稱作“譯碼器”的專用視頻計(jì)算機(jī)裝置或設(shè)備的一個(gè)實(shí)例。如圖2中所示，視頻編碼器22對(duì)應(yīng)于源裝置12的視頻編碼器22。然而，在一個(gè)實(shí)例中，視頻編碼器22可對(duì)應(yīng)于不同的裝置。在進(jìn)一步的實(shí)例中，其它單元(例如，其它編碼器/解碼器(CODEC))也可執(zhí)行與由視頻編碼器22執(zhí)行的技術(shù)類似的技術(shù)。如本文中所使用，提供單元或模塊來表示功能性且可以是或可以不是單獨(dú)的硬件單元、單獨(dú)的軟件功能或甚至單獨(dú)的過程。
[0078]視頻編碼器22可執(zhí)行對(duì)視頻幀內(nèi)的塊的幀內(nèi)譯碼或幀間譯碼，但為了便于說明，在圖2中未展示幀內(nèi)譯碼組件。幀內(nèi)譯碼依賴于空間預(yù)測(cè)以減少或移除給定視頻幀內(nèi)的視頻中的空間冗余。幀間譯碼依賴于時(shí)間預(yù)測(cè)以減少或移除視頻序列的鄰近幀內(nèi)的視頻中的時(shí)間冗余。幀內(nèi)模式(I模式)可指代基于空間的壓縮模式。例如預(yù)測(cè)(P模式)或雙向(B模式)等幀間模式可指代基于時(shí)間的壓縮模式。本發(fā)明的技術(shù)在幀間譯碼和幀內(nèi)譯碼期間適用。然而，為了說明的簡(jiǎn)明和便利，在圖2中未說明例如空間預(yù)測(cè)單元等幀內(nèi)譯碼單元。
[0079]如圖2中所示，視頻編碼器22接收待編碼視頻幀內(nèi)的視頻塊。舉例來說，視頻編碼器22可接收紋理視圖分量和深度視圖分量。在圖2的實(shí)例中，視頻編碼器22包含預(yù)測(cè)處理單元32，所述預(yù)測(cè)處理單元包含運(yùn)動(dòng)估計(jì)單元(MEU) 35和運(yùn)動(dòng)補(bǔ)償單元(MCU) 37，以及一個(gè)或一個(gè)以上內(nèi)插濾波器39。視頻編碼器22進(jìn)一步包含多視圖視頻加深度(MVD)單元
33、存儲(chǔ)器34、第一加法器48、變換處理單元38、量化單元40、深度值再映射(再映射)單元41和熵譯碼單元46。為了視頻塊重構(gòu)，視頻編碼器22還包含反量化單元42、反變換處理單元44、第二加法器51和解塊單元43。視頻編碼器22還包含用于存儲(chǔ)數(shù)據(jù)的存儲(chǔ)器34，例如參考幀緩沖器。
[0080]解塊單元43可為對(duì)塊邊界進(jìn)行濾波以從經(jīng)重構(gòu)的視頻移除成塊性假影的解塊濾波器。如果包含于視頻編碼器22中，那么解塊單元43將通常對(duì)第二加法器51的輸出進(jìn)行濾波。解塊單元43可確定一個(gè)或一個(gè)以上紋理分量的解塊信息。解塊單元43還可確定深度圖分量的解塊信息。在一些實(shí)例中，一個(gè)或一個(gè)以上紋理分量的解塊信息可不同于深度圖分量的解塊信息。
[0081]多視圖視頻加深度(MVD)單元33接收包括紋理分量和深度信息的一個(gè)或一個(gè)以上視頻塊(圖2中標(biāo)記為“視頻塊”)。MVD單元33向視頻編碼器22提供對(duì)塊單元中的深度分量進(jìn)行編碼的功能性。MVD單元33可以使得預(yù)測(cè)處理單元32能夠處理深度信息的格式向預(yù)測(cè)處理單元32組合地或單獨(dú)地提供紋理視圖分量和深度視圖分量。MVD單元33還可確定每一深度視圖分量或幀中的深度值的現(xiàn)實(shí)世界深度范圍。在其它實(shí)例中，視頻編碼器22的每一單元(例如，預(yù)測(cè)處理單元32、變換處理單元38、量化單元40、熵譯碼單元46等)包括用以處理除了紋理視圖分量之外的深度信息的功能性。
[0082]一般來說，視頻編碼器22可以類似于色度信息的方式對(duì)深度信息進(jìn)行編碼，原因在于運(yùn)動(dòng)補(bǔ)償單元37可經(jīng)配置以在計(jì)算一塊的深度分量的預(yù)測(cè)值時(shí)會(huì)再用針對(duì)同一塊的明度分量所計(jì)算的運(yùn)動(dòng)向量。類似地，視頻編碼器22的幀內(nèi)預(yù)測(cè)單元可經(jīng)配置以在使用幀內(nèi)預(yù)測(cè)編碼深度分量時(shí)使用針對(duì)明度分量(即，基于對(duì)明度分量的分析)所選擇的幀內(nèi)預(yù)測(cè)模式。
[0083]預(yù)測(cè)處理單元32可包含運(yùn)動(dòng)估計(jì)(ME)單元35和運(yùn)動(dòng)補(bǔ)償(MC)單元37。預(yù)測(cè)處理單元32可預(yù)測(cè)像素位置的深度信息以及紋理分量。一個(gè)或一個(gè)以上內(nèi)插濾波器39 (在本文被稱作“濾波器39”)可包含于預(yù)測(cè)處理單元32中且可由ME單元35和MC單元37中的一者或兩者調(diào)用來執(zhí)行內(nèi)插以作為運(yùn)動(dòng)估計(jì)和/或運(yùn)動(dòng)補(bǔ)償?shù)牟糠?。?nèi)插濾波器39可實(shí)際上表示用以促進(jìn)眾多不同類型的內(nèi)插和內(nèi)插類型的濾波的多個(gè)不同濾波器。因此，預(yù)測(cè)處理單元32可包含多個(gè)內(nèi)插或類內(nèi)插濾波器。
[0084]在編碼過程期間，視頻編碼器22接收將被譯碼的視頻塊(圖2中標(biāo)記為“視頻塊”)，且預(yù)測(cè)處理單元32執(zhí)行幀間預(yù)測(cè)譯碼以產(chǎn)生預(yù)測(cè)塊(圖2中標(biāo)記為“預(yù)測(cè)塊”)。預(yù)測(cè)塊可包含紋理視圖分量和深度視圖信息兩者。具體來說，ME單元35可執(zhí)行運(yùn)動(dòng)估計(jì)來識(shí)別存儲(chǔ)器34中的預(yù)測(cè)塊，且MC單元37可執(zhí)行運(yùn)動(dòng)補(bǔ)償來產(chǎn)生預(yù)測(cè)塊。[0085]運(yùn)動(dòng)估計(jì)通常被視為產(chǎn)生估計(jì)視頻塊的運(yùn)動(dòng)的運(yùn)動(dòng)向量的過程。運(yùn)動(dòng)向量(例如)可指示預(yù)測(cè)或參考幀(或其它經(jīng)譯碼單元，例如切片)內(nèi)的預(yù)測(cè)塊相對(duì)于當(dāng)前幀(或其它經(jīng)譯碼單元)內(nèi)將被譯碼的塊的位移。運(yùn)動(dòng)向量可具有全整數(shù)或子整數(shù)像素精度。舉例來說，運(yùn)動(dòng)向量的水平分量和垂直分量?jī)烧呖删哂邢鄳?yīng)的全整數(shù)分量和子整數(shù)分量。參考幀(或幀的部分)可在時(shí)間上位于當(dāng)前視頻塊所屬的視頻幀(或視頻幀的部分)之前或之后。運(yùn)動(dòng)補(bǔ)償通常被視為從存儲(chǔ)器34獲取預(yù)測(cè)塊或產(chǎn)生預(yù)測(cè)塊的過程，所述過程可包含基于由運(yùn)動(dòng)估計(jì)確定的運(yùn)動(dòng)向量來內(nèi)插或以其它方式產(chǎn)生預(yù)測(cè)數(shù)據(jù)。
[0086]ME單元35通過將視頻塊與一個(gè)或一個(gè)以上參考幀(例如，前一和/或后一幀)的參考?jí)K進(jìn)行比較來計(jì)算將被譯碼的視頻塊的至少一個(gè)運(yùn)動(dòng)向量。參考幀的數(shù)據(jù)可存儲(chǔ)于存儲(chǔ)器34中。ME單元35可執(zhí)行具有分?jǐn)?shù)像素精度的運(yùn)動(dòng)估計(jì)，其有時(shí)被稱作分?jǐn)?shù)像素(fractional pixel)、分?jǐn)?shù)像素(fractional pel)、子整數(shù)或子像素運(yùn)動(dòng)估計(jì)。在分?jǐn)?shù)像素運(yùn)動(dòng)估計(jì)中，ME單元35可計(jì)算指示到除了整數(shù)像素位置之外的位置的位移的運(yùn)動(dòng)向量。因此，運(yùn)動(dòng)向量可具有分?jǐn)?shù)像素精度，例如，二分之一像素精度、四分之一像素精度、八分之一像素精度，或其它分?jǐn)?shù)像素精度。以此方式，分?jǐn)?shù)像素運(yùn)動(dòng)估計(jì)允許預(yù)測(cè)處理單元32估計(jì)具有比整數(shù)像素(或全像素)位置高的精度的運(yùn)動(dòng)，且因此，預(yù)測(cè)處理單元32可產(chǎn)生更準(zhǔn)確的預(yù)測(cè)塊。分?jǐn)?shù)像素運(yùn)動(dòng)估計(jì)可允許預(yù)測(cè)處理單元32以第一分辨率預(yù)測(cè)深度信息，且以第二分辨率預(yù)測(cè)紋理分量。舉例來說，可將紋理分量預(yù)測(cè)為全像素精度，而將深度信息預(yù)測(cè)為二分之一像素精度。在其它實(shí)例中，可使用運(yùn)動(dòng)向量的其它分辨率來用于深度信息和紋理分量。
[0087]ME單元35可調(diào)用濾波器39來用于運(yùn)動(dòng)估計(jì)過程期間的任何必要的內(nèi)插。在一些實(shí)例中，存儲(chǔ)器34可存儲(chǔ)子整數(shù)像素的經(jīng)內(nèi)插值，所述經(jīng)內(nèi)插值可由(例如)第二求和器51使用濾波器39來計(jì)算。舉例來說，第二求和器51可將濾波器39應(yīng)用于將存儲(chǔ)于存儲(chǔ)器34中的經(jīng)重構(gòu)塊。
[0088]例如具有深度值再映射(“再映射”)單元41的視頻編碼器22可基于當(dāng)前深度視圖分量的第一現(xiàn)實(shí)世界深度范圍與參考深度視圖分量的第二現(xiàn)實(shí)世界深度范圍之間的差來執(zhí)行當(dāng)前深度視圖分量的再映射。再映射單元41可確定包括參考視圖分量的第一深度視圖分量的第一現(xiàn)實(shí)世界深度范圍。再映射單元41還可確定包括當(dāng)前視圖分量的第二深度視圖分量的第二現(xiàn)實(shí)世界深度范圍，例如，其中當(dāng)前視圖分量是相對(duì)于參考視圖分量而預(yù)測(cè)?？蓮膮⒖家晥D分量確定當(dāng)前視圖分量的一部分的預(yù)測(cè)塊?？苫谒龅谝滑F(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的差來調(diào)整所述預(yù)測(cè)塊的值?？苫谝缓瘮?shù)來調(diào)整所述值?？苫谒鲱A(yù)測(cè)塊的所述經(jīng)調(diào)整的值來預(yù)測(cè)當(dāng)前視圖的所述部分。
[0089]在一個(gè)實(shí)例中，可將含有潛在函數(shù)的查找表存儲(chǔ)在存儲(chǔ)器34中。再映射單元41可咨詢所述查找表來選擇用于每一深度視圖分量或參考視圖分量的函數(shù)。在一個(gè)實(shí)例中，所述查找表包含用于8字節(jié)深度圖的256個(gè)值。可通過檢查查找表來計(jì)算線性函數(shù)。可將所述函數(shù)應(yīng)用于所預(yù)測(cè)塊的深度范圍值。
[0090]一旦預(yù)測(cè)處理單元32已產(chǎn)生預(yù)測(cè)塊或再映射預(yù)測(cè)塊，視頻編碼器22便通過從正被譯碼的原始視頻塊中減去預(yù)測(cè)塊來形成殘余視頻塊(圖2中標(biāo)記為“殘余塊”)。此減法可發(fā)生在原始視頻塊中的紋理分量與預(yù)測(cè)塊中的紋理分量之間，以及針對(duì)原始視頻塊中的深度信息或來自預(yù)測(cè)塊中的深度信息的深度圖而發(fā)生。第一加法器48表示執(zhí)行此減法運(yùn)算的組件。
[0091]變換處理單元38可對(duì)殘余塊應(yīng)用變換(例如，離散余弦變換(DCT)或概念上類似的變換)，從而產(chǎn)生包括殘余變換塊系數(shù)的視頻塊。應(yīng)理解，變換處理單元38表示將變換應(yīng)用于視頻數(shù)據(jù)塊的殘余系數(shù)(與如由HEVC定義的CU的TU形成對(duì)比)的視頻編碼器22的組件。也就是說，在圖2中所示的實(shí)例中，變換處理單元38可為功能塊，而不是按照HEVC的 “TU”。
[0092]變換處理單元38可例如執(zhí)行概念上類似于DCT的其它變換，例如由H.264標(biāo)準(zhǔn)定義的變換。此些變換可包含(例如)方向性變換(例如，卡胡南-羅孚(Karhunen-Loeve)法則變換)，小波變換、整數(shù)變換、子帶變換，或其它類型的變換。在任何情況下，變換處理單元38對(duì)殘余塊應(yīng)用所述變換，從而產(chǎn)生殘余變換系數(shù)塊。變換處理單元38可將相同類型的變換應(yīng)用于對(duì)應(yīng)的殘余塊中的紋理分量和深度信息兩者?？纱嬖诿恳患y理和深度分量的單獨(dú)殘余塊。所述變換可將殘余信息從像素域轉(zhuǎn)換為頻域。
[0093]量化單元40量化殘余變換系數(shù)以進(jìn)一步減小位率。量化過程可減小與系數(shù)中的一些或全部相關(guān)聯(lián)的位深度。量化單元40可量化深度圖像譯碼殘余值。在量化之后，熵譯碼單元46對(duì)經(jīng)量化變換系數(shù)進(jìn)行熵譯碼。舉例來說，熵譯碼單元46可執(zhí)行CAVLC、CABAC或另一熵譯碼方法。
[0094]熵譯碼單元46還可對(duì)從預(yù)測(cè)處理單元32或視頻編碼器22的其它組件(例如，量化單元40)獲得的一個(gè)或一個(gè)以上運(yùn)動(dòng)向量和支持信息進(jìn)行譯碼。一個(gè)或一個(gè)以上預(yù)測(cè)語法元素可包含譯碼模式、一個(gè)或一個(gè)以上運(yùn)動(dòng)向量的數(shù)據(jù)(例如，水平分量和垂直分量、參考列表識(shí)別符、列表索引，和/或運(yùn)動(dòng)向量分辨率信令信息)、所使用的內(nèi)插技術(shù)的指示、一組濾波器系數(shù)、深度圖像與明度分量的分辨率的相對(duì)分辨率的指示、深度圖像譯碼殘余值的量化矩陣、深度圖像的解塊信息，或與預(yù)測(cè)塊的產(chǎn)生相關(guān)聯(lián)的其它信息?？稍谛蛄袑蛹?jí)中或在圖片層級(jí)中提供這些預(yù)測(cè)語法元素。
[0095]所述一個(gè)或一個(gè)以上語法元素還可包含明度分量與深度分量之間的量化參數(shù)(QP)差?？稍谇衅瑢蛹?jí)處用信號(hào)發(fā)送QP差。還可在經(jīng)譯碼塊單元層級(jí)處用信號(hào)發(fā)送其它語法元素，包含深度視圖分量的經(jīng)譯碼塊模式、深度視圖分量的增量QP、運(yùn)動(dòng)向量差，或與預(yù)測(cè)塊的產(chǎn)生相關(guān)聯(lián)的其它信息?？蓪⑦\(yùn)動(dòng)向量差作為目標(biāo)運(yùn)動(dòng)向量與紋理分量的運(yùn)動(dòng)向量之間的增量值，或作為目標(biāo)運(yùn)動(dòng)向量(即，正被譯碼的塊的運(yùn)動(dòng)向量)與來自塊(例如，CU的PU)的相鄰運(yùn)動(dòng)向量的預(yù)測(cè)符之間的增量值而用信號(hào)發(fā)送。在熵譯碼單元46進(jìn)行的熵譯碼之后，可將經(jīng)編碼視頻和語法元素發(fā)射到另一裝置或加以存檔(例如，存檔在存儲(chǔ)器34中)以用于稍后發(fā)射或檢索。
[0096]反量化單元42和反變換處理單元44分別應(yīng)用反量化和反變換，以在像素域中重構(gòu)殘余塊，(例如)以用于稍后用作參考?jí)K。經(jīng)重構(gòu)殘余塊(在圖2中標(biāo)記為“經(jīng)重構(gòu)殘余塊”)可表示提供給變換處理單元38的殘余塊的經(jīng)重構(gòu)版本。歸因于量化和反量化操作而導(dǎo)致的細(xì)節(jié)的損失，經(jīng)重構(gòu)殘余塊可能不同于由第一求和器48產(chǎn)生的殘余塊。第二求和器51將所述經(jīng)重構(gòu)的殘余塊與由預(yù)測(cè)處理單元32產(chǎn)生的經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)塊相加，以產(chǎn)生用于存儲(chǔ)在存儲(chǔ)器34中的經(jīng)重構(gòu)視頻塊。可由預(yù)測(cè)處理單元32將所述經(jīng)重構(gòu)視頻塊用作參考?jí)K，所述參考?jí)K可用于隨后對(duì)后續(xù)視頻幀或后續(xù)經(jīng)譯碼單元中的塊單元進(jìn)行譯碼。
[0097]以此方式，視頻編碼器22表示視頻編碼器的一實(shí)例，其經(jīng)配置以:確定包括參考視圖分量的第一深度視圖分量的第一現(xiàn)實(shí)世界深度范圍；確定包括當(dāng)前視圖分量的第二深度視圖分量的第二現(xiàn)實(shí)世界深度范圍，其中所述當(dāng)前視圖分量是相對(duì)于所述參考視圖分量而預(yù)測(cè)；從所述參考視圖分量確定所述當(dāng)前視圖分量的一部分的預(yù)測(cè)塊；基于所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的差來調(diào)整所述預(yù)測(cè)塊的值；以及基于所述預(yù)測(cè)塊的所述經(jīng)調(diào)整的值來處理所述當(dāng)前視圖的所述部分。
[0098]圖3是用于多視圖視頻譯碼的MVC預(yù)測(cè)結(jié)構(gòu)的一個(gè)實(shí)例的圖。MVC預(yù)測(cè)結(jié)構(gòu)包含每一視圖內(nèi)的圖片間預(yù)測(cè)以及視圖間預(yù)測(cè)兩者。在圖3B中，預(yù)測(cè)由箭頭指示，其中指向?qū)ο笫褂脤?duì)指對(duì)象來用于預(yù)測(cè)參考。紋理和深度圖兩者可能夠被視圖間預(yù)測(cè)。圖3的MVC預(yù)測(cè)結(jié)構(gòu)可與時(shí)間優(yōu)先解碼次序布置結(jié)合使用。在時(shí)間優(yōu)先解碼次序中，可將每一存取單元界定成含有一個(gè)輸出時(shí)刻處的所有視圖的經(jīng)譯碼圖片。存取單元的解碼次序可不等同于輸出或顯示次序。
[0099]在MVC中，視圖間預(yù)測(cè)可受到視差運(yùn)動(dòng)補(bǔ)償支持，所述視差運(yùn)動(dòng)補(bǔ)償使用H.264/AVC運(yùn)動(dòng)補(bǔ)償?shù)恼Z法，但允許將不同視圖中的圖片作為參考圖片。對(duì)兩個(gè)視圖的譯碼也可受到MVC支持。MVC編碼器可將兩個(gè)以上視圖用作3D視頻輸入，且MVC解碼器可解碼多視圖表示。具有MVC解碼器的再現(xiàn)器可解碼具有多個(gè)視圖的3D視頻內(nèi)容。
[0100]在MVC中，相同存取單元(即，具有相同時(shí)刻)中的圖片可被視圖間預(yù)測(cè)。當(dāng)對(duì)非基礎(chǔ)視圖中的一者中的圖片進(jìn)行譯碼時(shí)，如果圖片處于不同視圖中但具有相同時(shí)刻，那么可將所述圖片添加到參考圖片中。可將視圖間預(yù)測(cè)參考圖片置于參考圖片列表的任何位置中，正如任何幀間預(yù)測(cè)參考圖片一樣。
[0101]在MVC中，可如同另一視圖中的視圖分量是幀間預(yù)測(cè)參考一般實(shí)現(xiàn)視圖間預(yù)測(cè)?？稍谛蛄袇?shù)集(SPS)MVC擴(kuò)展中用信號(hào)發(fā)送潛在的視圖間參考。可通過參考圖片列表建構(gòu)過程來修改潛在的視圖間參考，所述參考圖片列表建構(gòu)過程實(shí)現(xiàn)對(duì)幀間預(yù)測(cè)或視圖間預(yù)測(cè)參考的靈活排序。
[0102]可使用位流在(例如)圖1的源裝置12與目的地裝置16之間傳遞多視圖視頻加深度塊單元和語法元素。所述位流可遵照譯碼標(biāo)準(zhǔn)ITU H.264/AVC，且具體來說，遵循多視圖視頻譯碼(MVC)位流結(jié)構(gòu)。也就是說，在一些實(shí)例中，所述位流可符合H.264/AVC的MVC擴(kuò)展。在其它實(shí)例中，所述位流可符合HEVC的多視圖擴(kuò)展或另一標(biāo)準(zhǔn)的多視圖擴(kuò)展。在又其它實(shí)例中，可使用其它譯碼標(biāo)準(zhǔn)。
[0103]典型的MVC位流次序(解碼次序)布置是時(shí)間優(yōu)先譯碼。將每一存取單元界定為含有一個(gè)輸出時(shí)刻處的所有視圖的經(jīng)譯碼圖片。存取單元的解碼次序可等同于或可不等同于輸出或顯示次序。通常，MVC預(yù)測(cè)可包含每一視圖內(nèi)的圖片間預(yù)測(cè)以及視圖間預(yù)測(cè)兩者。在MVC中，視圖間預(yù)測(cè)可受到視差運(yùn)動(dòng)補(bǔ)償支持，所述視差運(yùn)動(dòng)補(bǔ)償使用H.264/AVC運(yùn)動(dòng)補(bǔ)償?shù)恼Z法，但允許將不同視圖中的圖片用作參考圖片。
[0104]對(duì)兩個(gè)視圖的譯碼受到MVC支持。MVC的一個(gè)優(yōu)點(diǎn)是，MVC編碼器可將兩個(gè)以上視圖用作3D視頻輸入，且MVC解碼器可將兩個(gè)視圖解碼為多視圖表示。因此，具有MVC解碼器的再現(xiàn)器可將3D視頻內(nèi)容視為具有多個(gè)視圖。先前，MVC不處理具有SEI消息(立體信息或空間交錯(cuò)圖片)的深度圖輸入，類似于H.264/AVC。
[0105]在H.264/AVC標(biāo)準(zhǔn)中，將網(wǎng)絡(luò)抽象層(NAL)單元界定為提供“網(wǎng)絡(luò)友好的”視頻表示，從而解決了例如視頻電話、存儲(chǔ)或流式傳輸視頻等應(yīng)用?？蓪AL單元?dú)w類為視頻譯碼層(VCL) NAL單元和非VCL NAL單元。VCL單元可含有核心壓縮引擎且包括塊、宏塊(MB)和切片層級(jí)。其它NAL單元是非VCL NAL單元。
[0106]在2D視頻編碼中，每一 NAL單元可含有一個(gè)字節(jié)的NAL單元標(biāo)頭和不同大小的有效負(fù)載?？墒褂梦鍌€(gè)位來指定NAL單元類型。三個(gè)位可用于nal_ref_idC，其指示在被其它圖片(NAL單元)參考方面NAL單元有多重要。舉例來說，將nal_ref_idC設(shè)定為等于O意味著NAL單元不用于幀間預(yù)測(cè)。隨著H.264/AVC可擴(kuò)展到包含3D視頻編碼，例如可縮放視頻譯碼(SVC)標(biāo)準(zhǔn)，NAL標(biāo)頭可類似于2D情形的NAL標(biāo)頭。
[0107]NAL單元標(biāo)頭還可用于MVC NAL單元。然而，在MVC中，可保留NAL單元標(biāo)頭結(jié)構(gòu)，除了前綴NAL單元和經(jīng)MVC譯碼的切片NAL單元之外。經(jīng)MVC譯碼的切片NAL單元可包括四字節(jié)標(biāo)頭和NAL單元有效負(fù)載，所述NAL單元有效負(fù)載可包含例如圖1的經(jīng)譯碼塊8等塊單兀。MVC NAL單兀標(biāo)頭中的語法兀素可包含priority_id、temporal_id、anchor_pic_flag、view_id、non_idr_flag以及inter_view_flag。在其它實(shí)例中，其它語法元素可包含于MVC NAL單元標(biāo)頭中。
[0108]語法元素anch0r_pic_flag可指示圖片是錨圖片還是非錨圖片。錨圖片以及以輸出次序(顯示次序)在其后面的所有圖片可被正確解碼，而不需要以解碼次序(即，位流次序)對(duì)先前圖片進(jìn)行解碼，且因此可用作隨機(jī)存取點(diǎn)。錨圖片和非錨圖片可具有不同的相依性，可在序列參數(shù)集中用信號(hào)發(fā)送以上兩者。
[0109]MVC中所界定的位流結(jié)構(gòu)可通過兩個(gè)語法元素來表征:view_id和temporal—id。語法元素view_id可指示每一視圖的識(shí)別符。NAL單元中的此識(shí)別符使得能夠容易地在解碼器處識(shí)別NAL單元且快速地存取經(jīng)解碼的視圖以進(jìn)行顯示。語法元素temporalid可指示時(shí)間可縮放性分層結(jié)構(gòu)，或間接地指示幀速率。舉例來說，包含具有較小的最大temporal_id值的NAL單元的操作點(diǎn)可具有比具有較大的最大temporal_id值的操作點(diǎn)低的幀速率。具有較高的temporal_id值的經(jīng)譯碼圖片通常取決于視圖內(nèi)的具有較低的temporal_id值的經(jīng)譯碼圖片,但可不取決于具有較高temporal_id的任何經(jīng)譯碼圖片。
[0110]NAL單元標(biāo)頭中的語法元素view_id和temporal_id可用于位流提取和調(diào)適兩者。語法元素priority_id可主要用于簡(jiǎn)單的一路徑位流調(diào)適過程。語法元素inter_view_flag可指示此NAL單元是否將用于視圖間預(yù)測(cè)不同視圖中的另一 NAL單元。
[0111]MVC還可使用序列參數(shù)集(SPS)且包含SPS MVC擴(kuò)展。參數(shù)集用于H.264/AVC中的信令。參數(shù)集可含有序列參數(shù)集中的序列層級(jí)標(biāo)頭信息以及圖片參數(shù)集PPS中的不頻繁變化的圖片層級(jí)標(biāo)頭信息。通過參數(shù)集，不需要始終針對(duì)每一序列或圖片來重復(fù)此不頻繁變化的信息，因此譯碼效率得到提高。此外，參數(shù)集的使用實(shí)現(xiàn)了對(duì)標(biāo)頭信息的帶外發(fā)射，從而避免需要冗余發(fā)射來用于錯(cuò)誤彈性。在帶外發(fā)射的一些實(shí)例中，可在與其它NAL單元不同的信道上發(fā)射參數(shù)集NAL單元。在MVC中，可在SPS MVC擴(kuò)展中用信號(hào)發(fā)送視圖相依性。可在由SPS MVC擴(kuò)展指定的范圍內(nèi)進(jìn)行所有視圖間預(yù)測(cè)。
[0112]在一些先前的3D視頻編碼技術(shù)中，以一種方式對(duì)內(nèi)容進(jìn)行譯碼，使得在一個(gè)或一個(gè)以上NAL單元中對(duì)色彩分量(例如，在YCbCr色彩空間中)進(jìn)行譯碼，而在一個(gè)或一個(gè)以上單獨(dú)的NAL單元中對(duì)深度圖像進(jìn)行譯碼。然而，當(dāng)沒有單個(gè)NAL單元含有存取單元的紋理和深度圖像的經(jīng)譯碼樣本時(shí)，可出現(xiàn)若干問題。舉例來說，在3D視頻解碼器中，預(yù)期在對(duì)每一幀的紋理和深度圖像兩者進(jìn)行解碼之后，激活基于深度圖和紋理的視圖再現(xiàn)以產(chǎn)生虛擬視圖。如果以連續(xù)方式對(duì)存取單元的深度圖像的NAL單元和紋理的NAL單元進(jìn)行譯碼，視圖再現(xiàn)可直到對(duì)整個(gè)存取單元進(jìn)行解碼時(shí)才開始。此可導(dǎo)致增加再現(xiàn)3D視頻的時(shí)間。
[0113]如本文中所描述，可將若干技術(shù)添加到現(xiàn)有標(biāo)準(zhǔn)，例如WC,以便支持3D視頻?？蓪⒍嘁晥D視頻加深度(MVD)添加到MVC以用于3D視頻處理。3D視頻編碼技術(shù)可向現(xiàn)有的視頻標(biāo)準(zhǔn)提供更多的靈活性和可擴(kuò)展性，例如，以用于流暢地改變視圖角度，或基于裝置的規(guī)格或用戶偏好來向后或向前調(diào)整收斂或深度感知。還可擴(kuò)展譯碼標(biāo)準(zhǔn)以利用深度圖來產(chǎn)生3D視頻中的虛擬視圖。
[0114]圖4是說明可對(duì)以本文中所描述的方式編碼的視頻序列進(jìn)行解碼的視頻解碼器28的實(shí)例的框圖。視頻解碼器28是在本文被稱作“譯碼器”的專用視頻計(jì)算機(jī)裝置或設(shè)備的一個(gè)實(shí)例。如圖3中所示，視頻解碼器28對(duì)應(yīng)于目的地裝置16的視頻解碼器28。然而，在其它實(shí)例中，視頻解碼器28可對(duì)應(yīng)于不同的裝置。在進(jìn)一步的實(shí)例中，其它單元(例如，其它編碼器/解碼器(CODEC))也可執(zhí)行與視頻解碼器28類似的技術(shù)。
[0115]視頻解碼器28包含熵解碼單元52，所述熵解碼單元對(duì)所接收的位流進(jìn)行熵解碼以產(chǎn)生經(jīng)量化系數(shù)和預(yù)測(cè)語法元素。位流可包含具有可用于再現(xiàn)3D視頻的紋理分量和對(duì)應(yīng)的深度分量的經(jīng)譯碼塊。所述位流還可包含語法元素。預(yù)測(cè)語法元素可包含:譯碼模式、一個(gè)或一個(gè)以上運(yùn)動(dòng)向量、識(shí)別所使用的內(nèi)插技術(shù)的信息、在內(nèi)插濾波中使用的系數(shù)和/或與預(yù)測(cè)塊的產(chǎn)生相關(guān)聯(lián)的其它信息。
[0116]將例如運(yùn)動(dòng)向量數(shù)據(jù)等預(yù)測(cè)語法元素轉(zhuǎn)發(fā)到預(yù)測(cè)處理單元55。預(yù)測(cè)處理單元55可使用所述運(yùn)動(dòng)向量數(shù)據(jù)來產(chǎn)生紋理分量或深度分量的所預(yù)測(cè)塊。預(yù)測(cè)處理單元55可將紋理分量的所預(yù)測(cè)塊直接提供給求和器64，而預(yù)測(cè)處理單元55可將深度分量的所預(yù)測(cè)塊提供給再映射單元63。再映射單元63可確定參考幀(或切片)與當(dāng)前幀(或切片)的現(xiàn)實(shí)世界深度范圍中的差，且例如使用查找表或本發(fā)明中針對(duì)調(diào)整深度圖所預(yù)測(cè)值所描述的其它技術(shù)來相應(yīng)地調(diào)整深度分量的所預(yù)測(cè)值中的值。以此方式，再映射單元63包括用于基于參考幀或切片的第一現(xiàn)實(shí)世界深度范圍與正被譯碼的當(dāng)前幀或切片的第二現(xiàn)實(shí)世界深度范圍之間的差來調(diào)整預(yù)測(cè)塊的值的單元的實(shí)例。
[0117]預(yù)測(cè)處理單元55可以與上文關(guān)于視頻編碼器22的預(yù)測(cè)處理單元32所詳細(xì)描述的方式非常相同的方式，基于存儲(chǔ)于存儲(chǔ)器62中的預(yù)測(cè)語法元素和一個(gè)或一個(gè)以上先前經(jīng)解碼的塊來產(chǎn)生預(yù)測(cè)數(shù)據(jù)。具體來說，預(yù)測(cè)處理單元55可在運(yùn)動(dòng)補(bǔ)償期間執(zhí)行本發(fā)明的多視圖視頻加深度技術(shù)中的一者或一者以上以產(chǎn)生并入深度分量以及紋理分量的預(yù)測(cè)塊。預(yù)測(cè)塊(以及經(jīng)譯碼塊)針對(duì)深度分量與紋理分量可具有不同的分辨率。舉例來說，深度分量可具有四分之一像素精度，而紋理分量具有全整數(shù)像素精度。因此，可由視頻解碼器28在產(chǎn)生預(yù)測(cè)塊的過程中使用本發(fā)明的技術(shù)中的一者或一者以上。預(yù)測(cè)處理單元55可包含運(yùn)動(dòng)補(bǔ)償單元，所述運(yùn)動(dòng)補(bǔ)償單元包括用于本發(fā)明的內(nèi)插和類內(nèi)插濾波技術(shù)的濾波器。出于說明的簡(jiǎn)單和便利起見，在圖4中未展示運(yùn)動(dòng)補(bǔ)償組件。這些濾波器可大體上符合預(yù)測(cè)處理單元32(圖2)的內(nèi)插濾波器39。
[0118]反量化單元56將經(jīng)量化系數(shù)反量化，即解量化。反量化過程可為針對(duì)H.264解碼或針對(duì)任何其它解碼標(biāo)準(zhǔn)而界定的過程。反變換處理單元58對(duì)變換系數(shù)應(yīng)用反變換(例如，反DCT或概念上類似的反變換過程)，以便在像素域中產(chǎn)生殘余塊。求和器64對(duì)殘余塊與由預(yù)測(cè)處理單元55產(chǎn)生的對(duì)應(yīng)預(yù)測(cè)塊進(jìn)行求和以形成由視頻編碼器22編碼的原始?jí)K的經(jīng)重構(gòu)版本。如果需要的話，還可應(yīng)用去塊濾波器以對(duì)經(jīng)解碼塊進(jìn)行濾波，以便移除成塊性假影。經(jīng)解碼視頻塊隨后被存儲(chǔ)在存儲(chǔ)器62中，所述存儲(chǔ)器提供用于后續(xù)運(yùn)動(dòng)補(bǔ)償?shù)膮⒖級(jí)K且還產(chǎn)生經(jīng)解碼視頻以驅(qū)動(dòng)顯示裝置(例如，圖1的裝置28)。
[0119]經(jīng)解碼視頻數(shù)據(jù)可用于再現(xiàn)3D視頻。3D視頻可包括三維虛擬視圖。也就是說，可使用視圖分量的紋理分量和深度分量來再現(xiàn)(建構(gòu))虛擬視圖?？墒褂蒙疃刃畔泶_定視圖分量的每一塊中的每一像素的水平偏移(水平視差)。還可執(zhí)行遮擋處置以產(chǎn)生虛擬視圖。視頻解碼器28可將經(jīng)解碼的紋理和深度信息提供給外部單元以用于再現(xiàn)虛擬視圖。
[0120]以此方式，視頻解碼器28表示視頻解碼器的一實(shí)例，其經(jīng)配置以:確定包括參考視圖分量的第一深度視圖分量的第一現(xiàn)實(shí)世界深度范圍；確定包括當(dāng)前視圖分量的第二深度視圖分量的第二現(xiàn)實(shí)世界深度范圍，其中所述當(dāng)前視圖分量是相對(duì)于所述參考視圖分量而預(yù)測(cè)；從所述參考視圖分量確定所述當(dāng)前視圖分量的一部分的預(yù)測(cè)塊；基于所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的差來調(diào)整所述預(yù)測(cè)塊的值；以及基于所述預(yù)測(cè)塊的所述經(jīng)調(diào)整的值來處理所述當(dāng)前視圖的所述部分。
[0121]圖5是說明與本發(fā)明一致的視頻譯碼器的實(shí)例性操作的流程圖。視頻編碼器或視頻解碼器可執(zhí)行圖5的實(shí)例性方法。例如視頻編碼器22等視頻譯碼器確定包括參考視圖分量的第一深度視圖分量的第一現(xiàn)實(shí)世界深度范圍(102)。所述視頻譯碼器確定包括當(dāng)前視圖分量的第二深度視圖分量的第二現(xiàn)實(shí)世界深度范圍，其中當(dāng)前視圖分量是相對(duì)于參考視圖分量而預(yù)測(cè)(104)?，F(xiàn)實(shí)世界深度范圍可由深度相機(jī)直接俘獲，在內(nèi)容是從計(jì)算機(jī)圖形的3D模型產(chǎn)生的情況下進(jìn)行計(jì)算，或從例如視差估計(jì)等技術(shù)來進(jìn)行估計(jì)。
[0122]所述視頻譯碼器可從所述參考視圖分量確定所述當(dāng)前視圖分量的一部分的預(yù)測(cè)塊(106)?？苫谠贖.264/AVC、HEVC或其它視頻譯碼標(biāo)準(zhǔn)中所描述的用于確定預(yù)測(cè)塊的技術(shù)來確定預(yù)測(cè)塊。
[0123]一旦確定了預(yù)測(cè)塊，如果參考視圖的深度視圖分量的現(xiàn)實(shí)世界深度范圍不同于當(dāng)前視圖的深度視圖分量的現(xiàn)實(shí)世界深度范圍，那么可能需要調(diào)整預(yù)測(cè)塊的深度值。可將參考視圖的深度視圖分量的現(xiàn)實(shí)世界深度范圍與當(dāng)前視圖的深度視圖分量的現(xiàn)實(shí)世界深度范圍進(jìn)行比較以確定它們是否不同。在一些實(shí)例中，當(dāng)所述現(xiàn)實(shí)世界深度范圍不同時(shí)，視頻譯碼器基于所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的差來調(diào)整所述預(yù)測(cè)塊的值(108)。
[0124]可使用經(jīng)調(diào)整的預(yù)測(cè)塊的值對(duì)當(dāng)前視圖進(jìn)行譯碼。視頻譯碼器基于預(yù)測(cè)塊的經(jīng)調(diào)整的值來預(yù)測(cè)當(dāng)前視圖的所述部分(110)。
[0125]在其中視頻譯碼器是視頻編碼器的實(shí)例中，確定預(yù)測(cè)塊可包括形成預(yù)測(cè)塊。預(yù)測(cè)當(dāng)前視圖的一部分包括基于預(yù)測(cè)塊的經(jīng)調(diào)整的值對(duì)當(dāng)前視圖的所述部分進(jìn)行譯碼。在其中視頻譯碼器是視頻解碼器的另一實(shí)例中，確定預(yù)測(cè)塊包括接收預(yù)測(cè)塊，且處理當(dāng)前視圖的所述部分包括基于預(yù)測(cè)塊的經(jīng)調(diào)整的值對(duì)當(dāng)前視圖的所述部分進(jìn)行解碼。
[0126]可在預(yù)測(cè)塊的例如切片標(biāo)頭等標(biāo)頭中提供旗標(biāo)，所述旗標(biāo)指示預(yù)測(cè)塊的值是否曾被調(diào)整。標(biāo)頭可為位流中的提供經(jīng)譯碼視頻塊的語法元素的數(shù)據(jù)。舉例來說，熵譯碼單元46 (圖2)可提供此類旗標(biāo)，且熵解碼單元52 (圖4)可解譯旗標(biāo)的值的語義。還可在標(biāo)頭信息中提供旗標(biāo)，所述旗標(biāo)指示從參考視圖分量確定預(yù)測(cè)塊的值的參考視圖分量的一部分是否曾被調(diào)整?；诘谝滑F(xiàn)實(shí)世界深度范圍與第二現(xiàn)實(shí)世界深度范圍之間的差來調(diào)整預(yù)測(cè)塊的值可包含將一函數(shù)應(yīng)用于預(yù)測(cè)塊的值。所述函數(shù)可為線性函數(shù)。在一些實(shí)例中，所述函數(shù)包含縮放預(yù)測(cè)塊的深度值且將偏移添加到經(jīng)縮放的深度值。所述縮放和偏移可與第一深度范圍和第二深度范圍相關(guān)。舉例來說，縮放和偏移的量可基于所述第一或第二深度范圍值?？苫诎ò俗止?jié)深度圖的值的查找表來計(jì)算所述函數(shù)。
[0127]使用現(xiàn)有的譯碼標(biāo)準(zhǔn)，例如H.264/AVC或HEVC，可將深度圖序列用作正常視頻序列。在3DV內(nèi)容中，深度圖序列可能與紋理視頻序列相關(guān)聯(lián)。深度圖圖像可通常含有具有已被量化的現(xiàn)實(shí)世界z值的圖像。舉例來說，可將深度圖圖像量化為(例如)遵循特定公式的8字節(jié)，例如:
[0128]<img/
[0129]其中d是范圍從O到255的經(jīng)量化深度，且z是范圍從Zneai到Zto的現(xiàn)實(shí)世界值。
[0130]從現(xiàn)實(shí)世界值到8字節(jié)深度值的量化可能在幀之間且還可能在視圖之間變化，因?yàn)閦m_到Zfm可改變。因此，當(dāng)前幀及其參考幀中的相同的深度值可能對(duì)應(yīng)于不同的現(xiàn)實(shí)世界深度值。當(dāng)當(dāng)前幀和對(duì)應(yīng)的參考幀中的相同的深度值適用于不同的現(xiàn)實(shí)世界深度值時(shí)，運(yùn)動(dòng)補(bǔ)償效率可能會(huì)降低。此外，當(dāng)前視圖幀及其視圖間參考幀中的相同的深度值可能對(duì)應(yīng)于不同的現(xiàn)實(shí)世界深度值，因此，視圖間預(yù)測(cè)可能不高效。
[0131]可逐像素地應(yīng)用再映射。在其它實(shí)例中，可將深度值再映射應(yīng)用于像素群組。
[0132]當(dāng)在幀層級(jí)中存在現(xiàn)實(shí)世界深度范圍變化時(shí)，可應(yīng)用本文中所描述的技術(shù)。可在運(yùn)動(dòng)補(bǔ)償之后引入深度值再映射解碼過程。可將再映射假設(shè)為線性函數(shù)，使得可在已使用內(nèi)插技術(shù)執(zhí)行的子像素運(yùn)動(dòng)補(bǔ)償之后進(jìn)行像素值再映射。可將再映射一般化為任何形式的紋理預(yù)測(cè)，包含被量化為相同的動(dòng)態(tài)范圍但不同的照明范圍的圖片之間的視圖間深度預(yù)測(cè)以及任何紋理預(yù)測(cè)。在一些實(shí)例中，針對(duì)幀的每一視頻塊或其它部分來單獨(dú)地確定函數(shù)，而在其它實(shí)例中，可應(yīng)用單個(gè)函數(shù)以再映射整個(gè)幀。
[0133]在一些實(shí)例中，可引入查找表，因此，可通過檢查映射數(shù)據(jù)庫(kù)或查找表來計(jì)算將應(yīng)用于當(dāng)前深度圖的函數(shù)。在一個(gè)實(shí)例中，映射數(shù)據(jù)庫(kù)包括8字節(jié)深度圖的256個(gè)值可為可由視頻編碼器和視頻解碼器存取的。映射數(shù)據(jù)庫(kù)查找表可存儲(chǔ)在視頻譯碼器內(nèi)部，例如存儲(chǔ)在視頻編碼器22的存儲(chǔ)器34中，或存儲(chǔ)在可由視頻譯碼器存取的外部存儲(chǔ)裝置中。
[0134]與傳統(tǒng)的視頻譯碼平臺(tái)相比，根據(jù)本文中所描述的技術(shù)而提出一種深度值再映射過程。通過遵循運(yùn)動(dòng)補(bǔ)償塊的每一像素的共同函數(shù)，可將運(yùn)動(dòng)補(bǔ)償塊的每一像素映射到新值。所述技術(shù)可適用于基于運(yùn)動(dòng)補(bǔ)償?shù)娜魏尉幗獯a器，因此適用于H.264/AVC和HEVC的潛在擴(kuò)展。
[0135]為了確定線性再映射函數(shù)，將具有深度z的像素映射到具有深度范圍U:L.，4,.]的
參考圖片中的山且當(dāng)前圖片具有深度范圍需要將d值映射到d1以用于更準(zhǔn)確的預(yù)測(cè)，其中等式(I)變?yōu)?
I I dl ( 1 I ?
[0136]---—=—----— ⑵
7 7Al) 77
人*far、〈nearfar J[0137]將深度范圍應(yīng)用于等式(2)，此導(dǎo)致:
【權(quán)利要求】
1.一種處理視頻數(shù)據(jù)的方法，所述方法包括: 確定對(duì)應(yīng)于參考視圖分量的第一深度視圖分量的第一現(xiàn)實(shí)世界深度范圍； 確定對(duì)應(yīng)于當(dāng)前視圖分量的第二深度視圖分量的第二現(xiàn)實(shí)世界深度范圍，其中所述當(dāng)前視圖分量是相對(duì)于所述參考視圖分量而預(yù)測(cè)； 從所述參考視圖分量確定所述當(dāng)前視圖分量的一部分的預(yù)測(cè)塊； 基于所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的差來調(diào)整所述預(yù)測(cè)塊的值；以及 基于所述預(yù)測(cè)塊的所述經(jīng)調(diào)整的值來預(yù)測(cè)所述當(dāng)前視圖的所述部分。
2.根據(jù)權(quán)利要求1所述的方法，其中確定預(yù)測(cè)塊包括形成所述預(yù)測(cè)塊。
3.根據(jù)權(quán)利要求2所述的方法，其中處理所述當(dāng)前視圖的所述部分包括基于所述預(yù)測(cè)塊的所述經(jīng)調(diào)整的值對(duì)所述當(dāng)前視圖的所述部分進(jìn)行編碼。
4.根據(jù)權(quán)利要求2所述的方法，其中處理所述當(dāng)前視圖的所述部分包括基于所述預(yù)測(cè)塊的所述經(jīng)調(diào)整的值對(duì)所述當(dāng)前視圖的所述部分進(jìn)行解碼。
5.根據(jù)權(quán)利要求2所述的方法，其進(jìn)一步包括: 在所述預(yù)測(cè)塊的切片標(biāo)頭中指示針對(duì)包括所述當(dāng)前視圖分量的切片的一個(gè)或一個(gè)以上塊的譯碼而啟用對(duì)所述預(yù)測(cè)塊的基于深度范圍的調(diào)整。
6.根據(jù)權(quán)利要求1所述的方法，其中基于所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的差來調(diào)整所述預(yù)測(cè)塊的值進(jìn)一步包括:將一函數(shù)應(yīng)用于所述預(yù)測(cè)塊的所述值。
7.根據(jù)權(quán)利要求6所述的方法，其中應(yīng)用所述函數(shù)包括縮放所述預(yù)測(cè)塊的深度值且將偏移添加到所述經(jīng)縮放的深度值。
8.根據(jù)權(quán)利要求7所述的方法，其中所述縮放和所述偏移兩者與所述第一深度范圍和所述第二深度范圍相關(guān)。
9.根據(jù)權(quán)利要求6所述的方法，其進(jìn)一步包括: 基于包括八字節(jié)深度圖的值的查找表來確定所述函數(shù)。
10.根據(jù)權(quán)利要求8所述的方法，其中將所述函數(shù)應(yīng)用于所述預(yù)測(cè)塊的所述值進(jìn)一步包括將所述函數(shù)應(yīng)用于所述預(yù)測(cè)塊中的每一像素，其中將所述函數(shù)給定為
J _7071 — 7?fid)= ^fitr ncar d-l.255 ^farJ x J^l- Tl- -Tl
^far ^near(far (near
11.根據(jù)權(quán)利要求1所述的方法，其中基于所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的所述差來調(diào)整所述預(yù)測(cè)塊的所述值進(jìn)一步包括:當(dāng)所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的所述差超過閾值水平時(shí)，調(diào)整所述預(yù)測(cè)塊的所述值。
12.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括: 對(duì)所述參考視圖分量執(zhí)行運(yùn)動(dòng)補(bǔ)償，其中在對(duì)所述參考視圖分量的所述運(yùn)動(dòng)補(bǔ)償之后執(zhí)行調(diào)整所述預(yù)測(cè)塊的值。
13.一種用于對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的裝置，其包括視頻譯碼器，所述視頻譯碼器經(jīng)配置以:確定包括參考視圖分量的第一深度視圖分量的第一現(xiàn)實(shí)世界深度范圍；確定包括當(dāng)前視圖分量的第二深度視圖分量的第二現(xiàn)實(shí)世界深度范圍，其中所述當(dāng)前視圖分量是相對(duì)于所述參考視圖分量而預(yù)測(cè)；從所述參考視圖分量確定所述當(dāng)前視圖分量的一部分的預(yù)測(cè)塊；基于所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的差來調(diào)整所述預(yù)測(cè)塊的值；以及基于所述預(yù)測(cè)塊的所述經(jīng)調(diào)整的值來預(yù)測(cè)所述當(dāng)前視圖的所述部分。
14.根據(jù)權(quán)利要求13所述的裝置，其中所述視頻譯碼器是視頻編碼器，其中確定預(yù)測(cè)塊進(jìn)一步包括形成所述預(yù)測(cè)塊，且其中處理所述當(dāng)前視圖的所述部分進(jìn)一步包括基于所述預(yù)測(cè)塊的所述經(jīng)調(diào)整的值對(duì)所述當(dāng)前視圖的所述部分進(jìn)行編碼。
15.根據(jù)權(quán)利要求14所述的裝置，其中所述視頻編碼器進(jìn)一步經(jīng)配置以在所述預(yù)測(cè)塊的切片標(biāo)頭中指示針對(duì)包括所述當(dāng)前視圖分量的切片的一個(gè)或一個(gè)以上塊的譯碼而啟用對(duì)所述預(yù)測(cè)塊的基于深度范圍的調(diào)整。
16.根據(jù)權(quán)利要求14所述的裝置，其中所述視頻編碼器進(jìn)一步經(jīng)配置以在所述參考視圖分量的一部分的切片標(biāo)頭中指示從所述參考視圖分量確定的所述預(yù)測(cè)塊的所述值已被調(diào)整。
17.根據(jù)權(quán)利要求13所述的裝置，其中基于所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的差來調(diào)整所述預(yù)測(cè)塊的值進(jìn)一步包括:將一函數(shù)應(yīng)用于所述預(yù)測(cè)塊的所述值。
18.根據(jù)權(quán)利要求17所述的裝置，其中應(yīng)用所述函數(shù)包括縮放所述預(yù)測(cè)塊的深度值且將偏移添加到所述經(jīng)縮放的深度值。
19.根據(jù)權(quán)利要求18所述的裝置，其中所述縮放和所述偏移兩者與所述第一深度范圍和所述第二深度范圍相關(guān)。
20.根據(jù)權(quán)利要求17所述的裝置，其中所述視頻譯碼器進(jìn)一步經(jīng)配置以基于包括八字節(jié)深度圖的值的查找表來確定所述函數(shù)。
21.根據(jù)權(quán)利要求18所述的裝置，`其中將所述函數(shù)應(yīng)用于所述預(yù)測(cè)塊的所述值進(jìn)一步包括將所述函數(shù)應(yīng)用于所述預(yù)測(cè)塊中的每一像素，其中將所述函數(shù)給定為

71 _ 7of[d) = ”ur ^ncar d H- 255 卞卞。
義 far ^near^ far x^near
22.根據(jù)權(quán)利要求13所述的裝置，其中基于所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的所述差來調(diào)整所述預(yù)測(cè)塊的所述值進(jìn)一步包括:當(dāng)所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的所述差超過閾值水平時(shí)，調(diào)整所述預(yù)測(cè)塊的所述值。
23.根據(jù)權(quán)利要求13所述的裝置，其中所述視頻譯碼器進(jìn)一步經(jīng)配置以對(duì)所述參考視圖分量執(zhí)行運(yùn)動(dòng)補(bǔ)償，其中在對(duì)所述參考視圖分量的所述運(yùn)動(dòng)補(bǔ)償之后執(zhí)行調(diào)整所述預(yù)測(cè)塊的值。
24.一種計(jì)算機(jī)程序產(chǎn)品，其包括其上存儲(chǔ)有指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在被執(zhí)行時(shí)致使視頻譯碼裝置的處理器: 確定對(duì)應(yīng)于參考視圖分量的第一深度視圖分量的第一現(xiàn)實(shí)世界深度范圍； 確定對(duì)應(yīng)于當(dāng)前視圖分量的第二深度視圖分量的第二現(xiàn)實(shí)世界深度范圍，其中所述當(dāng)前視圖分量是相對(duì)于所述參考視圖分量而預(yù)測(cè)； 從所述參考視圖分量確定所述當(dāng)前視圖分量的一部分的預(yù)測(cè)塊；基于所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的差來調(diào)整所述預(yù)測(cè)塊的值；以及 基于所述預(yù)測(cè)塊的所述經(jīng)調(diào)整的值來預(yù)測(cè)所述當(dāng)前視圖的所述部分。
25.根據(jù)權(quán)利要求24所述的計(jì)算機(jī)程序產(chǎn)品， 其中確定預(yù)測(cè)塊包括形成所述預(yù)測(cè)塊，且 其中處理所述當(dāng)前視圖的所述部分包括基于所述預(yù)測(cè)塊的所述經(jīng)調(diào)整的值對(duì)所述當(dāng)前視圖的所述部分進(jìn)行譯碼。
26.根據(jù)權(quán)利要求24所述的計(jì)算機(jī)程序產(chǎn)品，其中所述指令進(jìn)一步包括: 在所述預(yù)測(cè)塊的切片標(biāo)頭中指示針對(duì)包括所述當(dāng)前視圖分量的切片的一個(gè)或一個(gè)以上塊的譯碼而啟用對(duì)所述預(yù)測(cè)塊的基于深度范圍的調(diào)整。
27.根據(jù)權(quán)利要求24所述的計(jì)算機(jī)程序產(chǎn)品，其中基于所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的差來調(diào)整所述預(yù)測(cè)塊的值進(jìn)一步包括:將一函數(shù)應(yīng)用于所述預(yù)測(cè)塊的所述值。
28.根據(jù)權(quán)利要求27所述的計(jì)算機(jī)程序產(chǎn)品，其中應(yīng)用所述函數(shù)包括縮放所述預(yù)測(cè)塊的深度值且將偏移添加到所述經(jīng)縮放的深度值。
29.根據(jù)權(quán)利要求28所述的計(jì)算機(jī)程序產(chǎn)品，其中所述縮放和所述偏移兩者與所述第一深度范圍和所述第二深度范圍相關(guān)。
30.根據(jù)權(quán)利要求27所述的計(jì)算機(jī)程序產(chǎn)品，其中所述指令進(jìn)一步包括: 基于包括八字節(jié)深度圖的值的查找表來確定所述函數(shù)。
31.根據(jù)權(quán)利要求24所述的計(jì)算機(jī)程序產(chǎn)品，其中基于所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的所述差來調(diào)整所述預(yù)測(cè)塊的所述值進(jìn)一步包括:當(dāng)所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的所述差超過閾值水平時(shí)，調(diào)整所述預(yù)測(cè)塊的所述值。
32.一種用于處理視頻數(shù)據(jù)的裝置，其包括: 用于確定對(duì)應(yīng)于參考視圖分量的第一深度視圖分量的第一現(xiàn)實(shí)世界深度范圍的裝置； 用于確定對(duì)應(yīng)于當(dāng)前視圖分量的第二深度視圖分量的第二現(xiàn)實(shí)世界深度范圍的裝置，其中所述當(dāng)前視圖分量是相對(duì)于所述參考視圖分量而預(yù)測(cè)； 用于從所述參考視圖分量確定所述當(dāng)前視圖分量的一部分的預(yù)測(cè)塊的裝置； 用于基于所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的差來調(diào)整所述預(yù)測(cè)塊的值的裝置；以及 用于基于所述預(yù)測(cè)塊的所述經(jīng)調(diào)整的值來預(yù)測(cè)所述當(dāng)前視圖的所述部分的裝置。
33.根據(jù)權(quán)利要求32所述的裝置， 其中確定預(yù)測(cè)塊包括形成所述預(yù)測(cè)塊，且 其中處理所述當(dāng)前視圖的所述部分包括基于所述預(yù)測(cè)塊的所述經(jīng)調(diào)整的值對(duì)所述當(dāng)前視圖的所述部分進(jìn)行譯碼。
34.根據(jù)權(quán)利要求33所述的裝置，其進(jìn)一步包括: 用于在所述預(yù)測(cè)塊的切片標(biāo)頭中指示針對(duì)包括所述當(dāng)前視圖分量的切片的一個(gè)或一個(gè)以上塊的譯碼而啟用對(duì)所述預(yù)測(cè)塊的基于深度范圍的調(diào)整的裝置。
35.根據(jù)權(quán)利要求32所述的裝置，其中基于所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的差來調(diào)整所述預(yù)測(cè)塊的值進(jìn)一步包括:將一函數(shù)應(yīng)用于所述預(yù)測(cè)塊的所述值。
36.根據(jù)權(quán)利要求35所述的裝置，其中應(yīng)用所述函數(shù)包括縮放所述預(yù)測(cè)塊的深度值且將偏移添加到所述經(jīng)縮放的深度值。
37.根據(jù)權(quán)利要求36所述的裝置，其中所述縮放和所述偏移兩者與所述第一深度范圍和所述第二深度范圍相關(guān)。
38.根據(jù)權(quán)利要求35所述的裝置，其進(jìn)一步包括: 用于基于包括八字節(jié)深度圖的值的查找表來確定所述函數(shù)的裝置。
39.根據(jù)權(quán)利要求32所述的裝置，其進(jìn)一步包括: 其中將所述函數(shù)應(yīng)用于所述預(yù)測(cè)塊的所述值進(jìn)一步包括將所述函數(shù)應(yīng)用于所述預(yù)測(cè)塊中的每一像素，其中將所述函數(shù)給定為/W)=‘7 d + 255彳r T。
40.根據(jù)權(quán)利要求32所述的裝置，其中基于所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的所述差來調(diào)整所述預(yù)測(cè)塊的所述值進(jìn)一步包括:當(dāng)所述第一現(xiàn)實(shí)世界深度范圍與所述第二現(xiàn)實(shí)世界深度范圍之間的所述差超過閾值水平時(shí)，調(diào)整所述預(yù)測(cè)塊的所述值。`
【文檔編號(hào)】H04N19/61GK103703777SQ201280036089
【公開日】2014年4月2日 申請(qǐng)日期:2012年7月12日 優(yōu)先權(quán)日:2011年7月22日
【發(fā)明者】陳盈, 馬爾塔·卡切維奇 申請(qǐng)人:高通股份有限公司