用于視頻編碼中擴展空間可分級性的改進層間預測的制作方法
【專利說明】用于視頻編碼中擴展空間可分級性的改進層間預測
[0001]分案申請說明
[0002]本申請是于2008年I月5日提交的PCT國際申請PCT/IB2008/050022的名稱為“用于視頻編碼中擴展空間可分級性的改進層間預測”的中國國家階段申請(國家申請?zhí)?200880005411.2)的分案申請。
技術(shù)領(lǐng)域
[0003]本發(fā)明總體上涉及視頻編碼領(lǐng)域。更具體地，本發(fā)明涉及支持擴展空間可分級性的可分級視頻編碼。
【背景技術(shù)】
[0004]本部分意在為權(quán)利要求書中闡述的本發(fā)明提供背景或上下文。此處的描述可以包括可被探宄的概念，但是這些概念并不必須是以前已經(jīng)構(gòu)思過或者探宄過的那些。因此，除非在此指出，否則在本部分中所描述的并不是本申請中說明書和權(quán)利要求書的現(xiàn)有技術(shù)，也不因為包括在此部分中就承認是現(xiàn)有技術(shù)。
[0005]已經(jīng)針對不同技術(shù)規(guī)定了不同標準。視頻編碼標準包括ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262 或 ISO/IEC MPEG_2Visual、ITU-T H.263、ISO/IECMPEG-4Visual和ITU-T H.264(也稱為ISO/IEC MPEG-4高級視頻編碼(AVC)或簡稱為H.264/AVC)。另外，當前，正在為開發(fā)新的視頻編碼標準而進行著努力。正在開發(fā)的一個這種標準是可分級視頻編碼(SVC)標準，其將成為對H.264/AVC標準的可分級擴展。SVC的最新草案是H.264/高級視頻編碼(AVC)標準的附錄F(現(xiàn)在是附錄G)。具體地，附錄F包括公知為擴展空間可分級性(ESS)的特征，其在沒有保持基本層宏塊(MB)與增強層宏塊之間的邊緣對齊的情況下，提供了對信號的編碼和解碼。當利用為I或2的比例進行空間分級并且宏塊邊緣在不同層之間對齊時，可以將其視為空間可分級性的特殊案例。
[0006]例如，當利用二元(dyadic)分辨率分級(g卩，冪為2的分級分辨率)時，可以保持宏塊的邊緣對齊。此現(xiàn)象在圖1中示出，其中左側(cè)的半分辨率幀(基本層幀1000)被上采樣，以便給出右側(cè)的幀的全分辨率版本(增強層幀1100)?？紤]基本層幀1000中的宏塊MB。，經(jīng)過上采樣的此宏塊的邊界被示出為增強層幀1100中的外邊界。在此情形下，需要注意的是，經(jīng)過上采樣的宏塊精確地包含增強層處的四個全分辨率宏塊，MB1, MB2, MB3^P MB 4。四個增強層宏塊的MBp MB2, MBjP MB 4邊緣精確地對應(yīng)于宏塊MB C1的上采樣的邊界。重要的是，所標識的基本層宏塊是覆蓋增強層宏塊MBpMB2JBjP MB 4中每一個的唯一基本層宏塊。換言之，為了形成對MBp MB2、MB 4的預測，不需要其它的基本層宏塊。
[0007]另一方面，在非二元可分級性的情形中，情況大有不同。這在圖2中針對為1.5的分級因子示出。在此情形中，基本層幀1000中的基本層宏塊MBltl和MB2tl被從16X16上采樣至較高分辨率增強層幀1100中的24X24。然而，考慮增強層宏塊MB3tl，可以清楚地看到此宏塊由經(jīng)過上采樣的兩個不同宏塊MBltl和MB 2Q覆蓋。這樣，為了形成針對增強層宏塊MB 30的預測，需要兩個基本層宏塊MBltl和MB 2(|。事實上，取決于所使用的分級因子，單個增強層宏塊可以由多達四個基本層宏塊覆蓋。
[0008]在H.264/AVC標準的附錄F的當前草案中，即使形成預測可能需要若干基本層宏塊，但是，相對于相關(guān)聯(lián)的基本層幀對增強層宏塊進行編碼也是可能的。由于編碼效率與預測準確度緊密相關(guān)，所以期待的是:形成對增強層宏塊的準確預測，以便改進編碼效率。
[0009]根據(jù)H.264/AVC標準的附錄F的當前草案，當前增強層宏塊的很多方面可以從與其對應(yīng)的基本層宏塊預測出。例如，對來自基本層的幀內(nèi)編碼宏塊(也稱為幀內(nèi)宏塊或者幀內(nèi)MB)進行完全地解碼或重建，使得它們可以被上采樣并直接用于預測相應(yīng)增強層處的亮度像素值和色度像素值。另外，來自基本層的幀間編碼宏塊(也稱為幀間宏塊或幀間MB)并未完全重建。取而代之的是，僅對每個基本層幀間MB的預測殘差進行解碼，并且可以用于預測增強層預測殘差，而不對基本層幀間MB進行運動補償。這稱為“殘差預測”。此外，對于幀間MB，基本層運動矢量也被上采樣，并用于預測增強層運動矢量。
[0010]除了上述以外，在H.264/AVC標準的附錄F中，針對每個增強層宏塊定義了名稱為base_mode_flag的標志。當此標志等于I時，則應(yīng)當從與增強層宏塊對應(yīng)的基本層MB完全預測(或?qū)С?該增強層宏塊的類型、模式和運動矢量。由于用于從基本層MB推導出增強層宏塊的宏塊類型、模式和運動矢量的相同方法對于編碼器和解碼器都是已知的，所以在這種情況下，不需要進一步將宏塊類型和模式以及其運動矢量信息編碼成比特流。如果base_mode_flag等于0，則不導出增強層的宏塊類型和模式信息。
[0011]如上所述，在某些情況下，增強層宏塊的宏塊類型和模式信息可以從其基本層MB完全預測。根據(jù)H.264/AVC標準的附錄F的當前草案，當增強層宏塊并未與基本層宏塊邊緣對齊時，針對每個增強層宏塊，基于覆蓋了該增強層宏塊的基本層宏塊來推導出虛擬基本層宏塊。虛擬基本層宏塊的類型、模式和運動矢量都是基于基本層MB確定的。隨后，該虛擬基本層宏塊將被視為來自基本層的精確地覆蓋此增強層宏塊的唯一宏塊。如果對于當前增強層宏塊的baSe_m0de_flag等于1，則其類型、模式和運動矢量被設(shè)置得與虛擬基本層宏塊的那些相同。
[0012]在H.264/AVC標準的附錄F的當前草案中定義的、用于確定虛擬基本層宏塊的類型、模式和運動矢量的方法是自下至上的過程。首先，對于虛擬基本層宏塊的每個4X4塊，位于該塊的第二行和第二列中的一個像素被用作該塊的代表點，其在圖3中示出。在圖3中，宏塊在300處表示。該宏塊內(nèi)的4X4塊在310處表示，而每個4X4塊中的代表像素在320處表示。當虛擬基本層宏塊中的當前4 X 4塊僅由來自基本層的一個4 X 4塊覆蓋時，使用虛擬基本層宏塊的每個4X 4塊中的一個像素具有簡單這一優(yōu)勢。但是，當其由來自基本層的多個4X4塊覆蓋時，這種方法可能不夠準確。
[0013]圖4(a)和圖4(b)示出了虛擬基本層宏塊300與相應(yīng)基本層宏塊之間的關(guān)系。在上采樣之后，基本層中將精確地覆蓋當前增強層宏塊的區(qū)域在圖4(b)中的410處表示。這也是對應(yīng)于虛擬基本層宏塊300的區(qū)域。虛擬基本層宏塊300中的4X4塊中的代表像素被標記為IV其在基本層中的對應(yīng)像素是Pb。根據(jù)H.264/AVC標準的附錄F的當前草案，基本層中Pb所位于的、在圖4(b)中指示為420的4X4塊的宏塊分區(qū)信息被用作增強層處Pe所在的4X4塊的分區(qū)信息。換言之，基本層中覆蓋像素P泗4X4塊的分區(qū)信息用作P e所位于的4X4塊的分區(qū)信息。這樣，虛擬基本層宏塊300中的每個4X4塊可以具有分區(qū)信息。與分區(qū)信息相關(guān)聯(lián)的運動矢量還用作對增強層運動矢量的預測值。
[0014]在虛擬基本層宏塊中的四個8X8塊中的每一個內(nèi)，在4X4塊級別處激活塊合并過程。如圖5所示，如果塊1、2、3和4都從來自基本層的相同單獨分區(qū)推導出它們的分區(qū)，則8 X 8塊的模式被設(shè)置為8 X 8。否則，如果塊I和塊2從來自基本層的相同分區(qū)推導出它們的分區(qū)，并且塊3和塊4也從來自基本層的另一相同分區(qū)推導出它們的分區(qū)，則8X8塊的模式被確定為8X4。類似地，如果塊I和塊3具有相同分區(qū)，并且塊2和塊4具有來自基本層的相同分區(qū)，則8X8塊的模式被確定為4X8。否則，8X8塊的模式被確定為4X4。此過程在其他所有三個8X8塊內(nèi)單獨重復。
[0015]如果所有四個8 X 8塊都處于8X8模式，則如圖6所示，也在8X8塊級別處執(zhí)行塊合并過程。在圖6中，塊1、2、3和4都代表8X8塊。如果塊1、2、3和4都從來自基本層的相同單獨分區(qū)推導出它們的分區(qū)，則虛擬基本層宏塊的模式被確定為16X16。如果塊I和塊2具有相同分區(qū)，并且塊3和塊4也具有來自基本層的相同分區(qū)，則虛擬基本層宏塊的模式被確定為16X8。如果塊I和塊3具有相同分區(qū)，并且塊2和塊4也具有相同分區(qū)，則虛擬基本層宏塊的模式被設(shè)置為8X 16。否則，虛擬基本層宏塊的模式被設(shè)置為8X8。
[0016]根據(jù)H.264/AVC標準的附錄F的當前草案，對宏塊模式的預測僅僅基于來自基本層的分區(qū)信息。在此布置中，僅當塊共享來自基本層的相同分區(qū)信息時，塊才可以合并。然而，在擴展空間可分級性的情況下，來自基本層的不同分區(qū)具有相同的參考幀索引和運動矢量是相當常見的。例如，來自基本層的兩個相鄰宏塊可以具有相同的參考幀索引和運動矢量。另外，在擴展空間可分級性的情況下，增強層宏塊由來自基本層的多個宏塊覆蓋是非常常見的。因此，在確定是否應(yīng)當合并兩個塊時僅使用分區(qū)信息經(jīng)常不必要地創(chuàng)建出宏塊內(nèi)的小分區(qū)。這種小分區(qū)增大了運動補償中采樣插值過程期間的計算復雜度。
[0017]鑒于上述內(nèi)容，期待的是:為擴展空間可分級性的情況提供用于宏塊模式和運動矢量的改進的層間預測的