專利名稱：用于高級(jí)視頻編碼的降低分辨率更新模式的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及視頻編碼器和解碼器，更具體地說(shuō)，涉及用于高級(jí)視頻編碼的降低分辨率切片更新模式。
背景技術(shù)：
國(guó)際電信聯(lián)盟電信委員會(huì)(ITU-T)H.264(或聯(lián)合視頻組(JVT)或活動(dòng)圖像專家組(MPEG)-4高級(jí)視頻編碼(AVC))標(biāo)準(zhǔn)已引入幾種新特征，與較老的標(biāo)準(zhǔn)如MPEG-2/4和H.263相比，它在編碼效率方面獲得了相當(dāng)大的改進(jìn)。但是，雖然H.264包括了較老標(biāo)準(zhǔn)的大部分算法特征，但有些特征被放棄和/或不再使用了。這些特征之一就是在H.263中已存在的降低分辨率更新模式的考慮。這種模式提供了增加編碼畫(huà)面速率同時(shí)維持足夠主觀質(zhì)量的機(jī)會(huì)。這是通過(guò)以降低的分辨率編碼圖像而使用高分辨率參考執(zhí)行預(yù)測(cè)而做到的，它還允許以全分辨率來(lái)重新構(gòu)建最終的圖像。發(fā)現(xiàn)這種模式在H.263中很有用，特別是在序列中有劇烈運(yùn)動(dòng)時(shí)，因?yàn)樗试S編碼器維持高的幀速率(因此有改進(jìn)的時(shí)間分辨率)，而同時(shí)在靜止區(qū)域也維持高的分辨率和質(zhì)量。
雖然以這種模式編碼的比特流的語(yǔ)法和以全分辨率編碼的比特流基本相同，但主要區(qū)別在于，如何解釋比特流中的所有模式，以及在運(yùn)動(dòng)補(bǔ)償后如何考慮和添加殘差信息。更具體地說(shuō)，和全分辨率編碼的畫(huà)面相比，這種模式的圖像具有1/4數(shù)量的宏塊，而運(yùn)動(dòng)矢量數(shù)據(jù)分別與全分辨率畫(huà)面的塊尺寸32×32和16×16而不是16×16和8×8相關(guān)聯(lián)。另一方面，離散余弦變換(DCT)和紋理數(shù)據(jù)與降低分辨率圖像的8×8塊相關(guān)聯(lián)，而為了產(chǎn)生最終的全圖像呈現(xiàn)，要求有向上采樣過(guò)程。
雖然這種過(guò)程可能導(dǎo)致客觀質(zhì)量的下降，但這不止從因模式、運(yùn)動(dòng)數(shù)據(jù)以及殘差的減少數(shù)量(4)而需編碼的比特減少得到補(bǔ)償。這在非常低比特率時(shí)特別重要，此時(shí)模式和運(yùn)動(dòng)數(shù)據(jù)可能比殘差多得多。與客觀質(zhì)量相比，主觀質(zhì)量受損也小得多。而且，這個(gè)過(guò)程在某種程度上可以看作類似于編碼前在殘差數(shù)據(jù)上應(yīng)用低通濾波器，但其要求傳輸所有模式、運(yùn)動(dòng)數(shù)據(jù)以及濾波的殘差，因此效率較低。這種概念從未引入到H.264中，所以在概念、方法學(xué)或語(yǔ)法方面都不被支持。

發(fā)明內(nèi)容
本發(fā)明解決了現(xiàn)有技術(shù)的這些和其它缺點(diǎn)及不利，本發(fā)明針對(duì)開(kāi)發(fā)和支持一種用于高級(jí)視頻編碼的降低分辨率切片更新模式。本文公開(kāi)的降低分辨率切片更新模式特別適用于，但不限于，H.264(或JVT，或MPEG-4 AVC)。
按照本發(fā)明的一個(gè)方面，提供一種用于編碼圖像切片的視頻信號(hào)數(shù)據(jù)的視頻編碼器。視頻編碼器包括切片預(yù)測(cè)殘差向下采樣器，用于在變換和量化預(yù)測(cè)殘差之前向下采樣至少部分圖像切片的預(yù)測(cè)殘差。
按照本發(fā)明的另一方面，提供了一種用于編碼圖像的視頻信號(hào)數(shù)據(jù)的視頻編碼器。該視頻編碼器包括宏塊排序部件和切片預(yù)測(cè)殘差向下采樣器。宏塊排序部件用于將對(duì)應(yīng)于圖像的宏塊排列成兩個(gè)或更多個(gè)切片組。切片預(yù)測(cè)殘差向下采樣器用于在變換和量化預(yù)測(cè)殘差之前，向下采樣至少部分圖像切片的預(yù)測(cè)殘差。切片預(yù)測(cè)殘差向下采樣器還用于接收所述兩個(gè)或更多個(gè)切片組中的至少一組進(jìn)行向下采樣。
按照本發(fā)明的又一方面，提供了一種用于解碼圖像切片的視頻信號(hào)數(shù)據(jù)的視頻解碼器。該視頻解碼器包括預(yù)測(cè)殘差向上采樣器，用于向上采樣圖像切片的預(yù)測(cè)殘差；以及加法器，用于將向上采樣的預(yù)測(cè)殘差加到預(yù)測(cè)的參考上。
按照本發(fā)明的再一方面，提供了一種用于編碼圖像切片的視頻信號(hào)數(shù)據(jù)的方法，該方法包括在變換和量化預(yù)測(cè)殘差之前向下采樣圖像切片的預(yù)測(cè)殘差的步驟。
按照本發(fā)明的又一方面，提供了一種用于解碼圖像切片的視頻信號(hào)數(shù)據(jù)的方法。該方法包括如下步驟向上采樣圖像切片的預(yù)測(cè)殘差，以及將向上采樣的預(yù)測(cè)殘差加到預(yù)測(cè)的參考上。
本發(fā)明的這些和其它方面、特征和優(yōu)點(diǎn)，從對(duì)示范實(shí)施例的以下詳細(xì)說(shuō)明中可一目了然，該說(shuō)明應(yīng)結(jié)合附圖閱讀。


按照以下示范附圖可更好地理解本發(fā)明，附圖包括圖1示出按照本發(fā)明原理用于H.264的降低分辨率更新(RRU)模式中的示范宏塊和子宏塊分區(qū)圖；圖2示出按照本發(fā)明原理用于8×8內(nèi)部預(yù)測(cè)的示范采樣圖；圖3A和3B示出按照本發(fā)明原理分別用于塊邊界和用于內(nèi)部位置的示范殘差向上采樣過(guò)程的圖解；圖4A和4B示出當(dāng)direct_8×8_inference_flag分別設(shè)為0和設(shè)為1時(shí)，在當(dāng)前切片為降低分辨率且第一列表1參考為全分辨率的情況下用于直接模式的運(yùn)動(dòng)繼承圖；圖5示出按照本發(fā)明原理用于四分之一通用中間格式(QCIF)分辨率畫(huà)面的分辨率擴(kuò)展圖；圖6示出按照本發(fā)明原理的示范視頻編碼器的方框圖；圖7示出按照本發(fā)明原理的示范視頻解碼器的方框圖；圖8示出按照本發(fā)明原理的示范編碼過(guò)程的流程圖；以及圖9示出按照本發(fā)明原理的示范解碼過(guò)程的流程圖。
具體實(shí)施例方式
本發(fā)明針對(duì)用于高級(jí)視頻編碼的降低分辨率切片更新模式。本發(fā)明利用目前由ITU-T H.263標(biāo)準(zhǔn)支持的降低分辨率更新(RRU)模式的概念，并允許將RRU模式引入并用于新的ITU-T H.264(MPEG-4AVC/JVT)視頻編碼標(biāo)準(zhǔn)中。這種模式提供了既增加編碼畫(huà)面速率又維持足夠主觀質(zhì)量的機(jī)會(huì)。這是通過(guò)以降低的分辨率編碼圖像而使用高分辨率參考執(zhí)行預(yù)測(cè)而做到的。它允許以全分辨率來(lái)重新構(gòu)建最終圖像，并具有好的質(zhì)量，雖然編碼圖像所需的比特率已顯著降低?？紤]到H.264不支持RRU模式，本發(fā)明使用幾種新的和獨(dú)特的工具和概念來(lái)實(shí)現(xiàn)其RRU。例如，在開(kāi)發(fā)用于H.264的RRU時(shí)，該概念必須作改動(dòng)，使之適合新標(biāo)準(zhǔn)和/或其擴(kuò)展的規(guī)范。這包括新的語(yǔ)法元素，以及對(duì)中間(inter)和內(nèi)部(intra)預(yù)測(cè)模式作某些語(yǔ)義和編碼器/解碼器結(jié)構(gòu)的更改。對(duì)H.264標(biāo)準(zhǔn)所支持的其它工具/特征例如基于宏塊的自適應(yīng)場(chǎng)/幀模式的影響，在本文中也要加以說(shuō)明和解決。
以下緊接著的說(shuō)明示出了本發(fā)明的原理。因此可以理解，業(yè)界技術(shù)人員將能夠設(shè)計(jì)出雖未在本文中明確說(shuō)明或示出但可實(shí)施本發(fā)明的原理并包括在其精神和范圍之內(nèi)的各種配置。
本文中所有實(shí)例和所引述的條件語(yǔ)言旨在教學(xué)目的，以幫助讀者理解本發(fā)明的原理以及發(fā)明人為發(fā)展本領(lǐng)域所貢獻(xiàn)的概念，并應(yīng)解釋為不限于所具體引述的實(shí)例和條件。
此外，本文中引用本發(fā)明原理、方面和實(shí)施例的所有陳述，以及其具體實(shí)例，均應(yīng)包含其結(jié)構(gòu)和概念二者的等效物。此外，這些等效物應(yīng)包括目前已知的等效物以及在將來(lái)開(kāi)發(fā)的等效物，即，能實(shí)現(xiàn)同樣功能的所開(kāi)發(fā)的任何元件，無(wú)論其結(jié)構(gòu)如何。
因此，例如，業(yè)界技術(shù)人員會(huì)理解，本文示出的方框圖代表能實(shí)施本發(fā)明原理的說(shuō)明性電路的概念視圖。同樣，應(yīng)理解，任何流程表、流程圖、狀態(tài)轉(zhuǎn)換圖、偽代碼等等都代表各種過(guò)程，它們基本上可在計(jì)算機(jī)可讀介質(zhì)中被表示，并因此由計(jì)算機(jī)或處理器執(zhí)行，不論這種計(jì)算機(jī)或處理器是否明確示出。
附圖中所示各種元件的功能可通過(guò)使用專用硬件以及能夠與適當(dāng)軟件關(guān)聯(lián)而執(zhí)行軟件的硬件來(lái)提供。當(dāng)由處理器提供時(shí)，這些功能可由單個(gè)專用處理器、單個(gè)共享處理器或多個(gè)單獨(dú)處理器(其中一些可共享)來(lái)提供。另外，明確使用術(shù)語(yǔ)“處理器”或“控制器”不應(yīng)理解為專指能執(zhí)行軟件的硬件，可以隱含但不限于數(shù)字信號(hào)處理器(DSP)硬件、用于儲(chǔ)存軟件的只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)以及非易失性存儲(chǔ)器。
其它硬件，常規(guī)的和/或定制的，也可包括在內(nèi)。同樣，附圖中所示的任何開(kāi)關(guān)僅是概念性的。它們的功能可以通過(guò)程序邏輯的操作、通過(guò)專用邏輯、通過(guò)程序控制和專用邏輯的交互或甚至手動(dòng)來(lái)實(shí)現(xiàn)，由實(shí)現(xiàn)員可選擇的特定技術(shù)可從上下文中更具體地加以理解。
在本發(fā)明的權(quán)利要求書(shū)中，表述為用于執(zhí)行指定功能的部件的任何元件應(yīng)包含執(zhí)行該項(xiàng)功能的任何途徑，例如包括a)執(zhí)行該項(xiàng)功能的電路元件組合，或b)任何形式的軟件，所以包括固件、微代碼等等，與用于執(zhí)行該軟件的適當(dāng)電路組合，以執(zhí)行此功能。由這些權(quán)利要求所定義的本發(fā)明歸于以下事實(shí)由各種所述部件所提供的功能均以權(quán)利要求書(shū)所要求的方式組合和聯(lián)系在一起。因此申請(qǐng)人將能夠提供這些功能的任何部件認(rèn)為是本文所示那些部件的等效物。
有利的是，本發(fā)明提供了一種用于在H.264中實(shí)現(xiàn)降低分辨率更新(RRU)模式的設(shè)備和方法。需對(duì)有關(guān)這種新模式的編解碼器的某些方面進(jìn)行考慮。具體地說(shuō)，需要開(kāi)發(fā)一個(gè)新的切片參數(shù)(reduced_resolution_update)，根據(jù)該參數(shù)，將當(dāng)前切片再分為(RRUwidth*16)×(RRUheight*16)尺寸的宏塊。和H.263中不同的是，RRUwidth不必等于RRUheight?？砂ǜ郊拥那衅瑓?shù)，更具體地說(shuō)，rru_width_scale＝RRUwidth以及rru_height_scale＝RRUheight，它允許以任何所需的比例水平或垂直地降低分辨率。表2示出了按照本發(fā)明原理考慮了降低分辨率更新(RRU)的H.264切片標(biāo)題語(yǔ)法。
可能的選項(xiàng)例如包括按1水平和2垂直定標(biāo)(宏塊(MB)尺寸為16×32)、2垂直和1水平(MB尺寸32×16)或通常具有尺寸(rru_width_scale*16)×(rru_height_scale*16)的MB。
為了不失普遍性，所討論的情況中RRUwidth＝RRUheight＝2且宏塊尺寸為32×32。在這種情況下，所有宏塊分區(qū)和子分區(qū)必須按2水平和2垂直定標(biāo)。圖1示出按照本發(fā)明原理在用于H.264的降低分辨率更新(RRU)模式中示范宏塊分區(qū)100和子宏塊分區(qū)150的圖解。和H.263不同的是，在H.263中運(yùn)動(dòng)矢量數(shù)據(jù)必須除以2以符合標(biāo)準(zhǔn)規(guī)范，而在H.264中不必這樣，且運(yùn)動(dòng)矢量數(shù)據(jù)可以用全分辨率/子像素(subpel)精確度編碼。在這種模式中在P切片中被跳過(guò)的宏塊被認(rèn)為具有32×32的尺寸，而用于計(jì)算它們關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)的過(guò)程保持不變，雖然現(xiàn)在需要考慮32×32的鄰居，而不是16×16的鄰居。
本發(fā)明的另一關(guān)鍵區(qū)別在于，雖然是可選的，在H.264中紋理數(shù)據(jù)不必代表來(lái)自較低分辨率圖像的信息。由于在H.264中的內(nèi)部編碼是通過(guò)考慮空間預(yù)測(cè)方法、使用4×4或16×16的塊尺寸執(zhí)行的，因此這可以擴(kuò)展到8×8和32×32內(nèi)部預(yù)測(cè)塊尺寸，類似于中間預(yù)測(cè)模式。不過(guò)，預(yù)測(cè)模式仍然或多或少是相同的，雖然現(xiàn)在要用更多的采樣來(lái)產(chǎn)生預(yù)測(cè)信號(hào)。圖2示出了按照本發(fā)明原理用于8×8內(nèi)部預(yù)測(cè)的示范采樣200的圖解。采樣200包括采樣C0-C15、X和R0-R7。例如，對(duì)于8×8垂直預(yù)測(cè)，現(xiàn)使用采樣C0-C7，而DC預(yù)測(cè)是C0-C7和R0-R7的均值。而且，所有對(duì)角線預(yù)測(cè)還需要考慮采樣C8-C15。類似的擴(kuò)展可應(yīng)用于32×32內(nèi)部預(yù)測(cè)模式。
然后對(duì)殘差數(shù)據(jù)進(jìn)行向下采樣，并使用在H.264中已可用的相同變換和量化過(guò)程進(jìn)行編碼。同樣的過(guò)程應(yīng)用于亮度和色度采樣。在解碼期間，殘差數(shù)據(jù)需被向上采樣。向下采樣過(guò)程僅在編碼器中進(jìn)行，并因此不需標(biāo)準(zhǔn)化。向上采樣過(guò)程必須在編碼器和解碼器中匹配，所以必須標(biāo)準(zhǔn)化?？梢允褂玫目赡芟蛏喜蓸臃椒òǖ幌抻诹汶A或一階保持，或通過(guò)考慮類似于H.263中的策略。圖3A和3B示出按照本發(fā)明原理分別用于塊邊界和內(nèi)部位置的示范殘差向上采樣過(guò)程300和350的圖解。在圖3A中，塊邊緣上的向上采樣過(guò)程僅使用塊邊界內(nèi)的采樣來(lái)計(jì)算向上采樣值。在圖3B中，在塊內(nèi)部之內(nèi)，所有最鄰近的位置都可用，所以使用基于采樣的相對(duì)定位的內(nèi)插，例如在二維上的雙線性內(nèi)插來(lái)計(jì)算向上采樣值。
H.264也考慮了環(huán)內(nèi)去塊濾波器，加到4×4塊邊緣。由于目前該預(yù)測(cè)過(guò)程應(yīng)用于8×8及以上的塊尺寸，因此該過(guò)程也被修改，以考慮8×8塊邊緣。但應(yīng)理解，有了本文提供的本發(fā)明內(nèi)容，相關(guān)領(lǐng)域技術(shù)人員會(huì)按照本發(fā)明原理，在維持本發(fā)明精神的同時(shí)，考慮用于所采用的塊邊界的這些和其它尺寸。
同一畫(huà)面中的不同切片可具有不同值reduced_resolution_update、rru_width_scale和rru_height_scale。由于環(huán)內(nèi)去塊濾波器加在切片邊界上，因此切片邊界每一側(cè)的塊可能以不同的分辨率被編碼。在這種情況下，對(duì)于去塊濾波器參數(shù)計(jì)算，應(yīng)考慮以下情況在給定8×8邊緣上兩個(gè)相鄰4×4正常塊之間的最大量化參數(shù)(QP)值，同時(shí)去塊強(qiáng)度現(xiàn)在基于兩個(gè)塊的非零系數(shù)的總數(shù)。
為了支持靈活宏塊排序(FMO)，如畫(huà)面參數(shù)集中num_slice_groups_minusl大于0所示，用降低分辨率更新模式，還有必要在畫(huà)面參數(shù)集內(nèi)傳輸一個(gè)名為reduced_resolution_update_enable的附加參數(shù)。表1示出按照本發(fā)明原理考慮了降低分辨率更新(RRU)的H.264畫(huà)面參數(shù)語(yǔ)法。如果有FMO，且該參數(shù)未設(shè)定，則不允許使用降低分辨率模式來(lái)編碼切片。另外，如果該參數(shù)已設(shè)定，則參數(shù)rru_max_width_scale和rru_max_height_scale也需被傳送。需要這些參數(shù)來(lái)確保所提供的映像始終支持當(dāng)前的降低分辨率宏塊尺寸。這就是說(shuō)，這些參數(shù)需要符合以下條件max_width_scale％rru_width_scale＝0，max_height_scale％rru_heigh_scale＝0，以及max_width_scale＞0，max_height_scale＞0。
被傳送的FMO切片組映像對(duì)應(yīng)于最低允許的降低分辨率，對(duì)應(yīng)于rru_max_width_scale和rru_max_height_scale。注意，如果使用多個(gè)宏塊分辨率，則rru_max_width_scale和rru_max_height_scale需是同一畫(huà)面中所有可能分辨率的最小公倍數(shù)的倍數(shù)。
H.264中的直接模式會(huì)受到影響，取決于當(dāng)前切片是否處于降低分辨率模式，或列表1參考是否處于降低分辨率模式，且當(dāng)前切片不處于降低分辨率模式。對(duì)于直接模式情況，在當(dāng)前畫(huà)面為降低分辨率且參考畫(huà)面為全分辨率時(shí)，當(dāng)direct_8×8_inference_flag被啟動(dòng)時(shí)，借用目前在H.264中采用的類似方法。按照該方法，通過(guò)僅考慮8×8分區(qū)的對(duì)應(yīng)角4×4塊(角是基于塊索引)來(lái)分配協(xié)同定位的分區(qū)。在我們的情況中，如果直接屬于降低分辨率切片，則用于協(xié)同定位的分區(qū)的運(yùn)動(dòng)數(shù)據(jù)就好像direct_8×8_inference_flag被設(shè)為1那樣被導(dǎo)出。這也可以看作是協(xié)同定位參考的運(yùn)動(dòng)場(chǎng)的向下采樣。雖然并不是必要的，但如果direct_8×8_inference_flag在比特流中已經(jīng)被設(shè)定，則該過(guò)程可用應(yīng)用兩次。該過(guò)程可以在圖4A和4B中更清楚地看出，這兩個(gè)圖示出了當(dāng)direct_8×8_inference_flag分別設(shè)為0和設(shè)為1時(shí)，在當(dāng)前切片為降低分辨率且第一列表1參考為全分辨率的情況下用于直接模式的運(yùn)動(dòng)繼承400的圖解。對(duì)于當(dāng)前切片不處于降低分辨率模式但其第一列表1參考處于降低分辨率模式的情況，則需要首先向上采樣該降低分辨率參考的所有運(yùn)動(dòng)數(shù)據(jù)?？梢允褂昧汶A保持進(jìn)行向上采樣運(yùn)動(dòng)數(shù)據(jù)，這是復(fù)雜性最小的方法。其它濾波方法，例如類似于用于殘差數(shù)據(jù)向上采樣的過(guò)程，也可使用。
通過(guò)考慮這種模式，H.264的一些其它工具也受到影響。更具體地說(shuō)，宏塊自適應(yīng)場(chǎng)幀模式(MB-AFF)現(xiàn)需要考慮使用32×64超宏塊結(jié)構(gòu)。在各個(gè)編碼塊殘差上執(zhí)行向上采樣過(guò)程。如果場(chǎng)畫(huà)面被編碼，則將塊編碼為場(chǎng)殘差，并因此在場(chǎng)中完成向上采樣。同樣，當(dāng)使用MB-AFF時(shí)，各個(gè)塊以場(chǎng)或幀模式編碼，并且它們相應(yīng)的殘差分別在場(chǎng)或幀模式進(jìn)行向上采樣。
為了允許降低分辨率模式對(duì)于所有可能的分辨率都起作用，畫(huà)面總是分別被垂直和水平擴(kuò)展，以便總能被16*rru_height_scale和16*rru_width_scale除盡。對(duì)于rru_height_scale＝rru_width_scale＝2的實(shí)例，圖像的原始分辨率為HR×VR，圖像被填充到分辨率等于Hc×Vc，其中Hc＝((HR+31)/32)*32Vc＝((VR+31)/32)*32用于擴(kuò)展圖像分辨率的過(guò)程類似于目前H.264將畫(huà)面尺寸擴(kuò)展到可被16除盡所做的。圖5示出了按照本發(fā)明原理用于四分之一通用中間格式(QCIF)分辨率畫(huà)面500的分辨率擴(kuò)展的圖解。
用于QCIF分辨率畫(huà)面的擴(kuò)展亮度由下式給出RRRU(x，y)＝R(x′，y′)，式中x，y＝像素域中擴(kuò)展的參考畫(huà)面的空間坐標(biāo)，x′，y′＝像素域中參考畫(huà)面的空間坐標(biāo)，RRRU(x，y)＝在(x，y)處擴(kuò)展的參考畫(huà)面的像素值，R(x′，y′)＝在(x′，y′)處參考畫(huà)面的像素值，x′＝175，如果x＞175且x＜192＝x否則y′＝143，如果y＞143且y＜160
＝y(tǒng)否則類似方法用于擴(kuò)展色度采樣，但擴(kuò)展到該尺寸的一半。
轉(zhuǎn)向圖6，示范視頻編碼器總體以參考編號(hào)600示出。編碼器600的視頻輸入端在信號(hào)通信中與宏塊排序器602的輸入端連接。宏塊排序器602的輸出端在信號(hào)通信中與運(yùn)動(dòng)估計(jì)器605的第一輸入端以及第一加法器610的第一輸入端(非反相)連接。運(yùn)動(dòng)估計(jì)器605的第二輸入端在信號(hào)通信中與畫(huà)面參考存儲(chǔ)器615的輸出端連接。運(yùn)動(dòng)估計(jì)器605的輸出端在信號(hào)通信中與運(yùn)動(dòng)補(bǔ)償器620的第一輸入端連接。運(yùn)動(dòng)補(bǔ)償器620的第二輸入端在信號(hào)通信中與畫(huà)面參考存儲(chǔ)器615的輸出端連接。運(yùn)動(dòng)補(bǔ)償器的輸出端在信號(hào)通信中與第一加法器610的第二輸入端(反相)、第二加法器625的第一輸入端(非反相)以及可變長(zhǎng)度編碼器(VLC)695的第一輸入端連接。第二加法器625的輸出端在信號(hào)通信中與可選的時(shí)間處理器630的第一輸入端連接?？蛇x的時(shí)間處理器630的第二輸入端在信號(hào)通信中與畫(huà)面參考存儲(chǔ)器615的另一輸出端連接?？蛇x的時(shí)間處理器630的輸出端在信號(hào)通信中與環(huán)路濾波器635的輸入端連接。環(huán)路濾波器635的輸出端在信號(hào)通信中與畫(huà)面參考存儲(chǔ)器615的輸入端連接。
第一加法器610的輸出端在信號(hào)通信中與第一開(kāi)關(guān)640的輸入端連接。第一開(kāi)關(guān)640的輸出端能夠在信號(hào)通信中與向下采樣器645的輸入端或與變換器650的輸入端連接。向下采樣器645的輸出端在信號(hào)通信中與變換器650的輸入端連接。變換器650的輸出端在信號(hào)通信中與量化器655的輸入端連接。量化器655的輸出端在信號(hào)通信中與可變長(zhǎng)度編碼器695的輸入端以及反向量化器660的輸入端連接。反向量化器660的輸出端在信號(hào)通信中與反向變換器665的輸入端連接。反向變換器665的輸出端在信號(hào)通信中與第二開(kāi)關(guān)670的輸入端連接。第二開(kāi)關(guān)670的輸出端能夠在信號(hào)通信中與第二加法器625的第二輸入端或與向上采樣器675的輸入端連接。向上采樣器的輸出端在信號(hào)通信中與第二加法器625的第二輸入端連接。可變長(zhǎng)度編碼器695的輸出端連接到編碼器600的輸出端。應(yīng)指出，當(dāng)?shù)谝婚_(kāi)關(guān)640和第二開(kāi)關(guān)670在信號(hào)通信中分別與向下采樣器645和向上采樣器675連接時(shí)，形成了從第一加法器610的輸出端到運(yùn)動(dòng)補(bǔ)償器620的第三輸入端和到向上采樣器675的輸入端的信號(hào)通路。應(yīng)理解，第一開(kāi)關(guān)640可包括用于確定RRU模式的RRU模式確定部件。宏塊排序器602將給定圖像的宏塊排列成切片組。
轉(zhuǎn)向圖7，示范視頻解碼器總體以參考編號(hào)700表示。解碼器700的第一輸入端在信號(hào)通信中與反向變換器/量化器710的輸入端連接。反向變換器/量化器710的輸出端在信號(hào)通信中與向上采樣器715的輸入端連接。向上采樣器715的輸出端在信號(hào)通信中與加法器720的第一輸入端連接。加法器720的輸出端在信號(hào)通信中與可選的空間-時(shí)間處理器725連接?？臻g-時(shí)間處理器的輸出端在信號(hào)通信中與解碼器700的輸出端連接。如果沒(méi)有采用空間-時(shí)間處理器725，解碼器700的輸出從加法器720的輸出端出來(lái)。
解碼器700的第二輸入端在信號(hào)通信中與運(yùn)動(dòng)補(bǔ)償器730的第一輸入端連接。運(yùn)動(dòng)補(bǔ)償器730的輸出端在信號(hào)通信中與加法器720的第二輸入端連接。加法器720用于組合向上采樣的預(yù)測(cè)殘差和預(yù)測(cè)的參考。運(yùn)動(dòng)補(bǔ)償器730的第二輸入端在信號(hào)通信中與參考緩沖器735的第一輸出端連接。參考緩沖器735的第二輸出端在信號(hào)通信中與空間-時(shí)間處理器725連接。參考緩沖器735的輸入是解碼器輸出。反向變換器/量化器710輸入殘差比特流，并輸出解碼的殘差。參考緩沖器735輸出參考畫(huà)面，且運(yùn)動(dòng)補(bǔ)償器730輸出運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。
圖7所示的解碼器實(shí)現(xiàn)方案可以通過(guò)使用附加的處理元件，例如在編碼器和解碼器中的空間-時(shí)間分析，加以擴(kuò)展和改進(jìn)，這就允許我們?nèi)コ恍┩ㄟ^(guò)殘差向下采樣和向上采樣過(guò)程而引入的人為誤差。
上述方法的一種改型是，允許不僅在切片級(jí)而且在宏塊級(jí)使用降低分辨率。雖然這種方法可以有不同的改型，但一種方法是通過(guò)使用參考畫(huà)面指示器來(lái)用信號(hào)通知分辨率改變。參考畫(huà)面可與全分辨率或降低分辨率殘差的傳輸隱式(例如奇/偶參考)或顯示地(例如通過(guò)切片參數(shù)中的傳輸表)相關(guān)聯(lián)。如果一個(gè)32×32宏塊是使用降低殘差編碼的，則單一的編碼塊模式(cbp)與16個(gè)降低分辨率塊的變換系數(shù)相關(guān)聯(lián)，并被傳輸。否則，4個(gè)cbp(或單個(gè)的組合cbp)需被傳輸，它與64個(gè)全分辨率塊相關(guān)聯(lián)。注意，為使這種方法起作用，在此宏塊中的所有塊需以同樣的分辨率被編碼。這個(gè)方法要求傳輸一個(gè)附加表，它會(huì)提供有關(guān)定標(biāo)的或不是當(dāng)前參考的信息，包括定標(biāo)參數(shù)，類似于目前針對(duì)加權(quán)預(yù)測(cè)所做的。
轉(zhuǎn)向圖8，示范視頻編碼過(guò)程總體以參考編號(hào)800表示。過(guò)程800包括開(kāi)始框805，它將控制傳送到循環(huán)限制框810。循環(huán)限制框810開(kāi)始一個(gè)對(duì)于圖像中當(dāng)前塊的循環(huán)，并將控制傳送到功能框815。功能框815形成當(dāng)前塊的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，并將控制傳送到功能框820。功能框820從當(dāng)前宏塊中減去運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，以形成預(yù)測(cè)殘差，并將控制傳送到功能框825。功能框825向下采樣預(yù)測(cè)殘差，并將控制傳送到功能框830。功能框830變換和量化向下采樣的預(yù)測(cè)殘差，并將控制傳送到功能框835。功能框835反向變換和量化預(yù)測(cè)殘差，以形成編碼的預(yù)測(cè)殘差，并將控制傳送到功能框840。功能框840向上采樣編碼的預(yù)測(cè)殘差，并將控制傳送到功能框845。功能框845將向上采樣的編碼殘差加到預(yù)測(cè)上，以形成編碼的畫(huà)面塊，并將控制傳送到結(jié)束循環(huán)框850。結(jié)束循環(huán)框850結(jié)束該循環(huán)，并將控制傳送到結(jié)束框855。
轉(zhuǎn)向圖9，示范視頻解碼過(guò)程總體以參考編號(hào)900表示。解碼過(guò)程900包括開(kāi)始框905，它將控制傳送到循環(huán)限制框910。循環(huán)限制框910開(kāi)始一個(gè)對(duì)于圖像中當(dāng)前塊的循環(huán)，并將控制傳送到功能框915。功能框915對(duì)編碼殘差進(jìn)行熵解碼，并將控制傳送到功能框920。功能框920反向變換和量化解碼的殘差，以形成編碼殘差，并將控制傳送到功能框925。功能框925向上采樣編碼殘差，并將控制傳送到功能框930。功能框930將向上采樣的編碼殘差加到預(yù)測(cè)上，以形成編碼的畫(huà)面塊，并將控制傳送到循環(huán)限制框935。循環(huán)限制框935結(jié)束該循環(huán)，并將控制傳送到結(jié)束框940。
對(duì)于本發(fā)明的這些和其它特征和優(yōu)點(diǎn)，相關(guān)領(lǐng)域的技術(shù)人員基于本文的內(nèi)容就很容易弄清。應(yīng)理解，本文的內(nèi)容可以用各種形式的硬件、軟件、固件、專用處理器或它們的組合來(lái)實(shí)現(xiàn)。
更優(yōu)選的是，本發(fā)明的內(nèi)容作為硬件和軟件的組合來(lái)實(shí)現(xiàn)。此外，軟件優(yōu)選實(shí)現(xiàn)為在程序儲(chǔ)存單元上切實(shí)實(shí)施的應(yīng)用程序。應(yīng)用程序可以上載到包括任何適用體系結(jié)構(gòu)的機(jī)器上，并由其執(zhí)行。優(yōu)選的是，該機(jī)器在計(jì)算機(jī)平臺(tái)上實(shí)現(xiàn)，該計(jì)算機(jī)平臺(tái)具有諸如一個(gè)或多個(gè)中央處理單元(CPU)、隨機(jī)存取存儲(chǔ)器(RAM)以及輸入/輸出(I/O)接口等硬件。計(jì)算機(jī)平臺(tái)還可包括操作系統(tǒng)和微指令代碼。本文所述的各種過(guò)程和功能可以是微指令代碼的一部分，或應(yīng)用程序的一部分，或它們的任何組合，可以由CPU執(zhí)行。此外，可將各種其它的外設(shè)單元連接到計(jì)算機(jī)平臺(tái)，例如附加的數(shù)據(jù)儲(chǔ)存單元以及打印單元。
還應(yīng)理解，由于附圖中所示的一些組成系統(tǒng)組件和方法優(yōu)選以軟件來(lái)實(shí)現(xiàn)，因此系統(tǒng)組件或過(guò)程功能框之間的實(shí)際連接可能根據(jù)對(duì)本發(fā)明的編程方式而有所不同。有了本文的所述內(nèi)容，相關(guān)領(lǐng)域的技術(shù)人員就能夠想出本發(fā)明的這些和類似實(shí)現(xiàn)方案或配置。
雖然已結(jié)合附圖對(duì)說(shuō)明性實(shí)施例作了說(shuō)明，但應(yīng)理解，本發(fā)明并不局限于這些實(shí)施例，在不背離本發(fā)明的范圍或精神的前提下，相關(guān)領(lǐng)域的技術(shù)人員可以在這些實(shí)施例中進(jìn)行各種改變和修改。所有這些改變和修改應(yīng)包括在所附權(quán)利要求書(shū)中闡述的本發(fā)明的范圍之內(nèi)。

表1


表權(quán)利要求
1.一種用于編碼圖像切片的視頻信號(hào)數(shù)據(jù)的視頻編碼器(600)，包括切片預(yù)測(cè)殘差向下采樣器(645)，適合于選擇性地與變換器(650)的輸入端連接；量化器(655)，與所述變換器(645)的輸出端連接；以及熵編碼器(695)，與所述量化器(655)的輸出端連接，其中所述切片預(yù)測(cè)殘差向下采樣器(645)用于在變換和量化所述預(yù)測(cè)殘差之前，向下采樣至少部分所述圖像切片的預(yù)測(cè)殘差。
2.如權(quán)利要求1所述的視頻編碼器，其中所述圖像切片包括符合國(guó)際電信聯(lián)盟電信委員會(huì)(ITU-T)H.264標(biāo)準(zhǔn)的視頻數(shù)據(jù)。
3.如權(quán)利要求1所述的視頻編碼器，其中所述切片預(yù)測(cè)殘差向下采樣器(645)對(duì)所述預(yù)測(cè)殘差的水平方向和垂直方向施加不同的向下采樣操作。
4.如權(quán)利要求1所述的視頻編碼器，其中在所述切片預(yù)測(cè)殘差向下采樣器中所使用的向下采樣分辨率由所述圖像切片中的參數(shù)發(fā)信號(hào)通知。
5.如權(quán)利要求1所述的視頻編碼器，其中所述圖像切片被分成圖像塊，且在所述圖像塊的內(nèi)部預(yù)測(cè)之后形成預(yù)測(cè)殘差。
6.如權(quán)利要求5所述的視頻編碼器，其中使用8×8和32×32預(yù)測(cè)模式之一執(zhí)行所述內(nèi)部預(yù)測(cè)。
7.如權(quán)利要求1所述的視頻編碼器，其中所述圖像切片被分成圖像塊，且在所述圖像塊的中間預(yù)測(cè)之后形成預(yù)測(cè)殘差。
8.如權(quán)利要求1所述的視頻編碼器，其中所述切片預(yù)測(cè)殘差向下采樣器(645)僅對(duì)所述預(yù)測(cè)殘差的水平方向和垂直方向之一施加向下采樣操作。
9.如權(quán)利要求1所述的視頻編碼器，其中所述圖像切片被分成宏塊，且為各個(gè)宏塊編碼的參考索引對(duì)應(yīng)于該各個(gè)宏塊的所述預(yù)測(cè)殘差是否將被向下采樣。
10.如權(quán)利要求1所述的視頻編碼器，其中所述視頻信號(hào)數(shù)據(jù)對(duì)應(yīng)于隔行畫(huà)面，所述圖像切片被分成圖像塊，且所述切片預(yù)測(cè)殘差向下采樣器(645)以與所編碼圖像塊的當(dāng)前模式相同的模式之一向下采樣所述預(yù)測(cè)殘差，所述相同的模式是場(chǎng)模式和幀模式之一。
11.一種用于編碼圖像的視頻信號(hào)數(shù)據(jù)的視頻編碼器，所述視頻編碼器包括宏塊排序部件(602)，用于將對(duì)應(yīng)于所述圖像的宏塊排列成至少兩個(gè)切片組；以及切片預(yù)測(cè)殘差向下采樣器(645)，用于在變換和量化所述預(yù)測(cè)殘差之前，向下采樣至少部分圖像切片的預(yù)測(cè)殘差，其中所述切片預(yù)測(cè)殘差向下采樣器用來(lái)接收至少一個(gè)所述切片組進(jìn)行向下采樣。
12.一種用于解碼圖像切片的視頻信號(hào)數(shù)據(jù)的視頻解碼器，所述視頻解碼器包括預(yù)測(cè)殘差向上采樣器(715)，用于向上采樣所述圖像切片的預(yù)測(cè)殘差；以及組合器(720)，用于組合向上采樣的預(yù)測(cè)殘差和預(yù)測(cè)的參考。
13.如權(quán)利要求12所述的視頻解碼器，其中所述圖像切片包括符合國(guó)際電信聯(lián)盟電信委員會(huì)(ITU-T)H.264標(biāo)準(zhǔn)的視頻數(shù)據(jù)。
14.如權(quán)利要求12所述的視頻解碼器，其中所述圖像切片被分成宏塊，且所述視頻解碼器還包括降低分辨率更新(RRU)模式確定部件，所述模式確定部件在信號(hào)通信中與預(yù)測(cè)殘差向上采樣器連接，并對(duì)宏塊級(jí)的參考索引作出響應(yīng)，以確定所述視頻解碼器是否處于RRU模式，并且其中當(dāng)前宏塊的預(yù)測(cè)殘差由所述預(yù)測(cè)殘差向上采樣器進(jìn)行向上采樣，以解碼所述當(dāng)前宏塊。
15.如權(quán)利要求12所述的視頻解碼器，其中所述切片預(yù)測(cè)殘差向上采樣器(715)對(duì)所述預(yù)測(cè)殘差的水平方向和垂直方向施加不同的向上采樣操作。
16.如權(quán)利要求12所述的視頻解碼器，其中在所述切片預(yù)測(cè)殘差向上采樣器中所使用的向上采樣分辨率由所述圖像切片中的參數(shù)發(fā)信號(hào)通知。
17.如權(quán)利要求12所述的視頻解碼器，其中所述圖像切片被分成圖像塊，且在所述圖像塊的內(nèi)部預(yù)測(cè)之后形成所述預(yù)測(cè)殘差。
18.如權(quán)利要求17所述的視頻解碼器，其中使用8×8和32×32預(yù)測(cè)模式之一執(zhí)行所述內(nèi)部預(yù)測(cè)。
19.如權(quán)利要求12所述的視頻解碼器，其中所述圖像切片被分成圖像塊，且在所述圖像塊的中間預(yù)測(cè)之后形成所述預(yù)測(cè)殘差。
20.如權(quán)利要求12所述的視頻解碼器，其中所述切片預(yù)測(cè)殘差向上采樣器(715)僅對(duì)所述預(yù)測(cè)殘差的水平方向和垂直方向之一施加向上采樣操作。
21.如權(quán)利要求12所述的視頻解碼器，其中所述圖像切片被分成宏塊，且為各個(gè)宏塊編碼的參考索引對(duì)應(yīng)于該各個(gè)宏塊的所述預(yù)測(cè)殘差是否將被向上采樣。
22.如權(quán)利要求12所述的視頻解碼器，其中所述視頻信號(hào)數(shù)據(jù)對(duì)應(yīng)于隔行畫(huà)面，所述圖像切片被分成圖像塊，且所述切片預(yù)測(cè)殘差向上采樣器(715)以與所編碼圖像塊的當(dāng)前模式相同的模式之一向上采樣所述預(yù)測(cè)殘差，所述相同的模式是場(chǎng)模式和幀模式之一。
23.一種用于編碼圖像切片的視頻信號(hào)數(shù)據(jù)的方法，所述方法包括以下步驟向下采樣(825)所述圖像切片的預(yù)測(cè)殘差；變換(830)所述預(yù)測(cè)殘差；以及量化(830)所述預(yù)測(cè)殘差，其中所述向下采樣(825)的步驟在所述變換或量化步驟之前執(zhí)行。
24.如權(quán)利要求23所述的方法，其中所述圖像切片包括符合國(guó)際電信聯(lián)盟電信委員會(huì)(ITU-T)H.264標(biāo)準(zhǔn)的視頻數(shù)據(jù)。
25.如權(quán)利要求23所述的方法，其中所述向下采樣步驟(825)包括以下步驟之一分別對(duì)所述預(yù)測(cè)殘差的水平方向和垂直方向施加不同的向下采樣操作；或僅對(duì)所述水平方向和所述垂直方向之一施加向下采樣操作。
26.如權(quán)利要求23所述的方法，其中用于所述向下采樣步驟的向下采樣分辨率由所述圖像切片中的參數(shù)發(fā)信號(hào)通知。
27.如權(quán)利要求23所述的方法，其中所述圖像切片被分成圖像塊，且在所述圖像塊的內(nèi)部預(yù)測(cè)之后形成所述預(yù)測(cè)殘差。
28.如權(quán)利要求27所述的方法，其中使用8×8和32×32預(yù)測(cè)模式之一執(zhí)行所述內(nèi)部預(yù)測(cè)。
29.如權(quán)利要求23所述的方法，其中所述圖像切片被分成圖像塊，且在所述圖像塊的中間預(yù)測(cè)之后形成所述預(yù)測(cè)殘差。
30.如權(quán)利要求29所述的方法，其中使用32×32宏塊和32×32、32×16、16×32和16×16宏塊分區(qū)或16×16、16×8、8×16和8×8子宏塊分區(qū)執(zhí)行所述中間預(yù)測(cè)。
31.如權(quán)利要求23所述的方法，其中所述圖像切片被分成宏塊，且所述方法還包括如下步驟確定是否將基于為各個(gè)宏塊編碼的參考索引對(duì)該各個(gè)宏塊的所述預(yù)測(cè)殘差進(jìn)行向下采樣，所述參考索引對(duì)應(yīng)于該各個(gè)宏塊的所述預(yù)測(cè)殘差是否將被向下采樣。
32.如權(quán)利要求23所述的方法，其中所述圖像切片被分成宏塊，且所述方法還包括如下步驟響應(yīng)于畫(huà)面參數(shù)集中的參數(shù)，靈活地排序所述宏塊。
33.如權(quán)利要求23所述的方法，其中所述視頻信號(hào)數(shù)據(jù)對(duì)應(yīng)于隔行畫(huà)面，所述圖像切片被分成圖像塊，且所述向下采樣步驟(825)以與所述圖像塊的當(dāng)前模式相同的模式之一向下采樣所述預(yù)測(cè)殘差，所述相同的模式是場(chǎng)模式和幀模式之一。
34.一種用于解碼圖像切片的視頻信號(hào)數(shù)據(jù)的方法，所述方法包括以下步驟向上采樣(925)所述圖像切片的預(yù)測(cè)殘差；以及組合(930)向上采樣的預(yù)測(cè)殘差與預(yù)測(cè)的參考。
35.如權(quán)利要求34所述的方法，其中所述圖像切片包括符合國(guó)際電信聯(lián)盟電信委員會(huì)(ITU-T)H.264標(biāo)準(zhǔn)的視頻數(shù)據(jù)。
36.如權(quán)利要求34所述的方法，其中所述圖像切片被分成宏塊，且所述方法還包括如下步驟對(duì)宏塊級(jí)的參考索引作出響應(yīng)，確定所述視頻解碼器是否處于降低分辨率更新(RRU)模式，并且其中所述向上采樣步驟包括如下步驟向上采樣當(dāng)前宏塊的預(yù)測(cè)殘差，以解碼所述當(dāng)前宏塊。
37.如權(quán)利要求34所述的方法，其中所述向上采樣步驟(925)包括以下步驟之一分別對(duì)所述預(yù)測(cè)殘差的水平方向和垂直方向施加不同的向上采樣操作；或僅對(duì)所述水平方向和所述垂直方向之一施加向上采樣操作。
38.如權(quán)利要求34所述的方法，其中用于所述向上采樣步驟的向上采樣分辨率由所述圖像切片中的參數(shù)發(fā)信號(hào)通知。
39.如權(quán)利要求34所述的方法，其中所述圖像切片被分成圖像塊，且在所述圖像塊的內(nèi)部預(yù)測(cè)之后形成所述預(yù)測(cè)殘差。
40.如權(quán)利要求39所述的方法，其中使用8×8和32×32預(yù)測(cè)模式之一執(zhí)行所述內(nèi)部預(yù)測(cè)。
41.如權(quán)利要求34所述的方法，其中所述圖像切片被分成圖像塊，且在所述圖像塊的中間預(yù)測(cè)之后形成所述預(yù)測(cè)殘差。
42.如權(quán)利要求41所述的方法，其中使用32×32宏塊和32×32、32×16、16×32和16×16宏塊分區(qū)或16×16、16×8、8×16和8×8子宏塊分區(qū)執(zhí)行所述中間預(yù)測(cè)。
43.如權(quán)利要求34所述的方法，其中所述圖像切片被分成宏塊，且所述方法還包括如下步驟確定是否將基于為各個(gè)宏塊編碼的參考索引對(duì)該各個(gè)宏塊的所述預(yù)測(cè)殘差進(jìn)行向上采樣，所述參考索引對(duì)應(yīng)于該各個(gè)宏塊的所述預(yù)測(cè)殘差是否將被向上采樣。
44.如權(quán)利要求34所述的方法，其中所述視頻信號(hào)數(shù)據(jù)對(duì)應(yīng)于隔行畫(huà)面，所述圖像切片被分成圖像塊，且所述向上采樣步驟以與所述圖像塊的當(dāng)前模式相同的模式之一向上采樣所述預(yù)測(cè)殘差，所述相同的模式是場(chǎng)模式和幀模式之一。
全文摘要
提供了用于為圖像切片分別編碼和解碼視頻信號(hào)數(shù)據(jù)的視頻編碼器、視頻解碼器以及相應(yīng)的編碼和解碼方法。視頻編碼器包括切片預(yù)測(cè)殘差向下采樣器(645)，用于在變換和量化預(yù)測(cè)殘差之前向下采樣至少部分圖像切片的預(yù)測(cè)殘差。視頻解碼器包括預(yù)測(cè)殘差向上采樣器(715)，用于向上采樣圖像切片的預(yù)測(cè)殘差。
文檔編號(hào)H04N7/46GK1973546SQ200580014022
公開(kāi)日2007年5月30日 申請(qǐng)日期2005年3月1日 優(yōu)先權(quán)日2004年3月9日
發(fā)明者A·圖拉皮斯, J·M·博伊斯 申請(qǐng)人:湯姆森研究基金公司