利用公共預測器的亮度和色度編碼的制作方法

文檔序號：7636807閱讀：117來源：國知局

專利名稱：利用公共預測器的亮度和色度編碼的制作方法
技術領域：
本發(fā)明一般涉及視頻編碼器和解碼器，并且尤其涉及視頻編碼與解碼方法和設備。
背景技術：
目前，國際電信聯(lián)盟電信標準化部門(ITU-T)H.264標準(以下稱為"H.264 標準")的4:4:4格式只將三個通道之一編碼為亮度，而利用較低效工具將另外兩個通道編碼為色度。當編解碼器的輸入是每一個輸入分量都具有全分辨率的 4:4:4格式時，利用較低效色度編碼算法對三個輸入分量中的兩個分量進行編碼將導致在這兩個通道中使用更多的位。該特殊問題在幀內幀中更為顯著。例
如，對于40dB (PSNR)及以上的整體壓縮質量，以Intra-Only (僅僅幀內) 模式運行的H.264標準比JPEG2k效率低。因此，所希望、且非常有利的是獲得克服上述現有技術缺點的視頻編碼與解碼方法和設備。發(fā)明內容本發(fā)明致力于解決現有技術的這些及其它缺點和不利條件，其涉及視頻編碼和解碼方法及設備。根據本發(fā)明一方面，提供一種用于對圖像塊的視頻信號數據進行編碼的視頻編碼器。該視頻編碼器包括編碼器，該編碼器用于利用公共預測器對視頻信號數據的所有顏色分量進行編碼。根據本發(fā)明另一方面，提供一種用于對圖像塊的視頻信號數據進行編碼的方法。該方法包括，利用公共預測器對視頻信號數據的所有顏色分量進行編碼。根據本發(fā)明又一方面，提供一種用于對圖像塊的視頻信號數據進行解碼的視頻解碼器。該視頻解碼器包括解碼器，該解碼器用于利用公共預測器對視頻信號數據的所有顏色分量進行解碼。根據本發(fā)明又一方面，提供一種用于對圖像塊的視頻信號數據進行解碼的方法。該方法包括利用公共預測器對視頻信號數據的所有顏色分量進行解碼。以下將要結合附圖對示范性實施例進行詳細描述，本發(fā)明的這些及其它方面、特征和有益效果將變得很清楚。

根據以下示例圖可以更好地理解本發(fā)明，其中圖1是示出可以應用本發(fā)明原理的示范性視頻編碼設備的框圖2是示出可以應用本發(fā)明原理的示范性視頻解碼設備的框圖；圖3是示出根據本發(fā)明原理具有預編碼顏色變換塊的示范性視頻編碼過程的流程圖；圖4是示出根據本發(fā)明原理具有后解碼逆顏色變換塊的示范性視頻解碼過程的流程圖；圖5是示出殘差顏色轉換(RCT)簡化模型的框圖；圖6A和6B是根據本發(fā)明原理的、關于ATV intra-only的平均PSNR對位速率的曲線；圖7A和7B是根據本發(fā)明原理的、關于CT intra-only的平均PSNR對位速率的曲線；圖8A和8B是根據本發(fā)明原理的、關于DT intra-only的平均PSNR對位速率的曲線；圖9A和9B是根據本發(fā)明原理的、關于MIR—HD intra-only的平均PSNR對位速率的曲線；圖10A和10B是根據本發(fā)明原理的、關于RT intra-only的平均PSNR對位速率的曲線；圖IIA和11B是根據本發(fā)明原理的、關于STB—HD intra-only的平均PSNR對位速率的曲線；圖12是示出根據本發(fā)明原理的H.264序列參數句法的表；圖13是示出根據本發(fā)明原理的H.264殘差數據句法的表；圖14是示出根據本發(fā)明原理具有預編碼顏色變換塊的示范性視頻編碼過程的流程圖；圖15是示出根據本發(fā)明原理具有后解碼逆顏色變換步驟塊的示范性視頻解碼過程的流程圖；以及圖16是示出根據本發(fā)明原理的H.264宏塊預測句法的表。
具體實施方式
本發(fā)明針對用于對視頻信號數據進行視頻編碼和解碼的方法和設備。應該理解，雖然主要對于利用ITU-T H.264標準的4:4:4格式采樣的視頻信號數據來描述本發(fā)明，但是在保持本發(fā)明范圍的同時，本發(fā)明也可應用于利用H.264 標準的其它格式(例如4:2:2和/或4:2:0格式)以及其它視頻壓縮標準采樣的視頻信號數據。應該理解，根據本發(fā)明原理的方法和設備不需要為亮度或色度壓縮算法使用任何新工具。而是可以使用現有亮度編碼工具。因此，由此的一個有利結果是，可以在保持向后兼容性、并使現有H.264標準(或其它適用標準)的任何變化最小化的同時，使4:4:4格式的編碼性能最大化。根據如實施例中所配置的本發(fā)明原理，利用亮度編碼算法來對例如4:4:4 內容的所有三個分量通道進行編碼。該實施例的優(yōu)點包括，相對于現有技術提高了 4:4:4內容壓縮的整體編碼性能。目前，在現有H.264標準中，只將三個通道之一編碼為亮度，而利用較低效工具將另外兩個通道編碼為色度。進一步，根據如實施例中所配置的本發(fā)明原理，執(zhí)行顏色變換作為預處理步驟。因而，根據該實施例，在壓縮循環(huán)中不執(zhí)行殘差顏色轉換(RCT)。該實施例的優(yōu)點包括，在所有顏色格式之間提供一致的編碼器/解碼器結構。而且，根據如實施例中所配置的本發(fā)明原理，將相同的運動/空間預測模式用于所有三個分量。該實施例的優(yōu)點包括減小的編解碼器復雜性以及向后兼容性。
而且，根據另一實施例，不是為所有三個分量使用相同預測器，而是可以為三個分量使用3個約束空間預測器的集合(或子集)。該實施例的優(yōu)點包括，相對于現有技術提高了 4:4:4內容壓縮的整體編碼性能。應該理解，可以將以上及隨后在此描述的各實施例實施為單獨實施例，或者可以按照如該領域和相關領域的普通技術人員所容易理解的任何方式進行組合。因而，例如在第一組合實施例中，有利地利用亮度編碼算法對所有三個分量通道進行編碼，執(zhí)行顏色變換作為預處理步驟，并將單個預測器用于所有三個分量通道。在第二組合實施例中，有利地利用亮度編碼算法對所有三個分量通道進行編碼，執(zhí)行顏色變換作為預處理步驟，并可以將3個約束空間預測器的集合(或子集)用于三個分量通道。當然，如上所述，給定在此提供的本發(fā)明原理的教導，在保持本發(fā)明范圍的同時，也可實施各實施例的其它組合。本說明書舉例說明本發(fā)明的原理。因而，應該理解，本領域技術人員將能夠設計出雖然在此未明確描述或示出、但是能具體實施本發(fā)明原理且被包括在本發(fā)明精神和范圍內的各種配置。在此列舉的所有例子和條件性語言都用于教導目的以幫助讀者理解本發(fā) 明人所提出的、有助于促進本技術領域發(fā)展的本發(fā)明原理和概念，并且應該認為本發(fā)明不限于這些具體列舉的例子和條件。而且，在此列舉本發(fā)明原理、方面和實施例及本發(fā)明特定例子的所有語句，都預定包括其結構和功能等效物。另外，這種等效物預定包括當前已知的等效物以及將來開發(fā)的等效物，即與結構無關的執(zhí)行相同功能的任何被開發(fā)元件。因而，例如本領域技術人員應該理解，在此給出的框圖代表具體實施本發(fā) 明原理的說明性電路的概念圖。類似應該理解，任何流程表、流程圖、狀態(tài)轉移圖、偽碼等，都代表實質上可以在計算機可讀介質中表示、從而可通過計算
機或處理器來執(zhí)行的各種過程，而不管這種計算機或處理器是否明確示出。利用專用硬件以及能夠與適當軟件關聯(lián)地執(zhí)行軟件的硬件，可以提供圖中所示的各種元件的功能。當通過處理器來提供這些功能時，可以通過單個專用處理器、或通過單個共享處理器、或通過其中一些可以被共享的多個單獨處理器，來提供這些功能。而且，術語"處理器"或"控制器"的顯式使用不應被認為只指能夠執(zhí)行軟件的硬件，而是可以隱含地包括但不限于數字信號處理器(DSP)硬件、用于存儲軟件的只讀存儲器(ROM)、隨機存儲器(RAM)和非易失性存儲器。也可以包括其它常規(guī)和/或定制的硬件。類似，圖中所示的任何開關都只是概念性的。如從上下文更具體地理解的，可以通過程序邏輯操作、通過專用邏輯、通過程序控制和專用邏輯的交互、乃至手動操作，來實現它們的功能，可以由實施者來選擇特殊技術。在本發(fā)明權利要求中，被表示為用于執(zhí)行指定功能的裝置的任何元件都預定包括執(zhí)行該功能的任何方式，例如包括a)執(zhí)行該功能的電路元件的組合；或b)任何形式的軟件，因而包括和用于執(zhí)行該軟件的適當電路相結合、以執(zhí)行該功能的固件、微碼等。如這些權利要求所定義的本發(fā)明在于，以權利要求所要求的方式來組合并集合由列舉的各種裝置所提供的功能性。因而，認為能夠提供這些功能性的任何裝置都等效于在此所示出的那些裝置。轉到圖l，一般用附圖標記199來表示示范性視頻編碼設備。視頻編碼設備199包括視頻編碼器100和預編碼顏色變換模塊105。預編碼顏色變換模塊105用于，在視頻信號輸入到視頻編碼器100之前對視頻信號執(zhí)行顏色預處理。以下進一步描述預編碼顏色變換模塊105所執(zhí)行的顏色預處理。應該理解，在某些實施例中可省略預編碼顏色變換模塊105。
預編碼顏色變換模塊105的輸入和視頻編碼器100的輸入可用作視頻編碼設備199的輸入。預編碼顏色變換模塊105的輸出以信號通信方式與視頻編碼器100的輸入相連。視頻編碼器100的輸入以信號通信方式與求和點110的非反相輸入相連。求和點110的輸出以信號通信方式與變換器/量化器120相連。變換器/量化器 120的輸出以信號通信方式與熵編碼器140相連。熵編碼器140的輸出可用作視頻編碼器100的輸出，并且也可用作視頻編碼設備199的輸出。變換器/量化器120的輸出進一步以信號通信方式與逆變換器/逆量化器 150相連。逆變換器/逆量化器150的輸出以信號通信方式與解塊濾波器160的輸入相連。解塊濾波器160的輸出以信號通信方式與參考圖像存儲器170相連。參考圖像存儲器170的第一輸出以信號通信方式與運動和空間預測估計器180 的第一輸入相連。視頻編碼器100的輸入進一步以信號通信方式與運動和空間預測估計器180的第二輸入相連。運動和空間預測估計器180的輸出以信號通信方式與運動和空間預測補償器190的第一輸入相連。參考圖像存儲器170的第二輸出以信號通信方式與運動和空間預測補償器190的第二輸入相連。運動和空間預測補償器l卯的輸出以信號通信方式與求和點110的反相輸入相連。轉到圖2，一般用附圖標記299來表示示范性視頻解碼設備。視頻解碼設備299包括視頻解碼器200和后解碼器逆顏色變換模塊293。視頻解碼器200的輸入可用作視頻解碼設備299的輸入。視頻解碼器200 的輸入以信號通信方式與熵解碼器210的輸入相連。熵解碼器210的第一輸出以信號通信方式與逆量化器/逆變換器220的輸入相連。逆量化器/逆變換器220 的輸出以信號通信方式與求和點240的第一輸入相連。求和點240的輸出以信號通信方式與解塊濾波器290相連。解塊濾波器 290的輸出以信號通信方式與參考圖像存儲器250相連。參考圖像存儲器250 以信號通信方式與運動和空間預測補償器260的第一輸入相連。運動和空間預測補償器260的輸出以信號通信方式與求和點240的第二輸入相連。熵解碼器 210的第二輸出以信號通信方式與運動和空間預測補償器260的第二輸入相連。解塊濾波器290的輸出可用作視頻解碼器200的輸出，并且也可用作視頻解碼設備299的輸出。
而且，后解碼逆顏色變換模塊293的輸出可用作視頻解碼設備299的輸出。在這種情況下，視頻解碼器200的輸出可以以信號通信方式與后解碼逆顏色變換模塊293的輸入相連，后解碼逆顏色變換模塊293是關于視頻解碼器200的后處理模塊。后解碼逆顏色變換模塊293的輸出提供相對于視頻解碼器200輸出的后處理逆顏色變換信號。應該理解，后解碼逆顏色變換模塊293的使用是可選的。
現在描述根據本發(fā)明原理的增強4:4:4編碼。首先描述的實施例是一種組合實施例，其中將亮度編碼算法用于所有顏色分量，將相同空間預測模式用于所有顏色分量，且從壓縮循環(huán)中省略殘差顏色轉換(RCT)。也提供該組合實施例的測試結果。隨后，描述第二組合實施例，其中將亮度編碼算法用于所有顏色分量，將約束空間預測器的集合(或子集)(而不是單一空間預測模式) 用于所有顏色分量，并從壓縮循環(huán)中省略RCT。因而，第一和第二組合實施例之間的不同在于，在第一組合實施例中將單一空間預測模式用于所有顏色分量，而在第二組合實施例中將約束空間預測器的集合(或子集)用于所有顏色分量。當然，如上所述，可以將在此描述的各實施例實施為單獨實施例，或者可以按照如該領域和相關領域的普通技術人員所容易理解的任何方式進行組
合。例如，根據如實施例中所配置的本發(fā)明原理，只使用單一空間預測模式，而不和其它實施例組合，如從壓縮循環(huán)中省略RCT。應該理解，給定在此提供的本發(fā)明原理的教導，在保持本發(fā)明范圍的同時，該領域和相關領域的普通技術人員將能夠容易弄清本發(fā)明的實施例的這些和其它變化、實施和組合。
轉到圖3，一般分別用附圖標記300和301來表示具有預編碼顏色變換塊的示范性視頻編碼過程。
應該理解，預編碼顏色變換塊301包括塊306、 308和310。而且，應該理解，預編碼顏色變換塊301是可選的，因而在本發(fā)明某些實施例中可以省略。
預編碼顏色變換塊301包括循環(huán)限制塊306，循環(huán)限制塊306對圖像中的每一個塊開始循環(huán)，并將控制傳遞給功能塊308。功能塊308對當前圖像塊的視頻信號數據執(zhí)行顏色預處理，并將控制傳遞給循環(huán)限制塊310。循環(huán)限制塊 310結束循環(huán)。而且，循環(huán)限制塊310將控制傳遞給被包括在視頻編碼過程300 中的循環(huán)限制塊312。
循環(huán)限制塊312對圖像中每一個塊開始循環(huán)，并將控制傳遞給功能塊315。功能塊315利用一個用于當前圖像塊每個顏色分量的公共預測器，來形成當前圖像塊的運動補償或空間預測，并將控制傳遞給功能塊320。功能塊320從當前圖像塊減去運動補償或空間預測，以形成預測殘差，并將控制傳遞給功能塊 330。功能塊330對預測殘差進行變換和量化，并將控制傳遞給功能塊335。功能塊335對預測殘差進行逆變換和逆量化，以形成編碼預測殘差，并將控制傳遞給功能塊345。功能塊345將編碼殘差加到預測上，以形成編碼圖像塊，并將控制傳遞給結束循環(huán)塊350。結束循環(huán)塊350結束循環(huán)，并將控制傳遞給結束塊355。
轉到圖4，一般分別用附圖標記400和460來表示具有后解碼逆顏色變換塊的示范性視頻解碼過程。應該理解，后解碼逆顏色變換塊460包括塊462、 464、 466和468。而且，應該理解，后解碼逆顏色變換塊460是可選的，因而在本發(fā)明某些實施例中可以省略。解碼過程400包括循環(huán)限制塊410，循環(huán)限制塊410對圖像中的當前塊開始循環(huán)，并將控制傳遞給功能塊415。功能塊415對編碼殘差進行熵解碼，并將控制傳遞給功能塊420。功能塊420對解碼的殘差進行逆變換和逆量化，以形成編碼殘差，并將控制傳遞給功能塊430。功能塊430將編碼殘差加到由應用于每個顏色分量的公共預測器所形成的預測上，以形成編碼圖像塊，并將控制傳遞給循環(huán)限制塊435。循環(huán)限制塊435結束循環(huán)，并將控制傳遞給結束塊 440。在某些實施例中，循環(huán)限制塊435可選地將控制傳遞給后解碼逆顏色變換塊460，尤其是后解碼逆顏色變換塊460中所包括的循環(huán)限制塊462。循環(huán)限制塊462對圖像中每個塊開始循環(huán)，并將控制傳遞給功能塊464。功能塊464對當前圖像塊的視頻信號數據執(zhí)行逆顏色后處理，并將控制傳遞給循環(huán)限制塊 466。循環(huán)限制塊466結束循環(huán)，并將控制傳遞給結束塊468。在H.264 4:4:4格式中，每個分量通道都具有全分辨率。因而，根據上述第一組合實施例，對每個顏色分量都使用亮度編碼算法，以獲得最大整體壓縮效率。因此，在該實施例中，對于幀內幀，例如可以利用2004年7月的文檔 N6540， ISO)/IEC 14496 10高級視頻編碼第三版(ITU-TRec. H.264)、 ISO/IEC JTC1/SC29/WG11和ITU-T SG16 Q.6中的表8-2、表8-3和表8-4中所列出的那些預測模式，來壓縮每種顏色分量。另外，在實施例中，將相同空間預測模式用于所有三個像素分量，以進一
步減小編解碼器的復雜性以及提高性能。例如，所有三個分量都可以使用通過宏 ±央預領U 頭中的亮度的 prev—intra4x4_pred—mode—flag 、 rem—intra4x4_pred—mode、 prev—intra8x8_pred—mode—flag 禾口 rem—intra8x8_pred—mode參數所設置的預測模式。因此，不需要額外的比特位和句法元素。對于B和P (預測)幀，可以通過H.264標準的8.4.2.2.1節(jié)中描述的插值方法，對所有三個通道計算小數像素位置處的參考像素。以下進一步討論當前H.264標準的詳細句法和語義變化。在高4:4:4檔次(Hign 4:4:4 profile)中，將RCT加到編碼器/解碼器上。結果，4:4:4格式的壓縮結構不同于H.264標準的所有其它檔次中當前為4:2:0 和4:2:2格式使用的壓縮結構。這導致了某些額外的實施復雜性。而且，類似于其它任何顏色變換，YCOCG不一定提高整體壓縮性能。YCOCG的效率是與內容高度相關的。因而，為提高整體壓縮性能和魯棒性，在實施例中，將顏色變換放在預測循環(huán)外，作為預處理塊一部分。通過這樣做，為特定壓縮任務選擇最佳顏色變換是操作問題，并且可以在許多選項中找到特殊輸入序列的最佳的顏色變換。根據其中所有三個分量都將相同空間預測器用于幀內幀、并將相同插值濾波器用于B和P (預測或幀間編碼)幀的實施例，當忽略舍入/截斷誤差時，對預測殘差執(zhí)行顏色變換等同于在編解碼器外對源圖像執(zhí)行顏色變換。以下將進一步對此進行討論。因而，從編碼結構去除RCT塊，以使編碼結構在所有顏色格式之間一致。轉到圖5，一般用附圖標記500來表示RCT簡化模型。RCT模型500包括參考像素發(fā)生器510、求和點520和線性變換模塊530。參考像素發(fā)生器510的輸入被配置成接收運動/邊緣信息和矢量[A]， [Z2].......[義。]。參考像素發(fā)生器510的輸出以信號通信方式與求和點520的反相輸入相連，參考象素發(fā)生器510
向求和點520提供預測矢量[Xp]。求和點520的非反相輸入被配置成接收輸入矢量[兀 ]。求和點520的輸出以信號通信方式與線性變換模塊530的輸入相連，求和點520向線性變換模塊530提供矢量[Xd]。線性變換模塊530的輸出被配置成提供矢量[&]。在RCT 500的簡化模型中，由3x3矩陣[^]表示的顏色變換(線性變換)被定義如下(1)K"]， [^]，K]……[A]是代表RGB域中像素的3xl矢量。[Y^ 是代表顏色變換結果的3xl矢量。因此問=[W=W W - M W (2)因為在實施例中，根據如實施例中所配置的本發(fā)明原理，將相同的空間預測器和插值濾波器用于宏塊中的所有三個分量，所以可以將參考像素py表示如下<formula>formula see original document page 16</formula> (3)其中nxl矢量[C]代表H.264標準中定義的空間預測器和插值濾波器中涉及的線性運算。在此，假定利用總共"個相鄰像素[義],[X2],....[義 ]來計算參考像素。將式(3)中的[Xp]代入式(2)得到以下結果&<formula>formula see original document page 17</formula>(4)忽略舍入/截斷誤差并假定在RGB或Y域選擇相同預測模式，得到以下結<formula>formula see original document page 17</formula>(5)因此，<formula>formula see original document page 17</formula>(6)因而，式(6)清楚地顯示出，把YUV用作根據如該實施例中所配置的本發(fā)明原理的編碼器/解碼器的輸入，等同于執(zhí)行RCT。而且，根據如實施例中所配置的本發(fā)明原理，將新的4:4:4檔次(4:4:4 profile)添加到H.264標準中，在此被稱為"profile—idc=166的高級4:4:4檔次"。可以將該新的profile—idc加在序列參數頭中，并且可以將其用于宏塊層頭以及殘差數據頭中。為支持利用亮度算法對所有三種顏色分量進行編碼，可以對殘差數據句法作出某些改變。另外，也可以對宏塊頭、殘差數據頭等之中的一些元素的語義作出改變。一般，H.264規(guī)范中的現有亮度句法將保持不變，并將用于對三個分量之一進行編碼。變化是向后兼容的。在此，以下描述詳細的句法和語義變化?，F在，將描述根據如各實施例中配置的本發(fā)明原理所執(zhí)行的模擬結果。轉到圖6A和6B，一般分別用附圖標記600和650來表示關于ATV intm-only的平均PSNR (峰值信噪比)對位速率的曲線。轉到圖7A和7B，一般分別用附圖標記700和750來表示關于CT intra-only 的平均PSNR對位速率的曲線。轉到圖8A和8B，一般分別用附圖標記800和850來表示關于DT intra-only 的平均PSNR對位速率的曲線。轉到圖9A和9B，一般分別用附圖標記900和950來表示關于MIR—HD intra-only的平均PSNR對位速率的曲線。轉到圖10A和IOB，一般分別用附圖標記1000和1050來表示關于RT intra-only的平均PSNR對位速率的曲線。轉到圖11A和IIB，一般用附圖標記1100和1150來表示關于STB—HD intra-only的平均PSNR對位速率的曲線。尤其是，圖6A、 7A、 8A、 9A、 10A和11A示出了所建議的高級4:4:4檔次(用術語"新"來表示，并在它前面加上"新")對與之相應的近似結果的測試結果。而且，圖6B、 7B、 8B、 9B、 10B和11B示出了所建議的高級4:4:4 檔次(用術語"新"來表示，并在它前面加上"新")對JPEK2k的測試結果。在圖6A、 6B至11A、 IIB的所有圖中，用分貝(dB)來表示PSNR，并用每秒位數(bps)來表示位速率。ATV、 CT、 DT、 MIR、 RT、 STB是測試剪輯的名稱。在測試中，使用JVT-J042電影起源測試序列中所描述的所有JVT/FRExt 測試序列。它們都是4:4:4 10位電影素材，并且每個剪輯有58幀。在JVT參考軟件JM9.6中實施所建議的高級4:4:4檔次。Intra-only和IBBP 編碼結構都用于測試中。對于每一條R-D曲線，量化參數都被設為6、 12、 18、 24、 30和42。使用RD優(yōu)化模式選擇。也將所建議的高級4:4:4檔次和通過對每個單獨輸入分量運行 YUVFormat^(4:0:0)的參考軟件所得到的結果進行比較。把三個分開的單獨壓縮位計數簡單相加，以得到用于計算壓縮位速率的總壓縮位數。關于JPEG2k，在測試中使用KaKaduV2.2.3軟件。利用具有9/7雙正交小波濾波器的5級小波解壓縮，來產生測試結果。每幀只有一個瓦片(tile)，并且對于給定目標位速率也使用RD優(yōu)化。所有PSNR測量都在RGB域中執(zhí)行。利用被定義為 (PSNR(紅)+PSNR(綠)+PSNR(藍))/3的平均PSNR，來比較整體壓縮質量。這主要是因為利用軟件所提供的未知速率控制算法來計算JPEG2k壓縮數據。對于某些情況，RGBPSNR值相互之間相差很大，尤其是當使用JPEG2k顏色變換時。如下執(zhí)行壓縮比較 Newl:具有單一預測模式的建議高級4:4:4檔次。
New3:具有三種預測模式的建議高級4:4:4檔次。
RCT-OFF: RCT二關閉的RGB輸入。
RCT-ON: RCT二開啟的RGB輸入。
YCOCG:在編解碼器外面執(zhí)行RGB到YCOCG轉換。然后把轉換的 YCOCG用作JVT軟件的輸入。
R+G+B:通過分別壓縮R、 G和B信號而近似的建議方法。
Y+CO+CG:通過分別壓縮所轉換的Y、 CO和CG信號而近似的建議方法。爭J2k一RGB:在RGB域執(zhí)行JPEG2k壓縮。關掉JPEG2k顏色變換。
J2k—YUV:在YUV域執(zhí)行JPEG2k壓縮。使用JPEG2k顏色變換。根據測試結果，根據如實施例中所配置的本發(fā)明原理的實施在整體壓縮效率方面一般非常類似于JPEG2k。在某些情況下，甚至稍好一點。此外，對于40dB (PSNR)以上的質量，根據如實施例中所配置的本發(fā)明原理的實施提供了比當前高4:4:4檔次(High 4:4:4 Profile)高得多的性能(壓縮)。具體地說，Newl-YCOCG或New3-YCOCG好于YCOCG和RCT-ON; Newl-RGB或New3-RGB好于RCT-OFF。在等于和大于45dB(PSNR)的PSNR 下，平均PSNR的平均提高大于1.5dB。在最后一個例子中，可以將該提高轉變?yōu)?5dB PSNR下25。/。以上的位節(jié)省。根據測試結果，好像當內容具有更飽和顏色時，如TP、 RT，顏色變換將有助于編碼性能。即，如果顏色是中性的、且不飽和，則在RGB域的編碼或許是正確選擇。以上觀察與使用什么顏色變換無關。比較Newl-YCOCG或New3-YCOCG和JPEG-2k—YUV的結果，可以觀察到，特定顏色變換的性能在提高編碼效率方面是與內容非常相關的。沒有一種顏色變換總是最好的。因此，我們的數據確認了，在編碼(或解碼)循環(huán)內執(zhí)行顏色變換如RCT可能不是一個好主意。相反，如果必要，在編碼器/解碼器外執(zhí)行顏色變換可能使整個壓縮系統(tǒng)提供更好、更魯棒的性能。比較YCOCG和RCT-ON，測試結果沒有顯示出由RCT引起的任何編碼效率提高。另外，應該主意，運行RCT開啟的參考軟件大大增加了編碼時間。
運行時間長了2.5倍多?，F在，將描述根據如實施例中所配置的本發(fā)明原理的句法和語義變化。轉到圖12，一般用附圖標記1200來表示化264序列參數句法表。用斜體字來表示根據如實施例中所配置的本發(fā)明原理的句法變化。轉到圖13，一般用附圖標記1300來表示H.264殘差數據句法表。用斜體字來表示根據如實施例中所配置的本發(fā)明原理的句法添加/變化。在表1300中，殘差數據頭中的亮度部分和某些必須文本修改一起重復兩次，以分別支持 lumal禾卩l(xiāng)uma2。如上所述，通過在JVT參考軟件JM9.6中實施本發(fā)明原理，來評價和測試上述第一組合實施例。用Newl-RGB或Newl-YCOCG標記的測試結果代表第一組合實施例。如上所述，根據如實施例中所配置的本發(fā)明原理，將3個約束空間預測器的集合(或子集)而不是單一空間預測模式，用于分量通道(例如RGB、 YUV、 YCrCb格式等)。而且，如上所述，可以將該實施例和在此描述的其它實施例組合起來，例如，只利用亮度編碼算法來對內容的所有三個分量通道進行編碼、以及/或者使用顏色變換作為預處理步驟?，F在，將描述上述第二組合實施例，它涉及將3個約束空間預測器的集合 (或子集)用于顏色分量，只使用亮度編碼算法對所有三個顏色分量進行編碼，以及使用顏色變換作為預處理步驟(即，在壓縮循環(huán)內沒有RCT)。與此同時也將描述該實施例的某些變形方案。轉到圖14，一般分別用附圖標記1400和1401來表示具有預編碼顏色變換步驟的示范性視頻編碼過程。應該理解，預編碼顏色變換塊1401包括塊1406、 1408和1410。而且，
應該理解，預編碼顏色變換塊1401是可選的，因而在本發(fā)明某些實施例中可以省略。
預編碼顏色變換塊1401包括循環(huán)限制塊1406，循環(huán)限制塊1406對圖像中的每個塊開始循環(huán)，并將控制傳遞給功能塊1408。功能塊1408對當前圖像塊的視頻信號數據執(zhí)行顏色預處理，并將控制傳遞給循環(huán)限制塊1410。循環(huán)限制塊1410結束循環(huán)。而且，循環(huán)限制塊1410將控制傳遞給被包括在視頻編碼過程1400中的循環(huán)限制塊1412。
循環(huán)限制塊1412對圖像中的每個塊開始循環(huán)，并將控制傳遞給功能塊 1415。功能塊1415利用一個用于當前圖像塊的每個顏色分量的公共預測器，來形成當前圖像塊的運動補償或空間預測，并將控制傳遞給功能塊1420。功能塊1420從當前圖像塊減去運動補償或空間預測，以形成預測殘差，并將控制傳遞給功能塊1430。功能塊1430對預測殘差進行變換和量化，并將控制傳遞給功能塊1435。功能塊1435對預測殘差進行逆變換和逆量化，以形成編碼預測殘差，并將控制傳遞給功能塊1445。功能塊1445將編碼殘差加到預測上，以形成編碼圖像塊，并將控制傳遞給結束循環(huán)塊1450。結束循環(huán)塊1450結束循環(huán)，并將控制傳遞給結束塊1455。
轉到圖15，一般分別用附圖標記1500和1560來表示具有后解碼逆顏色變換步驟的示范性視頻解碼過程。
應該理解后解碼逆顏色變換塊1560包括塊1562、 1564、 1566和1568。而且，應該理解，后解碼逆顏色變換塊1560是可選的，因而在本發(fā)明某些實施例中可以省略。
解碼過程1500包括循環(huán)限制塊1510，循環(huán)限制塊1510對圖像中的當前塊開始循環(huán)，并將控制傳遞給功能塊1515。功能塊1515對編碼殘差進行熵解
碼，并將控制傳遞給功能塊1520。功能塊1520對解碼殘差進行逆變換和逆量化，以形成編碼殘差，并將控制傳遞給功能塊1530。功能塊1530將編碼殘差加到由用于每個顏色分量上的公共預測器形成的預測上，以形成編碼圖像塊，并將控制傳遞給循環(huán)限制塊1535。循環(huán)限制塊1535結束循環(huán)，并將控制傳遞給結束塊1540。在某些實施例中，循環(huán)限制塊1535可選地將控制傳遞給后解碼逆顏色變換塊1560，尤其是后解碼逆顏色變換塊1560中所包括的循環(huán)限制塊1562。循環(huán)限制塊1562對圖像中的每個塊開始循環(huán)，并將控制傳遞給功能塊1564。功能塊1564對當前圖像塊的視頻信號數據執(zhí)行逆顏色后處理，并將控制傳遞給循環(huán)限制塊1566。循環(huán)限制塊1566結束循環(huán)，并將控制傳遞給結束塊1568。如上所述，披露了高級4:4:4檔次的新檔次(profile—idc=166)。該新檔次也可用于第二組合實施例，對應的語義和句法變化如下所述。該新profilejdc 被加在序列參數集合中，并將主要用于隨后的頭中，以指示輸入格式為4:4:4、以及所有三個輸入通道都類似地被編碼為亮度。為使H.264標準所需的改變減到最少，不為高級4:4:4檔次披露新的宏塊類型。而是所有宏塊類型與H.264標準的表7-11、表7-13和表7-14中列出的關聯(lián)編碼參數一起仍然有效。對于幀內宏塊的情況，所有三個輸入通道，亮度、 Cr和Cb，都將基于H.264標準的表7-11中定義的MbPartPredMode來進行編碼。例如，高級4:4:4檔次中的Intra一4x4宏塊意味著，可以利用H.264標準的表8-2中給出的所有9種可能預測模式來對每個輸入分量通道進行編碼。僅供參考，在當前高4:4:4檔次(Hign 4:4:4 Profile)中，將把Intra_4x4宏塊的通道中的兩個處理為色度，并且將只使用H.264標準的表8-5中的4種可能幀內預測模式之一。對于B和P宏塊，對高級4:4:4檔次所作的變化發(fā)生在小數像素位
置處的參考像素值的插值計算處理中。在此，R264標準的8.4.2.2.1節(jié)中描述的過程，亮度樣本插值處理，將適用于亮度、Cr和Cb。再次僅供參考，當前高4:4:4檔次(Hign 4:4:4 Profile)將H.264標準的8.4.2.2.2節(jié)的色度樣本插值處理用于輸入通道中的兩個。在CABAC被選為熵編碼模式的情況下，將為Cr和Cb生成和當前為亮度定義的上下文模型相同的兩組分開上下文模型。在編碼期間，也將獨立地更新它們。最后，在實施例中，因為在編碼循環(huán)中沒有RCT塊，所以從高級4:4:4檔次的序列參數集合中去除ResidueColorTransformFlag。到現在為止，如圖13所示，大多數句法變化都出現在殘差數據中，其中原始亮度句法被重復兩次，以支持所建議的高級4:4:4檔次中的Cr和Cb。關于H.264宏塊層表(未示出)，對應句法的語義變化包括以下。coded—block_pattern (添力卩)。當 chroma—formatjdc 等于 3 且 coded—block_pattern存在時，應該將CodedBlockPatternChroma設為0。另夕卜，對于宏塊的12個8x8亮度、Cb和Cr塊的每一個，CodedBlockPatternLuma都規(guī)定以下情況之一(1) 8x8亮度、8x8Cb和8x8Cr塊中的12個4x4亮度塊的所有變換系數電平都等于O; (2)8x8亮度、8x8Cb和8x8Cr塊中的一個或多個4x4亮度塊的一個或多個變換系數電平應該為非零值?，F在，將描述根據第二組合實施例(或關于三個約束空間預測器集合(或子集)的使用的單獨實施例)的幀內塊空間預測模式選擇。為了使每個分量獨立選擇其最佳MbPartPredMode和隨后的最佳空間預測模式，和分別對每個輸入通道進行編碼的情況一樣，可以將某些新幀內塊類型加到H.264標準的表7-11中。結果，將對R264標準作出大量改變。在關于第
二組合實施例的實施例中，當前mb—types保持不變，并且提供替換解決方案。在該實施例中，限制用相同的MbPartPredMode或宏塊類型對三個輸入通道進行編碼。然后，將少量的新元素添加到宏塊預測句法中，以支持三種不同預測模式。因此，每個分量理論上仍然能夠獨立選擇其最佳空間預測模式，以便使每個分量通道的預測誤差最小化。例如，假定將Intra—4x4宏塊選為mb—type，則亮度、Cr或Cb仍然可以在H.264標準的8.3丄1節(jié)的表8-2中找到它自己的最佳空間預測模式，例如用于亮度的Intra—4x4—Vertical 、用于Cr的 Intra—4x4_Horizontal以及用于Cb的Intra—4x4—Diagonal—Down—Left 。關于上述第一組合實施例的另一種方法是，約束所有三個輸入通道都共享相同預測模式。這可以利用現有句法元素當前所攜帶的預測信息來實現，如宏塊予頁湖lj句法中的 prev—intra4x4_pred—mode—flag、 rem—intra4x4_pred—mode 、 pred—intra8x8_pred—mode—flag禾卩rem_intra8x8_pred—mode。該選項將導致H.264 的少量變化以及編碼效率稍微有些損失?；跍y試結果，與第一組合實施例相比，使用三種預測模式可以將總編碼性能提高大約0.2dB。轉到圖16，一般用附圖標記1600來表示H.264宏塊預測句法表。僅供參考，以下列出了用于支持使用三種預測模式的修改宏塊預測句法，其中prev—intra4x4_pred_mode—flag0禾口 rem—intra4x4_pred—mode0用于亮度；prev—intra4x4_pred—mode—flag 1禾卩rem—intra4x4_pred—model用于Cr;prev—intra4x4_pred—mode_flag2禾口 rem—intra4x4_pred—mode2用于Cb。現在，將描述根據如關于第二組合實施例的實施例所配置的本發(fā)明原理而執(zhí)行的模擬結果。使用JVT-J042，電影起源測試序列，JVT-J039 (Viper)中所描述的所有JVT/FRExt測試序列。它們都是4:4:4 10位素材，并且每個剪輯有58幀。在JVT參考軟件JM9.6中實施所建議的算法，并在測試中使用修改的軟件。對Intra-only和IBRrBP都進行測試。在此，"Br"表示所記錄的B圖像。 Intra-only情況適合于量化參數等于6、 12、 18、 24、 30、 36和42的所有序列。由于模擬中涉及大量的時間，IBRrBP圖像組(GOP)結構只適合于量化參數等于12、 18、 24、 30和36的電影剪輯。根據4:4:4 AHG中的論述，在測試中使用以下關鍵參數SymbolMode = 1 RDOptimization = 1 ScalingMatrixPresentFlag = 0 OffsetMatrixPresentFlag = 1 QoffsetMatrixFile = "q—offset, cfg" AdaptiveRounding = 1 AdaptRndPeriod = 1 AdaptRndChroma = 1 AdaptRndWFactorX = 8 SearchRange = 64 UseFME = 1關于JPEG2k，在測試中使用KaKadu V2.2.3軟件。利用具有9/7雙正交小波濾波器的5級小波解壓縮，來產生測試結果。每幀只有一個瓦片(tile)，并且對于給定目標位速率也使用RD優(yōu)化。主要在源內容的原始色域中計算PSNR度量，對于上述剪輯，源內容的原始色域是RGB。利用被定義為(PSNR(紅)+PSNR(綠)+PSNR(藍))/3的平均 PSNR，來比較整體壓縮質量。如下執(zhí)行壓縮比較 Newl:具有單一預測模式的建議高級4:4:4檔次。
New3:具有三種預測模式的建議高級4:4:4檔次。
RCT-OFF: RCT二關閉的RGB輸入。
RCT-ON: RC1、開啟的RGB輸入。
YCOCG:在編解碼器外執(zhí)行RGB到YCOCG轉換。然后把轉換的 YCOCG用作JVT軟件的輸入。
R+G+B:通過分別壓縮R、 G和B信號而近似的建議方法。
Y+CO+CG:通過分別壓縮所轉換的Y、 CO和CG信號而近似的建議方法。
JPEG2k—RGB:在RGB域執(zhí)行JPEG2k壓縮。關掉JPEG2k顏色變換。
JPEG2k—YUV:在YUV域執(zhí)行JPEG2k壓縮。使用JPEG2k顏色變換。對于Intra-only情況，根據本發(fā)明原理的建議高級4:4:4檔次在整體壓縮效率方面非常類似于JPEG2k。在某些情況下，甚至更好一些。根據本發(fā)明原理的方法明顯好于當前高4:4:4檔次(Hign 4:4:4 Profile)。在等于和大于45dB (PSNR)的PSNR下，平均PSNR的平均提高超過1.5dB。在某些情況下，可以將該提高轉換為45dB PSNR下25%以上的位節(jié)省。即使對于相同塊類型，使用三種預測模式也稍好于單一預測模式。然而，可以使用更多句法和語義變化。現在，將描述本發(fā)明實施例的原理所提供的許多附帶優(yōu)點/特征中的一些。測試結果表明，與當前高4:4:4檔次(Hign 4:4:4 Profile)相比，利用與本發(fā)明原理對應的改進的建議高級4:4:4檔次提供了改善的性能。并且性能提高的
很顯著。另外，將顏色變換移到編解碼器外面將使編解碼器的結構在所有顏色格式之間一致。結果，它將使實施更容易，且降低成本。在選擇最佳顏色變換以獲得更好編碼效率的方面，它也將使編解碼器更魯棒。而且，建議的方法不添加任何新的編碼工具，而只需對句法和語義稍作改變。因而，根據如實施例中配置的本發(fā)明原理，提供一種視頻編碼和解碼方法及設備。提供對現有H.264標準的修改，這些修改將性能提高到當前可獲得的性能之上。而且，對于高質量應用，甚至將性能提高到超過JPEG-2000。根據如實施例中配置的本發(fā)明原理，可以通過利用亮度編碼算法對4:4:4內容的所有三個顏色分量進行編碼，來實現H,264標準的4:4:4編碼性能重大提高。艮口，不需要新工具用于亮度(或沒有使用的色度)壓縮算法。而是使用現有亮度編碼工具。進一步，可以根據本發(fā)明原理來實施當前4:4:4檔次的句法和語義變化，以支持所有三個分量通道的亮度編碼。在根據本發(fā)明實施例進行的測試中，當源內容有許多空間紋理和邊緣時，亮度中使用的空間預測工具明顯顯示出它們的性能優(yōu)于色度中所使用的空間預測工具。對于某些測試序列，當每個顏色分量都被編碼為亮度時，在大于或等于45dB (平均PSNR)的壓縮質量下可觀察到超過30%的位減少。應該理解，雖然在此主要相對于利用H.264標準的4:4:4格式采樣的視頻信號數據描述了本發(fā)明，但是也可容易相對于利用凡264標準的其它格式(如 4:2:0格式和/或4:2:2格式)以及其它視頻壓縮標準采樣的視頻信號數據，來實施本發(fā)明。給定在此提供的本發(fā)明教導，在保持本發(fā)明范圍的同時，該領域及相關領域普通技術人員也可容易實施本發(fā)明的這些及其它變化。相關領域的普通技術人員根據在此給出的教導可以容易地弄清本發(fā)明的這些及其它特征和優(yōu)點。應該理解，可以用各種形式的硬件、軟件、固件、專用處理器或它們的組合，來實施本發(fā)明的教導。更為優(yōu)選地，把本發(fā)明的教導實施為硬件和軟件的組合。而且，軟件可為在程序存儲單元上具體實施的應用程序。該應用程序可以被上載到包括任何合適架構的機器上，并通過該機器來執(zhí)行。優(yōu)選地，在具有硬件如一個或多個中央處理器(CPU)、 RAM和輸入/輸出(I/O)接口的計算機平臺上，實現該機器。該計算機平臺也可包括操作系統(tǒng)和微指令碼。在此描述的各種過程和功能可以是，可通過CPU執(zhí)行的微指令碼一部分、或應用程序一部分、或它們的任何組合。另外，其它各種外圍單元如附加數據存儲單元和打印單元，可以連接到該計算機平臺。進一步應該理解，因為附圖中所描述的一些組成系統(tǒng)部件和方法優(yōu)選地是用軟件來實現的，所以系統(tǒng)部件或過程功能塊之間的實際連接可以隨本發(fā)明的編程方式而有所不同。給定在此的教導，相關領域普通技術人員將能夠預期本發(fā)明的這些及類似實施或配置。雖然在此參考附圖描述了說明性實施例，但是應該理解，本發(fā)明不限于這些具體實施例，并且相關領域普通技術人員可以在不脫離本發(fā)明范圍或精神的情況下實現各種變動和修改。所有這種變動和修改都預定被包括在如所附的權利要求所闡述的本發(fā)明范圍內。
權利要求
1.一種用于對圖像塊的視頻信號數據進行編碼的視頻編碼器，所述視頻編碼器包括編碼器(100)，用于利用公共預測器對所述視頻信號數據的所有顏色分量進行編碼。
2. 根據權利要求1所述的視頻編碼器，其中所述公共預測器是用于所述視頻信號數據的亮度分量和色度分量的亮度預測器。
3. 根據權利要求1所述的視頻編碼器，其中所述編碼器(100)將公共空間預測模式用于所述視頻信號數據的所有顏色分量。
4. 根據權利要求3所述的視頻編碼器，其中通過國際電信聯(lián)盟電信標準化 —部門H.264木示7隹的prev_intra8x8_pred—mode_flag、 rem—intra8x8_pred—mode、 prevjntra4x4^pred一mode—flag禾口 rem—intra4x4_pred—mode參數，來設置所述公共空間預測模式。
5. 根據權利要求1所述的視頻編碼器，其中所述編碼器(100)將公共插值濾波器用于所述視頻信號數據的所有顏色分量的B和P幀。
6. 根據權利要求1所述的視頻編碼器，其中所述編碼器(100)對所述視頻信號數據的所有顏色分量進行編碼，并且不對所述視頻信號數據的所有顏色分量應用殘差顏色轉換。
7. 根據權利要求1所述的視頻編碼器，其中所述視頻信號數據的采樣對應于國際電信聯(lián)盟電信標準化部門H.264標準的4:4:4、 4:2:2和4:2:0格式中的任何格式。
8. —種用于對圖像塊的視頻信號數據進行編碼的方法，所述方法包括利用公共預測器對所述視頻信號數據的所有顏色分量進行編碼(315)。
9. 根據權利要求8所述的方法，其中所述公共預測器是用于所述視頻信號數據的亮度分量和色度分量的亮度預測器。
10. 根據權利要求8所述的方法，其中將公共空間預測模式用于所述視頻信號數據的所有顏色分量。
11. 根據權利要求IO所述的方法，其中通過國際電信聯(lián)盟電信標準化部門 H.264 豐示7隹的 prev—intra8x8_pred—mode—flag 、 rem—intra8x8_pred—mode 、 prev—intra4x4_pred—mode—flag禾卩rem—intra4x4_pred—mode參數，來設置所述公共空間預測模式。
12. 根據權利要求8所述的方法，其中將公共插值濾波器用于所述視頻信號數據的所有顏色分量的B和P幀。
13. 根據權利要求8所述的方法，其中所述編碼步驟對所述視頻信號數據的所有顏色分量進行編碼，并且不對所述視頻信號數據的所有顏色分量應用殘差顏色轉換。
14. 根據權利要求8所述的方法，進一步包括在所述編碼步驟之前的預處理步驟中對所述視頻信號數據執(zhí)行(308)顏色變換。
15. 根據權利要求8所述的方法，其中所述視頻信號數據的采樣對應于國際電信聯(lián)盟電信標準化部門H.264標準的4:4:4、4:2:2和4:2:0格式中的任何格式。
全文摘要
提供了視頻編碼器、視頻解碼器和對應方法。一種用于對圖像塊的視頻信號數據進行編碼的視頻編碼器包括編碼器(100)，該編碼器(100)用于利用公共預測器(315)對視頻信號數據的所有顏色分量進行編碼。一種用于對圖像塊的視頻信號數據進行解碼的視頻解碼器包括解碼器(200)，該解碼器(200)用于利用公共預測器(430)對視頻信號數據的所有顏色分量進行解碼。另外，用于對圖像塊的信號數據進行編碼和解碼的設備和方法包括編碼器和解碼器，該編碼器和解碼器用于對視頻信號數據的顏色分量進行編碼/解碼而不對它們應用殘差顏色轉換。而且，用于對圖像塊的視頻信號數據進行編碼/解碼的視頻編碼器和解碼器包括編碼器和解碼器，該編碼器和解碼器用于利用對于視頻信號數據每個顏色分量唯一的預測器，來對視頻信號數據進行編碼/解碼。
文檔編號H04N7/26GK101160972SQ200680011944
公開日2008年4月9日申請日期2006年3月16日優(yōu)先權日2005年4月13日
發(fā)明者于浩平申請人:湯姆遜許可公司

完整全部詳細技術資料下載