專利名稱：使用可變尺寸宏塊對圖像進(jìn)行編碼/解碼的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種使用可變尺寸宏塊對圖像進(jìn)行編碼/解碼的裝置和方法。更具體地，本發(fā)明涉及一種使用可變尺寸的塊對高分辨率圖像進(jìn)行有效的編碼和解碼的裝置和方法。
背景技術(shù)：
本部分中的陳述僅提供與本發(fā)明有關(guān)的背景信息，不構(gòu)成現(xiàn)有技術(shù)。用于壓縮視頻數(shù)據(jù)的技術(shù)包括H. 261、H. 263、H. 264、MPEG-2、MPEG-4等。根據(jù)這些視頻壓縮標(biāo)準(zhǔn)，每個圖像被劃分且編碼成固定尺寸的宏塊，這些宏塊由具有像素尺寸為16X16的亮度成分和像素尺寸為8X8的色度成分的矩形區(qū)域形成。對各個宏塊的全 部亮度成分和全部色度成分進(jìn)行空間預(yù)測或時(shí)間預(yù)測，然后預(yù)測的殘值經(jīng)歷變換、量化和熵編碼并最終被發(fā)送。最近頒布的H. 264/AVC標(biāo)準(zhǔn)規(guī)定編碼裝置針對固定的宏塊尺寸使用16X16的像素塊并且將各宏塊細(xì)分成實(shí)現(xiàn)巾貞內(nèi)預(yù)測(intra prediction)或巾貞間預(yù)測(interprediction)的更小塊。在實(shí)現(xiàn)幀內(nèi)預(yù)測編碼時(shí)，可以將各宏塊劃分為16X 16、8X8或4X4的尺寸，并且按照四種預(yù)測模式中的一種對尺寸為16X16的塊進(jìn)行幀內(nèi)預(yù)測，按照九種預(yù)測模式中的一種對8X8和4X4的塊進(jìn)行幀內(nèi)預(yù)測。在幀間預(yù)測的情況下，可以將宏塊細(xì)分成尺寸為16X16、16X8、8X16、8X8、8X4、4X8或4X4的塊，然后通過運(yùn)動補(bǔ)償用于幀間預(yù)測。以尺寸為8X8或4X4的塊為單位執(zhí)行變換，并且用于變換系數(shù)的量化是標(biāo)量量化。然而，可以認(rèn)為16X16的宏塊對于常規(guī)的QCIF (四分之一通用中間格式)和CIF(通用中間格式)類的小圖像是適當(dāng)?shù)?，但是它不是壓縮諸如4KX2K圖像的高分辨率圖像的正確宏塊尺寸。另外，由于一般的視頻壓縮技術(shù)在對圖像進(jìn)行編碼時(shí)使用固定尺寸的宏塊(即使H. 264/AVC也將宏塊細(xì)分并編碼為更小的塊單元，但是宏塊的尺寸是固定的)，因此對高分辨率圖像進(jìn)行編碼難以實(shí)現(xiàn)足夠的編碼效率。

發(fā)明內(nèi)容
技術(shù)問題因此，本發(fā)明的實(shí)施方式尋求通過提供一種用于確定與圖像特性匹配的塊類型的方法和在將尺寸超過16X 16的較大像素塊用于作為編碼和/或解碼單位的宏塊的情況下有效地進(jìn)行編碼/解碼的方法和裝置來有效地解決上述問題。解決問題的技術(shù)方案本公開的一個方面提供了一種視頻編碼/解碼裝置，該裝置包括視頻編碼器，其配置用于使用可變尺寸宏塊對圖像進(jìn)行編碼的塊類型候選，使用各個塊類型候選對輸入的圖像進(jìn)行編碼，基于各個塊類型候選的編碼成本來確定塊類型，并且生成包含按照確定的塊類型編碼的圖像數(shù)據(jù)和關(guān)于確定的塊類型的信息的比特流；以及視頻解碼器，其用于從所述比特流中提取用于使用可變尺寸宏塊對所述圖像進(jìn)行編碼的關(guān)于塊類型的信息以及編碼的圖像數(shù)據(jù)，并且根據(jù)由所述關(guān)于塊類型的信息標(biāo)識的塊類型對編碼的圖像數(shù)據(jù)進(jìn)行解碼而生成重建的圖像。本公開的另一個方面提供了一種視頻編碼裝置，該裝置包括候選塊類型配置單元，其配置用于使用可變尺寸宏塊對圖像進(jìn)行編碼的塊類型候選；視頻編碼器，其使用各個塊類型候選對輸入的圖像進(jìn)行編碼；以及塊類型確定器，其基于所述塊類型候選的編碼成本來確定塊類型，并且生成包含確定的塊類型編碼的圖像數(shù)據(jù)和關(guān)于確定的塊類型的信息的比特流。本公開的又一個方面提供了一種視頻解碼裝置，該裝置包括視頻解碼器，其從比特流中提取用于使用可變尺寸宏塊對圖像進(jìn)行編碼的關(guān)于塊類型的信息以及編碼的圖像數(shù)據(jù)，并且根據(jù)由所述關(guān)于塊類型的信息標(biāo)識的塊類型對編碼的圖像數(shù)據(jù)進(jìn)行解碼而生成重建的圖像。
本公開的又一個方面提供了一種編碼/解碼方法，該方法包括以下步驟設(shè)置用于使用可變尺寸宏塊對圖像進(jìn)行編碼的塊類型候選，使用各個塊類型候選對輸入的圖像進(jìn)行編碼，基于各個塊類型候選的編碼成本來確定塊類型，并且生成包含按照確定的塊類型編碼的圖像數(shù)據(jù)和關(guān)于確定的塊類型的信息的比特流；以及從所述比特流中提取用于使用可變尺寸宏塊對所述圖像進(jìn)行編碼的關(guān)于塊類型的信息以及編碼的圖像數(shù)據(jù)，并且根據(jù)由所述關(guān)于塊類型的信息標(biāo)識的所述塊類型對編碼的圖像數(shù)據(jù)進(jìn)行解碼而生成重建的圖像。本公開的又一個方面提供了一種視頻編碼方法，該方法包括以下步驟配置用于使用可變尺寸宏塊對圖像進(jìn)行編碼的塊類型候選；使用各個塊類型候選對輸入的圖像進(jìn)行編碼；基于各個塊類型候選的編碼成本來確定塊類型；以及生成包含按照確定的塊類型編碼的圖像數(shù)據(jù)以及關(guān)于確定的塊類型的信息的比特流。所述塊類型可以包括與編碼單位和/或解碼單位相對應(yīng)的宏塊尺寸、最小子塊尺寸以及子塊模式組合中的一個或更多個。所述配置所述塊類型候選的步驟可以配置輸入的塊類型候選，或者根據(jù)輸入的圖像的特性確定并配置塊類型候選。當(dāng)所述塊類型成為宏塊尺寸或最小子塊尺寸時(shí)，可以根據(jù)輸入的圖像的長寬比來確定并配置所述塊類型候選。當(dāng)所述塊類型是子塊模式組合時(shí)，可以根據(jù)幀內(nèi)預(yù)測或幀間預(yù)測來差異地配置所述塊類型候選。所述生成所述比特流的步驟將關(guān)于確定的塊類型的信息包含在所述比特流中一次或包含在輸入的圖像的每一圖片中?？梢曰谳斎氲膱D像的分辨率或圖像特性而可變地選擇宏塊尺寸，可以基于宏塊尺寸可變地選擇最小子塊尺寸，并且可以基于宏塊尺寸和最小子塊尺寸可變地選擇宏塊內(nèi)的子塊模式組合?？梢砸孕蛄?、圖片、切片或宏塊為單位向視頻解碼裝置發(fā)送宏塊尺寸。可以設(shè)置參考宏塊尺寸，并且對每個輸入的圖像的各個圖片、切片或宏塊頭部，可以將指示是否使用所述參考宏塊尺寸的標(biāo)記編碼并發(fā)送到視頻解碼裝置。當(dāng)所述標(biāo)記指示不使用所述參考宏塊尺寸時(shí)，可以將選擇的宏塊尺寸編碼。
當(dāng)所述標(biāo)記指示使用所述參考宏塊尺寸時(shí)，可以選擇具有與所述參考宏塊尺寸相等的尺寸的塊作為當(dāng)前宏塊。當(dāng)所述標(biāo)記指示不使用所述參考宏塊尺寸時(shí)，可以選擇具有相對于所述參考宏塊尺寸按照預(yù)定例放大或縮小的尺寸的塊作為當(dāng)前宏塊。在將選擇的宏塊尺寸編碼之后，可以將指示是否從下一個圖片開始使用前一圖片的宏塊尺寸的標(biāo)記編碼并且在不使用所述前一圖片的所述宏塊尺寸的情況下將當(dāng)前圖片的宏塊尺寸編碼。在序列頭部中，按照使幀內(nèi)圖片的宏塊尺寸與幀間圖片的宏塊尺寸不同的方式，可以將幀內(nèi)圖片的宏塊尺寸與幀間圖片的宏塊尺寸編碼?？梢允÷詫χ甘臼欠癜l(fā)送最小子塊尺寸的信息的標(biāo)記的編碼，并且可以在各個序 列、圖片、切片或宏塊頭部中將所述最小子塊尺寸發(fā)送到視頻解碼裝置。可以設(shè)置參考最小子塊尺寸，并且對各個圖片、切片或宏塊頭部，可以將指示是否使用所述參考最小子塊尺寸的標(biāo)記編碼?？梢栽O(shè)置參考最小子塊尺寸，并且對各個圖片、切片或最小子塊頭部，可以將指示是否使用所述參考最小子塊尺寸的標(biāo)記編碼。當(dāng)所述標(biāo)記指示使用所述所述參考最小子塊尺寸時(shí)，選擇具有與所述參考最小子塊尺寸相等的尺寸的塊作為當(dāng)前最小子塊。當(dāng)所述標(biāo)記指示不使用所述參考最小子塊尺寸時(shí)，可以選擇具有相對于所述參考最小子塊尺寸按照預(yù)定比例放大或縮小的尺寸的塊作為當(dāng)前最小子塊。在將選擇的最小子塊尺寸編碼之后，可以將指示是否從下一圖片開始使用前一圖片的最小子塊尺寸的標(biāo)記編碼并且在不使用所述前一圖片的所述最小子塊尺寸的情況下將當(dāng)前圖片的最小子塊尺寸編碼。在序列頭部中，按照使幀內(nèi)圖片的最小子塊尺寸與幀間圖片的最小子塊尺寸不同的方式，對幀內(nèi)圖片的最小子塊尺寸和幀間圖片的最小子塊尺寸進(jìn)行編碼。將指示是否發(fā)送用于預(yù)測或變換的可用子塊模式的信息的標(biāo)記包含在序列頭部或各個圖片的頭部中。本公開的又一個方面提供了一種解碼方法，該方法包括以下步驟從比特流中提取用于使用可變尺寸宏塊對圖像進(jìn)行編碼的關(guān)于塊類型的信息以及編碼的圖像數(shù)據(jù)；以及根據(jù)使用所述關(guān)于塊類型的信息標(biāo)識的所述塊類型對編碼的圖像數(shù)據(jù)進(jìn)行解碼而生成重建的圖像。所述塊類型可以包括與編碼單位和/或解碼單位相對應(yīng)的宏塊尺寸、最小子塊尺寸以及子塊模式組合中的一個或更多個。所述提取步驟可以從所述比特流中提取關(guān)于確定的塊類型的信息一次或從輸入的圖像的每一個圖片中提取關(guān)于確定的塊類型的信息。當(dāng)所述比特流中包含指示是否發(fā)送宏塊尺寸的信息的標(biāo)記時(shí)，可以在序列頭部、各圖片的頭部或切片頭部的安排的位置中將指示是否發(fā)送所述宏塊尺寸的信息的所述標(biāo)記解碼?？梢栽O(shè)置與編碼器一致的參考宏塊尺寸，并且可以從各圖片、切片或者宏塊頭部中解碼出指示是否使用所述參考宏塊尺寸的標(biāo)記。
在從所述比特流中提取出指示是否使用參考宏塊尺寸的標(biāo)記和/或指示相對于所述參考宏塊尺寸按照預(yù)定比例進(jìn)行放大或縮小的額外信息之后，通過使用提取的標(biāo)記和/或提取的額外信息，可以確定當(dāng)前宏塊尺寸。另外，在將宏塊尺寸信息解碼之后，通過使用解碼的宏塊尺寸信息，可以獲得第一個圖片的解碼所需要的宏塊尺寸。通過從所述比特流內(nèi)與編碼器一致的位置分別提取出幀內(nèi)圖片的宏塊尺寸和幀間圖片的宏塊尺寸，可以設(shè)置與圖片類型相對應(yīng)的宏塊尺寸。當(dāng)所述比特流中包含指示是否發(fā)送最小子塊尺寸的信息的標(biāo)記時(shí)，可以在序列頭部、各圖片的頭部或切片頭部的安排的位置中將指示是否發(fā)送關(guān)于所述最小子塊尺寸的信息的所述標(biāo)記解碼?？梢詫⑴c編碼器一致的尺寸設(shè)置為參考最小子塊尺寸，并且可以從各圖片、切片 或最小子塊頭部中將指示是否使用所述參考最小子塊尺寸的標(biāo)記解碼。在從所述比特流中提取出指示是否使用參考最小子塊尺寸的標(biāo)記和/或指示相對于所述參考最小子塊尺寸按照預(yù)定比例進(jìn)行放大或縮小的額外信息之后，可以使用所述信息來提取當(dāng)前最小子塊尺寸。在第一圖片中，當(dāng)沒有使用指示是否使用參考最小子塊尺寸的標(biāo)記和所述參考最小子塊尺寸時(shí)，可以將最小子塊尺寸信息解碼，并可以接著使用解碼的最小子塊尺寸信息來獲得第一圖片解碼所需要的最小子塊尺寸。另外，通過從所述比特流內(nèi)的與編碼器一致的位置中分別提取幀內(nèi)圖片的最小子塊尺寸和幀間圖片的最小子塊尺寸，可以設(shè)置與圖片類型相對應(yīng)的最小子塊尺寸。此外，可以在序列頭部或各圖片的頭部中將指示是否選擇并且使用用于預(yù)測或變換的子塊的組合的標(biāo)記解碼，并且當(dāng)解碼的標(biāo)記的值指示不選擇和使用所述子塊組合時(shí)，可以在預(yù)測或變換時(shí)使用與編碼器一致的基本子塊組合模式。有益效果根據(jù)如上所述的本發(fā)明，確定與圖像特性匹配的塊類型使得能夠?qū)崿F(xiàn)諸如大塊尺寸和宏塊尺寸、最小子塊尺寸、可用的可劃分的塊類型、宏塊內(nèi)的預(yù)測模式類型等多種模式的組合以獲得高分辨率圖像的更加有效的編碼和解碼。


圖I到圖3是用于例示根據(jù)本發(fā)明的優(yōu)選實(shí)施方式的以MXN個像素為單位的宏塊的示例性圖；圖4和圖5是例示根據(jù)本發(fā)明的優(yōu)選實(shí)施方式的各種子塊模式的示例性圖；圖6是例示根據(jù)本發(fā)明優(yōu)選實(shí)施方式的視頻編碼裝置的示意性框圖；圖7是例示根據(jù)本發(fā)明優(yōu)選實(shí)施方式的視頻解碼裝置的示意性框圖；圖8是例示根據(jù)本發(fā)明優(yōu)選實(shí)施方式的視頻編碼裝置的第一種實(shí)現(xiàn)的框圖；圖9是例示根據(jù)本發(fā)明優(yōu)選實(shí)施方式的視頻編碼方法的第一種實(shí)現(xiàn)的流程圖；圖10是例示根據(jù)本發(fā)明優(yōu)選實(shí)施方式的視頻編碼裝置的第二種實(shí)現(xiàn)的框圖；圖11和圖12是例示取決于最小子塊尺寸的宏塊的子塊模式的示例性圖；圖13是例示根據(jù)本發(fā)明的優(yōu)選實(shí)施方式的視頻編碼方法的第二種實(shí)現(xiàn)的流程圖；圖14是例示根據(jù)本發(fā)明的優(yōu)選實(shí)施方式的視頻編碼裝置的第三種實(shí)現(xiàn)的框圖；圖15和圖16是子塊模式的組合的示例性圖；圖17是例示根據(jù)本發(fā)明的優(yōu)選實(shí)施方式的視頻編碼方法的第三種實(shí)現(xiàn)的流程圖；圖18是例示根據(jù)又一個實(shí)施方式的視頻編碼裝置的示例的流程圖；圖19是例示根據(jù)又一個實(shí)施方式的視頻編碼方法的示例的流程圖；
圖20和圖21是例示根據(jù)本發(fā)明的優(yōu)選實(shí)施方式的幀內(nèi)圖片的編碼方法的流程圖；圖22和圖23是例示根據(jù)本發(fā)明的優(yōu)選實(shí)施方式的幀間圖片的編碼方法的流程圖；圖24是例示根據(jù)本發(fā)明的優(yōu)選實(shí)施方式的視頻解碼裝置的第一種實(shí)現(xiàn)的框圖；圖25是例示根據(jù)本發(fā)明的優(yōu)選實(shí)施方式的視頻解碼裝置的第二種實(shí)現(xiàn)的框圖；以及圖26是例示根據(jù)本發(fā)明的優(yōu)選實(shí)施方式的視頻解碼裝置的第三種實(shí)現(xiàn)的框圖。
具體實(shí)施例方式在下文中，將參考附圖詳細(xì)地描述本發(fā)明的各個方面。在下述描述中，相同的組件將由相同的附圖標(biāo)記標(biāo)明，盡管它們在不同的附圖中示出。此外，在本發(fā)明的下述描述中，如果對本文中包含的已知功能和配置的詳細(xì)描述使得本發(fā)明的主題變得不清楚，則將略去對這些已知功能和配置的詳細(xì)描述。另外，在描述本發(fā)明的部件時(shí)，可以使用如第一、第二、A、B、(a)和(b)的術(shù)語。這些術(shù)語只是出于將這些部件相互區(qū)分開來的目的，而不是暗示或建議這些部件的本質(zhì)、次序或順序。如果將一部件描述為‘連接’到另一部件，則可能意味著這些部件不僅直接‘相連’，而且還經(jīng)由第三部件間接地‘相連’。將在下述描述中討論的視頻編碼裝置和視頻解碼裝置可以是個人計(jì)算機(jī)(PC)、筆記本計(jì)算機(jī)、個人數(shù)字助理(PDA)、便攜式多媒體播放器(PMP )、掌上游戲機(jī)(PSP )以及移動通信終端，并且可以是指包括用于執(zhí)行與各種設(shè)備或有線/無線的通信網(wǎng)絡(luò)的通信的諸如通信調(diào)制解調(diào)器的通信裝置、用于存儲對視頻進(jìn)行編碼和解碼的各種程序和數(shù)據(jù)的存儲器以及用于執(zhí)行程序以進(jìn)行操作和控制的微處理器的各種裝置。此外，被視頻編碼裝置編碼為比特流的視頻通過有線/無線的通信網(wǎng)絡(luò)(諸如因特網(wǎng)、近場通信網(wǎng)、無線LAN (局域網(wǎng))、WiBiO (無線寬帶)網(wǎng)以及移動通信網(wǎng))或者通過通信接口(諸如電纜或通用串行總線(USB))實(shí)時(shí)或非實(shí)時(shí)地發(fā)送到視頻解碼裝置并在視頻解碼裝置中被解碼，被如此解碼的視頻可以重建并再現(xiàn)為視頻。通常，視頻包括一系列圖片并且每個圖片都被劃分為如宏塊的預(yù)定區(qū)域，這些區(qū)域是對圖像進(jìn)行編碼和解碼的參考單位。根據(jù)宏塊解碼方法，可以將宏塊分類為幀內(nèi)宏塊和幀間宏塊。幀內(nèi)宏塊是指使用幀內(nèi)預(yù)測編碼進(jìn)行編碼的宏塊。幀內(nèi)預(yù)測編碼與以下方案相對應(yīng)通過使用當(dāng)前被執(zhí)行編碼的當(dāng)前圖片內(nèi)的之前編碼和解碼的重建塊的像素來預(yù)測當(dāng)前塊像素而生成預(yù)測塊，并且將生成的預(yù)測塊與當(dāng)前塊像素之間的差值編碼。幀間宏塊是指使用幀間預(yù)測編碼進(jìn)行編碼的宏塊。幀間預(yù)測編碼與以下方案相對應(yīng)通過參考一個或更多個過去圖片或?qū)韴D片來預(yù)測當(dāng)前圖片內(nèi)的當(dāng)前塊而生成預(yù)測塊，并且將生成的預(yù)測塊與當(dāng)前塊之間的差值編碼。這里，在對當(dāng)前圖片進(jìn)行編碼或解碼時(shí)參照的圖片被稱為參考圖片。在下文中，采用例示的方式描述通過以宏塊為單位使用固定尺寸的宏塊對視頻進(jìn)行編碼和解碼的裝置。這里，宏塊是指尺寸為MXN的像素塊(然而，M和N是整數(shù)，其中M是宏塊的橫向尺寸而N是宏塊的縱向尺寸，因而0〈M〈輸入圖像的橫向尺寸并且0〈N〈輸入圖像的縱向尺寸)，并且與編碼和解碼的單位相對應(yīng)。然而，以宏塊為單位對視頻進(jìn)行編碼和解碼只是示例，并且可以以限定的區(qū)域或未限定的區(qū)域?yàn)閱挝?，而不是宏塊的形式，對視頻進(jìn)行編碼和解碼。然而，將在下述描述中討論的編碼/解碼裝置可以使用具有一定尺寸的宏塊，但是編碼器和解碼器使用在編碼器和解碼器之間約定的宏塊尺寸、可用子塊類型和模式以及最小子塊尺寸對圖像進(jìn)行編碼/解碼。圖I到圖3是示出根據(jù)本發(fā)明優(yōu)選實(shí)施方式的以MXN個像素為單位的宏塊的示 例圖。圖I示出了在具有某一尺寸的輸入圖像的一部分中表示的以MXN個像素為單位的宏塊(在下文中，稱為MXN尺寸的宏塊)作為示例。圖2示出了包括396個16X16尺寸的宏塊的CIF圖像作為示例，并且圖3示出了包括54個64X32尺寸的宏塊的CIF圖像作為示例。在常規(guī)的視頻壓縮技術(shù)中，圖像被劃分為16X 16的固定尺寸的宏塊，然后被編碼和解碼，如圖2所示。然而，在本發(fā)明的實(shí)施方式中，可以使用64X32尺寸的宏塊(不僅可使用64X32尺寸的宏塊，而且可使用諸如64X64及32X64的MXN尺寸(大于16 X 16尺寸))對圖像進(jìn)行編碼和解碼，如圖3所示。圖4和圖5是例示根據(jù)本發(fā)明的優(yōu)選實(shí)施方式的各種子塊的示例性圖，圖4示出了可用于32 X 32尺寸的宏塊的子塊模式，并且圖5示出了可用于32 X 16尺寸的宏塊的子塊模式。根據(jù)本發(fā)明的優(yōu)選實(shí)施方式，可以將MXN尺寸的宏塊劃分成更小的塊，也就是子塊，如圖5所示。圖像的宏塊可以按照宏塊、子塊或指定的預(yù)測為單位被幀內(nèi)預(yù)測編碼或幀間預(yù)測編碼。圖6是例示根據(jù)本發(fā)明的優(yōu)選實(shí)施方式的視頻編碼裝置的示意性框圖。根據(jù)本發(fā)明的視頻編碼裝置與使用16X 16尺寸或更大的宏塊對圖像進(jìn)行編碼和解碼的裝置相對應(yīng)，并且可以包括預(yù)測器610、編碼器620、重建器630、篩選器640以及幀存儲器650。這里，根據(jù)實(shí)現(xiàn)方式，重建器630、篩選器640以及幀存儲器650可以省略或者選擇性地包含在另一個組件中。預(yù)測器610可以包括運(yùn)動估計(jì)器612、運(yùn)動補(bǔ)償器614以及幀內(nèi)預(yù)測器616，并且通過將宏塊劃分為更小的宏塊然后對劃分出的宏塊進(jìn)行幀內(nèi)預(yù)測或幀間預(yù)測來預(yù)測輸入圖像的宏塊。根據(jù)常規(guī)技術(shù)，在對一個宏塊內(nèi)的子塊進(jìn)行幀內(nèi)編碼時(shí)不能同時(shí)使用幀內(nèi)預(yù)測和幀間預(yù)測。然而，根據(jù)本發(fā)明的優(yōu)選實(shí)施方式，可以在對一個宏塊內(nèi)的子塊進(jìn)行幀內(nèi)編碼時(shí)可以同時(shí)使用幀內(nèi)預(yù)測和幀間預(yù)測。通過將期望編碼的塊與存儲在幀存儲器650中的參考圖片進(jìn)行比較并且估計(jì)相應(yīng)塊的運(yùn)動，運(yùn)動估計(jì)器612生成運(yùn)動向量。運(yùn)動補(bǔ)償器614參考由運(yùn)動估計(jì)器612生成的運(yùn)動向量，從存儲在幀存儲器650中的參考圖片中取回與期望編碼的塊的尺寸相對應(yīng)的塊。被運(yùn)動補(bǔ)償器614取回的塊變成為預(yù)測塊，該預(yù)測塊具有期望編碼的塊的預(yù)測值。幀內(nèi)預(yù)測器616對期望編碼的塊進(jìn)行幀內(nèi)預(yù)測。針對幀內(nèi)預(yù)測，幀內(nèi)預(yù)測器616利用已編碼并解碼的重建的相鄰像素信息來生成參考塊，并且將參考塊與要編碼的目標(biāo)塊進(jìn)行比較，以確定幀內(nèi)預(yù)測模式。然后，根據(jù)確定的幀內(nèi)預(yù)測模式，幀內(nèi)預(yù)測器606對塊進(jìn)行幀內(nèi)預(yù)測。被幀內(nèi)預(yù)測器616預(yù)測的塊變?yōu)榫哂心繕?biāo)塊的預(yù)測值的預(yù)測塊。在幀內(nèi)預(yù)測中可用的子塊尺寸與(M/y)X(N/y)相對應(yīng)，并且y是大于O且小于min{log2(M/4)，log2(N/4)}的整數(shù)。例如，在64X32尺寸的宏塊的情況下，可用于幀內(nèi)預(yù)測的子塊尺寸包括尺寸64X32、32X16、16X8和8X4。在32X32尺寸的宏塊的情況下，可用于幀內(nèi)預(yù)測的子塊尺寸包括尺寸32X 32、16X16、8X8和4X4。又例如，僅可以使用正方 形的塊。在宏塊的尺寸為64X32的情況下，可用的子塊尺寸包括尺寸32X32、16X16、8X8和 4X4。這里，針對16X16尺寸或更大的塊(但是，塊可以具有其它指定的尺寸而不是16X16的尺寸)，從與H. 264/AVC的四種幀內(nèi)預(yù)測模式等同或相似的預(yù)測模式中選擇出具有最佳編碼效率的預(yù)測模式，并且將選擇的幀內(nèi)預(yù)測模式編碼。此外，針對尺寸小于16X16的塊，從與H. 264/AVC的九種幀內(nèi)預(yù)測模式等同或相似的預(yù)測模式中選擇出具有最佳編碼效率的預(yù)測模式，并且將選擇的幀內(nèi)預(yù)測模式編碼。在此情況下，根據(jù)宏塊的類型和尺寸，可用的變換類型可以是不同的。當(dāng)宏塊是幀內(nèi)宏塊時(shí)，使用16X16或更大尺寸的幀內(nèi)預(yù)測的塊能夠使用具有與預(yù)測塊相等尺寸的變換以及針對殘余塊執(zhí)行4X4變換并且對DC成分再次執(zhí)行4X4變換的變換，并且通過比特流發(fā)送關(guān)于選擇的變換類型的信息。此外，針對使用具有小于16X16尺寸的幀內(nèi)預(yù)測的塊，使用具有與預(yù)測塊的尺寸相等的尺寸的變換。當(dāng)宏塊是幀間宏塊時(shí)，16 X 16或更大尺寸的塊使用4X 4變換、8 X 8變換或者16 X 16變換，并且通過使用I個比特或2個比特來通過變換標(biāo)記發(fā)送選擇的變換類型。在其它情況下，以16X16尺寸的塊為單位發(fā)送變換標(biāo)記并且該16X 16尺寸的塊內(nèi)的子塊全部使用相同的變換。如果將16X 16尺寸的塊劃分為兩個8X16尺寸的塊，則從4X4變換、8X8變換以及8X16變換中選出具有最小編碼成本的變換。如果將16X 16尺寸的塊劃分為兩個16X8尺寸的塊，則使用4X4變換、8X8變換以及8X16變換并且選擇具有最小編碼成本的變換。此外，通過使用I比特或2比特，通過變換標(biāo)記來發(fā)送選擇的變換類型。只有當(dāng)把16X 16尺寸的塊劃分為4個8X8的塊時(shí)，才可以使用4X4變換或8X8變換，并且通過變換標(biāo)記發(fā)送選擇的變換類型。在其它情況下，不發(fā)送變換標(biāo)記。編碼器620將殘余的信號編碼，該殘余信號是要編碼的目標(biāo)宏塊與預(yù)測宏塊的像素值之間的差。具體而言，編碼器620通過變換、量化和熵編碼將殘余信號編碼。此外，當(dāng)編碼器620對要編碼的目標(biāo)宏塊進(jìn)行幀間預(yù)測時(shí)，編碼器620能夠?qū)\(yùn)動信息(如由運(yùn)動估計(jì)器612生成的運(yùn)動向量)和宏塊模式信息(如宏塊尺寸)進(jìn)行編碼。當(dāng)編碼器620對要編碼的目標(biāo)宏塊進(jìn)行幀內(nèi)預(yù)測時(shí)，編碼器620能夠?qū)︻A(yù)測模式信息(如幀內(nèi)預(yù)測模式)和宏塊模式信息(如宏塊尺寸)進(jìn)行編碼。編碼器620的編碼方法包括各種可變尺寸的編碼方法，諸如CAVLC、CABAC等。此外，作為關(guān)于執(zhí)行的編碼方法的信息，可以將編碼器與解碼器之間約定的標(biāo)記或表的索引值包含在比特流的頭部中并使用比特流的頭部發(fā)送。重建器630對經(jīng)變換和量化的殘余信號進(jìn)行逆量化和逆變換，并且將殘余信號和從預(yù)測器610輸出的預(yù)測宏塊相加以重建目標(biāo)宏塊。篩選器640使用例如解塊篩選器的篩選器對重建的目標(biāo)宏塊進(jìn)行篩選。篩選后的重建宏塊存儲在巾貞存儲器650中并用于在預(yù)測器610中對下一個宏塊或下一個圖片的宏塊進(jìn)行幀間預(yù)測。
在下文中，參考圖20和圖21描述將通過比特流發(fā)送的幀內(nèi)圖片和數(shù)據(jù)的編碼方法?？梢詢H使用幀內(nèi)預(yù)測對幀內(nèi)圖片進(jìn)行編碼，并且對宏塊類型和幀內(nèi)預(yù)測模式進(jìn)行編碼的順序如圖20和圖21所不。然而，圖20和圖21的句法的名稱和編碼順序僅是不例，并且可以使用與圖20和圖21的名稱和編碼順序不同的名稱和編碼順序。 在圖20和圖21中，針對16X16或更大尺寸的塊，使用表I來編碼MXN_Block_type ο四種巾貞內(nèi)預(yù)測模式可以用于16X 16或更大尺寸的塊，并且使用由use_large_transform_flag指示的變換對殘余塊進(jìn)行變換。[表 I]
權(quán)利要求
1.一種視頻編碼/解碼裝置，該裝置包括 視頻編碼器，其配置用于使用可變尺寸宏塊對圖像進(jìn)行編碼的塊類型候選，使用各個塊類型候選對輸入的圖像進(jìn)行編碼，基于各個塊類型候選的編碼成本來確定塊類型，并且生成包含按照確定的塊類型編碼的圖像數(shù)據(jù)以及關(guān)于確定的塊類型的信息的比特流；以及 視頻解碼器，其從所述比特流中提取用于使用可變尺寸宏塊對所述圖像進(jìn)行編碼的關(guān)于塊類型的信息以及編碼的圖像數(shù)據(jù)，并且根據(jù)由所述關(guān)于塊類型的信息標(biāo)識的塊類型對編碼的圖像數(shù)據(jù)進(jìn)行解碼而生成重建的圖像。
2.一種視頻編碼裝置，所述裝置包括 候選塊類型配置單元，其配置用于使用可變尺寸宏塊對圖像進(jìn)行編碼的塊類型候選； 視頻編碼器，其使用各個塊類型候選對輸入的圖像進(jìn)行編碼；以及 塊類型確定器，其基于所述塊類型候選的編碼成本來確定塊類型，并且生成包含按照確定的塊類型編碼的圖像數(shù)據(jù)和關(guān)于確定的塊類型的信息的比特流。
3.一種視頻解碼裝置，該裝置包括 視頻解碼器，其從比特流中提取用于使用可變尺寸宏塊對圖像進(jìn)行編碼的關(guān)于塊類型的信息以及編碼的圖像數(shù)據(jù)，并且根據(jù)由所述關(guān)于塊類型的信息標(biāo)識的塊類型對編碼的圖像數(shù)據(jù)進(jìn)行解碼而生成重建的圖像。
4.一種視頻編碼/解碼方法，該方法包括以下步驟 設(shè)置用于使用可變尺寸宏塊對圖像進(jìn)行編碼的塊類型候選，針對各個塊類型候選對輸入的圖像進(jìn)行編碼，基于各個塊類型候選的編碼成本來確定塊類型，并且生成包含按照確定的塊類型編碼的圖像數(shù)據(jù)和關(guān)于確定的塊類型的信息的比特流；以及 從所述比特流中提取用于使用可變尺寸宏塊對所述圖像進(jìn)行編碼的關(guān)于塊類型的信息以及編碼的圖像數(shù)據(jù)，并且根據(jù)由所述關(guān)于塊類型的信息標(biāo)識的塊類型對編碼的圖像數(shù)據(jù)進(jìn)行解碼而生成重建的圖像。
5.一種視頻編碼方法，該方法包括以下步驟 配置用于使用可變尺寸宏塊對圖像進(jìn)行編碼的塊類型候選； 針對各個塊類型候選對輸入的圖像進(jìn)行編碼； 基于各個塊類型候選的編碼成本來確定塊類型；以及 生成包含按照確定的塊類型編碼的圖像數(shù)據(jù)和關(guān)于確定的塊類型的信息的比特流。
6.根據(jù)權(quán)利要求5所述的視頻編碼方法，其中所述塊類型包括與編碼單位和/或解碼單位相對應(yīng)的宏塊尺寸、最小子塊尺寸以及子塊模式組合中的一個或更多個。
7.根據(jù)權(quán)利要求5所述的視頻編碼方法，其中所述配置塊類型候選的步驟配置輸入的塊類型候選，或者根據(jù)輸入的圖像的特性來確定并配置塊類型候選。
8.根據(jù)權(quán)利要求5所述的視頻編碼方法，其中當(dāng)所述塊類型成為宏塊尺寸或最小子塊尺寸時(shí)，根據(jù)輸入的圖像的長寬比來確定并配置所述塊類型候選。
9.根據(jù)權(quán)利要求5所述的視頻編碼方法，其中當(dāng)所述塊類型是子塊模式組合時(shí)，根據(jù)幀內(nèi)預(yù)測或幀間預(yù)測來差異地配置所述塊類型候選。
10.根據(jù)權(quán)利要求5所述的視頻編碼方法，其中所述生成比特流的步驟將關(guān)于確定的塊類型的信息包含在所述比特流中一次或包含在輸入的圖像的每一個圖片中。
11.根據(jù)權(quán)利要求5所述的視頻編碼方法，其中基于輸入的圖像的分辨率或圖像特性可變地選擇宏塊尺寸。
12.根據(jù)權(quán)利要求5所述的視頻編碼方法，其中基于宏塊尺寸可變地選擇最小子塊尺寸。
13.根據(jù)權(quán)利要求5所述的視頻編碼方法，其中基于宏塊尺寸和最小子塊尺寸來選擇宏塊內(nèi)的子塊模式組合。
14.根據(jù)權(quán)利要求5所述的視頻編碼方法，其中以序列、圖片、切片或宏塊為單位向視頻解碼裝置發(fā)送宏塊尺寸。
15.根據(jù)權(quán)利要求5所述的視頻編碼方法，其中設(shè)置參考宏塊尺寸，并且對每個輸入的圖像的各個圖片、切片或宏塊頭部，將指示是否使用所述參考宏塊尺寸的標(biāo)記編碼并將其發(fā)送到視頻解碼裝置。
16.根據(jù)權(quán)利要求15所述的視頻編碼方法，其中當(dāng)所述標(biāo)記指示不使用所述參考宏塊尺寸時(shí)，將選擇的宏塊尺寸編碼。
17.根據(jù)權(quán)利要求15所述的視頻編碼方法，其中當(dāng)所述標(biāo)記指示使用所述參考宏塊尺寸時(shí)，選擇具有與所述參考宏塊尺寸相等的尺寸的塊作為當(dāng)前宏塊。
18.根據(jù)權(quán)利要求15所述的視頻編碼方法，其中當(dāng)所述標(biāo)記指示不使用所述參考宏塊尺寸時(shí)，選擇具有相對于所述參考宏塊尺寸按照預(yù)定比例放大或縮小的尺寸的塊作為當(dāng)前宏塊。
19.根據(jù)權(quán)利要求5所述的視頻編碼方法，該方法還包括以下步驟 在將選擇的宏塊尺寸編碼之后，將指示是否從下一個圖片開始使用前一圖片的宏塊尺寸的標(biāo)記編碼并且在不使用所述前一圖片的所述宏塊尺寸的情況下將當(dāng)前圖片的宏塊尺寸編碼。
20.根據(jù)權(quán)利要求5所述的視頻編碼方法，其中在序列頭部中，按照使幀內(nèi)圖片的宏塊尺寸與幀間圖片的宏塊尺寸不同的方式，對幀內(nèi)圖片的宏塊尺寸和幀間圖片的宏塊尺寸進(jìn)行編碼。
21.根據(jù)權(quán)利要求5所述的視頻編碼方法，其中省略了對指示是否發(fā)送關(guān)于最小子塊尺寸的信息的標(biāo)記的編碼，并且在各個序列、圖片、切片或宏塊頭部中將所述最小子塊尺寸發(fā)送到視頻解碼裝置。
22.根據(jù)權(quán)利要求5所述的視頻編碼方法，其中設(shè)置參考最小子塊尺寸，并且對各個圖片、切片或宏塊頭部，將指示是否使用所述參考最小子塊尺寸的標(biāo)記編碼。
23.根據(jù)權(quán)利要求5所述的視頻編碼方法，其中設(shè)置參考最小子塊尺寸，并且對各個圖片、切片或最小子塊頭部，將指示是否使用所述參考最小子塊尺寸的標(biāo)記編碼。
24.根據(jù)權(quán)利要求23所述的視頻編碼方法，其中當(dāng)所述標(biāo)記指示使用所述參考最小子塊尺寸時(shí)，選擇具有與所述參考最小子塊尺寸相等的尺寸的塊作為當(dāng)前最小子塊。
25.根據(jù)權(quán)利要求23所述的視頻編碼方法，其中當(dāng)所述標(biāo)記指示不使用所述參考最小子塊尺寸時(shí)，選擇具有相對于所述參考最小子塊尺寸按照預(yù)定比例放大或縮小的尺寸的塊作為當(dāng)前最小子塊。
26.根據(jù)權(quán)利要求5所述的視頻編碼方法，該方法還包括以下步驟 在將選擇的最小子塊尺寸編碼之后，將指示是否從下一圖片開始使用前一圖片的最小子塊尺寸的標(biāo)記編碼并且在不使用所述前一圖片的所述最小子塊尺寸的情況下將當(dāng)前圖片的最小子塊尺寸編碼。
27.根據(jù)權(quán)利要求5所述的視頻編碼方法，其中在序列頭部中，按照使幀內(nèi)圖片的最小子塊尺寸與幀間圖片的最小子塊尺寸不同的方式，對幀內(nèi)圖片的最小子塊尺寸和幀間圖片的最小子塊尺寸進(jìn)行編碼。
28.根據(jù)權(quán)利要求5所述的視頻編碼方法，其中將指示是否發(fā)送用于預(yù)測或變換的可用子塊模式的信息的標(biāo)記包含在序列頭部或各圖片的頭部中。
29.一種視頻解碼方法，該方法包括以下步驟 從比特流中提取用于使用可變尺寸宏塊對圖像進(jìn)行編碼的關(guān)于塊類型的信息和編碼的圖像數(shù)據(jù)；以及 根據(jù)由所述關(guān)于塊類型的信息標(biāo)識的塊類型對編碼的圖像數(shù)據(jù)進(jìn)行解碼而生成重建的圖像。
30.根據(jù)權(quán)利要求29所述的視頻解碼方法，其中所述塊類型包括與編碼單位和/或解碼單位相對應(yīng)的宏塊尺寸、最小子塊尺寸以及子塊模式組合中的一個或更多個。
31.根據(jù)權(quán)利要求29所述的視頻解碼方法，其中所述提取步驟從所述比特流中提取關(guān)于確定的塊類型的信息一次或從輸入的圖像的每一個圖片中提取關(guān)于確定的塊類型的信肩、O
32.根據(jù)權(quán)利要求29所述的視頻解碼方法，其中當(dāng)所述比特流中包含指示是否發(fā)送關(guān)于宏塊尺寸的信息的標(biāo)記時(shí)，在序列頭部、各圖片的頭部或切片頭部的安排的位置中將指示是否發(fā)送所述關(guān)于宏塊尺寸的信息的所述標(biāo)記解碼。
33.根據(jù)權(quán)利要求29所述的視頻解碼方法，其中設(shè)置了與編碼器一致的參考宏塊尺寸，并且從各圖片、切片或宏塊頭部中解碼出指示是否使用所述參考宏塊尺寸的標(biāo)記。
34.根據(jù)權(quán)利要求29所述的視頻解碼方法，其中在從所述比特流中提取出指示是否使用參考宏塊尺寸的標(biāo)記和/或指示相對于所述參考宏塊尺寸按照預(yù)定比例進(jìn)行放大或縮小的額外信息之后，通過使用提取出的標(biāo)記和/或提取出的額外信息來確定當(dāng)前宏塊尺寸。
35.根據(jù)權(quán)利要求29所述的視頻解碼方法，其中在將宏塊尺寸信息解碼之后，通過使用解碼的宏塊尺寸信息獲得第一圖片的解碼所需要的宏塊尺寸。
36.根據(jù)權(quán)利要求29所述的視頻解碼方法，其中通過從所述比特流內(nèi)的與編碼器一致的位置中分別提取出幀內(nèi)圖片的宏塊尺寸和幀間圖片的宏塊尺寸，設(shè)置與圖片類型相對應(yīng)的宏塊尺寸。
37.根據(jù)權(quán)利要求29所述的視頻解碼方法，其中當(dāng)所述比特流中包含指示是否發(fā)送關(guān)于最小子塊尺寸的信息的標(biāo)記時(shí)，在序列頭部、各圖片的頭部或切片頭部的安排的位置中將指示是否發(fā)送所述關(guān)于最小子塊尺寸的信息的所述標(biāo)記解碼。
38.根據(jù)權(quán)利要求29所述的視頻解碼方法，其中將與編碼器一致的尺寸設(shè)置為參考最小子塊尺寸，并且從各圖片、切片或最小子塊頭部中將指示是否使用所述參考最小子塊尺 的標(biāo)記解碼。
39.根據(jù)權(quán)利要求29所述的視頻解碼方法，其中在從所述比特流中提取出指示是否使用參考最小子塊尺寸的標(biāo)記和/或指示相對于所述參考最小子塊尺寸按照預(yù)定比例進(jìn)行放大或縮小的額外信息之后，使用所述信息來提取當(dāng)前最小子塊尺寸。
40.根據(jù)權(quán)利要求29所述的視頻解碼方法，其中在第一圖片中，當(dāng)沒有使用指示是否使用參考最小子塊尺寸的標(biāo)記和所述參考最小子塊尺寸時(shí)，將最小子塊尺寸信息解碼，然后通過使用解碼的最小子塊尺寸信息來獲得第一圖片的解碼所需要的最小子塊尺寸。
41.根據(jù)權(quán)利要求29所述的視頻解碼方法，其中通過從所述比特流內(nèi)的與編碼器一致的位置中分別提取出幀內(nèi)圖片的最小子塊尺寸和幀間圖片的最小子塊尺寸，設(shè)置與圖片類型相對應(yīng)的最小子塊尺寸。
42.根據(jù)權(quán)利要求29所述的視頻解碼方法，其中在序列頭部或各圖片的頭部中將指示是否選擇并使用用于預(yù)測或變換的子塊組合的標(biāo)記解碼，并且當(dāng)解碼的標(biāo)記的值指示不選擇和使用所述子塊組合時(shí)，在預(yù)測或變換時(shí)使用與編碼器一致的基本子塊組合模式。
全文摘要
本發(fā)明涉及一種利用可變尺寸宏塊對圖像進(jìn)行編碼/解碼的方法和裝置。根據(jù)本發(fā)明實(shí)施方式的圖像編碼裝置包括候選塊類型配置器，其設(shè)置用于對圖像進(jìn)行編碼的塊類型候選；圖像編碼器，其使用塊類型候選對輸入圖像進(jìn)行編碼；以及塊類型確定器，其基于各塊類型候選的編碼成本來確定塊類型，并且生成包含按照確定的塊類型編碼的圖像數(shù)據(jù)以及關(guān)于確定的塊類型的信息的比特流。根據(jù)本發(fā)明的實(shí)施方式，通過根據(jù)圖像特性而確定塊類型，可以通過使用不同的模式組合來有效地對高分辨率圖像進(jìn)行編碼和解碼，這些模式諸如是大與宏塊尺寸模式、最小子塊尺寸模式、可用的分塊模式類型以及可用的宏塊預(yù)測模式類型。
文檔編號H04N7/32GK102907098SQ201080054730
公開日2013年1月30日 申請日期2010年10月1日 優(yōu)先權(quán)日2009年10月1日
發(fā)明者金守年, 全炳宇, 樸亨美, 樸旻瞮, 金東元, 金起佰, 李柱玉, 林晶娟, 文柱禧, 李英烈, 金海光 申請人:Sk電信有限公司