視頻數(shù)據(jù)管理的制作方法

文檔序號：7677878閱讀：284來源：國知局

專利名稱：視頻數(shù)據(jù)管理的制作方法
技術領域：
本發(fā)明總體上涉及視頻數(shù)據(jù)管理，并且更加具體地涉及視頻序列的編碼和解石馬。
背景技術：
像素或圖像元素預測是諸如H. 261、 H, 263、 MPEG-4和H. 264 [1] 之類的視頻編碼標準的重要部分。在H. 264中，采用了三種像素預測方法，即幀內(nèi)、幀間和雙向預測。幀內(nèi)預測根據(jù)當前幀的先前解碼像素提供當前塊的空間預測。幀間預測使用先前解碼幀中相應但發(fā)生過位移的塊給出當前塊的時間預測。
可以為幀間預測使用多個參考畫面，利用參考畫面索引來表明使用的是多個參考畫面中的哪一個。在P型幀間編碼中，僅使用單向預測，并且在列表0中管理允許的參考畫面。不過，在B型幀間編碼中，管理兩個參考畫面列表，列表0和列表1。在這樣的B型畫面中，允許使用列表0或列表1進行單向預測，或者使用來自列表0的參考畫面和來自列表1的另一個參考畫面的平均值進行雙向預測。
H. 264中的加權(quán)預測在切片頭部中提供針對各個雙向預測的加權(quán) 以及用于加權(quán)組合的D C偏移量。在幀間預觀'J中使用加權(quán)系數(shù)的通式為
P = ((w。承Po+w浐PO >〉 Shift) + DC (1)
其中P。和w。是列表0的初始預測符和加權(quán)系數(shù)，P!和w!是列表1 的初始預測符和加權(quán)系數(shù)。DC代表每一幀基礎上定義的偏移量，而 Shift是移位系數(shù)。在雙向預測的情況下，WfW產(chǎn)O. 5。
文獻[2]建議了混合幀內(nèi)、幀間、雙向編碼模式，這種模式允許幀內(nèi)和幀間預測組合在一起，來對宏塊進行混合編碼。在這種混合編碼中，使用選定幀內(nèi)和幀間預觀' 權(quán)組合，

發(fā)明內(nèi)容
中建議的混合編碼本質(zhì)上使用兩個輸入幀內(nèi)和幀間預測的和或者使用切片專用的加權(quán)。這樣，對用作幀間和/或幀內(nèi)預測的切片的所有宏塊中的所有像素應用相同的加權(quán)。這從圖像質(zhì)量的角度而言遠不是最佳的。
本發(fā)明克服了現(xiàn)有技術方案的這些和其它缺點。本發(fā)明的總體目的是提供一種高效的視頻幀編碼和解碼。本發(fā)明的另一個目的是提供一種牽涉到空間和/或時間預測的混合編碼和解碼。
由所附權(quán)利要求限定的本發(fā)明滿足了這些和其它目的。簡要地講，本發(fā)明涉及一種對視頻序列中的圖像元素組進行編碼和解碼的混合模式。該混合模式涉及使用圖像元素組的至少兩個預測和使用圖像元素專用加權(quán)系數(shù)值，其中加權(quán)系數(shù)值代表預測值的相對不確定性。
為當前組提供初始第一加權(quán)系數(shù)。由系數(shù)修改量(factor modifier) 4奮改這個初始笫一加權(quán)系數(shù)，以生成包括多個不同系數(shù)值的第一加權(quán)系數(shù)，其將用于修改第一預測的圖像元素值。該加權(quán)系數(shù)修改生成可以反映第一預測的圖像元素值中的相對不確定性的加權(quán)系數(shù)。在優(yōu)選實施方式中，這個第一預測是幀內(nèi)預測。在這種情況下，因此可以為當前圖像元素組中在空間上較為接近視頻幀中的幀內(nèi)預測的圖像元素部分分配與當前組中空間上較遠的圖像元素相比較高的加權(quán)系數(shù)。經(jīng)過修改的加權(quán)系數(shù)還可以具有為代表圖像元素組中的高對比度對象(比如線和邊緣)的圖像元素位置給予較高加權(quán)的加權(quán)系數(shù) 值。
還為混合^^式下的第二組預測提供相應的第二加權(quán)系數(shù)。在解碼中，將所生成的第一加權(quán)系數(shù)應用于第一預測并且將第二加權(quán)系數(shù)應用于第二組預測。然后根據(jù)這兩個加權(quán)預測計算出圖像元素組的解碼版本。
第二預測可以是幀內(nèi)預測、幀間預測或甚至構(gòu)成多個不同的幀內(nèi) 和/或幀間預測。
本混合處理因此提供了一種組合了不同預測路徑(比如空間和時間路徑或多個不同的空間路徑)的預測機制，以提高一見頻編碼效率。該
10混合模式還能夠?qū)崿F(xiàn)為幀內(nèi)預測刷新提供幀間預測，以提高誤差復原
(error resilience )。與現(xiàn)有的解決方案相比，幀內(nèi)加權(quán)系數(shù)的圖像元素或像素專用加權(quán)值從根本上提高了本發(fā)明的編碼/解碼質(zhì)量。

本發(fā)明連同它的其它目的和優(yōu)點可以通過連同附圖一起參考下面的描述得到最好的理解，其中
圖1是圖解說明按照本發(fā)明的對視頻序列幀的圖像元素組進行解碼的方法的流程圖2是更加詳細地圖解說明按照本發(fā)明的實施方式的圖1中解碼方法的第一預測提供步驟的流程圖3是更加詳細地圖解說明按照本發(fā)明的實施方式的圖1中解碼方法的第二預測提供步驟的流程圖4是圖解說明按照本發(fā)明的對視頻序列幀的圖像元素組進行編碼的方法的流程圖5是更加詳細地圖解說明按照本發(fā)明的實施方式的圖4中編碼方法的第一和第二預測估計步驟的流程圖6是圖解說明按照現(xiàn)有技術()的和按照本發(fā)明("x")的沒有強制幀內(nèi)預測的QCIF 15 Hz上的足球的RD曲線的圖7是圖解說明按照現(xiàn)有技術("*")的和按照本發(fā)明("x")的沒有強制幀內(nèi)預測的CIF 30 Hz上的足球的RD曲線的圖8是配備有按照本發(fā)明的媒體解碼器的用戶終端的示意性框圖9是按照本發(fā)明的解碼器的示意性框圖IO是按照本發(fā)明的另一種解碼器的示意性框圖11是按照本發(fā)明的編碼器的示意性框圖12是按照本發(fā)明的另一種編碼器的示意性框圖13是圖像幀的視頻序列的示意性表示；和
圖14是圖像幀的示意性表示。
具體實施例方式
在全部附圖中，將為相應或相似的要素使用相同的附圖標記。本發(fā)明總體上涉及對視頻序列中幀的圖像元素組進行編碼和解
ii碼。
在本發(fā)明中，視頻序列包括一個或多個(即至少兩個)幀或畫面。繼而又可以將這樣的幀看作是由一系列一個或多個切片構(gòu)成的，其中這樣的切片由圖像元素或像素的一個或多個宏塊組成。在本發(fā)明中，術語"圖像元素"用于表述視頻序列中幀或畫面的最小元素。這樣的圖
像元素具有相關的圖像元素屬性，比如顏色(在紅、綠、藍RGB空間中)或亮度(Y)和色度(Cr、 Cb或者有時表示為U、 V)。圖像元素的典型實例是幀或畫面的像素。
圖像元素被編組為圖像元素組。術語"圖像元素組"表示任何現(xiàn)有技術中已知的將幀和切片劃分為在解碼和編碼期間一起處置的圖像元素集合的劃分。一般來說，這樣組是矩形(MxN)或正方形(MxM) 的圖像元素組。在本領域中，這樣的分組在視頻壓縮標準中通常稱為宏塊。這樣的宏塊通常具有16 x 16圖像元素的大小。宏塊可以由多個所謂的子宏塊劃分組成，比如16x8, 8x16, 8x8, 8x4， 4x8和4 x4圖像元素。8 x 8子宏塊劃分通常稱為子宏塊或子塊。在本發(fā)明中，術語"圖像元素組"用于表述任何這樣的宏塊、子宏塊或劃分大小，或者視頻壓縮中使用的任何其它圖像元素分組，除非另有明確聲明。典型實例可以是，宏塊的亮度分量包括16 x 16個像素，這些像素排列為四個8 x 8塊的陣列，并且在水平和垂直方向上以二為系數(shù)對相關色度分量進行空間子采樣，以形成8x8塊。
圖1是圖解說明對編碼的視頻序列的幀中一組圖像元素進行解碼的方法的流程圖。這個圖像元素組之前是使用混合編碼方法編碼的，混合編碼方法涉及使用第一預測和至少一個其它預測的組合。在本發(fā) 明的優(yōu)選實施方式中，第一預測是幀內(nèi)預測，而第二預測是幀間預測，比如P (預測)型或B (雙向預測)型幀間預測。第二預測也可以是笫二幀內(nèi)預測。在下文中，主要結(jié)合混合編碼/解碼中使用兩個預測來進一步介紹本發(fā)明。不過，本發(fā)明并不局限于此，而是可以采用圖像元素組的三個或更多個預測。例如，混合才莫式可以z使用1個幀內(nèi)和1個幀間預測、N個幀內(nèi)預測、M個幀間預測、N個幀內(nèi)和1幀間預測、1 個幀內(nèi)和M個幀間預測或者M個幀內(nèi)和N個幀間預測，其中M、 N是大于一的正整數(shù)。
該方法開始于步驟Sl,其中為要解碼的一組圖像元素提供第一(幀
12內(nèi)或幀間，優(yōu)選地是幀內(nèi))預測。這個笫一預測優(yōu)選地是根據(jù)與圖像元素組相關的預測標識符或者模式標識符來提供的。如本領域中公知的，通常有多種幀內(nèi)模式，其能夠用于圖像元素組。例如，4x4塊可
以使用九種幀內(nèi)預測模式之一，其中這些模式之一是DC預測并且其它八種^^莫式定義了不同的空間預測來使用。相應地，16x16塊典型地具有四種幀內(nèi)預測模式，一種DC模式，三種模式定義了不同的預測方向。
因此，步驟Sl優(yōu)選地使用這樣的模式或類型標識符來提供第一(幀內(nèi))預測。如果模式標識符用信號通知使用一種預測方向的幀內(nèi)模式，則步驟S1涉及根據(jù)與當前圖像元素組相同幀的至少一個編碼圖像元素組的解碼版本提供幀內(nèi)預測。這個至少一個組優(yōu)選地是該幀中之前解碼的相鄰組。圖14示意性地圖解說明了這種情形。該附解說明了包含要解碼的圖像元素30的組20的幀10。該附圖還圖示出了四個已經(jīng)解碼的相鄰圖像元素組22、 24、 26、 28。步驟Sl的所述提供然后可以采用先前為這些相鄰組22、 24、 26、 28中的一個或多個計算出來的顏色或色度/亮度值來提供當前組20的幀內(nèi)預測。第一種這樣的模式可以^義僅使用單獨一個相鄰組的圖^象元素值，比如當前組20上方的組 26或左側(cè)的組22。而其它沖莫式使用來自幾個不同相鄰組22、 24、 26、 28的圖像元素值。
如果代之要在步驟S1中提供幀間預測，那么該預測優(yōu)選地是基于另一個幀(P型)或多個其它幀(B型)的組的圖像元素值產(chǎn)生的。在這種情況下，圖像元素組與幀索引和運動向量相關聯(lián)，幀索引能夠?qū)?現(xiàn)在視頻序列中識別這一其它幀，運動向量是位移向量，能夠?qū)崿F(xiàn)在其它幀中識別用于幀間預測的組。圖13圖解說明了這種情形。當前幀 10包括按照本發(fā)明來解碼的圖像元素組。另一個幀是比如在流1中的前幀12或后幀14。箭頭40代表運動向量，該運動向量能夠?qū)崿F(xiàn)在另一幀12中識別作為圖1的步驟S1中的幀間預測使用的圖像元素組25。
下一個步驟S2為當前的圖像元素組提供第二預測。如前文所提到的，這個預測可以是幀內(nèi)預測或幀間預測。步驟S2還可以涉及為圖傳_ 元素組提供多個其它預測。這個步驟S2 —般來說是以與上述類似的方式執(zhí)行的，取決于第二預測是幀內(nèi)還是幀間預測。
下一個步驟S3提供用于修改步驟Sl中提供的第一預測和步驟S2 中提供的第二預測的初始加權(quán)系數(shù)?？梢栽诓煌募毠?jié)程度來修改和
13傳送這些加權(quán)系數(shù)，例如每視頻序列、每幀、每切片、每宏塊或每子宏塊(劃分)使用一個加權(quán)系數(shù)對或集(在混合解碼中使用多于兩個預測的情況下)。一般來說，細節(jié)程度越精細，所得到的質(zhì)量越高。不過，這一較高的細節(jié)程度還意味著，以位數(shù)表示的幀的總大小將會增大。本發(fā)明優(yōu)選地使用組專用的加權(quán)對或加權(quán)集，即幀中的每個宏塊或子宏塊有一個這樣的對或集。不過，對于一般的視頻序列，并不是所有幀中的所有圖像元素組都必須按照本發(fā)明來編碼和解碼。而是，在典型情況下期望按照現(xiàn)有技術中的幀內(nèi)塊、幀間塊那樣來處理一些圖像元素組，包括幀間P塊和幀間B塊。因此，組專用加權(quán)的使用將不會造成幀大小的急劇增加。這樣，本發(fā)明的視頻序列包括至少一個具有按照本發(fā)明解碼和編碼的至少一個圖像元素組的幀。
步驟S 3中初始加權(quán)系數(shù)的提供包括提供初始第一加權(quán)系數(shù)和至少另一個加權(quán)系數(shù)。這兩個系數(shù)可以具有相同的系數(shù)值或者不同的系數(shù) 值。優(yōu)選地至少一個并且更加優(yōu)選地兩個加權(quán)系數(shù)都是非零值。一般來說，加權(quán)系數(shù)各自包括一個系數(shù)值，但是按照另外一種可選方案也可以包括多個系數(shù)值，例如，在向量或矩陣中組織所述多個系數(shù)值。在后一種情況下，當前組的每個圖像元素可以具有加權(quán)系數(shù)的相關系數(shù)值。
下一個步驟S4對步驟S3中提供的至少初始第一加權(quán)系數(shù)進行修改。這一修改是使用系數(shù)修改量來進行的，將該系數(shù)修改量施加(比如乘或加)到初始第一加權(quán)系數(shù)上。這樣會導致產(chǎn)生包括多個系數(shù)值的第一加權(quán)系數(shù)。第一加權(quán)系數(shù)優(yōu)選地對于組中的每個圖像元素包括一個系數(shù)值。這些系數(shù)值中的一個或多個可以是相同的，不過不是所有的值都一樣。這意味著，每個系數(shù)值與圖像元素組中圖像元素的位置相關。結(jié)果，將各個系數(shù)值施加給來自于步驟Sl中提供的第一預測的不同圖像元素預測，下面將對此進行進一步介紹。
在優(yōu)選實施方式中，所生成的系數(shù)值取決于圖像元素組中它們的相關相對圖像元素位置。這能夠?qū)崿F(xiàn)取決于在不同圖像元素位置中和/ 或組中特定局部結(jié)構(gòu)中第一預測的可靠程度對不同加權(quán)系數(shù)進行不同加權(quán)。這意味著，可以按照圖像元素組內(nèi)的位置來修改加權(quán)系數(shù)值，以考慮第一預測的不確定性和/或預測中的局部結(jié)構(gòu)或反差。
如前文所介紹的那樣，幀內(nèi)預測優(yōu)選地為當前組中的圖像元素賦
14予圖像元素值，其中這些值來自于幀中一個或多個相鄰組中的圖像元素。一般來說，給定圖像元素在當前組中離(多個)相鄰組中用作該給定圖像元素的幀內(nèi)預測的(多個)圖像元素越遠(在中間圖像元素的數(shù)目方面)，所賦予的圖像元素值的精確度越低。
本發(fā)明的系數(shù)修改量的使用克服了現(xiàn)有技術中象文獻[2 ]中那樣由于對圖像元素組中的所有幀內(nèi)預測值使用相同的加權(quán)系數(shù)值而產(chǎn)生的問題。本發(fā)明通過對接近于幀內(nèi)預測來源地的圖像元素施加相對較高的幀內(nèi)加權(quán)系數(shù)并且對離幀內(nèi)預測來源地較遠的圖像元素施加相對較低的幀內(nèi)加權(quán)系數(shù)值解決了這一問題。
參照圖14,作為系數(shù)修改量的典型實例，如果幀內(nèi)預測從幀10中直接位于當前組20上方的相鄰圖像元素組26中最下面的圖像元素行中沿著列方向賦予圖像元素值(幀內(nèi)模式O或垂直模式)，則可以使用下列修改量
A^i 々~j
A;
在這種情況下，kl到k4是不同的修改量值且kl〉k2〉k3〉k4。這樣，與較下面的行中的圖像元素相比，為笫一行中的圖像元素30賦予了相對較高的修改量值，因為這些較下面的行距離用作幀內(nèi)預測的圖像元素組26更遠。
相應地，如果使用的是水平模式或模式1來進行幀內(nèi)預測，則使用位于當前圖像元素組20左側(cè)的組22的最后一列中的圖像元素作為幀內(nèi)預測。在這種情況下，可以使用下面的系數(shù)修改量
^"l Al
這個系數(shù)修改量賦予了修改量值kl到k4,與相對于相鄰圖像元素組22而言離得較遠的列中的圖像元素31相比，該系數(shù)修改量為組20的第一列中的圖像元素32給予了相對較高的加權(quán)。系數(shù)修改量的另一個例子是
夂夂
A:2yt3、
這個系數(shù)修改量可以用于使用來自于圖14中用附圖標記22、 24 和26標注的相鄰組的圖像元素值的對角型幀內(nèi)預測。這種沖莫式在本領域中通常稱為模式4或右下對角型。
在所提供的例子中假設4 x 4像素的圖像元素組。不過，可以很容易地將這些教導擴展為也針對其它的組大小。
這些系數(shù)修改量實例的共有特征是，從較高修改量值向較低值，不同的修改量值沿著垂直、水平或?qū)蔷€傾斜。
用于當前圖像元素塊的系數(shù)修改量可以是預先定義的。例如，同一系數(shù)修改量可以用于視頻序列、幀或切片的所有混合編碼的組。按照另外一種可選方案，所使用的系數(shù)修改量可以是根據(jù)當前圖像元素組的具體幀內(nèi)預測類型或模式定義的。在這種情況下，每個這樣的預測類型具有將會在圖1中步驟S4的加權(quán)系數(shù)修改中使用的相關系數(shù)修改量。
在這些實施方式中，基于預測類型和/或幀或切片數(shù)目使用系數(shù)修改量的隱性選擇。不過按照另外一種可選方案也可以使用顯性信令。優(yōu)選的例子使用幾個不同的預先定義的系數(shù)修改量，其中每個這樣的系數(shù)修改量具有賦予的修改量標識符。然后在解碼期間，為當前圖像元素組賦予這樣的修改量標識符。一般僅需要幾位，比如一到三位，就能夠?qū)崿F(xiàn)二到八個不同系數(shù)修改量之間的選擇，這些系數(shù)修改量可以構(gòu)成適當?shù)倪x擇集。然后在步驟S4中采用修改量標識符來提供正確的系數(shù)修改量。雖然不是優(yōu)選地，但是實際上可以與圖像元素組一起傳送修改量值。
修改量值也可以或者可以此外從第一預測的不同處理中選擇。例如，可以對第一預測進行濾波，例如使用空間差濾波器進行濾波，以發(fā)現(xiàn)預測中的任何局部結(jié)構(gòu)，比如線和邊緣。在這種情況下，可以對
16與這些局部結(jié)構(gòu)(粗壯的邊緣/線)重合的圖像元素位置優(yōu)選地給予比與較弱結(jié)構(gòu)重合的其它圖像元素位置大的修改量值(并且因此較大加權(quán)系數(shù)值)。
在任何一種情況下，將所選擇的系數(shù)修改量施加到初始第一加權(quán) 系數(shù)上，以獲得經(jīng)修改的包括多個系數(shù)值的第一加權(quán)系數(shù)。這一修改在典型情況下是通過初始系數(shù)W!與系數(shù)修改量之間相乘來實現(xiàn)的，不
過其它程序(相加或異或U0R))也是可以的。于是這樣產(chǎn)生的笫一加權(quán)系數(shù)的例子可以是
M^夂 H^A:
VV人 M^2 W人
W，A:, w，A:, w，A,
這樣，即使為圖像元素組賦予了單獨初始第一加權(quán)值系數(shù)修
改量也將會產(chǎn)生一組不同的系數(shù)修改量wki,其中在這個例子中i = l-4, 其反映所使用的笫一圖像元素預測的相對不確定性或預期誤差。下面是在例如一條線穿過圖像組的情況下第一加權(quán)系數(shù)的另一個例子。在這種情況下，與其它圖像元素位置相比，該線的圖像元素位置[(1, 4); (2, 3); (2, 4); (3, 2); (3, 3); (4, 1)和(4, 2)]具有相對較高的系數(shù)修改量
W人 W人 WA
WA:4 M\A:2VVA, w人 w入WA, W
M^, WA:2
上面有關步驟S4的提供和使用第一加權(quán)系數(shù)的討論內(nèi)容也可以應用于步驟S3中提供的另一個加權(quán)系數(shù)。如果這個另一個系數(shù)是幀內(nèi)加權(quán)系數(shù)，則所使用的系數(shù)值優(yōu)選地是根據(jù)用于步驟S2中提供的第二幀內(nèi)預測的具體幀內(nèi)加權(quán)模式來選擇的。這樣，系數(shù)修改量于是應當具有將較大的加權(quán)放到使用幀內(nèi)預測時希望更加精確的圖像元素位置 (即靠近用作當前組的第二幀內(nèi)預測的相鄰圖像元素組的圖像元素位置)上的各個修改量值。較遠的圖像元素位置具有相對較低的相關修
17改量值。
如果步驟S2中提供的預測是幀間預測并且步驟Sl提供的預測是幀內(nèi)預測，則幀間系數(shù)修改量優(yōu)選地具有與幀內(nèi)系數(shù)修改量相比基本上相反的修改量值分配。這樣，與用作幀內(nèi)預測的相鄰組靠近的圖像元素位置具有低幀間修改量值，而較遠的圖像元素位置具有相對較大
的幀間修改量值。典型的實例可以是使用幀間修改量值li尸l-kij。具有
高不確定性的幀內(nèi)預測的圖像元素因此具有低幀內(nèi)修改量值，但是具有高幀間預測值，而對于具有高確定'性的幀內(nèi)預測的圖像元素而言，情況正好相反。在本文中，在最大值為1的情況下，高值指的是介于
0. 5和1之間的值，而低值指的是處于0到0. 5區(qū)間內(nèi)的值。
下一個步驟S5通過將步驟S4中產(chǎn)生的第一加權(quán)系數(shù)施加到步驟 Sl中提供的第一預測上來為圖像塊確定經(jīng)加權(quán)的第一預測。這一確定優(yōu)選地涉及將用于圖像元素Pij的各個第一預測值與其相關第一加權(quán)系數(shù)W,kij相乘，其中i, j代表在圖像元素組中的圖像元素位置。最終的加權(quán)第一預測于是應為
<formula>formula see original document page 18</formula>
下一個步驟S6為圖像元素確定第二預測的加權(quán)預測。這一確定是按照與步驟S5類似的方式執(zhí)行的，只不過使用不同的輸入預測和另一個加權(quán)系數(shù)。結(jié)果可以具有下列形式
<formula>formula see original document page 18</formula>
或者<formula>formula see original document page 19</formula>
取決于是否也對第二預測P"吏用了系數(shù)修改量，其中qij是第二預測的圖像元素位置i, j處的圖像元素值。
可以在施加加權(quán)之前可選地對第一和第二預測進行濾波。例如，可以在施加各個笫一和第二加權(quán)系數(shù)之前，對第一預測進行低通濾波，而對第二預測進行高通濾波。而且還可以按照本發(fā)明使用本領域公知的其它形式的預測預處理。
下一個步驟S7基于步驟S5中確定的加權(quán)第一預測和步驟S6中確定的加權(quán)第二預測生成圖像元素組的解碼版本。這一計算優(yōu)選地是通過按位置加上各個加權(quán)圖像元素值以獲得不同的圖像元素的 w山jPij+W2(iij或w!kijpij+w山jqij來執(zhí)行的。本發(fā)明預見到，圖像元素的進一步處理一般是以加上殘差和/或?qū)ψ罱K結(jié)果進行濾波的形式來進行的。例如，可以在施力口力口4又之后為予員測力口上殘差(wkijPij+W2Qij+Rij )。按照另外一種可選方案，可以在施加加權(quán)之前為各個預測加上殘差 (w〗kijX ( pij+Riij) +W2 x (Qij+R2ij))。然后該方法結(jié)束。
在另一種可供選用的辦法中，采用查表法來生成解碼圖像組。在這種情況下，使用預測之一作為要加上查表值或加權(quán)查表值的基本預測。然后基于第一和第二預測生成這個查表值，優(yōu)選地基于這兩個預測之間的(圖像元素層面(wise)的)差值來生成這個查表值。典型的實例可以是
<formula>formula see original document page 19</formula>
其中f(x)代表使用x作為輸入查表所得的結(jié)果。在這個和上面提供的討論中，力口權(quán)w!和w2中的至少一個可以等于一，比如w尸l。另一種可能是將加權(quán)完全包含為查表過程的一部分，比如
<formula>formula see original document page 19</formula>其中f由2表示依照加權(quán)w!和W2的表格，其給出了與w!kijPij+w山jqij 或w!kijPij+W2Qij相同的預測。實際上，利用這種查表的方法，可以針對每個圖像元素進行預測的任意加權(quán)組合，比如
qu+fu"pij-qu)
其中在k個表格中定義了不同的可能非線性加權(quán)組合，其中甚至每個圖像元素位置i j也可以具有專用表格。
本發(fā)明預見到，基本預測并非必須如前面所提供的那樣是笫二預測。
這樣，本發(fā)明的這一方面使用從第一和第二預測中選擇的基本預測，并且然后修整基本預測，以通過使用能夠從由第一和第二預測計算出來的量獲得的加權(quán)預測來更加正確地代表原始圖像元素組。優(yōu)選的這種量是兩個預測之間的差值，比如圖像元素層面的差值。加權(quán)預測優(yōu)選地是通過查表過程獲得的。不過，本發(fā)明的這個方面并不局限于此，其它的可能也是可以的并且是處于本方面的范圍之內(nèi)的。例如，預定義的函數(shù)可以使用這個量作為輸入并且輸出要加到基本預測上的修整值。
這樣，這個方面涉及一種對編碼視頻序列的幀中的圖像元素組進行解碼的方法。該方法涉及提供圖像元素組的第一預測和提供該圖像元素組的第二預測。這些預測之一優(yōu)選地是幀內(nèi)預測，而另一個預測優(yōu)選地是幀間預測。然后從第一和第二預測中選擇基本預測，典型地是根據(jù)與編碼組相關聯(lián)的標志選擇的。按照另外一種可選方案，可以在組的編碼信號中將第一 (或第二)預測預先定義為基本預測。然后根據(jù)由笫一和第二預測計算出來的量(優(yōu)選地是第一和第二預測之間的差值)提供加權(quán)預測來修整基本預測?；诩訖?quán)預測和基本預測生成圖像元素組的解碼版本。
該解碼版本優(yōu)選地是基于加權(quán)預測和基本預測的相加來生成的。可通過加權(quán)預測獲得的修整能夠?qū)崿F(xiàn)對組中的圖像元素使用不同的修整預測值，其中不同的預測值反映第一預測和第二預測中的至少一個中的預測值的相對不確定性，優(yōu)選地是選作基本預測的預測中的預測值的相對不確定性?？商鎿Q地或者此外，不同的預測值反映第一預測
20和第二預測中的至少一個(優(yōu)選地是選作基本預測的預測)中的局部反差變化。
本發(fā)明的這個方面還涉及一種具有用于實施上面介紹的解碼方法的操作的解碼器元件的解碼器。
本發(fā)明的編碼方法優(yōu)選地涉及如前所述那樣估計圖像元素組的第一預測(幀內(nèi)預測)和如前所述那樣估計圖像元素組的第二預測(幀間預測)?；绢A測的選擇優(yōu)選地是基于代表用第一或第二預測表示圖像元素組的各個誤差表達來進行的。一般來說，典型地將第一和第二預測中從質(zhì)量的角度來講最佳表達圖像元素組(即，具有最低的相關誤差表達)的預測選擇為基本表達。
修整預測是從查詢表中或由使用第一和第二預測的函數(shù)獲得的。注意，如果基本預測例如是幀間預測，則第二(幀內(nèi))預測不必是最佳表達圖像元素組的幀內(nèi)預測。明顯相反地，優(yōu)選地選擇幀內(nèi)預測，以便基于幀間和幀內(nèi)預測之間的差值來獲得最適當?shù)男拚A測。
碼器元件的編碼器。
圖2是圖解說明按照本發(fā)明的特定實施方式的提供初始加權(quán)系數(shù)
的步驟S3的流程圖。該方法從圖1的步驟S2繼續(xù)進行。下一個步驟 S10為圖像元素組識別一個初始加權(quán)系數(shù)。這一識別可以是通過提供賦予當前組、切片或該組所屬于的幀的加權(quán)系數(shù)來進行的。該加權(quán)系數(shù) 可以與圖像元素組的編碼表達一起被信號通知或者將加權(quán)標識符包含在這一編碼表達中。在后一種情況下，將該標識符用于查表過程來識別初始加權(quán)系數(shù)。
也可以使用隱含過程。在這種情況下，可以使用序列、幀或切片專用的加權(quán)作為起始點，并且基于其它的輸入材料對這個加權(quán)進行進一步處理。該處理可以例如利用用于之前解碼的相鄰圖像元素組的初始加權(quán)系數(shù)值的信息。例如，可以為相鄰的加權(quán)系數(shù)加上德爾塔加權(quán) 值，以得到初始加權(quán)系數(shù)。另一個例子是多個相鄰元素組的加權(quán)系數(shù) 的中值或平均值。相鄰組的數(shù)量和哪些具體的相鄰組可以基于所使用的具體幀內(nèi)預測沖莫式預先確定。這一處理可以例如使用相鄰塊的殘差信息來調(diào)節(jié)切片/幀/序列專用的起始加權(quán)。在另一種可供選用的辦法中，可以使用從一個或多個之前解碼的圖像元素組中獲得的信息作為
21加權(quán)起始點。例如，相鄰組的殘差信息可以構(gòu)成適當?shù)钠鹗键c。對殘差值進行進一步處理來得到初始加權(quán)系數(shù)。例如，可以將初始加權(quán)系數(shù)定義為殘差的倒數(shù)或者至少與殘差的倒數(shù)成正比。這可以通過確定相鄰組(優(yōu)選地是采用為參考幀內(nèi)預測的相鄰組)與當前組之間殘差值的差值來進行。然后可以在查表過程中使用該差值。按照另外一種可選方案，以圖像元素為基準，將初始加權(quán)系數(shù)隱含地定義為相鄰圖像元素組中相應圖像元素位置的殘差的倒數(shù)，或者多個相鄰圖像元素組中的多個相應圖像元素位置的平均殘差的倒數(shù)。
下一個步驟Sll由步驟S10中識別的第一加權(quán)計算另一個初始加權(quán)系數(shù)。這一計算優(yōu)選地涉及從預定的數(shù)字減去第一初始加權(quán)w"比如w2= ( K〈Shif t ) -w!,其中運算《涉及當x<<y時將x左移y，并且 Shift是平移系數(shù)。在這種情況下，第一初始加權(quán)w:與加權(quán)索引相關，該加權(quán)索引定義為Index- (MaxVal-w,) 〉〉Step，其中運算>>涉及當 x〉〉y時將x右移y, MaxVal是w!的最大系數(shù)值，Step是用于定義w！逐步從MinVal ( w！的最小系數(shù)值)到MaxVal中的不同可能加權(quán)值的步長系數(shù)。典型但是非局限性地，這些參數(shù)的例子包括Shift=6、 MaxVal=63、 MinVal = 33和Step=2。然后該方法繼續(xù)進行到圖l的步驟 S4。
在另外一種可供選用的實施方式中，省略了步驟Sll。因此，在步驟S10中識別第一和第二初始加權(quán)系數(shù)二者。
圖3是圖解說明圖1的解碼方法的額外步驟的流程圖。該方法從圖1的步驟S2繼續(xù)進行。下一個步驟S20計算混合解碼中使用的所提供的第一和第二預測之間的差值，比如圖像元素層面的差值。該差值也可以通過在每個預測中應用空間差值濾波器來獲得。每個差值用作包含多個不同加權(quán)值或加權(quán)值對的查詢表中的輸入。在這種情況下，每個這樣的加權(quán)或加權(quán)對與預先定義的差值或差值區(qū)間相關聯(lián)。于是所要使用的正確初始加權(quán)就是具有最接近于該差值的相關值或者具有包含該差值的相關區(qū)間的加權(quán)系數(shù)或?qū)Α?br> 如果查詢表中每個表才各項目^U又包括一個加^又，則另一個加4又可以如前面結(jié)合圖2的步驟Sll介紹的那樣由此計算出來。然后該方法接著繼續(xù)進行圖1的步驟S3。
代替通過查表來得到初始加權(quán)，可以將實際的加權(quán)組合定義為預
22測之一與所提供的第一和第二預測之間的差值的查表的總和。
圖4是對視頻序列的幀中圖像元素組進行編碼的方法的流程圖。
該方法開始于步驟S30,其中為要編碼的圖像元素組估計第一 (優(yōu)選地是幀間)預測。在幀內(nèi)預測的情況下，這個步驟S30基本上涉及查找不同的可用幀內(nèi)編碼模式，并且針對各個這樣的模式，計算代表用具體幀內(nèi)預測模式表達該圖像元素組的誤差值。這是按照本領域公知的技術來實現(xiàn)的。例如，可以使用標準率失真(RD)值來作為適當?shù)恼` 差表達。這個RD值被定義為
RD=SAD+;i x B，
其中SAD是預測誤差，通常是絕對差的和，B是對殘差進行編碼和對預測模式進行編碼的編碼成本(以位為單位)，并且;i是提升SAD或 B之一的縮放系數(shù)。
典型地選擇造成最低誤差值的幀內(nèi)編碼模式，并且將會使用用作組表達的(多個)(相鄰)圖像元素組作為當前圖像元素組的幀內(nèi)預測。步驟S30還涉及生成所選擇幀內(nèi)預測的標識符。這個標識符典型地是所選擇幀內(nèi)預測模式的標識符，這樣一來，標識符就能夠?qū)崿F(xiàn)相關幀內(nèi)預測的識別。
在這種情況下，第一預測是圖像元素組的幀間預測，從依照公知誤差標準的預定搜索窗口中的參考幀內(nèi)搜索最佳匹配的圖像元素組。然后選擇預定搜索窗口內(nèi)造成最小誤差值的圖像元素組作為步驟S30 中的幀間預測。步驟S30還涉及提供所選擇的幀間預測的標識符。該標識符典型地包括參考幀標識符，該參考幀標識符識別從其中可以找到用作當前組的幀間預測的匹配圖像元素組的參考幀。該標識符還包括定義參考組在兩個幀中相對于當前塊沿著水平和垂直方向的相對位移的運動向量。
下一個步驟S31為該組估計第二預測。在第一實施方式中，這一另一個預測是幀內(nèi)預測，并且在第二實施方式中，它是幀間預測。前面概述的用于估計幀內(nèi)和幀間預測的原理也適用于這個步驟S31。對步驟S30而言，步驟S31優(yōu)選地還涉及提供第二預測的標識符，比如幀間模式標識符或幀標識符加上運動向量。在可用的多種實施方式中，進行這兩個預測估計步驟S30和的實際順序可以是不同的，具體取決于在具體步驟S30和S31中估計的是何種類型的預測。第一實施方式按照圖4中所示的順序依次執(zhí)行這兩個步驟，首先估計幀內(nèi)預測，然后估計幀間預測或第二幀內(nèi)預測。第二種按順序的實施方式在步驟S31涉及估計幀間預測的情況下可以使用相反的執(zhí)行順序。這樣，在這種情況下，首先估計幀間預測，隨后才是幀內(nèi)或幀間預測的估計。在第三種實施方式中，這兩個估計步驟S30和S31是并行地執(zhí)行的，可能在組合預測過程中。
本發(fā)明預見到，如果本發(fā)明的混合編碼涉及不止兩個組的預測，將會進行額外的(幀內(nèi)或幀間)預測估計。在這種情況下，所選擇的幀內(nèi)預測優(yōu)選地與不同的幀內(nèi)預測才莫式相關，即，它們是不同的幀內(nèi) 預測。相應地，不同的幀間預測優(yōu)選地是搜索窗口內(nèi)同一或不同參考幀中的不同參考組。
可選地對這兩個預測進行處理，比如在如前所述那樣確定任何加 4又系數(shù)之前進4亍濾波。
下一個步驟S32選擇初始第一加權(quán)來用于步驟S30中估計的第一預測。如果可以使用一組有限的預定系數(shù)，則這個步驟S32可以是通過查找可用的加權(quán)系數(shù)來執(zhí)行的。另一個辦法可以是使用賦予之前編碼的相鄰組的初始第一加權(quán)系數(shù)作為起始點并且然后從該起始點開始在所定義的搜索窗口內(nèi)進行搜索來得到良好的加權(quán)候選。該起始點并非必須是相鄰組的初始第一加權(quán)系數(shù)，而是可以取而代之是賦予當前視頻序列、幀或切片的預定起始加權(quán)，或者基于相鄰組的殘差數(shù)據(jù)的起始點。
下一個步驟S33定義要施加給所定義的笫一加權(quán)系數(shù)的系數(shù)修改量，來生成包括多個系數(shù)值的第一加權(quán)系數(shù)。如前所述，這些不同的系數(shù)值與圖像元素組中不同的圖像元素位置相關聯(lián)。還要對該系數(shù)修改量加以選擇，以得到反映所估計的預測中的相對不確定性的系數(shù)值，尤其是反映幀內(nèi)預測的相對不確定性。如果第一預測是幀內(nèi)預測，則所使用的系數(shù)修改量優(yōu)選地是至少部分地根據(jù)用于步驟S30的所選幀內(nèi)預測的具體幀內(nèi)預測模式來選擇的。
可替換地或者此外，系數(shù)修改量至少部分地是通過處理第一預測以反映預測中的不同結(jié)構(gòu)特征和對象來確定的。在這種情況下，相對于較為模糊的背景具有清晰反差的醒目對象應當?shù)玫捷^高的加權(quán)。與這些醒目對象對應的系數(shù)修改量的圖像元素位置于是與該組中其它圖像元素位置相比，具有得出較大加權(quán)系數(shù)的系數(shù)修改量值。
步驟S34然后定義要在解碼期間施加給步驟S31中估計的預測的第二加權(quán)系數(shù)。這樣，這個加權(quán)系數(shù)是幀內(nèi)加權(quán)系數(shù)或幀間加權(quán)系數(shù)。在選擇步驟S34的第二加權(quán)系數(shù)時，也可以使用前面結(jié)合步驟S32介紹的過程。按照另外一種可選方案，步驟S32和S34中定義的加權(quán)系數(shù)具有預定的相互關系，例如它們的和等于常數(shù)或者它們的商等于常數(shù)。在這種情況下，定義步驟S34僅僅涉及根據(jù)初始第一加權(quán)系數(shù)和該常數(shù)計算第二加權(quán)系數(shù)。在混合編碼中每個組有不止兩個預測的情況下，此外還要對每個額外的預測重復進行這個步驟S34。
如前文所介紹的那樣，也可以對步驟S34中定義的第二加權(quán)系數(shù) 應用系數(shù)修改量，尤其是在該第二加權(quán)系數(shù)是第二幀內(nèi)加權(quán)系數(shù)的情況下。在這種情況下，優(yōu)選地結(jié)合步驟S34進行額外的系數(shù)修改量定義步驟。
然后圖像元素塊CIIP可以按照本領域公知的技術由這些加權(quán)系數(shù)、系數(shù)修改量和預測加上殘差R(將其計算為加權(quán)預測與當前圖像塊之間的差)來表達并且將圖像元素塊CIIP表示為
或
殘差也可以代之以在加權(quán)之前加入，以得到下列情況之一
或
或
25在加權(quán)之前加入殘差還是在加權(quán)之后加入殘差兩者之間的實際選擇優(yōu)選地基于哪種特定選擇會提供最佳質(zhì)量。
最終編碼的組估計包括第一預效'J的標識符、第二預測的標識符、殘差和初始第一加權(quán)系數(shù)和第二加權(quán)系數(shù)中至少一個的標識符。本發(fā)明預見到，加權(quán)系數(shù)標識符并非必須是明確的標識符。在隱含的辦法中，估計的預測之間的差或商，或者各個預測的空間差值都可以用作加權(quán)系數(shù)標識符。按照另外一種可選方案，當前塊和相鄰塊的殘差值也可以用作加權(quán)系數(shù)標識符。然后加權(quán)標識符可以指向包括多個所定義的加權(quán)系數(shù)的表格。
然后該方法結(jié)束。
本發(fā)明預見到，不是視頻序列的所有圖像元素組都必須由本發(fā)明的混合編碼來編碼。明顯相反地，同一或不同幀中的其它組可以按照現(xiàn)有的幀間(P或B型)編碼或幀內(nèi)編碼來編碼。
圖5圖解說明的是執(zhí)行圖4的預測估計步驟S30和S31的實施方式。該方法開始于步驟S40,其中為要編碼的宏塊(16 x 16像素)選擇適當?shù)膲K劃分?？梢允褂萌魏维F(xiàn)有技術的可用塊大小，包括16x16,16x8, 8x16, 8x8, 8x4, 4x8和4x4像素。在步驟S41中為不同的各個可用組大小識別最佳幀間預測。在實踐中，這兩個步驟S40和S41典型地是并行進行的。這些步驟優(yōu)選地在允許的搜索窗口內(nèi)的幀中查找所有可用的塊劃分和可用的參考塊。典型地選擇造成最小誤差值
的過程。^ 。
、、、、、、 ' -'、
一旦選擇了最佳的幀間預測和劃分，就在步驟S42中識別適當?shù)膸瑑?nèi)預測。這也可以通過在可用的幀內(nèi)預測沖莫式間進行窮盡搜索來進行。在優(yōu)選的實現(xiàn)方式中，這一搜索是至少部分地基于所選擇的幀間塊預測并且尤其是該預測的塊劃分來進行的。這樣做的原因在于，不同的塊劃分可以有不同的幀內(nèi)沖莫式。例如，傳統(tǒng)上，對于4x4的塊大小，可以有九種不同的幀內(nèi)才莫式，而對于16xl6的大小，可以有四種相應的模式。這樣做的另一個原因在于，幀間預測的運動向量應當盡
26力遵循真實的運動場。如果首先進行幀內(nèi)預測并且根據(jù)幀內(nèi)預測完成幀間預測搜索，這可能不能實現(xiàn)。
達當前塊相關聯(lián)的誤差^來進行。；這樣r可:使用這個誤差的值來選
擇也用于該塊的適當幀內(nèi)預測/模式。
在任何一種情況下，一旦達到最佳(從用預測表達塊的誤差最小
的角度而言)，就在步驟S43中提供前面介紹的預測標識符。然后該方法接著繼續(xù)進行圖6的步驟S32。
這樣，本發(fā)明的第一實施方式首先選擇塊預測，典型地從幀間預測開始。隨后選擇適當?shù)募訖?quán)系數(shù)和系數(shù)修改量。另一種辦法利用組合編碼，其中一起選擇兩種預測和加權(quán)。例如，首先確定"最佳"幀間預測。隨后，對于各個可用的幀內(nèi)模式(基于所確定的幀間預測確定的)，測試不同的可用加權(quán)系數(shù)和系數(shù)修改量。連同與用預測和系數(shù)的這種組合表達該塊相關聯(lián)的誤差一起，通知每種可用幀內(nèi)模式的最佳加權(quán)系數(shù)和系數(shù)修改量的集合。隨后選擇具有最低相關聯(lián)誤差的幀內(nèi)預測+加權(quán)值組合。按照另外一種可選方案，首先進行傳統(tǒng)的塊的幀間編碼，包括計算幀間殘差值。隨后，計算幀內(nèi)預測和加權(quán)系數(shù)，之后為該塊計算"全局"殘差。
在視頻編碼中，通常有數(shù)種與宏塊的不同劃分對應的幀間宏塊類
的幀內(nèi);塊類型。i發(fā)明提出新的;塊類型，這些新的^塊類型描述哪種幀間預測類型和哪種幀內(nèi)預測類型用于加^又組合。
舉例來說，可以引入新的辦法作為除了僅僅幀間和僅僅幀內(nèi)宏塊類型之外的新的宏塊類型。按照本發(fā)明的一種實施方式，新宏塊類型
的代碼更大的編碼索引。以這種方式，該方法在理論上不會降低使用
性能，因為如果它比當前的宏塊類型效率更高，它僅僅被選擇。
下面給出了作為H. 264的擴展的使用組合的幀內(nèi)和幀間預測的宏塊類型分配的例子。為幀間預測16x16和幀內(nèi)預測4x4給出最^氐編碼索引。隨后，幀間預測16 x 16和幀內(nèi)預測16 x 16到來。幀內(nèi)16 x16模式也是宏塊類型的一部分。然后，幀間16 x 8和幀內(nèi)類型到來，
27如此繼續(xù)直到8 x 8ref和幀內(nèi)類型。典型地有31種舊的宏塊類型。應當注意，在幀內(nèi)16xl6預測部分的編碼中沒有包括CBP(編碼塊樣式)值。
新宏塊類型的編碼索引分配的例子可以由下式描述標號=31+5 x MbTypelnter+MbTypelntra+幀內(nèi)16x16模式其中MbTypelnter的取值范圍是0到4,包括幀間16 x 16、 16 x 8、 8x16、 8x8ref0和8x8, MbTypelntra的取值范圍是0到1,分別包括幀內(nèi)4 x 4和16 x 16,并且如果MbTypelntra等于1,則幀內(nèi)16x16 模式的取值范圍優(yōu)選地是從G到3,否則優(yōu)選地是0。
按照本發(fā)明的實施方式，使用加權(quán)組合的宏塊類型是采用比其它宏塊類型高的編碼索引來編碼的。
下面給出作為對H. 264的擴展的編碼宏塊參數(shù)的例子。如上所述那樣對宏塊類型和宏塊加權(quán)進行編碼。按照H. 264中那樣對運動向量、參考幀、子宏塊類型、幀內(nèi)4x4預測模式和幀內(nèi)色度預測模式進行編碼。應當注意，在幀內(nèi)4x4模式的預測中，優(yōu)選地檢驗相鄰宏塊的 MbTypelntra,而不是MbType,以便也能夠為新的方法實現(xiàn)幀內(nèi)4x4 模式的正確預測。對于僅僅幀內(nèi)4 x 4宏塊類型也做出這種修改。編碼塊樣式CBP是使用僅僅幀內(nèi)CBP表格來編碼的。最終按照H. 264中那樣對DQuant和殘差系數(shù)碼進4亍編碼。
這樣，可以在本發(fā)明公開的擴展部分中使用聯(lián)合視頻組(JVT)標準的工具。
速率失真優(yōu)化是當前視頻編碼標準中實現(xiàn)良好壓縮效率的重要工具。
下面給出使用新的方法的優(yōu)化實例。首先，如上所述那樣進行最佳幀間編碼和最佳幀內(nèi)編碼宏塊的速率失真搜索。然后使用最佳幀內(nèi) 預測模式作為精細搜索最佳幀內(nèi)預測和最佳加權(quán)的起始點。為了使幀間預測與幀內(nèi)預測匹配得更好，可以對組合預測進行低通濾波或者在組合之前對幀間預測進行低通濾波。后者可以通過同時進行幀內(nèi)精細搜索或在幀內(nèi)精細搜索之后來實現(xiàn)。精細幀間搜索可以例如包括每次搜索進行一半或四分之一。
為了降低編碼器復雜度，可以使用例如最佳僅僅幀內(nèi)預測和最佳僅僅幀間預測利用線性回歸來確定加權(quán)?？梢允褂镁毤訖?quán)搜索來提高速率失真性能。
本發(fā)明提供了比最新的視頻編碼標準H. 264更好的編碼效率。本發(fā)明在很難找出良好的幀間預測時(比如在體育視頻序列中)尤其優(yōu) 秀。不過，本發(fā)明對其它序列也同樣有效。
此外，本發(fā)明可能能夠用于提供信噪比可擴縮性?；緦涌梢园?照H. 264使用幀內(nèi)和幀間預測編碼，以提供基本編碼率。然后增強層可以增加幀內(nèi)編碼才莫式和加;K來估文出加權(quán)幀內(nèi)和幀間預測，以提供增強編碼率。
本發(fā)明還有可能用于進行幀間預測的預解塊濾波，這改善變換編碼。這與對重構(gòu)圖像進行的傳統(tǒng)解塊濾波截然不同。
本發(fā)明還有可能用于與誤差復原相結(jié)合實現(xiàn)更好的編碼效率。這可以通過將標準幀內(nèi)刷新與加權(quán)的之前解碼幀部分相組合來實現(xiàn)。
在下文中，將會把在H. 264之上使用本發(fā)明的例子與H. 264 (類似于使用單層編碼的JSVM—5 —11 )相比較并且針對的是使用一個參考幀的低遲延配置IPPP。結(jié)果是針對固定量化參數(shù)和使用VLC產(chǎn)生的。位速率和序列依照的是JVT-Q205 [3]中的SNR可擴縮性測試配置。
表1
足球領班公共汽車小汽車平均
1. 74 %1. 18 %0. 69 %0. 79 %1. 10 %
表1圖解說明的是關閉約束的幀內(nèi)預測的情況下QCIF (四分之一通用中間格式)15 Hz的Bjontegaard位速率節(jié)省。
表2
足球領班公共汽車小汽車平均
2. 00%1. 46%0, 36%0. 94%1, 19%
表2列出的是關閉約束的幀內(nèi)預測的情況下CIF 30 Hz的 Bjontegaard位速率節(jié)省。
圖6圖解說明了在沒有約束的幀內(nèi)預測的情況下足球在QCIF 15 Hz
29上的RD曲線，圖7圖解說明了在沒有約束的幀內(nèi)預測的情況下足球在 CIF 30Hz上的RD曲線。在這些曲線圖中，用X標出了按照本發(fā)明實現(xiàn) 的結(jié)果，而現(xiàn)有技術的結(jié)果是用'"標出的。
與H. 264標準解碼相比，對在H. 264之上使用新方法的解碼器的復雜度也進行了評價,見下面的表3。結(jié)果實現(xiàn)為每序列平均超過100 個4亍程以及Intel Pentium Mobile 2.00 GHz上的量化參數(shù)。為了減小硬盤性能的影響，沒有將解碼結(jié)果寫到文件中并且沒有使用屏幕印刷(screen print )。此外在測試期間沒有運行其它程序。
表3
足球領班公共汽車小汽車平均
7. 04%1. 56%2. 4 3%1. 49%3. 13%
表3圖解說明的是在關閉約束的幀內(nèi)預測的情況下對于QCIF 15HZ CIIP解碼器的復雜度增加。
如果允許8x8幀內(nèi)預測，如在例如使用逼真度范圍擴展(FRExt，對AVC/H. 264的修正)并且將轉(zhuǎn)換尺寸8x8標志設置為1時，那么 MbTypelntra = 0 (見上文)相當于幀內(nèi)8x8預測。在這種情況下，幀內(nèi)8x8預測與本發(fā)明的混合編碼結(jié)合使用并且殘差可以按照8x8 轉(zhuǎn)換來編碼。
相應地，如果允許8x8轉(zhuǎn)換，如在例如使用逼真度范圍擴展 (FRExt,對AVC/H. 264的修正)并且將轉(zhuǎn)換尺寸8xg標志設置為1 時，那么MbTypelntra〉0 (見上文)可以相當于幀內(nèi)16 x 16預測。在這種情況下，幀內(nèi)16 x 16預測與本發(fā)明的混合編碼結(jié)合使用并且殘差可以按照8 x 8轉(zhuǎn)換來編碼。
本發(fā)明可以應用于可擴縮^L頻編碼，例如JSVM[4]中的可擴縮^L頻編碼，文獻4的教導在此引入以供參考。在可擴縮視頻編碼中，編碼參數(shù)的幀間層預測對于高編碼效率來說是很重要的。對于混合宏塊，這些參數(shù)可以包括運動參數(shù)、幀內(nèi)預測^t式、加權(quán)和殘差。如果宏塊具有混合宏塊類型，則可以如前文所述那樣確定相應幀內(nèi)和幀間預測沖莫式和相應加權(quán)預測。如果^f吏用FRExt,則可以應用前面有關8 x 8幀內(nèi)預測和8 x 8轉(zhuǎn):^灸的部分。
30圖8是實現(xiàn)本發(fā)明的教導的用戶終端100的例子的示意性圖解說明。這個用戶終端100具有移動終端或電話100的形式，適合于進行無線通信。不過，本發(fā)明并不局限于這樣的手持媒體處理終端，但是實際上可以應用于任何媒體處理和呈現(xiàn)終端。
這個用戶終端100包括發(fā)射器和接收器或者收發(fā)器110,在圖中將其示意性地描繪成單獨一個單元。單元11Q包括傳統(tǒng)的發(fā)射器/接收器功能，比如調(diào)制器/解調(diào)器，等等。該單元110的接收器部分尤其適合于接收按照本發(fā)明的視頻序列。
終端100還包括用于暫時存儲接收器110接收到的序列的視頻數(shù) 據(jù)的媒體緩沖器140。采用這個緩沖器140主要是為了防止在通過網(wǎng)絡發(fā)送媒體時出現(xiàn)抖動。
媒體播放器130被安排用來解碼和呈現(xiàn)從媒體緩沖器140中取得的視頻數(shù)據(jù)。在所連接的顯示屏幕120上顯示所呈現(xiàn)的媒體并且可能相關的音頻數(shù)據(jù)在揚聲器150上播放。
媒體播放器130具體包括媒體解碼器200或按照本發(fā)明連接到媒體解碼器200。
雖然圖中沒有示出，但是用戶終端100除了解碼器200之外，還可以包括按照本發(fā)明的編碼器。按照另外一種可選方案，終端100不包含解碼器200,而僅僅包含本發(fā)明的編碼器。
用戶終端100的單元110、 130和200可以是以軟件、硬件或它們的組合的形式提供的。
圖9是圖解說明在圖8的用戶終端中實現(xiàn)的按照本發(fā)明的解碼器實施方式200的示意性框圖。解碼器200接收編碼的圖像元素數(shù)據(jù)，其中每個圖像元素組由編碼組表達來代表。編碼的一見頻序列因此其中包括由解碼器200解碼的多個這樣的編碼組表達。
解碼器200包括第一預測提供器210,該第一預測提供器被安排用來提供編碼視頻序列中幀內(nèi)的圖像元素組的第一預測。預測提供器21 0 在識別和提供第一預測時優(yōu)選地使用第一預測標識符，如幀內(nèi)才莫式標識符或幀標識符加上運動向量。所提供的預測優(yōu)選地基于與當前組處于同一幀內(nèi)的或者編碼視頻序列的另一個幀內(nèi)的編碼圖像元素組的至少一個在前解碼版本。在前一種情況下，所述至少一個編碼圖像元素組此外還優(yōu)選地是該幀內(nèi)的一個或多個相鄰組。
31在解碼器200中安排有第二預測提供器"0,用于為圖像元素組提供至少一個第二圖像組預測。提供器220在識別和提供正確的第二預測時優(yōu)選地使用預測標識符，優(yōu)選地是幀內(nèi)才莫式標識符或參考幀標識符力口上運動向量。
解碼器200還包括加權(quán)提供器230,其被安排用來提供初始第一加權(quán)系數(shù)和至少一個第二加權(quán)系數(shù)。在經(jīng)過修改之后，初始加權(quán)系數(shù)要由第一預測修改器250施加到由第一預測提供器210提供的第一預測上。相應地，至少一個額外的第二系數(shù)可能也在經(jīng)過額外的修改之后由第二預測修改器260施加到由第二預測提供器220提供的至少一個第二預測上。
加權(quán)提供器230在提供加權(quán)系數(shù)時可以按照本發(fā)明的不同實施方式進行操作。在第一個實施方式中，編碼組表達包括加權(quán)系數(shù)。在這種情況下，加權(quán)提供器230簡單地從編碼組表達中檢索加權(quán)系數(shù)數(shù)據(jù)。按照另外一種可選方案，編碼組表達包括到加權(quán)系數(shù)數(shù)據(jù)庫或表格(未示出)的明確標識符，使得加權(quán)提供器230能夠從所連接的表格中檢索正確的加權(quán)。也可以使用隱含的標識符，比如如果加權(quán)提供器230 計算來自第一 210和第二 220預測提供器之間的差或商或者基于來自于編碼組表達的殘差數(shù)據(jù)并且優(yōu)選地還來自于之前解碼的組表達的這一殘差數(shù)據(jù)就能夠獲得的標識符。
加權(quán)提供器230還可以基于另一個系數(shù)計算這些加權(quán)系數(shù)之一。在這種情況下，查表過程或從編碼組中的檢索僅僅提供所需加權(quán)系數(shù) 的子集。加權(quán)提供器230然后可以使用任何前面介紹的計算操作來獲
得剩余的(多個)加權(quán)系數(shù)。
加權(quán)修改器240被安排以與加權(quán)提供器230連接，并且該加權(quán)修改器240進行操作用于利用由加權(quán)修改器240檢索或計算出來的系數(shù) 修改量對來自于提供器的至少初始第一加權(quán)系數(shù)進行修改。該修改(比如相乘、相加、異或(XOR)或某種其它操作)生成包括多個系數(shù)值的第一加權(quán)系數(shù)，其中每個這樣系數(shù)值與圖像元素組中的至少一個圖像元素位置相關聯(lián)。還要對系數(shù)修改量加以選擇，使得不同的系數(shù)值反映組中不同圖像元素位置上第一預測的相對不確定性和/或不同圖像元素位置上的結(jié)構(gòu)特點或特征。
系數(shù)修改量的提供可以由加權(quán)修改器240通過從編碼表達中檢索修改量、使用編碼表達的明確修改量標識符從相連接的查詢表(圖中未示出)中取出修改量或者使用隱含標識符提供修改量來執(zhí)行。后者
的典型實例是使用具有修改量值和取決于由預測提供器210產(chǎn)生的幀內(nèi)預測所使用的實際幀內(nèi)模式的分布的幀內(nèi)模式專用系數(shù)修改量。
加權(quán)修改器240還可以以類似的方式提供系數(shù)修改量和修改由加權(quán)提供器230提供的其它的一個或(多個)加權(quán)系數(shù)。
第一預測修改器250使用由加權(quán)修改器240產(chǎn)生的第一加權(quán)系數(shù) 來如前所述那樣對由第一預測提供器210提供的第一預測進行加權(quán)。相應地，第二預測修改器260使用來自于加權(quán)提供器230的第二加權(quán) 系數(shù)(或來自于修改器240的經(jīng)過修改的第二加權(quán)系數(shù))來生成圖像元素組的經(jīng)過修改的笫二預測。
將來自這些單元250、 260的兩個經(jīng)過修改的預測轉(zhuǎn)送到圖像元素發(fā)生器270，該圖像元素發(fā)生器270設置在解碼器200中，用來基于經(jīng) 過修改的預測為組中的圖像元素產(chǎn)生圖像元素值，比如顏色值或亮度和色度值。發(fā)生器270典型地將兩個經(jīng)過修改的預測進行相加，并且優(yōu)選地還加上任何殘差或化整數(shù)據(jù)，以獲得不同的值。殘差可以是如前所述那樣在施加加權(quán)系數(shù)之前加上的。
解碼器200的單元210到270可以是以軟件、硬件或它們的組合的形式提供的。分布式的實現(xiàn)方式也是可以的，其中單元210到270 中的至少一個可以是在其中實現(xiàn)解碼器的用戶終端中的其它地方提供的。
圖10圖解說明的是按照本發(fā)明的解碼器200的另一種實施方式。解碼器200包括用于接收輸入位流(編碼組表達)的熵解碼器280。將熵解碼器280耦合成用來向反量化器282提供解碼輸出并且隨后將提供給反變換器284。反變換器284的輸出與加法器270 (相當于圖9的圖像元素發(fā)生器)連接，繼而加法器270與幀內(nèi)預測器210相耦合。幀內(nèi)預測器與附圖中由乘法器示意性代表的第一預測修改器250相耦合。加法器270的輸出還可能經(jīng)由用于提供輸出圖像的解塊濾波器(未示出))耦合到參考幀存儲器286。幀存儲器286與作為幀間預測器進行操作的運動補償器220耦合。運動補償器220還與第二預測修改器 260相連接。熵解碼器280被連接用來向運動補償器220的第二輸入端提供運動向量。解碼器280還向加權(quán)提供器和修改器230、 240提供輸入數(shù)據(jù)，加權(quán)提供器和修改器230、 240使用該輸入數(shù)據(jù)(加權(quán)標識符或代表加權(quán)的其它數(shù)據(jù))來提供初始幀內(nèi)加權(quán)系數(shù)、系統(tǒng)修改器和幀間加權(quán)系數(shù)。單元230、 240還向預測修改器250、 260輸出正確的幀內(nèi)和幀間加權(quán)系數(shù)。這些預測修改器250、 260的輸出端與加法器272 相連接，加法器272的輸出端與加法器270連接。這種解碼器實施方式200的操作類似于前面介紹和圖9中公開的實施方式。
圖11是按照本發(fā)明的視頻序列編碼器300的示意性框圖。編碼器 3 00接收包括具有多個圖像元素組的幀的輸入視頻序列。
輸入數(shù)據(jù)由笫一預測估計器310加以處理，第一預測估計器被安排用來估計要編碼的圖像元素組的第一預測。估計器310的操作如前所述并且涉及提供第一預測標識符。在編碼器300中還安排第二預測估計器320,用于如前所述那樣生成圖像元素組的第二預測。估計器 320還提供第二預測標識符。估計器310、 320不僅選擇相關參考圖像元素組來用作預測，而且優(yōu)選地還為當前圖像元素組確定最佳組大小，即，該組是否應該被處理為宏塊或子塊或劃分。按照另外一種可選方案，這一大小選擇是由編碼器300的專用劃分選擇器360來進行的。
第一系數(shù)定義器330被安排用來為圖像元素組定義初始第一加權(quán) 系數(shù)。相應地，第二系數(shù)定義器340被實現(xiàn)為用來定義要施加給第二組預測的第二加權(quán)系數(shù)。這些確定是如前所迷那樣進行的。修改量定義器350被安排用來定義要施加給來自于第一定義器330的初始第一加權(quán)系數(shù)的系數(shù)修改量，以生成包括與組中不同圖像元素位置相關聯(lián) 的多個系數(shù)值的笫一加權(quán)系數(shù)。除非使用隱含的加權(quán)系數(shù)和修改量標識符，否而不同的定義器330、 340、 350還提供使得解碼器能夠提供正確加權(quán)系數(shù)和系數(shù)修改量的各個標識符。
編碼器300優(yōu)選地還包括殘差編碼器，該殘差編碼器用于生成代表原始圖像元素組與由按照第一加權(quán)系數(shù)修改的第一預領'J和按照另一個加權(quán)系數(shù)修改的另一個預測表達的組之間的差的殘余誤差。編碼組表達于是優(yōu)選地包括第一預測標識符、第二預觀'J標識符以及至少一個初始第一加權(quán)系數(shù)標識符和第二加權(quán)系數(shù)標識符。這個至少一個系數(shù) 標識符可以具有明確(編碼表達中的專用位序列)或隱含(能夠根據(jù) 編碼表達中的其它序列計算出來)的形式。該編碼表達還可以包括殘差數(shù)據(jù)以及其它加權(quán)系數(shù)和/或修改量標識符。
34編碼器300的單元310到360可以是以軟件、硬件或它們的組合的形式提供的。
圖12描繪的是按照本發(fā)明的另一個實施方式的示范性編碼器300。該編碼器包括以信號通信的方式與加法器391的正輸入端相耦合的視頻輸入端。加法器391與變換器392耦合，變換器392之后是量化器 393。
量化器的輸出端與用來提供輸出位流的熵編碼器394的輸入端連接。量化器393的輸出端還與包括后面跟著反變換器396的反量化器 395的內(nèi)循環(huán)部分連接。反變換器397的輸出端與加法器397耦合，該加法器397繼而又與幀內(nèi)預測器310耦合。幀內(nèi)預測器310的輸出端與圖中由乘法器舉例示出的預測修改器354耦合。修改器354的輸出端與加法器356的第一輸入端耦合。
加法器397的輸出端可能通過解塊濾波器(未示出)與參考幀存儲器316耦合。幀存儲器316與運動補償器314耦合，該運動補償器 314與預測修改器352的輸入端耦合。兩個預測修改器352、 354的輸出端與加法器356耦合，加法器356的輸出端與加法器391的負輸入端和加法器397的輸入端連接。
視頻輸入端還與運動估計器312的第一輸入端連接，以提供運動向量。加法器397的輸出端也與運動估計器312連接。運動估計器314 和補償器314共同構(gòu)成了圖11的第二預測估計器320和劃分選擇器 360。運動估計器312的輸出端與運動補償器314和熵編碼器394的第二輸入端連接。
幀內(nèi)預測器310和運動補償器314的輸出端與加權(quán)系數(shù)分配器 330、 340、 350的輸入端連接。這個分配器使用幀間和幀內(nèi)預測來選擇初始幀內(nèi)加權(quán)系數(shù)、系數(shù)修改量和幀間加權(quán)系數(shù)。將這些輸出轉(zhuǎn)送到預測修改器352、 354，預測修改器352、 354對幀內(nèi)和幀間預測進行修改。
本領域技術人員將會理解，可以對本發(fā)明進行各種不同的修改和改變，而不會背離由所附權(quán)利要求限定的本發(fā)明的范圍。
35參考文獻 Joint Draft 7 of SVC Amendment, Joint Video Team (JVT) of ISO/IEC
MPEG & ITU-T VCEG, 200權(quán)利要求
1. 一種對編碼視頻序列的幀中圖像元素組進行解碼的方法，所述方法包括步驟a)提供所述圖像元素組的第一預測；b)提供所述圖像元素組的第二預測；c)提供初始第一加權(quán)系數(shù)；d)通過用系數(shù)修改量修改所述初始第一加權(quán)系數(shù)來生成包括多個系數(shù)值的第一加權(quán)系數(shù)，每個系數(shù)值與所述圖像元素組中的圖像元素位置相關聯(lián)；e)提供第二加權(quán)系數(shù)；f)根據(jù)所述第一預測和所述第一加權(quán)系數(shù)來確定加權(quán)的第一預測；g)根據(jù)所述第二預測和所述第二加權(quán)系數(shù)來確定第二加權(quán)的預測；h)基于所述加權(quán)的第一預測和所述第二加權(quán)的預測生成所述圖像元素組的解碼版本。
2. 按照權(quán)利要求1所述的方法，其中所述系數(shù)值取決于它們在所述圖像元素組中的相關相對圖像元素位置。
3. 按照權(quán)利要求1或2所述的方法，其中所述提供步驟a )包括基于所述幀中的編碼圖像元素組的解碼版本提供所述圖像元素組的幀內(nèi)預測。
4. 按照權(quán)利要求3所述的方法，此外還包括將所述系數(shù)修改量選擇成具有取決于所述圖像元素組中的相對圖像元素位置的多個系數(shù)值，其中與所述圖像元素組中的第一圖像元素位置相關聯(lián)的笫一系數(shù) 值大于與所述圖像元素組中的第二圖像元素位置相關聯(lián)的第二系數(shù) 值，所述第二圖像元素位置比所述笫一圖像元素位置離所述幀中的所述編碼圖^f象元素組更遠。
5. 按照權(quán)利要求1到4中任何一項所述的方法，其中所述提供步驟b )包括基于所述編碼視頻序列的另一幀中的編碼圖像元素組的解碼版本提供所述圖像元素組的幀間預測。
6. 按照權(quán)利要求1到5中任何一項所述的方法，其中所述提供步驟c)和所述提供步驟e)共同地包括步驟-提供所述初始第一加權(quán)系數(shù)和所述第二加權(quán)系數(shù)之一；和 -基于所述所提供的所述初始第一加權(quán)系數(shù)和所述笫二加權(quán) 系數(shù)之一計算所述初始第一加權(quán)系數(shù)和所述第二加權(quán)系數(shù)中的另一個。
7. 按照權(quán)利要求6所述的方法，其中所述提供步驟包括基于與所述圖像元素組相關聯(lián)的加權(quán)標識符提供所述初始第一加權(quán)系數(shù)和所述第二加權(quán)系數(shù)中的所述之一。
8. 按照權(quán)利要求1到7中任何一項所述的方法，此外還包括 -對所述笫一預測和所述第二預測的至少一個進行濾波，以獲得所述第一預測和所述第二預測中的所述至少一個的局部對比度信息;和-基于所述局部對比度信息提供所述系數(shù)修改量。
9. 按照權(quán)利要求1到8中任何一項所述的方法，此外還包括基于所述第一預測和所述第二預測中的至少一個執(zhí)行所述提供步驟c )和所述提供步驟e)中的至少一個。
10. 按照權(quán)利要求9所述的方法，此外還包括計算所述第一預測和所述第二預測之間的差，所述執(zhí)行步驟包括基于所述差執(zhí)行所述提供步驟c)和所述提供步驟e)中的至少一個。
11. 按照權(quán)利要求10所述的方法，其中所述執(zhí)行步驟包括基于所述差從定義多個不同加權(quán)系數(shù)的查詢表中提供所述初始第一加權(quán)系數(shù) 和所述第二加權(quán)系教中的至少一個。
12. 按照權(quán)利要求1到11中任何一項所述的方法，此外還包括從一組多個系數(shù)修改量中選擇所述系數(shù)修改量。
13. 按照權(quán)利要求12所述的方法，其中所述選擇步驟包括基于所述第一預測從一組多個系數(shù)修改量中選擇所述系數(shù)修改量。
14. 一種對視頻序列的幀中圖像元素組進行編碼的方法，所述方法包括步驟a) 估計所述圖像元素組的第一預測；b) 估計所述圖像元素組的第二預測；c) 定義初始第一加權(quán)系數(shù)；d) 定義要施加到所述初始第一加權(quán)系數(shù)上的系數(shù)修改量以生成包括多個系數(shù)值的第一加權(quán)系數(shù)，每個系數(shù)值與所述圖像元素組中的圖像元素位置相關聯(lián)，所述第一加權(quán)系數(shù)要施加到所述第一預測上；和e)定義要施加到所述笫二預測上的第二加權(quán)系數(shù)，其中將所述圖像元素組編碼為所述第一預測的標識符、所述第二預測的標識符以及所述初始第一加權(quán)系數(shù)和所述第二加權(quán)系數(shù)中的至少一個的標識付。
15. 按照權(quán)利要求14所述的方法，其中所述多個系數(shù)值取決于它們在所述圖像元素組中的相關相對圖像元素位置。
16. 按照權(quán)利要求14或15所述的方法，其中所述估計步驟a)包括基于所述幀中的另一個圖像元素組估計所述圖像元素組的幀內(nèi)預測。
17. 按照權(quán)利要求16所述的方法，其中所述定義步驟d)包括定義具有取決于所述圖像元素組中的相對圖像元素位置的多個系數(shù)值的系數(shù)修改量，其中與所述圖像元素組中的第一圖像元素位置相關聯(lián)的第一系數(shù)值大于與所述圖像元素組中的第二圖像元素位置相關聯(lián)的第二系數(shù)值，所述第二圖像元素位置比所述第一圖像元素位置離所述幀中的所述另一個圖像元素組更遠。
18. 按照權(quán)利要求14到17中任何一項所述的方法，其中所述估計步驟b )包括基于所述視頻序列的另一個幀中的圖像元素組估計所述圖像元素組的幀間預測。
19. 按照權(quán)利要求14到18中任何一項所述的方法，其中所述幀包括圖像元素的多個宏塊并且所述估計步驟b)包括步驟-找出構(gòu)成所述圖像元素組的適當宏塊劃分；和 -確定所述宏塊劃分的幀間預測，并且所述估計步驟a)包括基于所述幀間預測確定所述宏塊劃分的幀內(nèi)預測。
20. 按照權(quán)利要求14到19中任何一項所述的方法，其中將所述圖像元素組編碼為所述第一預測的所述標識符、所述第二預測的所述標識符、所述述初始第一加權(quán)系數(shù)的所述標識符和所述第二加權(quán)系數(shù) 中的所述標識符。
21. 按照權(quán)利要求14到20中任何一項所述的方法，此外還包括基于所述第一預測和所述第二預測執(zhí)行所述定義步驟c)和所述定義步驟e)中的至少一個。
22. 按照權(quán)利要求21所述的方法，此外還包括計算所述第一預測和所述第二預測之間的差，所述執(zhí)行步驟包括基于所述差執(zhí)行所述定義步驟c)和所述定義步驟e)中的至少一個。
23. 按照權(quán)利要求21所述的方法，此外還包括計算所述第一預測和所述第二預測中的局部空間差，所述執(zhí)行步驟包括基于所述差執(zhí)行所述定義步驟c)和所述定義步驟e)中的至少一個。
24. 按照權(quán)利要求14到23中任何一項所述的方法，其中所述定義步驟d)包括基于所述第一預測定義所述系數(shù)修改量。
25. 按照權(quán)利要求14或24中任何一項所述的方法，基于所述幀中的相鄰圖像元素組的殘差數(shù)據(jù)執(zhí)行所述定義步驟c)和定義步驟e) 中的至少一個。
26. —種解碼器，包括-第一預測提供器，該笫一預測提供器被安排用來提供編碼視頻序列中幀內(nèi)的圖像元素組的第一預測；-第二預測提供器，該第二預測提供器被安排用來提供所述圖像元素組的第二預測；-加權(quán)提供器，該加權(quán)提供器被安排用于提供初始第一加權(quán)系數(shù)和第二加權(quán)系數(shù)，-加權(quán)修改器，該加權(quán)修改器被安排用于通過用系數(shù)修改量修改所述初始第一加權(quán)系數(shù)來生成包括多個系數(shù)值的第一加權(quán)系數(shù)，每個系數(shù)值與所述圖像元素組中的圖像元素位置相關聯(lián)；-第一預測修改器，該第一預測修改器被安排用于基于由所述第一預測提供器提供的所述第一預測和由所述加權(quán)修改器產(chǎn)生的所述第一加4又系#:確定加權(quán)的第一預測；-第二預測修改器，該第二預測修改器被安排用于基于由所述第二預測提供器提供的所述第二預測和由所述加權(quán)提供器提供的所述第二加權(quán)系數(shù)確定第二加權(quán)的預測；和-圖像元素發(fā)生器，該圖像元素發(fā)生器被安排用于基于所述加權(quán)的第一預測和所述第二加權(quán)預測生成所述圖像元素組的解碼版本。
27. 按照權(quán)利要求26所述的解碼器，其中所述第一預測提供器被安排用于基于所述幀中的編碼圖像元素組的解碼版本提供所述圖像元素組的幀內(nèi)預測。
28. 按照權(quán)利要求26或27所述的解碼器，其中所迷第二預測提供器被安排用于基于所述編碼視頻序列的另一幀中的編碼圖像元素組的解碼版本提供所述圖像元素組的幀間預測。
29. 按照權(quán)利要求26到28所述的解碼器，其中所述加權(quán)提供器被安排用于提供所述第一幀內(nèi)加權(quán)系數(shù)和所述第二加權(quán)系數(shù)之一并且基于所述初始第一加權(quán)系數(shù)和所述第二加權(quán)系數(shù)中的所述一個計算所述初始第一加權(quán)系數(shù)和所述第二加權(quán)系數(shù)中的另一個。
30. 按照權(quán)利要求29所述的解碼器，其中所述加權(quán)提供器被安排用于基于與所述圖像元素組相關聯(lián)的加權(quán)標識符提供所述初始第一加權(quán)系數(shù)和所述第二加權(quán)系數(shù)中的所述之一。
31. 按照權(quán)利要求26到30中任何一項所述的解碼器，其中所述加權(quán)修改器被安排用于i )濾波所述第一預測和所述第二預測中的至少一個，以獲得所述第一預測和所述第二預測中的所述至少一個的局部對比度信息，和ii )基于所述局部對比度信息提供所述系數(shù)修改量。
32. 按照權(quán)利要求26到31中任何一項所述的解碼器，其中所述加權(quán)提供器被安排用于基于由所述第一預測提供器提供的所述第一預測和由所述第二預測提供器提供的所述第二預測中的至少一個提供所述初始第一加權(quán)系數(shù)和所述第二加權(quán)系數(shù)中的至少一個。
33. 按照權(quán)利要求32所述的解碼器，其中所述加權(quán)提供器被安排用于計算由所述第一預測提供器提供的所述第一預測和由所述第二預測提供器提供的所述第二預測之間的差并且用于基于所述差提供所述初始第一加權(quán)系數(shù)和所述第二加權(quán)系數(shù)中的至少一個。
34. 按照權(quán)利要求33所述的解碼器，其中所述加權(quán)提供器被安排用于基于所述差從定義多個不同加權(quán)系數(shù)的查詢表中提供所述初始第一加權(quán)系數(shù)和所述第二加權(quán)系數(shù)中的至少一個。
35. —種編碼器，包括-第一預測估計器，該第一預測估計器被安排用來估計視頻序列的幀內(nèi)的圖像元素組的第一預測；-笫二預測估計器，該笫二預測估計器被安排用來估計所述圖像元素組的第二預測；-第一系數(shù)定義器，該第一系數(shù)定義器被安排用于定義初始第一加^又系凄史；-修改量定義器，該修改量定義器被安排用于定義要施加到所述初始第一加權(quán)系數(shù)上的系數(shù)修改量以生成包括多個系數(shù)值的第一加權(quán)系數(shù)，每個系數(shù)值與所述圖像元素組中的圖像元素位置相關聯(lián)，所述第一加權(quán)系數(shù)要施加到所述第一預測上；和-第二系數(shù)定義器，該第二系數(shù)定義器被安排用于定義要施加到所述第二預測上的第二加權(quán)系數(shù)，其中將所述圖像元素組編碼為所述第一預測的標識符、所述第二預測的標識符以及所述初始第一加權(quán)系數(shù)和所述第二加權(quán)系數(shù)中的至少一個的標識符。
36. 按照權(quán)利要求35所述的編碼器，其中所述幀包括圖像元素的多個宏塊，并且所述編碼器此外還包括劃分選擇器，該劃分選擇器被安排用于選擇構(gòu)成所述圖像元素組的適當宏塊劃分，所述第二預測估計器被安排用于確定所述宏塊劃分的幀間預測，并且所述第一預溯'J估計器被安排用于基于所述幀間預測確定所述宏塊劃分的幀內(nèi)預須'J 。
37. 按照權(quán)利要求35或36所述的編碼器，其中所述第一系數(shù)定義器被安排用于基于所述估計的笫一預測和所述第二預測確定所述初始第一加權(quán)系數(shù)。
38. 按照權(quán)利要求35到37中任何一項所述的編碼器，其中所述第二系數(shù)定義器被安排用于基于所述估計的第一預測和所述第二預測確定所述第二加權(quán)系數(shù)。
39. —種對編碼視頻序列的幀中的圖像元素組進行解碼的方法，所述方法包括步驟a) 提供所述圖像元素組的第一預測；b) 提供所述圖像元素組的笫二預測；c) 根據(jù)由所述第一預測和所述第二預測計算出來的量提供加權(quán)預測；和d) 基于所述加權(quán)預測和從所述第一預測及所述第二預測中選擇的預測生成所述圖像元素組的解碼版本。
40. 按照權(quán)利要求39所述的方法，其中所述提供步驟c)包括-計算所述第一預測和所述第二預測之間的差；和-基于所述計算的差從查詢表中提供所述加權(quán)預測。
41. 按照權(quán)利要求39或40所述的方法，其中所述生成步驟包括基于所述加權(quán)預測與從所述第一預測及所述第二預測中選擇的所述預測的相加生成所述解碼版本。
42. 按照權(quán)利要求39到41中任何一項所述的方法，其中所述加權(quán)預測包括用于所述組中的所述圖像元素的不同預測值，其中所述不同預測值反映所述第一預測和所述第二預測的至少一個中的預測值的相對不確定性。
43. 按照權(quán)利要求39到41中任何一項所述的方法，其中所述加權(quán)預測包括用于所述組中的所述圖像元素的不同預測值，其中所述不同預測值反映所述第一預測和所述第二預測的至少一個中的局部對比度變化。
全文摘要
本發(fā)明涉及通過混合模式對視頻幀(10)的像素塊(20)進行編碼和解碼，該混合模式牽涉到使用像素塊(20)的第一預測和該像素塊(20)的至少第二預測。使用系數(shù)修改量修改初始第一加權(quán)系數(shù)，以生成包括多個不同系數(shù)值的第一加權(quán)系數(shù)，這些系數(shù)值能夠分配給第一預測的不同的基于像素的第一預測值。將第一加權(quán)系數(shù)應用于第一預測，并且將第二加權(quán)系數(shù)應用于第二塊預測。然后將這至少兩個加權(quán)預測組合起來，形成當前像素塊(20)的混合預測。
文檔編號H04N7/50GK101491107SQ200780025797
公開日2009年7月22日申請日期2007年6月29日優(yōu)先權(quán)日2006年7月7日
發(fā)明者K·安德森, R·斯約伯格申請人:艾利森電話股份有限公司

完整全部詳細技術資料下載