專利名稱：用中間層殘留值預測產(chǎn)生并解碼視頻序列的設備和方法
技術領域：
本發(fā)明涉及視頻編碼系統(tǒng)，具體地涉及可縮放(scalable)視頻編碼系統(tǒng)，可結合 視頻編碼標準H. 264/AVC或新的MPEG視頻編碼系統(tǒng)一起使用。
背景技術：
標準H. 264/AVC是IUT-T視頻編碼專家組VCEG和IS0/IEC運動圖像專家組(MPEG) 的視頻標準化計劃的結果。該標準化計劃的主要目標是提供一種具有非常良好的壓縮行 為、同時產(chǎn)生網(wǎng)絡友好的視頻表征的清晰視頻編碼概念，包括例如視頻電話的具有“通話特 征”的應用以及沒有通話特征的應用(存儲、廣播、流傳輸)。除了上述標準IS0/IEC 14496-10之外，還存在與該標準有關的多種出版物。僅作 為示例，參考 “The Emerging H. 264-AVC standard”，Ralf Schafer, Thomas Wiegand and Heiko Schwarz, EBU Technical Review, January 2003。此夕卜，專家出版物"Overview of the H. 264/AVC Video Coding Standard，，，Thomas ffiegand, Gary J. Sullivan, Gesle Bjontegaard and Ajay Lothra, IEEE Transactions on Circuits and Systems for Video Technology, July 2003 以&Ht出片反· “Context—based adaptive Binary Arithmethic Coding in the H. 264/AVC Video Compression Standard，，，Detlev Marpe, Heiko Schwarz and Thomas ffiegand,IEEE Transactions on Circuits and Systems for Video Technology, September 2003，包括視頻編碼標準的不同方面的概述。然而，為了更好地理解，將參考圖9至11給出視頻編碼/解碼算法的概述。圖9示出了視頻編碼器的完整結構，視頻編碼器通常包括兩個不同級。通常，第一 級通常進行有關視頻的操作，產(chǎn)生輸出數(shù)據(jù)，然后輸出數(shù)據(jù)經(jīng)過第二級的熵編碼，第二級在 圖9中由80表示。數(shù)據(jù)是數(shù)據(jù)81a、量化變換系數(shù)81b以及運動數(shù)據(jù)81c，其中，將這些數(shù) 據(jù)81a、81b、81c提供給熵編碼器80，以在熵編碼器80的輸出處產(chǎn)生編碼的視頻信號。具體地，將輸入視頻信號分別分割劃分為宏塊，其中每個宏塊具有16X16像素。 然后，選擇宏塊與片組和片的關聯(lián)，根據(jù)該關聯(lián)，由圖8所示的操作塊網(wǎng)絡來處理每個片的 每個宏塊。應該注意，當視頻圖像中存在不同的片時，可能高效并行處理宏塊。經(jīng)由圖8中 的塊編碼器控制82來執(zhí)行宏塊與片組和片的關聯(lián)。存在不同的片，這些片定義如下I片1片是其中片的所有宏塊都是使用幀內預測來編碼的片。P片除了 I片的編碼類型之外，P片的某些宏塊也可利用每個預測塊的至少一個 運動補償預測信號，使用幀間預測來編碼。B片除了 P片中可用的編碼類型之外，B片的某些宏塊也可利用每個預測塊的兩 個運動補償預測信號，使用幀間預測來編碼。
上述三種編碼類型與早期的標準中的編碼類型非常類似，但是如下面所述的，使 用參考圖像。下面片的兩種編碼類型在標準H. 264/AVC中是新的SP片該片也被稱為切換P片，其編碼成可在不同預編碼圖像之間有效地切換。SI片SI片也被稱為切換I片，其使SP片中的宏塊精確地適應直接隨機存取和錯 誤恢復目的?？偠灾?，片是宏塊序列，如果不使用靈活宏塊排序FMO的屬性，則按照光柵掃描 的順序對片進行處理，標準中同樣定義了 FM0。如圖11所示，可將圖像分割為一個或多個 片。因此，圖像是一個或多個片的集合。在這點上，由于可根據(jù)比特流來分析(解析)片的 語法單元，所以片是彼此獨立的，其中，可在片所表示的圖像范圍內正確地對采樣值進行解 碼，只要所用的參考圖像在編碼器和解碼器中是相同的。然而，需要來自其它片的某些信息 來在片邊界上應用解塊濾波器(deblocking filter)。FMO特性通過使用片組的概念，來修改將圖像劃分為片的方式。每個片組是由宏塊 到片組的映射所定義的宏塊的集合，宏塊到片組的映射由圖像參數(shù)集的內容和來自片頭的 某些信息規(guī)定。該宏塊到片組的映射包括圖像中每個宏塊的片組標識號，該標識號規(guī)定了 有關宏塊所屬的片組?？蓪⒚總€片組劃分為一個或多個片，因此片是相同片組中的宏塊的 序列，該序列按照特定片組的宏塊集合中的光柵抽樣的順序來處理。取決于片編碼器的類型，可以以一個或多個編碼器類型來發(fā)送每個宏塊。在所有 片編碼器類型中，支持被稱為intra_4x4或intra_16X16類型的幀內編碼，此外，還支持色度預 測模式和I_rcM預測模式。intra_4x4模式基于獨立的每個4X4色度塊的預測，并且非常適用于對具有突出 細節(jié)的圖像部分進行編碼。另一方面，intra_16X16模式執(zhí)行整個16X16色度塊的預測，并 更適用于對圖像的“柔和，，區(qū)域進行編碼。除了這兩個色度預測類型之外，還執(zhí)行獨立的色度預測。作為intra_4x4* intra_16X16的備選，I_4X4編碼類型使得編碼器簡單地省略預測以及變換編碼，而直接發(fā)送 編碼的采樣的值。Ι—κ 模式具有以下目的其是編碼器精確地表征采樣的值。其提供一種 精確地表征非常異常的圖像內容的值而不放大數(shù)據(jù)的方式。此外，其可以確定比特數(shù)的確 切邊界，編碼器需要具有該確切邊界以處理宏塊而不損失編碼效率。與在變換域中執(zhí)行幀內預測的早期的視頻編碼標準(即H. 263+和MPEG-4Visual) 相反，H. 264/AVC中的幀內預測總是通過參考分別在要預測的塊的左側和上方的先前編碼 的塊的相鄰采樣，在空間域中執(zhí)行的(圖10)。在出現(xiàn)傳輸錯誤的某些情況下，這會引起錯 誤傳播，其中，由于幀內編碼的宏塊中的運動補償而發(fā)生該錯誤傳播。因此，可用信號通知 受限的幀內編碼模式，受限的幀內編碼模式僅能夠預測幀內編碼的相鄰宏塊。在使用intra_4x4模式時，預測空間相鄰采樣的每個4X4 ±夬。通過使用相鄰塊中 先前解碼的采樣，來預測4X4塊的16個采樣。可對每個4X4塊使用9種預測模式之一。 除了 “DC預測”(其中一值用于預測整個4X4塊)之外，規(guī)定8個方向預測模式。這些模 式適用于預測圖像中的方向結構，例如不同角度的邊緣。除了幀內宏塊編碼類型之外，將不同預測或運動補償編碼類型規(guī)定為P宏塊類 型。每個P宏塊類型與將宏塊具體分為塊形式相對應，塊形式用于運動補償預測。語法支 持以16 X 16、16 X 8、8 X 8或者8 X 16采樣的小塊尺寸進行劃分。在8 X 8采樣的劃分中，對
4于每個8X8劃分，發(fā)送附加的語法單元。該語法單元規(guī)定了是否將各個8X8劃分進一步 劃分為8X4、4X8或者4X4亮度采樣和相應的色度采樣。通過將各個參考圖像的區(qū)域移動由平移矢量和圖像參考指標規(guī)定的量，獲得每個 預測編碼的MXM小塊的預測信號。因此，如果使用四個8X8劃分來編碼宏塊，并且在將每 個8X8劃分進一步劃分為四個4X4劃分時，可在所謂運動場內傳輸單個P宏塊的最大量 為16的運動矢量。在H. 264/AVC中，量化參數(shù)片QP用于確定變換系數(shù)的量化。該參數(shù)可假定52個 值。設置這些值，使得量化參數(shù)增加1則意味著量化器步長寬度增加大約12%。這意味著 量化參數(shù)增加6則使量化器步長寬度恰好增加因子2。應該注意，步長大小改變大約12% 也意味著比特率減少大約12%。塊的量化變換系數(shù)通常以Z字形路徑來采樣，并通過使用熵編碼方法來處理。按 照光柵掃描順序來采樣色度分量的2X 2DC次數(shù)，并且可通過使用16比特整數(shù)值的加法和 移位運算來實現(xiàn)H. 264/AVC中的所有逆變換運算。參考圖9，對于視頻序列中的每個圖像，首先逐個圖像將輸入信號劃分為16X16 像素的宏塊。然后，將每個圖像提供給減法器84，減法器84減去由包含在編碼器中的解碼 器85提供的原始圖像。然后對減法結果(即空間域的殘留信號)進行變換、縮放和量化 (塊86)，以獲得線81b熵的量化變換系數(shù)。為了產(chǎn)生要饋入減法器84的減法信號，首先再 次對量化變換系數(shù)進行縮放和逆變換(塊87)，以提供給加法器88，加法器88的輸出饋入 解塊濾波器89，其中，例如，在解塊濾波器的輸出處監(jiān)視將要由解碼器進行解碼的輸出視頻 信號，以用于控制目的(輸出90)。通過使用輸出90處的解碼的輸出信號，在塊91中執(zhí)行運動估計。對于塊90中的 運動估計，從圖9中可見，提供原始視頻信號的圖像。標準允許兩種不同的運動估計，即前 向運動估計和后向運動估計。在前向運動估計中，關于前一圖像來估計當前圖像的運動。 然而，在后向運動估計中，使用將來的圖像來估計當前圖像的運動。將運動估計的結果(塊 91)提供給運動補償塊92，特別地，在開關93切換到幀間預測模式時，就像在圖9的情況下 一樣，運動補償塊92執(zhí)行運動補償幀間預測。然而，如果開關93切換到幀內預測，則使用 塊490來執(zhí)行幀內預測。因此，由于對于幀內預測，不執(zhí)行運動補償，所以不需要運動數(shù)據(jù)。運動估計塊91分別產(chǎn)生運動數(shù)據(jù)和運動場，其中，將分別包括運動矢量的運動數(shù) 據(jù)和運動場發(fā)送到解碼器，從而可執(zhí)行相應的逆預測，即使用變換系數(shù)和運動數(shù)據(jù)的重構。 應該注意，在前向預測中，可分別根據(jù)緊接的前一圖像和多個在前的圖像來計算運動矢量。 除此之外，還應該注意，在后向預測中，可使用緊接的相鄰的將來圖像，當然也可使用其它 的將來圖像，來計算當前圖像。圖9所示的視頻編碼概念的缺點在于，其未提供簡單的可縮放性的可能。如本領 域公知的，術語“可縮放性(scalability)，，表示編碼器/解碼器概念，其中，編碼器提供縮 放的數(shù)據(jù)流?？s放的數(shù)據(jù)流包括基本縮放層以及一個或多個增強縮放層?；究s放層包括 要編碼的信號的表征，通常具有較低質量，但同時具有較低數(shù)據(jù)率。增強縮放層包含視頻信 號的另一表征，其提供相對于基本縮放層有提高質量的表征，典型地伴隨著基本縮放層的 視頻信號表征。另一方面，當然，增強縮放層具有各自的比特需求，因此用于表示要編碼的 信號的比特數(shù)隨每個增強層而增加。
取決于設計和可能性，解碼器僅對基本縮放層進行解碼，以提供由解碼信號表示 的圖像的相當差質量的表征。然而，隨著每次“增加”另一縮放層，解碼器可逐步提高信號 的質量(在有損比特率的情況下)。取決于實現(xiàn)方式和編碼器到解碼器的傳輸通道，由于典型地基本縮放層的比特率 很低而有限的傳輸通道足夠，所以傳輸至少一個基本縮放層。如果傳輸通道不再有更多的 帶寬，則僅傳輸基本縮放層而不傳輸增強縮放層。結果，解碼器可只產(chǎn)生圖像信號的低質量 表征。與數(shù)據(jù)率太高而使得傳輸系統(tǒng)不太可能的未縮放情況相比，低質量表征是有利的。如 果傳輸通道運動傳輸一個或多個增強層，則編碼器將向解碼器傳輸一個或多個增強層，因 此可根據(jù)請求，逐步地提高輸出視頻信號的質量。關于視頻序列的編碼，可區(qū)分兩種不同的縮放。一種縮放是時間縮放，因此未傳輸 視頻序列的所有視頻幀，而是為了減小數(shù)據(jù)率，例如，僅傳輸了每第二個幀、每第三個幀、每 第四個幀等。另一種縮放是SNR縮放(SNR=信噪比)，其中，基本縮放層和第一、第二、第 三、.· ·增強縮放層包括所有的時間信息，但是具有不同的質量。因此，基本縮放層具有低數(shù) 據(jù)率，但是具有低信噪比，其中，可通過每次增加一個增強縮放層來逐步地提高該信噪比。圖9所示的編碼器概念的問題在于，它是基于殘留值僅由減法器84產(chǎn)生、然后被 處理的事實。在圖9所示的通過使用塊86、87、88、93、94和84而形成閉合回路的設置中， 基于預測算法來計算這些殘留值，其中，量化參數(shù)進入閉合回路，即進入塊86、87。如果現(xiàn)在 實現(xiàn)簡單的SNR縮放，即例如首先用粗量化步來量化預測殘留信號，然后通過使用增強層， 用細量化器步長來逐步量化預測殘留信號，這將具有以下結果。由于逆量化和預測，特別 地，關于一方面使用原始圖像且另一方面使用量化圖像而進行的運動估計(塊91)和運動 補償(塊92)，將在編碼器和解碼器中導致量化器步長的“發(fā)散”。這導致在解碼器一側產(chǎn) 生增強縮放層非常困難。此外，在解碼器一側處理增強縮放層變得不可能，至少是關于在標 準H. 264/AVC中定義的單元不可能。因此，原因是圖9所示的視頻編碼器中的閉合回路包 含量化。在San Diego2003年12月2日到5日的第九屆JVT會議介紹的Hsiko Schwarz， Detlev Marpe 和 Thomas Wiegand 的題為 “SNR-Scalable Extension of H. 264/AVC” 的標 準化文獻JVT-I 032 tl中，介紹了對H. 264/AVC的可縮放擴展，其中包括關于時間和信噪 比的可縮放性(具有相等或不同時間精度)。因此，引入了時間子帶劃分的提升表征，這允 許使用運動補償預測的公知方法。在 J.-R. Ohm, "Complexity and delay analysis of MCTF interframe wavelet structures”，I SO/1 EC JTCl/WG11 Doc. M8520, July 2002 中描述了其中提升表征用于小 波分析和小波合成的基于小波的視頻編碼算法。在D. Taubman, "Successive refinement of video fundamental issues, past efforts and new directions，，，Proc. of SPIE (VCIP，03)，vol. 5150，pp. 649-663，2003中可以找到與可縮放性有關的評述，然而，其 中需要顯著的編碼器結構改變。根據(jù)本發(fā)明，一方面實現(xiàn)了編碼器/解碼器的概念，另一方 面，可縮放的可能性可基于與標準一致的單元，尤其是對于運動補償。在詳細參考圖3的編碼器/解碼器機構之前，首先，參考圖4來分別描述編碼 器一側的基本提升方案和解碼器一側的逆提升方案。在W. Sweldens，“A custom designconstruction of biorthogonal wavelets", J. Appl. Comp. Harm. Anal. , vol. 3 (no. 2), pp.186-200,1996 禾口 I.Daubechies and W. Sweldens, "Factoring wavelet transforms into lifting Steps", J. Fourier Anal. Appl.，vol. 4 (no. 3)，pp. 247-269，1998 可找到與 提升方案和小波變換的組合的背景技術有關的詳細解釋。通常，提升方案包括三步，即多相 分解步驟、預測步驟和更新步驟。分解步驟包括將輸入側的數(shù)據(jù)流劃分為下分支40a的相同第一拷貝以及上分支 40b的相同拷貝。此外，將上分支40b的相同拷貝延遲一時間級(廣)，使得具有奇數(shù)索引k 的采樣s2k+1與具有偶數(shù)索引s2k的采樣分別經(jīng)過各個抽取器和下采樣器42a、42b。抽取器 42a和42b分別通過去除每第二個采樣，來減少上和下分支40b、40a中的采樣數(shù)。涉及預測步驟的第二區(qū)域II包括預測算子43和減法器44。表示更新步驟的第三 區(qū)域包括更新算子45和加法器46。在輸出側，存在兩個歸一化器47、48，用于歸一化高通 信號hk (歸一化器47)和歸一化低通信號Ik (歸一化器48)。具體地，多相分解導致給定信號s [k]的奇偶采樣的劃分。由于相關性結構典型地 示出了局部特性，所以奇偶多相分量高度相關。因此，在最后的步驟中，通過使用整數(shù)采樣 來執(zhí)行奇數(shù)采樣的預測(P)。每個奇數(shù)采樣S。dd[k] = s[2k+l]的相應預測算子(P)是相鄰 偶數(shù)采樣s_n[k] = s[2k]的線性組合，即UW =Σ Pzs^nik + °
/作為預測步驟的結果，奇數(shù)采樣由它們各自的預測殘留值替代h [k] = Sodd [k] -P (Seven) [k]。應該注意，預測步驟等效于執(zhí)行兩個通道的濾波器組的高通濾波，如在 I. Daubechies and W. Sweldens,"Factoring wavelet transforms into lifting steps，，， J. Fourier Anal. Appl. vol 4 (no. 3)，pp. 247-269，1998 中所示。在提升方案的第三步驟中，通過用預測殘留值h[k]的線性組合來替代偶數(shù)采樣 sCTm[k]，來執(zhí)行低通濾波。各個更新算子U給出如下U(/Z)[A:] =^W,/ψ:+ /]·。
ι通過用以下值替代偶數(shù)采樣l[k] = seven[k]+U (h) [k]給出的信號s[k]最終可由l[k]和h[k]表示，其中，每個信號具有二分之一采樣 率。由于更新步驟和預測步驟都是完全可逆的，所以可將相應的變換解釋為嚴格采樣理想 重構濾波器組。實際上，可以看出，可由一個或多個預測步驟和一個或多個更新步驟的序列 來實現(xiàn)任意雙正交族的小波濾波器。對于低通和高通分量的歸一化，如已經(jīng)解釋的，給歸一 化器47和48提供適當選擇的縮放因子F1和Fh。圖4在右手邊示出了與合成濾波器組相對應的逆提升方案。該方案只包括以相反 順序以及相反符號來應用預測和更新算子，之后通過使用奇偶多相分量來進行重構。具體 地，圖4所示的右邊的解碼器也包括第一解碼器區(qū)域I、第二解碼器區(qū)域II以及第三解碼器 區(qū)域III。第一解碼器區(qū)域抵消更新算子45的效果。這通過向更新算子45提供由另一歸 一化器50歸一化的高通信號來實現(xiàn)。然后，與圖4的加法器46相反地，將解碼器側的更新 算子45的輸出信號提供給減法器52。相應地，處理預測器43的輸出信號，然后將該輸出
7信號提供給加法器53，而不是與編碼器側一樣提供給減法器?，F(xiàn)在，在每個分支中進行因 子2的信號上采樣(塊54a、54b)。然后，將上分支向將來移位一個采樣，這等效于延遲下分 支，來在加法器55中執(zhí)行上分支和下分支上的數(shù)據(jù)流的加法，以在合成濾波器組的輸出處 獲得重構的信號％?？煞謩e由預測器43和更新算子45來實現(xiàn)多個小波。如果要實現(xiàn)所謂hair小波， 則預測算子和更新算子給出如下PHair(seven) [k] = s[2k]和K綱=全釋使得h[k] =s[2k+l]-s[2k]以及/[^ =對+二 |(>[2幻 +對2眾 + 1])分別與 hair 濾波器的非歸一化高通和低通(分析)輸出信號相對應。在5/3雙正交樣條小波的情況下，該小波的低通和高通分析濾波器分別具有5和 3個濾波器抽頭，其中，相應的縮放函數(shù)是二階B樣條。在諸如JPEG200的靜止圖像的編碼 器應用中，該小波用于時間子帶編碼器方案。在提升情況下，5/3變換的相應預測和更新算 子給出如下Pm(seve )[k] 二 ^(s[2k] + s[2k + 2])以及C/5/3(/0|l] = ^(h[k] + h[k - 1])圖3示出了在編碼器一側和解碼器一側都具有示范性的四個濾波器級的編碼器/ 解碼器結構的方框圖。從圖3可見，編碼器的第一濾波器級、第二濾波器級、第三濾波器級 和第四濾波器級是相同的。解碼器的濾波器級也是相同的。在編碼器一側，每個濾波器級 包括后向預測Mi(l60以及前向預測Μη61作為中心單元。后向預測器60在原理上與圖4的 預測器43相對應，而前向預測器61與圖4的更新算子相對應。與圖4相反，應該注意，圖4涉及采樣流，其中采樣具有奇數(shù)索引2k+l，而另一采樣 具有偶數(shù)索引2k。然而，如已經(jīng)參考圖1所解釋的，圖3中的注釋涉及一組圖像而不是一組 采樣。如果圖像分別具有多個采樣和圖像，則完全饋入該圖像。然后，饋入下一圖像等。因 此，不再有奇數(shù)和偶數(shù)采樣，而只有奇數(shù)和偶數(shù)圖像。根據(jù)本發(fā)明，將針對奇數(shù)和偶數(shù)采樣 所描述的提升方案分別應用于每個都具有多個采樣的奇數(shù)和偶數(shù)圖像。現(xiàn)在，圖4的逐個 采樣預測器43變?yōu)楹笙蜻\動補償預測60，而逐個采樣更新算子45變?yōu)橹饌€圖像前向運動 補償預測61。應該注意，針對兩個相繼的有關圖像來計算運動濾波，運動濾波包括運動矢量且 表示塊60和61的系數(shù)，并將其作為輔助信息從編碼器發(fā)送到解碼器。然而，本發(fā)明概念 的主要優(yōu)點在于，結合圖9所描述的且在標準H. 264/AVC中標準化的單元91、92可容易地 用于計算運動場Mitl和運動場Μη。因此，對于本發(fā)明概念，不需要使用新的預測器/更新算 子，而可將在針對功能和效率所檢查的視頻標準中提到的已有算法用于前向或后向的運動 補償。具體地，圖3所示的所用濾波器組的一般結構示出了在輸入64處饋入的具有16 個圖像組的視頻信號的時間分解。該分解是視頻信號的二元時間分解，其中，在圖3所示的 實施例中，需要四極24 = 16個圖像(表示組大小為16個圖像)來實現(xiàn)最小時間分辨率的 表征，該表征即輸出28a和輸出28b處的信號。因此，如果將16個圖像分組，則導致16個圖像的延遲，這使圖3所示的具有四級的概念對于交互式應用更加困難。因此，如果目的是 交互式應用，則優(yōu)選地形成更小的圖像組，例如四個或八個圖像的組。然后，相應地減小延 遲，從而可能用于交互式應用。在不需要交互的情況下，例如用于存儲等的情況下，可相應 地增加組中圖像數(shù)目，即組大小，例如增加到32個、64個圖像等。在這種方式下，使用基于hair運動補償提升方案的交互式應用，該應用包括 H. 264/AVC中的后向運動補償預測(Mitl)，并還包括更新步驟，更新步驟包括前向運動補償 (Mil)。如H. 264/AVC所示的，預測步驟和更新步驟都使用運動補償過程。此外，不僅使用運 動補償，還使用由圖9中的附圖標記89所表示的解塊濾波器89。第二濾波器級還包括下采樣器66a、66b、減法器69、后向預測器67、前向預測器68 以及加法器70和另一處理裝置，該另一處理裝置用于在所述另一處理裝置的輸出處輸出 第二級的第一和第二高通圖像，并在加法器70的輸出處輸出第二級的第一和第二低通圖 像。此外，圖3的編碼器包括第三級和第四級，其中，將16個圖像的組饋入第四級輸入 64。在也被稱為HP4的第四級高通輸出72處，輸出用量化參數(shù)Q量化且相應處理的八個高 通圖像。相應地，在第四濾波器級的低通輸出73處，輸出八個低通圖像，這八個低通圖像饋 入第三濾波器級的輸入74。該級同樣用于在也被稱為HP3的高通輸出75處產(chǎn)生四個高通 圖像，并在低通輸出76處產(chǎn)生四個低通圖像，這四個低通圖像饋入第二濾波器級的輸入10 并被分解。特別地，應該注意，由濾波器級處理的圖像組并不一定必須是來源于原始視頻序 列的視頻圖像，而可以是由下一更高濾波器級在濾波器級的低通輸出處輸出的低通圖像。此外，還應該注意，當簡單地省略第四濾波器級并將圖像組饋入輸入74時，圖3所 示針對16個圖像的編碼器概念可容易地減少為針對八個圖像。以相同的方式，可通過添加 第五濾波器級、然后在第五濾波器級的高通輸出處輸出16個高通圖像、并將第五濾波器級 的輸出處的十六個低通圖像饋入第四濾波器級的輸入74，將圖3所示的概念擴展為針對32 圖像組。編碼器一側的樹式概念同樣適用于解碼器一側，但是不像編碼器一側一樣從高級 到低級，而是在解碼器一側從低級到高級。因此，示意地被稱為網(wǎng)絡抽象層100的從傳輸介 質接收數(shù)據(jù)流，所接收的比特流首先經(jīng)過另一逆處理裝置的另一逆處理，在裝置30a的輸 出處獲得第一級的第一高通圖像的重構版本，并在圖3的塊30b的輸出處獲得第一級低通 圖像的重構版本。然后，與圖4的右半部相同，經(jīng)由預測器61，首先將前向運動補償預測反 轉，然后從低通信號的重構版本中減去預測器61的輸出信號(減法器101)。減法器101的輸出信號饋入后向補償預測器60，產(chǎn)生預測結果，在加法器102中 將預測結果與高通圖像的重構版本相加。然后，通過使用上采樣器104a、104b，使兩個信號 (即下分支103a、上分支103b中的信號)變?yōu)殡p倍采樣率，然后根據(jù)實現(xiàn)方式，使上分支的 信號延遲或“加速”。應該注意，僅通過插入與圖像的采樣數(shù)相對應的數(shù)目的零，由橋104a、 104b來執(zhí)行上采樣。以ζ—1示出的單元使上分支103b相對于下分支103a的圖像延遲移動 使得兩個第二級低通圖像依次出現(xiàn)在相對于加法器106的輸出側。第一和第二第二級低通圖像的重構版本然后饋入解碼器一側的第二級逆濾波器， 通過逆濾波器組的相同實現(xiàn)，再次與發(fā)送的第二級高通圖像組合，在第二級的輸出101處
9獲得四個第三級低通圖像序列。四個第三級低通圖像然后在第三級的逆濾波器級中與發(fā)送 的第三級高通圖像組合，在逆第三級濾波器的輸出110處獲得序列格式的八個第四級低通 圖像。在逆第四級濾波器中，這八個第四級低通圖像再次與經(jīng)由輸入HP4從傳輸介質100接 收的八個第四級高通圖像組合，在逆第四級濾波器的輸出112處獲得16個圖像的重構組。因此，在分析濾波器組的每一級中，將兩個圖像(原始圖像或者表示低通信號并 在下一更高級中產(chǎn)生的圖像)分解為低通信號和高通信號。低通信號可以當作輸入圖像的 共有特性的表征，而高通信號可當作輸入圖像之間的差異的表征。在合成濾波器組的相應 級中，通過使用低通信號和高通信號，再次重構兩個輸入圖像。由于在合成步驟中執(zhí)行分析步驟的逆運算，所以分析/合成濾波器組(當然沒有 量化)確保了理想的重構。損耗僅發(fā)生在其它處理裝置中的量化中，例如26a、26b、18。如果非常精精細地執(zhí) 行量化，則可實現(xiàn)良好的信噪比。然而，如果非常粗略地執(zhí)行量化，則實現(xiàn)相對差的信噪比， 但是具有低的比特率，即要求低。沒有SNR可縮放性，利用圖3所示的概念，已經(jīng)實現(xiàn)了時間縮放控制。因此，使用 時間縮放控制120，其形成為在輸入側分別獲得高通和低通輸出以及其它處理裝置(26a、 26b、18、…)的輸出，以從這些部分數(shù)據(jù)流TPl、HPl、HP2、HP3、HP4中產(chǎn)生縮放的數(shù)據(jù)流， 該縮放的數(shù)據(jù)流具有基本縮放層的第一低通圖像和第一高通圖像。然后，第二高通圖像的 處理版本容納在第一增強縮放層中。第三級高通圖像的處理版本會被容納在第二增強縮放 層中，而第四級高通圖像的處理版本會被引入第三增強縮放層。因此，僅根據(jù)基本縮放層， 解碼器可產(chǎn)生具有較低時間質量的低級低通圖像序列，即每個圖像組的兩個第一級低通圖 像。隨著每個增強縮放層的添加，可一直使每組的重構圖像數(shù)目翻倍。解碼器的功能典型 地由縮放控制來控制，縮放控制形成為檢測在數(shù)據(jù)流中包含多少縮放層以及解碼器在解碼 期間要考慮多少縮放層。Heiko Schwarz,Detlev Marpe and Thomas Wiegand^ 2003 ^Ξ 12 ^ 8 HM 12 H 在Waikoloa Hawaii 的第十屆 JVT會議中介紹的題為“SNR-Scalable Extension of H. 264/ AVC”的JVT文獻JVT-J 035示出了圖3和圖4所示的時間分解方案的SNR可縮放擴展。具 體地，將時間縮放層劃分為各個“SNR縮放子層”，其中，用第一粗量化器步長來量化某個時 間縮放層，來獲得SNR基本層。然后，執(zhí)行逆量化，并從原始信號中減去逆量化的結果信號， 獲得差值信號，然后用細量化器步長對差值信號進行量化，獲得第二縮放層。然而，用細量 化器步長對第二縮放層進行再次量化，從原始信號中減去再次量化后獲得的信號，獲得另 一差值信號，在用細量化器步長進行量化之后，該差值信號分別表示第二 SNR縮放層和SNR 增強層。因此，可以發(fā)現(xiàn)，基于運動步長時間濾波(MCTF)的上述可縮放性方案已經(jīng)提供了 關于時間可縮放性以及SNR可縮放性的高度靈活性。但是還有一個問題，即多個縮放層的 總比特率仍然遠大于在不能夠縮放的情況下編碼最高質量的圖像時所實現(xiàn)的比特率。由于 不同縮放層的輔助信息，可縮放的編碼器也許永遠不能夠獲得未縮放情況下的比特率。然 而，具有多個縮放層的數(shù)據(jù)流的比特率應該盡可能地接近未縮放情況的比特率。此外，可縮放性概念應該對于所有可縮放性類型都提供高度靈活性，這意味著關 于時間和空間的高度靈活性以及關于SNR的高度靈活性。
10
在具有低分辨率的圖像已足夠但是希望更高時間分辨率的情況下，高靈活性尤其 重要。例如，當圖像中存在快速改變，例如在團體性運動的視頻中，除了球之外，還有許多人 同時運動時，會產(chǎn)生這種情況。

發(fā)明內容
本發(fā)明的目的式提供一種靈活的編碼/解碼概念，盡管該概念是可縮放的概念， 它也可提供盡可能低的比特率。該目的由根據(jù)權利要求1的用于產(chǎn)生編碼的視頻序列的設備、根據(jù)權利要求15的 用于產(chǎn)生編碼的視頻序列的方法、根據(jù)權利要求16的用于對編碼的視頻序列進行解碼的 設備、根據(jù)權利要求26的用于對編碼的視頻序列進行解碼的方法、根據(jù)權利要求27的計算 機程序或者根據(jù)權利要求28的計算機可讀介質來實現(xiàn)。本發(fā)明基于以下認識不僅利用在縮放層中執(zhí)行的運動步長預測，可實現(xiàn)比特率 減小，在例如基本層的較低層到例如增強層的更高層的運動補償預測之后，通過執(zhí)行殘留 圖像的中間縮放層預測，可實現(xiàn)具有恒定圖像質量的進一步的比特率減小?？梢园l(fā)現(xiàn)，在相同的時間縮放層中，在運動補償預測之后，優(yōu)選地關于分辨率或關 于信噪比而縮放的各個所考慮的其它縮放層的殘留值在殘留值之間也具有相關性。根據(jù)本 發(fā)明，通過在編碼器一側上提供用于增強縮放層的中間層預測器，與解碼器一側的中間層 組合器相對應，可有利地利用這些相關性。優(yōu)選地，該中間層預測器自適應地設計用于針對 每個宏塊，決定是否值得進行中間層預測，或者該預測是否會導致比特率增加。在預測殘留 信號變得大于關于隨后的熵編碼器的增強層的原始運動補償殘留信號時，出現(xiàn)后一情況。 然而，在多數(shù)情況下不會發(fā)生這種情況，因此激活中間層預測器并產(chǎn)生顯著的比特率降低。此外，在本發(fā)明的優(yōu)選實施例中，還執(zhí)行增強層的運動數(shù)據(jù)的預測。因此，還示出 了在例如關于SNR或分辨率的不同質量的縮放層中，不同縮放層中的運動場也彼此具有相 關性，通過提供運動數(shù)據(jù)預測器，可將該相關性有利地用于根據(jù)本發(fā)明的比特率降低。在實 現(xiàn)方式中，可以執(zhí)行預測，其中，并不針對增強層來計算各個運動數(shù)據(jù)，而是在上采樣之后， 發(fā)送基本層的運動數(shù)據(jù)。然而，這會導致增強層中的運動補償信號大于針對增強層來計算 運動數(shù)據(jù)的情況。然而，當由于傳輸期間增強層所節(jié)約的運動數(shù)據(jù)而產(chǎn)生的節(jié)約大于由可 能更大的殘留值引起的比特率增加時，該缺點沒有影響。然而，在實現(xiàn)方式中，可針對增強層來計算各個運動場，其中，將基本層的運動場 并入計算或用作預測器，以便僅傳輸運動場的殘留值。該實現(xiàn)方式具有以下優(yōu)點完全使用 了兩個縮放層的運動數(shù)據(jù)相關性，并且在運動數(shù)據(jù)預測之后，運動數(shù)據(jù)的殘留值盡可能地 小。然而，該概念的缺點在于必須傳輸附加的運動數(shù)據(jù)殘留值。此外，在本發(fā)明的優(yōu)選實施例中，使用SNR可縮放性。這意味著在基本層中利用比 增強層更粗略的量化參數(shù)來執(zhí)行量化。用粗量化器步長量化并再次重構的基本運動預測的 殘留值從而用作中間層預測器的預測信號。在理想的SNR可縮放性的情況下，在編碼器側 計算所有縮放層的單個運動場就足夠了。關于增強層的運動數(shù)據(jù)，這同樣意味著不必傳輸 其它增強運動數(shù)據(jù)，而是來自基本層的增強運動數(shù)據(jù)可完全用在編碼器一側，用于增強層 的逆運動補償。然而，當使用引入了量化參數(shù)的運動數(shù)據(jù)的計算時，不同的量化參數(shù)導致不 同的運動場。
如果使用空間可縮放性，這意味著基本縮放層具有比增強縮放層更粗略的空間分 辨率，優(yōu)選地對基本運動預測的殘留值進行插值，這意味著從增強縮放層的較低分辨率進 行轉換，然后將其提供給中間層預測器。此外，優(yōu)選地針對每個縮放層執(zhí)行運動信息的各個計算。然而，在本發(fā)明的優(yōu)選實 施例中，運動數(shù)據(jù)預測用于數(shù)據(jù)率降低，數(shù)據(jù)率降低可包括完整地傳輸較低縮放層的運動 數(shù)據(jù)(在縮放之后)，或使用較低縮放層的上采樣運動矢量來預測更高縮放層的運動矢量， 然后僅傳輸比未預測運動數(shù)據(jù)需要更低數(shù)據(jù)率的運動數(shù)據(jù)殘留值。在這種情況下，優(yōu)選地 自適應地設計中間層預測器和增強運動數(shù)據(jù)預測器。在本發(fā)明的優(yōu)選實施例中，使用組合的可縮放性，其中，基本縮放層和增強縮放層 的空間分辨率和表示所用量化器步長的所用量化參數(shù)均不同。在這種情況下，從由于拉格 朗日優(yōu)化而產(chǎn)生的基本縮放層的先前量化參數(shù)開始，計算基本層的量化參數(shù)、基本層的運 動數(shù)據(jù)的失真和比特要求的組合。在運動步長預測之后獲得的殘留值和所用的基本運動數(shù) 據(jù)然后用于預測更高縮放層的各個數(shù)據(jù)，其中，同樣從更高縮放層的細縮放參數(shù)開始，計算 運動數(shù)據(jù)、量化參數(shù)和失真、增強運動數(shù)據(jù)的比特要求的最佳組合。


現(xiàn)在參考附圖來解釋本發(fā)明的優(yōu)選實施例，其中圖Ia是本發(fā)明的編碼器的優(yōu)選實施例；圖Ib是圖Ia的基本圖像編碼器的細節(jié)表示；圖Ic是中間層預測標志的功能的討論；圖Id是運動數(shù)據(jù)標志的描述；圖Ie是圖Ia的增強運動補償器的優(yōu)選實施方式；圖If是圖2的增強運動數(shù)據(jù)確定裝置1078的優(yōu)選實施方式；圖Ig是用于計算增強運動數(shù)據(jù)和如果需要則為了信號通知和殘留數(shù)據(jù)傳輸而進 行的增強運動數(shù)據(jù)處理的三個優(yōu)選實施例的整體表示；圖2是本發(fā)明解碼器的優(yōu)選實施例；圖3是具有四極的解碼器的方框圖；圖4是示出了時間子帶濾波器組的提升分解的方框圖；圖5a是圖4所示的提升方案的功能的表示；圖5b是單向預測(hair小波)和雙向預測(5/3變換)的兩個優(yōu)選提升規(guī)定的表 示；圖5c是用于任意選擇要由提升方案處理的兩個圖像的具有運動步長和參考標記 的預測和更新算子的優(yōu)選實施例；圖5d是可逐個宏塊將原始圖像信息插入高通圖像的幀內模式的表示；圖6a是用于信號通知宏塊模式的示意表示；圖6b是根據(jù)本發(fā)明優(yōu)選實施例，用于以空間可縮放性來對運動數(shù)據(jù)進行上采樣 的示意表示；圖6c是運動矢量差的數(shù)據(jù)流語法的示意表示；圖6d是根據(jù)本發(fā)明優(yōu)選實施例的殘留值語法增強的示意表示；
圖7是例如8個圖像的圖像組的時間移位的整體視圖；圖8是16個圖像的圖像組的低通圖像的優(yōu)選時間設置；圖9是根據(jù)針對宏塊的標準H. 264/AVC，示出了編碼器的基本編碼器結構的整體 框圖；圖10是包括分別在當前語法單元C的左邊和上邊的兩個相鄰像素單元A和B的 環(huán)境設置；以及圖11是圖像分為片的劃分的表示。
具體實施例方式圖Ia示出了用于產(chǎn)生編碼的視頻序列的設備的優(yōu)選實施例，該視頻序列具有基 本縮放層和增強縮放層。具有8、16或任意數(shù)目圖像的圖像組的原始視頻序列饋入輸入 1000。在輸出側，編碼的視頻序列包含基本縮放層1002和增強縮放層1004。增強縮放層 1004和基本縮放層1002可提供給比特流復用器，該復用器在輸出側產(chǎn)生單個可縮放的比 特流。然而，取決于實施方式，兩個縮放層的分離傳輸也是可以的，并且在一些情況下是有 用的。圖Ia示出了用于產(chǎn)生基本縮放層和增強縮放層這兩個縮放層的編碼器。為了獲得 編碼器，如果需要，則產(chǎn)生一個或多個其它增強層，重復增強縮放層的功能，其中，總是由緊 接的更低的增強縮放層給更高增強縮放層提供數(shù)據(jù)，如圖1所示，由基本縮放層1002給增 強縮放層1004提供數(shù)據(jù)。在詳細參考諸如SNR可縮放性或空間可縮放性或者空間和SNR可縮放性的組合可 縮放性之類的不同縮放類型之前，首先來示出本發(fā)明的基本原理。首先，編碼器包括基本運 動補償器或基本運動估計器1006，用于計算基本運動數(shù)據(jù)，基本運動數(shù)據(jù)表示宏塊在當前 圖像中相對于基本運動補償器1006在輸入側獲得的圖像組中另一圖像怎樣運動。已知用 于計算運動數(shù)據(jù)的技術，尤其是用于計算宏塊的運動矢量的技術，宏塊是數(shù)字視頻圖像中 的像素區(qū)域。優(yōu)選地，如在視頻編碼標準H. 264/AVC標準化一樣，使用運動補償計算。因而， 考慮后一圖像的宏塊，并確定宏塊相對于前一圖像怎樣“運動”。該運動(在xy方向)由二 維運動矢量表示，該矢量是由塊1006針對每個宏塊計算的，并經(jīng)由運動數(shù)據(jù)線1008提供給 基本圖像編碼器1010。然后，針對下一圖像來計算宏塊怎樣從前一圖像運動到下一圖像。在一種實施方式中，在某種程度上表示從第二到第三圖像的運動的新的運動矢量 可再次作為二位矢量來傳輸。然而，為了效率的原因，優(yōu)選地僅傳輸運動矢量差，運動矢量 差表示宏塊從第二到第三圖像的運動矢量與宏塊從第一到第二圖像的運動矢量之間的差。 可選地，還可使用并不是參考緊接的先前圖像而是參考其它先前圖像的運動矢量差。然后將塊1006所計算的運動數(shù)據(jù)提供給基本運動預測器1012，基本運動預測器 1012設計用于使用運動數(shù)據(jù)和圖像組來計算殘差圖像的基本序列。因此，基本運動預測器 執(zhí)行運動補償。在某種程度上，分別由運動補償器和運動估計器進行運動補償。然后將殘 差圖像的基本序列提供給基本圖像編碼器?；緢D像編碼器形成為在其輸出處提供基本縮 放層1002。此外，本發(fā)明的編碼器包括增強運動補償器或增強運動估計器1014，用于檢測增 強運動數(shù)據(jù)。將這些增強運動數(shù)據(jù)提供給增強運算預測器1016，增強運動預測器1016在輸 出側產(chǎn)生殘差圖像的增強序列，并將增強序列提供給下游的中間層預測器1018。因此，增強運動預測器執(zhí)行運動補償，在某種程度上，分別由運動補償器和運動估計器來進行運動補 m
te ο中間層預測器形成為計算輸出側的增強預測殘差圖像。取決于實現(xiàn)方式，除了從 塊1016獲得的數(shù)據(jù)，即殘差圖像的增強序列之外，中間層預測器還使用經(jīng)由點狀的旁路線 1020由塊1012提供的殘差圖像的基本序列?？蛇x地，塊1018還使用在塊1012的輸出處提 供并由插值器1022插值的殘差圖像的插值序列。此外，可選地，中間層預測器還可在基本 圖像編碼器1010的輸出1024處提供殘差圖像的重構基本序列。從圖Ia可見，該殘差圖像 的重構基本序列可以是插值1022的，或者未插值1020的。因此，通常，中間層預測器使用 殘差圖像的基本序列來工作，其中，例如，通過塊1012的輸出處的殘差圖像的基本序列的 重構或插值，來得到中間層預測器輸入1026處的信息。在中間層預測器1018的下游是增強圖像編碼器1028，增強圖像編碼器1028形成 為對增強預測殘差圖像進行編碼以獲得編碼的增強縮放層1004。在本發(fā)明的優(yōu)選實施例中，中間層預測器形成為從中間層預測器1018從增強運 動預測器1016獲得的各個信號中逐個宏塊且逐個圖像地減去在其輸出1026處的信號。在 該減法中獲得的結果信號表示增強預測殘差圖像的圖像的宏塊。在本發(fā)明的優(yōu)選實施例中，自適應地形成中間層預測器。對于每個宏塊，提供中間 層預測標志1030，該標志1030表示中間層預測器必須執(zhí)行預測，或者在另一狀態(tài)下表示不 必執(zhí)行預測，但是要將增強運動預測器1016的輸出處的相應宏塊在沒有預測的情況下提 供給增強圖像編碼器1028。該自適應的實現(xiàn)方式具有以下優(yōu)點中間層預測僅在有用時才 執(zhí)行，即在與未執(zhí)行中間層預測、而直接對增強運動預測器1016的輸出數(shù)據(jù)進行編碼的情 況相比預測殘留信號導致較低輸出圖像速率的情況下才執(zhí)行中間層預測。在空間可縮放性的情況下，抽取器1032設置在增強縮放層和基本縮放層之間，形 成為將在其輸入處的具有某種空間分辨率的視頻序列轉換為在其輸出處的具有較低分辨 率的視頻序列。如果想要完全的SNR可縮放性，則意味著如果兩個縮放層的基本圖像編碼 器1010和1028分別利用不同的量化參數(shù)1034和1036進行操作，則不設置抽取器1032。 這在圖Ia中通過旁路線1038示意地示出了。此外，在空間可縮放性的情況下，必須設置插值器1022。在完全的SNR可縮放性的 情況下，不設置插值器1022。而是，采用旁路線1020，如圖Ia所示。在一個實施方式中，增強運動補償器1014形成為完整地計算各個運動場，或者直 接或在上采樣器1042的上采樣之后，使用基本運動補償器1006所計算的運動場(旁路線 1040)。在空間可縮放性的情況下，必須設置上采樣器1042，將基本運動數(shù)據(jù)的運動矢量上 采樣到更高的分辨率，即縮放。如果增加分辨率是基本分辨率的高和寬的兩倍，則增強層中 的宏塊(16X16亮度采樣)覆蓋與基本層中的子宏塊(8X8亮度采樣)相對應的圖像區(qū)域。因此，為了能夠使用增強縮放層的宏塊的基本運動矢量，使基本運動矢量的χ分 量和y分量加倍，即以因子2進行縮放。這將參考圖6b詳細進行討論。然而，如果只有SNR可縮放性，則對于所有縮放層而言運動場都是相同的。因此， 僅必須計算一次，并可在低縮放層計算之后，由每個更高縮放層直接使用。對于中間層預測，也可使用基本運動預測1012的輸出處的信號?？蛇x地，可使用 線1024上的重構信號。由開關1044來選擇這兩個信號中的哪一個用于預測。線1024上的信號與塊1012的輸出處的信號的不同之處在于，該信號已經(jīng)經(jīng)過了量化。這意味著線 1024上的信號與塊1012的輸出處的信號相比具有量化誤差。對于中間層預測而選擇性地 使用線1024上的信號在單獨使用SNR可縮放性或結合空間可縮放性使用SNR可縮放性時 尤其有用，因為塊1018處的輸出信號包含由第一縮放層產(chǎn)生的量化誤差，然后在輸入1036 處由增強圖像編碼器以典型的細量化器步長和改變的量化參數(shù)2進行量化，然后寫入增強 縮放層1004，所以由基本圖像編碼器1010所產(chǎn)生的量化誤差將“伴隨”到更高縮放層。與中間層預測標志1030類似地，將運動數(shù)據(jù)標志1048饋入圖像編碼器，因此與此 有關的相應信息包含在增強縮放層1004中，然后由解碼器使用，下面將參考圖2來進行討 論。如果使用理想空間可縮放性，可使用基本運動預測器1012的輸出信號，即殘差圖 像的基本序列，代替基本殘差圖像的重構序列?；趯崿F(xiàn)方式，可手動地或基于預測效益函數(shù)(prediction benefit function) 來進行該開關的控制。這里，應該注意，優(yōu)選地，自適應地設計所有預測，即運動預測、增強運動數(shù)據(jù)預測 和中間層殘留值預測。這意味著例如對于殘差圖像的基本序列的圖像中的每個宏塊或子宏 塊，并不一定要有運動數(shù)據(jù)預測殘留值。因此，盡管被稱為“殘差圖像”，殘差圖像的基本序 列的圖像還可分別包含未預測的宏塊和子宏塊。當圖像中出現(xiàn)新的對象時會發(fā)生這種情 況。這里，由于預測殘留信號變得大于圖像中的原始信號，所以運動補償預測無用。在這種 情況下，在塊1016中的增強運動預測中，將停用針對該塊(例如宏塊或子宏塊)的預測算 子和最終的更新算子。此外，為了清楚，提到了殘差圖像的基本序列，但是也許僅僅殘差圖像的基本序列 的單個殘差圖像具有單個實際上包括運動預測殘留信號的塊。然而，在典型的應用中，每個 殘差圖像實際上包含大量具有運動預測殘留信號的塊。在本發(fā)明中，這同樣應用于殘差圖像的增強序列。因而，增強層的情況與基本層 的情況類似。因此，在本發(fā)明中，殘差圖像的增強序列是圖像序列，其中，在極限情況下，僅 僅單個“殘差圖像”的單個塊具有運動預測殘留值，而在該圖像的所有其它塊以及所有其它 “殘差圖像”中，由于對于所有這些圖像/塊，已經(jīng)停用了運動補償預測、如果不必要的話還 有運動補償更新，所以實際上不存在殘留誤差。根據(jù)本發(fā)明，這同樣適用于計算增強預測殘差圖像的中間層預測器。典型地，增強 預測殘差圖像出現(xiàn)在序列中。然而，優(yōu)選地，自適應地形成中間層預測器。例如，如果發(fā)現(xiàn) 從基本層到增強層的基本層的殘留數(shù)據(jù)預測僅對于單個“殘差圖像”的單個塊有用，而對于 該圖像的所有其它塊、甚至對于增強預測殘差圖像的序列的其它圖像，停用中間層殘留數(shù) 據(jù)預測，則在本發(fā)明上下文中，為了清楚，將該序列稱為增強預測殘差圖像。在這點上，應該 注意，當在基本層中的殘差圖像的相應塊中，已經(jīng)計算了運動補償殘留值，并且對于與該塊 相對應的塊(例如在相同的X、y位置)，在增強序列的殘差圖像中已經(jīng)執(zhí)行了運動補償預 測時，中間層預測器可僅預測殘留數(shù)據(jù)，因此，在該塊中，由于運動補償預測，在增強層中存 在殘差。僅在所考慮的兩個塊中均存在實際的運動補償預測殘留值時，中間層預測器才優(yōu) 選地變?yōu)榛顒拥?，來使用基本層的圖像中的殘差值的塊作為增強層的圖像中的殘差值的塊 的預測器，然后僅向增強圖像編碼器發(fā)送該預測的殘留值，即，所考慮的圖像的該塊中的增
15強預測殘差數(shù)據(jù)。下面，參考圖Ib來分別討論基本圖像編碼器100或增強圖像編碼器1028和任意 圖像編碼器的詳細視圖。在輸入側，圖像編碼器接收殘差圖像組并逐個宏塊地將其提供給 變換器1050。然后在塊1052中對變換的宏塊進行縮放，并使用量化參數(shù)1034、1036、...來 量化。在塊1052的輸出處，輸出所用的量化參數(shù)，即宏塊的所用量化器步長以及宏塊的 頻譜值的量化指標。然后將該信息提供給圖Ib中未示出的熵編碼器級，熵編碼器級包括 Huffman編碼器或優(yōu)選地包括運算編碼器，其根據(jù)H. 264/AVC，利用已知的CABAC概念來工 作。還將裝置1052的輸出信號提供給塊1054，塊1054執(zhí)行逆縮放和重新量化，以將量化指 標和量化參數(shù)再次轉換為數(shù)字值，然后將數(shù)字值提供給塊1056的逆變換，以獲得重構的殘 差圖像組，現(xiàn)在，與原始的殘差圖像組相比，在變換塊1050的輸入處存在量化誤差，量化誤 差取決于量化參數(shù)和量化器步長。取決于開關1044的控制，將一個信號或另一個信號提供 給插值器1022或中間層預測器1018，以便執(zhí)行本發(fā)明的殘留值預測。圖Ic示出了中間層預測器標志1030的簡單實現(xiàn)方式。如果中間層預測標志置位， 則激活中間層預測器1018。然而，如果該標志未置位，則停用中間層預測器，從而針對該宏 塊或從屬于該宏塊的子宏塊來執(zhí)行同時的操作。原因也許是預測的編碼器增益實際上是編 碼器損耗，這意味著在塊1016的輸出處的相應宏塊的傳輸在隨后的熵編碼中提供了比使 用預測殘留值更好的編碼器增益。圖Id示出了運動數(shù)據(jù)標志1048的簡單實現(xiàn)方式。如果標志置位，則從基本層的上 采樣運動數(shù)據(jù)中得到增強層的運動數(shù)據(jù)。在SNR可縮放性的情況下，不需要上采樣器1042。 這里，當標志1048置位時，可直接從基本運動數(shù)據(jù)中得到增強層的運動數(shù)據(jù)。應該注意， 該運動數(shù)據(jù)“得到”可以是直接接收運動數(shù)據(jù)或實際預測，其中，塊1014從塊1014所計算 機的增強縮放層的相應運動矢量中減去從基本層獲得的運動矢量，以便獲得運動數(shù)據(jù)預測 值。經(jīng)由圖Ia所示的輸出，將增強層的運動數(shù)據(jù)(如果未執(zhí)行任何預測)或預測的殘留值 (如果執(zhí)行了實際的預測)提供給增強圖像編碼器1028，因此它們最終將包含在增強縮放 層比特流1004中。然而，如果執(zhí)行從縮放了或未縮放的基本縮放層完全接收運動數(shù)據(jù)，則 不必將增強運動數(shù)據(jù)寫入增強縮放層比特流1004。在增強縮放層比特流中用運動數(shù)據(jù)標志 1048來通知該事實就足夠了。圖2示出了用于對編碼的視頻序列進行解碼的設備，該序列包括基本縮放層1002 和增強縮放層1004。增強縮放層1004和基本縮放層1002可來源于比特流解復用器，該解復 用器對具有相應的縮放層的可縮放比特流進行解復用，從共同的比特流中提取基本縮放層 1002和增強縮放層1004。將基本縮放層1002提供給基本圖像解碼器1060，基本圖像解碼 器1060形成為對基本縮放層進行解碼，以獲得解碼的殘差圖像的基本序列和基本運動數(shù) 據(jù)，并將其提供給輸出線1062。然后將線1062處的輸出信號提供給基本運動組合器1064， 基本運動組合器1064抵消在塊1012中的編碼器中引入的基本運動預測器，在輸出側輸出 解碼的第一縮放層的圖像。此外，本發(fā)明的解碼器包括增強圖像解碼器1066，用于對增強縮 放層1004進行解碼，以在輸出線1068處獲得增強預測殘差圖像。此外，輸出線1068包括 運動數(shù)據(jù)信息，例如運動數(shù)據(jù)標志1070，如果實際上在增強縮放層1004中存在增強運動數(shù) 據(jù)或增強運動數(shù)據(jù)殘留值，則還包括這些增強運算數(shù)據(jù)?，F(xiàn)在，線1062上的解碼的基本序 列由插值器1070進行插值，或者不變地(線1072)提供給中間層組合器1074，以便抵消由
16圖Ia的中間層預測器1018所執(zhí)行的中間層預測。因此，中間層組合器形成為組合增強預 測殘差圖像和插值了的(1070)或未插值的(1072)與線1062上的解碼的基本序列有關的 信息，以獲得殘差圖像的增強序列，最終將該序列提供給增強運動組合器1076，與基本運動 組合器1064相同，增強運動組合器1076抵消在增強層中執(zhí)行的運動補償。增強運動組合 器1076與運動數(shù)據(jù)確定裝置1078相連，提供用于塊1076中的運動組合的運動數(shù)據(jù)。運動 數(shù)據(jù)實際上可以是增強圖像解碼器在輸出1068處提供的增強層的完整增強運動數(shù)據(jù)?？?選地，增強運動數(shù)據(jù)還可以是運動數(shù)據(jù)殘留值。在兩種情況下，經(jīng)由增強運動數(shù)據(jù)線1080， 將相應數(shù)據(jù)提供給運動數(shù)據(jù)確定裝置1078。然而，如果運動數(shù)據(jù)標志1070用信號通知對于 增強層未傳輸增強運動數(shù)據(jù)，則取決于直接的(1084)或由上采樣器1086的上采樣之后的 所用可縮放性，從基本層中獲取所需運動數(shù)據(jù)。此外，在塊內的中間層預測的情況下，即沒有運動數(shù)據(jù)殘留值的情況下，在解碼器 一側提供增強運動組合器1076與基本運動組合器1064之間的相應連接，取決于空間可縮 放性，該連接具有插值器1090，或在僅使用SNR可縮放性時，該連接具有旁路線。在兩層之 間的可選塊內預測的情況下，僅將預測殘留信號發(fā)送到該宏塊內的增強層，這由比特流中 的相應信號化信息表示。在這種情況下，除了下面所述的功能之外，增強運動組合器還執(zhí)行 該宏塊的累加，即執(zhí)行宏塊殘留值與來自較低縮放層的宏塊值之間的組合，并將所組合的 宏塊提供給實際的逆運動補償處理。下面，參考圖3至5d，分別來解釋基本運動預測器1012或增強運動預測器1016的 優(yōu)選實施例，即增強運動組合器1076或基本運動補償器1064。基本上，可使用任何運動補償預測算法，這意味著也包括圖9的92處所示的運動 補償算法。因此，傳統(tǒng)的運動補償算法也遵從圖1所示的系統(tǒng)，然而，其中，停用圖4以附圖 標記45所示的更新算子U。這導致將圖像組分別轉換為原始圖像、和殘留圖像以及預測殘 留信號或者基于其的殘差信號。然而，如果在以已知運動補償方案實現(xiàn)了如圖4所示的更 新算子有效且被計算的增強，如圖5a至5d所示，則正常的運動補償預測計算變?yōu)樗^的 MCTF處理，該處理還被稱為運動補償時間濾波。這里，由于原始圖像與由更新算子加權的預 測殘留信號組合，所以傳統(tǒng)運動補償?shù)恼D像和中間圖像通過更新運算分別變?yōu)榈屯▓D 像。如已經(jīng)參考圖Ia和2所述的，在本發(fā)明的優(yōu)選實施例中，針對每個縮放層來執(zhí)行 MCTF處理，其中，優(yōu)選地按照參考圖3至5a以及7至8所述的方式來執(zhí)行MCTF處理。下面，參考圖4以及隨后的圖5a_5來描述運動補償濾波器的優(yōu)選地實施例。如已 經(jīng)解釋的，運動補償時間濾波器(MCTF)由常見提升方案組成，該方案包括三步，即多相分 解、預測和更新。圖4示出了相應的分析/合成濾波器組結構。在分析一側，通過對預測殘 留值使用預測算子P和高通信號H，將給定信號的奇數(shù)采樣濾除偶數(shù)采樣的線性組合。通過 使用更新算子，將預測殘留值h的線性組合與輸入信號s的偶數(shù)采樣相加，來形成相應的低 通信號1。圖5a示出了圖4所示的變量h和1的等式關系以及算子P和U的基本實施例。由于可完全逆轉預測步驟和更新步驟，所以可將相應的變換當作嚴格采樣的理想 重構濾波器組。合成濾波器組包括預測算子和更新算子以與求和過程相反的符號、按照相 反的順序的應用，其中，使用偶數(shù)和奇數(shù)多相分量。對于高通/低通分量的歸一化，使用相 應的縮放因子F1和Fh。不一定要使用這些縮放因子，但是在編碼期間選擇了量化器步長時可使用這些縮放因子。f[x,k]示出了空間坐標χ = (x，y)T的視頻信號，其中，k是時間坐標。如圖5b的 左手邊所示，給出了使用hair小波的提升表征的時間分解的預測算子P和更新算子U。對 于5/3變換，相應的算子如圖5b的右手邊所示。通過如圖5c所示修改預測算子和更新算 子，獲得對運動補償時間濾波的增強。具體地，參見參考指標r>0，其允許一般的圖像自適 應運動補償濾波。通過這些參考指標，可確保在圖4所示的場景中，不僅兩個時間緊隨的圖 像被分解為高通圖像和低通圖像，而且可利用序列的第三圖像，按照運動補償?shù)姆绞綄Φ?一圖像進行濾波?？蛇x地，參考指標的適當選擇使得可將序列的同一個圖像用作運動矢量 的基準。這意味著參考指標允許在八個圖像的序列中，所有運動矢量與序列的第四個圖像 相關聯(lián)，從而通過圖4中的濾波方案，通過處理這八個圖像，最終獲得單個低通圖像，并且 產(chǎn)生七個高通圖像(增強圖像)，并且在一個增強圖像與每個運動矢量相關聯(lián)的情況下，所 有運動矢量與原始序列的同一個圖像相關聯(lián)。因此，如果將序列的同一個圖像用作對多個其它圖像進行濾波的基準，則這導致 時間分辨率縮放并不遵循因子2，這對于某些應用是有利的?？偸菍⑼粋€圖像，即八個圖 像的序列的第四個圖像饋入圖4的分析濾波器組的下分支。低通圖像在每次濾波中都是相 同的，即最終產(chǎn)生圖像序列的所希望的單個低通圖像。當更新參數(shù)為零時，基本圖像僅僅是 “通過”下分支。與之相比較，高通圖像總是取決于原始序列的相應另一個圖像和預測算子， 其中，在預測中使用與該輸入圖像相關聯(lián)的運動矢量。因此，在這種情況下，最終獲得的低 通圖像與原始圖像序列的某個圖像相關聯(lián)，并且每個高通圖像與原始序列的圖像相關聯(lián)， 其中，原始圖像與序列的所選基本圖像(饋入圖4的分析濾波器組的下分支的圖像)的偏 差對應于序列(運動補償)。當每個更新參數(shù)Mtll，Mn，M21和M31等于零時，這導致饋入第四 級的下分支73的圖像僅僅是“通向”底部。以某種方式，將低通圖像TPl “重復地，，饋入濾 波器組，而由參考指標控制的其它圖像一個接一個地引入圖3的輸入64。從上述等式可見，運動補償濾波的預測和更新算子分別提供兩個不同小波的不同 預測。當使用hair小波時，實現(xiàn)了單向運動補償預測。然而，如果使用5/3樣條小波，則兩 個算子規(guī)定了雙向運動補償預測。由于與單向預測相比，雙向補償預測通常減少預測殘留值的能量，但是增加運動 矢量速率，所以希望在單項和雙向預測之間動態(tài)地切換，這意味著可根據(jù)基于圖像的控制 信號，在hair小波的提升表征和5/3樣條小波之間切換。針對時間濾波并不使用閉合反饋 回路的本發(fā)明概念可容易地逐個宏塊地在兩個小波之間切換，從而支持靈活性和數(shù)據(jù)流節(jié) 約，這可最優(yōu)地以信號自適應方式執(zhí)行。為了表示運動場或通常的預測數(shù)據(jù)場Mp和Mu，理想地，可使用H. 264/AVC中已有 的B片的語法。通過級聯(lián)配對的圖像分解級，獲得二值樹結構，其將2"個圖像的組分為個殘留 圖像和單個低通(或中間)圖像，如圖7針對八個圖像的組所示的。具體地，圖7示出了在 第一級濾波器的輸出22處的第一級高通圖像HPl以及在第一級濾波器的輸出24處的第一 級低通圖像。圖7還示出了從第二級獲得的在第二級濾波器的輸出16處的兩個低通圖像 TP2以及高通圖像，作為第二級圖像。第三級低通圖像被提供給第三級濾波器的輸出76，而 第三級高通圖像以已處理的形式被提供給輸出75。八個圖像的組最初可包括八個視頻圖像，其中使用圖3的解碼器而不使用第四濾波器級。然而，如果八個圖像的組是八個低通圖 像的組，如在第四級濾波器的輸出73處所用的，則可將本發(fā)明的MCTF分解分別用作基本運 動預測器、增強運動預測器，并用作基本運動組合器或增強運動組合器。因此，通常，在分解2n個圖像的組中，傳輸(2n+1_2)個運動場描述、(2n_0殘留圖像 以及單個低通(或中間)圖像。優(yōu)選地，分別通過基本控制參數(shù)和增強控制參數(shù)來控制基本運動補償器和增強運 動補償器，來計算量化參數(shù)(1034或1036)和運動信息的最佳組合，該組合基于某一速率 是固定的。根據(jù)以下方法來執(zhí)行計算以獲得關于某一最大比特率的最佳比。因此，可以發(fā) 現(xiàn)，對于較低的比特率，即相對粗略的量化參數(shù)，運動矢量比采用相對精細的量化參數(shù)的更 高縮放層更加重要。因此，對于粗量化因而低比特率的情況，計算比更高縮放層少的運動數(shù) 據(jù)。因此，優(yōu)選地，在更高縮放層中，變?yōu)樽雍陦K模式來計算大量運動數(shù)據(jù)，以用于高比特率 的良好質量和最佳情況，而不是較低比特率，其中，運動數(shù)據(jù)關于殘留數(shù)據(jù)的重要性比更高 縮放層的情況成比例地增加。這將在下面加以討論。給定圖像A和B，它們是原始圖像或表示在先前的分析級中產(chǎn)生的低通信號的圖 像。此外，提供亮度采樣a[]和b□的相應陣列。如下逐個宏塊地估計運動描述Mitl:對于圖像B中所有可能的宏塊和宏塊i的子宏塊劃分，通過使拉格朗日函數(shù)in, = arg min { Dsad(/，m) + 2· R(i,m) }
me5最小化，來確定有關的運動矢量Iiii = [mx,my]T其中，退化項給出如下dSad ('·，m)= ΣI 襯x，y]-a[x~mx'y-my]\這里，S規(guī)定了參考圖像A內的運動矢量搜索區(qū)域。P是由所考慮的宏塊劃分或子 宏塊劃分覆蓋的區(qū)域。R(i，m)規(guī)定了傳輸運動矢量m的所有分量所需的比特數(shù)，其中，λ 是固定的拉格朗日乘子。首先，運動搜索在給定搜索區(qū)域S中的所有整數(shù)采樣的精確運動矢量上進行。然 后，通過使用最佳的整數(shù)運動矢量，來測試八個環(huán)繞二分之一采樣的精確運動矢量。最后， 通過使用最佳二分之一采樣的精確運動矢量，來測試八個環(huán)繞四分之一采樣的精確運動矢 量。對于二分之一和四分之一精確運動矢量改進，以下項a[x-mx, y-my]被解釋為插值算子。通常，宏塊模式和子宏塊模式的模式判決遵循相同的方法。從給定的一組可能的 宏塊或子宏塊模式Sm。de中選擇使以下拉格朗日函數(shù)最小化的模式Pi P, = arg min { Dsad (/, ρ) + λ· R(i, ρ) }衰減項給出如下dSadO, P) = Σ I δ[χ，少]_ i^x _ 乂[戶’ xJ],少 一 [廠，xJ]] I其中，P規(guī)定了宏塊或子宏塊區(qū)域，m[p, χ, y]是與宏塊或子宏塊模式ρ以及劃分 或子宏塊劃分相關聯(lián)的運動矢量，包括亮度位置(X，y)。
速率項表示比特數(shù)，與編碼器模式ρ的選擇相關聯(lián)。對于運動補償編碼器模式，其 還分別包括宏塊模式(如果適用)、子宏塊模式(如果適用)以及運動矢量。對于幀內模 式，其還包括宏塊模式的比特和量化的亮度和色度變換系數(shù)水平的陣列。所述一組可能的子宏塊模式由下式給出{P_8x8，P_8x4，P_4x8，P_4x4}。所述一組可能的宏塊模式由下式給出{P_16xl6, P_16x8，P_8xl6, P_8x8, INTRA}，其中，僅在估計用于預測步驟的運動場描述Mitl時才使用INTRA(幀內)模式。根據(jù)以下等式，基于要估計運動場的分解級的高通圖像的基本層量化參數(shù)來設置 拉格朗日乘子入λ = 0. 33 · 2" (QPm/3-4)根據(jù)本發(fā)明，使用圖8所示的分解方案，假設能夠在時間可縮放性和編碼器效率
之間做出明智的折衷。將原始圖像序列當作輸入圖像序列々』^』、々』.....A、B。因此，
該方案提供了具有最佳時間可縮放性的一級(低通圖像之間具有相等距離)。將用作所有
后繼分解級的輸入信號的低通圖像序列當作輸入圖像序列B、A、A、B、B、A.....A、B，從而被
分解的低通圖像之間的間距在后繼的兩個通道分析方案中保持較小，如從圖8可見。接下來，關于圖6a至6d，參考運動數(shù)據(jù)中間層預測和殘留數(shù)據(jù)中間層預測的優(yōu)選 實施方式。為了分別獲得空間和SNR可縮放性，基本上，將較低的縮放層的運動數(shù)據(jù)和紋理 數(shù)據(jù)用于預測更高的縮放層。這里，具體地，在空間可縮放性方面，在運動數(shù)據(jù)可用于預測 空間增強層的解碼之前，需要對運動數(shù)據(jù)進行上采樣。通過使用AVC的已有B片語法來傳 輸基本層表征的運動預測數(shù)據(jù)。優(yōu)選地，在對增強層的運動場的編碼中引入兩個附加宏塊 模式。第一宏塊模式是“base_layer_mode”，第二模式是 “qpel_refinement_mode”。為 了用信號表示這兩個附加宏塊模式，如圖1所示，將兩個標志BLFlag和QrefFlag添加到宏 塊層語法中，在語法元素mbjiiode之前。因此，第一標志BLFlagl098用信號表示基本層模 式，而另一個標志1100用符號表示qpel精細模式。如果這種標志置位，則其值為1，并且 數(shù)據(jù)流如圖6a所示。因此，如果標志1098值為1，則標志1100和語法元素宏塊模式1102 不再重要。然而，如果標志1098值為零，則其未置位，并且使用標志1100。然而，如果標志 1098和1100的值均為零，則意味著兩者都未置位，將在語法元素1102中估計宏塊模式。當BLFlag=I時，使用基本層模式，對于相應宏塊則不再使用其它信息。該宏塊模 式表示包括基本層的相應宏塊的宏塊劃分的運動預測信息直接用于增強層。應該注意，在 這里且在整個說明書中，術語“基本層”用于表示關于當前所考慮的層(即增強層)的相鄰 下一層。當基本層表示具有二分之一空間分辨率的層時，如圖6b所示，相應地縮放運動矢 量場(即包括宏塊劃分的運動矢量場)。在這種情況下，當前宏塊包括與8X8子宏塊的基 本層運動場相同的區(qū)域。因此，如果以直接的16X16、16X8或8X16模式來編碼相應的基 本層宏塊，或者以8 X 8模式或直接的8 X 8模式來編碼相應基板層子宏塊，則將16 X 16模 式用于當前宏塊。另一方面，如果以8X4、4X8或4X4模式編碼基本層子宏塊，則當前宏塊 的宏塊模式是16 X 8、8 X 16或8 X 8 (所有子宏塊模式是8X8)。當基本層宏塊表示INTRA 宏塊時，將當前宏塊設置為INTRA BASE，這表示當前宏塊時從基本層預測的宏塊。對于當前宏塊的宏塊劃分，將相同的參考指標用于基本層塊的相應宏塊/子宏塊劃分。將有關的 運動矢量乘以因子2。該因子適用于圖6b所示的情況，其中基本層1102包括增強層1104 的區(qū)域和像素數(shù)的二分之一。如果基本層的空間分辨率與增強層的空間分辨率之比不等于 1/2，則將相應的縮放因子用于運動矢量。然而，如果標志1098等于零且標志1100等于1，則用信號表示宏塊模式qpel_ refinementjiiode。標志1100優(yōu)選地僅在基本層表示具有二分之一的當前層的空間分辨率 的層時才出現(xiàn)。否則，宏塊模式(qpelrefinementjiiode)并未包含在所述一組可能的宏塊 模式中。該宏塊模式與基本層模式類似。與基本層模式一樣，導出宏塊劃分以及參考指標 和運動矢量。然而，對于每個運動矢量，對于每個運動矢量分量，存在附加的四分之一采樣 運動矢量改進-ι. 0或+1，還附加地將其傳輸且添加到導出的運動矢量。當標志1098等于零且標志1100等于零時，或者當標志1100不存在時，照常規(guī)定 宏塊模式以及相應參考指標和運動矢量差。這表示按照與基本層相同的方式對增強層傳輸 完整的一組運動數(shù)據(jù)。然而，根據(jù)本發(fā)明，可能將基本層運動矢量用作當前增強層運動矢量 的預測器(代替空間運動矢量預測器)。因此，列表X (其中X在0和1之間)擁有規(guī)定所 考慮的運動矢量的參考指標列表。如果所有以下條件均為真，則如圖6c所示，針對每個運 動矢量差，傳輸標志MvPrdFlag -未以INTRA宏塊模式來編碼包括當前宏塊/子宏塊劃分的基本層宏塊；-覆蓋當前宏塊/子宏塊劃分的左上采樣的基本層宏塊/子宏塊劃分使用列表X 或雙向預測；-包括當前宏塊/子宏塊劃分的左上采樣的基本層宏塊/子宏塊劃分的列表X參 考指標等于當前宏塊/子宏塊劃分的列表X參考指標。如果圖6c的標志1106不存在，或者如果該標志1106等于零，則按照標準AVC的 情況來規(guī)定空間運動矢量預測器。否則，當標志1106存在且等于1時，將相應的基本層矢 量用作運動矢量預測器。在這種情況下，通過向基本層宏塊/子宏塊劃分的可能縮放的列 表X運動矢量添加所傳輸?shù)牧斜鞽運動矢量差，來獲得當前宏塊/子宏塊劃分的列表X運 動矢量(其中X = O或1)。因此，標志1098、1100和1106共同表示可能實現(xiàn)圖Ia大致示出的運動數(shù)據(jù)標志 1048以及運動數(shù)據(jù)控制信號1048。當然，可使用不同的其它可能的信號標志，其中使用發(fā) 送機和接收機之間的固定協(xié)議，這可以減少用信號表示的信息?？傊?，關于圖IeUf^P lg，詳細示出了圖Ia的增強運動補償器1014和圖2的增強 運動數(shù)據(jù)確定裝置1078的詳細實施方式。參考圖le，可見，增強運動補償器1014基本上必須進行兩件事。因此，首先它必 須計算增強運動數(shù)據(jù)，典型地即整個運動矢量，并將其提供給增強運動預測器1016，以使增 強運動預測器1016可使用未編碼形式的這些矢量來獲得殘差圖像的增強序列，在現(xiàn)有技 術中，典型地逐個塊自適應地獲得殘差圖像的增強序列。然而，另一件事是增強運動數(shù)據(jù)處 理，即盡可能地壓縮用于運動補償預測的運動數(shù)據(jù)，并寫入比特流。為了寫入比特流，如圖 Ie所示，必須使各個數(shù)據(jù)進入增強圖像編碼器1028。因此，增強運動數(shù)據(jù)處理裝置1014b 具有關于基本層盡可能地減少增強運動數(shù)據(jù)計算裝置1014a所確定的增強運動數(shù)據(jù)中包 含的冗余的功能。
21
根據(jù)本發(fā)明，基本運動數(shù)據(jù)或上采樣的基本運動數(shù)據(jù)可由增強運動數(shù)據(jù)計算裝置 1014a用來計算實際要使用的增強運動數(shù)據(jù)，或者還可僅用于增強運動數(shù)據(jù)處理，即增強運 動數(shù)據(jù)壓縮，而它們對于計算增強運動數(shù)據(jù)不重要。圖Ig的1.)和2.)兩種可能示出了基 本運動數(shù)據(jù)和上采樣的基本運動數(shù)據(jù)已經(jīng)用于增強運動數(shù)據(jù)的實施例，而圖Ib的實施例 3.)示出了與基本運動數(shù)據(jù)有關的信息未用于計算增強運動數(shù)據(jù)而僅用于分別對殘留數(shù)據(jù) 進行編碼和捕獲的情況。圖If示出了增強運動數(shù)據(jù)確定裝置1078的編碼器一側的實施方式，具有用于逐 個塊進行控制的控制模塊1078a，包含分別來自比特流和來自增強圖像編碼器1066的信號 表示信息。此外，增強運動數(shù)據(jù)確定裝置1078包括增強運動數(shù)據(jù)重構裝置1078b，用于僅通 過使用解碼的基本運動數(shù)據(jù)或解碼的上采樣基本運動數(shù)據(jù)，或通過組合與解碼的基本運動 數(shù)據(jù)有關且來自增強運動解碼器1066從增強縮放層1104中提取出的殘留數(shù)據(jù)的信息，實 際確定增強運動數(shù)據(jù)場的運動矢量，然后運動矢量可由增強運動組合器1076使用，組合器 1076可形成為常用組合器，用于逆轉編碼器一側的運動補償預測。接下來，參考圖Ig所示的不同實施例。如圖6a已經(jīng)示出的，BLFlagl098表示增 強運動預測的上采樣的基本運動數(shù)據(jù)的完整接收。在這種情況下，裝置1014a形成為完整 地接收基本運動數(shù)據(jù)，并且在不同層有不同分辨率的情況下，接收放大形式的運動數(shù)據(jù)，并 將其發(fā)送到裝置1016。然而，不向增強圖像編碼器發(fā)送任何與運動場或運動矢量有關的信 息。而是，針對每個塊(宏塊或者子宏塊)，發(fā)送各個標志1098。在解碼器一側，這意味著圖If的裝置178a對一個塊的標志1098進行解碼，如果 標志1098是有效的，則使用來自基本層的解碼的基本運動數(shù)據(jù)或解碼的上采樣基本運動 數(shù)據(jù)來計算增強運動數(shù)據(jù)，然后將其提供給塊1076。在這種情況下，裝置1078不需要運動 矢量殘留數(shù)據(jù)。在由標志QrefFlag 1100表示的本發(fā)明第二實施例中，將基本運動矢量并入裝置 1014a所執(zhí)行的增強運動數(shù)據(jù)計算中。如圖Ig中部分2.)所示，并且如上所述，分別通過搜 索以下項的最小值來執(zhí)行運動數(shù)據(jù)計算和運動矢量m的計算(D+ λ R) 0將當前圖像的塊B與移位了特定位置運動矢量的先前和/或后繼圖像的塊之間的 差引入失真項D。將圖Ia中由1036表示的增強圖像編碼器的量化參數(shù)引入因子λ。項R 提供了與用于對位置運動矢量進行編碼的比特數(shù)有關的信息。通常，在不同位置運動矢量中進行搜索，其中，針對每個新的運動矢量來計算失真 項D，并計算速率項R，并考慮優(yōu)選地為固定的但是也可改變的增強量化參數(shù)1036。針對不 同位置運動矢量來估計所述求和項，從而使用提供最小求和結果的運動矢量?，F(xiàn)在，根據(jù)本發(fā)明，還將來自基本層的相應塊的基本運動矢量并入該迭代搜索中。 如果滿足搜索標準，則僅需要傳輸標志1100，而不必傳輸該塊的殘留值或任意其它信息。因 此，當基本運動矢量滿足塊的標準(最小的先前項)，則裝置1041a使用基本運動矢量來將 其傳輸?shù)窖b置1016。然而，僅將標志1100傳輸?shù)皆鰪妶D像編碼器。在解碼器一側，由于增強圖像解碼器不必傳輸殘留數(shù)據(jù)，所以這意味著裝置1078a 在根據(jù)基本運動數(shù)據(jù)而解碼標志1100以確定該塊的運動矢量時控制裝置1078b。在第二實施例的變體中，不僅將基本運動矢量，而且將從基本運動矢量中導出并(稍有)改變的多個基本運動矢量并入搜索中。取決于實現(xiàn)方式，運動矢量的任意分量可獨 立地增加或減少一個量，或保持相同。該量可表示運動矢量的特定粒度，例如分辨率步長、 二分之一分辨率步長或四分之一分辨率步長。如果這種改變的基本運動矢量滿足搜索標 準，則附加地將改變量(所述量)，即+1、0或-1傳輸?shù)綐酥?100。由標志1100激活，解碼器然后在數(shù)據(jù)流中搜索該量，并恢復基本運動矢量或上采 樣的基本運動矢量，并在塊1078b中將該量與相應的基本運動矢量組合，以獲得增強層中 的相應塊的運動矢量。在由標志1107表示的第三實施例中，基本上可隨意地執(zhí)行運動矢量的確定。關于 完整的靈活性，裝置1014a可例如根據(jù)在第二實施例中提到的最小化目標，確定增強運動 數(shù)據(jù)。然后，將所確定的運動矢量用于編碼器一側的運動補償預測，而不考慮來自基本層的 信息。然而，在這種情況下，增強運動數(shù)據(jù)處理1014a形成為在實際運算編碼之前將基本運 動矢量并入運動矢量處理以降低冗余。因此，根據(jù)標準H. 264/AVC，執(zhí)行運動矢量差的傳輸，其中確定圖像內的相鄰塊之 間的差。在實現(xiàn)中，該差可形成在不同的相鄰塊之間，用以選擇最小的差?，F(xiàn)在，根據(jù)本發(fā) 明，將圖像中相應塊的基本運動矢量并入針對運動矢量差的最佳預測器的搜索中。如果滿 足提供最小殘差值作為預測器的標準，則這由標志1106進行標志，并僅將殘差值傳輸?shù)綁K 1028。如果基本運動矢量不滿足該標準，則不對標志1016進行置位，并執(zhí)行空間運動矢量 差計算。然而，對于更簡單的編碼器實現(xiàn)，代替迭代搜索，總是針對塊自適應地確定基本運 動矢量，并將其上采樣版本用作預測器。根據(jù)本發(fā)明，還執(zhí)行殘留數(shù)據(jù)的中間層預測。下面將對此進行討論。當運動信息 在層之間改變時，根據(jù)基本層來預測殘留信息以及(在MCTF分解的情況下)增強層的高通 信息是有利或不利的。當當前層的塊的運動矢量與相應基本層的運動矢量類似，并且逐個 宏塊地與相應基本層的相應運動矢量類似時，在編碼的基本層殘留信息(高通信號)用于 預測增強殘留信號(增強高通信號)時編碼器的效率有可能增加，因此僅對增強殘留信號 和基本層重構(圖Ia的線1024)之間的差進行編碼。然而，當運動矢量不類似時，對殘留 信號的預測不太可能提高編碼器效率。因此，將自適應方法用于預測殘留信號和高通信號。 可根據(jù)差信號，通過對受益的實際計算，或者根據(jù)對宏塊的基本縮放層的運動矢量與增強 縮放層中相應宏塊的運動矢量之差的估計，來執(zhí)行該自適應方法，即中間層預測器是否有 效。如果該差小于特定閾值，則經(jīng)由控制線130來激活中間層預測器。然而，如果該差高于 特定閾值，則使針對該塊的中間層預測器去激活(deactivated)。傳輸標志ResPrdFlag 1108。當標志1108等于1時，將基本層的重構的殘留信號 用于預測增強層的當前宏塊的殘留信號，其中，僅對增強層的當前殘留信號與其基本層的 重構之間的差的近似進行編碼。否則，標志1108不存在或等于零。這時，對增強層中當前 宏塊的殘留信號進行編碼，而不根據(jù)基本層來預測。當基本層表示具有二分之一的增強層的空間分辨率的層時，在將基本層的上采樣 的殘留信號用作預測信號之前，通過使用插值濾波器來對殘留信號進行上采樣。該濾波器 是具有六個抽頭的插值濾波器，用于對由于較低分辨率而在基本層中不存在的增強層的較 高空間分辨率的值進行插值，周圍的值用于獲得盡可能好的插值結果。
然而，如果對變換塊的邊緣處的值進行插值，并且插值濾波器將僅使用另一變換 塊的值來進行插值，則優(yōu)選地并不這么做，而是對所考慮塊之外的插值濾波器的值進行合 成，以進行偽像盡可能小的插值。根據(jù)所謂核心試驗(core experiment)，發(fā)現(xiàn)運動和殘留值的中間層預測顯著地 提高了基于AVC的MCTF方法的編碼器效率。對于特定的測試點，獲得了大于IdB的PSNR 增益。尤其是對于每個空間分辨率(除了基本層)有非常低的比特率，可清楚地看到重構 質量的提高。取決于情況，本發(fā)明的方法可以硬件或軟件來實現(xiàn)。可在數(shù)字存儲介質中執(zhí)行該 實現(xiàn)，具體地在具有電可讀控制信號的盤或CD中實現(xiàn)，該數(shù)字存儲介質可與可編程計算機 系統(tǒng)進行協(xié)作來執(zhí)行該方法。因此，通常，本發(fā)明還包括具有存儲在機器可讀載體中的程序 代碼的計算機程序產(chǎn)品，當計算機程序產(chǎn)品在計算機上運行時，所述程序代碼用于執(zhí)行本 發(fā)明方法。換言之，本發(fā)明還可實現(xiàn)為具有程序代碼的計算機程序，當該計算機程序在計算 機上運行時，所述程序代碼執(zhí)行本發(fā)明方法。此外，本發(fā)明涉及一種計算機可讀介質，其中針對不同的解碼器側的裝置，存儲了 具有第一縮放層和第二縮放層的可縮放數(shù)據(jù)流以及有關的控制字符。因此，計算機可讀介 質可以是數(shù)據(jù)載體或因特網(wǎng)，在因特網(wǎng)上將數(shù)據(jù)流從提供方傳輸?shù)浇邮諜C。
權利要求
一種用于對具有基本縮放層(1002)和增強縮放層(1004)的編碼的視頻序列進行解碼的設備，包括基本圖像解碼器(1060)，用于對基本縮放層進行解碼，以獲得殘差圖像的解碼基本序列和基本運動數(shù)據(jù)，所述基本運動數(shù)據(jù)表示當前圖像中的宏塊相對于圖像組中另一圖像怎樣運動；增強圖像解碼器(1066)，用于對增強縮放層進行解碼以獲得增強層殘差圖像；中間層組合器(1074)，用于將殘差圖像的解碼基本序列或殘差圖像的插值基本序列與增強層殘差圖像組合，以獲得殘差圖像的增強序列；增強運動組合器(1076)，形成為通過使用殘差圖像的增強序列和增強層運動數(shù)據(jù)，來獲得增強縮放層的圖像序列，其中，基本縮放層(1002)的圖像的分辨率比增強縮放層(1004)的圖像的分辨率低，以及其中，所述設備還包括殘留值插值器(1070)，用于將殘差圖像的解碼基本序列插值為更高的分辨率，其中，插值器(1070)形成為使用插值濾波器，該插值濾波器通過使用在要插值的像素周圍的多個像素來工作。
2.一種用于對具有基本縮放層(1002)和增強縮放層(1004)的編碼的視頻序列進行解 碼的方法，包括步驟對基本縮放層進行解碼(1060)，以獲得殘差圖像的解碼基本序列和基本運動數(shù)據(jù)，所 述基本運動數(shù)據(jù)表示當前圖像中的宏塊相對于圖像組中另一圖像怎樣運動； 對增強縮放層進行解碼(1066)以獲得增強層殘差圖像；將殘差圖像的解碼基本序列或殘差圖像的插值基本序列與增強層殘差圖像組合 (1074)，以獲得殘差圖像的增強序列；通過使用殘差圖像的增強序列和增強層運動數(shù)據(jù)，執(zhí)行增強運動組合(1076)，來獲得 增強縮放層的圖像序列，其中，基本縮放層(1002)的圖像的分辨率比增強縮放層(1004)的圖像的分辨率低，以及其中，所述方法還包括將殘差圖像的解碼基本序列插值為更高的分辨率的殘留值插值 步驟(1070)，其中，插值步驟(1070)使用插值濾波器，該插值濾波器通過使用在要插值的 像素周圍的多個像素來工作。
全文摘要
視頻編碼器在基本層(1002)和增強層(1004)中執(zhí)行運動補償預測(1906、1012、1014、1016)，通過使用來自基本層的運動數(shù)據(jù)，確定增強層的運動數(shù)據(jù)，和/或通過使用來自基本層的殘差圖像的序列，在增強層的運動補償預測之后，通過中間層預測器(1018)，預測殘差圖像的序列。在解碼器一側，中間層組合器用于抵消該中間層預測。因而與沒有中間層預測但具有相同圖像質量的可縮放方案相比，提高了數(shù)據(jù)率。
文檔編號H04N7/26GK101931811SQ20101024555
公開日2010年12月29日 申請日期2005年9月21日 優(yōu)先權日2004年10月15日
發(fā)明者德特勒夫·馬爾佩, 托馬斯·威甘德, 海科·施瓦茨 申請人:弗勞恩霍夫應用研究促進協(xié)會