專利名稱：用于復雜度可伸縮視頻解碼器的方法和設備的制作方法
技術領域：
本發(fā)明大體上涉及視頻編碼器和解碼器(編解碼器)，更具體地，涉及一種用于可伸縮復雜度視頻編碼和解碼的設備和方法。
背景技術：
人們希望廣播視頻應用為多種用戶設備提供支持，而不會導致同時聯(lián)播編碼的比特率損失。視頻解碼是復雜的操作，復雜度取決于編碼視頻的分辨率。低功率便攜式設備典型地具有非常嚴格的復雜度限制和低分辨率顯示器。與不同分辨率相對應的兩個或多個視頻比特流的同時聯(lián)播廣播可以用來處理更低分辨率設備的復雜度要求，但是要求比復雜度可伸縮系統(tǒng)更高的總比特率。因此，需要一種解決方案，在保持高視頻編碼比特率效率的同時，允許使用復雜度可伸縮的編解碼器。
在MPEG-2和MPEG-4標準的可伸縮性概述中，許多不同的可伸縮性方法已得到了廣泛的研究和標準化，包括SNR可伸縮性、空間可伸縮性、時間可伸縮性和微粒度可伸縮性。可伸縮編碼的大部分工作是以比特率可伸縮性作為目標，其中低分辨率層具有有限帶寬。如圖1所示，參考數(shù)字100大體上表示典型的空間可伸縮性系統(tǒng)。系統(tǒng)100包括用于接收視頻序列的復雜度可伸縮視頻編碼器110。復雜度可伸縮視頻編碼器110的第一輸出以信號通信的方式，與低帶寬網(wǎng)絡120以及復用器130的第一輸入相連。復雜度可伸縮視頻編碼器110的第二輸出以信號通信的方式與復用器130的第二輸入相連。低帶寬網(wǎng)絡120的輸出以信號通信的方式與低分辨率解碼器140的輸入相連。復用器130的輸出以信號通信的方式與高帶寬網(wǎng)絡150的輸入相連。高帶寬網(wǎng)絡150的輸出以信號通信的方式與解復用器160的輸入相連。解復用器160的第一輸出以信號通信的方式與高分辨率解碼器170的第一輸入相連，解復用器160的第二輸出以信號通信的方式與高分辨率解碼器170的第二輸入相連?？稍谙到y(tǒng)100的外部使用低分辨率解碼器140和高分辨率解碼器170的輸出。
因為解碼器和解碼器復雜度的顯著增加，以及可伸縮編碼器的編碼效率典型地遠低于不可伸縮編碼器，所以實際中還未廣泛采用可伸縮編碼。
空間可伸縮編碼器和解碼器典型地要求高分辨率可伸縮解碼器/解碼器在提供常規(guī)高分辨率解碼器/解碼器中可能存在的功能之外，還提供附加功能。在MPEG-2空間可伸縮編碼器中，對于是根據(jù)低分辨率參考圖像，還是根據(jù)高分辨率參考圖像來執(zhí)行預測，做出決定。MPEG-2空間可伸縮解碼器必須是既能夠根據(jù)低分辨率參考圖像來預測，又能夠根據(jù)高分辨率參考圖像來預測。MPEG-2空間可伸縮解碼器/解碼器要求兩組參考圖像存儲器，一個針對低分辨率圖像，另一個針對高分辨率圖像。圖2示出了根據(jù)現(xiàn)有技術，支持兩層的低復雜度空間可伸縮編碼器200的方框圖。圖3示出了根據(jù)現(xiàn)有技術，支持兩層的低復雜度空間可伸縮解碼器300的方框圖。
參考圖2，參考數(shù)字200大體上表示支持兩層的空間可伸縮視頻編碼器。視頻編碼器200包括用于接收高分辨率輸入視頻序列的下采樣器210。下采樣器210以信號通信的方式與低分辨率不可伸縮編碼器212相耦合，低分辨率不可伸縮編碼器212以信號通信的方式與低分辨率幀存儲器214相耦合。低分辨率不可伸縮編碼器212輸出低分辨率比特流，還以信號通信的方式與低分辨率不可伸縮解碼器220相耦合。
低分辨率不可伸縮解碼器220以信號通信的方式與上采樣器230相耦合，上采樣器230以信號通信的方式與可伸縮高分辨率編碼器240相耦合?？缮炜s高分辨率編碼器240還接收高分辨率輸入視頻序列，并以信號通信的方式與高分辨率幀存儲器250相耦合，并輸出高分辨率可伸縮比特流。
因此，由低復雜度編碼器200接收高分辨率輸入視頻序列，并對其進行下采樣以創(chuàng)建低分辨率視頻序列。使用不可伸縮低分辨率視頻壓縮編碼器來對低分辨率視頻序列進行編碼，創(chuàng)建低分辨率比特流。使用不可伸縮低分辨率視頻壓縮解碼器來對低分辨率比特流進行解碼?？梢栽诰幋a器內(nèi)部執(zhí)行這種功能。對已解碼的低分辨率序列上采樣，作為可伸縮高分辨率編碼器的兩個輸入之一?？缮炜s高分辨率編碼器對視頻進行編碼，來創(chuàng)建高分辨率可伸縮比特流。
參考圖3，參考數(shù)字300大體上表示支持兩層的空間可伸縮視頻解碼器。視頻解碼器300包括用于接收低分辨率比特流的低分辨率解碼器360，低分辨率解碼器360以信號通信的方式與低分辨率幀存儲器362相耦合，并輸出低分辨率視頻序列。低分辨率解碼器360還以信號通信的方式與上采樣器370相耦合，上采樣器370以信號通信的方式與可伸縮高分辨率解碼器380相耦合。
可伸縮高分辨率解碼器380還以信號通信的方式與高分辨率幀存儲器390相耦合?？缮炜s高分辨率解碼器380接收高分辨率比特流，并輸出高分辨率視頻序列。
因此，由低復雜度解碼器300接收高分辨率可伸縮比特流和低分辨率比特流。使用不可伸縮低分辨率視頻壓縮解碼器來解碼低分辨率比特流，其中所述不可伸縮低分辨率視頻壓縮解碼器使用低分辨率幀存儲器。對已解碼的低分辨率視頻進行上采樣，然后將其輸入高分辨率可伸縮解碼器。高分辨率可伸縮解碼器使用高分辨率幀存儲器組，并創(chuàng)建高分辨率輸出視頻序列。
參考圖4，參考數(shù)字400大體上表示不可伸縮視頻編碼器。視頻編碼器400的輸入以信號通信的方式與求和點(加法器或用于信號組合/比較的其它裝置)410的非反相輸入相連。求和點410的輸出以信號通信的方式與變換器/量化器420相連。變換器/量化器420的輸出以信號通信的方式與熵編碼器440相連，其中熵編碼器440的輸出是編碼器400的外部可用輸出。
變換器/量化器420的輸出還以信號通信的方式與逆變換/量化器450相連。逆變換/量化器450的輸出以信號通信的方式與求和點(加法器或用于信號組合的其它裝置)488的第一非反相輸入相連。求和點488的輸出以信號通信的方式與去塊(deblock)濾波器460的輸入相連。去塊濾波器460的輸出以信號通信的方式與參考圖像存儲器470相連。參考圖像存儲器470的第一輸出以信號通信的方式與運動估計器480的第一輸入相連。解碼器400的輸入還以信號通信的方式與運動估計器480的第二輸入相連。運動估計器480的輸出以信號通信的方式與運動補償器490的第一輸入相連。參考圖像存儲470的第二輸出以信號通信的方式與運動補償器490的第二輸入相連。運動補償器490的輸出以信號通信的方式與求和點410的反相輸入以及求和點488的第二非反相輸入相連。
參考圖5，參考數(shù)字500大體上表示不可伸縮視頻解碼器。視頻解碼器500包括用于接收視頻序列的熵解碼器510。熵解碼器510的第一輸出以信號通信的方式與逆量化器/變換器520的輸入相連。逆量化器/變換器520的輸出以信號通信的方式與求和點(加法器或用于信號組合/比較的其它裝置)540的第一輸入相連。
求和點540的輸出以信號通信的方式與去塊濾波器590相連。去塊濾波器590的輸出以信號通信的方式與參考圖像存儲器550相連。參考圖像存儲器550以信號通信的方式與運動補償器560的第一輸入相連。運動補償器560的輸出以信號通信的方式與求和點540的第二輸入相連。熵解碼器510的第二輸出以信號通信的方式與運動補償器560的第二輸入相連。去塊濾波器590的輸出提供視頻解碼器500的輸出。
已建議擴展H.264/MPEG AVC，以使用降低分辨率更新(ReducedResolution Update，RRU)模式。RRU模式在執(zhí)行全分辨率圖像的運動估計和補償時，通過減少要編碼的殘差宏塊(MB)的數(shù)量，來提高低比特率的編碼效率。參考圖6，參考數(shù)字600大體上表示降低分辨率更新(RRU)視頻編碼器。視頻編碼器600的輸入以信號通信的方式與求和點(加法器或用于信號組合/比較的其它裝置)610的非反相輸入相連。求和點610的輸出以信號通信的方式與下采樣器612的輸入相連。變換器/量化器620的輸入以信號通信的方式與下采樣器612的輸入或與求和點610的輸出相連。變換器/量化器620的輸出以信號通信的方式與熵編碼器640相連，其中熵編碼器640的輸出是編碼器600的外部可用輸出。
變換器/量化器620的輸出還以信號通信的方式與逆變換器/量化器650的輸入相連。逆變換器/量化器650的輸出以信號通信的方式與上采樣器655的輸入相連。加法器(求和點或其它信號組合裝置)688的第一非反相輸入以信號通信的方式與逆變換器/量化器650的輸出，或與上采樣器655的輸出相連。加法器688的輸出以信號通信的方式與去塊濾波器660的輸入相連。去塊濾波器660的輸出以信號通信的方式與參考圖像存儲器670的輸入相連。參考圖像存儲器670的第一輸出以信號通信的方式與運動估計器680的第一輸入相連。編碼器600的輸入還以信號通信的方式與運動估計器680的第二輸入相連。運動估計器680的輸出以信號通信的方式與運動補償器690的第一輸入相連。參考圖像存儲670的第二輸出以信號通信的方式與運動補償器690的第二輸入相連。運動補償器690的輸出以信號通信的方式與求和點610的反相輸入以及加法器688的第二非反相輸入相連。
參考圖7，參考數(shù)字700大體上表示降低分辨率更新(RRU)視頻解碼器。視頻解碼器700包括用于接收視頻序列的熵解碼器710。熵解碼器710的輸出以信號通信的方式與逆量化器/變換器720的輸入相連。逆量化器/變換器720的輸出以信號通信的方式與上采樣器722的輸入相連。上采樣器722的輸出以信號通信的方式與求和點(加法器或用于信號組合/比較的其它裝置)740的第一輸入相連。
求和點740的輸出以信號通信的方式與全分辨率參考圖像存儲器750以及去塊濾波器790相連。全分辨率參考圖像存儲器750以信號通信的方式與運動補償器760相連，運動補償器760以信號通信的方式與求和點740的第二輸入相連。去塊濾波器790的輸出提供視頻解碼器700的輸出。

發(fā)明內(nèi)容
本發(fā)明解決了現(xiàn)有技術的這些和其它缺點和不利之處，其中本發(fā)明涉及一種用于可伸縮復雜度視頻編碼和解碼的設備和方法。
根據(jù)本發(fā)明的一個實施例方案，提供一種用于解碼圖像塊的視頻比特流的方法，該方法包括步驟對視頻比特流進行解碼；對解碼比特流進行逆量化和逆變換，來形成預測殘差；從解碼視頻比特流中形成運動補償?shù)娜直媛暑A測；以及將上采樣的預測殘差與運動補償?shù)娜直媛暑A測組合起來，獲得解碼圖像塊。
本發(fā)明的這些和其它方案、特征和優(yōu)點將從以下要參考附圖來閱讀的范例實施例的詳細描述中顯而易見。


參考以下示例圖，可以更好地理解本發(fā)明，其中圖1示出了根據(jù)現(xiàn)有技術的典型空間可伸縮性系統(tǒng)的方框圖；圖2示出了根據(jù)現(xiàn)有技術，支持兩層的空間可伸縮編碼器的方框圖；圖3示出了根據(jù)現(xiàn)有技術，支持兩層的空間可伸縮解碼器的方框圖；圖4示出了根據(jù)現(xiàn)有技術，在H.264/MPEG AVC標準中使用的常規(guī)不可伸縮視頻編碼器的方框圖；圖5示出了根據(jù)現(xiàn)有技術，與H.264/MPEG AVC一起使用的常規(guī)不可伸縮視頻解碼器的方框圖；圖6示出了根據(jù)現(xiàn)有技術，降低分辨率更新(RRU)視頻編碼器的方框圖；
圖7示出了根據(jù)現(xiàn)有技術的降低分辨率更新(RRU)視頻解碼器的方框圖；圖8示出了根據(jù)本發(fā)明原理的復雜度可伸縮性廣播系統(tǒng)的方框圖；圖9示出了根據(jù)本發(fā)明原理的低分辨率復雜度可伸縮視頻解碼器的方框圖；圖10示出了根據(jù)本發(fā)明原理的高分辨率復雜度可伸縮視頻解碼器的方框圖；圖11示出了根據(jù)本發(fā)明原理的復雜度可伸縮視頻編碼器的方框圖；圖12示出了根據(jù)本發(fā)明原理的視頻編碼過程的流程圖；圖13示出了根據(jù)本發(fā)明原理，具有空間可伸縮性的視頻編碼過程的流程圖；圖14示出了根據(jù)本發(fā)明原理的高分辨率視頻解碼過程的流程圖；圖15示出了根據(jù)本發(fā)明原理的低分辨率視頻解碼過程的流程圖；以及圖16示出了根據(jù)本發(fā)明原理，具有空間可伸縮性的高分辨率視頻解碼過程的流程圖。
具體實施例方式
本發(fā)明的目的是提供一種用于可伸縮復雜度視頻編碼和解碼的設備和方法。
本描述示出了本發(fā)明的原理。因此，應該認識到，雖然這里沒有明顯描述或示出，但是本領域技術人員能夠設計多種配置，這些配置實現(xiàn)本發(fā)明的原理，并被包括在本發(fā)明的精神和范圍之內(nèi)。
這里所述的所有示例和條件語言用于教學目的，以幫助讀者理解本發(fā)明原理和發(fā)明人所做出的用以改進現(xiàn)有技術的概念，并且應該認為，本發(fā)明并不限于這些具體描述的示例和條件。
此外，這里描述本發(fā)明的原理、方案和實施例的所有陳述及其特定示例，意欲涵蓋其結構和功能上的等同物。另外，這些等同物包括當前已知的等同物和未來開發(fā)的等同物，即，無論結構如何，被開發(fā)來執(zhí)行相同功能的任何元件。
因此，例如，本領域技術人員應該理解到，這里所呈現(xiàn)的方框圖代表實現(xiàn)本發(fā)明原理的演示性電路的概念圖。相似地，應該理解到，任何流程圖、流程圖解、狀態(tài)轉(zhuǎn)換圖、偽代碼等代表多種過程，無論是否明顯示出了計算機或處理器，這些過程實質(zhì)上出現(xiàn)在計算機可讀介質(zhì)中，并由計算機或處理器執(zhí)行。
通過使用專用硬件和與適當軟件聯(lián)合而能夠執(zhí)行軟件的硬件，可以提供圖中所示的多種元件的功能。當由處理器提供時，可以由單個專用處理器、單個共享處理器或多個獨立的處理器來提供功能，其中多個獨立的處理器中的一些可以是共享的。此外，應該理解，確切使用術語“處理器”或“控制器”不是專指能夠執(zhí)行軟件的硬件，而是可以隱含地、非限制性地包括數(shù)字信號處理器(“DSP”)硬件、存儲軟件的只讀存儲器(“ROM”)、隨機存取存儲器(“RAM”)和非易失性存儲器。
還可以包括其它常規(guī)和/或定制的硬件。相似地，圖中所示的任何開關只是概念性的?？梢酝ㄟ^程序邏輯的操作、專用邏輯電路、程序控制和專用邏輯電路的交互，甚至手動地來執(zhí)行這些開關的功能，正如根據(jù)上下文更加具體理解的一樣，實施者可以選擇特定技術。
在權利要求中，任何被表達為執(zhí)行特定功能的裝置的元件意欲涵蓋執(zhí)行該功能的任何方式，例如包括a)執(zhí)行該功能的電路元件的組合；或b)任何形式的軟件，包括固件、微代碼等，與執(zhí)行該軟件的適當電路相組合，以執(zhí)行功能。由這些權利要求限定的本發(fā)明符合以下事實以權利要求所稱的方式，將多種所述裝置提供的功能組合或合并在一起。因此，申請人認為任何可以提供這些功能的裝置都是這里所示的裝置的等同物。
本發(fā)明的有用之處在于，本發(fā)明在保持編碼效率同時，實現(xiàn)了具有各種用戶端點設備的廣播視頻系統(tǒng)。在不喪失一般性的情況下，考慮支持至少兩個不同等級的解碼器復雜度和分辨率的系統(tǒng)。低分辨率解碼器具有較小的顯示尺寸，并具有非常嚴格解碼器復雜度限制。全分辨率解碼器具有更大的顯示尺寸，具有較少但仍然重要的解碼器復雜度限制。
廣播或組播系統(tǒng)傳輸兩個比特流，具有比特率BRbase的基層和具有比特率BRenhan的增強層?？梢詫蓚€比特流復用在一起，并以單個傳輸流發(fā)送。參考圖8，參考數(shù)字800大體上表示復雜度可伸縮性廣播系統(tǒng)。根據(jù)本發(fā)明原理，系統(tǒng)800包括復雜度可伸縮視頻編碼器、低分辨率解碼器和全分辨率解碼器。復雜度可伸縮性廣播系統(tǒng)800包括復雜度可伸縮視頻編碼器810。復雜度可伸縮視頻編碼器810的第一輸出以信號通信的方式，與復用器820的第一輸入相連。復雜度可伸縮視頻編碼器810的第二輸出以信號通信的方式，與復用器820的第二輸入相連。復用器820的輸出以信號通信的方式，與網(wǎng)絡830相連。網(wǎng)絡830的輸出以信號通信的方式，與第一解復用器840的輸入以及第二解復用器850的輸入相連。第一解復用器840的輸出以信號通信的方式，與低分辨率解碼器850的輸入相連。第二解復用器860的第一輸出以信號通信的方式，與全分辨率解碼器870的第一輸入相連。第二解復用器860的第二輸出以信號通信的方式，與全分辨率解碼器870的第二輸入相連。低分辨率解碼器850只處理基層比特流，而全分辨率解碼器870處理基層比特流和增強層比特流。
該系統(tǒng)的關鍵目標是最小化BRbase+BRenhan。這與典型的可伸縮性系統(tǒng)有些不同，如圖1所示，典型的可伸縮性系統(tǒng)還認為最小化BRbase本身也比較重要，其中，低分辨率設備通過低帶寬網(wǎng)絡相連。在復雜度可伸縮性系統(tǒng)800中，假設廣播基層和增強層，所以基層比特流的比特率沒有受到較高程度的限制。
在本發(fā)明中，在低分辨率解碼器850和全分辨率解碼器870中，都使用在運動估計/補償之后形成的視頻殘差的編碼所用的比特。在低分辨率解碼器850和全分辨率解碼器870中，都使用在基層比特流中傳輸?shù)倪\動矢量(mv)，但是在全分辨率解碼器870中的精度比在低分辨率解碼器850中的更高。此外，在低分辨率解碼器850中，以低分辨率進行運動補償預測，而在全分辨率解碼器870中，以高分辨率進行運動補償預測。低分辨率的運動塊與高分辨率的更大塊相對應。因此，例如，當應用于H.264/MPEGAVC編解碼器時，在低分辨率基層中使用允許的運動塊大小16×16、16×8、8×16、8×8、8×4、4×8和4×4，但是這與全分辨率的更大塊大小32×32、32×16、16×32、16×16、16×8、8×16和8×8相對應。
低分辨率解碼器850只使用基層比特流。例如，還使用16×16宏塊，傳輸附加的增強層比特流，以用在全分辨率解碼器870中。增強層比特流包括全分辨率誤差信息，要通過全分辨率運動補償，來將全分辨率誤差信息加到基層比特流的解碼結果上。增強層的比特率最終可以低于基層的比特率，這與典型的空間可伸縮性情況不同，在典型的空間可伸縮性情況中，基層比特率典型地小于增強層比特率。不必要針對每一個編碼宏塊或幀/圖像，發(fā)送全分辨率誤差信號。
參考圖9，參考數(shù)字900大體上表示低分辨率復雜度可伸縮視頻解碼器。視頻解碼器900包括用于接收視頻序列的熵解碼器910。熵解碼器910的第一輸出以信號通信的方式與逆量化器/變換器920的輸入相連。逆量化器/變換器920的輸出以信號通信的方式與求和點(加法器或用于信號組合/比較的其它裝置)940的第一輸入相連。
求和點940的輸出以信號通信的方式與參考圖像存儲器950和去塊濾波器990相連。參考圖像存儲器950以信號通信的方式與運動補償器960的第一輸入相連。運動補償器960的輸出以信號通信的方式與求和點940的第二輸入相連。熵解碼器910的第二輸出以信號通信的方式與運動矢量(MV)分辨率降低器999的輸入相連。MV分辨率降低器999的輸出以信號通信的方式，與運動補償器960的第二輸入相連。去塊濾波器990的輸出提供視頻解碼器900的輸出。
熵解碼器910對基層比特流進行熵解碼。運動矢量分辨率降低器999對運動矢量進行舍入操作，來降低運動矢量的精度，以與低分辨率相對應。其它模塊與標準視頻解碼器中的相似，包括逆量化和逆變換、運動補償和去塊濾波器。因為運動矢量的伸縮具有非常低的復雜度，所以低分辨率可伸縮解碼器900的復雜度與不可伸縮解碼器的非常相似。如果在低分辨率和全分辨率之間的每一維度中的分辨率比率中使用因子2，則可以根據(jù)在系統(tǒng)中是選擇向上舍入還是向下舍入，只通過右移或相加和右移，來實現(xiàn)舍入操作。
在本發(fā)明的可選實施例中，在基層中傳輸?shù)倪\動矢量不具有較高分辨率。在這種情況下，低分辨率解碼器可以與現(xiàn)有編碼標準完全地后向兼容。但是，因為必須在增強層比特流中傳輸全分辨率的運動矢量的附加比特精度，所以這種系統(tǒng)可能具有更低的編碼效率。在這種情況下，可以對增強層編碼，使其與P幀相似，并且首先根據(jù)層預測對運動矢量進行差分編碼(例如，相對于對應的低分辨率層mv來差分編碼)，再使用空間預測對運動矢量進行差分編碼(例如，相對于相鄰mv或甚至相鄰差分mv，來差分編碼)。
參考圖10，參考數(shù)字1000大體上表示高分辨率復雜度可伸縮視頻解碼器1000。視頻解碼器1000包括用于接收基層比特流的第一熵解碼器1005。第一熵解碼器1005的輸出以信號通信的方式與第一逆量化器/變換器1010的輸入相連。第一逆量化器/變換器1010的輸出以信號通信的方式與上采樣器1015的輸入相連。上采樣器1015的輸出以信號通信的方式與第一求和點(加法器或用于信號組合/比較的其它裝置)1020的第一輸入相連。
求和點1020的輸出以信號通信的方式與第二求和點(加法器或用于信號組合/比較的其它裝置)1025的第一輸入相連。全分辨率參考圖像存儲器1030的輸出以信號通信的方式與運動補償器1035的第一輸入相連。熵解碼器1005的第二輸出以信號通信的方式與運動補償器1035的第二輸入相連。運動補償器1035的輸出以信號通信的方式與第一求和點1020的第二輸入相連。
第二熵解碼器1040的輸入用于接收增強層比特流。第二熵解碼器1040的輸出以信號通信的方式與第二逆量化器/變換器1045的輸入相連。第二逆量化器/變換器1045的輸出以信號通信的方式與第二求和點1025的第二輸入相連。
去塊濾波器1050的輸入以信號通信的方式，與全分辨率參考圖像存儲器1030的輸入或與第二求和點1025的輸出相連。去塊濾波器1050的輸出提供視頻解碼器1000的輸出。
對基層比特流進行操作的解碼器1000的部分與RRU解碼器相似。在熵解碼以及逆量化和逆變換之后，對殘差進行上采樣。將運動補償應用于全分辨率參考圖像，來形成全分辨率預測，并將上采樣的殘差加到預測上。如果在增強層比特流中存在全分辨率誤差信號，則對其進行熵解碼以及逆量化和變換，然后加到RRU重建信號上。接著，應用去塊濾波器。采用跳過宏塊模式，可以在宏塊級上用信號通知全分辨率誤差信號的存在。如果宏塊被標記為跳過的，則不存在附加的誤差信號，如果宏塊未被標記為跳過的，則還必須傳輸增量(delta_quant)、編碼塊圖案和實際殘差。還可以對跳過宏塊進行行程編碼，來進一步提高效率?？梢詣?chuàng)建執(zhí)行無方向性預測的附加幀內(nèi)方向預測模式。如果跳過增強層中的宏塊，雖然不執(zhí)行任何附加預測可能更加高效，但是還可以通過考慮相鄰宏塊來推斷附加預測。例如，如果H.264中所述的所有幀內(nèi)預測模式可用，則也可以產(chǎn)生從相鄰宏塊的預測模式可以推導出的針對跳過的附加預測(即，最小方向預測)，然后將該附加預測加到RRU重建信號上，以產(chǎn)生最終預測。相似地，也可以在仍然允許傳輸誤差信號的同時，使用可以從相鄰宏塊推導出其方向預測模式的附加方向幀內(nèi)模式。
本結構與傳統(tǒng)的空間可伸縮解碼器的關鍵不同之處在于，不需要兩組參考圖像存儲器和運動補償單元。這種全分辨率解碼器只包含全分辨率參考圖像存儲器，并只執(zhí)行一次全分辨率上的運動補償。相反，圖3的空間可伸縮性解碼器包括全分辨率和低分辨率參考圖像存儲器，并執(zhí)行全分辨率和低分辨率的運動補償。與傳統(tǒng)的空間可伸縮解碼器相比，這顯著地縮減了針對根據(jù)本發(fā)明的全分辨率解碼器的計算、存儲和存儲帶寬。
全分辨率可伸縮解碼器的解碼器復雜度與相同分辨率的常規(guī)視頻解碼器的復雜度相似。因為在少量塊上進行操作，所以針對基層比特流的逆量化和逆變換模塊具有低于常規(guī)解碼器的復雜度。但是，對于增強層比特流，需要附加的熵解碼以及逆量化和逆變換。運動補償和去塊濾波器是解碼器中計算復雜度最大的模塊，它們與常規(guī)解碼器中的相同。
在本發(fā)明實施例中，只有在基層中存在幀內(nèi)編碼(I)幀時，才發(fā)送增強層比特流的全分辨率誤差信號。限制增強層的使用，只將其用于I幀，這就了針對軟件實現(xiàn)的解碼器復雜度。I幀需要的計算量-般少于P和B幀，因此，應該有空閑的CUP周期，可用于附加的熵解碼以及逆量化和逆變換操作。
參考圖11，參考數(shù)字1100大體上表示復雜度可伸縮視頻編碼器。視頻編碼器1100的輸入以信號通信的方式與第一求和點(加法器或用于信號組合/比較的其它裝置)1105的非反相輸入相連。第一求和點1105的輸出以信號通信的方式與下采樣器1112的輸入相連。下采樣器1112的輸出以信號通信的方式與第一變換器/量化器1115的輸入相連。第一變換器/量化器1115的輸出以信號通信的方式與第一熵編碼器1120的輸入相連，其中第一熵編碼器1120的輸出是針對基層比特流的解碼器1100的外部可用輸出。
第一變換器/量化器1115的輸出還以信號通信的方式與第一逆變換器/量化器1125的輸入相連。第一逆變換器/量化器1125的輸出以信號通信的方式與上采樣器1155的輸入相連。上采樣器1155的輸出以信號通信的方式與第三求和點(加法器或用于信號組合/比較的其它裝置)1199的第一輸入相連。第三求和點1199的第一輸出以信號通信的方式與第二求和點(加法器或用于信號組合/比較的其它裝置)1160的第一非反相輸入以及開關1191的輸入相連。第三求和點1199的第二輸出以信號通信的方式與第三求和點1165的第一非反相輸入相連。
視頻編碼器1100的輸入還以信號通信的方式與第二求和點1160的非反相輸入相連。第二求和點1160的輸出以信號通信的方式與開關1162的輸入相連。開關1162的輸出以信號通信的方式與第二變換器/量化器1170的輸入相連。第二變換器/量化器1170的輸出以信號通信的方式與第二熵編碼器1175的輸入相連，其中第二熵編碼器1175的輸出是針對增強層比特流的解碼器1100的外部可用輸出。第二變換器/量化器1170的輸出還以信號通信的方式與第二逆變換器/量化器1180的輸入相連。第二逆變換器/量化器1180的輸出以信號通信的方式與第三求和點1165的第二非反相輸入相連。
視頻編碼器1100的輸入還以信號通信的方式與運動估計器1185的第一輸入相連。運動估計器1185的輸出以信號通信的方式與運動補償器1190的第一輸入相連。運動補償器1190的輸出以信號通信的方式與第一求和點1105的反相輸入以及第三求和點1199的第二輸入相連。全分辨率參考圖像存儲器1192的第一輸出以信號通信的方式與運動估計器1185的第二輸入。全分辨率參考圖像存儲器1192的第二輸出以信號通信的方式與運動補償器1190的第二輸入相連。全分辨率參考圖像存儲器1192的輸入以信號通信的方式與去塊濾波器1195的輸入相連。去塊濾波器1195的輸入以信號通信的方式與開關1191的輸出相連。開關1191的另一輸入以信號通信的方式與第三求和點1165的輸出相連。
編碼器1100嘗試優(yōu)化全分辨率視頻質(zhì)量，而不是低分辨率視頻質(zhì)量。在全分辨率視頻圖像上執(zhí)行運動估計。在從輸入圖像中減去運動補償預測之后，對預測殘差進行下采樣。與RRU編解碼器中不同的是，將下采樣應用于所有圖像，從而低分辨率解碼器總會有要解碼的圖像。對下采樣的殘差進行變換和量化，以及熵編碼，從而形成基層比特流。應用逆量化器和逆變換，接著上采樣編碼殘差，使其回到全分辨率。編碼器可以選擇是否發(fā)送針對圖像或幀的增強層全分辨率誤差信號。一般而言，針對所有I幀，對增強層全分辨率誤差信號進行編碼，并且在全分辨率輸入圖像減去已上采樣的解碼圖像時，根據(jù)誤差信號的幅度，針對P和B幀，可選地發(fā)送增強層全分辨率誤差信號。如果要編碼增強層全分辨率誤差信號，則從輸入全分辨率圖像中減去已編碼的基層上采樣編碼圖像。然后對差值進行量化、變換和熵編碼，以形成增強層比特流。增強層比特流可以看作只包括幀內(nèi)編碼幀。
在可選實施例中，可以進行低分辨率和全分辨率圖像的聯(lián)合優(yōu)化。這可能要求在可伸縮編碼器內(nèi)部添加全低分辨率解碼器模型，并且需要低分辨率參考圖像存儲器和附加的低分辨率運動估計模塊。
可以任意使用多種不同的上采樣和下采樣濾波器，例如，雙線性插值、零階保持或多重延遲(muti-tap)濾波器。
在加上增強層誤差信號之前，可以在全分辨率解碼器和可伸縮編碼器中添加附加的去塊濾波器。在這種情況下，去塊操作也可以考慮所使用的增強層宏塊模式，即，如果跳過所有受到影響的塊，則不應用附加去塊操作，否則，根據(jù)是否是在殘差上或是在低分辨率重建塊上執(zhí)行放大，來應用不同強度的濾波。
當應用于H.264/MPEG AVC時，有多種可能的方法可用于全分辨率解碼器中的幀內(nèi)預測。使用與H.264/MPEG AVC規(guī)范中的預測像素相同的預測像素，可以在低分辨率上應用幀內(nèi)預測。可選的，可以使用另一方法，其中，在全分辨率上應用幀內(nèi)預測，并在預測中使用全分辨率的大量像素。
在可選實施例中，全分辨率解碼器可以決定，使用與用于基層解碼的分辨率和方法相同的分辨率和方法(即，使用16×16宏塊)，針對宏塊執(zhí)行運動補償，然后將該宏塊上采樣到全分辨率?？梢允褂秒p線性或更長抽頭(longer tap)濾波器，執(zhí)行上采樣。如果全分辨率誤差信號可用，則可以加上該信號。可以通過宏塊級(即，除了跳過(SKIP)模式之外，還存在RRU宏塊模式和低分辨率宏塊模式)上的附加發(fā)信號操作，來執(zhí)行決定。這種過程在以下特定情況是需要的由于較大的運動和紋理細節(jié)，對殘差進行上采樣會導致不希望的高頻和偽像產(chǎn)生。然而，這也要求全分辨率解碼器能夠存儲，或?qū)崟r(on thefly)產(chǎn)生低分辨率參考。更長抽頭濾波器也可能引起進一步的復雜度，雖然運動補償是針對更小宏塊來執(zhí)行的這一事實對復雜度進行了部分補償。但是，針對相同問題的第二個、更簡單的可選解決方案是在最終加上全分辨率誤差之前，執(zhí)行全分辨率上的運動補償，對基層殘差進行熵解碼、逆量化和逆變換但并不將其加到運動補償信號上。這種方法要求對基層殘差進行解碼，以更新用于解碼其它殘差的熵上下文模型。后一解決方案可以替代低分辨率宏塊模式，或作為用于編碼全分辨率殘差的附加模式而與之共存。
以上描述和圖假設了兩層可伸縮性，但是，可以將這種概念擴展到任意層數(shù)。
參考圖12，參考數(shù)字1200大體上表示視頻編碼過程。該過程包括開始模塊1205，其將控制傳遞給循環(huán)限制模塊1210。循環(huán)限制模塊1210將控制傳遞給決定模塊1215，決定模塊1215確定當前輸入塊是否是幀內(nèi)編碼的。如果當前輸入塊不是幀內(nèi)編碼的，則將控制傳遞給功能模塊1220，功能模塊1220形成當前輸入塊的幀內(nèi)預測，并將控制傳遞給功能模塊1230。否則，如果當前輸入塊是幀內(nèi)編碼的，則將控制傳遞給功能模塊1225，功能模塊1225形成當前輸入塊的運動補償預測，并將控制傳遞給功能模塊1230。功能模塊1230從當前輸入塊中減去當前輸入塊的預測，以形成預測殘差，然后將控制傳遞給功能模塊1235。功能模塊1235對預測殘差進行下采樣，然后將功能傳遞給功能模塊1240。功能模塊1240對下采樣預測殘差進行變換和量化，然后將控制傳遞給功能模塊1245。功能模塊1245對預測殘差進行熵編碼，然后將控制傳遞給功能模塊1250。功能模塊1250對預測殘差進行逆變換和逆量化，以形成編碼預測殘差，并將控制傳遞給功能模塊1255。功能模塊1255對編碼預測殘差進行上采樣，以形成上采樣的編碼預測殘差，然后將控制傳遞給功能模塊1260。功能模塊1260將上采樣的編碼預測殘差加到當前輸入塊的預測上，以形成編碼圖像塊，然后將控制傳遞給循環(huán)限制模塊1265。循環(huán)限制模塊1265將控制傳遞給結束模塊1270。
參考圖13，參考數(shù)字1300大體上表示具有空間可伸縮性的視頻編碼過程。該過程包括開始模塊1305，其將控制傳遞給循環(huán)限制模塊1310。循環(huán)限制模塊1310將控制傳遞給決定模塊1315，決定模塊1315確定當前輸入塊是否是幀內(nèi)編碼的。如果當前輸入塊不是幀內(nèi)編碼的，則將控制傳遞給功能模塊1320，功能模塊1320形成當前輸入塊的幀內(nèi)預測，并將控制傳遞給功能模塊1330。否則，如果當前輸入塊是幀內(nèi)編碼的，則將控制傳遞給功能模塊1325，功能模塊1325形成當前輸入塊的運動補償預測，并將控制傳遞給功能模塊1330。功能模塊1330從當前輸入塊中減去當前輸入塊的預測，以形成基層預測殘差，然后將控制傳遞給功能模塊1335。功能模塊1335對基層預測殘差進行下采樣，然后將功能傳遞給功能模塊1340。功能模塊1340對下采樣的基層預測殘差進行變換和量化，然后將控制傳遞給功能模塊1345。功能模塊1345對基層預測殘差進行熵編碼，然后將控制傳遞給功能模塊1350。功能模塊1350對預測殘差進行逆變換和逆量化，以形成編碼的基層預測殘差，并將控制傳遞給功能模塊1355。功能模塊1355對編碼的基層預測殘差進行上采樣，以形成上采樣的編碼基層預測殘差，然后將控制傳遞給功能模塊1360。功能模塊1360將上采樣的編碼預測殘差加到當前輸入塊的預測上，以形成編碼基層塊，然后將控制傳遞給功能模塊1365。功能模塊1365從當前輸入塊中減去編碼基層塊，以形成增強層預測殘差，然后將控制傳遞給功能模塊1370。功能模塊1370對下采樣的增強層預測殘差進行變換和量化，然后將控制傳遞給功能模塊1375。功能模塊1375對增強層預測殘差進行熵編碼，然后將控制傳遞給功能模塊1380。功能模塊1380對增強層預測殘差進行逆變換和逆量化，以形成編碼的增強層預測殘差，然后將控制傳遞給功能模塊1385。功能模塊1385加上編碼的增強層塊，然后將控制傳遞給循環(huán)限制模塊1390。循環(huán)限制模塊1390將控制傳遞給結束模塊1395。
參考圖14，參考數(shù)字1400大體上表示高分辨率視頻解碼過程。該過程包括開始模塊1405，其將控制傳遞給循環(huán)限制模塊1410。循環(huán)限制模塊1410將控制傳遞給功能模塊1415，功能模塊1415對編碼基層預測殘差比特流進行熵解碼，然后將控制傳遞給功能模塊1420。功能模塊1420對基層預測殘差進行逆變換和逆量化，以形成編碼基層預測殘差，然后將控制傳遞給功能模塊1425。功能模塊1425對編碼基層預測殘差進行上采樣，以形成上采樣的編碼基層預測殘差，然后將控制傳遞給決定模塊1430。決定模塊1430確定當前輸入塊是否是幀內(nèi)編碼的。如果當前輸入塊不是幀內(nèi)編碼的，則將控制傳遞給功能模塊1435，功能模塊1435形成當前輸入塊的高分辨率運動補償預測，并將控制傳遞給功能模塊1440。否則，如果當前輸入塊是幀內(nèi)編碼的，則將控制傳遞給功能模塊1445，功能模塊1445形成當前輸入塊的高分辨率幀內(nèi)預測，并將控制傳遞給功能模塊1440。功能模塊1440將上采樣的編碼預測殘差加到當前輸入塊的預測上，以形成編碼圖像塊，然后將控制傳遞給循環(huán)限制模塊1450。循環(huán)限制模塊1450將控制傳遞給結束模塊1455。
參考圖15，參考數(shù)字1500大體上表示低分辨率視頻解碼過程。該過程包括開始模塊1505，其將控制傳遞給循環(huán)限制模塊1510。循環(huán)限制模塊1510將控制傳遞給功能模塊1515，功能模塊1515對編碼基層預測殘差比特流進行熵解碼，然后將控制傳遞給功能模塊1520。功能模塊1520對基層預測殘差進行逆變換和逆量化，以形成編碼基層預測殘差，然后將控制傳遞給決定模塊1525。決定模塊1525確定當前輸入塊是否是幀內(nèi)編碼的。如果當前輸入塊不是幀內(nèi)編碼的，則將控制傳遞給功能模塊1530，功能模塊1530對當前輸入塊的運動矢量進行縮放，并將控制傳遞給功能模塊1535。否則，如果當前輸入塊是幀內(nèi)編碼的，則將控制傳遞給功能模塊1540，功能模塊1540形成當前輸入塊的低分辨率幀內(nèi)預測，并將控制傳遞給功能模塊1545。功能模塊1535形成當前輸入塊的低分辨率運動補償預測，并將控制傳遞給功能模塊1545。功能模塊1545將編碼預測殘差加到當前輸入塊的預測上，以形成編碼圖像塊，然后將控制傳遞給循環(huán)限制模塊1550。循環(huán)限制模塊1550將控制傳遞給結束模塊1555。
參考圖16，參考數(shù)字1600大體上表示具有空間可伸縮性的高分辨率視頻解碼過程。該過程包括開始模塊1605，其將控制傳遞給循環(huán)限制模塊1610。循環(huán)限制模塊1610將控制傳遞給功能模塊1615，功能模塊1615對編碼基層預測殘差比特流進行熵解碼，然后將控制傳遞給功能模塊1620。功能模塊1620對基層預測殘差進行逆變換和逆量化，以形成編碼基層預測殘差，然后將控制傳遞給功能模塊1625。功能模塊1625對編碼基層預測殘差進行上采樣，以形成上采樣的編碼基層預測殘差，然后將控制傳遞給決定模塊1630。決定模塊1630確定當前輸入塊是否是幀內(nèi)編碼的。如果當前輸入塊不是幀內(nèi)編碼的，則將控制傳遞給功能模塊1635，功能模塊1635形成當前輸入塊的高分辨率運動補償預測，并將控制傳遞給功能模塊1640。否則，如果當前輸入塊是幀內(nèi)編碼的，則將控制傳遞給功能模塊1645，功能模塊1645形成當前輸入塊的高分辨率幀內(nèi)預測，并將控制傳遞給功能模塊1640。功能模塊1640將上采樣的編碼預測殘差加到當前輸入塊的預測上，以形成編碼圖像塊，然后將控制傳遞給功能模塊1646。功能模塊1646對全分辨率編碼增強層預測殘差比特流進行熵解碼，然后將控制傳遞給功能模塊1650。功能模塊1650對全分辨率增強層預測殘差進行逆變換和逆量化，以形成全分辨率編碼增強層預測殘差，然后將控制傳遞給功能模塊1655。功能模塊1655將編碼基層圖像塊加到全分辨率編碼增強層預測殘差上，以形成編碼圖像塊，然后將控制傳遞給循環(huán)限制模塊1660。循環(huán)限制模塊1660將控制傳遞給結束模塊1665。
根據(jù)這里的教導，所屬領域的普通技術人員可以容易地確定本發(fā)明的這些和其它特征及優(yōu)點。應該理解，可以硬件、軟件、固件、專用處理器或其組合等多種形式，實現(xiàn)本發(fā)明的教導。
最好的是，將本發(fā)明的教導實現(xiàn)為硬件和軟件的組合。此外，優(yōu)選的是，將軟件實現(xiàn)為可在程序存儲單元上確切地具體化的應用程序?？梢詫贸绦蛏陷d到包括任何適當結構的機器上，并由其執(zhí)行。優(yōu)選地，在具有例如一個或多個中央處理單元(“CPU”)、隨機存取存儲器(“RAM”)和輸入/輸出(“I/O”)接口等硬件的計算機平臺上，實現(xiàn)該機器。計算機平臺還可以包括操作系統(tǒng)和微指令代碼。這里所述的多種過程和功能可以是微指令代碼的一部分、或應用程序的一部分、或其任何組合，這些過程和功能可以由CPU執(zhí)行。此外，可以將多種其它的外圍單元與計算機平臺相連，例如附加數(shù)據(jù)存儲單元和打印單元。
還要理解，因為優(yōu)選地以軟件形式實現(xiàn)附圖中所示的一些構成系統(tǒng)組件和方法，所以，取決于對本發(fā)明進行編程的方式，系統(tǒng)組件或過程功能模塊之間的實際連接可以不同。這里給出了說明，所屬領域的普通技術人員將能夠設想本發(fā)明的這些和相似的實現(xiàn)或配置。
雖然參考附圖描述了演示性的實施例，但是要理解，本發(fā)明不限于這些精確的實施例，在不背離本發(fā)明的范圍或精神的前提下，所屬領域的普通技術人員可以進行多種改變和修改。所有的這種改變和修改意欲被包括在所附權利要求限定的本發(fā)明的范圍之內(nèi)。
權利要求
1.一種視頻解碼器，用于對圖像塊的視頻比特流進行解碼，包括運動矢量分辨率降低器(999)，用于接收在視頻比特流中包括的解碼高分辨率運動矢量，并降低高分辨率運動矢量的精度，使其與低分辨率相對應；以及運動補償器(960)，與所述運動矢量分辨率降低器進行信號通信，用于使用降低精度的運動矢量，來形成運動補償高分辨率預測。
2.根據(jù)權利要求1所述的視頻解碼器，還包括熵解碼器(910)，與所述運動矢量分辨率降低器進行信號通信，用于對視頻比特流進行解壓縮；以及逆量化器/逆變換器(920)，與所述熵解碼器進行信號通信，用于對解壓縮的比特流進行逆量化和逆變換，形成解碼的預測殘差，以將其加到運動補償高分辨率預測上，來形成解碼圖像塊。
3.一種空間可伸縮視頻解碼器，包括上采樣器(1015)，用于對低分辨率預測殘差進行上采樣，以形成上采樣的預測殘差；運動補償器(1035)，用于形成運動補償全分辨率預測；以及加法器，與所述上采樣器和所述運動補償器進行信號通信，用于將上采樣的預定殘差加到運動補償全分辨率預測上，以形成解碼圖像塊。
4.根據(jù)權利要求3所述的空間可伸縮視頻解碼器，其中所述加法器包括第一加法器(1020)，與所述上采樣器和所述運動補償器進行信號通信，用于將上采樣的預定殘差加到運動補償全分辨率預測上，以形成和信號；以及第二加法器(1025)，與所述第一加法器進行信號通信，用于將全分辨率增強層誤差信號加到和信號上，以形成解碼塊。
5.根據(jù)權利要求4所述的空間可伸縮視頻解碼器，其中，全分辨率增強層誤差信號是幀內(nèi)編碼的。
6.一種空間可伸縮視頻解碼器，用于對圖像塊的視頻比特流進行解碼，包括熵解碼器(1005)，用于對視頻比特流進行解壓縮；逆量化器/逆變換器(1010)，與所述熵解碼器進行信號通信，用于對解壓縮的比特流進行逆量化和逆變換，以形成編碼預測殘差；上采樣器(1015)，與所述逆量化器/逆變換器進行信號通信，用于對編碼預測殘差進行上采樣；運動補償器(1035)，與所述熵解碼器進行信號通信，用于形成運動補償預測的全分辨率預測；以及加法器(1020)，與所述上采樣器和所述運動補償器進行信號通信，用于將上采樣的預測殘差加到運動補償全分辨率預測上，以獲得解碼圖像塊。
7.一種空間可伸縮視頻解碼器，用于對圖像塊的基層視頻比特流和增強層視頻比特流進行解碼，包括熵解碼器(1005)，用于對基層視頻比特流進行解壓縮；逆量化器/逆變換器(1010)，與所述熵解碼器進行信號通信，用于對基層視頻比特流和增強層視頻比特流進行逆量化和逆變換，以形成編碼的基層預測低分辨率殘差；上采樣器(1015)，與所述逆量化器/逆變換器進行信號通信，用于對編碼的基層預測低分辨率殘差進行上采樣，以形成上采樣的基層預測殘差；運動補償器(1035)，與所述熵解碼器進行信號通信，用于形成運動補償預測的全分辨率預測；第一加法器(1020)，與所述上采樣器和所述運動補償器進行信號通信，用于將運動補償全分辨率預測加到上采樣的基層預測殘差上，以形成和信號；另一熵解碼器(1040)，用于對增強層視頻比特流進行解壓縮；另一逆量化器/逆變換器(1045)，與所述另一熵解碼器進行信號通信，用于對解壓縮的增強層視頻比特流進行逆量化和逆變換，以形成編碼的增強層預測全分辨率殘差；以及第二加法器(1025)，與所述第一加法器進行信號通信，用于將編碼的增強層預測全分辨率殘差加到和信號上，以形成解碼圖像塊。
8.根據(jù)權利要求7所述的空間可伸縮視頻解碼器，還包括去塊濾波器(1050)，與所述第二加法器進行信號通信，用于減小塊失真。
9.根據(jù)權利要求8所述的空間可伸縮視頻解碼器，其中，所述去塊濾波器(1050)響應于增強層模式信號。
10.根據(jù)權利要求8所述的空間可伸縮視頻解碼器，還包括高分辨率參考圖像存儲器(1030)，與所述運動補償器進行信號通信，用于存儲高分辨率參考圖像，以用在對基層比特流和增強層比特流的解碼中。
11.根據(jù)權利要求7所述的空間可伸縮視頻解碼器，其中，空間可伸縮視頻解碼器沒有低分辨率參考圖像存儲器。
12.一種用于對圖像塊的視頻比特流進行解碼的方法，包括步驟接收在視頻比特流中包括的解碼高分辨率運動矢量，并降低(1530)高分辨率運動矢量的精度，使其與低分辨率相對應；以及使用降低精度的運動矢量，來形成(1535)運動補償高分辨率預測。
13.根據(jù)權利要求12所述的方法，還包括步驟對視頻比特流進行解壓縮(1515)；以及對解壓縮的比特流進行逆量化和逆變換(1520)，形成解碼的預測殘差，以將其加到運動補償高分辨率預測上，來形成解碼圖像塊。
14.一種用于空間可伸縮視頻解碼的方法，包括步驟對低分辨率預測殘差進行上采樣(1625)，以形成上采樣的預測殘差；形成(1635)運動補償全分辨率預測；以及將上采樣的預定殘差加到運動補償全分辨率預測上，以形成解碼圖像塊。
15.根據(jù)權利要求14所述的方法，其中，所述加法步驟包括步驟將上采樣的預定殘差加到(1640)運動補償全分辨率預測上，以形成和信號；以及將全分辨率增強層誤差信號加到(1655)和信號上，以形成解碼塊。
16.根據(jù)權利要求15所述的方法，其中，全分辨率增強層誤差信號是幀內(nèi)編碼的。
17.一種用于對圖像塊的視頻比特流進行解碼的方法，包括步驟對視頻比特流進行解碼(1415)；對解碼的比特流進行逆量化和逆變換(1420)，以形成預測殘差；對預測殘差進行上采樣(1425)，以形成上采樣的預測殘差；從解碼視頻比特流中，形成(1435)運動補償預測的全分辨率預測；以及將上采樣的預測殘差與運動補償全分辨率預測相組合(1440)，以獲得解碼圖像塊。
18.一種用于對圖像塊的基層視頻比特流和增強層視頻比特流進行解碼的方法，包括步驟對基層視頻比特流和增強層視頻比特流進行逆量化和逆變換(1620)，以形成編碼的基層預測低分辨率殘差；對編碼的基層預測低分辨率殘差進行上采樣(1625)，以形成上采樣的基層預測殘差；形成(1635)運動補償預測的全分辨率預測；將運動補償全分辨率預測加到(1640)上采樣的基層預測殘差上，以形成和信號；對增強層視頻比特流進行逆量化和逆變換(1650)，以形成編碼的增強層預測全分辨率殘差；以及將編碼的增強層預測全分辨率殘差加到(1655)和信號上，以形成解碼圖像塊。
19.根據(jù)權利要求18所述的方法，還包括步驟減小解碼圖像塊中的塊失真。
20.根據(jù)權利要求19所述的方法，其中，所述減小步驟響應于增強層模式信號。
21.根據(jù)權利要求19所述的方法，還包括步驟存儲高分辨率參考圖像，以用在對基層比特流和增強層比特流的解碼中。
全文摘要
公開了一種視頻解碼器、視頻解碼方法、視頻編碼器和視頻編碼方法。用于對圖像塊的視頻比特流進行解碼的視頻解碼器包括運動矢量分辨率降低器(999)和運動補償器(960)。運動矢量分辨率降低器用于接收視頻比特流中包括的解碼高分辨率運動矢量，并降低高分辨率運動矢量的精度，使其與低分辨率相對應。運動補償器與運動矢量分辨率降低器進行信號通信，使用降低精度的運動矢量，來形成運動補償高分辨率預測。用于對可伸縮視頻進行編碼的視頻編碼器包括運動補償器(1190)，形成運動補償全分辨率預測，并組合(1105)運動補償全分辨率預測與圖像塊，以形成預測殘差。對預測殘差進行下采樣(1112)，以形成低分辨率的下采樣預測殘差，然后對其編碼(1115)。
文檔編號H04N7/46GK1939066SQ200580010305
公開日2007年3月28日 申請日期2005年3月31日 優(yōu)先權日2004年4月2日
發(fā)明者吉爾·麥克唐納·博伊斯, 亞歷山德羅斯·麥克爾·圖拉皮斯 申請人:湯姆森許可貿(mào)易公司