專利名稱：用中間層運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè)產(chǎn)生編碼的視頻序列的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼系統(tǒng)，具體地涉及可縮放(scalable)視頻編碼系統(tǒng)，可結(jié)合 視頻編碼標(biāo)準(zhǔn)H. 264/AVC或新的MPEG視頻編碼系統(tǒng)一起使用。
背景技術(shù)：
標(biāo)準(zhǔn)H. 264/AVC是IUT-T視頻編碼專家組VCEG和IS0/IEC運(yùn)動(dòng)圖像專家組(MPEG) 的視頻標(biāo)準(zhǔn)化計(jì)劃的結(jié)果。該標(biāo)準(zhǔn)化計(jì)劃的主要目標(biāo)是提供一種具有非常良好的壓縮行 為、同時(shí)產(chǎn)生網(wǎng)絡(luò)友好的視頻表征的清晰視頻編碼概念，包括例如視頻電話的具有“通話特 征”的應(yīng)用以及沒(méi)有通話特征的應(yīng)用(存儲(chǔ)、廣播、流傳輸)。除了上述標(biāo)準(zhǔn)IS0/IEC 14496-10之外，還存在與該標(biāo)準(zhǔn)有關(guān)的多種出版物。僅作 為示例，參考"The Emerging H. 264-AVC standard，，，Ralf Schafer, Thomas Wiegand and Heiko Schwarz, EBU Technical Review, January 2003。此夕卜，專家出版物"Overview of the H. 264/AVC Video Coding Standard，，，Thomas ffiegand, Gary J. Sullivan, Gesle Bjontegaard and Ajay Lothra, IEEE Transactions on Circuits and Systems for Video Technology, July 2003 以出片反· “Context—based adaptive Binary Arithmethic Coding in the H. 264/AVC Video Compression Standard，，，Detlev Marpe, Heiko Schwarz and Thomas ffiegand,IEEE Transactions on Circuits and Systems for Video Technology, September 2003，包括視頻編碼標(biāo)準(zhǔn)的不同方面的概述。然而，為了更好地理解，將參考圖9至11給出視頻編碼/解碼算法的概述。圖9示出了視頻編碼器的完整結(jié)構(gòu)，視頻編碼器通常包括兩個(gè)不同級(jí)。通常，第一 級(jí)通常進(jìn)行有關(guān)視頻的操作，產(chǎn)生輸出數(shù)據(jù)，然后輸出數(shù)據(jù)經(jīng)過(guò)第二級(jí)的熵編碼，第二級(jí)在 圖9中由80表示。數(shù)據(jù)是數(shù)據(jù)81a、量化變換系數(shù)81b以及運(yùn)動(dòng)數(shù)據(jù)81c，其中，將這些數(shù) 據(jù)81a、81b、81c提供給熵編碼器80，以在熵編碼器80的輸出處產(chǎn)生編碼的視頻信號(hào)。具體地，將輸入視頻信號(hào)分別分割劃分為宏塊，其中每個(gè)宏塊具有16X16象素。 然后，選擇宏塊與片組和片的關(guān)聯(lián)，根據(jù)該關(guān)聯(lián)，由圖8所示的操作塊網(wǎng)絡(luò)來(lái)處理每個(gè)片的 每個(gè)宏塊。應(yīng)該注意，當(dāng)視頻圖像中存在不同的片時(shí)，可能高效并行處理宏塊。經(jīng)由圖8中 的塊編碼器控制82來(lái)執(zhí)行宏塊與片組和片的關(guān)聯(lián)。存在不同的片，這些片定義如下I片1片是其中片的所有宏塊都是使用幀內(nèi)預(yù)測(cè)來(lái)編碼的片。P片除了 I片的編碼類型之外，P片的某些宏塊也可利用每個(gè)預(yù)測(cè)塊的至少一個(gè) 運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)信號(hào)，使用幀間預(yù)測(cè)來(lái)編碼。B片除了 P片中可用的編碼類型之外，B片的某些宏塊也可利用每個(gè)預(yù)測(cè)塊的兩個(gè)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)信號(hào)，使用幀間預(yù)測(cè)來(lái)編碼。上述三種編碼類型與早期的標(biāo)準(zhǔn)中的編碼類型非常類似，但是如下面所述的，使 用參考圖像。下面片的兩種編碼類型在標(biāo)準(zhǔn)H. 264/AVC中是新的SP片該片也被稱為切換P片，其編碼成可在不同預(yù)編碼圖像之間有效地切換。SI片SI片也被稱為切換I片，其使SP片中的宏塊精確地適應(yīng)直接隨機(jī)存取和錯(cuò) 誤恢復(fù)目的?？偠灾?，片是宏塊序列，如果不使用靈活宏塊排序FMO的屬性，則按照光柵掃描 的順序?qū)ζM(jìn)行處理，標(biāo)準(zhǔn)中同樣定義了 FM0。如

圖11所示，可將圖像分割為一個(gè)或多個(gè) 片。因此，圖像是一個(gè)或多個(gè)片的集合。在這點(diǎn)上，由于可根據(jù)比特流來(lái)分析(解析)片的 語(yǔ)法單元，所以片是彼此獨(dú)立的，其中，可在片所表示的圖像范圍內(nèi)正確地對(duì)采樣值進(jìn)行解 碼，只要所用的參考圖像在編碼器和解碼器中是相同的。然而，需要來(lái)自其它片的某些信息 來(lái)在片邊界上應(yīng)用解塊濾波器(deblocking filter)。FMO特性通過(guò)使用片組的概念，來(lái)修改將圖像劃分為片的方式。每個(gè)片組是由宏塊 到片組的映射所定義的宏塊的集合，宏塊到片組的映射由圖像參數(shù)集的內(nèi)容和來(lái)自片頭的 某些信息規(guī)定。該宏塊到片組的映射包括圖像中每個(gè)宏塊的片組標(biāo)識(shí)號(hào)，該標(biāo)識(shí)號(hào)規(guī)定了 有關(guān)宏塊所屬的片組?？蓪⒚總€(gè)片組劃分為一個(gè)或多個(gè)片，因此片是相同片組中的宏塊的 序列，該序列按照特定片組的宏塊集合中的光柵抽樣的順序來(lái)處理。取決于片編碼器的類型，可以以一個(gè)或多個(gè)編碼器類型來(lái)發(fā)送每個(gè)宏塊。在所有 片編碼器類型中，支持被稱為intra_4x4或intra_16X16類型的幀內(nèi)編碼，此外，還支持色度預(yù) 測(cè)模式和I_rcM預(yù)測(cè)模式。intra_4x4模式基于獨(dú)立的每個(gè)4X4色度塊的預(yù)測(cè)，并且非常適用于對(duì)具有突出 細(xì)節(jié)的圖像部分進(jìn)行編碼。另一方面，intra_16X16模式執(zhí)行整個(gè)16X16色度塊的預(yù)測(cè)，并 更適用于對(duì)圖像的“柔和，，區(qū)域進(jìn)行編碼。除了這兩個(gè)色度預(yù)測(cè)類型之外，還執(zhí)行獨(dú)立的色度預(yù)測(cè)。作為intra_4x4* intra_16X16的備選，I_4X4編碼類型使得編碼器簡(jiǎn)單地省略預(yù)測(cè)以及變換編碼，而直接發(fā)送 編碼的采樣的值。Ι—κ 模式具有以下目的其是編碼器精確地表征采樣的值。其提供一種 精確地表征非常異常的圖像內(nèi)容的值而不放大數(shù)據(jù)的方式。此外，其可以確定比特?cái)?shù)的確 切邊界，編碼器需要具有該確切邊界以處理宏塊而不損失編碼效率。與在變換域中執(zhí)行幀內(nèi)預(yù)測(cè)的早期的視頻編碼標(biāo)準(zhǔn)(即H. 263+和MPEG-4Visual) 相反，H. 264/AVC中的幀內(nèi)預(yù)測(cè)總是通過(guò)參考分別在要預(yù)測(cè)的塊的左側(cè)和上方的先前編碼 的塊的相鄰采樣，在空間域中執(zhí)行的(圖10)。在出現(xiàn)傳輸錯(cuò)誤的某些情況下，這會(huì)引起錯(cuò) 誤傳播，其中，由于幀內(nèi)編碼的宏塊中的運(yùn)動(dòng)補(bǔ)償而發(fā)生該錯(cuò)誤傳播。因此，可用信號(hào)通知 受限的幀內(nèi)編碼模式，受限的幀內(nèi)編碼模式僅能夠預(yù)測(cè)幀內(nèi)編碼的相鄰宏塊。在使用intra_4x4模式時(shí)，預(yù)測(cè)空間相鄰采樣的每個(gè)4X4塊。通過(guò)使用相鄰塊中 先前解碼的采樣，來(lái)預(yù)測(cè)4X4塊的16個(gè)采樣?？蓪?duì)每個(gè)4X4塊使用9種預(yù)測(cè)模式之一。 除了 “DC預(yù)測(cè)”(其中一值用于預(yù)測(cè)整個(gè)4X4塊)之外，規(guī)定8個(gè)方向預(yù)測(cè)模式。這些模 式適用于預(yù)測(cè)圖像中的方向結(jié)構(gòu)，例如不同角度的邊緣。除了幀內(nèi)宏塊編碼類型之外，將不同預(yù)測(cè)或運(yùn)動(dòng)補(bǔ)償編碼類型規(guī)定為P宏塊類 型。每個(gè)P宏塊類型與將宏塊具體分為塊形式相對(duì)應(yīng)，塊形式用于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。語(yǔ)法支持以16 X 16、16 X 8、8 X 8或者8 X 16采樣的小塊尺寸進(jìn)行劃分。在8 X 8采樣的劃分中，對(duì) 于每個(gè)8X8劃分，發(fā)送附加的語(yǔ)法單元。該語(yǔ)法單元規(guī)定了是否將各個(gè)8X8劃分進(jìn)一步 劃分為8X4、4X8或者4X4亮度采樣和相應(yīng)的色度采樣。通過(guò)將各個(gè)參考圖像的區(qū)域移動(dòng)由平移矢量和圖像參考指標(biāo)規(guī)定的量，獲得每個(gè) 預(yù)測(cè)編碼的MXM小塊的預(yù)測(cè)信號(hào)。因此，如果使用四個(gè)8X8劃分來(lái)編碼宏塊，并且在將每 個(gè)8X8劃分進(jìn)一步劃分為四個(gè)4X4劃分時(shí)，可在所謂運(yùn)動(dòng)場(chǎng)內(nèi)傳輸單個(gè)P宏塊的最大量 為16的運(yùn)動(dòng)矢量。在H. 264/AVC中，量化參數(shù)片QP用于確定變換系數(shù)的量化。該參數(shù)可假定52個(gè) 值。設(shè)置這些值，使得量化參數(shù)增加1則意味著量化器步長(zhǎng)寬度增加大約12%。這意味著 量化參數(shù)增加6則使量化器步長(zhǎng)寬度恰好增加因子2。應(yīng)該注意，步長(zhǎng)大小改變大約12% 也意味著比特率減少大約12%。塊的量化變換系數(shù)通常以Z字形路徑來(lái)采樣，并通過(guò)使用熵編碼方法來(lái)處理。按 照光柵掃描順序來(lái)采樣色度分量的2X 2DC次數(shù)，并且可通過(guò)使用16比特整數(shù)值的加法和 移位運(yùn)算來(lái)實(shí)現(xiàn)H. 264/AVC中的所有逆變換運(yùn)算。參考圖9，對(duì)于視頻序列中的每個(gè)圖像，首先逐個(gè)圖像將輸入信號(hào)劃分為16X16 象素的宏塊。然后，將每個(gè)圖像提供給減法器84，減法器84減去由包含在編碼器中的解碼 器85提供的原始圖像。然后對(duì)減法結(jié)果(即空間域的殘留信號(hào))進(jìn)行變換、縮放和量化 (塊86)，以獲得線81b熵的量化變換系數(shù)。為了產(chǎn)生要饋入減法器84的減法信號(hào)，首先再 次對(duì)量化變換系數(shù)進(jìn)行縮放和逆變換(塊87)，以提供給加法器88，加法器88的輸出饋入 解塊濾波器89，其中，例如，在解塊濾波器的輸出處監(jiān)視將要由解碼器進(jìn)行解碼的輸出視頻 信號(hào)，以用于控制目的(輸出90)。通過(guò)使用輸出90處的解碼的輸出信號(hào)，在塊91中執(zhí)行運(yùn)動(dòng)估計(jì)。對(duì)于塊90中的 運(yùn)動(dòng)估計(jì)，從圖9中可見(jiàn)，提供原始視頻信號(hào)的圖像。標(biāo)準(zhǔn)允許兩種不同的運(yùn)動(dòng)估計(jì)，即前 向運(yùn)動(dòng)估計(jì)和后向運(yùn)動(dòng)估計(jì)。在前向運(yùn)動(dòng)估計(jì)中，關(guān)于前一圖像來(lái)估計(jì)當(dāng)前圖像的運(yùn)動(dòng)。 然而，在后向運(yùn)動(dòng)估計(jì)中，使用將來(lái)的圖像來(lái)估計(jì)當(dāng)前圖像的運(yùn)動(dòng)。將運(yùn)動(dòng)估計(jì)的結(jié)果(塊 91)提供給運(yùn)動(dòng)補(bǔ)償塊92，特別地，在開(kāi)關(guān)93切換到幀間預(yù)測(cè)模式時(shí)，就像在圖9的情況下 一樣，運(yùn)動(dòng)補(bǔ)償塊92執(zhí)行運(yùn)動(dòng)補(bǔ)償幀間預(yù)測(cè)。然而，如果開(kāi)關(guān)93切換到幀內(nèi)預(yù)測(cè)，則使用 塊490來(lái)執(zhí)行幀內(nèi)預(yù)測(cè)。因此，由于對(duì)于幀內(nèi)預(yù)測(cè)，不執(zhí)行運(yùn)動(dòng)補(bǔ)償，所以不需要運(yùn)動(dòng)數(shù)據(jù)。運(yùn)動(dòng)估計(jì)塊91分別產(chǎn)生運(yùn)動(dòng)數(shù)據(jù)和運(yùn)動(dòng)場(chǎng)，其中，將分別包括運(yùn)動(dòng)矢量的運(yùn)動(dòng)數(shù) 據(jù)和運(yùn)動(dòng)場(chǎng)發(fā)送到解碼器，從而可執(zhí)行相應(yīng)的逆預(yù)測(cè)，即使用變換系數(shù)和運(yùn)動(dòng)數(shù)據(jù)的重構(gòu)。 應(yīng)該注意，在前向預(yù)測(cè)中，可分別根據(jù)緊接的前一圖像和多個(gè)在前的圖像來(lái)計(jì)算運(yùn)動(dòng)矢量。 除此之外，還應(yīng)該注意，在后向預(yù)測(cè)中，可使用緊接的相鄰的將來(lái)圖像，當(dāng)然也可使用其它 的將來(lái)圖像，來(lái)計(jì)算當(dāng)前圖像。圖9所示的視頻編碼概念的缺點(diǎn)在于，其未提供簡(jiǎn)單的可縮放性的可能。如本領(lǐng) 域公知的，術(shù)語(yǔ)“可縮放性(scalability)，，表示編碼器/解碼器概念，其中，編碼器提供縮 放的數(shù)據(jù)流?？s放的數(shù)據(jù)流包括基本縮放層以及一個(gè)或多個(gè)增強(qiáng)縮放層?；究s放層包括 要編碼的信號(hào)的表征，通常具有較低質(zhì)量，但同時(shí)具有較低數(shù)據(jù)率。增強(qiáng)縮放層包含視頻信 號(hào)的另一表征，其提供相對(duì)于基本縮放層有提高質(zhì)量的表征，典型地伴隨著基本縮放層的 視頻信號(hào)表征。另一方面，當(dāng)然，增強(qiáng)縮放層具有各自的比特需求，因此用于表示要編碼的信號(hào)的比特?cái)?shù)隨每個(gè)增強(qiáng)層而增加。取決于設(shè)計(jì)和可能性，解碼器僅對(duì)基本縮放層進(jìn)行解碼，以提供由解碼信號(hào)表示 的圖像的相當(dāng)差質(zhì)量的表征。然而，隨著每次“增加”另一縮放層，解碼器可逐步提高信號(hào) 的質(zhì)量(在有損比特率的情況下)。取決于實(shí)現(xiàn)方式和編碼器到解碼器的傳輸通道，由于典型地基本縮放層的比特率 很低而有限的傳輸通道足夠，所以傳輸至少一個(gè)基本縮放層。如果傳輸通道不再有更多的 帶寬，則僅傳輸基本縮放層而不傳輸增強(qiáng)縮放層。結(jié)果，解碼器可只產(chǎn)生圖像信號(hào)的低質(zhì)量 表征。與數(shù)據(jù)率太高而使得傳輸系統(tǒng)不太可能的未縮放情況相比，低質(zhì)量表征是有利的。如 果傳輸通道運(yùn)動(dòng)傳輸一個(gè)或多個(gè)增強(qiáng)層，則編碼器將向解碼器傳輸一個(gè)或多個(gè)增強(qiáng)層，因 此可根據(jù)請(qǐng)求，逐步地提高輸出視頻信號(hào)的質(zhì)量。關(guān)于視頻序列的編碼，可區(qū)分兩種不同的縮放。一種縮放是時(shí)間縮放，因此未傳輸 視頻序列的所有視頻幀，而是為了減小數(shù)據(jù)率，例如，僅傳輸了每第二個(gè)幀、每第三個(gè)幀、每 第四個(gè)幀等。另一種縮放是SNR縮放(SNR=信噪比)，其中，基本縮放層和第一、第二、第 三、.· ·增強(qiáng)縮放層包括所有的時(shí)間信息，但是具有不同的質(zhì)量。因此，基本縮放層具有低數(shù) 據(jù)率，但是具有低信噪比，其中，可通過(guò)每次增加一個(gè)增強(qiáng)縮放層來(lái)逐步地提高該信噪比。圖9所示的編碼器概念的問(wèn)題在于，它是基于殘留值僅由減法器84產(chǎn)生、然后被 處理的事實(shí)。在圖9所示的通過(guò)使用塊86、87、88、93、94和84而形成閉合回路的設(shè)置中， 基于預(yù)測(cè)算法來(lái)計(jì)算這些殘留值，其中，量化參數(shù)進(jìn)入閉合回路，即進(jìn)入塊86、87。如果現(xiàn)在 實(shí)現(xiàn)簡(jiǎn)單的SNR縮放，即例如首先用粗量化步來(lái)量化預(yù)測(cè)殘留信號(hào)，然后通過(guò)使用增強(qiáng)層， 用細(xì)量化器步長(zhǎng)來(lái)逐步量化預(yù)測(cè)殘留信號(hào)，這將具有以下結(jié)果。由于逆量化和預(yù)測(cè)，特別 地，關(guān)于一方面使用原始圖像且另一方面使用量化圖像而進(jìn)行的運(yùn)動(dòng)估計(jì)(塊91)和運(yùn)動(dòng) 補(bǔ)償(塊92)，將在編碼器和解碼器中導(dǎo)致量化器步長(zhǎng)的“發(fā)散”。這導(dǎo)致在解碼器一側(cè)產(chǎn) 生增強(qiáng)縮放層非常困難。此外，在解碼器一側(cè)處理增強(qiáng)縮放層變得不可能，至少是關(guān)于在標(biāo) 準(zhǔn)H. 264/AVC中定義的單元不可能。因此，原因是圖9所示的視頻編碼器中的閉合回路包 含量化。在San Diego2003年12月2日到5日的第九屆JVT會(huì)議介紹的HsikoSchwarz， Detlev Marpe 和 Thomas Wiegand 的題為 “SNR-Scalable Extension of H. 264/AVC” 的標(biāo) 準(zhǔn)化文獻(xiàn)JVT-I 032tl中，介紹了對(duì)H. 264/AVC的可縮放擴(kuò)展，其中包括關(guān)于時(shí)間和信噪比 的可縮放性(具有相等或不同時(shí)間精度)。因此，引入了時(shí)間子帶劃分的提升表征，這允許 使用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的公知方法。在 J.-R. Ohm, "Complexity and delay analysis of MCTF interframewavelet structures”，I SO/1 EC JTCl/WG11 Doc. M8520, July 2002 中描述了其中提升表征用于小 波分析和小波合成的基于小波的視頻編碼算法。在D. Taubman, "Successive refinement of video fundamental issues, past efforts and new directions，，，Proc. of SPIE (VCIP，03)，vol. 5150，pp. 649-663，2003中可以找到與可縮放性有關(guān)的評(píng)述，然而，其 中需要顯著的編碼器結(jié)構(gòu)改變。根據(jù)本發(fā)明，一方面實(shí)現(xiàn)了編碼器/解碼器的概念，另一方 面，可縮放的可能性可基于與標(biāo)準(zhǔn)一致的單元，尤其是對(duì)于運(yùn)動(dòng)補(bǔ)償。在詳細(xì)參考圖3的編碼器/解碼器機(jī)構(gòu)之前，首先，參考圖4來(lái)分別描述編碼器一側(cè)的基本提升方案和解碼器一側(cè)的逆提升方案。在W. Sweldens，“A custom design construction of biorthogonal wavelets", J. Appl. Comp. Harm. Anal. , vol. 3 (no. 2), pp.186-200,1996 禾口 I.Daubechies and W. Sweldens, "Factoring wavelet transforms into lifting Steps", J. Fourier Anal. Appl.，vol. 4 (no. 3)，pp. 247-269，1998 可找到與 提升方案和小波變換的組合的背景技術(shù)有關(guān)的詳細(xì)解釋。通常，提升方案包括三步，即多相 分解步驟、預(yù)測(cè)步驟和更新步驟。分解步驟包括將輸入側(cè)的數(shù)據(jù)流劃分為下分支40a的相同第一拷貝以及上分支 40b的相同拷貝。此外，將上分支40b的相同拷貝延遲一時(shí)間級(jí)(廣)，使得具有奇數(shù)索引k 的采樣s2k+1與具有偶數(shù)索引s2k的采樣分別經(jīng)過(guò)各個(gè)抽取器和下采樣器42a、42b。抽取器 42a和42b分別通過(guò)去除每第二個(gè)采樣，來(lái)減少上和下分支40b、40a中的采樣數(shù)。涉及預(yù)測(cè)步驟的第二區(qū)域II包括預(yù)測(cè)算子43和減法器44。表示更新步驟的第三 區(qū)域包括更新算子45和加法器46。在輸出側(cè)，存在兩個(gè)歸一化器47、48，用于歸一化高通 信號(hào)hk (歸一化器47)和歸一化低通信號(hào)Ik (歸一化器48)。具體地，多相分解導(dǎo)致給定信號(hào)s [k]的奇偶采樣的劃分。由于相關(guān)性結(jié)構(gòu)典型地 示出了局部特性，所以奇偶多相分量高度相關(guān)。因此，在最后的步驟中，通過(guò)使用整數(shù)采樣 來(lái)執(zhí)行奇數(shù)采樣的預(yù)測(cè)(P)。每個(gè)奇數(shù)采樣s。dd[k] = s[2k+l]的相應(yīng)預(yù)測(cè)算子(P)是相鄰 偶數(shù)采樣s_n[k] = s[2k]的線性組合，即
權(quán)利要求
1.一種用于對(duì)具有基本縮放層(1002)和增強(qiáng)縮放層(1004)的編碼的視頻序列進(jìn)行解 碼的設(shè)備，包括基本圖像解碼器(1060)，用于對(duì)基本縮放層進(jìn)行解碼，以獲得殘差圖像的解碼基本序 列和基本運(yùn)動(dòng)數(shù)據(jù)；增強(qiáng)圖像解碼器(1066)，用于對(duì)增強(qiáng)縮放層進(jìn)行解碼以獲得與殘差圖像的增強(qiáng)序列有 關(guān)的信息以及與增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)有關(guān)的信息；增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)計(jì)算器(1078)，用于通過(guò)估計(jì)與增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)有關(guān)的信息，并由于與增 強(qiáng)運(yùn)動(dòng)數(shù)據(jù)有關(guān)的評(píng)估信息，通過(guò)使用與基本運(yùn)動(dòng)數(shù)據(jù)有關(guān)的信息，來(lái)計(jì)算增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)； 以及增強(qiáng)運(yùn)動(dòng)組合器(1076)，形成為通過(guò)使用殘差圖像的增強(qiáng)序列和增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)，來(lái)獲 得增強(qiáng)縮放層的圖像序列；其中，所述設(shè)備還包括中間層組合器(1074)，用于將增強(qiáng)層中包含的增強(qiáng)預(yù)測(cè)殘差數(shù) 據(jù)與殘差圖像的解碼基本序列或殘差圖像的插值基本序列組合，以獲得殘差圖像的增強(qiáng)序 列。
2.一種用于對(duì)具有基本縮放層(1002)和增強(qiáng)縮放層(1004)的編碼的視頻序列進(jìn)行解 碼的方法，包括步驟對(duì)基本縮放層進(jìn)行解碼(1060)，以獲得殘差圖像的解碼基本序列和基本運(yùn)動(dòng)數(shù)據(jù)； 對(duì)增強(qiáng)縮放層進(jìn)行解碼(1066)以獲得與殘差圖像的增強(qiáng)序列有關(guān)的信息以及與增強(qiáng) 運(yùn)動(dòng)數(shù)據(jù)有關(guān)的信息；通過(guò)估計(jì)與增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)有關(guān)的信息，并由于與增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)有關(guān)的評(píng)估信息，通過(guò) 使用與基本運(yùn)動(dòng)數(shù)據(jù)有關(guān)的信息，來(lái)計(jì)算(1078)增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)；以及通過(guò)使用殘差圖像的增強(qiáng)序列和增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)，執(zhí)行增強(qiáng)運(yùn)動(dòng)組合(1076)，來(lái)獲得增 強(qiáng)縮放層的圖像序列；其中，所述方法還包括中間層組合步驟(1074)，用于將增強(qiáng)層中包含的增強(qiáng)預(yù)測(cè)殘差 數(shù)據(jù)與殘差圖像的解碼基本序列或殘差圖像的插值基本序列組合，以獲得殘差圖像的增強(qiáng) 序列。
全文摘要
用中間層運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè)產(chǎn)生編碼的視頻序列的設(shè)備和方法，在基本層(1002)和增強(qiáng)層的可縮放視頻編碼以及運(yùn)動(dòng)補(bǔ)償(1006，1014)中，通過(guò)使用基本層(1002)的運(yùn)動(dòng)數(shù)據(jù)來(lái)執(zhí)行增強(qiáng)層(1004)的運(yùn)動(dòng)數(shù)據(jù)的預(yù)測(cè)(1014，1016)，以獲得可縮放的概念，一方面，這提供了計(jì)算不同層的運(yùn)動(dòng)數(shù)據(jù)的最大靈活性，另一方面，這實(shí)現(xiàn)了較低的比特率。
文檔編號(hào)H04N7/36GK102082952SQ201110032620
公開(kāi)日2011年6月1日 申請(qǐng)日期2005年9月21日 優(yōu)先權(quán)日2004年10月15日
發(fā)明者德特勒夫·馬爾佩, 托馬斯·威甘德, 海科·施瓦茨 申請(qǐng)人:弗勞恩霍夫應(yīng)用研究促進(jìn)協(xié)會(huì)