專利名稱：質(zhì)量可縮放編碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及畫面和/或視頻編碼，具體地，涉及使用質(zhì)量可縮放數(shù) 據(jù)流的質(zhì)量可縮放編碼。
背景技術(shù)：
ISO/IEC運動畫面專家組(MPEG)與ITU-T視頻編碼專家組 (VCEG)的聯(lián)合視頻小組(JVT)的當(dāng)前項目是開發(fā)最新技術(shù)視頻編 碼標(biāo)準(zhǔn)H.264/MPEG4-AVC的可縮放擴展，所述最新技術(shù)視頻編碼標(biāo) 準(zhǔn)H.264/MPEG4-AVC的可縮放擴展定義于T. Wiegand, G丄Sullivan, J. Reichel， H. Schwarz禾n M. Wien的"Scalable Video Coding — Joint Draft 7， " Joint Video Team, Doc. JVT-T201, Klagenfurt， Germany, July 2006 以及J. Reichel， H. Schwarz禾卩M. Wien的"Joint Scalable Video Model JSVM-7，" Joint Video Team, Doc. JVT-T202, Klagenfurt, Germany, July 2006中，支持視頻序列的時間、空間和SNR可縮放編 碼或其任何組合。
ITU-T Rec. & ISO/IEC 14496-10 AVC, "Advanced Video Coding for Generic Audiovisual Services," version 3, 2005 中描述的 H.264/MPEG4-AVC規(guī)定了一種混合視頻編解碼器，其中，宏塊預(yù)測 信號通過運動補償預(yù)測在時域中產(chǎn)生，或通過幀內(nèi)預(yù)測在空間域中產(chǎn) 生，這兩種預(yù)測之后接著都進(jìn)行殘差編碼。不帶有可縮放性擴展的 H.264/MPEG4-AVC編碼被稱為單層H.264/MPEG4-AVC編碼。與單層 H.264/MPEG4-AVC編碼相當(dāng)?shù)穆适д嫘阅芤馕吨湫偷?，可?0% 的比特率實現(xiàn)相同的視覺重現(xiàn)質(zhì)量?；谏鲜銮闆r，可以將可縮放性 看作在以任何所支持的空間、時間或SNR分辨率實現(xiàn)與該特定分辨 率下的單層H.264/MPEG4-AVC編碼相當(dāng)?shù)腞-D性能的同時，去除部 分比特流中的功能?？梢詫⒖煽s放視頻編碼(SVC)的基本設(shè)計歸類為分層視頻編解 碼器。在每一層中，如H.264/MPEG4-AVC中一樣，采用運動補償?shù)?預(yù)測和幀內(nèi)預(yù)測的基本概念。然而，已經(jīng)集成了附加層間預(yù)測機制， 以利用若干空間或SNR層之間的冗余?；旧?，SNR可縮放性是通 過殘差量化來實現(xiàn)的，而對于空間可縮放性，采用運動補償預(yù)測與過 采樣金字塔分解的組合。保持了 H.264/MPEG4-AVC的時間可縮放性 方法。
一般而言，編碼器結(jié)構(gòu)取決于應(yīng)用所需的可縮放性空間。作為示 意，圖3示出了具有兩個空間層902a、 902b的典型編碼器結(jié)構(gòu)900。 在每一層中，采用具有層專用運動參數(shù)的906a、 b的獨立分級運動補 償預(yù)測結(jié)構(gòu)904a、 b。層間預(yù)測概念908利用連續(xù)層902a、 b之間的 冗余，層間預(yù)測概念908包括針對運動參數(shù)906a、 b以及紋理數(shù)據(jù) 910a、 b的預(yù)測機制。通過與H.264/MPEG4-AVC中類似的變換編碼 916a、 b來獲得每一層902a、 b的輸入畫面914a、 b的基本表示912a、 b，對應(yīng)的NAL單元(NAL——網(wǎng)絡(luò)抽象層)包含運動信息和紋理數(shù) 據(jù)；最低層的基本表示的NAL單元(即912a )與單層 H.264/MPEG4-AVC兼容。可以通過所謂的漸進(jìn)細(xì)化像條的附加編碼 918a、 b來改進(jìn)基本表示的重構(gòu)質(zhì)量；可以任意截斷對應(yīng)NAL單元以 支持細(xì)粒度質(zhì)量可縮放性(FGS)或靈活比特率適配。復(fù)用器920對 相應(yīng)層902a、b的基本層編碼916a、b和漸進(jìn)SNR細(xì)化紋理編碼918a、 b分別輸出的結(jié)果比特流進(jìn)行復(fù)用，以產(chǎn)生可縮放比特流922。該比特 流922在時間、空間和SNR質(zhì)量上可縮放。
概括而言，根據(jù)上述視頻編碼標(biāo)準(zhǔn)H.264/MPEG4-AVC的可縮放 擴展，通過使用分級預(yù)測結(jié)構(gòu)來提供時間可縮放性。對于這種分級預(yù) 測結(jié)構(gòu)，可以無需任何改變地使用單層H.264/MPEG4-AVC標(biāo)準(zhǔn)之一。 對于空間和SNR可縮放性，必須將附加工具添加至單層 H.264/MPEG4-AVC。可以將所有這3種可縮放性類型進(jìn)行組合，以產(chǎn) 生支持較大程度的組合可縮放性的比特流。
對于SNR可縮放性，粗粒度可縮放性(CGS)與細(xì)粒度可縮放性 (FGS)不同。使用CGS，僅支持所選的SNR可縮放性層，并且針對粗速率分級(從一層至下一層的因子為1.5-2)來優(yōu)化編碼效率。FGS 實現(xiàn)了在任何任意的并最終字節(jié)對齊的點處對NAL單元進(jìn)行截斷。 NAL單元表示比特分組，這些比特分組順次對齊，以表示復(fù)用器920 輸出的可縮放比特流922。
為了支持細(xì)粒度SNR可縮放性，已經(jīng)引入了所謂的漸進(jìn)細(xì)化(PR) 像條。漸進(jìn)細(xì)化像條包含用于細(xì)化重構(gòu)質(zhì)量的細(xì)化信息，分別可以被 來自基本層比特流912a、 b的像條使用。甚至更準(zhǔn)確地，PR像條的每 個NAL單元表示與量化步長的對分(QP下降6)相對應(yīng)的細(xì)化信號。 按照以下方式來表示這些信號在解碼器側(cè)，僅需要對每個變換塊執(zhí) 行單次反變換。換言之，由PRNAL單元表示的細(xì)化信號對己由視頻 的當(dāng)前畫面分離而成的變換塊的變換系數(shù)進(jìn)行細(xì)化。在解碼器側(cè)，在 執(zhí)行反變換之前，可以使用該細(xì)化信號來對基本層比特流內(nèi)的變換系 數(shù)進(jìn)行細(xì)化，以重構(gòu)預(yù)測殘差的紋理，所述預(yù)測殘差的紋理用于使用 空間和/或時間預(yù)測(如通過運動補償)來重構(gòu)實際畫面。
可以在任何任意點截斷漸進(jìn)細(xì)化NAL單元，以便能夠以細(xì)粒度 的方式來改進(jìn)SNR基本層的質(zhì)量。因此，己經(jīng)對變換系數(shù)水平的編碼 順序進(jìn)行了修改。不像(正常)像條中所進(jìn)行的那樣逐宏塊地掃描變 換系數(shù)，而是在分離的路徑中在每條路徑中掃描變換系數(shù)塊，僅對變 換系數(shù)塊的幾個編碼符號進(jìn)行編碼。除了修改的編碼順序之外，對 H.264/MPEG4-AVC中規(guī)定的CABAC熵編碼進(jìn)行重用。
己經(jīng)開發(fā)了單層H.264/MPEG4-AVC編碼標(biāo)準(zhǔn)，用于使用可能的 色度采樣結(jié)構(gòu)中的固定采樣結(jié)構(gòu)(如分別為4:2:0和4:2:2)。在該標(biāo)準(zhǔn) 的不同特性中包括不同的色度采樣能力。對此，參考Marpe， Wiegand， Sullivan: "The H.264/MPEG4 Advanced Video Coding Standard and its applications", IEEE Communication Magazine, August 2006, p. 134-143。 例如，在4:2:0中，在采樣點方面，色度或著色采樣內(nèi)容(指示色彩 偏離灰色的程度，并由兩個色度分量定義)總計僅為亮度內(nèi)容(表示 明亮度，并且由一個亮度分量定義)的采樣數(shù)目的四分之一。換言之， 亮度分量采樣的數(shù)目在水平和垂直維度上均為亮度釆樣數(shù)目的一半。 根據(jù)所使用的標(biāo)準(zhǔn)的特性，用于每采樣的編碼精度固定為8比特或10比特。再次參考剛剛提及的文獻(xiàn)。為了完整性起見，應(yīng)注意，根據(jù)標(biāo)
準(zhǔn)，術(shù)語亮度實際上是指非線性或Y校正后的RGB成分的加權(quán)和。然 而，根據(jù)另一觀點，可以將亮度視為指示RGB成分的線性關(guān)系的亮 度(Iuminance)。根據(jù)本申請，這兩種觀點將同樣適用。
一般而言，術(shù)語色度采樣格式是指相對于相應(yīng)亮度采樣的數(shù)目和 位置的色度采樣的數(shù)目和位置。現(xiàn)在描述3種可能的采樣格式的示例。 如上所述，根據(jù)4:2:0采樣，與亮度信號相比，色度信號具有一半的 水平分辨率和一半的垂直分辨率。圖4中示意了這種格式，圖中的叉 指示了亮度采樣的位置，而圈表示色度采樣的位置，其中每個色度采 樣可以由兩個色度分量(如Cb和Cr)組成。另一采樣格式為4:2:2， 其中色度信號具有亮度信號一半的水平分辨率和與亮度信號相同的垂 直分辨率。在圖5中示出了這一點。根據(jù)4:4:4色度采樣格式，色度 信號具有與亮度信號或內(nèi)容分別相同的水平和垂直分辨率。在圖6中 示意了這一點。
當(dāng)彩色視頻源信號分別具有與解碼器或播放器所需的動態(tài)范圍和 /或色度采樣格式不同的動態(tài)范圍和/或不同的色度采樣格式時，將出 現(xiàn)問題。在上述當(dāng)前SVC工作草案中，僅針對基本層和增強層均表示 亮度和色度采樣的相應(yīng)陣列具有相同比特深度的給定視頻源的情況規(guī) 定了可縮放性工具，此外還假設(shè)對于基本層和增強層，相對于亮度采 樣的色度采樣(即色度采樣格式)是固定的。因此，分別考慮需要不 同比特深度和色度采樣格式的不同解碼器和播放器，必須分別提供專 用于每一種比特深度和色度采樣格式要求的若干編碼流。然而，在速 率/失真意義上，這分別意味著增加的開銷和降低的效率。
因此，期望提供一種克服上述缺陷的編碼方案。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種編碼方案，實現(xiàn)一種更有效的方式來提 供畫面或視頻的編碼，所述編碼適用于不同比特深度或不同比特深度 和色度采樣格式要求。
該目的是通過根據(jù)權(quán)利要求1所述的編碼器、根據(jù)權(quán)利要求20所述的解碼器和根據(jù)權(quán)利要求35或36所述的方法來實現(xiàn)的。
本發(fā)明基于以下發(fā)現(xiàn)當(dāng)使用低比特深度或低比特深度和低色度
分辨率表示(以下簡稱為低比特深度和/或低色度分辨率表示)時，可 以實現(xiàn)更有效的方式來處理不同比特深度或不同比特深度和色度采樣 格式要求，以提供表示該低比特深度和/或低色度分辨率表示的相應(yīng)基 本層數(shù)據(jù)流，并提供較高比特深度和/或較高色度分辨率表示，使得可 以對相應(yīng)預(yù)測殘差進(jìn)行編碼，以獲得較高比特深度和/或較高色度分辨 率表示。通過這種措施，編碼器能夠存儲可以使用任何傳統(tǒng)解碼器或 視頻解碼器來解碼的畫面或視頻序列的基本質(zhì)量表示，以及可以被傳 統(tǒng)解碼器或視頻解碼器忽略的針對較高比特深度和/或減小的色度子
采樣的增強信號。例如，基本質(zhì)量表示可以包含畫面或視頻序列的8 比特版本，而高質(zhì)量增強信號包含其10比特版本的"細(xì)化"，并且， 基本質(zhì)量表示可以表示畫面或視頻序列的4:2:0版本，而高質(zhì)量增強 信號包含其4:2:2或4:4:4版本的"細(xì)化"。


以下參照附圖來描述本申請的優(yōu)選實施例。具體地，在附圖中
圖1示出了根據(jù)本發(fā)明實施例的視頻編碼器的框圖2示出了根據(jù)本發(fā)明實施例的視頻解碼器的框圖3示出了用于可縮放視頻編碼的傳統(tǒng)編碼器結(jié)構(gòu)的框圖4示出了 4:2:0色度采樣格式的示意圖5示出了4:2:2色度采樣格式的示意圖；以及
圖6示出了 4:2:4色度采樣格式的示意圖。
具體實施例方式
圖I示出了編碼器IOO，包括基本編碼裝置102、預(yù)測裝置104、 殘差編碼裝置106和組合裝置108以及輸入110和輸出112。圖1的編碼器 100是在輸入110處接收高質(zhì)量視頻信號，并在輸出112處輸出質(zhì)量可縮 放比特流的視頻編碼器。與輸入110處的輸入信號相比，基本編碼裝置 102使用減小的畫面采樣比特深度，或使用具有相同亮度分辨率但減小的色度分辨率的色度采樣格式，將輸入iio處的數(shù)據(jù)編碼為表示輸入
IIO處的該視頻信號的內(nèi)容的基本編碼數(shù)據(jù)流。預(yù)測裝置104適于基 于基本編碼裝置102輸出的基本編碼數(shù)據(jù)流來提供預(yù)測信號，該預(yù)測信
號具有輸入110處的視頻信號的完全或增大的畫面采樣比特深度和/或 完全或增大的色度分辨率。編碼器100還包括減法器114，用于形成由 裝置104提供的預(yù)測信號相對于輸入110處的高質(zhì)量輸入信號的預(yù)測殘 差，殘差編碼裝置106將該殘差信號編碼為質(zhì)量增強層數(shù)據(jù)流。組合裝 置108將來自基本編碼裝置102的基本編碼數(shù)據(jù)流與殘差編碼裝置106 輸出的質(zhì)量增強層數(shù)據(jù)流進(jìn)行組合，以在輸出112處形成質(zhì)量可縮放數(shù) 據(jù)流112。質(zhì)量可縮放性意味著輸出112處的數(shù)據(jù)流由以下部分組成 一方面是自包含(self-contained)的部分，該部分在無需任何其他信 息并忽略數(shù)據(jù)流112中的其余部分的情況下，能夠使用減小的比特深度 和/或具有減小的色度分辨率的色度采樣格式來重構(gòu)視頻信號110;另 一部分能夠與第一部分進(jìn)行組合，以原始比特深度和原始色度采樣格 式(比第一部分的比特深度和/或色度分辨率更高)來重構(gòu)輸入110處 的視頻信號。
在相當(dāng)概括地描述了編碼器100的結(jié)構(gòu)和功能之后，以下將更具 體地描述其內(nèi)部結(jié)構(gòu)。具體地，基本編碼裝置102包括下轉(zhuǎn)換模塊116、 減法器118、變換模塊120和量化模塊122，這些模塊以上述順序分別串 聯(lián)連接在輸入110與組合裝置108和預(yù)測裝置104之間。下轉(zhuǎn)換模塊116 用于減小輸入110處的視頻信號的畫面采樣的比特深度和/或畫面的色 度分辨率，同時保持從輸入110接收的視頻信號的亮度分辨率。換言之， 下轉(zhuǎn)換模塊116將輸入110處的高質(zhì)量輸入視頻信號不可逆地下轉(zhuǎn)換為 基本質(zhì)量視頻信號。如以下將要更詳細(xì)描述的，這種下轉(zhuǎn)換可以包括 使用任何色調(diào)映射方案來減小信號采樣的比特深度(即像素值)，所述 色調(diào)映射方案包括諸如對采樣值進(jìn)行舍入、在視頻信號以亮度加色 度分量的形式給出的情況下對色度分量進(jìn)行二次采樣，對輸入110處的 輸入信號進(jìn)行濾波(如使用RGB至YCbCr轉(zhuǎn)換)或其任意組合。以下 將介紹關(guān)于可能的預(yù)測機制的更多細(xì)節(jié)。具體地，下轉(zhuǎn)換模塊116可以 針對在輸入110處輸入的視頻信號或畫面序列中的每個畫面使用不同的下轉(zhuǎn)換方案，或針對所有畫面使用相同的方案。
減法器118、變換模塊120和量化模塊122進(jìn)行協(xié)作，例如使用不 可縮放視頻編碼方案(如H.264/MPEG4-AVC)來對下轉(zhuǎn)換模塊116輸 出的基本質(zhì)量信號進(jìn)行編碼。根據(jù)圖l的示例，減法器118、變換模塊 120和量化模塊122與基本編碼裝置102和預(yù)測裝置104通常包括的可選 預(yù)測環(huán)路濾波器124、預(yù)測器模塊126、反變換模塊128和加法器130進(jìn) 行協(xié)作，以形成混合編碼器的不相關(guān)性減小部分，該混合編碼器使用 基于運動補償?shù)念A(yù)測與其后進(jìn)行的預(yù)測殘差的壓縮來對下轉(zhuǎn)換模塊 116輸出的基本質(zhì)量視頻信號進(jìn)行編碼。具體地，減法器118從基本質(zhì) 量視頻信號的當(dāng)前畫面或宏塊中減去通過使用例如運動補償根據(jù)基本 質(zhì)量視頻信號中先前編碼的畫面重構(gòu)的預(yù)測畫面或預(yù)測宏塊部分。變 換模塊120對預(yù)測殘差應(yīng)用變換，如DCT、 FFT或小波變換。變換后的 殘差信號可以表示頻譜表示，并且在量化模塊122中對其變換系數(shù)進(jìn)行 不可逆量化。所產(chǎn)生的量化殘差信號表示基本編碼裝置102輸出的基本 編碼數(shù)據(jù)流的殘差。
除了可選預(yù)測環(huán)路濾波器124、預(yù)測器模塊126、反變換模塊128 和加法器130之外，預(yù)測裝置104還包括用于減少編碼偽像的可選濾波 器132以及預(yù)測模塊134。反變換模塊128、加法器130、可選預(yù)測環(huán)路 濾波器124和預(yù)測器模塊126進(jìn)行協(xié)作，使用下轉(zhuǎn)換模塊116定義的減小 的比特深度和/或具有減小的色度分辨率的色度采樣格式來重構(gòu)視頻 信號。換言之，它們創(chuàng)建了輸入至可選濾波器132的低比特深度和/或 低色度分辨率視頻信號，該信號表示也能夠在解碼器側(cè)重構(gòu)的、輸入 IIO處的源信號的低質(zhì)量表示。具體地，反變換模塊128和加法器130 串聯(lián)連接在量化模塊122與可選濾波器132之間，而可選預(yù)測環(huán)路濾波 器124和預(yù)測模塊126以上述順序串聯(lián)連接在加法器130的輸出以及加 法器130的另一輸入之間。預(yù)測器模塊126的輸出也連接至減法器118 的反相輸入?？蛇x濾波器132連接在加法器130的輸出與預(yù)測模塊134 之間，預(yù)測模塊134繼而連接在可選濾波器132的輸出與減法器114的反 相輸入之間。
反變換模塊128對基本編碼裝置102輸出的基本編碼后的殘差畫面進(jìn)行反變換，以實現(xiàn)低比特深度和/或低色度分辨率殘差畫面。相應(yīng)
地，反變換模塊128執(zhí)行的反變換是模塊120和122執(zhí)行的變換和量化的 逆過程?？蛇x地，可以在反變換模塊128的輸入側(cè)單獨提供解量化模塊。 加法器130將預(yù)測添加至重構(gòu)的殘差畫面，其中所述預(yù)測基于先前重構(gòu) 的視頻信號畫面。具體地，加法器130以減小的比特深度和/或減小的 色度分辨率色度采樣格式來輸出重構(gòu)的視頻信號。例如，用于減少偽 像的環(huán)路濾波器124對這些重構(gòu)的畫面進(jìn)行濾波，此后，預(yù)測器模塊126 使用這些畫面，例如通過根據(jù)先前重構(gòu)的畫面來進(jìn)行的運動補償，來 預(yù)測當(dāng)前要重構(gòu)的畫面?？蛇x濾波器132與預(yù)測模塊134的串聯(lián)連接使 用由此在加法器130的輸出處所獲得的基本質(zhì)量信號，以獲得輸入IIO 處的高質(zhì)量輸入信號的預(yù)測，要使用后一預(yù)測來形成殘差編碼裝置106 的輸出處的高質(zhì)量增強信號。這將在以下更詳細(xì)描述。
具體地，用于減少編碼偽像的可選濾波器132可選地對從加法器 130獲得的低質(zhì)量信號進(jìn)行濾波。此后，預(yù)測模塊134使用該低質(zhì)量視 頻信號來形成針對在連接至輸入110的加法器114的非反相輸入處接收 的高質(zhì)量視頻信號的預(yù)測信號。該形成高質(zhì)量預(yù)測的過程可以包括將 解碼后的基本質(zhì)量信號畫面采樣乘以常數(shù)因子(即線性縮放)、使用基 本質(zhì)量信號采樣的相應(yīng)值作為包含相應(yīng)高質(zhì)量采樣值的查找表的索 引、使用基本質(zhì)量信號采樣的值來進(jìn)行插值處理以獲得相應(yīng)的高質(zhì)量 采樣值、對色度分量進(jìn)行上采樣、使用例如YCbCr至RGB轉(zhuǎn)換來對基 本質(zhì)量信號進(jìn)行濾波、或其任何組合。以下描述其他示例。
一般而言，例如，預(yù)測模塊134可以使用特殊的插值濾波器，對 基本質(zhì)量視頻信號的色度采樣進(jìn)行插值以將色度分辨率增大為與輸入 IIO處的視頻信號的色度分辨率相對應(yīng)，從而將基本質(zhì)量視頻信號的采
樣從第一動態(tài)范圍映射至第二動態(tài)范圍，該第二動態(tài)范圍高于該第一 動態(tài)范圍。以與上述下轉(zhuǎn)換模塊116類似的方式，可以針對基本質(zhì)量視 頻信號序列的不同畫面使用不同的預(yù)測過程，也可以針對所有畫面使 用相同的預(yù)測過程。
減法器114在從輸入110接收的高質(zhì)量視頻信號中減去從預(yù)測模 塊134接收的高質(zhì)量預(yù)測，以向殘差編碼裝置106輸出高質(zhì)量(即具有原始比特深度和/色度采樣格式)的預(yù)測殘差信號。在殘差編碼裝置106
中，示例性地使用壓縮編碼方案(例如H.264/MPEG4-AVC中規(guī)定的壓 縮編碼方案)來對原始高質(zhì)量輸入信號與從解碼后的基本質(zhì)量信號導(dǎo) 出的預(yù)測之間的差進(jìn)行編碼。為此，圖1的殘差編碼裝置106示例性地 包括變換模塊136、量化模塊138和熵編碼模塊140，這些模塊以上述順 序串聯(lián)連接在減法器114的輸出和組合裝置108之間。變換模塊136分別 將殘差信號或其畫面變換至變換域或頻譜域，其中量化模塊138對頻譜 分量進(jìn)行量化，熵編碼模塊140對量化后的變換值進(jìn)行熵編碼。熵編碼 的結(jié)果表示殘差編碼裝置106輸出的高質(zhì)量增強層數(shù)據(jù)流。如果模塊 136至140實現(xiàn)H.264/MPEG4-AVC編碼，則變換模塊136中用于對來自 減法器114的殘差信號的亮度分量進(jìn)行變換的變換大小可以針對每個 宏塊任意加以選擇，而不一定必須與變換模塊120中用于對基本質(zhì)量信 號進(jìn)行編碼的變換大小相同，H.264/MPEG4-AVC編碼支持以4X4或8 X8采樣大小的變換以對亮度內(nèi)容進(jìn)行編碼。對于色度分量的編碼，當(dāng) 前規(guī)定的H.264/MPEG4-AVC標(biāo)準(zhǔn)未提供任何選擇。在量化模塊138中 對變換系數(shù)進(jìn)行量化時，可以使用與H.264/MPEG4-AVC中相同的量化 方案，這意味著可以通過量化參數(shù)QP來控制量化器步長，QP的取值 可以從-6*(高質(zhì)量視頻信號分量的比特深度-8)至51。量化模塊122中用 于對基本質(zhì)量表示宏塊進(jìn)行編碼的QP與量化模塊138中用于對高質(zhì)量 增強宏塊進(jìn)行編碼的QP不一定必須相同。
組合裝置108包括熵編碼模塊142和復(fù)用器144。熵編碼模塊142連 接在量化模塊122的輸出與復(fù)用器144的第一輸入之間，而復(fù)用器144 的第二輸入連接至熵編碼模塊140的輸出。復(fù)用器144的輸出表示編碼 器100的輸出112。
熵編碼模塊142對量化模塊122輸出的量化后的變換值進(jìn)行熵編 碼，以根據(jù)量化模塊122輸出的基本編碼數(shù)據(jù)流來形成基本質(zhì)量層數(shù)據(jù) 流。因此，如上所述，模塊118、 120、 122、 124、 126、 128、 130和142 可以被設(shè)計為根據(jù)H.264/MPEG4-AVC來進(jìn)行協(xié)作，并一起表示混合編 碼器，其中熵編碼器142對量化的預(yù)測殘差進(jìn)行無損壓縮。
復(fù)用器144接收基本質(zhì)量層數(shù)據(jù)流和高質(zhì)量層數(shù)據(jù)流，并將它們放在一起來形成質(zhì)量可縮放數(shù)據(jù)流。
預(yù)測模塊134根據(jù)解碼的基本表示來形成預(yù)測信號的方式(即預(yù)
測方案)對解碼器可以是已知的。然而，也可以通過信號將預(yù)測方案
信息(表示預(yù)測模塊134使用的預(yù)測)指示為輔助信息，即將這種輔助 信息引入輸出112處的比特流中。換言之，為了允許使用與解碼的基本 表示不同的方案來進(jìn)行預(yù)測，可以通過信號將所使用的預(yù)測方案指示 為輔助信息(例如在H.264/MPEG4-AVC的畫面參數(shù)集PPS的擴展中)。 此外，可以做出規(guī)定以防質(zhì)量可縮放比特流中未指定明確的預(yù)測規(guī)則。 例如，對于比特深度方面的可縮放性，將預(yù)測模塊134的輸入處的基本 質(zhì)量采樣簡單地乘以2M氣其中M是高質(zhì)量信號的比特深度，N是基本 質(zhì)量信號的比特深度，這與線性映射相對應(yīng)?？蛇x地，可以將其視為 根據(jù)min(2M—Wx， 2M-1)來執(zhí)行對預(yù)測模塊134的輸入處的基本質(zhì)量采樣 值的縮放和截斷。
可選地，可以使用以下映射機制之一來進(jìn)行預(yù)測過程。例如，當(dāng) 可以指定任意數(shù)目的插值點時，可以使用逐塊(piece-wise)線性映射。 例如，對于具有值x和兩個給定插值點(Xn,y。和(Xnw，y^)的基本質(zhì)量采 樣，根據(jù)以下公式使用模塊134來獲得相應(yīng)預(yù)測采樣y:
y"n+rx (yn+1_yn)
如果將x^ - xj艮制為2的冪，則可以通過僅僅使用移位而不是除 法運算，以很小的計算復(fù)雜度來執(zhí)行該線性插值。
另一種可能的映射機制表示一種査找表映射，其中，通過基本質(zhì) 量采樣值，在查找表中執(zhí)行查表操作，在所述查找表中針對每個可能 的基本質(zhì)量采樣值指定了相應(yīng)的預(yù)測采樣值?？梢詫⒃摬檎冶碜鳛檩o 助信息提供給解碼器側(cè)，或者缺省地該査找表對解碼器側(cè)可以是已知 的。
此外，可以使用具有常數(shù)偏移的縮放。根據(jù)這種可選方式，為了 實現(xiàn)具有較高比特深度的相應(yīng)高質(zhì)量預(yù)測采樣y，例如分別根據(jù)以下公 式之一，模塊134將基本質(zhì)量采樣x乘以常數(shù)因子2M4K，此后加上常數(shù)
偏移2M"-2M"'K:y=2M—x + 2"-1 - 2M-h或
y=min(2M-W-Kx + 2『1 - 2M—,2M - 1 )。
通過這種措施，將低質(zhì)量動態(tài)范圍映射至第二動態(tài)范圍，使得映
射后的值x以集中方式相對于y的可能的動態(tài)范圍
分布，位于 由K確定的擴展內(nèi)。K的值可以是整數(shù)或?qū)崝?shù)值，并且例如可以在質(zhì)量
可縮放數(shù)據(jù)流內(nèi)，作為輔助信息被傳送給解碼器，使得在解碼器中某 些預(yù)測裝置的行為方式與以下將予以描述的預(yù)測模塊134相同。至于M
和N的定義，參照上面的描述。可以使用舍入運算來獲得整數(shù)的y值。
另一種可能是以可變偏移進(jìn)行縮放例如根據(jù)以下公式之一，用
基本質(zhì)量采樣X乘以常數(shù)因子，此后加上可變偏移 y=2m —w、 + D或
y=min(2M+Kx + _D,2M - 1 ) 通過這種措施，將低質(zhì)量動態(tài)范圍映射至第二動態(tài)范圍，使得映
射后的值x分布在可能的y的動態(tài)范圍的一部分內(nèi)，其擴展由K確定， 并且其相對于下界的偏移由D來確定。D可以是整數(shù)或?qū)崝?shù)。結(jié)果y表
示高比特深度預(yù)測信號的畫面采樣值。例如，在質(zhì)量可縮放數(shù)據(jù)流內(nèi)， 可以將K和D的值作為輔助信息傳送給解碼器。再一次，可以使用舍入
運算來獲得取整數(shù)值的y值，對于本申請中給出的針對比特深度映射的
其他示例，后者也成立，不再重復(fù)地明確表述。
另一種可能性是使用具有疊加的縮放例如根據(jù)以下公式之一， 根據(jù)相應(yīng)基本質(zhì)量采樣x來獲得高比特深度預(yù)測釆樣y，其中floor(a)將 a向下舍入至最接近的整數(shù)
y=floor (2M—wx + 2M—2wx)或
y—min( floor* (2 x + 2 x) , 2 — 1 )
可以將上述可能性進(jìn)行組合。例如，可以使用具有疊加和常數(shù)偏
移的縮放例如根據(jù)以下公式之一來獲得高比特深度預(yù)測采樣y，其中
floor(a)將a向下舍入至最接近的整數(shù)
y=fl。or(2M—x + 2M-2W-Kx + ,-i — 2m-h)
y=min( f loor (2W-W-Kx + 2M-2W-KX + ,〈 — 2m-h) , 2" 一 i )
可以將K的值作為輔助信息指定給解碼器。
類似地，可以使用具有疊加和可變偏移的縮放例如根據(jù)以下公式來獲得高比特深度預(yù)測采樣y，其中floor(a)將a向下舍入至最接近的 整數(shù)
y=floor(2M-w、 + 2M-2W-Kx +
y=min( floor (2—xx + 2M-2W-Xx + ,2M - 1 ) 可以將D和K的值作為輔助信息指定給解碼器。
此外，可以針對基本質(zhì)量信號的亮度和色度分量來指定不同的映 射機制，以考慮其統(tǒng)計特性(如其概率密度函數(shù))可能不同。也可以 針對畫面的不同區(qū)域來指定不同的映射機制，其中區(qū)域不一定必須是 連續(xù)的。此外，在采用上述映射機制之一后，可以指定在編碼器和 解碼器處，分別要將偽隨機噪聲信號("抖動信號")添加至由預(yù)測模 塊執(zhí)行的預(yù)測過程內(nèi)的高比特深度預(yù)測信號。由于解碼器處必須精確 知道該信號才能夠?qū)Ω弑忍厣疃缺硎具M(jìn)行解碼，因此必須將特定參數(shù) (如偽隨機產(chǎn)生器的初始化值、偽隨機過程的方差和形狀(例如正態(tài) 或均勻分布))作為輔助信息來傳送。如果在可縮放比特流中未傳送這 種輔助信息，根據(jù)所選的映射機制，可以使用缺省值，例如分別在范 圍[O， 2M—w—l域[O， 2^—l]內(nèi)的偽隨機值的均勻分布。
上述是否使用預(yù)測方案輔助信息的可能性也適用于在色度采樣 格式方面的可縮放性。對于色度采樣格式方面的可縮放性，可以將預(yù)
測模塊134用于產(chǎn)生上采樣色度信號的插值濾波方案作為輔助信息(例 如在H.264/MPEG4-AVC的PPS中)進(jìn)行傳送。在最簡單的情況下，如 果未指定上采樣規(guī)則，則解碼器可以假定上采樣信號是針對4:2:0至 4:2:2和4:2:2至4:4:4色度子采樣的轉(zhuǎn)換，通過基本質(zhì)量色度采樣點之間 的線性插值來產(chǎn)生的，以及針對4:2:0至4:4:4色度子采樣的轉(zhuǎn)換通過雙 線性插值來產(chǎn)生的。關(guān)于上述色度采樣格式，參考上述關(guān)于圖4至6的 描述。否則，預(yù)測模塊134可以選擇例如由ISO/IEC 14496-2:2004, "Information technology — Coding of audio-visual objects — Part 2: Visual"中的MPEG-4高級簡單特性所規(guī)定的8抽頭半像素插值濾波器， 或由H.264/MPEG4-AVC規(guī)定的6抽頭半像素插值濾波器，以產(chǎn)生插值 的色度采樣值。然而，關(guān)于色度采樣格式可縮放性的預(yù)測方案不限于 上述濾波器。也可以通過分別將所使用的濾波器抽頭或FIR濾波器系數(shù)作為質(zhì)量可縮放比特流(例如H.264/MPEG4-AVC的PPS)中的輔助 信息來傳送，以指定一般的插值濾波器。
關(guān)于色度釆樣格式方面的可縮放性，應(yīng)當(dāng)明確注意，當(dāng)考慮圖4 至6所示的色度采樣格式時，編碼器100可以支持以下變型。首先，下 轉(zhuǎn)換模塊116可以從4:2:2下采樣至4:2:0，在這種情況下，預(yù)測模塊134 從4:2:0上采樣至4:2:2，并且，在輸出112處的質(zhì)量可縮放比特流實現(xiàn) 了從4:2:0至4:2:2的色度采樣格式可縮放性。類似地，下采樣模塊116 可以從4:4:4下采樣至4:2:0，而預(yù)測模塊134執(zhí)行反向的上采樣。相應(yīng) 地，下采樣模塊116可以從4:4:4下采樣至4:2:2，繼而預(yù)測模塊134可以 執(zhí)行從4:2:2至4:4:4的上采樣。
在模塊136、 138和140實現(xiàn)與H.264/MPEG4-AVC相容的編碼的情 況下，在熵編碼模塊140輸出的編碼后的高質(zhì)量增強信號中，可以針對 每個宏塊傳送以下信息。可以包括編碼塊模式(CBP)信息，用于指 示宏塊內(nèi)的4個8X8亮度變換塊中的哪一個以及宏塊的相關(guān)聯(lián)色度變 換塊中的哪一個可能包含非零變換系數(shù)。如果不存在非零變換系數(shù)， 則不針對該特定宏塊發(fā)送任何其他信息。其他信息可以涉及用于對亮 度分量進(jìn)行編碼的變換大小，即在其中(即在4X4或8X8變換塊中) 在變換模塊136中對由16X16亮度采樣組成的宏塊進(jìn)行變換的變換塊 的大小。此外，高質(zhì)量增強層數(shù)據(jù)流可以包括量化模塊138中用于控制 量化器步長的量化參數(shù)QP。此外，針對熵編碼模塊140輸出的高質(zhì)量 增強層數(shù)據(jù)流中的每個宏塊，可以包括量化后的變換系數(shù)，即變換系 數(shù)級。
在描述了編碼器的實施例之后，參考圖2來描述解碼器的實施例。 圖2的解碼器由參考標(biāo)記200表示，并包括解復(fù)用裝置202、基本解碼 裝置204、預(yù)測裝置206、殘差解碼裝置208和重構(gòu)裝置210以及輸入212、 第一輸出214和第二輸出216。解碼器200在其輸入212處接收質(zhì)量可縮 放數(shù)據(jù)流，該數(shù)據(jù)流例如是由圖1的編碼器100輸出的。如上所述，質(zhì) 量可縮放性可以涉及比特深度和/或色度采樣格式。換言之，輸入212 處的數(shù)據(jù)流具有自包含部分，可獨立用于以減小的比特深度和/或減 小的色度分辨率以及保持不變的亮度分辨率來重構(gòu)視頻信號；以及附加部分，與第一部分進(jìn)行組合，能夠以較高的比特深度和/或較高的色
度分辨率來重構(gòu)視頻信號。在輸出216處輸出較低質(zhì)量的重構(gòu)視頻信 號，而在輸出214處輸出較高質(zhì)量的重構(gòu)視頻信號。
解復(fù)用裝置202將輸入212處的輸入的質(zhì)量可縮放數(shù)據(jù)流劃分為
基本編碼數(shù)據(jù)流和高質(zhì)量增強層數(shù)據(jù)流，已經(jīng)針對圖l提到了這兩種數(shù) 據(jù)流?；窘獯a裝置204用于將基本編碼數(shù)據(jù)流解碼為視頻信號的基本 質(zhì)量表示，可選地，可以直接(如在圖2的示例中的情況)或經(jīng)由偽像 減少濾波器(未示出)間接地在輸出216處輸出?；诨举|(zhì)量表示視 頻信號，預(yù)測裝置206形成具有增大的畫面采樣比特深度和/或增大的 色度采樣分辨率的預(yù)測信號。解碼裝置208對增強層數(shù)據(jù)流進(jìn)行解碼， 以獲得具有增大的比特深度和/或增大的色度分辨率的預(yù)測殘差。重構(gòu) 裝置210根據(jù)預(yù)測和預(yù)測殘差來獲得高質(zhì)量視頻信號，并經(jīng)由可選偽像 減少濾波器在輸出214處將其輸出。
解復(fù)用裝置202內(nèi)部包括解復(fù)用器218和熵解碼器220。解復(fù)用器 218的輸入連接至輸入212，解復(fù)用器218的第一輸出連接至殘差解碼裝 置208。熵解碼模塊220連接在解復(fù)用器218的另一輸出與基本解碼裝置 204之間。如上所述，解復(fù)用器218將質(zhì)量可縮放數(shù)據(jù)流劃分為分別輸 入至復(fù)用器144的基本層數(shù)據(jù)流和增強層數(shù)據(jù)流。熵解碼模塊220執(zhí)行 例如霍夫曼解碼或算術(shù)解碼算法，以獲得變換系數(shù)級、運動向量、變 換大小信息和其他所需的語法元素，以從其中導(dǎo)出視頻信號的基本表不。
基本解碼裝置204包括反變換模塊222、加法器224、可選環(huán)路濾 波器226和預(yù)測器模塊228。在功能和相互連接方面，基本解碼裝置204 中的模塊222至228與圖1的元件124至130相對應(yīng)。更準(zhǔn)確地說，反變換 模塊222和加法器224以上述順序串聯(lián)連接在一方面為解復(fù)用裝置202 與另一方面分別為預(yù)測裝置206和基本質(zhì)量輸出之間；可選環(huán)路濾波器 226和預(yù)測器模塊228以上述順序串聯(lián)連接在加法器224的輸出與加法 器224的另一輸入之間。通過這種措施，加法器224以減小的比特深度 和/或減小的色度分辨率來輸出基本表示視頻信號，可以在輸出216處 從外部接收該信號。預(yù)測裝置206包括可選偽像減少濾波器230和預(yù)測信息模塊232， 這兩個模塊以相對于圖1的元件132和134同步的方式工作。換言之，可 選偽像減少濾波器230可選地對基本質(zhì)量視頻信號進(jìn)行濾波，以減少其 中的偽像，預(yù)測信息模塊232以以上已針對預(yù)測模塊134描述過的方式 來檢索具有增大的比特深度和/或增大的色度分辨率的預(yù)測畫面。這就 是說，通過或不通過質(zhì)量可縮放數(shù)據(jù)流中包含的輔助信息，預(yù)測信息 模塊232可以將輸入畫面采樣映射至較高動態(tài)范圍和/或?qū)⒖臻g插值濾 波器應(yīng)用至畫面的色度內(nèi)容，以增大色度分辨率。
殘差解碼裝置208包括熵解碼模塊234和反變換模塊236，這兩個 模塊以上述順序串聯(lián)連接在解復(fù)用器218與重構(gòu)裝置210之間。熵解碼 模塊234和反變換模塊236進(jìn)行協(xié)作，以反轉(zhuǎn)圖1的模塊136、 138和140 執(zhí)行的編碼過程。具體地，熵解碼模塊234執(zhí)行例如霍夫曼解碼或算術(shù) 解碼算法來獲得語法元素，所述語法元素其中包括變換系數(shù)級等，反 變換模塊236對變換系數(shù)級進(jìn)行反變換，以獲得預(yù)測殘差信號或殘差畫
面序列。
重構(gòu)裝置210包括加法器238，加法器238的輸入分別連接至預(yù)測 信息模塊232的輸出和反變換模塊236的輸出。加法器238將預(yù)測殘差與 預(yù)測信號相加，以獲得具有增大的比特深度和/或增大的色度分辨率的 高質(zhì)量視頻信號，經(jīng)由可選偽像減少濾波器240將該信號饋送至輸出 214。
因此，從圖2中可以導(dǎo)出，基本質(zhì)量解碼器可以根據(jù)輸入212處的 質(zhì)量可縮放數(shù)據(jù)流來重構(gòu)基本質(zhì)量視頻信號，并且，為此可以不包括 元件230、 232、 238、 234、 236和240。另一方面，高質(zhì)量解碼器可以 不包括輸出216。
換言之，在解碼過程中，基本質(zhì)量表示的解碼較為直接。對于高 質(zhì)量信號的解碼，首先需要對基本質(zhì)量信號進(jìn)行解碼，這是由模塊218 至228來執(zhí)行的。此后，使用解碼后的基本表示，采用上述針對模塊232 和可選模塊230描述的預(yù)測過程。例如由H.264/MPEG4-AVC中規(guī)定的， 用反變換模塊236對高質(zhì)量增強信號的量化后的變換系數(shù)進(jìn)行縮放和 反變換，以獲得殘差或差值信號采樣，預(yù)測模塊232將該殘差或差值信號采樣添加至從解碼后的基本表示采樣導(dǎo)出的預(yù)測。作為對要在輸出 214處輸出的高質(zhì)量視頻信號進(jìn)行的解碼過程的最后一步，可以采用可 選濾波器，以去除或減小在視覺上惱人的編碼偽像。應(yīng)注意，包括模
塊226和228在內(nèi)的運動補償預(yù)測環(huán)路是完全自包含的，僅使用基本質(zhì) 量表示。因此，解碼復(fù)雜度適中，并且不需要插值濾波器，所述插值 濾波器在預(yù)測器模塊228的運動補償?shù)念A(yù)測過程中對高比特深度或高 色度分辨率圖像數(shù)據(jù)進(jìn)行操作。
對于上述實施例，值得一提的是，偽像減少濾波器132和230是可 選的，并且可以去除。這也分別適用于環(huán)路濾波器124和226以及濾波 器240。此外，本發(fā)明不限于視頻編碼。相反，以上描述也適用于靜止 圖像編碼。相應(yīng)地，也可以去除分別包括元件118、 128、 130、 126和 124以及元件224、 228和226的運動補償?shù)念A(yù)測環(huán)路。類似地，不一定
必須執(zhí)行上述熵編碼。
甚至更準(zhǔn)確地，在上述實施例中，基本層編碼118-130、 142基于 運動補償?shù)念A(yù)測，該運動補償?shù)念A(yù)測基于有損編碼后的畫面的重構(gòu)。 在這種情況下，如在以上描述中所進(jìn)行的，也可以將基本編碼過程的 重構(gòu)視為高質(zhì)量預(yù)測形成過程的一部分。然而，在對基本表示進(jìn)行無 損編碼的情況下，將不必須進(jìn)行重構(gòu)，可以直接將下轉(zhuǎn)換的信號分別 轉(zhuǎn)發(fā)至裝置132、 134。在有損基本層編碼中未進(jìn)行基于運動補償?shù)念A(yù) 測的情況下，用于在編碼器側(cè)重構(gòu)基本質(zhì)量信號的重構(gòu)過程將特別地 專用于104中的高質(zhì)量預(yù)測形成。換言之，可以分別以其他方式來執(zhí)行 元件116-134和142與裝置102、 104和108的關(guān)聯(lián)。具體地，可以將熵編 碼模塊142視為基本編碼裝置102的一部分，其中預(yù)測裝置僅包括模塊 132和134，組合裝置108僅包括復(fù)用器144。這種觀點與圖2中使用的模 塊/裝置關(guān)聯(lián)的相關(guān)性在于預(yù)測裝置206不包括基于運動補償?shù)念A(yù)測。 然而，還可以將解復(fù)用裝置202視為不包括熵模塊220，使得基本解碼 裝置也包括熵解碼模塊220。然而，這兩種觀點產(chǎn)生相同的結(jié)果基于 源素材的具有減小的比特深度和/或減小的色度分辨率的表示來執(zhí)行 104中的預(yù)測，所述表示分別被有損編碼為質(zhì)量可縮放比特流和基本層
數(shù)據(jù)流并可以從質(zhì)量可縮放比特流和基本層數(shù)據(jù)流導(dǎo)出。根據(jù)圖1所基于的觀點，預(yù)測134基于基本編碼數(shù)據(jù)流的重構(gòu)，而在該可選觀點中，
該重構(gòu)將始于基本質(zhì)量信號的中間編碼版本或中途編碼版本，為了將
其完全編碼為基本層數(shù)據(jù)流，所述版本未經(jīng)過根據(jù)模塊142的無損編 碼。對此，還應(yīng)注意，模塊116中的下轉(zhuǎn)換不一定必須由編碼器100來 執(zhí)行。相反，編碼器100可以具有兩個輸入， 一個用于接收高質(zhì)量信號， 另一個用于從外部接收下轉(zhuǎn)換版本。
在上述實施例中，質(zhì)量可縮放性確實僅與比特深度和/或色度分辨 率相關(guān)。然而，可以容易地將上述實施例擴展至包括時間可縮放性、 空間可縮放性以及細(xì)粒度質(zhì)量可縮放性。例如，在編碼器側(cè)，圖l的中 的多個編碼器可以具有將輸入信號的未經(jīng)空間抽取和遞增空間抽取后 的版本輸入至這些空間層編碼器?？梢允褂玫涂臻g分辨率層的重構(gòu)表 示作為下一較高空間分辨率層的預(yù)測，以利用這些層之間的冗余。例 如，通過相應(yīng)地將變換系數(shù)級編碼在量化分辨率遞增的層或與遞減量 化步長相對應(yīng)的層中，使得能夠根據(jù)各FGS層的成分之和導(dǎo)出變換系 數(shù)級，可以在殘差編碼裝置106和殘差解碼裝置208中分別實現(xiàn)細(xì)粒度 質(zhì)量可縮放性。
因此，上述實施例實現(xiàn)了可縮放視頻編碼向采樣比特深度和/或色 度采樣格式方面的可縮放性的擴展，從而實現(xiàn)了一種編碼器，用于存 儲可由任何傳統(tǒng)視頻解碼器解碼的視頻序列的基本質(zhì)量表示，以及被 傳統(tǒng)視頻解碼器所忽略的較高比特深度和/或減小的色度子采樣的增 強信號。例如，基本質(zhì)量表示可以包含視頻序列的8比特版本，而高質(zhì) 量增強信號包含細(xì)致程度達(dá)到相同序列的10比特版本的"細(xì)化"。
因此，換言之，上述實施例描述了一種視頻編碼器(編碼器/解碼 器)，用于對視頻信號的分層表示進(jìn)行編碼(編碼/解碼〉，所述編碼包 括例如標(biāo)準(zhǔn)化的視頻編碼方法，用于對基本質(zhì)量層進(jìn)行編碼；預(yù)測 方法，用于使用重構(gòu)的基本質(zhì)量信號來執(zhí)行高質(zhì)量增強層信號的預(yù)測； 以及殘差編碼方法，用于對高質(zhì)量增強層信號的預(yù)測殘差進(jìn)行編碼。 在這種視頻編碼器中，可以使用從與基本質(zhì)量層相關(guān)聯(lián)的動態(tài)范圍至 與高質(zhì)量增強層相關(guān)聯(lián)的動態(tài)范圍的映射函數(shù)來執(zhí)行預(yù)測。具體地， 可以通過根據(jù)公式(2M'Wx,2M-l)來對基本質(zhì)量層的采樣值x進(jìn)行縮放和截斷來執(zhí)行預(yù)測，其中，基本質(zhì)量層的采樣值X以比特深度N來表示，
而高質(zhì)量增強層的采樣值以比特深度M來表示(M>N)。以上己經(jīng)示
出了其他可選方案?？蛇x地，可以使用逐塊線性映射來執(zhí)行預(yù)測，其 中將給定數(shù)目的插值點作為輔助信息發(fā)送。甚至可選地，可以通過使 用基本質(zhì)量信號采樣的值來作為查找表的索引來執(zhí)行預(yù)測，該査找表 包含對應(yīng)的高質(zhì)量采樣值，并且也可以作為輔助信息發(fā)送。可以按照
H.264/MPEG4-AVC來執(zhí)行殘差編碼。可以以一個亮度分量和兩個色度 分量的形式來給出視頻信號的色彩空間表示，其中基本質(zhì)量層和高質(zhì) 量增強層的色度釆樣格式分別為4:2:0和4:2:2，而且，可以使用對基本
質(zhì)量層的色度采樣值應(yīng)用的空間插值濾波器來執(zhí)行高質(zhì)量增強層信號 的色度采樣值的預(yù)測。類似地，可以以一個亮度分量和兩個色度分量 的形式來給出視頻信號的色彩空間表示，其中基本質(zhì)量層和高質(zhì)量增 強層的色度采樣格式分別為4:2:2和4:4:4，而且，可以通過使用對基本 質(zhì)量層的色度采樣值應(yīng)用的空間插值濾波器來執(zhí)行高質(zhì)量增強層信號 的色度釆樣值的預(yù)測。相應(yīng)地，可以以一個亮度分量和兩個色度分量 的形式來給出視頻信號的色彩空間表示，其中基本質(zhì)量層和高質(zhì)量增 強層的色度采樣格式分別為4:2:0和4:4:4，而且，可以通過使用對基本
質(zhì)量層的色度采樣值應(yīng)用的空間插值濾波器來執(zhí)行高質(zhì)量增強層信號 的色度采樣值的預(yù)測。在基本質(zhì)量層和高質(zhì)量增強層分別為4:2:0和 4:2:2的情況下，所使用的空間插值濾波器可以是垂直應(yīng)用于基本質(zhì)量 層的色度采樣值的線性插值濾波器。類似地，如果基本質(zhì)量層和高質(zhì) 量增強層分別為4:2:2和4:4:4，則可以將線性插值濾波器水平地應(yīng)用于 基本質(zhì)量層的色度采樣值，并且，如果基本質(zhì)量層和高質(zhì)量增強層分 另廿為4:2:0和4:4:4，則空間插值濾波器可以是應(yīng)用于基本質(zhì)量層的色度 采樣值的雙線性插值。此外，如果基本質(zhì)量層和高質(zhì)量增強層分別為 4:2:0和4:2:2，則空間插值濾波器可以是H.264/MPEG4-AVC所規(guī)定的、 垂直應(yīng)用于基本質(zhì)量層的色度采樣值的6抽頭半像素插值濾波器。類似 地，如果基本質(zhì)量層和高質(zhì)量增強層分別為4:2:2和4:4:4，則空間插值 濾波器可以是H.264/MPEG4-AVC所規(guī)定的、水平應(yīng)用于基本質(zhì)量層的 色度采樣值的6抽頭半像素插值濾波器。如果基本質(zhì)量層和高質(zhì)量增強
26層分別為4:2:0和4:4:4，則空間插值濾波器可以由H.264/MPEG4-AVC 所規(guī)定的、分離地應(yīng)用于基本質(zhì)量層的色度采樣值的6抽頭半像素插值 濾波器來實現(xiàn)。類似地，在基本質(zhì)量層和高質(zhì)量增強層分別為4:2:0和 4:2:2的情況下，在預(yù)測模塊134和232中，可以分別將MPEG2第二部分 視覺、高級簡單特性所規(guī)定的8抽頭半像素插值濾波器垂直應(yīng)用于基本 質(zhì)量層的色度采樣值。類似地，如果基本質(zhì)量層和高質(zhì)量增強層分別 為4:2:2和4:4:4，則可以將MPEG2第二部分視覺、高級簡單特性所規(guī) 定的8抽頭半像素插值濾波器水平應(yīng)用于基本質(zhì)量層的色度采樣值。如 果基本質(zhì)量層和高質(zhì)量增強層分別為4:2:0和4:4:4，則可以將MPEG2 第二部分視覺、高級簡單特性所規(guī)定的8抽頭半像素插值濾波器分離 地應(yīng)用于基本質(zhì)量層的色度采樣值。使用FIR插值濾波器作為空間插 值濾波器也是可能的。例如，如果基本質(zhì)量層和高質(zhì)量增強層分別為 4:2:0和4:2:2，則可以將FIR插值濾波器垂直應(yīng)用于基本質(zhì)量層的色度 采樣值，其中可以將FIR濾波器的濾波器抽頭作為輔助信息發(fā)送。類 似地，如果基本質(zhì)量層和高質(zhì)量增強層分別為4:2:2和4:4:4，則可以將 FIR插值濾波器水平應(yīng)用于基本質(zhì)量層的色度采樣值，其中可以將FIR 濾波器的濾波器抽頭作為輔助信息發(fā)送。如果基本質(zhì)量層和高質(zhì)量增 強層分別為4:2:0和4:4:4，則可以將FIR插值濾波器分離地應(yīng)用于基本 質(zhì)量層的色度采樣值，其中可以將FIR濾波器的濾波器抽頭作為輔助 信息發(fā)送。也可以以一個亮度分量和兩個色度分量的形式，以4:2:0或 4:2:2的色度子采樣格式來給出基本質(zhì)量視頻信號的色彩空間表示，其 中高質(zhì)量視頻信號的色度采樣格式為4:4:4，而其色彩空間表示不同于 基本質(zhì)量表示的色彩空間表示。在這種情況下，可以首先如上所述將 空間插值濾波器應(yīng)用于基本質(zhì)量層的色度采樣值，隨后將所產(chǎn)生的上 采樣的基本質(zhì)量信號色彩變換為高質(zhì)量增強層的色彩空間，以分別執(zhí) 行模塊134和232內(nèi)高質(zhì)量增強層信號的色度采樣值的預(yù)測。
根據(jù)實際實現(xiàn)方式，可以以硬件或軟件來實現(xiàn)本發(fā)明的編碼方 案。因此，本發(fā)明也涉及一種計算機程序，可以將計算機程序存儲在 計算機可讀介質(zhì)(如CD、盤或任何其他數(shù)據(jù)載體)上。因此，本發(fā)明 也是一種具有程序代碼的計算機程序，當(dāng)在計算機上執(zhí)行時，程序代碼執(zhí)行結(jié)合上述附圖來描述的本發(fā)明的方法。具體地，圖1和2中的裝
置和模塊的實現(xiàn)可以包括在例如CPU、 ASIC的電路部分等上運行的子 例程。
權(quán)利要求
1.一種用于將畫面編碼為質(zhì)量可縮放數(shù)據(jù)流的編碼器，包括基本編碼裝置(102)，用于將畫面編碼為基本編碼數(shù)據(jù)流，所述基本編碼數(shù)據(jù)流表示具有第一畫面采樣比特深度的畫面表示；預(yù)測裝置(104)，用于基于具有第一畫面采樣比特深度的畫面表示來提供畫面預(yù)測，所述畫面預(yù)測具有第二畫面采樣比特深度，所述第二畫面采樣比特深度大于所述第一畫面采樣比特深度；以及殘差編碼裝置(106)，用于將所述預(yù)測的預(yù)測殘差編碼為比特深度增強層數(shù)據(jù)流；以及組合裝置(108)，用于基于所述基本編碼數(shù)據(jù)流和所述比特深度增強層數(shù)據(jù)流，來形成質(zhì)量可縮放數(shù)據(jù)流。
2. 如權(quán)利要求l所述的編碼器，其中，所述預(yù)測裝置包括 基于所述基本編碼數(shù)據(jù)流將低比特深度重構(gòu)畫面重構(gòu)為具有第—畫面采樣比特深度的畫面表示的裝置(124、 126、 138、 130、 132)， 所述低深度重構(gòu)畫面具有所述第一畫面采樣比特深度。
3. 如權(quán)利要求1或2所述的編碼器，其中，所述預(yù)測裝置還包括 映射裝置(134)，用于對具有所述第一畫面采樣比特深度的畫面表示執(zhí)行采樣映射以獲得畫面預(yù)測，所述采樣映射是從與所述第一畫 面采樣比特深度相對應(yīng)的第一動態(tài)范圍映射至大于所述第一動態(tài)范圍 并與第二畫面采樣比特深度相對應(yīng)的第二動態(tài)范圍。
4. 如權(quán)利要求3所述的編碼器，其中，所述映射裝置(134)適于將采樣從所述第一動態(tài)范圍線性映射至所述第二動態(tài)范圍。
5. 如權(quán)利要求3或4所述的編碼器，其中，所述映射裝置(134) 適于通過計算2〃-wix + 2〃_'—2〃_'_、將采樣x從所述第一動態(tài)范圍映射至所述第二動態(tài)范圍，其中N是所述第一畫面采樣比特深度，M是 所述第二畫面采樣比特深度，K是映射參數(shù)，并且，所述映射裝置適 于將映射參數(shù)K轉(zhuǎn)發(fā)至組合裝置(108)，以還基于所述映射參數(shù)來形 成質(zhì)量可縮放數(shù)據(jù)流。
6. 如權(quán)利要求3或4所述的編碼器，其中，所述映射裝置(134) 適于通過計算2^—^x + Z)，將采樣x從所述第一動態(tài)范圍映射至所述第二動態(tài)范圍，其中N是所述第一畫面采樣比特深度，M是所述第二 畫面采樣比特深度，K和D是映射參數(shù)，并且，所述映射裝置適于將映 射參數(shù)K和D轉(zhuǎn)發(fā)至組合裝置(108)，以還基于所述映射參數(shù)來形成質(zhì) 量可縮放數(shù)據(jù)流。
7. 如權(quán)利要求3或4所述的編碼器，其中，所述映射裝置(134) 適于通過計算floor(2M-Mx + 2H、 + D)，將采樣x從所述第一動態(tài)范圍映射至所述第二動態(tài)范圍，其中floor(a)將a向下舍入為最接近的 整數(shù)，N是所述第一畫面采樣比特深度，M是所述第二畫面采樣比特 深度，K和D是映射參數(shù)，并且，所述映射裝置適于將映射參數(shù)K和D 轉(zhuǎn)發(fā)至組合裝置(108)，以還基于所述映射參數(shù)來形成質(zhì)量可縮放數(shù) 據(jù)流。
8. 如權(quán)利要求3所述的編碼器，其中，所述映射裝置(134)適于 將采樣從所述第一動態(tài)范圍逐塊線性映射至所述第二動態(tài)范圍，并將 定義逐塊線性映射的插值點信息轉(zhuǎn)發(fā)至組合裝置(108)，以還基于所 述插值點信息來形成質(zhì)量可縮放數(shù)據(jù)流。
9. 如權(quán)利要求3所述的編碼器，其中，所述映射裝置(134)適于 通過使用采樣作為查找表的索引來執(zhí)行映射。
10. 如權(quán)利要求3至9中任一項所述的編碼器，其中，所述映射裝 置(134)適于將與映射相關(guān)的映射信息轉(zhuǎn)發(fā)至組合裝置(108)，以還 基于所述映射信息來形成質(zhì)量可縮放數(shù)據(jù)流。
11. 如之前任一權(quán)利要求所述的編碼器，其中，所述基本編碼裝 置(103)包括用于將表示具有所述第二畫面采樣比特深度的畫面的采樣從所 述第二動態(tài)范圍映射至與所述第一畫面采樣比特深度相對應(yīng)的第一動 態(tài)范圍以獲得質(zhì)量降低的畫面的裝置(116);以及用于對所述質(zhì)量降低的畫面進(jìn)行編碼以獲得基本編碼數(shù)據(jù)流的 裝置(118、 120、 122、 124、 126、 128、 130)。
12. 如之前任一權(quán)利要求所述的編碼器，其中，所述畫面是視頻信號的一部分。
13. 如權(quán)利要求12所述的編碼器，其中，所述基本編碼裝置(102)包括基于根據(jù)所述基本編碼數(shù)據(jù)流重構(gòu)的畫面來執(zhí)行時間預(yù)測的裝置 (124、 126、 128、 130)，所述執(zhí)行時間預(yù)測的裝置(124、 126、 128、 130)同時形成基于所述基本編碼數(shù)據(jù)流來為預(yù)測裝置(104)重構(gòu)低 比特深度重構(gòu)畫面的裝置(124、 126、 128、 130)，所述低比特深度重 構(gòu)畫面具有所述第一畫面采樣比特深度，其中，所述預(yù)測裝置還包括 映射裝置(134)，用于對所述低比特深度重構(gòu)畫面執(zhí)行采樣映射以獲 得畫面預(yù)測，所述采樣映射是從與所述第一畫面采樣比特深度相對應(yīng) 的第一動態(tài)范圍映射至大于所述第一動態(tài)范圍并與第二畫面采樣比特 深度相對應(yīng)的第二動態(tài)范圍。
14. 如權(quán)利要求1至13中任一項所述的編碼器，其中，所述畫面表 示具有亮度分辨率和第一色度分辨率，并且，所述預(yù)測裝置(104)還 包括用于應(yīng)用空間插值濾波器以根據(jù)具有所述亮度分辨率和所述第 一色度分辨率的畫面表示來獲得畫面預(yù)測的裝置(134)，所述畫面預(yù) 測具有所述亮度分辨率和第二色度分辨率，所述第二色度分辨率高于 所述第一色度分辨率。
15. 如權(quán)利要求14所述的編碼器，其中，所述空間插值濾波器是 從由線性插值濾波器、雙線性插值濾波器以及FIR插值濾波器構(gòu)成的 組中選擇的。
16. 如權(quán)利要求14或15所述的編碼器，其中，所述基本編碼裝置 (102)適于使得所述基本編碼數(shù)據(jù)流表示第一色彩空間域中的畫面，并且，用于應(yīng)用的裝置(134)適于應(yīng)用空間插值濾波器，然后執(zhí)行從 所述第一色彩空間域到第二色彩空間域的色彩空間變換，以獲得畫面
17. 如權(quán)利要求14至16中任一項所述的編碼器，其中，用于應(yīng)用 的裝置(134)適于將與所述空間插值濾波器相關(guān)的濾波器信息轉(zhuǎn)發(fā)至 組合裝置(108)，以還基于所述濾波器信息來形成質(zhì)量可縮放數(shù)據(jù)流。
18. 如權(quán)利要求11至17中任一項所述的編碼器，其中，所述基本編碼裝置(102)包括用于接收具有所述亮度分辨率和所述第二色度分辨率的畫面并 將所述第二色度分辨率減小至所述第一色度分辨率以獲得質(zhì)量降低的 畫面的裝置(116);以及用于對所述質(zhì)量降低的畫面進(jìn)行編碼以獲得基本編碼數(shù)據(jù)流的裝置(118、 120、 122、 124、 126、 128、 130)。
19. 如權(quán)利要求1至18中任一項所述的編碼器，其中，所述預(yù)測裝 置適于執(zhí)行抖動，以獲得畫面預(yù)測。
20. —種用于對質(zhì)量可縮放數(shù)據(jù)流進(jìn)行解碼的解碼器，所述質(zhì)量 可縮放數(shù)據(jù)流是通過對畫面進(jìn)行編碼而產(chǎn)生的，所述質(zhì)量可縮放數(shù)據(jù) 流包括基本層數(shù)據(jù)流和比特深度增強層數(shù)據(jù)流，所述基本層數(shù)據(jù)流表 示具有第一畫面采樣比特深度的畫面，所述比特深度增強層數(shù)據(jù)流表 示具有第二畫面采樣比特深度的預(yù)測殘差，所述第二畫面采樣比特深 度大于所述第一畫面采樣比特深度，所述解碼器包括用于將所述基本層數(shù)據(jù)流解碼為較低比特深度重構(gòu)畫面的裝置(204);細(xì)于將所述比特深度增強數(shù)據(jù)流解碼為所述預(yù)測殘差的裝置(208);用于基于所述較低比特深度重構(gòu)畫面來提供畫面預(yù)測的裝置(206)，所述畫面預(yù)測具有所述第二畫面采樣比特深度；以及用于基于所述預(yù)測和所述預(yù)測殘差來重構(gòu)具有所述第二畫面采 樣比特深度的畫面的裝置(210)。
21. 如權(quán)利要求20所述的解碼器，其中，用于提供的裝置(206) 適于對所述較低比特深度重構(gòu)畫面執(zhí)行采樣映射以獲得所述畫面預(yù) 測，所述采樣映射是從與所述第一畫面采樣比特深度相對應(yīng)的第一動 態(tài)范圍映射至大于所述第一動態(tài)范圍并與第二畫面采樣比特深度相對 應(yīng)的第二動態(tài)范圍。
22. 如權(quán)利要求21所述的解碼器，其中，用于提供的裝置(206)適于將采樣從所述第一動態(tài)范圍線性映射至所述第二動態(tài)范圍。
23. 如權(quán)利要求21或22所述的解碼器，其中，用于提供的裝置(206)適于通過計算<formula>formula see original document page 6</formula>將采樣x從所述第一動態(tài)范圍映射至所述第二動態(tài)范圍，其中N是所述第一畫面采樣比特深 度，M是所述第二畫面采樣比特深度，K是從所述質(zhì)量可縮放數(shù)據(jù)流中獲取的映射參數(shù)。
24. 如權(quán)利要求21或22所述的解碼器，其中，所述映射裝置(232) 適于通過計算2M—w-《x + D ，將采樣x從所述第一動態(tài)范圍映射至所述第二動態(tài)范圍，其中N是所述第一畫面采樣比特深度，M是所述第二 畫面采樣比特深度，K和D是映射參數(shù)，并且，所述映射裝置適于轉(zhuǎn)發(fā) 從所述質(zhì)量可縮放數(shù)據(jù)流中獲取的映射參數(shù)K和D。
25. 如權(quán)利要求21或22所述的解碼器，其中，所述映射裝置(232) 適于通過計算fl00r(2M-w—《x + 2M—2A^x + Z))，將釆樣x從所述第一動態(tài)范圍映射至所述第二動態(tài)范圍，其中floor(a)將a向下舍入為最接近的 整數(shù)，N是所述第一畫面采樣比特深度，M是所述第二畫面采樣比特 深度，K和D是映射參數(shù)，并且，所述映射裝置適于轉(zhuǎn)發(fā)從所述質(zhì)量可 縮放數(shù)據(jù)流中獲取的映射參數(shù)K和D。
26. 如權(quán)利要求21所述的解碼器，其中，用于提供的裝置(206) 適于使用從所述質(zhì)量可縮放數(shù)據(jù)流中獲取的插值點信息，將采樣從所 述第一動態(tài)范圍逐塊線性映射至所述第二動態(tài)范圍。
27. 如權(quán)利要求21所述的解碼器，其中，用于提供的裝置(206) 適于通過使用采樣作為查找表的索引來執(zhí)行映射。.
28. 如權(quán)利要求20至27中任一項所述的解碼器，其中，用于提供 的裝置(206)適于基于從所述質(zhì)量可縮放數(shù)據(jù)流中獲取的映射信息來 執(zhí)行映射。
29. 如權(quán)利要求20至28中任一項所述的解碼器，其中，所述畫面是視頻信號的一部分。
30. 如權(quán)利要求20至29中任一項所述的解碼器，其中，所述較低比特深度重構(gòu)畫面具有亮度分辨率和第一色度分辨率，并且，用于提 供的裝置(206)適于應(yīng)用空間插值濾波器以根據(jù)所述較低比特深度重 構(gòu)畫面來獲得畫面預(yù)測，所述畫面預(yù)測具有所述亮度分辨率和第二色 度分辨率，所述第二色度分辨率高于所述第一色度分辨率。
31. 如權(quán)利要求30所述的解碼器，其中，所述空間插值濾波器是 從由線性插值濾波器、雙線性插值濾波器以及FIR插值濾波器構(gòu)成的 組中選擇的。
32. 如權(quán)利要求30或31所述的解碼器，其中，用于提供的裝置 (206)適于應(yīng)用空間插值濾波器，然后執(zhí)行從所述第一色彩空間域至第二色彩空間域的色彩空間變換，以獲得畫面預(yù)測。
33. 如權(quán)利要求30至32中任一項所述的解碼器，其中，用于提供 的裝置(206)基于從所述質(zhì)量可縮放數(shù)據(jù)流中獲取的濾波器信息來執(zhí) 行所述應(yīng)用。
34. 如權(quán)利要求20至33中任一項所述的解碼器，其中，用于預(yù)測 的裝置適于執(zhí)行抖動以獲得畫面預(yù)測。
35. —種用于將畫面編碼為質(zhì)量可縮放數(shù)據(jù)流的方法，包括 將畫面編碼為基本編碼數(shù)據(jù)流，所述基本編碼數(shù)據(jù)流表示具有第一畫面采樣比特深度的畫面表示；基于具有第一畫面采樣比特深度的畫面表示來提供畫面預(yù)測，所述畫面預(yù)測具有第二畫面采樣比特深度，所述第二畫面采樣比特深度大于所述第一畫面采樣比特深度；以及將所述預(yù)測的預(yù)測殘差編碼為比特深度增強層數(shù)據(jù)流；以及 基于所述基本編碼數(shù)據(jù)流和所述比特深度增強層數(shù)據(jù)流來形成質(zhì)量可縮放數(shù)據(jù)流。
36. —種用于對質(zhì)量可縮放數(shù)據(jù)流進(jìn)行解碼的方法，所述質(zhì)量可 縮放數(shù)據(jù)流是通過對畫面進(jìn)行編碼而產(chǎn)生的，所述質(zhì)量可縮放數(shù)據(jù)流 包括基本層數(shù)據(jù)流和比特深度增強層數(shù)據(jù)流，所述基本層數(shù)據(jù)流表示 具有第一畫面采樣比特深度的畫面，所述比特深度增強層數(shù)據(jù)流表示 具有第二畫面采樣比特深度的預(yù)測殘差，所述第二畫面采樣比特深度 大于所述第一畫面采樣比特深度，所述方法包括將所述基本層數(shù)據(jù)流解碼為較低比特深度重構(gòu)畫面； 將所述比特深度增強數(shù)據(jù)流解碼為所述預(yù)測殘差； 基于所述較低比特深度重構(gòu)畫面來提供畫面預(yù)測，所述畫面預(yù)測 具有所述第二畫面釆樣比特深度；以及基于所述預(yù)測和所述預(yù)測殘差來重構(gòu)具有所述第二畫面采樣比 特深度的畫面。
37. —種具有程序代碼的計算機程序，當(dāng)所述計算機程序在計算機上運行時，執(zhí)行根據(jù)權(quán)利要求35和36中任一項所述的方法。
全文摘要
一種更有效處理不同比特深度或不同比特深度和色度采樣格式要求的方式，這種方式是通過使用低比特深度和/或低色度分辨率表示，以提供表示該低比特深度和/或低色度分辨率表示的相應(yīng)基本層數(shù)據(jù)流，并提供(134)較高比特深度和/或較高色度分辨率表示，使得可以對相應(yīng)預(yù)測殘差進(jìn)行編碼，以獲得較高比特深度和/或較高色度分辨率表示。通過這種方法，實現(xiàn)了一種編碼器(100)，以存儲畫面或視頻序列的基本質(zhì)量表示以及針對較高比特深度和/或減小的色度子采樣的增強信號，任何傳統(tǒng)解碼器或視頻解碼器可以對所述基本質(zhì)量表示進(jìn)行解碼，而忽略所述增強信號。
文檔編號H04N7/50GK101589625SQ200680056696
公開日2009年11月25日 申請日期2006年10月25日 優(yōu)先權(quán)日2006年10月25日
發(fā)明者德特勒夫·馬爾佩, 托馬斯·威甘德, ?？啤な┩叽? 馬丁·溫肯 申請人:弗勞恩霍夫應(yīng)用研究促進(jìn)協(xié)會