專利名稱：用于對(duì)視頻進(jìn)行編碼和解碼的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及視頻通信，并且更具體地涉及提供可縮放圖像分辨率和改進(jìn)容 錯(cuò)性(error resilience)的視頻通信技術(shù)。
背景技術(shù)：
在登載日為2005年3月的H. 264/AVC視頻編碼標(biāo)準(zhǔn)中，每個(gè)訪問單元(3. 1節(jié)第4 段“訪問單元”的定義)包括編碼基本圖片(coded primary picture)，用于提供表示編碼 移動(dòng)圖片的所需要的信息。訪問單元可以進(jìn)一步包含一個(gè)或多個(gè)冗余編碼圖片，其不具有 對(duì)解碼過程的規(guī)范化效應(yīng)。這些標(biāo)準(zhǔn)的7. 4. 3節(jié)(“條帶頭語義redimdant_pic_cnt”)敘 述了 “對(duì)于冗余編碼圖片的編碼條帶或編碼條帶數(shù)據(jù)隔離帶不需要解碼過程”。當(dāng)編碼條 帶的條帶頭中的redimdant_pic_cnt大于0時(shí)，解碼器可以丟棄該編碼條帶。注6 當(dāng)由于 序列傳輸中的錯(cuò)誤或丟失而導(dǎo)致解碼基本圖片中的一些樣本不能被正確解碼而編碼冗余 條帶可以被正確解碼時(shí)，解碼器將用解碼冗余條帶的對(duì)應(yīng)樣本代替解碼基本圖片的樣本。 當(dāng)多于一個(gè)的冗余條帶覆蓋基本圖片的相關(guān)區(qū)域時(shí)，應(yīng)當(dāng)使用具有redimdant_pic_cnt的 最低值的冗余條帶。”因此，在編碼比特流中一個(gè)或多個(gè)冗余編碼圖片的存在是可選的，并 且冗余編碼圖片的指定用途(而不是必要用途)是對(duì)基本編碼圖片中傳輸錯(cuò)誤進(jìn)行校正。 維基百科如下給出H.沈4的冗余編碼圖片特征(2008年3月15日)“冗余條帶(RS)，錯(cuò)誤 /丟失魯棒特征允許編碼器發(fā)送圖片區(qū)域的額外表示(通常以較低保真度)，如果基本表示 被損壞或丟失，則可以使用該額外表示?！鳖A(yù)先發(fā)布的新版本的MPEG-4AVC/H. 264標(biāo)準(zhǔn)進(jìn)一步提供了可縮放視頻編碼工具， 并且允許解碼器恢復(fù)基本編碼圖片或者較高分辨率形式的基本編碼圖片。然而，涉及增加 實(shí)現(xiàn)復(fù)雜性的這些新的標(biāo)準(zhǔn)編碼工具并沒有被工業(yè)很快地采用。


在附圖中，相同的附圖標(biāo)記在不同的視圖中表示相同或功能上類似的元素，附圖 與以下詳細(xì)說明一起被并入說明書并且形成本說明書的一部分，并且用于進(jìn)一步說明包括 要求保護(hù)的發(fā)明的概念的實(shí)施例，并且解釋這些實(shí)施例的各種原理和優(yōu)點(diǎn)。圖1是示出根據(jù)特定實(shí)施例的彩色視頻幀的一部分的原理圖。圖2和圖3分別是根據(jù)特定實(shí)施例的用于對(duì)視頻幀的至少一部分進(jìn)行編碼的裝置 的功能框圖和方法的一些步驟的流程圖。
圖4是示出根據(jù)特定實(shí)施例的用于執(zhí)行變換的方法的步驟的流程圖。圖5是根據(jù)特定實(shí)施例的變換函數(shù)的框圖。圖6是圖示根據(jù)特定實(shí)施例的用于視頻幀的一部分的采樣網(wǎng)格的原理圖。圖7是示出根據(jù)特定實(shí)施例的用于執(zhí)行變換的方法的一些步驟的流程圖。圖8和圖9分別是根據(jù)特定實(shí)施例示出的解碼器的框圖和用于解碼的方法的步
馬聚ο圖10是參考圖6描述的平均函數(shù)的反變換函數(shù)的框圖。本領(lǐng)域的技術(shù)人員將理解，為了簡(jiǎn)單明確而圖示附圖中的元素，并且沒有必要按 比例繪制。例如，為了有助于促進(jìn)對(duì)本發(fā)明實(shí)施例的理解，附圖中一些元素的尺寸可能相對(duì) 其他元素被夸大。在附圖中，用常規(guī)符號(hào)在適當(dāng)時(shí)表示裝置和方法組件，僅示出那些與理解本發(fā)明 實(shí)施例相關(guān)的具體細(xì)節(jié)，以便于不會(huì)混淆那些對(duì)受益于本文描述的益處的本領(lǐng)域內(nèi)的普通 技術(shù)人員所顯而易見的細(xì)節(jié)。
具體實(shí)施例方式根據(jù)本實(shí)施例的特定方面，描述的技術(shù)是提供將原始高分辨率視頻幀變換為低分 辨率的圖像和多個(gè)增強(qiáng)數(shù)據(jù)集，然后將它們編碼并且可以作為編碼比特流來傳送。低分辨 率圖像可以被解碼并且用于生成恢復(fù)的高分辨率視頻幀的低分辨率版本?？梢詫?duì)低分辨率 圖像和多個(gè)增強(qiáng)數(shù)據(jù)集進(jìn)行解碼和反變換，以構(gòu)建解碼的高分辨率視頻幀。在一些實(shí)施例 中，對(duì)視頻進(jìn)行編碼和解碼的方式與國際電信聯(lián)盟發(fā)布的規(guī)范兼容，該規(guī)范被標(biāo)識(shí)為登載 日為 2005 年 3 月的 ITU-T H. 264 規(guī)范，標(biāo)題為 “SERIES H AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services-Coding of moving video/Advanced video coding for generic audiovisual services (系列 H :視聽業(yè)務(wù)的視聽禾口多媒體系 統(tǒng)基礎(chǔ)架構(gòu)——移動(dòng)視頻的編碼/用于通用視聽服務(wù)的高級(jí)視頻編碼)”，以下將該規(guī)范稱 為“ITU-T H. 264高級(jí)編碼”，并且與移動(dòng)圖像專家組發(fā)布的等效規(guī)范兼容，該規(guī)范通常稱為 MPEG-4第10部分AVC規(guī)范。另外，對(duì)視頻進(jìn)行編碼和解碼的方式可以與尚未發(fā)布的規(guī)范兼 容。具體地，本文描述的技術(shù)探索了結(jié)合子帶編碼和多描述編碼(MDC)的對(duì)解碼過程沒有 規(guī)范化效應(yīng)的冗余圖片工具的新的用途。這些技術(shù)還可以與除ITU-T H. 264高級(jí)編碼中規(guī) 定內(nèi)容之外的視頻編碼技術(shù)兼容。子帶/小波變換將輸入圖像分解為多分辨率信號(hào)表示。在文獻(xiàn)中，這被表示為 用于圖像壓縮的最有效的方法之一，并且在工業(yè)中，在用于圖像和視頻(格式為運(yùn)動(dòng)JPEG 2000)編碼應(yīng)用的國際標(biāo)準(zhǔn)JPEG 2000中使用。由于子帶/小波變換的高能量簡(jiǎn)縮，子帶/ 小波編碼器可以在沒有傳統(tǒng)的與塊變換相關(guān)聯(lián)的塊現(xiàn)象(blocky artifact)的情況下，實(shí) 現(xiàn)優(yōu)秀的壓縮性能。更重要地，由于小波子帶變換本質(zhì)上是分辨率可縮放的，因此它們?cè)趬?縮效率幾乎沒有損失的情況下，可以輕易地適應(yīng)期望的空間可縮放編碼功能。在多描述的編碼中，已經(jīng)使用了特定形式的多相下采樣。多描述(MD)視頻編碼是 一種用于在易出現(xiàn)誤差的網(wǎng)絡(luò)上聯(lián)播或多播視頻傳輸?shù)姆椒?。多描述視頻編碼在概念上不 同于在諸如MPEG-2、MPEG-4和H. 26x規(guī)范族的混合編解碼中可用的傳統(tǒng)多層可縮放視頻編 碼。在MD視頻編碼中，許多同等重要的視頻描述符被生成，并且可能通過不同的傳輸信道或路徑來遞送。每個(gè)視頻描述符是獨(dú)立可解碼的，并且盡管可能以較低的質(zhì)量，但是能夠重 現(xiàn)原始視頻分辨率。因此，只要成功接收到了至少一個(gè)描述，遠(yuǎn)程客戶端就可以恢復(fù)和消費(fèi) 編碼視頻。層級(jí)視頻層的概念不適用，因此不論接收到的描述符的順序如何，可用于接收機(jī) 使用的視頻描述符越多，解碼視頻就越高。換言之，多描述視頻編碼去除了層間的相關(guān)性， 并且因此不再需要傳統(tǒng)多層編碼所引入的視頻層優(yōu)先級(jí)化。圖1是示出根據(jù)特定實(shí)施例的用于視頻幀的一部分100的采樣網(wǎng)格的示圖。類似 于ITU-T H. 264高級(jí)編碼的圖6-1，其標(biāo)題為“在幀中，4:2:0的亮度和色度采樣的標(biāo)稱垂直 和水平位置”。在圖1中，視頻幀的亮度采樣105被示出為X，并且色度采樣110的兩個(gè)關(guān) 聯(lián)集中的一個(gè)示出為0。在其他色度集中的色度采樣將出現(xiàn)在示出用于色度采樣110的相 同位置上。亮度采樣105的數(shù)量與幀中的視頻圖像的分辨率和大小相關(guān)。色度采樣的數(shù)量 與亮度采樣的數(shù)量相關(guān)。圖1圖示了 4:2:0格式的特定視頻幀，其中，色度采樣的數(shù)量是亮 度采樣數(shù)量的1/4。ITU-T H. 264高級(jí)編碼標(biāo)準(zhǔn)支持其他比率，諸如1比1和1/2比1。當(dāng) 然，單色圖像沒有色度采樣。當(dāng)例如根據(jù)ITU-T H. 264高級(jí)編碼標(biāo)準(zhǔn)，對(duì)視頻幀、或視頻幀的 一部分，諸如分割、宏塊或興趣區(qū)域進(jìn)行編碼時(shí)，在亮度采樣上執(zhí)行的操作也在色度采樣上 執(zhí)行，縮放為色度采樣的量。本文定義的獨(dú)特操作也是如此。為了簡(jiǎn)化對(duì)操作的描述，用像 素來描述，其中，可以將一個(gè)像素取作亮度樣本或色度樣本。為了進(jìn)一步簡(jiǎn)化本文使用的術(shù) 語，當(dāng)使用術(shù)語“部分”時(shí)，意味著“至少一部分”，其可以包括一部分、多個(gè)部分或全部。當(dāng) 視頻幀是彩色幀時(shí)，描述的操作在用于該部分視頻幀的樣本的亮度和色度集上執(zhí)行，縮放 為樣本集的大小。圖2和圖3分別是根據(jù)特定實(shí)施例的用于對(duì)視頻幀的至少一部分進(jìn)行編碼的裝置 的功能框圖200和方法的一些步驟的流程圖300。參考圖2，將視頻幀序列205中的信息 耦合到變換函數(shù)215的輸入210。通常，基于一個(gè)視頻幀或者視頻幀的至少一部分(諸如 條帶)來操作一次信息。在該示例中，視頻幀序列205的視頻幀206由變換函數(shù)215來操 作。視頻幀206是高分辨率的視頻幀。變換函數(shù)215將視頻幀206的至少一部分(圖2) 變換(305，圖幻為低分辨率圖像220和多個(gè)增強(qiáng)數(shù)據(jù)集225、230、235。在圖2中示出的示 例中，存在三個(gè)增強(qiáng)數(shù)據(jù)集225、230、235。在一些實(shí)施例中，多個(gè)增強(qiáng)數(shù)據(jù)集的數(shù)量可以不 是三個(gè)。如以下更詳細(xì)描述的，變換函數(shù)215使用的變換具有若干實(shí)施例。在特定實(shí)施例 中，變換函數(shù)215使用的變換類型使得執(zhí)行低分辨率圖像和多個(gè)增強(qiáng)數(shù)據(jù)集的反變換來重 建高分辨率視頻幀(或其一部分)。將低分辨率圖像220耦合到基本圖片編碼器(PP編碼器M0，其使用用于基本圖 片編碼的編碼技術(shù)來對(duì)低分辨率圖像進(jìn)行編碼，產(chǎn)生基本編碼圖片250。將多個(gè)增強(qiáng)數(shù)據(jù) 集中的每一個(gè)耦合到冗余圖片編碼器(RP編碼器)245，其使用用于冗余圖片編碼的編碼技 術(shù)來對(duì)相應(yīng)的增強(qiáng)數(shù)據(jù)集進(jìn)行編碼，生成冗余編碼圖片255J60J65。根據(jù)特定實(shí)施例，基 本圖片編碼器240以ITU-T H. 264高級(jí)編碼規(guī)定的格式來將低分辨率圖像編碼為基本圖像 (310，圖3)，而每個(gè)冗余圖片編碼器M5以ITU-TH. 264高級(jí)編碼規(guī)定的格式來將增強(qiáng)數(shù)據(jù) 集中的一個(gè)編碼為不同的冗余編碼圖片(315，圖3)。當(dāng)使用除了 ITU-T H. 264高級(jí)編碼規(guī) 定的以外的編碼技術(shù)時(shí)，以上描述為基本圖片編碼的編碼可以由與對(duì)低分辨率圖像進(jìn)行編 碼兼容的技術(shù)的任何編碼方法來執(zhí)行，該低分辨率圖像通常由用于該技術(shù)的解碼器來進(jìn)行 解碼，而以上描述為冗余圖片編碼的編碼可以由與對(duì)增強(qiáng)或補(bǔ)充數(shù)據(jù)集進(jìn)行編碼兼容的技術(shù)的任何編碼方法來執(zhí)行一即，用于該技術(shù)的解碼器將增強(qiáng)或補(bǔ)充數(shù)據(jù)集識(shí)別為與高分 辨率視頻幀相關(guān)聯(lián)，并且對(duì)于該高分辨率視頻幀，解碼是可選的。可以用“基本編碼圖片” 和“冗余編碼圖片”以外的 名稱來標(biāo)識(shí)針對(duì)其他技術(shù)所使用的圖像和編碼格式。當(dāng)完成在 增強(qiáng)數(shù)據(jù)集編碼中的低分辨率圖像時(shí)，將基本編碼圖片250和多個(gè)冗余編碼圖片255、260、 265耦合到將其形成為比特流275的比特流形成函數(shù)270，然后可以傳送該基本編碼圖片和 多個(gè)冗余編碼圖片(320，圖3)。參考圖4，流程圖示出了根據(jù)特定實(shí)施例的用于執(zhí)行變換的方法的步驟。在這些實(shí) 施例中，變換函數(shù)215執(zhí)行405高分辨率視頻幀的一部分的子帶變換，以生成通常稱為視頻 幀(或其一部分)的LL子帶、HL子帶、LH子帶和HH子帶的低分辨率表示和增強(qiáng)數(shù)據(jù)集。參考圖5，示出了根據(jù)特定實(shí)施例的子帶變換函數(shù)215的框圖。變換函數(shù)215包 括作為常規(guī)子帶濾波器組的子帶分析濾波器組505、515，并且在一些實(shí)施例中，包括本領(lǐng)域 中公知的小波濾波器組。首先，分別由低通濾波器506和高通濾波器507來對(duì)輸入視頻幀 (或其一部分)206進(jìn)行處理，接著是沿圖像的垂直方向的下采樣操作，生成中間信號(hào)510。 然后，由具有相同傳遞函數(shù)的低通濾波器和高通濾波器來分別對(duì)中間信號(hào)510進(jìn)行處理， 接著是沿水平方向的下采樣操作，生成四個(gè)子帶LL 220, HL 225, LH 230和HH 235，由圖2 中的PP編碼器240和I^R編碼器245分別對(duì)它們進(jìn)行編碼。該過程通常稱為子帶分解。在 解碼器800的反變換函數(shù)875(圖8)中使用的對(duì)應(yīng)子帶合成濾波器組可以從四個(gè)解碼子帶 構(gòu)建由子帶分析濾波器組505、515(圖5)分解的原始高分辨率視頻幀206的解碼版本。在 子帶分析/合成濾波器組505、515中使用的濾波器可以屬于本領(lǐng)域中公知的小波濾波器族 或QMF濾波器族，而且如本領(lǐng)域公知的，子帶濾波器組的結(jié)構(gòu)可以不同于示出的結(jié)構(gòu)。參考圖6，示示了根據(jù)特定實(shí)施例的視頻幀600的一部分。圖6中示出的該視 頻幀的一部分的像素已經(jīng)被下采樣為視頻幀的一部分的相位(phase)。在該示例中，在每 個(gè)空間維度中，已經(jīng)以因子2執(zhí)行了下采樣。因此，已經(jīng)形成了獨(dú)特不同的像素集的4個(gè)相 位，每一個(gè)包括視頻幀的一部分中的像素?cái)?shù)目的大約四分之一。四分之一的數(shù)量由于邊緣 效應(yīng)而被敘述為近似。四個(gè)不同相位的像素被描繪為三角形、X、方塊和圓形。可以定義對(duì) 視頻幀中的任何像素均有效的像素鄰域。在該示例中，像素鄰域被定義為包括所選像素，諸 如像素615，以及包括在鄰域邊界610內(nèi)的其他像素。通常，像素鄰域可以具有任何形狀和 大小?？梢葬槍?duì)視頻幀中的任何像素來定義像素相位組。像素相位組包括來自位于各個(gè)下 采樣圖像網(wǎng)格中的相同位置處的每個(gè)相位的一個(gè)像素。在圖6的示例中，像素615已經(jīng)被 選擇，并且標(biāo)識(shí)邊界605內(nèi)的像素相位組。像素相位組的大小由下采樣因子來確定。對(duì)于 本文的目的，將所選像素615指定為像素(0，0)。將由像素相位組內(nèi)χ標(biāo)識(shí)的像素指定為像 素(1，0)。將由像素相位組內(nèi)的方塊標(biāo)識(shí)的像素指定為像素(0，1)。將由像素相位組內(nèi)圓 形標(biāo)識(shí)的像素指定為像素(1，1)。盡管對(duì)于特定的實(shí)施例，像素相位組應(yīng)當(dāng)具有與特定相 位的所選像素一致的拓?fù)潢P(guān)系，但是在其他實(shí)施例中，該拓?fù)潢P(guān)系可能是不同的。例如，圖 6中所示的像素相位組使用的像素是所選像素的最近鄰居，并且在所選像素的右邊或下邊， 而四個(gè)獨(dú)特最近鄰居的其他集也可以用于相位組。參考圖7，流程圖700示出了根據(jù)特定實(shí)施例的用于執(zhí)行變換的方法700的一些步 驟。在步驟705，變換函數(shù)215形成高分辨率視頻幀206的一部分的多個(gè)相位。在圖6中所 示的示例中，多個(gè)等于四。在步驟710，變換函數(shù)215將低分辨率圖像形成為包括低分辨率像素，其中，使用處于多個(gè)相位中的第一相位內(nèi)的每個(gè)像素的像素鄰域內(nèi)的像素值的平均 函數(shù)來確定每個(gè)低分辨率像素的值。在步驟715，變換函數(shù)215將多個(gè)增強(qiáng)數(shù)據(jù)集中的每個(gè) 增強(qiáng)數(shù)據(jù)集確定為包括除了第一相位以外相位的所有像素的獨(dú)特集。例如，用于圖6中所 示的視頻幀600的變換部分的增強(qiáng)數(shù)據(jù)集將包括由方塊指定的視頻幀600的一部分中的所 有像素的集合，由χ指定的視頻幀600的一部分中的所有像素的集合以及由圓形指定的視 頻幀600的一部分中的所有像素的集合。應(yīng)當(dāng)注意，第一相位是有助于本方法的多個(gè)相位 中的任何一個(gè)特定相位。根據(jù)特定實(shí)施例，平均函數(shù)是脈沖函數(shù)，該函數(shù)將每個(gè)低分辨率像素的值確定為 等于第一相位的對(duì)應(yīng)像素的值。換言之，平均是對(duì)一個(gè)數(shù)值的平均。在圖6中所示的示例 中，低分辨率圖像僅包括由三角形指定的所有像素。根據(jù)特定實(shí)施例，平均函數(shù)將每個(gè)低分辨率像素的值確定為等于第一相位的像素 的像素鄰域內(nèi)的像素值的平均值。在圖6中所示的示例中，通過對(duì)邊界610內(nèi)的9個(gè)像素 的值進(jìn)行平均來確定與特定相位的像素615相關(guān)的低分辨率圖像的像素值。根據(jù)特定實(shí)施 例，平均函數(shù)將每個(gè)低分辨率像素的值確定為等于第一相位的像素的像素相位組內(nèi)的像素 值的平均值。在圖6所示的示例中，可以通過對(duì)邊界605內(nèi)的4個(gè)像素的值進(jìn)行平均來確 定與第一相位的像素615相關(guān)的低分辨率圖像的像素值。根據(jù)特定實(shí)施例，相位的數(shù)目為四。在每個(gè)像素相位組中由三角形、X、方塊和圓 形參考圖6標(biāo)識(shí)的4個(gè)像素替代地被分別標(biāo)識(shí)為像素(0，0)、(0，1)、(1,0)和(1，1)。像素 (0，0)、和(1，1)對(duì)角地放置。平均函數(shù)將每個(gè)低分辨率像素的值確定為等于第一相位的像 素(圖6中的像素615)的值和預(yù)測(cè)值y的平均值。從在與第一相位的像素相同的像素相 位組中的像素確定預(yù)測(cè)值y，如下y = max((0，l)，(1,0))當(dāng)(1，1)為 > =max ((0，1)，(1,0))時(shí)(1)y = min((0,l), (1,0))當(dāng)(1，1)為< =min ((0，1)，(1,0))時(shí)(2)y = (0，1) + (1，0)_(1，1)其他。(3)參考圖8和圖9，分別示出了根據(jù)特定實(shí)施例的用于解碼的解碼器800的框圖和方法900的步驟。將根據(jù)參考圖1-7描述的實(shí)施例而編碼的比特流805 (圖8)耦合到比特 流分離器810 (圖8)。在比特流中接收(905，圖9)基本編碼圖片815和多個(gè)冗余編碼圖片 820、825、830，并且由比特流分離器810來進(jìn)行分離。基本圖片解碼器835 (圖2)通過對(duì)基 本編碼圖片815進(jìn)行解碼來生成(910，圖9)低分辨率圖像855。在步驟915 (圖9)，當(dāng)在步 驟930(圖9)處選擇使用低分辨率圖像時(shí)，反變換函數(shù)875 (圖8)可以僅縮放低分辨率圖 像中的信息，并且在輸出880處生成解碼的低分辨率圖像885，并且可以不再執(zhí)行方法900 的其他步驟。在步驟915 (圖9)，當(dāng)選擇使用高分辨率圖像時(shí)，多個(gè)冗余圖片解碼器840 (圖 8)通過對(duì)相應(yīng)的多個(gè)冗余編碼圖片820、825、830進(jìn)行解碼來生成(920，圖9)多個(gè)增強(qiáng)數(shù) 據(jù)集860、865、870。反變換函數(shù)875 (圖8)執(zhí)行低分辨率圖像855 (圖2)和多個(gè)增強(qiáng)數(shù)據(jù) 集860、865、870(圖2)中的每一個(gè)的(925，圖9)反變換，在輸出880處構(gòu)建從其生成了基 本編碼圖片和多個(gè)增強(qiáng)數(shù)據(jù)集的高分辨率視頻幀885的一部分的解碼版本作為視頻幀序 列890的一部分?？梢詫⒉襟E925略微不同地描述為至少基本上重建高分辨率視頻幀206 的一部分。當(dāng)重建高分辨率視頻幀885的一部分時(shí)，反變換函數(shù)875使用對(duì)高分辨率視頻幀206進(jìn)行編碼的反變換。如圖4中所描述的，對(duì)于已經(jīng)使用子帶變換生成的高分辨率視頻幀 的編碼版本，反變換函數(shù)875是使用本領(lǐng)域普通技術(shù)人員所公知的雙合成濾波器組來對(duì)解 碼的高分辨率視頻幀進(jìn)行合成的子帶合成操作。如圖7中所描述的，對(duì)于使用多相變換生 成的編碼高分辨率視頻幀，反變換函數(shù)875包括反平均函數(shù)。參考圖10，示出了根據(jù)特定實(shí) 施例 用于以上參考圖6描述的平均函數(shù)的反變換函數(shù)1000的框圖。反變換函數(shù)1000包括 存儲(chǔ)器1005、反平均函數(shù)1010和重建函數(shù)1035。將多個(gè)增強(qiáng)數(shù)據(jù)集860、865、870耦合到 存儲(chǔ)器1005，該存儲(chǔ)器1005將增強(qiáng)數(shù)據(jù)集存儲(chǔ)為高分辨率圖像的相位2、3和4。將低分辨 率圖像855耦合到反平均函數(shù)1010。當(dāng)在方法900 (圖9)中選擇低分辨率圖像時(shí)，反平均 函數(shù)1010在輸出880處生成低分辨率圖像855。低分辨率圖像855由重建函數(shù)1035來接 收，并且被傳遞到輸出880。反變換函數(shù)1010或重建函數(shù)1035或二者可以對(duì)低分辨率圖像 855的值應(yīng)用縮放。當(dāng)在方法900 (圖9)中選擇了高分辨率圖像時(shí)，反平均函數(shù)1010使用 本領(lǐng)域普通技術(shù)人員公知的方法確定來自低分辨率圖像855高分辨率視頻幀的一部分的 第一相位以及高分辨率視頻幀的一部分的其他相位1020、1025、1030。高分辨率視頻幀的一 部分的第一相位與高分辨率視頻幀的一部分的其他三個(gè)相位1020、1025、1030 —起從輸出 1015耦合到重建函數(shù)1035，其中，它們被組合以在輸出880處重建高分辨率視頻幀885的 一部分。應(yīng)當(dāng)認(rèn)識(shí)到，本文描述的方法的特定步驟可能無需按描述的順序來執(zhí)行。例如，圖 9中的方法900的步驟920可以在步驟915之前執(zhí)行；然后當(dāng)選取低分辨率圖像時(shí)，可能不 使用步驟920的結(jié)果。本文描述的實(shí)施例在不需要對(duì)現(xiàn)有非可縮放編碼器和解碼器作出重大改變的情 況下，提供了用于可縮放圖像/視頻編碼和多描述編碼的新的方法。具體地，該技術(shù)可以進(jìn) 一步利用冗余圖片工具，并且可以容易地被施加到僅被指定為與非可縮放ITU-T H. 264配 置文件兼容的傳統(tǒng)視頻編碼系統(tǒng)。應(yīng)當(dāng)理解，一些實(shí)施例可以包括一個(gè)或多個(gè)通用或?qū)Ｓ锰幚砥?或“處理設(shè)備”)， 諸如微處理器、數(shù)字信號(hào)處理器、定制處理器和現(xiàn)場(chǎng)可編程門陣列(FPGA)以及獨(dú)特存儲(chǔ)的 程序指令(包括軟件和固件)，程序指令控制一個(gè)或多個(gè)處理器結(jié)合特定非處理器電路來 實(shí)現(xiàn)本文描述的方法和/或裝置的一些、大部分或所有功能。替代地，可以由不具有存儲(chǔ)程 序指令的狀態(tài)機(jī)或在一個(gè)或多個(gè)專用集成電路(ASIC)中實(shí)施一些、大部分或所有這些功 能，其中，每種功能或特定功能的一些組合被實(shí)現(xiàn)為定制邏輯。當(dāng)然，可以使用兩種方法的 組合。另外，可以將實(shí)施例實(shí)施為其上存儲(chǔ)了計(jì)算機(jī)可讀取代碼的計(jì)算機(jī)可讀取存儲(chǔ)介 質(zhì)，用于對(duì)計(jì)算機(jī)(例如，包括處理器)進(jìn)行編程以執(zhí)行本文所述和要求保護(hù)的方法。這 樣的計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)的示例包括但不限于，硬盤、CD-ROM、光存儲(chǔ)設(shè)備、磁存儲(chǔ)設(shè) 備、R0M(只讀存儲(chǔ)器)、PROM(可編程只讀存儲(chǔ)器)，EPR0M(可擦除可編程只讀存儲(chǔ)器)、 EEPROM(電可擦除可編程只讀存儲(chǔ)器)和閃速存儲(chǔ)器。另外，盡管可能由于例如可用時(shí)間、 現(xiàn)有技術(shù)和經(jīng)濟(jì)上的考慮促使其進(jìn)行重大努力和眾多設(shè)計(jì)選擇，但是預(yù)期，本領(lǐng)域普通技 術(shù)人員在由本文公開的概念和原理指引時(shí)，將能夠以最少的試驗(yàn)輕易地生成這樣的軟件指 令和程序及IC。在以上說明中，已經(jīng)描述了特定實(shí)施例。然而，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，在不偏離如所附權(quán)利要求闡述的本發(fā)明范圍的前提下，可以做出各種修改和改變。因此，說 明和附圖被認(rèn)為是說明性的而不是限制性意義的，并且意圖將所有這樣的修改都包括在本 教導(dǎo)的范圍內(nèi)。益處、優(yōu)點(diǎn)、問題的解決方案以及可以使任何益處、優(yōu)點(diǎn)或解決方案發(fā)生或 變得更明顯的任何元素都不被解釋為任何或所有權(quán)利要求的關(guān)鍵的、必須的或主要的特征 或元素。本發(fā)明僅由所附權(quán)利要求(包括在本申請(qǐng)待決期間所做的任何修改以及發(fā)布的那 些權(quán)利要求的等效內(nèi)容)來限定。另外，在本文中，關(guān)系術(shù)語，例如第一和第二、頂部和底部等，可能僅用于將一個(gè)實(shí) 體或動(dòng)作與另一實(shí)體和動(dòng)作區(qū)別開來，而不必要求或意指這些實(shí)體或動(dòng)作之間的任何實(shí)際 這樣的關(guān)系或順序。術(shù)語包括“包括”、“具有”、“包含”、“含有”或其任何其他變形，意在涵 蓋非排它性包含，因此包括、具有、包含、含有元素列表的過程、方法、物體、裝置不僅包括這 些元素，還可以包括未明確列出的或者這類過程、方法、物體、或裝置所固有的其他元素。之 前為“包括...一”、“具有...一”、“包含...一”、“含有...一”的元素，在沒有更多限制 的情況下，并不排除在包括該元素的過程、方法、產(chǎn)品、或裝置中存在其他相同的元素?！背?非本文明確說明，否則術(shù)語“一”被定義為一個(gè)或一個(gè)以上。術(shù)語“基本上”、“本質(zhì)上”、“大 約”、“近似”或任何其他形式被定義為接近本領(lǐng)域普通技術(shù)人員所理解的，并且在一個(gè)非限 制性實(shí)施例中，該術(shù)語被定義為在10 %以內(nèi)，在另一實(shí)施例中，在5 %以內(nèi)，在又一實(shí)施例 中，在1 %以內(nèi)，在其他一個(gè)實(shí)施例中，在0. 5 %以內(nèi)。按本文的用法，將術(shù)語“耦合”定義為 連接，盡管不必是直接地連接，且不必是機(jī)械性連接。以特定方式“配置”的設(shè)備或結(jié)構(gòu)至 少可以用該種方式配置，但是也可以用沒有列出的方式來配置。 提供公開的摘要以使得讀者可以快速地確定技術(shù)公開的屬性。在理解摘要不會(huì)用 于解釋或限制權(quán)利要求的范圍或意義的情況下提交摘要。另外，為了本公開的精簡(jiǎn)，在上述具體實(shí)施方式
中，可以看出將不同的特征組合在不同的實(shí)施例中。不將本公開方法解釋為 反映要求保護(hù)的實(shí)施例需要比每個(gè)權(quán)利要求中明確表示更多特征的意圖。而是，如所附權(quán) 利要求反映的，發(fā)明主題在于少于單個(gè)公開的實(shí)施例之中的所有特征。因此，所附權(quán)利要求 并入具體實(shí)施方式
，其中每個(gè)權(quán)利要求自身作為獨(dú)立的要求保護(hù)的主題。
權(quán)利要求
1.一種視頻編碼方法，包括將高分辨率視頻幀的至少一部分變換為低分辨率圖像和多個(gè)增強(qiáng)數(shù)據(jù)集； 將所述低分辨率圖像編碼為基本編碼圖片；以及 將所述多個(gè)增強(qiáng)數(shù)據(jù)集中的每一個(gè)編碼為不同的冗余編碼圖片。
2.如權(quán)利要求1所述的視頻編碼方法，其中，以與ITU-TH. 264高級(jí)編碼兼容的方式來 執(zhí)行所述編碼。
3.如權(quán)利要求1所述的視頻編碼方法，其中，所述變換具有反變換，并且執(zhí)行所述低分 辨率圖像和所述多個(gè)增強(qiáng)數(shù)據(jù)集的所述反變換至少基本上重建所述高分辨率視頻幀。
4.如權(quán)利要求1所述的視頻編碼方法，其中，所述變換使用子帶變換，所述子帶變換將 所述高分辨率視頻幀的一部分分解為LL子帶、HL子帶、LH子帶和HH子帶，并且其中，所述 LL子帶是所述低分辨率圖像，而所述HL子帶、LH子帶和HH子帶是所述多個(gè)增強(qiáng)數(shù)據(jù)集。
5.如權(quán)利要求1所述的視頻編碼方法，其中，所述變換包括執(zhí)行多相變換，以將所述高分辨率視頻幀分解為多個(gè)不同相位的子幀； 形成所述低分辨率圖像以包括低分辨率像素，其中，每個(gè)低分辨率像素的值是使用處 于所述多個(gè)相位的特定相位中的每個(gè)像素的像素鄰域內(nèi)的定義像素的值的平均函數(shù)來確 定的；以及將所述多個(gè)增強(qiáng)數(shù)據(jù)集中的每個(gè)增強(qiáng)數(shù)據(jù)集確定為包括除了第一相位以外的相位的 所有像素的獨(dú)特集。
6.如權(quán)利要求5所述的方法，其中，所述平均函數(shù)是脈沖函數(shù)，所述脈沖函數(shù)將所述每 個(gè)低分辨率像素的值確定為等于所述特定相位的相應(yīng)像素的值。
7.如權(quán)利要求5所述的方法，其中，所述平均函數(shù)將所述每個(gè)低分辨率像素的值確定 為等于所述特定相位的像素的像素鄰域內(nèi)的像素的值的平均值。
8.如權(quán)利要求5所述的方法，其中，所述像素的鄰域是一個(gè)像素相位組。
9.如權(quán)利要求5所述的方法，其中，所述相位的數(shù)目是四，其中，在每個(gè)像素相位組中 的四個(gè)像素被標(biāo)識(shí)為像素(0，0)、(0，1)、(1，0)和(1，1)，其中，所述像素(0，0)、(1，1)被對(duì) 角放置，并且其中，所述平均函數(shù)將所述每個(gè)低分辨率像素的值確定為等于所述(0，0)相 位(所述特定相位)的像素的值和預(yù)測(cè)值y的平均值，其中，所述預(yù)測(cè)值y是從與所述特定 相位的像素相同的像素相位組中的像素來確定的，如下y = max((0，l)，(1,0))當(dāng)(1，1)為> =max((0，1)，(1,0))時(shí) y = min((0,l), (1,0))當(dāng)(1，1)為< =min ((0，1)，(1,0))時(shí)， y = (0,1) + (1,0)-(1,1)其他。
10.一種空間可縮放視頻編碼方法，包括將高分辨率視頻幀的至少一部分變換為低分辨率圖像和多個(gè)增強(qiáng)數(shù)據(jù)集，所述變換包括形成所述高分辨率視頻幀的一部分的多個(gè)相位，其中，每個(gè)相位是所述部分的不同的 下采樣圖像，將所述低分辨率圖像形成為包括低分辨率像素的圖像，其中，每個(gè)低分辨率像素的值 是使用處于所述多個(gè)相位的特定相位中的每個(gè)像素的像素鄰域內(nèi)的定義像素的值的平均 函數(shù)來確定的，將所述多個(gè)增強(qiáng)數(shù)據(jù)集中的每個(gè)增強(qiáng)數(shù)據(jù)集確定為包括除了所述特定相位以外的相 位的所有像素的獨(dú)特集；使用第一編碼過程來對(duì)所述低分辨率圖像進(jìn)行編碼；以及 使用第二編碼過程來對(duì)所述多個(gè)增強(qiáng)數(shù)據(jù)集中的每一個(gè)進(jìn)行編碼。
11.如權(quán)利要求10所述的方法，其中，所述平均函數(shù)將所述每個(gè)低分辨率像素的值確 定為等于所述特定相位的像素的像素鄰域內(nèi)的像素的值的平均值。
12.如權(quán)利要求10所述的方法，其中，所述相位的數(shù)目是四，其中，在每個(gè)像素相位組 中的四個(gè)像素被標(biāo)識(shí)為(0，0)、(0，1)、(1，0)和(1，1)，其中，所述像素(0，0)、(1，1)被對(duì)角 放置，并且其中，所述平均函數(shù)將所述每個(gè)低分辨率像素的值確定為等于所述特定相位的 像素的值和預(yù)測(cè)值y的平均值，其中，所述預(yù)測(cè)值y是從與所述特定相位的像素相同的像素 相位組中的像素來確定的，如下y = max((0，l)，(1,0))當(dāng)(1，1)為>=max((0，l)，(1,0))時(shí) y = min((0，l)，(1,0))當(dāng)(1，1)為<=min((0，l)，(1,0))時(shí)， y = (0,1) + (1,0)-(1,1)其他。
13.—種視頻解碼方法，包括通過對(duì)基本編碼圖片進(jìn)行解碼來生成解碼的低分辨率圖像； 通過對(duì)相應(yīng)的多個(gè)冗余編碼圖片進(jìn)行解碼來生成多個(gè)解碼的增強(qiáng)數(shù)據(jù)集；以及 執(zhí)行所述解碼的低分辨率圖像和所述多個(gè)解碼的增強(qiáng)數(shù)據(jù)集的反變換，以構(gòu)建從其生 成了所述基本編碼圖片和所述多個(gè)冗余編碼圖片的高分辨率視頻幀的一部分的解碼版本。
14.如權(quán)利要求13所述的視頻解碼方法，其中以與ITU-TH. 264高級(jí)編碼兼容的方式 來執(zhí)行所述解碼。
15.如權(quán)利要求13所述的視頻解碼方法，其中，所述低分辨率圖像是子帶分解的高分 辨率視頻幀的一部分的LL子帶，并且所述多個(gè)增強(qiáng)數(shù)據(jù)集是所述分解的高分辨率視頻幀 的HL子帶、LH子帶和HH子帶，并且其中，所述反變換是子帶合成操作，所述子帶合成操作 從所述LL子帶、所述HL子帶、所述LH子帶和所述HH子帶合成所述高分辨率視頻幀的解碼 版本。
16.如權(quán)利要求13所述的視頻解碼方法，其中，所述低分辨率圖像包括低分辨率像素， 其中，每個(gè)低分辨率像素的值是使用處于所述高分辨率視頻幀的一部分的多個(gè)相位中的特 定相位中的每個(gè)像素的像素鄰域內(nèi)的定義像素的值的平均函數(shù)來確定的，并且所述多個(gè)增 強(qiáng)數(shù)據(jù)集中的每一個(gè)是包括除了所述特定相位以外的所述高分辨率視頻幀的一部分的相 位的所有像素的獨(dú)特集，其中，所述反變換包括將除了所述特定相位以外的所述高分辨率視頻幀的每一個(gè)相位設(shè)置為所述多個(gè)增強(qiáng) 數(shù)據(jù)集中的相應(yīng)的一個(gè)增強(qiáng)數(shù)據(jù)集；從所述低分辨率圖像以及所述高分辨率視頻幀的一部分的其他相位來確定所述高分 辨率視頻幀的一部分的特定相位；以及組合所述特定相位和所述其他相位來構(gòu)建所述高分辨率視頻幀的解碼版本。
17.一種解碼裝置，包括解碼器，所述解碼器從比特流中的基本編碼圖片恢復(fù)低分辨率圖像，并且從所述比特 流中的相應(yīng)的多個(gè)冗余編碼圖片恢復(fù)多個(gè)增強(qiáng)數(shù)據(jù)集；以及后處理器，所述后處理器對(duì)所述低分辨率圖像和所述多個(gè)增強(qiáng)數(shù)據(jù)集執(zhí)行反變換，構(gòu) 建從其生成了所述基本編碼圖片和所述多個(gè)冗余編碼圖片的高分辨率視頻幀的一部分的 解碼版本。
18.如權(quán)利要求17所述的解碼裝置，其中以與ITU-TH. 264高級(jí)編碼兼容的方式來執(zhí) 行所述恢復(fù)。
19.如權(quán)利要求17所述的解碼裝置，其中，所述低分辨率圖像是所述高分辨率視頻幀 的一部分的LL子帶，并且所述多個(gè)增強(qiáng)數(shù)據(jù)集是所述高分辨率視頻幀的一部分的HL子帶、 LH子帶和HH子帶，并且其中，所述反變換是子帶合成操作，所述子帶合成操作從所述解碼 的LL子帶、HL子帶、LH子帶和HH子帶合成所述高分辨率視頻幀的解碼版本的一部分。
20.如權(quán)利要求17所述的解碼裝置，其中，所述低分辨率圖像包括低分辨率像素，其 中，每個(gè)低分辨率像素的值是使用處于所述高分辨率視頻幀的一部分的多個(gè)相位中的特定 相位中的每個(gè)像素的像素鄰域內(nèi)的定義像素的值的平均函數(shù)來確定的，并且所述多個(gè)增強(qiáng) 數(shù)據(jù)集中的每一個(gè)是包括除了所述特定相位以外的所述高分辨率視頻幀的一部分的相位 的所有像素的獨(dú)特集，其中，所述反變換函數(shù)包括存儲(chǔ)器，所述存儲(chǔ)器用于將除了所述特定相位以外的所述高分辨率視頻幀的每個(gè)相位 設(shè)置為所述多個(gè)增強(qiáng)數(shù)據(jù)集中的相應(yīng)的一個(gè)增強(qiáng)數(shù)據(jù)集；反平均函數(shù)，所述反平均函數(shù)從所述低分辨率圖像以及所述高分辨率視頻幀的一部分 的其他相位來確定所述高分辨率視頻幀的一部分的特定相位；以及重建器，所述重建器將所述特定相位和所述其他相位組合為所述高分辨率視頻幀的解 碼版本。
全文摘要
一種用于對(duì)視頻進(jìn)行編碼和解碼的方法和裝置執(zhí)行高分辨率視頻幀的至少一部分成為低分辨率圖像和多個(gè)增強(qiáng)數(shù)據(jù)集的變換，以比特流格式將低分辨率圖像編碼為基本編碼圖片，并且以比特流格式將多個(gè)增強(qiáng)數(shù)據(jù)集中的每一個(gè)編碼為不同冗余編碼圖片。對(duì)于解碼，生成解碼的低分辨率圖像和多個(gè)解碼的增強(qiáng)數(shù)據(jù)集，執(zhí)行反變換來構(gòu)建解碼的高分辨率圖像。可以根據(jù)ITU-T H.264高級(jí)編碼規(guī)范來對(duì)基本編碼圖片和冗余編碼圖片進(jìn)行格式化。變換可以是多相變換或子帶變換。
文檔編號(hào)H04N7/26GK102067599SQ200980114439
公開日2011年5月18日 申請(qǐng)日期2009年4月7日 優(yōu)先權(quán)日2008年4月24日
發(fā)明者向時(shí)達(dá), 塔梅爾·沙納布勒, 費(fèi)薩爾·伊什蒂亞 申請(qǐng)人:摩托羅拉移動(dòng)公司