專利名稱：圖像編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于編碼圖像的方法，其中形成主編碼圖像和主編碼圖像的冗余編碼圖像。本發(fā)明還涉及系統(tǒng)、編碼器、解碼器、發(fā)送設(shè)備、接收設(shè)備、軟件程序、存儲媒體和比特流。
背景技術(shù)：
公布的視頻編碼標準包括ITU-T H.261、ITU-T H.263、ISO/IECMPEG-1、ISO/IEC MPEG-2、和ISO/IEC MPEG-4第2部分。這些標準在這里被稱為傳統(tǒng)的視頻編碼標準。
視頻通信系統(tǒng)視頻通信系統(tǒng)可被劃分成對話和非對話系統(tǒng)。對話系統(tǒng)包括電視會議和電視電話。這樣的系統(tǒng)的例子包括ITU-T建議H.320、H.323和H.324，它們規(guī)定分別在ISDN、IP和PSTN網(wǎng)絡(luò)中工作的電視會議/電視電話系統(tǒng)。對話系統(tǒng)的特征在于意圖使端到端延時(從音頻視頻捕獲到遠端音頻視頻呈現(xiàn))最小化，以便改善用戶感受。
非對話系統(tǒng)包括存儲內(nèi)容的回放，存儲內(nèi)容是諸如數(shù)字通用盤(DVD)或被存儲在回放設(shè)備的大容量存儲器中的視頻文件、數(shù)字電視、和流。
在ITU-T和ISO/IEC的聯(lián)合視頻組(JVT)中有一個正在進行中的標準化研究計劃。JVT的工作是基于在ITU-T中被稱為H.26L的早先的標準化項目。JVT標準化的目標是發(fā)布與ITU-T建議H.264和ISO/IEC國際標準14496-10(MPEG-4第10部分)相同的標準文本。標準草案在本文中被稱為JVT編碼標準，以及按照標準草案的編解碼器被稱為JVT編解碼器。
編解碼器技術(shù)規(guī)范本身在概念上區(qū)分視頻編碼層(VCL)和網(wǎng)絡(luò)提取層(NAL)。VCL包含編解碼器的信號處理功能性，諸如變換、量化、運動搜索/補償、和環(huán)路濾波那樣的功能。它遵循大多數(shù)今天的視頻編解碼器的一般概念，一個利用帶有運動補償?shù)膱D像間預(yù)測的、基于宏塊的編碼器以及剩余信號的變換編碼。VCL編碼器的輸出是像條包含整數(shù)個宏塊的宏決數(shù)據(jù)和像條頭標的信息(包含像條中第一宏塊的空間地址、初始量化參數(shù)等等)的比特串。在像條中的宏塊通過使用所謂的靈活的宏塊排序句法而以掃描次序接連地排序，除非規(guī)定不同的宏塊分配。圖像內(nèi)預(yù)測僅僅被使用于像條內(nèi)。
NAL把VCL的像條輸出封裝到網(wǎng)絡(luò)提取層單元(NALU)，它們適用于在分組網(wǎng)絡(luò)上傳輸或被使用于面向分組的復(fù)用環(huán)境。JVT的附錄B定義通過面向字節(jié)流的網(wǎng)絡(luò)傳送這樣的NALU的封裝處理過程。
H.263的任選的參考圖像選擇模式和MPEG-4第2部分的NEWPRED編碼工具使能按每個圖像分段，例如按H.263中的每個像條，選擇用于運動補償?shù)膮⒖紟Ｔ僬?，H.263的任選的增強參考圖像選擇模式和JVT編碼標準使能分別選擇用于每個宏塊的參考幀。
參考圖像選擇使能許多類型的時間可縮放性方案。

圖1顯示時間可縮放性方案的例子，它在這里被稱為遞歸時間可縮放性。示例的方案可以以三種恒定的幀速率被解碼。圖2顯示被稱為視頻冗余編碼的方案，其中圖像序列被劃分成以交織的方式的兩個或多個獨立編碼的線程(thread)。在這些和所有以后的圖上的箭頭指示運動補償方向而幀下的值對應(yīng)于幀的相對捕獲和顯示時間。
圖8顯示通常的視頻通信系統(tǒng)800的框圖。由于未壓縮的視頻需要很大的帶寬，所以輸入視頻801在發(fā)送設(shè)備802中被源編碼器803壓縮到期望的比特速率。源編碼器803可被分成兩個部件，即波形編碼器803.1和熵編碼器803.2。波形編碼器803.1執(zhí)行有損視頻信號壓縮，而熵編碼器803.2把波形變換器803.1的輸出無損地變換成二進制序列。傳輸編碼器804按照所使用的傳輸協(xié)議封裝壓縮的視頻。它也可以按其它方式處理壓縮的視頻。例如，它可以交織和調(diào)制數(shù)據(jù)。然后，數(shù)據(jù)經(jīng)由傳輸信道805被傳送到接收器端，該傳輸信道可包括服務(wù)器設(shè)備806、網(wǎng)關(guān)(未示出)等等。接收器807執(zhí)行相反的操作，以得到重構(gòu)的視頻信號用于顯示。接收器807包括傳輸解碼器808和源解碼器809。傳輸解碼器808按照所使用的傳輸協(xié)議解拆從輸送信道805傳輸協(xié)議輸入的壓縮的視頻。源解碼器809也可被分成兩個部件，即熵解碼器809.1和波形解碼器809.2。熵解碼器809.1把來自傳輸解碼器808的二進制序列變換成要被輸入到波形解碼器809.1的波形。波形解碼器809.1執(zhí)行視頻信號解壓縮和輸出視頻信號810。接收器807也可以向發(fā)送器給出反饋。例如，接收器可以用信號告知成功接收的傳輸單元的速率。
參數(shù)集概念JVT編解碼器的一個非?；镜脑O(shè)計概念是生成自包含的分組，使得諸如頭標復(fù)制那樣的機制是不必要的。如何達到這一點的方法是斷開與一個以上的像條有關(guān)的信息和媒體流的聯(lián)系。這個較高層的元信息應(yīng)當(dāng)可靠地、異步地并提前從包含像條分組的RTP分組流被發(fā)送。這個信息在這樣的、沒有適合于該用途的帶外輸送信道的應(yīng)用中也可以在帶內(nèi)被發(fā)送。較高級別的參數(shù)的組合被稱為參數(shù)集。參數(shù)集包含諸如圖像尺寸、顯示窗口、任選的所采用的編碼模式、宏塊分配映射等等的信息。
為了能夠改變圖像參數(shù)(諸如圖像尺寸)、而不需要同步地發(fā)送參數(shù)集更新值到像條分組流，編碼器和解碼器可以保持一個以上的參數(shù)集的列表。每個像條頭標包含指示要被使用的參數(shù)集的碼字。
這種機制允許斷開參數(shù)集的傳輸與分組流的聯(lián)系，以及例如，作為能力交換的副效果，或通過(可靠的或不可靠的)控制協(xié)議而由外部裝置發(fā)送它們。甚至有可能從不發(fā)送它們，而是通過應(yīng)用設(shè)計技術(shù)規(guī)范來固定它們。
傳輸次序在傳統(tǒng)的視頻編碼標準中，除了B圖像外，圖像的解碼次序是與顯示次序相同的。在常規(guī)的B圖像中的塊可以從兩個參考圖像雙向地在時間上預(yù)測，其中在顯示次序中一個參考圖像在時間上是在前的而另一個參考圖像在時間上是在后的。只有解碼次序中最后的參考圖像才可以在顯示次序中接在B圖像之后(例外在H.263中的交織編碼中，其中在時間上后續(xù)的參考幀的兩場圖像在解碼次序中可以在B圖像之前)。常規(guī)的B圖像不能被用作為用于時間預(yù)測的參考圖像，所以，常規(guī)的B圖像可被處理而不影響任何其它圖像的解碼。
與早先的標準相比較，JVT編碼標準包括以下新的技術(shù)特征-斷開了圖像的解碼次序與顯示次序間的聯(lián)系。圖像號指示解碼次序，以及圖像次序計數(shù)指示顯示次序。
-用于B圖像的塊的參考圖像在顯示次序中可以在B圖像之前或之后。因此，B圖像表示雙預(yù)測圖像，而不是雙向圖像。
-不被用作為參考圖像的圖像被明確地標記。任何類型的圖像(內(nèi)部intra、之間inter、B等等)可以是參考圖像或非參考圖像。(因此，B圖像可被用作用于其它圖像的時間預(yù)測的參考圖像)。
-圖像可以包含用不同的編碼類型編碼的像條。換句話說，編碼的圖像可由例如內(nèi)部編碼的像條和B編碼的像條組成。
斷開顯示次序與解碼次序的聯(lián)系，從壓縮效率和錯誤復(fù)原能力的觀點來看可以是有益的。
圖3給出潛在地提高壓縮效率的預(yù)測結(jié)構(gòu)的例子。方塊指示圖像，在方塊內(nèi)的大寫字母指示編碼類型，方塊內(nèi)的數(shù)字是按照JVT編碼標準的圖像號，以及箭頭指示預(yù)測相依性。應(yīng)當(dāng)指出，圖像B17是用于圖像B18的參考圖像。與傳統(tǒng)編碼相比較，因為用于圖像B18的參考圖像，與用PBBP或PBBBP編碼的圖像圖案進行的傳統(tǒng)的編碼相比較，在時間上更接近，所以壓縮效率被潛在地提高。與常規(guī)的PBP編碼的圖像圖案相比較，因為一部分參考圖像是雙向預(yù)測的，所以壓縮效率被潛在地提高。
圖4給出可被使用來改進錯誤復(fù)原能力的內(nèi)部圖像延緩方法的例子。常規(guī)地，內(nèi)部圖像在情景切割后立即被編碼，或例如作為對于超時的內(nèi)部圖像的刷新周期的響應(yīng)。在內(nèi)部圖像延緩方法中，內(nèi)部圖像并不是在出現(xiàn)編碼內(nèi)部圖像的需要后立即被編碼，而是把在時間上后繼的圖像選擇為內(nèi)部圖像。在編碼的內(nèi)部圖像與一個內(nèi)部圖像的常規(guī)位置之間的每個圖像根據(jù)下一個在時間上后繼的圖像進行預(yù)測。如圖4所示，內(nèi)部圖像延緩方法生成兩個獨立的圖像間預(yù)測鏈，而傳統(tǒng)的編碼算法產(chǎn)生單個之間圖像鏈?？梢灾庇X地看到，與一鏈的傳統(tǒng)方法相比，該二鏈方法對抗擦除錯誤是更魯棒的。如果一個鏈受到分組丟失損害，另一個鏈仍舊可能被正確地接收。在傳統(tǒng)的編碼中，分組丟失總是導(dǎo)致錯誤傳播到圖像間預(yù)測鏈的其余部分。
多媒體流傳輸多媒體流播系統(tǒng)由流播服務(wù)器和多個播放器組成，播放器經(jīng)由網(wǎng)絡(luò)接入服務(wù)器。網(wǎng)絡(luò)典型地是面向分組的，以及很少提供或不提供措施來保證服務(wù)質(zhì)量。播放器從服務(wù)器取來預(yù)先存儲的或?qū)崨r的多媒體內(nèi)容以及在內(nèi)容被下載的同時實時地回放它。通信的類型可以是點對點或多播。在點對點流播中，服務(wù)器為每個播放器提供單獨的連接。在多播流播中，服務(wù)器發(fā)送單個數(shù)據(jù)流到多個播放器，以及網(wǎng)絡(luò)單元只在必要時才復(fù)制所述流。
當(dāng)播放器已建立到服務(wù)器的連接并請求多媒體流時，服務(wù)器開始發(fā)送期望的流。播放器并不立即開始回放這些流，而是典型地緩沖進入的數(shù)據(jù)達幾秒鐘。這里，這種緩沖被稱為初始緩沖。初始緩沖有助于保持無暫停的回放，因為在偶爾增加的傳輸延時或網(wǎng)絡(luò)吞吐量下降的情形下，播放器可以解碼和播放緩沖的數(shù)據(jù)。
為了避免無限制的傳輸延時，在流播系統(tǒng)中趨向于支持可靠的傳輸協(xié)議是罕見的。而是，系統(tǒng)趨向于支持不可靠的傳輸協(xié)議，諸如UDP，它一方面得到了更穩(wěn)定的傳輸延時，但另一方面，也受到數(shù)據(jù)訛誤或丟失的損害。
RTP和RTCP協(xié)議可被使用在UDP之上，用來控制實時通信。RTP提供檢測傳輸分組的丟失、在接收端重新組裝正確的分組次序、和把采樣時間戳與每個分組相關(guān)聯(lián)的手段。RTCP輸送有關(guān)多大部分的分組被正確地接收的信息，所以，它可被用于流控的目的。
傳輸錯誤有兩種主要類型的傳輸錯誤，即，比特錯誤和分組錯誤。比特錯誤典型地與電路交換信道有關(guān)，諸如在移動通信中的無線接入網(wǎng)連接，以及它們是由于物理信道的缺陷--諸如無線電干擾--造成的。這樣的缺陷可以在傳輸?shù)臄?shù)據(jù)中造成比特反相、比特插入和比特刪除。分組錯誤典型地是由分組交換網(wǎng)絡(luò)中的單元造成的。例如，分組路由器可變?yōu)閾砣模患?，它可能得到太多的分組作為輸入而不能以相同的速率輸出它們。在這種情形下，它的緩沖器溢出，并且某些分組被丟失。也有可能出現(xiàn)分組重復(fù)和分組遞送的次序與發(fā)送次序不同，但它們典型地被認為沒有分組丟失那樣普遍。分組錯誤也有可能是由于所使用的傳輸協(xié)議棧的實施方案造成的。例如，某些協(xié)議使用在發(fā)送器中計算并與源編碼的數(shù)據(jù)一起封裝的校驗和。如果在數(shù)據(jù)中有比特反相錯誤，則接收器不能以相同的校驗和結(jié)束，且它可能必須丟棄接收的分組。
第二代(2G)和第三代(3G)移動網(wǎng)，包括GPRS、UMTS、和CDMA-2000，提供兩種基本類型的無線電鏈路連接，確認的和非確認的。確認的連接是使無線電鏈路幀的整體性由接收者(移動站MS或基站子系統(tǒng)BSS)校驗，以及在傳輸錯誤的情形下，向無線電鏈路的另一端給出重發(fā)請求。由于鏈路層重發(fā)，發(fā)起者必須緩沖無線電鏈路幀，直至接收到對于幀的肯定確認為止。在苛刻的無線電條件下，這個緩沖器可能溢出并且造成數(shù)據(jù)丟失。無論如何，已經(jīng)表明，為流播業(yè)務(wù)使用確認的無線電鏈路協(xié)議模式是有益的。非確認的連接是使得錯誤的無線電鏈路幀典型地被丟棄。
分組丟失可被糾正或被隱藏。丟失糾正是指完全地恢復(fù)丟失的數(shù)據(jù)的能力，就好像沒有發(fā)生過丟失一樣。丟失隱藏是指隱藏傳輸丟失的影響的能力，以使得它們在重建的視頻序列中應(yīng)當(dāng)看不見。
當(dāng)播放器檢測到分組丟失時，它可以請求分組重發(fā)。因為初始的緩沖，重發(fā)的分組可以在它被安排的回放時間之前被接收。某些商業(yè)性的互聯(lián)網(wǎng)流播系統(tǒng)通過使用專用協(xié)議實施重發(fā)請求。在IETF中正在進行標準化選擇性重發(fā)請求機制作為RTCP的一部分的工作。
對于所有這些重發(fā)請求協(xié)議的共同特性是，它們不適合于對大量播放器進行多播，因為網(wǎng)絡(luò)業(yè)務(wù)量會大大地增加。因此，多播流播應(yīng)用必須依賴于非交互的分組丟失控制。
點對點流播系統(tǒng)也可以從非交互錯誤控制技術(shù)獲利。第一，某些系統(tǒng)可能不包含任何交互錯誤控制機制或它們寧愿不從播放器得到任何反饋，以便簡化系統(tǒng)。第二，丟失分組的重發(fā)和交互錯誤控制的其它形式典型地比非交互錯誤控制方法占用更大部分的傳送的數(shù)據(jù)速率。流播服務(wù)器不得不確保交互錯誤控制方法不保留可用的網(wǎng)絡(luò)吞吐量的主要部分。實際上，服務(wù)器可能不得不限制交互錯誤控制操作的總量。第三，傳輸延時可能限制服務(wù)器與播放器之間的交互次數(shù)，因為用于特定的數(shù)據(jù)樣本的所有交互錯誤控制操作優(yōu)選地應(yīng)當(dāng)在數(shù)據(jù)樣本被回放之前完成。
非交互分組丟失控制機制可被分類為前向錯誤控制和通過后處理的丟失隱藏。前向錯誤控制是指其中發(fā)送器添加冗余性到傳送的數(shù)據(jù)以使得接收器即使在有傳輸丟失時也可恢復(fù)至少部分的傳送的數(shù)據(jù)的技術(shù)。有兩類前向錯誤控制方法與信號相關(guān)的和與信號無關(guān)的。與信號相關(guān)的方法需要解譯比特流。這樣的方法的例子是序列或圖像頭標的重復(fù)。與信號無關(guān)的方法可被使用來恢復(fù)任何比特流，而不管比特流的解譯的內(nèi)容如何。這樣的方法的例子是糾錯碼(例如奇偶校驗碼和里德-所羅門碼)。通過后處理的丟失隱藏完全是面向接收器的。這些方法設(shè)法估計錯誤地接收的數(shù)據(jù)的正確表示。
大多數(shù)視頻壓縮算法生成時間上預(yù)測的INTER或P圖像。結(jié)果，在一個圖像中的數(shù)據(jù)丟失造成在以后的、從有訛誤的圖像進行時間上預(yù)測的圖像上的可見降級。視頻通信系統(tǒng)可以或者隱藏所顯示圖像上的丟失，或者把最后的正確圖像凍結(jié)在屏幕上，直至接收到與有訛誤的幀無關(guān)的幀為止。
主和冗余的圖像主編碼圖像是圖像的主編碼表示。解碼的主編碼圖像覆蓋整個圖像區(qū)域，即，主編碼圖像包含圖像的所有像條和宏塊。冗余編碼圖像是圖像的冗余編碼表示，它不被使用于解碼，除非主編碼圖像丟失或有訛誤。解碼的冗余編碼圖像包含與各個解碼的主編碼圖像基本上相同的圖像信息。然而，在解碼的冗余編碼圖像中的樣本值不需要正好等于在相應(yīng)的解碼的主編碼圖像中相同位置的樣本值。每個主編碼圖像的冗余編碼圖像的數(shù)目可以是從0到在編碼標準中規(guī)定的一個極限值(例如，按照JVT編碼標準的127)。冗余編碼圖像，與各個主編碼圖像相比較，可以使用不同的參考圖像。因此，如果主編碼圖像的一個參考圖像丟失或有訛誤以及相應(yīng)的冗余編碼圖像的所有參考圖像被正確地解碼，則從圖像質(zhì)量觀點來看，解碼冗余編碼圖像而不解碼主編碼圖像是有利的。
大多數(shù)傳統(tǒng)的視頻編碼標準包括“未編碼的”或“跳過的”宏塊的概念。這樣的宏塊的解碼處理過程由在參考圖像中空間上相應(yīng)的宏塊的復(fù)制組成。
按照MPEG-4視頻的基于對象的編碼MPEG-4視頻包括任選的基于對象的編碼工具。MPEG-4視頻對象可以具有任意的形狀，而且，對象的形狀、尺寸、和位置可以隨不同的幀而變化。按照它的一般的表示法，視頻對象由三個顏色分量(YUV)和一個阿爾法(α)分量組成。α分量按逐個圖像的原則規(guī)定對象的形狀。二進制對象形成最簡單的對象類。它們由二進制α圖序列來指示，即，2-D圖像，其中每個象素或者是黑色或者是白色。MPEG-4提供用于壓縮這些對象的僅僅二進制形狀模式。壓縮處理過程由用于編碼α圖序列的二進制形狀編碼器專門規(guī)定。除了表示對象形狀的二進制α圖序列以外，該表示還包括在對象形狀內(nèi)部的所有象素的顏色。MPEG-4通過使用二進制形狀編碼器，然后使用一個用于內(nèi)部紋理編碼的、運動補償?shù)幕陔x散余弦變換(DCT)的算法來編碼這些對象。最后，有可能用灰度級別形狀表示紋理化的對象。對于這個對象，α圖是具有256個可能級別的灰度級別圖像。這個灰度級別α信息被使用來在視頻組合處理過程期間規(guī)定對象的透明度特性。MPEG-4通過使用用于支持α圖的二進制形狀編碼器和用于編碼α圖與內(nèi)部紋理的、運動補償?shù)幕贒CT的算法來編碼這些對象。
緩沖流播客戶典型地具有能夠存儲相當(dāng)大的數(shù)據(jù)量的接收器緩沖器。初始地，當(dāng)流播會話被建立時，客戶不立即開始回放所述流，而是它典型地緩沖進入的數(shù)據(jù)達幾秒鐘。這種緩沖有助于保持連續(xù)回放，因為在偶爾增加的傳輸延時或網(wǎng)絡(luò)吞吐量下降的情形下，客戶可以解碼和播放緩沖的數(shù)據(jù)。否則，沒有初始緩沖，客戶必須凍結(jié)顯示、停止解碼并等待進入的數(shù)據(jù)。緩沖對于在任何協(xié)議級別上的自動或選擇地重發(fā)也是必需的。如果圖像的任何部分丟失，則重發(fā)機制可被使用來重發(fā)丟失的數(shù)據(jù)。如果重發(fā)的數(shù)據(jù)在它被安排的解碼或回放時間之前被接收，則丟失被完美地恢復(fù)。
編碼的圖像可以按照它們在解碼序列的主觀質(zhì)量方面的重要性被分等。例如，非參考圖像，諸如常規(guī)的B圖像，是主觀上最不重要的，因為沒有它們也不影響任何其它圖像的解碼。主觀分等也可以基于數(shù)據(jù)分塊(data partition)或像條組來進行。在主觀上最重要的編碼的像條和數(shù)據(jù)分塊可以比它們的解碼次序所指示的更早地發(fā)送，而在主觀上最不重要的編碼的像條和數(shù)據(jù)分塊可以比它們的自然編碼次序所指示的更遲地發(fā)送。因此，與最不重要的像條和數(shù)據(jù)分塊相比，最重要的像條和數(shù)據(jù)分塊的任何重發(fā)的部分更可能在它們被安排的解碼或回放時間之前被接收。
冗余圖像的識別由于在JVT編碼句法中沒有圖像頭標，所以像條頭標句法必須提供手段來檢測圖像邊界，讓解碼器基于圖像進行操作。如果遵從JVT編碼標準的解碼器接收包括主和冗余編碼圖像的無錯誤比特流，則解碼器必須檢測主和冗余編碼圖像的邊界，以及只解碼主編碼圖像，以便完全如標準中要求的那樣去重建樣本值。而且，如果冗余的圖像通過諸如RTP/UDP/IP的無連接信道被輸送，則它們的每一個可被封裝到一個以上的IP分組。因為UDP的無連接的特性，分組可以以與它們被發(fā)送的不同的次序被接收。因此，接收器必須推斷哪些編碼的像條屬于冗余編碼圖像而哪些屬于主編碼圖像，以及哪些冗余編碼圖像對應(yīng)于特定的主編碼圖像。如果接收器沒有做到這一點，則互相重疊的像條可能被不必要地解碼。
發(fā)明概要圖像的冗余編碼表示可被使用來提供在易于出錯的視頻傳輸中的不同的錯誤保護。如果沒有接收到圖像的主編碼表示，則可以使用冗余的表示。如果主編碼圖像的一個參考圖像丟失或有訛誤，以及相應(yīng)的冗余編碼圖像的所有參考圖像被正確地解碼，則可解碼冗余編碼圖像。圖像的不同空間部分的主觀重要性可以變化許多次。本發(fā)明使得能夠發(fā)送不覆蓋整個圖像區(qū)域的不完整的冗余圖像。因此，本發(fā)明使得能夠僅僅保護所選擇的圖像的主觀上最重要的部分。這比起早先的標準提高了壓縮效率，以及允許在空間上集中不同的錯誤保護。
在以下的說明中，通過使用基于編碼器-解碼器的系統(tǒng)來描述本發(fā)明，但顯然，本發(fā)明也可以在其中存儲視頻信號的系統(tǒng)中被實施。存儲的視頻信號可以是在編碼之前存儲的未編碼的信號、在編碼之后存儲的編碼的信號或在編碼和解碼處理過程之后存儲的解碼的信號。例如，編碼器按解碼次序產(chǎn)生比特流。文件系統(tǒng)接收音頻和/或視頻比特流，它們例如按解碼的次序被封裝并作為文件被存儲。另外，編碼器和文件系統(tǒng)可以產(chǎn)生元數(shù)據(jù)，它告知圖像的主觀重要性，以及NAL單元尤其包含關(guān)于子序列的信息。文件可被存儲在數(shù)據(jù)庫中，直接回放服務(wù)器可以從數(shù)據(jù)庫讀出NAL單元和把它們封裝到RTP分組中。按照正在使用的任選的元數(shù)據(jù)和數(shù)據(jù)連接，直接回放服務(wù)器可以修正與解碼次序不同的分組的發(fā)送次序、去除子序列、決定將發(fā)送哪個SEI消息(如果有的話)等等。在接收端，RTP分組被接收并緩沖。典型地，NAL單元首先被重新排序成正確的次序，以及此后，NAL單元被遞送到解碼器。
某些網(wǎng)絡(luò)或互聯(lián)的網(wǎng)絡(luò)和/或在這些網(wǎng)絡(luò)中被使用于視頻通信的通信協(xié)議可被構(gòu)建，以使得一個子網(wǎng)絡(luò)是易于出錯的，而另一個子網(wǎng)絡(luò)提供基本上無錯誤的鏈路。例如，如果移動終端連接到駐留于公共的基于IP的網(wǎng)絡(luò)中的流播服務(wù)器，則可靠的鏈路層協(xié)議可被使用于無線電鏈路，而專用移動運營者核心網(wǎng)絡(luò)可能是過供應(yīng)(over-provisioned)的，以使得由移動運營者控制的子網(wǎng)絡(luò)基本上是無錯誤的。然而，公共的基于IP的網(wǎng)絡(luò)(例如互聯(lián)網(wǎng))提供易于出錯的、盡力而為的業(yè)務(wù)。因此在易于出錯的子網(wǎng)絡(luò)中應(yīng)當(dāng)使用對抗傳輸錯誤的保護，而在提供基本上無錯誤連接的子網(wǎng)絡(luò)中，應(yīng)用級錯誤保護措施是無用的。在這樣的情形下，讓網(wǎng)關(guān)部件將易于出錯的子網(wǎng)絡(luò)連接到無錯誤的子網(wǎng)絡(luò)是有益的。網(wǎng)關(guān)優(yōu)選地分析從被連接到易于出錯的子網(wǎng)絡(luò)的終端發(fā)送到被連接到無錯誤的子網(wǎng)絡(luò)的終端的比特流。如果沒有錯誤擊中比特流的特定的部分，則網(wǎng)關(guān)優(yōu)選地去除對應(yīng)于比特流的那個部分的、用于前向錯誤控制的應(yīng)用級冗余。這個操作減小了無錯誤的網(wǎng)絡(luò)中的業(yè)務(wù)量，以及節(jié)省的業(yè)務(wù)量然后可被使用于其它用途。
按照本發(fā)明的編碼方法的主要特征在于，每個主編碼圖像包括與各個冗余編碼圖像基本上相同的圖像信息，以及至少一個冗余編碼圖像包括對應(yīng)于各個主編碼圖像的僅僅一部分圖像信息的圖像信息。按照本發(fā)明的解碼方法的主要特征在于，主編碼圖像是通過使用與被用來形成各個冗余編碼圖像的圖像信息基本上相同的圖像信息而形成的，以及至少一個冗余編碼圖像包括對應(yīng)于各個主編碼圖像的僅僅一部分圖像信息的圖像信息；檢測在比特流中指示編碼的圖像信息屬于冗余編碼圖像的參數(shù)；使用參數(shù)來控制屬于冗余編碼圖像的編碼的圖像信息的解碼，其中冗余編碼圖像信息對應(yīng)于被使用來形成各個主編碼圖像的僅僅一部分圖像信息。按照本發(fā)明的系統(tǒng)的主要特征在于，編碼器包括用于形成主編碼圖像和主編碼圖像的冗余編碼圖像的編碼裝置，每個主編碼圖像包括與各個冗余編碼圖像基本上相同的圖像信息，以及至少一個冗余編碼圖像包括對應(yīng)于各個主編碼圖像的僅僅一部分圖像信息的圖像信息；以及解碼器包括用于檢測在比特流中指示編碼的圖像信息屬于冗余編碼圖像的參數(shù)的檢測裝置；和用于使用參數(shù)來控制屬于冗余編碼圖像的編碼的圖像信息的解碼的控制裝置，其中冗余編碼圖像信息對應(yīng)于被使用來形成各個主編碼圖像的僅僅一部分圖像信息。按照本發(fā)明的編碼器的主要特征在于，編碼器包括用于形成主編碼圖像和主編碼圖像的冗余編碼圖像的編碼裝置，每個主編碼圖像包括與各個冗余編碼圖像基本上相同的圖像信息，以及至少一個冗余編碼圖像包括對應(yīng)于各個主編碼圖像的僅僅一部分圖像信息的圖像信息。按照本發(fā)明的解碼器的主要特征在于，解碼器包括用于檢測在比特流中指示編碼的圖像信息屬于冗余編碼圖像的參數(shù)的檢測裝置；和用于使用參數(shù)來控制屬于冗余編碼圖像的編碼的圖像信息的解碼的控制裝置，其中冗余編碼圖像信息對應(yīng)于被使用來形成各個主編碼圖像的僅僅一部分圖像信息。按照本發(fā)明的用于編碼的軟件程序的主要特征在于，它包括用于編碼圖像的機器可執(zhí)行的步驟，包括用于形成主編碼圖像和主編碼圖像的冗余編碼圖像的機器可執(zhí)行的步驟，每個主編碼圖像包括與各個冗余編碼圖像基本上相同的圖像信息，以及至少一個冗余編碼圖像包括對應(yīng)于各個主編碼圖像的僅僅一部分圖像信息的圖像信息。按照本發(fā)明的用于解碼的軟件程序的主要特征在于，它包括機器可執(zhí)行的步驟，用于檢測在比特流中指示編碼的圖像信息屬于冗余編碼圖像的參數(shù)；和使用參數(shù)來控制屬于冗余編碼圖像的編碼的圖像信息的解碼，其中冗余編碼圖像信息對應(yīng)于被使用來形成各個主編碼圖像的僅僅一部分圖像信息。按照本發(fā)明的、用于存儲包括用于編碼圖像的機器可執(zhí)行的步驟的軟件程序的存儲媒體的主要特征在于，主編碼圖像和主編碼圖像的冗余編碼圖像，每個主編碼圖像包括與各個冗余編碼圖像基本上相同的圖像信息，以及至少一個冗余編碼圖像包括對應(yīng)于各個主編碼圖像的僅僅一部分圖像信息的圖像信息。按照本發(fā)明的發(fā)送設(shè)備的主要特征在于，它包括用于編碼圖像的編碼器，該編碼器包括用于形成主編碼圖像和主編碼圖像的冗余編碼圖像的編碼裝置，每個主編碼圖像包括與各個冗余編碼圖像基本上相同的圖像信息，以及至少一個冗余編碼圖像包括對應(yīng)于各個主編碼圖像的僅僅一部分圖像信息的圖像信息。按照本發(fā)明的接收設(shè)備的主要特征在于，它包括解碼器，該解碼器包括用于檢測在比特流中指示編碼的圖像信息屬于冗余編碼圖像的參數(shù)的檢測裝置；和用于使用參數(shù)來控制屬于冗余編碼圖像的編碼的圖像信息的解碼的控制裝置，其中冗余編碼圖像信息對應(yīng)于被使用來形成各個主編碼圖像的僅僅一部分圖像信息。按照本發(fā)明的比特流的主要特征在于，它包括主編碼圖像和主編碼圖像的冗余編碼圖像，每個主編碼圖像包括與各個冗余編碼圖像基本上相同的圖像信息，以及至少一個冗余編碼圖像包括對應(yīng)于各個主編碼圖像的僅僅一部分圖像信息的圖像信息。
本發(fā)明使得解碼器能夠檢測主和冗余編碼圖像之間的邊界，以及如果主編碼圖像被正確地解碼，則避免冗余編碼圖像的不必要的解碼。
本發(fā)明提高了編碼系統(tǒng)的可靠性。通過使用本發(fā)明，即使在解碼器中視頻流的某些分組是不可用時，圖像的正確的解碼次序也可以比現(xiàn)有技術(shù)系統(tǒng)更可靠地被確定。
附圖描述圖1顯示遞歸時間可縮放性方案的例子，圖2顯示被稱為視頻冗余編碼的方案，其中圖像序列以交織的方式劃分成兩個或多個獨立的編碼的線程，圖3給出潛在地提高壓縮效率的預(yù)測結(jié)構(gòu)的例子，圖4給出可被使用來提高錯誤復(fù)原能力的內(nèi)部圖像延緩方法的例子，圖5描述按照本發(fā)明的系統(tǒng)的有利的實施例，圖6描述按照本發(fā)明的編碼器的有利的實施例，圖7描述按照本發(fā)明的解碼器的有利的實施例，圖8是通常的視頻通信系統(tǒng)的框圖。
發(fā)明詳述為了一致性和清晰性，以下與主編碼和冗余編碼像條有關(guān)的定義是為本發(fā)明的說明的使用而定義的。
像條數(shù)據(jù)分割是把像條句法結(jié)構(gòu)的句法單元根據(jù)每種句法單元的類型而分割成像條數(shù)據(jù)分塊句法結(jié)構(gòu)的方法。在JVT編碼標準中，有三種像條數(shù)據(jù)分塊句法結(jié)構(gòu)像條數(shù)據(jù)分塊A、B、和C。像條數(shù)據(jù)分塊A包含像條頭標和像條數(shù)據(jù)句法結(jié)構(gòu)中除用于編碼預(yù)測的樣本值和解碼的樣本值之間差值的句法單元外的所有句法單元。像條數(shù)據(jù)分塊B包含以內(nèi)部宏塊類型(I和SI宏塊)的用于編碼預(yù)測的樣本值和解碼的樣本值之間的差值的句法單元。像條數(shù)據(jù)分塊C包含以之間預(yù)測的宏塊類型(P、SP和B宏塊)的用于編碼預(yù)測的樣本值和解碼的樣本值之間差值的句法單元。
主編碼數(shù)據(jù)分塊是屬于主編碼圖像的數(shù)據(jù)分塊。
主編碼圖像是圖像的主編碼表示。
主編碼像條是屬于主編碼圖像的像條。
冗余編碼數(shù)據(jù)分塊是屬于冗余編碼圖像的數(shù)據(jù)分塊。
冗余編碼圖像是圖像的冗余編碼表示，它應(yīng)當(dāng)只在主編碼或解碼的圖像有訛誤時才被使用。解碼的冗余圖像可能沒有覆蓋整個圖像區(qū)域。解碼的主圖像與任何解碼的冗余像條的共同區(qū)域之間應(yīng)當(dāng)沒有顯著的差別。冗余編碼圖像不需要包含主編碼圖像中的所有宏塊。
冗余編碼的像條是屬于冗余編碼圖像的像條。
在“未編碼的”宏塊與沒有被包括在冗余圖像中的宏塊之間有兩個主要的差別第一，沒有被包括在冗余編碼圖像中的宏塊不被用信號告知，而“未編碼的”宏塊在比特流中被編碼(典型地每個“未編碼的”宏塊一個比特)。第二，解碼器不必要解碼沒有被包括在冗余圖像中的區(qū)域。如果任何宏塊沒有被包括在接收的主編碼圖像或任何相應(yīng)的冗余編碼圖像中，則解碼器應(yīng)當(dāng)通過使用任何專用的錯誤隱藏算法來隱藏這些丟失的宏塊。與此相反，有用于“未編碼的”宏塊的特定標準化解碼處理過程。
下面將參照圖5的系統(tǒng)、圖6的編碼器1和任選的假想的參考解碼器(HRD)5、和圖7的解碼器2更詳細地描述本發(fā)明。要被編碼的圖像可以是例如來自視頻源3--例如照相機、視頻記錄器等等--的視頻流的圖像。視頻流的圖像(幀)可被劃分成較小的部分，諸如像條。像條可進一步被劃分成塊。在編碼器1中，視頻流被編碼以減小要經(jīng)由傳輸信道4發(fā)送的或到存儲媒體(未示出)的信息。視頻流的圖像被輸入到編碼器1。編碼器具有編碼緩沖器1.1(圖6)，用于臨時存儲要被編碼的某些圖像。編碼器1還包括存儲器1.3和處理器1.2，在其中可以應(yīng)用按照本發(fā)明的編碼任務(wù)。存儲器1.3和處理器1.2可以是與發(fā)送設(shè)備6共用的，或發(fā)送設(shè)備6可以具有另一個處理器和/或存儲器(未示出)，用于發(fā)送設(shè)備6的其它功能。編碼器1執(zhí)行運動估計和/或某些其它任務(wù)來壓縮視頻流。在運動估計時，搜索在要被編碼的圖像(當(dāng)前的圖像)與以前的和/或以后的圖像之間的相似性。如果找到相似性，則比較的圖像或它的一部分可被用作要被編碼圖像的參考圖像。在JVT中，圖像的顯示次序與解碼次序不一定是相同的，其中只要被用作參考圖像，參考圖像就必須被存儲在緩沖器(例如，編碼緩沖器1.1)中。編碼器1還把關(guān)于圖像的顯示次序的信息插入在傳輸流中。實際上，可以使用定時信息SEI消息或JVT句法之外的時間戳(諸如RTP時間戳)。
如果必要的話，編碼的圖像被從編碼處理過程移到編碼的圖像緩沖器1.2。編碼的圖像經(jīng)由傳輸信道4從編碼器1發(fā)送到解碼器2。在解碼器2中，編碼的圖像被解碼以形成盡可能對應(yīng)于編碼的圖像的未壓縮的圖像。每個解碼的圖像被緩沖在解碼器2的DPB 2.1中，除非它在解碼后基本上立即被顯示并且不被用作為參考圖像。有利地，參考圖像緩沖與顯示圖像緩沖相組合，并且它們使用同一個解碼圖像緩沖器2.1。這消除了在兩個不同的地方存儲相同圖像的需要，因此降低解碼器2的存儲器要求。
解碼器1還包括存儲器2.3和處理器2.2，在其中可以應(yīng)用按照本發(fā)明的解碼任務(wù)。存儲器2.3和處理器2.2可以是與接收設(shè)備8共用的，或者接收設(shè)備8可以具有另一個處理器和/或存儲器(未示出)，用于接收設(shè)備8的其它功能。
編碼現(xiàn)在讓我們更仔細地考慮編碼-解碼處理過程。來自視頻源3的圖像被輸入到編碼器1，以及有利地被存儲在預(yù)編碼緩沖器1.1中。存儲圖像有兩個主要原因。第一，在要被編碼的圖像之后到達的圖像是以比特速率控制算法被分析的，以便于在圖像的質(zhì)量上沒有顯著的變化。第二，圖像的編碼次序(和解碼次序)是與圖像的捕獲次序不同的。這種安排從壓縮效率觀點(例如，PBBBP幀序列，其中在另兩個B幀之間的B幀是用于該另兩個B幀的參考幀)和/或錯誤復(fù)原能力觀點(內(nèi)部圖像延緩)來看可以是有效的。
編碼處理過程不必在第一圖像被輸入到編碼器后立即開始，而是在一定量的圖像在編碼緩沖器1.1中可用以后開始。然后，編碼器1試圖從圖像中找出適當(dāng)?shù)暮蜻x者以用作參考幀。編碼器1然后執(zhí)行編碼以形成編碼的圖像。編碼的圖像可以是例如預(yù)測圖像(P)、雙預(yù)測圖像(B)、和/或內(nèi)部編碼的圖像(I)。內(nèi)部編碼的圖像可以不用使用任何其它的圖像而被解碼，但其它類型的圖像在它們可被解碼之前需要至少一個參考圖像。任何上述的圖像類型的圖像都可被用作為參考圖像。
編碼器有利地把兩個時間戳附接到圖像上解碼時間戳(DTS)和輸出時間戳(OTS)。解碼器可以使用時間戳來確定正確的解碼時間和輸出(顯示)圖像的時間。然而，這些時間戳不必發(fā)送到解碼器，或解碼器不使用它們。
編碼器1可以形成冗余編碼圖像或圖像的冗余編碼的數(shù)據(jù)分塊，以提高錯誤復(fù)原能力。按照本發(fā)明，編碼器可以形成冗余圖像，它們不包含用來解碼圖像的所有必需的信息而只包含它的某些部分。編碼器1也可以形成用于同一個圖像的一個以上的不同冗余編碼的數(shù)據(jù)分塊，其中不同的冗余編碼的數(shù)據(jù)分塊包含來自圖像的至少部分不同的區(qū)域的信息。最小的冗余編碼圖像優(yōu)選地由一個像條組成。像條包含一個或多個宏塊。
優(yōu)選地，編碼器1決定哪些圖像包含應(yīng)當(dāng)被冗余編碼的區(qū)域。用于選擇的準則可以隨不同的實施例和不同的情形而變化。例如，編碼器1可以檢查在接連的圖像之間是否有可能的情景改變或在接連的圖像之間是否由于某些其它原因有許多改變。相應(yīng)地，編碼器1可以檢查在圖像的某些部分是否有改變，以確定圖像的哪些部分應(yīng)當(dāng)被冗余地編碼。為了決定這一點，編碼器1可以例如檢查運動矢量，找出重要的區(qū)域和/或?qū)τ趥鬏?解碼錯誤特別敏感的區(qū)域，以及形成這樣的區(qū)域的冗余編碼的數(shù)據(jù)分塊。
在傳輸流中應(yīng)當(dāng)有某些指示，以指示在流中是否存在冗余像條。指示優(yōu)選地被插入到每個像條的像條頭標和/或圖像參數(shù)集中。指示的一個有利的實施例使用用于冗余像條的兩個句法單元第一句法單元是位于圖像參數(shù)集中的“redundant_slice_flag”，以及另一個句法單元是位于像條頭標中的“redundant_pic_cnt”?！皉edundant_pic_cnt”是任選的，以及它只在參考的圖像參數(shù)集中的“redundant_slice_flag”被設(shè)置為1時才被包括在像條頭標中。
兩個句法單元的語義為如下redundant_slice_flag指示在參考圖像參數(shù)集的所有的像條頭標中redundant_pic_cnt參數(shù)的存在。如果對于像條所有的參數(shù)都相等，則圖像參數(shù)集對于一個以上的像條可以是共同的。如果redundant_slice_flag的值為真，則參考這個參數(shù)集的那些像條的像條頭標包含第二句法單元(redundant_pic_cnt)。
redundant_pic_cnt的值對于屬于圖像內(nèi)容的主要表示的編碼像條和數(shù)據(jù)分塊是0。對于包含圖像內(nèi)容的冗余編碼表示的編碼的像條和數(shù)據(jù)分塊，redundant_pic_cnt大于0。在圖像的解碼的主要表示與任何解碼的冗余像條的共同區(qū)域之間應(yīng)當(dāng)沒有顯著的差別。具有相同的redundant_pic_cnt值的冗余像條和數(shù)據(jù)分塊屬于同一個冗余圖像。具有相同的redundant_pic_cnt的解碼的像條將不重疊。具有大于0的redundant_pic_cnt的解碼的像條可能不覆蓋整個圖像區(qū)域。圖像可以具有被稱為nal_storage_idc的參數(shù)。如果在主圖像中nal_storage_idc的值是0，則在相應(yīng)的冗余圖像中nal_storage_idc的值將是0。如果在主圖像中的nal_storage_idc的值是非0，則在相應(yīng)的冗余圖像中的nal_storage_idc的值將是非0。
上述的句法設(shè)計當(dāng)數(shù)據(jù)分塊沒有應(yīng)用于冗余像條時行得通。然而，當(dāng)數(shù)據(jù)分塊被使用時，即每個冗余像條具有三個數(shù)據(jù)分塊DPA，DPB和DPC時，需要另一種機制來用信號告知解碼器哪個冗余像條是所討論的。為了達到這一點，redundant_pic_cnt不單被包括在DPA的像條頭標中，而且也被包括在DPB和DPC的像條頭標中。如果像條數(shù)據(jù)分割正在使用，則像條數(shù)據(jù)分塊B和C必須與各個像條數(shù)據(jù)分塊A相關(guān)聯(lián)，以使得能夠解碼像條。像條數(shù)據(jù)分塊A包括slice_id句法單元，其值唯一地識別編碼圖像內(nèi)的像條。如果redundant_pic_cnt句法單元也存在于被包括在像條數(shù)據(jù)分塊A的像條頭標中(它是以在有關(guān)的圖像參數(shù)集中“redundant_slice_flag”的值為條件的)，則像條數(shù)據(jù)分塊B和C包括它。redundant_pic_cnt句法單元的值被使用來把像條數(shù)據(jù)分塊B和C與特定的主要或冗余編碼圖像相關(guān)聯(lián)。除了redundant_pic_cnt以外，像條數(shù)據(jù)分塊B和C還包括slice_id句法單元，它被使用來把數(shù)據(jù)分塊與同一個編碼圖像的各個數(shù)據(jù)分塊A相關(guān)聯(lián)。
傳輸編碼圖像的傳輸和/或存儲(和任選的虛擬解碼)可以在第一編碼圖像準備好后立即開始。這個圖像不一定是在解碼器輸出次序中的第一圖像，因為解碼次序和輸出次序可以是不同的。
當(dāng)視頻流的第一圖像被編碼時，可以開始傳輸。編碼圖像任選地被存儲到編碼圖像緩沖器1.2。傳輸也可以在稍后階段，例如，在視頻流的某個部分被編碼后開始。
在某些傳輸系統(tǒng)中，發(fā)送的冗余圖像的數(shù)目尤其取決于網(wǎng)絡(luò)條件，諸如業(yè)務(wù)量、在無線電鏈路中的誤比特率等等。換句話說，不一定發(fā)送所有的冗余圖像。
解碼接著，將描述接收器8的操作。接收器8收集屬于圖像的所有的分組，把它們排成合理的次序。次序的嚴格性取決于所使用的簡檔。接收的分組有利地被存儲在接收緩沖器9.1(預(yù)解碼緩沖器)中。接收器8丟棄不能用的任何數(shù)據(jù)，以及把其余部分傳送到解碼器2。
如果圖像的主要表示或它的一部分丟失，或存在解碼錯誤，則解碼器可以使用某些冗余編碼的像條來解碼圖像。解碼器2可以把像條id，或識別所討論的圖像的某些其它信息發(fā)送到編碼器1。當(dāng)解碼器2使得所有必需的像條可用時，它可以開始解碼圖像?？赡馨l(fā)生的是，不管冗余編碼數(shù)據(jù)分塊的使用如何，某些像條在解碼器2中可能是不可用的。在這種情形下，解碼器2可以嘗試例如某些錯誤恢復(fù)方法來消除錯誤對圖像質(zhì)量的影響，或解碼器2可以丟棄錯誤的圖像和使用某個以前的圖像來代替。
本發(fā)明可被應(yīng)用于許多種系統(tǒng)和設(shè)備。包括編碼器1和任選地，HRD5的發(fā)送設(shè)備6有利地還包括發(fā)送器7，用來把編碼的圖像發(fā)送到傳輸信道4。接收設(shè)備8包括用來接收編碼圖像的接收器9、解碼器2、和其上可顯示解碼的圖像的顯示器10。傳輸信道可以是例如地面線路通信信道和/或無線通信信道。發(fā)送設(shè)備和接收設(shè)備還包括一個或多個處理器1.2，2.2，它們可以執(zhí)行用于控制按照本發(fā)明的視頻流的編碼/解碼處理過程所需要的步驟。所以，按照本發(fā)明的方法可以主要被實施為處理器的機器可執(zhí)行的步驟。圖像的緩沖可以在設(shè)備的存儲器1.3，2.3中實施。編碼器的程序代碼1.4可被存儲在存儲器1.3中。相應(yīng)地，解碼器的程序代碼2.4可被存儲在存儲器2.3中。
權(quán)利要求
1.一種用于編碼圖像的方法，其中-形成主編碼圖像和主編碼圖像的冗余編碼圖像，每個主編碼圖像包括與各個冗余編碼圖像基本上相同的圖像信息，以及-至少一個所述冗余編碼圖像包括對應(yīng)于相應(yīng)的主編碼圖像的僅僅一部分圖像信息的圖像信息。
2.按照權(quán)利要求1所述的方法，還包括用于把至少所述主編碼圖像發(fā)送到解碼器的發(fā)送步驟。
3.按照權(quán)利要求1所述的方法，其中所述要被編碼的圖像包括像條，其中所述冗余編碼圖像包含所述主編碼圖像的部分像條。
4.按照權(quán)利要求1所述的方法，其中所述只包含相應(yīng)的主編碼圖像的一部分的冗余編碼圖像被形成為冗余編碼數(shù)據(jù)部分。
5.按照權(quán)利要求4所述的方法，其中為所述圖像形成至少一個參數(shù)集，以及對于每個像條形成像條頭標，其中有關(guān)傳輸流是否包含冗余編碼數(shù)據(jù)分塊的像條的指示被插入到所述參數(shù)集中，以及redundant_pic_cnt參數(shù)被插入到所述冗余編碼數(shù)據(jù)分塊的每個像條頭標中。
6.一種用于從比特流解碼圖像的方法，其中在所述比特流中包含主編碼圖像和主編碼圖像的冗余編碼圖像，所述主編碼圖像已通過使用與被用來形成相應(yīng)的冗余編碼圖像的圖像信息基本上相同的圖像信息而形成，以及至少一個所述冗余編碼圖像包括對應(yīng)于相應(yīng)的主編碼圖像的僅僅一部分圖像信息的圖像信息；在所述比特流中檢測指示已編碼圖像信息屬于冗余編碼圖像的參數(shù)；使用該參數(shù)來控制屬于冗余編碼圖像的已編碼圖像信息的解碼，其中所述冗余編碼圖像信息對應(yīng)于被用來形成各個主編碼圖像的僅僅一部分圖像信息。
7.按照權(quán)利要求6所述的方法，還包括用于接收至少所述主編碼圖像的接收步驟。
8.按照權(quán)利要求7所述的方法，還包括接收所述冗余編碼圖像。
9.按照權(quán)利要求8所述的方法，包括確定主編碼圖像是否包含不能被解碼的區(qū)域，其中該方法包括檢查冗余編碼圖像是否包含在不能被解碼的主編碼圖像區(qū)域上的可解碼的信息，以及解碼根據(jù)該檢查找到的冗余編碼圖像。
10.按照權(quán)利要求9所述的方法，其中對于所述圖像形成至少一個參數(shù)集，以及對于每個像條形成像條頭標，其中有關(guān)傳輸流是否包含冗余編碼數(shù)據(jù)分塊的像條的指示被插入到該參數(shù)集中，以及redundant_pic_cnt參數(shù)被插入到冗余編碼數(shù)據(jù)分塊的每個像條頭標中，其中所述指示和redundant_pic_cnt參數(shù)被使用來區(qū)分主編碼圖像和冗余編碼圖像。
11.一種用于編碼圖像的編碼器，包括用于形成主編碼圖像和主編碼圖像的冗余編碼圖像的編碼裝置，每個主編碼圖像包括與相應(yīng)的冗余編碼圖像基本上相同的圖像信息，以及至少一個所述冗余編碼圖像包括對應(yīng)于相應(yīng)的主編碼圖像的僅僅一部分圖像信息的圖像信息。
12.一種用于從比特流解碼圖像的解碼器，所述比特流包括-主編碼圖像和主編碼圖像的冗余編碼圖像，所述主編碼圖像已通過使用與被用來形成相應(yīng)的冗余編碼圖像的圖像信息基本上相同的圖像信息而形成，-以及至少一個所述冗余編碼圖像包括對應(yīng)于相應(yīng)的主編碼圖像的僅僅一部分圖像信息的圖像信息；其中所述解碼器包括-用于在所述比特流中檢測指示已編碼圖像信息屬于冗余編碼圖像的參數(shù)的檢測裝置；以及-用于使用所述參數(shù)來控制屬于冗余編碼圖像的已編碼圖像信息的解碼的控制裝置，其中所述冗余編碼圖像信息對應(yīng)于被用來形成各個主編碼圖像的僅僅一部分圖像信息。
13.一種包括用于編碼圖像的編碼器的發(fā)送設(shè)備，包括用于形成主編碼圖像和主編碼圖像的冗余編碼圖像的編碼裝置，每個主編碼圖像包括與相應(yīng)的冗余編碼圖像基本上相同的圖像信息，以及至少一個所述冗余編碼圖像包括對應(yīng)于相應(yīng)的主編碼圖像的僅僅一部分圖像信息的圖像信息。
14.按照權(quán)利要求13所述的發(fā)送設(shè)備，還包括用于把至少所述主編碼圖像發(fā)送到解碼器的發(fā)送器。
15.按照權(quán)利要求13所述的發(fā)送設(shè)備，其中要被編碼的圖像包括像條，其中所述冗余編碼圖像包含主編碼圖像的部分像條。
16.按照權(quán)利要求13所述的發(fā)送設(shè)備，包括用于形成用于圖像的至少一個參數(shù)集和用于每個像條的像條頭標的裝置，用于把有關(guān)傳輸流是否包含冗余編碼數(shù)據(jù)分塊的像條的指示插入到所述參數(shù)集和把redundant_pic_cnt參數(shù)插入到冗余編碼數(shù)據(jù)分塊的每個像條頭標的裝置。
17.一種包括用于從比特流解碼圖像的解碼器的接收設(shè)備，所述比特流包括-主編碼圖像和主編碼圖像的冗余編碼圖像，所述主編碼圖像已通過使用與被用來形成相應(yīng)的冗余編碼圖像的圖像信息基本上相同的圖像信息而形成，-以及至少一個所述冗余編碼圖像包括對應(yīng)于相應(yīng)的主編碼圖像的僅僅一部分圖像信息的圖像信息；其中所述解碼器包括-用于在所述比特流中檢測指示已編碼圖像信息屬于冗余編碼圖像的參數(shù)的檢測裝置；以及-用于使用所述參數(shù)來控制屬于冗余編碼圖像的已編碼圖像信息的解碼的控制裝置，其中所述冗余編碼圖像信息對應(yīng)于被用來形成相應(yīng)的主編碼圖像的僅僅一部分圖像信息。
18.一種系統(tǒng)，包括-用于編碼圖像的編碼器，包括用于形成主編碼圖像和主編碼圖像的冗余編碼圖像的編碼裝置，每個主編碼圖像包括與各個冗余編碼圖像基本上相同的圖像信息，以及至少一個所述冗余編碼圖像包括對應(yīng)于相應(yīng)的主編碼圖像的僅僅一部分圖像信息的圖像信息；-用于把至少所述主編碼圖像發(fā)送到解碼器的發(fā)送器；所述解碼器包括-用于在所述比特流中檢測指示已編碼圖像信息屬于冗余編碼圖像的參數(shù)的檢測裝置；以及-用于使用所述參數(shù)來控制屬于冗余編碼圖像的已編碼圖像信息的解碼的控制裝置，其中所述冗余編碼圖像信息對應(yīng)于被用來形成各個主編碼圖像的僅僅一部分圖像信息。
19.一種軟件程序，包括用于編碼圖像的機器可執(zhí)行的步驟，包括機器可執(zhí)行的步驟用于形成主編碼圖像和主編碼圖像的冗余編碼圖像，每個主編碼圖像包括與相應(yīng)的冗余編碼圖像基本上相同的圖像信息，以及至少一個所述冗余編碼圖像包括對應(yīng)于相應(yīng)的主編碼圖像的僅僅一部分圖像信息的圖像信息。
20.一種軟件程序，包括用于從比特流解碼圖像的機器可執(zhí)行的步驟，包括-主編碼圖像和主編碼圖像的冗余編碼圖像被包含在所述比特流中，所述主編碼圖像已通過使用與被用來形成相應(yīng)的冗余編碼圖像的圖像信息基本上相同的圖像信息而形成，-以及至少一個所述冗余編碼圖像包括對應(yīng)于相應(yīng)的主編碼圖像的僅僅一部分圖像信息的圖像信息；其中所述軟件程序包括機器可執(zhí)行的步驟用于-在所述比特流中檢測指示已編碼圖像信息屬于冗余編碼圖像的參數(shù)；以及-使用所述參數(shù)來控制屬于冗余編碼圖像的已編碼圖像信息的解碼，其中所述冗余編碼圖像信息對應(yīng)于被用來形成相應(yīng)的主編碼圖像的僅僅一部分圖像信息。
21.一種用于存儲軟件程序的存儲媒體，所述軟件程序包括用于編碼圖像的機器可執(zhí)行的步驟，包括機器可執(zhí)行的步驟用于形成主編碼圖像和主編碼圖像的冗余編碼圖像，每個主編碼圖像包括與相應(yīng)的冗余編碼圖像基本上相同的圖像信息，以及至少一個所述冗余編碼圖像包括對應(yīng)于相應(yīng)的主編碼圖像的僅僅一部分圖像信息的圖像信息。
22.一種用于存儲軟件程序的存儲媒體，所述軟件程序包括用于從比特流解碼圖像的機器可執(zhí)行的步驟，包括-主編碼圖像和主編碼圖像的冗余編碼圖像被包含在所述比特流中，所述主編碼圖像已通過使用與被用來形成相應(yīng)的冗余編碼圖像的圖像信息基本上相同的圖像信息而被形成，-以及至少一個所述冗余編碼圖像包括對應(yīng)于相應(yīng)的主編碼圖像的僅僅一部分圖像信息的圖像信息；其中所述軟件程序包括機器可執(zhí)行的步驟用于-在所述比特流中檢測指示已編碼圖像信息屬于冗余編碼圖像的參數(shù)；以及-使用所述參數(shù)來控制屬于冗余編碼圖像的已編碼圖像信息的解碼，其中所述冗余編碼圖像信息對應(yīng)于被用來形成相應(yīng)的主編碼圖像的僅僅一部分圖像信息。
23.一種比特流，包括主編碼圖像和主編碼圖像的冗余編碼圖像，每個主編碼圖像包括與相應(yīng)的冗余編碼圖像基本上相同的圖像信息，以及至少一個所述冗余編碼圖像包括對應(yīng)于相應(yīng)的主編碼圖像的僅僅一部分圖像信息的圖像信息。
全文摘要
本發(fā)明涉及用于編碼圖像的方法，其中形成主編碼圖像和主編碼圖像的冗余編碼圖像，每個主編碼圖像包括與各個冗余編碼圖像基本上相同的圖像信息。至少一個冗余編碼圖像包括對應(yīng)于相應(yīng)的主編碼圖像的僅僅一部分圖像信息的圖像信息。本發(fā)明還涉及系統(tǒng)、編碼器、解碼器、發(fā)送設(shè)備、接收設(shè)備、軟件程序、存儲媒體和比特流。
文檔編號H04N7/26GK1781314SQ200480011625
公開日2006年5月31日 申請日期2004年4月29日 優(yōu)先權(quán)日2003年4月30日
發(fā)明者M·漢努克賽拉 申請人:諾基亞有限公司