專利名稱：指示圖像內(nèi)的區(qū)域的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼，尤其是，涉及指示一個圖像內(nèi)的區(qū)域。
背景技術(shù)：
視頻文件由多個靜止圖像幀構(gòu)成，這些靜止圖像幀快速地被依次顯示為一個視頻序列(通常每秒15-30幀)，從而產(chǎn)生一個運動圖像所表達的內(nèi)容。圖像幀通常包括多個由基本保持不變的圖像信息所定義的固定背景對象，和極少的由稍微變化的圖像信息所定義的運動對象。在這種情況下，將被依次顯示的圖像幀所包含的圖像信息通常非常相似，即連續(xù)的圖像幀包含很多的冗余。尤其是，視頻文件所包含的冗余被分成空間、時間和頻譜冗余?？臻g冗余表示相鄰的圖像像素之間的相互關(guān)系；時間冗余表示給定的圖像對象在接下來的幀中所發(fā)生的改變，并且頻譜冗余表示在一個圖像幀中不同的彩色成分之間的相互關(guān)系。
幾種視頻編碼方法利用了上述的連續(xù)圖像幀的時間冗余。在這種情況下，使用了所謂的運動補償時間預(yù)測，其中一個視頻序列中某些(通常為大部分)圖像幀的內(nèi)容根據(jù)該序列中的其它幀，通過跟蹤連續(xù)的圖像幀之間的圖像幀中的給定對象或者區(qū)域的改變來預(yù)測。一個視頻序列包括壓縮的圖像幀，壓縮圖像幀中的圖像信息不用運動補償時間預(yù)測來確定。這樣的幀被稱作INTRA或者I幀。與此類似，視頻序列中包含的、并且根據(jù)先前的圖像幀預(yù)測的運動補償圖像幀被稱作INTER或者P幀(預(yù)測的)。通常，在確定P幀的圖像信息中要使用至少一個I幀和可能一個或者多個先前編碼的P幀。如果丟失了一幀，依賴于該幀的幀不再能被正確解碼。
例如，JVT是一種利用了運動補償時間預(yù)測的視頻編碼標(biāo)準(zhǔn)。JVT是ISO/IEC運動圖像專家組(MPEG)和ITU-T(國際電信聯(lián)盟，通信標(biāo)準(zhǔn)部)視頻編碼專家組(VCEG)的聯(lián)合視頻組(JVT)的當(dāng)前項目。它源自于ITU-T VCEG的一個項目H.26L。
在JVT/H.26L中，使用亮度和兩個色差(色度)分量(Y，CB和CR)來編碼圖像。與亮度分量相比，色度分量沿著的兩個坐標(biāo)軸以一半的分辨率分別取樣。
每個編碼的圖像，以及相應(yīng)的編碼比特流以分級結(jié)構(gòu)排列，所述的分級結(jié)構(gòu)具有四層，從上到下依次為圖像層(picture layer)、圖像段層(picture segment layer)、宏塊(MB)層和塊層(block layer)。圖像段層可以是塊組層或者條(slice)層。
每一條的數(shù)據(jù)由一個條頭標(biāo)以及接下來的宏塊(MB)數(shù)據(jù)組成。條定義一個編碼圖像內(nèi)的區(qū)域。每個區(qū)域是按照正常掃描順序的多個MB。在相同的編碼圖像中在條邊界上沒有預(yù)測的相依性。但是，時間預(yù)測通?？梢钥缭綏l邊界。條能夠獨立于其余的圖像數(shù)據(jù)被解碼。因此，在丟包的網(wǎng)絡(luò)中，條改善了誤差恢復(fù)能力。
每個條被分成多個MB。一個MB涉及亮度數(shù)據(jù)的16×16像素以及空間上相應(yīng)的色度數(shù)據(jù)的8×8像素。
在JVT/H.26L中，在概念上已經(jīng)將提供視頻圖像內(nèi)容的核心的高壓縮表示的視頻編碼層(VCL)和將該表示打包從而在一個特定類型的網(wǎng)絡(luò)上遞送的網(wǎng)絡(luò)適配層(NAL)分離。JVT/H.26L視頻編碼器是根據(jù)基于塊的運動補償混合轉(zhuǎn)換編碼。對于現(xiàn)有的標(biāo)準(zhǔn)，僅有解碼處理被精確的指定從而能夠協(xié)同工作，而用于捕獲、預(yù)處理、編碼、后處理以及呈現(xiàn)的處理都不考慮從而允許實現(xiàn)的靈活性。但是，JVT/H.26L包含多個新的特征使其能夠在編碼效率上實現(xiàn)比現(xiàn)存的標(biāo)準(zhǔn)設(shè)計更為重大的改進。
JVT/H.26L能夠利用近來發(fā)展起來的被稱為參考圖像選擇的方法。參考圖像選擇是一種編碼技術(shù)，其中用于運動補償?shù)膮⒖紙D像能夠在存儲在參考圖像緩沖器中的多個圖像中進行選擇。JVT/H.26L中的參考圖像選擇允許每個宏塊進行參考圖像的選擇。參考圖像選擇能夠用于改善壓縮效率和誤差恢復(fù)能力。
由于視頻編碼中使用的運動補償技術(shù)，在視頻序列中必須編入隨機訪問點從而允許從一個任意的點掃描視頻。依賴于用于掃描該視頻序列的應(yīng)用程序，視頻流中的隨機訪問點之間的期望時間跨度可以是0.5-10秒的范圍。幀內(nèi)編碼是用于編碼隨機訪問點的常規(guī)解決方案。但是，由于以上提及的參考圖像選擇技術(shù)允許參考I幀(intra frame)之前的幀，I幀同樣不是對于隨機訪問點的充分條件。而且，視頻序列中頻繁的幀內(nèi)編碼需要更大的編解碼處理容量并且消耗更大的帶寬。
漸進(gradual)解碼器刷新涉及“臟的(dirty)”隨機訪問，其中先前被編碼但是可能沒被接收的數(shù)據(jù)被查閱，并且校正的圖像內(nèi)容在多于一個編碼圖像內(nèi)被漸進恢復(fù)。通常，漸進解碼器刷新隨機訪問方法所提供的圖像內(nèi)容的漸進恢復(fù)被看作是JVT/H.26L視頻編碼中的一個預(yù)期特征。漸進解碼器刷新的基本想法是將該幀的一部分宏塊編碼為幀內(nèi)編碼的。當(dāng)解碼器在一個隨機的點開始解碼時，對于該解碼器來說用于運動補償?shù)膮⒖紟俏粗?，并且它們被初始化為例如中間級灰度。解碼器能夠重建幀內(nèi)編碼的宏塊，但是涉及運動補償處理中的未知區(qū)域的幀間編碼的宏塊不能被正確重建。由于累積的幀內(nèi)編碼宏塊的數(shù)目逐幀增加，最終可獲得完全重建的圖像。但是上述實現(xiàn)涉及多個問題。
由于參考圖像選擇，參考幀中一個宏塊可以涉及運動補償處理，其位于能夠可靠解碼的幀內(nèi)編碼宏塊的區(qū)域之外。
在JVT/H.26L中，在每個4×4的塊邊界應(yīng)用了環(huán)路濾波來減弱突然的邊界變化。這樣，可靠區(qū)域可以受臨近宏塊中的未正確重建的像素的影響。
在運動補償處理中，涉及的非整數(shù)像素位置使用多抽頭濾波器來根據(jù)像素的值進行內(nèi)插。在目前的JVT編解碼器設(shè)計中，半像素位置使用一個六抽頭濾波器內(nèi)插。這樣，未正確重建的像素可以用于內(nèi)插一個位于能可靠解碼區(qū)域之內(nèi)但是靠近其邊界的所涉及的非整數(shù)像素位置。
當(dāng)解碼器開始解碼該幀時，假設(shè)所有的幀內(nèi)編碼宏塊都是可靠的。但是，所有上述的處理都有這樣的影響鄰近宏塊的灰度圖像信息將與幀內(nèi)編碼宏塊的能可靠解碼的圖像信息混合。當(dāng)開始從一幀到另一幀的解碼處理時，這導(dǎo)致將會時空傳播的誤差。
當(dāng)指示屬于初始區(qū)域的宏塊以及該區(qū)域的形狀和生長速率時，漸進解碼器刷新過程中的另一個問題涉及低編碼效率。必需向解碼器指示該信息，這總是引起一些額外的開銷比特要被包括在視頻序列的比特流中，如果所有上述約束被分開地用信號通知，則額外開銷比特的數(shù)量通常顯著地增加。因此，需要更有效的方法用于向解碼器指示該區(qū)域如何演化的模式。
發(fā)明概述于是發(fā)明了一種改進的方法和用于實現(xiàn)該方法的裝置，它們減輕了低編碼效率的問題。本發(fā)明的各方面包括其特征在獨立權(quán)利要求中公開的方法、編碼器、解碼器、計算機軟件產(chǎn)品和視頻信號。
本發(fā)明的各種實施例在從屬權(quán)利要求中公開。
本發(fā)明是在指示數(shù)字圖像內(nèi)一個區(qū)域的尺寸、形狀和位置的基礎(chǔ)上進行的，其中該圖像被分成一組塊。首先定義用于至少一個尺寸參數(shù)的值，該尺寸參數(shù)值指示所述區(qū)域內(nèi)的多個塊，然后選擇用于至少一個形狀演化參數(shù)的值，該形狀演化參數(shù)值指示所述區(qū)域內(nèi)塊的選擇順序。
根據(jù)一個實施例，將用于所述至少一個尺寸參數(shù)和所述至少一個形狀演化參數(shù)的值編碼到一個視頻序列的比特流中，以便指示該圖像內(nèi)的該區(qū)域的尺寸、形狀和位置。
根據(jù)一個實施例，將用于所述至少一個形狀演化參數(shù)的值包括到所述圖像的參數(shù)組中。
根據(jù)一個實施例，所述至少一個尺寸參數(shù)包括尺寸改變速率參數(shù)和尺寸改變的序列號參數(shù)。
根據(jù)一個實施例，依據(jù)至少下列之一來確定所述區(qū)域內(nèi)編碼塊的數(shù)目用于所述尺寸改變速率參數(shù)的值，用于所述改變循環(huán)參數(shù)的值。
根據(jù)一個實施例，將用于所述尺寸改變速率參數(shù)的值包括到所述圖像的參數(shù)組中，以及將用于所述尺寸改變的序列號參數(shù)的值包括到屬于所述區(qū)域的條頭標(biāo)中。
本發(fā)明提供了幾個優(yōu)點。該機制能夠用于在編碼視頻流中提供隨機訪問點，同時指示能被可靠地更新的圖像區(qū)域的一部分，而不是該區(qū)域的整個幀內(nèi)宏塊的覆蓋范圍。本發(fā)明的另一個優(yōu)點在于它改進了用于演化區(qū)域的模式指示的編碼效率。本發(fā)明的又一個優(yōu)點在于它使能一個簡單方式來防止跨能可靠解碼的區(qū)域的邊界、或在能可靠解碼的區(qū)域之外的區(qū)域來進行解碼。而且，所述方法除了可適用于視頻序列外，還可適用于數(shù)字靜止圖像。
附圖的簡述下面，本發(fā)明將參考附圖，結(jié)合優(yōu)選實施例進行詳細描述，其中，

圖1示出了JVT/H.26L設(shè)計的概念上的結(jié)構(gòu)；圖2示出了逐漸變大的可靠區(qū)域的一個優(yōu)選實施例；圖3示出了根據(jù)一個特定的刷新模式將宏塊加入到一個可靠區(qū)域的過程的一個實例；圖4示出了一個將被編碼的圖像與為視頻編碼定義的宏塊之間的關(guān)系；圖5示出了根據(jù)子圖像實現(xiàn)的為圖4中的圖像形成的視頻編碼條的主要視圖；圖6示出了根據(jù)本發(fā)明的優(yōu)選實施例的移動通信設(shè)備的框圖；以及圖7示出了一個可應(yīng)用本發(fā)明的視頻通信系統(tǒng)。
發(fā)明詳述本發(fā)明適用于所有使用基于區(qū)域的運動補償時間預(yù)測的視頻編碼方法。本發(fā)明尤其適用于在限制頻帶的電信系統(tǒng)中通常使用的不同的低比特率視頻編碼。這些包括例如目前已經(jīng)被標(biāo)準(zhǔn)化的ITU-T標(biāo)準(zhǔn)H.263和H.26L(可能以后是H.264)。在這些系統(tǒng)中，本發(fā)明適用于例如一個移動站，允許下面是以使用JVT/H.26L視頻編碼為例解釋本發(fā)明的一個示范說明。為了理解本發(fā)明和它的優(yōu)選實施例，JVT/H.26L將被描述到一個可以令人滿意的詳細程度。為了更為詳細地描述JVT/H.26L的實現(xiàn)，參考下面的文檔ISO/IEC MPEG以及ITU-T VCEG的聯(lián)合視頻組(JVT)，草案ISO/IEC 14496-102002(E)“JVT Working draft 2，Release 7(JVT工作草案2，版本7)”。
將參照圖1描述JVT/H.26L設(shè)計的概念結(jié)構(gòu)。在JVT/H.26L中，提供視頻圖像內(nèi)容的核心高壓縮表示的視頻編碼層(VCL)和將該表示打包以在一個特定類型的網(wǎng)絡(luò)上遞送的網(wǎng)絡(luò)適配層(NAL)在概念上已經(jīng)被分離。
VCL的主要任務(wù)是以一種高效的方式編碼視頻數(shù)據(jù)。但是，如前文已經(jīng)討論的，誤差會對高效編碼的數(shù)據(jù)產(chǎn)生不利影響，并且會包括一些可以感知的可能的誤差。VCL能夠中斷預(yù)測編碼鏈，并且設(shè)法補償誤差的發(fā)生和傳播。這可以通過幾種方式實現(xiàn)通過引入INTRA幀和INTRA-MB來中斷時間預(yù)測鏈；通過引入一個條概念來中斷空間誤差傳播；以及引入一個能夠被獨立解碼，例如不需要幀的自適應(yīng)算術(shù)編碼的可變長度編碼。
VCL的輸出是一個編碼宏塊流，其中每個宏塊都以單一的一塊數(shù)據(jù)的形式呈現(xiàn)。數(shù)據(jù)分割層(DPL)以這樣一種方式重新排列符號屬于一條的一種數(shù)據(jù)類型的所有符號(例如DC系數(shù)、宏塊頭標(biāo)、運動矢量)集中在一個編碼比特流當(dāng)中。在解碼中具有大致相等的主觀和/或語法重要性的符號組成一個分割。
NAL提供定制VCL或者DPL數(shù)據(jù)格式從而在多種網(wǎng)絡(luò)上遞送的能力。NAL設(shè)計成能夠根據(jù)選擇的網(wǎng)絡(luò)適應(yīng)策略，從視頻編碼和數(shù)據(jù)分割層接收數(shù)據(jù)分割或者條。數(shù)據(jù)分割允許主觀上和語法上更為重要的數(shù)據(jù)與不太重要的數(shù)據(jù)分開傳輸。解碼器可以在沒有接收到更重要的數(shù)據(jù)的情況下，不解碼不太重要的數(shù)據(jù)。對更為重要的數(shù)據(jù)采取比對不太重要的數(shù)據(jù)更多的保護的方法能夠用于在一個易于發(fā)生誤差的網(wǎng)絡(luò)上發(fā)送比特流的情況。
然后NAL的輸出可以被插入到不同的傳輸格式中。視頻數(shù)據(jù)能夠存儲在一個文件格式中用于以后掃描。它也能夠根據(jù)ITU-T H.223復(fù)用格式進行封裝。對于RTP傳輸格式，RTP傳輸流根本不包括圖像層或者圖像頭標(biāo)。相反，常規(guī)上屬于圖像和序列層的數(shù)據(jù)主要在帶外被發(fā)送。能夠發(fā)送這種數(shù)據(jù)的多個組合，并且每個發(fā)送的組合被稱為一個參數(shù)組并且被列舉。然后在發(fā)送的條頭標(biāo)中識別一個正在使用的參數(shù)組。
接下來，將解釋根據(jù)一個優(yōu)選實施例的一個漸進解碼器刷新周期的編碼。編碼器通過根據(jù)外部信號，例如一個獨立編碼器中的配置參數(shù)或者一個實時視頻通信系統(tǒng)中的幀內(nèi)更新請求來確定一個解碼器刷新周期的第一幀而開始操作。編碼器也可以分析未壓縮圖像的內(nèi)容并且決定例如響應(yīng)于一個掩藏的場景變換來編碼一個漸進解碼器刷新。
編碼器根據(jù)例如獨立編碼器中的配置參數(shù)的外部指示，或者根據(jù)內(nèi)在推論來確定漸進解碼器刷新周期的長度，以響應(yīng)于例如一個掩藏的場景變換。編碼器也可以根據(jù)例如速率控制的需要，在轉(zhuǎn)換編碼的過程中調(diào)整場景轉(zhuǎn)換的期望長度。
術(shù)語“可靠區(qū)域”被用于表示當(dāng)解碼從漸進解碼器刷新周期起始處開始時被正確重建的圖像的區(qū)域。可靠區(qū)域優(yōu)選地由彼此相鄰的宏塊組成。漸進解碼器刷新周期中的每個圖像都具有它自己的可靠區(qū)域。位于一幅圖像中的可靠區(qū)域中的每個宏塊都屬于漸進解碼器刷新周期的后來存儲的圖像(以編碼順序)中的可靠區(qū)域。這樣，可靠區(qū)域至少保持不變或者優(yōu)選地逐幅圖像增加(以編碼順序)。
除了宏塊應(yīng)當(dāng)彼此相鄰以外，可靠區(qū)域的形狀不應(yīng)當(dāng)受任何其它約束的限制。為了編碼/解碼的目的，可靠區(qū)域的最簡單形式是一個實心的宏塊矩形。根據(jù)一個優(yōu)選實施例，可靠區(qū)域是沿著矩形的四邊之一擴展一個不完整的一宏塊/列寬/行高的一個實心宏塊矩形。
根據(jù)另一個優(yōu)選實施例，可靠區(qū)域是一個任意的但是實心的宏塊區(qū)域。而根據(jù)另一個優(yōu)選實施例，可靠區(qū)域是具有一個矩形孔的中空的矩形宏塊，它可以使用在框入類型的漸進解碼器刷新當(dāng)中。根據(jù)另一個優(yōu)選實施例，可靠區(qū)域是具有一個與本發(fā)明的優(yōu)選實施例的可靠區(qū)域相似定義的孔的中空的宏塊矩形?？煽繀^(qū)域甚至可以彼此重疊以便于，例如，兩個可靠區(qū)域以螺旋形運動的方式增長。
因此，中空的可靠區(qū)域的定義可以被推廣以便于在該區(qū)域中存在一個以上的孔。
本發(fā)明也可以被推廣以便于在一幅圖像中存在一個以上的可靠區(qū)域。在這種情況下，可以使用任何可靠區(qū)域來預(yù)測下一幀中的可靠區(qū)域中的塊。而且，刷新周期能夠重疊，這樣不同周期的可靠區(qū)域在重疊時段內(nèi)嵌套在該圖像上。一個可靠區(qū)域也可以從一個編碼圖像到下一個編碼圖像改變位置或者收縮。由于諸如攝像機的全景攝影，或者速率控制等，這種狀況可能是合理的。
漸進解碼器刷新模式中清楚地定義了宏塊被添加到可靠區(qū)域中的順序。例如，在下劃中，宏塊可以以光柵掃描的順序被插入到可靠區(qū)域中。編碼器確定漸進解碼器刷新模式的類型?？梢源嬖谠诰幋a說明/標(biāo)準(zhǔn)中指定的并且編碼器和解碼器預(yù)先已知的預(yù)定的默認(rèn)方案。也可以存在作為編碼視頻比特流的一部分，從編碼器到解碼器告知的刷新模式。編碼器告知解碼器選定的刷新類型。信令可以是帶內(nèi)信令，也可以是帶外信令。
參照圖2可以說明增長的可靠區(qū)域的實施例。在圖2中，小的矩形表示宏塊，并且小矩形的9×11塊表示一個圖像幀200-208。粗重的宏塊邊界圍繞著每一幀中的可靠區(qū)域。中灰的宏塊表示可靠區(qū)域的增長。圖像幀200-208以時間順序被示出。
幀200包括一個3×3宏塊的可靠區(qū)域。在接下來的幀202中，可靠區(qū)域沿著先前區(qū)域的所有四個邊擴展，產(chǎn)生一個5×5宏塊的可靠區(qū)域。類似的過程，可以被稱作框出刷新模式，將在接下來的幀204-208中被應(yīng)用。在幀208中，可靠區(qū)域被擴展到覆蓋整個幀區(qū)域，即該幀中的所有宏塊。表示可靠區(qū)域的空間邊界的粗邊界優(yōu)選地是宏塊邊界。
編碼器確定被添加到將被編碼的當(dāng)前幀中的可靠區(qū)域的宏塊數(shù)目。這個決定可以根據(jù)預(yù)定義的刷新速率或者它可以根據(jù)例如主要的網(wǎng)絡(luò)條件進行調(diào)整。選定的宏塊數(shù)目主要是根據(jù)漸進解碼器刷新模式選擇的。插入到漸進解碼器刷新周期的第一幀的第一可靠區(qū)域中的宏塊被通過幀內(nèi)編碼進行編碼。
根據(jù)一個優(yōu)選實施例，作為靈活性和復(fù)雜度的折中，可靠區(qū)域的形狀演化可以被限制以便于在開始可靠區(qū)域是一個實心的宏塊矩形。該區(qū)域能夠通過按照一定的順序，沿著矩形的四邊之一插入宏塊的方式來被擴展。一旦可靠區(qū)域再次變成矩形，該矩形的另一邊也能夠被選作用于宏塊插入的主體。擴展速率也可以是零宏塊。
對于漸進解碼器刷新周期的后續(xù)幀，編碼器進行下述處理將新選出的宏塊插入到當(dāng)前幀的可靠區(qū)域。使用宏塊模式選擇和運動補償過程來編碼可靠區(qū)域中的宏塊。但是，在運動補償過程中，限制運動矢量搜索范圍，這樣一個運動矢量能夠僅涉及漸進解碼器刷新周期中的先前幀中的可靠區(qū)域中的像素。
可靠區(qū)域的重建不一定取決于位于可靠區(qū)域之外的重建像素值。因此，這造成了一些編碼約束。例如，必須禁止環(huán)路濾波和根據(jù)可靠區(qū)域之外的像素值進行部分像素內(nèi)插。打破這種編碼依賴能夠在編碼數(shù)據(jù)中被告知，然后在解碼該數(shù)據(jù)時執(zhí)行類似的操作。例如，能夠在編碼數(shù)據(jù)中告知環(huán)路濾波必須被關(guān)閉的邊界。替代地，編碼器能夠避免產(chǎn)生涉及不可靠區(qū)域的編碼數(shù)據(jù)。例如，能夠限制運動矢量從而在運動內(nèi)插中不使用不可靠區(qū)域中的像素。
如果在刷新周期期間存在幾個至少部分地同時存在的可靠區(qū)域，則插入到漸進解碼器刷新周期中的第一幀的第一可靠區(qū)域中的宏塊被通過幀內(nèi)編碼進行編碼。然后接下來的可靠區(qū)域能夠涉及另一個可靠區(qū)域中的宏塊，以便于如果需要，可以將它們進行幀間編碼。由于參考圖像選擇，涉及彼此的可靠區(qū)域的時間順序不受限制。但是，對于如上所述的環(huán)路濾波和根據(jù)可靠區(qū)域之外的像素值進行部分像素內(nèi)插，當(dāng)涉及另一個可靠區(qū)域時，也可以應(yīng)用類似的編碼約束。
此外，優(yōu)選地改變宏塊的編碼和解碼的掃描順序，從而首先以光柵掃描的順序編碼/解碼可靠區(qū)域。以后，以光柵掃描的順序編碼/解碼沒有包括在可靠區(qū)域內(nèi)的剩余宏塊。可靠區(qū)域的邊界可以作為條邊界。因此，在可靠區(qū)域的邊界上不會發(fā)生條內(nèi)預(yù)測。
也可能應(yīng)用一種編碼方法，其中定義了一個可靠區(qū)域但是沒有應(yīng)用所有的前述的編碼約束。在這種方法中，以正常的順序(即，如果沒有使用分散條或者類似的編碼技術(shù)，以光柵掃描的順序)編碼一整幅圖像的宏塊。因此，可靠區(qū)域和剩余區(qū)域(即不屬于可靠區(qū)域的宏塊)的編碼數(shù)據(jù)彼此交織。而且，一幅圖像的可靠區(qū)域的一些編碼參數(shù)取決于剩余區(qū)域的編碼參數(shù)。這種編碼參數(shù)的例子包括靠近可靠區(qū)域邊界的運動矢量。根據(jù)剩余區(qū)域中的臨近運動矢量來預(yù)測這些運動矢量。但是，關(guān)于環(huán)路濾波和根據(jù)可靠區(qū)域之外的像素值進行部分像素內(nèi)插的編碼約束仍然適用。該方法也可被稱為IREG-D方法，其中IREG代表分離的區(qū)域，并且D表示分離區(qū)域和剩余區(qū)域的一些編碼參數(shù)之間的相依性。
因此，上面公開的應(yīng)用了所有編碼約束的可靠區(qū)域的編碼方法被稱為IREG-I編碼技術(shù)。在IREG-I方法中，可靠區(qū)域的宏塊被首先編碼，并且剩余的宏塊其后被編碼。因此，可靠區(qū)域形成了一個與剩余區(qū)域的編碼數(shù)據(jù)可分離的編碼數(shù)據(jù)部分?？s寫IREG-I中的字母I表示分離區(qū)域和剩余區(qū)域之間的編碼參數(shù)的獨立性。該方法優(yōu)選地可以通過使用一個所謂的子圖像來應(yīng)用。以后將更詳細地描述應(yīng)用子圖像的優(yōu)選實施例。
接下來，將描述根據(jù)一個優(yōu)選實施例的解碼過程。應(yīng)當(dāng)指出視頻序列的解碼過程是獨立于編碼過程的。這樣，為了解碼的目的，僅要求待被解碼的視頻序列包括本發(fā)明所表現(xiàn)的某些特性。能夠解碼的視頻序列因此不限于上面所描述的編碼方法。
當(dāng)解碼器接收到視頻序列中告知的一個參數(shù)組時，解碼器檢查它是否表示可靠區(qū)域的使用。如果告知的參數(shù)組表示IREG-I的使用，則解碼器開始解碼一幅新的圖像或者繼續(xù)解碼當(dāng)前的圖像。
如果開始解碼一幅新的圖像，解碼器檢查是否建立了一個新的可靠區(qū)域。當(dāng)建立了一個新的可靠區(qū)域時，重新設(shè)定可靠區(qū)域的先前的形狀、尺寸和位置。當(dāng)開始解碼一幅新的圖像時，根據(jù)接收到的參數(shù)更新可靠區(qū)域的形狀、尺寸和位置。
一旦可靠區(qū)域的形狀、尺寸和位置是最新的，該條的第一宏塊的宏塊地址就識別該條屬于哪個可靠區(qū)域或者該條是否屬于剩余區(qū)域。首先解碼一幅圖像的可靠區(qū)域。
限制每個宏塊的環(huán)路濾波從而檢查鄰近的宏塊是否屬于不同的區(qū)域(即一個屬于可靠區(qū)域，并且另一個屬于剩余區(qū)域，或者它們屬于不同的可靠區(qū)域)。如果任何一個臨近宏塊屬于不同的區(qū)域，那么濾波相應(yīng)的宏塊邊界，就好像它位于圖像邊界上那樣。而且，有利地不應(yīng)用根據(jù)被解碼的可靠區(qū)域之外的區(qū)域進行幀內(nèi)預(yù)測。
如果告知的參數(shù)組表示使用IREG-D，那么除了宏塊位置的確定以外，解碼器按照與上面描述的IREG-I的情況一樣的方式解碼條?？臻g的宏塊順序是正常的，并且一個條可能同時包含來自于多個可靠區(qū)域和來自剩余區(qū)域的宏塊。主要的區(qū)別在于在區(qū)域邊界上可能發(fā)生幀內(nèi)預(yù)測和運動矢量預(yù)測。但是，關(guān)于環(huán)路濾波和根據(jù)可靠區(qū)域之外的像素值進行部分象素內(nèi)插的編碼約束仍然適用。
根據(jù)一個優(yōu)選實施例，能夠通過在編碼的視頻序列中加一些將被告知的新的參數(shù)以及編碼的視頻序列來實現(xiàn)前面所述的過程所要求的改變。可以在視頻掃描對話之前告知參數(shù)，或者可以在視頻掃描對話期間對它們進行發(fā)送或者更新。例如，下面的參數(shù)可以增加到參數(shù)組當(dāng)中1.分離區(qū)域的類型(TIR)。表明是否使用了分離區(qū)域以及所使用的分離區(qū)域的類型。
無沒有使用分離區(qū)域。這樣，根據(jù)正常的編碼方式編碼宏塊。
IREG-D使用分離區(qū)域的正常比特流順序版本。
IREG-I使用分離區(qū)域的分離比特流順序版本。
2.同時存在的分離區(qū)域的數(shù)目(NSIR)。表示在一幅圖像當(dāng)中同時存在多少分離區(qū)域。該值受類和級的限制。每個初始的分離區(qū)域都利用一個運行數(shù)字來單獨識別，例如從0或1開始。該識別符被稱為IREG ID。對于每個IREG ID，傳送下列的參數(shù)3.分離區(qū)域的形狀演化類型。通過該參數(shù)規(guī)定分離區(qū)域的位置、形狀和變化順序。提出了下列的值光柵掃描分離區(qū)域的第一宏塊是圖像左上方的一個宏塊。分離區(qū)域以光柵掃描的順序增長。
反光柵掃描分離區(qū)域的第一宏塊是圖像右下方的一個宏塊。分離區(qū)域以反光柵掃描的順序增長。
向右劃變分離區(qū)域的第一宏塊是圖像左上方的一個宏塊。分離區(qū)域從頂部向底部增長。在一列的最底部宏塊之后的下一宏塊是先前列的右側(cè)列中的最頂部的宏塊。
向左劃變分離區(qū)域的第一宏塊是圖像右下方的一個宏塊。分離的區(qū)域從底部向頂部增長。在一列的頂部宏塊之后的下一宏塊是先前列的左側(cè)列的最底部宏塊。
順時針框出分離區(qū)域的第一宏塊優(yōu)選地不受限制。分離區(qū)域圍繞著先前定義的分離區(qū)域順時針增長。
逆時針框出這與前面相似，但是分離區(qū)域逆時針增長。
預(yù)定義的自由形式該參數(shù)值帶有定義了分離區(qū)域的位置、形狀和增長順序的宏塊數(shù)的列表。這些預(yù)定義的自由形式優(yōu)選地在視頻掃描對話期間預(yù)先被傳送到解碼器。宏塊按照光柵掃描的順序計數(shù)，從圖像的左上角的宏塊開始，該宏塊具有數(shù)字0。注意分離區(qū)域的形狀必須滿足前面給出的限制。
預(yù)定義的靜態(tài)矩形該參數(shù)值表示分離區(qū)域在該IREG GOP中保持不變。該值與分離區(qū)域的左上角，以及分離區(qū)域的寬度和高度相關(guān)。而且這些預(yù)定值優(yōu)選地在視頻掃描對話期間預(yù)先被傳送到解碼器。
動態(tài)矩形該參數(shù)僅在使用IREG-I時出現(xiàn)。該區(qū)域變化模式被用于子圖像編碼。這里要指出任何幀中的分離區(qū)域都是一個矩形。在參數(shù)組中沒有定義分離區(qū)域的位置、形狀或者增長順序，但是在條頭標(biāo)中包括類似的參數(shù)。
4.分離區(qū)域的增長率(GRIR)。該參數(shù)定義了每一幅圖像中有多少宏塊被增加到先前的參數(shù)描述中所涉及的分離區(qū)域當(dāng)中。也存在一個指示變化的增長率的特殊參數(shù)值。如果在該參數(shù)組中指示了一個變化的增長率，那么在條頭標(biāo)中指示每幀的實際增長率。
N(N＞＝1)個宏塊的恒定速率分離區(qū)域每一個圖像增加N個宏塊。
預(yù)定義的速率該參數(shù)值與一組值{a1，a2，...aN}有關(guān)，每個都定義了將要增加到一幅圖像的分離區(qū)域中的宏塊數(shù)目。N等于IREG期間的圖像數(shù)目，并且a1是以宏塊為單位的分離區(qū)域的初始尺寸。
變化速率增長速率由條頭標(biāo)中的分離區(qū)域的增長速率(GRIR)表示。
參照圖3可以說明根據(jù)一個特定的刷新模式將宏塊插入到一個可靠區(qū)域中的過程的實例。圖3示出了一個增長的可靠區(qū)域中的頭幾個圖像幀(300-310)，其具有被定義為“順時針框出”的形狀演化類型和三個宏塊的恒定增長速率(GRIR)。第一幀300具有一個由三個宏塊構(gòu)成的L形的可靠區(qū)域(根據(jù)“順時針框出”形狀)。在下一幀302中在該可靠區(qū)域中增加接下來的三個宏塊。該形狀演化類型控制了新的宏塊的放置，這樣產(chǎn)生了一個3×2宏塊的可靠區(qū)域。該過程通過以順時針的方式沿著可靠區(qū)域的外框增加三個新宏塊而在每一幀304-310中繼續(xù)進行。
如前所述，JVT/H.26L設(shè)計允許定制視頻編碼層(VCL)或者數(shù)據(jù)分割層(DPL)數(shù)據(jù)格式用于在多種網(wǎng)絡(luò)上遞送。數(shù)據(jù)分割允許主觀上和語義上更為重要的數(shù)據(jù)與不太重要的數(shù)據(jù)分開傳輸。解碼器在沒有接收到更為重要的數(shù)據(jù)的情況下，可能不能解碼不太重要的數(shù)據(jù)。當(dāng)使用例如RTP傳輸格式時，RTP傳輸流根本不包括圖像層或者圖像頭標(biāo)。取而代之的是，常規(guī)上屬于圖像和序列層的這種數(shù)據(jù)能夠被進行帶外發(fā)送。這種數(shù)據(jù)的多個組合可以被發(fā)送，并且每個發(fā)送的組合都被稱為一個參數(shù)組并被列舉。然后在發(fā)送的條頭標(biāo)中識別正在使用的參數(shù)組。
因此，根據(jù)一個優(yōu)選實施例，優(yōu)選地在參考圖像選擇參數(shù)之前在條頭標(biāo)中加入下列的條件參數(shù)1.分離區(qū)域的序列號(SNIR)。如果該參數(shù)組表明使用分離區(qū)域，則存在該參數(shù)。值0表示從最近的發(fā)送SNIR值SNIRa導(dǎo)出序列號(SNIRb)，相應(yīng)的圖像號Pna以及當(dāng)前的圖像號PNb如下SNIRb＝PNb-Pna+SNIRa，其中圖像號之間的算術(shù)要考慮可能的重疊。值1表示一個新的可靠區(qū)域的開始，并且每一個IREG期間至少發(fā)送一次。大于0的值清楚地表示出序列號并且能夠用于改善誤差恢復(fù)能力。
2.分離區(qū)域的形狀改變(SCIR)。如果該參數(shù)組表明分離區(qū)域的一個可變的增長速率，或者如果分離區(qū)域的形狀演化類型是動態(tài)的矩形，則存在該參數(shù)。值0意味著矩形的分離區(qū)域的增長速率或者形狀、尺寸和位置與在相同的圖像的任何其它條中相同。值1表示GRIR和IRIR與先前存儲并發(fā)送的圖像中的相同。值2表示后面跟著GRIR或者IRIR。GRIR和IRIR被重復(fù)用于該圖像的每個分離區(qū)域。
3.分離區(qū)域的增長速率(GRIR)。如果該參數(shù)組表示分離區(qū)域的一個可變的增長速率，則存在該參數(shù)。該參數(shù)表明與先前以編碼順序存儲的幀的分離區(qū)域相比，增加到該分離區(qū)域的宏塊的數(shù)目。
4.關(guān)于矩形分離區(qū)域的信息(IRIR)。如果分離區(qū)域的形狀演化類型是動態(tài)的矩形，則存在該組參數(shù)。接下來的四種碼字如下左分離區(qū)域(以宏塊為單位)中的最左側(cè)宏塊的坐標(biāo)。該圖像的最左側(cè)宏塊的列被指配為值0。
頂部分離區(qū)域(以宏塊為單位)中的最頂部的宏塊的坐標(biāo)。該圖像的最頂部宏塊的行被指配為值0。
寬度分離區(qū)域的寬度。碼字被指配如下

高度子圖像的高度。碼字類似于寬度被指配。
為了JVT視頻編解碼參數(shù)組的更為詳細的描述，參考ISO/IEC文檔“VCEG-N52”和“VCEG-N72r1”。
接下來，將描述根據(jù)一個優(yōu)選實施例的解碼過程。為了說明，這里假設(shè)用視頻序列告知(帶內(nèi)或者帶外)的參數(shù)組包括至少某些上面公開的參數(shù)。但是，應(yīng)當(dāng)指出以上的參數(shù)僅是如何能夠?qū)崿F(xiàn)預(yù)期特性的一些實例。對于本領(lǐng)域的技術(shù)人員來說，很明顯達到同樣結(jié)果的實現(xiàn)可以通過使用不同的參數(shù)組，以多種方式來實現(xiàn)。
當(dāng)解碼器接收到用視頻序列告知的參數(shù)組時，解碼器檢查它是否表明了可靠區(qū)域的使用。如果告知的參數(shù)組表示使用了IREG-I，則解碼器解碼一個條如下如果將被解碼的條的圖像號與先前解碼的條的圖像號不同，或者如果將被解碼的條的時間參考與先前解碼的條的時間參考不同，則開始解碼一個新的圖像。否則，繼續(xù)解碼當(dāng)前的圖像。
如果開始解碼一幅新的圖像，解碼器檢查是否建立了一個新的可靠區(qū)域。如果該參數(shù)組的任何一個與可靠區(qū)域有關(guān)的參數(shù)已經(jīng)被改變，則解碼器推斷開始一個新的可靠區(qū)域。與此相似，如果SNIR是1，則解碼器推斷開始一個新的可靠區(qū)域。當(dāng)建立了一個新的可靠區(qū)域之后，可靠區(qū)域的先前的形狀、尺寸和位置被重新設(shè)置。如果開始解碼一幅新的圖像，可靠區(qū)域的形狀、尺寸和位置被更新(一次一個可靠區(qū)域)如下如果可靠區(qū)域的形狀演化類型是非矩形，并且如果增長速率是恒定的，則如同將恒量的宏塊被SNIR次加入到零尺寸的可靠區(qū)域那樣，計算可靠區(qū)域的形狀、尺寸和位置。
如果可靠區(qū)域的形狀演化類型是非矩形的，并且如果增長速率是預(yù)定義的，則SNIR表示加入到先前存儲并發(fā)送的圖像的相應(yīng)的可靠區(qū)域的宏塊數(shù)目aSNIR。
如果正在使用可靠區(qū)域的預(yù)定義的自由形式的類型，但是每個圖像的增長速率是分別告知的，則通過以預(yù)定義的順序?qū)RIR宏塊增加到先前存儲并發(fā)送的圖像的可靠區(qū)域來形成可靠區(qū)域的形狀和尺寸。
如果形狀演化類型是預(yù)定義的靜態(tài)矩形，則其尺寸、形狀和位置在參數(shù)組中表明。如果形狀演化類型是動態(tài)矩形，則矩形可靠區(qū)域的尺寸、形狀和位置在條頭標(biāo)中表明。一旦可靠區(qū)域的形狀、尺寸和位置是最新的，該條的第一宏塊的宏塊地址就識別該條屬于哪個可靠區(qū)域，或者該條是否屬于剩余區(qū)域。圖像的可靠區(qū)域首先被解碼。
在解碼宏塊的編碼數(shù)據(jù)之前，計算它的空間位置。該空間宏塊順序是正常的(使用光柵或者分散掃描順序)，但是跳過落在目前解碼的可靠或者剩余區(qū)域之外的宏塊位置。
每個宏塊的環(huán)路濾波受到下列限制如果其左側(cè)的相鄰宏塊屬于一個不同的區(qū)域(即，一個屬于可靠區(qū)域而另一個屬于剩余區(qū)域，或者它們屬于不同的可靠區(qū)域)，那么如同其位于左側(cè)圖像邊界那樣對宏塊進行濾波。如果上述的相鄰宏塊屬于一個不同的區(qū)域，就如同其位于圖像的頂部宏塊行那樣對宏塊進行濾波。
而且，有利地不應(yīng)用根據(jù)正被解碼的可靠區(qū)域之外的區(qū)域進行幀內(nèi)預(yù)測。
如果告知的參數(shù)組表明使用了IREG-D，則除了宏塊位置確定以外，解碼器按照與上面所述的IREG-I的情況相同的方式解碼一條。空間宏塊順序是正常的，并且一個條可以同時包含來自于多個可靠區(qū)域和來自剩余區(qū)域的宏塊。主要的差別在于在區(qū)域邊界可能發(fā)生幀內(nèi)預(yù)測和運動矢量預(yù)測。但是，關(guān)于環(huán)路濾波和根據(jù)可靠區(qū)域之外的像素值進行部分像素內(nèi)插的編碼約束仍然適用。
IREG-I方法的一個優(yōu)選實施例可以結(jié)合已經(jīng)被建議給JVT/H.26L的所謂的子圖像來實現(xiàn)?？梢酝ㄟ^在圖像和條層之間增加一個子圖像編碼層來產(chǎn)生一個子圖像。該子圖像編碼層形成了所謂的子圖像(SP)，除了所謂的背景區(qū)域(BR)SP以外，其通常是矩形的前景區(qū)域SP(FR SP)。BR SP由沒有落在任何矩形SP內(nèi)的圖像區(qū)域組成。一幅圖像的前景區(qū)域SP在背景區(qū)域SP之前被編碼。SP內(nèi)的宏塊以掃描順序被編碼。SP不互相重疊，即，整個編碼圖像由所有的SP組成。根據(jù)本發(fā)明的該實施例，子圖像可被作為可靠區(qū)域。子圖像的形狀和尺寸能夠通過例如由前述的參數(shù)來控制。
圖4示出了將被編碼的圖像400與為視頻編碼定義的宏塊(MB)之間的關(guān)系。圖像包括被看作是前景對象的一個對象。沿著MB邊界，圍繞著該前景對象畫出了矩形的前景區(qū)域子圖像(FR SP)402。圍繞著該前景對象402，該圖像也具有一個背景。圍繞FR SP 402的背景部分被稱作背景區(qū)域子圖像404(BR SP)。注意，如這里的情況，背景部分可以屬于PR SP402。圖4也示出了被指配給以遞增的順序計數(shù)為0-79的MB，其中第一MB(0)位于左上角，并且標(biāo)號向右依次增長，并且在每一行之后從下一行的左邊開始繼續(xù)。
圖5示出了根據(jù)子圖像實現(xiàn)，為圖4中的圖像形成的視頻編碼條的原理圖。使用5個宏塊的條尺寸將該圖像分割成視頻編碼條。分割從最重要的FR SP開始，并且在所有的FR SP之后(在圖4和圖5中僅給出一個FR SP)，BR SP被分割成條。從0開始給定條運行序號。注意在FR SP內(nèi)，從第一行開始，條0占有3個MB，然后在FR SP內(nèi)，第二行占有2個MB，并且特別地，在BR SP被編碼之前，關(guān)閉FR SP的最后一條。然后BR SP中的MB以掃描順序被分割成條，這樣除了最后一個以外的每一條通常都由一條所允許的最大數(shù)目的MB構(gòu)成。條簡單地跳過每個FR SP。條越大，通常造成編碼一幅圖像所需的冗余量越小。
根據(jù)一個優(yōu)選實施例，能夠?qū)崿F(xiàn)一個基于子圖像的漸進解碼器刷新方法，從而將可靠區(qū)域作為前景子圖像編碼。優(yōu)選地，使用獨立的子圖像編碼模式從而在前景子圖像的外部邊界上關(guān)閉環(huán)路濾波。除了屬于該子圖像的宏塊應(yīng)當(dāng)彼此相鄰以外，整個圖像內(nèi)的前景子圖像的形狀和位置不應(yīng)當(dāng)受任何其它約束的限制。
除了為解碼器提供隨機訪問點以外，本發(fā)明也可以用于改善視頻傳輸?shù)恼`差回復(fù)能力。上面公開的方法能夠被用作具有預(yù)定義的幀內(nèi)宏塊更新模式的已知誤差編碼方法。每幀的更新的宏塊的數(shù)目算法能夠根據(jù)選擇的條件改變，但是更新的宏塊的順序保持不變。也可以使用該方法，使得可靠區(qū)域中的一些宏塊不以幀內(nèi)模式被更新。因此，該技術(shù)落在自適應(yīng)幀內(nèi)宏塊更新的范疇之內(nèi)。
能夠以非常直接的方式施加已知損耗的幀內(nèi)更新的分離區(qū)域的使用，從而能夠從第一分離區(qū)域開始的地方持續(xù)地使用分離的區(qū)域。由于序列的第一幀被完全幀內(nèi)編碼，第一分離區(qū)域優(yōu)選地從第二編碼幀開始。編碼器能夠根據(jù)圖像尺寸和假定的包損耗率選擇一個合適的增長率。通常，較好的增長率(即，刷新速率)等價于宏塊的損耗率。例如，如果包損耗率是20％，則80個宏塊的增長率是較合適的。
如上面所公開的，執(zhí)行可靠區(qū)域的編碼，但是對于剩余區(qū)域，剩余區(qū)域內(nèi)的像素由先前重建的幀中的空間上相應(yīng)的像素來復(fù)制。也就是，剩余區(qū)域中的宏塊將如同內(nèi)容保持與先前幀相同那樣來被編碼。
在解碼器側(cè)，在該期間內(nèi)部分更新的圖像能夠被觀看，如果這被看作是視覺上令人滿意的話。
該實施例具有這樣的優(yōu)點與幀內(nèi)編碼相比，終端-終端的傳輸延遲顯著降低。由于恒定的量化參數(shù)，能夠獲得穩(wěn)定的圖像質(zhì)量，同時保持低的比特率波動。一個更為穩(wěn)定的圖像質(zhì)量通常被認(rèn)為不那么討厭。而且，如果存在損耗，能夠使用時空錯誤隱藏。
能夠使用多種刷新模式，例如不同種類的劃變和框入。尤其是，如果使用了一個框出刷新模式，將首先顯示中央的圖像部分。從感興趣區(qū)域的觀點出發(fā)，中央部分通常更為重要。
作為避免I幀的結(jié)果，終端用戶察覺到在刷新請求之后，響應(yīng)圖像的顯示更為快速。此外，終端用戶察覺到一個圖像速率的更短的下降。
根據(jù)上面提到實施例的過程提供了幾個優(yōu)點。如果與常規(guī)的隨機訪問點的編碼相比，其中一個I幀開始一個獨立的可解碼的圖像組(GOP)，本發(fā)明還具有這樣的優(yōu)點本發(fā)明使得能夠可靠地更新一個預(yù)定義的圖像區(qū)域，而不需要該區(qū)域的全部幀內(nèi)宏塊覆蓋。在多個編碼圖像期間，該區(qū)域被逐步更新。先前的圖像中的可靠區(qū)域能夠被用作下一圖像中的可靠區(qū)域的運動補償參考。可靠區(qū)域中的每一宏塊的宏塊模式選擇能夠使用速率失真(rate-distortion)優(yōu)化來完成。這樣，本發(fā)明能夠從速率失真的角度最優(yōu)地使能可靠區(qū)域的編碼。
本發(fā)明的這一特性可能在序列中尤其有用，該特性能經(jīng)受相對平穩(wěn)的整體運動，例如攝像機向任一方向平搖。在這種情況下，第一幀中靠近圖像邊界的區(qū)域移近下一幀的圖像中部。如果第一幀中的區(qū)域能夠被進行幀內(nèi)編碼，在下一幀中不再需要被幀內(nèi)編碼。
而且，編碼流的瞬時比特率具有更為平滑的波動。這有助于避免緩沖器溢出，可以減少預(yù)解碼緩沖器所需的尺寸，并且可能降低終端-終端的傳輸延遲。
對于易于發(fā)生誤差的傳輸，無論如何，每幅圖像的特定數(shù)目的宏塊都被以幀內(nèi)模式編碼。為了隨機訪問的目的，本發(fā)明也能夠重復(fù)使用這些宏塊。
如果至少部分I幀丟失或者惡化，接收解碼器幾乎沒有方法檢測它應(yīng)當(dāng)使用空間的還是時空的錯誤隱藏。由于空間相鄰的區(qū)域被通過幀內(nèi)編碼進行編碼，一個直接的選擇是使用空間錯誤隱藏。但是，時空誤差傳播可能導(dǎo)致更好的隱藏效果。如果應(yīng)用根據(jù)本發(fā)明的方法，則能夠避免這一現(xiàn)象，即每次僅有一部分圖像以幀內(nèi)模式被更新。
常規(guī)的視頻應(yīng)用涉及視頻電話、視頻會議、以及其它類似的應(yīng)用。這個應(yīng)用族的特征在于使終端-終端的延遲最小的目標(biāo)。常規(guī)的應(yīng)用能夠在各種網(wǎng)絡(luò)上運行，例如ISDN(參見ITU-T建議H.320)、PSTN(ITU-TH.324)、固定IP網(wǎng)絡(luò)(ITU-T H.323)以及包交換移動網(wǎng)絡(luò)(3GPP TS26.235)。通常，至少網(wǎng)絡(luò)中的一個鏈接具有一個受限的最大吞吐比特率。而例如ISDN的一些網(wǎng)絡(luò)提供低傳輸誤差率，諸如互聯(lián)網(wǎng)以及移動網(wǎng)的其它網(wǎng)絡(luò)相對更容易出現(xiàn)傳輸誤差。
在常規(guī)的應(yīng)用中，由于使終端-終端的延遲最小的目的以及具有一個固定的最大吞吐量的事實，期望保持視頻比特率相對恒定。由于與幀間編碼相比，從比特率的角度來看，幀內(nèi)編碼通常更加昂貴，因此應(yīng)當(dāng)避免一次對整個幀進行幀內(nèi)編碼。
解碼器期望在該序列的開始進行圖像的刷新，并且將其作為幀內(nèi)圖像(intra picture)更新請求的響應(yīng)。在根據(jù)本發(fā)明的方法中，代替整個幀內(nèi)圖像的是，能夠告知和編碼一個漸進解碼器刷新周期。如果需要，能夠在該期間觀看部分更新的圖像，這些圖像可能是視覺上令人滿意的。
使用漸進解碼器刷新來代替整個幀內(nèi)圖像平滑了比特率的波動，并且降低了終端-終端的傳輸延遲。終端用戶能夠察覺到在對話的初始化中，圖像顯示得更快。如果接收到的圖像嚴(yán)重惡化，接收終端將向遠程終端編碼器要求一個幀內(nèi)圖像更新。在這種情況下，當(dāng)使用本發(fā)明時，終端用戶察覺到在圖像率中的更短的下降。
與漸進量化精細和漸進分辨率精細相比，本發(fā)明提供了一個響應(yīng)于幀內(nèi)圖像更新請求的更為穩(wěn)定的圖像質(zhì)量，該圖像通常認(rèn)為不太令人討厭。
本發(fā)明的一個主要優(yōu)點在于它完全阻止了時空誤差傳播。該特征以前在具有參考圖像選擇、環(huán)路濾波、以及部分像素內(nèi)插的復(fù)雜編碼方案，例如JVT設(shè)計中是達不到的。
這樣，公開的方法能夠被用作具有預(yù)定義的可靠宏塊更新模式的已知誤差編碼方法。要指出的是在預(yù)定義方案的算法中每幀的更新宏塊的數(shù)目能夠根據(jù)選擇的條件改變，但是更新的宏塊的順序保持不變。因此，該方法同時具有兩個好處通過幀內(nèi)編碼阻止誤差傳播，它還為適當(dāng)?shù)碾S機訪問提供了可能性。
該方法允許發(fā)送一個與其它區(qū)域相比具有更好的誤差保護的可靠區(qū)域。這樣，該方法要優(yōu)于具有幀內(nèi)更新的常規(guī)的編碼，其中這種傳輸?shù)膬?yōu)先次序是不可能的?？煽繀^(qū)域比其它的編碼數(shù)據(jù)能夠更好地被保護來對抗傳輸誤差。實際上，在可靠區(qū)域中可以應(yīng)用更多的冗余，例如前向誤差編碼。替代地，可靠區(qū)域能夠通過與普通的視頻數(shù)據(jù)傳輸所使用的頻道相比具有更好的服務(wù)質(zhì)量(QoS)保證的頻道被發(fā)送。在單一流播中，當(dāng)要求服務(wù)器從一個漸進隨機訪問位置開始流播時，根本不需要發(fā)送不可靠的區(qū)域(背景子圖像)。
許多類型的視頻材料，例如新聞、電影預(yù)告片、以及音樂視頻，都包含頻繁的場景切換。有時，場景切換非常突然，但是在多數(shù)情況下，應(yīng)用諸如淡入淡出或者劃變的轉(zhuǎn)換。從壓縮效率的角度來看，場景轉(zhuǎn)換的編碼經(jīng)常是一個具有挑戰(zhàn)性的問題，因為運動補償可能不是一個足夠強大的方法來表示轉(zhuǎn)換中圖像之間的變化。
場景轉(zhuǎn)換可以被分類，例如突然的、掩藏的、淡入淡出的以及混合的場景轉(zhuǎn)換。突然轉(zhuǎn)換是這樣的不存在轉(zhuǎn)換周期和兩個相鄰場景的內(nèi)容同時出現(xiàn)的圖像。掩藏轉(zhuǎn)換是這樣的第二場景以漸進的方式從第一場景在空間上揭開。所有的圖像都是全強度(full intensity)顯示的。掩藏場景轉(zhuǎn)換的編碼通常涉及至少一個I幀。掩藏場景轉(zhuǎn)換的例子包括框入、框出、劃變、劈裂以及溶解、。淡入淡出轉(zhuǎn)換是這樣的兩個場景的圖像以半透明的方式在彼此的頂部重疊，并且在轉(zhuǎn)換周期內(nèi)，頂部的圖像透明度逐漸改變。淡入淡出轉(zhuǎn)換的例子包括普通的交叉淡入淡出以及通過黑色的(從其中出來或進入其中)淡入淡出。混合場景轉(zhuǎn)換是掩藏和淡入淡出轉(zhuǎn)換的組合。
根據(jù)本發(fā)明的方法在應(yīng)用到場景轉(zhuǎn)換，尤其是掩藏場景轉(zhuǎn)換時，也提供了好處。由此，轉(zhuǎn)換能夠被隨機地訪問，而不用編碼整個幀內(nèi)圖像。當(dāng)使用基于子圖像的漸進解碼器刷新時，以及當(dāng)隨機地訪問轉(zhuǎn)換時，轉(zhuǎn)換的第一場景的編碼數(shù)據(jù)不需要被發(fā)送、解碼和顯示。而且，為了獲得與使用突然場景改變相比更小的編碼視頻比特率的波動，一個掩藏的場景轉(zhuǎn)換能夠被編碼。
上面描述了將漸進解碼器刷新隨機訪問點編碼到一個視頻序列當(dāng)中的方法。具體來說，這在一個視頻編碼器中被執(zhí)行，該視頻編碼器可以是一個本身已知的視頻編碼器。所使用的視頻編碼器可以是例如根據(jù)ITU-T建議H.263或者H.26L的一個視頻編碼器，根據(jù)本發(fā)明，它被安排來確定包括至少一個幀內(nèi)編碼塊的第一可靠區(qū)域，并且在所述的視頻序列中編碼所述的第一可靠區(qū)域，從而防止在所述的第一可靠區(qū)域和所述的第一可靠區(qū)域之外的編碼塊之間產(chǎn)生信息相依性。
相應(yīng)地，在視頻解碼器中進行解碼，該視頻解碼器可以是本身已知的視頻解碼器。所使用的視頻解碼器可以是例如根據(jù)ITU-T建議H.263或者H.26L的低比特率視頻解碼器，根據(jù)本發(fā)明，它被安排來接收確定視頻序列的第一可靠區(qū)域的信息，該可靠區(qū)域包括至少一個幀內(nèi)編碼的編碼塊，并且從所述的視頻序列中解碼所述的第一可靠區(qū)域，從而防止在所述的第一可靠區(qū)域和位于所述第一可靠區(qū)域之外的編碼塊之間產(chǎn)生信息相依性。
基于視頻的電信系統(tǒng)的不同部分，尤其是終端，可以包括使能多媒體文件的雙向傳輸，即文件的發(fā)送和接收的特性。這允許編碼器和解碼器被實現(xiàn)為包括編碼器和解碼器的功能的視頻編解碼器。
應(yīng)當(dāng)指出以上的視頻編碼器、視頻解碼器和終端中的本發(fā)明的功能元件可以優(yōu)選地被實現(xiàn)為軟件、硬件或者二者的結(jié)合。本發(fā)明的編碼和解碼方法尤其適于被實現(xiàn)為包括用于執(zhí)行本發(fā)明的功能步驟的計算機可讀指令的計算機軟件。編碼器和解碼器優(yōu)選地被實現(xiàn)為存儲在存儲裝置并且可由類似計算機的設(shè)備，例如個人計算機(PC)或者移動站執(zhí)行的軟件代碼，用于實現(xiàn)所述設(shè)備的編碼/解碼功能。
圖6示出了根據(jù)本發(fā)明的一個優(yōu)選實施例的一個移動通信設(shè)備MS的框圖。在該移動通信設(shè)備中，一個主控制單元MCU控制負(fù)責(zé)移動通信設(shè)備的各種功能的塊一個隨機訪問存儲器RAM、一個射頻部分RF、一個只讀存儲器ROM、視頻編解碼器CODEC以及一個用戶接口UI。用戶接口包括一個鍵盤KB、一個顯示器DP、一個揚聲器SP以及一個麥克風(fēng)MF。MCU是一個微處理器，或者在替代實施例中，是一些其它類型的處理器，例如一個數(shù)字信號處理器。有利地，MCU的操作指令已經(jīng)被預(yù)先存儲在ROM存儲器中。根據(jù)它的指令(即，計算機程序)，MCU使用RF塊在無線電路徑上發(fā)送和接收數(shù)據(jù)。視頻編解碼器可以是基于硬件的，或者全部或部分基于軟件，在這種情況下，CODEC包括用于控制MCU執(zhí)行所需的視頻編碼和解碼功能的計算機程序。MCU使用RAM作為它的工作存儲器。移動通信設(shè)備能夠通過視頻攝像機捕獲運動視頻，使用MCU、RAM和基于CODEC的軟件編碼和打包運動視頻。然后使用RF塊與其它的部分交換編碼視頻。
圖7示出了包括多個移動通信設(shè)備MS、一個移動電信網(wǎng)絡(luò)71、互聯(lián)網(wǎng)72、一個視頻服務(wù)器73以及一個連接到互聯(lián)網(wǎng)的固定PC的視頻通信系統(tǒng)70。視頻服務(wù)器具有一個視頻編碼器，并且能夠提供諸如天氣預(yù)報或者新聞的點播視頻流。
本發(fā)明的優(yōu)選實施例是在基于區(qū)域的編碼方案基礎(chǔ)上的。
本發(fā)明也能夠被實現(xiàn)為包括一個視頻序列的視頻信號，該視頻序列由視頻幀構(gòu)成，其中至少一個視頻幀被分成一組編碼塊，并且至少一個所述的編碼塊被通過幀內(nèi)編碼進行編碼。該視頻信號進一步包括確定該視頻序列的第一可靠區(qū)域的信息，該可靠區(qū)域包括至少一個幀內(nèi)編碼的編碼塊，以及用于從所述的視頻序列解碼所述的第一可靠區(qū)域的信息，從而防止在所述的第一可靠區(qū)域和所述的第一可靠區(qū)域之外的編碼塊之間產(chǎn)生信息相依性。該視頻信號可以是一個實時發(fā)送的信號，或者它能夠通過使用媒體，例如大容量存儲器或者重放視頻盤，而被存儲在一個計算機可讀載體上。
很明顯，對于本領(lǐng)域的技術(shù)人員來說，隨著技術(shù)的發(fā)展，本發(fā)明的基本概念可以通過多種方式來實現(xiàn)。因此本發(fā)明及其實施例并不局限于上面的實例，而是可以在權(quán)利要求內(nèi)變化。
權(quán)利要求
1.一種用于指示數(shù)字圖像內(nèi)一個區(qū)域的尺寸、形狀和位置的方法，該圖像被分成一組塊，其特征在于，定義用于至少一個尺寸參數(shù)的值，該尺寸參數(shù)值指示所述區(qū)域內(nèi)的多個塊，以及選擇用于至少一個形狀演化參數(shù)的值，該形狀演化參數(shù)值指示所述塊進入到所述區(qū)域之內(nèi)的選擇順序。
2.如在權(quán)利要求1中所要求的方法，其特征在于，將所述用于該至少一個尺寸參數(shù)和該至少一個形狀演化參數(shù)的值編碼到一個視頻序列的比特流中，以便指示該圖像內(nèi)的該區(qū)域的尺寸、形狀和位置。
3.如在權(quán)利要求1或2中所要求的方法，其特征在于，將所述用于至少一個形狀演化參數(shù)的值包括到所述圖像的參數(shù)組中。
4.如在前述權(quán)利要求的任何一個中所要求的方法，其特征在于，所述至少一個尺寸參數(shù)包括尺寸改變速率參數(shù)(GRIR)和尺寸改變的序列號參數(shù)(SNIR)。
5.如在權(quán)利要求4中所要求的方法，其特征在于，依據(jù)至少下列之一來確定所述區(qū)域內(nèi)編碼塊的數(shù)目用于所述尺寸改變速率參數(shù)的值，用于所述尺寸改變的序列號參數(shù)的值。
6.如在權(quán)利要求4或5中所要求的方法，其特征在于，將所述用于尺寸改變速率參數(shù)的值包括到所述圖像的參數(shù)組中，以及將所述用于尺寸改變的序列號參數(shù)的值包括到屬于所述區(qū)域的條頭標(biāo)中。
7.如在前述權(quán)利要求的任何一個中所要求的方法，其特征在于，依據(jù)用于形狀演化參數(shù)的值來確定該區(qū)域的塊的位置。
8.如在前述權(quán)利要求的任何一個中所要求的方法，其特征在于，從至少下列之一中選擇用于所述至少一個形狀演化參數(shù)的值光柵掃描、反光柵掃描、順時針框出、逆時針框出、向左劃變、向右劃變。
9.如在前述權(quán)利要求的任何一個中所要求的方法，其特征在于，所述區(qū)域包括至少一個條，該條包括在條邊界上沒有實質(zhì)預(yù)測相依性的塊，其中所述塊以該區(qū)域之內(nèi)的掃描順序被選擇到所述條中。
10.一種用于將數(shù)字圖像編碼到一個比特流中的編碼器，該編碼器被安排來，將至少一個圖像分成一組塊，其特征在于，該編碼器還被安排來，確定一個圖像內(nèi)的一個區(qū)域，所述區(qū)域包括至少一個塊，定義用于至少一個尺寸參數(shù)的值，該尺寸參數(shù)值指示所述區(qū)域內(nèi)的多個塊，選擇用于至少一個形狀演化參數(shù)的值，該形狀演化參數(shù)值指示所述塊進入到所述區(qū)域之內(nèi)的選擇順序，以及將所述用于該至少一個尺寸參數(shù)和該至少一個形狀演化參數(shù)的值編碼到所述比特流中，以便指示該圖像內(nèi)的該區(qū)域的尺寸、形狀和位置。
11.如在權(quán)利要求10中所要求的編碼器，其特征在于，該編碼器還被安排來，將所述用于至少一個形狀演化參數(shù)的值包括到所述圖像的參數(shù)組中。
12.如在權(quán)利要求10或11中所要求的編碼器，其特征在于，所述至少一個尺寸參數(shù)包括尺寸改變速率參數(shù)(GRIR)和尺寸改變的序列號參數(shù)(SNIR)。
13.如在權(quán)利要求12中所要求的編碼器，其特征在于，該編碼器還被安排來，將所述用于尺寸改變速率參數(shù)的值包括到所述圖像的參數(shù)組中，以及將所述用于尺寸改變的序列號參數(shù)的值包括到屬于所述區(qū)域的條頭標(biāo)中。
14.如在權(quán)利要求10-13的任何一個中所要求的編碼器，其特征在于，該編碼器還被安排來，從至少下列之一中選擇用于所述至少一個形狀演化參數(shù)的值光柵掃描、反光柵掃描、順時針框出、逆時針框出、向左劃變、向右劃變。
15.如在權(quán)利要求10-14的任何一個中所要求的編碼器，其特征在于，所述區(qū)域包括至少一個條，該條包括在條邊界上沒有實質(zhì)預(yù)測相依性的塊，其中該編碼器還被安排來以該區(qū)域之內(nèi)的掃描順序把所述塊選擇到所述條中。
16.一種存儲在計算機可讀介質(zhì)上并且可在數(shù)據(jù)處理設(shè)備中執(zhí)行的計算機程序產(chǎn)品，用于將數(shù)字圖像編碼到一個比特流中，該計算機程序產(chǎn)品包括用于將至少一個圖像分成一組塊的計算機程序代碼，其特征在于，該計算機程序產(chǎn)品還包括，用于確定一個圖像內(nèi)的一個區(qū)域的計算機程序代碼，所述區(qū)域包括至少一個塊，定義用于至少一個尺寸參數(shù)的值的計算機程序代碼，其中該尺寸參數(shù)值指示所述區(qū)域內(nèi)的多個塊，選擇用于至少一個形狀演化參數(shù)的值的計算機程序代碼，其中該形狀演化參數(shù)值指示所述塊進入到所述區(qū)域之內(nèi)的選擇順序，以及將所述用于至少一個尺寸參數(shù)和該至少一個形狀演化參數(shù)的值編碼到所述比特流中，以便指示該圖像內(nèi)的該區(qū)域的尺寸、形狀和位置的計算機程序代碼。
17.一種用于解碼包括至少一個編碼數(shù)字圖像的比特流的解碼器，所述至少一個圖像被分成一組編碼塊，其特征在于，該解碼器被安排來，從所述比特流中解碼用于至少一個尺寸參數(shù)的值，該尺寸參數(shù)值指示所述圖像內(nèi)一個區(qū)域的多個編碼塊，以及解碼用于至少一個形狀演化參數(shù)的值，該形狀演化參數(shù)值指示所述編碼塊進入到所述區(qū)域之內(nèi)的選擇順序，依據(jù)用于所述參數(shù)的值來確定該圖像內(nèi)所述區(qū)域的尺寸、形狀和位置，以及根據(jù)所述的至少一個尺寸、形狀和位置來解碼所述區(qū)域。
18.如在權(quán)利要求17中所要求的解碼器，其特征在于，該解碼器被安排來，從所述區(qū)域的一個圖像參數(shù)組中解碼所述用于至少一個形狀演化參數(shù)的值。
19.如在權(quán)利要求17或18中所要求的解碼器，其特征在于，所述至少一個尺寸參數(shù)包括尺寸改變速率參數(shù)(GRIR)和尺寸改變的序列號參數(shù)(SNIR)。
20.如在權(quán)利要求19中所要求的解碼器，其特征在于，該解碼器被安排來，依據(jù)至少下列之一來確定所述區(qū)域內(nèi)編碼塊的數(shù)目用于所述尺寸改變速率參數(shù)的值，用于所述尺寸改變的序列號參數(shù)的值。
21.如在權(quán)利要求19或20中所要求的解碼器，其特征在于，該解碼器被安排來，從所述圖像的參數(shù)組中解碼用于所述尺寸改變速率參數(shù)的值，以及從屬于所述區(qū)域的一個條頭標(biāo)中解碼用于所述尺寸改變的序列號參數(shù)的值。
22.如在權(quán)利要求17-21的任何一個中所要求的解碼器，其特征在于，該解碼器被安排來，依據(jù)用于形狀演化參數(shù)的值來確定所述區(qū)域的所述塊的位置。
23.如在權(quán)利要求17-22的任何一個中所要求的解碼器，其特征在于，用于所述至少一個形狀演化參數(shù)的值是至少下列之一光柵掃描、反光柵掃描、順時針框出、逆時針框出、向左劃變、向右劃變。
24.如在權(quán)利要求17-23的任何一個中所要求的解碼器，其特征在于，所述區(qū)域包括至少一個條，該條包括在條邊界上沒有實質(zhì)預(yù)測相依性的塊，其中該解碼器被安排來以該區(qū)域之內(nèi)的掃描順序?qū)⑺鰤K解碼到所述條中。
25.一種存儲在計算機可讀介質(zhì)上并且可在數(shù)據(jù)處理設(shè)備中執(zhí)行的計算機程序產(chǎn)品，用于解碼包括至少一個編碼數(shù)字圖像的比特流，所述至少一個圖像被分成一組編碼塊，其特征在于，該計算機程序產(chǎn)品包括用于從所述比特流中解碼用于至少一個尺寸參數(shù)的值和用于至少一個形狀演化參數(shù)的值的計算機程序代碼，其中該尺寸參數(shù)值指示所述圖像內(nèi)一個區(qū)域的多個編碼塊，該形狀演化參數(shù)值指示所述編碼塊進入到所述區(qū)域之內(nèi)的選擇順序，用于依據(jù)用于所述參數(shù)的值來確定該圖像內(nèi)所述區(qū)域的尺寸、形狀和位置的計算機程序代碼，以及用于根據(jù)所述至少一個尺寸、形狀和位置來解碼所述區(qū)域的計算機程序代碼。
26.一種包括一個包含至少一個編碼數(shù)字圖像的比特流的視頻信號，所述至少一個圖像被分成一組編碼塊，其特征在于，所述視頻信號還包括至少一個尺寸參數(shù)值，該尺寸參數(shù)值指示所述圖像內(nèi)一個區(qū)域的多個編碼塊，以及至少一個形狀演化參數(shù)值，該形狀演化參數(shù)值指示所述編碼塊進入到所述區(qū)域之內(nèi)的選擇順序，所述參數(shù)使能確定該圖像內(nèi)所述區(qū)域的尺寸、形狀和位置。
全文摘要
一種用于指示數(shù)字圖像內(nèi)一個區(qū)域的尺寸、形狀和位置的方法，該圖像被分成一組塊。定義了用于至少一個尺寸參數(shù)的值，該尺寸參數(shù)值指示所述區(qū)域內(nèi)的多個塊，并且選擇了用于至少一個形狀演化參數(shù)的值，該形狀演化參數(shù)值指示所述區(qū)域中所述塊的選擇順序。然后優(yōu)選地，所述用于該至少一個尺寸參數(shù)和該至少一個形狀演化參數(shù)的值被編碼到一個視頻序列的比特流中，以便指示該圖像內(nèi)所述區(qū)域的尺寸、形狀和位置。
文檔編號H04N7/26GK1829329SQ200610004108
公開日2006年9月6日 申請日期2003年4月28日 優(yōu)先權(quán)日2002年4月29日
發(fā)明者Y·-K·王, M·漢努克塞拉 申請人:諾基亞有限公司