專利名稱：以非同等錯誤保護(hù)對數(shù)據(jù)流進(jìn)行編碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對數(shù)據(jù)流的編碼。本發(fā)明進(jìn)一步涉及已編碼數(shù)據(jù)流的發(fā)送和接收。本發(fā)明特別的涉及一種使用非等同錯誤保護(hù)(UEP)的MPEG-4視頻編碼方法，更特別的涉及一種基于運(yùn)動和/或紋理活動性(activity)的檢測來執(zhí)行UEP的方法和系統(tǒng)。
背景技術(shù)：
在無線通道上的視頻傳輸遭受比有線線路上的傳輸更多的錯誤傳輸。在無線通道中，達(dá)到10％的平均錯誤率是非常普通的，結(jié)果導(dǎo)致接收的視頻應(yīng)用程序的質(zhì)量不可接受。因此應(yīng)該意識到信道編碼是必須的以便將誤碼率降至可接受的水平。傳統(tǒng)的，在除去源冗余之后，根據(jù)諸如香農(nóng)分離定理(Shannon’s separation theorem)的技術(shù)，通過源壓縮方法獨(dú)立的執(zhí)行信道編碼。
然而，應(yīng)該意識到如果給出所考慮的信道的特征在于在帶寬和延遲方面的嚴(yán)厲約束，并且如果以源壓縮方案給出殘留冗余，則聯(lián)合源信道編碼方法是可取的。更加精確的，信道編碼和解碼可利用該殘留冗余。因此考慮無線信道特征和應(yīng)用程序特征的適當(dāng)?shù)募夹g(shù)將被考慮。
尤其是，關(guān)于源比特對信道誤差的不同靈敏度的信息將通過非等同錯誤保護(hù)被使用。該技術(shù)由下列步驟組成根據(jù)源比特對誤差的感知靈敏度執(zhí)行錯誤保護(hù)通過較低速率的代碼來保護(hù)更加靈敏的比特，對于不重要的比特，則使用較高速率的代碼。
與傳統(tǒng)的前向糾錯相比，通過使用源的特征，UEP允許獲得給出相同比特率的高度感知的視頻質(zhì)量。這樣一種技術(shù)在Motorola的EP1018815中有介紹，其描述了在通信系統(tǒng)中處理用于傳輸?shù)男畔⒌姆椒ê脱b置。
該方法可有利的與在MPEG-4標(biāo)準(zhǔn)中可用的數(shù)據(jù)分割工具結(jié)合，如在MPEG-4視頻組“Overview of the MPEG-4 Standard”(ISO/IECJTC1/SC29/WG11 N3444，Geneva，20005-6月)中所述的其中包含在每個包中的信息位被分割成三個部分，每一個對于信道誤差具有不同的靈敏度。使用圖1中所示的例子，典型的P幀100包括由在標(biāo)題101之前的包開始STRT組成的分段，由運(yùn)動標(biāo)識104分開的運(yùn)動分段102和紋理分段103。類似的，對于I幀120，各分段包括標(biāo)題121，由DC標(biāo)識符124分開的DC分段122和AC分段123，可使用不同的碼率來保護(hù)該三個分段。根據(jù)相關(guān)信息的主觀重要性，該三個分段在每個例子中以不同的碼率來保護(hù)。
標(biāo)題中包含的信息對于包的連續(xù)解碼是至關(guān)重要的，因此那些信息應(yīng)受到重點(diǎn)保護(hù)。使用P幀的例子，應(yīng)該意識到應(yīng)該比紋理數(shù)據(jù)更注重保護(hù)運(yùn)動數(shù)據(jù)，好像運(yùn)動信息被正確的接收，紋理信息可被部分的重構(gòu)，因?yàn)樵跊]有紋理信息的情況下解碼器仍然能執(zhí)行運(yùn)動補(bǔ)償隱藏，而重構(gòu)的圖像沒有太多的降級。
在這種方案的應(yīng)用中的主要問題是這樣的事實(shí)類似分段，包不具有相同的長度，因此UEP方案對于每個包將是動態(tài)變化的并且需要知道每個分段長度。為了處理該問題，使用固定比例長度或從恰好插入到位流中的字段讀取的長度的技術(shù)在下列文獻(xiàn)中已經(jīng)有所建議M.G.Martini，M.Chiani編寫的“Proportional Unequal ErrorProtection for MPEG-4 Video Transmission”(2001年6月在赫爾辛基召開的IEEE International Conference onCommunications(ICC)2001(IEEE國際通信會議(ICC)2001)會報(bào)第1033-1037頁)和M.G.Martini，M.Chiani編寫的“Robust Transmissionof MPEG-4 VideoStart Codes Substitution and Length FieldInsertion Assisted Unequal Error Protection”(2001年4月在漢城召開的Picture Coding Symposium-PCS2001(圖像編碼研討會-PCS2001))。
雖然這些技術(shù)能夠保護(hù)運(yùn)動數(shù)據(jù)較保護(hù)紋理數(shù)據(jù)多，但由于沒有對不同類型的運(yùn)動或紋理數(shù)據(jù)實(shí)行補(bǔ)償，所以他們?nèi)匀淮嬖趩栴}。在場景的某些部分上的誤差，例如高速運(yùn)動或高清晰區(qū)域，比較少活動的區(qū)域上的誤差更惱人，并且已知的技術(shù)不適于補(bǔ)償這種變化。因此需要保護(hù)高速運(yùn)動和/或紋理活動的區(qū)域較低速活動區(qū)域多。

發(fā)明內(nèi)容
因此本發(fā)明提供一種使保護(hù)的等級適應(yīng)包活動性的活動性檢測器和一種方法。理想的，該檢測器和方法適于在源編碼的域上工作。為此，本發(fā)明為編碼、傳輸提供如獨(dú)立權(quán)利要求所定義的數(shù)據(jù)流和存儲介質(zhì)。
本發(fā)明在MPEG-4視頻的無線傳輸領(lǐng)域是特別有利的。本發(fā)明者認(rèn)識到具有高活動性的視頻包部分需要的保護(hù)比具有低活動性的那些區(qū)域多。例如，在P幀區(qū)域中，具有高活動和/或高紋理的分段需要的保護(hù)比具有低活動性的區(qū)域的那些部分多，于是對于I幀型區(qū)域，具有高DC和/或AC活動性的分段需要的保護(hù)比具有低活動性的那些分段多。通過應(yīng)用認(rèn)識到和適應(yīng)于這種活動性等級的編碼方案，本發(fā)明為數(shù)據(jù)流提供一種改進(jìn)的保護(hù)。
參照為本發(fā)明的典型例子的下列附圖，本發(fā)明的這些和其他特征將更容易理解。


圖1表示MPEG-4包的數(shù)據(jù)分割的例子；圖2表示根據(jù)本發(fā)明的包活動性偏差的量化；圖3表示根據(jù)本發(fā)明的傳輸系統(tǒng)；和圖4表示用于對使用本發(fā)明的方法編碼的數(shù)據(jù)流進(jìn)行解碼的解碼系統(tǒng)。
具體實(shí)施例方式
圖1已經(jīng)示出根據(jù)MPEG-4對幀的數(shù)據(jù)分割。
視頻包方法所具體表現(xiàn)的是MPEG-4格式的已知整數(shù)，其中視頻包長度不是取決于塊的數(shù)量，相反而是取決于該包中所包含的比特的數(shù)量。如果當(dāng)前視頻包中所包含的比特?cái)?shù)超過一預(yù)定閾值，那么在下一塊的開始處產(chǎn)生一新的視頻包。
本發(fā)明提供一種利用該暗示的方法即與在運(yùn)動和/或紋理方面更加活躍的區(qū)域相關(guān)的包包含較少數(shù)量的塊。使用P幀被分割成B個固定尺寸塊的例子，可以假設(shè)與當(dāng)前幀有關(guān)的視頻包的數(shù)量為N。那么每個包中的塊的平均數(shù)量被給出為n‾=BN---(1)]]>其表示每包的平均運(yùn)動和紋理活動性。因此，任何測量的MPEG-4視頻包的從平均值的活動性偏差被定義為Δα＝n-n (2)其中n為當(dāng)前測量的包中包含的塊的實(shí)際數(shù)量。如果Δα＞0，但小于平均值，則當(dāng)前包的特征在于具有比平均值大的活動性。
根據(jù)本發(fā)明，檢測當(dāng)前包的活動性是否主要起因于運(yùn)動或紋理的技術(shù)也可以被定義。
在使用MPEG-4編碼器對包含P幀的視頻序列已經(jīng)進(jìn)行編碼之后，使NBF等于比特的總數(shù)，LTX和LVM分別表示與紋理和運(yùn)動向量有關(guān)的編碼比特的總數(shù)。因此，紋理部分關(guān)于視頻包的平均運(yùn)動為lTX‾=LTXNBF---(3)]]>而lMV‾=LMVNBF---(4)]]>為與相同的包比較的運(yùn)動向量區(qū)域的平均部分。
通過忽略標(biāo)題部分，下列公式成立lTX‾≅1-l‾MV---(5)]]>現(xiàn)在讓lTX=NBTXNBP---(6)]]>是與當(dāng)前包相比較的紋理區(qū)域的活性部分，其中NBTX為與紋理相關(guān)的比特?cái)?shù)，NBP為包長度，并且讓我們定義ΔTX=lTX-lTX‾---(7)]]>表示從當(dāng)前包的紋理分段的平均值的偏差。
那么，如果ΔTX＞0，則包活動性主要取決于紋理，如果ΔTX＜0，則包活動性主要取決于運(yùn)動。
為了使保護(hù)等級適應(yīng)包的活動性，Δα的范圍可被量化。以這種方式，根據(jù)Δα落到的決定區(qū)域可定義不同的活動性偏差等級。
圖2表示對包活動性偏差進(jìn)行量化的一個例子，并且應(yīng)該意識到?jīng)Q定區(qū)域已經(jīng)被定義了，從而與平均值相比較，可以有(或正或負(fù))低(L)或高(H)的活動性偏差。非偏差區(qū)域也已經(jīng)被定義，這意味著當(dāng)前包的活動性與平均活動性值相當(dāng)。
當(dāng)發(fā)生顯著的活動性偏差(也就是Δα落在非偏差區(qū)域之外)時，紋理或運(yùn)動活性的優(yōu)勢必須被檢測。合理固定一個閾值Δ′TX，使得如果ΔTX＞Δ′TX則所述活動性由紋理引起，于是如果ΔTX＜-Δ′TX則所述活動性由運(yùn)動引起。假設(shè)如果|ΔTX|＜Δ′TX則不存在活動性優(yōu)勢，其中Δ′TX為用實(shí)驗(yàn)方法確定的閾值。本領(lǐng)域技術(shù)人員應(yīng)該意識到可通過許多方法中的一種來確定該閾值。例如，確定該閾值的一個可能方式為與非適應(yīng)技術(shù)相比較使用相同數(shù)量的帶寬來使視頻質(zhì)量性能改進(jìn)最大化以保護(hù)信息。該調(diào)諧可在多個測試序列上執(zhí)行。那么，該閾值的值可被不確定的用于將來應(yīng)用。
現(xiàn)在讓我們設(shè)想根據(jù)為不同分割部分指定不同編碼速率的UEP技術(shù)，運(yùn)動向量分割部分必須以速率RMV來保護(hù)，紋理分割部分以速率RTX被保護(hù)。
表1概括了使運(yùn)動和紋理分段的保護(hù)適應(yīng)包活動性的機(jī)理。
注意R1MV＜R2MV＜RMV＜R3MV＜R4MV，且R1TX＜R2TX＜RTX＜R3TX＜R4TX

表1根據(jù)分段活動性的保護(hù)等級。
應(yīng)該意識到本發(fā)明另外提供一種指定給與紋理分段相對的運(yùn)動的另外等級的保護(hù)使得RMV＞RTX。因此應(yīng)該意識到本發(fā)明提供了一種保護(hù)等級體系，使得其中具有運(yùn)動數(shù)據(jù)的分段受到的保護(hù)比具有紋理的那些分段多，并且具有高等級運(yùn)動活性的那些分段受到的保護(hù)比具有較少活動性的那些分段多。
本領(lǐng)域技術(shù)人員應(yīng)該意識到相同或相似的技術(shù)能被應(yīng)用于幀內(nèi)。在這種情況下，DC DCT系數(shù)和AC系數(shù)分段必須被考慮用于活動性支配檢測，并且具有較高活動性的區(qū)域被指定比具有較少活動性的那些區(qū)域多的保護(hù)。
圖3表示根據(jù)本發(fā)明的用于對視頻序列進(jìn)行編碼的傳輸電路300的示意圖。提供視頻序列vs作為向MPEG-4編碼器301的輸入，其中該視頻序列被分割成其組成位流bs和MPEG-4語法說明sd。位流和語法說明都被提供給平均值計(jì)算模塊302，其中塊的平均數(shù)n和紋理區(qū)域關(guān)于視頻包的平均部分lTX被計(jì)算。類似的位流和語法說明被提供給包值計(jì)算模塊303，其中當(dāng)前包中的塊的實(shí)際數(shù)量(n)和與當(dāng)前包相比較的紋理區(qū)域的實(shí)際部分(lTX)被測量。
然后紋理和活動性的平均值和實(shí)際值在紋理偏差304和活動性偏差305模塊中被計(jì)算。然后將偏差量與根據(jù)經(jīng)驗(yàn)在保護(hù)適應(yīng)模塊306中確定的量相比較，并且這將確定應(yīng)用給每個分段的保護(hù)的類型。然后為每個分段計(jì)算的保護(hù)等級在信道編碼器307中被應(yīng)用給各個位流和語法說明，所述信道編碼器307提供一個作為輸出的編碼位流cb。
然后使用多路復(fù)用器308使用語法說明(RMV，RTX，NBMV，NBTX)對該編碼的位流進(jìn)行適當(dāng)?shù)亩嗦窂?fù)用，并且然后該多路復(fù)用的信號被傳送。
圖4表示適于接收多路復(fù)用信號并且為了觀看的目的對它進(jìn)行解碼的適當(dāng)接收電路400的例子。位流被接收并且然后使用多路分用器(DEMUXER)401對其進(jìn)行多路分用。使用信道編碼器402從其后被處理的編碼位流提取語法說明以便形成解碼位流。然后該解碼位流使用源解碼器403被轉(zhuǎn)換成用于顯示的視頻序列。應(yīng)該意識到，根據(jù)本發(fā)明的應(yīng)用于特定數(shù)據(jù)流類型的方法，上述過程還可使用一般的MPEG-4解碼器或可選擇的解碼器實(shí)現(xiàn)。
應(yīng)該注意上述的實(shí)施例所說明的不應(yīng)該是本發(fā)明的限制，本領(lǐng)域技術(shù)人員在不脫離后附權(quán)利要求的范圍的情況下可設(shè)計(jì)出許多可選擇實(shí)施例。在權(quán)利要求中置于括號中的任何參考標(biāo)記不應(yīng)構(gòu)成對權(quán)利要求的限制。類似的，當(dāng)在此關(guān)于本發(fā)明所使用的單詞“包括/包含(comprises/comprising)”和單詞“具有/包括(having/including)”被用于指定所陳述的特征、整數(shù)、步驟或組分的存在，但不排除其出現(xiàn)或附加有一個或多個其它的特征、整數(shù)、步驟、組分或組?？衫冒ㄈ舾煞N類不同的硬件和利用適當(dāng)編程的計(jì)算機(jī)來執(zhí)行本發(fā)明。在列舉若干裝置的設(shè)備權(quán)利要求中，一個或多個這些裝置可通過一個和相同產(chǎn)品的硬件來體現(xiàn)。在彼此不同的從屬權(quán)利要求中陳述的某些測量的純粹事實(shí)并不表示不能有利的利用這些測量的結(jié)合。
權(quán)利要求
1.一種對數(shù)據(jù)流進(jìn)行編碼的方法，該數(shù)據(jù)流包括具有至少一個被分段的包的幀，該方法包括步驟a)將所述至少一個包的活動性與所述幀的活動性等級進(jìn)行比較以確定所述至少一個包的每個分段的錯誤保護(hù)率；和b)使用所述確定的錯誤保護(hù)率對各個分段進(jìn)行編碼；和c)輸出具有以不同錯誤保護(hù)率編碼的至少一個包的各個分段的輸出數(shù)據(jù)流。
2.如權(quán)利要求1所述的方法，其中通過測量包中的塊的數(shù)量并將該測量的塊數(shù)與幀中的每個包的平均塊數(shù)進(jìn)行比較來確定包的活動性。
3.如權(quán)利要求2所述的方法，其中在將測量的實(shí)際塊數(shù)與平均塊數(shù)進(jìn)行比較時，計(jì)算一偏差值，并且將該偏差值與預(yù)定的活動性偏差等級進(jìn)行比較以便確定應(yīng)用給包中的分段的適當(dāng)?shù)腻e誤保護(hù)率。
4 如前述任何一個權(quán)利要求所述的方法，進(jìn)一步包括測量包中的活動性是否由運(yùn)動或紋理引起的步驟，該方法包括步驟a)確定紋理部分關(guān)于所述幀的平均值，b)確定紋理部分關(guān)于至少一個包的實(shí)際值，c)確定測量的實(shí)際值和平均值之間的差異，d)如果實(shí)際值大于平均值，則指定主要由紋理引起的包活動性。
5.根據(jù)權(quán)利要求1至3中任何一個所述的方法，進(jìn)一步包括測量包中的活動性是否由DC或AC分量引起的步驟，該方法包括步驟a)確定DC分量部分關(guān)于幀的平均值；b)確定DC分量部分關(guān)于所述至少一個包的實(shí)際值；c)確定測量的實(shí)際值和平均值之間的差異；和d)如果實(shí)際值大于平均值，則指定主要由DC分量引起的包活動性。
6.根據(jù)前述任何一個權(quán)利要求所述的方法，其中所述數(shù)據(jù)流為MPEG-4數(shù)據(jù)流。
7.一種用于對數(shù)據(jù)流進(jìn)行編碼的編碼器，該數(shù)據(jù)流包括具有至少一個被分段的包的幀，該系統(tǒng)包括a)從所述幀形成一第一和一第二數(shù)據(jù)段的裝置；b)為所述幀的第一和第二數(shù)據(jù)段的活動性求平均值的裝置；c)為所述幀中的至少一個包的每一個的第一和第二數(shù)據(jù)段的活動性計(jì)算實(shí)際值的裝置；d)將從步驟b和c得到的值進(jìn)行比較的裝置；e)通過對所述至少一個包中的每一個施加一錯誤保護(hù)率而對所述幀進(jìn)行編碼的裝置，為所述至少一個包中的每一個選擇的錯誤保護(hù)率是在步驟d的輸出的基礎(chǔ)上選擇的。
8.一種包括幀的數(shù)據(jù)流，所述幀具有至少一個被分段的包，該包的分段根據(jù)各個分段的活動性以不同的錯誤保護(hù)率來保護(hù)。
9.一種在其上已經(jīng)存儲如權(quán)利要求8所述的數(shù)據(jù)流的存儲介質(zhì)。
全文摘要
披露了一種適于在封包幀中檢測各個分段的活動性的方法。該方法為具有較高活動性的數(shù)據(jù)流的那些部分提供的編碼比具有較低活動性的那些部分多。這使得能夠根據(jù)所述數(shù)據(jù)流的特定部分中的數(shù)據(jù)的重要性來進(jìn)行區(qū)別錯誤保護(hù)(非同等錯誤保護(hù))。
文檔編號H04L1/00GK1633815SQ03804061
公開日2005年6月29日 申請日期2003年1月20日 優(yōu)先權(quán)日2002年2月18日
發(fā)明者S·奧里維里 申請人:皇家飛利浦電子股份有限公司