專利名稱：圖像序列的格式轉換方法
技術領域：
本發(fā)明涉及采用編碼的視頻數(shù)據(jù)圖像序列的格式轉換的方法和裝置。
背景技術：
大多數(shù)要視頻顯示的應用通過編碼的視頻數(shù)據(jù)來工作。在解碼之后，這些數(shù)據(jù)經(jīng)常是以不與所要求的顯示格式兼容的格式或組合格式得到的。因此，在大多數(shù)情況中，在顯示對應圖像或進行圖像合成之前，必須使用壓縮的圖像數(shù)據(jù)進行格式轉換。這個格式轉換應用到整個圖像，并通常消耗時間和占據(jù)存儲器空間，因為對圖像的每個像素來說，它包括連續(xù)的相加和相乘。
例如，從解碼二進制視頻數(shù)據(jù)流到H 263標準的輸出格式是4∶2∶0，YUV型。Java軟件圖形接口程序庫為基于4∶4∶4，RGB格式的圖像格式提供了API(代表應用程序接口)接口。因此，對于這樣的數(shù)據(jù)流使用“嵌入在網(wǎng)絡文件內(nèi)的小程序(applet)”(通過互聯(lián)網(wǎng)裝載的Java應用程序)要求將4∶2∶0，YUV格式的圖像轉換成為4∶4∶4，RGB格式的圖像。
隨后，所用的圖像將應用于任何類型的幀、雙幀等，而不考慮掃描的類型。
表達的解碼范圍將涉及到有關編碼數(shù)據(jù)和它們解碼的解碼器的接收的任何事情，表達的顯示范圍將涉及到使用解碼數(shù)據(jù)用于它們的合成和顯示的任何事情。轉換處理包括從解碼范圍切換到顯示范圍。
解碼處理通常使用預測的臨時模式，在該模式中，從前面或后面圖像預測圖像。例如，這包括MPEG1、MPEG2、MPEG4、H261、H263標準。在這些標準中，P型圖像(預測的)從前面的I型(內(nèi)部)圖像預測出來，或從前面的P型圖像預測出來。B型的圖像(雙向)從前面的I或P型圖像預測出來，以及從后面的I或P型圖像預測出來。
在一個例子中，關于在一個圖像中的圖像組的編碼，重構前面的圖像并進行運動估算，以在這個重構圖像中確定與將被編碼的圖像組的最好地相關的圖像組。然后，采用對應這個估算的運動矢量對該重構圖像進行運動補償，以便提供預測的組。預測的組從當前圖像中被減去，以提供稱為剩余的組，該剩余的組被編碼和發(fā)送。
解碼處理包括通過重構前面圖像來計算預測組，并把它們加到從當前圖像發(fā)送的剩余組中。
在B或P型圖像的情況中，該組從前面的參考圖像中被預測，對于B型圖像，也從后面的參考圖像中預測。這些參考圖像在解碼器被重構，并從這些圖像中計算出預測的組，運動矢量在數(shù)據(jù)流中發(fā)送。在數(shù)據(jù)流中發(fā)送的剩余組被解碼，然后加到由有關運動矢量定義的預測組中，以便在圖像中提供重構的圖像組。
圖1圖示地表示了數(shù)據(jù)解碼和轉換處理。
在時間預測電路1接收有關參考圖像的視頻數(shù)據(jù)，以便提供預測圖像給加法器3。在解碼電路2接收有關當前圖像的視頻數(shù)據(jù)，以便提供解碼圖像給加法器3。對應重構圖像的由加法器3輸出的數(shù)據(jù)被發(fā)送到轉換該圖像的格式轉換電路4，以便發(fā)送這些數(shù)據(jù)到顯示器或圖像合成電路。
在MPEG標準中，應用各種數(shù)據(jù)壓縮操作的結構是宏塊。像素被分組為圖像組，例如，大小為16×16個像素，四個亮度組，構成宏塊的對應的色度組。在編碼期間，如果圖像格式是4∶2∶0，YCrCb，則宏塊由四個亮度組和兩個色度組構成。在預測的臨時模式中，每一個宏塊有它自己的決定模式。如前面所述，對每一個宏程序塊決定編碼模式。它可能包括沒有使用預測的內(nèi)部類型的編碼、使用后向、前向(如在標準中所知的一樣)或雙向運動矢量的預測類型的編碼。P型圖像的宏塊可以在內(nèi)部模式中編碼，而后面的宏塊可以使用采用參考圖像的運動補償在中間模式中編碼。
不必須標準化的其它模式的壓縮以與像素組有關的計算為基礎，如在MPEG標準中描述的，這些像素組不是圖像組。預測模式可以以按照同類標準把圖像分段獲得的區(qū)域為基礎。
本發(fā)明適用于這些像素組，也稱為GOP(像素組)。因此，這可能包括宏塊、或圖像組、或如連接區(qū)域的其它小的復雜結構。編碼決定模式獨立于每一GOP，該GOP被獨立編碼或使用前面和/或后面圖像編碼。
發(fā)明簡述本發(fā)明的目的是克服上述的缺點。
本發(fā)明的主題是用于圖像序列的格式轉換的方法，其使用根據(jù)像素組的結構編碼的視頻數(shù)據(jù)，其特征在于對于將被轉換的編碼像素組，如果所用編碼的模式是沒有剩余的中間類型，則轉換由與所述編碼像素組有關的運動矢量鏈接的前面圖像的轉換像素組的復制進行。
如果與像素組有關的運動矢量是零，則轉換由位于同一處的像素組的重新復制進行，如果運動矢量不是零，則通過前面轉換的圖像中的運動補償進行轉換。
本發(fā)明的另一主題也是用于圖像序列的格式轉換的方法，其使用根據(jù)像素組的結構編碼的視頻數(shù)據(jù)，其特征在于對于將被轉換的編碼像素組，如果編碼數(shù)據(jù)的傳輸誤差引起等效于沒有剩余的中間類型的解碼的誤差掩碼模式，則通過與所述編碼像素組有關的運動矢量鏈接的前面圖像的轉換像素組的復制進行轉換。
本發(fā)明的另一主題還是用于圖像序列的格式轉換的方法，其使用根據(jù)像素組的結構編碼的視頻數(shù)據(jù)，編碼的數(shù)據(jù)包括允許可量測性的補充數(shù)據(jù)，就是說獲得了不同分辨率的圖像，其特征在于如果屬于像素組和給定分辨率的補充數(shù)據(jù)具有零值，用于給定分辨率的轉換圖像的這個像素組從較低分辨率圖像的轉換像素組獲得。
因此，格式轉換不應用到整個圖像，而只應用到剩余不是零的像素組。
當解碼模式是對應運動補償和附加剩余的臨時預測模式時，如果這個剩余是零，運動補償被應用在顯示域而不是解碼域。如果沒有運動補償，則進行轉換像素組的重新復制。
本發(fā)明的主要優(yōu)點是在臨時預測的情況中，通過利用用于每一GOP的決定模式，最佳化了格式轉換的計算時間。顯示域內(nèi)的GOP的運動補償通常比這個GOP的格式化所用的時間少。當運動是零它僅包括簡單的重新復制時更是如此。因此，簡化了解碼器并減少了成本。
本發(fā)明的其它特點和優(yōu)點將通過非限制性例子和附圖給出的描述將變得很清楚。


圖1是數(shù)據(jù)解碼和轉換處理的示意圖；圖2是轉換處理的流程圖；圖3示出宏塊轉換的各種色度格式。
圖4示出宏塊結構的可量測性。
發(fā)明的詳細描述本發(fā)明的圖像格式轉換方法描述在圖2中。
第一步驟5接收如數(shù)據(jù)流形式的編碼的視頻數(shù)據(jù)。它對這些數(shù)據(jù)進行解碼。他對每一GOP存儲屬于中間或內(nèi)部編碼模式、剩余和運動矢量的信息。例如，標記表明剩余是否被編碼，即非零，或者，如果它沒有被編碼，即它是零。
格式轉換通過下列步驟完成步驟6對每一個后面的像素組進行所用編碼模式的測試。
如果編碼模式是中間類型，且如果GOP的剩余是零(沒有剩余的中間類型)，那么，下一步驟是步驟7。
如果編碼模式不是中間類型(內(nèi)部編碼)，或者，在編碼模式是中間類型的情況下，如果剩余不是零，下面的步驟是步驟9，步驟9對于考慮的像素組執(zhí)行常規(guī)格式轉換。步驟7對像素組所用的編碼模式進行新的測試。如果GOP的運動矢量是零矢量，下面的步驟是步驟8。如果運動矢量不是零矢量，下面的步驟是步驟10，步驟10使用這個矢量和在前面顯示的圖像，即，也在這個步驟發(fā)送的轉換圖像完成運動補償。
步驟8對發(fā)送到這個步驟的前面顯示的圖像的像素組進行重新復制。因此，顯示域的GOP由簡單重新復制前面顯示圖像的對應GOP獲得。
來自步驟9、10和8的輸出對應將被顯示的當前圖像的像素組，這些數(shù)據(jù)被發(fā)送到步驟11，步驟11執(zhí)行存儲該當前圖像的這些像素組。根據(jù)處理的當前圖像，這個步驟提供前面存儲的圖像，如前所述，該圖像被發(fā)送到步驟8和10。這個前面的圖像是參考圖像，從該參考圖像對當前圖像進行運動估算。
因此，在構成這個圖像的所有像素組已經(jīng)被處理完后，完整的當前圖像在步驟9、10和8的輸出端獲得，以顯示在屏幕上。
存儲在步驟5中的圖像按照所用的編碼標準不同地獲得。在MPEG2標準的情況中，在跳躍宏程序塊模式(如在標準中知道的一樣)和未編碼模式中零遇到剩余宏。
“跳躍宏塊”模式由沒有被編碼的數(shù)據(jù)項的宏塊構成。所有DCT系數(shù)被認為等于零。通過利用它們的臨時或空間環(huán)境，解碼器形成涉及跳躍宏塊的預測。跳躍宏塊的處理是不同的，取決于它是否包括P型的圖像或B型的圖像。
在P型的圖像情況中，運動矢量預測器被復位到零。發(fā)送的運動矢量具有零值。
因此，當前的宏塊在相同位置(同一位置)與前面圖像的宏塊相同。
在B型圖像的情況中，預測的方向(向前/向后/雙向)與前面宏塊的方向相同。運動矢量預測器沒有被修改。
“未編碼”模式的部分由包含報頭的宏塊構成，并且，沒有數(shù)據(jù)項涉及DCT系數(shù)。通過在宏塊報頭，在解碼器端通過宏塊報頭獲得向前和/或向后的運動矢量。根據(jù)圖像的類型，存在各種不同的結構- 對于P型圖像，使用未編碼運動補償(MC)模式。但是，如果向后運動矢量是零，我們恢復跳躍宏塊模式。
- 對于B型圖像，各種編碼模式是“未編碼向后”、“未編碼向前”、“未編碼內(nèi)插”(雙向)。
圖3表示從與宏塊結構有關的色度格式對應的各種類型標準轉換成為4∶4∶4 RGB標準。
在中間模式中，“跳躍宏塊”的外部，即，所有形成宏塊的組沒有被編碼。形成宏程序塊的組可能被編碼或不被編碼。正是圖形-代碼結構提示或cbp(表示編碼的組圖形)代碼指示剩余沒有被編碼，即具有零值的那些組。按照本發(fā)明的特征，把Y亮度和cr、cb色度組轉換成為RGB組是作為cbp代碼值的函數(shù)進行的。下面給出一個例子格式4∶2∶0如果cbp代碼顯示Y、Cr、Cb域的組b3、b4、b5沒有被編碼，那么，RGB域的一個或多個組b3、b10、b11可以是前面圖像組的重新復制，不需要任何轉換。
格式4∶2∶2如果cbp代碼顯示Y、Cr、Cb域的組b3、b6、b7沒有被編碼，那么，RGB域的組b3、b10、b11可以是前面圖像組的重新復制，不需要任何轉換。
格式4∶4∶4如果cbp代碼顯示Y、Cr、Cb域的組b3、b10、b11沒有被編碼，那么，RGB域的組b3、b10、b11可以是前面圖像組的重新復制，不需要任何轉換。
在GOP是圖像組的情況中，cbp代碼提示使其可以確定具有零剩余的圖像組，對該圖像組，不需要常規(guī)的轉換處理該組；顯示域中的圖像組由簡單重新復制這個顯示域內(nèi)的另一個組而獲得。
特殊情況涉及到防止解碼GOP的編碼數(shù)據(jù)的傳輸中的誤差。
當識別出傳輸誤差時，解碼器執(zhí)行誤差掩碼算法。用于重構GOP的這些算法由復制或運動補償與一個或多個前面圖像有關的解碼數(shù)據(jù)構成。丟失的GOP從GOP和前面編碼的運動矢量重構。
一個例子是簡單地重新復制前面圖像的相同位置的宏塊。本發(fā)明提出了非常簡單地重新復制前面圖像被轉換的同一位置的宏塊，取代了對用于代替丟失宏塊的宏塊應用格式轉換。
因此，對于丟失的GOP，不需要格式轉換。當解碼器檢測到誤差時，實施本發(fā)明的方法。它應用與解碼域相同的誤差掩碼操作。但是，GOP的重構在顯示域內(nèi)執(zhí)行，即，從轉換的組開始而不是從解碼的組開始。
例如，由解碼器執(zhí)行的某些算法對解碼的數(shù)據(jù)進行簡單的操作，以便改善圖像質(zhì)量或增加標識。因此，對于聲稱太暗的圖像，處理算法可以決定把連續(xù)的分量(偏移)加到DCT系數(shù)，以便人工地增加亮度。
代替對解碼數(shù)據(jù)執(zhí)行增加偏移值而獲得新宏塊，如果我們使用宏塊的例子，隨后在顯示域將其轉換，在未編碼宏塊方面，即這些宏塊具有零剩余，本發(fā)明建議該操作直接應用到轉換的宏塊。它是對應具有零剩余的宏塊的轉換的宏塊，而不是解碼的宏塊。轉換的抵消被加到具有零剩余的宏程序塊，這個偏移在解碼域和顯示域是不同的，以便獲得新轉換的宏塊。
標示的疊加包括把信號加入幾個解碼的宏塊操作對于所有圖像是相同的。建議的解決方案包括把這個信號或準確的轉換信號加到轉換的宏塊，即加到顯示域。
另一個應用涉及到可量測性。
某些如MPEG2或MPEG4標準的編碼在圖像分辨率的級別上提供了可量測性。首先編碼基層?？梢酝ㄟ^增加源于改善的后面層的剩余改善基層，后面層具有與基層的GOP相同的尺寸。與在臨時預測情況中建議的格式轉換具有相同原理的格式轉換可以應用在此。
圖4表示基層12、1級層13、2級層14。
解碼器首先解碼基層，然后，盡可能解碼較高分辨率的層。這些不同的層對應被加到基層的剩余，以改善解碼圖像中的精度。在宏塊結構的例子中，對于給定的層，如果宏塊的剩余是零，則處理包括復制前面層的轉換的宏塊。因此，不需要執(zhí)行格式轉換，以獲得屬于這個給定的層的宏程序塊。
對于較高分辨率層的GOP，這個可量測性可被視為沒有剩余、零運動矢量的中間編碼模式。中間編碼是在較高分辨率層和基層之間采取的。
在此所述的轉換格式?jīng)]有限制，本發(fā)明可以應用到任何類型的格式轉換。
它也適用于“在內(nèi)部的中間”編碼模式，該模式包括對作為相同圖像的前面GOP的函數(shù)而不是作為前面圖像的GOP的函數(shù)的圖像的GOP編碼。如果剩余是零，則“在內(nèi)部的中間”編碼的GOP由簡單重新復制早已經(jīng)在相同圖像轉換的GOP轉換。
當編碼產(chǎn)生大量零剩余組時，本發(fā)明更有效的，這屬于不要求高質(zhì)量的重構的應用的情況，特別是在比特率較低的互聯(lián)網(wǎng)上的視頻應用程序，其比特率是很低的。它對于具有較少運動的圖像也是有效的，例如，視頻電話應用。
權利要求
1.一種圖像序列的格式轉換方法，其根據(jù)像素組的結構使用編碼的視頻數(shù)據(jù)，其特征在于對于將被轉換的編碼像素組，如果所用編碼的模式是沒有剩余(6)的中間類型，則通過與所述編碼像素組有關的運動矢量鏈接的前面圖像(11)轉換的像素組的復制(8、10)進行轉換。
2.按權利要求1所述的方法，其特征在于如果與像素組有關的運動矢量是零(7)，則轉換由位于同一處的像素組(11)的重新復制(8)進行，如果運動矢量不是零(7)，則轉換由前面轉換的圖像(11)中的運動補償(10)進行。
3.按權利要求1所述的方法，其特征在于按照MPEG標準對數(shù)據(jù)進行編碼，其中，像素組是圖像組，編碼模式從定義宏塊中的編碼組分配的cbp(編碼組圖形)碼確定。
4.按權利要求1所述的方法，其特征在于按照MPEG標準對數(shù)據(jù)進行編碼，其中，像素組是宏塊，所述的編碼模式從“跳躍宏程序塊”或“未編碼”模式確定。
5.按權利要求1所述的方法，使用可應用在解碼的像素組級上的簡單數(shù)學運算，用修改的顯示補充格式轉換，其特征是適合顯示域的運算被應用到復制的轉換像素組。
6.按權利要求5所述的方法，其特征在于簡單的運算是加入偏移。
7.一種圖像序列的格式轉換方法，其根據(jù)像素組的結構使用編碼的視頻數(shù)據(jù)，其特征在于對于將被轉換的編碼像素組，如果編碼數(shù)據(jù)的傳輸誤差引起等效于沒有剩余的中間類型的解碼的誤差掩碼模式，則通過與所述編碼像素組有關的運動矢量鏈接的前面圖像轉換的像素組的復制進行轉換。
8.一種圖像序列的格式轉換方法，其根據(jù)像素組的結構使用編碼的視頻數(shù)據(jù)，編碼的數(shù)據(jù)包括允許可量測性的補充數(shù)據(jù)，就是說獲得了不同分辨率的圖像(12、13、14)，其特征在于如果屬于像素組和給定分辨率(13、14)的補充數(shù)據(jù)具有零值，用于給定分辨率(13、14)的轉換圖像的這個像素組從較低分辨率(12)圖像的轉換像素組獲得。
全文摘要
一種圖像序列的格式轉換方法,其特征在于對于將被轉換的編碼像素組,如果所用編碼的模式是沒有剩余(6)的中間類型,則通過與所述編碼像素組有關的運動矢量鏈接的前面圖像(11)轉換的像素組的復制(8、10)進行轉換。應用涉及到圖像的顯示和合成。
文檔編號H04N7/26GK1338705SQ0112386
公開日2002年3月6日 申請日期2001年8月7日 優(yōu)先權日2000年8月11日
發(fā)明者愛德華·弗朗索瓦, 格溫埃爾·凱爾維拉, 多米尼克·托羅 申請人:湯姆森許可貿(mào)易公司