專利名稱：視頻編碼方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)一個(gè)包括一系列連續(xù)的幀組的輸入圖像序列編碼的視頻編碼方法，所述方法包括對(duì)每個(gè)連續(xù)的稱為當(dāng)前幀的和細(xì)分成塊的幀執(zhí)行的下列步驟為當(dāng)前幀的每個(gè)塊估計(jì)一個(gè)運(yùn)動(dòng)向量；用分別與當(dāng)前幀的這些塊關(guān)聯(lián)的所述運(yùn)動(dòng)向量產(chǎn)生一個(gè)預(yù)測(cè)幀；對(duì)當(dāng)前幀與最近的預(yù)測(cè)幀之間的差信號(hào)執(zhí)行一個(gè)變換子步驟，產(chǎn)生多個(gè)系數(shù)，再對(duì)所述系數(shù)執(zhí)行一個(gè)量化子步驟；以及對(duì)所述經(jīng)量化的系數(shù)編碼。
本發(fā)明例如可用于需要基準(zhǔn)幀來(lái)減小例如時(shí)間冗余度的視頻編碼設(shè)備(諸如運(yùn)動(dòng)估計(jì)和補(bǔ)償設(shè)備)。這樣的操作是當(dāng)前視頻編碼標(biāo)準(zhǔn)的一部分，預(yù)期也同樣會(huì)是將來(lái)編碼標(biāo)準(zhǔn)的一部分。視頻編碼技術(shù)例如用于諸如數(shù)字?jǐn)z像機(jī)、移動(dòng)電話或數(shù)字視頻記錄設(shè)備之類。此外，可以用本發(fā)明所提出的技術(shù)來(lái)改善對(duì)視頻的編碼或譯碼的應(yīng)用。
背景技術(shù)：
在視頻壓縮中，通過(guò)減小連續(xù)圖像之間的時(shí)間冗余(及其他一些措施)可以用低的比特率發(fā)送編碼視頻序列。這樣降低發(fā)送編碼視頻序列的比特率基于運(yùn)動(dòng)估計(jì)(ME)和運(yùn)動(dòng)補(bǔ)償(MC)技術(shù)。然而，對(duì)視頻序列當(dāng)前幀執(zhí)行ME和MC需要有基準(zhǔn)幀(也稱為錨幀)。以MPEG-2為例，已經(jīng)定義了I、P和B幀這樣一些不同的幀型，對(duì)于不同的幀型不同地執(zhí)行ME和MCI幀(或幀內(nèi)編碼幀)單獨(dú)獨(dú)立編碼，不參考任何過(guò)去或?qū)?lái)的幀(即不用任何ME和MC)，但是P幀(或者說(shuō)正向預(yù)測(cè)幀)各相對(duì)一個(gè)過(guò)去幀編碼(即用對(duì)前一個(gè)基準(zhǔn)幀的運(yùn)動(dòng)補(bǔ)償)而B(niǎo)幀(或者說(shuō)雙向預(yù)測(cè)幀)相對(duì)兩個(gè)基準(zhǔn)幀(一個(gè)過(guò)去幀和一個(gè)將來(lái)幀)編碼。I幀和P幀用作基準(zhǔn)幀。
為了得到好的幀預(yù)測(cè)，要求這些基準(zhǔn)幀是高質(zhì)量的，即需要用較多的比特對(duì)它們編碼，而非基準(zhǔn)幀可以質(zhì)量較低(因此，較多的非基準(zhǔn)幀(在MPEG-2的情況下為B幀)通常導(dǎo)致較低的比特率)。為了指出哪些輸入幀處理為I幀、P幀或B幀，在MPEG-2中規(guī)定了一種基于圖像組(GOP)的結(jié)構(gòu)。更確切地說(shuō)，一個(gè)GOP使用N和M兩個(gè)參數(shù)，其中N為兩個(gè)I幀之間的時(shí)間距離而M為基準(zhǔn)幀之間的時(shí)間距離。例如，通常使用的(N，M)-GOP有N＝12和M＝4，規(guī)定了結(jié)構(gòu)為“IBBBPBBBPBBB”。
連續(xù)的幀通常具有比時(shí)間距離較大的幀大的時(shí)間相關(guān)性。因此，基準(zhǔn)幀與當(dāng)前預(yù)測(cè)幀之間的時(shí)間距離越短預(yù)測(cè)質(zhì)量越高，但是意味著可以使用的非基準(zhǔn)幀越少。高的預(yù)測(cè)質(zhì)量和多的非基準(zhǔn)幀通常導(dǎo)致低的比特率，但是它們是相互矛盾的，因?yàn)橹挥卸痰臅r(shí)間距離才能得到高的幀預(yù)測(cè)質(zhì)量。
然而，所述質(zhì)量還取決于實(shí)際用作基準(zhǔn)的基準(zhǔn)幀的使用情況。例如，在一個(gè)基準(zhǔn)幀處在景象剛要改變前的情況下，顯然不可能相對(duì)這個(gè)基準(zhǔn)幀來(lái)預(yù)測(cè)一個(gè)處在景象剛改變后的幀，雖然它們之間的幀距離可能只有1。另一方面，在內(nèi)容穩(wěn)定或幾乎穩(wěn)定的景象(如電視會(huì)議或新聞)中，即使幀距離大于100仍然可以得到高質(zhì)量的預(yù)測(cè)。
從以上所提到的例子可見(jiàn)，諸如通常使用的(12，4)-GOP之類的固定GOP結(jié)構(gòu)對(duì)視頻序列編碼來(lái)說(shuō)可能是低效率的，因?yàn)樵趦?nèi)容穩(wěn)定的情況下過(guò)于頻繁地引入基準(zhǔn)幀，或者在景象改變的情況下在景象剛要改變前的不適當(dāng)位置引入基準(zhǔn)幀。景象改變檢測(cè)是一種已知的技術(shù)，可以用來(lái)在由于景象改變而不可能得到好的幀預(yù)測(cè)的位置(如果在這個(gè)位置沒(méi)有I幀的話)引入一個(gè)I幀。然而，如果幀內(nèi)容在一些具有高度運(yùn)動(dòng)的幀后幾乎完全不同，但景象完全沒(méi)有改變(例如，在單個(gè)景象內(nèi)追隨一個(gè)網(wǎng)球運(yùn)動(dòng)員攝影的序列中)的話那么序列就從這樣的技術(shù)中得不到多少好處。

發(fā)明內(nèi)容
因此，本發(fā)明的目的是提出一種發(fā)現(xiàn)可以用作基準(zhǔn)幀的好幀的方法，以便降低對(duì)預(yù)測(cè)幀的編碼代價(jià)。
為此，本發(fā)明與諸如在本說(shuō)明的前言段內(nèi)所述的預(yù)處理有關(guān)，其中對(duì)每個(gè)連續(xù)的當(dāng)前幀執(zhí)行一個(gè)預(yù)處理步驟，所述預(yù)處理步驟本身包括下列子步驟計(jì)算子步驟，用來(lái)為每個(gè)幀計(jì)算一個(gè)所謂的內(nèi)容改變強(qiáng)度(CCS)；規(guī)定子步驟，用來(lái)根據(jù)連續(xù)的幀和所計(jì)算的內(nèi)容改變強(qiáng)度規(guī)定需編碼的連續(xù)幀組的結(jié)構(gòu)；以及存儲(chǔ)子步驟，用來(lái)按對(duì)原始幀序列的次序作了修改的次序存儲(chǔ)需編碼的幀。
本發(fā)明還涉及實(shí)現(xiàn)所述方法的設(shè)備。
在論文“MPEG編碼的經(jīng)速率失真最佳化的幀類型選擇”(“Rate-distortion optimized frame type selection for MPEGencoding”，J.Lee et al.，IEEE Transactions on Circuits andSystems for Video Technology，vol.7，no.3，June 1997)中揭示了一種還允許動(dòng)態(tài)獲得GOP結(jié)構(gòu)優(yōu)化的算法。然而，對(duì)于尋找基準(zhǔn)幀的最佳數(shù)量和位置來(lái)說(shuō)，如所揭示的問(wèn)題用Lagrangian增效技術(shù)確定，它的解基于所模擬的退火，這是一種花費(fèi)極大的技術(shù)，需要很大的計(jì)算量和存儲(chǔ)器。


下面將結(jié)合附圖對(duì)本發(fā)明進(jìn)行示例性的說(shuō)明，在這些附圖中圖1例示了用來(lái)按照本發(fā)明規(guī)定需編碼的視頻序列的基準(zhǔn)幀的位置的規(guī)則；圖2例示了以MPEG-2為例實(shí)現(xiàn)按照本發(fā)明所設(shè)計(jì)的編碼方法的編碼器；以及圖3示出了一種實(shí)現(xiàn)所述編碼方法但采用了另一種運(yùn)動(dòng)估計(jì)器的編碼器。
具體實(shí)施例方式
本發(fā)明涉及一種編碼方法，用一個(gè)預(yù)處理步驟來(lái)尋找序列內(nèi)哪些幀可以用作基準(zhǔn)幀，以便降低對(duì)預(yù)測(cè)幀的編碼代價(jià)。搜索這些好幀超出了只檢測(cè)景象改變的限制，旨在對(duì)具有類似內(nèi)容的幀進(jìn)行分組。更確切地說(shuō)，本發(fā)明的原理是根據(jù)一些簡(jiǎn)單的規(guī)則測(cè)量?jī)?nèi)容改變的強(qiáng)度。這些規(guī)則如下所列，將結(jié)合圖1進(jìn)行說(shuō)明，圖中水平軸與所關(guān)注的幀的序號(hào)(Frame nr)相應(yīng)而垂直軸與內(nèi)容改變的強(qiáng)度水平相應(yīng)(a)將測(cè)得的內(nèi)容改變的強(qiáng)度量化為一些級(jí)別(初步試驗(yàn)表明量化成5個(gè)級(jí)別似乎就足夠了，但級(jí)別數(shù)并不構(gòu)成對(duì)本發(fā)明的限制)；(b)在幀序列的內(nèi)容改變強(qiáng)度(CCS)為級(jí)別0的開(kāi)始處插入I幀；
(c)在出現(xiàn)CCS級(jí)別增大之前插入P幀，以便用最近的內(nèi)容最穩(wěn)定的幀作為基準(zhǔn)幀；以及(d)基于同樣的理由，在出現(xiàn)CCS級(jí)別減小之后插入P幀。
就測(cè)量本身來(lái)說(shuō)，優(yōu)選的是測(cè)量可以飛快適應(yīng)GOP結(jié)構(gòu)，即適應(yīng)可以在對(duì)后續(xù)的幀分析后最新作出的幀類型的判決(可以看到由于編碼器沒(méi)有在不限制許可的GOP規(guī)模的情況下實(shí)時(shí)視頻編碼所需的無(wú)限存儲(chǔ)器可用，因此可以按照應(yīng)用策略在任何時(shí)候插入基準(zhǔn)幀)?？梢耘e一個(gè)例子，如果測(cè)量是例如一個(gè)簡(jiǎn)單的檢測(cè)水平和垂直沿的塊分類(其他測(cè)量可以基于亮度、運(yùn)動(dòng)向量等)在一個(gè)初步試驗(yàn)中通過(guò)比較對(duì)于兩個(gè)相繼幀發(fā)現(xiàn)的塊類別和對(duì)在一個(gè)塊內(nèi)沒(méi)有保持不變的特征“檢測(cè)到的水平邊緣”或“檢測(cè)到的垂直邊緣”計(jì)數(shù)得出CCS。每個(gè)非不變特征為CCS數(shù)值計(jì)為(100)/(2*8*b)，其中b為幀內(nèi)的塊數(shù)。在這個(gè)例子中，CCS的范圍為從0到6。對(duì)于這個(gè)例子所作的試驗(yàn)還包括一個(gè)簡(jiǎn)單的濾波器，這個(gè)濾波器在一個(gè)新的CCS數(shù)值穩(wěn)定了三個(gè)幀后才輸出這個(gè)新的CCS數(shù)值。這個(gè)濾波器看來(lái)特別在從運(yùn)動(dòng)轉(zhuǎn)換到靜止的情況下是有益的，一個(gè)應(yīng)該用于I幀的準(zhǔn)確圖像延遲三個(gè)幀，雖然檢測(cè)到?jīng)]有內(nèi)容改變。盡管有這個(gè)濾波器，但可以將CCS數(shù)值與上一個(gè)相比增大2看作足夠強(qiáng)以不加濾波就進(jìn)行處理。
圖2示出了按照本發(fā)明所設(shè)計(jì)的方法在MPEG編碼情況下的一個(gè)實(shí)現(xiàn)。MPEG-2編碼器通常包括一個(gè)編碼支路101和一個(gè)預(yù)測(cè)支路102。支路101接收到的需編碼的信號(hào)在DCT和量化模塊11內(nèi)變換成一些系數(shù)后加以量化，經(jīng)量化的系數(shù)在編碼模塊13內(nèi)與如下面所說(shuō)明的那樣產(chǎn)生的運(yùn)動(dòng)向量MV一起編碼。接收在DCT和量化模塊11的輸出端可得到的信號(hào)作為輸入信號(hào)的預(yù)測(cè)支路包括串聯(lián)的去量化和逆DCT模塊21、加法器23、幀存儲(chǔ)器24、運(yùn)動(dòng)補(bǔ)償(MC)電路25和減法器26。MC電路25還接收運(yùn)動(dòng)估計(jì)(ME)電路27根據(jù)輸入的重排幀(如下面所說(shuō)明的那樣定義)產(chǎn)生的運(yùn)動(dòng)向量MV和幀存儲(chǔ)器24的輸出，運(yùn)動(dòng)向量還發(fā)送給編碼模塊13，編碼模塊13的輸出(MPEG輸出)以一個(gè)多路復(fù)用比特流的形式存儲(chǔ)或發(fā)送。
按照本發(fā)明，編碼器的視頻輸入(連續(xù)幀Xn)在下面要說(shuō)明的預(yù)處理支路103內(nèi)預(yù)處理。首先，GOP結(jié)構(gòu)規(guī)定電路31根據(jù)連續(xù)的幀規(guī)定GOP的結(jié)構(gòu)。幀存儲(chǔ)器32a、32b、...用來(lái)重排在電路31的輸出端可得到的由I、P、B各幀組成的序列(基準(zhǔn)幀必須在取決于基準(zhǔn)幀的非基準(zhǔn)幀前編碼和發(fā)送)。這些經(jīng)重排的幀發(fā)送到減法器26的正輸入上(減法器26的負(fù)輸入端如上面所說(shuō)明的那樣接收在MC電路25的輸出端上可得到的輸出預(yù)測(cè)幀，這些預(yù)測(cè)幀還發(fā)送回加法器23的第二輸入端)。減法器26的輸出給出了幀間差，作為由編碼支路101處理的信號(hào)。為了規(guī)定GOP結(jié)構(gòu)，設(shè)置了一個(gè)CCS計(jì)算電路33。所述CCS的度量例如可以如以上結(jié)合圖1所指出的那樣得到，但也可以用其他方式給出。
可以指出，這里所揭示的本發(fā)明并不局限于在用經(jīng)典的塊匹配算法(BMA)的傳統(tǒng)的MPEG運(yùn)動(dòng)估計(jì)器的情況下這樣一種實(shí)現(xiàn)?？梢蕴岢鲞\(yùn)動(dòng)估計(jì)器的其他實(shí)現(xiàn)方式，例如在“用顯示幀次序和多時(shí)間基準(zhǔn)的可升級(jí)MPEG編碼的新的靈活的運(yùn)動(dòng)估計(jì)技術(shù)”(“New flexible motionestimation technique for scalable MPEG encoding using displayframe order and multi-temporal references”，S.Mietens andal.，IEEE-ICIP 2002，Proceedings，September 22-25，2002，Rochester，USA，pp.I701 to 704)中所揭示的運(yùn)動(dòng)估計(jì)器，這并不脫離本發(fā)明的專利保護(hù)范圍。圖3示出了采用這種運(yùn)動(dòng)估計(jì)器的編碼器，其中類似的電路標(biāo)以與圖2中的相同的標(biāo)號(hào)。修改涉及三個(gè)由數(shù)字1、2和3所標(biāo)示的電路兩個(gè)附加功能塊301和302和相對(duì)于圖2中的ME電路27作了修改的功能塊303。第一塊301直接從輸入端按顯示次序接收幀，對(duì)這些接連的幀執(zhí)行運(yùn)動(dòng)估計(jì)(ME)。因此，ME得到高精確的運(yùn)動(dòng)向量，因?yàn)閹嚯x很小而且使用的是未修改的幀。這些運(yùn)動(dòng)向量存儲(chǔ)在存儲(chǔ)器MVS內(nèi)。第二塊302通過(guò)將存儲(chǔ)在存儲(chǔ)器MVS內(nèi)的向量段線性組合估計(jì)MPEG編碼所需的運(yùn)動(dòng)向量段。第三塊303是可任選激活的，用來(lái)通過(guò)另一個(gè)ME處理改善在塊302內(nèi)產(chǎn)生的向量段。圖2中的ME電路27(以及圖3中的塊303)通常使用已經(jīng)通過(guò)分支DCT、量化(Quant)、去量化(InvQuant)和IDCT的幀，從而幀的質(zhì)量有所降低，不利于精確ME。然而，由于塊303再用來(lái)自塊302的近似值，這些經(jīng)改善的向量段比圖2的ME電路27計(jì)算出的向量段精確。功能塊“塊結(jié)構(gòu)規(guī)定”如在本說(shuō)明中所揭示的那樣根據(jù)從塊“CCS計(jì)算”接收到的數(shù)據(jù)決定GOP結(jié)構(gòu)。如早先所述內(nèi)容改變強(qiáng)度的度量可以基于一種或幾種類型的信息(塊分類、亮度、運(yùn)動(dòng)向量等)，因此塊“計(jì)算CCS”可以用不同的輸入來(lái)計(jì)算內(nèi)容改變強(qiáng)度(CCS)。
權(quán)利要求
1.一種對(duì)包括一系列連續(xù)的幀組的輸入圖像序列編碼的視頻編碼方法，所述方法包括對(duì)每個(gè)連續(xù)的稱為當(dāng)前幀的和細(xì)分成一些塊的幀執(zhí)行的下列步驟為當(dāng)前幀的每個(gè)塊估計(jì)運(yùn)動(dòng)向量；用分別與當(dāng)前幀的這些塊關(guān)聯(lián)的所述運(yùn)動(dòng)向量產(chǎn)生預(yù)測(cè)幀；對(duì)當(dāng)前幀與最近的預(yù)測(cè)幀之間的差信號(hào)執(zhí)行變換子步驟，產(chǎn)生多個(gè)系數(shù)，再對(duì)所述系數(shù)執(zhí)行量化子步驟；對(duì)所述經(jīng)量化的系數(shù)編碼；其中對(duì)每個(gè)連續(xù)的當(dāng)前幀執(zhí)行預(yù)處理步驟，所述預(yù)處理步驟本身包括下列子步驟計(jì)算子步驟，用來(lái)為每個(gè)幀計(jì)算所謂的內(nèi)容改變強(qiáng)度(CCS)；規(guī)定子步驟，用來(lái)根據(jù)連續(xù)的幀和所計(jì)算的內(nèi)容改變強(qiáng)度規(guī)定需編碼的連續(xù)幀組的結(jié)構(gòu)；以及存儲(chǔ)子步驟，用來(lái)按對(duì)原始幀序列的次序作了修改的次序存儲(chǔ)需編碼的幀。
2.如權(quán)利要求1所述的編碼方法，其中所述CCS根據(jù)以下規(guī)則規(guī)定(a)將測(cè)得的內(nèi)容改變的強(qiáng)度量化為一些級(jí)別；(b)在幀序列的內(nèi)容改變強(qiáng)度(CCS)為級(jí)別0的開(kāi)始處插入I幀；(c)在出現(xiàn)CCS級(jí)別增大之前插入P幀；以及(d)在出現(xiàn)CCS級(jí)別減小之后插入P幀。
3.一種對(duì)包括一系列連續(xù)的幀組的輸入圖像序列編碼的視頻編碼設(shè)備，所述設(shè)備包括對(duì)每個(gè)連續(xù)的稱為當(dāng)前幀和細(xì)分成一些塊的幀執(zhí)行處理的下列裝置估計(jì)裝置，用來(lái)為當(dāng)前幀的每個(gè)塊估計(jì)運(yùn)動(dòng)向量；產(chǎn)生裝置，用來(lái)根據(jù)分別與當(dāng)前幀關(guān)聯(lián)的所述運(yùn)動(dòng)向量產(chǎn)生預(yù)測(cè)幀；變換和量化裝置，用來(lái)對(duì)當(dāng)前幀與最近的預(yù)測(cè)幀之間的差信號(hào)執(zhí)行變換處理，產(chǎn)生多個(gè)系數(shù)，再對(duì)所述系數(shù)執(zhí)行量化處理；編碼裝置，用來(lái)對(duì)所述經(jīng)量化的系數(shù)編碼；其中所述編碼設(shè)備還包括對(duì)每個(gè)連續(xù)的當(dāng)前幀執(zhí)行預(yù)處理的預(yù)處理裝置，所述預(yù)處理裝置本身包括以下裝置計(jì)算裝置，用來(lái)為每個(gè)幀計(jì)算所謂的內(nèi)容改變強(qiáng)度(CCS)；規(guī)定裝置，用來(lái)根據(jù)連續(xù)的幀和所計(jì)算的內(nèi)容改變強(qiáng)度規(guī)定需編碼的相繼幀組的結(jié)構(gòu)；以及存儲(chǔ)裝置，用來(lái)按對(duì)原始幀序列的次序作了修改的次序存儲(chǔ)需編碼的幀。
4.如權(quán)利要求3所述的編碼設(shè)備，其中所述CCS根據(jù)以下規(guī)則規(guī)定(a)將測(cè)得的內(nèi)容改變的強(qiáng)度量化為一些級(jí)別；(b)在幀序列的內(nèi)容改變強(qiáng)度(CCS)為級(jí)別0的開(kāi)始處插入I幀；(c)在出現(xiàn)CCS級(jí)別增大之前插入P幀；以及(d)在出現(xiàn)CCS級(jí)別減小之后插入P幀。
全文摘要
本發(fā)明提出了一種對(duì)由一系列連續(xù)的幀組組成的序列的每個(gè)幀編碼的視頻編碼方法。這種方法包括對(duì)每個(gè)連續(xù)的本身再細(xì)分成一些塊的當(dāng)前幀執(zhí)行的下列步驟為每個(gè)塊估計(jì)一個(gè)運(yùn)動(dòng)向量；根據(jù)這些運(yùn)動(dòng)向量產(chǎn)生一個(gè)預(yù)測(cè)幀；對(duì)當(dāng)前幀與最近的預(yù)測(cè)幀之間的差信號(hào)執(zhí)行變換和量化子步驟；以及對(duì)因此得到的經(jīng)量化的系數(shù)編碼。對(duì)每個(gè)連續(xù)的當(dāng)前幀執(zhí)行的預(yù)處理步驟為所述幀計(jì)算所謂的內(nèi)容改變強(qiáng)度(CCS)，用來(lái)規(guī)定經(jīng)修改的需編碼的后繼幀組的結(jié)構(gòu)。
文檔編號(hào)H04N7/26GK1867942SQ200480030012
公開(kāi)日2006年11月22日 申請(qǐng)日期2004年10月11日 優(yōu)先權(quán)日2003年10月14日
發(fā)明者S·O·米滕斯 申請(qǐng)人:皇家飛利浦電子股份有限公司