專利名稱：一種基于預(yù)測塊組的采用幀內(nèi)預(yù)測的幀內(nèi)編碼幀編碼方法
技術(shù)領(lǐng)域：
本發(fā)明屬于信號處理中的視頻編解碼領(lǐng)域，特別涉及幀內(nèi)編碼幀的編碼預(yù)測技術(shù)。
背景技術(shù)：
傳統(tǒng)的視頻編碼標(biāo)準(zhǔn)如ITU制定的H.261，H.263，H.263+，H.264標(biāo)準(zhǔn)以及ISO的MPEG組織制定的MPEG-1，MPEG-2，MPEG-4等都是建立在混合編碼，即Hybrid Coding框架之上的。所謂混合編碼框架是一種混合時間空間視頻圖象編碼方法，該方法包括先進(jìn)行幀內(nèi)、幀間的預(yù)測，以消除時間域的相關(guān)性；然后對原始圖象與預(yù)測結(jié)果的殘差進(jìn)行二維變換(采用離散余弦變換或其它線性變換)，消除空間相關(guān)性；然后進(jìn)行熵編碼，去除統(tǒng)計上的冗余度。
混合編碼框架中包括了幀內(nèi)編碼幀編碼和幀間編碼幀編碼兩種不同的編碼方法。傳統(tǒng)的幀內(nèi)編碼幀編碼過程如下對原始圖象數(shù)據(jù)進(jìn)行二維變換(采用離散余弦變換或整型變換)；然后在變換域中對變換系數(shù)進(jìn)行量化；最后進(jìn)行熵編碼，即Hunffman編碼或者算術(shù)編碼等。幀間編碼幀的編碼過程如下采用運動估計得到運動矢量，然后采用基于運動補償?shù)膸g預(yù)測，接著對幀間預(yù)測得到的殘差塊進(jìn)行二維變換，再對變換域系數(shù)進(jìn)行量化，最后進(jìn)行熵編碼。
為了提高壓縮效率，預(yù)測是最常用的技術(shù)。在最近的H.264視頻編碼標(biāo)準(zhǔn)中，幀內(nèi)編碼幀的編碼也充分的使用幀內(nèi)預(yù)測方法。采用幀內(nèi)預(yù)測的幀內(nèi)編碼幀編碼方法為對原始圖象塊與幀內(nèi)預(yù)測方法得到的預(yù)測塊的差值進(jìn)行二維變換(采用離散余弦變換或整型變換)；然后在變換域中對變換系數(shù)進(jìn)行量化；最后進(jìn)行熵編碼，即Huffman編碼或者算術(shù)編碼等。
現(xiàn)有采用幀內(nèi)預(yù)測的幀內(nèi)編碼幀編碼方法包括編碼過程和解碼過程，其中的編碼過程的具體步驟為1)從原始圖像中提取一個預(yù)測塊；2)分別以各種預(yù)測模式對預(yù)測塊內(nèi)各個象素進(jìn)行幀內(nèi)預(yù)測，得到各個預(yù)測模式下的預(yù)測塊的預(yù)測值；3)選取預(yù)測塊內(nèi)原始圖像數(shù)據(jù)和預(yù)測值的殘差最小為最佳的預(yù)測模式；4)對預(yù)測塊內(nèi)原始圖象數(shù)據(jù)和圖像在最佳的預(yù)測模式下的預(yù)測值的殘差進(jìn)行二維變換(采用離散余弦變換或整型變換)；然后在變換域中對變換系數(shù)進(jìn)行量化；最后對量化后的系數(shù)和最佳的預(yù)測模式進(jìn)行熵編碼，即Hunffman編碼或者算術(shù)編碼等，并將編碼后的數(shù)據(jù)寫入碼流。
解碼過程的具體步驟為1)首先對編碼碼流中的數(shù)據(jù)進(jìn)行熵編碼的解碼，對解碼后的數(shù)據(jù)進(jìn)行反量化和反變換后，得到本預(yù)測塊的殘差數(shù)據(jù)，并判斷出編碼過程中選定的最佳預(yù)測模式；2)采用選定的最佳預(yù)測模式，根據(jù)預(yù)測塊的參考象素，對預(yù)測塊進(jìn)行預(yù)測并得到預(yù)測值；3)用2)步得到的預(yù)測塊的預(yù)測值加上1)步得到的預(yù)測塊的殘差數(shù)據(jù)，便得到了本預(yù)測塊的重建數(shù)據(jù)。
上述方法中的預(yù)測塊(Intra Predictive Block)有兩種大小的預(yù)測塊宏塊(16×16像素)和4×4像素的矩形塊，以這種預(yù)測塊作為基本預(yù)測編解碼單位，預(yù)測塊內(nèi)每個象素的幀內(nèi)預(yù)測值是通過預(yù)測塊周圍已經(jīng)編碼和重建的塊的參考象素得到的。上述的幀內(nèi)預(yù)測方法中所述的參考象素必須是先于本預(yù)測塊已經(jīng)編碼和重建的象素。
在現(xiàn)有標(biāo)準(zhǔn)中，幀內(nèi)預(yù)測的順序是水平由左到右，垂直由上到下，因此在對每個預(yù)測塊進(jìn)行幀內(nèi)預(yù)測時，只有左邊和上邊的已經(jīng)編碼和重建的象素可能拿來作為參考象素。上述的幀內(nèi)預(yù)測方法中的每種預(yù)測模式分別對應(yīng)于不同的線性預(yù)測器。線形預(yù)測器的參數(shù)由預(yù)測塊上部和左部的參考象素的可得性決定。每種線性預(yù)測器以參考象素作為輸入，輸出的是對應(yīng)被預(yù)測象素的預(yù)測值。所說的預(yù)測模式在H.264中采用了水平、垂直、斜上、和斜下等多個不同方向的線性預(yù)測器對當(dāng)前預(yù)測塊進(jìn)行預(yù)測，其中以4×4像素的矩形塊為預(yù)測塊時，采用了9種不同方向的線性預(yù)測器，即9種預(yù)測模式。以宏塊為預(yù)測塊時，采用了4種預(yù)測模式。
如上所述，在現(xiàn)有的幀內(nèi)編碼幀編碼方法預(yù)測步驟中，幀內(nèi)預(yù)測的順序是水平由左到右，垂直由上到下，圖1標(biāo)出了在H264中一個4×4象素大小的預(yù)測塊內(nèi)象素(小寫字母表示)及其參考象素(大寫字母表示)的位置關(guān)系。
可以看出，由于在H.264中對幀內(nèi)各個預(yù)測塊采用了單純的由左及右，由上及下的編碼順序，因此參考象素只可能出現(xiàn)在預(yù)測塊的左側(cè)和上側(cè)。在對每個預(yù)測塊進(jìn)行幀內(nèi)預(yù)測時，只有左邊和上邊的已經(jīng)編碼和重建的象素可能作為參考象素，由于參考象素的缺少會影響預(yù)測效率的提高，不能滿足各種不同運動圖像的需要，阻礙了視頻信號壓縮效率的進(jìn)一步提高。

發(fā)明內(nèi)容
本發(fā)明的目的是為了克服已有幀內(nèi)編解碼技術(shù)的不足之處，提出了一種基于幀內(nèi)預(yù)測塊組(Intra Predictive Block Group)的采用幀內(nèi)預(yù)測的幀內(nèi)編碼幀編碼方法，本發(fā)明不但能提高幀內(nèi)預(yù)測效率，從而提高整個視頻信號的壓縮效率，而且能夠應(yīng)用于混合編碼。
本發(fā)明提出的一種基于預(yù)測塊組的采用幀內(nèi)預(yù)測的幀內(nèi)編碼幀編碼方法，其特征在于，設(shè)定預(yù)測塊作為進(jìn)行幀內(nèi)預(yù)測時的預(yù)測單位，該預(yù)測塊為x，y∈{4，8，16}，其中，x表示預(yù)測塊水平象素的個數(shù)，y表示預(yù)測塊垂直象素的個數(shù)；將所說的連續(xù)的四個相同大小預(yù)測塊拼在一起為預(yù)測塊組；所述幀內(nèi)編碼幀編碼方法包括編碼過程和解碼過程，其中編碼過程包括以下步驟1)從原始圖像中提取一個由4個預(yù)測塊組成的預(yù)測塊組，并構(gòu)成24種預(yù)測塊組的編碼順序；2)從所說的24種編碼順序中選取2種或2種以上的編碼順序，對其中的一種編碼順序的預(yù)測塊組中分別以各種預(yù)測模式對預(yù)測塊內(nèi)各個象素進(jìn)行預(yù)測，得到各個預(yù)測模式下的預(yù)測塊的預(yù)測值；3)選取預(yù)測塊內(nèi)原始圖像數(shù)據(jù)和預(yù)測值的殘差最小為最佳的預(yù)測模式；4)對預(yù)測塊內(nèi)原始圖象數(shù)據(jù)和圖像在最佳的預(yù)測模式下的預(yù)測值的殘差進(jìn)行編碼，并計算采用本編碼順序時的編碼代價；5)對所選取的其它編碼順序，重復(fù)上述第2)-4)步，使每種編碼順序得到相應(yīng)的編碼代價6)比較各個編碼順序下的編碼代價，選取編碼代價最小為最佳的編碼順序；將對應(yīng)于最佳編碼順序的編碼結(jié)果寫入碼流，并對最佳編碼順序進(jìn)行編碼，然后寫入碼流；
該解碼過程包括以下步驟1)首先對編碼碼流中的數(shù)據(jù)進(jìn)行解碼和判斷，得到編碼過程中選定的最佳編碼順序以及最佳編碼順序下的最佳預(yù)測模式；2)采用選定的最佳編碼順序和最佳編碼順序下的最佳預(yù)測模式，根據(jù)預(yù)測塊的參考象素，對預(yù)測塊進(jìn)行預(yù)測并得到預(yù)測值；3)用第2)步得到的預(yù)測塊的預(yù)測值加上第1)步得到的預(yù)測塊的殘差數(shù)據(jù)，便得到了本預(yù)測塊的重建數(shù)據(jù)。
所說的每種預(yù)測模式分別對應(yīng)于不同的預(yù)測器；每種預(yù)測器以參考象素作為輸入，輸出的是對應(yīng)被預(yù)測象素的預(yù)測值。
本發(fā)明的原理本發(fā)明所述的基于預(yù)測塊組的采用幀內(nèi)預(yù)測的幀內(nèi)編碼幀編碼方法，是基于預(yù)測組內(nèi)預(yù)測組編碼順序的改變使得右側(cè)和下側(cè)參考象素的可得性成為可能，圖2表示出采用本發(fā)明方法的一個4×4象素大小的預(yù)測塊內(nèi)象素(小寫字母表示)及其參考象素(非小寫字母表示)的位置關(guān)系。在本發(fā)明中，當(dāng)對預(yù)測塊組內(nèi)各個預(yù)測塊采用不同編碼順序時，參考元素可能還會出現(xiàn)在預(yù)測塊的右側(cè)和下側(cè)，當(dāng)按照不同的編碼順序?qū)︻A(yù)測塊組內(nèi)各個預(yù)測塊進(jìn)行幀內(nèi)預(yù)測時，每個預(yù)測塊周圍可參考的象素會不同。這樣所得出的預(yù)測效果也會不同。如圖3所示，圖中每個大方塊表示一個預(yù)測塊組，大方塊中4個小方塊表示4個不同的預(yù)測塊。小方塊中的阿拉伯?dāng)?shù)字1-4表示本預(yù)測塊在預(yù)測塊組中的編碼順序。圖3中共列出24種不同的編碼順序。例如當(dāng)采用圖3中下標(biāo)為12的編碼順序時，那么當(dāng)編到第4個預(yù)測塊時，由于1，2，3塊都已經(jīng)編碼并重建，這個預(yù)測塊上下左右都會有參考像素。對于每個預(yù)測塊組，從不同的編碼順序中選取最佳的一種，其實也就是選取預(yù)測效果最好的編碼順序，便有可能達(dá)到提高編碼效率的目的。
本發(fā)明的特點本發(fā)明提出預(yù)測塊組這樣一種新的高度自適應(yīng)的幀內(nèi)編碼結(jié)構(gòu)，構(gòu)造了一種靈活有效的幀內(nèi)編碼方案，能夠有效地克服現(xiàn)有幀內(nèi)編碼方案中參考象素單一，不能滿足各種不同運動圖像需要的缺點，可提高幀內(nèi)預(yù)測效率，從而提高整個視頻信號的壓縮效率，而且能夠應(yīng)用于混合編碼。


圖1為在H264中一個4×4象素大小的預(yù)測塊內(nèi)象素(小寫字母表示)及其參考象素(大寫字母表示)的位置關(guān)系示意圖。
圖2為采用本發(fā)明方法的一個4×4象素大小的預(yù)測塊內(nèi)象素(小寫字母表示)及其參考象素(非小寫字母表示)的位置關(guān)系示意圖。
圖3為本發(fā)明的24種不同的編碼順序示意圖。
圖4為本發(fā)明的預(yù)測塊示意圖。
圖5為本發(fā)明的預(yù)測塊組示意圖。
具體實施例方式
本發(fā)明提出的一種基于預(yù)測塊組的采用幀內(nèi)預(yù)測的幀內(nèi)編碼幀編碼方法結(jié)合附圖及實施例詳細(xì)說明如下本發(fā)明所述的預(yù)測塊是指進(jìn)行幀內(nèi)預(yù)測時的預(yù)測單位，可以是大小從16×16到4×4的矩形方塊，如圖4所示，x，y∈{4，8，16}，x表示預(yù)測塊水平象素的個數(shù)，y表示預(yù)測塊垂直象素的個數(shù)。
連續(xù)的四個相同大小預(yù)測塊拼在一起為預(yù)測塊組，如圖5所示。
本發(fā)明可以根據(jù)視頻編碼結(jié)構(gòu)，決定從圖3所示的24種編碼順序中選取不同的編碼順序及不同的編碼順序的數(shù)量，具體原則最大可能地利用預(yù)測塊周圍參考象素的可得信息，獲得最好的預(yù)測結(jié)果；選取的編碼順序的數(shù)量盡可能小以減小對編碼順序進(jìn)行編碼所需的比特。例如如果視頻編碼結(jié)構(gòu)決定預(yù)測塊上部和左部的參考象素可得，則可以選擇圖3中標(biāo)號為(1)，(2)，(3)，(4)的4種編碼順序(本實施例就采用這4種編碼順序)；如果視頻編碼結(jié)構(gòu)決定預(yù)測塊右部的參考象素可得，則可以選擇圖3中標(biāo)號為(8)，(13)的2種編碼順序；上述僅為選取編碼順序數(shù)量的兩個例子，本發(fā)明還可以采用其他的編碼順序的選取。
本發(fā)明的幀內(nèi)編碼幀編碼方法的實施例包括編碼過程和解碼過程，其中編碼過程包括以下步驟1)從原始圖像中提取一個由4個預(yù)測塊組成的預(yù)測塊組，并構(gòu)成24種預(yù)測塊組的編碼順序；如圖3所示，圖中標(biāo)號(1)-(24)為不同的編碼順序。
2)取圖3中所示的標(biāo)號為(1)，(2)，(3)，(4)的4種編碼順序中的一種編碼順序(例如(1))的預(yù)測塊組，分別以各種預(yù)測模式對該預(yù)測組內(nèi)各預(yù)測塊內(nèi)的各個象素進(jìn)行預(yù)測，得到各個預(yù)測模式下的預(yù)測塊的預(yù)測值；3)選取預(yù)測塊內(nèi)原始圖像數(shù)據(jù)和預(yù)測值的殘差最小為最佳的預(yù)測模式；4)對預(yù)測塊內(nèi)原始圖象數(shù)據(jù)和圖像在最佳的預(yù)測模式下的預(yù)測值的殘差進(jìn)行編碼(本實施例采用對預(yù)測塊內(nèi)原始圖象數(shù)據(jù)和圖像在最佳的預(yù)測模式下的預(yù)測值的殘差進(jìn)行二維變換(采用離散余弦變換或整型變換)；然后在變換域中對變換系數(shù)進(jìn)行量化；最后對量化后的系數(shù)和最佳的預(yù)測模式進(jìn)行熵編碼，即Hunffman編碼或者算術(shù)編碼等，所述編碼的具體內(nèi)容屬于已有技術(shù)，不在本發(fā)明的保護(hù)范圍之內(nèi))，并計算采用本編碼順序時的編碼代價；5)對標(biāo)號為(2)，(3)，(4)的3種編碼順序重復(fù)上述2)-4)步，這樣得到每種編碼順序相應(yīng)的編碼代價6)比較各個編碼順序下的編碼代價，選取編碼代價最小為最佳的編碼順序；將對應(yīng)于最佳編碼順序的編碼(本實施例對最佳編碼順序進(jìn)行熵編碼，即Humffman編碼或者算術(shù)編碼等，所述熵編碼屬于已有技術(shù)，不在本發(fā)明的保護(hù)范圍之內(nèi))結(jié)果寫入碼流，并對最佳編碼順序進(jìn)行編碼，然后寫入碼流。
解碼過程包括以下步驟1)首先對編碼碼流中的數(shù)據(jù)進(jìn)行解碼和判斷，得到編碼過程中選定的最佳編碼順序以及最佳編碼順序下的最佳預(yù)測模式；2)采用選定的最佳編碼順序和最佳編碼順序下的最佳預(yù)測模式，根據(jù)預(yù)測塊的參考象素，對預(yù)測塊進(jìn)行預(yù)測并得到預(yù)測值；3)用2)得到的預(yù)測塊的預(yù)測值加上1)得到的預(yù)測塊的殘差數(shù)據(jù)，便得到了本預(yù)測塊的重建數(shù)據(jù)。
本發(fā)明中所述的參考象素是先于本預(yù)測塊已經(jīng)編碼和重建的象素。本發(fā)明中的每種預(yù)測模式分別對應(yīng)于某種預(yù)測器。每種預(yù)測器以參考象素作為輸入，輸出的是對應(yīng)被預(yù)測象素的預(yù)測值。
權(quán)利要求
1.一種基于預(yù)測塊組的采用幀內(nèi)預(yù)測的幀內(nèi)編碼幀編碼方法，其特征在于，設(shè)定預(yù)測塊作為進(jìn)行幀內(nèi)預(yù)測時的預(yù)測單位，該預(yù)測塊為x，y∈{4，8，16}，其中，x表示預(yù)測塊水平象素的個數(shù)，y表示預(yù)測塊垂直象素的個數(shù)；將所說的連續(xù)的四個相同大小預(yù)測塊拼在一起為預(yù)測塊組；所述幀內(nèi)編碼幀編碼方法包括編碼過程和解碼過程，其中編碼過程包括以下步驟1)從原始圖像中提取一個由4個預(yù)測塊組成的預(yù)測塊組，并構(gòu)成24種預(yù)測塊組的編碼順序；2)從所說的24種編碼順序中選取2種或2種以上的編碼順序，對其中的一種編碼順序的預(yù)測塊組中分別以各種預(yù)測模式對預(yù)測塊內(nèi)各個象素進(jìn)行預(yù)測，得到各個預(yù)測模式下的預(yù)測塊的預(yù)測值；3)選取預(yù)測塊內(nèi)原始圖像數(shù)據(jù)和預(yù)測值的殘差最小為最佳的預(yù)測模式；4)對預(yù)測塊內(nèi)原始圖象數(shù)據(jù)和圖像在最佳的預(yù)測模式下的預(yù)測值的殘差進(jìn)行編碼，并計算采用本編碼順序時的編碼代價；5)對所選取的其它編碼順序，重復(fù)上述第2)-4)步，使每種編碼順序得到相應(yīng)的編碼代價6)比較各個編碼順序下的編碼代價，選取編碼代價最小為最佳的編碼順序；將對應(yīng)于最佳編碼順序的編碼結(jié)果寫入碼流，并對最佳編碼順序進(jìn)行編碼，然后寫入碼流；該解碼過程包括以下步驟1)首先對編碼碼流中的數(shù)據(jù)進(jìn)行解碼和判斷，得到編碼過程中選定的最佳編碼順序以及最佳編碼順序下的最佳預(yù)測模式；2)采用選定的最佳編碼順序和最佳編碼順序下的最佳預(yù)測模式，根據(jù)預(yù)測塊的參考象素，對預(yù)測塊進(jìn)行預(yù)測并得到預(yù)測值；3)用第2)步得到的預(yù)測塊的預(yù)測值加上第1)步得到的預(yù)測塊的殘差數(shù)據(jù)，便得到了本預(yù)測塊的重建數(shù)據(jù)。所說的每種預(yù)測模式分別對應(yīng)于不同的預(yù)測器；每種預(yù)測器以參考象素作為輸入，輸出的是對應(yīng)被預(yù)測象素的預(yù)測值。
全文摘要
本發(fā)明屬于信號處理中的視頻編解碼領(lǐng)域，涉及一種基于預(yù)測塊組的采用幀內(nèi)預(yù)測的幀內(nèi)編碼幀編碼方法。其特點為設(shè)定預(yù)測塊作為進(jìn)行幀內(nèi)預(yù)測時的預(yù)測單位，該預(yù)測塊為x，y∈{4，8，16}，本方法包括由4個預(yù)測塊組成的預(yù)測塊組構(gòu)成24種預(yù)測塊組的編碼順序；對每一種編碼順序的預(yù)測塊組中分別以各種預(yù)測模式對預(yù)測塊內(nèi)各個象素進(jìn)行預(yù)測，并計算采用本編碼順序時的編碼代價；比較各個編碼順序下的編碼代價，選取編碼代價最小為最佳的編碼順序；將對應(yīng)于最佳編碼順序的編碼結(jié)果寫入碼流，并對最佳編碼順序進(jìn)行編碼，然后寫入碼流；再進(jìn)行相應(yīng)解碼。本發(fā)明不但能提高幀內(nèi)預(yù)測效率，從而提高整個視頻信號的壓縮效率，而且能夠應(yīng)用于混合編碼。
文檔編號H04N7/32GK1476253SQ03148160
公開日2004年2月18日 申請日期2003年7月4日 優(yōu)先權(quán)日2003年7月4日
發(fā)明者何蕓, 朱剛, 李國平, 何 蕓 申請人:清華大學(xué)