專利名稱：用于圖像的幀內(nèi)預(yù)測(cè)編碼和解碼的方法以及裝置的制作方法
技術(shù)領(lǐng)域：
根據(jù)本發(fā)明的方法和設(shè)備涉及圖像的幀內(nèi)預(yù)測(cè)，更具體地說，涉及通過根據(jù)基于輸入圖像的方向選擇幀內(nèi)預(yù)測(cè)模式執(zhí)行幀內(nèi)預(yù)測(cè)，來提高編碼數(shù)率并減少幀內(nèi)預(yù)測(cè)的復(fù)雜度的圖像的幀內(nèi)預(yù)測(cè)編碼和解碼。
背景技術(shù)：
用于實(shí)現(xiàn)高數(shù)據(jù)壓縮的數(shù)字視頻編碼標(biāo)準(zhǔn)，即，H.264/MPEG-4高級(jí)視頻編碼(H.264/MPEG-4AVC)，采用了用于改進(jìn)壓縮比的各種技術(shù)，如多參考運(yùn)動(dòng)補(bǔ)償(multiple reference motion compensation)、環(huán)濾路波(loop flitering)、可變塊大小運(yùn)動(dòng)補(bǔ)償、諸如基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼(CABAC)的熵編碼等。
為了對(duì)畫面進(jìn)行編碼，所述畫面根據(jù)H.264被分為宏塊(macroblock)。在幀間預(yù)測(cè)和幀內(nèi)預(yù)測(cè)的所有可用編碼模式下對(duì)每個(gè)宏塊進(jìn)行編碼后，基于對(duì)宏塊進(jìn)行編碼的比特率以及解碼的宏塊與原始宏塊之間的失真來確定用于對(duì)宏塊進(jìn)行編碼的合適的編碼模式。
在幀內(nèi)預(yù)測(cè)中，為了對(duì)當(dāng)前畫面的塊進(jìn)行編碼，不使用參考畫面，而計(jì)算使用將被編碼的當(dāng)前塊的空間相鄰像素值預(yù)測(cè)的當(dāng)前塊的預(yù)測(cè)值，并且對(duì)預(yù)測(cè)值和真實(shí)像素值之間的差進(jìn)行編碼。在這種情況下，幀內(nèi)預(yù)測(cè)模式被分為亮度分量的4×4幀內(nèi)預(yù)測(cè)模式、8×8幀內(nèi)預(yù)測(cè)模式(在high profile的情況下)、16×16幀內(nèi)預(yù)測(cè)模式以及色度分量的幀內(nèi)預(yù)測(cè)模式。
圖1示出了符合H.264標(biāo)準(zhǔn)的亮度分量的16×16幀內(nèi)預(yù)測(cè)模式，圖2示出了符合H.264標(biāo)準(zhǔn)的亮度分量的4×4幀內(nèi)預(yù)測(cè)模式。
參照?qǐng)D1，16×16幀內(nèi)預(yù)測(cè)模式被分為包括垂直模式、水平模式、直流(DC)模式和平面模式的四種模式。參照?qǐng)D2，4×4幀內(nèi)預(yù)測(cè)模式被分為包括垂直模式、水平模式、DC模式、左下對(duì)角(diagonal down-left)模式、右下對(duì)角(diagonal down-right)模式、垂直向右(vertical right)模式、垂直向左(verticalleft)模式、水平向上(horizontal-up)模式和水平向下(horizontal-down)模式的九種模式。
例如，根據(jù)模式0，即圖2中的垂直模式來說明4×4當(dāng)前塊的預(yù)測(cè)編碼。首先，位于4×4當(dāng)前塊的最上面一行的像素A到D的像素值被預(yù)測(cè)為該4×4當(dāng)前塊的像素值。也就是說，像素值A(chǔ)被預(yù)測(cè)為當(dāng)前塊的第一列的4個(gè)像素值，像素值B被預(yù)測(cè)為當(dāng)前塊的第二列的4個(gè)像素值，像素值C被預(yù)測(cè)為當(dāng)前塊的第三列的4個(gè)像素值，像素值D被預(yù)測(cè)為當(dāng)前塊的第四列的4個(gè)像素值。隨后，在獲得使用像素A到D預(yù)測(cè)的4×4當(dāng)前塊與原始的4×4當(dāng)前塊之間的差值之后，對(duì)該差值進(jìn)行編碼。
在根據(jù)H.264標(biāo)準(zhǔn)對(duì)圖像進(jìn)行編碼中，在使用包括4×4幀內(nèi)預(yù)測(cè)模式和16×16幀內(nèi)預(yù)測(cè)模式的13種模式對(duì)當(dāng)前宏塊進(jìn)行編碼之后，使用率失真代價(jià)(RD代價(jià))最小的模式執(zhí)行幀內(nèi)預(yù)測(cè)編碼。具體來說，通過在當(dāng)前宏碼上執(zhí)行四種16×16幀內(nèi)預(yù)測(cè)模式來從所述四種16×16幀內(nèi)預(yù)測(cè)模式中選擇RD代價(jià)最小的16×16幀內(nèi)預(yù)測(cè)模式，并且通過另外對(duì)每個(gè)4×4子塊依次執(zhí)行九種4×4幀內(nèi)預(yù)測(cè)模式來選擇用于每個(gè)子塊的RD代價(jià)最小的模式。然后，通過將所選的16×16幀內(nèi)預(yù)測(cè)模式的RD代價(jià)與4×4幀內(nèi)預(yù)測(cè)模式的RD代價(jià)(即，子塊的RD代價(jià)之和)進(jìn)行比較來選擇RD代價(jià)最小的幀內(nèi)預(yù)測(cè)模式。因此，在傳統(tǒng)幀內(nèi)預(yù)測(cè)編碼中，存在這樣一種缺點(diǎn)，即，為確定一種幀內(nèi)預(yù)測(cè)模式重復(fù)大量相似運(yùn)算。因此，增加了壓縮比，但也增加了運(yùn)算的次數(shù)和復(fù)雜度。

發(fā)明內(nèi)容
本發(fā)明示例性實(shí)施例克服上述的缺點(diǎn)以及以上沒有描述的其他缺點(diǎn)。此外，本發(fā)明不需要克服上述的缺點(diǎn)，本發(fā)明的示例性實(shí)施例可不克服上述的任何問題。
本發(fā)明提供一種對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)編碼和解碼的方法和裝置，能夠通過僅以由輸入塊的特征確定的預(yù)定幀內(nèi)預(yù)測(cè)模式執(zhí)行幀內(nèi)預(yù)測(cè)，而不是執(zhí)行所有的預(yù)定幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)，來降低幀內(nèi)預(yù)測(cè)的計(jì)算的復(fù)雜度和計(jì)算量。
根據(jù)本發(fā)明的一方面，提供了一種圖像的幀內(nèi)預(yù)測(cè)編碼方法，所述方法包括對(duì)輸入塊進(jìn)行頻率變換；使用經(jīng)頻率變換的輸入塊的系數(shù)確定該輸入塊中像素的方向；使用確定的像素方向從預(yù)定幀內(nèi)預(yù)測(cè)模式中選擇執(zhí)行幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)模式；和根據(jù)所選的幀內(nèi)預(yù)測(cè)模式對(duì)輸入塊執(zhí)行幀內(nèi)預(yù)測(cè)。
根據(jù)本發(fā)明的另一方面，提供了一種用于對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)編碼的裝置，所述裝置包括頻率變換器，對(duì)輸入塊進(jìn)行頻率變換；方向確定器，使用經(jīng)頻率變換的輸入塊的系數(shù)確定輸入塊中像素的方向；幀內(nèi)預(yù)測(cè)模式候選選擇器，使用確定的像素的方向從預(yù)定幀內(nèi)預(yù)測(cè)模式中選擇執(zhí)行幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)模式；和幀內(nèi)預(yù)測(cè)器，根據(jù)所選的幀內(nèi)預(yù)測(cè)模式執(zhí)行對(duì)輸入塊的幀內(nèi)預(yù)測(cè)。
根據(jù)本發(fā)明的另一方面，提供了一種用于對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)解碼的方法，所述方法包括接收比特流，根據(jù)基于從經(jīng)頻率變換的輸入塊的系數(shù)確定的像素的方向選擇的幀內(nèi)預(yù)測(cè)模式對(duì)所述比特流進(jìn)行了幀內(nèi)預(yù)測(cè)編碼；使用包括在接收的比特流的頭中的幀內(nèi)預(yù)測(cè)模式信息確定將被解碼的當(dāng)前塊的幀內(nèi)預(yù)測(cè)模式；和根據(jù)確定的幀內(nèi)預(yù)測(cè)模式執(zhí)行幀內(nèi)預(yù)測(cè)解碼。
根據(jù)本發(fā)明的另一方面，提供了一種用于對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)解碼的裝置，所述裝置包括幀內(nèi)預(yù)測(cè)器，接收比特流，根據(jù)基于從經(jīng)頻率變換的輸入塊的系數(shù)確定的像素的方向選擇的幀內(nèi)預(yù)測(cè)模式對(duì)所述比特流進(jìn)行了幀內(nèi)預(yù)測(cè)編碼；幀內(nèi)預(yù)測(cè)解碼器，根據(jù)包括在接收的比特流的頭中的幀內(nèi)預(yù)測(cè)模式執(zhí)行幀內(nèi)預(yù)測(cè)解碼。


通過結(jié)合附圖對(duì)本發(fā)明示例性實(shí)施例的詳細(xì)描述，本發(fā)明的以上和/或其他方面將變得更加清楚，其中圖1示出了符合H.264標(biāo)準(zhǔn)的亮度分量的16×16幀內(nèi)預(yù)測(cè)模式；圖2示出了符合H.264標(biāo)準(zhǔn)的亮度分量的4×4幀內(nèi)預(yù)測(cè)模式；圖3是根據(jù)本發(fā)明示例性實(shí)施例的用于對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)編碼的裝置所應(yīng)用于的圖像編碼裝置的框圖；圖4是根據(jù)本發(fā)明示例性實(shí)施例的圖3中示出的圖像編碼裝置的幀內(nèi)預(yù)測(cè)單元的框圖；圖5是用于說明在根據(jù)本發(fā)明示例性實(shí)施例的對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)編碼的方法和裝置中使用的經(jīng)頻率變換的塊系數(shù)的特征的示圖；圖6是用于說明在根據(jù)本發(fā)明示例性實(shí)施例的對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)編碼的方法和裝置中確定輸入塊的方向的處理的示圖；圖7A和圖7B是用于說明根據(jù)本發(fā)明示例性實(shí)施例的圖5中所示的在幀內(nèi)預(yù)測(cè)模式候選選擇器中選擇幀內(nèi)預(yù)測(cè)模式的處理的示圖；圖8是示出根據(jù)本發(fā)明示例性實(shí)施例的對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)編碼的方法的流程圖；圖9是根據(jù)本發(fā)明示例性實(shí)施例的用于對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)解碼的裝置所應(yīng)用于的圖像解碼裝置的框圖；和圖10是示出根據(jù)本發(fā)明示例性實(shí)施例的對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)解碼的方法的流程圖。
具體實(shí)施例方式
以下，將參照附圖對(duì)本發(fā)明示例性實(shí)施例進(jìn)行詳細(xì)描述。
圖3是根據(jù)本發(fā)明示例性實(shí)施例的用于對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)編碼的裝置所應(yīng)用于的圖像編碼裝置300的框圖。以下，盡管為了便于說明，根據(jù)本發(fā)明示例性實(shí)施例的幀內(nèi)預(yù)測(cè)編碼裝置被應(yīng)用于根據(jù)H.264標(biāo)準(zhǔn)的圖像編碼裝置，但是根據(jù)本發(fā)明示例性實(shí)施例的幀內(nèi)預(yù)測(cè)編碼裝置還可被應(yīng)用于使用幀內(nèi)預(yù)測(cè)的其他壓縮方法和標(biāo)準(zhǔn)。
參照?qǐng)D3，圖像編碼裝置300包括運(yùn)動(dòng)估計(jì)器302、運(yùn)動(dòng)補(bǔ)償器304、幀內(nèi)預(yù)測(cè)器330、變換器308、量化器310、重排器(realigner)312、熵編碼器314、逆量化器316、逆變換器318、濾波器320和幀存儲(chǔ)器322。幀內(nèi)預(yù)測(cè)器330與所述根據(jù)本發(fā)明示例性實(shí)施例的幀內(nèi)預(yù)測(cè)編碼裝置相對(duì)應(yīng)。
為了執(zhí)行幀間預(yù)測(cè)，運(yùn)動(dòng)估計(jì)器302執(zhí)行在參考畫面中搜索當(dāng)前畫面的宏塊的預(yù)測(cè)值。當(dāng)以1/2像素或者1/4像素為單位搜索參考?jí)K時(shí)，運(yùn)動(dòng)補(bǔ)償器304通過計(jì)算中間像素值來確定參考?jí)K的數(shù)據(jù)值。如上所述，幀間預(yù)測(cè)在運(yùn)動(dòng)估計(jì)器302和運(yùn)動(dòng)補(bǔ)償器304中被執(zhí)行。
幀內(nèi)預(yù)測(cè)器330通過在當(dāng)前畫面中搜索當(dāng)前塊的預(yù)測(cè)塊來執(zhí)行幀內(nèi)預(yù)測(cè)。如下所述，幀內(nèi)預(yù)測(cè)器330將預(yù)定大小的輸入塊變換到頻域，從經(jīng)頻率變換的輸入塊的系數(shù)中選擇影響輸入塊的方向的系數(shù)，并使用所選的系數(shù)確定包括在輸入塊中的像素的方向。與不考慮輸入塊的特征而對(duì)所有幀內(nèi)預(yù)測(cè)模式執(zhí)行幀內(nèi)預(yù)測(cè)的傳統(tǒng)方法不同，幀內(nèi)預(yù)測(cè)器330通過僅在具有與確定的輸入塊像素的確定的方向最相似的方向的幀內(nèi)預(yù)測(cè)模式下執(zhí)行幀內(nèi)預(yù)測(cè)，改進(jìn)了編碼速率(coding rate)并降低了復(fù)雜度。
當(dāng)執(zhí)行幀間預(yù)測(cè)或者幀內(nèi)預(yù)測(cè)，并且形成與當(dāng)前輸入塊相應(yīng)的預(yù)測(cè)塊時(shí)，計(jì)算預(yù)測(cè)塊和當(dāng)前輸入塊之間的殘差(recidual)。變換器308變換所述殘差，并且量化器310量化所述殘差。量化的殘差通過重排器312以在熵編碼器314中被編碼。量化的畫面通過逆量化器316和逆變換器318，從而重建當(dāng)前畫面以獲得用于幀間預(yù)測(cè)的參考畫面。重建的當(dāng)前畫面通過執(zhí)行去塊濾波(deblocking filtering)的濾波器320，并被隨后存儲(chǔ)到幀存儲(chǔ)器322中，并被用于對(duì)下一畫面的幀間預(yù)測(cè)。
圖4是根據(jù)本發(fā)明示例性實(shí)施例的圖3中示出的圖像編碼裝置300的幀內(nèi)預(yù)測(cè)單元330的框圖。
參照?qǐng)D4，幀內(nèi)預(yù)測(cè)器330包括頻率變換器331、方向確定器332、幀內(nèi)預(yù)測(cè)模式候選選擇器333和幀內(nèi)預(yù)測(cè)器334。
頻率變換器331執(zhí)行對(duì)預(yù)定大小的輸入塊的頻率變換。在本發(fā)明示例性實(shí)施例中，頻率變換器331使用離散余弦變換(DCT)對(duì)輸入塊進(jìn)行頻率變換。如本領(lǐng)域中所公知的，DCT變換是用于將輸入圖像分解為二維頻率分量的處理。假設(shè)N×N輸入塊的第i行第j列的像素是f(i，j)，且經(jīng)頻率變換的輸入塊的第u行第v列的DCT系數(shù)是F(u，v)，則F(u，v)表示如下。
F(u,v)=C(u)·C(v)Σx=0N-1Σy=0N-1f(x,y)cos(2x+1)uπ2Ncos(2y+1)vπ2N]]>這里，C(u),C(v)=1N]]>(當(dāng)u，v是0時(shí))，C(u),C(v)=2N]]>(當(dāng)u，v不是0時(shí))。
方向確定器332使用經(jīng)頻率變換的輸入塊的系數(shù)確定包括在輸入塊中的像素的方向。
圖5是用于說明在根據(jù)本發(fā)明示例性實(shí)施例的對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)編碼的方法和裝置中使用的經(jīng)頻率變換的塊系數(shù)的特征的示圖，圖6是用于說明在根據(jù)本發(fā)明示例性實(shí)施例的對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)編碼的方法和裝置中確定輸入塊的方向的處理的示圖。
參照?qǐng)D5，DCT的第一行第一列的系數(shù)F(0，0)指示直流(DC)分量，并且除F(0，0)之外的DCT的系數(shù)指示交流(AC)分量，其中，隨著沿行從左到右移動(dòng)并沿列向下移動(dòng)，頻率增加。DC分量表示輸入塊的像素值的平均值，AC分量表示包括在輸入塊中的邊界(edge)的效果。參照?qǐng)D6，所述邊界由輸入塊中的像素的像素值間的差引起。在圖6中，輸入塊被所述邊界分為兩個(gè)區(qū)域，邊界的方向是從左下到右上的對(duì)角。
如上所述，輸入塊中的像素的方向受邊界部分的影響，并且邊界部分影響經(jīng)頻率變換的塊系數(shù)的AC分量。因此，方向確定器332使用AC分量的系數(shù)估計(jì)邊界方向。方向確定器332受到邊界部分的影響，而不受低頻系數(shù)的太多影響，并利用邊界方向確定輸入塊的方向。具體來說，方向確定器332利用由頻率變換器331變換的經(jīng)DCT變換的塊的系數(shù)中的包括水平方向的邊界信息的系數(shù)的能量(energy)與包括垂直方向的邊界信息的系數(shù)的能量之比來確定方向。水平方向的邊界信息反映在經(jīng)DCT變換的塊的最右上方的系數(shù)以及最右上方的系數(shù)的相鄰系數(shù)中。垂直方向的邊界信息反映在經(jīng)DCT變換的塊的最左下方的系數(shù)以及最左下方的系數(shù)的相鄰系數(shù)中。在圖6中，當(dāng)垂直方向(y軸方向)和邊界的方向間的角度是θ時(shí)，方向確定器332可使用包括水平方向的邊界信息的系數(shù)的能量與包括垂直方向的邊界信息的系數(shù)的能量之比來估計(jì)角θ。
例如，如下面的等式2，方向確定器332使用圖5中經(jīng)頻率變換的塊55的系數(shù)中的包括水平方向的邊界信息的系數(shù)56(即，F(xiàn)(0，2)、F(0，3)和F(1，3))與包括垂直方向的邊界信息的系數(shù)57(即，F(xiàn)(2，0)、F(3，0)和F(3，1))之比來計(jì)算表示輸入塊50中的像素的方向的角θ。
θ=tan-1(F(0,2)2+F(0,3)2+F(1,3)2F(2,0)2+F(3,0)2+F(3,1)2)]]>在上述等式2中， 表示包括水平方向的邊界信息的系數(shù)56的能量與包括垂直方向的邊界信息的系數(shù)57的能量之比，所述能量之比的反正切值表示用于表示輸入塊50的方向的角θ。
幀內(nèi)預(yù)測(cè)模式候選選擇器333基于由方向確定器332確定的方向從預(yù)定的幀內(nèi)預(yù)測(cè)模式中選擇實(shí)際執(zhí)行幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)模式。幀內(nèi)預(yù)測(cè)模式候選選擇器333在所述預(yù)定的幀內(nèi)預(yù)測(cè)模式中根據(jù)輸入塊的大小選擇具有與確定的方向最相似的方向的幀內(nèi)預(yù)測(cè)模式，并且?guī)瑑?nèi)預(yù)測(cè)器334僅根據(jù)所選的幀內(nèi)預(yù)測(cè)模式實(shí)際執(zhí)行幀內(nèi)預(yù)測(cè)。
圖7A和圖7B是用于說明根據(jù)本發(fā)明示例性實(shí)施例的圖5中所示的在幀內(nèi)預(yù)測(cè)模式候選選擇器333中選擇幀內(nèi)預(yù)測(cè)模式的處理的示圖。
參照?qǐng)D7A，如上所述，根據(jù)H.264標(biāo)準(zhǔn)的4×4幀內(nèi)預(yù)測(cè)模式包括九種幀內(nèi)預(yù)測(cè)模式，即，模式0到模式8。當(dāng)如圖7A中所示，方向確定器332確定的輸入塊的方向與模式7相比更接近于模式3時(shí)，幀內(nèi)預(yù)測(cè)模式候選選擇器333可將模式3選為實(shí)際執(zhí)行幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)模式。幀內(nèi)預(yù)測(cè)器334根據(jù)所選的模式3執(zhí)行幀內(nèi)預(yù)測(cè)。
此外，當(dāng)確定的數(shù)據(jù)塊的方向位于相鄰幀內(nèi)預(yù)測(cè)模式之間時(shí)，幀內(nèi)預(yù)測(cè)模式候選選擇器333可選擇這兩個(gè)相鄰的幀內(nèi)預(yù)測(cè)模式，而不是僅選擇相鄰的幀內(nèi)預(yù)測(cè)模式中的一個(gè)。例如，參考圖7B，當(dāng)確定的方向位于模式8和模式1之間的中間區(qū)域時(shí)，幀內(nèi)預(yù)測(cè)模式候選選擇器333選擇模式8和模式1二者。當(dāng)相鄰模式之間的區(qū)域被分為三個(gè)子區(qū)域時(shí)，中間區(qū)域與子區(qū)域中的中間部分相對(duì)應(yīng)。所述3個(gè)子區(qū)域可具有相同的角度，或者中間區(qū)域可具有比其他子區(qū)域更大的角度以提高壓縮比。當(dāng)確定的方向位于中間區(qū)域時(shí)，根據(jù)兩種幀內(nèi)預(yù)測(cè)模式而不是一種幀內(nèi)預(yù)測(cè)模式來執(zhí)行幀內(nèi)預(yù)測(cè)。以所選模式執(zhí)行幀內(nèi)預(yù)測(cè)的情況下的編碼比傳統(tǒng)的以所有九種模式執(zhí)行幀內(nèi)預(yù)測(cè)的情況下的編碼執(zhí)行得更快。
如上所述，當(dāng)僅基于輸入塊的方向選擇幀內(nèi)預(yù)測(cè)模式時(shí)，不能選擇DC模式。因此，幀內(nèi)預(yù)測(cè)模式候選選擇器333計(jì)算AC分量的能量與全部能量之比DDC，并且當(dāng)所述比小于預(yù)定閾值時(shí)，DC模式被選為幀內(nèi)預(yù)測(cè)模式。具體來說，當(dāng)輸入塊的大小是m×n，并且經(jīng)頻率變換的輸入塊的第u行第v列(u＝0，1，2...，m-1；v＝0，1，2...，n-1)是F(u，v)時(shí)，可使用以下的等式3計(jì)算輸入塊的AC分量的能量與全部能量之比。
DDC=Σv=0n-1Σu=0m-1{F(u,v)2}-F(0,0)2Σv=0n-1Σu=0m-1F(u,v)2]]>當(dāng)輸入塊的AC分量的能量與全部能量的比率與具有平滑像素值的輸入塊的情況一樣小時(shí)，優(yōu)選地，與執(zhí)行根據(jù)預(yù)定方向的幀內(nèi)預(yù)測(cè)相反，最好選擇輸入塊的平均值形成預(yù)測(cè)塊的DC模式。因此，如上所述，幀內(nèi)預(yù)測(cè)模式候選選擇器333可另外確定所選的幀內(nèi)預(yù)測(cè)模式是否是DC模式。
幀內(nèi)預(yù)測(cè)器334執(zhí)行所選幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)，從而提高了編碼速率。因此，與傳統(tǒng)的不考慮輸入塊的特征而以所有幀內(nèi)預(yù)測(cè)模式來執(zhí)行幀內(nèi)預(yù)測(cè)的情況相比，降低了編碼復(fù)雜度。
圖8是示出根據(jù)本發(fā)明示例性實(shí)施例的對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)編碼的方法的流程圖。
參照?qǐng)D8，在處理810中，預(yù)定大小的輸入塊使用諸如DCT的頻率變換算法被變換到頻域。
在處理820中，通過使用經(jīng)頻率變換的輸入塊的系數(shù)中的包括水平方向的邊界信息的系數(shù)的能量與包括垂直方向的邊界信息的系數(shù)的能量之比確定包括在輸入塊中的邊界方向，確定輸入塊中的像素的方向。如上所述，經(jīng)DCT變換的塊的最右上方的系數(shù)和最右上方的系數(shù)的相鄰系數(shù)包括水平方向的邊界信息，最左下方的系數(shù)和最左下方的系數(shù)的相鄰系數(shù)包括垂直方向的邊界信息。因此，使用包括水平方向的邊界信息的系數(shù)的能量與包括垂直方向的邊界信息的系數(shù)的能量之比來確定輸入塊的方向。
在處理830中，選擇具有與確定的方向最相似的方向的幀內(nèi)預(yù)測(cè)模式。諸如H.264的圖像壓縮標(biāo)準(zhǔn)包括根據(jù)輸入塊的大小的預(yù)定的幀內(nèi)預(yù)測(cè)模式。根據(jù)本發(fā)明示例性實(shí)施例，在多個(gè)幀內(nèi)預(yù)測(cè)模式中，選擇一個(gè)或者多個(gè)具有與確定的方向最相似的方向的幀內(nèi)預(yù)測(cè)模式。
在處理840中，僅根據(jù)所選的幀內(nèi)預(yù)測(cè)模式而不是所有可用的幀內(nèi)預(yù)測(cè)模式執(zhí)行幀內(nèi)預(yù)測(cè)。這可使幀內(nèi)預(yù)測(cè)編碼速率提高并減少幀內(nèi)預(yù)測(cè)運(yùn)算的次數(shù)。
確定的幀內(nèi)預(yù)測(cè)模式信息作為模式信息被包括在比特流頭中并被發(fā)送到解碼器。接收該比特流的解碼器使用所述模式信息確定幀內(nèi)預(yù)測(cè)模式并執(zhí)行幀內(nèi)預(yù)測(cè)解碼。
圖9是根據(jù)本發(fā)明示例性實(shí)施例的用于對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)解碼的裝置所應(yīng)用于的圖像解碼裝置900的框圖。
參照?qǐng)D9，圖像解碼裝置900包括熵解碼器910、重排器920、逆量化器930、逆變換器940、運(yùn)動(dòng)補(bǔ)償器950、幀內(nèi)預(yù)測(cè)器960和濾波器970。幀內(nèi)預(yù)測(cè)器960與根據(jù)本發(fā)明示例性實(shí)施例的幀內(nèi)預(yù)測(cè)解碼器相對(duì)應(yīng)。
熵解碼器910和重排器920接收壓縮的比特流，執(zhí)行熵解碼，提取幀內(nèi)預(yù)測(cè)模式信息和量化的系數(shù)信息。逆量化器930和逆變換器940通過關(guān)于提取的幀內(nèi)預(yù)測(cè)模式信息和量化的系數(shù)執(zhí)行逆變換和逆量化，來提取變換系數(shù)、運(yùn)動(dòng)矢量信息、頭信息和幀內(nèi)預(yù)測(cè)模式信息。運(yùn)動(dòng)補(bǔ)償器950和幀內(nèi)預(yù)測(cè)器960根據(jù)編碼的畫面類型使用解碼的頭信息生成預(yù)測(cè)塊。預(yù)測(cè)塊被加到表示誤差值的D’n以生成uF’n。uF’n通過濾波器970以生成重建的畫面F’n。
圖10是示出根據(jù)本發(fā)明示例性實(shí)施例的對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)解碼的方法的流程圖。
在處理1010中，接收使用根據(jù)本發(fā)明示例性實(shí)施例的幀內(nèi)預(yù)測(cè)編碼方法進(jìn)行編碼的比特流，并且確定將使用包括在比特流的頭中的幀內(nèi)預(yù)測(cè)模式信息進(jìn)行解碼的當(dāng)前輸入塊的幀內(nèi)預(yù)測(cè)模式。
在處理1020，通過根據(jù)確定的幀內(nèi)預(yù)測(cè)模式信息執(zhí)行幀內(nèi)預(yù)測(cè)來生成與當(dāng)前塊相應(yīng)的預(yù)測(cè)塊，并且所述預(yù)測(cè)塊被加到包括在預(yù)測(cè)塊和比特流中的殘差值，以重建當(dāng)前塊。
根據(jù)本發(fā)明示例性實(shí)施例的對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)的方法還可被實(shí)現(xiàn)為計(jì)算機(jī)可讀記錄介質(zhì)上的計(jì)算機(jī)可讀代碼。所述計(jì)算機(jī)可讀記錄介質(zhì)是任何一種可存儲(chǔ)能夠隨后被計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)裝置。計(jì)算機(jī)可讀記錄介質(zhì)的示例包括只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、CD-ROM、磁帶、軟盤和光學(xué)數(shù)據(jù)存儲(chǔ)裝置。所述計(jì)算機(jī)可讀記錄介質(zhì)還可通過聯(lián)網(wǎng)的計(jì)算機(jī)系統(tǒng)被分發(fā)，從而該計(jì)算機(jī)可讀代碼以分布方式被存儲(chǔ)和執(zhí)行。
盡管已參照其示例性實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的示出和描述，但是本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)理解，在不脫離由權(quán)利要求限定的本發(fā)明的精神和范圍的情況下，可在形式和細(xì)節(jié)上做出各種改變。
如上所述，根據(jù)本發(fā)明示例性實(shí)施例，通過減少計(jì)算量來保持實(shí)時(shí)圖像壓縮的性能，并且通過增加計(jì)算速度來提高圖像實(shí)時(shí)處理的性能。例如，當(dāng)對(duì)實(shí)時(shí)因特網(wǎng)流中的圖像進(jìn)行編碼時(shí)，可通過增加幀內(nèi)預(yù)測(cè)速度來實(shí)現(xiàn)有效的流服務(wù)。
權(quán)利要求
1.一種圖像的幀內(nèi)預(yù)測(cè)編碼方法，所述方法包括對(duì)輸入塊進(jìn)行頻率變換；使用經(jīng)頻率變換的輸入塊的系數(shù)確定該輸入塊中像素的方向；基于確定的像素的方向從多個(gè)幀內(nèi)預(yù)測(cè)模式中選擇執(zhí)行幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)模式；和根據(jù)所選的幀內(nèi)預(yù)測(cè)模式對(duì)輸入塊執(zhí)行幀內(nèi)預(yù)測(cè)。
2.如權(quán)利要求1所述的方法，其中，頻率變換的步驟包括對(duì)輸入塊執(zhí)行離散余弦變換。
3.如權(quán)利要求1所述的方法，其中，在確定像素的方向的步驟中，使用從包括水平方向的邊界信息的系數(shù)的能量與包括垂直方向的邊界信息的系數(shù)的能量之比計(jì)算出的邊界方向來確定所述像素的方向。
4.如權(quán)利要求3所述的方法，其中，具有水平方向的邊界信息的系數(shù)包括經(jīng)頻率變換的塊的最右上方的系數(shù)和所述最右上方的系數(shù)的相鄰系數(shù)，具有垂直方向的邊界信息的系數(shù)包括經(jīng)頻率變換的塊的最左下的系數(shù)和所述最左下的系數(shù)的相鄰系數(shù)。
5.如權(quán)利要求3所述的方法，其中，如果能量之比是R，輸入塊的垂直方向與輸入塊中的邊界方向之間的角度是θ，則R＝{(包括水平方向的邊界信息的系數(shù)的平方和)/(包括垂直方向的邊界信息的系數(shù)的平方和)}，θ＝tan-1R。
6.如權(quán)利要求5所述的方法，其中，如果輸入塊的大小是4×4，經(jīng)頻率變換的輸入塊的第u行(u＝0，1，2，3)第v列(v＝0，1，2，3)的系數(shù)是F(u，v)，則垂直方向和邊界方向之間的角度θ通過θ=tan-1(F(0,2)2+F(0,3)2+F(1,3)2F(2,0)2+F(3,0)2+F(3,1)2)]]>來計(jì)算。
7.如權(quán)利要求1所述的方法，其中，選擇幀內(nèi)預(yù)測(cè)模式的步驟包括選擇具有與確定的方向最相似的方向的幀內(nèi)預(yù)測(cè)模式。
8.如權(quán)利要求1所述的方法，其中，選擇幀內(nèi)預(yù)測(cè)模式的步驟包括如果確定的方向位于相鄰幀內(nèi)預(yù)測(cè)模式之間的中間區(qū)域，則選擇所述相鄰的兩個(gè)幀內(nèi)預(yù)測(cè)模式。
9.如權(quán)利要求1所述的方法，其中，選擇幀內(nèi)預(yù)測(cè)模式的步驟包括計(jì)算交流分量的能量與總能量之比，并且如果所述比小于預(yù)定閾值，則將直流模式選擇為幀內(nèi)預(yù)測(cè)模式候選。
10.如權(quán)利要求9所述的方法，其中，如果輸入塊的大小是m×n，并且經(jīng)頻率變換的輸入塊的第u行(u＝0，1，2...，m-1)第v列(v＝0，1，2...，n-1)是F(u，v)，則通過DDC=Σv=0n-1Σu=0m-1{F(u,v)2}-F(0,0)2Σv=0n-1Σu=0m-1F(u,v)2]]>計(jì)算輸入塊的AC分量的能量與總能量之比DDC。
11.如權(quán)利要求1所述的方法，其中，所選的幀內(nèi)預(yù)測(cè)模式基于H.264標(biāo)準(zhǔn)。
12.一種用于對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)編碼的裝置，所述裝置包括頻率變換器，對(duì)輸入塊進(jìn)行頻率變換；方向確定器，使用經(jīng)頻率變換的輸入塊的系數(shù)確定輸入塊中像素的方向；幀內(nèi)預(yù)測(cè)模式候選選擇器，基于確定的像素的方向從多個(gè)幀內(nèi)預(yù)測(cè)模式中選擇執(zhí)行幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)模式；和幀內(nèi)預(yù)測(cè)器，根據(jù)所選的幀內(nèi)預(yù)測(cè)模式對(duì)輸入塊執(zhí)行幀內(nèi)預(yù)測(cè)。
13.如權(quán)利要求12所述的裝置，其中，頻率變換器對(duì)輸入塊執(zhí)行離散余弦變換。
14.如權(quán)利要求12所述的裝置，其中，方向確定器使用從包括水平方向的邊界信息的系數(shù)的能量與包括垂直方向的邊界信息的系數(shù)的能量之比計(jì)算出的邊界方向來確定所述像素的方向。
15.如權(quán)利要求14所述的裝置，其中，具有水平方向的邊界信息的系數(shù)包括經(jīng)頻率變換的塊的最右上方的系數(shù)和所述最右上方的系數(shù)的相鄰系數(shù)，具有垂直方向的邊界信息的系數(shù)包括經(jīng)頻率變換的塊的最左下方的系數(shù)和所述最左下方的系數(shù)的相鄰系數(shù)。
16.如權(quán)利要求14所述的裝置，其中，如果能量之比是R，輸入塊的垂直方向與輸入塊中的邊界方向之間的角度是θ，則R＝{(包括水平方向的邊界信息的系數(shù)的平方和)/(包括垂直方向的邊界信息的系數(shù)的平方和)}，θ＝tan-1R。
17.如權(quán)利要求16所述的裝置，其中，如果輸入塊的大小是4×4，經(jīng)頻率變換的輸入塊的第u行(u＝0，1，2，3)第v列(v＝0，1，2，3)的系數(shù)是F(u，v)，則垂直方向和邊界方向之間的角度θ通過θ=tan-1(F(0,2)2+F(0,3)2+F(1,3)2F(2,0)2+F(3,0)2+F(3,1)2)]]>來計(jì)算。
18.如權(quán)利要求12所述的裝置，其中，幀內(nèi)預(yù)測(cè)模式候選選擇器選擇具有與確定的方向最相似的方向的幀內(nèi)預(yù)測(cè)模式。
19.如權(quán)利要求12所述的裝置，其中，如果確定的方向位于相鄰幀內(nèi)預(yù)測(cè)模式之間的中間區(qū)域，則幀內(nèi)預(yù)測(cè)模式候選選擇器選擇所述相鄰的兩個(gè)幀內(nèi)預(yù)測(cè)模式。
20.如權(quán)利要求12所述的裝置，其中，幀內(nèi)預(yù)測(cè)模式候選選擇器計(jì)算交流分量的能量與總能量之比，并且如果所述比小于預(yù)定閾值，則將直流模式選擇為幀內(nèi)預(yù)測(cè)模式候選。
21.如權(quán)利要求20所述的裝置，其中，如果輸入塊的大小是m×n，并且經(jīng)頻率變換的輸入塊的第u行(u＝0，1，2...，m-1)第v列(v＝0，1，2...，n-1)是F(u，v)，可通過DDC=Σv=0n-1Σu=0m-1{F(u,v)2}-F(0,0)2Σv=0n-1Σu=0m-1F(u,v)2]]>計(jì)算輸入塊的AC分量的能量與總能量之比DDC。
22.如權(quán)利要求12所述的裝置，其中，所選的幀內(nèi)預(yù)測(cè)模式基于H.264標(biāo)準(zhǔn)。
23.一種用于對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)解碼的方法，所述方法包括接收比特流，根據(jù)基于從經(jīng)頻率變換的輸入塊的系數(shù)確定的像素的方向選擇的幀內(nèi)預(yù)測(cè)模式對(duì)所述比特流進(jìn)行了幀內(nèi)預(yù)測(cè)編碼；使用包括在接收的比特流的頭中的幀內(nèi)預(yù)測(cè)模式信息確定將被解碼的當(dāng)前塊的幀內(nèi)預(yù)測(cè)模式；和根據(jù)確定的幀內(nèi)預(yù)測(cè)模式執(zhí)行幀內(nèi)預(yù)測(cè)解碼。
24.一種用于對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)解碼的裝置，所述裝置包括幀內(nèi)預(yù)測(cè)器，接收比特流，根據(jù)基于從經(jīng)頻率變換的輸入塊的系數(shù)確定的像素的方向選擇的幀內(nèi)預(yù)測(cè)模式對(duì)所述比特流進(jìn)行了幀內(nèi)預(yù)測(cè)編碼；幀內(nèi)預(yù)測(cè)解碼器，根據(jù)包括在接收的比特流的頭中的幀內(nèi)預(yù)測(cè)模式執(zhí)行幀內(nèi)預(yù)測(cè)解碼。
25.一種在其上存儲(chǔ)有計(jì)算機(jī)程序的計(jì)算機(jī)可讀介質(zhì)，當(dāng)其被運(yùn)行時(shí)，使計(jì)算機(jī)執(zhí)行對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)編碼的方法，所述方法包括使用經(jīng)頻率變換的輸入塊的系數(shù)確定輸入塊中像素的方向；基于確定的像素的方向從多個(gè)幀內(nèi)預(yù)測(cè)模式中選擇執(zhí)行幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)模式；和根據(jù)所選的幀內(nèi)預(yù)測(cè)模式對(duì)輸入塊執(zhí)行幀內(nèi)預(yù)測(cè)。
全文摘要
提供一種根據(jù)基于輸入圖像的方向選擇的幀內(nèi)預(yù)測(cè)模式執(zhí)行幀內(nèi)預(yù)測(cè)的對(duì)圖像進(jìn)行幀內(nèi)預(yù)測(cè)編碼和解碼的方法和裝置。在所述方法和裝置中，對(duì)輸入塊進(jìn)行頻率變換，確定輸入塊中的像素的方向，并根據(jù)具有與確定的像素的方向最相似的方向的幀內(nèi)預(yù)測(cè)模式執(zhí)行幀內(nèi)預(yù)測(cè)。
文檔編號(hào)H04N7/32GK1984341SQ20061016568
公開日2007年6月20日 申請(qǐng)日期2006年12月12日 優(yōu)先權(quán)日2005年12月12日
發(fā)明者鄭俊浩 申請(qǐng)人:三星電子株式會(huì)社