專(zhuān)利名稱：用于多層視頻編碼和解碼的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
符合本發(fā)明的設(shè)備和方法涉及視頻壓縮方法，并更具體地，涉及用于有效消除視頻幀內(nèi)的冗余度的預(yù)測(cè)方法、以及利用該預(yù)測(cè)方法的視頻壓縮方法和設(shè)備。
背景技術(shù)：
隨著包括因特網(wǎng)的信息通信技術(shù)的發(fā)展，視頻通信以及文本和語(yǔ)音通信已得到顯著增長(zhǎng)。傳統(tǒng)文本通信不能滿足用戶的各種需求，并由此可提供例如文本、畫(huà)面、和音樂(lè)的各種類(lèi)型信息的多媒體服務(wù)已得到增長(zhǎng)。然而，由于多媒體數(shù)據(jù)量通常很大，所以多媒體數(shù)據(jù)需要大容量存儲(chǔ)介質(zhì)和寬傳輸帶寬。因此，為了傳輸包括文本、視頻和音頻的多媒體數(shù)據(jù)，壓縮編碼方法是必不可少的。
數(shù)據(jù)壓縮的基本原理是去除數(shù)據(jù)冗余度?？赏ㄟ^(guò)去除其中在圖像中重復(fù)同一顏色或?qū)ο蟮目臻g冗余度、其中在活動(dòng)圖像中的相鄰幀之間存在微小變化或在音頻中重復(fù)同一聲音的時(shí)間冗余度、或考慮到人的視力及其對(duì)于高頻變化的有限感知的精神視覺(jué)(mental visual)冗余度，而壓縮數(shù)據(jù)。
越來(lái)越多的注意力正集中到比MPEG-4編碼提供顯著改進(jìn)的壓縮效率的H.264或先進(jìn)視頻編碼(AVC)上。作為被設(shè)計(jì)為改進(jìn)壓縮效率的一種方案的H.264使用定向幀內(nèi)預(yù)測(cè)，來(lái)去除幀內(nèi)的空間相似性。
定向幀內(nèi)預(yù)測(cè)涉及通過(guò)使用當(dāng)前子塊的上邊和左邊的像素沿預(yù)定方向復(fù)制像素而預(yù)測(cè)該當(dāng)前子塊的值，并僅對(duì)該當(dāng)前子塊和預(yù)測(cè)值之間的差值進(jìn)行編碼。
在H.264中，基于先前編碼的塊而生成當(dāng)前塊的預(yù)測(cè)塊，并最終對(duì)當(dāng)前塊和預(yù)測(cè)塊之間的差值進(jìn)行編碼。對(duì)于亮度(luma)分量，對(duì)于每一4×4或16×16宏塊生成預(yù)測(cè)塊。對(duì)于每一4×4luma塊，存在9種預(yù)測(cè)模式。對(duì)于每一16×16塊，4種預(yù)測(cè)模式是可用的。
與H.264兼容的視頻編碼器在可用預(yù)測(cè)模式之中選擇使得當(dāng)前塊和預(yù)測(cè)塊之間的差值最小化的每一塊的預(yù)測(cè)模式。
對(duì)于4×4塊的預(yù)測(cè)，H.264使用9種預(yù)測(cè)模式，包括8種定向預(yù)測(cè)模式0、1、和3-8，還包括利用圖1所示8個(gè)相鄰像素的平均值的DC預(yù)測(cè)模式2。
圖2示出了用于解釋這9種預(yù)測(cè)模式的為預(yù)測(cè)樣本A到M貼標(biāo)簽(labeling)的示例。在該情況下，使用先前解碼的樣本A到M來(lái)形成預(yù)測(cè)塊(包括a到p的區(qū)域)。如果樣本E、F、G和H不可用，則樣本D將被復(fù)制到他們的位置處，以實(shí)際上形成樣本E、F、G和H。
現(xiàn)在將參考圖3更全面地描述圖1所示這9種預(yù)測(cè)模式。
對(duì)于模式0(垂直)和模式1(水平)，通過(guò)從上邊的樣本A、B、C和D以及從左邊的樣本I、J、K和L分別進(jìn)行外插，而形成預(yù)測(cè)塊的像素。對(duì)于模式2(DC)，由上邊和左邊樣本A、B、C、D、I、J、K和L的平均值來(lái)預(yù)測(cè)預(yù)測(cè)塊的所有像素。
對(duì)于模式3(對(duì)角左下)，通過(guò)從右上角到左下角沿45度角進(jìn)行內(nèi)插，而形成預(yù)測(cè)塊的像素。對(duì)于模式4(對(duì)角右下)，通過(guò)從左上角到右下角沿45度角進(jìn)行外插，而形成預(yù)測(cè)塊的像素。對(duì)于模式5(垂直右)，通過(guò)從上緣向下緣稍微向右漂移沿大約26.6度角(寬度/高度＝1/2)進(jìn)行外插，而形成預(yù)測(cè)塊的像素。
在模式6(水平下)中，通過(guò)從左緣向右緣稍微向下漂移沿大約26.6度角進(jìn)行外插，而形成預(yù)測(cè)塊的像素。在模式7(垂直左)，通過(guò)從上緣向下緣稍微向左漂移沿大約26.6度角(寬度/高度＝1/2)進(jìn)行外插，而形成預(yù)測(cè)塊的像素。在模式8(水平上)中，通過(guò)從左緣向右緣稍微向上漂移沿大約26.6度角(寬度/高度＝2/1)進(jìn)行外插，而形成預(yù)測(cè)塊的像素。
在每一模式中，箭頭指明導(dǎo)出預(yù)測(cè)像素的方向?？捎蓞⒖紭颖続到M的加權(quán)平均值來(lái)形成預(yù)測(cè)塊的樣本。例如，可由以下等式(1)來(lái)預(yù)測(cè)樣本dd＝round(B/4+C/2+D/4) ...(1)其中round()是將值四舍五入為整數(shù)值的函數(shù)。
存在四種預(yù)測(cè)模式0、1、2和3，來(lái)預(yù)測(cè)宏塊的16×16luma分量。在模式0和模式1中，通過(guò)從上邊樣本H和從左邊樣本V分別進(jìn)行外插，而形成預(yù)測(cè)塊的像素。在模式2中，由上邊和左邊樣本H和V的平均值來(lái)計(jì)算預(yù)測(cè)塊的像素。最后，在模式3中，利用擬合到上邊和左邊樣本H和V的線性“plane”函數(shù)，而形成預(yù)測(cè)塊的像素。模式3更適于具有平滑變化的亮度的區(qū)域。
和試圖改進(jìn)視頻編碼效率一起，正對(duì)于支持可伸縮性的視頻編碼方法進(jìn)行積極研究，該可伸縮性就是根據(jù)各種網(wǎng)絡(luò)環(huán)境調(diào)整所傳輸?shù)囊曨l數(shù)據(jù)的分辨率、幀速率、和信噪比(SNR)的能力。
用于可伸縮視頻編碼的運(yùn)動(dòng)圖像專(zhuān)家組(MPEG)-21 PART-13標(biāo)準(zhǔn)正在進(jìn)行當(dāng)中。具體來(lái)說(shuō)，多層視頻編碼方法被廣泛認(rèn)為是有前途的技術(shù)。例如，比特流可包括多層，即具有不同分辨率或幀速率的基本層(1/4公用中間格式(QCIF))、增強(qiáng)層1(公用中間格式(CIF))、和增強(qiáng)層2(2CIF)。
因?yàn)楝F(xiàn)有定向幀內(nèi)預(yù)測(cè)不基于多層結(jié)構(gòu)，所以對(duì)于每一層獨(dú)立執(zhí)行幀內(nèi)預(yù)測(cè)中的定向搜索以及編碼。由此，為了在多層環(huán)境下兼容采用基于H.264的定向幀內(nèi)預(yù)測(cè)，仍然存在改進(jìn)需要。
對(duì)于每一層獨(dú)立使用幀內(nèi)預(yù)測(cè)的效率很低，因?yàn)椴荒芾妹恳粚又械膸瑑?nèi)預(yù)測(cè)模式之間的相似性。例如，當(dāng)在基本層中使用垂直幀內(nèi)預(yù)測(cè)模式時(shí)，很可能將在當(dāng)前層中使用沿垂直方向或相鄰方向的幀內(nèi)預(yù)測(cè)。然而，因?yàn)樽罱岢隽司哂卸鄬咏Y(jié)構(gòu)、同時(shí)使用基于H.264定向幀內(nèi)預(yù)測(cè)的框架，所以迫切需要開(kāi)發(fā)利用每一層中幀內(nèi)預(yù)測(cè)模式之間的相似性的有效編碼技術(shù)。
多層視頻編碼使得能夠使用這樣的預(yù)測(cè)，即，使用來(lái)自與當(dāng)前幀相同的時(shí)間位置處的下一層的紋理信息，下面稱為“基本層(BL)預(yù)測(cè)”模式、以及幀內(nèi)預(yù)測(cè)模式。BL預(yù)測(cè)模式主要展示適度的預(yù)測(cè)性能，而幀內(nèi)預(yù)測(cè)模式不穩(wěn)定地示出好或差的性能。由此，傳統(tǒng)H.264標(biāo)準(zhǔn)提出了這樣的方案，包括對(duì)于每一宏塊選擇幀內(nèi)預(yù)測(cè)模式和BL預(yù)測(cè)模式之間的較好預(yù)測(cè)模式，并利用所選擇的預(yù)測(cè)模式對(duì)宏塊進(jìn)行編碼。
假設(shè)在幀內(nèi)存在圖像，并且該圖像被分段為其中BL預(yù)測(cè)模式更合適的陰影區(qū)域和其中幀內(nèi)預(yù)測(cè)模式更合適的非陰影區(qū)域。在圖4中，虛線和實(shí)線分別指明4×4塊之間的邊界以及宏塊之間的邊界。

發(fā)明內(nèi)容
技術(shù)問(wèn)題當(dāng)應(yīng)用傳統(tǒng)H.264所提出的方案時(shí)，如圖5所示，圖像被分段為宏塊10a和宏塊10b，其中宏塊10a被選擇為利用BL預(yù)測(cè)模式進(jìn)行編碼，而宏塊10b被選擇為利用幀內(nèi)預(yù)測(cè)模式進(jìn)行編碼。然而，該方案不適于圖4所示在宏塊中具有詳細(xì)(detailed)邊緣的圖像，因?yàn)楹陦K包括其中幀內(nèi)預(yù)測(cè)模式更合適的區(qū)域和其中BL預(yù)測(cè)模式更合適的區(qū)域。由此，對(duì)于每一宏塊選擇兩種模式之一不能確保好編碼性能。
技術(shù)方案本發(fā)明提供了一種對(duì)于小于宏塊的區(qū)域選擇幀內(nèi)預(yù)測(cè)模式和BL預(yù)測(cè)模式中的較好預(yù)測(cè)模式的方法。
本發(fā)明還提供了一種將BL預(yù)測(cè)模式合并到傳統(tǒng)幀內(nèi)預(yù)測(cè)模式中的修改的(modified)幀內(nèi)預(yù)測(cè)模式。
本發(fā)明還提供了一種利用與上述時(shí)間預(yù)測(cè)相同的選擇方案、對(duì)于每一運(yùn)動(dòng)塊、選擇用于計(jì)算時(shí)間殘差的模式和BL預(yù)測(cè)模式中的較好預(yù)測(cè)模式的方法。
對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)，一旦瀏覽了以下描述，本發(fā)明的上述方面以及其他方面、特征和優(yōu)點(diǎn)將變得清楚。
根據(jù)本發(fā)明的一個(gè)方面，提供了一種用于基于多層結(jié)構(gòu)編碼視頻的方法，包括利用當(dāng)前幀內(nèi)編碼塊的相鄰幀內(nèi)編碼塊的圖像，對(duì)該當(dāng)前幀內(nèi)編碼塊執(zhí)行幀內(nèi)預(yù)測(cè)，以獲得預(yù)測(cè)殘差；利用與該當(dāng)前幀內(nèi)編碼塊對(duì)應(yīng)的底層(lowerlayer)區(qū)域的圖像，對(duì)該當(dāng)前幀內(nèi)編碼塊執(zhí)行預(yù)測(cè)，以獲得預(yù)測(cè)殘差；選擇所述兩種預(yù)測(cè)殘差之中的提供較高編碼效率的預(yù)測(cè)殘差；和對(duì)所選擇的預(yù)測(cè)殘差進(jìn)行編碼。
根據(jù)本發(fā)明的一個(gè)方面，提供了一種用于基于多層結(jié)構(gòu)解碼視頻的方法，包括對(duì)于每一幀內(nèi)編碼塊提取修改的幀內(nèi)預(yù)測(cè)模式和紋理數(shù)據(jù)；根據(jù)該紋理數(shù)據(jù)生成幀內(nèi)編碼塊的殘留圖像；根據(jù)該修改的幀內(nèi)預(yù)測(cè)模式，利用先前重構(gòu)的相鄰幀內(nèi)編碼塊或先前重構(gòu)的底層圖像，而生成當(dāng)前幀內(nèi)編碼塊的預(yù)測(cè)塊；和將該預(yù)測(cè)塊與該殘留圖像相加，并重構(gòu)當(dāng)前幀內(nèi)編碼塊的圖像。
根據(jù)本發(fā)明的另一方面，提供了一種用于基于多層結(jié)構(gòu)編碼視頻的方法，包括利用與當(dāng)前運(yùn)動(dòng)塊對(duì)應(yīng)的參考幀的區(qū)域的圖像，對(duì)該當(dāng)前運(yùn)動(dòng)塊執(zhí)行時(shí)間預(yù)測(cè)，以獲得預(yù)測(cè)殘差；利用與該當(dāng)前運(yùn)動(dòng)塊對(duì)應(yīng)的底層區(qū)域的圖像，對(duì)該當(dāng)前運(yùn)動(dòng)塊執(zhí)行預(yù)測(cè)，以獲得預(yù)測(cè)殘差；選擇所述兩種預(yù)測(cè)殘差之中的提供較高編碼效率的那個(gè)預(yù)測(cè)殘差；和對(duì)所選擇的預(yù)測(cè)殘差進(jìn)行編碼。
根據(jù)本發(fā)明的另一方面，提供了一種用于基于多層結(jié)構(gòu)解碼視頻的方法，包括提取用于每一運(yùn)動(dòng)塊的選定模式、運(yùn)動(dòng)數(shù)據(jù)、和紋理數(shù)據(jù)；根據(jù)該紋理數(shù)據(jù)生成該運(yùn)動(dòng)塊的殘留圖像；根據(jù)該選定模式，而選擇與該運(yùn)動(dòng)塊對(duì)應(yīng)的先前重構(gòu)的參考幀的區(qū)域的圖像或者先前重構(gòu)的底層圖像；和將所選擇的圖像與該殘留圖像相加，并重構(gòu)該運(yùn)動(dòng)塊的圖像。
根據(jù)本發(fā)明的另一方面，提供了一種多層視頻編碼器，包括配置為利用當(dāng)前幀內(nèi)編碼塊的相鄰幀內(nèi)編碼塊的圖像、對(duì)該當(dāng)前幀內(nèi)編碼塊執(zhí)行幀內(nèi)預(yù)測(cè)以獲得預(yù)測(cè)殘差的單元；配置為利用與該當(dāng)前幀內(nèi)編碼塊對(duì)應(yīng)的底層區(qū)域的圖像、對(duì)該當(dāng)前幀內(nèi)編碼塊執(zhí)行預(yù)測(cè)以獲得預(yù)測(cè)殘差的單元；配置為選擇所述兩種預(yù)測(cè)殘差之中的提供較高編碼效率的預(yù)測(cè)殘差的單元；和配置為對(duì)所選擇的預(yù)測(cè)殘差進(jìn)行編碼的單元。
根據(jù)本發(fā)明的另一方面，提供了一種多層視頻解碼器，包括配置為對(duì)于每一幀內(nèi)編碼塊提取修改的幀內(nèi)預(yù)測(cè)模式和紋理數(shù)據(jù)的單元；配置為根據(jù)該紋理數(shù)據(jù)生成幀內(nèi)編碼塊的殘留圖像的單元；配置為根據(jù)該修改的幀內(nèi)預(yù)測(cè)模式、利用先前重構(gòu)的相鄰幀內(nèi)編碼塊或先前重構(gòu)的底層圖像、而生成當(dāng)前幀內(nèi)編碼塊的預(yù)測(cè)塊的單元；和配置將該預(yù)測(cè)塊與該殘留圖像相加并重構(gòu)當(dāng)前幀內(nèi)編碼塊的圖像的單元。


通過(guò)參考附圖詳細(xì)描述本發(fā)明的說(shuō)明性的而非限制性的示范實(shí)施例，本發(fā)明的以上和其他特征和優(yōu)點(diǎn)將變得更明顯，其中圖1示出了傳統(tǒng)H.264幀內(nèi)預(yù)測(cè)模式；圖2示出了用于解釋圖1所示幀內(nèi)預(yù)測(cè)模式的為預(yù)測(cè)樣本貼標(biāo)簽的示例；圖3是圖1所示幀內(nèi)預(yù)測(cè)模式的詳細(xì)圖；圖4示出了輸入圖像的示例；圖5示出了根據(jù)傳統(tǒng)技術(shù)的對(duì)于每一宏塊選擇兩個(gè)模式之一的結(jié)果；圖6示出了根據(jù)本發(fā)明示范實(shí)施例的對(duì)于每一宏塊選擇兩個(gè)模式之一的結(jié)果；圖7是根據(jù)本發(fā)明示范實(shí)施例的修改的幀內(nèi)預(yù)測(cè)模式的示意圖；圖8是根據(jù)本發(fā)明示范實(shí)施例的視頻編碼器的方框圖；圖9示出了在修改的幀內(nèi)預(yù)測(cè)模式中用作參考的區(qū)域；
圖10示出了通過(guò)選擇用于每一幀內(nèi)編碼塊的最佳預(yù)測(cè)模式而創(chuàng)建宏塊的示例；圖11是根據(jù)本發(fā)明示范實(shí)施例的視頻解碼器的方框圖；圖12示出了分級(jí)可變尺寸塊匹配(HVSBM)的示例；圖13示出了通過(guò)選擇用于每一運(yùn)動(dòng)塊的模式而構(gòu)造的宏塊；圖14是根據(jù)本發(fā)明示范實(shí)施例的視頻編碼器的方框圖；和圖15是根據(jù)本發(fā)明示范實(shí)施例的視頻解碼器的方框圖。
具體實(shí)施例方式
現(xiàn)在將參考其中示出了本發(fā)明的示范實(shí)施例的附圖來(lái)更全面地描述本發(fā)明。通過(guò)參考以下對(duì)示范實(shí)施例和附圖的詳細(xì)描述，可更容易地理解本發(fā)明的優(yōu)點(diǎn)和特征及其實(shí)現(xiàn)方法。然而，本發(fā)明可以以許多不同的形式實(shí)施，并不應(yīng)被解釋為限于這里闡明的實(shí)施例。相反，提供這些實(shí)施例，使得該公開(kāi)更全面和完整并向本領(lǐng)域技術(shù)人員全面?zhèn)鬟_(dá)本發(fā)明的概念，并且本發(fā)明將僅由所附權(quán)利要求限定。說(shuō)明書(shū)中的相同附圖標(biāo)記始終表示相同元件。
現(xiàn)在將參考其中示出了本發(fā)明的優(yōu)選實(shí)施例的附圖來(lái)更全面地描述本發(fā)明。
圖6示出了根據(jù)本發(fā)明示范實(shí)施例的對(duì)于每一幀內(nèi)編碼塊(例如4×4塊)選擇幀內(nèi)預(yù)測(cè)模式和BL預(yù)測(cè)模式之間的較好預(yù)測(cè)模式的結(jié)果。參考圖6，與圖5所示傳統(tǒng)H.264提出的方案不同，本發(fā)明的示范實(shí)施例可實(shí)現(xiàn)比宏塊更小的區(qū)域的模式選擇。用于該選擇的區(qū)域可具有適于執(zhí)行幀內(nèi)預(yù)測(cè)模式的尺寸。
在傳統(tǒng)幀內(nèi)預(yù)測(cè)模式中，亮度分量利用4×4和16×16塊尺寸模式，而色度分量利用8×8塊尺寸模式。本發(fā)明的示范實(shí)施例可應(yīng)用4×4和8×8模式，而不應(yīng)用其中16×16塊與宏塊具有相同尺寸的16×16模式。其后，將假設(shè)4×4模式用于幀內(nèi)預(yù)測(cè)，來(lái)描述本發(fā)明的示范實(shí)施例。
假設(shè)對(duì)于每一4×4塊選擇幀內(nèi)預(yù)測(cè)模式和BL預(yù)測(cè)模式之一，可添加BL預(yù)測(cè)模式作為傳統(tǒng)幀內(nèi)預(yù)測(cè)模式的一種子模式。以這種方式，將BL預(yù)測(cè)模式合并到傳統(tǒng)幀內(nèi)預(yù)測(cè)模式中的幀內(nèi)預(yù)測(cè)模式其后被稱為根據(jù)本發(fā)明示范實(shí)施例的“修改的幀內(nèi)預(yù)測(cè)模式”。
表1示出了修改的幀內(nèi)預(yù)測(cè)模式的子模式。
表1

如表1所示，修改的幀內(nèi)預(yù)測(cè)模式包括BL預(yù)測(cè)模式，代替?zhèn)鹘y(tǒng)幀內(nèi)預(yù)測(cè)模式中的作為模式2的DC模式，因?yàn)榭稍诜嵌ㄏ虻腄C模式中表示的幀內(nèi)編碼塊可利用BL預(yù)測(cè)模式而充分好地預(yù)測(cè)。此外，包括BL預(yù)測(cè)模式的修改的預(yù)測(cè)模式可防止由于添加新模式而導(dǎo)致的開(kāi)銷(xiāo)。
圖7中示意性圖示了修改的幀內(nèi)預(yù)測(cè)模式。所述修改的幀內(nèi)預(yù)測(cè)模式包括8個(gè)定向模式和1個(gè)BL預(yù)測(cè)模式。在該情況下，由于BL預(yù)測(cè)模式可被認(rèn)為具有(朝向基本層)的向下方向，所以，該修改的幀內(nèi)預(yù)測(cè)模式一共包括9個(gè)定向模式。
作為選擇，當(dāng)不能通過(guò)BL預(yù)測(cè)模式預(yù)測(cè)DC模式時(shí)，可將BL預(yù)測(cè)模式添加到傳統(tǒng)幀內(nèi)預(yù)測(cè)模式上，作為下表2中所示模式“9”。下面描述的本發(fā)明的示范實(shí)施例假設(shè)修改后的幀內(nèi)預(yù)測(cè)模式包括表1所示子模式。
表2


圖8是根據(jù)本發(fā)明第一示范實(shí)施例的視頻編碼器1000的方框圖。參考圖8，該視頻編碼器1000主要包括基本層編碼器100和增強(qiáng)層編碼器200?，F(xiàn)在將描述增強(qiáng)層編碼器200的配置。
塊分割器(partitioner)210將輸入幀分段為多個(gè)幀內(nèi)編碼塊。盡管每一幀內(nèi)編碼塊可具有小于宏塊的尺寸，但是將假設(shè)每一幀內(nèi)編碼塊具有4×4像素的尺寸，來(lái)描述本發(fā)明的示范實(shí)施例。所述多個(gè)幀內(nèi)編碼塊然后被饋送到減法器205中。
預(yù)測(cè)塊發(fā)生器220利用從逆空間變換器251接收的重構(gòu)增強(qiáng)層塊和由基本層編碼器100提供的重構(gòu)基本層圖像，來(lái)對(duì)于修改的幀內(nèi)預(yù)測(cè)模式的每一子模式，生成與當(dāng)前塊關(guān)聯(lián)的預(yù)測(cè)塊。當(dāng)利用重構(gòu)增強(qiáng)層塊生成預(yù)測(cè)塊時(shí)，使用圖3所示計(jì)算處理。在該情況下，由于DC模式被替換為BL預(yù)測(cè)模式，所以可從幀內(nèi)預(yù)測(cè)模式的子模式中排除DC模式。當(dāng)利用重構(gòu)基本層圖像生成預(yù)測(cè)塊時(shí)，該重構(gòu)基本層圖像可被直接用作預(yù)測(cè)塊，或者可在用作預(yù)測(cè)塊之前被上采樣為增強(qiáng)層的分辨率。
參考示出了在修改的幀內(nèi)預(yù)測(cè)模式中用作參考的區(qū)域的圖9，預(yù)測(cè)塊發(fā)生器220利用其先前重構(gòu)的相鄰增強(qiáng)層塊33、34、35和36(特別是，關(guān)于與當(dāng)前幀內(nèi)編碼塊相鄰的塊的像素的信息)，而生成用于每一預(yù)測(cè)模式0、1、和3到8的當(dāng)前幀內(nèi)編碼塊的預(yù)測(cè)塊32。對(duì)于預(yù)測(cè)模式2，(當(dāng)基本層與增強(qiáng)層具有相同分辨率時(shí)，)將先前重構(gòu)的基本層圖像31直接用作預(yù)測(cè)塊，(當(dāng)基本層與增強(qiáng)層具有不同分辨率時(shí)，)在將先前重構(gòu)的基本層圖像31用作預(yù)測(cè)塊之前，將其上采樣為增強(qiáng)層的分辨率。當(dāng)然，本領(lǐng)域技術(shù)人員容易理解的是，可在將重構(gòu)的基本層圖像用作預(yù)測(cè)塊之前執(zhí)行解塊處理，以降低塊偽像(artifact)。
減法器205從自塊分割器210接收的當(dāng)前幀內(nèi)編碼塊中減去由預(yù)測(cè)塊發(fā)生器220產(chǎn)生的預(yù)測(cè)塊，由此去除當(dāng)前幀內(nèi)編碼塊中的冗余度。
然后，當(dāng)預(yù)測(cè)塊和當(dāng)前幀內(nèi)編碼塊之間的差值經(jīng)過(guò)空間變換器231和量化器232時(shí)，其被有損耗地編碼，并然后由熵編碼單元233無(wú)損耗地編碼。
空間變換器231對(duì)由減法器205去除了時(shí)間冗余度的幀執(zhí)行空間變換，以創(chuàng)建變換系數(shù)。離散余弦變換(DCT)或小波變換技術(shù)可用于空間變換。當(dāng)DCT用于空間變換時(shí)，創(chuàng)建DCT系數(shù)，而當(dāng)使用小波變換時(shí)，產(chǎn)生小波系數(shù)。
量化器232對(duì)空間變換器231獲得的變換系數(shù)執(zhí)行量化，以創(chuàng)建量化系數(shù)。這里，量化是將用任意實(shí)數(shù)表示的變換系數(shù)表示為有限數(shù)目比特的方法。已知量化技術(shù)包括標(biāo)量量化、矢量量化等。通過(guò)將變換系數(shù)除以映射到該系數(shù)的量化表的值并將該結(jié)果四舍五入為整數(shù)值，而執(zhí)行簡(jiǎn)單的標(biāo)量量化技術(shù)。
當(dāng)小波變換用于空間變換時(shí)，主要使用嵌入量化。嵌入量化利用空間冗余度，并涉及將閾值降低一半，并對(duì)比該閾值大的變換系數(shù)進(jìn)行編碼。嵌入量化技術(shù)的示例包括嵌入零樹(shù)小波(EZW)、分級(jí)樹(shù)中的集合分割(SPIHT)、和嵌入零塊編碼(EZBC)。
熵編碼單元233將量化器232生成的量化系數(shù)和模式選擇器240選擇的預(yù)測(cè)模式無(wú)損耗地編碼為增強(qiáng)層比特流?？刹捎美缁舴蚵幋a、算術(shù)編碼、和可變長(zhǎng)度編碼的各種編碼方案，用于無(wú)損耗編碼。
模式選擇器240對(duì)于修改的幀內(nèi)預(yù)測(cè)模式的每一子模式比較熵編碼單元所獲得的結(jié)果，并選擇提供最高編碼效率的預(yù)測(cè)模式。這里，通過(guò)給定比特率的圖像質(zhì)量來(lái)測(cè)量編碼效率?；谒俾适д?RD)優(yōu)化的成本函數(shù)主要用于估計(jì)圖像質(zhì)量。因?yàn)檩^低成本意味著更高編碼效率，所以模式選擇器240在修改的幀內(nèi)預(yù)測(cè)模式的子模式中選擇提供最小成本的預(yù)測(cè)模式。
通過(guò)等式(2)計(jì)算成本函數(shù)中的成本CC＝E+λB ...(2)其中E和B分別表示原始信號(hào)和通過(guò)對(duì)編碼比特進(jìn)行解碼所重構(gòu)的信號(hào)之間的差值、以及執(zhí)行每一預(yù)測(cè)模式所需的比特?cái)?shù)，而λ是用于控制E和B的比率的拉格朗日系數(shù)。
盡管比特?cái)?shù)B可被定義為紋理數(shù)據(jù)所需的比特?cái)?shù)，但是更精確的是，將其定義為每一預(yù)測(cè)模式及其對(duì)應(yīng)的紋理數(shù)據(jù)兩者所需的比特?cái)?shù)。這是因?yàn)殪鼐幋a的結(jié)果可能不與分配給每一預(yù)測(cè)模式的模式編號(hào)相同。特別是，由于傳統(tǒng)H.264也僅對(duì)相鄰幀內(nèi)編碼塊的預(yù)測(cè)模式進(jìn)行估計(jì)所保存的結(jié)果進(jìn)行編碼，而不對(duì)預(yù)測(cè)模式進(jìn)行編碼，所以編碼結(jié)果可根據(jù)估計(jì)效率而變化。
模式選擇器240選擇用于每一幀內(nèi)編碼塊的預(yù)測(cè)模式。換言之，模式選擇器確定用于圖10所示宏塊10中的每一幀內(nèi)編碼塊的最佳預(yù)測(cè)模式。這里，利用BL預(yù)測(cè)模式對(duì)陰影塊進(jìn)行編碼，而利用傳統(tǒng)定向幀內(nèi)預(yù)測(cè)模式對(duì)非陰影塊進(jìn)行編碼。
使用修改的幀內(nèi)預(yù)測(cè)模式的幀內(nèi)編碼塊的數(shù)目的整數(shù)倍可以與宏塊尺寸的大小相同。然而，可對(duì)于通過(guò)任意分割幀而獲得的區(qū)域執(zhí)行修改的幀內(nèi)預(yù)測(cè)模式。
接收由模式選擇器240通過(guò)比較和選擇所選擇的預(yù)測(cè)模式的熵編碼單元233輸出與所選擇的預(yù)測(cè)模式對(duì)應(yīng)的比特流。
為了支持閉環(huán)編碼以便降低由于編碼器和解碼器之間的失配引起的漂移誤差，視頻編碼器1000包括逆量化器252和逆空間變換器251。
逆量化器252對(duì)量化器232所量化的系數(shù)執(zhí)行逆量化。逆量化是量化器232已執(zhí)行的量化的逆操作。
逆空間變換器251對(duì)逆量化的結(jié)果執(zhí)行逆空間變換，以重構(gòu)然后被發(fā)送到預(yù)測(cè)塊發(fā)生器220的當(dāng)前幀內(nèi)編碼塊。
下采樣器110將輸入幀下采樣為基本層的分辨率。下采樣器可以是MPEG下采樣器、小波下采樣器、或其他。
基本層編碼器110將下采樣的基本層幀編碼為基本層比特流，同時(shí)對(duì)編碼結(jié)果進(jìn)行解碼。將與增強(qiáng)層中的當(dāng)前幀內(nèi)編碼塊對(duì)應(yīng)的通過(guò)解碼重構(gòu)的基本層幀的區(qū)域的紋理信息傳送到預(yù)測(cè)塊發(fā)生器220。當(dāng)然，當(dāng)基本層與增強(qiáng)層具有不同分辨率時(shí)，應(yīng)當(dāng)在將紋理信息傳送到預(yù)測(cè)塊發(fā)生器220之前，由上采樣器120對(duì)紋理信息執(zhí)行上采樣處理?？衫门c下采樣處理相同或不同的技術(shù)來(lái)執(zhí)行上采樣處理。
盡管基本層編碼器100可以以與增強(qiáng)層編碼器200相同的方式工作，但是基本層編碼器100也可利用傳統(tǒng)幀內(nèi)預(yù)測(cè)、時(shí)間預(yù)測(cè)、和其他預(yù)測(cè)處理來(lái)編碼和/或解碼基本層幀。
圖11是根據(jù)本發(fā)明第一示范實(shí)施例的視頻解碼器2000的方框圖。視頻解碼器2000主要包括基本層解碼器300和增強(qiáng)層解碼器400?，F(xiàn)在將描述增強(qiáng)層解碼器400的配置。
熵解碼單元411執(zhí)行作為熵編碼的逆操作的無(wú)損耗解碼，以提取每一幀內(nèi)編碼塊的修改的幀內(nèi)預(yù)測(cè)模式和紋理數(shù)據(jù)，它們?nèi)缓蠓謩e被饋送到預(yù)測(cè)塊發(fā)生器420和逆量化器412。
逆量化器412對(duì)從熵解碼單元411接收的紋理數(shù)據(jù)執(zhí)行逆量化。逆量化是視頻編碼器(圖8的1000)的量化器(圖8的232)已執(zhí)行的量化的逆操作。例如，可通過(guò)將紋理數(shù)據(jù)乘以其量化表(與視頻編碼器1000中使用的相同)的映射值而執(zhí)行逆標(biāo)量量化。
逆空間變換器413執(zhí)行逆空間變換，以根據(jù)逆量化之后獲得的系數(shù)而重構(gòu)殘留塊。例如，當(dāng)在視頻編碼器1000處將小波變換用于空間變換時(shí)，逆空間變換器413執(zhí)行逆小波變換。當(dāng)DCT用于空間變換時(shí)，逆空間變換器413執(zhí)行逆DCT。
預(yù)測(cè)塊發(fā)生器420利用從加法器215輸出的當(dāng)前幀內(nèi)編碼塊的先前重構(gòu)的相鄰幀內(nèi)編碼塊和基本層解碼器300重構(gòu)的與當(dāng)前幀內(nèi)編碼塊對(duì)應(yīng)的基本層圖像，根據(jù)熵解碼單元411提供的預(yù)測(cè)模式，而生成預(yù)測(cè)塊。例如，對(duì)于模式0、1、和3到8，利用相鄰幀內(nèi)編碼塊生成預(yù)測(cè)塊。對(duì)于模式2，利用基本層圖像生成預(yù)測(cè)塊。
加法器215將預(yù)測(cè)塊和逆空間變換器413重構(gòu)的殘留塊相加，由此重構(gòu)當(dāng)前幀內(nèi)編碼塊的圖像。將加法器215的輸出饋送到預(yù)測(cè)塊發(fā)生器420和塊合并器430，塊合并器430然后合并所重構(gòu)的殘留塊以重構(gòu)幀。
其間，基本層解碼器300從基本層比特流重構(gòu)基本層幀。與增強(qiáng)層中的當(dāng)前幀內(nèi)編碼塊對(duì)應(yīng)的通過(guò)解碼重構(gòu)的基本層幀的區(qū)域的紋理信息被提供到預(yù)測(cè)塊發(fā)生器420。當(dāng)然，當(dāng)基本層與增強(qiáng)層具有不同分辨率時(shí)，在將紋理信息傳送到預(yù)測(cè)塊發(fā)生器420之前，必須由上采樣器310對(duì)紋理信息執(zhí)行上采樣處理。
盡管基本層解碼器300可以以與增強(qiáng)層解碼器400相同的方式工作，但是基本層解碼器300也可利用傳統(tǒng)幀內(nèi)預(yù)測(cè)、時(shí)間預(yù)測(cè)、和其他預(yù)測(cè)處理來(lái)編碼和/或解碼基本層幀。
上面已參考其中添加BL預(yù)測(cè)模式作為幀內(nèi)預(yù)測(cè)模式的一種子模式的第一實(shí)施例，而描述了本發(fā)明。在另一示范實(shí)施例(第二實(shí)施例)中，可在時(shí)間預(yù)測(cè)處理中包括BL預(yù)測(cè)模式，這將在下面進(jìn)行描述。參考圖12，傳統(tǒng)H.264使用分級(jí)可變尺寸塊匹配(HVSBM)，來(lái)去除每一宏塊中的時(shí)間冗余度。
將宏塊10分割為四種模式的子塊16×16、8×16、16×8、和8×8模式。每一8×8子塊還可被分離為4×8、8×4、或4×4模式(如果不分離，則使用8×8模式)。由此，對(duì)于每一宏塊10，允許最大7種組合的子塊。
提供最小成本的構(gòu)成宏塊10的子塊組合被選擇為最佳組合。當(dāng)將宏塊10分離為更小區(qū)域時(shí)，塊匹配的精度增加，并且運(yùn)動(dòng)數(shù)據(jù)(運(yùn)動(dòng)矢量、子塊模式等)量一起增加。由此，選擇子塊的最佳組合，以實(shí)現(xiàn)塊匹配精度和運(yùn)動(dòng)數(shù)據(jù)量之間的最佳折衷。例如，不包含復(fù)雜改變的簡(jiǎn)單背景圖像可使用大尺寸子塊模式，而具有復(fù)雜和詳細(xì)邊緣的圖像可使用小尺寸子塊模式。
本發(fā)明第二示范實(shí)施例的特征在于，對(duì)于包括最佳子塊組合的宏塊10中的每一子塊，確定是應(yīng)用計(jì)算時(shí)間殘差的模式還是應(yīng)用BL預(yù)測(cè)模式。在圖13中，I 11和BL 12分別表示要使用時(shí)間殘差編碼的子塊和要使用BL預(yù)測(cè)模式編碼的子塊。
等式(2)中所示RD成本函數(shù)用于選擇每一子塊的最佳模式。當(dāng)Ci和Cb分別表示當(dāng)使用時(shí)間殘差和當(dāng)使用BL預(yù)測(cè)模式時(shí)需要的成本，Ei和Bi分別表示當(dāng)使用時(shí)間殘差時(shí)原始信號(hào)和重構(gòu)信號(hào)之間的差值、以及對(duì)由時(shí)間預(yù)測(cè)生成的運(yùn)動(dòng)數(shù)據(jù)和由時(shí)間殘差獲得的紋理信息進(jìn)行編碼所需的比特?cái)?shù)，而Eb和Bb分別表示當(dāng)使用BL預(yù)測(cè)模式時(shí)原始信號(hào)和重構(gòu)信號(hào)之間的差值、以及對(duì)表明BL預(yù)測(cè)模式的信息和利用該BL預(yù)測(cè)模式獲得的紋理信息進(jìn)行編碼所需的比特?cái)?shù)時(shí)，成本Ci和Cb由等式(2)定義Ci＝Ei+λBiCb＝Eb+λBb...(2)通過(guò)選擇為每一子塊提供Ci和Cb中的較小一個(gè)的方法，可獲得圖13所示重構(gòu)的宏塊。
盡管H.264標(biāo)準(zhǔn)使用HVSBM來(lái)執(zhí)行時(shí)間預(yù)測(cè)(包括運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償)，但是例如MPEG的其他標(biāo)準(zhǔn)可使用固定尺寸塊匹配。該第二實(shí)施例集中于對(duì)于每一塊選擇BL預(yù)測(cè)模式或計(jì)算當(dāng)前塊和參考幀中的對(duì)應(yīng)塊之間的殘差的模式，而不管宏塊被分割為可變尺寸塊還是固定尺寸塊。下面將作為計(jì)算運(yùn)動(dòng)矢量的基本單位的可變尺寸塊或固定尺寸塊稱為“運(yùn)動(dòng)塊”。
圖14是根據(jù)本發(fā)明第二示范實(shí)施例的視頻編碼器3000的方框圖。參考圖14，視頻編碼器3000主要包括基本層編碼器100和增強(qiáng)層編碼器500?，F(xiàn)在將描述增強(qiáng)層編碼器500的配置。
運(yùn)動(dòng)估計(jì)器290利用參考幀對(duì)當(dāng)前幀執(zhí)行運(yùn)動(dòng)估計(jì)，以獲得運(yùn)動(dòng)矢量?？衫肏VSBM或固定尺寸塊匹配算法(BMA)對(duì)于每一宏塊執(zhí)行運(yùn)動(dòng)估計(jì)。在BMA中，將給定運(yùn)動(dòng)塊中的像素與參考幀中的搜索區(qū)域中的像素作比較，并將具有最小誤差的位移確定為運(yùn)動(dòng)矢量。運(yùn)動(dòng)估計(jì)器290將例如作為運(yùn)動(dòng)估計(jì)結(jié)果獲得的運(yùn)動(dòng)矢量、運(yùn)動(dòng)塊類(lèi)型、和參考幀編號(hào)的運(yùn)動(dòng)數(shù)據(jù)發(fā)送到熵編碼單元233。
運(yùn)動(dòng)補(bǔ)償器280利用運(yùn)動(dòng)矢量對(duì)參考幀執(zhí)行運(yùn)動(dòng)補(bǔ)償，并生成運(yùn)動(dòng)補(bǔ)償后的幀。運(yùn)動(dòng)補(bǔ)償后的幀是包括與當(dāng)前幀中的塊對(duì)應(yīng)的參考幀中的塊的虛擬幀，并被傳送到切換單元295。
切換單元295接收從運(yùn)動(dòng)補(bǔ)償器280接收的運(yùn)動(dòng)補(bǔ)償后的幀和由基本層編碼器100提供的基本層幀，并以運(yùn)動(dòng)塊為基礎(chǔ)而將幀的紋理發(fā)送到減法器205。當(dāng)然，當(dāng)基本層與增強(qiáng)層具有不同分辨率時(shí)，在將基本層編碼器100生成的基本層幀傳送到切換單元195之前，必須對(duì)其執(zhí)行上采樣處理。
減法器205從輸入幀中的預(yù)定運(yùn)動(dòng)塊(當(dāng)前運(yùn)動(dòng)塊)中減去從切換單元295接收的紋理，以便去除當(dāng)前運(yùn)動(dòng)塊中的冗余度。也就是說(shuō)，減法器205計(jì)算當(dāng)前運(yùn)動(dòng)塊和運(yùn)動(dòng)補(bǔ)償后的幀中的其對(duì)應(yīng)運(yùn)動(dòng)塊之間的差值(下面稱為“第一預(yù)測(cè)殘差”)，并計(jì)算當(dāng)前運(yùn)動(dòng)塊和基本層幀中的其對(duì)應(yīng)區(qū)域之間的差值(下面稱為“第二預(yù)測(cè)殘差”)。
第一和第二預(yù)測(cè)殘差經(jīng)過(guò)空間變換器231和量化器232時(shí)被有損耗地編碼，并然后由熵編碼單元233無(wú)損耗地編碼。
模式選擇器270選擇熵編碼單元233所編碼的第一和第二預(yù)測(cè)殘差中的提供較高編碼效率的那個(gè)預(yù)測(cè)殘差。例如，可將參考等式(2)描述的方法用于該選擇。因?yàn)閷?duì)于每一運(yùn)動(dòng)塊計(jì)算第一和第二預(yù)測(cè)殘差，所以模式選擇器270對(duì)于所有運(yùn)動(dòng)塊反復(fù)執(zhí)行該選擇。
接收該模式選擇器270通過(guò)比較和選擇所選擇的結(jié)果(由索引0或1表示)的熵編碼單元233輸出與所選擇的結(jié)果對(duì)應(yīng)的比特流。
為了支持閉環(huán)編碼以便降低由于編碼器和解碼器之間的失配引起的漂移誤差，視頻編碼器3000包括逆量化器252、逆空間變換器251、和加法器251。加法器215將逆空間變換器251重構(gòu)的殘留幀疊加到運(yùn)動(dòng)補(bǔ)償器280所輸出的運(yùn)動(dòng)補(bǔ)償后的幀上，以重構(gòu)然后被發(fā)送到運(yùn)動(dòng)估計(jì)器290的參考幀。
因?yàn)橄虏蓸悠?10、上采樣器120、和基本層編碼器100與圖8所示第一示范實(shí)施例中的對(duì)應(yīng)部件執(zhí)行相同的操作，所以將不給出它們的描述。
圖15是根據(jù)本發(fā)明第二實(shí)施例的視頻解碼器4000的方框圖。參考圖15，視頻解碼器4000主要包括基本層解碼器300和增強(qiáng)層解碼器600。
熵解碼單元411執(zhí)行作為熵編碼的逆操作的無(wú)損耗解碼，從而提取用于每一運(yùn)動(dòng)塊的選定模式、運(yùn)動(dòng)數(shù)據(jù)、和紋理數(shù)據(jù)。該選定模式意味著指明從時(shí)間殘差(“第三預(yù)測(cè)殘差”)和當(dāng)前運(yùn)動(dòng)塊與基本層幀中的對(duì)應(yīng)區(qū)域之間的殘差(“第四預(yù)測(cè)殘差”)中選擇的結(jié)果的索引(0或1)，所述第三預(yù)測(cè)殘差和第四預(yù)測(cè)殘差是由視頻編碼器3000對(duì)于每一運(yùn)動(dòng)塊計(jì)算的。
熵解碼單元411將該選定模式、運(yùn)動(dòng)數(shù)據(jù)、和紋理數(shù)據(jù)分別提供到切換單元450、運(yùn)動(dòng)補(bǔ)償器440、和逆量化器412。逆量化器412對(duì)從熵解碼單元411接收的紋理數(shù)據(jù)執(zhí)行逆量化。逆量化是增強(qiáng)層編碼器(圖14的500)的該量化器(圖14的232)已執(zhí)行的量化的逆操作。
逆空間變換器413執(zhí)行逆空間變換，以對(duì)于每一運(yùn)動(dòng)塊根據(jù)逆量化之后獲得的系數(shù)而重構(gòu)殘留圖像。
運(yùn)動(dòng)補(bǔ)償器440利用從熵解碼單元411接收的運(yùn)動(dòng)數(shù)據(jù)對(duì)先前重構(gòu)的視頻幀執(zhí)行運(yùn)動(dòng)補(bǔ)償，并生成運(yùn)動(dòng)補(bǔ)償后的幀，該幀中的與當(dāng)前運(yùn)動(dòng)塊對(duì)應(yīng)的圖像(第一圖像)被提供到切換單元450。
基本層解碼器300根據(jù)基本層比特流重構(gòu)基本層幀，并將與當(dāng)前運(yùn)動(dòng)塊對(duì)應(yīng)的基本層幀的圖像(第二圖像)發(fā)送到切換單元450。當(dāng)然，當(dāng)必要時(shí)，可在將第二圖像傳送到切換單元450之前，由上采樣器310執(zhí)行上采樣處理。
切換單元450根據(jù)熵解碼單元411提供的選定模式而選擇第一和第二圖像之一，并將所選擇的圖像提供到加法器215作為預(yù)測(cè)塊。
加法器215將逆空間變換器413所重構(gòu)的殘留圖像與切換單元450所選擇的預(yù)測(cè)塊相加，以重構(gòu)當(dāng)前運(yùn)動(dòng)塊的圖像。重復(fù)執(zhí)行以上處理，以重構(gòu)每一運(yùn)動(dòng)塊的圖像，由此重構(gòu)一幀。
本發(fā)明允許非常適于輸入視頻的特性的多層視頻編碼。本發(fā)明還改善多層視頻編解碼器的性能。
在圖8、11、14和15中，各種功能組件意味著，但是不限于，執(zhí)行特定任務(wù)的軟件或硬件組件，例如現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)或特定用途集成電路(ASIC)。這些組件可以有利地配置為駐留在可尋址存儲(chǔ)介質(zhì)上，并被配置為在一個(gè)或多個(gè)處理器上運(yùn)行。這些組件和模塊中提供的功能可合并為更少的組件和模塊、或進(jìn)一步分離為其他組件和模塊。
產(chǎn)業(yè)上的可利用性如上所述，根據(jù)本發(fā)明，可以以更適于輸入視頻特性的方式執(zhí)行基于多層視頻編碼的編碼視頻的方法。另外，本發(fā)明提供了視頻編解碼器的改善性能。
在推斷詳細(xì)描述的過(guò)程中，本領(lǐng)域普通技術(shù)人員將理解，可對(duì)這些優(yōu)選實(shí)施例進(jìn)行許多修改和變形，而實(shí)質(zhì)上不脫離本發(fā)明的原理。所以，所公開(kāi)的本發(fā)明的示范實(shí)施例僅用于一般描述意義，而非為了限制的目的。
權(quán)利要求
1.一種用于基于多層結(jié)構(gòu)編碼視頻的方法，包括利用當(dāng)前幀內(nèi)編碼塊的相鄰幀內(nèi)編碼塊的圖像，對(duì)該當(dāng)前幀內(nèi)編碼塊執(zhí)行幀內(nèi)預(yù)測(cè)，以獲得預(yù)測(cè)殘差；利用與該當(dāng)前幀內(nèi)編碼塊對(duì)應(yīng)的底層區(qū)域的圖像，對(duì)該當(dāng)前幀內(nèi)編碼塊執(zhí)行預(yù)測(cè)，以獲得預(yù)測(cè)殘差；選擇所述兩種預(yù)測(cè)殘差之中的提供較高編碼效率的預(yù)測(cè)殘差；和對(duì)所選擇的預(yù)測(cè)殘差進(jìn)行編碼。
2.根據(jù)權(quán)利要求1的方法，其中根據(jù)8種定向幀內(nèi)預(yù)測(cè)模式執(zhí)行該幀內(nèi)預(yù)測(cè)。
3.根據(jù)權(quán)利要求1的方法，其中該幀內(nèi)編碼塊具有4×4像素的尺寸。
4.根據(jù)權(quán)利要求2的方法，其中利用9種幀內(nèi)預(yù)測(cè)模式執(zhí)行該幀內(nèi)預(yù)測(cè)，所述9種幀內(nèi)預(yù)測(cè)模式是8種定向幀內(nèi)預(yù)測(cè)模式加上在利用底層圖像執(zhí)行預(yù)測(cè)時(shí)所使用的預(yù)測(cè)模式。
5.根據(jù)權(quán)利要求1的方法，其中該底層區(qū)域的圖像是通過(guò)解碼重構(gòu)的、與當(dāng)前幀內(nèi)編碼塊對(duì)應(yīng)的底層幀的區(qū)域的圖像。
6.根據(jù)權(quán)利要求1的方法，其中該相鄰幀內(nèi)編碼塊的圖像是通過(guò)對(duì)該相鄰幀內(nèi)編碼塊進(jìn)行解碼重構(gòu)的圖像。
7.根據(jù)權(quán)利要求1的方法，其中該編碼效率是由基于速率失真的成本函數(shù)確定的。
8.根據(jù)權(quán)利要求1的方法，其中對(duì)所選擇的預(yù)測(cè)殘差進(jìn)行編碼的步驟包括對(duì)所選擇的預(yù)測(cè)殘差執(zhí)行空間變換，以創(chuàng)建變換系數(shù)；對(duì)該變換系數(shù)進(jìn)行量化，以生成量化系數(shù)；和對(duì)該量化系數(shù)進(jìn)行無(wú)損耗地編碼。
9.一種用于基于多層結(jié)構(gòu)解碼視頻的方法，包括對(duì)于每一幀內(nèi)編碼塊提取修改的幀內(nèi)預(yù)測(cè)模式和紋理數(shù)據(jù)；根據(jù)該紋理數(shù)據(jù)生成幀內(nèi)編碼塊的殘留圖像；根據(jù)該修改的幀內(nèi)預(yù)測(cè)模式，利用先前重構(gòu)的相鄰幀內(nèi)編碼塊或先前重構(gòu)的底層圖像，而生成當(dāng)前幀內(nèi)編碼塊的預(yù)測(cè)圖像；和將該預(yù)測(cè)圖像與該殘留圖像相加，并重構(gòu)當(dāng)前幀內(nèi)編碼塊的圖像。
10.根據(jù)權(quán)利要求9的方法，其中所述根據(jù)該紋理數(shù)據(jù)生成殘留圖像的步驟包括對(duì)紋理數(shù)據(jù)進(jìn)行逆量化，并對(duì)逆量化的結(jié)果執(zhí)行逆空間變換。
11.根據(jù)權(quán)利要求9的方法，其中所述修改的幀內(nèi)預(yù)測(cè)模式包括8種定向幀內(nèi)預(yù)測(cè)模式和用于根據(jù)對(duì)應(yīng)底層區(qū)域執(zhí)行預(yù)測(cè)的預(yù)測(cè)模式。
12.一種用于基于多層結(jié)構(gòu)編碼視頻的方法，包括利用與當(dāng)前運(yùn)動(dòng)塊對(duì)應(yīng)的參考幀的區(qū)域的圖像，對(duì)該當(dāng)前運(yùn)動(dòng)塊執(zhí)行時(shí)間預(yù)測(cè)，以獲得第一預(yù)測(cè)殘差；利用與該當(dāng)前運(yùn)動(dòng)塊對(duì)應(yīng)的底層區(qū)域的圖像，對(duì)該當(dāng)前運(yùn)動(dòng)塊執(zhí)行預(yù)測(cè)，以獲得第二預(yù)測(cè)殘差；選擇所述第一和第二預(yù)測(cè)殘差之中的提供較高編碼效率的那個(gè)預(yù)測(cè)殘差；和對(duì)所選擇的預(yù)測(cè)殘差進(jìn)行編碼。
13.根據(jù)權(quán)利要求12的方法，其中該運(yùn)動(dòng)塊是通過(guò)分級(jí)可變尺寸塊匹配(HVSBM)生成的。
14.根據(jù)權(quán)利要求12的方法，其中該運(yùn)動(dòng)塊是通過(guò)固定尺寸塊匹配生成的。
15.根據(jù)權(quán)利要求12的方法，其中該編碼效率是由基于速率失真的成本函數(shù)確定的。
16.根據(jù)權(quán)利要求12的方法，其中該底層區(qū)域的圖像是通過(guò)解碼重構(gòu)的、與當(dāng)前幀內(nèi)編碼塊對(duì)應(yīng)的底層幀的區(qū)域的圖像。
17.根據(jù)權(quán)利要求12的方法，其中該參考幀是通過(guò)在與當(dāng)前運(yùn)動(dòng)塊不同的時(shí)間位置對(duì)幀進(jìn)行編碼、并對(duì)所編碼的幀進(jìn)行解碼所獲得的幀。
18.一種用于基于多層結(jié)構(gòu)解碼視頻的方法，包括提取用于每一運(yùn)動(dòng)塊的選定模式、運(yùn)動(dòng)數(shù)據(jù)、和紋理數(shù)據(jù)；根據(jù)該紋理數(shù)據(jù)生成該運(yùn)動(dòng)塊的殘留圖像；根據(jù)該選定模式，而在與該運(yùn)動(dòng)塊對(duì)應(yīng)的先前重構(gòu)的參考幀的區(qū)域的圖像和先前重構(gòu)的底層圖像之中選擇一個(gè)圖像；和將所選擇的圖像與該殘留圖像相加，并重構(gòu)該運(yùn)動(dòng)塊的圖像。
19.根據(jù)權(quán)利要求18的方法，其中所述根據(jù)該紋理數(shù)據(jù)生成殘留圖像的步驟包括對(duì)紋理數(shù)據(jù)進(jìn)行逆量化，并對(duì)逆量化的結(jié)果執(zhí)行逆空間變換。
20.一種視頻編碼器，包括配置為利用當(dāng)前幀內(nèi)編碼塊的相鄰幀內(nèi)編碼塊的圖像、對(duì)該當(dāng)前幀內(nèi)編碼塊執(zhí)行幀內(nèi)預(yù)測(cè)以獲得預(yù)測(cè)殘差的單元；配置為利用與該當(dāng)前幀內(nèi)編碼塊對(duì)應(yīng)的底層區(qū)域的圖像、對(duì)該當(dāng)前幀內(nèi)編碼塊執(zhí)行預(yù)測(cè)以獲得預(yù)測(cè)殘差的單元；配置為選擇所述兩種預(yù)測(cè)殘差之中的提供較高編碼效率的預(yù)測(cè)殘差的單元；和配置為對(duì)所選擇的預(yù)測(cè)殘差進(jìn)行編碼的單元。
21.一種視頻解碼器，包括配置為對(duì)于每一幀內(nèi)編碼塊提取修改的幀內(nèi)預(yù)測(cè)模式和紋理數(shù)據(jù)的單元；配置為根據(jù)該紋理數(shù)據(jù)生成幀內(nèi)編碼塊的殘留圖像的單元；配置為根據(jù)該修改的幀內(nèi)預(yù)測(cè)模式、利用先前重構(gòu)的相鄰幀內(nèi)編碼塊或先前重構(gòu)的底層圖像、而生成當(dāng)前幀內(nèi)編碼塊的預(yù)測(cè)圖像的單元；和配置將該預(yù)測(cè)圖像與該殘留圖像相加并重構(gòu)當(dāng)前幀內(nèi)編碼塊的圖像的單元。
22.一種視頻編碼器，包括配置為利用與當(dāng)前運(yùn)動(dòng)塊對(duì)應(yīng)的參考幀的區(qū)域的圖像、對(duì)該當(dāng)前運(yùn)動(dòng)塊執(zhí)行時(shí)間預(yù)測(cè)以獲得第一預(yù)測(cè)殘差的單元；配置為利用與該當(dāng)前運(yùn)動(dòng)塊對(duì)應(yīng)的底層區(qū)域的圖像、對(duì)該當(dāng)前運(yùn)動(dòng)塊執(zhí)行預(yù)測(cè)以獲得第二預(yù)測(cè)殘差的單元；配置為選擇所述第一和第二預(yù)測(cè)殘差之中的提供較高編碼效率的那個(gè)預(yù)測(cè)殘差的單元；和配置為對(duì)所選擇的預(yù)測(cè)殘差進(jìn)行編碼的單元。
23.一種視頻解碼器，包括配置為提取用于每一運(yùn)動(dòng)塊的選定模式、運(yùn)動(dòng)數(shù)據(jù)、和紋理數(shù)據(jù)的單元；配置為根據(jù)該紋理數(shù)據(jù)生成該運(yùn)動(dòng)塊的殘留圖像的單元；配置為根據(jù)該選定模式、而在與該運(yùn)動(dòng)塊對(duì)應(yīng)的先前重構(gòu)的參考幀的區(qū)域的圖像和先前重構(gòu)的底層圖像之中選擇一個(gè)圖像的單元；和配置為將所選擇的圖像與該殘留圖像相加并重構(gòu)該運(yùn)動(dòng)塊的圖像的單元。
全文摘要
提供了視頻壓縮方法，并更具體地，提供了有效消除視頻幀內(nèi)的冗余度的預(yù)測(cè)方法、以及利用該預(yù)測(cè)方法的視頻壓縮方法和設(shè)備。提供了一種用于基于多層結(jié)構(gòu)編碼視頻的方法，包括利用當(dāng)前幀內(nèi)編碼塊的相鄰幀內(nèi)編碼塊的圖像，對(duì)該當(dāng)前幀內(nèi)編碼塊執(zhí)行幀內(nèi)預(yù)測(cè)，以獲得預(yù)測(cè)殘差；利用與該當(dāng)前幀內(nèi)編碼塊對(duì)應(yīng)的底層區(qū)域的圖像，對(duì)該當(dāng)前幀內(nèi)編碼塊執(zhí)行預(yù)測(cè)，以獲得預(yù)測(cè)殘差；選擇所述兩種預(yù)測(cè)殘差之中的提供較高編碼效率的預(yù)測(cè)殘差；和對(duì)所選擇的預(yù)測(cè)殘差進(jìn)行編碼。
文檔編號(hào)H04N7/24GK101069429SQ200580041621
公開(kāi)日2007年11月7日 申請(qǐng)日期2005年11月18日 優(yōu)先權(quán)日2004年12月3日
發(fā)明者韓宇鎮(zhèn), 車(chē)尚昌, 河昊振 申請(qǐng)人:三星電子株式會(huì)社