利用殘差系數(shù)分布特征和貝葉斯定理優(yōu)化hevc殘差編碼的方法
【專利摘要】本發(fā)明涉及一種利用殘差系數(shù)分布特征和貝葉斯定理優(yōu)化殘差編碼的方法。本方法的操作步驟如下：（1）按照控制文件里設(shè)定的順序讀取視頻序列的每一幀圖像，（2）對(duì)每幀圖像的亮度和色度值進(jìn)行幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)，從而求得殘差系數(shù)，（3）根據(jù)殘差系數(shù)對(duì)殘差塊TU（最大為32×32）進(jìn)行紋理判定或進(jìn)行貝葉斯模型判定，從而決定是否提前中止分塊編碼，（4）對(duì)整塊TU進(jìn)行DCT變換和量化，從而求得量化參數(shù)，（5）對(duì)量化系數(shù)進(jìn)行熵編碼，最后以比特流的形式輸出。本發(fā)明在保證編碼質(zhì)量的損失可以忽略不計(jì)的情況下，提高了視頻編碼速度，更有利于視頻的實(shí)時(shí)采集。
【專利說(shuō)明】利用殘差系數(shù)分布特征和貝葉斯定理優(yōu)化HEVC殘差編碼的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及高分辨率視頻編碼【技術(shù)領(lǐng)域】，特別是利用殘差系數(shù)分布特征和貝葉斯定理優(yōu)化HEVC殘差編碼的方法，適用于高分辨率視頻編碼和實(shí)時(shí)視頻采集。
【背景技術(shù)】
[0002]近些年由于多媒體技術(shù)的迅猛發(fā)展，高清電視(HDTV)，3D立體視頻，視頻通信等新技術(shù)已逐漸為大家所熟知，人們被帶入了一個(gè)嶄新的視頻時(shí)代。所有這些技術(shù)在提供給人們多式多樣的高質(zhì)量視頻享受的同時(shí)，也對(duì)視頻編碼技術(shù)提出了更高的要求。其中，一個(gè)最重要的特征就是相比于之前的標(biāo)清二維視頻這些新技術(shù)要處理更為巨大的數(shù)據(jù)量，現(xiàn)有的視頻編碼標(biāo)準(zhǔn)如H.264已經(jīng)力不從心，于是具有更高壓縮效率的視頻編碼標(biāo)準(zhǔn)HEVC應(yīng)用而生。為提高編碼效率HEVC采用了許多新的技術(shù)，如更大的編碼塊，循環(huán)遞歸編碼結(jié)構(gòu)，更多的幀內(nèi)預(yù)測(cè)模式等，這些改進(jìn)在提高編碼效率的同時(shí)，也使得整個(gè)算法變得相當(dāng)復(fù)雜，很不利于其投入實(shí)際應(yīng)用。為此，如何有效地降低HEVC編碼復(fù)雜度成為現(xiàn)今一個(gè)研究熱點(diǎn)。
[0003]幀內(nèi)預(yù)測(cè)、幀間預(yù)測(cè)在整個(gè)視頻編碼過(guò)程中占用了大部分的時(shí)間，成為主要研究方向，并且方法已趨于成熟。而包括整數(shù)變換、量化以及反變換和反量化的殘差編碼也占用了不少編碼時(shí)間，一些學(xué)者對(duì)其進(jìn)行了研究。其中，文獻(xiàn)[I]在分析了 HEVC殘差編碼塊TU(Transform Unit)的樹(shù)形結(jié)構(gòu)和循環(huán)遞歸編碼基礎(chǔ)上提出了一種簡(jiǎn)便的TU提前中止方案。通過(guò)統(tǒng)計(jì)殘差塊經(jīng)過(guò)整數(shù)變換和量化后的量化系數(shù)中的非零系數(shù)個(gè)數(shù)，來(lái)決定是否要中止分塊編碼。該方法節(jié)省的編碼時(shí)間很多，但編碼質(zhì)量損失也比較大。
[0004]文獻(xiàn)[2]提出的HEVC殘差編碼優(yōu)化算法比較完善。作者首先分析了最優(yōu)編碼模式判定標(biāo)準(zhǔn):率失真代價(jià)函數(shù)，然后找出整塊TU及其四個(gè)子塊TU在編碼比特率上的相互關(guān)系，并分析了全零塊類型在整塊TU和其子塊之間的相互推導(dǎo)關(guān)系。通過(guò)對(duì)比TU四個(gè)子塊的率失真代價(jià)和與預(yù)設(shè)閾值的大小，實(shí)現(xiàn)跳過(guò)大塊殘差編碼和中止小塊殘差編碼。
[0005]文獻(xiàn)[3]針對(duì)HEVC幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)的殘差編碼不同點(diǎn)，分別提出了關(guān)于幀內(nèi)預(yù)測(cè)的快速編碼算法和關(guān)于幀間預(yù)測(cè)的快速殘差編碼算法。前者在參考代碼HM2.0中原有方案的基礎(chǔ)上進(jìn)一步減少幀內(nèi)預(yù)測(cè)中參與率失真計(jì)算的幀內(nèi)預(yù)測(cè)模式個(gè)數(shù)，但對(duì)每種模式都進(jìn)行窮盡的殘差樹(shù)搜索，從而在降少編碼時(shí)間的基礎(chǔ)上也保證了編碼質(zhì)量。后者首先找出四個(gè)子TU的參數(shù)系數(shù)中的最大值和最小值并讓它們作差，然后該差值與設(shè)定閾值相比較從而判定是否要提前中止分塊殘差編碼。
[0006]文獻(xiàn)[I]: Kiho Choi and Euee S.Jang, “Early TU decision method for fastvideo encoding in high efficiency video coding,，’ELECTRONICS LETTERS, Vol.48，N0.12，7th June, 2012.文獻(xiàn)[2]: Su-Wei Tengj Hsueh-Ming Hang and Y1-Fu Chen, “Fast Mode DecisionAlgorithm for Residual Quadtree Coding in HEVCj，’ IEEE Visual Communications andImage Processing.VCIP.2011.6116062, pp.1-4，2011. 文 獻(xiàn)[3]: Yih Han Tan，Chuohao Yeoj Hui Li Tan and Zhengguo Li，“OnResidual Quad-tree Coding In HEVCj ” IEEE Multimedia Signal Processing, 13thInternational Workshop.MMSP.2011.6093805，pp.1-4，2011.
【發(fā)明內(nèi)容】

本發(fā)明的目的是針對(duì)HEVC特有的殘差編碼結(jié)構(gòu)和技術(shù)缺陷，提供一種利用殘差系數(shù)分部特征和貝葉斯定理優(yōu)化HEVC殘差編碼的方法，在保證主觀質(zhì)量不變的情況下，可有效地提高視頻編碼速度。為達(dá)到上述目的，本發(fā)明的構(gòu)思是:第一，在保證視頻編碼質(zhì)量變化不大的前提下，利用殘差系數(shù)的高斯分布特征，對(duì)殘差塊TU上下兩個(gè)子塊和左右兩個(gè)子塊進(jìn)行兩次假設(shè)檢驗(yàn)，從而判斷出當(dāng)前殘差塊TU的內(nèi)部紋理特性，以減少不必要的子塊殘差編碼。第二，利用貝葉斯判定模型，對(duì)TU進(jìn)行提前中止子塊編碼使得編碼速度得到提高。
[0007]根據(jù)上述發(fā)明構(gòu)思，本發(fā)明采用如下的技術(shù)方案:
一種利用殘差系數(shù)分布特征和貝葉斯定理優(yōu)化HEVC殘差編碼的方法，其特征在于操作步驟如下:
(O輸入視頻序列:按照控制文件里設(shè)定的順序讀取視頻序列的每一幀圖像，
(2)幀內(nèi)/幀間預(yù)測(cè):對(duì)每幀圖像的亮度和色度值進(jìn)行幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)，從而求得殘差系數(shù)，
(3)TU提前中止判定:根據(jù)殘差系數(shù)對(duì)殘差塊TU (最大為32X32)進(jìn)行紋理判定或進(jìn)行貝葉斯模型判定，從而決定是否提前中止分塊編碼，
(4)DCT變換和量化:對(duì)整塊TU進(jìn)行DCT變換和量化，從而求得量化參數(shù)，
(5)熵編碼:對(duì)量化系數(shù)進(jìn)行熵編碼，最后以比特流的形式輸出。
[0008]本發(fā)明與已有技術(shù)相比較，具有如下顯而易見(jiàn)的突出實(shí)質(zhì)性特點(diǎn)和顯著技術(shù)進(jìn)
I K
少:
1)、本HEVC視頻編碼優(yōu)化方法在保證視頻編碼質(zhì)量不變的同時(shí)，使得編碼過(guò)程在殘差編碼這個(gè)子過(guò)程就能提高編碼速度，實(shí)驗(yàn)中可以節(jié)省的殘差編碼時(shí)間最多為60% ；
2)、本HEVC視頻編碼優(yōu)化方案中關(guān)于殘差系數(shù)分布特性的優(yōu)化算法是基于假設(shè)檢測(cè)的，所以可以根據(jù)實(shí)際需求通過(guò)修改顯著水平實(shí)現(xiàn)編碼質(zhì)量和編碼速度之間的折中；
3)、本HEVC視頻編碼優(yōu)化方案中基于貝葉斯判定模型的優(yōu)化算法選取預(yù)測(cè)誤差和殘差系數(shù)的均方差MAD為特征向量因子進(jìn)行模式判斷，而這兩個(gè)值在幀內(nèi)和幀間預(yù)測(cè)中就已求出，所以該優(yōu)化方法不會(huì)額外地增加編碼時(shí)間。
【專利附圖】

【附圖說(shuō)明】
[0009]圖1是本發(fā)明中的利用殘差系數(shù)分布特征和貝葉斯定理優(yōu)化HEVC殘差編碼的方法的原理框圖。
[0010]圖2是Skip、幀間和幀內(nèi)預(yù)測(cè)的框圖。
[0011]圖3是基于殘差系數(shù)分布特征算法框圖。
[0012]圖4是TU的結(jié)構(gòu)框圖。
[0013]圖5是在不同⑶、以及幀間和幀內(nèi)預(yù)測(cè)時(shí)，可用于殘差編碼的TU類型。
[0014]圖6是熵編碼示意框圖。
[0015]圖7a是分辨率為832 X 480的測(cè)試序列RaceHorses在基于殘差系數(shù)分布特征的優(yōu)化算法下的RD曲線圖。
[0016]圖7b是分辨率為1280X720的測(cè)試序列vidvol在基于殘差系數(shù)分布特征的優(yōu)化算法下的RD曲線圖。
[0017]圖8是基于殘差系數(shù)分布特征優(yōu)化算法與HM5.0中原始方法相比較的實(shí)驗(yàn)結(jié)果，主要參數(shù)包括:亮度的PSNR，比特率以及殘差編碼時(shí)間。
[0018]圖9a是分辨率為832 X 480的測(cè)試序列RaceHorses在基于貝葉斯判定模型的優(yōu)化算法下的RD曲線圖。
[0019]圖9b是分辨率為1280X720的測(cè)試序列vidvol在基于貝葉斯判定模型的優(yōu)化算法下的RD曲線圖。
[0020]圖10是基于貝葉斯判定模型優(yōu)化算法與HM5.0中原始方法相比較的實(shí)驗(yàn)結(jié)果，主要參數(shù)包括:亮度的PSNR，比特率以及殘差編碼時(shí)間。
【具體實(shí)施方式】
[0021]以下結(jié)合附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例作進(jìn)一步的詳細(xì)說(shuō)明:
實(shí)施例一:
利用殘差塊系數(shù)的分布特征和貝葉斯定理優(yōu)化HEVC殘差編碼的方法(參見(jiàn)圖1)包括以下步驟:
(O輸入視頻序列:按照控制文件里設(shè)定的順序讀取視頻序列的每一幀圖像，
(2)幀內(nèi)/幀間:對(duì)每幀圖像的亮度和色度值進(jìn)行幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)，從而求得殘
差
系數(shù)，
(3)TU提前中止判定:根據(jù)殘差系數(shù)對(duì)殘差塊TU (最大為32X32)進(jìn)行紋理判定或 進(jìn)行貝葉斯模型判定，從而決定是否提前中止分塊編碼，
(4)DCT變換和量化:對(duì)整塊TU進(jìn)行DCT變換和量化，從而求得量化參數(shù)，
(5)熵編碼:對(duì)量化系數(shù)進(jìn)行熵編碼，最后以比特流的形式輸出。
[0022]實(shí)施例二:本實(shí)施例與實(shí)施例一基本相同，特別之處如下:(見(jiàn)圖2至圖10)
上述步驟(2)是對(duì)輸入視頻序列進(jìn)行幀內(nèi)和幀間預(yù)測(cè)，參見(jiàn)圖2，其具體步驟如下:(2-1)幀內(nèi)預(yù)測(cè)是利用編碼塊周圍(左邊和上邊)已編碼參考像素對(duì)當(dāng)前塊進(jìn)行預(yù)測(cè)從而消除視頻圖像在空間上的冗余；幀間預(yù)測(cè)通過(guò)參考編碼塊所在幀的前后幀對(duì)其進(jìn)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償從而消除視頻序列的時(shí)間冗余。HEVC按照率失真最優(yōu)的判定標(biāo)準(zhǔn)從多個(gè)幀內(nèi)和幀間候選模式中選出最優(yōu)的幀內(nèi)和幀間預(yù)測(cè)模式。率失真代價(jià)函數(shù)為:
CosIrd(I)
其中Cbsijffi為率失真代價(jià)值，Β為預(yù)測(cè)失真值，Λ為在不同預(yù)測(cè)模式下輸出的比特?cái)?shù)，A為拉格朗日參數(shù)。
[0023](2-2)與之前的視頻編碼標(biāo)準(zhǔn)H.264不同，為提高編碼效率，HEVC采用更大的編碼塊(64X64)，循環(huán)遞歸的編碼方式，幀內(nèi)預(yù)測(cè)模式增加到35種，這些改進(jìn)在提高編碼效率的同時(shí)也使得幀內(nèi)和幀間預(yù)測(cè)變得更為復(fù)雜。
[0024](2-3)若輸入的是I幀，則只對(duì)其進(jìn)行幀內(nèi)預(yù)測(cè)并進(jìn)行率失真優(yōu)化；若為P幀或B幀，則先對(duì)其進(jìn)行Skip模式預(yù)測(cè)和幀間預(yù)測(cè)，然后再進(jìn)行幀內(nèi)預(yù)測(cè)。最后按率失真優(yōu)化標(biāo)準(zhǔn)從三種模式中選出最優(yōu)的預(yù)測(cè)模式。
[0025]上述步驟(3)對(duì)殘差塊的系數(shù)進(jìn)行判定的方法有兩種，具體步驟如下:
(3-1)基于高斯分布的假設(shè)檢驗(yàn)法
由相關(guān)文獻(xiàn)研究可知，殘差系數(shù)服從期望值為零的高斯分布，即滿足以下表達(dá)式:
【權(quán)利要求】
1.一種利用殘差系數(shù)分布特征和貝葉斯定理優(yōu)化HEVC殘差編碼的方法，其特征在于: (O輸入視頻序列:按照控制文件里設(shè)定的順序讀取視頻序列的每一幀圖像； (2)幀內(nèi)/幀間預(yù)測(cè):對(duì)每幀圖像的亮度和色度值進(jìn)行幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)，從而求得殘差系數(shù)； (3)TU提前中止判定:根據(jù)殘差系數(shù)對(duì)殘差塊TU (Transform Unit)(最大為32X 32)進(jìn)行紋理判定或進(jìn)行貝葉斯模型判定，從而決定是否提前中止分塊編碼； (4)DCT變換和量化:對(duì)整塊TU進(jìn)行DCT變換和量化，從而求得量化參數(shù)； (5)熵編碼:對(duì)量化系數(shù)進(jìn)行熵編碼，最后以比特流的形式輸出。
2.根據(jù)權(quán)利要求1所述的利用殘差系數(shù)分布特征和貝葉斯定理優(yōu)化HEVC殘差編碼的方法，其特征在于所述步驟(2)幀內(nèi)/幀間預(yù)測(cè)的具體步驟如下: (2-1)幀內(nèi)預(yù)測(cè)是利用編碼塊左邊和上邊已編碼參考像素對(duì)當(dāng)前塊進(jìn)行預(yù)測(cè)從而消除視頻圖像在空間上的冗余；幀間預(yù)測(cè)通過(guò)參考編碼塊所在幀的前后幀對(duì)其進(jìn)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償從而消除視頻序列的時(shí)間冗余；HEVC按照率失真最優(yōu)的判定標(biāo)準(zhǔn)從多個(gè)幀內(nèi)和幀間候選模式中選出最優(yōu)的幀內(nèi)和幀間預(yù)測(cè)模式；率失真代價(jià)函數(shù)為:
3.根據(jù)權(quán)利要求1所述的利用殘差系數(shù)分布特征和貝葉斯定理優(yōu)化HEVC殘差編碼的方法，其特征在于所述步驟(3) TU提前中止判定的具體步驟如下: ①基于高斯分布的假設(shè)檢驗(yàn)法 由相關(guān)文獻(xiàn)研究可知，殘差系數(shù)服從期望值為零的高斯分布，即滿足以下表達(dá)式: X Ν(/ι,σ2)(2) 其中I表不殘差系數(shù)，Zi = 0為均值，Oji為方差，表不聞斯分布； 為判斷整塊TU是否適合劃分成四個(gè)子TU可以把整塊TU分為兩種劃分方式，如圖3所示。如果兩種劃分方式都滿足，則可認(rèn)為TU適合分成四個(gè)子TU。如果采用圖3中的劃分方式編碼效果較好，則殘差系數(shù)應(yīng)該服從高斯分布，由于服從同一分布則兩個(gè)部分的期望值#應(yīng)該沒(méi)有顯著性差別。因此，可以通過(guò)假設(shè)檢驗(yàn)判斷該模式的預(yù)測(cè)效果，根據(jù)概率論的知識(shí)得到: \ Ul.(3)
^1% 1%上式中》%和|?2分別表示圖3中A和B兩個(gè)子塊中殘差系數(shù)的個(gè)數(shù)，f分布為學(xué)生氏分布，W2是該分布的自由度，X，j是每種劃分方式中兩部分像素亮度的均值，Pk、/%是兩個(gè)部分各自的數(shù)學(xué)期望值，上式中毛如下:
4.根據(jù)權(quán)利要求1所述 的利用殘差系數(shù)分布特征和貝葉斯定理優(yōu)化HEVC殘差編碼的方法，其特征在于:所述步驟(4)DCT變換和量化的具體步驟如下: ①HEVC進(jìn)行整數(shù)變換和量化時(shí)，TU的最大尺寸為32X 32，最小尺寸為4X4，類似于⑶的四叉樹(shù)結(jié)構(gòu)； ②針對(duì)不同的CU、PU、幀內(nèi)以及幀間預(yù)測(cè)，TU有不同的可用類型。
5.根據(jù)權(quán)利要求1所述的利用殘差系數(shù)分布特征和貝葉斯定理優(yōu)化HEVC殘差編碼的方法，其特征在于:所述步驟(4)熵編碼的具體步驟如下: ①對(duì)量化系數(shù)進(jìn)行可變長(zhǎng)熵編 碼(VLC)或算術(shù)編碼(CABAC)，從而消除量化系數(shù)的符號(hào)冗余，實(shí)現(xiàn)對(duì)視頻序列的進(jìn)一步壓縮； ②經(jīng)熵編碼的數(shù)據(jù)最終以比特流的形式輸出；通過(guò)相關(guān)碼率控制技術(shù)可實(shí)現(xiàn)比特率的自適應(yīng)改變，這大大提高了 HEVC編碼器的網(wǎng)絡(luò)友好性。
【文檔編號(hào)】H04N19/00GK103546749SQ201310480055
【公開(kāi)日】2014年1月29日 申請(qǐng)日期:2013年10月14日 優(yōu)先權(quán)日:2013年10月14日
【發(fā)明者】沈禮權(quán), 趙文強(qiáng), 曹志明, 胡乾乾, 趙振軍 申請(qǐng)人:上海大學(xué)