基于四叉樹約束的編碼單元的劃分方法及視頻編碼方法
【專利摘要】本發(fā)明公開了一種基于四叉樹約束的編碼單元的劃分方法及視頻編碼方法。編碼單元的劃分方法包括步驟：輸入兩個(gè)以上視點(diǎn)視頻紋理圖像和深度圖像序列；記錄各獨(dú)立視點(diǎn)的最大編碼單元的劃分層次信息；獲取最大編碼單元中各個(gè)存儲(chǔ)單元在獨(dú)立視點(diǎn)中的匹配單元；得到最大編碼單元對(duì)應(yīng)的子分塊的初步劃分層次圖；利用四叉樹約束條件對(duì)初步劃分層次圖進(jìn)行校正；輸出當(dāng)前編碼視點(diǎn)各最大編碼單元的劃分。視頻編碼方法中對(duì)編碼單元的劃分采用上述劃分方法。本發(fā)明利用獨(dú)立視點(diǎn)的編碼單元的劃分信息來(lái)幫助非獨(dú)立視點(diǎn)進(jìn)行編碼單元的劃分，并利用四叉樹約束條件對(duì)編碼單元?jiǎng)澐謱哟螆D進(jìn)行校正，避免了現(xiàn)有的復(fù)雜算法，加速了整個(gè)編碼單元?jiǎng)澐值倪^(guò)程，提高了效率。
【專利說(shuō)明】基于四叉樹約束的編碼單元的劃分方法及視頻編碼方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻編碼技術(shù)，尤其涉及一種基于四叉樹約束的多視點(diǎn)視頻編碼單元的快速劃分方法，以及使用該方法的多視點(diǎn)視頻編碼方法。

【背景技術(shù)】
[0002]隨著對(duì)支持3D視頻格式(如“多視點(diǎn)視頻”和“多視點(diǎn)視頻+深度圖”格式)的編碼標(biāo)準(zhǔn)的要求越來(lái)越強(qiáng)烈，ITU-T VCEG(Video Coding Experts Group)和 IS0/IECMPEG (Moving Pictures Experts Group)組成了 JCT_3V( Joint Collaborative Team on3DVideo coding development)來(lái)一起研發(fā)3D視頻的編碼標(biāo)準(zhǔn)。在目前的標(biāo)準(zhǔn)中，基于新一代視頻標(biāo)準(zhǔn)HEVC (High Efficiency Video Coding)的3D視頻編碼標(biāo)準(zhǔn)由于其采用了更復(fù)雜的編碼工具和利用視點(diǎn)間相關(guān)性進(jìn)行編碼，獲得了更好的性能。
[0003]在新的HEVC標(biāo)準(zhǔn)中，編碼層采用的是不同以往宏塊(MB)的編碼單元，而是新的編碼單元(⑶，Coding Units)和編碼樹結(jié)構(gòu)(CTU, Coding Tree Units)。與其它的3D視頻編碼標(biāo)準(zhǔn)相比，3D-HEVC提供了更高的壓縮效率和性能，但也帶來(lái)了很高的編碼復(fù)雜度。其主要原因是由于編碼層采用了遞歸的四叉樹結(jié)構(gòu):將每個(gè)編碼單元?jiǎng)澐殖伤膫€(gè)子編碼單元，其大小從最大編碼單元(LCU)的64X64到最小編碼單元的8X8，并對(duì)每種尺寸的CU進(jìn)行幀內(nèi)、幀間及視點(diǎn)間運(yùn)動(dòng)估計(jì)和率失真優(yōu)化。其中以劃分層次信息來(lái)表示CTU的四叉樹結(jié)構(gòu):當(dāng)CU的劃分信息值為O時(shí)，最大編碼單元被劃分為64x64的CU ;當(dāng)CU的劃分信息值為I時(shí)，最大編碼單元被劃分為32x32的CU ;當(dāng)CU的劃分信息值為2時(shí)，最大編碼單元被劃分為16x16的⑶；當(dāng)⑶的劃分信息值為3時(shí)，最大編碼單元被劃分為8x8的⑶。目前的HTM平臺(tái)上采用的是窮盡迭代法，將一個(gè)最大編碼單元從64x64的⑶經(jīng)過(guò)三層四叉樹結(jié)構(gòu)到8x8的CU，劃分過(guò)程計(jì)算復(fù)雜度很大，限制了其在實(shí)時(shí)場(chǎng)景中的應(yīng)用。


【發(fā)明內(nèi)容】

[0004]為克服上述現(xiàn)有技術(shù)的缺陷，本發(fā)明提供一種基于四叉樹結(jié)構(gòu)的編碼單元的劃分方法及視頻編碼方法，加速了編碼單元?jiǎng)澐值倪^(guò)程，大大提高了效率。
[0005]為達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案:
[0006]本發(fā)明公開了一種基于四叉樹約束的編碼單元的劃分方法，包括以下步驟:A1:輸入兩個(gè)以上視點(diǎn)視頻紋理圖像和深度圖像序列；A2:編碼獨(dú)立視點(diǎn)紋理圖像，記錄各獨(dú)立視點(diǎn)的最大編碼單元的劃分層次信息；A3:獲取待編碼的非獨(dú)立視點(diǎn)紋理圖像的最大編碼單元中各個(gè)存儲(chǔ)單元在所述各獨(dú)立視點(diǎn)中的匹配單元;A4:根據(jù)步驟A2所述的所述劃分層次信息得到當(dāng)前待編碼的非獨(dú)立視點(diǎn)紋理圖像的最大編碼單元對(duì)應(yīng)的子分塊的初步劃分層次圖；A5:利用四叉樹約束條件對(duì)所述初步劃分層次圖進(jìn)行校正；A6:輸出當(dāng)前編碼視點(diǎn)各最大編碼單元的劃分。
[0007]進(jìn)一步地，所述步驟A2中，所述各最大編碼單元的劃分信息為四叉樹單元結(jié)構(gòu)的分層信息k，k的取值為0、1、2或3。
[0008]更進(jìn)一步地，所述步驟A2中，所述劃分信息是以各最大編碼單元內(nèi)信息的存儲(chǔ)單元為單位記錄的。
[0009]更進(jìn)一步地，所述步驟A3具體包括:對(duì)各待編碼的非獨(dú)立視點(diǎn)紋理圖像的最大編碼單元中各個(gè)存儲(chǔ)單元，根據(jù)當(dāng)前編碼視點(diǎn)的深度信息圖來(lái)計(jì)算視差向量，得到當(dāng)前最大編碼單元中各個(gè)存儲(chǔ)單元在獨(dú)立視點(diǎn)中對(duì)應(yīng)的匹配；其中，對(duì)當(dāng)前最大編碼單元中的每一個(gè)存儲(chǔ)單元都計(jì)算一個(gè)視差向量。
[0010]更進(jìn)一步地，所述步驟A4中，當(dāng)前待編碼的非獨(dú)立視點(diǎn)紋理圖像中各待編碼的最大編碼單元對(duì)應(yīng)的子分塊的初步劃分層次圖是通過(guò)步驟A3中得到的各個(gè)存儲(chǔ)單元的匹配單元的劃分構(gòu)成。
[0011]更進(jìn)一步地，所述步驟A5中，利用四叉樹約束條件對(duì)步驟A4中的得到的初步劃分層次圖進(jìn)行校正，使其滿足編碼單元?jiǎng)澐值乃牟鏄浣Y(jié)構(gòu)。
[0012]更進(jìn)一步地，所述編碼單元的四叉樹結(jié)構(gòu)可由如下公式表示:
[0013]如果di；J=k, i, j=0, I,...15,
16 16
Vz e (ij + I,./ + — -1)'/.e ( /.、/.+ I,"'/ + — -1)
[0014]
,..16.....16
d n 二 A,/，^ (/,/ +1,./ + — I), /1 G (/, / + I,…/.+.^■-1)
[0015](i \ j ') ^ (/, j) (I),
[0016]di；J為所述步驟A2中每個(gè)存儲(chǔ)單元中左上角像素位置存儲(chǔ)的當(dāng)前編碼單元?jiǎng)澐謱哟涡畔?，d '為當(dāng)前編碼單元?jiǎng)澐謱哟涡畔⒅衅渌鎯?chǔ)單元的深度值，k為四叉樹單元結(jié)構(gòu)的分層信息，其所滿足的四叉樹約束條件由公式(I)表示。
[0017]利用公式(I)的四叉樹約束條件，對(duì)于得到的初步的層次劃分圖，自頂向下逐級(jí)校正其不滿足四叉樹結(jié)構(gòu)的部分；依次類推，直到將獨(dú)立視頻內(nèi)的匹配單元和當(dāng)前最大編碼單元?jiǎng)澐值綐?biāo)準(zhǔn)中允許的最小編碼單元為止。
[0018]更進(jìn)一步地，所述計(jì)算視差向量可采用HEVC標(biāo)準(zhǔn)中所列方法。
[0019]更進(jìn)一步地，所述HEVC標(biāo)準(zhǔn)中所列方法包括基于已編碼深度圖像的視差向量估計(jì)方法、基于已編碼視差向量和運(yùn)動(dòng)向量的視差向量估計(jì)方法、基于相鄰塊視差向量的估計(jì)方法和基于不同視點(diǎn)已編碼的深度圖計(jì)算的方法。
[0020]本發(fā)明還公開了一種基于四叉樹約束的視頻編碼方法，該編碼方法中對(duì)編碼單元的劃分采用如上述任一項(xiàng)所述的劃分方法。
[0021]本發(fā)明的有益效果是:本發(fā)明利用視點(diǎn)間紋理的相關(guān)性，利用獨(dú)立視點(diǎn)的編碼單元的劃分信息來(lái)幫助非獨(dú)立視點(diǎn)進(jìn)行編碼單元的劃分。當(dāng)編碼非獨(dú)立視點(diǎn)時(shí)，利用已編碼的同一時(shí)刻的獨(dú)立視點(diǎn)的編碼單元?jiǎng)澐謱哟涡畔?lái)幫助當(dāng)前編碼的非獨(dú)立視點(diǎn)編碼單元的劃分，在計(jì)算上省略了窮盡迭代的非獨(dú)立視點(diǎn)的編碼單元?jiǎng)澐址?，取而代之的是統(tǒng)計(jì)非獨(dú)立視點(diǎn)中當(dāng)前最大編碼單元中各個(gè)存儲(chǔ)單元對(duì)應(yīng)到獨(dú)立視點(diǎn)中最大編碼單元位置內(nèi)的各個(gè)存儲(chǔ)單元中編碼單元的劃分層次信息，初步得到非獨(dú)立視點(diǎn)編碼單元?jiǎng)澐值膶哟螆D，并利用四叉樹結(jié)構(gòu)約束條件對(duì)其進(jìn)行校正，從而避免了現(xiàn)有算法中對(duì)每種編碼單元?jiǎng)澐帜Ｊ降挠?jì)算，以及對(duì)相應(yīng)的RDCost的計(jì)算，加速了整個(gè)編碼單元?jiǎng)澐值倪^(guò)程，提高了效率。與此同時(shí)，相比于其它快速算法，本發(fā)明所提供的算法不需要進(jìn)行復(fù)雜的運(yùn)算，只需根據(jù)四叉樹約束條件進(jìn)行校正，本發(fā)明所提供的算法引入的平均負(fù)載只有0.0187%，并且節(jié)省了平均59.4%的編碼時(shí)間。

【專利附圖】

【附圖說(shuō)明】
[0022]圖1是本發(fā)明一個(gè)實(shí)施例的編碼單元的劃分方法流程圖；
[0023]圖2是本發(fā)明一個(gè)實(shí)例中待編碼的非獨(dú)立視點(diǎn)中最大編碼單元的初步劃分層次圖；
[0024]圖3是利用四叉樹約束條件校正圖2中的初步劃分層次圖所得到的待編碼的非獨(dú)立視點(diǎn)最大編碼單元的劃分層次圖。

【具體實(shí)施方式】
[0025]通過(guò)研究視點(diǎn)間紋理的相關(guān)性，可通過(guò)利用獨(dú)立視點(diǎn)中的最大編碼單元的劃分層次信息，來(lái)判定當(dāng)前待編碼的非獨(dú)立視點(diǎn)的最大編碼單元對(duì)應(yīng)子分塊的劃分方法。因?yàn)?，相鄰視點(diǎn)之間基線較短，相鄰視點(diǎn)中的內(nèi)容相同，其在不同視點(diǎn)中的劃分有很大的相似性，從而可以初步得到非獨(dú)立視點(diǎn)中最大編碼單元中各子分塊的劃分，同時(shí)四叉樹條件約束對(duì)初步得到的劃分進(jìn)行校正，使其可以直接用于指導(dǎo)非獨(dú)立視點(diǎn)最大編碼單元的劃分，而無(wú)須經(jīng)過(guò)復(fù)雜的計(jì)算，對(duì)整個(gè)編碼器引入的負(fù)載可忽略不計(jì)，可在保證編碼質(zhì)量的前提下，大大降低編碼過(guò)程運(yùn)算的復(fù)雜度。
[0026]下面對(duì)照附圖和結(jié)合優(yōu)選【具體實(shí)施方式】對(duì)本發(fā)明進(jìn)行詳細(xì)的闡述。下面的實(shí)施過(guò)程中所述的具體方法都僅為舉例說(shuō)明，本發(fā)明所涵蓋的范圍不局限于所列舉的這些方法。
[0027]如圖1所示是本發(fā)明一個(gè)實(shí)施例的編碼單元的劃分方法流程圖，其主要包括如下步驟:
[0028]Al:輸入兩個(gè)以上視點(diǎn)視頻紋理圖像和深度圖像序列。輸入的多視點(diǎn)立體視頻序列為:通過(guò)攝像機(jī)、照相機(jī)采集所得，或者通過(guò)計(jì)算機(jī)工具所得的視頻序列，數(shù)據(jù)格式不限，該序列可用于立體觀看。
[0029]A2:編碼獨(dú)立視點(diǎn)紋理圖像，記錄各最大編碼單元的劃分信息。當(dāng)編碼獨(dú)立視點(diǎn)紋理圖像時(shí)，記錄獨(dú)立視點(diǎn)內(nèi)每一幀的各最大編碼單元的劃分信息。其中劃分信息是以各最大編碼單元內(nèi)信息的存儲(chǔ)單元為單位記錄的，且該劃分信息為四叉樹單元結(jié)構(gòu)的分層信息k，k的取值為0、1、2或3。
[0030]A3:獲取待編碼的非獨(dú)立視點(diǎn)紋理圖像的最大編碼單元中各個(gè)存儲(chǔ)單元在各獨(dú)立視點(diǎn)中的匹配單元。根據(jù)當(dāng)前編碼視點(diǎn)的深度信息圖的深度信息來(lái)計(jì)算其相對(duì)獨(dú)立視點(diǎn)的視差向量，得到當(dāng)前待編碼的非獨(dú)立視點(diǎn)的最大編碼單元中各個(gè)存儲(chǔ)單元在獨(dú)立視點(diǎn)中對(duì)應(yīng)的匹配單元，例如:可以計(jì)算當(dāng)前待編碼的非獨(dú)立視點(diǎn)的最大編碼單元中各個(gè)存儲(chǔ)單元的任一像素位置所對(duì)應(yīng)到獨(dú)立視點(diǎn)中的位置，根據(jù)其位置信息找到其對(duì)應(yīng)在獨(dú)立視點(diǎn)中對(duì)應(yīng)的存儲(chǔ)單元，如在HEVC中:利用當(dāng)前待編碼的非獨(dú)立視點(diǎn)的最大編碼單元中各個(gè)存儲(chǔ)單元(如4X4的存儲(chǔ)單元)左上角像素的信息，通過(guò)視差向量得到其在獨(dú)立視點(diǎn)中對(duì)應(yīng)的位置，此位置右方和下方各4個(gè)像素位置所對(duì)應(yīng)的4X 4的編碼單元即為這里所說(shuō)的匹配單元。其中，較佳的做法是對(duì)當(dāng)前待編碼的非獨(dú)立視點(diǎn)的最大編碼單元中的每個(gè)存儲(chǔ)單元都重新計(jì)算一個(gè)視差向量，因?yàn)橐曨l中不同區(qū)域內(nèi)容不同，深度值也不同，對(duì)于每一個(gè)待編碼的非獨(dú)立視點(diǎn)的最大編碼單元都重新計(jì)算一個(gè)視差向量使得該視差向量對(duì)當(dāng)前編碼單元更準(zhǔn)確。具體視差向量的計(jì)算過(guò)程可采取基于已編碼的深度圖來(lái)計(jì)算視差向量，但不限于此，任何能夠算出視差向量的計(jì)算方法均可采用，譬如，基于已編碼深度圖像的視差向量估計(jì)方法、基于已編碼視差向量和運(yùn)動(dòng)向量的視差向量估計(jì)方法、基于相鄰塊視差向量的估計(jì)方法和基于不同視點(diǎn)已編碼的深度圖計(jì)算的方法等在HEVC標(biāo)準(zhǔn)中所列出的多種視差向量計(jì)算方法。
[0031]A4:得到當(dāng)前待編碼的非獨(dú)立視點(diǎn)紋理圖像中各待編碼的最大編碼單元對(duì)應(yīng)的子分塊的初步劃分層次圖。
[0032]當(dāng)前待編碼的非獨(dú)立視點(diǎn)紋理圖像中各待編碼的最大編碼單元對(duì)應(yīng)的子分塊的初步劃分層次圖是通過(guò)步驟A3中得到的各個(gè)存儲(chǔ)單元的匹配單元的劃分構(gòu)成，但此初步得到的劃分層次圖不一定滿足編碼單元?jiǎng)澐值乃牟鏄浣Y(jié)構(gòu)。
[0033]例如:在HEVC標(biāo)準(zhǔn)中，最大編碼單元為64X 64，其存儲(chǔ)單元大小為4X 4，劃分層次信息為0、1、2、3，可利用步驟A3中的視差向量得到當(dāng)前待編碼的非獨(dú)立視點(diǎn)紋理圖像中各待編碼的最大編碼單元對(duì)應(yīng)的子分塊的初步劃分層次圖如圖2所示，其中圖中所標(biāo)示出的加粗框部分為不滿足四叉樹約束條件部分，如左上角加粗矩形框中的值應(yīng)為2。
[0034]A5:利用四叉樹約束條件對(duì)步驟A4中得到的初步劃分層次圖進(jìn)行校正，其中四叉樹約束條件的四叉樹結(jié)構(gòu)可由如下公式(I)表示:

【權(quán)利要求】
1.一種基于四叉樹約束的編碼單元的劃分方法，其特征在于，包括以下步驟: Al:輸入兩個(gè)以上視點(diǎn)視頻紋理圖像和深度圖像序列； A2:編碼獨(dú)立視點(diǎn)紋理圖像，記錄各獨(dú)立視點(diǎn)的最大編碼單元的劃分層次信息； A3:獲取待編碼的非獨(dú)立視點(diǎn)紋理圖像的最大編碼單元中各個(gè)存儲(chǔ)單元在所述各獨(dú)立視點(diǎn)中的匹配單元； A4:根據(jù)步驟A2所述的所述劃分層次信息得到當(dāng)前待編碼的非獨(dú)立視點(diǎn)紋理圖像的最大編碼單元對(duì)應(yīng)的子分塊的初步劃分層次圖； A5:利用四叉樹約束條件對(duì)所述初步劃分層次圖進(jìn)行校正； A6:輸出當(dāng)前編碼視點(diǎn)各最大編碼單元的劃分。
2.如權(quán)利要求1所述的劃分方法，其特征在于，所述步驟A2中，所述各最大編碼單元的劃分信息為四叉樹單元結(jié)構(gòu)的分層信息k，k的取值為0、1、2或3。
3.如權(quán)利要求1所述的劃分方法，其特征在于，所述步驟A2中，所述劃分信息是以各最大編碼單元內(nèi)信息的存儲(chǔ)單元為單位記錄的。
4.如權(quán)利要求1所述的劃分方法，其特征在于，所述步驟A3具體包括:對(duì)各待編碼的非獨(dú)立視點(diǎn)紋理圖像的最大編碼單元中各個(gè)存儲(chǔ)單元，根據(jù)當(dāng)前編碼視點(diǎn)的深度信息圖來(lái)計(jì)算視差向量，得到當(dāng)前最大編碼單元中各個(gè)存儲(chǔ)單元在獨(dú)立視點(diǎn)中對(duì)應(yīng)的匹配；其中，對(duì)當(dāng)前最大編碼單元中的每一個(gè)存儲(chǔ)單元都計(jì)算一個(gè)視差向量。
5.如權(quán)利要求1所述的劃分方法，其特征在于，所述步驟A4中，當(dāng)前待編碼的非獨(dú)立視點(diǎn)紋理圖像中各待編碼的最大編碼單元對(duì)應(yīng)的子分塊的初步劃分層次圖是通過(guò)步驟A3中得到的各個(gè)存儲(chǔ)單元的匹配單元的劃分構(gòu)成。
6.如權(quán)利要求1所述的劃分方法，其特征在于，所述步驟A5中，利用四叉樹約束條件對(duì)步驟A4中的得到的初步劃分層次圖進(jìn)行校正，使其滿足編碼單元?jiǎng)澐值乃牟鏄浣Y(jié)構(gòu)。
7.如權(quán)利要求6所述的劃分方法，其特征在于: 所述編碼單元的四叉樹結(jié)構(gòu)可由如下公式表示: 如果i, j=0, I,…15,..16.16
Cliij為所述步驟A2中每個(gè)存儲(chǔ)單元中左上角像素位置存儲(chǔ)的當(dāng)前編碼單元?jiǎng)澐謱哟涡畔ⅲ?-為當(dāng)前編碼單元?jiǎng)澐謱哟涡畔⒅衅渌鎯?chǔ)單元的深度值，k為四叉樹單元結(jié)構(gòu)的分層信息，其所滿足的四叉樹約束條件由公式(I)表示。
8.如權(quán)利要求7所述的劃分方法，其特征在于，利用公式(I)的四叉樹約束條件，對(duì)于得到的初步的層次劃分圖，自頂向下逐級(jí)校正其不滿足四叉樹結(jié)構(gòu)的部分；依次類推，直到將獨(dú)立視頻內(nèi)的匹配單元和當(dāng)前最大編碼單元?jiǎng)澐值綐?biāo)準(zhǔn)中允許的最小編碼單元為止。
9.如權(quán)利要求4所述的劃分方法，其特征在于，所述計(jì)算視差向量可采用HEVC標(biāo)準(zhǔn)中所列方法。
10.如權(quán)利要求9所述的劃分方法，其特征在于，所述HEVC標(biāo)準(zhǔn)中所列方法包括基于已編碼深度圖像的視差向量估計(jì)方法、基于已編碼視差向量和運(yùn)動(dòng)向量的視差向量估計(jì)方法、基于相鄰塊視差向量的估計(jì)方法和基于不同視點(diǎn)已編碼的深度圖計(jì)算的方法。
11.一種基于四叉樹約束的視頻編碼方法，其特征在于，該編碼方法中對(duì)編碼單元的劃分采用如權(quán)利要求1至10任一項(xiàng)所述的劃分方法。
【文檔編號(hào)】H04N19/96GK104202612SQ201410151037
【公開日】2014年12月10日 申請(qǐng)日期:2014年4月15日 優(yōu)先權(quán)日:2014年4月15日
【發(fā)明者】金欣, 遲廣晟, 王興政, 戴瓊海 申請(qǐng)人:清華大學(xué)深圳研究生院