3d以及多視圖編碼系統(tǒng)中用于深度及紋理數(shù)據(jù)的分割預(yù)測的方法【專利說明】3D以及多視圖編碼系統(tǒng)中用于深度及紋理數(shù)據(jù)的分割預(yù)測的方法[0001]【相關(guān)申請的交叉引用】[0002]本發(fā)明主張申請于2014年6月23日，序列號為PCT/CN2014/080515的PCT專利申請、申請于2014年9月22日，序列號為PCT/CN2014/087094的PCT專利申請、以及申請于2014年10月21日，序列號為PCT/CN2014/089040的PCT專利申請的優(yōu)先權(quán)。將以上PCT專利申請以參考的方式并入本文中?！?br>技術(shù)領(lǐng)域：
】[0003]本發(fā)明涉及視頻編碼。特別地，本發(fā)明涉及將預(yù)測塊分類為分割區(qū)域(segments)，并分別處理分割區(qū)域以形成已處理分割預(yù)測塊(processed-segmentedpredict1nblock)。接著，已處理分割區(qū)域預(yù)測塊被用于當(dāng)前塊的預(yù)測編碼?！尽?br>背景技術(shù)：
】】[0004]預(yù)測(Predict1n)在視頻編碼中扮演著關(guān)鍵角色，其中，通過將先前重建的視頻數(shù)據(jù)或其它導(dǎo)出的數(shù)據(jù)用作為預(yù)測子，當(dāng)前視頻數(shù)據(jù)被編碼。當(dāng)編碼或解碼塊時，首先，產(chǎn)生對應(yīng)于幀內(nèi)預(yù)測或幀間預(yù)測的預(yù)測塊?；诋?dāng)前塊以及預(yù)測塊，于編碼器側(cè)形成預(yù)測殘差(predict1nresidue)。于解碼器側(cè)，使用已編碼的預(yù)測殘差，預(yù)測塊被用于重建已重建的樣本(reconstructedsample)。[0005]除了幀間預(yù)測以及幀內(nèi)預(yù)測，一種被稱為塊內(nèi)復(fù)制(intra-b1ckcopy，IBC)的預(yù)測模式已經(jīng)被用在高效視頻編碼(highefficiencyvideocoding，HEVC)標(biāo)準(zhǔn)的屏幕內(nèi)容編碼(screencontentcoding，SCC)總則(profile)中。IBC可以利用相同圖片中的復(fù)制內(nèi)容。圖1所示為IBC的示例，如果IBC被應(yīng)用，當(dāng)前圖片的參考塊120被復(fù)制到當(dāng)前塊110以作為預(yù)測。參考塊通過應(yīng)用塊復(fù)制向量BV130來定位。圖1中的示例顯式BV水平地指向參考塊。然而，BV可以為二維向量，而不被限定為水平。于當(dāng)前塊被編碼或解碼之前，參考塊的樣本已經(jīng)被重建。[0006]幀間簡化深度編碼(Intersimplifieddepthcoding，InterSDC)作為用于深度編碼的特定預(yù)測模式被用于基于三維視頻編碼標(biāo)準(zhǔn)的HEVC(命名為3D-HEVC)中。當(dāng)InterSDC被使用時，用于當(dāng)前塊的正常幀間預(yù)測首先被執(zhí)行。接著，已編碼偏置被增加到預(yù)測塊的每個像素中。如果Pu表示執(zhí)行正常幀間預(yù)測后的像素位置(i，j)的預(yù)測值，且Offset為用于此塊的已編碼偏置，像素位置(i，j)的最終預(yù)測值為P1,,#0ffset。于InterSDC模式中，沒有殘差被編碼。因此，最終預(yù)測值將會作為重建的值被輸出。[0007]深度查找表(Depthlookuptable，DLT)被應(yīng)用于3D-HEVC中。由于經(jīng)常只有少數(shù)的像素值出現(xiàn)在深度分量，DLT將這些有效的值從編碼器傳送到解碼器。當(dāng)編碼單元(codingunit，CU)于幀內(nèi)簡化深度編碼(intrasimplifieddepthcoding)模式或深度圖建模(depthmapm0deling，DMM)模式被編碼時，DLT用于將有效的深度值映射到DLT索引。DLT索引在壓縮上更有效率。圖2所示為DLT過程的示例，其中，256個可能像素值中只有5個像素值(即，50、108、110、112以及200)出現(xiàn)于圖片塊(例如，編碼單元)中。5個像素值可使用5個DLT索引(即，0、1、2、3以及4)來表示。DLT可于圖片參數(shù)集(pictureparameterset，PPS)中被傳送。且DLT是由編碼器于編碼過程中導(dǎo)出。[0008]因?yàn)轭A(yù)測值來自重建的像素，即使當(dāng)前塊的原始像素以及參考塊的原始像素是完全相同的，預(yù)測值與原始值之間也存在失真。此外，由于重建的信號一般會丟失高頻信息，當(dāng)參考塊中具有急劇的像素值改變時，預(yù)測的質(zhì)量更加惡化。圖3以及圖4演示了兩個示例，其中，塊中的兩個以及三個分割區(qū)域具有尖銳的邊緣。[0009]因此，希望能開發(fā)出一種用于預(yù)測的方法，其可以考慮到預(yù)測塊中的急劇變化，以提升編碼性能?！尽?br/>發(fā)明內(nèi)容】】[0010]本發(fā)明揭露了一種處理預(yù)測塊且將已修正預(yù)測塊(modifiedpredict1nblock)用于當(dāng)前塊的預(yù)測編碼的方法以及裝置。根據(jù)本發(fā)明的實(shí)施例接收用于當(dāng)前塊的預(yù)測塊，并將預(yù)測塊中的像素分類為兩個或者更多分割區(qū)域。接著，預(yù)測塊中的每個分割區(qū)域根據(jù)從預(yù)測塊中的每個分割區(qū)域?qū)С龅男畔⒈惶幚恚孕纬梢研拚A(yù)測分割區(qū)域。由預(yù)測塊的已修正預(yù)測分割區(qū)域組成的已修正預(yù)測塊被用作編碼或解碼當(dāng)前塊的預(yù)測子。[0011]預(yù)測塊中的像素可基于預(yù)測塊中像素的像素值、像素位置或梯度(gradient)被分類。例如，根據(jù)預(yù)測塊中像素的像素值與閾值T的關(guān)系將預(yù)測塊中的像素分類為兩個分割區(qū)域。閾值T可以根據(jù):預(yù)測塊中像素的平均值、預(yù)測塊中像素的中值(middlevalue)、預(yù)測塊中部分像素的平均值、預(yù)測塊中四個角像素的平均值、或預(yù)測塊中最小像素值以及最大像素值的平均值來計算。于另一示例中，根據(jù)預(yù)測塊中像素的像素值與(M-1)個閾值T1J2VsTh的關(guān)系將預(yù)測塊中的像素分類為M個分割區(qū)域，且其中，TK=!^=..^=!^以及M大于2。閾值Tk可基于預(yù)測塊中像素的像素值來計算，其中，k為從I到(M-1)之間的整數(shù)。例如，M等于3;如果像素的像素值小于!^或不大于!^，則預(yù)測塊中的像素被分類為分割區(qū)域O;如果像素的像素值大于T2，則預(yù)測塊的像素被分類為分割區(qū)域2;否則，預(yù)測塊的像素被分類為分割區(qū)域I;且其中，T1=(T+Vmin)/2，T2=(Vmax+T)/2,T為預(yù)測塊中的像素的平均值，且Vmax以及Vmin分別為預(yù)測塊的最大像素值以及最小像素值。于又一示例中，根據(jù)預(yù)測塊中像素的梯度，使用預(yù)測塊中像素的索貝爾(Sobel)、羅伯茨(Roberts)以及普魯特(Prewitt)運(yùn)算符，預(yù)測塊中的像素被分類為兩個或者更多分割區(qū)域。[0012]在一個實(shí)施例中，預(yù)測塊中的每個分割區(qū)域的處理可將偏置Offu加到分割區(qū)域U的每個像素的像素值。在另一實(shí)施例中，預(yù)測塊中的每個分割區(qū)域的處理可將偏置Offu加到用于分割區(qū)域U的所有像素的分割區(qū)域U的已估計像素值Eu，以形成分割區(qū)域U的已修正預(yù)測分割區(qū)域。已估計像素值Eu可根據(jù)分割區(qū)域中像素值的函數(shù)來計算。例如，已估計像素值EU可根據(jù)分割區(qū)域U中像素的平均值、分割區(qū)域U的像素的中值、分割區(qū)域U的像素的最小像素值以及最大像素值的平均值、或分割區(qū)域U的像素的眾數(shù)值(modevalue)來計算，其中，分割區(qū)域U的像素的眾數(shù)值對應(yīng)于分割區(qū)域U中最頻繁出現(xiàn)的像素值。[0013]已估計像素值Eu是基于分割區(qū)域U中所有像素來計算。已估計像素值Eu還可基于分割區(qū)域U中特定位置的部分像素來計算。例如，已估計像素值Eu可被計算以作為分割區(qū)域U中特定位置的部分像素的眾數(shù)值。分割區(qū)域U中特定位置的部分像素可以是從分割區(qū)域U中水平的以及垂直的每兩個像素中間隔地取其中一個像素。如果沒有像素存在于分割區(qū)域U的特定位置，則默認(rèn)的已估計像素值Eu可被使用。默認(rèn)的已估計像素值Eu可對應(yīng)于0、128、255、l〈〈(bit_depth_l)或(l〈〈bit_depth)_l，且其中bit_depth對應(yīng)于分割區(qū)域U中像素的像素值的比特深度。[0014]當(dāng)前塊可對應(yīng)于編碼樹單元(codingtreeunit，CTU)、編碼單元(codingunit，⑶)、預(yù)測單元(predict1nunit，PU)、或轉(zhuǎn)換單元(transformunit，TU)。編碼器可于視頻參數(shù)集(videoparameterset，VPS)、序列參數(shù)集(sequenceparameterset，SPS)、圖片參數(shù)集(pictureparameterset，PPS)、條帶標(biāo)頭(sliceheader，SH)、CTU、CU、PU或TU中傳輸關(guān)于是否使用分割預(yù)測過程的信息到解碼器。分割預(yù)測過程可被應(yīng)用到尺寸大于8x8或小于64x64的編碼單元中。于另一例子中，分割預(yù)測過程可被應(yīng)用到具有2Nx2N分區(qū)的編碼單元中。分割預(yù)測過程可被應(yīng)用于以幀內(nèi)塊復(fù)制(Intrablockcopy，IntraBC)模式或幀間簡化深度編碼(Intersimplifieddepthcoding，InterSDC)來編碼的編碼單元中。[0015]表示分割區(qū)域數(shù)量的語法元素可以從編碼器被傳送到解碼器，或分割區(qū)域的數(shù)量可于解碼器被隱式地導(dǎo)出。表示分割區(qū)域數(shù)量的語法元素可于VPS、SPS、PPS、SH、CTU、⑶、PU或TU中被傳送。偏置還可被傳送于VPS、SPS、PPS、SH、CTU、CU、PU或TU中。[0016]用于分割預(yù)測過程的輸入數(shù)據(jù)可對應(yīng)于當(dāng)前圖片的紋理數(shù)據(jù)或深度數(shù)據(jù)。輸入數(shù)據(jù)還可對應(yīng)于當(dāng)前圖片的色度分量。當(dāng)前圖片的色度分量可使用單獨(dú)的信息或共用關(guān)于分割預(yù)測過程的相同信息。【【附圖說明】】[0017]圖1所示為幀內(nèi)塊復(fù)制(Intrablockcopy，IntraBC)過程的示例，其中，當(dāng)前塊是通過相同圖片中的參考塊來被預(yù)測且塊向量被用于定位參考塊。[0018]圖2所示為深度查找表(Depthlookuptable，DLT)過程的示例，其中，256個可能像素值中只有5個像素值(S卩，50、108、110、112以及200)出現(xiàn)于圖片塊(例如，編碼單元)中。[0019]圖3所示為當(dāng)前第1頁1 2 3 4