3d以及多視圖視頻編碼中子pu語法信令以及亮度補償?shù)姆椒?br>【專利說明】3D以及多視圖視頻編碼中子PU語法信令以及亮度補償?shù)姆椒?br>[0001]【相關(guān)申請的交叉引用】
[0002] 本發(fā)明主張申請于2014年6月20日序列號為PCT/CN2014/080406的PCT專利申請， 申請于2014年6月23日序列號為PCT/CN2014/080516的PCT專利申請，申請于2015年2月6日 序列號為PCT/CN2015/072428的PCT專利申請的優(yōu)先權(quán)。將這些PCT專利申請以參考的方式 并入本文中。 【技術(shù)領(lǐng)域】
[0003] 本發(fā)明涉及三維以及多視圖視頻編碼。特別地，本發(fā)明涉及三維以及多視圖視頻 編碼的多個方面，包括:子預(yù)測單元(prediction unit，PU)語法信令(syntax signaling)、 亮度補償（i 1 luminat ion compensation，1C)、以及依賴紋理的深度分區(qū)（texture-dependent depth partition)。 【【背景技術(shù)】】
[0004] 三維（3D)視頻編碼被開發(fā)以編碼或解碼由多個相機同時捕捉的多個視圖的視頻 數(shù)據(jù)。因為所有相機捕捉相同場景的紋理數(shù)據(jù)以及深度數(shù)據(jù)，所以相同視圖中的紋理以及 深度數(shù)據(jù)之間具有大量的冗余。根據(jù)高效視頻編碼（high efficiency video coding， HEVC)，編碼過程被應(yīng)用到稱為編碼單元(coding unit，⑶)的每個塊，且每個⑶具有預(yù)測過 程。每個⑶可被分為一個或多個預(yù)測單元(prediction unit，PU)且預(yù)測過程(例如，幀內(nèi)或 幀間預(yù)測）被應(yīng)用到每個PU。為了減少冗余，根據(jù)當(dāng)前基于3D視頻編碼的HEVC(3D video coding based on high efficiency video coding，3D_HEVC)，依賴紋理的深度分區(qū)被用 于處理與相同四分樹等級中對應(yīng)紋理CU相對應(yīng)的當(dāng)前深度塊。
[0005] 為了利用視圖間以及分量間（inter-component)冗余，附加的工具例如:視圖間運 動預(yù)測（inter-view motion prediction，IVMP)以及運動參數(shù)繼承（motion parameter inheritance，MPI)被整合到現(xiàn)存的3D-HEVC以及3D高級視頻編碼（3D_Advaneed Video 0)虹即，304￥〇編解碼器中。為進(jìn)一步提升編碼效率，子?1]等級1￥1^以及子?1]等級1^1被使 用。根據(jù)IVMP，附屬視圖中與塊相關(guān)聯(lián)的運動信息是由與對應(yīng)塊(corresponding block)相 關(guān)聯(lián)的運動信息來預(yù)測，對應(yīng)塊是使用參考視圖中的視差向量來定位。根據(jù)MPI，用于深度 數(shù)據(jù)的紋理的運動參數(shù)的繼承是通過將除了來自HEVC合并模式的通常空間以及時間候選 以外的一個合并候選增加到當(dāng)前深度塊的合并列表中來獲取。額外的候選是由同位（colocated) 紋理塊的運動信息產(chǎn)生。
[0006] 于當(dāng)前3D-HEVC中，語法元素 iv_mv_pred_flag[layerld]被發(fā)送以用于層ID (layer ID)大于零的每個層，以指示IVMP是否被使用，其中，層ID大于零對應(yīng)于附屬視圖。 對于層ID大于零的每個層，另一語法元素 log2_sub_pb_size_minus3[layerId]被發(fā)送以指 示紋理子大小。對于深度編碼，語法元素 mpi_flag[layerld]被發(fā)送以用于層ID大于零的 每個層，以指示MPI是否被使用。然而，用于MPI的子PU大小是由所有層共用，且由視頻參數(shù) 組（video parameter set，VPS)擴(kuò)展中的語法元log2_mpi_sub_pb_size_minus3來指不。表 1所示為3D-HEVC中的當(dāng)前vps_extension2()語法設(shè)計。
[0010]如表 1 所亦，與 iv-mv-pred-f lag[ layerld]、log2 -sub-pb_ _size_minus3 [layerld]、mpi_f lag[layerld]、以及l(fā)og2_mpi_sub_pb_size_minus3相關(guān)的語法元素出現(xiàn) 于視頻參數(shù)組擴(kuò)展vps_ eXtenSi〇n2()中。這些語法元素的位置分別由表1的注解1-1到1-4 所指示。眾所周知，IVMP被用于紋理數(shù)據(jù)以利用不同視圖之間的相關(guān)性。另一方面，MPI被用 于深度數(shù)據(jù)以利用同位紋理數(shù)據(jù)中深度數(shù)據(jù)的依賴性。要注意，VPS中出現(xiàn)的語法元素 log2_sub_pb_size_minus3[ layerld]以及l(fā)og2_mpi_sub_pb_size_minus3是獨立的，不需 要考慮當(dāng)前視頻數(shù)據(jù)是否為紋理數(shù)據(jù)或深度數(shù)據(jù)。因此，希望能開發(fā)出新的用于子PU語法 元素信令的方法以提升性能。
[0011 ] 于當(dāng)前3D-HEVC中，亮度補償（illumination compensation，1C)被用來補償不同 視圖之間的亮度強度的差值。當(dāng)亮度補償被應(yīng)用時，當(dāng)前視圖中當(dāng)前塊110的預(yù)測值是根據(jù) 對應(yīng)于y = a*x+b的線性函數(shù)120來計算，其中，X為參考視圖中參考塊的樣本值。于線性模型 中，參數(shù)a被稱為乘法項，且參數(shù)b被稱為偏置項。兩個參數(shù)a以及b是根據(jù)訓(xùn)練過程 (training process) 130使用如圖1所描繪的當(dāng)前塊的相鄰重建樣本140以及參考塊160的 相鄰重建樣本150來導(dǎo)出。
[0012]圖2所示為根據(jù)HEVC包含于訓(xùn)練過程的樣本，其中，具有相同相關(guān)位置（即，同位） 的參考塊160的相鄰參考樣本xi以及當(dāng)前塊110的相鄰樣本yi被用作為一個訓(xùn)練對 (training pair)。為了減少訓(xùn)練對的數(shù)量，每兩個鄰近樣本中僅有一個被包含于訓(xùn)練組 (training set)中。不具有標(biāo)志（即，Xi或yi)的相鄰樣本不會被用于訓(xùn)練過程。與Xi以及yi 相關(guān)聯(lián)的上標(biāo)"A"表示相鄰樣本位于塊的上方。與Xl以及yi相關(guān)聯(lián)的上標(biāo)"L"表示相鄰樣本 位于塊的左側(cè)。
[0013] 訓(xùn)練對的數(shù)量與塊大小成比例。例如，對于8x8塊有8個訓(xùn)練對，且對于64x64塊有 64個訓(xùn)練對。因此，對于更大的塊，訓(xùn)練過程將會更復(fù)雜。
[0014] 亮度補償被單獨地應(yīng)用到每個顏色分量，例如:Y(亮度），U(Cb)以及V(Cr)。訓(xùn)練過 程也是單獨地被執(zhí)行。對于每個分量，參數(shù)a以及b是獨立地被訓(xùn)練。
[0015]用于計算a以及b的基礎(chǔ)過程如以下等式所示：
[0018] 如上所述，亮度補償?shù)膹?fù)雜性主要是因為編碼器以及解碼器中被用于訓(xùn)練更好的 a以及b的線性最小二乘(linear least square，LLS)方法。基于LLS的訓(xùn)練過程需要多個常 規(guī)乘法操作。根據(jù)現(xiàn)存的3D-HEVC或3D-AVC，亮度補償過程被用于亮度以及色度分量兩者的 單向預(yù)測以及雙向預(yù)測。因此，根據(jù)現(xiàn)存的3D-HEVC或3D-AVC，由于乘法操作，亮度補償過程 需要密集型計算。因此，希望簡化亮度補償過程，特別地是所包含的LLS過程。
[0019] 于3D視頻編碼中，被稱為依賴紋理的深度分區(qū)（texture-dependent depth partition，TDDP)的編碼工具已經(jīng)被開發(fā)以用于利用紋理數(shù)據(jù)以及深度數(shù)據(jù)之間相關(guān)性的 深度分區(qū)。于當(dāng)前3D-HEVC中，為了減少冗余，在當(dāng)前深度CU的對應(yīng)CU( col located coding un i t)位于相同的四分樹等級時，TDDP被使用。
[0020] 圖3所示為根據(jù)現(xiàn)存3D-HEVC的TDDP的所允許的深度分區(qū)以及對應(yīng)紋理分區(qū)之間 的對應(yīng)，其中，非對稱運動分區(qū)（asymmetric motion partition，AMP)被允許。紋理分區(qū)顯 示于左側(cè)且深度分區(qū)顯示于右側(cè)。如圖3所示，當(dāng)位于相同四分樹等級的對應(yīng)紋理⑶以垂直 分區(qū)被編碼，只有垂直分區(qū)以及2Nx2N分區(qū)被允許用于對應(yīng)深度CU。類似地，當(dāng)位于相同的 四分樹等級的對應(yīng)紋理CU以水平分區(qū)被編碼時，只有水平分區(qū)以及2Nx2N分區(qū)被允許用于 對應(yīng)深度CU。當(dāng)位于相同的四分樹等級的對應(yīng)紋理CU以NxN分區(qū)被編碼時，對應(yīng)深度CU可以 使用包括垂直以及水平分區(qū)、2Nx2N分區(qū)以及NxN分區(qū)在內(nèi)的所有分區(qū)。當(dāng)位于相同的四分 樹等級的對應(yīng)紋理CU以2Nx2N分區(qū)被編碼時，對應(yīng)深度CU僅能使用2Nx2N分區(qū)。如圖3所示， 垂直分區(qū)包括Nx2N、nLx2N以及nRx2N，且水平分區(qū)包括Nx2N、nLx2N以及nRx2N。表2以及表3 顯示了 partjnode值以及用于幀間預(yù)測的預(yù)測分區(qū)之間的兩種可能的對應(yīng)。表2所顯示的分 區(qū)模式僅取決于part_mode。對于幀內(nèi)編碼，2Nx2N以及NxN分區(qū)被允許，且part_mode的值為 0或1。表3所顯示的分區(qū)模式同時取決于part_mode以及分區(qū)變量partPredldc。分區(qū)變量 partPredldc可被解釋為一個紋理分區(qū)類型，其中，partPredldc等于1表示水平分區(qū)， partPredldc等于2表示垂直分區(qū)，且partPredldc等于0表示其它分區(qū)（即，2Nx2N或NxN)。
[0026] 在語義中，當(dāng)位于相同的四分樹等級的對應(yīng)紋理CU以水平或垂直來編碼時，變量 partPredldc分別被設(shè)置為1或2。當(dāng)對應(yīng)紋理塊具有較大深度或非水平以及非垂直分區(qū)時， partPredldc被設(shè)置為0。以此方式，指示分區(qū)模式的part_mode旗標(biāo)即可以由較短的二進(jìn)制 串來編碼，也可以與HEVC中的做法相同。
[0027] 然而，于現(xiàn)存的3D_HEVC(即，工作草案6)中，具有用于深度數(shù)據(jù)的分區(qū)模式的有效 性檢查。特別地，現(xiàn)存的3D-HEVC僅檢查當(dāng)前模式是否為幀內(nèi)或幀間模式，以及AMP模式是否 被啟用。因此，當(dāng)TDDP被使用且partPredldc不等于0時，非法的分區(qū)模式可能由解碼器接 收。因此，希望能開發(fā)出一種用于TDDP的分區(qū)模式編碼以確保非法的分區(qū)模式不會發(fā)生，或 確保解碼器在接收到非法的分區(qū)