幀內(nèi)編碼的預(yù)測值派生的方法和裝置的制造方法
【專利說明】幀內(nèi)編碼的預(yù)測值派生的方法和裝置
[0001]【交叉參考相關(guān)引用】
[0002] 本發(fā)明要求2013年4月11日申請的序列號為61/810,797,標(biāo)題為"Method Of Deriving the Predicting Value in Intra Coding"的美國臨時專利申請的優(yōu)先權(quán)，該美 國臨時專利申請在此全部并入?yún)⒖肌?【技術(shù)領(lǐng)域】
[0003] 本發(fā)明涉及三維和多視圖視頻編碼。特別地，本發(fā)明涉及使用簡化的深度編碼的 深度編碼。 【【背景技術(shù)】】
[0004] 近年來，三維（3D)電視已經(jīng)成為一種技術(shù)趨勢，其致力于帶給觀眾生動的觀看體 驗。多視圖視頻是一種俘獲和描繪3D視頻的技術(shù)。多視圖視頻通過同時使用多個相機俘 獲一個場景來典型地創(chuàng)建，其中多個相機合適地放置以便每個照相機從一個視圖俘獲此場 景。具有與視圖關(guān)聯(lián)的大量視頻序列的多視圖視頻表示大數(shù)量數(shù)據(jù)。因此，多視圖視頻將 要求較大存儲空間以儲存和/或較高的帶寬以傳送。因此，多視圖視頻編碼技術(shù)已經(jīng)在本 領(lǐng)域發(fā)展以減少所要求的存儲空間和傳送帶寬。在三維和多視圖編碼系統(tǒng)中，文本數(shù)據(jù)以 及深度數(shù)據(jù)被編碼。
[0005] 對于深度圖，簡化的深度編碼（Simplified Depth Coding，SDC)，其也稱作分段 式（segment-wise)DC編碼，是備選的幀內(nèi)編碼模式。SDC是否使用由在編碼單元（Coding Unit，CU)級的SDC旗標(biāo)標(biāo)示（signal)。對于SDC，深度塊由現(xiàn)有的幀內(nèi)模式或深度模型模 式1來進行幀內(nèi)預(yù)測。SDC編碼的CU的分割大小通常是2Nx2N，并因此不需要在比特流中 標(biāo)示關(guān)于SDC編碼的CU的塊大小。此外，SDC編碼的殘值依據(jù)深度塊是否分為一個或兩個 片段來由一個或兩個常數(shù)殘值來表示，而不是編碼為量化轉(zhuǎn)換系數(shù)。
[0006] 根據(jù)基于HEVC (3D-HEVC)的現(xiàn)存的三維視頻編碼，特定信息為SDC編碼的塊來標(biāo) 示。標(biāo)示的信息包含：
[0007] 1.當(dāng)前塊的分割/預(yù)測類型?？赡艿闹凳?br>[0008] i.DC(直流；1 片段）
[0009] ii. DMM(深度模型編碼模式）模式1-明確楔（Explicit Wedgelets) (2個片段）
[0010] iii.平面（1 片段）。
[0011] 2.對于DMM，附加的預(yù)測信息被編碼。
[0012] 3.對于每個結(jié)果片段，殘值（在像素域）在比特流中被標(biāo)示。
[0013] 在深度編碼過程中，深度殘值被映射到限制的深度值，其呈現(xiàn)在原始深度圖。限制 的深度值由深度查找表（DLT)表示。因此，殘值可以由標(biāo)示指向此查找表的條目的索引來 編碼。呈現(xiàn)在深度圖中的深度值通常限制于小于可以由深度俘獲裝置表示的總數(shù)的數(shù)目。 因此，DLT的使用可減少殘值幅度要求的位深度。此映射表發(fā)送到解碼器，以便從索引到有 效的深度值的反向查找表可以在解碼器執(zhí)行。
[0014] 在編碼器側(cè)，即將被編碼進比特流的殘值索引仁_根據(jù)以下來確定：
[0015]
(1)
[0016] 其中(1_表示確定用于深度塊的原始深度值，d ^表示預(yù)測深度值，以及I (.)表 示索引查找表。計算后的殘值索引Ilresl然后與重要旗標(biāo)、符號旗標(biāo)以及殘值索引的幅度的
K立一起編碼，其中dvalld表示有效的深度值的數(shù)目以及是對應(yīng)于不小于X的最 小整數(shù)的上取整函數(shù)。
[0017] 深度查找表利用深度圖的稀疏特性（sparse property)，其中僅僅全部可用的深 度范圍（例如，2s)的少數(shù)深度值將典型地呈現(xiàn)在深度圖中。在編碼器，動態(tài)深度查找表通 過分析輸入序列的多個幀（例如，一個幀內(nèi)期間）來構(gòu)建。此深度查找表在編碼過程中使 用以減少殘值信號的有效信號位深度。
[0018] 為了重建查找表，編碼器從即將編碼的輸入視頻序列讀取預(yù)定義數(shù)目的幀，并掃 描所有樣本用于深度值的出現(xiàn)。在此過程中，基于原始未壓縮的深度圖生成將深度值映射 到現(xiàn)存的深度值的映射表。
[0019] 深度查找表D (.)、索引查找表1 (.)、深度映射表M(.)以及有效的深度值的數(shù)目 dvalld由分析深度圖D ,的以下過程派生：
[0020] 1.初始化
[0021] ?對于所有深度值d，布爾向量B (d) = PALSE
[0022] ?索引計數(shù)器t = 0。
[0023] 2.對于多個時間段t，處理Dt中的每個像素位置p :
[0024] ?設(shè)置B (Dt (P) )= TRUE以標(biāo)記有效的深度值。
[0025] 3.計算B (d)中TRUE值的數(shù)目。結(jié)果設(shè)置為dvalld的值。
[0026] 4.對于每個 d，B (d) = = TRUE :
[0027] ?設(shè)置 D(t) = d，
[0028] ?設(shè)置 M(d)=d，
[0029] ?設(shè)置 I (d) = t，以及
[0030] · t = t+l〇
[0031] 5.對于每個 d，B (d) = = FALSE :
[0032] ?找出
[0033] ?設(shè)置
[0034] 6.設(shè)置
[0035] 如上所述，在現(xiàn)存的SDC中的存在三個類型的分割和預(yù)測。對于三個類型的分割 和預(yù)測的相應(yīng)過程描述于下。
[0036] DC ：
[0037] -DC預(yù)測值（預(yù)測深度值（dprad))使用上邊塊和左側(cè)塊的所有直接鄰近樣本的平 均值來從相鄰塊預(yù)測。
[0038] DMM 模式：
[0039] -邊緣信息是由起始/結(jié)束側(cè)和對應(yīng)索引來定義。
[0040] -如圖1所示，每個片段的DC預(yù)測值（預(yù)測深度值（d_d))由相鄰深度值來預(yù)測。 兩個深度塊（110和120)顯示于圖1，其中每個塊由虛線所示分割成兩個片段。塊110的 重建后的相鄰深度樣本由參考112和114來指示，塊120的重建后的相鄰深度樣本由參考 122和124來指示。
[0041] 平面：
[0042] -如圖2所示生成平面模式的預(yù)測符。如圖2A所示，線性內(nèi)插用于為右側(cè)列和底 部行生成預(yù)測符。對于右側(cè)列，線性內(nèi)插是基于在A和Z的深度值。對于底部行，線性內(nèi)插 是基于在B和Z的深度值。在右側(cè)列和底部行被內(nèi)插后，如圖2B所示，剩余深度位置的預(yù) 測符是使用來自四側(cè)的四個相應(yīng)深度樣本來雙向線性內(nèi)插的。
[0043] -DC預(yù)測值（預(yù)測深度值（d_d))是平面模式的預(yù)測符的平均。
[0044] 在以上派生過程中，預(yù)測樣本參考由幀內(nèi)編碼模式生成的預(yù)測后的值，其可以是 現(xiàn)有3D-HEVC中的DC模式、DMM模式1或平面模式。在解碼器側(cè)的DC模式的重建過程圖示 于圖3。當(dāng)前深度塊（310)的DC預(yù)測值（PredDC)基于相鄰的重建后的深度值來確定。在 圖3,原始深度值顯示于當(dāng)前深度塊（310)。殘值通過將反向查找應(yīng)用在所接收的殘值索引 上來獲得。當(dāng)前深度塊的重建后的深度值（RecDC)通過將殘值加上PredDC來獲得。重建 后的深度值（RecDC)然后用于當(dāng)前重建后的深度塊（320)的所有深度樣本。
[0045] 在解碼器側(cè)的DMM模式1的重建過程圖示于圖4。當(dāng)前深度塊（410)分割成兩個 片段。當(dāng)前深度塊（410)的兩個片段的DC預(yù)測值（PrecWJP Pred De2)是基于相應(yīng)相鄰重建 后的深度值確定的。在圖4中，原始深度值顯示于當(dāng)前深度塊（410)。殘值（residualJP residual是通過在所接收的殘值索引上應(yīng)用反向查找而獲得的。當(dāng)前深度塊的兩個片段 的重建后的深度值（Rec w^P Recwn)是分別通過將residual 1加 Predwn以及將residual 2加 Predre2獲得的。重建后的深度值（Recwn和Recwn)然后用于當(dāng)前重建后的深度塊（420) 的兩個相應(yīng)片段中的所有深度樣本。
[0046] 在解碼器側(cè)的平面模式的重建過程圖示于圖5。當(dāng)前深度塊（510)的DC預(yù)測值 (Pred re)是基于當(dāng)前深度塊的預(yù)測深度值的平均值來確定的。當(dāng)前深度塊的預(yù)測深度值是 基于相鄰重建后