視頻編碼或解碼的方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明主要關(guān)于三維（three-dimentional，3D)視頻編碼以及多視角視頻編碼 (Multi-viewVideoCoding，MVC)技術(shù)，特別有關(guān)于利用具有延伸預(yù)測(cè)模式的簡(jiǎn)化深度編 碼（SimplifiedDepthCoding,SDC)的深度編碼。
【背景技術(shù)】
[0002] 三維（3D)電視在近年已經(jīng)逐漸成為一種趨勢(shì)，其目標(biāo)是為了帶給觀賞者更佳的 視覺(jué)體驗(yàn)。多視角視頻編碼（MVC)是一種用于擷取以及顯示3D影像的技術(shù)。傳統(tǒng)上來(lái)說(shuō)， 多視角視頻是通過(guò)同時(shí)使用多臺(tái)像機(jī)擷取景象而產(chǎn)生，通過(guò)正確地放置多臺(tái)相機(jī)使得每一 臺(tái)相機(jī)都能在一個(gè)視角（viewpoint)擷取到景象。具有對(duì)應(yīng)每一視角的大量視頻序列的多 視角視頻會(huì)顯示大量的數(shù)據(jù)。因此，多視角視頻將需要巨大的儲(chǔ)存空間來(lái)儲(chǔ)存以及/或巨 大的頻寬來(lái)傳輸。因此，多視角視頻編碼技術(shù)將會(huì)朝向降低所需儲(chǔ)存空間以及傳輸頻寬的 方向來(lái)發(fā)展。在3D和多視角視頻編碼系統(tǒng)中，會(huì)編碼紋理數(shù)據(jù)（texturedata)及深度數(shù) 據(jù)（depthdata)。
[0003] 對(duì)于深度圖（depthmap)而言，SDC(又稱(chēng)為區(qū)段型深度編碼（Segment-wiseDepth Coding))是一種巾貞內(nèi)編碼模式（intracodingmode)的替代方案。是否使用簡(jiǎn)化深度編 碼是由在編碼單元級(jí)別（codingunitlevel)的標(biāo)志SDC標(biāo)志（flag)來(lái)決定的。對(duì)于簡(jiǎn) 化深度編碼而言，深度區(qū)塊是由傳統(tǒng)巾貞內(nèi)模式（conventionalintramode)或深度模型模 式1(depthmodelingmode1)來(lái)進(jìn)行巾貞內(nèi)預(yù)測(cè)。使用SDC編碼的編碼單元的分段尺寸為 2Nx2N，因此不需要在比特流中使用SDC編碼的區(qū)塊尺寸來(lái)進(jìn)行信號(hào)傳輸。此外，根據(jù)深度 區(qū)塊是否分成一或兩區(qū)段，以一或二個(gè)常數(shù)殘差值（residualvalue)來(lái)表示使用SDC編碼 的殘差，以取代使用量化傳輸系數(shù)（quantizedtransformcoefficients)進(jìn)行編碼。
[0004] 根據(jù)基于高效率視頻編碼（HighEfficiencyVideoCoding,HEVC)的現(xiàn)有三維視 頻編碼，傳輸特定信息以用于使用SDC編碼的區(qū)塊。傳輸?shù)倪@些信息包括：
[0005] 1.當(dāng)前區(qū)塊的區(qū)段/預(yù)測(cè)的類(lèi)型?？赡艿臄?shù)值有
[0006] i.深度模型模式（DepthModelingMode,DMM)模式 1-明確楔形波（Explicit Wedgelets)(兩個(gè)區(qū)段）
[0007] ii?平面（Planar)( -個(gè)區(qū)段）
[0008] 2.對(duì)于DMM，對(duì)額外的預(yù)測(cè)信息（例如：分段信息）進(jìn)行編碼。
[0009] 3.對(duì)于每個(gè)產(chǎn)生的區(qū)段，在比特流中傳輸殘差值（位于像素域中）。
[0010] 在深度編碼程序中，首先會(huì)將深度采樣映射到有限的深度值。有限的深度值以深 度查找表〇)印thLookupTable，DLT)來(lái)顯示，且在將深度采樣映射到有限的深度值后， 這些有限的深度值用于作為對(duì)應(yīng)深度查找表的項(xiàng)目的索引。因此，殘差值可通過(guò)預(yù)測(cè)因子 (predictor)的深度查找表索引和原始深度采樣相減來(lái)產(chǎn)生，然后將對(duì)應(yīng)索引的殘差值編 碼且傳送到解碼器。在深度圖中顯示的深度值通常會(huì)限制在小于深度捕捉裝置可顯示的總 數(shù)量的一個(gè)數(shù)量。因此，深度查找表可減少殘差幅度（residualmagnitude)所需求的位元 深度（bit depth)。此映射表會(huì)傳送至解碼器，使得在解碼器中可執(zhí)行從索引至有效深度值 的反向查找（inverse lookup)。
[0011] 在編碼器端，將殘差索引iMsi編碼至比特流中，殘差值索引i Msi定義是根據(jù)： _2] iresi= I (d orig)-I (dpred) (1)
[0013] 其中dOTig表示深度區(qū)塊所定義的原始深度值（例如原始深度區(qū)塊的平均值（mean value))，d pral表示預(yù)測(cè)深度值（例如深度區(qū)塊的預(yù)測(cè)采樣的平均值），且1(.)表示索引查 找表。計(jì)算出的殘差值索引i resi會(huì)再與重要性標(biāo)志（significance flag)、符號(hào)標(biāo)志（sign flag)以及[log2dvalid]位元進(jìn)行編碼以求得殘差值索引的幅度，其中d valid表示有效深度值 的數(shù)量，且[x]是上限函數(shù)（ceiling function)，用于表示不小于x的最小整數(shù)。
[0014] 深度查找表利用了深度圖的稀疏特性（sparse property)，傳統(tǒng)上僅有少數(shù)超過(guò) 全部有效深度范圍（full available depth range) (28)的深度值會(huì)顯示在深度圖上。在編 碼器中，動(dòng)態(tài)深度查找表是根據(jù)分析輸入序列的幀（例如一個(gè)幀內(nèi)周期）的數(shù)量而建立的。 在編碼期間會(huì)使用此深度查找表以減少殘差信號(hào)的有效信號(hào)位元深度。
[0015] 為了建立查找表，編碼器會(huì)從輸入視頻序列讀取預(yù)定義數(shù)量的幀來(lái)進(jìn)行編碼，且 掃描所有采樣以獲知存在的深度值。在這過(guò)程中，會(huì)產(chǎn)生映射表，此映射表中會(huì)根據(jù)原始未 壓縮的深度圖，將深度值映射至現(xiàn)有的深度值。
[0016] 深度查找表D(.)、索引查找表1(.)、深度映射表M(.)以及有效深度值的數(shù)量 d valid，會(huì)通過(guò)分析深度圖Dt的以下過(guò)程進(jìn)行推導(dǎo)：
[0017] 1 ?初始設(shè)定
[0018] ?對(duì)于全部深度值d，布爾向量B(d) =False。
[0019] ?索引計(jì)數(shù)器i =0。
[0020] 2.對(duì)于多個(gè)時(shí)間t將每個(gè)像素位置p帶入Dt中：
[0021] ?設(shè)定B (Dt (p)) = TRUE，以標(biāo)記有效深度值。
[0022] 3.計(jì)算在B (d)中TRUE值的數(shù)量，且將此結(jié)果設(shè)定為dvalid的值。
[0023] 4.對(duì)于B (d) = TRUE的每個(gè)深度值d :
[0024] ?設(shè)定 D(i) =d，
[0025] ?設(shè)定 M(d) =d，
[0026] ?設(shè)定 1(d) =i，且
[0027] ? i = i+1
[0028] 5?對(duì)于B (d) = False的每個(gè)深度值d :
[0029] 籲找出2 = arg min|d - 31 且 5 (<5%true?設(shè)定
[0030] 6?設(shè)定 /((/)= /(*i)
[0031] 如上所述，在現(xiàn)有的SDC中有區(qū)段（segmentation)和預(yù)測(cè)（prediction)的兩種 類(lèi)型。區(qū)段和預(yù)測(cè)兩種類(lèi)型所對(duì)應(yīng)的程序?qū)⒃诘紫伦鼋榻B。
[0032] 深度模型模式（DMM):
[0033] _邊界信息是通過(guò)起始/結(jié)束端以及對(duì)應(yīng)的索引來(lái)定義的。
[0034] -如圖1所示，對(duì)于每個(gè)區(qū)段的深度編碼（DC)預(yù)測(cè)值（即預(yù)測(cè)深度值dpral)是由 鄰近（neighboring)深度值（亦可視為鄰近深度采樣或鄰近采樣）來(lái)預(yù)測(cè)。如圖1所示的 兩個(gè)深度區(qū)塊（100和120)的范例，每個(gè)深度區(qū)塊被分成兩個(gè)區(qū)段（如虛線(xiàn)所示）。在圖1 中，用于產(chǎn)生區(qū)塊110的預(yù)測(cè)采樣的重建的鄰近深度采樣是以標(biāo)號(hào)112和114來(lái)表示，且用 于產(chǎn)生區(qū)塊120的預(yù)測(cè)采樣的重建的鄰近深度采樣以標(biāo)號(hào)122和124來(lái)表示。
[0035]平面（Planar)模式：
[0036]-如圖2所示的產(chǎn)生的平面模式的預(yù)測(cè)因子（即預(yù)測(cè)采樣）。如圖2A所示，會(huì)使用 線(xiàn)性?xún)?nèi)插（linearinterpolation)以產(chǎn)生最右列以及最后一行的預(yù)測(cè)因子。對(duì)于最右列而 言，線(xiàn)性?xún)?nèi)插是根據(jù)A到Z的深度值來(lái)進(jìn)行。對(duì)于最后一行而言，線(xiàn)性?xún)?nèi)插是根據(jù)B到Z的深 度值來(lái)進(jìn)行。如圖2B所示，在最右列以及最后一行進(jìn)行內(nèi)插運(yùn)算完成后，剩余的深度位置 的預(yù)測(cè)因子會(huì)從四邊使用四對(duì)應(yīng)的深度采樣進(jìn)行雙線(xiàn)性?xún)?nèi)插（bilinearinterpolated)。 [0037]-深度編碼（DC)預(yù)測(cè)值（即區(qū)塊中的信號(hào)預(yù)測(cè)深度值dpral)是表示平面模式的預(yù) 測(cè)因子的平均值。
[0038] 根據(jù)上述衍生過(guò)程，預(yù)測(cè)采樣是通過(guò)幀內(nèi)編碼模式（現(xiàn)有的3D-HEVC的DMM模式1 或平面模式）產(chǎn)生的預(yù)測(cè)值。在解碼器端的平面模式的重建過(guò)程將在圖3做說(shuō)明。在當(dāng)前 深度區(qū)塊（310)的深度編碼（DC)預(yù)測(cè)值（PredD。）是根據(jù)當(dāng)前深度區(qū)塊的預(yù)測(cè)深度采樣的 平均值來(lái)決定。當(dāng)前深度區(qū)塊的預(yù)測(cè)深度值是由鄰近重建深度值的線(xiàn)性?xún)?nèi)插（最右列和最 后一行）以及雙線(xiàn)性?xún)?nèi)插（其他深度采樣）推導(dǎo)的。在圖3中，預(yù)測(cè)深度值顯示在當(dāng)前深度 區(qū)塊（310)中。為了重建深度值（RecDC)，首先通過(guò)將殘差索引（residualindex)residual 加入