在3d視頻編碼中約束視差向量推導(dǎo)的方法及裝置的制造方法
【專利說明】
[0001] 奪叉引用
[0002] 本發(fā)明主張?jiān)?012年11月16日提出的申請?zhí)枮?1/727, 220、標(biāo)題為 "Controlling of disparity vector constraint for video coding" 的美國臨時(shí)專利申 請的優(yōu)先權(quán)，以及在2013年01月24日提出的申請?zhí)枮?1/756, 043、標(biāo)題為"Inter-view signal prediction conditional on disparity vector constraints for video"的美國 臨時(shí)專利申請的優(yōu)先權(quán)。因此在全文中合并參考這些美國臨時(shí)專利申請案。
技術(shù)領(lǐng)域
[0003] 本發(fā)明是有關(guān)于三維視頻編碼，特別是有關(guān)于在三維視頻編碼中用于視點(diǎn)間 (inter-view)殘差預(yù)測和視點(diǎn)間運(yùn)動參數(shù)預(yù)測的視差向量的推導(dǎo)。
【背景技術(shù)】
[0004] 三維（Three-dimensional, 3D)電視為近年來的技術(shù)發(fā)展趨勢，并且三維電視給 觀眾帶來震撼的視覺體驗(yàn)。開發(fā)各種技術(shù)來應(yīng)用三維顯示方式。其中，相對于其他技術(shù)而 言，多視點(diǎn)視頻為三維電視的關(guān)鍵技術(shù)?，F(xiàn)有的視頻為二維媒體，其僅自攝像機(jī)的視角提供 一個(gè)單一的場景給觀眾。然而，多視點(diǎn)視頻能夠提供動態(tài)場景的任意視點(diǎn)并給觀眾真實(shí)的 感官體驗(yàn)。
[0005] 多視點(diǎn)視頻通常通過使用多個(gè)攝影機(jī)同時(shí)捕獲場景來產(chǎn)生，其中適當(dāng)放置多個(gè)攝 影機(jī)的位置，以使得每一個(gè)攝影機(jī)自一個(gè)視點(diǎn)捕獲場景。相應(yīng)地，多個(gè)相機(jī)將捕獲對應(yīng)于多 個(gè)視點(diǎn)的多視頻序列。為提供更多視點(diǎn)，更多的攝影機(jī)用于產(chǎn)生多視點(diǎn)視頻和與視點(diǎn)相關(guān) 的大量視頻序列。相應(yīng)地，多視點(diǎn)視頻需要大量的存儲空間來存儲及/或較高的帶寬來傳 輸。因此，開發(fā)多視點(diǎn)視頻編碼技術(shù)降低需要的存儲空間或傳輸帶寬。
[0006] -種直接的方法是對每一個(gè)單一視點(diǎn)視頻序列簡單地應(yīng)用現(xiàn)有的視頻編碼技術(shù)， 而不顧不同視點(diǎn)之間的任何關(guān)聯(lián)。這樣的編碼系統(tǒng)的效率十分低。為改善多視點(diǎn)視頻編碼 的效率，通常對多視點(diǎn)視頻編碼技術(shù)利用視點(diǎn)間冗余。因此，大多數(shù)三維視頻編碼系統(tǒng)會考 慮與多視點(diǎn)和深度圖相關(guān)的視頻數(shù)據(jù)的關(guān)聯(lián)。標(biāo)準(zhǔn)制定機(jī)構(gòu)，ITU-T VCEG和ISO/IEC MPEG 的聯(lián)合視頻工作組，將H. 264/MPEG-4AVC標(biāo)準(zhǔn)擴(kuò)展到用于立體聲和多視點(diǎn)視頻的多視點(diǎn)視 頻編碼（multi-view video coding,以下簡稱為 MVC) 〇
[0007] MVC采用時(shí)間和空間預(yù)測來提高壓縮效率。在MVC的發(fā)展過程中，提出了一些宏塊 級的編碼工具，包括亮度補(bǔ)償（Illumination compensation)、自適應(yīng)參考濾波、運(yùn)動跳過 模式（motion skip mode)、視點(diǎn)合成預(yù)測（view synthesis prediction)。這些編碼工具 利用多個(gè)視點(diǎn)之間的冗余。亮度補(bǔ)償是為了補(bǔ)償不同視點(diǎn)之間的亮度變化。自適應(yīng)參考濾 波是為了降低攝影機(jī)之間聚焦失配的變化。運(yùn)動跳過模式允許自其它視點(diǎn)推導(dǎo)當(dāng)前視點(diǎn)中 的運(yùn)動向量。視點(diǎn)合成預(yù)測用于自其他視點(diǎn)預(yù)測當(dāng)前視點(diǎn)的圖片。
[0008] 在基于三維視頻編碼HEVC(3D-HTM)的參考軟件中，為了重新使用先前編碼的相 鄰視點(diǎn)的運(yùn)動信息，加入視點(diǎn)間候選作為用于幀間（Inter)、合并和跳過模式的運(yùn)動向量或 視差向量候選。在3D-HTM中，用于壓縮的基本單元稱為編碼單元，該編碼單元是一個(gè)2Nx2N 的方塊。每一個(gè)編碼單元可以遞歸地分割為四個(gè)更小的編碼單元，直到達(dá)到預(yù)定的最小尺 寸。每一個(gè)編碼單元包括一個(gè)或多個(gè)預(yù)測單元。
[0009] 為共享相鄰視點(diǎn)的先前編碼紋理信息，將稱之為視差補(bǔ)償預(yù)測 (Disparity-Compensated Prediction,以下簡稱為DCP)的技術(shù)列入3D-HTM中作為運(yùn)動 補(bǔ)償預(yù)測（motion-compensated prediction,以下簡稱為MCP)的替代編碼工具。MCP為 使用相同視點(diǎn)的先前編碼圖片的圖片間（inter-picture)預(yù)測，而DCP為使用在同一存取 單元中其他視點(diǎn)的先前編碼圖片的圖片間預(yù)測。圖1為包括MCP和DCP的3D視頻編碼系 統(tǒng)的示意圖。用于DCP的向量110稱為視差向量（disparity vector,以下簡稱為DV)，它 類似于MCP中使用的運(yùn)動向量。圖1描述了與MCP相關(guān)的三個(gè)運(yùn)動向量（運(yùn)動向量120、 運(yùn)動向量130、運(yùn)動向量140)。此外，自同樣使用視點(diǎn)間參考圖片的相鄰區(qū)塊或時(shí)間上同一 位置的區(qū)塊得到視差向量預(yù)測候選，并通過該視差向量預(yù)測候選來預(yù)測DCP區(qū)塊的DV。在 3D-HTM中，當(dāng)?shù)玫接糜诤喜?跳過模式的視點(diǎn)間合并候選時(shí)，若對應(yīng)的區(qū)塊的運(yùn)動信息不 可用或無效，則用DV代替視點(diǎn)間合并候選。
[0010] 視點(diǎn)間殘差預(yù)測（inter-view residual prediction)為用于 3D-HTM 的另一個(gè)編 碼工具。如圖2所示，為共享相鄰視點(diǎn)的先前編碼紋理信息，通過在視點(diǎn)間圖片中對應(yīng)的區(qū) 塊的殘差信息來預(yù)測當(dāng)前預(yù)測區(qū)塊的殘差信號。通過各個(gè)DV來確定對應(yīng)區(qū)塊的位置。通 過視點(diǎn)標(biāo)識符（即，圖2中的V0、V1、和V2)指示對應(yīng)于特定攝影機(jī)位置的視頻圖片和深度 圖。屬于相同攝影機(jī)位置的所有的視頻圖片和深度圖均與相同的視點(diǎn)ID( 即，視點(diǎn)標(biāo)識符） 相關(guān)。視點(diǎn)標(biāo)識符用于指定在存取單元中的編碼順序和檢測易于出錯(cuò)環(huán)境中失蹤的視點(diǎn)。 存取單元包括對應(yīng)于同一時(shí)刻的所有視頻圖片和深度圖。在存取單元中，當(dāng)具有視點(diǎn)ID為 〇的視頻圖片和相關(guān)的深度圖存在時(shí)，首先編碼具有視點(diǎn)ID為0的視頻圖片和相關(guān)的深度 圖，然后編碼具有視點(diǎn)ID為1的視頻圖片和相關(guān)的深度圖。以此類推。視點(diǎn)ID為0的視點(diǎn) (即，圖2中的V0)也稱為基本視點(diǎn)或獨(dú)立視點(diǎn)?；疽朁c(diǎn)視頻圖片可以使用現(xiàn)有的HEVC 視頻編碼器來編碼而不需要依賴其他視點(diǎn)。
[0011] 由圖2所示，對于當(dāng)前區(qū)塊，可以自視點(diǎn)間圖片中的視點(diǎn)間區(qū)塊得到運(yùn)動向 量預(yù)測子（motion vector predictor, MVP) / 視差向量預(yù)測子（disparity vector predictor，DVP)。接下來，視點(diǎn)間圖片中的視點(diǎn)間區(qū)塊可以簡稱為視點(diǎn)間區(qū)塊。得到的候 選稱為視點(diǎn)間候選，它們可以為視點(diǎn)間MVP或DVP?；谄渌朁c(diǎn)中的先前編碼運(yùn)動信息 來編碼當(dāng)前區(qū)塊（例如，當(dāng)前預(yù)測單元）的運(yùn)動信息的編碼工具，稱為視點(diǎn)間運(yùn)動參數(shù)預(yù)測 (inter-view motion parameter prediction)。此外，相鄰視點(diǎn)中對應(yīng)的區(qū)塊稱為視點(diǎn)間 區(qū)塊，并且使用自當(dāng)前圖片中的當(dāng)前區(qū)塊的深度信息得到視差向量，使用該視差向量確定 視點(diǎn)間區(qū)塊的位置。
[0012] 視點(diǎn)合成預(yù)測（View synthesis prediction,以下簡稱為VSP)為自不同視點(diǎn)移 除視頻信號之間的視點(diǎn)間冗余的技術(shù)。在此技術(shù)中，合成信號用作預(yù)測當(dāng)前圖片的參考。 在3D-HEVC測試模型中，存在一個(gè)得到視差向量預(yù)測子的過程。然后，將得到的視差向量用 于提取參考視點(diǎn)中的深度圖像的深度區(qū)塊。提取的深度區(qū)塊具有與當(dāng)前預(yù)測單元相同的尺 寸。然后提取的深度區(qū)塊用于當(dāng)前預(yù)測單元的向后扭曲（backward warp)。此外，扭曲操 作能以一個(gè)子預(yù)測單元級精度來執(zhí)行，例如，8x4或4x8區(qū)塊。最大深度值用于子預(yù)測區(qū)塊 和扭曲在子預(yù)測區(qū)塊中的所有像素。VSP技術(shù)用于紋理圖片編碼。在當(dāng)前實(shí)踐中，加入VSP 技術(shù)作為新的合并候選，來用信號通知VSP的使用。在這種方式中，VSP區(qū)塊可以是沒有任 何殘差的跳過區(qū)塊（skipped block)，或具有殘差信息編碼的合并區(qū)塊。
[0013] 在圖2所示的示例對應(yīng)于V0(即，基本視點(diǎn)）、V1和V2的視點(diǎn)編碼順序。在當(dāng)前圖 片中要編碼的當(dāng)前區(qū)塊在V2中。根據(jù)HTM3. 1，即使視點(diǎn)間圖片不在當(dāng)前圖片的參考圖片清 單中，在先前編碼的視點(diǎn)中的參考區(qū)塊的所有運(yùn)動向量被認(rèn)為是視點(diǎn)間候選。在圖2中，幀 210、幀220、幀230分別對應(yīng)于來自視點(diǎn)V0、視點(diǎn)VI、視點(diǎn)V2的時(shí)刻tl的視頻圖片或深度 圖。區(qū)塊232為在當(dāng)前視點(diǎn)中的當(dāng)前區(qū)塊，以及區(qū)塊212和區(qū)塊222分別為VO和Vl中的當(dāng) 前區(qū)塊。對于VO中的當(dāng)前區(qū)塊212,視差向量216用于確定視點(diǎn)間對應(yīng)位置（collocated) 的區(qū)塊214的位置。相似地，對于Vl中的當(dāng)前區(qū)塊222,視差向量226用于確定視點(diǎn)間對應(yīng) 位置的區(qū)塊224的位置。根據(jù)HTM3. 1，與自任意編碼的視點(diǎn)的視點(diǎn)間對應(yīng)位置區(qū)塊相關(guān)的 運(yùn)動向量或視差向量可以包括于視點(diǎn)間候選中。因此，視點(diǎn)間候選的數(shù)目相當(dāng)大，這將需要 更多處理時(shí)間和更大的存儲空間。需要開發(fā)一種方法，能夠降低處理時(shí)間及或存儲要求，而 不會在BD率或其他性能方面引起系統(tǒng)性能的顯著沖擊。
[0014] 在3DV-HTM中，視差向量也作為用于幀間模式的DVP候選，或作為用于合并模式/ 跳過模式的合并候選。得到的視差向量也可以作為用于視點(diǎn)間運(yùn)動預(yù)測和視點(diǎn)間殘差預(yù)測 的偏移向量。如圖3所示，當(dāng)作為偏移向量時(shí)，自空間或時(shí)間相鄰區(qū)塊得到DV。根據(jù)預(yù)定 順序，確定多個(gè)空間和時(shí)間相鄰區(qū)塊以及檢測該空間和時(shí)間相鄰區(qū)塊的DV的可用性?；?(空間或時(shí)間上）相鄰區(qū)塊的用于DV推導(dǎo)的編碼工具視為相鄰區(qū)塊視差向量（Neighboring Block DV，NBDV)。如圖3A所示，空間相鄰區(qū)塊集包括對角穿過當(dāng)前區(qū)塊的左下角的位置 (即，區(qū)塊A0)、相鄰于當(dāng)前區(qū)塊的左下側(cè)的位置（即，區(qū)塊Al)、對角穿過當(dāng)前區(qū)塊的左上角 的位