用于3d視頻編碼的裝置、方法和計(jì)算機(jī)程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及用于視頻編碼和解碼的裝置、方法和計(jì)算機(jī)程序。
【背景技術(shù)】
[0002] 本節(jié)旨在于提供在權(quán)利要求中記載的本發(fā)明的背景或者上下文。本文中的描述可 以包括如下概念，這些概念可以被探求、但是未必是先前已經(jīng)設(shè)想或者探求的概念。因此， 除非本文中另有指示，在本節(jié)中描述的內(nèi)容不是在本申請(qǐng)中的說明書和權(quán)利要求書的現(xiàn)有 技術(shù)并且不因包含于本節(jié)中而被承認(rèn)為現(xiàn)有技術(shù)。
[0003] 視頻編碼系統(tǒng)可以包括將輸入視頻變換成適合用于存儲(chǔ)/傳輸?shù)膲嚎s的表示的 編碼器和可以將壓縮的視頻表示解壓回成可查看形式的解碼器。編碼器可以丟棄原有視頻 序列中的一些信息以便以更緊湊形式表示視頻，以例如實(shí)現(xiàn)視頻信息在比以別的方式可能 需要的比特率更低的比特率的存儲(chǔ)/傳輸。
[0004] 可伸縮視頻編碼是指編碼結(jié)構(gòu)，其中一個(gè)比特流可以包含內(nèi)容在不同比特率、分 辨率、幀速率和/或其它類型的可伸縮性的多個(gè)表示?？缮炜s比特流可以由提供可用最低 質(zhì)量視頻的基礎(chǔ)層和在與更低層一起接收和解碼時(shí)增強(qiáng)視頻質(zhì)量的一個(gè)或者多個(gè)增強(qiáng)層 構(gòu)成。為了提高用于增強(qiáng)層的編碼效率，該層的編碼表示可以依賴于更低層。每層與所有 它的依賴層一起是視頻信號(hào)在某個(gè)空間分辨率、時(shí)間分辨率、質(zhì)量水平和/或其它類型的 可伸縮性的操作點(diǎn)的一個(gè)表示。
[0005] 當(dāng)前考察和開發(fā)用于提供三維（3D)視頻內(nèi)容的各種技術(shù)。尤其是，密集研究已經(jīng) 被聚焦于各種多視圖應(yīng)用，其中查看者能夠僅看見來自具體視點(diǎn)的一對(duì)立體視頻和來自不 同視點(diǎn)的另一對(duì)立體視頻。用于這樣的多視圖應(yīng)用的最可行方式之一已經(jīng)證明是這樣的方 式，其中向解碼器側(cè)提供僅有限數(shù)目的輸入視圖（例如單一或者立體視頻加上一些補(bǔ)充數(shù) 據(jù)），并且所有需要的視圖然后被解碼器本地渲染（即合成）以在顯示器上被顯示。
[0006] 在對(duì)3D視頻內(nèi)容的編碼中，可以使用視頻壓縮系統(tǒng)，諸如高級(jí)視頻編碼標(biāo)準(zhǔn) H. 264/AVC或者H. 264/AVC的多視圖視頻編碼MVC擴(kuò)展。

【發(fā)明內(nèi)容】

[0007] -些實(shí)施例提供用于執(zhí)行反向視圖合成預(yù)測(cè)的機(jī)制，其中基于用于視圖的共同定 位的深度/視差塊形成用于相同視圖的當(dāng)前紋理塊的視圖合成預(yù)測(cè)塊。一些實(shí)施例指定編 碼和解碼操作集以及用于執(zhí)行視圖合成的操作集，該視圖合成將允許用于回路內(nèi)視圖合成 預(yù)測(cè)的基于塊的、低復(fù)雜性的實(shí)施方式。在一些實(shí)施例中，選擇第一視圖的幀的當(dāng)前塊以用 于編碼，并且選擇第一視圖的幀的當(dāng)前塊以用于編碼。獲得與當(dāng)前塊的紋理塊關(guān)聯(lián)的測(cè)距 信息。基于測(cè)距信息推導(dǎo)參考第二視圖中的參考幀的視差信息，并且基于視差信息推導(dǎo)參 考區(qū)域。通過使用參考區(qū)域以獲得對(duì)當(dāng)前塊的預(yù)測(cè)來執(zhí)行視圖合成預(yù)測(cè)。
[0008] 根據(jù)本發(fā)明的第一方面，提供一種方法，該方法包括：
[0009] 獲得表不第一視圖的第一紋理圖片的第一未壓縮的紋理塊；
[0010] 獲得與第一未壓縮的紋理塊關(guān)聯(lián)的測(cè)距信息；
[0011] 基于測(cè)距信息推導(dǎo)參考第二視圖中的參考幀的視差信息；
[0012] 基于視差信息獲得第二視圖的參考采樣；
[0013] 通過使用參考采樣來執(zhí)行視圖合成預(yù)測(cè)以獲得用于對(duì)第一未壓縮的紋理塊進(jìn)行 編碼的參考?jí)K。
[0014] 根據(jù)本發(fā)明的第二方面，提供一種裝置，該裝置包括至少一個(gè)處理器和包括計(jì)算 機(jī)程序代碼的至少一個(gè)存儲(chǔ)器，至少一個(gè)存儲(chǔ)器和計(jì)算機(jī)程序代碼被配置為與至少一個(gè)處 理器一起使該裝置：
[0015] 獲得表示第一視圖的第一紋理圖片的第一未壓縮的紋理塊；
[0016] 獲得與第一未壓縮的紋理塊關(guān)聯(lián)的測(cè)距信息；
[0017] 基于測(cè)距信息推導(dǎo)參考第二視圖中的參考幀的視差信息；
[0018] 基于視差信息獲得第二視圖的參考采樣；
[0019] 通過使用參考采樣來執(zhí)行視圖合成預(yù)測(cè)以獲得用于對(duì)第一未壓縮的紋理塊進(jìn)行 編碼的參考?jí)K。
[0020] 根據(jù)本發(fā)明的第三方面，提供一種計(jì)算機(jī)
[0021] 獲得表示第一視圖的第一紋理圖片的第一未壓縮的紋理塊；
[0022] 獲得與第一未壓縮的紋理塊關(guān)聯(lián)的測(cè)距信息；
[0023] 基于測(cè)距信息推導(dǎo)參考第二視圖中的參考幀的視差信息；
[0024] 基于視差信息獲得第二視圖的參考采樣；
[0025] 通過使用參考采樣來執(zhí)行視圖合成預(yù)測(cè)以獲得用于對(duì)第一未壓縮的紋理塊進(jìn)行 編碼的參考?jí)K。
[0026] 根據(jù)本發(fā)明的第四方面，提供一種裝置，該裝置包括：
[0027] 用于獲得表示第一視圖的第一紋理圖片的第一未壓縮的紋理塊的部件；
[0028] 用于獲得與第一未壓縮的紋理塊關(guān)聯(lián)的測(cè)距信息的部件；
[0029] 用于基于測(cè)距信息推導(dǎo)參考第二視圖中的參考幀的視差信息的部件；
[0030] 用于基于視差信息獲得第二視圖的參考采樣的部件；
[0031] 用于通過使用參考采樣來執(zhí)行視圖合成預(yù)測(cè)以獲得用于對(duì)第一未壓縮的紋理塊 進(jìn)行編碼的參考?jí)K的部件。
[0032] 根據(jù)本發(fā)明的第五方面，提供一種方法，該方法包括：
[0033] 獲得表示第一視圖的第一紋理圖片的第一編碼的紋理塊；
[0034] 獲得與第一編碼的紋理塊關(guān)聯(lián)的測(cè)距信息；
[0035] 基于測(cè)距信息推導(dǎo)參考第二視圖中的參考幀的視差信息；
[0036] 基于視差信息獲得第二視圖的參考采樣；
[0037] 通過使用參考采樣來執(zhí)行視圖合成預(yù)測(cè)以獲得用于對(duì)第一編碼的紋理塊進(jìn)行解 碼的參考?jí)K。
[0038] 根據(jù)本發(fā)明的第六方面，提供一種裝置，該裝置包括至少一個(gè)處理器和包括計(jì)算 機(jī)程序代碼的至少一個(gè)存儲(chǔ)器，至少一個(gè)存儲(chǔ)器和計(jì)算機(jī)程序代碼被配置為與至少一個(gè)處 理器一起使該裝置：
[0039] 獲得表示第一視圖的第一紋理圖片的第一編碼的紋理塊；
[0040] 獲得與第一編碼的紋理塊關(guān)聯(lián)的測(cè)距信息；
[0041] 基于測(cè)距信息推導(dǎo)參考第二視圖中的參考幀的視差信息；
[0042] 基于視差信息獲得第二視圖的參考采樣；
[0043] 通過使用參考采樣來執(zhí)行視圖合成預(yù)測(cè)以獲得用于對(duì)第一編碼的紋理塊進(jìn)行解 碼的參考?jí)K。
[0044] 根據(jù)本發(fā)明的第七方面，提供一種包括一個(gè)或者多個(gè)指令的一個(gè)或者多個(gè)序列的 計(jì)算機(jī)程序產(chǎn)品，一個(gè)或者多個(gè)指令的一個(gè)或者多個(gè)序列在由一個(gè)或者多個(gè)處理器執(zhí)行時(shí) 使裝置至少執(zhí)行以下項(xiàng)：
[0045] 獲得表示第一視圖的第一紋理圖片的第一編碼的紋理塊；
[0046] 獲得與第一編碼的紋理塊關(guān)聯(lián)的測(cè)距信息；
[0047] 基于測(cè)距信息推導(dǎo)參考第二視圖中的參考幀的視差信息；
[0048] 基于視差信息獲得第二視圖的參考采樣；
[0049] 通過使用參考采樣來執(zhí)行視圖合成預(yù)測(cè)以獲得用于對(duì)第一編碼的紋理塊進(jìn)行解 碼的參考?jí)K。
[0050] 根據(jù)本發(fā)明的第八方面，提供一種裝置，該裝置包括：
[0051] 用于獲得表示第一視圖的第一紋理圖片的第一編碼的紋理塊的部件；
[0052] 用于獲得與第一編碼的紋理塊關(guān)聯(lián)的測(cè)距信息的部件；
[0053] 用于基于測(cè)距信息推導(dǎo)參考第二視圖中的參考幀的視差信息的部件；
[0054]用于基于視差信息獲得第二視圖的參考采樣的部件；
[0055] 用于通過使用參考采樣來執(zhí)行視圖合成預(yù)測(cè)以獲得用于對(duì)第一編碼的紋理塊進(jìn) 行解碼的參考?jí)K的部件。
[0056] 根據(jù)本發(fā)明的第九方面，提供一種視頻編碼器，其配置用于：
[0057] 獲得表示第一視圖的第一紋理圖片的第一未壓縮的紋理塊；
[0058] 獲得與第一未壓縮的紋理塊關(guān)聯(lián)的測(cè)距信息；
[0059] 基于測(cè)距信息推導(dǎo)參考第二視圖中的參考幀的視差信息；
[0060] 基于視差信息獲得第二視圖的參考采樣；
[0061] 通過使用參考采樣來執(zhí)行視圖合成預(yù)測(cè)以獲得用于對(duì)第一未壓縮的紋理塊進(jìn)行 解碼的參考?jí)K。
[0062] 根據(jù)本發(fā)明的第十方面，提供一種視頻解碼器，其配置用于 ：
[0063] 獲得表示第一視圖的第一紋理圖片的第一編碼的紋理塊；
[0064] 獲得與第一編碼的紋理塊關(guān)聯(lián)的測(cè)距信息；
[0065] 基于測(cè)距信息推導(dǎo)參考第二視圖中的參考幀的視差信息；
[0066] 基于視差信息獲得第二視圖的參考采樣；
[0067] 通過使用參考采樣來執(zhí)行視圖合成預(yù)測(cè)以獲得用于對(duì)第一編碼縮的紋理塊進(jìn)行 解碼的參考?jí)K。
【附圖說明】
[0068] 為了更好地理解本發(fā)明，現(xiàn)在將通過示例的方式參照附圖，在附圖中：
[0069]圖1示出立體相機(jī)設(shè)置的簡化2D模型；
[0070] 圖2不出多視圖相機(jī)設(shè)置的簡化模型；
[0071] 圖3示出多視圖自動(dòng)立體顯示器（ASD)的簡化模型；
[0072] 圖4示出基于DIBR的3DV系統(tǒng)的簡化模型；
[0073] 圖5圖示視頻加上深度數(shù)據(jù)的示例；
[0074] 圖6圖示在第一和第二編碼的視圖中的紋理與深度圖像之間的水平-堅(jiān)直和視差 對(duì)應(yīng)的可視化；
[0075] 圖7a示出用作用于幀內(nèi)預(yù)測(cè)的候選的當(dāng)前編碼的塊的空間鄰域；
[0076] 圖7b示出用作用于幀間預(yù)測(cè)的候選的當(dāng)前編碼的塊的時(shí)間鄰域；
[0077] 圖8示出具有視圖合成功能的多視圖視頻編碼器的示例為簡化框圖；
[0078] 圖9示出具有視圖合成功能的多視圖視頻解碼器的示例為簡化框圖；
[0079] 圖10示意地示出適合用于采用本發(fā)明的一些實(shí)施例的電子設(shè)備；
[0080] 圖11示意地示出適合用于采用本發(fā)明的一些實(shí)施例的用戶設(shè)備；
[0081] 圖12進(jìn)一步示意地示出使用無線和有線網(wǎng)絡(luò)連接而連接的采用本發(fā)明的實(shí)施例 的電子設(shè)備；
[0082] 圖13示出根據(jù)示例實(shí)施例的編碼方法為流程圖；以及
[0083] 圖14示出根據(jù)示例實(shí)施例的解碼方法為流程圖。
【具體實(shí)施方式】
[0084] 為了理解本發(fā)明的各種方面和與之有關(guān)的實(shí)施例，以下簡要地描述視頻編碼的一 些密切有關(guān)的方面。
[0085] 在這一節(jié)中描述H. 264/AVC的一些關(guān)鍵定義、比特流和編碼結(jié)構(gòu)以及概念作為其 中可以實(shí)施一些實(shí)施例的視頻編碼器、解碼器、編碼方法、解碼方法和比特流結(jié)構(gòu)的示例。 本發(fā)明的方面不限于H.264/AVC，而是更確切地說對(duì)于本發(fā)明可以在其之上被部分地或者 完全地實(shí)現(xiàn)的一個(gè)可能基礎(chǔ)給出描述。
[0086] H. 264/AVC標(biāo)準(zhǔn)由國際電信聯(lián)盟（ITU-T)的電信標(biāo)準(zhǔn)化部門的視頻編碼專家組 (VCEG)和國際標(biāo)準(zhǔn)化組織（ISO) /國際電工委員會(huì)（IEC)的移動(dòng)圖片專家組（MPEG)的聯(lián)合 視頻團(tuán)隊(duì)（JVT)開發(fā)。H. 264/AVC標(biāo)準(zhǔn)由兩個(gè)母標(biāo)準(zhǔn)化組織發(fā)布，并且它被稱為ITU-T推 薦H. 264和IS0/IEC國際標(biāo)準(zhǔn)14496-10,還稱為MPEG-4部分10高級(jí)視頻編碼