用于視頻信息的可縮放譯碼的裝置和方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻譯碼及壓縮的領(lǐng)域，確切地說，涉及可縮放視頻譯碼（SVC)或多 視圖視頻譯碼（MVC，3DV)。
【背景技術(shù)】
[0002] 數(shù)字視頻能力可并入到多種多樣的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣 播系統(tǒng)、個(gè)人數(shù)字助理（PDA)、膝上型或桌上型計(jì)算機(jī)、數(shù)碼相機(jī)、數(shù)字記錄裝置、數(shù)字媒體 播放器、視頻游戲裝置、視頻游戲控制臺(tái)、蜂窩式或衛(wèi)星無線電電話、視頻電話會(huì)議裝置及 類似裝置。數(shù)字視頻裝置實(shí)施視頻壓縮技術(shù)，例如由MPEG-2、MPEG-4、ITU-TH. 263或ITU-T H. 264/MPEG-4第10部分高級(jí)視頻譯碼（AVC)所定義的標(biāo)準(zhǔn)、目前正在開發(fā)的高效率視頻譯 碼（HEVC)標(biāo)準(zhǔn)及這些標(biāo)準(zhǔn)的擴(kuò)展中所描述的視頻壓縮技術(shù)。視頻裝置可通過實(shí)施此些視 頻譯碼技術(shù)而更有效地傳輸、接收、編碼、解碼及/或存儲(chǔ)數(shù)字視頻信息。
[0003] 視頻壓縮技術(shù)執(zhí)行空間（圖片內(nèi)）預(yù)測(cè)及/或時(shí)間（圖片間）預(yù)測(cè)來減少或移除 視頻序列中固有的冗余。對(duì)于基于塊的視頻譯碼，視頻切片（例如，視頻幀、視頻幀的一部 分等）可分割成視頻塊，視頻塊也可被稱作樹塊、譯碼單元（CU)及/或譯碼節(jié)點(diǎn)。圖片的 經(jīng)幀內(nèi)譯碼（I)切片中的視頻塊是使用相對(duì)于同一圖片中的相鄰塊中的參考樣本的空間 預(yù)測(cè)來編碼。圖片的經(jīng)幀間編碼（P或B)切片中的視頻塊可使用相對(duì)于同一圖片中的相鄰 塊中的參考樣本的空間預(yù)測(cè)或相對(duì)于其它參考圖片中的參考樣本的時(shí)間預(yù)測(cè)。圖片可被稱 作幀，且參考圖片可被稱作參考幀。
[0004] 空間或時(shí)間預(yù)測(cè)導(dǎo)致用于待譯碼塊的預(yù)測(cè)性塊。殘差數(shù)據(jù)表示待譯碼原始?jí)K與預(yù) 測(cè)性塊之間的像素差。經(jīng)幀間譯碼塊是根據(jù)指向形成預(yù)測(cè)性塊的參考樣本塊的運(yùn)動(dòng)向量及 指示經(jīng)譯碼塊與預(yù)測(cè)性塊之間的差的殘差數(shù)據(jù)而編碼。經(jīng)幀內(nèi)譯碼塊是根據(jù)幀內(nèi)譯碼模式 及殘差數(shù)據(jù)而編碼。為了進(jìn)一步壓縮，可將殘差數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生殘差 變換系數(shù)，接著可對(duì)殘差變換系數(shù)進(jìn)行量化?？蓲呙枳畛醪贾贸啥S陣列的經(jīng)量化變換系 數(shù)，以便產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用熵譯碼以實(shí)現(xiàn)更多壓縮。

【發(fā)明內(nèi)容】

[0005] 可縮放視頻譯碼（SVC)是指其中使用基礎(chǔ)層（BL)(有時(shí)被稱作參考層（RL))及一 或多個(gè)可縮放增強(qiáng)層（EL)的視頻譯碼。在SVC中，基礎(chǔ)層可攜載具有基礎(chǔ)質(zhì)量水平的視頻 數(shù)據(jù)。所述一或多個(gè)增強(qiáng)層可攜載額外的視頻數(shù)據(jù)以支持（舉例來說）較高的空間、時(shí)間 及/或信噪比（SNR)水平。可相對(duì)于先前編碼的層來定義增強(qiáng)層。舉例來說，底層可充當(dāng) BL，而頂層可充當(dāng)EL。中間層可充當(dāng)EL或RL，或兩者。舉例來說，在中間的層可為在其下 方的層（例如，基礎(chǔ)層或任何介入增強(qiáng)層）的EL，且同時(shí)充當(dāng)在其上方的一或多個(gè)增強(qiáng)層的 RL。類似地，在HEVC標(biāo)準(zhǔn)的多視圖或3D擴(kuò)展中，可存在多個(gè)視圖，且可利用一個(gè)視圖的信 息對(duì)另一視圖的信息（例如，運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)向量預(yù)測(cè)和/或其它冗余）進(jìn)行譯碼（例如， 編碼或解碼）。
[0006] 在SVC中，可基于從BL導(dǎo)出的信息來預(yù)測(cè)EL。例如，BL圖片可經(jīng)上取樣且充當(dāng)在 與BL圖片相同的存取單元中的EL圖片的預(yù)測(cè)符。經(jīng)譯碼位流可包含指示BL圖片是否用 于預(yù)測(cè)一或多個(gè)EL圖片的旗標(biāo)。此類旗標(biāo)可在切片標(biāo)頭處用信號(hào)通知。換句話說，BL圖 片是否用于層間預(yù)測(cè)的確定可僅發(fā)生在于切片層級(jí)處解析位之后。
[0007] 另外，在SVC中，視頻層可包含一或多個(gè)時(shí)間子層。所述時(shí)間子層提供視頻層內(nèi)的 時(shí)間可縮放性。例如，位流中的特定視頻層可具有三個(gè)時(shí)間子層：子層#1、子層#2,及子層 #3。所述子層中的每一者可包含與其相關(guān)聯(lián)的多個(gè)圖片（或視頻切片）。接收所述位流風(fēng) 解碼器可使用（例如）僅子層#1、僅子層#1及#2,或所有子層#1到#3。取決于使用多少 時(shí)間子層，由解碼器輸出的視頻信號(hào)的質(zhì)量可變化。在一些實(shí)施方案中，可在子位流提取過 程中移除時(shí)間子層中的一或多者。可例如歸因于不使用或用于帶寬降低等各種原因而移除 時(shí)間子層。在此情況下，解碼器可在傳輸期間不知曉是否已經(jīng)移除或丟失時(shí)間子層。
[0008] 因此，通過用信號(hào)通知時(shí)間子層的存在，解碼器可知曉是否有意移除或意外丟失 任何缺失的時(shí)間子層。此外，通過在序列層級(jí)處提供此類存在信息，解碼器不必一直等到切 片層級(jí)處的位被解析以便知曉某些圖片（其可為被移除的時(shí)間子層的部分）是否用于層間 預(yù)測(cè)，且可通過使用此類存在信息更好地優(yōu)化所述解碼過程。因此，提供時(shí)間子層的存在信 息可改進(jìn)譯碼效率及/或減小計(jì)算復(fù)雜度。
[0009] 本發(fā)明的系統(tǒng)、方法及裝置各自具有若干創(chuàng)新方面，其中沒有單個(gè)方面單獨(dú)負(fù)責(zé) 本文所揭示的合乎需要的屬性。
[0010] 在一個(gè)實(shí)施例中，一種經(jīng)配置以譯碼（例如，編碼或解碼）視頻信息的設(shè)備包含存 儲(chǔ)器單元及與所述存儲(chǔ)器單元通信的處理器。所述存儲(chǔ)器單元經(jīng)配置以存儲(chǔ)與包括一或多 個(gè)時(shí)間子層的視頻層相關(guān)聯(lián)的視頻信息。所述處理器經(jīng)配置以確定位流中的經(jīng)譯碼視頻序 列的存在信息，所述存在信息指示是否視頻層的所述一或多個(gè)時(shí)間子層存在于位流中。
[0011] 在一個(gè)實(shí)施例中，一種譯碼（例如，編碼或解碼）視頻信息的方法包括：存儲(chǔ)與包 括一或多個(gè)時(shí)間子層的視頻層相關(guān)聯(lián)的視頻信息；及確定位流中的經(jīng)譯碼視頻序列的存在 信息，存在信息指示是否所述視頻層的所述一或多個(gè)時(shí)間子層存在于所述位流中。
[0012] 在一個(gè)實(shí)施例中，一種非暫時(shí)性計(jì)算機(jī)可讀媒體包括當(dāng)被執(zhí)行時(shí)致使設(shè)備執(zhí)行過 程的代碼。所述過程包含：存儲(chǔ)與包括一或多個(gè)時(shí)間子層的視頻層相關(guān)聯(lián)的視頻信息；及 確定位流中的經(jīng)譯碼視頻序列的存在信息，所述存在信息指示是否所述視頻層的所述一或 多個(gè)時(shí)間子層存在于所述位流中。
[0013] 在一個(gè)實(shí)施例中，一種經(jīng)配置以譯碼視頻信息的視頻譯碼裝置包括：用于存儲(chǔ)與 包括一或多個(gè)時(shí)間子層的視頻層相關(guān)聯(lián)的視頻信息的裝置；及用于確定位流中的經(jīng)譯碼視 頻序列的存在信息的裝置，所述存在信息指示是否所述視頻層的所述一或多個(gè)時(shí)間子層存 在于所述位流中。
【附圖說明】
[0014] 圖1為說明可利用根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻編碼及解碼系統(tǒng)的實(shí) 例的框圖。
[0015] 圖2A為說明可實(shí)施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻編碼器的實(shí)例的框 圖。
[0016] 圖2B是說明可實(shí)施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻編碼器的實(shí)例的框 圖。
[0017]圖3A是說明可實(shí)施本發(fā)明中描述的方面的技術(shù)的視頻解碼器的實(shí)例的框圖。
[0018] 圖3B是說明可實(shí)施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻解碼器的實(shí)例的框 圖。
[0019] 圖4是說明根據(jù)本發(fā)明的一個(gè)實(shí)施例的基礎(chǔ)層及增強(qiáng)層中的各種圖片的示意圖。
[0020] 圖5是說明根據(jù)本發(fā)明的一個(gè)實(shí)施例的譯碼視頻信息的方法的流程圖。
[0021] 圖6是說明根據(jù)本發(fā)明的一個(gè)實(shí)施例的譯碼視頻信息的方法的流程圖。
[0022] 圖7是說明根據(jù)本發(fā)明的一個(gè)實(shí)施例的譯碼視頻信息的方法的流程圖。
【具體實(shí)施方式】
[0023] 本文中描述的某些實(shí)施例涉及在高級(jí)視頻編解碼器的背景下的針對(duì)例如 HEVC(高效率視頻譯碼）的可縮放視頻譯碼的層間預(yù)測(cè)。更確切地說，本發(fā)明涉及用于在 ffiVC的可縮放視頻譯碼（SVC)擴(kuò)展中的層間預(yù)測(cè)的改進(jìn)性能的系統(tǒng)和方法。
[0024] 在以下描述中，描述與某些實(shí)施例有關(guān)的H. 264/AVC技術(shù)；還論述HEVC標(biāo)準(zhǔn)和相 關(guān)技術(shù)。雖然本文中在ffiVC和/或H. 264標(biāo)準(zhǔn)的背景下描述某些實(shí)施例，但所屬領(lǐng)域的技 術(shù)人員可了解，本文中揭示的系統(tǒng)和方法可適用于任何合適的視頻譯碼標(biāo)準(zhǔn)。例如，本文 中揭示的實(shí)施例可適用于以下標(biāo)準(zhǔn)中的一或多者：ITU-TH. 261、IS0/IECMPEG-1Visual、 ITU-TH. 262 或IS0/IECMPEG-2Visual、ITU-TH. 263、IS0/IECMPEG-4Visual及ITU-T H. 264(也被稱作IS0/IECMPEG-4AVC)，包含其可縮放視頻譯碼（SVC)及多視圖視頻譯碼 (MVC)擴(kuò)展。
[0025] 在許多方面，HEVC-般遵循先前視頻譯碼標(biāo)準(zhǔn)的框架。HEVC中的預(yù)測(cè)單元不同于 在某些先前視頻譯碼標(biāo)準(zhǔn)中的預(yù)測(cè)單元（例如，宏塊）。實(shí)際上，在HEVC中不存在如在某些 先前視頻譯碼標(biāo)準(zhǔn)中所理解的宏塊的概念。宏塊由基于四叉樹方案的分層結(jié)構(gòu)替換，分層 結(jié)構(gòu)可提供高靈活性以及其它可能益處。舉例來說，在ffiVC方案內(nèi)，定義三個(gè)類型的塊，譯 碼單元（CU)、預(yù)測(cè)單元（PU)和變換單元（TU)。CU可指區(qū)分裂的基本單元?？烧J(rèn)為CU類似 于宏塊的概念，但其不約束最大大小，且可允許遞歸分裂成四個(gè)相等大小的CU以提高內(nèi)容 適應(yīng)性?？蓪⒁暈閹g/幀內(nèi)預(yù)測(cè)的基本單元，且其可在單一PU中含有多個(gè)任意形狀 的分區(qū)以有效地對(duì)不規(guī)則圖像模式進(jìn)行譯碼?？蓪U視為變換的基本單元?？瑟?dú)立于PU 來對(duì)其定義；然而，其大小可能限于TU所屬的CU。塊結(jié)構(gòu)如此分離成三個(gè)不同概念可允許 每一者根據(jù)其作用被優(yōu)化，這可導(dǎo)致提高的譯碼效率。
[0026] 僅出于說明的目的，用包含僅兩個(gè)層（例如，例如基礎(chǔ)層等較低層級(jí)層，及例如增 強(qiáng)層等較高層級(jí)層）的實(shí)例來描述本文中揭示的某些實(shí)施例。應(yīng)理解，這些實(shí)例可適用于 包含多個(gè)基礎(chǔ)層及/或增強(qiáng)層的配置。此外，為了易于解釋，參照某些實(shí)施例，以下揭示內(nèi) 容包含術(shù)語"幀"或"塊"。然而，這些術(shù)語不打算具有限制性。舉例來說，下文描述的技術(shù) 可與任何合適的視頻單元（例如，塊（例如，CU、PU、TU、宏塊等）、切片、幀等）一起使用。
[0027] 視頻譯碼標(biāo)準(zhǔn)
[0028] 例如視頻圖像、TV圖像、靜態(tài)圖像或由錄像機(jī)或計(jì)算機(jī)產(chǎn)生的圖像等數(shù)字圖像可 由布置成水平及垂直線的像素或樣本構(gòu)成。單個(gè)圖像中的像素的數(shù)目通常有數(shù)萬個(gè)。每一 像素通常含有明度及色度信息。在未壓縮的情況下，將從圖像編碼器傳達(dá)到圖像解碼器的 信息的數(shù)量太過巨大以致不可能實(shí)現(xiàn)實(shí)時(shí)圖像傳輸。為了減少待傳輸?shù)男畔⒘?，已開發(fā)出 例如JPEG、MPEG及H. 263標(biāo)準(zhǔn)等數(shù)種不同壓縮方法。
[0029]視頻譯碼標(biāo)準(zhǔn)包含ITU-TH. 261、IS0/IECMPEG-1Visual、ITU-TH. 262 或ISO/ IECMPEG-2Visual、ITU-TH.263、IS0/IECMPEG-4Visual，及ITU-TH.264(也稱為ISO/ IECMPEG-4AVC)，包含其可縮放視頻譯碼（SVC)及多視圖視頻譯碼（MVC)擴(kuò)展。
[0030] 此外，存在一種新的視頻譯碼標(biāo)準(zhǔn)，即高效率視頻譯碼（HEVC)，其正由ITU-T視頻 譯碼專家組（VCEG)及IS0/IEC運(yùn)動(dòng)圖片專家組（MPEG)的視頻譯碼聯(lián)合合作小組（JCT-VC) 進(jìn)行開發(fā)。對(duì)ffiVC草案10的完全引用為布洛斯（Bross)等人的文獻(xiàn)JCTVC-L1003 "高效 率視頻譯碼（HEVC)文本規(guī)格草案 10"，ITU-TSG16WP3 與IS0/IECJTC1/SC29/WG11 的視 頻譯碼聯(lián)合合作小組（JCT-VC)，第12次會(huì)議：瑞士日內(nèi)瓦，2013年1月14日至2013年1 月23日。對(duì)HEVC的多視圖擴(kuò)展（S卩，MV-HEVC)及對(duì)HEVC的可擴(kuò)展擴(kuò)展（名為SHVC)也 正分別由JCT-3V(3D視頻譯碼擴(kuò)展開發(fā)ITU-T/IS0/IEC聯(lián)合合作小組）及JCT-VC開發(fā)。
[0031] 下文參考附圖更充分地描述新穎系統(tǒng)、設(shè)備及方法的各個(gè)方面。然而，本發(fā)明可以 許多不同形式來體現(xiàn)，且不應(yīng)將其解釋為限于貫穿本發(fā)明所呈現(xiàn)的任何特定結(jié)構(gòu)或功能。 實(shí)際上，提供這些方面以使得本發(fā)明將為透徹且完整的，并且將向所屬領(lǐng)域的技術(shù)人員充 分傳達(dá)本發(fā)明的范圍?；诒疚闹械慕淌?，所屬領(lǐng)域的技術(shù)人員應(yīng)了解，本發(fā)明的范圍既定 涵蓋無論是獨(dú)立于本發(fā)明的任何其它方面而實(shí)施還是與之組合而實(shí)施的本文中所揭示的 新穎系統(tǒng)、設(shè)備及方法的任何方面。舉例來說，可使用本文中所闡述的任何數(shù)目個(gè)方面來實(shí) 施設(shè)備或?qū)嵺`方法。此外，本發(fā)明的范圍既定涵蓋使用除本文中所闡述的本發(fā)明的各種方 面之外的或不同于本文中所闡述的本發(fā)明的各種方面的其它結(jié)構(gòu)、功能性或結(jié)構(gòu)與功能性 來實(shí)踐的此設(shè)備或方法。應(yīng)理解，可通過技術(shù)方案的一或多個(gè)要素來體現(xiàn)本文中所揭示的 任何方面。
[0032] 盡管本文描述了特定方面，但這些方面的許多變化及排列落在本發(fā)明的范圍內(nèi)。 盡管提到了優(yōu)選方面的一些益處及優(yōu)點(diǎn)，但本發(fā)明的范圍不欲限于特定益處、用途或目標(biāo)。 實(shí)際上，本發(fā)明的方面既定廣泛地適用于不同無線技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)及傳輸協(xié)議，其中 的一些是借助于實(shí)例而在圖中以及在優(yōu)選方面的以下描述中說明?！揪唧w實(shí)施方式】及圖式僅 說明本發(fā)明，而不是限制由所附權(quán)利要求書及其等效物界定的本發(fā)明的范圍。
【附圖說明】 [0033] 若干實(shí)例。附圖中通過參考數(shù)字指示的元件對(duì)應(yīng)于在以下描述中通過相 似參考數(shù)字指示的元件。在本發(fā)明中，名稱以序數(shù)詞（例如，"第一"、"第二"、"第三"等）開 始的元件未必暗示所述元件具有特定次序。而是，此些序數(shù)詞僅用于指代相同或類似類型 的不同元件。
[0034] 視頻譯碼系統(tǒng)
[0035]圖1為說明可利用根據(jù)本發(fā)明中所描述的方面的技術(shù)的實(shí)例性視頻譯碼系統(tǒng)10 的框圖。如本文中所描述，術(shù)語"視頻譯碼器"一般指代視頻編碼器和視頻解碼器中的任一 者或兩者。在本發(fā)明中，術(shù)語"視頻譯碼"或"譯碼"可一般指代視頻編碼及視頻解碼。
[0036] 如圖1中所示，視頻編解碼系統(tǒng)10包含源裝置12及目的地裝置14。源裝置12產(chǎn) 生經(jīng)編碼視頻數(shù)據(jù)。目的地裝置14可解碼由源裝置12產(chǎn)生的經(jīng)編碼視頻數(shù)據(jù)。源裝置12 及目的地裝置14可包括廣泛范圍的裝置，包含桌上型計(jì)算機(jī)、筆記型（例如，膝上型等）計(jì) 算機(jī)、平板計(jì)算機(jī)、機(jī)頂盒、例如所謂的"智能"電話等電話手持機(jī)、所謂的"智能"墊、電視、 相機(jī)、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺(tái)、車內(nèi)計(jì)算機(jī)或類似者。在一些實(shí)例中， 源裝置12及目的地裝置14可經(jīng)裝備以用于無線通信。
[0037] 目的地裝置14可經(jīng)由通道16從源裝置12接收經(jīng)編碼視頻數(shù)據(jù)。通道16可包括 能夠?qū)⒔?jīng)編碼視頻數(shù)據(jù)從源裝置12移動(dòng)到目的地裝置14的任何類型的媒體或裝置。在一 個(gè)實(shí)例中，通道16可包括使得源裝置12能夠?qū)崟r(shí)地將經(jīng)編碼視頻數(shù)據(jù)直接傳輸?shù)侥康牡?裝置14的通信媒體。在此實(shí)例中，源裝置12可根據(jù)例如無線通信協(xié)議等通信標(biāo)準(zhǔn)來調(diào)制 經(jīng)編碼視頻數(shù)據(jù)，且可將經(jīng)調(diào)制視頻數(shù)據(jù)傳輸?shù)侥康牡匮b置14。所述通信媒體可包括無線 或有線通信媒體，例如射頻（RF)頻譜或一條或一條以上物理傳輸線。通信媒體可形成例如 局域網(wǎng)、廣域網(wǎng)或例如因特網(wǎng)的全球網(wǎng)絡(luò)的基于包的網(wǎng)絡(luò)的部分。通信媒體可包含促進(jìn)從 源裝置12到目的地裝置14的通信的路由器、交換器、基站或其它設(shè)備。
[0038] 在另一實(shí)例中，通道16可對(duì)應(yīng)于存儲(chǔ)由源裝置12產(chǎn)生的經(jīng)編碼視頻數(shù)據(jù)的存儲(chǔ) 媒體。在此實(shí)例中，目的地裝置14可經(jīng)由磁盤存取或卡存取而存取存儲(chǔ)媒體。所述存儲(chǔ)媒 體可包含多種本地存取的數(shù)據(jù)存儲(chǔ)媒體，例如藍(lán)光光盤、DVD、CD-ROM、快閃存儲(chǔ)器，或用于 存儲(chǔ)經(jīng)編碼視頻數(shù)據(jù)的其它合適的數(shù)字存儲(chǔ)媒體。在進(jìn)一步的實(shí)例中，通道16可包含文件 服務(wù)器或存儲(chǔ)由源裝置12產(chǎn)生的經(jīng)編碼視頻的另一中間存儲(chǔ)裝置。在此實(shí)例中，目的地裝 置14可經(jīng)由流式傳輸或下載來存取存儲(chǔ)于文件服務(wù)器或其它中間存儲(chǔ)裝置處的經(jīng)編碼視 頻數(shù)據(jù)。文件服務(wù)器可為能夠存儲(chǔ)經(jīng)編碼視頻數(shù)據(jù)和將所