用于不同層間預(yù)測類型的參考圖片的獨立重新采樣及選擇的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明是關(guān)于視頻譯碼及壓縮的領(lǐng)域。明確地說，本發(fā)明是關(guān)于可縮放視頻譯碼 (SVC)，包含用于高級視頻譯碼（AVC)的SVC以及用于高效率視頻譯碼（HEVC)的SVC (其也 稱為可縮放HEVC(SHVC))。本發(fā)明也是關(guān)于3D視頻譯碼，例如HEVC的多視圖延伸（稱為 MV-HEVC)。各種實施例是關(guān)于用于獨立控制層間運動預(yù)測參考重新采樣及層間樣本預(yù)測參 考重新采樣及用于關(guān)于層間預(yù)測類型的處理位流限制的系統(tǒng)及方法。
【背景技術(shù)】
[0002] 數(shù)字視頻能力可并入到廣泛范圍的裝置中，所述裝置包含數(shù)字電視、數(shù)字直播系 統(tǒng)、無線廣播系統(tǒng)、個人數(shù)字助理（PDA)、膝上型或臺式計算機、平板計算機、電子書閱讀 器、數(shù)字攝像機、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩 式或衛(wèi)星無線電電話、所謂的"智能電話"、視頻電傳會議裝置、視頻流式傳輸裝置及其類 似者。數(shù)字視頻裝置實施視頻譯碼技術(shù)，例如在由MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H. 264/MPEG-4部分10高級視頻譯碼（AVC)所定義的標準、目前正在開發(fā)的高效率視頻譯 碼（HEVC)標準及這些標準的延伸中所描述的視頻譯碼技術(shù)。視頻裝置可通過實施這些視 頻譯碼技術(shù)來更有效地發(fā)射、接收、編碼、解碼及/或存儲數(shù)字視頻信息。
[0003] 視頻譯碼技術(shù)包含空間（圖片內(nèi)）預(yù)測及/或時間（圖片間）預(yù)測以減少或移除 視頻序列中固有的冗余。對于基于塊的視頻譯碼來說，可將視頻片段（即，視頻幀或視頻幀 的一部分）分割成視頻塊，所述視頻塊也可被稱為樹型塊、譯碼單元（CU)及/或譯碼節(jié)點。 使用相對于在同一圖片中的相鄰塊中的參考樣本的空間預(yù)測來編碼圖片的幀內(nèi)譯碼（I) 片段中的視頻塊。圖片的幀間譯碼（P或B)片段中的視頻塊可使用相對于在同一圖片中的 相鄰塊中的參考樣本的空間預(yù)測或相對于在其它參考圖片中的參考樣本的時間預(yù)測。可將 圖片稱為幀，且可將參考圖片稱為參考幀。
[0004] 空間或時間預(yù)測引起待譯碼的塊的預(yù)測性塊。殘余數(shù)據(jù)表示待譯碼的原始塊與預(yù) 測性塊之間的像素差。根據(jù)指向形成預(yù)測性塊的參考樣本的塊的運動向量及指示經(jīng)譯碼塊 與預(yù)測性塊之間的差異的殘余數(shù)據(jù)來編碼幀間譯碼塊。根據(jù)幀內(nèi)譯碼模式及殘余數(shù)據(jù)來編 碼幀內(nèi)譯碼塊。為進行進一步壓縮，可將殘余數(shù)據(jù)自像素域變換到變換域，從而引起殘余變 換系數(shù)，可接著量化所述殘余變換系數(shù)?？蓲呙枳畛醪贾贸啥S陣列的經(jīng)量化的變換系數(shù) 以便產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用熵譯碼以達成甚至更多壓縮。

【發(fā)明內(nèi)容】

[0005] -般來說，本發(fā)明描述關(guān)于可縮放視頻譯碼（SVC)的技術(shù)。下文所描述的各種技 術(shù)提供用于獨立控制層間運動預(yù)測參考重新采樣及層間樣本預(yù)測參考重新采樣的方法及 裝置。下文所描述的各種技術(shù)提供用于關(guān)于層間預(yù)測類型的處理位流限制的方法及裝置。
[0006] 根據(jù)某些方面的用于譯碼視頻信息的設(shè)備包含存儲器及計算硬件。存儲器單元 經(jīng)配置以存儲視頻信息。計算硬件經(jīng)配置以：識別待使用至少一類型的層間預(yù)測（ILP)加 以預(yù)測的當(dāng)前圖片，所述類型的ILP包括層間運動預(yù)測（ILMP)或?qū)娱g樣本預(yù)測（ILSP)中 的一或多者；及控制：（1)可被重新采樣且用以使用ILMP來預(yù)測當(dāng)前圖片的圖片的數(shù)目及 (2)可被重新采樣且用以使用ILSP來預(yù)測當(dāng)前圖片的圖片的數(shù)目，其中計算硬件經(jīng)配置以 獨立于可被重新采樣且用以使用ILSP來預(yù)測當(dāng)前圖片的圖片的數(shù)目來控制可被重新采樣 且用以使用ILMP來預(yù)測當(dāng)前圖片的圖片的數(shù)目。
[0007] 根據(jù)某些方面的用于譯碼視頻信息的設(shè)備包含存儲器及計算硬件。存儲器單元經(jīng) 配置以存儲視頻信息。計算硬件經(jīng)配置以：識別待使用至少一類型的層間預(yù)測（ILP)加以 預(yù)測的當(dāng)前圖片，所述類型的ILP包括層間運動預(yù)測（ILMP)或?qū)娱g樣本預(yù)測（ILSP)或兩 者；在當(dāng)前圖片將使用至少ILMP加以預(yù)測時：處理與當(dāng)前圖片相關(guān)聯(lián)的并置參考索引值， 其中所述并置參考索引值指示用于使用ILMP來預(yù)測當(dāng)前圖片的第一參考圖片；及確定由 并置參考索引值指示的第一參考圖片針對ILMP是否啟用；及在當(dāng)前圖片將使用至少ILSP 加以預(yù)測時：處理與當(dāng)前圖片中的塊相關(guān)聯(lián)的參考索引值，其中所述參考索引值指示用于 使用ILSP來預(yù)測當(dāng)前圖片中的所述塊的第二參考圖片；及確定由參考索引值指示的第二 參考圖片針對ILSP是否啟用。
[0008] 在隨附圖式及以下描述中陳述一或多個實例的細節(jié)，所述隨附圖式及所述描述并 不意欲限定本文中所描述的發(fā)明性概念的完整范疇。其它特征、目標及優(yōu)勢將從所述描述 及所述圖式以及從權(quán)利要求書顯而易見。
【附圖說明】
[0009] 貫穿所述圖式，可再使用參考數(shù)字來指示被參考元件之間的對應(yīng)性。提供所述圖 式以說明本文中所描述的實例實施例且所述圖式并不意欲限定本發(fā)明的范疇。
[0010] 圖1為說明實例視頻編碼及解碼系統(tǒng)的框圖，所述視頻編碼及解碼系統(tǒng)可利用根 據(jù)本發(fā)明中所描述的方面的技術(shù)。
[0011] 圖2A為說明視頻編碼器的實例的框圖，所述視頻編碼器可實施根據(jù)本發(fā)明中所 描述的方面的技術(shù)。
[0012] 圖2B為說明視頻編碼器的實例的框圖，所述視頻編碼器可實施根據(jù)本發(fā)明中所 描述的方面的技術(shù)。
[0013] 圖3A為說明視頻解碼器的實例的框圖，所述視頻解碼器可實施根據(jù)本發(fā)明中所 描述的方面的技術(shù)。
[0014] 圖3B為說明視頻解碼器的實例的框圖，所述視頻解碼器可實施根據(jù)本發(fā)明中所 描述的方面的技術(shù)。
[0015] 圖4為根據(jù)本發(fā)明的方面的流程圖，其說明用于獨立控制層間運動預(yù)測參考重新 采樣及層間樣本預(yù)測參考重新采樣的實例方法。
[0016] 圖5為流程圖，其說明用于關(guān)于層間預(yù)測類型的處理位流限制的實例方法。
【具體實施方式】
[0017] 本發(fā)明中所描述的技術(shù)大體來說是關(guān)于可縮放視頻譯碼（SHVC、SVC)及多視圖 /3D視頻譯碼（例如，多視圖譯碼+深度（MVC+D))。舉例來說，所述技術(shù)可是關(guān)于高效率視 頻譯碼（HEVC)可縮放視頻譯碼（SVC，有時稱為SHVC)延伸，及可與高效率視頻譯碼（HEVC) 可縮放視頻譯碼（SVC，有時稱為SHVC)延伸一起使用或在高效率視頻譯碼（HEVC)可縮放 視頻譯碼（SVC，有時稱為SHVC)延伸內(nèi)使用。在SHVC、SVC延伸中，可存在視頻信息的多個 層。位于視頻信息的最低層級處的層可充當(dāng)基礎(chǔ)層（BL)或參考層（RL)，且位于視頻信息的 最頂部（或最高層）處的層可充當(dāng)增強型層（EL)。"增強型層"有時被稱為"增強層"，且這 些術(shù)語可互換使用?；A(chǔ)層有時被稱為"參考層"，且這些術(shù)語也可互換使用。在基礎(chǔ)層與 頂層之間的所有層可充當(dāng)額外EL及/或參考層。舉例來說，給定層對于位于所述給定層下 面（例如，先于所述給定層）的層（例如，基礎(chǔ)層或任何介入的增強層）來說可為EL。進 一步，所述給定層也可充當(dāng)位于所述給定層上面（例如，后起于所述給定層）的一或多個增 強層的RL。在基礎(chǔ)層（例如，具有（例如）層識別（ID)集或等于"1"的最低層）與頂層 (或最高層）中間的任何層可由高于所述給定層的層用作層間預(yù)測的參考且可將低于所述 給定層的層用作層間預(yù)測的參考。舉例來說，可將低于所述給定層的層用作層間預(yù)測的參 考來確定給定層。
[0018] 出于簡單性，僅就兩個層來呈現(xiàn)實例：BL及EL;然而，應(yīng)充分理解，下文所描述的 思想及實施例也適用于具有多個層的狀況。另外，出于解釋容易性，常使用術(shù)語"幀"或 "塊"。然而，這些術(shù)語并不意謂為限定性的。舉例來說，可將下文所描述的技術(shù)與多種視頻 單元（包含（但不限于）像素、塊（例如，(^^!^、宏塊等入圖塊^貞~圖片等彡中的任一 者一起使用。
[0019] 視頻譯碼
[0020] 視頻譯碼標準包含 ITU-T H. 261、IS0/IEC MPEG-IVisual、ITU-T H. 262 或 ISO/ IEC MPEG-2Visual、ITU-T Η· 263、IS0/IEC MPEG-4Visual 及 ITU-T Η· 264(也已知為 IS0/IEC MPEG-4AVC)(包含所述ITU-T Η. 264的可縮放視頻譯碼（SVC)及多視圖視頻譯 碼（MVC)與多視圖譯碼+深度（MVC+D)延伸）。最新HEVC草案規(guī)范（且在下文中稱為 HEVC WD10)可自 http://phenix. int-evry. fr/jct/doc_end_user/documents/12_Geneva/ wgll/JCTVC-L1003-v34. zip 獲得。也正由 JCT-3V 開發(fā) HEVC 的多視圖延伸（即，MV-HEVC)。 MV-HEVC WD3 的新近工作草案（WD)(下文中為 WD3)可自 http://phenix. it-sudparis. eu/jct2/doc_end_user/documents/3_Geneva/wgll/JCT3V-C1004-v4. zip 獲得。也正由 JCT-VC開發(fā)HEVC的可縮放延伸（命名為SHVC)。SHVC的新近工作草案（WD)(且在下文 中稱為 SHVC WD2)可自 http://phenix. int-evry. fr/jct/doc_end_user/documents/13_ Incheon/wgll/JCTVC-M1008-vl. zip 獲得。
[0021] 在SVC及SHVC中，視頻信息可被提供作為多個層。位于最底部層級處的層可僅充 當(dāng)基礎(chǔ)層（BL)且位于最頂部層級處的層可充當(dāng)增強層（EL)。在頂層與底層之間的所有層 可充當(dāng)增強層與參考層兩者。舉例來說，中間的層對于位于其下面的層來說可為EL，且同時 對于位于其上面的層來說可作為RL。出于描述的簡單性，可在說明下文所描述的技術(shù)中假 定存在兩個層（BL及EL)。然而，本文中所描述的所有技術(shù)也適用于具有多個（兩個以上） 層的狀況。
[0022] 可縮放視頻譯碼（SVC)可用以提供質(zhì)量（也稱為信噪（SNR))可擴充性、空間可擴 充性及/或時間可擴充性。舉例來說，在一個實施例中，參考層（例如，基礎(chǔ)層）包含足以 以第一質(zhì)量等級來顯示視頻的視頻信息且增強層包含相對于參考層的額外視頻信息使得 參考層及增強層一同包含足以以高于第一等級的第二質(zhì)量等級（例如，較少噪聲、較大分 辨率、較好的幀速率等）來顯示視頻的視頻信息。增強型層可具有不同于基礎(chǔ)層的空間分 辨率。舉例來說，EL與BL之間的空間縱橫比可為1.0、1.5、2. O或其它不同比。換句話說， EL的空間縱橫可等于BL的空間縱橫的I. 0、1. 5或2. O倍。在一些實例中，EL的縮放因數(shù) 可大于BL。舉例來說，EL中的圖片大小可大于BL中的圖片大小。以此方式，有可能（雖然 非為限定）EL的空間分辨率大于BL的空間分辨率。
[0023] 在SVC (其對于H. 264來說指SVC延伸且對于H. 265來說指SHVC延伸（如上文所 論述））中，可使用為SVC所提供的不同層來執(zhí)行當(dāng)前塊的預(yù)測。可將此預(yù)測稱為層間預(yù)測。 可在SVC中利用層間預(yù)測方法以便減少層間冗余。層間預(yù)測的一些實例可包含層間幀內(nèi)預(yù) 測、層間運動預(yù)測及層間殘余預(yù)測。層間幀內(nèi)預(yù)測使用基礎(chǔ)層中的并置塊的重建來預(yù)測增 強層中的當(dāng)前塊。層間運動預(yù)測使用基礎(chǔ)層的運動信息（包含運動向量）來預(yù)測增強層中 的運動。層間殘余預(yù)測使用基礎(chǔ)層的殘余來預(yù)測增強層的殘余。
[0024] 概沭
[0025] 在SHVC中，可將層間預(yù)測（ILP)中所使用的層間參考圖片（ILRP)用于層間運動 預(yù)測（ILMP)、層間樣本預(yù)測（ILSP)或兩者。可將ILRP被用于的ILP的類型稱為層間預(yù)測 類型（例如，ILMP、ILSP或兩者）。對于僅用于ILSP的參考圖片來說，如果參考層圖片具有 不同于當(dāng)前圖片的圖片大小，則參考層圖片應(yīng)予以樣本重新采樣以產(chǎn)生ILRP，但未予以運 動重新采樣，因為未使用運動信息。對于僅用于ILMP的參考圖片來說，如果參考層圖片具 有不同于當(dāng)前圖片的圖片大小，則參考層圖片應(yīng)予以運動重新采樣以產(chǎn)生ILRP，但未予以 樣本重新采樣，因為未使用來自參考層圖片的樣本。對于用于ILSP與ILMP兩者的參考圖 片來說，如果參考圖片具有不同于當(dāng)前圖片的大小，則參考層圖片應(yīng)予以樣本重新采樣及 運動重新采樣。
[0026] 在SHVC工作草案（WD)的早期版本中，如果參考層圖片具有不同于當(dāng)前圖片的大 小，則調(diào)用重新采樣過程以導(dǎo)出層間參考圖片而不檢查參考層圖片的層間預(yù)測類型（例 如，ILMP、ILSP或兩者）。此可導(dǎo)致樣本重新采樣僅用于ILMP的ILRP(即使不需要來自所 述ILRP的樣本）。此外，在一些SHVC簡檔中，可將可被重新采樣以用于解碼任何特定圖片 的層間參考圖片的數(shù)目限定于某一數(shù)目（例如，1)。然而，在計數(shù)重新采樣圖片的數(shù)目中未 分開地考慮所述兩個重新采樣過程（例如，樣本重新采樣及運動重新采樣）。因此，如果針 對僅用于層間運動預(yù)測的圖片來調(diào)用樣本重新采樣過程，則當(dāng)解碼特定圖片時可不再針對 用于層間樣本預(yù)測的另一圖片來調(diào)用樣本重新采樣過程。因此，有利之舉將為：不樣本重新 采樣僅用于ILMP的ILRP且也不將僅用于ILMP的ILRP的樣本重新采樣計入關(guān)于針對特定 圖片而被重新采樣的ILRP的數(shù)目的限度。在另一實例中，如果針對僅用于ILSP的圖片來 調(diào)用運動重新采樣過程，則當(dāng)解碼特定圖片時可不再針對用于ILMP的另一圖片來調(diào)用運 動重新采樣過程。也有利之舉將為：不運動重新采樣僅用于ILSP的ILRP且也不將僅用于 ILSP的ILRP的運動重新采樣計入關(guān)于針對特定圖片而被重新采樣的ILRP的數(shù)目的限度。 為促進論述，關(guān)于針對特定圖片而被重新采樣的ILRP的數(shù)目的限度也可被稱為"重新采樣 圖片計數(shù)"。
[0027] 為解決這些及其它挑戰(zhàn)，所述技術(shù)可避免針對僅用于層間運動預(yù)測的層間參考圖 片來調(diào)用重新采樣過程。所述技術(shù)也可不將僅用于層間運動預(yù)測的層間參考圖片計入重新 采樣圖片計數(shù)（即使當(dāng)ILRP具有不同于當(dāng)前圖片的圖片大小時）。
[0028] 在某些實施例中，所述技術(shù)可關(guān)于對重新采樣圖片的數(shù)目的限制而與用于層間樣 本預(yù)測的層間參考圖片分開地來計數(shù)用于層間運動預(yù)測的層間參考圖片。舉例來說，所述 技術(shù)可針對用于ILMP的ILRP而具有重新采樣圖片計數(shù)，且針對用于ILSP的ILRP而具有 另一重新采樣圖片計數(shù)。
[0029] 另外，所述技術(shù)也可提供及/或關(guān)于層間預(yù)測類型的處理位流限制。舉例來說， 所述技術(shù)可提供及/或處理并置參考索引（例如，c 〇ll〇Cated_ref_idX)可僅指用于至少 ILMP的ILRP的位流限制。所述技術(shù)也可提供及/或處理參考索引（例如，ref_idX)可僅 指用于至少ILSP的ILRP的位流限制。可使用一或多個旗標來實施所述位流限制。
[0030] 下文中參看隨附圖式來更完整地描述新穎系統(tǒng)、設(shè)備及方法的各種方面。然而，本 發(fā)明可以許多不同形式來體現(xiàn)，且不應(yīng)被理解為限于貫穿本發(fā)明所呈現(xiàn)的任何特定結(jié)構(gòu)或 功能。相反，提供這些方面使得本發(fā)明將為詳盡且完整的，且將向所屬領(lǐng)域技術(shù)人員充分地 傳達本發(fā)明的范疇?；诒疚闹械慕淌荆鶎兕I(lǐng)域技術(shù)人員應(yīng)了解，本發(fā)明的范疇意欲涵蓋 本文中所揭示的新穎系統(tǒng)、設(shè)備及方法的任何方面，而不管所述方面是獨立于本發(fā)明的任 何其它方面而實施或是與本發(fā)明的任何其它方面組合地加以實施。舉例來說，可使用本文 中所陳述的任何數(shù)目個方面來實施一種設(shè)備或可實踐一種方法。另外，本發(fā)明的范疇意欲 涵蓋除本文中所陳述的本發(fā)明的各種方面之外或不同于本文中所陳述的本發(fā)明的各種方 面的使用其它結(jié)構(gòu)、功能性或結(jié)構(gòu)與功能性加以實踐的此設(shè)備或方法。應(yīng)理解，可通過技術(shù) 方案的一或多個要素來體現(xiàn)本文中所揭示的任何方面。
[0031] 雖然本文中描述特定方面，但這些方面的許多變化及排列屬于本發(fā)明的范疇內(nèi)。 雖然提及優(yōu)選方面的一些益處及優(yōu)勢，但本發(fā)明的范疇并不意欲限于特定益處、用途或目 標。相反，本發(fā)明的方面意欲廣泛適用于不同無線技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)及發(fā)射協(xié)議，其中一 些通過實例在諸圖中且在優(yōu)選方面的以下描述中加以說明。實施方式及圖式僅僅說明本發(fā) 明而非限定本發(fā)明，本發(fā)明的范疇由所附權(quán)利要求書及其均等物來定義。
[0032] 視頻譯碼系統(tǒng)
[0033] 圖1為說明實例視頻譯碼系統(tǒng)10的框圖，所述視頻譯碼系統(tǒng)可利用根據(jù)本發(fā)明中 所描述的方面的技術(shù)。如本文中所描述使用，術(shù)語"視頻譯碼器"一般地指視頻編碼器與視 頻解碼器兩者。在本發(fā)明中，術(shù)語"視頻譯碼"或"譯碼"可一般地指視頻編碼及視頻解碼。
[0034] 如圖1中所示，視頻譯碼系統(tǒng)10包含源裝置12及目的地裝置14。源裝置12產(chǎn)生 經(jīng)編碼視頻數(shù)據(jù)。目的地裝置14可解碼由源裝置12產(chǎn)生的經(jīng)編碼視頻數(shù)據(jù)。源裝置12 可經(jīng)由通信信道16將視頻數(shù)據(jù)提供到目的地裝置14,所述通信信道可包含計算機可讀存 儲媒體或其它通信信道。源裝置12及目的地裝置14可包含廣泛范圍的裝置，包含臺式計 算機、筆記本（例如，膝上型）計算機、平板計算機、機頂盒、電話手持機（例如，所謂的"智 慧"電話、所謂的"智慧"平板）、電視、攝像機、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺、 車載計算機、視頻流式傳輸裝置或其類似者?？裳b備源裝置12及目的地裝置14以用于達 成無線通信。
[0035] 目的地裝置14可經(jīng)由通信信道16來接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。通信信道16 可包括能夠?qū)⒔?jīng)編碼視頻數(shù)據(jù)從源裝置12移到目的地裝置14的一種類型的媒體或裝置。 舉例來說，通信信道16可包括用以使得源裝置12能夠?qū)崟r直接將經(jīng)編碼視頻數(shù)據(jù)發(fā)射到 目的地裝置14的通信媒體。可根據(jù)通信標準（例如，無線通信協(xié)議）來調(diào)制經(jīng)編碼視頻數(shù) 據(jù)，且將經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的地裝置14。通信媒體可包括無線或有線通信媒體（例 如射頻（RF)頻譜或一或多個實體發(fā)射線）。通信媒體可形成基于包的網(wǎng)絡(luò)（例如，局域網(wǎng)、 廣域網(wǎng)或例如因特網(wǎng)的全域網(wǎng)絡(luò)）的部分。通信媒體可包含路由器、開關(guān)、基站，或可對促 進從源裝置12到目的地裝置14的通信有用的其它設(shè)備。
[0036] 在一些實施例中，可將經(jīng)編碼數(shù)據(jù)從輸出接口 22輸出到存儲裝置。在這些實例 中，信道16可對應(yīng)于存儲由源裝置12產(chǎn)生的經(jīng)編碼視頻數(shù)據(jù)的存儲裝置或計算機可讀 存儲媒體。舉例來說，目的地裝置14可經(jīng)由磁盤存取或卡存取來存取計算機可讀存儲媒 體。類似地，可通過輸入接口 28自計算機可讀存儲媒體來存取經(jīng)編碼數(shù)據(jù)。計算機可讀 存儲媒體可包含多種分散式或局部存取式數(shù)據(jù)存儲媒體（例如，硬驅(qū)動器、藍光光盤、DVD、 CD-ROM、快閃存儲器、易失性或非易失性存儲器或用于存儲視頻數(shù)據(jù)的其它數(shù)字存儲