用于shvc的多個(gè)基礎(chǔ)層參考圖片的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明大體上涉及視頻譯碼和壓縮，且明確地說，涉及可縮放視頻譯碼（SVC)，包 含用于高效視頻譯碼（HEVC)的SVC，有時(shí)稱為可縮放HEVC(SHVC)。
【背景技術(shù)】
[0002] 數(shù)字視頻能力可并入到較寬范圍的裝置中，包括數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣 播系統(tǒng)、個(gè)人數(shù)字助理（PDA)、膝上型或桌上型計(jì)算機(jī)、平板計(jì)算機(jī)、電子書閱讀器、數(shù)碼相 機(jī)、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺(tái)、蜂窩式或衛(wèi)星無線電 電話、所謂的"智能電話"、視頻電話會(huì)議裝置、視頻流式傳輸裝置等。數(shù)字視頻裝置實(shí)施視 頻譯碼技術(shù)，例如MPEG-2 ;MPEG-4 ;ITU-TH. 263 ;ITU-TH. 264/MPEG-4,第 10 部分；高級(jí)視 頻譯碼（AVC);目前尚在開發(fā)的高效視頻譯碼（HEVC)標(biāo)準(zhǔn)，以及此類標(biāo)準(zhǔn)的擴(kuò)展所定義的 標(biāo)準(zhǔn)中描述的那些技術(shù)。視頻裝置可通過實(shí)施此類視頻譯碼技術(shù)來發(fā)射、接收、編碼、解碼 和/或存儲(chǔ)數(shù)字視頻信息。
[0003] 視頻譯碼技術(shù)包含空間（圖片內(nèi)）預(yù)測(cè)和/或時(shí)間（圖片間）預(yù)測(cè)來減少或去除 視頻序列中固有的冗余。對(duì)于基于塊的視頻譯碼，可將視頻切片（例如，視頻幀或視頻幀的 一部分）可分為若干視頻塊其也可稱為樹塊、譯碼單元（CU)，和/或譯碼節(jié)點(diǎn)。相對(duì)于同一 圖片中的相鄰塊中的參考樣本，使用空間預(yù)測(cè)來編碼圖片的經(jīng)幀內(nèi)譯碼（I)切片中的視頻 塊。圖片的經(jīng)幀間譯碼（P或B)切片中的視頻塊可相對(duì)于同一圖片中的相鄰塊中的參考樣 本使用空間預(yù)測(cè)，且相對(duì)于其它參考圖片中的參考樣本使用時(shí)間預(yù)測(cè)。圖片可稱為幀，且參 考圖片可稱為參考幀。
[0004] 空間或時(shí)間預(yù)測(cè)產(chǎn)生待譯碼塊的預(yù)測(cè)塊。殘余數(shù)據(jù)表示待譯碼的原始?jí)K與預(yù)測(cè)塊 之間的像素差。根據(jù)指向形成預(yù)測(cè)塊的參考樣本塊的運(yùn)動(dòng)向量，以及指示經(jīng)譯碼塊與預(yù)測(cè) 塊之間的差異的殘余數(shù)據(jù)來編碼經(jīng)幀間譯碼塊。根據(jù)幀內(nèi)譯碼模式和殘余數(shù)據(jù)來編碼經(jīng)幀 內(nèi)譯碼的塊。為了進(jìn)一步壓縮，可將殘余數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生殘余變換系 數(shù)，其可量化。經(jīng)量化的變換系數(shù)最初可布置成二維陣列，且經(jīng)掃描以便產(chǎn)生變換系數(shù)的一 維向量，且可應(yīng)用熵譯碼來實(shí)現(xiàn)更多的壓縮。

【發(fā)明內(nèi)容】

[0005] 根據(jù)一些實(shí)施方案，一種經(jīng)配置以譯碼視頻信息的設(shè)備包含處理器和存儲(chǔ)器。所 述存儲(chǔ)器經(jīng)配置以存儲(chǔ)與參考層、增強(qiáng)層或兩者相關(guān)聯(lián)的視頻信息。處理器與存儲(chǔ)器通信。 處理器經(jīng)配置以使用多個(gè)層間濾波器和一或多個(gè)參考層圖片，產(chǎn)生多個(gè)層間參考圖片。
[0006] 在一些實(shí)施方案中，處理器進(jìn)一步經(jīng)配置以將多個(gè)層間參考圖片插入?yún)⒖紙D片列 表中。處理器可進(jìn)一步經(jīng)配置以使用參考圖片列表來譯碼增強(qiáng)層中的當(dāng)前圖片。
[0007] 在一些實(shí)施方案中，層間濾波器包括上取樣濾波器。層間濾波器中的一些或全部 可為預(yù)定義的?？稍谛蛄袇?shù)集合或視頻參數(shù)集合中用信號(hào)通知層間濾波器?？稍谇衅瑯?biāo) 頭中同信號(hào)通知層間濾波器。
[0008] 在一些實(shí)施方案中，層間濾波器包括在序列參數(shù)集合、視頻參數(shù)集合或切片標(biāo)頭 中用信號(hào)通知的至少一個(gè)默認(rèn)層間濾波器和至少一個(gè)替代層間濾波器。處理器可進(jìn)一步經(jīng) 配置以應(yīng)用所述多個(gè)層間參考圖片中的至多一個(gè)可供使用的限制。
[0009] 在一些實(shí)施方案中，層間濾波器包括一或多個(gè)默認(rèn)層間濾波器和一或多個(gè)替代層 間濾波器。所述處理器可進(jìn)一步經(jīng)配置以在將使用一或多個(gè)替代層間濾波器產(chǎn)生的層間參 考圖片添加到層間參考圖片集合之前，將使用一或多個(gè)默認(rèn)層間濾波器產(chǎn)生的層間參考圖 片添加到層間參考圖片集合。或者，所述處理器可進(jìn)一步經(jīng)配置以在將使用一或多個(gè)替代 層間濾波器產(chǎn)生的層間參考圖片添加到層間參考圖片集合之后，將使用一或多個(gè)默認(rèn)層間 濾波器產(chǎn)生的層間參考圖片添加到層間參考圖片集合。
[0010] 在一些實(shí)施方案中，所述設(shè)備包括編碼器，且所述處理器進(jìn)一步經(jīng)配置以產(chǎn)生與 層間濾波器相關(guān)聯(lián)的語法元素。在一些實(shí)施方案中，所述設(shè)備包括解碼器，且所述處理器進(jìn) 一步經(jīng)配置以處理與層間濾波器相關(guān)聯(lián)的語法元素。所述設(shè)備可包括以下各項(xiàng)中的至少 一者：數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣播系統(tǒng)、個(gè)人數(shù)字助理（PDA)、膝上型或桌上型計(jì)算 機(jī)、數(shù)碼相機(jī)、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺(tái)、蜂窩式或 衛(wèi)星無線電電話，以及包括存儲(chǔ)器和處理器的視頻電話會(huì)議裝置。
[0011] 在另一實(shí)施方案中，一種譯碼視頻信息的方法包含：接收與參考層、增強(qiáng)層或兩者 相關(guān)聯(lián)的視頻信息；以及使用多個(gè)層間濾波器和一或多個(gè)參考層圖片來產(chǎn)生多個(gè)層間參考 圖片。
[0012] 在另一實(shí)施方案中，一種視頻譯碼設(shè)備包含：用于接收與參考層、增強(qiáng)層或兩者相 關(guān)聯(lián)的視頻信息的裝置；以及用于使用多個(gè)層間濾波器和一或多個(gè)參考層圖片來產(chǎn)生多個(gè) 層間參考圖片的裝置。
[0013] 在另一實(shí)施方案中，一種非暫時(shí)性計(jì)算機(jī)可讀媒體上面存儲(chǔ)有代碼，所述代碼在 被執(zhí)行時(shí)，致使設(shè)備接收與參考層、增強(qiáng)層或兩者相關(guān)聯(lián)的視頻信息；且使用多個(gè)層間濾波 器和一或多個(gè)參考層圖片來產(chǎn)生多個(gè)層間參考圖片。
【附圖說明】
[0014] 圖1是說明可利用根據(jù)本發(fā)明中所描述的方面的技術(shù)的視頻編碼和解碼系統(tǒng)的 實(shí)例的框圖。
[0015] 圖2是可實(shí)施根據(jù)本發(fā)明中所描述的方面的技術(shù)的視頻編碼器的實(shí)例的框圖。
[0016] 圖3是說明可實(shí)施根據(jù)本發(fā)明中所描述的方面的技術(shù)的視頻解碼器的實(shí)例的框 圖。
[0017] 圖4是說明根據(jù)本發(fā)明的方面的在三個(gè)不同維度中的可縮放性的框圖。
[0018] 圖5是說明根據(jù)本發(fā)明的方面的可縮放視頻譯碼（SVC)位流的實(shí)例結(jié)構(gòu)的框圖。
[0019] 圖6是說明根據(jù)本發(fā)明的方面的位流中的實(shí)例SVC存取單元的框圖。
[0020] 圖7是說明根據(jù)一實(shí)施方案的對(duì)參考層圖片進(jìn)行上取樣的實(shí)例的概念圖。
[0021] 圖8說明根據(jù)一實(shí)施方案的用于譯碼視頻數(shù)據(jù)的實(shí)例方法。
【具體實(shí)施方式】
[0022] 本發(fā)明中所描述的技術(shù)通常與可縮放視頻譯碼（SVC)和/或多視圖/3D視頻譯碼 有關(guān)。舉例來說，所述技術(shù)可與高效視頻譯碼01EVC)可縮放視頻譯碼（SVC)擴(kuò)展有關(guān)，且 結(jié)合所述擴(kuò)展或在所述擴(kuò)展內(nèi)使用。在SVC中，可存在多個(gè)視頻信息層。處于視頻信息的 最底部等級(jí)或最低等級(jí)處的層可充當(dāng)基礎(chǔ)層（BL)或參考層（RL)，且處于視頻信息的最頂 部等級(jí)或最高等級(jí)的層可充當(dāng)經(jīng)增強(qiáng)層（EL)。"經(jīng)增強(qiáng)層"可被視為與"增強(qiáng)層"同義，且 這些術(shù)語可互換使用。BL與EL之間的層可充當(dāng)EL和/或RL。舉例來說，給定層可為所述 給定層下方（例如，在前）的層的EL，所述層例如為基礎(chǔ)層或任何介入增強(qiáng)層。另外，給定 層也可充當(dāng)給定層上方（例如，之后）的增強(qiáng)層的參考層?；A(chǔ)層（例如，最低層）與頂部 層（或最高層）之間的任何給定層可用作相對(duì)于給定層較高的層的層間預(yù)測(cè)參考，且可通 過將低于給定層的層用作層間預(yù)測(cè)的參考來確定。
[0023] 僅出于說明目的，本發(fā)明中所描述的技術(shù)是結(jié)合僅包含兩個(gè)層（例如，較低等級(jí) 層，例如參考層；以及較高等級(jí)層，例如經(jīng)增強(qiáng)層）的實(shí)例來描述。應(yīng)理解，本發(fā)明中所描述 的實(shí)例也可擴(kuò)展到具有多個(gè)參考層和增強(qiáng)層的實(shí)例。另外，為了便于闡釋，以下揭示內(nèi)容主 要使用術(shù)語"圖片"。然而，這些術(shù)語無意為限制性的。舉例來說，下文所描述的技術(shù)可結(jié)合 與視頻單元相關(guān)聯(lián)的其它術(shù)語使用，例如塊（例如，CU、PU、TU、宏塊等）、切片、幀、塊等。
[0024] 在SHVC中，可對(duì)參考層圖片，例如基礎(chǔ)層圖片進(jìn)行濾波，并將其插入到參考圖片 列表中。舉例來說，可將上取樣濾波器應(yīng)用于參考層圖片，以產(chǎn)生層間參考圖片。由于有限 的計(jì)算資源，上取樣濾波器中的濾波器分接頭的數(shù)目是有限的。舉例來說，在實(shí)踐中，上取 樣濾波器中所提供的濾波器分接頭的數(shù)目可低至三個(gè)，且通常不超過八個(gè)。
[0025] 取決于參考層圖片與增強(qiáng)層圖片之間的頻率特性，具有有限數(shù)目的濾波器分接頭 的單個(gè)濾波器可能不能夠準(zhǔn)確地解決每個(gè)頻率下參考層與增強(qiáng)層圖片之間的差異。舉例來 說，平滑圖片可集中在低頻上，而具有尖銳邊緣的圖片可具有較高頻率內(nèi)容。然而，對(duì)于具 有低頻和高頻內(nèi)容兩者的圖片，具有有限數(shù)目個(gè)濾波器分接頭的單個(gè)濾波器可能不能夠提 供對(duì)低頻和高頻兩者的足夠頻率響應(yīng)。
[0026] 為了改進(jìn)計(jì)算效率，在一些實(shí)施方案中，視頻譯碼器或解碼器經(jīng)配置以接收與參 考層、增強(qiáng)層或兩者相關(guān)聯(lián)的視頻信息，可經(jīng)配置以使用多個(gè)層間濾波器和一或多個(gè)參考 層圖片來產(chǎn)生多個(gè)層間參考圖片。舉例來說，可將至少兩個(gè)層間濾波器應(yīng)用于參考層圖片， 以產(chǎn)生至少兩個(gè)層間參考圖片。明確地說，所述至少兩個(gè)層間濾波器中的一者可為上取樣 濾波器，其經(jīng)設(shè)計(jì)以提供對(duì)較低頻率的足夠頻率響應(yīng)，而所述至少兩個(gè)層間濾波器中的另 一者可為上取樣濾波器，其經(jīng)設(shè)計(jì)以提供對(duì)較高頻率的足夠頻率響應(yīng)。所述至少兩個(gè)層間 濾波器中的每一者可設(shè)計(jì)有有限數(shù)目的濾波器分接頭。因此，所述至少兩個(gè)層間參考圖片 一起提供所有頻率上的足夠頻率響應(yīng)，而所述至少兩個(gè)層間濾波器中的每一者中的有限數(shù) 目的濾波器分接頭改進(jìn)了計(jì)算效率。
[0027] 視頻譯碼標(biāo)準(zhǔn)
[0028] 本文所述的某些實(shí)施方案涉及高級(jí)視頻編解碼器中的可縮放視頻譯碼，例如 HEVC(高效視頻譯碼）的層間預(yù)測(cè)。更具體地說，本發(fā)明涉及用于HEVC的可縮放視頻譯 碼（SVC)擴(kuò)展中的層間預(yù)測(cè)的改進(jìn)性能的系統(tǒng)和方法。在下文的描述中，描述與某些有關(guān) 的H. 264/AVC技術(shù)；還論述HEVC標(biāo)準(zhǔn)和相關(guān)技術(shù)。雖然本文在HEVC和/或H. 264標(biāo)準(zhǔn) 的上下文中描述了某些，但所屬領(lǐng)域的一般技術(shù)人員可了解，本文所揭示的系統(tǒng)和方法可 適用于任何合適的視頻譯碼標(biāo)準(zhǔn)。舉例來說，本文所揭示的可適用于以下標(biāo)準(zhǔn)中的一或多 個(gè)：ITU-TH. 261、ISO/IECMPEG-1 視覺、ITU-TH. 262 或ISO/IECMPEG-2 視覺、ITU-TH. 263、ISO/IECMPEG-4視覺和ITU-TH. 264 (也稱為ISO/IECMPEG-4AVC)，包括其可縮放視頻譯碼 (SVC)和多視圖視頻譯碼（MVC)擴(kuò)展。
[0029]可縮放視頻譯碼（SVC)可用來提供品質(zhì)（也稱為信噪比（SNR))可縮放性、空間可 縮放性和/或時(shí)間可縮放性。舉例來說，在一個(gè)實(shí)施例中，參考層（例如，基礎(chǔ)層）包含足以 以第一品質(zhì)等級(jí)顯示視頻的視頻信息，且增強(qiáng)層相對(duì)于參考層額外的視頻信息，使得參考 層和增強(qiáng)層一起包含足以以高于第一等級(jí)的第二品質(zhì)等級(jí)（例如，較少噪聲、較大分辨率、 較佳幀速率等）顯示所述視頻的視頻信息。增強(qiáng)層可具有與基礎(chǔ)層不同的空間分辨率。舉 例來說，EL與BL之間的空間縱橫比可為1. 0、1. 5、2. 0或其它不同比率。換句話說，EL的空 間縱橫可等于BL的空間縱橫的1. 0、1. 5或2. 0倍。在一些實(shí)例中，EL的縮放因子可大于 BL。舉例來說，EL中的圖片的大小可大于BL中的圖片的大小。以此方式，盡管不是限制， 但有可能EL的空間分辨率大于BL的空間分辨率。
[0030] 在用于H. 264的SVC擴(kuò)展中，可使用為SVC提供的不同層來執(zhí)行當(dāng)前塊的預(yù)測(cè)。此 預(yù)測(cè)可稱為層間預(yù)測(cè)。SVC中可利用層間預(yù)測(cè)方法，以便減少層間冗余。層間預(yù)測(cè)的一些實(shí) 例可包含層間幀內(nèi)預(yù)測(cè)、層間運(yùn)動(dòng)預(yù)測(cè)、層間模式預(yù)測(cè)和層間殘差預(yù)測(cè)。層間幀內(nèi)預(yù)測(cè)使用 基礎(chǔ)層中經(jīng)搭配塊的重構(gòu)來預(yù)測(cè)增強(qiáng)層中的當(dāng)前塊。層間運(yùn)動(dòng)預(yù)測(cè)使用基礎(chǔ)層的運(yùn)動(dòng)來預(yù) 測(cè)增強(qiáng)層中的運(yùn)動(dòng)。層間模式預(yù)測(cè)基于基礎(chǔ)層中的模式來預(yù)測(cè)增強(qiáng)層中的模式。層間殘差 預(yù)測(cè)使用基礎(chǔ)層的殘差來預(yù)測(cè)增強(qiáng)層的殘差。
[0031]下文參考附圖更全面地描述新穎系統(tǒng)、設(shè)備和方法的各種方面。然而，本發(fā)明可以 許多不同形式體現(xiàn)，且不應(yīng)被解釋為限于貫穿本發(fā)明而呈現(xiàn)的任何特定結(jié)構(gòu)或功能。相反， 提供這些方面是為了使本發(fā)明將全面且完整，且將向所屬領(lǐng)域的技術(shù)人員完整傳達(dá)本發(fā)明 的范圍?；诒疚牡慕淌荆鶎兕I(lǐng)域的技術(shù)人員將了解，本發(fā)明的范圍意在涵蓋本文所揭示 的新穎系統(tǒng)、設(shè)備和方法的任何方面，不管是獨(dú)立于本發(fā)明的任何其它方面實(shí)施，還是與本 發(fā)明的任何其它方面組合實(shí)施。舉例來說，可使用本文所陳述的任何數(shù)目的方面來實(shí)施設(shè) 備或?qū)嵺`方法。另外，本發(fā)明的范圍意在涵蓋使用除本文所陳述的本發(fā)明的各個(gè)方面之外 或不同于所述方面的其它結(jié)構(gòu)、功能性或結(jié)構(gòu)和功能性來實(shí)踐的此設(shè)備或方