向解碼器子系統(tǒng)103的熵解碼器128提供壓縮的比特流126,包括可縮放視頻內(nèi)容的多個層。根據(jù)本公開,如也將在下面更詳細說明的,當解碼視頻數(shù)據(jù)時,EL解碼器110和112中的任意一個或二者可以使用從解碼器108或110中的任意一個獲得的運動數(shù)據(jù)來執(zhí)行幀間預測。例如,在一些實現(xiàn)中,解碼器110可以使用從解碼器108獲得的運動數(shù)據(jù)130執(zhí)行運動補償。此外,在一些實現(xiàn)中,解碼器112可以使用分別從解碼器108和/或解碼器110中的任意一個或二者獲得的運動數(shù)據(jù)130和/或運動數(shù)據(jù)132執(zhí)行運動補償。
[0036]盡管圖1將系統(tǒng)100說明為采用三層可縮放視頻內(nèi)容和子系統(tǒng)101中的三個編碼器和子系統(tǒng)103中的三個解碼器的相應組,但是根據(jù)本公開,可以利用任意數(shù)量的可縮放視頻編碼層和相對應的編碼器和解碼器。進而,本公開不局限于在圖1中說明的特定組件和/或系統(tǒng)100中各個組件被布置的方式。
[0037]進而,可以認識到的是,編碼器子系統(tǒng)101可以與內(nèi)容提供方系統(tǒng)相關聯(lián)和/或由內(nèi)容提供方系統(tǒng)提供,該內(nèi)容提供方系統(tǒng)例如包括視頻內(nèi)容服務器系統(tǒng),并且可以由諸如收發(fā)機、天線、網(wǎng)絡系統(tǒng)等等的未在圖1中描繪的各種通信組件和/或系統(tǒng)向解碼器子系統(tǒng)103傳輸或傳送比特流126。還應該認識到的是,解碼器子系統(tǒng)103可以與諸如計算設備(例如,臺式計算機、膝上型計算機、平板計算機、移動電話等等)的客戶端系統(tǒng)相關聯(lián),上述計算設備經(jīng)由諸如收發(fā)機、天線、網(wǎng)絡系統(tǒng)等等未在圖1中描繪的各種通信組件和/或系統(tǒng)接收比特流126。因此,在各種實現(xiàn)中,編碼器子系統(tǒng)101和解碼器子系統(tǒng)103可以一起實現(xiàn)或相互獨立地實現(xiàn)。進而,盡管本文描述的系統(tǒng)、裝置和方法可以指代針對諸如EL圖像的PU的塊執(zhí)行層間預測,但是本公開并不局限于這一方面,并且層間預測可以針對EL圖像的任意部分來執(zhí)行,上述EL圖像的任意部分例如包括針對I3U的PB子劃分或如本申請中討論的任意其他塊。
[0038]圖2說明了根據(jù)本公開至少一些實現(xiàn)布置的示例SVC編碼系統(tǒng)200。如所示出的,系統(tǒng)200可以包括BL編碼器202和EL編碼器204,在示例中,該BL編碼器202和EL編碼器204可以分別對應于系統(tǒng)100的編碼器102和編碼器104。盡管系統(tǒng)200可以僅包括與兩個SVC編碼層相對應的例如以基礎層編碼器和增強層編碼器為例的兩個編碼器202和204,但是除了圖2中描繪的那些之外,可以根據(jù)本公開利用任何數(shù)量的SVC編碼層和相對應的編碼器。例如,與另外的增強層相對應的另外的編碼器可以被包含在系統(tǒng)200中,并且可以按照與下面針對編碼器204描述的類似的方式來與編碼器202交互。例如,盡管為了呈現(xiàn)的清晰性,針對BL編碼器202和EL編碼器204進行了描述,但是如本申請中討論的,系統(tǒng)200可以包括與參考層和增強層相關聯(lián)的任何參考層編碼器和增強層編碼器。在一般情況下,參考層編碼器可以是針對基礎層(如所示出的)或針對位于比與EL編碼器204相關聯(lián)的增強層更低的級別處的任意增強層的編碼器。
[0039]如所示出的,BL編碼器202可以接收BL輸入幀208并且EL編碼器204可以接收EL輸入幀206。在一般情況下,輸入幀208可以與視頻數(shù)據(jù)250的BL相關聯(lián)并且EL輸入幀206可以與視頻數(shù)據(jù)的EL相關聯(lián)(例如目標EL)。在其它示例中,如所討論的,視頻數(shù)據(jù)250可以包括參考層和增強層。
[0040]當采用系統(tǒng)200進行SVC編碼時,EL輸入幀206的至少一些塊206可以由EL編碼器204根據(jù)如由BL編碼器202處理的BL輸入幀208的一個或多個塊或者根據(jù)先前由EL編碼器204編碼的相同的增強層中的其它圖象來預測。如將在下文更詳細描述的,當使用系統(tǒng)200進行層間預測操作時,EL輸入幀206的一個或多個塊可以至少部分地使用從BL編碼器202繼承來的且由BL編碼器202提供的運動數(shù)據(jù)210來進行運動補償。在各種示例中,運動數(shù)據(jù)210可以包括一個或多個運動矢量、參考索引、和/或幀間方向等等。進而,可以在片、圖像、或?qū)蛹墑e處進行應用:使用繼承的運動數(shù)據(jù)來執(zhí)行如在本申請中描述的EL運動補償。
[0041]可以基于使用編碼環(huán)路處理BL輸入幀208來確定運動數(shù)據(jù)210,其中編碼環(huán)路可以包括變換和量化模塊212、逆變換和量化模塊214、環(huán)路濾波模塊216、參考緩沖器218、運動補償模塊220、或運動估計模塊222等等。如圖2中示出的,運動數(shù)據(jù)210可以從運動估計模塊222獲得。在一些示例中,BL編碼器202也可以包括幀內(nèi)預測模塊224。模塊212、214、216、218、220和224的功能在本領域中是公知的并且將不在本申請中進行更詳細地描述。
[0042]如所示出的,在EL編碼器204處,由BL編碼器202提供的運動數(shù)據(jù)210可以在運動補償模塊226處被接收,并且其可以至少部分地用于使用編碼環(huán)路針對EL輸入幀206的塊來執(zhí)行運動補償,其中,該編碼環(huán)路可以包括變換和量化模塊228、逆變換和逆量化模塊230、參考緩沖器234、或者運動補償模塊226等等。EL編碼器204也可以包括幀內(nèi)預測模塊238。模塊228、230、233和234的功能在本領域中是公知的并且將不在本文中進行更詳細地描述。如所示出的,根據(jù)本公開,EL編碼器204可以使用運動數(shù)據(jù)210來針對EL輸入幀206的塊執(zhí)行運動補償。例如,EL編碼器204可以使用運動數(shù)據(jù)210,而不是采用運動估計模塊236,來針對EL輸入幀206的塊執(zhí)行運動補償。例如,EL編碼器204可以至少部分地基于運動數(shù)據(jù)210針對視頻數(shù)據(jù)250的增強層的塊在運動補償模塊226處執(zhí)行運動補償。如將意識到的,運動補償可以針對多個EL輸入幀(例如,EL輸入幀206)的任意數(shù)量的塊來執(zhí)行。
[0043]在各種實現(xiàn)中,BL編碼器202和EL編碼器204中的任意一個或二者可以向熵編碼模塊240提供與至少一些BL輸入幀208和至少一些EL輸入幀206的編碼殘差相對應的壓縮系數(shù)。熵編碼器模塊240可以執(zhí)行殘差的無損壓縮(例如,經(jīng)由上下文自適應的二進制算術編碼(CABAC)),并且提供包括編碼殘差的復用的SVC比特流242作為來自系統(tǒng)200的輸出。進而,如將在下文更詳細描述的,比特流242可以包括諸如標識的指示符,其指定是否使用繼承的運動數(shù)據(jù)來針對給定的EL塊執(zhí)行運動補償。如將在下文更詳細描述的,取決于這樣的指示符的值,解碼系統(tǒng)可能執(zhí)行或者可能不執(zhí)行使用如本申請中描述的繼承的運動數(shù)據(jù)進行的層間預測。進而,并且如也將在下面更詳細描述地,比特流242可以包括在基礎層(例如,參考層)和增強層之間的、與空間可縮放性相關聯(lián)的縮放因子。取決于這樣的縮放因子的值,解碼系統(tǒng)可以縮放運動數(shù)據(jù)(例如,運動矢量等等)以對空間可縮放性進行補償。
[0044]如所討論的,可以確定與視頻數(shù)據(jù)250的參考層(在所說明的示例中,基礎層)相關聯(lián)的運動數(shù)據(jù)210并且可以至少部分地基于運動數(shù)據(jù)210來執(zhí)行針對視頻數(shù)據(jù)250的增強層的塊的運動補償。如本申請中進一步討論的,在一些示例中,為了確定運動數(shù)據(jù)210,可以確定與增強層的塊相關聯(lián)的參考層的并置塊。在一些示例中,基準層和增強層之間的空間可縮放性被啟用并且增強層圖像大小可以大于參考層圖像大小,以使得確定并置塊可以包括使用增強層的塊的左上位置、中心位置或右下位置中的至少一個來確定并置塊。進而,在執(zhí)行運動補償之前,運動數(shù)據(jù)210可以通過向運動數(shù)據(jù)210的一個或多個運動矢量應用縮放因子進行縮放。縮放因子可以是預先定義的或自適應的,如本申請中進一步討論的。進而,如所示出的,可以至少部分地基于所執(zhí)行的運動補償來編碼比特流242。
[0045]圖3說明了根據(jù)本公開的至少一些實現(xiàn)布置的示例SVC解碼系統(tǒng)300。系統(tǒng)300包括BL解碼器302和目標EL解碼器304,例如,其可以分別對應于系統(tǒng)100的解碼器108和解碼器110。盡管系統(tǒng)300僅包括與兩個SVC編碼層相對應的兩個解碼器302和304,但是除了在圖3中描繪的那些之外,根據(jù)本公開可以利用任意數(shù)量的SVC編碼層和相對應的解碼器。例如,與另外的增強層相對應的另外的解碼器可以被包含在系統(tǒng)300中,并且可以按照與下文針對EL解碼器304描述的相似方式來與BL解碼器302進行交互。例如,盡管為了呈現(xiàn)的清晰性針對BL解碼器302和EL解碼器304進行了描述,但是,如本文討論的,系統(tǒng)300可以包括與參考層和增強層相關聯(lián)的任何參考層解碼器和增強層解碼器。在一般情況下,參考層解碼器可以是針對基礎層(如所示出的)或針對在比與EL解碼器304相關聯(lián)的增強層相更低層處的任何增強層的解碼器。
[0046]當采用系統(tǒng)300進行SVC編碼時,EL輸出幀306中的各種塊可以由EL解碼器304根據(jù)如由BL解碼器302處理的BL輸出幀308的塊或根據(jù)先前由EL解碼器304解碼的在相同EL中的其它圖象進行幀間預測。如將在下面更詳細描述的,在EL輸出幀306中的這樣的塊的幀間預測可以采用由BL解碼器302提供的運動數(shù)據(jù)310。運動數(shù)據(jù)310可以從BL解碼器302的幀間預測模塊316 (例如,具有運動估計模塊)獲得。BL解碼器302還可以包括逆變換和量化模塊314、幀內(nèi)預測模塊312、和/或環(huán)路濾波模塊318。
[0047]如將在下面更詳細描述的,運動數(shù)據(jù)310可以被提供給EL解碼器304的幀間預測模塊324。EL解碼器304還可以包括逆變換和量化模塊322、幀內(nèi)預測模塊320以及環(huán)路濾波模塊326。當被操作為進行層間預測時,EL解碼器304可以采用幀間預測模塊324 (例如,具有運動補償模塊)和繼承的運動數(shù)據(jù)310來重構(gòu)用于EL輸出幀306的各種塊的像素數(shù)據(jù)。進而,EL解碼器304可以基于在比特流301中提供的指示符的值來這樣做,其中比特流301可以對應于圖1的比特流126、圖2的比特流242等等。例如,比特流201可以包括指定是否要執(zhí)行運動補償?shù)闹甘痉?例如,比特流標志)??梢栽L問比特流以確定指示符,并且如果指示符指定要執(zhí)行運動補償,則幀間預測模塊324可以至少部分地基于運動數(shù)據(jù)310針對視頻數(shù)據(jù)的增強層的塊來執(zhí)行運動補償。
[0048]如所討論的,可以確定與視頻數(shù)據(jù)(即與比特流301相關聯(lián)的視頻數(shù)據(jù))的參考層(在所說明的示例中,基礎層)相關聯(lián)的運動數(shù)據(jù)310,并且可以至少部分地基于運動數(shù)據(jù)310執(zhí)行針對視頻數(shù)據(jù)的增強層的塊的運動補償。如本申請中進一步討論的,在一些示例中,為了確定運動數(shù)據(jù)310,可以確定與增強層的塊相關聯(lián)的參考層的并置塊。在一些示例中,參考層和增強層之間的空間可縮放性被啟用并且增強層圖像大小可以大于參考層圖像大小,使得確定并置塊可以包括使用增強層的塊的左上位置、中心位置或右下位置中的至少一個來確定并置塊。進而,在執(zhí)行運動補償之前,運動數(shù)據(jù)310可以通過將縮放因子應用到運動數(shù)據(jù)310的一個或多個運動矢量來進行縮放??s放因子可以是預先定義的或自適應的,如本文中進一步討論的。在一些示例中,該縮放因子可以被包含在比特流301中。在其它示例中,該縮放因子可以由系統(tǒng)300來確定。進而,如所示出的,可以至少部分地基于運動補償來生成EL輸出幀306。
[0049]本文中描述的系統(tǒng)的各種組件可以以軟件、固件、和/或硬件和/或其任意組合來實現(xiàn)。例如,可以至少部分地由諸如可以在例如以智能電話為例的計算系統(tǒng)上發(fā)現(xiàn)的計算片上系統(tǒng)(SoC)的硬件來提供系統(tǒng)300的各種組件。本領域的熟練技術人員可以認識到,本申請中描述的系統(tǒng)可以包括在相對應的附圖中沒有描繪的另外的組件。例如,系統(tǒng)100、200和300可以包括為了清晰起見沒有在圖1、2和3中描繪的諸如比特流多路復用器或解復用器模塊等等的另外的組件。
[0050]圖11是說明根據(jù)本公開至少一些實現(xiàn)布置的示例視頻編碼過程1100的流程圖。在所說明的實現(xiàn)中,過程1100可以包括如由塊1102和/或1104中的一個或多個說明的一個或多個操作、功能或動作。通過非限制性示例的方式,將參考示例視頻編碼系統(tǒng)200或視頻編碼系統(tǒng)200來在申請中描述過程1100。如所說明的,盡管過程1100涉及編碼,但是可以按照相同或類似的方式將所描述的概念和/或操作應用到一般情況下的編碼,包括應用到解碼中。
[0051]過程1100可以被利用為用于執(zhí)行可縮放視頻編碼的計算機實現(xiàn)的方法。過程1100可以開始于操作1102,“確定與視頻數(shù)據(jù)的參考層相關聯(lián)的運動數(shù)據(jù)”,其中可以確定與視頻數(shù)據(jù)的參考層相關聯(lián)的運動數(shù)據(jù)。例如,可以在