在視頻譯碼中波前平行處理的使用的指示的制作方法
【專利摘要】一種視頻編碼器產(chǎn)生包含語法元素的位流,所述語法元素指示是根據(jù)第一譯碼模式還是第二譯碼模式來編碼圖片。在所述第一譯碼模式中,使用波前平行處理WPP來完整地編碼所述圖片。在所述第二譯碼模式中,在不使用WPP的情況下編碼所述圖片的每一圖像塊,且所述圖片可具有一或多個圖像塊。視頻解碼器可從所述位流剖析所述語法元素。響應(yīng)于確定所述語法元素具有特定值,所述視頻解碼器使用WPP來完整地解碼所述圖片。響應(yīng)于確定所述語法元素不具有所述特定值,所述視頻解碼器在不使用WPP的情況下解碼所述圖片的每一圖像塊。
【專利說明】在視頻譯碼中波前平行處理的使用的指示
[0001] 本申請案主張于2012年1月18日申請的美國臨時專利申請案第61/588, 096號 的權(quán)利,所述申請案的全部內(nèi)容在此以引用的方式并入。
【技術(shù)領(lǐng)域】
[0002] 本發(fā)明涉及視頻譯碼(即,視頻數(shù)據(jù)的編碼和/或解碼)。
【背景技術(shù)】
[0003] 可將數(shù)字視頻能力并入到廣泛范圍的裝置中,所述裝置包含數(shù)字電視、數(shù)字直播 系統(tǒng)、無線廣播系統(tǒng)、個人數(shù)字助理(PDA)、膝上型計算機(jī)或桌上型計算機(jī)、平板計算機(jī)、電 子書閱讀器、數(shù)碼相機(jī)、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、 蜂窩式或衛(wèi)星無線電電話、所謂的"智能電話"、視頻電話會議裝置、視頻流式傳輸裝置和 類似者。數(shù)字視頻裝置實施視頻壓縮技術(shù),例如在由MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H. 264/MPEG-4第10部分(先進(jìn)視頻譯碼(AVC))定義的標(biāo)準(zhǔn)、目前在開發(fā)中的高效率視頻 譯碼(HEVC)標(biāo)準(zhǔn)和這些標(biāo)準(zhǔn)的擴(kuò)展中所描述的視頻壓縮技術(shù)。視頻裝置可通過實施這些 視頻壓縮技術(shù)來更有效率地發(fā)射、接收、編碼、解碼和/或存儲數(shù)字視頻信息。
[0004] 視頻壓縮技術(shù)執(zhí)行空間(圖片內(nèi))預(yù)測和/或時間(圖片間)預(yù)測以減少或去除 視頻序列中所固有的冗余。對于基于塊的視頻譯碼,可將視頻切片(即,視頻幀或視頻幀的 一部分)分割成視頻塊,視頻塊也可被稱作樹塊、譯碼單元(CU)和/或譯碼節(jié)點。圖片的 經(jīng)幀內(nèi)譯碼(I)切片中的視頻塊是使用相對于相同圖片中的相鄰塊中的參考樣本的空間 預(yù)測來編碼。圖片的經(jīng)幀間譯碼(P或B)切片中的視頻塊可使用相對于相同圖片中的相鄰 塊中的參考樣本的空間預(yù)測或相對于其它參考圖片中的參考樣本的時間預(yù)測。圖片可被稱 作幀,且參考圖片可被稱作參考幀。
[0005] 空間或時間預(yù)測產(chǎn)生待譯碼的塊的預(yù)測性塊。殘余數(shù)據(jù)表示待譯碼的原始塊與預(yù) 測性塊之間的像素差。根據(jù)指向形成預(yù)測性塊的參考樣本的塊的運動向量和指示經(jīng)譯碼塊 與預(yù)測性塊之間的差的殘余數(shù)據(jù)來編碼經(jīng)幀間譯碼塊。根據(jù)幀內(nèi)譯碼模式和殘余數(shù)據(jù)來編 碼經(jīng)幀內(nèi)譯碼塊。為了進(jìn)一步壓縮,可將殘余數(shù)據(jù)自像素域變換到變換域,從而產(chǎn)生殘余系 數(shù),所述殘余系數(shù)接著可經(jīng)量化??砂创涡驋呙枳畛醪贾贸啥S陣列的經(jīng)量化系數(shù)以便產(chǎn) 生系數(shù)的一維向量,且可應(yīng)用熵譯碼以達(dá)成甚至更多壓縮。
【發(fā)明內(nèi)容】
[0006] 大體來說,本發(fā)明描述用于視頻譯碼的技術(shù),其中不允許單一圖片內(nèi)的圖像塊與 波前平行處理(WPP)的組合。更具體來說,視頻編碼器產(chǎn)生包含語法元素的位流,所述語法 元素指示根據(jù)第一譯碼模式或是第二譯碼模式來編碼圖片。在所述第一譯碼模式中,使用 WPP來完整地編碼所述圖片。在所述第二譯碼模式中,在不使用WPP的情況下編碼所述圖片 的每一圖像塊。視頻解碼器自所述位流剖析所述語法元素,且確定所述語法元素是否具有 特定值。響應(yīng)于確定所述語法元素具有所述特定值,所述視頻解碼器使用WPP來完整地解 碼所述圖片。響應(yīng)于確定所述語法元素不具有所述特定值,所述視頻解碼器在不使用WPP 的情況下解碼所述圖片的每一圖像塊。
[0007] 在一方面,本發(fā)明描述一種用于解碼視頻數(shù)據(jù)的方法。所述方法包括自包含所述 視頻數(shù)據(jù)中的圖片的經(jīng)譯碼表示的位流剖析語法元素。另外,所述方法包括響應(yīng)于確定所 述語法元素具有特定值,使用WPP來完整地解碼所述圖片。所述方法也包括響應(yīng)于確定所 述語法元素不具有所述特定值,在不使用WPP的情況下解碼所述圖片的每一圖像塊,其中 所述圖片具有一或多個圖像塊。
[0008] 在另一方面,本發(fā)明描述一種用于編碼視頻數(shù)據(jù)的方法。所述方法包括產(chǎn)生包含 語法元素的位流,所述語法元素指示根據(jù)第一譯碼模式或是第二譯碼模式來編碼圖片。在 所述第一譯碼模式中,使用WPP來完整地編碼所述圖片。在所述第二譯碼模式中,在不使用 WPP的情況下編碼所述圖片的每一圖像塊,其中所述圖片具有一或多個圖像塊。
[0009] 在另一方面,本發(fā)明描述一種包括一或多個處理器的視頻解碼裝置,所述一或多 個處理器經(jīng)配置以自包含視頻數(shù)據(jù)中的圖片的經(jīng)譯碼表示的位流剖析語法元素。所述一或 多個處理器經(jīng)配置以響應(yīng)于確定所述語法元素具有特定值,使用WPP來完整地解碼所述圖 片。另外,所述一或多個處理器經(jīng)配置以響應(yīng)于確定所述語法元素不具有所述特定值,在不 使用WPP的情況下解碼所述圖片的每一圖像塊,其中所述圖片具有一或多個圖像塊。
[0010] 在另一方面,本發(fā)明描述一種包括一或多個處理器的視頻編碼裝置,所述一或多 個處理器經(jīng)配置以產(chǎn)生包含語法元素的位流,所述語法元素指示根據(jù)第一譯碼模式或是第 二譯碼模式來編碼圖片。在所述第一譯碼模式中,使用WPP來完整地編碼所述圖片。在所 述第二譯碼模式中,在不使用WPP的情況下編碼所述圖片的每一圖像塊,其中所述圖片具 有一或多個圖像塊。
[0011] 在另一方面,本發(fā)明描述一種視頻解碼裝置,其包括用于自包含視頻數(shù)據(jù)中的圖 片的經(jīng)譯碼表示的位流剖析語法元素的裝置。所述視頻解碼裝置也包括用于響應(yīng)于確定所 述語法元素具有特定值而使用WPP來完整地解碼所述圖片的裝置。另外,所述視頻解碼裝 置包括用于響應(yīng)于確定所述語法元素不具有所述特定值而在不使用WPP的情況下解碼所 述圖片的每一圖像塊的裝置,其中所述圖片具有一或多個圖像塊。
[0012] 在另一方面,本發(fā)明描述一種視頻編碼裝置,其包括用于產(chǎn)生包含語法元素的位 流的裝置,所述語法元素指示根據(jù)第一譯碼模式或是第二譯碼模式來編碼圖片。在所述第 一譯碼模式中,使用WPP來完整地編碼所述圖片。在所述第二譯碼模式中,在不使用WPP的 情況下編碼所述圖片的每一圖像塊,其中所述圖片具有一或多個圖像塊。
[0013] 在另一方面,本發(fā)明描述一種存儲指令的計算機(jī)可讀存儲媒體,所述指令在由視 頻解碼裝置的一或多個處理器執(zhí)行時,配置所述視頻解碼裝置以自視頻數(shù)據(jù)中的圖片的經(jīng) 譯碼表示的位流剖析語法元素。所述指令也使所述視頻解碼裝置響應(yīng)于確定所述語法元素 具有特定值,使用WPP來完整地解碼所述圖片。另外,所述指令使所述視頻解碼裝置響應(yīng) 于確定所述語法元素不具有所述特定值,在不使用WPP的情況下解碼所述圖片的每一圖像 塊,其中所述圖片具有一或多個圖像塊。
[0014] 在另一方面,一種存儲指令的計算機(jī)可讀存儲媒體,所述指令在由視頻編碼裝置 的一或多個處理器執(zhí)行時,配置所述視頻編碼裝置以產(chǎn)生包含語法元素的位流,所述語法 元素指示根據(jù)第一譯碼模式或是第二譯碼模式來編碼圖片。在所述第一譯碼模式中,使用 WPP來完整地編碼所述圖片。在所述第二譯碼模式中,在不使用WPP的情況下編碼所述圖片 的每一圖像塊,其中所述圖片具有一或多個圖像塊。
[0015] 本發(fā)明的一或多個實例的細(xì)節(jié)陳述于隨附圖式和以下描述中。其它特征、目標(biāo)和 優(yōu)勢將自描述、圖式和權(quán)利要求書而顯而易見。
【專利附圖】
【附圖說明】
[0016] 圖1為說明可利用本發(fā)明中所描述的技術(shù)的實例視頻譯碼系統(tǒng)的框圖。
[0017] 圖2為說明可實施本發(fā)明中所描述的技術(shù)的實例視頻編碼器的框圖。
[0018] 圖3為說明可實施本發(fā)明中所描述的技術(shù)的實例視頻解碼器的框圖。
[0019] 圖4為說明根據(jù)本發(fā)明的一或多個方面的用于編碼視頻數(shù)據(jù)的視頻編碼器的實 例操作的流程圖,其中不允許單一圖片內(nèi)的圖像塊與波前平行處理(WPP)的組合。
[0020] 圖5為說明根據(jù)本發(fā)明的一或多個方面的用于解碼視頻數(shù)據(jù)的視頻解碼器的實 例操作的流程圖,其中不允許單一圖片內(nèi)的圖像塊與WPP的組合。
[0021] 圖6為說明根據(jù)本發(fā)明的一或多個方面的用于解碼視頻數(shù)據(jù)的視頻解碼器的另 一實例操作的流程圖,其中不允許單一圖片內(nèi)的圖像塊與WPP的組合。
[0022] 圖7為說明根據(jù)本發(fā)明的一或多個方面的用于編碼視頻數(shù)據(jù)的視頻編碼器的實 例操作的流程圖,其中圖片的譯碼樹塊(CTB)的每一行在單獨子流中。
[0023] 圖8為說明根據(jù)本發(fā)明的一或多個方面的用于解碼視頻數(shù)據(jù)的視頻解碼器的實 例操作的流程圖,其中圖片的CTB的每一行在單獨子流中。
[0024] 圖9A為說明根據(jù)本發(fā)明的一或多個方面的剖析切片數(shù)據(jù)的實例上下文自適應(yīng)性 二進(jìn)制算術(shù)譯碼(CABAC)剖析過程的第一部分的流程圖。
[0025] 圖9B為說明圖9A的實例CABAC剖析過程的接續(xù)部分的流程圖。
[0026] 圖10為說明WPP的實例的概念圖。
[0027] 圖11為說明在將圖片分割成多個圖像塊時的實例譯碼次序的概念圖。
【具體實施方式】
[0028] 在視頻譯碼期間,可將圖片分割成多個圖像塊、波前平行處理(WPP)波和/或熵切 片。由穿過圖片的水平和/或垂直圖像塊邊界定義圖片的圖像塊。根據(jù)光柵掃描次序譯碼 圖片的圖像塊,且也根據(jù)光柵掃描次序譯碼每一圖像塊內(nèi)的譯碼樹塊(CTB)。在WPP中,圖 片中的CTB的每一行為"WPP波"。在視頻譯碼器使用WPP來譯碼圖片時,視頻譯碼器可在 視頻譯碼器已譯碼緊接的較高WPP波的兩個或兩個以上CTB之后,開始自左到右譯碼WPP 波的CTB。熵切片可包含根據(jù)光柵掃描次序的一系列連續(xù)CTB。來自跨越熵切片邊界的信 息的使用被禁止用于選擇熵譯碼上下文,但可被允許用于達(dá)成其它目的。
[0029] 在現(xiàn)有視頻譯碼系統(tǒng)中,圖片可具有圖像塊、WPP波和熵切片的任何組合。例如, 可將圖片分割成多個圖像塊。在此實例中,可根據(jù)光柵掃描次序譯碼圖像塊中的一些圖像 塊中的CTB,而可使用WPP來譯碼圖像塊中的其它圖像塊中的CTB。允許圖片包含圖像塊、 WPP波和熵切片的組合可不必要地增加這些視頻譯碼系統(tǒng)的實施方案復(fù)雜度和成本。
[0030] 本發(fā)明的技術(shù)可解決此問題。即,根據(jù)本發(fā)明的技術(shù),不允許在圖片內(nèi)的兩個或兩 個以上圖像塊、WPP波和熵切片中的任一者的組合。例如,視頻編碼器可產(chǎn)生包含語法元素 的位流,所述語法元素指示根據(jù)第一譯碼模式或是第二譯碼模式來編碼圖片。在所述第一 譯碼模式中,使用WPP來完整地編碼所述圖片。在所述第二譯碼模式中,所述圖片具有一或 多個圖像塊,且在不使用WPP的情況下編碼所述圖片的每一圖像塊。
[0031] 此外,在此實例中,視頻解碼器可自包含圖片的經(jīng)譯碼表示的位流剖析語法元素。 響應(yīng)于確定所述語法元素具有特定值,所述視頻解碼器可使用WPP來完整地解碼所述圖 片。響應(yīng)于確定所述語法元素不具有所述特定值,所述視頻解碼器可在不使用WPP的情況 下解碼所述圖片的每一圖像塊。圖片可具有一或多個圖像塊。
【專利附圖】
【附圖說明】 [0032] 實例。在附圖中由參考數(shù)字指示的元件對應(yīng)于以下描述中通過相似參考 數(shù)字指示的元件。在本發(fā)明中,具有以序數(shù)詞(例如,"第一"、"第二"、"第三"等)開始的 名稱的元件未必暗示元件具有特定次序。相反地,這些序數(shù)詞僅用以指相同或類似類型的 不同元件。
[0033] 圖1為說明可利用本發(fā)明的技術(shù)的實例視頻譯碼系統(tǒng)10的框圖。如本文中所描 述地使用,術(shù)語"視頻譯碼器"一般地指視頻編碼器與視頻解碼器兩者。在本發(fā)明中,術(shù)語 "視頻譯碼"或"譯碼"可一般地指視頻編碼或視頻解碼。
[0034] 如圖1中所展示,視頻譯碼系統(tǒng)10包含源裝置12和目的地裝置14。源裝置12產(chǎn) 生經(jīng)編碼視頻數(shù)據(jù)。因此,源裝置12可被稱作視頻編碼裝置或視頻編碼設(shè)備。目的地裝置 14可解碼由源裝置12產(chǎn)生的經(jīng)編碼視頻數(shù)據(jù)。因此,目的地裝置14可被稱作視頻解碼裝 置或視頻解碼設(shè)備。源裝置12和目的地裝置14可為視頻譯碼裝置或視頻譯碼設(shè)備的實例。 源裝置12和目的地裝置14可包括廣泛范圍的裝置,包含桌上型計算機(jī)、移動計算裝置、筆 記型(例如,膝上型)計算機(jī)、平板計算機(jī)、機(jī)頂盒、例如所謂的"智能型"電話的電話手持 機(jī)、電視、相機(jī)、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺、車載計算機(jī)或類似者。
[0035] 目的地裝置14可經(jīng)由信道16自源裝置12接收經(jīng)編碼視頻數(shù)據(jù)。信道16可包括 能夠?qū)⒔?jīng)編碼視頻數(shù)據(jù)自源裝置12移動到目的地裝置14的一或多個媒體和/或裝置。在 一個實例中,信道16可包括使源裝置12能夠?qū)崟r將經(jīng)編碼視頻數(shù)據(jù)直接傳輸?shù)侥康牡匮b 置14的一或多個通信媒體。在此實例中,源裝置12可根據(jù)例如無線通信協(xié)議的通信標(biāo)準(zhǔn) 調(diào)制經(jīng)編碼視頻數(shù)據(jù),且可將經(jīng)調(diào)制視頻數(shù)據(jù)傳輸?shù)侥康牡匮b置14。一或多個通信媒體可 包含無線和/或有線通信媒體,例如射頻(RF)頻譜或一或多個物理傳輸線。一或多個通信 媒體可形成基于包的網(wǎng)絡(luò)(例如,局域網(wǎng)、廣域網(wǎng)或全球網(wǎng)絡(luò)(例如,因特網(wǎng)))的部分。一 或多個通信媒體可包含路由器、交換器、基站或促進(jìn)自源裝置12到目的地裝置14的通信的 其它裝備。
[0036] 在另一實例中,信道16可包含存儲由源裝置12產(chǎn)生的經(jīng)編碼視頻數(shù)據(jù)的存儲媒 體。在此實例中,目的地裝置14可經(jīng)由磁盤存取或卡存取來存取存儲媒體。存儲媒體可包 含多種本地存取的數(shù)據(jù)存儲媒體,例如,藍(lán)光光盤、DVD、⑶-ROM、快閃存儲器或用于存儲經(jīng) 編碼視頻數(shù)據(jù)的其它合適數(shù)字存儲媒體。
[0037] 在另一實例中,信道16可包含存儲由源裝置12產(chǎn)生的經(jīng)編碼視頻的文件服務(wù)器 或另一中間存儲裝置。在此實例中,目的地裝置14可經(jīng)由流式傳輸或下載來存取存儲于文 件服務(wù)器或其它中間存儲裝置處的經(jīng)編碼視頻數(shù)據(jù)。文件服務(wù)器可為能夠存儲經(jīng)編碼視頻 數(shù)據(jù)且將經(jīng)編碼視頻數(shù)據(jù)傳輸?shù)侥康牡匮b置14的類型的服務(wù)器。實例文件服務(wù)器包含頁 面服務(wù)器(例如,用于網(wǎng)站)、文件傳送協(xié)議(FTP)服務(wù)器、網(wǎng)絡(luò)附接存儲(NAS)裝置和本地 磁盤機(jī)。
[0038] 目的地裝置14可經(jīng)由例如因特網(wǎng)連接的標(biāo)準(zhǔn)數(shù)據(jù)連接存取經(jīng)編碼視頻數(shù)據(jù)。數(shù) 據(jù)連接的實例類型包含適合于存取存儲于文件服務(wù)器上的經(jīng)編碼視頻數(shù)據(jù)的無線信道 (例如,Wi-Fi連接)、有線連接(例如,DSL、纜線調(diào)制解調(diào)器等)或無線信道與有線連接兩 者的組合。經(jīng)編碼視頻數(shù)據(jù)自文件服務(wù)器的傳輸可為流式傳輸、下載傳輸或流式傳輸與下 載傳輸兩者的組合。
[0039] 本發(fā)明的技術(shù)不限于無線應(yīng)用或設(shè)定。所述技術(shù)可應(yīng)用于視頻譯碼以支持多種多 媒體應(yīng)用,例如,空中電視廣播、有線電視傳輸、衛(wèi)星電視傳輸、流式傳輸視頻傳輸(例如, 經(jīng)由因特網(wǎng))、編碼視頻數(shù)據(jù)以用于存儲于數(shù)據(jù)存儲媒體上、解碼存儲于數(shù)據(jù)存儲媒體上的 視頻數(shù)據(jù)或其它應(yīng)用。在一些實例中,視頻譯碼系統(tǒng)10可經(jīng)配置以支持單向或雙向視頻傳 輸以支持例如視頻流式傳輸、視頻播放、視頻廣播和/或視頻電話的應(yīng)用。
[0040] 在圖1的實例中,源裝置12包含視頻源18、視頻編碼器20和輸出接口 22。在一 些實例中,輸出接口 22可包含調(diào)制器/解調(diào)制器(調(diào)制解調(diào)器)和/或發(fā)射器。視頻源18 可包含視頻俘獲裝置(例如,攝像機(jī))、含有先前俘獲的視頻數(shù)據(jù)的視頻存檔、自視頻內(nèi)容 提供者接收視頻數(shù)據(jù)的視頻饋入接口和/或用于產(chǎn)生視頻數(shù)據(jù)的計算機(jī)圖形系統(tǒng),或這些 視頻數(shù)據(jù)源的組合。
[0041] 視頻編碼器20可編碼來自視頻源18的視頻數(shù)據(jù)。在一些實例中,源裝置12經(jīng)由 輸出接口 22將經(jīng)編碼視頻數(shù)據(jù)直接傳輸?shù)侥康牡匮b置14。經(jīng)編碼視頻數(shù)據(jù)也可存儲到存 儲媒體或文件服務(wù)器上以供稍后由目的地裝置14存取以用于解碼和/或播放。
[0042] 在圖1的實例中,目的地裝置14包含輸入接口 28、視頻解碼器30和顯示裝置32。 在一些實例中,輸入接口 28包含接收器和/或調(diào)制解調(diào)器。輸入接口 28可經(jīng)由信道16接 收經(jīng)編碼視頻數(shù)據(jù)。顯示裝置32可與目的地裝置14集成或可在目的地裝置14外部。大 體來說,顯示裝置32顯示經(jīng)解碼視頻數(shù)據(jù)。顯示裝置32可包括多種顯示裝置,例如,液晶 顯示器(LCD)、等離子顯示器、有機(jī)發(fā)光二極管(0LED)顯示器或另一類型的顯示裝置。
[0043] 視頻編碼器20和視頻解碼器30可根據(jù)例如目前在開發(fā)中的高效率視頻譯碼 (HEVC)標(biāo)準(zhǔn)的視頻壓縮標(biāo)準(zhǔn)操作,且可遵照HEVC測試模型(HM)。被稱作"HEVC工作草案5" 或"WD5"的即將到來的HEVC標(biāo)準(zhǔn)的草案描述于布羅斯(Bross)等人的"WD5 :高效率視頻譯 碼的工作草案 5 (WD5 :Working Draft5of High-Efficiency Video Coding) "(ITU-T SG16WP3 和IS0/IEC JTC1/SC29/WG11視頻譯碼聯(lián)合協(xié)作小組(JCT-VC)于2011年11月在瑞士日內(nèi) 瓦的第7次會議)中,所述草案可自2012年10月10日起自http ://phenix. int-evry. fr/ jct/doc_end_user/documents/7_Geneva/wgll/JCTVC-G1103_V3· zip 下載,所述草案的全 部內(nèi)容以引用的方式并入本文中。被稱作" HEVC工作草案9 "的即將到來的HEVC標(biāo)準(zhǔn)的另一 草案描述于布羅斯等人的"高效率視頻譯碼(HEVC)文本規(guī)范草案9 (High Efficiency Video Coding (HEVC) text specification draft9) "(ITU-T SG16WP3 和 IS0/IEC JTC1/SC29/WG11 視 頻譯碼聯(lián)合協(xié)作小組(JCT-VC)于2012年10月在中國上海的第11次會議)中,所述草案可 自 2012年 11 月 7 日起自 http ://phenix. int_evry.fr/jct/doc_end_user/documents/ll_ Shanghai/wgll/JCTVC-K1003-v8. zip下載,所述草案的全部內(nèi)容被以引用的方式并入本文 中。
[0044] 替代地,視頻編碼器20和視頻解碼器30可根據(jù)其它專有或工業(yè)標(biāo)準(zhǔn)來操作, 其它專有或工業(yè)標(biāo)準(zhǔn)包含 ITU-T Η· 261、ISO/IEC MPEG-lVisual、ITU-T Η· 262 或 ISO/IEC MPEG-2Visual、ITU-T Η· 263、ISO/IEC MPEG-4Visual 和 ITU-T H. 264(也被稱為 ISO/IEC MPEG-4AVC),包含其可調(diào)式視頻譯碼(SVC)和多視圖視頻譯碼(MVC)擴(kuò)展。然而,本發(fā)明的 技術(shù)不限于任何特定譯碼標(biāo)準(zhǔn)或技術(shù)。
[0045] 此外,圖1僅為實例且本發(fā)明的技術(shù)可應(yīng)用于未必包含編碼裝置與解碼裝置之間 的任何數(shù)據(jù)通信的視頻譯碼設(shè)定(例如,視頻編碼或視頻解碼)。在其它實例中,數(shù)據(jù)是自 本地存儲器檢索,經(jīng)由網(wǎng)絡(luò)而流式傳輸,或類似者。編碼裝置可編碼數(shù)據(jù)且將數(shù)據(jù)存儲到存 儲器,和/或解碼裝置可自存儲器檢索數(shù)據(jù)且解碼數(shù)據(jù)。在許多實例中,由并不彼此通信而 是簡單地將數(shù)據(jù)編碼到存儲器和/或自存儲器檢索數(shù)據(jù)且解碼數(shù)據(jù)的裝置執(zhí)行編碼和解 碼。
[0046] 視頻編碼器20和視頻解碼器30各自可實施為例如以下各者的多種合適電路中的 任一者:一或多個微處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門 陣列(FPGA)、離散邏輯、硬件或其任何組合。如果部分地以軟件實施技術(shù),那么裝置可將軟 件的指令存儲于合適的非暫時性計算機(jī)可讀存儲媒體中且可使用一或多個處理器以硬件 執(zhí)行指令,以執(zhí)行本發(fā)明的技術(shù)。前文中的任一者(包含硬件、軟件、硬件與軟件的組合等) 可被視為一或多個處理器。視頻編碼器20和視頻解碼器30中的每一者可包含于一或多個 編碼器或解碼器中,編碼器或解碼器中的任一者可作為組合式編碼器/解碼器(CODEC)的 部分而集成于相應(yīng)裝置中。
[0047] 本發(fā)明可大體上提到視頻編碼器20將某些信息"用信號發(fā)出"到例如視頻解碼器 30的另一裝置。術(shù)語"用信號發(fā)出"大體上可指語法元素和/或表示經(jīng)編碼視頻數(shù)據(jù)的其 它數(shù)據(jù)的傳達(dá)。此傳達(dá)可實時地或近實時地發(fā)生。交替地,此傳達(dá)可在時間跨度內(nèi)發(fā)生,例 如,可在編碼時在將語法元素存儲到計算機(jī)可讀存儲媒體時在經(jīng)編碼位流中發(fā)生,接著可 在將語法元素存儲到此媒體之后的任何時間由解碼裝置檢索語法元素。
[0048] 如上文簡要地提及,視頻編碼器20編碼視頻數(shù)據(jù)。視頻數(shù)據(jù)可包括一或多個圖 片。圖片中的每一者可為靜態(tài)圖像。在一些例子中,圖片可被稱作視頻"幀"。視頻編碼器 20可產(chǎn)生包含形成視頻數(shù)據(jù)的經(jīng)譯碼表示的位序列的位流。位流可包含經(jīng)譯碼圖片和相關(guān) 聯(lián)的數(shù)據(jù)。經(jīng)譯碼圖片為圖片的經(jīng)譯碼表示。相關(guān)聯(lián)的數(shù)據(jù)可包含序列參數(shù)集(SPS)、圖片 參數(shù)集(PPS)和其它語法結(jié)構(gòu)。SPS可含有適用于圖片的零個或零個以上序列的參數(shù)。PPS 可含有適用于零個或零個以上圖片的參數(shù)。
[0049] 為了產(chǎn)生圖片的經(jīng)編碼表示,視頻編碼器20可將圖片分割成譯碼樹塊(CTB)的柵 格。在一些例子中,CTB可被稱作"樹塊"、"最大譯碼單元"(IXU)或"譯碼樹單元"。HEVC 的CTB可廣泛地類似于例如H. 264/AVC的先前標(biāo)準(zhǔn)的宏塊。然而,CTB未必限于特定大小 且可包含一或多個譯碼單元(⑶)。
[0050] CTB中的每一者可與圖片內(nèi)的大小相等的不同像素塊相關(guān)聯(lián)。每一像素可包括一 個明度(luminance或luma)樣本和兩個色度(chrominance或chroma)樣本。因此,每一 CTB可與明度樣本的一個塊和色度樣本的兩個塊相關(guān)聯(lián)。為了便于解釋,本發(fā)明可將像素的 二維陣列稱作像素塊且可將樣本的二維陣列稱作樣本塊。視頻編碼器20可使用四分樹分 割來將與CTB相關(guān)聯(lián)的像素塊分割成與CU相關(guān)聯(lián)的像素塊(因此名稱為"譯碼樹塊")。
[0051] 可將圖片的CTB分群成一或多個切片。在一些實例中,切片中的每一者包含整數(shù) 數(shù)目個CTB。作為編碼圖片的部分,視頻編碼器20可產(chǎn)生圖片的每一切片的經(jīng)編碼表示 (即,經(jīng)譯碼切片)。為了產(chǎn)生經(jīng)譯碼切片,視頻編碼器20可編碼切片的每一 CTB以產(chǎn)生切 片的CTB中的每一者的經(jīng)編碼表示(即,經(jīng)譯碼CTB)。
[0052] 為了產(chǎn)生經(jīng)譯碼CTB,視頻編碼器20可對與CTB相關(guān)聯(lián)的像素塊遞回地執(zhí)行四分 樹分割以將像素塊劃分成逐步減小的像素塊。較小像素塊中的每一者可與CU相關(guān)聯(lián)。經(jīng) 分割CU可為像素塊經(jīng)分割成與其它CU相關(guān)聯(lián)的像素塊的CU。未經(jīng)分割CU可為像素塊未 經(jīng)分割成與其它⑶相關(guān)聯(lián)的像素塊的⑶。
[0053] 視頻編碼器20可針對每一未經(jīng)分割⑶產(chǎn)生一或多個預(yù)測單元(PU)。⑶的PU中 的每一者可與⑶的像素塊內(nèi)的一不同像素塊相關(guān)聯(lián)。視頻編碼器20可針對⑶的每一 PU 產(chǎn)生預(yù)測性像素塊。PU的預(yù)測性像素塊可為像素的塊。
[0054] 視頻編碼器20可使用幀內(nèi)預(yù)測或幀間預(yù)測來產(chǎn)生PU的預(yù)測性像素塊。如果視頻 編碼器20使用幀內(nèi)預(yù)測來產(chǎn)生PU的預(yù)測性像素塊,那么視頻編碼器20可基于與PU相關(guān) 聯(lián)的圖片的經(jīng)解碼像素而產(chǎn)生PU的預(yù)測性像素塊。如果視頻編碼器20使用幀間預(yù)測來產(chǎn) 生PU的預(yù)測性像素塊,那么視頻編碼器20可基于不同于與PU相關(guān)聯(lián)的圖片的一或多個圖 片的經(jīng)解碼像素而產(chǎn)生PU的預(yù)測性像素塊。
[0055] 視頻編碼器20可基于⑶的PU的預(yù)測性像素塊而產(chǎn)生⑶的殘余像素塊。⑶的殘 余像素塊可指示CU的PU的預(yù)測性像素塊中的樣本與CU的原始像素塊中的對應(yīng)樣本之間 的差。
[0056] 此外,作為編碼未經(jīng)分割⑶的部分,視頻編碼器20可對⑶的殘余像素塊執(zhí)行遞 回四分樹分割以將CU的殘余像素塊分割成與CU的變換單元(TU)相關(guān)聯(lián)的一或多個較小 殘余像素塊。因為與TU相關(guān)聯(lián)的像素塊中的像素各自包含一個明度樣本和兩個色度樣本, 所以TU中的每一者可與明度樣本的一個殘余樣本塊和色度樣本的兩個殘余樣本塊相關(guān) 聯(lián)。
[0057] 視頻譯碼器20可對與TU相關(guān)聯(lián)的殘余樣本塊應(yīng)用一或多個變換以產(chǎn)生系數(shù)塊 (即,系數(shù)的塊)。視頻編碼器20可對系數(shù)塊中的每一者執(zhí)行量化過程。量化大體上指對 系數(shù)進(jìn)行量化以可能減少用以表示系數(shù)的數(shù)據(jù)的量從而提供進(jìn)一步壓縮的過程。
[0058] 視頻編碼器20可產(chǎn)生表示經(jīng)量化系數(shù)塊中的系數(shù)的語法元素的集合。視頻編碼 器20可將例如上下文自適應(yīng)性二進(jìn)制算術(shù)譯碼(CABAC)操作的熵編碼操作應(yīng)用于這些語 法元素中的至少一些語法元素。作為執(zhí)行熵編碼操作的部分,視頻編碼器20可選擇譯碼上 下文。在CABAC的狀況下,譯碼上下文可指示值0和值1分格的概率。
[0059] 由視頻編碼器20產(chǎn)生的位流可包含一系列網(wǎng)絡(luò)抽象層(NAL)單元。NAL單元中的 每一者可為含有NAL單元中的數(shù)據(jù)的類型的指示和含有數(shù)據(jù)的字節(jié)的語法結(jié)構(gòu)。例如,NAL 單元可含有表示SPS、PPS、經(jīng)譯碼切片、補充增強信息(SEI)、存取單元定界符、填充數(shù)據(jù)或 另一類型的數(shù)據(jù)的數(shù)據(jù)。經(jīng)譯碼切片NAL單元為包含經(jīng)譯碼切片的NAL單元。
[0060] 視頻解碼器30可接收位流。位流可包含由視頻編碼器20編碼的視頻數(shù)據(jù)的經(jīng)譯 碼表示。視頻解碼器30可剖析位流以自位流提取語法元素。作為自位流提取一些語法元 素的部分,視頻解碼器30可熵解碼(例如,CABAC解碼、指數(shù)哥倫布解碼等)位流中的數(shù)據(jù)。 視頻解碼器30可基于自位流提取的語法元素而重構(gòu)建視頻數(shù)據(jù)的圖片。
[0061] 基于語法元素而重構(gòu)建視頻數(shù)據(jù)的過程可與由視頻編碼器20執(zhí)行以產(chǎn)生語法元 素的過程大體上互逆。例如,視頻解碼器30可基于與CU相關(guān)聯(lián)的語法元素而產(chǎn)生CU的PU 的預(yù)測性像素塊。另外,視頻解碼器30可對與CU的TU相關(guān)聯(lián)的系數(shù)塊進(jìn)行反量化。視頻 解碼器30可對系數(shù)塊執(zhí)行反變換以重構(gòu)建與CU的TU相關(guān)聯(lián)的殘余像素塊。視頻解碼器 30可基于預(yù)測性像素塊和殘余像素塊而重構(gòu)建CU的像素塊。
[0062] 在一些實例中,視頻編碼器20可將圖片劃分成多個熵切片。本發(fā)明可使用術(shù)語 "規(guī)則切片"來區(qū)分切片與熵切片。熵切片可包含規(guī)則切片的CU的子集。在一些實例中,視 頻編碼器20可在熵切片當(dāng)中分割CU,以使得熵切片中無一者包含比上限多的分格(例如, 經(jīng)熵譯碼位)。在單獨NAL單元中可包含每一熵切片。
[0063] 在本發(fā)明中,圖片中預(yù)測可指使用與圖片的第一單元(例如,CTB、CU、PU等)相關(guān) 聯(lián)的信息用于譯碼同一圖片的第二單元。允許跨越熵切片邊界的圖片中預(yù)測,但用于達(dá)成 熵譯碼的目的除外。例如,如果視頻譯碼器(例如,視頻編碼器20或視頻解碼器30)正對 特定PU執(zhí)行幀內(nèi)預(yù)測,那么視頻譯碼器可使用來自相鄰TO的樣本,即使相鄰PU在不同于 特定TO的熵切片中也如此。在此實例中,如果相鄰PU在不同于特定PU的切片中,那么視 頻譯碼器可能不能夠使用來自相鄰PU的樣本。
[0064] 然而,在視頻譯碼器正對與特定TO相關(guān)聯(lián)的數(shù)據(jù)執(zhí)行熵譯碼時,如果特定PU與相 鄰PU在相同熵切片中,那么僅允許視頻譯碼器基于與相鄰ro相關(guān)聯(lián)的信息而選擇譯碼上 下文。因為此限制,所以視頻譯碼器可能能夠?qū)η衅亩鄠€熵切片平行地執(zhí)行熵譯碼(即, 熵編碼或解碼)操作。因此,視頻解碼器30可能能夠平行地剖析多個熵切片的語法元素。 然而,視頻解碼器30不能夠平行地重構(gòu)建切片的多個熵切片的像素塊。
[0065] 如上文所指示,經(jīng)譯碼切片NAL單元可含有經(jīng)譯碼切片。此切片可為熵切片或規(guī) 則切片。經(jīng)譯碼切片NAL單元中的切片標(biāo)頭可包含指示切片是熵切片還是規(guī)則切片的語法 元素(例如,entropy_slice_flag)。例如,如果語法元素等于1,那么經(jīng)譯碼切片NAL單元 中的切片可為熵切片。
[0066] 每一經(jīng)譯碼切片可包含切片標(biāo)頭和切片數(shù)據(jù)。熵切片的切片標(biāo)頭可不同于規(guī)則切 片的切片標(biāo)頭。例如,熵切片的切片標(biāo)頭中的語法元素可包含規(guī)則切片的切片標(biāo)頭中的語 法元素的子集。因為熵切片的切片標(biāo)頭包含比規(guī)則切片的切片標(biāo)頭少的語法元素,所以熵 切片也可被稱作輕型切片、具有短切片標(biāo)頭的切片或短切片。熵切片可從按解碼次序在熵 切片之前的規(guī)則切片的切片標(biāo)頭繼承從熵切片的切片標(biāo)頭中省略的語法元素。
[0067] 按照慣例,視頻編碼器針對每一熵切片產(chǎn)生單獨NAL單元。常常以單獨包在網(wǎng)絡(luò) 上輸送個別NAL單元。換句話說,在經(jīng)由網(wǎng)絡(luò)傳輸NAL單元期間,每一包可存在一個NAL單 元。此情形對于含有熵切片的NAL單元來說可為有問題的。如果含有包含規(guī)則切片的NAL 單元的包在傳輸期間丟失,那么視頻解碼器30可能不能夠使用自規(guī)則切片的切片標(biāo)頭繼 承語法元素的熵切片。此外,如果對于圖片中預(yù)測,第一熵切片的一或多個CTB依賴于第二 熵切片的一或多個CTB,且含有包含第二熵切片的NAL單元的包在傳輸期間丟失,那么視頻 解碼器30可能不能夠解碼第一熵切片的CTB。
[0068] 在一些實例中,視頻譯碼器可使用波前平行處理(WPP)來譯碼圖片的至少部分。 下文中詳細(xì)描述的圖9為說明WPP的實例的概念圖。如果視頻譯碼器使用WPP來譯碼圖片, 那么視頻譯碼器可將圖片的CTB劃分成多個"WPP波"。WPP波中的每一者可對應(yīng)于圖片中 的CTB的不同行。如果視頻譯碼器使用WPP來譯碼圖片,那么視頻譯碼器可開始譯碼CTB 的頂行。在視頻譯碼器已譯碼頂行的兩個或兩個以上CTB之后,視頻譯碼器可開始與譯碼 CTB的頂行平行地譯碼CTB的次頂行。在視頻譯碼器已譯碼次頂行的兩個或兩個以上CTB 之后,視頻譯碼器可開始與譯碼CTB的較高行平行地譯碼CTB的頂部起第三行。此型樣可 沿圖片中的CTB的行往下繼續(xù)。
[0069] 如果視頻譯碼器正使用WPP,那么只要空間上相鄰的⑶在當(dāng)前CTB的左方、左上 方、上方或右上方,視頻譯碼器便可使用與在當(dāng)前CTB之外的空間上相鄰的CU相關(guān)聯(lián)的信 息來對當(dāng)前CTB中的特定CU執(zhí)行圖片中預(yù)測。如果當(dāng)前CTB為不同于最頂行的行中的最 左CTB,那么視頻譯碼器可使用與緊接的較高行的第二CTB相關(guān)聯(lián)的信息來選擇用于CABAC 譯碼當(dāng)前CTB的一或多個語法元素的上下文。否則,如果當(dāng)前CTB并非行中的最左CTB,那 么視頻譯碼器可使用與當(dāng)前CTB左方的CTB相關(guān)聯(lián)的信息來選擇用于CABAC譯碼當(dāng)前CTB 的一或多個語法元素的上下文。以此方式,視頻譯碼器可在編碼緊接的較高行的兩個或兩 個以上CTB之后,基于緊接的較高行的CABAC狀態(tài)而初始化行的CABAC狀態(tài)。
[0070] 因此,響應(yīng)于確定第一 CTB通過單一 CTB而與圖片的左邊界分離,視頻譯碼器可存 儲與第一 CTB相關(guān)聯(lián)的上下文變量。視頻譯碼器可至少部分基于與第一 CTB相關(guān)聯(lián)的上下 文變量而熵譯碼(例如,熵編碼或熵解碼)第二CTB的一或多個語法元素,第二CTB鄰近于 圖片的左邊界且比第一 CTB低一行CTB。
[0071] 甚至在使用WPP時,仍通常根據(jù)光柵掃描次序?qū)⑶衅慕?jīng)譯碼CTB布置于經(jīng)譯碼 切片NAL單元中。此情形可使實施WPP的視頻譯碼器的設(shè)計變得復(fù)雜。在WPP波的數(shù)目大 于1且小于圖片的CTB行的數(shù)目時,CTB的經(jīng)譯碼位的位流次序(即,在通過一個解碼器核 心處理經(jīng)譯碼圖片而非平行地解碼經(jīng)譯碼圖片的情況下的解碼次序)與如下未應(yīng)用WPP時 的情形相比較來說改變了。按位流/解碼次序較遲的經(jīng)譯碼CTB可能需要由按解碼次序較 早的另一經(jīng)譯碼CTB進(jìn)行圖片中預(yù)測。此情形可打破無較早數(shù)據(jù)取決于按位流/解碼次序 較遲到來的數(shù)據(jù)的位流因果關(guān)系。位流因果關(guān)系已為包含視頻譯碼標(biāo)準(zhǔn)的視頻譯碼設(shè)計中 的大體遵循的原理。雖然解碼過程起作用,但在指示在位流中的當(dāng)前位置的位流指標(biāo)可在 與經(jīng)譯碼切片NAL單元相關(guān)聯(lián)的位流的部分內(nèi)前后移動時,解碼過程可更復(fù)雜。
[0072] 在一些實例中,視頻編碼器20可將圖片劃分成一或多個圖像塊。圖像塊可包括圖 片的CTB的非重疊集合。視頻編碼器20可通過界定兩個或兩個以上垂直圖像塊邊界和兩 個或兩個以上水平圖像塊邊界而將圖片劃分成圖像塊。圖片的每一垂直側(cè)可為垂直圖像塊 邊界。當(dāng)前圖片的每一水平側(cè)可為水平圖像塊邊界。例如,如果視頻編碼器20界定圖片的 四個垂直圖像塊邊界和三個水平圖像塊邊界,那么將當(dāng)前圖片劃分成六個圖像塊。
[0073] 例如視頻編碼器20或視頻解碼器30的視頻譯碼器可根據(jù)圖像塊掃描次序譯碼圖 片的圖像塊的CTB。為了根據(jù)圖像塊掃描次序譯碼CTB,視頻譯碼器可根據(jù)光柵掃描次序譯 碼圖片的圖像塊。即,視頻譯碼器可按由左到右次序譯碼一行圖像塊中的每一圖像塊,自圖 像塊的頂行開始且接著沿圖片向下進(jìn)行。此外,視頻譯碼器可根據(jù)光柵掃描次序譯碼圖像 塊內(nèi)的每一 CTB。以此方式,視頻譯碼器可在譯碼圖片的另一圖像塊的任何CTB之前,譯碼 圖片的給定圖像塊的每一 CTB。換句話說,圖像塊掃描次序按圖像塊內(nèi)的CTB光柵掃描次 序遍歷CTB,且按圖片內(nèi)的圖像塊光柵掃描次序遍歷圖像塊。因此,視頻譯碼器譯碼圖片的 CTB的次序在將圖片分割成多個圖像塊的情況下與在不將圖片分割成多個圖像塊的情況下 可不同。下文所描述的圖10為說明在將圖片分割成多個圖像塊時的實例圖像塊掃描次序 的概念圖。
[0074] 在一些例子中,視頻譯碼器可執(zhí)行跨越圖像塊邊界但不跨越切片邊界的圖片中預(yù) 測。在其它例子中,禁止跨越圖像塊邊界和切片邊界的圖片中預(yù)測。在禁止跨越圖像塊邊 界和切片邊界的圖片中預(yù)測的例子中,視頻譯碼器可能能夠平行地譯碼多個圖像塊。
[0075] 在一些實例中,由旗標(biāo)(例如,"tile_boundary_independence_idc")控制跨越圖 像塊邊界的圖片中預(yù)測。如果旗標(biāo)等于1,那么在圖片內(nèi)不允許跨越圖像塊邊界的圖片中 預(yù)測。否則,允許跨越圖像塊邊界的圖片中預(yù)測,也為圖片邊界或切片邊界的圖像塊邊界除 夕卜。如果允許跨越圖像塊邊界的圖片中預(yù)測,那么圖像塊的功能性可為與圖片不具有圖像 塊或等效地具有僅一個圖像塊的狀況相比較來說改變CTB的掃描次序。如果不允許跨越圖 像塊邊界的圖片中預(yù)測,那么除改變CTB的掃描次序之外,圖像塊也可提供可用于圖像塊 的平行譯碼(編碼和/或解碼)的獨立分割。因此,如果將圖片分割成至少第一圖像塊和 第二圖像塊,那么在視頻解碼器30在不使用WPP的情況下解碼圖像塊時,視頻解碼器30可 平行地解碼第一圖像塊的CTB和第二圖像塊的CTB。
[0076] 在一些例子中,可將圖片分割成圖像塊、WPP波和熵切片的組合。例如,可將圖片 分割成圖像塊和WPP波的集合。在另一實例中,可將圖片分割成兩個圖像塊和一個熵切片。 允許圖片內(nèi)的圖像塊、WPP波和熵切片的組合可為有問題的,這是因為允許這些組合可增加 視頻編碼器和/或視頻解碼器的復(fù)雜度和成本。
[0077] 本發(fā)明的技術(shù)可解決上文所描述的問題。根據(jù)本發(fā)明的技術(shù),可不將圖片分割成 圖像塊、WPP波和熵切片的任何組合。換句話說,可將圖片分割成一或多個圖像塊,可將圖片 分割成WPP波,或可將圖片分割成一或多個熵切片。然而,可不將圖片分割成以下組合中的 任一者:(a)圖像塊、WPP波和熵切片、(b)圖像塊和WPP波、(c)圖像塊和熵切片或(d)WPP 波和熵切片。
[0078] 為了實現(xiàn)此情形,視頻編碼器20可在位流中包含語法元素,所述語法元素指示根 據(jù)第一譯碼模式或是第二譯碼模式來編碼圖片。在所述第一譯碼模式中,使用WPP來完整 地編碼所述圖片。即,可將圖片中的每一行CTB編碼為WPP波。在第二譯碼模式中,圖片可 具有一或多個圖像塊。此外,在所述第二譯碼模式中,可在不使用WPP的情況下編碼所述圖 片的每一圖像塊。例如,在第二譯碼模式中,視頻編碼器20可針對圖片的每一圖像塊,按跨 越CTB的行自左到右且沿圖像塊的CTB的行向下的次序順序地編碼圖像塊內(nèi)的CTB。為了 便于解釋,此語法元素可在本文中被稱作譯碼模式語法元素。
[0079] 視頻解碼器30可自包含視頻數(shù)據(jù)中的圖片的經(jīng)譯碼表示的位流剖析語法元素。 響應(yīng)于確定所述語法元素具有特定值,視頻解碼器30可使用WPP來完整地解碼所述圖片。 響應(yīng)于確定所述語法元素不具有所述特定值,視頻解碼器30可在不使用WPP的情況下解碼 所述圖片的每一圖像塊,其中圖片具有一或多個圖像塊。
[0080] 位流的各個部分可包含譯碼模式語法元素。例如,視頻編碼器20可產(chǎn)生包含譯碼 模式語法元素的SPS。在此實例中,視頻解碼器30可自位流剖析包含譯碼模式語法元素的 SPS。在另一實例中,視頻編碼器20可產(chǎn)生包含譯碼模式語法元素的PPS。在此實例中,視 頻解碼器30可自位流剖析包含譯碼模式語法元素的PPS。此外,如果根據(jù)第二譯碼模式編 碼圖片,那么位流可包含指示針對圖片是否啟用熵切片的一或多個語法元素。位流的各個 部分可包含指示針對圖片是否啟用熵切片的一或多個語法元素。例如,SPS可包含指示針 對與SPS相關(guān)聯(lián)的圖片啟用熵切片的一或多個語法元素。在另一實例中,PPS可包含指示 針對與PPS相關(guān)聯(lián)的圖片啟用熵切片的一或多個語法元素。例如,在此實例中,PPS可包含 指示參考PPS的經(jīng)譯碼切片是否可由熵切片組成的entropy_slice_enabled_flag語法元 素。
[0081] 如果圖片包含一或多個熵切片,那么與圖片的切片相關(guān)聯(lián)的每一熵切片可包含于 單一經(jīng)譯碼切片NAL單元中,而非包含于單獨NAL單元中。因此,可將熵切片定義為切片的 子集,其中熵切片的熵解碼過程獨立于相同切片中的其它熵切片。
[0082] 如上文簡要地提及,位流可包含包含經(jīng)譯碼切片的經(jīng)譯碼切片NAL單元。經(jīng)譯碼 切片可包括切片標(biāo)頭和切片數(shù)據(jù)。切片數(shù)據(jù)可包含一或多個子流。根據(jù)本發(fā)明的技術(shù),如 果在第一譯碼模式中編碼圖片(即,使用WPP來完整地編碼圖片),那么由子流中的單一者 來表示切片的CTB的每一行。如果在第二譯碼模式中編碼圖片(即,在不使用WPP的情況 下編碼圖片的每一圖像塊),那么由子流中的單一子流表示具有切片中的一或多個CTB的 圖片的每一圖像塊。
[0083] 此外,根據(jù)本發(fā)明的技術(shù),經(jīng)譯碼切片的切片標(biāo)頭可包含指示經(jīng)譯碼切片NAL單 元的切片數(shù)據(jù)內(nèi)的圖像塊、WPP波或熵切片的入口點的語法元素的集合。子流的入口點可 為子流的第一位。此外,經(jīng)譯碼切片NAL單元的切片數(shù)據(jù)內(nèi)的圖像塊、WPP波或熵切片可包 含確保圖像塊、WPP波或熵切片字節(jié)對準(zhǔn)的填補位。
[0084] 圖2為說明經(jīng)配置以實施本發(fā)明的技術(shù)的實例視頻編碼器20的框圖。出于解釋 的目的而提供圖2且不應(yīng)將圖2視為限制如本發(fā)明中廣泛地例示和描述的技術(shù)。出于解釋 的目的,本發(fā)明在HEVC譯碼的情況下描述視頻編碼器20。然而,本發(fā)明的技術(shù)可適用于其 它譯碼標(biāo)準(zhǔn)或方法。
[0085] 在圖2的實例中,視頻編碼器20包含預(yù)測處理單元100、殘余產(chǎn)生單元102、變換 處理單元104、量化單元106、反量化單元108、反變換處理單元110、重構(gòu)建單元112、濾波器 單元113、經(jīng)解碼圖片緩沖器114和熵編碼單元116。預(yù)測處理單元100包含幀間預(yù)測處理 單元121和幀內(nèi)預(yù)測處理單元126。幀間預(yù)測處理單元121包含運動估計單元122和運動 補償單元124。在其它實例中,視頻編碼器20可包含更多、更少或不同功能組件。
[0086] 視頻編碼器20可接收視頻數(shù)據(jù)。為了編碼視頻數(shù)據(jù),視頻編碼器20可編碼視頻數(shù) 據(jù)的每一圖片的每一切片。作為編碼切片的部分,視頻編碼器20可編碼切片中的每一 CTB。 作為編碼CTB的部分,預(yù)測處理單元100可對與CTB相關(guān)聯(lián)的像素塊執(zhí)行四分樹分割,以將 像素塊劃分成逐步減小的像素塊。較小像素塊可與CU相關(guān)聯(lián)。例如,預(yù)測處理單元100可 將CTB的像素塊分割成四個大小相等的子塊,將子塊中的一或多者分割成四個大小相等的 子子塊,等等。
[0087] 視頻編碼器20可編碼CTB的⑶以產(chǎn)生⑶的經(jīng)編碼表示(即,經(jīng)譯碼⑶)。視頻 編碼器20可根據(jù)z掃描次序編碼CTB的⑶。換句話說,視頻編碼器20可按左上方⑶、右 上方⑶、左下方⑶和接著右下方⑶的彼次序編碼所述⑶。在視頻編碼器20編碼經(jīng)分割 CU時,視頻編碼器20可根據(jù)z掃描次序編碼與經(jīng)分割CU的像素塊的子塊相關(guān)聯(lián)的CU。
[0088] 作為編碼⑶的部分,預(yù)測處理單元100可在⑶的一或多個TO當(dāng)中分割⑶的像素 塊。視頻編碼器20和視頻解碼器30可支持各種PU大小。假定特定CU的大小為2NX2N, 視頻編碼器20和視頻解碼器30可支持2NX 2N或NXN的PU大小以供幀內(nèi)預(yù)測,且支持 2NX 2N、2NX N、NX 2N、NX N或類似大小的對稱PU大小以供幀間預(yù)測。視頻編碼器20和視 頻解碼器30也可支持對2NX nU、2NX nD、nLX 2N和nRX 2N的PU大小的非對稱分割以供幀 間預(yù)測。
[0089] 幀間預(yù)測處理單元121可通過對⑶的每一 PU執(zhí)行幀間預(yù)測來產(chǎn)生PU的預(yù)測性 數(shù)據(jù)。PU的預(yù)測性數(shù)據(jù)可包含對應(yīng)于ro的預(yù)測性像素塊和PU的運動信息。切片可為I切 片、P切片或B切片。幀間預(yù)測單元121可取決于PU在I切片中、在P切片中或是在B切 片中而對CU的PU執(zhí)行不同操作。在I切片中,對所有PU進(jìn)行幀內(nèi)預(yù)測。因此,如果PU在 I切片中,那么幀間預(yù)測單元121不對TO執(zhí)行幀間預(yù)測。
[0090] 如果TO在P切片中,那么運動估計單元122可搜索參考圖片列表(例如,"列表 〇")中的參考圖片以查找PU的參考塊。PU的參考塊可為最緊密地對應(yīng)于PU的像素塊的像 素塊。運動估計單兀122可廣生指不含有HJ的參考塊的列表0中的參考圖片的參考圖片 索引,和指示PU的像素塊與參考塊之間的空間位移的運動向量。運動估計單元122可輸出 參考圖片索引和運動向量作為PU的運動信息。運動補償單元124可基于通過PU的運動信 息指示的參考塊而產(chǎn)生TO的預(yù)測性像素塊。
[0091] 如果PU在B切片中,那么運動估計單元122可對PU執(zhí)行單向幀間預(yù)測或雙向幀 間預(yù)測。為了對PU執(zhí)行單向幀間預(yù)測,運動估計單元122可搜索第一參考圖片列表("列 表0")或第二參考圖片列表("列表1")的參考圖片以查找PU的參考塊。運動估計單元 122可輸出以下各者作為PU的運動信息:指示參考圖片的列表0或列表1中含有參考塊的 位置的參考圖片索引、指示PU的像素塊與參考塊之間的空間位移的運動向量,和指示參考 圖片在列表0或是列表1中的預(yù)測方向指示符。
[0092] 為了對TO執(zhí)行雙向幀間預(yù)測,運動估計單元122可搜索列表0中的參考圖片以查 找PU的參考塊,且也可搜索列表1中的參考圖片以查找PU的另一參考塊。運動估計單元 122可產(chǎn)生指示參考圖片的列表0和列表1中含有參考塊的位置的參考圖片索引。另外,運 動估計單元122可產(chǎn)生指示參考塊與PU的像素塊之間的空間位移的運動向量。PU的運動 信息可包含PU的參考圖片索引和運動向量。運動補償單元124可基于通過PU的運動信息 指示的參考塊而產(chǎn)生TO的預(yù)測性像素塊。
[0093] 幀內(nèi)預(yù)測處理單元126可通過對PU執(zhí)行幀內(nèi)預(yù)測來產(chǎn)生PU的預(yù)測性數(shù)據(jù)。PU的 預(yù)測性數(shù)據(jù)可包含PU的預(yù)測性像素塊和各種語法元素。幀內(nèi)預(yù)測處理單元126可對I切 片、P切片和B切片中的PU執(zhí)行幀內(nèi)預(yù)測。
[0094] 為了對TO執(zhí)行幀內(nèi)預(yù)測,幀內(nèi)預(yù)測處理單元126可使用多個幀內(nèi)預(yù)測模式來產(chǎn)生 PU的預(yù)測性數(shù)據(jù)的多個集合。為了使用幀內(nèi)預(yù)測模式來產(chǎn)生PU的預(yù)測性數(shù)據(jù)的集合,幀 內(nèi)預(yù)測處理單元126可使樣本在與幀內(nèi)預(yù)測模式相關(guān)聯(lián)的方向上自相鄰PU的樣本塊跨越 TO的樣本塊延伸。假定PU、⑶和CTB的左到右、上到下編碼次序,那么相鄰PU可在PU的 上方、右上方、左上方或左方。幀內(nèi)預(yù)測處理單元126可使用各種數(shù)目個幀內(nèi)預(yù)測模式,例 如,33個定向幀內(nèi)預(yù)測模式。在一些實例中,幀內(nèi)預(yù)測模式的數(shù)目可取決于PU的像素塊的 大小。
[0095] 預(yù)測處理單元100可自⑶的TO的由幀間預(yù)測處理單元121產(chǎn)生的預(yù)測性數(shù)據(jù)或 PU的由幀內(nèi)預(yù)測處理單元126產(chǎn)生的預(yù)測性數(shù)據(jù)當(dāng)中選擇PU的預(yù)測性數(shù)據(jù)。在一些實例 中,預(yù)測處理單元100基于預(yù)測性數(shù)據(jù)的集合的位率/失真度量而選擇CU的PU的預(yù)測性 數(shù)據(jù)。所選定預(yù)測性數(shù)據(jù)的預(yù)測性像素塊可在本文中被稱作所選定預(yù)測性像素塊。
[0096] 殘余產(chǎn)生單元102可基于⑶的像素塊和⑶的PU的所選定預(yù)測性像素塊而產(chǎn)生 CU的殘余像素塊。例如,殘余產(chǎn)生單元102可產(chǎn)生CU的殘余像素塊,以使得殘余像素塊中 的每一樣本具有等于CU的像素塊中的樣本與CU的PU的所選定預(yù)測性像素塊中的對應(yīng)樣 本之間的差的值。
[0097] 預(yù)測處理單元100可執(zhí)行四分樹分割以將CU的殘余像素塊分割成子塊。每一未 經(jīng)劃分的殘余像素塊可與CU的不同TU相關(guān)聯(lián)。與CU的TU相關(guān)聯(lián)的殘余像素塊的大小和 位置可或可不基于⑶的PU的像素塊的大小和位置。
[0098] 因為TU的殘余像素塊的像素可包括一個明度樣本和兩個色度樣本,所以TU中的 每一者可與明度樣本的一個塊和色度樣本的兩個塊相關(guān)聯(lián)。變換處理單元104可通過將一 或多個變換應(yīng)用于與TU相關(guān)聯(lián)的殘余樣本塊而產(chǎn)生CU的每一 TU的系數(shù)塊。變換處理單 元104可將各種變換應(yīng)用于與TU相關(guān)聯(lián)的殘余樣本塊。例如,變換處理單元104可將離散 余弦變換(DCT)、方向變換或概念上類似的變換應(yīng)用于殘余樣本塊。
[0099] 量化單元106可對與TU相關(guān)聯(lián)的系數(shù)塊中的系數(shù)進(jìn)行量化。量化過程可減小與 系數(shù)中的一些或全部相關(guān)聯(lián)的位深度。例如,可在量化期間將η位系數(shù)降值舍位到m位系 數(shù),其中η大于m。量化單元106可基于與CU相關(guān)聯(lián)的量化參數(shù)(QP)值而對與CU的TU相 關(guān)聯(lián)的系數(shù)塊進(jìn)行量化。視頻編碼器20可通過調(diào)整與CU相關(guān)聯(lián)的QP值來調(diào)整應(yīng)用于與 CU相關(guān)聯(lián)的系數(shù)塊的量化的程度。
[0100] 反量化單元108和反變換處理單元110可分別將反量化和反變換應(yīng)用于系數(shù)塊以 自系數(shù)塊重構(gòu)建殘余樣本塊。重構(gòu)建單元112可將經(jīng)重構(gòu)建殘余樣本塊與來自由預(yù)測處理 單元100產(chǎn)生的一或多個預(yù)測性樣本塊的對應(yīng)樣本相加以產(chǎn)生與TU相關(guān)聯(lián)的經(jīng)重構(gòu)建樣 本塊。通過以此方式重構(gòu)建⑶的每一 TU的樣本塊,視頻編碼器20可重構(gòu)建⑶的像素塊。
[0101] 濾波器單元113可執(zhí)行解塊操作以減少與CU相關(guān)聯(lián)的像素塊中的塊偽影。經(jīng)解 碼圖片緩沖器114可在濾波器單元113對經(jīng)重構(gòu)建像素塊執(zhí)行一或多個解塊操作之后,存 儲經(jīng)重構(gòu)建像素塊。幀間預(yù)測單元121可使用含有經(jīng)重構(gòu)建像素塊的參考圖片來對其它圖 片的PU執(zhí)行幀間預(yù)測。另外,幀內(nèi)預(yù)測處理單元126可使用經(jīng)解碼圖片緩沖器114中的經(jīng) 重構(gòu)建像素塊來對與CU相同的圖片中的其它PU執(zhí)行幀內(nèi)預(yù)測。
[0102] 熵編碼單元116可自視頻編碼器20的其它功能組件接收數(shù)據(jù)。例如,熵編碼單元 116可自量化單元106接收系數(shù)塊且可自預(yù)測處理單元100接收語法元素。熵編碼單元116 可對數(shù)據(jù)執(zhí)行一或多個熵編碼操作以產(chǎn)生經(jīng)熵編碼數(shù)據(jù)。例如,熵編碼單元116可對數(shù)據(jù) 執(zhí)行以下操作:上下文自適應(yīng)性可變長度譯碼(CAVLC)操作、CABAC操作、變量到變量(V2V) 長度譯碼操作、基于語法的上下文自適應(yīng)性二進(jìn)制算術(shù)譯碼(SBAC)操作、概率區(qū)間分割熵 (PIPE)譯碼操作、指數(shù)哥倫布編碼操作或另一類型的熵編碼操作。
[0103] 視頻編碼器20可輸出包含由熵編碼單元116產(chǎn)生的經(jīng)熵編碼數(shù)據(jù)的位流。位流 可包含一系列NAL單元。NAL單元可包含經(jīng)譯碼切片NAL單元、SPS NAL單元、PPS NAL單元 等等。為了確保圖片不包含圖像塊、WPP波和熵切片的組合,位流可包含指示是否使用WPP 來完整地編碼圖片或是否在不使用WPP的情況下編碼圖片的每一圖像塊的語法元素。
[0104] 圖3為說明經(jīng)配置以實施本發(fā)明的技術(shù)的實例視頻解碼器30的框圖。出于解釋 的目的而提供圖3且圖3并不限制如本發(fā)明中廣泛地例示和描述的技術(shù)。出于解釋的目 的,本發(fā)明在HEVC譯碼的情況下描述視頻解碼器30。然而,本發(fā)明的技術(shù)可適用于其它譯 碼標(biāo)準(zhǔn)或方法。
[0105] 在圖3的實例中,視頻解碼器30包含熵解碼單元150、預(yù)測處理單元152、反量化 單元154、反變換處理單元156、重構(gòu)建單元158、濾波器單元159和經(jīng)解碼圖片緩沖器160。 預(yù)測處理單元152包含運動補償單元162和幀內(nèi)預(yù)測處理單元164。在其它實例中,視頻解 碼器30可包含更多、更少或不同功能組件。
[0106] 視頻解碼器30可接收位流。熵解碼單元150可剖析位流以自位流提取語法元素。 作為剖析位流的部分,熵解碼單元150可熵解碼位流中的經(jīng)熵編碼語法元素。預(yù)測處理單 元152、反量化單元154、反變換處理單元156、重構(gòu)建單元158和濾波器單元159可基于自 位流提取的語法元素而產(chǎn)生經(jīng)解碼視頻數(shù)據(jù)。
[0107] 位流可包括一系列NAL單元。位流的NAL單元可包含經(jīng)譯碼切片NAL單元。作為 剖析位流的部分,熵解碼單元150可自經(jīng)譯碼切片NAL單元提取語法元素且熵解碼語法元 素。經(jīng)譯碼切片中的每一者可包含切片標(biāo)頭和切片數(shù)據(jù)。切片標(biāo)頭可含有關(guān)于切片的語法 元素。切片標(biāo)頭中的語法元素可包含識別與含有切片的圖片相關(guān)聯(lián)的PPS的語法元素。
[0108] 另外,視頻解碼器30可對未經(jīng)分割⑶執(zhí)行重構(gòu)建操作。為了對未經(jīng)分割⑶執(zhí)行 重構(gòu)建操作,視頻解碼器30可對⑶的每一 TU執(zhí)行重構(gòu)建操作。通過對⑶的每一 TU執(zhí)行 重構(gòu)建操作,視頻解碼器30可重構(gòu)建與⑶相關(guān)聯(lián)的殘余像素塊。
[0109] 作為對CU的TU執(zhí)行重構(gòu)建操作的部分,反量化單元154可對與TU相關(guān)聯(lián)的系數(shù) 塊進(jìn)行反量化(即,去量化)。反量化單元154可使用與TU的CU相關(guān)聯(lián)的QP值來確定量 化的程度,且同樣地,確定反量化單元154將應(yīng)用的反量化的程度。
[0110] 在反量化單元154對系數(shù)塊進(jìn)行反量化之后,反變換處理單元156可將一或多個 反變換應(yīng)用于系數(shù)塊以便產(chǎn)生與TU相關(guān)聯(lián)的殘余樣本塊。例如,反變換處理單元156可將 反DCT、反整數(shù)變換、反卡忽南-拉維變換(KLT)、反旋轉(zhuǎn)變換、反方向變換或另一反變換應(yīng) 用于系數(shù)塊。
[0111] 如果使用幀內(nèi)預(yù)測來編碼PU,那么幀內(nèi)預(yù)測處理單元164可執(zhí)行幀內(nèi)預(yù)測以產(chǎn)生 PU的預(yù)測性樣本塊。幀內(nèi)預(yù)測處理單元164可使用幀內(nèi)預(yù)測模式來基于空間上相鄰的PU 的像素塊而產(chǎn)生TO的預(yù)測性像素塊。幀內(nèi)預(yù)測處理單元164可基于自位流剖析的一或多 個語法元素而確定PU的幀內(nèi)預(yù)測模式。
[0112] 運動補償單元162可基于自位流提取的語法元素而構(gòu)建第一參考圖片列表(列表 〇)和第二參考圖片列表(列表1)。此外,如果使用幀間預(yù)測來編碼PU,那么熵解碼單元150 可提取PU的運動信息。運動補償單元162可基于PU的運動信息而確定PU的一或多個參 考塊。運動補償單元162可基于PU的一或多個參考塊而產(chǎn)生PU的預(yù)測性像素塊。
[0113] 重構(gòu)建單元158可在可適用時,使用與⑶的TU相關(guān)聯(lián)的殘余像素塊和⑶的PU 的預(yù)測性像素塊(即,幀內(nèi)預(yù)測數(shù)據(jù)或幀間預(yù)測數(shù)據(jù))來重構(gòu)建CU的像素塊。明確地說, 重構(gòu)建單元158可將殘余像素塊的樣本與預(yù)測性像素塊的對應(yīng)樣本相加以重構(gòu)建CU的像 素塊。
[0114] 濾波器單元159可執(zhí)行解塊操作以減少與CU的像素塊相關(guān)聯(lián)的塊偽影。視頻解碼 器30可將⑶的像素塊存儲于經(jīng)解碼圖片緩沖器160中。經(jīng)解碼圖片緩沖器160可提供用 于后續(xù)運動補償、幀內(nèi)預(yù)測和呈現(xiàn)于顯示裝置(例如,圖1的顯示裝置32)上的參考圖片。 例如,視頻解碼器30可基于經(jīng)解碼圖片緩沖器160中的像素塊而對其它CU的PU執(zhí)行幀內(nèi) 預(yù)測或幀間預(yù)測操作。
[0115] 如上文所提及,視頻解碼器30可接收包含譯碼模式語法元素的位流。如果譯碼模 式語法元素具有特定值,那么譯碼模式語法元素指示使用WPP來完整地編碼圖片。在各種 實例中,譯碼模式語法元素可在位流的各個部分中。例如,SPS可包含譯碼模式語法元素。 以下表1提供包含譯碼模式語法元素("tilejnode")的SPS的實例語法。
[0116] 表1--序列參數(shù)集RBSP語法
[0117]
【權(quán)利要求】
1. 一種用于解碼視頻數(shù)據(jù)的方法,所述方法包括: 從包含所述視頻數(shù)據(jù)中的圖片的經(jīng)譯碼表示的位流剖析語法元素; 響應(yīng)于確定所述語法元素具有特定值,使用波前平行處理WPP來完整地解碼所述圖 片;以及 響應(yīng)于確定所述語法元素不具有所述特定值,在不使用WPP的情況下解碼所述圖片的 每一圖像塊,其中所述圖片具有一或多個圖像塊。
2. 根據(jù)權(quán)利要求1所述的方法,其進(jìn)一步包括從所述位流剖析包含所述語法元素的圖 片參數(shù)集。
3. 根據(jù)權(quán)利要求1所述的方法,其進(jìn)一步包括從所述位流剖析包含所述語法元素的序 列參數(shù)集。
4. 根據(jù)權(quán)利要求1所述的方法,其中所述圖片被分割成至少第一圖像塊和第二圖像 塊,且在不使用WPP的情況下解碼所述圖片的每一圖像塊包括平行地解碼所述第一圖像塊 的譯碼樹塊CTB和所述第二圖像塊的CTB。
5. 根據(jù)權(quán)利要求1所述的方法,其進(jìn)一步包括: 確定參數(shù)集包含圖像塊列數(shù)語法元素和圖像塊行數(shù)語法元素; 基于所述圖像塊列數(shù)語法元素而確定圖像塊列的指定數(shù)目,其中與所述參數(shù)集相關(guān)聯(lián) 的每一圖片的圖像塊列的數(shù)目等于圖像塊列的所述指定數(shù)目;以及 基于所述圖像塊行數(shù)語法元素而確定圖像塊行的指定數(shù)目,其中與所述參數(shù)集相關(guān)聯(lián) 的每一圖片的圖像塊行的數(shù)目等于圖像塊行的所述指定數(shù)目。
6. 根據(jù)權(quán)利要求1所述的方法,其中所述語法元素為第一語法元素,所述特定值為第 一值,且所述方法進(jìn)一步包括基于具有第二值的所述第一語法元素而確定所述圖片包含僅 一個圖像塊且所述位流包含第二語法元素,所述第二語法元素指示針對參考包含所述第一 語法元素和所述第二語法元素的參數(shù)集的所述圖片的經(jīng)編碼表示是否啟用熵切片。
7. 根據(jù)權(quán)利要求1所述的方法,其中所述位流包含經(jīng)譯碼切片NAL單元,所述經(jīng)譯碼切 片NAL單元包含所述圖片的切片的經(jīng)譯碼表示,所述經(jīng)譯碼切片NAL單元包括切片標(biāo)頭和 切片數(shù)據(jù),且所述方法進(jìn)一步包括: 至少部分基于所述語法元素而確定所述切片標(biāo)頭是否包含多個偏移語法元素;以及 響應(yīng)于確定所述切片標(biāo)頭包含所述多個偏移語法元素,使用所述多個偏移語法元素來 確定所述切片數(shù)據(jù)中的子流的入口點,其中如果所述語法元素具有所述特定值,那么由所 述子流中的單一者表示所述圖片中的CTB的每一行,且如果所述語法元素不具有所述特定 值,那么由所述子流中的單一者表示具有所述切片中的一或多個CTB的所述圖片的每一圖 像塊。
8. 根據(jù)權(quán)利要求1所述的方法,其中: 所述位流包含經(jīng)譯碼切片NAL單元,所述經(jīng)譯碼切片NAL單元包含多個子流,如果所述 語法元素具有所述特定值,那么由所述子流中的單一者表示所述圖片中的CTB的每一行, 且如果所述語法元素不具有所述特定值,那么由所述子流中的單一者表示具有所述切片中 的一或多個CTB的所述圖片的每一圖像塊, 所述方法進(jìn)一步包括至少部分基于所述語法元素而確定所述子流是否包含確保所述 子流的字節(jié)對準(zhǔn)的填補位。
9. 根據(jù)權(quán)利要求1所述的方法,其中使用WPP解碼所述圖片包括: 響應(yīng)于確定第一 CTB與所述圖片的左邊界分離單一 CTB,存儲與所述第一 CTB相關(guān)聯(lián)的 上下文變量;以及 至少部分基于與所述第一 CTB相關(guān)聯(lián)的所述上下文變量而熵解碼第二CTB的一或多個 語法元素,所述第二CTB鄰近于所述圖片的所述左邊界且比所述第一 CTB低一行CTB。
10. -種用于編碼視頻數(shù)據(jù)的方法,所述方法包括產(chǎn)生包含語法元素的位流,所述語法 元素指示是根據(jù)第一譯碼模式還是第二譯碼模式來編碼圖片, 其中在所述第一譯碼模式中,使用波前平行處理WPP來完整地編碼所述圖片, 其中在所述第二譯碼模式中,在不使用WPP的情況下編碼所述圖片的每一圖像塊,其 中所述圖片具有一或多個圖像塊。
11. 根據(jù)權(quán)利要求10所述的方法,其中產(chǎn)生所述位流包括產(chǎn)生包含所述語法元素的圖 片參數(shù)集。
12. 根據(jù)權(quán)利要求10所述的方法,其中產(chǎn)生所述位流包括產(chǎn)生包含所述語法元素的序 列參數(shù)集。
13. 根據(jù)權(quán)利要求10所述的方法,其中所述圖片被分割成至少第一圖像塊和第二圖像 塊,且所述方法進(jìn)一步包括平行地編碼所述第一圖像塊的譯碼樹塊CTB和所述第二圖像塊 的 CTB。
14. 根據(jù)權(quán)利要求10所述的方法,其中: 所述圖片是根據(jù)所述第二譯碼模式而編碼, 產(chǎn)生所述位流包括產(chǎn)生包含圖像塊列數(shù)語法元素和圖像塊行數(shù)語法元素的參數(shù)集, 圖像塊列的數(shù)目可基于所述圖像塊列數(shù)語法元素而確定,且與所述參數(shù)集相關(guān)聯(lián)的每 一圖片的圖像塊列的數(shù)目等于圖像塊列的所述數(shù)目,且 圖像塊行的數(shù)目可基于所述圖像塊行數(shù)語法元素而確定,且與所述參數(shù)集相關(guān)聯(lián)的每 一圖片的圖像塊行的數(shù)目等于圖像塊行的所述數(shù)目。
15. 根據(jù)權(quán)利要求10所述的方法,其中所述語法元素為第一語法元素,所述語法元素 指示根據(jù)所述第二譯碼模式編碼所述圖片,所述圖片被分割成單一圖像塊,且所述位流包 含第二語法元素,所述第二語法元素指示針對參考包含所述第一語法元素和所述第二語法 元素的參數(shù)集的所述圖片的經(jīng)編碼表示是否啟用熵切片。
16. 根據(jù)權(quán)利要求10所述的方法,其中: 產(chǎn)生所述位流包括產(chǎn)生包含所述圖片的切片的經(jīng)譯碼表示的經(jīng)譯碼切片NAL單元,所 述經(jīng)譯碼切片NAL單元包括切片標(biāo)頭和切片數(shù)據(jù),且 所述切片標(biāo)頭包含多個偏移語法元素,可從所述多個偏移語法元素確定所述切片數(shù)據(jù) 中的子流的入口點,其中如果所述語法元素指示在所述第一譯碼模式中編碼所述圖片,那 么由所述子流中的單一者表示所述圖片中的CTB的每一行,且如果所述語法元素指示在所 述第二譯碼模式中編碼所述圖片,那么由所述子流中的單一者表示具有所述切片中的一或 多個CTB的所述圖片的每一圖像塊。
17. 根據(jù)權(quán)利要求10所述的方法,其中產(chǎn)生所述位流包括產(chǎn)生包含多個子流的經(jīng)譯碼 切片NAL單元,如果所述語法元素指示在所述第一譯碼模式中編碼所述圖片,那么由所述 子流中的單一者表示所述圖片中的CTB的每一行,且所述子流包含確保所述子流的字節(jié)對 準(zhǔn)的填補位。
18. 根據(jù)權(quán)利要求10所述的方法,其進(jìn)一步包括使用WPP來編碼所述圖片,其中使用 WPP來編碼所述圖片包括: 響應(yīng)于確定第一 CTB與所述圖片的左邊界分離單一 CTB,存儲與所述第一 CTB相關(guān)聯(lián)的 上下文變量;以及 至少部分基于與所述第一 CTB相關(guān)聯(lián)的所述上下文變量而熵編碼第二CTB的一或多個 語法元素,所述第二CTB鄰近于所述圖片的所述左邊界且比所述第一 CTB低一行CTB。
19. 一種視頻解碼裝置,其包括經(jīng)配置以進(jìn)行以下操作的一或多個處理器: 從包含視頻數(shù)據(jù)中的圖片的經(jīng)譯碼表示的位流剖析語法元素; 響應(yīng)于確定所述語法元素具有特定值,使用波前平行處理WPP來完整地解碼所述圖 片;以及 響應(yīng)于確定所述語法元素不具有所述特定值,在不使用WPP的情況下解碼所述圖片的 每一圖像塊,其中所述圖片具有一或多個圖像塊。
20. 根據(jù)權(quán)利要求19所述的視頻解碼裝置,其中所述一或多個處理器經(jīng)配置以從所述 位流剖析包含所述語法元素的圖片參數(shù)集。
21. 根據(jù)權(quán)利要求19所述的視頻解碼裝置,其中所述一或多個處理器經(jīng)配置以從所述 位流剖析包含所述語法元素的序列參數(shù)集。
22. 根據(jù)權(quán)利要求19所述的視頻解碼裝置,其中所述圖片被分割成至少第一圖像塊和 第二圖像塊,且所述一或多個處理器經(jīng)配置以使得當(dāng)所述一或多個處理器在不使用WPP的 情況下解碼所述圖片的每一圖像塊時,所述一或多個處理器平行地解碼所述第一圖像塊的 譯碼樹塊CTB和所述第二圖像塊的CTB。
23. 根據(jù)權(quán)利要求19所述的視頻解碼裝置,其中所述一或多個處理器經(jīng)進(jìn)一步配置 以: 確定參數(shù)集包含圖像塊列數(shù)語法元素和圖像塊行數(shù)語法元素; 基于所述圖像塊列數(shù)語法元素而確定圖像塊列的指定數(shù)目,其中與所述參數(shù)集相關(guān)聯(lián) 的每一圖片的圖像塊列的數(shù)目等于圖像塊列的所述指定數(shù)目;以及 基于所述圖像塊行數(shù)語法元素而確定圖像塊行的指定數(shù)目,其中與所述參數(shù)集相關(guān)聯(lián) 的每一圖片的圖像塊行的數(shù)目等于圖像塊行的所述指定數(shù)目。
24. 根據(jù)權(quán)利要求19所述的視頻解碼裝置,其中所述語法元素為第一語法元素,所述 特定值為第一值,且所述一或多個處理器經(jīng)配置以基于具有第二值的所述第一語法元素而 確定所述圖片包含僅一個圖像塊且所述位流包含第二語法元素,所述第二語法元素指示針 對參考包含所述第一語法元素和所述第二語法元素的參數(shù)集的所述圖片的經(jīng)編碼表示是 否啟用熵切片。
25. 根據(jù)權(quán)利要求19所述的視頻解碼裝置,其中所述位流包含經(jīng)譯碼切片NAL單元,所 述經(jīng)譯碼切片NAL單元包含所述圖片的切片的經(jīng)譯碼表示,所述經(jīng)譯碼切片NAL單元包括 切片標(biāo)頭和切片數(shù)據(jù),且所述一或多個處理器經(jīng)進(jìn)一步配置以: 至少部分基于所述語法元素而確定所述切片標(biāo)頭是否包含多個偏移語法元素;以及 響應(yīng)于確定所述切片標(biāo)頭包含所述多個偏移語法元素,使用所述多個偏移語法元素來 確定所述切片數(shù)據(jù)中的子流的入口點,其中如果所述語法元素具有所述特定值,那么由所 述子流中的單一者表示所述圖片中的CTB的每一行,且如果所述語法元素不具有所述特定 值,那么由所述子流中的單一者表示具有所述切片中的一或多個CTB的所述圖片的每一圖 像塊。
26. 根據(jù)權(quán)利要求19所述的視頻解碼裝置,其中: 所述位流包含經(jīng)譯碼切片NAL單元,所述經(jīng)譯碼切片NAL單元包含多個子流,如果所述 語法元素具有所述特定值,那么由所述子流中的單一者表示所述圖片中的CTB的每一行, 且如果所述語法元素不具有所述特定值,那么由所述子流中的單一者表示具有所述切片中 的一或多個CTB的所述圖片的每一圖像塊, 所述一或多個處理器經(jīng)進(jìn)一步配置以至少部分基于所述語法元素而確定所述子流是 否包含確保所述子流的字節(jié)對準(zhǔn)的填補位。
27. 根據(jù)權(quán)利要求19所述的視頻解碼裝置,其中當(dāng)所述一或多個處理器使用WPP來解 碼所述圖片時,所述一或多個處理器: 響應(yīng)于確定第一 CTB與所述圖片的左邊界分離單一 CTB,存儲與所述第一 CTB相關(guān)聯(lián)的 上下文變量;以及 至少部分基于與所述第一 CTB相關(guān)聯(lián)的所述上下文變量而熵解碼第二CTB的一或多個 語法元素,所述第二CTB鄰近于所述圖片的所述左邊界且比所述第一 CTB低一行CTB。
28. -種包括一或多個處理器的視頻編碼裝置,所述一或多個處理器經(jīng)配置以產(chǎn)生包 含語法元素的位流,所述語法元素指示是根據(jù)第一譯碼模式還是第二譯碼模式來編碼圖 片, 其中在所述第一譯碼模式中,使用波前平行處理WPP來完整地編碼所述圖片, 其中在所述第二譯碼模式中,在不使用WPP的情況下編碼所述圖片的每一圖像塊,其 中所述圖片具有一或多個圖像塊。
29. 根據(jù)權(quán)利要求28所述的視頻編碼裝置,其中所述一或多個處理器經(jīng)配置以產(chǎn)生包 含所述語法元素的圖片參數(shù)集。
30. 根據(jù)權(quán)利要求28所述的視頻編碼裝置,其中所述一或多個處理器經(jīng)配置以產(chǎn)生包 含所述語法元素的序列參數(shù)集。
31. 根據(jù)權(quán)利要求28所述的視頻編碼裝置,其中所述圖片被分割成至少第一圖像塊和 第二圖像塊,且所述一或多個處理器經(jīng)進(jìn)一步配置以平行地編碼所述第一圖像塊的譯碼樹 塊CTB和所述第二圖像塊的CTB。
32. 根據(jù)權(quán)利要求28所述的視頻編碼裝置,其中: 所述圖片是根據(jù)所述第二譯碼模式而編碼, 所述一或多個處理器經(jīng)配置以產(chǎn)生包含圖像塊列數(shù)語法元素和圖像塊行數(shù)語法元素 的參數(shù)集, 圖像塊列的數(shù)目可基于所述圖像塊列數(shù)語法元素而確定,且與所述參數(shù)集相關(guān)聯(lián)的每 一圖片的圖像塊列的數(shù)目等于圖像塊列的所述數(shù)目,且 圖像塊行的數(shù)目可基于所述圖像塊行數(shù)語法元素而確定,且與所述參數(shù)集相關(guān)聯(lián)的每 一圖片的圖像塊行的數(shù)目等于圖像塊行的所述數(shù)目。
33. 根據(jù)權(quán)利要求28所述的視頻編碼裝置,其中所述語法元素為第一語法元素,所述 語法元素指示根據(jù)所述第二譯碼模式編碼所述圖片,所述圖片被分割成單一圖像塊,且所 述位流包含第二語法元素,所述第二語法元素指示針對參考包含所述第一語法元素和所述 第二語法元素的參數(shù)集的所述圖片的經(jīng)編碼表示是否啟用熵切片。
34. 根據(jù)權(quán)利要求28所述的視頻編碼裝置,其中: 所述一或多個處理器經(jīng)配置以產(chǎn)生包含所述圖片的切片的經(jīng)譯碼表示的經(jīng)譯碼切片 NAL單元,所述經(jīng)譯碼切片NAL單元包括切片標(biāo)頭和切片數(shù)據(jù),且 所述切片標(biāo)頭包含多個偏移語法元素,可從所述多個偏移語法元素確定所述切片數(shù)據(jù) 中的子流的入口點,其中如果所述語法元素指示在所述第一譯碼模式中編碼所述圖片,那 么由所述子流中的單一者表示所述圖片中的CTB的每一行,且如果所述語法元素指示在所 述第二譯碼模式中編碼所述圖片,那么由所述子流中的單一者表示具有所述切片中的一或 多個CTB的所述圖片的每一圖像塊。
35. 根據(jù)權(quán)利要求28所述的視頻編碼裝置,其中所述位流包括包含多個子流的經(jīng)譯碼 切片NAL單元,如果所述語法元素指示在所述第一譯碼模式中編碼所述圖片,那么由所述 子流中的單一者表示所述圖片中的CTB的每一行,且所述子流包含確保所述子流的字節(jié)對 準(zhǔn)的填補位。
36. 根據(jù)權(quán)利要求28所述的視頻編碼裝置,其中當(dāng)所述一或多個處理器使用WPP來編 碼所述圖片的每一圖像塊的所述CTB時,所述一或多個處理器: 響應(yīng)于確定第一 CTB與所述圖片的左邊界分離單一 CTB,存儲與所述第一 CTB相關(guān)聯(lián)的 上下文變量;以及 至少部分基于與所述第一 CTB相關(guān)聯(lián)的所述上下文變量而熵編碼第二CTB的一或多個 語法元素,所述第二CTB鄰近于所述圖片的所述左邊界且比所述第一 CTB低一行CTB。
37. -種視頻解碼裝置,其包括: 用于從包含視頻數(shù)據(jù)中的圖片的經(jīng)譯碼表示的位流剖析語法元素的裝置; 用于響應(yīng)于確定所述語法元素具有特定值使用波前平行處理WPP來完整地解碼所述 圖片的裝置;以及 用于響應(yīng)于確定所述語法元素不具有所述特定值在不使用WPP的情況下解碼所述圖 片的每一圖像塊的裝置,其中所述圖片具有一或多個圖像塊。
38. -種視頻編碼裝置,其包括用于產(chǎn)生包含語法元素的位流的裝置,所述語法元素指 示是根據(jù)第一譯碼模式還是第二譯碼模式來編碼圖片, 其中在所述第一譯碼模式中,使用波前平行處理WPP來完整地編碼所述圖片, 其中在所述第二譯碼模式中,在不使用WPP的情況下編碼所述圖片的每一圖像塊,其 中所述圖片具有一或多個圖像塊。
39. -種存儲指令的計算機(jī)可讀存儲媒體,所述指令在由視頻解碼裝置的一或多個處 理器執(zhí)行時配置所述視頻解碼裝置以: 從包含視頻數(shù)據(jù)中的圖片的經(jīng)譯碼表示的位流剖析語法元素; 響應(yīng)于確定所述語法元素具有特定值,使用波前平行處理WPP來完整地解碼所述圖 片;以及 響應(yīng)于確定所述語法元素不具有所述特定值,在不使用WPP的情況下解碼所述圖片的 每一圖像塊,其中所述圖片具有一或多個圖像塊。
40. -種存儲指令的計算機(jī)可讀存儲媒體,所述指令在由視頻編碼裝置的一或多個處 理器執(zhí)行時配置所述視頻編碼裝置以產(chǎn)生包含語法元素的位流,所述語法元素指示是根據(jù) 第一譯碼模式還是第二譯碼模式來編碼圖片, 其中在所述第一譯碼模式中,使用波前平行處理WPP來完整地編碼所述圖片, 其中在所述第二譯碼模式中,在不使用WPP的情況下編碼所述圖片的每一圖像塊,其 中所述圖片具有一或多個圖像塊。
【文檔編號】H04N19/46GK104054347SQ201280067184
【公開日】2014年9月17日 申請日期:2012年12月19日 優(yōu)先權(quán)日:2012年1月18日
【發(fā)明者】王益魁, 穆哈默德·蔡德·科班 申請人:高通股份有限公司