本發(fā)明大體來說涉及視頻編碼，且更具體來說涉及用于使用序列結(jié)束網(wǎng)絡(luò)抽象層單元改進(jìn)視頻編碼的技術(shù)及系統(tǒng)。

背景技術(shù)：

許多裝置及系統(tǒng)允許處理并輸出視頻數(shù)據(jù)以供消費(fèi)。數(shù)字視頻數(shù)據(jù)包含大量數(shù)據(jù)以滿足消費(fèi)者及視頻提供者的需求。舉例來說，視頻數(shù)據(jù)的消費(fèi)者期望具有高保真度、分辨率、幀速率及其類似者的最高質(zhì)量的視頻。因此，需要滿足這些需求的大量視頻數(shù)據(jù)對通信網(wǎng)絡(luò)及處理并存儲所述視頻數(shù)據(jù)的裝置添加負(fù)擔(dān)。

各種視頻編碼技術(shù)可用于壓縮視頻數(shù)據(jù)。根據(jù)一或多個視頻編碼標(biāo)準(zhǔn)執(zhí)行視頻編碼。舉例來說，視頻編碼標(biāo)準(zhǔn)包含高效率視頻編碼(HEVC)、高級視頻編碼(AVC)、動畫專家組(MPEG)編碼或其類似者。視頻編碼通常運(yùn)用利用視頻圖像或序列中存在的冗余的預(yù)測方法(例如，幀間預(yù)測、幀內(nèi)預(yù)測或其類似者)。視頻編碼技術(shù)的重要目標(biāo)是將視頻數(shù)據(jù)壓縮成使用較低位率的形式，同時避免視頻質(zhì)量的降級或使其最小化。隨著不斷演進(jìn)的視頻服務(wù)變得可用，需要具有較佳編碼效率的編碼技術(shù)。

技術(shù)實(shí)現(xiàn)要素：

在一些實(shí)施例中，描述用于使用序列結(jié)束(EOS)網(wǎng)絡(luò)抽象層(NAL)單元改進(jìn)視頻編碼的技術(shù)及系統(tǒng)。位流為一系列一或多個編碼視頻序列。編碼視頻序列(CVS)包含一系列存取單元，所述存取單元以在基礎(chǔ)層中含有隨機(jī)存取點(diǎn)圖片且具有某些性質(zhì)(如申請案中稍后詳述)的存取單元開始直到且不包含在基礎(chǔ)層中含有隨機(jī)存取點(diǎn)圖片且具有某些性質(zhì)的下一存取單元。存取單元(AU)包含一或多個編碼圖片及對應(yīng)于共享相同輸出時間的編碼圖片的控制信息。EOS NAL單元為位流中指示編碼視頻序列結(jié)束的NAL單元。舉例來說，EOS NAL單元可指示NAL單元為給定CVS的最后NAL單元。在另一實(shí)例中，EOS NAL單元可指示NAL單元為CVS的層的最后NAL單元。本文中描述用于修改解碼過程使得在含有EOS NAL單元的AU之后的AU處開始重新初始化對AU的解碼的實(shí)施例。

根據(jù)使用序列結(jié)束網(wǎng)絡(luò)抽象層單元改進(jìn)視頻編碼的至少一個實(shí)例，提供包含存取包括多個層的經(jīng)編碼視頻位流的解碼視頻數(shù)據(jù)的方法。經(jīng)編碼視頻位流包含多個存取單元。第一存取單元包含序列結(jié)束網(wǎng)絡(luò)抽象層單元，且第二存取單元包含幀內(nèi)隨機(jī)存取點(diǎn)圖片且為在解碼次序中在所述第一存取單元之后的下一后續(xù)存取單元。所述方法進(jìn)一步包含：基于所述第二存取單元為在解碼次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元，在所述第二存取單元處重新初始化解碼。

在另一實(shí)例中，提供包含經(jīng)配置以存儲視頻數(shù)據(jù)的存儲器及處理器的設(shè)備。處理器經(jīng)配置且可從存儲器存取包括多個層的經(jīng)編碼視頻位流。經(jīng)編碼視頻位流包含多個存取單元，其中第一存取單元包含序列結(jié)束網(wǎng)絡(luò)抽象層單元，且第二存取單元包含幀內(nèi)隨機(jī)存取點(diǎn)圖片。第二存取單元為在解碼次序中在所述第一存取單元之后的下一后續(xù)存取單元。處理器經(jīng)進(jìn)一步配置且可基于所述第二存取單元為在解碼次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元，在所述第二存取單元處重新初始化解碼。

在另一實(shí)例中，提供計(jì)算機(jī)可讀媒體，在其上存儲有指令，所述指令在由處理器執(zhí)行時執(zhí)行包含以下步驟的方法：存取包括多個層的經(jīng)編碼視頻位流，經(jīng)編碼視頻位流包含多個存取單元，其中第一存取單元包含序列結(jié)束網(wǎng)絡(luò)抽象層單元，且其中第二存取單元包含幀內(nèi)隨機(jī)存取點(diǎn)圖片且為在解碼次序中在所述第一存取單元之后的下一后續(xù)存取單元；及基于所述第二存取單元為在解碼次序中在所述第一存取單元的序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的下一后續(xù)存取單元，在第二存取單元處重新初始化解碼。

在另一實(shí)例中，提供設(shè)備，所述設(shè)備包含用于存取包括多個層的經(jīng)編碼視頻位流的裝置，所述經(jīng)編碼視頻位流包含多個存取單元，其中第一存取單元包含序列結(jié)束網(wǎng)絡(luò)抽象層單元，且其中第二存取單元包含幀內(nèi)隨機(jī)存取點(diǎn)圖片且為在解碼次序中在所述第一存取單元之后的下一后續(xù)存取單元。所述設(shè)備進(jìn)一步包含：用于基于所述第二存取單元為在解碼次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元，在所述第二存取單元處重新初始化解碼的裝置。

上文所描述用解碼視頻數(shù)據(jù)的所述方法、設(shè)備及計(jì)算機(jī)可讀媒體進(jìn)一步包含：基于所述第二存取單元為在解碼次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元，在所述第二存取單元處重新初始化對多個層中的每一者的解碼。

在一些方面中，所述第一存取單元在所述經(jīng)編碼視頻位流的基礎(chǔ)層中包含序列結(jié)束網(wǎng)絡(luò)抽象層單元，且所述第二存取單元在所述基礎(chǔ)層中包含幀內(nèi)隨機(jī)存取點(diǎn)圖片?；谒龅诙嫒卧谒龌A(chǔ)層中且為在解碼次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元，在所述第二存取單元處重新初始化解碼。

在一些方面中，所述第二存取單元的所述幀內(nèi)隨機(jī)存取點(diǎn)圖片包含瞬時解碼刷新圖片。在一些方面中，所述第二存取單元的所述幀內(nèi)隨機(jī)存取點(diǎn)圖片包含整潔隨機(jī)存取圖片。

在一些方面中，當(dāng)所述第二存取單元為在解碼次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元時，將所述第二存取單元的旗標(biāo)設(shè)置成一值。所述值指示在所述第二存取單元處重新初始化解碼。在一些實(shí)例中，旗標(biāo)包含NoClrasOutputFlag且所述值為1值。

在一些方面中，在所述第二存取單元處重新初始化所述解碼包含：丟棄與所述第二存取單元相關(guān)聯(lián)的一或多個隨機(jī)存取跳過前導(dǎo)圖片或一或多個跨層隨機(jī)存取跳過前導(dǎo)圖片。

在使用序列結(jié)束網(wǎng)絡(luò)抽象層單元改進(jìn)視頻編碼的另一實(shí)例中，提供處理視頻數(shù)據(jù)的方法，所述方法包含：獲得包括多個層的第一經(jīng)編碼視頻位流。所述第一經(jīng)編碼視頻位流包含多個存取單元。所述方法進(jìn)一步包含：獲得包括多個層的第二經(jīng)編碼視頻位流。所述第二經(jīng)編碼視頻位流包含多個存取單元。所述方法進(jìn)一步包含：通過組合所述第一經(jīng)編碼視頻位流中的存取單元與所述第二經(jīng)編碼視頻位流中的存取單元，且通過將序列結(jié)束網(wǎng)絡(luò)抽象層單元插入到所述第一經(jīng)編碼視頻位流的第一存取單元中，產(chǎn)生第三經(jīng)編碼視頻位流。所述第二經(jīng)編碼視頻位流的第二存取單元包含幀內(nèi)隨機(jī)存取點(diǎn)圖片且為在解碼次序中在具有序列結(jié)束網(wǎng)絡(luò)抽象層單元的所述第一存取單元之后的下一后續(xù)存取單元。所述方法進(jìn)一步包含：發(fā)射所述第三經(jīng)編碼視頻位流。基于所述第二存取單元為在解碼次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元，在所述第二存取單元處重新初始化對所述第三經(jīng)編碼視頻位流的解碼。

在另一實(shí)例中，提供包含經(jīng)配置以存儲視頻數(shù)據(jù)的存儲器及處理器的設(shè)備。處理器經(jīng)配置且可從存儲器獲得包括多個層的第一經(jīng)編碼視頻位流。所述第一經(jīng)編碼視頻位流包含多個存取單元。處理器經(jīng)進(jìn)一步配置且可從存儲器獲得包括多個層的第二經(jīng)編碼視頻位流。所述第二經(jīng)編碼視頻位流包含多個存取單元。所述處理器經(jīng)進(jìn)一步配置且可通過組合所述第一經(jīng)編碼視頻位流中的存取單元與所述第二經(jīng)編碼視頻位流中的存取單元，且通過將序列結(jié)束網(wǎng)絡(luò)抽象層單元插入到所述第一經(jīng)編碼視頻位流的第一存取單元中，產(chǎn)生第三經(jīng)編碼視頻位流。所述第二經(jīng)編碼視頻位流的第二存取單元包含幀內(nèi)隨機(jī)存取點(diǎn)圖片且為在解碼次序中在具有序列結(jié)束網(wǎng)絡(luò)抽象層單元的所述第一存取單元之后的下一后續(xù)存取單元。所述設(shè)備進(jìn)一步包含發(fā)射器。所述發(fā)射器經(jīng)配置且可發(fā)射所述第三經(jīng)編碼視頻位流?；谒龅诙嫒卧獮樵诮獯a次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元，在所述第二存取單元處重新初始化對所述第三經(jīng)編碼視頻位流的解碼。

在另一實(shí)例中，提供計(jì)算機(jī)可讀媒體，在其上存儲有指令，所述指令在由處理器執(zhí)行時執(zhí)行包含以下步驟的方法：獲得包括多個層的第一經(jīng)編碼視頻位流，所述第一經(jīng)編碼視頻位流包含多個存取單元；獲得包括多個層的第二經(jīng)編碼視頻位流，所述第二經(jīng)編碼視頻位流包含多個存取單元；通過組合所述第一經(jīng)編碼視頻位流中的存取單元與所述第二經(jīng)編碼視頻位流中的存取單元，且通過將序列結(jié)束網(wǎng)絡(luò)抽象層單元插入到所述第一經(jīng)編碼視頻位流的第一存取單元中，產(chǎn)生第三經(jīng)編碼視頻位流，其中所述第二經(jīng)編碼視頻位流的第二存取單元包含幀內(nèi)隨機(jī)存取點(diǎn)圖片且為在解碼次序中在具有所述序列結(jié)束網(wǎng)絡(luò)抽象層單元的所述第一存取單元之后的下一后續(xù)存取單元；及發(fā)射所述第三經(jīng)編碼視頻位流，其中基于所述第二存取單元為在解碼次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元，在所述第二存取單元處重新初始化對所述第三經(jīng)編碼視頻位流的解碼。

在另一實(shí)例中，提供包含用于獲得包括多個層的第一經(jīng)編碼視頻位流的裝置的設(shè)備，所述第一經(jīng)編碼視頻位流包含多個存取單元。所述設(shè)備進(jìn)一步包含用于獲得包括多個層的第二經(jīng)編碼視頻位流的裝置，所述第二經(jīng)編碼視頻位流包含多個存取單元。所述設(shè)備進(jìn)一步包含用于通過組合所述第一經(jīng)編碼視頻位流中的存取單元與所述第二經(jīng)編碼視頻位流中的存取單元，且通過將序列結(jié)束網(wǎng)絡(luò)抽象層單元插入到所述第一經(jīng)編碼視頻位流的第一存取單元中，產(chǎn)生第三經(jīng)編碼視頻位流的裝置，其中所述第二經(jīng)編碼視頻位流的第二存取單元包含幀內(nèi)隨機(jī)存取點(diǎn)圖片且為在解碼次序中在具有所述序列結(jié)束網(wǎng)絡(luò)抽象層單元的所述第一存取單元之后的下一后續(xù)存取單元。所述裝備進(jìn)一步包含用于發(fā)射所述第三經(jīng)編碼視頻位流的裝置，其中基于所述第二存取單元為在解碼次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元，在所述第二存取單元處重新初始化對所述第三經(jīng)編碼視頻位流的解碼。

上文描述用于處理視頻數(shù)據(jù)的方法、設(shè)備及計(jì)算機(jī)可讀媒體可進(jìn)一步包含：確定將解碼所述第三經(jīng)編碼視頻位流，所述第三編碼位流包含在所述第一經(jīng)編碼視頻位流中的直到且包含所述第一存取單元的所述存取單元，接著是在所述第二經(jīng)編碼視頻位流中的從所述第二存取單元開始且包含所述第二存取單元的所述存取單元。方法、設(shè)備及計(jì)算機(jī)可讀媒體進(jìn)一步包含：確定將在包含所述幀內(nèi)隨機(jī)存取點(diǎn)圖片的所述第二存取單元處重新初始化對所述第二經(jīng)編碼視頻位流的解碼，及通過組合所述第一經(jīng)編碼視頻位流中的直到且包含所述第一存取單元的所述存取單元與所述第二經(jīng)編碼視頻位流中的從所述第二存取單元開始且包含所述第二存取單元的所述存取單元，且通過將所述序列結(jié)束網(wǎng)絡(luò)抽象層單元插入到所述第一存取單元中，產(chǎn)生所述第三經(jīng)編碼視頻位流。

在一些方面中，所述第一經(jīng)編碼視頻位流及所述第二經(jīng)編碼視頻位流為相同經(jīng)編碼視頻位流，且所述第二存取單元為在解碼次序中在所述相同經(jīng)編碼視頻位流中的所述第一存取單元之后的后續(xù)存取單元。

在一些方面中，基于所述第二存取單元為在解碼次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元，在所述第二存取單元處重新初始化對所述第三經(jīng)編碼視頻位流的多個層中的每一層的解碼。

在一些方面中，將所述序列結(jié)束網(wǎng)絡(luò)抽象層單元插入到所述第三經(jīng)編碼視頻位流的基礎(chǔ)層中的所述第一存取單元中且所述第二存取單元包含所述基礎(chǔ)層中的所述幀內(nèi)隨機(jī)存取點(diǎn)圖片?；谒龅诙嫒卧谒龌A(chǔ)層中且為在解碼次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元，在所述第二存取單元處重新初始化解碼。

在一些方面中，第二存取單元的幀內(nèi)隨機(jī)存取點(diǎn)圖片包含瞬時解碼刷新圖片。在一些方面中，第二存取單元的幀內(nèi)隨機(jī)存取點(diǎn)圖片包含整潔隨機(jī)存取圖片。

在一些方面中，當(dāng)所述第二存取單元為在解碼次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元時，將所述第二存取單元的旗標(biāo)設(shè)置成一值。所述值指示在所述第二存取單元處重新初始化解碼。在一些實(shí)例中，旗標(biāo)包含NoClrasOutputFlag且所述值為值1。

在一些方面中，在所述第二存取單元處重新初始化所述解碼包含：丟棄與所述第二存取單元相關(guān)聯(lián)的一或多個隨機(jī)存取跳過前導(dǎo)圖片或一或多個跨層隨機(jī)存取跳過前導(dǎo)圖片。

發(fā)明內(nèi)容既不意欲識別所主張標(biāo)的物的關(guān)鍵或基本特征，也不意欲用于用以確定所主張標(biāo)的物的范圍的隔離。應(yīng)參考本專利的整個說明書的適當(dāng)部分、任何或全部圖式及每一權(quán)利要求來理解標(biāo)的物。

在參考以下說明書、權(quán)利要求書及隨附圖式時，上述連同其它特征及實(shí)施例將變得較顯而易見。

附圖說明

下文參考以下圖式圖來詳細(xì)描述本發(fā)明的說明性實(shí)施例：

圖1為根據(jù)一些實(shí)施例說明編碼裝置及解碼裝置的實(shí)例的框圖。

圖2為根據(jù)一些實(shí)施例的經(jīng)編碼視頻位流的圖片的實(shí)例。

圖3為根據(jù)一些實(shí)施例的經(jīng)編碼視頻位流的存取單元的實(shí)例。

圖4為根據(jù)一些實(shí)施例的經(jīng)編碼視頻位流的存取單元的另一實(shí)例。

圖5為根據(jù)一些實(shí)施例的經(jīng)編碼視頻位流的存取單元的另一實(shí)例。

圖6為根據(jù)一些實(shí)施例說明具有序列結(jié)束網(wǎng)絡(luò)抽象層單元的解碼視頻數(shù)據(jù)的過程的實(shí)施例的流程圖。

圖7為根據(jù)一些實(shí)施例說明使用序列結(jié)束網(wǎng)絡(luò)抽象層單元的處理解碼視頻數(shù)據(jù)的過程的實(shí)施例的流程圖。

圖8為根據(jù)一些實(shí)施例的經(jīng)編碼視頻位流的存取單元的實(shí)例。

圖9為根據(jù)一些實(shí)施例說明實(shí)例視頻編碼裝置的框圖。

圖10為根據(jù)一些實(shí)施例說明實(shí)例視頻解碼裝置的框圖。

具體實(shí)施方式

下文提供本發(fā)明的某些方面及實(shí)施例。這些方面及實(shí)施例中的一些可獨(dú)立地應(yīng)用且其中的一些可以組合的方式應(yīng)用，如所屬領(lǐng)域的技術(shù)人員將了解。在以下描述中，出于解釋的目的，闡明具體細(xì)節(jié)以便提供對本文發(fā)明的實(shí)施例的透徹理解。然而，將了解，可在無這些具體細(xì)節(jié)的情況下實(shí)踐各種實(shí)施例。圖及說明并非意欲為限制性。

后續(xù)描述僅提供示范性實(shí)施例，且并不意欲限制本發(fā)明的范圍、適用性或配置。確切地說，示范性實(shí)施例的后續(xù)描述將為所屬領(lǐng)域的技術(shù)人員提供用于實(shí)施示范性實(shí)施例的啟用描述。應(yīng)理解可在不脫離如隨附權(quán)利要求所闡明的本發(fā)明的精神及范圍的情況下對功能及元件的布置做出各種改變。

在以下描述給出具體細(xì)節(jié)以提供對實(shí)施例的透徹理解。然而，所屬領(lǐng)域的技術(shù)人員將理解，可在無這些具體細(xì)節(jié)的情況下實(shí)踐實(shí)施例。舉例來說，電路、系統(tǒng)、網(wǎng)絡(luò)、過程及其它組件可以框圖形式展示為組件以便不以不必要細(xì)節(jié)模糊實(shí)施例。在其它例子中，眾所周知電路、過程、算法、結(jié)構(gòu)及技術(shù)可經(jīng)展示無不必要細(xì)節(jié)以便避免模糊實(shí)施例。

此外，應(yīng)注意，個別實(shí)施例可被描述為過程，其被描繪為流程圖、作業(yè)圖、數(shù)據(jù)流程圖、結(jié)構(gòu)圖或框圖。雖然流程表可將操作闡述為順序過程，但操作中的許多操作可并行或同時地執(zhí)行。另外，可重新布置操作的次序。過程可在其操作完成時終止，但可具有圖中未包含的額外步驟。過程可對應(yīng)于方法、功能、程序、子例程、子程序等。當(dāng)過程對應(yīng)于功能時，其終止可對應(yīng)于將所述功能返回到調(diào)用功能或主功能。

術(shù)語“計(jì)算機(jī)可讀媒體”包含(但不限于)便攜式或非便攜式存儲裝置、光學(xué)存儲裝置，及能夠存儲、含有或運(yùn)載指令及/或數(shù)據(jù)的各種其它媒體。計(jì)算機(jī)可讀媒體可包含可將數(shù)據(jù)存儲于其中且不包含以無線方式或經(jīng)由有線連接傳播的載波及/或暫時電子信號的非暫時性媒體。非暫時性媒體的實(shí)例可包含但不限于磁盤或磁帶、光學(xué)存儲媒體(例如光盤(CD)或數(shù)字通用光盤(DVD))、快速存儲器、存儲器或存儲器裝置。計(jì)算機(jī)可讀媒體其上可存儲有代碼及/或機(jī)器可執(zhí)行指令，所述代碼及/或機(jī)器可執(zhí)行指令可表示程序、函數(shù)、子程序、程序、例程、子例程、模塊、軟件包、類別或指令、數(shù)據(jù)結(jié)構(gòu)或程序語句的任何組合。代碼段可通過傳遞及/或接收信息、數(shù)據(jù)、自變量、參數(shù)或存儲器內(nèi)容來耦接到另一代碼段或硬件電路。信息、自變量、參數(shù)、數(shù)據(jù)等可經(jīng)由包含存儲器共享、消息傳遞、權(quán)標(biāo)傳遞、網(wǎng)絡(luò)發(fā)射或其類似者來傳遞、轉(zhuǎn)發(fā)或發(fā)射。

此外，實(shí)施例可由硬件、軟件、固件、中間件、微碼、硬件描述語言或其任何組合來實(shí)施。當(dāng)以軟件、固件、中間件或微碼實(shí)施時，用以執(zhí)行必要任務(wù)的程式代碼或代碼段(例如，計(jì)算機(jī)程序產(chǎn)品)可被存儲在計(jì)算機(jī)可讀或機(jī)器可讀媒體中。處理器可執(zhí)行必要任務(wù)。

本文中描述使用視頻編碼器、解碼器及其它編碼處理裝置的視頻編碼的數(shù)個系統(tǒng)及方法。舉例來說，一或多種編碼的系統(tǒng)及方法是針對改進(jìn)多層編解碼器(例如使用高效率視頻編碼(HEVC)標(biāo)準(zhǔn)操作的編解碼器)中的序列結(jié)束網(wǎng)絡(luò)抽象層單元的規(guī)范的編碼的系統(tǒng)及方法。

隨著更多裝置及系統(tǒng)為消費(fèi)者提供消費(fèi)數(shù)字視頻數(shù)據(jù)的能力，對高效視頻編碼技術(shù)的需要變得更重要。需要視頻編碼以減少處置數(shù)字視頻數(shù)據(jù)中存在的大量數(shù)據(jù)所需要的存儲及發(fā)射要求?？墒褂酶鞣N視頻編碼技術(shù)來將視頻數(shù)據(jù)壓縮成使用較低位率同時維持高視頻質(zhì)量的形式。

圖1為說明包含編碼裝置104及解碼裝置112的系統(tǒng)100的實(shí)例的框圖。編碼裝置104可為源裝置的部分，且解碼裝置112可為接收裝置的部分。源裝置及/或接收裝置可包含電子裝置，例如移動或靜止電話手機(jī)(例如，智能電話、蜂窩式電話或其類似者)、桌上型計(jì)算機(jī)、膝上型或筆記型計(jì)算機(jī)、平板計(jì)算機(jī)、機(jī)頂盒、電視、相機(jī)、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺、視頻流裝置，或任何其它適合電子裝置。在一些實(shí)例中，源裝置及接收裝置可包含用于無線通信的一或多個無線收發(fā)器。本文中所描述的編碼技術(shù)適用于各種多媒體應(yīng)用中的視頻編碼，包含流視頻發(fā)射(例如，經(jīng)由因特網(wǎng))、電視廣播或發(fā)射、編碼數(shù)字視頻以供存儲在數(shù)據(jù)存儲媒體上、解碼經(jīng)存儲在數(shù)據(jù)存儲媒體上的數(shù)字視頻，或其它應(yīng)用。在一些實(shí)例中，系統(tǒng)100可支持單向或雙向視頻發(fā)射以支持例如視頻會議、視頻流、視頻播放、視頻廣播、游戲及/或視頻電話的應(yīng)用。

編碼裝置104(或編碼器)可用于使用視頻編碼標(biāo)準(zhǔn)或協(xié)議來對視頻數(shù)據(jù)進(jìn)行編碼以產(chǎn)生經(jīng)編碼視頻位流。視頻編碼標(biāo)準(zhǔn)包含ITU-T H.261、ISO/IEC MPEG-1可視化、ITU-T H.262或ISO/IEC MPEG-2可視化、ITU-T H.263、ISO/IEC MPEG-4可視化及ITU-T H.264(還稱作ISO/IEC MPEG-4AVC)，包含其可縮放視頻編碼(SVC)及多視圖視頻編碼(MVC)擴(kuò)展。ITU-T視頻編碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)的視頻編碼聯(lián)合協(xié)作團(tuán)隊(duì)(JCT-VC)已完成最新視頻編碼標(biāo)準(zhǔn)，高效率視頻編碼(HEVC)。HEVC的各種擴(kuò)展處理多層視頻編碼且也是由JCT-VC研發(fā)，包含HEVC的多視圖擴(kuò)展(稱作MV-HEVC)，及HEVC的可縮放擴(kuò)展(稱作SHVC)，或其任何其它適合編碼協(xié)議。HEVC草案規(guī)范可從http://phenix.it-sudparis.eu/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1003-v1.zip獲得。MV-HEVC的工作草案可從http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/8_Valencia/wg11/JCT3V-H1002-v5.zip獲得。SHVC的工作草案可從http://phenix.it-sudparis.eu/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1008-v2.zip獲得。

本文中描述的許多實(shí)施例使用HEVC標(biāo)準(zhǔn)或其擴(kuò)展來描述實(shí)例。然而，本文中所描述的技術(shù)及系統(tǒng)還可應(yīng)用于其它編碼標(biāo)準(zhǔn)，例如，AVC、MPEG、其擴(kuò)展，或其它適合編碼標(biāo)準(zhǔn)。因此，雖然可參考特定視頻編碼標(biāo)準(zhǔn)來描述本文中所描述的技術(shù)及系統(tǒng)，但所屬領(lǐng)域的技術(shù)人員將了解，描述不應(yīng)解釋為僅適用于特定標(biāo)準(zhǔn)。

視頻源102可將視頻數(shù)據(jù)提供至編碼裝置104。視頻源102可為源裝置的部分，或可為除源裝置外的裝置的部分。視頻源102可包含視頻捕獲裝置(例如，視頻相機(jī)、相機(jī)電話、視頻電話或其類似者)、含有所存儲視頻的視頻存檔、提供視頻數(shù)據(jù)的視頻服務(wù)器或內(nèi)容提供器、從視頻服務(wù)器或內(nèi)容提供器接收視頻的視頻饋送接口、用于產(chǎn)生計(jì)算機(jī)圖形視頻數(shù)據(jù)的計(jì)算機(jī)圖形系統(tǒng)、此些源的組合，或任何其它適合視頻源。

來自視頻源102的視頻數(shù)據(jù)可包含一或多個輸入圖片或幀。圖片或幀為是視頻的部分的靜止圖像。編碼裝置104的編碼器引擎106(或編碼器)對視頻數(shù)據(jù)進(jìn)行編碼以產(chǎn)生經(jīng)編碼視頻位流。在一些實(shí)例中，經(jīng)編碼視頻位流(或“位流”)為一系列一或多個編碼視頻序列。編碼視頻序列(CVS)包含以在基礎(chǔ)層中具有隨機(jī)存取點(diǎn)圖片且具有某些性質(zhì)的存取單元(AU)開始直到且不包含在基礎(chǔ)層中具有隨機(jī)存取點(diǎn)圖片且具有某些性質(zhì)的下一AU的一系列AU。舉例來說，開始CVS的隨機(jī)存取點(diǎn)圖片的某些性質(zhì)可包含等于1的RASL旗標(biāo)(例如，NoRaslOutputFlag)。否則，隨機(jī)存取點(diǎn)圖片(具有等于0的RASL旗標(biāo))不開始CVS。存取單元(AU)包含一或多個編碼圖片及對應(yīng)于共享相同輸出時間的編碼圖片的控制信息。舉例來說，HEVC位流可包含一或多個CVS，包含稱作網(wǎng)絡(luò)抽象層(NAL)單元的數(shù)據(jù)單元。HEVC標(biāo)準(zhǔn)中存在兩種類NAL單元，包含視頻編碼層(VCL)NAL單元及非VCL NAL單元。VCL NAL單元包含編碼圖片數(shù)據(jù)的一個切片或切片段(下文所描述)，且非VCL NAL單元包含與一或多個編碼圖片有關(guān)的控制信息。HEVC AU包含含有編碼圖片數(shù)據(jù)的VCL NAL單元及對應(yīng)于編碼圖片數(shù)據(jù)的非VCL NAL單元(如果有)。

NAL單元可含有一系列位，所述位形成視頻數(shù)據(jù)的編碼表示(例如，經(jīng)編碼視頻位流、位流的CVS，或其類似者)，例如視頻中的圖片的編碼表示。編碼器引擎106通過將每一圖片分割成多個切片來產(chǎn)生圖片的編碼表示。切片獨(dú)立于其它切片使得切片中的信息經(jīng)編碼而不相依于相同圖片內(nèi)的其它切片的數(shù)據(jù)。切片包含一或多個切片段，包含獨(dú)立切片段，且如果存在，相依于先前切片段的一或多個相依切片段。接著將切片分割成明度樣本及色度樣本的編碼樹形塊(CTB)。明度樣本的CTB及色度樣本的一或多個CTB連同樣本的語法被稱作編碼樹形單元(CTU)。CTU為HEVC編碼的基本處理單元?？蓪TU分裂成多個不同大小的編碼單元(CU)。CU含有被稱作編碼塊(CB)的明度及色度樣本陣列。

可將明度及色度CB進(jìn)一步分裂成預(yù)測塊(PB)。PB為使用相同運(yùn)動參數(shù)來進(jìn)行幀間預(yù)測的明度或色度分量的樣本的塊。明度PB及一或多個色度PB連同相關(guān)聯(lián)語法形成預(yù)測單元(PU)。在每一PU的位流中發(fā)信運(yùn)動參數(shù)集且將其用于明度PB及一或多個色度PB的幀間預(yù)測。CB還可經(jīng)分裂成一或多個變換塊(TB)。TB表示將相同二維變換應(yīng)用于其以對預(yù)測殘余信號進(jìn)行編碼的顏色分量的樣本的方形塊。變換單元(TU)表示明度及色度樣本的TB，及對應(yīng)語法元素。

CU的大小對應(yīng)于編碼節(jié)點(diǎn)的大小且為正方形形狀。舉例來說，CU的大小可為8×8個樣本、16×16個樣本、32×32個樣本、64×64個樣本，或高達(dá)對應(yīng)CTU的大小的任何其它適當(dāng)大小。短語“N×N”在本文中用于以垂直及水平尺寸方面(例如，8個像素×8個像素)指代視頻塊的像素尺寸。塊中的像素可經(jīng)布置成行及列。在一些實(shí)施例中，塊不可能在水平方向具有與在垂直方向相同數(shù)目個像素。舉例來說，與CU相關(guān)聯(lián)的語法數(shù)據(jù)可描述將CU分割成一或多個PU。分割模式可在CU為幀內(nèi)預(yù)測模式編碼或幀間預(yù)測模式編碼之間不同。PU可被分割成非正方形形狀。舉例來說，與CU相關(guān)聯(lián)的語法數(shù)據(jù)還可描述根據(jù)CTU將CU分割成一或多個TU。TU的形狀可為正方形或非正方形。

根據(jù)HEVC標(biāo)準(zhǔn)，可使用變換單元(TU)執(zhí)行變換。TU可針對不同CU不同。TU可基于給定CU內(nèi)的PU的大小而經(jīng)定大小。TU可為于PU相同大小或比PU小。在一些實(shí)例中，可使用稱作殘余四分樹(RQT)的四分樹結(jié)構(gòu)將對應(yīng)于CU的殘余樣本細(xì)分成較小單元。RQT的葉節(jié)點(diǎn)可對應(yīng)于TU?？勺儞Q與TU相關(guān)聯(lián)的像素差值以產(chǎn)生變換系數(shù)。可接著通過編碼器引擎106將變換系數(shù)量化。

一旦將視頻數(shù)據(jù)的圖片分割成CU，編碼器引擎106使用預(yù)測模式預(yù)測每一PU。接著將預(yù)測從原始視頻數(shù)據(jù)減去以獲得殘余(下文加以描述)。針對每一CU，可使用語法數(shù)據(jù)在位流內(nèi)發(fā)信預(yù)測模式。預(yù)測模式可包含幀內(nèi)預(yù)測(或圖片內(nèi)預(yù)測)或幀間預(yù)測(或圖片間預(yù)測)。使用幀內(nèi)預(yù)測，使用(例如)DC預(yù)測來找到PU的平均值、平面預(yù)測來使平面表面配合PU、方向預(yù)測來從鄰近數(shù)據(jù)外推或任何其它適合類型的預(yù)測來從相同圖片中的鄰近圖像數(shù)據(jù)預(yù)測每一PU。使用幀間預(yù)測，使用運(yùn)動補(bǔ)償預(yù)測從一或多個參考圖片(在輸出次序中在當(dāng)前圖片之前或之后)中的圖像數(shù)據(jù)預(yù)測每一PU。舉例來說，可在CU層級處作出是使用圖片間還是圖片內(nèi)預(yù)測來對圖片區(qū)域進(jìn)行編碼的決策。

PU可包含與預(yù)測過程相關(guān)的數(shù)據(jù)。舉例來說，當(dāng)使用幀內(nèi)預(yù)測對PU進(jìn)行編碼時，PU可包含描述PU的幀內(nèi)預(yù)測模式的數(shù)據(jù)。作為另一實(shí)例，當(dāng)使用幀間預(yù)測時對PU進(jìn)行編碼時，PU可包含定義PU的運(yùn)動矢量的數(shù)據(jù)。定義PU的運(yùn)動矢量的數(shù)據(jù)可(例如)描述運(yùn)動矢量的水平分量、運(yùn)動矢量的垂直分量、運(yùn)動矢量的分辨率(例如，四分之一像素精度或八分之一像素精度)、運(yùn)動矢量指向的參考圖片，及/或運(yùn)動矢量的參考圖片列表(例如，列表0、列表1或列表C)。

編碼器104可接著執(zhí)行變換及量化。舉例來說，在預(yù)測之后，編碼器引擎106可計(jì)算對應(yīng)于PU的殘余值。殘余值可包括像素差值。使用塊變換來變換在執(zhí)行預(yù)測之后可能剩余的任何殘余數(shù)據(jù)，此可能基于離散余弦變換、離散正弦變換、整數(shù)變換、小波變換或其它適合變換函數(shù)。在一些狀況下,可將一或多個塊變換(例如，大小32×32、16×16、8×8、4×4或其類似者)應(yīng)用于每一CU中的殘余數(shù)據(jù)。在一些實(shí)施例中，TU可用于由編碼器引擎106實(shí)施的變換及量化過程。具有一或多個PU的給定CU還可包含一或多個TU。如下文進(jìn)一步詳細(xì)描述，可使用塊變換將殘余值變換成變換系數(shù)，且接著使用TU將其量化并進(jìn)行掃描以產(chǎn)生序列化變換系數(shù)以供熵編碼。

在一些實(shí)施例中，在使用CU的PU的幀內(nèi)預(yù)測或幀間預(yù)測編碼之后，編碼器引擎106可計(jì)算CU的TU的殘余數(shù)據(jù)。PU可在空間域(或像素域)中包括像素?cái)?shù)據(jù)。TU可在應(yīng)用塊變換之后包括在變換域中的系數(shù)。如先前所述，殘余數(shù)據(jù)可對應(yīng)于未編碼圖片的像素與對應(yīng)于PU的預(yù)測值之間的像素差值。編碼器引擎106可形成包含關(guān)于CU的殘余數(shù)據(jù)的TU，且接著變換TU以產(chǎn)生關(guān)于CU的變換系數(shù)。

編碼器引擎106可執(zhí)行變換系數(shù)的量化。量化通過量化變換系數(shù)而提供進(jìn)一步壓縮以減少用于表示系數(shù)的數(shù)據(jù)量。舉例來說，量化可減少與系數(shù)中的一些或全部相關(guān)聯(lián)的位深度。在一個實(shí)例中，具有n位值的系數(shù)可在量化期間向下舍入到m位值，其中n大于m。

一旦執(zhí)行量化，編碼位流包含經(jīng)量化變換系數(shù)、預(yù)測信息(例如，預(yù)測模式、運(yùn)動矢量或其類似者)、分割信息及任何其它適合數(shù)據(jù)，例如，其它語法數(shù)據(jù)。可接著通過編碼器引擎106對編碼位流的不同元素進(jìn)行熵編碼。在一些實(shí)例中，編碼器引擎106可利用預(yù)定義掃描次序來掃描經(jīng)量化變換系數(shù)以產(chǎn)生可經(jīng)熵編碼的系列化矢量。在一些實(shí)例中，編碼器引擎106可執(zhí)行自適應(yīng)掃描。在掃描經(jīng)量化變換系數(shù)以形成一維矢量之后，編碼器引擎106可對一維矢量進(jìn)行熵編碼。舉例來說，編碼器引擎106可使用背景自適應(yīng)可變長度編碼、背景自適應(yīng)二進(jìn)制算法編碼、基于語法的背景自適應(yīng)二進(jìn)制算法編碼、概率區(qū)間分割熵編碼或另一熵編碼技術(shù)。

編碼裝置104的輸出110可經(jīng)由通信鏈路120將構(gòu)成經(jīng)編碼視頻數(shù)據(jù)的NAL單元發(fā)送到接收裝置的解碼裝置112。解碼裝置112的輸入114可接收NAL單元。通信鏈路120可包含使用無線網(wǎng)絡(luò)、有線網(wǎng)絡(luò)、或有線及無線網(wǎng)絡(luò)的組合來發(fā)射的信號。無線網(wǎng)絡(luò)可包含任何無線接口或無線接口的組合且可包含任何適合無線網(wǎng)絡(luò)(例如，因特網(wǎng)或其它廣域網(wǎng)、基于數(shù)據(jù)包的網(wǎng)絡(luò)、WiFi^TM、射頻(RF)、UWB、WiFi直連、蜂窩式、長期演進(jìn)(LTE)、WiMax^TM或其類似者)。有線網(wǎng)絡(luò)可包含任何有線接口(例如，光纖、以太網(wǎng)、電力線以太網(wǎng)、經(jīng)由同軸電纜的以太網(wǎng)、數(shù)字信號線(DSL)或其類似者)?？墒褂酶鞣N設(shè)備(例如，基站、路由器、接入點(diǎn)、網(wǎng)橋、網(wǎng)關(guān)、交換器或其類似者)來實(shí)施有線及/或無線網(wǎng)絡(luò)?？筛鶕?jù)通信標(biāo)準(zhǔn)(例如，無線通信協(xié)議)來調(diào)制經(jīng)編碼視頻數(shù)據(jù)，并將其發(fā)射到接收裝置。

在一些實(shí)例中，編碼裝置104可將經(jīng)編碼視頻數(shù)據(jù)存儲在存儲裝置108中。輸出110可從編碼器引擎106或從輸出110檢索經(jīng)編碼視頻數(shù)據(jù)。存儲裝置108可包含各種分散式或本地存取數(shù)據(jù)存儲媒體中的任何者。舉例來說，存儲裝置108可包含硬盤驅(qū)動、存儲盤、快閃存儲器、易失性或非易失性存儲器，或用于存儲經(jīng)編碼視頻數(shù)據(jù)的任何其它適合數(shù)字存儲媒體。

輸入114接收經(jīng)編碼視頻數(shù)據(jù)且可將視頻數(shù)據(jù)提供到解碼器引擎116或存儲裝置118以供由解碼器引擎116稍后使用。解碼器引擎116可通過熵解碼(例如，使用熵解碼器)并提取編碼視頻序列中構(gòu)成經(jīng)編碼視頻數(shù)據(jù)的元素來對經(jīng)編碼視頻數(shù)據(jù)進(jìn)行解碼。解碼器引擎116可接著重新縮放且對經(jīng)編碼視頻數(shù)據(jù)執(zhí)行反變換。接著將殘余傳遞到解碼器引擎116的預(yù)測級。解碼器引擎116接著預(yù)測像素塊(例如，PU)。在一些實(shí)例中，將預(yù)測添加到反變換的輸出。

解碼裝置112可將解碼視頻輸出到視頻目的地裝置112，所述視頻目的地裝置可包含用于向內(nèi)容的消費(fèi)者顯示經(jīng)解碼視頻數(shù)據(jù)的顯示器或其它輸出裝置。在一些方面中，視頻目的地裝置122可為包含解碼裝置112的接收裝置的部分。在一些方面中，視頻目的地裝置122可為除接收裝置外的單獨(dú)裝置的部分。

在一些實(shí)施例中，視頻編碼裝置104及/或視頻解碼裝置112可分別與音頻編碼裝置及音頻解碼裝置集成。視頻編碼裝置104及/或視頻解碼裝置112還可包含實(shí)施上文所描述的編碼技術(shù)所需的其它硬件或軟件，例如，一或多個微處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、場可編程門陣列(FPGA)、離散邏輯、軟件、硬件、固件或其任何組合。視頻編碼裝置104及視頻解碼裝置112可經(jīng)集成為相應(yīng)裝置中的組合式編碼/解碼器(編解碼器)的部分。下文參考圖9描述編碼裝置104的具體細(xì)節(jié)的實(shí)例。下文參考圖10描述解碼裝置112的具體細(xì)節(jié)的實(shí)例。

HEVC標(biāo)準(zhǔn)的擴(kuò)展包含多視圖視頻編碼擴(kuò)展(稱作MV-HEVC)，且可縮放視頻編碼擴(kuò)展(稱作SHVC)。MV-HEVC及SHVC擴(kuò)展共享分層編碼的概念，其中不同層被包含在經(jīng)編碼視頻位流中。通過唯一層識別符(ID)來尋址編碼視頻序列中的每一層。層ID可存在于NAL單元的標(biāo)頭中以識別與NAL單元相關(guān)聯(lián)的層。在MV-HEVC中，不同層通常表示視頻位流中的相同場景的不同視圖。在SHVC中，提供以不同空間分辨率(或圖片分辨率)或以不同重構(gòu)保真度表示視頻位流的不同可縮放層。可縮放層可包含基礎(chǔ)層(具有層ID＝0)及一或多個增強(qiáng)層(具有層ID＝1、2、…，n)?；A(chǔ)層可符合HEVC的第一版本的簡檔且表示位流中最低可用層。如與基礎(chǔ)層相比，增強(qiáng)層已使空間分辨率、時間分辨率或幀速率及/或重構(gòu)保真度(或質(zhì)量)增加。增強(qiáng)層可經(jīng)分層組織且可(或可不)相依于下部層。在一些實(shí)例中，可使用單個標(biāo)準(zhǔn)編解碼器來對不同層進(jìn)行編碼(例如，使用HEVC、SHVC或其它編碼標(biāo)準(zhǔn)來對所有層進(jìn)行編碼)。在一些實(shí)例中，可使用多標(biāo)準(zhǔn)編解碼器來對不同層進(jìn)行編碼。舉例來說，可使用AVC來對基礎(chǔ)層進(jìn)行編碼，而可使用HEVC標(biāo)準(zhǔn)的SHVC及/或MV-HEVC擴(kuò)展來對一或多個增強(qiáng)層進(jìn)行編碼。

一般來說，層包含一組VCL NAL單元及一組對應(yīng)的非VCL NAL單元。NAL單元經(jīng)指派特定層ID值。在層可相依于下部層的意義上，層可為分層的。層組是指位流內(nèi)表示的自足式的一組層，意味著層組內(nèi)的層可在解碼過程中相依于層組中的其它層，但不相依于用于解碼的任何其它層。因此，層組中的層可形成可表示視頻內(nèi)容的獨(dú)立位流。層組中的所述組的層可通過副位流提取過程的操作從另一位流獲得。層組可對應(yīng)于在解碼器想要根據(jù)某些參數(shù)操作時將被解碼的所述組的層。

如先前所描述，HEVC位流包含一群組NAL單元，包含VCL NAL單元及非VCL NAL單元。除其它信息外，非VCL NAL單元還可含有具有與經(jīng)編碼視頻位流有關(guān)的高級信息的參數(shù)集。舉例來說，參數(shù)集可包含視頻參數(shù)集(VPS)、序列參數(shù)集(SPS)及圖片參數(shù)集(PPS)。參數(shù)集的目標(biāo)為比特?cái)?shù)列效率、誤差彈性及提供系統(tǒng)層接口。每一切片參考單個作用中PPS、SPS及VPS以存取解碼裝置112可用于解碼切片的信息。識別符(ID)可針對每一參數(shù)集(包含VPS ID、SPS ID及PPS ID)經(jīng)編碼。SPS包含SPS ID及VPS ID。PPS包含PPS ID及SPS ID。每一切片標(biāo)頭包含PPS ID。使用所述ID，可針對給定切片識別作用中參數(shù)集。

PPS包含適用于給定圖片中的所有切片的信息。由于上述情況，因此圖片中的所有切片是指相同PPS。不同圖片中的切片還可是指相同PPS。SPS包含適用于相同編碼視頻序列或位流中的所有圖片的信息。編碼視頻序列為一系列存取單元，所述系列存取單元以隨機(jī)存取點(diǎn)圖片(例如，瞬時解碼刷新(IDR)圖片或斷鏈存取(BLA)圖片，或其它適當(dāng)隨機(jī)存取點(diǎn)圖片)開始，且包含直到但不包含下一隨機(jī)存取點(diǎn)圖片(或位流的結(jié)束)的所有存取單元。SPS中的信息通常不會在編碼視頻序列內(nèi)逐圖片改變。編碼視頻序列中的所有圖片使用相同SPS。VPS包含適用于編碼視頻序列或位流內(nèi)的所有層的信息。VPS包含具有適用于整個編碼視頻序列的語法元素的語法結(jié)構(gòu)。在一些實(shí)施例中，可隨編碼位流帶內(nèi)發(fā)射VPS、SPS或PPS。在一些實(shí)施例中，與含有編碼視頻數(shù)據(jù)的NAL單元相比，可以單獨(dú)發(fā)射帶外發(fā)射VPS、SPS或PPS。

VCL NAL單元包含形成經(jīng)編碼視頻位流的編碼圖片數(shù)據(jù)。各種類型的VCL NAL單元經(jīng)定義于HEVC標(biāo)準(zhǔn)中，如下文在表A中所說明。

表A

在單層位流中，如第一HEVC標(biāo)準(zhǔn)中所定義，AU中含有的VCL NAL單元具有相同NAL單元類型值，其中NAL單元類型值定義AU的類型及AU內(nèi)的編碼圖片的類型。舉例來說，特定AU的VCL NAL單元可包含瞬時解碼刷新(IDR)NAL單元(值19)，使AU成為ID RAU且AU的編碼圖片成為IDR圖片。VCL NAL單元的給定類型與VCL NAL單元中所含有的圖片或其部分(例如，VCL NAL單元中的圖片的切片或切片段)有關(guān)。三個種類的圖片經(jīng)定義在HEVC標(biāo)準(zhǔn)中，包含前導(dǎo)圖片、尾部圖片及幀內(nèi)隨機(jī)存取(IRAP)圖片。在多層位流中，AU內(nèi)的圖片的VCL NAL單元具有相同NAL單元類型值及相同類型的編碼圖片。舉例來說，含有IDR類型的VCL NAL單元的圖片被認(rèn)為是AU中的IDR圖片。在另一實(shí)例中，當(dāng)AU含有為基礎(chǔ)層(層ID等于0)的IRAP圖片的圖片時，AU為IRAP AU。

圖2為包含IRAP圖片I1及與IRAP圖片I1相關(guān)聯(lián)的前導(dǎo)及尾部圖片的經(jīng)編碼視頻位流的圖片的實(shí)例。在箭頭202的方向上以輸出次序線性顯示圖片，且編號1到8(I1、B2、B3、B4、P5、B6、B7、B8)指示圖片的解碼次序。IRAP圖片提供位流中解碼可開始的點(diǎn)。舉例來說，解碼可在IRAP圖片處開始使得即使將在解碼次序中在IRAP圖片之前的所有圖片從位流丟棄(例如，由于位流拼接或其類似者)，仍可輸出在輸出次序中在IRAP圖片之后的圖片(包含IRAP圖片)。由于可能在IRAP圖片處開始解碼，因此IRAP圖片不相依于位流中的任何其它圖片。舉例來說，IRAP圖片屬于時間子層0且經(jīng)編碼而無需使用任何其它圖片的內(nèi)容作為參考數(shù)據(jù)(例如，使用幀內(nèi)預(yù)測)。位流的第一圖片為IRAP圖片，且其它IRAP圖片也可存在于位流中。在多層位流中，具有大于0的層ID的IRAP圖片(除基礎(chǔ)層外的層)可使用層間預(yù)測。舉例來說，IRAP圖片可基于屬于相同存取單元且具有下部層ID的圖片而使用層間預(yù)測。

圖片B2、B3及B4包含IRAP圖片I1的前導(dǎo)圖片。前導(dǎo)圖片為在解碼次序中在IRAP圖片之后但在輸出次序中在IRAP圖片之前的圖片。如圖2中所說明，前導(dǎo)圖片B2、B3及B4為在解碼次序中在IRAP圖片I1之后，且在輸出次序中在IRAP圖片I1之前。在一些實(shí)施例中，前導(dǎo)圖片使用上文表A中所展示的前導(dǎo)圖片NAL單元類型6到9中的一者。

圖片P5、B6、B7及B8包含IRAP圖片I1的尾部圖片。尾部圖片為在解碼次序及輸出次序中在IRAP圖片之后的圖片。如在圖2中所說明，尾部圖片P5、B6、B7及B8在解碼次序中且還在輸出次序中在IRAP圖片I1之后。尾部圖片使用上文表A中所展示的尾部圖片NAL單元類型0到5中的一者。

前導(dǎo)圖片及尾部圖片為與解碼次序中最近IRAP圖片(圖2中的圖片I1)相關(guān)聯(lián)。在一些實(shí)施例中，IRAP圖片及其相關(guān)聯(lián)尾部及前導(dǎo)圖片的解碼次序是基于關(guān)于前導(dǎo)及尾部圖片的某些條件而定義。舉例來說，尾部圖片相依于相同IRAP圖片的相關(guān)聯(lián)IRAP圖片及其它尾部圖片。與IRAP圖片相關(guān)聯(lián)的尾部圖片不相依于任何前導(dǎo)圖片，且也不相依于先前IRAP圖片的任何尾部圖片。與IRAP圖片相關(guān)聯(lián)的前導(dǎo)圖片在與相同IRAP圖片相關(guān)聯(lián)的尾部圖片之前(在解碼次序中)?；谶@些條件，及此處未列出的類似其它條件，IRAP圖片I1的解碼次序及其相關(guān)聯(lián)尾部且前導(dǎo)圖片為IRAP圖片I1，接著是尾部圖片B2、B3、B4，接著是前導(dǎo)圖片P5、B6、B7、B8。

各種類型的尾部圖片、前導(dǎo)圖片及IRAP圖片為可用的。舉例來說，尾部圖片包含時間子層存取(TSA)圖片、步進(jìn)式時間子層存取(STSA)圖片，及普通尾部圖片(TRAIL)。TSA圖片指示可發(fā)生切換直到任何較高子層的時間子層切換點(diǎn)。STSA圖片指示對具有與STSA圖片相同的時間層識別符的子層可發(fā)生切換的時間子層切換點(diǎn)。TSA及STSA圖片屬于具有大于0的時間識別符的時間子層。TRAIL圖片可屬于任何時間子層，且不指示時間子層切換點(diǎn)。在多層位流中，屬于具有大于0的層ID的層的STSA圖片也可屬于時間子層，其中時間子層等于0。

前導(dǎo)圖片類型包含隨機(jī)存取可解碼前導(dǎo)(RADL)圖片及隨機(jī)存取跳過前導(dǎo)(RASL)圖片。RADL圖片為當(dāng)在與RADL圖片相關(guān)聯(lián)的IRAP圖片處執(zhí)行隨機(jī)存取時可解碼的前導(dǎo)圖片。在一些實(shí)施例中，出于預(yù)測目的，RADL圖片僅參考相關(guān)聯(lián)IRAP圖片及也與所述IRAP圖片相關(guān)聯(lián)的其它RADL圖片。RASL圖片為可在從相關(guān)聯(lián)IRAP圖片執(zhí)行隨機(jī)存取時不可解碼的前導(dǎo)圖片。RASL圖片在RASL圖片用于參考的圖片在解碼次序中在IRAP圖片之前時不可解碼。由于在IRAP圖片處執(zhí)行隨機(jī)存取的解碼器將不對在解碼次序中在IRAP圖片之前的圖片進(jìn)行解碼，且因此也將不對RASL圖片進(jìn)行解碼，因此RASL圖片不可解碼。RASL圖片可參考其它類型的圖片(例如，IRAP圖片、其它RASL圖片、RADL圖片，或其類似者)。在一些實(shí)例中，僅RASL圖片可相依于其它RASL圖片，在所述狀況下取決于RASL圖片的每一圖片為RASL圖片。

不同類型的IRAP圖片用于編碼視頻數(shù)據(jù)，包含瞬時解碼刷新(IDR)圖片、整潔隨機(jī)存取(CRA)圖片及斷鏈存取(BLA)圖片。IDR圖片為在解碼器處完全刷新或重新初始化解碼過程且開始新CVS的幀內(nèi)圖片(I-圖片)。在一些實(shí)例中，IDR圖片及在解碼次序中在IDR圖片之后的任何圖片無法相依于在解碼次序中在IDR圖片之前的任何圖片。在一些狀況下，并不允許RASL圖片與IDR圖片相關(guān)聯(lián)。CRA圖片也為I-圖片。CRA圖片不刷新解碼器且不開始新CVS，從而允許CRA圖片的前導(dǎo)圖片相依于在解碼次序中在CRA圖片之前的圖片。在一些實(shí)例中，CRA圖片可具有相關(guān)聯(lián)RADL圖片及RASL圖片。可通過以下操作在CRA圖片處進(jìn)行隨機(jī)存?。航獯aCRA圖片、與CRA圖片相關(guān)聯(lián)的不相依于在解碼次序中在CRA圖片之前的任何圖片的前導(dǎo)圖片，及在解碼及輸出次序兩者中在CRA之后的所有相關(guān)聯(lián)圖片。在一些狀況下，CRA圖片可不具有相關(guān)聯(lián)前導(dǎo)圖片。在多層狀況下，屬于具有大于0的層ID的層的IDR或CRA圖片可為P圖片或B圖片，但這些圖片可僅使用來自術(shù)語與IDR或CRA圖片相同的存取單元的且具有小于含有IDR或CRA圖片的層的層ID的其它圖片的層間預(yù)測。

IRAP圖片提供將位流拼接在一起的能力。舉例來說，編碼器、位流編輯器(或“編輯器”)、拼接器或其它網(wǎng)絡(luò)裝置可使用IRAP圖片將位流拼接在一起。位流拼接允許從一個經(jīng)壓縮視頻位流無縫切換到另一經(jīng)壓縮視頻位流。舉例來說，通過用第二經(jīng)壓縮位流的第二IRAP AU及后續(xù)AU來替換第一經(jīng)壓縮位流的第一IRAP AU及所有后續(xù)AU來發(fā)生拼接。CRA圖片可用于拼接經(jīng)壓縮視頻位流(如先前所描述，除隨機(jī)存取外)。舉例來說，第一IRAP AU及第二IRAP AU可包含CRA圖片。在一些實(shí)施例中，IDR圖片可用于拼接經(jīng)壓縮視頻位流。在一些狀況下，第一AU應(yīng)含有IRAP圖片并非必需的。在多層位流中，當(dāng)?shù)诙嗀U含有屬于基礎(chǔ)層的IRAP圖片時可發(fā)生拼接。

在一些狀況下，在拼接發(fā)生之后，在解碼次序中在CRA圖片之后的RASL圖片在RASL圖片參考在拼接之后不再位于位流中的一或多個圖片的情況中不可解碼。在一些實(shí)例中，編碼器、編輯器、拼接器或其它裝置可在拼接期間丟棄RASL圖片。在其它實(shí)例中，斷鏈拼接選項(xiàng)可用于指示圖片次序計(jì)數(shù)時間線，以及從在RASL圖片可相依于的CRA圖片(在解碼次序中)之前的圖片非預(yù)測在拼接進(jìn)行時中斷。

第三類型的IRAP圖片(稱作BLA圖片)用于告知解碼器拼接操作已發(fā)生的時間使得解碼器可確定是否應(yīng)解碼相關(guān)聯(lián)RASL圖片。在拼接期間，用于拼接的新位流中的CRA圖片被視為BLA圖片。當(dāng)執(zhí)行斷鏈拼接時，可保持RASL圖片，且遇到此BLA圖片的解碼器可丟棄與BLA圖片相關(guān)聯(lián)的RASL圖片。在解碼器遇到CRA圖片的情況下，解碼器將解碼與CRA圖片相關(guān)聯(lián)的RASL圖片。當(dāng)解碼器遇到BLA圖片或CRA圖片時，解碼器將分別解碼與BLA及CRA圖片相關(guān)聯(lián)的所有RADL圖片。BLA圖片刷新或重新初始化解碼器處的解碼過程且開始新CVS。在一些實(shí)施例中，甚至在尚未發(fā)生拼接時可使用BLA圖片。

發(fā)送位流到解碼器的編碼器、編輯器或其它裝置可向解碼器指示CRA圖片將被處置為BLA圖片。在一個實(shí)例中，在拼接期間，用于拼接的新位流中的CRA圖片被重命名為BLA圖片。舉例來說，裝置(編輯器、拼接器或其它網(wǎng)絡(luò)實(shí)體)可將CRA NAL單元類型改變成BLA NAL單元類型。在此例子中，裝置改變位流的位以改變NAL單元類型。

在另一實(shí)例中，可提供向解碼器指示CRA圖片將被處置為BLA圖片的BLA旗標(biāo)。在一個實(shí)例中，BLA旗標(biāo)可HandleCraAsBlaFlag。BLA旗標(biāo)可經(jīng)設(shè)置為特定值以告知解碼器將特定CRA圖片處置為BLA圖片。在一些實(shí)施例中，BLA旗標(biāo)可經(jīng)設(shè)置為值1以向解碼器指示CRA圖片將被處置為BLA圖片。在BLA旗標(biāo)的值為0的情況下，解碼器將把CRA圖片處理為CRA圖片(且非BLA圖片)。在其它實(shí)施例中，BLA旗標(biāo)可經(jīng)設(shè)置為值0以指示CRA圖片將被處置為BLA圖片。在一些狀況下，BLA旗標(biāo)是隨經(jīng)編碼視頻位流帶內(nèi)發(fā)送(例如，由一或多個非VCL NAL單元中的HEVC編解碼器發(fā)送)。在一些狀況下，BLA旗標(biāo)為可由除提供經(jīng)編碼視頻位流的編解碼器外的裝置發(fā)送的外部規(guī)定的指示。舉例來說，外部源(例如，AVC編解碼器、編輯器、拼接器或其它裝置)可以帶外通信發(fā)送BLA旗標(biāo)。

圖3說明具有BLA旗標(biāo)的經(jīng)編碼視頻位流300的實(shí)例。經(jīng)編碼視頻位流300包含存取單元N到N+9。存取單元N到N+9在第一層L0(例如，具有層ID＝0)及第二層L1(例如，具有層ID＝1)包含各種圖片。在一些實(shí)施例中，第一層L0可包含基礎(chǔ)層，且第二層L1可包含增強(qiáng)層。存取單元N到N+9是以解碼次序進(jìn)行說明，如由箭頭302所指示。存取單元N、N+1、N+2、N+5、N+7、N+8及N+9含有層L0及L1兩者中的尾部圖片。存取單元N+3及N+4在層L0中包含前導(dǎo)圖片且在層L1中包含尾部圖片。前導(dǎo)圖片可包含RASL圖片。存取單元N+6在層0中包含尾部圖片且在層L1中包含CRA圖片。存取單元N+2在層L0中包含具有經(jīng)設(shè)定為值1的BLA旗標(biāo)的CRA圖片且在層L1中包含尾部圖片。在接收并解碼位流300時，解碼器可將N+2存取單元中的CRA圖片處理為BLA圖片。

重新初始化旗標(biāo)可向解碼器指示在IRAP AU的特定IRAP圖片處刷新或重新初始化解碼過程。在一個實(shí)例中，重新初始化旗標(biāo)可為NoClrasOutputFlag。在一些實(shí)施例中，重新初始化旗標(biāo)可致使跨越經(jīng)編碼視頻位流的所有層重新初始化解碼?？蓪⒅匦鲁跏蓟鞓?biāo)導(dǎo)出為向解碼器指示重新初始化解碼過程的特定值。在一些實(shí)施例中，用于重新初始化旗標(biāo)的值1可向解碼器指示將重新初始化解碼過程。在重新初始化旗標(biāo)的值由解碼器導(dǎo)出為0的情況下，解碼器將繼續(xù)參考在解碼次序中較早出現(xiàn)且在IRAP AU之前經(jīng)解碼的圖片(例如，當(dāng)解碼RASL圖片、跨層RASL圖片，或其類似者時)。在其它實(shí)施例中，用于重新初始化旗標(biāo)的值0可指示將重新初始化解碼。在一些狀況下，重新初始化旗標(biāo)可由解碼器導(dǎo)出作為解碼過程的部分。舉例來說，重新初始化旗標(biāo)可經(jīng)提供在經(jīng)編碼視頻位流中。在一些狀況下，重新初始化旗標(biāo)可由外部源規(guī)定到解碼器。舉例來說，重新初始化旗標(biāo)可獨(dú)立于經(jīng)編碼視頻位流以帶外通信提供。外部源可包含編碼器(使用除HEVC協(xié)議外的編碼協(xié)議)、解碼器(使用除HEVC協(xié)議外的編碼協(xié)議)、編輯器、拼接器，或提供重新初始化旗標(biāo)的其它網(wǎng)絡(luò)裝置。在一個實(shí)例中，解碼器(使用除HEVC協(xié)議外的編碼協(xié)議)可解碼重新初始化旗標(biāo)，且可將重新初始化旗標(biāo)提供到HEVC解碼器。

解碼器可確定重新初始化旗標(biāo)的值，且可基于所確定值而重新初始化解碼過程。解碼器可通過以下步驟來重新初始化解碼過程：開始新預(yù)測邊界，以在IRAP AU處的圖片開始且以在解碼次序中在IRAP AU之后的圖片繼續(xù)。在一些狀況下，在解碼次序中在IRAP AU之前的圖片在重新初始化解碼過程之后不可用于供參考。舉例來說，解碼器可在IRAP AU處重新初始化解碼過程且丟棄在解碼次序中在IRAP AU之前的所有圖片。在其它狀況下，至少部分地通過丟棄一或多個RASL圖片或一或多個跨層隨機(jī)存取跳過前導(dǎo)(CL-RAS)圖片來執(zhí)行重新初始化。CL-RAS圖片為與IRAP AU相關(guān)聯(lián)且屬于具有大于0的層ID的層(除基礎(chǔ)層外的層)的圖片。在一些狀況下，當(dāng)解碼從IRAP AU開始或重新初始化時，CL-RAS圖片可不能正確解碼。CL-RAS圖片在此些狀況下可不能正確解碼，此是因?yàn)檫@些圖片中的一或多者可參考(直接地或間接地)在解碼次序中在IRAP AU之前且因此不可用的圖片。

在一些實(shí)施例中，當(dāng)BLA旗標(biāo)經(jīng)設(shè)置為指示屬于基礎(chǔ)層的CRA圖片將被處置為BLA圖片(如圖3中所說明)的值時，重新初始化旗標(biāo)由解碼器導(dǎo)出為指示在含有經(jīng)處理為BLA圖片的CRA圖片的IRAP AU處重新初始化解碼過程的值。舉例來說，在確定存取單元N+2包含具有經(jīng)設(shè)置為1的BLA旗標(biāo)的CRA圖片(向解碼器指示將CRA圖片處置為BLA圖片)時，解碼器將在N+2存取單元處將重新初始化旗標(biāo)導(dǎo)出為等于1。在此些實(shí)施例中，解碼器將基于CRA圖片的BLA旗標(biāo)被設(shè)置為1的確定而在N+2存取單元處重新初始化解碼過程。

在一些實(shí)施例中，AU可含有序列結(jié)束(EOS)NAL單元。在一些實(shí)例中，可將EOS NAL單元插入到位流中以指示NAL單元作為特定CVS的最后NAL單元。在一些實(shí)例中，可在具體層基礎(chǔ)上使用EOS NAL單元。在此些實(shí)例中，EOS NAL單元可經(jīng)指派層識別符(ID)。經(jīng)指派特定層ID的EOS NAL單元用于指示NAL單元作為層ID也被指派到特定層的序列的結(jié)束。在一些狀況下，緊在具有EOS NAL單元的存取單元之后的存取單元含有IRAP圖片。

圖4說明具有EOS NAL單元及在解碼次序中在EOS NAL單元之后的CRA圖片的經(jīng)編碼視頻位流400的實(shí)例。經(jīng)編碼視頻位流400包含存取單元N到N+9。存取單元N到N+9在第一層L0(例如，具有層ID＝0)及第二層L1(例如，具有層ID＝1)包含各種圖片。在一些實(shí)施例中，第一層L0可包含基礎(chǔ)層，且第二層L1可包含增強(qiáng)層。存取單元N到N+9是以解碼次序進(jìn)行說明，如由箭頭402所指示。存取單元N、N+1、N+5、N+7、N+8及N+9含有層L0及L1兩者中的尾部圖片。存取單元N+3及N+4在層L0中包含前導(dǎo)圖片且在層L1中包含尾部圖片。前導(dǎo)圖片可包含RASL圖片。存取單元N+2在層L0中包含CRA圖片且在層L1中包含尾部圖片。存取單元N+6在層L0中包含尾部圖片且在層L1中包含CRA圖片。除了存取單元N+1中的尾部圖片外，還將EOS NAL單元插入到存取單元N+1中以指示NAL單元序列的結(jié)束(例如，整個CVS的結(jié)束，或?qū)覮0的序列的結(jié)束)。

圖5說明具有EOS NAL單元及在解碼次序中在EOS NAL單元之后的IDR圖片的經(jīng)編碼視頻位流500的另一實(shí)例。經(jīng)編碼視頻位流500包含存取單元N到N+9。存取單元N到N+9在第一層L0(例如，具有層ID＝0)及第二層L1(例如，具有層ID＝1)包含各種圖片。在一些實(shí)施例中，第一層L0可包含基礎(chǔ)層，且第二層L1可包含增強(qiáng)層。存取單元N到N+9是以解碼次序進(jìn)行說明，如由箭頭502所指示。存取單元N、N+1、N+3、N+4、N+8及N+9含有層L0及L1兩者中的尾部圖片。存取單元N+6及N+7在層L0中包含尾部圖片且在層L1中包含前導(dǎo)圖片。前導(dǎo)圖片可包含RASL圖片。存取單元N+2在層L0中包含IDR圖片且在層L1中包含尾部圖片。存取單元N+5在層L0中包含尾部圖片且在層L1中包含CRA圖片。除了存取單元N+1中的尾部圖片外，還將EOS NAL單元插入到存取單元N+1中以指示NAL單元序列的結(jié)束(例如，整個CVS的結(jié)束，或?qū)覮0的序列的結(jié)束)。

在EOS NAL單元之后的IRAP圖片應(yīng)被處理為新解碼過程的開始，且重新初始化旗標(biāo)應(yīng)被導(dǎo)出為指示解碼將經(jīng)重新初始化的值。然而，根據(jù)HEVC標(biāo)準(zhǔn)，當(dāng)IRAP圖片(例如，CRA圖片或IDR圖片)在EOS NAL單元之后時，重新初始化旗標(biāo)未被解碼器導(dǎo)出為等于1。舉例來說，如上文關(guān)于圖3所描述，當(dāng)具有層ID(例如，nuh_layer_id)等于0的CRA圖片具有值為1的BLA旗標(biāo)，將重新初始化旗標(biāo)導(dǎo)出為等于1。然而，如圖4及圖5中所說明，當(dāng)具有層ID等于0的CRA圖片或IDR圖片為在解碼次序中繼EOS NAL單元之后的第一圖片(如由存取單元N+2的CRA圖片所說明)，針對CRA圖片或IDR圖片，重新初始化旗標(biāo)的值為被導(dǎo)出為等于1。

此外，使用EOS NAL單元的一個目的為指示時間預(yù)測鏈的終止。舉例來說，如圖5中所說明，N+1存取單元中的EOS NAL單元實(shí)現(xiàn)位流500中的拼接點(diǎn)的指示。在一些實(shí)例中，N+2存取單元中的IDR圖片的旗標(biāo)的值可經(jīng)設(shè)置以指示拼接點(diǎn)。然而，如果旗標(biāo)未經(jīng)設(shè)置成指示重新初始化層，且重新初始化旗標(biāo)未經(jīng)導(dǎo)出為等于指示將重新初始化解碼的值(其未跟進(jìn)當(dāng)前HEVC標(biāo)準(zhǔn))，那么時間預(yù)測鏈將未被解碼器重新初始化。

本文中所描述的實(shí)施例包含：修改解碼過程使得當(dāng)IRAP圖片在EOS NAL單元之后時，解碼器將導(dǎo)出重新初始化旗標(biāo)為指示在IRAP圖片處重新初始化解碼的值。IRAP圖可包含CRA圖片(如圖4中所展示)或IDR圖片(如圖5中所展示)。解碼器可跨越在含有在解碼次序中在EOS NAL單元之后的IRAP圖片的存取單元處開始的層中的一些或全部層重新初始化解碼。

在一些實(shí)例中，針對為在解碼次序中繼EOS NAL單元之后的第一圖片的CRA圖片，重新初始化旗標(biāo)的值經(jīng)導(dǎo)出為等于1(指示解碼過程的重新初始化)。在一些狀況下，針對為在解碼次序中繼EOS NAL單元之后的第一圖片的具有等于0的層ID的CRA圖片，重新初始化旗標(biāo)的值可被導(dǎo)出為1。在此些實(shí)例中，經(jīng)含于在解碼次序中在EOS NAL單元之后的第一IRAP AU中的CRA圖片(例如，針對任何層ID或具有等于0的層ID)及具有等于1的BLA旗標(biāo)的CRA圖片將由解碼器以與解碼器處置BLA圖片相同的方式處置。在一些實(shí)例中，可針對所有層重新初始化解碼。在其它實(shí)例中，可僅針對具有等于或高于CRA圖片的層ID的層ID的層重新初始化解碼。

使用圖4作為實(shí)例，存取單元N+2中的CRA圖片為在解碼次序中在存取單元N+1的EOS NAL單元之后的第一圖片。解碼器可確定存取單元N+2含有CRA圖片，且存取單元N+2包含在解碼次序中繼EOS NAL單元之后的第一圖片。解碼器可接著將CRA圖片的重新初始化旗標(biāo)導(dǎo)出為指示在CRA圖片處重新初始化解碼的值(例如，值1)。在一些實(shí)施例中，解碼器可進(jìn)一步以決策為基礎(chǔ)以基于CRA圖片具有等于0的層ID(指示其位于基礎(chǔ)層L0中)而導(dǎo)出重新初始化旗標(biāo)的值。在此些實(shí)施例中，在CRA圖片具有等于除0外的數(shù)目的層ID(例如，一或多個增強(qiáng)層中的CRA圖片)的情況下，解碼器可不針對在解碼次序中在EOS NAL單元之后的CRA圖片將重新初始化旗標(biāo)的值導(dǎo)出為1(或指示將重新初始化解碼的值)。

在一些實(shí)例中，當(dāng)在解碼次序中在EOS NAL單元(其可指示拼接點(diǎn))之后的第一存取單元為含有IDR圖片的IRAP存取單元時，將針對IDR圖片的重新初始化旗標(biāo)的值導(dǎo)出為等于1(指示解碼過程的重新初始化)。在一些狀況下，針對為在解碼次序中在EOS NAL單元之后的第一存取單元的具有等于0的層ID的IDR圖片，將重新初始化旗標(biāo)的值帶出為等于1。在一些實(shí)例中，當(dāng)將重新初始化旗標(biāo)導(dǎo)出為等于1時，可針對所有層重新初始化解碼。在其它實(shí)例中，可僅針對具有等于或高于IDR圖片的層ID的層ID的層，重新初始化解碼。

參考圖5作為實(shí)例，存取單元N+2含有IDR圖片且為在解碼次序中在存取單元N+1的EOS NAL單元之后的第一存取單元。解碼器可確定存取單元N+2含有IDR圖片，且存取單元N+2包含在解碼次序中繼EOS NAL單元之后的第一圖片。解碼器可接著將IDR圖片的重新初始化旗標(biāo)導(dǎo)出為指示在IDR圖片處重新初始化解碼的值(例如，值1)。在一些實(shí)施例中，解碼器可進(jìn)一步以決策為基礎(chǔ)以基于IDR圖片具有等于0的層ID(指示其位于基礎(chǔ)層L0中)而導(dǎo)出重新初始化的值。在此些實(shí)施例中，在IDR圖片具有等于除0外的數(shù)目的層ID(例如，一或多個增強(qiáng)層中的IDR圖片)的情況下，解碼器可不針對在解碼次序中在EOS NAL單元之后的IDR圖片將重新初始化旗標(biāo)的值導(dǎo)出為1(或指示將重新初始化解碼的值)。

實(shí)施上文所描述技術(shù)的HEVC標(biāo)準(zhǔn)的改變的實(shí)例可包含：

在當(dāng)前圖片為IRAP圖片且具有等于0的nuh_layer_id時，以下各項(xiàng)適用：

變量NoClrasOutputFlag經(jīng)如下規(guī)定：

如果當(dāng)前圖片為位流中的第一圖片，那么NoClrasOutputFlag經(jīng)設(shè)置為等于1。

另外，如果當(dāng)前圖片為具有等于1的HandleCraAsBlaFlag的BLA圖片或CRA圖片，那么NoClrasOutputFlag經(jīng)設(shè)置為等于1。

另外，如果當(dāng)前圖片為CRA圖片且當(dāng)前存取單元為在解碼次序中在序列結(jié)束NAL單元之后的第一存取單元，那么NoClrasOutputFlag經(jīng)設(shè)置成等于1。

另外，如果當(dāng)前圖片為具有cross_layer_bla_flag等于1的IDR圖片，那么NoClrasOutputFlag經(jīng)設(shè)置成等于1。

另外，如果一些外部裝置(本說明書中未規(guī)定)可用于設(shè)置NoClrasOutputFlag，那么NoClrasOutputFlag是由外部裝置設(shè)置。

否則，NoClrasOutputFlag經(jīng)設(shè)置成等于0。

當(dāng)NoClrasOutputFlag等于1時，變量LayerInitializedFlag[i]針對i從0到vps_max_layer_id的所有值(包括0、vps_max_layer_id)經(jīng)設(shè)置成等于0，且變量FirstPicInLayerDecodedFlag[i]針對i從0到vps_max_layer_id的所有值(包括0、vps_max_layer_id)經(jīng)設(shè)置成等于0。

替代地，NoClrasOutputFlag的導(dǎo)出經(jīng)修改如下：

在當(dāng)前圖片為IRAP圖片且具有等于0的nuh_layer_id時，以下各項(xiàng)適用：

變量NoClrasOutputFlag經(jīng)如下規(guī)定：

如果當(dāng)前圖片為位流中的第一圖片，那么NoClrasOutputFlag經(jīng)設(shè)置為等于1。

另外，如果當(dāng)前圖片為具有等于1的HandleCraAsBlaFlag的BLA圖片或CRA圖片，那么NoClrasOutputFlag經(jīng)設(shè)置為等于1。

另外，如果當(dāng)前圖片為IRAP圖片且當(dāng)前存取單元為在解碼次序中在序列結(jié)束NAL單元之后的第一存取單元，那么NoClrasOutputFlag經(jīng)設(shè)置成等于1。

另外，如果當(dāng)前圖片為具有cross_layer_bla_flag等于1的IDR圖片，那么NoClrasOutputFlag經(jīng)設(shè)置成等于1。

另外，如果一些外部裝置(本說明書中未規(guī)定)可用于設(shè)置NoClrasOutputFlag，那么NoClrasOutputFlag是由外部裝置設(shè)置。

否則，NoClrasOutputFlag經(jīng)設(shè)置成等于0。

替代地，HandleCraAsBlaFlag的導(dǎo)出經(jīng)修改如下：

在當(dāng)前圖片為IRAP圖片時，如以下規(guī)定而導(dǎo)出變量HandleCraAsBlaFlag：

如果當(dāng)前圖片為CRA圖片且為在解碼次序中在序列結(jié)束NAL單元之后的第一圖片，那么變量HandleCraAsBlaFlag經(jīng)設(shè)置成等于1。

另外，如果本說明書中未規(guī)定的一些外部裝置可用于將變量HandleCraAsBlaFlag設(shè)置成針對當(dāng)前圖片的值，那么變量HandleCraAsBlaFlag經(jīng)設(shè)置成等于由外部裝置提供的值。

否則，變量HandleCraAsBlaFlag經(jīng)設(shè)置成等于0。

圖6說明解碼視頻數(shù)據(jù)的過程600的實(shí)施例。過程600經(jīng)實(shí)施以鑒于序列結(jié)束網(wǎng)絡(luò)抽象層單元而重新初始化解碼。在一些方面中，過程600可由計(jì)算裝置或設(shè)備(例如，圖1或圖10中所展示的解碼裝置112)執(zhí)行。舉例來說，計(jì)算裝置或設(shè)備可包含解碼器，或處理器、微處理器、微計(jì)算機(jī)，或經(jīng)配置以實(shí)施過程600的步驟的解碼器的其它組件。

過程600經(jīng)說明為邏輯流程圖，其操作表示可以硬件、計(jì)算機(jī)指令或其組合實(shí)施的一系列操作。在計(jì)算機(jī)指令的背景下，操作表示在由一或多個處理器執(zhí)行時執(zhí)行所述操作的經(jīng)存儲在一或多個計(jì)算可讀存儲媒體上的計(jì)算機(jī)可執(zhí)行指令。通常，計(jì)算機(jī)可執(zhí)行指令包含執(zhí)行特定功能或?qū)嵤┨囟〝?shù)據(jù)類型的例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)及其類似者。描述操作的次序并非意欲解釋為限制性，且所描述操作中的任何數(shù)目者可以任何次序及/或并行組合以實(shí)施過程。

另外，過程600可在經(jīng)配置有可執(zhí)行指令的一或多個計(jì)算機(jī)系統(tǒng)的控制下執(zhí)行，且可經(jīng)實(shí)施為在一或多個處理器上、通過硬件或其組合來共同執(zhí)行的代碼(例如，可執(zhí)行指令、一或多個計(jì)算機(jī)程序，或一或多個應(yīng)用程序)。如上文所述，代碼可經(jīng)存儲在計(jì)算機(jī)可讀或機(jī)器可讀存儲媒體上，例如，呈包括可由一或多個處理器執(zhí)行的多個指令的計(jì)算機(jī)程序形式。計(jì)算機(jī)可讀或機(jī)器可讀存儲媒體可為非暫時性的。

在602處，解碼視頻數(shù)據(jù)的過程600包含：存取包括多個層的經(jīng)編碼視頻位流。所述經(jīng)編碼視頻位流包含多個存取單元，其中第一存取單元包含序列結(jié)束網(wǎng)絡(luò)抽象層單元，且其中第二存取單元包含幀內(nèi)隨機(jī)存取點(diǎn)圖片且為在解碼次序中在所述第一存取單元之后的下一后續(xù)存取單元。在一些實(shí)例中，經(jīng)編碼視頻位流包含圖4中所展示的位流400。在此些實(shí)例中，第一存取單元包含N+1存取單元，第二存取單元包含N+2存取單元，且所述第二存取單元的所述幀內(nèi)隨機(jī)存取點(diǎn)圖片包含整潔隨機(jī)存取(CRA)圖片。在一些實(shí)例中，經(jīng)編碼視頻位流包含圖5中所展示的位流500。在此些實(shí)例中，第一存取單元包含N+1存取單元，第二存取單元包含N+2存取單元，且所述第二存取單元的所述幀內(nèi)隨機(jī)存取點(diǎn)圖片包含瞬時解碼刷新(IDR)圖片。所屬領(lǐng)域的技術(shù)人員將了解，除本文中所描述的那些外，經(jīng)編碼視頻位流還可包含經(jīng)編碼視頻位流。

在604處，過程600包含：基于所述第二存取單元為在解碼次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元，在所述第二存取單元處重新初始化解碼。在一些實(shí)施例中，過程600可包含：基于所述第二存取單元為在解碼次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元，在所述第二存取單元處重新初始化對所述多個層中的每一者的解碼。舉例來說，將針對所述經(jīng)編碼視頻位流的所述層的全部重新初始化解碼。

在一些實(shí)施例中，所述第一存取單元包含在所述經(jīng)編碼視頻位流的基礎(chǔ)層中的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元且所述第二存取單元包含在所述基礎(chǔ)層中的所述幀內(nèi)隨機(jī)存取點(diǎn)圖片。在這些實(shí)施例中，基于所述第二存取單元在所述基礎(chǔ)層中且為在解碼次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元，在所述第二存取單元處重新初始化解碼。

在一些實(shí)施例中，當(dāng)所述第二存取單元為在解碼次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元時，將所述第二存取單元的旗標(biāo)(例如，重新初始化旗標(biāo))設(shè)置或?qū)С鰹橐恢?。所述旗?biāo)的所述值指示在所述第二存取單元處重新初始化解碼。在一些實(shí)例中，旗標(biāo)包含NoClrasOutputFlag且所述值為值1。在一些實(shí)例中，所述值為值0。

在一些實(shí)施例中，在所述第二存取單元處重新初始化所述解碼包含：丟棄與所述第二存取單元相關(guān)聯(lián)的一或多個隨機(jī)存取跳過前導(dǎo)圖片或一或多個跨層隨機(jī)存取跳過前導(dǎo)圖片。

圖7說明處理視頻數(shù)據(jù)的過程700的實(shí)施例。過程700經(jīng)實(shí)施以產(chǎn)生包含序列結(jié)束網(wǎng)絡(luò)抽象層單元的經(jīng)編碼視頻位流使得在解碼器處重新初始化解碼過程。在一些方面中，過程700可由計(jì)算裝置或設(shè)備(例如，位流編碼器、位流拼接器，或編碼器(例如，圖1或圖9中所展示的編碼裝置104))執(zhí)行。舉例來說，計(jì)算裝置或設(shè)備可包含位流編碼器、位流拼接器，編碼器，或處理器、微處理器、微計(jì)算機(jī)，或經(jīng)配置以實(shí)施過程700的步驟的此些裝置的其它組件。

過程700經(jīng)說明為邏輯流程圖，其操作表示可以硬件、計(jì)算機(jī)指令或其組合實(shí)施的一系列操作。在計(jì)算機(jī)指令的背景下，操作表示在由一或多個處理器執(zhí)行時執(zhí)行所述操作的經(jīng)存儲在一或多個計(jì)算可讀存儲媒體上的計(jì)算機(jī)可執(zhí)行指令。通常，計(jì)算機(jī)可執(zhí)行指令包含執(zhí)行特定功能或?qū)嵤┨囟〝?shù)據(jù)類型的例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)及其類似者。描述操作的次序并非意欲解釋為限制性，且所描述操作中的任何數(shù)目者可以任何次序及/或并行組合以實(shí)施過程。

另外，過程700可在經(jīng)配置有可執(zhí)行指令的一或多個計(jì)算機(jī)系統(tǒng)的控制下執(zhí)行，且可經(jīng)實(shí)施為在一或多個處理器上、通過硬件或其組合來共同執(zhí)行的代碼(例如，可執(zhí)行指令、一或多個計(jì)算機(jī)程序，或一或多個應(yīng)用程序)。如上文所述，代碼可經(jīng)存儲在計(jì)算機(jī)可讀或機(jī)器可讀存儲媒體上，例如，呈包括可由一或多個處理器執(zhí)行的多個指令的計(jì)算機(jī)程序形式。計(jì)算機(jī)可讀或機(jī)器可讀存儲媒體可為非暫時性的。

在702處，處理視頻數(shù)據(jù)的過程700包含：獲得包括多個層的第一經(jīng)編碼視頻位流，所述第一經(jīng)編碼視頻位流包含多個存取單元。可使用例如HEVC、AVC、MPEG或其它適當(dāng)視頻編碼技術(shù)的編碼技術(shù)來對所述第一經(jīng)編碼視頻位流進(jìn)行編碼。

在704處，過程700包含：獲得包括多個層的第二經(jīng)編碼視頻位流，所述第二經(jīng)編碼視頻位流包含多個存取單元?？墒褂美鏗EVC、AVC、MPEG或其它適當(dāng)視頻編碼技術(shù)的編碼技術(shù)來對所述第二經(jīng)編碼視頻位流進(jìn)行編碼。

在706處，過程700包含：通過組合所述第一經(jīng)編碼視頻位流中的存取單元與所述第二經(jīng)編碼視頻位流中的存取單元，且通過將序列結(jié)束網(wǎng)絡(luò)抽象層單元插入到所述第一經(jīng)編碼視頻位流的第一存取單元中，產(chǎn)生第三經(jīng)編碼視頻位流。所述第二經(jīng)編碼視頻位流的第二存取單元包含幀內(nèi)隨機(jī)存取點(diǎn)圖片且為在解碼次序中在具有序列結(jié)束網(wǎng)絡(luò)抽象層單元的所述第一存取單元之后的下一后續(xù)存取單元。在一些實(shí)例中，可通過在第一經(jīng)編碼視頻位流及第二經(jīng)編碼視頻位流的幀內(nèi)隨機(jī)存取點(diǎn)圖片處將第一經(jīng)編碼視頻位流及第二經(jīng)編碼視頻位流拼接在一起來產(chǎn)生第三經(jīng)編碼視頻位流。舉例來說，可通過用第二經(jīng)編碼視頻位流的含有幀內(nèi)隨機(jī)存取點(diǎn)圖片的第二存取單元及后續(xù)存取單元來替換第一經(jīng)編碼視頻位流的含有幀內(nèi)隨機(jī)存取點(diǎn)圖片的存取單元及所有后續(xù)存取單元而發(fā)生拼接。過程700將序列結(jié)束網(wǎng)絡(luò)抽象層單元插入到第一存取單元中使得將在第二存取單元處重新初始化對第三經(jīng)編碼視頻位流的解碼。將基于所述第二存取單元為在解碼次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元而發(fā)生解碼重新初始化。

在一些實(shí)施例中，產(chǎn)生所述第三經(jīng)編碼視頻位流包含：確定將解碼所述第三經(jīng)編碼視頻位流，所述第三編碼位流包含在所述第一經(jīng)編碼視頻位流中的直到且包含所述第一存取單元的所述存取單元，接著是在所述第二經(jīng)編碼視頻位流中的從所述第二存取單元開始且包含所述第二存取單元的所述存取單元。產(chǎn)生所述第三經(jīng)編碼視頻位流進(jìn)一步包含：確定將在包含所述幀內(nèi)隨機(jī)存取點(diǎn)圖片的所述第二存取單元處重新初始化對所述第二經(jīng)編碼視頻位流的解碼，及通過組合所述第一經(jīng)編碼視頻位流中的直到且包含所述第一存取單元的所述存取單元與所述第二經(jīng)編碼視頻位流中的從所述第二存取單元開始且包含所述第二存取單元的所述存取單元，且通過將所述序列結(jié)束網(wǎng)絡(luò)抽象層單元插入到所述第一存取單元中，產(chǎn)生所述第三經(jīng)編碼視頻位流。

在708處，過程700包含：發(fā)射所述第三經(jīng)編碼視頻位流，其中基于所述第二存取單元為在解碼次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元，在所述第二存取單元處重新初始化對所述第三經(jīng)編碼視頻位流的解碼。在一些實(shí)施例中，基于所述第二存取單元為在解碼次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元，在所述第二存取單元處重新初始化對所述第三經(jīng)編碼視頻位流的多個層中的每一層的解碼。舉例來說，將針對所述經(jīng)編碼視頻位流的所述層的全部重新初始化解碼。

在一些實(shí)施例中，所述第一經(jīng)編碼視頻位流及所述第二經(jīng)編碼視頻位流為經(jīng)拼接在一起的單獨(dú)經(jīng)編碼視頻位流，如上文所描述。在一些實(shí)施例中，所述第一經(jīng)編碼視頻位流及所述第二經(jīng)編碼視頻位流為相同經(jīng)編碼視頻位流，且所述第二存取單元為在解碼次序中在所述相同經(jīng)編碼視頻位流中的所述第一存取單元之后的后續(xù)存取單元。舉例來說，第一經(jīng)編碼視頻位流可為位流從時間t1到時間t3的第一部分，且第二經(jīng)編碼視頻位流可為相同位流從時間t2到t4的第二部分，其中t1<t2<t3<t4。舉例來說，當(dāng)用戶在經(jīng)編碼視頻位流中在時間上往回尋找到時間t2時，可將第一部分及第二部分拼接或拼接在一起。舉例來說，可通過用在時間t2處含有幀內(nèi)隨機(jī)存取點(diǎn)圖片的存取單元及后續(xù)存取單元替換在時間t3處含有幀內(nèi)隨機(jī)存取點(diǎn)圖片及所有后續(xù)存取單元來拼接經(jīng)編碼視頻位流的第一部分及第二部分。

在一些實(shí)施例中，第二存取單元的幀內(nèi)隨機(jī)存取點(diǎn)圖片包含瞬時解碼刷新圖片。在一些實(shí)施例中，第二存取單元的幀內(nèi)隨機(jī)存取點(diǎn)圖片包含整潔隨機(jī)存取圖片。

在一些實(shí)施例中，將所述序列結(jié)束網(wǎng)絡(luò)抽象層單元插入到所述第三經(jīng)編碼視頻位流的基礎(chǔ)層中的所述第一存取單元中且所述第二存取單元包含所述基礎(chǔ)層中的所述幀內(nèi)隨機(jī)存取點(diǎn)圖片。在這些實(shí)施例中，基于所述第二存取單元在所述基礎(chǔ)層中且為在解碼次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元，在所述第二存取單元處重新初始化解碼。

在一些實(shí)施例中，當(dāng)所述第二存取單元為在解碼次序中在所述第一存取單元的所述序列結(jié)束網(wǎng)絡(luò)抽象層單元之后的所述下一后續(xù)存取單元時，將所述第二存取單元的旗標(biāo)(例如，重新初始化旗標(biāo))設(shè)置成一值。所述旗標(biāo)的所述值指示在所述第二存取單元處重新初始化解碼。在一些實(shí)例中，旗標(biāo)包含NoClrasOutputFlag且所述值為值1。在一些實(shí)例中，所述值為值0。

在一些實(shí)施例中，在所述第二存取單元處重新初始化所述解碼包含：丟棄與所述第二存取單元相關(guān)聯(lián)的一或多個隨機(jī)存取跳過前導(dǎo)圖片或一或多個跨層隨機(jī)存取跳過前導(dǎo)圖片。

使用上文所描述的使用序列結(jié)束網(wǎng)絡(luò)抽象層單元的技術(shù)，由解碼器使用的解碼過程可經(jīng)修改以在經(jīng)編碼視頻位流的某些部分處更有效地重新初始化解碼。舉例來說，解碼過程經(jīng)修改(例如，導(dǎo)出重新初始化旗標(biāo))使得對為在解碼次序中在EOS NAL單元之后的第一圖片的CRA圖片的解碼經(jīng)類似定義為具有等于1(或指示CRA圖片將被處置為BLA圖片的其它值)的BLA旗標(biāo)的CRA圖片。此外，解碼過程經(jīng)修改使得于在解碼次序中在含有EOS NAL單元的存取單元之后的存取單元處重新初始化對所有層的解碼(例如，重新初始化旗標(biāo)經(jīng)設(shè)置成等于1)。此些修改通過以下步驟簡化拼接操作：不需要系統(tǒng)實(shí)體改變位流中的任何語法元素，且不需要用于此目的的外部裝置提供任何旗標(biāo)。

在其它實(shí)施例中，描述用于修改解碼過程的技術(shù)及系統(tǒng)使得僅在某些情況中將RASL旗標(biāo)的值導(dǎo)出為特定值。在一些實(shí)例中，IRAP圖片可具有對應(yīng)RASL旗標(biāo)(例如，NoRaslOutputFlag)。當(dāng)IRAP圖片具有等于1的RASL旗標(biāo)，與所述IRAP相關(guān)聯(lián)的RASL圖片未經(jīng)輸出且不可正確地解碼，這是因?yàn)镽ASL圖片可含有對不存在于位流中的圖片的參考(例如，在拼接、隨機(jī)存取或其它功能之后，致使圖片不再存在于位流中)。在一些狀況下，RASL旗標(biāo)可經(jīng)設(shè)置為0以指示RASL圖片不可正確解碼。

圖8說明具有EOS NAL單元及在解碼次序中在EOS NAL單元之后的IDR圖片的經(jīng)編碼視頻位流800的實(shí)例。經(jīng)編碼視頻位流800包含存取單元N到N+9。存取單元N到N+9在第一層L0(例如，具有層ID＝0)及第二層L1(例如，具有層ID＝1)包含各種圖片。在一些實(shí)施例中，第一層L0可包含基礎(chǔ)層，且第二層L1可包含增強(qiáng)層。存取單元N到N+9是以解碼次序進(jìn)行說明，如由箭頭802所指示。存取單元N、N+1、N+8及N+9在層L0及L1兩者中含有尾部圖片。存取單元N+3及N+4在層L0中含有尾部圖片且在層L1中不含有任何圖片。存取單元N+6及N+7在層L0中包含尾部圖片且在層L1中包含前導(dǎo)圖片。前導(dǎo)圖片可包含RASL圖片或RADL圖片。存取單元N+2在層L0中包含IDR圖片且在層L1中不包含任何圖片。在一些實(shí)例中，存取單元N+2可包含不同IRAP圖片，例如，CRA圖片或BLA圖片。存取單元N+5在層0中包含尾部圖片且在層L1中包含CRA圖片。除了存取單元N+1中的尾部圖片外，還將EOS NAL單元插入到存取單元N+1中以指示NAL單元序列的結(jié)束(例如，整個CVS的結(jié)束，或?qū)覮0的序列的結(jié)束)。

在一些實(shí)例中，當(dāng)具有特定層ID的當(dāng)前圖片為IDR圖片、BLA圖片、在解碼次序中在位流中的具有特定層ID的第一圖片，或在解碼次序中在EOS NAL單元之后的具有所述特定層ID的第一圖片，RASL旗標(biāo)可被設(shè)置為1(例如，由解碼器導(dǎo)出為值1)。根據(jù)HEVC標(biāo)準(zhǔn)，EOS NAL單元影響在解碼次序中繼EOS NAL單元之后的第一存取單元中的圖片的解碼，且還影響繼第一存取單元之后的后續(xù)存取單元。舉例來說，如果特定層的IRAP圖片為在EOS NAL單元之后的所述層中的第一圖片，那么甚至在所述IRAP圖片被含于在解碼次序中并非緊在EOS NAL單元之后的存取單元中時所述圖片的RASL旗標(biāo)仍等于1。舉例來說，在圖8中所說明的位流800中，EOS存在于存取單元N+1中致使存取單元N+5中的CRA圖片具有等于1的RASL旗標(biāo)。

本文中描述用于將EOS NAL單元限制于緊直接影響在EOS NAL單元之后的第一后續(xù)存取單元中的圖片的解碼的實(shí)施例。舉例來說，解碼過程經(jīng)修改(例如，導(dǎo)出RASL旗標(biāo))使得EOS NAL單元直接影響僅屬于在解碼次序中在含有EOS NAL單元的存取單元之后的第一存取單元的那些圖片的解碼。舉例來說，僅針對在解碼次序中在含有EOS NAL單元的存取單元之后的下一后續(xù)存取單元，將RASL旗標(biāo)導(dǎo)出為1。因此，僅與下一后續(xù)存取單元相關(guān)聯(lián)的RASL圖片被指示為不可正確地解碼。在一些實(shí)施例中，解碼過程經(jīng)修改(例如，導(dǎo)出RASL旗標(biāo))使得EOS NAL單元直接影響僅屬于在解碼次序中在含有EOS NAL單元的存取單元之后的第一存取單元的具有等于0的層ID的圖片(例如，基礎(chǔ)層)的解碼。

使用圖8作為實(shí)例，對EOS NAL單元的限制有效，這是因?yàn)槿绻嫒卧狹+2并非拼接點(diǎn)(例如，兩個位流經(jīng)拼接在一起的點(diǎn)，相同位流的兩個部分經(jīng)拼接在一起的點(diǎn)，或其類似者)，可正確地解碼存取單元N+6及N+7處的RASL圖片(例如，N+6及N+7存取單元中的前導(dǎo)圖片可被標(biāo)記為RADL圖片)。在AU N+2為拼接點(diǎn)的狀況下，基于HEVC標(biāo)準(zhǔn)中的LayerInitializedFlag的RASL旗標(biāo)的當(dāng)前導(dǎo)出確保存取單元N+5中的CRA圖片具有經(jīng)導(dǎo)出為等于1的RASL旗標(biāo)。

實(shí)施與RASL旗標(biāo)有關(guān)的上文所描述技術(shù)的HEVC標(biāo)準(zhǔn)的改變的實(shí)例可包含：

在當(dāng)前圖片為IRAP圖片時，以下各項(xiàng)適用：

如果具有特定值nuh_layer_id的當(dāng)前圖片為IDR圖片、BLA圖片、在解碼次序中在位流中的具有所述特定值nuh_layer_id的第一圖片，或含有具有所述特定值nuh_layer_id的圖片的存取單元為在解碼次序中在序列結(jié)束NAL單元之后的第一存取單元，那么變量NoRaslOutputFlag經(jīng)設(shè)置成等于1。

另外，如果針對refLayerId的所有值等于RefLayerId[nuh_layer_id][j]，LayerInitializedFlag[nuh_layer_id]等于0且LayerInitializedFlag[refLayerId]等于1，其中j在0到NumDirectRefLayers[nuh_layer_id]-1(包含0、NumDirectRefLayers[nuh_layer_id]-1)范圍中，變量NoRaslOutputFlag經(jīng)設(shè)置成等于1。

否則，變量NoRaslOutputFlag經(jīng)設(shè)置成等于HandleCraAsBlaFlag。

本文中所論述的編碼結(jié)束可實(shí)施于實(shí)例視頻編碼及解碼系統(tǒng)(例如，系統(tǒng)100)中。系統(tǒng)包含源裝置，所述源裝置提供經(jīng)編碼視頻數(shù)據(jù)以稍后由目的地裝置進(jìn)行解碼。特定來說，源裝置經(jīng)由計(jì)算機(jī)可讀媒體將視頻數(shù)據(jù)提供到目的地裝置。源裝置及目的地裝置可包括廣泛范圍的裝置中的任一者，包含桌上型計(jì)算機(jī)、筆記型(即，膝上型)計(jì)算機(jī)、平板計(jì)算機(jī)、機(jī)頂盒、電話手機(jī)(例如，所謂“智能”電話)、所謂“智能”墊、電視機(jī)、相機(jī)、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺、視頻流裝置，或其類似者。在一些狀況下，源裝置及目的地裝置可經(jīng)配備以供無線通信。

目的地裝置可接收經(jīng)編碼視頻數(shù)據(jù)以經(jīng)由計(jì)算機(jī)可讀媒體進(jìn)行解碼。計(jì)算機(jī)可讀媒體可包括能夠?qū)⒔?jīng)編碼視頻數(shù)據(jù)從源裝置移動到目的地裝置的任何類型的媒體或裝置。在一個實(shí)例中，計(jì)算機(jī)可讀媒體可包括通信媒體以使得源裝置能夠?qū)崟r地將經(jīng)編碼視頻數(shù)據(jù)直接發(fā)射到目的地裝置?？筛鶕?jù)通信標(biāo)準(zhǔn)(例如，無線通信協(xié)議)來調(diào)制經(jīng)編碼視頻數(shù)據(jù)，并將其發(fā)射到目的地裝置。通信媒體可包括任何無線或有線通信媒體，例如，射頻(RF)頻譜或一或多個物理發(fā)射線。通信媒體可形成基于數(shù)據(jù)包的網(wǎng)絡(luò)的部分，例如局域網(wǎng)、廣域網(wǎng)或例如因特網(wǎng)的全球網(wǎng)。通信媒體可包含路由器、交換機(jī)、基站或可用于促進(jìn)從源裝置到目的地裝置的通信的任何其它設(shè)備。

在一些實(shí)例中，可將編碼數(shù)據(jù)從輸出接口輸出到存儲裝置。類似地，可通過輸入接口從存儲裝置存取編碼數(shù)據(jù)。存儲裝置可包含各種分布式或本地存取數(shù)據(jù)存儲媒體中的任何者，例如硬盤驅(qū)動器、藍(lán)光光盤、DVD、CD-ROM、快閃存儲器、易失性或非易失性存儲器或任何其它適于存儲經(jīng)編碼視頻數(shù)據(jù)的數(shù)字存儲媒體。在又一實(shí)例中，存儲裝置可對應(yīng)于文件服務(wù)器或可存儲由源裝置產(chǎn)生的經(jīng)編碼視頻的另一中間存儲裝置。目的地裝置可經(jīng)由流式處理或下載從存儲裝置存取所存儲視頻數(shù)據(jù)。文件服務(wù)器可為能夠存儲經(jīng)編碼視頻數(shù)據(jù)且將所述經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的地裝置的任何類型的服務(wù)器。實(shí)例文件服務(wù)器包含web服務(wù)器(例如，用于網(wǎng)站)、FTP服務(wù)器、網(wǎng)絡(luò)附加存儲(NAS)裝置或本地磁盤驅(qū)動。目的地裝置可通過任何標(biāo)準(zhǔn)數(shù)據(jù)連接(包含因特網(wǎng)連接)來存取經(jīng)編碼視頻數(shù)據(jù)。此可包含無線信道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜調(diào)制解調(diào)器等等)，或適于存取存儲于文件服務(wù)器上的經(jīng)編碼視頻數(shù)據(jù)的兩者的組合。來自存儲裝置的經(jīng)編碼視頻數(shù)據(jù)的發(fā)射可為流式發(fā)射、下載發(fā)射或其組合。

本發(fā)明的技術(shù)未必限于無線應(yīng)用或設(shè)置。所述技術(shù)可應(yīng)用于支持各種多媒體應(yīng)用中的任何者的視頻編碼，例如無線電視廣播、有線電視發(fā)射、衛(wèi)星電視發(fā)射、因特網(wǎng)流式視頻發(fā)射，例如經(jīng)由HTTP的動態(tài)自適應(yīng)流化(DASH)、經(jīng)編碼到數(shù)據(jù)存儲媒體上的數(shù)字視頻、對存儲于數(shù)據(jù)存儲媒體上的數(shù)字視頻的解碼或其它應(yīng)用。在一些實(shí)例中，系統(tǒng)可經(jīng)配置以支持單向或雙向視頻發(fā)射以支持例如視頻流化、視頻播放、視頻廣播及/或視頻電話的應(yīng)用。

在一個實(shí)例中，源裝置包含視頻源、視頻編碼器及輸出接口。目的地裝置可包含輸入接口、視頻解碼器及顯示裝置。源裝置的視頻編碼器可經(jīng)配置以應(yīng)用本文中所揭示的技術(shù)。在其它實(shí)例中，源裝置及目的地裝置可包含其它組件或布置。舉例來說，源裝置可從外部視頻源(例如，外部相機(jī))接收視頻數(shù)據(jù)。同樣地，目的地裝置可與外部顯示裝置介接，而非包含集成式顯示裝置。

上述實(shí)例系統(tǒng)僅為一個實(shí)例。用于并行處理視頻數(shù)據(jù)的技術(shù)可由任何數(shù)字視頻編碼及/或解碼裝置執(zhí)行。盡管本發(fā)明的技術(shù)通常由視頻編碼裝置執(zhí)行，但技術(shù)也可由視頻編碼器/解碼器(通常稱作為“CODEC”)執(zhí)行。此外，本發(fā)明的技術(shù)也可由視頻預(yù)處理器執(zhí)行。源裝置及目的地裝置僅為其中源裝置產(chǎn)生經(jīng)編碼視頻數(shù)據(jù)以供發(fā)射到目的地裝置的此些編碼裝置的實(shí)例。在一些實(shí)例中，源裝置及目的地裝置可以基本上對稱方式操作使得裝置中的每一者包含視頻編碼及解碼組件。因此，實(shí)例系統(tǒng)可支持視頻裝置之間的單向或雙向視頻發(fā)射，例如，用于視頻流化、視頻播放、視頻廣播或視頻電話。

視頻源可包含視頻捕獲裝置，例如視頻相機(jī)、含有先前所捕獲視頻的視頻存檔，及/或用以從視頻內(nèi)容提供器接收視頻的視頻饋送接口。作為又一替代方案，視頻源可產(chǎn)生基于計(jì)算機(jī)圖形數(shù)據(jù)作為源視頻，或直播視頻、經(jīng)存檔視頻及計(jì)算機(jī)產(chǎn)生視頻的組合。在一些狀況下，如果視頻源為視頻相機(jī)，那么源裝置及目的地裝置可形成所謂相機(jī)電話或視頻電話。然而，如上文所提及，本發(fā)明中所描述的技術(shù)通?？蓱?yīng)用于視頻編碼，且可應(yīng)用于無線及/或有線應(yīng)用。在每一狀況下，所捕獲、預(yù)捕獲或計(jì)算機(jī)產(chǎn)生視頻可由視頻編碼器進(jìn)行編碼?？山又ㄟ^輸出接口將經(jīng)編碼視頻信息輸出到計(jì)算機(jī)可讀媒體上。

如所述，計(jì)算機(jī)可讀媒體可包含瞬時媒體，例如無線廣播或有線網(wǎng)絡(luò)發(fā)射)；或存儲媒體(即，非暫時性存儲媒體)，例如，硬盤、快閃驅(qū)動、光盤、數(shù)字視頻光盤、藍(lán)光光盤，或其它計(jì)算機(jī)可讀媒體。在一些實(shí)例中，網(wǎng)絡(luò)服務(wù)器(未展示)可從源裝置接收經(jīng)編碼視頻數(shù)據(jù)且將經(jīng)編碼視頻數(shù)據(jù)提供到目的地裝置，例如，經(jīng)由網(wǎng)絡(luò)發(fā)射。類似地，媒體生產(chǎn)設(shè)施(例如，光盤沖壓設(shè)施)的計(jì)算裝置可從源裝置接收經(jīng)編碼視頻數(shù)據(jù)且產(chǎn)生含有經(jīng)編碼視頻數(shù)據(jù)的光盤。因此，在各種實(shí)例中，計(jì)算機(jī)可讀媒體可被理解為包含各種形式的一或多個計(jì)算機(jī)可讀媒體。

目的地裝置的輸入接口從計(jì)算機(jī)可讀媒體接收信息。計(jì)算機(jī)可讀媒體的信息可包含由視頻編碼器定義的語法信息，所述語法信息也由視頻解碼器使用，其包含描述塊及其它經(jīng)編碼單元(例如，圖片組(GOP))的特性及/或處理的語法元素。顯示裝置向用戶顯示經(jīng)解碼視頻數(shù)據(jù)，且可包括各種顯示裝置中的任一者，例如，陰極射線管(CRT)、液晶顯示器(LCD)、等離子顯示器、有機(jī)發(fā)光二極管(OLED)顯示器或另一類型的顯示裝置。已描述本發(fā)明的各種實(shí)施例。

圖9及圖10中分別展示編碼裝置104及解碼裝置112的具體細(xì)節(jié)。圖9為說明可實(shí)施本發(fā)明中所描述的技術(shù)中的一或多者的實(shí)例編碼裝置104的框圖。舉例來說，編碼裝置104可產(chǎn)生本文中所描述的語法結(jié)構(gòu)(例如，VPS、SPS、PPS或其它語法元素的語法結(jié)構(gòu))。編碼裝置104可對視頻切片內(nèi)的視頻塊執(zhí)行幀內(nèi)預(yù)測及幀間預(yù)測編碼。如先前所描述，幀內(nèi)編碼至少部分地依賴于空間預(yù)測以減少或移除給定視頻幀或圖片內(nèi)的空間冗余。幀間編碼至少部分地依賴于時間預(yù)測以減少或移除視頻序列的鄰近或周圍幀內(nèi)的時間冗余。幀內(nèi)模式(I模式)可指代數(shù)個基于空間的壓縮模式中的任一者。幀間模式(例如，單向預(yù)測(P模式)或雙向預(yù)測(B模式))可指代數(shù)個基于時間的壓縮模式中的任一者。

編碼裝置104包含分割單元35、預(yù)測處理單元41、濾波器單元63、圖片存儲器64、加法器50、變換處理單元52、量化單元54，及熵編碼單元56。預(yù)測處理單元41包含運(yùn)動估計(jì)單元42、運(yùn)動補(bǔ)償單元44，及幀內(nèi)預(yù)測處理單元46。針對視頻框重構(gòu)，編碼裝置104還包含反量化單元58、反變換處理單元60，及加法器62。濾波器單元63意欲表示一或多個環(huán)路濾波器，例如，去塊濾波器、自適應(yīng)環(huán)路濾波器(ALF)，及樣本自適應(yīng)偏移(SAO)濾波器。盡管濾波器單元63在圖9中經(jīng)展示為在環(huán)路濾波器中，但在其它配置中，濾波器單元63可經(jīng)實(shí)施為后環(huán)路濾波器。后處理裝置57可對由編碼裝置104產(chǎn)生的經(jīng)編碼視頻數(shù)據(jù)執(zhí)行額外處理。本發(fā)明的技術(shù)可在一些例項(xiàng)中由編碼裝置104實(shí)施。然而，在其它例子中，可通過后處理裝置57實(shí)施本發(fā)明的技術(shù)中的一或多者。

如圖9中所展示，編碼裝置104接收視頻數(shù)據(jù)，且分割單元35將數(shù)據(jù)分割成視頻塊。分割還可包含分割成切片、切片段、圖塊或其它較大單元，以及視頻塊分割，例如根據(jù)LCU及CU的四叉樹結(jié)構(gòu)。編碼裝置104通常說明待編碼的視頻切片內(nèi)的編碼視頻塊的組件?？蓪⑶衅瑒澐殖啥鄠€視頻塊(且可能劃分成稱作圖塊的數(shù)組視頻塊)。預(yù)測處理單元41可基于誤差結(jié)果(例如，編碼速率及失真水平，或其類似者)針對當(dāng)前視頻塊選擇多個可能編碼模式中的一者，例如多個幀內(nèi)預(yù)測編碼模式中的一者或多個幀間預(yù)測編碼模式中的一者。預(yù)測處理單元41可將所得幀內(nèi)或幀間經(jīng)編碼塊提供到加法器50以產(chǎn)生殘余塊數(shù)據(jù)及加法器62以重構(gòu)經(jīng)編碼塊供用作參考圖片。

預(yù)測處理單元41內(nèi)的幀內(nèi)預(yù)測處理單元46可相對于與待編碼的當(dāng)前塊相同的幀或切片中的一或多個相鄰塊執(zhí)行當(dāng)前視頻塊的幀內(nèi)預(yù)測編碼以提供空間壓縮。預(yù)測處理單元41內(nèi)的運(yùn)動估計(jì)單元42及運(yùn)動補(bǔ)償單元44相對于一或多個參考圖片中的一或多個預(yù)測塊執(zhí)行對當(dāng)前視頻塊的幀間預(yù)測編碼以提供時間壓縮。

運(yùn)動估計(jì)單元42可經(jīng)配置以根據(jù)視頻序列的預(yù)定圖案確定視頻切片的幀間預(yù)測模式。預(yù)定圖案可將序列中的視頻切片指定為P切片、B切片或GPB切片。運(yùn)動估計(jì)單元42及運(yùn)動補(bǔ)償單元44可高度集成，但出于概念目的予以單獨(dú)說明。由運(yùn)動估計(jì)單元42執(zhí)行的運(yùn)動估計(jì)為產(chǎn)生運(yùn)動矢量的過程，所述運(yùn)動矢量估計(jì)視頻塊的運(yùn)動。舉例來說，運(yùn)動矢量可指示當(dāng)前視頻幀或圖片內(nèi)的視頻塊的預(yù)測單元(PU)相對于參考圖片內(nèi)預(yù)測塊的位移。

預(yù)測塊為經(jīng)發(fā)現(xiàn)在像素差方面接近匹配待編碼的視頻塊的PU，所述像素差可通過以下各項(xiàng)來確定：絕對差值和(SAD)、平方差值和(SSD)或其它差值度量。在一些實(shí)例中，編碼裝置104可計(jì)算存儲在圖片存儲器64中的參考圖片的分段整數(shù)(sub-integer)像素位置的值。舉例來說，編碼裝置104可內(nèi)插參考圖片的四分之一像素位置、八分之一像素位置或其它分?jǐn)?shù)像素位置的值。因此，運(yùn)動估計(jì)單元42可相對于全像素位置及分?jǐn)?shù)像素位置執(zhí)行運(yùn)動搜索且輸出具有分?jǐn)?shù)像素精度的運(yùn)動矢量。

運(yùn)動估計(jì)單元42通過將幀間編碼切片中的視頻塊的PU的位置與參考圖片的預(yù)測塊的位置進(jìn)行比較來計(jì)算所述PU的運(yùn)動矢量。參考圖片可選自第一參考圖片列表(列表0)或第二參考圖片列表(列表1)，所述列表中的每一者識別存儲在圖片存儲器64中的一或多個參考圖片。運(yùn)動估計(jì)單元42將所計(jì)算運(yùn)動矢量發(fā)送到熵編碼單元56及運(yùn)動補(bǔ)償單元44。

由運(yùn)動補(bǔ)償單元44執(zhí)行的運(yùn)動補(bǔ)償可涉及：基于由運(yùn)動估計(jì)確定的運(yùn)動矢量而提取或產(chǎn)生預(yù)測塊，可能對子像素精度執(zhí)行插值。在接收到關(guān)于當(dāng)前視頻塊的PU的運(yùn)動矢量時，運(yùn)動補(bǔ)償單元44可將運(yùn)動矢量指向的預(yù)測塊定位于參考圖片列表中。編碼裝置104通過將預(yù)測塊的像素值從所編碼的當(dāng)前視頻塊的像素值減去從而形成像素差值來形成殘余視頻塊。像素差值形成塊的殘余數(shù)據(jù)，且可包含明度及色度差分量。加法器50表示執(zhí)行此減法運(yùn)算的(多個)組件。運(yùn)動補(bǔ)償單元44還可產(chǎn)生與在解碼視頻切片的視頻塊中供解碼裝置112使用的視頻塊及視頻切片相關(guān)聯(lián)的語法元素。

幀內(nèi)預(yù)測處理單元46可幀內(nèi)預(yù)測當(dāng)前塊，作為由運(yùn)動估計(jì)單元42及運(yùn)動補(bǔ)償單元44執(zhí)行的幀間預(yù)測的替代方案，如上文所描述。特定來說，幀內(nèi)預(yù)測處理單元46可確定幀內(nèi)預(yù)測模式以用于對當(dāng)前塊進(jìn)行編碼。在一些實(shí)例中，幀內(nèi)預(yù)測處理單元46可(例如)在單獨(dú)編碼步驟期間使用各種幀內(nèi)預(yù)測模式來對當(dāng)前塊進(jìn)行編碼，且?guī)瑑?nèi)預(yù)測處理單元46(或模式選擇單元40，在一些實(shí)例中)可從所測試模式選擇適當(dāng)幀內(nèi)預(yù)測模式來使用。舉例來說，幀內(nèi)預(yù)測處理單元46可針對各種所測試幀內(nèi)預(yù)測模式使用速率失真分析來計(jì)算速率失真值，且在所測試模式中可選擇具有最佳速率失真特性的幀內(nèi)預(yù)測模式。速率失真分析通常確定經(jīng)編碼塊與原始未經(jīng)編碼塊(其經(jīng)編碼以產(chǎn)生經(jīng)編碼塊)之間的失真(或錯誤)量，以及用于產(chǎn)生經(jīng)編碼塊的位率(即，位的數(shù)目)。幀內(nèi)預(yù)測處理單元46可依據(jù)各種經(jīng)編碼塊的失真及速率來計(jì)算比率以確定哪一幀內(nèi)預(yù)測模式展現(xiàn)塊的最佳速率失真值。

在任何狀況下，在針對塊選擇幀內(nèi)預(yù)測模式之后，幀內(nèi)預(yù)測處理單元46可將指示塊的所選擇幀內(nèi)預(yù)測模式的信息提供到熵編碼單元56。熵編碼單元56可對指示所選擇幀內(nèi)預(yù)測模式的信息進(jìn)行編碼。編碼裝置104可在所發(fā)射位流配置數(shù)據(jù)中包含各種塊的編碼背景的定義以及最可能幀內(nèi)預(yù)測模式的指示、幀內(nèi)預(yù)測模式指數(shù)表及用于背景中的每一者的經(jīng)修改的幀內(nèi)預(yù)測模式指數(shù)表。位流配置數(shù)據(jù)可包含多個幀內(nèi)預(yù)測模式指數(shù)表及多個經(jīng)修改的幀內(nèi)預(yù)測模式指數(shù)表(還稱作碼字映射表)。

在預(yù)測處理單元41經(jīng)由幀間預(yù)測或幀內(nèi)預(yù)測產(chǎn)生關(guān)于當(dāng)前視頻塊的預(yù)測塊之后，編碼裝置104通過將預(yù)測塊從當(dāng)前視頻塊減去來形成殘余視頻塊。殘余塊中的殘余視頻數(shù)據(jù)可被包含在一或多個TU中且應(yīng)用于變換處理單元52。變換處理單元52使用變換(例如，離散余弦變換(DCT)或概念上類似變換)將殘余視頻數(shù)據(jù)變換成殘余變換系數(shù)。變換處理單元52可將來自像素域的殘余視頻數(shù)據(jù)轉(zhuǎn)換成變換域，例如，頻域。

變換處理單元52可將所得變換系數(shù)發(fā)送到量化單元54。量化單元54使變換系數(shù)量化以進(jìn)一步減少位率。量化過程可減少與系數(shù)中的一些或全部相關(guān)聯(lián)的比特深度。量化程度可通過調(diào)整量化參數(shù)來修改。在一些實(shí)例中，量化單元54可接著對包含經(jīng)量化變換系數(shù)的矩陣執(zhí)行掃描。替代地，熵編碼單元56可執(zhí)行掃描。

在量化之后，熵編碼單元56對經(jīng)量化變換系數(shù)進(jìn)行熵編碼。舉例來說，熵編碼單元56可執(zhí)行背景自適應(yīng)可變長度編碼(CAVLC)、背景自適應(yīng)二進(jìn)制算法編碼(CABAC)、基于語法的背景自適應(yīng)二進(jìn)制算法編(SBAC)、概率區(qū)間分割熵(PIPE)編碼或另一熵編碼技術(shù)。在由熵編碼單元56進(jìn)行熵編碼之后，編碼位流可被發(fā)射到解碼裝置112，或經(jīng)存檔用于由解碼裝置112進(jìn)行的稍后發(fā)射或檢索。熵編碼單元56還可對所編碼的當(dāng)前視頻切片的運(yùn)動矢量及其它語法元素進(jìn)行熵編碼。

反量化單元58及反變換處理單元60分別應(yīng)用反量化及反變換以重構(gòu)像素域中的殘余塊(例如)以供稍后用作參考圖片的參考塊。運(yùn)動補(bǔ)償單元44可通過將殘余塊添加到參考圖片列表內(nèi)的參考圖片中的一者的預(yù)測塊來計(jì)算參考塊。運(yùn)動補(bǔ)償單元44還可將一或多個內(nèi)插濾波器器應(yīng)用于經(jīng)重構(gòu)殘余塊以計(jì)算供用于運(yùn)動估計(jì)的子整數(shù)像素值。加法器62將經(jīng)重構(gòu)的殘余塊加入到由運(yùn)動補(bǔ)償單元44產(chǎn)生的運(yùn)動補(bǔ)償預(yù)測塊以產(chǎn)生參考塊以存儲在圖片存儲器64中。參考塊可由運(yùn)動估計(jì)單元42及運(yùn)動補(bǔ)償單元44用作參考塊以對隨后視頻幀或圖片中的塊進(jìn)行幀間預(yù)測。

以此方式，圖9的編碼裝置104表示經(jīng)配置以產(chǎn)生經(jīng)編碼視頻位流的語法的視頻編碼器的實(shí)例。舉例來說，編碼裝置104可如上文所描述產(chǎn)生VPS、SPS及PPS參數(shù)集。編碼裝置104可執(zhí)行本文中所描述的技術(shù)中的任何者，包含上文關(guān)于圖6及圖7所描述的過程。已描述已關(guān)于編碼裝置104的本發(fā)明的技術(shù)，但如上文所提及，本發(fā)明的技術(shù)中的一些還可由后處理裝置57實(shí)施。

圖10為說明實(shí)例解碼裝置112的框圖。解碼裝置112包含熵解碼單元80、預(yù)測處理單元81、反量化單元86、反變換處理單元88、加法器90、濾波器單元91及圖片存儲器92。預(yù)測處理單元81包含運(yùn)動補(bǔ)償單元82及幀內(nèi)預(yù)測處理單元84。解碼裝置112可在一些實(shí)例中，執(zhí)行通常與關(guān)于來自圖9的編碼裝置104所描述的編碼遍次成倒數(shù)的解碼遍次。

在解碼過程期間，解碼裝置112接收經(jīng)編碼視頻位流，所述經(jīng)編碼視頻位流表示由編碼裝置104發(fā)送的編碼視頻切片及相關(guān)聯(lián)語法元素的視頻塊。在一些實(shí)施例中，解碼裝置112可從編碼裝置104接收經(jīng)編碼視頻位流。在一些實(shí)施例中，解碼裝置112可從網(wǎng)絡(luò)實(shí)體79(例如，服務(wù)器、媒體感知網(wǎng)絡(luò)元件(MANE)、視頻編輯器/拼接器，或經(jīng)配置以實(shí)施上文所描述的技術(shù)中的一或多者的其它此類裝置)接收經(jīng)編碼視頻位流。網(wǎng)絡(luò)實(shí)體79可或可不包含編碼裝置104。本發(fā)明中所描述的技術(shù)中的一些可在網(wǎng)絡(luò)實(shí)體79將經(jīng)編碼視頻位流發(fā)射到解碼裝置112之前由網(wǎng)絡(luò)實(shí)體79實(shí)施。在一些視頻解碼系統(tǒng)中，網(wǎng)絡(luò)實(shí)體79及解碼裝置112可為單獨(dú)裝置的部分，而在其它例子中，關(guān)于網(wǎng)絡(luò)實(shí)體79所描述的功能可由包括解碼裝置112的相同裝置執(zhí)行。

解碼裝置112的熵解碼單元80對位流進(jìn)行熵編碼以產(chǎn)生經(jīng)量化系數(shù)、運(yùn)動矢量及其它語法元素。熵解碼單元80將運(yùn)動矢量及其它語法元素轉(zhuǎn)發(fā)到預(yù)測處理單元81。解碼裝置112可接收視頻切片級及/或視頻塊級的語法元素。熵解碼單元80可處理及剖析一或多個參數(shù)集中的固定長度語法元素及可變長度語法元素，例如，VPS、SPS及PPS。

在視頻切片被編碼為幀內(nèi)編碼(I)切片時，預(yù)測處理單元81的幀內(nèi)預(yù)測處理單元84可基于來自當(dāng)前幀或圖片的先前經(jīng)解碼塊的所發(fā)信幀內(nèi)預(yù)測模式及數(shù)據(jù)來產(chǎn)生關(guān)于當(dāng)前視頻切片的視頻塊的預(yù)測數(shù)據(jù)。當(dāng)視頻幀被編碼為幀間編碼(即，B、P或GPB)切片時，預(yù)測處理單元81的運(yùn)動補(bǔ)償單元82基于從熵解碼單元80接收的運(yùn)動矢量及其它語法元素來產(chǎn)生當(dāng)前視頻切片的視頻塊的預(yù)測塊。可由參考圖片列表內(nèi)的參考圖片中的一者產(chǎn)生預(yù)測塊。解碼裝置112可基于圖片存儲器92中所存儲的參考圖片來使用默認(rèn)構(gòu)造技術(shù)構(gòu)造參考幀列表(列表0及列表1)。

運(yùn)動補(bǔ)償單元82通過剖析運(yùn)動矢量及其它語法元素來確定當(dāng)前視頻切片的視頻塊的預(yù)測信息，且使用預(yù)測信息來產(chǎn)生所解碼的當(dāng)前視頻塊的預(yù)測塊。舉例來說，運(yùn)動補(bǔ)償單元82可使用參數(shù)集中的一或多個語法元素來確定用于對視頻切片的視頻塊進(jìn)行編碼的預(yù)測模式(例如，幀內(nèi)或幀間預(yù)測)、幀間預(yù)測切片類型(例如，B切片、P切片或GPB切片)、關(guān)于切片的一或多個參考圖片列表的構(gòu)造信息、關(guān)于切片的每一幀間編碼視頻塊的運(yùn)動矢量、關(guān)于切片的每一幀間編碼視頻塊的幀間預(yù)測狀態(tài)及用以對當(dāng)前視頻切片中的視頻塊進(jìn)行解碼的其它信息。

運(yùn)動補(bǔ)償單元82還可基于內(nèi)插濾波器執(zhí)行內(nèi)插。運(yùn)動補(bǔ)償單元82可使用如在對視頻塊進(jìn)行編碼期間由編碼裝置104所使用的內(nèi)插濾波器來計(jì)算參考塊的分段整數(shù)像素的內(nèi)插值。在此狀況下，運(yùn)動補(bǔ)償單元82可依據(jù)所接收語法元素來確定由編碼裝置104所使用的內(nèi)插濾波器，且可使用內(nèi)插濾波器來產(chǎn)生預(yù)測塊。

反量化單元86可使在位流中提供且由熵解碼單元80解碼的經(jīng)量化變換系數(shù)反量化，或解量化。反量化過程可包含使用視頻切片中的每一視頻塊的由解碼裝置104計(jì)算的量化參數(shù)來確定量化程度及同樣地應(yīng)該應(yīng)用的反量化的程度。反變換處理單元88將反變換(例如，反DCT或其它適合反變換)、反整數(shù)變換或概念上類似反變換過程應(yīng)用于變換系數(shù)以便在像素域中產(chǎn)生殘余塊。

在運(yùn)動補(bǔ)償單元82基于運(yùn)動矢量及其它語法元素來產(chǎn)生當(dāng)前視頻塊的預(yù)測塊之后，解碼裝置112通過對來自反變換處理單元88的殘余塊與由運(yùn)動補(bǔ)償單元82產(chǎn)生的對應(yīng)預(yù)測塊求和來形成經(jīng)解碼的視頻塊。加法器90表示執(zhí)行此加法運(yùn)算的(多個)組件。如果期望，那么也可使用其它環(huán)路濾波器(在編碼環(huán)路中或在編碼環(huán)路之后)來平滑像素過渡，或以其它方式改進(jìn)視頻質(zhì)量。濾波器單元91意欲表示一或多個環(huán)路濾波器，例如，去塊濾波器、自適應(yīng)環(huán)路濾波器(ALF)，及樣本自適應(yīng)偏移(SAO)濾波器。盡管濾波器單元91在圖10中經(jīng)展示為在環(huán)路濾波器中，但在其它配置中，濾波器單元91可經(jīng)實(shí)施為后環(huán)路濾波器。接著將給定幀或圖片中的經(jīng)解碼視頻塊存儲在參考圖片存儲器92中，所述參考圖片存儲器存儲用于后續(xù)運(yùn)動補(bǔ)償?shù)膮⒖紙D片。圖片存儲器92還存儲經(jīng)解碼視頻供稍后在顯示裝置(例如，圖1中所展示的視頻目的地裝置122)上呈現(xiàn)。

在前述描述中，參考其具體實(shí)施例描述應(yīng)用的方面，但所屬領(lǐng)域的技術(shù)人員將認(rèn)識到本發(fā)明并不限于其。因此，雖然本文中已詳細(xì)地描述應(yīng)用的說明性實(shí)施例，但應(yīng)理解發(fā)明性概念可另外以不同方式體現(xiàn)及使用，且所附權(quán)利要求書意欲被解釋為包含此些變化，除由現(xiàn)有技術(shù)限制。上文所描述本發(fā)明的各種特征及方面可單獨(dú)地或共同地使用。此外，實(shí)施例可用于除本文中所描述的那些外的任何數(shù)目個環(huán)境及應(yīng)用而不脫離本說明書的較廣泛精神及范圍。因此，說明書及圖式應(yīng)視為說明性而非限制性。出于說明的目的，方法是以特定次序進(jìn)行描述。應(yīng)了解，在替代實(shí)施例中，方法可以不同于所描述的次序的次序來執(zhí)行。

在組件經(jīng)描述為“經(jīng)配置以”執(zhí)行某些操作的情況下，可(例如)通過設(shè)計(jì)電子電路或其它硬件以執(zhí)行操作、通過編程可編程電子電路(例如，微處理器或其它適合電子電路)以執(zhí)行操作或其任何組合來完成此配置。

結(jié)合本文中所揭示的實(shí)施例描述的各種說明性邏輯塊、模塊、電路及算法步驟可實(shí)施為電子硬件、計(jì)算機(jī)軟件、固件或其組合。為清楚地說明硬件及軟件的此可互換性，上文通常已就其功能性方面描述了各種說明性組件、塊、模塊、電路及步驟。此功能性是實(shí)施為硬件還是軟件取決于強(qiáng)加于整個系統(tǒng)的特定應(yīng)用及設(shè)計(jì)約束。雖然所屬領(lǐng)域的技術(shù)人員可針對每一特定應(yīng)用以變化方式實(shí)施所描述功能性，但不應(yīng)將此些實(shí)施方案決策解釋為導(dǎo)致對本發(fā)明的范圍的脫離。

本文中所描述的技術(shù)還可以電子硬件、計(jì)算機(jī)軟件、固件或其任一組合來實(shí)施。此些結(jié)束可以各種裝置中的任一者實(shí)施，例如通用計(jì)算機(jī)、無線通信裝置收集，或具有多個用途(包含無線通信裝置收集及其它裝置中的應(yīng)用)的集成電路裝置。經(jīng)描述為模塊或組件的任何特征可一起實(shí)施于集成邏輯裝置中或單獨(dú)地實(shí)施為離散但可集成邏輯裝置。如果以軟件實(shí)施，那么技術(shù)可至少部分地由包括程式代碼的計(jì)算機(jī)可讀數(shù)據(jù)存儲媒體實(shí)現(xiàn)，所述程式代碼在被執(zhí)行時執(zhí)行上文所描述的方法中的一或多者。計(jì)算機(jī)可讀數(shù)據(jù)存儲媒體可形成可包含包裝材料的計(jì)算機(jī)程式產(chǎn)品的部分。計(jì)算機(jī)可讀媒體可包括存儲器或數(shù)據(jù)存儲媒體，例如，隨機(jī)存取存儲器(RAM)，例如同步動態(tài)隨機(jī)存取存儲器(SDRAM)、只讀存儲器(ROM)、非易失性隨機(jī)存取存儲器(NVRAM)、電可擦除可編程只讀存儲器(EEPROM)、FLASH存儲器、磁性或光學(xué)數(shù)據(jù)存儲媒體，及其類似者。技術(shù)另外或替代地可至少部分地由計(jì)算機(jī)可讀通信媒體實(shí)現(xiàn)，所述計(jì)算機(jī)可讀通信媒體運(yùn)載或傳遞呈可由計(jì)算機(jī)存取、讀取及/或執(zhí)行的指令或數(shù)據(jù)結(jié)構(gòu)形式的程式代碼，例如，經(jīng)傳播信號或波。

程序代碼可由處理器執(zhí)行，所述處理器可包含一或多個處理器，例如一或多個數(shù)字信號處理器(DSP)、通用微處理器、專用集成電路(ASIC)、場可編程邏輯陣列(FPGA)或其它等效集成或離散邏輯電路。此處理器可經(jīng)配置以執(zhí)行本發(fā)明中所描述的技術(shù)中的任何者。通用處理器可為微處理器，但在替代方案中，處理器可為任一常規(guī)處理器、控制器、微控制器或狀態(tài)機(jī)。還可將處理器實(shí)施為計(jì)算裝置的組合，例如DSP與微處理器的組合、多個微處理器、結(jié)合DSP核心的一或多個微處理器或任一其它此類配置。因此，如本文中所使用的術(shù)語“處理器”可是指前述結(jié)構(gòu)、前述結(jié)構(gòu)的任何組合或適于實(shí)施本文中所描述的技術(shù)的任何其它結(jié)構(gòu)或設(shè)備中的任一者。另外，在一些方面中，本文中所描述的功能性可提供在經(jīng)配置以用于編碼及解碼或并入于組合式視頻編碼解碼器(CODEC)中的專用軟件模塊或硬件模塊內(nèi)。