本申請(qǐng)案涉及以下各申請(qǐng)案：

2012年7月2日申請(qǐng)的第61/667,387號(hào)美國(guó)臨時(shí)申請(qǐng)案，

2012年7月9日申請(qǐng)的第61/669,587號(hào)美國(guó)臨時(shí)申請(qǐng)案，和

2013年3月15日申請(qǐng)的第61/798,135號(hào)美國(guó)臨時(shí)申請(qǐng)案，

所述美國(guó)臨時(shí)申請(qǐng)案中的每一者的全部?jī)?nèi)容以引用的方式并入本文中。

分案申請(qǐng)的相關(guān)信息

本申請(qǐng)是國(guó)際申請(qǐng)?zhí)枮閜ct/us2013/049126、申請(qǐng)日為2013年7月2日、發(fā)明名稱為“用于高效視頻譯碼(hevc)和擴(kuò)展的視頻參數(shù)集”的pct申請(qǐng)進(jìn)入中國(guó)國(guó)家階段后申請(qǐng)?zhí)枮?01380034837.1的中國(guó)發(fā)明專利申請(qǐng)的分案申請(qǐng)。

本發(fā)明涉及視頻數(shù)據(jù)的處理，且更特定來說，本發(fā)明描述有關(guān)于產(chǎn)生和處理用于視頻數(shù)據(jù)的參數(shù)集的技術(shù)。

背景技術(shù)：

可將數(shù)字視頻能力并入于廣泛范圍的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣播系統(tǒng)、個(gè)人數(shù)字助理(pda)、膝上型或桌上型計(jì)算機(jī)、平板計(jì)算機(jī)、電子書閱讀器、數(shù)碼相機(jī)、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺(tái)、蜂窩式或衛(wèi)星無線電電話、所謂的“智能電話”、視頻電話會(huì)議裝置、視頻流式傳輸裝置和其類似者。數(shù)字視頻裝置實(shí)施視頻壓縮技術(shù)，例如由mpeg-2、mpeg-4、itu-th.263、itu-th.264/mpeg-4第十部分(高級(jí)視頻譯碼(avc))定義的標(biāo)準(zhǔn)、目前在開發(fā)中的高效視頻譯碼(hevc)標(biāo)準(zhǔn)和這些標(biāo)準(zhǔn)的擴(kuò)展中所描述的視頻壓縮技術(shù)。視頻裝置可通過實(shí)施這些視頻壓縮技術(shù)來更有效率地發(fā)射、接收、編碼、解碼和/或存儲(chǔ)數(shù)字視頻信息。

視頻壓縮技術(shù)執(zhí)行空間(圖片內(nèi))預(yù)測(cè)和/或時(shí)間(圖片間)預(yù)測(cè)以減少或移除視頻序列中固有的冗余。對(duì)于基于塊的視頻譯碼，視頻切片(即，視頻幀或視頻幀的一部分)可被分割成多個(gè)視頻塊，視頻塊也可被稱為樹塊、譯碼單元(cu)和/或譯碼節(jié)點(diǎn)。圖片的經(jīng)幀內(nèi)譯碼(i)切片中的視頻塊是使用相對(duì)于同一圖片中的相鄰塊中的參考樣本的空間預(yù)測(cè)來編碼。圖片的經(jīng)幀間譯碼(p或b)切片中的視頻塊可使用相對(duì)于同一圖片中的相鄰塊中的參考樣本的空間預(yù)測(cè)或相對(duì)于其它圖片中的參考樣本的時(shí)間預(yù)測(cè)。圖片可被稱為幀，且參考圖片可被稱為參考幀。

空間或時(shí)間預(yù)測(cè)產(chǎn)生用于待譯碼塊的預(yù)測(cè)性塊。殘余數(shù)據(jù)表示待譯碼的原始?jí)K與預(yù)測(cè)性塊之間的像素差。經(jīng)幀間譯碼塊是根據(jù)指向形成預(yù)測(cè)性塊的參考樣本的塊的運(yùn)動(dòng)向量和指示經(jīng)譯碼塊與預(yù)測(cè)性塊之間的差異的殘余數(shù)據(jù)來編碼。經(jīng)幀內(nèi)譯碼塊是根據(jù)幀內(nèi)譯碼模式和殘余數(shù)據(jù)來編碼。為了進(jìn)一步壓縮，殘余數(shù)據(jù)可從像素域變換到變換域，從而產(chǎn)生接著可被量化的殘余變換系數(shù)。最初配置成二維陣列的經(jīng)量化的變換系數(shù)可經(jīng)掃描以便產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用熵譯碼以實(shí)現(xiàn)甚至更多壓縮。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明描述用于視頻譯碼中的參數(shù)集的設(shè)計(jì)技術(shù)，且更特定來說，本發(fā)明描述有關(guān)于視頻參數(shù)集(vps)的技術(shù)。

在一個(gè)實(shí)例中，一種對(duì)視頻數(shù)據(jù)進(jìn)行解碼的方法包含：在視頻參數(shù)集中接收包含有關(guān)于假想?yún)⒖冀獯a器(hrd)參數(shù)的信息的一或多個(gè)語(yǔ)法元素；在所述視頻數(shù)據(jù)中接收第一序列參數(shù)集，所述第一序列參數(shù)集包括識(shí)別所述視頻參數(shù)集的第一語(yǔ)法元素；在所述視頻數(shù)據(jù)中接收第二序列參數(shù)集，所述第二序列參數(shù)集包括識(shí)別所述視頻參數(shù)集的第二語(yǔ)法元素；及基于所述一或多個(gè)語(yǔ)法元素對(duì)與所述第一參數(shù)集相關(guān)聯(lián)的視頻塊的第一集合及與所述第二參數(shù)集相關(guān)聯(lián)的視頻塊的第二集合進(jìn)行譯碼。

在另一實(shí)例中，一種對(duì)視頻數(shù)據(jù)進(jìn)行編碼的方法包含：產(chǎn)生包含有關(guān)于假想?yún)⒖冀獯a器(hrd)參數(shù)的信息的一或多個(gè)語(yǔ)法元素以用于包含于視頻參數(shù)集中；產(chǎn)生第一序列參數(shù)集以用于包含于所述視頻數(shù)據(jù)中，所述第一序列參數(shù)集包括識(shí)別所述視頻參數(shù)集的第一語(yǔ)法元素；產(chǎn)生第二序列參數(shù)集以用于包含于所述視頻數(shù)據(jù)中，所述第二序列參數(shù)集包括識(shí)別所述視頻參數(shù)集的第二語(yǔ)法元素；及基于所述一或多個(gè)語(yǔ)法元素對(duì)與所述第一參數(shù)集相關(guān)聯(lián)的視頻塊的第一集合及與所述第二參數(shù)集相關(guān)聯(lián)的視頻塊的第二集合進(jìn)行譯碼。

在另一實(shí)例中，一種用于處理視頻數(shù)據(jù)的裝置包含視頻解碼器，所述視頻解碼器經(jīng)配置以進(jìn)行以下操作：在視頻參數(shù)集中接收包含有關(guān)于假想?yún)⒖冀獯a器(hrd)參數(shù)的信息的一或多個(gè)語(yǔ)法元素；在所述視頻數(shù)據(jù)中接收第一序列參數(shù)集，所述第一序列參數(shù)集包括識(shí)別所述視頻參數(shù)集的第一語(yǔ)法元素；在所述視頻數(shù)據(jù)中接收第二序列參數(shù)集，所述第二序列參數(shù)集包括識(shí)別所述視頻參數(shù)集的第二語(yǔ)法元素；及基于所述一或多個(gè)語(yǔ)法元素對(duì)與所述第一參數(shù)集相關(guān)聯(lián)的視頻塊的第一集合及與所述第二參數(shù)集相關(guān)聯(lián)的視頻塊的第二集合進(jìn)行譯碼。

在另一實(shí)例中，一種用于處理視頻數(shù)據(jù)的裝置包含視頻編碼器，所述視頻編碼器經(jīng)配置以進(jìn)行以下操作：產(chǎn)生包含有關(guān)于假想?yún)⒖冀獯a器(hrd)參數(shù)的信息的一或多個(gè)語(yǔ)法元素以用于包含于視頻參數(shù)集中；產(chǎn)生第一序列參數(shù)集以用于包含于所述視頻數(shù)據(jù)中，所述第一序列參數(shù)集包括識(shí)別所述視頻參數(shù)集的第一語(yǔ)法元素；產(chǎn)生第二序列參數(shù)集以用于包含于所述視頻數(shù)據(jù)中，所述第二序列參數(shù)集包括識(shí)別所述視頻參數(shù)集的第二語(yǔ)法元素；及基于所述一或多個(gè)語(yǔ)法元素對(duì)與所述第一參數(shù)集相關(guān)聯(lián)的視頻塊的第一集合及與所述第二參數(shù)集相關(guān)聯(lián)的視頻塊的第二集合進(jìn)行譯碼。

在另一實(shí)例中，一種用于處理視頻數(shù)據(jù)的裝置包含：用于在視頻參數(shù)集中接收包含有關(guān)于假想?yún)⒖冀獯a器(hrd)參數(shù)的信息的一或多個(gè)語(yǔ)法元素的裝置；用于在所述視頻數(shù)據(jù)中接收第一序列參數(shù)集的裝置，所述第一序列參數(shù)集包括識(shí)別所述視頻參數(shù)集的第一語(yǔ)法元素；用于在所述視頻數(shù)據(jù)中接收第二序列參數(shù)集的裝置，所述第二序列參數(shù)集包括識(shí)別所述視頻參數(shù)集的第二語(yǔ)法元素；用于基于所述一或多個(gè)語(yǔ)法元素對(duì)與所述第一參數(shù)集相關(guān)聯(lián)的視頻塊的第一集合及與所述第二參數(shù)集相關(guān)聯(lián)的視頻塊的第二集合進(jìn)行譯碼的裝置。

在另一實(shí)例中，一種計(jì)算機(jī)可讀存儲(chǔ)媒體，其存儲(chǔ)在由一或多個(gè)處理器執(zhí)行時(shí)致使所述一或多個(gè)處理器進(jìn)行以下操作的指令：在視頻參數(shù)集中接收包含有關(guān)于假想?yún)⒖冀獯a器(hrd)參數(shù)的信息的一或多個(gè)語(yǔ)法元素；在所述視頻數(shù)據(jù)中接收第一序列參數(shù)集，所述第一序列參數(shù)集包括識(shí)別所述視頻參數(shù)集的第一語(yǔ)法元素；在所述視頻數(shù)據(jù)中接收第二序列參數(shù)集，所述第二序列參數(shù)集包括識(shí)別所述視頻參數(shù)集的第二語(yǔ)法元素；基于所述一或多個(gè)語(yǔ)法元素對(duì)與所述第一參數(shù)集相關(guān)聯(lián)的視頻塊的第一集合及與所述第二參數(shù)集相關(guān)聯(lián)的視頻塊的第二集合進(jìn)行譯碼。

在附圖及以下描述中陳述一或多個(gè)實(shí)例的細(xì)節(jié)。其它特征、目標(biāo)及優(yōu)勢(shì)將從所述描述及所述圖式以及從權(quán)利要求書顯而易見。

附圖說明

圖1為說明可利用本發(fā)明中所描述的技術(shù)的實(shí)例視頻編碼和解碼系統(tǒng)的框圖。

圖2為說明實(shí)例mvc解碼次序的概念圖。

圖3為展示實(shí)例mvc時(shí)間和視圖間預(yù)測(cè)結(jié)構(gòu)的概念圖。

圖4為說明可實(shí)施本發(fā)明中所描述的技術(shù)的實(shí)例視頻編碼器的框圖。

圖5為說明可實(shí)施本發(fā)明中所描述的技術(shù)的實(shí)例視頻解碼器的框圖。

圖6為說明形成網(wǎng)絡(luò)的部分的裝置的實(shí)例集合的框圖。

圖7為展示根據(jù)本發(fā)明的技術(shù)的用于處理參數(shù)集的實(shí)例方法的流程圖。

圖8為展示根據(jù)本發(fā)明的技術(shù)的用于產(chǎn)生參數(shù)集的實(shí)例方法的流程圖。

圖9為展示根據(jù)本發(fā)明的技術(shù)的用于解碼參數(shù)集的實(shí)例方法的流程圖。

圖10為展示根據(jù)本發(fā)明的技術(shù)的用于處理參數(shù)集的實(shí)例方法的流程圖。

圖11為展示根據(jù)本發(fā)明的技術(shù)的用于產(chǎn)生參數(shù)集的實(shí)例方法的流程圖。

圖12為展示根據(jù)本發(fā)明的技術(shù)的用于處理參數(shù)集的實(shí)例方法的流程圖。

圖13為展示根據(jù)本發(fā)明的技術(shù)的用于產(chǎn)生參數(shù)集的實(shí)例方法的流程圖。

具體實(shí)施方式

本發(fā)明描述用于視頻譯碼中的參數(shù)集的技術(shù)，且更特定來說，本發(fā)明描述有關(guān)于視頻參數(shù)集(vps)的技術(shù)。除vps外，參數(shù)集的其它實(shí)例包含(僅列舉一些)序列參數(shù)集(sps)、圖片參數(shù)集(pps)和調(diào)適參數(shù)集(aps)。

視頻編碼器對(duì)視頻數(shù)據(jù)進(jìn)行編碼。視頻數(shù)據(jù)可包含一或多個(gè)圖片，其中所述圖片中的每一者為形成視頻的部分的靜態(tài)圖像。當(dāng)視頻編碼器對(duì)視頻數(shù)據(jù)進(jìn)行編碼時(shí)，視頻編碼器產(chǎn)生位流，其包含形成視頻數(shù)據(jù)的經(jīng)譯碼表示的位的序列。所述位流可包含經(jīng)譯碼圖片和相關(guān)聯(lián)的數(shù)據(jù)，其中經(jīng)譯碼圖片指代圖片的經(jīng)譯碼表示。相關(guān)聯(lián)的數(shù)據(jù)可包含各種類型的參數(shù)集(包含vps、sps、pps和aps)，和可能的其它語(yǔ)法結(jié)構(gòu)。sps用以載運(yùn)對(duì)整個(gè)視頻序列有效的數(shù)據(jù)，而pps載運(yùn)基于逐圖片有效的信息。aps載運(yùn)圖片自適應(yīng)信息，圖片自適應(yīng)信息也基于逐圖片有效，但預(yù)期比pps中的信息更頻繁地改變。

hevc也已引入vps，hevc工作草案將vps描述如下：

視頻參數(shù)集(vps)：一語(yǔ)法結(jié)構(gòu)，其含有應(yīng)用于零個(gè)或多個(gè)完整的經(jīng)譯碼視頻序列的語(yǔ)法元素，完整的經(jīng)譯碼視頻序列由在seq_parameter_set_id語(yǔ)法元素所參考的序列參數(shù)集中發(fā)現(xiàn)的video_parameter_set_id語(yǔ)法元素的內(nèi)容確定，seq_parameter_set_id語(yǔ)法元素是在每一切片片段標(biāo)頭中所發(fā)現(xiàn)的pic_parameter_set_id語(yǔ)法元素所參考的圖片參數(shù)集中發(fā)現(xiàn)。

因此，由于vps應(yīng)用于完整的經(jīng)譯碼視頻序列，因此vps包含很少改變的語(yǔ)法元素。在hevc的一些版本中，vps、sps、pps和aps機(jī)制使很少改變的信息的發(fā)射與經(jīng)譯碼視頻塊數(shù)據(jù)的發(fā)射去耦。在一些應(yīng)用中，vps、sps、pps和aps可經(jīng)“帶外”遞送，即，不與含有經(jīng)譯碼視頻數(shù)據(jù)的單元一起輸送。帶外發(fā)射通常是可靠的，且相對(duì)于信道內(nèi)發(fā)射來說對(duì)改善可靠性可為需要的。在hevcwd7中，可針對(duì)每一參數(shù)集來譯碼vps、sps、pps或aps的識(shí)別符(id)。每一sps包含spsid和vpsid，每一pps包含ppsid和spsid，且每一切片標(biāo)頭包含ppsid且可能包含apsid。以此方式，可使用id來識(shí)別待在不同例子中使用的適當(dāng)參數(shù)集。

如上文所介紹，視頻編碼器通常對(duì)視頻數(shù)據(jù)進(jìn)行編碼，且解碼器通常對(duì)視頻數(shù)據(jù)進(jìn)行解碼。然而，編碼器和解碼器并非用于處理視頻數(shù)據(jù)的唯一裝置。當(dāng)視頻(例如)作為基于包的網(wǎng)絡(luò)(例如，局域網(wǎng)、廣域網(wǎng)或例如因特網(wǎng)的全球網(wǎng)絡(luò))的部分而輸送時(shí)，路由裝置和其它這些裝置可處理視頻數(shù)據(jù)以便將視頻數(shù)據(jù)從源遞送到目的地裝置。特殊路由裝置(有時(shí)被稱作媒體認(rèn)知網(wǎng)絡(luò)元件(mane))可基于視頻數(shù)據(jù)的內(nèi)容而執(zhí)行各種路由功能。為了確定視頻數(shù)據(jù)的內(nèi)容且執(zhí)行這些路由功能，mane可存取經(jīng)編碼位流中的信息，例如vps或sps中的信息。

在參數(shù)集中，一些語(yǔ)法元素是使用固定數(shù)目個(gè)位來譯碼，而一些語(yǔ)法元素是使用可變數(shù)目個(gè)位來譯碼。為了處理具有可變長(zhǎng)度的語(yǔ)法元素，裝置可需要熵解碼能力。然而，執(zhí)行熵解碼可引入對(duì)mane或其它網(wǎng)絡(luò)元件來說不合需要的一定程度的復(fù)雜性。根據(jù)本發(fā)明中所引入的一項(xiàng)技術(shù)，可將偏移語(yǔ)法元素包含于參數(shù)集(例如，vps)中，以便幫助網(wǎng)絡(luò)元件識(shí)別可在無任何熵解碼的情況下解碼的語(yǔ)法元素。固定長(zhǎng)度語(yǔ)法元素可在所述偏移語(yǔ)法元素之前。所述偏移語(yǔ)法元素可接著識(shí)別參數(shù)集中的待使用可變長(zhǎng)度語(yǔ)法元素加以譯碼的語(yǔ)法元素。通過使用所述偏移語(yǔ)法元素，裝置(例如，mane)可跳過經(jīng)可變長(zhǎng)度譯碼的語(yǔ)法元素且重新繼續(xù)處理固定長(zhǎng)度語(yǔ)法元素。所述偏移語(yǔ)法元素可通過識(shí)別所述參數(shù)集內(nèi)的待跳過的字節(jié)的數(shù)目來識(shí)別待跳過的語(yǔ)法元素。這些被跳過的字節(jié)可對(duì)應(yīng)于被跳過的語(yǔ)法元素。如上文所提到，被跳過的語(yǔ)法元素可包含經(jīng)可變長(zhǎng)度譯碼的語(yǔ)法元素且也可包含經(jīng)固定長(zhǎng)度譯碼的語(yǔ)法元素。

在此上下文中，跳過語(yǔ)法元素意味著mane可避免對(duì)以可變長(zhǎng)度譯碼的語(yǔ)法元素進(jìn)行剖析或其它處理。因此，mane可在不必執(zhí)行熵解碼的情況下處理vps中的一些語(yǔ)法元素(例如，固定長(zhǎng)度元素)，同時(shí)跳過可能另外需要熵解碼的某些語(yǔ)法元素。mane所跳過的語(yǔ)法元素不限于可變長(zhǎng)度語(yǔ)法元素，這是因?yàn)橐恍┕潭ㄩL(zhǎng)度語(yǔ)法元素在各種實(shí)例中也可被跳過。視頻解碼器可經(jīng)配置以在接收到所述偏移語(yǔ)法元素后即刻基本上忽略語(yǔ)法元素中的一或多者，此意味著所述視頻解碼器可避免剖析和處理mane所跳過的語(yǔ)法元素。

偏移語(yǔ)法元素的使用可(例如)通過消除對(duì)mane執(zhí)行熵解碼的需要來降低mane處理參數(shù)集的多個(gè)部分所需的復(fù)雜性。另外，如本發(fā)明中所建議，偏移語(yǔ)法元素的使用可使階層格式能夠用于參數(shù)集。作為階層格式的實(shí)例，在vps中，替代使用于基礎(chǔ)層和增強(qiáng)層的語(yǔ)法元素在vps內(nèi)互混，基礎(chǔ)層的所有或?qū)嵸|(zhì)上所有語(yǔ)法元素可在第一增強(qiáng)層的所有或?qū)嵸|(zhì)上所有語(yǔ)法元素之前，第一增強(qiáng)層的所有或?qū)嵸|(zhì)上所有語(yǔ)法元素又可在第二增強(qiáng)層的所有或?qū)嵸|(zhì)上所有語(yǔ)法元素之前，等等。通過使用本發(fā)明中所引入的偏移語(yǔ)法元素，mane可處理用于基礎(chǔ)層的數(shù)個(gè)固定長(zhǎng)度語(yǔ)法元素、跳過用于所述基礎(chǔ)層的數(shù)個(gè)可變長(zhǎng)度語(yǔ)法元素、處理用于第一增強(qiáng)層的數(shù)個(gè)固定長(zhǎng)度語(yǔ)法元素、跳過用于所述第一增強(qiáng)層的數(shù)個(gè)可變長(zhǎng)度語(yǔ)法元素、處理用于第二增強(qiáng)層的數(shù)個(gè)固定長(zhǎng)度語(yǔ)法元素，等等。視頻解碼器可經(jīng)配置以剖析并處理mane所跳過的語(yǔ)法元素。

偏移語(yǔ)法元素的使用可另外實(shí)現(xiàn)視頻譯碼標(biāo)準(zhǔn)的未來擴(kuò)展。舉例來說，即使將其它類型的經(jīng)可變長(zhǎng)度譯碼的信息添加到位流(例如，根據(jù)hevc的未來擴(kuò)展)，也可定義一或多個(gè)偏移語(yǔ)法元素以促進(jìn)跳過這些可變長(zhǎng)度元素。換句話說，所述一或多個(gè)偏移語(yǔ)法元素可用以識(shí)別所述位流內(nèi)的固定長(zhǎng)度語(yǔ)法元素的位置，且所述偏移語(yǔ)法元素可經(jīng)修改以說明所述位流中的任何其它元素的添加，(例如)mane可避免針對(duì)所述任何其它元素進(jìn)行解碼。

本發(fā)明另外建議將有關(guān)于會(huì)話協(xié)商的語(yǔ)法元素包含于視頻參數(shù)集中，與包含于例如sps的另一參數(shù)集中相對(duì)比。通過將有關(guān)于會(huì)話協(xié)商的語(yǔ)法元素包含于vps中，信令開銷可能夠尤其在vps描述用于視頻的多個(gè)層的信息(與僅用于單一層的信息相對(duì)比)時(shí)減少。此外，本發(fā)明建議將固定長(zhǎng)度語(yǔ)法元素用于會(huì)話協(xié)商語(yǔ)法元素，且固定長(zhǎng)度會(huì)話協(xié)商語(yǔ)法元素可位于任何可變長(zhǎng)度語(yǔ)法元素之前。為了處理可變長(zhǎng)度的語(yǔ)法元素，裝置需要能夠執(zhí)行熵解碼。然而，執(zhí)行熵解碼可能引入對(duì)mane來說不合需要的一定程度的復(fù)雜性。因此，通過使用存在于vps中的在任何可變長(zhǎng)度語(yǔ)法元素之前的固定長(zhǎng)度語(yǔ)法元素，mane可能夠在不必執(zhí)行熵解碼的情況下剖析用于會(huì)話協(xié)商的語(yǔ)法元素。

下文的表2展示可包含于vps中的會(huì)話協(xié)商相關(guān)語(yǔ)法元素的實(shí)例。用于會(huì)話協(xié)商的信息的實(shí)例包含識(shí)別簡(jiǎn)檔、層疊(tier)和層級(jí)的信息。hevc工作草案將簡(jiǎn)檔、層疊和層級(jí)描述如下：

“簡(jiǎn)檔”為此建議|國(guó)際標(biāo)準(zhǔn)所指定的完整位流語(yǔ)法的子集。在由給定簡(jiǎn)檔的語(yǔ)法強(qiáng)加的界限內(nèi)，仍可能取決于位流中的語(yǔ)法元素所選用的值(例如，經(jīng)解碼圖片的指定大小)而需要編碼器和解碼器的性能的極大變化。在許多應(yīng)用中，實(shí)施能夠處置特定簡(jiǎn)檔內(nèi)的語(yǔ)法的所有假想用途的解碼器目前既不實(shí)際也不經(jīng)濟(jì)。

為了處置此問題，在每一簡(jiǎn)檔內(nèi)指定“多個(gè)層疊”和“多個(gè)層級(jí)”。層疊的層級(jí)是強(qiáng)加于位流中的語(yǔ)法元素的值的約束的指定集合。這些約束可為對(duì)值的簡(jiǎn)單限制?；蛘撸淇刹捎脤?duì)值的算術(shù)組合的約束形式(例如，圖片寬度乘以圖片高度乘以每秒解碼的圖片數(shù)目)。為較低層疊指定的層級(jí)比為較高層疊指定的層級(jí)受更多約束。

在客戶端與mane之間的會(huì)話協(xié)商期間，客戶端可查詢?cè)趍ane處根據(jù)特定簡(jiǎn)檔、層級(jí)和/或?qū)盈B譯碼的視頻數(shù)據(jù)的可用性。mane可能夠剖析vsp的包含簡(jiǎn)檔、層級(jí)和層疊信息的第一部分(即，經(jīng)固定長(zhǎng)度譯碼的部分)。在mane處可用的操作點(diǎn)當(dāng)中，可由客戶端選擇適當(dāng)操作點(diǎn)，且mane可在會(huì)話經(jīng)協(xié)商之后將對(duì)應(yīng)包轉(zhuǎn)發(fā)到客戶端。

本發(fā)明另外建議將用于識(shí)別假想?yún)⒖冀獯a器(hrd)的語(yǔ)法元素包含于視頻參數(shù)集中，與包含于例如sps的另一參數(shù)集中相對(duì)比。所述hrd參數(shù)識(shí)別指定對(duì)確認(rèn)nal單元串流或確認(rèn)編碼程序可產(chǎn)生的字節(jié)串流的變化性的約束的假想解碼器模型。兩個(gè)類型的hrd參數(shù)集(nalhrd參數(shù)和vclhrd參數(shù))可包含于vps中。nalhrd參數(shù)涉及類型ii位流確認(rèn)，而vclhrd參數(shù)涉及所有位流確認(rèn)。hevc目前區(qū)分經(jīng)受hrd確認(rèn)的兩個(gè)類型的位流。第一類型的位流被稱作類型i位流且指代僅含有用于位流中的所有存取單元的vclnal單元和填充符數(shù)據(jù)nal單元的nal單元串流。第二類型的位流被稱作類型ii位流且含有用于位流中的所有存取單元的vclnal單元和填充數(shù)據(jù)nal單元加上其它類型的額外nal單元。

本發(fā)明的技術(shù)可在單層譯碼中應(yīng)用，也可應(yīng)用于可縮放和多視圖視頻譯碼。舉例來說，層可為空間可縮放層、質(zhì)量可縮放層、紋理視圖或深度視圖。在hevc中，層通常指代視頻譯碼層(vcl)nal單元和相關(guān)聯(lián)的非vclnal單元的集合，所述nal單元全部具有特定層id值。在第一層可含有較低層的意義上，層可為階層式的。有時(shí)使用層集合(layerset)來指代通過子位流提取過程從另一位流建立的位流內(nèi)所表示的層的集合。操作點(diǎn)通常指代通過對(duì)另一位流進(jìn)行子位流提取過程的操作而從另一位流建立的位流。操作點(diǎn)可包含層集合中的所有層或可為形成為所述層集合的子集的位流。

圖1為說明可利用本發(fā)明中所描述的技術(shù)的實(shí)例視頻編碼和解碼系統(tǒng)10的框圖。如圖1所展示，系統(tǒng)10包含源裝置12，其產(chǎn)生在稍后時(shí)間由目的地裝置14解碼的經(jīng)編碼視頻數(shù)據(jù)。經(jīng)編碼視頻數(shù)據(jù)可由媒體認(rèn)知網(wǎng)絡(luò)元件(mane)29從源裝置12路由到目的地裝置14。源裝置12和目的地裝置14可包括廣泛范圍的裝置中的任一者，包含桌上型計(jì)算機(jī)、筆記型(即，膝上型)計(jì)算機(jī)、平板計(jì)算機(jī)、機(jī)頂盒、例如所謂的“智能”電話的電話手持機(jī)、所謂的“智能”板、電視、相機(jī)、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺(tái)、視頻流式傳輸裝置，或其類似者。在一些情況下，源裝置12和目的地裝置14可為無線通信而裝備。

系統(tǒng)10可根據(jù)多個(gè)不同視頻譯碼標(biāo)準(zhǔn)、專屬標(biāo)準(zhǔn)或多視圖譯碼的任何其它方式而操作。舉例來說，視頻編碼器20和視頻解碼器30可根據(jù)例如包含以下各者的視頻壓縮標(biāo)準(zhǔn)而操作：itu-th.261、iso/iecmpeg-1visual、itu-th.262或iso/iecmpeg-2visual、itu-th.263、iso/iecmpeg-4visual和itu-th.264(也被稱為iso/iecmpeg-4avc)，包含標(biāo)準(zhǔn)的可縮放視頻譯碼(svc)和多視圖視頻譯碼(mvc)擴(kuò)展。mvc擴(kuò)展的新近公眾可得的聯(lián)合草案描述于“用于一般視聽服務(wù)的高級(jí)視頻譯碼(advancedvideocodingforgenericaudiovisualservices)”(itu-t建議h.264，2010年3月)中。mvc擴(kuò)展的更新近公眾可得的聯(lián)合草案描述于“用于一般視聽服務(wù)的高級(jí)視頻譯碼(advancedvideocodingforgenericaudiovisualservices)”(itu-t建議h.264，2011年6月)中。mvc擴(kuò)展的當(dāng)前聯(lián)合草案已從2012年1月起被核準(zhǔn)。

另外，存在新的視頻譯碼標(biāo)準(zhǔn)，即，目前由itu-t視頻譯碼專家組(vceg)和iso/iec動(dòng)畫專家組(mpeg)的視頻譯碼聯(lián)合工作小組(jct-vc)開發(fā)的高效視頻譯碼(hevc)標(biāo)準(zhǔn)。hevc的近期工作草案(wd)(且在下文中被稱為hevcwd7)可從2013年7月1起從http://phenix.int-evry.fr/jct/doc_end_user/documents/9_geneva/wg11/jctvc-i1003-v6.zip獲得。

hevc標(biāo)準(zhǔn)的開發(fā)在進(jìn)行中，且hevc的較新工作草案(wd)(被稱為hevcwd9)可從2013年7月1起從http://phenix.int-evry.fr/jct/doc_end_user/documents/11_shanghai/wg11/jctvc-k1003-v10.zip獲得。出于描述目的，將在hevc或h.264標(biāo)準(zhǔn)和這些標(biāo)準(zhǔn)的擴(kuò)展的上下文下描述視頻編碼器20和視頻解碼器30。然而，本發(fā)明的技術(shù)不限于任何特定譯碼標(biāo)準(zhǔn)。視頻壓縮標(biāo)準(zhǔn)的其它實(shí)例包含mpeg-2和itu-th.263。專屬譯碼技術(shù)(例如，被稱為on2vp6/vp7/vp8的譯碼技術(shù))也可實(shí)施本文中所描述的所述技術(shù)中的一或多者。即將到來的hevc標(biāo)準(zhǔn)的較新草案(被稱為“hevc工作草案10”或“hevcwd10”)描述于布羅斯(bross)等人的“對(duì)hevc版本1的編者建議修正(editors'proposedcorrectionstohevcversion1)”(itu-tsg16wp3和iso/iecjtc1/sc29/wg11的視頻譯碼聯(lián)合工作小組(jct-vc)，第13次會(huì)議，韓國(guó)仁川，2013年4月)中，所述較新草案從2013年7月1日起可從http://phenix.int-evry.fr/jct/doc_end_user/documents/13_incheon/wg11/jctvc-m0432-v3.zip獲得，其全部?jī)?nèi)容以引用的方式并入本文中。

本發(fā)明的技術(shù)可能可應(yīng)用于若干mvc和/或3d視頻譯碼標(biāo)準(zhǔn)，包含基于hevc的3d視頻譯碼(3d-hevc)。本發(fā)明的技術(shù)可能也可應(yīng)用于h.264/3d-avc和h.264/mvc+d視頻譯碼標(biāo)準(zhǔn)或其擴(kuò)展，以及其它譯碼標(biāo)準(zhǔn)。有時(shí)可參考或使用特定視頻譯碼標(biāo)準(zhǔn)的術(shù)語(yǔ)來描述本發(fā)明的技術(shù)；然而，不應(yīng)將此描述解釋為意味著所述所描述技術(shù)僅限于所述特定標(biāo)準(zhǔn)。

目的地裝置14可經(jīng)由鏈路16來接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。鏈路16可包括能夠?qū)⒔?jīng)編碼視頻數(shù)據(jù)從源裝置12移動(dòng)到目的地裝置14的任何類型的媒體或裝置。在一個(gè)實(shí)例中，鏈路16可包括通信媒體以使源裝置12能夠即時(shí)地將經(jīng)編碼視頻數(shù)據(jù)直接發(fā)射到目的地裝置14。可根據(jù)例如無線通信協(xié)議的通信標(biāo)準(zhǔn)來調(diào)制經(jīng)編碼視頻數(shù)據(jù)且將經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的地裝置14。通信媒體可包括任何無線或有線通信媒體，例如射頻(rf)頻譜或一或多個(gè)物理傳輸線。通信媒體可形成基于包的網(wǎng)絡(luò)(例如，局域網(wǎng)、廣域網(wǎng)，或例如因特網(wǎng)的全球網(wǎng)絡(luò))的部分。通信媒體可包含路由器、交換器、基站，或可用于促進(jìn)從源裝置12到目的地裝置14的通信的任何其它設(shè)備。鏈路16可包含將視頻數(shù)據(jù)從源裝置12路由到目的地裝置14的一或多個(gè)mane，例如mane29。

或者，經(jīng)編碼數(shù)據(jù)可從輸出接口22輸出到存儲(chǔ)裝置27。類似地，經(jīng)編碼數(shù)據(jù)可由輸入接口從存儲(chǔ)裝置27存取。存儲(chǔ)裝置27可包含多種分布式或本地存取的數(shù)據(jù)存儲(chǔ)媒體(例如，硬盤、藍(lán)光光盤(blu-raydisc)、dvd、cd-rom、快閃存儲(chǔ)器、易失性或非易失性存儲(chǔ)器，或用于存儲(chǔ)經(jīng)編碼視頻數(shù)據(jù)的任何其它合適數(shù)字存儲(chǔ)媒體)中的任一者。在另一實(shí)例中，存儲(chǔ)裝置27可對(duì)應(yīng)于可保留由源裝置12產(chǎn)生的經(jīng)編碼視頻的文件服務(wù)器或另一中間存儲(chǔ)裝置。目的地裝置14可經(jīng)由流式傳輸或下載而從存儲(chǔ)裝置27存取所存儲(chǔ)的視頻數(shù)據(jù)。文件服務(wù)器可為能夠存儲(chǔ)經(jīng)編碼視頻數(shù)據(jù)且將所述經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的地裝置14的任何類型的服務(wù)器。實(shí)例文件服務(wù)器包含網(wǎng)絡(luò)服務(wù)器(例如，用于網(wǎng)站)、ftp服務(wù)器、網(wǎng)絡(luò)附接存儲(chǔ)(nas)裝置或本地磁盤驅(qū)動(dòng)器。目的地裝置14可經(jīng)由任何標(biāo)準(zhǔn)數(shù)據(jù)連接(包含因特網(wǎng)連接)來存取經(jīng)編碼視頻數(shù)據(jù)。此數(shù)據(jù)連接可包含適合于存取存儲(chǔ)于文件服務(wù)器上的經(jīng)編碼視頻數(shù)據(jù)的無線信道(例如，wi-fi連接)、有線連接(例如，dsl、纜線調(diào)制解調(diào)器等)或兩者的組合。經(jīng)編碼視頻數(shù)據(jù)從存儲(chǔ)裝置27的發(fā)射可為流式傳輸發(fā)射、下載發(fā)射或兩者的組合。可使用一或多個(gè)mane(例如，mane29)將從存儲(chǔ)裝置27檢索的視頻數(shù)據(jù)路由到目的地裝置14。

本發(fā)明的技術(shù)未必限于無線應(yīng)用或設(shè)定。所述技術(shù)可應(yīng)用于支持多種多媒體應(yīng)用中的任一者的視頻譯碼，所述多媒體應(yīng)用例如空中(over-the-air)電視廣播、有線電視發(fā)射、衛(wèi)星電視發(fā)射、流式傳輸視頻發(fā)射(例如，經(jīng)由因特網(wǎng))、待存儲(chǔ)于數(shù)據(jù)存儲(chǔ)媒體上的數(shù)字視頻的編碼、存儲(chǔ)于數(shù)據(jù)存儲(chǔ)媒體上的數(shù)字視頻的解碼，或其它應(yīng)用。在一些實(shí)例中，系統(tǒng)10可經(jīng)配置以支持單向或雙向視頻發(fā)射以支持例如視頻流式傳輸、視頻播放、視頻廣播和/或視頻電話的應(yīng)用。

在圖1的實(shí)例中，源裝置12包含視頻源18、視頻編碼器20和輸出接口22。視頻編碼器20可(例如)產(chǎn)生本發(fā)明中所描述的偏移語(yǔ)法。在一些情況下，輸出接口22可包含調(diào)制器/解調(diào)器(調(diào)制解調(diào)器)和/或發(fā)射器。在源裝置12中，視頻源18可包含例如以下各者的源：視頻俘獲裝置(例如，攝像機(jī))、含有先前所俘獲的視頻的視頻存檔、用以從視頻內(nèi)容提供者接收視頻的視頻饋送接口，和/或用于產(chǎn)生作為源視頻的計(jì)算機(jī)圖形數(shù)據(jù)的計(jì)算機(jī)圖形系統(tǒng)，或這些源的組合。作為一個(gè)實(shí)例，如果視頻源18為攝像機(jī)，則源裝置12和目的地裝置14可形成所謂的相機(jī)電話或視頻電話。然而，一般來說，本發(fā)明中所描述的所述技術(shù)可適用于視頻譯碼，且可應(yīng)用于無線和/或有線應(yīng)用。

經(jīng)俘獲、經(jīng)預(yù)先俘獲或計(jì)算機(jī)產(chǎn)生的視頻可由視頻編碼器12來編碼。經(jīng)編碼視頻數(shù)據(jù)可經(jīng)由源裝置20的輸出接口22直接發(fā)射到目的地裝置14。經(jīng)編碼視頻數(shù)據(jù)也可(或替代地)存儲(chǔ)到存儲(chǔ)裝置27上以便由目的地裝置14或其它裝置稍后存取以用于解碼和/或播放。

目的地裝置14包含輸入接口28、視頻解碼器30和顯示裝置32。視頻解碼器30可剖析本發(fā)明中所描述的偏移語(yǔ)法元素。如上所述，視頻解碼器30可在一些例子中忽略偏移語(yǔ)法元素，因此使視頻解碼器30能夠剖析由mane跳過的語(yǔ)法元素。在一些情況下，輸入接口28可包含接收器和/或調(diào)制解調(diào)器。目的地裝置14的輸入接口28經(jīng)由鏈路16接收經(jīng)編碼視頻數(shù)據(jù)。經(jīng)由鏈路16傳達(dá)或在存儲(chǔ)裝置27上提供的經(jīng)編碼視頻數(shù)據(jù)可包含由視頻編碼器20產(chǎn)生的多種語(yǔ)法元素，其供例如視頻解碼器30的視頻解碼器在解碼視頻數(shù)據(jù)時(shí)使用。這些語(yǔ)法元素可包含于在通信媒體上發(fā)射、存儲(chǔ)于存儲(chǔ)媒體上或存儲(chǔ)于文件服務(wù)器上的經(jīng)編碼視頻數(shù)據(jù)中。

顯示裝置32可與目的地裝置14集成或在目的地裝置14外部。在一些實(shí)例中，目的地裝置14可包含集成式顯示裝置且也可經(jīng)配置以與外部顯示裝置介接。在其它實(shí)例中，目的地裝置14可為顯示裝置。一般來說，顯示裝置32向用戶顯示經(jīng)解碼視頻數(shù)據(jù)，且可包括多種顯示裝置中的任一者，例如液晶顯示器(lcd)、等離子顯示器、有機(jī)發(fā)光二極管(oled)顯示器或另一類型的顯示裝置。

雖然圖1中未展示，但在一些方面中，視頻編碼器20和視頻解碼器30可各自與音頻編碼器和解碼器集成，且可包含適當(dāng)mux-demux單元或其它硬件和軟件以處置共同數(shù)據(jù)串流或單獨(dú)數(shù)據(jù)串流中的音頻和視頻兩者的編碼。如果適用，則在一些實(shí)例中，mux-demux單元可遵照ituh.223多路復(fù)用器協(xié)議或例如用戶數(shù)據(jù)報(bào)協(xié)議(udp)的其它協(xié)議。

視頻編碼器器20和視頻解碼器30可各自實(shí)施為多種合適編碼器電路中的任一者，例如一或多個(gè)微處理器、數(shù)字信號(hào)處理器(dsp)、專用集成電路(asic)、現(xiàn)場(chǎng)可編程門陣列(fpga)、離散邏輯、軟件、硬件、固件或其任何組合。當(dāng)所述技術(shù)部分地以軟件實(shí)施時(shí)，裝置可將用于軟件的指令存儲(chǔ)于合適的非暫時(shí)性計(jì)算機(jī)可讀媒體中，且在硬件中使用一或多個(gè)處理器來執(zhí)行所述指令以執(zhí)行本發(fā)明的技術(shù)。視頻編碼器20和視頻解碼器30中的每一者可包含于一或多個(gè)編碼器或解碼器中，其中的任一者可集成為相應(yīng)裝置中的組合式編碼器/解碼器(編解碼器(codec))的部分。

jct-vc致力于hevc標(biāo)準(zhǔn)的開發(fā)。hevc標(biāo)準(zhǔn)化努力是基于視頻譯碼裝置的演進(jìn)模型，其被稱為hevc測(cè)試模型(hm)。hm根據(jù)(例如)itu-th.264/avc來假定視頻譯碼裝置相對(duì)于現(xiàn)有裝置的若干額外能力。舉例來說，h.264提供九個(gè)幀內(nèi)預(yù)測(cè)編碼模式，而hm可提供多達(dá)三十三個(gè)幀內(nèi)預(yù)測(cè)編碼模式。

一般來說，hm的工作模型描述：視頻幀或圖片可劃分成包含亮度樣本和色度樣本兩者的樹塊或最大譯碼單元(lcu)的序列。樹塊具有與h.264標(biāo)準(zhǔn)的宏塊的目的類似的目的。切片以譯碼次序包含數(shù)個(gè)連續(xù)樹塊?？蓪⒁曨l幀或圖片分割成一或多個(gè)切片。每一樹塊可根據(jù)四叉樹而分裂成多個(gè)譯碼單元(cu)。舉例來說，作為四叉樹的根節(jié)點(diǎn)，樹塊可分裂成四個(gè)子代節(jié)點(diǎn)，且每一子代節(jié)點(diǎn)又可為親代節(jié)點(diǎn)且可分裂成另外四個(gè)子代節(jié)點(diǎn)。作為四叉樹的葉節(jié)點(diǎn)，最后未分裂的子代節(jié)點(diǎn)包括譯碼節(jié)點(diǎn)，即，經(jīng)譯碼視頻塊。與經(jīng)譯碼位流相關(guān)聯(lián)的語(yǔ)法數(shù)據(jù)可定義樹塊可分裂的最大次數(shù)，且也可定義譯碼節(jié)點(diǎn)的最小大小。

cu包含譯碼節(jié)點(diǎn)和與譯碼節(jié)點(diǎn)相關(guān)聯(lián)的多個(gè)預(yù)測(cè)單元(pu)和變換單元(tu)。cu的大小對(duì)應(yīng)于譯碼節(jié)點(diǎn)的大小且形狀必須為正方形。cu的大小的范圍可從8×8像素直到具有最大64×64像素或大于64×64像素的樹塊的大小。每一cu可含有一或多個(gè)pu和一或多個(gè)tu。與cu相關(guān)聯(lián)的語(yǔ)法數(shù)據(jù)可描述(例如)cu到一或多個(gè)pu的分割。分割模式可視cu是經(jīng)跳過或直接模式編碼、經(jīng)幀內(nèi)預(yù)測(cè)模式編碼還是經(jīng)幀間預(yù)測(cè)模式編碼而不同。pu的形狀可分割成非正方形。與cu相關(guān)聯(lián)的語(yǔ)法數(shù)據(jù)也可描述(例如)cu根據(jù)四叉樹到一或多個(gè)tu的分割。tu的形狀可為正方形或非正方形。

hevc標(biāo)準(zhǔn)允許根據(jù)tu的變換，所述變換對(duì)于不同cu可不同。通常基于針對(duì)經(jīng)分割lcu定義的給定cu內(nèi)的pu的大小來設(shè)定tu大小，但情況可能并非始終如此。tu通常與pu大小相同或小于pu。在一些實(shí)例中，可使用被稱為“殘余四叉樹”(rqt)的四叉樹結(jié)構(gòu)而將對(duì)應(yīng)于cu的殘余樣本再分為多個(gè)較小單元。rqt的葉節(jié)點(diǎn)可被稱為變換單元(tu)?？勺儞Q與tu相關(guān)聯(lián)的像素差值以產(chǎn)生可被量化的變換系數(shù)。

一般來說，pu包含有關(guān)于預(yù)測(cè)過程的數(shù)據(jù)。舉例來說，當(dāng)pu經(jīng)幀內(nèi)模式編碼時(shí)，pu可包含描述pu的幀內(nèi)預(yù)測(cè)模式的數(shù)據(jù)。作為另一實(shí)例，當(dāng)pu經(jīng)幀間模式編碼時(shí)，pu可包含描述定義pu的運(yùn)動(dòng)向量的數(shù)據(jù)。定義pu的運(yùn)動(dòng)向量的數(shù)據(jù)可描述(例如)運(yùn)動(dòng)向量的水平分量、運(yùn)動(dòng)向量的垂直分量、運(yùn)動(dòng)向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、運(yùn)動(dòng)向量所指向的參考圖片和/或運(yùn)動(dòng)向量的參考圖片列表(例如，列表0、列表1或列表c)。

一般來說，tu用于變換過程和量化過程。具有一或多個(gè)pu的給定cu也可包含一或多個(gè)變換單元(tu)。在預(yù)測(cè)之后，視頻編碼器20可計(jì)算對(duì)應(yīng)于pu的殘余值。殘余值包括像素差值，可使用tu將所述值變換成變換系數(shù)、量化且掃描以產(chǎn)生用于熵譯碼的串行化變換系數(shù)。本發(fā)明通常使用術(shù)語(yǔ)“視頻塊”來指代cu的譯碼節(jié)點(diǎn)。在一些特定情況下，本發(fā)明也可使用術(shù)語(yǔ)“視頻塊”來指代包含譯碼節(jié)點(diǎn)和多個(gè)pu和多個(gè)tu的樹塊(即，lcu或cu)。

視頻序列通常包含一系列視頻幀或圖片。圖片群組(gop)通常包括一系列一或多個(gè)視頻圖片。gop可在gop的標(biāo)頭中、圖片中的一或多者的標(biāo)頭中的或在別處包含描述包含于gop中的圖片的數(shù)目的語(yǔ)法數(shù)據(jù)。圖片的每一切片可包含描述相應(yīng)切片的編碼模式的切片語(yǔ)法數(shù)據(jù)。視頻編碼器20通常對(duì)個(gè)別視頻切片內(nèi)的視頻塊進(jìn)行操作以便編碼視頻數(shù)據(jù)。視頻塊可對(duì)應(yīng)于cu內(nèi)的譯碼節(jié)點(diǎn)。視頻塊可具有固定或變化的大小，且可根據(jù)指定譯碼標(biāo)準(zhǔn)而在大小方面不同。

作為一實(shí)例，hm支持以各種pu大小進(jìn)行預(yù)測(cè)。假定特定cu的大小為2n×2n，則hm支持以2n×2n或n×n的pu大小進(jìn)行幀內(nèi)預(yù)測(cè)，和以2n×2n、2n×n、n×2n或n×n的對(duì)稱pu大小進(jìn)行幀間預(yù)測(cè)。hm也支持不對(duì)稱分割以按2n×nu、2n×nd、nl×2n和nr×2n的pu大小進(jìn)行幀間預(yù)測(cè)。在不對(duì)稱分割中，cu的一個(gè)方向未分割，而另一方向分割成25％和75％。cu的對(duì)應(yīng)于25％分割的部分由“n”跟隨有“上”、“下”、“左”或“右”的指示來指示。因此，例如，“2n×nu”指代在水平方向上以頂部2n×0.5npu和底部2n×1.5npu分割的2n×2ncu。

在本發(fā)明中，“n×n”與“n乘n”可互換地使用以指代視頻塊在垂直尺寸和水平尺寸上的像素尺寸，例如，16×16像素或16乘16像素。一般來說，16×16塊將在垂直方向上具有16個(gè)像素(y＝16)，且在水平方向上具有16個(gè)像素(x＝16)。同樣，n×n塊通常在垂直方向上具有n個(gè)像素，且在水平方向上具有n個(gè)像素，其中n表示非負(fù)整數(shù)值?？砂葱泻土衼砼渲脡K中的像素。此外，塊未必需要在水平方向上與在垂直方向上具有相同數(shù)目個(gè)像素。舉例來說，塊可包括n×m個(gè)像素，其中m未必等于n。

在使用cu的pu進(jìn)行的幀內(nèi)預(yù)測(cè)性或幀間預(yù)測(cè)性譯碼后，視頻編碼器20可計(jì)算cu的tu的殘余數(shù)據(jù)。pu可包括空間域(也被稱為像素域)中的像素?cái)?shù)據(jù)，且tu可在對(duì)殘余視頻數(shù)據(jù)應(yīng)用變換(例如，離散余弦變換(dct)、整數(shù)變換、小波變換或概念上類似的變換)后包括變換域中的系數(shù)。殘余數(shù)據(jù)可對(duì)應(yīng)于未經(jīng)編碼圖片的像素與對(duì)應(yīng)于pu的預(yù)測(cè)值之間的像素差。視頻編碼器20可形成包含cu的殘余數(shù)據(jù)的tu，且接著變換所述tu以產(chǎn)生cu的變換系數(shù)。

在用以產(chǎn)生變換系數(shù)的任何變換之后，視頻編碼器20可執(zhí)行變換系數(shù)的量化。量化通常指代如下過程：將變換系數(shù)量化以可能減少用以表示所述系數(shù)的數(shù)據(jù)的量，從而提供進(jìn)一步壓縮。所述量化過程可減小與所述系數(shù)中的一些或所有相關(guān)聯(lián)的位深度。舉例來說，在量化期間可將n位值舍入到m位值，其中n大于m。

在一些實(shí)例中，視頻編碼器20可利用預(yù)定義掃描次序來掃描經(jīng)量化的變換系數(shù)以產(chǎn)生可加以熵編碼的串行化向量。在其它實(shí)例中，視頻編碼器20可執(zhí)行自適應(yīng)掃描。在掃描所述經(jīng)量化的變換系數(shù)以形成一維向量之后，視頻編碼器20可(例如)根據(jù)上下文自適應(yīng)可變長(zhǎng)度譯碼(cavlc)、上下文自適應(yīng)二進(jìn)制算術(shù)譯碼(cabac)、基于語(yǔ)法的上下文自適應(yīng)二進(jìn)制算術(shù)譯碼(sbac)、概率區(qū)間分割熵(pipe)譯碼或另一熵編碼方法而熵編碼所述一維向量。視頻編碼器20也可熵編碼與經(jīng)編碼視頻數(shù)據(jù)相關(guān)聯(lián)的語(yǔ)法元素以供視頻解碼器30在解碼視頻數(shù)據(jù)時(shí)使用。

為了執(zhí)行cabac，視頻編碼器20可將上下文模型內(nèi)的上下文指派給待發(fā)射的符號(hào)。所述上下文可能涉及(例如)符號(hào)的相鄰值是否為非零。為了執(zhí)行cavlc，視頻編碼器20可針對(duì)待發(fā)射的符號(hào)選擇可變長(zhǎng)度碼?？山?gòu)vlc中的碼字使得相對(duì)較短的碼對(duì)應(yīng)于更有可能的符號(hào)，而較長(zhǎng)碼對(duì)應(yīng)于較不可能的符號(hào)。以此方式，使用vlc可實(shí)現(xiàn)位節(jié)省(與(例如)針對(duì)待發(fā)射的每一符號(hào)使用相等長(zhǎng)度碼字相比較)。概率確定可基于指派給符號(hào)的上下文。

本發(fā)明描述用于包含視頻參數(shù)集和序列參數(shù)集兩者的參數(shù)集的設(shè)計(jì)方法，所述設(shè)計(jì)方法可以相互兼容方式應(yīng)用于單層譯碼以及可縮放和多視圖譯碼中。多視圖視頻譯碼(mvc)為h.264/avc的擴(kuò)展。將在下文簡(jiǎn)要地論述mvc規(guī)范。

圖2為說明根據(jù)本發(fā)明中所描述的一或多個(gè)實(shí)例的實(shí)例mvc編碼或解碼次序的圖形圖(graphicaldiagram)。舉例來說，將圖2中所說明的解碼次序配置稱為時(shí)間優(yōu)先譯碼。在圖2中，s0到s7各自指代多視圖視頻的不同視圖。t0到t8各自表示一個(gè)輸出時(shí)間實(shí)例。存取單元可包含一個(gè)輸出時(shí)間實(shí)例的所有視圖的經(jīng)譯碼圖片。舉例來說，第一存取單元包含時(shí)間實(shí)例t0的所有視圖s0到s7(即，圖片0到7)，第二存取單元包含時(shí)間實(shí)例t1的所有視圖s0到s7(即，圖片8到15)，等等。在此實(shí)例中，圖片0到7在同一時(shí)間實(shí)例(即，時(shí)間實(shí)例t0)，圖片8到15在同一時(shí)間實(shí)例(即，時(shí)間實(shí)例t1)。通常同時(shí)顯示具有相同時(shí)間實(shí)例的圖片，且同一時(shí)間實(shí)例的圖片內(nèi)的對(duì)象之間的水平視差和可能的某一垂直視差使觀看者感知涵蓋3d體積的圖像。

在圖2中，視圖中的每一者包含圖片的集合。舉例來說，視圖s0包含圖片0、8、16、24、32、40、48、56和64的集合，視圖s1包含圖片1、9、17、25、33、41、49、57和65的集合，等等。每一集合包含兩個(gè)圖片：一個(gè)圖片被稱為紋理視圖分量，且另一圖片被稱為深度視圖分量?？蓪⒁晥D的圖片的集合內(nèi)的紋理視圖分量和深度視圖分量視為彼此對(duì)應(yīng)。舉例來說，可將視圖的圖片的集合內(nèi)的紋理視圖分量視為對(duì)應(yīng)于所述視圖的所述圖片的所述集合內(nèi)的深度視圖分量，且反之亦然(即，深度視圖分量對(duì)應(yīng)于所述集合中的其紋理視圖分量，且反之亦然)。如本發(fā)明中所使用，可將紋理視圖分量和對(duì)應(yīng)的深度視圖分量視為單一存取單元的同一視圖的部分。

紋理視圖分量包含所顯示的實(shí)際圖像內(nèi)容。舉例來說，紋理視圖分量可包含亮度(y)和色度(cb和cr)分量。深度視圖分量可指示像素在其對(duì)應(yīng)紋理視圖分量中的相對(duì)深度。作為一個(gè)實(shí)例，深度視圖分量可類似于僅包含亮度值的灰度級(jí)圖像。換句話說，深度視圖分量可不遞送任何圖像內(nèi)容，而是提供像素在紋理視圖分量中的相對(duì)深度的量度。

舉例來說，深度視圖分量中的對(duì)應(yīng)于純白色像素的像素值可指示：對(duì)應(yīng)紋理視圖分量中的其一或多個(gè)對(duì)應(yīng)像素離觀看者的視點(diǎn)較近；且深度視圖分量中的對(duì)應(yīng)于純黑色像素的像素值可指示：對(duì)應(yīng)紋理視圖分量中的其一或多個(gè)對(duì)應(yīng)像素離觀看者的視點(diǎn)較遠(yuǎn)。對(duì)應(yīng)于黑色與白色之間的各種灰色陰影的像素值指示不同深度水平。舉例來說，深度視圖分量中的極灰色像素指示紋理視圖分量中的其對(duì)應(yīng)像素比深度視圖分量中的輕微灰色像素離得更遠(yuǎn)。因?yàn)轭愃朴诨叶燃?jí)，僅需要一個(gè)像素值來識(shí)別像素的深度，所以深度視圖分量可僅包含一個(gè)像素值。因此，當(dāng)對(duì)深度進(jìn)行譯碼時(shí)不需要類似于色度分量的值。

出于說明目的而提供僅使用亮度值(例如，強(qiáng)度值)來識(shí)別深度的深度視圖分量，且不應(yīng)將深度視圖分量視為限制性的。在其它實(shí)例中，可利用任何技術(shù)來指示像素在紋理視圖分量中的相對(duì)深度。

根據(jù)mvc，紋理視圖分量是根據(jù)同一視圖中的紋理視圖分量或根據(jù)一或多個(gè)不同視圖中的紋理視圖分量而幀間預(yù)測(cè)?？梢砸曨l數(shù)據(jù)的塊譯碼紋理視圖分量，所述塊可被稱為“視頻塊”且在h.264上下文中通常被稱作為“宏塊”。

在mvc中，視圖間預(yù)測(cè)由視差運(yùn)動(dòng)補(bǔ)償支持，視差運(yùn)動(dòng)補(bǔ)償使用h.264/avc運(yùn)動(dòng)補(bǔ)償?shù)恼Z(yǔ)法，但允許將不同視圖中的圖片用作為用于預(yù)測(cè)正譯碼的圖片的參考圖片。兩個(gè)視圖的譯碼也可由mvc支持。mvc的一個(gè)潛在優(yōu)點(diǎn)為mvc編碼器可將兩個(gè)以上視圖視為3d視頻輸入，且mvc解碼器可解碼所俘獲視頻的此多視圖表示。具有mvc解碼器的任何再現(xiàn)器(renderer)可處理具有兩個(gè)以上視圖的3d視頻內(nèi)容。

在mvc中，允許同一存取單元中(即，具有相同時(shí)間實(shí)例)的圖片之間的視圖間預(yù)測(cè)。當(dāng)對(duì)非基本視圖中的圖片進(jìn)行譯碼時(shí)，如果圖片在不同視圖中但具有相同視圖實(shí)例，則可將所述圖片添加到參考圖片中。正如任何幀間預(yù)測(cè)參考圖片，視圖間預(yù)測(cè)參考圖片可置入?yún)⒖紙D片列表的任何位置中。

圖3為說明實(shí)例mvc預(yù)測(cè)模式的概念圖。在圖3的實(shí)例中，說明八個(gè)視圖(具有視圖id“s0”到“s7”)，且針對(duì)每一視圖說明十二個(gè)時(shí)間位置(“t0”到“t11”)。即，圖3中的每一行對(duì)應(yīng)于一視圖，而每一列指示一時(shí)間位置。在圖3的實(shí)例中，大寫“b”和小寫“b”用以指示圖片之間的不同階層關(guān)系，而非不同譯碼方法。一般來說，大寫“b”圖片在預(yù)測(cè)階層中相對(duì)高于小寫“b”幀。

在圖3中，可將視圖s0視為基本視圖，且可將視圖s1到s7視為相依視圖?；疽晥D包含并非經(jīng)視圖間預(yù)測(cè)的圖片?；疽晥D中的圖片可相對(duì)于同一視圖中的其它圖片進(jìn)行幀間預(yù)測(cè)。舉例來說，視圖s0中無圖片可相對(duì)于視圖s1到s7中的任一者中的圖片進(jìn)行幀間預(yù)測(cè)，但視圖s0中的圖片中的一些可相對(duì)于視圖s0中的其它圖片進(jìn)行幀間預(yù)測(cè)。

相依視圖包含經(jīng)視圖間預(yù)測(cè)的圖片。舉例來說，視圖s1到s7中的每一視圖包含相對(duì)于另一視圖中的圖片進(jìn)行幀間預(yù)測(cè)的至少一個(gè)圖片。相依視圖中的圖片可相對(duì)于基本視圖中的圖片進(jìn)行幀間預(yù)測(cè)，或可相對(duì)于其它相依視圖中的圖片進(jìn)行幀間預(yù)測(cè)。

包含基本視圖和一或多個(gè)相依視圖兩者的視頻串流可能可由不同類型的視頻解碼器來解碼。舉例來說，一個(gè)基本類型的視頻解碼器可經(jīng)配置以僅解碼基本視圖。另外，另一類型的視頻解碼器可經(jīng)配置以解碼視圖s0到s7中的每一者。可將經(jīng)配置以解碼基本視圖和相依視圖兩者的解碼器稱為支持多視圖譯碼的解碼器。

在圖3中的每一行與每一列的相交處指示圖3中的圖片。具有mvc擴(kuò)展的h.264/avc標(biāo)準(zhǔn)可使用術(shù)語(yǔ)幀來表示視頻的一部分，而hevc標(biāo)準(zhǔn)可使用術(shù)語(yǔ)圖片來表示視頻的一部分。本發(fā)明可互換地使用術(shù)語(yǔ)圖片和幀。

圖3中的圖片是使用包含字母的陰影塊說明，所述字母指示對(duì)應(yīng)圖片是經(jīng)幀內(nèi)譯碼(即，i圖片)、在一個(gè)方向上經(jīng)幀間譯碼(即，作為p圖片)還是在多個(gè)方向上經(jīng)幀間譯碼(即，作為b圖片)。一般來說，通過箭頭來指示預(yù)測(cè)，其中箭頭所指向的圖片將箭頭所指出的圖片用于預(yù)測(cè)參考。舉例來說，視圖s2的在時(shí)間位置t0處的p圖片是從視圖s0的在時(shí)間位置t0處的i圖片來預(yù)測(cè)。

如同單視圖視頻編碼，可相對(duì)于不同時(shí)間位置處的圖片對(duì)多視圖視頻譯碼視頻序列的圖片進(jìn)行預(yù)測(cè)性編碼。舉例來說，視圖s0的在時(shí)間位置t1處的b圖片具有從視圖s0的在時(shí)間位置t0處的i圖片指向所述b圖片的箭頭，此情形指示所述b圖片是從所述i圖片預(yù)測(cè)。然而，另外，在多視圖視頻編碼的上下文中，可以視圖間方式預(yù)測(cè)圖片。即，視圖分量(即，紋理視圖分量)可使用其它視圖中的視圖分量用于參考。在mvc中，例如，實(shí)現(xiàn)視圖間預(yù)測(cè)，如同另一視圖中的視圖分量為幀間預(yù)測(cè)參考?？赡艿囊晥D間參考是在序列參數(shù)集(sps)mvc擴(kuò)展中用信號(hào)表示且可通過參考圖片列表建構(gòu)過程加以修改，所述過程能夠?qū)崿F(xiàn)幀間預(yù)測(cè)或視圖間預(yù)測(cè)參考的靈活排序。

圖3提供視圖間預(yù)測(cè)的各種實(shí)例。在圖3的實(shí)例中，將視圖s1的圖片說明為從視圖s1的在不同時(shí)間位置處的圖片來預(yù)測(cè)，以及從視圖s0和s2的在相同時(shí)間位置處的圖片以視圖間方式預(yù)測(cè)。舉例來說，視圖s1在時(shí)間位置t1處的b圖片是從視圖s1的在時(shí)間位置t0和t2處的b圖片以及視圖s0和s2在時(shí)間位置t1處的b圖片中的每一者來預(yù)測(cè)。

圖3還說明使用不同陰影水平的預(yù)測(cè)階層的變化，其中較大量陰影(即，相對(duì)較暗)幀在預(yù)測(cè)階層中高于具有較少陰影的(即，相對(duì)較亮)幀。舉例來說，用全陰影說明圖3中的所有i圖片，而p圖片具有稍微較亮的陰影，且b圖片(和小寫b圖片)相對(duì)于彼此具有各種陰影水平，但始終比p圖片和i圖片的陰影亮。

一般來說，預(yù)測(cè)階層可有關(guān)于視圖次序索引，有關(guān)之處在于：在預(yù)測(cè)階層中相對(duì)較高的圖片應(yīng)在階層中相對(duì)較低的圖片之前進(jìn)行解碼。在階層中相對(duì)較高的那些圖片可在階層中相對(duì)較低的圖片的解碼期間用作參考圖片。視圖次序索引為指示存取單元中的視圖分量的解碼次序的索引。如h.264/avc的附錄h(mvc修正)中所指定，視圖次序索引暗示于序列參數(shù)集(sps)mvc擴(kuò)展中。在sps中，對(duì)于每一索引i，用信號(hào)表示對(duì)應(yīng)view_id。視圖分量的解碼可遵循視圖次序索引的遞升次序。如果呈現(xiàn)所有視圖，則視圖次序索引將為從0到num_views_minus_1的連續(xù)次序。

以此方式，用作參考圖片的圖片是在取決于參考圖片的圖片之前經(jīng)解碼。視圖次序索引為指示存取單元中的視圖分量的解碼次序的索引。對(duì)于每一視圖次序索引i，用信號(hào)表示對(duì)應(yīng)view_id。視圖分量的解碼遵循視圖次序索引的遞升次序。如果呈現(xiàn)所有視圖，則視圖次序索引的集合可包括從零到比視圖的全部數(shù)目小1的連續(xù)排序集合。

對(duì)于處于階層的相同層級(jí)的特定圖片，解碼次序相對(duì)于彼此來說可能并不重要。舉例來說，可使用視圖s0的在時(shí)間位置t0處的i圖片作為視圖s2的在時(shí)間位置t0處的p圖片的參考圖片，視圖s2的在時(shí)間位置t0處的p圖片又被用作視圖s4的在時(shí)間位置t0處的p圖片的參考圖片。因此，視圖s0的在時(shí)間位置t0處的i圖片應(yīng)在視圖s2的在時(shí)間位置t0處的p圖片之前解碼，視圖s2的在時(shí)間位置t0處的p圖片又應(yīng)在視圖s4的在時(shí)間位置t0處的p圖片之前解碼。然而，在視圖s1與視圖s3之間，解碼次序并不重要，這是因?yàn)橐晥Ds1和視圖s3并不依賴于彼此來預(yù)測(cè)。實(shí)際上，視圖s1和s3僅從在預(yù)測(cè)階層中較高的其它視圖來預(yù)測(cè)。此外，可在視圖s4之前解碼視圖s1，只要視圖s1在視圖s0和視圖s2之后解碼即可。

以此方式，階層排序可用以描述視圖s0到視圖s7。在本發(fā)明中，記法“sa>sb”意味著視圖sa應(yīng)在視圖sb之前進(jìn)行解碼。通過使用此記法，在圖2的實(shí)例中，s0>s2>s4>s6>s7。又，相對(duì)于圖2的實(shí)例，s0>s1、s2>s1、s2>s3、s4>s3、s4>s5且s6>s5。不違反此階層排序的用于視圖的任何解碼次序是可能的。因此，許多不同解碼次序是可能的，但具有基于階層排序的限制。

現(xiàn)將描述spsmvc擴(kuò)展。視圖分量可使用其它視圖中的視圖分量用于參考，此情形被稱作視圖間預(yù)測(cè)。在mvc中，實(shí)現(xiàn)視圖間預(yù)測(cè)，如同另一視圖中的視圖分量為幀間預(yù)測(cè)參考。然而，可能的視圖間參考是在序列參數(shù)集(sps)mvc擴(kuò)展中用信號(hào)表示(如以下語(yǔ)法表表1中所展示)且可通過參考圖片列表建構(gòu)過程加以修改，所述過程能夠?qū)崿F(xiàn)幀間預(yù)測(cè)或視圖間預(yù)測(cè)參考的靈活排序。視頻編碼器20表示經(jīng)配置以產(chǎn)生如表1中所展示的語(yǔ)法的視頻編碼器的實(shí)例，且視頻解碼器30表示經(jīng)配置以剖析并處理此語(yǔ)法的視頻解碼器的實(shí)例。

表1

在spsmvc擴(kuò)展中，對(duì)于每一視圖，用信號(hào)表示可用以形成參考圖片列表0和參考圖片列表1的視圖的數(shù)目。如在spsmvc擴(kuò)展中用信號(hào)表示，用于錨定圖片的預(yù)測(cè)關(guān)系可不同于用于同一視圖的非錨定圖片(在spsmvc擴(kuò)展中用信號(hào)表示)的預(yù)測(cè)關(guān)系。

現(xiàn)將描述用于hevc的參數(shù)集。在hevcwd7中，hevc中的視頻、序列、圖片和調(diào)適參數(shù)集機(jī)制使很少改變的信息的發(fā)射與經(jīng)譯碼塊數(shù)據(jù)的發(fā)射去耦。在一些應(yīng)用中，視頻、序列、圖片和調(diào)適參數(shù)集可經(jīng)“帶外”遞送，即，不與含有經(jīng)譯碼視頻數(shù)據(jù)的單元一起輸送。帶外發(fā)射通常為可靠的。

在hevcwd7中，使用可變長(zhǎng)度語(yǔ)法元素“ue(v)”來譯碼視頻序列參數(shù)集(vps)、序列參數(shù)集(sps)、圖片參數(shù)集(pps)或調(diào)適參數(shù)集(aps)的識(shí)別符。每一sps包含spsid和vpsid，每一pps包含ppsid和spsid，且每一切片標(biāo)頭包含ppsid且可能包含apsid。

雖然在hevcwd7中支持視頻參數(shù)集(vps)，但大多數(shù)序列層級(jí)信息參數(shù)仍僅存在于sps中。存在wd7的vps設(shè)計(jì)的若干問題或可能缺陷。作為一個(gè)實(shí)例，sps中所含的相當(dāng)大量的信息對(duì)于所有sps可能相同或?qū)τ谥辽賰蓚€(gè)sps可能相同。復(fù)制sps中的此信息需要較高帶寬。所述參數(shù)集(至少包含vps、sps和pps)可能需要在帶外用信號(hào)表示。如果在帶內(nèi)用信號(hào)表示，則此位速率增加對(duì)于隨機(jī)存取點(diǎn)處的每一調(diào)入(tune-in)有效。

作為第二實(shí)例，在可能hevc擴(kuò)展中，如果遵循與avc類似的設(shè)計(jì)原理，則操作點(diǎn)描述信息的大部分可不包含于sps或vps中，且實(shí)際上，可將sei消息用于會(huì)話初始化和協(xié)商。因此，可能需要mane剖析用于上文所提到的目的的sps、vps和sei消息。作為第三實(shí)例，可在hevc擴(kuò)展中改變或移除wd7中存在于sps中的某一信息。

為了解決上文所論述的可能問題，本發(fā)明針對(duì)參數(shù)集(包含vps或其它參數(shù)集)的設(shè)計(jì)建議若干技術(shù)。舉例來說，根據(jù)本發(fā)明中所描述的技術(shù)，對(duì)于整個(gè)經(jīng)譯碼視頻序列通常相同的信息可存在于vps中，而在sps層級(jí)可能改變的語(yǔ)法元素僅可存在于sps中。其它語(yǔ)法元素在已存在于vps中的情況下可從sps排除。

作為本發(fā)明的技術(shù)的另一實(shí)例，有關(guān)于會(huì)話協(xié)商的信息可存在于vps中。有關(guān)于會(huì)話協(xié)商的信息的實(shí)例包含簡(jiǎn)檔信息、層級(jí)信息、幀分辨率信息、幀速率信息和位速率信息，以及其它信息。作為本發(fā)明的技術(shù)的另一實(shí)例，可以某一方式設(shè)計(jì)vps，使得對(duì)于會(huì)話協(xié)商重要的操作點(diǎn)信息的剖析不需要可變長(zhǎng)度譯碼，操作點(diǎn)信息可能包含用于基礎(chǔ)層或視圖和用于增強(qiáng)層或視圖兩者的信息。vps中的語(yǔ)法元素可經(jīng)分組，使得對(duì)于每一群組，hevc擴(kuò)展可提供零個(gè)或多個(gè)實(shí)例，且hevc擴(kuò)展中的操作點(diǎn)僅參考索引。

下文提供用于vps、sps、視頻可用性信息(vui)和hrd參數(shù)的語(yǔ)法和語(yǔ)義的各種實(shí)例。表2到表6說明第一實(shí)例。上文所陳述的表1展示vps語(yǔ)法的實(shí)例。表2到表6中以及本發(fā)明的其它表中的“描述符”欄識(shí)別用于每一語(yǔ)法元素的位的數(shù)目，其中“v”指示位的數(shù)目可為可變的?！懊枋龇睓谥械臄?shù)字值指示語(yǔ)法元素是使用固定數(shù)目個(gè)位遞送。舉例來說，“u(8)”表示具有固定數(shù)目個(gè)(八個(gè))位的語(yǔ)法元素，而“ue(v)”表示具有可變數(shù)目個(gè)位的語(yǔ)法元素。為了剖析具有描述符ue(v)的語(yǔ)法元素，剖析裝置(例如，視頻解碼器或mane)可能需要實(shí)施熵譯碼以便解碼并解譯這些語(yǔ)法元素。

表2-視頻參數(shù)集rbsp語(yǔ)法

表3-序列參數(shù)集rbsp語(yǔ)法

表4-vui參數(shù)語(yǔ)法

表5-hrd參數(shù)語(yǔ)法

表6-切片標(biāo)頭語(yǔ)法

現(xiàn)將描述視頻參數(shù)集rbsp語(yǔ)義，例如上文的表2中所展示的語(yǔ)義。表2中的語(yǔ)法元素video_parameter_set_id提供對(duì)視頻參數(shù)集的識(shí)別。通過使用video_parameter_set_id的值，另一語(yǔ)法結(jié)構(gòu)(例如，sps)可激活特定vps。展示實(shí)例sps語(yǔ)法結(jié)構(gòu)的表3(例如)也包含語(yǔ)法元素video_parameter_set_id?；趕ps中的語(yǔ)法元素video_parameter_set_id的值，可激活具有所述相同值的特定vps以用于譯碼與所述sps相關(guān)聯(lián)的視頻塊。通常，多個(gè)sps將與同一vps相關(guān)聯(lián)。作為一實(shí)例，視頻解碼器30可在視頻數(shù)據(jù)中接收包含語(yǔ)法元素video_parameter_set_id的第一值的第一sps，且視頻解碼器30也可接收包含語(yǔ)法元素video_parameter_set_id的相同值的第二sps。第一sps可為包含應(yīng)用于視頻數(shù)據(jù)的一或多個(gè)完整圖片的語(yǔ)法元素的第一群組的第一語(yǔ)法結(jié)構(gòu)，且第二sps可為包含應(yīng)用于視頻數(shù)據(jù)的一或多個(gè)不同完整圖片的語(yǔ)法元素的第二群組的第二語(yǔ)法結(jié)構(gòu)。視頻解碼器30基于來自同一vps的參數(shù)來解碼與第一sps和第二sps兩者相關(guān)聯(lián)的視頻塊。

以下語(yǔ)法元素具有如在wd7中所指定的序列參數(shù)集中具有相同語(yǔ)法元素名稱的那些語(yǔ)法元素的相同語(yǔ)義，但根據(jù)本發(fā)明的建議技術(shù)已從sps移到vps：profile_space、profile_idc、profile_compatability_flag[i]、constraint_flags、level_idc、bit_depth_luma_minus8、bit_depth_chroma_minus8、chroma_format_idc、pic_width_in_luma_samples、pic_height_in_luma_samples、pic_cropping_flag、pic_crop_left_offset、pic_crop_right_offset、pic_crop_top_offset、pic_crop_bottom_offset、temporal_id_nesting_flag和separate_colour_plane_flag。

語(yǔ)法元素profile_space識(shí)別用于解譯語(yǔ)法元素profile_idc的上下文，且語(yǔ)法元素profile_idc識(shí)別簡(jiǎn)檔的群組。語(yǔ)法元素profile_compatability_flag[i]可識(shí)別視頻數(shù)據(jù)是否與簡(jiǎn)檔profile[i]兼容。視頻解碼器20可(例如)在視頻數(shù)據(jù)中接收profile_space和profile_idc的值，且基于profile_space的值來識(shí)別用于解譯語(yǔ)法元素profile_idc的上下文?；趐rofile_idc的解譯值，視頻解碼器30可識(shí)別簡(jiǎn)檔的群組，且對(duì)于每一簡(jiǎn)檔，視頻解碼器30可接收語(yǔ)法元素profile_compatability_flag[i]的值以識(shí)別視頻信息是否與profile[i]兼容。語(yǔ)法元素profile_idc可(例如)具有32個(gè)相關(guān)聯(lián)的旗標(biāo)，每一旗標(biāo)指示簡(jiǎn)檔的特定方面。舉例來說，給定同一簡(jiǎn)檔，旗標(biāo)可指示一個(gè)特定譯碼或處理工具是否開啟或關(guān)閉。

語(yǔ)法元素level_idc識(shí)別與視頻數(shù)據(jù)相關(guān)聯(lián)的最大層級(jí)，且語(yǔ)法元素level_lower_temporal_layers_present_flag識(shí)別視頻數(shù)據(jù)的時(shí)間層是否具有低于最大層級(jí)的層級(jí)。設(shè)定為等于1的語(yǔ)法元素level_lower_temporal_layers_present_flag指定可存在level_idc_temporal_subset[i]。設(shè)定為等于0的語(yǔ)法元素level_lower_temporal_layers_present_flag指定不存在level_idc_temporal_subset[i]。語(yǔ)法元素level_idc_temporal_subset[i]指定與由具小于或等于i的temporal_id的所有nal單元組成的位流子集相符的層級(jí)。

視頻解碼器30可(例如)響應(yīng)于接收到設(shè)定為等于1的語(yǔ)法元素level_lower_temporal_layers_present_flag而接收語(yǔ)法元素level_idc_temporal_subset[i]。語(yǔ)法元素level_idc_temporal_subset[i]可存在以識(shí)別時(shí)間層[i]遵照的層級(jí)。

語(yǔ)法元素vps_temporal_id_nesting_flag、vps_temporal_id_nesting_flag、vps_max_dec_pic_buffering[i]、vps_num_reorder_pics[i]和vps_max_latency_increase[i]具有分別在hevcwd7的序列參數(shù)集中的以下語(yǔ)法元素的相同語(yǔ)義：sps_temporal_id_nesting_flag、sps_temporal_id_nesting_flag、sps_max_dec_pic_buffering[i]、sps_num_reorder_pics[i]、sps_max_latency_increase[i]。

語(yǔ)法元素next_essential_info_byte_offset為本發(fā)明中所引入的偏移語(yǔ)法元素的實(shí)例。語(yǔ)法元素next_essential_info_byte_offset指定簡(jiǎn)檔以及vpsnal單元中的層級(jí)信息和其它經(jīng)固定長(zhǎng)度譯碼的信息的下一集合從nal單元的開頭開始的字節(jié)偏移。mane29(例如)可接收語(yǔ)法元素next_essential_info_byte_offset且確定由語(yǔ)法元素next_essential_info_byte_offset指示的字節(jié)的數(shù)目，且基于字節(jié)的經(jīng)確定數(shù)目，mane29可跳過表2中所展示的一或多個(gè)經(jīng)可變長(zhǎng)度譯碼的語(yǔ)法元素，例如可變長(zhǎng)度語(yǔ)法元素pic_crop_left_offset、pic_crop_right_offset、pic_crop_top_offset、pic_crop_bottom_offset和表2中所展示的其它可變長(zhǎng)度語(yǔ)法元素。然而，視頻解碼器30在接收到語(yǔ)法元素next_essential_info_byte_offset時(shí)可忽略所述語(yǔ)法元素的值。因此，在剖析語(yǔ)法元素next_essential_info_byte_offset之后，視頻解碼器30可繼續(xù)剖析可變長(zhǎng)度語(yǔ)法元素pic_crop_left_offset、pic_crop_right_offset、pic_crop_top_offset、pic_crop_bottom_offset和表2中所展示的其它可變長(zhǎng)度語(yǔ)法元素。

在hevc規(guī)范的未來擴(kuò)展(例如，可縮放譯碼擴(kuò)展或3dv擴(kuò)展)中，用于非基礎(chǔ)層或視圖的vps信息可包含于vpsnal單元中在用于基礎(chǔ)層或視圖的vps信息之后。用于非基礎(chǔ)層或視圖的vps信息也可以固定長(zhǎng)度語(yǔ)法元素(例如，會(huì)話協(xié)商必需的經(jīng)譯碼簡(jiǎn)檔、層級(jí)和其它信息)開始。通過使用由next_essential_info_byte_offset指定的位偏移，mane29可在無需執(zhí)行熵解碼的情況下定位并存取vpsnal單元中的必需信息。經(jīng)配置以輸送并處理視頻數(shù)據(jù)的一些網(wǎng)絡(luò)實(shí)體(例如，mane29)可能未經(jīng)配備以用于熵解碼。然而，通過使用如本發(fā)明中所描述的偏移語(yǔ)法元素，這些網(wǎng)絡(luò)實(shí)例仍可處理參數(shù)集的一些方面，且在為視頻數(shù)據(jù)作出路由決策時(shí)使用經(jīng)處理語(yǔ)法元素中所含的信息。網(wǎng)絡(luò)實(shí)體在作出路由決策時(shí)可處理的信息的實(shí)例包含有關(guān)于會(huì)話協(xié)商的信息。

語(yǔ)法元素nal_hrd_parameters_present_flag[i]和vcl_hrd_parameters_present_flag[i]具有與存在于wd7的vui參數(shù)中的nal_hrd_parameters_present_flag和vcl_hrd_parameters_present_flag類似的語(yǔ)義，但可應(yīng)用于第i個(gè)時(shí)間層表示。語(yǔ)法元素nal_hrd_parameters_present_flag可(例如)用信號(hào)表示hrd參數(shù)，例如位速率、經(jīng)譯碼圖片緩沖器(cpb)大小，和初始cpb移除延遲(initial_cpb_removal_delay_length_minus1)、cpb移除延遲(cpb_removal_delay_length_minus1)、dpb輸出延遲(dpb_output_delay_length_minus1)，和時(shí)間偏移長(zhǎng)度(time_offset_length)。所述語(yǔ)法元素可(例如)包含指示視頻數(shù)據(jù)的位速率是恒定還是可變的語(yǔ)法元素(cbr_flag)。

語(yǔ)法元素low_delay_hrd_flag可用以指示解碼單元從dpb的移除時(shí)間。等于1的語(yǔ)法元素sub_pic_cpb_params_present_flag可指定：子圖片層級(jí)cpb移除延遲參數(shù)存在且cpb可在存取單元層級(jí)或子圖片層級(jí)操作。等于0的語(yǔ)法元素sub_pic_cpb_params_present_flag可指定：子圖片層級(jí)cpb移除延遲參數(shù)不存在且cpb在存取單元層級(jí)操作。語(yǔ)法元素num_units_in_sub_tick表示以對(duì)應(yīng)于子圖片時(shí)鐘刻度計(jì)數(shù)器的一個(gè)增量(稱作子圖片時(shí)鐘刻度)的time_scalehz的頻率操作的時(shí)鐘的時(shí)間單位的數(shù)目。上文所論述的hrd參數(shù)可適用于所有時(shí)間層表示。

設(shè)定為等于1的語(yǔ)法元素vui_video_parameters_present_flag指定vui_vps()語(yǔ)法結(jié)構(gòu)存在于vps中。設(shè)定為等于0的此旗標(biāo)指定vui_vps()語(yǔ)法元素不存在。語(yǔ)法元素num_vps_short_term_ref_pic_sets指定視頻參數(shù)集中所指定的短期參考圖片集合的數(shù)目。設(shè)定為等于1的語(yǔ)法元素bitrate_info_present_flag[i]指定第i個(gè)時(shí)間層的位速率信息存在于視頻參數(shù)集中。設(shè)定為0的語(yǔ)法元素bitrate_info_present_flag[i]指定第i個(gè)時(shí)間層的位速率信息不存在于vps中。

設(shè)定為1的語(yǔ)法元素frm_rate_info_present_flag[i]指定第i個(gè)時(shí)間層的幀速率信息存在于視頻參數(shù)集中。設(shè)定為等于0的語(yǔ)法元素frm_rate_info_present_flag[i]指定第i個(gè)時(shí)間層的幀速率信息不存在于視頻參數(shù)集中。

語(yǔ)法元素avg_bitrate[i]指示第i個(gè)時(shí)間層表示的平均位速率。以每秒位數(shù)計(jì)的第i個(gè)時(shí)間層表示的平均位速率是由bitratebps(avg_bitrate[i])給出，其中函數(shù)bitratebps()由下式指定。

bitratebps(x)＝(x&(2¹⁴-1))*10^(2+(x>>14))

平均位速率可根據(jù)hevc標(biāo)準(zhǔn)的附錄c中所指定的存取單元移除時(shí)間導(dǎo)出。在下文中，btotal為第i個(gè)時(shí)間層表示的所有nal單元中的位的數(shù)目，t1為vps所應(yīng)用于的第一存取單元的移除時(shí)間(以秒計(jì))，且t2為vps所應(yīng)用于的最后存取單元(按解碼次序)的移除時(shí)間(以秒計(jì))。

用x指定avg_bitrate[i]的值，以下情況適用：

-如果t1不等于t2，則以下條件可為真：

(x&(2¹⁴-1))＝＝round(btotal÷((t2-t1)*10^(2+(x>>14))))

-否則(t1等于t2)，以下條件可為真：

(x&(2¹⁴-1))＝＝0

如附錄c中所指定，語(yǔ)法元素max_bitrate_layer[i]指示存取單元移除時(shí)間的任何一秒時(shí)間窗口中的第i個(gè)時(shí)間層表示的位速率的上界。以每秒位數(shù)計(jì)的當(dāng)前可縮放層的位速率的上界是由bitratebps(max_bitrate_layer[i])給出，其中函數(shù)bitratebps()由方程式g-369指定。位速率值是根據(jù)hevc標(biāo)準(zhǔn)的附錄c中所指定的存取單元移除時(shí)間導(dǎo)出。在下文中，t1為任何時(shí)間點(diǎn)(以秒計(jì))，t2經(jīng)設(shè)定等于t1+max_bitrate_calc_window[i]÷100，且btotal為當(dāng)前可縮放層的屬于具有大于或等于t1且小于t2的移除時(shí)間的存取單元的所有nal單元中的位的數(shù)目。用x指定max_bitrate_layer[i]的值，對(duì)于t1的所有值，可遵守以下條件：(x&(2¹⁴-1))>＝btotal÷((t2-t1)*10^(2+(x>>14)))。

語(yǔ)法元素constant_frm_rate_idc[i]指示第i個(gè)時(shí)間層表示的幀速率是否恒定。在下文中，時(shí)間片段tseg為當(dāng)前時(shí)間層表示的兩個(gè)或兩個(gè)以上連續(xù)存取單元(按解碼次序)的任何集合，ftotal(tseg)為時(shí)間片段tseg中的圖片的數(shù)目，t1(tseg)為時(shí)間片段tseg的第一存取單元(按解碼次序)的移除時(shí)間(以秒計(jì))，t2(tseg)為時(shí)間片段tseg的最后存取單元(按解碼次序)的移除時(shí)間(以秒計(jì))，且avgfr(tseg)為時(shí)間片段tseg中的平均幀速率，avgfr(tseg)由以下給出：avgfr(tseg)＝＝round(ftotal(tseg)*256÷(t2(tseg)-t1(tseg)))。

如果第i個(gè)時(shí)間層表示僅含有一個(gè)存取單元或avgfr(tseg)的值在第i個(gè)時(shí)間層表示的所有時(shí)間片段上恒定，則幀速率是恒定的，否則，幀速率不恒定。設(shè)定為等于0的語(yǔ)法元素constant_frm_rate_idc[i]指示第i個(gè)時(shí)間層表示的幀速率不恒定。設(shè)定為等于1的語(yǔ)法元素constant_frm_rate_idc[i]指示第i個(gè)時(shí)間層表示的幀速率恒定。

設(shè)定為等于2的語(yǔ)法元素constant_frm_rate_idc[i]指示第i個(gè)時(shí)間層表示的幀速率可恒定或可不恒定。constant_frm_rate_idc[i]的值可在0到2(包含0和2)的范圍中。

語(yǔ)法元素avg_frm_rate[i]指示第i個(gè)時(shí)間層表示的平均幀速率(以每256秒的幀數(shù)為單位)。以ftotal為第i個(gè)時(shí)間層表示中的圖片的數(shù)目，t1為vps所應(yīng)用于的第一存取單元的移除時(shí)間(以秒計(jì))，且t2為vps所應(yīng)用于的最后存取單元(按解碼次序)的移除時(shí)間(以秒計(jì))，以下情況適用：

如果t1不等于t2，則以下條件可為真：

avg_frm_rate[i]＝＝round(ftotal*256÷(t2-t1))

否則(t1等于t2)，以下條件可為真：

avg_frm_rate[i]＝＝0

現(xiàn)將描述vui參數(shù)語(yǔ)義。vui參數(shù)中的每一語(yǔ)法元素具有與如在wd7中所指定的vui參數(shù)語(yǔ)法中具有相同名稱的語(yǔ)法元素相同的語(yǔ)義。

現(xiàn)將描述序列參數(shù)集rbsp語(yǔ)義。設(shè)定為等于1的語(yǔ)法元素use_rps_from_vps_flag指定包含于序列參數(shù)集中的短期參考圖片集合是包含于所參考視頻參數(shù)集中的短期參考圖片集合的添加(additive)。設(shè)定為等于0的語(yǔ)法元素use_rps_from_vps_flag指定包含于序列參數(shù)集中的短期參考圖片集合超越(override)包含于所參考視頻參數(shù)集中的短期參考圖片集合。

或者，語(yǔ)法元素num_short_term_ref_pic_sets可不存在于sps中且可始終經(jīng)推斷為設(shè)定成等于0?；蛘撸Z(yǔ)法元素use_rps_from_vps_flag可不存在且可始終經(jīng)推斷為設(shè)定成等于1?；蛘撸Z(yǔ)法元素use_rps_from_vps_flag可不存在且可始終經(jīng)推斷為設(shè)定成等于0。

可如下導(dǎo)出變量numshorttermrefpicsets。

numshorttermrefpicsets＝num_short_term_ref_pic_sets

if(use_rps_from_vps_flag)

numshorttermrefpicsets+＝num_vps_short_term_ref_pic_sets

現(xiàn)將描述切片標(biāo)頭語(yǔ)義。語(yǔ)法元素short_term_ref_pic_set_idx指定作用中序列參數(shù)集中所指定的短期參考圖片集合的列表的索引，所述短期參考圖片集合可用于建立當(dāng)前圖片的參考圖片集合。語(yǔ)法元素short_term_ref_pic_set_idx可由ceil(log2(numshorttermrefpicsets))個(gè)位來表示。short_term_ref_pic_set_idx的值可在0到num_short_term_ref_pic_sets-1(包含0和num_short_term_ref_pic_sets-1)的范圍中，其中num_short_term_ref_pic_sets為來自作用中序列參數(shù)集的語(yǔ)法元素。

可如下導(dǎo)出變量strpsidx。

if(short_term_ref_pic_set_sps_flag)

strpsidx＝short_term_ref_pic_set_idx

else

strpsidx＝numshorttermrefpicsets

設(shè)定為等于0的語(yǔ)法元素tiles_fixed_structure_idc指示經(jīng)譯碼視頻序列中的任何圖片所參考的每一圖片參數(shù)集具有設(shè)定為等于0的tiles_or_entropy_coding_sync_idc。設(shè)定為等于1的語(yǔ)法元素tiles_fixed_structure_idc指示經(jīng)譯碼視頻序列中的任何圖片所參考的每一圖片參數(shù)集具有語(yǔ)法元素num_tile_columns_minus1、num_tile_rows_minus1、uniform_spacing_flag、column_width[i]、row_height[i]和loop_filter_across_tiles_enabled_flag(當(dāng)存在時(shí))的相同值。設(shè)定為等于2的語(yǔ)法元素tiles_fixed_structure_idcg指示經(jīng)譯碼視頻序列中的圖片所參考的不同圖片參數(shù)集中的瓦片語(yǔ)法元素可具有相同值或可不具有相同值。tiles_fixed_structure_idc的值可在0到2(包含0和2)的范圍中。當(dāng)語(yǔ)法元素tiles_fixed_structure_flag不存在時(shí)，推斷所述語(yǔ)法元素等于2。

設(shè)定為等于1的語(yǔ)法元素tiles_fixed_structure_flag的信令可向解碼器保證經(jīng)譯碼視頻序列中的每一圖片具有以相同方式分布的相同數(shù)目個(gè)瓦片，此可對(duì)多線程解碼的情況下的工作負(fù)載分配有用。

現(xiàn)將描述類似于上文所描述的第一實(shí)例的第二實(shí)例。在此第二實(shí)例中，sps中剩余的語(yǔ)法元素可存在于vps中且有條件地存在于sps中。改變并在下文在表7到9中描述根據(jù)此實(shí)例的vps和sps的語(yǔ)法和語(yǔ)義。

表7-視頻參數(shù)集rbsp語(yǔ)法

表8-序列參數(shù)集rbsp語(yǔ)法

表9-任選sps參數(shù)

現(xiàn)將描述任選sps參數(shù)語(yǔ)義。此語(yǔ)法結(jié)構(gòu)中的語(yǔ)法元素和語(yǔ)法結(jié)構(gòu)的語(yǔ)義具有與sps中的具有如第一實(shí)例中所指定的相同語(yǔ)法元素名稱的那些語(yǔ)法元素相同的語(yǔ)義。

現(xiàn)將描述序列參數(shù)集rbsp語(yǔ)義。設(shè)定為等于1的語(yǔ)法元素sps_parameters_override_flag指定如序列參數(shù)集中所指定的從pcm_enabled_flag到tiles_fixed_structure_idc的語(yǔ)法元素和語(yǔ)法結(jié)構(gòu)的值超越如所參考視頻參數(shù)集中所指定的相同語(yǔ)法元素和語(yǔ)法結(jié)構(gòu)的值。設(shè)定為等于0的語(yǔ)法元素sps_parameters_override_flag指示如所參考視頻參數(shù)集中所指定的從pcm_enabled_flag到tiles_fixed_structure_idc的語(yǔ)法元素和語(yǔ)法結(jié)構(gòu)的值在使用中。

可由mane29和/或視頻解碼器30以上文參考表2所描述的方式來處理并剖析表7中所展示的語(yǔ)法元素next_essential_byte_offset。類似地，也可以上文所描述的方式由視頻解碼器20產(chǎn)生且由視頻解碼器30來處理并剖析語(yǔ)法元素video_parameter_set_id、profile_idc和profile_space。

第三實(shí)例為第一實(shí)例的超集。在此第三實(shí)例中，可以使擴(kuò)展較容易實(shí)施的方式來設(shè)計(jì)語(yǔ)法。另外，在此實(shí)例中可支持vps的擴(kuò)展。不存在與第一實(shí)例中的對(duì)應(yīng)物完全相同的語(yǔ)法表的語(yǔ)法設(shè)計(jì)或語(yǔ)義設(shè)計(jì)。下文參考表10到19來描述第三實(shí)例。

表10-視頻參數(shù)集rbsp語(yǔ)法(僅基本規(guī)范)

表11-視頻參數(shù)集rbsp語(yǔ)法(包含擴(kuò)展)

表12-簡(jiǎn)檔和層級(jí)信息表語(yǔ)法

表13-表示格式信息表語(yǔ)法

表14-位速率和幀速率信息表語(yǔ)法

表15-hrd時(shí)間操作點(diǎn)信息表語(yǔ)法

表16-vuivps集合表語(yǔ)法

表17-vps擴(kuò)展語(yǔ)法

現(xiàn)將描述視頻參數(shù)集rbsp語(yǔ)義。語(yǔ)法元素byte_alligned_bits指定使vpsnal單元中在num_additional_profile_level_info之前的位經(jīng)字節(jié)對(duì)準(zhǔn)的可能位。語(yǔ)法元素byte_alligned_bits在0到7(包含0和7)的范圍中。語(yǔ)法元素num_additional_profile_level_info指定存在于vps中的額外簡(jiǎn)檔和層級(jí)信息表的數(shù)目。語(yǔ)法元素num_additional_rep_fromat_info指定存在于vps中的額外表示格式信息表的數(shù)目。語(yǔ)法元素num_additional_dependency_operation_points指定進(jìn)一步存在于位流中的相依性操作點(diǎn)的數(shù)目，不管時(shí)間可縮放性如何。每一相依性操作點(diǎn)可包含時(shí)間子操作點(diǎn)，每一時(shí)間子操作點(diǎn)具有相同層結(jié)構(gòu)。語(yǔ)法元素extension_type指定當(dāng)前位流的擴(kuò)展的類型，其中0對(duì)應(yīng)于3dv且1對(duì)應(yīng)于svc。語(yǔ)法元素profile_level_index[k]指示針對(duì)當(dāng)前第k個(gè)相依性操作點(diǎn)的用以在vps中用信號(hào)表示的層級(jí)信息表的索引。語(yǔ)法元素ref_format_index指示針對(duì)當(dāng)前第k個(gè)相依性操作點(diǎn)的用以在vps中用信號(hào)表示的表示格式信息表的索引。

語(yǔ)法元素applicable_lowest_temporal_id[k]和applicable_highest_temporal_id[k]分別指定對(duì)應(yīng)于第k個(gè)相依性操作點(diǎn)的用信號(hào)表示的時(shí)間子操作點(diǎn)的最低temporal_id值和最高temporal_id值?；蛘?，語(yǔ)法元素applicable_lowest_temporal_id[k]和applicable_highest_temporal_id[k]均未用信號(hào)表示且經(jīng)推斷為分別等于0和vps_max_temporal_layers_minus1。或者，語(yǔ)法元素applicable_lowest_temporal_id[k]未用信號(hào)表示且經(jīng)推斷為等于0。或者，語(yǔ)法元素applicable_highest_temporal_id[k]未用信號(hào)表示且經(jīng)推斷為等于vps_max_temporal_layers_minus1。

等于1的語(yǔ)法元素depth_included_flag[k]指示當(dāng)前3dv相依性操作點(diǎn)含有深度。等于0的此旗標(biāo)指示當(dāng)前3dv操作點(diǎn)不含深度?；蛘?，語(yǔ)法元素depth_included_flag[k]未用信號(hào)表示，因此指示深度vclnal單元依賴于layer_id_plust1。

語(yǔ)法元素num_target_output_views_minus1[k]加1指定第k個(gè)相依性操作點(diǎn)中的目標(biāo)輸出視圖的數(shù)目。語(yǔ)法元素num_depedent_layers[k]指示用于解碼當(dāng)前第k個(gè)相依性操作點(diǎn)的相依層的數(shù)目。語(yǔ)法元素layer_id[k][j]指示第k個(gè)相依性操作點(diǎn)的第j個(gè)目標(biāo)輸出視圖的layer_id。語(yǔ)法元素dependent_layer_id[k][j]指示第k個(gè)相依性操作點(diǎn)的第j個(gè)相依視圖的layer_id。在一個(gè)替代例中，恰在dependent_layer_id[k][j]之后，將一旗標(biāo)用信號(hào)表示為direct_dependent_flag[k][j]。

語(yǔ)法元素direct_dependent_flag[k][j]指示第j個(gè)相依視圖是否為直接相依視圖，從而用以導(dǎo)出視圖間rps。語(yǔ)法元素layer_id[k]指示當(dāng)前第k個(gè)(svc)相依性操作點(diǎn)的最高layer_id。或者，可將num_target_output_views_minus1[k]、num_depedent_layers[k]、layer_id[k][j]和dependent_layer_id[k][j]用信號(hào)表示為ue(v)。

語(yǔ)法元素num_additional_vui_vps_set_info可指定存在于vps中的額外vuivps集合表的數(shù)目。

對(duì)于簡(jiǎn)檔和層級(jí)信息表語(yǔ)義，語(yǔ)法元素profilelevelinfoidx指示簡(jiǎn)檔和層級(jí)信息表的索引。對(duì)于表示格式信息表語(yǔ)義，語(yǔ)法元素repformatinfoidx指示表示格式信息表的索引。

可由mane29和/或視頻解碼器30以上文參考表2所描述的方式來處理并剖析表7中所展示的語(yǔ)法元素next_essential_byte_offset。

對(duì)于vuivps集合表語(yǔ)義，語(yǔ)法元素vuivpssetindex指示vuivps集合表的索引。

或者，可如下在sps中用信號(hào)表示每一視圖的視圖相依性：

表18

語(yǔ)法元素num_reerence_views指示用以建構(gòu)視圖間rps子集的紋理或深度視圖的最大數(shù)目。語(yǔ)法元素ref_view_layer_id[i]識(shí)別用以指示視圖間rps子集中的第i個(gè)視圖間(唯一)參考圖片的第i個(gè)紋理/深度視圖的layer_id。

或者，可如下用信號(hào)表示vps擴(kuò)展。當(dāng)語(yǔ)法元素extension_type指示svc時(shí)，不用信號(hào)表示語(yǔ)法元素num_additional_dependency_operation_points，但將其導(dǎo)出為等于vps_max_layers_minus1。給定存取單元內(nèi)的vclnal單元處于layer_id的非下降次序中的約束。在mvc中，語(yǔ)法元素layer_id等效于view_idx。在3dv中，可如下根據(jù)layer_id計(jì)算語(yǔ)法元素view_idx：view_idx＝(layer_idx>>1)。

表19

設(shè)定為等于1的語(yǔ)法元素depth_present_flag指示可存在含有深度的操作點(diǎn)。設(shè)定為等于0的語(yǔ)法元素depth_present_flag指示無操作點(diǎn)含有深度。

語(yǔ)法元素num_target_output_views_minus1[k]加1可用以指定第k個(gè)相依性操作點(diǎn)中的目標(biāo)輸出視圖的數(shù)目。語(yǔ)法元素num_dependent_layers[k]可用以指示用于解碼當(dāng)前第k個(gè)相依性操作點(diǎn)的相依層的數(shù)目。當(dāng)將depth_present_flag設(shè)定為等于1時(shí)，相依層可為深度視圖或紋理視圖兩者。語(yǔ)法元素layer_id[k][j]指示第k個(gè)相依性操作點(diǎn)的第j個(gè)目標(biāo)輸出紋理視圖的layer_id。與紋理視圖相關(guān)聯(lián)的深度視圖的layer_id(如果存在)為layer_id[k][j]+1。

或者，對(duì)于每一目標(biāo)輸出視圖，可用信號(hào)表示語(yǔ)法元素view_idx[k][j]而非layer_id[k][j]。對(duì)于每一view_idx[k][j]，對(duì)應(yīng)紋理視圖的layer_id為(view_idx[k][j]<<depth_present_flag)。如果depth_included_flag[k]等于1，則對(duì)應(yīng)深度視圖的layer_id為(view_idx[k][j]<<depth_present_flag)+1，其為(view_idx[k][j]<<1)+1，這是因?yàn)樵诖饲闆r下depth_present_flag必須為1?；蛘撸蓪⒄Z(yǔ)法元素layer_id[k][j]改變?yōu)関iew_idx[k][j]且用u(v)譯碼，其中長(zhǎng)度為5-depth_present_flag。或者，可將語(yǔ)法元素layer_id[k][j]改變?yōu)関iew_idx[k][j]且用u(v)譯碼，其中長(zhǎng)度為5-depth_included[k]。

第四實(shí)例為第二實(shí)例的超集。以擴(kuò)展友好方式來設(shè)計(jì)語(yǔ)法。另外，在此實(shí)例中提供vps的擴(kuò)展。不存在與第二實(shí)例中的對(duì)應(yīng)物完全相同的語(yǔ)法表的語(yǔ)法設(shè)計(jì)或語(yǔ)義設(shè)計(jì)。

表20-視頻參數(shù)集rbsp語(yǔ)法(僅基本規(guī)范)

表21-視頻參數(shù)集rbsp語(yǔ)法(包含擴(kuò)展)

可由mane29和/或視頻解碼器30以上文參考表2所描述的方式來處理并剖析表21中所展示的語(yǔ)法元素next_essential_byte_offset。

圖4為說明可實(shí)施本發(fā)明中所描述的技術(shù)的實(shí)例視頻編碼器20的框圖。視頻編碼器20可(例如)產(chǎn)生上文關(guān)于表1到21所描述的語(yǔ)法結(jié)構(gòu)。視頻編碼器20可執(zhí)行視頻切片內(nèi)的視頻塊的幀內(nèi)和幀間譯碼。幀內(nèi)譯碼依賴于空間預(yù)測(cè)以減少或移除給定視頻幀或圖片內(nèi)的視頻中的空間冗余。幀間譯碼依賴于時(shí)間預(yù)測(cè)以減少或移除視頻序列的鄰近幀或圖片內(nèi)的視頻中的時(shí)間冗余。幀內(nèi)模式(i模式)可指代若干基于空間的壓縮模式中的任一者。例如單向預(yù)測(cè)(p模式)或雙向預(yù)測(cè)(b模式)的幀間模式可指代若干基于時(shí)間的壓縮模式中的任一者。

在圖4的實(shí)例中，視頻編碼器20包含分割單元35、預(yù)測(cè)處理單元41、濾波器單元63、圖片存儲(chǔ)器64、求和器50、變換處理單元52、量化單元54和熵編碼單元56。預(yù)測(cè)處理單元41包含運(yùn)動(dòng)估計(jì)單元42、運(yùn)動(dòng)補(bǔ)償單元44和幀內(nèi)預(yù)測(cè)處理單元46。對(duì)于視頻塊重構(gòu)，視頻編碼器20還包含逆量化單元58、逆變換處理單元60和求和器62。濾波器單元63既定表示一或多個(gè)環(huán)路濾波器，例如解塊濾波器、自適應(yīng)環(huán)路濾波器(alf)和樣本自適應(yīng)偏移(sao)濾波器。雖然在圖4中將濾波器單元63展示為環(huán)路內(nèi)濾波器，但在其它配置中，濾波器單元63也可實(shí)施為環(huán)路后濾波器。圖4也展示后處理裝置57，其可對(duì)由視頻編碼器20產(chǎn)生的經(jīng)編碼視頻數(shù)據(jù)執(zhí)行額外處理。在一些例子中，本發(fā)明的技術(shù)(其包含產(chǎn)生具有偏移語(yǔ)法元素的參數(shù)集)可由視頻編碼器20來實(shí)施。然而，在其它例子中，本發(fā)明的技術(shù)可由后處理裝置57來實(shí)施。

如圖4中所展示，視頻編碼器20接收視頻數(shù)據(jù)，且分割單元35將所述數(shù)據(jù)分割成多個(gè)視頻塊。此分割也可包含分割成切片、瓦片或其它較大單元，以及(例如)根據(jù)lcu和cu的四叉樹結(jié)構(gòu)的視頻塊分割。視頻編碼器20通常說明對(duì)待編碼的視頻切片內(nèi)的視頻塊進(jìn)行編碼的組件。切片可劃分成多個(gè)視頻塊(且可能劃分成被稱為瓦片的視頻塊的集合)。預(yù)測(cè)處理單元41可基于錯(cuò)誤結(jié)果(例如，譯碼速率和失真程度)而為當(dāng)前視頻塊選擇多個(gè)可能譯碼模式中的一者(例如，多個(gè)幀內(nèi)譯碼模式中的一者或多個(gè)幀間譯碼模式中的一者)。預(yù)測(cè)處理單元41可將所得的經(jīng)幀內(nèi)或經(jīng)幀間譯碼的塊提供到求和器50以產(chǎn)生殘余塊數(shù)據(jù)，且提供到求和器62以重構(gòu)經(jīng)編碼塊以用作參考圖片。

預(yù)測(cè)處理單元41內(nèi)的幀內(nèi)預(yù)測(cè)處理單元46可執(zhí)行當(dāng)前視頻塊相對(duì)于在與待譯碼的當(dāng)前塊相同的幀或切片中的一或多個(gè)相鄰塊的幀內(nèi)預(yù)測(cè)性譯碼，以提供空間壓縮。預(yù)測(cè)處理單元41內(nèi)的運(yùn)動(dòng)估計(jì)單元42和運(yùn)動(dòng)補(bǔ)償單元44執(zhí)行當(dāng)前視頻塊相對(duì)于一或多個(gè)參考圖片中的一或多個(gè)預(yù)測(cè)性塊的幀間預(yù)測(cè)性譯碼，以提供時(shí)間壓縮。

運(yùn)動(dòng)估計(jì)單元42可經(jīng)配置以根據(jù)視頻序列的預(yù)定模式確定視頻切片的幀間預(yù)測(cè)模式。預(yù)定模式可將序列中的視頻切片指定為p切片、b切片或gpb切片。運(yùn)動(dòng)估計(jì)單元42和運(yùn)動(dòng)補(bǔ)償單元44可高度集成，但為概念目的而分別說明。由運(yùn)動(dòng)估計(jì)單元42執(zhí)行的運(yùn)動(dòng)估計(jì)為產(chǎn)生運(yùn)動(dòng)向量的過程，運(yùn)動(dòng)向量估計(jì)視頻塊的運(yùn)動(dòng)。舉例來說，運(yùn)動(dòng)向量可指示當(dāng)前視頻幀或圖片內(nèi)的視頻塊的pu相對(duì)于參考圖片內(nèi)的預(yù)測(cè)性塊的移位。

預(yù)測(cè)性塊為經(jīng)發(fā)現(xiàn)在像素差方面緊密匹配待譯碼的視頻塊的pu的塊，像素差可通過絕對(duì)差和(sad)、平方差和(ssd)或其它差量度來確定。在一些實(shí)例中，視頻編碼器20可計(jì)算存儲(chǔ)于圖片存儲(chǔ)器64中的參考圖片的子整數(shù)像素位置的值。舉例來說，視頻編碼器20可內(nèi)插參考圖片的四分之一像素位置、八分之一像素位置或其它分?jǐn)?shù)像素位置的值。因此，運(yùn)動(dòng)估計(jì)單元42可相對(duì)于全像素位置和分?jǐn)?shù)像素位置執(zhí)行運(yùn)動(dòng)搜索且輸出具有分?jǐn)?shù)像素精度的運(yùn)動(dòng)向量。

運(yùn)動(dòng)估計(jì)單元42通過比較經(jīng)幀間譯碼的切片中的視頻塊的pu的位置與參考圖片的預(yù)測(cè)性塊的位置來計(jì)算pu的運(yùn)動(dòng)向量。參考圖片可選自第一參考圖片列表(列表0)或第二參考圖片列表(列表1)，所述列表中的每一者識(shí)別存儲(chǔ)于圖片存儲(chǔ)器64中的一或多個(gè)參考圖片。運(yùn)動(dòng)估計(jì)單元42將計(jì)算出的運(yùn)動(dòng)向量發(fā)送到熵編碼單元56和運(yùn)動(dòng)補(bǔ)償單元44。

由運(yùn)動(dòng)補(bǔ)償單元44執(zhí)行的運(yùn)動(dòng)補(bǔ)償可涉及基于由運(yùn)動(dòng)估計(jì)確定的運(yùn)動(dòng)向量來提取或產(chǎn)生預(yù)測(cè)性塊，從而可能執(zhí)行到子像素精度的內(nèi)插。在接收到當(dāng)前視頻塊的pu的運(yùn)動(dòng)向量后，運(yùn)動(dòng)補(bǔ)償單元44可將運(yùn)動(dòng)向量所指向的預(yù)測(cè)性塊定位于參考圖片列表中的一者中。視頻編碼器20通過從正經(jīng)譯碼的當(dāng)前視頻塊的像素值減去預(yù)測(cè)性塊的像素值來形成殘余視頻塊，從而形成像素差值。像素差值形成塊的殘余數(shù)據(jù)，且可包含亮度差分量和色度差分量?jī)烧?。求和?0表示執(zhí)行此減法運(yùn)算的一或多個(gè)組件。運(yùn)動(dòng)補(bǔ)償單元44也可產(chǎn)生與視頻塊和視頻切片相關(guān)聯(lián)的語(yǔ)法元素以供視頻解碼器30在解碼視頻切片的視頻塊時(shí)使用。

如上所述，作為由運(yùn)動(dòng)估計(jì)單元42和運(yùn)動(dòng)補(bǔ)償單元44執(zhí)行的幀間預(yù)測(cè)的替代，幀內(nèi)預(yù)測(cè)單元46可對(duì)當(dāng)前塊進(jìn)行幀內(nèi)預(yù)測(cè)。詳細(xì)來說，幀內(nèi)預(yù)測(cè)單元46可確定用以編碼當(dāng)前塊的幀內(nèi)預(yù)測(cè)模式。在一些實(shí)例中，幀內(nèi)預(yù)測(cè)單元46可(例如)在單獨(dú)編碼遍次期間使用各種幀內(nèi)預(yù)測(cè)模式來編碼當(dāng)前塊，且?guī)瑑?nèi)預(yù)測(cè)單元46(或在一些實(shí)例中，模式選擇單元40)可從經(jīng)測(cè)試模式選擇適當(dāng)幀內(nèi)預(yù)測(cè)模式來使用。舉例來說，幀內(nèi)預(yù)測(cè)單元46可使用用于各種經(jīng)測(cè)試幀內(nèi)預(yù)測(cè)模式的速率-失真分析來計(jì)算速率-失真值，且在經(jīng)測(cè)試模式中選擇具有最佳速率-失真特性的幀內(nèi)預(yù)測(cè)模式。速率-失真分析通常確定經(jīng)編碼塊與經(jīng)編碼以產(chǎn)生經(jīng)編碼塊的原始未經(jīng)編碼塊之間的失真(或誤差)的量，以及用以產(chǎn)生經(jīng)編碼塊的位速率(即，位的數(shù)目)。幀內(nèi)預(yù)測(cè)單元46可根據(jù)各種經(jīng)編碼塊的失真和速率計(jì)算比率以確定哪一幀內(nèi)預(yù)測(cè)模式展現(xiàn)塊的最佳速率-失真值。

在任何情況下，在選擇用于塊的幀內(nèi)預(yù)測(cè)模式之后，幀內(nèi)預(yù)測(cè)單元46可將指示用于塊的選定幀內(nèi)預(yù)測(cè)模式的信息提供到熵譯碼單元56。熵譯碼單元56可根據(jù)本發(fā)明的技術(shù)來編碼指示選定幀內(nèi)預(yù)測(cè)模式的信息。視頻編碼器20可在所發(fā)射的位流中包含配置數(shù)據(jù)，所述配置數(shù)據(jù)可包含多個(gè)幀內(nèi)預(yù)測(cè)模式索引表和多個(gè)經(jīng)修改幀內(nèi)預(yù)測(cè)模式索引表(也稱為碼字映射表)、各種塊的編碼上下文的定義，和用于上下文中的每一者的最大概率幀內(nèi)預(yù)測(cè)模式、幀內(nèi)預(yù)測(cè)模式索引表和經(jīng)修改幀內(nèi)預(yù)測(cè)模式索引表的指示。

在預(yù)測(cè)處理單元41經(jīng)由幀間預(yù)測(cè)或幀內(nèi)預(yù)測(cè)產(chǎn)生當(dāng)前視頻塊的預(yù)測(cè)性塊之后，視頻編碼器20通過從當(dāng)前視頻塊減去預(yù)測(cè)性塊而形成殘余視頻塊。殘余塊中的殘余視頻數(shù)據(jù)可包含于一或多個(gè)tu中且應(yīng)用于變換處理單元52。變換處理單元52使用變換(例如，離散余弦變換(dct)或概念上類似的變換)將殘余視頻數(shù)據(jù)變換成殘余變換系數(shù)。變換處理單元52可將殘余視頻數(shù)據(jù)從像素域轉(zhuǎn)換到例如頻域的變換域。

變換處理單元52可將所得變換系數(shù)發(fā)送到量化單元54。量化單元54量化所述變換系數(shù)以進(jìn)一步減小位速率。量化過程可減小與所述系數(shù)中的一些或所有系數(shù)相關(guān)聯(lián)的位深度?？赏ㄟ^調(diào)整量化參數(shù)來修改量化程度。在一些實(shí)例中，量化單元54可接著執(zhí)行對(duì)包含經(jīng)量化的變換系數(shù)的矩陣的掃描?；蛘?，熵編碼單元56可執(zhí)行所述掃描。

在量化之后，熵編碼單元56熵編碼經(jīng)量化的變換系數(shù)。舉例來說，熵編碼單元56可執(zhí)行上下文自適應(yīng)可變長(zhǎng)度譯碼(cavlc)、上下文自適應(yīng)二進(jìn)制算術(shù)譯碼(cabac)、基于語(yǔ)法的上下文自適應(yīng)二進(jìn)制算術(shù)譯碼(sbac)、概率區(qū)間分割熵(pipe)譯碼或另一熵編碼方法或技術(shù)。在通過熵編碼單元56進(jìn)行的熵編碼之后，經(jīng)編碼位流可被發(fā)射到視頻解碼器30，或經(jīng)存檔以供稍后發(fā)射或由視頻解碼器30檢索。熵編碼單元56也可熵編碼正經(jīng)譯碼的當(dāng)前視頻切片的運(yùn)動(dòng)向量和其它語(yǔ)法元素。

逆量化單元58和逆變換處理單元60分別應(yīng)用逆量化和逆變換，以在像素域中重構(gòu)殘余塊以供稍后用作參考圖片的參考?jí)K。運(yùn)動(dòng)補(bǔ)償單元44可通過將殘余塊加到參考圖片列表中的一者內(nèi)的參考圖片中的一者的預(yù)測(cè)性塊來計(jì)算參考?jí)K。運(yùn)動(dòng)補(bǔ)償單元44也可將一或多個(gè)內(nèi)插濾波器應(yīng)用于經(jīng)重構(gòu)的殘余塊以計(jì)算子整數(shù)像素值以供在運(yùn)動(dòng)估計(jì)中使用。求和器62將經(jīng)重構(gòu)的殘余塊加到由運(yùn)動(dòng)補(bǔ)償單元44產(chǎn)生的經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)塊以產(chǎn)生參考?jí)K以存儲(chǔ)于圖片存儲(chǔ)器64中。參考?jí)K可由運(yùn)動(dòng)估計(jì)單元42和運(yùn)動(dòng)補(bǔ)償單元44用作參考?jí)K來幀間預(yù)測(cè)后續(xù)視頻幀或圖片中的塊。

以此方式，圖4的視頻編碼器20表示經(jīng)配置以產(chǎn)生上文在表1到表21中所描述的語(yǔ)法的視頻編碼器的實(shí)例。視頻編碼器20可(例如)產(chǎn)生如上所述的vps、sps、pps和aps參數(shù)集。在一個(gè)實(shí)例中，視頻編碼器20可針對(duì)經(jīng)譯碼視頻數(shù)據(jù)產(chǎn)生參數(shù)集，所述參數(shù)集包含跟隨有偏移語(yǔ)法元素的一或多個(gè)初始固定長(zhǎng)度語(yǔ)法元素。所述一或多個(gè)初始固定長(zhǎng)度語(yǔ)法元素可(例如)包含有關(guān)于會(huì)話協(xié)商的信息。當(dāng)參數(shù)集由mane處理時(shí)，偏移語(yǔ)法元素可指示待跳過的字節(jié)的數(shù)目。待跳過的所述數(shù)目個(gè)字節(jié)可(例如)包含一或多個(gè)可變長(zhǎng)度語(yǔ)法元素。視頻編碼器20可將額外固定長(zhǎng)度語(yǔ)法元素包含于參數(shù)集中處于所述被跳過的字節(jié)之后。所述額外固定長(zhǎng)度語(yǔ)法元素可(例如)包含有關(guān)于視頻數(shù)據(jù)的另一層的信息。在一個(gè)實(shí)例中，所述初始固定長(zhǎng)度語(yǔ)法元素可包含有關(guān)于用于基礎(chǔ)層的會(huì)話協(xié)商的信息，而所述額外固定長(zhǎng)度語(yǔ)法元素可包含有關(guān)于用于非基礎(chǔ)層的會(huì)話協(xié)商的信息。

視頻編碼器20可基于用以譯碼一或多個(gè)可變長(zhǎng)度語(yǔ)法元素的位的數(shù)目來確定所述偏移語(yǔ)法元素的值。舉例來說，針對(duì)第一vps假設(shè)：待跳過的語(yǔ)法元素包含2個(gè)位、3個(gè)位和5個(gè)位的三個(gè)固定長(zhǎng)度語(yǔ)法元素，以及2個(gè)位、4個(gè)位、5個(gè)位和3個(gè)位的四個(gè)可變長(zhǎng)度語(yǔ)法元素。在此實(shí)例中，所述固定長(zhǎng)度語(yǔ)法元素包含總共10個(gè)位，而所述可變長(zhǎng)度語(yǔ)法元素包含總計(jì)14個(gè)位。因此，對(duì)于所述第一vps，視頻編碼器20可將所述偏移語(yǔ)法元素的值設(shè)定為24，包含待跳過的24個(gè)位(例如，3個(gè)字節(jié))。對(duì)于第二vps，用于固定語(yǔ)法元素的位的數(shù)目將再次為10，但用于可變長(zhǎng)度語(yǔ)法元素的位的數(shù)目可不同。因此，對(duì)于第二vps，視頻編碼器20可將所述偏移語(yǔ)法元素的值設(shè)定為不同值。

已關(guān)于視頻編碼器20大體上描述了本發(fā)明的技術(shù)，但如上文所提到，本發(fā)明的技術(shù)中的一些也可由后處理裝置57來實(shí)施。舉例來說，后處理裝置57可針對(duì)由視頻編碼器20產(chǎn)生的視頻數(shù)據(jù)的多個(gè)層產(chǎn)生vps。

圖5為說明可實(shí)施本發(fā)明中所描述的技術(shù)的實(shí)例視頻解碼器30的框圖。視頻解碼器30可(例如)經(jīng)配置以處理并剖析上文關(guān)于表1到21所描述的語(yǔ)法結(jié)構(gòu)。在圖5的實(shí)例中，視頻解碼器30包含熵解碼單元80、預(yù)測(cè)處理單元81、逆量化單元86、逆變換單元88、求和器90、濾波器單元91和圖片存儲(chǔ)器92。預(yù)測(cè)處理單元81包含運(yùn)動(dòng)補(bǔ)償單元82和幀內(nèi)預(yù)測(cè)處理單元84。在一些實(shí)例中，視頻解碼器30可執(zhí)行與關(guān)于來自圖4的視頻編碼器20所描述的編碼遍次大體上互逆的解碼遍次。

在解碼過程期間，視頻解碼器30從視頻編碼器20接收表示經(jīng)編碼視頻切片的視頻塊和相關(guān)聯(lián)的語(yǔ)法元素的經(jīng)編碼視頻位流。視頻解碼器30可從網(wǎng)絡(luò)實(shí)體79接收經(jīng)編碼視頻位流。舉例來說，網(wǎng)絡(luò)實(shí)體79可為服務(wù)器、mane、視頻編輯器/拼接器，或經(jīng)配置以實(shí)施上文所描述的技術(shù)中的一或多者的其它此種裝置。網(wǎng)絡(luò)實(shí)體79可包含或可不包含視頻編碼器20。如上所述，本發(fā)明中所描述的技術(shù)中的一些可由網(wǎng)絡(luò)實(shí)體79在網(wǎng)絡(luò)79將經(jīng)編碼視頻位流發(fā)射到視頻解碼器30之前實(shí)施。在一些視頻解碼系統(tǒng)中，網(wǎng)絡(luò)實(shí)體79和視頻解碼器30可為單獨(dú)裝置的部分，而在其它例子中，關(guān)于網(wǎng)絡(luò)實(shí)體79所描述的功能性可由包括視頻解碼器30的同一裝置執(zhí)行。

網(wǎng)絡(luò)實(shí)體79表示視頻處理裝置的實(shí)例，所述視頻處理裝置經(jīng)配置以進(jìn)行以下操作：處理與視頻位流相關(guān)聯(lián)的參數(shù)集的一或多個(gè)初始語(yǔ)法元素；在所述參數(shù)集中接收所述參數(shù)集的偏移語(yǔ)法元素，所述偏移語(yǔ)法元素識(shí)別所述參數(shù)集內(nèi)的待跳過的語(yǔ)法元素；且基于所述偏移語(yǔ)法元素來跳過所述參數(shù)集內(nèi)的所述語(yǔ)法元素。網(wǎng)絡(luò)實(shí)體79也可處理所述參數(shù)集中的一或多個(gè)額外語(yǔ)法元素。所述一或多個(gè)額外語(yǔ)法元素在所述參數(shù)集中處于所述被跳過的語(yǔ)法元素之后。

在解碼過程期間，視頻解碼器30從視頻編碼器20接收表示經(jīng)編碼視頻切片的視頻塊和相關(guān)聯(lián)的語(yǔ)法元素的經(jīng)編碼視頻位流。所述視頻塊可(例如)經(jīng)由一或多個(gè)mane(例如，圖1中的mane29或圖5中的網(wǎng)絡(luò)實(shí)體79)而從視頻編碼器20路由到視頻解碼器30。視頻解碼器30的熵解碼單元80熵解碼所述位流以產(chǎn)生經(jīng)量化系數(shù)、運(yùn)動(dòng)向量和其它語(yǔ)法元素。熵解碼單元80將運(yùn)動(dòng)向量和其它語(yǔ)法元素轉(zhuǎn)發(fā)到預(yù)測(cè)處理模塊81。視頻解碼器30可在視頻切片層級(jí)和/或視頻塊層級(jí)接收語(yǔ)法元素。

如上文所介紹，熵解碼單元80可處理并剖析一或多個(gè)參數(shù)集(例如，vps、sps、pps和aps)中的固定長(zhǎng)度語(yǔ)法元素和可變長(zhǎng)度語(yǔ)法元素兩者。視頻解碼器30可在所述參數(shù)集中的一或多者(例如，vps)中接收如本發(fā)明中所描述的偏移語(yǔ)法元素。響應(yīng)于接收到偏移語(yǔ)法元素，視頻解碼器30可基本上忽略偏移語(yǔ)法元素的值。舉例來說，視頻解碼器30可接收偏移語(yǔ)法元素，但可不跳過任何語(yǔ)法元素而繼續(xù)解碼在所述偏移語(yǔ)法元素后的語(yǔ)法元素(包含可變長(zhǎng)度語(yǔ)法元素)。

當(dāng)視頻切片經(jīng)譯碼為經(jīng)幀內(nèi)譯碼(i)切片時(shí)，預(yù)測(cè)處理單元81的幀內(nèi)預(yù)測(cè)處理單元84可基于用信號(hào)表示的幀內(nèi)預(yù)測(cè)模式和來自當(dāng)前幀或圖片的先前經(jīng)解碼塊的數(shù)據(jù)產(chǎn)生當(dāng)前視頻切片的視頻塊的預(yù)測(cè)數(shù)據(jù)。當(dāng)視頻幀經(jīng)譯碼為經(jīng)幀間譯碼(即，b、p或gpb)切片時(shí)，預(yù)測(cè)處理單元81的運(yùn)動(dòng)補(bǔ)償單元82基于從熵解碼單元80接收的運(yùn)動(dòng)向量和其它語(yǔ)法元素產(chǎn)生當(dāng)前視頻切片的視頻塊的預(yù)測(cè)性塊?？蓮膮⒖紙D片列表中的一者內(nèi)的參考圖片中的一者產(chǎn)生所述預(yù)測(cè)性塊。視頻解碼器30可基于存儲(chǔ)于圖片存儲(chǔ)器92中的參考圖片使用預(yù)設(shè)建構(gòu)技術(shù)來建構(gòu)參考幀列表(列表0和列表1)。

運(yùn)動(dòng)補(bǔ)償單元82通過剖析運(yùn)動(dòng)向量和其它語(yǔ)法元素來確定當(dāng)前視頻切片的視頻塊的預(yù)測(cè)信息，且使用所述預(yù)測(cè)信息產(chǎn)生正經(jīng)解碼的當(dāng)前視頻塊的預(yù)測(cè)性塊。舉例來說，運(yùn)動(dòng)補(bǔ)償單元82使用所接收的語(yǔ)法元素中的一些確定用以譯碼視頻切片的視頻塊的預(yù)測(cè)模式(例如，幀內(nèi)或幀間預(yù)測(cè))、幀間預(yù)測(cè)切片類型(例如，b切片、p切片或gpb切片)、用于切片的參考圖片列表中的一或多者的建構(gòu)信息、切片的每一經(jīng)幀間編碼視頻塊的運(yùn)動(dòng)向量、切片的每一經(jīng)幀間譯碼視頻塊的幀間預(yù)測(cè)狀態(tài)，和用以解碼當(dāng)前視頻切片中的視頻塊的其它信息。

運(yùn)動(dòng)補(bǔ)償單元82也可基于內(nèi)插濾波器來執(zhí)行內(nèi)插。運(yùn)動(dòng)補(bǔ)償單元82可使用如由視頻編碼器20在視頻塊的編碼期間使用的內(nèi)插濾波器來計(jì)算參考?jí)K的子整數(shù)像素的內(nèi)插值。在此情況下，運(yùn)動(dòng)補(bǔ)償單元82可從所接收的語(yǔ)法元素確定由視頻編碼器20使用的內(nèi)插濾波器，且使用所述內(nèi)插濾波器來產(chǎn)生預(yù)測(cè)性塊。

逆量化單元86逆量化(即，解量化)提供于位流中且由熵解碼單元80解碼的經(jīng)量化的變換系數(shù)。逆量化過程可包含將由視頻編碼器20針對(duì)視頻切片中的每一視頻塊計(jì)算的量化參數(shù)用于確定量化的程度和(同樣地)應(yīng)當(dāng)應(yīng)用的逆量化的程度。逆變換處理單元88將逆變換(例如，逆dct、逆整數(shù)變換或概念上類似的逆變換過程)應(yīng)用于變換系數(shù)以便產(chǎn)生像素域中的殘余塊。

在運(yùn)動(dòng)補(bǔ)償單元82基于運(yùn)動(dòng)向量和其它語(yǔ)法元素產(chǎn)生當(dāng)前視頻塊的預(yù)測(cè)性塊之后，視頻解碼器30通過將來自逆變換處理單元88的殘余塊與由運(yùn)動(dòng)補(bǔ)償單元82產(chǎn)生的對(duì)應(yīng)預(yù)測(cè)性塊求和而形成經(jīng)解碼視頻塊。求和器90表示執(zhí)行此求和運(yùn)算的一或多個(gè)組件。如果需要，也可將環(huán)路濾波器(在譯碼環(huán)路中或在譯碼環(huán)路之后)用于平滑像素轉(zhuǎn)變或以其它方式改善視頻質(zhì)量。濾波器單元91既定表示一或多個(gè)環(huán)路濾波器，例如解塊濾波器、自適應(yīng)環(huán)路濾波器(alf)和樣本自適應(yīng)偏移(sao)濾波器。雖然在圖5中將濾波器單元91展示為環(huán)路內(nèi)濾波器，但在其它配置中，濾波器單元91可實(shí)施為環(huán)路后濾波器。接著將給定幀或圖片中的經(jīng)解碼視頻塊存儲(chǔ)于圖片存儲(chǔ)器92中，圖片存儲(chǔ)器92存儲(chǔ)用于后續(xù)運(yùn)動(dòng)補(bǔ)償?shù)膮⒖紙D片。圖片存儲(chǔ)器92也存儲(chǔ)經(jīng)解碼視頻以供稍后呈現(xiàn)于顯示裝置(例如，圖1的顯示裝置32)上。

以此方式，圖5的視頻解碼器30表示經(jīng)配置以剖析上文在表1到21中所描述的語(yǔ)法的視頻解碼器的實(shí)例。視頻解碼器30可(例如)剖析如上所述的vps、sps、pps和aps參數(shù)集。

圖6為說明形成網(wǎng)絡(luò)150的部分的裝置的實(shí)例集合的框圖。在此實(shí)例中，網(wǎng)絡(luò)150包含路由裝置154a、154b(路由裝置154)和代碼轉(zhuǎn)換裝置156。路由裝置154和代碼轉(zhuǎn)換裝置156既定表示可形成網(wǎng)絡(luò)150的部分的少量裝置。其它網(wǎng)絡(luò)裝置(例如，交換器、集線器、網(wǎng)關(guān)、防火墻、橋接器和其它這些裝置)也可包含于網(wǎng)絡(luò)150內(nèi)。此外，可沿著服務(wù)器裝置152與客戶端裝置158之間的網(wǎng)絡(luò)路徑提供額外網(wǎng)絡(luò)裝置。在一些實(shí)例中，服務(wù)器裝置152可對(duì)應(yīng)于源裝置12(圖1)，而客戶端裝置158可對(duì)應(yīng)于目的地裝置14(圖1)。路由裝置154可(例如)為經(jīng)配置以路由媒體數(shù)據(jù)的mane。

一般來說，路由裝置154實(shí)施一或多個(gè)路由協(xié)議以經(jīng)由網(wǎng)絡(luò)150交換網(wǎng)絡(luò)數(shù)據(jù)。一般來說，路由裝置154執(zhí)行路由協(xié)議以發(fā)現(xiàn)經(jīng)由網(wǎng)絡(luò)150的路線。通過執(zhí)行這些路由協(xié)議，路由裝置154b可發(fā)現(xiàn)從其本身經(jīng)由路由裝置154a到服務(wù)器裝置152的網(wǎng)絡(luò)路線。圖6的各種裝置表示可實(shí)施本發(fā)明的技術(shù)的裝置的實(shí)例。根據(jù)本發(fā)明，路由裝置154可(例如)為經(jīng)配置以剖析參數(shù)集(例如，vps)的語(yǔ)法元素的媒體認(rèn)知網(wǎng)絡(luò)元件。舉例來說，路由裝置154可在vps中接收一或多個(gè)初始固定長(zhǎng)度語(yǔ)法元素且剖析并處理所述固定長(zhǎng)度語(yǔ)法元素。所述初始固定長(zhǎng)度語(yǔ)法元素可(例如)為有關(guān)于會(huì)話協(xié)商的語(yǔ)法元素。路由裝置154也可在所述vps中接收偏移語(yǔ)法元素。所述偏移語(yǔ)法元素可識(shí)別待跳過的字節(jié)的數(shù)目。路由裝置154可跳過指定數(shù)目個(gè)字節(jié)，且在跳過指定數(shù)目個(gè)字節(jié)之后，可重新繼續(xù)剖析并處理所述vps內(nèi)的固定長(zhǎng)度語(yǔ)法元素。所述被跳過的字節(jié)可包含路由裝置154不能剖析(這是因?yàn)槁酚裳b置154不能執(zhí)行熵解碼操作)的一或多個(gè)可變長(zhǎng)度語(yǔ)法元素。

圖7為說明如何根據(jù)本發(fā)明的技術(shù)處理偏移語(yǔ)法元素的實(shí)例的流程圖。將參考網(wǎng)絡(luò)裝置(例如，圖1的mane29或圖6中的路由裝置154中的一者)來描述圖7的技術(shù)。所述網(wǎng)絡(luò)實(shí)體處理與視頻位流相關(guān)聯(lián)的參數(shù)集的一或多個(gè)初始語(yǔ)法元素(171)。所述一或多個(gè)初始語(yǔ)法元素可另外包含固定長(zhǎng)度語(yǔ)法元素且在所述偏移語(yǔ)法元素之前。所述一或多個(gè)初始語(yǔ)法元素可包含包括有關(guān)于會(huì)話協(xié)商的信息的語(yǔ)法元素。此外，所述一或多個(gè)初始語(yǔ)法元素包括用于視頻數(shù)據(jù)的基礎(chǔ)層的語(yǔ)法元素且所述一或多個(gè)額外語(yǔ)法元素包括用于視頻數(shù)據(jù)的非基礎(chǔ)層的語(yǔ)法元素。

所述網(wǎng)絡(luò)實(shí)體在所述視頻位流中接收所述參數(shù)集的偏移語(yǔ)法元素(172)。所述偏移語(yǔ)法元素識(shí)別所述參數(shù)集內(nèi)的待跳過的位的數(shù)目。所述偏移語(yǔ)法元素可(例如)為視頻參數(shù)集的部分。待跳過的所述數(shù)目個(gè)位可(例如)對(duì)應(yīng)于使用可變長(zhǎng)度譯碼來譯碼的一或多個(gè)語(yǔ)法元素?；谒銎普Z(yǔ)法元素，所述網(wǎng)絡(luò)實(shí)體跳過所述參數(shù)集內(nèi)的若干個(gè)位(173)。所述網(wǎng)絡(luò)實(shí)體處理所述參數(shù)集中的一或多個(gè)額外語(yǔ)法元素(174)。所述一或多個(gè)額外語(yǔ)法元素在所述參數(shù)集中處于被跳過的所述數(shù)目個(gè)位之后。所述一或多個(gè)額外語(yǔ)法元素可為額外固定長(zhǎng)度語(yǔ)法元素，且所述一或多個(gè)額外語(yǔ)法元素可在所述偏移語(yǔ)法元素之后且在待跳過的所述位之后。

圖8為說明如何根據(jù)本發(fā)明的技術(shù)處理偏移語(yǔ)法元素的實(shí)例的流程圖。將參考經(jīng)配置以編碼視頻數(shù)據(jù)或處理經(jīng)編碼視頻數(shù)據(jù)的視頻處理裝置來描述圖8的技術(shù)。經(jīng)配置以處理經(jīng)編碼視頻數(shù)據(jù)的視頻處理裝置的實(shí)例包含圖1和4的視頻編碼器20和圖4的后處理裝置57。視頻處理裝置產(chǎn)生與視頻位流相關(guān)聯(lián)的參數(shù)集的一或多個(gè)初始語(yǔ)法元素(181)。所述一或多個(gè)初始語(yǔ)法元素可包含固定長(zhǎng)度語(yǔ)法元素，且所述一或多個(gè)初始語(yǔ)法元素可在所述偏移語(yǔ)法元素之前。所述一或多個(gè)初始語(yǔ)法元素可包含包括有關(guān)于會(huì)話協(xié)商的信息語(yǔ)法元素。所述一或多個(gè)初始語(yǔ)法元素可包含用于視頻數(shù)據(jù)的基礎(chǔ)層的語(yǔ)法元素，且所述一或多個(gè)額外語(yǔ)法元素可包含用于視頻數(shù)據(jù)的非基礎(chǔ)層的語(yǔ)法元素。

視頻處理裝置產(chǎn)生所述參數(shù)集的偏移語(yǔ)法元素(182)。所述偏移語(yǔ)法元素可識(shí)別所述參數(shù)集內(nèi)的待跳過的位的數(shù)目。所述偏移語(yǔ)法元素可為視頻參數(shù)集的部分。視頻處理裝置產(chǎn)生待跳過的一或多個(gè)語(yǔ)法元素(183)。待跳過的所述位包含待跳過的所述一或多個(gè)語(yǔ)法元素。待跳過的所述一或多個(gè)語(yǔ)法元素可包含使用可變長(zhǎng)度譯碼來譯碼的一或多個(gè)語(yǔ)法元素。視頻處理裝置產(chǎn)生所述參數(shù)集中的一或多個(gè)額外語(yǔ)法元素(184)。所述一或多個(gè)額外語(yǔ)法元素在所述參數(shù)集中處于待跳過的所述數(shù)目個(gè)位之后。所述一或多個(gè)額外語(yǔ)法元素可包含額外固定長(zhǎng)度語(yǔ)法元素，所述一或多個(gè)額外語(yǔ)法元素可在所述偏移語(yǔ)法元素之后且在待跳過的所述位之后。

圖9為說明如何根據(jù)本發(fā)明的技術(shù)解碼偏移語(yǔ)法元素的實(shí)例的流程圖。將參考視頻解碼器(例如，圖1和5的視頻解碼器30)來描述圖9的技術(shù)。所述視頻解碼器對(duì)與視頻位流相關(guān)聯(lián)的參數(shù)集的一或多個(gè)初始語(yǔ)法元素進(jìn)行解碼(191)。所述視頻解碼器在所述視頻位流中接收所述參數(shù)集的偏移語(yǔ)法元素(192)。所述偏移語(yǔ)法元素識(shí)別所述參數(shù)集內(nèi)的待跳過的位的數(shù)目。所述視頻解碼器對(duì)待跳過的所述位進(jìn)行解碼(193)。在一些實(shí)例中，所述視頻解碼器通過執(zhí)行熵解碼以對(duì)包含于待跳過的所述位中的可變長(zhǎng)度語(yǔ)法元素進(jìn)行解碼來對(duì)待跳過的所述位進(jìn)行解碼。因?yàn)樗鲎止?jié)在通過視頻處理器(例如，mane)處理視頻數(shù)據(jù)時(shí)被跳過，但所述位可為解碼視頻數(shù)據(jù)必需的，所以所述視頻解碼器可(例如)對(duì)待跳過的所述位進(jìn)行解碼。與視頻解碼器相比，mane可跳過所述位以便對(duì)視頻數(shù)據(jù)執(zhí)行特定處理而不必完全解碼視頻數(shù)據(jù)。在一些例子中，mane甚至可不必?fù)碛薪獯a視頻數(shù)據(jù)所需的所有能力。

圖10為說明如何根據(jù)本發(fā)明的技術(shù)處理vps的實(shí)例的流程圖。將參考通用視頻處理裝置來描述圖10的技術(shù)。視頻處理裝置可對(duì)應(yīng)于例如圖1的mane29或圖6中的路由裝置154中的一者的網(wǎng)絡(luò)裝置。視頻處理裝置可另外對(duì)應(yīng)于例如圖1和4的視頻解碼器30的視頻解碼器。視頻處理裝置在視頻參數(shù)集中接收包含有關(guān)于會(huì)話協(xié)商的信息的一或多個(gè)語(yǔ)法元素(201)。視頻處理裝置在所述視頻數(shù)據(jù)中接收第一序列參數(shù)集(202)，所述第一序列參數(shù)集包括識(shí)別所述視頻參數(shù)集的第一語(yǔ)法元素。所述第一序列參數(shù)集包括第一語(yǔ)法結(jié)構(gòu)，所述第一語(yǔ)法結(jié)構(gòu)包含應(yīng)用于視頻數(shù)據(jù)的一或多個(gè)完整圖片的語(yǔ)法元素的第一群組。視頻處理裝置在所述視頻數(shù)據(jù)中接收第二序列參數(shù)集(203)，所述第二序列參數(shù)集包括識(shí)別所述視頻參數(shù)集的第二語(yǔ)法元素。所述第二序列參數(shù)集包括第二語(yǔ)法結(jié)構(gòu)，所述第二語(yǔ)法結(jié)構(gòu)包含應(yīng)用于視頻數(shù)據(jù)的一或多個(gè)不同完整圖片的語(yǔ)法元素的第二群組。視頻處理裝置基于所述一或多個(gè)語(yǔ)法元素來處理與所述第一參數(shù)集相關(guān)聯(lián)的視頻塊的第一集合和與所述第二參數(shù)集相關(guān)聯(lián)的視頻塊的第二集合(204)。

所述一或多個(gè)語(yǔ)法元素可為(例如)固定長(zhǎng)度語(yǔ)法元素且在所述視頻參數(shù)集中可處于任何經(jīng)可變長(zhǎng)度譯碼的語(yǔ)法元素之前。所述一或多個(gè)語(yǔ)法元素可包含識(shí)別視頻譯碼標(biāo)準(zhǔn)的簡(jiǎn)檔的語(yǔ)法元素。所述一或多個(gè)語(yǔ)法元素可進(jìn)一步或替代地包含識(shí)別視頻譯碼標(biāo)準(zhǔn)的層級(jí)的語(yǔ)法元素。所述層級(jí)可(例如)對(duì)應(yīng)于與所述視頻譯碼標(biāo)準(zhǔn)的所述簡(jiǎn)檔相關(guān)聯(lián)的多個(gè)層級(jí)中的一者。

所述一或多個(gè)語(yǔ)法元素可包含第一語(yǔ)法元素和第二語(yǔ)法元素。所述第一語(yǔ)法元素可識(shí)別用于解譯所述第二語(yǔ)法元素的上下文，且所述第二語(yǔ)法元素可識(shí)別簡(jiǎn)檔的群組。視頻處理裝置可在所述視頻參數(shù)集中接收一或多個(gè)兼容性旗標(biāo)，所述一或多個(gè)兼容性旗標(biāo)中的每一者與來自簡(jiǎn)檔的所述群組的簡(jiǎn)檔相關(guān)聯(lián)。所述一或多個(gè)兼容性旗標(biāo)中的每一者的值可識(shí)別視頻數(shù)據(jù)是否與來自簡(jiǎn)檔的所述群組的相關(guān)聯(lián)簡(jiǎn)檔兼容。

所述一或多個(gè)語(yǔ)法元素也可包含識(shí)別與視頻數(shù)據(jù)相關(guān)聯(lián)的最大時(shí)間層級(jí)的第一語(yǔ)法元素和識(shí)別視頻數(shù)據(jù)的時(shí)間層是否具有低于所述最大時(shí)間層級(jí)的層級(jí)的第二語(yǔ)法元素。響應(yīng)于所述第二語(yǔ)法元素指示視頻數(shù)據(jù)的時(shí)間層具有低于所述最大時(shí)間層級(jí)的層級(jí)，視頻處理裝置可接收額外語(yǔ)法元素，所述額外語(yǔ)法元素識(shí)別。

在多個(gè)例子中，當(dāng)視頻處理裝置為視頻解碼器時(shí)，所述視頻解碼器可解碼視頻塊的所述第一集合和視頻塊的所述第二集合。在多個(gè)例子中，當(dāng)視頻處理裝置為mane時(shí)，所述mane可將視頻塊的所述第一集合和視頻塊的所述第二集合轉(zhuǎn)發(fā)到客戶端裝置。

圖11為說明如何根據(jù)本發(fā)明的技術(shù)產(chǎn)生供包含于vps中的語(yǔ)法元素的實(shí)例的流程圖。將參考經(jīng)配置以編碼視頻數(shù)據(jù)或處理經(jīng)編碼視頻數(shù)據(jù)的視頻處理裝置來描述圖8的技術(shù)。經(jīng)配置以處理經(jīng)編碼視頻數(shù)據(jù)的視頻處理裝置的實(shí)例包含圖1和4的視頻編碼器20和圖4的后處理裝置57。視頻處理裝置產(chǎn)生包含有關(guān)于會(huì)話協(xié)商的信息的一或多個(gè)語(yǔ)法元素以用于包含于視頻參數(shù)集中(211)。視頻處理裝置產(chǎn)生第一序列參數(shù)集以用于包含于所述視頻數(shù)據(jù)中(212)，所述第一序列參數(shù)集包括識(shí)別所述視頻參數(shù)集的第一語(yǔ)法元素。所述第一序列參數(shù)集包括第一語(yǔ)法結(jié)構(gòu)，所述第一語(yǔ)法結(jié)構(gòu)包含應(yīng)用于視頻數(shù)據(jù)的一或多個(gè)完整圖片的語(yǔ)法元素的第一群組。視頻處理裝置產(chǎn)生第二序列參數(shù)集以用于包含于所述視頻數(shù)據(jù)中(213)，所述第二序列參數(shù)集包括識(shí)別所述視頻參數(shù)集的第二語(yǔ)法元素。所述第二序列參數(shù)集包括第二語(yǔ)法結(jié)構(gòu)，所述第二語(yǔ)法結(jié)構(gòu)包含應(yīng)用于視頻數(shù)據(jù)的一或多個(gè)不同完整圖片的語(yǔ)法元素的第二群組。視頻處理裝置基于所述一或多個(gè)語(yǔ)法元素對(duì)與所述第一參數(shù)集相關(guān)聯(lián)的視頻塊的第一集合和與所述第二參數(shù)集相關(guān)聯(lián)的視頻塊的第二集合進(jìn)行編碼(214)。

所述一或多個(gè)語(yǔ)法元素可為(例如)固定長(zhǎng)度語(yǔ)法元素且在所述視頻參數(shù)集中可處于任何經(jīng)可變長(zhǎng)度譯碼的語(yǔ)法元素之前。所述一或多個(gè)語(yǔ)法元素可包含識(shí)別視頻譯碼標(biāo)準(zhǔn)的簡(jiǎn)檔的語(yǔ)法元素。所述一或多個(gè)語(yǔ)法元素可進(jìn)一步或替代地包含識(shí)別視頻譯碼標(biāo)準(zhǔn)的層級(jí)的語(yǔ)法元素。所述層級(jí)可(例如)對(duì)應(yīng)于與所述視頻譯碼標(biāo)準(zhǔn)的所述簡(jiǎn)檔相關(guān)聯(lián)的多個(gè)層級(jí)中的一者。

所述一或多個(gè)語(yǔ)法元素可包含第一語(yǔ)法元素和第二語(yǔ)法元素。所述第一語(yǔ)法元素可識(shí)別用于解譯所述第二語(yǔ)法元素的上下文，且所述第二語(yǔ)法元素可識(shí)別簡(jiǎn)檔的群組。視頻處理裝置可在所述視頻參數(shù)集中接收一或多個(gè)兼容性旗標(biāo)，所述一或多個(gè)兼容性旗標(biāo)中的每一者與來自簡(jiǎn)檔的所述群組的簡(jiǎn)檔相關(guān)聯(lián)。所述一或多個(gè)兼容性旗標(biāo)中的每一者的值可識(shí)別視頻數(shù)據(jù)是否與來自簡(jiǎn)檔的所述群組的相關(guān)聯(lián)簡(jiǎn)檔兼容。

所述一或多個(gè)語(yǔ)法元素也可包含識(shí)別與視頻數(shù)據(jù)相關(guān)聯(lián)的最大時(shí)間層級(jí)的第一語(yǔ)法元素和識(shí)別視頻數(shù)據(jù)的時(shí)間層是否具有低于所述最大時(shí)間層級(jí)的層級(jí)的第二語(yǔ)法元素。響應(yīng)于所述第二語(yǔ)法元素指示視頻數(shù)據(jù)的時(shí)間層具有低于所述最大時(shí)間層級(jí)的層級(jí)，所述視頻處理裝置可接收額外語(yǔ)法元素，所述額外語(yǔ)法元素識(shí)別視頻數(shù)據(jù)的一或多個(gè)時(shí)間層的層級(jí)。

圖12為說明如何根據(jù)本發(fā)明的技術(shù)處理vps的實(shí)例的流程圖。將參考通用視頻處理裝置來描述圖12的技術(shù)。所述視頻處理裝置可對(duì)應(yīng)于例如圖1的mane29或圖6中的路由裝置154中的一者的網(wǎng)絡(luò)裝置。所述視頻處理裝置可另外對(duì)應(yīng)于例如圖1和4的視頻解碼器30的視頻解碼器。所述視頻處理裝置在視頻參數(shù)集中接收包含有關(guān)于hrd參數(shù)的信息的一或多個(gè)語(yǔ)法元素(221)。所述視頻處理裝置在所述視頻數(shù)據(jù)中接收第一序列參數(shù)集(222)，所述第一序列參數(shù)集包括識(shí)別所述視頻參數(shù)集的第一語(yǔ)法元素。所述第一序列參數(shù)集包括第一語(yǔ)法結(jié)構(gòu)，所述第一語(yǔ)法結(jié)構(gòu)包含應(yīng)用于視頻數(shù)據(jù)的一或多個(gè)完整圖片的語(yǔ)法元素的第一群組。所述視頻處理裝置在所述視頻數(shù)據(jù)中接收第二序列參數(shù)集(223)，所述第二序列參數(shù)集包括識(shí)別所述視頻參數(shù)集的第二語(yǔ)法元素。所述第二序列參數(shù)集包括第二語(yǔ)法結(jié)構(gòu)，所述第二語(yǔ)法結(jié)構(gòu)包含應(yīng)用于視頻數(shù)據(jù)的一或多個(gè)不同完整圖片的語(yǔ)法元素的第二群組。所述視頻處理裝置基于所述一或多個(gè)語(yǔ)法元素來處理與所述第一參數(shù)集相關(guān)聯(lián)的視頻塊的第一集合和與所述第二參數(shù)集相關(guān)聯(lián)的視頻塊的第二集合(224)。

圖13為說明如何根據(jù)本發(fā)明的技術(shù)產(chǎn)生供包含于vps中的語(yǔ)法元素的實(shí)例的流程圖。將參考經(jīng)配置以編碼視頻數(shù)據(jù)或處理經(jīng)編碼視頻數(shù)據(jù)的視頻處理裝置來描述圖13的技術(shù)。經(jīng)配置以處理經(jīng)編碼視頻數(shù)據(jù)的視頻處理裝置的實(shí)例包含圖1和4的視頻編碼器20和圖4的后處理裝置57。所述視頻處理裝置產(chǎn)生包含有關(guān)于hrd參數(shù)的信息的一或多個(gè)語(yǔ)法元素以用于包含于視頻參數(shù)集中(231)。所述視頻處理裝置產(chǎn)生第一序列參數(shù)集以用于包含于所述視頻數(shù)據(jù)中(232)，所述第一序列參數(shù)集包括識(shí)別所述視頻參數(shù)集的第一語(yǔ)法元素。所述第一序列參數(shù)集包括第一語(yǔ)法結(jié)構(gòu)，所述第一語(yǔ)法結(jié)構(gòu)包含應(yīng)用于視頻數(shù)據(jù)的一或多個(gè)完整圖片的語(yǔ)法元素的第一群組。所述視頻處理裝置產(chǎn)生第二序列參數(shù)集以用于包含于所述視頻數(shù)據(jù)中(233)，所述第二序列參數(shù)集包括識(shí)別所述視頻參數(shù)集的第二語(yǔ)法元素。所述第二序列參數(shù)集包括第二語(yǔ)法結(jié)構(gòu)，所述第二語(yǔ)法結(jié)構(gòu)包含應(yīng)用于視頻數(shù)據(jù)的一或多個(gè)不同完整圖片的語(yǔ)法元素的第二群組。視頻處理裝置基于所述一或多個(gè)語(yǔ)法元素對(duì)與所述第一參數(shù)集相關(guān)聯(lián)的視頻塊的第一集合和與所述第二參數(shù)集相關(guān)聯(lián)的視頻塊的第二集合進(jìn)行編碼(234)。

在一或多個(gè)實(shí)例中，所描述功能可以硬件、軟件、固件或其任何組合來實(shí)施。如果以軟件實(shí)施，則所述功能可作為一或多個(gè)指令或程序代碼而存儲(chǔ)于計(jì)算機(jī)可讀媒體上或經(jīng)由計(jì)算機(jī)可讀媒體發(fā)射，且通過基于硬件的處理單元執(zhí)行。計(jì)算機(jī)可讀媒體可包含計(jì)算機(jī)可讀存儲(chǔ)媒體(其對(duì)應(yīng)于例如數(shù)據(jù)存儲(chǔ)媒體的有形媒體)或通信媒體，通信媒體包含(例如)根據(jù)通信協(xié)議促進(jìn)計(jì)算機(jī)程序從一處傳送到另一處的任何媒體。以此方式，計(jì)算機(jī)可讀媒體大體上可對(duì)應(yīng)于(1)非暫時(shí)性的有形計(jì)算機(jī)可讀存儲(chǔ)媒體，或(2)例如信號(hào)或載波的通信媒體。數(shù)據(jù)存儲(chǔ)媒體可為可由一或多個(gè)計(jì)算機(jī)或一或多個(gè)處理器存取以檢索指令、代碼和/或數(shù)據(jù)結(jié)構(gòu)以用于實(shí)施本發(fā)明中所描述的技術(shù)的任何可用媒體。計(jì)算機(jī)程序產(chǎn)品可包含計(jì)算機(jī)可讀媒體。

通過實(shí)例而非限制，此類計(jì)算機(jī)可讀存儲(chǔ)媒體可包括ram、rom、eeprom、cd-rom或其它光盤存儲(chǔ)裝置、磁盤存儲(chǔ)裝置或其它磁性存儲(chǔ)裝置、快閃存儲(chǔ)器，或可用以存儲(chǔ)呈指令或數(shù)據(jù)結(jié)構(gòu)的形式的所要程序代碼且可由計(jì)算機(jī)存取的任何其它媒體。又，任何連接可適當(dāng)?shù)胤Q為計(jì)算機(jī)可讀媒體。舉例來說，如果使用同軸纜線、光纖纜線、雙絞線、數(shù)字訂戶線(dsl)或無線技術(shù)(例如，紅外線、無線電和微波)而從網(wǎng)站、服務(wù)器或其它遠(yuǎn)程源發(fā)射指令，則同軸纜線、光纖纜線、雙絞線、dsl或無線技術(shù)(例如，紅外線、無線電和微波)包含于媒體的定義中。然而，應(yīng)理解，計(jì)算機(jī)可讀存儲(chǔ)媒體和數(shù)據(jù)存儲(chǔ)媒體不包含連接、載波、信號(hào)或其它暫時(shí)性媒體，而是有關(guān)非暫時(shí)性有形存儲(chǔ)媒體。如本文中所使用，磁盤和光盤包含壓縮光盤(cd)、激光光盤、光學(xué)光盤、數(shù)字多功能光盤(dvd)、軟磁盤和藍(lán)光光盤，其中磁盤通常以磁性方式再現(xiàn)數(shù)據(jù)，而光盤用激光以光學(xué)方式再現(xiàn)數(shù)據(jù)。以上各物的組合也應(yīng)包含于計(jì)算機(jī)可讀媒體的范圍內(nèi)。

可由例如一或多個(gè)數(shù)字信號(hào)處理器(dsp)、通用微處理器、專用集成電路(asic)、現(xiàn)場(chǎng)可編程邏輯陣列(fpga)或其它等效集成或離散邏輯電路的一或多個(gè)處理器來執(zhí)行指令。因此，如本文中所使用的術(shù)語(yǔ)“處理器”可指代上述結(jié)構(gòu)或適于實(shí)施本文中所描述的技術(shù)的任何其它結(jié)構(gòu)中的任一者。另外，在一些方面中，可將本文中所描述的功能性提供于經(jīng)配置以用于編碼和解碼的專用硬件和/或軟件模塊內(nèi)，或并入于組合式編解碼器中。又，所述技術(shù)可完全實(shí)施于一或多個(gè)電路或邏輯元件中。

本發(fā)明的技術(shù)可以廣泛多種裝置或設(shè)備來實(shí)施，所述裝置或設(shè)備包含無線手持機(jī)、集成電路(ic)或ic集合(例如，芯片組)。在本發(fā)明中描述各種組件、模塊或單元以強(qiáng)調(diào)經(jīng)配置以執(zhí)行所揭示技術(shù)的裝置的功能方面，但未必要求通過不同硬件單元來實(shí)現(xiàn)。更確切來說，如上所述，可將各種單元組合于編解碼器硬件單元中，或通過交互操作性硬件單元(包含如上所述的一或多個(gè)處理器)的集合而結(jié)合合適軟件和/或固件來提供所述單元。

已描述各種實(shí)例。這些和其它實(shí)例在所附權(quán)利要求書的范圍內(nèi)。