具有時(shí)域?qū)拥囊曨l編碼系統(tǒng)及其操作方法
【專利摘要】一種視頻編碼系統(tǒng)的操作方法，包括：接收視頻位流；從視頻位流中提取視頻語(yǔ)法；基于視頻語(yǔ)法從視頻位流中提取時(shí)域?qū)樱灰约盎跁r(shí)域?qū)有纬梢曨l流，用于在設(shè)備上顯示。
【專利說(shuō)明】具有時(shí)域?qū)拥囊曨l編碼系統(tǒng)及其操作方法
[0001]對(duì)相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)包含關(guān)于于2013年2月I日提交且標(biāo)題為“VIDEO CODING SYSTEM WITHTEMPORAL SCALABILITY AND METHOD OF OPERAT1N THEREOF” 的美國(guó)專利申請(qǐng)序列號(hào)13/757，679的主題。其全部主題通過引用被結(jié)合于此。
[0003]本申請(qǐng)包含關(guān)于于2013年2月I日提交且標(biāo)題為“VIDEO CODING SYSTEM WITHLOW DELAY AND METHOD OF OPERAT1N THEREOF” 的美國(guó)專利申請(qǐng)序列號(hào) 13/757,685 的主題。其全部主題通過引用被結(jié)合于此。
[0004]本申請(qǐng)要求于2012年7月2日提交的美國(guó)臨時(shí)專利申請(qǐng)序列號(hào)61/667，269、于2012年7月30日提交的美國(guó)臨時(shí)專利申請(qǐng)序列號(hào)61/677，302以及于2013年2月I日提交的美國(guó)非臨時(shí)申請(qǐng)序列號(hào)13/757，624的權(quán)益，這些申請(qǐng)的主題通過引用被全部結(jié)合于此。

【技術(shù)領(lǐng)域】
[0005]本發(fā)明一般而言涉及視頻系統(tǒng)，并且更具體而言涉及用于視頻編碼的系統(tǒng)。

【背景技術(shù)】
[0006]高質(zhì)量視頻向智能電話、高清晰電視、汽車信息系統(tǒng)以及其它具有屏幕的視頻設(shè)備的部署在近年來(lái)大幅增長(zhǎng)。支持視頻內(nèi)容的各種各樣的信息設(shè)備需要多種類型的視頻內(nèi)容，以便向具有不同尺寸、質(zhì)量和連接能力的設(shè)備提供。
[0007]視頻已經(jīng)從二維單視圖視頻發(fā)展到具有高分辨率三維成像的多視圖視頻。為了使視頻的傳送更有效，已經(jīng)嘗試了不同的視頻編碼和壓縮方案，以便從最少量的數(shù)據(jù)獲得最好的畫面。運(yùn)動(dòng)圖像專家組(MPEG)開發(fā)出了允許基于標(biāo)準(zhǔn)化的數(shù)據(jù)序列和算法的良好視頻質(zhì)量的標(biāo)準(zhǔn)。H.264 (MPEG4第10部分)/高級(jí)視頻編碼設(shè)計(jì)的編碼效率比現(xiàn)有的MPEG-2格式提高了兩倍。視頻的質(zhì)量依賴于視頻中數(shù)據(jù)的操縱和壓縮。視頻可以被修改成適應(yīng)于用來(lái)向具有不同分辨率和功能集的顯示設(shè)備發(fā)送視頻的不同帶寬。但是，分發(fā)更大、更高質(zhì)量的視頻或者更復(fù)雜的視頻功能需要附加的帶寬和改進(jìn)的視頻壓縮。
[0008]因而，仍然存在對(duì)能夠跨具有不同大小、分辨率和連接性的各種設(shè)備交付良好畫面質(zhì)量和特征的視頻編碼系統(tǒng)的需求。鑒于在不斷增長(zhǎng)的范圍的智能設(shè)備上提供視頻的需求不斷增加，找出對(duì)這些問題的答案日益關(guān)鍵。鑒于日益增加的商業(yè)競(jìng)爭(zhēng)壓力，連同日益增長(zhǎng)的消費(fèi)者期望和市場(chǎng)上有意義的產(chǎn)品差異化的機(jī)會(huì)逐漸減少，找出對(duì)這些問題的答案很關(guān)鍵。此外，節(jié)約成本、提高效率和性能以及滿足競(jìng)爭(zhēng)壓力的需求都對(duì)找出對(duì)這些問題的答案的關(guān)鍵必要性添加了更大的緊迫性。
[0009]對(duì)這些問題的解決辦法長(zhǎng)期以來(lái)一直在尋找，但是此前的發(fā)展還沒有教導(dǎo)或建議任何解決辦法，因此，對(duì)這些問題的解決辦法長(zhǎng)期以來(lái)一直困擾著本領(lǐng)域技術(shù)人員。


【發(fā)明內(nèi)容】

[0010]本發(fā)明提供了一種視頻編碼系統(tǒng)的操作方法，包括:接收視頻位流；從視頻位流提取視頻語(yǔ)法；基于視頻語(yǔ)法從視頻位流提取時(shí)域?qū)?temporal layer);以及基于時(shí)域?qū)有纬梢曨l流，用于在設(shè)備上顯示。
[0011]本發(fā)明提供了一種視頻編碼系統(tǒng)，包括:用于接收視頻位流的接收模塊；耦合到接收模塊的獲取語(yǔ)法模塊，用于從視頻位流提取視頻語(yǔ)法；耦合到獲取語(yǔ)法模塊的解碼模塊，用于基于視頻語(yǔ)法從視頻位流提取時(shí)域?qū)?；以及耦合到解碼模塊的顯示模塊，用于基于時(shí)域?qū)有纬梢曨l流，用于在設(shè)備上顯示。
[0012]除以上提到的那些之外或者代替其，本發(fā)明的某些實(shí)施例還具有其它方面。當(dāng)參考附圖理解時(shí)，通過閱讀以下具體描述，這些方面將對(duì)本領(lǐng)域技術(shù)人員變得顯然。

【專利附圖】

【附圖說(shuō)明】
[0013]圖1是本發(fā)明實(shí)施例中視頻編碼系統(tǒng)的框圖。
[0014]圖2是視頻位流的例子。
[0015]圖3是高效率視頻編碼(HEVC)視頻可用性信息(VUI)語(yǔ)法的例子。
[0016]圖4是HEVC VUI第一擴(kuò)展語(yǔ)法的例子。
[0017]圖5是HEVC VUI第二擴(kuò)展語(yǔ)法的例子。
[0018]圖6是HRD語(yǔ)法的例子。
[0019]圖7是HRD子層語(yǔ)法的例子。
[0020]圖8是HRD VUI語(yǔ)法的例子。
[0021]圖9是視頻編碼系統(tǒng)的功能框圖。
[0022]圖10是視頻編碼系統(tǒng)的控制流。
[0023]圖11是本發(fā)明另一種實(shí)施例中視頻編碼系統(tǒng)的操作方法的流程圖。

【具體實(shí)施方式】
[0024]以下實(shí)施例被足夠詳細(xì)地進(jìn)行描述，以便使本領(lǐng)域技術(shù)人員能夠獲得并使用本發(fā)明。應(yīng)當(dāng)理解，基于本公開內(nèi)容，其它實(shí)施例將是顯而易見的，并且在不背離本發(fā)明范圍的情況下可以進(jìn)行過程或機(jī)械上的變化。
[0025]在以下描述中，給出了許多具體的細(xì)節(jié)，以提供對(duì)本發(fā)明的透徹理解。但是，很顯然，本發(fā)明沒有這些具體細(xì)節(jié)也可以實(shí)踐。為了避免模糊本發(fā)明，一些眾所周知的電路、系統(tǒng)配置和過程步驟沒有具體地公開。
[0026]同樣，示出系統(tǒng)實(shí)施例的附圖是半圖式的且不是按比例的，并且，特別地，一些維度是為了呈現(xiàn)清晰起見并且在附圖中被非?？浯蟮厥境?。在公開和描述具有一些共同特征的多個(gè)實(shí)施例的地方，為了清晰以及易于對(duì)其說(shuō)明、描述和理解起見，彼此之間類似或相同的特征將一般地用相同的標(biāo)號(hào)進(jìn)行描述。
[0027]術(shù)語(yǔ)“語(yǔ)法”指描述數(shù)據(jù)結(jié)構(gòu)的元素集合。在本文中提到的術(shù)語(yǔ)“模塊”在本發(fā)明中根據(jù)所使用的上下文可以包括軟件、硬件或其組合。
[0028]現(xiàn)在參考圖1，其中示出了本發(fā)明實(shí)施例中視頻編碼系統(tǒng)100的框圖。視頻編碼器102可以接收視頻內(nèi)容108并且將視頻位流110發(fā)送到視頻解碼器104，用于解碼并在顯示接口 120上顯示。
[0029]視頻編碼器102可以接收并編碼視頻內(nèi)容108。視頻編碼器102是用于把視頻內(nèi)容108編碼成不同形式的單元。視頻內(nèi)容108被定義為對(duì)象場(chǎng)景的數(shù)字表示。例如，視頻內(nèi)容108可以是一個(gè)或多個(gè)數(shù)碼攝像機(jī)的數(shù)字輸出。
[0030]編碼被定義為計(jì)算地把視頻內(nèi)容108修改成不同的形式。例如，編碼可以把視頻內(nèi)容108壓縮成視頻位流110，以減少傳送視頻位流110所需的數(shù)據(jù)量。
[0031]在另一個(gè)例子中，視頻內(nèi)容108可以通過被壓縮、視覺強(qiáng)化、分隔成一個(gè)或多個(gè)視圖、改變分辨率、改變縱橫比或其組合來(lái)進(jìn)行編碼。在另一個(gè)說(shuō)明性例子中，視頻內(nèi)容108可以根據(jù)高效率視頻編碼(HEVC)/H.265草案標(biāo)準(zhǔn)進(jìn)行編碼。
[0032]視頻編碼器102可以編碼視頻內(nèi)容108，以形成視頻位流110。視頻位流110定義為表不與視頻內(nèi)容108相關(guān)聯(lián)的彳目息的位序列。例如，視頻位流110可以是表不視頻內(nèi)容108的壓縮的位序列。在另一個(gè)例子中，視頻位流110是表示隨時(shí)間串行發(fā)送的視頻內(nèi)容108的位串。
[0033]視頻編碼器102可以以各種方式接收用于場(chǎng)景的視頻內(nèi)容108。例如，表示現(xiàn)實(shí)世界中的對(duì)象的視頻內(nèi)容108可以用攝像機(jī)、多個(gè)照相機(jī)捕獲、用計(jì)算機(jī)生成、作為文件提供、或是其組合。
[0034]視頻內(nèi)容108可包括各種視頻特征。例如，視頻內(nèi)容108可以包括單一視圖視頻、多視圖視頻、立體視頻或其組合。在另一個(gè)例子中，視頻內(nèi)容108可以是四個(gè)或更多個(gè)照相機(jī)的多視圖視頻，用于支持三維(3D)視頻觀看，而無(wú)需用3D眼鏡。
[0035]視頻編碼器102可以利用視頻語(yǔ)法114編碼視頻內(nèi)容108，以生成視頻位流110。視頻語(yǔ)法114定義為描述用于編碼和解碼視頻內(nèi)容108的編碼方法的一組信息元素。視頻位流110符合視頻語(yǔ)法114，諸如高效率視頻編碼/H.265標(biāo)準(zhǔn)，并且可以包括HEVC視頻位流、超高清晰視頻位流或其組合。視頻位流110可包括視頻語(yǔ)法114。
[0036]視頻位流110可包括表示視頻內(nèi)容108的圖像的信息以及相關(guān)聯(lián)的關(guān)于視頻內(nèi)容108的編碼的控制信息。例如，視頻位流110可以包括視頻語(yǔ)法114的實(shí)例以及視頻內(nèi)容108的實(shí)例。
[0037]視頻編碼系統(tǒng)100可以包括用于解碼視頻位流110的視頻解碼器104。視頻解碼器104定義為用于接收視頻位流110并修改視頻位流110以形成視頻流112的單元。
[0038]視頻解碼器104可以利用視頻語(yǔ)法114解碼視頻位流110以形成視頻流112。解碼定義為計(jì)算地修改視頻位流110以形成視頻流112。例如，解碼可以解壓縮視頻位流110，以形成格式化為用于在顯示接口 120上顯示的視頻流112。
[0039]視頻流112定義為視頻內(nèi)容108被計(jì)算地修改后的版本。例如，視頻流112可以包括具有不同分辨率的視頻內(nèi)容108修改后的實(shí)例。視頻流112可以包括從視頻內(nèi)容108裁剪的解碼的圖像。
[0040]在另一個(gè)例子中，視頻流112可以具有與視頻內(nèi)容108不同的縱橫比、不同的幀速率、不同的立體視圖、不同的視圖順序、或其組合。視頻流112可以具有不同的視覺屬性，包括不同的顏色參數(shù)、顏色平面、對(duì)比度、色調(diào)、或其組合。
[0041]視頻編碼系統(tǒng)100可以包括顯示處理器118。顯示處理器118可以從視頻解碼器104接收視頻流112，用于在顯示接口 120上顯示。顯示接口 120是能夠呈現(xiàn)視頻流112的可視表示的單元。
[0042]例如，顯示接口 120可以包括智能電話顯示器、數(shù)字投影儀、DVD播放器顯示器、或其組合。雖然視頻編碼系統(tǒng)100把視頻解碼器104、顯示處理器118和顯示接口 120示為單獨(dú)的單元，但是應(yīng)當(dāng)理解，視頻解碼器104可以包括顯示處理器118和顯示接口 120。
[0043]視頻編碼器102可以經(jīng)通信路徑106將視頻位流110發(fā)送到視頻解碼器104。通信路徑106可以是適于數(shù)據(jù)傳輸?shù)母鞣N網(wǎng)絡(luò)。
[0044]例如，通信路徑106可以包括無(wú)線通信、有線通信、光學(xué)、超聲或其組合。衛(wèi)星通信、蜂窩通信、藍(lán)牙、紅外線數(shù)據(jù)協(xié)會(huì)標(biāo)準(zhǔn)(IrDA)、無(wú)線保真(WiFi)和全球微波接入互操作性(WiMAX)是可以包括在通信路徑106中的無(wú)線通信的例子。以太網(wǎng)、數(shù)字用戶線路(DSL)、光纖到戶(FTTH)和普通舊式電話服務(wù)(POTS)是可以包括在通信路徑106中的有線通信的例子。
[0045]視頻編碼系統(tǒng)100可以采用各種視頻編碼語(yǔ)法結(jié)構(gòu)。例如，視頻編碼系統(tǒng)100可以利用高效率視頻編碼/H.265工作草案版本編碼和解碼視頻信息。在通過引用全部結(jié)合于此的文檔中描述了 HEVC工作草案版本。通過引用全部結(jié)合于此的文檔包括:
[0046]B.Bross, ff.Han, JOhm, G.Sullivan, T.Wiegand, “High-EfficiencyVideoCoding(HEVC)textspecificat1n draft 8”，JCTVC_11003d7，2012 年 7 月(斯德哥爾摩)。
[0047]B.Bross, W.Han, J.0hm, G.Sullivan, T.Wiegand,iiHighEfficiencyVideoCoding (HEVC) text specificat1n draft 7“ JCTVC_11003d4, 2012 年5月(日內(nèi)瓦)。
[0048]Μ.Haque,K.Sato,A.Tabatabai,Τ.Suzuki,“Simplificat1nofHRD parameters forTemporal Scalability”，JCTVC-J0272，2012 年 7 月(斯德哥爾摩)。
[0049]M.Haque , K.Sato , A.Tabatabai, T.Suzuki , “ HEVCVUI Par ame t er swithExtens1nHooks”，JCTVC-J0270, 2012 年 7 月(斯德哥爾摩)。
[0050]M.Haque, A.Tabatabai, “Extens1nofHEVCVUISyntaxStructure”，JCTVC-10263,2012年5月。
[0051]M.Haque, “AHGlO: VUI and HRD syntax designs agreed by the BoG on VPSandNUH”，JCTVC-J0548rl, 2012 年 7 月。
[0052]現(xiàn)在參考圖2，其中示出了視頻位流110的例子。視頻位流110包括圖1視頻內(nèi)容108的編碼的實(shí)例，并且可以利用視頻語(yǔ)法114進(jìn)行解碼以形成圖1的視頻流112，用于在圖1的顯示接口 120上顯示。
[0053]如由語(yǔ)法類型202所指示的，視頻位流110可以包括各種視頻類型。語(yǔ)法類型202定義為用來(lái)編碼和解碼視頻位流110的視頻編碼類型的指示器。例如，視頻內(nèi)容108可包括用于高級(jí)視頻編碼204 (AVC)、可縮放視頻編碼206 (SVC)、多視圖視頻編碼208 (MVC)、多視圖視頻加深度210 (MVD)及立體視頻212 (SSV)的語(yǔ)法類型202。
[0054]高級(jí)視頻編碼204與可縮放視頻編碼206可以用來(lái)編碼基于單一視圖的視頻以形成視頻位流110?；趩我灰晥D的視頻可以包括從單一照相機(jī)產(chǎn)生的視頻內(nèi)容108。
[0055]多視圖視頻編碼208、多視圖視頻加深度210及立體視頻212可以用來(lái)編碼具有兩個(gè)或更多個(gè)視圖的視頻內(nèi)容108。例如，多視圖視頻可包括來(lái)自多個(gè)照相機(jī)的視頻內(nèi)容108。
[0056]視頻語(yǔ)法114可以包括條目標(biāo)識(shí)符216。條目標(biāo)識(shí)符216是用于區(qū)分多個(gè)編碼的視頻序列的值。編碼的視頻序列可以包括對(duì)于單一視圖視頻、多視圖視頻或立體視頻具有不同位速率、幀速率、分辨率、或可縮放層的視頻內(nèi)容108的實(shí)例。
[0057]視頻語(yǔ)法114可以包括條目計(jì)數(shù)214，用于識(shí)別與視頻內(nèi)容108中每個(gè)幀相關(guān)聯(lián)的條目的數(shù)量。條目計(jì)數(shù)214是在視頻內(nèi)容108中表示的條目的最大數(shù)量。
[0058]視頻語(yǔ)法114可以包括迭代標(biāo)識(shí)符218。迭代標(biāo)識(shí)符218是區(qū)分視頻內(nèi)容108的各個(gè)迭代的值。
[0059]視頻語(yǔ)法114可以包括迭代計(jì)數(shù)220。迭代計(jì)數(shù)220是指示視頻內(nèi)容108的迭代的最大數(shù)量的值。
[0060]對(duì)于可縮放的視頻編碼，術(shù)語(yǔ)迭代計(jì)數(shù)可用來(lái)指示在可縮放視頻編碼的情況下綁定到不同可縮放視頻層的信息條目的數(shù)量。對(duì)于多視圖視頻編碼，迭代計(jì)數(shù)可用來(lái)指示綁定到視頻內(nèi)容108的視圖數(shù)量的操作點(diǎn)的數(shù)量。
[0061]例如，在可縮放視頻編碼中，視頻內(nèi)容108可以被編碼成包括帶附加增強(qiáng)層的基礎(chǔ)層，以形成視頻位流110的多層實(shí)例?；A(chǔ)層可具有最低的分辨率、幀速率或質(zhì)量。
[0062]增強(qiáng)層可以包括帶用來(lái)提高視頻質(zhì)量的附加剩余信息的逐步精煉。可縮放視頻層擴(kuò)展可包括可擴(kuò)展到覆蓋可縮放視頻編碼的HEVC新基線標(biāo)準(zhǔn)。
[0063]視頻語(yǔ)法114可以包括操作標(biāo)識(shí)符222。操作標(biāo)識(shí)符222是區(qū)分視頻內(nèi)容108的各個(gè)操作點(diǎn)的值。操作點(diǎn)是為多視圖視頻編碼呈現(xiàn)的信息條目，諸如計(jì)時(shí)信息、網(wǎng)絡(luò)抽象層(NAL)假設(shè)參考解碼器(HRD)參數(shù)、視頻編碼層(VCL)HRD參數(shù)、piC_struCt_present_flag元素或其組合。
[0064]視頻語(yǔ)法114可以包括操作計(jì)數(shù)224。操作計(jì)數(shù)224是指示視頻內(nèi)容108的操作的最大數(shù)量的值。
[0065]操作點(diǎn)綁定到從各種視圖中編碼的視頻序列的生成，各種視圖諸如由不同照相機(jī)，為多視圖和3D視頻產(chǎn)生的視圖。對(duì)于多視圖視頻編碼而言，取決于目標(biāo)輸出視圖，操作點(diǎn)與具有目標(biāo)輸出視圖和其它視圖的視頻位流110的子集相關(guān)聯(lián)。如果其它的視圖是利用子位流提取過程得到的，則它們依賴于目標(biāo)輸出視圖。多于一個(gè)的操作點(diǎn)可以與視頻位流110的同一子集相關(guān)聯(lián)。例如，解碼操作點(diǎn)指解碼對(duì)應(yīng)于該操作點(diǎn)的視頻位流的子集并且后續(xù)輸出作為用于在圖1的設(shè)備102上顯示的視頻流112的一部分的目標(biāo)輸出視圖。
[0066]視頻語(yǔ)法114可以包括視圖標(biāo)識(shí)符226。視圖標(biāo)識(shí)符226是區(qū)分視頻內(nèi)容108的各個(gè)視圖的值。
[0067]視頻語(yǔ)法114可以包括視圖計(jì)數(shù)228。視圖計(jì)數(shù)228是指示視頻內(nèi)容108的視圖的最大數(shù)量的值。
[0068]例如，單一視圖可以是由單個(gè)照相機(jī)產(chǎn)生的視頻。多視圖視頻可以由位于不同位置和距場(chǎng)景中被觀看的對(duì)象不同距離的多個(gè)照相機(jī)產(chǎn)生。
[0069]視頻內(nèi)容108可以包括各種視頻屬性。例如，視頻內(nèi)容108可以是高分辨率視頻，諸如超高清視頻。視頻內(nèi)容108可以具有3840X2160或更高的像素分辨率，包括7680X4320,8K x 2K、4K χ 2Κ或其組合的分辨率。雖然視頻內(nèi)容108支持高分辨率視頻，但是應(yīng)當(dāng)理解,視頻內(nèi)容108也可以支持較低的分辨率，例如高清晰(HD)視頻。視頻語(yǔ)法114可以支持視頻內(nèi)容108的分辨率。
[0070]視頻內(nèi)容108可以支持各種幀速率，包括15幀每秒(fps)、24fps、25fps、30fps、50fps、60fps和120fps。雖然描述了各個(gè)幀速率，但是應(yīng)當(dāng)理解，視頻內(nèi)容108可以支持零幀每秒及更高的、固定及可變的幀速率。視頻語(yǔ)法114可以支持視頻內(nèi)容108的幀速率。[0071 ] 視頻位流110可以包括一個(gè)或多個(gè)時(shí)域?qū)?30。時(shí)域?qū)?30定義為表示指定的幀速率的視頻流112的、視頻位流110的部分。每一個(gè)時(shí)域?qū)?30都可以表示在以幀每秒(fps)表達(dá)的不同幀速率下的視頻流112。時(shí)域?qū)?30可以構(gòu)成具有包括較低層的更高層的層次結(jié)構(gòu)。
[0072]例如，時(shí)域?qū)?30的第一實(shí)例232可以表示視頻流112的15fps實(shí)例、時(shí)域?qū)?30的第二實(shí)例234可以表示視頻流112的30fps實(shí)例、時(shí)域?qū)?30的第三實(shí)例236可以表示視頻流112的60fps實(shí)例。每一個(gè)時(shí)域?qū)?30都可以包括表示視頻內(nèi)容108的視頻幀238。
[0073]時(shí)域?qū)?30的第一實(shí)例232可以表示把視頻內(nèi)容108編碼以形成在15fps的視頻流112的基礎(chǔ)層。時(shí)域?qū)?30的第二實(shí)例234可以表示諸如時(shí)域?qū)?30第一實(shí)例232的基礎(chǔ)層與視頻內(nèi)容108在30fps的視頻流112之間的差異。
[0074]第二實(shí)例234可以包括表示基礎(chǔ)層的幀與用于在30fps顯示視頻內(nèi)容108所需的新幀之間的差異的幀。時(shí)域?qū)?30的第三實(shí)例236可以表示時(shí)域?qū)?30的第二實(shí)例234與在60fps的視頻內(nèi)容之間的差異。
[0075]在說(shuō)明性例子中，用于智能電話的圖1的視頻解碼器104可以從視頻位流110中提取在30fps的時(shí)域?qū)?30的第二實(shí)例234，這可以包括來(lái)自第一實(shí)例232和第二實(shí)例234的信息。在視頻位流110中來(lái)自時(shí)域?qū)?30的第三實(shí)例236的信息可以被丟棄，以減小視頻位流110的大小。
[0076]現(xiàn)在參考圖3，其中示出了高效率視頻編碼(HEVC)視頻可用性信息(VUI)語(yǔ)法302的例子。HEVC VUI語(yǔ)法302包括關(guān)于圖1的視頻流110的信息，以允許用于圖1視頻內(nèi)容108的附加應(yīng)用可用性特征。
[0077]HEVC VUI語(yǔ)法302描述圖3的HEVC VUI語(yǔ)法表中的元素。HEVC VUI語(yǔ)法302的元素如圖3的HEVC VUI語(yǔ)法表中所描述的那樣以層次結(jié)構(gòu)布置。
[0078]HEVC VUI 語(yǔ)法 302 包括 HEVC VUI 語(yǔ)法首部 303，諸如 vui_parameters 元素。HEVCVUI語(yǔ)法首部303是用于識(shí)別HEVC VUI語(yǔ)法302的描述符。HEVC VUI語(yǔ)法302用來(lái)編碼和解碼視頻位流110。
[0079]HEVC VUI語(yǔ)法302可以包括關(guān)于視頻位流110的各種信息。HEVC WI語(yǔ)法302可以包括關(guān)于視頻內(nèi)容108的縱橫比、過掃描、視頻信號(hào)類型、色度、NAL HRD值、位流限制或者其組合的信息。
[0080]HEVC VUI語(yǔ)法302可以包括關(guān)于視頻內(nèi)容108的縱橫比的縱橫比信息。HEVC VUI語(yǔ)法302可以包括縱橫比標(biāo)志304、縱橫比指示器306、縱橫比寬度308以及縱橫比高度310，或者其組合。
[0081]HEVC VUI 語(yǔ)法 302 可以包括縱橫比標(biāo)志 304,諸如 aspect_rat1_info_present_flag元素，以示出附加的縱橫比信息在視頻位流110中被編碼。縱橫比標(biāo)志304可以具有指示縱橫比信息不在視頻位流110中的值O和指示縱橫比信息包括在視頻位流110中的值
1
[0082]縱橫比指示符306是描述視頻內(nèi)容108的縱橫比的值。例如，縱橫比指示符306，諸如aspect_rat1_idc元素,可以包括用于視頻內(nèi)容108的預(yù)定義縱橫比的枚舉列表的索引值。在另一個(gè)例子中，縱橫比指示符306可以包括值，該值指示縱橫比可以由用于縱橫比寬度308和縱橫比高度310的獨(dú)立值來(lái)描述。
[0083]縱橫比寬度308，諸如sar_width元素，可以描述視頻內(nèi)容108的寬度?？v橫比高度310，諸如sar_height元素，可以描述視頻內(nèi)容108的高度?？v橫比寬度308和縱橫比高度310可以以比率、像素、行、英寸、厘米或者其組合來(lái)描述視頻內(nèi)容的大小。
[0084]HEVC VUI語(yǔ)法302可以包括用于視頻內(nèi)容108的過掃描信息。HEVC VUI語(yǔ)法302可以包括過掃描存在標(biāo)志312和過掃描合適標(biāo)志314。
[0085]過掃描定義為其中靠近圖1視頻流112的裁剪的解碼畫面邊界的一些部分在視頻流112的顯示區(qū)域內(nèi)不可見的顯示過程。欠掃描定義為其中視頻流112的整個(gè)裁剪的解碼畫面在顯示區(qū)域內(nèi)都可見但不覆蓋整個(gè)顯示區(qū)域的顯示過程。
[0086]過掃描存在標(biāo)志312可以指示過掃描信息是否包括在視頻位流110中。諸如overscan_info_present_flag的過掃描存在標(biāo)志312可以具有指示過掃描信息在視頻位流中存在的值I或者指示過掃描信息在視頻位流110中不存在的值O。
[0087]過掃描合適標(biāo)志314可以指示在視頻位流110中編碼的視頻內(nèi)容108可利用過掃描進(jìn)行顯示。諸如overscan_appropriate_flag元素的過掃描合適標(biāo)志314可以具有值I,以指示視頻流112的裁剪的解碼畫面適于利用過掃描進(jìn)行顯示。過掃描合適標(biāo)志314可以具有值零，以指示視頻流112的裁剪的解碼畫面包含可視的重要信息并且不應(yīng)當(dāng)利用過掃描進(jìn)行顯示。
[0088]HEVC VUI語(yǔ)法302可以包括用于視頻內(nèi)容108的視頻信號(hào)類型信息。HEVC VUI語(yǔ)法302可以包括視頻信號(hào)存在標(biāo)志316、視頻格式317、視頻全范圍標(biāo)志318、顏色描述存在標(biāo)志320、顏色原色322、傳輸特性324及矩陣系數(shù)326。
[0089]諸如video_signal_type_present_flag元素的視頻信號(hào)存在標(biāo)志316可以指示視頻信號(hào)類型信息包括在視頻位流110中。視頻信號(hào)存在標(biāo)志316可以具有值1，以指示附加的視頻信號(hào)類型信息在視頻位流110中存在。視頻信號(hào)存在標(biāo)志316可以具有值0，以指示視頻位流110中沒有視頻信號(hào)類型信息存在。
[0090]諸如video_format元素的視頻格式317可以指示視頻的格式。諸如video_full_range_flag元素的視頻全范圍標(biāo)志318可以指示用于在視頻位流110中編碼的視頻內(nèi)容108的黑電平以及亮度和色度信號(hào)的范圍。
[0091]諸如colour_descript1n_present_flag元素的顏色描述存在標(biāo)志320可以指示視頻位流110中顏色描述信息的存在。顏色描述存在標(biāo)志320可以具有值1，以指示附加的顏色描述信息包括在視頻位流110中。顏色描述存在標(biāo)志320可以具有值0，以指示沒有包括其它的顏色描述信息。顏色描述信息可包括顏色原色322、傳輸特性324及矩陣系數(shù)326。
[0092]顏色原色322可以指示在視頻內(nèi)容108中使用的配色方案。例如，諸如colour_primaries元素的顏色原色322可以指示源原色的色度坐標(biāo)。
[0093]傳輸特性324可以指示視頻內(nèi)容108的光電傳輸特性。例如，諸如transfer_characteristics元素的傳輸特性324可以是描述一組預(yù)定義的顯示特性的枚舉值。
[0094]矩陣系數(shù)326可以指示用來(lái)從由顏色原色322指示的紅、綠、藍(lán)原色中導(dǎo)出亮度和色度信號(hào)的系數(shù)。諸如matrix_coefficient元素的矩陣系數(shù)326可以是用來(lái)計(jì)算地把一組紅、藍(lán)和綠顏色坐標(biāo)變換成等價(jià)的亮度和色度的矩陣系數(shù)。
[0095]HEVC WI語(yǔ)法302可以包括用于視頻內(nèi)容108的色度信息。HEVC WI語(yǔ)法302可以包括色度位置信息存在標(biāo)志328、色度頂部域樣本330、色度底部域樣本332、及中性色度標(biāo)志334。
[0096]諸如chroma_loc_info_present_flag元素的色度位置信息存在標(biāo)志328可以指示附加的色度信息是否在視頻位流110中存在。色度位置信息存在標(biāo)志328可以具有指示附加的色度信息存在的值I或者指示沒有附加的色度信息存在的值O。附加的色度信息可包括色度頂部域樣本330和色度底部域樣本332。
[0097]諸如chroma_sample_loc_type_top_field元素的色度頂部域樣本330可以是枚舉值，以規(guī)定用于視頻位流110中頂部域的色度樣本的位置。諸如chroma_sample_loc_type_bottomjield元素的色度底部域樣本332可以是枚舉值，以規(guī)定用于視頻位流110中底部域的色度樣本的位置。
[0098]諸如neutral_chroma_indicat1n_flag元素的中性色度標(biāo)志334可以指示解碼的色度樣本是否等于一。例如，如果中性色度標(biāo)志334具有值1，則所有的解碼色度樣本被設(shè)置為I。如果中性色度標(biāo)志334具有值0，則解碼的色度樣本不限于I。
[0099]HEVC VUI語(yǔ)法302可以包括關(guān)于視頻位流110的字段序列信息。HEVC VUI語(yǔ)法302可以包括字段序列標(biāo)志336、計(jì)時(shí)信息存在標(biāo)志338、滴答單元340、時(shí)間標(biāo)度344和固定畫面速率標(biāo)志346。
[0100]字段序列標(biāo)志336，諸如field_seq_flag，可以指示編碼的視頻序列信息是否包括視頻表示字段。字段序列標(biāo)志336可以具有指示字段存在的值I和指示沒有字段存在的值O0
[0101]計(jì)時(shí)信息存在標(biāo)志338,諸如timing_info_present_flag元素,可以指示計(jì)時(shí)信息是否包括在視頻位流110中。計(jì)時(shí)信息存在標(biāo)志338可以具有指示計(jì)時(shí)信息在視頻位流110中的值I和指示計(jì)時(shí)信息不在視頻位流110中的值O。
[0102]滴答單元340,諸如num_units_in_tick元素,可以指示時(shí)鐘在時(shí)間標(biāo)度344的頻率下操作的時(shí)間單元的數(shù)量。例如，滴答單元340可以具有對(duì)應(yīng)于可在視頻位流110中表示的時(shí)間的最小間隔。時(shí)間標(biāo)度344，諸如time_scale元素，是在一秒內(nèi)經(jīng)過時(shí)間單元的數(shù)量。
[0103]固定畫面速率標(biāo)志346,諸如fixed_pic_rate_flag元素,可以指示在視頻流112的輸出次序中兩個(gè)連續(xù)畫面之間的時(shí)域距離是否受約束。固定畫面速率標(biāo)志346具有指示沒有應(yīng)用約束的值O和指示時(shí)域距離受約束的值I。
[0104]HEVC VUI語(yǔ)法302可以包括關(guān)于假設(shè)參考解碼器參數(shù)的信息。HEVC VUI語(yǔ)法302可以包括NAL HRD參數(shù)存在標(biāo)志348、VCL HRD參數(shù)存在標(biāo)志352和HRD參數(shù)結(jié)構(gòu)350。
[0105]NAL HRD 參數(shù)存在標(biāo)志 348,諸如 nal_hrd_parameters_present_flag 兀素，可以指示NAL HRD參數(shù)信息的存在。NAL HRD參數(shù)存在標(biāo)志348可以具有指示HRD參數(shù)結(jié)構(gòu)350在HEVC VUI語(yǔ)法302中存在的值I或者指示HRD參數(shù)結(jié)構(gòu)350不存在的值O。
[0106]VCL HRD 參數(shù)存在標(biāo)志 352,諸如 vcl_hrd_parameters_present_flag 兀素，可以指示用于VCL的HRD信息的存在。VCL HRD參數(shù)存在標(biāo)志352可以具有指示HRD參數(shù)結(jié)構(gòu)350在HEVC VUI語(yǔ)法302中存在的值I或者指示HRD參數(shù)結(jié)構(gòu)350不存在的值O。
[0107]HRD參數(shù)結(jié)構(gòu)350可以包括用于VCL的假設(shè)參考解碼器參數(shù)。HRD參數(shù)結(jié)構(gòu)350在以下的HRD語(yǔ)法部分中具體描述。HRD參數(shù)結(jié)構(gòu)350是HRD語(yǔ)法的實(shí)例。
[0108]如果NAL HRD參數(shù)存在標(biāo)志348或VCL HRD參數(shù)存在標(biāo)志352具有值1，則HEVCVUI語(yǔ)法302可以包括附加的HRD參數(shù)和位流參數(shù)。HEVC VUI語(yǔ)法302可以包括低延遲HRD標(biāo)志354、子畫面編碼的畫面緩沖區(qū)(CPB)參數(shù)存在標(biāo)志356以及子單元滴答(subunitticks)358。
[0109]HEVC VUI語(yǔ)法302可以包括低延遲HRD標(biāo)志354，諸如low_delay_hrd_f lag元素。低延遲HRD標(biāo)志354可以指示HRD操作模式。
[0110]HEVC VUI語(yǔ)法302可以包括子畫面CPB參數(shù)存在標(biāo)志356，諸如sub_pic_cpb_params_present_flag元素。子畫面CPB參數(shù)存在標(biāo)志356可以指示子畫面CPB參數(shù)是否在視頻位流110中存在。
[0111]如果子畫面CPB參數(shù)存在標(biāo)志356具有值1，則HEVC VUI語(yǔ)法302可以包括子單元滴答358,諸如num_of_units_in_sub_tick元素。子單元滴答358可以指示在去除計(jì)時(shí)輔助增強(qiáng)信息(SEI)消息之前等待的滴答數(shù)量。
[0112]如果NAL HRD參數(shù)存在標(biāo)志348或VCL HRD參數(shù)存在標(biāo)志352具有值I，則HEVCVUI語(yǔ)法302可以包括位流參數(shù)。HEVC VUI語(yǔ)法302可以包括關(guān)于視頻位流110的位流限制信息。HEVC VUI語(yǔ)法302可以包括位流限制標(biāo)志360、塊固定結(jié)構(gòu)標(biāo)志362、運(yùn)動(dòng)向量標(biāo)志364、每畫面單位(denominat1n)最大字節(jié)數(shù)336、每最小cu單位最大位數(shù)368、最大運(yùn)動(dòng)向量水平長(zhǎng)度370、及最大運(yùn)動(dòng)向量垂直長(zhǎng)度372。
[0113]位流限制標(biāo)志360,諸如bitstream_restrict1n_flag元素,指示編碼的視頻序列位流限制參數(shù)在視頻位流110中存在。如果位流限制參數(shù)在視頻位流110中存在，則位流限制標(biāo)志360具有值1，并且如果位流限制參數(shù)不存在，則位流限制標(biāo)志360具有值O。位流限制參數(shù)可以包括塊固定結(jié)構(gòu)標(biāo)志362、運(yùn)動(dòng)向量標(biāo)志364、每畫面單位最大字節(jié)數(shù)366、每最小cu單位最大位數(shù)368、最大運(yùn)動(dòng)向量水平長(zhǎng)度370、及最大運(yùn)動(dòng)向量垂直長(zhǎng)度372。
[0114]諸如tiles_fixed_structure_flag元素的塊固定結(jié)構(gòu)標(biāo)志362可以指示在編碼的視頻序列中每個(gè)畫面都具有相同數(shù)量的塊。塊固定結(jié)構(gòu)標(biāo)志362可以具有指示固定塊的值I和指示其它的值O。
[0115]諸如mot1n_vector_over_pic_boundaries_f lag 兀素的運(yùn)動(dòng)向量標(biāo)志 364 可以指示在畫面邊界之外沒有樣本用于預(yù)測(cè)。如果運(yùn)動(dòng)向量標(biāo)志364具有值1，則畫面邊界之外的一個(gè)或多個(gè)樣本可用于預(yù)測(cè)，否則沒有樣本被用于預(yù)測(cè)。
[0116]諸如max_bytes_per_pic_denom元素的每畫面單位最大字節(jié)數(shù)366是指示用于與編碼的視頻序列中任何編碼的畫面相關(guān)聯(lián)的VCLNAL單元的大小的總和的最大字節(jié)數(shù)的值。如果每畫面單位最大字節(jié)數(shù)366具有值0，則沒有指示限制。否則，位流一致性要求編碼的畫面不應(yīng)當(dāng)在視頻位流110中由多于每畫面單位最大字節(jié)數(shù)366的字節(jié)表示。
[0117]對(duì)于編碼的視頻序列的任何畫面中的任何編碼塊，諸如max_bits_per_min_cu_denom元素的每最小cu單位最大位數(shù)368是指示用于編碼單元數(shù)據(jù)的編碼的位的數(shù)量的上界的值。如果每最小cu單位最大位數(shù)368具有值0，則沒有指示限制。否則，位流一致性要求編碼單元在視頻位流110中不應(yīng)當(dāng)由多于每最小CU單位最大位數(shù)368的位表示。
[0118]諸如log2_max_mv_length_horizontal元素的最大運(yùn)動(dòng)向量水平長(zhǎng)度370指示用于視頻位流110中所有畫面的解碼的水平運(yùn)動(dòng)向量分量的最大絕對(duì)值。諸如log2_max_mv_length_vertical元素的最大運(yùn)動(dòng)向量垂直長(zhǎng)度372指示用于視頻位流110中所有畫面的解碼的垂直運(yùn)動(dòng)向量分量的最大絕對(duì)值。
[0119]現(xiàn)在參考圖4，其中示出了 HEVC VUI第一擴(kuò)展語(yǔ)法402的例子。HEVC VUI第一擴(kuò)展語(yǔ)法402提供用于圖1的視頻位流110中圖2時(shí)域?qū)?30的每個(gè)實(shí)例的單獨(dú)計(jì)時(shí)信息。
[0120]HEVC VUI第一擴(kuò)展語(yǔ)法402描述圖4的HEVC VUI第一擴(kuò)展語(yǔ)法表中的元素。如在圖4的HEVC VUI第一擴(kuò)展語(yǔ)法表中所描述的，HEVC VUI第一擴(kuò)展語(yǔ)法402的元素以層次結(jié)構(gòu)進(jìn)行布置。例如，HEVC VUI第一擴(kuò)展語(yǔ)法402可以是圖3的HEVC VUI語(yǔ)法302的擴(kuò)展。
[0121]HEVC VUI第一擴(kuò)展語(yǔ)法402包括HEVC VUI第一擴(kuò)展語(yǔ)法首部404，諸如vui_parameters元素。HEVC VUI第一擴(kuò)展語(yǔ)法首部404是用于識(shí)別HEVC VUI第一擴(kuò)展語(yǔ)法402的描述符。HEVC VUI第一擴(kuò)展語(yǔ)法402用來(lái)編碼和解碼視頻位流110。
[0122]對(duì)于視頻位流110中每個(gè)時(shí)域?qū)?，HEVC VUI第一擴(kuò)展語(yǔ)法402可以包括關(guān)于字段序列標(biāo)志336和計(jì)時(shí)信息存在標(biāo)志338的VUI參數(shù)的子集。諸如第一或第二的術(shù)語(yǔ)僅僅用于識(shí)別而不是要指示任何次序、優(yōu)先級(jí)、重要性或前后順序。
[0123]HEVC VUI第一擴(kuò)展語(yǔ)法402可以包括時(shí)域?qū)佑?jì)數(shù)406,諸如vui_max_temporal_layers_minusl元素,用于識(shí)別與圖1的視頻位流110中每一巾貞關(guān)聯(lián)的時(shí)域?qū)拥淖畲髷?shù)量。時(shí)域?qū)佑?jì)數(shù)406指示條目數(shù)減1，以便從O到時(shí)域?qū)訑?shù)減I映射時(shí)域?qū)佑?jì)數(shù)406。
[0124]HEVC VUI第一擴(kuò)展語(yǔ)法402可以包括循環(huán)結(jié)構(gòu)來(lái)表示特定于時(shí)域?qū)拥男畔?。循環(huán)可包括迭代器，諸如[i]，用于指示從O至?xí)r域?qū)佑?jì)數(shù)406的、與時(shí)域?qū)?30的每個(gè)實(shí)例相關(guān)聯(lián)的信息。HEVC VUI第一擴(kuò)展語(yǔ)法402支持用于等于時(shí)域?qū)佑?jì)數(shù)406的多個(gè)時(shí)域?qū)?30實(shí)例的單獨(dú)語(yǔ)法元素。
[0125]HEVC VUI第一擴(kuò)展語(yǔ)法402包括如在圖4的HEVC VUI第一擴(kuò)展語(yǔ)法表中所描述的元素。如在圖4的HEVC VUI第一擴(kuò)展語(yǔ)法表中所描述的，HEVC VUI第一擴(kuò)展語(yǔ)法402的元素以層次結(jié)構(gòu)進(jìn)行布置。
[0126]HEVC VUI第一擴(kuò)展語(yǔ)法402包括諸如字段序列標(biāo)志336、計(jì)時(shí)信息存在標(biāo)志338、滴答單元340、時(shí)間標(biāo)度344以及固定畫面速率標(biāo)志346的計(jì)時(shí)信息。HEVC VUI第一擴(kuò)展語(yǔ)法402可以包括NALHRD信息，諸如NAL HRD參數(shù)存在標(biāo)志348、HRD參數(shù)結(jié)構(gòu)350、VCLHRD參數(shù)存在標(biāo)志352、低延遲HRD標(biāo)志354、子畫面CPB參數(shù)存在標(biāo)志356以及子單元滴答358。
[0127]HEVC VUI第一擴(kuò)展語(yǔ)法402可以包括用于時(shí)域?qū)?30的每個(gè)實(shí)例的字段序列信息。HEVC VUI第一擴(kuò)展語(yǔ)法402可以包括字段序列標(biāo)志336、計(jì)時(shí)信息存在標(biāo)志338、滴答單元340、時(shí)間標(biāo)度344以及固定畫面速率標(biāo)志346。
[0128]HEVC WI第一擴(kuò)展語(yǔ)法402可以包括用于時(shí)域?qū)?30的每個(gè)實(shí)例的假設(shè)參考解碼器參數(shù)。HEVC VUI第一擴(kuò)展語(yǔ)法402可以包括NAL HRD參數(shù)存在標(biāo)志348、VCL HRD參數(shù)存在標(biāo)志352和HRD參數(shù)結(jié)構(gòu)350。
[0129]NAL HRD 參數(shù)存在標(biāo)志 348,諸如 nal_hrd_parameters_present_flag 兀素，可以指示NAL HRD參數(shù)信息的存在。NAL HRD參數(shù)存在標(biāo)志348可以具有指示HRD參數(shù)結(jié)構(gòu)350在視頻位流110中存在的值I或者指示HRD參數(shù)結(jié)構(gòu)350不存在的值O。
[0130]VCL HRD 參數(shù)存在標(biāo)志 352,諸如 vcl_hrd_parameters_present_f lag 兀素，可以指示用于VCL的HRD信息的存在。VCL HRD參數(shù)存在標(biāo)志352可以具有指示HRD參數(shù)結(jié)構(gòu)350在視頻位流110中存在的值I或者指示HRD參數(shù)結(jié)構(gòu)350不存在的值O。
[0131]HEVC VUI第一擴(kuò)展語(yǔ)法402可以包括HRD參數(shù)結(jié)構(gòu)350。HRD參數(shù)結(jié)構(gòu)350可以包括描述假設(shè)參考解碼器的參數(shù)。HRD參數(shù)結(jié)構(gòu)350在以下的部分中進(jìn)一步定義。
[0132]如果NAL HRD參數(shù)存在標(biāo)志348或VCL HRD參數(shù)存在標(biāo)志352具有值I，則HEVCVUI第一擴(kuò)展語(yǔ)法402可以包括低延遲HRD標(biāo)志354、子畫面CPB參數(shù)存在標(biāo)志356以及子單元滴答358。
[0133]HEVC WI第一擴(kuò)展語(yǔ)法402可包括關(guān)于位流、WI擴(kuò)展，以及循環(huán)結(jié)構(gòu)之外的RBSP信息的信息。位流、VUI擴(kuò)展和RBSP信息對(duì)所有時(shí)域?qū)佣际呛愣ǖ摹?br> [0134]HEVC VUI第一擴(kuò)展語(yǔ)法402可包括VUI擴(kuò)展標(biāo)志408,諸如vui_extens1n_flag元素，用于指示VUI擴(kuò)展信息包括在視頻位流110中。VUI擴(kuò)展標(biāo)志408可以具有指示VUI擴(kuò)展信息包括在視頻位流110中的值I和指示其它的值O。
[0135]HEVC VUI第一擴(kuò)展語(yǔ)法402可以包括更多RBSP數(shù)據(jù)標(biāo)志410，諸如more_rbsp_data元素，用于指示附加的數(shù)據(jù)在RBSP中。當(dāng)附加的數(shù)據(jù)在RBSP中時(shí)，更多RBSP數(shù)據(jù)標(biāo)志410可以具有值I，否則具有值O。
[0136]HEVC VUI第一擴(kuò)展語(yǔ)法402可以包括VUI擴(kuò)展數(shù)據(jù)標(biāo)志412，諸如VUI_extens1n_data_flag元素,用于指示VUI擴(kuò)展數(shù)據(jù)包括在視頻位流110中。當(dāng)VUI擴(kuò)展數(shù)據(jù)標(biāo)志412包括在視頻位流110中時(shí)，VUI擴(kuò)展數(shù)據(jù)標(biāo)志412可以具有值1，否則具有值O。
[0137]HEVC VUI 第一擴(kuò)展語(yǔ)法 402 可以包括 RBSP 尾隨位 414,諸如 rbsp_trailing_bits元素，它是用于標(biāo)記RBSP數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)。RBSP尾隨位414可以包括RBSP數(shù)據(jù),諸如sbsp_stop_one_bit元素,用于為RBSP指示停止位。
[0138]研究發(fā)現(xiàn)，利用HEVC VUI第一擴(kuò)展語(yǔ)法402編碼和解碼圖1的視頻內(nèi)容108以支持時(shí)域?qū)拥拿總€(gè)實(shí)例提供了對(duì)時(shí)域?qū)?30的每個(gè)實(shí)例的表示的更細(xì)粒度控制。為時(shí)域?qū)?30的每個(gè)實(shí)例提供信息提高了圖1視頻流112的顯示質(zhì)量。
[0139]現(xiàn)在參考圖5，其中示出了 HEVC VUI第二擴(kuò)展語(yǔ)法502的例子。HEVC VUI第二擴(kuò)展語(yǔ)法502包括用于圖1的視頻位流110中所有時(shí)域?qū)拥年P(guān)于字段序列標(biāo)志336和計(jì)時(shí)信息存在標(biāo)志338的VUI參數(shù)的單個(gè)實(shí)例。
[0140]HEVC VUI第二擴(kuò)展語(yǔ)法502描述圖5的HEVC VUI第二擴(kuò)展語(yǔ)法表中的元素。如在圖5的HEVC VUI第二擴(kuò)展語(yǔ)法表中所描述的，HEVC VUI第二擴(kuò)展語(yǔ)法502的元素以層次結(jié)構(gòu)進(jìn)行布置。例如，HEVC VUI第二擴(kuò)展語(yǔ)法502可以是圖3的HEVC VUI語(yǔ)法302的擴(kuò)展。
[0141]HEVC VUI第二擴(kuò)展語(yǔ)法502包括HEVC VUI第二擴(kuò)展語(yǔ)法首部504，諸如vui_parameters元素。HEVC VUI第二擴(kuò)展語(yǔ)法首部504是用于識(shí)別HEVC VUI第二擴(kuò)展語(yǔ)法502的描述符。
[0142]HEVC VUI第二擴(kuò)展語(yǔ)法502包括用于圖2的每個(gè)時(shí)域?qū)?30的具有HRD參數(shù)結(jié)構(gòu)350的循環(huán)。諸如第一或第二的術(shù)語(yǔ)僅用于識(shí)別，而不指示任何次序、優(yōu)先級(jí)、重要性或前后順序。
[0143]HEVC VUI第二擴(kuò)展語(yǔ)法502可以包括諸如字段序列標(biāo)志336、計(jì)時(shí)信息存在標(biāo)志338、滴答單元340、時(shí)間標(biāo)度344和固定畫面速率標(biāo)志346的公共計(jì)時(shí)信息集合。公共計(jì)時(shí)信息集合跨時(shí)域?qū)?30的所有實(shí)例都是恒定的。
[0144]HEVC VUI第二擴(kuò)展語(yǔ)法502可以包括時(shí)域?qū)佑?jì)數(shù)406,諸如vui_max_temporal_layers_minusl元素,用于識(shí)別與視頻位流110中每一巾貞關(guān)聯(lián)的時(shí)域?qū)?30的最大數(shù)量。時(shí)域?qū)佑?jì)數(shù)406指示從O到時(shí)域?qū)訑?shù)減I映射時(shí)域?qū)佑?jì)數(shù)406。
[0145]HEVC WI第二擴(kuò)展語(yǔ)法502可以包括循環(huán)結(jié)構(gòu)來(lái)表示特定于時(shí)域?qū)拥牡男畔?。循環(huán)可包括迭代器，諸如[i]，用于指示從O至?xí)r域?qū)佑?jì)數(shù)406的、與時(shí)域?qū)?30的每個(gè)實(shí)例相關(guān)聯(lián)的信息。HEVC VUI第二擴(kuò)展語(yǔ)法502支持用于等于時(shí)域?qū)佑?jì)數(shù)406的多個(gè)時(shí)域?qū)?30的實(shí)例的單獨(dú)語(yǔ)法元素。
[0146]HEVC VUI第二擴(kuò)展語(yǔ)法502包括如在圖5的HEVC VUI第二擴(kuò)展語(yǔ)法表中所描述的元素。如圖5的HEVC VUI第二擴(kuò)展語(yǔ)法表中所描述的，HEVC VUI第二擴(kuò)展語(yǔ)法502的元素是以層次結(jié)構(gòu)進(jìn)行布置的。
[0147]HEVC VUI第二擴(kuò)展語(yǔ)法502可以包括用于時(shí)域?qū)?30的每個(gè)實(shí)例的假設(shè)參考解碼器參數(shù)。HEVC VUI第二擴(kuò)展語(yǔ)法502可以包括NAL HRD參數(shù)存在標(biāo)志348、VCL HRD參數(shù)存在標(biāo)志352和HRD參數(shù)結(jié)構(gòu)350。
[0148]NAL HRD 參數(shù)存在標(biāo)志 348,諸如 nal_hrd_parameters_present_flag 兀素，可以指示NAL HRD參數(shù)信息的存在。NAL HRD參數(shù)存在標(biāo)志348可以具有指示HRD參數(shù)結(jié)構(gòu)350在視頻位流110中存在的值I或者指示HRD參數(shù)結(jié)構(gòu)350不存在的值O。
[0149]VCL HRD 參數(shù)存在標(biāo)志 352,諸如 vcl_hrd_parameters_present_flag 兀素，可以指示用于VCL的HRD信息的存在。VCL HRD參數(shù)存在標(biāo)志352可以具有指示HRD參數(shù)結(jié)構(gòu)350在視頻位流110中存在的值I或者指示HRD參數(shù)結(jié)構(gòu)350不存在的值O。
[0150]HEVC VUI第二擴(kuò)展語(yǔ)法502可以包括HRD參數(shù)結(jié)構(gòu)350。HRD參數(shù)結(jié)構(gòu)350可以包括描述假設(shè)參考解碼器的參數(shù)。HRD參數(shù)結(jié)構(gòu)350在以下的部分中進(jìn)一步定義。
[0151 ] 如果NAL HRD參數(shù)存在標(biāo)志348或VCL HRD參數(shù)存在標(biāo)志352具有值I，則HEVCVUI第二擴(kuò)展語(yǔ)法502可以包括低延遲HRD標(biāo)志354和子畫面CPB參數(shù)存在標(biāo)志356。如果子畫面CPB參數(shù)存在標(biāo)志356是1，則HEVC VUI第二擴(kuò)展語(yǔ)法502可以包括子單元滴答358,諸如 num_units_in_sub_tick 兀素。
[0152]HEVC VUI第二擴(kuò)展語(yǔ)法502可以包括關(guān)于位流、VUI擴(kuò)展，以及循環(huán)結(jié)構(gòu)之外的RBSP信息的信息。位流、VUI擴(kuò)展和RBSP信息對(duì)所有時(shí)域?qū)佣际呛愣ǖ摹?br> [0153]HEVC VUI第二擴(kuò)展語(yǔ)法502可以包括VUI擴(kuò)展標(biāo)志408，諸如vui_extens1n_flag元素，用于指示VUI擴(kuò)展信息包括在視頻位流110中。VUI擴(kuò)展標(biāo)志408可以具有指示VUI擴(kuò)展信息包括在視頻位流110中的值I和指示其它的值O。
[0154]HEVC VUI第二擴(kuò)展語(yǔ)法502可以包括更多RBSP數(shù)據(jù)標(biāo)志410，諸如more_rbsp_data元素，用于指示附加的數(shù)據(jù)在RBSP中。當(dāng)附加的數(shù)據(jù)在RBSP中時(shí)，更多RBSP數(shù)據(jù)標(biāo)志410可以具有值I，否則具有值O。
[0155]HEVC VUI第二擴(kuò)展語(yǔ)法502可以包括VUI擴(kuò)展數(shù)據(jù)標(biāo)志412，諸如VUI_extens1n_data_flag元素,用于指示VUI擴(kuò)展數(shù)據(jù)包括在視頻位流110中。當(dāng)VUI擴(kuò)展數(shù)據(jù)標(biāo)志412包括在視頻位流110中時(shí)，VUI擴(kuò)展數(shù)據(jù)標(biāo)志412可以具有值1，否則具有值O。
[0156]HEVC VUI 第二擴(kuò)展語(yǔ)法 502 可以包括 RBSP 尾隨位 414,諸如 rbsp_trailing_bits元素，它是用于標(biāo)記RBSP數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)。RBSP尾隨位414可包括RBSP數(shù)據(jù),諸如sbsp_stop_one_bit元素,用于為RBSP指示停止位。
[0157]研究發(fā)現(xiàn)，利用HEVC VUI第二擴(kuò)展語(yǔ)法502編碼和解碼圖1的視頻內(nèi)容108以支持時(shí)域縮放減小了視頻位流110的大小并且減小了對(duì)視頻緩沖的需求。減小視頻位流110的大小增加功能性并且提高圖1視頻流112的顯示性能。
[0158]研究發(fā)現(xiàn)，利用HEVC VUI第二擴(kuò)展語(yǔ)法502編碼和解碼圖1的視頻內(nèi)容108以便對(duì)時(shí)域?qū)?30的每個(gè)實(shí)例分別支持時(shí)域縮放減小了視頻位流110的大小并且減小了對(duì)視頻緩沖的需求。減小視頻位流110的大小增加功能性并且提高圖1視頻流112的顯示性能。
[0159]現(xiàn)在參考圖6，其中示出了 HRD語(yǔ)法602的例子。HRD語(yǔ)法602描述與假設(shè)參考解碼器相關(guān)聯(lián)的參數(shù)。
[0160]HRD語(yǔ)法602包括如在圖6的HRD語(yǔ)法表中描述的元素。如在圖6的HRD語(yǔ)法表中所描述的，HRD語(yǔ)法602的元素以層次結(jié)構(gòu)進(jìn)行布置。
[0161]HRD語(yǔ)法602可以包括HRD語(yǔ)法首部604，諸如hrd_parameters元素。HRD語(yǔ)法首部604是用于識(shí)別HRD語(yǔ)法602的描述符。
[0162]HRD語(yǔ)法602可以包括圖3的HRD參數(shù)結(jié)構(gòu)350，包括計(jì)時(shí)存在信息、NAL HRD參數(shù)、VCL HRD參數(shù)以及固定畫面速率信息。計(jì)時(shí)存在信息可以包括計(jì)時(shí)信息存在標(biāo)志338、滴答單元340和時(shí)間標(biāo)度344。
[0163]計(jì)時(shí)信息存在標(biāo)志338,諸如timing_info_present_flag元素,可以指示計(jì)時(shí)信息是否包括在圖1的視頻位流110中。計(jì)時(shí)信息存在標(biāo)志338可以具有指示計(jì)時(shí)信息在視頻位流110中的值I和指示計(jì)時(shí)信息不包括在視頻位流110中的值O。
[0164]滴答單元340,諸如num_units_in_tick元素,可以指示時(shí)鐘在時(shí)間標(biāo)度344的頻率下操作的時(shí)間單元的數(shù)量。例如，滴答單元340可以具有對(duì)應(yīng)于可在視頻位流110中表示的時(shí)間的最小間隔。時(shí)間標(biāo)度344，諸如time_SCale元素，是在一秒內(nèi)時(shí)間單元的數(shù)量。
[0165]NAL HRD 參數(shù)存在標(biāo)志 348,諸如 nal_hrd_parameters_present_flag 兀素，可以指示NAL HRD參數(shù)信息的存在。NAL HRD參數(shù)存在標(biāo)志348可以具有指示HRD參數(shù)結(jié)構(gòu)350在視頻位流110中存在的值I或者指示HRD參數(shù)結(jié)構(gòu)350不存在的值O。
[0166]VCL HRD 參數(shù)存在標(biāo)志 352,諸如 vcl_hrd_parameters_present_f lag 兀素，可以指示用于VCL的HRD參數(shù)信息的存在。VCL HRD參數(shù)存在標(biāo)志352可以具有指示HRD參數(shù)結(jié)構(gòu)350在視頻位流110中存在的值I或者指示HRD參數(shù)結(jié)構(gòu)350不存在的值O。
[0167]如果NAL HRD參數(shù)存在標(biāo)志348或VCL HRD參數(shù)存在標(biāo)志352具有值I，則HRD參數(shù)結(jié)構(gòu)350可以包括附加的元素。例如，HRD參數(shù)結(jié)構(gòu)350可以包括子畫面CPB參數(shù)存在標(biāo)志356、位速率標(biāo)度612、CPB大小標(biāo)度614、初始CPB去除延遲長(zhǎng)度616、CPB去除延遲長(zhǎng)度618和DPB輸出延遲長(zhǎng)度620。
[0168]子畫面CPB 參數(shù)存在標(biāo)志 356,諸如 sub_pic_cpb_params_present_flag 兀素，可以指示子畫面CPB參數(shù)是否在視頻位流110中存在。如果子畫面CPB參數(shù)存在標(biāo)志356具有值I，則HRD參數(shù)結(jié)構(gòu)350可以包括滴答除數(shù)(divisor) 610,諸如tick_divisor_minus2元素，以規(guī)定可在視頻位流110中表示的時(shí)間的最小間隔。
[0169]HRD參數(shù)結(jié)構(gòu)350可以包括位速率標(biāo)度612,諸如bit_rate_scale元素。位速率標(biāo)度612規(guī)定編碼的畫面緩沖區(qū)的最大輸入位速率。
[0170]HRD參數(shù)結(jié)構(gòu)350可以包括CPB大小標(biāo)度614，諸如cpb_size_scale元素。CPB大小標(biāo)度614用于確定CPB的大小。
[0171]HRD參數(shù)結(jié)構(gòu)350可以包括初始CPB去除延遲長(zhǎng)度616，諸如initial_cpb_removal_delay_length_minusl元素。初始CPB去除延遲長(zhǎng)度616指示緩沖周期SEI消息的兀素 initial_cpb_removal_delay 和 initial_cpb_removal_delay_offset 的位長(zhǎng)度。
[0172]HRD參數(shù)結(jié)構(gòu)350可以包括CPB去除延遲長(zhǎng)度618,諸如cpb_removal_delay_length_minusl元素。CPB去除延遲長(zhǎng)度618可以規(guī)定畫面計(jì)時(shí)SEI消息中元素cpb_removal_delay 的位長(zhǎng)度。
[0173]HRD參數(shù)結(jié)構(gòu)350可以包括DPB輸出延遲長(zhǎng)度620，諸如dpb_output_delay_length_minusl元素。DPB輸出延遲長(zhǎng)度620指示解碼的畫面緩沖區(qū)(DPB)的大小。
[0174]HRD參數(shù)結(jié)構(gòu)350可以包括一組用于圖2時(shí)域?qū)?30的每個(gè)實(shí)例的參數(shù)。HRD參數(shù)結(jié)構(gòu)350可以包括利用諸如[i]的迭代器的循環(huán)結(jié)構(gòu)，以描述用于時(shí)域?qū)?30的每個(gè)實(shí)例的參數(shù)。
[0175]HRD參數(shù)結(jié)構(gòu)350可以包括子層計(jì)數(shù)630,諸如MaxNumSubLayersMinusl兀素。子層計(jì)數(shù)630指示視頻位流110中子層的最大數(shù)量。HRD參數(shù)結(jié)構(gòu)350可以包括公共信息存在標(biāo)志603,諸如commoninfPresentFlag元素,該標(biāo)志指示是否存在公共HRD信息。
[0176]HRD參數(shù)結(jié)構(gòu)350可以包括固定畫面速率標(biāo)志346,諸如fixed_pic_rate_f lag元素，以指示視頻位流110中任何兩個(gè)連續(xù)畫面的HRD輸出時(shí)間之間的時(shí)域距離是否受約束。如果固定畫面速率標(biāo)志346具有值1，則在任意兩個(gè)連續(xù)畫面之間的時(shí)域距離受約束，如果不受約束，則值為O。
[0177]如果固定畫面速率標(biāo)志346具有值1，則HRD參數(shù)結(jié)構(gòu)350可以包括畫面持續(xù)時(shí)間622,諸如pic_durat1n_in_tc_minusl元素。畫面持續(xù)時(shí)間622可以指示編碼的視頻序列中任意兩個(gè)連續(xù)畫面以輸出次序的HRD輸出時(shí)間之間的時(shí)域距離。
[0178]HRD參數(shù)結(jié)構(gòu)350可以包括低延遲HRD標(biāo)志354，諸如low_delay_hrd_f lag元素。低延遲HRD標(biāo)志354可以指示HRD操作模式。
[0179]HRD參數(shù)結(jié)構(gòu)350可以包括CPB計(jì)數(shù)626，諸如cpb_cnt_minusl元素。CPB計(jì)數(shù)626可以指示視頻位流110中備選CPB說(shuō)明的數(shù)量。
[0180]如果NAL HRD參數(shù)存在標(biāo)志348或VCL HRD參數(shù)存在標(biāo)志352具有值I，則對(duì)于時(shí)域?qū)?30的每個(gè)實(shí)例,HRD參數(shù)結(jié)構(gòu)350可以包括HRD參數(shù)子層628,諸如hrd_parameters_sub_layer元素。HRD參數(shù)子層628可以描述關(guān)于每個(gè)子層的參數(shù)。
[0181]研究發(fā)現(xiàn)，利用HRD語(yǔ)法602編碼和解碼圖1的視頻內(nèi)容108可以減小視頻位流110的大小并減少顯示圖1的視頻流112所需的視頻緩沖量。減小視頻位流110的大小增加功能性并且提高視頻流112的顯示性能。
[0182]現(xiàn)在參考圖7，其中示出了 HRD子層語(yǔ)法702的例子。HRD子層語(yǔ)法702描述與假設(shè)參考解碼器子層相關(guān)聯(lián)的參數(shù)。
[0183]HRD子層語(yǔ)法702包括如在圖7的HRD子層語(yǔ)法表中描述的元素。如在圖7的HRD子層語(yǔ)法表中所描述的，HRD子層語(yǔ)法702的元素以層次結(jié)構(gòu)進(jìn)行布置。
[0184]HRD子層語(yǔ)法702可以包括HRD子層語(yǔ)法首部704,諸如hrd_parameters_sub_layer元素。HRD子層語(yǔ)法首部704是用于識(shí)別HRD子層語(yǔ)法702的描述符。
[0185]HRD子層語(yǔ)法702可以包括循環(huán)結(jié)構(gòu)，以定義用于編碼的畫面緩沖區(qū)的每個(gè)實(shí)例的一組參數(shù)。循環(huán)結(jié)構(gòu)基于諸如SchedSelidx元素的計(jì)劃選擇索引確定維數(shù)。
[0186]HRD子層語(yǔ)法702可以描述圖2的時(shí)域?qū)?30的屬性。時(shí)域?qū)?30也可指定為圖1的視頻位流110的子層。
[0187]HRD子層語(yǔ)法702可以包括位速率值706，諸如b it_rate_value_minusl 兀素。位速率值706可用來(lái)規(guī)定用于編碼的畫面緩沖區(qū)的每個(gè)實(shí)例的最大輸入位速率。
[0188]HRD子層語(yǔ)法702可以包括CPB大小值708，諸如cpb_size_value_minusl元素。CPB大小值708可用來(lái)確定編碼的畫面緩沖區(qū)的每個(gè)實(shí)例的大小。
[0189]HRD子層語(yǔ)法702可以包括CBR標(biāo)志710，諸如cbr_flag元素。CBR標(biāo)志710指示用于為編碼的畫面緩沖區(qū)的每個(gè)實(shí)例解碼視頻位流110的操作模式。如果CBR標(biāo)志710具有值1，則假設(shè)的流交付計(jì)劃(HSS)以恒定的位速率模式操作。否則，視頻位流110以間歇性位速率模式操作。
[0190]HRD子層語(yǔ)法702可以表示視頻位流110的子層或者時(shí)域?qū)?30。HRD子層語(yǔ)法702可用來(lái)選擇一個(gè)子層或一個(gè)時(shí)域?qū)?30，并且允許從視頻位流110中去除其它子層的實(shí)例。
[0191]去除子層或時(shí)域?qū)?30的實(shí)例可以減少視頻位流110內(nèi)總的數(shù)據(jù)量并且使得能夠降低位速率或調(diào)整圖1的視頻內(nèi)容108的大小，用于更好的傳輸、改進(jìn)的存儲(chǔ)帶寬控制與調(diào)整。提供特定于子層或時(shí)域?qū)拥腍RD參數(shù)使得能夠更好并且更流暢地進(jìn)行位流解碼，以產(chǎn)生圖1的視頻流112。
[0192]研究發(fā)現(xiàn)，通過對(duì)與各個(gè)子層的處理啟用更細(xì)粒度的控制，利用HRD子層語(yǔ)法702提供了改進(jìn)的性能。通過利用不同子層之間的各個(gè)差異，利用HRD子層語(yǔ)法702的各個(gè)實(shí)例可以提供提高的處理速度。
[0193]現(xiàn)在參考圖8，其中示出了 HRD VUI語(yǔ)法802的例子。HRDVUI語(yǔ)法802描述與假設(shè)參考解碼器相關(guān)聯(lián)的參數(shù)。
[0194]HRD VUI語(yǔ)法802包括如在圖8的HRD VUI語(yǔ)法表中所描述的元素。如在圖8的HRD WI語(yǔ)法表中所描述的，HRD WI語(yǔ)法802的元素以層次結(jié)構(gòu)進(jìn)行布置。例如，HRD VUI語(yǔ)法802可以是圖3的HEVC VUI語(yǔ)法302的擴(kuò)展。
[0195]HRD WI語(yǔ)法802可以包括HRD WI語(yǔ)法首部804，諸如vui_parameters元素。HRD VUI語(yǔ)法首部804是用于識(shí)別HRD VUI語(yǔ)法802的描述符。
[0196]HRD VUI語(yǔ)法802可以包括HRD參數(shù)結(jié)構(gòu)350，諸如hrd_parameters元素。HRD參數(shù)結(jié)構(gòu)350包括用于圖2的每個(gè)子層或每個(gè)時(shí)域?qū)?30的假設(shè)參考解碼器參數(shù)。
[0197]HRD VUI語(yǔ)法802用HRD參數(shù)結(jié)構(gòu)350替代HRD相關(guān)的參數(shù)，包括計(jì)時(shí)存在信息、NAL HRD參數(shù)、VCL HRD參數(shù)及固定畫面速率信息。HRD參數(shù)結(jié)構(gòu)350為每個(gè)子層或每個(gè)時(shí)域?qū)?30提供一組HRD參數(shù)。
[0198]HRD VUI語(yǔ)法802可以包括圖6的子層計(jì)數(shù)630,它可以根據(jù)sps_max_sub_layers_minusl兀素分配值。sps_max_sub_layers_minusl兀素可以在序列參數(shù)集(SPS)語(yǔ)法中定義。HRD VUI語(yǔ)法802可以包括公用信息存在標(biāo)志603，以指示公用HRD信息的存在。
[0199]子層可以表示時(shí)域?qū)?30或圖1的視頻位流110中其它類型的視頻層。時(shí)域?qū)?30的總數(shù)可以由子層計(jì)數(shù)630來(lái)表示。
[0200]HRD VUI語(yǔ)法802中的字段序列標(biāo)志336可以支持隔行畫面編碼。通過簡(jiǎn)化由視頻內(nèi)容108使用的視頻系統(tǒng)的確定，在HRD VUI語(yǔ)法802中提供視頻格式317可提供增強(qiáng)的功能性。
[0201]視頻全范圍標(biāo)志318可以指示黑電平以及亮度和色度信號(hào)的范圍。顏色描述存在標(biāo)志320可以指示視頻位流110中顏色描述信息的存在，諸如，顏色原色322、傳輸特性324及矩陣系數(shù)326。
[0202]HRD VUI語(yǔ)法802可以包括用于增強(qiáng)視頻位流110解碼的元數(shù)據(jù)。位流限制標(biāo)志360、塊固定結(jié)構(gòu)標(biāo)志362、運(yùn)動(dòng)向量標(biāo)志364、每畫面單位最大字節(jié)數(shù)366、每最小cu單位最大位數(shù)368、最大運(yùn)動(dòng)向量水平長(zhǎng)度370、及最大運(yùn)動(dòng)向量垂直長(zhǎng)度372可用來(lái)控制視頻位流110的解碼。
[0203]研究發(fā)現(xiàn)，通過啟用對(duì)各個(gè)子層處理更細(xì)粒度的控制而不是利用對(duì)所有子層公用的HRD參數(shù)，在HRD VUI語(yǔ)法802中利用HRD參數(shù)結(jié)構(gòu)350提供了改進(jìn)的性能。通過利用不同子層之間的各個(gè)差異，利用HRD參數(shù)結(jié)構(gòu)350的各個(gè)實(shí)例可以提供提高的處理速度。
[0204]現(xiàn)在參考圖9，其中示出了視頻編碼系統(tǒng)100的功能框圖。視頻編碼系統(tǒng)100可以包括第一設(shè)備102、第二設(shè)備104和通信路徑106。
[0205]第一設(shè)備102可以經(jīng)通信路徑106與第二設(shè)備104進(jìn)行通信。第一設(shè)備102可以在第一設(shè)備傳輸932中經(jīng)通信路徑106將信息發(fā)送到第二設(shè)備104。第二設(shè)備104可以在第二設(shè)備傳輸934中經(jīng)通信路徑106將信息發(fā)送到第一設(shè)備102。
[0206]為了說(shuō)明起見，視頻編碼系統(tǒng)100把第一設(shè)備102作為客戶端設(shè)備示出，但是應(yīng)當(dāng)理解，視頻編碼系統(tǒng)100可以讓第一設(shè)備102作為不同類型的設(shè)備。例如，第一設(shè)備可以是服務(wù)器。在另一個(gè)例子中，第一設(shè)備102可以是視頻編碼器102、視頻解碼器104、或其組合。
[0207]同樣，為了說(shuō)明起見，視頻編碼系統(tǒng)100把第二設(shè)備104作為服務(wù)器示出，但是應(yīng)當(dāng)理解，視頻編碼系統(tǒng)100可以讓第二設(shè)備104作為不同類型的設(shè)備。例如，第二設(shè)備104可以是客戶端設(shè)備。在另一個(gè)例子中，第二設(shè)備104可以是視頻編碼器102、視頻解碼器104、或其組合。
[0208]為了使本發(fā)明這個(gè)實(shí)施例中的描述簡(jiǎn)潔，第一設(shè)備102將被描述為客戶端設(shè)備，諸如視頻照相機(jī)、智能電話、或其組合。本發(fā)明不限于對(duì)設(shè)備類型的這種選擇。該選擇是本發(fā)明的例子。
[0209]第一設(shè)備102可以包括第一控制單元908。第一控制單元908可包括第一控制接口 914。第一控制單元908可以執(zhí)行第一軟件912，以提供視頻編碼系統(tǒng)100的智能。
[0210]第一控制單元908可以以多種不同方式實(shí)現(xiàn)。例如，第一控制單元908可以是處理器、嵌入式處理器、微處理器、硬件控制邏輯、硬件有限狀態(tài)機(jī)(FSM)、數(shù)字信號(hào)處理器(DSP)或其組合。
[0211]第一控制接口 914可用于第一設(shè)備102中的第一控制單元908與其它功能單元之間的通信。第一控制接口 914也可用于在第一設(shè)備102外部的通信。
[0212]第一控制接口 914可以從其它功能單元或者從外部源接收信息，或者可以發(fā)送信息到其它功能單元或者到外部目的地。外部源和外部目的地指第一設(shè)備102外部的源和目的地。
[0213]第一控制接口 914可以以不同的方式實(shí)現(xiàn)，并且，依賴于哪些功能單元或外部單元正在與第一控制接口 914相接口，可包括不同的實(shí)現(xiàn)。例如，第一控制接口 914可以用電子電路、微機(jī)電系統(tǒng)(MEMS)、光學(xué)電路系統(tǒng)、無(wú)線電路系統(tǒng)、有線電路系統(tǒng)或其組合來(lái)實(shí)現(xiàn)。
[0214]第一設(shè)備102可以包括第一存儲(chǔ)單元904。第一存儲(chǔ)單元904可以存儲(chǔ)第一軟件912。第一存儲(chǔ)單元904也可以存儲(chǔ)相關(guān)的信息，諸如圖像、語(yǔ)法信息、視頻、地圖、配置文件、顯示優(yōu)選項(xiàng)、傳感器數(shù)據(jù)或其任意組合。
[0215]第一存儲(chǔ)單元904可以是易失性存儲(chǔ)器、非易失性存儲(chǔ)器、內(nèi)部存儲(chǔ)器、外部存儲(chǔ)器或其組合。例如，第一存儲(chǔ)單元904可以是非易失性儲(chǔ)存器，諸如非易失性隨機(jī)訪問存儲(chǔ)器(NVRAM)、閃存存儲(chǔ)器、磁存儲(chǔ)、或易失性儲(chǔ)存器，諸如靜態(tài)隨機(jī)訪問存儲(chǔ)器(SRAM)。
[0216]第一存儲(chǔ)單元904可以包括第一存儲(chǔ)接口 918。第一存儲(chǔ)接口 918可用于第一設(shè)備102中的第一存儲(chǔ)單元904與其它功能單元之間的通信。第一存儲(chǔ)接口 918也可用于在第一設(shè)備102外部的通信。
[0217]第一設(shè)備102可以包括第一成像單元906。第一成像單元906可以從現(xiàn)實(shí)世界中捕獲圖1的視頻內(nèi)容108。第一成像單元906可以包括數(shù)碼照相機(jī)、攝像機(jī)、光學(xué)傳感器或其任意組合。
[0218]第一成像單元906可以包括第一成像接口 916。第一成像接口 916可用于第一設(shè)備102中的第一成像單元906與其它功能單元之間的通信。
[0219]第一成像接口 916可以從其它功能單元或者從外部源接收信息，或者可以發(fā)送信息到其它功能單元或者到外部目的地。外部源和外部目的地指第一設(shè)備102外部的源和目的地。
[0220]取決于哪些功能單元或外部單元正在與第一成像單元906相接口，第一成像接口916可包括不同的實(shí)現(xiàn)。第一成像接口 916可以用類似于第一控制接口 914的實(shí)現(xiàn)的技術(shù)和技巧來(lái)實(shí)現(xiàn)。
[0221]第一存儲(chǔ)接口 918可以從其它功能單元或者從外部源接收信息，或者可以發(fā)送信息到其它功能單元或到外部目的地。外部源和外部目的地指第一設(shè)備102外部的源和目的地。
[0222]依賴于哪些功能單元或外部單元正在與第一存儲(chǔ)單元904相接口，第一存儲(chǔ)接口918可包括不同的實(shí)現(xiàn)。第一存儲(chǔ)接口 918可以用類似于第一控制接口 914的實(shí)現(xiàn)的技術(shù)和技巧來(lái)實(shí)現(xiàn)。
[0223]第一設(shè)備102可以包括第一通信單元910。第一通信單元910可以用于啟用到第一設(shè)備102和來(lái)自第一設(shè)備102的外部通信。例如，第一通信單元910可以允許第一設(shè)備102與第二設(shè)備104、諸如外圍設(shè)備或桌面計(jì)算機(jī)的附件、及通信路徑106進(jìn)行通信。
[0224]第一通信單元910也可充當(dāng)通信集線器，從而允許第一設(shè)備102充當(dāng)通信路徑106的一部分，并且不限于是到通信路徑106的終點(diǎn)或終端單元。第一通信單元910可以包括有源和無(wú)源組件，諸如微電子器件或天線，用于與通信路徑106交互。
[0225]第一通信單元910可以包括第一通信接口 920。第一通信接口 920可用于第一設(shè)備102中第一通信單元910與其它功能單元之間的通信。第一通信接口 920可以從其它功能單元接收信息，或者可以發(fā)送信息到其它功能單元。
[0226]依賴于哪些功能單元正在與第一通信單元910相接口，第一通信接口 920可包括不同的實(shí)現(xiàn)。第一通信接口 920可以用類似于第一控制接口 914的實(shí)現(xiàn)的技術(shù)和技巧來(lái)實(shí)現(xiàn)。
[0227]第一設(shè)備102可以包括第一用戶接口 902。第一用戶接口 902允許用戶(未示出)與第一設(shè)備102相接口和交互。第一用戶接口 902可包括第一用戶輸入(未不出)。第一用戶輸入可以包括觸摸屏、手勢(shì)、運(yùn)動(dòng)檢測(cè)、按鈕、滑塊、旋鈕、虛擬按鈕、語(yǔ)音識(shí)別控制或其任意組合。
[0228]第一用戶接口 902可以包括第一顯示接口 120。第一顯示接口 120可以允許用戶與第一用戶接口 902進(jìn)行交互。第一顯示接口 120可以包括顯示器、視頻屏幕、揚(yáng)聲器或其任意組合。
[0229]第一控制單元908可以利用第一用戶接口 902進(jìn)行操作，以便在第一顯示接口 120上顯示由視頻編碼系統(tǒng)100產(chǎn)生的視頻信息。第一控制單元908也可以執(zhí)行第一軟件912，用于視頻編碼系統(tǒng)100的其它功能，包括從第一存儲(chǔ)單元904接收視頻信息用于在第一顯示接口 120上顯示。第一控制單元908還可執(zhí)行第一軟件912，用于經(jīng)第一通信單元910與通信路徑106進(jìn)行交互。
[0230]為說(shuō)明起見,第一設(shè)備102可被劃分成具有第一用戶接口 902、第一存儲(chǔ)單元904、第一控制單元908和第一通信單元910，但是應(yīng)當(dāng)理解，第一設(shè)備102可以具有不同的劃分。例如，第一軟件912可進(jìn)行不同地劃分，使得它的一些或全部功能可在第一控制單元908和第一通信單元910中。同樣，第一設(shè)備102可以包括為簡(jiǎn)潔起見而在圖10中沒有示出的其它功能單元。
[0231]視頻編碼系統(tǒng)100可以包括第二設(shè)備104。第二設(shè)備104可被優(yōu)化成用于在帶有第一設(shè)備102的多設(shè)備實(shí)施例中實(shí)現(xiàn)本發(fā)明。與第一設(shè)備102相比，第二設(shè)備104可以提供附加的或更高性能的處理能力。
[0232]第二設(shè)備104可以包括第二控制單元948。第二控制單元948可以包括第二控制接口 954。第二控制單元948可以執(zhí)行第二軟件952，以提供視頻編碼系統(tǒng)100的智能。
[0233]第二控制單元948可以以多種不同方式實(shí)現(xiàn)。例如，第二控制單元948可以是處理器、嵌入式處理器、微處理器、硬件控制邏輯、硬件有限狀態(tài)機(jī)、數(shù)字信號(hào)處理器或其組合。
[0234]第二控制接口 954可用于第二設(shè)備104中的第二控制單元948與其它功能單元之間的通信。第二控制接口 954也可用于在第二設(shè)備104外部的通信。
[0235]第二控制接口 954可以從其它功能單元或者從外部源接收信息，或者可以發(fā)送信息到其它功能單元或者到外部目的地。外部源和外部目的地指第二設(shè)備104外部的源和目的地。
[0236]第二控制接口 954可以以不同的方式實(shí)現(xiàn)，并且，依賴于哪些功能單元或外部單元正在與第二控制接口 954相接口，可包括不同的實(shí)現(xiàn)。例如，第二控制接口 954可以用電子電路、微機(jī)電系統(tǒng)(MEMS)、光學(xué)電路系統(tǒng)、無(wú)線電路系統(tǒng)、有線電路系統(tǒng)或其組合來(lái)實(shí)現(xiàn)。
[0237]第二設(shè)備104可以包括第二存儲(chǔ)單元944。第二存儲(chǔ)單元944可以存儲(chǔ)第二軟件952。第二存儲(chǔ)單元944也可以存儲(chǔ)相關(guān)的信息，諸如圖像、語(yǔ)法信息、視頻、地圖、配置文件、顯示優(yōu)選項(xiàng)、傳感器數(shù)據(jù)或其任意組合。
[0238]第二存儲(chǔ)單元944可以是易失性存儲(chǔ)器、非易失性存儲(chǔ)器、內(nèi)部存儲(chǔ)器、外部存儲(chǔ)器或其組合。例如，第二存儲(chǔ)單元944可以是非易失性儲(chǔ)存器，諸如非易失性隨機(jī)訪問存儲(chǔ)器(NVRAM)、閃存存儲(chǔ)器、磁存儲(chǔ)、或易失性儲(chǔ)存器，諸如靜態(tài)隨機(jī)訪問存儲(chǔ)器(SRAM)。
[0239]第二存儲(chǔ)單元944可以包括第二存儲(chǔ)接口 958。第二存儲(chǔ)接口 958可用于第二設(shè)備104中的第二存儲(chǔ)單元944與其它功能單元之間的通信。第二存儲(chǔ)接口 958也可用于在第二設(shè)備104外部的通信。
[0240]第二存儲(chǔ)接口 958可以從其它功能單元或者從外部源接收信息，或者可以發(fā)送信息到其它功能單元或者到外部目的地。外部源和外部目的地指第二設(shè)備104外部的源和目的地。
[0241 ] 依賴于哪些功能單元或外部單元正在與第二存儲(chǔ)單元944相接口，第二存儲(chǔ)接口958可包括不同的實(shí)現(xiàn)。第二存儲(chǔ)接口 958可以用類似于第二控制接口 954的實(shí)現(xiàn)的技術(shù)和技巧來(lái)實(shí)現(xiàn)。
[0242]第二設(shè)備104可以包括第二成像單元946。第二成像單元946可從現(xiàn)實(shí)世界中捕獲視頻內(nèi)容108。第二成像單元946可以包括數(shù)碼照相機(jī)、攝像機(jī)、光學(xué)傳感器或其任意組八口 ο
[0243]第二成像單元946可以包括第二成像接口 956。第二成像接口 956可用于第二設(shè)備104中第二成像單元946與其它功能單元之間的通信。
[0244]第二成像接口 956可以從其它功能單元或者從外部源接收信息，或者可以發(fā)送信息到其它功能單元或者到外部目的地。外部源和外部目的地指第二設(shè)備104外部的源和目的地。
[0245]依賴于哪些功能單元或外部單元正在與第二成像單元946相接口，第二成像接口956可包括不同的實(shí)現(xiàn)。第二成像接口 956可以用類似于第一控制接口 914的實(shí)現(xiàn)的技術(shù)和技巧來(lái)實(shí)現(xiàn)。
[0246]第二設(shè)備104可以包括第二通信單元950。第二通信單元950可以啟用到第二設(shè)備104和來(lái)自第二設(shè)備104的外部通信。例如，第二通信單元950可以允許第二設(shè)備104與第一設(shè)備102、諸如外圍設(shè)備或桌面計(jì)算機(jī)的附件、及通信路徑106進(jìn)行通信。
[0247]第二通信單元950也可充當(dāng)通信集線器，從而允許第二設(shè)備104充當(dāng)通信路徑106的一部分，并且不限于是到通信路徑106的終點(diǎn)或終端單元。第二通信單元950可以包括有源和無(wú)源組件，諸如微電子器件或天線，用于與通信路徑106交互。
[0248]第二通信單元950可以包括第二通信接口 960。第二通信接口 960可用于第二設(shè)備104中第二通信單元950與其它功能單元之間的通信。第二通信接口 960可以從其它功能單元接收信息，或者可以發(fā)送信息到其它功能單元。
[0249]依賴于哪些功能單元正在與第二通信單元950相接口，第二通信接口 960可包括不同的實(shí)現(xiàn)。第二通信接口 960可以用類似于第二控制接口 954的實(shí)現(xiàn)的技術(shù)和技巧來(lái)實(shí)現(xiàn)。
[0250]第二設(shè)備104可以包括第二用戶接口 942。第二用戶接口 942允許用戶(未示出)與第二設(shè)備104相接口和交互。第二用戶接口 942可以包括第二用戶輸入(未不出)。第二用戶輸入可以包括觸摸屏、手勢(shì)、運(yùn)動(dòng)檢測(cè)、按鈕、滑塊、旋鈕、虛擬按鈕、語(yǔ)音識(shí)別控制或其任意組合。
[0251]第二用戶接口 942可以包括第二顯示接口 943。第二顯示接口 943可以允許用戶與第二用戶接口 942進(jìn)行交互。第二顯示接口 943可包括顯示器、視頻屏幕、揚(yáng)聲器或其組人口 O
[0252]第二控制單元948可以利用第二用戶接口 942進(jìn)行操作，以便在第二顯示接口 943上顯示由視頻編碼系統(tǒng)100產(chǎn)生的視頻信息。第二控制單元948也可以執(zhí)行第二軟件952，用于視頻編碼系統(tǒng)100的其它功能，包括從第二存儲(chǔ)單元944接收顯示信息用于在第二顯示接口 943上顯示。第二控制單元948還可執(zhí)行第二軟件952，用于經(jīng)第二通信單元950與通信路徑106進(jìn)行交互。
[0253]為說(shuō)明起見，第二設(shè)備104可被劃分成具有第二用戶接口 942、第二存儲(chǔ)單元944、第二控制單元948和第二通信單元950，但是應(yīng)當(dāng)理解，第二設(shè)備104可以具有不同的劃分。例如，第二軟件952可以進(jìn)行不同地劃分，使得它的一些或全部功能可在第二控制單元948和第二通信單元950中。同樣，第二設(shè)備104可以包括為簡(jiǎn)潔起見而在圖10中沒有示出的其它功能單元。
[0254]第一通信單元910可以與通信路徑106耦合，以便在第一設(shè)備傳輸932中向第二設(shè)備104發(fā)送信息。第二設(shè)備104可以在第二通信單元950中從通信路徑106的第一設(shè)備傳輸932中接收信息。
[0255]第二通信單元950可以與通信路徑106耦合，以便在第二設(shè)備傳輸934中向第一設(shè)備102發(fā)送視頻信息。第一設(shè)備102可以在第一通信單元910中從通信路徑106的第二設(shè)備傳輸934中接收視頻信息。視頻編碼系統(tǒng)100可以由第一控制單元908、第二控制單元948或其組合來(lái)執(zhí)行。
[0256]第一設(shè)備102中的功能單元可以單獨(dú)且獨(dú)立于其它功能單元工作。為說(shuō)明起見，視頻編碼系統(tǒng)100通過第一設(shè)備102的操作進(jìn)行描述。應(yīng)當(dāng)理解，第一設(shè)備102可以操作視頻編碼系統(tǒng)100的任何模塊和功能。例如，第一設(shè)備102可描述為操作第一控制單兀908。
[0257]第二設(shè)備104中的功能單元可以單獨(dú)且獨(dú)立于其它功能單元工作。為說(shuō)明起見，視頻編碼系統(tǒng)100可通過第二設(shè)備104的操作進(jìn)行描述。應(yīng)當(dāng)理解，第二設(shè)備104可以操作視頻編碼系統(tǒng)100的任何模塊和功能。例如，第二設(shè)備104可描述為操作第二控制單元948。
[0258]為說(shuō)明起見，視頻編碼系統(tǒng)100通過第一設(shè)備102和第二設(shè)備104的操作進(jìn)行描述。應(yīng)當(dāng)理解,第一設(shè)備102和第二設(shè)備104可以操作視頻編碼系統(tǒng)100的任何模塊和功能。例如，第一設(shè)備102被描述為操作第一控制單元908，但是應(yīng)當(dāng)理解，第二設(shè)備104也可以操作第一控制單元908。
[0259]現(xiàn)在參考圖10，其中示出了圖1的視頻編碼系統(tǒng)100的控制流1000?？刂屏?000描述通過接收視頻位流I1解碼圖1的視頻位流110、提取圖1的視頻語(yǔ)法114、解碼視頻位流I1及顯示圖1的視頻流112來(lái)解碼圖1的視頻位流110。
[0260]視頻編碼系統(tǒng)100可以包括接收模塊1002。接收模塊1002可以接收由圖1的視頻編碼器102編碼的視頻位流110。
[0261]視頻位流110可以以各種方式被接收。例如，視頻位流110可以從圖1的視頻編碼器102中作為流化串行位流、預(yù)編碼的視頻文件(未示出)、以經(jīng)由圖1的通信路徑106的數(shù)字消息(未示出)或其組合來(lái)接收。
[0262]視頻位流110可以包括一個(gè)或多個(gè)圖2的時(shí)域?qū)?30，用于表示在不同幀速率的圖1的視頻內(nèi)容108。接收模塊1002可以選擇性地過濾時(shí)域?qū)?30，以減小視頻位流110的大小。
[0263]例如，接收模塊1002可以接收具有用于三個(gè)不同幀速率，諸如60fpS，30fpS和15fps,的時(shí)域?qū)?30的視頻位流110。接收模塊1002可以過濾視頻位流110，以去除時(shí)域?qū)?30的60fps和30fps實(shí)例并且只處理時(shí)域?qū)?30的15fps實(shí)例。
[0264]視頻編碼系統(tǒng)100可以包括獲取語(yǔ)法模塊1004。獲取語(yǔ)法模塊1004可以識(shí)別并提取視頻位流110的視頻語(yǔ)法114。
[0265]獲取語(yǔ)法模塊1004可以以各種方式提取用于視頻位流110的視頻語(yǔ)法114。例如，獲取語(yǔ)法模塊1004可以通過在視頻位流110中查找指示視頻語(yǔ)法114存在的視頻可用性信息首部來(lái)提取視頻語(yǔ)法114。在另一個(gè)例子中，可以利用解復(fù)用器(未示出)從視頻位流110的視頻圖像數(shù)據(jù)分離視頻語(yǔ)法114來(lái)從視頻位流110中提取視頻語(yǔ)法114。
[0266]在還有另一個(gè)例子中，可以通過提取序列參數(shù)集原始字節(jié)序列負(fù)荷(RBSP)語(yǔ)法來(lái)從視頻位流I1中提取視頻語(yǔ)法114。序列參數(shù)集RBSP是包含封裝在網(wǎng)絡(luò)抽象層單元中的整數(shù)個(gè)字節(jié)的語(yǔ)法結(jié)構(gòu)。RBSP可以為空或者具有數(shù)據(jù)位的串形式，其包含語(yǔ)法元素，后面跟著RBSP停止位的并且隨后跟著零個(gè)或多個(gè)等于O的附加位。
[0267]在還有另一個(gè)例子中，當(dāng)元素在串行位流中變得可用時(shí)，可以通過提取各個(gè)元素從視頻位流110的串行位流中以時(shí)間順序的方式來(lái)提取視頻語(yǔ)法114。視頻編碼系統(tǒng)100可以基于之前提取的元素的值選擇性地提取和處理后面的元素。視頻編碼系統(tǒng)100可以基于之前接收到的圖3的低延遲HRD標(biāo)志354的值處理圖3的HRD參數(shù)結(jié)構(gòu)350。
[0268]研究發(fā)現(xiàn)，基于之前提取的低延遲HRD標(biāo)志354的實(shí)例，通過利用HRD參數(shù)結(jié)構(gòu)350動(dòng)態(tài)地解碼視頻位流110，獲取語(yǔ)法模塊1004可以提高性能。當(dāng)應(yīng)用HRD參數(shù)結(jié)構(gòu)350時(shí)，通過改變?cè)贑PB中允許的延遲水平，接收低延遲HRD標(biāo)志354提高解碼性能。
[0269]在另一個(gè)例子中，如果視頻位流110在文件中接收，則可以通過檢查包含視頻位流110的文件的文件擴(kuò)展名來(lái)檢測(cè)視頻語(yǔ)法114。在還有另一個(gè)例子中，如果視頻位流110經(jīng)圖1的通信路徑106作為數(shù)字消息接收，則視頻語(yǔ)法114可以作為數(shù)字消息結(jié)構(gòu)的一部分提供。
[0270]獲取語(yǔ)法模塊1004可以基于圖2的語(yǔ)法類型202提取視頻語(yǔ)法114的各個(gè)元素。語(yǔ)法類型202可以包括AVC視頻、SVC視頻、MVC視頻、MVD視頻、SSV視頻或其組合。
[0271]例如，獲取語(yǔ)法模塊1004可以提取視頻語(yǔ)法114，諸如圖3的HEVC VUI語(yǔ)法302、圖4的HEVC VUI第一擴(kuò)展語(yǔ)法402、圖5的HEVC VUI第二擴(kuò)展語(yǔ)法502、或其組合。獲取語(yǔ)法模塊1004可以提取包括圖6的HRD語(yǔ)法602、圖7的HRD子層語(yǔ)法702或其組合的視頻語(yǔ)法114。
[0272]獲取語(yǔ)法模塊1004可以以各種方式提取視頻語(yǔ)法114。例如，獲取語(yǔ)法模塊1004可以從視頻位流110提取諸如HEVC WI語(yǔ)法302的視頻語(yǔ)法114。HEVC WI語(yǔ)法302可以包括用于時(shí)域?qū)?30的所有實(shí)例的HRD語(yǔ)法602的一個(gè)實(shí)例。HEVC VUI語(yǔ)法302可以包括用于時(shí)域?qū)?30的所有實(shí)例的HEVC VUI語(yǔ)法302的元素的一個(gè)實(shí)例。
[0273]在另一個(gè)例子中，獲取語(yǔ)法模塊1004可以從視頻位流110中提取視頻語(yǔ)法114，諸如HEVC VUI第一擴(kuò)展語(yǔ)法402。HEVC VUI第一擴(kuò)展語(yǔ)法402可以包括用于時(shí)域?qū)?30的每個(gè)單獨(dú)實(shí)例的HRD語(yǔ)法602的實(shí)例。
[0274]HEVC VUI第一擴(kuò)展語(yǔ)法402可以包括用于時(shí)域?qū)?30的每個(gè)單獨(dú)實(shí)例的圖3的字段序列標(biāo)志336、圖3的計(jì)時(shí)信息存在標(biāo)志338、圖3的滴答單元340、圖3的時(shí)間標(biāo)度344以及圖3的固定畫面速率標(biāo)志346的單獨(dú)實(shí)例。HEVC VUI第一擴(kuò)展語(yǔ)法402可以包括用于時(shí)域?qū)?30的每個(gè)單獨(dú)實(shí)例的圖3的NAL HRD參數(shù)存在標(biāo)志348、圖3的VCL HRD參數(shù)存在標(biāo)志352、圖3的低延遲HRD標(biāo)志354、圖3的子畫面CPB參數(shù)存在標(biāo)志356以及圖3的子單元滴答358。
[0275]在還有另一個(gè)例子中，獲取語(yǔ)法模塊1004可以從視頻位流110中提取視頻語(yǔ)法114，諸如HEVC VUI第二擴(kuò)展語(yǔ)法502。HEVCVUI第二擴(kuò)展語(yǔ)法502可以包括用于時(shí)域?qū)?30的所有實(shí)例的字段序列標(biāo)志336、計(jì)時(shí)信息存在標(biāo)志338、滴答單元340、時(shí)間標(biāo)度344和固定畫面速率標(biāo)志346的一個(gè)實(shí)例。HEVC VUI第二擴(kuò)展語(yǔ)法502可以包括用于時(shí)域?qū)?30的每個(gè)單獨(dú)實(shí)例的NAL HRD參數(shù)存在標(biāo)志348、VCL HRD參數(shù)存在標(biāo)志352、低延遲HRD標(biāo)志354、子畫面CPB參數(shù)存在標(biāo)志356和子單元滴答358。
[0276]視頻編碼系統(tǒng)100可以包括解碼模塊1006。解碼模塊1006可以利用視頻語(yǔ)法114解碼視頻位流110，以形成視頻流112。解碼模塊1006可以包括獲取時(shí)域?qū)幽K1008和解碼時(shí)域?qū)幽K1010。
[0277]解碼模塊1006可以利用HEVC WI語(yǔ)法302、HEVC VUI第一擴(kuò)展語(yǔ)法402、HEVCVUI第二擴(kuò)展語(yǔ)法502或其組合解碼視頻位流110。解碼模塊1006可以利用HRD語(yǔ)法602、HRD子層語(yǔ)法702、圖8的HRD VUI語(yǔ)法802或其組合來(lái)識(shí)別和提取時(shí)域?qū)?30。
[0278]獲取時(shí)域?qū)幽K1008可以識(shí)別時(shí)域?qū)?30，以便從視頻位流110中提取來(lái)形成視頻流112。獲取時(shí)域?qū)幽K1008可以以各種方式識(shí)別時(shí)域?qū)?30。
[0279]例如，獲取時(shí)域?qū)幽K1008可以通過從HEVC VUI第一擴(kuò)展語(yǔ)法402或HEVC VUI第二擴(kuò)展語(yǔ)法502提取圖4的時(shí)域?qū)佑?jì)數(shù)406來(lái)識(shí)別時(shí)域?qū)?30。時(shí)域?qū)佑?jì)數(shù)406指示視頻位流110中時(shí)域?qū)?30的總數(shù)。在另一個(gè)例子中，獲取時(shí)域?qū)幽K1008可以通過從HEVCVUI語(yǔ)法302提取適用于視頻位流110中所有時(shí)域?qū)?30的HRD語(yǔ)法602的單個(gè)實(shí)例來(lái)識(shí)別時(shí)域?qū)印?br> [0280]解碼時(shí)域?qū)幽K1010可以從獲取時(shí)域?qū)幽K1008接收時(shí)域?qū)?30并且解碼時(shí)域?qū)?30，以形成視頻流112。解碼時(shí)域?qū)幽K1010可以以各種方式解碼時(shí)域?qū)?30。
[0281]例如，解碼時(shí)域?qū)幽K1010可以利用HRD語(yǔ)法602來(lái)解碼時(shí)域?qū)?30。在另一個(gè)例子中，解碼時(shí)域?qū)幽K1010可以利用HRD子層語(yǔ)法702來(lái)解碼時(shí)域?qū)?30。解碼時(shí)域?qū)幽K1010可以解碼時(shí)域?qū)?30并且選擇一個(gè)時(shí)域?qū)?30來(lái)形成視頻流112。
[0282]HRD語(yǔ)法602的參數(shù)可以用來(lái)管理視頻位流110的流暢解碼，包括控制編碼的畫面緩沖區(qū)中的數(shù)據(jù)緩沖速率。計(jì)時(shí)信息存在標(biāo)志338、子畫面CPB參數(shù)存在標(biāo)志356、位速率標(biāo)度612、CPB大小標(biāo)度614、CPB去除延遲長(zhǎng)度618以及DPB輸出延遲長(zhǎng)度620可以用來(lái)把數(shù)據(jù)流調(diào)控到編碼的畫面緩沖區(qū)和解碼的畫面緩沖區(qū)中。
[0283]視頻編碼系統(tǒng)110可以包括顯示模塊1012。顯示模塊1012可以從解碼模塊1006接收視頻流112并且在圖1的顯示接口 120上顯示。視頻流112可包括時(shí)域?qū)?30的一個(gè)或多個(gè)實(shí)例。
[0284]從視頻內(nèi)容108的物理對(duì)象的光圖像到在圖9的顯示接口 120的像素元件上顯示視頻流112的物理變換導(dǎo)致對(duì)物理世界中顯示接口 120的像素元件的物理變化，諸如像素元件電氣狀態(tài)的變化，其基于視頻編碼系統(tǒng)100的操作。當(dāng)在物理世界中發(fā)生變化時(shí)，諸如在視頻內(nèi)容108中捕獲的對(duì)象的運(yùn)動(dòng)，移動(dòng)本身產(chǎn)生附加的信息，諸如對(duì)視頻內(nèi)容108的更新，這些信息轉(zhuǎn)換回顯示接口 120的像素元件中的變化，用于視頻編碼系統(tǒng)100的繼續(xù)操作。
[0285]第一設(shè)備102的圖9的第一軟件912可以包括視頻編碼系統(tǒng)100例如，第一軟件912可以包括接收模塊1002、獲取語(yǔ)法模塊1004、解碼模塊1006和顯示模塊1012。
[0286]圖9的第一控制單元908可以執(zhí)行第一軟件912，以便讓接收模塊1002接收視頻位流110。第一控制單元908可以執(zhí)行第一軟件912，以便讓獲取語(yǔ)法模塊1004從視頻位流110中識(shí)別和提取視頻語(yǔ)法114。第一控制單元908可以執(zhí)行第一軟件912，以便讓解碼模塊1006形成視頻流112。第一控制單元908可以執(zhí)行第一軟件912，以便讓顯示模塊1012顯示視頻流112。
[0287]圖1的第二設(shè)備104的圖9的第二軟件952可以包括視頻編碼系統(tǒng)100。例如，第二軟件952可以包括接收模塊1002、獲取語(yǔ)法模塊1004和解碼模塊1006。
[0288]圖9的第二控制單元948可以執(zhí)行第二軟件952，以便讓接收模塊1002接收視頻位流110。第二控制單元948可以執(zhí)行第二軟件952，以便讓獲取語(yǔ)法模塊1004從視頻位流110中識(shí)別和提取視頻語(yǔ)法114。第二控制單元948可以執(zhí)行第二軟件952，以便讓解碼模塊1006形成圖1的視頻流112。第二控制單元948可以執(zhí)行第二軟件，以便讓顯示模塊1012顯示視頻流112。
[0289]視頻編碼系統(tǒng)100可以在第一軟件912和第二軟件952之間進(jìn)行劃分。例如，第二軟件952可以包括獲取語(yǔ)法模塊1004、解碼模塊1006和顯示模塊1012。如前面所描述的，第二控制單元948可以執(zhí)行在第二軟件952上劃分的模塊。
[0290]在說(shuō)明性例子中，視頻編碼系統(tǒng)100可以包括第一設(shè)備102上的視頻編碼器102和第二設(shè)備104上的視頻解碼器104。視頻解碼器104可以包括圖1的顯示處理器118和顯示接口 120。
[0291]第一軟件912可以包括接收模塊1002和獲取語(yǔ)法模塊1004。依賴于圖9的第一存儲(chǔ)單元904的大小，第一軟件912可以包括視頻編碼系統(tǒng)100的附加模塊。如前面所描述的，第一控制單元908可以執(zhí)行在第一軟件912上劃分的模塊。
[0292]第一控制單元908可以操作圖9的第一通信單元910，以便向第二設(shè)備104發(fā)送視頻位流110。第一控制單元908可以操作第一軟件912，以操作圖9的第一成像單元906。圖9的第二通信單元950可以經(jīng)通信路徑106向第一設(shè)備102發(fā)送視頻流112。
[0293]視頻編碼系統(tǒng)100描述了作為例子的模塊功能或次序。模塊可進(jìn)行不同的劃分。例如，獲取語(yǔ)法模塊1004和解碼模塊1006可以合并。每個(gè)模塊可以單獨(dú)且獨(dú)立于其它模塊來(lái)操作。
[0294]此外，在一個(gè)模塊中產(chǎn)生的數(shù)據(jù)可以被另一個(gè)模塊使用，而不用彼此間直接耦合。例如，獲取語(yǔ)法模塊1004可以從接收模塊1002接收視頻位流110。
[0295]模塊可以以各種方式來(lái)實(shí)現(xiàn)。接收模塊1002、獲取語(yǔ)法模塊1004、解碼模塊1006和顯示模塊1012可以用第一控制單元908或第二控制單元948內(nèi)的硬件加速器(未示出)實(shí)現(xiàn)，或者可以用第一控制單元908或第二控制單元948之外的第一設(shè)備102或第二設(shè)備104中的硬件加速器(未示出)實(shí)現(xiàn)。
[0296]現(xiàn)在參考圖11，其中示出了在本發(fā)明的另一實(shí)施例中圖1視頻編碼系統(tǒng)100的操作方法1100的流程圖。方法1100包括:在塊1102接收視頻位流；在塊1104從視頻位流中提取視頻語(yǔ)法；在塊1106基于視頻語(yǔ)法從視頻位流中提取時(shí)域?qū)樱灰约霸趬K1108基于時(shí)域?qū)有纬梢曨l流，用于在設(shè)備上顯示。
[0297]研究發(fā)現(xiàn)，本發(fā)明因此具有許多方面。本發(fā)明有價(jià)值地支持并服務(wù)于降低成本、簡(jiǎn)化系統(tǒng)和提高性能的歷史趨勢(shì)。因此，本發(fā)明的這些和其它有價(jià)值的方面使技術(shù)狀態(tài)前進(jìn)到至少更高的水平。
[0298]因此，研究發(fā)現(xiàn)，本發(fā)明的視頻編碼系統(tǒng)提供了重要的并且迄今為止未知和不可用的解決方案、能力及功能方面，用于有效地為高清晰應(yīng)用編碼和解碼視頻內(nèi)容。結(jié)果產(chǎn)生的過程和配置直接明了、成本有效、不復(fù)雜、高通用性和高效、能夠不可思議地并且不明顯地通過采用已知的技術(shù)來(lái)實(shí)現(xiàn)，并且因此很容易適于高效且經(jīng)濟(jì)地制造與傳統(tǒng)制造工藝和技術(shù)完全兼容的視頻編碼設(shè)備。結(jié)果產(chǎn)生的過程和配置直接明了、成本有效、不復(fù)雜、高通用性、準(zhǔn)確、靈敏且高效，并且能夠通過采用已知的組件來(lái)實(shí)現(xiàn)，便于容易、高效且經(jīng)濟(jì)地制造、應(yīng)用和利用。
[0299]雖然本發(fā)明已經(jīng)結(jié)合具體的最佳模式進(jìn)行了描述，但是應(yīng)當(dāng)理解，鑒于前面的描述，許多備選方案、修改和變化將對(duì)本領(lǐng)域技術(shù)人員顯而易見。因此，屬于所附權(quán)利要求范圍之內(nèi)的所有此類備選方案，修改和變化都要包括在內(nèi)。至此在本文中闡述或在附圖中示出的所有內(nèi)容都要在說(shuō)明性和非限制性的意義上進(jìn)行解釋。
【權(quán)利要求】
1.一種視頻編碼系統(tǒng)的操作方法，包括: 接收視頻位流； 從視頻位流中提取視頻語(yǔ)法； 基于視頻語(yǔ)法從視頻位流中提取時(shí)域?qū)樱患? 基于時(shí)域?qū)有纬梢曨l流，用于在設(shè)備上顯示。
2.如權(quán)利要求1所述的方法，其中形成視頻流包括為大于或等于3840像素乘2160像素的分辨率形成視頻流。
3.如權(quán)利要求1所述的方法，其中提取視頻語(yǔ)法包括提取視頻可用性信息語(yǔ)法，視頻可用性信息語(yǔ)法支持等于時(shí)域?qū)佑?jì)數(shù)的所述時(shí)域?qū)拥亩鄠€(gè)單獨(dú)實(shí)例。
4.如權(quán)利要求1所述的方法，其中提取視頻語(yǔ)法包括提取具有對(duì)時(shí)域?qū)拥乃袑?shí)例公用的假設(shè)參考解碼器語(yǔ)法的視頻語(yǔ)法。
5.如權(quán)利要求1所述的方法，其中提取視頻語(yǔ)法包括提取具有用于時(shí)域?qū)拥拿總€(gè)單獨(dú)實(shí)例的假設(shè)參考解碼器語(yǔ)法的視頻語(yǔ)法。
6.一種視頻編碼系統(tǒng)的操作方法，包括: 接收用于視頻內(nèi)容的視頻位流； 從視頻位流識(shí)別視頻內(nèi)容的語(yǔ)法類型； 從視頻位流提取用于該語(yǔ)法類型的視頻語(yǔ)法； 基于該視頻語(yǔ)法從視頻位流提取時(shí)域?qū)樱患? 通過利用該視頻語(yǔ)法解碼時(shí)域?qū)佣纬梢曨l流，用于在設(shè)備上顯示。
7.如權(quán)利要求6所述的方法，其中形成視頻流包括為大于或等于7680像素X7320像素的分辨率形成視頻流。
8.如權(quán)利要求6所述的方法，其中提取視頻語(yǔ)法包括提取視頻可用性信息語(yǔ)法，所述視頻可用性信息語(yǔ)法支持等于時(shí)域?qū)佑?jì)數(shù)的該時(shí)域?qū)拥亩鄠€(gè)單獨(dú)實(shí)例。
9.如權(quán)利要求6所述的方法，其中提取視頻語(yǔ)法包括提取具有對(duì)時(shí)域?qū)拥乃袑?shí)例公用的假設(shè)參考解碼器語(yǔ)法的視頻語(yǔ)法。
10.如權(quán)利要求6所述的方法，其中提取視頻語(yǔ)法包括提取具有用于時(shí)域?qū)拥拿總€(gè)單獨(dú)實(shí)例的子層語(yǔ)法的視頻語(yǔ)法。
11.一種視頻編碼系統(tǒng),包括: 接收模塊，用于接收視頻位流； 獲取語(yǔ)法模塊，耦合到接收模塊，用于從視頻位流中提取視頻語(yǔ)法； 解碼模塊，耦合到獲取語(yǔ)法模塊，用于基于視頻語(yǔ)法從視頻位流中提取時(shí)域?qū)?；? 顯示模塊，耦合到解碼模塊，用于基于時(shí)域?qū)有纬梢曨l流，用于在設(shè)備上顯示。
12.如權(quán)利要求11所述的系統(tǒng)，其中解碼模塊用于為大于或等于3840像素乘2160像素的分辨率形成視頻流。
13.如權(quán)利要求11所述的系統(tǒng)，其中獲取語(yǔ)法模塊用于提取視頻可用性信息語(yǔ)法，所述視頻可用性信息語(yǔ)法支持等于時(shí)域?qū)佑?jì)數(shù)的該時(shí)域?qū)拥亩鄠€(gè)單獨(dú)實(shí)例。
14.如權(quán)利要求11所述的系統(tǒng)，其中獲取語(yǔ)法模塊用于提取具有對(duì)時(shí)域?qū)拥乃袑?shí)例公用的假設(shè)參考解碼器語(yǔ)法的視頻語(yǔ)法。
15.如權(quán)利要求11所述的系統(tǒng)，其中獲取語(yǔ)法模塊用于提取具有用于時(shí)域?qū)拥拿總€(gè)單獨(dú)實(shí)例的假設(shè)參考解碼器語(yǔ)法的視頻語(yǔ)法。
16.如權(quán)利要求11所述的系統(tǒng)，其中: 接收模塊用于接收用于視頻內(nèi)容的視頻位流； 獲取語(yǔ)法模塊用于從視頻位流識(shí)別視頻內(nèi)容的語(yǔ)法類型并且從視頻位流提取用于該語(yǔ)法類型的視頻語(yǔ)法；及 解碼模塊用于基于該視頻語(yǔ)法從視頻位流提取時(shí)域?qū)硬⑶矣糜谕ㄟ^利用該視頻語(yǔ)法解碼時(shí)域?qū)佣纬梢曨l流，用于在設(shè)備上顯示。
17.如權(quán)利要求16所述的系統(tǒng)，其中解碼模塊形成視頻流包括為大于或等于7680像素x7320像素的分辨率形成視頻流。
18.如權(quán)利要求16所述的系統(tǒng)，其中獲取語(yǔ)法模塊用于提取視頻可用性信息語(yǔ)法，所述視頻可用性信息語(yǔ)法支持等于時(shí)域?qū)佑?jì)數(shù)的的該時(shí)域?qū)拥亩鄠€(gè)單獨(dú)實(shí)例。
19.如權(quán)利要求16所述的系統(tǒng)，其中獲取語(yǔ)法模塊用于提取具有對(duì)時(shí)域?qū)拥乃袑?shí)例公用的假設(shè)參考解碼器語(yǔ)法的視頻語(yǔ)法。
20.如權(quán)利要求16所述的系統(tǒng)，其中獲取語(yǔ)法模塊用于提取具有用于時(shí)域?qū)拥拿總€(gè)單獨(dú)實(shí)例的子層語(yǔ)法的視頻語(yǔ)法。
【文檔編號(hào)】H04N19/70GK104396260SQ201380034953
【公開日】2015年3月4日 申請(qǐng)日期:2013年7月1日 優(yōu)先權(quán)日:2012年7月2日
【發(fā)明者】M·哈奎, 佐藤一志, A·塔巴塔貝, 鈴木輝彥 申請(qǐng)人:索尼公司