指定視覺動(dòng)態(tài)范圍編碼操作及參數(shù)的制作方法
【專利摘要】符合相同或不同VDR規(guī)范的編碼語法可以以RPU數(shù)據(jù)單元形式以共用載體由上游編碼設(shè)備如VDR編碼器用信號(hào)通知給下游編碼設(shè)備如VDR解碼器。VDR編碼操作和操作參數(shù)可以被指定為編碼語法中的序列級(jí)、幀級(jí)或分區(qū)級(jí)語法元素。編碼語法中的語法元素可以直接被編碼在當(dāng)前RPU?ID下的一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元中，其從使用相同RPUID先前發(fā)送的其他分區(qū)/段/范圍被預(yù)測，或從使用先前RPU?ID先前發(fā)送的其他幀級(jí)或序列級(jí)語法元素被預(yù)測。下游設(shè)備可以基于所接收的編碼語法對(duì)多層輸入圖像數(shù)據(jù)執(zhí)行解碼操作來構(gòu)造VDR圖像。
【專利說明】指定視覺動(dòng)態(tài)范圍編碼操作及參數(shù)
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求于2013年I月3日提交的美國臨時(shí)申請(qǐng)N0.61/582，614的優(yōu)先權(quán)，在此通過引用將其公開內(nèi)容整體合并到本文中。
【技術(shù)領(lǐng)域】
[0003]本申請(qǐng)一般涉及視頻編碼系統(tǒng)，更具體地涉及對(duì)視覺動(dòng)態(tài)范圍圖像進(jìn)行編碼、解碼及表示的系統(tǒng)。
【背景技術(shù)】
[0004]已經(jīng)開發(fā)了支持基于具體視頻格式來發(fā)送和呈現(xiàn)視頻內(nèi)容的顯示技術(shù)。例如，MPEG視頻編碼器和解碼器可以支持以MPEG視頻格式編碼的視頻內(nèi)容。其他視頻編碼器和解碼器可以支持以不同視頻格式編碼的視頻內(nèi)容。
[0005]消費(fèi)者設(shè)備如手持設(shè)備通常安裝有或配置有一組有限的視頻編碼系統(tǒng)，其中每個(gè)視頻編碼系統(tǒng)可以支持一組有限的視頻格式中的特定視頻格式。因此，如果沒有按照預(yù)期的視頻格式對(duì)視頻內(nèi)容塊進(jìn)行編碼和傳送，則該設(shè)備將有可能無法找到合適的視頻解碼器來對(duì)視頻內(nèi)容進(jìn)行解碼和幫助呈現(xiàn)視頻內(nèi)容。即使呈現(xiàn)了視頻內(nèi)容，所呈現(xiàn)的視頻內(nèi)容也可能包括對(duì)所接收的視頻內(nèi)容的不正確的解釋或表示，并且產(chǎn)生顏色和亮度值的可見偽影。
[0006]本部分中所描述的方法是可以實(shí)行的方法，但并不一定是先前已經(jīng)構(gòu)思或?qū)嵭械姆椒āＲ虼?，除非另外指出，否則不應(yīng)當(dāng)僅僅因?yàn)楸话ㄔ诒静糠种芯图僭O(shè)本部分中所描述的任何方法是現(xiàn)有技術(shù)。相似地，除非另外指出，否則不應(yīng)基于本部分而假設(shè)關(guān)于一種或更多種方法而確定的問題已經(jīng)在任何現(xiàn)有技術(shù)中被意識(shí)到。
【專利附圖】

【附圖說明】
[0007]通過示例的方式而不是通過限制的方式示出了本發(fā)明，在附圖的圖中，相似的附圖標(biāo)記指代相似的元件，并且其中:
[0008]圖1和圖2示出示例實(shí)施方式中的基于按照一個(gè)或更多個(gè)視覺動(dòng)態(tài)范圍(VDR)規(guī)范的編碼語法來生成參考處理單元(RPU)數(shù)據(jù)的VDR編碼器；
[0009]圖3示出示例實(shí)施方式中的包括NAL報(bào)頭和原始字節(jié)序列有效載荷的NAL數(shù)據(jù)單元;
[0010]圖4示出RPU數(shù)據(jù)報(bào)頭的布局。圖5示出示例實(shí)施方式中的RPU數(shù)據(jù)報(bào)頭解析；
[0011]圖6示出RPU數(shù)據(jù)有效載荷的布局，圖7至圖9示出示例實(shí)施方式中的RPU數(shù)據(jù)有效載荷解碼；
[0012]圖10示出示例實(shí)施方式中的從RTO數(shù)據(jù)解析編碼語法的VDR解碼器；
[0013]圖1lA和圖1lB示出根據(jù)本發(fā)明的示例實(shí)施方式的示例處理流；以及
[0014]圖12示出根據(jù)本發(fā)明的實(shí)施方式的可以實(shí)現(xiàn)本文所描述的計(jì)算機(jī)或計(jì)算設(shè)備的示例硬件平臺(tái)。
【具體實(shí)施方式】
[0015]本文描述了涉及使用分層VDR編解碼器對(duì)視覺動(dòng)態(tài)范圍圖像進(jìn)行編碼、解碼及表示的示例實(shí)施方式。在下面的描述中，出于說明的目的，闡述了大量具體細(xì)節(jié)以便提供對(duì)本發(fā)明的透徹理解。然而，明顯的是，可以在沒有這些具體細(xì)節(jié)的情況下實(shí)踐本發(fā)明。在其他實(shí)例中，為了避免不必要地封閉、模糊或混淆本發(fā)明，將不再詳盡地描述公知的結(jié)構(gòu)和設(shè)備。
[0016]在本文中根據(jù)下面的提綱描述示例實(shí)施方式:
[0017]1.總體概述
[0018]2.VDR 編碼器
[0019]3.RPU數(shù)據(jù)單元
[0020]4.RPU數(shù)據(jù)解碼一序列級(jí)和/或幀級(jí)[0021 ] 5.RPU數(shù)據(jù)解碼一分區(qū)級(jí)
[0022]6.RPU數(shù)據(jù)解碼一色度映射
[0023]7.RPU數(shù)據(jù)解碼的另外示例
[0024]8.示例處理流
[0025]9.實(shí)現(xiàn)機(jī)制一硬件概述
[0026]10.等同物、擴(kuò)展、替代及其他事項(xiàng)
[0027]1.總體概述
[0028]本概述給出本發(fā)明的示例實(shí)施方式的一些方面的基本描述。應(yīng)當(dāng)注意的是，本概述不是示例實(shí)施方式的方面的廣泛的或詳盡的總結(jié)。此外，應(yīng)當(dāng)注意的是，本概述既不意在被理解為確定示例實(shí)施方式的任何特別顯著的方面或元素，也不意在被理解為具體地描繪示例實(shí)施方式的任何范圍、或一般地描述本發(fā)明的任何范圍。本概述僅給出與扼要和簡化形式的示例性實(shí)施方式相關(guān)的一些概念，并且應(yīng)當(dāng)被理解為接下來的示例實(shí)施方式的更詳細(xì)的描述的概念性前序。
[0029]本文所描述的技術(shù)支持以共用載體將由不同視頻編碼系統(tǒng)生成的參考處理數(shù)據(jù)傳送并且用信號(hào)通知給下游設(shè)備。如本文所使用的，術(shù)語“共用載體”可以指代被配置成攜帶基于多種視覺動(dòng)態(tài)范圍(VDR)規(guī)范中的任意一個(gè)規(guī)范生成的參考處理數(shù)據(jù)的共用參考處理單元(RPU)數(shù)據(jù)格式。如本文所使用的，共用載體中攜帶的參考處理數(shù)據(jù)提供包括多個(gè)語法元素的編碼語法，其中語法元素指定在與參考處理數(shù)據(jù)相關(guān)聯(lián)的視頻數(shù)據(jù)的編碼和解碼中所使用的或要使用的操作和參數(shù)。本文所描述的語法元素能夠描述對(duì)于一些或所有不同的VDR規(guī)范來說相同的操作或描述僅對(duì)不同的VDR規(guī)范中的一個(gè)或更多個(gè)規(guī)范而不是所有不同的規(guī)范而言特定的操作?？梢岳缭谙掠?例如，消費(fèi)者)設(shè)備中實(shí)現(xiàn)共用的參考處理數(shù)據(jù)解碼/解析處理以對(duì)編碼語法或其中的語法元素進(jìn)行解碼，而不管該編碼語法涉及哪個(gè)VDR規(guī)范。因此，下游設(shè)備不需要對(duì)于消費(fèi)者設(shè)備被配置成或?qū)⒈慌渲贸芍С值拿總€(gè)現(xiàn)有的或新的VDR規(guī)范來實(shí)現(xiàn)單獨(dú)且不同的參考處理數(shù)據(jù)解碼/解析處理。下游設(shè)備的供應(yīng)商可能僅需要專注于為用于對(duì)按照現(xiàn)有的或新的VDR規(guī)范指定的媒體樣本進(jìn)行編碼或解碼的算法或操作提供支持。因?yàn)楸疚乃枋龅募夹g(shù)使用了共用載體來傳送或用信號(hào)通知與根據(jù)不同的VDR規(guī)范生成的媒體樣本相關(guān)聯(lián)的參考處理數(shù)據(jù)，所以對(duì)于包括尚待開發(fā)的VDR規(guī)范的所有VDR規(guī)范可以重復(fù)使用或基本上重復(fù)使用相同的參考處理數(shù)據(jù)解碼/解析處理。如本文所使用的，術(shù)語“媒體樣本”指代這樣的數(shù)據(jù):當(dāng)與參考處理數(shù)據(jù)組合時(shí)形成本文所描述的VDR數(shù)據(jù)。
[0030]多個(gè)層(或比特流)可以用于將VDR數(shù)據(jù)(媒體樣本和參考處理單元數(shù)據(jù))從上游設(shè)備如VDR編碼器傳送至下游設(shè)備。多個(gè)層中攜帶的VDR數(shù)據(jù)可以用于支持范圍廣泛的顯示技術(shù)，這些技術(shù)可以包括但不僅限于向后兼容性顯示技術(shù)和新的高動(dòng)態(tài)范圍(HDR)顯示技術(shù)中的任意技術(shù)。如本文所使用的，術(shù)語“VDR”或“視覺動(dòng)態(tài)范圍”可以指代比標(biāo)準(zhǔn)動(dòng)態(tài)范圍更寬的動(dòng)態(tài)范圍，并且可以包括但不限于高達(dá)人類視覺可以瞬時(shí)感知的瞬時(shí)可感知的動(dòng)態(tài)范圍和色域的寬動(dòng)態(tài)范圍。如本文所使用的，術(shù)語“多層(mult1-layer)”或“多個(gè)層(multiple layer) ”可以指代兩個(gè)或更多個(gè)比特流，包括攜帶具有(視頻信號(hào))彼此間的一種或更多種邏輯依賴關(guān)系的多個(gè)視頻或圖像信號(hào)的基本層(BL)、參考處理單元(RPU)層和增強(qiáng)層(EL)。
[0031]基本層可以攜帶由上游設(shè)備從SDR信號(hào)獲得的或從VDR信號(hào)中的輸入VDR數(shù)據(jù)映射的BL數(shù)據(jù)(基本層媒體樣本)。一個(gè)或更多個(gè)增強(qiáng)層(EL)可以攜帶由上游設(shè)備至少部分地從VDR信號(hào)獲得的EL數(shù)據(jù)(增強(qiáng)層媒體樣本)。在一些實(shí)施方式中，為了利用均與相同的輸入VDR數(shù)據(jù)相關(guān)的BL數(shù)據(jù)與EL數(shù)據(jù)之間的統(tǒng)計(jì)冗余，EL數(shù)據(jù)可以基于BL視頻數(shù)據(jù)和輸入VDR視頻數(shù)據(jù)被(冗余)降低到包括預(yù)測值之間的殘差值或差值。在一些實(shí)施方式中，VDR編碼器可以被配置成應(yīng)用準(zhǔn)確預(yù)測算法，使得殘差值被減小至零；因此，EL數(shù)據(jù)可以用于保存與準(zhǔn)確預(yù)測算法相 關(guān)的減小的層間參考圖片集合而不保存無幫助的零殘差值?？梢圆皇轻槍?duì)單個(gè)VDR圖像而是針對(duì)一組相關(guān)的輸入VDR圖像來生成無殘差視頻編碼系統(tǒng)的層間參考圖片。
[0032]在一些實(shí)施方式中，RI3U層可以攜帶由上游設(shè)備生成的參考處理數(shù)據(jù)(或者表示為RPU數(shù)據(jù))。上游設(shè)備如VDR編碼器可以使用RPU數(shù)據(jù)將編碼語法用信號(hào)通知給下游設(shè)備如VDR解碼器。編碼語法使得VDR解碼器能夠基于BL層和EL層中的BL數(shù)據(jù)和EL數(shù)據(jù)來重構(gòu)VDR圖像。
[0033]RI^U數(shù)據(jù)中攜帶的語法元素的示例可以包括但不限于以下項(xiàng)中的任意項(xiàng):層間預(yù)測系數(shù)、殘差非線性去量化參數(shù)、色度重采樣濾波器系數(shù)、顏色空間變換指示符或其他VDR語法元素(例如，由VDR編碼器執(zhí)行來生成BL數(shù)據(jù)和EL數(shù)據(jù)以及由VDR解碼器執(zhí)行來對(duì)BL數(shù)據(jù)和EL數(shù)據(jù)進(jìn)行解碼的函數(shù)和/或操作的標(biāo)志和描述符)。RPU數(shù)據(jù)中的語法元素可以被分類為序列級(jí)、幀級(jí)、分區(qū)級(jí)或函數(shù)/操作級(jí)中之一。
[0034]輸入VDR媒體內(nèi)容(例如，HDR影片)可以被細(xì)分成序列(例如，對(duì)應(yīng)于場景或場景的一部分等)、幀(或圖像或圖片)或分區(qū)(或圖像的部分)。序列級(jí)、幀級(jí)或分區(qū)級(jí)處的語法元素可以明確地被編碼在當(dāng)前RPU數(shù)據(jù)中，或從相應(yīng)的序列級(jí)、幀級(jí)或分區(qū)級(jí)處的先前發(fā)送的RPU數(shù)據(jù)預(yù)測。另外地、可選地或可替代地，語法元素可以在序列級(jí)、幀級(jí)或分區(qū)級(jí)中多于一級(jí)處出現(xiàn)。
[0035]可以通過不同的VDR編碼系統(tǒng)實(shí)現(xiàn)本文所描述的包括分層編解碼器結(jié)構(gòu)(BL層、EL層和RPU層)的技術(shù)。例如，實(shí)現(xiàn)這些技術(shù)中的一些技術(shù)的第一 VDR編碼系統(tǒng)可以是基于殘差的分層編解碼器，其中基本層和增強(qiáng)層兩者使用色度格式(例如，4:2:0)和低位深度(例如，8位)；實(shí)現(xiàn)這些技術(shù)中的一些技術(shù)的第二 VDR編碼系統(tǒng)可以是基于信號(hào)的分層編解碼器，其中增強(qiáng)層使用比基本層(4:2:08位)的色度格式(例如，4:2:0)和位深度(例如，8位)更寬的色度格式(例如，4:4:4)和較高的位深度(例如，12位或更多)。具體地，本文所描述的RPU數(shù)據(jù)解碼技術(shù)可以在最初支持一組一個(gè)或更多個(gè)不同VDR規(guī)范的VDR編碼系統(tǒng)中實(shí)現(xiàn)，并且可以當(dāng)隨后支持另外的VDR規(guī)范時(shí)在VDR編碼系統(tǒng)中很少變化或沒有變化情況下被重復(fù)使用。
[0036]RPU層編碼的比特流或其中的RPU數(shù)據(jù)可以與其他層中的編碼的比特流，或其中的BL數(shù)據(jù)和EL數(shù)據(jù)同步。例如，可以按照顯示順序(例如，如H.264中指定的picture_order_count)通過圖片顯示編號(hào)來對(duì)RPU數(shù)據(jù)和BL/EL數(shù)據(jù)進(jìn)行同步。
[0037]本文所描述的技術(shù)支持用于以下項(xiàng)中的多種操作:層間預(yù)測、逆映射、色度重采樣、數(shù)據(jù)處理如分區(qū)的邊界區(qū)域中的插值、空間縮放、非線性量化等。一些所支持的操作可能對(duì)于一些或所有不同的VDR規(guī)范來說是共用的，而一些其他所支持的操作可能對(duì)于一個(gè)或更多個(gè)規(guī)范而不是對(duì)于所有VDR規(guī)范是唯一的。例如，可以對(duì)于具有殘差值的VDR規(guī)范如EL數(shù)據(jù)執(zhí)行非線性量化/去量化。
[0038]本文所描述的技術(shù)支持由靈活的編碼語法驅(qū)動(dòng)的視頻編碼和視頻解碼。該方法例如使用改進(jìn)的算法、實(shí)現(xiàn)成本、速度等使得編碼器設(shè)計(jì)和解碼器設(shè)計(jì)能夠進(jìn)行并行且持續(xù)的優(yōu)化。利用當(dāng)前RPU數(shù)據(jù)與先前發(fā)送的RPU數(shù)據(jù)之間的冗余，可以通過VDR編碼器將編碼語法連同分層VDR數(shù)據(jù)有效地發(fā)送和用信號(hào)通知給VDR解碼器。編碼語法為VDR解碼器提供路線圖(例如，完整的)來有效地執(zhí)行例如逆數(shù)據(jù)流中的解碼操作。
[0039]在一些實(shí)施方式中，本文所描述的機(jī)制形成媒體處理系統(tǒng)的一部分,媒體處理系統(tǒng)包括但不限于以下項(xiàng)中的任意項(xiàng):手持設(shè)備、游戲機(jī)、電視機(jī)、筆記本電腦、上網(wǎng)本電腦、平板計(jì)算機(jī)、蜂窩無線電話、電子書閱讀器、銷售點(diǎn)終端、臺(tái)式計(jì)算機(jī)、計(jì)算機(jī)工作站、計(jì)算機(jī)信息站或各種其他類型的終端和媒體處理單元。
[0040]對(duì)于本【技術(shù)領(lǐng)域】的技術(shù)人員而言，對(duì)本文所描述的優(yōu)選實(shí)施方式以及一般原理和特征的各種修改將是顯而易見的。因此，本公開內(nèi)容并不意在限于所示出的實(shí)施方式，而是與符合本文所描述的原理和特征的最寬范圍一致。
[0041]2.VDR 編碼器
[0042]VDR編碼器可以使用符合一個(gè)或更多個(gè)不同VDR規(guī)范之一的編碼語法來生成BL數(shù)據(jù)、EL數(shù)據(jù)和RPU數(shù)據(jù)?？梢允褂冒ㄖ饕?或次要版本號(hào)的不同組合的不同版本來標(biāo)記或標(biāo)識(shí)這些不同的VDR規(guī)范(可以類似地使用標(biāo)識(shí)具體VDR規(guī)范的其他方式)。如本文所使用的，VDR規(guī)范可以提供可以包括在編碼語法中的語法元素的規(guī)范，可以從上游設(shè)備如VDR編碼器向下游設(shè)備如VDR解碼器用信號(hào)通知該規(guī)范。
[0043]圖1示出了基于符合一個(gè)或更多個(gè)VDR規(guī)范的編碼語法來生成RPU數(shù)據(jù)的VDR編碼器102。在一些實(shí)施方式中，VDR編碼器102支持至少兩個(gè)VDR規(guī)范，例如，分別標(biāo)記有第一版本(“1.0”)或第二版本(“1.x”)。VDR編碼器102可以被配置成根據(jù)符合VDR編碼器102所支持的一個(gè)或更多個(gè)VDR規(guī)范的編碼語法來對(duì)BL數(shù)據(jù)、EL數(shù)據(jù)、RPU數(shù)據(jù)、層間預(yù)測數(shù)據(jù)和中間媒體數(shù)據(jù)執(zhí)行操作。這些不同的VDR規(guī)范可以包括但不限于:支持向后兼容性的第一版本和不支持向后兼容性的第二版本。如本文所使用的，術(shù)語“向后兼容性”指代BL數(shù)據(jù)是否包括被優(yōu)化用于在SDR顯示器上查看的SDR圖像?？梢允褂靡环N或更多種計(jì)算設(shè)備來實(shí)現(xiàn)VDR編碼器102。
[0044]在一種實(shí)施方式中，VDR編碼器102被配置成接收(輸入)VDR信號(hào)104并且從VDR信號(hào)104獲得輸入VDR圖像。如本文所使用的，“輸入VDR圖像”可以包括用于對(duì)源圖像的VDR版本進(jìn)行解碼的寬或高動(dòng)態(tài)范圍圖像數(shù)據(jù)，源圖像又可以是由高端圖像采集設(shè)備捕獲的原始圖像。輸入VDR圖像可以是支持高動(dòng)態(tài)范圍色域的輸入顏色空間中的高位深度(例如，10+位)圖像。由本文所描述的VDR編碼系統(tǒng)接收或處理的一個(gè)或更多個(gè)VDR信號(hào)的示例包括但不限于以下項(xiàng)中的任意項(xiàng):12位P3D65RGB444信號(hào)、12位推薦(Rec.) 709RGB444信號(hào)、12位DCDMX’ Y’ Z’ 444信號(hào)、16位TIFF文件格式的視頻數(shù)據(jù)等。
[0045]在示例中，輸入VDR圖像中表示的每個(gè)像素包括針對(duì)顏色空間(例如，RGB顏色空間)定義的所有通道(例如，紅色通道、綠色通道和藍(lán)色通道)的像素值。每個(gè)像素可以可選地和/或可替代地包括顏色空間中的一個(gè)或更多個(gè)通道的上采樣像素值或下采樣像素值。應(yīng)當(dāng)注意的是，在一些實(shí)施方式中，除了三種基本顏色如紅色、綠色和藍(lán)色以外，例如，可以在本文所描述的顏色空間中同時(shí)使用不同的基本顏色，以支持寬色域；在這些實(shí)施方式中，本文所描述的圖像數(shù)據(jù)包括這些不同基本顏色的另外的像素值，并且可以由本文所描述的技術(shù)同時(shí)來處理。
[0046]在一種實(shí)施方式中，VDR編碼器102可以在映射顏色空間(YCbCr空間、RGB空間或其他顏色空間中之一)中執(zhí)行層間預(yù)測相關(guān)操作。在一些實(shí)施方式中，如果輸入顏色空間不同于映射顏色空間，則可以通過顏色空間轉(zhuǎn)換單元將輸入VDR圖像從輸入顏色空間轉(zhuǎn)換至映射顏色空間。
[0047]在一種實(shí)施方式中，如圖1所示，VDR編碼器102可以被配置成接收(輸入)SDR信號(hào)108并且從SDR信號(hào)108獲得BL數(shù)據(jù)。由本文所描述的VDR編碼系統(tǒng)接收的一個(gè)或更多個(gè)SDR信號(hào)的示例包括但不限于以下項(xiàng)中的任意項(xiàng):8位YCbCr信號(hào)、8位YUV文件格式的視頻數(shù)據(jù)等。
[0048]如本文所使用的，“BL數(shù)據(jù)”指代可以被優(yōu)化或不可以被優(yōu)化以用于在SDR顯示器上查看的低位深度(例如，8位)圖像數(shù)據(jù)。如本文所使用的，術(shù)語“低位深度”指代在具有低位深度的編碼空間中被量化的圖像數(shù)據(jù)；低位深度的示例包括8位，而術(shù)語“高位深度”指代在具有高位深度的編碼空間中被量化的圖像數(shù)據(jù)；高位深度的示例是10位、12位或更多位。具體地，術(shù)語“低位深度”或“高位深度”不指代像素值的最低有效位或最高有效位。
[0049]在第一示例中，BL數(shù)據(jù)包括被優(yōu)化用于在SDR顯示器上查看的SDR圖像，并且可以與支持向后兼容性的第一版本的VDR規(guī)范相關(guān)聯(lián)。SDR圖像可以包括由著色師進(jìn)行的使SDR圖像在相對(duì)窄的或標(biāo)準(zhǔn)的動(dòng)態(tài)范圍內(nèi)看起來盡可能逼真的顏色校正。例如，為了在標(biāo)準(zhǔn)動(dòng)態(tài)范圍內(nèi)創(chuàng)建看起來逼真的圖像，可以在SDR圖像中改變或校正與產(chǎn)生輸入VDR圖像的源HDR圖像中的一些或所有像素有關(guān)的色調(diào)信息。
[0050]在第二示例中，VDR編碼器102被配置成將VDR-SDR (例如，色調(diào))映射應(yīng)用于輸入VDR圖像以獲得BL數(shù)據(jù)，而不是從類似于圖1的108的輸入SDR信號(hào)獲得BL數(shù)據(jù)。在該示例中，BL數(shù)據(jù)可以不被優(yōu)化用于在SDR顯示器上查看，并且可以與不支持向后兼容性的第二版本的VDR規(guī)范相關(guān)聯(lián)。BL數(shù)據(jù)可以包括輸入VDR圖像的低位表示。例如，VDR-SDR映射可以基于以下項(xiàng)中的一項(xiàng)或更多項(xiàng):全局量化、線性量化、線性拉伸、基于曲線的量化、概率密度函數(shù)(Pdf)優(yōu)化量化、羅伊-最大值量化、基于分區(qū)的量化、感知量化、跨顏色通道/矢量量化或其他類型的量化。另外地、可選地、或替代地，例如，VDR-SDR映射可以包括以下處理中的零種或更多種處理:去噪處理、幀對(duì)準(zhǔn)處理、顏色分級(jí)處理等。在該示例中，可以不優(yōu)化BL數(shù)據(jù)以用于在標(biāo)準(zhǔn)動(dòng)態(tài)范圍內(nèi)呈現(xiàn)看起來逼真的圖像。相反地，BL數(shù)據(jù)可以要通過下游設(shè)備有效地與EL數(shù)據(jù)組合以構(gòu)造與從圖1的輸入VDR信號(hào)獲得的輸入VDR圖像對(duì)應(yīng)的輸出VDR圖像。
[0051]在一種實(shí)施方式中，VDR編碼器102或其中的基本層SDR編碼器(116)被配置成將可以從SDR信號(hào)108或者從對(duì)從VDR信號(hào)104獲得的輸入VDR圖像進(jìn)行的映射操作獲得的輸入SDR圖像編碼成基本層比特流128。
[0052]在一種實(shí)施方式中，VDR編碼器102采用混合視頻編碼模型如H.264/MPEG-4AVC (IS14496-10)、HEVC、MPEG_4 部分 2 (IS14496-2)、MPEG_2 (IS11138-2)、VP8、VC_1和/或其他?？梢愿鶕?jù)同一圖像中的相鄰樣本(使用幀內(nèi)預(yù)測)或來自屬于相同基本層的過去經(jīng)解碼的圖像的樣本(幀間預(yù)測)來對(duì)要在基本層中編碼的媒體樣本進(jìn)行預(yù)測。這些要用于預(yù)測的經(jīng)解碼的BL樣本可以存儲(chǔ)或緩存在(基本層的)參考圖片存儲(chǔ)114內(nèi)。
[0053]在一種實(shí)施方式中，VDR編碼器102還被配置成基于經(jīng)解碼的BL樣本對(duì)要在增強(qiáng)層中編碼的媒體樣本執(zhí)行層間預(yù)測?？梢詮膮⒖紙D片存儲(chǔ)114(可以是一種或更多種存儲(chǔ)器緩沖區(qū)或其他形式的存儲(chǔ)器空間)檢索經(jīng)解碼的BL樣本。
[0054]VDR編碼器102或其中的VDR RPUllO可以被配置成生成用于由VDR編碼器102執(zhí)行的編碼相關(guān)操作的編碼語法。這些編碼相關(guān)操作包括被執(zhí)行來生成要在增強(qiáng)層比特流124中傳送的EL數(shù)據(jù)的操作。根據(jù)本文所描述的技術(shù)，由VDR編碼器將用于編碼相關(guān)操作的編碼語法用信號(hào)通知給VDR解碼器，使得VDR解碼器使用相同的編碼語法用于解碼相關(guān)操作。在一些實(shí)施方式中，由VDR編碼器用信號(hào)通知給VDR解碼器的編碼語法可以指定由VDR解碼器單獨(dú)執(zhí)行而非由VDR編碼器執(zhí)行的一種或更多種另外的操作。這些另外的操作包括但不限于顯示管理操作中的任意操作。
[0055]這些編碼語法可以包括符合VDR編碼器102所支持的具體VDR規(guī)范的多個(gè)語法元素，并且可以包括但不限于以下項(xiàng)中的任意項(xiàng):層間預(yù)測系數(shù)、殘差非線性去量化參數(shù)、色度重采樣濾波器系數(shù)、顏色空間變換指示符或其他VDR語法元素(例如，由VDR編碼器執(zhí)行以生成BL數(shù)據(jù)和EL數(shù)據(jù)以及由VDR解碼器執(zhí)行以對(duì)BL數(shù)據(jù)和EL數(shù)據(jù)進(jìn)行解碼的函數(shù)和/或操作的標(biāo)志和描述符)。
[0056]在一種實(shí)施方式中，RPU處理模塊112被配置成基于編碼語法執(zhí)行一系列序列級(jí)、幀級(jí)和分區(qū)級(jí)操作(可以包括但不僅限于與預(yù)測相關(guān)的那些操作)。例如，RPU處理模塊112可以執(zhí)行如編碼語法所指定的操作例如，諸如SDR-VDR映射的逆映射、色度上采樣、一種或更多種視頻數(shù)據(jù)處理操作(例如，濾波、插值、重新縮放等)或非線性量化(NLQ)。因此，可以由RPU處理模塊112生成預(yù)測參考值。
[0057]在一種實(shí)施方式中，VDR編碼器102可以執(zhí)行一種或更多種操作來生成從輸入VDR圖像獲得的(如果必要，從VDR信號(hào)104和經(jīng)變換的顏色空間獲得的)VDR圖像數(shù)據(jù)與預(yù)測參考值之間的殘差值(130)。在線性或?qū)?shù)域中殘差值可能不同。在一種實(shí)施方式中，VDR編碼器102或其中的殘差下采樣/重采樣單元可以被配置成對(duì)殘差值(130)執(zhí)行一種或更多種下采樣/重采樣操作以生成經(jīng)下采樣的(例如，8位)殘差值以用于進(jìn)一步處理。在一種實(shí)施方式中，VDR編碼器102或其中的殘差非線性量化器(NLQ ；118)可以被配置成對(duì)殘差值(130)或經(jīng)下采樣的殘差值執(zhí)行一種或更多種非線性量化操作，并且將經(jīng)非線性量化的殘差值提供給VDR編碼器102的其他單元以用于進(jìn)一步處理。
[0058]在一種實(shí)施方式中，VDR編碼器102或其中的增強(qiáng)層(僅出于說明的目的，8位/4:2:0)編碼器(120)被配置成將殘差值(在一些實(shí)施方式中可以被非線性量化和/或下采樣)作為EL數(shù)據(jù)編碼成增強(qiáng)層比特流124。
[0059]在其中VDR編碼器102或增強(qiáng)層(僅出于說明的目的，8位/4:2:0)編碼器(120)采用混合視頻編碼器模型的實(shí)施方式中，可以根據(jù)同一圖像中的相鄰殘差值樣本(使用幀內(nèi)預(yù)測)或根據(jù)來自屬于相同增強(qiáng)層的過去經(jīng)解碼的圖像中的殘差值樣本(幀間預(yù)測)來預(yù)測殘差值。在一種實(shí)施方式中，用于預(yù)測的相同層EL樣本可以被存儲(chǔ)或緩存在(增強(qiáng)層的)參考圖片存儲(chǔ)122內(nèi)。
[0060]在一種實(shí)施方式中，VDR編碼器102或其中的VDR RPUllO被配置成將作為RPU數(shù)據(jù)的一部分的編碼語法編碼成VDR RPU比特流126。RTO數(shù)據(jù)可以包括但不限于以下項(xiàng)中的任意項(xiàng)=SDR-VDR映射參數(shù)、由應(yīng)用于生成預(yù)測參考圖像的預(yù)測方法所使用的多項(xiàng)式參數(shù)、NLQ參數(shù)、由VDR RPU(IlO)執(zhí)行的一種或更多種視頻數(shù)據(jù)處理操作所使用的參數(shù)。VDRRPUllO可以在RPU數(shù)據(jù)單元中設(shè)置標(biāo)志或報(bào)頭字段來指示是否可以根據(jù)先前發(fā)送的用于先前序列、先前幀或先前分區(qū)的RPU數(shù)據(jù)來預(yù)測編碼語法中的任意語法元素。
[0061]可以使用多種編解碼器如H.264/MPEG-4AVC、HEVC、MPEG-2、VP8、VC-l和/或其他中的一個(gè)或更多個(gè)來實(shí)現(xiàn)BL編碼器(116)和EL編碼器(120)中之一或兩者。
[0062]相應(yīng)的VDR解碼器(其實(shí)現(xiàn)圖1所示的逆數(shù)據(jù)流并且支持VDR編碼器102用來生成編碼語法的相同VDR規(guī)范)可以用于對(duì)由VDR編碼器102生成的BL數(shù)據(jù)流、EL數(shù)據(jù)流和RPU數(shù)據(jù)流進(jìn)行解碼，并且生成輸入VDR圖像的重構(gòu)版本。
[0063]圖2示出了生成與一個(gè)或更多個(gè)不同的VDR規(guī)范對(duì)應(yīng)的RPU數(shù)據(jù)的VDR編碼器(202)。VDR編碼器202可以但不限于與可能不同于由VDR編碼器102實(shí)現(xiàn)的第一版本或第二版本的第三版本(例如，表示為“2.0”)的VDR規(guī)范相關(guān)聯(lián)?？梢允褂靡环N或更多種計(jì)算設(shè)備實(shí)現(xiàn)VDR編碼器202。
[0064]在示例實(shí)施方式中，VDR編碼器202被配置成接收(輸入)VDR信號(hào)204并且從VDR信號(hào)204獲得輸入VDR圖像。輸入VDR圖像可以包括支持高動(dòng)態(tài)范圍色域的輸入顏色空間中的高位深度(例如，10+位)圖像數(shù)據(jù)。
[0065]在一些實(shí)施方式中，如果輸入顏色空間不同于VDR編碼器202在其中執(zhí)行預(yù)測操作的映射顏色空間，則可以通過顏色空間轉(zhuǎn)換單元將輸入VDR圖像從輸入顏色空間變換至映射顏色空間。
[0066]在一種實(shí)施方式中，如圖2所不，VDR編碼器202被配置成接收(輸入)SDR信號(hào)208并且從SDR信號(hào)208獲得BL數(shù)據(jù)?；蛘?，VDR編碼器202被配置成將VDR-SDR (例如，色調(diào))映射應(yīng)用于輸入VDR圖像來獲得BL數(shù)據(jù)，而不是從SDR信號(hào)解碼BL數(shù)據(jù)。BL數(shù)據(jù)可以包括可以被優(yōu)化或不被優(yōu)化用于在SDR顯示器上查看的低位深度(例如，8位)圖像數(shù)據(jù)。與VDR編碼器202相關(guān)聯(lián)的BL數(shù)據(jù)可以類似于或不類似于如上面所討論的與VDR編碼器102相關(guān)聯(lián)的BL數(shù)據(jù)。
[0067]在一種實(shí)施方式中，VDR編碼器202或其中的基本層SDR編碼器(216)被配置成將BL數(shù)據(jù)編碼成基本層比特流228，其中該BL數(shù)據(jù)可以從SDR信號(hào)208獲得或者根據(jù)對(duì)從VDR信號(hào)204獲得的輸入VDR圖像進(jìn)行的映射操作獲得。
[0068]在一種實(shí)施方式中，可以根據(jù)同一圖像中的相鄰樣本(使用幀內(nèi)預(yù)測)或根據(jù)來自屬于相同的基本層的過去經(jīng)解碼的圖像的樣本(幀間預(yù)測)來預(yù)測由BL數(shù)據(jù)表示的媒體樣本。這些樣本可以存儲(chǔ)或緩存在(基本層的)參考圖片存儲(chǔ)214內(nèi)。
[0069]在一種實(shí)施方式中，VDR編碼器202被配置成基于BL數(shù)據(jù)樣本對(duì)與增強(qiáng)層相關(guān)的高位深度媒體樣本執(zhí)行層間預(yù)測?？梢詮囊环N或更多種存儲(chǔ)器緩沖區(qū)或其他形式的存儲(chǔ)器空間中的參考圖片存儲(chǔ)214中檢索BL數(shù)據(jù)樣本。在一些實(shí)施方式中，VDR解碼器202被設(shè)計(jì)成基于使用層間參考圖片和經(jīng)解碼的BL樣本的準(zhǔn)確預(yù)測算法執(zhí)行一種或更多種操作來不生成高位深度媒體樣本的殘差值(或，即使生成，殘差值也都為零)。因此，可以至少部分地基于層間參考圖片和經(jīng)解碼的BL樣本來準(zhǔn)確預(yù)測高位深度媒體樣本。
[0070]VDR編碼器202或其中的VDR RPU210可以被配置成生成用于生成要在增強(qiáng)層比特流224中傳送的EL數(shù)據(jù)(可以包括層間參考圖片)的編碼語法。編碼語法可以包括符合由VDR編碼器202支持的VDR規(guī)范的多個(gè)語法元素，并且可以包括但不限于下列項(xiàng)中任意項(xiàng):層間預(yù)測系數(shù)、色度重采樣濾波器系數(shù)、顏色空間變換指標(biāo)、其他VDR語法元素(例如，由VDR編碼器執(zhí)行以生成BL數(shù)據(jù)和EL數(shù)據(jù)等的函數(shù)和/或操作的標(biāo)志和描述符)等。
[0071]在一種實(shí)施方式中，RI3U處理模塊212被配置成基于編碼語法執(zhí)行一系列操作(可以包括但不僅限于與預(yù)測相關(guān)的那些操作)。例如，RPU處理模塊212可以執(zhí)行如編碼語法所指定的操作，例如，諸如SDR-VDR映射的逆色調(diào)映射、色度上采樣以及一種或更多種視頻數(shù)據(jù)處理操作(例如，濾波、插值、重新縮放等)。在一種實(shí)施方式中，RPU處理模塊212不生成殘差值(或者由于由VDR編碼器202或其中的RPU處理模塊212執(zhí)行的準(zhǔn)確預(yù)測操作而使得所有的殘差值為零)。在該實(shí)施方式中，由于增強(qiáng)層VDR編碼器220處理像素?cái)?shù)據(jù)，所以為了生成EL數(shù)據(jù)，RPU處理模塊212不執(zhí)行殘差非線性量化(NLQ)。因此，由VDR RPU210生成的編碼語法可以不具有與殘差非線性量化(NLQ)相關(guān)的參數(shù)。
[0072]在一種實(shí)施方式中，RPU處理模塊212被配置成基于編碼語法生成層間參考圖片。不需要對(duì)于每個(gè)輸入VDR圖像生成本文所描述的層間參考圖片；可以對(duì)于從VDR信號(hào)204獲得的一個(gè)或更多個(gè)連續(xù)的VDR圖像的序列生成層間參考圖片。來自層間參考圖片的媒體樣本可以被存儲(chǔ)或緩存在(增強(qiáng)層的)參考圖片存儲(chǔ)222內(nèi)。
[0073]在一種實(shí)施方式中，VDR編碼器202或其中的增強(qiáng)層編碼器(220)被配置成至少部分基于從VDR信號(hào)204獲得的層間參考圖片和/或輸入VDR圖像來將輸出EL信號(hào)編碼成增強(qiáng)層比特流224。
[0074]在一種實(shí)施方式中，VDR編碼器202或其中的VDR RPU (210)被配置成將作為RPU數(shù)據(jù)的至少一部分的編碼語法編碼成VDR RPU比特流226。
[0075]可以使用多種編解碼器如H.264/MPEG-4AVC、HEVC、MPEG-2、VP8、VC-l和/或其他中的一個(gè)或更多個(gè)來實(shí)現(xiàn)基本層編碼器(216)和增強(qiáng)層編碼器(220)中之一或兩者。
[0076]相應(yīng)的VDR解碼器(其實(shí)現(xiàn)圖2所示的逆數(shù)據(jù)流并且支持VDR編碼器202用于生成編碼語法的相同的VDR規(guī)范)可以用于對(duì)由第三版本的VDR編碼器202生成的比特流進(jìn)行解碼，并且生成輸入VDR圖像的重構(gòu)版本。
[0077]另外地、可選地或替代地，本文所描述的技術(shù)可以支持與VDR規(guī)范的其他版本對(duì)應(yīng)的VDR編解碼器(或編碼系統(tǒng))。[0078]3.RPU數(shù)據(jù)單元
[0079]在一些實(shí)施方式中，可以在多個(gè)網(wǎng)絡(luò)抽象層(NAL)數(shù)據(jù)單元中將由上游設(shè)備如VDR編碼器(例如，圖1的102或圖2的202)生成的RPU數(shù)據(jù)提供給下游設(shè)備。在一種實(shí)施方式中，如圖3所示，NAL數(shù)據(jù)單元包括NAL報(bào)頭和原始字節(jié)序列有效載荷(RBSP)。僅出于說明的目的，當(dāng)NAL數(shù)據(jù)單元中的RBSP用于封裝RPU數(shù)據(jù)時(shí)，可以將NAL報(bào)頭中的字段“NAL-unit-type”設(shè)置成25或不同于H.264/MPEG-4AVC規(guī)范(IS14496-10)中指定的那些NAL類型的其他標(biāo)識(shí)號(hào)。
[0080]在一些實(shí)施方式中，NAL數(shù)據(jù)單元的RBSP中的RPU數(shù)據(jù)包括RPU數(shù)據(jù)報(bào)頭和RPU數(shù)據(jù)有效載荷。RPU數(shù)據(jù)單元可以用作共用將RPU數(shù)據(jù)從上游設(shè)備遞送至下游設(shè)備的共用載體，其中RPU數(shù)據(jù)可以與多個(gè)VDR規(guī)范(例如，不同版本)中的任一規(guī)范相關(guān)聯(lián)。RPU數(shù)據(jù)報(bào)頭可以包括用于標(biāo)識(shí)(例如，3D編碼系統(tǒng)或VDR編碼器系統(tǒng)的)編解碼器或編碼系統(tǒng)類型以及多個(gè)不同的VDR規(guī)范中的具體VDR規(guī)范的報(bào)頭字段。RPU數(shù)據(jù)報(bào)頭還可以包括RPU數(shù)據(jù)單元中所攜帶的RPU數(shù)據(jù)的一個(gè)或更多個(gè)高級(jí)(例如，序列級(jí)或幀級(jí))部分。
[0081 ] RPU數(shù)據(jù)有效載荷可以用于由上游設(shè)備將可以用于對(duì)多層視頻信號(hào)進(jìn)行解碼和用于使用經(jīng)解碼的視頻信號(hào)來重構(gòu)VDR圖像的標(biāo)志集合的描述符(或語法描述)、操作和參數(shù)發(fā)送至下游設(shè)備。由RPU數(shù)據(jù)有效載荷所描述的用于重構(gòu)VDR圖像的一個(gè)或更多個(gè)標(biāo)志、操作和參數(shù)可以與層間預(yù)測有關(guān)。用于本文所描述的層間預(yù)測的標(biāo)志、操作和參數(shù)可以與逆映射、色度上采樣和其他功能如顯示管理中的一項(xiàng)或更多項(xiàng)有關(guān)。另外地、可選地或替代地，由RPU數(shù)據(jù)有效載荷所描述的用于重構(gòu)VDR圖像的一個(gè)或更多個(gè)標(biāo)志、操作和參數(shù)可以與層間預(yù)測附屬的，或甚至除了層間預(yù)測之外的數(shù)據(jù)處理有關(guān)。
[0082]圖4示出了示例實(shí)施方式中的RPU數(shù)據(jù)報(bào)頭的布局。在一個(gè)實(shí)施方式中，RI3U數(shù)據(jù)報(bào)頭包括多個(gè)報(bào)頭字段。僅出于說明的目的，報(bào)頭字段可以包括但不限于下列項(xiàng)中的任意項(xiàng):“ rpu_type ”、“ rpu_format ”、“ vdr_rpu_profi I e，，、“ vdr_rpu_l eve I，，、“ vdr 序列級(jí)信息”、“vdr幀級(jí)信息”等。
[0083]報(bào)頭字段“rpU_type”可以用于標(biāo)識(shí)RPU數(shù)據(jù)是否與3D編解碼器(例如，當(dāng)rpu_type = O或I)或VDR編解碼器(例如，當(dāng)rpu_type = 2)有關(guān)。報(bào)頭字段“rpu_type”可以用于適應(yīng)尚待開發(fā)的另外的新視頻編解碼器。報(bào)頭字段“rpU_f0rmat”可以用于標(biāo)識(shí)RPU數(shù)據(jù)與其有關(guān)的一個(gè)或更多個(gè)VDR版本。僅出于說明的目的，報(bào)頭字段“rpU_f0rmat”的最高有效位可以用于區(qū)分VDR編解碼器的主要區(qū)別，而同一字段的最低有效位可以用于區(qū)分VDR編解碼器的次要變化。例如，當(dāng)報(bào)頭字段“rpU_f0rmat”的最高有效位(例如，頂部3個(gè))為O時(shí)，則RPU數(shù)據(jù)與VDR版本1.X流程有關(guān)；另一方面，當(dāng)報(bào)頭字段“rpu_format”的最高有效位(例如，頂部3個(gè))為I時(shí)，則RPU數(shù)據(jù)與VDR版本2.0流程有關(guān)。
[0084]本文所描述的VDR編碼系統(tǒng)可以支持一種或更多種不同的RPU屬性。報(bào)頭字段“Vdr_rpU_pix)file”可以用于標(biāo)識(shí)RPU數(shù)據(jù)與其有關(guān)的屬性。例如，報(bào)頭字段的值O指示指定映射顏色空間YCbCr、映射色度格式4:2:0、多項(xiàng)式映射方法和全局唯一映射分區(qū)的基線屬性；報(bào)頭字段的值I指示指定所有映射顏色空間、所有映射色度格式、所有映射方法和全局唯一映射分區(qū)的主屬性；而報(bào)頭字段的值2指示指定所有映射顏色空間、所有映射色度格式、所有映射方法和局部可以映射分區(qū)(全局分區(qū)或局部分區(qū))的高屬性。在一些實(shí)施方式中，可以保留待由正在開發(fā)或尚待開發(fā)的新屬性使用的報(bào)頭字段“rpu_pix)file”的其他可能值。報(bào)頭字段“rpu_level”可以另外地和/或可選地用于進(jìn)一步地區(qū)分使用RPU數(shù)據(jù)執(zhí)行的RPU處理的復(fù)雜度的等級(jí)。
[0085]根據(jù)本文所描述的技術(shù)，包括符合VDR規(guī)范的一個(gè)或更多個(gè)語法元素的編碼語法可以由VDR編碼器以RPU比特流發(fā)送至/用信號(hào)通知給VDR解碼器。語法元素可以指定在VDR編碼操作和相應(yīng)的VDR解碼操作中使用的標(biāo)志、操作和參數(shù)。語法元素中表示的參數(shù)可以具有不同的系數(shù)類型，并且可以被指定為具有不同精度、不同長度或字長等的邏輯值、整數(shù)(固定點(diǎn))值或浮點(diǎn)值。
[0086]編碼語法中的一些語法元素可以被分類為對(duì)于完整序列的連續(xù)圖像保持不變的序列級(jí)信息。盡管應(yīng)當(dāng)注意相同的語法元素可以用作序列級(jí)或各種編碼語法中的不同等級(jí)，但是序列級(jí)信息的示例包括但不限于以下項(xiàng)語法元素中的任意項(xiàng):“chroma_sampIe_loc_type”、“vdr_color_p;rima;ries”、“vd;r_ch;roma_format_idc”等。如圖 4 所不，序列級(jí)信息被置于報(bào)頭字段“vdr序列級(jí)信息”中，其可以是復(fù)雜的字段并且進(jìn)而包括標(biāo)志vdr_seq_info_present_flag以指示是否直接使用一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元對(duì)任何具體的序列級(jí)信息進(jìn)行編碼或者是否根據(jù)先前的RPU數(shù)據(jù)來預(yù)測序列級(jí)信息。
[0087]在一些實(shí)施方式中，出于發(fā)送效率的原因，對(duì)于每個(gè)圖像(在本說明書的上下文中，其可以被互換地表示為幀)，可以不通過VDR編碼器將序列級(jí)信息發(fā)送至VDR解碼器。而是，可以對(duì)于每序列的連續(xù)幀發(fā)送一次序列級(jí)參數(shù)。然而，出于隨機(jī)存取、糾錯(cuò)和魯棒性的原因，本發(fā)明的實(shí)施方式不排除在同一序列內(nèi)一次、兩次等重復(fù)序列級(jí)參數(shù)。在一個(gè)示例中，在包括100個(gè)連續(xù)圖像的序列中，在10幀、25幀、50幀等的切片后，可以在序列內(nèi)重復(fù)序列級(jí)參數(shù)。在另一示例中，可以對(duì)于每個(gè)瞬時(shí)解碼刷新(IDR)圖片、每兩個(gè)IDR圖片等在序列內(nèi)重復(fù)序列級(jí)參數(shù)。
[0088]編碼語法中的一些語法元素可以被分類為對(duì)于全幀保持不變的幀級(jí)信息。在一些實(shí)施方式中，如圖4所示，幀級(jí)信息被置于報(bào)頭字段“vdr幀級(jí)信息”中。在一些實(shí)施方式中，可以根據(jù)在先的RPU數(shù)據(jù)單元中發(fā)送的幀級(jí)語法元素來預(yù)測一些或所有幀級(jí)信息。
[0089]例如，層間預(yù)測系數(shù)對(duì)于圖片組(GOP)、場景、一序列幀等可以相同或相似。因此，沒有必要對(duì)于每個(gè)幀重復(fù)幀級(jí)信息。對(duì)于具有相同RPU標(biāo)識(shí)符(Id)的一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元，VDR編碼器可以將RPU數(shù)據(jù)單元的RPU數(shù)據(jù)字段“vdr_rpu_id”中的RPUID(或標(biāo)識(shí)符)用信號(hào)通知給VDR解碼器，以指示在當(dāng)前RTO數(shù)據(jù)單元中直接對(duì)幀級(jí)信息進(jìn)行編碼(因此，在不參照由不同RPU ID標(biāo)識(shí)的先前RPU數(shù)據(jù)的情況下可以直接對(duì)幀級(jí)信息進(jìn)行檢索)。
[0090]在一些實(shí)施方式中，可以將一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元中的標(biāo)志“use_prev_vdr_rpu_flag”設(shè)置成向VDR解碼器指示應(yīng)當(dāng)重新使用或使用一個(gè)或更多個(gè)先前發(fā)送的RPU數(shù)據(jù)單元中的幀級(jí)信息用于預(yù)測與一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元有關(guān)的幀級(jí)信息?？梢栽谝粋€(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元中的RPU數(shù)據(jù)字段“prev_vdr_rpu_id”中標(biāo)識(shí)先前發(fā)送的RPU數(shù)據(jù)單元。因此，可以避免在一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元中發(fā)送可預(yù)測的幀級(jí)語法元素。在一些實(shí)施方式中，由于當(dāng)前RPU數(shù)據(jù)單元不直接攜帶經(jīng)編碼的幀級(jí)語法元素，因此還可以避免為當(dāng)前RPU數(shù)據(jù)單元分配RPU ID。最大數(shù)量的RPU ID以及他們相應(yīng)的幀級(jí)語法元素可以用于取決于比特流傳輸中的數(shù)據(jù)量減小與VDR解碼器處的內(nèi)存使用率增大之間的成本收益權(quán)衡的預(yù)測。[0091]在一些實(shí)施方式中，本文所描述的技術(shù)支持將圖像分成一個(gè)或更多個(gè)部分?？梢杂糜谥付ň幋a語法的一些語法元素可以被分類為幀級(jí)語法元素，而一些其他語法元素可以被分類為分區(qū)級(jí)語法元素。
[0092]4.RPU數(shù)據(jù)解碼一序列級(jí)和/或幀級(jí)
[0093]圖5示出了可以用于對(duì)來自RPU數(shù)據(jù)單元的序列級(jí)和/或幀級(jí)語法元素進(jìn)行解碼(或解析)的RPU解碼(或解析)處理。RPU解碼/解析處理可以被配置成接收一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元，并且從一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元的一個(gè)或更多個(gè)RPU數(shù)據(jù)報(bào)頭獲得至少一些語法元素。首先，RPU解碼/解析處理可以確定是否存在標(biāo)志“use_prev_Vdr_rpu_flag”，以及如果存在則確定該標(biāo)志(語法元素)的值是多少。
[0094]如果確定該標(biāo)志被設(shè)置為I (或“是”)，則RPU解碼/解析處理繼續(xù)進(jìn)行以從所接收的RPU數(shù)據(jù)單元解碼或解析出語法元素“prev_vdr_rpu_id”,其指向與一個(gè)或更多個(gè)先前發(fā)送的RPU數(shù)據(jù)單元中的先前發(fā)送的語法元素相關(guān)聯(lián)的預(yù)測器(或先前的)RPU ID?；陬A(yù)測器RPU ID, RPU解碼/解析處理可以使用預(yù)測器RPU ID作為鍵從指定的RPU數(shù)據(jù)緩存中檢索先前所發(fā)送的語法元素。該“use_prev_vdr_flag”被設(shè)置成1(或“是”)的處理路徑可以用于根據(jù)來自RPU數(shù)據(jù)緩存的相同等級(jí)的先前發(fā)送的語法元素來預(yù)測編碼語法的序列級(jí)、幀級(jí)和分區(qū)級(jí)的語法元素中的一些或全部。
[0095]另一方面，如果確定標(biāo)志“use_prev_vdr_rpu_flag”為O (或“否”)，則RPU解碼/解析處理進(jìn)行以從所接收的RPU數(shù)據(jù)單元解碼或解析出語法元素“vdr_rpU_id”，其被設(shè)置成分配給在一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元中直接編碼的語法元素的當(dāng)前RPU ID。僅出于說明的目的，這些語法元素可以包括但不限于:mapping_color_space”、“mapping_chroma—i dc，，、“ chroma—resampling—filter_idc，，、“num—pivots—minus2，，、“pred—pi vo t_value [] []，，、“nlq—method—idx，，、“nlq—num—pivots—minus2，，、“nlq—pred—pi vo t_value [][]，，、“enable—residual_spatial_upsampling—flag，，、“num—x—partit1n—minusl，，、“num—y—partit1n—minus I，，，“residual—resampling—filter」dc，，、“overlapped—predict 1n_method”等。應(yīng)當(dāng)注意的是，在各種實(shí)施方式中，不同的語法元素和/或語法元素的不同名稱可以被限定或用于實(shí)現(xiàn)本文所描述的技術(shù)。
[0096]這些語法元素中的一個(gè)或更多個(gè)可以是指示存在或不存在某些相應(yīng)操作的標(biāo)志。例如，標(biāo)志“use_prev_vdr_rpu_flag”指示存在或不存在根據(jù)先前的RPU ID的所緩存的語法元素預(yù)測 RPU數(shù)據(jù)的操作。類似地,標(biāo)志“enable_residual_spatial_upsampling_flag”可以指示在基于所接收的BL數(shù)據(jù)和EL數(shù)據(jù)重構(gòu)VDR圖像時(shí)是否應(yīng)當(dāng)執(zhí)行殘差重采樣濾波操作。指示符“chroma_resampling_filter_idc”可以指示在基于所接收的BL數(shù)據(jù)和EL數(shù)據(jù)重構(gòu)VDR圖像時(shí)應(yīng)當(dāng)使用哪個(gè)色度重采樣濾波器。在RPU解碼/解析處理本身中，這些標(biāo)志中的每個(gè)也可以用于確定是否應(yīng)當(dāng)采取特定的處理路徑。
[0097]RI3U類型和版本信息(其可以指示例如RPU數(shù)據(jù)是否與對(duì)應(yīng)的VDR規(guī)范的vl.X流程相關(guān)聯(lián)和/或是否VDR規(guī)范實(shí)現(xiàn)無殘差EL數(shù)據(jù))可以用于確定圖5所示的RPU解碼/解析處理中的一些處理路徑。
[0098]諸如語法兀素“num_x_partit1n_minusl” ^P<<num_y_partit1n_minusl的參數(shù)還可以用于確定RPU解碼/解析處理中的一些處理路徑。例如，如果兩個(gè)語法元素都具有零值，其指示全局唯一分區(qū)，則可以采取與全局唯一分區(qū)對(duì)應(yīng)的處理路徑。另一方面，如圖5所示，如果這些語法元素中的任意一個(gè)或兩者具有非零值，則可以采取不同的處理路徑。
[0099]5.RPU數(shù)據(jù)解碼一分區(qū)級(jí)
[0100]在一些實(shí)施方式中，在一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元(例如，一個(gè)或更多個(gè)RPU有效載荷)中，分區(qū)級(jí)語法元素可以由VDR編碼器發(fā)送至VDR解碼器。圖6示出了示例性實(shí)施方式中的可以用于從一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元解碼分區(qū)級(jí)語法元素的RI3U數(shù)據(jù)有效載荷解碼/解析處理。一個(gè)或更多個(gè)分區(qū)級(jí)語法元素可以與編碼語法有關(guān)，或可以用于編碼語法中來指定層間預(yù)測相關(guān)操作和/或其他處理操作。
[0101]在一些實(shí)施方式中，圖6的RPU數(shù)據(jù)有效載荷解碼/解析處理可以實(shí)現(xiàn)為函數(shù)“vdr_rpu_data_payload() ”,例如,其可以被圖5的RPU解碼/解析處理調(diào)用。
[0102]在一些實(shí)施方式中，對(duì)于沿圖像幀的X方向和I方向迭代的每個(gè)分區(qū)重復(fù)圖6的若干步驟。如圖6所示,首先對(duì)于每個(gè)分區(qū)可以調(diào)用函數(shù)“rpu_data_mapping(X, Y) ”來解碼對(duì)于多個(gè)不同VDR規(guī)范共用的分區(qū)級(jí)語法元素。隨后，可以解碼對(duì)于特定VDR規(guī)范而言更具體的語法元素。可以基于其他語法元素或例如已經(jīng)從一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元解碼的RPU信息來對(duì)更具體的語法元素進(jìn)行解碼。例如，基于⑴“rpU_f0rmat”字段和(2)從一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元的一個(gè)或更多個(gè)RPU數(shù)據(jù)報(bào)頭解碼的(版本號(hào)vl.X的VDR規(guī)范的)語法元素“mapping_chroma_idc”或(版本號(hào)ν2.x的VDR規(guī)范的)語法元素“vdr_chroma_format_idc” 和 “sdr_chroma_format_idc”，圖 6 的 RPU 數(shù)據(jù)有效載荷解碼 /解析處理可以確定是否應(yīng)對(duì)所接收的符合版本“vl.X”或“v2.X”的VDR規(guī)范的BL數(shù)據(jù)和EL數(shù)據(jù)執(zhí)行色度重采樣操作。
[0103]如果確定VDR規(guī)范為版本vl.X并且標(biāo)志“disable_residual_flag”為假,則可以對(duì)于每個(gè)分區(qū)調(diào)用RPU解碼/解析函數(shù)“rpu_data_nlq(x, y) ”。此外,如圖6所示，當(dāng)x分區(qū)索引和I分區(qū)索引兩者為零時(shí)，則還可以調(diào)用其他解碼/解析函數(shù)如幀級(jí)RPU解碼/解析函數(shù) “rpu_data_residual_resampling (X，y) ”。
[0104]在一些實(shí)施方式中，由VDR編碼系統(tǒng)實(shí)現(xiàn)的VDR規(guī)范支持色度重采樣、逆映射、基于預(yù)測的操作，基于預(yù)測的操作包括但不限于:基于重疊區(qū)域的預(yù)測、殘差非線性量化/去量化、殘差色度重采樣、空間縮放、數(shù)據(jù)處理(例如，分區(qū)的邊界區(qū)域的插值)等。
[0105]對(duì)于色度重采樣，VDR規(guī)范可以支持固定濾波器和顯式1D(2D可分離)濾波器和2D (非分離)濾波器兩者，或使用其他亮度或色度通道信息的濾波器(跨通道重采樣濾波器)等。語法元素“chroma_resampling_filter_idc”可以用于指定哪個(gè)上述濾波器作為編碼語法的一部分。根據(jù)本文所描述的技術(shù)，不同的色度通道可以使用不同的濾波器。另外地、可選地或替代地，顯式濾波器可以是對(duì)稱的或非對(duì)稱的。在一些實(shí)施方式中，本文所描述的一種或更多種濾波器可以被設(shè)計(jì)成將圖片邊界(圖像邊界)當(dāng)作濾波操作中的特殊情況。例如，濾波器可以通過重復(fù)(如圖6所示)或鏡像來簡單地填補(bǔ)圖片邊界。在一些實(shí)施方式中，本文所描述的一種或更多種濾波器被設(shè)計(jì)成跨不同分區(qū)執(zhí)行操作，或以相同的方式將分區(qū)邊界當(dāng)作圖片邊界。不同的色度重采樣濾波器可以用于同一圖像的不同分區(qū)。另外地、可選地或替代地，濾波器可以應(yīng)用于完整圖像的所有分區(qū)。另外地、可選地或替代地，可以為完整圖像指定特定類型的濾波器例如顯式的濾波器；然而，可以在不同分區(qū)的編碼語法中指定不同的系數(shù)。例如，可以在巾貞級(jí)用信號(hào)通知語法元素“chroma_resampling_filterjdc”來指示對(duì)于整個(gè)幀使用了特定類型的濾波器；然而，可以在分區(qū)級(jí)用信號(hào)通知幀內(nèi)的不同分區(qū)的不同濾波器系數(shù)。另外地、可選地或替代地，可以直接對(duì)分區(qū)級(jí)濾波器系數(shù)進(jìn)行編碼，根據(jù)當(dāng)前RPU ID從一個(gè)或更多個(gè)先前的分區(qū)預(yù)測分區(qū)級(jí)濾波器系數(shù)，或者根據(jù)先前RPU ID從一個(gè)或更多個(gè)RPU數(shù)據(jù)單元中的一個(gè)或更多個(gè)分區(qū)中預(yù)測分區(qū)級(jí)濾波器系數(shù)?？梢詫?duì)本文所描述的系數(shù)進(jìn)行非差分編碼或差分編碼(例如，包括關(guān)于不同分區(qū)、圖像或色度通道的值的差分值)。色度重采樣濾波器也應(yīng)當(dāng)考慮色度采樣位置。
[0106]對(duì)VDR分層編解碼器而言，逆映射可以起重要的作用。本文所描述的VDR規(guī)范可以支持各種逆映射方法。逆映射方法的示例包括但不僅限于以下中的任意項(xiàng):位移(bit-shift)、多項(xiàng)式、MMR, SOPUD LUT、曲線擬合等。圖8所示的解碼/解析函數(shù)“rpu_data_mapping() ”可以用于對(duì)與所指定的顏色空間中的每個(gè)顏色分量(亮度分量或色度分量)的逆映射有關(guān)的語法元素進(jìn)行解碼(或解析)。語法元素“syntaXmapping_idc”可以用于指示選擇了哪個(gè)逆映射方法。由于圖像的不同區(qū)域可以包含不同的視覺內(nèi)容，因此VDR規(guī)范可以允許不同分區(qū)(例如，不同區(qū)域)使用不同的映射方法。圖像的每個(gè)通道的動(dòng)態(tài)范圍可以被劃分成不同段(或塊)并且每個(gè)動(dòng)態(tài)范圍段可以使用不同的映射方法。此外，每個(gè)不同分區(qū)中的每個(gè)動(dòng)態(tài)范圍可以使用不同的映射方法。這種方法可以用于逆映射，在逆映射中圖像的媒體內(nèi)容的中間動(dòng)態(tài)范圍是線性的并且可以使用線性映射進(jìn)行處理，而暗亮范圍是非線性的并且應(yīng)當(dāng)使用相對(duì)復(fù)雜的映射方法進(jìn)行處理。在一種實(shí)施方式中，語法pivot_value用來指示動(dòng)態(tài)范圍段。另外地、可選地或替代地，映射主元值可以被差分編碼(例如，由語法元素“pred_piVOt_ValUe”指示的)，或者以用信號(hào)通知給下游VDR解碼器的一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元的編碼語法直接編碼。
[0107]在一些實(shí)施方式中，圖像的多個(gè)分區(qū)中的至少一個(gè)可以使用多個(gè)不同的動(dòng)態(tài)范圍段。在一些實(shí)施方式中，圖像的所有分區(qū)中的不同動(dòng)態(tài)范圍段的數(shù)量的最大者被確定或被設(shè)置為低于界限。在一些實(shí)施方式中，盡管不同分區(qū)中的動(dòng)態(tài)范圍可能可選地不同，但是圖像的所有分區(qū)保持相同的數(shù)量的不同動(dòng)態(tài)范圍段。
[0108]對(duì)于線性映射，可以由VDR編碼器使用編碼語法中的一個(gè)或更多個(gè)語法元素來將多項(xiàng)式系數(shù)用信號(hào)通知下游VDR解碼器?；蛘?，編碼語法中的一個(gè)或更多個(gè)語法元素可以用于用信號(hào)通知經(jīng)映射的主元值用于在每個(gè)動(dòng)態(tài)范圍段中內(nèi)插像素?？梢允褂谜Z法元素(或標(biāo)志)“l(fā)inear_interp_flag”來用信號(hào)通知映射主元值的存在。在一個(gè)示例中,可以用信號(hào)通知ID LUT中數(shù)據(jù)點(diǎn)的一些值或全部值。在另一示例中，可以使用被用信號(hào)通知給下游VDR解碼器的映射的主元值基于插值來創(chuàng)建ID LUT中的至少一些值。
[0109]用于分區(qū)的動(dòng)態(tài)范圍映射(例如，色調(diào)映射)的系數(shù)可以被直接編碼，或替代地根據(jù)從相同的RPU數(shù)據(jù)單元獲得的相鄰分區(qū)中的映射動(dòng)態(tài)范圍段對(duì)其進(jìn)行預(yù)測。另外地、可選地或替代地，可以根據(jù)從先前的RPU數(shù)據(jù)單元獲得的映射塊的分區(qū)中的映射動(dòng)態(tài)范圍段來預(yù)測分區(qū)的系數(shù)。例如，可以根據(jù)從先前的RPU數(shù)據(jù)單元獲得的相同分區(qū)中的映射動(dòng)態(tài)范圍段來預(yù)測分區(qū)的系數(shù)。
[0110]本文所描述的技術(shù)支持使用不同于編碼顏色空間(可以以序列級(jí)信息例如以RPU數(shù)據(jù)報(bào)頭用信號(hào)通知)的映射顏色空間(例如，由語法元素“mapping_color_space”指示)。例如，編碼顏色空間可以是YCbCr，而映射顏色空間可以是RGB。其他類型的顏色空間可以用作編碼空間或映射空間的選擇。對(duì)于不同的分區(qū)，映射顏色空間可以不同。或者，映射顏色空間可以對(duì)于所有的分區(qū)相同。對(duì)于映射顏色空間的不同通道，映射方法和元數(shù)據(jù)可以不同?；蛘?，映射方法和元數(shù)據(jù)可以對(duì)于映射顏色空間的全部通道相同。在圖像中使用多個(gè)分區(qū)的實(shí)施方式中，有可能存在沿分區(qū)邊界的不連續(xù)性。在一種實(shí)施方式中，編碼語法可以用于用信號(hào)通知邊界映射方法，要通過以下方式執(zhí)行該邊界映射方法:通過對(duì)像素值或顏色值的基于加權(quán)的平均和/或通過使用線性或非線性方法融合分區(qū)邊界來簡單地平滑分區(qū)邊界。在一種實(shí)施方式中，編碼語法中的語法元素“overlapped_predict1n_method”可以至少部分地用于用信號(hào)通知邊界映射方法。
[0111]6.RPU數(shù)據(jù)解碼一色度映射
[0112]圖7示出了 一個(gè)示例實(shí)施方式中的可以用于對(duì)與色度重采樣有關(guān)的語法元素進(jìn)行解碼(或解析)的RPU數(shù)據(jù)解碼(或解析)操作(例如，以rpU_data_Chix)ma_resamplingO函數(shù)的形式)。這些語法元素可以但不僅要求處于分區(qū)級(jí)。RPU數(shù)據(jù)編碼操作可以被實(shí)現(xiàn)為例如可以由圖6的解碼/解析處理調(diào)用的解碼/解析函數(shù)。在對(duì)于整個(gè)圖像來說映射顏色空間相同的實(shí)施方式中，圖7所示的語法元素可以可選地在編碼語法中呈現(xiàn)為幀級(jí)語法元素。
[0113]在一些實(shí)施方式中，在分段映射操作中涉及的多個(gè)段可以對(duì)于所有分區(qū)保持相同?？梢詫⑴c插值有關(guān)的一些語法元素在編碼語法中呈現(xiàn)為幀級(jí)語法元素，而將與插值有關(guān)的其他一些語法元素在編碼語法中呈現(xiàn)為分區(qū)級(jí)語法元素。
[0114]如圖7所示，“rpu_data_chroma_resampling() ”解碼/解析函數(shù)可以對(duì)顏色空間中的多個(gè)顏色分量進(jìn)行解碼。針對(duì)每個(gè)顏色分量，可以重復(fù)若干步驟。
[0115]如果顏色分量的標(biāo)志指示使用先前分區(qū)濾波系數(shù)，則解碼/解析函數(shù)“rpu_data_Ch1ma_reSampling()”繼續(xù)進(jìn)行以獲得顏色分量的預(yù)測器分區(qū)信息。預(yù)測器分區(qū)信息可以包括從先前的RPU ID的緩存的語法元素獲得的分區(qū)濾波系數(shù)，或者從來自一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元的一個(gè)或更多個(gè)其他分區(qū)的已經(jīng)解碼的語法元素獲得的分區(qū)濾波系數(shù)。
[0116]另一方面，如果顏色分量的標(biāo)志指示沒有使用先前分區(qū)濾波器系數(shù)，則解碼/解析函數(shù)“rpu_data_chroma_resampling() ”繼續(xù)進(jìn)行以從一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元獲得分區(qū)濾波器系數(shù)。這些系數(shù)可以與2D顯式濾波器、ID垂直顯式濾波器、ID水平顯式濾波器等有關(guān)。
[0117]如同動(dòng)態(tài)范圍映射中使用的系數(shù)，可以替代地根據(jù)從相同的一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元獲得的相鄰分區(qū)中的相似系數(shù)來預(yù)測分區(qū)的色度重采樣或色度映射中的系數(shù)。另外地、可選地或替代地，根據(jù)從一個(gè)或更多個(gè)先前發(fā)送的RPU數(shù)據(jù)單元獲得的映射塊的分區(qū)中的相似系數(shù)可以預(yù)測分區(qū)的系數(shù)。例如，根據(jù)從一個(gè)或更多個(gè)先前所發(fā)送的RPU數(shù)據(jù)單元獲得的相同分區(qū)中的相似系數(shù)可以預(yù)測分區(qū)的系數(shù)。
[0118]7.RPU數(shù)據(jù)解碼的另外示例
[0119]圖9示出了示例實(shí)施方式中的對(duì)與分區(qū)級(jí)中非線性量化/去量化有關(guān)的語法元素進(jìn)行解碼(或解析)的RPU數(shù)據(jù)解碼(或解析)操作(例如，以rpU_data_nlq()函數(shù)的形式)。具體的VDR規(guī)范可以支持非線性量化/去量化。非線性量化/去量化的示例可以包括但不僅限于下列項(xiàng)中的任意項(xiàng):那些基于線性盲區(qū)、μ律曲線、拉普拉斯算子曲線、S形曲線等的非線性量化/去量化?？梢栽谡Z法元素“nlqjnethocLidc”中將非線性量化/去量化的具體方法用信號(hào)通知給下游VDR解碼器。在一種實(shí)施方式中，對(duì)于圖像的所有分區(qū)可以使用相同的方法(例如，語法元素“nlqjnethocLidc”可以作為RI3U數(shù)據(jù)報(bào)頭中的幀級(jí)別信息的一部分用信號(hào)通知)；然而，對(duì)于不同的分區(qū)，方法的系數(shù)可以相同或可以不同。非線性量化/去量化中涉及的數(shù)據(jù)范圍可以被劃分成多段；不同段可以具有相同方法的不同系數(shù)。
[0120]如同其他操作中所使用的其他系數(shù)，分區(qū)的非線性量化/去量化中的系數(shù)可以直接被編碼，或者根據(jù)從相同RPU數(shù)據(jù)單元獲得的相鄰分區(qū)中的相同系數(shù)對(duì)其進(jìn)行預(yù)測。另外地、可選地或替代地，可以根據(jù)從先前RI3U數(shù)據(jù)單元獲得的映射塊的分區(qū)中的相似系數(shù)來預(yù)測分區(qū)的系數(shù)。例如，可以根據(jù)從先前RPU數(shù)據(jù)單元獲得的相同分區(qū)中的相似系數(shù)來預(yù)測分區(qū)的系數(shù)。
[0121]在一些實(shí)施方式中，符合具體VDR規(guī)范的編碼語法可以指定要對(duì)殘差數(shù)據(jù)執(zhí)行的色度重采樣和/或空間上采樣(例如，1:2)。在一些實(shí)施方式中，以與上面所討論的色度重采樣濾波器有關(guān)的操作的處理方式相類似的方式在編碼語法中處理對(duì)殘差數(shù)據(jù)執(zhí)行的操作。
[0122]在一些實(shí)施方式中，不同的色度格式用于以BL信號(hào)和EL信號(hào)編碼的圖像數(shù)據(jù)。例如，BL信號(hào)可以使用與EL信號(hào)所使用的不同的色度格式、不同的色度采樣和不同的位深度。另外地、可選地或替代地，BL信號(hào)和EL信號(hào)可以使用不同的顏色空間。
[0123]本文所描述的技術(shù)支持色度重采樣、顏色空間變換和逆映射中的不同處理順序。在一些實(shí)施方式中，VDR編碼系統(tǒng)可以支持多個(gè)可能的處理順序中的一個(gè)、兩個(gè)或更多個(gè)。由VDR編碼系統(tǒng)支持的一個(gè)或多于一個(gè)處理順序可以被視為最佳。例如,在VDR編碼器(例如，圖2的202)的輸出比特流(例如，圖2的BL比特流228和EL比特流224)中的BL數(shù)據(jù)和EL數(shù)據(jù)兩者的編碼顏色空間是由VDR規(guī)范指定的YCbCr ;映射顏色空間可以是RGB ；輸入SDR信號(hào)(例如，圖2的208)是YCbCr4:2:0 ;輸入VDR信號(hào)(例如，圖2的204)是RGB4:4:412位。在該示例中，可以如下生成層間參考數(shù)據(jù)。首先，VDR編碼器對(duì)從輸入SDR信號(hào)獲得的BL數(shù)據(jù)執(zhí)行從4:2:0到4:4:4的色度重采樣。接下來，可以對(duì)BL數(shù)據(jù)(現(xiàn)在以4:4:4的色度格式)執(zhí)行從YCbCr到RGB的顏色變換?？梢栽谟成漕伾臻g中對(duì)BL數(shù)據(jù)(現(xiàn)在以4:4:4的色度格式和與映射顏色空間中相同的映射顏色空間)執(zhí)行逆映射來在映射顏色空間中生成層間預(yù)測值。出于生成EL數(shù)據(jù)的目的，可以對(duì)層間預(yù)測值執(zhí)行從RGB到Y(jié)CbCr的顏色變換。
[0124]8.示例處理流
[0125]圖10示出了示例實(shí)施方式中的根據(jù)RPU數(shù)據(jù)對(duì)編碼語法進(jìn)行解碼的VDR解碼器。編碼語法可以符合特定的VDR規(guī)范，其可以是例如圖1的VDR編碼器102所支持的第一版本(“1.0”)或第二版本(“1.x”)。VDR解碼器可以被配置成根據(jù)編碼語法對(duì)BL數(shù)據(jù)、EL數(shù)據(jù)、RPU數(shù)據(jù)、層間預(yù)測數(shù)據(jù)和中間媒體數(shù)據(jù)執(zhí)行解碼操作?？梢允褂靡环N或更多種計(jì)算裝置、自定義和/或現(xiàn)成的硬件設(shè)備、可編程器件、上述項(xiàng)的任意組合等來實(shí)現(xiàn)圖10的VDR解碼器。
[0126]在一些實(shí)施方式中，圖10的VDR解碼器可以實(shí)現(xiàn)圖5至圖9所示的一種或更多種解碼/解析處理以獲得編碼語法以及其中的語法元素。圖10的VDR解碼器可以將解碼操作應(yīng)用于BL數(shù)據(jù)、EL數(shù)據(jù)和RPU數(shù)據(jù)以構(gòu)造與例如由VDR編碼器(例如，圖1的102)編碼的輸入VDR圖像相對(duì)應(yīng)的輸出VDR圖像。
[0127]圖1lA示出了根據(jù)本發(fā)明的示例實(shí)施方式的示例處理流。在一些示例實(shí)施方式中，一個(gè)或更多個(gè)計(jì)算裝置或部件可以執(zhí)行該處理流。在框1102中，多層VDR視頻編碼器(例如，圖1的102或圖2的202)接收輸入視覺動(dòng)態(tài)范圍(VDR)圖像以及與該輸入VDR圖像相關(guān)聯(lián)的輸入基本層(BL)圖像。
[0128]在框1104中，多層VDR視頻編碼器生成包括序列級(jí)、幀級(jí)或分區(qū)級(jí)的多個(gè)語法元素的編碼語法。
[0129]在框1106中，多層VDR視頻編碼器根據(jù)編碼語法將輸入BL圖像和輸入VDR圖像轉(zhuǎn)換成BL數(shù)據(jù)和增強(qiáng)層(EL)數(shù)據(jù)。
[0130]在框1108中，多層VDR視頻編碼器將編碼語法轉(zhuǎn)換成參考處理單元(RPU)數(shù)據(jù)。
[0131]在框1110中，多層VDR視頻編碼器以BL信號(hào)、EL信號(hào)、RPU信號(hào)輸出BL數(shù)據(jù)、EL數(shù)據(jù)和RPU數(shù)據(jù)。
[0132]在一種實(shí)施方式中，多層VDR視頻編碼器還被配置成執(zhí)行:至少部分地基于編碼語法生成一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元；以及在一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元中確定編碼語法符合的具體VDR規(guī)范。
[0133]在一種實(shí)施方式中，一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元中的至少一個(gè)包括能夠支持多個(gè)不同的VDR規(guī)范中的任意一個(gè)的數(shù)據(jù)結(jié)構(gòu)。
[0134]在一種實(shí)施方式中，多層VDR視頻編碼器還被配置成執(zhí)行:在一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元中指示根據(jù)一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元中的一個(gè)或更多個(gè)其他分區(qū)可預(yù)測的編碼語法中的多個(gè)語法元素中的至少一個(gè)語法元素。
[0135]在一種實(shí)施方式中，多層VDR視頻編碼器還被配置成執(zhí)行:在一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元中指示根據(jù)先前輸入VDR圖像和與先前輸入VDR圖像相關(guān)聯(lián)的先前輸入BL圖像的一個(gè)或更多個(gè)先前RPU數(shù)據(jù)單元可預(yù)測的編碼語法中的多個(gè)語法元素中的至少一個(gè)語法元素。
[0136]在一種實(shí)施方式中，輸入VDR圖像和先前輸入VDR圖像屬于輸入VDR圖像序列；該輸入VDR圖像序列共享序列級(jí)的語法元素的共用集合。
[0137]在一種實(shí)施方式中，輸入VDR圖像和先前輸入VDR圖像屬于兩個(gè)不同的輸入VDR圖像序列；兩個(gè)不同的輸入VDR圖像序列中的第一序列共享序列級(jí)的語法元素的第一共用集合；兩個(gè)不同的輸入VDR圖像序列中的第二序列共享序列級(jí)的語法元素的不同的第二共
用集合。
[0138]在一種實(shí)施方式中，多個(gè)語法元素中的至少一個(gè)語法元素可用作序列級(jí)、幀級(jí)或分區(qū)級(jí)中的兩個(gè)或更多個(gè)的語法元素。
[0139]在一種實(shí)施方式中，BL數(shù)據(jù)表示被優(yōu)化用于在SDR顯示器上查看的標(biāo)準(zhǔn)動(dòng)態(tài)范圍(SDR)圖像。在一種實(shí)施方式中，BL數(shù)據(jù)不表示被優(yōu)化用于在SDR顯示器上查看的標(biāo)準(zhǔn)動(dòng)態(tài)范圍(SDR)圖像。
[0140]在一種實(shí)施方式中，EL數(shù)據(jù)包括輸入VDR圖像與基于BL數(shù)據(jù)生成的預(yù)測VDR圖像之間的殘差值。在一種實(shí)施方式中，EL數(shù)據(jù)包括輸入VDR圖像序列中的兩個(gè)或更多個(gè)輸入VDR圖像的層間參考圖片；兩個(gè)或更多個(gè)輸入VDR圖像包括輸入VDR圖像。
[0141]在一種實(shí)施方式中，多個(gè)語法元素包括一個(gè)或更多個(gè)參數(shù)、系數(shù)、主元值、指示存在或不存在與標(biāo)志對(duì)應(yīng)的操作的標(biāo)志、或包括顯示管理元數(shù)據(jù)的一個(gè)或更多個(gè)類型的元數(shù)據(jù)。[0142]在一種實(shí)施方式中，輸入VDR圖像包括在輸入顏色空間中編碼的圖像數(shù)據(jù)；EL數(shù)據(jù)包括在輸出顏色空間中編碼的圖像數(shù)據(jù)；至少部分地基于映射數(shù)據(jù)生成EL數(shù)據(jù)；至少部分地基于BL數(shù)據(jù)生成映射數(shù)據(jù)；并且映射數(shù)據(jù)包括在映射顏色空間中編碼的映射圖像數(shù)據(jù)。
[0143]在一種實(shí)施方式中,輸入顏色空間、輸出顏色空間、和映射顏色空間中的至少兩種不同。在一種實(shí)施方式中，輸入顏色空間、輸出顏色空間、和映射顏色空間中的至少兩種相同。
[0144]在一種實(shí)施方式中，EL數(shù)據(jù)包括以第一色度格式編碼的圖像數(shù)據(jù)，BL數(shù)據(jù)包括以不同的第二色度格式編碼的圖像數(shù)據(jù)。在一種實(shí)施方式中，EL數(shù)據(jù)包括以色度格式編碼的圖像數(shù)據(jù)；BL數(shù)據(jù)包括以相同色度格式編碼的圖像數(shù)據(jù)。
[0145]在一種實(shí)施方式中，多個(gè)語法元素用信號(hào)通知下列操作中的一個(gè)或更多個(gè):色度重采樣操作、逆映射操作、基于非重疊區(qū)域的預(yù)測操作、基于重疊區(qū)域的預(yù)測操作、殘差非線性量化和去量化操作、殘差色度重采樣操作、空間縮放操作、包括插值的數(shù)據(jù)處理操作、或顯示管理操作。
[0146]在一種實(shí)施方式中，多層VDR視頻編碼器還被配置成執(zhí)行:將使用一個(gè)或更多個(gè)輸入視頻信號(hào)表示、接收、發(fā)送或存儲(chǔ)的一個(gè)或更多個(gè)輸入VDR圖像轉(zhuǎn)換成使用一個(gè)或更多個(gè)輸出視頻信號(hào)表示、接收、發(fā)送或存儲(chǔ)的一個(gè)或更多個(gè)輸出VDR圖像
[0147]在一種實(shí)施方式中，輸入VDR圖像包括以下列項(xiàng)之一編碼的圖像數(shù)據(jù):高動(dòng)態(tài)范圍(HDR)圖像格式、與電影藝術(shù)和科學(xué)研究院(AMPAS)的學(xué)院顏色編碼規(guī)范(ACES)標(biāo)準(zhǔn)相關(guān)聯(lián)的RGB顏色空間、數(shù)字影院倡導(dǎo)聯(lián)盟的P3顏色空間標(biāo)準(zhǔn)、參考輸入媒體度量/參考輸出媒介度量(RIMM/ROMM)標(biāo)準(zhǔn)、sRGB顏色空間、RGB顏色空間或YCbCr顏色空間。
[0148]圖1lB示出了根據(jù)本發(fā)明的示例實(shí)施方式的示例處理流。在一些示例實(shí)施方式中，一個(gè)或更多個(gè)計(jì)算設(shè)備或硬件部件可以執(zhí)行該處理流。在框1152中，多層視頻解碼器(例如，如圖10所示)以基本層(BL)信號(hào)、增強(qiáng)層(EL)信號(hào)和參考處理單元(RPU)信號(hào)接收BL數(shù)據(jù)、EL數(shù)據(jù)和RPU數(shù)據(jù)，BL數(shù)據(jù)、EL數(shù)據(jù)和RPU數(shù)據(jù)與共用視覺動(dòng)態(tài)范圍(VDR)源圖像相關(guān)聯(lián)。
[0149]在框1154中，多層視頻解碼器將RPU數(shù)據(jù)解碼成包括序列級(jí)、幀級(jí)或分區(qū)級(jí)的多個(gè)語法元素的編碼語法。
[0150]在框1156中，多層視頻解碼器根據(jù)編碼語法將BL數(shù)據(jù)和EL數(shù)據(jù)轉(zhuǎn)換成重構(gòu)的VDR圖像。
[0151]在框1158中，多層視頻解碼器輸出重構(gòu)的VDR圖像。
[0152]在一種實(shí)施方式中，多層視頻解碼器還被配置成執(zhí)行:從一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元確定編碼語法符合的具體VDR規(guī)范；以及從一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元獲得編碼語法的至少一部分。
[0153]在一種實(shí)施方式中，多層視頻解碼器還被配置成執(zhí)行:從一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元確定能夠根據(jù)一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元中的一個(gè)或更多個(gè)其他分區(qū)來預(yù)測的編碼語法中的多個(gè)語法元素中的至少一個(gè)語法元素。
[0154]在一種實(shí)施方式中，多層視頻解碼器還被配置成執(zhí)行:從一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元確定能夠根據(jù)與先前重構(gòu)的VDR圖像有關(guān)的一個(gè)或更多個(gè)先前RPU數(shù)據(jù)單元來預(yù)測的編碼語法中的多個(gè)語法元素中的至少一個(gè)語法元素。
[0155]在一種實(shí)施方式中，重構(gòu)的VDR圖像和先前重構(gòu)的VDR圖像屬于重構(gòu)的VDR圖像的序列；重構(gòu)的VDR圖像的序列共享序列級(jí)的語法元素的共用集合。
[0156]在一種實(shí)施方式中，重構(gòu)的VDR圖像和先前重構(gòu)的VDR圖像屬于兩個(gè)不同的重構(gòu)VDR圖像序列；兩個(gè)不同的重構(gòu)VDR圖像序列中的第一序列共享序列級(jí)的語法元素的第一共用集合；以及兩個(gè)不同的重構(gòu)VDR圖像序列中的第二序列共享序列級(jí)的語法元素的不同的第二共用集合。
[0157]在一種實(shí)施方式中，EL數(shù)據(jù)包括重構(gòu)的VDR圖像的序列中的兩個(gè)或更多個(gè)重構(gòu)的VDR圖像的層間參考圖片，并且兩個(gè)或更多個(gè)重構(gòu)的VDR圖像包括重構(gòu)的VDR圖像。
[0158]在一種實(shí)施方式中，重構(gòu)的VDR圖像包括在第一顏色空間中編碼的圖像數(shù)據(jù)；EL數(shù)據(jù)包括在第二顏色空間中編碼的圖像數(shù)據(jù)；至少部分地基于從BL數(shù)據(jù)獲得的映射數(shù)據(jù)來生成重構(gòu)的VDR圖像；并且映射數(shù)據(jù)包括在第三顏色空間中編碼的映射圖像數(shù)據(jù)。
[0159]在一種實(shí)施方式中，第一顏色空間、第二顏色空間和第三顏色空間中的至少兩個(gè)不同。在一種實(shí)施方式中，第一顏色空間、第二顏色空間和第三顏色空間中的至少兩個(gè)相同。
[0160]在一種實(shí)施方式中，多層視頻解碼器還被配置成執(zhí)行:將使用一個(gè)或更多個(gè)輸入視頻信號(hào)表示、接收、發(fā)送或存儲(chǔ)的圖像數(shù)據(jù)轉(zhuǎn)換成使用一個(gè)或更多個(gè)輸出視頻信號(hào)表示、接收、發(fā)送或存儲(chǔ)的一個(gè)或更多個(gè)輸出VDR圖像。
[0161]在一種實(shí)施方式中，重構(gòu)的VDR圖像包括以下列項(xiàng)之一編碼的圖像數(shù)據(jù):高動(dòng)態(tài)范圍(HDR)圖像格式、與電影藝術(shù)和科學(xué)研究院(AMPAS)的學(xué)院顏色編碼規(guī)范(ACES)標(biāo)準(zhǔn)相關(guān)聯(lián)的RGB顏色空間、數(shù)字影院倡導(dǎo)聯(lián)盟的P3顏色空間標(biāo)準(zhǔn)、參考輸入媒體度量/參考輸出媒介度量(RIMM/ROMM)標(biāo)準(zhǔn)、sRGB顏色空間、RGB顏色空間或YCbCr顏色空間。
[0162]在各種示例性實(shí)施方式中，編碼器、解碼器、系統(tǒng)、裝置或一個(gè)或更多個(gè)其他計(jì)算設(shè)備執(zhí)行所描述的上述方法中的任意方法或部分。
[0163]9.實(shí)現(xiàn)機(jī)制一硬件概述
[0164]根據(jù)一種實(shí)施方式，可以通過一個(gè)或更多個(gè)專用計(jì)算設(shè)備來實(shí)現(xiàn)本文所描述的技術(shù)。專用計(jì)算設(shè)備可以被硬連接來執(zhí)行技術(shù)，或者可以包括數(shù)字電子設(shè)備如永久被編程來執(zhí)行本技術(shù)的一個(gè)或更多個(gè)專用集成電路(ASIC)或現(xiàn)場可編程門陣列(FPGA)，或者可以包括被編程成依照固件、存儲(chǔ)器、其他存儲(chǔ)裝置或組合中的程序指令來執(zhí)行本技術(shù)的一個(gè)或更多個(gè)通用硬件處理器。這種專用計(jì)算設(shè)備也可以將自定義的硬布線邏輯、ASIC或FPGA與自定義編程組合來完成這些技術(shù)。專用計(jì)算設(shè)備可以是臺(tái)式計(jì)算機(jī)系統(tǒng)、便攜式計(jì)算機(jī)系統(tǒng)、手持設(shè)備、網(wǎng)絡(luò)設(shè)備或合并硬連線和/或程序邏輯來實(shí)現(xiàn)本技術(shù)的任何其他設(shè)備。
[0165]例如，圖12是示出計(jì)算機(jī)系統(tǒng)1200的框圖，可以在計(jì)算機(jī)系統(tǒng)1200上實(shí)現(xiàn)本發(fā)明的示例實(shí)施方式。計(jì)算機(jī)系統(tǒng)1200包括總線1202或用于傳送信息的其他通信機(jī)制，以及與總線1202耦合用于處理信息的硬件處理器1204。硬件處理器1204可以是例如通用微處理器。
[0166]計(jì)算機(jī)系統(tǒng)1200還包括耦合至總線1202的主存儲(chǔ)器1206如隨機(jī)存取存儲(chǔ)器(RAM)或其他動(dòng)態(tài)存儲(chǔ)設(shè)備，用于存儲(chǔ)信息和要由處理器1204執(zhí)行的指令。主存儲(chǔ)器1206還可以用于存儲(chǔ)在執(zhí)行要由處理器1204執(zhí)行的指令期間的臨時(shí)變量或其他中間信息。這種指令當(dāng)被存儲(chǔ)在可由處理器1204訪問的非暫態(tài)存儲(chǔ)介質(zhì)中時(shí)使計(jì)算機(jī)系統(tǒng)1200呈現(xiàn)為被定制成執(zhí)行指令中所指定的操作的專用機(jī)器。
[0167]計(jì)算機(jī)系統(tǒng)1200還包括用于存儲(chǔ)處理器1204的靜態(tài)信息和指令的、耦合至總線1202的只讀存儲(chǔ)器(ROM) 1208或其他靜態(tài)存儲(chǔ)裝置。提供了存儲(chǔ)裝置1210如磁盤或光盤并且其耦合至總線1202用于存儲(chǔ)信息和指令。
[0168]計(jì)算機(jī)系統(tǒng)1200可以經(jīng)由總線1202耦合至顯示器1212如液晶顯示器，用于向計(jì)算機(jī)用戶顯示信息。包括字母數(shù)字和其他鍵的輸入裝置1214耦合至總線1202用于將信息和命令選擇傳送至處理器1204。另一種類型的用戶輸入裝置是光標(biāo)控制1216如鼠標(biāo)、軌跡球或光標(biāo)方向鍵，用于將方向信息和命令選擇傳送至處理器1204以及用于控制顯示器1212上的光標(biāo)移動(dòng)。該輸入裝置通常具有兩個(gè)軸——第一軸(例如，x)和第二軸(例如，y)——上的兩個(gè)自由度，使得該裝置能夠指定平面中的位置。
[0169]計(jì)算機(jī)系統(tǒng)1200可以使用以下項(xiàng)來實(shí)現(xiàn)本文所描述技術(shù):定制的硬布線邏輯、一個(gè)或更多個(gè)ASIC或FPGA、結(jié)合計(jì)算機(jī)系統(tǒng)使計(jì)算機(jī)系統(tǒng)1200或?qū)⒂?jì)算機(jī)系統(tǒng)1200編程為專用機(jī)器的固件和/或程序邏輯。根據(jù)一種實(shí)施方式，響應(yīng)于處理器1204執(zhí)行主存儲(chǔ)器1206中包括的一個(gè)或更多個(gè)指令的一個(gè)或更多個(gè)序列，計(jì)算機(jī)系統(tǒng)1200執(zhí)行本文中的技術(shù)?？梢詮钠渌鎯?chǔ)介質(zhì)如存儲(chǔ)裝置1210將這些指令讀入主存儲(chǔ)器1206。主存儲(chǔ)器1206中包括的指令序列的執(zhí)行使處理器1204執(zhí)行本文所描述的處理步驟。在替選實(shí)施方式中，硬連線電路可以替代或結(jié)合軟件指令來使用。
[0170]如本文所使用的，術(shù)語“存儲(chǔ)介質(zhì)”指代存儲(chǔ)數(shù)據(jù)和/或使機(jī)器以特定方式進(jìn)行操作的指令的任意非暫態(tài)介質(zhì)。這種存儲(chǔ)介質(zhì)可以包括非易失性介質(zhì)和/或易失性介質(zhì)。非易失性介質(zhì)包括例如光盤或磁盤如存儲(chǔ)裝置1210。易失性介質(zhì)包括動(dòng)態(tài)存儲(chǔ)器如主存儲(chǔ)器1206。存儲(chǔ)介質(zhì)的常見形式包括例如軟盤、軟磁盤、硬盤、固態(tài)驅(qū)動(dòng)器、磁帶，或任何其他磁性數(shù)據(jù)存儲(chǔ)介質(zhì)、CD-ROM、任何其其他光學(xué)數(shù)據(jù)存儲(chǔ)介質(zhì)、具有孔圖案的任何物理介質(zhì)、RAM、PROM和EPR0M、閃存EPROM、NVRAM、任何其他存儲(chǔ)芯片或盒式磁帶。
[0171]存儲(chǔ)介質(zhì)與傳輸介質(zhì)不同，但可以結(jié)合傳輸介質(zhì)使用。傳輸介質(zhì)參與存儲(chǔ)介質(zhì)之間傳輸信息。例如，傳輸介質(zhì)包括同軸電纜、銅線和光纖，包括包含總線1202的導(dǎo)線。傳輸介質(zhì)還可以采取如在無線電波和紅外數(shù)據(jù)通信期間產(chǎn)生的聲波或光波的形式。
[0172]在將具有一個(gè)或更多個(gè)指令的一個(gè)或更多個(gè)序列攜帶至處理器1204用于執(zhí)行的過程中可以涉及各種形式的介質(zhì)。例如，最初可以在遠(yuǎn)程計(jì)算機(jī)的磁盤或固態(tài)驅(qū)動(dòng)器上攜帶指令。遠(yuǎn)程計(jì)算機(jī)可以將指令加載至其動(dòng)態(tài)存儲(chǔ)器中并且使用調(diào)制解調(diào)器通過電話線發(fā)送指令。本地計(jì)算機(jī)系統(tǒng)1200的調(diào)制解調(diào)器可以接收電話線上的數(shù)據(jù)并且使用紅外發(fā)射器將該數(shù)據(jù)轉(zhuǎn)換為紅外信號(hào)。紅外探測器可以接收紅外信號(hào)中攜帶的數(shù)據(jù)，并且適當(dāng)?shù)碾娐房梢詫⒃摂?shù)據(jù)置于總線1202上。總線1202將數(shù)據(jù)攜帶至主存儲(chǔ)器1206，處理器1204從主存儲(chǔ)器1206取回并執(zhí)行指令?？蛇x地，主存儲(chǔ)器1206所接收的指令可以在被處理器1204執(zhí)行之前或之后存儲(chǔ)在存儲(chǔ)裝置1210上。
[0173]計(jì)算機(jī)系統(tǒng)1200還包括耦接至總線1202的通信接口 1218。通信接口 1218提供耦合至網(wǎng)絡(luò)鏈接1220的雙向數(shù)據(jù)通信，網(wǎng)絡(luò)鏈接1220連接至本地網(wǎng)絡(luò)1222。例如，通信接口 1218可以是綜合服務(wù)數(shù)字網(wǎng)(ISDN)卡、線纜調(diào)制解調(diào)器、衛(wèi)星調(diào)制解調(diào)器或用于將數(shù)據(jù)通信連接提供給相應(yīng)類型的電話線的調(diào)制解調(diào)器。作為另一示例，通信接口 1218可以是將數(shù)據(jù)通信連接提供給兼容的局域網(wǎng)(LAN)的LAN卡。也可以實(shí)現(xiàn)無線鏈接。在任何這樣的實(shí)現(xiàn)中，通信接口 1218發(fā)送和接收攜帶有表示各種類型的信息的數(shù)字?jǐn)?shù)據(jù)流的電信號(hào)、電磁信號(hào)或光信號(hào)。
[0174]網(wǎng)絡(luò)鏈接1220通常通過一個(gè)或更多個(gè)網(wǎng)絡(luò)向其他數(shù)據(jù)設(shè)備提供數(shù)據(jù)通信。例如，網(wǎng)絡(luò)鏈接1220可以通過本地網(wǎng)絡(luò)1222向主機(jī)計(jì)算機(jī)1224或由因特網(wǎng)服務(wù)提供商(ISP) 1226操作的數(shù)據(jù)設(shè)備提供連接。ISP1226又通過現(xiàn)在通常被稱為“因特網(wǎng)”1228的全球分組數(shù)據(jù)通信網(wǎng)絡(luò)提供數(shù)據(jù)通信服務(wù)。本地網(wǎng)絡(luò)1222和因特網(wǎng)1228 二者都使用攜帶數(shù)字?jǐn)?shù)據(jù)流的電信號(hào)、電磁信號(hào)或光信號(hào)。向計(jì)算機(jī)系統(tǒng)1200攜帶數(shù)字?jǐn)?shù)據(jù)以及從計(jì)算機(jī)系統(tǒng)1200攜帶數(shù)字?jǐn)?shù)據(jù)的、通過各種網(wǎng)絡(luò)的信號(hào)和網(wǎng)絡(luò)鏈接1220上的信號(hào)以及通過通信接口 1218的信號(hào)是傳輸介質(zhì)的示例形式。
[0175]計(jì)算機(jī)系統(tǒng)1200可以通過網(wǎng)絡(luò)、網(wǎng)絡(luò)鏈接1220和通信接口 1218發(fā)送消息和接收包括程序代碼的數(shù)據(jù)。在因特網(wǎng)示例中，服務(wù)器1230可以通過因特網(wǎng)1228、ISP1226、本地網(wǎng)絡(luò)1222和通信接口 1218為應(yīng)用程序發(fā)送所請(qǐng)求的代碼。
[0176]當(dāng)被接收時(shí)，所接收的代碼可以由處理器1204執(zhí)行，和/或存儲(chǔ)在存儲(chǔ)裝置1210或其他非易失性存儲(chǔ)器中用于后續(xù)執(zhí)行。
[0177]10.等同物、擴(kuò)展、替代和其他事項(xiàng)
[0178]在上述說明書中，已經(jīng)參照因?qū)崿F(xiàn)而異的多種具體細(xì)節(jié)來描述了本發(fā)明的示例實(shí)施方式。因此，本發(fā)明是什么并且 申請(qǐng)人:意在本發(fā)明是什么的唯一并且排他的指示是以其中包括任何后續(xù)改正的權(quán)利要求發(fā)布的具體形式的根據(jù)本申請(qǐng)發(fā)布的一組權(quán)利要求。關(guān)于權(quán)利要求中包括的術(shù)語的本文明確闡述的任何定義可以支配權(quán)利要求中所使用的這些術(shù)語的含義。因此，在權(quán)利要求中沒有明確闡述的限制、元素、屬性、特征、優(yōu)點(diǎn)或特性不應(yīng)當(dāng)以任何方式限制權(quán)利要求的范圍。因此，本說明書和附圖被認(rèn)為是說明性的，而非限制性意義。
【權(quán)利要求】
1.一種方法，包括: 接收輸入視覺動(dòng)態(tài)范圍(VDR)圖像以及與所述輸入VDR圖像相關(guān)聯(lián)的輸入基本層(BL)圖像； 生成包括序列級(jí)、幀級(jí)或分區(qū)級(jí)中至少之一的多個(gè)語法元素的編碼語法； 根據(jù)所述編碼語法將所述輸入BL圖像和所述輸入VDR圖像轉(zhuǎn)換成BL數(shù)據(jù)和增強(qiáng)層(EL)數(shù)據(jù)； 將所述編碼語法元素轉(zhuǎn)換成參考處理單元(RPU)數(shù)據(jù)；以及 以BL信號(hào)、EL信號(hào)和RPU信號(hào)輸出所述BL數(shù)據(jù)、所述EL數(shù)據(jù)和所述RPU數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的方法，還包括: 至少部分地基于所述編碼語法來生成一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元；以及 在所述一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元中確定所述編碼語法符合的特定VDR規(guī)范。
3.根據(jù)權(quán)利要求2所述的方法，其中，所述一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元中至少之一包括能夠支持多個(gè)不同VDR規(guī)范中的任意一個(gè)規(guī)范的數(shù)據(jù)結(jié)構(gòu)。
4.根據(jù)權(quán)利要求2所述的方法，還包括:在所述一個(gè)或更多個(gè)當(dāng)前RI3U數(shù)據(jù)單元中，將所述編碼語法的所述多個(gè)語法元素中的至少一個(gè)語法元素指示為能夠根據(jù)所述一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元的一 個(gè)或更多個(gè)其他分區(qū)預(yù)測。
5.根據(jù)權(quán)利要求2所述的方法，還包括:在所述一個(gè)或更多個(gè)當(dāng)前RI3U數(shù)據(jù)單元中，將所述編碼語法中的所述多個(gè)語法元素中的至少一個(gè)語法元素指示為能夠根據(jù)先前輸入VDR圖像以及與所述先前輸入VDR圖像相關(guān)聯(lián)的先前輸入BL圖像的一個(gè)或更多個(gè)先前RPU數(shù)據(jù)單元預(yù)測。
6.根據(jù)權(quán)利要求5所述的方法，其中，所述輸入VDR圖像和所述先前輸入VDR圖像屬于輸入VDR圖像序列，并且其中所述輸入VDR圖像序列共享序列級(jí)的語法元素的共用集合。
7.根據(jù)權(quán)利要求5所述的方法，其中，所述輸入VDR圖像和所述先前輸入VDR圖像屬于兩個(gè)不同的輸入VDR圖像序列；其中所述兩個(gè)不同的輸入VDR圖像序列中的第一序列共享序列級(jí)的語法元素的第一共用集合；并且其中所述兩個(gè)不同的輸入VDR圖像序列中的第二序列共享序列級(jí)的語法元素的不同的第二共用集合。
8.根據(jù)權(quán)利要求1所述的方法，其中，所述多個(gè)語法元素中的至少一個(gè)語法元素能夠用作序列級(jí)、幀級(jí)或分區(qū)級(jí)中的兩種或更多種的語法元素。
9.根據(jù)權(quán)利要求1所述的方法，其中，所述BL數(shù)據(jù)表示被優(yōu)化用于在SDR顯示器上查看的標(biāo)準(zhǔn)動(dòng)態(tài)范圍(SDR)圖像。
10.根據(jù)權(quán)利要求1所述的方法，其中，所述BL數(shù)據(jù)不表示被優(yōu)化用于在SDR顯示器上查看的標(biāo)準(zhǔn)動(dòng)態(tài)范圍(SDR)圖像。
11.根據(jù)權(quán)利要求1所述的方法，其中，所述EL數(shù)據(jù)包括所述輸入VDR圖像與基于所述BL數(shù)據(jù)生成的預(yù)測VDR圖像之間的殘差值。
12.根據(jù)權(quán)利要求1所述的方法，其中，所述EL數(shù)據(jù)包括輸入VDR圖像序列中的兩個(gè)或更多個(gè)輸入VDR圖像的層間參考圖片，并且其中所述兩個(gè)或更多個(gè)輸入VDR圖像包括所述輸入VDR圖像。
13.根據(jù)權(quán)利要求1所述的方法，其中，所述多個(gè)語法元素包括下列項(xiàng)中的一個(gè)或更多個(gè):參數(shù)；系數(shù)；主元值；標(biāo)志，其指示存在或不存在與所述標(biāo)志相對(duì)應(yīng)的操作；或者包括顯示管理元數(shù)據(jù)的一個(gè)或更多個(gè)類型的元數(shù)據(jù)。
14.根據(jù)權(quán)利要求1所述的方法，其中，所述輸入VDR圖像包括在輸入顏色空間中編碼的圖像數(shù)據(jù)，其中所述EL數(shù)據(jù)包括在輸出顏色空間中編碼的圖像數(shù)據(jù)，其中至少部分地基于映射數(shù)據(jù)生成所述EL數(shù)據(jù)，其中至少部分地基于所述BL數(shù)據(jù)生成所述映射數(shù)據(jù)，并且其中所述映射數(shù)據(jù)包括在映射顏色空間中編碼的映射圖像數(shù)據(jù)。
15.根據(jù)權(quán)利要求14所述的方法，其中，所述輸入顏色空間、所述輸出顏色空間、所述映射顏色空間或編碼顏色空間中的至少兩個(gè)是不同的。
16.根據(jù)權(quán)利要求14所述的方法，其中，所述輸入顏色空間、所述輸出顏色空間、所述映射顏色空間或編碼顏色空間中的至少兩個(gè)是相同的。
17.根據(jù)權(quán)利要求1所述的方法，其中，所述EL數(shù)據(jù)包括以第一色度格式編碼的圖像數(shù)據(jù)，并且其中所述BL數(shù)據(jù)包括以不同的第二色度格式編碼的圖像數(shù)據(jù)。
18.根據(jù)權(quán)利要求1所述的方法，其中，所述EL數(shù)據(jù)包括以色度格式編碼的圖像數(shù)據(jù)，并且其中所述BL包括以相同色度格式編碼的圖像數(shù)據(jù)。
19.根據(jù)權(quán)利要求1所述的方法，其中，所述多個(gè)語法元素指定以下操作中的一個(gè)或更多個(gè):色度重采樣操作、逆映射操作、基于非重疊區(qū)域的預(yù)測操作、基于重疊區(qū)域的預(yù)測操作、殘差非線性量化和去量化操作、殘差色度重采樣操作、殘差空間上采樣操作、包括插值的數(shù)據(jù)處理操作、或顯示管理操作。
20.根據(jù)權(quán)利要求1所述的方法，還包括:將使用一個(gè)或更多個(gè)輸入視頻信號(hào)表示、接收、發(fā)送或存儲(chǔ)的一 個(gè)或更多個(gè)輸入VDR圖像轉(zhuǎn)換成使用一個(gè)或更多個(gè)輸出視頻信號(hào)表示、接收、發(fā)送或存儲(chǔ)的一個(gè)或更多個(gè)輸出VDR圖像。
21.根據(jù)權(quán)利要求1所述的方法，其中，所述輸入VDR圖像包括以以下格式之一編碼的圖像數(shù)據(jù):高動(dòng)態(tài)范圍(HDR)圖像格式、與電影藝術(shù)和科學(xué)研究院(AMPAS)的學(xué)院顏色編碼規(guī)范(ACES)標(biāo)準(zhǔn)相關(guān)聯(lián)的RGB顏色空間、數(shù)字影院倡導(dǎo)聯(lián)盟的P3顏色空間標(biāo)準(zhǔn)、參考輸入媒體度量/參考輸出媒體度量(RIMM/ROMM)標(biāo)準(zhǔn)、sRGB顏色空間、RGB顏色空間、或YCbCr顏色空間。
22.—種方法,包括: 以基本層(BL)信號(hào)、增強(qiáng)層(EL)信號(hào)和參考處理單元(RPU)信號(hào)接收BL數(shù)據(jù)、EL數(shù)據(jù)和RPU數(shù)據(jù)，所述BL數(shù)據(jù)、所述EL數(shù)據(jù)和所述RPU數(shù)據(jù)與共用的視覺動(dòng)態(tài)范圍(VDR)源圖像相關(guān)聯(lián)； 將所述RPU數(shù)據(jù)解碼成包括序列級(jí)、幀級(jí)或分區(qū)級(jí)中至少之一的多個(gè)語法元素的編碼語法； 根據(jù)所述編碼語法將所述BL數(shù)據(jù)和所述EL數(shù)據(jù)轉(zhuǎn)換成重構(gòu)的VDR圖像；以及 輸出所述重構(gòu)的VDR圖像。
23.根據(jù)權(quán)利要求22所述的方法，還包括: 根據(jù)一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元確定所述編碼語法符合的特定VDR規(guī)范；以及 根據(jù)所述一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元得出所述編碼語法元素的至少一部分。
24.根據(jù)權(quán)利要求23所述的方法，其中，所述一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元的至少之一包括能夠支持多個(gè)不同VDR規(guī)范中的任意一個(gè)規(guī)范的數(shù)據(jù)結(jié)構(gòu)。
25.根據(jù)權(quán)利要求23所述的方法，還包括:根據(jù)所述一個(gè)或更多個(gè)當(dāng)前RI3U數(shù)據(jù)單元，將所述編碼語法的所述多個(gè)語法元素中的至少一個(gè)語法元素確定為能夠根據(jù)所述一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元的一個(gè)或更多個(gè)其他分區(qū)預(yù)測。
26.根據(jù)權(quán)利要求23所述的方法，還包括:根據(jù)所述一個(gè)或更多個(gè)當(dāng)前RPU數(shù)據(jù)單元，將所述編碼語法的所述多個(gè)語法元素中的至少一個(gè)語法元素確定為能夠根據(jù)與先前重構(gòu)的VDR圖像有關(guān)的一個(gè)或更多個(gè)先前RPU數(shù)據(jù)單元預(yù)測。
27.根據(jù)權(quán)利要求26所述的方法，其中，所述重構(gòu)的VDR圖像和所述先前重構(gòu)的VDR圖像屬于重構(gòu)的VDR圖像的序列，并且其中所述重構(gòu)的VDR圖像的序列共享序列級(jí)的語法元素的共用集合。
28.根據(jù)權(quán)利要求26所述的方法，其中，所述重構(gòu)的VDR圖像和所述先前重構(gòu)的VDR圖像屬于兩個(gè)不同的重構(gòu)VDR圖像序列；其中，所述兩個(gè)不同的重構(gòu)VDR圖像序列中的第一序列共享序列級(jí)的語法元素的第一共用集合；并且其中所述兩個(gè)不同的重構(gòu)VDR圖像序列中的第二序列共享序列級(jí)的語法元素的不同的第二共用集合。
29.根據(jù)權(quán)利要求22所述的方法，其中，所述多個(gè)語法元素中的至少一個(gè)語法元素能夠用作序列級(jí)、幀級(jí)或分區(qū)級(jí)中的兩種或更多種的語法元素。
30.根據(jù)權(quán)利要求22所述的方法，其中，所述BL數(shù)據(jù)表示被優(yōu)化用于在SDR顯示器上查看的標(biāo)準(zhǔn)動(dòng)態(tài)范圍(SDR)圖像。
31.根據(jù)權(quán)利要求22所述的方法，其中，所述BL數(shù)據(jù)不表示被優(yōu)化用于在SDR顯示器上查看的標(biāo)準(zhǔn)動(dòng)態(tài)范圍(SDR)圖像。
32.根據(jù)權(quán)利要求22所述的方法，其中，所述EL數(shù)據(jù)包括VDR圖像與基于所述BL數(shù)據(jù)生成的預(yù)測VDR圖像之間的殘差值。
33.根據(jù)權(quán)利要求22所述的方法，其中，所述EL數(shù)據(jù)包括重構(gòu)的VDR圖像的序列中的兩個(gè)或更多個(gè)重構(gòu)的VDR圖像的層間參考圖片，并且其中所述兩個(gè)或更多個(gè)重構(gòu)的VDR圖像包括所述重構(gòu)的VDR圖像。
34.根據(jù)權(quán)利要求22所述的方法，其中，所述多個(gè)語法元素包括下列項(xiàng)中的一個(gè)或更多個(gè):參數(shù)；系數(shù)；主元值；標(biāo)志，其指示存在或不存在與所述標(biāo)志相對(duì)應(yīng)的操作；或包括顯示管理元數(shù)據(jù)的一個(gè)或更多個(gè)類型的元數(shù)據(jù)。
35.根據(jù)權(quán)利要求22所述的方法，其中，所述重構(gòu)的VDR圖像包括在第一顏色空間中編碼的圖像數(shù)據(jù)，其中所述EL數(shù)據(jù)包括在第二顏色空間中編碼的圖像數(shù)據(jù)，其中至少部分地基于從所述BL數(shù)據(jù)得出的映射數(shù)據(jù)來生成所述重構(gòu)的VDR圖像，并且其中所述映射數(shù)據(jù)包括在第三顏色空間中編碼的映射圖像數(shù)據(jù)。
36.根據(jù)權(quán)利要求35所述的方法，其中，所述第一顏色空間、所述第二顏色空間和所述第三顏色空間中的至少兩個(gè)是不同的。
37.根據(jù)權(quán)利要求35所述的方法，其中，所述第一顏色空間、所述第二顏色空間和所述第三顏色空間中的至少兩個(gè)是相同的。
38.根據(jù)權(quán)利要求22所述的方法，其中，所述EL數(shù)據(jù)包括以第一色度格式編碼的圖像數(shù)據(jù)，并且其中所述BL數(shù)據(jù)包括以不同的第二色度格式編碼的圖像數(shù)據(jù)。
39.根據(jù)權(quán)利要求22所述的方法，其中，所述EL數(shù)據(jù)包括以色度格式編碼的圖像數(shù)據(jù)，并且其中所述BL包括以相同色度格式編碼的圖像數(shù)據(jù)。
40.根據(jù)權(quán)利要求22所述的方法，其中，所述多個(gè)語法元素用信號(hào)通知以下操作中的一個(gè)或更多個(gè):色度重采樣操作、逆映射操作、基于非重疊區(qū)域的預(yù)測操作、基于重疊區(qū)域的預(yù)測操作、殘差非線性量化和去量化操作、殘差色度重采樣操作、空間縮放操作、包括插值的數(shù)據(jù)處理操作、或顯示管理操作。
41.根據(jù)權(quán)利要求22所述的方法，還包括:將使用一個(gè)或更多個(gè)輸入視頻信號(hào)表示、接收、發(fā)送或存儲(chǔ)的圖像數(shù)據(jù)轉(zhuǎn)換成使用一個(gè)或更多個(gè)輸出視頻信號(hào)表示、接收、發(fā)送或存儲(chǔ)的一個(gè)或更多個(gè)輸出VDR圖像。
42.根據(jù)權(quán)利要求22所述的方法，其中，所述重構(gòu)的VDR圖像包括以以下格式中之一編碼的圖像數(shù)據(jù):高動(dòng)態(tài)范圍(HDR)圖像格式、與電影藝術(shù)和科學(xué)研究院(AMPAS)的學(xué)院顏色編碼規(guī)范(ACES)標(biāo)準(zhǔn)相關(guān)聯(lián)的RGB顏色空間、數(shù)字影院倡導(dǎo)聯(lián)盟的P3顏色空間標(biāo)準(zhǔn)、參考輸入媒體度量/參考輸出媒體度量(RIMM/ROMM)標(biāo)準(zhǔn)、sRGB顏色空間、RGB顏色空間、或YCbCr顏色空間。
43.一種執(zhí)行根據(jù)權(quán)利要求1至21所述的方法中的任意方法的編碼器。
44.一種執(zhí)行根據(jù)權(quán)利要求22至42所述的方法中的任意方法的解碼器。
45.一種執(zhí)行根據(jù)權(quán)利要求1至42所述的方法中的任意方法的系統(tǒng)。
46.一種系統(tǒng),包括: 被配置成執(zhí)行以下操作的編碼器: 接收輸入視覺動(dòng)態(tài)范圍(VDR)圖像以及與所述輸入VDR圖像相關(guān)聯(lián)的輸入基本層(BL)圖像； 生成包括序列級(jí)、幀級(jí)或分區(qū)級(jí)的多個(gè)語法元素的編碼語法； 根據(jù)所述編碼語法將所述輸入VDR圖像和所述輸入BL圖像轉(zhuǎn)換成BL數(shù)據(jù)和增強(qiáng)層(EL)數(shù)據(jù)； 將所述編碼語法轉(zhuǎn)換成參考處理單元(RPU)數(shù)據(jù)；以及 以BL信號(hào)、EL信號(hào)和RPU信號(hào)輸出所述BL數(shù)據(jù)、所述EL數(shù)據(jù)和所述RPU數(shù)據(jù)， 被配置成執(zhí)行以下操作的解碼器: 以所述BL信號(hào)、所述EL信號(hào)和所述RPU信號(hào)接收所述BL數(shù)據(jù)、所述EL數(shù)據(jù)和所述RPU數(shù)據(jù)； 將所述RPU數(shù)據(jù)解碼成包括序列級(jí)、幀級(jí)或分區(qū)級(jí)的所述多個(gè)語法元素的所述編碼語法; 根據(jù)所述編碼語法將所述BL數(shù)據(jù)和EL數(shù)據(jù)轉(zhuǎn)換成重構(gòu)的VDR圖像；以及 輸出所述重構(gòu)的VDR圖像。
47.一種存儲(chǔ)軟件指令的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，當(dāng)由一個(gè)或更多個(gè)處理器執(zhí)行時(shí)，所述軟件指令使得執(zhí)行根據(jù)權(quán)利要求1至42所述的方法中的任意方法的步驟。
【文檔編號(hào)】H04N19/103GK104041036SQ201280066010
【公開日】2014年9月10日 申請(qǐng)日期:2012年12月18日 優(yōu)先權(quán)日:2012年1月3日
【發(fā)明者】曲晟, 尹鵬, 葉琰, 賀玉文, 沃爾特·吉什, 蘇冠銘, 袁玉斐, 薩米爾·胡利亞爾卡爾 申請(qǐng)人:杜比實(shí)驗(yàn)室特許公司