用于具有增強動態(tài)范圍的超高清視頻信號的向后兼容編碼的制作方法
【專利說明】用于具有増強動態(tài)范圍的超高清視頻信號的向后兼容編碼
[0001] 相關(guān)申請的交叉引用
[0002] 本申請要求以下申請的優(yōu)先權(quán)：2013年1月2日提交的第61/748, 411號的美國 臨時申請、2013年5月8日提交的第61/821，173號的美國臨時申請；以及2013年9月26 日提交的第61/882, 773號的美國臨時專利申請，所有這些申請的全部內(nèi)容都通過引用并 入本文。
技術(shù)領(lǐng)域
[0003] 本發(fā)明總體上涉及圖像。更特別地，本發(fā)明的實施例涉及具有增強動態(tài)范圍的高 清信號的向后兼容的編碼和解碼。
【背景技術(shù)】
[0004] 音頻和視頻壓縮是多媒體內(nèi)容的開發(fā)、存儲、發(fā)布和消費中的關(guān)鍵組成部分。壓縮 方法的選擇涉及編碼效率、編碼復(fù)雜度和延遲之間的權(quán)衡。隨著處理能力對計算成本的比 率增大，使得可以開發(fā)出允許更高效的壓縮的更復(fù)雜的壓縮技術(shù)。作為例子，在視頻壓縮 中，來自國際標(biāo)準(zhǔn)組織（ISO)的運動圖像專家組（MPEG)通過發(fā)布MPEG-2、MPEG-4(第2部 分）和H. 264/AVC (或MPEG-4,第10部分）編碼標(biāo)準(zhǔn)來持續(xù)地改進(jìn)最初的MPEG-1視頻標(biāo) 準(zhǔn)。
[0005] 盡管H. 264的壓縮效率和成就，被稱為高效率視頻編碼（HEVC)的新一代視頻壓縮 技術(shù)現(xiàn)在正在開發(fā)之中。HEVC有望提供優(yōu)于現(xiàn)有的H. 264 (也被稱為AVC)標(biāo)準(zhǔn)的改進(jìn)的壓 縮能力，關(guān)于 HEVC 的草稿可在 B. Bross、W. -J. Han、G. J. Sullivan、J. -R. Ohm 和 T. Wiegand 的"high efficiency video coding(HEVC)text specification draft 8"，ITU-T/ISO/ IEC Joint Collaborative Team on Video Coding(JCT-VC)document JCTVC-J1003, July 2012中獲得，該文獻(xiàn)的全部內(nèi)容通過引用并入本文，現(xiàn)有的H. 264標(biāo)準(zhǔn)被發(fā)表為"Advanced Video Coding for generic audio-visual services"，ITU T Rec. H. 264 和 ISO/ IEC14496-10，該標(biāo)準(zhǔn)的全部內(nèi)容通過引用并入本文。
[0006] 視頻信號可以用多個參數(shù)來表征，諸如位深、顏色空間、色域和分辨率?，F(xiàn)代的電 視和視頻回放設(shè)備（例如，藍(lán)光播放器）支持多種分辨率，包括標(biāo)清（例如，720 X480i)和 高清（HD)(例如，1920X 1080p)。超高清（UHD)是至少具有3, 840X2, 160分辨率（被稱為 4K UHD)并且具有高達(dá)7680X4320 (被稱為8K UHD)的選項的下一代分辨率格式。超高清 還可以被稱為Ultra HD、UHDTV或超高視覺。如本文中所使用的，UHD表示高于HD分辨率 的任何分辨率。
[0007] 視頻信號的特性的另一方面是其動態(tài)范圍。動態(tài)范圍OR)是圖像中的強度（例 如，亮度，luma)的范圍（例如，從最黑暗的暗色到最明亮的亮色）。如本文中所使用的，術(shù) 語"動態(tài)范圍"(DR)可以與人類心理視覺系統(tǒng)（HVS)感知圖像中的強度（例如，亮度，luma) 的范圍（例如，從最黑暗的暗色到最明亮的亮色）的能力相關(guān)。從這個意義上來說，DR與 "參考場景的"強度相關(guān)。DR還可以與顯示設(shè)備充分地或逼近地呈現(xiàn)具有特定廣度的強度 范圍的能力相關(guān)。從這個意義上來說，DR與"參考顯示器的"強度相關(guān)。除非特定意義在本 文的描述中的任何地方被明確地指定具有特殊重要性，否則應(yīng)推斷該術(shù)語例如可互換地用 于兩者之中任何一種意義上。
[0008] 如本文中所使用的，術(shù)語高動態(tài)范圍（HDR)與跨越人類視覺系統(tǒng)（HVS)的14-15 個數(shù)量級的DR廣度相關(guān)。例如，（例如，從統(tǒng)計意義、生物計量意義或眼科意義中的一個或 多個上來說）基本正常的適應(yīng)性強的人具有跨越大約15個數(shù)量級的強度范圍。具有適應(yīng) 性的人可以感知到少到僅少數(shù)幾個光子的昏暗光源。然而，同樣的這些人可以在沙漠中、在 海中或者在雪中感知到正午的太陽的幾乎令人痛苦地耀眼的強度（或者甚至望向太陽，但 是短暫地望向太陽以防止傷害）。不過，該跨度可供"具有適應(yīng)性的"人（例如，其HVS具有 在其中進(jìn)行重置和調(diào)整的時間段的那些人）使用。
[0009] 相比之下，在其上人類可以同時感知到強度范圍中的廣泛廣度的DR相對于HDR而 言可能有所截斷。如本文中所使用的，術(shù)語"增強動態(tài)范圍"（EDR)、"視覺動態(tài)范圍"或"可 變動態(tài)范圍"(VDR)可以單獨地或者可互換地與HVS可同時感知的DR相關(guān)。如本文中所使 用的，EDR可以與跨越5-6個數(shù)量級的DR相關(guān)。因此，雖然可能相對于真實的場景參考HDR 而言有些窄，但是EDR卻表示寬泛的DR廣度。如本文中所使用的，術(shù)語"同時動態(tài)范圍"可 以與EDR相關(guān)。
[0010] 為了支持與老式回放設(shè)備以及新式HDR或UHD顯示技術(shù)的向后兼容性，可以使用 多個層來將UHD和HDR(或EDR)視頻數(shù)據(jù)從上游設(shè)備遞送到下游設(shè)備。給定這樣的多層流， 老式解碼器可以使用基本層來重構(gòu)內(nèi)容的HD SDR版本。高級解碼器可以使用基本層和增 強層兩層來重構(gòu)內(nèi)容的UHD EDR版本以在更有能力的顯示器上呈現(xiàn)它。如這里的發(fā)明人所 意識到的，改進(jìn)的UHD EDR視頻編碼技術(shù)是令人期望的。
[0011] 本章節(jié)中所描述的方法是可以尋求的方法，但是不一定是以前已經(jīng)設(shè)想過或?qū)で?過的方法。因此，除非另有指示，否則不應(yīng)僅因本章節(jié)中所描述的任一方法被包括在本章節(jié) 中就假定該方法作為現(xiàn)有技術(shù)。類似地，對于一種或多種方法被標(biāo)識的問題不應(yīng)基于本章 節(jié)就被假定已經(jīng)在任何現(xiàn)有技術(shù)中被認(rèn)識到，除非另有指示。
【附圖說明】
[0012] 本發(fā)明的實施例在附圖的圖中以舉例的方式、而不是以限制的方式被例示，在附 圖中，相似的標(biāo)號指代類似的元件，其中：
[0013] 圖1描繪根據(jù)本發(fā)明的實施例的UHD EDR編碼系統(tǒng)的示例實現(xiàn)；
[0014] 圖2描繪根據(jù)本發(fā)明的實施例的UHD EDR解碼系統(tǒng)的示例實現(xiàn)；
[0015] 圖3描繪根據(jù)本發(fā)明的實施例的圖1中所描繪的系統(tǒng)的變型，其中，基本層包括隔 行信號（interlaced signal)；
[0016] 圖4描繪根據(jù)本發(fā)明的實施例的圖2的解碼系統(tǒng)的變型，其中，基本層包括隔行視 頻信號；
[0017] 圖5描繪根據(jù)本發(fā)明的實施例的用于增強層中的殘差信號的非線性量化器的示 例實現(xiàn)；
[0018] 圖6A描繪根據(jù)本發(fā)明的實施例的殘差像素的自適應(yīng)預(yù)量化處理；和
[0019] 圖6B描繪根據(jù)本發(fā)明的實施例的設(shè)置用于殘差信號的非線性量化器的下輸入邊 界或上輸入邊界的自適應(yīng)處理。
【具體實施方式】
[0020] 本文描述了具有增強動態(tài)范圍的超高清信號的向后兼容編碼。給定可以用如下 兩個信號表示的輸入視頻信號：一個信號具有超高清（UHD)分辨率和高或增強動態(tài)范圍 (EDR)，另一個信號具有UHD (或較低）分辨率和標(biāo)準(zhǔn)動態(tài)范圍（SDR)，這兩個信號被編碼在 向后兼容的分層流中，這使得老式解碼器可以提取HD標(biāo)準(zhǔn)動態(tài)范圍（SDR)信號并且使得新 式解碼器可以提取UHD EDR信號。
[0021] 在以下描述中，為了說明的目的，闡述了許多特定細(xì)節(jié)，以便提供本發(fā)明的透徹理 解。然而，將顯而易見的是，可以在沒有這些特定細(xì)節(jié)的情況下實施本發(fā)明。在其它情況下， 不對公知的結(jié)構(gòu)和設(shè)備進(jìn)行詳盡的描述，以便避免不必要地模糊本發(fā)明。
[0022] 概述
[0023] 本文中所描述的示例實施例涉及具有增強動態(tài)范圍的超高清信號的向后兼容的 編碼和解碼。給定用如下兩個信號表示的輸入視頻信號：一個信號具有超高清（UHD)分 辨率和高或增強動態(tài)范圍（EDR)，另一個信號具有UHD(或較低）分辨率和標(biāo)準(zhǔn)動態(tài)范圍 (SDR)，這兩個信號被編碼在向后兼容的分層流中，這使得老式解碼器可以提取HD標(biāo)準(zhǔn)動 態(tài)范圍（SDR)信號并且使得新式解碼器可以提取UHDEDR信號。響應(yīng)于基本層HD SDR信號， 使用單獨的亮度預(yù)測模型和色度預(yù)測模型產(chǎn)生預(yù)測信號。在亮度預(yù)測器中，僅基于基本層 的亮度像素值計算預(yù)測信號的亮度像素值，而在色度預(yù)測器中，基于基本層的亮度像素值 和色度像素值兩者計算預(yù)測信號的色度像素值。基于輸入的UHD EDR信號和預(yù)測信號計算 殘差信號。分別對基本層信號和殘差信號進(jìn)行編碼以形成編碼的位流。
[0024] 在另一實施例中，接收器對所接收的分層位流進(jìn)行解復(fù)用以產(chǎn)生HD分辨率的、標(biāo) 準(zhǔn)動態(tài)范圍（SDR)的編碼的基本層（BL)流和UHD分辨率的、增強動態(tài)范圍（EDR)的編碼的 增強層流。使用BL解碼器對編碼的BL流進(jìn)行解碼以產(chǎn)生HD分辨率的、標(biāo)準(zhǔn)動態(tài)范圍的解 碼的BL信號。響應(yīng)于解碼的BL信號，產(chǎn)生預(yù)測EDR信號，其中，該預(yù)測信號的亮度分量的 像素值僅基于解碼的BL信號的亮度像素值被預(yù)測，而該預(yù)測信號的至少一個色度分量的 像素值基于解碼的BL信號的亮度值和色度值兩者被預(yù)測。使用EL解碼器對編碼的EL流 進(jìn)行解碼以產(chǎn)生解碼的殘差信號。響應(yīng)于解碼的殘差信號和預(yù)測信號，還可以產(chǎn)生輸出UHD EDR信號。
[0025] 在另一實施例中，增強層中的殘差信號在用非線性量化器量化之前進(jìn)行自適應(yīng)預(yù) 處理。在一個實施例中，如果殘差像素值周圍的像素的標(biāo)準(zhǔn)差低于閾值，則將這些殘差像素 值預(yù)量化為零。
[0026] 在另一實施例中，根據(jù)具有非常大的或非常小的像素值的殘差像素的像素連接性 的度量，限制非線性量化器的輸入范圍。
[0027] 在另一實施例中，基于場景中的連續(xù)幀序列上的殘差像素的極值來設(shè)置非線性量 化器的參數(shù)。
[0028] 用于超高清EDR信號的編碼器
[0029] 現(xiàn)有的顯示和回放設(shè)備，諸如HDTV、機頂盒或藍(lán)光播放器，通常支持高達(dá)1080p HD分辨率（例如，以每秒60幀的1920X1080)的信號。對于消費者應(yīng)用，現(xiàn)在通常以亮 度-色度顏色格式使用每一顏色分量每一像素8位的位深對這樣的信號進(jìn)行壓縮，在所述 亮度-色度顏色格式中，通常，色度分量具有比亮度分量低的分辨率（例如，YCbCr或YUV 4:2:0顏色格式）。因為8位深度和相應(yīng)的低動態(tài)范圍，這樣的信號通常被稱為具有標(biāo)準(zhǔn)動 態(tài)范圍（SDR)的信號。
[0030] 隨著新的電視標(biāo)準(zhǔn)（諸如超高清（UHD))正被開發(fā)，可能可取的是，以老式HDTV解 碼器和新式UHD解碼器都可以處理的格式對具有增強分辨率和/或增強動態(tài)范圍的信號進(jìn) 行編碼。
[0031] 圖1描繪了支持具有增強動態(tài)范圍（EDR)的UHD信號的向后兼