高動態(tài)范圍視頻的顯示管理的制作方法
【專利說明】
[0001] 相關(guān)申請的交叉引用
[0002] 本申請要求在2013年2月21日提交的美國臨時專利申請第61/767,380號以及 在2013年4月9日提交的美國臨時專利申請第61/810, 104號的優(yōu)先權(quán)，其通過引用而被 整體結(jié)合于此。
技術(shù)領域
[0003] 本發(fā)明一般地涉及圖像。更具體地說，本發(fā)明的實施例涉及對具有高或者增強動 態(tài)范圍的圖像的顯示管理處理。
【背景技術(shù)】
[0004] 這里所使用的術(shù)語"動態(tài)范圍"（DR)可以涉及人類視覺系統(tǒng)（HVS)對圖像中例如 從最暗的暗部（黑色）到最亮的亮部（白色）的強度（例如，亮度（luminance，luma))范 圍進行感知的能力。從這個意義上講，DR涉及"與場景相關(guān)"的強度。DR還可涉及顯示設 備適當?shù)鼗蚪频爻尸F(xiàn)特定寬度的強度范圍的能力。從這個意義上講，DR涉及"與顯示器 相關(guān)"的強度。除非在這里的描述中的任何一點處明確地指出特定的意義具有特定重要性， 否則應推斷該術(shù)語可以（例如，互換地）用在任意一種意義中。
[0005] 這里所使用的術(shù)語高動態(tài)范圍（HDR)涉及跨越人類視覺系統(tǒng)（HVS)的某14-15個 數(shù)量級的DR寬度。例如，具有基本正常視力的適應良好的人（例如，在統(tǒng)計學意義、計量生 物學意義或眼科學意義中的一個或多個上）具有跨越約15個數(shù)量級的強度范圍。適應的 人可感知少到只有極少數(shù)光子的微弱光源。然而，這些同樣的人可感知沙漠、?；蜓┲姓?太陽的近乎刺痛的耀眼強度（或甚至看一下太陽，然而只是短暫地看一下，以防止傷害）。 不過這個跨度對"適應的"人一例如其HVS具有進行重置和調(diào)節(jié)的時間段的那些人一是可 用的。
[0006] 相比之下，較之HDR，人類可同時感知強度范圍中的擴展寬度的DR可在一定程度 上縮短。這里所使用的術(shù)語增強動態(tài)范圍（EDR)或視覺動態(tài)范圍（VDR)可單獨地或互換地 涉及可由HVS同時感知的DR。這里所使用的EDR可涉及跨越5到6個數(shù)量級的DR。因此， 盡管與真實場景相關(guān)的HDR可能在一定程度上變窄，但EDR表示較寬的DR寬度。
[0007] 實際上，圖像包括一個或多個顏色分量（例如，亮度Y和色度Cb和Cr)，其中每一 個顏色分量由每像素N位的精度表示（例如，N= 8)。N彡8的圖像（例如，彩色24位JPEG 圖像）被看作標準動態(tài)范圍的圖像，而N>8的圖像可被看作增強動態(tài)范圍的圖像。EDR和 HDR圖像也可以利用諸如由工業(yè)光魔開發(fā)的OpenEXR文件格式之類的高精度（例如，16位） 浮點格式而被存儲和分發(fā)。
[0008] 直至最近，顯示器已經(jīng)具有比HDR明顯更窄的DR。使用典型陰極射線管（CRT)、具 有恒定熒光白色背光照明的液晶顯示器（LCD)或者等離子屏幕技術(shù)的電視（TV)和計算機 監(jiān)視裝置在它們的DR呈現(xiàn)能力上可被約束為約三個數(shù)量級。因此這種傳統(tǒng)的顯示器特征 是低動態(tài)范圍（LDR)，關(guān)于HDR或EDR還稱作標準動態(tài)范圍（SDR)。
[0009] 多數(shù)消費級桌面顯示器支持200至300cd/m2或者說尼特的亮度。多數(shù)消費級HDTV 的范圍從300至1000cd/m2。隨著EDR內(nèi)容的可用性由于捕捉設備（例如，攝像機）和EDR 顯示器（例如，來自杜比的PRM-4200專業(yè)基準監(jiān)視器）兩者的進步而增長，EDR內(nèi)容可以在 支持多種動態(tài)范圍（例如，從1，〇〇〇尼特到5, 000尼特或者更多）的EDR顯示器上被進行 顏色分級。類似地，H)R內(nèi)容可以在具有與用來對原始內(nèi)容進行顏色分級的顯示器不同的 動態(tài)范圍的SDR顯示器和EDR顯示器兩者上被顯示。如發(fā)明人在這里認識到的，到HDR顯 示器上的H)R圖像的顯示管理的改進技術(shù)對于后向兼容性和優(yōu)越的沉浸式體驗兩者而言 是期望的。
[0010] 在該部分中描述的方法是能夠探求的方法，但并不一定是先前已經(jīng)設想或探求的 方法。因此，除非另有指示，否則不應認為在該部分中描述的方法中的任何一種僅僅因包括 在該部分中而適格現(xiàn)有技術(shù)。類似地，相對于一個或多個方法標識的問題不應基于該部分 而被假定在任何現(xiàn)有技術(shù)中已經(jīng)被認識到，除非另有指示。
【附圖說明】
[0011] 在附圖中通過示例的方式而不是限制的方式示出本發(fā)明實施例，并且其中，相似 標號指代類似元件，并且其中：
[0012] 圖1A-圖1C示出了根據(jù)本發(fā)明實施例的EDR圖像的顯示管理的示例處理；
[0013] 圖2示出了根據(jù)本發(fā)明實施例的用于將輸入EDR數(shù)據(jù)從輸入RGB顏色空間轉(zhuǎn)換為 IPT-PQ空間的示例處理；
[0014]圖3示出了根據(jù)本發(fā)明實施例的EDR圖像的非線性動態(tài)范圍映射的示例；
[0015] 圖4示出了根據(jù)本發(fā)明實施例的色調(diào)映射的IPT-PQ圖像中的P和T顏色分量的 飽和度調(diào)節(jié)的示例處理；
[0016] 圖5示出了根據(jù)本發(fā)明的可能實施例的色度重映射的示例映射功能；并且
[0017] 圖6示出了根據(jù)本發(fā)明實施例的多尺度細節(jié)保留的示例實施方式。
【具體實施方式】
[0018] 增強動態(tài)范圍（EDR)圖像的高效顯示管理（例如，色調(diào)（tone)和色域（gamut)映 射）在這里被描述。在以下描述中，為了說明目的，闡述大量具體細節(jié)以提供本發(fā)明的透徹 理解。然而，清楚的是，在沒有這些具體細節(jié)的情況下可以實踐本發(fā)明。在其它情況下，不 詳盡地描述公知結(jié)構(gòu)和設備，以避免不必要地使本發(fā)明封閉、模糊或混亂。
[0019] 概覽
[0020] 在這里描述的示例實施例涉及EDR圖像的高效顯示管理。顯示管理處理器接收將 被顯示在目標顯示器上的具有增強動態(tài)范圍的輸入圖像，目標顯示器具有與基準顯示器不 同的動態(tài)范圍。輸入圖像首先被從輸入顏色空間（例如，RGB)變換為經(jīng)感知校正的IPT顏 色空間（IPT-P?。非線性映射函數(shù)通過將輸入信號的強度從基準動態(tài)范圍映射到目標動態(tài) 范圍來生成第一色調(diào)映射信號。第一色調(diào)映射信號的強度（I)分量被銳化以利用反銳化掩 模來保留細節(jié)，并且顏色（P和T)分量的飽和度被適當?shù)卣{(diào)節(jié)以生成第二色調(diào)映射輸出圖 像。色域映射函數(shù)可被應用于第二色調(diào)映射輸出圖像以生成適合顯示到目標顯示器上的圖 像。顯示管理流水線也可適用于根據(jù)專門定義的顯示模式來調(diào)節(jié)顯示圖像的強度和顏色分 量。
[0021 ] 在輸入圖像被以其中色度分量處于比亮度分辨率更低的空間分辨率的顏色格式 接收到的情況下，那么在示例實施例中，顯示管理處理可被分為可以并行執(zhí)行的兩個路徑。 一個路徑對所有顏色分量操作，但是以輸入圖像的色度分量的較低分辨率操作，而第二路 徑僅對亮度相關(guān)數(shù)據(jù)操作，但是以亮度分量的原始（完全）分辨率操作。
[0022] 示例顯示管理處理流水線
[0023] 圖1A示出了根據(jù)本發(fā)明的實施例的EDR圖像（也稱作HDR圖像）的顯示管理的 示例處理。如在圖1A中示出，視頻處理器（例如，機頂盒、圖像顯示器或者其他合適的圖像 處理器）接收到EDR圖像（102)和可選的關(guān)聯(lián)元數(shù)據(jù)（104)和（106)。EDR圖像（102)可 以包括諸如H)R視頻信號之類的一系列圖像的幀的一部分或者完整幀。這里所使用的術(shù)語 "元數(shù)據(jù)"指的是作為編碼比特流的一部分傳輸并且輔助解碼器呈現(xiàn)解碼圖像的任何輔助 信息。這種元數(shù)據(jù)可以包括但不限于顏色空間或者色域信息、基準顯示參數(shù)以及輔助信號 參數(shù)，如在這里描述的那些。
[0024] 接收到的EDR圖像（102)可以是按照RGB顏色格式或者任何其他顏色空間的，諸 如YCbCr、XYZ等等。接收到的圖像可能已經(jīng)在基準EDR監(jiān)視器上被進行顏色分級，基準EDR 監(jiān)視器可能具有與目標顯示監(jiān)視器不同的動態(tài)范圍和色域特性。這里所使用的術(shù)語"顏色 分級"表示調(diào)節(jié)圖像或視頻的顏色以校正顏色偽像和/或匹配導演的意圖的處理。
[0025]EDR輸入（102)還可以包括與用來在節(jié)目制作期間對圖像進行顏色分級的 顯示器有關(guān)的源顯示元數(shù)據(jù)（104)。例如，這種元數(shù)據(jù)可以包括如由推薦規(guī)范ITU-R BT. 1866(03/2011)定義的基準電光傳遞函數(shù)（E0TF)。EDR輸入還可以包括附加的源顯示和 內(nèi)容元數(shù)據(jù)（106)，諸如源或基準顯示器的最大和最小明度（brightness)，數(shù)據(jù)的最大、最 小和平均中間色調(diào)，以及顏色分級期間的環(huán)境光的強度。例如，基準監(jiān)視器的元數(shù)據(jù)可以包 括在制作中使用的以下示例參數(shù)：
[0026] 源監(jiān)視器最小明度，Smin= 0? 005尼特；
[0027] 源監(jiān)視器最大明度，Smax= 4000尼特；
[0028] 環(huán)境光，Samb=10尼特；
[0029]伽馬，Sgamma= 2. 4;
[0030] 顏色空間=DCIP3,白點=D65;
[0031] 基準監(jiān)視器的元數(shù)據(jù)通常僅需要被傳輸一次；然而，視頻數(shù)據(jù)的元數(shù)據(jù)可以基于 每個幀、基于每個場景或者每當存在變化而被傳輸。如果沒有與源內(nèi)容有關(guān)的元數(shù)據(jù)，那么 在一些實施例中這種數(shù)據(jù)可以通過分析源視頻內(nèi)容而被提取。
[0032]IPT-PQ顏色空間
[0033] 在優(yōu)選實施例中，處理流水線在將被稱作IPT-PQ顏色空間之物中被執(zhí)行；然而， 類似的處理步驟可以在諸如RGB、YCbCr、XYZ、CIE-Lab等其他顏色空間中被執(zhí)行。如在以 下論文中描述的IPT是人類視覺系統(tǒng)中的視錐細胞之間的顏色差異的模型'Development andtestingofacolorspace(ipt)withimprovedhueuniformity'，，byF.Ebnerand M.D.Fairchild,inProc. 6thColorImagingConference:ColorScience,Systems,and Applications,IS&T,Scottsdale,Arizona,Nov. 1998,pp. 8-13 (將被稱作Ebner論文），其 通過引用而被整體結(jié)合于此。在這個意義