用于處理視頻序列的方法、相應(yīng)的設(shè)備、計算機程序和非瞬時計算機可讀介質(zhì)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理中實現(xiàn)的動態(tài)范圍轉(zhuǎn)換的一般領(lǐng)域。
[0002] 動態(tài)范圍的定義是對應(yīng)于亮度的可改變的量的最大和最小可能值之比，其中亮度 是在給定方向傳送的光的單位面積中光照強度的光度測量（亮度的單位是cd/m 2)。
[0003] 具體地，本發(fā)明可用于減小圖像或圖像序列的動態(tài)范圍（所述圖像還稱為"幀"）。 換言之，本發(fā)明可用于改變所述圖像的像素（或所述圖像序列中的每個圖像的像素）的亮 度值（該亮度值屬于預(yù)定原始動態(tài)范圍）以獲得屬于低于預(yù)定原始動態(tài)范圍的動態(tài)范圍的 亮度值。
[0004] 本發(fā)明尤其可用于針對攝影或視頻應(yīng)用的圖像處理，具體地，用于復(fù)原高動態(tài)范 圍圖像（HDR)，HDR可以更準確地表示實際場景中存在的強度級別的范圍。
【背景技術(shù)】
[0005] 2. 1 介紹
[0006] 人類對光的感應(yīng)具有非常高的動態(tài)范圍。人們可以在星光下（盡管在低光亮級別 下對顏色的區(qū)分減弱）或在強烈的陽光下觀看物體，即使在無月光的夜晚物體接收到的光 強只有陽光明媚時的光強的十億分之一也是如此：即，動態(tài)范圍達30個光圈數(shù)。
[0007] 實際上，很難使用電子設(shè)備來實現(xiàn)人類所體驗到的完全動態(tài)范圍。即，打印、IXD顯 示器或投影儀的顯示能力具有有限的動態(tài)范圍（或低動態(tài)范圍LDR)，其不足以重現(xiàn)自然場 景中所呈現(xiàn)的光強的整個范圍。
[0008] 已經(jīng)發(fā)展了高動態(tài)范圍（HDR)數(shù)字視頻方案，以用于更準確地表示實際場景中存 在的強度級別的范圍。HDR圖像可以捕獲的信息要多于可在具有低動態(tài)范圍（LDR)的傳統(tǒng) 屏幕上顯示的信息，并且HDR圖像通常借助對相同對象的多個不同曝光相片來捕獲信息。
[0009] 換言之，非HDR(或LDR)相機使用有限的曝光范圍來拍照，導(dǎo)致在亮或暗的區(qū)域中 會損失細節(jié)。HDR通過以不同的曝光級別來捕獲多個相片并將這些相片加以組合來補償該 細節(jié)損失，以產(chǎn)生代表更大的色調(diào)范圍的相片。
[0010] 此外，近幾十年以來，算法已發(fā)展到能夠在陰影中以及在高光強下對圖像進行不 同的映射，以更好地分布圖像上的光照范圍。這些技術(shù)已知為色調(diào)映射，并且允許將高動態(tài) 范圍圖像（HDR)或HDR視頻序列轉(zhuǎn)換為低動態(tài)范圍（LDR)圖像或LDR視頻序列。
[0011] 2. 2 色調(diào)映射算子（operator)
[0012] 這種色調(diào)映射首先依賴于色調(diào)映射算子（TM0)，其用于修改使用HDR捕獲模塊捕 獲的源圖像的動態(tài)，以獲得具有低動態(tài)范圍的得到的圖像，以使得這種得到的圖像呈現(xiàn)出 適于在IXD顯示器上顯示的動態(tài)。
[0013] 在下文中，"修改圖像的動態(tài)"對應(yīng)于轉(zhuǎn)換、適配或修改圖像的亮度分量（即，亮度 分量值）。
[0014] 如果源圖像（一旦其動態(tài)范圍已被修改）專用于一種顯示系統(tǒng)，則亮度分量被量 化和編碼，以便與顯示標準（例如BT 709等）兼容。在這種情況中，其不被稱為"亮度"分 量，而是通常被稱為" luma"分量。
[0015] 從而，色調(diào)映射技術(shù)對亮度分量和luma分量同樣地適用。
[0016] 在已知的色調(diào)映射算子（TMO)(還稱為色調(diào)再現(xiàn)器）中，可引證PTR色調(diào)映射算 子，其具體描述參見由E.REINHARD等發(fā)表的論文Photographic tone reproduction for digital images''，ACM transactions on Graphics，21，267-276 (July 2002)。
[0017] "不加思索地"將TMO應(yīng)用于HDR視頻序列的每個幀導(dǎo)致時間偽像。為了處理變 幻的偽像，其它色調(diào)映射算子基于對取決于動態(tài)范圍將被轉(zhuǎn)換的當前圖像的像素的關(guān)鍵字 (key)的使用以及基于在圖像序列中當前圖像的前一個圖像的預(yù)定數(shù)量的像素（參見由 KANG S. B 等發(fā)表的論文 "High dynamicrange video''，ACM transactions on Graphics， Proceeding of ACM SIGGRAPH, volume22,Issue 33, July 2003pages 319-325)〇
[0018] 還存在使用視頻序列中多個之前的圖像的色調(diào)映射算子，其中所述視頻序列已根 據(jù)當前圖像的關(guān)鍵字和之前圖像的關(guān)鍵字動態(tài)地適配，參見RAMSEY S等的論文"Adaptive temporal tone mapping''，Computer Graphics and Imaging-2004 (3)，3-7 (2004) 〇
[0019] 其它色調(diào)映射算子將具有人視覺系統(tǒng)（HVS)的視覺響應(yīng)的原始圖像與亮度值屬 于適于屏幕的動態(tài)范圍的圖像進行比較，參見MANTIUK R.的論文"Display adaptive tone mapping"，ACM Transactions on Graphics27，l (Aug. 2008)，其提供具有在屏幕上的 最少失真可能的視覺感知的圖像。
[0020] 為了處理時間偽像，以上方案使用視頻序列中的時間上接近的圖像來對亮度的突 然改變進行平滑。然而，較長的時間范圍將引入時間明暗度（brightness)非相干性，所述 明暗度在HDR視頻序列的兩個區(qū)域之間的相對明暗度在色調(diào)映射期間得以保持（在空域 和時域兩者中）的情況下在被色調(diào)映射的內(nèi)容中相干。但是，由于TM0針對每個圖像（或 幀）獨立地使用所有可用的顯示范圍，所以在整個色調(diào)映射操作期間不保持HDR明暗度相 干性。因此，在HDR序列中被認為最亮的區(qū)域不必是LDR序列中最亮的。
[0021] 2. 3色調(diào)映射后處理
[0022] 為了保持被色調(diào)映射的得到的圖像之間的明暗度相干性，發(fā)明人之一提出了明 暗度相干性技術(shù)（Brightness Coherency，稱為BC技術(shù)），參見BOITARD R.等的論文 "Temporal coherency for video tone mapping''，in Proc. SPIE Conference Series， volume 8499 of SPIE Conference Series，2012。
[0023] 這一技術(shù)依賴于對視頻序列中的每個圖像（或幀）的總體明暗度的指示。通過將 HDR視頻序列中的最亮圖像（即具有總體明暗度的最高指示的幀）作為錨，每個其它色調(diào)映 射圖像都相對于該錨被而縮放。
[0024] 由于每個圖像都相對于錨被處理，所以即使在非相鄰的圖像之間，時間明暗度相 干性也得以保持。
[0025] 這一技術(shù)的一個缺點在于，其只處理總體明暗度而不解決局部明暗度相干性。 為了解決這一方面，發(fā)明人提出了區(qū)域明暗度相干性（Zonal Brightness Coherency，稱 為 ZBC 技術(shù)），參見 BOITARD R 等的論文 "Zonal Brightness Coherencyfor video tone mapping''，Signal Processing ：Image Communication (available online 160ctober 2013, http ：//dx ：doi. org/10. 106/i. image. 2013. 10. 001) 〇
[0026] 更確切地，根據(jù)這一技術(shù)，使用對HDR圖像進行的基于柱狀圖的分割將每個圖像 分成分段。然后，根據(jù)得到的圖像分段來定義視頻區(qū)域，并且將明暗度相干性（BC)技術(shù)獨 立地應(yīng)用到每個視頻區(qū)域。
[0027] 這種區(qū)域明暗度相干性（ZBC)技術(shù)保持每個圖像中的時間明暗度相干性和空間 對比度。
[0028] 2. 4現(xiàn)有技術(shù)的缺點
[0029] 現(xiàn)有技術(shù)的TMO的算子獨立地應(yīng)用于視頻序列的每個圖像上，導(dǎo)致包括時間明暗 度非相干性的時間偽像，而且明暗度相干性技術(shù)需要來自不同于當前圖像的其它視頻序列 圖像的信息。
[0030] 此外，在涉及動態(tài)范圍轉(zhuǎn)換的一些情況中，需要視頻序列的所有其它圖像以獲得 高效的結(jié)果。換言之，一旦捕獲了屬于視頻序列的所有圖像，則可實現(xiàn)后處理，以發(fā)現(xiàn)針對 最佳動態(tài)范圍轉(zhuǎn)換的更加相關(guān)的亮度信息。
[0031] 然而，當考慮實時網(wǎng)絡(luò)廣播（其中在時刻t，"未來圖像"中的信息不是已知的）時， 這種需求是不可實現(xiàn)的。
[0032] 事實上，對時間緩沖器的使用導(dǎo)致與實時限制不兼容的處理周期。從而，現(xiàn)有技術(shù) 的方法（不管是不是使用明暗度相干性技術(shù)）不允許在實現(xiàn)實時廣播時保持時間相干性。

【發(fā)明內(nèi)容】

[0033] 本發(fā)明提出了一種新的方案，作為處理視頻序列的方法，所述方法包括以下步驟： 使用第一捕獲模塊獲得至少一個圖像，所述至少一個圖像采用第一捕獲角表示場景，所述 至少一個圖像被稱為視頻圖像。
[0034] 根據(jù)本發(fā)明，所述方法還包括以下步驟：
[0035] -通過使用不同于所述第一捕獲模塊的第二捕獲模塊，獲得對應(yīng)于采用第二捕獲 角表示所述場景的至少一個圖像的元數(shù)據(jù)，其中所述第二捕獲角嚴格大于所述第一捕獲 角，所述至少一個圖像被稱為總體圖像，所述總體圖像包括所述視頻圖像；
[0036] _根據(jù)對應(yīng)于所述總體圖像的所述元數(shù)據(jù)確定亮度信息；
[0037] -在考慮所述亮度信息的情況下，對所述視頻圖像的動態(tài)范圍進行轉(zhuǎn)換。
[0038] 因此，根據(jù)本發(fā)明對視頻序列的處理基于對根據(jù)圖像確定的亮度信息的考慮，所 述圖像不屬于所述視頻序列并且是由與用于捕獲視頻序列的圖像的捕獲模塊不同的捕獲 模塊捕獲的。
[0039] 事實上，對視頻序列的這一處理允許對關(guān)于用于捕獲視頻序列的視頻圖像的捕獲 模塊的捕獲角的亮度信息的捕獲角進行放大。
[0040] 亮度信息被認為是對應(yīng)于亮度或luma值（對應(yīng)于亮度分量，其被定量和編碼，以 便與顯示標準兼容）的信息。
[0041] 例如，這種亮度信息是位于視頻序列中的一些視頻幀之外的場景中的點（或區(qū) 域）的亮度的最大值，比如照亮足球賽的陽光所提供的亮度的最大值，其中錄像機只聚焦 于場地，而不會照向天空。
[0042] 從而，有可能在所考慮的時刻t捕獲的視頻圖像的范圍不包括場景中具有最大亮 度值的點，有利地，對最大值的這種了解是根據(jù)本發(fā)明通過具有使用不同的捕獲模塊以更 大的捕獲角捕獲的第二圖像提供的。
[0043]例如，第一捕獲模塊是傳統(tǒng)的數(shù)字電影相機，例如由Sony?1、JVC?、Canon⑧.