本發(fā)明涉及用于處理視頻序列的圖像的方法和裝置。具體地，本發(fā)明涉及圖像序列的處理，其中，例如通過(guò)應(yīng)用色調(diào)映射處理，根據(jù)HDR圖像獲得LDR圖像。

背景技術(shù)：

由成像設(shè)備所捕獲的場(chǎng)景中的光的變化可能變化很大。例如，與由直射日光所照亮的對(duì)象相比，位于場(chǎng)景的陰影中的對(duì)象可能看起來(lái)非常暗。由傳統(tǒng)的低動(dòng)態(tài)范圍(LDR)圖像所提供的有限的動(dòng)態(tài)范圍和色域(colour gamut)往往不針對(duì)這樣的場(chǎng)景內(nèi)的照度(luminance)和色彩的改變的準(zhǔn)確再現(xiàn)提供足夠的范圍。典型地，表示圖像的像素的照度或色彩的LDR圖像的成分的值由有限數(shù)量的位(典型地8位、10位或者12位)來(lái)表示。由這樣的表示所提供的照度的有限范圍使得小的信號(hào)變化(特別是在照度的明亮和黑暗范圍中的小的信號(hào)變化)不能夠被有效地再現(xiàn)。

與傳統(tǒng)LDR圖像相比，高動(dòng)態(tài)范圍成像(也稱作HDR或者HDRI)允許場(chǎng)景的光亮區(qū)域和黑暗區(qū)域之間的照度的更大的動(dòng)態(tài)范圍。這在HDR成像中通過(guò)將信號(hào)表示擴(kuò)展到更寬的動(dòng)態(tài)范圍以跨越整個(gè)范圍提供高信號(hào)準(zhǔn)確度來(lái)實(shí)現(xiàn)。在HDR圖像中，像素的成分值通常用更大數(shù)量的位(例如從16位到64位)來(lái)表示，包括表示為浮點(diǎn)格式(例如，針對(duì)每個(gè)成分32位或者16位，即浮點(diǎn)或者半浮點(diǎn))，其中最流行的格式是openEXR半浮點(diǎn)格式(針對(duì)每個(gè)RGB成分16位，亦即針對(duì)每個(gè)像素48位)，或者表示為具有長(zhǎng)表示的整數(shù)，典型地至少16位。這樣的范圍對(duì)應(yīng)于人類視覺系統(tǒng)的自然靈敏度。這樣，HDR圖像更準(zhǔn)確地表示在真實(shí)場(chǎng)景中感到的寬范圍的照度，從而提供場(chǎng)景的更真實(shí)的表示。高動(dòng)態(tài)范圍成像在計(jì)算機(jī)圖形和圖像處理兩個(gè)領(lǐng)域中正在變得被廣泛地使用。

然而，一些顯示設(shè)備具有有限的動(dòng)態(tài)范圍，其對(duì)于再現(xiàn)由HDR成像所提供的光強(qiáng)度的全部范圍是不充分的。為此，已經(jīng)使用各種技術(shù)來(lái)呈現(xiàn)與LDR型顯示器兼容的HDR圖像數(shù)據(jù)。例如，色調(diào)映射是一種被用于將一組色彩映射到另一組以便在具有更有限的動(dòng)態(tài)范圍的介質(zhì)中近似高動(dòng)態(tài)范圍圖像的外觀的技術(shù)。色調(diào)映射算子(Tone Mapping Operatior，TMO)使得在HDR圖像中可用的廣泛范圍的值能夠在LDR顯示器(低動(dòng)態(tài)范圍)上再現(xiàn)。

存在兩種主要類型的TMO：全局算子和局部算子。

全局算子使用HDR幀的特性，針對(duì)整體圖像計(jì)算單調(diào)遞增的色調(diào)映射曲線。因此，這些算子確?？臻g亮度連貫性(coherency)。然而，它們通常無(wú)法再現(xiàn)HDR幀中所包含的更精細(xì)的細(xì)節(jié)。局部算子基于每個(gè)像素的空間近鄰對(duì)每個(gè)像素進(jìn)行色調(diào)映射。這些技術(shù)增加局部空間對(duì)比度，從而提供更加詳細(xì)的幀。

將TMO單獨(dú)地應(yīng)用于輸入視頻序列的每個(gè)幀通常導(dǎo)致時(shí)間不連貫(temporal incoherency)。存在兩種主要類型的時(shí)間不連貫：閃爍偽像和時(shí)間亮度不連貫(temporal brightness incoherency)。

閃爍偽像是由于TMO，并且由連續(xù)幀中的色調(diào)映射的迅速改變所造成。因此，相似的HDR照度值被映射到不同的LDR值。由于TMO的這種閃爍偽像是不期望的，并且應(yīng)當(dāng)減少。

時(shí)間亮度不連貫包括短期時(shí)間亮度不連貫和長(zhǎng)期時(shí)間亮度不連貫。當(dāng)在HDR場(chǎng)景中出現(xiàn)照明條件(全局或者局部)的迅速改變時(shí)，短期時(shí)間亮度不連貫出現(xiàn)。在不考慮時(shí)間上接近的幀的情況下應(yīng)用TMO，導(dǎo)致不同的HDR值被映射到相似的LDR值。因此，色調(diào)映射丟失原本應(yīng)當(dāng)保留的關(guān)于場(chǎng)景的信息。

最后，當(dāng)在色調(diào)映射處理的過(guò)程期間沒(méi)有保留相關(guān)HDR幀的亮度時(shí)，長(zhǎng)期時(shí)間亮度不連貫發(fā)生。因此，在HDR序列中被感知為最亮的幀在LDR序列中不一定是最亮的。與閃爍偽像和短期時(shí)間亮度不連貫不同，長(zhǎng)期時(shí)間亮度不連貫不一定通過(guò)連續(xù)的幀而出現(xiàn)。

簡(jiǎn)而言之，將TMO(全局的或者局部的)單獨(dú)地應(yīng)用于HDR視頻序列的每個(gè)幀導(dǎo)致時(shí)間不連貫。

為了試圖解決這樣的問(wèn)題，已經(jīng)提出各種方法。例如，已經(jīng)提出基于時(shí)間濾波的方案(Boitard R.、Thoreau D.、Bouatouch K.、Cozot R.：Temporal Coherency in Video Tone Mapping,a Survey。HDRi2013–First Intenational Conference and SME Workshop on HDR imaging(2013)，第1號(hào)，第1-6頁(yè))。取決于TMO，對(duì)所計(jì)算出的使映射適合于圖片的色調(diào)映射曲線或者變量進(jìn)行濾波。這樣的變量的示例是圖片的幾何均值(其為圖片的總體亮度的指示)、其最大值或者最小值等。然而，這些技術(shù)僅用于全局TMO，因?yàn)榫植縏MO具有非線性且空間變化的色調(diào)映射曲線。另外，當(dāng)短期時(shí)間亮度不連貫發(fā)生時(shí)，這些技術(shù)對(duì)兩種照明條件一起濾波，導(dǎo)致與原始HDR場(chǎng)景的照明條件均不對(duì)應(yīng)的過(guò)渡狀態(tài)下的色調(diào)映射。

對(duì)于局部TMO，保留時(shí)間連貫性在于防止色調(diào)映射在時(shí)間和空間上的大變化。已經(jīng)由Lee等人提出基于GDC算子的方案(Lee C.、Kim C.-S.：Gradient Domain Tone Mapping of High Dynamic Range Videos。2007IEEE International Conference on Image Processing(2007)，第2號(hào)，IEEE，第III-461至III-464頁(yè))。

首先，該技術(shù)對(duì)于每對(duì)連續(xù)的HDR幀執(zhí)行逐像素的(pixel-wise)運(yùn)動(dòng)估計(jì)，然后使用所得到的運(yùn)動(dòng)場(chǎng)作為針對(duì)對(duì)應(yīng)LDR幀的時(shí)間連貫性的約束。該約束確保對(duì)通過(guò)運(yùn)動(dòng)矢量相關(guān)聯(lián)的兩個(gè)像素進(jìn)行相似的色調(diào)映射。

盡管由于該技術(shù)而產(chǎn)生視覺改善，但是仍然存在若干缺點(diǎn)。首先，該方案取決于運(yùn)動(dòng)估計(jì)的穩(wěn)健性。當(dāng)該估計(jì)失敗(對(duì)象的遮擋)時(shí)，時(shí)間連貫性約束被應(yīng)用于屬于不同對(duì)象的像素，通常導(dǎo)致重影偽像。這樣的運(yùn)動(dòng)估計(jì)問(wèn)題將被稱作不連貫運(yùn)動(dòng)矢量。當(dāng)短期時(shí)間亮度不連貫發(fā)生時(shí)，該問(wèn)題也出現(xiàn)。在這種情況下，該技術(shù)使經(jīng)色調(diào)映射的值平均以便更接近于LDR序列中的在前幀中的值。而且，該技術(shù)僅針對(duì)一個(gè)局部TMO即GDC算子設(shè)計(jì)，并且無(wú)法擴(kuò)展到其他TMO。

最后，Guthier等人(Guthier,B.、Kopf,S.、Eble,M.和Effelsberg,W。(2011).Flicker reduction in tone mapped high dynamic range video。Proc.Of IS&T/SPIE Electronic Imaging(EI)on Color Imaging XVI:Displaying,Processing,Hardcopy,and Applications(p.78660C-78660C-15))設(shè)計(jì)了一種技術(shù)，其通過(guò)僅使用來(lái)自經(jīng)色調(diào)映射的序列的信息對(duì)任何TMO的輸出進(jìn)行后處理來(lái)減少閃爍偽像。

該方法比較視頻序列的連續(xù)幀之間的幾何均值(其為圖片的總體亮度的指示)。如果該差異大于閾值，則檢測(cè)到閃爍偽像。偽像一旦被定位到，就使用迭代亮度調(diào)整來(lái)減少，直至達(dá)到亮度閾值為止。

該方案檢測(cè)任何時(shí)間偽像。因此，HDR視頻序列中大于亮度閾值的亮度改變?cè)趯?dǎo)致短期時(shí)間亮度不連貫的色調(diào)映射處理期間減少。另外，僅以全局方式考慮時(shí)間不連貫，而忽略局部時(shí)間不連貫。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明考慮到前述內(nèi)容而設(shè)計(jì)。本發(fā)明的一般方面包括：對(duì)HDR源的連續(xù)幀和經(jīng)LDR色調(diào)映射的序列的對(duì)應(yīng)幀進(jìn)行時(shí)間分解；以及在HDR頻率子帶和LDR頻率子帶之間進(jìn)行比較。

根據(jù)本發(fā)明的第一方面，提供一種處理視頻序列的圖像的方法，包括：對(duì)包括當(dāng)前HDR圖像和在前HDR圖像的兩個(gè)時(shí)間上連續(xù)的HDR圖像進(jìn)行時(shí)間頻率分解，以獲得高HDR時(shí)間頻率子帶和低HDR時(shí)間頻率子帶；對(duì)分別根據(jù)兩個(gè)時(shí)間上連續(xù)的HDR圖像獲得的、包括當(dāng)前LDR圖像和在前LDR圖像的兩個(gè)時(shí)間上連續(xù)的LDR圖像進(jìn)行時(shí)間頻率分解，以獲得高LDR頻率子帶和低LDR頻率子帶；應(yīng)用邊緣檢測(cè)，以根據(jù)高HDR時(shí)間頻率子帶獲得HDR邊緣映射并且根據(jù)高LDR時(shí)間頻率子帶獲得LDR邊緣映射；以及基于高HDR時(shí)間頻率子帶與高LDR時(shí)間頻率子帶之間的比較修改當(dāng)前LDR圖像，其中，對(duì)所獲得的HDR邊緣映射和LDR邊緣映射進(jìn)行比較，例如以檢測(cè)邊緣映射的對(duì)應(yīng)像素之間的差異。

HDR頻率子帶和LDR頻率子帶之間的比較使得能夠在逐像素的基礎(chǔ)上檢測(cè)時(shí)間不連貫。例如，能夠減少經(jīng)色調(diào)映射的視頻序列的連續(xù)幀中的時(shí)間不連貫。頻率子帶的比較還使得能夠減少重影偽像的出現(xiàn)。

HDR或LDR的高時(shí)間頻率子帶表示比低時(shí)間頻率子帶更高的頻率范圍的時(shí)間頻率子帶。從而，HDR或LDR的低時(shí)間頻率子帶表示比高時(shí)間頻率子帶更低的頻率范圍的時(shí)間頻率子帶。

在實(shí)施例中，方法包括：基于至少一個(gè)HDR閾值根據(jù)高HDR時(shí)間頻率子帶獲得HDR邊緣映射，并且基于至少一個(gè)LDR閾值根據(jù)高LDR時(shí)間頻率子帶獲得LDR邊緣映射；以及對(duì)所獲得的HDR和LDR邊緣映射進(jìn)行比較。

在實(shí)施例中，邊緣檢測(cè)包括應(yīng)用肯尼(Canny)濾波器。

在實(shí)施例中，方法包括：根據(jù)邊緣映射比較來(lái)區(qū)分閃爍偽像的存在與短期亮度不連貫的存在。

在實(shí)施例中，用于獲得HDR邊緣映射的至少一個(gè)HDR閾值和/或用于獲得LDR邊緣映射的至少一個(gè)LDR閾值是用戶定義的。

在實(shí)施例中，用于獲得HDR邊緣映射的至少一個(gè)HDR閾值基于低HDR時(shí)間頻率子帶，并且/或者用于獲得LDR邊緣映射的至少一個(gè)LDR閾值基于低LDR時(shí)間頻率子帶。

在實(shí)施例中，針對(duì)圖像的每個(gè)像素的閾值取決于相應(yīng)的低時(shí)間頻率子帶中的值。

在實(shí)施例中，進(jìn)行時(shí)間頻率分解包括：基于根據(jù)兩個(gè)時(shí)間上連續(xù)的HDR幀或?qū)?yīng)的LDR幀的運(yùn)動(dòng)估計(jì)所確定的運(yùn)動(dòng)矢量，進(jìn)行經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波。

優(yōu)選地，根據(jù)兩個(gè)時(shí)間上連續(xù)的HDR幀的運(yùn)動(dòng)估計(jì)獲得運(yùn)動(dòng)矢量。這提供更準(zhǔn)確的運(yùn)動(dòng)估計(jì)。

在實(shí)施例中，方法包括：在兩個(gè)時(shí)間上連續(xù)的HDR圖像之間進(jìn)行運(yùn)動(dòng)估計(jì)，以提供用于對(duì)HDR圖像進(jìn)行時(shí)間頻率分解和對(duì)經(jīng)色調(diào)映射的LDR圖像進(jìn)行時(shí)間頻率分解的運(yùn)動(dòng)矢量。使用運(yùn)動(dòng)估計(jì)使得能夠遍及空間和時(shí)間域檢測(cè)時(shí)間不連貫偽像。

在實(shí)施例中，修改當(dāng)前LDR圖像包括：將閃爍偽像減少到LDR閾值以下或者將短期亮度連貫性增加到LDR閾值以上。

應(yīng)當(dāng)意識(shí)到，本發(fā)明可以應(yīng)用于根據(jù)HDR圖像獲得LDR圖像的任何處理?？梢詰?yīng)用任何動(dòng)態(tài)范圍縮放處理以根據(jù)對(duì)應(yīng)的HDR圖像獲得LDR圖像。在實(shí)施例中，當(dāng)前LDR圖像和在前LDR圖像每個(gè)分別根據(jù)當(dāng)前HDR圖像和在前HDR圖像通過(guò)色調(diào)映射處理獲得。應(yīng)當(dāng)意識(shí)到，在這樣的實(shí)施例中，可以應(yīng)用任何色調(diào)映射算子。

根據(jù)本發(fā)明的第二方面，提供一種用于處理視頻序列的圖像的設(shè)備，包括：濾波器，用于對(duì)包括當(dāng)前HDR圖像和在前HDR圖像的兩個(gè)時(shí)間上連續(xù)的HDR圖像進(jìn)行時(shí)間頻率分解以獲得高頻HDR時(shí)間頻率子帶和低頻HDR時(shí)間頻率子帶，以及對(duì)分別根據(jù)兩個(gè)時(shí)間上連續(xù)的HDR圖像獲得的兩個(gè)時(shí)間上連續(xù)的LDR圖像進(jìn)行時(shí)間頻率分解以獲得高頻LDR頻率子帶和低頻LDR頻率子帶；比較器，用于進(jìn)行高HDR時(shí)間頻率子帶與高LDR時(shí)間頻率子帶之間的比較；以及圖像校正器，用于基于高HDR時(shí)間頻率子帶與高LDR時(shí)間頻率子帶之間的比較來(lái)修改當(dāng)前LDR圖像。該設(shè)備配備有邊緣映射生成器，邊緣映射生成器用于基于至少一個(gè)HDR閾值根據(jù)高HDR時(shí)間頻率子帶獲得HDR邊緣映射以及基于至少一個(gè)LDR閾值根據(jù)高LDR時(shí)間頻率子帶獲得LDR邊緣映射，并且比較器被配置為對(duì)所獲得的HDR邊緣映射和LDR邊緣映射進(jìn)行比較以檢測(cè)對(duì)應(yīng)像素之間的差異。

在實(shí)施例中，邊緣映射生成器包括肯尼濾波器。

在實(shí)施例中，肯尼濾波器包括平滑模塊、閾值限定(thresholding)模塊以及邊緣插值(interpolation)調(diào)制器。

在實(shí)施例中，用于獲得HDR邊緣映射的至少一個(gè)HDR閾值和/或用于獲得LDR邊緣映射的至少一個(gè)LDR閾值是用戶定義的。

在實(shí)施例中，用于獲得HDR邊緣映射的至少一個(gè)HDR閾值基于低頻HDR時(shí)間頻率子帶，并且/或者用于獲得LDR邊緣映射的至少一個(gè)LDR閾值基于低頻LDR時(shí)間頻率子帶。

在實(shí)施例中，濾波器被配置為基于根據(jù)兩個(gè)時(shí)間上連續(xù)的HDR幀或?qū)?yīng)的LDR幀的運(yùn)動(dòng)估計(jì)所確定的運(yùn)動(dòng)矢量進(jìn)行經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波。

根據(jù)本發(fā)明的另一個(gè)方面，提供一種顯示設(shè)備，其包括根據(jù)本發(fā)明的第二方面的任何實(shí)施例的用于處理視頻序列的圖像的設(shè)備以及用于顯示LDR圖像的顯示器。

本發(fā)明的實(shí)施例幫助解決閃爍偽像和短期不連貫偽像，因?yàn)槠涫褂肏DR子帶來(lái)檢測(cè)HDR序列中的照明條件(全局的或者局部的)的時(shí)間改變(或者缺乏)以在LDR序列中保留它們。

根據(jù)本發(fā)明的實(shí)施例的方法的至少部分可以是計(jì)算機(jī)實(shí)現(xiàn)的。因此，本發(fā)明可以采取完全硬件實(shí)施例的形式、完全軟件實(shí)施例(包括固件、常駐軟件、微碼等)的形式或者組合軟件和硬件方面的實(shí)施例的形式，其均可以在本文中被一般地稱作“電路”、“模塊”或者“系統(tǒng)”。而且，本發(fā)明可以采取在任何有形的表現(xiàn)介質(zhì)中實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式，表現(xiàn)介質(zhì)在該介質(zhì)中實(shí)施有計(jì)算機(jī)可用的程序代碼。

因?yàn)楸景l(fā)明能夠以軟件實(shí)現(xiàn)，所以本發(fā)明能夠?qū)嵤橛?jì)算機(jī)可讀代碼，以便通過(guò)任何適當(dāng)?shù)妮d體介質(zhì)提供給可編程裝置。有形的載體介質(zhì)可以包括諸如軟盤、CD-ROM、硬盤驅(qū)動(dòng)器、磁帶設(shè)備或者固態(tài)存儲(chǔ)設(shè)備等存儲(chǔ)介質(zhì)。瞬態(tài)的載體介質(zhì)可以包括諸如電氣信號(hào)、電子信號(hào)、光信號(hào)、聲信號(hào)、磁信號(hào)或者電磁信號(hào)(例如微波或者RE信號(hào))這樣的信號(hào)。

附圖說(shuō)明

現(xiàn)在將僅通過(guò)示例并且參考下面的附圖來(lái)描述本發(fā)明的實(shí)施例，附圖中：

圖1是根據(jù)本發(fā)明第一實(shí)施例的處理視頻序列的圖像的方法的示意框圖；

圖2是根據(jù)本發(fā)明的實(shí)施例的使用運(yùn)動(dòng)補(bǔ)償(MC)對(duì)兩個(gè)幀進(jìn)行時(shí)間子帶分解的方法的示意圖；

圖3是例示根據(jù)本發(fā)明的實(shí)施例的對(duì)頻率子帶進(jìn)行比較的方法的步驟的示意圖；

圖4是能夠?qū)崿F(xiàn)本發(fā)明的一個(gè)或多個(gè)實(shí)施例的處理設(shè)備的框圖；以及

圖5是能夠?qū)崿F(xiàn)本發(fā)明的一個(gè)或多個(gè)實(shí)施例的電子設(shè)備的示例的框圖。

具體實(shí)施方式

時(shí)間不連貫偽像是視頻序列的連續(xù)幀中的亮度的全局或者局部的改變(或者缺乏)?？梢杂稍诒疚闹兴枋龅谋景l(fā)明的實(shí)施例解決的兩種類型的時(shí)間不連貫是閃爍偽像(其中，在HDR序列中存在亮度的改變的缺乏，同時(shí)亮度的改變?cè)贚DR序列中發(fā)生)和短期亮度不連貫(其中，在HDR序列中存在亮度的改變，而沒(méi)有亮度的改變?cè)贚DR序列中發(fā)生)。

圖1是例示根據(jù)本發(fā)明的第一實(shí)施例的用于處理視頻序列的圖像的方法的步驟的示意框圖。

方法在步驟S101中以獲取HDR圖像數(shù)據(jù)而開始。本示例中的HDR圖像數(shù)據(jù)代表圖像的視頻序列。HDR圖像數(shù)據(jù)可以例如直接從諸如攝影機(jī)這樣的成像設(shè)備獲取、從存儲(chǔ)它的存儲(chǔ)器獲取(存儲(chǔ)器可以位于本地或者遠(yuǎn)程)或者經(jīng)由無(wú)線或有線通信線路接收。

如這里所使用的那樣，術(shù)語(yǔ)“HDR圖像”或者“HDR幀”指包括以浮點(diǎn)(浮動(dòng)或者半浮動(dòng))、定點(diǎn)或者長(zhǎng)表示整數(shù)格式(典型地以大于16的位數(shù)表示)的高動(dòng)態(tài)范圍數(shù)據(jù)的任何HDR圖像或幀。

在圖1的所例示的示例中，從HDR視頻序列獲取兩個(gè)時(shí)間上連續(xù)的HDR幀F(xiàn)^HDR_t-1和F^HDR_t進(jìn)行處理：當(dāng)前的HDR幀F(xiàn)^HDR_t(時(shí)間t)以及其在時(shí)間上在前的HDR幀F(xiàn)^HDR_t-1(時(shí)間t-1)。

在步驟S102中，通過(guò)使用任何TMO的色調(diào)映射處理對(duì)兩個(gè)時(shí)間上連續(xù)的HDR幀F(xiàn)^HDR_t-1和F^HDR_t進(jìn)行色調(diào)映射，以獲得兩個(gè)相應(yīng)的經(jīng)色調(diào)映射的LDR圖像F^LDR_t-1和F^LDR_t：當(dāng)前的LDR幀F(xiàn)^LDR_t(時(shí)間t)以及其在時(shí)間上在前的LDR幀F(xiàn)^LDR_t-1(時(shí)間t-1)。作為根據(jù)本發(fā)明的實(shí)施例的處理的前一次迭代中的當(dāng)前LDR幀，在前的經(jīng)色調(diào)映射的幀(F^LDR_t-1)可能已經(jīng)經(jīng)歷了時(shí)間不連貫減少，在該情況下，其表示為圖1中的F^LDR*_t-1。

在HDR視頻序列的在前HDR幀F(xiàn)^HDR_t-1和當(dāng)前HDR幀F(xiàn)^HDR_t之間進(jìn)行運(yùn)動(dòng)估計(jì)。根據(jù)運(yùn)動(dòng)估計(jì)所獲得的運(yùn)動(dòng)矢量(Mv)用于在步驟S103中對(duì)HDR視頻序列的兩個(gè)連續(xù)的HDR幀F(xiàn)^HDR_t-1和F^HDR_t進(jìn)行經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波(Motion Compensated Temporal Filtering，MCTF)。該處理涉及將兩個(gè)連續(xù)的HDR幀F(xiàn)^HDR_t-1和F^HDR_t分解成兩個(gè)時(shí)間頻率子帶：較高頻率子帶，一般被記為高頻子帶(H^HDR)；以及較低頻率子帶，一般被記為低頻子帶(L^HDR)。

類似地，在步驟S104中，對(duì)與兩個(gè)連續(xù)的HDR幀F(xiàn)^HDR_t-1和F^HDR_t相對(duì)應(yīng)的經(jīng)色調(diào)映射的LDR視頻序列的在前幀F(xiàn)^LDR*_t-1和當(dāng)前幀F(xiàn)^LDR_t進(jìn)行MCTF。應(yīng)用于經(jīng)色調(diào)映射的LDR視頻序列的在前幀F(xiàn)^LDR*_t-1和當(dāng)前幀F(xiàn)^LDR_t的MCTF使用與在HDR視頻序列的對(duì)應(yīng)的兩個(gè)連續(xù)HDR幀F(xiàn)^HDR_t-1和F^HDR_t的MCTF中所應(yīng)用的運(yùn)動(dòng)矢量相同的運(yùn)動(dòng)矢量。因此，針對(duì)LDR幀，獲得兩個(gè)時(shí)間頻率子帶：較高(高)頻率子帶(H^LDR)和較低(低)頻率子帶(L^LDR)。

雖然為了更好的準(zhǔn)確性而優(yōu)選根據(jù)對(duì)兩個(gè)連續(xù)的HDR幀進(jìn)行的運(yùn)動(dòng)估計(jì)獲得運(yùn)動(dòng)矢量，但是在本發(fā)明的一些實(shí)施例中，可以根據(jù)對(duì)兩個(gè)連續(xù)的LDR幀進(jìn)行的運(yùn)動(dòng)估計(jì)來(lái)獲得運(yùn)動(dòng)矢量。

在步驟S105中，使用從LDR序列和HDR序列兩者獲得的高頻時(shí)間頻率子帶(H^LDR和H^HDR)檢測(cè)時(shí)間不連貫偽像。使用該檢測(cè)，修改視頻序列的當(dāng)前LDR幀F(xiàn)^LDR_t以減少那些偽像。獲得經(jīng)處理的當(dāng)前經(jīng)色調(diào)映射的幀F(xiàn)^LDR*_t。應(yīng)當(dāng)注意到，由子帶分解所產(chǎn)生的低頻時(shí)間頻率子帶的進(jìn)一步處理不是強(qiáng)制性的。

將參考圖2描述根據(jù)本發(fā)明的實(shí)施例的在步驟S103和S104中所應(yīng)用的時(shí)間頻率分解的處理。

在圖2的示例中，在圖2中被一般地引用為F_t-1和F_t的HDR幀F(xiàn)^HDR_t-1和F^HDR_t或者對(duì)應(yīng)的經(jīng)色調(diào)映射的LDR幀F(xiàn)^LDR_t-1和F^LDR_t的時(shí)間頻率分解的處理包括：使用根據(jù)在前HDR幀F(xiàn)^HDR_t-1與當(dāng)前HDR幀F(xiàn)^HDR_t之間的運(yùn)動(dòng)估計(jì)所獲得的反向運(yùn)動(dòng)矢量v_b和前向運(yùn)動(dòng)矢量v_f應(yīng)用正交變換，以分別在步驟S201和S202中獲得高時(shí)間頻率子帶H和低時(shí)間頻率子帶L：

(步驟S201)

(步驟S202)

其中，H和L分別是在LDR級(jí)別或者HDR級(jí)別所獲得的高時(shí)間頻率子帶和低時(shí)間頻率子帶，v_b和v_f分別是根據(jù)時(shí)間上連續(xù)的HDR幀之間的運(yùn)動(dòng)估計(jì)所獲得的反向運(yùn)動(dòng)矢量和前向運(yùn)動(dòng)矢量，而n是幀F(xiàn)_t中的像素位置，并且p對(duì)應(yīng)于n+v_b。

將參考圖3描述用于實(shí)現(xiàn)圖1的步驟S105的偽像檢測(cè)和減少功能的根據(jù)本發(fā)明的實(shí)施例的示例。LDR級(jí)別的高時(shí)間頻率子帶H^LDR和HDR級(jí)別的高時(shí)間頻率子帶H^HDR每個(gè)分別在步驟S311和S321中使用各自的閾值，以創(chuàng)建各自的邊緣映射E^HDR和E^LDR：

然后，在步驟S330中，將兩個(gè)邊緣映射彼此進(jìn)行比較，以檢測(cè)邊緣差異，并且如果檢測(cè)到差異，則視為存在時(shí)間不連貫偽像。如在表格1的示例中所概括，可以區(qū)分若干情況：

表格1.時(shí)間不連貫的檢測(cè)

為了校正在邊緣映射中出現(xiàn)的任何差異，在步驟S340中，在每個(gè)所需要的像素位置(x，y)處，校正當(dāng)前經(jīng)色調(diào)映射的幀(F^LDR_t)，以便將閃爍偽像減少到閾值以下或者使短期亮度不連貫到閾值以上。

雖然表格1展示E^HDR(n)和E^LDR(n)的獲得值是1或0的二元邊緣映射的示例，但是應(yīng)當(dāng)意識(shí)到，在本發(fā)明的其他實(shí)施例中，可以將多個(gè)閾值應(yīng)用于HDR高時(shí)間頻率子帶和LDR高時(shí)間頻率子帶，以獲得對(duì)應(yīng)的邊緣映射。在使用多個(gè)不同的閾值獲得每個(gè)邊緣映射的情況下，獲得指示邊緣的強(qiáng)度的相應(yīng)的HDR邊緣映射和LDR邊緣映射。如果強(qiáng)度在HDR高頻子帶和LDR高頻子帶之間是不同的，則基于強(qiáng)度差異中的差異來(lái)修改當(dāng)前LDR圖像。

可以以若干方式計(jì)算HDR閾值和LDR閾值。

例如，在一個(gè)實(shí)施例中，閾值是用戶定義的。

在另外的實(shí)施例中，分別根據(jù)兩個(gè)低頻子帶(L^HDR和L^LDR)得出閾值。在這樣的情況下，取決于低頻子帶中的值，存在針對(duì)每個(gè)像素的閾值。

現(xiàn)在將描述根據(jù)本發(fā)明的實(shí)施例的校正邊緣差異功能的應(yīng)用。在表格1的示例中，存在應(yīng)當(dāng)解決的兩種情況。首先，在兩個(gè)時(shí)間上連續(xù)的HDR幀之間不存在時(shí)間邊緣，而在對(duì)應(yīng)的時(shí)間上連續(xù)的LDR幀中存在邊緣。這對(duì)應(yīng)于由TMO的應(yīng)用而引入的閃爍偽像。在示例中，該偽像稱作情況“FA”。第二，在兩個(gè)時(shí)間上連續(xù)的HDR幀之間存在時(shí)間邊緣，而在時(shí)間上連續(xù)的LDR幀中不存在時(shí)間邊緣。這是短期時(shí)間亮度不連貫。在示例中，該偽像稱作情況“BI”。

根據(jù)實(shí)施例，減少偽像，使得HDR邊緣映射E^HDR和LDR邊緣映射E^LDR具有相同的值。例如，為了遵守下面的表達(dá)式：

其中，是偽像已經(jīng)減少的經(jīng)后處理的當(dāng)前LCR幀，并且計(jì)算如下：

其中，“fa”和“bi”代表分別已經(jīng)檢測(cè)到閃爍偽像“FA”和時(shí)間亮度不連貫偽像“BI”的像素。fav_b和biv_b分別對(duì)應(yīng)于與像素“fa”和“bi”相關(guān)聯(lián)的運(yùn)動(dòng)矢量。最后，“delta”是量化步驟，應(yīng)用該量化步驟以將所得到的值置于閾值以上，以便遵守等式(A)和(B)中的不等式。

在圖1至圖3中，所例示的模塊對(duì)應(yīng)于功能單元，其可能對(duì)應(yīng)于或者不對(duì)應(yīng)于可區(qū)分的物理單元。例如，多個(gè)這樣的模塊可以在唯一的組件或電路中關(guān)聯(lián)或者對(duì)應(yīng)于軟件模塊。而且，模塊可以能夠由單獨(dú)的物理實(shí)體或者軟件功能性組成。

與本發(fā)明的實(shí)施例兼容的設(shè)備可以僅通過(guò)硬件、僅通過(guò)軟件或者通過(guò)硬件和軟件的組合來(lái)實(shí)現(xiàn)。就硬件(例如專用硬件)而言，可以使用諸如例如ASIC(特定應(yīng)用集成電路)、FPGA(現(xiàn)場(chǎng)可編程門陣列)或者VLSI(超大規(guī)模集成電路)，或者可以通過(guò)使用嵌入在設(shè)備中或者由硬件和軟件組件的組合構(gòu)成的若干集成電子組件。

在本發(fā)明的另外的實(shí)施例中，應(yīng)用邊緣檢測(cè)技術(shù)來(lái)檢測(cè)HDR高頻時(shí)間子帶和LDR高頻時(shí)間子帶(H^LDR和H^HDR)中存在的邊緣，以獲得相應(yīng)的邊緣映射。這涉及檢測(cè)對(duì)應(yīng)于當(dāng)前圖像與在前圖像之間的光度的改變并指示時(shí)間偽像的高頻子帶中存在的邊緣。為了實(shí)現(xiàn)這一點(diǎn)，使用肯尼濾波器?？夏釣V波器能夠進(jìn)行邊緣檢測(cè)，并且與例如拉普拉斯(Laplace)濾波器相比提供邊緣的更精確定位?？夏釣V波器處理的第一步驟涉及通過(guò)平滑來(lái)減少圖像中的噪聲。可以例如通過(guò)應(yīng)用高斯(Gaussian)進(jìn)行平滑。然后，在隨后的步驟中，通過(guò)應(yīng)用梯度來(lái)檢測(cè)邊緣。在隨后的步驟中，應(yīng)用閾值限定；閾值能夠例如通過(guò)因子α修改。然后，通過(guò)插值對(duì)所檢測(cè)到的邊緣進(jìn)行精細(xì)化，以便找到梯度法線在何處具有局部最大值。能夠抑制非最大值，并且獲得HDR邊緣映射和LDR邊緣映射以便比較，以用于步驟S105中的偽像的檢測(cè)和校正。

圖4是表示可以實(shí)現(xiàn)本發(fā)明的一個(gè)或多個(gè)實(shí)施例的電子設(shè)備400的功能組件的示意框圖。

電子設(shè)備400包括存儲(chǔ)器410、一個(gè)或多個(gè)處理單元(CPU)420、用于與應(yīng)用往返傳送數(shù)據(jù)的輸入/輸出接口430以及用于連接到外部設(shè)備或網(wǎng)絡(luò)的接口端口470。組件經(jīng)由一個(gè)或多個(gè)通信總線450進(jìn)行通信。

存儲(chǔ)器可以包括高速隨機(jī)存取存儲(chǔ)器(RAM)411和只讀存儲(chǔ)器(ROM)412。存儲(chǔ)器的寄存器可以對(duì)應(yīng)于設(shè)備的任何存儲(chǔ)器的低容量的部分(一些位)或者高容量部分(例如整個(gè)計(jì)算機(jī)程序代碼或者大量壓縮或未壓縮的數(shù)據(jù))。ROM 412存儲(chǔ)至少程序代碼和參數(shù)。用于根據(jù)本發(fā)明的實(shí)施例的處理圖像序列的方法的算法可以存儲(chǔ)在ROM 412中。

一個(gè)或多個(gè)CPU 420運(yùn)行存儲(chǔ)在存儲(chǔ)器410中的各種軟件程序和/或指令集，以執(zhí)行處理設(shè)備400的功能和處理數(shù)據(jù)。RAM 411包括寄存器中由CPU 420執(zhí)行并且在設(shè)備400接通之后上載的程序、寄存器中的輸入數(shù)據(jù)、寄存器中的算法的不同狀態(tài)時(shí)的中間數(shù)據(jù)以及用于寄存器中算法的執(zhí)行的其他變量。當(dāng)接通時(shí)，CPU 420從RAM 411上載軟件程序并且執(zhí)行對(duì)應(yīng)的指令。

要根據(jù)本發(fā)明的實(shí)施例處理的圖像可以存儲(chǔ)在存儲(chǔ)器410中。從根據(jù)本發(fā)明的實(shí)施例的方法所獲得的經(jīng)處理的圖像可以存儲(chǔ)在存儲(chǔ)器410中。

存儲(chǔ)器410可以包括非易失性存儲(chǔ)器，諸如一個(gè)或多個(gè)磁盤存儲(chǔ)設(shè)備、閃速存儲(chǔ)設(shè)備或者其他非易失性固態(tài)存儲(chǔ)設(shè)備。在一些實(shí)施例中，存儲(chǔ)器還可以包括位于一個(gè)或多個(gè)CPU 420遠(yuǎn)程的儲(chǔ)存器。例如，經(jīng)由接口和/或通信網(wǎng)絡(luò)可訪問(wèn)的儲(chǔ)存器。

在一些實(shí)施例中，設(shè)備配備有諸如電池440這樣的電源。根據(jù)替代的實(shí)施例，電源可以在設(shè)備外部。

設(shè)備可以配備有顯示器460，例如LDR兼容的顯示器，用于顯示從根據(jù)本發(fā)明的實(shí)施例的方法所獲得的經(jīng)處理的LDR圖像。在其他實(shí)施例中，顯示器位于設(shè)備400遠(yuǎn)程，并且經(jīng)處理的圖像例如由端口470、經(jīng)由有線或者無(wú)線數(shù)據(jù)通信接口或者經(jīng)由有線或者無(wú)線網(wǎng)絡(luò)連接傳送到顯示器。HDR圖像可以通過(guò)端口470、經(jīng)由有線或者無(wú)線通信接口或者經(jīng)由有線或者無(wú)線網(wǎng)絡(luò)連接來(lái)接收。

圖5是例示可以實(shí)現(xiàn)本發(fā)明的實(shí)施例的電子系統(tǒng)的組件的示意框圖。該電子系統(tǒng)包括用于獲取HDR圖像的圖像獲取模塊510、用于根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例處理HDR圖像的圖像處理器520以及與LDR圖像的顯示兼容的顯示設(shè)備。HDR獲取設(shè)備510可以是例如被配置為獲取HDR格式的圖像的攝像機(jī)或者存儲(chǔ)HDR圖像的介質(zhì)。

圖像處理器520包括：濾波器521，用于對(duì)包括當(dāng)前HDR圖像F^HDR_t-1和F^HDR_t以及在前HDR圖像F^HDR_t-1的兩個(gè)時(shí)間上連續(xù)的HDR圖像F^HDR_t-1和F^HDR_t進(jìn)行時(shí)間頻率分解，以獲得高HDR時(shí)間頻率子帶H^HDR和低HDR時(shí)間頻率子帶L^HDR，并且分別對(duì)根據(jù)兩個(gè)時(shí)間上連續(xù)的HDR圖像所獲得的兩個(gè)時(shí)間上連續(xù)的LDR圖像F^LDR_t-1和F^LDR_t進(jìn)行時(shí)間頻率分解，以獲得高LDR時(shí)間頻率子帶H^LDR和低LDR時(shí)間頻率子帶L^LDR；比較器522，用于在高HDR時(shí)間頻率子帶H^HDR和高LDR時(shí)間頻率子帶和H^LDR之間進(jìn)行比較；以及圖像校正器523，用于基于高HDR時(shí)間頻率子帶H^HDR和高LDR時(shí)間頻率子帶H^LDR之間的比較來(lái)修改當(dāng)前LDR圖像F^LDR_t。然后，將經(jīng)處理的圖像傳送到LDR顯示設(shè)備530用于顯示。

本發(fā)明的實(shí)施例使得能夠檢測(cè)閃爍偽像和短期亮度不連貫以及減少這樣的缺陷。而且，本發(fā)明的實(shí)施例能夠用于區(qū)分閃爍偽像與短期亮度不連貫。本發(fā)明對(duì)于任何色調(diào)映射或者其他HDR-LDR縮放技術(shù)是通用的。在色調(diào)映射的情況下，本發(fā)明的實(shí)施例有助于檢測(cè)已經(jīng)由在色調(diào)映射處理中所使用的色調(diào)映射算子所引入的重影偽像。

雖然已經(jīng)在上文參考具體的實(shí)施例描述了本發(fā)明，但是應(yīng)當(dāng)意識(shí)到，本發(fā)明不局限于具體的實(shí)施例，并且在本發(fā)明范圍內(nèi)的修改對(duì)于本領(lǐng)域技術(shù)人員將是顯而易見的。

例如，應(yīng)當(dāng)意識(shí)到，雖然已經(jīng)關(guān)于從HDR圖像變換成LDR圖像的色調(diào)映射技術(shù)描述了本發(fā)明的實(shí)施例，但是應(yīng)當(dāng)意識(shí)到，本發(fā)明不局限于色調(diào)映射技術(shù)，并且可以應(yīng)用于將HDR圖像轉(zhuǎn)換成LDR兼容的圖像的任何技術(shù)。

當(dāng)參考前述例示性實(shí)施例時(shí)，本領(lǐng)域的技術(shù)人員將想到許多進(jìn)一步的修改和變化，前述例示性實(shí)施例僅作為示例給出而不打算限制本發(fā)明的范圍，本發(fā)明的范圍僅由所附的權(quán)利要求確定。特別地，在適當(dāng)?shù)那闆r下，來(lái)自不同實(shí)施例的不同特征可以互換。