本發(fā)明涉及視頻監(jiān)控領(lǐng)域，特別是涉及一種HDR視頻生成方法。

背景技術(shù)：

高動(dòng)態(tài)范圍(High Dynamic Range，簡(jiǎn)稱HDR)視頻與低動(dòng)態(tài)范圍(Low Dynamic Range，簡(jiǎn)稱LDR)視頻相比，能夠更加準(zhǔn)確的記錄真實(shí)場(chǎng)景的絕大部分色彩和光照信息，并能表現(xiàn)出豐富的色彩細(xì)節(jié)和明暗層次，而且能夠提供更高的對(duì)比度、更豐富的信息和更真實(shí)的視覺(jué)感受，能更好地匹配人眼對(duì)現(xiàn)實(shí)世界場(chǎng)景的認(rèn)知特性。正因?yàn)槿绱耍琀DR技術(shù)可以被應(yīng)用于對(duì)圖像質(zhì)量要求較高的領(lǐng)域，如醫(yī)學(xué)影像、視頻監(jiān)控、衛(wèi)星遙感和計(jì)算機(jī)視覺(jué)等領(lǐng)域中。

目前生成HDR視頻的方法主要分為兩類：一類是硬件方法，使用配有改進(jìn)傳感器的專用HDR攝相機(jī)一次曝光直接生成HDR，這種特殊的HDR攝相機(jī)系統(tǒng)需要有特殊的定制的硬件，不僅價(jià)格昂貴而且市場(chǎng)應(yīng)用性不廣泛。另一類是軟件方法，包括：(1)使用普通的攝相機(jī)拍攝交替循環(huán)曝光的低動(dòng)態(tài)范圍(Low Dynamic Range，簡(jiǎn)稱LDR)視頻，然后利用多幅LDR相鄰幀的圖像生成HDR相應(yīng)幀的圖像，該方法獲取視頻源比較繁瑣；(2)每一幀都利用單幅圖像生成HDR圖像的方法，從而生成HDR視頻；該方法獲取視頻源較之簡(jiǎn)單，但是每一幀都采用相同的方法生成HDR，導(dǎo)致會(huì)有冗余的操作。但是，與硬件的方法相比較，軟件的生成方法，細(xì)節(jié)信息更為細(xì)膩，而且對(duì)設(shè)備的要求較低。因此，實(shí)際應(yīng)用中大多使用軟件方法生成HDR視頻。

技術(shù)實(shí)現(xiàn)要素：

基于現(xiàn)有技術(shù)，本發(fā)明提出了一種基于LDR視頻的HDR視頻生成方法，在單幅圖像生成HDR圖像方法的基礎(chǔ)上，實(shí)現(xiàn)適用于LDR視頻的HDR視頻生成方案。

本發(fā)明提出了一種適用于LDR視頻的HDR視頻生成方法，該方法包括以下步驟：

步驟1、將一個(gè)正常曝光的圖像轉(zhuǎn)化為有著不同亮度的偽曝光圖像，建模如下：

其中，L_wk表示第k個(gè)偽曝光HDR圖像在坐標(biāo)(i,j)點(diǎn)處的亮度，P_k表示相鄰偽曝光之間的亮度差異的控制參數(shù)，L_d(i,j)表示在像素(i,j)點(diǎn)處的輸入LDR圖像的歸一化的亮度控制參數(shù)，L_max,k表示生成的第k個(gè)偽曝光圖像的最大亮度值。L_smax的值為382.5，L_ad,k表示第k幅偽曝光圖像的平均亮度控制參數(shù)：

L_ad,k＝1+exp(μEV_k)

其中，EV_k表示第k幅圖像的曝光值，μ的值設(shè)為0.85；對(duì)于給定不同的(EV_k，P_k)，得到LDR視頻第一幀圖像的多幅不同曝光的圖像；

根據(jù)圖像的對(duì)比度、飽和度以及曝光度，計(jì)算圖像的權(quán)重圖，并且得到N個(gè)多曝光圖像序列中第k個(gè)圖像(i,j)處的像素點(diǎn)的歸一化權(quán)重為：

圖像的權(quán)重圖W_ij,k計(jì)算公式如下：

其中，ij,k表示多曝光圖像序列中第k個(gè)圖像(i,j)處的像素點(diǎn)；ω_C、ω_S、ω_E分別用于控制的對(duì)比度測(cè)量因子C、飽和度測(cè)量因子S、曝光度測(cè)量因子E對(duì)標(biāo)量權(quán)重圖W的影響程度，ω_C＝ω_S＝ω_E＝1；

將N幅多曝光圖像序列分別進(jìn)行拉普拉斯金字塔分解，得到關(guān)于不同分辨率的圖像和權(quán)重圖的金字塔融合公式如下：

式中，N表示輸入的圖像總數(shù)，即生成的偽曝光圖像數(shù)，I_ij,k表示第k個(gè)輸入的圖像在坐標(biāo)(i,j)處的值，即第一步生成的L_wk，i,j表示像素點(diǎn)坐標(biāo)(i,j)，l表示進(jìn)行拉普拉斯金字塔分解或者高斯金字塔分解時(shí)的層，表示第k個(gè)輸入圖像在像素點(diǎn)坐標(biāo)為(i,j)處的歸一化的權(quán)重圖；表示對(duì)第k個(gè)輸入圖像在像素點(diǎn)坐標(biāo)為(i,j)處的歸一化權(quán)重圖進(jìn)行高斯金字塔分解，得到的第l層高斯金字塔；表示坐標(biāo)為(i,j)處的融合后圖像R的第l層拉普拉斯金字塔；表示對(duì)像素點(diǎn)坐標(biāo)為(i,j)處的第k個(gè)輸入圖像進(jìn)行拉普拉斯金字塔分解，得到的第l層拉普拉斯金字塔；

最后，將金字塔L{R}^l進(jìn)行拉普拉斯逆變換得到融合后的圖像R；至此，求出對(duì)于LDR視頻的第一幀LDR圖像的HDR圖像；

步驟2、將輸入的第一幀LDR圖像的R,G和B通道所有像素值存放到一個(gè)行向量x里，將第一幀合成的HDR圖像的R,G和B通道所有像素值存放到行向量y里；

通過(guò)CFTOOL工具，輸入向量x和向量y，通過(guò)判別均方誤差的大小來(lái)決定一個(gè)擬合曲線的優(yōu)劣性，找到一個(gè)MSE最小的擬合曲線；

通過(guò)HDR圖像的平均亮度值的差異來(lái)對(duì)生成的曲線進(jìn)行修正，從而得到最優(yōu)擬合曲線；具體處理包括：

定義灰度圖像的一元灰度熵為：

其中p_i表示圖像中灰度值為i的像素在該圖像中出現(xiàn)的概率；

通過(guò)人眼對(duì)生成的HDR圖像進(jìn)行感知，再參考信息熵的大小，對(duì)生成擬合曲線進(jìn)行修正，從而找到一條最優(yōu)化擬合曲線，作為L(zhǎng)DR圖像和HDR圖像之間的曲線擬合結(jié)果；

步驟3、利用步驟2得到的最優(yōu)化擬合曲線，對(duì)輸入的LDR視頻的每一幀都進(jìn)行相應(yīng)的像素級(jí)映射，得到最終的HDR視頻序列。

與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)現(xiàn)的獲取視頻源的方法復(fù)雜度低、減少了冗余的操作，更能夠?qū)崿F(xiàn)實(shí)時(shí)的LDR視頻向HDR視頻的轉(zhuǎn)換；由于采用單曝光視頻，所生成的HDR視頻的色彩信息更符合人眼視覺(jué)特性，細(xì)節(jié)更加清晰，包含信息更豐富。

附圖說(shuō)明

圖1為本發(fā)明的HDR圖像合成示意圖；

圖2為L(zhǎng)DR視頻第一幀以及合成的HDR圖像，(a)LDR視頻第一幀；(b)偽曝光金字塔合成LDR視頻；(c)利用較優(yōu)曲線合成LDR視頻。

圖3為利用最優(yōu)曲線生成的HDR視頻，(a)LDR視頻第一幀圖像，(b)LDR視頻第一幀圖像合成的HDR圖像，(c)LDR視頻第二幀圖像，(d)LDR視頻第二幀圖像合成的HDR圖像。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。

HDR視頻生成方法，具體步驟如下：

第一步、將LDR視頻第一幀圖像合成HDR圖像：將一個(gè)正常曝光的圖像轉(zhuǎn)化為有著不同亮度的偽曝光圖像，從而可以獲取更多的信息，建模如下：

其中，L_wk表示第k個(gè)偽曝光HDR圖像在坐標(biāo)(i,j)點(diǎn)處的亮度，P_k表示相鄰偽曝光之間的亮度差異的控制參數(shù)，L_d(i,j)表示在像素(i,j)點(diǎn)處的輸入LDR圖像的歸一化的亮度控制參數(shù)，L_max,k表示生成的第k個(gè)偽曝光圖像的最大亮度值。L_smax的值被設(shè)置為382.5，L_ad,k表示第k幅偽曝光圖像的平均亮度控制參數(shù)，而其是通過(guò)以下方程進(jìn)行調(diào)整：

L_ad,k＝1+exp(μEV_k) (2)

其中，EV_k表示第k幅圖像的曝光值，μ被設(shè)置為0.85。

因此該逆色調(diào)映射函數(shù)受EV_k、P_k控制，對(duì)于給定不同的(EV_k，P_k)，就會(huì)產(chǎn)生不同的偽曝光圖像。

在得到LDR視頻第一幀圖像的多幅不同曝光的圖像后，利用金字塔融合的方法，最終生成LDR視頻第一幀圖像對(duì)應(yīng)的HDR圖像。對(duì)于同一場(chǎng)景，由于生成的圖像有的曝光過(guò)度或者曝光不足，因此會(huì)形成平滑區(qū)域和不飽和區(qū)域，這些區(qū)域包含的信息較少，應(yīng)給予較小的權(quán)重，而感興趣的區(qū)域應(yīng)給予較大的權(quán)重。因此，根據(jù)圖像的對(duì)比度、飽和度以及曝光度，計(jì)算圖像的權(quán)重圖。

圖像的權(quán)重圖W如下：

其中，ij,k表示多曝光圖像序列中第k個(gè)圖像(i,j)處的像素點(diǎn)；ω_C、ω_S、ω_E分別用于控制的對(duì)比度測(cè)量因子C、飽和度測(cè)量因子S、曝光度測(cè)量因子E對(duì)標(biāo)量權(quán)重圖W的影響程度，該算法中取ω_C＝ω_S＝ω_E＝1。將公式(3)進(jìn)行歸一化，得到N個(gè)多曝光圖像序列中第k個(gè)圖像(i,j)處的像素點(diǎn)的權(quán)重為：

由于傳統(tǒng)的塔融合公式(5)合成效果不好，因此該算法使用金字塔來(lái)分解圖像，以多分辨率的方式來(lái)融合圖像。首先，將N幅多曝光圖像序列分別進(jìn)行拉普拉斯金字塔分解，將N幅權(quán)重圖分別進(jìn)行高斯金字塔分解，得到不同分辨率的圖像和權(quán)重圖，并記圖像A的第l層拉普拉斯金字塔分解為L(zhǎng){A}^l，記圖像B的第l層高斯金字塔分解為G{B}^l。然后，類似公式(5)，得到金字塔融合公式如下：

式中，N表示輸入的圖像總數(shù)，即生成的偽曝光圖像數(shù)，I表示輸入的偽曝光HDR圖像，即第一步生成的L_wk，i,j表示像素點(diǎn)(i,j)處，l表示進(jìn)行拉普拉斯金字塔分解或者高斯金字塔分解時(shí)的層，表示歸一化的權(quán)重圖。

最后，將金字塔L{R}^l進(jìn)行拉普拉斯逆變換得到融合后的圖像R。至此，就求出了對(duì)于LDR視頻的第一幀LDR圖像的HDR圖像。

第二步：生成LDR圖像和HDR圖像之間的曲線擬合

首先，將輸入的第一幀LDR圖像的R,G和B通道所有像素值存放到一個(gè)行向量x里，

將第一幀合成的HDR圖像的R,G和B通道所有像素值存放到行向量y里；

1)、通過(guò)CFTOOL工具，輸入向量x和向量y，通過(guò)判別均方誤差(Mean Squared Error,MSE)的大小來(lái)決定一個(gè)擬合曲線的優(yōu)劣性，找到一個(gè)MSE最小的擬合曲線，即為較優(yōu)的擬合曲線。

2)、由于該曲線是近似曲線，存在著誤差，因此需要對(duì)該曲線進(jìn)行修正。本文采用HDR圖像信息熵最大準(zhǔn)則的方法，同時(shí)參考人眼對(duì)生成圖像的視覺(jué)感知差異，通過(guò)圖像的平均亮度值的差異來(lái)對(duì)1)生成的曲線進(jìn)行修正，從而得到最優(yōu)擬合曲線。其中：

圖像信息熵：圖像信息熵是一種特征的統(tǒng)計(jì)形式，它反映了圖像中平均信息量的多少。

令p_i表示圖像中灰度值為i的像素所占的比例，則定義灰度圖像的一元灰度熵為：

其中p_i是某個(gè)灰度在該圖像中出現(xiàn)的概率，可由灰度直方圖獲得。

本發(fā)明通過(guò)人眼對(duì)生成的HDR圖像進(jìn)行感知，再參考信息熵的大小，對(duì)1)生成的較優(yōu)的擬合曲線進(jìn)行修正，從而找到一條最優(yōu)的擬合曲線。

第三步：利用擬合曲線將LDR視頻轉(zhuǎn)換為HDR視頻

利用第二步得到的最優(yōu)化擬合曲線，對(duì)輸入的LDR視頻的每一幀都進(jìn)行相應(yīng)的像素級(jí)映射，得到最終的HDR視頻序列。

本發(fā)明僅在圖像RGB空間對(duì)LDR視頻向HDR視頻轉(zhuǎn)換的方法進(jìn)行了詳細(xì)闡述，但是該方法也同樣適用于在圖像YUV或者HSV空間的LDR視頻向HDR視頻的轉(zhuǎn)換。

首先，尋找第一幀LDR圖像和基于單幅圖像生成的HDR圖像之間的對(duì)應(yīng)關(guān)系曲線，然后利用該曲線將LDR視頻映射生成HDR視頻。

1)采用生成5幅偽曝光的圖像，即：k＝0～4；L_smax＝382.5，EV_k＝(-1,-0.5,0,0.5,1)，P_k＝(1.3,1,0.8,0.6,0.4)，其余系數(shù)在技術(shù)方案中給出。

2)利用CFTOOL生成的較優(yōu)曲線為：

y＝1.173×x-0.1486 (8)

如圖2所示，圖(a)是輸入的LDR視頻第一幀圖像，圖(b)為L(zhǎng)DR視頻第一幀圖像通過(guò)逆色調(diào)映射和金字塔融合生成的HDR圖像，圖(c)為利用CFTOOL生成的較優(yōu)曲線來(lái)生成的HDR圖像，其信息熵分別為圖(a)是7.5410、圖(b)是7.6978、圖(c)是7.5803，雖然圖(b)和圖(c)的信息熵都提高，但是兩者圖像之間還存在著差異，因此需要對(duì)較優(yōu)的曲線進(jìn)行修正，通過(guò)調(diào)整截距來(lái)找到一個(gè)最優(yōu)的曲線，使之生成的HDR圖像視覺(jué)效果好，而且信息熵提高的大。

從圖2中的圖(b)和圖(c)可以觀測(cè)出圖(b)和圖(c)的亮度存在差異，因此通過(guò)圖(b)和圖(c)的平均亮度的差異對(duì)曲線進(jìn)行調(diào)整，圖(b)和圖(c)的平均亮度差為32，因此在范圍為0～32之間通過(guò)二分法找到一個(gè)數(shù)值來(lái)調(diào)整截距，從而找到視覺(jué)上生成HDR圖像效果好而且信息熵大的最優(yōu)的HDR圖像的擬合曲線。

本文中最優(yōu)擬合曲線為：

y＝1.173×x-24.1486 (9)

其中，x是輸入圖像的每點(diǎn)的像素值，y是對(duì)應(yīng)生成的HDR圖像的每點(diǎn)的像素值。

3)然后按照公式(9)，可以求出來(lái)每幀輸入的視頻所對(duì)應(yīng)的HDR視頻。

4)LDR視頻第一幀和第二幀的利用最優(yōu)曲線合成效果如圖3所示：

圖3中的圖(a)表示LDR視頻第一幀圖像，圖(b)表示LDR視頻第一幀圖像合成的HDR圖像，圖(c)表示LDR視頻第二幀圖像，圖(d)表示LDR視頻第二幀圖像合成的HDR圖像。

表1是輸入的LDR視頻與合成的HDR視頻的信息熵對(duì)比圖(以5幀為例)，如下所示：

表1、信息熵對(duì)比圖

從圖3可以看出，合成的HDR圖像比輸入的圖像色彩更鮮明，對(duì)比度更高，而且對(duì)于掛歷上的細(xì)節(jié)，發(fā)現(xiàn)合成的HDR圖像中更清晰，更加符合人眼視覺(jué)特性。通過(guò)表1可以看出，合成HDR視頻的信息熵要明顯高于LDR視頻的信息熵，大約提高了0.125，這就表明合成的HDR視頻包含的信息更豐富。

另外，由于該方法只對(duì)LDR視頻第一幀利用偽曝光和金字塔融合的方法進(jìn)行HDR圖像的合成，然后利用LDR和HDR圖像之間的相關(guān)性曲線進(jìn)行LDR視頻到HDR視頻的低復(fù)雜度轉(zhuǎn)換。該方法僅僅利用了一次復(fù)雜度較高的融合生成HDR，相比于傳統(tǒng)的交替循環(huán)曝光的LDR視頻生成HDR視頻方法或者是LDR視頻每一幀都利用單幅圖像生成HDR方法來(lái)說(shuō)，計(jì)算復(fù)雜度較低，可以適用于LDR視頻到HDR視頻的實(shí)時(shí)的轉(zhuǎn)換，而有利于視頻序列色彩的一致性。

由于交替循環(huán)曝光生成HDR視頻的方法，在獲取視頻上比較繁瑣，沒(méi)有單曝光生成HDR視頻方法中的視頻獲取簡(jiǎn)單，因此本發(fā)明是針對(duì)單曝光視頻生成高動(dòng)態(tài)范圍視頻，并且在以往的基礎(chǔ)上減少了冗余的操作。本發(fā)明首先利用偽曝光技術(shù)和金字塔融合方法將LDR視頻第一幀生成HDR圖像；然后擬合出LDR視頻第一幀與其生成出來(lái)的HDR圖像的對(duì)應(yīng)關(guān)系曲線，通過(guò)該曲線，將LDR視頻轉(zhuǎn)換為HDR視頻。