本發(fā)明屬于圖像處理領(lǐng)域、高動(dòng)態(tài)范圍領(lǐng)域，特別涉及一種基于多幅具有不同曝光度的ldr圖像的hdr圖像融合方法。

背景技術(shù)：

動(dòng)態(tài)范圍指的是一個(gè)物理測(cè)量的最大值與最小值之比，由于傳統(tǒng)的圖片是在一定的曝光下拍攝出來(lái)的，因此對(duì)比度是有限制的，通過(guò)對(duì)曝光等級(jí)的設(shè)置，就會(huì)導(dǎo)致在過(guò)亮或者過(guò)暗區(qū)域場(chǎng)景細(xì)節(jié)的丟失，而這就達(dá)不到我們?nèi)搜鬯苡^察到的場(chǎng)景，因此一些細(xì)節(jié)就會(huì)被丟失，我們所獲取的信息就會(huì)減少。為了實(shí)現(xiàn)我們捕獲的場(chǎng)景更加貼近人眼觀察到的場(chǎng)景，并且提高捕獲的信息以及細(xì)節(jié)，這就需要我們提高動(dòng)態(tài)范圍，即高動(dòng)態(tài)范圍(highdynamicrange，hdr)。高動(dòng)態(tài)范圍圖片能夠更加準(zhǔn)確的記錄真實(shí)場(chǎng)景的絕大部分色彩和光照信息，并能表現(xiàn)出豐富的色彩細(xì)節(jié)和明暗層次，而且能夠提供更高的對(duì)比度、更豐富的信息和更真實(shí)的視覺(jué)感受，能更好地匹配人眼對(duì)現(xiàn)實(shí)世界場(chǎng)景的認(rèn)知特性。正因?yàn)槿绱耍琱dr技術(shù)可以被應(yīng)用于對(duì)圖像質(zhì)量要求較高的領(lǐng)域，如醫(yī)學(xué)影像、視頻監(jiān)控、衛(wèi)星遙感和計(jì)算機(jī)視覺(jué)等領(lǐng)域中。

目前，高動(dòng)態(tài)范圍圖像生成方法的研究已經(jīng)有很多，例如：mann和picard首先使用多幅曝光時(shí)間不同的圖像來(lái)生成hdr圖像，goshtasby等人提出了基于最優(yōu)塊的圖像融合算法，但是容易產(chǎn)生塊效應(yīng)，mertens等人提出了基于拉普拉斯金字塔的圖像融合算法，li等人提出了基于離散小波的圖像融合算法。

本文是在mertens等人提出了基于拉普拉斯金字塔的圖像融合算法的基礎(chǔ)上，利用梯度金字塔，修改權(quán)重函數(shù)，得到一種新的基于多曝光ldr圖像的hdr圖像融合模型。

技術(shù)實(shí)現(xiàn)要素：

為了克服現(xiàn)有技術(shù)存在的缺陷，本發(fā)明提出了一種基于多幅具有不同曝光度的ldr圖像的hdr圖像融合方法，考慮圖像明暗區(qū)域的權(quán)重進(jìn)行圖像融合，并且融合的過(guò)程采用梯度金字塔。

本發(fā)明的一種基于多幅具有不同曝光度的ldr圖像的hdr圖像融合方法，該方法包括以下步驟：

步驟一、對(duì)輸入的多幅具有不同曝光度的ldr圖像進(jìn)行明暗區(qū)域的劃分，依據(jù)各區(qū)域中的圖像的對(duì)比度、飽和度、曝光度以及亮度，計(jì)算圖像的標(biāo)量權(quán)重圖：

其中，ij,k表示輸入的多曝光圖像序列中第k個(gè)圖像(i,j)處的像素點(diǎn)，ωc、ωs、ωe、ωl分別表示用于控制的對(duì)比度測(cè)量因子c、飽和度測(cè)量因子s、曝光度測(cè)量因子e、亮度測(cè)量因子l對(duì)標(biāo)量權(quán)重圖w的影響程度，然后，對(duì)其進(jìn)行歸一化處理，得到n個(gè)多曝光圖像中第k個(gè)圖像(i,j)處的像素點(diǎn)的權(quán)重為：

其中，n代表多曝光圖像序列的圖像數(shù)，wij,k表示輸入的多曝光圖像序列中第k個(gè)圖像在像素點(diǎn)(i,j)處的標(biāo)量權(quán)重值，表示輸入的多曝光圖像序列中第k個(gè)圖像在像素點(diǎn)(i,j)處權(quán)重值；

步驟二、使用梯度金字塔來(lái)分解圖像，以多分辨率的方式來(lái)融合圖像：

將n幅多曝光圖像序列分別進(jìn)行拉普拉斯金字塔分解，將n幅權(quán)重圖分別進(jìn)行高斯金字塔分解，得到不同分辨率的圖像和權(quán)重圖，并記圖像a的第l層拉普拉斯金字塔分解為l{a}^l，記圖像b的第l層高斯金字塔分解為g^l；得到融合公式如下：

其中，n表示輸入的多曝光圖像總數(shù)，i表示輸入的多曝光圖像，ij表示像素點(diǎn)(i,j)處，l表示進(jìn)行拉普拉斯金字塔分解或者高斯金字塔分解時(shí)的層，表示歸一化的權(quán)重圖，r表示金字塔分解后的第l層圖像，表示金字塔分解后的第l層圖像r在像素點(diǎn)(i,j)處的像素值；

對(duì)圖像進(jìn)行梯度金字塔分解，具體步驟如下：

將輸入的多幅不同曝光度的圖像中第k幅圖像定義為g0，對(duì)其進(jìn)行高斯金字塔分解，并將g0定義為高斯金字塔的最底層；然后，對(duì)得到的高斯金字塔的最頂層除外的各個(gè)分解層分別在水平方向、45°對(duì)角線方向、垂直方向和135°對(duì)角線方向進(jìn)行梯度濾波；濾波后得到圖像的梯度金字塔：

其中，gplm表示第l層第m方向的梯度金字塔形圖像,gl表示圖像進(jìn)行高斯金字塔分解后的第l層圖像，dm表示第m方向上的梯度濾波算子，表示一個(gè)3×3的核矩陣；m表示金字塔分解的層數(shù)；

利用梯度濾波后獲取的梯度金字塔，得到最終融合公式為：

其中，n表示輸入的多曝光圖像總數(shù)，i表示輸入的多曝光圖像，ij表示像素點(diǎn)(i,j)處，l、m分別表示進(jìn)行梯度金字塔分解時(shí)的層和方向，表示歸一化的權(quán)重圖，r表示金字塔分解后的第l層m方向上的圖像，表示金字塔分解后的第l層m方向上的圖像r在像素點(diǎn)(i,j)處的像素值；

在得到第l層第m方向的梯度金字塔形圖像之后，對(duì)其進(jìn)行梯度金字塔逆變換，從而恢復(fù)出生成的圖像；具體步驟如下：

首先將圖像的梯度金字塔轉(zhuǎn)換為圖像的方向拉普拉斯金字塔，公式如下：

其中，lplm表示第l分解層中位于m方向的拉普拉斯金字塔圖像；

然后，將圖像的方向拉普拉斯金字塔變換為圖像的fsd(filtersubtractdecimate)拉普拉斯金字塔：

接下來(lái)，將圖像的fsd拉普拉斯金字塔轉(zhuǎn)換為對(duì)應(yīng)的拉普拉斯金字塔：

其中，w為5×5的窗口函數(shù)，為固定的矩陣；

最后，再將其進(jìn)行拉普拉斯逆變換，得到生成的hdr圖像。

所述步驟一中圖像亮暗區(qū)域的劃分包括以下操作：

將輸入的多幅具有不同曝光度的ldr圖像，依次記為為最暗圖像、較暗圖像、正常圖像、較亮圖像、最亮圖像；

使用圖像直方圖的中間亮度lmiddle將圖像劃分為兩個(gè)區(qū)域，用這兩個(gè)區(qū)域的亮度中間值llow和lhigh將它們?cè)俜殖蓛蓚€(gè)部分，最終將整幅圖像劃分成了四個(gè)子區(qū)域r1，r2，r3和r4，最暗區(qū)域到最亮區(qū)域的過(guò)渡；

對(duì)于每個(gè)子區(qū)域r1，r2，r3和r4，利用公式lmed＝0.5*(lmax-lmin)，求出各個(gè)區(qū)域的平均亮度值，記為其中i＝1,2,3,4；

將最暗圖像的平均亮度值lmed,1設(shè)為對(duì)于較暗的圖像的平均亮度值lmed,2設(shè)為對(duì)于正常圖像的平均亮度值lmed,3設(shè)為對(duì)于較亮圖像的平均亮度值lmed,4設(shè)為對(duì)于對(duì)于最亮圖像i5的平均亮度值lmed,5設(shè)為lmed,r1；保留較暗圖像中的較亮區(qū)域的細(xì)節(jié)，以及較亮圖像中的較暗區(qū)域的細(xì)節(jié)；

為最亮圖像和最暗圖像設(shè)定較大的αk，以減弱最亮圖像和最暗圖像對(duì)融合圖像的影響；最亮圖像和最暗圖像αk的值設(shè)為0.1，其他圖像αk的值設(shè)為1。

與現(xiàn)有技術(shù)對(duì)比，本發(fā)明具有以下優(yōu)點(diǎn)：

(1)、由于融合的過(guò)程采用梯度金字塔而不是拉普拉斯金字塔，因此增加了圖像的方向和邊緣信息，使得生成的hdr圖像效果更好；

(2)再求權(quán)重的時(shí)候考慮到了圖像的亮度信息，使得生成的hdr圖像色彩更鮮明、對(duì)比度更高、圖像細(xì)節(jié)更清晰；

(3)對(duì)于hdr圖像領(lǐng)域有很好的借鑒意義。

附圖說(shuō)明

圖1為多幅曝光ldr圖像生成算法框圖圖1算法框圖；

圖2為輸入的多幅具有不同曝光度的圖像；

圖3為融合后的hdr圖像。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。

步驟1：權(quán)重圖計(jì)算，：

對(duì)于同一場(chǎng)景，由于生成的圖像中有的區(qū)域曝光過(guò)度或者曝光不足，因此會(huì)形成平滑區(qū)域和不飽和區(qū)域，這些區(qū)域包含的信息較少，應(yīng)給予較小的權(quán)重，而感興趣的區(qū)域應(yīng)給予較大的權(quán)重。因此，首先根據(jù)圖像的對(duì)比度、飽和度以及曝光度，計(jì)算圖像的權(quán)重圖。

對(duì)比度：對(duì)每幅圖像的灰度圖進(jìn)行拉普拉斯濾波，將得到的結(jié)果的絕對(duì)值作為對(duì)比度測(cè)量因子c。

飽和度：將每幅圖像r、g、b通道的標(biāo)準(zhǔn)差作為飽和度測(cè)量因子s。

曝光度：使用高斯曲線：(其中，σ＝0.2)來(lái)衡量r、g、b通道各個(gè)像素值i的大小距離0.5的遠(yuǎn)近程度(靠近0表示曝光不足，靠近1表示曝光過(guò)度)，然后將三個(gè)通道的結(jié)果相乘得到曝光度測(cè)量因子e。

最終，得到圖像的標(biāo)量權(quán)重圖w：

其中，ij,k表示輸入的多幅具有不同曝光值的圖像組成的多曝光圖像序列中第k幅圖像(i,j)處的像素點(diǎn)。ωc、ωs、ωe分別用于控制的對(duì)比度測(cè)量因子c、飽和度測(cè)量因子s、曝光度測(cè)量因子e對(duì)標(biāo)量權(quán)重圖w的影響程度，該算法中取ωc＝ωs＝ωe＝1。將公式(1)進(jìn)行歸一化，得到n個(gè)多曝光圖像序列中第k幅圖像(i,j)處的像素點(diǎn)的權(quán)重為：

本發(fā)明在前三個(gè)測(cè)量因子的基礎(chǔ)上，引入了亮度信息作為測(cè)量因子，從而實(shí)現(xiàn)更高動(dòng)態(tài)范圍的圖像。為了揭示明亮圖像中黑暗區(qū)域的細(xì)節(jié)和較暗圖像中明亮區(qū)域的細(xì)節(jié)，因此不同曝光度的圖像應(yīng)該賦予不同的加權(quán)函數(shù)，如下所示：

其中，lmed,k表示第k幅輸入圖像的平均亮度，αk表示一個(gè)用于調(diào)節(jié)的常數(shù)，用來(lái)調(diào)整第k幅圖像的亮度測(cè)量因子高斯曲線的斜率：當(dāng)αk的值較小時(shí)，權(quán)重值變化較快；當(dāng)αk的值較大時(shí)，權(quán)重值變化較慢；lk(i,j)表示第k幅輸入圖像在坐標(biāo)(i,j)處的亮度，lij,k表示第k幅輸入圖像在坐標(biāo)(i,j)處的權(quán)重值。

公式(3)中表明，亮度值接近lmed,k的像素點(diǎn)將會(huì)被給予到較大的權(quán)重值，而遠(yuǎn)離lmed,k的像素點(diǎn)將會(huì)被給予到較小的權(quán)重值。為了保留較暗圖像中的較亮區(qū)域的細(xì)節(jié)，因此對(duì)于較暗圖像來(lái)說(shuō)，選擇較亮區(qū)域的平均亮度值作為lmed,k。相似地，為了保留較亮圖像中的較暗區(qū)域的細(xì)節(jié)，選擇較暗區(qū)域的平均亮度值作為lmed,k。

圖像亮暗區(qū)域的劃分包括以下操作：

1)輸入5幅具有不同曝光度的ldr圖像，記為i1,…,i5，依次為最暗圖像、較暗圖像、正常圖像、較亮圖像、最亮圖像；

2)局部區(qū)域劃分：基于曝光度良好圖像的直方圖分布，即圖像中正常圖像i3的直方圖分布。首先，使用圖像直方圖的中間亮度lmiddle將圖像劃分為兩個(gè)區(qū)域，用這兩個(gè)區(qū)域的亮度中間值llow和lhigh將它們?cè)俜殖蓛蓚€(gè)部分；這樣，就將整幅圖像劃分成了四個(gè)子區(qū)域，記為r1，r2，r3和r4，最暗區(qū)域到最亮區(qū)域的過(guò)渡。

3)對(duì)于每個(gè)子區(qū)域，利用公式lmed＝0.5*(lmax-lmin)，求出各個(gè)區(qū)域的平均亮度值，記為其中i＝1,2,3,4。

4)將最暗圖像i1的平均亮度值lmed,1設(shè)為對(duì)于較暗的圖像i2的平均亮度值lmed,2設(shè)為對(duì)于正常圖像i3的平均亮度值lmed,3設(shè)為對(duì)于較亮圖像i4的平均亮度值lmed,4設(shè)為對(duì)于對(duì)于最亮圖像i5的平均亮度值lmed,5設(shè)為lmed,r1；保留較暗圖像中的較亮區(qū)域的細(xì)節(jié)，以及較亮圖像中的較暗區(qū)域的細(xì)節(jié)，為此，

5)為最亮圖像和最暗圖像設(shè)定較大的αk，以減弱最亮圖像和最暗圖像對(duì)融合圖像的影響。經(jīng)過(guò)實(shí)驗(yàn)確定，最亮圖像和最暗圖像αk的值設(shè)為0.1，其他圖像αk的值設(shè)為1。

至此，最終的權(quán)重函數(shù)為：

其中，ij,k表示輸入的多曝光圖像序列中第k個(gè)圖像(i,j)處的像素點(diǎn)。ωc、ωs、ωe、ωl分別用于控制的對(duì)比度測(cè)量因子c、飽和度測(cè)量因子s、曝光度測(cè)量因子e、亮度測(cè)量因子l對(duì)標(biāo)量權(quán)重圖w的影響程度，該算法中取ωc＝ωs＝ωe＝ωl＝1。然后，對(duì)其進(jìn)行歸一化處理，得到n個(gè)多曝光圖像中第k個(gè)圖像(i,j)處的像素點(diǎn)的權(quán)重為：

其中，n代表多曝光圖像序列的圖像數(shù)，wij,k表示輸入的多曝光圖像序列中第k個(gè)圖像在像素點(diǎn)(i,j)處的標(biāo)量權(quán)重值，表示輸入的多曝光圖像序列中第k個(gè)圖像在像素點(diǎn)(i,j)處權(quán)重值。

步驟2：多幅不同曝光度的圖像融合

在本發(fā)明中，使用金字塔來(lái)分解圖像，以多分辨率的方式來(lái)融合圖像。首先，將n幅多曝光圖像序列分別進(jìn)行拉普拉斯金字塔分解，將n幅權(quán)重圖分別進(jìn)行高斯金字塔分解，得到不同分辨率的圖像和權(quán)重圖，并記圖像a的第l層拉普拉斯金字塔分解為l{a}^l，記圖像b的第l層高斯金字塔分解為g^l。得到融合公式如下：

其中，n表示輸入的多曝光圖像總數(shù)，i表示輸入的多曝光圖像，ij表示像素點(diǎn)(i,j)處，l表示進(jìn)行拉普拉斯金字塔分解或者高斯金字塔分解時(shí)的層，表示歸一化的權(quán)重圖，r表示金字塔分解后的第l層圖像，表示金字塔分解后的第l層圖像r在像素點(diǎn)(i,j)處的像素值。

圖像的梯度金字塔和拉普拉斯金字塔均為圖像的多尺度、多分辨率分解，并且提供了圖像的方向和邊緣信息，這使得梯度金字塔能夠提供尤其豐富的內(nèi)容。因此，提出了對(duì)圖像進(jìn)行梯度金字塔分解，該算法效果更好，具體步驟如下。

將輸入的多幅不同曝光度的圖像中第k幅圖像定義為g0，對(duì)其進(jìn)行高斯金字塔分解，并將g0定義為高斯金字塔的最底層。然后，對(duì)得到的高斯金字塔的各個(gè)分解層(最頂層除外)分別在水平方向、45°對(duì)角線方向、垂直方向和135°對(duì)角線方向進(jìn)行梯度濾波。濾波后的圖像的金字塔叫做梯度金字塔：

其中，gplm表示第l層第m方向的梯度金字塔形圖像,gl表示圖像高斯金字塔的第l層圖像，dm表示第m方向上的梯度濾波算子，表示一個(gè)3×3的核矩陣，m表示金字塔分解的層數(shù)。

由此得出，通過(guò)梯度濾波后獲取的梯度金字塔，在它的每一分解層上(最高層除外)都包含水平、垂直以及兩個(gè)對(duì)角線方向上的細(xì)節(jié)和邊緣內(nèi)容的分解后的圖像。最終融合公式為：

其中，n表示輸入的多曝光圖像總數(shù)，i表示輸入的多曝光圖像，ij表示像素點(diǎn)(i,j)處，l、m分別表示進(jìn)行梯度金字塔分解時(shí)的層和方向，表示歸一化的權(quán)重圖，r表示金字塔分解后的第l層m方向上的圖像，表示金字塔分解后的第l層m方向上的圖像r在像素點(diǎn)(i,j)處的像素值；

在得到第l層第m方向的梯度金字塔形圖像之后，對(duì)其進(jìn)行梯度金字塔逆變換，從而恢復(fù)出生成的圖像。具體步驟如下：

首先將圖像的梯度金字塔轉(zhuǎn)換為圖像的方向拉普拉斯金字塔，公式如下：

其中，lplm表示第l分解層中位于m方向的拉普拉斯金字塔圖像。

然后，將圖像的方向拉普拉斯金字塔變換為圖像的fsd(filtersubtractdecimate)拉普拉斯金字塔：

接下來(lái)，將圖像的fsd拉普拉斯金字塔轉(zhuǎn)換為對(duì)應(yīng)的拉普拉斯金字塔：

其中，w為5×5的窗口函數(shù)，為固定的矩陣。

最后，再將其進(jìn)行拉普拉斯逆變換就可以得到生成的hdr圖像。

本發(fā)明以輸入五幅多曝光圖像作為最佳實(shí)施方式，即n＝5，ωc＝ωs＝ωe＝ωl＝1，

按照上述算法的步驟對(duì)輸入的多曝光圖像進(jìn)行圖像融合，從而可以生成hdr圖像。實(shí)驗(yàn)結(jié)果如圖3所示：從圖2與圖3中可以發(fā)現(xiàn)，對(duì)于輸入圖像來(lái)說(shuō)，較暗的圖像門(mén)外的景象細(xì)節(jié)更好，而較亮的圖像中屋內(nèi)的景象細(xì)節(jié)更清晰，但是都有不足之處。經(jīng)過(guò)本文算法的合成，發(fā)現(xiàn)本文算法可以將較暗圖像的屋外細(xì)節(jié)與較亮圖像的屋內(nèi)細(xì)節(jié)保留并融合到一起。通過(guò)圖3可以發(fā)現(xiàn)，本文的算法合成的圖像細(xì)節(jié)更清晰，更符合人眼所觀察到的場(chǎng)景。