一種用于克服動(dòng)態(tài)問(wèn)題影響的高動(dòng)態(tài)范圍圖像融合方法
【專(zhuān)利摘要】一種用于克服動(dòng)態(tài)問(wèn)題影響的高動(dòng)態(tài)范圍圖像融合方法,用于解決拍攝場(chǎng)景動(dòng)態(tài)以及成像系統(tǒng)晃動(dòng)影響的高動(dòng)態(tài)范圍的圖像融合問(wèn)題。其中,采用基于亮度映射函數(shù)標(biāo)定相機(jī)響應(yīng)函數(shù)的方法克服動(dòng)態(tài)問(wèn)題給相機(jī)響應(yīng)函數(shù)標(biāo)定帶來(lái)的影響,然后結(jié)合總體最小二乘法引入校正矩陣,對(duì)誤差進(jìn)行聯(lián)合補(bǔ)償,從而無(wú)需高精度的圖像配準(zhǔn)即能夠獲得成像系統(tǒng)的相機(jī)響應(yīng)函數(shù);進(jìn)而通過(guò)分析多曝光圖像序列特點(diǎn)選擇權(quán)重函數(shù),結(jié)合標(biāo)定的相機(jī)響應(yīng)函數(shù)構(gòu)建高動(dòng)態(tài)范圍圖像權(quán)重融合函數(shù),利用輸入的多曝光圖像序列獲得高動(dòng)態(tài)范圍圖像融合結(jié)果。本發(fā)明方法能夠克服動(dòng)態(tài)問(wèn)題給相機(jī)響應(yīng)函數(shù)標(biāo)定帶來(lái)的困難,進(jìn)而提高了多曝光高動(dòng)態(tài)范圍融合技術(shù)的適用性。
【專(zhuān)利說(shuō)明】
一種用于克服動(dòng)態(tài)問(wèn)題影響的高動(dòng)態(tài)范圍圖像融合方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域,涉及一種適用于解決拍攝場(chǎng)景動(dòng)態(tài)以及成像系統(tǒng) 晃動(dòng)影響的高動(dòng)態(tài)范圍圖像融合方法。
【背景技術(shù)】
[0002] 現(xiàn)實(shí)環(huán)境及戰(zhàn)場(chǎng)環(huán)境中往往會(huì)出現(xiàn)動(dòng)態(tài)范圍較大的場(chǎng)景,即同一視場(chǎng)中同時(shí)出現(xiàn) 較亮和較暗的信息。如果拍攝場(chǎng)景的動(dòng)態(tài)范圍超過(guò)了成像器件的動(dòng)態(tài)范圍,就會(huì)造成采集 的圖像出現(xiàn)過(guò)飽和或欠飽和的情況,從而影響目標(biāo)信息的采集及識(shí)別。如發(fā)射的導(dǎo)彈由于 尾焰過(guò)亮?xí)斐刹杉瘓D像飽和,從而無(wú)法看清彈體等現(xiàn)象,影響目標(biāo)的分析。因此,為了便 于目標(biāo)觀測(cè),對(duì)觀測(cè)設(shè)備、發(fā)射時(shí)間窗口選取以及天氣環(huán)境等因素均提出了較高的要求。
[0003] 高動(dòng)態(tài)范圍成像技術(shù)能夠避免因?yàn)榕臄z方向(如逆光情況)和曝光量不足而使圖 像存在殼度?目息缺失和偏色等問(wèn)題,不影響真實(shí)場(chǎng)景的?目息米集,有利于復(fù)雜環(huán)境下獲得 更高的成像質(zhì)量,因此被廣泛應(yīng)用于模式識(shí)別、智能交通系統(tǒng)、深空探測(cè)、視頻監(jiān)控跟蹤、機(jī) 器人視覺(jué)導(dǎo)航、工業(yè)檢測(cè)、遙感遙測(cè)、軍事監(jiān)視偵察以及武器導(dǎo)航制導(dǎo)等眾多領(lǐng)域,具有重 要的研究?jī)r(jià)值。
[0004] 成像系統(tǒng)的相機(jī)響應(yīng)函數(shù)能夠建立拍攝圖像強(qiáng)度信息與場(chǎng)景輻亮度之間的嚴(yán)格 映射關(guān)系,是高動(dòng)態(tài)范圍圖像融合的關(guān)鍵技術(shù),拍攝場(chǎng)景的動(dòng)態(tài)以及成像系統(tǒng)的晃動(dòng)也會(huì) 影響成像系統(tǒng)相機(jī)響應(yīng)函數(shù)的標(biāo)定,而多曝光圖像序列配準(zhǔn)很難達(dá)到較高的精度,從而給 動(dòng)態(tài)目標(biāo)高精度的高動(dòng)態(tài)范圍圖像融合帶來(lái)較大困難。
[0005] 目前已有的高動(dòng)態(tài)范圍圖像融合方法主要是利用不同曝光量的已配準(zhǔn)的圖像序 列作為輸入,在已知圖像之間的曝光比例的情況下,建立了圖像各通道圖像強(qiáng)度信息與場(chǎng) 景輻照度之間的映射關(guān)系,從而獲得反映拍攝場(chǎng)景的高動(dòng)態(tài)范圍圖像,但通常需要拍攝場(chǎng) 景保持靜態(tài)并假設(shè)圖像序列照度一致。例如2015年計(jì)算機(jī)工程與科學(xué)上的《基于相機(jī)響應(yīng) 曲線的高動(dòng)態(tài)范圍圖像融合》一文,文中提出利用已配準(zhǔn)的多曝光圖像序列每個(gè)像素點(diǎn)的 信息標(biāo)定相機(jī)響應(yīng)函數(shù),進(jìn)而利用相機(jī)響應(yīng)函數(shù)建立圖像亮度值與拍攝場(chǎng)景輻照度之間的 映射關(guān)系,從而獲得能夠反映拍攝場(chǎng)景高動(dòng)態(tài)范圍的輻照度圖像。該算法需要精確配準(zhǔn)的 靜態(tài)場(chǎng)景多曝光量圖像序列作為輸入進(jìn)行相機(jī)響應(yīng)函數(shù)的標(biāo)定,當(dāng)拍攝場(chǎng)景存在動(dòng)態(tài)問(wèn)題 影響或相機(jī)晃動(dòng)的情況下會(huì)給圖像配準(zhǔn)帶來(lái)較大困難,從而無(wú)法進(jìn)行相機(jī)響應(yīng)函數(shù)標(biāo)定, 也即該算法無(wú)法克服動(dòng)態(tài)問(wèn)題帶來(lái)的影響;而且,利用該算法獲得的高動(dòng)態(tài)范圍圖像融合 存在偏色,需要結(jié)合相應(yīng)的色彩校正算法對(duì)輸出結(jié)果進(jìn)行白平衡。
【發(fā)明內(nèi)容】
[0006] 本發(fā)明解決的技術(shù)問(wèn)題是:克服現(xiàn)有技術(shù)的不足,提供了一種克服動(dòng)態(tài)問(wèn)題影響 的高動(dòng)態(tài)范圍圖像融合方法,能夠利用彩色圖像各顏色通道的亮度統(tǒng)計(jì)特征獲得亮度映射 函數(shù),從而克服動(dòng)態(tài)問(wèn)題影響完成相機(jī)響應(yīng)函數(shù)的標(biāo)定,進(jìn)而結(jié)合輸入圖像序列特征構(gòu)建 權(quán)重融合函數(shù)進(jìn)行高動(dòng)態(tài)范圍的圖像融合。
[0007] 本發(fā)明的技術(shù)解決方案是:一種用于克服動(dòng)態(tài)問(wèn)題影響的高動(dòng)態(tài)范圍圖像融合方 法,包括如下步驟:
[0008] (1)利用相機(jī)獲得目標(biāo)不同曝光量的曝光圖像序列;
[0009] (2)根據(jù)目標(biāo)的曝光圖像序列,獲取圖像的亮度映射函數(shù)T(m),具體為:
[0010] (21)將曝光圖像序列按曝光量從低到高進(jìn)行排列,然后從第一幀圖像開(kāi)始每?jī)蓭?圖像組成一個(gè)輸入圖像對(duì);
[0011] (22)針對(duì)每一個(gè)輸入圖像對(duì),獲得該輸入圖像對(duì)中兩幀圖像各顏色通道的亮度信 息的累積直方圖;
[0012] (23)利用輸入圖像對(duì)的兩幀圖像各顏色通道亮度信息的累積直方圖,計(jì)算兩幀圖 像各顏色通道之間的亮度映射函數(shù)T(m),
[0013]
[0014] 其中m為亮度值,HA(m)為輸入圖像對(duì)中的第一幀圖像的某顏色通道亮度值為m的 累積直方圖函數(shù),/Y^(W)為輸入圖像對(duì)中的第二幀圖像的對(duì)應(yīng)顏色通道亮度值為m的累積 直方圖逆函數(shù);
[0015] (3)利用亮度映射函數(shù)T(m)對(duì)相機(jī)響應(yīng)函數(shù)進(jìn)行標(biāo)定,獲得相機(jī)響應(yīng)逆函數(shù)的近 似表達(dá)式g;
[0016] (4)結(jié)合相機(jī)響應(yīng)逆函數(shù)的近似表達(dá)式g及曝光圖像序列曝光時(shí)間信息△ t構(gòu)建圖 像權(quán)重融合函數(shù),獲得彩色圖像各顏色通道的輻照度信息,從而獲得反映拍攝場(chǎng)景信息 的高動(dòng)態(tài)范圍圖像。
[0017] 所述的圖像權(quán)重融合函數(shù)^為:
[0018]
[0019] 式中i為圖像中像素點(diǎn)的空間索引,j為曝光圖像序列中的圖像索引,Mij為輸入曝 光圖像序列中第j幀圖像上像素點(diǎn)i的亮度信息,w為三角帽權(quán)值函數(shù),為曝光圖像序列 中第j幀圖像的曝光時(shí)間,P為曝光圖像序列中的圖像總幀數(shù)。
[0020] 所述步驟(3)中獲得相機(jī)響應(yīng)逆函數(shù)的近似表達(dá)式g的方法為:
[0021] (31)獲取兩幀不同曝光量圖像對(duì)應(yīng)關(guān)系如下:
[0022] g(T(MA)) =kg(MA)
[0023] 其中Μα圖像A上被估計(jì)的像素點(diǎn)的圖像亮度信息,T是圖像B和圖像A之間的亮度傳 遞函數(shù),k是兩幀不同曝光量圖像中圖像A和圖像B之間的曝光比;
[0024] (32)加入權(quán)重函數(shù),將步驟(31)的結(jié)果修改為:
[0025]
[0026] 其中Ca是第一幀圖像A中亮度值為Μα的像素個(gè)數(shù),Cb是第二幀圖像B中亮度值為Mb 的像素個(gè)數(shù);
[0027] (33)利用多項(xiàng)式對(duì)相機(jī)響應(yīng)逆函數(shù)進(jìn)行建模,將不同輸入圖像對(duì)獲得的亮度傳遞 函數(shù)以及相機(jī)響應(yīng)逆函數(shù)多項(xiàng)式代入步驟(32)的表達(dá)式中獲得一組超定方程;
[0028] (34)利用總體最小二乘法求解所述的超定方程,獲得相機(jī)響應(yīng)逆函數(shù)的模型系 數(shù),由此得到相機(jī)響應(yīng)逆函數(shù)的近似表達(dá)式g。
[0029] 本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于:
[0030] (1)本發(fā)明根據(jù)圖像亮度信息的統(tǒng)計(jì)特征,提出了基于累積直方圖建模的亮度映 射函數(shù)計(jì)算方法,進(jìn)而利用亮度映射函數(shù)而不是圖像各像素點(diǎn)信息進(jìn)行相機(jī)響應(yīng)函數(shù)標(biāo) 定,從而克服了拍攝場(chǎng)景動(dòng)態(tài)問(wèn)題以及成像系統(tǒng)的晃動(dòng)給相機(jī)響應(yīng)函數(shù)標(biāo)定帶來(lái)的困難, 同時(shí)降低了相機(jī)響應(yīng)函數(shù)標(biāo)定算法方計(jì)算量,提高了計(jì)算效率;
[0031] (2)本發(fā)明利用總體最小二乘法求解相機(jī)響應(yīng)逆函數(shù)標(biāo)定模型系數(shù),由于總體最 小二乘法引入校正矩陣對(duì)存在的誤差進(jìn)行聯(lián)合補(bǔ)償,抑制了誤差及噪聲對(duì)矩陣方程求解的 影響,能夠獲得更高精度的相機(jī)響應(yīng)函數(shù)標(biāo)定結(jié)果;
[0032] (3)本發(fā)明利用三角帽函數(shù)作為權(quán)重,結(jié)合標(biāo)定的相機(jī)響應(yīng)函數(shù)共同構(gòu)建高動(dòng)態(tài) 范圍融合權(quán)重函數(shù),可有效的提取輸入不同曝光量圖像序列中的有效信息,從而有效避免 高動(dòng)態(tài)范圍圖像融合產(chǎn)生偏色的問(wèn)題;
[0033] (4)本發(fā)明利用亮度映射函數(shù)標(biāo)定的相機(jī)響應(yīng)函數(shù)進(jìn)行高動(dòng)態(tài)圖像融合,由于利 用的是圖像亮度值的統(tǒng)計(jì)特征而不是各像素點(diǎn)的信息,因此能夠消除高精度相機(jī)響應(yīng)函數(shù) 標(biāo)定對(duì)輸入圖像序列絕對(duì)空間一致的要求,從而克服場(chǎng)景動(dòng)態(tài)問(wèn)題以及成像系統(tǒng)自身晃動(dòng) 帶來(lái)的影響,提升了高動(dòng)態(tài)范圍圖像融合技術(shù)的應(yīng)用范圍。
【附圖說(shuō)明】
[0034]圖1為本發(fā)明方法的流程框圖;
[0035]圖2為本發(fā)明拍攝的存在相機(jī)晃動(dòng)的多曝光圖像序列;
[0036]圖3為本發(fā)明利用不同輸入圖像對(duì)獲得的亮度映射函數(shù);
[0037] 圖4為本發(fā)明標(biāo)定的相機(jī)響應(yīng)逆函數(shù)結(jié)果;
[0038] 圖5為本發(fā)明高動(dòng)態(tài)范圍圖像融合結(jié)果。
【具體實(shí)施方式】
[0039] 本發(fā)明方法的基本思想是:由于拍攝目標(biāo)光照條件不變的條件下,針對(duì)拍攝場(chǎng)景 中某一點(diǎn),比其亮與比其暗的像素點(diǎn)個(gè)數(shù)比例是恒定的,基本不受成像系統(tǒng)晃動(dòng)的影響,即 場(chǎng)景的動(dòng)態(tài)問(wèn)題影響不會(huì)明顯的改變圖像亮度信息的統(tǒng)計(jì)特征,場(chǎng)景輻亮度的總體直方圖 基本保持恒定。所以可利用不同曝光量的圖像通過(guò)累積直方圖規(guī)則化對(duì)輸入圖像對(duì)進(jìn)行直 方圖建模以獲得圖像之間的亮度映射函數(shù),然后結(jié)合總體最小二乘法引入校正矩陣對(duì)誤差 進(jìn)行聯(lián)合補(bǔ)償,從而能夠利用亮度映射函數(shù)而非采集序列圖像每個(gè)像素點(diǎn)的信息實(shí)現(xiàn)成像 系統(tǒng)的高精度相機(jī)響應(yīng)函數(shù)標(biāo)定,進(jìn)而分析輸入的多曝光圖像序列特征,選擇合適的權(quán)重 函數(shù)結(jié)合標(biāo)定的相機(jī)響應(yīng)逆函數(shù)構(gòu)建高動(dòng)態(tài)范圍圖像融合權(quán)重函數(shù),最終獲得拍攝目標(biāo)的 高動(dòng)態(tài)范圍圖像。這種處理方式能夠消除高精度相機(jī)響應(yīng)函數(shù)標(biāo)定對(duì)輸入圖像序列絕對(duì)空 間一致的要求,克服拍攝目標(biāo)的動(dòng)態(tài)問(wèn)題以及成像系統(tǒng)的晃動(dòng)帶來(lái)的影響,同時(shí)降低計(jì)算 量,擴(kuò)展高動(dòng)態(tài)范圍圖像融合的應(yīng)用范圍。
[0040] 如圖1所示,為本發(fā)明方法的流程框圖,主要包括如下幾個(gè)步驟:
[0041 ] (1)根據(jù)拍攝目標(biāo)特點(diǎn),獲得目標(biāo)多曝光圖像序列;
[0042] 首先利用相機(jī)根據(jù)拍攝場(chǎng)景目標(biāo)需求,進(jìn)行相應(yīng)的不同曝光量設(shè)置,采集目標(biāo)的 多曝光圖像序列,曝光量由低到高為...,EP。
[0043] 假設(shè)f表示相機(jī)響應(yīng)函數(shù),利用相機(jī)響應(yīng)函數(shù)f表示場(chǎng)景輻照度值I對(duì)應(yīng)采集圖像 上亮度值Μ的關(guān)系,如下所示:
[0044] M = f(I)
[0045] 根據(jù)相機(jī)響應(yīng)函數(shù)的單調(diào)性,存在反函數(shù)8 = = =
[0046] 針對(duì)同一場(chǎng)景拍攝的兩幀不同曝光量圖像對(duì)應(yīng)輻照度之間的映射關(guān)系如下所示:
[0047] g(mB)=kg(mA)
[0048] 式中mA是圖像A上被估計(jì)的像素點(diǎn)的圖像亮度信息,mB是圖像B上對(duì)應(yīng)點(diǎn)的亮度信 息,k是圖像A和圖像B之間的曝光比。
[0049] (2)根據(jù)目標(biāo)多曝光序列圖像,獲取圖像的亮度映射函數(shù)。
[0050] 該步驟又包括以下幾個(gè)步驟:
[0051] (21)根據(jù)曝光量將圖像序列分為每?jī)蓭瑘D像組成的多組輸入圖像對(duì)。
[0052] 將輸入圖像序列按曝光量從低到高進(jìn)行排列,即E^Es,...,EP,由第一幀圖像開(kāi)始 依次每?jī)蓭瑘D像組成輸入圖像對(duì)(Ei,E 2),. . .,(En,EP)。
[0053] (22)針對(duì)每一組輸入圖像對(duì),獲得該兩幀圖像各顏色通道亮度統(tǒng)計(jì)特征信息; [0054]適當(dāng)?shù)哪繕?biāo)以及場(chǎng)景運(yùn)動(dòng)的情況下,場(chǎng)景輻亮度的總體直方圖基本保持恒定,因 此可利用不同曝光的圖像通過(guò)累積直方圖規(guī)則化對(duì)輸入圖像進(jìn)行直方圖建模,獲得圖像對(duì) 之間的亮度映射函數(shù)。
[0055] 假設(shè)輸入圖像的各顏色通道亮度信息對(duì)應(yīng)的直方圖沒(méi)有空缺部分,彩色圖像的各 顏色通道(分別為紅綠藍(lán))的累積直方圖Hr(M)、Hg(M)及Hb(M)如下所示:
[0056]
[0057]式中Μ是圖像各顏色通道累積直方圖的最高亮度值,m是累積直方圖對(duì)應(yīng)亮度范圍 中的亮度信息,hR(m)、hc(m)以及hB(m)分別為紅綠藍(lán)三個(gè)顏色通道的直方圖。
[0058] (23)利用輸入圖像對(duì)的各顏色通道亮度信息的累積直方圖規(guī)則化計(jì)算兩幀圖像 各顏色通道之間的亮度映射函數(shù)。
[0059] 由于拍攝目標(biāo)光照條件不變的條件下,針對(duì)拍攝場(chǎng)景中某一點(diǎn),比其亮與比其暗 的像素點(diǎn)個(gè)數(shù)比例是恒定的,基本不受成像系統(tǒng)晃動(dòng)的影響。根據(jù)該性質(zhì)假設(shè)輸入的兩幀 圖像是在沒(méi)有大幅度相機(jī)晃動(dòng)或場(chǎng)景變化的情況下獲得的,以圖像紅色通道為例,利用紅 色通道的亮度映射函數(shù)T建立輸入圖像對(duì)中的第二幀圖像紅色通道的亮度值Mb與第一幀圖 像中紅色通道的亮度值Μα的對(duì)應(yīng)關(guān)系,即Mb = T(Ma)。由于它們對(duì)應(yīng)于拍攝場(chǎng)景中相同的點(diǎn), 第一幀圖像中亮度值小于Μα的像素點(diǎn)數(shù)目與第二幀圖像中亮度值小于Mb的像素點(diǎn)數(shù)目應(yīng)相 等,可利用累積直方圖表示,即Hra(Ma) =Hrb(Mb) =Hrb(T(Ma))。令MA=m,則:
[0060]
[0061 ]式中Tr為兩幀圖像之間紅色通道的亮度映射函數(shù),Hra為第一幀圖像紅色通道的累 積直方圖,Hrb為第二幀圖像紅色通道的累積直方圖。
[0062]彩色圖像各顏色通道的亮度映射函數(shù)T可通過(guò)上式結(jié)合輸入圖像的累積直方圖獲 得。
[0063] (3)利用亮度映射函數(shù)對(duì)成像系統(tǒng)的相機(jī)響應(yīng)函數(shù)進(jìn)行標(biāo)定,建立成像系統(tǒng)的相 機(jī)響應(yīng)逆函數(shù)標(biāo)定模型;利用總體最小二乘法對(duì)相機(jī)響應(yīng)逆函數(shù)標(biāo)定模型系數(shù)進(jìn)行求解, 從而獲得成像系統(tǒng)的相機(jī)響應(yīng)逆函數(shù)。具體又分為如下步驟:
[0064] (31)將獲得的表述兩幀圖像對(duì)應(yīng)像素點(diǎn)亮度值之間關(guān)系的亮度映射函數(shù)Mb = T (Ma) : =g4(kg(MA))帶入g(mB)=kg(mA),得到兩幀不同曝光量圖像對(duì)應(yīng)關(guān)系如下:
[0065] g(T(MA)) =kg(MA)
[0066] (32)加入權(quán)重函數(shù)。
[0067]用于計(jì)算圖像之間亮度傳遞函數(shù)的兩幀圖像的累積直方圖Ha和Hb并不是一致的, 這意味著任意一個(gè)顏色通道的亮度值對(duì)應(yīng)的亮度傳遞函數(shù)依賴于圖像中該亮度值對(duì)應(yīng)的 像素?cái)?shù)目,因此需要對(duì)約束方程g(T(M A)) =kg(MA)加入相應(yīng)權(quán)重以提高相機(jī)響應(yīng)函數(shù)標(biāo)定 精度并克服相機(jī)響應(yīng)函數(shù)的分形自相似性。
[0068] 對(duì)于映射對(duì)(Ma,T(Ma))而言,hA(MA)=CA是第一幀圖像A中亮度值為Μα的像素個(gè)數(shù), hB(Mb) = hB(T(Ma) ) = CB是第二幀圖像Β中亮度值為Mb的像素個(gè)數(shù)。為了求解后續(xù)的最小二乘 問(wèn)題,將不同曝光量圖像結(jié)合相機(jī)響應(yīng)函數(shù)及相應(yīng)的約束權(quán)重得到:
[0069]
[0070] 由于直接在方程兩端乘以相應(yīng)的直方圖權(quán)重,過(guò)大的權(quán)重差異會(huì)造成方程結(jié)果震 蕩,給結(jié)果帶來(lái)較大的誤差,所以對(duì)直方圖進(jìn)行開(kāi)根號(hào)處理降低兩端權(quán)重差異,從而獲得穩(wěn) 定的求解結(jié)果。
[0071] (33)建立相機(jī)響應(yīng)逆函數(shù)超定方程,并利用總體最小二乘法求解相機(jī)響應(yīng)逆函 數(shù)。
[0072] 可以利用六階多項(xiàng)式對(duì)相機(jī)響應(yīng)函數(shù)進(jìn)行建模,如下所示:
[0073] g=m〇+mix+m2X2+m3X3+m4X4+m5X 5+m6X6
[0074] 將不同輸入圖像對(duì)獲得的亮度傳遞函數(shù)結(jié)合相機(jī)響應(yīng)函數(shù)六階多項(xiàng)式模型帶入 另
慶得一組超定方程如下所示:
[0075]
[0076] 由于總體最小二乘法相較于最小二乘法能夠?qū)崿F(xiàn)對(duì)誤差的聯(lián)合補(bǔ)償,從而能夠抑 制誤差及噪聲對(duì)矩陣方程求解的影響,從而精確地求解系數(shù){πιο,πη,...,m 6},獲得相機(jī)響應(yīng) 逆函數(shù)的近似表達(dá)式g。
[0077] (331)相機(jī)響應(yīng)逆函數(shù)超定方程模型線性化。
[0078] 利用變量代換法將相機(jī)響應(yīng)逆函數(shù)標(biāo)定的超定方程模型進(jìn)行簡(jiǎn)化處理,如下所 示:
[0079]
[0080]
[0081]
[0082] (332)獲得零均值的數(shù)據(jù)矩陣。
[0083]
[0084] 式中
A為構(gòu)建的 零均值數(shù)據(jù)矩陣。
[0085] (333)求解相機(jī)響應(yīng)逆函數(shù)模型系數(shù)。
[0086] 對(duì)ATA進(jìn)行特征值分解如下所示:
[0087]
[0088] 式中〇〇>〇1>.">〇6為特征值,Ul,U2,…,U6為特征值對(duì)應(yīng)的特征向量。
[0089] 則相機(jī)響應(yīng)逆函數(shù)模型系數(shù)[mo mi ... m6]T向量取特征值〇6對(duì)應(yīng)的特征向量,即:
[0090] [m0 mi · · · m6]T=U6T
[0091 ]將此參數(shù)進(jìn)行代入劉姐相機(jī)響應(yīng)逆函數(shù)模型,從而實(shí)現(xiàn)相機(jī)響應(yīng)逆函數(shù)的標(biāo)定。
[0092] (4)利用標(biāo)定的成像系統(tǒng)的相機(jī)響應(yīng)逆函數(shù)建立彩色圖像各顏色通道亮度信息與 拍攝場(chǎng)景輻照度信息之間的映射關(guān)系,針對(duì)多曝光圖像序列特點(diǎn)構(gòu)建高動(dòng)態(tài)范圍圖像權(quán)重 融合函數(shù)進(jìn)行高動(dòng)態(tài)范圍圖像融合。
[0093] 相機(jī)響應(yīng)逆函數(shù)是闡述亮度信息與能夠反映真實(shí)拍攝信息的輻照度之間的映射 關(guān)系的。通過(guò)將彩色圖像分解為不同的顏色通道,分別對(duì)不同的顏色通道中的亮度信息通 過(guò)相應(yīng)的相機(jī)響應(yīng)逆函數(shù)進(jìn)行映射。對(duì)于動(dòng)態(tài)范圍較大的拍攝場(chǎng)景,一幀低動(dòng)態(tài)范圍圖像 無(wú)法完全反映拍攝場(chǎng)景包含的信息,但通過(guò)調(diào)節(jié)成像系統(tǒng)的曝光量,可獲得多曝光圖像序 列,每一幀不同曝光量的圖像中包含不同的動(dòng)態(tài)范圍信息。所以可通過(guò)利用相機(jī)響應(yīng)逆函 數(shù)構(gòu)建高動(dòng)態(tài)范圍融合權(quán)重函數(shù)結(jié)合輸入多曝光圖像序列實(shí)現(xiàn)高動(dòng)態(tài)范圍圖像融合。 [0094] (41)選擇權(quán)重函數(shù)。
[0095] 高動(dòng)態(tài)范圍圖像融合中權(quán)重函數(shù)的選取應(yīng)弱化欠曝光以及過(guò)飽和部分包含信息 量少的區(qū)域,強(qiáng)化曝光量合適的部分,即能夠有效表達(dá)圖像信息的部分,為此采用三角帽函 數(shù)作為權(quán)重函數(shù):
[0096]
[0097]式中w(M)為亮度值Μ的三角帽權(quán)重函數(shù)值,Mmin為輸入圖像特定顏色通道最小亮度 值,Mmax為輸入圖像同一特定顏色通道最大亮度值。
[0098] (42)構(gòu)建高動(dòng)態(tài)范圍圖像融合權(quán)重函數(shù)。
[0099]針對(duì)彩色圖像序列,將序列中的每一幀圖像分解為R、G、B三個(gè)顏色通道,分別對(duì)各 顏色通道的亮度信息進(jìn)行處理。由于相機(jī)響應(yīng)逆函數(shù)能夠獲得亮度信息與輻照度信息之間 的映射關(guān)系,但每一幀圖像的亮度信息由于其曝光量不同,所包含的有效信息不同,需要利 用選擇的權(quán)重函數(shù)對(duì)每一幀圖像中各像素點(diǎn)的亮度信息進(jìn)行加權(quán)融合,同時(shí)考慮各幀圖像 不同曝光量的影響,構(gòu)建高動(dòng)態(tài)范圍圖像融合權(quán)重函數(shù)如下所示:
[0100]
[0101]式中i為圖像中像素點(diǎn)的空間索引,j為圖像序列中的圖像索引,g為標(biāo)定的相機(jī)響 應(yīng)逆函數(shù),Mi j為輸入多曝光圖像序列中第j幀圖像上像素點(diǎn)i的亮度信息,w為三角帽權(quán)值函 數(shù),Atj為圖像序列中第j幀圖像曝光時(shí)間。
[0102]上式即為構(gòu)建的高動(dòng)態(tài)范圍圖像權(quán)重融合函數(shù),通過(guò)多曝光圖像序列中對(duì)應(yīng)空間 位置像素點(diǎn)的亮度信息獲得的相應(yīng)權(quán)重以及相機(jī)響應(yīng)逆函數(shù)映射值,結(jié)合相應(yīng)輸入幀圖像 的曝光時(shí)間代入上式,即能夠獲得拍攝場(chǎng)景對(duì)應(yīng)點(diǎn)的輻照度信息。
[0103 ] (43)獲得拍攝場(chǎng)景的高動(dòng)態(tài)范圍圖像。
[0104] 獲得彩色圖像R、G、B各顏色通道的亮度信息,結(jié)合標(biāo)定的相機(jī)響應(yīng)逆函數(shù)以及構(gòu) 建的高動(dòng)態(tài)范圍圖像權(quán)重融合函數(shù),針對(duì)每一個(gè)顏色通道亮度信息進(jìn)行逆映射,獲得相應(yīng) 顏色通道的輻照度信息,即能夠獲得通過(guò)單幀圖像反映拍攝場(chǎng)景豐富信息的高動(dòng)態(tài)范圍圖 像。
[0105] (431)獲得彩色圖像各顏色通道的亮度信息。
[0106] (432)通過(guò)多曝光輸入圖像序列中對(duì)應(yīng)空間位置像素點(diǎn)的亮度信息獲得的相應(yīng)權(quán) 重以及相機(jī)響應(yīng)逆函數(shù)映射值,結(jié)合相應(yīng)輸入幀圖像的曝光時(shí)間代入(42)中構(gòu)建的高動(dòng)態(tài) 范圍圖像權(quán)重融合函數(shù),即能夠獲得拍攝場(chǎng)景對(duì)應(yīng)點(diǎn)的輻照度信息。
[0107] (433)分別獲得各顏色通道的輻照度信息,即獲得需要的反映拍攝場(chǎng)景高動(dòng)態(tài)范 圍的RGB顏色模型高動(dòng)態(tài)范圍圖像。
[0108] 實(shí)施例
[0109] 下面以一個(gè)具體實(shí)例對(duì)本發(fā)明方法的工作原理和過(guò)程作進(jìn)一步說(shuō)明。
[0110] (1)獲得目標(biāo)多曝光圖像序列。利用佳能D90相機(jī)獲得的一組含有成像系統(tǒng)晃動(dòng)的 目標(biāo)多曝光序列圖像如圖2所示,成像系統(tǒng)晃動(dòng)給圖像之間帶來(lái)的影響不超過(guò)五個(gè)像素。圖 2中,圖2(a)的曝光時(shí)間為Ι/lOs,圖2(b)的曝光時(shí)間為l/5s,圖2(c)的曝光時(shí)間為l/2s,圖2 (d)的曝光時(shí)間為0.77s,圖2(e)的曝光時(shí)間為2s,圖2(f)的曝光時(shí)間為5s,圖2(g)的曝光時(shí) 間為8s,圖2(h)的曝光時(shí)間為13s。
[0111] (2)分解彩色圖像。將獲得的目標(biāo)多曝光彩色圖像按照R、G、B顏色通道進(jìn)行分解, 獲得各顏色通道的亮度信息。
[0112] (3)從序列圖像中選取圖像對(duì)獲得亮度映射函數(shù),選取圖2(a)和圖2(b)、圖2(c)和 圖2(d)、圖2(e)和圖2(f)、圖2(g)和圖2(h)組成四組圖像對(duì),分別獲得四組圖像對(duì)各顏色通 道相應(yīng)的亮度傳遞函數(shù)曲線如圖3所示。圖3(a)、圖3(b)、圖3(c)分別為紅色通道、綠色通 道、藍(lán)色通道不同輸入圖像對(duì)的亮度映射函數(shù)。
[0113] (4)利用亮度傳遞函數(shù)進(jìn)行相機(jī)響應(yīng)函數(shù)標(biāo)定,相機(jī)響應(yīng)逆函數(shù)標(biāo)定結(jié)果如圖4所 不。
[0114] 利用均方根誤差對(duì)存在動(dòng)態(tài)問(wèn)題影響條件下的相機(jī)響應(yīng)函數(shù)標(biāo)定結(jié)果進(jìn)行定量 的評(píng)價(jià),同時(shí)采用目前成熟的Debevec和Malik提出的相機(jī)響應(yīng)標(biāo)定算法對(duì)相同的輸入圖像 進(jìn)行相機(jī)響應(yīng)函數(shù)標(biāo)定,對(duì)比結(jié)果如下表所示:
[0115]
[0116] 通過(guò)均方根誤差可以觀察到,針對(duì)存在動(dòng)態(tài)問(wèn)題影響到的圖像序列進(jìn)行相機(jī)響應(yīng) 函數(shù)標(biāo)定,基于亮度映射函數(shù)的相機(jī)響應(yīng)函數(shù)標(biāo)定方法仍然能夠獲得較為理想的標(biāo)定結(jié) 果,而Debevec和Malik提出算法無(wú)法對(duì)存在動(dòng)態(tài)問(wèn)題影響的輸入圖像進(jìn)行相機(jī)響應(yīng)函數(shù)標(biāo) 定。
[0117] (5)利用圖2中多曝光輸入圖像序列結(jié)合構(gòu)建的高動(dòng)態(tài)范圍圖像權(quán)重融合函數(shù)進(jìn) 行高動(dòng)態(tài)范圍圖像融合,結(jié)果如圖5所示。
[0118] 從實(shí)驗(yàn)結(jié)果可以看出,在同一幀結(jié)果圖像中易于過(guò)曝光的照明燈處以及易于欠曝 光無(wú)法觀察的辦公桌下陰暗處均能在同一幀結(jié)果圖像中得以顯示,且克服了相機(jī)晃動(dòng)帶來(lái) 的影響,從而實(shí)現(xiàn)了高動(dòng)態(tài)范圍的圖像融合。
[0119] 本發(fā)明說(shuō)明書(shū)中未作詳細(xì)描述的內(nèi)容屬本領(lǐng)域技術(shù)人員的公知技術(shù)。
【主權(quán)項(xiàng)】
1. 一種用于克服動(dòng)態(tài)問(wèn)題影響的高動(dòng)態(tài)范圍圖像融合方法,其特征在于包括如下步 驟: (1) 利用相機(jī)獲得目標(biāo)不同曝光量的曝光圖像序列; (2) 根據(jù)目標(biāo)的曝光圖像序列,獲取圖像的亮度映射函數(shù)T(m),具體為: (21) 將曝光圖像序列按曝光量從低到高進(jìn)行排列,然后從第一幀圖像開(kāi)始每?jī)蓭瑘D像 組成一個(gè)輸入圖像對(duì); (22) 針對(duì)每一個(gè)輸入圖像對(duì),獲得該輸入圖像對(duì)中兩幀圖像各顏色通道的亮度信息的 累積直方圖; (23) 利用輸入圖像對(duì)的兩幀圖像各顏色通道亮度信息的累積直方圖,計(jì)算兩幀圖像各 顏色通道之間的亮度映射函數(shù)T(m),其中m為亮度值,HA(m)為輸入圖像對(duì)中的第一幀圖像的某顏色通道亮度值為m的累積直 方圖函數(shù),為輸入圖像對(duì)中的第二幀圖像的對(duì)應(yīng)顏色通道亮度值為m的累積直方圖 逆函數(shù); (3) 利用亮度映射函數(shù)T(m)對(duì)相機(jī)響應(yīng)函數(shù)進(jìn)行標(biāo)定,獲得相機(jī)響應(yīng)逆函數(shù)的近似表 達(dá)式g; (4) 結(jié)合相機(jī)響應(yīng)逆函數(shù)的近似表達(dá)式g及曝光圖像序列曝光時(shí)間信息△ t構(gòu)建圖像權(quán) 重融合函數(shù)I1,獲得彩色圖像各顏色通道的輻照度信息,從而獲得反映拍攝場(chǎng)景信息的高 動(dòng)態(tài)范圍圖像。2. 根據(jù)權(quán)利要求1所述的一種用于克服動(dòng)態(tài)問(wèn)題影響的高動(dòng)態(tài)范圍圖像融合方法,其 特征在于:所述的圖像權(quán)重融合函數(shù)I1S:式中i為圖像中像素點(diǎn)的空間索引,j為曝光圖像序列中的圖像索引,M1偽輸入曝光圖 像序列中第j幀圖像上像素點(diǎn)i的亮度信息,w為三角帽權(quán)值函數(shù),△ tj為曝光圖像序列中第 j幀圖像的曝光時(shí)間,P為曝光圖像序列中的圖像總幀數(shù)。3. 根據(jù)權(quán)利要求1或2所述的一種用于克服動(dòng)態(tài)問(wèn)題影響的高動(dòng)態(tài)范圍圖像融合方法, 其特征在于:所述步驟(3)中獲得相機(jī)響應(yīng)逆函數(shù)的近似表達(dá)式g的方法為: (31) 獲取兩幀不同曝光量圖像對(duì)應(yīng)關(guān)系如下: g(T (Ma))= kg (Ma) 其中Ma圖像A上被估計(jì)的像素點(diǎn)的圖像亮度信息,T是圖像B和圖像A之間的亮度傳遞函 數(shù),k是兩幀不同曝光量圖像中圖像A和圖像B之間的曝光比; (32) 加入權(quán)重函數(shù),將步驟(31)的結(jié)果修改為:其中Ca是第一幀圖像A中亮度值為Ma的像素個(gè)數(shù),Cb是第二幀圖像B中亮度值為Mb的像素 個(gè)數(shù); (33) 利用多項(xiàng)式對(duì)相機(jī)響應(yīng)逆函數(shù)進(jìn)行建模,將不同輸入圖像對(duì)獲得的亮度傳遞函數(shù) 以及相機(jī)響應(yīng)逆函數(shù)多項(xiàng)式代入步驟(32)的表達(dá)式中獲得一組超定方程; (34) 利用總體最小二乘法求解所述的超定方程,獲得相機(jī)響應(yīng)逆函數(shù)的模型系數(shù),由 此得到相機(jī)響應(yīng)逆函數(shù)的近似表達(dá)式g。
【文檔編號(hào)】H04N5/235GK105933617SQ201610335204
【公開(kāi)日】2016年9月7日
【申請(qǐng)日】2016年5月19日
【發(fā)明人】都琳, 孫華燕, 張廷華, 王帥, 徐韜祜, 李迎春, 梁丹華, 高宇軒
【申請(qǐng)人】中國(guó)人民解放軍裝備學(xué)院