本發(fā)明涉及數(shù)字圖像處理方法，特別涉及一種基于學(xué)習(xí)的高動態(tài)范圍與高分辨率圖像聯(lián)合重建方法。

背景技術(shù)：
受到圖像成像設(shè)備分辨率以及亮度動態(tài)范圍的影響，現(xiàn)有的普通攝像機(jī)難以對高對比度場景進(jìn)行較遠(yuǎn)距離的高質(zhì)量成像。高質(zhì)量的圖像在有效表現(xiàn)高對比度場景的同時，也應(yīng)當(dāng)具有較高的空間分辨率。針對圖像的高動態(tài)范圍圖像顯示和空間分辨率的重建問題，許多學(xué)者已進(jìn)行了一些卓有成效的研究工作，但他們基本上都是分別獨(dú)立進(jìn)行的。現(xiàn)有的超分辨率復(fù)原技術(shù)通常假設(shè)多幅圖像的曝光參數(shù)是不變的、攝像機(jī)響應(yīng)函數(shù)的參數(shù)以及噪聲參數(shù)是已知的；但是，在真實(shí)世界中所獲取的圖像通常對以上假設(shè)條件難以滿足。因此，在統(tǒng)一技術(shù)框架中重建高動態(tài)范圍和高分辨率圖像，對圖像融合的理論基礎(chǔ)和實(shí)際應(yīng)用都具有一定的價值。該發(fā)明可對高對比度場景進(jìn)行有效成像，可用于夜街景監(jiān)控圖像處理或?yàn)閿z影藝術(shù)家提供數(shù)碼照片處理工具。

技術(shù)實(shí)現(xiàn)要素：
本發(fā)明的目的在于，將同一場景多幅具有不同曝光參數(shù)的低分辨率圖像重建為具有高亮度動態(tài)范圍和高分辨率的高質(zhì)量圖像。這里的高動態(tài)范圍指場景亮度對比度在256級以上，高分辨率指空間分辨率放大2倍以上。為了達(dá)到上述目的，本發(fā)明采用基于示例學(xué)習(xí)的框架進(jìn)行高動態(tài)范圍和高分辨率圖像的聯(lián)合重建。通過對示例樣本的學(xué)習(xí)，建立LDR-LR(LowDynamicRange–LowResolution)與HDR-HR(HighDynamicRange-HighResolution)之間的映射關(guān)系。通過合理組織樣本，分類訓(xùn)練學(xué)習(xí)模型等策略在無需人為交互的情況下實(shí)現(xiàn)HDR-HR圖像的聯(lián)合重建。整體流程圖如附圖1所示。算法分為離線訓(xùn)練和在線重建兩部分。其流程圖分別如附圖2和附圖3所示。離線部分包括學(xué)習(xí)樣本采集、組織和分類預(yù)測器訓(xùn)練部分。樣本采集過程根據(jù)場景亮度不同分為三類分別進(jìn)行。采用K均值聚類方法對樣本文件進(jìn)行組織。然后，對分類預(yù)測器進(jìn)行訓(xùn)練。在線部分對輸入的至少3幅具有不同曝光參數(shù)的LR-LDR圖像進(jìn)行HDR-HR重建。首先，通過輸入圖像的平均圖像進(jìn)行場景的背景亮度分類；然后，根據(jù)亮度分類結(jié)果，利用離線部分訓(xùn)練好的分類預(yù)測器對輸入圖像進(jìn)行動態(tài)范圍和細(xì)節(jié)信息的預(yù)測，最終重建細(xì)節(jié)信息。該方法具體包括以下步驟：（一）離線訓(xùn)練部分1）示例樣本的提取與組織訓(xùn)練圖像庫由多組訓(xùn)練圖像組成，每組訓(xùn)練圖像為同一場景的至少3幅具有不同曝光參數(shù)的低分辨率圖像和一幅對應(yīng)的目標(biāo)圖像；圖像序列可由分辨率相對較低的相機(jī)拍攝具有不同曝光參數(shù)的圖像ILDR-LRi，i=-1,0,1,和一幅對應(yīng)的目標(biāo)圖像IHDR-HR；其中ILDR-LR0為正常曝光圖像，即采用自動曝光設(shè)置的相機(jī)采集的圖像，設(shè)其曝光時間為t0，ILDR-LR-1為曝光時間小于t0時采集的圖像，即曝光時間短的圖像，ILDR-LR1為曝光時間大于t0時采集的圖像，即曝光時間長的圖像；目標(biāo)圖像可通過光學(xué)記錄儀器記錄場景的真實(shí)亮度值，以浮點(diǎn)型數(shù)據(jù)存儲形成的HDR圖像，然后經(jīng)過色調(diào)映射方法映射為能夠體現(xiàn)高對比度場景且可在顯示設(shè)備上顯示的圖像。訓(xùn)練圖像也可由現(xiàn)有的浮點(diǎn)HDR圖像模擬產(chǎn)生。示例樣本是由成對的圖像信息塊組成，即HDR-HR圖像塊和相應(yīng)的LDR-LR圖像信息塊。HDR-HR和LDR-LR圖像細(xì)節(jié)信息的提取：首先通過雙邊濾波器對每幅輸入圖像和HDR-HR圖像進(jìn)行濾波得到圖像的基本層，取原圖像與基本層圖像的差值圖像作為細(xì)節(jié)信息：LHDR-HR=IHDR-HR－BF(IHDR-HR)(1)相應(yīng)的LR-LDR圖像的細(xì)節(jié)信息如下式計算：LLDR-LRi=ILDR-LRi－BF(Ii)i=-1,0,1(2)其中BF(IHDR-HR)為雙邊濾波器對圖像IHDR_HR濾波后的結(jié)果圖像，即基本層圖像。成對的訓(xùn)練樣本塊從LHDR-HR和LLDR-LRi中提取。其中i取決于背景亮度的聚類分割結(jié)果；在亮區(qū)從LHDR-HR和LLDR-LR-1中提取樣本，在適中區(qū)從LHDR-HR和LLDR-LR0中提取樣本，而在暗區(qū)則從LHDR-HR和LLDR-LR1中提取樣本。在樣本采集時，對HDR-HR場景進(jìn)行了背景亮度分類。具體為對所有LDR-LR圖像的平均圖像Iaverage進(jìn)行K均值聚類分割，將圖像分為亮區(qū)，適中區(qū)和暗區(qū)3個區(qū)域。成對的訓(xùn)練樣本塊從LHDR-HR和LLDR-LRi中提取；其中i取決于背景亮度的聚類分割結(jié)果；在亮區(qū)從LHDR-HR和LLDR-LR-1中提取樣本，在適中區(qū)從LHDR-HR和LLDR-LR0中提取樣本，而在暗區(qū)則從LHDR-HR和LLDR-LR1中提取樣本。示例樣本的提取示意圖如附圖4所示。LHDR-HR是HDR-HR圖像的細(xì)節(jié)信息，LLDR-LR是LDR-LR圖像的細(xì)節(jié)信息。圖像LHDR-HR中任意一個圖像塊，在圖像LLDR-LR中都能找到一個對應(yīng)的LDR-LR圖像塊。如圖4b)中所示，當(dāng)下采樣系數(shù)為2倍時，LHDR-HR中灰色圖像塊大小為4×4，則在LLDR-LR中對應(yīng)的LDR-LR塊為深灰色的大小為2×2的圖像塊。為了同時考慮圖像塊與相鄰塊之間的內(nèi)容連續(xù)性，我們將LLDR-LR中的LDR-LR塊向周邊擴(kuò)展一個像素。這樣由兩幅差圖像中對應(yīng)位置的灰色圖像塊構(gòu)成一個成對的訓(xùn)練樣本：其中，[x0,x1,…x15]是LDR-LR圖像的16維細(xì)節(jié)信息，[y0,y1,…y15]是HDR-HR圖像的16維細(xì)節(jié)信息。樣本圖像中所有位置的圖像塊都被選為訓(xùn)練樣本，在對Iaverage聚類分割中被劃分為同一個類別區(qū)域所提取的樣本構(gòu)成一個樣本庫。因此，可采集適用于亮區(qū)、暗區(qū)和適中區(qū)域的三個樣本庫。2）分類預(yù)測器及其訓(xùn)練對于每個樣本庫，訓(xùn)練一個分類預(yù)測器。分類預(yù)測的設(shè)計部分，分類預(yù)測器由一組子預(yù)測器構(gòu)成，每個類別分別對應(yīng)一個線性子預(yù)測器，其框圖如圖5所示。對于給定樣本庫，LDR-LR部分樣本的內(nèi)容一般可被劃分為若干類別。每個區(qū)域的內(nèi)容具有相似的特征。算法將輸入的LDR-LR樣本示例（T中的{xi,i=0,1,15}部分）進(jìn)行基于內(nèi)容的分類。對于每個類別，設(shè)計一個簡單的預(yù)測器，用于預(yù)測同一類別的LR-LDR圖像塊對應(yīng)的細(xì)節(jié)信息。樣本庫的組織與訓(xùn)練具體方法如下：對LR-LDR樣本塊進(jìn)行聚類，將訓(xùn)練樣本庫劃分為若干樣本子空間，并通過分類來組織輸入圖像的內(nèi)容。每個類別用一個編碼矢量表示，得到一個由每類的編碼矢量組成的碼本。算法將每個樣本分為一類，產(chǎn)生一個樣本分類的編碼列表。碼本的產(chǎn)生過程和訓(xùn)練樣本庫的分類過程都是離線進(jìn)行的。利用采集到的3個訓(xùn)練樣本庫分別進(jìn)行離線訓(xùn)練。得到碼本后，訓(xùn)練樣本根據(jù)碼本進(jìn)行分類，即對給定樣本中的LDR-LR特征矢量，在碼本中尋找與之距離最近的編碼矢量，然后將該樣本劃分到該編碼矢量所代表的類別中。訓(xùn)練樣本庫的類別數(shù)為N，聚類后生成一個由N個碼字組成的碼本CB，每個碼字為一個編碼矢量：其中，R16表示16維實(shí)數(shù)矢量空間。分類預(yù)測器的訓(xùn)練過程就是訓(xùn)練每個子預(yù)測器的過程。（二）在線重建部分1）場景背景亮度分類在線重建部分選用至少3幅低分辨率低動態(tài)圖像作為實(shí)驗(yàn)輸入圖像，J-1為一曝光時間過短圖像，J1為一曝光時間過長圖像，J0為一曝光時間正常圖像；其中曝光時間正常圖像指將相機(jī)設(shè)置為自動曝光時獲取的圖像，設(shè)其曝光時間為t0，曝光時間過短圖像指采用比自動曝光時間t0少的曝光時間拍攝的圖像，曝光時間過長的圖像指采用比自動曝光時間t0長的曝光時間拍攝的圖像。為了保持場景整體亮度動態(tài)范圍，選擇3幅實(shí)驗(yàn)輸入圖像的平均圖像作為LDR-LR圖像，對中間圖像進(jìn)行K均值聚類獲得場景亮度分類。依據(jù)亮度分類結(jié)果，在每個區(qū)域的像素進(jìn)行重建的過程中分別采用對應(yīng)類別的分類預(yù)測器進(jìn)行預(yù)測。預(yù)測時，輸入數(shù)據(jù)首先通過樣本分類過程產(chǎn)生的碼本進(jìn)行編碼，即分類；然后根據(jù)其類別選擇對應(yīng)的子預(yù)測器進(jìn)行預(yù)測。2）分類預(yù)測學(xué)習(xí)及其重建對于重建目標(biāo)HDR-HR圖像JHDR-HR中每個4×4的圖像塊，在輸入的LDR-LR圖像都有對應(yīng)位置的4×4塊。這種位置對應(yīng)關(guān)系與訓(xùn)練樣本提取過程中的對應(yīng)關(guān)系相同，如圖4所示。對于3幅輸入圖像獲得其平均圖像后，對其進(jìn)行插值放大獲得HDR-HR場景的初始估計圖像。圖像對其進(jìn)行雙邊濾波器濾波取差值圖像獲得輸入圖像LDR-LR的細(xì)節(jié)信息。復(fù)原過程中，根據(jù)樣本提取方式對輸入LDR-LR圖像對應(yīng)圖像塊提取相應(yīng)特征矢量，將該特征矢量作為分類預(yù)測器的輸入，預(yù)測對應(yīng)位置HDR-HR塊的細(xì)節(jié)信息。整體HDR-HR圖像細(xì)節(jié)信息層的重建過程采用一個4×4像素的窗口在HDR-HR目標(biāo)圖像坐標(biāo)上滑動，水平和垂直步長為2個像素。對每個窗口位置進(jìn)行細(xì)節(jié)信息預(yù)測。圖像中相同位置的細(xì)節(jié)信息由于窗口的重疊會產(chǎn)生多個預(yù)測值，將所有的預(yù)測值進(jìn)行平均得到預(yù)測結(jié)果。對應(yīng)于3幅輸入圖像來說，對應(yīng)亮區(qū)J-1圖像相對應(yīng)的細(xì)節(jié)比較多，對應(yīng)暗區(qū)J1圖像相對應(yīng)的細(xì)節(jié)比較多，對應(yīng)正常區(qū)域J0圖像相對應(yīng)的細(xì)節(jié)比較多。因此，在用分類預(yù)測器用于進(jìn)行細(xì)節(jié)信息的預(yù)測時，分別對應(yīng)于不同的亮度區(qū)域，采用不同的輸入圖像指導(dǎo)細(xì)節(jié)信息的預(yù)測，最后估計得到的細(xì)節(jié)信息層疊加到初始估計圖像中形成輸出HDR-HR圖像。為了保證估計HDR-HR圖像結(jié)果接近理想高分辨率圖像的約束，通常采用LDR-LR圖像觀測模型約束。我們采用高斯移動平均模型約束。本發(fā)明有益的技術(shù)效果是：提供了在基于學(xué)習(xí)的框架內(nèi)進(jìn)行圖像高動態(tài)范圍與超分辨率的聯(lián)合重建，該方法能同時重建高動態(tài)范圍與高分辨率的目標(biāo)圖像。下面結(jié)合實(shí)例參照附圖進(jìn)行詳細(xì)說明，以求對本發(fā)明的目的、特征和優(yōu)點(diǎn)得到更深入的理解。附圖說明：圖1、本發(fā)明方法整體框圖；圖2、離線訓(xùn)練部分流程圖；圖3、在線重建部分流程圖；圖4、提取訓(xùn)練樣本示意圖；a)HDR-HR細(xì)節(jié)圖像b)LDR-LR細(xì)節(jié)圖像圖5、分類預(yù)測器框圖；圖6、輸入具有不同曝光參數(shù)的圖像；a)Rosetteb)Cathedralc)Church圖7、背景亮度分類結(jié)果；圖8、細(xì)節(jié)信息重建示意圖；圖9、HDR-HR重建結(jié)果；a)Rosetteb)Cathedralc)Church圖10、本發(fā)明方法與傳統(tǒng)插值放大結(jié)果局部細(xì)節(jié)比較。a)Rosette插值局部細(xì)節(jié)信息b)本發(fā)明方法局部細(xì)節(jié)信息。具體實(shí)施方式：以下結(jié)合說明書附圖，對本發(fā)明的實(shí)施實(shí)例加以說明：本發(fā)明提出方法分為離線訓(xùn)練和在線重建兩部分。離線訓(xùn)練部分流程圖如圖2所示，包括學(xué)習(xí)樣本采集、組織和分類預(yù)測器訓(xùn)練部分。樣本采集過程根據(jù)場景亮度不同分為三類分別進(jìn)行。采用聚類方法對樣本文件進(jìn)行組織。然后，通過線性或非線性預(yù)測器學(xué)習(xí)方法對分類預(yù)測器進(jìn)行訓(xùn)練。在線重建部分流程圖如圖3所示，對輸入的3幅具有不同曝光參數(shù)的LR-LDR圖像進(jìn)行HDR-HR重建。首先，通過輸入圖像的平均圖像進(jìn)行場景的背景亮度分類；然后，根據(jù)亮度分類結(jié)果，利用離線訓(xùn)練部分訓(xùn)練好的分類預(yù)測器對輸入圖像進(jìn)行高動態(tài)范圍和高分辨率細(xì)節(jié)信息的預(yù)測，最終重建細(xì)節(jié)信息。下面結(jié)合實(shí)例對該方法進(jìn)行詳細(xì)說明。（1）離線訓(xùn)練部分訓(xùn)練圖像選取現(xiàn)有的浮點(diǎn)HDR圖像模擬產(chǎn)生。通過HDRShopV1.0軟件將HDR浮點(diǎn)圖像模擬映射為3幅具有不同曝光參數(shù)的圖像。具體產(chǎn)生方法為：首先將浮點(diǎn)HDR圖像進(jìn)行z=2倍下采樣，選取正常曝光圖像作為I0。曝光參數(shù)調(diào)小1個f-stop，獲得圖像作為曝光較小圖像I-1；曝光參數(shù)以I0為基準(zhǔn)，調(diào)大一個f-stop作為I1。目標(biāo)圖像通過PhotomatixPro4.2.3軟件將浮點(diǎn)HDR圖像映射為一幅HDR-HR場景的目標(biāo)圖像IHDR-HR，映射中采用了默認(rèn)方法和參數(shù)。3幅LDR-LR圖像和一幅對應(yīng)的HDR-HR場景的目標(biāo)圖像IHDR-HR組成一個場景的訓(xùn)練圖像。如在樣本采集時，首先對HDR-HR場景進(jìn)行背景亮度分類。背景亮度分類可采用多種方案，如可對3幅LDR-LR圖像的平均圖像Iaverage進(jìn)行K均值聚類，分割為3類，從而將圖像分為亮區(qū)，適中區(qū)和暗區(qū)3個區(qū)域。根據(jù)場景亮度分類結(jié)果，亮區(qū)樣本在曝光時間短的LDR-LR與目標(biāo)圖像對應(yīng)的細(xì)節(jié)圖中提??；暗區(qū)樣本在曝光時間長的LDR-LR與目標(biāo)圖像對應(yīng)的細(xì)節(jié)圖中提取；亮度適中區(qū)，則選擇曝光時間適中的LDR-LR與目標(biāo)圖像對應(yīng)的細(xì)節(jié)圖中提??；在每個區(qū)域中采集示例樣本，構(gòu)成3個訓(xùn)練樣本集。示例樣本是由成對的圖像信息塊組成，即HDR-HR圖像塊和相應(yīng)的LDR-LR圖像塊。樣本提取前，分別對LDR-LR和HDR-HR訓(xùn)練圖像進(jìn)行雙邊濾波器濾波，然后將原圖像減去濾波后的圖像得到細(xì)節(jié)信息。在對應(yīng)的細(xì)節(jié)信息圖像上，按照圖4所示的對應(yīng)關(guān)系采集成對的示例樣本。圖4中以采樣倍數(shù)等于2為例。對應(yīng)的樣本分別提取的是16維的向量。采集到的3個訓(xùn)練樣本庫分別進(jìn)行基于聚類的樣本組織。可采用K均值聚類，對樣本中的LDR-LR部分進(jìn)行聚類。對于每個樣本庫，訓(xùn)練一個分類預(yù)測器。分類預(yù)測器由一組子預(yù)測器構(gòu)成，每個聚類類別的樣本子集對應(yīng)一個子預(yù)測器。子預(yù)測器的訓(xùn)練中，對應(yīng)類別的所有樣本為訓(xùn)練樣本。其中LDR-LR部分為輸入，HDR-HR部分為目標(biāo)。預(yù)測器的目的是描述同類樣本LDR-LR和HDR-HR的映射關(guān)系。這種映射關(guān)系用于指導(dǎo)非訓(xùn)練樣本LDR-LR圖像序列的HDR-HR圖像重建。子預(yù)測器采用簡單的最小均方誤差準(zhǔn)則（LeastMeanSquares,LMS）預(yù)測器。各子預(yù)測器的輸出為：其中，x'為訓(xùn)練樣本中的矢量：訓(xùn)練過程中，權(quán)值矩陣初始化為零。訓(xùn)練過程采用訓(xùn)練樣本庫中相應(yīng)類別的樣本子集合進(jìn)行。離線訓(xùn)練部分的目的是訓(xùn)練與背景亮度分類數(shù)量對應(yīng)個數(shù)的分類預(yù)測器，表示不同訓(xùn)練樣本集中LDR-LR和HDR-HR之間的映射關(guān)系。分類預(yù)測器用于在線重建過程中的細(xì)節(jié)信息預(yù)測。（2）在線重建部分以3幅不屬于訓(xùn)練圖像的輸入圖像為例，J-1為一曝光時間較短圖像，J1為曝光時間較長的圖像，J0為曝光時間正常圖像。如附圖5所示。為了保持場景整體亮度動態(tài)范圍，選擇3幅實(shí)驗(yàn)輸入圖像的平均圖像Javerage作為LDR-LR初始圖像，將初始圖像經(jīng)雙線性插值放大到目標(biāo)圖像大小，作為基本層圖像。對I0的灰度圖像進(jìn)行K均值聚類獲得場景亮度分類，分割出亮區(qū)、暗區(qū)和亮度適中區(qū)。背景亮度分類結(jié)果如附圖6所示。對J-1，J0和J1分別進(jìn)行細(xì)節(jié)信息提取，即將原圖與雙邊濾波器濾波后的平滑圖像的差圖像作為LDR-LR細(xì)節(jié)圖像。依據(jù)亮度分類結(jié)果，在每個區(qū)域的像素進(jìn)行重建的過程中分別采用對應(yīng)類別的分類預(yù)測器進(jìn)行預(yù)測。預(yù)測時，輸入數(shù)據(jù)首先通過樣本分類過程產(chǎn)生的碼本進(jìn)行編碼，即分類；然后根據(jù)其類別選擇對應(yīng)的子預(yù)測器進(jìn)行細(xì)節(jié)信息預(yù)測。對應(yīng)于3幅輸入圖像來說，對于亮區(qū)，J-1圖像所呈現(xiàn)的細(xì)節(jié)信息相對較好；對于暗區(qū)，J1圖像中所成像的細(xì)節(jié)信息相對較好；對應(yīng)正常區(qū)域J0圖像相對應(yīng)的細(xì)節(jié)成像較好。因此，在用分類預(yù)測器用于進(jìn)行細(xì)節(jié)信息的預(yù)測時，分別對應(yīng)于不同的亮度區(qū)域，采用不同的輸入圖像指導(dǎo)細(xì)節(jié)信息的預(yù)測。細(xì)節(jié)層的預(yù)測是逐塊進(jìn)行的，如附圖8所示。由圖像Ji的細(xì)節(jié)圖像中4×4圖像塊經(jīng)分類預(yù)測器預(yù)測得到一個4×4的輸出結(jié)果，作為JHDR-HR圖像對應(yīng)位置的細(xì)節(jié)信息塊。然后，Ji細(xì)節(jié)圖像中的方框以2像素為步長移動，提取細(xì)節(jié)信息塊，再通過分類預(yù)測器，得到JHDR-HR圖像下一位置的細(xì)節(jié)信息塊。最終，通過逐塊預(yù)測，得到完整的細(xì)節(jié)信息層。最后將估計得到的細(xì)節(jié)信息層疊加到初始估計圖像中形成融合的HDR-HR圖像。最后，通過圖像觀測模型，采用插值放大的基本層圖像對融合圖像進(jìn)行模型約束，通過迭代優(yōu)化：其中IHDR-HR為重建目標(biāo)圖像，（k,l）為圖像JHDR-HR與高斯函數(shù)卷積后得到的圖像坐標(biāo)；JLDR-LR(i,j)為輸入LDR-LR圖像序列平均圖像在坐標(biāo)（i,j）處的像素值；q為放大倍數(shù)，Gσ為方差為σ的高斯濾波器，為卷積運(yùn)算。高斯濾波使HDR-HR估計圖像中每個像素為其周圍點(diǎn)的加權(quán)平均和。迭代求解公式（7）的最優(yōu)化問題，可得到最終的HDR-HR圖像JHDR-HR。重建結(jié)果如圖9所示。圖10為本發(fā)明方法與傳統(tǒng)插值放大結(jié)果局部細(xì)節(jié)比較。本發(fā)明基于學(xué)習(xí)的高動態(tài)范圍與超分辨率聯(lián)合重建方法，可對高對比度場景進(jìn)行有效成像，達(dá)到同時重建高分辨率和高動態(tài)范圍圖像的目標(biāo)。本發(fā)明應(yīng)用范圍廣泛，可用于夜晚街景監(jiān)控圖像處理以及為攝影藝術(shù)家提供數(shù)碼照片處理工具。離線訓(xùn)練過程可一次訓(xùn)練，多次應(yīng)用。