專利名稱：多曝光圖像融合方法和裝置的制作方法
技術領域：
本發(fā)明總體地涉及圖像處理領域，更具體地涉及多曝光圖像融合方法和裝置。
背景技術：
在某些情景下拍攝的圖像經常存在高亮或反光區(qū)域，如照相機或投影儀-攝像機系統(tǒng)中所拍攝的圖像，導致所拍攝的圖像高亮區(qū)域內的內容不可見或者無法看清。例如，白板圖像由于包含較強的鏡面反射現(xiàn)象，使得圖像的動態(tài)范圍增大，而普通數(shù)碼照相及顯示器材的動態(tài)范圍遠小于上述情況的值，因此，白板圖像中的部分內容(例如，部分筆畫信息)將無法被拍攝到。目前，從軟件開發(fā)的角度，解決數(shù)碼照相機動態(tài)范圍局限性的方法主要有兩種，兩者的處理對象均為一組關于同一場景的曝光程度不同的圖像序列。一種是高動態(tài)范圍(HDR)圖像生成技術。這種技術需要已知圖像的曝光時間來計算照相機響應函數(shù)，進而生成HDR圖像，但還需要經過色調映射處理才能將上述結果顯示出來。相比之下，另一種方法，SP多曝光融合，則具有更加簡便的計算方法。它只需要將輸入圖像按照一定的權值限定后，融合成為一幅能夠直接用于顯示的細節(jié)增強的合成圖像，而不需要經過HDR圖像生成及色調映射處理。由于沒有生成HDR圖像這一中間結果，因此，多曝光圖像融合方法的實施過程不需要恢復照相機響應函數(shù)，也不需要已知圖像的曝光時間。在專利公開CN102063712A中，提出了一種基于子帶結構的多曝光圖像融合方法。該方法基于子帶的架構，利用正交鏡像濾波器(Quadrature Mirror Filter7QMF)濾波器組作為分析濾波器組將輸入多曝光圖像序列分解成一組子帶圖像；利用QMF濾波器將多曝光的輸入圖像分解成水平、垂直和對角線的子帶信號，以及一個低通帶圖像；利用增益控制圖對新的子帶圖像進行修飾，避免信號的失真從而保留更多的細節(jié)。
·
在美國專利US7492962B2中介紹了一種增強圖像的系統(tǒng)和方法，其中利用圖像增強系統(tǒng)對原始圖內容像進行增強；使用冪函數(shù)變換方法生成冪函數(shù)變換圖像，使用對數(shù)變換方法生成對數(shù)變換圖像；使用閾值方法和蒙版圖像加工方法，選擇性地對冪函數(shù)變換圖像和對數(shù)變換圖像分別進行處理，以及融合兩個從冪函數(shù)變換圖象和對數(shù)變換圖像獲得的拉普拉斯金字塔。在美國專利US7027662B2中介紹了一種去除閃光效果的方法和裝置，其中，從有閃光的圖像上減去沒有閃光的圖像；根據圖像相減結果的強度直方圖調整一個閾值，使得通過閾值方法，僅僅保留圖像相減結果中強度差別巨大的部分；從有閃光的圖像上減去這個處理后的結果圖像，從而去除閃光的影響，例如鏡面反射和紅眼，該方法可以通過給顏色空間的不同維度(例如R/G/B)分別設置閾值來優(yōu)化。在美國專利US7457477B2中，介紹了數(shù)字圖像的閃光和無閃光效果的加工，其中使用一對閃光和無閃光的圖像，去除正常環(huán)境光下的圖像的噪聲，利用從閃光圖像中獲得細節(jié)，銳化正常環(huán)境光下的圖像，還原色彩，去除紅眼效應；通過檢測亮度值大于傳感器輸出值95%的方法來檢測鏡面反射區(qū)域；利用圖像的形態(tài)學處理方法來清理圖像上鏡面反射的影響，如腐蝕斑點和填充空洞。

發(fā)明內容
本發(fā)明的一個目的在于提供適于快速改善反光區(qū)域內容的裝置和方法。根據本發(fā)明的一個方面，提供了一種多曝光圖像融合裝置，可以包括:反光區(qū)域提取單元，用于提取同一場景的多個曝光程度不同的圖像中的每個圖像的反光區(qū)域；以及多曝光圖像反光區(qū)域融合單元，用于融合所述多個反光區(qū)域的圖像。多曝光圖像反光區(qū)域融合單元還包括反光區(qū)域子圖像獲取單元，反光區(qū)域子圖像獲取單元可以將所述多個反光區(qū)域的圖像的每個分解以生成粗糙層子圖像和細節(jié)層子圖像。其中，反光區(qū)域子圖像獲取單元可以通過利用多尺度濾波器分解多個反光區(qū)域圖像的每個，獲取反映所述每個反光區(qū)域的不同尺度特征的所述反光區(qū)域的粗糙層子圖像；以及反光區(qū)域子圖像獲取單元可以通過計算相鄰尺度的粗糙層子圖像之間的差或者計算每個粗糙層子圖像與粗糙層子圖像的均值圖像之間的差，獲取反映每個反光區(qū)域的進一步圖像內容細節(jié)特征的所述反光區(qū)域的細節(jié)層子圖像。多曝光圖像反光區(qū)域融合單元可以通過對所述多個反光區(qū)域圖像進行加權求和來增強所述多個反光區(qū)域圖像，其中所述反光區(qū)域圖像的權值可以基于該反光區(qū)域圖像的反映圖像內容的可見程度的可見度和反映區(qū)域顏色豐富程度的區(qū)域顏色程度計算得到。多曝光圖像反光區(qū)域融合單元可以對所述多個反光區(qū)域圖像的對應粗糙層圖像進行加權求和從而得到增強后的粗糙層圖像，以及對各個圖像的反光區(qū)域的對應細節(jié)層圖像進行加權求和，從而得到增強后的細節(jié)層圖像；以及基于增強后的粗糙層圖像和增強后的細節(jié)層圖像重構反光區(qū)域圖像。多曝光圖像融合裝置還可以包括質量增強單元，用于去除融合獲得的反光區(qū)域圖像中的光源顏色污染。多個曝光程度不同的圖像可以包括參考圖像和輔助圖像，參考圖像可以為照相機在自動參數(shù)設置下拍攝的圖像，輔助圖像可以包括曝光過度及不足的圖像，以及多曝光圖像融合裝置還可以包括圖像貼回單元，用于通過基于泊松方程求解的方法將融合獲得的反光區(qū)域圖像貼回到參考圖像。反光區(qū)域提取單元可以利用預定的圖像分類器將該參考圖像分類到預定類別，然后利用與該預定類別相關聯(lián)的反光區(qū)域提取閾值來提取該多個曝光程度不同的圖像的反光區(qū)域。根據本發(fā)明的另一方面，提供了一種多曝光圖像融合方法，可以包括提取同一場景的多個曝光程度不同的圖像中的每個圖像的反光區(qū)域；以及融合所述多個反光區(qū)域的圖像。融合多個反光區(qū)域的圖像可以包括反光區(qū)域子圖像獲取。反光區(qū)域子圖像獲取可以包括將所述多個反光區(qū)域的圖像的每個分解以生成粗糙層子圖像和細節(jié)層子圖像。其中，可以通過利用多尺度濾波器分解多個反光區(qū)域圖像的每個，獲取反映所述 每個反光區(qū)域的不同尺度特征的所述反光區(qū)域的粗糙層子圖像；以及可以通過計算相鄰尺度的粗糙層子圖像之間的差或者計算每個粗糙層子圖像與粗糙層子圖像的均值圖像之間的差，獲取反映每個反光區(qū)域的進一步圖像內容細節(jié)特征的所述反光區(qū)域的細節(jié)層子圖像。多曝光圖像反光區(qū)域融合可以包括通過對所述多個反光區(qū)域圖像進行加權求和來增強所述多個反光區(qū)域圖像，其中所述反光區(qū)域圖像的權值可以基于該反光區(qū)域圖像的反映圖像內容的可見程度的可見度和反映區(qū)域顏色豐富程度的區(qū)域顏色程度計算得到。多曝光圖像反光區(qū)域融合可以包括對所述多個反光區(qū)域圖像的對應粗糙層圖像進行加權求和從而得到增強后的粗糙層圖像，以及對各個圖像的反光區(qū)域的對應細節(jié)層圖像進行加權求和，從而得到增強后的細節(jié)層圖像；以及基于增強后的粗糙層圖像和增強后的細節(jié)層圖像重構反光區(qū)域圖像。多曝光圖像融合還可以包括去除融合獲得的反光區(qū)域圖像中的光源顏色污染。多個曝光程度不同的圖像可以包括參考圖像和輔助圖像，參考圖像可以為照相機在自動參數(shù)設置下拍攝的圖像，輔助圖像可以包括曝光過度及不足的圖像，以及多曝光圖像融合裝置還可以包括通過基于泊松方程求解的方法將融合獲得的反光區(qū)域圖像貼回到參考圖像。

反光區(qū)域提取可以包括利用預定的圖像分類器將該參考圖像分類到預定類別，然后利用與該預定類別相關聯(lián)的反光區(qū)域提取閾值來提取該多個曝光程度不同的圖像的反光區(qū)域。利用本發(fā)明實施例的多曝光圖像融合裝置和方法，提取多曝光圖像的反光區(qū)域，僅對反光區(qū)域進行融合操作，而不是對多個整幅圖像進行融合操作，因此顯著提高了處理速度，更加適合于實時性要求較高的情況。另外，根據本發(fā)明優(yōu)選實施例的多曝光圖像融合中的權值計算方法既考慮了圖像內容的可見度也考慮了區(qū)域顏色的豐富程度，因此可以更加適當?shù)卮_定圖像的權值圖，尤其適用于圖像筆畫信息豐富的白板圖像。另外，根據本發(fā)明優(yōu)選實施例的多曝光圖像融合處理中分解得到反映反光區(qū)域的不同尺度特征的粗糙層子圖像和反映圖像內容細節(jié)特征的細節(jié)層子圖像，然后分別對各個反光區(qū)域的對應細節(jié)層子圖像和粗糙層子圖像進行融合處理，由此特別增強了反光區(qū)域細節(jié)特征，尤其適合于對于可能丟失了細節(jié)特征的反光區(qū)域的內容增強處理。另外，根據本發(fā)明優(yōu)選實施例的質量增強單元可以去除融合后反光區(qū)域中的光源顏色污染，進一步提高圖像質量。另外，根據本發(fā)明優(yōu)選實施例的基于泊松方程求解的貼回方法可以較高質量實現(xiàn)兩幅圖像的無縫拼貼。


圖1是根據本發(fā)明一個實施例的多曝光圖像融合裝置的總體框圖；圖2示出了根據一個實施例的反光區(qū)域提取單元的配置的示意性框圖；圖3示出了根據一個實施例的多曝光圖像反光區(qū)域融合單元的配置的示意性框圖；圖4示出了其中通過相鄰粗糙層子圖像相減獲取細節(jié)層子圖像的示例；圖5示出了其中粗糙層子圖像減去其均值來獲取細節(jié)層子圖像的示例；圖6給出了從一個輸入圖像獲得四個粗糙層子圖像的示意性視圖7給出了從該四個粗糙層子圖像獲得四個細節(jié)層子圖像的示意性視圖；圖8示出了根據本發(fā)明實施例的多曝光融合方法的總體流程；圖9示出了根據本發(fā)明實施例的可由反光區(qū)域提取單元執(zhí)行的示例性反光區(qū)域提取方法的流程圖；圖10示出了根據本發(fā)明實施例的可由多曝光圖像融合單元執(zhí)行的示例性多曝光圖像融合方法的流程圖；圖11圖示了根據本發(fā)明第二實施例的多曝光圖像融合裝置的總體配置；圖12圖示了根據本發(fā)明第二實施例的多曝光圖像融合方法的總體流程；圖13圖示了根據本發(fā)明第三實施例的多曝光圖像融合裝置的總體配置；圖14圖示了根據本發(fā)明第三實施例的多曝光圖像融合方法的總體流程；圖15(a)和15(b)示出了根據本發(fā)明實施例的白板圖像處理前后的對比示意圖；以及圖16是示出按照本發(fā)明實施例的多圖像融合系統(tǒng)的總體硬件框圖。
具體實施例方式為了使本領域技術人員更好地理解本發(fā)明，下面結合附圖和具體實施方式
對本發(fā)明作進一步詳細說明。將按如下順序描述本發(fā)明的各個實施例:1、第一實施例1.1、多曝光圖像融合裝置的總體配置1.2、反光區(qū)域提取單元的示例性配置1.3、多曝光圖像反光區(qū)域融合單元的示例性配置1.4、第一多曝光圖像融合方法示例1.5、反光區(qū)域提取方法示例1.6、多曝光圖像反光區(qū)域融合方法示例2、第二實施例2.1、第二多曝光圖像融合裝置的總體配置2.2、第二多曝光圖像融合方法示例3、第三實施例3.1、第三多曝光圖像融合裝置的總體配置3.2、第三多曝光圖像融合方法示例4、多曝光圖像融合系統(tǒng)的硬件配置5、總結〈1.第一實施例>〈1.1多曝光圖像融合裝置的總體配置>圖1是根據本發(fā)明一個實施例的多曝光圖像融合裝置1000的總體框圖。如圖1所示，該多曝光圖像融合裝置1000可以包括:反光區(qū)域提取單元1100和多曝光圖像反光區(qū)域融合單元1200。反光區(qū)域提取單 元1100用于提取同一場景的多個曝光程度不同的圖像的每個圖像的反光區(qū)域優(yōu)選地，該多個曝光程度不同的圖像包括曝光過度以及曝光不足的圖像。作為示例，反光區(qū)域提取單元1100可以利用預定的圖像分類器將該多個曝光程度不同的圖像分類到各個預定類別，然后利用與各個預定類別相關聯(lián)的反光區(qū)域提取閾值來提取該多個曝光程度不同的圖像的反光區(qū)域。 更優(yōu)選地，在某些情況下，例如在處理白板場景的圖像的情況下，可以從多個曝光程度不同的圖像中選擇一個圖像，稱作參考圖像，該參考圖像將作為場景歸類、以及后續(xù)的貼回處理的處理對象。此時，反光區(qū)域提取單元1100可以僅對參考圖像進行分類，將其分類到預定類別，然后獲得與該預定類別相關聯(lián)的反光區(qū)域提取閾值，進而利用此反光區(qū)域提取閾值來提取該多個曝光程度不同的圖像的反光區(qū)域。后續(xù)將參考圖2對此情況下反光區(qū)域提取單元的具體配置示例進行詳細描述。不過，上述反光區(qū)域提取方法僅為優(yōu)選示例。任何可以提取圖像中的反光區(qū)域的方法均可以用于本發(fā)明。例如，作為替代，另一種示例方法是，計算圖像整體平均強度，然后將此平均強度加上預定步長后獲得的值作為反光區(qū)域劃分強度閾值，進而提取反光區(qū)域。多曝光圖像反光區(qū)域融合單元1200用于融合所述多個反光區(qū)域的圖像。需要說明的是，這里的融合應做廣泛意義上的理解?？梢灾苯訉⒃摱鄠€反光區(qū)域圖像進行加權求和來獲得一個反光區(qū)域圖像。也可以對每個反光區(qū)域圖像進行分解來獲得體現(xiàn)不同圖像特征的多個反光區(qū)域子圖像，然后有針對性地對各個反光區(qū)域圖像的對應反光區(qū)域子圖像進行組合增強，然后由增強后的反光區(qū)域子圖像逆向重構獲得一個新的反光區(qū)域。下面將參考圖3來對后一種情況的多曝光圖像反光區(qū)域融合單元1200的具體配置示例進行詳細描述。如此獲得的融合后的反光區(qū)域圖像可以貼回到例如上述參考圖像中，或者也可以直接輸出給用戶，或者提供給后續(xù)處理單元進行圖像內容識別等進一步處理。

根據此實施例的圖像融合方法因為僅融合反光區(qū)域，因此處理更加具有針對性，且處理速度更快，更適于實時處理?！?.2.反光區(qū)域提取單元的示例性配置〉下面參考圖2描述反光區(qū)域提取單元的示例性具體配置。圖2示出了根據一個實施例的反光區(qū)域提取單元1100的配置的示意性框圖。如圖2所示，反光區(qū)域提取單元1100可以包括類別模型向量生成單元1110、類別模型向量和反光區(qū)域提取閾值存儲單元1120、匹配向量計算單元1130、類別匹配單元1140、反光區(qū)域提取閾值獲取單元1150、反光區(qū)域位置信息計算單元1160、反光區(qū)域圖像抽取單元1170。類別模型向量生成單元1110用于根據預定分類器將輸入的訓練圖像分類到各個類別，并基于分類后的結果計算代表各類的類別模型向量。多個曝光程度不同的圖像可以表示為IiU, y)，i = 1，...，N，其中N為2或大于
2的整數(shù)。用于場景歸類的參考圖像表示為圖像Ir(x，y)，序列中的其余圖像lj(x，y)，j =
I,..., N, j ^ r稱為參考圖像Ijx，y)的輔助圖像。作為優(yōu)選示例，參考圖像U，y)為照相機在自動參數(shù)設置下拍攝的圖像，輔助圖像Ι」(χ, y), j = I,..., N, j古r包括曝光過度及不足的圖像。
以白板圖像處理為例，類別模型向量生成單元1110獲得類別模型向量的一種示例性實現(xiàn)方式如下:假設類別個數(shù)為S類，S為大于等于2的整數(shù)，各類為C(l)，I e [1，S]，各類別之間由圖像筆畫的不可見度來區(qū)分，第I類圖像筆畫的不可見度范圍為[K1+ h]，例如，設最
大不可見度Ks已知，K1可通過公式
權利要求
1.一種多曝光圖像融合裝置，包括: 反光區(qū)域提取單元，用于提取同一場景的多個曝光程度不同的圖像中的每個圖像的反光區(qū)域；以及 多曝光圖像反光區(qū)域融合單元，用于融合所述多個反光區(qū)域的圖像。
2.根據權利要求1的多曝光圖像融合裝置，其中 多曝光圖像反光區(qū)域融合單元還包括反光區(qū)域子圖像獲取單元， 反光區(qū)域子圖像獲取單元將所述多個反光區(qū)域的圖像的每個分解以生成粗糙層子圖像和細節(jié)層子圖像； 其中，所述反光區(qū)域子圖像獲取單元通過利用多尺度濾波器分解所述多個反光區(qū)域圖像的每個，獲取反映所述每個反光區(qū)域的不同尺度特征的所述反光區(qū)域的粗糙層子圖像；以及 所述反光區(qū)域子圖像獲取單元通過計算相鄰尺度的粗糙層子圖像之間的差或者計算每個粗糙層子圖像與粗糙層子圖像的均值圖像之間的差，獲取反映所述每個反光區(qū)域的進一步圖像內容細節(jié)特征的所述反光區(qū)域的細節(jié)層子圖像。
3.根據權利要求1的多曝光圖像融合裝置，所述多曝光圖像反光區(qū)域融合單元通過對所述多個反光區(qū)域圖像進行加權求和來增強所述多個反光區(qū)域圖像，其中所述反光區(qū)域圖像的權值基于該反光區(qū)域圖像的反映圖像內容的可見程度的可見度和反映區(qū)域顏色豐富程度的區(qū)域顏色 程度計算得到。
4.根據權利要求2的多曝光圖像融合裝置，其中， 所述多曝光圖像反光區(qū)域融合單元對所述多個反光區(qū)域圖像的對應粗糙層圖像進行加權求和從而得到增強后的粗糙層圖像，以及對各個圖像的反光區(qū)域的對應細節(jié)層圖像進行加權求和，從而得到增強后的細節(jié)層圖像；以及 基于增強后的粗糙層圖像和增強后的細節(jié)層圖像重構反光區(qū)域圖像。
5.根據權利要求1的多曝光圖像融合裝置，還包括: 質量增強單元，用于去除融合獲得的反光區(qū)域圖像中的光源顏色污染。
6.根據權利要求1的多曝光圖像融合裝置，其中， 所述多個曝光程度不同的圖像包括參考圖像和輔助圖像，參考圖像為照相機在自動參數(shù)設置下拍攝的圖像，輔助圖像包括曝光過度及不足的圖像，以及 所述多曝光圖像融合裝置還包括圖像貼回單元，用于通過基于泊松方程求解的方法將融合獲得的反光區(qū)域圖像貼回到參考圖像。
7.根據權利要求1的多曝光圖像融合裝置，其中 所述多個曝光程度不同的圖像包括參考圖像和輔助圖像，參考圖像為照相機在自動參數(shù)設置下拍攝的圖像，輔助圖像包括曝光過度及不足的圖像， 其中所述反光區(qū)域提取單元利用預定的圖像分類器將該參考圖像分類到預定類別，然后利用與該預定類別相關聯(lián)的反光區(qū)域提取閾值來提取該多個曝光程度不同的圖像的反光區(qū)域。
8.根據權利要求7的多曝光圖像融合裝置，其中所述預定的圖像分類器通過以下步驟訓練得到: (I)輸入M幅一組關于同一場景且光照條件不同的圖像1\0^，7)，i = I,...，M，其中，完全不包含反光區(qū)域的圖像Tg (x，y)稱為基準圖像，序列中的其余圖像Tj(^y)，j = 1，...，M, j ^ g稱為訓練圖像，其中M為大于等于2的整數(shù)； (2)計算基準圖像Tg(X，y)及訓練圖像TjU,y)的梯度圖像，得到基準梯度圖像Gg(x，y)及訓練梯度圖像Gj(X, y)； (3)根據如下公式對基準梯度圖像Gg(X，y)進行閾值化處理以生成筆畫引導圖Ag(X，y)，
9.根據權利要求8的多曝光圖像融合裝置，其中所述反光區(qū)域提取單元利用預定的圖像分類器將該參考圖像分類到預定類別，然后利用與該預定類別相關聯(lián)的反光區(qū)域提取閾值來提取該多個曝光程度不同的圖像的反光區(qū)域包括: (1)計算參考圖像ijx，y)的匹配向量/f，計算方法為，
10.一種多曝光圖像融合方法，包括 提取同一場景的多個曝光程度不同的圖像中的每個圖像的反光區(qū)域；以及 融合所述多個反光區(qū)域的圖 像。
全文摘要
提供了一種多曝光圖像融合裝置和方法。該多曝光圖像融合裝置包括反光區(qū)域提取單元，用于提取同一場景的多個曝光程度不同的圖像中的每個圖像的反光區(qū)域；以及多曝光圖像反光區(qū)域融合單元，用于融合所述多個反光區(qū)域的圖像。該多曝光圖像融合裝置和方法僅對反光區(qū)域進行融合操作，而不是對多個整幅圖像進行融合操作，顯著提高了處理速度，適合于實時性要求較高的情況。
文檔編號G06T5/50GK103247036SQ201210029200
公開日2013年8月14日 申請日期2012年2月10日 優(yōu)先權日2012年2月10日
發(fā)明者趙穎, 宮衛(wèi)濤 申請人:株式會社理光