本發(fā)明涉及的是一種圖像處理領(lǐng)域的技術(shù)，具體是一種應(yīng)用于缺乏先驗信息情況下濃霧天、雨天等極端惡劣天氣下夜視圖像的基于場景識別的彩色融合方法。

背景技術(shù)：

紅外與微光相機是兩種典型的夜視圖像傳感器。微光圖像具有豐富的細節(jié)特征，但容易受到諸如天氣之類的外部環(huán)境因素干擾。紅外相機成像原理是將熱能轉(zhuǎn)換成圖像顯示，具有更好的熱對比度，并且?guī)缀醪皇芴鞖夂凸庹盏纫蛩馗蓴_，但是對于場景的細節(jié)特征保留較差。為充分利用這兩種圖像的成像特點，很多學(xué)者研究了將紅外與微光圖像融合的方法，并廣泛應(yīng)用于夜視圖像領(lǐng)域。在圖像融合的早期研究中，許多學(xué)者提出了將紅外與微光圖像進行灰度融合的算法，然而，僅僅利用灰色信息并不能準確、有效地支持場景識別和目標檢測。眾所周知，人類的眼睛只能區(qū)分約100個灰色等級，但是卻可以區(qū)分幾千種顏色。基于人眼的這一特性，研究人員開始研究彩色融合技術(shù)。其中較為成熟的是荷蘭人文因素研究所Toet等人提出的偽彩色融合方法，該方法可以將可見光和紅外圖像融合為偽彩色圖像。該算法可以增強圖像的細節(jié)信息，并保留不同傳感器的獨有信息。此外，麻省理工學(xué)院林肯實驗室的Waxman等人提出了一種基于生物視覺模型的融合方法，使得融合后的結(jié)果更符合人類視覺感知特性。

大多數(shù)偽彩色融合圖像的色彩與自然光圖像存在較大差異，不具有真實感，而觀察者只能通過區(qū)分融合圖像的顏色對比度將圖像分割從而識別圖像中的不同目。這樣的識別效果往往比使用單波段圖像時更差。后來學(xué)者繼續(xù)研究其他不同的彩色融合方法以獲得具有自然感的融合圖像，其中Toet等人提出了一種基于顏色傳遞的彩色融合算法。該算法通過利用參考圖像的顏色統(tǒng)計信息，以獲得具有自然感的彩色融合結(jié)果，該方法給彩色融合領(lǐng)域帶來了革命性的進展。然而利用彩色傳遞的融合方法不能解決顏色恒常性問題，因為隨著場景的切換，仍然會出現(xiàn)不自然的融合結(jié)果。因而在2012年，Toet又提出了一種簡單的顏色重映射方法，即顏色查找表方法，該方法可以將多光譜夜視圖像融合為直觀、穩(wěn)定的具有自然感的彩色圖像。該方法理論上可以將融合的傳感器數(shù)量拓展到更高維度，并且具有較好的實時性。然而，顏色查找表方法所需的參考圖像為同一場景的白天自自然光彩色圖像，這意味著它需要更多的先驗信息，從而限制了它在夜間的使用功能。因此設(shè)計一種能夠在各種復(fù)雜環(huán)境且僅需極少先驗信息情況下的紅外與微光圖像彩色融合方法仍是一項極具挑戰(zhàn)性和急需解決的課題。

技術(shù)實現(xiàn)要素：

本發(fā)明針對現(xiàn)有技術(shù)或不支持彩色圖像，或無法根據(jù)實際環(huán)境需求對彩色融合效果進行更改等缺陷，提出一種基于場景識別的夜視圖像彩色融合方法，結(jié)合已有的場景圖像庫，利用場景分類算法將輸入的紅外、微光灰度圖像首先進行場景分類，并獲得類別標簽，然后利用彩色融合評價方法在對應(yīng)類別的圖像庫中匹配最佳的參考圖像，最后利用顏色傳遞的方法獲得具有自然感的彩色融合圖像。與顏色查找表方法相比，本發(fā)明只需極少的先驗信息，同時能獲得穩(wěn)定的具有自然感的彩色融合圖像，因而在缺乏先驗信息的陌生環(huán)境中，具有更好的彩色融合效果。

本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：

本發(fā)明涉及一種基于場景識別的夜視圖像彩色融合方法，通過聯(lián)合提取待處理場景圖像中的GIST特征，然后利用SVM分類器進行場景類別分類，并通過包含色彩度、梯度相似性和互信息的融合質(zhì)量評價方法在對應(yīng)類別的場景圖像中匹配最佳的參考圖像，最后將待處理場景圖像轉(zhuǎn)移到lαβ顏色空間，并與匹配到的參考圖像進行色彩傳遞，最終得到具有自然感的紅外與微光圖像彩色融合結(jié)果。

所述的待處理場景圖像，優(yōu)選為紅外與微光圖像。

所述的GIST特征包含了場景的一些抽象屬性，包括但不限于：自然性(判斷是自然場景還是人工場景)、開放度(描述的是場景的開放程度，例如海岸、高速公路場景畫面通常延伸到很遠，具有高開放度，城市、室內(nèi)等封閉場景具有低開放度)、粗糙度(描述的是場景中不規(guī)則圖形的數(shù)量)。

所述的聯(lián)合提取，對待處理場景圖像預(yù)先進行K-L變換，得到各通道相互獨立的四維顏色向量；然后通過NSCT分解，將目標網(wǎng)格劃分為二級網(wǎng)格；最后根據(jù)劃分后的網(wǎng)格對采用Gabor濾波器通過尺度和旋轉(zhuǎn)變換擴展而成的多尺度多方向Gabor濾波器組對圖像濾波，以獲取GIST特征。

所述的劃分是指：計算紅外-微光4x4網(wǎng)格局部能量比，能量比最大值所在網(wǎng)格為目標網(wǎng)格，將目標網(wǎng)格劃分為二級網(wǎng)格。

所述的圖像濾波是指：首先將大小為rxc的圖片的R、G、B三通道取均值，轉(zhuǎn)為灰度圖像f(x₀,y₀)，其次將灰度圖劃分為n_b×n_b個子網(wǎng)格，然后利用m尺度n方向的Gabor濾波器組與每個子網(wǎng)格卷積并級聯(lián)，即F(x,y,θ,ω₀)＝f(x,y)*G(x₀,y₀,θ,ω₀)后提取得到每個子網(wǎng)格的特征。

所述的多尺度多方向Gabor濾波器組，具體為：G_mn(x₀,y₀,θ,ω₀)＝a^-mG_mn(x₀',y₀',θ,ω₀)，其中：a^-m為尺度因子，θ為旋轉(zhuǎn)角度，m為尺度數(shù)，n為方向數(shù)，x'＝a^-m(xcosθ+ysinθ)，y'＝a^-m(-xsinθ+ycosθ)，θ＝nπ/(n+1)，x，y為空間域像素點的位置，ω₀為濾波器的中心頻率，θ為Gabor小波的方向，σ為高斯函數(shù)沿兩個坐標軸的標準方差，exp(jω₀x₀)為交流部分，為直流補償。

所述的多尺度多方向Gabor濾波器組，優(yōu)選使用4尺度8方向的Gabor濾波器組。

所述的融合質(zhì)量評價方法是指：利用圖像的色彩度、梯度相似性和互信息等信息，將對應(yīng)類別圖像庫中的圖像作為參考圖像，與待處理圖像進行彩色融合并計算彩色融合評價指標值，指標值最大時為選取的最佳參考圖像。

所述的互信息其中：F和A分別表示融合圖像和源圖像，hF，A為F和A的歸一化聯(lián)合灰度直方圖，hF和hA為歸一化的邊緣梯度直方圖，L是灰度級數(shù)。

所述的融合質(zhì)量，即其中：α，β和γ為調(diào)節(jié)系數(shù)，Q為互信息質(zhì)量評價部分，C為顏色相似度，G為梯度相似性。

本發(fā)明中優(yōu)選參考圖像T與最終融合圖像F的互信息比重應(yīng)大于A、B與F之間的互信息比重。根據(jù)彩色融合評價方法在對應(yīng)類別的場景庫中匹配最佳的參考圖像，然后利用彩色傳遞的方法將參考圖像的整體彩色感傳遞給融合圖像，最終獲得紅外與微光圖像的彩色融合圖像。

所述的互信息質(zhì)量評價部分Q(A,B,F)＝λM(A,F)+(1-λ)M(B,F)，其中：A和B分別表示紅外與微光圖像，F(xiàn)是彩色融合后的圖像，λ是空間頻率系數(shù)。

所述的色彩度，即Hasler顏色矩陣其中：μ和σ分別表示顏色成分空間rg＝R-B和yb＝0.5(R+G)-B的均值和方差，將C歸一化以后即可得到融合圖像與參考圖像之間的顏色相似度

所述的轉(zhuǎn)移，具體是指：將待處理場景圖像的灰度值分別作為RGB空間中的R、G通道值，B通道值可設(shè)置為0，從而獲得了偽彩色融合圖像，并作為輸入圖像，使用映射矩陣將輸入圖像從RGB顏色空間轉(zhuǎn)換到lαβ顏色空間，并作為更新后的輸入圖像；

所述的映射矩陣包括：

和

所述的色彩傳遞是指：計算lαβ顏色空間下的圖像與參考圖像各通道的均值和方差，利用修正公式對輸入圖像的統(tǒng)計量進行修正使得輸入圖像具有和參考圖像相似的色彩感。

所述的修正公式是指：其中：l、α、β為lαβ顏色空間的三個通道值，μ、σ分別表示某一通道的均值與方差，下表s表示的為源圖像，下表t表示的是參考圖像，l'、α'、β'表示的是將源圖像修正以后三通道的值。例如表示的是參考圖像在β通道的均值。

所述的場景類別分類，通過SVM分類器以一對多方式拓展成多類判決，即通過一個非線性映射p，把樣本空間映射到一個高維乃至無窮維的特征空間中(Hilbert空間)，使得在原來的樣本空間中非線性可分的問題轉(zhuǎn)化為在特征空間中的線性可分的問題。

所述的SVM分類器的正則項和核參數(shù)通過交叉驗證來調(diào)整，輸入的訓(xùn)練集可以采用公開的場景圖像數(shù)據(jù)庫，在MATLAB中使用libsvm工具的步驟為：

1)按照LIBSVM軟件包所要求的格式準備場景圖像數(shù)據(jù)集；

2)對場景數(shù)據(jù)進行簡單的縮放操作；

3)考慮選用RBF核函數(shù)；

4)采用交叉驗證選擇最佳參數(shù)C與g；

5)采用最佳參數(shù)C與g對整個場景圖像訓(xùn)練集進行訓(xùn)練獲取支持向量機模型；

6)利用獲取的模型進行場景測試與預(yù)測。

本發(fā)明涉及一種實現(xiàn)上述方法的系統(tǒng)，包括：特征聯(lián)合提取模塊、圖像分類模塊、融合質(zhì)量評價模塊以及色彩傳遞模塊，其中：特征聯(lián)合提取模塊從來自異構(gòu)傳感器的源圖像中提取出紅外與微光圖像聯(lián)合特征后輸出傳輸特征信息到圖像分類模塊，圖像分類模塊根據(jù)場景類別后根據(jù)場景類別圖像庫中對應(yīng)的類別中匹配出參考圖像，融合質(zhì)量評價模塊根據(jù)參考圖像進行 偽彩色處理，得到紅外微光偽彩色融合圖像，再通過融合質(zhì)量評價尋找最優(yōu)參考圖像并輸出至彩色傳遞模塊，色彩傳遞模塊根據(jù)紅外微光偽彩色融合圖像以及最優(yōu)參考圖像，利用色彩傳遞的方法完成最終的彩色融合過程。

技術(shù)效果

與現(xiàn)有技術(shù)相比，本發(fā)明充分利用紅外與微光圖像的互補信息，通過計算紅外與微光圖像局部能量比從而確定目標網(wǎng)格，通過將目標網(wǎng)格劃分二級網(wǎng)格達到增加目標區(qū)域權(quán)重的效果，同時能有效克服網(wǎng)格包含不同場景元素的問題。計算紅外與自然光圖像局部能量比時使用非下采樣Contourlet變換(NSCT)變換，因此可通過計算4x4中每個網(wǎng)格平均局部能量比，選取最大值所在網(wǎng)格作為目標網(wǎng)格，將目標網(wǎng)格劃分為4x4個二級子網(wǎng)格，從而達到增加目標屬性在特征向量中權(quán)重系數(shù)的目的。

附圖說明

圖1為本發(fā)明構(gòu)建的基于場景識別的夜視圖像彩色融合方法理論框架示意圖；

圖2為本發(fā)明涉及的場景類別圖像在lαβ色彩空間中各通道分布情況示意圖；

圖中：a～f分別為：場景圖像庫在l通道的均值分布情況，場景圖像庫在α通道的均值分布情況，場景圖像庫在β通道的均值分布情況，場景圖像庫在l通道的方差分布情況，場景圖像庫在α通道的方差分布情況，場景圖像庫在β通道的方差分布情況；

圖3為本發(fā)明涉及的紅外與微光圖像全局GIST特征提取方法示意圖；

圖4為本發(fā)明涉及的紅外與微光圖像全局GIST特征提取結(jié)果示意圖；

圖中：a、b為同一場景的微光圖像和紅外圖像，c為將圖像劃分為4×4稀疏子網(wǎng)格后對每個網(wǎng)格使用4尺度8方向的Gabor濾波器組進行濾波的結(jié)果，d為目標網(wǎng)格劃分為4×4二級網(wǎng)格；

圖5為本發(fā)明紅外與微光圖像彩色融合最佳參考圖像匹配結(jié)果示意圖；

圖6為本發(fā)明紅外與微光圖像彩色融合試驗結(jié)果；

圖中：a、b分別為：a為紅外圖像，b為同一場景的微光圖像，c為在lαβ色彩空間中的最佳參考圖像，d為相應(yīng)的彩色融合結(jié)果；

圖7為本發(fā)明效果示意圖。

具體實施方式

如圖1所示，本實施例包括以下步驟：

1)利用matlab編程分析場景圖像庫轉(zhuǎn)換到lαβ色彩空間后各通道分布情況如圖2所示，利用該圖像場景庫訓(xùn)練SVM分類模型；

2)輸入場景的紅外與微光夜視圖像，利用如圖3所示方法提取該場景的GIST特征，特 征提取結(jié)果為圖4，并輸出至SVM分類模型中，進行場景類別的識別；

3)根據(jù)步驟2)中得到的分類結(jié)果，利用本文構(gòu)建的彩色融合評價方法，在對應(yīng)類別的場景圖像庫中匹配最佳參考圖像，具有最大QCG值的即為匹配到的最佳參考圖像，匹配結(jié)果如圖5所示；

4)利用步驟3)中匹配到的最佳參考圖像，利用基于彩色傳遞的圖像融合方法，將輸入的紅外與微光夜視圖像融合為具有自然感的彩色圖像，融合結(jié)果為圖6。

如圖2所示，為使用的場景圖像庫在lαβ色彩空間內(nèi)各通道的分布情況，可以發(fā)現(xiàn)，基本符合正態(tài)分布，本發(fā)明通過提前計算參考圖像的統(tǒng)計參數(shù)，可以降低彩色融合時的計算量。通過matlab編程將場景圖像庫中的一半圖像作為訓(xùn)練樣本，另一半作為測試樣本，進行SVM分類模型的訓(xùn)練，通過調(diào)整SVM內(nèi)核參數(shù)，得到效果最佳的SVM場景分類模型。

如圖4所示，為gabor濾波提取GIST特征結(jié)果，不難發(fā)現(xiàn)由于網(wǎng)格比較稀疏，會出現(xiàn)同一網(wǎng)格內(nèi)包含不同場景元素的情況，考慮到特征提取過程是對同一網(wǎng)格內(nèi)所有像素點在相同尺度相同方向的濾波結(jié)果求均值，因此劃分稀疏網(wǎng)格的方法會給場景識別帶來很大的誤差。因此本發(fā)明使用稠密網(wǎng)格的方法，然而簡單地增加網(wǎng)格數(shù)量隨之而來的問題是，特征維度會大大增加，例如將圖像劃分為16×16的網(wǎng)格，則一幅灰度圖像的特征維度將達到16×16×4×8＝8192維，而將自然光圖像與紅外圖像結(jié)合時特征維度將達到8192×2＝16384維，其中包含很多冗余信息，給數(shù)據(jù)處理也帶來很大困難。因此本發(fā)明利用紅外與自然光圖像的互補信息，通過計算紅外與自然光圖像局部能量比從而確定目標網(wǎng)格，通過將目標網(wǎng)格劃分二級網(wǎng)格達到增加目標區(qū)域權(quán)重的效果，同時能有效克服網(wǎng)格包含不同場景元素的問題。利用局部能量比公式計算各網(wǎng)格紅外/自然光局部能量比，找到局部能量比最大的網(wǎng)格，認定為目標網(wǎng)格，進而將目標網(wǎng)格劃分為4×4二級網(wǎng)格，如(d)紅色區(qū)域所示。從(c)中可以看出，第二行的網(wǎng)格中既包含了天空元素也包含了建筑元素，而(d)中通過局部能量比選出的目標網(wǎng)格則僅僅包含了建筑這一元素，從而能夠更好的識別場景類別。

如圖5所示，為在不同場景類別中尋找最佳參考圖像的過程：使用所有類別的場景圖像作為參考圖像，將紅外與微光夜視圖像進行基于色彩傳遞的彩色融合均可得到相應(yīng)的彩色融合結(jié)果，輸出至本發(fā)明構(gòu)建的彩色融合評價方法中，即可得到對應(yīng)的評價指標QCG，擁有最大QCG 值的即被判斷為最佳參考圖像，對于同一場景而言，一旦最佳參考圖像匹配到后，后續(xù)不必再重復(fù)類似工作，即對于一個陌生的夜視環(huán)境，例如河道、野外等場景，在缺少先驗信息的情況下，本發(fā)明能夠自適應(yīng)的匹配到最佳的參考圖像，從而進行基于色彩傳遞的紅外與微光圖像彩色融合。

如圖6所示，為彩色融合試驗結(jié)果：該場景識別得出的結(jié)果是屬于“城市”類別，從“城市”類別圖像庫中通過計算QCG值得到的兩個顏色空間的最佳參考圖像為圖(c)，相應(yīng)的彩色融合結(jié)果為(d)。

結(jié)合紅外與微光夜視圖像特點分析可知，紅外圖像中人體等典型目標對比度非常明顯，但其他細節(jié)大量丟失。對應(yīng)的微光圖像中看不出有目標物人的存在，但是保留了較多的背景信息，(d)是使用本發(fā)明得到的彩色融合結(jié)果，從融合結(jié)果中可以看出，樹木、房屋和汽車的的分辨率都有提高，同時由于融合結(jié)果擁有自然感的色彩，對于觀察者區(qū)分不同的目標物有了很大的幫助，與顏色查找表方法相比，本發(fā)明能夠自適應(yīng)的匹配到最佳的參考圖像，而不需要采集同一場景白天的自然光圖像，因此能夠應(yīng)用的場景和范圍更廣。

本發(fā)明技術(shù)效果進一步包括：

1)場景識別技術(shù)的改進，本發(fā)明首次使用提取紅外與微光圖像聯(lián)合GIST特征的方式，實現(xiàn)了場景識別正確率的提升，與常用的場景識別特征實驗結(jié)果對比為(使用的是國外學(xué)者提供的MS圖像數(shù)據(jù)庫)：

如圖7所示，為MS圖像庫下不同方法分類正確率對比

2)彩色融合質(zhì)量提升：

本發(fā)明使用4個指標對彩色融合效果進行評估，分別是互信息(MI)、相關(guān)系數(shù)(CC)、光譜扭曲度(IDM)以及邊緣信息保留度(Q_abf)，與TNO法以及顏色查找表法兩次實驗效果對比結(jié)果如下表：

3)應(yīng)用范圍更廣：在應(yīng)用方面進行分析，與顏色查找表方法相比，本發(fā)明能夠自適應(yīng)匹配彩色融合所需的最佳參考圖像，無需提前獲取該場景的白天自然光圖像，因而當(dāng)觀測環(huán)境處于非完備信息狀態(tài)下時(復(fù)雜背景或缺乏觀測環(huán)境先驗信息)，同樣能有很好的彩色融合效果，且能夠適應(yīng)不同場景因此具有更好的實用性。

上述具體實施可由本領(lǐng)域技術(shù)人員在不背離本發(fā)明原理和宗旨的前提下以不同的方式對其進行局部調(diào)整，本發(fā)明的保護范圍以權(quán)利要求書為準且不由上述具體實施所限，在其范圍內(nèi)的各個實現(xiàn)方案均受本發(fā)明之約束。