本申請涉及紅外與可見光圖像的融合技術領域，具體地說，涉及一種基于視覺注意特性的可見光紅外圖像增強彩色融合方法。

背景技術：

圖像融合是以圖像為研究對象的信息融合技術，它把對同一目標或場景，用不同傳感器獲得的不同圖像、或用同種傳感器不同成像方式獲得的圖像、或同一傳感器在不同時相獲取的圖像進行數(shù)據(jù)層(像素級)、或特征級、或決策級的融合，使融合圖像具有不同特征或不同視點的多個傳感器獲得的多源圖像之中的優(yōu)點。圖像融合技術具有一般圖像處理的特點，因而可在圖像數(shù)據(jù)層上展開大量的算法研究。

進行圖像融合的源圖像多種多樣，有同類圖像也有異類圖像，包括可見光、微光、紅外、紫外、雷達sar、多光譜、高光譜、ct和mri等圖像。紅外與可見光成像傳感器廣泛的應用于偵察、監(jiān)視等任務中。紅外熱像儀主要探測場景中目標發(fā)射或反射的熱輻射信息,可以不受照明條件的影響,在光照較差時仍具有較優(yōu)的目標探測性能。另一方面,可見光傳感器反映了場景的光譜反射特性,包含了場景的邊緣與紋理等豐富的細節(jié)信息,但受場景照明環(huán)境的影響較大。對紅外與可見光傳感器的圖像進行融合處理,既可以擁有可見光圖像豐富的細節(jié)和灰度，又能反映出場景中目標的溫度信息，有助于觀察者發(fā)現(xiàn)異常目標，在軍事偵察、流感防控、危險品檢測等領域具有良好的應用前景。

圖像融合往往根據(jù)源圖像和應用場合的不同而采用有針對性的融合算法，通常并不存在一種或一類可以解決所有圖像融合問題的方法。對已經(jīng)開發(fā)出來的各式各樣、功能各異的圖像融合算法，按照其理論基礎，可分為空域融合方法、譜域融合方法和尺度空間融合方法；按融合結果的色彩，分為灰度融合和彩色融合；按分辨力的級別，又分為單分辨力融合和多分辨力融合。

目前效果較好的可見光與紅外融合方法有waxman提出的基于響尾蛇雙模式細胞的拮抗融合算法以及toet提出的色差增強算法等。這些算法追求融合后的圖像色彩自然、可視性好，但往往對目標區(qū)域表現(xiàn)得不夠明顯，不利于人眼識別。

技術實現(xiàn)要素：

有鑒于此，本申請所要解決的技術問題是提供了一種基于視覺注意特性的可見光紅外圖像增強彩色融合方法，在紅外和可見光圖像融合的過程中對熱紅外目標進行恰當?shù)耐伙@處理，以提高目標的視覺檢測效率。由于圖像融合前后目標的形狀不宜發(fā)生改變，因此主要突顯目標的亮度和顏色。如此方案，可使人眼在融合有目標灰度細節(jié)和溫度信息的圖像中，快速注意到清晰的異常目標。

為了解決上述技術問題，本申請有如下技術方案：

一種基于視覺注意特性的可見光紅外圖像增強彩色融合方法，其特征在于，包括：

對給定的紅外圖像進行濾波去噪，并對濾波去噪后的紅外圖像進行灰度值歸一化處理，得到歸一化處理后的紅外圖像；

對所述歸一化處理后的紅外圖像進行冪次變換，得到經(jīng)冪次變換后的紅外圖像；

對所述經(jīng)冪次變換后的紅外圖像進行閾值分割，得到目標區(qū)域和非目標區(qū)域；

提取給定的可見光圖像的亮度分量，得到提取的亮度圖像；

在所述提取的亮度圖像中，對所述目標區(qū)域進行增強處理得到增強后的亮度圖像，對所述非目標區(qū)域維持原貌；

選擇一種突顯顏色對所述增強后的亮度圖像進行著色處理，得到具有某種單一色調的彩色圖像；

以所述經(jīng)冪次變換后的紅外圖像為參考，對原始可見光圖像和所述著色后具有單一色調的彩色圖像進行像素級的加權融合，得到融合圖像。

優(yōu)選地，其中：

對給定的紅外圖像進行濾波去噪，并對濾波去噪后的紅外圖像進行灰度值歸一化處理，得到歸一化處理后的紅外圖像，進一步為：

對給定的紅外圖像ir，利用高斯濾波器進行濾波去噪，并將其灰度值歸一化至[0,1]，得到歸一化處理后的紅外圖像。

優(yōu)選地，其中：

對所述歸一化處理后的紅外圖像進行冪次變換，得到經(jīng)冪次變換后的紅外圖像，進一步為：

根據(jù)ir′＝(norm(filter(ir)))^γ對所述歸一化處理后的紅外圖像進行冪次變換，得到經(jīng)冪次變換后的紅外圖像，其中，ir′代表經(jīng)冪次變換后的紅外圖像，filter(.)表示去噪濾波器，norm(.)表示歸一化操作，冪次變換的伽馬值滿足γ＞1。

優(yōu)選地，其中：

對所述經(jīng)冪次變換后的紅外圖像進行閾值分割，得到目標區(qū)域和非目標區(qū)域，進一步為：

根據(jù)對所述經(jīng)冪次變換后的紅外圖像ir′進行閾值分割，其中，t代表分割閾值，im代表目標區(qū)域掩膜，分割閾值t的大小根據(jù)整體圖像灰度信息，利用最大類間方差法確定。

優(yōu)選地，其中：

提取給定的可見光圖像的亮度分量，進一步為：

對于給定的可見光圖像is，若原圖像是灰度圖像，則其亮度分量就是圖像本身，即vs＝is；若原圖像是包含rs、gs、bs三個通道的彩色圖像，則采用通用的亮度分量計算公式vs＝0.39rs+0.59gs+0.11bs計算亮度分量。

優(yōu)選地，其中：

在所述提取的亮度圖像中，對所述目標區(qū)域進行增強處理得到增強后的亮度圖像，對所述非目標區(qū)域維持原貌，進一步為：

對于目標區(qū)域，利用公式：

vs′＝enhance(log(vsim+1))+vs(1-im)

對提取的亮度圖像進行對數(shù)變換，再利用對比度增強函數(shù)對目標區(qū)域進行增強處理，得到增強后的亮度圖像，對于非目標區(qū)域保持原貌，其中，enhance(.)為對比度增強函數(shù)。

優(yōu)選地，其中：

所述對比度增強函數(shù)包括線性拉伸對比度增強函數(shù)或直方圖均衡化對比度增強函數(shù)。

優(yōu)選地，其中：

選擇一種突顯顏色對所述增強后的亮度圖像進行著色處理，得到具有某種單一色調的彩色圖像，進一步為：

用突顯顏色ch對增強后的亮度圖像vs′進行著色，得到具有某種單一色調的彩色圖像ic，其像素點(i,j)處的第k個顏色通道的值由下式獲得：

ic(i，j，k)＝ch(k)vs′(i，j)，

(0≤i＜m，0≤j＜n，k＝{0，1，2})

其中，m、n分別表示圖像的高和寬。

優(yōu)選地，其中：

所述突顯顏色為紅色、綠色、藍色或黃色。

優(yōu)選地，其中：

以所述經(jīng)冪次變換后的紅外圖像為參考，對原始可見光圖像和所述著色后具有單一色調的彩色圖像進行像素級的加權融合，得到融合圖像，進一步為：

依據(jù)紅外圖像上的像素灰度值逐個處理原始可見光圖像的像素點，將經(jīng)冪次變換后的紅外圖像的像素灰度值作為權重，對原始可見光圖像和著色后具有單一色調的彩色圖像進行像素級的加權融合，得到融合圖像：

id(k)＝(1-ir′)is(k)+ir′ic(k)，

(k＝{0，1，2})

其中，ir′為經(jīng)冪次變換后的紅外圖像，is為原始可見光圖像，ic為著色后具有單一色調的彩色圖像。

與現(xiàn)有技術相比，本申請所述的方法，達到了如下效果：

第一，本發(fā)明所述基于視覺注意特性的可見光紅外圖像增強彩色融合方法所得融合圖像能真實地反映出可見光下場景豐富的灰度細節(jié)信息，以及目標與背景間的紅外溫差信息。

第二，本發(fā)明所述基于視覺注意特性的可見光紅外圖像增強彩色融合方法，能在較好保留非目標區(qū)域原貌的同時，根據(jù)目標與背景的溫差變化對目標區(qū)域進行不同程度的突顯，提高了目標的視覺檢測效率，有利于人眼快速感知目標信息。

第三，本發(fā)明所述基于視覺注意特性的可見光紅外圖像增強彩色融合方法，在突顯紅外目標的同時，對灰度圖像對應的目標區(qū)域進行了增強處理，得到的目標區(qū)域細節(jié)清晰可辨。

附圖說明

此處所說明的附圖用來提供對本申請的進一步理解，構成本申請的一部分，本申請的示意性實施例及其說明用于解釋本申請，并不構成對本申請的不當限定。在附圖中：

圖1為本發(fā)明所述基于視覺注意特性的可見光紅外圖像增強彩色融合方法的流程圖；

圖2為本發(fā)明對歸一化后的紅外圖像進行冪次變換的曲線圖；

圖3為本發(fā)明所述基于視覺注意特性的可見光紅外圖像增強彩色融合方法的應用實施例的流程圖。

具體實施方式

如在說明書及權利要求當中使用了某些詞匯來指稱特定組件。本領域技術人員應可理解，硬件制造商可能會用不同名詞來稱呼同一個組件。本說明書及權利要求并不以名稱的差異來作為區(qū)分組件的方式，而是以組件在功能上的差異來作為區(qū)分的準則。如在通篇說明書及權利要求當中所提及的“包含”為一開放式用語，故應解釋成“包含但不限定于”?！按笾隆笔侵冈诳山邮盏恼`差范圍內，本領域技術人員能夠在一定誤差范圍內解決所述技術問題，基本達到所述技術效果。此外，“耦接”一詞在此包含任何直接及間接的電性耦接手段。因此，若文中描述一第一裝置耦接于一第二裝置，則代表所述第一裝置可直接電性耦接于所述第二裝置，或通過其他裝置或耦接手段間接地電性耦接至所述第二裝置。說明書后續(xù)描述為實施本申請的較佳實施方式，然所述描述乃以說明本申請的一般原則為目的，并非用以限定本申請的范圍。本申請的保護范圍當視所附權利要求所界定者為準。

實施例1

參見圖1所示為本申請一種基于視覺注意特性的可見光紅外圖像增強彩色融合方法的流程圖，從圖1可看出，該基于視覺注意特性的可見光紅外圖像增強彩色融合方法包括：

步驟101、對給定的紅外圖像進行濾波去噪，并對濾波去噪后的紅外圖像進行灰度值歸一化處理，得到歸一化處理后的紅外圖像；

步驟102、對歸一化處理后的紅外圖像進行冪次變換，得到經(jīng)冪次變換后的紅外圖像；

步驟103、對經(jīng)冪次變換后的紅外圖像進行閾值分割，得到目標區(qū)域和非目標區(qū)域；

步驟104、提取給定的可見光圖像的亮度分量，得到提取的亮度圖像；

步驟105、在提取的亮度圖像中，對目標區(qū)域進行增強處理得到增強后的亮度圖像，對非目標區(qū)域維持原貌；

步驟106、選擇一種突顯顏色對增強后的亮度圖像進行著色處理，得到具有某種單一色調的彩色圖像；

步驟107、以經(jīng)冪次變換后的紅外圖像為參考，對原始可見光圖像和著色后具有單一色調的彩色圖像進行像素級的加權融合，得到融合圖像。

上述步驟101-步驟103是對紅外圖像的處理，步驟104-步驟105是對可見光圖像的處理，這兩組步驟的順序可調換，例如先執(zhí)行步驟104-105對可見光圖像進行處理，再執(zhí)行步驟101-103對紅外圖像進行處理。

心理學研究表明，由于視覺神經(jīng)元細胞數(shù)量有限，人眼在觀察整個場景時，為了降低場景分析的復雜度會選擇一部分區(qū)域進行更高級的視覺處理，而局部特征較強的區(qū)域比較容易引起觀察者的視覺注意。本申請利用人類視覺的這種選擇性感知能力，在圖像中對感興趣的目標進行突顯處理，能夠有效地減少目標搜索的時間?？墒褂^察者快速地將注意力集中到某一目標的視覺突顯方法包括改變其形狀、亮度、顏色等。

本申請所提供的基于視覺注意特性的可見光紅外圖像增強彩色融合方法中，在紅外和可見光圖像融合的過程中對熱紅外目標進行恰當?shù)耐伙@處理，有利于提高目標的視覺檢測效率。由于圖像融合前后目標的形狀不宜發(fā)生改變，因此主要突顯目標的亮度和顏色。如此方案，可使人眼在融合有目標灰度細節(jié)和溫度信息的圖像中，快速注意到清晰的異常目標。

上述步驟101中，對給定的紅外圖像進行濾波去噪，并對濾波去噪后的紅外圖像進行灰度值歸一化處理，得到歸一化處理后的紅外圖像，進一步為：

對給定的紅外圖像ir，利用高斯濾波器進行濾波去噪，并將其灰度值歸一化至[0,1]，得到歸一化處理后的紅外圖像。

上述步驟102中，對歸一化處理后的紅外圖像進行冪次變換，得到經(jīng)冪次變換后的紅外圖像，進一步為：

根據(jù)ir′＝(norm(filter(ir)))^γ對歸一化處理后的紅外圖像進行冪次變換，得到經(jīng)冪次變換后的紅外圖像，其中，ir′代表經(jīng)冪次變換后的紅外圖像，filter(.)表示去噪濾波器，norm(.)表示歸一化操作，冪次變換的伽馬值滿足γ＞1。本申請對紅外圖像進行冪次變換的曲線參見圖2，圖中γ＝s^γ，冪次變換的伽馬值需滿足γ＞1，這樣使冪次變換后的熱紅外圖像中灰度值較小的背景像素被抑制，灰度值較大的目標區(qū)域對比度得到增強。

上述步驟103中，對經(jīng)冪次變換后的紅外圖像進行閾值分割，得到目標區(qū)域和非目標區(qū)域，進一步為：

根據(jù)對經(jīng)冪次變換后的紅外圖像ir′進行閾值分割，其中，t代表分割閾值，im代表目標區(qū)域掩膜。此處的分割閾值t的大小可根據(jù)整體圖像灰度信息，利用ostu提出的最大類間方差法確定。

上述步驟104中，提取給定的可見光圖像的亮度分量，進一步為：

對于給定的可見光圖像is，若原圖像是灰度圖像，則其亮度分量就是圖像本身，即vs＝is；若原圖像是包含rs、gs、bs三個通道的彩色圖像，則采用通用的亮度分量計算公式vs＝0.39rs+0.59gs+0.11bs計算亮度分量。通過此種方式可獲得提取的亮度圖像。

上述步驟105中，在提取的亮度圖像中，對目標區(qū)域進行增強處理得到增強后的亮度圖像，對非目標區(qū)域維持原貌，進一步為：

對于目標區(qū)域，利用公式：

vs′＝enhance(log(vsim+1))+vs(1-im)

對提取的亮度圖像進行對數(shù)變換，再利用對比度增強函數(shù)對目標區(qū)域進行增強處理，得到增強后的亮度圖像，對于非目標區(qū)域保持原貌，其中，enhance(.)為對比度增強函數(shù)。

上述過程中對提取的亮度圖像進行對數(shù)變換的目的是適應人類視覺系統(tǒng)對光強的主觀感受特征，研究表明，主觀亮度與進入人眼的對數(shù)成近似線性關系。本申請對提取的亮度圖像進行對數(shù)變換，再利用對比增強函數(shù)對目標區(qū)域進行增強處理，能夠提高圖像的細節(jié)對比度。

上述過程中所采用的對比度增強函數(shù)可采用線性拉伸對比度增強函數(shù)或直方圖均衡化對比度增強函數(shù)等。

上述步驟106中，選擇一種突顯顏色對增強后的亮度圖像進行著色處理，得到具有某種單一色調的彩色圖像，進一步為：

用突顯顏色ch對增強后的亮度圖像vs′進行著色，得到具有單一色調的彩色圖像ic，其像素點(i,j)處的第k個顏色通道的值由下式獲得：

ic(i，j，k)＝ch(k)vs′(i，j)，

(0≤i＜m，0≤j＜n，k＝{0，1，2})

其中，m、n分別表示圖像的高和寬。

上述過程中，選擇一種突顯顏色對增強后的亮度圖像進行著色處理，用突顯顏色進行處理的區(qū)域比較容易引起觀察者的視覺注意，根據(jù)人類視覺的選擇性感知能力，在圖像中對感興趣的目標進行突顯處理，能夠有效地減少目標的搜索時間，并能夠讓觀察者快速地將注意力集中到該突顯顏色區(qū)域。

本申請對突顯顏色的選擇應充分考慮到環(huán)境背景，通常可選取紅色、綠色、藍色、黃色四種顏色。大多數(shù)實際情況下，圖像的背景是天空、植被、大地等自然景觀，且以灰白或者藍綠色為主色調，因此本案優(yōu)選紅色作為突顯顏色，此外紅色常常代表著高溫、危險等含義，會對人類心理產(chǎn)生警示的作用。當然，除了上述情況外，本申請中的突顯顏色還可根據(jù)圖像的實際背景進行靈活調整，而不僅限于之前提到的紅、綠、藍、黃四種顏色。

上述步驟107中，以經(jīng)冪次變換后的紅外圖像為參考，對原始可見光圖像和著色后具有單一色調的彩色圖像進行像素級的加權融合，得到融合圖像，進一步為：

依據(jù)紅外圖像上的像素灰度值逐個處理原始可見光圖像的像素點，將經(jīng)冪次變換后的紅外圖像的像素灰度值(此處的像素灰度值已歸一化至[0,1]且經(jīng)過冪次變換)作為權重，對原始可見光圖像和著色后具有單一色調的彩色圖像進行像素級的加權融合，得到融合圖像：

id(k)＝(1-ir′)is(k)+ir′ic(k)，

(k＝{0，1，2})

其中，ir′為經(jīng)冪次變換后的紅外圖像，is為原始可見光圖像，ic為著色后具有單一色調的彩色圖像?？紤]到rgb顏色空間的非均勻性問題，對原始可見光圖像和具有單一色調的彩色圖像進行像素級加權融合的過程應該在相對較均勻的顏色空間下進行。

實施例2

以下提供本申請基于視覺注意特性的可見光紅外圖像增強彩色融合方法的應用實施例，參見圖3。從圖3可看出，該實施例所提供的基于視覺注意特性的可見光紅外圖像增強彩色融合方法包括：

步驟201、輸入紅外圖像；

步驟202、對所輸入的紅外圖像進行濾波去噪和灰度值歸一化處理；

具體地，可利用高斯濾波器對紅外圖像進行濾波去噪，并將其灰度值歸一化至[0,1]。

步驟203、對歸一化處理后的紅外圖像進行冪次變換；

具體為，根據(jù)ir′＝(norm(filter(ir)))^γ對歸一化處理后的紅外圖像進行冪次變換，得到經(jīng)冪次變換后的紅外圖像，其中，ir′代表經(jīng)冪次變換后的紅外圖像，filter(.)表示去噪濾波器，norm(.)表示歸一化操作，冪次變換的伽馬值滿足γ＞1。

步驟204、對經(jīng)冪次變換后的紅外圖像進行閾值分割，得到目標區(qū)域；

具體地，熱紅外圖像目標區(qū)域可通過對ir′進行閾值分割得到。設t為分割閾值，則目標區(qū)域掩膜為：

步驟205、輸入可見光圖像。

步驟206、提取可見光圖像的亮度分量，若原始的可見光圖像為灰度圖像，則其亮度分量就是可見光圖像本身；若原始圖像是包含rs、gs、bs三個通道的彩色圖像，則采用通用的亮度分量計算公式vs＝0.39rs+0.59gs+0.11bs計算亮度分量，以獲得提取的亮度圖像。

步驟207、在提取的亮度圖像中，對目標區(qū)域進行增強處理。

具體為，在目標區(qū)域，利用公式：

vs′＝enhance(log(vsim+1))+vs(1-im)

先對提取的亮度圖像進行對數(shù)變換，再利用對比度增強函數(shù)對目標區(qū)域進行增強處理。

步驟208、選擇一種突顯顏色對增強后的亮度圖像進行著色處理，得到具有單一色調的彩色圖像。

該步驟中，突顯顏色可根據(jù)圖像的背景色調來進行選擇，通常選擇與背景色調反差較大的顏色作為突顯顏色。

步驟209、以所述經(jīng)冪次變換后的紅外圖像作為參考圖像，對原始可見光圖像和著色后具有單一色調的彩色圖像進行像素級的加權融合，得到融合圖像。

通過上述步驟201-步驟209即實現(xiàn)了基于視覺注意特性的可見光紅外圖像增強彩色融合方法。

通過以上各實施例可知，本申請存在的有益效果是：

第一，本發(fā)明所述基于視覺注意特性的可見光紅外圖像增強彩色融合方法所得融合圖像能真實地反映出可見光下場景豐富的灰度細節(jié)信息，以及目標與背景間的紅外溫差信息。

第二，本發(fā)明所述基于視覺注意特性的可見光紅外圖像增強彩色融合方法，能在較好保留非目標區(qū)域原貌的同時，根據(jù)目標與背景的溫差變化對目標區(qū)域進行不同程度的突顯，提高了目標的視覺檢測效率，有利于人眼快速感知目標信息。

第三，本發(fā)明所述基于視覺注意特性的可見光紅外圖像增強彩色融合方法，在突顯紅外目標的同時，對灰度圖像對應的目標區(qū)域進行了增強處理，得到的目標區(qū)域細節(jié)清晰可辨。

本領域內的技術人員應明白，本申請的實施例可提供為方法、裝置、或計算機程序產(chǎn)品。因此，本申請可采用完全硬件實施例、完全軟件實施例、或結合軟件和硬件方面的實施例的形式。而且，本申請可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限于磁盤存儲器、cd-rom、光學存儲器等)上實施的計算機程序產(chǎn)品的形式。

上述說明示出并描述了本申請的若干優(yōu)選實施例，但如前所述，應當理解本申請并非局限于本文所披露的形式，不應看作是對其他實施例的排除，而可用于各種其他組合、修改和環(huán)境，并能夠在本文所述發(fā)明構想范圍內，通過上述教導或相關領域的技術或知識進行改動。而本領域人員所進行的改動和變化不脫離本申請的精神和范圍，則都應在本申請所附權利要求的保護范圍內。