專利名稱：紅外與可見光圖像融合方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于目標區(qū)域的圖像融合方法，用以融合同一場景的紅外和可見光圖像，在光學成像、目標監(jiān)視、安全檢查等系統(tǒng)中均可有廣泛應用。
背景技術(shù)：
圖像融合技術(shù)是多傳感器信息融合中可視信息的融合，它利用各種成像傳感器不同的成像方式，為不同的影像提供互補信息，增加圖像信息量，減少原始圖像數(shù)據(jù)量，提高對環(huán)境的適應性，以獲得更可靠、更準確的有用信息供觀察或進一步處理。圖像融合技術(shù)是一門綜合了傳感器、信號處理、圖像處理和人工智能等的新興技術(shù)，近年來已成為一種十分重要和有用的圖像分析與計算機視覺技術(shù)，在自動目標識別、計算機視覺、遙感、機器人、醫(yī)學圖像處理以及軍事應用等領(lǐng)域有著廣泛的應用前景。
就一般情況而言，由于目標和背景的紅外輻射特性有差異，紅外圖像可提供較完整的目標信息，然而它包含的背景信息卻模糊不清；相反可見光圖像能夠提供較全面的背景信息，但目標信息不明顯。通過圖像融合技術(shù)，可獲取目標和背景信息均精確、全面的融合后圖像。在處理紅外和可見光圖像融合方法中，具有代表性的方法是多分辨圖像融合方法，其基本思想就是在將輸入原圖像分解得到不同分辨率表示的基礎上，分別對它們進行基于融合規(guī)則的融合運算后，經(jīng)多分辨率重構(gòu)獲得融合后圖像。多分辨圖像融合方法包括拉普拉斯金字塔算法，對比度金字塔算法，梯度金字塔算法等塔型方法。隨著小波理論的發(fā)展和深入研究，離散小波變換已成為多分辨率圖像融合中另一非常有用的工具。基于離散小波變換以及小波框架等融合方法已廣泛應用于融合領(lǐng)域。
對于以往的融合算法研究，絕大多數(shù)算法在進行融合運算時，均未考慮利用諸如原圖像成像特點等信息來提高和改進算法的性能。沒有對原圖像所包含的不同的信息進行針對性的融合運算。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對現(xiàn)有技術(shù)存在的不足，提出一種紅外與可見光圖像融合方法，能夠提高融合后的圖像質(zhì)量，達到較理想的融合效果。
為實現(xiàn)這樣的目的，本發(fā)明的方法在對紅外圖像和可見光圖像分別進行多分辨率分解的基礎上，利用紅外圖像和可見光圖像不同的成像特性，從原圖像中獲得“目標”信息和“背景”信息(相對而言)以此將圖像劃分為三個部分背景區(qū)域、目標區(qū)域以及它們之間的邊緣部分，對這三部分分別采用三種不同的融合規(guī)則來確定融合圖像的多分辨率表示，最后經(jīng)過多分辨率逆變換得到融合圖像。
本發(fā)明的方法包括如下具體步驟1.在同一場景的紅外圖像和可見光圖像進行配準的基礎上，采用àtrous(多孔)小波算法來分解圖像，采用B3樣條尺度函數(shù)得到的二維卷積算子進行具體運算，將圖像分解為不同頻帶上的細節(jié)信息和最低頻帶的近似信息。
2.對紅外圖像采用閾值法進行區(qū)域分割，然后根據(jù)成像特性和目標圖像特征(包括灰度信息，紋理信息，輪廓信息等特征)等信息來確定目標區(qū)域。一般而言，目標在紅外圖像中表現(xiàn)為像素灰度值相對較高。在確定出紅外圖像的目標區(qū)域后，將原圖像劃分為三個部分背景區(qū)域，目標區(qū)域以及它們之間的邊緣部分。
3.在融合處理時，對于目標區(qū)域，直接選取紅外圖像相應區(qū)域的小波系數(shù)作為融合后小波系數(shù)；對于目標區(qū)域和背景區(qū)域之間的邊緣部分，比較紅外圖像小波系數(shù)和可見光圖像小波系數(shù)絕對值大小，選取絕對值大的小波系數(shù)作為融合后小波系數(shù)；對于背景區(qū)域，同時考慮小波系數(shù)本身以及其與鄰域內(nèi)小波系數(shù)的相關(guān)性，確定融合量測指標，融合量測指標的大小衡量小波系數(shù)所包含的信息的多少。通過比較紅外圖像和可見光圖像融合量測指標的大小，確定指標大的小波系數(shù)為融合后小波系數(shù)。
4.對各區(qū)域得到的小波系數(shù)進行小波逆變換以獲得融合后的圖像。
本發(fā)明的方法具有如下有益效果采用àtrous(多孔)小波算法來分解圖像時，由于其具有平移不變性，在融合時可減小融合系數(shù)的錯誤選取及配準誤差對融合結(jié)果的影響；在àtrous小波變換過程中，所得的小波面具有相同的大小，因此較容易找到各個小波面系數(shù)之間的對應關(guān)系，這有利于融合運算；由于àtrous小波算法在重構(gòu)時不涉及卷積運算，在基于區(qū)域的融合運算時，這有利于減少對區(qū)域間邊緣部分的影響。采用基于目標區(qū)域的融合規(guī)則，能夠最大限度的保持目標信息的同時，增強了背景信息中的邊緣和細節(jié)信息。采用本發(fā)明的圖像融合方法大大提高了融合后圖像質(zhì)量，對于應用系統(tǒng)的后續(xù)處理和圖像顯示具有重要意義和實用價值。


圖1為本發(fā)明基于目標區(qū)域的紅外和可見光圖像融合方法示意圖。
如圖所示，分別對紅外圖像和可見光圖像進行小波變換(àtrous多孔小波算法)得到多個不同分辨率的小波系數(shù)表示，通過從原圖像中所得到的“目標”信息和“背景”信息(相對而言)來指導融合決策，以獲得融合的不同分辨率的小波系數(shù)表示。最后，對融合后小波系數(shù)進行小波逆變換以獲得融合后的圖像。
圖2為本發(fā)明的融合決策流程圖。
如圖所示，在對紅外圖像進行區(qū)域分割的基礎上，通過圖像的成像特性確定出目標區(qū)域后，將紅外圖像和可見光圖像劃分出三個部分背景區(qū)域，目標區(qū)域以及它們之間的邊緣部分。分別對這三個區(qū)域?qū)嵤┎煌娜诤弦?guī)則以得到融合決策圖。
圖3為本發(fā)明紅外和可見光原圖像以及與基于像素融合方法和基于窗口融合方法的融合結(jié)果比較。
其中，(a)為可見光原圖像；(b)為紅外原圖像；(c)為基于像素融合方法的融合結(jié)果；(d)，(e)為兩種基于窗口融合方法的融合結(jié)果；(f)為本發(fā)明基于目標區(qū)域融合方法的融合結(jié)果。
具體實施例方式為了更好地理解本發(fā)明的技術(shù)方案，以下結(jié)合附圖對本發(fā)明的實施方式作進一步描述。
本發(fā)明方法流程如圖1所示，首先分別對紅外圖像和可見光圖像進行小波變換得到多個不同分辨率的小波系數(shù)表示，通過從原圖像中所得到的“目標”信息和“背景”信息(相對而言，可見光圖像中背景信息更為豐富，紅外圖像中目標信息更為豐富)來指導融合決策，以獲得融合的不同分辨率的小波系數(shù)表示。最后，對融合后小波系數(shù)進行小波逆變換以獲得融合后的圖像。
本發(fā)明的融合決策流程如圖2所示，在對紅外圖像進行區(qū)域分割的基礎上，通過圖像的成像特性確定出目標區(qū)域后，將紅外圖像和可見光圖像劃分出三個部分背景區(qū)域，目標區(qū)域以及它們之間的邊緣部分。分別對這三個區(qū)域?qū)嵤┎煌娜诤弦?guī)則以得到融合決策圖。
本發(fā)明具體實施按如下步驟進行1.在同一場景的紅外圖像和可見光圖像進行配準的基礎上，采用àtrous(多孔)小波算法分別對可見光原圖像和紅外進行分解，將圖像分解為不同頻帶上的細節(jié)信息和最低頻帶的近似信息。
àtrous小波算法的基本思想是將信號或圖像分解為不同頻帶上的細節(jié)信息和最低頻帶的近似信息。該細節(jié)信息稱為小波面，其大小與原圖像大小相同。對于圖像f(x，y)可逐級得到以下圖像序列 其中，fk(x，y)為尺度k下的近似圖像，Lk為低通濾波。k＝1，2，...，N.
相鄰尺度的近似圖像間的差異構(gòu)成小波變換的系數(shù)即小波面ωk(x，y)＝fk(x，y)-fk-1(x，y)k＝1，2，...，N (2)采用B3樣條尺度函數(shù)，得到的二維卷積算子如下所示。
12561464141624164624362464162416414641...(3)]]>2.對紅外圖像采用閾值法進行區(qū)域分割，然后根據(jù)成像特性和目標圖像特征(包括灰度信息，紋理信息，輪廓信息等特征)等信息來確定目標區(qū)域。
對于目標而言，其在紅外圖像中表現(xiàn)為像素灰度值相對較高，根據(jù)圖像中像素灰度值的不同以及目標的運動信息，以此來確定出目標區(qū)域。當然，在實際劃分時，不排除其他非目標區(qū)域被當作目標區(qū)域劃分出來，然而由于其具有目標區(qū)域所具有的一些特點，在不能確定其是否為目標區(qū)域的情況下，仍將其看作目標區(qū)域確定下來。在此，目標區(qū)域選定的優(yōu)先級要優(yōu)于其他任何區(qū)域的選定。
在確定出目標圖像的目標區(qū)域后，可將紅外圖像和可見光圖像劃分為三個部分背景區(qū)域，目標區(qū)域以及它們之間的邊緣部分。
3.采用不同的圖像融合規(guī)則分別對這三部分進行融合運算。設紅外圖像為A，可見光圖像為B；X表示目標區(qū)域，X表示背景區(qū)域，E表示為兩區(qū)域間的邊緣部分。具體融合規(guī)則如下●“高頻”系數(shù)的融合(1)目標區(qū)域；一般而言，目標區(qū)域內(nèi)的像素具有基本相同的灰度值或紋理信息，所要作的不是比較“高頻”的大小，目的是最大限度地保持該區(qū)域的目標信息。為此，對該區(qū)域的融合系數(shù)選取為CFH(m,n)=CAH(m,n)---(m,n)∈X...(4)]]>(2)兩區(qū)域間的邊緣部分；對于此區(qū)域，已知系數(shù)所處位置，為了更好地表現(xiàn)邊緣信息，對該部分的融合系數(shù)選取為 (3)背景區(qū)域；比較目標區(qū)域而言，背景區(qū)域內(nèi)含有豐富的邊緣和細節(jié)信息，為了更好地表現(xiàn)該區(qū)域的細節(jié)信息，以及考慮目標區(qū)域的某些細節(jié)信息未被提取到目標區(qū)域內(nèi)，本發(fā)明采用一種新的融合量測指標來確定融合系數(shù)以突出細節(jié)信息。該融合量測指標同時考慮系數(shù)本身以及其與鄰域內(nèi)系數(shù)的相關(guān)性PIX(m，n)＝Cp(m，n)·It(m，n) (6)其中，PIX(m，n)衡量該系數(shù)所包含的信息；Cp(m，n)反映該系數(shù)的特征信息；It(m，n)反映鄰域內(nèi)系數(shù)的相關(guān)性。
Cp(m,n)=|CXH(m,n)|...(7)]]>其中，CXH(m，n)為圖像的高頻系數(shù)；對于鄰域內(nèi)系數(shù)的相關(guān)性，首先確定圖像高頻系數(shù)的符號值sign=CXH(m,n)...(8)]]>如果高頻系數(shù)的值大于或等于零，那么sign為1；否則sign為0。對It(m，n)，可表示為It(m，n)＝pX(m，n)·(1-pX(m，n)) (9)其中，pX(m，n)為(m，n)點系數(shù)與鄰域內(nèi)系數(shù)具有相同符號值的該概率值。若(m，n)點系數(shù)與鄰域內(nèi)系數(shù)均相同，pX＝1；若與鄰域內(nèi)系數(shù)均不相同，pX＝0。
對該部分的融合系數(shù)選取為 ●低頻系數(shù)的融合 4.對融合后所得到的“高頻”融合系數(shù)和低頻融合系數(shù)進行小波逆變換得到融合后的圖像。
圖像的重構(gòu)為f(x,y)=Σk=1Nωk(x,y)+fN(x,y)...(12)]]>將本發(fā)明所得的融合結(jié)果，與其他融合方法所得的融合結(jié)果進行了對比，評價結(jié)果對照如表1所示，圖3為融合所得的圖像。圖3中，(a)為可見光原圖像；(b)為紅外原圖像；(c)為基于像素融合方法的融合結(jié)果；(d)，(e)為兩種基于窗口融合方法的融合結(jié)果；(f)為本發(fā)明基于目標區(qū)域融合方法的融合結(jié)果。結(jié)果表明，本發(fā)明使得融合后圖像的質(zhì)量得以較大的提高，均優(yōu)于其他融合方法。
表1圖像融合結(jié)果指標評價基于目標區(qū)域基于像素基于窗口(方法1) 基于窗口(方法2)互有信息3.5953 1.4415 1.44681.4479邊緣信息0.3228 0.30910.3106 0.319權(quán)利要求
1.一種紅外與可見光圖像融合方法，其特征在于包括如下具體步驟1)在同一場景的紅外圖像和可見光圖像進行配準的基礎上，采用àtrous多孔小波算法來分解圖像，采用B3樣條尺度函數(shù)得到的二維卷積算子進行具體運算，將圖像分解為不同頻帶上的細節(jié)信息和最低頻帶的近似信息；2)對紅外圖像采用閾值法進行區(qū)域分割，然后根據(jù)成像特性和目標圖像特征信息來確定目標區(qū)域，在確定出紅外圖像的目標區(qū)域后，將原圖像劃分為背景區(qū)域，目標區(qū)域以及它們之間的邊緣部分；3)在融合處理時，對于目標區(qū)域，直接選取紅外圖像相應區(qū)域的小波系數(shù)作為融合后小波系數(shù)；對于目標區(qū)域和背景區(qū)域之間的邊緣部分，比較紅外圖像小波系數(shù)和可見光圖像小波系數(shù)絕對值大小，選取絕對值大的小波系數(shù)作為融合后小波系數(shù)；對于背景區(qū)域，同時考慮系數(shù)本身以及其與鄰域內(nèi)系數(shù)的相關(guān)性，確定融合量測指標，融合量測指標的大小衡量小波系數(shù)所包含的信息的多少，通過比較紅外圖像和可見光圖像融合量測指標的大小，確定指標大的小波系數(shù)為融合后小波系數(shù)；4)對各區(qū)域得到的小波系數(shù)進行小波逆變換以獲得融合后的圖像。
全文摘要
本發(fā)明涉及一種紅外與可見光圖像融合方法，在對紅外圖像和可見光圖像分別進行多分辨率分解的基礎上，利用紅外圖像和可見光圖像不同的成像特性，從原圖像中獲得相對的“目標”信息和“背景”信息，以此將圖像劃分為背景區(qū)域、目標區(qū)域以及它們之間的邊緣部分，對這三部分分別采用三種不同的融合規(guī)則來確定融合圖像的多分辨率表示，最后經(jīng)過多分辨率反變換得到融合圖像。本發(fā)明采用基于目標區(qū)域的方法融合同一場景的紅外和可見光圖像，在最大限度保留目標信息的同時，增強了背景信息中的邊緣和細節(jié)信息，融合后的圖像質(zhì)量得以較大的提高。
文檔編號G06T5/50GK1545064SQ20031010893
公開日2004年11月10日 申請日期2003年11月27日 優(yōu)先權(quán)日2003年11月27日
發(fā)明者敬忠良, 王宏, 李建勛 申請人:上海交通大學