本發(fā)明屬于圖像處理，特別是涉及一種紅外圖像和可見(jiàn)光圖像融合方法、系統(tǒng)、設(shè)備及介質(zhì)。

背景技術(shù)：

1、圖像融合是圖像處理領(lǐng)域中的熱門(mén)話題，目的是通過(guò)組合不同傳感器的輸出圖像來(lái)生成信息豐富的融合圖像。由于成像設(shè)備的硬件限制，單一類(lèi)型的傳感器獲得的圖像無(wú)法全面的呈現(xiàn)場(chǎng)景中的信息。比如，紅外探測(cè)器是依靠物體的溫度輻射成像，能夠突出輻射強(qiáng)度大的物體和避免環(huán)境干擾的能力，但分辨率低，無(wú)法表達(dá)出物體的細(xì)節(jié)特征與背景狀況。與之相反，可見(jiàn)光圖像，分辨率高，在環(huán)境較好的情況下能展現(xiàn)出物體豐富的紋理特征，視覺(jué)效果較好，但在光線較暗的環(huán)境中，容易丟失場(chǎng)景中的目標(biāo)。因此，紅外圖像與可見(jiàn)光圖像的融合技術(shù)應(yīng)運(yùn)而生，旨在將同一場(chǎng)景下，將紅外圖像中的熱輻射信息與可見(jiàn)光圖像中紋理信息結(jié)合到一起，使得融合圖像避免了紅外圖像中對(duì)比度低、分辨率低和可見(jiàn)光圖像對(duì)光照條件敏感的缺點(diǎn)，融合后的圖像有利于推進(jìn)下游的圖像識(shí)別、圖像分割與目標(biāo)檢測(cè)等任務(wù)。

2、近年來(lái)，隨著深度學(xué)習(xí)的不斷發(fā)展，許多深度學(xué)習(xí)模型被應(yīng)用到了紅外圖像與可見(jiàn)光圖像的融合中并取得了較好的結(jié)果。現(xiàn)有技術(shù)中利用濾波函數(shù)將紅外與可見(jiàn)光圖像分成基本層與細(xì)節(jié)層，并將對(duì)應(yīng)層相加構(gòu)成新的基本層與細(xì)節(jié)層，為了突出細(xì)節(jié)，采用resnet網(wǎng)絡(luò)增強(qiáng)細(xì)節(jié)層信息，最后將基本層與細(xì)節(jié)層融合，但該方法只考慮了圖像的細(xì)節(jié)層，而缺少基本層的特征提取，在計(jì)算損失函數(shù)時(shí)，沒(méi)有考慮到融合圖像中紅外圖像與可見(jiàn)光圖像信息占比問(wèn)題。其后該方法又提出使用稠密網(wǎng)絡(luò)塊將淺層特征與深層特征拼接，從而實(shí)現(xiàn)特征重用，相對(duì)于resnet減少了參數(shù)量，提高了特征提取的效率，但是受cnn感受野的限制，淺層特征中缺少全局語(yǔ)義。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種紅外圖像和可見(jiàn)光圖像融合方法、系統(tǒng)、設(shè)備及介質(zhì)，以解決上述現(xiàn)有技術(shù)存在的問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種紅外圖像和可見(jiàn)光圖像融合方法，包括：獲取待融合圖像；所述待融合圖像包括可見(jiàn)光圖像及對(duì)應(yīng)的紅外圖像；

3、對(duì)所述待融合圖像進(jìn)行分層處理，得到分層圖像；所述分層圖像包括基本層圖像和細(xì)節(jié)層圖像；

4、將所述分層圖像輸入所述圖像融合模型中進(jìn)行圖像融合，得到融合圖像，其中，所述圖像融合模型包括依次連接的淺層特征提取模塊、深層特征提取模塊和特征融合模塊，所述淺層特征提取模塊采用restormer模塊，所述深層特征提取模塊采用dense?block模塊。

5、可選的，對(duì)所述待融合圖像進(jìn)行分層處理，具體包括：

6、基于引導(dǎo)濾波器將所述可見(jiàn)光圖像和所述紅外圖像分別進(jìn)行分解，得到各圖像對(duì)應(yīng)的基本層和細(xì)節(jié)層；按照設(shè)定比例將各圖像對(duì)應(yīng)的基本層進(jìn)行融合，得到所述基本層圖像；按照設(shè)定比例將各圖像對(duì)應(yīng)的細(xì)節(jié)層進(jìn)行融合，得到所述細(xì)節(jié)層圖像。

7、可選的，獲取所述基本層圖像和所述細(xì)節(jié)層圖像的具體計(jì)算公式為：

8、

9、式中，vib為基本層圖像，vid為細(xì)節(jié)層圖像，vb為可見(jiàn)光圖像的基本層，vd為可見(jiàn)光圖像的細(xì)節(jié)層；ib為紅外圖像的基本層，id為紅外圖像的細(xì)節(jié)層。

10、可選的，所述圖像融合模型的訓(xùn)練過(guò)程包括：

11、獲取訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)包括可見(jiàn)光訓(xùn)練圖像及對(duì)應(yīng)的紅外訓(xùn)練圖像；

12、對(duì)所述訓(xùn)練數(shù)據(jù)進(jìn)行分層處理，得到分層訓(xùn)練圖像；

13、構(gòu)建初始圖像融合模型，將所述分層訓(xùn)練圖像輸入所述初始圖像融合模型進(jìn)行圖像融合，并以融合后得到的融合圖像與輸入的可見(jiàn)光訓(xùn)練圖像及對(duì)應(yīng)的紅外訓(xùn)練圖像之間的強(qiáng)度損失和梯度損失之和最小為目標(biāo)，進(jìn)行訓(xùn)練，得到所述圖像融合模型。

14、可選的，所述圖像融合模型的處理過(guò)程包括：

15、將所述分層圖像輸入所述淺層特征提取模塊進(jìn)行淺層特征提取，輸出所述基本層圖像和所述細(xì)節(jié)層圖像分別對(duì)應(yīng)的淺層特征圖；

16、將所述淺層特征提取模塊輸出的淺層特征圖輸入所述深層特征提取模塊進(jìn)行特征提取，輸出所述基本層圖像和所述細(xì)節(jié)層圖像分別對(duì)應(yīng)的深度特征圖；

17、將所述深層特征提取模塊輸出的深度特征圖作為所述特征融合模塊的輸入進(jìn)行特征拼接，使所述基本層圖像對(duì)應(yīng)的深度特征圖和所述細(xì)節(jié)層圖像對(duì)應(yīng)的深度特征圖進(jìn)行拼接融合，得到所述融合圖像。

18、一種紅外圖像和可見(jiàn)光圖像融合系統(tǒng)，包括：

19、圖像獲取模塊，用于獲取待融合圖像；所述待融合圖像包括可見(jiàn)光圖像及對(duì)應(yīng)的紅外圖像；

20、圖像分層模塊，用于對(duì)所述待融合圖像進(jìn)行分層處理，得到分層圖像；所述分層圖像包括基本層圖像和細(xì)節(jié)層圖像；

21、圖像融合模塊，用于將所述分層圖像輸入所述圖像融合模型中進(jìn)行圖像融合，得到融合圖像，其中，所述圖像融合模型包括依次連接的淺層特征提取模塊、深層特征提取模塊和特征融合模塊，所述淺層特征提取模塊采用restormer模塊，所述深層特征提取模塊采用dense?block模塊。

22、一種電子設(shè)備，包括存儲(chǔ)器及處理器，所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序，所述處理器運(yùn)行所述計(jì)算機(jī)程序以使所述電子設(shè)備執(zhí)行所述的一種紅外圖像和可見(jiàn)光圖像融合方法。

23、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的一種紅外圖像和可見(jiàn)光圖像融合方法。

24、本發(fā)明的技術(shù)效果為：

25、本發(fā)明將紅外與可見(jiàn)光圖像分別分成基本層與細(xì)節(jié)層，然后將對(duì)應(yīng)層加權(quán)融合形成新的基本層與細(xì)節(jié)層，使得后續(xù)特征提取更有針對(duì)性；本發(fā)明采用restormer模塊和dense?block模塊構(gòu)成編碼器，由于傳統(tǒng)的cnn網(wǎng)絡(luò)感受野較小，restormer可以根據(jù)全局注意力提取淺層特征，dense?block將淺層特征與深層特征拼接避免了淺層特征的丟失，通過(guò)將這些特征放入到解碼器中可以重建出效果更好的融合圖像。

技術(shù)特征：

1.一種紅外圖像和可見(jiàn)光圖像融合方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種紅外圖像和可見(jiàn)光圖像融合方法，其特征在于，對(duì)所述待融合圖像進(jìn)行分層處理，具體包括：

3.根據(jù)權(quán)利要求1所述的一種紅外圖像和可見(jiàn)光圖像融合方法，其特征在于，獲取所述基本層圖像和所述細(xì)節(jié)層圖像的具體計(jì)算公式為：

4.根據(jù)權(quán)利要求1所述的一種紅外圖像和可見(jiàn)光圖像融合方法，其特征在于，所述圖像融合模型的訓(xùn)練過(guò)程包括：

5.根據(jù)權(quán)利要求1所述的一種紅外圖像和可見(jiàn)光圖像融合方法，其特征在于，所述圖像融合模型的處理過(guò)程包括：

6.一種紅外圖像和可見(jiàn)光圖像融合系統(tǒng)，其特征在于，包括：

7.一種電子設(shè)備，其特征在于，包括存儲(chǔ)器及處理器，所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序，所述處理器運(yùn)行所述計(jì)算機(jī)程序以使所述電子設(shè)備執(zhí)行根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的一種紅外圖像和可見(jiàn)光圖像融合方法。

8.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-5中任一項(xiàng)所述的一種紅外圖像和可見(jiàn)光圖像融合方法。

技術(shù)總結(jié)
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，并公開(kāi)了一種紅外圖像和可見(jiàn)光圖像融合方法、系統(tǒng)、設(shè)備及介質(zhì)，包括：獲取待融合圖像；所述待融合圖像包括可見(jiàn)光圖像及對(duì)應(yīng)的紅外圖像；對(duì)所述待融合圖像進(jìn)行分層處理，得到分層圖像；所述分層圖像包括基本層圖像和細(xì)節(jié)層圖像；將所述分層圖像輸入所述圖像融合模型中進(jìn)行圖像融合，得到融合圖像，其中，所述圖像融合模型包括依次連接的淺層特征提取模塊、深層特征提取模塊和特征融合模塊，所述淺層特征提取模塊采用Restormer模塊，所述深層特征提取模塊采用Dense?Block模塊。本發(fā)明所述技術(shù)方案能夠避免淺層特征的丟失，可以重建出效果更好的融合圖像。

技術(shù)研發(fā)人員：陳明,王福成,皮曉雅,馬國(guó)強(qiáng),齊平,蘇本躍,程軍強(qiáng),曹潔,楚楊陽(yáng),李玉華
受保護(hù)的技術(shù)使用者：銅陵學(xué)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/9