本發(fā)明涉及圖像處理，尤其涉及一種利用mamba的紅外與可見光圖像融合方法。

背景技術(shù)：

1、圖像融合技術(shù)作為一種匯聚多種信息源以強(qiáng)化圖像清晰度、豐富信息層次并促進(jìn)更深層次圖像分析與操作的策略，在計算機(jī)視覺、醫(yī)療成像和遙感等多個科技領(lǐng)域取得了顯著進(jìn)展。特別值得一提的是，通過融合紅外與可見光圖像的特性，實現(xiàn)了跨光譜信息的協(xié)同效應(yīng)，極大地提升了物體檢測與識別能力，增強(qiáng)了圖像的整體質(zhì)量。這為低光照乃至夜間條件下的監(jiān)控活動提供了更為敏銳的觀察力，確保了目標(biāo)追蹤的高度精確性。因此，該技術(shù)在偵察行動中的隱蔽性和準(zhǔn)確性、安全監(jiān)控系統(tǒng)的智能化部署、生態(tài)環(huán)境的高靈敏度監(jiān)測以及諸多其他潛在領(lǐng)域等方面，展現(xiàn)出了巨大的應(yīng)用潛力與戰(zhàn)略價值。

2、目前，圖像融合技術(shù)主要分為兩大類：傳統(tǒng)方法與深度學(xué)習(xí)驅(qū)動的方法。傳統(tǒng)融合技術(shù)面臨著信息損失、融合效果不理想、對人工特征選擇的依賴以及較高的計算成本等問題。相比之下，基于深度學(xué)習(xí)的方法能夠直接從原始數(shù)據(jù)中提取特征表示，更有效地捕捉圖像內(nèi)部的復(fù)雜結(jié)構(gòu)。這些模型憑借其卓越的泛化能力，能夠適應(yīng)各種場景、光線條件和目標(biāo)類型，從而提高了融合策略的靈活性和魯棒性。利用深度學(xué)習(xí)架構(gòu)，可以自適應(yīng)地學(xué)習(xí)不同圖像頻段之間的關(guān)聯(lián)與權(quán)重分布，實現(xiàn)動態(tài)圖像融合，進(jìn)而提高融合輸出的一致性和質(zhì)量。正因為如此，基于深度學(xué)習(xí)的圖像融合策略逐漸成為研究熱點。這些策略大致可分為：卷積神經(jīng)網(wǎng)絡(luò)(cnn)、自編碼器(ae)、生成對抗網(wǎng)絡(luò)(gan)、擴(kuò)散模型以及基于transformer的方法。然而，每種方法都有其固有的挑戰(zhàn)。首先，基于cnn的方法由于語義理解的局限性和固定的濾波器尺寸而犧牲了細(xì)節(jié)；ae的簡單形式限制了其表達(dá)復(fù)雜特征的能力，并且高度依賴于訓(xùn)練數(shù)據(jù)。其次，gan雖然能生成高質(zhì)量圖像，但其訓(xùn)練過程往往不穩(wěn)定，且對潛在空間的操作性較差。擴(kuò)散模型面臨的挑戰(zhàn)主要是高昂的計算成本和較長的訓(xùn)練周期。transformer受限于高計算復(fù)雜度和內(nèi)存消耗，并且在處理圖像位置信息方面的效率不如cnn。

技術(shù)實現(xiàn)思路

1、本發(fā)明提出了一種利用mamba的紅外與可見光圖像融合方法，以便解決或部分解決上述問題。

2、本發(fā)明提供了一種利用mamba的紅外與可見光圖像融合方法，所述方法包括：

3、獲取待融合的可見光圖像ivi和紅外圖像iir；

4、分別將所述可見光圖像ivi和紅外圖像iir輸入淺層特征提取器進(jìn)行淺層特征提取，獲得淺層可見光圖像特征和淺層紅外圖像特征；

5、分別將所述淺層可見光圖像特征和所述淺層紅外圖像特征輸入各自對應(yīng)的深層特征提取器進(jìn)行深層特征提取，獲得深層可見光圖像特征和深層紅外圖像特征，深層特征提取器包括多個層級的并行視覺mamba模塊；

6、將所述深層可見光圖像特征和所述深層紅外圖像特征進(jìn)行拼接操作，并將得到的拼接圖像特征輸入特征解碼器進(jìn)行特征重構(gòu)，以獲得融合圖像if；其中，

7、所述分別將所述可見光圖像ivi和紅外圖像iir輸入淺層特征提取器進(jìn)行淺層特征提取，獲得淺層可見光圖像特征和淺層紅外圖像特征，包括：

8、分別將所述可見光圖像ivi和所述紅外圖像iir輸入各自特征提取路徑中的卷積模塊獲得一級可見光圖像特征和一級紅外圖像特征：

9、

10、其中，表示卷積模塊，其輸入通道為1，輸出通道為8；

11、分別將所述一級可見光圖像特征和所述一級紅外圖像特征輸入各自特征提取路徑中的第一transformer模塊，其中，在兩個第一transformer模塊之間設(shè)置有差分放大融合特征提取模塊，以在可見光圖像特征中融合入紅外圖像特征獲得二級可見光圖像特征，在紅外圖像特征中融合入可見光圖像特征獲得二級紅外圖像特征：

12、

13、其中，表示第一transformer模塊，其通道數(shù)為8，表示非線性激活函數(shù)gelu，daf2e表示差分放大融合特征提取模塊；

14、分別將所述二級可見光圖像特征和所述二級紅外圖像特征輸入各自特征提取路徑中的反射卷積模塊，獲得三級可見光圖像特征和三級紅外圖像特征：

15、

16、其中，表示反射-卷積模塊，其輸入通道為8，輸出通道為16；

17、分別將所述三級可見光圖像特征和所述三級紅外圖像特征輸入各自特征提取路徑中的第二transformer模塊，其中，在兩個第二transformer模塊之間設(shè)置有差分放大融合特征提取模塊，以在可見光圖像特征中融合入紅外圖像特征獲得四級可見光圖像特征，在紅外圖像特征中融合入可見光圖像特征獲得四級紅外圖像特征，將四級可見光圖像特征作為淺層可見光圖像特征，將四級紅外圖像特征作為淺層紅外圖像特征；

18、

19、其中，表示第二transformer模塊，其通道數(shù)為16。

20、進(jìn)一步地，所述第一transformer模塊和所述第二transformer模塊為結(jié)構(gòu)相同通道數(shù)不同的transformer模塊，transformer模塊由級聯(lián)的一個或多個多重解卷積頭轉(zhuǎn)置注意力機(jī)制模塊和門控解卷積前饋網(wǎng)絡(luò)模塊組合，其中，

21、所述多重解卷積頭轉(zhuǎn)置注意力機(jī)制模塊的操作表示為：

22、

23、其中，為多重解卷積頭轉(zhuǎn)置注意力機(jī)制模塊的輸入，為多重解卷積頭轉(zhuǎn)置注意力機(jī)制模塊的輸出，表示1×1點方向卷積，為查詢向量，為鍵向量，為值向量，表示一個可學(xué)習(xí)的縮放參數(shù)；

24、所述門控解卷積前饋網(wǎng)絡(luò)模塊的操作表示為：

25、

26、其中，表示門控解卷積前饋網(wǎng)絡(luò)模塊的輸入，表示門控解卷積前饋網(wǎng)絡(luò)模塊的輸出，表示1×1點方向卷積，(·)表示3×3深度卷積，l=0,1,2，代表歸一化操作，表示元素相乘。

27、進(jìn)一步地，分別將所述淺層可見光圖像特征和所述淺層紅外圖像特征輸入各自對應(yīng)的深層特征提取器進(jìn)行深層特征提取，獲得深層可見光圖像特征和深層紅外圖像特征，包括：

28、分別將所述淺層可見光圖像特征和所述淺層紅外圖像特征輸入各自特征提取路徑中的第一并行視覺mamba模塊，其中，在兩個第一并行視覺mamba模塊之間設(shè)置有通道差分放大融合特征提取模塊，以在可見光圖像特征中融合入紅外圖像的通道特征獲得五級可見光圖像特征，在紅外圖像特征中融合入可見光圖像的通道特征獲得五級紅外圖像特征：

29、

30、其中，表示通道差分放大融合特征提取模塊，表示第一并行視覺mamba模塊，其輸入通道為16，輸出通道為32；

31、分別將所述五級可見光圖像特征和所述五級紅外圖像特征輸入各自特征提取路徑中的第二并行視覺mamba模塊，其中，在兩個第二并行視覺mamba模塊之間設(shè)置有位置差分放大融合特征提取模塊，以在可見光圖像特征中融合入紅外圖像的位置特征獲得六級可見光圖像特征，在紅外圖像特征中融合入可見光圖像的位置特征獲得六級紅外圖像特征：

32、

33、其中，表示位置差分放大融合特征提取模塊，表示第二并行視覺mamba模塊，其輸入通道為32，輸出通道為64；

34、分別將所述六級可見光圖像特征和所述六級紅外圖像特征輸入各自特征提取路徑中的第三并行視覺mamba模塊，其中，在兩個第三并行視覺mamba模塊之間設(shè)置有角落差分放大融合特征提取模塊，以在可見光圖像特征中融合入紅外圖像的角落特征獲得七級可見光圖像特征，在紅外圖像特征中融合入可見光圖像的角落特征獲得七級紅外圖像特征：

35、

36、其中，表示角落差分放大融合特征提取模塊，表示第三并行視覺mamba模塊，其輸入通道為64，輸出通道為128；

37、其中，所述第一并行視覺mamba模塊、第二并行視覺mamba模塊和第三并行視覺mamba模塊為結(jié)構(gòu)相同通道數(shù)不同的并行視覺mamba模塊。

38、進(jìn)一步地，所述并行視覺mamba模塊用于完成如下操作：

39、

40、

41、

42、其中，代表split運算，n表示pvim的層級，n∈[1,3]，表示輸入特征，表示被劃分的1/n的特征，表示mamba運算，代表調(diào)整因子，表示連接運算，表示投影運算。

43、進(jìn)一步地，所述差分放大融合特征提取模塊包括級聯(lián)的特征融合子模塊和差分放大子模塊，其中，

44、所述特征融合子模塊用于完成如下操作：

45、

46、

47、其中，表示元素加法運算，表示元素乘法運算，表示拼接運算；表示第k級可見光圖像特征提取過程中并行視覺mamba模塊輸出的中間特征，表示第k級紅外圖像特征提取過程中并行視覺mamba模塊輸出的中間特征；或，表示第k級可見光圖像特征提取過程中transformer模塊輸出的中間特征，第k級紅外圖像特征提取過程中transformer模塊輸出的中間特征；表示進(jìn)行特征融合后的第k級可見光圖像的中間特征，表示進(jìn)行特征融合后的第k級紅外圖像的中間特征；

48、所述差分放大子模塊用于完成如下操作：

49、

50、

51、其中，表示進(jìn)行差分放大后的第k級可見光圖像的中間特征，表示進(jìn)行差分放大后的第k級紅外圖像的中間特征。

52、進(jìn)一步地，通道差分放大融合特征提取模塊包括級聯(lián)的特征融合子模塊、差分放大子模塊和通道加權(quán)模塊，所述通道加權(quán)模塊用于完成如下操作：

53、

54、其中，表示進(jìn)行通道加權(quán)后的第五級可見光圖像的中間特征，表示進(jìn)行通道加權(quán)后的第五級紅外圖像的中間特征，表示sigmoid激活函數(shù)，其中它將每個元素都壓縮到?(0,?1)，h和w分別表示特征的高度和寬度，i表示特征中的行索引，j表示特征中的列索引；

55、所述五級可見光圖像特征表示為：

56、

57、所述五級紅外圖像特征表示為：

58、。

59、進(jìn)一步地，位置差分放大融合特征提取模塊包括級聯(lián)的特征融合子模塊、差分放大子模塊和位置加權(quán)模塊，所述位置加權(quán)模塊用于完成如下操作：

60、

61、其中，表示進(jìn)行位置加權(quán)后的第六級可見光圖像的中間特征，表示進(jìn)行位置加權(quán)后的第六級紅外圖像的中間特征，表示sigmoid激活函數(shù)，其中它將每個元素都壓縮到?(0,?1)，w表示特征的寬度，i表示特征中的行索引，j表示特征中的列索引；

62、所述六級可見光圖像特征表示為：

63、

64、所述六級紅外圖像特征表示為：

65、。

66、進(jìn)一步地，角落差分放大融合特征提取模塊包括級聯(lián)的特征融合子模塊、差分放大子模塊和角落加權(quán)模塊，所述角落加權(quán)模塊用于完成如下操作：

67、

68、其中，表示進(jìn)行角落加權(quán)后的第七級可見光圖像的中間特征，表示進(jìn)行角落加權(quán)后的第七級紅外圖像的中間特征，b和c分別為樣本和通道的索引，i表示特征中的行索引，j表示特征中的列索引，rows和cols分別為角的行位置和列位置；

69、所述七級可見光圖像特征表示為：

70、

71、所述七級紅外圖像特征表示為：

72、。

73、進(jìn)一步地，所述二級可見光圖像特征表示為：

74、

75、所述二級紅外圖像特征表示為：

76、

77、所述四級可見光圖像特征表示為：

78、

79、所述四級紅外圖像特征表示為：

80、?。

81、本技術(shù)提供的一種利用mamba的紅外與可見光圖像融合方法，該方法構(gòu)建了一個混合型特征編碼器，該編碼器結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)（cnn）的局部特征提取優(yōu)勢與transformer的全局注意力機(jī)制，實現(xiàn)了對淺層特征的有效捕獲。在此基礎(chǔ)上，設(shè)計了一套深層的特征編碼器，依托并行視覺mamba架構(gòu)，進(jìn)一步增強(qiáng)了特征表示的能力。綜合多種公開數(shù)據(jù)集的廣泛實驗結(jié)果顯示，本發(fā)明在定性與定量評估方面均顯著優(yōu)于多種現(xiàn)有先進(jìn)方法。此外，本發(fā)明展現(xiàn)出了強(qiáng)大的泛化能力，能夠在無需額外微調(diào)的情況下適應(yīng)各種分辨率的紅外與可見光圖像融合任務(wù)。

82、上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點能夠更明顯易懂，以下特舉本發(fā)明的具體實施方式。