本發(fā)明涉及圖像信息處理技術(shù)和計算機世界，具體涉及紅外圖像與可見光圖像融合方法、系統(tǒng)、設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、隨著科技的不斷發(fā)展，圖像處理技術(shù)在各個領(lǐng)域得到了廣泛應(yīng)用。然而，傳統(tǒng)的單一類型圖像傳感器由于其硬件設(shè)計和成像方式的限制，無法全面捕獲場景的全部信息。為了解決這一問題，圖像融合技術(shù)應(yīng)運而生。圖像融合技術(shù)通過結(jié)合多種成像模式，能夠從源圖像中提取互補信息，生成包含豐富信息的復(fù)合圖像。

2、其中，紅外圖像與可見光圖像的融合是圖像融合技術(shù)中最為常見的一種應(yīng)用。紅外傳感器能夠捕獲目標(biāo)的熱輻射信息，生成紅外圖像。這種成像方式不易受到天氣和光照條件的影響。然而，紅外圖像在清晰度、邊緣結(jié)構(gòu)和噪聲等方面存在一些不足之處。相對而言，可見光圖像則通過反射可見光進行成像，符合人類的視覺感知，能夠提供更高的分辨率和豐富的細節(jié)紋理。但可見光圖像的質(zhì)量受天氣條件的影響較大，尤其是在光照不足或大霧天氣下，其辨識度往往較低。

3、紅外與可見光圖像的融合能夠吸收兩種模態(tài)圖像中的互補特征，克服單一傳感器的局限性，提供更豐富的空間細節(jié)和信息，進而輔助后續(xù)的圖像處理任務(wù)。在近年來，紅外與可見光圖像融合算法已成為計算機視覺領(lǐng)域的一項關(guān)鍵技術(shù)，并廣泛應(yīng)用于圖像分割、目標(biāo)檢測、目標(biāo)跟蹤等下游任務(wù)中。

4、目前，紅外與可見光圖像融合算法主要可以分為兩大類：傳統(tǒng)圖像融合方法和基于深度學(xué)習(xí)的圖像融合算法。傳統(tǒng)圖像融合方法包括多尺度變換、小波變換、稀疏表示、子空間分析和顯著性變換等。這些方法主要依賴于手工設(shè)計的分解規(guī)則，往往只能捕獲源圖像中的有限特征，難以充分展現(xiàn)輸入圖像的豐富信息。例如，多尺度分解方法主要側(cè)重于局部高頻特征，往往難以捕捉大尺度的低頻信息，導(dǎo)致融合圖像在整體連貫性上存在不足。此外，小波變換在預(yù)處理過程中可能會導(dǎo)致一定的數(shù)據(jù)丟失，從而無法充分利用全局信息。

5、基于深度學(xué)習(xí)的圖像融合方法則近年來得到了迅猛發(fā)展，主要分為基于cnn（卷積神經(jīng)網(wǎng)絡(luò)）、ae（自動編碼器）、gan（生成對抗網(wǎng)絡(luò)）以及transformer（深度學(xué)習(xí)模型）等方法。這些方法通過深度學(xué)習(xí)框架的優(yōu)勢，能夠在特征提取和建模方面表現(xiàn)出色。盡管這些框架可以生成令人滿意的融合結(jié)果，但它們?nèi)匀淮嬖谝恍┚窒扌?。例如，cnn由于感受野的限制，難以捕捉非相鄰像素之間的信息交互；而gan雖然在提升融合圖像質(zhì)量方面表現(xiàn)突出，但常常偏重于保留可見光圖像的紋理細節(jié)，可能導(dǎo)致紅外圖像的溫度顯著性信息丟失。

6、綜上所述，雖然基于深度學(xué)習(xí)的圖像融合方法可以生成令人滿意的融合結(jié)果，但是仍然存在一些局限性。

技術(shù)實現(xiàn)思路

1、本發(fā)明解決了基于深度學(xué)習(xí)的圖像融合方法存在一些局限性的問題。

2、本發(fā)明所述的一種紅外圖像與可見光圖像融合方法，具體為：

3、紅外圖像與可見光圖像分別輸入卷積嵌入模塊進行特征提取，分別獲得紅外拼接特征和可見光拼接特征，其中，一路紅外拼接特征和可見光拼接特征共同輸入雙模態(tài)交互殘差融合模塊進行特征融合，輸出初始尺度的雙模態(tài)混合特征；

4、另一路紅外拼接特征和可見光拼接特征分別輸入多級聯(lián)混合全局局部特征提取模塊進行特征提取模塊，分別輸出第一尺度的紅外拼接特征、第二尺度的紅外拼接特征、第三尺度的紅外拼接特征、第一尺度的可見光拼接特征、第二尺度的可見光拼接特征和第三尺度的可見光拼接特征；

5、第一尺度的紅外拼接特征與第一尺度的可見光拼接特征共同輸入雙模態(tài)交互殘差融合模塊進行特征融合，輸出第一尺度的雙模態(tài)混合特征；第二尺度的紅外拼接特征與第二尺度的可見光拼接特征共同輸入雙模態(tài)交互殘差融合模塊進行特征融合，輸出第二尺度的雙模態(tài)混合特征；第三尺度的紅外拼接特征與第三尺度的可見光拼接特征共同輸入雙模態(tài)交互殘差融合模塊進行特征融合，輸出第三尺度的雙模態(tài)混合特征；

6、第三尺度的雙模態(tài)混合特征輸入圖像重建模塊，輸出重建特征圖；重建特征圖與第二尺度的雙模態(tài)混合特征共同輸入雙模態(tài)交互殘差融合模塊進行特征融合，再輸入圖像重建模塊，輸出重建特征圖；重建特征圖與第一尺度的雙模態(tài)混合特征共同輸入雙模態(tài)交互殘差融合模塊進行特征融合，再輸入圖像重建模塊，輸出重建特征圖；重建特征圖與初始尺度的雙模態(tài)混合特征共同輸入雙模態(tài)交互殘差融合模塊進行特征融合，再輸入圖像重建模塊，輸出重建特征圖；

7、重建特征圖依次經(jīng)過上采樣、多個卷積層、激活函數(shù)以及拼接的操作，輸出融合后的圖像。

8、進一步地，在本發(fā)明的一個實施例中，所述的卷積嵌入模塊，具體為：

9、圖像分為兩路，一路圖像依次輸入卷積層、歸一化、激活函數(shù)以及展平的操作后，并將通道維度與展平后的空間維度進行交換，輸出局部特征圖；

10、另一路圖像輸入patch?embedding，并將通道維度與展平后的空間維度進行交換后，輸入位置編碼，輸出全局特征圖；

11、局部特征圖和全局特征圖進行逐元素相加，輸出特征圖。

12、進一步地，在本發(fā)明的一個實施例中，所述的混合全局局部特征提取模塊，具體為：

13、圖像分為兩路，一路圖像依次進行重塑，輸出特征圖，特征圖進行特征提取后，輸入多級聯(lián)局部特征提取模塊進行特征提取后，再次進行重塑，輸出局部特征圖；

14、另一路圖像進行重建，輸入一維卷積層后，再次進行重塑，輸出特征圖，特征圖輸入多頭注意力，輸出全局特征圖；

15、局部特征圖和全局特征圖進行逐元素相加，輸出混合全局局部特征圖。

16、進一步地，在本發(fā)明的一個實施例中，所述的特征圖進行特征提取，具體為：

17、特征圖分為兩路，一路特征圖輸入殘差塊，另一路特征圖輸入二維卷積層，將經(jīng)過殘差塊的一路特征圖和經(jīng)過二維卷積層的另一路特征圖進行逐元素相加。

18、進一步地，在本發(fā)明的一個實施例中，所述的局部特征提取模塊進行特征提取，具體為：

19、圖像依次輸入多級聯(lián)卷積和多級聯(lián)瓶頸層進行特征提取。

20、進一步地，在本發(fā)明的一個實施例中，所述的雙模態(tài)交互殘差融合模塊，具體為：

21、輸入雙模態(tài)交互殘差融合模塊的圖像至少包括兩種，分別為第一種圖像和第二種圖像；

22、第一種圖像和第二種圖像分別進行全局平均池化后，分別輸出第一種特征圖和第二種特征圖，分別對第一種特征圖和第二種特征圖進行注意力分配，分別輸出第一權(quán)重和第二權(quán)重，第一權(quán)重與第一種特征圖進行逐元素乘法，輸出逐元素乘法后的第一種特征圖，第二權(quán)重與第二種特征圖進行逐元素乘法，輸出逐元素乘法后的第二種特征圖，逐元素乘法后的第一種特征圖和逐元素乘法后的第二種特征圖進行逐元素相加后，輸入多聯(lián)級卷積層后，輸出特征圖，特征圖與第一種圖像、第二種圖像進行逐元素相加，輸出特征融合后的圖像。

23、進一步地，在本發(fā)明的一個實施例中，所述的圖像重建模塊，具體為：

24、圖像輸入卷積層進行特征提取后，輸出特征圖，特征圖依次經(jīng)過層歸一化、多頭注意力的操作，輸出經(jīng)過多頭注意力操作后的特征圖，經(jīng)過多頭注意力操作的特征圖與特征圖進行逐元素相加后，依次經(jīng)過層歸一化、多層感知機制的操作，輸出經(jīng)過多層感知機制操作的特征圖，經(jīng)過多層感知機制操作的特征圖與頭注意力操作的特征圖進行逐元素相加。

25、本發(fā)明所述的一種紅外圖像與可見光圖像融合系統(tǒng)，具體為：

26、紅外圖像與可見光圖像分別輸入卷積嵌入模塊進行特征提取，分別獲得紅外拼接特征和可見光拼接特征，其中，一路紅外拼接特征和可見光拼接特征共同輸入雙模態(tài)交互殘差融合模塊進行特征融合，輸出初始尺度的雙模態(tài)混合特征；

27、另一路紅外拼接特征和可見光拼接特征分別輸入多級聯(lián)混合全局局部特征提取模塊進行特征提取模塊，分別輸出第一尺度的紅外拼接特征、第二尺度的紅外拼接特征、第三尺度的紅外拼接特征、第一尺度的可見光拼接特征、第二尺度的可見光拼接特征和第三尺度的可見光拼接特征；

28、第一尺度的紅外拼接特征與第一尺度的可見光拼接特征共同輸入雙模態(tài)交互殘差融合模塊進行特征融合，輸出第一尺度的雙模態(tài)混合特征；第二尺度的紅外拼接特征與第二尺度的可見光拼接特征共同輸入雙模態(tài)交互殘差融合模塊進行特征融合，輸出第二尺度的雙模態(tài)混合特征；第三尺度的紅外拼接特征與第三尺度的可見光拼接特征共同輸入雙模態(tài)交互殘差融合模塊進行特征融合，輸出第三尺度的雙模態(tài)混合特征；

29、第三尺度的雙模態(tài)混合特征輸入圖像重建模塊，輸出重建特征圖；重建特征圖與第二尺度的雙模態(tài)混合特征共同輸入雙模態(tài)交互殘差融合模塊進行特征融合，再輸入圖像重建模塊，輸出重建特征圖；重建特征圖與第一尺度的雙模態(tài)混合特征共同輸入雙模態(tài)交互殘差融合模塊進行特征融合，再輸入圖像重建模塊，輸出重建特征圖；重建特征圖與初始尺度的雙模態(tài)混合特征共同輸入雙模態(tài)交互殘差融合模塊進行特征融合，再輸入圖像重建模塊，輸出重建特征圖；

30、重建特征圖依次經(jīng)過上采樣、多個卷積層、激活函數(shù)以及拼接的操作，輸出融合后的圖像。

31、本發(fā)明所述的一種電子設(shè)備，包括處理器、通信接口、存儲器和通信總線，其中，處理器，通信接口，存儲器通過通信總線完成相互間的通信；

32、存儲器，用于存放計算機程序；

33、處理器，用于執(zhí)行存儲器上所存放的程序時，實現(xiàn)上述方法所述的方法步驟。

34、本發(fā)明所述的一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)內(nèi)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述方法所述的方法步驟。

35、本發(fā)明解決了基于深度學(xué)習(xí)的圖像融合方法存在一些局限性的問題。具體有益效果包括：

36、1、本發(fā)明所述的紅外圖像與可見光圖像融合方法，現(xiàn)有的深度學(xué)習(xí)的圖像融合方法存在一些局限性的問題，旨在解決當(dāng)前紅外與可見光融合過程中的邊緣信息丟失、偽影引入、以及全局語義信息缺失等問題。為解決上述技術(shù)問題，本發(fā)明設(shè)計了一種用于紅外與可見光圖像融合的混合局部全局特征多尺度雙流編碼器網(wǎng)絡(luò)，充分考慮了紅外與可見光模態(tài)的特異性和共性特征，并設(shè)計了一個特征交互模塊，以實現(xiàn)多尺度特征的提取與融合；

37、2、本發(fā)明所述的紅外圖像與可見光圖像融合方法，基于多尺度雙流編碼器的網(wǎng)絡(luò)架構(gòu)，采取混和局部細節(jié)信息、全局語義雙模態(tài)信息和多尺度特征信息融合的方法，有效保留了多尺度雙流編碼器所提取的不同尺度特征信息；

38、本發(fā)明所述的紅外圖像與可見光圖像融合方法，通過將兩種不同模態(tài)的圖像信息進行融合，提升整體場景感知能力，廣泛應(yīng)用于目標(biāo)檢測、監(jiān)控、自動駕駛等領(lǐng)域。