本發(fā)明屬于圖像處理，特別是涉及一種基于顯著機制和多層注意感知的偏振和強度圖像融合方法。

背景技術(shù)：

1、強度圖像是如今被人們廣泛且大量采用的圖像，其通過捕獲對象的反射光和折射光，可以獲取清晰且豐富的場景信息。然而，強度圖像傾向描述對象的反射率與折射率，且易受光照影響的性質(zhì)使其往往忽略對象的一些細微信息，例如物體的表面粗糙度，表面紋理等。相較于強度圖像，偏振圖像則是基于對象的固有偏振性質(zhì)對其進行描述，不受光照強度的影響。偏振成像技術(shù)通過偏振成像設(shè)備捕獲多角度的強度信息，對這些多角度強度信息進行綜合分析可得到極化信息，極化信息常用stokes矢量表述。stokes矢量一般分為三類，分別用，以及進行表述。對三類極化信息再進行分析計算可進一步獲取線性偏振度(degree?of?linear?polarization,?dolp)圖像。線性偏振度圖像可描述對象的偏振特性，捕獲對象的形狀，粗糙度和紋理等細微特征。綜上所述，偏振圖像和強度圖像可從兩種不同的角度獲取對象信息，為彼此提供所需的互補信息?；诖?，偏振圖像和強度圖像的融合可以獲得信息量更豐富，表現(xiàn)力更強的圖像，為復雜場景下各類高級視覺任務(wù)性能的提升提供可靠的幫助。

2、在過去的幾十年間，圖像融合領(lǐng)域內(nèi)的學者們提出了多種圖像融合方法，這些方法根據(jù)所采用機理和網(wǎng)絡(luò)的不同可分為傳統(tǒng)方法和深度學習方法。基于多尺度變換的方法、基于稀疏表示的方法和基于子空間的方法是三類常用的傳統(tǒng)融合方法?；诙喑叨茸儞Q的方法在圖像融合領(lǐng)域被廣泛采用，其通過變換分解和制定融合規(guī)則實現(xiàn)對源圖像特征的提取以及特征操作，該類方法的性能也主要受到變換方式和融合規(guī)則的影響。基于稀疏表示的方法從圖像中學習獲得一個完備字典，再利用完備字典和特定編碼生成結(jié)果圖像。而基于子空間的方法旨在將輸入的高維圖像映射到低維子空間中，排除源圖像中的冗余信息，從而更有利提取特征信息。雖然這些傳統(tǒng)方法在大多數(shù)情況下都可以取得相對理想的融合結(jié)果，但仍存在一些缺陷。傳統(tǒng)的圖像融合方法往往對于不同模態(tài)的源圖像采用相同的處理方法，這使得源圖像中的互補特征無法得到充分的提取。此外，傳統(tǒng)方法中手動設(shè)計的融合規(guī)則和日益增長的特征變換和特征表述的復雜度使其難以滿足如今圖像融合的需求。

3、近期，基于深度學習的方法因其強大的特征表示和特征學習能力在多個計算視覺領(lǐng)域取得了出色的表現(xiàn)。因此，圖像融合領(lǐng)域的學者們也逐漸將深度學習廣泛應(yīng)用于圖像融合的特征提取，特征融合等多個步驟中。根據(jù)所采用的網(wǎng)絡(luò)框架的不同，基于深度學習的圖像融合方法可以主要分為以下三類：基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional?neuralnetwork,?cnn)的方法，基于自編碼器(auto-encoder,?ae)的方法以及基于生成對抗網(wǎng)絡(luò)(generative?adversarial?network,?gan)的方法。卷積神經(jīng)網(wǎng)絡(luò)強大的表征學習能力使得基于卷積神經(jīng)網(wǎng)絡(luò)的方法可以有效地提取并重構(gòu)特征信息。基于自編碼器的方法通過訓練編碼器和解碼器實現(xiàn)特征的提取和融合圖像的重構(gòu)，該類方法通常采用特定的融合規(guī)則對提取特征進行融合操作?；谏蓪咕W(wǎng)絡(luò)的方法則通過其生成器和鑒別器之間的對抗博弈機制可直接生成所需的融合圖像。為提升融合性能，有學者提出了一種由編碼器層、融合層和解碼器層組成的深度網(wǎng)絡(luò)，并采用自學習策略來優(yōu)化偏振與強度圖像的融合問題。還有學者提出了一種基于transformer與cnn相結(jié)合的深度網(wǎng)絡(luò)來提高偏振與強度圖像融合的性能。隨后，有學者進一步提出了一種基于像素信息引導和注意機制的無監(jiān)督偏振與強度圖像融合網(wǎng)絡(luò)。

4、雖圖像融合在近些年來得到了迅猛發(fā)展，但現(xiàn)有的圖像融合方法大多聚焦與其他模態(tài)圖像之間的融合，例如多焦點圖像融合，多曝光圖像融合以及紅外與可見光圖像融合，面向偏振與強度圖像融合的融合方法相對較少。上述所提到的偏振與強度圖像的融合方法雖一定程度上可以實現(xiàn)較為理想的融合效果，但仍存在急需克服的問題?，F(xiàn)有的融合方法往往忽略不同模態(tài)圖像之間的差異性，采用相同的處理方法或網(wǎng)絡(luò)對不同模態(tài)的源圖像進行特征提取，導致無法充分利用源圖像中的互補信息。其次，簡單的融合操作無法充分挖掘所提取的源圖像特征中的意義信息，甚至可能引入冗余信息。例如偏振圖像中的部分低強度區(qū)域所表現(xiàn)的信息量很少，這些信息匱乏的區(qū)域在融合過程中會對最終生成的融合圖像的質(zhì)量產(chǎn)生消極影響。此外，目前應(yīng)用于融合網(wǎng)絡(luò)訓練的損失函數(shù)通常只基于源圖像和最終所得的融合圖像進行數(shù)理運算，而忽視了網(wǎng)絡(luò)所能提取的不同深度的特征對于損失函數(shù)在反向傳播，指導網(wǎng)絡(luò)訓練過程中的影響，導致訓練得到的網(wǎng)絡(luò)對于特征信息的敏感度不足。同時，損失函數(shù)未考慮不同模態(tài)的源圖像的強度信息及紋理信息之間的差異性，在計算過程未對不同的損失進行合理的權(quán)重分配，導致網(wǎng)絡(luò)的融合效果受到影響。

技術(shù)實現(xiàn)思路

1、針對以上技術(shù)問題，本發(fā)明提供一種基于顯著機制和多層注意感知的偏振和強度圖像融合方法。

2、本發(fā)明解決其技術(shù)問題采用的技術(shù)方案是：

3、基于顯著機制和多層注意感知的偏振和強度圖像融合方法，所述方法包括以下步驟：

4、s100：獲取偏振和強度圖像數(shù)據(jù)集，搭建融合網(wǎng)絡(luò)，融合網(wǎng)絡(luò)包括密集連接特征提取編碼器、多層遞進注意感知融合模塊和圖像重構(gòu)解碼器；

5、s200：將數(shù)據(jù)集中的偏振與強度圖像同時輸入融合網(wǎng)絡(luò)，經(jīng)由密集連接特征提取編碼器得到相應(yīng)的偏振圖像特征和強度圖像特征；

6、s300：將提取得到的偏振圖像特征和強度圖像特征輸入多層遞進注意感知融合模塊進行圖像融合操作，輸出經(jīng)過模塊內(nèi)部三層連續(xù)的注意感知引導后的融合特征；

7、s400：將偏振圖像饋送進偏振顯著目標突出機制中，基于強度顯著性和空間緊湊性挖掘偏振圖像中高亮度的極化顯著目標，得到偏振極化目標顯著圖；

8、s500：對融合模塊輸出的融合特征和偏振極化目標顯著圖進行拼接操作，將拼接后得到的特征輸入到圖像重構(gòu)解碼器中，經(jīng)由多層卷積處理重構(gòu)得到融合圖像；

9、s600：基于融合特征、融合圖像、偏振圖像、強度圖像、偏振圖像特征和強度圖像特征和基于深度特征圖的損失函數(shù)對融合網(wǎng)絡(luò)進行訓練，當基于深度特征圖的損失函數(shù)收斂時，得到訓練好的融合網(wǎng)絡(luò)，基于訓練好的融合網(wǎng)絡(luò)進行實時偏振和強度圖像融合。

10、優(yōu)選地，s200中密集連接特征提取編碼器包括一個卷積層以及二個的密集塊，卷積層以relu作為自身的激活函數(shù)，密集塊包括三個連續(xù)的卷積層，其中每個卷積層的輸入是前一個卷積的輸出和之前所有卷積層的輸出的拼接結(jié)果，偏振圖像和強度圖像分別輸入至密集連接特征提取編碼器得到相應(yīng)的偏振圖像特征和強度圖像特征。

11、優(yōu)選地，s300中多層遞進注意感知融合模塊由三個空間-通道注意感知模塊相連接構(gòu)成，偏振圖像特征和強度圖像特征進行拼接后輸入第一個空間-通道注意感知模塊，第一個空間-通道注意感知模塊的輸出分別與偏振圖像特征和強度圖像特征進行逐元素相乘后得到的特征再拼接，輸入第二個空間-通道注意感知模塊，第二個空間-通道注意感知模塊的輸出分別與偏振圖像特征和強度圖像特征進行逐元素相乘后得到的特征再拼接，輸入第三個空間-通道注意感知模塊，第三個空間-通道注意感知模塊的輸出分別與偏振圖像特征和強度圖像特征進行逐元素相乘后得到的特征再拼接，得到融合特征。

12、優(yōu)選地，每個通道-空間注意感知模塊包括通道注意力機制和空間注意力機制，輸入特征輸入至通道注意力機制后在通道維度上分別進行最大池化和平均池化后得到的特征再饋送到多層感知機中學習，多層感知機輸出的特征進行逐元素相加，再與輸入特征進行逐元素相乘后得到通道注意力特征，將通道注意力特征輸入至空間注意機制，在空間維度上分別進行最大池化和平均池化后得到的特征進行拼接后，再進行卷積操作，得到的特征再與通道注意力特征進行逐元素相乘后得到通道-空間注意力特征，再通過sigmoid激活函數(shù)轉(zhuǎn)化為與輸入特征維度一致的通道-空間注意權(quán)重圖。

13、優(yōu)選地，s300中多層遞進注意感知融合模塊的具體計算過程表示為：

14、；

15、；

16、；

17、其中，表示特征拼接操作，表示逐元素相乘運算，表示饋送到通道-空間注意感知模塊中的輸入特征，，第一層的輸入特征即由不同模態(tài)源圖像的提取特征拼接得到，表示每一層得到的融合特征，最后一層得到的表示該融合模塊最終輸出的融合特征。

18、優(yōu)選地，s400包括：

19、s410：通過構(gòu)建閾值截斷函數(shù)來獲取偏振圖像的強度顯著圖；

20、s420：利用簡單線性迭代聚類方法將顯著圖劃分為不同的區(qū)域，分別計算各區(qū)域的中心偏差；

21、s430：在獲取各個分割區(qū)域的中心偏差后，使用半高斯分布對各個分割區(qū)域的中心偏差進行量化；

22、s440：利用空間緊湊性計算獲取的空間緊湊圖與強度顯著圖相結(jié)合可得到最終的偏振極化目標顯著圖。

23、優(yōu)選地，s410具體為：

24、；

25、其中，表示強度顯著圖中位置為(x,y)的點的像素強度，表示偏振圖像中位置為(x,y)的點的像素強度，則表示截斷閾值；

26、s420具體為：

27、；

28、；

29、；

30、；

31、；

32、其中，表示步長，和分別表示圖像中像素點的總數(shù)和聚類中心點的數(shù)量，代表像素點與聚類中心點之間的顏色距離，表示像素點與聚類中心點之間的空間距離，代表最終的距離度量，為固定權(quán)衡參數(shù)，用于權(quán)衡顏色相似度和空間接近度之間的相對重要性，表示分割出的區(qū)域的中心偏差，代表該區(qū)域?qū)τ趚方向的質(zhì)心，代表該區(qū)域?qū)τ趛方向的質(zhì)心，和分別代表偏振圖像的高和寬；

33、s430具體為：

34、；

35、其中，表示當前分割區(qū)域的空間緊湊圖，表征了當前分割區(qū)域內(nèi)的空間結(jié)構(gòu)信息，表示空間緊湊性衡定參數(shù)；

36、s440具體為：

37、；

38、其中，表示最終輸出的偏振極化目標顯著圖，和分別表示對應(yīng)區(qū)域的強度顯著圖和空間緊湊圖。

39、優(yōu)選地，s500中圖像重構(gòu)解碼器包括四個連續(xù)的卷積層，每個卷積層以relu作為激活函數(shù)，每層卷積的輸出通道分別為64，32，16，1，從多層遞進注意感知融合模塊輸出的融合特征經(jīng)由圖像重構(gòu)解碼器重構(gòu)為具有顯著極化目標和豐富且清晰的紋理細節(jié)的單一通道融合圖像。

40、優(yōu)選地，s600中基于深度特征圖的損失函數(shù)包括強度-紋理聯(lián)合損失函數(shù)和感知損失函數(shù)，具體為：

41、；

42、其中，為用于平衡兩種不類別的組成損失函數(shù)的超參數(shù)，為強度-紋理聯(lián)合損失函數(shù)，為感知損失函數(shù)。

43、優(yōu)選地，強度-紋理聯(lián)合損失函數(shù)具體為：

44、；

45、；

46、；

47、；

48、；

49、；

50、其中，表示指數(shù)函數(shù)運算，和表示由特征提取編碼器提取的偏振圖像的第層的特征以及強度圖像的第層的特征，和分別代表偏振圖像和強度圖像，為倍數(shù)因子，用于縮小或放大源圖像像素強度之家的差異，，為紋理損失中的平衡參數(shù)，為強度損失中的平衡參數(shù)，和表示偏振圖像和強度圖像的中間梯度信息量化指標，，，和表示對應(yīng)的第層的特征的長、寬以及通道數(shù)，，和表示對應(yīng)源圖像的長、寬以及通道數(shù)，表示sobel梯度算子，為平衡強度損失與紋理損失的超參數(shù)；

51、感知損失函數(shù)具體為：

52、；

53、其中，為多層遞進注意感知融合模塊所輸出的融合特征，n表示偏振圖像和強度圖像的總層數(shù)。

54、上述基于顯著機制和多層注意感知的偏振和強度圖像融合方法，通過多層遞進注意力感知融合模塊基于更合理的注意力權(quán)重進行特征融合，可充分挖掘源圖像特征中的價值信息，同時避免過多冗余信息對融合圖像造成的消極影響，使得融合圖像保留了理想的強度信息和豐富清晰的紋理細節(jié)；通過偏振顯著目標突出機制可更充分地挖掘及利用偏振圖像中的極化顯著信息，增強融合結(jié)果中偏振極化目標的顯著度，從而提高融合圖像的整體對比度；通過新穎的基于深度特征圖的損失函數(shù)指導融合網(wǎng)絡(luò)訓練，提升了融合網(wǎng)絡(luò)對于源圖像中信息特征的敏感度，避免部分特征信息的流失；基于偏振顯著目標突出機制和多層遞進注意力感知可實現(xiàn)理想的偏振極化信息和紋理細節(jié)的融合效果，獲得高質(zhì)量的融合圖像。