本發(fā)明涉及圖像處理，具體地講，涉及一種基于細節(jié)增強和雙分支特征融合的圖像融合方法。

背景技術(shù)：

1、近年來，醫(yī)學(xué)成像技術(shù)不斷發(fā)展，在現(xiàn)代醫(yī)療診斷中發(fā)揮的作用愈發(fā)重要。根據(jù)醫(yī)學(xué)影像表征信息的不同，大致可分為兩類：結(jié)構(gòu)性影像和功能性影像。結(jié)構(gòu)性影像，如computer?tomography?(ct)?和?magnetic?resonance?imaging?(mri)等，往往具有較高的分辨率，能夠清晰地反映人體相關(guān)器官的結(jié)構(gòu)信息。功能性影像，如positron?emissioncomputed?tomography?(pet)和single-photon?emission?computed?tomography?(spect)等，則主要提供人體相關(guān)器官的代謝信息和功能狀態(tài)等情況。

2、然而，在臨床應(yīng)用中，單模態(tài)的醫(yī)學(xué)影像雖然能提供獨特的生物醫(yī)學(xué)信息，但都有其局限性，醫(yī)學(xué)信息往往不夠全面。醫(yī)生往往需要綜合分析來自同一位置的多個模態(tài)醫(yī)學(xué)圖像進行醫(yī)學(xué)診斷。然而，僅靠人工對多個模態(tài)醫(yī)學(xué)圖像進行整合和分析，耗時費力，而且診斷精度往往不高。為了解決上述問題，多模態(tài)醫(yī)學(xué)圖像融合技術(shù)應(yīng)運而生，通過將多種不同模態(tài)的信息有效地整合起來，以提供更全面、更準確的診斷和治療指導(dǎo)，成為醫(yī)學(xué)影像領(lǐng)域的重要研究方向之一。

3、目前，多模態(tài)醫(yī)學(xué)圖像融合方法在醫(yī)療領(lǐng)域的應(yīng)用越來越廣泛。通常來說，大多數(shù)多模態(tài)醫(yī)學(xué)圖像融合方法是在像素級別上進行研究的。根據(jù)技術(shù)領(lǐng)域的不同，醫(yī)學(xué)圖像融合方法可分為四類：基于sparse?representation?(sr-based)、基于deep?learning?(dl-based)、基于multi-scale?transform?(mst-based)和基于edge?preserving?filtering(epf-based)的方法。

4、稀疏表示方法主要基于字典學(xué)習(xí)和稀疏編碼等實現(xiàn)多模態(tài)醫(yī)學(xué)圖像的融合?；谙∈璞硎镜尼t(yī)學(xué)圖像融合不僅可以改善圖像的對比度和清晰度，還能夠增強圖像中目標的可識別性和定量分析能力?；谙∈璞硎镜尼t(yī)學(xué)圖像融合方法在字典選擇和稀疏編碼中依賴于數(shù)據(jù)的質(zhì)量和多樣性，同時需要處理計算復(fù)雜度和參數(shù)選擇的挑戰(zhàn)。此外，融合后的圖像質(zhì)量高度依賴于稀疏系數(shù)的合理融合策略。

5、dl-based的醫(yī)學(xué)圖像融合方法通常利用深度學(xué)習(xí)模型的強大特征提取能力，使用端到端的訓(xùn)練策略，以自動學(xué)習(xí)和融合不同模態(tài)的信息。然而，深度學(xué)習(xí)模型通常較復(fù)雜，需要大量計算資源和高效的訓(xùn)練算法，這限制了其在臨床實踐中的廣泛應(yīng)用。此外，模型的泛化能力和穩(wěn)定性仍然是挑戰(zhàn)，特別是在面對不同設(shè)備采集的數(shù)據(jù)或不同病例類型時，融合效果可能不盡如人意。最后，深度學(xué)習(xí)模型的解釋性較差，難以解釋模型如何融合和處理不同模態(tài)的信息，這在醫(yī)學(xué)影像診斷和治療決策中可能會限制其應(yīng)用。

6、mst-based醫(yī)學(xué)圖像融合方法通常通過應(yīng)用不同尺度的變換技術(shù)，將多模態(tài)圖像轉(zhuǎn)換到統(tǒng)一的域中，再利用一定的融合規(guī)則對圖像信息進行整合。然而，mst-based醫(yī)療圖像融合方法依賴于事先選擇的變換類型和尺度，這可能導(dǎo)致信息損失或增加融合過程中的噪聲。其次，不同尺度變換的組合和參數(shù)設(shè)置對融合效果敏感，需要精細調(diào)整和優(yōu)化。此外，mst方法在處理不同模態(tài)圖像時，如何有效整合多尺度信息并避免偽影仍需進一步探索。

7、epf-based醫(yī)學(xué)圖像融合方法通常應(yīng)用保留圖像邊緣信息的濾波器對不同模態(tài)的圖像進行處理，然后將濾波后的圖像進行融合，以增強目標結(jié)構(gòu)的對比度和清晰度。這種方法能有效減少噪聲和偽影，并保持圖像中重要的結(jié)構(gòu)細節(jié)，適用于提高醫(yī)學(xué)圖像的診斷和分析能力。對于epf-based醫(yī)學(xué)圖像融合方法，濾波器參數(shù)的選擇對融合結(jié)果影響顯著，需要仔細調(diào)整以平衡保邊效果和融合質(zhì)量。其次，保邊濾波器可能會導(dǎo)致圖像細節(jié)的損失或模糊化，尤其是在復(fù)雜結(jié)構(gòu)或低對比度區(qū)域。此外，濾波器的計算復(fù)雜度較高，特別是對大尺寸醫(yī)學(xué)圖像的處理需要大量的計算資源和時間。

8、綜上所述，目前大多數(shù)醫(yī)療圖像融合方法未充分考慮反應(yīng)病變情況的圖像細節(jié)的影響，而且，epf-based醫(yī)學(xué)圖像融合方法往往只采用單一濾波方法，圖像濾波器的特征提取能力不足，保邊效果和融合質(zhì)量有待提高。

技術(shù)實現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題是提供一種基于細節(jié)增強和雙分支特征融合的圖像融合方法，以增強融合圖像細節(jié)信息，并有效保留醫(yī)學(xué)圖像中的能量和結(jié)構(gòu)顯著邊緣信息。

2、本發(fā)明采用如下技術(shù)方案實現(xiàn)發(fā)明目的：

3、一種基于細節(jié)增強和雙分支特征融合的圖像融合方法，其特征在于，包括：s1：圖像細節(jié)增強，采用引導(dǎo)濾波進行源圖像的細節(jié)增強；

4、s2：基于引導(dǎo)濾波和滾動濾波的雙分支特征融合；

5、采用基于引導(dǎo)濾波和滾動濾波的雙分支通道下引導(dǎo)圖像的選擇，亮特征圖、暗特征圖以及基礎(chǔ)圖像的提取和圖像的融合策略；

6、s21：引導(dǎo)圖的選擇；綜合考慮兩種濾波方法的特點，建立聯(lián)合引導(dǎo)濾波和滾動引導(dǎo)濾波的雙分支特征提取模型，提取更全面更具代表性的圖像特征；

7、s22：特征圖融合；

8、s221：對一個圖像而言，包含明亮的特征和黑暗的特征，將圖像分解為三部分：亮特征圖、暗特征圖和基礎(chǔ)圖像；

9、s222：在圖像分解的基礎(chǔ)上，分別融合兩個圖像的亮特征、暗特征以及基礎(chǔ)圖像，再將融合后的三部分進一步進行融合獲得最終的融合圖像；

10、s3：實驗結(jié)果及分析。

11、作為本技術(shù)方案的進一步限定，所述s1的具體流程為：

12、s11：給定 xg表示引導(dǎo)圖像， x表示源圖像即輸入圖像， y表示引導(dǎo)濾波后的輸出圖像；

13、對應(yīng)源圖像 x的任意一個位置 k處，二維濾波器窗口為 w k，窗口尺寸由(2 r+1)×(2 r-1)表示，其中 r代表窗口的邊長，對于一個以 k為中心的像素點 i，其線性關(guān)系可表示為下式：

14、（1）

15、其中： a k和 b k表示窗口中的線性常系數(shù)；

16、s12：由式（1）可以看出，該線性變換由線性系數(shù) a k和 b k決定，對上式等式兩端分別求梯度，可得：

17、（2）

18、由式（2）可知，輸出圖像的梯度與引導(dǎo)圖像的梯度呈線性關(guān)系， a k決定了梯度保留能力，可看作是輸出圖像梯度的自適應(yīng)調(diào)節(jié)因子，而 a k和 b k的取值由下式進行評估；

19、（3）

20、其中：表示正則化參數(shù)；

21、s13：根據(jù)最小二乘法，獲得最優(yōu)的線性系數(shù) a k和 b k，如下：

22、?（4）

23、?（5）

24、其中：和表示在窗口內(nèi)的均值和標準差；

25、表示窗口內(nèi)像素塊的總數(shù)；

26、表示窗口內(nèi)輸入圖像的均值；

27、通過對不同窗口下線性系數(shù)求均值，可得最終的輸出圖像的對應(yīng)像素如下：

28、?（6）

29、其中：；

30、；

31、表示 w的共軛；

32、s14：通過式（7）實現(xiàn)源圖像的細節(jié)增強；

33、（7）

34、其中：代表細節(jié)增強后的圖像；

35、表示增強系數(shù)，在本方法中取。

36、作為本技術(shù)方案的進一步限定，所述s21的具體流程為：

37、s211：對于引導(dǎo)濾波；

38、以輸入圖像的局部極小值圖作為引導(dǎo)圖像對輸入圖像進行濾波；

39、?（8）

40、其中：表示引導(dǎo)濾波；

41、 j表示當前的濾波模型尺度，?， n代表總的尺度數(shù)；

42、表示根據(jù)式（7）細節(jié)增強后的原始輸入圖像；

43、代表（ j-1）尺度下的局部極小值圖；

44、表示第 j個尺度下濾波器窗口尺寸；

45、不同尺度下圖像的局部極小值圖，可由下式獲得：

46、（9）

47、其中：表示圖像腐蝕算子；

48、代表第 j個尺度下的結(jié)構(gòu)元素對象；

49、代表 j尺度下的原始輸入圖像；

50、基于局部極大值圖作為引導(dǎo)圖像對式（8）中的進行進一步地濾波，如下：

51、（10）

52、其中：和分別表示引導(dǎo)濾波過程的輸入圖像和引導(dǎo)圖像；

53、代表的局部極大值圖，由下式得到：

54、（11）

55、其中：表示圖像膨脹算子；

56、s212：對于雙邊濾波；

57、給定輸入細節(jié)增強后的圖像和局部極值引導(dǎo)圖像，引導(dǎo)雙邊濾波的輸出可通過下式計算：

58、（12）

59、其中：表示雙邊濾波輸出圖像中像素 p的值；

60、表示歸一化因子；

61、表示所有與像素 p相關(guān)的像素位置的集合；

62、和分別代表細節(jié)增強后的圖像和局部極值引導(dǎo)圖像中像素 q的值；

63、表示雙邊濾波器的權(quán)重參數(shù)，由空間距離和像素值距離控制，可通過下式獲得：

64、（13）

65、其中：和分別表示空間域和像素域權(quán)重；

66、綜合考慮式（12）及（13），可將引導(dǎo)雙邊濾波的迭代過程歸納如下：

67、?（14）

68、其中：代表引導(dǎo)雙邊濾波；

69、 t表示迭代次數(shù)；

70、將式（14）中引導(dǎo)雙邊濾波器擴展到多個尺度，并以細節(jié)增強后的圖像的局部極小值圖作為引導(dǎo)圖像對細節(jié)增強后的圖像進行濾波，如下:

71、（15）

72、其中：表示當前的引導(dǎo)雙邊濾波模型尺度 j下的輸出圖像；

73、基于局部極大值圖作為引導(dǎo)圖像對式（15）中的進行進一步地濾波，如下：

74、?（16）

75、其中：和分別表示雙邊濾波過程的輸入和引導(dǎo)圖像；

76、代表的局部極大值圖。

77、作為本技術(shù)方案的進一步限定，所述s221的具體流程為：

78、對于雙分支融合模型，可通過式（17）及（18）依次從相鄰兩次濾波輸出圖像的差分圖像中獲得不同尺度下的亮特征圖和暗特征圖，如下：

79、?（17）

80、（18）

81、其中：和分別代表第 j個尺度下基于引導(dǎo)濾波獲得的亮特征圖和暗特征圖；

82、和則分別代表第 j個尺度下基于引導(dǎo)雙邊濾波得到的亮特征圖和暗特征圖；

83、將最后一個濾波器尺度 n下獲得的輸出圖像作為輸入圖像的低頻基礎(chǔ)圖像，其實現(xiàn)過程如下：

84、?（19）

85、其中：和分別代表基于引導(dǎo)濾波和引導(dǎo)雙邊濾波獲得的基礎(chǔ)圖像。

86、作為本技術(shù)方案的進一步限定，所述s222的具體流程為：

87、圖像高強度的高頻特征往往與圖像中突出的銳利特征相對應(yīng)，因此，基于每個尺度下兩個圖像中亮特征圖的元素最大值準則進行兩個圖像中亮特征圖的融合，過程如下：

88、（20）

89、其中：上標1和2表示兩個輸入圖片的索引；

90、代表基于引導(dǎo)濾波得到的兩個圖像的亮特征融合后的圖像；

91、是基于引導(dǎo)雙邊濾波得到的兩個圖像的亮特征融合后的圖像；

92、表示針對和融合后的亮特征圖融合圖像；

93、基于每個尺度下兩個圖像中暗特征圖的元素最小值準則進行兩個圖像中暗特征圖的融合，如下：

94、（21）

95、其中：和分別表示基于引導(dǎo)濾波和引導(dǎo)雙邊濾波得到的兩個圖像的暗特征融合后的圖像；

96、表示針對和融合后的亮特征圖融合圖像；

97、以局部極值圖為基礎(chǔ)進行引導(dǎo)濾波和引導(dǎo)雙邊濾波，得到的亮特征圖和暗特征圖往往代表性均不全面，因此，基于不同尺度下各圖像的熵值確定他們所占的權(quán)重，然后通過將各個尺度下亮特征和暗特征圖乘以相關(guān)的權(quán)重來增強融合圖像特征的全面性和代表性，各個尺度下亮特征圖和暗特征圖的整合策略如下：

98、?（22）

99、其中：和分別代表第 j個尺度亮特征圖和暗特征圖的權(quán)重；

100、和則分別表示所有尺度亮特征圖和暗特征圖融合后的特征；

101、和的計算方式如下：

102、（23）

103、其中：和分別表示和（）的熵值；

104、通過式（23）可看出，熵值最小的特征圖被賦予權(quán)重為1，而其他尺度下特征圖的權(quán)重均大于1，這使得大部分尺度下的亮特征圖和暗特征圖將會得到不同程度的增強；

105、為了在最終的融合圖像中保留大部分醫(yī)學(xué)圖像的基礎(chǔ)信息，采用元素最大值準則對兩個輸入圖像的基本圖像進行融合，如下式：

106、（24）

107、其中：和分別表示基于引導(dǎo)濾波和引導(dǎo)雙邊濾波得到的基礎(chǔ)圖像融合后的特征圖；

108、表示針對和融合后的基礎(chǔ)圖融合圖像；

109、分別表示基于引導(dǎo)濾波得到的兩個輸入圖片的基礎(chǔ)圖像；

110、別表示基于引導(dǎo)雙邊濾波得到的兩個輸入圖片的基礎(chǔ)圖像；

111、將分別通過式（22）及（24）得到的融合亮特征圖、暗特征圖和基礎(chǔ)圖像進行融合，得到兩個輸入圖像的最終融合結(jié)果，如式（25）所示：

112、?（25）

113、通過提出的雙分支特征融合策略，可顯著增強圖像的尖銳特征，并可保留源圖像的基本信息，最終獲得更全面、更具代表性的融合圖像。

114、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點和積極效果是：

115、本發(fā)明采用引導(dǎo)濾波對原始醫(yī)學(xué)圖像進行預(yù)處理，突出圖像中的重要細節(jié)，實現(xiàn)圖像的細節(jié)增強，提高融合效果和可視化效果。搭建了一種雙分支特征融合模型，采用局部極值圖作為引導(dǎo)，聯(lián)合引導(dǎo)濾波和雙邊濾波，增強圖像濾波器的特征提取能力，進一步提高融合圖像保邊效果和融合質(zhì)量。通過多模態(tài)腦部醫(yī)學(xué)圖像融合實驗，并與其他先進的方法進行對比，分別從定性和定量分析角度驗證了dedf方法的優(yōu)越性。