本發(fā)明屬于計(jì)算機(jī)圖像處理，尤其涉及一種基于無(wú)監(jiān)督的多聚焦圖像融合方法及其模型構(gòu)建方法。

背景技術(shù)：

1、近年來(lái)，圖像融合在數(shù)字圖像處理領(lǐng)域得到了突飛猛進(jìn)，這使得多聚焦圖像融合成為了圖像融合方面的一個(gè)重要課題。由于景深depth-of-field?(dof)的限制，光學(xué)鏡頭拍攝的圖片無(wú)法得到全部聚焦，只會(huì)在dof內(nèi)的物質(zhì)進(jìn)行聚焦。因此多聚焦圖像融合的目的是從不同聚焦情況的圖像中生成全聚焦圖像。

2、從提出多聚焦圖像融合開始，十幾年來(lái)有許多方法已經(jīng)被提出。這些方法大致分為三大類：變換域的方法、空間域的方法和深度學(xué)習(xí)的方法。變換域的方法主要是通過(guò)三個(gè)步驟進(jìn)行融合:用數(shù)學(xué)方法將源圖像變換到變換域，之后進(jìn)行融合最后逆變換。目前，已經(jīng)提出了許多基于變換域的方法，如稀疏表示方法、多尺度方法、基于梯度域的方法和混合方法?；诳臻g域的方法可進(jìn)一步劃分為三類：基于像素的方法，基于塊的方法和基于區(qū)域的方法。這樣方法是直接對(duì)像素或區(qū)域進(jìn)行處理，并使用線性或非線性的方法來(lái)融合多聚焦圖像?；谏疃葘W(xué)習(xí)的方法可以分為兩類：有監(jiān)督學(xué)習(xí)，無(wú)監(jiān)督學(xué)習(xí)。2017年首次提出了一種基于cnn的多焦點(diǎn)圖像融合方法。他們使用高斯濾波器生成不同模糊程度的合成圖像來(lái)訓(xùn)練一個(gè)兩類圖像分類網(wǎng)絡(luò)。通過(guò)使用這種監(jiān)督學(xué)習(xí)策略，網(wǎng)絡(luò)可以區(qū)分patch是否在焦點(diǎn)上。之后densefuse采用無(wú)監(jiān)督編碼器-解碼器網(wǎng)絡(luò)提取圖像的深度特征，設(shè)計(jì)范數(shù)融合策略將兩個(gè)特征映射融合，然后解碼器利用融合特征得到融合圖像。再后來(lái)sesf-fuse提出了在多聚焦任務(wù)中，真正重要的是特征梯度，而不是特征強(qiáng)度，并使用了進(jìn)行特征梯度的計(jì)算。主要基于圖像的頻率分布，通過(guò)水平和垂直方向的頻率變化來(lái)度量圖像的清晰度。它反映了整個(gè)圖像的空間細(xì)節(jié)程度，頻率越高，表明圖像的細(xì)節(jié)越多，圖像越清晰，但是對(duì)于圖像模糊對(duì)比度降低時(shí)，就沒有較好的反應(yīng)能力。由于不同景深的物體，都存在有部分語(yǔ)義特征，且目前無(wú)監(jiān)督的方法大部分都使用了細(xì)節(jié)分支來(lái)單獨(dú)提取圖像的細(xì)節(jié)特征然后進(jìn)行圖像重建，這樣就忽視了語(yǔ)義特征在多聚焦圖像融合領(lǐng)域的作用。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)上述問題，本發(fā)明第一方面提供了一種基于無(wú)監(jiān)督的多聚焦圖像融合模型構(gòu)建方法，包括以下步驟：

2、步驟1，收集并獲取大量的原始全聚焦圖像；

3、步驟2，對(duì)于所獲得的原始全聚焦圖像進(jìn)行預(yù)處理，所述預(yù)處理包括灰度轉(zhuǎn)換，并將得到的灰色圖像歸一化得到圖像張量，構(gòu)建訓(xùn)練集和測(cè)試集；

4、步驟3，基于編碼器-解碼器網(wǎng)絡(luò)結(jié)構(gòu)，構(gòu)建一種基于無(wú)監(jiān)督的雙通道的多聚焦圖像融合模型udc?mfif模型；所述udc?mfif模型包括編碼器、解碼器、活動(dòng)水平計(jì)算模塊和融合模塊；

5、所述編碼器采取雙分支通道的編碼器網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行輸入，兩個(gè)分支分別為細(xì)節(jié)分支和語(yǔ)義分支，兩個(gè)分支的權(quán)重不共享，只在進(jìn)入解碼器進(jìn)行通道維度的特征拼接；細(xì)節(jié)分支和語(yǔ)義分支接收相同的輸入圖像分別來(lái)提取圖像豐富的細(xì)節(jié)信息和語(yǔ)義信息；所述解碼器的輸入是將細(xì)節(jié)信息和語(yǔ)義信息在通道維度進(jìn)行拼接的聯(lián)合特征來(lái)進(jìn)行圖像重建；所述活動(dòng)水平計(jì)算模塊包括處理單元和形態(tài)學(xué)處理單元；所述處理單元通過(guò)拉普拉斯修正和來(lái)計(jì)算深度特征，得到初始決策圖；所述形態(tài)學(xué)處理單元通過(guò)開運(yùn)算、閉運(yùn)算以及去除小孔操作來(lái)優(yōu)化決策圖；所述融合模塊是使用經(jīng)過(guò)上述活動(dòng)水平計(jì)算模塊處理后得到的決策圖與輸入的同一視角下不同聚焦情況的圖像進(jìn)行對(duì)應(yīng)像素加權(quán)乘積求和，得到最終融合圖像；

6、步驟4，使用訓(xùn)練集和測(cè)試集對(duì)編碼器與解碼器進(jìn)行訓(xùn)練，使解碼器的重建圖像與編碼器的輸入圖像之間的差異最小，從而完成整體模型的構(gòu)建。

7、優(yōu)選的，所述步驟2中的灰度轉(zhuǎn)化，具體為：

8、將原始圖像的彩色圖像轉(zhuǎn)換成灰色圖像，之后再將得到灰色圖像統(tǒng)一調(diào)整為，之后將圖像轉(zhuǎn)換為張量輸入到網(wǎng)絡(luò)，公式如下：

9、

10、對(duì)于灰色圖像中的每個(gè)像素值，它被歸一化成到區(qū)間,最終得到圖像張量。

11、優(yōu)選的，所述編碼器包括細(xì)節(jié)分支和語(yǔ)義分支兩個(gè)特征提取部分；所述細(xì)節(jié)分支用于提取圖像中的細(xì)節(jié)特征信息，細(xì)節(jié)分支包含了1個(gè)淺層特征提取模塊c1和4個(gè)ec細(xì)節(jié)特征提取模塊，所述的淺層特征提取模塊c1包含了二維卷積、激活函數(shù)和批量歸一化層,用于在不改變輸入特征的大小前提下提取出圖像的淺層特征便于后續(xù)的細(xì)節(jié)特征和語(yǔ)音特征的提??；所述ec細(xì)節(jié)特征提取模塊用來(lái)提取細(xì)節(jié)特征；所述語(yǔ)義分支包含了1個(gè)淺層特征提取模塊c1，3個(gè)cbec語(yǔ)義特征提取模塊和1個(gè)上采樣模塊，其中的淺層特征提取模塊與細(xì)節(jié)分支中的一樣；所述cbec語(yǔ)義特征提取模用來(lái)提取語(yǔ)義特征；所述上采樣模塊用來(lái)讓語(yǔ)義特征圖大小與細(xì)節(jié)特征圖大小一致，便于最后拼接；

12、優(yōu)選的，所述ec細(xì)節(jié)特征提取模塊由二維卷積、激活函數(shù)、批量歸一化層和通道注意力機(jī)制eca模塊組成，采用密集鏈接來(lái)關(guān)注淺層特征；所述cbec語(yǔ)義特征提取模塊由二維卷積、激活函數(shù)、批量歸一化層和卷積注意力機(jī)制cbam模塊組成，cbec語(yǔ)義特征提取模塊中的二維卷積的步長(zhǎng)為2，經(jīng)過(guò)該模塊，圖像的特征圖大小減半，通過(guò)不斷地下采樣，圖像失去大量的細(xì)節(jié)特征，從而提取語(yǔ)義特征；所述上采樣模塊由上采樣和卷積注意力機(jī)制cbam模塊組成，上采樣模塊中的比列因子為8，采用雙線性插值并將輸入和輸出的角點(diǎn)對(duì)齊，該模塊可以讓經(jīng)過(guò)cbec語(yǔ)義特征提取模塊而縮小8倍的圖像的特征圖大小再次回到原始大小，進(jìn)而與細(xì)節(jié)特征在通道維度拼接；經(jīng)過(guò)兩個(gè)分支后，得到細(xì)節(jié)特征和語(yǔ)義特征，在通道維度上拼接這兩個(gè)特征張量和后，得到一個(gè)新的特征張量，其通道數(shù)為和的通道數(shù)之和，而高度和寬度保持不變；公式如下：

13、

14、

15、

16、其中，和是細(xì)節(jié)特征，語(yǔ)義特征和聯(lián)合特征的高和寬，是細(xì)節(jié)特征的通道數(shù)，是語(yǔ)義特征的通道數(shù)，是聯(lián)合特征的通道數(shù)。

17、優(yōu)選的，所述活動(dòng)水平計(jì)算模塊的具體數(shù)據(jù)處理過(guò)程為：

18、將輸入的n張尺寸為的圖片依次通過(guò)編碼器提取出n個(gè)特征張量，之后使用所述處理單元計(jì)算出n個(gè)數(shù)值作為體現(xiàn)圖像信息的特征圖，再將n張尺寸為的特征圖在三維方向進(jìn)行拼接成尺寸為的拼接圖，然后沿軸方向?qū)Ω鲗犹卣鲌D中同一位置的最佳聚焦像素點(diǎn)進(jìn)行挑選，選取方向上所有聚焦信息圖中值最大的一點(diǎn)為最佳像素點(diǎn)，并將最佳聚焦點(diǎn)賦值為1，其余層面的對(duì)應(yīng)點(diǎn)賦值為0得到n個(gè)尺寸為的決策圖，其中為源圖像編號(hào)；

19、之后使用形態(tài)學(xué)處理單元輸出最終決策圖；首先，使用小圓盤結(jié)構(gòu)的開運(yùn)算操作處理以消除背景區(qū)域中的大部分噪點(diǎn)；其次采用小孔去除策略消除背景區(qū)域中剩余的噪點(diǎn)；最后通過(guò)閉運(yùn)算和小孔去除策略去除背景區(qū)域中的噪聲得到最終的決策圖。

20、優(yōu)選的，所述融合模塊是根據(jù)決策圖，對(duì)每層源圖像進(jìn)行加權(quán)融合，得到最終融合圖f，表達(dá)式為:

21、

22、其中為第個(gè)初始決策圖，為第個(gè)最終決策圖，為第個(gè)源圖像,為像素點(diǎn)坐標(biāo)， f為最終融合圖像。

23、優(yōu)選的，所述步驟4中是使解碼器的重建圖像與編碼器的輸入圖像之間的差異最小作為訓(xùn)練目標(biāo)，其計(jì)算公式如下：

24、

25、其中為聯(lián)合損失，即解碼器的重建圖像與編碼器的輸入圖像的最小差異，為結(jié)構(gòu)相似性損失，為梯度損失，為像素?fù)p失；為平衡損失的參數(shù)權(quán)重。

26、本發(fā)明第二方面還提供了一種基于無(wú)監(jiān)督的多聚焦圖像融合方法，包括以下過(guò)程：

27、獲取同一視野下具有不同焦點(diǎn)的n張圖像；

28、將n張圖像進(jìn)行灰度轉(zhuǎn)換，歸一化得到圖像張量；

29、將n張圖像的圖像張量輸入到如第一方面所述的構(gòu)建方法所構(gòu)建的多聚焦圖像融合模型中；

30、模型生成并輸出全聚焦圖像。

31、本發(fā)明第三方面還提供了一種基于無(wú)監(jiān)督的多聚焦圖像融合設(shè)備，所述設(shè)備包括至少一個(gè)處理器和至少一個(gè)存儲(chǔ)器，所述處理器和存儲(chǔ)器相耦合；所述存儲(chǔ)器中存儲(chǔ)有如第一方面所述的構(gòu)建方法所構(gòu)建的多聚焦圖像融合模型的計(jì)算機(jī)執(zhí)行程序；所述處理器執(zhí)行存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)執(zhí)行程序時(shí)，使處理器執(zhí)行一種基于無(wú)監(jiān)督的多聚焦圖像融合方法。

32、本發(fā)明第四方面還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有如第一方面所述的構(gòu)建方法所構(gòu)建的多聚焦圖像融合模型的計(jì)算機(jī)執(zhí)行程序，所述計(jì)算機(jī)執(zhí)行程序被處理器執(zhí)行時(shí)，使處理器執(zhí)行一種基于無(wú)監(jiān)督的多聚焦圖像融合方法。

33、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果：

34、本發(fā)明是基于無(wú)監(jiān)督多聚焦圖像融合來(lái)進(jìn)行模型訓(xùn)練的。該模型可以在沒有監(jiān)督信息和大規(guī)模圖像集的條件下融合得到清晰的融合圖像。受語(yǔ)義信息的啟發(fā)，本發(fā)明應(yīng)用了雙通道來(lái)進(jìn)行更加充分的提取特征，提出了udc?mfif模型；相比于最新的基于無(wú)監(jiān)督網(wǎng)絡(luò)的模型，本發(fā)明更充分地提取了特征的細(xì)節(jié)信息和語(yǔ)義信息。本發(fā)明是通過(guò)決策圖進(jìn)行融合的，采取了利用特征梯度來(lái)測(cè)量活動(dòng)水平；使用本發(fā)明提出的基于像素計(jì)算的可以得到更加準(zhǔn)確的決策圖。與目前所提出的多聚焦圖像融合算法進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果證明采用雙分支特征提取的方式可以更加有效的提取特征，采用測(cè)量活動(dòng)水平可以大幅提高融合效果。