本發(fā)明涉及圖像處理，尤其涉及一種輕量型圖像去霧方法及系統(tǒng)。

背景技術(shù)：

1、隨著圖像處理技術(shù)的迅速發(fā)展，惡劣天氣條件（包括下霧、下雨等）常常導(dǎo)致獲取到的圖像或者視頻中的視覺信息質(zhì)量嚴(yán)重下降，這給眾多依賴清晰視覺的實(shí)際應(yīng)用帶來(lái)了極大的困擾，例如自動(dòng)駕駛、監(jiān)控系統(tǒng)、衛(wèi)星遙感等，因此惡劣天氣條件已經(jīng)成為計(jì)算時(shí)視覺技術(shù)實(shí)際應(yīng)用所要面臨的主要問(wèn)題。因此有必要針對(duì)惡劣天氣條件下獲取的輸入數(shù)據(jù)進(jìn)行去霧處理，去霧處理的目的是對(duì)低質(zhì)量的圖像或者視頻進(jìn)行質(zhì)量增強(qiáng)，以確保輸入數(shù)據(jù)的視覺信息滿足要求。傳統(tǒng)的去霧方法主要基于物理模型和先驗(yàn)知識(shí)實(shí)現(xiàn)去霧，然而在實(shí)際應(yīng)用場(chǎng)景中，對(duì)于去霧處理的速度要求極高，往往需要能夠在短時(shí)間內(nèi)完成去霧操作，以確保系統(tǒng)的及時(shí)響應(yīng)和安全運(yùn)行。傳統(tǒng)的去霧方法往往存在計(jì)算復(fù)雜、對(duì)特定場(chǎng)景適應(yīng)性不足的問(wèn)題，并無(wú)法滿足實(shí)際應(yīng)用場(chǎng)景的使用要求。

2、因此，如何提高一種輕量級(jí)和實(shí)時(shí)性的圖像去霧方法以滿足各個(gè)實(shí)際應(yīng)用場(chǎng)景的使用要求是目前業(yè)界亟待解決的重要課題。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提出了一種輕量型圖像去霧方法及系統(tǒng)，以解決傳統(tǒng)的去霧方法往往存在計(jì)算復(fù)雜、對(duì)特定場(chǎng)景適應(yīng)性不足的問(wèn)題。

2、本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

3、根據(jù)第一方面，本發(fā)明實(shí)施例提供一種輕量型圖像去霧方法，所述方法包括：

4、獲取待處理圖像；

5、輸入所述待處理圖像至訓(xùn)練好的圖像去霧模型中，得到由所述圖像去霧模型輸出的目標(biāo)圖像；

6、所述圖像去霧模型是基于樣本圖像并采用自監(jiān)督的方式進(jìn)行訓(xùn)練，以及通過(guò)總損失函數(shù)調(diào)整網(wǎng)絡(luò)參數(shù)得到的；

7、所述圖像去霧模型包括編碼層和解碼層，所述編碼層用于對(duì)輸入的待處理圖像經(jīng)過(guò)多次卷積處理，生成多尺度特征的中間特征圖，所述解碼層用于對(duì)多尺度特征的中間特征圖依次進(jìn)行去霧處理和上下文錨點(diǎn)注意力處理，并進(jìn)行跨尺度特征融合；

8、所述編碼層包括依次串聯(lián)設(shè)置的逐點(diǎn)卷積層、第一特征提取卷積層、第二特征提取卷積層、第三特征提取卷積層和第四特征提取卷積層，所述解碼層包括去霧層、上下文錨點(diǎn)注意力層以及跨尺度特征融合層；

9、所述逐點(diǎn)卷積層用于保持待處理圖像的空間維度不變的情況下調(diào)整待處理圖像的通道數(shù)；特征提取卷積層用于降低逐點(diǎn)卷積層輸出的特征的維度和寬度并進(jìn)行特征提取，輸出不同級(jí)尺度的特征圖；所述去霧層用于對(duì)輸入的特征進(jìn)行卷積處理，得到第一中間特征圖，對(duì)第一中間特征圖依次進(jìn)行通道注意力處理與像素注意力處理得到第二中間特征圖，以及，對(duì)第一中間特征圖進(jìn)行線性整流處理后與第二中間特征圖進(jìn)行特征融合得到第三中間特征圖，對(duì)第三中間特征圖進(jìn)行空洞卷積處理后與第二中間特征圖進(jìn)行特征融合得到第四中間特征圖；所述上下文錨點(diǎn)注意力層用于對(duì)去霧層輸出的特征進(jìn)行下采樣后分別進(jìn)行水平方向以及垂直方向上的特征提取，并對(duì)提取得到的水平方向以及垂直方向上的特征進(jìn)行特征融合；所述跨尺度特征融合層用于對(duì)所述上下文錨點(diǎn)注意力層輸出的特征按照尺度順序進(jìn)行特征融合。

10、結(jié)合第一方面，在第一方面第一實(shí)施方式中，所述獲取待處理圖像，并將所述待處理圖像輸入至訓(xùn)練好的圖像去霧模型中，得到由所述圖像去霧模型輸出的目標(biāo)圖像，具體包括：

11、獲取所述待處理圖像；

12、將所述待處理圖像輸入至所述逐點(diǎn)卷積層中，得到由所述逐點(diǎn)卷積層輸出的第一特征圖；

13、將所述第一特征圖輸入至所述第一特征提取卷積層中，得到由所述第一特征提取卷積層輸出的第二特征圖；

14、將所述第二特征圖輸入至所述第二特征提取卷積層中，得到由所述第二特征提取卷積層輸出的第三特征圖；

15、將所述第三特征圖輸入至所述第三特征提取卷積層中，得到由所述第三特征提取卷積層輸出的第四特征圖；

16、將所述第四特征圖輸入至所述第四特征提取卷積層中，得到由所述第四特征提取卷積層輸出的第五特征圖；

17、將第一至第五特征圖輸入至所述去霧層中，得到由所述去霧層分別對(duì)應(yīng)輸出的第一至第五去霧特征圖；

18、將第一至第五去霧特征圖輸入至所述上下文錨點(diǎn)注意力層中，得到由所述上下文錨點(diǎn)注意力層分別對(duì)應(yīng)輸出的第一至第五上下文錨點(diǎn)特征圖；

19、將第一至第五上下文錨點(diǎn)特征圖輸入至所述跨尺度特征融合層中，得到由所述跨尺度特征融合層輸出的目標(biāo)圖像。

20、結(jié)合第一方面第一實(shí)施方式，在第一方面第二實(shí)施方式中，第一至第四特征提取卷積層均包括第一卷積層、第一線性整流層和批量歸一化層；

21、所述第一卷積層用于對(duì)輸入的特征圖進(jìn)行卷積處理；所述線性整流層用于對(duì)卷積處理后的特征圖進(jìn)行線性整流處理；所述批量歸一化層用于對(duì)線性整流處理后的特征圖進(jìn)行批歸一化處理。

22、結(jié)合第一方面第二實(shí)施方式，在第一方面第三實(shí)施方式中，所述去霧層包括第二卷積層、注意力層、第二線性整流層、第一融合層、空洞卷積層和第二融合層；

23、所述第二卷積層用于對(duì)輸入的特征圖進(jìn)行降維處理，得到第一中間特征圖；所述注意力層用于對(duì)第一中間特征圖依次進(jìn)行通道注意力處理與像素注意力處理后得到第二中間特征圖；所述第二線性整流層用于第一中間特征圖進(jìn)行線性整流處理；所述第一融合層用于對(duì)第一中間特征圖進(jìn)行線性整流處理后與第二中間特征圖進(jìn)行特征融合得到第三中間特征圖；所述空洞卷積層用于對(duì)第三中間特征圖進(jìn)行空洞卷積處理；所述第二融合層用于對(duì)第三中間特征圖進(jìn)行空洞卷積處理后與第二中間特征圖進(jìn)行特征融合得到第四中間特征圖。

24、結(jié)合第一方面第三實(shí)施方式，在第一方面第四實(shí)施方式中，所述上下文錨點(diǎn)注意力層包括平均池化層、第三卷積層、水平特征提取層、垂直特征提取層、第三融合層和平滑層；

25、所述平均池化層用于對(duì)輸入的去霧特征圖進(jìn)行下采樣處理；所述第三卷積層用于對(duì)經(jīng)過(guò)下采樣處理后的去霧特征圖進(jìn)行卷積處理，得到下采樣特征圖；所述水平特征提取層用于對(duì)所述下采樣特征圖進(jìn)行水平方向上的特征提取；所述垂直特征提取層用于對(duì)所述下采樣特征圖進(jìn)行垂直方向上的特征提??；所述第三融合層用于對(duì)水平方向上以及垂直方向上提取得到的特征進(jìn)行特征融合；所述平滑層用于對(duì)融合后的特征進(jìn)行平滑處理。

26、結(jié)合第一方面第四實(shí)施方式，在第一方面第五實(shí)施方式中，所述跨尺度特征融合層包括上采樣層、第四融合層和特征還原層；

27、所述上采樣層用于對(duì)輸入的特征圖進(jìn)行插值上采樣操作；所述第四融合層用于將進(jìn)行插值上采樣操作后的特征圖與所述特征圖相鄰的上一級(jí)尺度特征的特征圖進(jìn)行特征融合，直至所有尺度特征的特征圖均被融合；所述特征還原層用于將融合了所有尺度特征的特征圖還原至與待處理圖像相同尺度，得到目標(biāo)圖像。

28、結(jié)合第一方面第五實(shí)施方式，在第一方面第六實(shí)施方式中，所述將第一至第五上下文錨點(diǎn)特征圖輸入至所述跨尺度特征融合層中，得到由所述跨尺度特征融合層輸出的目標(biāo)圖像，具體包括：

29、將第五上下文錨點(diǎn)特征圖輸入至所述上采樣層中，并將插值上采樣處理后的第五上下文錨點(diǎn)特征圖以及第四上下文錨點(diǎn)特征圖輸入至所述第四融合層中，得到所述第四融合層輸出的第一融合特征圖；

30、將所述第一融合特征圖輸入至所述上采樣層中，并將插值上采樣處理后的所述第一融合特征圖以及第三上下文錨點(diǎn)特征圖輸入至所述第四融合層中，得到所述第四融合層輸出的第二融合特征圖；

31、將所述第二融合特征圖輸入至所述上采樣層中，并將插值上采樣處理后的所述第二融合特征圖以及第二上下文錨點(diǎn)特征圖輸入至所述第四融合層中，得到所述第四融合層輸出的第三融合特征圖；

32、將所述第三融合特征圖輸入至所述上采樣層中，并將插值上采樣處理后的所述第三融合特征圖以及第一上下文錨點(diǎn)特征圖輸入至所述第四融合層中，得到所述第四融合層輸出的第四融合特征圖；

33、將所述第四融合特征圖輸入至所述特征還原層中，得到由所述特征還原層輸出的所述目標(biāo)圖像。

34、結(jié)合第一方面第四實(shí)施方式，在第一方面第七實(shí)施方式中，所述第三融合層以及所述平滑層進(jìn)行處理的表達(dá)式為：

35、

36、其中，表示下采樣特征圖；表示進(jìn)行水平方向上的特征提??；表示進(jìn)行垂直方向上的特征提??；表示進(jìn)行平滑處理。

37、結(jié)合第一方面，在第一方面第八實(shí)施方式中，所述總損失函數(shù)的表達(dá)式為：

38、

39、其中，表示總損失函數(shù)；表示平均絕度誤差系數(shù)；表示均方誤差損失系數(shù)；表示樣本圖像的總數(shù)組；表示第組樣本圖像；表示輸出的無(wú)霧圖像；表示輸入的樣本圖像。

40、根據(jù)第二方面，本發(fā)明實(shí)施例還提供一種輕量型圖像去霧系統(tǒng)，該系統(tǒng)包括：

41、圖像獲取模塊，用于獲取待處理圖像；

42、圖像去霧模塊，用于輸入所述待處理圖像至訓(xùn)練好的圖像去霧模型中，得到由所述圖像去霧模型輸出的目標(biāo)圖像；

43、所述圖像去霧模型是基于樣本圖像并采用自監(jiān)督的方式進(jìn)行訓(xùn)練，以及通過(guò)總損失函數(shù)調(diào)整網(wǎng)絡(luò)參數(shù)得到的；

44、所述圖像去霧模型包括編碼層和解碼層，所述編碼層用于對(duì)輸入的待處理圖像經(jīng)過(guò)多次卷積處理，生成多尺度特征的中間特征圖，所述解碼層用于對(duì)多尺度特征的中間特征圖依次進(jìn)行去霧處理和上下文錨點(diǎn)注意力處理，并進(jìn)行跨尺度特征融合；

45、所述編碼層包括依次串聯(lián)設(shè)置的逐點(diǎn)卷積層、第一特征提取卷積層、第二特征提取卷積層、第三特征提取卷積層和第四特征提取卷積層，所述解碼層包括去霧層、上下文錨點(diǎn)注意力層以及跨尺度特征融合層；

46、所述逐點(diǎn)卷積層用于保持待處理圖像的空間維度不變的情況下調(diào)整待處理圖像的通道數(shù)；所述特征提取卷積層用于降低逐點(diǎn)卷積層輸出的特征的維度和寬度并進(jìn)行特征提取，輸出不同級(jí)尺度的特征圖；所述去霧層用于對(duì)輸入的特征進(jìn)行卷積處理，得到第一中間特征圖，對(duì)第一中間特征圖依次進(jìn)行通道注意力處理與像素注意力處理得到第二中間特征圖，以及，對(duì)第一中間特征圖進(jìn)行線性整流處理后與第二中間特征圖進(jìn)行特征融合得到第三中間特征圖，對(duì)第三中間特征圖進(jìn)行空洞卷積處理后與第二中間特征圖進(jìn)行特征融合得到第四中間特征圖；所述上下文錨點(diǎn)注意力層用于對(duì)去霧層輸出的特征進(jìn)行下采樣后分別進(jìn)行水平方向以及垂直方向上的特征提取，并對(duì)提取得到的水平方向以及垂直方向上的特征進(jìn)行特征融合；所述跨尺度特征融合層用于對(duì)所述上下文錨點(diǎn)注意力層輸出的特征按照尺度順序進(jìn)行特征融合。

47、根據(jù)第三方面，本發(fā)明實(shí)施例還提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上述任一種所述輕量型圖像去霧方法的步驟。

48、根據(jù)第四方面，本發(fā)明實(shí)施例還提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述輕量型圖像去霧方法的步驟。

49、根據(jù)第五方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一項(xiàng)所述輕量型圖像去霧方法的步驟。

50、本發(fā)明的輕量型圖像去霧方法及系統(tǒng)相對(duì)于現(xiàn)有技術(shù)具有以下有益效果：

51、通過(guò)訓(xùn)練好的圖像去霧模型圖像對(duì)待處理圖像進(jìn)行去霧處理，得到無(wú)霧的目標(biāo)圖像，去霧模型采用的是編碼器-解碼器框架的輕量型網(wǎng)絡(luò)模型，圖像去霧模型包括編碼層和解碼層，在編碼層中對(duì)輸入的待處理圖像經(jīng)過(guò)多次卷積處理，生成多尺度特征的中間特征圖，在解碼層中，則會(huì)對(duì)之前得到的多尺度特征的中間特征圖依次進(jìn)行去霧處理和上下文錨點(diǎn)注意力處理，并通過(guò)跨尺度特征融合的方式增強(qiáng)圖像的內(nèi)容特征，以此降低霧特征。通過(guò)這樣的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置，該圖像去霧模型不僅能夠從多個(gè)尺度捕獲待處理圖像的特征信息，還能盡可能地保持待處理圖像中的細(xì)節(jié)和質(zhì)量，并且有效地去除待處理圖像中的惡劣天氣特征，同時(shí)也有效利用有限的計(jì)算資源，降低計(jì)算開銷，保持處理速度的同時(shí)降低惡劣天氣對(duì)圖像的影響，通過(guò)在處理速度和處理效果上都進(jìn)行優(yōu)化，適合于邊緣設(shè)備等上實(shí)時(shí)運(yùn)行，以此適用于要求實(shí)時(shí)處理的應(yīng)用場(chǎng)景，滿足實(shí)際應(yīng)用場(chǎng)景的使用要求，提高了圖像去霧模型的推理速度以及魯棒性。