本發(fā)明涉及圖像處理，尤其是涉及一種基于雙路徑生成式對抗網(wǎng)絡(luò)的水下圖像增強(qiáng)方法。

背景技術(shù)：

1、水下圖像增強(qiáng)是指通過特定的算法優(yōu)化水下圖像的質(zhì)量，使其更加清晰、色彩更鮮艷，從而便于后續(xù)的分析和識別。水下圖像增強(qiáng)的主要挑戰(zhàn)在于水下的特殊環(huán)境，如光照條件、水的吸收和散射效應(yīng)等都會影響圖像的質(zhì)量(對比度、清晰度、飽和度、亮度等)。

2、水下圖像增強(qiáng)的方法大致可以分為三類：非物理模型的圖像增強(qiáng)方法、基于物理模型的圖像復(fù)原方法和基于深度學(xué)習(xí)的圖像增強(qiáng)方法。

3、非物理模型的圖像增強(qiáng)方法主要是通過調(diào)整圖像的像素值來改善視覺質(zhì)量，而不考慮水下圖像退化的物理過程。比如圖像融合、直方圖均衡化等。這種方法的優(yōu)點是可以快速改善圖像質(zhì)量，但缺點是可能無法完全解決圖像的退化問題。

4、基于物理模型的圖像增強(qiáng)方法則是通過先驗知識估計物理模型中的參數(shù)，反推物理模型得到清晰的水下圖像。例如暗通道先驗、最小信息先驗等。這種方法的優(yōu)點是可以更準(zhǔn)確地解決圖像的退化問題，但缺點是需要更多的計算資源和時間。

5、基于深度學(xué)習(xí)的圖像增強(qiáng)方法通過使用卷積神經(jīng)網(wǎng)絡(luò)(cnn)、生成式對抗網(wǎng)絡(luò)(gan)等深度學(xué)習(xí)技術(shù)對水下退化的圖像進(jìn)行增強(qiáng)。目前大多數(shù)基于深度學(xué)習(xí)的水下圖像增強(qiáng)方法屬于監(jiān)督學(xué)習(xí)。監(jiān)督學(xué)習(xí)通過學(xué)習(xí)退化圖像和參考圖像之間的非線性關(guān)系，實現(xiàn)對新的退化圖像的增強(qiáng)。監(jiān)督學(xué)習(xí)的效果依賴于數(shù)據(jù)集、損失函數(shù)和神經(jīng)網(wǎng)絡(luò)模型的設(shè)計。這種方法的優(yōu)點是能夠在很大程度上改善水下圖像的清晰度、對比度和顏色平衡，減少由于水下環(huán)境引起的模糊和扭曲，實現(xiàn)端到端的增強(qiáng)。缺點是現(xiàn)有的方法往往是從整體上對圖像進(jìn)行增強(qiáng)，沒有從多層面考慮增強(qiáng)問題，導(dǎo)致泛化能力不強(qiáng)。在處理條件極端的場景時，最后的增強(qiáng)效果有限。

6、如何實現(xiàn)提高水下圖像的視覺質(zhì)量，成為需要解決的技術(shù)問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于雙路徑生成式對抗網(wǎng)絡(luò)的水下圖像增強(qiáng)方法。

2、本發(fā)明的目的可以通過以下技術(shù)方案來實現(xiàn)：

3、根據(jù)本發(fā)明的一個方面，提供了一種基于雙路徑生成式對抗網(wǎng)絡(luò)的水下圖像增強(qiáng)方法，該方法包括以下步驟：

4、步驟s1，獲取水下圖像數(shù)據(jù)集；

5、步驟s2，轉(zhuǎn)換步驟s1中水下圖像數(shù)據(jù)集中圖像由rgb色域轉(zhuǎn)化為cielab色域，并將圖像按通道分為亮度圖和色度圖；

6、步驟s3，將水下圖像數(shù)據(jù)集輸入訓(xùn)練好的雙路徑生成式對抗網(wǎng)絡(luò)，得到增強(qiáng)后的水下圖像；

7、所述雙路徑生成式對抗網(wǎng)絡(luò)包括并列的亮度增強(qiáng)網(wǎng)絡(luò)和圖像上色網(wǎng)絡(luò)，分別用于亮度增強(qiáng)和圖像上色。

8、優(yōu)選地，所述亮度增強(qiáng)網(wǎng)絡(luò)包括亮度圖生成器和亮度圖判別器；所述圖像上色網(wǎng)絡(luò)包括色度圖生成器和色度圖判別器。

9、更加優(yōu)選地，所述生成器為改進(jìn)的u-net結(jié)構(gòu)，包括編碼器部分和解碼器部分。

10、更加優(yōu)選地，所述編碼器部分為n層結(jié)構(gòu)，每層包含特征提取模塊和下采樣模塊；所述特征提取模塊包括多個空洞卷積層，每個空洞卷積層前加入通道注意力子模塊，后面依次連接一個實例歸一化層和一個leakyrelu激活層。

11、更加優(yōu)選地，所述解碼器部分為與編碼器相對于的n層結(jié)構(gòu)，每層包含一個上采樣模塊；所述上采樣模塊包括依次連接的通道注意力子模塊、轉(zhuǎn)置卷積層、實例歸一化層和relu激活層；

12、所述編碼器和所述解碼器中的同一層之間使用跳躍連接進(jìn)行拼接。

13、更加優(yōu)選地，所述通道注意力子模塊為卷積塊注意力機(jī)制的通道注意力子模塊。

14、更加優(yōu)選地，所述雙路徑生成式對抗網(wǎng)絡(luò)的訓(xùn)練使用三個損失函數(shù)，分別為色度圖生成器損失函數(shù)、亮度圖生成器損失函數(shù)和判別器損失函數(shù)；

15、所述判別器損失函數(shù)的公式如下：

16、l(d)＝d(x)-d(y)+λ1gp(x,y)

17、所述亮度圖生成器損失函數(shù)的公式如下：

18、l(gl)＝-λ2d(x)+λ3lsmoothl1(x,y)+λ4lssim(x,y)

19、所述色度圖生成器損失函數(shù)的公式如下：

20、l(gc)＝-λ5d(x)+λ6lsmoothl1(x,y)+λ7lper(x,y)

21、其中，d為判別器，gl為亮度圖生成器，gc為色度圖生成器，x為增強(qiáng)圖像，y為參考圖像，gp為梯度懲罰，lssim為結(jié)構(gòu)度似度損失，lsmoothl1為smoothl1損失，lper為多層感知損失，λ1～λ7為超參數(shù)。

22、更加優(yōu)選地，所述判別器以patchgan為基礎(chǔ)框架；所述判別器將圖像分為多塊，并對每塊判別真假。

23、優(yōu)選地，所述獲取水下圖像數(shù)據(jù)集包括獲取包含原始圖像和參考圖像的成對水下圖像數(shù)據(jù)集，以及只含有原始圖像的非成對水下圖像數(shù)據(jù)集。

24、更加優(yōu)選地，所述將水下圖像數(shù)據(jù)集輸入訓(xùn)練好的雙路徑生成式對抗網(wǎng)絡(luò)，得到增強(qiáng)后的水下圖像的過程包括：

25、將所述水下圖像數(shù)據(jù)集的原始圖像亮度圖、原始圖像邊界圖和亮度圖的反色圖一起輸入亮度圖生成器，重構(gòu)圖像后輸出增強(qiáng)圖像亮度圖，然后亮度圖判別器通過學(xué)習(xí)參考圖像亮度圖的特征分布來判斷亮度圖生成器生成的增強(qiáng)圖像亮度圖是否真實，并反饋給亮度圖生成器；

26、將原始圖像亮度圖和原始圖像色度圖輸入色度圖生成器，色度圖生成器對原始圖像亮度圖進(jìn)行上色，得到增強(qiáng)圖像色度圖，然后色度圖判別器根據(jù)參考圖像色度圖來判別色度圖生成器生成的增強(qiáng)圖像色度圖是否真實，并反饋給色度圖生成器；

27、最后融合兩個生成器輸出的結(jié)果得到增強(qiáng)后的水下圖像；

28、其中所述原始圖像邊界圖和亮度圖的反色圖作為注意力先驗引導(dǎo)亮度圖生成器進(jìn)行局部亮度增強(qiáng)。

29、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

30、1)本發(fā)明使用雙路徑生成式對抗網(wǎng)絡(luò)分別對水下圖像進(jìn)行亮度增強(qiáng)和上色處理，從多角度對圖像進(jìn)行增強(qiáng)，最后經(jīng)融合和轉(zhuǎn)化色域處理，得到增強(qiáng)后的水下圖像，提高水下圖像的視覺質(zhì)量。

31、2)本發(fā)明生成器的編碼器使用空洞卷積層組成的連續(xù)空洞卷積可以獲得更大的感受野，更好提取上下文信息，減少了計算量，促進(jìn)多尺度特征融合，再結(jié)合通道注意力可提高生成器網(wǎng)絡(luò)的性能；判別器使用patchgan框架可以更好地捕捉局部紋理和細(xì)節(jié)，從而生成器-判別器的雙路徑生成式對抗網(wǎng)絡(luò)在提高水下圖像視覺質(zhì)量的同時降低計算量。

32、3)本發(fā)明的編碼器和解碼器中的同一層之間使用跳躍連接進(jìn)行拼接，通過跳躍連接融合不同層次的特征圖，促進(jìn)特征融合核特征重用，保留一定的細(xì)節(jié)和紋理。

33、4)本發(fā)明的生成器使用多層感知損失，更好地約束網(wǎng)絡(luò)，使亮度和上色增強(qiáng)圖像更符合人類對圖像海量的感知；判別器損失函數(shù)在wgan(wasserstein生成式對抗網(wǎng)絡(luò))損失的基礎(chǔ)上加入梯度懲罰，使網(wǎng)絡(luò)訓(xùn)練時更加穩(wěn)定，避免了模式崩潰和梯度消失的問題。