本發(fā)明涉及計(jì)算機(jī)視覺(jué)，具體來(lái)說(shuō)，涉及一種基于無(wú)監(jiān)督擴(kuò)散模型的水下圖像增強(qiáng)方法。

背景技術(shù)：

1、水下生物探測(cè)、海洋牧場(chǎng)捕撈等水下作業(yè)對(duì)水下機(jī)器人的環(huán)境感知精度具有較高的要求。水下圖像作為海洋環(huán)境感知的載體，其清晰度決定著水下機(jī)器人環(huán)境感知能力的強(qiáng)弱。因此，水下圖像增強(qiáng)技術(shù)一直是研究者們探索海洋奧秘的關(guān)鍵研究方向之一。

2、然而，海洋生物豐富導(dǎo)致水質(zhì)混濁，水體屬性導(dǎo)致光在水中的吸收和衰減極其嚴(yán)重且具有波長(zhǎng)依賴性，水中懸浮顆粒造成的光折射導(dǎo)致水下成像過(guò)程復(fù)雜。因此，直接從水下機(jī)器人拍攝的水下圖像中獲取充足的水下信息較為困難。為解決這一難題，越來(lái)越多的學(xué)者們加入水下圖像增強(qiáng)這一領(lǐng)域，致力于設(shè)計(jì)一個(gè)高效魯棒的水下圖像增強(qiáng)方法，改善水下圖像的質(zhì)量，提高水下機(jī)器人的環(huán)境感知能力。

3、水下圖像增強(qiáng)技術(shù)主要可以分為三類，主要包括基于非物理模型的方法，基于物理模型的方法以及基于數(shù)據(jù)驅(qū)動(dòng)的方法。其中非物理模型的方法主要通過(guò)逐像素增強(qiáng)圖像，包括基于融合的方法，基于retinex理論以及顏色恒常性等方法，此類方法忽略水下降質(zhì)過(guò)程，其增強(qiáng)結(jié)果往往易出現(xiàn)過(guò)飽和或者欠飽和等現(xiàn)象?；谖锢砟Ｐ偷姆椒ㄖ饕欠治鏊鲁上襁^(guò)程，構(gòu)建水下成像模型，通過(guò)求解相關(guān)參數(shù)反推出清晰的水下圖像，此類方法一般基于特定的假設(shè)和先驗(yàn)，由于水下成像過(guò)程及其復(fù)雜，特定的假設(shè)和先驗(yàn)并不總是成立導(dǎo)致增強(qiáng)結(jié)果通常出現(xiàn)新的色偏。基于數(shù)據(jù)驅(qū)動(dòng)的方法主要包括有監(jiān)督的方法、半監(jiān)督的方法以及無(wú)監(jiān)督的方法。其中，有監(jiān)督的水下圖像增強(qiáng)方法主要通過(guò)建立水下圖像到其清晰圖像的映射關(guān)系，對(duì)豐富多樣的成對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練，然而水下圖像對(duì)應(yīng)的高質(zhì)量圖像往往不可得，所以此類方法多采用合成數(shù)據(jù)集或者偽標(biāo)簽，泛化能力通常較差?；诎氡O(jiān)督的水下圖像增強(qiáng)方法通常使用教師-學(xué)生模型，通過(guò)無(wú)監(jiān)督的師生一致性損失和對(duì)比損失來(lái)指導(dǎo)學(xué)生模型的訓(xùn)練，通過(guò)最小化有監(jiān)督損失和無(wú)監(jiān)督損失來(lái)更新學(xué)生模型的權(quán)重，由于少量的標(biāo)注數(shù)據(jù)仍然不可得，因此，此類方法不能完全消除對(duì)于真實(shí)高質(zhì)量水下圖像的需求。基于無(wú)監(jiān)督學(xué)習(xí)的方法主要通過(guò)自動(dòng)發(fā)現(xiàn)和利用水下圖像中的內(nèi)在結(jié)構(gòu)和模式來(lái)改善圖像質(zhì)量，常見(jiàn)的技術(shù)有自編碼器、生成對(duì)抗網(wǎng)絡(luò)等，此類方法由于不需要標(biāo)簽，所以模型的穩(wěn)定性、生成圖像的質(zhì)量等都具有挑戰(zhàn)性。

4、近年來(lái)，去噪擴(kuò)散概率模型作為一種新的生成框架異軍突起。它包含兩個(gè)過(guò)程，分別是前向擴(kuò)散過(guò)程和逆向擴(kuò)散過(guò)程。其中，前向過(guò)程是指逐漸向圖像中添加高斯噪聲，使其越來(lái)越模糊和隨機(jī)，直到圖像接近各向同性高斯分布；逆向過(guò)程是從隨機(jī)高斯分布去除噪聲，重構(gòu)原始數(shù)據(jù)?；跀U(kuò)散模型強(qiáng)大的理論基礎(chǔ)，越來(lái)越多的學(xué)者們利用擴(kuò)散模型增強(qiáng)水下圖像，例如將擴(kuò)散模型與小波變換相結(jié)合，對(duì)圖像進(jìn)行預(yù)處理作為擴(kuò)散模型的條件輸入等，此類方法相較于生成對(duì)抗網(wǎng)絡(luò)，訓(xùn)練更加穩(wěn)定，但仍然需要龐大的成對(duì)數(shù)據(jù)集用于訓(xùn)練，網(wǎng)絡(luò)的泛化性能仍有待提高。

技術(shù)實(shí)現(xiàn)思路

1、鑒于現(xiàn)有水下圖像增強(qiáng)方法存在需要成對(duì)的高質(zhì)量數(shù)據(jù)進(jìn)行模型訓(xùn)練的限制，本發(fā)明提供一種基于無(wú)監(jiān)督擴(kuò)散模型的水下圖像增強(qiáng)方法。本發(fā)明通過(guò)將生成對(duì)抗網(wǎng)絡(luò)和擴(kuò)散模型相結(jié)合，能夠在沒(méi)有參考圖像的真實(shí)水下場(chǎng)景進(jìn)行訓(xùn)練，有效緩解真實(shí)水下圖像中存在的色偏、對(duì)比度低等問(wèn)題。

2、本發(fā)明采用的技術(shù)手段如下：

3、一種基于無(wú)監(jiān)督擴(kuò)散模型的水下圖像增強(qiáng)方法，包括以下步驟：

4、步驟1：獲取水下圖像訓(xùn)練集，所述水下圖像訓(xùn)練集包括水下降質(zhì)圖像以及非成對(duì)的水下清晰圖像；

5、步驟2：構(gòu)建基于對(duì)抗性對(duì)比學(xué)習(xí)的預(yù)增強(qiáng)網(wǎng)絡(luò)，所述基于對(duì)抗性對(duì)比學(xué)習(xí)的預(yù)增強(qiáng)網(wǎng)絡(luò)用于將降質(zhì)水下圖像域轉(zhuǎn)換到清晰水下圖像域；所述基于對(duì)抗性對(duì)比學(xué)習(xí)的預(yù)增強(qiáng)網(wǎng)絡(luò)包括一個(gè)生成器和一個(gè)判別器，所述生成器一方面用于對(duì)水下降質(zhì)圖像進(jìn)行處理生成預(yù)增強(qiáng)結(jié)果，另一方面用于對(duì)水下清晰圖像進(jìn)行處理生成一致性結(jié)果；所述判別器用于判定給定的圖像是真實(shí)的清晰圖像還是生成器產(chǎn)生的偽清晰圖像；

6、步驟3：使用水下圖像訓(xùn)練集訓(xùn)練基于對(duì)抗性對(duì)比學(xué)習(xí)的預(yù)增強(qiáng)網(wǎng)絡(luò)；

7、步驟4：構(gòu)建基于小波變換的條件去噪擴(kuò)散概率模型，所述基于小波變換的條件去噪擴(kuò)散概率模型的輸入數(shù)據(jù)為降質(zhì)水下圖像和預(yù)增強(qiáng)的水下圖像；所述基于小波變換的條件去噪擴(kuò)散概率模型被設(shè)置為執(zhí)行以下步驟：

8、首先，對(duì)降質(zhì)水下圖像和預(yù)增強(qiáng)的水下圖像分別進(jìn)行k次二維離散小波變換，獲取小波域的低頻子帶和高頻子帶，

9、其次，對(duì)小波域的低頻子帶進(jìn)行擴(kuò)散處理，所述擴(kuò)散處理包括前向擴(kuò)散過(guò)程和逆向擴(kuò)散過(guò)程，所述前向擴(kuò)散過(guò)程被設(shè)置為向真實(shí)數(shù)據(jù)樣本逐步添加高斯噪聲直至變成隨機(jī)噪聲的馬爾科夫鏈，所述逆向擴(kuò)散過(guò)程被設(shè)置為對(duì)隨機(jī)噪聲逐步去噪直至生成一個(gè)真實(shí)樣本，

10、同時(shí)，通過(guò)高頻增強(qiáng)模塊對(duì)第k次小波變換后的高頻子帶進(jìn)行細(xì)節(jié)增強(qiáng)處理，所述高頻增強(qiáng)模塊通過(guò)深度可分離卷積操作提取高頻子帶的特征，計(jì)算特征間的交叉注意力并進(jìn)行串聯(lián)得到互補(bǔ)特征，將子帶的特征圖進(jìn)行空洞卷積從而進(jìn)行更好的細(xì)節(jié)增強(qiáng)，分別對(duì)細(xì)節(jié)增強(qiáng)后的特征圖進(jìn)行深度可分離卷積操作，獲得重建高頻子帶，

11、最后，對(duì)小波域的處理結(jié)果進(jìn)行k次二維逆離散小波變換生成水下圖像增強(qiáng)結(jié)果；

12、步驟5：利用水下圖像訓(xùn)練集中的降質(zhì)水下圖像以及基于對(duì)抗性對(duì)比學(xué)習(xí)的預(yù)增強(qiáng)網(wǎng)絡(luò)輸出的預(yù)增強(qiáng)圖像，訓(xùn)練基于小波變換的條件去噪擴(kuò)散概率模型；

13、步驟6：將待處理的真實(shí)水下圖像輸入訓(xùn)練后的基于對(duì)抗性對(duì)比學(xué)習(xí)的預(yù)增強(qiáng)網(wǎng)絡(luò)，獲取預(yù)增強(qiáng)圖像，再將預(yù)增強(qiáng)圖像輸入訓(xùn)練后的基于小波變換的條件去噪擴(kuò)散概率模型，從而獲取最終的水下增強(qiáng)圖像。

14、進(jìn)一步地，所述基于對(duì)抗性對(duì)比學(xué)習(xí)的預(yù)增強(qiáng)網(wǎng)絡(luò)的損失函數(shù)根據(jù)以下計(jì)算獲取：

15、

16、其中，λ1，λ2和λ3分別表示平衡各項(xiàng)損失函數(shù)的權(quán)重系數(shù)，表示生成器g的最小二乘gan損失，表示所構(gòu)建預(yù)增強(qiáng)網(wǎng)絡(luò)的分塊多層對(duì)比損失，表示生成器g的一致性損失。

17、進(jìn)一步地，所述表示生成器g的最小二乘gan損失根據(jù)以下計(jì)算獲?。?/p>

18、

19、其中，是用于優(yōu)化生成器的目標(biāo)函數(shù)，是用于優(yōu)化判別器的目標(biāo)函數(shù)，g(x)表示生成器產(chǎn)生的結(jié)果，d(g(x))表示判別器d判斷生成器g生成的結(jié)果是否真實(shí)的概率，表示分布函數(shù)的期望值，pfake表示降質(zhì)水下圖像通過(guò)生成器生成的結(jié)果的分布，d(y)表示判別器d判別清晰水下圖像為真實(shí)數(shù)據(jù)的概率，preal表示清晰水下圖像通過(guò)生成器生成的結(jié)果的分布，k2＝1表示真實(shí)數(shù)據(jù)的標(biāo)簽，k3＝0表示假數(shù)據(jù)的標(biāo)簽，k1＝1表示生成器希望判別器相信偽數(shù)據(jù)的值。

20、進(jìn)一步地，生成器g的一致性損失根據(jù)以下計(jì)算獲?。?/p>

21、

22、其中，表示分布函數(shù)的期望值，py表示清晰水下圖像的分布，g(y)表示清晰水下圖像通過(guò)生成器g生成的結(jié)果，y表示清晰圖像。

23、進(jìn)一步地，所構(gòu)建的預(yù)增強(qiáng)網(wǎng)絡(luò)的分塊多層對(duì)比損失根據(jù)以下計(jì)算獲?。?/p>

24、

25、其中，g表示生成器，m表示兩層mlp網(wǎng)絡(luò)，x表示輸入的降質(zhì)水下圖像，l是從編碼器gec中選擇的層數(shù)，l表示具體的第l層，sl指每層中的空間位置的數(shù)量，s∈{1,...sl}表示選定層中的空間位置表示，表示交叉熵?fù)p失，其計(jì)算公式如下：

26、

27、其中，表示使用編碼器gec和兩層mlp網(wǎng)絡(luò)m從降質(zhì)圖像域x中提取特征得到的特征堆棧，為每次選擇的一個(gè)查詢碼，相應(yīng)的正樣本特征記為負(fù)樣本特征記為cl是每一層的通道數(shù)，sim(u,v)＝utv/||u||||v||表示u和v之間的余弦相似度，τ表示溫度參數(shù)，用于縮放查詢與其它示例之間的距離。

28、進(jìn)一步地，所述基于小波變換的條件去噪擴(kuò)散概率模型的損失函數(shù)根據(jù)以下計(jì)算獲?。?/p>

29、

30、其中，θ表示逆向擴(kuò)散過(guò)程的去噪網(wǎng)絡(luò)模型參數(shù)，g是生成器，m是兩層mlp網(wǎng)絡(luò)，κ1,κ2,κ3分別表示平衡各項(xiàng)損失函數(shù)的權(quán)重系數(shù)，表示預(yù)增強(qiáng)結(jié)果，表示最終預(yù)測(cè)結(jié)果，表示擴(kuò)散損失函數(shù)，表示內(nèi)容損失函數(shù)，表示基于小波變換的條件去噪擴(kuò)散概率模型的分塊多層對(duì)比損失。

31、進(jìn)一步地，所述擴(kuò)散損失函數(shù)根據(jù)以下計(jì)算獲?。?/p>

32、

33、其中，表示分布函數(shù)的期望，∈t表示前向擴(kuò)散過(guò)程中添加的高斯噪聲，表示逆向擴(kuò)散過(guò)程預(yù)測(cè)的噪聲圖，xt表示在第t時(shí)間步長(zhǎng)加入高斯噪聲之后的圖像，表示輸入的降質(zhì)水下圖像經(jīng)過(guò)離散小波變換后的低頻子帶，t表示擴(kuò)散過(guò)程的時(shí)間步長(zhǎng)。

34、進(jìn)一步地，所述內(nèi)容損失函數(shù)根據(jù)以下計(jì)算獲?。?/p>

35、

36、其中，表示預(yù)增強(qiáng)結(jié)果，表示最終預(yù)測(cè)結(jié)果，表示和的結(jié)構(gòu)相似性度量。

37、進(jìn)一步地，基于小波變換的條件去噪擴(kuò)散概率模型的分塊多層對(duì)比損失根據(jù)以下計(jì)算獲取：

38、

39、其中，g表示生成器，m表示兩層mlp網(wǎng)絡(luò)，表示經(jīng)過(guò)基于對(duì)抗性對(duì)比學(xué)習(xí)的預(yù)增強(qiáng)網(wǎng)絡(luò)的結(jié)果，l是從編碼器gec中選擇的層數(shù)，l表示具體的第l層，sl指每層中的空間位置的數(shù)量，s∈{1,...sl}則表示選定層中的空間位置表示，表示交叉熵?fù)p失，其計(jì)算公式如下：

40、

41、其中，表示使用編碼器gec和兩層mlp網(wǎng)絡(luò)m從預(yù)增強(qiáng)圖像域中提取特征得到的特征堆棧，為每次選擇的一個(gè)查詢碼，則它相應(yīng)的正樣本特征記為負(fù)樣本特征記為cl是每一層的通道數(shù)，sim(u,v)＝utv/||u||||v||表示u和v之間的余弦相似度，τ表示溫度參數(shù)，用于縮放查詢與其它示例之間的距離。

42、較現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：

43、本發(fā)明提出一種基于無(wú)監(jiān)督擴(kuò)散模型的真實(shí)世界水下圖像增強(qiáng)方法，能夠有效校正顏色、提高對(duì)比度、增強(qiáng)細(xì)節(jié)。具體地：

44、本發(fā)明提出了一種結(jié)合生成對(duì)抗網(wǎng)絡(luò)和條件擴(kuò)散概率模型的雙向優(yōu)化方法，用于在沒(méi)有水下真實(shí)參考圖像的情況下進(jìn)行訓(xùn)練，其中，生成對(duì)抗網(wǎng)絡(luò)為擴(kuò)散過(guò)程提供結(jié)構(gòu)圖像和未知降質(zhì)因素的初步優(yōu)化，逆向擴(kuò)散過(guò)程進(jìn)一步彌合了降質(zhì)圖像和正常圖像之間的差距；

45、同時(shí)，為了指導(dǎo)更好的增強(qiáng)，在預(yù)增強(qiáng)結(jié)果和輸入圖像、增強(qiáng)結(jié)果和預(yù)增強(qiáng)結(jié)果之間引入分塊對(duì)比損失，充分利用學(xué)習(xí)到的領(lǐng)域相關(guān)特征分布的優(yōu)勢(shì)，通過(guò)對(duì)比約束學(xué)習(xí)深層特征空間中的圖像恢復(fù)；

46、此外，考慮到小波變換能夠?qū)D像分解成不同頻率的子帶，因此對(duì)低頻子帶設(shè)計(jì)條件去噪擴(kuò)散模型增強(qiáng)圖像的對(duì)比度，對(duì)高頻子帶設(shè)計(jì)高頻增強(qiáng)模塊豐富圖像的細(xì)節(jié)。