本發(fā)明涉及計算機(jī)視覺，尤其涉及一種基于擴(kuò)散模型的遙感圖像超分辨率重建方法及系統(tǒng)。

背景技術(shù)：

1、遙感技術(shù)作為一種通過傳感器獲取地球表面信息的手段，已經(jīng)成為地球科學(xué)和環(huán)境監(jiān)測領(lǐng)域的重要工具。遙感圖像是通過各種傳感器（如衛(wèi)星、飛機(jī)、無人機(jī)等）獲取的地球表面信息的數(shù)字圖像，遙感圖像可以提供豐富的地表信息，包括地形、土地利用、植被覆蓋、水文情況等。因此，在農(nóng)業(yè)、城市規(guī)劃、資源管理、環(huán)境監(jiān)測等領(lǐng)域，遙感圖像都發(fā)揮著重要作用。例如，在農(nóng)業(yè)領(lǐng)域，遙感圖像可以用于監(jiān)測農(nóng)田的植被生長情況，指導(dǎo)農(nóng)作物的管理和收獲。在城市規(guī)劃中，遙感圖像可以提供城市擴(kuò)張的動態(tài)信息，幫助規(guī)劃者合理規(guī)劃城市布局和交通網(wǎng)絡(luò)。

2、隨著遙感技術(shù)的不斷發(fā)展，獲取的遙感圖像數(shù)量和分辨率也不斷增加。但是，在實際應(yīng)用中，由于設(shè)備或數(shù)據(jù)傳輸?shù)某杀镜南拗?，遙感圖像的分辨率仍面臨著挑戰(zhàn)。為了解決這一問題，遙感圖像超分辨率技術(shù)應(yīng)運(yùn)而生，其中基于卷積神經(jīng)網(wǎng)絡(luò)（convolutionalneural?network，cnn）、基于生成對抗網(wǎng)絡(luò)（generative?adversarial?networks，gan）和基于擴(kuò)散模型（diffusion?models，dm）的超分辨率方法被廣泛使用。相較于基于cnn的方法，基于擴(kuò)散模型的方法更注重保持圖像的細(xì)節(jié)和結(jié)構(gòu)信息，重建的圖像不會過度平滑，更貼近真實圖像。而與基于gan的方法相比較，基于擴(kuò)散模型的方法在訓(xùn)練階段則不需要進(jìn)行復(fù)雜的對抗訓(xùn)練，訓(xùn)練過程穩(wěn)定且不易發(fā)生訓(xùn)練崩潰現(xiàn)象，模型結(jié)構(gòu)也易于實現(xiàn)和調(diào)整。

3、目前較為主流的基于擴(kuò)散模型的圖像超分辨率方法之一是sr3，該方法將去噪擴(kuò)散概率模型應(yīng)用于圖像到圖像的轉(zhuǎn)換，并通過隨機(jī)迭代去噪過程實現(xiàn)超分辨率。然而，sr3模型的參數(shù)量較大，資源消耗也相對較大，且難以生成更高質(zhì)量的超分辨率遙感圖像，在視覺效果上仍有待進(jìn)一步優(yōu)化。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供了一種基于擴(kuò)散模型的遙感圖像超分辨率重建方法及系統(tǒng)，用于解決現(xiàn)有超分辨率方法難以生成更高質(zhì)量的超分辨率遙感圖像，導(dǎo)致遙感圖像的視覺效果較差的技術(shù)問題。

2、本發(fā)明提供了一種基于擴(kuò)散模型的遙感圖像超分辨率重建方法，包括：

3、獲取原始遙感圖像和遙感訓(xùn)練數(shù)據(jù)集；

4、構(gòu)建超分辨率網(wǎng)絡(luò)模型，并通過所述遙感訓(xùn)練數(shù)據(jù)集訓(xùn)練超分辨率網(wǎng)絡(luò)模型，得到訓(xùn)練完成的超分辨率網(wǎng)絡(luò)模型；其中，超分辨率網(wǎng)絡(luò)模型由擴(kuò)散模型、條件特征增強(qiáng)模塊和噪聲預(yù)測網(wǎng)絡(luò)模型組成；

5、將所述原始遙感圖像輸入至訓(xùn)練完成的超分辨率網(wǎng)絡(luò)模型中，通過所述擴(kuò)散模型對所述原始遙感圖像進(jìn)行反向擴(kuò)散以實現(xiàn)去噪，在去噪過程中通過所述條件特征增強(qiáng)模塊補(bǔ)充遙感圖像高頻細(xì)節(jié)并通過所述噪聲預(yù)測網(wǎng)絡(luò)模型優(yōu)化去噪過程，得到超分辨率遙感圖像。

6、具體的，所述遙感訓(xùn)練數(shù)據(jù)集包括多組高分辨率遙感圖像和相應(yīng)的低分辨率遙感圖像成對數(shù)據(jù)；所述超分辨率網(wǎng)絡(luò)模型的訓(xùn)練過程包括：

7、通過所述擴(kuò)散模型對高分辨率遙感圖像添加高斯噪聲以實現(xiàn)前向擴(kuò)散，得到多個對應(yīng)不同時間步的參考噪聲圖像；

8、以前向擴(kuò)散過程生成的最后一個參考噪聲圖像作為輸入噪聲圖像，并通過卷積操作，提取到輸入噪聲圖像的初始淺特征的第一特征圖；

9、將低分辨率遙感圖像和純噪聲輸入至所述條件特征增強(qiáng)模塊，得到富含遙感圖像高頻細(xì)節(jié)的第二特征圖；

10、融合第一特征圖和所述第二特征圖，得到第三特征圖并輸入至所述噪聲預(yù)測網(wǎng)絡(luò)模型進(jìn)行噪聲預(yù)測，預(yù)測出當(dāng)前時間步所加的預(yù)測噪聲；

11、將當(dāng)前時間步的輸入噪聲圖像減去當(dāng)前時間步所加的預(yù)測噪聲，得到上一個時間步長的預(yù)測噪聲圖像，并將預(yù)測噪聲圖像與同一時間步的參考噪聲圖像進(jìn)行比對反饋以更新擴(kuò)散模型的反向擴(kuò)散；

12、以上一個時間步長的預(yù)測噪聲圖像作為新的，并跳轉(zhuǎn)至通過卷積操作，得到提取到輸入噪聲圖像的初始淺特征的第一特征圖的步驟；直至擴(kuò)散模型在反向擴(kuò)散生成的時間步長為0的圖像與所述高分辨率遙感圖像的相似度滿足預(yù)設(shè)條件。

13、具體的，所述擴(kuò)散模型的前向擴(kuò)散的執(zhí)行步驟包括：對高分辨率遙感圖像逐步添加高斯噪聲直至完全變成高斯噪聲圖像；

14、所述擴(kuò)散模型的前向擴(kuò)散的執(zhí)行步驟包括：對高斯噪聲圖像不斷去除噪聲，直至恢復(fù)到原來的高分辨率圖像；

15、其中，所述擴(kuò)散模型的前向擴(kuò)散過程表示為：

16、

17、式中：和均是隨時間t變化的參數(shù)，分別控制均值回歸和隨機(jī)波動的速度，u表示經(jīng)雙三次插值上采樣后的低分辨率圖像，x表示當(dāng)前狀態(tài)的圖像，w表示標(biāo)準(zhǔn)維納過程；

18、所述擴(kuò)散模型的反向擴(kuò)散過程表示為：

19、

20、式中：表示推理階段的ground-truth分?jǐn)?shù)，表示逆時維納過程。

21、具體的，所述條件特征增強(qiáng)模塊由連接層、卷積層、relu函數(shù)模塊、多通道特征融合注意力模塊和上采樣模塊組成；所述將低分辨率遙感圖像和純噪聲輸入至所述條件特征增強(qiáng)模塊，得到富含遙感圖像高頻細(xì)節(jié)的第二特征圖的步驟，包括：

22、通過連接層將低分辨率遙感圖像和純噪聲進(jìn)行連接，連接后的圖像經(jīng)過卷積層進(jìn)行3x3卷積操作和relu函數(shù)模塊進(jìn)行淺特征提取和激活處理，提取到初級特征的初級特征圖；

23、通過n個多通道特征融合注意力模塊對初級特征圖進(jìn)行深層高頻特征提取，得到富含高頻細(xì)節(jié)的次級特征圖；其中，n為正整數(shù)；

24、將所述初級特征和所述次級特征圖進(jìn)行殘差運(yùn)算，將殘差運(yùn)算結(jié)果進(jìn)行3x3卷積操作和最近鄰插值法上采樣將特征圖上采樣操作，得到富含遙感圖像高頻細(xì)節(jié)的第二特征圖。

25、具體的，所述多通道特征融合注意力模塊由卷積層、連續(xù)殘差卷積塊和高頻通道注意力塊組成；所述多通道特征融合注意力模塊的運(yùn)算步驟，包括：

26、通過卷積層將輸入進(jìn)行1x1卷積操作，并劃分成4個16維通道的特征圖；

27、采用49到64維通道的特征圖進(jìn)行連續(xù)殘差卷積操作，生成新的16維通道的特征圖；將新的16維通道的特征圖與最初的33到48維通道的特征圖進(jìn)行連續(xù)殘差卷積操作，生成新的32維通道的特征圖；將新的32維通道的特征圖與最初的17到32維通道的特征圖進(jìn)行連續(xù)殘差卷積操作，生成新的48維通道的特征圖；將新的48維通道的特征圖與最初的1到16維通道的特征圖進(jìn)行1x1的卷積操作，生成新的64維通道的特征圖；

28、通過高頻通道注意力塊對新的64維通道的特征圖進(jìn)行池化處理，并將經(jīng)過高頻通道注意力塊的特征圖與初級特征圖進(jìn)行殘差運(yùn)算，得到含有高頻細(xì)節(jié)的64維通道的特征圖。

29、具體的，所述噪聲預(yù)測網(wǎng)絡(luò)模型由編碼器、中間層和解碼器組成；所述融合第一特征圖和所述第二特征圖，得到第三特征圖并輸入至所述噪聲預(yù)測網(wǎng)絡(luò)模型進(jìn)行噪聲預(yù)測，預(yù)測出當(dāng)前時間步所加的預(yù)測噪聲的步驟，包括：

30、將第一特征圖和所述第二特征圖進(jìn)行相加操作，得到融合后的第三特征圖；

31、將所述第三特征圖輸入所述噪聲預(yù)測網(wǎng)絡(luò)模型中，依次經(jīng)過多個編碼器、中間層和多個解碼器；在編碼過程中，依次經(jīng)過四次的編碼器運(yùn)算和步長為2的2×2卷積層的下采樣操作；在解碼過程中，依次經(jīng)過四次的解碼器運(yùn)算、步長為1的3×3的卷積層和最近鄰插值法2倍上采樣操作。

32、具體的，所述編碼器、中間層和解碼器均由多尺度噪聲提取預(yù)測模塊組成；所述多尺度噪聲提取預(yù)測模塊的運(yùn)算過程包括：

33、將輸入依次經(jīng)過層標(biāo)準(zhǔn)化操作、第一1x1卷積操作、三種不同感受野的膨脹卷積運(yùn)算、簡單門操作、簡單通道注意力運(yùn)算、1x1卷積操作、層標(biāo)準(zhǔn)化操作、第二1x1卷積操作、簡單門操作和第三1x1卷積操作；其中，由當(dāng)前時間步長經(jīng)過多層感知機(jī)生成的參數(shù)來調(diào)整所述第一1x1卷積操作和所述第三1x1卷積操作的輸入。

34、本發(fā)明第二方面提供了一種基于擴(kuò)散模型的遙感圖像超分辨率重建系統(tǒng)，包括：

35、獲取模塊，用于獲取原始遙感圖像和遙感訓(xùn)練數(shù)據(jù)集；

36、超分辨率網(wǎng)絡(luò)模型訓(xùn)練模塊，用于構(gòu)建超分辨率網(wǎng)絡(luò)模型，并通過所述遙感訓(xùn)練數(shù)據(jù)集訓(xùn)練超分辨率網(wǎng)絡(luò)模型，得到訓(xùn)練完成的超分辨率網(wǎng)絡(luò)模型；其中，超分辨率網(wǎng)絡(luò)模型由擴(kuò)散模型、條件特征增強(qiáng)模塊和噪聲預(yù)測網(wǎng)絡(luò)模型組成；

37、超分辨率遙感圖像生成模塊，用于將所述原始遙感圖像輸入至訓(xùn)練完成的超分辨率網(wǎng)絡(luò)模型中，通過所述擴(kuò)散模型對所述原始遙感圖像進(jìn)行反向擴(kuò)散以實現(xiàn)去噪，在去噪過程中通過所述條件特征增強(qiáng)模塊補(bǔ)充遙感圖像高頻細(xì)節(jié)并通過所述噪聲預(yù)測網(wǎng)絡(luò)模型優(yōu)化去噪過程，得到超分辨率遙感圖像。

38、本發(fā)明第三方面提供了一種計算機(jī)設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)如上任一所述的基于擴(kuò)散模型的遙感圖像超分辨率重建方法的步驟。

39、本發(fā)明第四方面提供了一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其特征在于，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)如上任一所述的基于擴(kuò)散模型的遙感圖像超分辨率重建方法的步驟。

40、從以上技術(shù)方案可以看出，本發(fā)明具有以下優(yōu)點：

41、本發(fā)明提供了一種基于擴(kuò)散模型的遙感圖像超分辨率重建方法及系統(tǒng)，其中方法包括：獲取原始遙感圖像和遙感訓(xùn)練數(shù)據(jù)集；構(gòu)建超分辨率網(wǎng)絡(luò)模型，并通過遙感訓(xùn)練數(shù)據(jù)集訓(xùn)練超分辨率網(wǎng)絡(luò)模型，得到訓(xùn)練完成的超分辨率網(wǎng)絡(luò)模型；其中，超分辨率網(wǎng)絡(luò)模型由擴(kuò)散模型、條件特征增強(qiáng)模塊和噪聲預(yù)測網(wǎng)絡(luò)模型組成；將原始遙感圖像輸入至訓(xùn)練完成的超分辨率網(wǎng)絡(luò)模型中，通過擴(kuò)散模型對原始遙感圖像進(jìn)行反向擴(kuò)散以實現(xiàn)去噪，在去噪過程中通過條件特征增強(qiáng)模塊補(bǔ)充遙感圖像高頻細(xì)節(jié)并通過噪聲預(yù)測網(wǎng)絡(luò)模型優(yōu)化去噪過程，得到超分辨率遙感圖像。

42、在本發(fā)明中，借助擴(kuò)散模型實現(xiàn)更穩(wěn)定的訓(xùn)練效果，且通過條件特征增強(qiáng)模塊有效提取遙感圖像高頻細(xì)節(jié)，使擴(kuò)散模型的去噪過程中更多高頻細(xì)節(jié)被恢復(fù)補(bǔ)充，通過噪聲預(yù)測網(wǎng)絡(luò)模型高效地預(yù)測和去除噪聲，從而優(yōu)化去噪過程。采用本方法能生成更高質(zhì)量的超分辨率遙感圖像，從而提高遙感圖像重建后的視覺效果，解決了現(xiàn)有超分辨率方法難以生成更高質(zhì)量的超分辨率遙感圖像，導(dǎo)致遙感圖像的視覺效果較差的技術(shù)問題。