本發(fā)明屬于計算機視覺中的衛(wèi)星圖像超分辨率領(lǐng)域，具體涉及基于擴散模型的風(fēng)云四號衛(wèi)星圖像超分辨率重建方法。

背景技術(shù)：

1、基于插值的方法是超分辨率領(lǐng)域的經(jīng)典方法，通過在現(xiàn)有像素之間插入新的像素來實現(xiàn)圖像分辨率的提升。常見的插值算法包括雙線性插值、雙三次插值和樣條插值等。雙線性插值綜合考慮臨近四個像素的值，利用相鄰像素的線性加權(quán)平均值生成新像素，計算簡單且速度較快，但細(xì)節(jié)和紋理損失較多；雙三次插值則考慮了更大范圍的像素，并使用三次多項式進行插值，能產(chǎn)生更平滑、更自然的圖像效果，但仍存在邊緣模糊和偽影；樣條插值基于樣條函數(shù)的平滑性，進一步提升圖像質(zhì)量。這些基于插值的方法由于計算效率高、實現(xiàn)簡單，在許多實際應(yīng)用中廣泛使用，但其生成的圖像細(xì)節(jié)往往不如基于學(xué)習(xí)的方法豐富。

2、基于重建的方法旨在從低分辨率圖像中重建出高分辨率圖像，強調(diào)細(xì)節(jié)和紋理的恢復(fù)。這類方法通過結(jié)合圖像退化模型和先驗知識，利用多幀圖像信息或通過優(yōu)化過程，恢復(fù)出具有更高分辨率的圖像。典型的重建方法包括基于正則化的超分辨率（如稀疏表示和總變分正則化）和基于字典學(xué)習(xí)的方法。這些方法通過解決逆問題，迭代地重建出高分辨率圖像，相較于插值方法，能更好地恢復(fù)圖像的邊緣和細(xì)節(jié)，減少模糊和偽影。但其計算復(fù)雜度較高，對算法設(shè)計和先驗?zāi)Ｐ偷囊蕾囆砸哺鼜姟?/p>

3、srcnn（super-resolution?convolutional?neural?network）是一種用于圖像超分辨率的深度學(xué)習(xí)模型。該網(wǎng)絡(luò)通過端到端的訓(xùn)練，從低分辨率圖像中恢復(fù)出高分辨率圖像。srcnn由三層卷積層組成：第一個卷積層用于特征提取，第二個卷積層用于非線性映射，第三個卷積層用于重建高分辨率圖像。與傳統(tǒng)方法相比，srcnn具有更高的恢復(fù)質(zhì)量和更快的處理速度，廣泛應(yīng)用于圖像增強、醫(yī)療成像、衛(wèi)星圖像處理等領(lǐng)域。其簡單高效的架構(gòu)使其成為圖像超分辨率任務(wù)中的一個基準(zhǔn)模型。

4、espcn（efficient?sub-pixel?convolutional?neural?network）是一種用于圖像超分辨率的深度學(xué)習(xí)模型，其特點是通過亞像素卷積層（sub-pixel?convolution?layer）實現(xiàn)高效的上采樣。與傳統(tǒng)的插值方法不同，espcn在低分辨率圖像上進行卷積操作，并在最后一層通過亞像素卷積將低分辨率特征圖直接轉(zhuǎn)換為高分辨率圖像。這種方法不僅提高了計算效率，還減少了內(nèi)存消耗，同時實現(xiàn)了高質(zhì)量的圖像重建。espcn在超分辨率任務(wù)中表現(xiàn)優(yōu)異，廣泛應(yīng)用于視頻處理、監(jiān)控成像、衛(wèi)星圖像增強等領(lǐng)域。

5、srgan（super-resolution?generative?adversarial?network）是一種基于生成對抗網(wǎng)絡(luò)（gan）的圖像超分辨率模型。它通過生成器和判別器的對抗訓(xùn)練，從低分辨率圖像生成高分辨率圖像。生成器負(fù)責(zé)從低分辨率圖像生成逼真的高分辨率圖像，而判別器則評估圖像的真實性，促使生成器生成更高質(zhì)量的圖像。srgan的創(chuàng)新之處在于引入了感知損失（perceptual?loss），通過對比生成圖像與高分辨率真實圖像在預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)中的特征差異，提升了圖像的細(xì)節(jié)和視覺效果。srgan在圖像增強、醫(yī)療成像、衛(wèi)星圖像處理等領(lǐng)域表現(xiàn)出色。

6、以上三類超分辨率算法在對衛(wèi)星圖像進行超分辨率處理時都一定缺陷，基于插值的方法重建后的圖像存在明顯的邊緣模糊和細(xì)節(jié)缺失，放大因子越大，效果越差。基于重建的方法效果好但計算復(fù)雜度高，速度慢，對數(shù)據(jù)規(guī)模和硬件要求高。基于學(xué)習(xí)的方法盡管效果提升顯著，但大多數(shù)高效的重建方法計算復(fù)雜度高，依賴大量高質(zhì)量訓(xùn)練數(shù)據(jù)，且對硬件要求高，尤其是需要高性能的gpu或?qū)Ｓ糜布С?，模型?xùn)練難度大，其中生成對抗網(wǎng)絡(luò)（gan）等復(fù)雜模型在訓(xùn)練過程中容易出現(xiàn)不穩(wěn)定現(xiàn)象，導(dǎo)致重建效果不一致。

7、另外，風(fēng)云四號氣象衛(wèi)星在通道6、7上缺少1km的圖像，在可見光通道1km的數(shù)據(jù)中采集的圖像時間間隔為1小時，缺少用于精準(zhǔn)預(yù)測的氣象數(shù)據(jù)。

技術(shù)實現(xiàn)思路

1、由于風(fēng)云四號氣象衛(wèi)星在通道6、7上缺少1km的圖像，在可見光通道1km的數(shù)據(jù)中采集的圖像時間間隔為1小時，缺少用于精準(zhǔn)預(yù)測的氣象數(shù)據(jù)，并且針對衛(wèi)星圖像超分辨率現(xiàn)有技術(shù)的缺陷，本發(fā)明的目的在于提出一種基于擴散模型的風(fēng)云四號衛(wèi)星圖像超分辨率重建方法，以提高圖像細(xì)節(jié)和清晰度，降低計算復(fù)雜度，從而提高模型的處理速度以及穩(wěn)定性和魯棒性。

2、本基于擴散模型的風(fēng)云四號衛(wèi)星圖像超分辨率重建方法解決其技術(shù)問題所采用的技術(shù)方案為：

3、提供了基于擴散模型的風(fēng)云四號衛(wèi)星圖像超分辨率重建方法，包括：

4、對衛(wèi)星圖像進行預(yù)處理；

5、構(gòu)建包含一個gcu-unet網(wǎng)絡(luò)和一個sisr?diff擴散模型的ssisr-dm預(yù)測-去噪架構(gòu)；

6、ssisr-dm的整體框架包含潛狀態(tài)生成階段和反向擴散階段兩個階段：

7、第一階段基于的是一個加入注意力機制的u-net網(wǎng)絡(luò)，目的是得到hr圖像擴散過程中的中間隱狀態(tài)，同時加入一個幾何校正上采樣模塊，用以解決地球曲率和衛(wèi)星傳感器引起的幾何畸變問題并快速提升衛(wèi)星圖像的分辨率；

8、第二階段則基于去噪擴散概率模型，使用提前訓(xùn)練好的u-net網(wǎng)絡(luò)，通過反向擴散過程從第一階段生成的中間隱狀態(tài)中獲得hr圖像。

9、進一步的，所述的gcu-unet網(wǎng)絡(luò)是在unet網(wǎng)絡(luò)的基礎(chǔ)上加入了一個gcu幾何校正上采樣模塊，其結(jié)構(gòu)借鑒亞像素卷積層的理念，通過復(fù)制和卷積低分辨率圖像得到高分辨率圖像。

10、進一步的，具體的，所述的gcu幾何校正上采樣模塊通過將lr圖像復(fù)制五份分別進行卷積，然后重構(gòu)并填充四個邊緣和中心像素點，即可得到由單個像素點特征得來的4x4的像素塊。

11、進一步的，所述的sisr?diff擴散模型是在ddpm的基礎(chǔ)上引入部分去噪概念得到，其中unet網(wǎng)絡(luò)是用于預(yù)測擴散步驟前一步與后一步的差值，即噪聲。

12、進一步的，所述的sisr?diff擴散模型中噪聲曲線的設(shè)計選擇呈二次函數(shù)增長的噪聲系數(shù)。

13、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：

14、1、本發(fā)明示例的基于擴散模型的風(fēng)云四號衛(wèi)星圖像超分辨率重建方法，本研究是將sr任務(wù)分?jǐn)偝蓛刹糠?，既發(fā)揮了前一部分在預(yù)測圖像在整體特征和速度上的優(yōu)勢，又發(fā)揮了擴散模型生成細(xì)節(jié)的多樣性和對噪聲的魯棒性，從而降低了訓(xùn)練難度，提升了綜合效率。

15、2、本發(fā)明示例的基于擴散模型的風(fēng)云四號衛(wèi)星圖像超分辨率重建方法，通過gcu-unet網(wǎng)絡(luò)，解決了由地球曲率和傳感器姿態(tài)變化引起的幾何畸變問題，確保了重建圖像的準(zhǔn)確性和細(xì)節(jié)還原能力，與espcn相比，這一部分的目標(biāo)是高分辨率噪聲而非直接的hr圖像，因而只需保留lr圖像的有效性息并得到近似結(jié)果即可。

16、3、本發(fā)明示例的基于擴散模型的風(fēng)云四號衛(wèi)星圖像超分辨率重建方法，上采樣后hr圖像相應(yīng)位置的像素點特征與對應(yīng)lr圖像該像素點及其周圍高度相關(guān)，因此通過劃分各組卷積核感受野的范圍并加以區(qū)分，使其能夠負(fù)責(zé)生成固定位置的像素點。與espcn中的亞像素卷積層相比，進一步降低了參數(shù)量，保留了盡可能多的lr圖片特征。

17、4、本發(fā)明示例的基于擴散模型的風(fēng)云四號衛(wèi)星圖像超分辨率重建方法，通過sisrdiff擴散模型，減少了去噪步驟，顯著降低了計算復(fù)雜度。

18、5、本發(fā)明示例的基于擴散模型的風(fēng)云四號衛(wèi)星圖像超分辨率重建方法，二次函數(shù)相對于平方根函數(shù)的測試集誤差比更低，有效抑制了過擬合的現(xiàn)象。

19、