本發(fā)明涉及圖像處理領域，具體涉及一種多時相光學遙感影像厚云去除模型、方法及裝置。

背景技術：

1、隨著遙感技術的快速發(fā)展，光學遙感影像因其豐富的空間、光譜和時間信息，已經(jīng)被廣泛應用于地球觀測任務中。例如土地覆蓋分類、目標檢測和環(huán)境監(jiān)測等領域。然而，由于成像設備與外部環(huán)境的影響，獲取到的光學遙感影像往往會受到云的影響，特別是厚云層，嚴重影響了下游任務的應用。

2、厚云去除方法主要包括基于空間、光譜、時間的方法?；诳臻g的方法僅利用圖像間的空間信息，通過圖像補繪技術來重建缺失的信息；代表性方法有插值法、變分法、偏微分方程法和基于示例的方法；然而，當遙感圖像的缺失信息較大時，無法保證重建精度?；诠庾V的方法利用不同光譜數(shù)據(jù)之間的高度相關性，可以高精度地恢復缺失的光譜數(shù)據(jù)；但是，這些方法無法處理厚厚的云層覆蓋，因為厚云去除任務中的光譜波段可能全部丟失。由于衛(wèi)星可以在不同的時間間隔內(nèi)獲取同一區(qū)域的圖像；因此，它們?yōu)槎鄷r相遙感影像的云去除任務提供了可靠的參考數(shù)據(jù)，基于時間的方法被廣泛用于厚云去除，但其中大部分方法是基于現(xiàn)有的cnn，沒有克服多時相遙感影像間的時間差異的影像，導致影像修復后出現(xiàn)偽影并且現(xiàn)有的cnn在提取信息的能力有所欠缺，導致重建厚云區(qū)域的信息效果不佳。

技術實現(xiàn)思路

1、本發(fā)明提供一種多時相光學遙感影像厚云去除模型、方法及裝置，基于重新設計的cnn，實現(xiàn)被厚云污染區(qū)域的遙感影像的重建，解決現(xiàn)有技術中無法較好克服多時相遙感影像中時間差異的影響、信息提取能力差，導致重建厚云遮擋區(qū)域結果較差的問題。

2、本發(fā)明解決上述技術問題的技術方案如下：一種多時相光學遙感影像厚云去除模型，包括依次連接的特征提取模塊、特征融合模塊和圖像重建模塊；

3、所述特征提取模塊用于對待處理的多時相衛(wèi)星影像依次進行非線性特征提取、通道數(shù)調(diào)整以及多尺度特征提取，得到多尺度特征；

4、所述特征融合模塊用于將所述多尺度特征依次進行尺度壓縮、求和運算以及基于自我注意的卷積調(diào)制操作，得到全局信息；

5、所述圖像重建模塊用于對所述全局信息依次進行上采樣和仿射變換，得到調(diào)制特征，并對所述調(diào)制特征依次進行低頻信息轉(zhuǎn)高頻信息處理以及高頻信息重構處理，得到無云圖像。

6、在上述技術方案的基礎上，本發(fā)明還可以做如下改進。

7、進一步，所述特征提取模塊包括依次連接的第一卷積層、第二卷積層、瓶頸層和多尺度融合卷積層；其中，

8、所述第一卷積層后層疊有第一實列歸一化層和第一激活函數(shù)層，所述第二卷積層后層疊有第二實列歸一化層和第二激活函數(shù)層；

9、所述瓶頸層由殘差連接并權值共享的第三卷積層、第四卷積層和第五卷積層依次連接構成，且所述第三卷積層、所述第四卷積層和所述第五卷積層后均配置有一個校正線性函數(shù)；

10、所述多尺度融合卷積層包括依次連接的第六卷積層、cmconv層和全連接層；所述第六卷積層后層疊有第一批量標準化層和第三激活函數(shù)層，所述cmconv層后層疊有第二批量標準化層和第四激活函數(shù)層；所述cmconv層包括依次層疊的第一空洞卷積層、第二空洞卷積層和第七卷積層。

11、進一步，在所述多尺度融合卷積層中，所述第六卷積層輸出的特征圖表示為，

12、

13、其中，fh,w,c′表示所述第六卷積層輸出的特征圖，且fh,w,c′∈rc′×h×w；xh+i-1,w+j-1,c表示所述瓶頸層輸出的特征圖，且xh+i-1,w+j-1,c∈rc×h×w；表示所述第六卷積層的卷積核，且k表示所述第六卷積層中卷積核的大小，c表示輸入通道的總數(shù)，c′表示輸出通道的總數(shù)，c和c′分別表示一個輸入通道和一個輸出通道的索引，i和j表示所述第六卷積層的卷積核的空間位置，h和w表示特征圖的空間位置。

14、進一步，所述特征融合模塊包括依次連接的拼接操作層、深度可分離卷積層、transformer層和前饋網(wǎng)絡層；

15、所述深度可分離卷積層包括依次連接的深度卷積層、第三批量標準化層、第五激活函數(shù)層、第八卷積層、第四批量標準化層和第六激活函數(shù)層；

16、所述transformer層包括第一線性層以及依次連接的第二線性層、可變形卷積層、哈達瑪積層和第三線性層，所述第一線性層與所述第二線性層并列并與所述哈達瑪積層連接。

17、進一步，所述拼接操作層具體為平均池化層，所述拼接操作層的輸出為h(fi)；其中，fi代表所述特征提取模塊輸出的多尺度特征，h()代表自適應的平均池化層；

18、所述深度可分離卷積層的輸出表示為，

19、

20、其中，fms表示所述深度可分離卷積層的輸出；

21、所述transformer層的輸出表示為，

22、fa＝fms+αw3(dconvk×k(w2fms)·w1fms)#；

23、其中，fa表示所述transformer層的輸出，α表示一個可學習的參數(shù)，dconvk×k表示帶有大核卷積的所述可變形卷積層，w1、w2和w3分別表示所述第一線性層、第二線性層和第三線性層；

24、所述前饋網(wǎng)絡包括一個深度分離卷積層和兩個線性層，所述前饋網(wǎng)絡的輸出為：

25、fg＝fa+βv2(v1fa+d′convk×k(v1fa))#；

26、其中，fg表示所述前饋網(wǎng)絡的輸出，即為所述全局信息；β表示一個可學習的參數(shù)，v1和v2表示所述前饋網(wǎng)絡中的兩個線性層，d′convk×k表示所述前饋網(wǎng)絡中的深度分離卷積層。

27、進一步，所述圖像重建模塊包括依次層疊的特征調(diào)制層、子像素卷積層和第九卷積層。

28、進一步，所述調(diào)制特征表示為，

29、

30、其中，fi″表示所述調(diào)制特征，z1、z2和z3均表示所述特征調(diào)制層中的線性層，σ表示所述特征調(diào)制層中的激活函數(shù)，表示最近鄰插值，fg表示所述全局信息，fi′表示通過最近鄰上采樣方法對fg進行上采樣而獲得的空間維度特征；

31、所述無云圖像表示為，

32、il＝g(sub(fi″))#；

33、其中，il表示所述無云圖像，sub表示所述子像素卷積層，g表示所述第九卷積層。

34、基于上述一種多時相光學遙感影像厚云去除模型，本發(fā)明還提供一種多時相光學遙感影像厚云去除方法。

35、一種多時相光學遙感影像厚云去除方法，應用于上述所述的多時相光學遙感影像厚云去除模型，包括以下步驟，

36、s1，獲取厚云遮擋多時相光學遙感影像樣本和無云參考影像樣本，以構建多時相遙感圖像數(shù)據(jù)集；

37、s2，將所述多時相遙感圖像數(shù)據(jù)集中的厚云遮擋多時相光學遙感影像樣本作為輸入，以所述多時相遙感圖像數(shù)據(jù)集中的無云參考影像樣本作為參考對所述多時相光學遙感影像厚云去除模型進行監(jiān)督訓練，得到最佳的多時相光學遙感影像厚云去除模型；

38、s3，利用最佳的多時相光學遙感影像厚云去除模型對待處理的多時相衛(wèi)星影像進行去厚云處理，得到無云圖像。

39、在上述技術方案的基礎上，本發(fā)明還可以做如下改進。

40、進一步，將0～5％的遮蓋率的云覆蓋影像作為所述無云參考影像樣本；將10～100％的遮蓋率的云覆蓋影像作為所述厚云遮擋多時相光學遙感影像樣本。

41、基于上述一種多時相光學遙感影像厚云去除方法，本發(fā)明還提供一種多時相光學遙感影像厚云去除裝置。

42、一種多時相光學遙感影像厚云去除裝置，包括處理器、存儲器以及存儲在所述存儲器內(nèi)的計算機程序，所述計算機程序被所述處理器執(zhí)行時實現(xiàn)上述所述的多時相光學遙感影像厚云去除方法。

43、本發(fā)明的有益效果是：在本發(fā)明一種多時相光學遙感影像厚云去除模型、方法及裝置中，重新設計了基于卷積神經(jīng)網(wǎng)絡的多時相光學遙感影像厚云去除模型，利用特征提取、特征融合和圖像重建這三階段網(wǎng)絡結構實現(xiàn)被厚云污染區(qū)域的遙感影像的重建，提高厚云遮擋下的光譜信息恢復和語義信息的保持能力，進一步提高去云性能。