本發(fā)明涉及衛(wèi)星遙感?，尤其涉及一種多數(shù)據(jù)源遙感圖像空譜融合方法、裝置、設備及介質(zhì)。

背景技術：

1、目前遙感圖像空譜融合技術涵蓋了傳統(tǒng)方法和深度學習方法兩大主流。傳統(tǒng)融合方法包括成分替換法、多分辨分析法和變分優(yōu)化法，主要通過ihs、pca等算法實現(xiàn)pan和ms圖像的信息融合。這些方法在復雜地物類型的非線性表征能力方面存在局限性。然而，目前傳統(tǒng)方法大多是一種線性模型，很難有效地擬合兩者圖像之間的融合過程，易出現(xiàn)空間變形和光譜扭曲問題。而一般的有監(jiān)督深度學習方法缺少理想的融合結果作為參考標簽，模擬參考標簽的制作過程步驟繁瑣且易造成全色圖像空間信息的丟失，并且在融合過程中忽略了模擬數(shù)據(jù)與真實數(shù)據(jù)之間的尺度差異，往往會存在一定程度的信息失真，融合結果的光譜質(zhì)量和空間質(zhì)量也很難取得較好的平衡，同時，訓練和測試模型通常僅限于單一特定傳感器類型的數(shù)據(jù)，例如僅使用gf-2數(shù)據(jù)進行訓練和測試。該方式的數(shù)據(jù)較為單一，訓練出的網(wǎng)絡模型很難具有普適性。

技術實現(xiàn)思路

1、本發(fā)明提供一種多數(shù)據(jù)源遙感圖像空譜融合方法、裝置、設備及介質(zhì)，用以解決相關技術中易出現(xiàn)空間變形和光譜扭曲且訓練數(shù)據(jù)來源單一，且過程步驟繁瑣且易造成全色圖像空間信息的丟失，并且存在一定程度的信息失真，在融合結果的光譜質(zhì)量和空間質(zhì)量方面也很難取得較好的平衡的問題。

2、本發(fā)明提供一種多數(shù)據(jù)源遙感圖像空譜融合方法，包括如下步驟。

3、獲取用于圖像空譜融合的原始圖像；

4、將原始圖像輸入至多數(shù)據(jù)源遙感圖像空譜融合網(wǎng)絡，得到融合圖像；

5、其中，多數(shù)據(jù)源遙感圖像空譜融合通過如下方法進行訓練：

6、通過多個傳感器組獲取不同規(guī)格的多組全色圖像pan和不同規(guī)格的多組多光譜圖像ms；

7、將多組pan和多組ms輸入至初始多數(shù)據(jù)源遙感圖像空譜融合網(wǎng)絡中進行訓練，得到多數(shù)據(jù)源遙感圖像空譜融合網(wǎng)絡。

8、根據(jù)本發(fā)明提供的一種多數(shù)據(jù)源遙感圖像空譜融合方法，多數(shù)據(jù)源遙感圖像空譜融合網(wǎng)絡包括多個依次層級連接的雙流融合層，則將多組pan和多組ms輸入至初始多數(shù)據(jù)源遙感圖像空譜融合網(wǎng)絡中進行訓練，得到多數(shù)據(jù)源遙感圖像空譜融合網(wǎng)絡，包括：

9、對多組ms進行上采樣，得到多組上采樣ms；

10、將多組pan、多組ms和多組上采樣ms依次輸入多個雙流融合層依次進行編碼、信息交互融合和解碼；

11、將多組pan、多組ms和多組上采樣ms，以及解碼后得到的多組目標pan和多組目標ms輸入至下一個雙流融合層，直至得到多數(shù)據(jù)源遙感圖像空譜融合網(wǎng)絡。

12、根據(jù)本發(fā)明提供的一種多數(shù)據(jù)源遙感圖像空譜融合方法，每個雙流融合層中包括第一編碼模塊、第一解碼模塊、u型多通道拼接模塊、信息交互融合模塊和第二解碼模塊，則將多組pan、多組ms和多組上采樣ms依次輸入多個雙流融合層依次進行編碼、信息交互融合和解碼，包括：

13、在每個雙流融合層中，將多組pan輸入第一編碼模塊進行編碼，得到第一特征信息；

14、將多組ms和多組上采樣ms輸入u型多通道拼接模塊進行編碼，得到第二特征信息；

15、將第一特征信息和第二特征信息在信息交互融合模塊中進行信息交互融合，得到第三特征信息；

16、將多組pan和第一特征信息在第一解碼模塊中解碼，得到目標pan；

17、將第三特征信息在第二解碼模塊中解碼，得到目標ms。

18、根據(jù)本發(fā)明提供的一種多數(shù)據(jù)源遙感圖像空譜融合方法，將第一特征信息和第二特征信息在信息交互融合模塊中進行信息交互融合，得到第三特征信息，包括：

19、通過如下公式對第一特征信息和第二特征信息進行信息交互融合，得到第三特征信息：

20、；

21、；

22、；

23、；

24、其中，和分別表示在第個雙流融合層中提取的第一特征信息和第二特征信息，s表示sigmoid?函數(shù)，表示元素乘法運算，表示第個雙流融合層中得到的第三特征信息。

25、根據(jù)本發(fā)明提供的一種多數(shù)據(jù)源遙感圖像空譜融合方法，通過多個傳感器組獲取不同規(guī)格的多組全色圖像pan和不同規(guī)格的多組多光譜圖像ms之后，方法還包括：

26、對多組pan進行梯度引導。

27、根據(jù)本發(fā)明提供的一種多數(shù)據(jù)源遙感圖像空譜融合方法，對多組pan進行梯度引導，包括：

28、利用拉普拉斯算子通過如下公式對多組pan進行梯度引導：

29、；

30、；

31、；

32、其中，表示pan。

33、根據(jù)本發(fā)明提供的一種多數(shù)據(jù)源遙感圖像空譜融合方法，多數(shù)據(jù)源遙感圖像空譜融合網(wǎng)絡是基于目標損失函數(shù)通過自監(jiān)督方式訓練獲取的，目標損失函數(shù)是基于空間度量函數(shù)和光譜度量函數(shù)構建的，空間度量函數(shù)用于評估第一殘差概率分布和第二殘差概率分布之間的差異度，第一殘差概率分布是基于多組pan和目標融合圖像確定的，第二殘差概率分布是基于多組ms和多光譜圖像ms對應的灰度圖像確定的；

34、光譜度量函數(shù)用于評估多組ms與目標融合圖像之間的光譜角度差異。

35、本發(fā)明還提供一種多數(shù)據(jù)源遙感圖像空譜融合裝置，包括如下模塊：

36、獲取模塊，用于獲取用于圖像空譜融合的原始圖像；

37、融合模塊，用于將原始圖像輸入至多數(shù)據(jù)源遙感圖像空譜融合網(wǎng)絡，得到融合圖像；

38、訓練模塊，用于通過多個傳感器組獲取不同規(guī)格的多組全色圖像pan和不同規(guī)格的多組多光譜圖像ms；

39、訓練模塊還用于將多組pan和多組ms輸入至多數(shù)據(jù)源遙感圖像空譜融合網(wǎng)絡中，得到多數(shù)據(jù)源遙感圖像空譜融合網(wǎng)絡輸出。

40、根據(jù)本發(fā)明提供的一種多數(shù)據(jù)源遙感圖像空譜融合裝置，多數(shù)據(jù)源遙感圖像空譜融合網(wǎng)絡包括多個依次層級連接的雙流融合層，則訓練模塊具體用于：

41、對多組ms進行上采樣，得到多組上采樣ms；

42、將多組pan、多組ms和多組上采樣ms依次輸入多個雙流融合層依次進行編碼、信息交互融合和解碼；

43、將多組pan、多組ms和多組上采樣ms，以及解碼后得到的多組目標pan和多組目標ms輸入至下一個雙流融合層，直至得到多數(shù)據(jù)源遙感圖像空譜融合網(wǎng)絡。

44、根據(jù)本發(fā)明提供的一種多數(shù)據(jù)源遙感圖像空譜融合裝置，每個雙流融合層中包括第一編碼模塊、第一解碼模塊、u型多通道拼接模塊、信息交互融合模塊和第二解碼模塊，則訓練模塊具體用于：

45、在每個雙流融合層中，將多組pan輸入第一編碼模塊進行編碼，得到第一特征信息；

46、將多組ms和多組上采樣ms輸入u型多通道拼接模塊進行編碼，得到第二特征信息；

47、將第一特征信息和第二特征信息在信息交互融合模塊中進行信息交互融合，得到第三特征信息；

48、將多組pan和第一特征信息在第一解碼模塊中解碼，得到目標pan；

49、將第三特征信息在第二解碼模塊中解碼，得到目標ms。

50、根據(jù)本發(fā)明提供的一種多數(shù)據(jù)源遙感圖像空譜融合裝置，訓練模塊具體用于：

51、通過如下公式對第一特征信息和第二特征信息進行信息交互融合，得到第三特征信息：

52、；

53、；

54、；

55、；

56、其中，和分別表示在第個雙流融合層中提取的第一特征信息和第二特征信息，s表示sigmoid?函數(shù)，表示元素乘法運算，表示第個雙流融合層中得到的第三特征信息。

57、根據(jù)本發(fā)明提供的一種多數(shù)據(jù)源遙感圖像空譜融合裝置，訓練模塊還用于：

58、對多組pan進行梯度引導。

59、根據(jù)本發(fā)明提供的一種多數(shù)據(jù)源遙感圖像空譜融合裝置，訓練模塊具體用于：

60、利用拉普拉斯算子通過如下公式對多組pan進行梯度引導：

61、；

62、；

63、；

64、其中，表示pan。

65、根據(jù)本發(fā)明提供的一種多數(shù)據(jù)源遙感圖像空譜融合裝置，在訓練模塊中，多數(shù)據(jù)源遙感圖像空譜融合網(wǎng)絡是基于目標損失函數(shù)通過自監(jiān)督方式訓練獲取的，目標損失函數(shù)是基于空間度量函數(shù)和光譜度量函數(shù)構建的，空間度量函數(shù)用于評估第一殘差概率分布和第二殘差概率分布之間的差異度，第一殘差概率分布是基于多組pan和目標融合圖像確定的，第二殘差概率分布是基于多組ms和多光譜圖像ms對應的灰度圖像確定的；

66、光譜度量函數(shù)用于評估多組ms與目標融合圖像之間的光譜角度差異。

67、本發(fā)明還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，處理器執(zhí)行程序時實現(xiàn)如上述任一種多數(shù)據(jù)源遙感圖像空譜融合方法。

68、本發(fā)明還提供一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一種多數(shù)據(jù)源遙感圖像空譜融合方法。

69、本發(fā)明還提供一種計算機程序產(chǎn)品，包括計算機程序，計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一種多數(shù)據(jù)源遙感圖像空譜融合方法。

70、本發(fā)明提供的多數(shù)據(jù)源遙感圖像空譜融合方法，首先獲取用于圖像空譜融合的原始圖像，然后將原始圖像輸入至多數(shù)據(jù)源遙感圖像空譜融合網(wǎng)絡，得到融合圖像，其中對于多數(shù)據(jù)源遙感圖像空譜融合網(wǎng)絡的訓練過程如下，首先通過多個傳感器組獲取不同規(guī)格的多組全色圖像pan和不同規(guī)格的多組多光譜圖像ms，然后將多組pan和多組ms輸入至初始多數(shù)據(jù)源遙感圖像空譜融合網(wǎng)絡中，得到多數(shù)據(jù)源遙感圖像空譜融合網(wǎng)絡。運用本發(fā)明實施例提供的方法，能夠根據(jù)原始圖像的特性，利用訓練好的多數(shù)據(jù)源遙感圖像空譜融合網(wǎng)絡對空間特征和光譜特征進行交互融合，從而更加精準更有針對性地進行特征的表達和重構，提升使用多數(shù)據(jù)源遙感圖像空譜融合網(wǎng)絡輸出的衛(wèi)星圖像的質(zhì)量，同時，通過使用多組來自不同傳感器的數(shù)據(jù)對網(wǎng)絡進行訓練，增加訓練網(wǎng)絡的樣本的豐富度，進而提高了實際應用中的可用性和可靠性。