本發(fā)明涉及多模態(tài)大模型，特別涉及一種遙感圖像的連續(xù)超分辨率擴大方法、裝置及終端。

背景技術：

1、在現(xiàn)有技術中，卷積神經(jīng)網(wǎng)絡（cnn）在遙感超分辨率（sr）任務中取得了顯著進展，通常是使用卷積神經(jīng)網(wǎng)絡來擴大圖像的分辨率。然而，盡管這些方法能夠?qū)崿F(xiàn)令人印象深刻的效果，但在恢復圖像中的高頻細節(jié)和紋理方面仍面臨挑戰(zhàn)。具體地，使用卷積神經(jīng)網(wǎng)絡擴大分辨率的圖像容易在視覺效果上顯得過于平滑且缺乏真實感。而且，主流的遙感超分辨率任務是將不同放大倍數(shù)的模型單獨進行訓練處理，這意味著單個模型通常只能放大固定的整數(shù)倍數(shù)，且放大倍數(shù)普遍較?。ㄈ鐇2、x3、x4）。

2、對于遙感影像（rsi）而言，連續(xù)超分到多個且大倍數(shù)的分辨率是至關重要的。因此，如何實現(xiàn)高效、穩(wěn)定且高質(zhì)量的遙感超分辨率重建，仍然是個亟待解決的問題。

3、因此，現(xiàn)有技術還有待改進和提高。

技術實現(xiàn)思路

1、針對現(xiàn)有技術的上述缺陷，本發(fā)明提供一種遙感圖像的連續(xù)超分辨率擴大方法、裝置及終端，旨在解決現(xiàn)有技術中的擴大圖像分辨率的方法容易在視覺效果上顯得過于平滑且缺乏真實感的問題。

2、為了解決上述技術問題，本發(fā)明所采用的技術方案如下：

3、本發(fā)明的第一方面，提供一種遙感圖像的連續(xù)超分辨率擴大方法、裝置及終端，所述方法包括：

4、獲取目標初始圖像，對所述目標初始圖像進行編碼和插值處理，得到目標初始隱藏表示；

5、基于目標迭代模塊對所述目標初始隱藏表示進行迭代處理，得到目標噪聲圖像；

6、獲取目標擴散模型，基于所述目標擴散模型對所述目標噪聲圖像進行去噪處理，得到目標高清圖像。

7、在一種實現(xiàn)方式中，所述對所述目標初始圖像進行編碼和插值處理，包括：

8、基于所述目標初始圖像中的每個像素點進行特征提取，得到多個編碼像素點；

9、將多個所述編碼像素點編碼至目標維度，得到初始圖像特征，所述目標維度比所述目標初始圖像的維度高；

10、對所述初始圖像特征進行插值處理，得到初始隱藏表示。

11、在一種實現(xiàn)方式中，所述對所述初始圖像特征進行插值處理，得到初始隱藏表示，包括：

12、獲取插值像素點的目標鄰居點的編碼特征，基于所述目標鄰居點的編碼特征獲取所述插值像素點的插值特征，所述插值像素點為所述初始圖像特征中除所述編碼像素點的像素點，所述目標鄰居點為所述初始圖像特征中與所述插值像素點相鄰的所述編碼像素點，其中，所述目標鄰居點為多個；

13、將所述編碼像素點和所述插值像素點進行線性變換，得到所述初始隱藏表示。

14、在一種實現(xiàn)方式中，所述基于目標迭代模塊對所述目標初始隱藏表示進行迭代處理，包括：

15、獲取目標核矩陣，基于所述目標核矩陣迭代地更新所述目標初始隱藏表示，直至目標次數(shù)后，停止更新，得到所述目標噪聲圖像。

16、在一種實現(xiàn)方式中，所述獲取目標擴散模型，包括：

17、獲取目標數(shù)據(jù)集，所述目標數(shù)據(jù)集包括多張高清圖像；

18、基于所述目標數(shù)據(jù)集對初始擴散模型進行訓練，得到所述目標擴散模型。

19、在一種實現(xiàn)方式中，所述基于所述目標數(shù)據(jù)集對初始擴散模型進行訓練，得到所述目標擴散模型，包括：

20、對所述目標數(shù)據(jù)集進行目標輪次的加噪處理，并記錄每個輪次的圖像變化，其中，每輪次添加的噪聲服從高斯分布；

21、構(gòu)建目標神經(jīng)網(wǎng)絡，基于每個輪次的圖像變化逆序的對所述目標神經(jīng)網(wǎng)絡進行訓練，得到目標預測網(wǎng)絡。

22、在一種實現(xiàn)方式中，所述基于目標擴散模型對所述目標噪聲圖像進行去噪處理，包括：

23、基于所述目標預測網(wǎng)絡對所述目標噪聲圖像進行去噪處理，得到所述目標高清圖像。

24、本發(fā)明的第二方面，提供一種遙感圖像的連續(xù)超分辨率擴大裝置，包括：

25、插值模塊，用于獲取目標初始圖像，對所述目標初始圖像進行編碼和插值處理，得到目標初始隱藏表示；

26、迭代模塊，用于基于目標迭代模塊對所述目標初始隱藏表示進行迭代處理，得到目標噪聲圖像；

27、去噪模塊，用于獲取目標擴散模型，基于所述目標擴散模型對所述目標噪聲圖像進行去噪處理，得到目標高清圖像。

28、本發(fā)明的第三方面，提供一種終端，所述終端包括處理器、與處理器通信連接的計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)適于存儲多條指令，所述處理器適于調(diào)用所述計算機可讀存儲介質(zhì)中的指令，以執(zhí)行實現(xiàn)上述任一項所述的遙感圖像的連續(xù)超分辨率擴大方法的步驟。

29、本發(fā)明的第四方面，提供一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有一個或者多個程序，所述一個或者多個程序可被一個或者多個處理器執(zhí)行，以實現(xiàn)上述任一項所述的遙感圖像的連續(xù)超分辨率擴大方法的步驟。

30、與現(xiàn)有技術相比，本發(fā)明提供了一種遙感圖像的連續(xù)超分辨率擴大方法、裝置及終端，所述的遙感圖像的連續(xù)超分辨率擴大方法，通過獲取目標初始圖像，對所述目標初始圖像進行編碼和插值處理，得到目標初始隱藏表示，然后基于目標迭代模塊對所述目標初始隱藏表示進行迭代處理，得到目標噪聲圖像，最后，獲取目標擴散模型，基于所述目標擴散模型對所述目標噪聲圖像進行去噪處理，得到目標高清圖像。本發(fā)明所提出的遙感圖像的連續(xù)超分辨率擴大方法，通過對低分辨率圖像進行編碼和插值處理，再結(jié)合迭代模塊和擴散模型高質(zhì)量的圖像生成能力，解決了高質(zhì)量的圖像生成問題，也成功實現(xiàn)了進行任意尺度的超分辨率圖像的擴大任務。

技術特征：

1.一種遙感圖像的連續(xù)超分辨率擴大方法，其特征在于，所述遙感圖像的連續(xù)超分辨率擴大方法包括：

2.根據(jù)權(quán)利要求1所述的遙感圖像的連續(xù)超分辨率擴大方法，其特征在于，所述對所述目標初始圖像進行編碼和插值處理，包括：

3.根據(jù)權(quán)利要求2所述的遙感圖像的連續(xù)超分辨率擴大方法，其特征在于，所述對所述初始圖像特征進行插值處理，得到初始隱藏表示，包括：

4.根據(jù)權(quán)利要求1所述的遙感圖像的連續(xù)超分辨率擴大方法，其特征在于，所述基于目標迭代模塊對所述目標初始隱藏表示進行迭代處理，包括：

5.根據(jù)權(quán)利要求1所述的遙感圖像的連續(xù)超分辨率擴大方法，其特征在于，所述獲取目標擴散模型，包括：

6.根據(jù)權(quán)利要求5所述的遙感圖像的連續(xù)超分辨率擴大方法，其特征在于，所述基于所述目標數(shù)據(jù)集對初始擴散模型進行訓練，得到所述目標擴散模型，包括：

7.根據(jù)權(quán)利要求6所述的遙感圖像的連續(xù)超分辨率擴大方法，其特征在于，所述基于目標擴散模型對所述目標噪聲圖像進行去噪處理，包括：

8.一種遙感圖像的連續(xù)超分辨率擴大裝置，其特征在于，包括：

9.一種終端，其特征在于，所述終端包括：處理器、與處理器通信連接的計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)適于存儲多條指令，所述處理器適于調(diào)用所述計算機可讀存儲介質(zhì)中的指令，以執(zhí)行實現(xiàn)上述權(quán)利要求1-7任一項所述的遙感圖像的連續(xù)超分辨率擴大方法的步驟。

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)存儲有一個或者多個程序，所述一個或者多個程序可被一個或者多個處理器執(zhí)行，以實現(xiàn)如權(quán)利要求1-7任一項所述的遙感圖像的連續(xù)超分辨率擴大方法的步驟。

技術總結(jié)
本發(fā)明公開了一種遙感圖像的連續(xù)超分辨率擴大方法、裝置及終端，方法包括：獲取目標初始圖像，對所述目標初始圖像進行編碼和插值處理，得到目標初始隱藏表示；基于目標迭代模塊對所述目標初始隱藏表示進行迭代處理，得到目標噪聲圖像；獲取目標擴散模型，基于所述目標擴散模型對所述目標噪聲圖像進行去噪處理，得到目標高清圖像。本發(fā)明通過結(jié)合迭代模塊和擴散模型高質(zhì)量的圖像生成能力，解決了高質(zhì)量的圖像生成問題，也成功實現(xiàn)了進行任意尺度的超分辨率圖像的擴大任務。

技術研發(fā)人員：徐梓豪,唐玉芝,李清泉
受保護的技術使用者：人工智能與數(shù)字經(jīng)濟廣東省實驗室（深圳）
技術研發(fā)日：
技術公布日：2024/12/19