本發(fā)明屬于遙感圖像處理領(lǐng)域，尤其涉及一種基于天基遙感模型的遙感圖像處理方法、系統(tǒng)、電子設(shè)備、介質(zhì)。

背景技術(shù)：

1、隨著空間技術(shù)和遙感技術(shù)的迅猛發(fā)展，衛(wèi)星遙感已經(jīng)成為獲取地球表面信息的核心手段?，F(xiàn)代遙感衛(wèi)星具備捕獲高分辨率、多頻譜圖像數(shù)據(jù)的能力，這些數(shù)據(jù)廣泛應(yīng)用于環(huán)境監(jiān)測(cè)、城市規(guī)劃、農(nóng)業(yè)管理、災(zāi)害預(yù)警等領(lǐng)域。遙感數(shù)據(jù)的豐富性和復(fù)雜性對(duì)數(shù)據(jù)處理和分析提出了更高的要求，尤其是在大規(guī)模、多任務(wù)和多模態(tài)的數(shù)據(jù)環(huán)境中。

2、當(dāng)前，許多遙感圖像處理系統(tǒng)和模型主要針對(duì)單一任務(wù)進(jìn)行優(yōu)化，例如圖像分類、圖像描述、目標(biāo)檢測(cè)或語義分割。雖然這些方法在各自的應(yīng)用場(chǎng)景中表現(xiàn)良好，但它們?cè)谔幚矶嗳蝿?wù)和多模態(tài)數(shù)據(jù)時(shí)存在顯著的局限性。具體問題包括：

3、（1）多任務(wù)處理能力不足：現(xiàn)有的遙感數(shù)據(jù)處理方法通常集中于處理特定任務(wù)，如圖像分類或目標(biāo)檢測(cè)。例如，一些模型可能專注于對(duì)遙感圖像進(jìn)行建筑物分類，或?qū)D像中的特定目標(biāo)進(jìn)行檢測(cè)。然而，在實(shí)際應(yīng)用中，遙感圖像往往需要同時(shí)完成多個(gè)任務(wù)，比如在一張城市遙感圖像中，同時(shí)檢測(cè)建筑物、提取道路信息以及分析環(huán)境變化?，F(xiàn)有模型通常只能處理其中的某一項(xiàng)任務(wù)，無法有效地綜合處理多任務(wù)。

4、（2）對(duì)多模態(tài)數(shù)據(jù)的響應(yīng)能力弱：遙感任務(wù)涉及的多模態(tài)數(shù)據(jù)包括圖像、文本描述、地理信息等，這些數(shù)據(jù)具有不同的特點(diǎn)和格式?，F(xiàn)有的模型在處理這些多模態(tài)數(shù)據(jù)時(shí)，經(jīng)常面臨信息融合的挑戰(zhàn)。例如，將遙感圖像的視覺信息與相應(yīng)的地理文本描述結(jié)合，以提供全面的環(huán)境分析，這對(duì)現(xiàn)有模型來說依然是一項(xiàng)復(fù)雜的任務(wù)。模型在將不同模態(tài)的信息有效整合時(shí)，往往難以發(fā)揮其潛力，從而影響整體任務(wù)的處理效果。

5、（3）指令響應(yīng)能力不足：在實(shí)際應(yīng)用中，用戶常常需要模型根據(jù)不同的指令執(zhí)行多樣化的任務(wù)。例如，用戶可能希望模型根據(jù)“檢測(cè)城市中的所有建筑物”或“分析水體周圍環(huán)境”的指令來完成特定任務(wù)。然而，現(xiàn)有多模態(tài)模型在處理這些復(fù)雜指令時(shí)，通常缺乏足夠的靈活性和準(zhǔn)確性。許多模型在響應(yīng)特定指令時(shí)表現(xiàn)不足，導(dǎo)致在處理多樣化任務(wù)時(shí)效果不佳，這限制了模型的適用范圍和實(shí)際應(yīng)用價(jià)值。

6、綜上所述，現(xiàn)有的遙感數(shù)據(jù)處理方法在面對(duì)復(fù)雜、多任務(wù)和多模態(tài)數(shù)據(jù)時(shí)表現(xiàn)出明顯的不足。因此，需要開發(fā)一種新的方法，能夠同時(shí)處理多任務(wù)、多模態(tài)數(shù)據(jù)，并具備靈活的指令響應(yīng)能力。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)不足，本發(fā)明提供了一種基于天基遙感模型的遙感圖像處理方法、系統(tǒng)、電子設(shè)備、介質(zhì)。

2、第一方面，本發(fā)明實(shí)施例提供了一種基于天基遙感模型的遙感圖像處理方法，所述方法包括：

3、獲取遙感圖像數(shù)據(jù)，并對(duì)遙感圖像數(shù)據(jù)進(jìn)行標(biāo)注；

4、針對(duì)遙感圖像處理任務(wù)設(shè)置任務(wù)描述指令，設(shè)計(jì)提示詞模板，將任務(wù)描述指令填入提示詞模板中再輸入至大語言模型，實(shí)現(xiàn)對(duì)任務(wù)描述指令的擴(kuò)展，得到任務(wù)描述指令集；

5、針對(duì)遙感圖像處理任務(wù)設(shè)置輸出形式指令，將輸出形式指令填入提示詞模板中再輸入至大語言模型，實(shí)現(xiàn)對(duì)輸出形式指令的擴(kuò)展，得到輸出形式指令集；

6、基于標(biāo)注后的遙感圖像數(shù)據(jù)、任務(wù)描述指令集、輸出形式指令集構(gòu)建多模態(tài)對(duì)話數(shù)據(jù)集；

7、利用多模態(tài)對(duì)話數(shù)據(jù)集訓(xùn)練天基遙感模型；其中，訓(xùn)練好的天基遙感模型用于根據(jù)輸入的待處理遙感圖像、任務(wù)描述指令、輸出形式指令，輸出回答。

8、第二方面，本發(fā)明實(shí)施例提供了一種基于天基遙感模型的遙感圖像處理系統(tǒng)，其用于實(shí)現(xiàn)上述的基于天基遙感模型的遙感圖像處理方法，所述系統(tǒng)包括：

9、遙感圖像數(shù)據(jù)獲取及標(biāo)注模塊，用于獲取遙感圖像數(shù)據(jù)，并對(duì)遙感圖像數(shù)據(jù)進(jìn)行標(biāo)注；

10、任務(wù)描述指令集構(gòu)建模塊，用于針對(duì)遙感圖像處理任務(wù)設(shè)置任務(wù)描述指令，設(shè)計(jì)提示詞模板，將任務(wù)描述指令填入提示詞模板中再輸入至大語言模型，實(shí)現(xiàn)對(duì)任務(wù)描述指令的擴(kuò)展，得到任務(wù)描述指令集；

11、輸出形式指令集針構(gòu)建模塊，用于對(duì)遙感圖像處理任務(wù)設(shè)置輸出形式指令，將輸出形式指令填入提示詞模板中再輸入至大語言模型，實(shí)現(xiàn)對(duì)輸出形式指令的擴(kuò)展，得到輸出形式指令集；

12、多模態(tài)對(duì)話數(shù)據(jù)集構(gòu)建模塊，用于基于標(biāo)注后的遙感圖像數(shù)據(jù)、任務(wù)描述指令集、輸出形式指令集構(gòu)建多模態(tài)對(duì)話數(shù)據(jù)集；

13、天基遙感模型訓(xùn)練模塊，用于利用多模態(tài)對(duì)話數(shù)據(jù)集訓(xùn)練天基遙感模型；

14、遙感圖像處理模塊，用于通過訓(xùn)練好的天基遙感模型根據(jù)輸入的待處理遙感圖像、任務(wù)描述指令、輸出形式指令，輸出遙感圖像處理后的回答。

15、第三方面，本發(fā)明實(shí)施例提供了一種電子設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器與所述處理器耦接；其中，所述存儲(chǔ)器用于存儲(chǔ)程序數(shù)據(jù)，所述處理器用于執(zhí)行所述程序數(shù)據(jù)以實(shí)現(xiàn)上述的基于天基遙感模型的遙感圖像處理方法。

16、第四方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的基于天基遙感模型的遙感圖像處理方法。

17、第五方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序/指令，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的基于天基遙感模型的遙感圖像處理方法。

18、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：

19、本發(fā)明提供了一種基于天基遙感模型的遙感圖像處理方法，通過對(duì)獲取的遙感圖像數(shù)據(jù)進(jìn)行標(biāo)注，針對(duì)每一遙感圖像處理任務(wù)設(shè)置任務(wù)描述指令、輸出形式指令，基于標(biāo)注后的遙感圖像數(shù)據(jù)、任務(wù)描述指令集、輸出形式指令集構(gòu)建多模態(tài)對(duì)話數(shù)據(jù)集，利用多模態(tài)對(duì)話數(shù)據(jù)集訓(xùn)練天基遙感模型；使得訓(xùn)練好的天基遙感模型用于根據(jù)輸入的待處理遙感圖像、任務(wù)描述指令、輸出形式指令，輸出回答。從而訓(xùn)練好的天基遙感模型能夠有效地綜合處理多任務(wù)，提高了多模態(tài)數(shù)據(jù)的響應(yīng)能力，提高了指令響應(yīng)能力。

技術(shù)特征：

1.一種基于天基遙感模型的遙感圖像處理方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的一種基于天基遙感模型的遙感圖像處理方法，其特征在于，對(duì)遙感圖像數(shù)據(jù)進(jìn)行標(biāo)注的過程包括：

3.根據(jù)權(quán)利要求2所述的一種基于天基遙感模型的遙感圖像處理方法，其特征在于，所述目標(biāo)位置標(biāo)簽包括水平框、旋轉(zhuǎn)框、多邊形框；

4.根據(jù)權(quán)利要求2所述的一種基于天基遙感模型的遙感圖像處理方法，其特征在于，所述民用與工業(yè)建筑包括：房屋、儲(chǔ)罐、水壩、輸電塔；

5.根據(jù)權(quán)利要求2所述的一種基于天基遙感模型的遙感圖像處理方法，其特征在于，所述場(chǎng)景級(jí)遙感任務(wù)包括：遙感圖像分類任務(wù)、遙感圖像描述任務(wù)、計(jì)數(shù)任務(wù)、視覺問答任務(wù)；

6.根據(jù)權(quán)利要求1所述的一種基于天基遙感模型的遙感圖像處理方法，其特征在于，基于標(biāo)注后的遙感圖像數(shù)據(jù)、任務(wù)描述指令集、輸出形式指令集構(gòu)建多模態(tài)對(duì)話數(shù)據(jù)集的過程包括：

7.一種基于天基遙感模型的遙感圖像處理系統(tǒng)，其特征在于，用于實(shí)現(xiàn)上述權(quán)利要求1-6任一項(xiàng)所述的基于天基遙感模型的遙感圖像處理方法，所述系統(tǒng)包括：

8.一種電子設(shè)備，包括存儲(chǔ)器和處理器，其特征在于，所述存儲(chǔ)器與所述處理器耦接；其中，所述存儲(chǔ)器用于存儲(chǔ)程序數(shù)據(jù)，所述處理器用于執(zhí)行所述程序數(shù)據(jù)以實(shí)現(xiàn)上述權(quán)利要求1-6任一項(xiàng)所述的基于天基遙感模型的遙感圖像處理方法。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-6中任一所述的基于天基遙感模型的遙感圖像處理方法。

10.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序/指令，其特征在于，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-6中任一所述的基于天基遙感模型的遙感圖像處理方法。

技術(shù)總結(jié)
本發(fā)明公開了一種基于天基遙感模型的遙感圖像處理方法、系統(tǒng)、電子設(shè)備、介質(zhì)，包括：獲取遙感圖像數(shù)據(jù)，并標(biāo)注；針對(duì)遙感圖像處理任務(wù)設(shè)置任務(wù)描述指令，設(shè)計(jì)提示詞模板，將任務(wù)描述指令填入提示詞模板中再輸入至大語言模型，實(shí)現(xiàn)對(duì)任務(wù)描述指令的擴(kuò)展，得到任務(wù)描述指令集；針對(duì)遙感圖像處理任務(wù)設(shè)置輸出形式指令，將輸出形式指令填入提示詞模板中再輸入至大語言模型，實(shí)現(xiàn)對(duì)輸出形式指令的擴(kuò)展，得到輸出形式指令集；基于標(biāo)注后的遙感圖像數(shù)據(jù)、任務(wù)描述指令集、輸出形式指令集構(gòu)建多模態(tài)對(duì)話數(shù)據(jù)集；利用多模態(tài)對(duì)話數(shù)據(jù)集訓(xùn)練天基遙感模型；訓(xùn)練好的天基遙感模型用于根據(jù)輸入的待處理遙感圖像、任務(wù)描述指令、輸出形式指令，輸出回答。

技術(shù)研發(fā)人員：許諾,姚柯璐,李超,楊嶸
受保護(hù)的技術(shù)使用者：之江實(shí)驗(yàn)室
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19