本發(fā)明涉及圖像處理，尤其涉及一種遙感影像分割方法及裝置。

背景技術(shù)：

1、當(dāng)前，水利場景遙感影像分割任務(wù)面臨諸多挑戰(zhàn)，如場景目標(biāo)復(fù)雜多樣、標(biāo)注數(shù)據(jù)有限等，現(xiàn)有的方法難以同時兼顧分割的精度和泛化性。以segment?anything?model（sam）為代表的視覺基礎(chǔ)大模型在圖像分割領(lǐng)域取得了顯著進(jìn)展，但其作為一個需要先驗提示的無類別分割方法，主要面向交互式分割任務(wù)，對特定領(lǐng)域的自動分割適應(yīng)性較弱。因此，需要一種在有限標(biāo)注數(shù)據(jù)下，能夠高效適應(yīng)水利場景的自動化分割方法。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供一種遙感影像分割方法及裝置，用以解決現(xiàn)有技術(shù)中視覺大模型在水利場景遙感影像分割任務(wù)上數(shù)據(jù)特征適應(yīng)性弱、自動化程度低等問題。

2、第一方面，本發(fā)明提供一種遙感影像分割方法，包括：利用圖像編碼器提取輸入圖像的特征圖；獲取所述特征圖與預(yù)先創(chuàng)建的參考樣本庫中每個參考樣本特征的相似特征圖；其中，參考樣本特征為預(yù)先設(shè)置的前景像素的特征向量，相似度特征圖用于表征輸入圖像在每個像素位置上的特征向量與參考樣本特征之間的相似度；從所有的相似特征圖中選擇出具有最大的相似度峰值的目標(biāo)相似特征圖，將所述目標(biāo)相似特征圖輸入至提示嵌入生成網(wǎng)絡(luò)生成提示嵌入；所述提示嵌入生成網(wǎng)絡(luò)為預(yù)先構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)；將所述提示嵌入和所述輸入圖像輸入至圖像解碼器，輸出分割結(jié)果。

3、根據(jù)本發(fā)明提供的遙感影像分割方法，構(gòu)建參考樣本庫的步驟包括：根據(jù)圖像編碼器提取的每個樣本圖像的特征圖，結(jié)合對應(yīng)的真實掩碼，獲取每個樣本圖像的目標(biāo)特征圖；對所有的目標(biāo)特征圖中每個前景像素的特征向量，進(jìn)行聚類分析；將代表各自聚類類別的特征向量作為參考樣本特征，以構(gòu)建所述參考樣本庫。

4、根據(jù)本發(fā)明提供的遙感影像分割方法，所述提示嵌入生成網(wǎng)絡(luò)包括：rpn層、roipooling層以及prompt?head層；所述rpn層，用于從所述目標(biāo)相似度特征圖中生成候選框，以標(biāo)注目標(biāo)相似特征圖中感興趣的目標(biāo)區(qū)域；所述roi?pooling層，用于從每個目標(biāo)區(qū)域提取固定大小的特征映射；所述prompt?head層，用于根據(jù)所述特征映射生成用于輸入圖像分割的提示嵌入。

5、根據(jù)本發(fā)明提供的遙感影像分割方法，對所有的目標(biāo)特征圖中每個前景像素的特征向量，進(jìn)行聚類分析，包括：計算所有特征向量中每對特征向量的余弦相似度；確定與當(dāng)前特征向量的余弦相似度大于等于相似度閾值的其他特征向量；在其他特征向量的個數(shù)大于等于預(yù)設(shè)數(shù)量的情況下，將當(dāng)前特征向量和其他特征向量，合并到同一簇中，以進(jìn)行特征向量的聚類。

6、根據(jù)本發(fā)明提供的遙感影像分割方法，代表各自聚類類別的特征向量為距離各自聚類類別的聚類中心最近的特征向量。

7、根據(jù)本發(fā)明提供的遙感影像分割方法，所述圖像編碼器是基于低秩適應(yīng)技術(shù)進(jìn)行微調(diào)后的sam編碼器；所述圖像解碼器為sam解碼器。

8、根據(jù)本發(fā)明提供的遙感影像分割方法，每個像素位置上的特征向量與參考樣本特征之間的相似度為余弦相似度。

9、第二方面，本發(fā)明還提供一種遙感影像分割裝置，包括：

10、第一處理模塊，用于利用圖像編碼器提取輸入圖像的特征圖；

11、第二處理模塊，用于獲取所述特征圖與預(yù)先創(chuàng)建的參考樣本庫中每個參考樣本特征的相似特征圖；其中，參考樣本特征為預(yù)先設(shè)置的前景像素的特征向量，相似度特征圖用于表征輸入圖像在每個像素位置上的特征向量與參考樣本特征之間的相似度；

12、第三處理模塊，用于從所有的相似特征圖中選擇出具有最大的相似度峰值的目標(biāo)相似特征圖，將所述目標(biāo)相似特征圖輸入至提示嵌入生成網(wǎng)絡(luò)生成提示嵌入；所述提示嵌入生成網(wǎng)絡(luò)為預(yù)先構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)；

13、第四處理模塊，用于將所述提示嵌入和所述輸入圖像輸入至圖像解碼器，輸出分割結(jié)果。

14、第三方面，本發(fā)明提供一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序，所述處理器執(zhí)行所述程序時實現(xiàn)如上述任一種所述遙感影像分割方法的步驟。

15、第四方面，本發(fā)明還提供一種非暫態(tài)計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，該計算機(jī)程序被處理器執(zhí)行時實現(xiàn)如上述任一種所述遙感影像分割方法的步驟。

16、本發(fā)明提供的遙感影像分割方法及裝置，基于預(yù)先建立的參考樣本庫中的參考樣本特征獲取多種相似特征圖，并確定后續(xù)利用的具有最高相似度峰值的相似特征圖（即目標(biāo)相似特征圖），結(jié)合有效的提示嵌入生成和精細(xì)的解碼流程，旨在增強(qiáng)模型對于特定領(lǐng)域數(shù)據(jù)的適應(yīng)能力，并且還提供了較高程度的自動化處理流程，可以自動生成提示嵌入，無需先驗提示。

17、本發(fā)明設(shè)計了一種基于代表性樣本構(gòu)建參考樣本庫的方法，該樣本庫的構(gòu)建不僅增強(qiáng)了分割模型在未知場景下的適應(yīng)能力，還為后續(xù)的提示嵌入生成網(wǎng)絡(luò)的訓(xùn)練和推理過程提供了支持，相較于傳統(tǒng)的樣本選擇方法，提高了樣本的多樣性和特征分布的覆蓋率。

技術(shù)特征：

1.一種遙感影像分割方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的遙感影像分割方法，其特征在于，構(gòu)建參考樣本庫的步驟包括：

3.根據(jù)權(quán)利要求1所述的遙感影像分割方法，其特征在于，所述提示嵌入生成網(wǎng)絡(luò)包括：rpn層、roi?pooling層以及prompt?head層；

4.根據(jù)權(quán)利要求2所述的遙感影像分割方法，其特征在于，對所有的目標(biāo)特征圖中每個前景像素的特征向量，進(jìn)行聚類分析，包括：

5.根據(jù)權(quán)利要求1所述的遙感影像分割方法，其特征在于，代表各自聚類類別的特征向量為距離各自聚類類別的聚類中心最近的特征向量。

6.根據(jù)權(quán)利要求1所述的遙感影像分割方法，其特征在于，所述圖像編碼器是基于低秩適應(yīng)技術(shù)進(jìn)行微調(diào)后的sam編碼器；所述圖像解碼器為sam解碼器。

7.根據(jù)權(quán)利要求1所述的遙感影像分割方法，其特征在于，每個像素位置上的特征向量與參考樣本特征之間的相似度為余弦相似度。

8.一種遙感影像分割裝置，其特征在于，包括：

9.一種電子設(shè)備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)如權(quán)利要求1至7任一項所述遙感影像分割方法的步驟。

10.一種非暫態(tài)計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其特征在于，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7任一項所述遙感影像分割方法的步驟。

技術(shù)總結(jié)
本發(fā)明提供一種遙感影像分割方法及裝置，屬于圖像處理技術(shù)領(lǐng)域，所述方法包括：利用圖像編碼器提取輸入圖像的特征圖；獲取所述特征圖與預(yù)先創(chuàng)建的參考樣本庫中每個參考樣本特征的相似特征圖；從所有的相似特征圖中選擇出具有最大的相似度峰值的目標(biāo)相似特征圖，將所述目標(biāo)相似特征圖輸入至提示嵌入生成網(wǎng)絡(luò)生成提示嵌入；所述提示嵌入生成網(wǎng)絡(luò)為預(yù)先構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)；將所述提示嵌入和所述輸入圖像輸入至圖像解碼器，輸出分割結(jié)果。本發(fā)明提供的遙感影像分割方法及裝置，增強(qiáng)了對于特定領(lǐng)域數(shù)據(jù)的適應(yīng)能力，并且還提供了較高程度的自動化處理流程，可以自動生成提示嵌入，無需先驗提示。

技術(shù)研發(fā)人員：張志鑫,楊鵬,韋人瑋,張軍,劉哲,方晨蓉,明晨曦
受保護(hù)的技術(shù)使用者：長江水利委員會網(wǎng)絡(luò)與信息中心
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19