本發(fā)明涉及遙感圖像處理,更具體的說是涉及一種基于層級(jí)特征相似性計(jì)算的遙感圖像目標(biāo)檢測(cè)方法及系統(tǒng)。
背景技術(shù):
1、遙感圖像艦船目標(biāo)檢測(cè)技術(shù)一直以來都是遙感領(lǐng)域的研究重點(diǎn)之一,其在海洋安全、航道監(jiān)測(cè)、空間規(guī)劃等領(lǐng)域具有廣泛的應(yīng)用前景;由于海面環(huán)境復(fù)雜,這使得遙感圖像艦船目標(biāo)檢測(cè)任務(wù)極具難點(diǎn)和挑戰(zhàn)。
2、早期的遙感圖像艦船目標(biāo)檢測(cè)方法主要基于視覺顯著性和模板匹配等,這類方法針對(duì)特定場(chǎng)景設(shè)置,在面對(duì)復(fù)雜海洋場(chǎng)景背景與環(huán)境噪聲時(shí),性能不佳,對(duì)艦船目標(biāo)檢測(cè)魯棒性不足。
3、目前基于深度學(xué)習(xí)的遙感圖像艦船目標(biāo)檢測(cè)方法基于特征提取算子自動(dòng)的提取遙感圖像的多層級(jí)特征圖,挖掘艦船目標(biāo)的深層特征信息,并經(jīng)過特征融合后進(jìn)行準(zhǔn)確預(yù)測(cè),展現(xiàn)出良好的精度表現(xiàn);在深度學(xué)習(xí)模型提取的特征圖中,淺層特征圖往往包含豐富的局部紋理細(xì)節(jié)特征(如顏色、紋理),這些信息有助于模型理解遙感目標(biāo)的外在表征,進(jìn)而理解圖像內(nèi)容;而深層特征圖往往包含全局語義特征,包含了與圖像中對(duì)象和場(chǎng)景相關(guān)的高級(jí)抽象信息,這些信息涵蓋了對(duì)象的類別、形狀、結(jié)構(gòu)以及它們?cè)诃h(huán)境中的位置和關(guān)系,有助于模型理解遙感目標(biāo)的深層本質(zhì)表征,對(duì)于正確識(shí)別和定位遙感圖像中的潛在的目標(biāo)對(duì)象至關(guān)重要。
4、但是,遙感圖像具有成像背景復(fù)雜,目標(biāo)尺度變化劇烈的特性,常規(guī)的艦船目標(biāo)檢測(cè)模型在特征解耦階段無法對(duì)不同層級(jí)的特性信息進(jìn)行精細(xì)化的處理,因此在導(dǎo)致許多有價(jià)值的目標(biāo)信息在解譯階段被丟失,難以實(shí)現(xiàn)精確的艦船目標(biāo)檢測(cè)。
5、因此,如何精細(xì)化的處理淺層特征和深層特征,以在解耦階段充分挖掘不同層級(jí)的特征信息,實(shí)現(xiàn)對(duì)遙感圖像艦船目標(biāo)的精確定位是本領(lǐng)域技術(shù)人員亟需解決的問題。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此,本發(fā)明提供了一種基于層級(jí)特征相似性計(jì)算的遙感圖像目標(biāo)檢測(cè)方法及系統(tǒng),旨在解決傳統(tǒng)深度學(xué)習(xí)模型對(duì)不同層級(jí)的特征圖信息無法有效綜合利用以實(shí)現(xiàn)精確解譯的問題,通過在特征解耦階段進(jìn)行層級(jí)特征相似性計(jì)算以綜合利用不同層級(jí)特征圖的信息進(jìn)行聯(lián)合預(yù)測(cè)建模,有效地提高了遙感圖像艦船目標(biāo)檢測(cè)的性能,為遙感圖像艦船目標(biāo)檢測(cè)領(lǐng)域提供了更為可靠和高效的解決方案,為未來的遙感應(yīng)用領(lǐng)域提供了強(qiáng)大的支持。
2、為了實(shí)現(xiàn)上述目的,本發(fā)明采用如下技術(shù)方案:
3、一種基于層級(jí)特征相似性計(jì)算的遙感圖像目標(biāo)檢測(cè)方法,包括以下步驟:
4、s1.加載遙感圖像及其標(biāo)簽信息,標(biāo)簽信息包括位置和類別信息;
5、s2.通過包括層級(jí)堆疊卷積模塊的特征提取網(wǎng)絡(luò)對(duì)輸入遙感圖像進(jìn)行特征提取,獲得多層級(jí)特征圖;
6、s3.通過特征融合網(wǎng)絡(luò)利用卷積算子、特征拼接算子和特征重塑算子對(duì)多層級(jí)特征圖進(jìn)行融合,以獲得潛在目標(biāo)的多尺度特性信息,輸出融合后的特征圖;
7、s4.通過基于層級(jí)特征相似性計(jì)算模塊優(yōu)化的檢測(cè)頭網(wǎng)絡(luò)對(duì)融合后的特征圖進(jìn)行解耦,預(yù)測(cè)潛在目標(biāo)區(qū)域的位置和類別信息,并輸出預(yù)測(cè)結(jié)果,檢測(cè)頭網(wǎng)絡(luò)包括基礎(chǔ)卷積模塊、層級(jí)特征相似性計(jì)算模塊、特征相加模塊和預(yù)測(cè)函數(shù);
8、s5.基于特征提取網(wǎng)絡(luò)、特征融合網(wǎng)絡(luò)和基于層級(jí)特征相似性計(jì)算模塊優(yōu)化的檢測(cè)頭網(wǎng)絡(luò),獲得結(jié)合多尺度語義特征注意力融合網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型;
9、s6.采用焦點(diǎn)損失和旋轉(zhuǎn)框交并比損失對(duì)目標(biāo)檢測(cè)模型網(wǎng)絡(luò)進(jìn)行遙感圖像目標(biāo)檢測(cè)任務(wù)訓(xùn)練,得到訓(xùn)練完畢的結(jié)合層級(jí)特征相似性計(jì)算模塊的遙感圖像艦船目標(biāo)檢測(cè)模型;
10、s7.使用訓(xùn)練完畢的結(jié)合層級(jí)特征相似性計(jì)算模塊的遙感圖像艦船目標(biāo)檢測(cè)模型對(duì)待測(cè)試的遙感圖像進(jìn)行測(cè)試。
11、優(yōu)選的,步驟s2中各層級(jí)堆疊卷積模塊均包括基礎(chǔ)卷積算子、歸一化模塊和激活函數(shù);
12、基礎(chǔ)卷積算子對(duì)輸入的遙感圖像的通道信息進(jìn)行逐像素級(jí)別的計(jì)算,歸一化模塊將計(jì)算后的通道結(jié)果歸一化到標(biāo)準(zhǔn)區(qū)間內(nèi),激活函數(shù)對(duì)潛在目標(biāo)區(qū)域的特征矩陣進(jìn)行激活和抑制作用,以幫助模型區(qū)分前景及背景信息。
13、優(yōu)選的,步驟s3中的特征融合網(wǎng)絡(luò)網(wǎng)絡(luò)的計(jì)算過程表示為:
14、pn=conv(fn)
15、pn-2=concat(conv(fn-2),resize(pn))
16、pn-4=concat(conv(fn-4),resize(pn-2))
17、其中,[fn-4,fn-2,fn]為特征提取網(wǎng)絡(luò)提取的多層級(jí)特征圖中來自三個(gè)不同層級(jí)的特征圖,n為特征提取網(wǎng)絡(luò)卷積模塊的層數(shù),[pn-4,pn-2,pn]為[fn-4,fn-2,fn]對(duì)應(yīng)的融合后的特征圖,concat表示特征拼接算子,conv表示卷積算子,resize表示特征重塑算子。
18、優(yōu)選的,步驟s4中基于層級(jí)特征相似性計(jì)算模塊優(yōu)化的檢測(cè)頭網(wǎng)絡(luò)對(duì)融合后的特征圖進(jìn)行解耦的方法為:
19、s41.卷積模塊用于接收融合后的特征圖并對(duì)其進(jìn)行形狀以及通道維度的處理;
20、s42.層級(jí)特征相似性計(jì)算模塊用于提取三個(gè)來自不同層級(jí)的特征圖的相似性特征信息,三個(gè)來自不同層級(jí)的特征圖包括特征提取網(wǎng)絡(luò)提取的多層級(jí)特征圖以及對(duì)應(yīng)的特征融合網(wǎng)絡(luò)融合后的特征圖和檢測(cè)頭網(wǎng)絡(luò)的卷積模塊處理的特征圖;
21、s43.特征相加模塊用于融合檢測(cè)頭網(wǎng)絡(luò)的層級(jí)特征相似性計(jì)算模塊和卷積模塊的輸出特征圖;
22、s44.預(yù)測(cè)函數(shù)用于預(yù)測(cè)潛在目標(biāo)區(qū)域的位置和類別信息,并輸出預(yù)測(cè)結(jié)果。
23、優(yōu)選的,步驟s42中,層級(jí)特征相似性計(jì)算模塊的處理方法具體為:
24、s421.分別對(duì)三個(gè)來自不同層級(jí)的特征圖對(duì)應(yīng)進(jìn)行上采樣、特征降維和多層感知機(jī)特征提取處理;
25、s422.將上采樣和特征降維處理后的特征圖進(jìn)行多層感知機(jī)特征提取,再進(jìn)行特征相加;
26、s423對(duì)步驟s421中多層感知機(jī)特征提取后的特征圖進(jìn)行線性變化操作處理,獲得價(jià)值矩陣,對(duì)步驟s422中特征相加后的特征圖進(jìn)行線性變化操作處理,獲得查詢矩陣和鍵值矩陣;
27、s424.通過自注意力機(jī)制計(jì)算價(jià)值矩陣、查詢矩陣和鍵值矩陣的特征相似性,挖掘多層級(jí)特征圖在長距離依賴特征方面的信息表達(dá),并通過點(diǎn)卷積對(duì)特征圖的特征信息進(jìn)行提取,最終輸出特征圖為層級(jí)特征相似性計(jì)算模塊的輸出特征圖。
28、一種基于層級(jí)特征相似性計(jì)算的遙感圖像目標(biāo)檢測(cè)系統(tǒng),基于所述的一種基于層級(jí)特征相似性計(jì)算的遙感圖像目標(biāo)檢測(cè)方法,包括遙感圖像輸入模塊、結(jié)合層級(jí)特征相似性計(jì)算模塊的遙感圖像艦船目標(biāo)檢測(cè)模型和模型訓(xùn)練模塊;
29、結(jié)合層級(jí)特征相似性計(jì)算模塊的遙感圖像艦船目標(biāo)檢測(cè)模型包括特征提取網(wǎng)絡(luò)、特征融合網(wǎng)絡(luò)和基于層級(jí)特征相似性計(jì)算模塊優(yōu)化的檢測(cè)頭網(wǎng)絡(luò);
30、特征提取網(wǎng)絡(luò)包括層級(jí)堆疊卷積模塊,用于對(duì)輸入遙感圖像進(jìn)行特征提取,獲得多層級(jí)特征圖;
31、特征融合網(wǎng)絡(luò)包括卷積算子、特征拼接算子和特征重塑算子,用于對(duì)多層級(jí)特征圖進(jìn)行融合,以獲得潛在目標(biāo)的多尺度特性信息,輸出融合后的特征圖;
32、基于層級(jí)特征相似性計(jì)算模塊優(yōu)化的檢測(cè)頭網(wǎng)絡(luò)包括基礎(chǔ)卷積模塊、層級(jí)特征相似性計(jì)算模塊、特征相加模塊和預(yù)測(cè)函數(shù),用于對(duì)融合后的特征圖進(jìn)行解耦,預(yù)測(cè)潛在目標(biāo)區(qū)域的位置和類別信息,并輸出預(yù)測(cè)結(jié)果;
33、模型訓(xùn)練模塊,用于采用焦點(diǎn)損失和旋轉(zhuǎn)框交并比損失對(duì)目標(biāo)檢測(cè)模型網(wǎng)絡(luò)進(jìn)行遙感圖像目標(biāo)檢測(cè)任務(wù)訓(xùn)練,獲得結(jié)合層級(jí)特征相似性計(jì)算模塊的遙感圖像艦船目標(biāo)檢測(cè)模型。
34、優(yōu)選的,各層級(jí)堆疊卷積模塊均包括基礎(chǔ)卷積算子、歸一化模塊和激活函數(shù)。
35、優(yōu)選的,層級(jí)特征相似性計(jì)算模塊包括上采樣模塊、特征降維模塊、多層感知機(jī)、線性變換模塊、特征相加模塊、自注意力模塊和點(diǎn)卷積模塊。
36、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的一種基于層級(jí)特征相似性計(jì)算的遙感圖像目標(biāo)檢測(cè)方法。
37、一種處理終端,包括存儲(chǔ)器和處理器,存儲(chǔ)器中存儲(chǔ)有可在處理器上運(yùn)行的計(jì)算機(jī)程序,處理器執(zhí)行計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)所述的一種基于層級(jí)特征相似性計(jì)算的遙感圖像目標(biāo)檢測(cè)方法。
38、經(jīng)由上述的技術(shù)方案可知,與現(xiàn)有技術(shù)相比,本發(fā)明公開提供了一種基于層級(jí)特征相似性計(jì)算的遙感圖像目標(biāo)檢測(cè)方法及系統(tǒng),層級(jí)特征相似性計(jì)算模塊能夠幫助目標(biāo)檢測(cè)模型充分挖掘不同感受野下的目標(biāo)特征信息,避免了常規(guī)深度學(xué)習(xí)模型存在的解譯精度不足問題,實(shí)現(xiàn)特征信息的互補(bǔ)利用,有效避免融合過程中的信息丟失問題,以幫助模型正確識(shí)別和定位遙感圖像中的潛在的目標(biāo),有效地提高了遙感圖像艦船目標(biāo)檢測(cè)的性能;
39、基于層級(jí)特征相似性計(jì)算模塊的檢測(cè)頭網(wǎng)絡(luò),在特征解耦階段設(shè)計(jì)優(yōu)化模塊以綜合利用不同層級(jí)特征圖的信息進(jìn)聯(lián)合預(yù)測(cè)建模,進(jìn)而提升模型的多層級(jí)特征解譯能力,以解決遙感圖像的艦船目標(biāo)檢測(cè)任務(wù)中存在的精度不足問題。