1.一種局部信息缺失條件下的船舶目標(biāo)類型多模態(tài)識別方法,其特征在于:通過多模態(tài)類型識別模型進(jìn)行船舶目標(biāo)的類型識別;
2.如權(quán)利要求1所述的局部信息缺失條件下的船舶目標(biāo)類型多模態(tài)識別方法,其特征在于:可見光圖像處理分支和紅外圖像處理分支結(jié)構(gòu)相同,均包括依次連接的多尺度特征學(xué)習(xí)網(wǎng)絡(luò)和自適應(yīng)關(guān)鍵特征學(xué)習(xí)模塊;
3.如權(quán)利要求2所述的局部信息缺失條件下的船舶目標(biāo)類型多模態(tài)識別方法,其特征在于:多尺度特征學(xué)習(xí)網(wǎng)絡(luò)包括用于提取基礎(chǔ)特征的骨干網(wǎng)絡(luò)和用于將基礎(chǔ)特征進(jìn)行融合的特征聚合網(wǎng)絡(luò);
4.如權(quán)利要求3所述的局部信息缺失條件下的船舶目標(biāo)類型多模態(tài)識別方法,其特征在于:設(shè)特征聚合網(wǎng)絡(luò)中的某一層與基礎(chǔ)特征對應(yīng),則該層具有個依次排列的節(jié)點,將該層中第1個節(jié)點的值記為、最后一個節(jié)點的值記為,二者之間的為中間節(jié)點,該層對應(yīng)的卷積核數(shù)量記為;
5.如權(quán)利要求3所述的局部信息缺失條件下的船舶目標(biāo)類型多模態(tài)識別方法,其特征在于:所述自適應(yīng)關(guān)鍵特征學(xué)習(xí)模塊包括與特征聚合網(wǎng)絡(luò)輸出的、、和一一對應(yīng)的多層極化自注意力模塊、、、,設(shè)特征圖輸入至對應(yīng)的多層極化自注意力模塊后得到的局部關(guān)鍵特性特征圖為,則自適應(yīng)關(guān)鍵特征學(xué)習(xí)模塊得到的局部關(guān)鍵特征為:,其中表示反卷積操作。
6.如權(quán)利要求5所述的局部信息缺失條件下的船舶目標(biāo)類型多模態(tài)識別方法,其特征在于:所述多層極化自注意力模塊包括通道注意力分支和空間注意力分支;通道注意力分支用于提取輸入的特征圖的通道關(guān)系,空間注意力分支用來建模輸入的特征圖內(nèi)部之間的依賴關(guān)系;多層極化自注意力模塊輸出的局部關(guān)鍵特性特征圖為通道注意力分支的輸出注意力圖和空間注意力分支的輸出注意力圖逐像素相加的結(jié)果。
7.如權(quán)利要求6所述的局部信息缺失條件下的船舶目標(biāo)類型多模態(tài)識別方法,其特征在于:
8.如權(quán)利要求7所述的局部信息缺失條件下的船舶目標(biāo)類型多模態(tài)識別方法,其特征在于:空間注意力分支中,先對特征圖進(jìn)行1個卷積核大小為3×3的卷積操作,以及3個卷積核大小分別為3×3、1×6、6×1的擴(kuò)張卷積操作;4個卷積結(jié)果拼接后又對拼接結(jié)果進(jìn)行了卷積核大小為3×3的卷積操作,再經(jīng)過激活函數(shù)后與特征圖相乘。
9.如權(quán)利要求8所述的局部信息缺失條件下的船舶目標(biāo)類型多模態(tài)識別方法,其特征在于,激活函數(shù)定義為:
10.如權(quán)利要求1所述的局部信息缺失條件下的船舶目標(biāo)類型多模態(tài)識別方法,其特征在于:拼接模塊中,將可見光圖像處理分支的局部關(guān)鍵特征和紅外圖像處理分支的局部關(guān)鍵特征拼接后,然后按通道展開為若干向量,所述若干向量構(gòu)成圖數(shù)據(jù)特征x,然后計算各向量之間的相似性,根據(jù)相似性構(gòu)建鄰接矩陣特征a;