本發(fā)明屬于數(shù)據(jù)識(shí)別，具體涉及一種船舶目標(biāo)的類(lèi)型識(shí)別方法。

背景技術(shù)：

1、海上船舶目標(biāo)識(shí)別是船舶智能化發(fā)展的關(guān)鍵技術(shù)之一，對(duì)提升船舶航行安全具有重大意義。隨著深度學(xué)習(xí)技術(shù)的進(jìn)步，基于神經(jīng)網(wǎng)絡(luò)的船舶目標(biāo)識(shí)別方法已取得顯著成果?，F(xiàn)有的方法主要依賴(lài)于可見(jiàn)光圖像，然而受云層、雨霧等環(huán)境因素影響，船舶目標(biāo)的全局特征會(huì)出現(xiàn)變化，局部信息缺失，從而影響識(shí)別算法的性能。

2、目前，針對(duì)局部信息缺失條件下的船舶目標(biāo)類(lèi)型識(shí)別，主要有三種解決方案：

3、一、通過(guò)圖像去霧算法優(yōu)化圖像質(zhì)量，相關(guān)算法可分為基于圖像增強(qiáng)的去霧算法（賀歡等，基于小波變換的交通圖像去霧方法，《電子設(shè)計(jì)工程》，2020）和基于大氣散射模型的去霧算法（張然，基于分?jǐn)?shù)階偏微分方程的霧天圖像增強(qiáng)算法，西安：西安理工大學(xué)，2018）兩類(lèi)。前者不探究霧氣圖像退化的原因，而是通過(guò)增強(qiáng)圖像對(duì)比度等方法，使圖像更符合人的視覺(jué)系統(tǒng)；后者則從霧天圖像退化原因出發(fā)，通過(guò)補(bǔ)償霧氣圖像損失來(lái)復(fù)原圖像。

4、二、采用負(fù)樣本增強(qiáng)學(xué)習(xí)的方法。例如，姚紅革等（姚紅革，王誠(chéng)，喻鈞，白小軍，李蔚，復(fù)雜衛(wèi)星圖像中的小目標(biāo)船舶識(shí)別，《遙感學(xué)報(bào)》，2020，24(2):116-125）在樣本數(shù)據(jù)集中加入大量只含云霧和海岸背景的圖片進(jìn)行負(fù)樣本擴(kuò)充，增強(qiáng)網(wǎng)絡(luò)模型對(duì)云霧及海岸背景的特征學(xué)習(xí)能力，以應(yīng)對(duì)復(fù)雜海情的影響。

5、三、基于局部區(qū)域的分類(lèi)模型。如文獻(xiàn)《the?application?of?two-levelattention?models?in?deep?convolutional?neural?network?for?fine-grained?imageclassification》（tianjun?xiao,?yichong?xu,?kuiyuan?yang,?jiaxing?zhang,?yuxinpeng?and?z.?zhang,,?2015,?cvpr）通過(guò)搜索算法產(chǎn)生候選圖像塊，過(guò)濾掉無(wú)關(guān)背景后，分別訓(xùn)練物體級(jí)分類(lèi)模型與局部級(jí)分類(lèi)模型。物體級(jí)分類(lèi)網(wǎng)絡(luò)domainnet匯總所有候選圖像塊的分類(lèi)結(jié)果得到物體級(jí)分類(lèi)結(jié)果；局部級(jí)分類(lèi)網(wǎng)絡(luò)基于譜聚類(lèi)將domainnet的卷積核聚為三類(lèi)，分別作為頭部、軀干和物體的檢測(cè)器，并將篩選后的局部區(qū)域特征拼接，通過(guò)svm分類(lèi)器得到局部級(jí)分類(lèi)結(jié)果；最后將局部分類(lèi)結(jié)果與物體級(jí)分類(lèi)結(jié)果融合，得到最終分類(lèi)結(jié)果。

6、但是，上述解決方案主要是通過(guò)增強(qiáng)全局圖像或局部圖像特征來(lái)實(shí)現(xiàn)局部信息缺失條件下的分類(lèi)，一方面未考慮和利用局部特征之間的關(guān)系，另一方面也無(wú)法解決可見(jiàn)光圖像受到環(huán)境干擾后無(wú)法提供完整信息的根本問(wèn)題，導(dǎo)致準(zhǔn)確率無(wú)法滿(mǎn)足要求。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提出了一種局部信息缺失條件下的船舶目標(biāo)類(lèi)型多模態(tài)識(shí)別方法，其目的是：解決局部信息缺失條件下船舶目標(biāo)類(lèi)型識(shí)別準(zhǔn)確率低的問(wèn)題。

2、本發(fā)明技術(shù)方案如下：

3、一種局部信息缺失條件下的船舶目標(biāo)類(lèi)型多模態(tài)識(shí)別方法，通過(guò)多模態(tài)類(lèi)型識(shí)別模型進(jìn)行船舶目標(biāo)的類(lèi)型識(shí)別；

4、所述多模態(tài)類(lèi)型識(shí)別模型包括可見(jiàn)光圖像處理分支、紅外圖像處理分支、拼接模塊和圖神經(jīng)網(wǎng)絡(luò)；

5、可見(jiàn)光圖像處理分支和紅外圖像處理分支分別從同一船舶目標(biāo)的可見(jiàn)光圖像和紅外圖像中提取出對(duì)應(yīng)的局部關(guān)鍵特征，所述拼接模塊用于將兩組局部關(guān)鍵特征拼接，并基于拼接結(jié)果得到圖數(shù)據(jù)特征和鄰接矩陣特征，所述圖神經(jīng)網(wǎng)絡(luò)用于根據(jù)圖數(shù)據(jù)特征和鄰接矩陣特征得到識(shí)別結(jié)果。

6、作為所述局部信息缺失條件下的船舶目標(biāo)類(lèi)型多模態(tài)識(shí)別方法的進(jìn)一步改進(jìn)：可見(jiàn)光圖像處理分支和紅外圖像處理分支結(jié)構(gòu)相同，均包括依次連接的多尺度特征學(xué)習(xí)網(wǎng)絡(luò)和自適應(yīng)關(guān)鍵特征學(xué)習(xí)模塊；

7、所述多尺度特征學(xué)習(xí)網(wǎng)絡(luò)用于從輸入的圖像中提取多尺度特征，自適應(yīng)關(guān)鍵特征學(xué)習(xí)模塊用于從多尺度特征中學(xué)習(xí)局部關(guān)鍵特征。

8、作為所述局部信息缺失條件下的船舶目標(biāo)類(lèi)型多模態(tài)識(shí)別方法的進(jìn)一步改進(jìn)：多尺度特征學(xué)習(xí)網(wǎng)絡(luò)包括用于提取基礎(chǔ)特征的骨干網(wǎng)絡(luò)和用于將基礎(chǔ)特征進(jìn)行融合的特征聚合網(wǎng)絡(luò)；

9、所述骨干網(wǎng)絡(luò)提取出5層基礎(chǔ)特征、、、和；

10、所述特征聚合網(wǎng)絡(luò)為4層，與基礎(chǔ)特征、、和一一對(duì)應(yīng)，所述特征聚合網(wǎng)絡(luò)各層對(duì)應(yīng)輸出的、、和即為多尺度特征學(xué)習(xí)網(wǎng)絡(luò)提取的多尺度特征。

11、作為所述局部信息缺失條件下的船舶目標(biāo)類(lèi)型多模態(tài)識(shí)別方法的進(jìn)一步改進(jìn)：設(shè)特征聚合網(wǎng)絡(luò)中的某一層與基礎(chǔ)特征對(duì)應(yīng)，則該層具有個(gè)依次排列的節(jié)點(diǎn)，將該層中第1個(gè)節(jié)點(diǎn)的值記為、最后一個(gè)節(jié)點(diǎn)的值記為，二者之間的為中間節(jié)點(diǎn)，該層對(duì)應(yīng)的卷積核數(shù)量記為；

12、特征聚合網(wǎng)絡(luò)中各節(jié)點(diǎn)值的計(jì)算方式為：

13、；

14、；

15、；

16、；

17、；

18、；

19、；

20、；

21、其中，表示卷積核大小為1×1、卷積核數(shù)量為的卷積計(jì)算，表示拼接，、和為對(duì)應(yīng)層的中間節(jié)點(diǎn)。

22、作為所述局部信息缺失條件下的船舶目標(biāo)類(lèi)型多模態(tài)識(shí)別方法的進(jìn)一步改進(jìn)：所述自適應(yīng)關(guān)鍵特征學(xué)習(xí)模塊包括與特征聚合網(wǎng)絡(luò)輸出的、、和一一對(duì)應(yīng)的多層極化自注意力模塊、、、，設(shè)特征圖輸入至對(duì)應(yīng)的多層極化自注意力模塊后得到的局部關(guān)鍵特性特征圖為，則自適應(yīng)關(guān)鍵特征學(xué)習(xí)模塊得到的局部關(guān)鍵特征為：，其中表示反卷積操作。

23、作為所述局部信息缺失條件下的船舶目標(biāo)類(lèi)型多模態(tài)識(shí)別方法的進(jìn)一步改進(jìn)：所述多層極化自注意力模塊包括通道注意力分支和空間注意力分支；通道注意力分支用于提取輸入的特征圖的通道關(guān)系，空間注意力分支用來(lái)建模輸入的特征圖內(nèi)部之間的依賴(lài)關(guān)系；多層極化自注意力模塊輸出的局部關(guān)鍵特性特征圖為通道注意力分支的輸出注意力圖和空間注意力分支的輸出注意力圖逐像素相加的結(jié)果。

24、作為所述局部信息缺失條件下的船舶目標(biāo)類(lèi)型多模態(tài)識(shí)別方法的進(jìn)一步改進(jìn)：

25、通道注意力分支的處理過(guò)程為：設(shè)多層極化自注意力模塊輸入的特征圖為，先計(jì)算特征圖經(jīng)過(guò)conv(1×1)卷積后的特征圖在各通道上的平均值，然后將所有通道的平均值組成平均特征，再設(shè)置兩個(gè)全連接層的權(quán)重和，權(quán)重和的初始值為隨機(jī)產(chǎn)生、并且在訓(xùn)練過(guò)程中通過(guò)梯度回傳優(yōu)化，然后計(jì)算通道注意力分支的輸出注意力圖：

26、；

27、其中，為sigmoid函數(shù)；

28、空間注意力分支的處理過(guò)程為：設(shè)多層極化自注意力模塊輸入的特征圖為，先對(duì)特征圖進(jìn)行若干并行的卷積操作，每個(gè)卷積操作的卷積核大小各不相同且其中至少一個(gè)卷積操作為擴(kuò)張卷積操作，然后把各卷積操作的結(jié)果進(jìn)行拼接，再對(duì)拼接結(jié)果進(jìn)行卷積操作后輸入至激活函數(shù)中，然后將激活函數(shù)的結(jié)果與特征圖相乘，得到空間注意力分支的輸出注意力圖。

29、作為所述局部信息缺失條件下的船舶目標(biāo)類(lèi)型多模態(tài)識(shí)別方法的進(jìn)一步改進(jìn)：空間注意力分支中，先對(duì)特征圖進(jìn)行1個(gè)卷積核大小為3×3的卷積操作，以及3個(gè)卷積核大小分別為3×3、1×6、6×1的擴(kuò)張卷積操作；4個(gè)卷積結(jié)果拼接后又對(duì)拼接結(jié)果進(jìn)行了卷積核大小為3×3的卷積操作，再經(jīng)過(guò)激活函數(shù)后與特征圖相乘。

30、作為所述局部信息缺失條件下的船舶目標(biāo)類(lèi)型多模態(tài)識(shí)別方法的進(jìn)一步改進(jìn)，激活函數(shù)定義為：

31、；

32、其中，為調(diào)節(jié)關(guān)鍵特征重要性的超參數(shù)，該值越大代表不同關(guān)鍵特征激活效果的差異越明顯；為關(guān)鍵特征和無(wú)關(guān)特征的區(qū)分閾值，該值越大代表篩選數(shù)量越少的關(guān)鍵特征。

33、作為所述局部信息缺失條件下的船舶目標(biāo)類(lèi)型多模態(tài)識(shí)別方法的進(jìn)一步改進(jìn)：拼接模塊中，將可見(jiàn)光圖像處理分支的局部關(guān)鍵特征和紅外圖像處理分支的局部關(guān)鍵特征拼接后，然后按通道展開(kāi)為若干向量，所述若干向量構(gòu)成圖數(shù)據(jù)特征x，然后計(jì)算各向量之間的相似性，根據(jù)相似性構(gòu)建鄰接矩陣特征a；

34、其中，第個(gè)向量和第個(gè)向量的相似性為：

35、；

36、dot表示點(diǎn)積，表示求范數(shù)，為鄰接矩陣特征a中第行、第列的元素；

37、圖神經(jīng)網(wǎng)絡(luò)基于圖數(shù)據(jù)特征x和鄰接矩陣特征a進(jìn)行分類(lèi)，它包括兩層gcnconv，于圖數(shù)據(jù)特征x和鄰接矩陣特征a經(jīng)過(guò)兩層gcnconv后再通過(guò)softmax激活函數(shù)獲得與個(gè)船舶類(lèi)型一一對(duì)應(yīng)的個(gè)節(jié)點(diǎn)，個(gè)節(jié)點(diǎn)中最大值所對(duì)應(yīng)的類(lèi)型即為模型的識(shí)別結(jié)果。

38、相對(duì)于現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果：

39、1、本發(fā)明設(shè)計(jì)的多尺度特征學(xué)習(xí)網(wǎng)絡(luò)，通過(guò)多尺度特征學(xué)習(xí)網(wǎng)絡(luò)提取多尺度特征，為后續(xù)的特征融合學(xué)習(xí)奠定基礎(chǔ)，然后進(jìn)一步地通過(guò)特征聚合網(wǎng)絡(luò)實(shí)現(xiàn)不同層之間自下而上和自上而下的雙向融合，通過(guò)深層語(yǔ)義信息對(duì)淺層細(xì)節(jié)特征的指導(dǎo)與淺層細(xì)節(jié)特征對(duì)深層語(yǔ)義信息的修正來(lái)更好地融合信息，從而更充分提取局部信息特征，防止信息丟失。

40、2、本發(fā)明設(shè)計(jì)的自適應(yīng)關(guān)鍵特征學(xué)習(xí)模塊包含了多層極化自注意力模塊?(psm)。每層psm能夠通過(guò)通道注意力和空間注意力機(jī)制，捕捉長(zhǎng)時(shí)間、大空間的依賴(lài)關(guān)系，以更好地建模特征；其中，在空間注意力分支引入擴(kuò)張卷積并結(jié)合船舶長(zhǎng)寬比設(shè)計(jì)不同角度的擴(kuò)張卷積核，有利于貼合船體外形針對(duì)性地提取特征。多層psm能夠?qū)Σ煌瑢拥奶卣鬟M(jìn)行自適應(yīng)關(guān)鍵特征學(xué)習(xí)，以提取到不同尺寸的具有類(lèi)別判別性的局部關(guān)鍵區(qū)域特征，為下一步的高級(jí)關(guān)系學(xué)習(xí)提供初始關(guān)系。

41、3、本發(fā)明構(gòu)造圖神經(jīng)網(wǎng)絡(luò)以分類(lèi)從圖像構(gòu)造的圖數(shù)據(jù)。通過(guò)將從可見(jiàn)光和紅外兩種模態(tài)圖像中分別提取的局部關(guān)鍵特征作為圖模型節(jié)點(diǎn)，然后利用圖神經(jīng)網(wǎng)絡(luò)對(duì)所提取信息節(jié)點(diǎn)進(jìn)行融合，學(xué)習(xí)多模態(tài)關(guān)鍵特征之間的高階關(guān)系。圖神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中能夠自適應(yīng)地使用高質(zhì)量節(jié)點(diǎn)信息彌補(bǔ)低質(zhì)量節(jié)點(diǎn)，實(shí)現(xiàn)高階關(guān)系的信息互補(bǔ)，有效克服了單一可見(jiàn)光圖像在云霧、雨雪等環(huán)境下信息缺失的問(wèn)題，提升了分類(lèi)識(shí)別的準(zhǔn)確率。

42、4、本方法構(gòu)造的船舶類(lèi)型多模態(tài)識(shí)別方法，通過(guò)多尺度特征學(xué)習(xí)和關(guān)鍵特征提取以獲得不同尺寸的局部關(guān)鍵特征，并將兩種模態(tài)數(shù)據(jù)的局部關(guān)鍵特征視為圖模型節(jié)點(diǎn)，然后利用圖卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。這種方式能夠通過(guò)卷積神經(jīng)網(wǎng)絡(luò)的特征提取和圖神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)信息融合兩種方式促進(jìn)關(guān)鍵信息的互補(bǔ)，從而減小局部信息缺失對(duì)識(shí)別帶來(lái)的影響，提升分類(lèi)效果。