本發(fā)明涉及遙感場景和分類，具體涉及一種基于多分支融合的海洋遙感圖像場景分類方法。

背景技術(shù)：

1、在遙感圖像解譯領(lǐng)域，遙感場景分類是遙感領(lǐng)域的一項既基礎(chǔ)又重要的任務(wù)，是對遙感圖像的語義內(nèi)容進(jìn)行標(biāo)注的過程。遙感場景圖像呈現(xiàn)出高度復(fù)雜的幾何結(jié)構(gòu)，每個場景都包含大小不同、外觀迥異的物體，這些對象不僅形狀多變，而且空間結(jié)構(gòu)差異顯著。受這些特性的影響，遙感場景中的主體對象難以清晰捕獲，以及其復(fù)雜的尺度信息，致使從圖像中提取準(zhǔn)確且具有辨別性的特征變得尤為困難。特征提取是遙感場景分類中最重要的步驟，只有提取到能夠有效表達(dá)圖像內(nèi)在屬性并具備高度判別行的特征，才能實現(xiàn)遙感場景的準(zhǔn)確分類。

2、因此，在提取特征時，如何優(yōu)化特征，以強調(diào)關(guān)鍵對象信息；如何融合特征，有效處理多尺度的特征信息，在遙感場景分類中需要解決這一系列難題，適應(yīng)遙感圖像獨特的空間結(jié)構(gòu)。此外，在海洋遙感領(lǐng)域中還存在圖像尺度變化大以及有利于海洋遙感場景分類的形狀信息丟失的問題。

技術(shù)實現(xiàn)思路

1、為了解決上述技術(shù)問題，本發(fā)明提出一種基于多分支融合的海洋遙感圖像場景分類方法，通過融合遙感圖像尺度信息和層次信息，能夠有效聚合多尺度特征，提升特征的表示能力。

2、在本發(fā)明的第一方面，本發(fā)明公開了一種基于多分支融合的海洋遙感圖像場景分類方法，包括：

3、步驟s1、獲取海洋遙感圖像數(shù)據(jù)并對其進(jìn)行預(yù)處理，獲取的海洋遙感圖像數(shù)據(jù)包括訓(xùn)練集、驗證集和測試集，分別用于后續(xù)對模型進(jìn)行訓(xùn)練、驗證和評估;

4、步驟s2、構(gòu)建基于多分支融合的海洋遙感場景分類模型，所述模型采用cnn的金字塔式網(wǎng)絡(luò)結(jié)構(gòu)，包括多個多分支網(wǎng)絡(luò)塊和可學(xué)習(xí)的多級融合模塊，所述可學(xué)習(xí)的多級聚合模塊用于將所述多個多分支網(wǎng)絡(luò)塊進(jìn)行融合；

5、步驟s3、根據(jù)訓(xùn)練集、驗證集和測試集中的數(shù)據(jù)對基于多分支融合的海洋遙感場景分類模型進(jìn)行訓(xùn)練，并更新基于多分支融合的海洋遙感場景分類模型；

6、步驟s4、將待分類海洋遙感圖像數(shù)據(jù)輸入到訓(xùn)練好的海洋遙感場景分類模型中，得到分類結(jié)果。

7、進(jìn)一步地，海洋遙感圖像數(shù)據(jù)包括arcgis數(shù)據(jù)集、wdmi?數(shù)據(jù)集和google?earth數(shù)據(jù)集；其中，arcgis數(shù)據(jù)集主要用于地理信息系統(tǒng)分析，包含高分辨率的海洋環(huán)境圖像，捕獲時間限定為近五年內(nèi)，以確保反映當(dāng)前海洋場景變化；wdmi數(shù)據(jù)集專注于水體監(jiān)測，涵蓋多樣的海洋場景，包括港口、海岸線和開放海域；google?earth數(shù)據(jù)集提供全球范圍內(nèi)的高分辨率衛(wèi)星圖像，具有可靠的標(biāo)注信息，支持監(jiān)督學(xué)習(xí)需求。所述步驟s1中對海洋遙感圖像數(shù)據(jù)進(jìn)行預(yù)處理包括：對海洋遙感圖像數(shù)據(jù)集中的每一幅圖像在訓(xùn)練過程中固定種子seed，將圖像尺寸改變?yōu)?56×256，并采用中心裁切的方式裁切到224×224。

8、進(jìn)一步地，模型還包括stem卷積模塊，用于對輸入的海洋遙感圖像數(shù)據(jù)進(jìn)行處理，并將處理后的圖像數(shù)據(jù)發(fā)送到多分支網(wǎng)絡(luò)塊；

9、在將圖像輸入到每個處理模塊前，首先使用一個stem卷積模塊處理的圖像，其由兩個通道為，，步長為2的3×3卷積層組成，生成的特征，為多分支網(wǎng)絡(luò)網(wǎng)絡(luò)塊的輸入維度。

10、進(jìn)一步地，多分支網(wǎng)絡(luò)塊包括：

11、多尺度嵌入模塊，用于生成不同大小的嵌入特征，并將其輸入到多分支模塊中；

12、多分支模塊，包括cnn分支和transformer分支，所述cnn分支用于根據(jù)多尺度嵌入模塊輸出的嵌入特征獲取圖像數(shù)據(jù)的局部特征，所述transformer分支用于根據(jù)多尺度嵌入模塊輸出的嵌入特征獲取圖像數(shù)據(jù)的多尺度特征；

13、核選擇聚合模塊，用于將cnn分支獲取的局部特征和transformer分支獲取的多尺度特征進(jìn)行聚合，得到輸出的特征；

14、多分支網(wǎng)絡(luò)塊包括四個階段：第一多分支網(wǎng)絡(luò)塊、第二多分支網(wǎng)絡(luò)塊、第三多分支網(wǎng)絡(luò)塊、第四多分支網(wǎng)絡(luò)塊；每個階段的?transformer?分支數(shù)量，設(shè)置為[2，3，3，3]，對應(yīng)的每個transformer?分支堆疊的編碼器數(shù)量設(shè)置為[1，2，4，1]。

15、進(jìn)一步地，多尺度嵌入模塊用于生成不同大小的嵌入特征，并將其輸入到多分支模塊中包括：

16、多尺度嵌入模塊通過改變步幅和填充來調(diào)整?token?的序列長度，用不同的patch大小輸出相同形狀的特征，也通過調(diào)整步幅實現(xiàn)當(dāng)前階段特征的2×2下采樣；為了減少模型參數(shù)和計算開銷，采用3×3深度可分離卷積來實現(xiàn)，由3×3深度卷積和嵌入層中的1×?1逐點卷積組成；所有卷積層之后加入批歸一化和hardswish函數(shù)；最后將不同大小的token嵌入特征分別輸入到多分支模塊中；

17、多尺度嵌入模塊使用由1×1卷積、3×3深度卷積、1×1卷積和殘差連接組成的深度殘差瓶頸層，處理嵌入特征，同時將這些不同尺度的特征，輸入到多分支模塊。

18、進(jìn)一步地，transformer分支用于根據(jù)多尺度嵌入模塊輸出的嵌入特征獲取圖像數(shù)據(jù)的多尺度特征包括：

19、transformer分支中使用經(jīng)典的transformer編碼器結(jié)構(gòu)，使用因式分解自注意力并搭配卷積相對位置編碼組成新的卷積注意力模塊；具體包括：

20、對輸入的token首先進(jìn)行卷積位置編碼，然后輸入到卷積注意力模塊，其包括了因式分解注意力模塊和卷積相對位置編碼模塊，因式分解注意力公式如下：

21、

22、

23、

24、其中，，，表示自注意力的三個向量，代表的是輸入到?transformer?編碼器的圖像特征數(shù)據(jù)，表示通道數(shù)，上標(biāo)t表示轉(zhuǎn)置，第一個公式為原始注意力機制的計算公式，第二個公式為高效因式分解的注意力，通過公式可以看到在原始的基礎(chǔ)上，通過兩個函數(shù)和對和進(jìn)行分解，并通過一起計算和相乘來近似原始的注意力圖；第三個公式為使用的方法，函數(shù)使用恒等映射，并加入比例因子，函數(shù)使用softmax函數(shù)；

25、為了建模局部token的關(guān)系，使用深度卷積進(jìn)行相對位置編碼，得到相對位置的注意力圖，將因式分解自注意力和位置編碼進(jìn)行結(jié)合，得出卷積注意力，具體公式如下所示：

26、

27、

28、

29、其中，表示相對位置的注意力圖，強調(diào)如何通過卷積提取局部特征并與查詢向量結(jié)合，以捕捉局部關(guān)系；表示綜合性的注意力圖，通過連接多個注意力圖，增強信息的多樣性，有助于提高模型的表達(dá)能力和準(zhǔn)確性，表示hadamard?product，w?表示卷積核的權(quán)重值。

30、進(jìn)一步地，所述核選擇聚合模塊，就是核選擇多尺度聚合模塊（kernel?selectionmulti-scale?aggregation，ksmsa），采用不同的大卷積核，運用動態(tài)的感受野去感知不同尺度的信息，有效地對不同類別對象的不同上下文細(xì)微差別進(jìn)行建模，進(jìn)一步提升融合的效率，增強特征表示。

31、核選擇多尺度聚合模塊的核心是大核選擇模塊以及用于融合和通道變換的卷積層，其中大核選擇模塊嵌入到兩個用于增強網(wǎng)絡(luò)表示能力的1×1卷積層中，其主要的步驟是分離，融合和選擇。大核選擇模塊對于輸入的每個分支的特征，首先進(jìn)行卷積核大小為5和7的卷積計算，獲得不同卷積核大小處理的特征：和，這些卷積均使用高效的分組卷積實現(xiàn)，允許對每個空間特征向量進(jìn)行通道混合。聚合的目的是能夠根據(jù)內(nèi)容自適應(yīng)地調(diào)整感受野的大小，基本思想是使用門來控制兩種卷積核分支的信息流。為了實現(xiàn)這一點，門控機制需要整合這些信息，將這些特征進(jìn)行拼接，如下面的公式表示，結(jié)合兩分支的特征：；

32、為了增強網(wǎng)絡(luò)關(guān)注相關(guān)空間上下文區(qū)域的能力，使用門控機制從不同尺度的大卷積核空間中選擇特征圖。為了有效提取空間關(guān)系，采用使用全局平均池化和全局最大池化的并行的操作，然后再次拼接在一起，產(chǎn)生spatial-wise?統(tǒng)計信息，公式如下所示：

33、

34、

35、

36、其中，，表示特征圖的高和寬，表示第通道，表示全局平均池化后的第通道特征，表示全局最大池化后的第通道特征，表示兩個池化特征拼接后的第通道特征，表示拼接處理。而后進(jìn)行卷積操作，將池化后特征轉(zhuǎn)換為兩個空間注意力?圖，實現(xiàn)對不同空間的信息交互。使用sigmoid激活函數(shù)來獲得每個分解后的大核單獨空間的選擇掩碼，以便為精確和自適應(yīng)地選擇提供指導(dǎo)，具體公式如下所示：

37、

38、其中，表示sigmoid激活函數(shù)，表示卷積操作，表示所有通道的。使用權(quán)重矩陣對特征進(jìn)行重加權(quán)求和得到最終的當(dāng)前尺度分支輸出特征，并且為了防止梯度消失和梯度爆炸，加入殘差連接，具體如下公式所示：

39、

40、將這些經(jīng)過大核選擇模塊處理的各分支特征拼接在一起，再經(jīng)過1×1卷積進(jìn)行通道變換，完成當(dāng)前階段的多分支特征融合，以輸入下一個階段的多尺度嵌入模塊。經(jīng)過對不同尺度的特征采用不同的卷積核進(jìn)行處理，獲取動態(tài)感受野，有效地對齊了多尺度特征之間的語義差異，更好地實現(xiàn)多分支特征聚合，增強特征表示能力，提升分類效果。

41、進(jìn)一步地，步驟s2中所述可學(xué)習(xí)的多級聚合模塊用于將所述多個多分支網(wǎng)絡(luò)塊進(jìn)行融合包括：

42、可學(xué)習(xí)的多級聚合模塊將第一多分支網(wǎng)絡(luò)塊、第二多分支網(wǎng)絡(luò)塊和第三多分支網(wǎng)絡(luò)塊三個階段的特征通過下采樣操作，得到相同大小的特征圖，然后將這些特征拼接在一起，然后通過skconv計算得到淺層信息的融合特征；之后與設(shè)置的可學(xué)習(xí)超參數(shù)相乘，實現(xiàn)動態(tài)求和，以便生成彌補淺層信息的最終特征。

43、進(jìn)一步地，步驟s3中對基于多分支融合的海洋遙感場景分類模型進(jìn)行訓(xùn)練中引入標(biāo)簽平滑損失作為損失函數(shù)；所述標(biāo)簽平滑損失將傳統(tǒng)交叉熵?fù)p失中對標(biāo)簽的one-hot硬編碼方式改為軟編碼，在one-hot中添加一點噪聲，使模型更具有魯棒性；損失函數(shù)公式如下面的公式所示：

44、

45、

46、其中，表示分類器輸出的預(yù)測值，表示one-hot編碼，表示真實標(biāo)簽，是一個很小的常數(shù)，為類別的個數(shù)。

47、在本發(fā)明的第二方面，本發(fā)明提供了一種計算機可讀存儲介質(zhì)，存儲有計算機程序，計算機程序被處理器執(zhí)行時實現(xiàn)第一方面任一項所述的方法。

48、本發(fā)明提供了一種基于多分支融合的海洋遙感圖像場景分類方法，具體涉及遙感場景和分類技術(shù)領(lǐng)域，本發(fā)明通過構(gòu)建卷積網(wǎng)絡(luò)和transformer多分支并行計算的網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計核選擇多尺度聚合模塊，處理多個分支產(chǎn)生的不同尺度特征；通過選擇不同的卷積核，建立動態(tài)的感受野，自適應(yīng)地處理不同尺度的特征，減小語義差異以實現(xiàn)有效聚合多尺度特征；此外，通過設(shè)置可學(xué)習(xí)的參數(shù)將淺層的形狀信息補充到深層特征，增強最終分類特征的表示能力；本發(fā)明提供的海洋遙感圖像場景分類方法在基線上實現(xiàn)了2.74%的準(zhǔn)確率提升，更有效地聚合了多尺度特征，增強了特征表示能力。