本發(fā)明屬于高光譜圖像分類，具體涉及臨地安防體系下高光譜中心像素雙分支圖像分類方法。

背景技術(shù)：

1、在當(dāng)今全球安全環(huán)境日益復(fù)雜的背景下，國家和區(qū)域安全面臨新的挑戰(zhàn)，臨地安防(vicinagearth?security,vs)概念應(yīng)運(yùn)而生。臨地安防是指面向臨地空間內(nèi)防衛(wèi)、防護(hù)、生產(chǎn)、安全、救援等需求的多元化、跨域化、立體化、協(xié)同化、智能化技術(shù)體系，應(yīng)用場景包括低空安防、水下安防以及跨域安防等，涵蓋海平面以下1000米到海平面以上10000米的水域、地面及空域。在臨地安防體系中，高光譜圖像是一項(xiàng)重要的輸入數(shù)據(jù)，其相比于自然圖像具有更高的光譜分辨率，能在各類地物的精細(xì)識別中提供更多的光譜特征信息。高光譜圖像分類技術(shù)利用地物光譜特征信息為高光譜圖像中每一個(gè)像元分配正確的物質(zhì)類別標(biāo)簽，不僅常用于指導(dǎo)農(nóng)業(yè)生產(chǎn)、資源勘探、城市規(guī)劃，在環(huán)境監(jiān)測、災(zāi)害預(yù)警、偵察等臨地安防任務(wù)中也有廣泛的應(yīng)用前景。由于分類精度會影響高光譜圖像分析決策系統(tǒng)的后續(xù)性能，研究有效的高光譜圖像分類方法具有非常重要的意義。

2、與自然圖像中的圖像分類任務(wù)相比，高光譜圖像的分類任務(wù)有以下特點(diǎn)：(1)光譜波段數(shù)量大、相關(guān)性強(qiáng)、冗余度高；(2)高光譜圖像的空間分辨率較低，圖像中存在一些混合像素，同時(shí)由于傳感器自身物理技術(shù)特性、觀察視角和成像機(jī)理等原因，成像質(zhì)量往往易受天氣、光照等多種因素影響，因而常會出現(xiàn)“同物異譜”和“同譜異物”等現(xiàn)象；(3)由于高光譜圖像的像素級標(biāo)注需要一定的領(lǐng)域內(nèi)專家知識，人工標(biāo)注費(fèi)時(shí)費(fèi)力成本巨大，因此現(xiàn)有的高光譜圖像數(shù)據(jù)中可用的有標(biāo)注樣本數(shù)目較少。

3、這些復(fù)雜特性讓高光譜圖像分類任務(wù)充滿挑戰(zhàn)，因此如何對高光譜圖像進(jìn)行高效、可靠、精確的分類具有重要的研究意義。目前，主流的高光譜圖像分類方法主要依靠深度學(xué)習(xí)，按照特征提取技術(shù)的區(qū)別，可以將相關(guān)工作分為以下三類：

4、第一類：深度學(xué)習(xí)方法基于卷積神經(jīng)網(wǎng)絡(luò)(cnn)，hu等人在論文“hu?w,huang?y,wei?l,et?al.deep?convolutional?neural?networks?for?hyperspectral?imageclassification[j].journal?of?sensors,2015,1-12.”中首次使用一維卷積神經(jīng)網(wǎng)絡(luò)提取光譜特征，實(shí)現(xiàn)了相比支持向量機(jī)和早期基于深度學(xué)習(xí)的方法更好的性能。zhang等人在論文“zhang?x,shang?s,tang?x,et?al.spectral?partitioning?residual?network?withspatial?attention?mechanism?for?hyperspectral?image?classification[j].ieeetransactions?on?geoscience?and?remote?sensing,2021,60:1-14.”中將輸入光譜帶分成幾個(gè)不重疊的連續(xù)子帶，并使用級聯(lián)并行改進(jìn)殘差塊分別從這些子帶中提取光譜空間特征。li等人在論文“l(fā)i?r,zheng?s,duan?c,et?al.classification?of?hyperspectralimage?based?on?double-branch?dual-attention?mechanism?network[j].remotesensing,2020,12(3):582.”中使用雙分支cnn網(wǎng)絡(luò)，在兩個(gè)分支中分別利用光譜和空間注意力機(jī)制來提取光譜和空間特征，隨后進(jìn)行特征融合用于分類?；赾nn構(gòu)建的深度學(xué)習(xí)方法具有很好的局部細(xì)節(jié)構(gòu)建能力，但受卷積窗口大小限制，需要依靠堆疊卷積層數(shù)來擴(kuò)大感受野。

5、第二類：深度學(xué)習(xí)方法基于視覺transformer(vit)，hong等人在論文“hong?d,hanz,yao?j,et?al.spectralformer:rethinking?hyperspectral?image?classificationwith?transformers[j].ieee?transactions?on?geoscience?and?remote?sensing,2021,60:1–15.”中提出了一種新的基于transformer的主干網(wǎng)絡(luò)spectralformer，用以學(xué)習(xí)相鄰頻帶中的光譜局部序列信息，生成分組光譜嵌入并使用跨層跳躍連接將生成嵌入從淺層傳輸?shù)缴顚?，?shí)現(xiàn)可觀的分類性能。sun等人在論文“sun?l,zhao?g,zheng?y,etal.spectral–spatial?feature?tokenization?transformer?for?hyperspectral?imageclassification[j].ieee?transactions?on?geoscience?and?remote?sensing,2022,60:1-14.”中提出了一種頻譜空間特征標(biāo)記化方法，將高光譜圖像更好的適應(yīng)vit模型，同時(shí)也取得了更優(yōu)的性能表現(xiàn)?；趘it構(gòu)建的深度學(xué)習(xí)方法天然具備優(yōu)秀的長距離依賴建模能力，在全局特征提取上表現(xiàn)優(yōu)秀，但vit對空間信息感知不強(qiáng)，而且往往需要更大規(guī)模的訓(xùn)練數(shù)據(jù)支持。

6、第三類，深度學(xué)習(xí)方法基于cnn和vit結(jié)構(gòu)的融合，xu等人在論文“xu?r,dong?x?m,li?w,et?al.dbctnet:double?branch?convolution-transformer?network?forhyperspectral?image?classification[j].ieee?transactions?on?geoscience?andremote?sensing,2024,62:3368141.”中提出了cnn和vit的并行結(jié)構(gòu)，利用彼此特性分別提取光譜特征和空間特征，取得了比單一結(jié)構(gòu)更好的結(jié)果。zhao等人在論文“zhao?z,xu?x,lis,et?al.hyperspectral?image?classification?using?groupwise?separableconvolutional?vision?transformer?network[j].ieee?transactions?on?geoscienceand?remote?sensing,2024,62:3377610.”中利用組卷積和局部窗口注意力，在保證模型性能的同時(shí)降低參數(shù)量，使其更利于訓(xùn)練和部署。該類cnn和vit的混合結(jié)構(gòu)能更好的利用模型特性，取得比單一結(jié)構(gòu)更好的效果，但這種結(jié)構(gòu)增加了模型的復(fù)雜性，在有限訓(xùn)練樣本條件下容易發(fā)生過擬合，因而在模型設(shè)計(jì)上更具挑戰(zhàn)性。

技術(shù)實(shí)現(xiàn)思路

1、為了克服上述問題，本發(fā)明通過結(jié)合高光譜圖像數(shù)據(jù)特點(diǎn)，提出了臨地安防體系下高光譜中心像素雙分支圖像分類方法，利用基于cnn結(jié)構(gòu)的光譜分支提取中心像素區(qū)域特征，將其從全局特征提取過程中分離，減輕鄰域內(nèi)無關(guān)信息對分類結(jié)果的影響，同時(shí)在vit結(jié)構(gòu)中引入hilo注意力機(jī)制，增強(qiáng)空間分支對全局特征的提取能力，實(shí)現(xiàn)在有限訓(xùn)練樣本條件下獲得泛化性能更好的高光譜圖像分類模型。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：

3、一種臨地安防體系下高光譜中心像素雙分支圖像分類方法，包括：

4、步驟1，數(shù)據(jù)預(yù)處理，采用公開的高光譜圖像數(shù)據(jù)集，將高光譜圖像處理成若干個(gè)高光譜圖像patch塊，并劃分訓(xùn)練集和測試集；

5、步驟2，構(gòu)建基于中心像素的雙分支網(wǎng)絡(luò)模型，雙分支分別為中心光譜特征提取分支和全局空間特征提取分支；

6、步驟3，利用訓(xùn)練集訓(xùn)練步驟2構(gòu)建的雙分支網(wǎng)絡(luò)模型，更新網(wǎng)絡(luò)權(quán)重；

7、步驟4，將測試集輸入到訓(xùn)練完成的雙分支網(wǎng)絡(luò)模型中進(jìn)行高光譜圖像分類，輸出分類結(jié)果圖，驗(yàn)證訓(xùn)練完成的雙分支網(wǎng)絡(luò)模型的性能。

8、在劃分訓(xùn)練集時(shí)，隨機(jī)在每個(gè)類別中抽取若干個(gè)高光譜圖像patch塊及其對應(yīng)的中心像素標(biāo)簽生成訓(xùn)練集。

9、中心光譜特征提取分支通過并行組卷積的方式實(shí)現(xiàn)多尺度的特征提取，將自身的輸入特征維度由粗到細(xì)映射到多尺度的特征表達(dá)，將不同尺度的光譜特征在通道維度上拼接，得到多尺度中心光譜特征表示。

10、全局空間特征提取分支將自身的輸入特征經(jīng)過線性層進(jìn)行特征變換后分成兩路，一路經(jīng)過hilo注意力計(jì)算后再通過全連接層和深度分離卷積層構(gòu)建的前饋網(wǎng)絡(luò)層，另一路通過激活層映射，將兩路結(jié)果做hadamard積運(yùn)算，得到全局空間特征表示。

11、全局空間特征提取分支中的hilo注意力由高頻注意力部分和低頻注意力部分組成，高頻注意力通過在局部窗口中計(jì)算自注意力實(shí)現(xiàn)，用來刻畫圖像細(xì)節(jié)，低頻注意力對窗口內(nèi)特征進(jìn)行平均池化操作，在計(jì)算縮小的特征圖與每個(gè)圖像patch間的注意力分?jǐn)?shù)。

12、通過調(diào)節(jié)高頻注意力和低頻注意力的占比，實(shí)現(xiàn)全局空間特征提取能力的增強(qiáng)。

13、將中心光譜特征提取分支和全局空間特征提取分支的輸出進(jìn)行全局平均池化操作后進(jìn)行拼接處理，輸入全連接層，輸出分類結(jié)果圖。

14、訓(xùn)練采用隨機(jī)梯度下降法，優(yōu)化器使用adamw，學(xué)習(xí)率設(shè)置為1e-3，衰減率設(shè)置為1e-4，損失函數(shù)使用交叉熵?fù)p失函數(shù)。

15、雙分支網(wǎng)絡(luò)模型選擇準(zhǔn)確率aa，預(yù)測準(zhǔn)確率oa以及kappa系數(shù)指標(biāo)衡量模型精度。

16、一種計(jì)算機(jī)可存儲介質(zhì)，存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)臨地安防體系下高光譜中心像素雙分支圖像分類方法

17、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

18、1.本技術(shù)通過將關(guān)鍵的中心像素特征提取過程與全局特征提取過程分離，能夠有效保護(hù)中心像素特征不受鄰域中無關(guān)信息的干擾，從而提高分類的準(zhǔn)確性。

19、2.本技術(shù)設(shè)計(jì)的基于vit結(jié)構(gòu)的空間提取分支中，通過引入hilo注意力機(jī)制調(diào)節(jié)對圖像中高低頻信號特征的關(guān)注度，能在保留圖像細(xì)節(jié)信息的同時(shí)平滑高光譜圖像的類內(nèi)光譜差異，提高全局特征提取能力。

20、3.本技術(shù)設(shè)計(jì)的基于中心像素雙分支網(wǎng)絡(luò)簡潔有效，能在有限訓(xùn)練樣本條件下取得更高的分類準(zhǔn)確率。