技術(shù)特征：

1.一種基于泛注意力機(jī)制的多光譜特征融合多尺度目標(biāo)檢測方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于泛注意力機(jī)制的多光譜特征融合多尺度目標(biāo)檢測方法，其特征在于，在主干網(wǎng)絡(luò)中，包括：

3.根據(jù)權(quán)利要求2所述的基于泛注意力機(jī)制的多光譜特征融合多尺度目標(biāo)檢測方法，其特征在于，在第一gft特征融合網(wǎng)絡(luò)或第三gft特征融合網(wǎng)絡(luò)中，包括：

4.根據(jù)權(quán)利要求3所述的基于泛注意力機(jī)制的多光譜特征融合多尺度目標(biāo)檢測方法，其特征在于，eca模塊通過eca-net實(shí)現(xiàn)，按照通道維度尺寸利用全局平均池化聚合特征，再按照通道維度執(zhí)行自適應(yīng)的1×1卷積核，并輸入最后的gelu激活函數(shù)。

5.根據(jù)權(quán)利要求2所述的基于泛注意力機(jī)制的多光譜特征融合多尺度目標(biāo)檢測方法，其特征在于，在第二gft特征融合網(wǎng)絡(luò)中，包括：

6.根據(jù)權(quán)利要求2所述的基于泛注意力機(jī)制的多光譜特征融合多尺度目標(biāo)檢測方法，其特征在于，在頸部網(wǎng)絡(luò)中，包括：

7.根據(jù)權(quán)利要求6所述的基于泛注意力機(jī)制的多光譜特征融合多尺度目標(biāo)檢測方法，其特征在于，在檢測頭中，包括：

8.根據(jù)權(quán)利要求7所述的基于泛注意力機(jī)制的多光譜特征融合多尺度目標(biāo)檢測方法，其特征在于，在輸出層中，包括：

9.根據(jù)權(quán)利要求6所述的基于泛注意力機(jī)制的多光譜特征融合多尺度目標(biāo)檢測方法，其特征在于，在訓(xùn)練階段，每個repconv模塊使用多個并行的卷積層以捕捉多樣化的特征：

10.根據(jù)權(quán)利要求1-9任一項(xiàng)所述的基于泛注意力機(jī)制的多光譜特征融合多尺度目標(biāo)檢測方法，其特征在于，采用wise?iou?v3損失函數(shù)對多光譜雙流檢測網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

技術(shù)總結(jié)
本發(fā)明公開了一種基于泛注意力機(jī)制的多光譜特征融合多尺度目標(biāo)檢測方法，包括：主干網(wǎng)絡(luò)讀取可見光圖像和紅外圖像后進(jìn)行并行的雙流網(wǎng)絡(luò)特征提取，構(gòu)建基于Transformer并引入代理注意力、跳過注意力結(jié)構(gòu)和交叉注意力的GFT特征融合網(wǎng)絡(luò)在不同階段分別對雙流網(wǎng)絡(luò)提取的特征進(jìn)行融合；頸部網(wǎng)絡(luò)引入BiFPN模塊、VoVGSCSP模塊和GSConv模塊，將不同階段的融合特征作為頸部網(wǎng)絡(luò)的輸入并進(jìn)行特征增強(qiáng)，不同階段的增強(qiáng)后的特征再分別經(jīng)RepConv模塊捕捉多樣化特征；最后經(jīng)檢測頭和輸出層得到最終的目標(biāo)檢測結(jié)果。本發(fā)明提供的網(wǎng)絡(luò)結(jié)構(gòu)在目標(biāo)檢測能力上具備更強(qiáng)的環(huán)境適應(yīng)性，提高了目標(biāo)檢測的魯棒性和檢測精度。

技術(shù)研發(fā)人員：陳耀武,麻航翔,蔣榮欣,高翔
受保護(hù)的技術(shù)使用者：浙江大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10