本發(fā)明涉及紅外目標檢測，具體涉及一種基于改進yolov5s的紅外小目標檢測系統(tǒng)、方法以及輕量化方法。

背景技術：

1、目前，隨著軍事領域中紅外制導武器系統(tǒng)的精準打擊應用以及民用領域在森林防火、野生動物觀測救助等方面的應用需求不斷增加，所以，對于紅外小目標檢測的性能要求相應提高。由于紅外小目標具有信噪比低、對比度差、目標面積小、灰度弱等特點，且傳統(tǒng)紅外小目標檢測方法的特征提取依賴人工經(jīng)驗，導致其泛化能力較差不能實現(xiàn)算法在多平臺之間的有效遷移。故此，基于深度學習的紅外小目標檢測算法成為研究熱點。然而，由于紅外小目標檢測任務的特殊性，目前滿足條件的公開數(shù)據(jù)集幾乎沒有，而基于深度學習的目標檢測算法十分依賴數(shù)據(jù)集，一定程度上導致了國內(nèi)外將深度學習理論應用于紅外小目標檢測任務的公開研究較少。

2、與此同時，紅外制導系統(tǒng)/紅外小目標檢測系統(tǒng)所搭載的平臺具有特殊性，不可能無限制的增加其計算能力與數(shù)據(jù)存儲空間。一般基于深度學習的檢測算法模型體積(也即占用存儲空間)較大，難以滿足實際部署要求，因此，算法模型的輕量化研究至關重要。其距離應用到實際場景中仍然存在著一些問題，其中，最為突出的問題是如何將其遷移到可用硬件平臺上，因為算法模型存在參數(shù)量巨大、計算量大、電能消耗大的缺點。算法模型輕量化設計的思想在于在不損失檢測精度的前提下，減小網(wǎng)絡參數(shù)，達到為算法模型瘦身的效果，不再受限于硬件平臺的條件。所以，為了滿足更快、更準、更小這三個要求，研究紅外小目標檢測算法的輕量化是必然結果。

3、紅外小目標檢測技術有兩個研究方向：一是利用提取目標特征自動識別目標，包括經(jīng)典模式識別算法和知識基算法以及人工神經(jīng)網(wǎng)絡技術；二是利用模板匹配自動識別目標。鑒于第二種較為落后且耗時巨大，不適用于本專利所提到的應場景，這里我們只介紹第一種基于深度學習的紅外小目標檢測算法。

4、在2016年，redmon等人提出了yolo算法，該算法第一次實現(xiàn)了單階段流程在目標檢測中的應用，優(yōu)點是速度快、算法體積小，主要缺點是精度較低。2017年，lin等人提出了retinanet，采用focal?loss來表達交叉熵，并改進了圖像集中的樣本權重，使得算法能實現(xiàn)在檢測難度較高的樣本中依然獲得良好的效果。2019年，zhao等人提出了tbc-net，通過語義約束模塊等策略，解決網(wǎng)絡學習小目標特征時，極度不平衡的目標與背景所造成的問題。2021年，hou等人提出了ristd-net，將傳統(tǒng)特征提取方法與深度學習特征提取網(wǎng)絡框架相結合，得到具有較好魯棒性的紅外小目標檢測算法。

5、現(xiàn)有的算法模型輕量化研究主要分為對算法模型本身的改進以及對算法模型部署環(huán)境的改進。其中對于算法模型本身的改進方法主要是通過減少網(wǎng)絡參數(shù)，減低模型復雜度實現(xiàn)的，這也是本專利所使用的方法。常用的算法模型壓縮技術有網(wǎng)絡剪枝、網(wǎng)絡分解、知識蒸餾、參數(shù)共享、量化和緊湊網(wǎng)絡設計等。對算法模型部署環(huán)境的改進包括硬件加速與軟件加速。

6、目前的一些目標檢測算法如rcnn、fasterr-cnn、fpn等系列的檢測速度有限，且易出現(xiàn)誤判，而yolo系列算法的出現(xiàn)逐漸解決了速度和誤判的問題，但是前幾代算法的明顯缺點是精度不足和漏檢率較高，隨著yolo系列持續(xù)的優(yōu)化升級如retinanet、tbcnet、ristdnet網(wǎng)絡結構的提升，使得這一問題得到了極大改善，但是仍未能完全的妥善解決。

7、由于深度學習理論的迅速發(fā)展，更新出的目標檢測算法對小目標檢測能力在持續(xù)提升，算法模型對于特征提取的能力也在不斷提升，導致算法模型的復雜度和體積逐漸變大。因此，要將算法從實驗室階段移植到可用移動平臺上必須進行算法模型輕量化，以利于算法更好的適配與運行。現(xiàn)有的算法模型輕量化研究主要分為對算法模型本身的改進，減少網(wǎng)絡參數(shù)，減低算法模型復雜度；以及對算法模型部署環(huán)境的改進，硬件與軟件加速。常用的算法模型輕量化技術有網(wǎng)絡剪枝、網(wǎng)絡分解、知識蒸餾、參數(shù)共享、量化和緊湊網(wǎng)絡設計等。

8、可見現(xiàn)有的技術存在如下缺點尚未解決：

9、紅外小目標缺乏細致的紋理結構，由于其在視圖中面積過小難以被有效捕捉和識別，現(xiàn)有的算法檢測準確率不高。且現(xiàn)有的紅外小目標檢測算法檢測速度不夠快，難以應對所搭載平臺的快速移動等特性。

技術實現(xiàn)思路

1、有鑒于此，本發(fā)明提供了基于改進yolov5s的紅外小目標檢測系統(tǒng)、方法以及輕量化方法，能夠提高yolov5s-sit算法對紅外小目標檢測任務的準確率并提升檢測速度。

2、為達到上述目的，本發(fā)明的技術方案為：基于改進yolov5s的輕量化紅外小目標檢測系統(tǒng)，yolov5s網(wǎng)絡包括主干網(wǎng)絡backbone、加強主干特征提取網(wǎng)絡neck以及目標檢測頭網(wǎng)絡head，yolov5s網(wǎng)絡中的主干網(wǎng)絡backbone部分中spp模塊替換為spp_x模塊；backbone部分接收輸入圖像，spp-x模塊輸出解算的圖像數(shù)據(jù)流至第一csp2-1。

3、所述加強主干特征提取網(wǎng)絡neck包括順次連接的第一csp2-1、第一cbl、第一upsample、第一contcat、第二csp2-1、第一ecbam、第二cbl、第二upsample、第二contcat、第三csp2-1、第三contcat、第三cbl、第二ecbam、第四csp2-1、第四contcat、第四cbl、第三ecbam以及第五csp2-1；第一cbl連接第四contcat，第二cbl連接第三contcat。

4、所述目標檢測頭網(wǎng)絡head包含三個conv塊，其中neck中的第三～第五csp2-1的處理結果分別接入到三個conv塊中，三個conv塊分別輸出三個檢測到的目標尺寸的圖像。

5、所述spp_x模塊包含順次連接的第八cbl塊和三個max?pool?2d，cbl塊和三個maxpool?2d的輸出均連接至一個concat，concat的輸出連接第九cbl塊，第九cbl塊的輸出作為所述spp_x模塊的輸出。

6、所述第一～第三ecbam的結構相同，具體包括改進通道注意力模塊和空間注意力模塊；輸入特征圖f進入改進通道注意力模塊提取出通道注意力mc(f)，之后與輸入特征圖f進行融合得到特征圖f'，輸入特征圖進入空間注意力模塊提取出空間注意力ms(f)，之后與特征圖f'進行融合得到輸出特征圖f”。

7、進一步地，主干網(wǎng)絡backbone部分包括順次連接的輸入模塊input、focus、第五cbl、csp1-1、第六cbl、csp1-2、第七cbl、csp1-3、第八cbl以及spp-x模塊。

8、csp1-2模塊的處理結果接入neck部分中的第二concat。

9、csp1-3模塊的處理結果接入neck部分中的第一concat。

10、進一步地，改進通道注意力模塊的運算過程具體為：

11、輸入的卷積特征圖為fc×h×w，則通道注意力mc(f)可表示為(3)式：

12、mc(f)＝σ(convk(avgpool(f))+convk(maxpool(f)))?(3)

13、其中，σ表示sigmoid激活函數(shù)，convk表示長度為k的一維卷積核，avgpool(f)為平均池化，maxpool(f)為最大池化。

14、根據(jù)特征圖通道數(shù)c計算卷積核尺寸k的公式(4)如下：

15、

16、其中，odd表示與c最接近的奇數(shù)，γ取值為2，b取值為1；通過上式(4)，為通道注意力機制自動指定一維卷積核的長度，避免引入額外超參數(shù)。

17、所述空間注意力模塊的運算過程為：

18、空間注意力ms(f)的計算過程表示為(5)式：

19、ms(f)＝σ(f7×7([avgpool(f)；maxpool(f)]))?(5)

20、其中，f為輸入特征圖，σ表示sigmoid激活函數(shù)，f7×7表示卷積核尺寸為7×7的卷積計算，avgpool(f)為平均池化，maxpool(f)為最大池化。

21、進一步地，目標檢測頭網(wǎng)絡head的輸出包含3種尺度信息，即對應三種目標尺寸19×19、38×38和76×76。

22、本發(fā)明另外一個實施例還提供了基于改進的yolov5s的輕量化紅外小目標檢測方法，對上述系統(tǒng)檢測出的目標尺寸，采用如下方式進行目標標定：

23、所述目標檢測頭網(wǎng)絡head的輸出包含3種尺度信息，每種尺度包括三種錨框，即需要9種尺度的錨框，則該檢測方法將所有的真值框聚類成9種類別。

24、設定目標真值框的寬和高分別為w和h，之后用k-means算法按和w、h將訓練數(shù)據(jù)集分別聚類。

25、該檢測方法具體流程如下：

26、步驟1：先選取9個目標真值框作為初始類別質心。

27、步驟2：計算每個目標真值框與9個類別質心的距離，然后將每個真值框分配給距離最近的類別。

28、步驟3：根據(jù)最新的類別分配結果計算各個類別的質心。

29、步驟4：若達到終止條件，則算法完成，否則回到第二步繼續(xù)執(zhí)行。

30、終止條件：被重新分配的真值框數(shù)量小于最小值；k-means中心的偏移量小于最小值；真值框與類別質心的誤差平方和達到局部最小。

31、其中，聚類過程中的質心距離計算方式采用l1距離測量原理，其表達式(1)如下：

32、

33、其中，αi表示第i個元素，為當前一次迭代過程中的質心元素，k為迭代次數(shù)。

34、聚類過程將產(chǎn)生3個的質心和3個w/h的質心，根據(jù)此聚類結果生成9個不同尺度和長寬比的錨框，作為本方法的錨框；其中，表示錨框的基礎尺度，w/h表示錨框的長寬比。

35、當計算到某個輸入特征圖的具體錨框時，令ahij和awij分別是第i個特征圖的第j個錨框的高度和寬度，那么ahij和awij由式(2)表示:

36、

37、其中，ρj表示第j個w/h；basesizei表示第i個

38、進一步地，yolov5s-sit算法采用復合損失函數(shù)comloss策略，其中，利用二分類交叉熵損失函數(shù)計算其置信度損失；利用多分類交叉熵損失函數(shù)計算其類別損失；利用ciou損失函數(shù)計算其位置損失。

39、進一步地，二分類交叉熵損失函數(shù)數(shù)學原理如下式(6)：

40、

41、其中，l(x,c)為二分類交叉熵函數(shù)，x是類別的標簽，是第i行j列的類別標簽的真實概率，正類別取值為1，負類別取值為0，c是對應類別的預測概率，為當前第i個類別的預測期望。

42、所述多分類交叉熵損失函數(shù)的數(shù)學原理如下式(7)：

43、

44、其中，l(x,c)為多分類交叉熵函數(shù)，x是類別的標簽，是第i行j列的m類別的真實概率，正類別取值為1，負類別取值為0，c是對應類別的預測概率，為當前第i類別的預測期望。

45、所述ciou損失函數(shù)用于計算錨框位置損失，其數(shù)學原理如下式(8)。

46、

47、其中，其中為預測錨框與真值框質心的距離，為包圍預測錨框與真值框的最小框對角線距離，iou為預測錨框與真值框的邊界框交并比，α為調節(jié)系數(shù)，v為邊界框的長寬比,如前文所述目標真值框的寬和高分別為w和h。

48、本發(fā)明另外一個實施例還提供了基于改進yolov5s的紅外小目標檢測系統(tǒng)輕量化方法，針對上述的系統(tǒng)，在訓練的過程中采用如下步驟進行剪枝以實現(xiàn)輕量化：

49、首先是通過在稀疏化訓練的損失函數(shù)中引入?yún)?shù)γ來對yolov5s-sit算法進行稀疏化訓練，稀疏化訓練中的損失函數(shù)如式(9)所示：

50、lsp＝∑(x,y)l(f(x,w),y)+λ∑γ∈γm(γ)????(9)

51、其中∑(x,y)l(f(x,w),y)為算法的原始復合損失函數(shù)，lsp為算法的稀疏化訓練的損失函數(shù)；f(x,w)為算法卷積層的輸出；λ為疏化參數(shù)，表現(xiàn)為稀疏化訓練的強度；σγ∈γm(γ)表示所有bn層參數(shù)γ的l1范數(shù)，其中m(γ)＝|γ|，即采取l1正則化形成稀疏化的參數(shù)γ。

52、稀疏化訓練如權利要求1所述的系統(tǒng)，目標是使損失函數(shù)lsp最小，當參數(shù)γ趨近于0時，停止訓練。

53、之后，采用針對主干網(wǎng)絡的特征提取部分neck的卷積層中卷積核個數(shù)的剪枝策略。

54、有益效果：

55、1：本發(fā)明提供了基于改進yolov5s的紅外小目標檢測系統(tǒng)、方法，提出了一種基于改進yolov5s的輕量化紅外小目標檢測算法，也即yolov5s-sit(sit，small?infraredtarget)。其中，所設計的yolov5s-sit算法網(wǎng)絡中主要改進包括增強重要特征抑制非重要特征的ecbam注意力模塊、豐富特征圖表達能力的spp_x融合模塊，以及檢測錨框的重新設置和為算法重構的損失函數(shù)comloss。為提高yolov5s-sit算法對紅外小目標檢測任務的精度，針對該算法的結構特性設計了模型輕量化策略，并對其主干網(wǎng)絡進行了相應剪枝與壓縮，最終得到輕量化紅外小目標檢測算法。

56、2：本發(fā)明提供了基于改進yolov5s的紅外小目標檢測系統(tǒng)的輕量化方法，算法中的輕量化策略，設計的模型輕量化策略可以有效減少網(wǎng)絡的參數(shù)量和算法模型大小，同時顯著提升網(wǎng)絡的運行檢測速度，解決了現(xiàn)有的紅外小目標檢測算法占用存儲空間體積過大，難以良好的部署到飛行器等移動平臺上的問題。