本發(fā)明屬于計(jì)算機(jī)視覺的目標(biāo)檢測(cè)和識(shí)別領(lǐng)域，具體涉及一種基于改進(jìn)yolo模型的低分辨率小目標(biāo)檢測(cè)方法及系統(tǒng)。

背景技術(shù)：

1、近年來，目標(biāo)檢測(cè)在工業(yè)視覺、視頻監(jiān)控、軍事偵察等領(lǐng)域都發(fā)揮著重要作用。然而，在目標(biāo)檢測(cè)任務(wù)中，低分辨率細(xì)小目標(biāo)檢測(cè)一直是一個(gè)嚴(yán)峻的挑戰(zhàn)，相比正常尺寸的目標(biāo)，低分辨率細(xì)小目標(biāo)由于缺乏充足的外觀信息，難以與背景和相似區(qū)域分開，此外，真實(shí)場(chǎng)景是極其復(fù)雜的，通常會(huì)存在目標(biāo)稠密度過高、目標(biāo)大面積重疊、光照變化和目標(biāo)尺度變化等問題，而這些因素對(duì)低分辨率細(xì)小目標(biāo)的影響是更劇烈的，實(shí)際應(yīng)用中會(huì)造成大量的誤檢和漏檢。

2、為了避免在復(fù)雜場(chǎng)景下低分辨率細(xì)小目標(biāo)的誤檢和漏檢，基于計(jì)算機(jī)視覺的低分辨率細(xì)小目標(biāo)檢測(cè)引起了人們的重視。大多數(shù)針對(duì)低分辨率細(xì)小目標(biāo)的檢測(cè)時(shí)會(huì)應(yīng)用各種卷積神經(jīng)網(wǎng)絡(luò)，比如一種改進(jìn)ssd的輕量化小目標(biāo)檢測(cè)方法、基于srcnn和ssd網(wǎng)絡(luò)的小目標(biāo)檢測(cè)方法等，他們都采用大規(guī)模網(wǎng)絡(luò)進(jìn)行低分辨率細(xì)小目標(biāo)的特征提取，但這不僅會(huì)浪費(fèi)過多的計(jì)算資源，不適用于設(shè)備簡陋的場(chǎng)景中，而且只在很小程度上提高了檢測(cè)精度。

3、后來學(xué)者們認(rèn)識(shí)到在進(jìn)行特征提取時(shí)底層特征和注意力機(jī)制對(duì)低分辨率細(xì)小目標(biāo)的識(shí)別也是至關(guān)重要的，于是在原有卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上加入特征融合和注意力機(jī)制，比如一種基于特征融合和上采樣的航拍圖像小目標(biāo)檢測(cè)方法、基于注意力機(jī)制的低分辨率圖像目標(biāo)檢測(cè)技術(shù)研究等，他們重點(diǎn)關(guān)注底層特征和高級(jí)特征的融合以及注意力機(jī)制對(duì)特征圖的處理，不僅緩解了底層特征在深層網(wǎng)絡(luò)中容易消失的問題，同時(shí)緩解了梯度消失的問題，而且重構(gòu)了檢測(cè)目標(biāo)與背景信息的特征權(quán)重，減少了神經(jīng)網(wǎng)絡(luò)的收斂時(shí)間，提高了神經(jīng)網(wǎng)絡(luò)的效率。

4、近幾年，各種基于yolo整改結(jié)合的網(wǎng)絡(luò)低分辨率細(xì)小目標(biāo)檢測(cè)應(yīng)運(yùn)而生，對(duì)于一般小目標(biāo)的檢測(cè)準(zhǔn)確率都取得了不錯(cuò)的效果，檢測(cè)速度也不錯(cuò)。但是應(yīng)用到低分辨率細(xì)小目標(biāo)場(chǎng)景或者背景復(fù)雜應(yīng)用場(chǎng)景時(shí)，存在的問題相繼暴露出來，如存在過多的誤判、低幀率和細(xì)小目標(biāo)難以檢測(cè)、部分檢測(cè)丟幀等問題。因此，需要一種能夠?qū)崟r(shí)檢測(cè)低分辨率小目標(biāo)的方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題：為了克服現(xiàn)有技術(shù)的不足，針對(duì)計(jì)算視覺低分辨率小目標(biāo)檢測(cè)存在的檢測(cè)精度和檢測(cè)幀率較低，應(yīng)用到復(fù)雜場(chǎng)景下有所受限的問題，本發(fā)明提出了一種基于改進(jìn)yolo模型的低分辨率小目標(biāo)檢測(cè)方法及系統(tǒng)，該方法旨在提高低分辨率細(xì)小目標(biāo)的識(shí)別精度，提高檢測(cè)速度，并應(yīng)用到復(fù)雜場(chǎng)景下。

2、為解決以上技術(shù)問題，本發(fā)明所提出的一種基于改進(jìn)yolo模型的低分辨率小目標(biāo)檢測(cè)方法，包括以下步驟：

3、s1、構(gòu)建帶有標(biāo)注的低分辨率小目標(biāo)數(shù)據(jù)集；

4、s2、構(gòu)建通道空間混合特征突出模塊cshm；

5、s3、將cshm模塊用于yolov7tiny主干網(wǎng)絡(luò)與頸部網(wǎng)絡(luò)連接處；

6、s4、提出自適應(yīng)交并比計(jì)算方法aiou，構(gòu)建隱式高效解耦頭結(jié)構(gòu)iedh；

7、s5、將aiou作為yolov7tiny中的交并比計(jì)算方法，并利用隱式高效解耦頭iedh對(duì)其輸出特征圖解耦；

8、s6、利用改進(jìn)后的低分辨率小目標(biāo)檢測(cè)模型對(duì)低分辨率小目標(biāo)圖像進(jìn)行檢測(cè)。

9、所述步驟s1的具體步驟如下：

10、步驟s11、收集真實(shí)場(chǎng)景下的低分辨小目標(biāo)圖像；

11、步驟s12、使用labelme對(duì)圖像進(jìn)行標(biāo)注以獲取標(biāo)簽；

12、步驟s13、按照訓(xùn)練集、測(cè)試集和驗(yàn)證集比例為6:3:1隨機(jī)劃分圖像構(gòu)成低分辨率小目標(biāo)數(shù)據(jù)集。

13、所述步驟s12中，將數(shù)據(jù)集進(jìn)行標(biāo)注，分成圖片數(shù)據(jù)集文件和對(duì)應(yīng)的txt標(biāo)簽文件。

14、所述步驟s2具體步驟為：

15、步驟s21、構(gòu)建cshm通道特征突出模塊：由自適應(yīng)平均池化、卷積核分別為3、5、7、9的一維卷積和sigmoid函數(shù)組成；

16、步驟s22：構(gòu)建cshm空間特征突出模塊：由三個(gè)分支構(gòu)成，第一分支包括平均池化、最大值池化、卷積核為7的二維卷積和sigmoid函數(shù)；第二分支包括二值函數(shù)f(x)；第三分支與第一分支類似，僅改變二維卷積核大小為3；

17、步驟s23、將cshm通道和空間特征突出模塊連接構(gòu)成通道空間混合特征突出模塊cshm。

18、步驟s3具體為：將cshm模塊用于yolov7tiny主干網(wǎng)絡(luò)和頸部網(wǎng)絡(luò)連接處；cshm模塊不改變特征圖大小和通道數(shù)，僅對(duì)邊緣細(xì)節(jié)特征進(jìn)行突出，以避免特征融合時(shí)底層細(xì)節(jié)特征被淹沒，另外便于后續(xù)對(duì)特征的進(jìn)一步提取。

19、步驟s4具體為：

20、s41、提出自適應(yīng)交并比計(jì)算方法aiou：分別利用和siou(scylla-iou，錫拉交并比)和nwd(normalized?gaussian?wasserstein?distance，歸一化高斯wasserstein距離)計(jì)算交并比得分，并由此計(jì)算權(quán)衡系數(shù)ω；利用ω計(jì)算出最終交并比得分，并利用其權(quán)衡邊界框損失函數(shù)；

21、s42、構(gòu)建隱式高效解耦頭結(jié)構(gòu)iedh：由一系列1×1卷積和3×3卷積構(gòu)成。

22、步驟s5具體為：將aiou作為yolov7tiny中的交并比計(jì)算方法，以準(zhǔn)確計(jì)算錨框的真實(shí)交并比情況，緩解小目標(biāo)對(duì)偏移量較為敏感的問題；并利用隱式高效解耦頭iedh對(duì)輸出特征圖解耦，加快收斂速度，提高檢測(cè)精度和檢測(cè)實(shí)時(shí)性；

23、步驟s5針對(duì)低分辨率小目標(biāo)圖像存在大量小目標(biāo)難以檢測(cè)的問題，使用自適應(yīng)交并比計(jì)算方法以緩解對(duì)小目標(biāo)誤檢和漏檢的現(xiàn)象；以公式表達(dá)為：

24、

25、aiou＝ω×nwdscore+(1-ω)×siouscore

26、其中，aiou表示最終交并比得分，siouscore和nwdscore分別表示兩種方法的交并比得分，pred表示預(yù)測(cè)框，true表示真實(shí)框，x1y1x2y2分別表示邊框左上角和右下角坐標(biāo)，ω表示權(quán)衡系數(shù)。

27、另外，為了使訓(xùn)練過程變得穩(wěn)定、易于收斂，利用ω對(duì)邊界框損失函數(shù)進(jìn)行權(quán)衡：

28、lossbox＝ω×(1-nwdscore)+

29、(1-ω)×(1-siouscore)。

30、步驟s6具體步驟如下：

31、在訓(xùn)練過程中配置環(huán)境變量，設(shè)置epoch為300，batch?size為16，輸入圖像大小resize為640*640；

32、使用改進(jìn)后的yolov7tiny模型進(jìn)行訓(xùn)練；所涉及的評(píng)價(jià)指標(biāo)為平均精度map@0.5和實(shí)時(shí)幀率fps。

33、進(jìn)一步的，本發(fā)明還提出了基于改進(jìn)yolo模型的低分辨率小目標(biāo)檢測(cè)系統(tǒng)，包括

34、數(shù)據(jù)集存儲(chǔ)模塊，用于收集真實(shí)場(chǎng)景下的低分辨率小目標(biāo)圖像，并存儲(chǔ)到數(shù)據(jù)集中。

35、數(shù)據(jù)集標(biāo)注模塊，用于對(duì)數(shù)據(jù)集存儲(chǔ)模塊中的圖像數(shù)據(jù)集進(jìn)行標(biāo)注。

36、低分辨率小目標(biāo)檢測(cè)網(wǎng)絡(luò)搭建模塊，用于搭建低分辨率小目標(biāo)檢測(cè)網(wǎng)絡(luò)，被配置以執(zhí)行以下動(dòng)作：構(gòu)建通道空間混合特征突出模塊cshm，將cshm模塊用于yolov7tiny主干網(wǎng)絡(luò)與頸部網(wǎng)絡(luò)連接處；分別利用錫拉交并比siou和歸一化高斯wasserstein距離nwd計(jì)算交并比得分，并由此計(jì)算權(quán)衡系數(shù)ω；利用ω計(jì)算出最終交并比得分aiou，并利用其權(quán)衡邊界框損失函數(shù)；由一系列1×1卷積和3×3卷積構(gòu)成隱式高效解耦頭結(jié)構(gòu)iedh；將最終交并比得分aiou作為yolov7tiny中的交并比計(jì)算方法，并利用隱式高效解耦頭iedh對(duì)其輸出特征圖解耦，得到改進(jìn)后的低分辨率小目標(biāo)檢測(cè)模型。

37、小目標(biāo)預(yù)測(cè)模塊，用于將數(shù)據(jù)集標(biāo)注模塊中的圖像數(shù)據(jù)集輸入到低分辨率小目標(biāo)檢測(cè)網(wǎng)絡(luò)中，通過訓(xùn)練將學(xué)習(xí)到的特性進(jìn)行預(yù)測(cè)，輸出圖像中小目標(biāo)位置及類別信息。

38、進(jìn)一步的，本發(fā)明還提出了一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)前文所述的基于改進(jìn)yolo模型的低分辨率小目標(biāo)檢測(cè)方法的步驟。

39、進(jìn)一步的，本發(fā)明還提出了一種計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行前文所述的基于改進(jìn)yolo模型的低分辨率小目標(biāo)檢測(cè)方法。

40、最后，本發(fā)明還提出一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序/指令，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)本發(fā)明所述的基于改進(jìn)yolo模型的低分辨率小目標(biāo)檢測(cè)方法的步驟。

41、與現(xiàn)有技術(shù)相比，本發(fā)明具有技術(shù)效果如下：

42、(1)針對(duì)低分辨率小目標(biāo)圖像普遍分辨率較低，目標(biāo)細(xì)節(jié)邊緣特征大量丟失，導(dǎo)致特征較難提取的問題，本發(fā)明引入通道空間混合特征突出模塊cshm，通過突出邊緣細(xì)節(jié)特征，避免特征融合時(shí)細(xì)節(jié)特征被淹沒，有效提高檢測(cè)精度。

43、(2)針對(duì)低分辨率小目標(biāo)體積較小、數(shù)量多，且其預(yù)錨框?qū)ζ屏枯^為敏感的問題，本發(fā)明引入自適應(yīng)交并比計(jì)算方法aiou，通過權(quán)衡系數(shù)將siou和nwd綜合考慮為最終交并比得分，全面評(píng)估目標(biāo)與預(yù)測(cè)框的位置差異和形狀相似度，有效提升小目標(biāo)的檢測(cè)精度。

44、(3)針對(duì)大多數(shù)目標(biāo)檢測(cè)模型占用計(jì)算資源較高、檢測(cè)幀率較低、實(shí)時(shí)性差，不能滿足實(shí)際場(chǎng)景需求的問題，本發(fā)明引進(jìn)隱式高效解耦頭iedh，通過構(gòu)建輕量化結(jié)構(gòu)和隱式知識(shí)學(xué)習(xí)模塊的嵌入，使得檢測(cè)精度和實(shí)時(shí)性極大提升，能夠滿足實(shí)際場(chǎng)景的需求。