本發(fā)明屬于環(huán)境監(jiān)控，具體涉及一種應(yīng)用于監(jiān)控攝像頭下的實時生活垃圾檢測系統(tǒng)。

背景技術(shù)：

1、隨著經(jīng)濟(jì)的發(fā)展和國民生活質(zhì)量的提高，日常生活中不可避免地產(chǎn)生大量的生活垃圾。研究表明，未來30年，全球垃圾產(chǎn)生量將從2016年的每年20.1億噸增加到每年34億噸。因此，為了減少環(huán)境污染和降低疾病傳播風(fēng)險，生活垃圾管理的重要性不言而喻。一般來說，紙張、塑料、金屬等構(gòu)成了城市環(huán)境和公共場所的垃圾成分，其中，塑料垃圾是世界上最豐富的垃圾，對環(huán)境和健康的負(fù)面影響比其他類型的垃圾更大。大量研究證明，若不妥善進(jìn)行生活垃圾管理，則生活垃圾會對當(dāng)?shù)氐沫h(huán)境造成嚴(yán)重不良影響，包括但不限于造成不良景觀、滋生細(xì)菌，甚至導(dǎo)致對當(dāng)?shù)芈糜螛I(yè)的負(fù)面影響，影響城市經(jīng)濟(jì)發(fā)展。

2、盡管人們意識到垃圾對環(huán)境和健康的嚴(yán)重后果，但在發(fā)展中國家和發(fā)達(dá)國家的許多城市和公共場所，生活垃圾的管理仍面臨嚴(yán)峻挑戰(zhàn)。造成生活垃圾管理推進(jìn)困難的最大原因之一是生活垃圾在城市的大面積分散，采用人工巡檢方法對生活垃圾進(jìn)行收集與處理的人工成本極大，漏檢率高，并且容易危害巡檢工人的健康。因此，設(shè)計一個能夠嵌入監(jiān)控攝像頭中對街道社區(qū)生活垃圾暴露情況進(jìn)行實時監(jiān)測的輕量型、高泛化能力算法對于降低人工巡檢成本與推進(jìn)生活垃圾自動化管理至關(guān)重要。

3、目標(biāo)檢測算法早在深度學(xué)習(xí)出現(xiàn)之前就已經(jīng)出現(xiàn)，目前，目標(biāo)檢測已成為計算機(jī)視覺領(lǐng)域的一個重要研究方向。傳統(tǒng)目標(biāo)檢測算法的產(chǎn)生主要基于圖像處理和機(jī)器學(xué)習(xí)算法。傳統(tǒng)方法采用經(jīng)典圖像分類算法手動提取幾何、邊緣和紋理級別的特征，然后通過分類器對圖像進(jìn)行分類。但這些方法均存在流程復(fù)雜、效率低、準(zhǔn)確度低、泛化能力差的特點。

4、深度學(xué)習(xí)的優(yōu)越性能使其在計算機(jī)視覺領(lǐng)域得到廣泛采用。隨著深度學(xué)習(xí)研究的不斷發(fā)展與gpu性能的不斷提高，卷積神經(jīng)網(wǎng)絡(luò)(cnn)在目標(biāo)檢測和圖像分類領(lǐng)域得到廣泛應(yīng)用。深度卷積神經(jīng)網(wǎng)絡(luò)中的卷積層具有良好的抽象特征提取能力，能夠以層次化的特征表示形式表示不同層的高層語義信息，無需通過其他傳統(tǒng)的特征提取算法來提取圖像特征?，F(xiàn)有的目標(biāo)檢測網(wǎng)絡(luò)可以分為兩類：兩階段和單階段。前者首先生成候選區(qū)域，然后對其進(jìn)行分類和回歸。后者直接回歸邊界框和類標(biāo)簽。在兩階段算法中，更快的基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(r-cnn)是結(jié)合了區(qū)域提議網(wǎng)絡(luò)和fast?r-cnn的代表性算法。nowakowski和使用faster?r-cnn進(jìn)行電子垃圾檢測，平均準(zhǔn)確率超過90％。faster?r-cnn實現(xiàn)了高精度，但速度慢且在小物體上性能較差。為了解決這些問題，單階段算法(例如單次多盒檢測器(ssd))和“你只看一次：統(tǒng)一的實時目標(biāo)檢測(yolo)”已經(jīng)被開發(fā)出來，速度更快，但精度相比兩階段算法更低。yolov5由于其出色的整體性能而成為最受歡迎的一種。liu等人提出了一種基于yolov5的生活垃圾檢測模型，實現(xiàn)在簡單背景下的生活垃圾檢測。patel等人比較了幾種檢測器的垃圾檢測能力，發(fā)現(xiàn)yolov5優(yōu)于其他檢測器。mao等人在中國臺灣回收垃圾數(shù)據(jù)集上設(shè)計了一種基于yolov3的高精度檢測器。li等人提出了一種基于ssd、yolov4和faster?r-cnn的多模型級聯(lián)cnn，以減少生活垃圾的誤報預(yù)測。然而，這些檢測器主要在具有簡單背景和具有固定形狀的單個對象的數(shù)據(jù)集上進(jìn)行評估，由于存在小目標(biāo)物體、復(fù)雜背景、重疊物體以及垃圾形狀多樣性等問題，監(jiān)控攝像頭下的生活垃圾檢測面臨更多挑戰(zhàn)?，F(xiàn)有的垃圾檢測模型尚無法克服這些挑戰(zhàn)，檢測精度和檢測速度仍有很大提升空間。此外，其中一些檢測器具有大量參數(shù)，因此可能無法確保實時性能。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供一種應(yīng)用于監(jiān)控攝像頭下的實時生活垃圾檢測系統(tǒng)，能夠有效解決上述問題。

2、本發(fā)明通過下述技術(shù)方案實現(xiàn)：

3、本發(fā)明提供一種應(yīng)用于監(jiān)控攝像頭下的實時生活垃圾檢測系統(tǒng)，包括：

4、backbone層，backboen層用于獲取輸入圖像，并提取輸入圖像的特征；backbone層設(shè)有卷積塊注意力模塊，卷積塊注意力模塊包括通道注意力子模塊和空間注意力子模塊；

5、通道注意力子模塊用于接收輸入特征，并進(jìn)行第一次加工處理；空間注意力子模塊用于接收經(jīng)通道注意力子模塊處理后的特征并進(jìn)行第二次加工處理；

6、通道注意力子模塊包括第一平均池化單元、第一最大池化單元、shared?mlp處理單元、疊加單元和第一激活單元；第一平均池化單元和第一最大池化單元分別接收輸入特征并進(jìn)行處理，并分別將輸出值分別發(fā)送到shared?mlp處理單元；shared?mlp處理單元接收到輸入值后，處理得到兩個故障特征向量；疊加單元獲取兩個故障特征向量，并將兩個故障特征向量進(jìn)行疊加，得到通道注意力特征；通道注意力特征經(jīng)第一激活單元進(jìn)行激活，得到第一輸出特征；

7、空間注意力子模塊包括第二平均池化單元、第二最大池化單元、卷積單元和第二激活單元；通道注意力子模塊輸出的第一輸出特征經(jīng)第二平均池化單元和第二最大池化單元處理，并將輸出值發(fā)送至卷積單元，第二激活單元對卷積單元的輸出值進(jìn)行激活，得到第二輸出特征；

8、neck層，neck層用于接收經(jīng)backbone層處理輸出的特征，并進(jìn)一步處理backbone層提取的特征；

9、head層，head層用于接收經(jīng)neck層處理輸出的特征，并基于這些特征，得到輸出值。

10、在上述實施例中，"backbone"是深度學(xué)習(xí)中的一個術(shù)語，通常用于描述卷積神經(jīng)網(wǎng)絡(luò)(convolutional?neuralnetwork,cnn)或其他神經(jīng)網(wǎng)絡(luò)架構(gòu)的一部分。這個術(shù)語指的是網(wǎng)絡(luò)的主要結(jié)構(gòu)或骨干部分，它負(fù)責(zé)提取輸入數(shù)據(jù)的特征，并將這些特征傳遞給后續(xù)的層來執(zhí)行任務(wù)，如分類、檢測或分割。"head"是神經(jīng)網(wǎng)絡(luò)模型的一個關(guān)鍵組成部分，主要負(fù)責(zé)執(zhí)行特定任務(wù)的操作和生成模型的最終輸出。"neck"是指神經(jīng)網(wǎng)絡(luò)模型中的一個組成部分，通常位于“骨干網(wǎng)絡(luò)”(backbone)和“頭部”(head)間。neck的作用是進(jìn)一步處理骨干網(wǎng)絡(luò)提取的特征，并將其準(zhǔn)備好用于特定任務(wù)的頭部。shared?mlp是點云處理網(wǎng)絡(luò)中的一種說法，強(qiáng)調(diào)對點云中的每一個點都采取相同的操作。平均池化單元用以進(jìn)行平均池化處理，最大池化單元進(jìn)行最大池化處理。

11、在其中一些實施例中，neck層包括第一處理模組、第二處理模組、第三處理模組和第四處理模組；head層包括第一檢測模塊、第二檢測模塊、第三檢測模塊和第四檢測模塊；第一處理模組接收backbone層處理輸出的特征進(jìn)行處理，并將處理后的特征分別發(fā)送至第二處理模塊和第一檢測模塊；第二處理模塊接收第一處理模組和backbone層p4層的輸出特征，進(jìn)行處理，并將處理后的特征分別發(fā)送至第三處理模組和第二檢測模塊；第三處理模組接收第二處理模組和backbone層p3層的輸出特征，進(jìn)行處理，并將處理后的特征分別發(fā)送至第四處理模組和第三檢測模塊；第四處理模組接收第三處理模組和backbone層p2層的輸出特征，進(jìn)行處理，并將處理后的特征分別發(fā)送至第四檢測模塊。

12、在其中一些實施例中，第一處理模組包括順次連接的cbs模塊和concat模塊；第二處理模組、第三處理模組和第四處理模組分別包括順次連接的concat模塊、cbs模塊和upsamle模塊。

13、在上述實施例中，cbs模塊指的是一種特定的神經(jīng)網(wǎng)絡(luò)模塊，它由一個卷積層(conv)、一個批量歸一化層(batchnorm)以及一個silu激活函數(shù)層組成。

14、在其中一些實施例中，upsamle模塊將接收上一處理模組輸出的特征圖與backbone層對應(yīng)層輸出的特征圖進(jìn)行融合。

15、在其中一些實施例中，第一處理模組包括順次連接的cbs模塊和bifpn模塊；第二處理模組、第三處理模組和第四處理模組分別包括順次連接的bifpn模塊、cbs模塊和upsamle模塊。

16、在其中一些實施例中，bifpn模塊的加權(quán)特征融合機(jī)制如下：

17、

18、

19、其中，表示第i層節(jié)點的輸入樣本特征信息，表示第i層自上而下傳輸路徑的中間特征信息，表示第i層自下而上傳輸路徑的輸出特征信息，conv表示卷積操作，resize表示進(jìn)行上采樣或者下采樣操作；

20、同時在加權(quán)特征融合過程中采用了快速歸一化方式，其公式(3)如下所示

21、

22、在公式(3)中，o表示輸出值，ii節(jié)點的輸入值，ωi表示輸入節(jié)點的權(quán)重，j表示所有輸入節(jié)點的總和。

23、本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點及有益效果：

24、(1)本發(fā)明提供的應(yīng)用于監(jiān)控攝像頭下的實時生活垃圾檢測系統(tǒng)通過在backbone層中的p2層和p3層之間添加卷積塊注意力模塊(cbam)來提取關(guān)鍵特征并抑制不相關(guān)信息。

25、(2)本技術(shù)在neck層增加了高分辨率特征圖層p2，提高了對微小垃圾目標(biāo)檢測的效率與精度，能夠保留更淺的細(xì)節(jié)和位置信息。

26、(3)本技術(shù)引入雙向特征金字塔網(wǎng)絡(luò)(bifpn)，改進(jìn)neck層的fpn和panet為bifpn結(jié)構(gòu)，能夠增強(qiáng)模型增強(qiáng)深度特征融合能力。

27、(4)進(jìn)行了大量的實驗來評估本技術(shù)所提出的ecodetect-yolo方法。實驗結(jié)果表明，所提出的ecodetect-yolo方法在所提出的復(fù)雜環(huán)境下的多目標(biāo)生活垃圾數(shù)據(jù)集上實現(xiàn)了最先進(jìn)的檢測性能。