本申請涉及卷煙生產(chǎn)，更具體地，涉及一種基于粗細(xì)粒度融合的煙蟲識別計(jì)數(shù)方法及裝置。

背景技術(shù)：

1、卷煙是一種可吸食的商品，卷煙原料好壞是決定卷煙品質(zhì)的重要因素之一。煙蟲以卷煙原料為食，車間內(nèi)恒定的溫濕度條件、以及堆積的煙絲和煙屑為煙蟲提供了舒適的生長繁殖環(huán)境和豐富的營養(yǎng)物質(zhì)。卷煙原料受到煙蟲侵害后對產(chǎn)品的內(nèi)在、外觀質(zhì)量均會造成負(fù)面影響，導(dǎo)致品牌形象受損，造成經(jīng)濟(jì)損失。因此，在卷煙工廠內(nèi)通過設(shè)置煙蟲誘捕器，在每個(gè)監(jiān)控點(diǎn)對蟲情進(jìn)行精準(zhǔn)識別和計(jì)數(shù)，對于整個(gè)工廠內(nèi)的蟲情監(jiān)控，以及后續(xù)的煙蟲分布趨勢分析有著至關(guān)重要的作用。然而，目前的煙蟲識別計(jì)數(shù)主要依賴于人工定期對煙蟲誘捕器上的煙蟲進(jìn)行肉眼識別和手動計(jì)數(shù)，效率低的同時(shí)，也容易存在誤判等問題，不能夠滿足工廠智能化的要求。

2、目標(biāo)檢測任務(wù)一直是計(jì)算機(jī)視覺領(lǐng)域的研究重點(diǎn)。近年來，隨著人工智能、深度學(xué)習(xí)等技術(shù)的興起，基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法被廣泛用于人臉識別、交通違章檢測、工業(yè)缺陷檢測、醫(yī)療影像分析等領(lǐng)域，諸如以region-cnn、spp-net為代表的two-stage方法和以yolo為代表的one-stage方法均已經(jīng)取得了顯著的成效。這些方法往往采用卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)模型，設(shè)計(jì)復(fù)雜的映射結(jié)構(gòu)和感知機(jī)制以實(shí)現(xiàn)多尺度的圖片上下文特征捕捉，讓模型能夠?qū)W習(xí)圖像中實(shí)體的大小、紋理等信息，實(shí)現(xiàn)準(zhǔn)確的目標(biāo)檢測。

3、然而，這些基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法在實(shí)際煙廠內(nèi)的煙蟲識別計(jì)數(shù)任務(wù)中存在一定的困難，原因在于，誘捕器具備一定的黏性，在誘捕煙蟲的過程中，經(jīng)常會采集到空氣中漂浮、或因工廠設(shè)備運(yùn)作攜帶到空中的灰塵、碎屑等雜質(zhì)，且大小、顏色往往與煙蟲非常相似，和真實(shí)的煙蟲個(gè)體同時(shí)存在于誘捕器的圖片中，這些雜質(zhì)的干擾給煙蟲識別計(jì)數(shù)帶來了困難。因此如何提高模型對于雜質(zhì)干擾的魯棒性，獲得更具有判別性的煙蟲圖像特征，對于卷煙工廠的蟲情監(jiān)控是一個(gè)亟待解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、本申請?zhí)峁┮环N基于粗細(xì)粒度融合的煙蟲識別計(jì)數(shù)方法及裝置，從煙蟲圖像中提取不同粗細(xì)粒度的圖像特征，以捕捉煙蟲圖像中不同粒度的煙蟲形態(tài)特征，并通過特征融合的方式使模型具備對于煙蟲、雜質(zhì)等小尺度物體更強(qiáng)的識別和區(qū)分能力，提高模型對于灰塵、碎屑等雜質(zhì)干擾的魯棒性，獲得更具有判別性的煙蟲圖像特征，提高煙蟲計(jì)數(shù)的準(zhǔn)確性。

2、本申請?zhí)峁┝艘环N基于粗細(xì)粒度融合的煙蟲識別計(jì)數(shù)方法，包括：

3、接收第一煙蟲圖像；

4、將第一煙蟲圖像輸入煙蟲識別定位模型，輸出第一煙蟲圖像中煙蟲的數(shù)量；

5、其中，煙蟲識別定位模型對第一煙蟲圖像進(jìn)行處理，具體包括：

6、基于第一煙蟲圖像獲得包含不同粗細(xì)粒度的圖像特征的第一融合特征圖；

7、基于第一融合特征圖識別煙蟲的數(shù)量。

8、優(yōu)選地，基于第一煙蟲圖像獲得包含不同粗細(xì)粒度的圖像特征的第一融合特征圖，包括如下步驟：

9、將第一煙蟲圖像轉(zhuǎn)化為灰度圖像，并基于灰度閾值對灰度圖像進(jìn)行二值化，獲得掩碼；

10、對第一煙蟲圖像進(jìn)行多次下采樣，獲得粗細(xì)粒度不同的多個(gè)第一煙蟲圖片特征圖；

11、利用掩碼對每個(gè)第一煙蟲圖片特征圖進(jìn)行增強(qiáng)，獲得第二煙蟲圖片特征圖；

12、將同一第一煙蟲圖像產(chǎn)生的所有第二煙蟲圖片特征圖進(jìn)行特征融合，獲得第一融合特征圖。

13、優(yōu)選地，基于第一融合特征圖識別煙蟲的數(shù)量，具體包括：

14、識別第一融合特征圖中包含煙蟲的錨框；

15、統(tǒng)計(jì)錨框的數(shù)量，作為第一煙蟲圖像中煙蟲的數(shù)量。

16、優(yōu)選地，對煙蟲識別定位模型進(jìn)行訓(xùn)練時(shí)，將第二煙蟲圖像輸入煙蟲識別定位模型，輸出數(shù)據(jù)包括錨框信息和第二煙蟲圖像中是否包含煙蟲的分類信息，第一損失值為依據(jù)錨框信息計(jì)算獲得的回歸損失和依據(jù)分類信息計(jì)算獲得的分類損失的加權(quán)和。

17、優(yōu)選地，獲得灰度閾值，具體包括：

18、對于從1到254的每個(gè)閾值，計(jì)算灰度圖像中每個(gè)像素點(diǎn)的分類，并計(jì)算閾值對應(yīng)的類間方差；

19、將類間方差最大的閾值作為灰度閾值。

20、本申請還提供一種基于粗細(xì)粒度融合的煙蟲識別計(jì)數(shù)裝置，包括圖像接收模塊和預(yù)測模塊；

21、圖像接收模塊用于接收第一煙蟲圖像；

22、預(yù)測模塊用于將第一煙蟲圖像輸入煙蟲識別定位模型，輸出第一煙蟲圖像中煙蟲的數(shù)量；

23、其中，預(yù)測模塊包括融合特征獲得模塊以及煙蟲識別模塊；

24、融合特征獲得模塊用于基于第一煙蟲圖像獲得包含不同粗細(xì)粒度的圖像特征的第一融合特征圖；

25、煙蟲識別模塊用于基于第一融合特征圖識別煙蟲的數(shù)量。

26、優(yōu)選地，融合特征獲得模塊包括掩碼獲得模塊、下采樣模塊、增強(qiáng)模塊以及融合模塊；

27、掩碼獲得模塊用于將第一煙蟲圖像轉(zhuǎn)化為灰度圖像，并基于灰度閾值對灰度圖像進(jìn)行二值化，獲得掩碼；

28、下采樣模塊用于對第一煙蟲圖像進(jìn)行多次下采樣，獲得粗細(xì)粒度不同的多個(gè)第一煙蟲圖片特征圖；

29、增強(qiáng)模塊用于利用掩碼對每個(gè)第一煙蟲圖片特征圖進(jìn)行增強(qiáng)，獲得第二煙蟲圖片特征圖；

30、融合模塊用于將同一第一煙蟲圖像產(chǎn)生的所有第二煙蟲圖片特征圖進(jìn)行特征融合，獲得第一融合特征圖。

31、優(yōu)選地，煙蟲識別模塊包括錨框識別模塊和統(tǒng)計(jì)模塊；

32、錨框識別模塊用于識別第一融合特征圖中包含煙蟲的錨框；

33、統(tǒng)計(jì)模塊用于統(tǒng)計(jì)錨框的數(shù)量，作為第一煙蟲圖像中煙蟲的數(shù)量。

34、優(yōu)選地，基于粗細(xì)粒度融合的煙蟲識別計(jì)數(shù)裝置還包括訓(xùn)練模塊，訓(xùn)練模塊對煙蟲識別定位模型進(jìn)行訓(xùn)練時(shí)，將第二煙蟲圖像輸入煙蟲識別定位模型，輸出數(shù)據(jù)包括錨框信息和第二煙蟲圖像中是否包含煙蟲的分類信息，第一損失值為依據(jù)錨框信息計(jì)算獲得的回歸損失和依據(jù)分類信息計(jì)算獲得的分類損失的加權(quán)和。

35、優(yōu)選地，掩碼獲得模塊獲得灰度閾值時(shí)，首先對于從1到254的每個(gè)閾值，計(jì)算灰度圖像中每個(gè)像素點(diǎn)的分類，并計(jì)算閾值對應(yīng)的類間方差；然后將類間方差最大的閾值作為灰度閾值。

36、通過以下參照附圖對本申請的示例性實(shí)施例的詳細(xì)描述，本申請的其它特征及其優(yōu)點(diǎn)將會變得清楚。

技術(shù)特征：

1.一種基于粗細(xì)粒度融合的煙蟲識別計(jì)數(shù)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于粗細(xì)粒度融合的煙蟲識別計(jì)數(shù)方法，其特征在于，基于所述第一煙蟲圖像獲得包含不同粗細(xì)粒度的圖像特征的第一融合特征圖，包括如下步驟：

3.根據(jù)權(quán)利要求1所述的基于粗細(xì)粒度融合的煙蟲識別計(jì)數(shù)方法，其特征在于，基于所述第一融合特征圖識別煙蟲的數(shù)量，具體包括：

4.根據(jù)權(quán)利要求2所述的基于粗細(xì)粒度融合的煙蟲識別計(jì)數(shù)方法，其特征在于，對煙蟲識別定位模型進(jìn)行訓(xùn)練時(shí)，將第二煙蟲圖像輸入煙蟲識別定位模型，輸出數(shù)據(jù)包括錨框信息和所述第二煙蟲圖像中是否包含煙蟲的分類信息，第一損失值為依據(jù)錨框信息計(jì)算獲得的回歸損失和依據(jù)分類信息計(jì)算獲得的分類損失的加權(quán)和。

5.根據(jù)權(quán)利要求2所述的基于粗細(xì)粒度融合的煙蟲識別計(jì)數(shù)方法，其特征在于，獲得所述灰度閾值，具體包括：

6.一種基于粗細(xì)粒度融合的煙蟲識別計(jì)數(shù)裝置，其特征在于，包括圖像接收模塊和預(yù)測模塊；

7.根據(jù)權(quán)利要求6所述的基于粗細(xì)粒度融合的煙蟲識別計(jì)數(shù)裝置，其特征在于，所述融合特征獲得模塊包括掩碼獲得模塊、下采樣模塊、增強(qiáng)模塊以及融合模塊；

8.根據(jù)權(quán)利要求6所述的基于粗細(xì)粒度融合的煙蟲識別計(jì)數(shù)裝置，其特征在于，所述煙蟲識別模塊包括錨框識別模塊和統(tǒng)計(jì)模塊；

9.根據(jù)權(quán)利要求7所述的基于粗細(xì)粒度融合的煙蟲識別計(jì)數(shù)裝置，其特征在于，還包括訓(xùn)練模塊，所述訓(xùn)練模塊對煙蟲識別定位模型進(jìn)行訓(xùn)練時(shí)，將第二煙蟲圖像輸入煙蟲識別定位模型，輸出數(shù)據(jù)包括錨框信息和所述第二煙蟲圖像中是否包含煙蟲的分類信息，第一損失值為依據(jù)錨框信息計(jì)算獲得的回歸損失和依據(jù)分類信息計(jì)算獲得的分類損失的加權(quán)和。

10.根據(jù)權(quán)利要求7所述的基于粗細(xì)粒度融合的煙蟲識別計(jì)數(shù)裝置，其特征在于，所述掩碼獲得模塊獲得所述灰度閾值時(shí)，首先對于從1到254的每個(gè)閾值，計(jì)算所述灰度圖像中每個(gè)像素點(diǎn)的分類，并計(jì)算所述閾值對應(yīng)的類間方差；然后將類間方差最大的閾值作為所述灰度閾值。

技術(shù)總結(jié)
本申請公開了一種基于粗細(xì)粒度融合的煙蟲識別計(jì)數(shù)方法及裝置，方法包括：接收第一煙蟲圖像；將第一煙蟲圖像輸入煙蟲識別定位模型，輸出第一煙蟲圖像中煙蟲的數(shù)量；其中，煙蟲識別定位模型對第一煙蟲圖像進(jìn)行處理，具體包括：基于第一煙蟲圖像獲得包含不同粗細(xì)粒度的圖像特征的第一融合特征圖；基于第一融合特征圖識別煙蟲的數(shù)量。本申請從煙蟲圖像中提取不同粗細(xì)粒度的圖像特征，以捕捉煙蟲圖像中不同粒度的煙蟲形態(tài)特征，并通過特征融合的方式使模型具備對于煙蟲、雜質(zhì)等小尺度物體更強(qiáng)的識別和區(qū)分能力，提高模型對于灰塵、碎屑等雜質(zhì)干擾的魯棒性，獲得更具有判別性的煙蟲圖像特征，提高煙蟲計(jì)數(shù)的準(zhǔn)確性。

技術(shù)研發(fā)人員：朱立明,賈橋東,王有利,胡明明,李銘,陳明,向伊悰
受保護(hù)的技術(shù)使用者：浙江中煙工業(yè)有限責(zé)任公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/2