本技術(shù)涉及圖像檢測(cè)，特別是涉及一種違禁品檢測(cè)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、現(xiàn)如今基于x射線成像的行李檢查已經(jīng)成為確保交通和其他公共場(chǎng)所安全的標(biāo)準(zhǔn)，x射線成像系統(tǒng)使安檢人員能夠識(shí)別行李中的違禁品，當(dāng)前的安全檢測(cè)大多依賴于人工操作，其中x光圖像的解讀取決于操作員的經(jīng)驗(yàn)和判斷能力，由于操作員可能會(huì)受到時(shí)間壓力或疲勞等因素的影響，可能會(huì)導(dǎo)致對(duì)潛在威脅物品的錯(cuò)誤判斷或遺漏，就存在誤判的風(fēng)險(xiǎn)，因此，自動(dòng)化的違禁品檢測(cè)技術(shù)亟需被研究。

2、隨著計(jì)算機(jī)視覺技術(shù)的快速發(fā)展，陸續(xù)提出了很多基于有監(jiān)督和無監(jiān)督的智能檢測(cè)方法來應(yīng)對(duì)上述問題，雖然這些方法在一定程度上減少了誤判，但仍存在一些缺點(diǎn)：

3、1、模型在檢測(cè)孤立對(duì)象方面表現(xiàn)出非凡的能力，但它們?cè)谧R(shí)別極其雜亂、遮擋和重疊項(xiàng)時(shí)性能會(huì)下降；

4、2、由于x光成像色彩與材質(zhì)相關(guān)，背景與違禁品厚度和密度相近時(shí)，會(huì)干擾模型的特征學(xué)習(xí)，從而降低檢測(cè)性能；

5、3、目前這些方法多是基于批量學(xué)習(xí)(batch?learning)模式，模型多是經(jīng)過一次性批量訓(xùn)練后投入使用，在面臨從未出現(xiàn)過的類別時(shí)無能為力，極大的降低了預(yù)測(cè)的可信度，顯現(xiàn)出了泛化能力低、魯棒性差等問題，如果增加樣本進(jìn)行重新訓(xùn)練則會(huì)大大增加訓(xùn)練成本和人工成本。

6、因此，亟需提出一種能夠解決處理遮擋和重疊的物品時(shí)性能低、特征學(xué)習(xí)易受違禁品厚度和密度影響等問題的違禁品檢測(cè)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對(duì)上述技術(shù)問題，提供一種能夠解決處理遮擋和重疊的物品時(shí)性能低、特征學(xué)習(xí)易受違禁品厚度和密度影響等問題的違禁品檢測(cè)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

2、第一方面，提供一種違禁品檢測(cè)方法，所述方法包括：

3、獲取第一圖像集和第二圖像集；

4、分別對(duì)所述第一圖像集和所述第二圖像集中的圖像進(jìn)行預(yù)處理，得到第一目標(biāo)圖像集和第二目標(biāo)圖像集；

5、構(gòu)建第一違禁品檢測(cè)模型，并利用所述第一目標(biāo)圖像集對(duì)所述第一違禁品檢測(cè)模型進(jìn)行訓(xùn)練，得到第二違禁品檢測(cè)模型；

6、基于所述第二違禁品檢測(cè)模型，構(gòu)建第三違禁品檢測(cè)模型，利用所述第二目標(biāo)圖像集對(duì)所述第三違禁品檢測(cè)模型進(jìn)行增量訓(xùn)練，得到第四違禁品檢測(cè)模型；

7、將采集的實(shí)時(shí)圖像輸入至所述第四違禁品檢測(cè)模型，得到實(shí)例分割圖，并根據(jù)所述實(shí)例分割圖的像素級(jí)特征確定違禁品的位置信息，以生成違禁品檢測(cè)效果圖。

8、可選的，圖像的預(yù)處理方法包括：

9、獲取初始圖像，并對(duì)所述初始圖像進(jìn)行縮放，得到多張不同尺度的目標(biāo)圖像；

10、從多張不同尺度的目標(biāo)圖像中選取第一目標(biāo)圖像，將所述第一目標(biāo)圖像轉(zhuǎn)化為灰度圖像，并對(duì)所述灰度圖像進(jìn)行二值化處理，得到二值圖像；

11、對(duì)所述二值圖像進(jìn)行腐蝕操作，得到腐蝕圖像，并對(duì)腐蝕操作后的腐蝕圖像進(jìn)行膨脹操作，得到膨脹圖像；

12、對(duì)腐蝕圖像與膨脹圖像進(jìn)行減法操作，得到第一邊緣圖像b1。

13、可選的，圖像的預(yù)處理方法還包括：

14、從多張不同尺度的目標(biāo)圖像中選取第二目標(biāo)圖像，基于所述第二目標(biāo)圖像的大小值，對(duì)所述第一邊緣圖像b1進(jìn)行下采樣操作，并融合下采樣操作后的第一邊緣圖像b1與第二目標(biāo)圖像，得到融合圖像；

15、依次對(duì)融合圖像進(jìn)行二值化處理、腐蝕操作和膨脹操作，基于二值化處理、腐蝕操作和膨脹操作后的融合圖像，得到第二邊緣圖像b2；

16、以此類推，直至得到多張不同尺度的目標(biāo)圖像對(duì)應(yīng)的邊緣圖像；

17、基于圖像融合函數(shù)，對(duì)多張邊緣圖像進(jìn)行融合，得到目標(biāo)邊緣圖像，所述圖像融合函數(shù)包括：

18、xe＝upsamp?le(bn)+…+upsample(b3)+upsample(b2)+b1

19、其中，xe表示目標(biāo)邊緣圖像，upsample表示上采樣，bm＝b1，b2，b3，...，bn表示邊緣圖像；

20、將所述目標(biāo)邊緣圖像映射在所述初始圖像上，得到預(yù)處理后的圖像，其計(jì)算公式為：

21、ie(x，y)＝(1-c(x，y))·xb(x，y)+c(x，y)·xe(x，y)

22、其中，ie(x，y)表示預(yù)處理后的圖像ie在像素(x，y)上的像素值，c(x，y)∈[0，1]，c(x，y)表示像素權(quán)重，xb(x，y)表示初始圖像xb在像素(x，y)上的像素值。

23、可選的，所述第一違禁品檢測(cè)模型至少包括主干網(wǎng)絡(luò)和基本任務(wù)fc節(jié)點(diǎn)，所述主干網(wǎng)絡(luò)包括卷積編碼器、注意力機(jī)制模塊和解碼器，基于所述第一目標(biāo)圖像集對(duì)所述第一違禁品檢測(cè)模型進(jìn)行訓(xùn)練，得到第二違禁品檢測(cè)模型包括：

24、基于卷積編碼器對(duì)第一目標(biāo)圖像集中的圖像進(jìn)行特征提取，得到第一特征圖；

25、基于分塊注意力機(jī)制對(duì)第一目標(biāo)圖像集中的圖像進(jìn)行特征提取，得到第二特征圖；

26、將所述第一特征圖和所述第二特征圖進(jìn)行可學(xué)習(xí)的卷積融合，并輸入至解碼器中，得到像素級(jí)全尺度特征圖；

27、將所述像素級(jí)全尺度特征圖輸入至基本任務(wù)fc節(jié)點(diǎn)，并進(jìn)行可學(xué)習(xí)的卷積融合，得到基礎(chǔ)類別映射特征圖；

28、對(duì)所述基礎(chǔ)類別映射特征圖進(jìn)行像素級(jí)的分類得分判斷，并計(jì)算第一違禁品檢測(cè)模型的損失值；

29、響應(yīng)于檢測(cè)到所述第一違禁品檢測(cè)模型的損失值符合預(yù)設(shè)標(biāo)準(zhǔn)時(shí)，得到第二違禁品檢測(cè)模型。

30、可選的，所述第一違禁品檢測(cè)模型的損失值的計(jì)算方法包括：

31、

32、其中，表示目標(biāo)樣本像素真實(shí)的概率分布情況，表示第一違禁品檢測(cè)模型對(duì)目標(biāo)樣本預(yù)測(cè)的像素級(jí)概率分布情況，lossb表示第一違禁品檢測(cè)模型的損失值。

33、可選的，基于所述第二違禁品檢測(cè)模型，構(gòu)建第三違禁品檢測(cè)模型，利用所述第二目標(biāo)圖像集對(duì)所述第三違禁品檢測(cè)模型進(jìn)行增量訓(xùn)練，得到第四違禁品檢測(cè)模型包括：

34、在所述第二違禁品檢測(cè)模型基礎(chǔ)上增加至少一個(gè)增量任務(wù)fc節(jié)點(diǎn)，以生成所述第三違禁品檢測(cè)模型；

35、利用所述第二目標(biāo)圖像集中的圖像，對(duì)所述第三違禁品檢測(cè)模型進(jìn)行增量訓(xùn)練，并計(jì)算第三違禁品檢測(cè)模型的損失值；

36、響應(yīng)于檢測(cè)到所述第三違禁品檢測(cè)模型的損失值符合預(yù)設(shè)標(biāo)準(zhǔn)時(shí)，得到第四違禁品檢測(cè)模型。

37、可選的，所述第三違禁品檢測(cè)模型的損失值的計(jì)算方法包括：

38、ltotal＝βlkd+lce

39、

40、其中，ltotal表示第三違禁品檢測(cè)模型的損失值，β表示超參數(shù)，lkd表示蒸餾損失值，lce表示交叉熵?fù)p失值，表示目標(biāo)樣本像素真實(shí)的概率分布情況，表示增量任務(wù)輸出值，表示基于第二違禁品檢測(cè)模型得到的第二目標(biāo)圖像集中圖像的像素級(jí)概率，表示基本任務(wù)輸出輸出值。

41、第二方面，提供了一種違禁品檢測(cè)裝置，所述裝置包括：

42、圖像集獲取模塊，用于獲取第一圖像集和第二圖像集；

43、預(yù)處理模塊，用于分別對(duì)所述第一圖像集和所述第二圖像集中的圖像進(jìn)行預(yù)處理，得到第一目標(biāo)圖像集和第二目標(biāo)圖像集；

44、模型構(gòu)建及訓(xùn)練模塊，用于構(gòu)建第一違禁品檢測(cè)模型，并利用所述第一目標(biāo)圖像集對(duì)所述第一違禁品檢測(cè)模型進(jìn)行訓(xùn)練，得到第二違禁品檢測(cè)模型；

45、增量訓(xùn)練模塊，用于基于所述第二違禁品檢測(cè)模型，構(gòu)建第三違禁品檢測(cè)模型，利用所述第二目標(biāo)圖像集對(duì)所述第三違禁品檢測(cè)模型進(jìn)行增量訓(xùn)練，得到第四違禁品檢測(cè)模型；

46、檢測(cè)模塊，用于將采集的實(shí)時(shí)圖像輸入至所述第四違禁品檢測(cè)模型，得到實(shí)例分割圖，并根據(jù)所述實(shí)例分割圖的像素級(jí)特征確定違禁品的位置信息，以生成違禁品檢測(cè)效果圖。

47、第三方面，提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)以下步驟：

48、獲取第一圖像集和第二圖像集；

49、分別對(duì)所述第一圖像集和所述第二圖像集中的圖像進(jìn)行預(yù)處理，得到第一目標(biāo)圖像集和第二目標(biāo)圖像集；

50、構(gòu)建第一違禁品檢測(cè)模型，并利用所述第一目標(biāo)圖像集對(duì)所述第一違禁品檢測(cè)模型進(jìn)行訓(xùn)練，得到第二違禁品檢測(cè)模型；

51、基于所述第二違禁品檢測(cè)模型，構(gòu)建第三違禁品檢測(cè)模型，利用所述第二目標(biāo)圖像集對(duì)所述第三違禁品檢測(cè)模型進(jìn)行增量訓(xùn)練，得到第四違禁品檢測(cè)模型；

52、將采集的實(shí)時(shí)圖像輸入至所述第四違禁品檢測(cè)模型，得到實(shí)例分割圖，并根據(jù)所述實(shí)例分割圖的像素級(jí)特征確定違禁品的位置信息，以生成違禁品檢測(cè)效果圖。

53、第四方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)以下步驟：

54、獲取第一圖像集和第二圖像集；

55、分別對(duì)所述第一圖像集和所述第二圖像集中的圖像進(jìn)行預(yù)處理，得到第一目標(biāo)圖像集和第二目標(biāo)圖像集；

56、構(gòu)建第一違禁品檢測(cè)模型，并利用所述第一目標(biāo)圖像集對(duì)所述第一違禁品檢測(cè)模型進(jìn)行訓(xùn)練，得到第二違禁品檢測(cè)模型；

57、基于所述第二違禁品檢測(cè)模型，構(gòu)建第三違禁品檢測(cè)模型，利用所述第二目標(biāo)圖像集對(duì)所述第三違禁品檢測(cè)模型進(jìn)行增量訓(xùn)練，得到第四違禁品檢測(cè)模型；

58、將采集的實(shí)時(shí)圖像輸入至所述第四違禁品檢測(cè)模型，得到實(shí)例分割圖，并根據(jù)所述實(shí)例分割圖的像素級(jí)特征確定違禁品的位置信息，以生成違禁品檢測(cè)效果圖。

59、上述違禁品檢測(cè)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)，所述方法包括：獲取第一圖像集和第二圖像集；分別對(duì)所述第一圖像集和所述第二圖像集中的圖像進(jìn)行預(yù)處理，得到第一目標(biāo)圖像集和第二目標(biāo)圖像集；構(gòu)建第一違禁品檢測(cè)模型，并利用所述第一目標(biāo)圖像集對(duì)所述第一違禁品檢測(cè)模型進(jìn)行訓(xùn)練，得到第二違禁品檢測(cè)模型；基于所述第二違禁品檢測(cè)模型，構(gòu)建第三違禁品檢測(cè)模型，利用所述第二目標(biāo)圖像集對(duì)所述第三違禁品檢測(cè)模型進(jìn)行增量訓(xùn)練，得到第四違禁品檢測(cè)模型；將采集的實(shí)時(shí)圖像輸入至所述第四違禁品檢測(cè)模型，得到實(shí)例分割圖，并根據(jù)所述實(shí)例分割圖的像素級(jí)特征確定違禁品的位置信息，以生成違禁品檢測(cè)效果圖，本技術(shù)基于構(gòu)建的違禁品檢測(cè)模型來對(duì)圖像中的違禁品進(jìn)行檢測(cè)，能夠解決圖像中違禁品檢測(cè)精度低、識(shí)別不靈敏等問題，從而實(shí)現(xiàn)在復(fù)雜場(chǎng)景下的違禁品精確檢測(cè)。