本發(fā)明涉及缺陷檢測(cè)等計(jì)算機(jī)，具體指一種基于知識(shí)蒸餾的雙向師生網(wǎng)絡(luò)缺陷檢測(cè)方法。

背景技術(shù)：

1、深度學(xué)習(xí)算法誕生之前，物體表面缺陷檢測(cè)一般是依靠機(jī)器視覺(jué)等傳統(tǒng)方法來(lái)進(jìn)行。傳統(tǒng)的檢測(cè)表面缺陷檢測(cè)方法存在著易受背景環(huán)境干擾、難以處理細(xì)微缺陷、對(duì)缺陷的尺寸與形狀變化不敏感等問(wèn)題。隨著各種基于圖像處理和深度學(xué)習(xí)的有監(jiān)督目標(biāo)檢測(cè)算法例如ssd,faster?rcnn，yolo的出現(xiàn)極大的解決了上述的難題，但以上模型訓(xùn)練需要大量的標(biāo)記數(shù)據(jù)，而帶有缺陷標(biāo)簽的圖像并不容易獲得，這是因?yàn)橐环矫嬗腥毕莓a(chǎn)品的出現(xiàn)比較偶然可能較長(zhǎng)的時(shí)間才能收集到很少的有缺陷的產(chǎn)品，另一方面產(chǎn)品的缺陷普遍沒(méi)有規(guī)律性從細(xì)微的劃痕到大的結(jié)構(gòu)缺陷都可能存在，這就難以有合適的標(biāo)準(zhǔn)進(jìn)行劃分標(biāo)注。以上兩個(gè)原因?qū)е聨в腥毕輼?biāo)簽的圖像非常的稀缺，而缺陷樣本的缺乏導(dǎo)致上述的模型難以成為解決表面缺陷檢測(cè)的核心力量。因此在表面缺陷檢測(cè)領(lǐng)域不需要標(biāo)記數(shù)據(jù)的無(wú)監(jiān)督算法更受到相關(guān)人員的關(guān)注與歡迎。

2、當(dāng)前無(wú)監(jiān)督算法解決表面缺陷主要有三種趨勢(shì)：基于重建的方法、基于合成的方法和基于特征的方法，其中基于特征的方法取得了比其他兩者更好的效果。因此近年來(lái)基于特征與知識(shí)蒸餾的師生網(wǎng)絡(luò)異常檢測(cè)模型框架進(jìn)入了大家的視野中?；谥R(shí)蒸餾的師生網(wǎng)絡(luò)異常檢測(cè)的核心思想是：假設(shè)在師生網(wǎng)絡(luò)模型中，知識(shí)從教師轉(zhuǎn)移到學(xué)生，而在訓(xùn)練期間，學(xué)生僅從正常樣本中學(xué)習(xí)。因此，師生兩個(gè)網(wǎng)絡(luò)對(duì)正常的樣本特征表示非常相近，對(duì)異常的樣本特征表示則不一致，所以就能分辨、定位出物體缺陷。但無(wú)論是正向輸入訓(xùn)練數(shù)據(jù)的正向蒸餾師生模型，還是逆向輸入經(jīng)過(guò)老師特征提取過(guò)數(shù)據(jù)的逆向蒸餾師生模型都存在著各自的優(yōu)點(diǎn)與不足，依然存在著提升的空間。

3、另外，正向蒸餾師生模型由于教師和學(xué)生網(wǎng)絡(luò)的相同或相似的架構(gòu)和師生模型中的相同數(shù)據(jù)流知識(shí)轉(zhuǎn)移蒸餾使得基于知識(shí)蒸餾的師生網(wǎng)絡(luò)異常檢測(cè)的思想假設(shè)在實(shí)踐中不一定成立，進(jìn)而出現(xiàn)漏檢的情況，而逆向蒸餾網(wǎng)絡(luò)通過(guò)修改數(shù)據(jù)流的內(nèi)容與流向解決了這個(gè)問(wèn)題，但又導(dǎo)致了新的問(wèn)題的出現(xiàn)：由于輸入學(xué)生網(wǎng)絡(luò)的數(shù)據(jù)集是教師網(wǎng)絡(luò)提取的數(shù)據(jù)集，這些數(shù)據(jù)集在經(jīng)過(guò)教師網(wǎng)絡(luò)提取過(guò)程中部分特征被忽略了，所以學(xué)生網(wǎng)絡(luò)就不能很好的學(xué)習(xí)這些被忽略地方的特征，使得正常圖片中檢出異常的情況大大加重了。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對(duì)現(xiàn)有技術(shù)的不足，提出一種基于知識(shí)蒸餾的雙向師生網(wǎng)絡(luò)缺陷檢測(cè)方法，能有效避免正常圖片的異常檢出情況。

2、為了解決上述技術(shù)問(wèn)題，本發(fā)明的技術(shù)方案為：

3、一種基于知識(shí)蒸餾的雙向師生網(wǎng)絡(luò)缺陷檢測(cè)方法，包括如下步驟：

4、步驟1、獲取用于訓(xùn)練的數(shù)據(jù)集；

5、步驟2、構(gòu)建雙向蒸餾師生網(wǎng)絡(luò)模型

6、步驟2-1、采用在imagenet上預(yù)訓(xùn)練過(guò)的wide_resnet50作為教師網(wǎng)絡(luò)，保留了主干網(wǎng)絡(luò)的四個(gè)階段，去除了最后的空間下采樣操作、全局平均池化層和完全連接層；

7、步驟2-2、把未經(jīng)訓(xùn)練的wide_resnet50作為正向蒸餾學(xué)生網(wǎng)絡(luò)，保留了主干部分的四個(gè)階段，去除了最后的空間下采樣操作、全局平均池化層和完全連接層；

8、步驟2-3、構(gòu)建逆向蒸餾學(xué)生網(wǎng)絡(luò)de_wide_resnet50。該網(wǎng)絡(luò)是在wide_resnet50的基礎(chǔ)上，保留主干部分的前三個(gè)階段，除去最后一個(gè)階段以及主干部分之后的空間下采樣操作、全局平均池化層和完全連接層；

9、步驟2-4、構(gòu)建ocbe模塊，所述ocbe模塊包括mff模塊和oce模塊，mff模塊由若干個(gè)卷積層構(gòu)成，所述mff模塊包括若干個(gè)用于淺層特征下采樣步長(zhǎng)為2的3×3卷積層和一個(gè)用于深化特征信息步長(zhǎng)為1的1×1卷積層，

10、所述oce模塊包括一個(gè)resblock塊，所述oce模塊的輸出作為逆向蒸餾學(xué)生網(wǎng)絡(luò)de_wide_resnet50的輸入；

11、步驟3、通過(guò)獲取的數(shù)據(jù)集訓(xùn)練雙向蒸餾師生網(wǎng)絡(luò)模型；

12、步驟4、把待測(cè)圖片輸入到雙向蒸餾師生網(wǎng)絡(luò)模型中，并讓正向蒸餾學(xué)生網(wǎng)絡(luò)與逆向?qū)W生蒸餾網(wǎng)絡(luò)的第l層輸出的特征圖分別與教師網(wǎng)絡(luò)的第l層輸出的特征圖根據(jù)步驟5提供的公式計(jì)算異常分?jǐn)?shù)，得到異常分?jǐn)?shù)圖與

13、步驟5、將異常分?jǐn)?shù)圖與作為輸入通過(guò)一個(gè)自適應(yīng)特征異常統(tǒng)計(jì)模塊，輸出最終異常分?jǐn)?shù)圖；

14、步驟5-1、確定自適應(yīng)權(quán)重矩陣efd、erd；

15、步驟5-2、根據(jù)以下公式，計(jì)算出最終的異常分?jǐn)?shù)圖：

16、

17、作為優(yōu)選，所述步驟2中，雙向蒸餾師生網(wǎng)絡(luò)模型的損失函數(shù)為：

18、

19、

20、其中wl、hl是在第l階段圖片的長(zhǎng)與寬，為分別為教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)在第l階段從圖片位置(i，j)處提取到的特征向量，ml(i，j)則是教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)在第l階段從圖片位置(i，j)處提取到的特征向量余弦相似性差，將其稱為異常分?jǐn)?shù)，差越大說(shuō)明特征越不相同。而這些異常分?jǐn)?shù)構(gòu)成的圖m將其稱為異常分?jǐn)?shù)圖。

21、作為優(yōu)選，所述雙向蒸餾師生網(wǎng)絡(luò)模型的訓(xùn)練方法為：在服務(wù)器上搭建訓(xùn)練框架，設(shè)置訓(xùn)練參數(shù)，訓(xùn)練批次大小設(shè)置為batch＝36，學(xué)習(xí)率定為ir＝0.005，訓(xùn)練迭代次數(shù)epoch＝300。

22、作為優(yōu)選，所述雙向蒸餾師生網(wǎng)絡(luò)模型訓(xùn)練時(shí)，教師網(wǎng)絡(luò)的參數(shù)是被凍結(jié)的。

23、作為優(yōu)選，所述雙向蒸餾師生網(wǎng)絡(luò)模型訓(xùn)練時(shí)，所述正向蒸餾學(xué)生網(wǎng)絡(luò)與逆向蒸餾學(xué)生的訓(xùn)練是同時(shí)進(jìn)行的，損失函數(shù)是相同的，所述正向蒸餾學(xué)生網(wǎng)絡(luò)與逆向蒸餾學(xué)生的損失是相互獨(dú)立的。

24、作為優(yōu)選，所述步驟4中，特征異常分?jǐn)?shù)圖在(i，j)處的值的計(jì)算公式如下：

25、

26、

27、其中wl、hl則是在第l階段圖片的長(zhǎng)與寬，為分別為教師網(wǎng)絡(luò)、正向蒸餾學(xué)生網(wǎng)絡(luò)和逆向蒸餾學(xué)生網(wǎng)絡(luò)在第l階段從圖片位置(i，j)處提取到的特征向量。

28、作為優(yōu)選，所述步驟5-1中，自適應(yīng)權(quán)重矩陣efd、erd的確定方法為：

29、首先，通過(guò)一個(gè)雙線性上采樣將所有異常分?jǐn)?shù)圖與上采樣為w×h的異常分?jǐn)?shù)圖；

30、確定兩個(gè)大小為w×h的自適應(yīng)權(quán)重矩陣efd、erd，初始為全1矩陣，通過(guò)以下公式來(lái)確定不同圖片自適應(yīng)權(quán)重矩陣的大?。?/p>

31、

32、

33、

34、

35、其中tfd、trd分別為根據(jù)正向?qū)W生網(wǎng)絡(luò)異常分?jǐn)?shù)圖與逆向?qū)W生網(wǎng)絡(luò)異常分?jǐn)?shù)圖的確定異常閾值。

36、本發(fā)明具有以下的特點(diǎn)和有益效果：

37、采用上述技術(shù)方案，將正向蒸餾師生模型的表現(xiàn)與逆向蒸餾師生模型的表現(xiàn)全部納入到異常檢測(cè)的考慮范圍中。根據(jù)對(duì)正向蒸餾師生模型生成的異常分?jǐn)?shù)圖和逆向蒸餾師生模型生成的異常分?jǐn)?shù)圖的觀察與研究，提出一個(gè)自適應(yīng)特征異常統(tǒng)計(jì)模塊，該模塊能夠根據(jù)正向蒸餾師生模型與逆向蒸餾師生模型提供的信息突出圖片中可能存在缺陷的地方，從而面對(duì)待測(cè)圖片，擁有該模塊的雙向蒸餾師生模型既能夠有效的將圖片中存在的缺陷區(qū)域識(shí)別出來(lái)，又不會(huì)因?yàn)閷?duì)正常區(qū)域?qū)W習(xí)的不足而將正常的區(qū)別識(shí)別為異常。這使得雙向蒸餾師生模型與單純的正向蒸餾師生模型、逆向蒸餾師生模型相比準(zhǔn)確率有了較大的提高。