本發(fā)明屬于機(jī)器視覺(jué)，涉及一種基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測(cè)方法。

背景技術(shù)：

1、在智能制造和工業(yè)自動(dòng)化領(lǐng)域中，缺陷檢測(cè)是保證產(chǎn)品質(zhì)量的關(guān)鍵環(huán)節(jié)，基于深度學(xué)習(xí)的機(jī)器視覺(jué)技術(shù)是當(dāng)前缺陷檢測(cè)領(lǐng)域主流的關(guān)鍵技術(shù)。但在實(shí)際工業(yè)場(chǎng)景下，卻面臨著諸多挑戰(zhàn)：1.缺陷樣本稀缺性：由于嚴(yán)格的質(zhì)量控制，缺陷產(chǎn)品較少，導(dǎo)致可用于訓(xùn)練的缺陷樣本數(shù)量遠(yuǎn)低于正常樣本，這種不平衡使得訓(xùn)練能準(zhǔn)確識(shí)別少數(shù)缺陷的模型變的困難；2.缺陷的多樣性和不可預(yù)見(jiàn)性：工業(yè)產(chǎn)品可能出現(xiàn)從微小劃痕到重大結(jié)構(gòu)損壞等各種不同的缺陷類(lèi)型，除此之外新產(chǎn)品或改進(jìn)產(chǎn)品同樣可能帶來(lái)全新的缺陷類(lèi)型，使得收集一個(gè)全面覆蓋所有潛在缺陷類(lèi)型的數(shù)據(jù)集變得幾乎不可能；3.提高模型的泛化能力，現(xiàn)有全監(jiān)督模型需要針對(duì)每一種缺陷類(lèi)型有足夠的標(biāo)注樣本進(jìn)行訓(xùn)練，對(duì)于訓(xùn)練過(guò)程中沒(méi)有觀察到的新的樣本類(lèi)型，模型直接在其上進(jìn)行測(cè)試時(shí)性能顯著下降，無(wú)法適應(yīng)快速生產(chǎn)和頻繁產(chǎn)品更新的現(xiàn)代工業(yè)需求。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測(cè)方法，解決了現(xiàn)有技術(shù)中存在的樣本數(shù)量少、特征難對(duì)齊導(dǎo)致的模型檢測(cè)精度低、泛化能力弱的問(wèn)題。

2、本發(fā)明所采用的技術(shù)方案是，基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測(cè)方法，包括以下步驟：

3、s1：構(gòu)建工業(yè)品的正樣本圖像數(shù)據(jù)集和缺陷樣本圖像數(shù)據(jù)集；

4、s2：構(gòu)建去背景模塊，輸入同一工業(yè)品兩幅不同的正樣本圖像，一幅作為參考圖像，一幅作為待配準(zhǔn)圖像，利用otsu二值化方法和canny邊緣檢測(cè)算子分別對(duì)參考圖像和待配準(zhǔn)圖像去背景，得到第一參考圖像和第一待配準(zhǔn)圖像；

5、s3：構(gòu)建圖像旋轉(zhuǎn)粗配準(zhǔn)模塊，對(duì)第一待配準(zhǔn)圖像進(jìn)行旋轉(zhuǎn)至與第一參考圖像對(duì)齊，得到第二待配準(zhǔn)圖像；

6、s4：構(gòu)建雙分支特征級(jí)精配準(zhǔn)模塊，并用正樣本圖像數(shù)據(jù)集訓(xùn)練后，輸入第一參考圖像和第二待配準(zhǔn)圖像進(jìn)行精準(zhǔn)對(duì)齊，得到第一參考圖像的特征圖a和第二待配準(zhǔn)圖像的特征圖b，對(duì)特征圖a和特征圖b上采樣進(jìn)行通道維度拼接后得到特征圖c，求解特征圖c的均值及方差，作為工業(yè)品的模板特征；

7、s5：求解同一工業(yè)品缺陷樣本圖像的特征圖d，計(jì)算特征圖d與模版特征的馬氏距離，作為缺陷樣本圖像的異常分?jǐn)?shù)矩陣；

8、s6：建立自適應(yīng)缺陷閾值分割網(wǎng)絡(luò)，求解最佳的分割全局閾值，用分割全局閾值對(duì)異常分?jǐn)?shù)矩陣進(jìn)行分割，得到缺陷分割圖像。

9、本發(fā)明的特點(diǎn)還在于：

10、基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測(cè)方法，s2中利用otsu二值化方法和canny邊緣檢測(cè)算子分別對(duì)參考圖像和待配準(zhǔn)圖像去背景，具體為：

11、s2.1：利用otsu二值化方法對(duì)參考圖像和待配準(zhǔn)圖像中的目標(biāo)物體進(jìn)行提?。?/p>

12、s2.2：利用canny邊緣檢測(cè)算子提取目標(biāo)物體的邊緣信息，利用邊緣信息對(duì)目標(biāo)物體進(jìn)行約束處理：從參考圖像和待配準(zhǔn)圖像的四周邊緣像素開(kāi)始，向內(nèi)遍歷每個(gè)像素，在遇到邊緣像素之前，將遍歷過(guò)的像素都設(shè)為背景。

13、基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測(cè)方法，s3中對(duì)第一待配準(zhǔn)圖像進(jìn)行旋轉(zhuǎn)至與第一參考圖像對(duì)齊，具體為：求取第一參考圖像的最大連通區(qū)域的外接矩形的中心軸角度α，求取第一待配準(zhǔn)圖像的最大連通區(qū)域的外接矩形的中心軸角度β，通過(guò)比較中心軸角度α與中心軸角度β之間的角度差異，構(gòu)建旋轉(zhuǎn)矩陣對(duì)第一待配準(zhǔn)圖像進(jìn)行旋轉(zhuǎn)至與第一參考圖像對(duì)齊。

14、基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測(cè)方法，s4中雙分支特征級(jí)精配準(zhǔn)模塊，具體為，在resnet-18網(wǎng)絡(luò)基礎(chǔ)上構(gòu)建雙子網(wǎng)結(jié)構(gòu)，兩個(gè)子網(wǎng)參數(shù)共享，每一子網(wǎng)絡(luò)在第一層卷積塊后加入雙分支輪廓增強(qiáng)空間變換網(wǎng)絡(luò)子模塊，在第二層、第三層卷積塊后加入空間變換網(wǎng)絡(luò)stn子模塊，損失函數(shù)采用負(fù)余弦損失函數(shù)；

15、s4中求解特征圖c的均值及方差，是利用多變量高斯分布估計(jì)器進(jìn)行求解。

16、基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測(cè)方法，雙分支輪廓增強(qiáng)空間變換網(wǎng)絡(luò)子模塊，由兩個(gè)分支組成：第一分支為主分支，輸入為融合了輪廓信息的原始圖像，由兩個(gè)核大小為3×3的卷積構(gòu)成，每個(gè)卷積層后緊接一個(gè)最大池化層；第二分支為輔助分支，輸入為利用canny邊緣檢測(cè)算子從原始圖像中提取到的僅包含輪廓信息的圖像，核大小為3×3的卷積構(gòu)成，每個(gè)卷積層后緊接一個(gè)最大池化層；主分支和輔助分支分別處理這兩種輸入，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取空間特征，然后通過(guò)全連接層融合這些空間特征以預(yù)測(cè)變換參數(shù)構(gòu)建變換矩陣，對(duì)圖像進(jìn)行對(duì)齊變換。

17、基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測(cè)方法，s5中求解同一工業(yè)品缺陷樣本圖像的特征圖d，具體為：將參考圖像和同一工業(yè)品的一幅缺陷樣本圖像，分別經(jīng)過(guò)去背景模塊、圖像旋轉(zhuǎn)粗配準(zhǔn)模塊和雙分支特征級(jí)精配準(zhǔn)模塊處理，再經(jīng)過(guò)上采樣進(jìn)行通道維度拼接后，得到缺陷樣本圖像的特征圖d。

18、基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測(cè)方法，s6中求解最佳的分割全局閾值，具體為將異常分?jǐn)?shù)矩陣和對(duì)應(yīng)的缺陷真實(shí)掩膜圖輸入自適應(yīng)缺陷閾值分割網(wǎng)絡(luò)，利用神經(jīng)網(wǎng)絡(luò)自動(dòng)確定缺陷閾值，用異常分?jǐn)?shù)矩陣減去缺陷閾值，并使用激活函數(shù)relu及歸一化進(jìn)行軟二值化處理，最小化預(yù)測(cè)的軟二值化缺陷分割圖和缺陷真實(shí)掩膜圖之間的mse損失，得到異常分?jǐn)?shù)矩陣最佳的分割全局閾值。

19、本發(fā)明的有益效果是：

20、1.通過(guò)基于邊緣信息約束的去背景和圖像層級(jí)粗對(duì)齊，避免了樣本背景區(qū)域變化對(duì)特征提取的干擾并降低了特征匹配的難度；

21、2.構(gòu)建的雙分支輪廓增強(qiáng)空間變換網(wǎng)絡(luò)子模塊，增強(qiáng)了模型的空間特性感知能力，有效減少了圖像之間的非完全對(duì)齊引起的檢測(cè)誤差；

22、3.建立的自適應(yīng)缺陷閾值分割網(wǎng)絡(luò)，降低了對(duì)標(biāo)注缺陷樣本的依賴(lài)，提高了對(duì)新樣本的適應(yīng)性。

技術(shù)特征：

1.基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測(cè)方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測(cè)方法，其特征在于，所述s2中利用otsu二值化方法和canny邊緣檢測(cè)算子分別對(duì)參考圖像和待配準(zhǔn)圖像去背景，具體為：

3.根據(jù)權(quán)利要求1所述的基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測(cè)方法，其特征在于，所述s3中對(duì)第一待配準(zhǔn)圖像進(jìn)行旋轉(zhuǎn)至與第一參考圖像對(duì)齊，具體為：求取第一參考圖像的最大連通區(qū)域的外接矩形的中心軸角度α，求取第一待配準(zhǔn)圖像的最大連通區(qū)域的外接矩形的中心軸角度β，通過(guò)比較中心軸角度α與中心軸角度β之間的角度差異，構(gòu)建旋轉(zhuǎn)矩陣對(duì)第一待配準(zhǔn)圖像進(jìn)行旋轉(zhuǎn)至與第一參考圖像對(duì)齊。

4.根據(jù)權(quán)利要求1所述的基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測(cè)方法，其特征在于，所述s4中雙分支特征級(jí)精配準(zhǔn)模塊，具體為，在resnet-18網(wǎng)絡(luò)基礎(chǔ)上構(gòu)建雙子網(wǎng)結(jié)構(gòu)，兩個(gè)子網(wǎng)參數(shù)共享，每一子網(wǎng)絡(luò)在第一層卷積塊后加入雙分支輪廓增強(qiáng)空間變換網(wǎng)絡(luò)子模塊，在第二層、第三層卷積塊后加入空間變換網(wǎng)絡(luò)stn子模塊，損失函數(shù)采用負(fù)余弦損失函數(shù)；

5.根據(jù)權(quán)利要求4所述的基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測(cè)方法，其特征在于，所述雙分支輪廓增強(qiáng)空間變換網(wǎng)絡(luò)子模塊，由兩個(gè)分支組成：第一分支為主分支，輸入為融合了輪廓信息的原始圖像，由兩個(gè)核大小為3×3的卷積構(gòu)成，每個(gè)卷積層后緊接一個(gè)最大池化層；第二分支為輔助分支，輸入為利用canny邊緣檢測(cè)算子從原始圖像中提取到的僅包含輪廓信息的圖像，核大小為3×3的卷積構(gòu)成，每個(gè)卷積層后緊接一個(gè)最大池化層；主分支和輔助分支分別處理這兩種輸入，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取空間特征，然后通過(guò)全連接層融合這些空間特征以預(yù)測(cè)變換參數(shù)構(gòu)建變換矩陣，對(duì)圖像進(jìn)行對(duì)齊變換。

6.根據(jù)權(quán)利要求1所述的基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測(cè)方法，其特征在于，所述s5中求解同一工業(yè)品缺陷樣本圖像的特征圖d，具體為：將參考圖像和同一工業(yè)品的一幅缺陷樣本圖像，分別經(jīng)過(guò)去背景模塊、圖像旋轉(zhuǎn)粗配準(zhǔn)模塊和雙分支特征級(jí)精配準(zhǔn)模塊處理，再經(jīng)過(guò)上采樣進(jìn)行通道維度拼接后，得到缺陷樣本圖像的特征圖d。

7.根據(jù)權(quán)利要求1所述的基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測(cè)方法，其特征在于，所述s6中求解最佳的分割全局閾值，具體為將異常分?jǐn)?shù)矩陣和對(duì)應(yīng)的缺陷真實(shí)掩膜圖輸入自適應(yīng)缺陷閾值分割網(wǎng)絡(luò)，利用神經(jīng)網(wǎng)絡(luò)自動(dòng)確定缺陷閾值，用異常分?jǐn)?shù)矩陣減去缺陷閾值，并使用激活函數(shù)relu及歸一化進(jìn)行軟二值化處理，最小化預(yù)測(cè)的軟二值化缺陷分割圖和缺陷真實(shí)掩膜圖之間的mse損失，得到異常分?jǐn)?shù)矩陣最佳的分割全局閾值。

技術(shù)總結(jié)
本發(fā)明公開(kāi)的基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測(cè)方法，包括以下步驟：1.構(gòu)建工業(yè)品的正樣本圖像數(shù)據(jù)集和缺陷樣本圖像數(shù)據(jù)集；2.構(gòu)建去背景模塊，對(duì)參考圖像和待配準(zhǔn)圖像去背景；3.構(gòu)建圖像旋轉(zhuǎn)粗配準(zhǔn)模塊，對(duì)第一待配準(zhǔn)圖像進(jìn)行旋轉(zhuǎn)至與第一參考圖像對(duì)齊；4.構(gòu)建雙分支特征級(jí)精配準(zhǔn)模塊，求解特征圖c的均值及方差，作為工業(yè)品的模板特征；5.求解同一工業(yè)品缺陷樣本圖像的特征圖d和異常分?jǐn)?shù)矩陣；6.建立自適應(yīng)缺陷閾值分割網(wǎng)絡(luò)，得到缺陷分割圖像。本發(fā)明實(shí)現(xiàn)了在小樣本場(chǎng)景下檢測(cè)精度和模型通用性之間更好的平衡。

技術(shù)研發(fā)人員：張二虎,段敬紅,艾敘伊
受保護(hù)的技術(shù)使用者：西安理工大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19