本發(fā)明涉及機(jī)器視覺(jué)中的外觀缺陷檢測(cè)的，特別涉及一種基于圖像融合和卷積神經(jīng)網(wǎng)絡(luò)對(duì)強(qiáng)反射表面實(shí)現(xiàn)缺陷檢測(cè)的系統(tǒng)及方法。

背景技術(shù)：

1、外觀缺陷檢測(cè)是3c、醫(yī)療、半導(dǎo)體等眾多行業(yè)不可或缺的重要基本環(huán)節(jié)，由于人工檢測(cè)存在容易疲勞、一致性差、難以數(shù)字化等不足，目前基于機(jī)器視覺(jué)的檢測(cè)系統(tǒng)正逐漸大規(guī)模替代人工肉眼檢測(cè)。機(jī)器視覺(jué)的檢測(cè)是在搭載成像光學(xué)條件下采集圖片后經(jīng)過(guò)視覺(jué)算法分析出檢測(cè)結(jié)果。其中光源的光發(fā)射技術(shù)上有l(wèi)ed光、x光、鹵素光等，光源外形上有條形光、環(huán)形光等，相機(jī)主流的有面陣相機(jī)和線(xiàn)掃相機(jī)等，圖像分析上有傳統(tǒng)算法和深度學(xué)習(xí)算法等，由此組成的檢測(cè)系統(tǒng)已廣泛應(yīng)用于眾多領(lǐng)域。但是當(dāng)被檢測(cè)的產(chǎn)品表面光滑且有一定弧度的情況下，部分區(qū)域?qū)庹沼袕?qiáng)反射的特性，并引起被檢測(cè)物表面成像出現(xiàn)亮斑掩蓋了缺陷成像，此時(shí)在普通光學(xué)方案下難以對(duì)表面缺陷有覆蓋面較好的理想成像。其次，在真實(shí)復(fù)雜的工業(yè)環(huán)境中，缺陷本身顏色、形態(tài)等不固定，且往往與背景差異小，背景紋理復(fù)雜，缺陷圖像噪聲干擾大，基于以上成像上諸多挑戰(zhàn)傳統(tǒng)的視覺(jué)算法難以取得理想的檢測(cè)效果。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問(wèn)題是克服現(xiàn)有技術(shù)的不足，提供了一種在光滑產(chǎn)品表面上、復(fù)雜的工業(yè)環(huán)境中對(duì)強(qiáng)反射表面實(shí)現(xiàn)缺陷檢測(cè)的系統(tǒng)及方法。

2、本發(fā)明所采用的技術(shù)方案是：一種對(duì)強(qiáng)反射表面實(shí)現(xiàn)缺陷檢測(cè)的系統(tǒng)包括：

3、融合單元，用于通過(guò)四步相位偏移技術(shù)對(duì)被測(cè)物表面明暗條紋圖進(jìn)行融合；

4、學(xué)習(xí)單元，用于通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)融合后的缺陷圖像進(jìn)行學(xué)習(xí)；

5、提取單元，用于通過(guò)學(xué)習(xí)到的神經(jīng)網(wǎng)絡(luò)模型對(duì)被測(cè)物圖像中的外觀缺陷進(jìn)行自動(dòng)提取；

6、計(jì)算單元，用于對(duì)缺陷計(jì)算對(duì)比度，并篩選出相應(yīng)缺陷。

7、進(jìn)一步，所述融合單元具體包括輸入圖片子單元、第一計(jì)算子單元、第二計(jì)算子單元，其中，

8、輸入圖片子單元，具體用于對(duì)被測(cè)物使用光柵投影，采用四步相位偏移技術(shù)，被測(cè)物采集4張相位相間的條紋圖，條紋圖可通過(guò)光強(qiáng)公式，即第一公式來(lái)表達(dá)，其中所屬第一公式為：

9、

10、其中是條紋圖像，是背景強(qiáng)度，是調(diào)制圖，是相位，是相位偏移量，則4張條紋圖可分別表達(dá)為

11、

12、

13、

14、?；

15、第一計(jì)算子單元，具體用于計(jì)算背景強(qiáng)度圖和調(diào)制圖，4張條紋圖的表達(dá)式等價(jià)于：

16、

17、

18、

19、

20、聯(lián)立以上4個(gè)方程可解得第二公式即，第三公式即，其中第二、三公式分別為：

21、

22、?；

23、第二計(jì)算子單元，通過(guò)背景強(qiáng)度圖和調(diào)制圖，可通過(guò)第四公式計(jì)算得到圖像融合結(jié)果圖：

24、?…………第四公式。

25、進(jìn)一步，所述學(xué)習(xí)單元具體包括初始化子單元和訓(xùn)練子單元，其中，

26、初始化子單元，具體用于收集圖像融合后的數(shù)據(jù)集，做數(shù)據(jù)清洗、標(biāo)注、按比例切分訓(xùn)練集、驗(yàn)證集、測(cè)試集體，設(shè)置分割神經(jīng)網(wǎng)絡(luò)訓(xùn)練超參數(shù)并初始化卷積神經(jīng)網(wǎng)絡(luò)；

27、訓(xùn)練子單元，具體用于缺陷樣本輸入分割神經(jīng)網(wǎng)絡(luò)開(kāi)始訓(xùn)練學(xué)習(xí)，訓(xùn)練過(guò)程重復(fù)著前向計(jì)算、計(jì)算損失、反向傳播、驗(yàn)證集驗(yàn)證的步驟，達(dá)到設(shè)定的重復(fù)訓(xùn)練輪次后以iou最大的模型作為最終的卷積神經(jīng)網(wǎng)絡(luò)模型。

28、進(jìn)一步，所述提取單元具體包括：分割子單元，具體用于圖像融合的結(jié)果圖像輸入最終的卷積神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行前向推理，分割出物體表面上的缺陷。

29、進(jìn)一步，所述計(jì)算單元具體包括分區(qū)子單元、統(tǒng)計(jì)子單元、計(jì)算子單元，其中，

30、分區(qū)子單元，將缺陷按設(shè)定的大小切分成若干區(qū)域，每個(gè)區(qū)域面積大小，每個(gè)區(qū)域的背景區(qū)域?yàn)?，表示區(qū)域擴(kuò)展操作，則

31、；

32、統(tǒng)計(jì)子單元，對(duì)和分別做灰度直方圖統(tǒng)計(jì)，在直方圖中按比例取得前的像素并計(jì)算平均灰度和，直方圖中按比例取得后的像素并計(jì)算平均灰度和，用第五公式計(jì)算區(qū)域的對(duì)比度，第五公式為：

33、；

34、用第六公式計(jì)算每個(gè)區(qū)域的權(quán)重，第六公式為

35、；

36、計(jì)算子單元，由第七公式計(jì)算缺陷的對(duì)比度，然后根據(jù)對(duì)比度閾值篩選出被測(cè)物表面缺陷，第七公式為：

37、?。

38、一種對(duì)強(qiáng)反射表面實(shí)現(xiàn)缺陷檢測(cè)的方法包括如下步驟：

39、s1、對(duì)被測(cè)物使用光柵投影，采用四步相位偏移法采集不同相位投影的圖像，并將采集到的不同相位圖片實(shí)現(xiàn)融合；

40、s2、將融合后的圖像制作數(shù)據(jù)集，并標(biāo)注出缺陷位置，然后輸入深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

41、s3、將經(jīng)過(guò)相位偏移法融合后的圖片輸入訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行前向推理，網(wǎng)絡(luò)模型輸出檢測(cè)到的候選缺陷；

42、s4、對(duì)神經(jīng)網(wǎng)絡(luò)檢測(cè)到的候選缺陷進(jìn)行對(duì)比度計(jì)算，篩選出對(duì)比度大于設(shè)定值的缺陷。

43、進(jìn)一步，步驟s1具體包括：

44、s11、對(duì)被測(cè)物采集4張相位相間的條紋圖，條紋圖可通過(guò)光強(qiáng)公式，即第一公式來(lái)表達(dá)，其中所屬第一公式為：

45、

46、其中，是條紋圖像，是背景強(qiáng)度，是調(diào)制圖，是相位，是相位偏移量，則4張條紋圖可分別表達(dá)為：

47、

48、

49、

50、?；

51、s12、4張條紋圖的表達(dá)式等價(jià)于：

52、

53、

54、

55、?；

56、聯(lián)立以上4個(gè)方程可解得第二公式即，第三公式即，其中第二、三公式分別為：

57、

58、

59、s13、通過(guò)背景強(qiáng)度圖和調(diào)制圖，可通過(guò)第四公式計(jì)算得到圖像融合結(jié)果圖，第四公式為

60、?。

61、進(jìn)一步，步驟s2具體包括：

62、s21、收集圖像融合后的數(shù)據(jù)集，做數(shù)據(jù)清洗、標(biāo)注、按比例切分訓(xùn)練集、驗(yàn)證集、測(cè)試集體，設(shè)置分割神經(jīng)網(wǎng)絡(luò)訓(xùn)練超參數(shù)并初始化卷積神經(jīng)網(wǎng)絡(luò)；

63、s22、缺陷樣本輸入分割神經(jīng)網(wǎng)絡(luò)開(kāi)始訓(xùn)練學(xué)習(xí)，訓(xùn)練過(guò)程重復(fù)著前向計(jì)算、計(jì)算損失、反向傳播、驗(yàn)證集驗(yàn)證的步驟，達(dá)到設(shè)定的重復(fù)訓(xùn)練輪次后以iou最大的模型作為最終的卷積神經(jīng)網(wǎng)絡(luò)模型。

64、進(jìn)一步，步驟s3具體包括：

65、s31、圖像融合的結(jié)果圖像輸入最終的卷積神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行前向推理，分割出物體表面上的缺陷。

66、進(jìn)一步，步驟s4具體包括：

67、s41、將缺陷按設(shè)定的大小切分成若干區(qū)域，每個(gè)區(qū)域面積大小，每個(gè)區(qū)域的背景區(qū)域?yàn)椋硎緟^(qū)域擴(kuò)展操作，則

68、?；

69、s42、對(duì)和分別做灰度直方圖統(tǒng)計(jì)，在直方圖中按比例取得前的像素并計(jì)算平均灰度和，直方圖中按比例取得后的像素并計(jì)算平均灰度和；

70、s43、用第五公式計(jì)算區(qū)域的對(duì)比度，第五公式為

71、；

72、用第六公式計(jì)算每個(gè)區(qū)域的權(quán)重，第六公式為

73、?；

74、計(jì)算缺陷的對(duì)比度:

75、?；

76、然后根據(jù)對(duì)比度閾值篩選出被測(cè)物表面缺陷。