本技術涉及數(shù)據(jù)處理的，尤其是涉及一種基于視覺的表面缺陷檢測方法及檢測系統(tǒng)。

背景技術：

1、在工業(yè)生產中，軸承作為關鍵零部件，其質量和性能直接關系到整個設備的運行效率和安全性。然而，由于工作環(huán)境惡劣、長期磨損等因素，軸承往往會出現(xiàn)各種缺陷，如裂紋、剝落、銹蝕等。這些缺陷不僅會降低軸承的使用壽命，還可能引發(fā)設備故障，甚至導致嚴重的安全事故。

2、隨著計算機視覺和深度學習技術的快速發(fā)展，基于計算機視覺和深度學習的軸承缺陷檢測方法逐漸嶄露頭角，這種方法通過采集軸承的數(shù)據(jù)，并利用深度學習算法對采集的軸承數(shù)據(jù)進行分析和處理，從而實現(xiàn)對軸承缺陷的自動檢測和識別。然而，在實際應用中，高質量、帶有明確標簽的軸承缺陷數(shù)據(jù)往往非常稀缺，這限制了深度學習模型的訓練效果和實際應用價值。

技術實現(xiàn)思路

1、為了增加帶有明確標簽的軸承缺陷數(shù)據(jù)的數(shù)量，提高深度學習模型的訓練效果，本技術提供了一種基于視覺的表面缺陷檢測方法及檢測系統(tǒng)。

2、第一方面，本技術提供了一種基于視覺的表面缺陷檢測方法，采用如下的技術方案：

3、一種基于視覺的表面缺陷檢測方法，包括以下步驟：

4、數(shù)據(jù)采集及處理：采集歷史缺陷數(shù)據(jù)和待處理的軸承數(shù)據(jù)，并基于歷史缺陷數(shù)據(jù)，構建缺陷標簽；

5、增加數(shù)據(jù)：包括建網(wǎng)、生成數(shù)據(jù)、數(shù)據(jù)判斷、優(yōu)化和數(shù)據(jù)整合；

6、建網(wǎng)：建立生成對抗網(wǎng)絡，所述生成對抗網(wǎng)絡包括一個生成器和兩個判別器，兩個判別器的類別不同；

7、生成數(shù)據(jù)：基于歷史缺陷數(shù)據(jù)和缺陷標簽，利用生成器生成新的缺陷數(shù)據(jù)；

8、數(shù)據(jù)判斷：將新的缺陷數(shù)據(jù)分別輸入至兩個判別器中，分別獲得兩個判別器的輸出，若兩個判別器的輸出結果一致且與預期的缺陷標簽相同，則執(zhí)行數(shù)據(jù)整合的步驟；若否，則執(zhí)行優(yōu)化的步驟；

9、優(yōu)化：調整生成對抗網(wǎng)絡的參數(shù)，并執(zhí)行生成數(shù)據(jù)的步驟，直至滿足預設的優(yōu)化停止條件；

10、數(shù)據(jù)整合：將新的缺陷數(shù)據(jù)和歷史缺陷數(shù)據(jù)作為新的歷史缺陷數(shù)據(jù)；

11、建模：建立檢測模型；

12、模型訓練：采用新的歷史缺陷數(shù)據(jù)對檢測模型進行訓練，獲得訓練后的檢測模型；

13、檢測：將待處理的軸承數(shù)據(jù)作為訓練后的檢測模型的輸入，獲得第一檢測結果。

14、通過采用上述技術方案，本技術通過采集歷史缺陷數(shù)據(jù)和構建缺陷標簽，提高了數(shù)據(jù)的準確性和標簽的一致性，利用生成對抗網(wǎng)絡生成新的缺陷數(shù)據(jù)，有效解決了數(shù)據(jù)稀缺的問題，同時提高了生成的缺陷數(shù)據(jù)的多樣性和真實性，從而提升了數(shù)據(jù)集的豐富度和質量。通過使用兩個不同類別的判別器對生成的缺陷數(shù)據(jù)進行驗證，使新的缺陷數(shù)據(jù)的質量符合預期的缺陷標簽，為模型訓練的步驟提供了高質量的數(shù)據(jù)支持。通過優(yōu)化步驟不斷調整生成對抗網(wǎng)絡的參數(shù)，使得生成的數(shù)據(jù)更加符合實際需求，提高了數(shù)據(jù)生成的效率和準確性，進而提升了模型訓練的效率和準確性。

15、可選地，所述數(shù)據(jù)采集及處理的步驟中，還采集了歷史缺陷數(shù)據(jù)所對應的軸承圖像，所述檢測模型包括：圖像分割子模型和cnn子模型，所述模型訓練的步驟還包括：第一訓練、第二訓練、第三訓練和第一判斷；

16、第一訓練：將歷史缺陷數(shù)據(jù)所對應的軸承圖像輸入圖像分割子模型，輸出目標圖像區(qū)域的n個子圖像；

17、第二訓練：將第i個子圖像分別輸入至cnn子模型的m個隱藏層中，獲得cnn子模型隱藏層的m個輸出；

18、第三訓練：將隱藏層的m個輸出輸入至cnn子模型的輸出層中，獲得第二檢測結果；

19、第一判斷：判斷第二檢測結果與缺陷標簽是否相同，若是，則執(zhí)行檢測的步驟，若否，則將第i+1個子圖像作為新的第i個子圖像，重新執(zhí)行第一訓練的步驟，直至滿足預設的停止判斷條件。

20、通過采用上述技術方案，cnn子模型通過多個隱藏層對子圖像的多個特征進行特征提取，每個隱藏層都能夠學習到不同層次的特征信息。在第一判斷階段，如果第二檢測結果與缺陷標簽不一致，說明該訓練樣本可能存在問題，此時檢測模型會自動選擇下一個子圖像進行重新訓練，這種自適應學習的機制有助于檢測模型不斷優(yōu)化自身性能。通過不斷迭代訓練，檢測模型能夠逐漸學習到更加準確和穩(wěn)定的檢測規(guī)則，提高檢測的魯棒性。本技術還通過將圖像分割子模型和cnn子模型相結合，利用圖像分割子模型對圖像進行分割，利用cnn子模型提取特征，能夠在更短的時間內學習到更多的特征信息，從而提高訓練效率。

21、可選地，在執(zhí)行第一訓練的步驟之后，執(zhí)行第二訓練的步驟之前，還包括：

22、圖像處理：對n個子圖像進行灰度化處理，獲得n個灰度化的子圖像；

23、第一提?。韩@取第i個灰度化的子圖像中第j個像素點的灰度值，記為第一灰度值；獲取與第j個像素點相鄰的八個像素點的灰度值，記為第二灰度值；

24、第二提?。韩@取第二灰度值中的最大值與最小值；

25、第三判斷：判斷第一灰度值是否大于最小值且小于最大值，若是，則執(zhí)行第一替換的步驟；若否，則執(zhí)行標記的步驟；

26、第一替換：將第j+1個像素點作為新的第j個像素點，并執(zhí)行第一提取的步驟，直至滿足預設的第一替換停止條件，并執(zhí)行第二替換的步驟；

27、標記：將第j個像素點標記為噪聲點，將第j個像素點的灰度值替換為與其相鄰的八個像素點灰度值的平均值，執(zhí)行第一替換的步驟；

28、第二替換：將第i+1個灰度化的子圖像作為新的第i個灰度化的子圖像，并執(zhí)行第一提取的步驟，直至滿足預設的第二替換停止條件，并執(zhí)行第二訓練的步驟。

29、通過采用上述技術方案，灰度化處理能夠減少圖像的顏色信息，只保留亮度信息，從而降低圖像處理的復雜度。通過獲取像素點的灰度值及其相鄰像素點的灰度值，可以為后續(xù)的噪聲檢測和替換提供基礎數(shù)據(jù)，第二提取步驟中的最大值和最小值的計算，有助于確定第一灰度值的范圍，通過判斷第一灰度值是否落入最大值和最小值之間，判斷該像素點是否為噪聲點，若是，則對其進行標記，并進行灰度值的替換，減少噪聲點對缺陷判斷的影響。

30、可選地，在執(zhí)行第三判斷的步驟之后，執(zhí)行標記的步驟之前，還包括：

31、第四判斷：判斷第一灰度值是否小于最小值，若是，則執(zhí)行第一計算的步驟；若否，則執(zhí)行第二計算的步驟；

32、第一計算：計算第一灰度值與最小值的差值，記為第一差值；

33、第二計算：計算第一灰度值與最大值的差值，記為第二差值；

34、第五判斷：判斷第一差值或第二差值是否大于預設差值閾值，若是，則執(zhí)行標記的步驟；若否，則執(zhí)行第一替換的步驟。

35、通過采用上述技術方案，第一計算和第二計算分別計算了第一灰度值與最小值和最大值的差值，這些差值反映了像素點灰度值相對于其鄰域灰度值的偏離程度，通過比較差值與預設差值閾值的關系，能夠更準確地識別出噪聲點，即，當?shù)谝徊钪祷虻诙钪荡笥陬A設差值閾值時，該像素點為噪聲點，需要執(zhí)行標記的步驟，有助于減少噪聲對后續(xù)處理的影響。當?shù)谝徊钪祷虻诙钪挡淮笥陬A設差值閾值時，說明該差值為可接受的范圍，之后執(zhí)行第一替換的步驟，可以避免對非噪聲點進行不必要的處理。

36、可選地，在執(zhí)行第一訓練的步驟之后，執(zhí)行第二訓練的步驟之前，還包括：

37、建立子圖像集：將n個子圖像整合為子圖像集；

38、第三提?。翰捎眉す饫走_獲取每個子圖像中每個像素點所對應的點云數(shù)據(jù)，將一個子圖像的全部點云數(shù)據(jù)整合為點云數(shù)據(jù)集；

39、第四提?。韩@取點云數(shù)據(jù)集中每個點云點的法向量；

40、第六判斷：判斷任意兩個法向量是否互相平行，若是，則執(zhí)行刪減的步驟；若否，則執(zhí)行遍歷的步驟；

41、刪減：在子圖像集中刪除所述點云數(shù)據(jù)集所對應的子圖像；

42、遍歷：遍歷子圖像集中全部的子圖像，重復執(zhí)行第三提取至第六判斷的步驟，直至滿足預設的遍歷停止條件。

43、通過采用上述技術方案，利用激光雷達獲取子圖像中每個像素點對應的點云數(shù)據(jù)，并將一個子圖像的全部點云數(shù)據(jù)整合為點云數(shù)據(jù)集，能夠更準確地反映當前軸承的三維形狀和結構。獲取點云數(shù)據(jù)集中每個點云點的法向量，有助于分析軸承的表面特征，當軸承表面沒有缺陷的時候，法向量應該是互相平行的，當軸承表面存在缺陷的時候，法向量不是互相平行的，因此通過判斷法向量兩兩之間是否平行，可以識別表面是否存在缺陷，通過刪減的步驟，刪除沒有缺陷的子圖像，減少資源的占用。

44、可選地，在執(zhí)行第六判斷的步驟之后，執(zhí)行遍歷的步驟之前，還包括：

45、第五提?。韩@取存在夾角的第k個法向量與第k+1個法向量，獲取第k個法向量所對應的點云點，獲取k+1個法向量所對應的點云點；

46、第三計算：分別計算兩個點云點處的曲率，獲取曲率最小的點云點，記為第一點云點；

47、第六提?。韩@取第一點云點所對應的像素點，記為第一像素點，并將第一像素點作為種子點；

48、第四計算：基于種子點進行最近鄰搜索，計算種子點的法向量與近鄰點的法向量的夾角，獲得第一數(shù)據(jù)；

49、第七判斷：判斷第一數(shù)據(jù)是否小于預設夾角閾值，若是，則執(zhí)行遍歷的步驟；若否，則執(zhí)行歸類的步驟；

50、歸類：將近鄰點與種子點歸為同一個缺陷標簽；

51、第三替換：將第k+1個法向量作為新的第k個法向量，并執(zhí)行第五提取的步驟。

52、通過采用上述技術方案，本技術通過提取存在夾角的法向量及其對應的點云點，有助于識別點云數(shù)據(jù)中的缺陷位置，計算兩個點云點處的曲率，可以識別出點云數(shù)據(jù)中較為平坦或彎曲的區(qū)域，之后選擇曲率最小的點云點作為種子點，將曲率最小的點云點對應的像素點作為種子點，有助于在最近鄰搜索中更準確地定位缺陷邊緣?；诜N子點進行最近鄰搜索，并計算種子點與近鄰點法向量的夾角，有助于識別缺陷區(qū)域的邊界。若是第一數(shù)據(jù)小于預設夾角閾值，則將近鄰點與種子點歸為同一個缺陷標簽，有助于在后續(xù)處理中統(tǒng)一處理缺陷區(qū)域，提高了缺陷識別的準確性和效率。

53、可選地，在執(zhí)行第四計算的步驟之后，執(zhí)行第七判斷的步驟之前，還包括：

54、第五計算：計算近鄰點的曲率；

55、第八判斷：判斷種子點的曲率是否小于近鄰點的曲率，若是，則執(zhí)行第七判斷；若否，則執(zhí)行第四替換的步驟；

56、第四替換：將近鄰點作為新的種子點，并執(zhí)行第四計算的步驟。

57、通過采用上述技術方案，通過計算近鄰點的曲率，提供了關于近鄰點局部形狀的重要信息，曲率信息有助于區(qū)分缺陷區(qū)域和非缺陷區(qū)域，以及缺陷區(qū)域內的不同部分，通過比較種子點和近鄰點的曲率，可以進一步確認種子點是否位于缺陷區(qū)域的中心或關鍵位置。當種子點的曲率不小于近鄰點的曲率時，將近鄰點作為新的種子點，有助于逐步逼近缺陷區(qū)域的邊緣位置。

58、可選地，在執(zhí)行第六判斷的步驟之后，執(zhí)行遍歷的步驟之前，還包括：

59、第七提取：基于第六判斷的步驟，提取兩個法向量所對應的點云點，獲得兩個點云點，將兩個點云點整合為點云點對；

60、第九判斷：判斷點云點對是否位于軸承的邊緣，若是，則執(zhí)行刪減的步驟；若否，則執(zhí)行遍歷的步驟。

61、通過采用上述技術方案，提取兩個法向量所對應的點云點作為點云點對，有助于關注到點云數(shù)據(jù)中特定的、可能與軸承邊緣相關的特征點。通過判斷點云點對是否位于軸承的邊緣，可以進一步篩選和去除與軸承邊緣相關的子圖像，有助于減少后續(xù)處理的復雜度和提高準確性。

62、可選地，在執(zhí)行第九判斷的步驟之后，執(zhí)行刪減的步驟之前，還包括：

63、第八提?。夯诮y(tǒng)計分析的方法，獲取軸承邊緣處法向量兩兩之間夾角的變化規(guī)律；

64、第九提?。韩@取點云點對所對應的兩個法向量之間的夾角，記為第一角度；

65、第十判斷：判斷第一角度是否符合所述的變化規(guī)律，若是，則執(zhí)行刪減的步驟；若否，則執(zhí)行記錄的步驟；

66、記錄：在所述點云點對處標記存在缺陷。

67、通過采用上述技術方案，通過統(tǒng)計分析軸承邊緣處法向量兩兩之間夾角的變化規(guī)律，能夠更深入地理解軸承邊緣的幾何特征。獲取點云點對所對應的法向量之間的夾角，直接將法向量關聯(lián)到當前處理的點云點對或子圖像集的幾何特征。通過判斷第一角度是否符合統(tǒng)計分析得出的變化規(guī)律，可以進一步確認當前處理的點云點對或子圖像集是否位于軸承的邊緣，若是，則判斷第一角度是由于邊緣曲線導致的，若否，則表明點云點對位于缺陷區(qū)域。

68、第二方面，本發(fā)明提供了一種基于視覺的表面缺陷檢測系統(tǒng)，采用如下的技術方案：

69、一種基于視覺的表面缺陷檢測系統(tǒng)，包括：

70、數(shù)據(jù)采集及處理模塊，用于采集歷史缺陷數(shù)據(jù)和待處理的軸承數(shù)據(jù)；還用于基于歷史缺陷數(shù)據(jù)，構建缺陷標簽；

71、增加數(shù)據(jù)模塊，包括建網(wǎng)單元、生成數(shù)據(jù)單元、數(shù)據(jù)判斷單元、優(yōu)化單元和數(shù)據(jù)整合單元；

72、建網(wǎng)單元，用于建立生成對抗網(wǎng)絡，所述生成對抗網(wǎng)絡包括一個生成器和兩個判別器，兩個判別器的類別不同；

73、生成數(shù)據(jù)單元，用于基于歷史缺陷數(shù)據(jù)和缺陷標簽，利用生成器生成新的缺陷數(shù)據(jù)；

74、數(shù)據(jù)判斷單元，用于將新的缺陷數(shù)據(jù)分別輸入至兩個判別器中，分別獲得兩個判別器的輸出，如果兩個判別器的輸出結果一致且與預期的缺陷標簽相同，就觸發(fā)數(shù)據(jù)整合單元；反之，則觸發(fā)優(yōu)化單元；

75、優(yōu)化單元，用于調整生成對抗網(wǎng)絡的參數(shù)；

76、數(shù)據(jù)整合單元，用于將新的缺陷數(shù)據(jù)和歷史缺陷數(shù)據(jù)作為新的歷史缺陷數(shù)據(jù)；

77、建模模塊，用于建立檢測模型；

78、模型訓練模塊，用于采用新的歷史缺陷數(shù)據(jù)對檢測模型進行訓練，獲得訓練后的檢測模型；

79、檢測模塊，用于將待處理的軸承數(shù)據(jù)作為訓練后的檢測模型的輸入，獲得第一檢測結果。

80、通過采用上述技術方案，本技術通過數(shù)據(jù)采集及處理模塊全面收集并處理歷史缺陷數(shù)據(jù)，構建準確缺陷標簽；增加數(shù)據(jù)模塊利用生成對抗網(wǎng)絡高效生成多樣且逼真的缺陷數(shù)據(jù)以及對應的軸承圖像，并通過精確的數(shù)據(jù)判斷與優(yōu)化迭代，確保數(shù)據(jù)質量，將新的缺陷數(shù)據(jù)與原始的歷史缺陷數(shù)據(jù)整合成新的豐富數(shù)據(jù)集，為建模模塊提供堅實基礎，經(jīng)模型訓練模塊訓練后的檢測模型能夠實現(xiàn)對軸承缺陷的快速準確檢測，顯著提升檢測效率與準確性。

81、綜上所述，本技術包括以下至少一種有益技術效果：

82、1.本技術通過采集歷史缺陷數(shù)據(jù)和構建缺陷標簽，確保了數(shù)據(jù)的準確性和標簽的一致性，利用生成對抗網(wǎng)絡生成新的缺陷數(shù)據(jù)，有效解決了數(shù)據(jù)稀缺的問題，同時提高了生成的缺陷數(shù)據(jù)的多樣性和真實性，從而提升了數(shù)據(jù)集的豐富度和質量。通過使用兩個不同類別的判別器對生成的缺陷數(shù)據(jù)進行驗證，使新的缺陷數(shù)據(jù)的質量符合預期的缺陷標簽，為模型訓練的步驟提供了高質量的數(shù)據(jù)支持。通過優(yōu)化步驟不斷調整生成對抗網(wǎng)絡的參數(shù)，使得生成的數(shù)據(jù)更加符合實際需求，提高了數(shù)據(jù)生成的效率和準確性，進而提升了模型訓練的效率和準確性。

83、2.利用激光雷達獲取子圖像中每個像素點對應的點云數(shù)據(jù)，并將一個子圖像的全部點云數(shù)據(jù)整合為點云數(shù)據(jù)集，能夠更準確地反映當前軸承的三維形狀和結構。獲取點云數(shù)據(jù)集中每個點云點的法向量，有助于分析軸承的表面特征，當軸承表面沒有缺陷的時候，法向量應該是互相平行的，當軸承表面存在缺陷的時候，法向量不是互相平行的，因此通過判斷法向量兩兩之間是否平行，可以識別表面是否存在缺陷，通過刪減的步驟，刪除沒有缺陷的子圖像，減少資源的占用。

84、3.提取兩個法向量所對應的點云點作為點云點對，有助于關注到點云數(shù)據(jù)中特定的、可能與軸承邊緣相關的特征點。通過判斷點云點對是否位于軸承的邊緣，可以進一步篩選和去除與軸承邊緣相關的子圖像，有助于減少后續(xù)處理的復雜度和提高準確性。