本發(fā)明屬于圖像識別和裝備維護領(lǐng)域，更具體地，涉及一種基于機器視覺的長直導軌微小異物自動檢測方法。

背景技術(shù)：

1、線型導軌是機械設(shè)備中常見的關(guān)鍵組成部件，運行區(qū)域內(nèi)可能會侵入影響設(shè)備正常安全運行的物體，比如脫落的零部件、斷裂的繩索、遺落的工具零件等固體異物，侵入物可能會卡入機械縫隙中產(chǎn)生結(jié)構(gòu)變形或損壞，導致異常磨損縮短使用壽命，產(chǎn)生巨大的安全隱患。所以，為保證線型導軌運行的安全性和穩(wěn)定性，及時發(fā)現(xiàn)并且處理導軌上的侵入異物，是線型導軌正常作業(yè)的重要保障和前提。

2、目前線型導軌異物侵入檢測主要依賴人工巡檢，存在較大局限性和缺陷：巡檢需要停機進行，人工巡檢通常是定期巡檢，難以及時檢測到故障并做出警報；人工巡檢依賴工作人員的專業(yè)素質(zhì)和身心狀態(tài)，工作環(huán)境較為惡劣，增加了工作人員的勞動強度，并且存在許多安全隱患。

技術(shù)實現(xiàn)思路

1、為了克服上述背景技術(shù)的缺陷，本發(fā)明提供一種基于機器視覺的長直導軌微小異物自動檢測方法。

2、為了解決上述技術(shù)問題本發(fā)明的所采用的技術(shù)方案為：

3、一種基于機器視覺的長直導軌微小異物自動檢測方法，包括：

4、步驟1，沿導軌方向水平布置匯聚光源，增強異物與背景視覺差異；用自動掃焦相機獲取整個導軌范圍的成像結(jié)果；

5、步驟2，對成像結(jié)果進行圖像預(yù)處理，獲取潛在異物區(qū)域熱力圖；

6、步驟3，對潛在異物區(qū)域熱力圖進行區(qū)域動態(tài)放大，獲取放大區(qū)域包圍盒；

7、步驟4，對放大區(qū)域包圍盒通過深度注意力卷積神經(jīng)網(wǎng)絡(luò)進行特征建模和編碼，判斷該是否存在異物。

8、較佳地，步驟2對成像結(jié)果進行圖像預(yù)處理，獲取潛在異物區(qū)域熱力圖的具體方法包括：

9、步驟211，對選取異物可能發(fā)生的區(qū)域的彩色圖像進行slic超像素分割；

10、對于圖像的每個像素提取以下5個特征，ax和y方向一階梯度的范數(shù)和二階梯度的范數(shù)以及圖像的灰度i(x，y)，每個像素可以通過5維的特征向量進行表示:

11、

12、根據(jù)上述特征向量，區(qū)域r的協(xié)方差矩陣計算如如下公式所示:

13、

14、其中，μ是區(qū)域特征向量的均值，n是區(qū)域內(nèi)像素總數(shù)，c是d×d維的協(xié)方差矩陣；

15、步驟212，提取分割后每個區(qū)域增強的sigma特征，

16、使用sigma特征如下公式所示：

17、

18、其中l(wèi)i是矩陣l的第i列，c＝llt，α是系數(shù)，引入d維向量的均值，則區(qū)域c增強的sigma特征向量如公式所示:

19、ψc＝(s1+μ，s2+μ，...，s2d+μ)t

20、區(qū)域ri與其鄰近區(qū)域的增強sigma特征的空間距離加權(quán)平均定義為區(qū)域ri的局部異物顯著性,具體公式為:

21、

22、其中rj屬于區(qū)域ri的鄰域，m代表鄰域區(qū)域的個數(shù)，k代表歸一化因子來保證空間距離加權(quán)系數(shù)的和為1，||ri-rj||代表兩個區(qū)域中心之間的歐氏距離，σ1代表區(qū)域間的距離對局部顯著性的影響。ψri表示區(qū)域ri的增強sigma特征，是ψri和ψrj的歐式距離；

23、步驟213，利用如下公式改進區(qū)域ri的局部異物顯著性sl(ri):

24、

25、其中，n(rj)表示區(qū)域rj內(nèi)的像素個數(shù)，n(i)表示圖像的像素個數(shù)，rj屬于當前區(qū)域的鄰域和圖像的邊界區(qū)域；

26、步驟214，逐個對每個區(qū)域進行全局核密度估計，構(gòu)造全局熱力圖，利用整個圖像區(qū)域特征的核密度估計來計算全局異物顯著性sg(ri)，具體公式如下

27、

28、其中κ(x)是高斯核密度函數(shù)，iri表示區(qū)域的平均灰度，m是圖像區(qū)域的個數(shù)；

29、步驟215，采用指數(shù)加權(quán)方式對局部和全局熱力圖進行融合，獲取融合熱力圖；

30、局部和全局異物顯著圖的結(jié)合得到融合熱力圖fpre，公式為：

31、fpre＝sg(ri)×exp(σ3×sl(ri))

32、其中，σ3局部顯著圖的重要性控制參數(shù)，融合熱力圖算法的參數(shù)主要有七個：總超像素數(shù)ns、密度cp、σ1、σ2、σ3、c和ra(ratio)；其中，ns和cp是slic方法的參數(shù)，ns是超像素個數(shù)，該值越小，超像素塊越大；cp表示超像素的形狀，該值越小，超像素塊和區(qū)域塊邊界的吻合度越高；ns和cp需要根據(jù)不同圖像進行調(diào)整；其中，σ1＝3，σ2＝10，σ3＝6，c＝2000，ra>0.5。

33、較佳地，步驟3對潛在異物區(qū)域熱力圖進行區(qū)域動態(tài)放大，獲取放大區(qū)域包圍盒的具體方法包括：

34、網(wǎng)格劃分后的熱力圖中矩形區(qū)域內(nèi)rtgi的總像素值sumpxi，

35、

36、其中，pxj代表rtgi區(qū)域內(nèi)第j個像素點的像素值，sumpxi值與矩形區(qū)域rtgi的放大收益成正比；

37、通過二階差分法自適應(yīng)選取像素值閾值，完成區(qū)域中心塊的初篩選；將熱力圖經(jīng)過8×8劃分得到64個候選區(qū)域，每一個候選區(qū)域都可以得到一個總體像素值sumpxi表示放大收益，得到64×1的數(shù)組，若元素小于0.1，則判定為沒有目標進行舍去，從而得到n×1維的數(shù)組c，設(shè)定函數(shù)f(g)用來估計sumpxi由大減小變化的趨勢，如式所示

38、

39、則將f(ck)取最大值時的ck作為此熱力圖的sumpxi閾值；

40、以每個區(qū)域中心塊為中心的3×3個矩形構(gòu)成放大篩選區(qū)域，同一個放大篩選區(qū)域類如果有多個滿足像素值閾值條件的矩形區(qū)域，取像素值最大的那個作為區(qū)域中心；

41、以放大篩選區(qū)域中心點為中心位置，按照不同的長寬比預(yù)測6個固定大小的預(yù)測包圍盒，放大篩選區(qū)域的面積為sz每個預(yù)測包圍盒的面積，公式如下：

42、

43、其中，smin＝0.1×sz，smax＝0.7×sz，m＝5，對于不同的預(yù)測包圍盒賦予不同的長寬比

44、

45、其中，w、h分別表示包圍盒的寬和長，則包圍盒對應(yīng)的寬和長分別為當ar＝1時還有一個預(yù)測包圍盒，規(guī)模為則共有6個預(yù)測包圍盒；

46、對于任一個包圍盒bl，計算盒內(nèi)的像素總值sumpxi

47、

48、區(qū)域面積s

49、s(bl)＝w×l

50、區(qū)域內(nèi)高放大收益像素占比p

51、

52、pn1表示bl區(qū)域內(nèi)具有放大收益的像素點的總數(shù)，pn1表示bl區(qū)域像素點總數(shù)，每一個預(yù)測包圍盒bl的特征向量為(x，y，sumpx，w，l，p)，x、y分別表示bl的中心點橫縱坐標；

53、對于輸入的預(yù)測包圍盒，bl(x，y，sumpx，w，l，p)，logistic分類器，引入權(quán)值參數(shù)θ＝(θ1，θ2，k，θ6)，對bl中的屬性進行加權(quán)，得到θtbl，引入logistic函數(shù)(sigmoid函數(shù))得到函數(shù)hθ(bl)

54、

55、即可得到概率估計函數(shù)p(y|bl；θ)

56、

57、它的含義就是在給定測試樣本bl與參數(shù)θ時，標簽為y的概率；

58、由測試樣本集合與訓練樣本集合，獲取聯(lián)合概率密度似然函數(shù)：

59、

60、最大化似然函數(shù)，求出合適的參數(shù)θ，公式變形為

61、

62、由梯度下降法求取參數(shù)θ；對參數(shù)θ求導

63、

64、更新法則公式如下：

65、θj：＝θj+α((y(i)-hθ(bl(i)))blj(i))

66、通過logistic分類器對各個預(yù)測包圍盒的框選效果進行評價后，對于每一個預(yù)測包圍盒對應(yīng)一個對應(yīng)的框選評價分數(shù)，然后，進行一個非極大值抑制，得到最終的預(yù)測作為最終的放大包圍盒；logistic分類器為利用人工標定的訓練樣本訓練所得的分類器對各個預(yù)測包圍盒的框選效果進行評價；

67、在完成放大包圍盒的選取后，將放大篩選區(qū)域內(nèi)的像素值全部設(shè)為0，同時對熱力圖進行對應(yīng)區(qū)域的更新，并檢測熱力圖上是否已經(jīng)對所有高放大收益區(qū)域進行檢測，若是，則完成檢測，若否，則繼續(xù)迭代進行檢測過程；

68、把所得放大檢測候選區(qū)域的原圖先進行雙線性插值放大，放大到檢測器檢測候選區(qū)域的最小尺寸，然后再輸入后續(xù)異物檢測器進行精細檢測。

69、較佳地，判斷熱力圖上是否已經(jīng)對所有高放大收益區(qū)域進行檢測的方法為：熱力圖像素總值是否為0，若是，則表示已經(jīng)對所有高放大收益區(qū)域進行檢測，若否，則表示未對所有高放大收益區(qū)域進行檢測。

70、較佳地，放大到檢測器檢測候選區(qū)域的最小尺寸為10×10。

71、較佳地，步驟4對放大區(qū)域包圍盒通過深度注意力卷積神經(jīng)網(wǎng)絡(luò)進行特征建模和編碼，判斷該是否存在異物的方法包括：

72、將篩選出來的異物潛在區(qū)域圖像通過深度注意力卷積神經(jīng)網(wǎng)絡(luò)進行特征建模和編碼，包括3個注意力層、13個卷積層和3個全連接層，通過3個注意力層、13個卷積層和3個全連接層構(gòu)成的深度注意力卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)特征的建模和編碼，將獲得的經(jīng)過深度注意力卷積神經(jīng)網(wǎng)絡(luò)編碼得到的深度特征輸入到softmax函數(shù)中，判斷該區(qū)域內(nèi)是否存在異物，公式如下，soft?max(x)i為1表示有異物，為0表示無異物：

73、

74、本發(fā)明的有益效果在于：本發(fā)明算法異物檢測定位精度高；非接觸式測量方法不影響設(shè)備正常運行狀態(tài)；實時性強，靈敏度高，能夠快速檢測到導軌表面的微小異物；方法的魯棒性和適應(yīng)能力強，能夠滿足工廠、鐵路等場景導軌異物侵入檢測的任務(wù)需求，應(yīng)用前景好；相比于其他類型傳感器，視覺傳感器成本更低，效價比更高。