本發(fā)明涉及大口徑座環(huán)環(huán)口墊塊加工，特別涉及一種面向大口徑座環(huán)環(huán)口墊塊端面作業(yè)的墊塊打磨視覺定位方法。

背景技術(shù)：

1、在工業(yè)制造過程中，目標(biāo)的精確打磨是確保產(chǎn)品質(zhì)量的重要環(huán)節(jié)。然而，由于機(jī)器人在進(jìn)行目標(biāo)打磨之前，無法每次都使得銑刀運(yùn)行到固定位置開始打磨，因此需要對(duì)目標(biāo)的位置進(jìn)行準(zhǔn)確定位，以確定銑刀的打磨起始位置。然而，墊塊的定位操作在實(shí)際應(yīng)用中面臨諸多挑戰(zhàn)。

2、參見圖1、2，傳統(tǒng)的圖像處理方法在墊塊定位中具有一定的局限性。由于光照、環(huán)境等因素的影響，墊塊在圖像中可能會(huì)出現(xiàn)陰影、不同程度的銹蝕以及表面缺損等問題，這些問題使得傳統(tǒng)方法難以對(duì)墊塊的位置進(jìn)行精確定位。為了解決這一問題，首先嘗試了傳統(tǒng)的檢測(cè)算法結(jié)合opencv對(duì)墊塊進(jìn)行檢測(cè)。在傳統(tǒng)算法中，將圖像轉(zhuǎn)為灰度圖，進(jìn)行高斯模糊，然后使用canny算子對(duì)圖像進(jìn)行邊沿的輪廓檢測(cè)，最后對(duì)輪廓進(jìn)行篩選擬合，得到目標(biāo)的輪廓信息。還結(jié)合圖像的開閉運(yùn)算以便獲取更加準(zhǔn)確的目標(biāo)位置，刪除不應(yīng)該出現(xiàn)的區(qū)域。此外，還使用霍夫變換對(duì)墊塊進(jìn)行圓形檢測(cè)，利用墊塊的形狀先驗(yàn)試圖精確定位目標(biāo)。

3、然而，由于環(huán)境和被檢對(duì)象表面的復(fù)雜性，傳統(tǒng)算法難以精確給出目標(biāo)所在的位置。并且，當(dāng)對(duì)一個(gè)樣本調(diào)試好參數(shù)后，對(duì)其他樣本又需要重新調(diào)試參數(shù)才能正常檢測(cè)墊塊位置。因此，傳統(tǒng)方法在實(shí)際應(yīng)用中存在較大的局限性，無法滿足工業(yè)生產(chǎn)的需求。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種面向大口徑座環(huán)環(huán)口墊塊端面作業(yè)的墊塊打磨視覺定位方法，此系統(tǒng)采用深度學(xué)習(xí)方法克服了使用傳統(tǒng)算法無法穩(wěn)定識(shí)別打磨目標(biāo)的缺陷，結(jié)合經(jīng)典的深度學(xué)習(xí)檢測(cè)識(shí)別結(jié)構(gòu)，設(shè)計(jì)針對(duì)墊塊打磨的深度學(xué)習(xí)算法yolo-dnet，對(duì)實(shí)現(xiàn)目標(biāo)的精確識(shí)別定位。

2、為了實(shí)現(xiàn)上述的技術(shù)特征，本發(fā)明的目的是這樣實(shí)現(xiàn)的：一種面向大口徑座環(huán)環(huán)口墊塊端面作業(yè)的墊塊打磨視覺定位方法，包括以下步驟：

3、系統(tǒng)初始化設(shè)置：

4、系統(tǒng)開啟時(shí)，對(duì)模型和相機(jī)進(jìn)行初始化設(shè)置；

5、系統(tǒng)觸發(fā)事件：

6、當(dāng)機(jī)器人打磨平臺(tái)運(yùn)行到固定位置后，系統(tǒng)發(fā)出開始相機(jī)捕獲圖像和識(shí)別事件，兩個(gè)事件分別由線程1和線程2執(zhí)行；

7、系統(tǒng)線程1的執(zhí)行：

8、在線程1中，當(dāng)收到事件信息時(shí)，相機(jī)開始捕獲圖像，并將捕獲的圖像放入共享內(nèi)存隊(duì)列中；

9、系統(tǒng)線程2的執(zhí)行：

10、當(dāng)線程2收到識(shí)別事件信息后，則從共享內(nèi)存隊(duì)列中取回圖像，并開始進(jìn)行推理；同時(shí)，線程2將推理結(jié)果中滿足識(shí)別條件的目標(biāo)框左上角和右下角位置轉(zhuǎn)換為相對(duì)于圖像中心位置的偏移像素距離，將該距離上報(bào)給系統(tǒng)；

11、系統(tǒng)打磨位置的確定：

12、根據(jù)偏移像素距離，由上層系統(tǒng)結(jié)合相機(jī)和銑刀的相對(duì)位置關(guān)系計(jì)算實(shí)際偏移位置，從而將銑刀移動(dòng)到對(duì)應(yīng)的起始打磨位置，實(shí)現(xiàn)自動(dòng)打磨。

13、所述模型采用深度學(xué)習(xí)算法yolo-dnet，并采用cc模塊對(duì)復(fù)雜背景下的目標(biāo)進(jìn)行準(zhǔn)確識(shí)別；

14、所述cc模塊通過卷積分流和csab模塊組合，進(jìn)而豐富了梯度信息流，并且對(duì)多流匯聚的特征進(jìn)行了通道和空間的特征選擇，從而使得檢測(cè)更加準(zhǔn)確。

15、在cc模塊中包括conv模塊和csab模塊，其中conv模塊為卷積+batchnormalization+relu，csab模塊為channel-spatial?attention?block。

16、深度學(xué)習(xí)算法yolo-dnet的具體過程為：

17、首先，圖像輸入網(wǎng)絡(luò)，對(duì)其首先進(jìn)行卷積+normalization+silu激活；

18、然后，將得到的特征送入后續(xù)的cc?block模塊進(jìn)行特征提取，并在第3個(gè)cc?block模塊和最后的sppf模塊對(duì)骨干網(wǎng)絡(luò)的特征進(jìn)行輸出；

19、同時(shí)，采用深度學(xué)習(xí)通用目標(biāo)檢測(cè)中的pan-fpn結(jié)構(gòu)。

20、同時(shí)，使用兩個(gè)預(yù)測(cè)頭在較高的兩個(gè)尺度對(duì)目標(biāo)類別、置信度得分、位置進(jìn)行預(yù)測(cè)；最后，兩個(gè)預(yù)測(cè)頭head都采用解耦方式進(jìn)行預(yù)測(cè)，將分類和檢測(cè)進(jìn)行分離，同時(shí)不依賴于anchor；損失計(jì)算時(shí)根據(jù)分類與回歸的度量分?jǐn)?shù)選擇正負(fù)樣本，采用二值交叉熵?fù)p失計(jì)算分類誤差，采用dfl+ciou損失計(jì)算回歸誤差。

21、訓(xùn)練得到最終模型后，將其部署在工控機(jī)上，此處采用量化+onnx+opencv的方案來進(jìn)行部署。

22、在進(jìn)行模型部署之前，首先將模型進(jìn)行轉(zhuǎn)換和量化，為避免不必要的校正環(huán)節(jié)，采用fp16量化模型，同時(shí)使用工具將模型轉(zhuǎn)換為onnx模型；

23、然后，使用opencv將onnx模型和相關(guān)配置載入，構(gòu)建網(wǎng)絡(luò)，從而得到dnn推理實(shí)體；

24、當(dāng)圖像到達(dá)后，對(duì)輸入圖像進(jìn)行與模型訓(xùn)練時(shí)一致的預(yù)處理和dnn模型推理，將推理結(jié)果進(jìn)行nms和后處理并輸出；

25、最后，將識(shí)別并篩選過的目標(biāo)框進(jìn)行轉(zhuǎn)換，并上報(bào)給系統(tǒng)。

26、本發(fā)明有益效果：

27、1.本發(fā)明所設(shè)計(jì)的深度學(xué)習(xí)方案克服了使用傳統(tǒng)算法無法穩(wěn)定識(shí)別打磨目標(biāo)的缺陷，結(jié)合經(jīng)典的深度學(xué)習(xí)檢測(cè)識(shí)別結(jié)構(gòu)，設(shè)計(jì)針對(duì)墊塊打磨的深度學(xué)習(xí)算法yolo-dnet，對(duì)實(shí)現(xiàn)目標(biāo)的精確識(shí)別定位。

28、2.?本發(fā)明所使用的深度學(xué)習(xí)方案設(shè)計(jì)了一種基礎(chǔ)特征提取模塊cc用于特征提取，通過使用梯度分流機(jī)制結(jié)合csab通道與空間注意力模塊，增強(qiáng)圖像中目標(biāo)的特征，克服環(huán)境和被檢對(duì)象表面的復(fù)雜性導(dǎo)致難以識(shí)別的問題。

29、3.?本發(fā)明設(shè)計(jì)了結(jié)合opencv+量化的yolo-dnet算法部署方案，使用多線程并行技術(shù)設(shè)計(jì)視覺定位系統(tǒng)，優(yōu)化目標(biāo)定位識(shí)別系統(tǒng)執(zhí)行效率。

技術(shù)特征：

1.一種面向大口徑座環(huán)環(huán)口墊塊端面作業(yè)的墊塊打磨視覺定位方法，包括以下步驟：

2.根據(jù)權(quán)利要求1所述一種面向大口徑座環(huán)環(huán)口墊塊端面作業(yè)的墊塊打磨視覺定位方法，其特征在于，所述模型采用深度學(xué)習(xí)算法yolo-dnet，并采用cc模塊對(duì)復(fù)雜背景下的目標(biāo)進(jìn)行準(zhǔn)確識(shí)別；

3.根據(jù)權(quán)利要求2所述一種面向大口徑座環(huán)環(huán)口墊塊端面作業(yè)的墊塊打磨視覺定位方法，其特征在于，在cc模塊中包括conv模塊和csab模塊，其中conv模塊為卷積+batchnormalization+relu，csab模塊為channel-spatial?attention?block。

4.根據(jù)權(quán)利要求3所述一種面向大口徑座環(huán)環(huán)口墊塊端面作業(yè)的墊塊打磨視覺定位方法，其特征在于，深度學(xué)習(xí)算法yolo-dnet的具體過程為：

5.根據(jù)權(quán)利要求4所述一種面向大口徑座環(huán)環(huán)口墊塊端面作業(yè)的墊塊打磨視覺定位方法，其特征在于，同時(shí)，使用兩個(gè)預(yù)測(cè)頭在較高的兩個(gè)尺度對(duì)目標(biāo)類別、置信度得分、位置進(jìn)行預(yù)測(cè)；最后，兩個(gè)預(yù)測(cè)頭head都采用解耦方式進(jìn)行預(yù)測(cè)，將分類和檢測(cè)進(jìn)行分離，同時(shí)不依賴于anchor；損失計(jì)算時(shí)根據(jù)分類與回歸的度量分?jǐn)?shù)選擇正負(fù)樣本，采用二值交叉熵?fù)p失計(jì)算分類誤差，采用dfl+ciou損失計(jì)算回歸誤差。

6.根據(jù)權(quán)利要求5所述一種面向大口徑座環(huán)環(huán)口墊塊端面作業(yè)的墊塊打磨視覺定位方法，其特征在于，訓(xùn)練得到最終模型后，將其部署在工控機(jī)上，此處采用量化+onnx+opencv的方案來進(jìn)行部署。

7.根據(jù)權(quán)利要求6所述一種面向大口徑座環(huán)環(huán)口墊塊端面作業(yè)的墊塊打磨視覺定位方法，其特征在于，在進(jìn)行模型部署之前，首先將模型進(jìn)行轉(zhuǎn)換和量化，為避免不必要的校正環(huán)節(jié)，采用fp16量化模型，同時(shí)使用工具將模型轉(zhuǎn)換為onnx模型；

技術(shù)總結(jié)
本發(fā)明提供了一種面向大口徑座環(huán)環(huán)口墊塊端面作業(yè)的墊塊打磨視覺定位方法，系統(tǒng)開啟時(shí)，對(duì)模型和相機(jī)進(jìn)行初始化設(shè)置；當(dāng)機(jī)器人打磨平臺(tái)運(yùn)行到固定位置后，系統(tǒng)發(fā)出開始相機(jī)捕獲圖像和識(shí)別事件，兩個(gè)事件分別由線程1和線程2執(zhí)行；在線程1中，當(dāng)收到事件信息時(shí)，相機(jī)開始捕獲圖像，并將捕獲的圖像放入共享內(nèi)存隊(duì)列中；當(dāng)線程2收到識(shí)別事件信息后，則從共享內(nèi)存隊(duì)列中取回圖像，并開始進(jìn)行推理；同時(shí)，線程2將推理結(jié)果中滿足識(shí)別條件的目標(biāo)框左上角和右下角位置轉(zhuǎn)換為相對(duì)于圖像中心位置的偏移像素距離，將該距離上報(bào)給系統(tǒng)；根據(jù)偏移像素距離，由上層系統(tǒng)結(jié)合相機(jī)和銑刀的相對(duì)位置關(guān)系計(jì)算實(shí)際偏移位置，從而將銑刀移動(dòng)到對(duì)應(yīng)的起始打磨位置，實(shí)現(xiàn)自動(dòng)打磨。

技術(shù)研發(fā)人員：成傳詩,耿在明,萬剛,吳濤,黃奎,白云駒,陳雷雷,向蕾蕾,李紹明,徐家亮,趙洪深,司娜娜
受保護(hù)的技術(shù)使用者：中國長江電力股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10