本發(fā)明涉及焊接，具體而言，涉及一種焊接缺陷的檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、焊接缺陷是指焊接接頭部位在焊接過(guò)程中形成的缺陷。目前利用x光探傷與像素統(tǒng)計(jì)的方法研究實(shí)際生產(chǎn)中各個(gè)工藝參數(shù)對(duì)增材焊縫氣率的影響規(guī)律，并選擇氣孔率較高的工藝參數(shù)下產(chǎn)生的熔池氣孔缺陷作為實(shí)驗(yàn)數(shù)據(jù)。

2、現(xiàn)有方法是利用單幀熔池圖像檢測(cè)焊接缺陷的，但在真實(shí)焊接場(chǎng)景下，熔池區(qū)域是熔融的狀態(tài)，焊接和焊接缺陷的發(fā)生是一個(gè)動(dòng)態(tài)的過(guò)程，很多焊接缺陷需要通過(guò)熔池的變化過(guò)程來(lái)進(jìn)行判斷，所以使用單幀圖像來(lái)檢測(cè)焊接缺陷是不準(zhǔn)確的。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本技術(shù)的目的在于提供一種焊接缺陷的檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，能夠通過(guò)熔池視頻中多幀熔池圖像檢測(cè)焊接缺陷，提高了檢測(cè)焊接缺陷的準(zhǔn)確率。

2、第一方面，本技術(shù)實(shí)施例提供了一種焊接缺陷的檢測(cè)方法，該焊接缺陷的檢測(cè)方法包括：

3、獲取待檢測(cè)熔池視頻中多幀待檢測(cè)熔池圖像；

4、分別將各待檢測(cè)熔池圖像輸入到焊接缺陷檢測(cè)模型的特征提取模塊中，得到各待檢測(cè)熔池圖像對(duì)應(yīng)的熔池圖像特征；

5、將所有待檢測(cè)熔池圖像對(duì)應(yīng)的熔池圖像特征輸入到焊接缺陷檢測(cè)模型的焊接缺陷檢測(cè)模塊中，得到待檢測(cè)熔池視頻對(duì)應(yīng)的焊接缺陷。

6、在一種可能的實(shí)施方式中，分別將各待檢測(cè)熔池圖像輸入到焊接缺陷檢測(cè)模型的特征提取模塊中，得到各待檢測(cè)熔池圖像對(duì)應(yīng)的熔池圖像特征，包括：

7、分別將待檢測(cè)熔池圖像輸入到特征提取模塊中輕量級(jí)網(wǎng)絡(luò)單元中，得到待檢測(cè)熔池圖像對(duì)應(yīng)的多個(gè)初始圖像特征；

8、對(duì)待檢測(cè)熔池圖像對(duì)應(yīng)的所有初始圖像特征，按照?qǐng)D像尺寸從小到大的順序進(jìn)行特征拼接，得到待檢測(cè)熔池圖像對(duì)應(yīng)的第一中間圖像特征；

9、對(duì)待檢測(cè)熔池圖像對(duì)應(yīng)的所有初始圖像特征，按照?qǐng)D像尺寸從小到大的順序進(jìn)行逐元素相加，得到待檢測(cè)熔池圖像對(duì)應(yīng)的第二中間圖像特征；

10、對(duì)待檢測(cè)熔池圖像對(duì)應(yīng)的第一中間圖像特征、第二中間圖像特征進(jìn)行融合，得到待檢測(cè)熔池圖像對(duì)應(yīng)的熔池圖像特征。

11、在一種可能的實(shí)施方式中，初始圖像特征中包括第一初始圖像特征、第二初始圖像特征、第三初始圖像特征、第四初始圖像特征；

12、第一初始圖像特征的圖像尺寸、第二初始圖像特征的圖像尺寸、第三初始圖像特征的圖像尺寸、第四初始圖像特征的圖像尺寸逐漸增大。

13、在一種可能的實(shí)施方式中，對(duì)待檢測(cè)熔池圖像對(duì)應(yīng)的所有初始圖像特征，按照?qǐng)D像尺寸從小到大的順序進(jìn)行特征拼接，得到待檢測(cè)熔池圖像對(duì)應(yīng)的第一中間圖像特征，包括：

14、將待檢測(cè)熔池圖像對(duì)應(yīng)的第一初始圖像特征確定為當(dāng)前的卷積圖像特征；

15、按照?qǐng)D像尺寸從小到大的順序依次遍歷待檢測(cè)熔池圖像對(duì)應(yīng)的各初始圖像特征；

16、將當(dāng)前的卷積圖像特征進(jìn)行上采樣后得到的圖像特征、下一個(gè)遍歷的初始圖像特征進(jìn)行特征拼接，得到拼接圖像特征；

17、將拼接圖像特征進(jìn)行深度可分離卷積，得到最新的卷積圖像特征；其中，最新的卷積圖像特征的特征尺度與下一個(gè)遍歷的初始圖像特征的特征尺度相同；

18、若當(dāng)前遍歷的初始圖像特征為第三初始圖像特征，則將最新的卷積圖像特征確定為第一中間圖像特征；否則繼續(xù)進(jìn)行遍歷。

19、在一種可能的實(shí)施方式中，對(duì)待檢測(cè)熔池圖像對(duì)應(yīng)的第一中間圖像特征、第二中間圖像特征進(jìn)行融合，得到待檢測(cè)熔池圖像對(duì)應(yīng)的熔池圖像特征，包括：

20、將待檢測(cè)熔池圖像對(duì)應(yīng)的第一中間圖像特征和第二中間圖像特征進(jìn)行逐元素相加，得到第一熔池圖像特征；

21、將待檢測(cè)熔池圖像對(duì)應(yīng)的第一中間圖像特征和第二中間圖像特征進(jìn)行逐元素相乘，得到第二熔池圖像特征；

22、將待檢測(cè)熔池圖像對(duì)應(yīng)的第一熔池圖像特征和第二熔池圖像特征進(jìn)行特征拼接，得到待檢測(cè)熔池圖像對(duì)應(yīng)的最終的熔池圖像特征。

23、在一種可能的實(shí)施方式中，通過(guò)下述步驟對(duì)焊接缺陷檢測(cè)模型進(jìn)行訓(xùn)練：

24、獲取熔池樣本視頻中多幀熔池樣本圖像，以及熔池樣本視頻對(duì)應(yīng)的實(shí)際焊接缺陷；

25、分別將各熔池樣本圖像輸入到焊接缺陷檢測(cè)模型中的特征提取模塊中，得到各待檢測(cè)熔池圖像對(duì)應(yīng)的第五初始樣本圖像特征、第一中間樣本圖像特征、熔池樣本圖像特征；

26、根據(jù)第五初始樣本圖像特征和第一中間樣本圖像特征，得到目標(biāo)訓(xùn)練特征；

27、將所有熔池樣本圖像對(duì)應(yīng)的熔池樣本圖像特征輸入到焊接缺陷檢測(cè)模型的焊接缺陷檢測(cè)模塊中，得到熔池樣本視頻對(duì)應(yīng)的檢測(cè)焊接缺陷；

28、根據(jù)所有熔池樣本圖像對(duì)應(yīng)的目標(biāo)訓(xùn)練特征、熔池樣本視頻對(duì)應(yīng)的實(shí)際焊接缺陷和檢測(cè)焊接缺陷對(duì)焊接缺陷檢測(cè)模型進(jìn)行訓(xùn)練。

29、第二方面，本技術(shù)實(shí)施例還提供了一種焊接缺陷的檢測(cè)裝置，該焊接缺陷的檢測(cè)裝置包括：

30、獲取模塊，用于獲取待檢測(cè)熔池視頻中多幀待檢測(cè)熔池圖像；

31、輸入模塊，用于分別將各待檢測(cè)熔池圖像輸入到焊接缺陷檢測(cè)模型的特征提取模塊中，得到各待檢測(cè)熔池圖像對(duì)應(yīng)的熔池圖像特征；

32、輸入模塊，還用于將所有待檢測(cè)熔池圖像對(duì)應(yīng)的熔池圖像特征輸入到焊接缺陷檢測(cè)模型的焊接缺陷檢測(cè)模塊中，得到待檢測(cè)熔池視頻對(duì)應(yīng)的焊接缺陷。

33、在一種可能的實(shí)施方式中，輸入模塊，具體用于分別將待檢測(cè)熔池圖像輸入到特征提取模塊中輕量級(jí)網(wǎng)絡(luò)單元中，得到待檢測(cè)熔池圖像對(duì)應(yīng)的多個(gè)初始圖像特征；對(duì)待檢測(cè)熔池圖像對(duì)應(yīng)的所有初始圖像特征，按照?qǐng)D像尺寸從小到大的順序進(jìn)行特征拼接，得到待檢測(cè)熔池圖像對(duì)應(yīng)的第一中間圖像特征；對(duì)待檢測(cè)熔池圖像對(duì)應(yīng)的所有初始圖像特征，按照?qǐng)D像尺寸從小到大的順序進(jìn)行逐元素相加，得到待檢測(cè)熔池圖像對(duì)應(yīng)的第二中間圖像特征；對(duì)待檢測(cè)熔池圖像對(duì)應(yīng)的第一中間圖像特征、第二中間圖像特征進(jìn)行融合，得到待檢測(cè)熔池圖像對(duì)應(yīng)的熔池圖像特征。

34、在一種可能的實(shí)施方式中，初始圖像特征中包括第一初始圖像特征、第二初始圖像特征、第三初始圖像特征、第四初始圖像特征；第一初始圖像特征的圖像尺寸、第二初始圖像特征的圖像尺寸、第三初始圖像特征的圖像尺寸、第四初始圖像特征的圖像尺寸逐漸增大。

35、在一種可能的實(shí)施方式中，輸入模塊，還用于：

36、將待檢測(cè)熔池圖像對(duì)應(yīng)的第一初始圖像特征確定為當(dāng)前的卷積圖像特征；

37、按照?qǐng)D像尺寸從小到大的順序依次遍歷待檢測(cè)熔池圖像對(duì)應(yīng)的各初始圖像特征；

38、將當(dāng)前的卷積圖像特征進(jìn)行上采樣后得到的圖像特征、下一個(gè)遍歷的初始圖像特征進(jìn)行特征拼接，得到拼接圖像特征；

39、將拼接圖像特征進(jìn)行深度可分離卷積，得到最新的卷積圖像特征；其中，最新的卷積圖像特征的特征尺度與下一個(gè)遍歷的初始圖像特征的特征尺度相同；

40、若當(dāng)前遍歷的初始圖像特征為第三初始圖像特征，則將最新的卷積圖像特征確定為第一中間圖像特征；否則繼續(xù)進(jìn)行遍歷。

41、在一種可能的實(shí)施方式中，輸入模塊，還用于：

42、將待檢測(cè)熔池圖像對(duì)應(yīng)的第一中間圖像特征和第二中間圖像特征進(jìn)行逐元素相加，得到第一熔池圖像特征；

43、將待檢測(cè)熔池圖像對(duì)應(yīng)的第一中間圖像特征和第二中間圖像特征進(jìn)行逐元素相乘，得到第二熔池圖像特征；

44、將待檢測(cè)熔池圖像對(duì)應(yīng)的第一熔池圖像特征和第二熔池圖像特征進(jìn)行特征拼接，得到待檢測(cè)熔池圖像對(duì)應(yīng)的最終的熔池圖像特征。

45、在一種可能的實(shí)施方式中，該裝置還包括訓(xùn)練模塊；訓(xùn)練模塊，具體用于獲取熔池樣本視頻中多幀熔池樣本圖像，以及熔池樣本視頻對(duì)應(yīng)的實(shí)際焊接缺陷；分別將各熔池樣本圖像輸入到焊接缺陷檢測(cè)模型中的特征提取模塊中，得到各待檢測(cè)熔池圖像對(duì)應(yīng)的第五初始樣本圖像特征、第一中間樣本圖像特征、熔池樣本圖像特征；根據(jù)第五初始樣本圖像特征和第一中間樣本圖像特征，得到目標(biāo)訓(xùn)練特征；將所有熔池樣本圖像對(duì)應(yīng)的熔池樣本圖像特征輸入到焊接缺陷檢測(cè)模型的焊接缺陷檢測(cè)模塊中，得到熔池樣本視頻對(duì)應(yīng)的檢測(cè)焊接缺陷；根據(jù)所有熔池樣本圖像對(duì)應(yīng)的目標(biāo)訓(xùn)練特征、熔池樣本視頻對(duì)應(yīng)的實(shí)際焊接缺陷和檢測(cè)焊接缺陷對(duì)焊接缺陷檢測(cè)模型進(jìn)行訓(xùn)練。

46、第三方面，本技術(shù)實(shí)施例還提供了一種電子設(shè)備，包括：處理器、存儲(chǔ)介質(zhì)和總線，存儲(chǔ)介質(zhì)存儲(chǔ)有處理器可執(zhí)行的機(jī)器可讀指令，當(dāng)電子設(shè)備運(yùn)行時(shí)，處理器與存儲(chǔ)介質(zhì)之間通過(guò)總線通信，處理器執(zhí)行機(jī)器可讀指令，以執(zhí)行如第一方面任一項(xiàng)焊接缺陷的檢測(cè)方法的步驟。

47、第四方面，本技術(shù)實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行如第一方面任一項(xiàng)焊接缺陷的檢測(cè)方法的步驟。

48、本技術(shù)實(shí)施例提供了一種焊接缺陷的檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，該方法包括：獲取待檢測(cè)熔池視頻中多幀待檢測(cè)熔池圖像；分別將各待檢測(cè)熔池圖像輸入到焊接缺陷檢測(cè)模型的特征提取模塊中，得到各待檢測(cè)熔池圖像對(duì)應(yīng)的熔池圖像特征；將所有待檢測(cè)熔池圖像對(duì)應(yīng)的熔池圖像特征輸入到焊接缺陷檢測(cè)模型的焊接缺陷檢測(cè)模塊中，得到待檢測(cè)熔池視頻對(duì)應(yīng)的焊接缺陷。本技術(shù)能夠通過(guò)熔池視頻中多幀熔池圖像檢測(cè)焊接缺陷，提高了檢測(cè)焊接缺陷的準(zhǔn)確率。