本公開涉及車輛檢測,尤其涉及一種焊接區(qū)域檢測方法、裝置、設備及存儲介質(zhì)。
背景技術:
1、在車輛生產(chǎn)過程中,需要對各個流程中涉及到的物料或者數(shù)據(jù)進行管理,例如:車輛在焊裝車間完成所有螺柱焊接點的焊接程序之后,需要對所有螺柱焊接點進行檢測。例如:焊接螺柱是否存在遺漏、焊接螺柱是否存在掉落等異常情況。
2、相關技術中,焊接點質(zhì)量的檢測方式都是人工檢測,浪費大量的人力和物力,并且,在實際場景下,由于可能存在弱光、遮擋等問題,容易使檢測人員出現(xiàn)焊接區(qū)域漏檢或者誤檢等情況。
3、因此如何提高車輛檢測效率,避免漏檢,混淆檢測標準的情況出現(xiàn),就成為亟待解決的問題。
技術實現(xiàn)思路
1、本公開提供了一種焊接區(qū)域檢測方法、裝置、設備及存儲介質(zhì),通過按照焊接點的實際位置信息進行裁剪處理之后,對得到焊接點圖像進行類別檢測,可以在實現(xiàn)自動化檢測焊接點質(zhì)量的基礎上,減少計算量,提高計算速度。
2、第一方面,本公開實施例提供一種焊接區(qū)域檢測方法,所述方法包括:
3、獲取待檢測區(qū)域?qū)臋z測圖像以及所述待檢測區(qū)域?qū)哪0鍒D像;
4、獲取所述模板圖像中包括的焊接點的實際位置信息;
5、基于所述實際位置信息在所述檢測圖像的對應位置進行裁剪,得到至少一個焊接點圖像;
6、針對每個所述焊接點圖像,對所述焊接點圖像進行檢測,得到所述待檢測區(qū)域?qū)臋z測結果。
7、在本公開的一個實施方式中,所述針對每個所述焊接點圖像,對所述焊接點圖像進行檢測,得到所述待檢測區(qū)域?qū)臋z測結果,包括:
8、針對每個所述焊接點圖像,利用預訓練的焊接點分類模型對所述焊接點圖像進行檢測,得到所述焊接點圖像所屬類別;
9、如果焊接點圖像所屬類別為第一類別,則確定所述焊接點圖像中的焊接點正常;
10、如果焊接點圖像所屬類別為第二類別,則確定所述焊接點圖像中的焊接點異常;
11、將至少一個或多個所述焊接點圖像對應的焊接點情況進行匯總,得到所述待檢測區(qū)域?qū)臋z測結果。
12、在本公開的一個實施方式中,基于所述實際位置信息在所述檢測圖像的對應位置進行裁剪,得到至少一個焊接點圖像,包括:
13、基于計算機視覺模型計算所述模板圖像和所述檢測圖像之間的映射關系;
14、將所述實際位置信息按照所述映射關系映射至所述檢測圖像上,得到所述檢測圖像中的檢測位置信息;
15、按照所述檢測位置信息在所述檢測圖像中進行裁剪,得到至少一個焊接點圖。
16、在本公開的一個實施方式中,按照所述檢測位置信息在所述檢測圖像中進行裁剪,得到至少一個焊接點圖,包括:
17、按照所述檢測位置信息在所述檢測圖像中進行裁剪,得到裁剪區(qū)域圖像;
18、將所述裁剪區(qū)域圖像縮放至設定分辨率,得到焊接點圖像。
19、在本公開的一個實施方式中,基于計算機視覺模型計算所述模板圖像和所述檢測圖像之間的映射關系,包括:
20、利用預設特征點提取策略提取所述模板圖像中的特征點,得到多個第一目標特征點;
21、利用預設特征點提取策略提取所述檢測圖像中的特征點,得到多個第二目標特征點;
22、基于計算機視覺模型確定關系矩陣,其中,所述關系矩陣用于表示相機每次以不同的角度拍攝相同物體得到的圖像上每組特征點之間的對應關系;
23、利用所述第一目標特征點和第二目標特征點聯(lián)立所述關系矩陣進行求解,得到所述模板圖像和所述檢測圖像之間的映射關系。
24、在本公開的一個實施方式中,所述預設特征點提取策略,包括:
25、提取圖像中的特征點;
26、按照所述特征點對應的置信度從大到小的順序進行排序;
27、將所述置信度排列在前n位的特征點作為目標特征點。
28、在本公開的一個實施方式中,焊接點分類模型的訓練過程中包括:
29、獲取多個樣本圖像;
30、針對每個樣本圖像,對所述樣本圖像進行焊接點區(qū)域提取,得到興趣點區(qū)域圖像,對所述樣本圖像的背景區(qū)域進行提取,得到非興趣點區(qū)域圖像,其中,所述興趣點區(qū)域圖像對應的標注信息為第一類別,所述非興趣點區(qū)域圖像對應的標注信息為第二類別;
31、利用所述興趣點區(qū)域圖像以及其對應的標注信息,非興趣點區(qū)域圖像以及其對應的標注信息對預設的網(wǎng)絡模型進行訓練,得到焊接點分類模型。
32、第二方面,本公開實施例提供一種焊接區(qū)域檢測裝置,所述裝置包括:
33、圖像獲取模塊,用于獲取待檢測區(qū)域?qū)臋z測圖像以及所述待檢測區(qū)域?qū)哪0鍒D像;
34、實際位置信息獲取模塊,用于獲取所述模板圖像中包括的焊接點的實際位置信息;
35、焊接點圖像確定模塊,用于基于所述實際位置信息在所述檢測圖像的對應位置進行裁剪,得到至少一個焊接點圖像;
36、檢測結果確定模塊,用于針對每個所述焊接點圖像,對所述焊接點圖像進行檢測,得到所述待檢測區(qū)域?qū)臋z測結果。
37、在本公開的一個實施方式中,檢測結果確定模塊,包括:焊接點圖像檢測單元,用于針對每個所述焊接點圖像,利用預訓練的焊接點分類模型對所述焊接點圖像進行檢測,得到所述焊接點圖像所屬類別;焊接點正常確定單元,用于如果焊接點圖像所屬類別為第一類別,則確定所述焊接點圖像中的焊接點正常;焊接點異常確定單元,用于如果焊接點圖像所屬類別為第二類別,則確定所述焊接點圖像中的焊接點異常;焊接點情況匯總單元,用于將至少一個或多個所述焊接點圖像對應的焊接點情況進行匯總,得到所述待檢測區(qū)域?qū)臋z測結果。
38、在本公開的一個實施方式中,焊接點圖像確定模塊,包括:圖像映射關系確定單元,用于基于計算機視覺模型計算所述模板圖像和所述檢測圖像之間的映射關系;檢測位置信息確定單元,用于將所述實際位置信息按照所述映射關系映射至所述檢測圖像上,得到所述檢測圖像中的檢測位置信息;焊接點圖像確定單元,用于按照所述檢測位置信息在所述檢測圖像中進行裁剪,得到至少一個焊接點圖像。
39、在本公開的一個實施方式中,焊接點圖像確定單元,具體用于按照所述檢測位置信息在所述檢測圖像中進行裁剪,得到裁剪區(qū)域圖像;將所述裁剪區(qū)域圖像縮放至設定分辨率,得到焊接點圖像。
40、在本公開的一個實施方式中,圖像映射關系確定單元,包括:特征點提取子單元,用于利用預設特征點提取策略提取所述模板圖像中的特征點,得到多個第一目標特征點;利用預設特征點提取策略提取所述檢測圖像中的特征點,得到多個第二目標特征點;關系矩陣確定子單元,用于基于計算機視覺模型確定關系矩陣,其中,所述關系矩陣用于表示相機每次以不同的角度拍攝相同物體得到的圖像上每組特征點之間的對應關系;映射關系確定子單元,用于利用所述第一目標特征點和第二目標特征點聯(lián)立所述關系矩陣進行求解,得到所述模板圖像和所述檢測圖像之間的映射關系。
41、在本公開的一個實施方式中,所述預設特征點提取策略,包括:提取圖像中的特征點;按照所述特征點對應的置信度從大到小的順序進行排序;將所述置信度排列在前n位的特征點作為目標特征點。
42、在本公開的一個實施方式中,模型訓練模塊,用于訓練焊接點分類模型,包括:樣本圖像獲取單元,用于獲取多個樣本圖像;區(qū)域圖像提取單元,用于針對每個樣本圖像,對所述樣本圖像進行焊接點區(qū)域提取,得到興趣點區(qū)域圖像,對所述樣本圖像的背景區(qū)域進行提取,得到非興趣點區(qū)域圖像,其中,所述興趣點區(qū)域圖像對應的標注信息為第一類別,所述非興趣點區(qū)域圖像對應的標注信息為第二類別;模型訓練單元,用于利用所述興趣點區(qū)域圖像以及其對應的標注信息,非興趣點區(qū)域圖像以及其對應的標注信息對預設的網(wǎng)絡模型進行訓練,得到焊接點分類模型。
43、第三方面,本公開實施例提供一種電子設備,所述電子設備包括:
44、一個或多個處理器;
45、存儲裝置,用于存儲一個或多個程序;
46、當所述一個或多個程序被所述一個或多個處理器執(zhí)行,使得所述一個或多個處理器實現(xiàn)如上述第一方面中任一項所述的方法。
47、第四方面,本公開實施例提供一種計算機可讀存儲介質(zhì),其上存儲有計算機程序,其特征在于,該程序被處理器執(zhí)行時實現(xiàn)如上述第一方面中任一項所述的方法。
48、本公開實施例提供的焊接區(qū)域檢測方法、裝置、設備及存儲介質(zhì),所述方法包括:獲取待檢測區(qū)域?qū)臋z測圖像以及所述待檢測區(qū)域?qū)哪0鍒D像;獲取所述模板圖像中包括的焊接點的實際位置信息;基于所述實際位置信息在所述檢測圖像的對應位置進行裁剪,得到至少一個焊接點圖像;針對每個所述焊接點圖像,對所述焊接點圖像進行檢測,得到所述待檢測區(qū)域?qū)臋z測結果。本公開實施例通過按照焊接點的實際位置信息進行裁剪處理之后,對得到焊接點圖像進行類別檢測,可以在實現(xiàn)自動化檢測焊接點質(zhì)量的基礎上,減少計算量,提高計算速度。