專利名稱：一種基于彩色信息進(jìn)行焊道識(shí)別的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種焊道識(shí)別的方法，特別是關(guān)于一種適用于機(jī)器人自動(dòng)化焊接、焊縫跟蹤、焊道識(shí)別、焊后無損檢測(cè)自動(dòng)導(dǎo)引等焊接自動(dòng)化及智能化檢測(cè)的基于彩色信息進(jìn)行焊道識(shí)別的方法。
背景技術(shù)：
焊道自動(dòng)識(shí)別是焊接自動(dòng)化與智能化發(fā)展過程中的關(guān)鍵技術(shù)，能夠廣泛應(yīng)用于焊接軌跡自動(dòng)示教、焊縫實(shí)時(shí)跟蹤及焊后無損檢測(cè)設(shè)備自動(dòng)導(dǎo)引等方面。視覺傳感技術(shù)(視覺傳感器)因其獲取信息量大、無接觸、受電磁干擾小等優(yōu)點(diǎn)成為目前應(yīng)用最為廣泛的焊道自動(dòng)識(shí)別方式，其主要是通過工業(yè)攝像機(jī)拍攝得到焊道圖像，將焊道圖像進(jìn)行處理得到焊道位置信息或焊道邊緣位置信息，并通過反饋控制模塊對(duì)焊槍或無損檢測(cè)探頭的行徑路線進(jìn)行調(diào)整，保證焊槍或無損檢測(cè)探頭能夠準(zhǔn)確沿焊道前進(jìn)，確保焊接或檢測(cè)質(zhì)量。目前采用的較成熟的焊縫跟蹤產(chǎn)品都是基于結(jié)構(gòu)光方法實(shí)現(xiàn)焊道識(shí)別，主要利用坡口或焊道明顯的三維幾何結(jié)構(gòu)，圖像處理的識(shí)別對(duì)象為結(jié)構(gòu)光條發(fā)生的畸變，但是在焊道結(jié)構(gòu)不明顯的情況下，上述方法很難實(shí)現(xiàn)對(duì)焊道的識(shí)別和跟蹤，以多層多道焊的蓋面焊為例，在蓋面焊之前坡口已被前幾層焊道填充滿，結(jié)構(gòu)光條投射到焊道表面不會(huì)發(fā)生明顯畸變，加之焊道或附近母材可能存在的不平整或夾帶雜質(zhì)對(duì)光條形狀的影響，導(dǎo)致利用結(jié)構(gòu)光法很難得到可靠的焊縫邊緣位置；再以經(jīng)銑削加工去掉余高的成型焊縫為例，同樣是由于焊道與附近的母材幾乎處于同一平面，結(jié)構(gòu)光不能反映其邊界的位置，也導(dǎo)致利用結(jié)構(gòu)光法很難得到可靠的焊縫邊緣位置，而對(duì)于相當(dāng)一部分焊道來說，由于材料、焊接工藝、銹蝕情況等復(fù)雜原因的影響，具備了沿焊縫方向相對(duì)穩(wěn)定的色彩特征，且與母材區(qū)域的色彩具有較為明顯的差別，因此，能夠采用色彩信息實(shí)現(xiàn)焊道的自動(dòng)識(shí)別與跟蹤。

發(fā)明內(nèi)容
針對(duì)上述問題，本發(fā)明的目的是提供一種基于焊道和母材的色彩特征，通過支持向量機(jī)建立分類與識(shí)別準(zhǔn)則，實(shí)現(xiàn)自適應(yīng)焊道識(shí)別的基于彩色信息進(jìn)行焊道識(shí)別的方法。為實(shí)現(xiàn)上述目的，本發(fā)明采取以下技術(shù)方案一種基于彩色信息進(jìn)行焊道識(shí)別的方法，包括以下步驟1)獲取訓(xùn)練圖像，并采集訓(xùn)練數(shù)據(jù)進(jìn)行支持向量機(jī)訓(xùn)練，得到分類超平面；2)讀取經(jīng)彩色工業(yè)攝像機(jī)連續(xù)拍攝的一系列待識(shí)別的焊道圖像；3)根據(jù)先驗(yàn)信息在焊道圖像上設(shè)定一個(gè)以上的R0I，使得設(shè)定的ROI能夠覆蓋焊道邊緣可能出現(xiàn)的區(qū)域；4)在焊道圖像的每一 ROI內(nèi)分別提取并保存每一像素的色彩信息向量，并將每一像素的色彩信息向量定義為測(cè)試數(shù)據(jù)；5)根據(jù)步驟I)中支持向量機(jī)訓(xùn)練所得的分類超平面對(duì)每一 ROI范圍內(nèi)的測(cè)試數(shù)據(jù)進(jìn)行分類，明確測(cè)試數(shù)據(jù)是屬于焊道像素或母材像素，并對(duì)分類結(jié)果進(jìn)行標(biāo)記；6)依次對(duì)每一幀焊道圖像重復(fù)步驟3) 5)完成分類；7)根據(jù)所有待識(shí)別的焊道圖像的每一 ROI內(nèi)的分類結(jié)果，確定焊道邊緣。所述步驟I)獲取訓(xùn)練圖像，并采集訓(xùn)練數(shù)據(jù)進(jìn)行支持向量機(jī)訓(xùn)練，得到分類超平面，包括以下步驟①采用彩色工業(yè)攝像機(jī)，在待焊或待檢測(cè)的焊道起始點(diǎn)拍攝一張焊道樣本圖像，拍攝得到的焊道樣本圖像包括焊道區(qū)域、焊道邊緣區(qū)域以及靠近焊道的一部分母材區(qū)域；②將拍攝得到的焊道樣本圖像作為訓(xùn)練圖像，在訓(xùn)練圖像中選定樣本焊道區(qū)和樣本母材區(qū)在樣本焊道區(qū)和樣本母材區(qū)分別采用隨機(jī)生成采樣點(diǎn)像素坐標(biāo)的方式生成像素采樣點(diǎn)，且樣本焊道區(qū)和樣本母材區(qū)分別選取若干個(gè)像素作為采樣點(diǎn)，提取樣本焊道區(qū)和樣本母材區(qū)中的每一采樣點(diǎn)的色彩信息向量，將其作為訓(xùn)練數(shù)據(jù)進(jìn)行保存，并按類別分別標(biāo)記為“焊道像素”或“母材像素”;④利用訓(xùn)練數(shù)據(jù)進(jìn)行支持向量機(jī)的訓(xùn)練，得到樣本焊道區(qū)的色彩信息向量與樣本母材區(qū)的色彩信息向量的分類超平面。所述樣本焊道區(qū)包括盡可能大的焊道區(qū)域，樣本母材區(qū)盡可能選擇靠近焊道邊緣的母材區(qū)域。所述焊道圖像中包括焊道區(qū)域、焊道邊緣區(qū)域以及靠近焊道的一部分母材區(qū)域。所述色彩信息向量采用RGB分量、HSV分量或YCbCr分量中的一種。所述步驟7)中確定焊道邊緣的方法是通過尋找到一條最優(yōu)的分界線，使得分界線兩側(cè)的分類結(jié)果正確率達(dá)到最高，將此分界線作為識(shí)別所得的焊道邊緣位置。本發(fā)明由于采取以上技術(shù)方案，其具有以下優(yōu)點(diǎn)1、本發(fā)明采用支持向量機(jī)對(duì)焊道圖像的色彩向量信息建立分類與識(shí)別準(zhǔn)則，在焊道結(jié)構(gòu)特征不明顯導(dǎo)致無法使用結(jié)構(gòu)光法得到位置信息的情況下，基于焊道區(qū)與母材區(qū)的圖像色彩的不同，對(duì)焊道圖像進(jìn)行分割，進(jìn)而得到焊道邊緣的位置信息，因此可以供跟蹤系統(tǒng)根據(jù)識(shí)別得到的焊道邊緣位置對(duì)焊槍或無損檢測(cè)探頭位置進(jìn)行調(diào)整，有效提高工作的準(zhǔn)確性。2、本發(fā)明首先對(duì)起始點(diǎn)的焊道樣本圖像采用基于支持向量機(jī)的機(jī)器學(xué)習(xí)方法，對(duì)焊道區(qū)與母材區(qū)的色彩特征進(jìn)行采樣和學(xué)習(xí)，自動(dòng)生成焊道區(qū)的色彩信息向量與母材區(qū)的色彩信息向量的分類超平面，因此能夠自適應(yīng)地完成不同類型焊道的識(shí)別任務(wù)，適應(yīng)生產(chǎn)實(shí)際的需求。3、本發(fā)明在支持向量機(jī)完成訓(xùn)練之后，根據(jù)得到的分類超平面對(duì)每幀焊道圖像中的感興趣區(qū)域內(nèi)的各像素進(jìn)行分類，此過程耗時(shí)短，分類準(zhǔn)確，較之現(xiàn)有的結(jié)構(gòu)光法有明顯優(yōu)勢(shì)，有較強(qiáng)適應(yīng)性，并且在準(zhǔn)確性和實(shí)時(shí)性方面達(dá)到生產(chǎn)實(shí)際的要求。本發(fā)明可以廣泛應(yīng)用于焊接機(jī)器人或其它自動(dòng)化設(shè)備的坡口檢測(cè)、焊縫跟蹤、焊后無損檢測(cè)跟蹤、焊縫成型質(zhì)量檢測(cè)及物體表面檢測(cè)等技術(shù)對(duì)焊道的自動(dòng)識(shí)別過程中，特別適用于多層焊道中填充焊與蓋面焊的識(shí)別任務(wù)以及銑削加工去除余高后焊縫的識(shí)別任務(wù)中。


圖1是本發(fā)明進(jìn)行焊道識(shí)別的方法流程示意圖；圖2是本發(fā)明的焊道樣本圖像的焊道區(qū)與母材區(qū)進(jìn)行采樣的效果示意圖，其中，三角形表示母材區(qū)采樣點(diǎn)，圓圈表示焊道區(qū)采樣點(diǎn)；圖3是本發(fā)明實(shí)施例在焊道圖像上設(shè)定感興趣區(qū)域的效果示意圖，其中，小方框表不選定的感興趣區(qū)域；圖4是本發(fā)明根據(jù)支持向量機(jī)訓(xùn)練結(jié)果對(duì)感興趣區(qū)域進(jìn)行分類的效果示意圖，其中，黑色為母材像素，白色為焊道像素；圖5是本發(fā)明的焊道邊緣識(shí)別結(jié)果效果示意圖，感興趣區(qū)域內(nèi)黑色線條表示焊道邊緣。
具體實(shí)施例方式下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)的描述。如圖1所示，本發(fā)明的基于彩色信息進(jìn)行焊道識(shí)別的方法包括以下步驟1、獲取訓(xùn)練圖像，并采集訓(xùn)練數(shù)據(jù)進(jìn)行支持向量機(jī)訓(xùn)練，得到分類超平面，其包括以下步驟I)采用現(xiàn)有的彩色工業(yè)攝像機(jī)，在待焊或待檢測(cè)的焊道起始點(diǎn)拍攝一張焊道樣本圖像，拍攝得到的焊道樣本圖像包括焊道區(qū)域、焊道邊緣區(qū)域以及靠近焊道的一部分母材區(qū)域。2)將拍攝得到的焊道樣本圖像作為訓(xùn)練圖像，在訓(xùn)練圖像中選定樣本焊道區(qū)和樣本母材區(qū)，其中，樣本焊道區(qū)包括盡可能大的焊道區(qū)域，樣本母材區(qū)盡可能選擇靠近焊道邊緣的母材區(qū)域。3)在樣本焊道區(qū)和樣本母材區(qū)分別采用隨機(jī)生成采樣點(diǎn)像素坐標(biāo)的方式生成像素采樣點(diǎn)，且樣本焊道區(qū)和樣本母材區(qū)分別選取50個(gè)像素采樣點(diǎn)作為采樣點(diǎn)(不限于此，可以根據(jù)實(shí)際需要選擇采樣點(diǎn)的個(gè)數(shù))，提取樣本焊道區(qū)和樣本母材區(qū)中的每一采樣點(diǎn)的色彩信息向量，將其作為訓(xùn)練數(shù)據(jù)進(jìn)行保存，并按類別分別標(biāo)記為“焊道像素”或“母材像素”。如圖2所示，本發(fā)明的實(shí)施例中，圓圈表示采樣點(diǎn)屬于焊道像素，三角形表示采樣點(diǎn)屬于母材像素。另外，本發(fā)明實(shí)施例中的訓(xùn)練數(shù)據(jù)是采用每一采樣點(diǎn)的RGB分量，但不限于此，可以根據(jù)實(shí)際檢測(cè)情況選取每一采樣點(diǎn)的HSV分量或YCbCr等不同色彩空間的分量作為訓(xùn)練數(shù)據(jù)。4)利用訓(xùn)練數(shù)據(jù)進(jìn)行支持向量機(jī)的訓(xùn)練，得到樣本焊道區(qū)的色彩信息向量與樣本母材區(qū)的色彩信息向量的分類超平面。本發(fā)明的實(shí)施例中，支持向量機(jī)類型為C-SVM，采用線性函數(shù)作為核函數(shù)，訓(xùn)練數(shù)據(jù)的數(shù)量為每類50個(gè)，求解分類超平面時(shí)采用的優(yōu)化方法為二次規(guī)劃求解，求解過程為現(xiàn)有技術(shù)，在此不再贅述。2、讀取經(jīng)彩色工業(yè)攝像機(jī)連續(xù)拍攝的一系列待識(shí)別的焊道圖像，每一幀焊道圖像中包括焊道區(qū)域、焊道邊緣區(qū)域以及靠近焊道的一部分母材區(qū)域。本實(shí)施例中所攝取的焊道圖像的像素大小為288X205，但是不限于此，可以根據(jù)具體的應(yīng)用設(shè)置焊道圖像的大小。3、如圖3所示，根據(jù)先驗(yàn)信息在焊道圖像上選取一個(gè)以上的ROI (感興趣區(qū)域)，使得選取的ROI能夠覆蓋焊道邊緣可能出現(xiàn)的區(qū)域，在實(shí)際的檢測(cè)過程中，由于焊道跟蹤是一個(gè)連續(xù)的過程，每幀焊道圖像中焊道邊緣只可能出現(xiàn)在前一幀焊道圖像附近偏移一定距離的有限范圍。本發(fā)明實(shí)施例的ROI大小為50X50，R0I大小不限于此，可以根據(jù)實(shí)際檢測(cè)的需要進(jìn)行設(shè)定。其中，先驗(yàn)信息為選取ROI的參考信息，不僅包括實(shí)際待檢測(cè)焊道的實(shí)際焊道位置和焊道寬度的可能范圍，而且由于焊道圖像時(shí)連續(xù)拍攝的，在后一幀焊道圖像選取ROI時(shí)，前一幀焊道圖像的識(shí)別結(jié)果也可以成為選取ROI的先驗(yàn)信息。4、在焊道圖像的每一 ROI內(nèi)分別提取并保存每一像素的色彩信息向量，將每一像素的色彩信息向量定義為測(cè)試數(shù)據(jù)。
5、采用步驟I中支持向量機(jī)訓(xùn)練所得的分類超平面對(duì)每一 ROI范圍內(nèi)的測(cè)試數(shù)據(jù)進(jìn)行分類，明確測(cè)試數(shù)據(jù)是焊道像素或母材像素，并對(duì)分類結(jié)果進(jìn)行標(biāo)記，如圖4所示，本發(fā)明的實(shí)施例的分類結(jié)果中，白色表示該像素被分類為焊道像素，黑色表示該像素被分類為母材像素。6、依次對(duì)每一幀焊道圖像重復(fù)步驟3 5完成分類。7、根據(jù)所有待識(shí)別的焊道圖像的每一 ROI內(nèi)的分類結(jié)果，確定焊道邊緣，即尋找到一條最優(yōu)的分界線，使得分界線兩側(cè)的分類結(jié)果正確率達(dá)到最高，將此分界線作為識(shí)別所得的焊道邊緣位置，如圖5所示，白色的直線為焊道邊緣位置。綜上所述，本發(fā)明的基于彩色信息進(jìn)行焊道識(shí)別的方法可以C++語言實(shí)現(xiàn)，也可以采用其他編程語言。本發(fā)明的實(shí)施例在CPU主頻為2. 4GHz、內(nèi)存為2G的PC機(jī)環(huán)境中運(yùn)行測(cè)試，每幀焊道圖像的處理時(shí)間為r5ms，采用本發(fā)明的方法對(duì)焊道邊界的識(shí)別精度達(dá)到焊接跟蹤要求，完全滿足生產(chǎn)實(shí)際所需的實(shí)時(shí)性要求。上述實(shí)施例僅用于說明本發(fā)明，其中訓(xùn)練數(shù)據(jù)的獲取方式、色彩空間類型、SVM類型、超平面優(yōu)化方法、ROI尺寸與位置、根據(jù)分類結(jié)果確定焊道邊界的方式等都是可以有所變化的，凡是在本發(fā)明技術(shù)方案的基礎(chǔ)上進(jìn)行的等同變換和改進(jìn)，均不應(yīng)排除在本發(fā)明的保護(hù)范圍之外。
權(quán)利要求
1.一種基于彩色信息進(jìn)行焊道識(shí)別的方法，包括以下步驟 1)獲取訓(xùn)練圖像，并采集訓(xùn)練數(shù)據(jù)進(jìn)行支持向量機(jī)訓(xùn)練，得到分類超平面； 2)讀取經(jīng)彩色工業(yè)攝像機(jī)連續(xù)拍攝的一系列待識(shí)別的焊道圖像； 3)根據(jù)先驗(yàn)信息在焊道圖像上設(shè)定一個(gè)以上的ROI，使得設(shè)定的ROI能夠覆蓋焊道邊緣可能出現(xiàn)的區(qū)域； 4)在焊道圖像的每一ROI內(nèi)分別提取并保存每一像素的色彩信息向量，并將每一像素的色彩信息向量定義為測(cè)試數(shù)據(jù)； 5)根據(jù)步驟I)中支持向量機(jī)訓(xùn)練所得的分類超平面對(duì)每一ROI范圍內(nèi)的測(cè)試數(shù)據(jù)進(jìn)行分類，明確測(cè)試數(shù)據(jù)是屬于焊道像素或母材像素，并對(duì)分類結(jié)果進(jìn)行標(biāo)記； 6)依次對(duì)每一幀焊道圖像重復(fù)步驟3) 5)完成分類； 7)根據(jù)所有待識(shí)別的焊道圖像的每一ROI內(nèi)的分類結(jié)果，確定焊道邊緣。
2.如權(quán)利要求1所述的一種基于彩色信息進(jìn)行焊道識(shí)別的方法，其特征在于所述步驟I)獲取訓(xùn)練圖像，并采集訓(xùn)練數(shù)據(jù)進(jìn)行支持向量機(jī)訓(xùn)練，得到分類超平面，包括以下步驟 ①采用彩色工業(yè)攝像機(jī)，在待焊或待檢測(cè)的焊道起始點(diǎn)拍攝一張焊道樣本圖像，拍攝得到的焊道樣本圖像包括焊道區(qū)域、焊道邊緣區(qū)域以及靠近焊道的一部分母材區(qū)域； ②將拍攝得到的焊道樣本圖像作為訓(xùn)練圖像，在訓(xùn)練圖像中選定樣本焊道區(qū)和樣本母材區(qū)； ③在樣本焊道區(qū)和樣本母材區(qū)分別采用隨機(jī)生成采樣點(diǎn)像素坐標(biāo)的方式生成像素采樣點(diǎn)，且樣本焊道區(qū)和樣本母材區(qū)分別選取若干個(gè)像素作為采樣點(diǎn)，提取樣本焊道區(qū)和樣本母材區(qū)中的每一采樣點(diǎn)的色彩信息向量，將其作為訓(xùn)練數(shù)據(jù)進(jìn)行保存，并按類別分別標(biāo)記為“焊道像素”或“母材像素”； ④利用訓(xùn)練數(shù)據(jù)進(jìn)行支持向量機(jī)的訓(xùn)練，得到樣本焊道區(qū)的色彩信息向量與樣本母材區(qū)的色彩信息向量的分類超平面。
3.如權(quán)利要求2所述的一種基于彩色信息進(jìn)行焊道識(shí)別的方法，其特征在于所述樣本焊道區(qū)包括盡可能大的焊道區(qū)域，樣本母材區(qū)盡可能選擇靠近焊道邊緣的母材區(qū)域。
4.如權(quán)利要求1或2或3所述的一種基于彩色信息進(jìn)行焊道識(shí)別的方法，其特征在于所述焊道圖像中包括焊道區(qū)域、焊道邊緣區(qū)域以及靠近焊道的一部分母材區(qū)域。
5.如權(quán)利要求1或2或3所述的一種基于彩色信息進(jìn)行焊道識(shí)別的方法，其特征在于所述色彩信息向量采用RGB分量、HSV分量或YCbCr分量中的一種。
6.如權(quán)利要求4所述的一種基于彩色信息進(jìn)行焊道識(shí)別的方法，其特征在于所述色彩信息向量采用RGB分量、HSV分量或YCbCr分量中的一種。
7.如權(quán)利要求1或2或3或6所述的一種基于彩色信息進(jìn)行焊道識(shí)別的方法，其特征在于所述步驟7)中確定焊道邊緣的方法是通過尋找到一條最優(yōu)的分界線，使得分界線兩側(cè)的分類結(jié)果正確率達(dá)到最高，將此分界線作為識(shí)別所得的焊道邊緣位置。
8.如權(quán)利要求4所述的一種基于彩色信息進(jìn)行焊道識(shí)別的方法，其特征在于所述步驟7)中確定焊道邊緣的方法是通過尋找到一條最優(yōu)的分界線，使得分界線兩側(cè)的分類結(jié)果正確率達(dá)到最高，將此分界線作為識(shí)別所得的焊道邊緣位置。
9.如權(quán)利要求5所述的一種基于彩色信息進(jìn)行焊道識(shí)別的方法，其特征在于所述步驟7)中確定焊道邊緣的方法是通過尋找到一條最優(yōu)的分界線，使得分界線兩側(cè)的分類結(jié)果正確率 達(dá)到最高，將此分界線作為識(shí)別所得的焊道邊緣位置。
全文摘要
本發(fā)明涉及一種基于彩色信息進(jìn)行焊道識(shí)別的方法，包括以下步驟獲取訓(xùn)練圖像，并采集訓(xùn)練數(shù)據(jù)進(jìn)行支持向量機(jī)訓(xùn)練，得到分類超平面；讀取連續(xù)拍攝的一系列待識(shí)別的焊道圖像；根據(jù)先驗(yàn)信息在焊道圖像上設(shè)定一個(gè)以上的ROI；在焊道圖像的每一ROI內(nèi)分別提取并保存每一像素的色彩信息向量，并將每一像素的色彩信息向量定義為測(cè)試數(shù)據(jù)；根據(jù)步驟分類超平面對(duì)每一ROI范圍內(nèi)的測(cè)試數(shù)據(jù)進(jìn)行分類，明確測(cè)試數(shù)據(jù)是屬于焊道像素或母材像素，并對(duì)分類結(jié)果進(jìn)行標(biāo)記；依次對(duì)每一幀焊道圖像完成分類；根據(jù)所有待識(shí)別的焊道圖像的每一ROI內(nèi)的分類結(jié)果，確定焊道邊緣。本發(fā)明可以廣泛應(yīng)用于焊接機(jī)器人或其它自動(dòng)化設(shè)備的坡口檢測(cè)、焊縫跟蹤、焊后無損檢測(cè)跟蹤、焊縫成型質(zhì)量檢測(cè)及物體表面檢測(cè)等技術(shù)對(duì)焊道的自動(dòng)識(shí)別過程中。
文檔編號(hào)G06K9/62GK103020638SQ20121048735
公開日2013年4月3日 申請(qǐng)日期2012年11月26日 優(yōu)先權(quán)日2012年11月26日
發(fā)明者都東, 鄒怡蓉, 王力, 曾錦樂, 潘際鑾 申請(qǐng)人:清華大學(xué)