專利名稱：基于線結(jié)構(gòu)光視覺傳感器引導(dǎo)的焊接機(jī)器人系統(tǒng)標(biāo)定方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種機(jī)器人視覺傳感器及其標(biāo)定方法，尤其是一種基于線結(jié)構(gòu)光視覺傳感器引導(dǎo)的焊接機(jī)器人系統(tǒng)標(biāo)定方法，具體地說是機(jī)器人基于線結(jié)構(gòu)光視覺傳感器的手眼關(guān)系矩陣和傳感器參數(shù)的快速標(biāo)定方法。
背景技術(shù)：
焊接的特點(diǎn)是工藝因素復(fù)雜、勞動(dòng)強(qiáng)度大，生產(chǎn)周期長、勞動(dòng)環(huán)境差，其品質(zhì)依賴操作者的技能、技術(shù)和經(jīng)驗(yàn)，也和操作者情緒及身體狀況相關(guān)，因此，焊接自動(dòng)化技術(shù)對于提高接頭品質(zhì)、保證穩(wěn)定性具有很重要的意義。實(shí)現(xiàn)焊接自動(dòng)化的關(guān)鍵問題是焊縫的自動(dòng)跟蹤，激光視覺引導(dǎo)的智能焊接機(jī)器人將焊縫圖像識(shí)別與機(jī)器人運(yùn)動(dòng)控制技術(shù)結(jié)合，能夠有效解決焊縫自動(dòng)跟蹤難題。標(biāo)定(包括相機(jī)參數(shù)標(biāo)定、線激光光平面方程標(biāo)定和手眼變換矩陣標(biāo)定)在視覺測量系統(tǒng)中是非常關(guān)鍵且重要的環(huán)節(jié)，其標(biāo)定結(jié)果的精度及算法的穩(wěn)定性與實(shí)時(shí)性，直接影響到工業(yè)生產(chǎn)過程中測量與跟蹤的精度。線結(jié)構(gòu)光視覺傳感器的參數(shù)包括相機(jī)的內(nèi)部參數(shù)(焦距、主點(diǎn)以及畸變系數(shù)等)及線結(jié)構(gòu)光視覺傳感器的結(jié)構(gòu)參數(shù)(即線激光在相機(jī)坐標(biāo)系下的光平面方程)，通過Tsai，張正友，胡占義等人在視覺標(biāo)定中的貢獻(xiàn)，我們可以輕松的獲得相機(jī)的內(nèi)部參數(shù)。線結(jié)構(gòu)光視覺傳感器的結(jié)構(gòu)參數(shù)標(biāo)定方法有許多方法，如R. Dewar提出的拉絲標(biāo)定方法；D. Q. Huynh提出了交比不變性標(biāo)定方法；畢德學(xué)提出的基于交線的線激光光平面方程標(biāo)定具有較強(qiáng)的魯棒性，實(shí)施方法簡單，特征易提取，滿足現(xiàn)場標(biāo)定要求。根據(jù)測量模型，由傳感器返回的測量數(shù)據(jù)恢復(fù)被測曲面的三維坐標(biāo)信息必須要確定機(jī)械臂末端坐標(biāo)系到相機(jī)坐標(biāo)系的手眼變換矩陣H。在機(jī)器視覺領(lǐng)域該問題稱為手眼標(biāo)定。常用的機(jī)器人手眼標(biāo)定方法是利用已知標(biāo)定參考物(標(biāo)定塊)，控制機(jī)械手在不同方位觀察空間一個(gè)已知的標(biāo)定參考物，從而推導(dǎo)R和t與多次觀察結(jié)果的關(guān)系，其中R表示手眼變換矩陣H的旋轉(zhuǎn)部分，t表示手眼變換矩陣H的平移部分。

發(fā)明內(nèi)容
本發(fā)明的目的是克服現(xiàn)有技術(shù)中存在的不足，提供一種基于線結(jié)構(gòu)光視覺傳感器引導(dǎo)的焊接機(jī)器人系統(tǒng)標(biāo)定方法，其靈活、精度高、速度快、穩(wěn)定性好，實(shí)時(shí)性強(qiáng)，方法簡單，計(jì)算量小，通用性強(qiáng)。按照本發(fā)明提供的技術(shù)方案，所述基于線結(jié)構(gòu)光視覺傳感器引導(dǎo)的焊接機(jī)器人系統(tǒng)標(biāo)定方法，所述焊接機(jī)器人系統(tǒng)標(biāo)定方法包括如下步驟第一步、控制機(jī)械臂變換位姿，使得相機(jī)在多個(gè)位姿拍攝一個(gè)任意放置且位置不變的圓靶標(biāo)，選擇的位姿必須使的所有圓靶標(biāo)上的圓點(diǎn)在相機(jī)視場范圍內(nèi)，并且保證固定在相機(jī)上線激光器所產(chǎn)生的線激光光平面在圓靶標(biāo)上產(chǎn)生的光條部分也在視場范圍內(nèi)；通過相機(jī)獲取圓靶標(biāo)圖像后，提取圓靶標(biāo)圖像上圓形斑點(diǎn)的圓心坐標(biāo)并識(shí)別角點(diǎn)的行列值，以完成圓靶標(biāo)圖像和世界坐標(biāo)的匹配，然后根據(jù)張正友標(biāo)定算法得到相機(jī)的內(nèi)部參數(shù)矩陣
權(quán)利要求
1.一種基于線結(jié)構(gòu)光視覺傳感器引導(dǎo)的焊接機(jī)器人系統(tǒng)標(biāo)定方法，其特征是，所述焊接機(jī)器人系統(tǒng)標(biāo)定方法包括如下步驟 第一步、控制機(jī)械臂變換位姿，使得相機(jī)在多個(gè)位姿拍攝一個(gè)任意放置且位置不變的圓靶標(biāo)，選擇的位姿必須使的所有圓靶標(biāo)上的圓點(diǎn)在相機(jī)視場范圍內(nèi)，并且保證固定在相機(jī)上線激光器所產(chǎn)生的線激光光平面在圓靶標(biāo)上產(chǎn)生的光條部分也在視場范圍內(nèi)；通過相機(jī)獲取圓靶標(biāo)圖像后，提取圓靶標(biāo)圖像上圓形斑點(diǎn)的圓心坐標(biāo)并識(shí)別角點(diǎn)的行列值，以完成圓靶標(biāo)圖像和世界坐標(biāo)的匹配，然后根據(jù)張正友標(biāo)定算法得到相機(jī)的內(nèi)部參數(shù)矩陣
2.根據(jù)權(quán)利要求I所述的基于線結(jié)構(gòu)光視覺傳感器引導(dǎo)的焊接機(jī)器人系統(tǒng)標(biāo)定方法，其特征是，所述第一步包括如下步驟 (I. I)、利用相機(jī)在線實(shí)時(shí)采集圓靶標(biāo)的圖像，采用大津法自適應(yīng)閾值對圖像二值化，使得圓靶標(biāo)圖像上的圓形斑點(diǎn)突出顯示； (I. 2)、利用閉運(yùn)算算子對圓靶標(biāo)圖像進(jìn)行閉運(yùn)算，以去除噪聲干擾；對上述二值化后的圓靶標(biāo)圖像中所有目標(biāo)圓點(diǎn)進(jìn)行標(biāo)記，目標(biāo)圓點(diǎn)的面積為目標(biāo)圓點(diǎn)包含的像素?cái)?shù)目，統(tǒng)計(jì)上述圓靶標(biāo)圖像中的目標(biāo)圓點(diǎn)的像素個(gè)數(shù)，標(biāo)記目標(biāo)圓點(diǎn)所包含像素?cái)?shù)目均值為NP_average，去除標(biāo)記目標(biāo)中包含像素?cái)?shù)目小于0. 5*NP_average以及標(biāo)記目標(biāo)中包含像素?cái)?shù)目大于I. 5*NP_average的目標(biāo)； (I. 3)、計(jì)算標(biāo)記后目標(biāo)圓點(diǎn)的周長C和面積S，利用圓形度表達(dá)式e=C2/(2* *S)，區(qū)分目標(biāo)圓點(diǎn)與干擾； Tii n
3.根據(jù)權(quán)利要求I所述的基于線結(jié)構(gòu)光視覺傳感器引導(dǎo)的焊接機(jī)器人系統(tǒng)標(biāo)定方法，其特征是，所述第二步包括如下步驟 (2. I)、線激光器固定在相機(jī)上，相機(jī)采集圖片是只需保證所有靶標(biāo)圓點(diǎn)以及光條部分在相機(jī)視場范圍內(nèi)即可，利用預(yù)設(shè)閾值對采集到的線激光光條圖像進(jìn)行二值化，對二值化圖像進(jìn)行圖像閉運(yùn)算以去除邊緣奇異點(diǎn)； (2. 2)、對線激光光條區(qū)域中心進(jìn)行8-鄰域標(biāo)記，記線激光光條區(qū)域的中心點(diǎn)為pl，線激光光條區(qū)域中心點(diǎn)Pl鄰域的8個(gè)點(diǎn)順時(shí)針繞中心點(diǎn)分別為p2，p3，......，p9，其中p2點(diǎn)中心點(diǎn)在Pl的上方，對線激光光條區(qū)域中心點(diǎn)Pl進(jìn)行8-鄰域標(biāo)記的同時(shí)滿足下列條件的邊界點(diǎn)(i )、2 ≤ N (pl) ≤ 6 ；(ii )、S (pl) =1 ；(iii)、p2*p4*p6=0；(iv)、p4*p6*p8=0； 其中，N (pl)是中心點(diǎn)pl的非零鄰點(diǎn)的個(gè)數(shù)；S (pl)是以p2，p3，......，p9為序時(shí)這些點(diǎn)的值從0 — I變化次數(shù)；當(dāng)對所有的邊界點(diǎn)都檢查完畢后,將所有的標(biāo)記點(diǎn)除去，反復(fù)迭代直到?jīng)]有點(diǎn)滿足標(biāo)記條件，完成光條細(xì)化； (2. 3)、對細(xì)化后得到的點(diǎn)利用Hough變換提取得到在圓靶標(biāo)平面上線激光光條的線方程akx+bky+ck=0,其中，ak、bk、Ck分別表示線方程的參數(shù)。
4.根據(jù)權(quán)利要求I所述的基于線結(jié)構(gòu)光視覺傳感器引導(dǎo)的焊接機(jī)器人系統(tǒng)標(biāo)定方法，其特征是，所述第三步包括如下步驟 (3. I)、圓靶標(biāo)在世界坐標(biāo)系下的平面方程可以表示為= 0，式中!=
T，利用第一步得到的外參數(shù)矩陣RT，計(jì)算得到在相機(jī)坐標(biāo)系下靶標(biāo)平面的平面方程為= 其中的-與I分別為靶標(biāo)平面在世界坐標(biāo)系和相機(jī)坐標(biāo)系 下的平面法向坐標(biāo)向量； (3. 2)、在相機(jī)坐標(biāo)系中，設(shè) 分別代表激光平面法向坐標(biāo)向量、第i個(gè)圓靶標(biāo)的法向坐標(biāo)向量、第j個(gè)圓靶標(biāo)的法向坐標(biāo)向量、第i個(gè)圓靶標(biāo)內(nèi)的激光交線圖像的坐標(biāo)向量、第j個(gè)平面靶標(biāo)內(nèi)的激光交線圖像的坐標(biāo)向量；注意第i個(gè)平面靶標(biāo)圖像上的激光交線圖像的方程Ai與疋可以直接計(jì)算出來X- — A1A-；(3. 3)、根據(jù)投影空間中兩條激光交線及其相關(guān)聯(lián)的平面的對偶關(guān)系得，—I,— —、 Iw1=W^a1XjW = - w1+w2) ; i = K + aT，I - J Jj 其中 =D1Q，D是一個(gè)2X2矩陣，Q是一個(gè)二維向量，定義如下 [3」D=、」；_ _ ，Q= )___\ ;是所求的激光平面方程。
_(為，wJ -(V，)」Kwj^i-wJjj -
5.根據(jù)權(quán)利要求I所述的基于線結(jié)構(gòu)光視覺傳感器引導(dǎo)的焊接機(jī)器人系統(tǒng)標(biāo)定方法，其特征是，所述第四步包括如下步驟 (4. I)、取第一步中任意2個(gè)位姿，+IP1mH = HI82Tm1其中FJ21T^1表示2個(gè)位姿下機(jī)械臂末端坐標(biāo)系的轉(zhuǎn)換矩陣，令# = TjT41 -J82Tm1轟示2個(gè)位姿下相機(jī)坐標(biāo)系的轉(zhuǎn)換矩陣，令(-) = 2^7^1,則可以簡寫為_ = H ; (4. 2)、OH = H0 ;展開為RoRh=RhR0① R tH+t J1=RHt0^H② 其中At^R0, Rh表示①， ，!!中對應(yīng)的旋轉(zhuǎn)部分^^七^^表示O， ，H中對于平移部分； r 一P —Tr (4. 3)、令 Cj0 = a(),a ，qB = xQ,x ，q0 = h0,b 為 Rtc, Rh, R0 對應(yīng)的四元數(shù)，Qtc由齊次矩陣①計(jì)算得到，Q0由齊次矩陣 計(jì)算得到，令5二$/&，通過 += $求得％，再將％轉(zhuǎn)換為手眼矩陣的旋轉(zhuǎn)部分，其中Q ( )表示反對稱矩陣函數(shù)，Hf)表示5的反對稱矩陣；X(l、xSqH中待計(jì)算的未知量； (4. 4)、再將旋轉(zhuǎn)矩陣數(shù)據(jù)帶入②就可以求出tH，得到手眼變換矩陣H。
6.根據(jù)權(quán)利要求I所述的基于線結(jié)構(gòu)光視覺傳感器引導(dǎo)的焊接機(jī)器人系統(tǒng)標(biāo)定方法，其特征是，所述第四步中計(jì)算焊接工件位移值包括如下步驟 (5. I)、控制焊接工件在固定機(jī)械臂末端位姿下對圓靶標(biāo)上預(yù)設(shè)點(diǎn)精確點(diǎn)觸，讀取當(dāng)前機(jī)械臂位姿，獲得機(jī)械臂末端坐標(biāo)的第一坐標(biāo)值； (5. 2)、定義預(yù)設(shè)點(diǎn)在世界坐標(biāo)系下的坐標(biāo)，根據(jù)第一步中得到的外參數(shù)矩陣RT，獲得預(yù)設(shè)點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)，根據(jù)手眼變換矩陣H和拍攝圓靶標(biāo)圖像時(shí)的機(jī)械臂位姿計(jì)算得到預(yù)設(shè)點(diǎn)在機(jī)械臂基坐標(biāo)系下的第二坐標(biāo)值，將所述第二坐標(biāo)值與第一坐標(biāo)值比對得到當(dāng)前位姿下焊接工件位移值。
7.根據(jù)權(quán)利要求2所述的基于線結(jié)構(gòu)光視覺傳感器引導(dǎo)的焊接機(jī)器人系統(tǒng)標(biāo)定方法，其特征是利用參考圓對圓靶標(biāo)圖像上的圓心點(diǎn)進(jìn)行排序時(shí)，找出圓靶標(biāo)圖像上有效圓點(diǎn)的圓心距離最小的兩個(gè)目標(biāo)圓點(diǎn)，其中離所有圓心點(diǎn)均值中心較遠(yuǎn)的圓的定義為0點(diǎn)，另一個(gè)定義為I點(diǎn)，然后設(shè)置0，I點(diǎn)為已匹配點(diǎn)，在未匹配點(diǎn)中找與I點(diǎn)最近的點(diǎn)定義2點(diǎn)，設(shè)置2點(diǎn)為已匹配點(diǎn)，在未匹配點(diǎn)中找與2點(diǎn)最近的點(diǎn)定義3點(diǎn)，設(shè)置3點(diǎn)為已匹配點(diǎn)…直至把所有點(diǎn)都找全 ，完成所以圓心點(diǎn)的排序。
全文摘要
本發(fā)明涉及一種基于線結(jié)構(gòu)光視覺傳感器引導(dǎo)的焊接機(jī)器人系統(tǒng)標(biāo)定方法，其包括第一步、控制機(jī)械臂變換位姿，通過相機(jī)獲取圓靶標(biāo)圖像后，完成圓靶標(biāo)圖像和世界坐標(biāo)的匹配，以得到相機(jī)的內(nèi)部參數(shù)矩陣、外參數(shù)矩陣RT；第二步、通過Hough變換求出線激光光條的線方程；利用第一步得到的外參數(shù)矩陣RT得到線激光光條平面在相機(jī)坐標(biāo)系下的平面方程；第三步、利用四元數(shù)法計(jì)算得到機(jī)械臂末端坐標(biāo)系與機(jī)械臂基坐標(biāo)系的變換矩陣；第四步、計(jì)算出焊接工件末端點(diǎn)在機(jī)械臂坐標(biāo)下的坐標(biāo)值，并結(jié)合機(jī)械臂位姿計(jì)算出工件在所述位姿下的偏移值。本發(fā)明靈活、精度高、速度快、穩(wěn)定性好，實(shí)時(shí)性強(qiáng)，方法簡單，計(jì)算量小，通用性強(qiáng)。
文檔編號(hào)B23K37/00GK102794763SQ20121031878
公開日2012年11月28日 申請日期2012年8月31日 優(yōu)先權(quán)日2012年8月31日
發(fā)明者白瑞林, 李龍, 吉峰, 郭新年 申請人:江南大學(xué), 無錫信捷電氣有限公司