一種基于雙目立體視覺的機械手抓取控制系統(tǒng)的控制方法
【專利摘要】一種基于雙目立體視覺的機械手抓取控制系統(tǒng)的控制方法，包括以下步驟：標定相機參數(shù)，然后通過示教機械手，實現(xiàn)相機坐標系和機械手坐標系的轉(zhuǎn)換；線激光做弧面掃描云運動，同時相機采集圖像；對相機拍攝的圖像分別提取激光線；利用亞像素算法精確定位激光線的位置；對圖片中提取到的激光線進行同名點匹配；通過三角測量原理計算激光線上每個點的三維空間坐標，完成對場景內(nèi)工件的掃描，獲得相機視野內(nèi)的點云數(shù)據(jù)；建立工件點云模板，選取機械手抓取點位，將獲得的點云數(shù)據(jù)與工件點云模板匹配，并計算出兩者間的轉(zhuǎn)換關(guān)系；將點云模板中機械手抓取點位置換算成當前坐標，并將其轉(zhuǎn)換為機械手坐標系下的坐標，然后傳遞給機械手，機械手執(zhí)行動作。
【專利說明】
一種基于雙目立體視覺的機械手抓取控制系統(tǒng)的控制方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及機械手抓取控制領(lǐng)域，具體涉及一種能實時獲取料箱內(nèi)工件的3D點云 數(shù)據(jù)，并通過模板匹配，引導機械手抓取和擺放工件的基于雙目立體視覺的機械手抓取控 制系統(tǒng)的控制方法。
【背景技術(shù)】
[0002] 目前，工業(yè)自動化裝配受到越來越多的關(guān)注，由視覺引導機械手進行工業(yè)裝配是 實現(xiàn)工業(yè)自動化的重要途徑。在機械手執(zhí)行任務的過程中，控制機械手定位到目標位置是 一個非常關(guān)鍵的問題。CN103963058A基于多方位視覺定位的機械手臂抓取控制方法及方 法、CN104331894A-種基于雙目立體視覺的機器人拆垛方法以及CN104677330A-種小型雙 目立體視覺測距系統(tǒng)都公開了一種視覺引導機械手抓取方法。但這些方法都存在對不同型 號產(chǎn)品識別率差、定位精度難以滿足抓取擺放要求的缺陷。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明提出了一種基于雙目立體視覺的機械手抓取控制系統(tǒng)的控制方法，由雙目 立體視覺系統(tǒng)根據(jù)目標物的二維圖像計算出目標物的三維坐標，然后根據(jù)此三維坐標去控 制機械手自動運動到目標位置，實現(xiàn)料箱內(nèi)任意擺放工件的抓取，進而實現(xiàn)工件的擺放或 裝配，解決工業(yè)裝配或上下料的自動化問題，從而降低人力成本，提高生產(chǎn)效率，消除人力 操作潛在的安全隱患。
[0004] 本發(fā)明的目的及解決其技術(shù)問題是采用以下技術(shù)方案來實現(xiàn)的。依據(jù)本發(fā)明提出 的一種基于雙目立體視覺的機械手抓取控制系統(tǒng)的控制方法，包括以下步驟：1)標定相機 的內(nèi)參數(shù)和外參數(shù)，然后通過示教機械手，實現(xiàn)相機坐標系和機械手坐標系的轉(zhuǎn)換;2)線激 光做弧面掃描運動，同時位于線激光兩側(cè)的相機分別從左右兩個視角拍攝圖像;3)對雙相 機拍攝的兩幅圖像分別提取激光線;4)利用亞像素算法精確定位激光線的位置;5)對兩相 機圖片中提取到的激光線進行同名點匹配;6)通過三角測量原理計算激光線上每個點的三 維空間坐標，完成對場景內(nèi)工件的掃描，獲得相機視野內(nèi)的點云數(shù)據(jù)；7)建立工件點云模 板，選取機械手抓取點位，然后將獲得的點云數(shù)據(jù)與工件點云模板匹配，從而找到目標工件 并計算出兩者間的轉(zhuǎn)換關(guān)系;8)將點云模板中設置的機械手抓取點位置通過步驟(7)計算 出的轉(zhuǎn)換關(guān)系換算成當前坐標，并將該坐標轉(zhuǎn)換到機械手坐標系下的坐標，將坐標傳遞給 機械手，若坐標值在機械手的運動范圍之內(nèi)，則機械手執(zhí)行抓取工件和擺放工件的動作，然 后相機開始拍攝圖像，進入先一個拍攝抓取循環(huán)。
[0005] 本發(fā)明的目的及解決其技術(shù)問題還可采用以下技術(shù)措施進一步實現(xiàn)。
[0006] 前述的根據(jù)權(quán)利要求1所述的控制方法，其特征在于，其中所述的步驟1中，通過編 碼后的圓形標志點標定相機，示教機械手時通過示教編碼后的圓形標志點的位置完成對機 械手的示教，實現(xiàn)相機坐標系和機械手坐標系的轉(zhuǎn)換。
[0007] 前述的控制方法，其中所述的步驟3中，提取激光線條時，采用激光線條光照無關(guān) 提取方法，即結(jié)合灰度閾值和圖片每行像素最值的方法實現(xiàn)激光線條光照無關(guān)的初步提 取。
[0008] 前述的控制方法，其中所述的步驟3中，在激光線條提取過程中，采用激光線條列 像素偏差限制的方法剔除因工件表面反射光線引起的激光線散亂。
[0009] 前述的控制方法，其中所述的步驟4中，采用灰度重心的方法精確的定位激光線的 線條中心，從而實現(xiàn)激光線條的亞像素的定位。
[0010]前述的控制方法，其中所述的步驟6中，通過三角測量原理計算激光線上點的三維 空間坐標，具體計算過程為：
[0011]相機拍攝圖像后，相機上的一個像點與相機鏡頭中心確定一條直線，像點與鏡頭 中心這兩點的坐標都在相機坐標系下，這兩點組成的空間直線方程為：
[0012]
[0013]
[0014]其中，X，Y，Z為目標點的三維坐標;X，y，f為像點坐標;Xs，Ys，Zs是鏡頭中心坐標； ai、bi、Ci為坐標系變換參數(shù)；
[0015] 選取兩張圖像上的一對同名點，代入上述直線方程可得4個方程式組成的方程組， 從而得到X，Y，Z的值，即算出激光線上點的三維空間坐標。
[0016] 前述的控制方法，其中所述的步驟7具體包括以下步驟：1)啟動雙相機系統(tǒng)，掃描 工件點云數(shù)據(jù)，然后在界面刪除錯誤的點云數(shù)據(jù)，即得到完成的工件點云模型；2)將步驟6 得到的點云數(shù)據(jù)與所述工件點云模型依據(jù)工件表面數(shù)據(jù)的曲率信息進行點云匹配，得到目 標工件;3)計算出點云數(shù)據(jù)與工件點云模型的轉(zhuǎn)換關(guān)系。
[0017] 本發(fā)明與現(xiàn)有技術(shù)相比具有明顯的優(yōu)點和有益效果。借由上述技術(shù)方案，本發(fā)明 基于雙目立體視覺的機械手抓取控制系統(tǒng)的控制方法可達到相當?shù)募夹g(shù)進步性及實用性， 并具有產(chǎn)業(yè)上的廣泛利用價值，其至少具有下列優(yōu)點：1)本系統(tǒng)通過雙目視覺和線激光掃 描結(jié)合的方式獲得工件點云數(shù)據(jù)，并通過點云建模和匹配，得到工件抓取位置，進而指引機 械手抓取和擺放工件，本系統(tǒng)實現(xiàn)了機械手抓取擺放工件的自動化，提高了企業(yè)生產(chǎn)效率， 增加企業(yè)競爭力。
[0018] 2)本系統(tǒng)通過與機械手相結(jié)合，僅需要操控人員在電腦端設定工件抓取和擺放場 景，便可實現(xiàn)現(xiàn)場環(huán)境內(nèi)的無人化操作，保證了操作人員的安全性。
[0019] 3)本系統(tǒng)能直觀的顯示點云掃描過程，以及工件掃描結(jié)果。便于操作人員了解系 統(tǒng)的運行狀況，使操作人員實時掌握系統(tǒng)的工作狀態(tài)，提高了系統(tǒng)的可維護性。
【附圖說明】
[0020] 圖1為本發(fā)明系統(tǒng)的硬件構(gòu)成圖；
[0021]圖2為本發(fā)明標志點編碼圖；
[0022]圖3為本發(fā)明點云模板圖。
[0023]圖4為本發(fā)明系統(tǒng)的工作流程圖；
[0024]圖5本發(fā)明三角測量原理圖。
[0025] 【主要元件符號說明】
[0026] 01-xyz:相機坐標系
[0027] 02-xyz:相機坐標系
[0028] Pl:相機坐標中的點 [0029] P2:相機坐標中的點
[0030] SI:相機鏡頭中心位置 [0031] S2:相機鏡頭中心位置
[0032] W:真實空間中的點
【具體實施方式】
[0033] 為更進一步闡述本發(fā)明為達成預定發(fā)明目的所采取的技術(shù)手段及功效，以下結(jié)合 附圖及較佳實施例，對依據(jù)本發(fā)明提出的一種基于雙目立體視覺的機械手抓取控制系統(tǒng)的 控制方法其具體方法、步驟及其功效，詳細說明如后。
[0034] 請參閱圖1-5,本發(fā)明一種基于雙目立體視覺的機械手抓取控制系統(tǒng)的控制方法， 包括以下步驟：
[0035] 1)標定相機的內(nèi)參數(shù)和外參數(shù)，然后通過示教機械手，實現(xiàn)相機坐標系和機械手 坐標系的轉(zhuǎn)換。在本發(fā)明實施中，通過編碼后的圓形標志點標定相機，示教機械手時通過對 通過編碼后的圓形標志點位置的示教完成對機械手的示教，實現(xiàn)相機坐標系和機械手坐標 系的轉(zhuǎn)換。
[0036] 本發(fā)明實施例將8個圓形點組成一個圓形編碼點組，每一組編碼點位置關(guān)系均不 相同，且被賦予一個唯一的編號。圖2為編碼點組織圖，使用過程中，將編碼點按照編碼點組 裁剪開，并粘貼到標定板上。利用編碼點來標定相機的內(nèi)參數(shù)和外參數(shù)，以及實現(xiàn)相機坐標 系和機械手坐標系的轉(zhuǎn)換。本方法具有高的標定精度，且能適應多種圖像形變，適應多種圖 像形變是因為編碼點提取時同時考慮了圓形點的形狀和亮度信息，而高的標定精度是由于 圓形點圓心的提取以圓的外邊界作為支撐域，這比方格形標定板采用角點提取的方法具有 更高的準確性。同時，發(fā)明中的標定方法同時矯正了相機鏡頭切向畸變和徑向畸變，進一步 保證了測量精度。
[0037] 2)線激光做弧面掃描運動，同時位于線激光兩側(cè)的相機分別從左右兩個視角拍攝 工作。本發(fā)明機械手抓取控制系統(tǒng)的硬件包括兩個相機和一個位于兩相機之間的線激光 器，其構(gòu)成圖請參閱圖1。
[0038] 3)對雙相機拍攝的兩幅圖像分別提取激光線。提取投射到工件上的激光線條時， 采用激光線條光照無關(guān)提取方法，即結(jié)合灰度閾值和圖片每行像素最值的方法實現(xiàn)激光線 條光照無關(guān)的初步提取，該方法保證了在環(huán)境光照下激光線條的穩(wěn)定提取，實現(xiàn)了激光線 條提取對光照變化的弱敏感性。
[0039]在激光線條提取過程中，需要將激光線離群點移除，本發(fā)明采用激光線條列像素 偏差限制的方法剔除因工件表面反射光線引起的激光線散亂，該方法有效剔除了非激光線 上的離群點，為后續(xù)激光同名點的匹配提供準確的種點。
[0040] 4)利用亞像素算法精確定位激光線的位置。本發(fā)明對于激光線上點的亞像素的定 位，采用灰度重心的方法精確的定位激光線的線條中心，從而實現(xiàn)激光線條的亞像素的定 位。該方法的應用提高了算法的定位精度。
[0041 ] 5)對兩相機圖片中提取到的激光線進行同名點匹配。
[0042] 6)通過三角測量原理計算激光線上每個點的三維空間坐標，完成對場景內(nèi)工件的 掃描，獲得相機視野內(nèi)的點云數(shù)據(jù)。
[0043]請參閱圖2,01-xyz與02-xyz分別是兩相機空間坐標系；P1，P2是一對兒同名點； SI，S2是相機鏡頭的中心位置;W是真實空間中的一個點。Pl，Sl確定了空間中一條直線，P2， S2確定了另一條直線，它們在空間中相較于W。
[0044] 空間直線:相機拍攝圖像后，相機CCD上的一個像點與相機鏡頭中心可以確定一條 直線。像點與鏡頭中心這兩點的坐標都在相機坐標系下，這兩點組成的空間直線方程為：
[0045]
[0046]
[0047] 其中，X，Y，Z為目標點的三維坐標，是未知數(shù)；
[0048] x，y，f為像點坐標，是已知量(通過分析圖像得到）；
[0049] Xs，Ys，Zs是鏡頭中心坐標，為已知量(在相機標定過程得到）；
[0050] ai 為坐標系變換參數(shù)，為已知量(在相機標定過程得到）；
[0051 ] -張圖像可以列一個直線方程，兩張圖像就可以列兩個直線方程，共4個方程組， 而式中的未知數(shù)只有三個(三維點坐標X，Y，Z)，因此，可算出三個未知數(shù)。
[0052] 7)建立工件點云模板，選取機械手抓取點位，然后將獲得的點云數(shù)據(jù)與工件點云 模板匹配，從而找到目標工件并計算出兩者間的轉(zhuǎn)換關(guān)系。
[0053]不同于已有系統(tǒng)采用cad數(shù)據(jù)導入的方法，本發(fā)明采用工件點云自建模的方式設 定機械手抓取工件的位置。建模過程如下：啟動雙相機系統(tǒng)，掃描工件點云數(shù)據(jù)，然后在界 面刪除錯誤的點云數(shù)據(jù)，即得到完成的工件點云模型，然后從中選取機械手抓取點位，點云 模板圖以及設定的機械手抓取工件位置請參閱圖3,該圖顯示的是3D點云數(shù)據(jù)的一個視角， 在開發(fā)的系統(tǒng)界面可以3D查看。
[0054]建立工件的點云模板后，就可以進行后續(xù)工件的掃描和機械手的控制。通過雙目 相機激光系統(tǒng)掃面工件獲得工件的3D數(shù)據(jù)，然后與點云模板自動匹配。本發(fā)明采用的匹配 方法是依據(jù)工件表面數(shù)據(jù)的曲率信息進行點云匹配，進而將模板點云中設定的工件抓取位 置轉(zhuǎn)換到當前工件坐標系下，指引機械手抓取和擺放工件。采用工件表面點云數(shù)據(jù)的曲率 信息作為匹配項是因為工件表面的曲率信息是一個不變特征，只要工件表面不發(fā)生形變， 工件的曲率信息也不會發(fā)生改變。不同于已有的點、線、曲面匹配方法，本發(fā)明采用工件表 面數(shù)據(jù)曲率信息匹配工件，具有不依賴于工件形狀特征的優(yōu)勢，即使工件部分特征發(fā)生改 變，只要工件部分曲率能夠與模板工件相匹配，就能準確的得到變換后的工件抓取位置。最 后根據(jù)點云匹配計算出點云數(shù)據(jù)與工件點云模型的轉(zhuǎn)換關(guān)系。
[0055] 8)將點云模板中設置的機械手抓取點位置通過步驟(7)計算出的轉(zhuǎn)換關(guān)系換算成 當前坐標，并將該坐標轉(zhuǎn)換到機械手坐標系下的坐標，將坐標傳遞給機械手，若坐標值在機 械手的運動范圍之內(nèi)，則機械手執(zhí)行抓取工件和擺放工件的動作，然后相機開始拍攝圖像， 進入先一個拍攝抓取循環(huán)。
[0056]以上所述，僅是本發(fā)明的較佳實施例而已，并非對本發(fā)明做任何形式上的限制，雖 然本發(fā)明已以較佳實施例揭露如上，然而并非用以限定本發(fā)明，任何熟悉本專業(yè)的技術(shù)人 員，在不脫離本發(fā)明技術(shù)方案范圍內(nèi)，當可利用上述揭示的技術(shù)內(nèi)容做出些許更動或修飾 為等同變化的等效實施例，但凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容，依據(jù)本發(fā)明的技術(shù)實質(zhì) 對以上實施例所做的任何簡單修改、等同變化與修飾，均仍屬于本發(fā)明技術(shù)方案的范圍內(nèi)。
【主權(quán)項】
1. 一種基于雙目立體視覺的機械手抓取控制系統(tǒng)的控制方法，其特征在于，包括以下 步驟： 1) 標定相機的內(nèi)參數(shù)和外參數(shù)，然后通過示教機械手，實現(xiàn)相機坐標系和機械手坐標 系的轉(zhuǎn)換； 2) 線激光做弧面掃描運動，同時位于線激光兩側(cè)的相機分別從左右兩個視角拍攝圖 像； 3) 對雙相機拍攝的兩幅圖像分別提取激光線； 4) 利用亞像素算法精確定位激光線的位置； 5) 對兩相機圖片中提取到的激光線進行同名點匹配； 6) 通過三角測量原理計算激光線上每個點的三維空間坐標，完成對場景內(nèi)工件的掃 描，獲得相機視野內(nèi)的點云數(shù)據(jù)； 7) 建立工件點云模板，選取機械手抓取點位，然后將獲得的點云數(shù)據(jù)與工件點云模板 匹配，從而找到目標工件并計算出兩者間的轉(zhuǎn)換關(guān)系； 8) 將點云模板中設置的機械手抓取點位置通過步驟(7)計算出的轉(zhuǎn)換關(guān)系換算成當前 坐標，并將該坐標轉(zhuǎn)換到機械手坐標系下的坐標，將坐標傳遞給機械手，若坐標值在機械手 的運動范圍之內(nèi)，則機械手執(zhí)行抓取工件和擺放工件的動作，然后相機開始拍攝圖像，進入 下一個拍攝抓取循環(huán)。2. 根據(jù)權(quán)利要求1所述的控制方法，其特征在于，其中所述的步驟1中，通過編碼后的圓 形標志點標定相機，示教機械手時通過示教該編碼后圓形標志點位置完成對機械手的示 教，實現(xiàn)相機坐標系和機械手坐標系的轉(zhuǎn)換。3. 根據(jù)權(quán)利要求1所述的控制方法，其特征在于，其中所述的步驟3中，提取激光線條 時，采用激光線條光照無關(guān)提取方法，即結(jié)合灰度閾值和圖片每行像素最值的方法實現(xiàn)激 光線條光照無關(guān)的初步提取。4. 根據(jù)權(quán)利要求1所述的控制方法，其特征在于，其中所述的步驟3中，在激光線條提取 過程中，采用激光線條列像素偏差限制的方法剔除因工件表面反射光線引起的激光線散 亂。5. 根據(jù)權(quán)利要求1所述的控制方法，其特征在于，其中所述的步驟4中，采用灰度重心的 方法精確的定位激光線的線條中心，從而實現(xiàn)激光線條的亞像素的定位。6. 根據(jù)權(quán)利要求1所述的控制方法，其特征在于，其中所述的步驟6中，通過三角測量原 理計算激光線上點的三維空間坐標，具體計算過程為:相機拍攝圖像后，相機上的一個像點 與相機鏡頭中心確定一條直線，像點與鏡頭中心這兩點的坐標都在相機坐標系下，這兩點 組成的空間直線方程為：其中，X，Y，Z為目標點的三維坐標;x，y，f為像點坐標;Xs，Ys，Zs是鏡頭中心坐標;ai、bi、 Ci為坐標系變換參數(shù)； 選取兩張圖像上的一對同名點，代入上述直線方程可得4個方程式組成的方程組，從而 得到X，Y，Z的值，即算出激光線上點的三維空間坐標。7.根據(jù)權(quán)利要求1所述的控制方法，其特征在于，其中所述的步驟7具體包括以下步驟： 1) 啟動雙相機系統(tǒng)，掃描工件點云數(shù)據(jù)，然后在界面刪除錯誤的點云數(shù)據(jù)，即得到完成 的工件點云模型； 2) 將步驟6得到的點云數(shù)據(jù)與所述工件點云模型依據(jù)工件表面數(shù)據(jù)的曲率信息進行點 云匹配，得到目標工件； 3) 計算出點云數(shù)據(jù)與工件點云模型的轉(zhuǎn)換關(guān)系。
【文檔編號】B25J9/16GK106041937SQ201610676653
【公開日】2016年10月26日
【申請日】2016年8月16日
【發(fā)明人】崔慶, 王志飛, 張卓輝, 向宇, 李曉亮, 夏璐璐, 高梓翔
【申請人】河南埃爾森智能科技有限公司