一種基于視覺(jué)識(shí)別的工業(yè)機(jī)器人示教裝置及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及機(jī)器視覺(jué)技術(shù)領(lǐng)域，尤其涉及基于視覺(jué)識(shí)別的工業(yè)機(jī)械人示教裝置及 方法。
【背景技術(shù)】
[0002] 工業(yè)機(jī)器人是面向工業(yè)領(lǐng)域的多關(guān)節(jié)機(jī)械手或多自由度的機(jī)器裝置，它能自動(dòng)執(zhí) 行工作，是靠自身動(dòng)力和控制能力來(lái)實(shí)現(xiàn)各種功能的一種機(jī)器。工業(yè)機(jī)器人可以接受人類(lèi) 指揮，也可以按照預(yù)先編排的程序運(yùn)行，現(xiàn)代的工業(yè)機(jī)器人還可以根據(jù)人工智能技術(shù)制定 的原則綱領(lǐng)行動(dòng)。
[0003] 機(jī)器人技術(shù)是一項(xiàng)綜合了計(jì)算機(jī)、控制論、機(jī)構(gòu)學(xué)、信息和傳感技術(shù)、人工智能等 多學(xué)科的高新技術(shù)，是當(dāng)代研究十分活躍且應(yīng)用日益廣泛的領(lǐng)域，并逐漸成為一個(gè)國(guó)家工 業(yè)自動(dòng)化水平的重要標(biāo)志。機(jī)器視覺(jué)是工業(yè)機(jī)器人領(lǐng)域的關(guān)鍵技術(shù)之一，是提高機(jī)器人智 能水平的關(guān)鍵。
[0004] 工業(yè)機(jī)器人作為一種對(duì)生產(chǎn)條件和生產(chǎn)環(huán)境適應(yīng)性和靈活性很強(qiáng)的自動(dòng)化設(shè)備， 其在機(jī)械制造、零件加工和裝配以及運(yùn)輸?shù)阮I(lǐng)域有著廣泛應(yīng)用。工業(yè)機(jī)器人對(duì)穩(wěn)定提高產(chǎn) 品品質(zhì)、提高生產(chǎn)效率和改善勞動(dòng)條件起著十分重要的作用。機(jī)器視覺(jué)作為工業(yè)機(jī)器人獲 得環(huán)境信息的主要手段之一，它可以增加機(jī)器人的自主能力，提高機(jī)器人的靈活性。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明實(shí)施例的目的在于提供基于視覺(jué)識(shí)別的工業(yè)機(jī)器人示教裝置及方法，為工 業(yè)機(jī)器人提供對(duì)工件的自動(dòng)定位及運(yùn)動(dòng)路徑規(guī)劃示教等。
[0006] 本發(fā)明提供一種基于視覺(jué)識(shí)別的工業(yè)機(jī)器人示教裝置，其特征在于：其包括：工 業(yè)機(jī)械人的機(jī)械手，其端部設(shè)有對(duì)待測(cè)工件工作的機(jī)械手末端；大視場(chǎng)相機(jī)，拍照視場(chǎng)覆 蓋機(jī)械手的整個(gè)有效工作范圍；小視場(chǎng)相機(jī)，固定在機(jī)械手的末端，隨機(jī)械手的手臂一起移 動(dòng)；以及機(jī)械手示教器，接收大視場(chǎng)相機(jī)和小視場(chǎng)相機(jī)拍攝的圖像并預(yù)處理相機(jī)拍照傳來(lái) 的圖像，機(jī)械手示教器內(nèi)設(shè)有圖像分析軟件。
[0007] 本發(fā)明還提供一種基于視覺(jué)識(shí)別的工業(yè)機(jī)器人示教方法，包括如下步驟：
[0008] 第一步：對(duì)機(jī)械手坐標(biāo)系及大、小視場(chǎng)相機(jī)坐標(biāo)系進(jìn)行標(biāo)定，將所有坐標(biāo)系統(tǒng)一到 同一個(gè)坐標(biāo)系；
[0009] 第二步：大視場(chǎng)相機(jī)對(duì)機(jī)械手工作場(chǎng)景進(jìn)行拍照，同時(shí)大視場(chǎng)相機(jī)拍攝的圖像對(duì) 機(jī)械手的點(diǎn)位運(yùn)動(dòng)路徑進(jìn)行粗定位，機(jī)械手示教器的圖像分析軟件識(shí)別出被測(cè)工件的輪廓 尺寸等信息，通過(guò)圖像分析軟件設(shè)定機(jī)械手移動(dòng)的點(diǎn)位路徑；
[0010] 第三步：機(jī)械手運(yùn)動(dòng)到粗定位點(diǎn)后，由小視場(chǎng)相機(jī)對(duì)粗定位點(diǎn)位置進(jìn)行拍照，尋找 被測(cè)工件的特征信息，移動(dòng)機(jī)械手至小視場(chǎng)相機(jī)的圖像中心點(diǎn)與被測(cè)工件的特征區(qū)域中心 點(diǎn)重合，該點(diǎn)即為機(jī)械手在該處精確的點(diǎn)位信息。
[0011] 其中，所述第二步還包括：圖像分析軟件還需判斷機(jī)械手的點(diǎn)位移動(dòng)過(guò)程中是否 有障礙物，如有障礙物，需進(jìn)行壁障，即根據(jù)障礙物的位置與形狀，對(duì)機(jī)械手的點(diǎn)位運(yùn)動(dòng)路 徑進(jìn)行規(guī)劃。
[0012] 其中，所述第一步的具體方法為：選擇一標(biāo)定板置于機(jī)械手的工作區(qū)域，標(biāo)定板作 為待測(cè)工件，大視場(chǎng)相機(jī)能對(duì)整塊標(biāo)定板成像，以標(biāo)定板的中心點(diǎn)為坐標(biāo)原點(diǎn)，建立一個(gè)直 角坐標(biāo)系，此坐標(biāo)系即為機(jī)械手點(diǎn)位運(yùn)動(dòng)的坐標(biāo)系，機(jī)械手坐標(biāo)系和大小視場(chǎng)相機(jī)坐標(biāo)都 要以此坐標(biāo)系為基準(zhǔn)。
[0013] 其中，所述第二步的具體方法為：根據(jù)機(jī)械手在標(biāo)定板上的點(diǎn)位運(yùn)動(dòng)坐標(biāo)系，建立 從大視場(chǎng)相機(jī)坐標(biāo)系轉(zhuǎn)換到機(jī)械手點(diǎn)位運(yùn)動(dòng)坐標(biāo)系的旋轉(zhuǎn)矩陣；然后統(tǒng)一機(jī)械手坐標(biāo)系與 機(jī)械手的點(diǎn)位運(yùn)動(dòng)坐標(biāo)系。
[0014] 其中，所述機(jī)械手的點(diǎn)位運(yùn)動(dòng)路徑的規(guī)劃過(guò)程為：大視場(chǎng)相機(jī)對(duì)標(biāo)定板成像，由圖 像處理軟件對(duì)大視場(chǎng)相機(jī)拍攝的圖像進(jìn)行處理，求出標(biāo)定板的輪廓特征，再在示教器上選 擇機(jī)械手的點(diǎn)位信息，并通過(guò)坐標(biāo)旋轉(zhuǎn)矩陣將圖像坐標(biāo)轉(zhuǎn)換為機(jī)械點(diǎn)位運(yùn)動(dòng)坐標(biāo)系坐標(biāo)。
[0015] 其中，標(biāo)記板采用棋盤(pán)格、或者有規(guī)則格子的板都可以作為標(biāo)定板。
[0016] 其中，大視場(chǎng)相機(jī)的圖像坐標(biāo)轉(zhuǎn)換為機(jī)械手點(diǎn)位運(yùn)動(dòng)坐標(biāo)包括如下過(guò)程：
[0017] B1 :大視場(chǎng)相機(jī)坐標(biāo)到機(jī)械手點(diǎn)位運(yùn)動(dòng)坐標(biāo)的坐標(biāo)轉(zhuǎn)換矩陣，通過(guò)此轉(zhuǎn)換矩陣將 大視場(chǎng)相機(jī)的圖像坐標(biāo)轉(zhuǎn)換為機(jī)械手點(diǎn)位運(yùn)動(dòng)坐標(biāo)；
[0018] B2 :統(tǒng)一機(jī)械手1的坐標(biāo)系與機(jī)械手1的點(diǎn)位運(yùn)動(dòng)坐標(biāo)系，保證兩坐標(biāo)系平行。
[0019] 其中，所述步驟B1的具體方法為：首先，由圖像處理軟件對(duì)大視場(chǎng)相機(jī)拍攝的標(biāo) 記板圖像進(jìn)行處理，求標(biāo)記板所有格點(diǎn)在圖像中的像素坐標(biāo)；然后，建立一個(gè)大視場(chǎng)相機(jī)坐 標(biāo)到機(jī)械手點(diǎn)位運(yùn)動(dòng)坐標(biāo)的坐標(biāo)轉(zhuǎn)換矩陣，通過(guò)此轉(zhuǎn)換矩陣，可將大視場(chǎng)相機(jī)的圖像坐標(biāo) 轉(zhuǎn)換為機(jī)械手點(diǎn)位運(yùn)動(dòng)坐標(biāo)。
[0020] 其中，大視場(chǎng)相機(jī)的圖像坐標(biāo)轉(zhuǎn)換為機(jī)械手點(diǎn)位運(yùn)動(dòng)坐標(biāo)的過(guò)程為：設(shè)定X坐標(biāo) 為標(biāo)定板平行于水平面的坐標(biāo)，y坐標(biāo)為垂直于X坐標(biāo)，xy坐標(biāo)系為機(jī)械手點(diǎn)位運(yùn)動(dòng)坐標(biāo) 系，X坐標(biāo)與y坐標(biāo)的交叉點(diǎn)為0點(diǎn)，即：標(biāo)定板的中心點(diǎn)，此點(diǎn)將作為機(jī)械手的點(diǎn)位運(yùn)動(dòng) 坐標(biāo)系的原點(diǎn)；在坐標(biāo)系中選擇三點(diǎn)：pl、P2、p3為人工在示教器上選定的三個(gè)點(diǎn)，假設(shè) 點(diǎn)pi、p2、p3在圖像上的像素坐標(biāo)已知，假設(shè)為（plr, pic)，（p2r, p2c)，（p3r, p3c)，根據(jù) 建立的機(jī)械手點(diǎn)位運(yùn)動(dòng)坐標(biāo)系：設(shè)定點(diǎn)pl、p2、p3在機(jī)械手點(diǎn)位運(yùn)動(dòng)坐標(biāo)系中的坐標(biāo)分別 為（-2,3)、（3,1)、（2,-2)，建立一個(gè)像素點(diǎn)坐標(biāo)換算至機(jī)械手點(diǎn)為運(yùn)動(dòng)坐標(biāo)的換算矩陣=
[0022] 計(jì)算出換算矩陣的各個(gè)值后，就可根據(jù)旋轉(zhuǎn)矩陣將圖像上的各個(gè)點(diǎn)轉(zhuǎn)換為機(jī)械手 點(diǎn)位運(yùn)動(dòng)坐標(biāo)系中的坐標(biāo)。
[0023] 其中，所述選擇的三點(diǎn)pl、p2、p3為棋盤(pán)格中某個(gè)小方格的頂點(diǎn)。
[0024] 其中，所述步驟B2的具體方法為：用大視場(chǎng)相機(jī)對(duì)標(biāo)記的兩標(biāo)記點(diǎn)成像，求出該 兩標(biāo)記點(diǎn)在圖像上的坐標(biāo)并換算至機(jī)械手的點(diǎn)位運(yùn)動(dòng)坐標(biāo)系，計(jì)算這兩點(diǎn)在機(jī)械手點(diǎn)位運(yùn) 動(dòng)坐標(biāo)中的距離以及與水平方向的夾角。
[0025] 其中，所述步驟B2所述的方法，多次調(diào)整或旋轉(zhuǎn)機(jī)械手至兩點(diǎn)在機(jī)械手點(diǎn)位運(yùn)動(dòng) 坐標(biāo)系中的距離和方向與機(jī)械手坐標(biāo)系的一致。
[0026] 其中，假定機(jī)械手坐標(biāo)系控制機(jī)械手沿其X軸正方向從位置S1處移動(dòng)到位置S2 處，并在各位置處標(biāo)記之，大視場(chǎng)相機(jī)對(duì)標(biāo)記點(diǎn)拍照，求出標(biāo)記點(diǎn)中心點(diǎn)的圖像坐標(biāo)，假設(shè) SI = (Sir, Sic), S2 = (S2r, S2c)，機(jī)械手1的點(diǎn)位運(yùn)動(dòng)坐標(biāo)系的坐標(biāo)為S1*H換算矩陣，S2* 換算矩陣，機(jī)械手的點(diǎn)位運(yùn)動(dòng)坐標(biāo)系中線段Sl、S2與X軸正方向夾角即為機(jī)械手坐標(biāo)系與 機(jī)械手點(diǎn)位運(yùn)動(dòng)坐標(biāo)系統(tǒng)一需要調(diào)整的角度。
[0027] 其中，所述第三步包括如下步驟：
[0028] C1 :運(yùn)動(dòng)機(jī)械手末端至其工作位置，小視場(chǎng)相機(jī)對(duì)標(biāo)定板成像，計(jì)算小視場(chǎng)標(biāo)定板 圖像中一個(gè)格子的實(shí)際長(zhǎng)度S與其像素長(zhǎng)度的比例即可以得到小視場(chǎng)相機(jī)的標(biāo)定系數(shù)C:
[0030] C2 :大視場(chǎng)相機(jī)對(duì)機(jī)械手工作范圍內(nèi)的待測(cè)工件成像，待測(cè)工件或待測(cè)工件及其 障礙物的外形輪廓，粗略選定機(jī)械手運(yùn)動(dòng)的各個(gè)點(diǎn)位的像素坐標(biāo)，并通過(guò)第一步所述方法， 將各個(gè)點(diǎn)位的像素坐標(biāo)轉(zhuǎn)換為機(jī)械手點(diǎn)位運(yùn)動(dòng)坐標(biāo)。
[0031] C3 :驅(qū)動(dòng)機(jī)械手按該路徑運(yùn)動(dòng)，機(jī)械手運(yùn)動(dòng)至各粗略定位點(diǎn)之后，由小視場(chǎng)相機(jī)對(duì) 當(dāng)前環(huán)境進(jìn)行成像，計(jì)算小視場(chǎng)相機(jī)中心點(diǎn)與機(jī)械手的末端工作點(diǎn)的像素距離，根據(jù)C1步 驟所得標(biāo)定結(jié)果將像素距離換算成長(zhǎng)度距離，并驅(qū)動(dòng)機(jī)械手移動(dòng)小視場(chǎng)相機(jī)中心與機(jī)械手 的末端工作點(diǎn)重合，小視場(chǎng)相機(jī)中心點(diǎn)與機(jī)械手的末端工作點(diǎn)的重合點(diǎn)加上小視場(chǎng)相機(jī)中 心點(diǎn)與機(jī)械手末端的固定偏移量即為機(jī)械手在該處的精確點(diǎn)位信息。
[0032] 本發(fā)明中所采取的技術(shù)方案是雙相機(jī)對(duì)機(jī)器人的運(yùn)動(dòng)路徑進(jìn)行規(guī)劃：由大視場(chǎng)相 機(jī)進(jìn)行運(yùn)動(dòng)路徑的粗略定位和總體規(guī)劃，由小視場(chǎng)相機(jī)對(duì)每個(gè)粗略定位點(diǎn)進(jìn)行精確定位。 通過(guò)本發(fā)明可對(duì)黏連在工件上的障礙物進(jìn)行規(guī)避，大大提高了機(jī)器人的智能水平，本發(fā)明 能很好的適用于生產(chǎn)線零件的加工、工件的抓取等。
【附圖說(shuō)明】
[0033] 圖1所示為本發(fā)明基于視覺(jué)識(shí)別的工業(yè)機(jī)器人示教裝置的結(jié)構(gòu)示意圖；
[0034] 圖2所示為大視場(chǎng)相機(jī)坐標(biāo)系標(biāo)定示意圖；
[0035] 圖3所示機(jī)械手坐標(biāo)系與機(jī)械手點(diǎn)位運(yùn)動(dòng)坐標(biāo)系的統(tǒng)一示意圖；
[0036] 圖4所示為圖3機(jī)械手坐標(biāo)系與機(jī)械手點(diǎn)位運(yùn)動(dòng)坐標(biāo)系在坐標(biāo)系中的示意圖。
【具體實(shí)施方式】
[0037] 為了使本發(fā)明的目的、技術(shù)方案更清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn) 行進(jìn)一步的詳細(xì)說(shuō)明，不能認(rèn)定本發(fā)明的具體實(shí)施只局限于這些說(shuō)明。對(duì)于本發(fā)明所屬技 術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡(jiǎn)單推演和 替換，都應(yīng)該視為屬于本發(fā)明的保護(hù)范圍。
[0038] 機(jī)器人技術(shù)是一項(xiàng)綜合了計(jì)算機(jī)、控制論、機(jī)構(gòu)學(xué)、信息和傳感技術(shù)、人工智能等 多學(xué)科的高新技術(shù)，是當(dāng)代研究十分活躍且應(yīng)用日益