一種基于雙目立體視覺(jué)的機(jī)器人拆垛方法
【專利摘要】本發(fā)明公開了一種基于雙目立體視覺(jué)的機(jī)器人拆垛方法，包括以下步驟：利用固定在工作區(qū)正上方的雙目相機(jī)同時(shí)獲得左右眼視野內(nèi)的圖像，利用形狀模板匹配的方法進(jìn)行目標(biāo)定位，得到相機(jī)坐標(biāo)下的三維坐標(biāo)；進(jìn)行相機(jī)坐標(biāo)系與機(jī)器人基座坐標(biāo)系間的轉(zhuǎn)換；根據(jù)檢測(cè)出的目標(biāo)坐標(biāo)，進(jìn)行深度信息的排列、進(jìn)行分層拆垛。本發(fā)明直接通過(guò)雙目成像采集、利用雙目圖像實(shí)現(xiàn)對(duì)拆垛區(qū)產(chǎn)品的目標(biāo)識(shí)別和三維定位，進(jìn)而實(shí)現(xiàn)對(duì)產(chǎn)品的自動(dòng)化拆垛任務(wù)，可有效解決人工拆垛勞動(dòng)強(qiáng)度大，效率低的問(wèn)題。
【專利說(shuō)明】一種基于雙目立體視覺(jué)的機(jī)器人拆垛方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于雙目立體視覺(jué)的機(jī)器人拆垛方法。

【背景技術(shù)】
[0002] 目前國(guó)內(nèi)外在產(chǎn)品貯運(yùn)系統(tǒng)中已普遍采用自動(dòng)化碼垛系統(tǒng)，能夠?qū)a(chǎn)品直接堆放 至托盤，然后通過(guò)叉車堆存至袋裝庫(kù)。但是需要將產(chǎn)品出庫(kù)外運(yùn)時(shí)候，通常還是通過(guò)人工從 托盤上取出產(chǎn)品，然后再進(jìn)行裝車。人工拆垛勞動(dòng)強(qiáng)度大，效率低下。隨著我國(guó)經(jīng)濟(jì)的快速 發(fā)展以及人們生活水平的提高，近年來(lái)我國(guó)也逐步出現(xiàn)了勞動(dòng)力短缺的現(xiàn)象，特別是粗、笨 活勞動(dòng)力更是短缺。
[0003] 因此急需配置一種自動(dòng)化、智能化的拆垛設(shè)備與方法解決生產(chǎn)與運(yùn)輸?shù)拿堋?br>

【發(fā)明內(nèi)容】

[0004] 本發(fā)明為了解決上述問(wèn)題，提出了一種基于雙目立體視覺(jué)的機(jī)器人拆垛方法，該 方法通過(guò)雙目成像采集、利用雙目圖像實(shí)現(xiàn)對(duì)拆垛區(qū)產(chǎn)品的目標(biāo)識(shí)別和三維定位，進(jìn)而實(shí) 現(xiàn)對(duì)產(chǎn)品的自動(dòng)化拆垛任務(wù)，可有效解決人工拆垛勞動(dòng)強(qiáng)度大，效率低的問(wèn)題。
[0005] 為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：
[0006] 一種基于雙目立體視覺(jué)的機(jī)器人拆垛方法，包括以下步驟：
[0007] (1)利用固定在工作區(qū)正上方的雙目相機(jī)同時(shí)獲得左右眼視野內(nèi)的圖像，利用形 狀模板匹配的方法進(jìn)行目標(biāo)定位，得到相機(jī)坐標(biāo)下的三維坐標(biāo)；
[0008] (2)進(jìn)行相機(jī)坐標(biāo)系與機(jī)器人基座坐標(biāo)系間的轉(zhuǎn)換；
[0009] (3)根據(jù)檢測(cè)出的目標(biāo)坐標(biāo)，進(jìn)行深度信息的排列、進(jìn)行分層拆垛。
[0010] 所述步驟（1)中，其具體步驟包括：
[0011] (1-1)通過(guò)固定在工作區(qū)正上方的雙目相機(jī)同時(shí)獲得左右眼視野內(nèi)的圖像，并對(duì) 其進(jìn)行降噪處理；
[0012] (1-2)分別對(duì)雙目相機(jī)的左右眼圖像進(jìn)行基于形狀模板的匹配，得到左右眼圖像 像素坐標(biāo)；
[0013] (1-3)通過(guò)三角測(cè)量原理，將左右眼圖像像素坐標(biāo)轉(zhuǎn)換為在相機(jī)坐標(biāo)下的三維坐 標(biāo)。
[0014] 所述步驟（1-2)中，單眼圖像匹配的具體方法為：
[0015] a)離線條件下建立產(chǎn)品的形狀模板，完成模板的注冊(cè)，模板定義為點(diǎn)集Pi = (Xi, y)T和點(diǎn)集中的每個(gè)點(diǎn)對(duì)應(yīng)的方向向量(Ii = (h，Ui)T, i = 1，2,…n，n為方向向量為非 零點(diǎn)的個(gè)數(shù)，方向向量由Sobel梯度算子計(jì)算得到；
[0016] b)在線模板匹配時(shí)，為待搜索圖像中的每個(gè)點(diǎn)q= (x，y)T計(jì)算出一個(gè)方向向量ex, y = (Vx,y，Wx,y)T ;
[0017] c)在搜索圖像的某個(gè)特定點(diǎn)處，模板與搜索圖像之間的相似度測(cè)量定義為它們的 方向向量歸一化的點(diǎn)積和s :

【權(quán)利要求】
1. 一種基于雙目立體視覺(jué)的機(jī)器人拆垛方法，其特征是：包括以下步驟： (1) 利用固定在工作區(qū)正上方的雙目相機(jī)同時(shí)獲得左右眼視野內(nèi)的圖像，利用形狀模 板匹配的方法進(jìn)行目標(biāo)定位，得到相機(jī)坐標(biāo)下的三維坐標(biāo)； (2) 進(jìn)行相機(jī)坐標(biāo)系與機(jī)器人基座坐標(biāo)系間的轉(zhuǎn)換； (3) 根據(jù)檢測(cè)出的目標(biāo)坐標(biāo)，進(jìn)行深度信息的排列，對(duì)處于頂層的目標(biāo)物進(jìn)行排序，確 定最后的拆垛順序進(jìn)行分層拆垛。
2. 如權(quán)利要求1所述的一種基于雙目立體視覺(jué)的機(jī)器人拆垛方法，其特征是：所述步 驟（1)中，其具體步驟包括： (1-1)通過(guò)固定在工作區(qū)正上方的雙目相機(jī)同時(shí)獲得左右眼視野內(nèi)的圖像，并對(duì)其進(jìn) 行降噪處理； (1-2)分別對(duì)雙目相機(jī)的左右眼圖像進(jìn)行基于形狀模板的匹配，得到左右眼圖像像素 坐標(biāo)； (1-3)通過(guò)三角測(cè)量原理，將左右眼圖像像素坐標(biāo)轉(zhuǎn)換為在相機(jī)坐標(biāo)下的三維坐標(biāo)。
3. 如權(quán)利要求2所述的一種基于雙目立體視覺(jué)的機(jī)器人拆垛方法，其特征是：所述步 驟（1-2)中，單眼圖像匹配的具體方法為： a) 離線條件下建立產(chǎn)品的形狀模板，完成模板的注冊(cè)，模板定義為點(diǎn)集Pi = (Xi，yi)T和點(diǎn)集中的每個(gè)點(diǎn)對(duì)應(yīng)的方向向量(Ii = (h，Ui)T, i = 1，2,…n，n為方向向量為非零點(diǎn)的 個(gè)數(shù)，方向向量由Sobel梯度算子計(jì)算得到； b) 在線模板匹配時(shí)，為待搜索圖像中的每個(gè)點(diǎn)q = (x，y)T計(jì)算出一個(gè)方向向量ex,y = (vx,y，wx,y)T ; C)在搜索圖像的某個(gè)特定點(diǎn)處，模板與搜索圖像之間的相似度測(cè)量定義為它們的方向 向量歸一化的點(diǎn)積和S :
其中，p' i = (X' i，y' i)T、d' i = (t' i，u' i)T分別為Pi、Cli經(jīng)剛性變換或相似變換變換后 的坐標(biāo)和方向向量；如果S大于一定的閾值，則該點(diǎn)對(duì)應(yīng)的區(qū)域即被認(rèn)為是一目標(biāo)圖像； d) 目標(biāo)搜索：在雙目相機(jī)左右眼圖像上分別采用金字塔結(jié)構(gòu)實(shí)施由粗到精的匹配策 略，并以尺度步長(zhǎng)As和旋轉(zhuǎn)角度步長(zhǎng)△ e離散化搜索空間； e) 根據(jù)精度需要，在步驟d)檢出的目標(biāo)附近，采用基于Facet模型的方法對(duì)邊緣點(diǎn)進(jìn) 行亞像素定位，進(jìn)而采用ICP(Iterative Closest Point)算法精化匹配結(jié)果，以獲得高精 度的定位精度。
4. 如權(quán)利要求2所述的一種基于雙目立體視覺(jué)的機(jī)器人拆垛方法，其特征是：所述步 驟（1-3)的具體方法為： 根據(jù)目標(biāo)在左右眼圖像中的像素坐標(biāo)（U1J1)和（h\)，通過(guò)三角測(cè)量原理可得其在 相機(jī)坐標(biāo)下的三維坐標(biāo)；
其中，X = [X Y Z]T為目標(biāo)在相機(jī)坐標(biāo)系下三維坐標(biāo)，d = Ui_UM b為基線距離，c = [U1 V f]T,這里所用的相機(jī)為平行光軸雙目相機(jī),且左右相機(jī)參數(shù)相同，故有V1 = V1^ = Vd1 =fr = f O
5. 如權(quán)利要求1所述的一種基于雙目立體視覺(jué)的機(jī)器人拆垛方法，其特征是：所述步 驟 (2)的具體步驟包括： (2-1)把一標(biāo)定參照物隨機(jī)置于機(jī)器人工作空間內(nèi)隨機(jī)選取的n個(gè)位置，確保選取的 位置要在相機(jī)的拍攝范圍內(nèi)； (2-2)在每個(gè)位置由前述視覺(jué)定位模塊計(jì)算出參照物在相機(jī)坐標(biāo)系內(nèi)的三維坐標(biāo) (Xc, Yc, Zc)； (2-3)讓機(jī)器人手爪夾持一末端尖狀物，操作機(jī)器人使尖狀物末端輕觸參照物的中心， 從機(jī)器人控制器的讀數(shù)可知參照物在機(jī)器人坐標(biāo)系下的三維坐標(biāo)（I，乙，ZJ ; (2-4)因相機(jī)固定在機(jī)器人工作區(qū)域的上方，故（HZ。）和（X,，Y,，Z,)存在如下關(guān) 系：
(2-2)和（2-3)所得的n個(gè)數(shù)據(jù)帶入方程⑶得3n個(gè)線性方程組； (2-5)利用最小二乘法求解線性方程組解出R和T。
6. 如權(quán)利要求1所述的一種基于雙目立體視覺(jué)的機(jī)器人拆垛方法，其特征是：所述步 驟（3)的具體方法包括： (3-1)對(duì)于檢測(cè)出的n個(gè)目標(biāo)物，首先對(duì)每個(gè)目標(biāo)的深度信息進(jìn)行由小到大排列，然后 進(jìn)行判斷是否在一層； (3-2)對(duì)目標(biāo)物分層后，對(duì)處于頂層的目標(biāo)物進(jìn)行排序，確定最后的拆垛順序，機(jī)器人 對(duì)目標(biāo)物實(shí)施拆垛； (3-3)當(dāng)機(jī)器人完成本層的拆垛任務(wù)后，返回步驟（1)，再次驅(qū)動(dòng)雙目相機(jī)進(jìn)行雙目圖 像獲取，依次進(jìn)行。
7. 如權(quán)利要求6所述的一種基于雙目立體視覺(jué)的機(jī)器人拆垛方法，其特征是：所述 步驟（3-1)的詳細(xì)步驟為：對(duì)于檢測(cè)出的n個(gè)目標(biāo)物IOBJ1, OBJ2，…，OBJj，其坐標(biāo)分別為 (X1JdZ1), (X2, Y2, Z2),…（Xn，Yn，Zn)，首先對(duì)每個(gè)目標(biāo)的深度信息進(jìn)行由小到大排列，然后 進(jìn)行判斷；如果IZi-ZjI彡入H(i = 1，2, --?!!，j > i)，則第i個(gè)和第j個(gè)為同層目標(biāo)物，否 則為兩個(gè)目標(biāo)物處在不同層。其中H為目標(biāo)物厚度，A為系數(shù)。
8. 如權(quán)利要求6所述的一種基于雙目立體視覺(jué)的機(jī)器人拆垛方法，其特征是：所述步 驟（3-2)的具體步驟為：對(duì)目標(biāo)物分層后，對(duì)處于頂層的目標(biāo)物按一定的次序進(jìn)行排序，確 定最后的拆垛順序：IOBJ1, OBJ2，…OBJJ，并將其三維坐標(biāo)傳給機(jī)器人運(yùn)動(dòng)控制器，機(jī)器人 控制器驅(qū)動(dòng)機(jī)器人末端執(zhí)行器運(yùn)動(dòng)到上述位置進(jìn)行抓取，并給出釋放位置后，即可實(shí)現(xiàn)對(duì) 目標(biāo)物的拆垛任務(wù)。
【文檔編號(hào)】G06T17/00GK104331894SQ201410665285
【公開日】2015年2月4日 申請(qǐng)日期:2014年11月19日 優(yōu)先權(quán)日:2014年11月19日
【發(fā)明者】范新建, 侯憲倫, 劉曉剛, 劉廣亮, 王學(xué)林, 肖永飛 申請(qǐng)人:山東省科學(xué)院自動(dòng)化研究所