專利名稱：一種適用于工業(yè)機(jī)器人的操作物位置姿態(tài)識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種適用于工業(yè)機(jī)器人的操作物位置姿態(tài)識(shí)別方法，屬于工業(yè)機(jī)器人領(lǐng)域。
背景技術(shù)：
目前，工業(yè)機(jī)器人主要應(yīng)用于結(jié)構(gòu)化環(huán)境中，采用試教再現(xiàn)方式完成相應(yīng)的功能，即首先由人工導(dǎo)引機(jī)器人末端執(zhí)行器使機(jī)器人完成預(yù)期的動(dòng)作，機(jī)器人將該動(dòng)作序列進(jìn)行存儲(chǔ)，然后機(jī)器人憑記憶不斷重復(fù)該動(dòng)作，完成作業(yè)功能。為使機(jī)器人能夠勝任復(fù)雜的非結(jié)構(gòu)化環(huán)境中的工作，不但要有更好的控制系統(tǒng)，還需要更多地感知環(huán)境的變化。其中機(jī)器人視覺以其信息量大、信息完整成為最重要的機(jī)器人感知功能，因此機(jī)器人視覺伺服系統(tǒng)應(yīng)運(yùn)而生。視覺伺服系統(tǒng)按照攝像機(jī)的數(shù)目的不同，可分為單目視覺伺服系統(tǒng)、雙目視覺伺服系統(tǒng)以及多目視覺伺服系統(tǒng)；按照攝像機(jī)放置位置的不同，可以分為手眼系統(tǒng)和固定攝像機(jī)系統(tǒng)；按照系統(tǒng)反饋控制量的不同，視覺伺服系統(tǒng)分為基于位置的視覺伺服系統(tǒng)和基于圖像的視覺伺服系統(tǒng)。目前，國(guó)內(nèi)外對(duì)該領(lǐng)域的相應(yīng)研究相對(duì)較少，且主要集中在基于圖像的單目手眼系統(tǒng)，其中主要研究成果包括:國(guó)家知識(shí)產(chǎn)權(quán)局2011年10月15日公開的專利號(hào)為201020685635.7的“基于視覺伺服的移動(dòng)機(jī)器人精確定位云臺(tái)系統(tǒng)”發(fā)明中公開了一種基于視覺伺服的移動(dòng)機(jī)器人精確定位云臺(tái)系統(tǒng)，該發(fā)明為典型的基于圖像的視覺伺服系統(tǒng)，發(fā)明通過(guò)單目相機(jī)獲取圖像，通過(guò)相應(yīng)的算法提取圖像特征，并與模板圖像比較，實(shí)現(xiàn)伺服功能。國(guó)家知識(shí)產(chǎn)權(quán)局2005年3月30公告的專利號(hào)為CN200410067328.1的“焊接機(jī)器人伺服雙目視覺傳感器”發(fā)明中公開了一種應(yīng)用于焊接機(jī)器人的雙目視覺傳感器，該發(fā)明為典型的基于位置的視覺伺服系統(tǒng)，發(fā)明采用雙目視覺算法實(shí)現(xiàn)操作物的三維信息的獲取，將該位置信息反饋機(jī)器人系統(tǒng)實(shí)現(xiàn)伺服功能。上述研究都取得了一定程度上的有益效果，但仍存在如下問(wèn)題:“基于視覺伺服的移動(dòng)機(jī)器人精確定位云臺(tái)系統(tǒng)”中由于采用單目相機(jī)，只能獲取操作物的二維信息，無(wú)法獲取深度信息，控制精度不高。“焊接機(jī)器人伺服雙目視覺傳感器”中由于雙目算法的復(fù)雜度較高，算法運(yùn)算時(shí)間長(zhǎng)，無(wú)法實(shí)現(xiàn)機(jī)器人系統(tǒng)的實(shí)時(shí)控制。

發(fā)明內(nèi)容
本發(fā)明的目的在于解決上述問(wèn)題，提供一種適用于工業(yè)機(jī)器人的操作物位置姿態(tài)識(shí)別方法，該方法可以應(yīng)用于基于位置的視覺伺服系統(tǒng)中，采用雙目立體相機(jī)，通過(guò)立體視覺算法、目標(biāo)跟蹤算法、卡爾曼濾波算法，實(shí)時(shí)為系統(tǒng)提供操作物的位置和姿態(tài)信息，方法運(yùn)算時(shí)間短，精度高，能適應(yīng)室內(nèi)室外等不同光照條件，為工業(yè)機(jī)器人在非結(jié)構(gòu)化環(huán)境內(nèi)的使用提供技術(shù)支撐。
為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案:一種適用于工業(yè)機(jī)器人的操作物位置姿態(tài)識(shí)別方法，步驟如下:步驟1，初始化操作，將左右相機(jī)和操作物初始進(jìn)行標(biāo)定，然后利用左右相機(jī)獲取圖像數(shù)據(jù)；步驟2，利用圖像采集過(guò)程中前后兩幀圖像的對(duì)運(yùn)動(dòng)的操作物進(jìn)行跟蹤；步驟3，通過(guò)卡爾曼濾波平滑前后兩幀圖像中操作物跟蹤窗口的變化；步驟4，采用圖像數(shù)據(jù)降維方式，將雙目相機(jī)采集的整幅圖像的立體視覺數(shù)據(jù)即位置和姿態(tài)數(shù)據(jù)限定在步驟3的跟蹤窗內(nèi)進(jìn)行處理，從而降低數(shù)據(jù)處理的維數(shù)；步驟5，計(jì)算操作物的立體位置和姿態(tài)，并將數(shù)據(jù)反饋給機(jī)器人伺服控制系統(tǒng)實(shí)現(xiàn)伺服控制。所述步驟I中,左右相機(jī)圖像采集頻率應(yīng)大于每秒8幀；所述左右相機(jī)的標(biāo)定包括左右相機(jī)的內(nèi)參標(biāo)定和左右相機(jī)相對(duì)位置的標(biāo)定，其中左右相機(jī)內(nèi)參的畸變校正；左右相機(jī)相對(duì)位置標(biāo)定為確定左右相機(jī)的相對(duì)位置；所述操作物初始位置標(biāo)定為人工在左相機(jī)采集到的圖像中對(duì)操作物初始位置進(jìn)行標(biāo)定。所述步驟2中，跟蹤過(guò)程為:2-1)在前一幀圖像中初始化操作物跟蹤窗；

2-2)計(jì)算跟蹤窗 內(nèi)圖像的顏色概率分布；2-3)運(yùn)用均值漂移算法，獲得圖像中操作物新的大小和位置；2-4)在后一幀視頻圖像中用2-3)中的值重新初始化跟蹤窗的大小和位置，再跳轉(zhuǎn)到2-2)繼續(xù)進(jìn)行。所述跟蹤窗為圖像中的包含操作物的矩形區(qū)域，初始位置由步驟I中所述操作物初始位置標(biāo)定操作來(lái)確定。所述顏色概率分布為所述均值漂移算法的輸入數(shù)據(jù)，其主要實(shí)現(xiàn)過(guò)程如下:I)首先將圖像從RGB空間轉(zhuǎn)換到HSV空間；2 )然后對(duì)其中的H分量作統(tǒng)計(jì)直方圖，直方圖數(shù)據(jù)代表了不同H分量值在圖像中出現(xiàn)的概率；3)將圖像中每個(gè)像素的值用其H分量出現(xiàn)的概率替換，就得到了顏色概率分布。所述均值漂移算法是一種密度函數(shù)梯度估計(jì)的非參數(shù)方法，該算法通過(guò)迭代尋優(yōu)找到概率分布的極值來(lái)定位目標(biāo)，其實(shí)現(xiàn)過(guò)程如下:a在圖像顏色概率分布中選取跟蹤窗；b計(jì)算跟蹤窗內(nèi)圖像零階距M。。、一階距M1Q，MQ1和跟蹤窗質(zhì)心，其中I(x，y)為圖像方程，X為圖像橫坐標(biāo)，y為圖像縱坐標(biāo)，(x。，yc)為跟蹤窗質(zhì)心；
權(quán)利要求
1.一種適用于工業(yè)機(jī)器人的操作物位置姿態(tài)識(shí)別方法，其特征是，步驟如下: 步驟1，初始化操作，將左右相機(jī)和操作物初始進(jìn)行標(biāo)定，然后利用左右相機(jī)獲取圖像數(shù)據(jù)； 步驟2，利用圖像采集過(guò)程中前后兩幀圖像的對(duì)運(yùn)動(dòng)的操作物進(jìn)行跟蹤； 步驟3，通過(guò)卡爾曼濾波平滑前后兩幀圖像中操作物跟蹤窗口的變化； 步驟4，采用圖像數(shù)據(jù)降維方式，將雙目相機(jī)采集的整幅圖像的立體視覺數(shù)據(jù)即位置和姿態(tài)數(shù)據(jù)限定在步驟3的跟蹤窗內(nèi)進(jìn)行處理，從而降低數(shù)據(jù)處理的維數(shù)； 步驟5，計(jì)算操作物的立體位置和姿態(tài)，并將數(shù)據(jù)反饋給機(jī)器人伺服控制系統(tǒng)實(shí)現(xiàn)伺服控制。
2.如權(quán)利要求1所述的適用于工業(yè)機(jī)器人的操作物位置姿態(tài)識(shí)別方法，其特征是，所述步驟I中,左右相機(jī)圖像采集頻率應(yīng)大于每秒8幀； 所述左右相機(jī)的標(biāo)定包括左右相機(jī)的內(nèi)參標(biāo)定和左右相機(jī)相對(duì)位置的標(biāo)定，其中左右相機(jī)內(nèi)參的畸變校正；左右相機(jī)相對(duì)位置標(biāo)定為確定左右相機(jī)的相對(duì)位置； 所述操作物初始位置標(biāo)定為人工在左相機(jī)采集到的圖像中對(duì)操作物初始位置進(jìn)行標(biāo)定。
3.如權(quán)利要求1所述的適用于工業(yè)機(jī)器人的操作物位置姿態(tài)識(shí)別方法，其特征是，所述步驟2中，跟蹤過(guò)程為: 2-1)在前一幀圖像中初始化操作物跟蹤窗；2-2)計(jì)算跟蹤窗內(nèi)圖像的顏色概率分布； 2-3)運(yùn)用均值漂移算法，獲得圖像中操作物新的大小和位置； 2-4)在后一幀視頻圖像中用2-3)中的值重新初始化跟蹤窗的大小和位置，再跳轉(zhuǎn)到2-2)繼續(xù)進(jìn)行。
4.如權(quán)利要求3所述的適用于工業(yè)機(jī)器人的操作物位置姿態(tài)識(shí)別方法，其特征是，所述跟蹤窗為圖像中的包含操作物的矩形區(qū)域，初始位置由步驟I中所述操作物初始位置標(biāo)定操作來(lái)確定。
5.如權(quán)利要求3所述的適用于工業(yè)機(jī)器人的操作物位置姿態(tài)識(shí)別方法，其特征是，所述顏色概率分布為所述均值漂移算法的輸入數(shù)據(jù)，其主要實(shí)現(xiàn)過(guò)程如下: 1)首先將圖像從RGB空間轉(zhuǎn)換到HSV空間； 2)然后對(duì)其中的H分量作統(tǒng)計(jì)直方圖，直方圖數(shù)據(jù)代表了不同H分量值在圖像中出現(xiàn)的概率； 3)將圖像中每個(gè)像素的值用其H分量出現(xiàn)的概率替換，就得到了顏色概率分布。
6.如權(quán)利要求3所述的適用于工業(yè)機(jī)器人的操作物位置姿態(tài)識(shí)別方法，其特征是，所述均值漂移算法是一種密度函數(shù)梯度估計(jì)的非參數(shù)方法，該算法通過(guò)迭代尋優(yōu)找到概率分布的極值來(lái)定位目標(biāo)，其實(shí)現(xiàn)過(guò)程如下: a在圖像顏色概率分布中選取跟蹤窗； b計(jì)算跟蹤窗內(nèi)圖像零階距Mtltl、一階距Mltl,Mtll和跟蹤窗質(zhì)心，其中I (x，y)為圖像方程，X為圖像橫坐標(biāo)，y為圖像縱坐標(biāo)，(X。，y。)為跟蹤窗質(zhì)心；
7.如權(quán)利要求1所述的適用于工業(yè)機(jī)器人的操作物位置姿態(tài)識(shí)別方法，其特征是，所述步驟5中，計(jì)算操作物位置和姿態(tài)的過(guò)程為: 5-1)圖像校正； 5-2)位差圖獲?。? 5-3)三維點(diǎn)云獲取； 5-4)操作物位置姿態(tài)獲取。
8.如權(quán)利要求7所述的適用于工業(yè)機(jī)器人的操作物位置姿態(tài)識(shí)別方法，其特征是，所述步驟5-1)中，圖像校正是通過(guò)步驟I中獲取的左右相機(jī)的內(nèi)參和左右相機(jī)的相對(duì)位置關(guān)系，對(duì)左右相機(jī)獲取的圖像進(jìn)行畸變校正和雙目校正，其中畸變校正用于消除相機(jī)自身存在的畸變，而雙目校正的就是要把消除畸變后的兩幅圖像嚴(yán)格地行對(duì)應(yīng)，使得兩幅圖像的極線恰好在同一水平線上，這樣一幅圖像上任意一點(diǎn)與其在另一幅圖像上的對(duì)應(yīng)點(diǎn)就必然具有相同的行號(hào)，在所述步驟2中只需在該行進(jìn)行一維搜索即可匹配到對(duì)應(yīng)點(diǎn)。
9.如權(quán)利要求7所述的適用于工業(yè)機(jī)器人的操作物位置姿態(tài)識(shí)別方法，其特征是，所述步驟5-2)位差圖獲取是在所述步驟5-1)所得的校正后的左右圖像中的相同行中進(jìn)行匹配點(diǎn)搜索；匹配點(diǎn)搜索是在規(guī)定匹配窗口內(nèi)采用平方和距離方法搜索相應(yīng)的匹配點(diǎn)，其原理公式如下，其中g(shù)l為左圖像方程；g2為右圖像方程；gl(r，c)為左圖像在坐標(biāo)(r，c)位置的灰度值；g2(r，c)為右圖像在坐標(biāo)(r，c)位置的灰度值；規(guī)定匹配窗口寬度為2m+l，高度為2n+l,m和n取3，5，7，9，11 ；d為位差，即左右圖像中匹配點(diǎn)的像素距離,其取值范圍為O到圖像寬度；s為位差函數(shù)；s(r，c，d)為左圖像中在坐標(biāo)(r，c)位置不同位差d情況下的值；
10.如權(quán)利要求7所述的適用于工業(yè)機(jī)器人的操作物位置姿態(tài)識(shí)別方法，其特征是，所述步驟5-3)三維點(diǎn)云獲取是通過(guò)左右相機(jī)的內(nèi)參和位差圖，獲取圖像中各點(diǎn)三維坐標(biāo)信息進(jìn)行計(jì)算；所述操作物位置姿態(tài)獲取即通過(guò)三維點(diǎn)云信息獲取操作物的位置和姿態(tài)，其中位置通過(guò)計(jì)算三維點(diǎn)云的重心得到，位置使用三維點(diǎn)云中與重心距離最遠(yuǎn)的點(diǎn)與重心間的矢量表示為操作物的位姿。
全文摘要
本發(fā)明涉及一種適用于工業(yè)機(jī)器人的操作物位置姿態(tài)識(shí)別方法，該方法可以應(yīng)用于基于位置的視覺伺服系統(tǒng)中，實(shí)時(shí)為系統(tǒng)提供操作物的位置和姿態(tài)信息，方法運(yùn)算時(shí)間短，精度高，能適應(yīng)室內(nèi)室外等不同光照條件，為工業(yè)機(jī)器人在非結(jié)構(gòu)化環(huán)境內(nèi)的使用提供技術(shù)支撐。其步驟如下步驟1，初始化操作，將左右相機(jī)和操作物初始進(jìn)行標(biāo)定，然后利用左右相機(jī)獲取圖像數(shù)據(jù)；步驟2，利用圖像采集過(guò)程中前后兩幀圖像的對(duì)運(yùn)動(dòng)的操作物進(jìn)行跟蹤；步驟3，通過(guò)卡爾曼濾波平滑前后兩幀圖像中操作物跟蹤窗口的變化；步驟4，采用圖像數(shù)據(jù)降維方式，從而降低數(shù)據(jù)處理的維數(shù)；步驟5，計(jì)算操作物的立體位置和姿態(tài)，并將數(shù)據(jù)反饋給機(jī)器人伺服控制系統(tǒng)實(shí)現(xiàn)伺服控制。
文檔編號(hào)B25J19/04GK103112015SQ20131003422
公開日2013年5月22日 申請(qǐng)日期2013年1月29日 優(yōu)先權(quán)日2013年1月29日
發(fā)明者王振利, 魯守銀, 趙玉良, 呂曦晨, 李健 申請(qǐng)人:山東電力集團(tuán)公司電力科學(xué)研究院, 國(guó)家電網(wǎng)公司