結(jié)合eye?to?hand和eye?in?hand結(jié)構(gòu)的混合視覺伺服系統(tǒng)及方法
【專利摘要】本發(fā)明公開了結(jié)合eye?to?hand和eye?in?hand結(jié)構(gòu)的混合視覺伺服系統(tǒng)及方法，通過eye?to?hand攝像頭和eye?in?hand攝像頭采集待識別目標(biāo)的信息，并通過計(jì)算機(jī)進(jìn)行位置計(jì)算，控制驅(qū)動器驅(qū)動機(jī)械臂帶動eye?in?hand攝像頭對待識別目標(biāo)進(jìn)行精確定位，本發(fā)明相對于傳統(tǒng)僅用基于位置的視覺伺服和基于圖像的視覺伺服，具有更高的定位精度和靈活性，本發(fā)明兼具全局視野范圍大和局部視野精度高的特點(diǎn)，成本低，適應(yīng)性強(qiáng)，應(yīng)用范圍廣，對科學(xué)研究和目標(biāo)搜索定位等應(yīng)用都能帶來很大的方便，具有非常重要的研究價(jià)值和現(xiàn)實(shí)意義。
【專利說明】結(jié)合eye-to-hand和eye-1 n-hand結(jié)構(gòu)的混合視覺伺服系統(tǒng)及方法
技術(shù)領(lǐng)域
[0001 ] 本發(fā)明屬于視覺伺服控制領(lǐng)域，具體涉及結(jié)合eye-to-hand和eye-1n-hand結(jié)構(gòu)的混合視覺伺服系統(tǒng)及方法。
【背景技術(shù)】
[0002]隨著科技的快速發(fā)展及機(jī)器人應(yīng)用領(lǐng)域的擴(kuò)大，人們對機(jī)器人技術(shù)提出了更高要求，希望機(jī)器人有更高的智能和更強(qiáng)的環(huán)境感知能力。視覺伺服利用視覺信息作為反饋，具有更大的信息量，提高了機(jī)器人系統(tǒng)靈活性和精確性，在機(jī)器人領(lǐng)域具有不可替代的作用。
[0003]國內(nèi)各研究所、高校對視覺伺服系統(tǒng)展開了一些研究，取得了一定成果。如中國科學(xué)院沈陽自動化所進(jìn)行了移動機(jī)器人視覺導(dǎo)航技術(shù)研究，沈陽新松公司研制了開關(guān)柜機(jī)器人焊接系統(tǒng)，清華大學(xué)自行研制可以進(jìn)行高精度儀器裝配的眼在手機(jī)器人等；同濟(jì)大學(xué)、浙江大學(xué)、湖南大學(xué)等高校對控制算法進(jìn)行了相關(guān)研究。目前研制的系統(tǒng)多數(shù)將工業(yè)機(jī)器人和視覺伺服結(jié)合，功能較單一。
[0004]視覺伺服系統(tǒng)根據(jù)攝像機(jī)安裝位置的結(jié)構(gòu)關(guān)系可以分為eye-to-hand和eye-1n-hand。前者結(jié)構(gòu)特點(diǎn)是將攝像機(jī)距離機(jī)器人一定距離安裝固定，獲取環(huán)境的全景視覺角度；后者是將攝像機(jī)固定在機(jī)器人的末端執(zhí)行器上，近距離觀察對象，減少周圍信息干擾。對比兩者特點(diǎn)有如下結(jié)論，eye-to-hand有較低精度和較大范圍的全局視覺，而eye-1n-hand具有較高精度和較小范圍的局部視覺。將大的視覺范圍和高的定位精度結(jié)合，能夠更好的提高機(jī)器人感知能力和應(yīng)用范圍，是具有極大的研究價(jià)值。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于克服上述不足，提供結(jié)合eye-to-hand和eye-1n-hand結(jié)構(gòu)的混合視覺伺服系統(tǒng)及方法，適用于對較大范圍環(huán)境的目標(biāo)捕捉及近距離精確定位、跟蹤任務(wù)。
[0006]為了達(dá)到上述目的，結(jié)合eye-to-hand和eye-1n-hand結(jié)構(gòu)的混合視覺伺服系統(tǒng)，包括連接計(jì)算機(jī)的eye-1n-hand攝像頭和eye-to-hand攝像頭，eye-1n-hand攝像頭和eye-to-hand 攝像頭采集待識別目標(biāo)的圖像，eye-1n-hand攝像頭固定于機(jī)械臂末端上，機(jī)械臂連接有驅(qū)動器，驅(qū)動器連接計(jì)算機(jī)和電源模塊；
[0007]所述eye-to-hand攝像頭用于獲取全局視覺信息，對待識別目標(biāo)進(jìn)行識別實(shí)現(xiàn)初步定位；
[0008]所述eye-1n-hand攝像頭用于獲取局部視覺信息，對待識別目標(biāo)進(jìn)行識別實(shí)現(xiàn)精確定位；
[0009]所述計(jì)算機(jī)用于對eye-1n-hand攝像頭和eye-to-hand攝像頭所采集圖像進(jìn)行處理，計(jì)算求解目標(biāo)對象位置，將解算的運(yùn)動控制指令發(fā)送給驅(qū)動器，結(jié)合eye-1n-hand攝像頭和eye-to-hand攝像頭獲取的圖像特征進(jìn)行位置精確修正；
[0010]所述電源模塊用于給驅(qū)動器模塊提供持續(xù)穩(wěn)定的電力；
[0011]所述驅(qū)動器用于接收計(jì)算機(jī)的控制指令，再根據(jù)控制信息驅(qū)動機(jī)械臂完成要求運(yùn)動。
[0012]所述電源模塊選用AC-DC電源模塊或DC-DC電源模塊。
[00?3]所述eye-to-hand攝像頭采用具有大視角的圖像采集裝置；
[0014]所述eye-1n-hand攝像頭采用具有小焦距的圖像采集裝置。
[0015]結(jié)合eye-to-hand和eye-1n-hand結(jié)構(gòu)的混合視覺伺服系統(tǒng)的控制方法，包括以下步驟:
[0016]步驟一，當(dāng)待識別目標(biāo)出現(xiàn)在eye-to-hand攝像頭所覆蓋的全局視野范圍內(nèi)，通過eye-to-hand攝像頭提取其圖像特征與先驗(yàn)知識模型進(jìn)行匹配，實(shí)現(xiàn)對目標(biāo)的檢測；
[0017]步驟二，通過eye-to-hand攝像頭的小孔模型求解目標(biāo)位置信息，通過計(jì)算機(jī)計(jì)算機(jī)械臂的控制量，并將控制量發(fā)送至驅(qū)動器；
[0018]步驟三，驅(qū)動器執(zhí)行運(yùn)動命令，驅(qū)動機(jī)械臂帶動eye-1n-hand攝像頭接近目標(biāo)位置；
[0019]步驟四，通過eye-1n-hand攝像頭對待識別目標(biāo)近距離測定，獲取精確位置信息，并反饋給計(jì)算機(jī)以調(diào)整運(yùn)動執(zhí)行末端姿態(tài)；
[0020]步驟五，若目標(biāo)位置移動，超出eye-1n-hand攝像頭的視覺范圍外，則重復(fù)步驟一至步驟四。
[0021]所述步驟一中，圖像特征為相比環(huán)境具有高辨識度和信噪比，包括顏色、形狀、輪廓、尺寸特征。
[0022]所述步驟二中，小孔模型是對攝像頭進(jìn)行內(nèi)外參數(shù)標(biāo)定，計(jì)算建模得到的從圖像平面映射到三維物理空間的轉(zhuǎn)換模型，可以將圖像上點(diǎn)的坐標(biāo)轉(zhuǎn)換到對應(yīng)實(shí)際物理空間點(diǎn)的坐標(biāo)。
[0023]與現(xiàn)有技術(shù)相比，本發(fā)明通過eye-to-hand攝像頭和eye-1n-hand攝像頭采集待識別目標(biāo)的信息，并通過計(jì)算機(jī)進(jìn)行位置計(jì)算，控制驅(qū)動器驅(qū)動機(jī)械臂帶動eye-1n-hand攝像頭對待識別目標(biāo)進(jìn)行精確定位，本發(fā)明相對于傳統(tǒng)僅用基于位置的視覺伺服和基于圖像的視覺伺服，具有更高的定位精度和靈活性，本發(fā)明兼具全局視野范圍大和局部視野精度高的特點(diǎn)，成本低，適應(yīng)性強(qiáng)，應(yīng)用范圍廣，對科學(xué)研究和目標(biāo)搜索定位等應(yīng)用都能帶來很大的方便，具有非常重要的研究價(jià)值和現(xiàn)實(shí)意義。
[0024]進(jìn)一步的，本發(fā)明通過普遍的CCD攝像頭實(shí)現(xiàn)對圖像的獲取，此外其他模塊硬件系統(tǒng)要求不高，采用的硬件單元常見且成本較低，故整個系統(tǒng)成本低，便于推廣使用。
[0025]本發(fā)明通過eye-to-hand攝像頭進(jìn)行全局視野范圍內(nèi)對待識別目標(biāo)進(jìn)行檢測，在通過計(jì)算機(jī)進(jìn)行目標(biāo)初定位與運(yùn)動計(jì)算，計(jì)算機(jī)驅(qū)動機(jī)械臂運(yùn)動，對待識別目標(biāo)進(jìn)行精確定位，本發(fā)明不僅適用于目標(biāo)搜索和精確定位，還可以為運(yùn)動執(zhí)行機(jī)構(gòu)的位姿準(zhǔn)確控制提供反饋信息，具有良好的實(shí)時(shí)性，適用于工業(yè)、農(nóng)業(yè)、娛樂等多種環(huán)境變化的場合，為動態(tài)目標(biāo)跟蹤、機(jī)器人控制等問題提供了一種新的解決思路。
【附圖說明】
[0026]圖1為本發(fā)明的原理不意圖；
[0027]圖2為本發(fā)明的信息流程圖；
[0028]其中，I代表計(jì)算機(jī)；2代表驅(qū)動器；3代表電源模塊;4代表機(jī)械臂；5代表eye-1n-hand攝像頭;6代表eye-to-hand攝像頭;7代表待識別目標(biāo);長虛線代表eye-to-hand攝像頭視野范圍;短虛線代表eye-1n-hand攝像頭視野范圍。
【具體實(shí)施方式】
[0029]下面結(jié)合附圖和實(shí)施例對本發(fā)明做進(jìn)一步說明。
[°03°] 參見圖1，結(jié)合eye-to-hand和eye-1n-hand結(jié)構(gòu)的混合視覺伺服系統(tǒng)，包括連接計(jì)算機(jī) I 的eye-1n-hand 攝像頭 5 和eye-to-hand 攝像頭 6，eye-1n-hand 攝像頭 5 和eye-to-hand攝像頭6采集待識別目標(biāo)7的圖像，eye-1n-hand攝像頭5固定于機(jī)械臂4末端上，機(jī)械臂4連接有驅(qū)動器2，驅(qū)動器2連接計(jì)算機(jī)I和電源模塊3;
[0031 ] eye-to-hand攝像頭6用于獲取全局視覺信息，對待識別目標(biāo)7進(jìn)行識別實(shí)現(xiàn)初步定位，采用具有大視角的圖像采集裝置；
[0032]eye-1n-hand攝像頭5用于獲取局部視覺信息，對待識別目標(biāo)7進(jìn)行識別實(shí)現(xiàn)精確定位，采用具有小焦距的圖像采集裝置；
[0033]計(jì)算機(jī)I用于對eye-1n-hand攝像頭5和eye-to-hand攝像頭6所采集圖像進(jìn)行處理，計(jì)算求解目標(biāo)對象位置，將解算的運(yùn)動控制指令發(fā)送給驅(qū)動器2，結(jié)合eye-1n-hand攝像頭5和eye-to-hand攝像頭6獲取的圖像特征進(jìn)行位置精確修正；
[0034]電源模塊3用于給驅(qū)動器模塊提供持續(xù)穩(wěn)定的電力，選用AC-DC電源模塊或DC-DC電源模塊；
[0035]驅(qū)動器2用于接收計(jì)算機(jī)I的控制指令，再根據(jù)控制信息驅(qū)動機(jī)械臂4完成要求運(yùn)動。
[0036]實(shí)施例:
[0037]參見圖2，下面以果疏自動米摘任務(wù)為例，具體說明本發(fā)明結(jié)合eye-to-hand和eye-1n-hand結(jié)構(gòu)的混合視覺伺服系統(tǒng)控制方法。本實(shí)施例中，視覺伺服系統(tǒng)的任務(wù)主要是將成熟水果的作為目標(biāo)，利用視覺技術(shù)檢測、定位并引導(dǎo)采摘臂運(yùn)動，實(shí)現(xiàn)準(zhǔn)確抓取目標(biāo)果實(shí)。運(yùn)動執(zhí)行模塊選取多自由度的靈巧機(jī)械臂。通過以下5個步驟即可實(shí)現(xiàn)基于eye-to-hand 和eye-1n-hand 結(jié)構(gòu)的混合視覺伺服系統(tǒng)的精確定位和跟蹤:
[0038](I)全局視野范圍內(nèi)目標(biāo)檢測:以成熟果實(shí)的顏色、尺寸等的圖像特征為模板，對eye-to-hand攝像頭6所覆蓋的全局視野范圍內(nèi)進(jìn)行目標(biāo)搜索，實(shí)現(xiàn)對果實(shí)的檢測。
[0039](2)目標(biāo)初定位與運(yùn)動計(jì)算:對已檢測出的目標(biāo)果實(shí)提取圖像位置信息，并轉(zhuǎn)換到三維物理空間，存儲其大致位置坐標(biāo)；以初步定位坐標(biāo)為目標(biāo)點(diǎn)，根據(jù)機(jī)械臂運(yùn)動學(xué)模型解算控制量并發(fā)送機(jī)械臂驅(qū)動器2。
[0040](3)驅(qū)動運(yùn)動執(zhí)行機(jī)構(gòu)運(yùn)動:接收圖像處理模塊下發(fā)控制信息，機(jī)械臂驅(qū)動器2驅(qū)動機(jī)械臂4進(jìn)行運(yùn)動，接近目標(biāo)位置區(qū)域。
[0041](4)目標(biāo)精確定位:切換至eye-1n-hand攝像頭5工作方式，對果實(shí)近距離測定，獲取精確位置信息；同時(shí)求解當(dāng)前圖像特征點(diǎn)和期望圖像特征點(diǎn)位置差，并反饋給計(jì)算機(jī)I以調(diào)整機(jī)械臂末端姿態(tài)。
[0042](5)信息反饋與修正:若目標(biāo)果實(shí)始終保持在eye-1n-hand攝像頭5視野范圍內(nèi)，計(jì)算機(jī)I根據(jù)eye-1n-hand攝像頭5測定的精確位置信息和偏差量求解機(jī)械臂4各關(guān)節(jié)的運(yùn)動控制量，當(dāng)偏差量在允許誤差范圍內(nèi)則結(jié)束控制，當(dāng)偏差量較大則將控制量發(fā)送機(jī)械臂驅(qū)動器重復(fù)步驟(3)-(4);若目標(biāo)果實(shí)在eye-1n-hand攝像頭5的視野范圍外，則重復(fù)步驟(I )-
(4)重新搜索調(diào)整。
【主權(quán)項(xiàng)】
1.結(jié)合eye-to-hand和eye-1n-hand結(jié)構(gòu)的混合視覺伺服系統(tǒng)，其特征在于，包括連接計(jì)算機(jī)(I)的eye-1n-hand攝像頭(5)和eye-to-hand攝像頭(6)，eye-1n_hand攝像頭(5)和eye-to-hand攝像頭(6)采集待識別目標(biāo)(7)的圖像，eye-1n_hand攝像頭(5)固定于機(jī)械臂(4)末端上，機(jī)械臂(4)連接有驅(qū)動器(2)，驅(qū)動器(2)連接計(jì)算機(jī)(I)和電源模塊(3); 所述eye-to-hand攝像頭(6)用于獲取全局視覺信息，對待識別目標(biāo)(7)進(jìn)行識別實(shí)現(xiàn)初步定位； 所述eye-1n-hand攝像頭(5)用于獲取局部視覺信息，對待識別目標(biāo)(7)進(jìn)行識別實(shí)現(xiàn)精確定位； 所述計(jì)算機(jī)(I)用于對eye-1n-hand攝像頭(5)和eye-to-hand攝像頭(6)所采集圖像進(jìn)行處理，計(jì)算求解目標(biāo)對象位置，將解算的運(yùn)動控制指令發(fā)送給驅(qū)動器(2)，結(jié)合eye-1n-hand攝像頭(5)和eye-to-hand攝像頭(6)獲取的圖像特征進(jìn)行位置精確修正； 所述電源模塊(3)用于給驅(qū)動器模塊提供持續(xù)穩(wěn)定的電力； 所述驅(qū)動器(2)用于接收計(jì)算機(jī)(I)的控制指令，再根據(jù)控制信息驅(qū)動機(jī)械臂(4)完成要求運(yùn)動。2.根據(jù)權(quán)利要求1所述的結(jié)合eye-to-hand和eye-1n-hand結(jié)構(gòu)的混合視覺伺服系統(tǒng)，其特征在于，所述電源模塊選用AC-DC電源模塊或DC-DC電源模塊。3.根據(jù)權(quán)利要求1所述的結(jié)合eye-to-hand和eye-1n-hand結(jié)構(gòu)的混合視覺伺服系統(tǒng)，其特征在于，所述eye-to-hand攝像頭(6)采用具有大視角的圖像采集裝置； 所述eye-1n-hand攝像頭(5)采用具有小焦距的圖像采集裝置。4.權(quán)利要求1所述的結(jié)合eye-to-hand和eye-1n-hand結(jié)構(gòu)的混合視覺伺服系統(tǒng)的控制方法，其特征在于，包括以下步驟: 步驟一，當(dāng)待識別目標(biāo)(7)出現(xiàn)在eye-to-hand攝像頭(6)所覆蓋的全局視野范圍內(nèi)，通過eye-to-hand攝像頭(6)提取其圖像特征與先驗(yàn)知識模型進(jìn)行匹配，實(shí)現(xiàn)對目標(biāo)的檢測； 步驟二，通過eye-to-hand攝像頭(6)的小孔模型求解目標(biāo)位置信息，通過計(jì)算機(jī)(I)計(jì)算機(jī)械臂(4)的控制量，并將控制量發(fā)送至驅(qū)動器(2); 步驟三，驅(qū)動器(2)執(zhí)行運(yùn)動命令驅(qū)動機(jī)械臂動作，使機(jī)械臂(4)帶動eye-1n-hand攝像頭(5)接近目標(biāo)位置； 步驟四，通過eye-1n-hand攝像頭(5)對待識別目標(biāo)(7)近距離測定，獲取精確位置信息，并反饋給計(jì)算機(jī)(I)以調(diào)整運(yùn)動執(zhí)行末端姿態(tài)； 步驟五，若目標(biāo)位置移動，超出eye-1n-hand攝像頭(5)的視覺范圍外，則重復(fù)步驟一至步驟四。5.根據(jù)權(quán)利要求1所述的結(jié)合eye-to-hand和eye-1n-hand結(jié)構(gòu)的混合視覺伺服系統(tǒng)的控制方法，其特征在于，所述步驟一中，圖像特征為相比環(huán)境具有高辨識度和信噪比，包括顏色、形狀、輪廓、尺寸特征。6.根據(jù)權(quán)利要求1所述的結(jié)合eye-to-hand和eye-1n-hand結(jié)構(gòu)的混合視覺伺服系統(tǒng)的控制方法，其特征在于，所述步驟二中，小孔模型是對攝像頭進(jìn)行內(nèi)外參數(shù)標(biāo)定，計(jì)算建模得到的從圖像平面映射到三維物理空間的轉(zhuǎn)換模型，可以將圖像上點(diǎn)的坐標(biāo)轉(zhuǎn)換到對應(yīng)實(shí)際物理空間點(diǎn)的坐標(biāo)。
【文檔編號】B25J9/16GK106041927SQ201610463755
【公開日】2016年10月26日
【申請日】2016年6月22日
【發(fā)明人】王孫安, 羅亮, 張斌權(quán), 謝向陽, 王冰心
【申請人】西安交通大學(xué)