本發(fā)明屬于信息技術(shù)、機(jī)器人技術(shù)交叉技術(shù)領(lǐng)域，具體涉及一種智能服務(wù)機(jī)器人及工作方法。

背景技術(shù)：

現(xiàn)今，絕大多數(shù)人的生活水平蒸蒸日上，但往往代價(jià)是工作的時(shí)間越來越多，休息的時(shí)間越來越少。每個(gè)都希望在有限的休息時(shí)間里面，能夠充分休息，得到最好的服務(wù)。然而，如果通過雇傭管家或者保姆的方式，不僅會(huì)帶來很大的花費(fèi)，而且往往安全性得不到保證。從另一角度，未來幾十年，我國(guó)人口老年化的狀況將會(huì)日益凸顯。老人的起居各方面都需要一定的照顧和輔助。而我們?nèi)找娣泵Φ纳钔刮覀兒雎粤藢?duì)老人的照顧。從這兩方面考慮，未來使用機(jī)器人服務(wù)人類，將是一個(gè)必然趨勢(shì)。所以機(jī)器人將在未來的幾十年內(nèi)扮演這個(gè)角色，來服務(wù)大眾。

然而現(xiàn)在市面上并沒有多少比較智能的機(jī)器人，可能是科幻電影拉高了大眾的期望。與其說是機(jī)器人，更準(zhǔn)確地說應(yīng)該叫機(jī)械人，沒有認(rèn)知能力，基于規(guī)則的人工智能使得它們比較機(jī)械地去為人們進(jìn)行工作?；蛘咭粋€(gè)小巧的語音助理，缺乏對(duì)物理世界的控制。

現(xiàn)在，時(shí)代在進(jìn)步，深度學(xué)習(xí)技術(shù)的興起，“智能”一詞得以真正與機(jī)器人掛鉤。什么是弱人工智能？圖像占人所接收信息的80％左右，我們用行動(dòng)做到了對(duì)圖像的感知理解，讓計(jì)算機(jī)學(xué)會(huì)識(shí)別問題，并在空間中找到位置進(jìn)行抓取。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于克服上述不足，提供一種智能服務(wù)機(jī)器人及工作方法，通過faster-rcnn(更快的識(shí)別卷積神經(jīng)網(wǎng)絡(luò))強(qiáng)大識(shí)別能力，能夠很精確地在環(huán)境中快速找到感興趣的物體，然后通過機(jī)械臂進(jìn)行抓取。這種自識(shí)別的方式提高了機(jī)器人的自主性，能夠更為智能地服務(wù)我們。

為了達(dá)到上述目的，一種智能服務(wù)機(jī)器人，包括底盤控制器，底盤控制器上固定有舵機(jī)旋轉(zhuǎn)平臺(tái)，舵機(jī)旋轉(zhuǎn)平臺(tái)上設(shè)置有數(shù)據(jù)采集模塊，底盤控制器上設(shè)置有機(jī)械臂，數(shù)據(jù)采集模塊、舵機(jī)旋轉(zhuǎn)平臺(tái)、底盤控制器和機(jī)械臂均與中央處理器相連；

所述數(shù)據(jù)采集模塊包括攝像頭和麥克風(fēng)，攝像頭用于采集彩色圖和深度圖，并將數(shù)據(jù)傳至中央處理器；

所述中央處理器用于接收數(shù)據(jù)，進(jìn)行物體識(shí)別并控制舵機(jī)旋轉(zhuǎn)平臺(tái)、底盤控制器和機(jī)械臂。

所述中央處理器包括以下模塊：

bgcontroller模塊，用于接收來自gui以及攝像頭的信息及數(shù)據(jù)，根據(jù)實(shí)際情況，向bgserial模塊發(fā)布任務(wù)信息，從而使機(jī)器人實(shí)施工作；

bgobjreg模塊，用于通過openni驅(qū)動(dòng)xtion深度攝像頭，獲取rgb圖像以及深度信息圖像并發(fā)送給bgcontroller模塊，同時(shí)將圖像信息發(fā)送給darknet深度學(xué)習(xí)模塊進(jìn)程進(jìn)行物體識(shí)別；

darknetyolo深度學(xué)習(xí)模塊，通過將采集的視頻流載入程序框架中，經(jīng)過自主運(yùn)算后提取到該圖片的特征，將圖片分成幾個(gè)塊，經(jīng)過softmax計(jì)算，確定各個(gè)模塊是該類別的概率，選擇最大概率的圖塊，進(jìn)行擴(kuò)展區(qū)域識(shí)別，分類完成后，再次運(yùn)行另一個(gè)分類器，輸出結(jié)果為x、y、w、h四類，即可確定閉合框位置，然后標(biāo)記出所需物體；

第一bggui模塊，用于啟動(dòng)機(jī)器人系統(tǒng)；

第二bggui模塊，集成了語音識(shí)別、語音轉(zhuǎn)文字功能以及語義理解功能，并與第一bggui模塊代碼耦合，用于語音控制機(jī)器人。

一種智能服務(wù)機(jī)器人的工作方法，包括以下步驟：

步驟一，通過大量數(shù)據(jù)訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，從而使機(jī)器人能夠識(shí)別物體，并結(jié)合機(jī)器人實(shí)體；

步驟二，通過攝像頭獲取到當(dāng)前環(huán)境圖像，經(jīng)由深度學(xué)習(xí)網(wǎng)絡(luò)可以得出檢測(cè)目標(biāo)的位置以及類標(biāo)，再融合深度圖的信息，從而得到物體與機(jī)器人在空間中的相互關(guān)系；

步驟三，在跟蹤過程中，機(jī)器人根據(jù)距離，動(dòng)態(tài)調(diào)整跟蹤時(shí)候的速度；

步驟四，機(jī)器人在抓取過程中，中央處理器將物體與機(jī)器人的相互關(guān)系經(jīng)過投影變換為機(jī)械臂的坐標(biāo)系，指導(dǎo)機(jī)械臂進(jìn)行抓取。

所述跟蹤過程的控制流程如下：

第一步，啟動(dòng)系統(tǒng)，打開麥克風(fēng)，接收到任何人聲后，主機(jī)處理，若從中找到“跟蹤”含義的命令，機(jī)器人會(huì)進(jìn)入跟蹤狀態(tài)，攝像頭調(diào)整至水平狀態(tài)，獲取到圖像后，卷積神經(jīng)網(wǎng)絡(luò)將會(huì)識(shí)別出需要跟蹤的對(duì)象，并將其在圖像中的對(duì)應(yīng)位置進(jìn)行發(fā)布；

第二步，根據(jù)第一步中獲取的跟蹤對(duì)象在圖中的位置，根據(jù)從圖像采集裝置得到的深度圖像進(jìn)行匹配，能夠得到機(jī)器人與跟蹤對(duì)象之間的距離；

第三步，根據(jù)第一步中獲取的跟蹤對(duì)象在圖中的位置，計(jì)算出對(duì)象的中心點(diǎn)在圖中的位置，根據(jù)近大遠(yuǎn)小的常理，并且根據(jù)第二步中獲知的距離，計(jì)算轉(zhuǎn)向的閾值，閾值隨對(duì)象距離變化而變化，當(dāng)對(duì)象中心超出閾值范圍，機(jī)器人執(zhí)行左右轉(zhuǎn)動(dòng)，直到對(duì)象位于機(jī)器人正前方；

第四步，根據(jù)對(duì)象距離，進(jìn)行變速運(yùn)動(dòng)，較遠(yuǎn)時(shí)，機(jī)器人加速前進(jìn)；較近時(shí)，機(jī)器人減速前進(jìn)，速度與距離呈負(fù)相關(guān)；

第五步，當(dāng)檢測(cè)到距離達(dá)到指定距離后，機(jī)器人停止移動(dòng)，原地等待直到對(duì)象狀態(tài)發(fā)生變化，執(zhí)行第一步繼續(xù)跟蹤。

所述抓取過程的控制流程如下：

第一步，啟動(dòng)系統(tǒng)，打開麥克風(fēng)，接收到任何人聲后，若從中找到“識(shí)別抓取”類似含義的命令，當(dāng)接收到抓取指令后，機(jī)器人會(huì)進(jìn)入抓取狀態(tài)，攝像頭調(diào)整至朝下45度狀態(tài)，獲取到圖像后，20層卷積神經(jīng)網(wǎng)絡(luò)識(shí)別出需抓取的對(duì)象，并將其在圖像中的對(duì)應(yīng)像素位置進(jìn)行發(fā)布到系統(tǒng)中；

第二步，通過第一步獲取到抓取對(duì)象在rgb三通道圖像中的坐標(biāo)后，結(jié)合深度圖中距離信息，將對(duì)象的坐標(biāo)根邏輯回歸模型計(jì)算，映射到機(jī)械臂對(duì)應(yīng)的三維笛卡爾坐標(biāo)系中；

第三步，檢測(cè)程序進(jìn)行抓取坐標(biāo)檢測(cè)，判斷該坐標(biāo)是否在合理可行集合中；若超出范圍，則執(zhí)行第四步；若未超出范圍，則執(zhí)行第五步；

第四步，根據(jù)物體位置，以及抓取坐標(biāo)，使用k最近鄰算法得到機(jī)器人調(diào)整位置的初步策略；第一次策略包括向前、向后、向左、向右移動(dòng)四種，移動(dòng)以后執(zhí)行第一步，重新進(jìn)行抓取工作；

第五步，根據(jù)抓取坐標(biāo)，機(jī)械臂移動(dòng)到相應(yīng)位置，下壓吸嘴，打開氣泵，進(jìn)行低壓抓取，抓取完成以后，機(jī)械臂帶著物體回到機(jī)械臂初始位置，即完成一次抓取工作。

與現(xiàn)有技術(shù)相比，本發(fā)明通過攝像頭獲取到當(dāng)前環(huán)境圖像，經(jīng)由深度學(xué)習(xí)網(wǎng)絡(luò)可以得出檢測(cè)目標(biāo)的位置以及類標(biāo)，再融合深度圖的信息，從而得到物體與機(jī)器人在空間中的相互關(guān)系。在跟蹤過程中，機(jī)器人根據(jù)距離，動(dòng)態(tài)調(diào)整跟蹤時(shí)候的速度。機(jī)器人在抓取過程中，算法將物體與機(jī)器人的相互關(guān)系經(jīng)過投影變換為機(jī)械臂的坐標(biāo)系，指導(dǎo)機(jī)械臂進(jìn)行抓取。能夠很精確地在環(huán)境中快速找到感興趣的物體，然后通過機(jī)械臂進(jìn)行抓取。

本發(fā)明將深度學(xué)習(xí)與機(jī)器人的實(shí)體進(jìn)行結(jié)合。在使用機(jī)器人之前，先通過大量數(shù)據(jù)訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，從而使其能夠識(shí)別物體。然后結(jié)合機(jī)器人實(shí)體。先通過攝像頭獲取到當(dāng)前環(huán)境圖像，經(jīng)由深度學(xué)習(xí)網(wǎng)絡(luò)可以得出檢測(cè)目標(biāo)的位置以及類標(biāo)，再融合深度圖的信息，從而得到物體與機(jī)器人在空間中的相互關(guān)系。在跟蹤過程中，機(jī)器人根據(jù)距離，動(dòng)態(tài)調(diào)整跟蹤時(shí)候的速度。機(jī)器人在抓取過程中，算法將物體與機(jī)器人的相互關(guān)系經(jīng)過投影變換為機(jī)械臂的坐標(biāo)系，指導(dǎo)機(jī)械臂進(jìn)行抓取。

附圖說明

圖1是本發(fā)明的硬件結(jié)構(gòu)圖；

圖2是本發(fā)明的系統(tǒng)結(jié)構(gòu)框圖；

圖3是本發(fā)明進(jìn)行跟蹤工作流程圖；

圖4是本發(fā)明進(jìn)行識(shí)別抓取工作流程圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步說明。

參照?qǐng)D1，本發(fā)明的硬件結(jié)構(gòu)圖為nvidiajetsontx1嵌入式開發(fā)板，它體積較小，功率也較小，性能相對(duì)于當(dāng)前上市的開發(fā)板，在并行運(yùn)算上強(qiáng)悍，作為本款機(jī)器人的中央控制器。主要負(fù)責(zé)把傳感器傳送回來的信號(hào)，包括電機(jī)編碼器的每秒脈沖數(shù)，攝像頭的圖像信號(hào)，麥克風(fēng)的聲音信號(hào)，機(jī)器臂的舵機(jī)信號(hào)進(jìn)行實(shí)時(shí)處理。并將處理后的結(jié)果如車速,機(jī)器臂的坐標(biāo)等信息實(shí)時(shí)發(fā)出。

底盤控制器使用arduino，arduino用來控制車速。arduino讀取電機(jī)編碼器的脈沖數(shù)，并對(duì)其進(jìn)行相應(yīng)的處理，再通過串口發(fā)送給中央處理器。同時(shí)，它還將通過串口從中央處理器獲取目標(biāo)速度，并根據(jù)實(shí)際速度進(jìn)行pid控制。

機(jī)器臂，用來抓取物體。首先，中央處理器先對(duì)攝像頭獲取的圖像進(jìn)行目標(biāo)檢測(cè)后，進(jìn)行相應(yīng)的處理。接著，中央處理器根據(jù)處理結(jié)果算出機(jī)器臂抓取的相應(yīng)的坐標(biāo)。然后中央處理器把坐標(biāo)發(fā)給機(jī)器臂。然后機(jī)器臂根據(jù)相應(yīng)的坐標(biāo)，轉(zhuǎn)動(dòng)舵機(jī)到相應(yīng)的角度。接著根據(jù)應(yīng)用場(chǎng)景完成氣泵抓放操作。

xtionprolive攝像頭數(shù)據(jù)采集模塊，放在車的最高處。當(dāng)小車在移動(dòng)時(shí)，攝像頭將平視，用來獲取道路前方的景象，并把相應(yīng)的數(shù)據(jù)發(fā)給中央處理器進(jìn)行處理。

當(dāng)小車停止移動(dòng)，且要完成抓取操作時(shí)，攝像頭將45度向下，獲取地面上的景象，并把相應(yīng)的數(shù)據(jù)發(fā)給中央處理器進(jìn)行處理。

帶有編碼盤的電機(jī)，用來控制小車的運(yùn)動(dòng)。

20ah12v鋰電池，用來給電機(jī)，中央處理器，arduino,機(jī)器臂,以及其他元件供電。

揚(yáng)聲器與麥克風(fēng)陣列。收發(fā)聲音，用于人機(jī)交互。

機(jī)器人底盤和機(jī)器人車殼。用來固定各種器件，包括中央處理器，機(jī)器臂，arduino，小喇叭，攝像頭，同時(shí)具有一定的觀賞性。

參照?qǐng)D2，本發(fā)明的beltago服務(wù)機(jī)器人的整體系統(tǒng)框架為

bgcontroller模塊：整個(gè)系統(tǒng)的主要控制模塊，本機(jī)器人的核心控制中心。其負(fù)責(zé)接收來自gui以及攝像頭的信息及數(shù)據(jù)，根據(jù)實(shí)際情況，向bgserial模塊發(fā)布任務(wù)信息，從而使機(jī)器人實(shí)施工作。

bgobjreg模塊：通過openni驅(qū)動(dòng)xtion深度攝像頭，獲取rgb圖像以及深度信息圖像并發(fā)送給bgcontroller。同時(shí)將圖像信息發(fā)送給darknet深度學(xué)習(xí)模塊進(jìn)程進(jìn)行物體識(shí)別。

darknetyolo深度學(xué)習(xí)模塊：機(jī)器人主要的智能視覺處理方案?，F(xiàn)有的檢測(cè)系統(tǒng)為了進(jìn)行檢測(cè)賦予分類和定位方法新用途。他們?cè)诙鄠€(gè)位置和尺度把模型應(yīng)用于這張圖像。高得分區(qū)域的圖像被認(rèn)為是檢測(cè)出的物體。我們使用一個(gè)完全不同的方法。我們把一個(gè)單一的神經(jīng)網(wǎng)絡(luò)應(yīng)用于完整圖像。圖像被該網(wǎng)絡(luò)分割成區(qū)域，并預(yù)測(cè)邊界框和每個(gè)區(qū)域的概率。這些小的包圍框以預(yù)測(cè)概率加權(quán)，最終合成完整大框。我們的模型有超越傳統(tǒng)分類系統(tǒng)的幾個(gè)優(yōu)勢(shì)。計(jì)算分成兩步。它首先使用了rpn，rpn(regionproposalnetwork)的核心思想是使用卷積神經(jīng)網(wǎng)絡(luò)直接產(chǎn)生regionproposal，使用的方法本質(zhì)上就是滑動(dòng)窗口，就是先猜框在哪。然后接入到兩個(gè)全連接層，即clslayer和reglayer分別用于分類和邊框回歸。clslayer包含2個(gè)元素，用于判別目標(biāo)和非目標(biāo)的估計(jì)概率。reglayer包含4個(gè)坐標(biāo)元素(x,y,w,h)，用于確定目標(biāo)位置。cls：正樣本，與真實(shí)區(qū)域重疊大于0.7，負(fù)樣本，與真實(shí)區(qū)域重疊小于0.3。(reg：返回區(qū)域位置。)最后根據(jù)regionproposal得分高低，選取前300個(gè)regionproposal，作為fastr-cnn的輸入進(jìn)行目標(biāo)檢測(cè)，接下來就是一個(gè)普通的cnn分類問題，技術(shù)成熟。這也使得用一個(gè)單一的網(wǎng)絡(luò)評(píng)價(jià)預(yù)測(cè)不像r-cnn需要給一張圖像同時(shí)運(yùn)算成千上萬個(gè)參數(shù)。這使得它非?？?，比r-cnn和快1000倍，比fastr-cnn更快100倍。

通俗地解釋，通過將采集的視頻流載入到我們預(yù)先搭建好的程序框架中，經(jīng)過數(shù)萬參數(shù)的自主運(yùn)算，我們將提取到該圖片的特征，將圖片分成幾個(gè)塊，經(jīng)過最后一層softmax計(jì)算，確定各個(gè)模塊是該類別的概率，選擇最大概率的圖塊，進(jìn)行擴(kuò)展區(qū)域識(shí)別，大大提高了檢測(cè)效率，分類完成后，再次運(yùn)行另一個(gè)分類器，輸出結(jié)果為(x,y,w,h)四類，即可確定閉合框位置。然后標(biāo)記出我們感興趣的物體。并且能夠通過更換參數(shù)文件，實(shí)現(xiàn)了多種物體的識(shí)別，具有極強(qiáng)的通用性以及可擴(kuò)展性。

bggui模塊1：此模塊作為與用戶交互部分。其上具有開機(jī)按鍵，能夠一鍵開啟機(jī)器人系統(tǒng)。還有一系列控制按鍵方便用戶使用。

bggui模塊2：該模塊與上個(gè)模塊代碼高度耦合，集成了語音識(shí)別、語音轉(zhuǎn)文字功能以及語義理解功能，以上三個(gè)功能為人工智能下自然語言處理(nlp)方向，這使得我們的beltago更智能機(jī)器人能夠跟用戶使用語音交流，用戶可以使用語音控制機(jī)器人。

bgserial模塊：此模塊下包含bgcarserial和bgarmserial，作為主控制板專門與底盤和機(jī)械臂通信的接口，與底盤和機(jī)械臂接收與發(fā)送控制信息。

參照?qǐng)D3，本發(fā)明利用上述系統(tǒng)進(jìn)行跟蹤工作流程步驟如下：

步驟1，識(shí)別跟蹤對(duì)象

首先，系統(tǒng)開啟各項(xiàng)進(jìn)程(即上述各個(gè)模塊的程序開始運(yùn)行)，然后打開麥克風(fēng)，接收到任何人聲后，主機(jī)處理，若從中找到“跟蹤”類似含義的命令，機(jī)器人會(huì)進(jìn)入跟蹤狀態(tài)，攝像頭調(diào)整至水平狀態(tài)，以便跟蹤工作。獲取到圖像后，卷積神經(jīng)網(wǎng)絡(luò)將會(huì)識(shí)別出需要跟蹤的對(duì)象，并將其在圖像中的對(duì)應(yīng)位置進(jìn)行發(fā)布。

步驟2，跟蹤對(duì)象匹配深度圖，獲知與對(duì)象距離

通過步驟1能夠獲知所需跟蹤對(duì)象在圖中的位置，然后根據(jù)從圖像采集裝置得到的深度圖像進(jìn)行匹配，能夠大致得到機(jī)器人與跟蹤對(duì)象之間的距離。

步驟3，根據(jù)對(duì)象位置確定移動(dòng)方式

通過步驟1，獲知跟蹤對(duì)象在圖中的位置，計(jì)算出對(duì)象的中心點(diǎn)在圖中的位置。根據(jù)近大遠(yuǎn)小的常理，并且根據(jù)步驟2中獲知的距離，計(jì)算轉(zhuǎn)向的閾值。閾值隨對(duì)象距離變化而變化。當(dāng)對(duì)象中心超出閾值范圍，機(jī)器人執(zhí)行左右轉(zhuǎn)動(dòng)，直到對(duì)象位于機(jī)器人正前方。

步驟4，根據(jù)對(duì)象距離確定移動(dòng)速度

通過步驟3使機(jī)器人正對(duì)對(duì)象，然后根據(jù)對(duì)象距離，進(jìn)行變速運(yùn)動(dòng)。較遠(yuǎn)時(shí)，機(jī)器人加速前進(jìn)；較近時(shí)，機(jī)器人減速前進(jìn)。速度與距離呈負(fù)相關(guān)。

步驟5，確認(rèn)是否到達(dá)指定距離

當(dāng)檢測(cè)到距離達(dá)到指定距離后，機(jī)器人停止移動(dòng)，原地等待直到對(duì)象狀態(tài)發(fā)生變化，繼續(xù)執(zhí)行步驟1繼續(xù)跟蹤。

參照?qǐng)D4，本發(fā)明利用上述系統(tǒng)進(jìn)行識(shí)別抓取工作，包括以下步驟：

步驟1，識(shí)別物體

首先，系統(tǒng)開啟各項(xiàng)進(jìn)程(即上述各個(gè)模塊的程序開始運(yùn)行)，然后打開麥克風(fēng)，接收到任何人聲后，主機(jī)處理，若從中找到“識(shí)別抓取”類似含義的命令，當(dāng)接收到抓取指令后，機(jī)器人會(huì)進(jìn)入抓取狀態(tài)，攝像頭調(diào)整至朝下45度狀態(tài)，以便識(shí)別放在地面上的物體。獲取到圖像后，20層卷積神經(jīng)網(wǎng)絡(luò)將會(huì)在gpu上以飛秒級(jí)別運(yùn)算，大約0.07秒后，識(shí)別出需抓取的對(duì)象，并將其在圖像中的對(duì)應(yīng)像素位置進(jìn)行發(fā)布到系統(tǒng)中。

步驟2，抓取坐標(biāo)映射

通過步驟1獲取到抓取對(duì)象在rgb三通道圖像中的坐標(biāo)后，結(jié)合深度圖中距離信息，將對(duì)象的坐標(biāo)根邏輯回歸模型計(jì)算，映射到機(jī)械臂對(duì)應(yīng)的三維笛卡爾坐標(biāo)系中。

步驟3，抓取點(diǎn)檢測(cè)

因?yàn)闄C(jī)械臂抓取范圍有一定限制，所以在步驟2得到映射后的抓取坐標(biāo)后，另一個(gè)檢測(cè)程序進(jìn)行抓取坐標(biāo)檢測(cè)，判斷該坐標(biāo)是否在合理可行集合中。若超出范圍，執(zhí)行步驟4；若可以執(zhí)行步驟5.

步驟4，調(diào)整機(jī)器人位置

根據(jù)物體位置，以及抓取坐標(biāo)，使用k最近鄰(knn)算法得到機(jī)器人調(diào)整位置的初步策略。第一次策略包括向前、向后、向左、向右移動(dòng)四種，移動(dòng)以后執(zhí)行步驟1，重新進(jìn)行抓取工作。

步驟5，實(shí)施抓取

根據(jù)抓取坐標(biāo)，機(jī)械臂移動(dòng)到相應(yīng)位置，下壓吸嘴，打開氣泵，進(jìn)行低壓抓取。抓取完成以后，機(jī)械臂帶著物體回到機(jī)械臂初始位置。一次抓取任務(wù)圓滿結(jié)束。

本發(fā)明對(duì)于跟蹤對(duì)象和抓取物體具有一定的通用性。只要提供相應(yīng)的數(shù)據(jù)，即可實(shí)現(xiàn)對(duì)于不同對(duì)象進(jìn)行跟蹤和不同物體進(jìn)行抓取。

本發(fā)明在linux-arm嵌入式平臺(tái)下運(yùn)行，功耗，體積相對(duì)于其他平臺(tái)更小，具有可移動(dòng)的優(yōu)勢(shì)，對(duì)其它智能機(jī)器人的發(fā)明有一定借鑒意義。

本發(fā)明采用的圖像理解——目標(biāo)檢測(cè)算法，與傳統(tǒng)手工特征提取的方式完全不同。不僅在運(yùn)行速度上遠(yuǎn)遠(yuǎn)超過其它dnn(深層神經(jīng)網(wǎng)絡(luò))目標(biāo)檢測(cè)算法(除sdd外)，具有較強(qiáng)的實(shí)時(shí)性，而且擁有當(dāng)前環(huán)境下0.95左右的置信度。此外，該算法純c編碼，具有良好的可移植性。最關(guān)鍵的是，檢測(cè)準(zhǔn)確度極高。

本發(fā)明采用的軟件架構(gòu)是基于ros機(jī)器人操作的。其在處理進(jìn)程時(shí)，耦合性較弱，當(dāng)一部分進(jìn)程因意外而終止時(shí)，其余進(jìn)程不受影響，從而大大提高了整個(gè)系統(tǒng)的魯棒性和穩(wěn)定性。