本發(fā)明涉及工業(yè)機(jī)器人技術(shù)領(lǐng)域，具體地，涉及一種基于tof相機(jī)的貨物托盤(pán)檢測(cè)系統(tǒng)和方法。

背景技術(shù)：

隨著現(xiàn)代物流技術(shù)的發(fā)展，自動(dòng)引導(dǎo)車(chē)(agv)在智能倉(cāng)儲(chǔ)技術(shù)中發(fā)揮著越來(lái)越重要的作用，而對(duì)貨物托盤(pán)的檢測(cè)是agv的核心技術(shù)之一。倉(cāng)儲(chǔ)環(huán)境具有背景復(fù)雜、光線條件不穩(wěn)定、動(dòng)/靜態(tài)障礙物較多等特點(diǎn)，精準(zhǔn)高效的對(duì)貨物托盤(pán)檢測(cè)與定位是目前亟待解決的問(wèn)題。

經(jīng)過(guò)專(zhuān)利檢索，目前對(duì)貨物托盤(pán)的檢測(cè)主要采用視覺(jué)檢測(cè)、激光雷達(dá)檢測(cè)等方法。其中，單目視覺(jué)成本雖然不高，但精度不高、受光線影響大；多線激光雷達(dá)和雙目視覺(jué)檢測(cè)都具有精度高的特點(diǎn)，但是多線激光雷達(dá)價(jià)格過(guò)于昂貴、雙面視覺(jué)檢測(cè)受光照影響大；單線激光雷達(dá)成本相對(duì)較低，但是獲取信息量不足，容易產(chǎn)生誤檢；基于特征標(biāo)簽的視覺(jué)檢測(cè)方法，對(duì)于標(biāo)簽的敷設(shè)精度要求比較高，環(huán)境魯棒性不好等等。其中，作者胡建軍等在專(zhuān)利“一種全向自動(dòng)叉車(chē)及3d立體視覺(jué)導(dǎo)航定位方法”中采用雙目立體視覺(jué)進(jìn)行托盤(pán)定位，易受倉(cāng)儲(chǔ)環(huán)境中復(fù)雜光照的影響。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種基于tof相機(jī)的貨物托盤(pán)檢測(cè)系統(tǒng)和方法，具有精度高、價(jià)格低、魯棒性強(qiáng)等優(yōu)點(diǎn)。

根據(jù)本發(fā)明的一個(gè)方面，提供一種基于tof相機(jī)的貨物托盤(pán)檢測(cè)系統(tǒng)，所述系統(tǒng)包括：中央控制器、tof相機(jī)，所述中央控制器與所述tof相機(jī)之間采用有線或無(wú)線方式連接；其中：

所述tof相機(jī)用于采集貨物托盤(pán)的rgbd圖像，并將獲得的rgbd圖像傳輸給中央處理器；

所述中央控制器接收tof相機(jī)傳輸?shù)膔gbd圖像，并通過(guò)對(duì)tof相機(jī)采集的rgbd圖像進(jìn)行處理，檢測(cè)出貨物托盤(pán)，并獲得貨物托盤(pán)相對(duì)于所述tof相機(jī)的位姿關(guān)系，從而完成對(duì)貨物托盤(pán)的定位。

優(yōu)選地，所述中央處理器將得到的rgbd圖像中每個(gè)像素點(diǎn)的深度值轉(zhuǎn)換為0-255的灰度值，從而得到灰度深度圖，然后對(duì)該灰度深度圖進(jìn)行邊緣檢測(cè)提取輪廓，對(duì)輪廓進(jìn)行直線檢測(cè)，并以直線角度為約束估計(jì)最小包圍矩形，將檢測(cè)出的矩形作為托盤(pán)平面候選區(qū)域，從而得到若干托盤(pán)平面候選區(qū)域。

更優(yōu)選地，所述中央處理器對(duì)所得任意托盤(pán)平面候選區(qū)域進(jìn)行判定：

若該托盤(pán)平面候選區(qū)域包含至少2個(gè)矩形區(qū)域，則以該托盤(pán)平面候選區(qū)域中矩形區(qū)域作為叉孔候選區(qū)域，計(jì)算叉孔候選區(qū)域的像素面積及叉孔候選區(qū)域中心點(diǎn)的坐標(biāo)，否則，忽略該托盤(pán)平面候選區(qū)域，對(duì)其他托盤(pán)平面候選區(qū)域進(jìn)行判定；若所有托盤(pán)平面候選區(qū)域經(jīng)判定后均不是托盤(pán)平面，則重新從rgbd圖像中檢測(cè)托盤(pán)平面候選區(qū)域。

更優(yōu)選地，所述中央處理器在計(jì)算叉孔候選區(qū)域的像素面積及叉孔候選區(qū)域中心點(diǎn)的坐標(biāo)之后，計(jì)算托盤(pán)平面候選區(qū)域中任意2個(gè)叉孔候選區(qū)域ri與rj的面積比tij，篩選并保留符合閾值范圍的2個(gè)叉孔候選區(qū)域ri與rj，視為檢測(cè)到貨物托盤(pán)。

更優(yōu)選地，所述中央處理器，對(duì)保留的叉孔候選區(qū)域ri、rj的中心點(diǎn)連線的中點(diǎn)oij作為貨物托盤(pán)的表面中心點(diǎn)，通過(guò)貨物托盤(pán)的表面中心點(diǎn)oij的灰度值得到貨物托盤(pán)表面中心點(diǎn)與tof相機(jī)之間的距離值d，從而完成對(duì)貨物托盤(pán)的定位。

根據(jù)本發(fā)明的另一個(gè)方面，提供一種基于tof相機(jī)的貨物托盤(pán)檢測(cè)方法，所述方法包括如下步驟：

步驟1：tof相機(jī)采集貨物托盤(pán)的rgbd圖像，并通過(guò)有線或者無(wú)線的方法傳輸給中央處理器；中央處理器將得到的rgbd圖像中每個(gè)像素點(diǎn)的深度值轉(zhuǎn)換為0-255的灰度值，從而得到灰度深度圖；

步驟2：中央處理器對(duì)步驟1中所得到的灰度深度圖進(jìn)行邊緣檢測(cè)提取輪廓，對(duì)輪廓進(jìn)行直線檢測(cè)，并以直線角度為約束估計(jì)最小包圍矩形，將檢測(cè)出的矩形作為托盤(pán)平面候選區(qū)域；

步驟3：對(duì)步驟2中所得任意托盤(pán)平面候選區(qū)域進(jìn)行判定：

若該托盤(pán)平面候選區(qū)域包含至少2個(gè)矩形區(qū)域，則以該托盤(pán)平面候選區(qū)域中矩形區(qū)域作為叉孔候選區(qū)域，計(jì)算叉孔候選區(qū)域的像素面積及叉孔候選區(qū)域中心點(diǎn)的坐標(biāo)，轉(zhuǎn)步驟4；

否則，忽略該托盤(pán)平面候選區(qū)域，對(duì)其他托盤(pán)平面候選區(qū)域進(jìn)行判定；

若所有托盤(pán)平面候選區(qū)域經(jīng)判定后均不是托盤(pán)平面，則轉(zhuǎn)步驟1；

步驟4：計(jì)算托盤(pán)平面候選區(qū)域中任意2個(gè)叉孔候選區(qū)域ri與rj的面積比tij，篩選并保留符合閾值范圍的2個(gè)叉孔候選區(qū)域ri與rj，視為檢測(cè)到貨物托盤(pán)，轉(zhuǎn)步驟5；

步驟5：取步驟4中保留的叉孔候選區(qū)域ri、rj的中心點(diǎn)連線的中點(diǎn)oij作為貨物托盤(pán)的表面中心點(diǎn)，通過(guò)貨物托盤(pán)的表面中心點(diǎn)oij的灰度值得到貨物托盤(pán)表面中心點(diǎn)與tof相機(jī)之間的距離值d，從而完成對(duì)貨物托盤(pán)的定位。

優(yōu)選地，步驟4中，所述的面積比tij符合閾值范圍：

t1≤tij≤t2，

其中：t1,t2分別為面積比區(qū)間下邊界與上邊界。

與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：

本發(fā)明成本低廉，檢測(cè)精度高，基本不受光照影響；不要進(jìn)行敷設(shè)標(biāo)簽等操作，不需要對(duì)倉(cāng)儲(chǔ)環(huán)境進(jìn)行改造；適用于各種顏色、規(guī)格的貨物托盤(pán)。

附圖說(shuō)明

通過(guò)閱讀參照以下附圖對(duì)非限制性實(shí)施例所作的詳細(xì)描述，本發(fā)明的其它特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯：

圖1為貨物托盤(pán)結(jié)構(gòu)示意圖；

圖2為貨物托盤(pán)側(cè)視圖；

圖3為本發(fā)明一實(shí)施例的系統(tǒng)結(jié)構(gòu)框圖；

圖4為本發(fā)明一實(shí)施例的方法流程圖。

具體實(shí)施方式

下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。以下實(shí)施例將有助于本領(lǐng)域的技術(shù)人員進(jìn)一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對(duì)本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)。這些都屬于本發(fā)明的保護(hù)范圍。

如圖1-圖3所示，一種基于tof相機(jī)的貨物托盤(pán)檢測(cè)系統(tǒng)，所述系統(tǒng)包括：中央控制器、tof相機(jī)，其中：所述中央控制器與所述tof相機(jī)之間采用有線或無(wú)線方式連接；

所述tof相機(jī)用于采集貨物托盤(pán)的rgbd圖像；并將獲得的rgbd圖像通過(guò)有線或者無(wú)線的方法傳輸給中央處理器；

所述中央控制器接收tof相機(jī)傳輸?shù)膔gbd圖像，并通過(guò)對(duì)tof相機(jī)采集的rgbd圖像進(jìn)行處理，檢測(cè)出貨物托盤(pán)，并獲得貨物托盤(pán)相對(duì)于所述tof相機(jī)的位姿關(guān)系。

在本實(shí)施例中，所述中央處理器將得到的rgbd圖像中每個(gè)像素點(diǎn)的深度值轉(zhuǎn)換為0-255的灰度值，從而得到灰度深度圖，然后對(duì)該灰度深度圖進(jìn)行邊緣檢測(cè)提取輪廓，對(duì)輪廓進(jìn)行直線檢測(cè)，并以直線角度為約束估計(jì)最小包圍矩形，將檢測(cè)出的矩形作為托盤(pán)平面候選區(qū)域，從而得到若干托盤(pán)平面候選區(qū)域。

進(jìn)一步的，所述中央處理器對(duì)所得任意托盤(pán)平面候選區(qū)域進(jìn)行判定：

若該托盤(pán)平面候選區(qū)域包含至少2個(gè)矩形區(qū)域，則以該托盤(pán)平面候選區(qū)域中矩形區(qū)域作為叉孔候選區(qū)域，計(jì)算叉孔候選區(qū)域的像素面積及叉孔候選區(qū)域中心點(diǎn)的坐標(biāo)，否則，忽略該托盤(pán)平面候選區(qū)域，對(duì)其他托盤(pán)平面候選區(qū)域進(jìn)行判定；若所有托盤(pán)平面候選區(qū)域經(jīng)判定后均不是托盤(pán)平面，則重新從rgbd圖像中檢測(cè)托盤(pán)平面候選區(qū)域。

進(jìn)一步的，所述中央處理器在計(jì)算叉孔候選區(qū)域的像素面積及叉孔候選區(qū)域中心點(diǎn)的坐標(biāo)之后，計(jì)算托盤(pán)平面候選區(qū)域中任意2個(gè)叉孔候選區(qū)域ri與rj的面積比tij，篩選并保留符合閾值范圍的2個(gè)叉孔候選區(qū)域ri與rj，視為檢測(cè)到貨物托盤(pán)。

進(jìn)一步的，所述中央處理器，對(duì)保留的叉孔候選區(qū)域ri、rj的中心點(diǎn)連線的中點(diǎn)oij作為貨物托盤(pán)的表面中心點(diǎn)，通過(guò)貨物托盤(pán)的表面中心點(diǎn)oij的灰度值得到貨物托盤(pán)表面中心點(diǎn)與tof相機(jī)之間的距離值d，從而完成對(duì)貨物托盤(pán)的定位。

如圖4所示，基于上述檢測(cè)系統(tǒng)，一種基于tof相機(jī)的貨物托盤(pán)檢測(cè)方法，包括如下步驟：

步驟1：tof相機(jī)采集貨物托盤(pán)的rgbd圖像，通過(guò)有線或者無(wú)線的方法傳輸給中央處理器，中央處理器將得到的rgbd圖像中每個(gè)像素點(diǎn)的深度值轉(zhuǎn)換為0-255的灰度值，從而得到灰度深度圖；

步驟2：中央處理器對(duì)步驟1中所得灰度深度圖進(jìn)行邊緣檢測(cè)提取輪廓，對(duì)輪廓進(jìn)行直線檢測(cè)，并以直線角度為約束估計(jì)最小包圍矩形，將檢測(cè)出的矩形作為托盤(pán)平面候選區(qū)域；

步驟3：對(duì)步驟2中所得任意托盤(pán)平面候選區(qū)域進(jìn)行判定：若該托盤(pán)平面候選區(qū)域包含至少2個(gè)矩形區(qū)域，則以該托盤(pán)平面候選區(qū)域中矩形區(qū)域作為叉孔候選區(qū)域，計(jì)算叉孔候選區(qū)域的像素面積及叉孔候選區(qū)域中心點(diǎn)的坐標(biāo)，轉(zhuǎn)步驟4；否則忽略該托盤(pán)平面候選區(qū)域，對(duì)其他托盤(pán)平面候選區(qū)域進(jìn)行判定；若所有托盤(pán)平面候選區(qū)域經(jīng)判定后均不是托盤(pán)平面，則轉(zhuǎn)步驟1；

步驟4：計(jì)算托盤(pán)平面候選區(qū)域中任意2個(gè)叉孔候選區(qū)域ri與rj的面積比tij，篩選并保留符合閾值范圍(t1≤tij≤t2，其中t1,t2分別為面積比區(qū)間下邊界與上邊界)的2個(gè)叉孔候選區(qū)域ri與rj，視為檢測(cè)到貨物托盤(pán)，轉(zhuǎn)步驟5；

步驟5：取步驟4中保留的叉孔候選區(qū)域ri、rj的中心點(diǎn)連線的中點(diǎn)oij作為貨物托盤(pán)的表面中心點(diǎn)，通過(guò)貨物托盤(pán)的表面中心點(diǎn)oij的灰度值得到貨物托盤(pán)表面中心點(diǎn)與tof相機(jī)之間的距離值d，完成對(duì)貨物托盤(pán)的定位。

本發(fā)明成本低廉，檢測(cè)精度高，基本不受光照影響；不要進(jìn)行敷設(shè)標(biāo)簽等操作，不需要對(duì)倉(cāng)儲(chǔ)環(huán)境進(jìn)行改造；適用于各種顏色、規(guī)格的貨物托盤(pán)。本發(fā)明具有精度高、價(jià)格低、魯棒性強(qiáng)等優(yōu)點(diǎn)。

以上對(duì)本發(fā)明的具體實(shí)施例進(jìn)行了描述。需要理解的是，本發(fā)明并不局限于上述特定實(shí)施方式，本領(lǐng)域技術(shù)人員可以在權(quán)利要求的范圍內(nèi)做出各種變形或修改，這并不影響本發(fā)明的實(shí)質(zhì)內(nèi)容。