本發(fā)明涉及機(jī)器視覺和圖像識(shí)別領(lǐng)域，特別是一種基于機(jī)器視覺的運(yùn)動(dòng)檢測(cè)方法。

背景技術(shù)：

吊車在港口堆場(chǎng)對(duì)集裝箱進(jìn)行裝卸作業(yè)時(shí)，由于司機(jī)作業(yè)位置處于吊車頂部，很難準(zhǔn)確迅速地判斷集裝箱卡車的狀態(tài)。若集裝箱卡車鎖扣未完全打開，會(huì)發(fā)生在吊起集裝箱時(shí)集裝箱鎖扣將卡車一起吊起或半邊吊起的事故，導(dǎo)致集裝箱或卡車損壞，甚至造成卡車司機(jī)傷亡。因此，在集裝箱堆場(chǎng)作業(yè)中，如何防止集裝箱卡車被吊車吊起，是集裝箱裝卸中的一大安全問(wèn)題。

本發(fā)明采用基于機(jī)器視覺的運(yùn)動(dòng)檢測(cè)技術(shù)來(lái)判斷集裝箱卡車車身的運(yùn)動(dòng)方向。一旦發(fā)現(xiàn)卡車被吊起，便立刻終止起吊發(fā)出警報(bào)。所有檢測(cè)裝置掛載在吊車側(cè)面的梁架上，能夠隨著吊車移動(dòng)轉(zhuǎn)場(chǎng)，機(jī)動(dòng)靈活維護(hù)方便。專利《一種防止集裝箱卡車被吊起的自動(dòng)檢測(cè)保護(hù)系統(tǒng)及其應(yīng)用》(申請(qǐng)?zhí)枺?01410060922.1)中采用的安裝在卡車車道邊地梁平臺(tái)下方的區(qū)域傳感器檢測(cè)卡車是否被吊起，該裝置的安裝需要對(duì)地面進(jìn)行施工，并且不能隨吊車移動(dòng)，靈活性差，需要大面積鋪設(shè)則成本較高。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種基于機(jī)器視覺的防集裝箱卡車被吊起方法，具體檢測(cè)過(guò)程包含以下步驟：

(a)在吊車一側(cè)安裝兩個(gè)攝像頭用于獲取集裝箱卡車車身圖像；

(b)等待起吊信號(hào)，接收到起吊信號(hào)后采集起吊前第一幀圖像作為基準(zhǔn)圖像進(jìn)行預(yù)處理并檢測(cè)圖像特征點(diǎn)；

(c)再次采集一幀圖像進(jìn)行同樣的預(yù)處理，檢測(cè)其特征點(diǎn)并與第一幀圖像的特征點(diǎn)進(jìn)行匹配；

(d)根據(jù)特征點(diǎn)匹配結(jié)果計(jì)算車身在水平和豎直方向的位移，判斷車身運(yùn)動(dòng)情況，若兩個(gè)攝像頭的檢測(cè)結(jié)果都顯示車身在豎直方向和水平方向的位移均在閾值范圍內(nèi)，則重復(fù)步驟

c，否則采取相應(yīng)的處理措施。

進(jìn)一步，所述步驟(a)中所述的兩個(gè)攝像頭在輪胎吊一側(cè)梁架的中部間隔2m安裝，距離地面1.45米水平向前與地面平行，所拍攝圖像不能有歪斜；

進(jìn)一步，所述步驟(b)中所述的圖像預(yù)處理，截取圖像下半部分并將其灰度化，再進(jìn)行濾波去噪；

進(jìn)一步，所述步驟(b)中所述圖像特征點(diǎn)的檢測(cè)，采用實(shí)時(shí)性較好的orb(orientedbrief)算法檢測(cè)圖像特征點(diǎn)；

進(jìn)一步，所述步驟(c)中所述特征點(diǎn)的匹配，采用快速最近鄰匹配算法(flann,fastapproximatenearestneighbor)進(jìn)行特征點(diǎn)匹配。

進(jìn)一步，所述步驟(d)中所述車身運(yùn)動(dòng)狀況的判斷和相應(yīng)的處理措施，若兩個(gè)攝像頭的檢測(cè)結(jié)果都顯示車身有向下的位移，則判斷車身被對(duì)側(cè)的鎖扣吊起，立刻停止起吊并輸出報(bào)警信號(hào)；若有一個(gè)攝像頭檢測(cè)結(jié)果顯示車身在豎直向上的位移超過(guò)一定閾值，則判斷車身被吊起，立刻停止起吊并輸出報(bào)警信號(hào)；若有一個(gè)攝像頭檢測(cè)結(jié)果顯示車身在水平方向位移超過(guò)一定閾值且兩個(gè)攝像頭的檢測(cè)結(jié)果都顯示車身豎直方向位移在閾值范圍內(nèi)，則判斷集裝箱起吊過(guò)程正常，車輛駛離，停止本次檢測(cè)，等待新的起吊信號(hào)；若兩個(gè)攝像頭的檢測(cè)結(jié)果都顯示車身在水平和豎直方向的位移均在閾值范圍內(nèi)，則重復(fù)步驟c。

本發(fā)明的有益效果是：

相較于埋設(shè)區(qū)域傳感器，采用基于機(jī)器視覺的防集裝箱卡車吊起方法具有機(jī)動(dòng)靈活，安裝方便，經(jīng)濟(jì)適用等優(yōu)點(diǎn)。所有檢測(cè)設(shè)備都掛載在吊車側(cè)面橫梁上安裝方便，能夠隨吊車移動(dòng)，轉(zhuǎn)場(chǎng)機(jī)動(dòng)靈活，不需要在堆場(chǎng)大面積鋪設(shè)，成本較低。配合人工光源可以全天候工作，并不受雨雪等惡劣天氣影響。同時(shí)采用雙攝像頭的檢測(cè)方案能夠擴(kuò)大檢測(cè)視野并減少因?yàn)榧b箱卡車車身停放歪斜導(dǎo)致的誤檢測(cè)。將相機(jī)水平安裝并將安裝高度定在1.45m，能夠在車身和相機(jī)距離不定的情況下，使圖像下半部分全部都是車身而不包含集裝箱，確保檢測(cè)的準(zhǔn)確性減少誤檢測(cè)。采用orb特征點(diǎn)檢測(cè)算法和flann特征點(diǎn)匹配算法是由于這兩種算法執(zhí)行效率高，能夠提高圖像檢測(cè)的實(shí)時(shí)性。相應(yīng)的處理措施能夠在危害產(chǎn)生前及時(shí)停止起吊，減少損失。

附圖說(shuō)明

圖1硬件連接圖；

圖2軟件流程圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方案做進(jìn)一步描述。

具體實(shí)施部分主要分為硬件設(shè)計(jì)和軟件設(shè)計(jì)兩個(gè)部分。硬件部分主要描述硬件的組成和連接，以及每個(gè)硬件部分的作用。軟件設(shè)計(jì)主要描述檢測(cè)算法的設(shè)計(jì)和運(yùn)行流程。

1、硬件設(shè)計(jì)

如圖1所示，圖像檢測(cè)設(shè)備主要包括攝像頭、工控機(jī)和數(shù)據(jù)輸入/輸出模塊三個(gè)部分，圖中所示plc為吊車控制部件。由于卡車與攝像頭位置較近，因此此處采用兩個(gè)攝像頭以此增大檢測(cè)范圍。兩個(gè)攝像頭在吊車一側(cè)的中部間隔2米安裝，距離地面1.45米水平向前與地面平行，所拍攝圖像不能有歪斜，以確保集裝箱不出現(xiàn)在拍攝圖像的下半幅，而卡車拖車主體部分則主要位于拍攝圖像的下半幅。工控機(jī)主要為程序的運(yùn)行提供穩(wěn)定的工作環(huán)境。數(shù)據(jù)輸入輸出模塊用于工控機(jī)與吊車控制部件plc的通信，有8路光電隔離輸入和8路繼電器輸出，這里具體用于接收plc傳來(lái)的起吊信號(hào)和向plc輸出起吊異常的報(bào)警信號(hào)。

2、軟件設(shè)計(jì)

如圖2所示，軟件運(yùn)行流程包含以下步驟：

(a)等待起吊信號(hào)，獲得起吊信號(hào)后采集第一幀圖像進(jìn)行預(yù)處理作為基準(zhǔn)圖像并檢測(cè)圖像特征點(diǎn)；

(b)再次采集一幀圖像進(jìn)行同樣的預(yù)處理，檢測(cè)其特征點(diǎn)并與第一幀圖像的特征點(diǎn)進(jìn)行匹配；

(c)根據(jù)特征點(diǎn)匹配結(jié)果計(jì)算車身在水平和豎直方向的位移，判斷車身運(yùn)動(dòng)情況，若兩個(gè)攝像頭的檢測(cè)結(jié)果都顯示車身在豎直方向和水平方向的位移均在閾值范圍內(nèi)，則重復(fù)步驟b，否則采取相應(yīng)的處理措施。

所述步驟(a)中所述的圖像預(yù)處理，截取圖像下半部分并將其灰度化，再進(jìn)行濾波去噪。其中，因?yàn)閷?shí)時(shí)使用中需要保存起吊時(shí)集裝起吊錄像以方便調(diào)閱，因此截取圖像下半部分不能通過(guò)設(shè)置攝像頭roi的方式，需要在采集完整圖像幀后截取圖像下半部分。再者需要強(qiáng)調(diào)的是，由于夜間光線條件較差圖像會(huì)產(chǎn)生較多的噪點(diǎn)，因此采用中值濾波對(duì)圖像去噪以防止噪聲對(duì)特征點(diǎn)的檢測(cè)造成影響。預(yù)處理后圖像的像素為640*320。

所述步驟(a)中所述圖像特征點(diǎn)的檢測(cè)，采用實(shí)時(shí)性較好的orb(orientedbrief)算法檢測(cè)圖像特征點(diǎn)。通過(guò)調(diào)用opencv中的相關(guān)函數(shù)實(shí)現(xiàn)。orb特征具有局部不變性，是fast特征點(diǎn)檢測(cè)算法和brief特征描述子的結(jié)合，同時(shí)較sift算法和surf算法運(yùn)行效率更好并且免費(fèi)開源。

所述步驟(b)中所述特征點(diǎn)的匹配，采用快速最近鄰匹配算法(flann,fastapproximatenearestneighbor)進(jìn)行特征點(diǎn)匹配。同樣通過(guò)調(diào)用opencv中的相關(guān)函數(shù)實(shí)現(xiàn)，該算法基于k均值樹和kd-tree搜索操作實(shí)現(xiàn)，可以實(shí)現(xiàn)高效的特征點(diǎn)匹配。

所述步驟(c)中所述車身運(yùn)動(dòng)狀況的判斷和相應(yīng)的處理措施，若兩個(gè)攝像頭的檢測(cè)結(jié)果都顯示車身有向下的位移，則判斷車身被對(duì)側(cè)的鎖扣吊起，立刻停止起吊并輸出報(bào)警信號(hào)；若有一個(gè)攝像頭檢測(cè)結(jié)果顯示車身在豎直向上的位移超過(guò)一定閾值(豎直向上位移閾值設(shè)置為100個(gè)像素距離)，則判斷車身被吊起，立刻停止起吊并輸出報(bào)警信號(hào)；若有一個(gè)攝像頭檢測(cè)結(jié)果顯示車身在水平方向位移超過(guò)一定閾值(水平位移閾值設(shè)置為60個(gè)像素距離)且兩個(gè)攝像頭的檢測(cè)結(jié)果都顯示車身豎直方向位移在閾值范圍內(nèi)，則判斷集裝箱起吊過(guò)程正常，車輛駛離，停止本次檢測(cè)，等待新的起吊信號(hào)；若兩個(gè)攝像頭的檢測(cè)結(jié)果都顯示車身在水平和豎直方向的位移均在閾值范圍內(nèi)，則重復(fù)步驟c。

在本說(shuō)明書的描述中，參考術(shù)語(yǔ)“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示意性實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說(shuō)明書中，對(duì)上述術(shù)語(yǔ)的示意性表述不一定指的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任何的一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。

盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，本領(lǐng)域的普通技術(shù)人員可以理解：在不脫離本發(fā)明的原理和宗旨的情況下可以對(duì)這些實(shí)施例進(jìn)行多種變化、修改、替換和變型，本發(fā)明的范圍由權(quán)利要求及其等同物限定。