專利名稱：基于機器視覺的雙集裝箱定位系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像分割和模式識別領(lǐng)域，具體地講是一種基于機器視 覺的雙集裝箱定位系統(tǒng)。
背景技術(shù)：
由于大型港口裝卸容量的不斷擴(kuò)大，生產(chǎn)效率日益提高，以生產(chǎn)過 程中物料裝卸搬運費用所占比例逐漸增加，促使大型或高速起重機的需 求量不斷增長。起重量越來越大，工作速度越來越高，并對能耗和可靠 性提出更高的要求。起重裝卸機械已成為港口自動化生產(chǎn)流程中的極其 的裝備。對于岸橋裝卸設(shè)備而言，在裝卸集裝箱的過程中，如何實現(xiàn)路 徑優(yōu)化，準(zhǔn)確吊裝以及節(jié)省吊裝時間和勞動強度， 一直是大型港口裝備 應(yīng)用過程中十分關(guān)注的一個研究課題。港口起重裝卸設(shè)備的更新和發(fā)展， 在很大程度上取決于電氣傳動與控制以及檢測方法的改進(jìn)。將機械技術(shù) 和電子技術(shù)相結(jié)合，將先進(jìn)的計算機技術(shù)、微電子技術(shù)、電力電子技術(shù)、 光纜技術(shù)、液壓技術(shù)、模糊控制技術(shù)、先進(jìn)檢測技術(shù)應(yīng)用到起重機械的 驅(qū)動和控制系統(tǒng)，實現(xiàn)起重設(shè)備的自動化和智能化正成為發(fā)展的趨勢。為了提高港口起重設(shè)備的工作效率、起重量等性能，各領(lǐng)域的最新的成果不斷被采用差動原理的應(yīng)用、交流變頻調(diào)速系統(tǒng)的應(yīng)用、自動 控制技術(shù)的應(yīng)用以及結(jié)構(gòu)力學(xué)等等，都取得了不錯的效果。在集裝箱的 自動抓取的研究方面， 一種是采用的是GP S方案，屬于半自動操作， 有部分工作需要人工承擔(dān)；另一種是自動抓取方案則采用了激光定位或 雷達(dá)探測的方案，其造價成本相當(dāng)高。目前，隨著信息技術(shù)的不斷發(fā)展，各種新的檢測技術(shù)測出不窮，人工智能理論也不斷發(fā)展，因此，將這些 理論與技術(shù)應(yīng)用于起重設(shè)備上，在可以接受的造價之內(nèi)，實現(xiàn)起重設(shè)備 的全自動、智能化的抓箱控制完全是可能的，是能夠取得具有國際水平 的應(yīng)用成果。由于橋吊司機在起重機駕駛室內(nèi)視場有限，現(xiàn)在港口裝卸一般是單 箱操作，即起重機一次抓起一個集裝箱。雙40英尺箱雙小車起重機是最新出現(xiàn)的高效起重機，理論上每小時可卸80 100個40英尺箱，堪稱世界最快的起重機，但目前基本是半自動化操作，最終是由司機分別控制 兩個吊具與兩個集裝箱的對準(zhǔn)，其效率不高。發(fā)明內(nèi)容本發(fā)明的目的是提供一種利用機器視覺和圖像識別技術(shù)，直接模擬 人的雙眼處理景物，使引導(dǎo)橋吊司機方便地實現(xiàn)雙集裝箱的自動定位， 引導(dǎo)橋吊司機的對箱操作，從而大大減輕司機的疲勞，大幅度地提高工 作效率的基于機器視覺的雙集裝箱定位系統(tǒng)。為了實現(xiàn)上述目的，本發(fā)明所采用的方法是在現(xiàn)場安裝高分辨相 機(千萬級象素)，首先對相機進(jìn)行標(biāo)定，即確定相機的參數(shù)，包括相機 進(jìn)行圖象采集時的內(nèi)部結(jié)構(gòu)所處的狀態(tài)(內(nèi)部參數(shù)的確定)和相機相對于 所拍攝場景的位置和方向上的關(guān)系(外部參數(shù)的確定)，然后相機采集集 裝箱或集卡圖像，從圖像中提取集裝箱下抓點的圖像坐標(biāo)，進(jìn)行目標(biāo)匹 配后，結(jié)合相機標(biāo)定的參數(shù)結(jié)果測量兩個集裝箱的相對位置的精確值(距 離、角度)，最后將此計算數(shù)值傳送至橋吊駕駛室，結(jié)合控制室的控制與 檢測裝置，在空中調(diào)整兩吊具的相對位置，實現(xiàn)兩吊具與集裝箱在空間 上的匹配，橋吊司機只需對準(zhǔn)其中一個集裝箱，另一個集裝箱就自動的 對準(zhǔn)了，進(jìn)而實現(xiàn)從單箱操作向雙箱操作的轉(zhuǎn)化。本發(fā)明的處理流程分以下三個部分第一部分為相機標(biāo)定，以設(shè)定的已知參照物為標(biāo)定，并與成像單元 對應(yīng)，建立物點的空間三維坐標(biāo)和它們在相機圖像坐標(biāo)的關(guān)系。由于在 碼頭現(xiàn)場相機的位置是固定的，所以只需在安裝完相機后對它們標(biāo)定一 次，在相當(dāng)長的時間內(nèi)，都無需再次標(biāo)定。所采用的是改進(jìn)的直接線性 變換法，該方法計算量小，方法直接，精度高，理論上可以達(dá)到毫米級, 適應(yīng)現(xiàn)場環(huán)境。標(biāo)定結(jié)果經(jīng)計算機處理后儲存，作為第三部分的輸入值 之一 第二部分為拍攝圖像中目標(biāo)提取和特征點匹配，解決在各種光照條 件下集裝箱的提取問題， 一般可根據(jù)集裝箱的具體特征加以分析，如角點、直線，并建立這特征點在兩CCD成像的對應(yīng)關(guān)系。設(shè)計適合現(xiàn)場環(huán) 境各種變化的方案，并保證精度的穩(wěn)定，提取的特征點圖像坐標(biāo)儲存后 作為第三部分的輸入值之二。在復(fù)雜背景下，從采集的圖像中提取集裝箱是一個重要的過程，它 直接影響后面處理的結(jié)果。如光照條件得到充分保證，集裝箱區(qū)域的灰 度分布較為均勾，且高于背景，對其進(jìn)行提取就相對易實現(xiàn)。但是，集 裝箱裝卸一般是全天候進(jìn)行，其作業(yè)環(huán)境十分復(fù)雜，因此，盡管可以增 加輔助的照明光源，但陽光、雨水、霧、晚上等條件下的光照還是會或 多或少受到影響，因此，這些都增加了目標(biāo)提取的難度。對集裝箱的作業(yè)現(xiàn)場進(jìn)行分析，并觀察實際場景下拍攝的集裝箱圖 像，可以發(fā)現(xiàn)圖像中地面的灰度分布較為均勻；在光照有一定保證的 情況下，集裝箱上部的灰度值高而且較為均勻。集裝箱為立方體，其邊 緣在圖像中的直線特征明顯，各直線間的拓樸較為明確。在本發(fā)明中，集裝箱提取算法包括用SUSAN算子提取邊緣區(qū)域得到圖像/|;抑制背景噪聲提取并保留滿足一定條件的直線得到圖像/2;以/2為初始條件，/,為限定條件，進(jìn)行目標(biāo)增強得到圖像/3 ;在圖像/3中提 取集裝箱的若干條邊線(至少兩條)，并與圖庫中的集裝箱的各種姿態(tài)相 匹配，提取出集裝箱的上平面；最后將兩個相機所拍攝到的圖片中的特 征點進(jìn)行特征匹配。第三部分為目標(biāo)定位，依據(jù)成像關(guān)系式，從已知的相機參數(shù)、兩相 機CCD成像特征對應(yīng)關(guān)系即前兩步的結(jié)果解算出特征點的實際空間坐標(biāo)， 此發(fā)明中結(jié)合考慮了集裝箱的下抓點尺寸和起重機吊具的控制精確度， 確定最終空間坐標(biāo)的誤差在5cm以內(nèi)，誤差具體來說是指特征點空間坐 標(biāo)的計算值與真實值的距離。本發(fā)明利用計算機視覺技術(shù)模擬人的雙眼，直接測量兩個集裝箱的 相對位置的精確值(距離、角度)，并將這些測量出來的值傳送給吊車司 機駕駛室，結(jié)合控制室的控制與檢測裝置，在空中調(diào)整兩吊具的位置， 實現(xiàn)兩吊具與集裝箱在空間上的匹配，這樣只要對準(zhǔn)了陸側(cè)的集裝箱， 海側(cè)的集裝箱也能對準(zhǔn)，即將雙箱操作簡化成單箱操作，提高了效率的 同時大大減輕司機的負(fù)擔(dān)。


圖1為本發(fā)明吊具與集裝箱對準(zhǔn)示意圖。 圖2為本發(fā)明工作原理框圖。 圖3為本發(fā)明立體視覺雙相機的幾何關(guān)系圖。
具體實施方式
下面結(jié)合附圖和實施例對本發(fā)明作進(jìn)一步的說明，但該實施例不應(yīng)理解 為對本發(fā)明的限制。本發(fā)明的第一部分相才幾的標(biāo)定。經(jīng)典的相才幾標(biāo)定方法有直接線性變換法、Tsai法、張正友法。直接線性變換法未考慮相機畸變，精度不 高。Tsai法應(yīng)用的前提是畸變中心與圖像中心重合，而現(xiàn)代相機并不全 滿足此條件。張正友法當(dāng)目標(biāo)距相機較遠(yuǎn)時，標(biāo)定的精度下降，不適合 此系統(tǒng)的應(yīng)用環(huán)境。本發(fā)明采用的是一種改進(jìn)的直接線性變換法，它在 傳統(tǒng)直接線性變換法所做的改進(jìn)主要有(1) 傳統(tǒng)的直接線性變換法(DLT)是直接建立物點的空間三維坐標(biāo)和它們在相機圖像坐標(biāo)的關(guān)系，這個方法是基于共線原則的，即物點、相機光心、和它們的成像點共線。DLT基本公式如下<formula>formula see original document page 9</formula>其中(w,v)是圖像坐標(biāo)，(jcj，z)是空間坐標(biāo)。這個公式中的系數(shù)/可以組成 一個3x4的矩陣￡，矩陣的最后一個元素值設(shè)置為1。很多現(xiàn)在提出的 線性標(biāo)定法都是基于相同的過程先估計出M矩陣的初值，再將此矩陣 分解為內(nèi)外參數(shù)，解出了相機參數(shù)的封閉解。其中有些方法未考慮畸變， 而即便是高精度相機也有畸變，所以導(dǎo)致標(biāo)定精度不高，達(dá)不到本系統(tǒng) 的要求。本發(fā)明先在設(shè)定無畸變的條件下求出丄矩陣的初值，最后的一個元素作為畸變參數(shù)，然后對丄矩陣進(jìn)行優(yōu)化，優(yōu)化的目的是搜索最優(yōu)值使 (W-"'，v-v')最小，"'，v-v')是計算值與真實值間的誤差；(2) 經(jīng)過大量實驗證明丄矩陣的分解對噪聲很敏感，￡估計微小的 不精確都會導(dǎo)致分解結(jié)果的巨大誤差。本發(fā)明最終的目的恢復(fù)物點的空 間3D坐標(biāo)并將誤差控制在一定范圍內(nèi)，恢復(fù)物點的空間3D坐標(biāo)的過程并不一定要用到內(nèi)外參數(shù)的值，本發(fā)明的改進(jìn)的算法中對丄矩陣不做分 解，求3D坐標(biāo)時直接用丄矩陣的元素，以此提高精度。(3)標(biāo)定的控制點用圓心，由于圓的中心對稱特性，釆用圓心做控 制點可以很好地克服光照不均勻的不理想情況，但它卻帶來另一個問題 =相機光軸與圓直徑不垂直時，圓心在圖像上的成像點與圖像中圓的投 影的重心不重合，這稱為不對稱投影，本發(fā)明并在標(biāo)定過程中加入不對 稱投影矯正，矯正是基于改進(jìn)的DLT標(biāo)定法，以此進(jìn)一步了提高精度。本發(fā)明的第二部分圖像中目標(biāo)提取和特征點匹配，包括下面四個 步驟第一步驟用SUSAN算子提取邊緣區(qū)域得到圖像/,, SUSAN算子(Smal 1 Unvalued Segment Assimilating Nucleus)是——種直4妄利用圖虧象灰度進(jìn) 行角點和邊緣檢測的方法，它計算簡單，具有定位準(zhǔn)確、抗噪能力強等 特點。把圖像中的每個像素與具有其相似灰度值的局部區(qū)域相聯(lián)系起來 是SUSAN原則的基礎(chǔ)。由于SUSAN濾波不用考慮目標(biāo)具體灰度值，因為 光照不均勻，目標(biāo)的灰度有些區(qū)域可能高于背景，而某些區(qū)域的灰度又 低于背景。用單一灰度門限是難以將目標(biāo)的輪廓正確分割出來的，必須 使用多門限。第二步驟抑制背景噪聲提取并保留滿足一定條件的直線得到圖像 /2。經(jīng)過SUSAN算子處理后的圖像，雖然集裝箱的輪廓已經(jīng)大致已知，但 仍然可能會存在著一些噪聲，必須抑制這些噪聲。通過觀察，可以發(fā)現(xiàn) 集裝箱的邊緣可以看作是由長的直線組成，并且直線都存在著一定的連 接關(guān)系。于是，如果保留滿足一定條件的直線，去除其他不規(guī)則邊緣， 利用形態(tài)學(xué)運算重構(gòu)出一新的圖像，就可以達(dá)到保留目標(biāo)區(qū)，抑制噪聲 的目的。在此基礎(chǔ)上進(jìn)行直線提取，具體方法為l)對原圖像進(jìn)行邊緣檢測，得到二值圖像《；2)對于^上的每一個值為1的點，以其為中心， 在設(shè)定的小窗口內(nèi)(窗口大小可以依目標(biāo)邊緣直線的平均長度而定)尋找直線，處理后的圖像記為《；3)以巧為輸入圖像，/,為條件限制圖像， 進(jìn)行重構(gòu)得到新的灰度圖像/2 。第三步驟以/2為初始條件，/,為限定條件，進(jìn)行目標(biāo)增強得到圖像 /3，包括一下幾步1)對灰度圖像/2采用Ostu方法進(jìn)行二值化；2)用大 小合適的結(jié)構(gòu)元對二值化后的圖像作閉運算(即先膨脹后腐蝕)；3)依 據(jù)面積大小去除小的孤立的噪聲塊；4)對剩下的目標(biāo)區(qū)域進(jìn)行填充；5) 對圖像進(jìn)行細(xì)化，細(xì)化的目的是減少圖像成分，直到只留下區(qū)域的最基 本信息，其過程就是不斷去除區(qū)域內(nèi)不影響連通性的像素，直到只留下 區(qū)域的最基本信息。第四步驟在圖像/3中提取集裝箱的若干條邊線(至少兩條)，并與 圖庫中的集裝箱的各種姿態(tài)相匹配，最終提取出集裝箱的上平面。提取 集裝箱邊線采用Hough變換算法，圖庫是預(yù)先建立的，由于相機位置固 定，而集裝箱停放位置是位于某一范圍以內(nèi)，所以圖庫中的集裝箱姿態(tài) 也是在一定范圍內(nèi)的，圖片數(shù)量與匹配速度是成反比的，圖片數(shù)量的減 少帶來識別速度的增加。第五步驟特征點匹配，還存在一個對應(yīng)關(guān)系，即若"'點為圖像^上 的某點，但該點在圖像A上會存在一對應(yīng)的點^，此時，利用點^與A便可以計算出正確的空間點坐標(biāo)，而若沒有正確建立將點A在圖像/2的對應(yīng) 點關(guān)系，則是無法獲得正確空間坐標(biāo)點坐標(biāo)。特征點的對應(yīng)是一個十分 復(fù)雜的問題。但在本發(fā)明中，集裝箱的大致位置可以預(yù)先知道，而所提 取的特征點在兩幅圖像中的拓樸關(guān)系相對穩(wěn)定，因此，根據(jù)這種穩(wěn)定性， 建立特征點之間的對應(yīng)規(guī)則，這樣就可以避免過多繁瑣的計算。本發(fā)明的第三部分是目標(biāo)定位在立體視覺系統(tǒng)中，數(shù)據(jù)是兩個相 機獲得的圖像/,和/2，如果《，？2是空間同一點P在兩個圖像的投影點，A， 《稱為對應(yīng)點。根據(jù)對應(yīng)點的圖像坐標(biāo)和相機的標(biāo)定結(jié)果既得P點的三 維空間坐標(biāo)，在前兩個部分的所得數(shù)據(jù)的基礎(chǔ)上即可得出任意物點的空 間三維坐標(biāo)。將此坐標(biāo)結(jié)果經(jīng)計算機儲存處理后作為輸出調(diào)整兩個吊具 的相對位置，并最終實現(xiàn)吊具和雙箱的位置匹配。本說明書中未作詳細(xì)描述的內(nèi)容屬于本領(lǐng)域?qū)I(yè)技術(shù)人員公知的現(xiàn) 有技術(shù)。
權(quán)利要求
1、一種基于機器視覺的雙集裝箱定位系統(tǒng)，所采用的方法是在現(xiàn)場安裝高分辨相機，首先對相機進(jìn)行標(biāo)定，即確定相機的參數(shù)，包括相機進(jìn)行圖象采集時的內(nèi)部結(jié)構(gòu)所處的狀態(tài)和相機相對于所拍攝場景的位置和方向上的關(guān)系，然后相機采集集裝箱或集卡圖像，從圖像中提取集裝箱下抓點的圖像坐標(biāo)，進(jìn)行目標(biāo)匹配后，結(jié)合相機標(biāo)定的參數(shù)結(jié)果測量兩個集裝箱的相對位置的精確值，最后將此計算數(shù)值傳送至橋吊駕駛室，結(jié)合控制室的控制與檢測裝置，在空中調(diào)整兩吊具的相對位置，實現(xiàn)兩吊具與集裝箱在空間上的匹配，橋吊司機只需對準(zhǔn)其中一個集裝箱，另一個集裝箱就自動的對準(zhǔn)了，進(jìn)而實現(xiàn)從單箱操作向雙箱操作的轉(zhuǎn)化。
2、如權(quán)利要求1所述的基于機器視覺的雙集裝箱定位系統(tǒng)，包括相 機標(biāo)定、拍攝圖像中目標(biāo)提取和特征點匹配和目標(biāo)定位，其特征在于相機標(biāo)定以設(shè)定的已知參照物為標(biāo)定，并與成像單元對應(yīng)，建立 物點的空間三維坐標(biāo)和它們在相機圖像坐標(biāo)的關(guān)系，碼頭現(xiàn)場相機的位 置是固定的，所以只需在安裝完相機后對它們標(biāo)定一次，在相當(dāng)長的時 間內(nèi)，都無需再次標(biāo)定；拍攝圖像中目標(biāo)提取和特征點匹配解決在各種光照條件下集裝箱的提取問題，根據(jù)集裝箱的具體特征加以分析，集裝箱提取方法包括提取邊緣區(qū)域和抑制背景噪聲，并提取集裝箱的角點、直線，并建立這些特征點在兩相機CCD成像的對應(yīng)關(guān)系，在提取的基礎(chǔ)上進(jìn)行目標(biāo)增強、提取集裝箱邊線并于圖庫中的數(shù)據(jù)相比較、特征點匹配；目標(biāo)定位依據(jù)成像關(guān)系式，從已知的相機參數(shù)、兩相機CCD成像特征對應(yīng)關(guān)系，即相機標(biāo)定和拍攝圖像中目標(biāo)提取和特征點匹配結(jié)果得出特征點的實際空間坐標(biāo)。
3、 如權(quán)利要求2所述的基于機器視覺的雙集裝箱定位系統(tǒng)，其特征在于相機標(biāo)定采用改進(jìn)的直接線性變換法，在傳統(tǒng)直接線性變換法上加入鏡頭畸變參數(shù)，不把丄矩陣分解為內(nèi)外參數(shù)以提高精度，采用圓做控 制點，標(biāo)定結(jié)果經(jīng)計算機處理后儲存，作為目標(biāo)定位的輸入值。
4、 如權(quán)利要求2所述的基于機器視覺的雙集裝箱定位系統(tǒng)，其特征 在于拍攝圖像中目標(biāo)提取和特征點匹配是用SUSAN算子提取邊緣區(qū)域 得到圖像/,,抑制背景噪聲提取并保留得到圖像/2,以圖像/2為初始條件， 圖像/,為限定條件，進(jìn)行目標(biāo)增強得到圖像/3，采用Hough變換在圖像/3中 提取集裝箱的至少兩條邊線，并與圖庫中的集裝箱的各種姿態(tài)相匹配， 提取出集裝箱的上平面，最后將兩個相機所拍攝到的圖片中的特征點進(jìn) 4亍凈爭4正匹配。
5、 如權(quán)利要求4所述的基于機器視覺的雙集裝箱定位系統(tǒng)，其特征 在于抑制背景噪聲提取并保留得到圖像/2的具體方法為1) 對原圖像進(jìn)行邊緣檢測，得到二值圖像《；2) 對于《上的每一個值為1的點，以其為中心，在設(shè)定的小窗口內(nèi) 尋找直線，處理后的圖像為《；3) 以圖像尸2為輸入圖像，圖像/,為條件限制圖像，進(jìn)行重構(gòu)得到新 的灰度圖像/2。
6、 如權(quán)利要求4所述的基于機器視覺的雙集裝箱定位系統(tǒng)，其特征 在于進(jìn)行目標(biāo)增強得到圖像/3的具體方法為1) 對灰度圖像/2采用0stu方法進(jìn)行二值化；2) 用結(jié)構(gòu)元對二值化后的圖像作閉運算；3) 依據(jù)面積大小去除小的孤立的噪聲塊；4) 對剩下的目標(biāo)區(qū)域進(jìn)行填充；5)對圖像進(jìn)行細(xì)化，直到只留下區(qū)域的最基本信息，其過程就是不 斷去除區(qū)域內(nèi)不影響連通性的像素，直到只留下區(qū)域的最基本信息。
7、如權(quán)利要求4所述的基于機器視覺的雙集裝箱定位系統(tǒng)，其特 征在于將兩個相機所拍攝到的圖片中的特征點進(jìn)行特征匹配的具體方 法是建立特征點匹配對應(yīng)關(guān)系，即建立集裝箱上的點與圖像7'上的對應(yīng) 點和圖像72上存在相同對應(yīng)點之間的對應(yīng)規(guī)則。
全文摘要
本發(fā)明涉及一種基于機器視覺的雙集裝箱定位系統(tǒng)，所采用的方法是在現(xiàn)場安裝高分辨相機，首先對相機進(jìn)行標(biāo)定，然后相機采集集裝箱或集卡圖像，從圖像中提取集裝箱下抓點的圖像坐標(biāo)，進(jìn)行目標(biāo)匹配后，結(jié)合相機標(biāo)定的參數(shù)結(jié)果測量兩個集裝箱的相對位置的精確值，最后將此計算數(shù)值傳送至橋吊駕駛室，結(jié)合控制室的控制與檢測裝置，在空中調(diào)整兩吊具的相對位置，實現(xiàn)兩吊具與集裝箱在空間上的匹配，橋吊司機只需對準(zhǔn)其中一個集裝箱，另一個集裝箱就自動的對準(zhǔn)了，進(jìn)而實現(xiàn)從單箱操作向雙箱操作的轉(zhuǎn)化。本發(fā)明利用計算機視覺技術(shù)模擬人的雙眼，直接測量兩個集裝箱的相對位置的精確值，即將雙箱操作簡化成單箱操作，提高了效率的同時大大減輕橋吊司機的負(fù)擔(dān)。
文檔編號G01C11/00GK101251381SQ20071016909
公開日2008年8月27日 申請日期2007年12月29日 優(yōu)先權(quán)日2007年12月29日
發(fā)明者泉 劉, 巍 吳, 周祖德, 李方敏, 李景松, 杭 蘇 申請人:武漢理工大學(xué)