專利名稱：基于立體視覺(jué)的吊車避障系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于非線性欠驅(qū)動(dòng)系統(tǒng)自動(dòng)控制的技術(shù)領(lǐng)域，特別涉及一種基于立體視覺(jué)的吊車避障系統(tǒng)。
背景技術(shù)：
吊車系統(tǒng)運(yùn)行過(guò)程中，監(jiān)控人員發(fā)現(xiàn)(潛在)碰撞危險(xiǎn)的情況，通過(guò)緊急制動(dòng)按鈕來(lái)實(shí)現(xiàn)吊車的緊急制動(dòng)。但是，這種緊急制動(dòng)策略取決于監(jiān)控人員的判斷時(shí)機(jī)，實(shí)時(shí)性達(dá)不到，極易發(fā)生碰撞，危險(xiǎn)性高，極大的降低了吊車系統(tǒng)的效率。隨著計(jì)算機(jī)視覺(jué)技術(shù)的不斷發(fā)展，視覺(jué)傳感器在各類機(jī)電系統(tǒng)中得到了越來(lái)越廣泛的應(yīng)用。雙目視覺(jué)傳感器以其結(jié)構(gòu)簡(jiǎn)單、非接觸測(cè)量、準(zhǔn)確度高等諸多優(yōu)點(diǎn)被廣泛地用于視場(chǎng)內(nèi)環(huán)境的監(jiān)控和測(cè)量。在吊車系統(tǒng)運(yùn)行過(guò)程中，通過(guò)立體視覺(jué)系統(tǒng)完成運(yùn)動(dòng)物體檢測(cè)、 吊車空間的三維重建，在線計(jì)算出負(fù)載與障礙物的運(yùn)動(dòng)信息(位置信息、速度信息)和尺寸信息，來(lái)進(jìn)行碰撞預(yù)測(cè)，決定是否采用緊急制動(dòng)，實(shí)現(xiàn)吊車系統(tǒng)的安全運(yùn)行。

發(fā)明內(nèi)容
本發(fā)明目的是解決現(xiàn)有吊車系統(tǒng)的控制達(dá)不到實(shí)時(shí)性要求、極易發(fā)生碰撞，使危險(xiǎn)性高等問(wèn)題，提供一種基于立體視覺(jué)的吊車避障系統(tǒng)。該系統(tǒng)的主要功能是標(biāo)定雙目立體視覺(jué)系統(tǒng)，得到左右相機(jī)的內(nèi)參數(shù)，以及左右相機(jī)之間的外參數(shù)；使用立體視覺(jué)系統(tǒng)拍攝吊車工作場(chǎng)景的圖像，重建吊車工作空間中的靜態(tài)障礙物；在吊車系統(tǒng)運(yùn)送負(fù)載的工程中，實(shí)時(shí)檢測(cè)突然進(jìn)入吊車工作空間的運(yùn)動(dòng)物體 (人、車輛、或者其它障礙物等)，同時(shí)預(yù)測(cè)出負(fù)載與工作空間中的靜態(tài)障礙物和運(yùn)動(dòng)障礙物是否發(fā)生碰撞。如果發(fā)生碰撞，則采取緊急制動(dòng)策略，避免負(fù)載與障礙物發(fā)生碰撞。本發(fā)明提供的基于立體視覺(jué)的吊車避障系統(tǒng)共由四部分組成，包括第1、雙目立體視覺(jué)系統(tǒng)的標(biāo)定第1. 1、模型分析相機(jī)模型采用通常的針孔模型描述三維歐式空間到二維圖像平面的投影變換，雙目立體視覺(jué)系統(tǒng)一般由左右兩個(gè)相機(jī)組成，其成像模型均采用所述的針孔模型；在雙目立體視覺(jué)系統(tǒng)中，需要標(biāo)定的參數(shù)包括左相機(jī)和右相機(jī)的內(nèi)參數(shù)ApAp A1為左相機(jī)的內(nèi)參數(shù)矩陣，4為右相機(jī)的內(nèi)參數(shù)矩陣，以及左相機(jī)和右相機(jī)之間的外參數(shù)R和t，R和t分別表示左相機(jī)和右相機(jī)之間外參數(shù)的旋轉(zhuǎn)矩陣和平移向量；第1. 2、基于全局代價(jià)函數(shù)優(yōu)化的立體標(biāo)定立體標(biāo)定包括左相機(jī)和右相機(jī)的內(nèi)參數(shù)標(biāo)定、左相機(jī)和右相機(jī)分別與標(biāo)定板之間的外參數(shù)標(biāo)定、鏡頭畸變系數(shù)的標(biāo)定、以及左右相機(jī)之間外參數(shù)標(biāo)定；引入左右相機(jī)之間外參數(shù)保持不變這一約束條件，并選取全局代價(jià)函數(shù)作為優(yōu)化目標(biāo)進(jìn)行非線性優(yōu)化，所述基于全局代價(jià)函數(shù)優(yōu)化的立體標(biāo)定方法包括角點(diǎn)提取、2維單應(yīng)矩陣的估計(jì)、相機(jī)內(nèi)外參數(shù)的估計(jì)、徑向畸變的估計(jì)，以及基于全局代價(jià)函數(shù)的非線性優(yōu)化五個(gè)步驟第1.2. 1、左右相機(jī)同時(shí)各拍攝3幅以上的標(biāo)定圖像，利用Harris角點(diǎn)檢測(cè)算法提取出角點(diǎn)坐標(biāo)，精確至亞像素精度；第1. 2. 2、對(duì)于每幅圖像，計(jì)算左右相機(jī)圖像平面與標(biāo)定板之間的2維單應(yīng)矩陣；第1. 2. 3、估計(jì)得到左右相機(jī)的內(nèi)參數(shù)，以及它們與標(biāo)定板之間的外參數(shù)；第1. 2. 4、采用最小二乘方法估計(jì)徑向畸變系數(shù)；第1. 2. 5、引入左右相機(jī)之間外參數(shù)不變這一約束條件，基于全局代價(jià)函數(shù)進(jìn)行非線性優(yōu)化；第2、吊車工作空間中靜態(tài)障礙物的重建首先提取圖像的邊緣特征；然后利用極線約束和鄰域灰度信息，沿特征點(diǎn)的主方向建立描述符；同時(shí)通過(guò)“冗余角閾值”策略來(lái)選擇合適的候選匹配點(diǎn)；最后通過(guò)計(jì)算特征點(diǎn)與候選匹配點(diǎn)之間的相關(guān)度，得到正確的匹配點(diǎn)。第2. 1、具有旋轉(zhuǎn)不變性的邊緣點(diǎn)匹配算法針對(duì)傳統(tǒng)邊緣匹配算法對(duì)圖像旋轉(zhuǎn)敏感，易發(fā)生誤匹配的缺點(diǎn)，提出了一種具有旋轉(zhuǎn)不變性的邊緣點(diǎn)匹配算法，通過(guò)將SIFT算子的旋轉(zhuǎn)不變性引入匹配中來(lái)提高對(duì)圖像旋轉(zhuǎn)的魯棒性，具體包括五個(gè)步驟第2. 1. 1、圖像預(yù)處理，包括灰度化處理，直方圖均衡化，圖像平滑濾波操作；第2. 1. 2、特征點(diǎn)提取，特征點(diǎn)提取在圖像空間中進(jìn)行，利用Carmy邊緣檢測(cè)算子得到樣本圖和搜索圖的輪廓點(diǎn)信息，并保存搜索圖的輪廓圖像；第2. 1. 3、特征點(diǎn)描述符的建立對(duì)任意特征點(diǎn)，首先計(jì)算特征點(diǎn)主方向；在以該特征點(diǎn)為中心的鄰域窗口內(nèi)采樣， 使用梯度方向直方圖統(tǒng)計(jì)鄰域像素的梯度方向和幅值；直方圖的峰值代表該特征點(diǎn)鄰域內(nèi)梯度的主方向，即特征點(diǎn)的主方向；獲得特征點(diǎn)主方向后，利用鄰域灰度信息，沿特征點(diǎn)主方向來(lái)建立描述符，從而保證特征點(diǎn)描述符具備旋轉(zhuǎn)不變性；第2. 1. 4、候選匹配點(diǎn)的選取為了消除旋轉(zhuǎn)對(duì)匹配結(jié)果的影響，采用SIFT算子的旋轉(zhuǎn)不變性來(lái)建立特征點(diǎn)描述符，但匹配結(jié)果出現(xiàn)二義性，即一個(gè)樣本點(diǎn)可能對(duì)應(yīng)多個(gè)搜索點(diǎn)，為此，采用一種“冗余角閾值”策略對(duì)二義性問(wèn)題進(jìn)行處理，在匹配時(shí)，僅僅將搜索圖中對(duì)應(yīng)主方向附近的特征點(diǎn)作為候選，以剔除錯(cuò)誤的匹配點(diǎn)；第2. 1. 5、特征點(diǎn)描述符相關(guān)度的計(jì)算特征點(diǎn)的匹配，實(shí)質(zhì)是計(jì)算特征點(diǎn)描述符之間的相關(guān)度；對(duì)兩個(gè)點(diǎn)Pl、p2，設(shè)其描述符分別為Vl、V2 ;Vl和V2的相關(guān)度越高，則兩個(gè)點(diǎn)的匹配度越高；反之，則匹配度越低；使用如下向量夾角余弦值來(lái)計(jì)算兩個(gè)描述符之間的相關(guān)度，當(dāng)余弦值等于1時(shí)，兩特征點(diǎn)具有最佳匹配；當(dāng)余弦值等于0時(shí)，則匹配度最低；使用該方法對(duì)吊車工作場(chǎng)景進(jìn)行重建，最終得到吊車工作空間中靜態(tài)障礙物的位置信息和尺寸大?。坏?、吊車工作空間中動(dòng)態(tài)障礙物的檢測(cè)與跟蹤使用背景差分法，實(shí)時(shí)檢測(cè)出突然進(jìn)入吊車工作空間的運(yùn)動(dòng)物體。再使用 camshift算法，實(shí)時(shí)跟蹤負(fù)載和運(yùn)動(dòng)障礙物，估計(jì)它們各自的位置信息和尺寸信息。最后對(duì)這些信息進(jìn)行kalman濾波，得到準(zhǔn)確的估計(jì)值；
第3. 1、基于背景差分法的運(yùn)動(dòng)檢測(cè)第3. 1. 1、一般情況下，前景的運(yùn)動(dòng)目標(biāo)的灰度值與背景的灰度值之間有很大的差異，而運(yùn)動(dòng)物體本身的灰度值一般不會(huì)有很大差異，因此通過(guò)圖像差分就能很好地反映出兩幀圖像之間的變化，如能檢測(cè)出這種變化，就可以將運(yùn)動(dòng)目標(biāo)提取出來(lái)并分析其運(yùn)動(dòng)特征；第3. 1. 2、由于噪聲及背景提取存在的誤差，需要對(duì)得到的差分圖像進(jìn)行二值化處理，即將屬于背景的靜止像素和屬于目標(biāo)的運(yùn)動(dòng)像素分開(kāi)，得到二值化圖像；第3. 1. 3、得到二值化圖像后，對(duì)圖像進(jìn)行腐蝕和膨脹操作，消除孤立點(diǎn)或較小的孤立區(qū)域，連通碎化的區(qū)域，然后統(tǒng)計(jì)連通區(qū)域個(gè)數(shù)，判斷是否有運(yùn)動(dòng)障礙物進(jìn)入，對(duì)運(yùn)動(dòng)物體進(jìn)行編號(hào)；同時(shí)統(tǒng)計(jì)連通區(qū)域的外接矩形，可以估計(jì)運(yùn)動(dòng)物體的尺寸信息，還可以用于 camshift跟蹤算法的初始化；第3. 2、尺寸信息估計(jì)根據(jù)第3. 1. 3步得到的圖像上連通區(qū)域的外接矩形，估計(jì)運(yùn)動(dòng)物體的實(shí)際尺寸信息；第3. 2. 1、匹配左圖像和右圖像中的連通區(qū)域，根據(jù)圖像上連通區(qū)域的中心位置， 來(lái)計(jì)算物體中心的實(shí)際坐標(biāo)，得到物體的深度值4 ；第3. 2. 2、已知連通區(qū)域的外接矩形的長(zhǎng)軸a，短軸b，以及外接矩形與水平方向的偏轉(zhuǎn)角度為θ，可以得到長(zhǎng)邊在u，ν方向上的長(zhǎng)度Au，Δν;根據(jù)投影原理，可以得到物體在X。，Ye方向上的長(zhǎng)度八^和Δ Ye，進(jìn)一步得到物體的包圍球半徑r;第3. 3、camshift 跟蹤算法Camshift算法可以分為兩大部分，第一部分meanshift查找目標(biāo)，第二部分自適應(yīng)調(diào)整搜索窗口的長(zhǎng)、寬、方向；對(duì)于每一幅圖像，先采用meanshift算法計(jì)算出目標(biāo)包圍窗口，在通過(guò)公式自適應(yīng)的計(jì)算出下一幅圖像的初始搜索框的長(zhǎng)和寬，這樣就完成了對(duì)搜索框的自適應(yīng)更新；第3. 4、kalman 濾波以上第3. 3步跟蹤算法得到的只是物體每時(shí)刻位置的估計(jì)，這個(gè)估計(jì)是不準(zhǔn)確， 可以將這些不準(zhǔn)確簡(jiǎn)單地看作跟蹤過(guò)程中的噪聲；為了最大限度地估計(jì)物體的運(yùn)動(dòng)，使用多個(gè)測(cè)量的累積可以檢測(cè)出不受噪聲影響的部分觀測(cè)軌跡；應(yīng)用在吊車系統(tǒng)中，我們將物體的狀態(tài)用三個(gè)位置變量x、y和z，以及三個(gè)速度變量vx，vy和Vz表示，這六個(gè)變量組成狀態(tài)向量&的元素；我們用立體視覺(jué)來(lái)測(cè)量物體的位置，作為觀測(cè)值來(lái)進(jìn)行更新，就可以得到最優(yōu)的估計(jì)值；第4、碰撞預(yù)測(cè)使用包圍球來(lái)表示負(fù)載和障礙物的碰撞模型，以靜止包圍球的碰撞相交算法為基礎(chǔ)，得到運(yùn)動(dòng)的包圍球碰撞算法；負(fù)載在場(chǎng)景中運(yùn)動(dòng)，根據(jù)運(yùn)動(dòng)包圍球碰撞算法，實(shí)時(shí)預(yù)測(cè)負(fù)載與靜態(tài)或者動(dòng)態(tài)障礙物是否發(fā)生碰撞，以啟動(dòng)緊急制動(dòng)控制；第4.1、碰撞模型包圍球碰撞模型，是指包含物體的最小球體，包括球體中心坐標(biāo)C和半徑R ；第4. 1. 1、靜態(tài)障礙物的包圍球創(chuàng)建根據(jù)立體匹配重建得到的物體輪廓的點(diǎn)集Xj (0 ( j ( n)，首先，累積所有點(diǎn)的坐標(biāo)向量獲取平均向量C，即為包圍球的中心點(diǎn)；然后再根據(jù)所有點(diǎn)到中心點(diǎn)的最大距離確定包圍球的半徑R ；第4. 1. 2、動(dòng)態(tài)障礙物的包圍球創(chuàng)建根據(jù)第3步實(shí)時(shí)跟蹤并經(jīng)過(guò)kalman濾波后得到的中心點(diǎn)位置作為包圍球的中心點(diǎn)，實(shí)時(shí)估計(jì)的最大半徑作為包圍球的半徑，并可以在線更新；第4. 2、運(yùn)動(dòng)碰撞預(yù)測(cè)算法第4. 2. 1、計(jì)算負(fù)載包圍球中心O1與障礙物包圍球中心O0之間的距離Cl1,判斷障礙物是否在安全半徑范圍之內(nèi)，如果在，進(jìn)行下一步；其中，安全半徑Rs.由吊車負(fù)載的最大安全制動(dòng)距離ds.、負(fù)載包圍球半徑Ii1和障礙物包圍球半徑I 。組成；第4. 2. 2、計(jì)算負(fù)載與障礙物的相對(duì)速度是否為零，如果相對(duì)速度為零，則兩個(gè)物體不會(huì)發(fā)生碰撞；若不為零，則進(jìn)行下一步；其中，相對(duì)速度Vrel由負(fù)載速度V1和障礙物速度V。生成；第4. 2. 3、計(jì)算直線與平面的交點(diǎn)Pintre ；其中，直線過(guò)負(fù)載中心點(diǎn)且方向向量為相對(duì)速度方向，平面過(guò)障礙物中心點(diǎn)且法向量為相對(duì)速度方向；第4. 2. 4、然后計(jì)算交點(diǎn)Pinto與障礙物中心點(diǎn)之間距離d2 ；如果d2小于R1和R。之和，則負(fù)載與障礙物發(fā)生碰撞，反之，則不發(fā)生碰撞；第4. 2. 5、當(dāng)預(yù)測(cè)負(fù)載與障礙物將發(fā)生碰撞時(shí)，及時(shí)采取制動(dòng)措施。本發(fā)明的優(yōu)點(diǎn)和積極效果本發(fā)明基于工程實(shí)際需要，將立體視覺(jué)應(yīng)用于吊車系統(tǒng)的運(yùn)行過(guò)程中。使用立體視覺(jué)系統(tǒng)重建吊車工作空間中靜態(tài)障礙物。同時(shí)在負(fù)載運(yùn)送過(guò)程中，實(shí)時(shí)檢測(cè)突然進(jìn)入吊車工作空間的運(yùn)動(dòng)物體(人、車輛、或者其它障礙物等)，同時(shí)預(yù)測(cè)出負(fù)載與工作空間中的靜態(tài)障礙物和運(yùn)動(dòng)障礙物是否發(fā)生碰撞。如果預(yù)測(cè)出碰撞，則采取緊急制動(dòng)策略，避免負(fù)載與障礙物發(fā)生碰撞?？紤]到各國(guó)現(xiàn)有吊車的控制基本均由人工進(jìn)行操縱，由監(jiān)控人員發(fā)現(xiàn)潛在的碰撞危險(xiǎn)，通過(guò)緊急制動(dòng)按鈕來(lái)實(shí)現(xiàn)吊車的緊急制動(dòng)。但是，這種緊急制動(dòng)策略取決于監(jiān)控人員的判斷時(shí)機(jī)，實(shí)時(shí)性達(dá)不到，極易發(fā)生碰撞，危險(xiǎn)性高，極大的降低了吊車系統(tǒng)的效率。研究該方向的自動(dòng)控制方法無(wú)疑對(duì)安全、效率、精確性的提升有較大幫助具有明顯的優(yōu)點(diǎn)與積極效果。


圖1是系統(tǒng)硬件邏輯示意圖。圖2是三維橋式吊車實(shí)驗(yàn)平臺(tái)機(jī)械部分。圖3是相機(jī)固定支架示意圖。圖4是系統(tǒng)軟件邏輯示意圖。圖5是基于全局代價(jià)函數(shù)優(yōu)化的立體標(biāo)定方法流程圖。圖6是標(biāo)定實(shí)驗(yàn)平臺(tái)。圖7是重投影殘差。圖8是左攝像機(jī)的內(nèi)參數(shù)和畸變系數(shù)。圖9是右攝像機(jī)的內(nèi)參數(shù)和畸變系數(shù)。
圖10是左右攝像機(jī)之間的外參數(shù)。圖11是具有旋轉(zhuǎn)不變性的邊緣點(diǎn)匹配算法流程圖。圖12是冗余角閾值策略示意圖。圖13是左相機(jī)拍攝的圖像。圖14是右相機(jī)拍攝的圖像。圖15是重建場(chǎng)景中的靜態(tài)障礙物。圖16是動(dòng)態(tài)障礙物檢測(cè)與跟蹤流程圖。圖17是背景差分法檢測(cè)運(yùn)動(dòng)物體流程圖。圖18是物體投影圖。圖19是尺寸信息估計(jì)示意圖。圖20是運(yùn)動(dòng)碰撞檢測(cè)算法流程圖。圖21是碰撞包圍球模型。圖22是運(yùn)動(dòng)碰撞檢測(cè)示意圖。圖23是負(fù)載與運(yùn)動(dòng)障礙物的尺寸估計(jì)。圖M是負(fù)載與障礙物之間的距離。圖25是負(fù)載的速度估計(jì)。圖沈是運(yùn)動(dòng)障礙物的速度估計(jì)。圖中，1相機(jī)固定支架，2相機(jī)，3固定板，4旋轉(zhuǎn)支架，5導(dǎo)軌，6標(biāo)定板。
具體實(shí)施例方式實(shí)施例1 本發(fā)明所涉及系統(tǒng)的硬件結(jié)構(gòu)如圖1所示。在吊車(如圖2)的工作空間中，通過(guò)相機(jī)固定支架1(如圖幻將左右相機(jī)固定在吊車上，調(diào)整相機(jī)角度使其觀測(cè)范圍盡可能最大。根據(jù)同步信號(hào)，左右相機(jī)同時(shí)拍攝吊車工作場(chǎng)景，將圖像通過(guò)圖像采集卡和1394總線與主機(jī)相連。主機(jī)進(jìn)行立體視覺(jué)系統(tǒng)標(biāo)定，圖像處理，吊車工作空間中靜態(tài)障礙物的重建、 動(dòng)態(tài)障礙物的檢測(cè)與跟蹤，負(fù)載的跟蹤，估計(jì)運(yùn)動(dòng)物體的速度信息、位置信息和尺寸信息， 生成碰撞模型，進(jìn)行碰撞預(yù)測(cè)。檢測(cè)出發(fā)生碰撞，則通過(guò)設(shè)備USB4711A發(fā)出觸發(fā)信號(hào)，再接入光電開(kāi)關(guān)電路，切換到緊急制動(dòng)控制。表1硬件配置
權(quán)利要求
1. 一種基于立體視覺(jué)的吊車避障系統(tǒng)，其特征在于該系統(tǒng)由四部分組成，包括 第1、雙目立體視覺(jué)系統(tǒng)的標(biāo)定第1.1、模型分析相機(jī)模型采用通常的針孔模型描述三維歐式空間到二維圖像平面的投影變換，雙目立體視覺(jué)系統(tǒng)一般由左右兩個(gè)相機(jī)組成，其成像模型均采用所述的針孔模型；在雙目立體視覺(jué)系統(tǒng)中，需要標(biāo)定的參數(shù)包括左相機(jī)和右相機(jī)的內(nèi)參數(shù) Af、式，4為左相機(jī)的內(nèi)參數(shù)矩陣，4為右相機(jī)的內(nèi)參數(shù)矩陣，以及左相機(jī)和右相機(jī)之間的外參數(shù) 和ι, 和#分別表示左相機(jī)和右相機(jī)之間外參數(shù)的旋轉(zhuǎn)矩陣和平移向量； 第1. 2、基于全局代價(jià)函數(shù)優(yōu)化的立體標(biāo)定立體標(biāo)定包括左相機(jī)和右相機(jī)的內(nèi)參數(shù)標(biāo)定、左相機(jī)和右相機(jī)分別與標(biāo)定板之間的外參數(shù)標(biāo)定、鏡頭畸變系數(shù)的標(biāo)定、以及左右相機(jī)之間外參數(shù)標(biāo)定；引入左右相機(jī)之間外參數(shù)保持不變這一約束條件，并選取全局代價(jià)函數(shù)作為優(yōu)化目標(biāo)進(jìn)行非線性優(yōu)化，所述基于全局代價(jià)函數(shù)優(yōu)化的立體標(biāo)定方法包括角點(diǎn)提取、2維單應(yīng)矩陣的估計(jì)、相機(jī)內(nèi)外參數(shù)的估計(jì)、徑向畸變的估計(jì)，以及基于全局代價(jià)函數(shù)的非線性優(yōu)化五個(gè)步驟第1.2. 1、左右相機(jī)同時(shí)各拍攝3幅以上的標(biāo)定圖像，利用Harris角點(diǎn)檢測(cè)算法提取出角點(diǎn)坐標(biāo)，精確至亞像素精度；第1. 2. 2、對(duì)于每幅圖像，計(jì)算左右相機(jī)圖像平面與標(biāo)定板之間的2維單應(yīng)矩陣； 第1. 2. 3、估計(jì)得到左右相機(jī)的內(nèi)參數(shù)，以及它們與標(biāo)定板之間的外參數(shù)； 第1. 2. 4、采用最小二乘方法估計(jì)徑向畸變系數(shù)；第1. 2. 5、引入左右相機(jī)之間外參數(shù)不變這一約束條件，基于全局代價(jià)函數(shù)進(jìn)行非線性優(yōu)化；第2、吊車工作空間中靜態(tài)障礙物的重建首先提取圖像的邊緣特征；然后利用極線約束和鄰域灰度信息，沿特征點(diǎn)的主方向建立描述符；同時(shí)通過(guò)“冗余角閾值”策略來(lái)選擇合適的候選匹配點(diǎn)；最后通過(guò)計(jì)算特征點(diǎn)與候選匹配點(diǎn)之間的相關(guān)度，得到正確的匹配點(diǎn)； 第2. 1、具有旋轉(zhuǎn)不變性的邊緣點(diǎn)匹配算法針對(duì)傳統(tǒng)邊緣匹配算法對(duì)圖像旋轉(zhuǎn)敏感，易發(fā)生誤匹配的缺點(diǎn)，提出了一種具有旋轉(zhuǎn)不變性的邊緣點(diǎn)匹配算法，通過(guò)將SIFT算子的旋轉(zhuǎn)不變性引入匹配中來(lái)提高對(duì)圖像旋轉(zhuǎn)的魯棒性，具體包括五個(gè)步驟第2. 1. 1、圖像預(yù)處理，包括灰度化處理，直方圖均衡化，圖像平滑濾波操作； 第2. 1. 2、特征點(diǎn)提取，特征點(diǎn)提取在圖像空間中進(jìn)行，利用Carmy邊緣檢測(cè)算子得到樣本圖和搜索圖的輪廓點(diǎn)信息，并保存搜索圖的輪廓圖像； 第2. 1. 3、特征點(diǎn)描述符的建立對(duì)任意特征點(diǎn)，首先計(jì)算特征點(diǎn)主方向；在以該特征點(diǎn)為中心的鄰域窗口內(nèi)采樣，使用梯度方向直方圖統(tǒng)計(jì)鄰域像素的梯度方向和幅值；直方圖的峰值代表該特征點(diǎn)鄰域內(nèi)梯度的主方向，即特征點(diǎn)的主方向；獲得特征點(diǎn)主方向后，利用鄰域灰度信息，沿特征點(diǎn)主方向來(lái)建立描述符，從而保證特征點(diǎn)描述符具備旋轉(zhuǎn)不變性；第2. 1.4、候選匹配點(diǎn)的選取為了消除旋轉(zhuǎn)對(duì)匹配結(jié)果的影響，采用SIFT算子的旋轉(zhuǎn)不變性來(lái)建立特征點(diǎn)描述符， 但匹配結(jié)果出現(xiàn)二義性，即一個(gè)樣本點(diǎn)可能對(duì)應(yīng)多個(gè)搜索點(diǎn)，為此，采用一種“冗余角閾值” 策略對(duì)二義性問(wèn)題進(jìn)行處理，在匹配時(shí)，僅僅將搜索圖中對(duì)應(yīng)主方向附近的特征點(diǎn)作為候選，以剔除錯(cuò)誤的匹配點(diǎn)；第2. 1. 5、特征點(diǎn)描述符相關(guān)度的計(jì)算特征點(diǎn)的匹配，實(shí)質(zhì)是計(jì)算特征點(diǎn)描述符之間的相關(guān)度；對(duì)兩個(gè)點(diǎn)A、Λ，設(shè)其描述符分別為V1 ,V3 和％的相關(guān)度越高，則兩個(gè)點(diǎn)的匹配度越高；反之，則匹配度越低；使用如下向量夾角余弦值來(lái)計(jì)算兩個(gè)描述符之間的相關(guān)度，當(dāng)余弦值等于1時(shí)，兩特征點(diǎn)具有最佳匹配；當(dāng)余弦值等于0時(shí)，則匹配度最低；使用該方法對(duì)吊車工作場(chǎng)景進(jìn)行重建，最終得到吊車工作空間中靜態(tài)障礙物的位置信息和尺寸大??； 第3、吊車工作空間中動(dòng)態(tài)障礙物的檢測(cè)與跟蹤使用背景差分法，實(shí)時(shí)檢測(cè)出突然進(jìn)入吊車工作空間的運(yùn)動(dòng)物體； 再使用camshift算法，實(shí)時(shí)跟蹤負(fù)載和運(yùn)動(dòng)障礙物，估計(jì)它們各自的位置信息和尺寸 fn息；最后對(duì)這些信息進(jìn)行kalman濾波，得到準(zhǔn)確的估計(jì)值； 第3. 1、基于背景差分法的運(yùn)動(dòng)檢測(cè)第3. 1. 1、一般情況下，前景的運(yùn)動(dòng)目標(biāo)的灰度值與背景的灰度值之間有很大的差異， 而運(yùn)動(dòng)物體本身的灰度值一般不會(huì)有很大差異，因此通過(guò)圖像差分就能很好地反映出兩幀圖像之間的變化，如能檢測(cè)出這種變化，就可以將運(yùn)動(dòng)目標(biāo)提取出來(lái)并分析其運(yùn)動(dòng)特征；第3. 1. 2、由于噪聲及背景提取存在的誤差，需要對(duì)得到的差分圖像進(jìn)行二值化處理， 即將屬于背景的靜止像素和屬于目標(biāo)的運(yùn)動(dòng)像素分開(kāi)，得到二值化圖像；第3. 1.3、得到二值化圖像后，對(duì)圖像進(jìn)行腐蝕和膨脹操作，消除孤立點(diǎn)或較小的孤立區(qū)域，連通碎化的區(qū)域，然后統(tǒng)計(jì)連通區(qū)域個(gè)數(shù)，判斷是否有運(yùn)動(dòng)障礙物進(jìn)入，對(duì)運(yùn)動(dòng)物體進(jìn)行編號(hào)；同時(shí)統(tǒng)計(jì)連通區(qū)域的外接矩形，可以估計(jì)運(yùn)動(dòng)物體的尺寸信息，還可以用于 camshift跟蹤算法的初始化； 第3. 2、尺寸信息估計(jì)根據(jù)第3. 1. 3步得到的圖像上連通區(qū)域的外接矩形，估計(jì)運(yùn)動(dòng)物體的實(shí)際尺寸信息； 第3. 2. 1、匹配左圖像和右圖像中的連通區(qū)域，根據(jù)圖像上連通區(qū)域的中心位置，來(lái)計(jì)算物體中心的實(shí)際坐標(biāo)，得到物體的深度值Zc ；第3. 2. 2、已知連通區(qū)域的外接矩形的長(zhǎng)軸,短軸 ,以及外接矩形與水平方向的偏轉(zhuǎn)角度為5，可以得到長(zhǎng)邊在方向上的長(zhǎng)度AlAv ；根據(jù)投影原理，可以得到物體在Zc,!^方向上的長(zhǎng)度AZc^nAfe,進(jìn)一步得到物體的包圍球半徑廣；第3. 3、camshift跟蹤算法Camshift算法可以分為兩大部分，第一部分meanshift查找目標(biāo)，第二部分自適應(yīng)調(diào)整搜索窗口的長(zhǎng)、寬、方向；對(duì)于每一幅圖像，先采用meanshift算法計(jì)算出目標(biāo)包圍窗口， 在通過(guò)公式自適應(yīng)的計(jì)算出下一幅圖像的初始搜索框的長(zhǎng)和寬，這樣就完成了對(duì)搜索框的自適應(yīng)更新；第 3. 4、kalman 濾波以上第3. 3步跟蹤算法得到的只是物體每時(shí)刻位置的估計(jì)，這個(gè)估計(jì)是不準(zhǔn)確，可以將這些不準(zhǔn)確簡(jiǎn)單地看作跟蹤過(guò)程中的噪聲；為了最大限度地估計(jì)物體的運(yùn)動(dòng)，使用多個(gè)測(cè)量的累積可以檢測(cè)出不受噪聲影響的部分觀測(cè)軌跡；應(yīng)用在吊車系統(tǒng)中，我們將物體的狀態(tài)用三個(gè)位置變量χ、y和z，以及三個(gè)速度變量K ,、和&表示，這六個(gè)變量組成狀態(tài)向量A的元素；我們用立體視覺(jué)來(lái)測(cè)量物體的位置，作為觀測(cè)值來(lái)進(jìn)行更新，就可以得到最優(yōu)的估計(jì)值；第4、碰撞預(yù)測(cè)使用包圍球來(lái)表示負(fù)載和障礙物的碰撞模型，以靜止包圍球的碰撞相交算法為基礎(chǔ)， 得到運(yùn)動(dòng)的包圍球碰撞算法；負(fù)載在場(chǎng)景中運(yùn)動(dòng)，根據(jù)運(yùn)動(dòng)包圍球碰撞算法，實(shí)時(shí)預(yù)測(cè)負(fù)載與靜態(tài)或者動(dòng)態(tài)障礙物是否發(fā)生碰撞，以啟動(dòng)緊急制動(dòng)控制； 第4. 1、碰撞模型包圍球碰撞模型，是指包含物體的最小球體，包括球體中心坐標(biāo)t和半徑/ ； 第4. 1. 1、靜態(tài)障礙物的包圍球創(chuàng)建根據(jù)立體匹配重建得到的物體輪廓的點(diǎn)集式,(0 Sj < )，首先，累積所有點(diǎn)的坐標(biāo)向量獲取平均向量e，即為包圍球的中心點(diǎn)；然后再根據(jù)所有點(diǎn)到中心點(diǎn)的最大距離確定包圍球的半徑 ；第4. 1. 2、動(dòng)態(tài)障礙物的包圍球創(chuàng)建根據(jù)第3步實(shí)時(shí)跟蹤并經(jīng)過(guò)kalman濾波后得到的中心點(diǎn)位置作為包圍球的中心點(diǎn)，實(shí)時(shí)估計(jì)的最大半徑作為包圍球的半徑，并可以在線更新； 第4. 2、運(yùn)動(dòng)碰撞預(yù)測(cè)算法第4. 2. 1、計(jì)算負(fù)載包圍球中心"-Λ與障礙物包圍球中心A之間的距離、判斷障礙物是否在安全半徑范圍之內(nèi)，如果在，進(jìn)行下一步；其中，安全半徑代_由吊車負(fù)載的最大安全制動(dòng)距離式_、負(fù)載包圍球半徑巧和障礙物包圍球半徑式組成；第4. 2. 2、計(jì)算負(fù)載與障礙物的相對(duì)速度是否為零，如果相對(duì)速度為零，則兩個(gè)物體不會(huì)發(fā)生碰撞；若不為零，則進(jìn)行下一步；其中，相對(duì)速度Gd由負(fù)載速度巧和障礙物速度生成；第4. 2. 3、計(jì)算直線與平面的交點(diǎn)‘；其中，直線過(guò)負(fù)載中心點(diǎn)且方向向量為相對(duì)速度方向，平面過(guò)障礙物中心點(diǎn)且法向量為相對(duì)速度方向；第4. 2. 4、然后計(jì)算交點(diǎn)P4^與障礙物中心點(diǎn)之間距離式；如果式小于爲(wèi)和氏之和，則負(fù)載與障礙物發(fā)生碰撞，反之，則不發(fā)生碰撞；第4. 2. 5、當(dāng)預(yù)測(cè)負(fù)載與障礙物將發(fā)生碰撞時(shí)，及時(shí)采取制動(dòng)措施。
全文摘要
一種基于立體視覺(jué)的吊車避障系統(tǒng)。包括標(biāo)定雙目立體視覺(jué)系統(tǒng)，得到左右相機(jī)的內(nèi)參數(shù)，以及左右相機(jī)之間的外參數(shù)；使用立體視覺(jué)系統(tǒng)拍攝吊車工作場(chǎng)景的圖像，重建吊車工作空間中的靜態(tài)障礙物；在負(fù)載運(yùn)送的過(guò)程中，實(shí)時(shí)跟蹤負(fù)載，同時(shí)檢測(cè)突然進(jìn)入吊車工作空間的運(yùn)動(dòng)物體(人、車輛、或者其它障礙物等)，并估計(jì)負(fù)載和運(yùn)動(dòng)物體的運(yùn)動(dòng)信息、位置信息和尺寸信息；根據(jù)碰撞預(yù)測(cè)策略，預(yù)測(cè)負(fù)載與障礙物(靜態(tài)障礙物和運(yùn)動(dòng)物體)是否發(fā)生碰撞，以決定是否采取緊急制動(dòng)，避免負(fù)載與障礙物發(fā)生碰撞。
文檔編號(hào)G01C11/00GK102175222SQ20111005207
公開(kāi)日2011年9月7日 申請(qǐng)日期2011年3月4日 優(yōu)先權(quán)日2011年3月4日
發(fā)明者劉笑含, 孫寧, 方勇純, 王鵬程, 苑英海 申請(qǐng)人:南開(kāi)大學(xué)