一種基于雙目魚眼攝像頭的載重貨車行駛障礙物檢測及跟蹤方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及一種基于雙目魚眼攝像頭的載重貨車行駛障礙物檢測及跟蹤的方法 技術(shù)背景
[0002] 隨著中國物流行業(yè)的快速發(fā)展，載重貨車的需求也越來越多，貨車的車身也越來 越長，載貨量也越來越多，由載重貨車引起的交通事故也在不斷增加，后果一般非常嚴(yán)重， 尤其是由于倒車和拐彎的不當(dāng)操作產(chǎn)生的碰撞事故在其中占了相當(dāng)?shù)谋壤?。相?dāng)于直行駕 駛而言，載重貨車倒車和拐彎的難度非常大，由于車身過長，貨廂體積又太大，倒車和拐彎 時的盲區(qū)面積非常大，一般看不清車尾后和車側(cè)旁的物體和行人狀況，從而導(dǎo)致碰撞事故 越來越多。貨車運(yùn)行在大風(fēng)雪或氣候惡劣的環(huán)境居多，夜晚倒車更是成為一個盲點(diǎn)，貨車司 機(jī)在開車的過程中完全看不到車后的情況。此外，由于車身過長，貨車拐彎時不容易發(fā)現(xiàn)旁 邊的行人或行駛的車輛，容易造成事故，這是一個很大的安全隱患。
[0003] 目前針對貨車倒車安全的方法有以下兩個:一、在倒車時，一個人在車后拿對講機(jī) 指揮倒車，要是晚上的話，還會用到手電筒，邊用手電筒畫圈邊用對講機(jī)指揮，可是還是避 免不了災(zāi)難的降臨;二、為了減少車輛的盲區(qū)，車輛需要安裝一些輔助的設(shè)備來幫助駕駛員 倒車，倒車影像系統(tǒng)能使駕駛員能夠更輕松的掌握到車后面的環(huán)境及情況，可以提高安全 系數(shù)，減少事故發(fā)生。
[0004] 當(dāng)貨車拐彎時，由于車廂很長，司機(jī)一邊要觀察車輛前行的情況，又要注意避讓車 側(cè)的車輛或行人，保持安全距離，同時還要時刻觀察他們的行駛狀態(tài)，做好預(yù)防措施，但是 司機(jī)很難全面的觀察到這些情況，而且會分散司機(jī)的注意力，有一定的安全隱患。
[0005] 倒車影像系統(tǒng)以聲音和圖像的形式告知駕駛員汽車周圍的障礙物情況，解除了駕 駛員在泊車或倒車時前后左右探視所引起的困擾，并幫助駕駛員掃除了視野死角和實(shí)現(xiàn)模 糊的缺陷，獨(dú)立完成倒車操作，提高駕駛的安全性。
[0006] 專利CN201210430928.4(公開號CN102923000A)提出一種基于普通雙目攝像頭的 倒車障礙物檢測方法，雖然這種方法能利用哈爾特征分類法判斷出車后的行人和車輛，但 是沒有進(jìn)一步提出對障礙物進(jìn)行跟蹤的方法，而本發(fā)明可以做到障礙物的實(shí)時檢測追蹤， 此外，魚眼攝像頭的使用可以提供足夠廣闊的視野，保證了覆蓋車后所有障礙物。
[0007] 專利CN2015102994001(公開號CN104835118A)提出一種通過兩路魚眼攝像頭采集 全景圖像的方法，但是沒有提到對全景圖像的進(jìn)一步應(yīng)用，而本發(fā)明除了對兩幅圖像進(jìn)行 拼接外還實(shí)現(xiàn)了對障礙物的監(jiān)測和追蹤。
[0008] 專利CN2010101972159(公開號CN101859376A)公開了一種基于魚眼攝像頭的人體 檢測的自動監(jiān)控系統(tǒng)，利用分類器檢測魚眼圖像中的人體，而本發(fā)明用兩個雙目魚眼攝像 頭視覺系統(tǒng)檢測障礙物，并進(jìn)行障礙物跟蹤。
[0009] 專利CN201110193257X(公開號CN102874196A)提出一種基于機(jī)器視覺的汽車防撞 方法，這種方法不僅通過立體視覺信息得出障礙物與汽車的距離，而且還能計(jì)算出安全范 圍，但是并沒有對攝像頭進(jìn)行標(biāo)定和圖像拼接等預(yù)處理與處理階段進(jìn)行說明，而且只解決 了汽車前行的避障問題，而本發(fā)明提供了詳細(xì)的預(yù)處理算法，并且解決了大貨車轉(zhuǎn)彎或變 道時側(cè)面障礙物的檢測和預(yù)警。
[0010]所以，有必要發(fā)明視野更寬、檢測范圍更廣、跟蹤效果跟穩(wěn)定的的載重貨車行駛障 礙物檢測及跟蹤的方法，提高障礙物檢測的準(zhǔn)確率和魯棒性，無論是在貨車倒車還是拐彎 時都能檢測障礙物，輔助駕駛員安全駕駛，提高載重貨車的安全性。

【發(fā)明內(nèi)容】

[0011] 本發(fā)明的目的是提供一種基于雙目魚眼的載重貨車行駛障礙物檢測及跟蹤的方 法，在倒車時，能夠使駕駛員觀察到一個大視場的車后環(huán)境，檢測并追蹤到障礙物的同時發(fā) 出提醒，輔助載重貨車駕駛員直觀、動態(tài)、清晰的實(shí)施倒車操作，降低倒車難度，有效避免由 于倒車而發(fā)生的交通事故。當(dāng)貨車拐彎時，啟動車側(cè)的超聲波雷達(dá)，實(shí)時檢測有無障礙物并 發(fā)出提醒，避免發(fā)生事故。
[0012] 該發(fā)明方法包括以下步驟：
[0013] A倒車障礙物信息采集
[0014] 汽車的電子控制中心檢測到汽車擋位置于倒擋上時，啟動安裝在貨車車尾兩端呈 俯視角的兩個采樣頻率相同的全天候紅外魚眼攝像頭，獲取倒車實(shí)時視頻。
[0015] B雙目魚眼攝像頭標(biāo)定
[0016] 首先進(jìn)行單目標(biāo)定，獲取攝像機(jī)內(nèi)參數(shù)(焦距、攝像機(jī)中心主點(diǎn)、畸變向量)和外參 數(shù)(旋轉(zhuǎn)矩陣和平移向量）。
[0017] 由于魚眼攝像頭具有成像視野廣和高畸變特性，本發(fā)明提出一種利用特定的橢圓 標(biāo)定板提供精確的點(diǎn)線特征來完成攝像頭標(biāo)定的算法，根據(jù)特征橢圓檢測和參數(shù)擬合技術(shù) 對檢測到的特征點(diǎn)進(jìn)行可靠性分析，得到魚眼攝像頭的內(nèi)外參數(shù)。
[0018] 標(biāo)定板特征提取的流程主要包括以下方面：
[0019] B1、平滑濾波
[0020] 用5 X 5模板對圖像進(jìn)行Gauss濾波，消除噪聲影響；
[0021] B2、邊緣檢測
[0022]利用Canny算子進(jìn)行邊緣檢測；
[0023] B3、輪廓線搜索
[0024]在Canny邊沿檢測得到的圖像中，對每一行搜索最左邊和最右邊的兩個邊緣點(diǎn) (Xleft，yieft)和(Xright，yright)，并依據(jù)成像區(qū)域的左右對稱性對每彳丁兩個邊緣點(diǎn)的有效性進(jìn) 行驗(yàn)證：
[0025] L= I Xright+Xleft-ff
[0026] 其中，W為圖像寬度。如果L大于某個閾值T，則認(rèn)為兩個邊緣點(diǎn)偏離實(shí)際成像邊界 較遠(yuǎn)，予以拋棄；否則將其保留，視為該橢圓是一個有效特征橢圓。實(shí)際實(shí)現(xiàn)過程中，閾值Τ = 20.
[0027] Β4、橢圓參數(shù)擬合
[0028]利用基于最小二乘法的特征參數(shù)擬合算法對每個輪廓的像素點(diǎn)進(jìn)行橢圓擬合，得 到能夠表征魚眼視覺成像區(qū)域邊界的橢圓參數(shù)。將擬合得到的橢圓圓心（XQ，yQ)作為特征 點(diǎn)，以便于后期標(biāo)定過程中的初始參數(shù)確定和圖像的去畸變處理。
[0029] B5、攝像頭內(nèi)外參數(shù)確定
[0030] 根據(jù)攝像機(jī)坐標(biāo)矩陣投影模型和旋轉(zhuǎn)、平移變換和單應(yīng)性原理：
[0031]
[0032] 丄J
[0033] 式中s為一常系數(shù)，選取P所在平面為世界坐標(biāo)平面，故可以設(shè)距離Z = 0。
[0034] 考慮到鏡頭畸變的影響，Po所對應(yīng)的坐標(biāo)必須要經(jīng)過校正，所以引入3個徑向畸變 參數(shù)lu k2 k3和2個切向畸變向量P1 p2。用r = 0位置泰勒級數(shù)展開，可以列出下式：
[0035]
[0036] 式中第一項(xiàng)為消除鏡頭的徑向畸變，第二項(xiàng)為消除鏡頭的切向畸變。模型確立后， 聯(lián)系這兩個式子，再通過橢圓標(biāo)定板引入多個已知參數(shù)，通過最小二乘法，可以求得內(nèi)參數(shù) (焦距f x、fy、攝像機(jī)中心主點(diǎn)cx、Cy、畸變向量ki k2 k3、pi P2)和外參數(shù)(旋轉(zhuǎn)矩陣ri Γ2 Γ3和 平移向量t)。
[0037] 利用兩個單目攝像機(jī)的外參數(shù)，由下式得兩個攝像機(jī)之間的相對位置關(guān)系，即兩 個攝像機(jī)之間的旋轉(zhuǎn)矩陣Rs和平移向量Ts:
[0038]
[0039] C雙目魚眼攝像頭畸變校正
[0040] 由于魚眼攝像頭存在非常嚴(yán)重的畸變，本發(fā)明利用基于球面透鏡投影約束的魚眼 校正方法進(jìn)行矯正處理，并用雙線性插值法對校正后的圖像進(jìn)行填充，為魚眼鏡頭障礙物 識別的實(shí)現(xiàn)做準(zhǔn)備工作，調(diào)整攝像