專利名稱：車輛前方障礙物檢測(cè)跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及屬于智能車輛安全輔助駕駛領(lǐng)域中的一種方法，更確切地說，本發(fā)明涉及一種車輛前方障礙物檢測(cè)跟蹤方法。
背景技術(shù)：
對(duì)車輛行駛前方障礙物(重點(diǎn)是車輛和行人)進(jìn)行檢測(cè)和跟蹤已成為國際智能車輛研究領(lǐng)域熱點(diǎn)，是提高行車安全性和改善交通環(huán)境的一項(xiàng)重要措施。
目前國內(nèi)外車輛行駛前方障礙物檢測(cè)使用的傳感器主要有機(jī)器視覺傳感器(立體視覺、單目視覺)、紅外成像傳感器、雷達(dá)和激光測(cè)距傳感器等。
由于機(jī)器視覺傳感器安裝方便、價(jià)格便宜，同時(shí)隨著圖像處理技術(shù)的迅速發(fā)展，機(jī)器視覺傳感器在車輛前方障礙物檢測(cè)系統(tǒng)中得到了廣泛的應(yīng)用。然而，基于機(jī)器視覺傳感器的障礙物檢測(cè)系統(tǒng)易受光照、遮擋影響。雖然立體視覺可以獲得目標(biāo)的距離方位信息， 但存在標(biāo)定漂移，精度、速度、魯棒性較差，適用范圍較小等缺點(diǎn)。與機(jī)器視覺傳感器相比， 紅外攝像機(jī)可以用在白天和夜間，而且由于沒有顏色和強(qiáng)烈的紋理特征使得障礙物檢測(cè)更加容易。但是，其易受到環(huán)境高溫或強(qiáng)烈的太陽照射的影響。雷達(dá)系統(tǒng)具有遠(yuǎn)距離測(cè)距能力，它能提供車輛前方道路和目標(biāo)車輛的方位和速率信息。激光雷達(dá)由于光學(xué)系統(tǒng)的脆弱性(如不易維護(hù)，易受環(huán)境的影響等)，同時(shí)測(cè)量速度較慢，實(shí)時(shí)性也受到一定限制，因此， 在障礙物檢測(cè)系統(tǒng)的應(yīng)用受到了限制。障礙物檢測(cè)系統(tǒng)現(xiàn)在一般傾向于采用毫米波雷達(dá)， 毫米波的工作不受環(huán)境的影響。下雨、大霧或黑夜等天氣狀況對(duì)毫米波的傳輸幾乎無影響， 可在各種環(huán)境下可靠地工作。毫米波雷達(dá)系統(tǒng)的工作頻率傾向于采用76-77GHZ。并且隨著單片微波集成電路技術(shù)的發(fā)展，毫米波雷達(dá)的價(jià)格和外型尺寸都有很大的下降，這也是毫米波雷達(dá)在障礙物檢測(cè)系統(tǒng)得到廣泛應(yīng)用的原因之一。毫米波雷達(dá)的不足是其目標(biāo)識(shí)別能力差。
鑒于單一類型傳感器都存在一定的缺陷和不足，目前在車輛前方障礙物檢測(cè)方面廣泛采用了傳感器融合的方法，主要有機(jī)器視覺傳感器和激光傳感器的融合、機(jī)器視覺傳感器與毫米波雷達(dá)的融合，以及毫米波雷達(dá)和慣性傳感器的融合等。
雷達(dá)的距離測(cè)量精度較高，對(duì)天氣的魯棒性較好，利用雷達(dá)技術(shù)可以得到車輛周圍的深度信息，從而可以準(zhǔn)確地發(fā)現(xiàn)車輛前方的車輛與行人等障礙物。機(jī)器視覺傳感器具有檢測(cè)信息豐富等優(yōu)點(diǎn)，對(duì)物體的形狀紋理特征有很好的解析能力。因此，雷達(dá)和機(jī)器視覺傳感器進(jìn)行信息融合可以有效地提高障礙物的檢測(cè)與識(shí)別能力。發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是克服了單一類型傳感器都存在一定的缺陷和不足的問題，提供了一種車輛前方障礙物檢測(cè)跟蹤方法。
為解決上述技術(shù)問題，本發(fā)明是采用如下技術(shù)方案實(shí)現(xiàn)的所述的車輛前方障礙物檢測(cè)跟蹤方法包括如下步驟
1.建立毫米波雷達(dá)坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換的關(guān)系；
2.毫米波雷達(dá)數(shù)據(jù)的接收解算與處理；
3.攝像機(jī)圖像的采集與預(yù)處理；
4.利用毫米波雷達(dá)數(shù)據(jù)和攝像機(jī)圖像進(jìn)行車輛前方障礙物的分類；
5.車輛前方障礙物的跟蹤。
技術(shù)方案中所述的建立毫米波雷達(dá)坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換的關(guān)系包括如下步驟
1)建立毫米波雷達(dá)坐標(biāo)系與三維世界坐標(biāo)系的坐標(biāo)轉(zhuǎn)換關(guān)系的步驟如下
a. X0O0Z為毫米波雷達(dá)水平平面的坐標(biāo)系，O0為其坐標(biāo)原點(diǎn)即毫米波雷達(dá)安裝位置，位置在上的^CcA1Z水平平面與三維世界坐標(biāo)系O-XYZ的XOZ平面平行，兩個(gè)平面之間距離Y1, Y1為毫米波雷達(dá)的安裝高度，單位.mm，0為世界坐標(biāo)系原點(diǎn)。
b.得到毫米波雷達(dá)掃描范圍內(nèi)障礙物P與毫米波雷達(dá)之間相對(duì)距離R和相對(duì)角度 a的坐標(biāo)系數(shù)據(jù)，PO0 = R，單位.mm，Z PO0Z = α，單位.度；
c.將毫米波雷達(dá)坐標(biāo)系中的障礙物P，轉(zhuǎn)換到三維世界坐標(biāo)系中
2)建立攝像機(jī)坐標(biāo)系與三維世界坐標(biāo)系的坐標(biāo)轉(zhuǎn)換關(guān)系的步驟如下
a.攝像機(jī)坐標(biāo)系為豎直平面內(nèi)的二維坐標(biāo)系xoy，ο為攝像機(jī)坐標(biāo)系坐標(biāo)原點(diǎn)，其坐標(biāo)平面與三維世界坐標(biāo)系O-XYZ的XOY平面平行，0為世界坐標(biāo)系的坐標(biāo)原點(diǎn)，同時(shí)也是攝像機(jī)的鏡頭中心，即Oo = f，f為攝像機(jī)有效焦距，單位.mm ；
b.使攝像機(jī)的光軸與地面平行，即在世界坐標(biāo)系中Y值保持不變，即Y = Y0, Y0為攝像機(jī)的安裝高度，單位.mm;
c.將三維世界坐標(biāo)系中障礙物P (X，Ytl，Z)，轉(zhuǎn)換到攝像機(jī)坐標(biāo)系中的圖像平面上， 其轉(zhuǎn)換關(guān)系如下
3)由第1)步驟中的c步驟和第幻步驟中的c步驟可以得到毫米波雷達(dá)坐標(biāo)系和攝像機(jī)坐標(biāo)系的坐標(biāo)轉(zhuǎn)換關(guān)系如下
技術(shù)方案中所述的毫米波雷達(dá)數(shù)據(jù)的接收解算與處理包括如下步驟
1)毫米波雷達(dá)接收到車輛前方的障礙物P有效數(shù)據(jù)障礙物P與本車之間的距離 Range、角度Angle、相對(duì)速度RangeRate、障礙物P的反射強(qiáng)度Power和寬度Width，同時(shí)，毫米波雷達(dá)為每一個(gè)障礙物P分配唯一的不變的自動(dòng)編號(hào)ID ；
2)對(duì)接收到的數(shù)據(jù)按照毫米波雷達(dá)數(shù)據(jù)解算協(xié)議進(jìn)行二進(jìn)制位截?cái)嘀亟M，將第X = χ sin α Z = Zn +Rxcosa其中f攝像機(jī)有效焦距，單位.mm ；
權(quán)利要求
1.一種車輛前方障礙物檢測(cè)跟蹤方法，其特征在于，所述的車輛前方障礙物檢測(cè)跟蹤方法包括如下步驟1)建立毫米波雷達(dá)坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換的關(guān)系；2)毫米波雷達(dá)數(shù)據(jù)的接收解算與處理；3)攝像機(jī)圖像的采集與預(yù)處理；4)利用毫米波雷達(dá)數(shù)據(jù)和攝像機(jī)圖像進(jìn)行車輛前方障礙物的分類；5)車輛前方障礙物的跟蹤。
2.按照權(quán)利要求1所述的車輛前方障礙物檢測(cè)跟蹤方法，其特征在于，所述的建立毫米波雷達(dá)坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換的關(guān)系包括如下步驟1)建立毫米波雷達(dá)坐標(biāo)系與三維世界坐標(biāo)系的坐標(biāo)轉(zhuǎn)換關(guān)系的步驟如下a.X0O0Z為毫米波雷達(dá)水平平面的坐標(biāo)系，O0為其坐標(biāo)原點(diǎn)即毫米波雷達(dá)安裝位置，位置在上的^CciOciZ水平平面與三維世界坐標(biāo)系O-XYZ的XOZ平面平行，兩個(gè)平面之間距離Y1, Y1為毫米波雷達(dá)的安裝高度，0為世界坐標(biāo)系原點(diǎn)；b.得到毫米波雷達(dá)掃描范圍內(nèi)障礙物P與毫米波雷達(dá)之間相對(duì)距離R和相對(duì)角度a的坐標(biāo)系數(shù)據(jù)，PO0 = R，單位.mm，Z PO0Z = α，單位.度；c.將毫米波雷達(dá)坐標(biāo)系中的障礙物P，轉(zhuǎn)換到三維世界坐標(biāo)系中
3.按照權(quán)利要求1所述的車輛前方障礙物檢測(cè)跟蹤方法，其特征在于，所述的毫米波雷達(dá)數(shù)據(jù)的接收解算與處理包括如下步驟1)毫米波雷達(dá)接收到車輛前方的障礙物P有效數(shù)據(jù)障礙物P與本車之間的距離Range、角度Angle、相對(duì)速度RangeRate、障礙物P的反射強(qiáng)度Power和寬度Width，同時(shí)，毫米波雷達(dá)為每一個(gè)障礙物P分配唯一的不變的自動(dòng)編號(hào)ID ；2)對(duì)接收到的數(shù)據(jù)按照毫米波雷達(dá)數(shù)據(jù)解算協(xié)議進(jìn)行二進(jìn)制位截?cái)嘀亟M，將第1)步驟中接收到的有效數(shù)據(jù)提取出來；3)根據(jù)障礙物P的反射強(qiáng)度Power和寬度Width，對(duì)障礙物P進(jìn)行初步分類，把障礙物 P初步分為行人類和車輛類，其步驟如下a.統(tǒng)計(jì)行人的寬度閾值Wtl和反射強(qiáng)度閾值Prtl；b.當(dāng)障礙物P寬度Width( W0并且反射強(qiáng)度Power ( Pr0時(shí)，把障礙物P初步分到行人類，否則，將障礙物P分到車輛類；c.為了在攝像機(jī)圖像上建立大小合理的毫米波雷達(dá)窗口即感興趣區(qū)域R0I，設(shè)定車輛類高度閾值H1、寬度閾值W1和行人類的高度閾值H2、寬度閾值W2。
4.按照權(quán)利要求1所述的車輛前方障礙物檢測(cè)跟蹤方法，其特征在于，所述的攝像機(jī)圖像的采集與預(yù)處理包括如下步驟1)攝像機(jī)圖像的采集與毫米波雷達(dá)數(shù)據(jù)的接收同步進(jìn)行，包括下列步驟a.毫米波雷達(dá)與攝像機(jī)的掃描區(qū)域重合，即實(shí)現(xiàn)攝像機(jī)采集的圖像與毫米波雷達(dá)接收的數(shù)據(jù)在空間上同步；b.保證攝像機(jī)和毫米波雷達(dá)采集的數(shù)據(jù)是同一時(shí)刻的信息，即實(shí)現(xiàn)攝像機(jī)采集的圖像與毫米波雷達(dá)接收的數(shù)據(jù)在時(shí)間上同步；2)為消除噪聲、光照等因素對(duì)原始圖像的影響，對(duì)原始圖像進(jìn)行預(yù)處理，包括下列步驟a.利用中值濾波進(jìn)行圖像的濾波處理，既保護(hù)圖像邊緣，又能去除噪聲；b.利用灰度拉伸，增強(qiáng)原圖各部分的反差，增強(qiáng)感興趣灰度區(qū)域，使圖像中目標(biāo)更加突出；c.利用Soble邊緣檢測(cè)算子進(jìn)行邊緣檢測(cè)，同時(shí)對(duì)噪聲起到平滑的作用，提供較為精確的邊緣方向信息；為后續(xù)目標(biāo)障礙物的檢測(cè)提供良好的基礎(chǔ)。
5.按照權(quán)利要求1所述的車輛前方障礙物檢測(cè)跟蹤方法，其特征在于，所述的利用毫米波雷達(dá)數(shù)據(jù)和攝像機(jī)圖像進(jìn)行車輛前方障礙物的分類包括如下步驟1)采用毫米波雷達(dá)和單目視覺融合的方法，將毫米波雷達(dá)數(shù)據(jù)掃描點(diǎn)投影到攝像機(jī)坐標(biāo)系上，在圖像上建立障礙物P的感興趣區(qū)域ROI ；2)在圖像上建立的感興趣區(qū)域ROI內(nèi)，針對(duì)不同障礙物P的初步分類，采取不同的圖像處理算法對(duì)障礙物P的類型進(jìn)行確認(rèn)。
6.按照權(quán)利要求5所述的車輛前方障礙物檢測(cè)跟蹤方法，其特征在于，所述的采用毫米波雷達(dá)和單目視覺融合的方法，將毫米波雷達(dá)數(shù)據(jù)掃描點(diǎn)投影到攝像機(jī)坐標(biāo)系上，在圖像上建立障礙物P的感興趣區(qū)域ROI包括下列步驟a.將毫米波雷達(dá)目標(biāo)有效信息轉(zhuǎn)換為視覺圖像中信息，確定障礙物P在攝像機(jī)坐標(biāo)系中的位置；b.根據(jù)毫米波雷達(dá)對(duì)障礙物P的分類不同，選定車輛類的高度閾值氏與寬度閾值W1或行人類的高度閾值吐與寬度閾值W2，同時(shí)考慮毫米波雷達(dá)數(shù)據(jù)中障礙物P的寬度信息，在圖像上建立隨距離的遠(yuǎn)近進(jìn)行調(diào)節(jié)的毫米波雷達(dá)窗口即感興趣區(qū)域ROI。
7.按照權(quán)利要求5所述的車輛前方障礙物檢測(cè)跟蹤方法，其特征在于，所述的在圖像上建立的感興趣區(qū)域ROI內(nèi)，針對(duì)不同障礙物P的初步分類，采取不同的圖像處理算法對(duì)障礙物P的類型進(jìn)行確認(rèn)包括下列步驟a.對(duì)于已建立的感興趣區(qū)域ROI內(nèi)的障礙物P，若初步確定其為行人類目標(biāo)，則利用基于行人外部特征的檢測(cè)方法，判斷當(dāng)前區(qū)域內(nèi)的障礙物P是否為行人，若檢測(cè)成功是行人， 則記錄其毫米波雷達(dá)自動(dòng)編號(hào)ID ；b.對(duì)于第a步驟中的已建立的感興趣區(qū)域ROI內(nèi)初步分類為行人類的障礙物P若檢測(cè)結(jié)果是非行人類，將其分到車輛類，重新調(diào)整窗口大小，利用基于車輛外部特征的檢測(cè)方法進(jìn)行識(shí)別，若檢測(cè)成功是車輛，則記錄其毫米波雷達(dá)自動(dòng)編號(hào)ID ；c.對(duì)于第b步驟中的重新調(diào)整窗口內(nèi)的障礙物P若檢測(cè)結(jié)果是非車輛類，將其視為其它障礙物并不再識(shí)別其類型，同樣記錄其毫米波雷達(dá)自動(dòng)編號(hào)ID ；d.對(duì)于已建立的感興趣區(qū)域ROI內(nèi)的障礙物P若初步確定為車輛類目標(biāo)，則利用基于車輛外部特征的檢測(cè)方法，判斷當(dāng)前區(qū)域內(nèi)的障礙物P是否為車輛，若檢測(cè)成功是車輛，則記錄其毫米波雷達(dá)自動(dòng)編號(hào)ID ；e.對(duì)于第d步驟中的已建立的感興趣區(qū)域ROI內(nèi)初步分類為車輛類的障礙物P若檢測(cè)結(jié)果是非車輛類，將其分到行人類，重新調(diào)整窗口大小，然后利用基于行人外部特征的檢測(cè)方法進(jìn)行識(shí)別，若檢測(cè)成功是行人，則記錄其毫米波雷達(dá)自動(dòng)編號(hào)I D ；f.對(duì)于第e步驟中的重新調(diào)整窗口內(nèi)的障礙物P若檢測(cè)結(jié)果是非行人類，則將其視為其他障礙物并不再識(shí)別其類型，同樣記錄其毫米波雷達(dá)自動(dòng)編號(hào)ID。
8.按照權(quán)利要求1所述的車輛前方障礙物檢測(cè)跟蹤方法，其特征在于，所述的車輛前方障礙物的跟蹤包括如下步驟1)讀取下一周期的毫米波雷達(dá)數(shù)據(jù)，按照卡爾曼濾波的方式對(duì)其進(jìn)行一致性檢驗(yàn)，其步驟如下a.采用卡爾曼濾波算法對(duì)本周期的障礙物P在下一周期的狀態(tài)進(jìn)行預(yù)測(cè)；b.對(duì)障礙物P在下一周期內(nèi)實(shí)際測(cè)量值和卡爾曼預(yù)測(cè)值進(jìn)行目標(biāo)一致性檢驗(yàn)；c.對(duì)于滿足目標(biāo)一致性檢驗(yàn)的障礙物P，更新其數(shù)據(jù)信息，為下一次目標(biāo)跟蹤做準(zhǔn)備；d.對(duì)于不滿足目標(biāo)一致性檢驗(yàn)的障礙物P，將其視為新出現(xiàn)障礙物P；2)對(duì)于新出現(xiàn)的障礙物P從毫米波雷達(dá)數(shù)據(jù)的接收解算與處理步驟開始依次執(zhí)行至車輛前方障礙物的跟蹤步驟。
全文摘要
本發(fā)明公開了一種車輛前方障礙物檢測(cè)跟蹤方法，方法旨在克服對(duì)車輛前方的障礙物檢測(cè)和跟蹤采用單一類型傳感器所存在的缺陷和不足。該方法包括的步驟如下1.建立毫米波雷達(dá)坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換的關(guān)系；2.毫米波雷達(dá)數(shù)據(jù)的接收解算與處理，并對(duì)障礙物初步分類；3.攝像機(jī)圖像的采集與毫米波雷達(dá)數(shù)據(jù)的接收同步進(jìn)行；4.車輛前方障礙物的分類1)采用毫米波雷達(dá)和單目視覺融合的方法，將毫米波雷達(dá)數(shù)據(jù)掃描點(diǎn)投影到攝像機(jī)坐標(biāo)系上，在圖像上建立障礙物的感興趣區(qū)域ROI。2)在圖像上建立的感興趣區(qū)域ROI內(nèi)，針對(duì)不同障礙物的初步分類，采取不同的圖像處理算法對(duì)障礙物的類型進(jìn)行確認(rèn)；5.車輛前方障礙物的跟蹤。
文檔編號(hào)G01S13/93GK102508246SQ20111031015
公開日2012年6月20日 申請(qǐng)日期2011年10月13日 優(yōu)先權(quán)日2011年10月13日
發(fā)明者侯海晶, 史冬冬, 呂歡歡, 咸化彩, 孫海燕, 李克強(qiáng), 牛清寧, 王亞麗, 王芳榮, 金立生 申請(qǐng)人:吉林大學(xué)