本發(fā)明涉及一種復(fù)雜光照條件下基于視覺的實(shí)時(shí)車道線檢測(cè)的方法，屬于車輛自主駕駛和計(jì)算機(jī)輔助駕駛技術(shù)領(lǐng)域。

背景技術(shù)：

近年來(lái),隨著公路里程的不斷增加和汽車產(chǎn)業(yè)的不斷發(fā)展,交通安全問(wèn)題也日益嚴(yán)重道，路上的車輛越來(lái)越多，發(fā)生的事故也在逐年增長(zhǎng)，交通事故所帶來(lái)的傷亡及財(cái)產(chǎn)損失是觸目驚心，為減少交通事故的發(fā)生,運(yùn)用計(jì)算機(jī)輔助駕駛系統(tǒng)等科技手段保障行車的安全成為了一種趨勢(shì)，實(shí)現(xiàn)這類系統(tǒng)面臨的首要關(guān)鍵問(wèn)題就是實(shí)現(xiàn)快速準(zhǔn)確地從車載視頻圖像中檢測(cè)車道線，這可以讓車輛按照實(shí)時(shí)路況準(zhǔn)確規(guī)范行駛,以保證車輛和行人的安全。

現(xiàn)階段車道識(shí)別的方法主要分兩種：圖像特征法和模型匹配法。

1、基于圖像特征法的基本思想是利用車道邊界或標(biāo)志線與周圍環(huán)境在圖像特征上的不同進(jìn)行檢測(cè)。特征差異包括形狀、紋理、連續(xù)性、灰度和對(duì)比度等。Donald等人利用車道線的幾何信息對(duì)Hough變換參數(shù)限制的方法進(jìn)行高速情況下車道線檢測(cè)；Lee提出了一個(gè)通過(guò)邊緣公布函數(shù)和車輛運(yùn)動(dòng)方向的變化估計(jì)預(yù)測(cè)車道線方向的偏移預(yù)警系統(tǒng)；Mastorakis利用車道線的直線特征篩選出最有可能的標(biāo)識(shí)線；Wang和Hu分別提出利用車道線上梯度相反方向的性質(zhì)、車道線區(qū)域顏色特征來(lái)進(jìn)行車道線的識(shí)別。這類方法借用圖像分割和閾值化等技術(shù)，算法較為簡(jiǎn)單，但陰影遮擋、光線變化、噪聲、車道邊界或標(biāo)志線不連續(xù)性等因素都可能造成車道的無(wú)法識(shí)別。

2、基于模型匹配的方法主要是針對(duì)結(jié)構(gòu)化道路的較強(qiáng)幾何特征，利用二維或三維曲線進(jìn)行車道線建模，常用的二維車道模型有直線模型和拋物線模型。B-Snake車道模型提供初始定位后，將車道線檢測(cè)問(wèn)題通過(guò)道路模型轉(zhuǎn)換為確定樣條曲線所需的控制點(diǎn)問(wèn)題；采用了將Hough變換與拋物線模型結(jié)合在一起來(lái)檢測(cè)車道線，并先用直線模型得到道路標(biāo)識(shí)線的初步參數(shù)后， 再在此基礎(chǔ)上利用雙曲線模型檢測(cè)車道線，取得了較好的檢測(cè)結(jié)果；Mechat采用基于SVM的方法對(duì)車道線進(jìn)行建模，并采用標(biāo)準(zhǔn)的卡爾曼濾波器進(jìn)行估計(jì)跟蹤。這類方法在建立道路參數(shù)模型的基礎(chǔ)上，分析圖像中的目標(biāo)信息以確定模型參數(shù)，具有不受路面狀況干擾的特點(diǎn)，但由于計(jì)算復(fù)雜度較高，算法的時(shí)間開銷較大。

因此，在實(shí)際研究中要將圖像特征法和道路模型匹配法結(jié)合起來(lái)，從而正規(guī)化車道識(shí)別問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明針對(duì)現(xiàn)有車道線檢測(cè)技術(shù)在復(fù)雜光線下檢測(cè)車道線的識(shí)別率低，對(duì)圖像沒(méi)有進(jìn)行很好預(yù)處理，使失真圖像矯正到標(biāo)準(zhǔn)白光下。而且原有的算法比較復(fù)雜，效率低，實(shí)時(shí)性差的缺點(diǎn)，提出了——一種復(fù)雜光照條件下基于視覺的實(shí)時(shí)車道線檢測(cè)的方法，對(duì)圖像進(jìn)行光照處理矯正到標(biāo)準(zhǔn)白光下，利用車道線像素的信息進(jìn)行車道線檢測(cè)和趨勢(shì)的判斷，算法具有良好的實(shí)時(shí)性，高效率得檢測(cè)車道線。

為實(shí)現(xiàn)上述目的，發(fā)明人提供了一種光照預(yù)處理的方法和車道線檢測(cè)的方法，所述方法如下步驟：在圖像預(yù)處理時(shí)對(duì)不同光照?qǐng)D像進(jìn)行光照估計(jì)和光照顏色矯正，使其恢復(fù)到標(biāo)準(zhǔn)白光下。采用高斯濾波除去圖像采集過(guò)程中引入的噪聲，再對(duì)圖像進(jìn)行二值化處理和邊緣提取，在提取過(guò)程中對(duì)原圖像進(jìn)行區(qū)域劃分，利用改進(jìn)的Hough變換得到車道候選線，建立動(dòng)態(tài)的感興趣區(qū)域(ROI)，通過(guò)基于動(dòng)態(tài)的感興趣區(qū)域(ROI)的Hough變換實(shí)現(xiàn)對(duì)車道線模型的約束和更新，及Kalman濾波對(duì)車道線實(shí)時(shí)跟蹤，算法加入了車道線檢測(cè)失效判別模塊，以提高檢測(cè)的可靠性。

在結(jié)構(gòu)化的公路上，車道線信息主要是集中在圖像的中下部,由于考慮到在不同情況下的攝像機(jī)安裝，或?qū)④囶^顯示在圖像中。

本方法采用的步驟如下：對(duì)圖像進(jìn)行降采樣，并設(shè)定感興趣區(qū)域(ROI)，由于視頻圖像中相鄰的圖像之間有較大的相關(guān)性，大部分圖像信息對(duì)于車道線檢測(cè)是無(wú)用的，通過(guò)尋找對(duì)車道線檢測(cè)有用的感興趣區(qū)域，不但 可以降低算法的運(yùn)算量，而且還能簡(jiǎn)化車道線的識(shí)別。在結(jié)構(gòu)化的公路上，車道線有用信息主要是集中在圖像的中下部是感興趣區(qū)域，由于考慮到在不同情況下的攝像機(jī)安裝，或?qū)④囶^顯示在圖像中(0～0.1H)。W_image表示圖像的寬度，H_image定義為圖像的高度。這樣我們可以縮小圖像有效檢測(cè)區(qū)域的范圍。

車道檢測(cè)的方法，對(duì)感興趣區(qū)域圖像預(yù)處理--進(jìn)行顏色矯正，本方法采用的步驟如下：首先從監(jiān)控相機(jī)等圖像采集裝置中獲得感興趣區(qū)域圖像ψ，對(duì)感興趣區(qū)域圖像ψ進(jìn)行顏色校正，得到校正后圖像ψ₁；

具體步驟如下：

圖像的光照估計(jì)的目的是將未知光照條件下的圖像校正到標(biāo)準(zhǔn)白光下的圖像，這個(gè)過(guò)程簡(jiǎn)要概括為首先估計(jì)出圖像成像時(shí)的光照顏色，然后利用Von Kries模型將圖像映射到標(biāo)準(zhǔn)白光下。也就可以獲得更好的圖像的白平衡效果。一般可分為以下步驟：

(1)、樣本塊提取首先從圖像中提取樣本塊。對(duì)每個(gè)圖像樣本塊，估計(jì)照射在該塊上的有效光照。

(2)、利用現(xiàn)有的單光照條件下的光照估計(jì)算法進(jìn)行光照估計(jì)?；贕rey-Edge顏色恒常性算法框架通過(guò)變換參數(shù)，系統(tǒng)地產(chǎn)生多個(gè)不同的顏色恒常性特征值提取方法。

(3)、樣本塊光照估計(jì)值的聚類，把來(lái)自于同一光照下的圖像塊被聚類到一起以形成一個(gè)大的圖像塊，以便產(chǎn)生一個(gè)更為準(zhǔn)確的光照估計(jì)值，同一光照照射下的塊更易于聚類到同一簇。因此，所有的光照估計(jì)值被聚類到M類(M為場(chǎng)景中的光照個(gè)數(shù))。

(4)、聚類結(jié)果的后向映射在把基于樣本塊的光照估計(jì)值聚類到M類后(M為場(chǎng)景中的光照數(shù))，把聚類的結(jié)果逐個(gè)映射到原始圖像，也就是說(shuō)，屬于同一樣本塊的像素屬于同一聚類，這樣就可以得到每種光照的照射位置。由此得到一個(gè)光照映射圖，即每個(gè)像素屬于M個(gè)光照中的某一個(gè)。通過(guò)后向映射，可得到每個(gè)像素的光照估計(jì)值，及像素所在光照類的聚類中心值。

(5)、對(duì)于重疊光照的區(qū)域，在后向映射的光照估計(jì)值的分類結(jié)果上 使用高斯濾波器

(6)、顏色校正，利用每個(gè)像素的光照估計(jì)值可以把輸入圖像校正到標(biāo)準(zhǔn)光照下，得到在標(biāo)準(zhǔn)光照下的輸出圖像，從而消除場(chǎng)景中光照的影響。目前最常用的對(duì)角模型來(lái)校正圖像。

利用圖像顏色校正的方法，其特征在于：所述(1)假設(shè)每個(gè)圖像樣本塊5×5像素并且滿足光照在該樣本上的光照值是均勻分布的條件(只有一種顏色的光照射到該樣本上)。

圖像光照估計(jì)來(lái)校正圖像顏色的方法，選擇的樣本塊的大小一樣，滿足以下條件：樣本塊5×5像素且包含光照顏色信息來(lái)準(zhǔn)確地估計(jì)照射在該樣本塊上的光照的性質(zhì)。

基于Grey-Edge顏色恒常性算法框架通過(guò)變換參數(shù)，如下所示，通過(guò)變換參數(shù)n，q和σ(n是階乘，q是明科夫斯范式，σ是高斯濾波器的核函數(shù)大小)，ε是一個(gè)取值范圍[0,1]的常數(shù)，f(x)表示空間中x點(diǎn)處的光照值；0表示無(wú)反射，1表示全反射；e是指數(shù)e，系統(tǒng)地產(chǎn)生多個(gè)不同的顏色恒常性特征值提取方法。

在該框架下，分割圖像得到許多圖像的樣本塊。假設(shè)每個(gè)樣本塊是5×5像素并且滿足在該樣本塊中光照是均勻分布的假設(shè)。在每個(gè)樣本塊上，使用常用的單光照的顏色恒常性算法估計(jì)該樣本塊上的光照值。

利用圖像光照估計(jì)來(lái)校正圖像顏色的方法，考慮以下五種有代表性的方法：

利用圖像光照估計(jì)來(lái)校正圖像顏色的方法，五種候選顏色恒常性計(jì)算集合Γ＝{e^0,1,0,e^0,∞,0,e^0,∞,1,e^1,1,1,e^2,1,1}。每個(gè)樣本塊的特征是由選擇的顏色恒常性算法的光照估計(jì)值組成。

利用圖像光照估計(jì)來(lái)校正圖像顏色的方法，樣本塊的特征向量可以描述為F‘＝[R,G,B]，R,G,B為圖像的顏色通道，使用歸一化的光照估計(jì)值，如下所示，這樣樣本塊的特征向量就轉(zhuǎn)化成F＝[r,g]，一個(gè)1×2的向量。

利用圖像光照估計(jì)來(lái)校正圖像顏色的方法，在光照估計(jì)值組成的色度空間中，在對(duì)各個(gè)樣本塊的光照估計(jì)值進(jìn)行聚類后，第j個(gè)樣本塊的光照估計(jì)值到第i聚類中心的距離可以使用歐氏距離計(jì)算，該歐式距離用d_i表示，d_k表示k[0,M]中第k個(gè)樣本塊聚類中心的距離，Z是總共的樣本塊，那么該樣本塊位于第i個(gè)光照區(qū)域的概率p_j,i如下計(jì)算：

第i個(gè)光照的覆蓋區(qū)域概率其中p_j,i表示第j個(gè)塊被第i個(gè)光照照射的概率并且p是輸入圖像中樣本塊的總數(shù)。

利用圖像光照估計(jì)來(lái)校正圖像顏色的方法，為了獲得平滑連續(xù)的光照 分布，在光照覆蓋區(qū)域概率映射圖上進(jìn)行濾波，我們使用兩種濾波器，分別是高斯和中值兩種濾波器，高斯濾波器考慮了空間位置信息計(jì)算每個(gè)估計(jì)光照范圍的逐個(gè)像素概率，中值濾波器的優(yōu)點(diǎn)是能很好地保留邊的信息，使其用于有明顯的光照變化的場(chǎng)景。

利用圖像光照估計(jì)來(lái)校正圖像顏色的方法，圖像每個(gè)像素的光照估計(jì)值根據(jù)如下式進(jìn)行計(jì)算：

其中I_e是場(chǎng)景上的光照估計(jì)值，I_e,j是第i個(gè)光照的估計(jì)值，m_i(x)表示第i個(gè)光照對(duì)位于x處的像素的貢獻(xiàn)；Z表示總共的樣本塊，如果m_i值較大，那么意味著第i個(gè)光照對(duì)此像素的影響大，特別地如果m_i(x)＝1意味著此像素完全處于第i個(gè)光照的照射下。光照的覆蓋區(qū)域概率映射圖和輸入圖像一樣大。

利用圖像光照估計(jì)來(lái)校正圖像顏色的方法，在得到每個(gè)像素的光照估計(jì)值之后，根據(jù)對(duì)角模型逐個(gè)像素進(jìn)行校正，其中f^u(x)表示在未知光照照射下x處的像素值，f^c(x)表示經(jīng)過(guò)校正后其在標(biāo)準(zhǔn)光照照射下呈現(xiàn)出的像素值。Λ^u,c(x)是在x處從未知光照到標(biāo)準(zhǔn)光照的映射矩陣，如下式所示：f^c(x)＝Λ^u,c(x)f^u(x)。

利用圖像光照估計(jì)來(lái)校正圖像顏色的方法，對(duì)角校正模型如下式所示，其中，表示成像時(shí)位置：

其中，x表示在圖像空間中某一點(diǎn)，R通道測(cè)量的光照值；x表示在圖像空間中某一點(diǎn)，R通道估計(jì)的光照值；空間中某一點(diǎn)R通道的測(cè)量光照值比上估計(jì)的光照值。為空間中某一點(diǎn)G通道的測(cè)量光照值比上估計(jì)的光照值；為空間中某一點(diǎn)B通道的測(cè)量光照值比上估計(jì) 的光照值；Λ^u,c(x)是在x處從未知光照到標(biāo)準(zhǔn)光照的映射矩陣。

感興趣區(qū)域圖像預(yù)處理-----顏色矯正后圖像灰度化，如下式所示；G_ray＝R*0.299+G*0.587+B*0.114,其中，式中：R、G、B分別表示紅、藍(lán)、綠通道分量值；G_ray表示轉(zhuǎn)換后像素的灰度值。在車道線上更多想要保存到白色和黃色的信息，因此在保證車道線提取誤差范圍內(nèi)，弱化了B通道分量值的比例?；叶绒D(zhuǎn)換公式如下式：G_ray＝R*0.5+G*0.5。

選取車道線模型，其特征在于：道路的絕大部分路段都是直線路段，將直線模型作為車道線模型計(jì)算出的誤差僅為3mm。因此，本方法采用直線模型作為車道線的模型。

對(duì)灰度化圖像車道線邊緣提取，其特征在于：在實(shí)際道路環(huán)境中，車道線通常具有比周圍路面更高的亮度，進(jìn)行灰度化處理后，車道線的灰度值較高。由按行掃描的灰度圖可知，車道線部分的值比其兩邊的值要高，形成一個(gè)波峰；呈現(xiàn)從左到右是先升后降趨勢(shì)；我們利用這些特性，通過(guò)計(jì)算相鄰圖像像素的變化來(lái)判斷車道線的邊緣。

基于改進(jìn)Hough變換的車道線檢測(cè)方法，其特征在于：Hough變換檢測(cè)直線的坑噪性能強(qiáng)，能將斷開的邊緣連接起來(lái)，非常適合用于檢測(cè)不連續(xù)的車道標(biāo)識(shí)線。它根據(jù)圖像空間和Hough參數(shù)空間的對(duì)偶性原理，將圖像中的每個(gè)特征點(diǎn)映射到參數(shù)空間的累加陣列的多個(gè)單元中，統(tǒng)計(jì)各個(gè)單元的計(jì)數(shù)以檢測(cè)出極值，從而確定是否存在直線并獲得直線參數(shù)。

經(jīng)典的Hough變換對(duì)圖像空間中的每一個(gè)點(diǎn)映射到極坐標(biāo)后進(jìn)行投票統(tǒng)計(jì)，當(dāng)ρ、θ_p的量化越細(xì)時(shí)，檢測(cè)的精度就會(huì)越高，量化過(guò)粗，檢測(cè)的結(jié)果又不會(huì)準(zhǔn)確。為了解決垂直直線斜率無(wú)限大的問(wèn)題，一般通過(guò)如下的直線—極坐標(biāo)方程進(jìn)行Hough變換，即ρ＝x cosθ_p+y sinθ_p，為了減少運(yùn)算復(fù)雜度，提高計(jì)算的效率，本文在經(jīng)典Hough變換上做了相應(yīng)的條件約束，使之能夠更適應(yīng)車道線檢測(cè)。

需要對(duì)檢測(cè)出車道線進(jìn)行約束---幀間關(guān)聯(lián)約束，在實(shí)際采集系統(tǒng)以及大部分的智能車輛系統(tǒng)中，車載相機(jī)直接獲得的是視頻流信息，視頻流中的 相鄰兩幀圖像間往往具有很大的冗余性。車輛運(yùn)動(dòng)在時(shí)間上和空間上都具有連續(xù)性，由于車載相機(jī)的采樣頻率快(100fps左右)，在圖像幀的采樣周期內(nèi)，車輛只是前進(jìn)了一段很短的距離，道路場(chǎng)景的變化十分微小，表現(xiàn)為前后幀間的車道線位置變化緩慢，因此前一幀圖像為后一幀圖像提供了非常強(qiáng)的車道線位置信息。為了提高車道線識(shí)別算法的穩(wěn)定性和準(zhǔn)確性，本文引入了幀間關(guān)聯(lián)性約束。

步驟如下：假設(shè)在當(dāng)前幀中檢測(cè)到的車道線個(gè)數(shù)為m_l條，用集合L_l＝{L₁,L₂,…,L_m}表示；保存的歷史幀中檢測(cè)到的車道線數(shù)有n_l個(gè)，用集合E_l＝{E₁,E₂,…,E_n}表示；幀間關(guān)聯(lián)約束濾波器用K_l表示，令K_l＝{K₁,K₂,…,K_n}。

首先建立一個(gè)C_l＝m_l×n_l的矩陣，矩陣C_l中的元素c_ij表示當(dāng)前幀中的第i條直線L_i和歷史幀中的第j條直線E_j間的距離Δd_ij，其中Δd_ij的計(jì)算公式為：T_l是表示矩陣轉(zhuǎn)秩A,B分別代表的是直線L_i、E_j的兩個(gè)端點(diǎn)。

然后在矩陣C_l中，統(tǒng)計(jì)第i行中Δd_ij<T的個(gè)數(shù)e_i，若e_i<1，說(shuō)明當(dāng)前車道線沒(méi)有與之相關(guān)聯(lián)的前幀車道線，因此將該條車道線作為全新的車道線，更新下一幀幀間關(guān)聯(lián)約束的歷史幀信息。

若e_i＝1，則認(rèn)為當(dāng)前幀車道線L_i和歷史幀車道線E_j在前后幀間是同一條車道線；當(dāng)e_i>1時(shí)，用向量V_i記錄當(dāng)前幀第i行中滿足條件的車道線位置，即：在V_i中統(tǒng)計(jì)非零元素所在的列j的所有元素V_j，得到V_j中最小的元素，即：(Δd_ij)_min＝min{V_j}(V_j≠0)。

當(dāng)則得到當(dāng)前幀車道線L_i和歷史幀車道線E_j在前后幀間是同一條車道線。當(dāng)前幀檢測(cè)得到的車道線符合幀間相關(guān)聯(lián)約束，則認(rèn)為在前后幀中是同一條車道線，并顯示當(dāng)前車道線的位置；否則，舍棄當(dāng)前檢測(cè)出的車道線。如果累計(jì)幀間關(guān)聯(lián)約束次數(shù)大于T_α(T_α＝3)，則更新歷史幀車道線的參數(shù)。

檢測(cè)出車道線，基于Kalman濾波車道線線跟蹤，其特征在于：對(duì)結(jié)構(gòu)化道路而言，連續(xù)兩幀圖像中的車道線位置相差不大，可以利用相鄰幀之 間的車道線位置的相關(guān)性，用前一幀圖像獲得的信息指導(dǎo)下一幀車道線的檢測(cè)，以實(shí)現(xiàn)車道線的實(shí)時(shí)跟蹤。

失效判別其特征在于：當(dāng)受到嚴(yán)重干擾如道路中行車或其它物體將車道標(biāo)識(shí)線遮擋，轉(zhuǎn)彎或車輛換道等情況，算法會(huì)產(chǎn)生較大誤差甚至失效。因此要在檢測(cè)中加入失效判別機(jī)制。一旦約束算法失效的情況下能及時(shí)恢復(fù)對(duì)道路標(biāo)識(shí)線的正確識(shí)別。

附圖說(shuō)明

圖1為本發(fā)明具體實(shí)施方式所述的車道檢測(cè)方法流程圖；

圖2是本發(fā)明具體實(shí)施方式所述的利用光照估計(jì)來(lái)校正圖像顏色的方法的流程圖；

圖3是本發(fā)明具體實(shí)施方式所述的車道線模型

圖4是本發(fā)明具體實(shí)施方式所述的感興趣區(qū)域。

圖5是本發(fā)明具體實(shí)施方式所述的邊緣檢測(cè)圖。

圖6是本發(fā)明具體實(shí)施方式所述的車道線濾波效果。

圖7是本發(fā)明具體實(shí)施方式所述的車道線實(shí)驗(yàn)檢測(cè)結(jié)果----路面有污損圖

圖8是本發(fā)明具體實(shí)施方式所述的車道線實(shí)驗(yàn)檢測(cè)結(jié)果----對(duì)向車輛霧天開燈

圖9是本發(fā)明具體實(shí)施方式所述的車道線實(shí)驗(yàn)檢測(cè)結(jié)果----常見路面標(biāo)志的干擾

圖10是本發(fā)明具體實(shí)施方式所述的車道線實(shí)驗(yàn)檢測(cè)結(jié)果---傍晚行車

具體實(shí)施方式

為詳細(xì)說(shuō)明技術(shù)方案的技術(shù)內(nèi)容構(gòu)造特征所實(shí)現(xiàn)目的及效果,以下結(jié)合具體實(shí)例，并配合附圖詳予說(shuō)明。

一、總體思路

為了提高車道線識(shí)別的實(shí)時(shí)性和可靠性，提出一種基于視覺的復(fù)雜光照條件下實(shí)時(shí)車道線檢測(cè)算法。在提取過(guò)程中對(duì)原圖像進(jìn)行區(qū)域劃分，再對(duì)圖像預(yù)處理不同光照?qǐng)D像進(jìn)行光照估計(jì)和光照顏色矯正，使其恢復(fù)到標(biāo)準(zhǔn)白光下。采用高斯濾波去除圖像采集過(guò)程中引入的噪聲，再對(duì)圖像進(jìn)行二值化處理和邊緣提取，利用改進(jìn)的Hough變換得到車道候選線，建立動(dòng)態(tài)的ROI，通過(guò)基于動(dòng)態(tài)ROI的Hough變換實(shí)現(xiàn)對(duì)車道線模型的約束和更新，算法加入了車道線檢測(cè)失效判別模塊，以提高檢測(cè)的可靠性。如圖1所示。

二、確定感興趣區(qū)域

由于視頻圖像中相鄰的圖像之間有較大的相關(guān)性，大部分圖像信息對(duì)于車道線檢測(cè)是無(wú)用的，通過(guò)尋找對(duì)車道線檢測(cè)有用的感興趣區(qū)域，不但可以降低算法的運(yùn)算量而且能簡(jiǎn)化車道線的識(shí)別，如圖3所示。

在結(jié)構(gòu)化的公路上，車道線有用信息主要是集中在圖像的中下部是感興趣區(qū)域，由于考慮到在不同情況下的攝像機(jī)安裝，或?qū)④囶^顯示在圖像中。W_image表示圖像的寬度，H_image定義為圖像的高度。這樣我們可以縮小圖像有效檢測(cè)區(qū)域的范圍。

三、對(duì)感興趣區(qū)域圖像預(yù)處理--進(jìn)行顏色矯正本方法采用的步驟如下：首先從監(jiān)控相機(jī)等圖像采集裝置中獲得感興趣區(qū)域圖像ψ，對(duì)感興趣區(qū)域圖像ψ進(jìn)行顏色校正，得到校正后圖像ψ₁；如圖2所示，具體步驟如下：

圖像的光照估計(jì)的目的是將未知光照條件下的圖像校正到標(biāo)準(zhǔn)白光下的圖像，這個(gè)過(guò)程簡(jiǎn)要概括為首先估計(jì)出圖像成像時(shí)的光照顏色，然后利用Von Kries模型將圖像映射到標(biāo)準(zhǔn)白光下。也就可以獲得更好的圖像的白平衡效果。一般可分為以下步驟：

(1)、樣本塊提取首先從圖像中提取樣本塊。對(duì)每個(gè)圖像樣本塊，估計(jì)照射在該塊上的有效光照。

(2)、利用現(xiàn)有的單光照條件下的光照估計(jì)算法進(jìn)行光照估計(jì)?；贕rey-Edge顏色恒常性算法框架通過(guò)變換參數(shù)，系統(tǒng)地產(chǎn)生多個(gè)不同的顏色恒 常性特征值提取方法。

(3)、樣本塊光照估計(jì)值的聚類，把來(lái)自于同一光照下的圖像塊被聚類到一起以形成一個(gè)大的圖像塊，以便產(chǎn)生一個(gè)更為準(zhǔn)確的光照估計(jì)值，同一光照照射下的塊更易于聚類到同一簇。因此，所有的光照估計(jì)值被聚類到M類(M為場(chǎng)景中的光照個(gè)數(shù))。

(4)、聚類結(jié)果的后向映射在把基于樣本塊的光照估計(jì)值聚類到M類后(M為場(chǎng)景中的光照數(shù))，把聚類的結(jié)果逐個(gè)映射到原始圖像，也就是說(shuō)，屬于同一樣本塊的像素屬于同一聚類，這樣就可以得到每種光照的照射位置。由此得到一個(gè)光照映射圖，即每個(gè)像素屬于M個(gè)光照中的某一個(gè)。通過(guò)后向映射，可得到每個(gè)像素的光照估計(jì)值，及像素所在光照類的聚類中心值。

(5)、對(duì)于重疊光照的區(qū)域，在后向映射的光照估計(jì)值的分類結(jié)果上使用高斯濾波器。

(6)、顏色校正，利用每個(gè)像素的光照估計(jì)值可以把輸入圖像校正到標(biāo)準(zhǔn)光照下，得到在標(biāo)準(zhǔn)光照下的輸出圖像，從而消除場(chǎng)景中光照的影響。目前最常用的對(duì)角模型來(lái)校正圖像。

利用圖像顏色校正的方法，其特征在于：所述(1)假設(shè)每個(gè)圖像樣本塊5×5像素并且滿足光照在該樣本上的光照值是均勻分布的條件(只有一種顏色的光照射到該樣本上)。

利用圖像光照估計(jì)來(lái)校正圖像顏色的方法，選擇的樣本塊的大小一樣，滿足以下條件：樣本塊5×5像素且包含光照顏色信息來(lái)準(zhǔn)確地估計(jì)照射在該樣本塊上的光照的性質(zhì)。

基于Grey-Edge顏色恒常性算法框架通過(guò)變換參數(shù)，如下所示，通過(guò)變換參數(shù)n，q和σ(n是階乘，q是明科夫斯范式，σ是高斯濾波器的核函數(shù)大小)，f(x)表示空間中x點(diǎn)處的光照值；ε是一個(gè)取值范圍[0,1]的常數(shù)，0表示無(wú)反射，1表示全反射；e是指數(shù)e，系統(tǒng)地產(chǎn)生多個(gè)不同的顏色恒常性特征值提取方法。

在該框架下如下式，分割圖像得到許多圖像的樣本塊。假設(shè)每個(gè)樣本塊是5×5像素并且滿足在該樣本塊中光照是均勻分布的假設(shè)。在每個(gè)樣本塊 上，使用常用的單光照的顏色恒常性算法估計(jì)該樣本塊上的光照值。

利用圖像光照估計(jì)來(lái)校正圖像顏色的方法，考慮以下五種有代表性的方法：

利用圖像光照估計(jì)來(lái)校正圖像顏色的方法，五種候選顏色恒常性計(jì)算集合Γ＝{e^0,1,0,e^0,∞,0,e^0,∞,1,e^1,1,1,e^2,1,1}。每個(gè)樣本塊的特征是由選擇的顏色恒常性算法的光照估計(jì)值組成。

利用圖像光照估計(jì)來(lái)校正圖像顏色的方法，樣本塊的特征向量可以描述為F‘＝[R,G,B]，R,G,B為圖像的顏色通道，使用歸一化的光照估計(jì)值，如下所示，這樣樣本塊的特征向量就轉(zhuǎn)化成F＝[r,g]，一個(gè)1×2的向量：

利用圖像光照估計(jì)來(lái)校正圖像顏色的方法，在光照估計(jì)值組成的色度空間中，在對(duì)各個(gè)樣本塊的光照估計(jì)值進(jìn)行聚類后，第j個(gè)樣本塊的光照估計(jì)值到第i聚類中心的距離可以使用歐氏距離計(jì)算，該歐式距離用d_i表示，

d_k表示k[0,M]中第k個(gè)樣本塊聚類中心的距離，Z是總共的樣本塊，那么該樣本塊位于第i個(gè)光照區(qū)域的概率p_j,i如下計(jì)算：

第i個(gè)光照的覆蓋區(qū)域概率其中p_j,i表示第j個(gè)塊被第i個(gè)光照照射的概率并且p是輸入圖像中樣本塊的總數(shù)。

利用圖像光照估計(jì)來(lái)校正圖像顏色的方法，為了獲得平滑連續(xù)的光照分布，在光照覆蓋區(qū)域概率映射圖上進(jìn)行濾波，我們使用兩種濾波器，分別是高斯和中值兩種濾波器，高斯濾波器考慮了空間位置信息計(jì)算每個(gè)估計(jì)光照范圍的逐個(gè)像素概率，中值濾波器的優(yōu)點(diǎn)是能很好地保留邊的信息，使其用于有明顯的光照變化的場(chǎng)景。

利用圖像光照估計(jì)來(lái)校正圖像顏色的方法，圖像每個(gè)像素的光照估計(jì)值根據(jù)如下式進(jìn)行計(jì)算：

其中I_e是場(chǎng)景上的光照估計(jì)值，I_e,j是第i個(gè)光照的估計(jì)值，m_i(x)表示第i個(gè)光照對(duì)位于x處的像素的貢獻(xiàn)；Z表示總共的樣本塊，

如果m_i值較大，那么意味著第i個(gè)光照對(duì)此像素的影響大，特別地如果m_i(x)＝1意味著此像素完全處于第i個(gè)光照的照射下。光照的覆蓋區(qū)域概率映射圖和輸入圖像一樣大。

利用圖像光照估計(jì)來(lái)校正圖像顏色的方法，在得到每個(gè)像素的光照估計(jì)值之后，根據(jù)對(duì)角模型逐個(gè)像素進(jìn)行校正，其中f^u(x)表示在未知光照照射下x處的像素值，f^c(x)表示經(jīng)過(guò)校正后其在標(biāo)準(zhǔn)光照照射下呈現(xiàn)出的像素值。

Λ^u,c(x)是在x處從未知光照到標(biāo)準(zhǔn)光照的映射矩陣，如下式所示：f^c(x)＝Λ^u,c(x)f^u(x)。

利用圖像光照估計(jì)來(lái)校正圖像顏色的方法，對(duì)角校正模型如下式所示，其中，表示成像時(shí)位置：

其中，x表示在圖像空間中某一點(diǎn)，R通道測(cè)量的光照值；x表示在圖像空間中某一點(diǎn)，R通道估計(jì)的光照值；空間中某一點(diǎn)R通道的測(cè)量光照值比上估計(jì)的光照值。為空間中某一點(diǎn)G通道的測(cè)量光照值比上估計(jì)的光照值；為空間中某一點(diǎn)B通道的測(cè)量光照值比上估計(jì)的光照值；。Λ^u,c(x)是在x處從未知光照到標(biāo)準(zhǔn)光照的映射矩陣。

三、感興趣區(qū)域圖像預(yù)處理-----顏色矯正后圖像灰度化

如下式所示；G_ray＝R*0.299+G*0.587+B*0.114,其中，式中：R、G、B分別表示紅、藍(lán)、綠通道分量值；G_ray表示轉(zhuǎn)換后像素的灰度值。在車道線上更多想要保存到白色和黃色的信息，因此在保證車道線提取誤差范圍內(nèi)，弱化了B通道分量值的比例?；叶绒D(zhuǎn)換公式如下式：G_ray＝R*0.5+G*0.5。

四、車道線模型

車道線模型，如圖3，其特征在于：道路的絕大部分路段都是直線路段，將直線模型作為車道線模型計(jì)算出的誤差僅為3mm。因此，本方法采用直線模型作為車道線的模型。

其中：(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)是車道線中的坐標(biāo)，p表示直線位置橫向偏向中心垂線的距離，d表示直線消失點(diǎn)距下邊線的距離。車道線的斜率角度截距b_τ＝y(tǒng)-kx。

對(duì)灰度化圖像車道線邊緣提取，其特征在于：在實(shí)際道路環(huán)境中，車道線通常具有比周圍路面更高的亮度，進(jìn)行灰度化處理后，車道線的灰度值較高。由按行掃描的灰度圖可知，車道線部分的值比其兩邊的值要高，形成一個(gè)波峰；呈現(xiàn)從左到右是先升后降趨勢(shì)；我們利用這些特性，通過(guò)計(jì)算 相鄰圖像像素的變化來(lái)判斷車道線的邊緣。

具體步驟如下：

設(shè)某點(diǎn)是(x,y)，滿足y∈[0,H_image)且x∈[2,W_image-2)。x,y分別是像素點(diǎn)的列和行，W_image表示圖像的寬度，H_image定義為圖像的高度。

Step1：計(jì)算點(diǎn)(x,y)水平線附近的均值。其中t∈[1,3,5,7,……]，t＝5能取得很好的效果。

Step2：計(jì)算邊緣提取閾值T。

Step3：計(jì)算邊緣的升變點(diǎn)e_p和降變點(diǎn)e_v。

Step4：車道線的升變點(diǎn)和降變點(diǎn)在圖像中是成對(duì)出現(xiàn)的，并且之間滿足一定的距離。比較升變點(diǎn)和降變點(diǎn)的寬度，剔除不滿足的點(diǎn)：Δw＝ep(x)-ev(x)。

若Δw>W_max，則認(rèn)為是不可能出現(xiàn)的車道線，則要舍棄。其中，e_p(x)和e_v(x)分別表示升變點(diǎn)和降變點(diǎn)的列像素坐標(biāo)，W_max為車道線在圖像中占有的最大的像素個(gè)數(shù)。

五、邊緣提取

基于改進(jìn)Hough變換的車道線檢測(cè)方法，其特征在于：Hough變換檢測(cè)直線的坑噪性能強(qiáng)，能將斷開的邊緣連接起來(lái)，非常適合用于檢測(cè)不連續(xù)的車道標(biāo)識(shí)線。它根據(jù)圖像空間和Hough參數(shù)空間的對(duì)偶性原理，將圖像中的每個(gè)特征點(diǎn)映射到參數(shù)空間的累加陣列的多個(gè)單元中，統(tǒng)計(jì)各個(gè)單元的計(jì)數(shù)以檢測(cè)出極值，從而確定是否存在直線并獲得直線參數(shù)。

經(jīng)典的Hough變換對(duì)圖像空間中的每一個(gè)點(diǎn)映射到極坐標(biāo)后進(jìn)行投票統(tǒng)計(jì)，當(dāng)ρ、θ_p的量化越細(xì)時(shí)，檢測(cè)的精度就會(huì)越高，量化過(guò)粗，檢測(cè)的結(jié)果又不會(huì)準(zhǔn)確。為了解決垂直直線斜率無(wú)限大的問(wèn)題，一般通過(guò)如下的直線—極坐標(biāo)方程進(jìn)行Hough變換，即ρ＝x cosθ_p+y sinθ_p，為了減少 運(yùn)算復(fù)雜度，提高計(jì)算的效率，本文在經(jīng)典Hough變換上做了相應(yīng)的條件約束，使之能夠更適應(yīng)車道線檢測(cè)，如圖5所示。

給定直線所在大致區(qū)域的距離誤差限d_h、Hough變換的一系列參數(shù)以及均值誤差閾值ε_h。改進(jìn)的Hough變換，算法的具體步驟如下：

Step1.在給定參數(shù)下，對(duì)車道線特征進(jìn)行基于概率的Hough變換操作，獲取直線；

Step2.對(duì)每一個(gè)通過(guò)Hough變換檢測(cè)得到的直線，在所有的特征點(diǎn)集S中尋找距離直線不大于d_h的特征點(diǎn)，構(gòu)成集合E_h；

Step3.利用最小二乘法確定集合E的回歸直線參數(shù)k_h和b_h，以及均方誤差e_h；

Step4.對(duì)集合E_h中的任一特征點(diǎn)(x_i,y_i)，所有滿足的k_hx_i+b_h>y_i的特征點(diǎn)構(gòu)成子集E_pos，所有滿足的k_hx_i+b_h<y_i的特征點(diǎn)構(gòu)成子集E_neg；

Step5.在集合E_pos和E_neg中，找出誤差最大的點(diǎn)和 其中d_h(P)表示點(diǎn)P到回歸直線的距離；

Step6.移除點(diǎn)P_p和P_n，更新集合E_pos、E_neg和E_h，重復(fù)步驟3，直至誤差e_h小于ε_h。

六、車道線進(jìn)行約束---幀間關(guān)聯(lián)約束

在實(shí)際采集系統(tǒng)以及大部分的智能車輛系統(tǒng)中，車載相機(jī)直接獲得的是視頻流信息，視頻流中的相鄰兩幀圖像間往往具有很大的冗余性。車輛運(yùn)動(dòng)在時(shí)間上和空間上都具有連續(xù)性，由于車載相機(jī)的采樣頻率快(100fps左右)，在圖像幀的采樣周期內(nèi)，車輛只是前進(jìn)了一段很短的距離，道路場(chǎng)景的變化十分微小，表現(xiàn)為前后幀間的車道線位置變化緩慢，因此前一幀圖像為后一幀圖像提供了非常強(qiáng)的車道線位置信息。為了提高車道線識(shí)別算法的穩(wěn)定性和準(zhǔn)確性，本文引入了幀間關(guān)聯(lián)性約束。

設(shè)計(jì)的幀間平滑模型如下式：該式中，Line代表當(dāng)前幀的認(rèn)可檢測(cè)結(jié)果，ω_i表示的是權(quán)重取值范圍是(0,1),l_i表示第i幀的幀內(nèi)檢測(cè)結(jié)果,z表示關(guān)聯(lián)的幀數(shù)。通過(guò)對(duì)當(dāng)前幀以及前z幀的幀內(nèi)檢測(cè)結(jié)果加 權(quán)的方式得到了當(dāng)前幀的認(rèn)可檢測(cè)結(jié)果。根據(jù)該模型，可以得到幀間檢測(cè)算法。

設(shè)置一個(gè)幀間緩沖區(qū)，如果緩沖區(qū)大小為z的話，那么緩沖區(qū)存放了當(dāng)前幀以及之前z-1幀的幀內(nèi)檢測(cè)結(jié)果。根據(jù)性質(zhì)當(dāng)z值設(shè)置增大時(shí)當(dāng)前幀的檢測(cè)準(zhǔn)確度上升，誤檢和錯(cuò)檢率下降。z過(guò)大時(shí)，將導(dǎo)致認(rèn)可檢測(cè)無(wú)法表示當(dāng)前幀內(nèi)真實(shí)信息，導(dǎo)致檢測(cè)失敗、算法失效程序中斷，程序重新執(zhí)行。因此z的大小直接影響當(dāng)前幀的檢測(cè)車道線的精確度。

當(dāng)z＝1時(shí)，檢測(cè)等同于幀內(nèi)檢測(cè)效果，幀間平滑失去意義。z＝15時(shí)，意味著同時(shí)14幀前的道路情況影響到當(dāng)前的檢測(cè)結(jié)果，緩沖區(qū)的增大帶來(lái)算法的減慢和幀間平滑聚類算法性能的下降。經(jīng)過(guò)實(shí)驗(yàn)結(jié)果分析，CUP每處理一張圖像耗時(shí)40毫秒，1秒要處理25幀圖像，z∈[1,25]某一個(gè)值能使算法檢測(cè)的效果達(dá)到最優(yōu)，這個(gè)參數(shù)值自適應(yīng)設(shè)置，與幀間平滑模型中權(quán)重ω_i和噪聲的閾值R_th有關(guān)。滿足如下關(guān)系：權(quán)重的設(shè)置滿足于下式：ω_-z+1≤ω_-z+2≤…≤ω_-1≤ω₀；

噪聲的閾值R_th，斷標(biāo)準(zhǔn)如下：該式表示結(jié)果中，第t條車道線特征在z幀內(nèi)的總加權(quán)和占總幀數(shù)的比率必須大于閾值R_th，否則認(rèn)為是噪聲車道線。

R_th計(jì)算公式：其中c為修正因子區(qū)0.2<c<0.3，以保留尖銳的邊緣和圖像的細(xì)節(jié)，N_c為圖像的像素點(diǎn)數(shù)，η為噪聲方差。

七、基于Kalman濾波車道線線跟蹤

其特征在于：對(duì)結(jié)構(gòu)化道路而言，連續(xù)兩幀圖像中的車道線位置相差不大，可以利用相鄰幀之間的車道線位置的相關(guān)性，用前一幀圖像獲得的信息指導(dǎo)下一幀車道線的檢測(cè)，以實(shí)現(xiàn)車道線的實(shí)時(shí)跟蹤，如圖6所示。

失效判別其特征在于：當(dāng)受到嚴(yán)重干擾如道路中行車或其它物體將車道標(biāo)識(shí)線遮擋，轉(zhuǎn)彎或車輛換道等情況，算法會(huì)產(chǎn)生較大誤差甚至失效。因此要在檢測(cè)中加入失效判別機(jī)制。一旦約束算法失效的情況下能及時(shí)恢復(fù)對(duì) 道路標(biāo)識(shí)線的正確識(shí)別。如果檢測(cè)出車道線參數(shù)滿足以下情況中的一種，本文就判定為算法失效程序中斷，程序重新執(zhí)行。

(1)在動(dòng)態(tài)動(dòng)態(tài)感興趣區(qū)域內(nèi)，Hough變換檢測(cè)到的直線個(gè)數(shù)為零。

(2)不滿足車道線約束條件的幀數(shù)大于T_β(T_β＝5)。

(3)從當(dāng)前一幀檢測(cè)出的車道線參數(shù)相對(duì)于上一幀發(fā)生了突變，即直線的斜率變化率不應(yīng)超過(guò)10度，截距不超過(guò)15個(gè)像素。

圖6-10是車道線檢測(cè)效果圖。