專利名稱：利用圖像增強(qiáng)提高汽車安全性的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及車輛，具體來講，涉及用于處理各種圖像并在不利天氣條件下向駕駛員提供改善視場(chǎng)的系統(tǒng)和方法。
當(dāng)今的許多駕駛活動(dòng)發(fā)生在苛刻的環(huán)境中。車輛的激增以及所產(chǎn)生的交通密度增加了駕駛員在駕駛時(shí)必須作出反應(yīng)的外部刺激的數(shù)量。另外，當(dāng)今的駕駛員必須經(jīng)常在較少時(shí)間內(nèi)對(duì)行駛條件進(jìn)行感知、處理并作出反應(yīng)。例如，超速和/或拼搶駕駛的駕駛員留有極少時(shí)間對(duì)變化的條件(例如路面坑洼、鄰近汽車的突然變道等)作出反應(yīng)，并且也讓鄰近駕駛員很少有時(shí)間對(duì)他們作出反應(yīng)。
除了面對(duì)日常遇到的這些苛刻行駛條件之外，駕駛員還經(jīng)常被迫在極其惡劣的天氣條件下駕駛。一個(gè)典型的例子是出現(xiàn)暴風(fēng)雪，這時(shí)能見度會(huì)突然嚴(yán)重地受到阻礙。其它例子包括大雨和刺眼的陽光，這時(shí)能見度會(huì)同樣受到阻礙。雖然包括計(jì)算機(jī)視覺、模式識(shí)別、圖像處理以及人工智能(AI)在內(nèi)的數(shù)字信號(hào)處理技術(shù)在進(jìn)步，但幾乎沒有一種方法能夠幫助駕駛員在環(huán)境條件妨礙正常視覺時(shí)進(jìn)行極高要求的判定。
目前Cadillac DeVille可提供的一種駕駛員輔助系統(tǒng)、軍用“夜視”適合在夜間檢測(cè)車輛前方的對(duì)象。采用攝像機(jī)(聚焦光學(xué)器件)捕捉從汽車前方的人、其它動(dòng)物和汽車高發(fā)射的紅外輻射形式的熱量，并將其聚焦到紅外檢測(cè)器上。所檢測(cè)的紅外輻射數(shù)據(jù)被傳送到處理電子設(shè)備，并用于形成對(duì)象的單色圖像。對(duì)象的圖像由車罩前沿附近的平視顯示器投影到駕駛員的周邊視覺范圍內(nèi)。在夜間，可能超出車輛前燈范圍的對(duì)象可被預(yù)先檢測(cè)并通過平視顯示器來投影。在http//www.gm.com/company/gmability/safety/crash_avoidance/newfeatures/night_vision.html上的文檔“DeVille Becomes First Car To Offer SafetyBenefits Of Night Vision”中更詳細(xì)地描述了該系統(tǒng)。
在惡劣的天氣下，DeVille夜視系統(tǒng)可能會(huì)性能下降或者完全受阻，因?yàn)樗l(fā)出的紅外光會(huì)受到雪或雨的阻擋或吸收。即使DeVille夜視系統(tǒng)在暴風(fēng)雪、暴雨或其它惡劣天氣條件下進(jìn)行工作以檢測(cè)并顯示這類對(duì)象，但該顯示器其中一個(gè)缺陷是僅提供對(duì)象的熱圖像(必須“熱”到足以由紅外傳感器檢測(cè)到)，而駕駛員不得不通過熱圖像的輪廓來識(shí)別該對(duì)象是什么。駕駛員也許無法識(shí)別該對(duì)象。例如，一個(gè)背負(fù)背包彎腰行走的人的熱輪廓可能對(duì)駕駛員來講太陌生而無法通過熱圖像輕易地辨認(rèn)。這種無法辨認(rèn)的對(duì)象的存在也會(huì)讓人分散注意力。最后，駕駛員難以判斷對(duì)象在實(shí)際環(huán)境中的位置，因?yàn)閷?duì)象的熱圖像顯示在機(jī)罩前沿附近，而沒有參照其它不發(fā)熱的對(duì)象。
在D.M.Gavrila和V.Philomin的“用于″智能″車輛的實(shí)時(shí)對(duì)象檢測(cè)”[Proceedings of IEEE International Conference On Computer Vision，Kerkyra，Greece 1999，可見于www.gavrila.net]中描述了一種檢測(cè)行人和交通標(biāo)志、然后通知駕駛員某種潛在危險(xiǎn)(撞人、超速或轉(zhuǎn)錯(cuò)了單行道)的方法，將其內(nèi)容通過引用結(jié)合于此。模板層捕捉各種對(duì)象形狀，并采用基于距離變換的匹配的變型來實(shí)現(xiàn)匹配，其中在形狀層和變換參數(shù)上采用同時(shí)由粗到細(xì)的方法。
在D.M.Gavrila的“從移動(dòng)的車輛檢測(cè)行人”(Proceedings Of TheEuropean Conference On Computer Vision，Dublin，Ireland，2000)中也描述了一種在移動(dòng)車輛上檢測(cè)行人的方法，將其內(nèi)容通過引用結(jié)合于此。該方法以模板層和采用上述由粗到細(xì)方法的匹配為基礎(chǔ)，然后利用徑向基函數(shù)(RBF)來嘗試檢驗(yàn)這些形狀和對(duì)象是否是行人。
但是，在上述兩篇文章中，對(duì)圖像中對(duì)象的識(shí)別在惡劣天氣條件下將會(huì)惡化。例如，在暴風(fēng)雪中，因降雪而對(duì)圖像增添的整層亮度會(huì)使圖像中對(duì)象和特征的正常對(duì)比度變得模糊。在降雪的情況下，光被四面八方的每片雪花散射，從而使場(chǎng)景元素(或數(shù)據(jù))變模糊，使得攝像機(jī)無法捕捉場(chǎng)景圖像。雖然含降雨的降雪部分是半透明的，但仍然具有使場(chǎng)景元素變得模糊而使攝像機(jī)無法捕捉場(chǎng)景圖像的影響。這具有使模板匹配和RBF技術(shù)退化或失效的影響，這些技術(shù)依靠檢測(cè)圖像中對(duì)象邊界所提供的圖像梯度。
當(dāng)車輛在惡劣天氣條件下、即駕駛員的正常能見度因天氣條件而降低或模糊時(shí)行駛時(shí)，先有技術(shù)無法提供一種用于改善為駕駛員顯示的行駛場(chǎng)景的圖像的系統(tǒng)。先有技術(shù)無法單獨(dú)或者與其它圖像識(shí)別處理結(jié)合以采用某種圖像處理來改善行駛場(chǎng)景的圖像、從而對(duì)例如道路上或者道路附近的對(duì)象、交通信號(hào)、交通標(biāo)志、道路輪廓以及道路障礙進(jìn)行清晰的投影。當(dāng)車輛在惡劣天氣條件下行駛時(shí)，先有技術(shù)也無法以易懂的方式向駕駛員提供行駛場(chǎng)景(或者其中的對(duì)象和特征)的可辨認(rèn)圖像。
因此，本發(fā)明的一個(gè)目的是提供一種系統(tǒng)和方法，用于在駕駛員所看到的實(shí)際圖像因天氣條件而質(zhì)量下降時(shí)向車輛駕駛員顯示行駛場(chǎng)景的改善圖像。該系統(tǒng)包括至少一個(gè)具有一定視場(chǎng)并面向車輛前進(jìn)方向的攝像機(jī)。攝像機(jī)捕捉行駛場(chǎng)景的圖像，圖像由車輛前方的視場(chǎng)的像素組成。控制單元從攝像機(jī)接收?qǐng)D像，并把黑白點(diǎn)相間噪聲濾波應(yīng)用于組成接收?qǐng)D像的像素。濾波提高了從攝像機(jī)接收的行駛場(chǎng)景的圖像因天氣條件而下降的質(zhì)量。顯示器從控制單元接收應(yīng)用了濾波操作之后的圖像，并向駕駛員顯示行駛場(chǎng)景的圖像。
控制單元還可在顯示之前把直方圖均衡化操作應(yīng)用于組成濾波后圖像的像素的亮度。直方圖均衡化操作進(jìn)一步提高了因天氣條件而下降的行駛場(chǎng)景的圖像質(zhì)量。控制單元還可在直方圖均衡化操作之后且在顯示之前把圖像識(shí)別處理應(yīng)用于圖像。
在向車輛駕駛員顯示行駛場(chǎng)景的方法中，捕捉車輛前進(jìn)方向的行駛場(chǎng)景的圖像。圖像由車輛前方的視場(chǎng)的像素組成。把黑白點(diǎn)相間噪聲濾波應(yīng)用于組成捕捉圖像的像素。濾波提高了因天氣條件而下降的所捕捉的行駛場(chǎng)景的圖像的質(zhì)量。行駛場(chǎng)景的圖像在應(yīng)用了濾波操作之后向駕駛員顯示。


圖1是結(jié)合本發(fā)明的一個(gè)實(shí)施例的車輛的側(cè)視圖；圖1a是圖1的車輛的頂視圖；圖2是圖1和圖1a的實(shí)施例的部件以及其它用于描述本實(shí)施例的顯著特征的典型示圖；圖3a是圖1-2的實(shí)施例的攝像機(jī)在天氣條件不太惡劣時(shí)、或者在天氣惡劣時(shí)應(yīng)用了某些新穎的圖像處理技術(shù)所產(chǎn)生的典型圖像；圖3b是圖1-2的實(shí)施例的攝像機(jī)在天氣惡劣時(shí)沒有應(yīng)用某些新穎的圖像處理技術(shù)所產(chǎn)生的典型圖像；圖4a是要進(jìn)行濾波的圖像中的像素與用于濾波的相鄰像素的表示；圖4b表示圖4a的像素的濾波中應(yīng)用的步驟；圖5a是圖3b的圖像在濾波之后的典型直方圖；以及圖5b是圖3b的圖像在應(yīng)用直方圖均衡化之后的直方圖。
參照?qǐng)D1，說明結(jié)合了本發(fā)明的一個(gè)實(shí)施例的車輛10。如圖所示，攝像機(jī)14定位在擋風(fēng)玻璃12的頂部，其光軸指向車輛10的前進(jìn)方向。攝像機(jī)14的光軸(OA)實(shí)質(zhì)上與地面平行，并且實(shí)質(zhì)上以駕駛員和乘客位置為中心，如圖1a所示。攝像機(jī)14捕捉車輛10前方的圖像。攝像機(jī)14的視場(chǎng)最好是大約180°，因而攝像機(jī)實(shí)質(zhì)上捕捉車輛前方的整個(gè)圖像。但是，視場(chǎng)可低于180°。
參照?qǐng)D2，說明支持本發(fā)明的實(shí)施例的系統(tǒng)的其它部件以及這些部件和駕駛員P的相對(duì)位置。圖2說明駕駛員P的頭部在擋風(fēng)玻璃12后面、在左側(cè)其相對(duì)位置中的位置。攝像機(jī)14設(shè)置在擋風(fēng)玻璃12頂部的中心部分，如以上參照?qǐng)D1和圖1a所述。另外，圖中所示由雪花26組成的雪至少部分遮擋了駕駛員P在擋風(fēng)玻璃12之外的視線。雪花26部分遮擋了駕駛員P觀看道路以及其它交通對(duì)象和特征(統(tǒng)稱為行駛場(chǎng)景)，其中包括停車標(biāo)志28。如下面將要更詳細(xì)說明的，來自攝像機(jī)14的圖像被傳送到控制單元20。處理圖像之后，控制單元20把控制信號(hào)發(fā)送到平視顯示器(HUD)24，下面也將進(jìn)一步說明。
參考圖3a，說明在沒有受到雪26影響的某個(gè)時(shí)間點(diǎn)、駕駛員P通過擋風(fēng)玻璃12看到的行駛場(chǎng)景。具體來講，圖中表示了相交的道路30、32的邊界以及停車標(biāo)志28。圖3a的場(chǎng)景實(shí)質(zhì)上與控制單元20(圖2)在沒有遮擋雪花26的時(shí)間點(diǎn)從攝像機(jī)14接收的圖像相同。
圖3b說明在出現(xiàn)雪花26時(shí)、駕駛員P所看到的(以及攝像機(jī)14的圖像所捕捉的)行駛場(chǎng)景。一般來講，雪使入射到各雪花上的光散射到各個(gè)方向，從而導(dǎo)致圖像的普遍“白化”。這導(dǎo)致對(duì)象和圖像特征、如道路邊界30、32和停車標(biāo)志28(圖3b中由更淡的輪廓線表示)之間的對(duì)比度降低。除了普遍使圖像加亮之外，各片雪花26(尤其是在大雪中)實(shí)際上使駕駛員P和捕捉場(chǎng)景圖像的攝像機(jī)14無法看清場(chǎng)景中位于雪花后面的元素。因此，雪花26對(duì)攝像機(jī)14阻擋了場(chǎng)景的圖像數(shù)據(jù)。
采用處理軟件對(duì)控制單元20進(jìn)行編程，處理軟件改善了從攝像機(jī)12接收的因天氣條件而變模糊的如圖3b所示的圖像。處理軟件首先把圖像中的雪花26當(dāng)作“黑白點(diǎn)相間”噪聲來處理。黑白點(diǎn)相間噪聲又稱作“數(shù)據(jù)丟失”噪聲或者“斑點(diǎn)”。黑白點(diǎn)相間噪聲通常由圖像數(shù)據(jù)的錯(cuò)誤傳輸而產(chǎn)生，它在整個(gè)圖像上隨機(jī)創(chuàng)建受損像素。受損像素可具有最大值(在圖像中看起來象雪花)，或者也可設(shè)置為零值或最大值(因此稱作“黑白點(diǎn)相間”)。圖像中的未受損像素保留其原始圖像數(shù)據(jù)。但是，受損像素不包含關(guān)于其原始值的信息。在http//www.dai.ed.ac.uk/HIPR2/noise.htm上提供了對(duì)黑白點(diǎn)相間噪聲的附加說明。
因此，在本發(fā)明方法中考慮了實(shí)際上被雪花遮擋的圖像，并將它作為圖像中的“雪”來處理，其中的像素被黑白點(diǎn)相間噪聲所破壞，使得受損像素采取最大值。因此，控制單元20對(duì)于從攝像機(jī)14接收的圖像應(yīng)用旨在消除黑白點(diǎn)相間噪聲的濾波。在一個(gè)示范實(shí)施例中，控制單元20應(yīng)用中值濾波，它用局部鄰域中的像素中間灰度值來取代各像素值。中值濾波不采用如線性濾波中那樣的相鄰像素值的平均值或加權(quán)和。而是對(duì)于所處理的各個(gè)像素，中值濾波器考慮像素的灰度值以及周圍像素的鄰域。像素按照灰度值排序(按照灰度值升序或降序)，并且選擇該順序中的中間像素。在通常情況下，所考慮的像素?cái)?shù)量(包括被處理的像素)為奇數(shù)。因此，對(duì)于所選的中值像素，存在具有較高和較低灰度值的相等數(shù)量的像素。中值像素的灰度值取代被處理的像素。
圖4a是應(yīng)用于受到濾波的圖像陣列的像素A上的中值濾波的一個(gè)實(shí)例。像素A和直接圍繞的像素用作中值濾波的鄰域。這樣，九個(gè)像素的灰度值(如圖4a中對(duì)各像素所示)用于對(duì)所考慮的像素A進(jìn)行濾波。如圖4b所示，九個(gè)像素的灰度值按照灰度值進(jìn)行排序。從圖中可以看到，排序的中間像素是圖4b中的像素M，因?yàn)樗膫€(gè)像素具有較高的灰度值以及四個(gè)像素具有較低的灰度值。這樣，像素A的濾波采用中值像素的灰度值60來取代灰度值20。
如上所述，在通常情況下，存在一個(gè)中值像素，因?yàn)閷?duì)于被處理的像素考慮的是奇數(shù)個(gè)像素。如果選擇了鄰域之后要考慮偶數(shù)個(gè)像素，則可使用按照排序的兩個(gè)中間像素的平均灰度值。(例如，如果考慮十個(gè)像素，則可使用按照排序的第五和第六像素的平均灰度值。)這種中值濾波在從圖像中消除黑白點(diǎn)相間噪聲的同時(shí)保留圖像細(xì)節(jié)的方面是有效的。中值像素的灰度值的使用使經(jīng)過濾波的像素值等于鄰域中某個(gè)像素的灰度值，從而保持在相鄰像素的灰度值本身被平均時(shí)可能會(huì)丟失的圖像細(xì)節(jié)。
因此，如上所述，在進(jìn)行濾波以消除黑白點(diǎn)相間濾波的第一示范實(shí)施例中，控制單元20把中值濾波應(yīng)用于組成從攝像機(jī)14接收的圖像的各個(gè)像素。對(duì)組成圖像的各個(gè)像素，考慮像素的鄰域(例如，圖4a所示的八個(gè)直接相鄰像素)，進(jìn)行中值濾波，如上所述。(對(duì)于圖像邊緣，可使用存在的鄰域的那些部分。)中值濾波減少或消除圖像中的黑白點(diǎn)相間噪聲，從而有效地減少或消除從攝像機(jī)14接收的行駛場(chǎng)景的圖像中的雪花26。
在進(jìn)行濾波以消除黑白點(diǎn)相間濾波的第二示范實(shí)施例中，控制單元20把“最小單值段同化核”(SUSAN)濾波應(yīng)用于組成從攝像機(jī)14接收的圖像的各像素。對(duì)于SUSAN濾波，為正被處理的像素(“核”)創(chuàng)建掩模，它描繪圖像中具有與核相同或相似亮度的區(qū)域。核(被處理像素)的圖像的這個(gè)掩模區(qū)稱作USAN(“單值段同化核”)區(qū)。通過計(jì)算位于USAN內(nèi)的像素(除核以外)的加權(quán)平均灰度值并用平均值取代核的值來進(jìn)行SUSAN濾波。采用USAN內(nèi)的像素的灰度值確保用于求平均值的像素將來自圖像的相關(guān)區(qū)域，從而在保留圖像結(jié)構(gòu)的同時(shí)消除黑白點(diǎn)相間噪聲。在S.M.Smith和J.M.Brady的“SUSAN-低級(jí)圖像處理的新方法”[Technical Report TR95SMS1c，Defence ResearchAgency，F(xiàn)arnborough，England(1995)][還見于Int.Journal Of ComputerVision，23(1)45-78(1997年5月)]中提供了SUSAN處理和濾波的其它詳細(xì)情況，將其內(nèi)容通過引用結(jié)合于此。
一旦圖像經(jīng)過濾波而消除了黑白點(diǎn)相間噪聲(從而消除了圖像中的雪花26)，濾波后的圖像可由控制單元20直接輸出到HUD 24，向駕駛員P顯示，具體方式在下文進(jìn)一步描述。但是，如上所述，雪花26還會(huì)使場(chǎng)景的圖像普遍變亮，從而會(huì)降低圖像中的特征和對(duì)象的對(duì)比度。因此，控制單元20還對(duì)濾波后的圖像應(yīng)用直方圖均衡化算法。直方圖均衡化技術(shù)是本領(lǐng)域眾所周知的，這些技術(shù)提高圖像的對(duì)比度而不影響其中包含的信息的結(jié)構(gòu)。(例如，它們常用作圖像識(shí)別處理中的預(yù)處理步驟。)對(duì)于圖3b的圖像，即使從圖像中濾除雪花26之后，停車標(biāo)志28和道路邊界30、32的微弱對(duì)比度可能仍保留在圖像中。經(jīng)過黑白點(diǎn)相間濾波而消除雪花26之后，圖3b的圖像的圖像像素的直方圖表示在圖5a中。從圖中看到，圖像中有大量像素具有高亮度等級(jí)，表示大量像素具有較高亮度。對(duì)圖像應(yīng)用直方圖均衡化操作之后，直方圖表示在圖5b中。算子把原始圖像中的(輸入)亮度的所有像素映射到輸出圖像中的另一個(gè)(輸出)亮度。因此，亮度密度等級(jí)由直方圖均衡化算子進(jìn)行擴(kuò)展，從而為圖像提供改善的對(duì)比度。但是，由于僅調(diào)整了分配給圖像的特征的亮度，因此該操作不改變圖像的結(jié)構(gòu)。
一種用于把輸入圖像A映射到輸出圖像B的典型直方圖均衡化變換函數(shù)表示為f(DA)=(DM)*PA(u)0DAdu]]>公式1其中p是描述輸入圖像A的亮度分布的假定概率函數(shù)，假定為隨機(jī)的，DA是所考慮的原始圖像A的特定亮度等級(jí)，以及DM是輸入圖像中的亮度等級(jí)的最大數(shù)。因此，f(DA)＝DM*FA(DA) 公式2其中FA(DA)是原始圖像直到特定亮度等級(jí)DA的累積概率分布(即累積直方圖)。這樣，利用這個(gè)直方圖操作、即利用其累積直方圖變換的圖像，結(jié)果為平坦輸出直方圖。這是完全均衡的輸出圖像。
特別適合數(shù)字實(shí)現(xiàn)的另一種直方圖均衡化操作采用變換函數(shù)f(DA)＝max(0，round[DM*nk/N2)]-1) 公式3其中N是圖像像素的數(shù)量，nk是處于亮度等級(jí)k(＝DA)或以下的像素?cái)?shù)量。輸入圖像中具有亮度等級(jí)DA(或k)的所有像素都被映射到亮度等級(jí)f(DA)。雖然輸出圖像不一定完全均衡(直方圖中可能存在孔或者未使用的亮度等級(jí))，但原始圖像的像素的亮度密度在輸出圖像上更均勻地被擴(kuò)展，尤其是在輸入圖像的像素?cái)?shù)量和亮度量化等級(jí)高的情況下。R.Fisher等人在www.dai.ed.ac.uk/HIPR2/histeq.htm上發(fā)布的出版物“直方圖均衡化”[Hypermedia Image Processing Reference 2，Departmentof Artificial Intelligence，University of Edinburgh(2000)]中更詳細(xì)地描述了以上概述的直方圖均衡化，將其內(nèi)容通過引用結(jié)合于此。
應(yīng)用直方圖均衡化時(shí)，控制單元20把公式3(或者公式2)的算子應(yīng)用于組成先前由控制單元20濾波的、從攝像機(jī)14接收的圖像的像素。這個(gè)操作把輸入圖像中各像素的亮度(具有特定亮度DA)重新指定為(映射到)f(DA)所給定的亮度。在控制單元20內(nèi)創(chuàng)建的已過濾和均衡的圖像的包括對(duì)比度在內(nèi)的圖像質(zhì)量得到明顯提高，并且接近未受到天氣條件影響的、如圖3a所示的圖像質(zhì)量。(為方便起見，濾波和直方圖均衡化之后在控制單元20中呈現(xiàn)的圖像被稱作“預(yù)處理圖像”。)在這種情況下，控制單元20內(nèi)創(chuàng)建的預(yù)處理圖像通過HUD 24直接顯示在擋風(fēng)玻璃12的某個(gè)區(qū)域上。HUD 24把預(yù)處理圖像投影到擋風(fēng)玻璃12的小的不顯眼區(qū)域中(例如在駕駛員P朝擋風(fēng)玻璃12以外正常注視點(diǎn)以下)，從而顯示排除了天氣條件影響的行駛場(chǎng)景的圖像。
另外，控制單元20根據(jù)從攝像機(jī)14接收的輸入圖像所創(chuàng)建的預(yù)處理圖像經(jīng)過改善，使圖像識(shí)別處理能夠由控制單元20可靠地應(yīng)用于預(yù)處理圖像。駕駛員(通過界面)可以發(fā)起由控制單元20進(jìn)行的圖像識(shí)別處理，或者控制單元20本身可自動(dòng)地將它應(yīng)用于預(yù)處理圖像。控制單元20應(yīng)用圖像識(shí)別處理來進(jìn)一步分析在控制單元20中所呈現(xiàn)的預(yù)處理圖像。采用圖像識(shí)別軟件對(duì)控制單元20編程，所述圖像識(shí)別軟件分析預(yù)處理圖像并檢測(cè)其中的交通標(biāo)志、人體、其它車輛、道路邊界以及道路上的對(duì)象或變形，等等。由于預(yù)處理圖像具有相對(duì)于從攝像機(jī)12接收的原始圖像(如上所述，該圖像質(zhì)量因天氣條件而下降)改善的清晰度和對(duì)比度，因此控制單元20所執(zhí)行的圖像識(shí)別處理具有高級(jí)圖像檢測(cè)和識(shí)別。
圖像識(shí)別軟件可結(jié)合例如基于形狀的對(duì)象檢測(cè)，如以上“用于“智能”車輛的實(shí)時(shí)對(duì)象檢測(cè)”中所述。除了其它目標(biāo)，控制單元20經(jīng)過編程以識(shí)別預(yù)處理圖像中的各種交通標(biāo)志的形狀，如圖3a和3b中的停車標(biāo)志28。同樣，控制單元20可經(jīng)過編程以檢測(cè)預(yù)處理圖像中的交通信號(hào)的輪廓，并且還分析信號(hào)的當(dāng)前顏色狀態(tài)(紅、黃或綠)。另外，道路邊界的圖像梯度可由控制單元20采用“用于“智能”車輛的實(shí)時(shí)對(duì)象檢測(cè)”中所述的基于形狀的對(duì)象檢測(cè)技術(shù)中的模板方法、作為預(yù)處理圖像中的“形狀”來檢測(cè)。
一般來講，控制單元20分析一系列預(yù)處理圖像(已經(jīng)利用從攝像機(jī)12接收的圖像產(chǎn)生了這些圖像)，并在各個(gè)這種圖像中識(shí)別交通標(biāo)志、道路輪廓等等?？呻S著時(shí)間推移來分析所有圖像，或者分析樣本?？梢元?dú)立于先前的圖像來分析各個(gè)圖像。在該情況下，即使在先前接收的圖像中已經(jīng)檢測(cè)到(例如)停車標(biāo)志，也在所接收的當(dāng)前圖像中獨(dú)立識(shí)別停車標(biāo)志。
檢測(cè)了預(yù)處理圖像中的相關(guān)交通對(duì)象(例如交通標(biāo)志和信號(hào))和特征(例如道路輪廓)之后，控制單元20增強(qiáng)了對(duì)HUD 24輸出的圖像中的那些特征。增強(qiáng)可包括例如輸出圖像中那些對(duì)象和特征的圖像質(zhì)量的提高。例如，在停車標(biāo)志的情況下，預(yù)處理圖像中的單詞“停車”仍然可能因降雪或其它天氣條件而部分或完全難以辨認(rèn)。但是，停車標(biāo)志的八邊形邊框的預(yù)處理圖像可能十分清楚，足以使圖像識(shí)別處理能夠把它識(shí)別為停車標(biāo)志。在該情況下，控制單元20通過以數(shù)字形式在標(biāo)志圖像的正確位置上加入單詞“停車”來增強(qiáng)傳送到HUD 24供投影的圖像。另外，標(biāo)志的正確顏色在預(yù)處理圖像中模糊不清時(shí)也可被添加。增強(qiáng)還可包括例如以數(shù)字方式突出顯示預(yù)處理圖像中由控制單元20識(shí)別的對(duì)象和特征的一些方面。例如，在預(yù)處理圖像中識(shí)別停車標(biāo)志之后，控制單元20可采用與直接相鄰區(qū)域之間有高對(duì)比度的顏色來突出顯示停車標(biāo)志的八邊形邊框。當(dāng)HUD 24投影圖像時(shí)，駕駛員P自然將其注意力轉(zhuǎn)移到這些突出顯示的對(duì)象和特征上。
如果對(duì)象在預(yù)處理圖像中被識(shí)別為控制信號(hào)、交通標(biāo)志等，則控制單元20可經(jīng)過進(jìn)一步編程，以便跟蹤它在后續(xù)預(yù)處理圖像中的運(yùn)動(dòng)，而不是在各個(gè)后續(xù)圖像中獨(dú)立識(shí)別它。對(duì)連續(xù)圖像中基于位置、運(yùn)動(dòng)和形狀所識(shí)別的對(duì)象的運(yùn)動(dòng)的跟蹤可依靠例如McKenna和Gong的“跟蹤面部”[Proceedings of the Second International Conference onAutomatic Face and Gesture Recognition，Killington，Vt.，1996年10月14-16日，第271-276頁]中所述的聚類技術(shù)，將其內(nèi)容通過引用結(jié)合于此。(上述文件的第2部分描述對(duì)多個(gè)運(yùn)動(dòng)的跟蹤。)通過跟蹤對(duì)象在圖像之間的運(yùn)動(dòng)，控制單元20可減少向HUD 24提供具有增強(qiáng)特征的圖像所需的處理時(shí)間量。
如上所述，本發(fā)明的上述實(shí)施例的控制單元20還可經(jīng)過編程，以便檢測(cè)其本身在預(yù)處理圖像中移動(dòng)的對(duì)象、例如行人和其它車輛，并且增強(qiáng)發(fā)送到HUD 24并由其投影的圖像中的那些對(duì)象。在要檢測(cè)運(yùn)動(dòng)中的行人和其它對(duì)象(以及交通信號(hào)、交通標(biāo)志等)的情況下，采用如“從移動(dòng)的車輛檢測(cè)行人”中所述的識(shí)別技術(shù)對(duì)控制單元20編程。如上所述，這為行人檢測(cè)提供了一種兩步方法，它采用RBF分類作為第二步。第一步的模板匹配和第二步中RBF分類器的訓(xùn)練還可包括車輛，因而控制器20經(jīng)過編程以識(shí)別接收?qǐng)D像中的行人和車輛。(編程還可包括以上強(qiáng)調(diào)的用于靜止的交通標(biāo)志、信號(hào)、道路邊界等的模塊和RBF訓(xùn)練，從而提供控制單元20的整個(gè)圖像識(shí)別處理。)一旦對(duì)象由控制單元20識(shí)別為行人、其它車輛等，則可采用如以上的“跟蹤面部”中所述的聚類技術(shù)在后續(xù)圖像中跟蹤它的移動(dòng)。
與上述方式相同，在預(yù)處理圖像中識(shí)別的車輛或行人由控制單元20進(jìn)行增強(qiáng)，以便由HUD 24投影。這種增強(qiáng)可包括對(duì)行人或車輛圖像邊框的數(shù)字調(diào)整，從而使其更容易被駕駛員P識(shí)別。增強(qiáng)還可包括例如數(shù)字調(diào)整行人或車輛的顏色，使得它在圖像中與直接相鄰區(qū)域的反差更明顯。增強(qiáng)還可包括例如在圖像中以數(shù)字方式突出顯示行人或車輛的邊框，例如使用與直接相鄰區(qū)域?qū)Ρ让黠@的顏色或者通過閃爍邊框。同樣，當(dāng)具有增強(qiáng)的圖像由HUD 24投影時(shí)，駕駛員P自然將其注意力轉(zhuǎn)移到這些突出顯示的對(duì)象和特征上。
如上所述，不是由駕駛員P來啟動(dòng)控制單元20中的圖像識(shí)別處理，而是可以始終在預(yù)處理圖像上執(zhí)行圖像識(shí)別處理。這就不需要駕駛員參與附加處理?；蛘撸刂茊卧?0可與車輛上的外部傳感器(未示出)接口，這些外部傳感器提供指示天氣性質(zhì)及惡劣程度的輸入信號(hào)。根據(jù)從外部傳感器接收的天氣指示，控制單元20選擇是否采用上述創(chuàng)建和顯示預(yù)處理圖像的處理，或者是否對(duì)預(yù)處理圖像進(jìn)一步采用圖像識(shí)別處理。例如，原始圖像的直方圖可由控制單元20進(jìn)行分析，以便確定原始圖像中的清晰度和對(duì)比度。例如，可對(duì)直方圖的多個(gè)相鄰亮度抽樣，以便確定抽樣亮度之間的平均對(duì)比度和/或可考慮圖像邊緣抽樣的梯度以確定圖像的清晰度。如果清晰度和/或?qū)Ρ榷鹊陀陂T限量，則控制單元20啟動(dòng)一部分或全部天氣相關(guān)的處理。例如，可對(duì)預(yù)處理圖像執(zhí)行同樣的直方圖分析，從而確定是否需要對(duì)預(yù)處理圖像執(zhí)行附加的圖像識(shí)別，或者是否可以直接顯示預(yù)處理圖像。通過僅當(dāng)天氣條件使所產(chǎn)生的預(yù)處理圖像需要圖像識(shí)別處理時(shí)才使用該處理，使處理和顯示改善圖像所需的時(shí)間減至最少。
雖然本文參照附圖對(duì)本發(fā)明的說明性實(shí)施例進(jìn)行了描述，但應(yīng)當(dāng)理解，本發(fā)明不限于這些確切的實(shí)施例。例如，雖然以上針對(duì)的天氣條件是構(gòu)成降雪的雪花，但相同或相似的處理可應(yīng)用于構(gòu)成降雨的雨滴。另外，上述圖像識(shí)別處理可直接應(yīng)用于濾波后的圖像，而沒有對(duì)濾波后的圖像應(yīng)用直方圖均衡化處理。因此，本發(fā)明的范圍意在由所附權(quán)利要求書的范圍來定義。
權(quán)利要求
1.一種用于向車輛(10)的駕駛員(P)顯示行駛場(chǎng)景的系統(tǒng)，所述系統(tǒng)包括a)至少一個(gè)攝像機(jī)(14)，它具有一定視場(chǎng)，面向所述車輛(10)的前進(jìn)方向，并且捕捉行駛場(chǎng)景的圖像，所述圖像包括在所述車輛(10)前方的視場(chǎng)的像素，b)控制單元(20)，從所述攝像機(jī)(14)接收所述圖像，并把黑白點(diǎn)相間噪聲濾波應(yīng)用于組成所述接收?qǐng)D像的所述像素，當(dāng)從所述攝像機(jī)(14)接收的行駛場(chǎng)景的圖像質(zhì)量因天氣條件而下降時(shí)，所述濾波提高所述圖像質(zhì)量，以及c)顯示器(24)，從所述控制單元(20)接收應(yīng)用了所述濾波操作之后的所述圖像，并向所述駕駛員(P)顯示所述行駛場(chǎng)景的圖像。
2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述控制單元(20)所應(yīng)用的所述黑白點(diǎn)相間噪聲濾波是中值濾波。
3.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述控制單元(20)所應(yīng)用的所述黑白點(diǎn)相間噪聲濾波是SUSAN濾波。
4.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述控制單元(20)還把直方圖均衡化操作應(yīng)用于組成所述濾波后圖像的所述像素的亮度，所述直方圖均衡化操作在所述行駛場(chǎng)景的圖像質(zhì)量因天氣條件而下降時(shí)進(jìn)一步提高所述圖像質(zhì)量。
5.如權(quán)利要求4所述的系統(tǒng)，其特征在于，所述控制單元(20)在所述直方圖均衡化操作之后還把圖像識(shí)別處理應(yīng)用于所述圖像。
6.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述控制單元(20)把圖像識(shí)別處理應(yīng)用于所述圖像，從而識(shí)別其中至少一種預(yù)定類型的對(duì)象。
7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述至少一種預(yù)定類型的對(duì)象包括從以下組中選取的至少一項(xiàng)行人、其它車輛、交通標(biāo)志(28)、交通控制器以及道路障礙。
8.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述圖像中識(shí)別的所述至少一種預(yù)定類型的對(duì)象由所述控制單元(20)來增強(qiáng)，以供所述顯示器(24)顯示。
9.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述控制單元(20)還識(shí)別所述圖像中至少一種預(yù)定類型的特征。
10.如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述圖像中識(shí)別的至少一種預(yù)定類型的所述特征由所述控制單元(20)來增強(qiáng)，以供所述顯示器(24)顯示。
11.如權(quán)利要求9所述的系統(tǒng)，其特征在于，至少一種預(yù)定類型的所述特征包括道路邊界(30，32)。
12.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述顯示器是平視顯示器(HUD)(24)。
13.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述控制單元(20)在所述濾波之后還把圖像識(shí)別處理應(yīng)用于所述圖像。
14.一種用于向車輛(10)的駕駛員(P)顯示行駛場(chǎng)景的方法，所述方法包括以下步驟a)捕捉所述車輛(10)的前進(jìn)方向上的行駛場(chǎng)景的圖像，所述圖像包括所述車輛(10)前方視場(chǎng)的像素，b)對(duì)組成所述捕捉圖像的所述像素進(jìn)行黑白點(diǎn)相間噪聲濾波，當(dāng)捕捉的所述行駛場(chǎng)景的所述圖像的質(zhì)量因天氣條件而降低時(shí)，所述濾波提高所述圖像質(zhì)量，以及c)在應(yīng)用所述濾波操作之后向所述駕駛員(P)顯示所述行駛場(chǎng)景的所述圖像。
15.如權(quán)利要求14所述的方法，其特征在于，對(duì)組成所述圖像的所述像素進(jìn)行所述黑白點(diǎn)相間噪聲濾波的步驟之后是把直方圖均衡化應(yīng)用于濾波后的像素的步驟。
16.如權(quán)利要求14所述的方法，其特征在于，對(duì)組成所述圖像的所述像素進(jìn)行所述黑白點(diǎn)相間噪聲濾波的步驟之后是把圖像識(shí)別處理應(yīng)用于濾波后的像素的步驟。
全文摘要
用于向車輛駕駛員顯示行駛場(chǎng)景的系統(tǒng)和方法。該系統(tǒng)包括至少一個(gè)具有一定視場(chǎng)并面向車輛前進(jìn)方向的攝像機(jī)。攝像機(jī)捕捉行駛場(chǎng)景的圖像，圖像由車輛前方視場(chǎng)的像素組成。控制單元從攝像機(jī)接收?qǐng)D像，并把黑白點(diǎn)相間噪聲濾波應(yīng)用于組成所接收?qǐng)D像的像素。濾波提高了從攝像機(jī)接收的、因天氣條件而下降的行駛場(chǎng)景的圖像質(zhì)量。顯示器從控制單元接收應(yīng)用了濾波操作之后的圖像，并向駕駛員顯示行駛場(chǎng)景的圖像。
文檔編號(hào)B60R1/00GK1589456SQ02822907
公開日2005年3月2日 申請(qǐng)日期2002年10月29日 優(yōu)先權(quán)日2001年11月19日
發(fā)明者A·科梅納雷茲, S·V·R·古特塔, M·特拉科維 申請(qǐng)人:皇家飛利浦電子股份有限公司