專利名稱：環(huán)境識別裝置及環(huán)境識別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于檢測區(qū)域的對象物的亮度而識別該對象物的環(huán)境識別裝置及環(huán)境識別方法。
背景技術(shù)：
以往，檢測位于本車輛前方的車輛或信號燈等所謂障礙物的對象物，并對本車輛進(jìn)行控制以避免與所檢測出的對象物發(fā)生碰撞或使本車輛與前行車輛的車距保持在安全距離的技術(shù)已被為人所知(例如，專利文獻(xiàn)1、2)。
而且，在這種技術(shù)中，不僅將對象物一律特定為物體，而且為了進(jìn)行更高精度的控制，還存在判斷對象物是以與本車輛相同的速度行駛的前行車輛，還是不移動的被固定的物體等的技術(shù)。這里，當(dāng)通過對檢測區(qū)域的拍攝而檢測出對象物時,在特定對象物為何物之前，應(yīng)從所拍攝的圖像中提取(剪切)對象物本身。
例如，當(dāng)所拍攝的圖像為彩色圖像時，可以采用將具有相似的亮度(顏色)的像素群組化并作為對象物提取的方法。
現(xiàn)有技術(shù)文獻(xiàn)
專利文獻(xiàn)
專利文獻(xiàn)I :日本專利第3349060號
專利文獻(xiàn)2 :日本特開平10-283461號公報
然而，當(dāng)下雨或下雪時，因為附著在前擋風(fēng)玻璃上的水滴或擦拭該水滴時形成的水紋等，導(dǎo)致所拍攝的圖像呈現(xiàn)出信號燈等的對象物的光發(fā)生擴散的形態(tài)。因此，如果簡單地將具有類似的顏色特性的多個像素彼此群組化，則這種光發(fā)生了擴散的對象物可能被識別成比實際的對象物大的形態(tài)。發(fā)明內(nèi)容
本發(fā)明是鑒于這種問題而提出的，其目的在于提供一種在雨天等光容易擴散的環(huán)境中能夠提高對象物的特定精度、避免錯誤識別的環(huán)境識別裝置和環(huán)境識別方法。
為了解決上述問題，本發(fā)明的環(huán)境識別裝置，包括數(shù)據(jù)存儲單元，使預(yù)先設(shè)定的預(yù)定數(shù)量的顏色識別標(biāo)識符與亮度范圍一一對應(yīng)，并針對多個特定物的每一個對應(yīng)多個顏色識別標(biāo)識符，同時針對是否為檢測區(qū)域中光發(fā)生擴散的環(huán)境的檢測結(jié)果的每一個對應(yīng)從該多個顏色識別標(biāo)識符選擇的一個或多個顏色識別標(biāo)識符的組合進(jìn)行存儲；亮度獲取單元，用于獲取檢測區(qū)域內(nèi)的對象部位的亮度；顏色識別標(biāo)識符設(shè)定單元，基于存儲在數(shù)據(jù)存儲單元的顏色識別標(biāo)識符與亮度范圍的對應(yīng)關(guān)系，根據(jù)對象部位的亮度而在該對象部位設(shè)定顏色識別標(biāo)識符；群組化單元，基于存儲在數(shù)據(jù)存儲單元的特定物與顏色識別標(biāo)識符的對應(yīng)關(guān)系，將水平距離的差值和高度的差值在預(yù)定范圍內(nèi)的、設(shè)定有對應(yīng)于同一個特定物的一個或多個顏色識別標(biāo)識符的對象部位群組化而作為對象物；環(huán)境判定單元，判定是否為檢測區(qū)域中發(fā)生光擴散的環(huán)境；外邊緣確定單元，根據(jù)是否為光發(fā)生擴散的環(huán)境而選擇組合，在對象物中，將利用設(shè)定有所選擇的該組合的顏色識別標(biāo)識符的對象部位而特定的外邊緣作為該對象物的外邊緣。
進(jìn)一步包含檢測降雨的雨檢測單元，環(huán)境判定單元在雨檢測單元檢測到降雨時， 判定為光發(fā)生擴散的環(huán)境。
進(jìn)一步包含檢測降雪的雪檢測單元，環(huán)境判定單元在雪檢測單元檢測到降雪時， 判定為光發(fā)生擴散的環(huán)境。
環(huán)境判定單元分級別地判斷光的擴散情況，數(shù)據(jù)存儲單元在光的擴散情況的各級別的每一個級別對應(yīng)賦予從多個顏色識別標(biāo)識符選擇的一個或多個顏色識別標(biāo)識符的組合進(jìn)行存儲，外邊緣確定單元根據(jù)光的擴散情況選擇組合，并在對象物中，將利用設(shè)定有所選擇的該組合的顏色識別標(biāo)識符的對象部位而特定的外邊緣作為該對象物的外邊緣。
為了解決上述問題，本發(fā)明的環(huán)境識別方法，取檢測區(qū)域內(nèi)的對象部位的亮度；基于存儲在數(shù)據(jù)存儲單元的顏色識別標(biāo)識符與亮度范圍的對應(yīng)關(guān)系，根據(jù)對象部位的亮度而在該對象部位設(shè)定顏色識別標(biāo)識符；基于存儲在數(shù)據(jù)存儲單元的特定物與顏色識別標(biāo)識符的對應(yīng)關(guān)系，將水平距離的差值和高度的差值在預(yù)定范圍內(nèi)的、設(shè)定有對應(yīng)于同一個特定物的一個或多個顏色識別標(biāo)識符的對象部位群組化而作為對象物；判定是否為檢測區(qū)域中發(fā)生光擴散的環(huán)境；基于存儲在數(shù)據(jù)存儲單元的、對于否為檢測區(qū)域中光發(fā)生擴散的環(huán)境的檢測結(jié)果的每一個的、從多個顏色識別標(biāo)識符選擇的一個或多個顏色識別標(biāo)識符的組合的對應(yīng)關(guān)系，根據(jù)是否為光發(fā)生擴散的環(huán)境而選擇組合；在對象物中，將通過設(shè)定有所選擇的組合的顏色識別標(biāo)識符的對象部位特定的外邊緣作為該對象物的外邊緣。
根據(jù)本發(fā)明，在雨天等光容易擴散的環(huán)境中也能提高對象物的特定精度，因此可以避免錯誤識別。


圖I為示出環(huán)境識別系統(tǒng)的連接關(guān)系的方框圖。
圖2為用于說明亮度圖像和距離圖像的說明圖。
圖3為示出環(huán)境識別裝置的概略功能的功能方框圖。
圖4為用于說明顏色表格的說明圖。
圖5為用于說明特定物表格的說明圖。
圖6為用于說明通過位置信息獲取部變換為三維位置信息的說明圖。
圖7為用于說明顏色識別標(biāo)識符對應(yīng)圖的說明圖。
圖8為用于說明群組化單元的處理的說明圖。
圖9為用于說明外邊緣確定單元的處理的說明圖。
圖10為表示環(huán)境識別方法的整個流程的流程圖。
圖11為表示顏色識別標(biāo)識符對應(yīng)圖生成處理的流程的流程圖。
圖12為表示群組化處理的流程的流程圖。
圖13為表示外邊緣確定處理的流程的流程圖。
圖14為表示特定物確定處理的流程的流程圖。
符號說明
I :車輛
122:檢測區(qū)域
124:亮度圖像
126:距離圖像
130:環(huán)境識別裝置
152:數(shù)據(jù)存儲單元
160:亮度獲取單元
162:位置信息獲取單元
164:顏色識別標(biāo)識符設(shè)定單元
166:群組化單元
168:環(huán)境判定單元
170:外邊緣確定單元
172:特定物確定單元
194:顏色識別標(biāo)識符
200:特定物表格
202:幅度范圍
210:顏色識別標(biāo)識符對應(yīng)圖具體實施方式
以下，參照附圖詳細(xì)說明本發(fā)明的優(yōu)選實施方式。所涉及的實施方式中所示的尺寸、材料、其他具體數(shù)值等是僅僅是為了使發(fā)明容易理解而例示的，除了特別指定的情況之外，并不能用來限定本發(fā)明。在此，本說明書及附圖中，對于具有實質(zhì)上相同的功能、結(jié)構(gòu)的要素，通過賦予相同的符號的方式省略重復(fù)性說明，而且對與本發(fā)明沒有直接關(guān)系的要素省略了圖示。
(環(huán)境識別系統(tǒng)100)
圖1為示出環(huán)境識別系統(tǒng)100的連接關(guān)系的方框圖。環(huán)境識別系統(tǒng)100包含設(shè)置在車輛I內(nèi)的多個(本實施方式中為兩個)攝像裝置110、圖像處理裝置120、環(huán)境識別裝置130、車輛控制裝置140。
攝像裝置110包含電荷稱合器件(CO), Charge-Coupled Device)或互補金素氧化半導(dǎo)體(CMOS, Complementary Metal-Oxide Semiconductor)等攝像器件，越過前擋風(fēng)玻璃能夠獲取彩色圖像，即，像素單位中可獲取三個色相(紅、綠、藍(lán))的亮度。在本實施方式中，把顏色和亮度同等看待，在同一篇文章里包含兩個用語時，可相互交替讀取為構(gòu)成顏色的亮度或具有亮度的顏色。在此，由攝像裝置110所拍攝的彩色圖像稱為亮度圖像，區(qū)別于后述的距離圖像。而且，攝像裝置110為兩個，兩個攝像裝置110在大致水平方向上分開布置，以在車輛I的行駛方向側(cè)兩個攝像裝置110各自的光軸大致平行。攝像裝置110每隔例如1/60秒(60fps)連續(xù)生成拍攝車輛I前方的檢測區(qū)域中的對象物的圖像數(shù)據(jù)。這里， 對象物不僅包括車輛、信號燈、道路、護(hù)欄等獨立存在的立體物，還包括尾燈或轉(zhuǎn)向指示燈、 信號燈的各個照明部分等能夠特定為立體物的部分的物體。在以下實施方式中的各個功能單元以這種圖像數(shù)據(jù)的更新為契機執(zhí)行各種處理。
圖像處理裝置120從兩個攝像裝置110分別獲取圖像數(shù)據(jù)，并基于兩個圖像數(shù)據(jù)導(dǎo)出包含圖像中的任意區(qū)塊(集合預(yù)定數(shù)量的像素的區(qū)塊)的視差以及示出任意區(qū)塊在畫面中的位置的畫面位置的視差信息。圖像處理裝置120采用從另一個像素數(shù)據(jù)搜索對應(yīng)于從一個圖像數(shù)據(jù)任意抽出的區(qū)塊(例如，水平4像素X垂直4像素的陣列)的區(qū)塊的所謂的圖案匹配而導(dǎo)出視差。在此，水平是指所拍攝的圖像的畫面橫向方向，相當(dāng)于實際空間中的水平方向。而且，垂直是指所拍攝的圖像的畫面縱向方向，相當(dāng)于實際空間中的豎直方向。
所述圖案匹配是指，在兩個圖像數(shù)據(jù)之間以示出任意圖像位置的區(qū)塊單位比較亮度值(Y色差信號)的方法。例如，包括求出亮度值的差值的絕對差值和(SAD，Sum ofAbsolute Difference)、將差值平方后使用的差值的平方和(SSD, Sum of Squared intensity Difference)、求出從各個像素的亮度值減去了平均值的分散值的相似度的歸一化互相關(guān)(NCC,Normalized CrossCorrelation)等方法。圖像處理裝置120對于被顯示在檢索區(qū)域(例如，600像素X200像素)的全部區(qū)塊執(zhí)行這種區(qū)塊單位的視差導(dǎo)出處理。 在此，將區(qū)塊設(shè)定為4像素X4像素，但區(qū)塊內(nèi)的像素數(shù)量可以任意地設(shè)定。
但是，在圖像處理裝置120中，雖然對作為檢測分辨率的單位的每個區(qū)塊能夠?qū)С鲆暡?，但無法識別該區(qū)塊是哪種對象物的一部分。因此，視差信息不是對象物單位，而是作為檢測區(qū)域的檢測分辨率單位(例如區(qū)塊單位)而被獨立地導(dǎo)出。在此，將如此導(dǎo)出的視差信息(相當(dāng)于后述的相對距離)映射到圖像數(shù)據(jù)的圖像稱為距離圖像。
圖2為用于說明亮度圖像124和距離圖像126的說明圖。例如，假設(shè)通過兩個攝像裝置110針對檢測區(qū)域122生成圖2(a)所示的亮度圖像(圖像數(shù)據(jù))124。但是，這里， 為了便于理解，僅模式性地示出兩個亮度圖像124中的一個。在本實施方式中，圖像處理裝置120從這種亮度圖像124求出每個區(qū)塊的視差，從而形成圖2(b)所示的距離圖像126。 對于距離圖像126中的各個區(qū)塊來說，其區(qū)塊的視差相互關(guān)聯(lián)。在此，為了便于說明，將導(dǎo)出視差的區(qū)塊以黑點表示。
對于視差來說，容易在圖像的邊緣部分(相鄰像素之間明暗的差值較大的部分) 被特定，因此在距離圖像126中，賦予黑點的、導(dǎo)出視差的區(qū)塊在亮度圖像124中也大多形成邊緣。因此，圖2(a)所示的亮度圖像124和圖2(b)所示的距離圖像126在各個對象物的輪廓上相互近似。
環(huán)境識別裝置130從圖像處理裝置120獲得亮度圖像124和距離圖像126，并利用基于亮度圖像124的亮度和基于距離圖像126的與本車輛I的相對距離特定檢測區(qū)域 122中的對象物對應(yīng)于哪種特定物。這時，環(huán)境識別裝置130利用所謂的立體視覺法將距離圖像126中的檢測區(qū)域122內(nèi)的每個區(qū)塊的視差信息變換為包含相對距離的三維位置信息。這里，立體視覺法是通過使用三角測量法從對象物的視差導(dǎo)出該對象物相對于攝像裝置110的相對距離的方法。對于環(huán)境識別裝置130將在后面詳述。
車輛控制裝置140執(zhí)行避免本車輛與通過環(huán)境識別裝置130特定的對象物碰撞或使本車輛與前行車輛的車間距保持在安全距離的控制。具體來說，車輛控制裝置140通過用于檢測方向盤角度的舵角傳感器142和用于檢測車輛I的速度的車速傳感器144等獲得當(dāng)前的車輛I的行駛狀態(tài)，并通過控制致動器146將車輛I與前行車輛的車間距保持在安全距離。在此，致動器146是用于控制剎車、節(jié)氣閥、舵角等的車輛控制用致動器。而且，當(dāng)推斷出將與對象物產(chǎn)生碰撞時，車輛控制裝置140在設(shè)置在駕駛者前方的顯示器148進(jìn)行相應(yīng)警告顯示(報警)的同時，控制致動器146使車輛I自動地減速。車輛控制裝置140 也可以與環(huán)境識別裝置130形成為一體。
(環(huán)境識別裝置130)
圖3為示出環(huán)境識別裝置130的概略的功能的功能方框圖。如圖3所示，環(huán)境識別裝置130包括I/F單元150、數(shù)據(jù)存儲單元152、環(huán)境檢測單元154、中央控制單元156。
I/F單元150是用于使圖像處理裝置120和車輛控制裝置140進(jìn)行雙向信息交換的接口。數(shù)據(jù)存儲單元152由RAM、閃存、HDD等構(gòu)成，以用于保存顏色表格(對應(yīng)關(guān)系)和特定物表格(對應(yīng)關(guān)系)或以下所示各個功能單元的處理中所必要的各種信息，而且暫時保存從圖像處理裝置120接收的亮度圖像124、距離圖像126。在此，顏色表格和特定物表格的使用方式如下。
圖4為用于說明顏色表格190的說明圖。在顏色表格190中，表示預(yù)先設(shè)定的預(yù)定數(shù)量的顏色的亮度范圍192對應(yīng)于顏色識別標(biāo)識符194。例如，顏色識別標(biāo)識符“I”中對應(yīng)有與鮮紅色相應(yīng)的亮度范圍192，顏色識別標(biāo)識符“ 2 ”中對應(yīng)有與黃色相應(yīng)的亮度范圍192，顏色識別標(biāo)識符“3”中對應(yīng)有與鮮青綠色相應(yīng)的亮度范圍192，顏色識別標(biāo)識符“4” 中對應(yīng)有與相對于顏色識別標(biāo)識符“I”而言較暗的紅色相應(yīng)的亮度范圍192，顏色識別標(biāo)識符“5”中對應(yīng)有與相對于顏色識別標(biāo)識符“4”而言較暗的紅色相應(yīng)的亮度范圍192，顏色識別標(biāo)識符“6”中對應(yīng)有與相對于顏色識別標(biāo)識符“2”而言較暗的黃色相應(yīng)的亮度范圍 192，顏色識別標(biāo)識符“7”中對應(yīng)有與相對于顏色識別標(biāo)識符“3”而言較暗的青綠色相應(yīng)的亮度范圍192，顏色識別標(biāo)識符“8”中對應(yīng)有與相對于顏色識別標(biāo)識符“7”而言較暗的青綠色相應(yīng)的亮度范圍192。但是，無容置疑，亮度范圍并不局限于圖4中記載的范圍，而且其數(shù)量也不局限于圖4中記載的數(shù)量。
圖5為用于說明特定物表格200的說明圖。在特定物表格200中，針對多個特定物對應(yīng)有與特定物自身的亮度范圍相應(yīng)的代表顏色識別標(biāo)識符194a、還包括接近特定物的亮度的范圍的一個或多個顏色識別標(biāo)識符194 (在本實施方式中稱為“子顏色識別標(biāo)識符 194b”)、表示特定物的大小范圍的幅度范圍202。這里，作為特定物，可假設(shè)“信號燈(紅)”、 “信號燈(黃)”、“信號燈(青綠)”、“尾燈(紅)”、“轉(zhuǎn)向指示燈(橙)”、“道路標(biāo)識(黃)”、 “道路標(biāo)識(藍(lán))”、“道路標(biāo)識(綠)”等在道路上行駛時需要看見的各種物體。當(dāng)然，特定物并不局限于圖5所示的物體。而且，特定物表格200中，特定物的特定具有優(yōu)先順序，該環(huán)境識別處理依照該優(yōu)先順序，對于從特定物表格200中的多個特定物中依次選擇出的每一個特定物執(zhí)行。特定物中，例如，特定物“信號燈(紅)”中對應(yīng)有用于特定特定物“信號燈(紅)”的一個或多個顏色識別標(biāo)識符“I”、“4”。
代表顏色識別標(biāo)識符194a為相關(guān)的一個或多個顏色識別標(biāo)識符194中的任意的識別標(biāo)識符，使用與特定特定物時最適合的亮度相對應(yīng)的顏色識別標(biāo)識符194來確定。并且，子顏色識別標(biāo)識符194b使用如下的顏色識別標(biāo)識符194來確定，即，適合在雨、雪、雹、 霧等光發(fā)生擴散的環(huán)境中用來特定由特定物發(fā)出的光擴散的部分的對象部位的亮度所對應(yīng)的的顏色識別標(biāo)識符。
并且，針對由后述的環(huán)境判定單元168判定的、確定為在檢測區(qū)域中光發(fā)生了擴散的環(huán)境的檢測結(jié)果，對應(yīng)有代表顏色識別標(biāo)識符194a，針對在檢測區(qū)域中光沒有發(fā)生擴散的環(huán)境的檢測結(jié)果，對應(yīng)有代表顏色識別標(biāo)識符194a和子顏色識別標(biāo)識符194b。這里，相對于代表顏色識別標(biāo)識符194a而言，子顏色識別標(biāo)識符194b中設(shè)定有低亮度范圍。這是由于對特定物進(jìn)行特定時，僅用代表顏色識別標(biāo)識符194a可能無法恰當(dāng)?shù)貦z測出其范圍。
本實施方式中，基于特定物表格200，在亮度圖像124內(nèi)的任意對象部位中滿足有關(guān)任意特定物的多個顏色識別標(biāo)識符194 (亮度范圍192)條件的對象部位成為特定物的候補。例如，當(dāng)對象部位的亮度被包含于基于特定物“信號燈(紅)”的多個顏色識別標(biāo)識符 194的亮度范圍192之內(nèi)時，將該對象部位作為“信號燈(紅)”的候補。并且，將對象部位群組化的對象物被提取為類似特定物的形態(tài)時，例如，被群組化的對象物的大小被包含在 “信號燈(紅)”的幅度范圍“O. 2 O. 4m”之內(nèi)時，被判斷為特定物。被判斷為特定物的對象部位通過特定物固有的顏色識別標(biāo)識符(識別編號)被標(biāo)記。這里，對象部位假設(shè)為像素或集合像素的區(qū)塊，但本實施方式中，為了便于說明，假設(shè)為像素。
環(huán)境檢測單元154例如由檢測降雨的雨檢測單元和檢測降雪的雪檢測單元構(gòu)成， 若檢測到降雨或降雪，則將表示檢測到降雨的檢測信息或檢測到降雪的檢測信息輸出到環(huán)境判定單元168。并且，環(huán)境檢測單元154也可以在有無降雨或降雪的信息上附加降雨或降雪的量作為檢測信息，將其輸出到環(huán)境判定單元168。此外，環(huán)境檢測單元154的檢測并不局限于降雨或降雪，還可以檢測攝像裝置110的拍攝環(huán)境變?yōu)槟婀獾鹊?、所拍攝的圖像中的信號燈等對象物的光被擴散的環(huán)境。
雨檢測單元例如包含發(fā)出紅外線的發(fā)光器件、將紅外線引導(dǎo)到前擋風(fēng)玻璃的棱鏡、將從前擋風(fēng)玻璃反射的紅外線作為對應(yīng)于受光強度的輸出值進(jìn)行輸出的受光器件。當(dāng)前擋風(fēng)玻璃上附著水滴時，照射到附著其水滴的部位的紅外線不會反射到受光器件，導(dǎo)致受光器件的輸出值降低。雨檢測單元在其輸出值在預(yù)定閾值以下時，檢測為降雨。雨檢測單元可以通過除此之外的各種現(xiàn)有技術(shù)來實現(xiàn)。雪檢測單元也可以通過現(xiàn)有的各種技術(shù)來實現(xiàn)，因此在此省略對其結(jié)構(gòu)等的詳細(xì)的描述。
中央控制單元156由包括中央處理器(CPU)、存儲程序等的ROM、作為工作區(qū)的RAM 等的半導(dǎo)體集成電路構(gòu)成，通過系統(tǒng)總線158控制I/F單元150和數(shù)據(jù)存儲單元152以及環(huán)境檢測單元154。而且，在本實施方式中，中央控制單元156具有作為亮度獲取單元160、 位置信息獲取單元162、顏色識別標(biāo)識符設(shè)定單元164、群組化單元166、環(huán)境判定單元168、 外邊緣確定單元170、特定物確定單元172、圖案匹配單元174的功能。
亮度獲取單元160根據(jù)后述的顏色識別標(biāo)識符設(shè)定單元164的控制指令，從接收的亮度圖像124以對象部位(像素)單位獲取亮度(在像素單位中獲取三個色相(紅、綠、 藍(lán))的亮度)。這時，當(dāng)檢測區(qū)域122處于例如雨天或陰天時，亮度獲取單元160也可以調(diào)整白平衡之后獲取亮度，以能夠獲取原始的亮度。
位置信息獲取單元162根據(jù)后述的群組化單元166的控制指令，使用立體視覺法將距離圖像126中的檢測區(qū)域122內(nèi)的每個區(qū)塊的視差信息變換為包含水平距離X、離道路表面的高度I以及從本車輛I的相對距離z的三維位置信息。在此，視差信息表示距離圖像126中的各個對象部位的視差，而三維位置信息表示實際空間中的各個對象部位的相對距離的信息。因此，在使用的術(shù)語中，水平距離、高度、相對距離是指實際空間上的距離， 檢測距離是指距離圖像126上的距離。而且，當(dāng)視差信息并非以像素單位，而是以區(qū)塊單位 (即，以多個像素為單位)被導(dǎo)出時，該視差信息被視為屬于區(qū)塊的所有像素的視差信息， 從而能夠執(zhí)行像素單位的計算。
圖6為用于說明通過位置信息獲取單元162變換為三維位置信息的說明圖。位置信息獲取單元162將距離圖像126識別為如圖6所示的像素單位的坐標(biāo)系。這里，在圖6 中，將左下角設(shè)定為原點(0，0)，橫向方向設(shè)定為i坐標(biāo)軸，縱向方向設(shè)定為j坐標(biāo)軸。因此，具有視差dp的像素能夠由像素位置i、j和視差dp表示為(i, j, dp)。
將本實施方式中的實際空間上的三維坐標(biāo)系假設(shè)為以車輛I為中心的相對坐標(biāo)系。在此，將車輛I的行進(jìn)方向右側(cè)方設(shè)定為X軸的正方向，車輛I的上方設(shè)定為Y軸的正方向，車輛I的行進(jìn)方向(前方)設(shè)定為Z軸的正方向，經(jīng)過兩個攝像裝置110的中央的鉛直線和道路表面的交點作為原點(0，0，0)。此時，假設(shè)道路為平面時，道路表面與X-Z平面 (y = O) 一致。位置信息獲取單元162通過以下的數(shù)學(xué)式I 數(shù)學(xué)式3將距離圖像126上的區(qū)塊坐標(biāo)(i，j，dp)變換為實際空間上的三維的點坐標(biāo)(X，y, z)。
X = C D/2+z · P W · (i_I V)…數(shù)學(xué)式 I
y = C H+z · P W · (j-J V) · · ·數(shù)學(xué)式 2
z = K S/d P· · ·數(shù)學(xué)式 3
在此，⑶為攝像裝置110之間的間隔(基線長度)，PW為每一個像素的視角，CH為攝像裝置110自道路表面的布置高度，IV、JV為車輛I的正面方向無限遠(yuǎn)端的圖像上的坐標(biāo)(像素)，KS為距離系數(shù)(KS =⑶/PW)。
顏色識別標(biāo)識符設(shè)定單元164基于存儲在數(shù)據(jù)存儲單元152的特定物表格200，根據(jù)對應(yīng)部位的亮度給對象部位設(shè)定顏色識別標(biāo)識符。
具體來說，顏色識別標(biāo)識符設(shè)定單元164通過使亮度獲取單元160獲取亮度圖像 124上的任意對象部位的亮度。接著，顏色識別標(biāo)識符設(shè)定單元164依次選擇登記在顏色表格190中的顏色識別標(biāo)識符194，判斷獲取的一個對象部位的亮度是否包含于依次選擇出的顏色識別標(biāo)識符194的亮度范圍192。然后，若對象部位的亮度包含于成為對象的亮度范圍192之內(nèi)，則對該對象部位設(shè)定該顏色識別標(biāo)識符194，制作顏色識別標(biāo)識符 對應(yīng)圖。
顏色識別標(biāo)識符設(shè)定單位164對于多個對象部位的每一個順序進(jìn)行這種各個對象部位的亮度與登記在顏色表格190上的多個顏色識別標(biāo)識符194的亮度范圍192之間的一系列比較。這里，顏色識別標(biāo)識符194的選擇順序遵從如上所述的表示在顏色表格190 上的優(yōu)先順序。即，在圖4的顏色表格190的例子中，以“鮮紅”、“黃”、“鮮青綠”、“紅”、“暗紅”、“暗黃”、“青綠”、“暗青綠”的順序執(zhí)行比較處理。
而且，按照所述優(yōu)先順序進(jìn)行比較的結(jié)果，當(dāng)判斷為對象部位的亮度包含于優(yōu)先順序高的顏色識別標(biāo)識符194的亮度范圍192時，就不會執(zhí)行有關(guān)優(yōu)先順序低于顏色識別標(biāo)識符194的比較處理。因此，對于一個對象部位最多賦予一個顏色識別標(biāo)識符194。這是因為，由于多個特定物不會在空間上重疊，因此由顏色識別標(biāo)識符設(shè)定單位164 —旦設(shè)定為任意的顏色識別標(biāo)識符194的對象物就沒有必要判斷是否會是其他顏色識別標(biāo)識符 194。如此，通過排他地處理對象部位，能夠避免對已經(jīng)設(shè)定了顏色識別標(biāo)識符194的對象部位進(jìn)行重復(fù)的設(shè)定處理，從而能夠減輕處理負(fù)荷。
圖7為用于說明顏色識別標(biāo)識符對應(yīng)圖210的說明圖。顏色識別標(biāo)識符對應(yīng)圖 210是在亮度圖像124中疊加顏色識別標(biāo)識符194的圖。因此，在估計具有對應(yīng)于顏色識別標(biāo)識符194的亮度范圍192的亮度的特定物的相應(yīng)位置上集中地設(shè)定有顏色識別標(biāo)識符 194。
例如，在顏色識別標(biāo)識符對應(yīng)圖210中的局部對應(yīng)圖210a中，相當(dāng)于前行車輛的尾燈的多個對象部位212的亮度以顏色識別標(biāo)識符“I”、顏色識別標(biāo)識符“2”、顏色識別標(biāo)識符“3”、顏色識別標(biāo)識符“4”的順序與亮度范圍192進(jìn)行比較。其結(jié)果，因為對象部位212 的亮度被包含在顏色識別標(biāo)識符“4”的亮度范圍192內(nèi)，因此對應(yīng)特定物“尾燈(紅)”的代表顏色識別標(biāo)識符“4”。并且，在顏色識別標(biāo)識符對應(yīng)圖210中的局部對應(yīng)圖210b中，因為相當(dāng)于信號燈的右側(cè)點亮部分的多個對象部位214的亮度被包含于顏色識別標(biāo)識符“I” 的亮度范圍192內(nèi)，因此對象部位214的亮度對應(yīng)特定物“信號燈(紅)”的代表顏色識別標(biāo)識符“I”。進(jìn)一步，在顏色識別標(biāo)識符對應(yīng)圖210中的局部對應(yīng)圖210c中，相當(dāng)于前行車輛的后燈的多個對象部位216的亮度以顏色識別標(biāo)識符“I”、顏色識別標(biāo)識符“2”、顏色識別標(biāo)識符“3”的順序與亮度范圍192進(jìn)行比較，最終對應(yīng)特定物“尾燈(紅)”的代表顏色識別標(biāo)識符“4”和特定物“轉(zhuǎn)向指示燈(橙)”的代表顏色識別標(biāo)識符“5”。圖7中示出亮度圖像124的多個對象部位上被賦予顏色識別標(biāo)識符194的圖，但這種表示僅僅是為便于理解的概念性表示，實際上，在對象位置上用數(shù)據(jù)登記顏色識別標(biāo)識符194。
群組化單元166以任意的對象部位為基點，將該對象部位和水平距離X的差值以及高度y的差值在預(yù)定范圍(例如，1. Om等)內(nèi)的、對應(yīng)于相同特定物的對象部位群組化， 作為對象物。這里，預(yù)定范圍用實際空間上的距離表示，且可以設(shè)定為任意的值。
具體來講，群組化單元166首先依次獲得亮度圖像124中的任意的對象部位的顏色識別標(biāo)識符194。然后，群組化單元166以該對象部位為基點，將對象部位和水平距離X的差值和高度y的差值在預(yù)定范圍內(nèi)的、滿足條件的對象部位群組化，作為對象物。這里，條件是設(shè)定有將作為基點的對象部位的顏色識別標(biāo)識符194作為代表顏色識別標(biāo)識符194a 的特定物所對應(yīng)的一個或多個顏色識別標(biāo)識符194(在本實施方式中，代表顏色識別標(biāo)識符194a和子顏色識別標(biāo)識符194b)的對象部位。
這里，群組化單元166對于通過群組化而新增的對象部位也進(jìn)行如下群組化，即， 以該對象部位為基點，將水平距離X的差值和高度y的差值在預(yù)定范圍內(nèi)的、設(shè)定有與同一個特定物對應(yīng)的代表顏色識別標(biāo)識符194a和子顏色識別標(biāo)識符194b的對象部位群組化。 結(jié)果， 只要設(shè)定有與同一個特定物對應(yīng)的代表顏色識別標(biāo)識符194a和子顏色識別標(biāo)識符 194b的對象部位之間的距離在預(yù)定范圍之內(nèi)，則這些全部被群組化。
在此，群組化單元166使用實際空間上的水平距離X或高度y進(jìn)行判斷，但當(dāng)利用亮度圖像124或距離圖像126上的檢測距離判斷時，用于群組化的預(yù)定范圍的閾值會根據(jù)對象部位的相對距離z而變化。如圖2等所示，亮度圖像124或距離圖像126中，由于原本遠(yuǎn)近的物體都被表示在平面上，因此位于主體遠(yuǎn)處的物體被表示得小(短)，位于附近的物體被表示得大(長)。因此，亮度圖像124或距離圖像126中的預(yù)定范圍的閾值，例如對于位于遠(yuǎn)處的對象部位設(shè)定得較小，對于位于附近的對象部位設(shè)定得較大。由此，在遠(yuǎn)處和附近的檢測距離不同時，也能夠?qū)崿F(xiàn)穩(wěn)定的群組化。
并且，在此，分別獨立判斷水平距離X的差值和高度I的差值，僅在所有差值被包含在預(yù)定范圍時才作為同一群組，但還可以依據(jù)其他的計算。例如，當(dāng)水平距離X的差值和高度y的差值的歐氏距離(Euclidean distance) ▽((水平距離x的差值)2 + (高度y的差值)2)被包含于預(yù)定范圍之內(nèi)時，也可以作為同一群組。通過所述計算，能夠?qū)С鰧ο蟛课辉趯嶋H空間上的正確的彼此距離，能夠提高群組化精度。
圖8為用于說明群組化單元166的處理的說明圖。這里，為了便于理解，省略示出顏色識別標(biāo)識符194。群組化單元166在圖8(a)中示出的顏色識別標(biāo)識符對應(yīng)圖210中， 對預(yù)定范圍內(nèi)的、例如設(shè)定有對應(yīng)于特定物“信號燈(紅)”的代表顏色識別標(biāo)識符194a和子顏色識別標(biāo)識符194b的所有對象部位進(jìn)行群組化，如圖8(b)所示，作為對象物218。由此，提取特定物“信號燈(紅)”。
環(huán)境判定單元168判斷是否為檢測區(qū)域122的光發(fā)生擴散的環(huán)境。這里，光發(fā)生擴散的環(huán)境由如下原因產(chǎn)生，例如，因為降雨或降雪等導(dǎo)致前擋風(fēng)玻璃上附著水滴或擦拭該水滴時形成的水紋等。環(huán)境判定單元168在由環(huán)境檢測單元154輸出的檢測信息表示降雨或降雪時，判斷為檢測區(qū)域122的光發(fā)生擴散的環(huán)境。
圖9為用于說明外邊緣確定單元170的處理的說明圖。在這里，為了便于理解，圖中省略示出顏色識別標(biāo)識符194。通過群組化單元166，對象部位被群組化而成為對象物之后，為了使數(shù)據(jù)處理變得容易，對象物將其外邊緣設(shè)定為例如矩形形狀。具體來講，在 構(gòu)成對象物的對象部位中，提取水平距離X在最左xl的對象部位和最右xr的對象部位，以及高度Y最小ymin的對象部位和最大ymax的對象部位。并且,將由x = xl、x = xr、y = ymin、 y = ymax這四條直線包圍的四邊形作為該對象物的外邊緣。
但是，如圖9 (a)所示，在雨天拍攝的信號燈的顏色識別標(biāo)識符對應(yīng)圖210中，信號燈的光源的光朝任意方向延伸(映射)擴散。此時，如果用白色框線表示的四邊形的矩形區(qū)域設(shè)定為對象物的外邊緣，則比實際光源大的范圍被判定為對象物的外邊緣。
如此，對應(yīng)于擴散的光的對象部位會降低特定物的特定精度，因此最好從對象物進(jìn)行排除。但是，在晴天，對應(yīng)于該擴散的光的亮度范圍在特定信號燈的輪廓時被有效利用。為此，如果一律地排除屬于擴散的光的亮度范圍中的對象部位，則可能導(dǎo)致晴天時對特定物進(jìn)行的特定精度。
因此，外邊緣確定單元170根據(jù)是否為光發(fā)生擴散的環(huán)境來選擇顏色識別標(biāo)識符 194，在對象物中將利用設(shè)定有所選擇的顏色識別標(biāo)識符194的對象部位所特定的外邊緣作為對象物的外邊緣。然而，在本實施方式中，以代表顏色識別標(biāo)識符194a或子顏色識別標(biāo)識符194b作為例子，但是也可以利用多個顏色識別標(biāo)識符的組合。
在圖9(b)中，模式性地舉例示出構(gòu)成對象物的對象部位230a、230b。這里,對象部位230a被對應(yīng)賦予代表顏色識別標(biāo)識符194a，對象部位230b被對應(yīng)賦予子顏色識別標(biāo)識符 194b ο
外邊緣確定單元170針對被對應(yīng)賦予代表顏色識別標(biāo)識符194a的對象部位230a 提取水平距離X在最左Xl的對象部位和最右Xr的對象部位，以及高度Y最小ymin的對象部位和最大ymax的對象部位。并且，將其坐標(biāo)存儲到數(shù)據(jù)存儲單元152。
并且，外邊緣確定單元170針對對應(yīng)有子顏色識別標(biāo)識符194b的對象部位230b 提取水平距離X在最左Xl的對象部位和最右Xr的對象部位，以及高度Y最小ymin的對象部位和最大ymax的對象部位。并且，將其坐標(biāo)存儲到數(shù)據(jù)存儲單元152。
接著，當(dāng)由環(huán)境判定單元168判斷為光發(fā)生擴散的環(huán)境時，外邊緣確定單元170使用被對應(yīng)賦予代表顏色識別標(biāo)識符194a的對象部位230a的坐標(biāo),用x = xl、x = xr、y = ymin、y = ymax這四條直線包圍的四邊形的矩形區(qū)域包含該多個對象部位。這時，在圖9(b)的例子中，外邊緣被確定為被對應(yīng)賦予子顏色識別標(biāo)識符194b的最下端的4個對象部位 230b從對象物排除，包含剩余的12個對象部位230a、230b。
如上所述，相對于代表顏色識別標(biāo)識符194a而言，子顏色識別標(biāo)識符194b設(shè)定為低亮度范圍。因此，在圖9(c)中用白色框線表示的那樣，外邊緣判定單元170排除亮度較低的、傾斜地延伸擴散的光的影響，而基于亮度較高的對象部位來確定外邊緣。
如此，本實施方式的環(huán)境識別裝置130預(yù)先在特定物上對應(yīng)賦予用于特定不受擴散之影響的光源部分的代表顏色識別標(biāo)識符194a。因此，即使在雨天等，信號燈等的光源的光發(fā)生擴散的情況下，外邊緣確定單元170也可以基于代表顏色識別標(biāo)識符194a而排除擴散的光的影響，從而確定對象物的外邊緣使其恰當(dāng)?shù)匕庠础２⑶?，可以提高圖案匹配等后期處理的精度。
并且，當(dāng)由環(huán)境判定單元168判斷為光發(fā)生擴散的環(huán)境時，可以考慮一開始就只用代表顏色識別標(biāo)識符194a進(jìn)行群組化而構(gòu)成對象物。但是，例如在雨天，水滴并不是均勻地附著在前擋風(fēng)玻璃上，而且通過雨刷器擦拭后的水滴的分散程度也是千差萬別，因此光發(fā)生擴散的程度根據(jù)情況有所不同。因此，如果一開始就只用代表顏色識別標(biāo)識符194a 進(jìn)行群組化，則例如可能發(fā)生不能將對應(yīng)于信號燈的對象部位作為一個對象物進(jìn)行群組化的情況。在本實施方式中，暫且由群組化單元166用代表顏色識別標(biāo)識符194a和子顏色識別標(biāo)識符194b群組化對象部位之后，通過外邊緣確定單元170確定外邊緣，從而可以避免這種情況發(fā)生。
這里，例舉了針對是否為光發(fā)生擴散的環(huán)境的檢測結(jié)果，對應(yīng)賦予代表顏色識別標(biāo)識符194a、子顏色識別標(biāo)識符194b的例子進(jìn)行了說明。但是，例如，環(huán)境判定單元168也可以獲得表示降雨量或降雪量的檢測信息，并基于該檢測信息分級別地判斷光發(fā)生擴散的情況。此時，數(shù)據(jù)存儲單元152針對光發(fā)生擴散的情況的各個級別對應(yīng)賦予從多個顏色識別標(biāo)識符194選擇的一個或多個顏色識別標(biāo)識符194的組合進(jìn)行存儲。并且，外邊緣確定單元170根據(jù)光發(fā)生擴散的情況選擇組合。
具體來講，關(guān)于降雨，假設(shè)根據(jù)大雨、中雨、小雨等降雨量對降雨進(jìn)行了分級分類。 并且，假設(shè)例如根據(jù)降雨的分類，預(yù)先對應(yīng)地設(shè)定了由上述的雨檢測單元的受光器件輸出的輸出值(檢測信息)的范圍。環(huán)境判定單元168特定對應(yīng)于輸出值的降雨的分類，輸出到外邊緣確定單元170。這里，假定降雨量越多，光擴散越嚴(yán)重。外邊緣確定單元170選擇根據(jù)光擴散情況(大雨、中雨、小雨)而分級別地設(shè)定的顏色識別標(biāo)識符194的組合，基于所選擇的顏色識別標(biāo)識符194的組合而確定外邊緣。
如此，外邊緣確定單元170根據(jù)分級別地設(shè)置的光擴散情況來區(qū)別使用顏色識別標(biāo)識符194的多個組合，從而可以使用更符合降雨量或降雪量等環(huán)境的亮度范圍192，確定對象物的外邊緣。
如上所述，由于亮度圖像124的光擴散由降雨或降雪引起，因此環(huán)境識別裝置130 通過具備降雨檢測單元或降雪檢測單元，基于降雨或降雪來可靠地掌握光擴散情況，從而可以將對象物的外邊緣確定為恰當(dāng)?shù)拇笮　?br> 由此，環(huán)境識別裝置130可以從亮度圖像124提取一個或多個對象物作為特定物， 并可以將該信息用于各種控制。例如，通過提取特定物“信號燈(紅)”，可以掌握該對象物為不移動的固定物的同時，如果該對象物是與本車輛車道有關(guān)的信號燈，則可以掌握本車輛I應(yīng)該停車或減速。并且，通過提取特定物“尾燈(紅)”，能夠掌握該處有與本車輛I共同行使的前行車輛，且該前行車輛的背面位于特定物“尾燈(紅)”的相對距離z。
由群組化單元166群組化的對象物只要滿足預(yù)定的條件，則特定物確定單元172 將該對象物確定為特定物。例如，如圖5所示，當(dāng)特定物表格200中對應(yīng)賦予幅度范圍202 時，特定物確定單元172基于特定物表格200，只要對象物的大小(對象物的水平距離X的幅度和高度I的幅度的全部)被包含于特定物的代表顏色識別標(biāo)識符194a的幅度范圍202 之中，則將該對象物確定為成為對象的特定物。并且，也可以對對象物的水平距離X的幅度和高度y的幅度分別設(shè)定幅度范圍202。在此，將對象物視為特定物時，確認(rèn)是否具有適當(dāng)?shù)拇笮　Ｒ虼?，?dāng)未被包含于幅度范圍202時，可以作為對于該環(huán)境識別處理無用的信息而剔除。例如，在使用圖8的例子中，由于圖8(b)的對象物218的大小被包含在特定物“信號燈(紅)”的幅度范圍“O. 2 O. 4m”中，因此恰當(dāng)?shù)乇惶囟樘囟ㄎ铩靶盘枱?紅)”。
如此，在環(huán)境識別裝置130中，能夠從亮度圖像124提取一個或多個對象物作為特定物，并能夠?qū)⒃撔畔?yīng)用于各種控制。例如，通過提取特定物“信號燈(紅)”，能夠掌握該對象物是不移動的固定的物體的同時，若該對象物是與本車輛車道有關(guān)的信號燈，則能夠掌握本車輛I應(yīng)停止或減速。而且，通過提取特定物“尾燈(紅)”，能夠掌握該處有與本車輛I共同行使的前行車輛，且該前行車輛的背面位于特定物“尾燈(紅)”的相對距離Z。
然而，由于多個特定物在空間上不會重合，因此通過特定物確定單元172 —旦被確定為特定物的對象物，就沒有必要再判斷是否為其他特定物。因此，上述群組化單元166 排除構(gòu)成由特定物確定單元172確定為特定物的對象物的對象部位之后進(jìn)行群組化處理。 即，關(guān)于所選擇的一個特定物的特定物確定處理中，一旦被確定為特定物的對象部位，在關(guān)于其他特定物的群組化處理中就不再用作群組化處理對象。如此，通過排他地處理對象部位，能夠避免對已經(jīng)確定了特定物的對象部位進(jìn)行重復(fù)的群組化處理，從而能夠減輕處理負(fù)荷。
當(dāng)特定物確定單元172所確定的特定物例如為“標(biāo)識”，且假設(shè)其中標(biāo)記有限制速度時，圖案匹配單元174進(jìn)一步對所標(biāo)記的數(shù)值執(zhí)行圖案匹配，特定該數(shù)值。由此，環(huán)境識別裝置130能夠識別本車輛車道的限制速度等。
在本實施方式中，首先通過特定物確定單元172提取被限定為多個的特定物，并僅進(jìn)行與該提取的特定物的圖案匹配即可。因此，與以往的對亮度圖像124的整個面進(jìn)行圖案匹配相比，能夠顯著地減少處理負(fù)荷。
(環(huán)境識別方法)
以下，基于圖10至圖14的流程圖說明環(huán)境識別裝置130的具體的處理。圖10示出關(guān)于從圖像處理裝置120接收到距離圖像(視差信息)126時的中斷處理的整個流程，圖 11至圖14示出其中的個別的子程序。而且，在此，例舉像素作為對象部位，并將亮度圖像 124和距離圖像126的左下角作為原點，且在圖像的水平方向的I 600個像素、垂直方向的I 200個像素的范圍執(zhí)行依照該環(huán)境識別方法的處理。而且，在此假設(shè)作為對象的顏色識別標(biāo)識符194和特定物的數(shù)量為8個。
如圖10所示，以距離圖像126的接收信號為契機，產(chǎn)生依照該環(huán)境識別方法的中斷時，參照由圖像處理裝置120獲得的亮度圖像124而在對象部位設(shè)定顏色識別標(biāo)識符 194，生成顏色識別標(biāo)識符對應(yīng)圖210 (S300)。
接著，在顏色識別標(biāo)識符對應(yīng)圖210中距離相近且設(shè)定的顏色識別標(biāo)識符滿足條件的對象部位被群組化，成為對象物(S302)，針對對象物進(jìn)行外邊緣確定處理(S304)。并且，對象物被確定為特定物(S306)。若有必要從確定的特定物進(jìn)一步獲取信息，則通過圖案匹配單元174執(zhí)行特定物的圖案匹配(S308)。然后結(jié)束該中斷處理。
(顏色識別標(biāo)識符對應(yīng)圖生成處理S300)
參照圖11，顏色識別標(biāo)識符設(shè)定單元164對用于確定對象部位(像素)的垂直變量j進(jìn)行初始化(代入“O”)(S350)。接著，顏色識別標(biāo)識符設(shè)定單元164在垂直變量j上加(累加)“1”，同時對水平變量i進(jìn)行初始化(代入“O”)(S352)。接著，顏色識別標(biāo)識符設(shè)定單元164在水平變量上加“1”，并對特定物變量m進(jìn)行初始化(S354)。在此，設(shè)定水平變量i和垂直變量j是為了對整個600X200的像素執(zhí)行該顏色識別標(biāo)識符對應(yīng)圖生成處理，設(shè)定特定物變量m是為了對每個像素順序地比較8個特定物。
顏色識別標(biāo)識符設(shè)定單元164使亮度獲取單元160從亮度圖像124中獲得作為對象部位的像素(i，j)的亮度(3356)，并在特定物變量111中加“1”(3358)，獲得特定物(m)的代表顏色識別標(biāo)識符的亮度范圍192(S360)，并判斷像素(i，j)的亮度是否被包含在特定物(m)的代表顏色識別標(biāo)識符的亮度范圍192(S362)。
若像素(i，j)的亮度被包含于特定物(m)的代表顏色識別標(biāo)識符的亮度范圍 192 (S362的“是”)，則顏色識別標(biāo)識符設(shè)定單元164針對該對象部位設(shè)定顏色識別標(biāo)識符 P而變成像素(i，j，P) (S364)。而且，若像素(i，j)的亮度未包含在特定物(m)的代表顏色識別標(biāo)識符的亮度范圍192 (S362的“否”)，則判斷特定物變量m是否超過作為特定物的最大數(shù)量的8(S366)。在此，若特定物變量m并未超過最大值(S366的“否”)，則從步驟 S358的特定物變量m的累加處理開始重復(fù)執(zhí)行。而且，若特定物變量m超過最大值(S366 的“是”)，則認(rèn)為對應(yīng)于該像素(i，j)的特定物不存在，處理轉(zhuǎn)到下一步驟S368。
接著，顏色識別標(biāo)識符設(shè)定單元164判斷水平變量i是否超過作為水平像素的最大值的600(S368)，若水平變量i并沒有超過最大值(S368的“否”)，則從步驟S354的水平變量i的累加處理開始重復(fù)執(zhí)行。而且，若水平變量i超過最大值US368中的“是”)，則顏色識別標(biāo)識符設(shè)定單元164判斷垂直變量j是否超過作為垂直像素的最大值的200 (S370)。 接著，若垂直變量j并未超過最大值(S370的“否”)，則從步驟S352的垂直變量j的累加處理開始重復(fù)執(zhí)行。而且，若垂直變量j超過最大值(S370的“是”)，則終止該顏色識別標(biāo)識符對應(yīng)圖生成處理。
(群組化處理S302)
參照圖12，群組化單元166參照用于群組化對象部位的預(yù)定范圍(S400)，初始化 (代入“O”)用于特定對象部位(像素)的垂直變量j (S402)。接著，群組化單元166在垂直變量j上加“1”，同時初始化(代入“O”)水平變量i (S404)。接著，群組化單元166在水平變量i上加“I” (S406)。
群組化單元166從亮度圖像124獲取包含作為對象部位的視差信息dp的像素(i， j,p, dp),將包含視差信息dp的像素(i, j,p, dp)坐標(biāo)變換為實際空間上的點(x, y, z),作為像素(i，j，P，dp, x, y, z) (S408)。然后,判斷該像素(i, j, p, dp, x, y, z)上是否存在有效(不是零)的顏色識別標(biāo)識符P且是否還沒有被賦予群組號g(S410)。在此，若存在有效的顏色識別標(biāo)識符P且還沒有被賦予群組號g (S410的“是”)，則群組化單元166判斷其像素的實際空間上的坐標(biāo)(X，1，z)的預(yù)定范圍之內(nèi)是否存在設(shè)定有對應(yīng)于以該顏色識別標(biāo)識符P為代表顏色識別標(biāo)識符的特定物的代表顏色識別標(biāo)識符194a和子顏色識別標(biāo)識符 194b的其他的一個或多個像素且其像素是否還沒有被賦予群組號g(S412)。
若存在設(shè)定有代表顏色識別標(biāo)識符194a和子顏色識別標(biāo)識符194b的其他的像素 (i, j,p,dp,x,y, z)，且其像素上未被賦予群組號g(S412的“是”)，則群組化單元166將還沒有用作群組號的號中的最小值分配給包括自身的預(yù)定范圍內(nèi)的所有像素(S414)。
如此，當(dāng)顏色識別標(biāo)識符相同的對象部位在預(yù)定范圍之內(nèi)存在有多個時，通過賦予一個群組號g而執(zhí)行群組化。此時，采用還未用作群組號的號中的最小值的理由在于對群組標(biāo)號時，盡可能避免出現(xiàn)空號。據(jù)此，防止群組號g的最大值無端地變大，從而能夠減輕處理負(fù)荷。
當(dāng)顏色識別標(biāo)識符P不是有效值(非零)或者雖是有效值但已經(jīng)被賦予了群組號 g時(S410中的“否”)、當(dāng)不存在顏色識別標(biāo)識符194相同的其他像素或者雖存在但其所有像素已經(jīng)被賦予了群組號g時(S412中的“否”)，處理轉(zhuǎn)移到下一個步驟S416。
接著，群組化單元166判斷水平變量i是否超過作為水平像素的最大值的 600(S416)，若水平變量i并未超過最大值(S416的“否”)，則從步驟S406的水平變量i的累加處理開始重復(fù)執(zhí)行。而且，若水平變量i超過最大值(S416的“是”)，則群組化單元166 判斷垂直變量j是否超過作為垂直像素的最大值的200(S418)。然后，若垂直變量j沒有超過最大值(S418中的“否”)，則從步驟S404的垂直變量j的累加處理開始重復(fù)。而且，若垂直變量j超過最大值(S418的“是”)，則終止該群組化處理。
(外邊緣確定處理S304)
參照圖13，群組化單元166對用于特定群組的群組變量k進(jìn)行初始化(代入“O”) (S450)。接著，群組化單元166對群組變量k加“I” (S452)。
群組化單元166判斷亮度圖像124中是否存在群組號g為群組變量k的對象部位 (S454)。如果存在(S454的“是”)，則從賦予了該群組號g的多個對象部位中分別提取賦予了代表顏色識別標(biāo)識符194a的對象部位和賦予了子顏色識別標(biāo)識符194b的對象部位。然后，關(guān)于代表顏色識別標(biāo)識符194a和子顏色識別標(biāo)識符194b分別提取水平距離x在最左 xl的對象部位和最右xr的對象部位，以及高度Y最小ymin的對象部位和最大ymax的對象部位(S456)。接著，將其坐標(biāo)對應(yīng)到群組號g之后存儲到數(shù)據(jù)存儲單元152中(S458)。
環(huán)境判定單元168基于檢測信息判斷是否為因降雨或降雪導(dǎo)致檢測區(qū)域122中的光發(fā)生擴散的環(huán)境(S460)。當(dāng)確定為光發(fā)生擴散的環(huán)境時(S460的“是”)，外邊緣確定單元170基于存儲在數(shù)據(jù)存儲單元152的代表顏色識別標(biāo)識符194a的坐標(biāo)，確定外邊緣 (S462)。當(dāng)不是光發(fā)生擴散的環(huán)境時(S460的“否”)，外邊緣確定單元170基于存儲在數(shù)據(jù)存儲單元152的子顏色識別標(biāo)識符194b的坐標(biāo)，確定外邊緣(S464)。但是，當(dāng)對應(yīng)于代表顏色識別標(biāo)識符194a的對象部位不包含在對應(yīng)于子顏色識別標(biāo)識符194b的對象部位中時，基于代表顏色識別標(biāo)識符194a和子顏色識別標(biāo)識符194b的坐標(biāo)確定外邊緣。
接著，群組化單元166判斷群組變量k是否超過對象部位群組化處理中設(shè)定的群組號的最大值(S466)。然后，若群組變量k沒有超過最大值(S466中的“否”)，則從步驟 S452的群組變量k的累加處理開始重復(fù)執(zhí)行。而且，若群組變量k超過了最大值(S466中的“是”)，則終止該外邊緣確定處理。CN 102975678 A書明說14/15 頁(特定物確定處理S306)
參照圖14，特定物確定單元172參照特定物表格200的各特定物的幅度范圍 202 (S500)，對用于特定群組的群組變量k進(jìn)行初始化(代入“O”)(S502)。接著，特定物確定單元172在群組變量k上加“ I ” (S504)。
特定物確定單元172判斷亮度圖像124中是否存在群組號g為群組變量k的對象物(S506)，若存在(S506的“是”)，則基于通過外邊緣確定處理確定的外邊緣計算被賦予該群組號g的對象物的大小(S508)。接著，判斷所計算出的大小是否被包含在以對群組號g為群組變量k的對象物對應(yīng)賦予的代表顏色識別標(biāo)識符P表示的特定物的幅度范圍 202 (S510)。例如，當(dāng)對象物的大小的水平方向成分在以代表顏色識別標(biāo)識符P表示的特定物的幅度范圍202之內(nèi)，且對象物的大小的垂直方向成分在以代表顏色識別標(biāo)識符P表示的特定物的幅度范圍202之內(nèi)，則對象物被判定為包含于以代表顏色識別標(biāo)識符P表示的特定物的寬度范圍202。
若大小被包含于以代表顏色識別標(biāo)識符P表示的特定物的幅度范圍202(S510的 “是”)，則特定物確定單元172將該對象物確定為由代表顏色識別標(biāo)識符P表示的特定物 (S512)。若大小未包含于以代表顏色識別標(biāo)識符P表不的特定物的幅度范圍202(S510的 “否”)，或不存在群組號g為群組變量k的對象物時(S506的“否”)，處理轉(zhuǎn)到下一步驟 S514。
接著，特定物確定單元172判斷群組變量k是否超過群組化處理中設(shè)定的群組號的最大值(S514)。然后，若群組變量k沒有超過最大值(S514中的“否”)，則從步驟S504的群組變量k的累加處理開始重復(fù)執(zhí)行。而且，若群組變量k超過了最大值(S514中的“是”)， 則終止該特定物確定處理。據(jù)此，被群組化的對象物正式被確定為特定物。
如上所述，根據(jù)環(huán)境識別裝置130，在雨天等光容易擴散的環(huán)境中能夠提高對象物的特定精度，而且可以避免錯誤識別。
并且，在特定物表格200中對應(yīng)設(shè)定的一個或多個顏色識別標(biāo)識符194中僅使用預(yù)先設(shè)定的顏色表格190的顏色識別標(biāo)識符194，從而無需無端地判定多個亮度范圍，而只要判定預(yù)定數(shù)量的亮度范圍192即可，因此可以大幅度地減輕處理負(fù)荷。
而且，還提供使計算機執(zhí)行環(huán)境識別裝置130的功能的程序或記錄該程序的計算機可讀軟盤、光磁盤、ROM、CD、DVD、BD等記錄介質(zhì)。在此，程序是利用任意的語言或記述方法記述的數(shù)據(jù)處理方法。
以上的說明中，參照附圖對本發(fā)明的優(yōu)選實施方式進(jìn)行了說明，但是本發(fā)明并不局限于已說明的實施方式。本發(fā)明所屬領(lǐng)域的技術(shù)人員應(yīng)知道在權(quán)利要求書所記載的范疇之內(nèi)導(dǎo)出各種變更例或修改例是顯而易見的，但顯然這些都屬于本發(fā)明的技術(shù)范圍。
例如，雖然在上述的實施方式的特定物表格200中對特定物僅對應(yīng)地賦予預(yù)先在顏色表格190中確定的顏色識別標(biāo)識符194，但也可以對每個特定物對應(yīng)賦予任意的多個亮度范圍。
而且，在上述實施方式中，基于利用多個攝像裝置110的圖像數(shù)據(jù)之間的視差導(dǎo)出對象物的三維位置，但并不局限于所說明的情況，例如，可以利用激光雷達(dá)測距裝置等已知的各種距離測量裝置。在此，激光雷達(dá)測距裝置通過向檢測區(qū)域122發(fā)射激光光束，并接收該激光光束到達(dá)物體之后反射的光，從而根據(jù)所需時間測量至物體的距離。17
并且，在上述的實施方式中，舉出位置信息獲取單元162從圖像處理裝置120接收距離圖像(視差信息)126而生成三維位置信息的例子。但是，并不局限于所說明的情況， 也可以由圖像處理裝置120預(yù)先生成三維的位置信息，再由位置信息獲取單元162獲取所生成的三維位置信息。據(jù)此，實現(xiàn)功能的分散，能夠減輕環(huán)境識別裝置130的處理負(fù)荷。
并且，在上述的實施方式中，雖然以由攝像裝置110獲取彩色圖像為前提進(jìn)行了說明，但并不局限于這種情況，即使獲取單色圖像，也能執(zhí)行本實施方式。此時，顏色表格 190由單色的亮度定義。
并且，在上述的實施方式中，亮度獲取單元160、位置信息獲取單元162、顏色識別標(biāo)識符設(shè)定單元164、群組化單元166、環(huán)境判定單元168、外邊緣確定單元170、特定物確定單元172、圖案匹配單元174由中央控制單元156通過軟件運行。但是，上述的功能單元也可以由硬件構(gòu)成。
并且，特定物確定單元172基于例如對象物的大小被包含于特定物的幅度范圍 202的情況來確定特定物，但并不局限于此，也可以在滿足其他各種條件時確定為特定物。 例如，對象物中的水平方向和鉛直方向的相對距離z的推移幾乎相等(連續(xù))時或相對于z 坐標(biāo)的相對移動速度相同時確定為特定物。此時，對象物中的水平方向及鉛直方向的相對距離z的推移可根據(jù)借助霍夫變換或最小平方法的近似直線確定。
在此，本說明書中的環(huán)境識別方法的各個步驟并不一定要按照流程圖中記載的順序按時間順序進(jìn)行處理，也可以包含并行處理或通過子程序的處理。
產(chǎn)業(yè)上的可利用性
本發(fā)明可利用于基于檢測區(qū)域中的對象物的亮度來識別該對象物的環(huán)境識別裝置及環(huán)境識別方法。
權(quán)利要求
1.ー種環(huán)境識別裝置，其特征在于，包括 數(shù)據(jù)存儲単元，使預(yù)先設(shè)定的預(yù)定數(shù)量的顏色識別標(biāo)識符與亮度范圍一一對應(yīng)，并針對多個特定物的每ー個對應(yīng)多個顏色識別標(biāo)識符，同時針對是否為檢測區(qū)域中光發(fā)生擴散的環(huán)境的檢測結(jié)果的每一個對應(yīng)從該多個顏色識別標(biāo)識符選擇的ー個或多個顏色識別標(biāo)識符的組合而進(jìn)行存儲； 亮度獲取単元，用于獲取所述檢測區(qū)域內(nèi)的對象部位的亮度； 顔色識別標(biāo)識符設(shè)定單元，基于存儲在所述數(shù)據(jù)存儲單元的顔色識別標(biāo)識符與亮度范圍的對應(yīng)關(guān)系，根據(jù)所述對象部位的亮度而在該對象部位設(shè)定顏色識別標(biāo)識符； 群組化單元，基于存儲在所述數(shù)據(jù)存儲單元的特定物與顔色識別標(biāo)識符的對應(yīng)關(guān)系，將水平距離的差值和高度的差值在預(yù)定范圍內(nèi)的、設(shè)定有對應(yīng)于同一個特定物的一個或多個顏色識別標(biāo)識符的對象部位群組化而作為對象物； 環(huán)境判定単元，判定是否為所述檢測區(qū)域中發(fā)生光擴散的環(huán)境； 外邊緣確定單元，根據(jù)是否為光發(fā)生擴散的環(huán)境而選擇所述組合，在所述對象物中，將利用設(shè)定有所選擇的該組合的顔色識別標(biāo)識符的所述對象部位而特定的外邊緣作為該對象物的外邊緣。
2.根據(jù)權(quán)利要求I所述的環(huán)境識別裝置，其特征在干，進(jìn)ー步包含檢測降雨的雨檢測単元，所述環(huán)境判定単元在所述雨檢測單元檢測到降雨時，判定為所述光發(fā)生擴散的環(huán)境。
3.根據(jù)權(quán)利要求I或2所述的環(huán)境識別裝置，其特征在干，進(jìn)ー步包含檢測降雪的雪檢測單元，所述環(huán)境判定単元在所述雪檢測單元檢測到降雪時，判定為所述光發(fā)生擴散的環(huán)境。
4.根據(jù)權(quán)利要求I或2所述的環(huán)境識別裝置，其特征在干， 所述環(huán)境判定単元分級別地判斷所述光的擴散情況， 數(shù)據(jù)存儲単元在所述光的擴散情況的各級別的每ー個級別對應(yīng)賦予從所述多個顏色識別標(biāo)識符選擇的ー個或多個顏色識別標(biāo)識符的組合進(jìn)行存儲， 所述外邊緣確定単元根據(jù)所述光的擴散情況選擇所述組合，并在所述對象物中，將利用設(shè)定有所選擇的該組合的顔色識別標(biāo)識符的所述對象部位而特定的外邊緣作為該對象物的外邊緣。
5.ー種環(huán)境識別方法，其特征在干， 獲取檢測區(qū)域內(nèi)的對象部位的亮度； 基于存儲在數(shù)據(jù)存儲単元的顏色識別標(biāo)識符與亮度范圍的對應(yīng)關(guān)系，根據(jù)所述對象部位的亮度而在該對象部位設(shè)定顏色識別標(biāo)識符； 基于存儲在所述數(shù)據(jù)存儲單元的特定物與顔色識別標(biāo)識符的對應(yīng)關(guān)系，將水平距離的差值和高度的差值在預(yù)定范圍內(nèi)的、設(shè)定有對應(yīng)于同一個特定物的一個或多個顏色識別標(biāo)識符的對象部位群組化而作為對象物； 判定是否為所述檢測區(qū)域中發(fā)生光擴散的環(huán)境； 基于存儲在所述數(shù)據(jù)存儲單元的、對于是否為所述檢測區(qū)域中光發(fā)生擴散的環(huán)境的檢測結(jié)果的每ー個的、從所述多個顏色識別標(biāo)識符選擇的ー個或多個顏色識別標(biāo)識符的組合的對應(yīng)關(guān)系，根據(jù)是否為光發(fā)生擴散的環(huán)境而選擇所述組合； 在所述對象物中，將利用設(shè)定有所選擇的所述組合的顔色識別標(biāo)識符的所述對象部位而特定的外邊緣作為該對象物的外邊緣。
全文摘要
本發(fā)明涉及環(huán)境識別裝置及環(huán)境識別方法，本發(fā)明的環(huán)境識別裝置獲取檢測區(qū)域內(nèi)的對象部位的亮度；基于存儲在數(shù)據(jù)存儲單元的顏色識別標(biāo)識符與亮度范圍的對應(yīng)關(guān)系，根據(jù)對象部位的亮度而在該對象部位設(shè)定顏色識別標(biāo)識符；基于存儲在數(shù)據(jù)存儲單元的特定物與顏色識別標(biāo)識符的對應(yīng)關(guān)系，將水平距離的差值和高度的差值在預(yù)定范圍內(nèi)的、設(shè)定有對應(yīng)于同一個特定物的一個或多個顏色識別標(biāo)識符的對象部位群組化而作為對象物；在對象物中，將利用設(shè)定有根據(jù)是否為光發(fā)生擴散的環(huán)境來選擇的顏色識別標(biāo)識符的對象部位而特定的外邊緣作為對象物的外邊緣。根據(jù)本發(fā)明，在雨天等光容易擴散的環(huán)境中也能提高對象物的特定精度，因此可以避免錯誤識別。
文檔編號G06T1/00GK102975678SQ20121013897
公開日2013年3月20日 申請日期2012年5月7日 優(yōu)先權(quán)日2011年5月12日
發(fā)明者木戶辰之輔 申請人:富士重工業(yè)株式會社