專利名稱：車載用環(huán)境識別裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于由車載照相機(jī)拍攝到的圖像識別本車輛的周圍環(huán)境的車載用環(huán)境識別裝置。
背景技術(shù)：
近幾年，正在開發(fā)識別汽車等車輛的周圍環(huán)境的照相機(jī)。在利用了照相機(jī)的識別技術(shù)中，能見度不好的夜間識別容易成為問題。特別是，若是后部照相機(jī)等，則不能通過本車輛的前燈對要拍攝的路面進(jìn)行照明，因此得到的影像較暗，能見度低，要求對這種較暗的影像進(jìn)行圖像處理。此外，在后面存在車輛的情況下，盡管周圍較暗，但是由于后續(xù)車輛的前燈非常明亮，因此在通過后部照相機(jī)拍攝的影像中，還會產(chǎn)生其前燈部分明亮且出現(xiàn)白斑的狀態(tài)，容易妨礙正常的識別。專利文獻(xiàn)I公開了如下的技術(shù)，即，利用從視點(diǎn)不同的2個(gè)照相機(jī)看到的鏡面反射成分的強(qiáng)度的差異，判定路面上是否存在鏡面反射光，在存在鏡面反射光的情況下，進(jìn)行除去該鏡面反射光的處理。專利文獻(xiàn)2公開了如下的技術(shù)，S卩，通過檢測作為實(shí)像的車輛燈、和作為虛像的路面反射的組合，從而生成抑制了作為虛像的路面反射的修正圖像。在先技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)IJP特開平11-203446號公報(bào)專利文獻(xiàn)2JP特開2009-65360號公報(bào)在識別車輛周圍的環(huán)境的車載照相機(jī)中，不僅僅是在路面上產(chǎn)生的高亮度的鏡面反射區(qū)域，即便是亮度低的區(qū)域，但與周圍相比亮度較高的區(qū)域?qū)τ趫D像識別應(yīng)用而言也會成為誤檢測原因。特別是，在后部照相機(jī)中，由于沒有本車輛前燈，因此在夜間需要從低對比度的影像檢測行車線或車輛等，所以雖然是低亮度但亮度比周圍的路面高的反射區(qū)域也會成為誤檢測原因。若只將高亮度的反射區(qū)域作為對象，則存在從公知例這樣的圖像上提取的方法，但是低亮度的反射區(qū)域是很難從圖像上搜索的。在專利文獻(xiàn)I中，通過利用立體照相機(jī)，從視點(diǎn)不同的2個(gè)圖像中提取了高亮度的鏡面反射成分，但是在單眼照相機(jī)中，很難確保同一時(shí)刻的視點(diǎn)不同的2張圖像。在專利文獻(xiàn)2中，進(jìn)行利用了實(shí)像和虛像的組合的高亮度的鏡面反射的識別，但是在兼?zhèn)浞庞澈妥R別的照相機(jī)中，畢竟很難將前燈和路面反射看成一體，而且圖像識別應(yīng)用的難以抑制的誤檢測原因在低亮度的反射中比高亮度的反射區(qū)域還要大，直接應(yīng)用專利文獻(xiàn)2的邏輯也難以解決抑制誤檢測的課題。并且，在專利文獻(xiàn)1、2中，由于通過圖像處理來進(jìn)行鏡面反射的識別處理，因此處理負(fù)荷比較大，與將圖像處理限定在提取簡單的高亮度區(qū)域而剩余部分就通過估計(jì)計(jì)算來估計(jì)路面反射區(qū)域的本實(shí)施例相比，存在處理負(fù)荷高的問題
發(fā)明內(nèi)容
本發(fā)明鑒于上述情況而完成，其目的在于，提供一種能夠以更少的處理負(fù)荷防止因周圍車輛的前燈光引起的誤識別的車載用環(huán)境識別裝置。解決上述課題的本發(fā)明的車載用環(huán)境識別裝置的特征在于，基于光源在圖像上的位置，估計(jì)環(huán)境識別時(shí)成為誤檢測原因的燈在路面進(jìn)行反射的圖像上的路面反射估計(jì)圖像區(qū)域，并基于該路面反射估計(jì)圖像區(qū)域，來識別本車輛的周圍環(huán)境。(發(fā)明效果)根據(jù)本發(fā)明，能夠從用于識別本車輛的周圍環(huán)境的處理區(qū)域中，除去成為誤檢測原因的燈的路面反射估計(jì)圖像區(qū)域，能夠正確地識別本車輛的周圍環(huán)境。


圖I是車載用環(huán)境識別裝置的結(jié)構(gòu)圖。
圖2是光源提取部的內(nèi)部結(jié)構(gòu)圖。圖3是燈信息部的內(nèi)部結(jié)構(gòu)圖。圖4是路面反射估計(jì)部的內(nèi)部結(jié)構(gòu)圖。圖5是車載用環(huán)境識別部的內(nèi)部結(jié)構(gòu)圖。圖6是帶有路面反射對策的車道識別部的內(nèi)部結(jié)構(gòu)圖。圖7是帶有路面反射對策的行駛路徑識別部的內(nèi)部結(jié)構(gòu)圖。圖8是帶有路面反射對策的路面標(biāo)識識別部的內(nèi)部結(jié)構(gòu)圖。圖9是說明燈3維位置的估計(jì)方法的圖。圖10是表示隨著照度而不同的配光圖案的圖。圖11是說明漫反射和鏡面反射的圖。圖12是說明漫反射區(qū)域估計(jì)法的圖。圖13是說明鏡面反射區(qū)域估計(jì)法的圖。圖14是按晝夜區(qū)分的反射對策的切換結(jié)構(gòu)圖。圖15是夕陽對策的路面反射信息部的結(jié)構(gòu)圖。圖16是夕陽對策的路面反射估計(jì)部的結(jié)構(gòu)圖。圖17是說明夕陽路面反射區(qū)域估計(jì)法的圖。圖18是車輛檢測部的內(nèi)部結(jié)構(gòu)圖。符號說明100…車載用環(huán)境識別部、200…圖像獲取部、300…光源提取部、400…燈信息部、410…燈判定部、420…燈強(qiáng)度估計(jì)部、430…燈3維位置設(shè)定部、440…配光圖案設(shè)定部、500…路面反射估計(jì)部、510…路面反射系數(shù)決定部、511…天氣判定部、512…路面狀況判定部、520…漫反射位置估計(jì)部、530…鏡面反射位置估計(jì)部、540…路面反射圖像區(qū)域估計(jì)部、541…時(shí)鐘部、600…車載用環(huán)境識別部、610…車道識別部、620 · 路邊識別部、630 · 行駛路徑識別部、640…路面標(biāo)識識別部、650…路面狀況識別部、4000···夕陽對策路面反射信息部、4100…路面反射判定部、4200…反射強(qiáng)度估計(jì)部、4300…反射3維位置設(shè)定部、4400...太陽方位設(shè)定部、4410···本車輛動(dòng)作、5000···夕陽對策路面反射估計(jì)部、5100···路面反射系數(shù)決定部、5200···漫反射位置估計(jì)部、5300···鏡面反射位置估計(jì)部、5400···路面反射圖像區(qū)域估計(jì)部。
具體實(shí)施例方式以下，參照

本實(shí)施方式。[實(shí)施例I]本實(shí)施例的車載用環(huán)境識別裝置是汽車的車載照相機(jī)，例如，與停車支援用的后部照相機(jī)或向駕駛者顯示由旁路照相機(jī)拍攝到的車輛的周圍圖像的車載照相機(jī)內(nèi)一體構(gòu)成。圖I是本實(shí)施例中的車載用環(huán)境識別裝置的結(jié)構(gòu)圖。如圖I所示，車載用環(huán)境識別裝置100作為車載照相機(jī)的ECU的內(nèi)部功能，具有圖 像獲取部200、光源提取部300、燈信息部400、路面反射估計(jì)部500、車載環(huán)境識別部600。圖像獲取部200獲取由單眼照相機(jī)拍攝到的本車輛周邊的圖像，光源提取部300從圖像獲取部200獲取到的圖像中提取光源。燈信息部400判定由光源提取部300提取的光源是否對應(yīng)于在進(jìn)行環(huán)境識別時(shí)成為誤檢測原因的燈，并預(yù)測該燈的3維位置，估計(jì)照射范圍、配光圖案等。路面反射估計(jì)部500根據(jù)由燈信息部400預(yù)測的燈的3維位置、照射范圍、配光圖案等，估計(jì)在路面上生成的鏡面反射或漫反射等，由此估計(jì)在畫面上生成的路面反射估計(jì)圖像區(qū)域。車載用環(huán)境識別部600基于這些路面反射信息，識別白線識別等本車輛的周圍環(huán)境。圖2是圖I的光源提取部的內(nèi)部結(jié)構(gòu)圖。光源提取部300從圖像中將具有預(yù)先設(shè)定的閾值以上的面積的點(diǎn)光源作為光源來提取，如圖2所示，具備用于從拍攝圖像中提取預(yù)先設(shè)定的亮度值以上的光點(diǎn)的2值化部310;對2值化的結(jié)果進(jìn)行標(biāo)記(labeling)并刪除認(rèn)為是標(biāo)記結(jié)果的面積小的噪聲要因的標(biāo)記結(jié)果的標(biāo)記部320 ;提取該標(biāo)記結(jié)果的外切矩形的外切矩形提取部330 ;計(jì)算標(biāo)記結(jié)果的面積的面積提取部340 ;和提取標(biāo)記結(jié)果的重心的重心提取部350。圖3是圖I的燈信息部的內(nèi)部結(jié)構(gòu)圖。燈信息部400基于由光源提取部300提取的光源在圖像上的位置，提取光源在環(huán)境識別時(shí)成為誤檢測原因的燈，估計(jì)包括該燈的燈強(qiáng)度、3維位置和配光圖案的信息在內(nèi)的燈信息。如圖3所示，燈信息部400具備燈判定部410，判定由光源提取部300提取出的光源對于車載用環(huán)境識別裝置100而言是否是可能成為誤檢測原因的燈；燈強(qiáng)度估計(jì)部420，根據(jù)由光源提取部300提取出的光源的面積等，估計(jì)燈的強(qiáng)度；燈3維位置估計(jì)部430，估計(jì)由光源提取部300提取出的光源的3維位置；和配光圖案設(shè)定部440，設(shè)定被判定為燈的光源的照射范圍等配光圖案。另外，在燈判定部410中，也可以利用雷達(dá)部411或晝夜判定部312的結(jié)果來進(jìn)行判定。圖4是圖I的路面反射估計(jì)部的結(jié)構(gòu)圖。如圖4所示，路面反射估計(jì)部500具備路面反射系數(shù)決定部510，決定路面的反射系數(shù)；漫反射位置估計(jì)部520，估計(jì)從燈信息部400提取出的光源在路面上生成的漫反射的位置；鏡面反射位置估計(jì)部530，同樣地估計(jì)從燈信息部提取出的光源在路面上生成的鏡面反射的位置；和路面反射圖像區(qū)域估計(jì)部540，從根據(jù)這些漫反射位置估計(jì)部520和鏡面反射位置估計(jì)部530估計(jì)出的3維路面反射位置中，估計(jì)成為誤檢測原因的圖像上的路面反射估計(jì)圖像區(qū)域。路面反射系數(shù)決定部510基于判定雨天、陰天、晴天等天氣的天氣判定部511的結(jié)果，決定路面反射系數(shù)。在雨天等路面較濕的狀況下，因?yàn)樘幱谇盁粼诼访嫔先菀滓痃R面反射的狀況，所以因鏡面反射而出現(xiàn)白斑的區(qū)域變得比通常狀態(tài)大。因此，有可能成為誤檢測原因的估計(jì)鏡面反射區(qū)域變大，相反，若是晴天且干燥的路面，則鏡面反射較少，更容易產(chǎn)生漫反射。由此，基于路面狀態(tài)決定鏡面反射與漫反射的路面反射系數(shù)，從而估計(jì)作為車道(lane)識別處理區(qū)域?qū)ο笸獾姆瓷鋮^(qū)域。此外，路面反射系數(shù)決定部510也可以基于直接判定路面是濕潤、干燥、積雪等路面狀況的路面狀況判定部512的結(jié)果，而不是基于天氣，來決定路面反射系數(shù)，由此變更光源對圖像區(qū)域帶來的影響范圍的大小。1·
并且，路面反射系數(shù)決定部510也可以根據(jù)基于車載導(dǎo)航513的地圖信息的道路環(huán)境信息、行駛方位等來決定路面反射系數(shù)，在路面反射圖像區(qū)域估計(jì)部540中，根據(jù)車載導(dǎo)航513的太陽的位置關(guān)系、行駛方向等來變更有可能光源在圖像上如白斑那樣作為誤檢測原因而帶來影響的范圍的大小。并且，路面反射系數(shù)決定部510也可以根據(jù)雨刷514的動(dòng)作狀況來判定天氣狀態(tài)，從而決定路面反射系數(shù)。而且，路面反射圖像區(qū)域估計(jì)部540也可以根據(jù)時(shí)鐘部541的時(shí)間來預(yù)測太陽的位置，由此判定晝夜，從而調(diào)整路面反射對圖像區(qū)域帶來的影響范圍的大小。圖5是圖I的車載用環(huán)境識別部600的內(nèi)部結(jié)構(gòu)圖。如圖5所示，車載用環(huán)境識別部600基于由路面反射估計(jì)部500估計(jì)出的圖像上的路面反射估計(jì)圖像區(qū)域，按照各識別應(yīng)用進(jìn)行誤檢測的方式實(shí)施對策。各識別應(yīng)用具備車道識別部610，識別被用于行車線脫離警報(bào)或行車線脫離抑制的道路標(biāo)志；路邊識別部620，識別被用于車輛的行駛區(qū)域脫離警報(bào)或抑制的路邊；行駛路徑識別部630，即使是如工地現(xiàn)場那樣無白線的環(huán)境下，也判定車輛是否能夠行駛；路面標(biāo)識識別部640，識別在路面上畫出的車速等路面標(biāo)識；路面狀況識別部650，判定路面的狀況是干燥還是濕潤，還是有積雪等；和車輛檢測部660，檢測被用于行車線變更支援等的車輛。另外，車載用環(huán)境識別部600并不限于具備上述的各識別應(yīng)用(識別部610 650)的全部的結(jié)構(gòu)，既可以只包括其中的至少任意一個(gè)，也可以包括其他識別部。接著，詳細(xì)說明各部的結(jié)構(gòu)。<關(guān)于光源提取部300〉光源提取部300例如目的并不是為了前燈的控制而檢測其他車輛的燈，其目的在于檢測對于環(huán)境識別而言有可能成為誤檢測原因的光源。因此，由于小的點(diǎn)光源或亮度低的點(diǎn)光源等產(chǎn)生路面反射等的可能性較低，因此從光源提取部300的提取對象中排除。由此，能夠得到減輕處理負(fù)荷且避免多余的誤檢測對策的效果。此外，即使產(chǎn)生了路面反射，也可以將成為車載用環(huán)境識別部600中的識別應(yīng)用的處理區(qū)域外這樣的2行車線相鄰的車輛的前燈等先當(dāng)作發(fā)現(xiàn)光源的圖像處理區(qū)域的對象外。此外，存在于比圖像上的消失點(diǎn)更靠上的光源被識別為位于比照相機(jī)更高的位置的光源，因此看作是路燈或信號燈的光，也可以從處理對象中排除。此外，也可以根據(jù)天氣變更處理區(qū)域。例如，在雨天或雨后濕潤的道路上容易產(chǎn)生路面上的鏡面反射而在通常的干燥的道路上不易產(chǎn)生的路燈或信號燈的光的鏡面反射容易妨礙(誤檢測原因)本車輛的周圍環(huán)境的識別。因此，提取與天氣或道路狀況相應(yīng)的處理區(qū)域內(nèi)的光源。圖2的結(jié)構(gòu)圖所示的方法只是一例，不需要一定具備內(nèi)部的全部處理，只要是能夠確定光源在圖像上的位置的方法即可。此外，本實(shí)施例中的車載用環(huán)境識別裝置100主要防止在夜間誤檢測后續(xù)車輛的燈，因此，在周圍環(huán)境明亮的情況下，例如在白天、或被照明的室內(nèi)停車場、或隧道等中，不一定要使這些光源提取部300的光源提取處理、燈信息部400的燈判定處理、路面反射估計(jì)部500的路面反射估計(jì)處理等進(jìn)行動(dòng)作。因此，也可以利用通過導(dǎo)航的協(xié)作完成的來自GPS位置的時(shí)鐘(時(shí)刻)、隧道等的地圖信息等，來停止光源提取部300、燈信息部400、路面反射估計(jì)500的動(dòng)作。作為用于切換動(dòng)作的起動(dòng)、停止的信息，可以利用前燈的開與關(guān)、或用于自動(dòng)控制前燈的開與關(guān)的照度傳感器等的信號。此外，通過晝夜判定部312，利用照相機(jī)的快門速度、增益、或拍攝結(jié)果來實(shí)施晝夜 的判定，并基于該判定結(jié)果，停止光源提取部300、燈信息部400、路面反射估計(jì)500的動(dòng)作。除此之外，也可以利用路車間通信、車車間通信等信息。此外，也可以利用光源提取部300的結(jié)果，判定燈信息部400和路面反射估計(jì)部500的處理的暫時(shí)停止?；蛘?，也可以利用光源提取部300和燈信息部400的結(jié)果來實(shí)施晝夜的判定，由此停止路面反射估計(jì)部500的動(dòng)作。此外，不一定要實(shí)施晝夜的判定，也可以基于周圍的光源環(huán)境，停止路面反射估計(jì)部500或者光源提取部300和燈信息部400的動(dòng)作。<關(guān)于燈信息部400〉燈判定部410對從圖像上提取出的光源實(shí)施判定是否是被估計(jì)為產(chǎn)生路面反射的燈的處理。在現(xiàn)有的公知例等中，由于實(shí)施識別路面反射自身的處理，因此不僅處理負(fù)荷高，而且由一個(gè)照相機(jī)檢測光源和路面反射一體化的后續(xù)車輛的燈是很難的。此外，即使求出了路面反射的高亮度的鏡面反射區(qū)域，也很難識別在高亮度區(qū)域(鏡面反射區(qū)域)的周圍較廣的低亮度的反射區(qū)域或漫反射區(qū)域在什么方向上以什么程度延伸。在本方法中，應(yīng)用用于CG陰影附加的Phong反射模型，來估計(jì)路面反射區(qū)域，從而估計(jì)低亮度的反射區(qū)域，并將其設(shè)定在圖像識別的處理區(qū)域?qū)ο笸?，從而成功抑制了誤檢測。在本實(shí)施例中，應(yīng)用Phong反射模型，基于下述的模型來估計(jì)反射區(qū)域。Phong反射模型由“鏡面反射”、“漫反射”、“環(huán)境反射”這3種反射成分來定義物體表面的反射，根據(jù)這些3種反射成分，利用于物體的陰影附加。根據(jù)該P(yáng)hong反射模型的3種反射成分，從夜間前燈引起的反射之中篩選對于車載用環(huán)境識別部而言成為誤檢測原因的反射成分。分析由車載照相機(jī)獲取的影像可知，環(huán)境反射是指來自其他物體的2次反射等引起的光的反射，由于對物體附加均勻的色調(diào)，因此不會成為車載環(huán)境識別部的誤檢測原因。其次是漫反射光，但在具有方向性的前燈照射路面的情況下，前燈面向的路面的亮度高，且越是遠(yuǎn)方或者離燈的方向性的朝向較遠(yuǎn)則亮度降低，與周邊的路面產(chǎn)生亮度差，因此可知漫反射光是誤檢測原因之一。最后是鏡面反射光，對于該反射光而言，在從前燈的光源連接本車輛照相機(jī)的直線上的路面上鏡面反射的光生成的反射區(qū)域，與周圍的路面相比較亮，因此可知該反射光也會成為誤檢測原因。因此，作為由夜間前燈引起的誤檢測的對策，利用與周圍的路面亮度相比具有提高亮度的效果的“鏡面反射”、“漫反射”這兩者，估計(jì)對于圖像識別而言容易成為誤檢測的原因的反射區(qū)域。在現(xiàn)有的公知例中，原本只考慮了鏡面反射，或者即使僅判定高亮度的區(qū)域是容易從圖像處理中提取的，但僅通過圖像處理搜索雖然是低亮度但是亮度比周圍高的反射區(qū)域并不是容易的。本實(shí)施例通過圖像處理實(shí)施可比較簡單地實(shí)施的高亮度區(qū)域的提取，并從提取出的光源中僅估計(jì)會成為圖像識別的誤檢測原因的反射區(qū)域，從而大幅抑制要進(jìn)行圖像搜索的量，并且對反射區(qū)域進(jìn)行估計(jì)計(jì)算，從而大幅削減處理負(fù)荷的同時(shí)，成功確定了在現(xiàn)有方法中比較難的、雖然是低亮度但與周圍環(huán)境相比會因反射而導(dǎo)致亮度變高的區(qū)域。并且，將提取出的光源限定為行駛在與本車輛相同的道路上的車輛的前燈，從而還可以將在公知例等中未涉及的漫反射所產(chǎn)生的反射區(qū)域也估計(jì)為對于圖像識別而言成為誤檢測原因的反射區(qū)域。由此，成功實(shí)現(xiàn)了在現(xiàn)有方法比較難的因漫反射產(chǎn)生的反射區(qū)域的估計(jì)、以及雖然是低亮度但與周圍環(huán)境相比亮度較高的鏡面/漫反射區(qū)域的估計(jì)。由此，能夠更可靠地對應(yīng)各圖像識別應(yīng)用，為各圖像識別應(yīng)用的自適應(yīng)范圍擴(kuò)大做貢獻(xiàn)?！榱饲蟪鲆蚯盁舢a(chǎn)生的有可能成為誤檢測原因的區(qū)域，從phong反射模型的反射成分中利用漫反射成分和鏡面反射成分，在路面上的區(qū)域中計(jì)算出關(guān)注點(diǎn)的亮度I。關(guān)注點(diǎn)亮度I可以表現(xiàn)為漫反射成分Kd (L · N) id與鏡面反射成分Ks (R · V) α、之和?；趫D11(a)考慮的話，漫反射成分可由表示在路面上哪些光沒有被吸收而是被反射的相對于入射光的漫反射率Kd、根據(jù)提取出的光源的位置得到的光線方向向量L、假設(shè)物體全部為水平的路面時(shí)垂直向上的法線向量N、和來自成為誤檢測原因的光源的擴(kuò)散光源的光強(qiáng)度id來表示。漫反射率原本根據(jù)入射光的波長、即顏色的不同而不同，但是本次，由于路面的顏色或燈都不是彩度高的顏色，因此假設(shè)不存在因入射光的波長的變化。如圖11(c)所示，將實(shí)際的鏡面反射光的聚光情況也設(shè)為α的系數(shù)，增大α?xí)r，意味著接近如接近圖11(b)的狀態(tài)的鏡子的反射。假設(shè)反射光的強(qiáng)度依賴于表示路面以什么程度進(jìn)行鏡面反射的鏡面反射系數(shù)Ks、成為誤檢測原因的前燈的鏡面反射光的強(qiáng)度is、照相機(jī)方向向量V和光源方向向量R而產(chǎn)生變化，由此估計(jì)鏡面反射成分。根據(jù)這些漫反射成分和鏡面反射成分估計(jì)路面亮度，并估計(jì)有可能成為反射誤檢測原因的區(qū)域。I :關(guān)注點(diǎn)亮度Kd :擴(kuò)散反射系數(shù)L :向光源的方向向量N:物體法線向量id:擴(kuò)散光強(qiáng)度Ks :鏡面反射系數(shù)R :光線完全被反射的方向向量V:朝向照相機(jī)的方向向量
α :鏡面反射的聚光度is :鏡面光強(qiáng)度I = Kd (L · N) id+Ks (R · V) α is由此，提取成為反射要因的光源，在不識別反射區(qū)域的情況下進(jìn)行估計(jì)，從而還能夠估計(jì)亮度低的反射區(qū)域，成功削減了誤檢測。首先，Phong反射模型的一部、即漫反射成分和鏡面反射成分中，上述的式子成立，但是不同于CG環(huán)境，并不是所有都是已知的，因此在車載照相機(jī)的圖像識別的環(huán)境下，不能直接進(jìn)行計(jì)算。以上述式子為基本概念，利用從圖像獲得的信息，說明如何應(yīng)用于反射區(qū)域估計(jì)的計(jì)算中。說明光源的3維位置。在3維的位置關(guān)系中，需要照相機(jī)位置、路面位置和光源位置各自的相對關(guān)系。首先，并不是針對全部光源計(jì)算反射區(qū)域，而是將其他車輛的燈作為對象，基于提取出的光源在圖像上的位置，判定是否是可估計(jì)為產(chǎn)生路面反射的燈。作為估計(jì)為產(chǎn)生路面反射的燈，燈判定部410例如判定是否為其他車輛的前燈。 之前，也可以通過實(shí)施燈3維位置設(shè)定部430的計(jì)算，用于圖像提取光源是否為可產(chǎn)生路面反射的燈的判定中。此外，也可以通過分析光源的形狀、圖案、顏色信息，從而判定是否為產(chǎn)生路面反射的燈。此外，也可以實(shí)施圖像上的跟蹤并分析其動(dòng)作，從而判斷是路面上的靜止物還是其他車輛的前燈，由此判斷是否實(shí)施用于誤檢測的路面反射對策。此外，也可以與雷達(dá)部411的車輛檢測結(jié)果、或者立體物識別結(jié)果相比較，從而判定是否為其他車輛的前燈。此外，除了雷達(dá)部411外，還可以利用立體照相機(jī)的立體物識別結(jié)果、車車間通信的結(jié)果、或路車間通信的結(jié)果。由此，本車輛照相機(jī)與光源的相對3維位置成為已知，且由于假設(shè)反射是水平的路面，因此，具備了用于針對圖像上的某一路面I點(diǎn)計(jì)算反射光的強(qiáng)度的信息。首先，在擴(kuò)散光反射中，若向光源的方向向量對圖像上的路面I點(diǎn)進(jìn)行3維位置估計(jì)，則光源位置和路面I點(diǎn)的3維位置都也已知，能夠根據(jù)該向量計(jì)算方向。此外，由于假設(shè)了路面是水平的，因此物體的法線向量全部都是垂直向上的。若考慮這些，已知路面上的漫反射系數(shù)和前燈的擴(kuò)散光強(qiáng)度，則之后可計(jì)算圖像上的路面每I點(diǎn)的亮度。但是，在此考慮的是假設(shè)路面全部為水平，考慮來自光源的方向向量，之后與擴(kuò)散光強(qiáng)度和漫反射系數(shù)的相乘結(jié)果成比例地決定其亮度。也就是說，如圖10所示，若以車輛的前燈位置為基準(zhǔn)預(yù)先計(jì)算了路面上的亮度表示什么樣的等高線，則可知針對該結(jié)果，利用擴(kuò)散光強(qiáng)度和漫反射系數(shù)的相乘結(jié)果從而等高線成比例地變化。也就是說，可知在實(shí)時(shí)計(jì)算中，只需要運(yùn)算漫反射系數(shù)和擴(kuò)散光強(qiáng)度，而其他計(jì)算在初始化時(shí)預(yù)先計(jì)算即可。但是，若按上述說明那樣計(jì)算漫反射光成分，則如圖10所示，不會成為由實(shí)際的前燈表現(xiàn)出的配光圖案。這是因?yàn)?，將由Phong反射模型定義的光基本上考慮成點(diǎn)光源，并直接應(yīng)用于Phong式時(shí)，估計(jì)出了點(diǎn)光源正下方的路面最亮、而隨著漸漸遠(yuǎn)離此處就會變暗的圓狀的等高線。因此，為了計(jì)算具有方向性的前燈產(chǎn)生的擴(kuò)散光的路面反射成分，按照如下方式修正計(jì)算結(jié)果即可，即從前燈照得最亮的方向的向量與向光源的向量的點(diǎn)積中，隨著角度遠(yuǎn)離，使擴(kuò)散光強(qiáng)度衰減。在本實(shí)施例中，最初就認(rèn)為很難細(xì)微地識別每個(gè)車輛的前燈的不同，預(yù)先定義某一方向性的方向，以此為基準(zhǔn)，致力于計(jì)算如圖10所示的配光圖案。
另外，在因路面狀況而容易產(chǎn)生漫反射的情況下等，也可以擴(kuò)展誤檢測原因的對象，使由燈信息部400處理的光源除了其他車輛的前燈之外，還包括路燈等其他光源。但是，也可以是還預(yù)先準(zhǔn)備無方向性的光源時(shí)的配光圖案等，從而選擇路燈產(chǎn)生的漫反射的配光圖案，并用于誤檢測抑制。在燈判定部410中，從誤檢測原因的對象中排除了在路面上不產(chǎn)生反射的光源，因此相應(yīng)地，能夠省略后述的燈強(qiáng)度估計(jì)部420、燈3維位置設(shè)定部430、配光圖案設(shè)定部440中的無用處理負(fù)荷、以及之后的車道識別等各應(yīng)用中的無用處理負(fù)荷。燈強(qiáng)度估計(jì)部420估計(jì)由燈判定部410判定為產(chǎn)生了路面反射的燈的燈強(qiáng)度(光強(qiáng)度)。在該燈中除了其他車輛的燈之外還包括路燈等其他光源的情況下，還估計(jì)該光源的光強(qiáng)度。燈強(qiáng)度估計(jì)部420基于在圖像上出現(xiàn)白斑的區(qū)域的面積，估計(jì)燈強(qiáng)度。在本實(shí)施例中，根據(jù)圖像上的白斑面積，估計(jì)擴(kuò)散光強(qiáng)度和鏡面光強(qiáng)度。
在可獲得或者可分析實(shí)際的照相機(jī)快門速度或增益等設(shè)定信息的情況下，也可以通過利用該值來估計(jì)燈強(qiáng)度。但是，由于燈離地面的高度、道路的傾斜度等不明點(diǎn)特別多，因此后續(xù)車輛的正確的位置和姿勢雖然也依賴于最終所需的反射區(qū)域的估計(jì)精度，但是與詳細(xì)的分析相比，只要根據(jù)圖像上的光源面積與反射大小的相關(guān)性來實(shí)施簡單的計(jì)算也是充分實(shí)用的。不過，可以說這是因?yàn)樽罱K的應(yīng)用是車道識別、路邊檢測、行駛路徑識別這樣即使從處理區(qū)域中刪除一部分也可以通過利用其他區(qū)域來識別的應(yīng)用，所以才成立的。對于步行者檢測或車輛檢測而言，作為處理區(qū)域?qū)ο笸庖馕吨粰z測來到該區(qū)域的車輛，因此作為不能檢測車輛的狀況，成為系統(tǒng)放棄(systemgive up)。因此，若是用于防止或抑制碰撞的步行者檢測或車輛檢測，則并不是完全從處理區(qū)域?qū)ο笈懦?，而是認(rèn)為該區(qū)域是高亮度且產(chǎn)生反射的可能性高，雖然不會從識別處理的對象中排除，但是與其他區(qū)域相比變更參數(shù)、或者使其實(shí)施不同的識別處理來應(yīng)付。特別是在應(yīng)用中，在行車線檢測或路邊識別中，容易將在畫面上亮度高且處于線上的物體當(dāng)作誤檢測對象。對于高亮度的區(qū)域，通過公知例等的基于圖像處理的提取方法也容易判斷是路面反射等，但是在從前燈延伸的反射中，若是雖然不是高亮度但是與路面相比亮度還是較高的反射，則即使利用現(xiàn)有公知技術(shù)也很難區(qū)分到哪里為止是反射而到哪里為止是路面。在本實(shí)施例中，獲取后續(xù)車輛的前燈在要因中產(chǎn)生的反射的特征，利用簡化之后的模型成功實(shí)現(xiàn)了路面反射區(qū)域的估計(jì)。但是，即使在無法獲得實(shí)際的照相機(jī)的設(shè)定信息的情況下，也可以根據(jù)出現(xiàn)白斑的面積的大小來估計(jì)路面反射對照相機(jī)帶來的什么程度的影響。若是縱向非常長的白斑，則也可以判斷為是在路面反射和燈兩者相連的狀態(tài)下出現(xiàn)了白斑。在此，在圖像上雖然亮度高但可看作是面積非常小的點(diǎn)光源的情況下，大多情況是遠(yuǎn)方車輛的前燈等，實(shí)際上該燈成為要因的路面反射會成為誤檢測原因的可能性非常低。由此，實(shí)際上即使是車輛的前燈的光源，為了判定是否有可能成為因路面反射引起的各識別應(yīng)用610 650的誤檢測原因，進(jìn)行燈強(qiáng)度的估計(jì)，將小于某一強(qiáng)度的燈排出反射對策的對象外。此外，將認(rèn)為以某一強(qiáng)度以上的燈引起路面反射的燈，該燈的路面反射作為是否帶來很大且較廣的影響的指標(biāo)。燈3維位置設(shè)定部430根據(jù)圖像上的光點(diǎn)估計(jì)燈的3維位置。若是立體照相機(jī)，則還能夠基于三角測量的原理估計(jì)3維位置，但若是單眼照相機(jī)，則只能估計(jì)圖像上的位置信息，很難確定光源的3維位置。因此，在本實(shí)施例中，追加3維的制約條件后估計(jì)燈的3維位置，并估計(jì)為各燈的3維位置。圖9是說明燈3維位置估計(jì)方法的圖，圖9 (a)是通過作為單眼照相機(jī)的后部照相機(jī)拍攝并2值化之后的圖像的示意圖，圖9(b)是表示照相機(jī)的高度位置與燈的假定高度位置之間的關(guān)系的圖。另外，在圖9(a)中，符號WL表示規(guī)定行車線的白線。如圖9(a)所示，根據(jù)圖像91上的位于右上方的光點(diǎn)92、92的圖像信息，能夠確定在3維世界上的一根線上存在光點(diǎn)92、92。雖然不能確定其他車輛(未圖示)的燈的高度，但是在本實(shí)施例中，將燈高度假設(shè)為距地面高O. 6m的高度，估計(jì)燈92、92的本車輛至燈為止的車輛前后方向的距離、車寬方向的距離、燈距地面的高度。如圖9(b)所示，將連接照相機(jī)的鏡頭中心和圖像上的光點(diǎn)的直線估計(jì)為距地面 的高度為O. 6m的平面，將交叉的一點(diǎn)96估計(jì)為燈3維位置。在此，利用燈92的3維位置信息，不僅用于燈92是否為產(chǎn)生路面反射的燈的判定中，還估計(jì)從燈92的3維位置起在路面上的哪個(gè)3維位置產(chǎn)生路面反射。在此估計(jì)出的燈的3維位置是基于已在路面上60cm這樣的修改求出的3維信息，因此該3維位置信息中存在某種程度的誤差。此外，若還能夠正確地掌握路面的傾斜度或凹凸等，則進(jìn)行所考慮的路面反射估計(jì)是正確的，但是，由于在已經(jīng)將車輛的前燈的高度位置設(shè)為60cm這樣的假定情況下進(jìn)行了計(jì)算，因此即使是假定為路面無凹凸的計(jì)算，也能夠充分成為有利用價(jià)值的反射區(qū)域的位置估計(jì)。配光圖案設(shè)定部440基于在燈3維位置設(shè)定部430中設(shè)定的燈的3維位置，設(shè)定燈的配光圖案。也可以因不同國別而使左右不對稱的配光圖案反轉(zhuǎn)。此外，若是估計(jì)為光源雖不是前燈但是會產(chǎn)生漫反射的點(diǎn)光源等，則選擇不同于前燈的配光圖案。配光圖案基本上是為了估計(jì)漫反射引起的路面反射位置而設(shè)定的。但是，還如圖4中所示，在該時(shí)刻，已估計(jì)出燈強(qiáng)度，但是由于未估計(jì)路面反射強(qiáng)度，因此在此只表示是什么類型的配光圖案，而作為數(shù)據(jù)的信息，如圖10所示，在燈信息部400中選擇世界坐標(biāo)上的等高線上的繪圖數(shù)據(jù)。圖10是表不隨著照度而不同的配光圖案的圖，圖10(a)是俯視圖，圖10(b)是側(cè)視圖。雖然各車輛的前燈的形狀及車體的姿勢都互不相同，但是很難按車種分開應(yīng)對，因此在本實(shí)施例中，以所有車型相同的前燈形狀、后續(xù)車輛與本車輛平行地前進(jìn)的情況作為前提來計(jì)算反射。根據(jù)具有方向性的前燈的光軸向量和向光源的方向向量的點(diǎn)積表現(xiàn)方向性的光，而且根據(jù)光源方向向量與方向向量的點(diǎn)積計(jì)算了漫反射成分。在圖5定義的路面反射估計(jì)部500的路面反射系數(shù)決定部中，決定漫反射系數(shù)和鏡面反射系數(shù)。在此，說明漫反射系數(shù)的估計(jì)。對于漫反射系數(shù)，根據(jù)路面的種類或者天氣來總結(jié)為漫反射系數(shù)的表格(表I)，并分別根據(jù)路面狀況的變化或天氣的狀況來使其變更。路面越白漫反射系數(shù)就越大，而且路面越干漫反射系數(shù)就越大。浙青的較暗的路面、或下雨后路面的顏色看上去較暗時(shí)，漫反射系數(shù)變小。在路面濕潤的情況下，雖然鏡面反射系數(shù)大，但是漫反射系數(shù)變小。表I
漫反射系數(shù)表格
權(quán)利要求
1.一種車載用環(huán)境識別裝置，其基于由車載照相機(jī)拍攝到的圖像來識別本車輛的周圍環(huán)境，該車載用環(huán)境識別裝置的特征在于，具備 光源提取部，其從所述圖像中提取光源； 燈信息部，其基于所述光源在所述圖像上的位置，提取出引起該光源在環(huán)境識別時(shí)成為誤檢測原因的路面反射的燈； 路面反射估計(jì)部，其估計(jì)所述燈在路面進(jìn)行反射的所述圖像上的路面反射估計(jì)圖像區(qū)域；和 車載用環(huán)境識別部，其基于該路面反射估計(jì)圖像區(qū)域，來識別本車輛的周圍環(huán)境。
2.根據(jù)權(quán)利要求I所述的車載用環(huán)境識別裝置，其特征在于， 所述燈信息部估計(jì)包括提取出的燈的燈強(qiáng)度、或3維位置、或配光圖案的信息之中的一個(gè)信息在內(nèi)的燈信息， 所述路面反射估計(jì)部基于所述燈信息，估計(jì)所述燈在路面進(jìn)行反射的所述圖像上的路面反射估計(jì)圖像區(qū)域。
3.根據(jù)權(quán)利要求2所述的車載用環(huán)境識別裝置，其特征在于， 光源提取部從所述圖像中將具有預(yù)先設(shè)定的閾值以上的面積的點(diǎn)光源作為所述光源提取出。
4.根據(jù)權(quán)利要求2所述的車載用環(huán)境識別裝置，其特征在于， 所述燈信息部具備 燈判定部，其基于由所述光源提取部提取出的光源在圖像上的位置，判定所述光源是否為所述燈； 燈強(qiáng)度估計(jì)部，其基于在所述圖像中因所述燈而出現(xiàn)白斑的區(qū)域的面積，來估計(jì)所述燈的燈強(qiáng)度； 燈3維位置設(shè)定部，其基于所述燈在圖像上的位置，來設(shè)定該燈的3維位置；和 配光圖案設(shè)定部，其基于由該燈3維位置設(shè)定部所設(shè)定的所述燈的3維位置，來設(shè)定所述燈的配光圖案， 將由所述燈強(qiáng)度估計(jì)部估計(jì)出的燈強(qiáng)度低于預(yù)先設(shè)定的燈強(qiáng)度的燈判定為并非成為誤檢測原因的燈的對象。
5.根據(jù)權(quán)利要求I所述的車載用環(huán)境識別裝置，其特征在于， 所述路面反射估計(jì)部估計(jì)所述燈在路面上產(chǎn)生的漫反射位置和鏡面反射位置，并基于該估計(jì)出的漫反射位置和所述鏡面反射位置，來估計(jì)所述路面反射估計(jì)圖像區(qū)域。
6.根據(jù)權(quán)利要求5所述的車載用環(huán)境識別裝置，其特征在于， 所述路面反射估計(jì)部根據(jù)行駛環(huán)境來決定路面反射系數(shù)，并根據(jù)該路面反射系數(shù)變更所述路面反射估計(jì)圖像區(qū)域。
7.根據(jù)權(quán)利要求6所述的車載用環(huán)境識別裝置，其特征在于， 所述行駛環(huán)境是天氣狀況、路面狀況、由車載導(dǎo)航提供的信息、雨刷的動(dòng)作狀態(tài)、時(shí)刻的至少一個(gè)。
8.根據(jù)權(quán)利要求I所述的車載用環(huán)境識別裝置，其特征在于， 所述車載用環(huán)境識別部將所述路面反射估計(jì)圖像區(qū)域作為識別所述車輛的周圍環(huán)境的識別應(yīng)用中的不檢測區(qū)域。
9.根據(jù)權(quán)利要求8所述的車載用環(huán)境識別裝置，其特征在于， 所述車載用環(huán)境識別部作為所述識別應(yīng)用而包括車道識別、路邊識別、行駛路徑識別、路面標(biāo)識識別、路面狀況識別的至少I個(gè)。
10.根據(jù)權(quán)利要求I所述的車載用環(huán)境識 別裝置，其特征在于，具備 晝夜判定部，其判定晝夜； 夕陽對策路面反射信息部，在由該晝夜判定部判定為是需要考慮太陽光的時(shí)間帶的情況下，判定由所述光源提取部提取出的光源是否為在環(huán)境識別時(shí)成為誤檢測原因的太陽光；和 夕陽對策路面反射估計(jì)部，其估計(jì)由該夕陽對策路面反射信息部判定為成為誤檢測原因的太陽光在路面進(jìn)行反射的所述圖像上的路面反射估計(jì)圖像區(qū)域， 所述車載用環(huán)境識別部基于由該夕陽對策路面反射估計(jì)部和所述路面反射估計(jì)部中的至少一個(gè)估計(jì)出的路面反射估計(jì)圖像區(qū)域，來識別本車輛的周圍環(huán)境。
11.根據(jù)權(quán)利要求10所述的車載用環(huán)境識別裝置，其特征在于， 所述夕陽對策路面反射信息部具備 路面反射判定部，其判定是否為因路面上的反射引起的光源； 反射強(qiáng)度估計(jì)部，其估計(jì)路面反射的光的強(qiáng)度； 反射3維位置設(shè)定部，其設(shè)定產(chǎn)生反射的路面3維位置；和 太陽方位設(shè)定部，其設(shè)定成為路面反射的原因的太陽的方位。
12.根據(jù)權(quán)利要求10所述的車載用環(huán)境識別裝置，其特征在于， 所述夕陽對策路面反射估計(jì)部估計(jì)所述光源在路面上產(chǎn)生的漫反射區(qū)域和鏡面反射區(qū)域，并基于該估計(jì)出的漫反射區(qū)域和鏡面反射區(qū)域，來估計(jì)所述路面反射估計(jì)圖像區(qū)域。
全文摘要
本發(fā)明提供一種車載用環(huán)境識別裝置。車載用環(huán)境識別裝置(100)具備光源提取部(300)，其從圖像中提取光源；燈信息部(400)，其基于源在圖像上的位置，提取光源在環(huán)境識別時(shí)成為誤檢測原因的燈，并估計(jì)包括燈的燈強(qiáng)度、3維位置和配光圖案的信息在內(nèi)的燈信息；路面反射估計(jì)部(500)，其基于燈信息，估計(jì)燈被路面反射的圖像上的路面反射估計(jì)圖像區(qū)域；車載用環(huán)境識別部(600)，其基于路面反射估計(jì)圖像區(qū)域，識別本車輛的周圍環(huán)境。因此，可獲得能夠以更少的處理負(fù)荷防止因周圍車輛的前燈光引起的誤識別的車載用環(huán)境識別裝置。
文檔編號G06K9/00GK102902952SQ201210256389
公開日2013年1月30日 申請日期2012年7月23日 優(yōu)先權(quán)日2011年7月28日
發(fā)明者竹村雅幸, 村松彰二, 志磨健, 坂田雅男 申請人:株式會社日立制作所