專利名稱：車外環(huán)境識別裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種車外環(huán)境識別裝置，其對由搭載在車輛上的立體照相機(jī)拍攝的圖像進(jìn)行處理，識別車外環(huán)境。
背景技術(shù)：
近年來，對于汽車等車輛，開發(fā)并應(yīng)用了對于駕駛者的各種駕駛輔助技術(shù)，其檢測前行車或障礙物，判定與其碰撞的危險(xiǎn)度，向駕駛者發(fā)出警報(bào)，或者自動(dòng)地使制動(dòng)器動(dòng)作而使車輛停止，或者自動(dòng)增減行駛速度等，以保持與前行車的車間距離而保證安全。在通常的道路狀況下，本車輛的前方存在多個(gè)車輛或障礙物，存在與上述全部車輛或障礙物碰撞的可能性。因此，駕駛汽車的駕駛者不僅是對本車輛前方的車輛，對全部車輛或障礙物都必須留意。因此，在專利文獻(xiàn)1中公開了一種技術(shù)，其同時(shí)評價(jià)包含與前行車追尾的碰撞因素在內(nèi)的圍繞車輛的各種危險(xiǎn)因素，將最重要的危險(xiǎn)因素告知駕駛者。專利文獻(xiàn)1 日本特開平5巧似91號公報(bào)

實(shí)用新型內(nèi)容但是，在通常的道路狀況下，作為必須留意的碰撞因素，不限于車輛，也包括行人、 自行車、摩托車等各種因素，為了判斷與這些因素碰撞的可能性，必須識別道路白線、護(hù)欄、 與障礙物的位置關(guān)系等整體交通環(huán)境，如專利文獻(xiàn)1所述，關(guān)于本車輛前方的碰撞，僅設(shè)定與前行車的碰撞是不充分的，不僅如此，為了識別車外環(huán)境需要多個(gè)傳感器，從而造成成本上升。本實(shí)用新型是鑒于上述問題提出的，目的在于提供一種車外環(huán)境識別裝置，其可以根據(jù)由立體照相機(jī)拍攝的圖像識別整個(gè)車外環(huán)境，還可以高精度地掌握不限于車輛的各種立體物的位置關(guān)系。為了實(shí)現(xiàn)上述目的，本發(fā)明涉及的車外環(huán)境識別裝置具有2臺一組立體照相機(jī)， 其搭載在車輛上；圖像處理引擎，其對由上述立體照相機(jī)拍攝的一對圖像進(jìn)行處理，獲取整個(gè)畫面范圍內(nèi)的三維位置信息；以及識別控制器，其根據(jù)由上述圖像處理引擎獲取的三維位置信息，識別車外環(huán)境。實(shí)用新型的效果根據(jù)本發(fā)明，可以根據(jù)由立體照相機(jī)拍攝的圖像識別整個(gè)車外環(huán)境，還可以高精度地掌握不限于車輛的各種立體物的位置關(guān)系。

圖1是搭載在車輛上的車外環(huán)境識別裝置的外觀圖。圖2是應(yīng)用車外環(huán)境識別裝置的駕駛輔助裝置的結(jié)構(gòu)圖。圖3是立體匹配的說明圖。圖4是表示攝像圖像的例子的說明圖。[0014]圖5是表示距離圖像的說明圖。圖6是識別控制器的功能框圖。圖7是控制用控制器的功能框圖。
具體實(shí)施方式
下面，參照附圖說明本發(fā)明的實(shí)施方式。在圖1中，標(biāo)號1表示汽車等車輛(本車輛)，在該車輛1的前擋風(fēng)玻璃2內(nèi)側(cè)的上部設(shè)置立體照相機(jī)單元2，其由2臺1組的照相機(jī)構(gòu)成，從不同的視角拍攝對象物。該立體照相機(jī)單元2形成車外環(huán)境識別裝置，其利用立體照相機(jī)周期性地拍攝車外環(huán)境，對拍攝到的立體圖像對進(jìn)行處理，三維地識別車外環(huán)境。如圖2所示，立體照相機(jī)單元2與車載的各種控制單元連接，并被應(yīng)用于根據(jù)行駛環(huán)境的識別結(jié)果對駕駛者進(jìn)行各種駕駛輔助的駕駛輔助裝置10中。該駕駛輔助裝置10 構(gòu)成為，以立體照相機(jī)單元2為中心，在立體照相機(jī)單元2上經(jīng)由由CAN等組成的通信母線 100而連接各種控制單元，作為與通信母線100連接的控制單元，包括發(fā)動(dòng)機(jī)控制用的發(fā)動(dòng)機(jī)控制器3、變速器控制用的傳動(dòng)控制器4、包含制動(dòng)器控制在內(nèi)的車體動(dòng)作控制用的車輛動(dòng)態(tài)控制器(VDC) 5、進(jìn)行由多功能顯示器(MFD)等組成的儀表的顯示控制的儀表控制單元 6、以及檢測本車輛的當(dāng)前位置并在地圖上顯示而進(jìn)行路線引導(dǎo)等的導(dǎo)航單元7。另外，導(dǎo)航單元7作為駕駛輔助裝置10來說不是必需的，但使用來自導(dǎo)航單元7 的信息，可以補(bǔ)充由立體照相機(jī)單元2得到的識別結(jié)果。 立體照相機(jī)單元2所具有的立體照相機(jī)20，具有例如CXD或CMOS等攝像元件，由快門速度可變且彼此同步的1組(左右)照相機(jī)20a、20b構(gòu)成。這兩臺照相機(jī)20a、20b，按照使彼此的光軸大致平行的方式，以規(guī)定的基線長度(光軸間距)而機(jī)械地固定，根據(jù)由兩臺照相機(jī)20a、20b拍攝的一對圖像間的相對于同一個(gè)物體的視差，使用照相機(jī)安裝位置或焦距等照相機(jī)參數(shù)，可以根據(jù)三角測量原理求出距離。因此，立體照相機(jī)單元2除了立體照相機(jī)20之外，還具有圖像處理引擎30，其對由立體照相機(jī)20拍攝的一對立體圖像進(jìn)行處理，高速地獲得整個(gè)畫面范圍內(nèi)的三維位置信息；以及識別控制器40，其使用來自立體照相機(jī)20的原圖和三維位置信息，識別處理道路形狀或路面狀態(tài)、道路附屬設(shè)施、路上的行人或立體物等。此外，立體照相機(jī)單元2還具有控制用控制器50，其根據(jù)由立體圖像處理得到的識別結(jié)果，統(tǒng)一進(jìn)行用于駕駛輔助的各種控制，使這些立體照相機(jī)20、圖像處理引擎30、和識別控制器40成為一體化的單元而構(gòu)成。圖像處理引擎30將由立體照相機(jī)20拍攝的一對立體圖像中的一幅作為基準(zhǔn)圖像，將另一幅作為比較圖像，通過立體匹配求出基準(zhǔn)圖像與比較圖像的對應(yīng)位置的偏差量， 生成基于該偏差量的距離圖像作為距離信息。作為立體匹配，例如可以使用公知的區(qū)域搜索法，評價(jià)基準(zhǔn)圖像與比較圖像的相關(guān)度。在本實(shí)施方式中，作為相關(guān)度的評價(jià)參數(shù)，計(jì)算基準(zhǔn)圖像的小區(qū)域(區(qū)塊)和比較圖像的小區(qū)域(區(qū)塊)間的像素值的差值(絕對值)的總和(SAD:Sum of AbsoluteDifference)。作為像素值，一般使用各像素的亮度值。基于SAD的評價(jià)參數(shù)的值被稱為城市街區(qū)(city block)距離，區(qū)塊間的相關(guān)性越高(越類似)，城市街區(qū)距離的值越小，根據(jù)城市街區(qū)距離取最小值的區(qū)塊間的水平方向的位移量，可得到視差。城市街區(qū)距離C可以按照下述方式得到，S卩，利用水平方向?yàn)閕坐標(biāo)、垂直方向?yàn)閖坐標(biāo)的直角坐標(biāo)定義圖像平面上的位置，在使搜索彼此相關(guān)度的區(qū)塊為 i X j (i = 0 n，j = 0 η)的搜索區(qū)塊時(shí)，如下式所示，在i軸上每移動(dòng)規(guī)定的平移值而進(jìn)行一次運(yùn)算，從而得到基準(zhǔn)圖像的搜索區(qū)塊M(i，j)與比較圖像的搜索區(qū)塊S(i，j)的SAD值。C=E |M(i, j)-S(i, j)在上述SAD運(yùn)算中，例如，如果以4X 4像素的搜索區(qū)塊作為對象，相對于基準(zhǔn)圖像的搜索區(qū)塊(主區(qū)塊)，一邊使比較圖像的搜索區(qū)塊(子區(qū)塊)的位置在水平掃描線上逐個(gè)像素移動(dòng)，一邊進(jìn)行SAD運(yùn)算，則如圖3所示，求出城市街區(qū)距離為最小值CO的點(diǎn)，作為主區(qū)塊和子區(qū)塊的相關(guān)度最高的對應(yīng)位置(一致點(diǎn))。該一致點(diǎn)處的主區(qū)塊與子區(qū)塊的1個(gè)像素單位的偏差量(水平掃描方向的主區(qū)塊的位置im與子區(qū)塊的位置is的差)，成為具有1個(gè)像素單位分辨率的視差D (像素視差)。 基于該像素視差的距離信息，因?yàn)殡S著至對象物體為止的距離增大而分辨率降低，所以根據(jù)需要進(jìn)行下述處理，即，求出小于或等于1個(gè)單位像素的分辨率的亞像素水平的視差。通過上述立體匹配得到的視差信息，作為由圖像方式的距離圖像得到的距離信息而輸出。例如，如圖4所示，如果對拍攝到車輛200、300、或護(hù)欄400等立體物的圖像(圖4 表示用一個(gè)照相機(jī)拍攝到的圖像)進(jìn)行立體匹配，則可以得到圖5所示的距離圖像。在圖 5所示的距離圖像的例子中，具有距離數(shù)據(jù)的是黑點(diǎn)部分，這是圖4的圖像的各像素中在左右方向上相鄰的像素之間明暗變化較大的部分。圖像上的坐標(biāo)系如圖5所示，以左上角為原點(diǎn)，將橫向作為i坐標(biāo)軸，將縱向作為j坐標(biāo)軸，單位是像素。另外，圖像處理引擎30還具有進(jìn)行構(gòu)成立體照相機(jī)20的各照相機(jī)20a、20b的快門速度控制、兩個(gè)照相機(jī)間的幾何學(xué)及光學(xué)偏差校正或亮度平衡校正等功能。即，圖像處理引擎30使用仿射變換校正表而對利用照相機(jī)20a、20b拍攝到的一組圖像中的視場角差、旋轉(zhuǎn)偏差、平移偏差等進(jìn)行幾何學(xué)校正，并且利用非線性校正表對透鏡偏差等非線性變形進(jìn)行校正，在等價(jià)地精密調(diào)整各照相機(jī)20a、20b的光學(xué)位置的基礎(chǔ)上，通過立體匹配評價(jià)兩個(gè)圖像間的一致程度。圖像處理引擎30以例如1幀/0. 1秒的比例(在立體圖像中每三張相當(dāng)于一張)， 對利用立體照相機(jī)20拍攝到的左右一組圖像進(jìn)行處理，將其發(fā)送至識別控制器40。識別控制器40和圖像處理引擎30經(jīng)由內(nèi)部母線加相互連接，識別控制器40根據(jù)從圖像處理引擎30經(jīng)由內(nèi)部母線加發(fā)送的測距信息及圖像信息，進(jìn)行各種識別處理。該識別控制器40的識別功能，如圖6所示，主要由道路 立體物識別部41和環(huán)境識別部42代表，上述道路·立體物識別部41識別與行駛路線、前行車或?qū)ο蜍嚒⒌缆犯綄僭O(shè)施、行人等相關(guān)的信息，環(huán)境識別部42識別由逆光、霧、雨、雪等引起的環(huán)境條件的變化。道路·立體物識別部41對于來自圖像處理引擎30的距離信息，進(jìn)行將處于規(guī)定閾值內(nèi)的數(shù)據(jù)分組化的分組處理等，與預(yù)先存儲的三維道路形狀數(shù)據(jù)、側(cè)壁數(shù)據(jù)、立體物數(shù)據(jù)等的框架(窗口)比較，提取道路形狀(道路白線、前方彎道、上坡/下坡路、窄路)數(shù)據(jù)、沿道路存在的護(hù)欄或路緣石等側(cè)壁數(shù)據(jù)、人行橫道數(shù)據(jù)等。同時(shí)，道路·立體物識別部 41提取道路上的立體物數(shù)據(jù)，將其分為摩托車、普通車輛、大型車輛、行人、電線桿、信號機(jī)、 其他立體物。[0033]根據(jù)識別的各數(shù)據(jù)，計(jì)算以本車輛為原點(diǎn)、以本車輛的前后方向及寬度方向?yàn)檩S的實(shí)際空間的坐標(biāo)系中各個(gè)位置。特別地，在摩托車、普通車輛、大型車輛的車輛數(shù)據(jù)中，預(yù)先推定其前后方向長度為例如3m、4. 5m、10m等，另外，對于橫向，使用檢測到的寬度的中心位置，對該車輛所處的中心位置進(jìn)行運(yùn)算。此外，在立體物數(shù)據(jù)中，根據(jù)與本車輛之間的距離在各軸向上的變化，對相對于本車輛的相對速度進(jìn)行運(yùn)算，通過考慮本車輛的速度而對該相對速度進(jìn)行運(yùn)算，可以計(jì)算出各立體物在各軸向上的速度。根據(jù)這樣得到的各種信息，即，白線數(shù)據(jù)、沿道路存在的護(hù)欄、 路緣石等的側(cè)壁數(shù)據(jù)、及立體物數(shù)據(jù)(類別、與本車輛的距離、中心位置坐標(biāo)、速度等各種數(shù)據(jù))，可以識別本車輛周圍的行人或輕型車輛、在與本車輛行駛的道路連接的道路上行駛的其他車輛等的移動(dòng)物體。另外，環(huán)境識別部42識別由逆光、霧、雨、雪等引起的環(huán)境條件的變化。由環(huán)境識別部42識別的環(huán)境條件，作為干擾被發(fā)送至道路 立體物識別部41及控制用控制器50，通過進(jìn)行與干擾程度相對應(yīng)的識別及控制，防止可靠度降低。例如，在太陽光入射到立體照相機(jī)20的拍攝面而成為逆光的情況下，左右圖像的靈敏度平衡嚴(yán)重破壞而產(chǎn)生亮度偏差，有時(shí)即使通過亮度的SAD運(yùn)算實(shí)施立體處理，也很難正常地進(jìn)行立體匹配。因此，利用環(huán)境識別部42檢查拍攝圖像是否發(fā)生逆光。該逆光的發(fā)生例如可以通過檢查圖像中出現(xiàn)的逆光圈來檢查。即，如果逆光進(jìn)入立體照相機(jī)20，因?yàn)樵趫D像中出現(xiàn)逆光圈，所以可以通過預(yù)先指定的圖像區(qū)域的亮度分布特性判定圖像中是否產(chǎn)生逆光圈。在這種情況下，在逆光較弱的情況下，雖然左右亮度有偏差，但亮度變化的狀態(tài)有共通性，相鄰像素的亮度的差(某像素的亮度值-其右側(cè)像素的亮度值)在左右圖像中同樣變化。因此，如果對于左右各圖像取得亮度差，相對于該亮度差計(jì)算出上述的SAD值，則即使在立體照相機(jī)拍攝到的圖像之間產(chǎn)生偏差，也可以一邊確保必要的精度，一邊檢查視差。另外，霧狀態(tài)的行駛環(huán)境的識別，例如，可以提取前行車的尾燈或制動(dòng)燈與其周圍的光幕區(qū)域，測定至對象的距離，根據(jù)前行車輛的尾燈或制動(dòng)燈區(qū)域與其周圍的光幕區(qū)域的亮度比和距離數(shù)據(jù)，判定霧狀態(tài)。除此之外，還存在根據(jù)白線亮度的變化量判斷霧狀態(tài)的方法，或者，也可以根據(jù)圖像數(shù)據(jù)的變化檢測霧濃度。另外，行駛環(huán)境是否為雪道狀態(tài)的判定，例如通過在立體照相機(jī)20的拍攝圖像中的規(guī)定區(qū)域設(shè)定監(jiān)視區(qū)域，根據(jù)該監(jiān)視區(qū)域中的圖像數(shù)據(jù)，檢測路面為雪道的狀態(tài)。具體地說，計(jì)算監(jiān)視區(qū)域的水平方向相關(guān)的亮度邊緣的數(shù)值、整個(gè)監(jiān)視區(qū)域的亮度的大小，在亮度邊緣的數(shù)值小于判定值，且整體的亮度大小大于判定值的情況下，判定為雪道。此外，積水路面狀態(tài)的判定，例如可以通過在預(yù)測道路存在的本車輛的前方設(shè)定距離數(shù)據(jù)監(jiān)視區(qū)域，對于該監(jiān)視區(qū)域內(nèi)存在的距離數(shù)據(jù)，評價(jià)高度方向的分布。即，求出與計(jì)算出的距離數(shù)據(jù)相關(guān)的三維空間的高度，將由立體物映入路面上引起的距離數(shù)據(jù)數(shù)量作為積水?dāng)?shù)據(jù)數(shù)量而進(jìn)行計(jì)數(shù)。在積水路面上，與干燥路面相比，存在大量距離數(shù)據(jù)低于路面的位置的特性。鑒于這種特性，在距離數(shù)據(jù)監(jiān)視區(qū)域中存在大量積水?dāng)?shù)據(jù)的情況下，判定為積水路面狀態(tài)。然后，控制用控制器50根據(jù)從識別控制器40輸入的道路·立體物信息(道路白線、沿道路存在的彎道或路緣石等側(cè)壁、車輛、行人、摩托車等數(shù)據(jù))、以及經(jīng)由通信總線 100輸入的車輛信息(本車輛速度或偏行率等)，經(jīng)由與通信總線100連接的各控制單元， 指示駕駛輔助控制。該控制用控制器50的駕駛輔助控制的功能，如圖7所示，主要由警報(bào)控制部51、防碰撞控制部52、巡航控制部53代表。警報(bào)控制部51根據(jù)來自立體照相機(jī)單元2的識別信息，在前行車與本車輛的車間距離為存在碰撞可能性的距離時(shí)，本車輛在車線內(nèi)不穩(wěn)或存在從車線偏離的可能性時(shí)等， 經(jīng)由儀表控制單元6，通過多功能顯示器的顯示及聲音對駕駛者進(jìn)行警報(bào)。防碰撞控制部52根據(jù)來自立體照相機(jī)單元2的識別信息，經(jīng)由發(fā)動(dòng)機(jī)控制器3、傳動(dòng)控制器4、車輛動(dòng)態(tài)控制器5，執(zhí)行誤起步抑制控制和防碰撞制動(dòng)控制，上述誤起步抑制控制是在本車輛前方檢測到障礙物的狀態(tài)下，抑制由踏板的誤踩踏等造成的突然行進(jìn)，上述防碰撞制動(dòng)控制用于預(yù)測危險(xiǎn)性而避免碰撞或減輕碰撞損害。該防碰撞控制與警報(bào)控制組合執(zhí)行。巡航控制部53經(jīng)由發(fā)動(dòng)機(jī)控制器3、傳動(dòng)控制器4、車輛動(dòng)態(tài)控制器5，執(zhí)行全車速范圍內(nèi)的帶有前行車追隨功能的巡航控制。在該巡航控制中，對應(yīng)于前行車的有無，自動(dòng)地切換為以由駕駛者設(shè)置的車速的定速行使、和以設(shè)置車速為上限的相對于前行車的跟隨行駛。在對前行車的跟隨行駛中，根據(jù)利用立體照相機(jī)單元2檢測到的本車輛與前行車的車間距離、相對速度、以及前行車的加速度，計(jì)算跟隨控制中的目標(biāo)車速，利用發(fā)動(dòng)機(jī)控制器3執(zhí)行與目標(biāo)車速和當(dāng)前車速的偏差相對應(yīng)的節(jié)流控制，控制使得本車輛的車速成為目標(biāo)車速。另外，在坡道為下坡且在當(dāng)前的傳動(dòng)位置無法利用節(jié)流關(guān)閉制動(dòng)力(發(fā)動(dòng)機(jī)制動(dòng))維持車間距離(過度接近)的情況下，利用傳動(dòng)控制器4執(zhí)行對目標(biāo)傳動(dòng)位置的降檔控制，維持車間距離。另外，根據(jù)本車輛與前行車的車間距離、相對速度、以及前行車的減速度，計(jì)算出本車輛的要求減速度，通過經(jīng)由車輛動(dòng)態(tài)控制器5對產(chǎn)生該要求減速度所需的制動(dòng)液壓進(jìn)行控制，使其產(chǎn)生必要的減速度而使本車輛減速。如上所述，在本實(shí)施方式中，因?yàn)閷τ闪Ⅲw照相機(jī)20拍攝到拍攝圖像進(jìn)行處理， 三維地識別行駛環(huán)境，所以可以高精度掌握不限于車輛的各種立體物的位置關(guān)系，可以準(zhǔn)確地識別整個(gè)車外環(huán)境。而且，在由立體圖像進(jìn)行的識別中，因?yàn)槲矬w橫向的檢測精度或分辨率、近距離的監(jiān)測能力良好，所以可以高精度地進(jìn)行考慮與前方障礙物的偏移量的碰撞預(yù)測等，有助于提高預(yù)防安全性。
權(quán)利要求1.一種車外環(huán)境識別裝置，其特征在于，具有 2臺一組的立體照相機(jī)，其搭載在車輛上；圖像處理引擎，其對由上述立體照相機(jī)拍攝的一對圖像進(jìn)行處理，獲取整個(gè)畫面范圍內(nèi)的三維位置信息；以及識別控制器，其根據(jù)由上述圖像處理引擎獲取的三維位置信息，識別車外環(huán)境。
2.如權(quán)利要求1所述的車外環(huán)境識別裝置，其特征在于，上述識別控制器具有識別與道路及立體物相關(guān)的信息的道路·立體物識別部、以及識別車外的環(huán)境條件變化的環(huán)境識別部。
3.如權(quán)利要求1或2所述的車外環(huán)境識別裝置，其特征在于，至少將上述立體照相機(jī)、上述圖像處理引擎、及上述識別控制器作為立體照相機(jī)單元而一體地構(gòu)成，將該立體照相機(jī)單元設(shè)置在車輛的前擋風(fēng)玻璃內(nèi)側(cè)的上部。
專利摘要本實(shí)用新型提供一種車外環(huán)境識別裝置，其根據(jù)由立體照相機(jī)拍攝到的圖像識別整體的車外環(huán)境，高精度地掌握不限于車輛的各種立體物的位置關(guān)系。其將下述單元作為一體化的單元構(gòu)成，即立體照相機(jī)單元；圖像處理引擎，其對由立體照相機(jī)拍攝到的一對立體圖像進(jìn)行處理，高速地獲得整個(gè)畫面內(nèi)的三維位置信息；識別控制器，其使用原圖和三維位置信息，對道路形狀或路面狀態(tài)、道路附屬設(shè)施、路上行人或立體物等進(jìn)行識別處理；以及控制用控制器，其根據(jù)由立體圖像處理得到的識別結(jié)果，統(tǒng)一地進(jìn)行用于駕駛輔助的各種控制，通過將該單元設(shè)置在車輛的前擋風(fēng)玻璃內(nèi)側(cè)的上部，根據(jù)拍攝圖像識別整個(gè)車外環(huán)境，高精度地掌握不限于車輛的各種立體物的位置關(guān)系。
文檔編號B60R1/00GK202169907SQ20112027526
公開日2012年3月21日 申請日期2011年7月29日 優(yōu)先權(quán)日2011年7月29日
發(fā)明者關(guān)口守, 柴田英司, 樋渡穰 申請人:富士重工業(yè)株式會社