車(chē)外環(huán)境識(shí)別裝置制造方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)一種車(chē)外環(huán)境識(shí)別裝置。精確且快速地檢測(cè)行人。本發(fā)明的車(chē)外環(huán)境識(shí)別裝置(120)具備：三維位置導(dǎo)出部(162)，導(dǎo)出拍攝檢測(cè)區(qū)域得到的圖像中的多個(gè)對(duì)象部位的在實(shí)際空間中的三維位置；對(duì)象物確定部(164)，將三維位置的差值在預(yù)定范圍內(nèi)的對(duì)象部位彼此進(jìn)行群組化來(lái)確定對(duì)象物；位置分?jǐn)?shù)導(dǎo)出部(166)，基于對(duì)象物的位置信息導(dǎo)出位置分?jǐn)?shù)；外觀(guān)分?jǐn)?shù)導(dǎo)出部(168)，基于關(guān)于對(duì)象物的外觀(guān)信息導(dǎo)出外觀(guān)分?jǐn)?shù)；行人確定部(172)，在至少將位置分?jǐn)?shù)與外觀(guān)分?jǐn)?shù)相加得到的行人分?jǐn)?shù)在預(yù)先設(shè)定的閾值以上的情況下，將對(duì)象物確定為行人。
【專(zhuān)利說(shuō)明】車(chē)外環(huán)境識(shí)別裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及確定存在于檢測(cè)區(qū)域中的對(duì)象物對(duì)應(yīng)于哪個(gè)特定物的車(chē)外環(huán)境識(shí)別
>J-U ρ?α裝直。

【背景技術(shù)】
[0002]以往，已知有以下技術(shù)(例如，專(zhuān)利文獻(xiàn)I):檢測(cè)位于本車(chē)輛前方的車(chē)輛等的特定物，以回避與前行車(chē)輛的碰撞(碰撞回避控制)，或者控制本車(chē)輛與前行車(chē)輛的車(chē)間距保持在安全距離(巡航控制)。
[0003]通過(guò)這樣的本車(chē)輛的前方監(jiān)視技術(shù)，可以期待以下效果:不僅可以回避前行車(chē)輛，還可以回避和/或減輕由于行人突然出現(xiàn)而導(dǎo)致的觸碰事故。涉及行人的情況不同于前行車(chē)輛的情況，由于在檢測(cè)區(qū)域中行人可能會(huì)從各個(gè)方向突然出現(xiàn)，因此從行人出現(xiàn)在車(chē)輛前方到車(chē)輛接近行人的時(shí)間較短的情況多，駕駛員的一瞬間的走神和/或稍微的操作延遲等會(huì)對(duì)觸碰事故的發(fā)生有很大影響。因此，對(duì)于上述碰撞回避控制的期望正在提高。
[0004]另一方面，如果發(fā)生碰撞回避控制的誤操作(例如，誤識(shí)別為是行人而制動(dòng)本車(chē)輛等的現(xiàn)象)，則會(huì)使駕駛員產(chǎn)生對(duì)于碰撞回避控制的不信任感。因此，希望實(shí)現(xiàn)一種能夠在不發(fā)生誤操作的情況下精確且快速地回避觸碰事故的碰撞回避控制。
[0005]例如，已經(jīng)公開(kāi)了以下技術(shù)(例如，專(zhuān)利文獻(xiàn)2):將通過(guò)攝像裝置獲得的圖像中包含的對(duì)象物的輪廓作為特征向量，與預(yù)先準(zhǔn)備的輪廓形狀模型進(jìn)行模式匹配，從而提高行人的確定精度。
[0006]現(xiàn)有技術(shù)文獻(xiàn)
[0007]專(zhuān)利文獻(xiàn)
[0008]專(zhuān)利文獻(xiàn)1:日本特開(kāi)2012-194864號(hào)公報(bào)
[0009]專(zhuān)利文獻(xiàn)2:日本特開(kāi)2008-45974號(hào)公報(bào)


【發(fā)明內(nèi)容】

[0010]技術(shù)問(wèn)題
[0011]如上所述，在碰撞回避控制中必須避免誤操作。因此，即便對(duì)象物(行人)進(jìn)入到攝像裝置的檢測(cè)區(qū)域內(nèi)，該對(duì)象物的外觀(guān)與行人的輪廓形狀模型一致進(jìn)而直至確定為該對(duì)象物是行人為止也需要花費(fèi)長(zhǎng)時(shí)間。
[0012]鑒于這樣的問(wèn)題，本發(fā)明的目的在于提供一種能夠精確且快速地檢測(cè)行人的車(chē)外環(huán)境識(shí)別裝置。
[0013]技術(shù)方案
[0014]為了解決上述問(wèn)題，本發(fā)明的車(chē)外環(huán)境識(shí)別裝置的特征在于，具備:三維位置導(dǎo)出部，導(dǎo)出拍攝檢測(cè)區(qū)域得到的圖像中的多個(gè)對(duì)象部位的在實(shí)際空間中的三維位置；對(duì)象物確定部，將三維位置的差值在預(yù)定范圍內(nèi)的對(duì)象部位彼此進(jìn)行群組化來(lái)確定對(duì)象物；位置分?jǐn)?shù)導(dǎo)出部，基于關(guān)于對(duì)象物的位置的位置信息導(dǎo)出位置分?jǐn)?shù)；外觀(guān)分?jǐn)?shù)導(dǎo)出部，基于關(guān)于對(duì)象物的外觀(guān)的外觀(guān)信息導(dǎo)出外觀(guān)分?jǐn)?shù)；行人確定部，在至少將位置分?jǐn)?shù)與外觀(guān)分?jǐn)?shù)相加得到的行人分?jǐn)?shù)在預(yù)先設(shè)定的閾值以上的情況下，將對(duì)象物確定為行人。
[0015]在外觀(guān)分?jǐn)?shù)在預(yù)定值以上且行人分?jǐn)?shù)在閾值以上的情況下，行人確定部可將對(duì)象物確定為行人。
[0016]可基于從對(duì)象物的行進(jìn)橫向位置、速度、累積移動(dòng)量中選擇的一個(gè)或多個(gè)參數(shù)導(dǎo)出位置分?jǐn)?shù)。
[0017]可基于從對(duì)象物的高度、縱橫比、位置關(guān)系、局部性、人造性、輪廓一致度、警戒度中選擇的一個(gè)或多個(gè)參數(shù)導(dǎo)出外觀(guān)分?jǐn)?shù)。
[0018]還可具備:輪廓確定部，從基于圖像的亮度的邊緣確定對(duì)象物的輪廓；色調(diào)判定部，將對(duì)象物的輪廓內(nèi)外的像素的色調(diào)進(jìn)行比較，根據(jù)比較的結(jié)果將對(duì)象物確定為行人。
[0019]為了解決上述技術(shù)問(wèn)題，本發(fā)明的其它的車(chē)外環(huán)境識(shí)別裝置的特征在于，具備:三維位置導(dǎo)出部，導(dǎo)出拍攝檢測(cè)區(qū)域得到的圖像中的多個(gè)對(duì)象部位的在實(shí)際空間中的三維位置；對(duì)象物確定部，將三維位置的差值在預(yù)定范圍內(nèi)的對(duì)象部位彼此進(jìn)行群組化來(lái)確定對(duì)象物；輪廓確定部，從基于圖像的亮度的邊緣確定對(duì)象物的輪廓；色調(diào)判定部，將對(duì)象物的輪廓內(nèi)外的像素的色調(diào)進(jìn)行比較，根據(jù)比較的結(jié)果將對(duì)象物確定為行人。
[0020]有益效果
[0021 ] 根據(jù)本發(fā)明，可精確且快速地檢測(cè)行人。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0022]圖1是表示環(huán)境識(shí)別系統(tǒng)的連接關(guān)系的框圖。
[0023]圖2是表示車(chē)外環(huán)境識(shí)別裝置的大致功能的功能框圖。
[0024]圖3是用于說(shuō)明亮度圖像和距離圖像的說(shuō)明圖。
[0025]圖4是用于說(shuō)明位置信息和幀(frame)位置分?jǐn)?shù)的關(guān)系的說(shuō)明圖。
[0026]圖5是用于說(shuō)明外觀(guān)信息和幀外觀(guān)分?jǐn)?shù)的關(guān)系的說(shuō)明圖。
[0027]圖6是表示行人分?jǐn)?shù)的生成示例的說(shuō)明圖。
[0028]圖7是表示行人判定的整體的處理流程的流程圖。
[0029]圖8是用于說(shuō)明其它實(shí)施方式的說(shuō)明圖。
[0030]圖9是用于說(shuō)明色調(diào)判定部的操作的說(shuō)明圖。
[0031]符號(hào)說(shuō)明
[0032]162三維位置導(dǎo)出部
[0033]164對(duì)象物確定部
[0034]166位置分?jǐn)?shù)導(dǎo)出部
[0035]168外觀(guān)分?jǐn)?shù)導(dǎo)出部
[0036]172行人確定部
[0037]174輪廓確定部
[0038]176色調(diào)判定部

【具體實(shí)施方式】
[0039]以下，參照附圖來(lái)詳細(xì)說(shuō)明本發(fā)明的優(yōu)選實(shí)施方式。本實(shí)施方式所示的尺寸、材料、其他具體的數(shù)值等僅是為了易于發(fā)明的理解的例示，除了特別聲明的情況之外，并不限定本發(fā)明。應(yīng)予說(shuō)明，本說(shuō)明書(shū)以及附圖中，對(duì)于具有實(shí)質(zhì)上相同的功能、構(gòu)成的要素，使用相同的符號(hào)并省略重復(fù)說(shuō)明，另外，與本發(fā)明沒(méi)有直接關(guān)系的要素省略其圖示。
[0040]近年來(lái)，通過(guò)搭載于車(chē)輛的車(chē)載相機(jī)來(lái)拍攝本車(chē)輛的前方的道路環(huán)境，基于圖像內(nèi)的顏色信息和/或位置信息確定前行車(chē)輛等的對(duì)象物，以回避與所確定的對(duì)象物的碰撞，或者將與前行車(chē)輛的車(chē)間距保持在安全距離(ACC Adaptive Cruise Control)的、搭載了所謂防碰撞功能的車(chē)輛正在普及。通過(guò)本防碰撞功能，確定本車(chē)輛前方的各種障礙物，根據(jù)障礙物是靜止的對(duì)象物還是伴隨移動(dòng)的對(duì)象物，適當(dāng)?shù)剡M(jìn)行回避控制。作為伴隨移動(dòng)的對(duì)象物，主要想到的是車(chē)輛和/或行人，然而特別地，行人在檢測(cè)區(qū)域中有可能從各個(gè)方向突然出現(xiàn)，另外，行人的絕對(duì)大小與車(chē)輛相比較小，因此難以確定，另外，存在進(jìn)行確定時(shí)需要時(shí)間的問(wèn)題。
[0041]例如，即使使用通過(guò)與對(duì)象物的外觀(guān)進(jìn)行模式匹配(圖案匹配)來(lái)將對(duì)象物確定為行人的技術(shù)，也應(yīng)當(dāng)避免由于誤識(shí)別為行人而導(dǎo)致的車(chē)輛誤操作，且不得不在多個(gè)幀中利用外觀(guān)得到匹配的幀來(lái)確定為行人。因此，行人的確定需要花費(fèi)長(zhǎng)時(shí)間。據(jù)此，本實(shí)施方式的目的在于，不僅關(guān)注關(guān)于對(duì)象物外觀(guān)的外觀(guān)信息，還關(guān)注關(guān)于對(duì)象物位置的位置信息，通過(guò)較早判定有行人似的特點(diǎn)，來(lái)精確且快速地檢測(cè)行人。以下，對(duì)為達(dá)成這樣的目的的環(huán)境識(shí)別系統(tǒng)進(jìn)行說(shuō)明，并詳細(xì)描述作為其具體構(gòu)成要素的車(chē)外環(huán)境識(shí)別裝置。
[0042](環(huán)境識(shí)別系統(tǒng)100)
[0043]圖1是表示環(huán)境識(shí)別系統(tǒng)100的連接關(guān)系的框圖。環(huán)境識(shí)別系統(tǒng)100構(gòu)成為包括設(shè)置在本車(chē)輛I內(nèi)的攝像裝置110、車(chē)外環(huán)境識(shí)別裝置120和車(chē)輛控制裝置(EOT:EngineControl Unit)130。
[0044]攝像裝置110構(gòu)成為包括CXD (電耦合器件)和/或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)等的攝像元件，可拍攝相當(dāng)于本車(chē)輛I的前方的環(huán)境，生成由三種色調(diào)(R(紅)、G(綠)、B(藍(lán)))構(gòu)成的彩色圖像和/或黑白圖像。這里，將由攝像裝置110拍攝的彩色圖像采用為亮度圖像，以與后述的距離圖像相區(qū)別。
[0045]另外，攝像裝置110以在本車(chē)輛I的行駛方向側(cè)使兩個(gè)攝像裝置110各自的光軸成為大致平行的方式，在大致水平方向上被分開(kāi)配置。攝像裝置110例如按照每1/60秒一幀(60fps)的方式連續(xù)生成對(duì)本車(chē)輛I的前方的檢測(cè)區(qū)域中存在的對(duì)象物進(jìn)行拍攝的圖像數(shù)據(jù)。這里，識(shí)別的對(duì)象物不僅是車(chē)輛、行人、信號(hào)燈、道路(行駛路徑)、欄桿、建筑物等獨(dú)立存在的立體物，也包括尾燈、方向指示燈、信號(hào)燈的各點(diǎn)亮部分等可作為立體物的一部分而確定的物體。以下的實(shí)施方式的各功能部，將這樣的圖像數(shù)據(jù)的更新作為契機(jī)，按照每個(gè)幀來(lái)進(jìn)行各個(gè)處理。
[0046]車(chē)外環(huán)境識(shí)別裝置120從兩個(gè)攝像裝置110分別獲取圖像數(shù)據(jù)，利用所謂的模式匹配來(lái)導(dǎo)出視差，并將被導(dǎo)出的視差信息(相當(dāng)于后述的進(jìn)深距離)與圖像數(shù)據(jù)對(duì)應(yīng)而生成距離圖像。在后詳細(xì)說(shuō)明有關(guān)亮度圖像以及距離圖像。另外，車(chē)外環(huán)境識(shí)別裝置120使用基于亮度圖像的亮度、以及基于距離圖像的與本車(chē)輛I的進(jìn)深距離來(lái)確定本車(chē)輛I前方的檢測(cè)區(qū)域中的對(duì)象物是否對(duì)應(yīng)于某一種特定物。
[0047]若車(chē)外環(huán)境識(shí)別裝置120確定了特定物，則追蹤該特定物(例如，前行車(chē)輛)的同時(shí)導(dǎo)出特定物的相對(duì)速度等，從而進(jìn)行特定物與本車(chē)輛I碰撞的可能性是否高的判定。這里，在判定為碰撞的可能性高的情況下，車(chē)外環(huán)境識(shí)別裝置120通過(guò)設(shè)置在駕駛者的前方的顯示器122將該情況向駕駛者警告顯示(報(bào)知)，同時(shí)對(duì)車(chē)輛控制裝置130輸出顯示該情況的信息。
[0048]車(chē)輛控制裝置130通過(guò)方向盤(pán)132、加速踏板134、制動(dòng)踏板136來(lái)接收駕駛者的操作輸入，并傳送到操舵機(jī)構(gòu)142、驅(qū)動(dòng)機(jī)構(gòu)144、制動(dòng)機(jī)構(gòu)146，由此來(lái)控制本車(chē)輛I。另外，車(chē)輛控制裝置130根據(jù)車(chē)外環(huán)境識(shí)別裝置120的指令來(lái)控制驅(qū)動(dòng)機(jī)構(gòu)144、制動(dòng)機(jī)構(gòu)146。
[0049]以下，針對(duì)車(chē)外環(huán)境識(shí)別裝置120的構(gòu)成進(jìn)行詳細(xì)說(shuō)明。這里，對(duì)在本實(shí)施方式中特征性的、將對(duì)象物確定為行人的步驟進(jìn)行詳細(xì)說(shuō)明，并省略對(duì)與本實(shí)施方式的特征無(wú)關(guān)的構(gòu)成的說(shuō)明。
[0050](車(chē)外環(huán)境識(shí)別裝置120)
[0051]圖2是表示車(chē)外環(huán)境識(shí)別裝置120的大致功能的功能框圖。如圖2所示，車(chē)外環(huán)境識(shí)別裝置120構(gòu)成為包括I/F部150、數(shù)據(jù)存儲(chǔ)部152、中央控制部154。
[0052]I/F部150是用于與攝像裝置110和/或車(chē)輛控制裝置130進(jìn)行雙向的信息交換的接口。數(shù)據(jù)存儲(chǔ)部152由RAM、閃速存儲(chǔ)器、HDD等構(gòu)成，以用于存儲(chǔ)以下所示的各功能部的處理所需的各種信息，另外，臨時(shí)存儲(chǔ)從攝像裝置110接收到的圖像數(shù)據(jù)。
[0053]中央控制部154由中央處理裝置(CPU)、存儲(chǔ)有程序等的ROM、包括作為工作區(qū)域的RAM等的半導(dǎo)體集成電路構(gòu)成，通過(guò)系統(tǒng)總線(xiàn)156來(lái)控制I/F部150、數(shù)據(jù)存儲(chǔ)部152等。另外，在本實(shí)施方式，中央控制部154還作為圖像處理部160、三維位置導(dǎo)出部162、對(duì)象物確定部164、位置分?jǐn)?shù)(point)導(dǎo)出部166、外觀(guān)分?jǐn)?shù)(point)導(dǎo)出部168、分?jǐn)?shù)(point)生成部170、行人確定部172、輪廓確定部174以及色調(diào)判定部176發(fā)揮功能。以下，關(guān)于這樣的功能部，根據(jù)大致的目的，按照?qǐng)D像處理、對(duì)象物確定處理、行人確定處理這樣的順序?qū)唧w的工作進(jìn)行說(shuō)明。
[0054](圖像處理)
[0055]圖像處理部160利用從兩個(gè)攝像裝置110分別獲取圖像數(shù)據(jù)、并從另一側(cè)的圖像數(shù)據(jù)中檢索與從一側(cè)的圖像數(shù)據(jù)任意提取的區(qū)塊(例如水平4像素X垂直4像素的排列)對(duì)應(yīng)的區(qū)塊的、所謂的模式匹配導(dǎo)出視差。這里，“水平”表示畫(huà)面的橫向方向，“垂直”表示畫(huà)面的縱向方向。
[0056]作為該模式匹配，可以考慮在兩個(gè)圖像數(shù)據(jù)之間，以表示任意的圖像位置的區(qū)塊單位來(lái)比較亮度(Y色差信號(hào))。例如，有采用亮度的差值的絕對(duì)差值和(SAD，Sum OfAbsolute Difference)、使用差值的平方的差值的平方和(SSD, Sum of Squared intensityDifference)和/或采用從各像素的亮度減去平均值而得到的分散值的相似度的歸一化互相關(guān)(NCC, Normalized Cross Correlat1n)等的方法。圖像處理部160對(duì)呈現(xiàn)在檢測(cè)區(qū)域(例如水平600像素X垂直180像素)的所有的區(qū)塊進(jìn)行這樣的區(qū)塊單位的視差導(dǎo)出處理。這里，設(shè)定區(qū)塊為水平4像素X垂直4像素，但可以任意設(shè)定區(qū)塊內(nèi)的像素?cái)?shù)。
[0057]然而，在圖像處理部160中，雖然能夠?qū)ψ鳛闄z測(cè)分辨率單位的每個(gè)區(qū)塊導(dǎo)出視差，但是不能識(shí)別該區(qū)塊是哪種對(duì)象物的一部分。因此，視差信息并不是以對(duì)象物單位，而是以檢測(cè)區(qū)域中的檢測(cè)分辨率單位(例如區(qū)塊單位)來(lái)單獨(dú)導(dǎo)出。這里，將據(jù)此導(dǎo)出的視差信息(相當(dāng)于后述的進(jìn)深距離)與圖像數(shù)據(jù)關(guān)聯(lián)的圖像稱(chēng)作距離圖像。
[0058]圖3是用于說(shuō)明亮度圖像210和距離圖像212的說(shuō)明圖。例如，假設(shè)通過(guò)兩個(gè)攝像裝置110，針對(duì)檢測(cè)區(qū)域214生成了如圖3的(a)那樣的亮度圖像(圖像數(shù)據(jù))210。然而，為了容易理解，這里僅示意性地示出攝像裝置110分別生成的兩個(gè)亮度圖像210的一個(gè)。在本實(shí)施方式中，圖像處理部160從這樣的亮度圖像210求出每個(gè)區(qū)塊的視差，形成如圖3的(b)那樣的距離圖像212。在距離圖像212的各個(gè)區(qū)塊中，關(guān)聯(lián)有該區(qū)塊的視差。這里，為了方便說(shuō)明，用黑點(diǎn)表示導(dǎo)出了視差的區(qū)塊。
[0059]返回圖2進(jìn)行說(shuō)明，三維位置導(dǎo)出部162基于由圖像處理部160生成的距離圖像212，用所謂的立體視覺(jué)方法將檢測(cè)區(qū)域214內(nèi)的每個(gè)區(qū)塊的視差信息變換為包括水平距離、高度以及進(jìn)深距離的實(shí)際空間中的三維位置信息。這里，立體視覺(jué)方法是指通過(guò)利用三角測(cè)量法，從對(duì)象部位的距離圖像212的視差導(dǎo)出該對(duì)象部位的相對(duì)于攝像裝置110的進(jìn)深距離的方法。這時(shí)，三維位置導(dǎo)出部162基于對(duì)象部位的進(jìn)深距離以及位于與對(duì)象部位相同進(jìn)深距離的道路表面上的點(diǎn)與對(duì)象部位之間的在距離圖像212上的檢測(cè)距離，導(dǎo)出對(duì)象部位相對(duì)于道路表面的高度。之后，將導(dǎo)出的三維位置信息重新與距離圖像212對(duì)應(yīng)。該進(jìn)深距離的導(dǎo)出處理和/或三維位置的確定處理可應(yīng)用各種已知技術(shù)，因此在此省略其說(shuō)明。
[0060](對(duì)象物確定處理)
[0061]對(duì)象物確定部164使用基于距離圖像212的三維位置信息將檢測(cè)區(qū)域214中的對(duì)象部位(像素和/或區(qū)塊)彼此進(jìn)行群組化而確定對(duì)象物。具體地說(shuō)，對(duì)象確定部164以任意的對(duì)象部位作為基點(diǎn)，對(duì)與該對(duì)象部位的水平距離的差值、高度的差值以及進(jìn)深距離的差值在預(yù)先設(shè)定的預(yù)定范圍內(nèi)的其它對(duì)象部位進(jìn)行群組化，以將該對(duì)象部位也作為一體的對(duì)象物。這里，預(yù)定范圍由實(shí)際空間上的距離來(lái)表示，并且可以設(shè)定為任意值(例如，1.0m等)。另外，關(guān)于通過(guò)群組化而被新追加的對(duì)象部位，對(duì)象物確定部164也可以以該對(duì)象部位作為基點(diǎn)，對(duì)與之水平距離的差值、高度的差值以及進(jìn)深距離的差值在預(yù)定范圍內(nèi)的其它對(duì)象部位進(jìn)行群組化。結(jié)果，如果距離在預(yù)定范圍內(nèi)，則所有的對(duì)象部位作為對(duì)象物被群組化。
[0062](行人確定處理)
[0063]接著，基于對(duì)象物的位置和/或外觀(guān)，判定該對(duì)象物是否是行人。
[0064]位置分?jǐn)?shù)導(dǎo)出部166基于關(guān)于對(duì)象物的位置的位置信息而導(dǎo)出位置分?jǐn)?shù)。位置信息包括例如，對(duì)象物的行進(jìn)橫向位置、速度以及表示進(jìn)入檢測(cè)區(qū)域214之后的移動(dòng)量的累積的累積移動(dòng)量，其中，行進(jìn)橫向位置是從與本車(chē)輛I的行駛路徑垂直的方向的本車(chē)輛I端部開(kāi)始的相對(duì)位置。該速度以及移動(dòng)量可以是不考慮對(duì)象物的移動(dòng)方向的標(biāo)量，也可以考慮移動(dòng)方向且僅將水平方向等、特定方向的成分作為對(duì)象。之后，位置分?jǐn)?shù)導(dǎo)出部166將與位置信息對(duì)應(yīng)的分?jǐn)?shù)進(jìn)行累計(jì)而導(dǎo)出幀單位的幀位置分?jǐn)?shù)。
[0065]圖4是用于說(shuō)明位置信息和幀位置分?jǐn)?shù)之間的關(guān)系的說(shuō)明圖。參照?qǐng)D4的(a)，行進(jìn)橫向位置不足Im的情況為3分，Im以上但不足3m的情況為2分,3m以上但不足5m的情況為I分，5m以上的情況為O分。參照?qǐng)D4的(b),速度不足lm/s的情況為O分，lm/s以上但不足3m/s的情況為I分，3m/s以上但不足5m/s的情況為2分，5m/s以上的情況為3分。參照?qǐng)D4的(c)，累積移動(dòng)量不足0.5m的情況為O分，0.5m以上但不足1.0m的情況為I分，1.0m以上但不足1.5m的情況為2分，1.5m以上的情況為3分。
[0066]接著，位置分?jǐn)?shù)導(dǎo)出部166如圖4的(d)所示，求出與累計(jì)的幀位置分?jǐn)?shù)(O?9分(Pt))對(duì)應(yīng)的分?jǐn)?shù)，將其與由前一次的幀導(dǎo)出的位置分?jǐn)?shù)相加，導(dǎo)出新的位置分?jǐn)?shù)。因此，位置分?jǐn)?shù)以幀為單位僅具有±1分的變動(dòng)。
[0067]另外，對(duì)位置分?jǐn)?shù)設(shè)置上下限值，在本實(shí)施方式中，例如，將下限值設(shè)置為O分，上限值設(shè)置為5分。這樣，通過(guò)設(shè)置上下限值，即使沒(méi)有檢測(cè)到行人的期間或檢測(cè)到行人的期間持續(xù)了長(zhǎng)時(shí)間，分?jǐn)?shù)的絕對(duì)值也不會(huì)變得太大，在有無(wú)檢測(cè)到行人發(fā)生改變的情況下，可快速且準(zhǔn)確地判定其有無(wú)。另外，通過(guò)將上限值設(shè)置為5分，可避免僅位置分?jǐn)?shù)就達(dá)到判定為行人的閾值(本實(shí)施方式中為20分)，從而可以?xún)H在外觀(guān)分?jǐn)?shù)為有意義的值(預(yù)定值以上)的情況下才確定行人。該上下限值顯然可以被設(shè)定為任意值。
[0068]外觀(guān)分?jǐn)?shù)導(dǎo)出部168基于關(guān)于對(duì)象物的外觀(guān)的外觀(guān)信息導(dǎo)出外觀(guān)分?jǐn)?shù)。外觀(guān)信息包括例如對(duì)象物的相對(duì)于地面的高度、作為縱相對(duì)于橫的比例的縱橫比、相對(duì)于檢測(cè)區(qū)域214的位置關(guān)系、表示對(duì)象物是否是大物體的一部分的局部性、表示有人造物似的特點(diǎn)的人造性、表示輪廓有行人似的特點(diǎn)的輪廓一致度、以及表示屬于需要自動(dòng)剎車(chē)的物體的可能性的高低(越是位于正面、有速度、累積移動(dòng)量大的物體，則越高)的警戒度。外觀(guān)分?jǐn)?shù)導(dǎo)出部168將與外觀(guān)信息對(duì)應(yīng)的分?jǐn)?shù)進(jìn)行累計(jì)而導(dǎo)出幀單位的幀外觀(guān)分?jǐn)?shù)。
[0069]圖5是用于說(shuō)明外觀(guān)信息和幀外觀(guān)分?jǐn)?shù)之間的關(guān)系的說(shuō)明圖。參照?qǐng)D5的(a)，高度不足0.8m的情況為O分，0.8m以上但不足1.2m的情況為8分，1.2m以上但不足20.m的情況為10分，2.0m以上但不足2.2m的情況為5分，2.2m以上的情況為O分。參照?qǐng)D5的(b)，縱橫比不足100%的情況為O分，100%以上但不足150%的情況為5分，150%以上但不足300%的情況為10分，300%以上但不足400%的情況為8為，400%以上的情況為O分。參照?qǐng)D5的(c)，位置關(guān)系完全超出檢測(cè)區(qū)域214的情況為O分，有可能超出的情況為5分，包括在檢測(cè)區(qū)域214中的情況為10分。
[0070]另外，參照?qǐng)D5的(d)，局部性為能夠判斷確實(shí)是大物體的一部分的情況為O分，有可能是大物體的一部分的情況為5分，能夠判斷不是大物體的一部分的情況為10分。參照?qǐng)D5的(e),能夠判斷為人造性為人造物的情況為O分,有可能是人造物的情況為5分,能夠判斷為不是人造物的情況為10分。另外，雖然在圖示中省略，對(duì)于輪廓一致度，可基于與模型模式的匹配的相關(guān)性而在O?50分之間加以確定。
[0071]接著，外觀(guān)分?jǐn)?shù)導(dǎo)出部168將對(duì)累計(jì)的分?jǐn)?shù)進(jìn)行合計(jì)得到的幀外觀(guān)分?jǐn)?shù)(O?100分(Pt))乘以圖5的(f)示出的與警戒度對(duì)應(yīng)的系數(shù)。之后，外觀(guān)分?jǐn)?shù)導(dǎo)出部168如圖5的(g)所示，求出與幀外觀(guān)分?jǐn)?shù)對(duì)應(yīng)的分?jǐn)?shù)，將其與由前一次的幀導(dǎo)出的外觀(guān)分?jǐn)?shù)相加，導(dǎo)出新的外觀(guān)分?jǐn)?shù)。因此，外觀(guān)分?jǐn)?shù)以幀為單位以-4?+8的幅度變動(dòng)。與這樣的幀外觀(guān)分?jǐn)?shù)和/或外觀(guān)分?jǐn)?shù)、以及上述幀位置分?jǐn)?shù)和/或位置分?jǐn)?shù)的判定相關(guān)的數(shù)值可被設(shè)定為任意值。
[0072]分?jǐn)?shù)生成部170將由位置分?jǐn)?shù)導(dǎo)出部166導(dǎo)出的位置分?jǐn)?shù)和由外觀(guān)分?jǐn)?shù)導(dǎo)出部168導(dǎo)出的外觀(guān)分?jǐn)?shù)相加來(lái)生成行人分?jǐn)?shù)。
[0073]行人確定部172將由分?jǐn)?shù)生成部170生成的行人分?jǐn)?shù)與預(yù)先設(shè)定的閾值(這里為20分)進(jìn)行比較，在行人分?jǐn)?shù)在閾值以上的情況下，行人確定部172將對(duì)象物確定為行人。這樣，可不僅通過(guò)外觀(guān)分?jǐn)?shù)，還通過(guò)導(dǎo)出基于位置信息而生成的位置分?jǐn)?shù)來(lái)與行人分?jǐn)?shù)進(jìn)行相加，從而在將外觀(guān)判定為行人之前，關(guān)于對(duì)象物的位置可以判定有行人似的特點(diǎn)。因此，在本車(chē)輛I前方存在行人的情況下，可以使行人分?jǐn)?shù)較早達(dá)到閾值，從而可由精確且快速地檢測(cè)行人。
[0074]然而，如果外觀(guān)分?jǐn)?shù)不是有意義的值(這里為I分以上)，則即使僅基于位置分?jǐn)?shù)的行人分?jǐn)?shù)在閾值以上，行人確定部172也不將對(duì)象物確定為行人。位置分?jǐn)?shù)只是起到外觀(guān)分?jǐn)?shù)的輔助作用，僅在外觀(guān)分?jǐn)?shù)取有意義的值的情況下，才參照位置分?jǐn)?shù)。這樣，雖然通過(guò)外觀(guān)不能判定為行人，但是也可以避免僅通過(guò)位置分?jǐn)?shù)而無(wú)意地將對(duì)象物誤識(shí)別為行人的情況。根據(jù)本實(shí)施方式，通過(guò)對(duì)位置分?jǐn)?shù)設(shè)置不足閾值的上限值，據(jù)此與位置信息表示用于判定為行人的分?jǐn)?shù)的時(shí)間的長(zhǎng)短無(wú)關(guān)地回避僅通過(guò)位置分?jǐn)?shù)就使行人分?jǐn)?shù)達(dá)到閾值。
[0075]圖6是表示行人分?jǐn)?shù)的生成示例的說(shuō)明圖。圖6的(a)表示現(xiàn)有的處理，圖6的(b)表示本實(shí)施方式的處理。在圖6的(a)、(b)的時(shí)間點(diǎn)1，雖然可以通過(guò)對(duì)象物的位置信息判定為行人，但是還不能通過(guò)外觀(guān)信息判定為行人。因此，在僅通過(guò)對(duì)象物的外觀(guān)來(lái)判定是否是行人的現(xiàn)有處理中，在圖6的(a)的時(shí)間點(diǎn)I的行人分?jǐn)?shù)是O分(Pt)。另一方面，根據(jù)本實(shí)施方式，在可以通過(guò)位置信息判定為行人的情況下，由于位置分?jǐn)?shù)被累計(jì)，因此即使在圖6的(b)的時(shí)間點(diǎn)1，也可能出現(xiàn)行人分?jǐn)?shù)已經(jīng)達(dá)到上限值5分的情況。
[0076]之后，在時(shí)間點(diǎn)2外觀(guān)分?jǐn)?shù)變?yōu)?分，在時(shí)間點(diǎn)3外觀(guān)分?jǐn)?shù)變?yōu)?6分的情況下，在現(xiàn)有的處理中，如圖6的(a)的時(shí)間點(diǎn)3所示，行人分?jǐn)?shù)是16分，由于沒(méi)有達(dá)到閾值(這里是20分)，因此最終在僅外觀(guān)分?jǐn)?shù)達(dá)到閾值的時(shí)間點(diǎn)4，本車(chē)輛I才采取具體應(yīng)對(duì)措施(例如，車(chē)輛的停止處理)。另一方面，在本實(shí)施方式中，由于利用將位置分?jǐn)?shù)和外觀(guān)分?jǐn)?shù)相加得到的行人分?jǐn)?shù)進(jìn)行判定，因此在圖6的(b)的時(shí)間點(diǎn)2行人分?jǐn)?shù)變?yōu)?3分，在時(shí)間點(diǎn)3，行人分?jǐn)?shù)變?yōu)?1分。因此，在達(dá)到閾值的時(shí)間點(diǎn)3，可以執(zhí)行本車(chē)輛I的停止處理，與圖6的(a)相比，可以知道本車(chē)輛I可以針對(duì)車(chē)外環(huán)境提前采取應(yīng)對(duì)措施。
[0077]圖7是表示行人判定的整體處理的流程的流程圖。以幀為單位對(duì)包括在檢測(cè)區(qū)域214中的每一對(duì)象物執(zhí)行相關(guān)的行人判定處理。
[0078]如圖7所示，首先，位置分?jǐn)?shù)導(dǎo)出部166判定對(duì)象物的高度以及寬度是否包括在能夠判定為行人的范圍內(nèi)(S200)。如果該結(jié)果為包括在能夠判定的范圍內(nèi)(S200的是)，則導(dǎo)出位置分?jǐn)?shù)(S202)。在該位置分?jǐn)?shù)的導(dǎo)出處理中，位置分?jǐn)?shù)導(dǎo)出部166如圖4所示，通過(guò)對(duì)分別與行進(jìn)橫向位置、速度、累積移動(dòng)量對(duì)應(yīng)的分?jǐn)?shù)進(jìn)行累計(jì)來(lái)導(dǎo)出幀位置分?jǐn)?shù)，進(jìn)一步，求出與導(dǎo)出的幀位置分?jǐn)?shù)對(duì)應(yīng)的分?jǐn)?shù)，將其與由前一次的幀導(dǎo)出的位置分?jǐn)?shù)相加，導(dǎo)出新的位置分?jǐn)?shù)。
[0079]接著，外觀(guān)分?jǐn)?shù)導(dǎo)出部168判定是否能夠掌握對(duì)象物的輪廓(S204)。如果該結(jié)果為能夠掌握輪廓的情況(S2014的是)，則導(dǎo)出外觀(guān)分?jǐn)?shù)(S206)。在本外觀(guān)分?jǐn)?shù)的導(dǎo)出處理中，外觀(guān)分?jǐn)?shù)導(dǎo)出部168如使用圖5所說(shuō)明的、通過(guò)對(duì)分別與高度、縱橫比、位置關(guān)系、局部性、人造性、輪廓一致度、警戒度對(duì)應(yīng)的分?jǐn)?shù)進(jìn)行累計(jì)來(lái)導(dǎo)出幀外觀(guān)分?jǐn)?shù)，進(jìn)一步，求出與導(dǎo)出的幀外觀(guān)分?jǐn)?shù)對(duì)應(yīng)的分?jǐn)?shù)，將其與由前一次的幀導(dǎo)出的外觀(guān)分?jǐn)?shù)相加，導(dǎo)出新的外觀(guān)分?jǐn)?shù)。
[0080]接著，分?jǐn)?shù)生成部170通過(guò)將由位置分?jǐn)?shù)導(dǎo)出部166導(dǎo)出的位置分?jǐn)?shù)和由外觀(guān)分?jǐn)?shù)導(dǎo)出部168導(dǎo)出的外觀(guān)分?jǐn)?shù)相加來(lái)生成行人分?jǐn)?shù)(S208)。之后，行人確定部172判定行人分?jǐn)?shù)是否在閾值以上(S210)。如果該結(jié)果為行人分?jǐn)?shù)在閾值以上(S210的是)，則將該對(duì)象判定為行人(S212)，并結(jié)束該行人判定處理。另外，如果行人分?jǐn)?shù)不足閾值(S210的否)，則判定對(duì)象物是否在檢測(cè)區(qū)域214之外(S214)。如果該結(jié)果為對(duì)象物在檢測(cè)區(qū)域214之外(S214的是)，則結(jié)束該行人判定處理。
[0081]另外，在對(duì)象物的高度以及寬度沒(méi)有包括在能夠判定為行人的范圍內(nèi)(S200的否)、不能掌握對(duì)象物的輪廓(S204的否)、或者對(duì)象物沒(méi)有在檢測(cè)區(qū)域214之外(S214的否)的情況下，判定為行人的可能性仍然存在，重復(fù)從步驟S200開(kāi)始的處理。
[0082](其它的實(shí)施方式)
[0083]代替上述實(shí)施方式，另外，也可以通過(guò)其它的實(shí)施方式判定行人。
[0084]圖8是用于說(shuō)明其它的實(shí)施方式的說(shuō)明圖。行人以各種方式穿著各種色調(diào)和/或款式的服裝。另外，存在行人的膚色和/或發(fā)色等也不同的情況。因此，如圖8的(a)所示，在行人和除了行人以外的區(qū)域(背景)，以行人的輪廓為邊界，色調(diào)不同的情況較多。另一方面，如圖8的(b)中用粗線(xiàn)所示，存在將車(chē)輛等的一部分誤識(shí)別為行人的情況。然而，對(duì)于車(chē)輛而言，用較少的色調(diào)來(lái)表示的情況較多，另外，即使車(chē)輛的一部分被識(shí)別為行人，其側(cè)面如圖8的(b)那樣，有同一車(chē)輛的其它部分存在，且在對(duì)象物和對(duì)象物以外的區(qū)域(尤其是水平方向的區(qū)域)，以對(duì)象物的輪廓為邊界，色調(diào)相同的情況較多。這里，通過(guò)如此地關(guān)注于行人和行人以外的區(qū)域的色調(diào)不同的簡(jiǎn)單特性，來(lái)提高行人的判定精度。
[0085]輪廓確定部174從基于亮度圖像210的亮度的邊緣確定對(duì)象物的輪廓。色調(diào)判定部176將對(duì)象物的輪廓的內(nèi)外的色調(diào)(R、G、B)進(jìn)行比較，根據(jù)其結(jié)果將對(duì)象物確定為行人。這里，不利用亮度信息，例如，如亮藍(lán)色與暗藍(lán)色的色差變得難以區(qū)分那樣僅將色調(diào)作為比較對(duì)象。
[0086]圖9是用于說(shuō)明色調(diào)判定部176的操作的說(shuō)明圖。具體地說(shuō)，首先，色調(diào)判定部176如圖9的(a)所示，對(duì)于對(duì)象物2，導(dǎo)出沿表示水平方向的中央(重心)的垂直方向延伸的中心線(xiàn)300。之后，色調(diào)判定部176確定中心線(xiàn)300的各個(gè)像素的水平方向的、且由包含于用粗線(xiàn)表示的輪廓302中的像素構(gòu)成的左右兩個(gè)代表輪廓像素。因此，代表輪廓像素的在中心線(xiàn)300的像素的左右的數(shù)量分別與中心線(xiàn)300的像素的數(shù)量相同。
[0087]接著，色調(diào)判定部176如圖9的(b)中的兩個(gè)箭頭所示，對(duì)從左右的代表輪廓像素到中心線(xiàn)300的水平方向的像素的色調(diào)進(jìn)行累計(jì)、除法運(yùn)算，從而導(dǎo)出色調(diào)的平均值、并將該平均值與左右的代表輪廓像素進(jìn)行關(guān)聯(lián)。之后，色調(diào)判定部176如圖9的(c)所示，針對(duì)從代表輪廓像素到輪廓外導(dǎo)出水平方向的像素的色調(diào)的平均值。此時(shí)，如圖9的(c)所示，作為色調(diào)的平均值的導(dǎo)出對(duì)象的像素?cái)?shù)量為從該代表輪廓像素到中心線(xiàn)300的像素?cái)?shù)量。這樣，可以以相同的條件(像素?cái)?shù)量)導(dǎo)出輪廓內(nèi)外的色調(diào)的平均值。
[0088]之后，色調(diào)判定部176針對(duì)各個(gè)代表輪廓像素比較輪廓內(nèi)外的色調(diào)的平均值，并對(duì)差值在預(yù)先設(shè)定的閾值以上的代表輪廓像素的數(shù)量進(jìn)行累計(jì)。這里，可以通過(guò)R、G、B各自的差值的合計(jì)值來(lái)進(jìn)行色調(diào)的比較。之后，將累計(jì)值與代表輪廓像素的總數(shù)進(jìn)行比較，如果累計(jì)值在總數(shù)的預(yù)定比率(這里為50%)以上，則將對(duì)象確定為行人。雖然本實(shí)施方式的實(shí)驗(yàn)結(jié)果將適合于判斷為行人的預(yù)定％設(shè)定為50%，但是并不限制為該數(shù)值，而是可以根據(jù)車(chē)外環(huán)境和/或行人的狀態(tài)任意設(shè)定該數(shù)值。
[0089]然而，根據(jù)該其它的實(shí)施方式的行人判定只是起到上述基于行人分?jǐn)?shù)的行人判定的輔助作用，當(dāng)更加可靠且快速地執(zhí)行基于行人分?jǐn)?shù)的行人判定時(shí)，驗(yàn)證地利用根據(jù)該其它的實(shí)施方式的行人判定是有效果的。
[0090]以上，如所說(shuō)明的那樣，在本實(shí)施方式中，從還不能從外觀(guān)上判定行人的時(shí)間點(diǎn)開(kāi)始，預(yù)先基于位置信息將對(duì)象物判定為行人，因而可精確且快速地檢測(cè)行人。另外，進(jìn)一步，通過(guò)根據(jù)對(duì)象物的輪廓內(nèi)外的色調(diào)判定有行人似的特點(diǎn)，可進(jìn)一步提高行人的判定精度。
[0091]另外，還提供使計(jì)算機(jī)作為車(chē)外環(huán)境識(shí)別裝置120而發(fā)揮功能的程序和/或存儲(chǔ)該程序的、能夠被計(jì)算機(jī)讀取的軟盤(pán)、光盤(pán)、ROM、CD、DVD、BD等的存儲(chǔ)介質(zhì)。這里，程序是指以任意的語(yǔ)言和/或記述方法記述的數(shù)據(jù)處理單元。
[0092]以上，參照【專(zhuān)利附圖】

【附圖說(shuō)明】了本發(fā)明的優(yōu)選的實(shí)施方式，然而本發(fā)明并不限定于該實(shí)施方式。應(yīng)該了解的是，本領(lǐng)域技術(shù)人員在權(quán)利要求書(shū)所記載的范疇內(nèi)，容易想到的各種變形例或者修正例，當(dāng)然都屬于本發(fā)明的技術(shù)的范圍。
[0093]需要說(shuō)明的是，本說(shuō)明書(shū)的行人判定處理的各個(gè)步驟并不一定必須要按照流程圖所記載的順序按時(shí)間順序進(jìn)行處理，也可以包括根據(jù)并行的或者子程序的處理。
[0094]產(chǎn)業(yè)上的可利用性
[0095]本發(fā)明可以應(yīng)用于確定檢測(cè)區(qū)域中存在的對(duì)象物對(duì)應(yīng)于哪個(gè)特定物的車(chē)外環(huán)境識(shí)別裝置。
【權(quán)利要求】
1.一種車(chē)外環(huán)境識(shí)別裝置，其特征在于，具備: 三維位置導(dǎo)出部，導(dǎo)出拍攝檢測(cè)區(qū)域得到的圖像中的多個(gè)對(duì)象部位的在實(shí)際空間中的三維位置； 對(duì)象物確定部，將所述三維位置的差值在預(yù)定范圍內(nèi)的對(duì)象部位彼此進(jìn)行群組化來(lái)確定對(duì)象物； 位置分?jǐn)?shù)導(dǎo)出部，基于關(guān)于所述對(duì)象物的位置的位置信息導(dǎo)出位置分?jǐn)?shù)； 外觀(guān)分?jǐn)?shù)導(dǎo)出部，基于關(guān)于所述對(duì)象物的外觀(guān)的外觀(guān)信息導(dǎo)出外觀(guān)分?jǐn)?shù)； 行人確定部，在至少將所述位置分?jǐn)?shù)與所述外觀(guān)分?jǐn)?shù)相加得到的行人分?jǐn)?shù)在預(yù)先設(shè)定的閾值以上的情況下，將所述對(duì)象物確定為行人。
2.如權(quán)利要求1所述的車(chē)外環(huán)境識(shí)別裝置，其特征在于:在所述外觀(guān)分?jǐn)?shù)在預(yù)定值以上且所述行人分?jǐn)?shù)在所述閾值以上的情況下，所述行人確定部將所述對(duì)象物確定為行人。
3.如權(quán)利要求1或2所述的車(chē)外環(huán)境識(shí)別裝置，其特征在于:基于從所述對(duì)象物的行進(jìn)橫向位置、速度、累積移動(dòng)量中選擇的一個(gè)或多個(gè)參數(shù)導(dǎo)出所述位置分?jǐn)?shù)。
4.如權(quán)利要求1或2所述的車(chē)外環(huán)境識(shí)別裝置，其特征在于:基于從所述對(duì)象物的高度、縱橫比、位置關(guān)系、局部性、人造性、輪廓一致度、警戒度中選擇的一個(gè)或多個(gè)參數(shù)導(dǎo)出所述外觀(guān)分?jǐn)?shù)。
5.如權(quán)利要求1或2所述的車(chē)外環(huán)境識(shí)別裝置，其特征在于，還具備: 輪廓確定部，從基于所述圖像的亮度的邊緣確定所述對(duì)象物的輪廓； 色調(diào)判定部，將所述對(duì)象物的輪廓內(nèi)外的像素的色調(diào)進(jìn)行比較，根據(jù)比較的結(jié)果將該對(duì)象物確定為行人。
6.一種車(chē)外環(huán)境識(shí)別裝置，其特征在于，具備: 三維位置導(dǎo)出部，導(dǎo)出拍攝檢測(cè)區(qū)域得到的圖像中的多個(gè)對(duì)象部位的在實(shí)際空間中的三維位置； 對(duì)象物確定部，將所述三維位置的差值在預(yù)定范圍內(nèi)的對(duì)象部位彼此進(jìn)行群組化來(lái)確定對(duì)象物； 輪廓確定部，從基于所述圖像的亮度的邊緣確定所述對(duì)象物的輪廓； 色調(diào)判定部，將所述對(duì)象物的輪廓內(nèi)外的像素的色調(diào)進(jìn)行比較，根據(jù)比較的結(jié)果將該對(duì)象物確定為行人。
【文檔編號(hào)】B60W30/095GK104517118SQ201410488153
【公開(kāi)日】2015年4月15日 申請(qǐng)日期:2014年9月22日 優(yōu)先權(quán)日:2013年9月27日
【發(fā)明者】野村直樹(shù) 申請(qǐng)人:富士重工業(yè)株式會(huì)社