專利名稱：基于道路邊界檢測物體的檢測裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種處理由照相機(jī)拍攝的圖像以檢測出現(xiàn)在該圖像中的物體的車載物體檢測器，以及涉及一種物體檢測方法。
背景技術(shù)：
從日本特開2004-220059號公報(bào)中已知一種圖像處理器。利用該已知的圖像處理器，從圖像來計(jì)算各點(diǎn)處的光流(opticalflow)，將該光流分組成多個(gè)區(qū)域，并基于各區(qū)域的光流信息來檢測背景和獨(dú)立的運(yùn)動物體。
在該傳統(tǒng)裝置中，計(jì)算光流，并對整個(gè)圖像執(zhí)行處理以檢測背景和運(yùn)動物體。因?yàn)榛谄湓趫D像中的位置而出現(xiàn)的背景和物體有許多差異，所以產(chǎn)生的問題是當(dāng)對整個(gè)圖像執(zhí)行相同的處理以檢測背景和運(yùn)動物體時(shí)，可能發(fā)生錯(cuò)誤。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個(gè)方面是一種檢測裝置，用于檢測至少一個(gè)圖像中的物體，該檢測裝置包括圖像拍攝裝置，其被安裝在車輛上，該圖像拍攝裝置用于捕獲圖像；控制器，其與該圖像拍攝裝置相耦合；其中，可操作該控制器以提取由該圖像拍攝裝置所捕獲的圖像的像素，基于所提取的像素計(jì)算側(cè)向速度分量，基于計(jì)算出的側(cè)向速度分量檢測道路邊界，并基于該道路邊界與該物體之間的關(guān)系檢測該物體的運(yùn)動方向。
本發(fā)明的另一方面是一種檢測裝置，用于檢測由安裝在車輛上的圖像拍攝裝置獲得的圖像中的物體，該檢測裝置包括邊緣提取裝置，用于提取存在于多個(gè)圖像幀中的至少一個(gè)物體的邊緣；道路邊界檢測裝置，用于基于至少一些所提取的邊緣的各自的橫向運(yùn)動速度，來檢測該圖像中的道路邊界；以及運(yùn)動方向判定裝置，用于基于該道路邊界和其它所提取的邊緣的各自的橫向運(yùn)動速度，來判定物體的運(yùn)動方向。本發(fā)明的該方面可以包括邊緣速度計(jì)算裝置，該邊緣速度計(jì)算裝置基于至少兩個(gè)圖像幀，來計(jì)算所提取的邊緣的各自的橫向運(yùn)動速度。
本發(fā)明的另一方面是一種檢測方法，用于檢測由安裝在車輛上的圖像拍攝裝置獲得的圖像中的物體，該檢測方法包括以下步驟提取存在于多個(gè)圖像幀中的至少一個(gè)物體的邊緣；基于至少一些所提取的邊緣的各自的橫向運(yùn)動速度，檢測圖像中的道路邊界；以及基于道路邊界和其它所提取的邊緣的各自的橫向運(yùn)動速度，判定物體的運(yùn)動方向。該方法還包括以下步驟基于至少兩個(gè)圖像幀來計(jì)算所提取的邊緣的圖像中的橫向運(yùn)動速度。
在本發(fā)明的所有方面中，可以將圖像劃分成道路邊界內(nèi)側(cè)的范圍和道路邊界外側(cè)的范圍，并且考慮到物體出現(xiàn)在道路的內(nèi)側(cè)和外側(cè)之間是不同的，利用不同的方法來檢測物體，從而可提高處理精度。
以下進(jìn)一步詳細(xì)說明該裝置和方法的其它發(fā)明方面。


這里參考附圖進(jìn)行說明，其中相同的附圖標(biāo)記在整個(gè)附圖中是指相同的部分，其中圖1是示出本發(fā)明第一實(shí)施例中的車載物體檢測器的一個(gè)方面的結(jié)構(gòu)的框圖；圖2示出車輛上的照相機(jī)安裝的例子；圖3示出第一實(shí)施例中的拍攝圖像的例子；圖4A～4C示出邊緣標(biāo)準(zhǔn)化方法；
圖5示出第一實(shí)施例中的速度圖像的例子；圖6示出檢測根據(jù)圖5的速度圖像中的道路邊界的例子；圖7示出在第一實(shí)施例中將根據(jù)圖5的速度圖像劃分成道路邊界上部區(qū)域和道路邊界下部區(qū)域的例子；圖8示出在第一實(shí)施例的道路邊界上部區(qū)域中的物體檢測例子；圖9示出在第一實(shí)施例的道路邊界下部區(qū)域中的物體檢測例子；圖10A和10B示出說明第一實(shí)施例中的車載物體檢測器的處理的流程圖；圖11示出在本發(fā)明第二實(shí)施例中的拍攝圖像的例子；圖12示出第二實(shí)施例中的速度圖像的例子；圖13示出在第二實(shí)施例中將根據(jù)圖12的速度圖像劃分成道路邊界上部區(qū)域和道路邊界下部區(qū)域的例子；圖14是示出在第二實(shí)施例的道路邊界上部區(qū)域中的物體檢測例子的第一圖；圖15是示出在第二實(shí)施例的道路邊界上部區(qū)域中的物體檢測例子的第二圖；圖16A～16C示出說明第二實(shí)施例中的車載物體檢測器的處理的流程圖；圖17是示出邊緣寬度標(biāo)準(zhǔn)化部分的詳細(xì)結(jié)構(gòu)的框圖；圖18是示出圖17中所示的邊緣寬度標(biāo)準(zhǔn)化部分的細(xì)線壓縮操作和擴(kuò)展操作的圖；以及圖19是示出投票(balloting)模塊的求和操作的圖。
具體實(shí)施例方式
圖1是示出本發(fā)明第一實(shí)施例中的車載物體檢測器的一個(gè)方面的結(jié)構(gòu)的框圖。車載檢測器100具有被安裝在車輛上的照相機(jī)101。照相機(jī)101執(zhí)行拍攝車輛前方的圖像的功能，該照相機(jī)101通常包含用于存儲由其所拍攝的圖像的圖像存儲器102。圖像存儲器102還可以如圖1所示與照相機(jī)101分離。檢測器100還包括控制器103，該控制器103包含中央處理單元(CPU)、存儲器和其它外圍電路，并執(zhí)行下述各種處理。簡言之，控制器103執(zhí)行以下處理，例如邊緣提取、邊緣速度計(jì)算、道路邊界檢測、物體檢測和運(yùn)動方向的確定。最后，檢測器100包括用于存儲下述像素計(jì)數(shù)器的計(jì)數(shù)值的計(jì)數(shù)器存儲器104。
照相機(jī)101是優(yōu)選以極小的固定時(shí)間間隔Δt例如2ms(幀頻＝500幀每秒)拍攝圖像的高速照相機(jī)，該高速照相機(jī)具有在車輛運(yùn)動的同時(shí)連續(xù)拍攝車輛前方圖像的圖像拍攝元件例如CCD或CMOS。照相機(jī)101將各幀輸出到圖像存儲器102。這里，如圖2所示，照相機(jī)101被安裝在車輛的客廂中的頂前方。設(shè)置照相機(jī)101使得其視軸(viewing axis)方向Z直接朝向車輛的前方，圖像拍攝面水平軸X與地面平行，圖像拍攝面垂直軸Y與地面垂直。
圖3中示出了由照相機(jī)101拍攝的圖像的例子。以使用圖像的左上角作為原點(diǎn)、從左到右作為x軸、從上到下作為y軸的x-y坐標(biāo)系統(tǒng)(照相機(jī)坐標(biāo))來表示由照相機(jī)101產(chǎn)生的拍攝圖像3a。這里，在圖3中，拍攝圖像3a包括存在于道路左側(cè)和右側(cè)的道路邊界即白線A和B、存在于車輛前方的靜止行人(人)C、靜止背景樹D、在車輛前方向右運(yùn)動的行人E、以及向左運(yùn)動的行人F。即，拍攝圖像3a包括畫在道路上的白色線A和B、存在于車輛前方的靜止物體C、存在于車輛前方的運(yùn)動物體E和F、以及背景D。
控制器103通過從圖3所示的由照相機(jī)101所拍攝的拍攝圖像3a中分離出背景和物體，來檢測存在于拍攝圖像3a中的物體。首先，計(jì)算存在于拍攝圖像3a中的物體沿橫向(x軸方向)的運(yùn)動速度，并生成速度圖像，在該速度圖像中，由級別值來表示拍攝圖像3a中的物體的橫向運(yùn)動方向和速度。
更具體地，從圖像存儲器102中讀取由照相機(jī)101捕獲的圖像，并將用于邊緣提取的濾波器應(yīng)用于拍攝圖像3a，以執(zhí)行邊緣提取處理。然后，對每一所提取的邊緣，通過執(zhí)行如下所述的圖像處理來計(jì)算拍攝圖像3a中的各邊緣的運(yùn)動速度。首先，將細(xì)線化(thinning)處理應(yīng)用于拍攝圖像3a中的邊緣，以準(zhǔn)確找到邊緣的中心。然后將細(xì)線化后的邊緣進(jìn)行擴(kuò)展，使得邊緣寬度為固定寬度例如3個(gè)像素的寬度。通過以該方式標(biāo)準(zhǔn)化所提取的邊緣，可以獲得各邊緣都具有均一寬度的邊緣圖像。
圖4A～4C示出用于標(biāo)準(zhǔn)化所提取的邊緣并獲得邊緣圖像的上述處理的例子。即，對通過圖4A所示的數(shù)字化獲得的邊緣執(zhí)行細(xì)線化處理，以獲得圖4B所示的細(xì)線化之后的邊緣。然后擴(kuò)展該細(xì)線化后的邊緣，以如圖4C所示使該邊緣具有固定寬度。
參考圖17和18更清楚地來說明如圖4A～4C中所示用于標(biāo)準(zhǔn)化所提取的邊緣并獲得邊緣圖像的該處理的一種實(shí)現(xiàn)方式。邊緣提取部分202對從照相機(jī)101輸入的幀圖像使用SOBEL濾波器來提取圖像的邊緣。邊緣標(biāo)準(zhǔn)化部分203將由邊緣提取部分202所提取的邊緣的邊緣寬度標(biāo)準(zhǔn)化為在物體的移動方向上的給定像素?cái)?shù)。
如圖17所示，邊緣標(biāo)準(zhǔn)化部分203包括二值化部分231，其將由邊緣提取部分202所生成的邊緣圖像以二值態(tài)來表示。邊緣標(biāo)準(zhǔn)化部分203還包括細(xì)線壓縮部分232，其將細(xì)線中由二值化部分231以二值態(tài)表示的邊緣的邊緣寬度轉(zhuǎn)換為給定的像素?cái)?shù)。最后，邊緣標(biāo)準(zhǔn)化部分203包括擴(kuò)展部分233，其將由細(xì)線壓縮部分232在細(xì)線中形成的邊緣的邊緣寬度擴(kuò)展為給定的像素?cái)?shù)。
利用這樣配置的邊緣標(biāo)準(zhǔn)化部分203，如果從邊緣提取部分202輸入邊緣圖像，則二值化部分231對該邊緣圖像執(zhí)行二值化操作。在該二值化操作期間，檢測到邊緣的像素范圍的像素被分配為“1”，而未檢測到邊緣的像素范圍的像素被分配為“0”?；谶@些所分配的值，如圖18中的幀圖像(a)所示，生成二值圖像。
接著，細(xì)線壓縮部分232對由二值化部分231以二值態(tài)表示的二值化后的圖像執(zhí)行細(xì)線壓縮操作。該細(xì)線壓縮操作將檢測到的邊緣壓縮為給定的像素?cái)?shù)。在圖18中所示的幀圖像(b)中，將邊緣的邊緣寬度壓縮為一個(gè)像素的給定像素?cái)?shù)。在以這種方式將邊緣壓縮為給定的像素寬度時(shí)，細(xì)線壓縮部分232設(shè)置邊緣的中心位置。
擴(kuò)展部分233執(zhí)行擴(kuò)展操作，用于擴(kuò)展由細(xì)線壓縮部分232壓縮了線的邊緣的邊緣寬度。在該擴(kuò)展操作期間，沿邊緣的兩個(gè)移動方向，即離開由細(xì)線壓縮操作所設(shè)置的該邊緣的中心位置的一個(gè)移動方向和與該移動方向相反的另一方向，擴(kuò)展邊緣寬度。在圖18中的幀圖像(c)中，將邊緣寬度沿兩個(gè)方向，即沿離開形成該邊緣的中心的像素位置X的移動方向(X軸的正向)和與該移動方向相反的另一方向(X軸的反向)，各擴(kuò)展一個(gè)像素，從而在該例子中，將該邊緣的邊緣寬度標(biāo)準(zhǔn)化為三個(gè)像素。
在以這樣的方式執(zhí)行細(xì)線壓縮和擴(kuò)展操作時(shí)，邊緣標(biāo)準(zhǔn)化部分203以給定的像素?cái)?shù)向邊緣的移動方向標(biāo)準(zhǔn)化由邊緣提取部分202提取的邊緣的邊緣寬度。
盡管可以根據(jù)這些步驟來標(biāo)準(zhǔn)化邊緣寬度，但是另選的是邊緣提取部分202檢測所檢測到的該邊緣的峰值位置，之后以某種方式將邊緣寬度標(biāo)準(zhǔn)化，以使該邊緣寬度具有關(guān)于該邊緣峰值位置在邊緣的移動方向和與該移動方向相反的方向上各有給定像素?cái)?shù)的像素寬度。
接著，投票部分204對如上所述標(biāo)準(zhǔn)化后的標(biāo)準(zhǔn)化邊緣執(zhí)行求和操作。將該求和操作如下實(shí)現(xiàn)使得對檢測到標(biāo)準(zhǔn)化邊緣的像素范圍的存儲地址的值進(jìn)行求和，而對未檢測到標(biāo)準(zhǔn)化邊緣的像素范圍的存儲地址的值進(jìn)行初始化。更具體地，圖19示出了投票部分204的求和操作。
起初，假定在時(shí)刻t的幀圖像(c)中，將邊緣寬度從像素位置X沿邊緣的移動方向和與該移動方向相反的另一方向的兩個(gè)移動方向各擴(kuò)展一個(gè)像素，即X-1到X+1。
在這種情況下，投票部分204對由求和掩碼241逐一檢測到標(biāo)準(zhǔn)化邊緣的像素位置X-1、X和X+1的投票值進(jìn)行求和，而對未檢測到標(biāo)準(zhǔn)化邊緣的像素范圍的投票值進(jìn)行復(fù)位。
在圖19的幀圖像(d)中，由于在時(shí)刻t在像素位置X-1、X和X+1上檢測到標(biāo)準(zhǔn)化邊緣，因此對各像素位置處的投票值逐一求和，使得像素位置X+1獲得投票值1，像素位置X獲得投票值3，像素位置X-1獲得投票值5。
在時(shí)刻t+1邊緣沒有移動，因此在像素位置X-1、X和X+1處檢測到標(biāo)準(zhǔn)化邊緣，并且如圖19中的幀圖像(e)所示，進(jìn)一步對像素位置X-1、X和X+1的投票值逐一求和，使得像素位置X+1獲得投票值2，像素位置X獲得投票值4，像素位置X-1獲得投票值6。
在時(shí)刻t+2，邊緣沿X軸的正方向移動一個(gè)像素，在X軸上像素位置X、X+1和X+2處檢測到標(biāo)準(zhǔn)化邊緣。因此，對檢測到標(biāo)準(zhǔn)化邊緣的像素位置的投票值求和，而對未檢測到標(biāo)準(zhǔn)化邊緣的像素位置的投票值進(jìn)行復(fù)位。結(jié)果，如圖19中的幀圖像(f)所示，像素位置X+2獲得投票值1，像素位置X+1獲得投票值3，像素位置X獲得投票值5。另外，未檢測到標(biāo)準(zhǔn)化邊緣的像素位置X-1的投票值被復(fù)位為“0”。
通過這種方式，投票部分204對檢測到標(biāo)準(zhǔn)化邊緣的像素位置的投票值進(jìn)行求和，而對未檢測到標(biāo)準(zhǔn)化邊緣的像素范圍的投票值進(jìn)行復(fù)位。
盡管在圖19中，在作為標(biāo)準(zhǔn)化邊緣的像素范圍的總共三個(gè)位置即像素位置X-1、X和X+1處檢測投票值，但是可以檢測任何位置的投票值，只要按如下所述獲得投票值的梯度即可。
此外，如果將幀頻設(shè)置為比邊緣(標(biāo)準(zhǔn)化邊緣的中心像素位置處)移動的速度足夠高，則對于連續(xù)出現(xiàn)在時(shí)間序列中的幀圖像，在相同的像素范圍上多次檢測到標(biāo)準(zhǔn)化邊緣。在圖19的情況下，在時(shí)刻t和t+1，在像素位置X中兩次檢測到標(biāo)準(zhǔn)化邊緣。因此，在檢測到標(biāo)準(zhǔn)化邊緣的像素范圍的投票值時(shí)產(chǎn)生的投票值本質(zhì)上相當(dāng)于在相關(guān)像素范圍中檢測到標(biāo)準(zhǔn)化邊緣期間的時(shí)間間隔(幀數(shù))。特別地，這意味著在邊緣移動了標(biāo)準(zhǔn)化邊緣所處的像素范圍的投票值中最小的投票值h之后，需要多少幀數(shù)以位于相同的像素范圍上。
隨后，移動速度檢測部分205計(jì)算移動速度、移動方向和邊緣位置。移動速度檢測部分205首先計(jì)算標(biāo)準(zhǔn)化邊緣的像素范圍的投票值的梯度。根據(jù)由投票值梯度計(jì)算部分251所計(jì)算的投票值的梯度，移動速度檢測部分205計(jì)算移動方向、移動速度和邊緣位置。
參考圖19來說明該計(jì)算方法。在圖19中的幀圖像(e)的情況下，像素位置X-1、X和X+1分別具有投票值6、4和2。因此，在從像素位置X-1處的投票值6減去在像素位置X+1處的投票值2時(shí)，可以計(jì)算投票值的梯度為H＝(6-2)/2＝2。這意味著H＝{(標(biāo)準(zhǔn)化邊緣從像素位置X-1移動到像素位置X+1所需要的時(shí)間間隔)}/(2個(gè)像素)因此，投票值的梯度H本質(zhì)上相當(dāng)于標(biāo)準(zhǔn)化邊緣經(jīng)過像素位置X所需的時(shí)間間隔(幀數(shù))。即，投票值的梯度H相當(dāng)于獲得關(guān)于標(biāo)準(zhǔn)化邊緣移動一個(gè)像素需要多少幀數(shù)的信息，并且可基于投票值的梯度H計(jì)算邊緣的移動速度1/H。
在圖19的幀圖像中，標(biāo)準(zhǔn)化邊緣移動一個(gè)像素需要四幀，因此，可以計(jì)算邊緣的移動速度為1/4(像素/幀)。
此外，可以根據(jù)投票值的大小判斷邊緣的移動方向。在邊緣移動且檢測到新的標(biāo)準(zhǔn)化邊緣時(shí)出現(xiàn)的像素范圍具有投票值1，該投票值1是各像素位置的投票值中的最小值。因此，該邊緣移動方向上的投票值小，而與該邊緣移動方向相反的方向上的投票值大。因而，可以判斷邊緣的移動方向。
另外，如果將幀頻設(shè)置為比邊緣移動的速度足夠高，則假定物體正在勻速運(yùn)動。而且，在標(biāo)準(zhǔn)化邊緣所處的像素范圍的投票值中，最小投票值“h”意味著在相關(guān)像素位置處檢測到標(biāo)準(zhǔn)化邊緣的時(shí)間間隔，即邊緣已經(jīng)移動后所需的給定幀數(shù)，標(biāo)準(zhǔn)化邊緣位于相同的位置。
根據(jù)上述說明，在邊緣的中心位置為X的情況下，可以將邊緣的位置表示如下邊緣的當(dāng)前位置＝X+h/H在圖19的幀圖像(e)中，由于在時(shí)刻t+1，在邊緣速度為1/4(像素/幀)的兩個(gè)連續(xù)幀的相同像素位置處檢測到邊緣，因此可以通過下式計(jì)算出在時(shí)刻t+1的邊緣的像素位置，以得到從該像素位置移動的位置2(幀)×{1/4(像素/幀)}＝0.5像素在以所討論的方式計(jì)算移動速度、移動方向和邊緣位置時(shí)，移動速度檢測部分205將所計(jì)算的移動速度發(fā)送到邊緣標(biāo)準(zhǔn)化部分203。在接收到該移動速度時(shí)，邊緣標(biāo)準(zhǔn)化部分203改變將被標(biāo)準(zhǔn)化的邊緣的邊緣寬度。在圖19的幀圖像(f)中，盡管標(biāo)準(zhǔn)化操作后的邊緣寬度關(guān)于邊緣的移動方向具有三個(gè)像素，但是，當(dāng)所接收到的移動速度高時(shí)，將關(guān)于邊緣的移動方向的邊緣寬度改變?yōu)榇笥谌齻€(gè)像素。相比之下，當(dāng)移動速度低時(shí)，將關(guān)于邊緣的移動方向的邊緣寬度改變?yōu)樾∮谌齻€(gè)像素。
因而，改變用于標(biāo)準(zhǔn)化的邊緣寬度使邊緣寬度能夠被標(biāo)準(zhǔn)化為使得標(biāo)準(zhǔn)化邊緣根據(jù)移動速度在時(shí)間序列中連續(xù)的幀圖像之間相互重疊，從而有可能擴(kuò)展可用于檢測的移動速度的范圍。
在2005年6月7日提交的名為“Motion Detection Apparatusand Motion Detection Method(運(yùn)動檢測裝置和運(yùn)動檢測方法)”的美國專利申請序列號11/146,041中可以發(fā)現(xiàn)關(guān)于邊緣提取的附加背景信息，在此將其全部引入作為參考，并且在2004年9月24日申請的日本特開2004-278250號公報(bào)和2004年9月27日申請的日本特開2004-279394號公報(bào)中也可以發(fā)現(xiàn)關(guān)于邊緣提取的附加背景信息，在此將其引入作為參考。
總之，在保存在計(jì)數(shù)器存儲器104中的像素計(jì)數(shù)器中，更新與在當(dāng)前邊緣圖像中存在邊緣的像素相對應(yīng)的像素計(jì)數(shù)器的計(jì)數(shù)值。像素計(jì)數(shù)器是與邊緣圖像的每個(gè)像素相對應(yīng)的計(jì)數(shù)器。對與存在邊緣的像素相對應(yīng)的像素計(jì)數(shù)器的計(jì)數(shù)值加上計(jì)數(shù)1，將與不存在邊緣的像素相對應(yīng)的像素計(jì)數(shù)器的計(jì)數(shù)值初始化為0。通過這樣更新由照相機(jī)101連續(xù)拍攝的各幀的計(jì)數(shù)值，相對較長的時(shí)間存在邊緣的像素將具有較大的計(jì)數(shù)值。相對較短的時(shí)間存在邊緣的像素將具有較小的計(jì)數(shù)值。
通過得到與橫向緊鄰的像素相對應(yīng)的像素計(jì)數(shù)器的計(jì)數(shù)值的差，來計(jì)算在各像素處存在邊緣的時(shí)間差，并獲得該邊緣運(yùn)動一個(gè)像素所需的時(shí)間。之后，通過對該值求倒數(shù)，可以計(jì)算在各像素處的圖像空間中的橫向運(yùn)動速度。通過判定運(yùn)動的方向，可以計(jì)算各像素處的圖像空間中的橫向運(yùn)動方向。在各像素處的圖像空間中的橫向運(yùn)動速度和運(yùn)動方向?qū)?yīng)于包括在各像素處的邊緣的橫向運(yùn)動速度和運(yùn)動方向。這樣，就可以計(jì)算拍攝圖像3a中各像素處的邊緣的速度分量，即邊緣的運(yùn)動方向和運(yùn)動速度。
生成速度圖像，在該速度圖像中，用規(guī)定的級別值表示使用上述處理所計(jì)算的拍攝圖像3a中的邊緣的速度分量。利用第一實(shí)施例中的速度圖像，例如圖5中所示的速度圖像5a，用圓點(diǎn)來表示檢測到橫向速度的像素。用點(diǎn)的大小來表示運(yùn)動速度。點(diǎn)越大，像素越快。還示出了運(yùn)動的方向，其中，用黑點(diǎn)表示向右的速度，用白點(diǎn)表示向左的速度。
在圖5中，根據(jù)道路左側(cè)的白線A和向右運(yùn)動的行人E，來檢測向圖像右側(cè)的速度。根據(jù)道路右側(cè)的白線B、靜止的行人C、樹D和向左運(yùn)動的行人F，來檢測向圖像左側(cè)的速度。
接著，對速度圖像5a設(shè)置用于檢測存在于圖像中的道路邊界的道路邊界檢測區(qū)域。例如，如圖6所示，將速度圖像5a在X軸方向上二等分，并設(shè)立多個(gè)道路邊界檢測區(qū)域6a。該區(qū)域6a橫向長，并在每個(gè)二等分的左區(qū)域和右區(qū)域中等間隔地設(shè)立該區(qū)域6a。然后，用直線連接所設(shè)立的各道路邊界檢測區(qū)域6a中具有相同速度分量的像素，并且檢測存在于各道路邊界檢測區(qū)域6a中的斜線，即線段a-h。結(jié)果是當(dāng)存在于速度圖像5a的右邊和左邊的各道路邊界檢測區(qū)域6a中檢測到的線段被連成一條直線上時(shí)，就將連接該線段的直線判定為道路邊界，例如白線。
這樣，在圖6所示的例子中，從設(shè)立在速度圖像5a的左側(cè)的道路邊界區(qū)域6a檢測到的線段a-d被連成一條直線，使得將連接線段a-d的該直線判定為道路左側(cè)的道路邊界，即白線A。從設(shè)立在速度圖像5a的右側(cè)的道路邊界區(qū)域6a檢測到的線段e-h被連成一條直線，使得將連接線段e-h的該直線判定為道路右側(cè)的道路邊界，即白線B。
使用以這種方式檢測到的道路邊界來劃分速度圖像5a。即，如圖7所示，使用所檢測到的白線A和B以上的區(qū)域即作為道路邊界上部區(qū)域7a的道路外側(cè)范圍，以及白線A和B以下的區(qū)域即作為道路邊界下部區(qū)域7b的道路內(nèi)側(cè)范圍，將速度圖像5a劃分成上側(cè)和下側(cè)。
通常，因?yàn)橐赃@種方式設(shè)立的道路邊界上部區(qū)域7a在道路的外側(cè)，所以在該范圍內(nèi)主要出現(xiàn)遠(yuǎn)方景色和路邊的建筑物。因?yàn)榈缆愤吔缦虏繀^(qū)域7b在道路的內(nèi)側(cè)，所以在該范圍內(nèi)出現(xiàn)路面。為此，在速度圖像5a中，在道路邊界上部區(qū)域7a和道路邊界下部區(qū)域7b之間，背景的運(yùn)動速度是不同的?？紤]到這個(gè)，如下所述，在道路邊界上部區(qū)域7a和道路邊界下部區(qū)域7b之間將利用不同的物體檢測方法來檢測物體。
首先，說明用于檢測存在于道路邊界上部區(qū)域7a內(nèi)的物體的方法。在道路邊界上部區(qū)域7a中，考慮到在道路邊界以上的區(qū)域中，由于物體和背景之間的深度不同而出現(xiàn)速度差，按如下來檢測物體。
在該方法中，在所設(shè)立的道路邊界上部區(qū)域7a中，將具有規(guī)定寬度例如一個(gè)像素的寬度、且從道路的下邊緣到上邊緣垂直取向的多個(gè)區(qū)域，設(shè)立為物體檢測區(qū)域7c。道路邊界上部區(qū)域7a的內(nèi)部被物體檢測區(qū)域7c劃分。然后，計(jì)算各物體檢測區(qū)域7c中的速度分散。如果計(jì)算出的速度分散大于規(guī)定值，則判定在該物體檢測區(qū)域7c中存在物體候選。另一方面，如果計(jì)算出的速度分散小于規(guī)定值，則判定在該物體檢測區(qū)域7c中存在背景。可以以這種方式來分離速度圖像5a中存在的物體候選和背景。
接著，在存在物體候選的那些物體檢測區(qū)域7c中，比較鄰近的物體檢測區(qū)域7c的速度分量。如果它們具有相同的速度分量，則判定在具有相同的速度分量的物體檢測區(qū)域7c中存在相同的物體候選。然后將那些物體檢測候選區(qū)域7c結(jié)合起來。結(jié)合后的物體檢測候選區(qū)域被分成具有與上述存在背景的物體檢測區(qū)域7c相同的速度分量的范圍和具有與存在背景的物體檢測區(qū)域7c不同的速度分量的范圍。該分離是基于結(jié)合后的物體檢測候選區(qū)域中的速度分量的分布而進(jìn)行的。
這樣，可以將結(jié)合后的物體檢測候選區(qū)域分為包括背景的區(qū)域和包括物體的區(qū)域。通過僅對包括物體的區(qū)域設(shè)立物體候選區(qū)域7d，可以指定在速度圖像5a中存在物體候選的范圍。這里，然而，當(dāng)物體候選區(qū)域7d存在于道路邊界上部區(qū)域7a的下邊緣，即鄰近道路邊界時(shí)，則判定具有相同速度分量的范圍是否跨越道路邊界。當(dāng)具有相同速度分量的范圍跨越道路邊界時(shí)，因?yàn)閳?zhí)行利用下面所述處理的物體檢測，所以將其從處理中除外。
在幀之間監(jiān)視利用上述處理指定的物體候選區(qū)域7d和與其靠近一側(cè)的道路邊界即白線A之間的相對位置的變化。如果檢測到圖8中所示的物體候選區(qū)域7d與白線A之間的距離的變化，則判定在物體候選區(qū)域7d中存在運(yùn)動物體。然后，基于距離的變化判定物體的運(yùn)動方向。如果在多幀中沒有檢測到物體候選區(qū)域7d與白線A之間的距離8a的變化，并且如果檢測到具有在多幀中連續(xù)的相同的速度分量的物體候選區(qū)域7d，則判定在物體候選區(qū)域7d中存在靜止物體。
這樣，如果存在于物體候選區(qū)域7d中的物體為運(yùn)動物體，則考慮到物體和道路邊界之間的距離隨時(shí)間而變的事實(shí)，可以準(zhǔn)確地判定物體。如果存在于物體候選區(qū)域7d中的物體為靜止物體，則考慮到物體與道路邊界之間的距離不改變，可以提高物體檢測的可靠性。但是，如果在多幀中連續(xù)檢測到相同的物體，則其為物體的可能性更高。
與此相反，如果在多幀之間沒有檢測到物體候選區(qū)域7d與白線A之間的距離8a的變化，并且如果沒有在多幀中連續(xù)檢測到具有相同速度分量的物體候選區(qū)域7d，則判定在該物體候選區(qū)域7d中不存在物體。因此，將物體候選區(qū)域7d從速度圖像5a中刪除。
因?yàn)槭褂蒙鲜鎏幚碓谒俣葓D像5a內(nèi)的道路邊界上部區(qū)域7a中分離物體和背景，所以可以判定在道路邊界上部區(qū)域7a中存在物體，即靜止的行人C，并可以檢測到存在于拍攝圖像3a中的物體。
接著，在速度圖像5a內(nèi)檢測存在于道路邊界下部區(qū)域7b中的物體和跨越道路邊界上部區(qū)域7a和道路邊界下部區(qū)域7b的物體，即跨越白線A和B的物體。如果在行進(jìn)過程中在道路上不存在白線或路邊等邊界，并且在拍攝圖像3a中不出現(xiàn)道路邊界，則不能利用上述處理在速度圖像5a中設(shè)立道路邊界上部區(qū)域7a和道路邊界下部區(qū)域7b。因此在這種情況下，也通過對所有速度圖像5a執(zhí)行下述處理，來檢測物體。
首先，如圖9所示，將包含規(guī)定范圍的區(qū)域例如一個(gè)像素高和三個(gè)像素寬的區(qū)域，設(shè)立為在道路邊界下部區(qū)域7b中用于下邊緣檢測的小區(qū)域9a。在速度圖像5a中沿Y軸從下面掃描該用于下邊緣檢測的小區(qū)域9a。然后，利用從下面掃描的速度圖像5a，檢測具有用于下邊緣檢測的小區(qū)域9a中大于所規(guī)定速度的像素所在的位置，作為物體的下邊緣存在的位置，即物體下邊緣位置9b。
之后，構(gòu)造從檢測到的物體下邊緣位置9b沿y軸的速度圖像的直方圖。即，構(gòu)造表示沿像素的x軸的頻率分布的直方圖，該像素從物體下邊緣位置9b沿y軸具有相同的大于所規(guī)定速度。然后，根據(jù)下面的公式(1)來計(jì)算在各預(yù)先設(shè)定的物體的參考高度ym的范圍中的頻率的總和，其中，這時(shí)物體下邊緣位置9b的坐標(biāo)值為yd，在各y坐標(biāo)值處的具有相同的大于規(guī)定速度的像素的頻率為V(yi)。
如果利用公式(1)計(jì)算的頻率的總和等于或大于規(guī)定值T1，則判定在分布有具有相同的大于規(guī)定速度的像素的范圍內(nèi)存在物體。然后，如果判定在大于各預(yù)先設(shè)定的物體的參考高度ym的位置處存在物體，則檢測僅在y坐標(biāo)值中具有相同的大于規(guī)定速度的像素的頻率V(yi)小于規(guī)定值T2之前的位置，例如由圖9中的附圖標(biāo)記9c所表示的位置，作為存在物體的上邊緣位置，即物體上邊緣位置9c。
Σi=mdV(yi)>T1---(1)]]>另外，對于物體下邊緣位置9b和物體上邊緣位置9c之間的范圍，平行于y軸畫直線，該直線經(jīng)過在x軸方向上連續(xù)的具有相同的大于規(guī)定速度的像素中的最外面的像素。由平行于y軸的直線、物體下邊緣位置9b和物體上邊緣位置9c圍成的范圍被指定為存在物體的范圍，即物體范圍9d。這樣，在速度圖像5a中對具有相同的大于規(guī)定速度的像素進(jìn)行分組，可以指定在道路邊界下部區(qū)域7b內(nèi)存在物體的范圍、以及物體跨越道路邊界上部區(qū)域7a和道路邊界下部區(qū)域7b的范圍。
例如，如圖9所示，可以指定包括跨越白線B的行人E和F的物體范圍9d，為此，可以從拍攝圖像3a內(nèi)檢測到行人E和F。
圖10A和10B示出說明第一實(shí)施例中車載物體檢測器100的處理的流程圖。通過控制器103執(zhí)行圖10A和10B中所示的處理，作為當(dāng)通過打開車輛點(diǎn)火開關(guān)將電源提供給車載物體檢測器100時(shí)啟動的程序。在步驟S1，讀取通過照相機(jī)101連續(xù)讀取的拍攝圖像3a，處理進(jìn)入步驟S2。在步驟S2，將用于邊緣提取的濾波器應(yīng)用于拍攝圖像3a，以執(zhí)行邊緣處理。之后，處理進(jìn)入步驟S3。
在步驟S3，如上所述，生成速度圖像5a，在該速度圖像5a中，用所規(guī)定的級別值來表示拍攝圖像3a中的邊緣的速度分量，處理進(jìn)入步驟S4。在步驟S4，如上所述，在速度圖像5a上設(shè)立用于檢測道路邊界的道路邊界檢測區(qū)域，并且通過檢測存在于各道路邊界檢測區(qū)域6a中的斜線，來檢測速度圖像5a中存在的道路邊界。之后，處理進(jìn)入步驟S5，在步驟S5，判斷在速度圖像5a中是否已檢測到道路邊界。
步驟S5中的該詢問結(jié)果是如果斷定在速度圖像5a中沒有道路邊界，則處理進(jìn)入下面說明的步驟S15。與此相反，如果斷定在速度圖像5a中有道路邊界，則處理進(jìn)入步驟S6。在步驟S6，利用所檢測到的道路邊界作為邊，將該區(qū)域劃分為上部范圍和下部范圍。參考上述說明，在速度圖像5a中設(shè)立道路邊界上部區(qū)域7a和道路邊界下部區(qū)域7b，并且判斷從哪個(gè)區(qū)域?qū)z測到物體。為了從道路邊界上部區(qū)域7a，即從以道路邊界為邊的屏幕的上部范圍中檢測物體，處理進(jìn)入步驟S7。
在步驟S7，如上所述，將具有所規(guī)定的寬度、且從道路邊界上部區(qū)域7a的下邊緣到上邊緣垂直取向的多個(gè)區(qū)域設(shè)立為物體檢測區(qū)域7c，并計(jì)算各物體檢測區(qū)域7c中的速度分散。然后，判定計(jì)算出的速度分散是否大于規(guī)定值。結(jié)果是如果斷定速度分散小于規(guī)定值，則處理進(jìn)入步驟S17。與此相反，如果斷定速度分散大于規(guī)定值，則處理進(jìn)入步驟S8。
在步驟S8，如上所述，提取速度分散大于規(guī)定值的物體檢測區(qū)域7c，作為存在物體候選的區(qū)域。之后，處理進(jìn)入步驟S9，在步驟S9，判定是否已從速度圖像5a中提取出所有物體候選。如果斷定沒有完成提取，則處理返回到步驟S7，并繼續(xù)進(jìn)行提取。與此相反，如果斷定已從速度圖像5a中提取了所有物體候選，則處理進(jìn)入步驟S10。
在步驟S10，比較存在物體候選的物體檢測區(qū)域7c中的相鄰物體檢測區(qū)域7c的速度分量。如果這些區(qū)域具有相同的速度分量，則判定在具有相同的速度分量的物體檢測區(qū)域7c中存在相同的物體候選。將那些物體檢測候選區(qū)域7c結(jié)合起來，即對其進(jìn)行分組，并獲得上述物體候選區(qū)域7d。之后，處理進(jìn)入步驟S11，在步驟S11，測量所指定的物體候選區(qū)域7d的幀和與其靠近一側(cè)的道路邊界之間的距離變化。然后處理進(jìn)入步驟S12。
在步驟S12，判斷二者之間的距離在幀間是否發(fā)生變化。如果斷定二者之間的距離在幀間發(fā)生了變化，則處理進(jìn)入步驟S14。在步驟S14，通過判斷在物體候選區(qū)域7d中是否存在運(yùn)動物體來執(zhí)行物體檢測，并且同時(shí)判定物體的運(yùn)動方向。之后，處理進(jìn)入下述步驟S17。另選地，如果斷定二者之間的距離在幀間沒有變化，則處理進(jìn)入步驟S13。
在步驟S13，判定是否檢測到具有在多幀中連續(xù)的相同速度分量的物體候選區(qū)域7d。如果判斷結(jié)果是肯定的，則處理進(jìn)入步驟S14。在通過判定在物體候選區(qū)域7d中是否存在靜止物體來執(zhí)行物體檢測之后，處理進(jìn)入下述步驟S17。另一方面，如果判斷步驟S13中的詢問結(jié)果是否定的，則處理直接進(jìn)入下述步驟S17。
接著，說明步驟S15中的處理，如果在步驟S5中斷定在速度圖像5a中沒有道路邊界，或者在步驟S6中斷定物體檢測區(qū)域7c中的速度分量不大于規(guī)定值，則執(zhí)行該處理。在步驟S15，如上所述，從速度圖像5a中檢測物體下邊緣位置9b和物體上邊緣位置9c，并指定物體范圍9d。然后，通過判定在物體范圍9d中是否存在物體來檢測物體。之后，處理進(jìn)入步驟S16。在步驟S16，判斷是否已在速度圖像5a內(nèi)檢測到所有物體。如果沒有完成對所有物體的檢測，則重復(fù)步驟S15。如果判定完成了對所有物體的檢測，則處理進(jìn)入步驟S17。
在步驟S17，判斷車輛點(diǎn)火開關(guān)(IGN)是否是關(guān)閉的。如果斷定車輛點(diǎn)火開關(guān)不是關(guān)閉的，則處理返回到步驟S1，并重復(fù)該處理。與此相反，如果斷定車輛點(diǎn)火開關(guān)是關(guān)閉的，則處理完成。
利用上述第一實(shí)施例，可以獲得以下功能和效果。首先，在速度圖像5a內(nèi)檢測道路邊界。如果檢測到道路邊界，則利用該道路邊界作為邊將該區(qū)域劃分成上側(cè)范圍和下側(cè)范圍，并利用對上述速度圖像5a中的道路邊界上部區(qū)域7a和道路邊界下部區(qū)域7b所述的不同的檢測方法來檢測物體。這樣，可通過考慮到當(dāng)處于道路邊界上方或下方(或者，外側(cè)或內(nèi)側(cè))時(shí)圖像中的背景的運(yùn)動速度不同，以高精度來檢測物體。
第二，在道路邊界上部區(qū)域7a中，計(jì)算各物體檢測區(qū)域7c中的速度分散。如果計(jì)算出的速度分散大于規(guī)定值，則判定在該物體檢測區(qū)域7c中存在物體候選。另一方面，如果計(jì)算出的速度分散小于規(guī)定值，則判定在該物體檢測區(qū)域7c中存在背景。這樣，考慮到在道路邊界上面的區(qū)域中，由于物體與背景之間的深度差異而導(dǎo)致的速度差，可以高精度來分離速度圖像5a中存在的物體候選和背景。
第三，在道路邊界上部區(qū)域7a中，在幀之間監(jiān)控物體候選區(qū)域7d和與其靠近一側(cè)的道路邊界之間的相對位置的變化，并且如果檢測到兩者之間的距離的變化，則判定在物體候選區(qū)域7d中存在運(yùn)動物體。如果在多幀中沒有檢測到物體候選區(qū)域7d與道路邊界之間的距離的變化，則判定在物體候選區(qū)域7d中存在靜止物體。這樣，如果存在于物體候選區(qū)域7d中的物體為運(yùn)動物體，則考慮到物體與道路邊界之間的距離隨時(shí)間而變化，可以準(zhǔn)確地進(jìn)行判定。如果存在于物體候選區(qū)域7d中的物體為靜止物體，則通過考慮當(dāng)物體與道路邊界之間的距離沒有變化時(shí)，可以提高物體檢測的可靠性，并且如果在多幀中連續(xù)檢測到相同的物體候選，則其為物體的可能性更高。
第四，在幀之間監(jiān)控物體候選區(qū)域7d和與其靠近一側(cè)的道路邊界之間的相對位置的變化。如果檢測到兩者之間距離的變化，則判定在物體候選區(qū)域7d中存在運(yùn)動物體，并且還基于該距離的變化，判定該運(yùn)動物體的運(yùn)動方向。這樣，使用道路邊界作為參考可以準(zhǔn)確地檢測運(yùn)動物體的運(yùn)動方向。
第五，在道路邊界下部區(qū)域7b中，從下面掃描速度圖像5a。檢測具有大于規(guī)定速度的像素所在的位置，作為物體下邊緣位置9b。通過指定其上方存在具有相同速度的像素的范圍的上限，檢測物體上邊緣位置9c，以確定物體范圍9d。這樣，在主道路出現(xiàn)的道路邊界下部區(qū)域7b中，通過考慮到接觸路面的物體的下邊緣，以及物體的運(yùn)動速度通常大于規(guī)定值，可以以高精度來分離物體和背景。
利用第二實(shí)施例，通過當(dāng)檢測到存在于道路邊界上部區(qū)域7a中的物體時(shí)比較相鄰物體檢測區(qū)域7c的速度分量，來分離物體和背景。這里，圖1中所示的車載物體檢測器的框圖、圖2中所示的車輛上的照相機(jī)101的安裝的例子、以及圖4A-4C中所示的邊緣標(biāo)準(zhǔn)化方法的例子均與第一實(shí)施例中的相同，因此將省略其說明。
對圖11中所示的拍攝圖像11a執(zhí)行根據(jù)第二實(shí)施例的下述處理，并且將說明通過分離物體和背景來檢測拍攝圖像11a內(nèi)的物體的方法。拍攝圖像11a包括存在于道路左側(cè)和右側(cè)的道路邊界，即白線A和B；存在于車輛前方并向右運(yùn)動的行人(人)C；以及靜止的背景樹D。
以與在上述第一實(shí)施例中基于拍攝圖像3a生成速度圖像5a相同的方式，基于拍攝圖像11a生成如圖12所示的速度圖像12a。在該速度圖像12a中，也用圓點(diǎn)來表示檢測到橫向速度的像素，并且運(yùn)動速度越快，像素的點(diǎn)越大。這樣，分配速度分量的級別值。還通過用黑點(diǎn)表示向右的速度和用白點(diǎn)表示向左的速度，來表示運(yùn)動的方向。即，利用速度圖像12a，根據(jù)道路左側(cè)的白線A和向右運(yùn)動的行人C來檢測向圖像右側(cè)的速度，而根據(jù)道路右側(cè)的白線B和樹D來檢測向圖像左側(cè)的速度。
接著，以與第一實(shí)施例中相同的方式，在速度圖像12a內(nèi)檢測道路邊界，即白線A和B，并通過將檢測到的白線A和B以上的區(qū)域認(rèn)為是道路邊界上部區(qū)域7a，以及白線A和B以下的區(qū)域認(rèn)為是道路邊界下部區(qū)域7b，將速度圖像12a劃分成上側(cè)范圍和下側(cè)范圍。對于存在于道路邊界下部區(qū)域7b中的物體、以及跨越道路邊界上部區(qū)域7a和道路邊界下部區(qū)域7b的物體，使用與上述第一實(shí)施例相同的處理，從背景中分離物體，并檢測該物體。
與第一實(shí)施例相比，按如下來檢測存在于道路邊界上部區(qū)域7a中的物體。如圖13所示，以與第一實(shí)施例中相同的方式在道路邊界上部區(qū)域7a中設(shè)立物體檢測區(qū)域7c，并計(jì)算各物體檢測區(qū)域7c中的速度分散。然后，如果計(jì)算出的速度分散大于規(guī)定值，則判定在該物體檢測區(qū)域7c中存在物體候選。
另一方面， 當(dāng)計(jì)算出的速度分散小于規(guī)定值時(shí)，則基于第一實(shí)施例判定在該物體檢測區(qū)域7c中存在背景。然而，例如，當(dāng)存在正橫向運(yùn)動的物體時(shí)，有可能是當(dāng)垂直方向上的速度分散小于規(guī)定值時(shí)的情況，并有可能不能檢測到該橫向運(yùn)動的物體。由于這個(gè)原因，利用第二實(shí)施例，執(zhí)行如下處理，以便從速度分散小于規(guī)定值的物體檢測區(qū)域7c中檢測到橫向運(yùn)動的物體。
具體地，計(jì)算各物體檢測區(qū)域7c中的平均速度。如果任一物體檢測區(qū)域7c與相鄰的物體檢測區(qū)域7c的平均速度之間的差大于規(guī)定值，則判定在物體檢測區(qū)域7c中存在橫向運(yùn)動的物體候選(橫向運(yùn)動的物體)。還判定在相鄰物體檢測區(qū)域7c中存在背景的可能性高。
然后，如圖14所示，在判定存在橫向運(yùn)動物體候選的物體檢測區(qū)域7c的左右兩側(cè)執(zhí)行掃描。當(dāng)在左邊或右邊存在具有與所述物體檢測區(qū)域7c相同的速度分量的物體檢測區(qū)域7c時(shí)，則判定在這些具有相同速度分量的物體檢測區(qū)域7c中存在相同的橫向運(yùn)動的物體候選。然后將物體檢測候選區(qū)域7c結(jié)合起來。另外，從物體檢測候選區(qū)域中排除具有與上述存在背景的可能性高的物體候選檢測區(qū)域7c相同的速度分量的范圍。
這樣，如圖15所示，指定橫向運(yùn)動候選的上邊緣位置和下邊緣位置，將存在橫向運(yùn)動物體候選的范圍和存在背景的范圍分離，并可以指定橫向運(yùn)動物體候選區(qū)域15a。然后，當(dāng)在多幀中連續(xù)檢測到以這種方式指定的橫向運(yùn)動物體候選區(qū)域15a時(shí)，則判定在橫向運(yùn)動物體候選區(qū)域15a中存在橫向運(yùn)動的物體。因此，考慮到圖像中橫向運(yùn)動的物體和背景的運(yùn)動速度是不同的，可以以高精度來分離橫向運(yùn)動的物體和背景，并且可以在道路邊界上部區(qū)域7a內(nèi)檢測橫向運(yùn)動的物體。
圖16A-16C示出說明在第二實(shí)施例中的車載物體檢測器100的處理的流程圖。通過控制器103執(zhí)行圖16A-16C所示的處理，作為當(dāng)通過打開車輛點(diǎn)火開關(guān)將電源提供給車載物體檢測器100時(shí)啟動的程序。這里，使用與在第一實(shí)施例的圖10中所使用的步驟編號相同的步驟編號；以下說明僅著重于不同之處。
在步驟S7，如果斷定速度分散小于規(guī)定值，則處理進(jìn)入步驟S18。在步驟S18，如上所述，提取存在橫向運(yùn)動物體候選的物體檢測區(qū)域7c。之后，處理進(jìn)入步驟S19，在步驟S19，判定是否已對所有道路邊界上部區(qū)域7a執(zhí)行了物體提取。如果斷定沒有完成對所有道路邊界上部區(qū)域7a的提取，則處理返回到步驟S7，并重復(fù)該處理。相反，如果斷定完成了提取，則處理進(jìn)入步驟S20。
在步驟S20，在存在橫向運(yùn)動的物體候選的所提取的物體檢測區(qū)域7c的左右兩側(cè)執(zhí)行掃描。然后，當(dāng)在左邊或右邊存在具有與所述物體候選區(qū)域7c相同的速度分量的物體檢測區(qū)域7c時(shí)，則判定在具有相同的速度分量的物體檢測區(qū)域7c中存在相同的橫向運(yùn)動的物體候選。對這些物體檢測候選區(qū)域7c進(jìn)行分組。之后，處理進(jìn)入步驟S13。
利用上述第二實(shí)施例，除了第一實(shí)施例中的功能和效果外，可以獲得以下效果。第一，當(dāng)物體檢測區(qū)域7c中的速度分散小于規(guī)定值時(shí)，則計(jì)算該物體檢測區(qū)域7c中的平均速度。如果任一物體檢測區(qū)域7c和與其相鄰的物體檢測區(qū)域7c之間的平均速度的差大于規(guī)定值，則判定在該物體檢測區(qū)域7c中存在橫向運(yùn)動的物體候選。也就是說，基于相鄰物體檢測區(qū)域7c中的速度差來檢測物體。這樣，如果存在橫向運(yùn)動的物體，則有可能是垂直方向上的分散小于規(guī)定值的情況。即使在不能檢測到這種橫向運(yùn)動物體的情況下，通過考慮到圖像中橫向運(yùn)動的物體與背景的運(yùn)動速度是不同的，可以以高精度來檢測橫向運(yùn)動的物體。
第二，為了指定橫向運(yùn)動物體候選區(qū)域15a，在判定存在橫向運(yùn)動物體候選的物體檢測區(qū)域7c的左右兩側(cè)執(zhí)行掃描。如果在右邊或左邊存在具有與該物體檢測區(qū)域7c相同速度分量的物體檢測區(qū)域7c，則將這些物體檢測候選區(qū)域7c結(jié)合起來。這樣，可以判定在具有與存在橫向運(yùn)動物體候選的物體檢測區(qū)域7c相同速度分量的物體檢測區(qū)域7c中，存在相同的橫向運(yùn)動物體候選。結(jié)果，可以準(zhǔn)確地檢測各個(gè)運(yùn)動物體。
可以對上述實(shí)施例中的車載物體檢測器進(jìn)行許多變形。例如，在上述第一和第二實(shí)施例中，說明了使用圖5和圖12所示的級別值來計(jì)算速度圖5a和12a的例子。然而，并不局限于此，還可以計(jì)算用其它級別值表示的速度圖像。
同樣，在上述第一和第二實(shí)施例中，說明了通過照相機(jī)101來拍攝車輛前方的圖像，以檢測存在于車輛前方的物體的例子。然而，本發(fā)明不局限于此。例如，當(dāng)為了檢測車輛后方的物體，照相機(jī)101拍攝車輛后方的圖像時(shí)，也可以應(yīng)用在此所述的原理。
在上述第二實(shí)施例中，說明了基于相鄰物體檢測區(qū)域7c中的速度差，在道路邊界上部區(qū)域7a中指定橫向運(yùn)動物體候選區(qū)域15a，以檢測橫向運(yùn)動物體的例子。本發(fā)明不局限于該說明。在其它可能的變形中，與在第一實(shí)施例中相同，還可能基于橫向運(yùn)動物體候選區(qū)域15a與道路邊界之間的距離變化，來判定存在于道路邊界上部區(qū)域7a中的橫向運(yùn)動物體的運(yùn)動方向。
本申請基于在2005年3月22日提交到日本專利局的日本特開2005-081511號公報(bào)，在此將其全部內(nèi)容引入作為參考。
為了易于理解本發(fā)明說明了上述實(shí)施例，而本發(fā)明不局限于所述實(shí)施例。相反，本發(fā)明旨在覆蓋包括在所附權(quán)利要求書的精神和范圍內(nèi)的各種修正和等同配置，以下權(quán)利要求書的范圍符合最寬的解釋，以包含如法律所允許的所有這類修正和等同結(jié)構(gòu)。
權(quán)利要求
1.一種檢測裝置，用于檢測至少一個(gè)圖像中的物體，該檢測裝置包括圖像拍攝裝置，其被安裝在車輛上，該圖像拍攝裝置用于捕獲圖像；控制器，其與該圖像拍攝裝置相耦合；其中，可操作該控制器以提取由該圖像拍攝裝置所捕獲的圖像的像素，基于所提取的像素計(jì)算側(cè)向速度分量，基于計(jì)算出的側(cè)向速度分量檢測道路邊界，并基于該道路邊界與該物體之間的關(guān)系檢測該物體的運(yùn)動方向。
2.根據(jù)權(quán)利要求1所述的檢測裝置，其特征在于，可操作該控制器以檢測該道路邊界與該物體之間的距離，并根據(jù)該道路邊界與該物體之間的距離變化，來檢測該物體的運(yùn)動方向。
3.根據(jù)權(quán)利要求1所述的檢測裝置，其特征在于，可操作該控制器以將該道路邊界外側(cè)的范圍劃分成規(guī)定大小的物體檢測區(qū)域，并基于各物體檢測區(qū)域中的速度分散從背景中分離存在于該范圍中的物體。
4.根據(jù)權(quán)利要求1所述的檢測裝置，其特征在于，可操作該控制器以將該道路邊界外側(cè)的范圍劃分成規(guī)定大小的物體檢測區(qū)域，并基于相鄰物體檢測區(qū)域之間的邊緣的速度差來分離存在于該范圍中的物體和背景。
5.根據(jù)權(quán)利要求1所述的檢測裝置，其特征在于，可操作該控制器以基于速度圖像中的邊緣的橫向運(yùn)動速度，來指定物體的下邊緣位置和上邊緣位置，該物體位于該道路邊界內(nèi)。
6.根據(jù)權(quán)利要求1所述的檢測裝置，其特征在于，可操作該控制器以通過指定跨越該道路邊界的物體的上邊緣位置和下邊緣位置，來檢測跨越該道路邊界的物體，基于圖像中的邊緣的橫向運(yùn)動速度來指定該上邊緣和下邊緣。
7.一種檢測裝置，用于檢測由安裝在車輛上的圖像拍攝裝置獲得的圖像中的物體，該檢測裝置包括邊緣提取裝置，用于提取存在于多個(gè)圖像幀中的至少一個(gè)物體的邊緣；道路邊界檢測裝置，用于基于至少一些所提取的邊緣的各自的橫向運(yùn)動速度，來檢測該圖像中的道路邊界；以及運(yùn)動方向判定裝置，用于基于該道路邊界和其它所提取的邊緣的各自的橫向運(yùn)動速度，來判定物體的運(yùn)動方向。
8.根據(jù)權(quán)利要求7所述的檢測裝置，其特征在于，還包括邊緣速度計(jì)算裝置，該邊緣速度計(jì)算裝置基于至少兩個(gè)圖像幀，來計(jì)算所提取的邊緣的各自的橫向運(yùn)動速度。
9.根據(jù)權(quán)利要求7所述的檢測裝置，其特征在于，該運(yùn)動方向判定裝置還包括用于監(jiān)視物體與道路邊界之間在至少兩個(gè)圖像幀中的距離變化的裝置，該距離變化表示該物體的運(yùn)動方向。
10.根據(jù)權(quán)利要求7所述的檢測裝置，其特征在于，還包括用于將該道路邊界外側(cè)的范圍劃分成規(guī)定大小的物體檢測區(qū)域的裝置；以及用于基于各物體檢測區(qū)域中的速度分散從背景中分離該物體的裝置。
11.根據(jù)權(quán)利要求7所述的檢測裝置，其特征在于，還包括將該道路邊界外側(cè)的范圍劃分成規(guī)定大小的物體檢測區(qū)域的裝置；其中，該運(yùn)動方向判定裝置還包括用于基于相鄰物體檢測區(qū)域之間所提取的邊緣的橫向運(yùn)動速度的差，從背景中分離該物體的裝置。
12.根據(jù)權(quán)利要求7所述的檢測裝置，其特征在于，還包括用于掃描包括多個(gè)像素和與該多個(gè)像素中的各像素相關(guān)的橫向運(yùn)動速度的速度圖像的裝置；用于通過將像素的橫向運(yùn)動速度與規(guī)定速度進(jìn)行比較，限定該物體的下邊緣位置的裝置；以及用于基于具有相同的像素橫向運(yùn)動速度的像素的分組，限定該物體的上邊緣位置的裝置。
13.根據(jù)權(quán)利要求7所述的檢測裝置，其特征在于，該運(yùn)動方向判定裝置還包括選擇裝置，該選擇裝置選擇一種方法來判定當(dāng)物體在該道路邊界外側(cè)時(shí)的運(yùn)動方向，選擇另一種方法來判定當(dāng)物體為跨越道路邊界和在道路邊界內(nèi)側(cè)的物體時(shí)的運(yùn)動方向。
14.一種檢測方法，用于檢測由安裝在車輛上的圖像拍攝裝置獲得的圖像中的物體，該檢測方法包括提取存在于多個(gè)圖像幀中的至少一個(gè)物體的邊緣；基于至少一些所提取的邊緣的各自的橫向運(yùn)動速度，檢測圖像中的道路邊界；以及基于該道路邊界和其它所提取的邊緣的各自的橫向運(yùn)動速度，判定物體的運(yùn)動方向。
15.根據(jù)權(quán)利要求14所述的檢測方法，其特征在于，還包括基于至少兩個(gè)圖像幀來計(jì)算所提取邊緣的圖像中的橫向運(yùn)動速度。
16.根據(jù)權(quán)利要求14所述的檢測方法，其特征在于，判定運(yùn)動方向還包括監(jiān)視物體與道路邊界之間在至少兩個(gè)圖像幀中的距離變化，該距離變化表示該物體的運(yùn)動方向。
17.根據(jù)權(quán)利要求14所述的檢測方法，其特征在于，還包括將該道路邊界外側(cè)的范圍劃分成規(guī)定大小的物體檢測區(qū)域；以及基于各物體檢測區(qū)域中的速度分散，從背景中分離該物體。
18.根據(jù)權(quán)利要求14所述的檢測方法，其特征在于，還包括將該道路邊界外側(cè)的范圍劃分成規(guī)定大小的物體檢測區(qū)域；以及基于相鄰物體檢測區(qū)域之間的所提取的邊緣的橫向運(yùn)動速度的差，從背景中分離該物體。
19.根據(jù)權(quán)利要求14所述的檢測方法，其特征在于，還包括生成包括多個(gè)像素和與該多個(gè)像素的各像素相關(guān)的橫向運(yùn)動速度的速度圖像；使用掃描范圍掃描該速度圖像；通過將該掃描范圍內(nèi)的像素的橫向運(yùn)動速度與規(guī)定速度進(jìn)行比較，限定該物體的下邊緣位置；以及基于具有相同的像素橫向運(yùn)動速度的像素的分組，限定該物體的上邊緣位置。
20.根據(jù)權(quán)利要求14所述的檢測方法，其特征在于，還包括選擇一種方法來判定當(dāng)物體在道路邊界外側(cè)時(shí)的運(yùn)動方向；以及選擇另一種方法來判定當(dāng)物體是跨越道路邊界和在道路邊界內(nèi)側(cè)的物體時(shí)的運(yùn)動方向。
全文摘要
一種基于道路邊界檢測物體的檢測裝置和方法，用于檢測圖像中的物體，該圖像是由安裝在車輛上的圖像拍攝裝置捕獲的?？刂破鞅获詈系皆搱D像拍攝裝置。該控制器提取由該圖像拍攝裝置所捕獲的圖像的像素，基于所提取的像素計(jì)算側(cè)向速度分量，基于計(jì)算出的側(cè)向速度分量檢測道路邊界，并基于道路邊界和物體之間的關(guān)系檢測物體的運(yùn)動方向。
文檔編號G01P3/38GK1838174SQ20061006556
公開日2006年9月27日 申請日期2006年3月22日 優(yōu)先權(quán)日2005年3月22日
發(fā)明者藤本和巳 申請人:日產(chǎn)自動車株式會社