本發(fā)明涉及智能行車(chē)技術(shù)領(lǐng)域,尤其涉及一種行車(chē)中障礙物檢測(cè)方法與裝置。
背景技術(shù):
隨著科學(xué)技術(shù)的不斷發(fā)展,在機(jī)動(dòng)車(chē)的駕駛方面已經(jīng)開(kāi)始發(fā)展智能導(dǎo)航和駕駛技術(shù)。如何檢測(cè)前向障礙物是智能導(dǎo)航和駕駛的一個(gè)很重要的技術(shù)分支?,F(xiàn)有技術(shù)中,有兩種方案,一種方案是采用激光雷達(dá)、毫米波雷達(dá)等測(cè)距傳感器,這種方案的優(yōu)點(diǎn)是能夠直接獲得障礙物與駕駛車(chē)輛之間的精確的直接距離,算法實(shí)現(xiàn)簡(jiǎn)單,測(cè)量精度高,但是設(shè)備造價(jià)昂貴,且安裝復(fù)雜,而且會(huì)改變車(chē)輛外觀。另一種方案是基于視覺(jué)的測(cè)距方案,其中的視覺(jué)分為單目方案和雙目方案?;谝曈X(jué)的單目FCWS(forward collision warning system)的優(yōu)點(diǎn)是其只需一個(gè)普通的攝像頭,因而其價(jià)格低廉,安裝簡(jiǎn)單,且不改變車(chē)輛外觀等,但其缺點(diǎn)是,為了得到較精確的相對(duì)距離或者TTC(time to contact)需要對(duì)算法的要求比較高,比如現(xiàn)有的算法有Mobileye的FCW,該算法需要對(duì)障礙物或者行人進(jìn)行較精確的空間定位,同時(shí)需要車(chē)速信息?;陔p目的視覺(jué)方案的優(yōu)點(diǎn)是算法比較直觀,即通過(guò)計(jì)算讀入的兩個(gè)攝像頭的兩路視頻輸入之間的視差來(lái)計(jì)算障礙物和車(chē)輛的距離,同時(shí)通過(guò)前后兩幀的距離變化計(jì)算TTC,但其缺點(diǎn)是計(jì)算視察算法復(fù)雜,不能達(dá)到實(shí)時(shí)計(jì)算,而且需要專(zhuān)門(mén)的計(jì)算設(shè)備。
技術(shù)實(shí)現(xiàn)要素:
鑒于上述問(wèn)題,提出了本發(fā)明以便提供一種克服上述問(wèn)題或者至少部分地解決上述問(wèn)題的一種行車(chē)中障礙物檢測(cè)方法和裝置。
一方面,本發(fā)明提出一種行車(chē)中障礙物檢測(cè)方法,該方法包括:
獲取當(dāng)前視頻幀;
基于所述當(dāng)前視頻幀對(duì)障礙物進(jìn)行關(guān)鍵點(diǎn)檢測(cè);
根據(jù)所述關(guān)鍵點(diǎn)所屬的區(qū)域?qū)ζ溥M(jìn)行劃分,并從每個(gè)劃分后的子區(qū)域的關(guān)鍵點(diǎn)中選取觀測(cè)點(diǎn);
跟蹤所述觀測(cè)點(diǎn)并選取每個(gè)子區(qū)域響應(yīng)最好的觀測(cè)點(diǎn);
根據(jù)每個(gè)子區(qū)域響應(yīng)最好的觀測(cè)點(diǎn)獲取每個(gè)子區(qū)域的質(zhì)心;
根據(jù)當(dāng)前幀與上一幀中每個(gè)子區(qū)域質(zhì)心相互之間的距離計(jì)算障礙物碰撞時(shí)間TTC。
可選的,所述關(guān)鍵點(diǎn)包括FAST,ORB和/或Harris特征點(diǎn)。
可選的,根據(jù)所述關(guān)鍵點(diǎn)所屬的區(qū)域?qū)ζ溥M(jìn)行劃分,并從每個(gè)子區(qū)域的關(guān)鍵點(diǎn)中選取觀測(cè)點(diǎn),具體包括:
把所述關(guān)鍵點(diǎn)按照其所屬的區(qū)域分為9個(gè)子區(qū)域;
判斷每個(gè)子區(qū)域內(nèi)的關(guān)鍵點(diǎn)數(shù)量是否大于9,如果大于9,則選取其中的9個(gè)關(guān)鍵點(diǎn)作為觀測(cè)點(diǎn),否則將子區(qū)域內(nèi)的所有關(guān)鍵點(diǎn)均作為觀測(cè)點(diǎn)。
可選的,跟蹤所述觀測(cè)點(diǎn)并選取每個(gè)子區(qū)域響應(yīng)最好的觀測(cè)點(diǎn),具體包括:
判斷是否是第一視頻幀;
如果是,則返回獲取視頻幀;
否則去掉每個(gè)子區(qū)域中跟蹤響應(yīng)值小于預(yù)定閾值的觀測(cè)點(diǎn),并選擇響應(yīng)最好的最多三個(gè)點(diǎn),以用來(lái)獲取每個(gè)子區(qū)域的質(zhì)心。
可選的,選取所去掉的每個(gè)子區(qū)域中跟蹤響應(yīng)值小于預(yù)定閾值的觀測(cè)點(diǎn)鄰域的跟蹤響應(yīng)大于預(yù)定閾值的點(diǎn),以用來(lái)獲取每個(gè)子區(qū)域的質(zhì)心。
可選的,在不是第一視頻幀的情況下,根據(jù)所去掉的每個(gè)子區(qū)域中跟蹤響應(yīng)值小于預(yù)定閾值的觀測(cè)點(diǎn)、,對(duì)下一幀每個(gè)子區(qū)域中新的觀測(cè)點(diǎn)進(jìn)行去重處理。
可選的,根據(jù)當(dāng)前幀與上一幀中每個(gè)子區(qū)域質(zhì)心相互之間的距離計(jì)算障礙物碰撞時(shí)間TTC,具體包括:
計(jì)算每個(gè)子區(qū)域質(zhì)心相互之間的距離d(t+1);
計(jì)算當(dāng)前幀與前一幀的距離之比,s=d(t+1)/d(t);
利用TTC=delta(t)/s-1,得到障礙物的碰撞時(shí)間。
可選的,根據(jù)當(dāng)前幀圖像和預(yù)定數(shù)量或者預(yù)定時(shí)間的在前圖像幀計(jì)算的TTC計(jì)算最終TTC。
可選的,判斷TTC或者最終TTC是否小于預(yù)定時(shí)間,如果是,則報(bào)警。
另一方面,本發(fā)明提供一種行車(chē)中障礙物檢測(cè)裝置,該裝置包括:
攝像頭,用于獲取視頻幀;
檢測(cè)模塊,用于基于所述視頻幀對(duì)障礙物進(jìn)行關(guān)鍵點(diǎn)檢測(cè),根據(jù)所述關(guān)鍵點(diǎn)所屬的區(qū)域?qū)ζ溥M(jìn)行劃分,并從每個(gè)劃分后的子區(qū)域的關(guān)鍵點(diǎn)中選取觀測(cè)點(diǎn);
跟蹤模塊,用于跟蹤所述觀測(cè)點(diǎn)并選取每個(gè)子區(qū)域響應(yīng)最好的觀測(cè)點(diǎn);
TTC計(jì)算單元,用于根據(jù)每個(gè)子區(qū)域響應(yīng)最好的觀測(cè)點(diǎn)獲取每個(gè)子區(qū)域的質(zhì)心,根據(jù)當(dāng)前幀與上一幀中每個(gè)子區(qū)域質(zhì)心相互之間的距離計(jì)算障礙物碰撞時(shí)間TTC。
可選的,所述檢測(cè)模塊具體包括:
關(guān)鍵點(diǎn)檢測(cè)單元,用于基于所述視頻幀對(duì)障礙物進(jìn)行關(guān)鍵點(diǎn)檢測(cè),
子區(qū)域劃分單元,用于把所述關(guān)鍵點(diǎn)按照其所屬的區(qū)域分為9個(gè)子區(qū)域;
觀測(cè)點(diǎn)選取單元,用于判斷每個(gè)子區(qū)域內(nèi)的關(guān)鍵點(diǎn)數(shù)量是否大于9,如果大于9,則選取其中的9個(gè)關(guān)鍵點(diǎn)作為觀測(cè)點(diǎn),否則將子區(qū)域內(nèi)的所有關(guān)鍵點(diǎn)均作為觀測(cè)點(diǎn)。
可選的,所述跟蹤模塊具體包括判斷單元和觀測(cè)點(diǎn)處理單元,其中
判斷單元,用于判斷是否是第一視頻幀;如果是,則直接指示所述攝像頭獲取視頻幀,否則指示觀測(cè)點(diǎn)處理單元,去掉每個(gè)子區(qū)域中跟蹤響應(yīng)值小于預(yù)定閾值的觀測(cè)點(diǎn),并選擇響應(yīng)最好的最多三個(gè)點(diǎn)。
可選的,所述觀測(cè)點(diǎn)處理單元還用于選取所去掉的每個(gè)子區(qū)域中跟蹤響應(yīng)值小于預(yù)定閾值的觀測(cè)點(diǎn)鄰域的跟蹤響應(yīng)大于預(yù)定閾值的點(diǎn),以用來(lái)獲取每個(gè)子區(qū)域的質(zhì)心。
可選的,所述觀測(cè)點(diǎn)選取單元在不是第一視頻幀的情況下,根據(jù)所去掉的每個(gè)子區(qū)域中跟蹤響應(yīng)值小于預(yù)定閾值的觀測(cè)點(diǎn),對(duì)下一幀每個(gè)子區(qū)域中新的觀測(cè)點(diǎn)進(jìn)行去重處理。
可選的,TTC計(jì)算單元,具體用于:
計(jì)算每個(gè)子區(qū)域質(zhì)心相互之間的距離d(t+1);
計(jì)算當(dāng)前幀與前一幀的距離之比,s=d(t+1)/d(t);
利用TTC=delta(t)/s-1,得到障礙物的碰撞時(shí)間。
可選的,該裝置還包括最終TTC計(jì)算單元,用于根據(jù)當(dāng)前幀圖像和預(yù)定數(shù)量或者預(yù)定時(shí)間的在前圖像幀計(jì)算的TTC計(jì)算最終TTC。
可選的,障礙物碰撞報(bào)警單元,用于判斷TTC或者最終TTC是否小于預(yù)定時(shí)間,如果是,則報(bào)警。
另一方面,本發(fā)明一種自動(dòng)巡航系統(tǒng)、駕駛輔助系統(tǒng)、行車(chē)記錄儀,包括所述的行車(chē)中障礙物檢測(cè)裝置。
本申請(qǐng)實(shí)施例中提供的技術(shù)方案,至少具有如下技術(shù)效果或優(yōu)點(diǎn):
本方案提出基于純視覺(jué)的FCW算法,本方案與現(xiàn)有的方案相比有兩大優(yōu)點(diǎn):
1、本發(fā)明在單目攝像頭的配置下,不需要獲得車(chē)速信息,這也就說(shuō)明不連接車(chē)網(wǎng)絡(luò)獲取車(chē)速信息,降低安裝成本;
2、本發(fā)明在計(jì)算TTC時(shí),相比較現(xiàn)有方案更加準(zhǔn)確,更加魯棒,同時(shí)降低了對(duì)車(chē)身輪廓邊緣線的檢測(cè)精度要求。
上述說(shuō)明僅是本發(fā)明技術(shù)方案的概述,為了能夠更清楚了解本發(fā)明的技術(shù)手段,而可依照說(shuō)明書(shū)的內(nèi)容予以實(shí)施,并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂,以下特舉本發(fā)明的具體實(shí)施方式。
附圖說(shuō)明
通過(guò)閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述,各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的,而并不認(rèn)為是對(duì)本發(fā)明的限制。而且在整個(gè)附圖中,用相同的參考符號(hào)表示相同的部件。在附圖中:
圖1示出了根據(jù)本發(fā)明提出的行車(chē)中檢測(cè)障礙物的方法的流程圖;
圖2示出了視頻幀中的障礙物的位置框形圖;
圖3示出了視頻幀中的處于行進(jìn)車(chē)道的障礙物的位置框形圖;
圖4示出了前后兩幀視頻幀中處于行進(jìn)車(chē)道的障礙物的框形變化圖;
圖5示出了前后兩幀視頻幀中處于行進(jìn)車(chē)道的障礙物的關(guān)鍵點(diǎn)圖;圖6示出了根據(jù)本發(fā)明提出的一種具體實(shí)施形式的形成中檢測(cè)障礙物的方法的流程圖;
圖7示出了根據(jù)本發(fā)明提出的行車(chē)中檢測(cè)障礙物的裝置的結(jié)構(gòu)框圖;
圖8示出了行車(chē)中檢測(cè)障礙物的裝置中的檢測(cè)模塊的結(jié)構(gòu)框圖;
圖9示出了行車(chē)中檢測(cè)障礙物的裝置中的跟蹤模塊的結(jié)構(gòu)框圖。
具體實(shí)施方式
下面將參照附圖更詳細(xì)地描述本公開(kāi)的示例性實(shí)施例。雖然附圖中顯示了本公開(kāi)的示例性實(shí)施例,然而應(yīng)當(dāng)理解,可以以各種形式實(shí)現(xiàn)本公開(kāi)而不應(yīng)被這里闡述的實(shí)施例所限制。相反,提供這些實(shí)施例是為了能夠更透徹地理解本公開(kāi),并且能夠?qū)⒈竟_(kāi)的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。
本發(fā)明提出一種行車(chē)中障礙物檢測(cè)方法,如圖1所示,該方法包括:
S1.獲取視頻幀;
S2.基于當(dāng)前視頻幀對(duì)障礙物進(jìn)行關(guān)鍵點(diǎn)檢測(cè);
S3.根據(jù)所述關(guān)鍵點(diǎn)所屬的區(qū)域?qū)ζ溥M(jìn)行劃分,并從每個(gè)劃分后的子區(qū)域的關(guān)鍵點(diǎn)中選取觀測(cè)點(diǎn);
S4.跟蹤所述觀測(cè)點(diǎn)并選取每個(gè)子區(qū)域響應(yīng)最好的觀測(cè)點(diǎn);
S5.根據(jù)每個(gè)子區(qū)域響應(yīng)最好的觀測(cè)點(diǎn)獲取每個(gè)子區(qū)域的質(zhì)心;
S6.根據(jù)當(dāng)前幀與上一幀中每個(gè)子區(qū)域質(zhì)心相互之間的距離計(jì)算障礙物碰撞時(shí)間TTC。
在上述步驟S1中,利用單目攝像頭獲取視頻圖像,相比于雙目攝像頭,不需要后續(xù)的專(zhuān)門(mén)的視差圖像處理模塊,且單目攝像頭造價(jià)低,有力于節(jié)約成本
在步驟S2中,在所獲取的視頻圖像中,檢測(cè)圖像中的障礙物,如果存在障礙物,輸出圖像中障礙物的位置框圖,如圖2所示,并進(jìn)一步判斷障礙物是否處于車(chē)輛的行進(jìn)車(chē)道,在障礙物處于車(chē)輛的行進(jìn)車(chē)道時(shí),才需要對(duì)圖像中的障礙物進(jìn)行關(guān)鍵點(diǎn)檢測(cè)。攝像頭不管設(shè)置在車(chē)體外側(cè),還是設(shè)置在車(chē)體內(nèi)(優(yōu)選是后視鏡),在沒(méi)有障礙物的情況下,攝像頭攝取到的圖像是固定的,因此將沒(méi)有障礙物的情況下拍攝的圖像作為初始圖像。將車(chē)輛在行進(jìn)過(guò)程中,攝像頭拍攝到的圖像幀與初始圖像進(jìn)行比對(duì),能夠檢測(cè)出前方的障礙物,并能夠輸出障礙物的位置框圖。在沒(méi)有檢測(cè)到障礙物的情況下,可繼續(xù)返回獲取視頻幀。車(chē)輛在前進(jìn)過(guò)程中,在初始圖像中車(chē)道線的位置是規(guī)定的,因此可根據(jù)車(chē)道線的位置判斷出所檢測(cè)到的障礙物是否位于車(chē)輛的行進(jìn)車(chē)道,如圖3所示,判斷出處于車(chē)輛的行進(jìn)車(chē)道的障礙物。如果不位于行進(jìn)車(chē)道,那么障礙物不會(huì)對(duì)車(chē)輛的行進(jìn)造成障礙,可不予理會(huì),從而返回繼續(xù)獲取圖像幀。
實(shí)際上,直接根據(jù)所檢測(cè)到的障礙物(比如汽車(chē))在圖像中的框形,計(jì)算前后幀圖像中障礙物的框形尺度的變化,如圖4所示,根據(jù)尺度的變化即可估算TTC(time to contact),但由于框形不準(zhǔn)確反映障礙物的外形,有可能導(dǎo)致估算的TTC有誤差,在此基礎(chǔ)上,我們引入圖像上的分散分布的特征點(diǎn),根據(jù)特征點(diǎn)求取TTC.
在進(jìn)行關(guān)鍵點(diǎn)檢測(cè)時(shí),可利用FAST算法、ORB(oriented FAST and Rotated BRIEF)、Harris算法選取特征點(diǎn)。FAST特征點(diǎn)、ORB(oriented FAST and Rotated BRIEF)特征點(diǎn)、HARRIS特征點(diǎn)都是一種局部不變特征。ORB是建立在改進(jìn)的FAST檢測(cè)算子和改進(jìn)的rBRIEF描述子之上,而FAST算法和BRIEF算法的運(yùn)算速度都非???,因此ORB在運(yùn)算速度上擁有絕對(duì)優(yōu)勢(shì)。Harris算法提取的特征點(diǎn)對(duì)灰度變化與幾何變換的可重復(fù)性強(qiáng),所以特征點(diǎn)檢測(cè)的效率高,具有縮放不變性。在檢測(cè)特征點(diǎn)時(shí),在圖像上,比較某一點(diǎn)S與它鄰域像素點(diǎn)灰度值,如果圓上存在N個(gè)連續(xù)的像素點(diǎn),這些像素點(diǎn)的灰度值減去S點(diǎn)的灰度值的絕對(duì)值大于預(yù)定閾值,那么S為所需要的特征點(diǎn)。對(duì)圖4所示的前后兩幀圖像中的處于行進(jìn)車(chē)道的障礙物的特征點(diǎn)選取如5所示。
在步驟S3中,根據(jù)所述關(guān)鍵點(diǎn)所屬的區(qū)域?qū)ζ溥M(jìn)行劃分,并從每個(gè)劃分后的子區(qū)域的關(guān)鍵點(diǎn)中選取觀測(cè)點(diǎn)。為了避免關(guān)鍵點(diǎn)都集中的圖像的局部區(qū)域,導(dǎo)致TTC時(shí)間估算有誤差,本申請(qǐng)?zhí)岢龇稚⒎植加^測(cè)點(diǎn)的技術(shù)手段。作為一種具體實(shí)施方式,可以將檢測(cè)到的關(guān)鍵點(diǎn)按照其輸出的區(qū)域分為9個(gè)子區(qū)域,為了控制計(jì)算量,且又能使得結(jié)果盡量精確,優(yōu)選地,在每一個(gè)子區(qū)域最多選取9個(gè)關(guān)鍵點(diǎn)作為觀測(cè)點(diǎn)。如果一個(gè)子區(qū)域內(nèi)的關(guān)鍵點(diǎn)不足9個(gè),那么可將實(shí)際數(shù)量的關(guān)鍵點(diǎn)均作為觀測(cè)點(diǎn)。當(dāng)然,在具體實(shí)施時(shí),不局限于將檢測(cè)到的關(guān)鍵點(diǎn)按照其輸出的區(qū)域分為9個(gè)子區(qū)域,也可分為8個(gè)子區(qū)域,10、12個(gè)子區(qū)域等,在每個(gè)子區(qū)域內(nèi)選取的觀測(cè)點(diǎn)數(shù)量也不局限于9個(gè),比如8、10、12均可以,選取的數(shù)量一方面考慮后面計(jì)算TTM的精度,一方面考慮計(jì)算的速度。
在步驟S4中,跟蹤所述觀測(cè)點(diǎn)并選取每個(gè)子區(qū)域跟蹤響應(yīng)最好的觀測(cè)點(diǎn)。作為一種具體實(shí)施方式,利用KLT跟蹤算法跟蹤所述觀測(cè)點(diǎn),KLT跟蹤算法是現(xiàn)有技術(shù)中一種廣泛用于跟蹤的算法。在利用跟蹤算法跟蹤所述觀測(cè)點(diǎn)時(shí),首先判斷圖像幀是否為第一幀,如果是第一幀,則返回獲取下一幀視頻圖像,因?yàn)榈谝粠瑘D像沒(méi)有前一幀圖像可用來(lái)確定跟蹤的響應(yīng)。如果不是第一幀,則選取每個(gè)子區(qū)域跟蹤響應(yīng)最好的點(diǎn),這其中包括:去掉跟蹤響應(yīng)小于預(yù)定閾值的點(diǎn)。作為一種實(shí)施方式,為了使的最終保留的觀測(cè)點(diǎn)盡量分散分布,以準(zhǔn)確獲取障礙物的外輪廓,選取所去掉的每個(gè)子區(qū)域中跟蹤響應(yīng)值小于預(yù)定閾值的觀測(cè)點(diǎn)鄰域的跟蹤響應(yīng)大于預(yù)定閾值的點(diǎn),以用來(lái)獲取每個(gè)子區(qū)域的質(zhì)心。
在輸入下一幀圖像并選取下一幀的觀測(cè)點(diǎn)時(shí),可充分利用上一幀的處理結(jié)果,即在不是第一視頻幀的情況下,根據(jù)所去掉的每個(gè)子區(qū)域中跟蹤響應(yīng)值小于預(yù)定閾值的觀測(cè)點(diǎn),對(duì)下一幀每個(gè)子區(qū)域中新的觀測(cè)點(diǎn)進(jìn)行去重處理。
提取或者選取的特征點(diǎn)既不具備尺寸不變性,又不具備旋轉(zhuǎn)不變性,一些算法比如ORB算法使用灰度質(zhì)心法,通過(guò)計(jì)算特征點(diǎn)的矩賦予特征點(diǎn)方向,賦予特征點(diǎn)旋轉(zhuǎn)不變性,導(dǎo)致計(jì)算量大,處理不適時(shí)。而本申請(qǐng)通過(guò)利用選取魯棒性強(qiáng)的或者說(shuō)前后幀跟蹤響應(yīng)大的特征點(diǎn)來(lái)獲取各子區(qū)域的質(zhì)心,計(jì)算量小,處理速度很快,適時(shí)性強(qiáng)
在步驟S5中,根據(jù)每個(gè)子區(qū)域跟蹤響應(yīng)最好的觀測(cè)點(diǎn)獲取每個(gè)子區(qū)域的質(zhì)心,作為一種優(yōu)選實(shí)施方式,在劃分的跟蹤障礙物的9個(gè)區(qū)域中每個(gè)區(qū)域選擇響應(yīng)response最好的最多3個(gè)點(diǎn),再根據(jù)所選取的響應(yīng)最好的每個(gè)觀測(cè)點(diǎn)的響應(yīng)加權(quán)平均計(jì)算每個(gè)子區(qū)域的質(zhì)心,這些質(zhì)心基本上即可較為準(zhǔn)確的反映障礙物的外形輪廓。
在步驟S6中,根據(jù)當(dāng)前幀與上一幀中每個(gè)子區(qū)域質(zhì)心相互之間的距離計(jì)算障礙物碰撞時(shí)間TTC。作為一種優(yōu)選的實(shí)施方式,將每個(gè)質(zhì)心相互連接,計(jì)算連接后的各個(gè)質(zhì)心相互之間的距離,記為d(t),對(duì)于下一幀圖像,記為d(t+1),計(jì)算d(t+1)與d(t)的比值,作為S,根據(jù)該比值S即可計(jì)算出TTC=delta(t)/(s-1)。
在步驟S6后會(huì)指示攝像頭輸入下一幀圖像,并重復(fù)執(zhí)行所述步驟S1-S6,由此對(duì)于行進(jìn)車(chē)道上檢測(cè)到障礙物的圖像幀,都會(huì)計(jì)算一個(gè)TTC,而后不停迭代。當(dāng)然,由于輸入每一幀圖像,幾乎都會(huì)計(jì)算一個(gè)TTC,TTC是非線性的,難免會(huì)存在某一幀圖像的TTC有誤差,為了使得計(jì)算的TTC更為精確,可利用預(yù)定時(shí)間內(nèi)或者預(yù)定數(shù)量圖像幀的歷史TTC加權(quán)平均來(lái)計(jì)算當(dāng)前幀的TTC,離當(dāng)前幀圖像越遠(yuǎn)的圖像對(duì)其影響越小,因而越是靠前計(jì)算出的TTC加權(quán)系數(shù)越低,當(dāng)前幀計(jì)算出的TTC加權(quán)系數(shù)最大,可為1.
作為另一種具體實(shí)施方式,在步驟S4中,在去掉跟蹤響應(yīng)小于預(yù)定閾值的點(diǎn),可用下一幀的魯棒性強(qiáng)的點(diǎn)來(lái)替換已去掉的點(diǎn),即利用當(dāng)前幀與下一幀圖像之間所跟蹤的高的跟蹤響應(yīng)性的觀測(cè)點(diǎn)來(lái)替換所述跟蹤響應(yīng)小于預(yù)定閾值的點(diǎn),每幀視頻圖像如此重復(fù)進(jìn)行,從而保證所觀測(cè)的點(diǎn)一直具有較高的魯棒性。
由于提取的FAST特征點(diǎn)、ORB特征點(diǎn)、HARRIS特征點(diǎn)既不具備尺寸不變性,且不具備旋轉(zhuǎn)不變形,現(xiàn)有技術(shù)中一些算法使用灰度質(zhì)心法,通過(guò)計(jì)算特征點(diǎn)的矩設(shè)定特征點(diǎn)方向,賦予特征點(diǎn)旋轉(zhuǎn)不變性;假設(shè)特征點(diǎn)位置坐標(biāo)和質(zhì)心存在偏移,以特征點(diǎn)位置為起點(diǎn),質(zhì)心為終點(diǎn)確定一個(gè)向量與它的方向,這個(gè)方向設(shè)定為特征點(diǎn)方向,再進(jìn)一步根據(jù)所述向量進(jìn)行配準(zhǔn)。而本發(fā)明通過(guò)利用特征點(diǎn)的魯棒性直接加權(quán)平均求取子區(qū)域的質(zhì)心,從而或者障礙物外輪廓,繼而計(jì)算求得到外輪廓長(zhǎng)度,充分利用障礙物距離車(chē)輛越遠(yuǎn),外輪廓越小,障礙物距離車(chē)輛越近,外輪廓越大的自然現(xiàn)象,根據(jù)前后外輪廓長(zhǎng)度的比值來(lái)計(jì)算障礙物碰撞時(shí)間,計(jì)算的精度高,而且運(yùn)算極快,實(shí)時(shí)性強(qiáng)。
作為一種優(yōu)選的實(shí)施方式,如圖6所示,行車(chē)中障礙物檢測(cè)方法執(zhí)行下列過(guò)程:
S11.通過(guò)單目攝像頭讀入視頻幀F(xiàn)t;
S12.基于所述視頻幀F(xiàn)t,檢測(cè)圖像中的障礙物,并輸出障礙物的位置框圖;
S13.基于所述障礙物的位置框圖判斷是否真的存在障礙物;如果不存在障礙物,則返回執(zhí)行步驟S11,如果存在障礙物則執(zhí)行步驟S14;
S14.判斷是否有障礙物處于車(chē)輛的行進(jìn)車(chē)道,如果沒(méi)有,則返回步驟S11,如果有則執(zhí)行步驟S15;
S15.對(duì)圖像中處于車(chē)輛行進(jìn)車(chē)道的障礙物進(jìn)行關(guān)鍵點(diǎn)檢測(cè),并把檢測(cè)的關(guān)鍵點(diǎn)按照其輸出的區(qū)域分為9個(gè)子區(qū)域,其中每一個(gè)子區(qū)域最多取9個(gè)關(guān)鍵點(diǎn)作為觀測(cè)點(diǎn);
所述關(guān)鍵點(diǎn)包括FAST,ORB,和/或Harris特征點(diǎn),如果子區(qū)域不足9個(gè)關(guān)鍵點(diǎn)就取實(shí)際數(shù)量的點(diǎn),可以對(duì)每個(gè)區(qū)域的點(diǎn)進(jìn)行平均求出其質(zhì)心。
S16.對(duì)抽取的觀測(cè)點(diǎn)采用KLT跟蹤算法進(jìn)行跟蹤;
S17.判斷所輸入的視頻幀F(xiàn)t是否是第一幀,如果是,則反饋步驟S11,否則執(zhí)行步驟S18;
S18.去掉跟蹤response小于閾值的觀測(cè)點(diǎn),并去重更新Ft+1幀新檢測(cè)到的點(diǎn);
S19.在劃分的跟蹤目標(biāo)的9個(gè)區(qū)域中每個(gè)區(qū)域選擇跟蹤response最好的最多三個(gè)點(diǎn),對(duì)這三個(gè)點(diǎn)按照其response進(jìn)行加權(quán)求出其三個(gè)點(diǎn)的質(zhì)心;而后計(jì)算9個(gè)質(zhì)心的相互距離d(t);并計(jì)算前后兩幀之間的距離之比即:d(t+1)/d(t)=S,而后根據(jù)公式:Tm=delta(t)/(s-1),其中Tm即為所求的TTC;
S20.判斷TTC是否小于預(yù)定閾值,如果是執(zhí)行步驟S21.報(bào)警,否則返回步驟S11。
本發(fā)明利用一種單目攝像頭解決了FCW的TTC計(jì)算問(wèn)題,降低了FCW系統(tǒng)運(yùn)行資源,并提高了FCW的TTC的準(zhǔn)確度和魯棒性,降低了FCW的誤報(bào)率。
另一方面,本發(fā)明提供一種行車(chē)中障礙物檢測(cè)裝置,如圖7所示,該裝置包括:
攝像頭100,用于獲取視頻幀,該攝像頭為單目攝像頭;
檢測(cè)模塊200,用于基于所述視頻幀對(duì)障礙物進(jìn)行關(guān)鍵點(diǎn)檢測(cè),根據(jù)所述關(guān)鍵點(diǎn)所屬的區(qū)域?qū)ζ溥M(jìn)行劃分,并從每個(gè)劃分后的子區(qū)域的關(guān)鍵點(diǎn)中選取觀測(cè)點(diǎn);
跟蹤模塊300,用于跟蹤所述觀測(cè)點(diǎn)并選取每個(gè)子區(qū)域響應(yīng)最好的觀測(cè)點(diǎn);
TTC計(jì)算單元400,用于根據(jù)每個(gè)子區(qū)域響應(yīng)最好的觀測(cè)點(diǎn)獲取每個(gè)子區(qū)域的質(zhì)心,根據(jù)當(dāng)前幀與上一幀中每個(gè)子區(qū)域質(zhì)心相互之間的距離計(jì)算障礙物碰撞時(shí)間TTC。
如圖8所示,所述檢測(cè)模塊200具體包括:
關(guān)鍵點(diǎn)檢測(cè)單元201,用于基于所述視頻幀對(duì)障礙物進(jìn)行關(guān)鍵點(diǎn)檢測(cè),
子區(qū)域劃分單元202,用于把所述關(guān)鍵點(diǎn)按照其所屬的區(qū)域分為9個(gè)子區(qū)域;
觀測(cè)點(diǎn)選取單元203,用于判斷每個(gè)子區(qū)域內(nèi)的關(guān)鍵點(diǎn)數(shù)量是否大于9,如果大于9,則選取其中的9個(gè)關(guān)鍵點(diǎn)作為觀測(cè)點(diǎn),否則將子區(qū)域內(nèi)的所有關(guān)鍵點(diǎn)均作為觀測(cè)點(diǎn)。
如圖9所示,所述跟蹤模塊300具體包括判斷單元301和觀測(cè)點(diǎn)處理單元302,其中
判斷單元301,用于判斷是否是第一視頻幀;如果是,則直接指示所述攝像頭獲取視頻幀,否則指示觀測(cè)點(diǎn)處理單元302,去掉每個(gè)子區(qū)域中跟蹤響應(yīng)值小于預(yù)定閾值的觀測(cè)點(diǎn),并選擇響應(yīng)最好的最多三個(gè)點(diǎn)。
為了使得用來(lái)計(jì)算質(zhì)心的觀測(cè)點(diǎn)盡可能的分散分布,進(jìn)而最終使得障礙物外形輪廓盡可能準(zhǔn)確,所述觀測(cè)點(diǎn)處理單元302還用于選取所去掉的每個(gè)子區(qū)域中跟蹤響應(yīng)值小于預(yù)定閾值的觀測(cè)點(diǎn)鄰域的跟蹤響應(yīng)大于預(yù)定閾值的點(diǎn),以用來(lái)獲取每個(gè)子區(qū)域的質(zhì)心。
為了充分利用上一幀的處理結(jié)果,并盡可能提供觀測(cè)點(diǎn)的魯棒性,所述觀測(cè)點(diǎn)選取單元在不是第一視頻幀的情況下,根據(jù)所去掉的每個(gè)子區(qū)域中跟蹤響應(yīng)值小于預(yù)定閾值的觀測(cè)點(diǎn),對(duì)下一幀每個(gè)子區(qū)域中新的觀測(cè)點(diǎn)進(jìn)行去重處理。
所述TTC計(jì)算單元,具體用于:
計(jì)算每個(gè)子區(qū)域質(zhì)心相互連接的距離d(t+1);
計(jì)算當(dāng)前幀與前一幀的距離之比,s=d(t+1)/d(t);
利用TTC=delta(t)/s-1,得到障礙物的碰撞時(shí)間。
作為一種優(yōu)選實(shí)施方式,該裝置還包括最終TTC計(jì)算單元,用于根據(jù)當(dāng)前幀圖像和預(yù)定數(shù)量或者預(yù)定時(shí)間的在前圖像幀計(jì)算的TTC計(jì)算最終TTC。
該障礙物檢測(cè)裝置還包括障礙物碰撞報(bào)警單元,用于判斷TTC和最終TTC是否小于預(yù)定時(shí)間,兩者只要有一個(gè)小于預(yù)定時(shí)間,報(bào)警。
另一方面,本發(fā)明還提供一種自動(dòng)巡航系統(tǒng),包括前面所述的行車(chē)中障礙物檢測(cè)裝置,用于在計(jì)算到TTC低于預(yù)定時(shí)間時(shí)控制行駛車(chē)輛進(jìn)行減速、制動(dòng),本發(fā)明還提供一種駕駛輔助系統(tǒng)或者行車(chē)記錄儀,用于在計(jì)算到TTC低于預(yù)定時(shí)間時(shí)進(jìn)行報(bào)警提示,本發(fā)明還提供一種智能后視鏡,包括前面所述的行車(chē)中障礙物檢測(cè)裝置,用于在計(jì)算到TTC低于預(yù)定時(shí)間時(shí)進(jìn)行報(bào)警提示。
本發(fā)明所提出的障礙物檢測(cè)裝置可安裝在車(chē)身外,因?yàn)楸景l(fā)明利用的是單目攝像頭,并不影響車(chē)身外觀,且安裝方便,也可安裝這車(chē)身內(nèi),如果安裝在車(chē)身內(nèi),優(yōu)選安裝在后視鏡位置處。
本申請(qǐng)實(shí)施例中提供的技術(shù)方案,至少具有如下技術(shù)效果或優(yōu)點(diǎn):
本方案提出基于純視覺(jué)的FCW算法,本方案與現(xiàn)有的方案相比有兩大優(yōu)點(diǎn):1、本發(fā)明不需要獲得車(chē)速信息,這也就說(shuō)明不連接車(chē)網(wǎng)絡(luò)獲取車(chē)速信息,降低安裝成本;本發(fā)明在計(jì)算TTC時(shí),相比較現(xiàn)有方案更加準(zhǔn)確,更加魯棒,同時(shí)降低了對(duì)車(chē)身輪廓邊緣線的檢測(cè)精度要求。
由于本實(shí)施例所介紹的電子設(shè)備為實(shí)施本申請(qǐng)實(shí)施例中做標(biāo)記的方法所采用的裝置,故而基于本申請(qǐng)實(shí)施例中所介紹的做標(biāo)記的方法,本領(lǐng)域所屬技術(shù)人員能夠了解本實(shí)施例的電子設(shè)備的具體實(shí)施方式以及其各種變化形式,所以在此對(duì)于該電子設(shè)備如何實(shí)現(xiàn)本申請(qǐng)實(shí)施例中的做標(biāo)記的方法不再詳細(xì)介紹。只要本領(lǐng)域所屬技術(shù)人員實(shí)施本申請(qǐng)實(shí)施例中做標(biāo)記的方法所采用的裝置,都屬于本申請(qǐng)所欲保護(hù)的范圍。
在此提供的算法和顯示不與任何特定計(jì)算機(jī)、虛擬系統(tǒng)或者其它設(shè)備固有相關(guān)。各種通用系統(tǒng)也可以與基于在此的示教一起使用。根據(jù)上面的描述,構(gòu)造這類(lèi)系統(tǒng)所要求的結(jié)構(gòu)是顯而易見(jiàn)的。此外,本發(fā)明也不針對(duì)任何特定編程語(yǔ)言。應(yīng)當(dāng)明白,可以利用各種編程語(yǔ)言實(shí)現(xiàn)在此描述的本發(fā)明的內(nèi)容,并且上面對(duì)特定語(yǔ)言所做的描述是為了披露本發(fā)明的最佳實(shí)施方式。
在此處所提供的說(shuō)明書(shū)中,說(shuō)明了大量具體細(xì)節(jié)。然而,能夠理解,本發(fā)明的實(shí)施例可以在沒(méi)有這些具體細(xì)節(jié)的情況下實(shí)踐。在一些實(shí)例中,并未詳細(xì)示出公知的方法、結(jié)構(gòu)和技術(shù),以便不模糊對(duì)本說(shuō)明書(shū)的理解。
類(lèi)似地,應(yīng)當(dāng)理解,為了精簡(jiǎn)本公開(kāi)并幫助理解各個(gè)發(fā)明方面中的一個(gè)或多個(gè),在上面對(duì)本發(fā)明的示例性實(shí)施例的描述中,本發(fā)明的各個(gè)特征有時(shí)被一起分組到單個(gè)實(shí)施例、圖、或者對(duì)其的描述中。然而,并不應(yīng)將該公開(kāi)的方法解釋成反映如下意圖:即所要求保護(hù)的本發(fā)明要求比在每個(gè)權(quán)利要求中所明確記載的特征更多的特征。更確切地說(shuō),如下面的權(quán)利要求書(shū)所反映的那樣,發(fā)明方面在于少于前面公開(kāi)的單個(gè)實(shí)施例的所有特征。因此,遵循具體實(shí)施方式的權(quán)利要求書(shū)由此明確地并入該具體實(shí)施方式,其中每個(gè)權(quán)利要求本身都作為本發(fā)明的單獨(dú)實(shí)施例。
本領(lǐng)域那些技術(shù)人員可以理解,可以對(duì)實(shí)施例中的設(shè)備中的模塊進(jìn)行自適應(yīng)性地改變并且把它們?cè)O(shè)置在與該實(shí)施例不同的一個(gè)或多個(gè)設(shè)備中??梢园褜?shí)施例中的模塊或單元或組件組合成一個(gè)模塊或單元或組件,以及此外可以把它們分成多個(gè)子模塊或子單元或子組件。除了這樣的特征和/或過(guò)程或者單元中的至少一些是相互排斥之外,可以采用任何組合對(duì)本說(shuō)明書(shū)(包括伴隨的權(quán)利要求、摘要和附圖)中公開(kāi)的所有特征以及如此公開(kāi)的任何方法或者設(shè)備的所有過(guò)程或單元進(jìn)行組合。除非另外明確陳述,本說(shuō)明書(shū)(包括伴隨的權(quán)利要求、摘要和附圖)中公開(kāi)的每個(gè)特征可以由提供相同、等同或相似目的的替代特征來(lái)代替。
此外,本領(lǐng)域的技術(shù)人員能夠理解,盡管在此的一些實(shí)施例包括其它實(shí)施例中所包括的某些特征而不是其它特征,但是不同實(shí)施例的特征的組合意味著處于本發(fā)明的范圍之內(nèi)并且形成不同的實(shí)施例。例如,在下面的權(quán)利要求書(shū)中,所要求保護(hù)的實(shí)施例的任意之一都可以以任意的組合方式來(lái)使用。
本發(fā)明的各個(gè)部件實(shí)施例可以以硬件實(shí)現(xiàn),或者以在一個(gè)或者多個(gè)處理器上運(yùn)行的軟件模塊實(shí)現(xiàn),或者以它們的組合實(shí)現(xiàn)。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解,可以在實(shí)踐中使用微處理器或者數(shù)字信號(hào)處理器(DSP)來(lái)實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的網(wǎng)關(guān)、代理服務(wù)器、系統(tǒng)中的一些或者全部部件的一些或者全部功能。本發(fā)明還可以實(shí)現(xiàn)為用于執(zhí)行這里所描述的方法的一部分或者全部的設(shè)備或者裝置程序(例如,計(jì)算機(jī)程序和計(jì)算機(jī)程序產(chǎn)品)。這樣的實(shí)現(xiàn)本發(fā)明的程序可以存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上,或者可以具有一個(gè)或者多個(gè)信號(hào)的形式。這樣的信號(hào)可以從因特網(wǎng)網(wǎng)站上下載得到,或者在載體信號(hào)上提供,或者以任何其他形式提供。
應(yīng)該注意的是上述實(shí)施例對(duì)本發(fā)明進(jìn)行說(shuō)明而不是對(duì)本發(fā)明進(jìn)行限制,并且本領(lǐng)域技術(shù)人員在不脫離所附權(quán)利要求的范圍的情況下可設(shè)計(jì)出替換實(shí)施例。在權(quán)利要求中,不應(yīng)將位于括號(hào)之間的任何參考符號(hào)構(gòu)造成對(duì)權(quán)利要求的限制。單詞“包含”不排除存在未列在權(quán)利要求中的元件或步驟。位于元件之前的單詞“一”或“一個(gè)”不排除存在多個(gè)這樣的元件。本發(fā)明可以借助于包括有若干不同元件的硬件以及借助于適當(dāng)編程的計(jì)算機(jī)來(lái)實(shí)現(xiàn)。在列舉了若干裝置的單元權(quán)利要求中,這些裝置中的若干個(gè)可以是通過(guò)同一個(gè)硬件項(xiàng)來(lái)具體體現(xiàn)。單詞第一、第二、以及第三等的使用不表示任何順序??蓪⑦@些單詞解釋為名稱(chēng)。
本發(fā)明提供A1、一種行車(chē)中障礙物檢測(cè)方法,其特征在于,該方法包括:
獲取當(dāng)前視頻幀;
基于所述當(dāng)前視頻幀對(duì)障礙物進(jìn)行關(guān)鍵點(diǎn)檢測(cè);
根據(jù)所述關(guān)鍵點(diǎn)所屬的區(qū)域?qū)ζ溥M(jìn)行劃分,并從每個(gè)劃分后的子區(qū)域的關(guān)鍵點(diǎn)中選取觀測(cè)點(diǎn);
跟蹤所述觀測(cè)點(diǎn)并選取每個(gè)子區(qū)域響應(yīng)最好的預(yù)定數(shù)量的觀測(cè)點(diǎn);
根據(jù)每個(gè)子區(qū)域響應(yīng)最好的觀測(cè)點(diǎn)獲取每個(gè)子區(qū)域的質(zhì)心;
根據(jù)當(dāng)前幀與上一幀中每個(gè)子區(qū)域質(zhì)心相互之間的距離計(jì)算障礙物碰撞時(shí)間TTC。
A2、根據(jù)A1所述的方法,其特征還在于,所述關(guān)鍵點(diǎn)包括FAST,ORB和/或Harris特征點(diǎn)。
A3、根據(jù)A1或A2所述的方法,其特征還在于,根據(jù)所述關(guān)鍵點(diǎn)所屬的區(qū)域?qū)ζ溥M(jìn)行劃分,并從每個(gè)子區(qū)域的關(guān)鍵點(diǎn)中選取觀測(cè)點(diǎn),具體包括:
把所述關(guān)鍵點(diǎn)按照其所屬的區(qū)域分為9個(gè)子區(qū)域;
判斷每個(gè)子區(qū)域內(nèi)的關(guān)鍵點(diǎn)數(shù)量是否大于9,如果大于9,則選取其中的9個(gè)關(guān)鍵點(diǎn)作為觀測(cè)點(diǎn),否則將子區(qū)域內(nèi)的所有關(guān)鍵點(diǎn)均作為觀測(cè)點(diǎn)。
A4、根據(jù)A1至A3任一項(xiàng)所述的方法,其特征還在于,跟蹤所述觀測(cè)點(diǎn)并選取每個(gè)子區(qū)域響應(yīng)最好的觀測(cè)點(diǎn),具體包括:
判斷是否是第一視頻幀;
如果是,則返回獲取視頻幀;
否則去掉每個(gè)子區(qū)域中跟蹤響應(yīng)值小于預(yù)定閾值的觀測(cè)點(diǎn),并選擇響應(yīng)最好的最多三個(gè)點(diǎn),以用來(lái)獲取每個(gè)子區(qū)域的質(zhì)心。
A5、根據(jù)A4所述的方法,其特征還在于,選取所去掉的每個(gè)子區(qū)域中跟蹤響應(yīng)值小于預(yù)定閾值的觀測(cè)點(diǎn)鄰域的跟蹤響應(yīng)大于預(yù)定閾值的點(diǎn),以用來(lái)獲取每個(gè)子區(qū)域的質(zhì)心。
A6、根據(jù)A4或A5所述的方法,其特征還在于,在不是第一視頻幀的情況下,根據(jù)所去掉的每個(gè)子區(qū)域中跟蹤響應(yīng)值小于預(yù)定閾值的觀測(cè)點(diǎn)、,對(duì)下一幀每個(gè)子區(qū)域中新的觀測(cè)點(diǎn)進(jìn)行去重處理。
A7、根據(jù)A1至A6任一項(xiàng)所述的方法,其特征還在于,根據(jù)當(dāng)前幀與上一幀中每個(gè)子區(qū)域質(zhì)心相互之間的距離計(jì)算障礙物碰撞時(shí)間TTC,具體包括:
計(jì)算每個(gè)子區(qū)域質(zhì)心相互之間的距離d(t+1);
計(jì)算當(dāng)前幀與前一幀的距離之比,s=d(t+1)/d(t);
利用TTC=delta(t)/s-1,得到障礙物的碰撞時(shí)間。
A8、根據(jù)A1至A7任一項(xiàng)所述的方法,其特征還在于,根據(jù)當(dāng)前幀圖像和預(yù)定數(shù)量或者預(yù)定時(shí)間的在前圖像幀計(jì)算的TTC計(jì)算最終TTC。
A9、根據(jù)A7或者A8所述的方法,其特征還在于,判斷當(dāng)前幀的TTC或者最終TTC是否小于預(yù)定時(shí)間,如果是,則報(bào)警。
B10、一種行車(chē)中障礙物檢測(cè)裝置,其特征在于,該裝置包括:
攝像頭,用于獲取視頻幀;
檢測(cè)模塊,用于基于所述視頻幀對(duì)障礙物進(jìn)行關(guān)鍵點(diǎn)檢測(cè),根據(jù)所述關(guān)鍵點(diǎn)所屬的區(qū)域?qū)ζ溥M(jìn)行劃分,并從每個(gè)劃分后的子區(qū)域的關(guān)鍵點(diǎn)中選取觀測(cè)點(diǎn);
跟蹤模塊,用于跟蹤所述觀測(cè)點(diǎn)并選取每個(gè)子區(qū)域響應(yīng)最好的預(yù)定數(shù)量的觀測(cè)點(diǎn);
TTC計(jì)算單元,用于根據(jù)每個(gè)子區(qū)域響應(yīng)最好的觀測(cè)點(diǎn)獲取每個(gè)子區(qū)域的質(zhì)心,根據(jù)當(dāng)前幀與上一幀中每個(gè)子區(qū)域質(zhì)心相互之間的距離計(jì)算障礙物碰撞時(shí)間TTC。
B11、根據(jù)B10所述的檢測(cè)裝置,其特征還在于,所述關(guān)鍵點(diǎn)包括FAST,ORB和/或Harris特征點(diǎn)。
B12、根據(jù)B10或B11所述的方法,其特征還在于,所述檢測(cè)模塊具體包括:
關(guān)鍵點(diǎn)檢測(cè)單元,用于基于所述視頻幀對(duì)障礙物進(jìn)行關(guān)鍵點(diǎn)檢測(cè),
子區(qū)域劃分單元,用于把所述關(guān)鍵點(diǎn)按照其所屬的區(qū)域分為9個(gè)子區(qū)域;
觀測(cè)點(diǎn)選取單元,用于判斷每個(gè)子區(qū)域內(nèi)的關(guān)鍵點(diǎn)數(shù)量是否大于9,如果大于9,則選取其中的9個(gè)關(guān)鍵點(diǎn)作為觀測(cè)點(diǎn),否則將子區(qū)域內(nèi)的所有關(guān)鍵點(diǎn)均作為觀測(cè)點(diǎn)。
B13、根據(jù)B10至B12任一項(xiàng)所述的裝置,其特征還在于,所述跟蹤模塊具體包括判斷單元和觀測(cè)點(diǎn)處理單元,其中
判斷單元,用于判斷是否是第一視頻幀;如果是,則直接指示所述攝像頭獲取視頻幀,否則指示觀測(cè)點(diǎn)處理單元,去掉每個(gè)子區(qū)域中跟蹤響應(yīng)值小于預(yù)定閾值的觀測(cè)點(diǎn),并選擇響應(yīng)最好的最多三個(gè)點(diǎn)。
B14、根據(jù)B13所述的方法,其特征還在于,所述觀測(cè)點(diǎn)處理單元還用于選取所去掉的每個(gè)子區(qū)域中跟蹤響應(yīng)值小于預(yù)定閾值的觀測(cè)點(diǎn)鄰域的跟蹤響應(yīng)大于預(yù)定閾值的點(diǎn),以用來(lái)獲取每個(gè)子區(qū)域的質(zhì)心。
B15、根據(jù)B13或B14所述的方法,其特征還在于,所述觀測(cè)點(diǎn)選取單元在不是第一視頻幀的情況下,根據(jù)所去掉的每個(gè)子區(qū)域中跟蹤響應(yīng)值小于預(yù)定閾值的觀測(cè)點(diǎn),對(duì)下一幀每個(gè)子區(qū)域中新的觀測(cè)點(diǎn)進(jìn)行去重處理。
B16、根據(jù)B10至B15任一項(xiàng)所述的裝置,其特征還在于,TTC計(jì)算單元,具體用于:
計(jì)算每個(gè)子區(qū)域質(zhì)心相互之間的距離d(t+1);
計(jì)算當(dāng)前幀與前一幀的距離之比,s=d(t+1)/d(t);
利用TTC=delta(t)/s-1,得到障礙物的碰撞時(shí)間。
B17、根據(jù)B16所述的方法,其特征還在于,該裝置還包括最終TTC計(jì)算單元,用于根據(jù)當(dāng)前幀圖像和預(yù)定數(shù)量或者預(yù)定時(shí)間的在前圖像幀計(jì)算的TTC計(jì)算最終TTC。
B18、根據(jù)B16或B17所述的裝置,其特征還在于,障礙物碰撞報(bào)警單元,用于判斷TTC是否小于預(yù)定時(shí)間,如果是,則報(bào)警。
C19、一種自動(dòng)巡航系統(tǒng),包括權(quán)利要求B10-B17任一項(xiàng)所述的行車(chē)中障礙物檢測(cè)裝置。
D20、一種駕駛輔助系統(tǒng),包括B10-17任一項(xiàng)所述的行車(chē)中障礙物檢測(cè)裝置。
E21、一種行車(chē)記錄儀,包括B10-17任一項(xiàng)所述的行車(chē)中障礙物檢測(cè)裝置。