一種基于場景幾何約束的目標(biāo)檢測滑窗掃描方法
【專利摘要】本發(fā)明公開一種基于場景幾何約束的目標(biāo)檢測滑窗掃描方法?，F(xiàn)有的基于單目攝像頭的全圖滑窗窮搜索方法，存在搜索效率低導(dǎo)致檢測系統(tǒng)無法達(dá)到實(shí)時的問題。本發(fā)明公開了一種基于場景幾何約束的目標(biāo)檢測滑窗掃描方法。該方法利用八個控制點(diǎn)和直接線性變換算法，計(jì)算出預(yù)先標(biāo)定的車載攝像頭的單應(yīng)性矩陣和地平面法向量在圖像投影向量，根據(jù)我們圖像成像幾何約束關(guān)系推導(dǎo)的約束方程計(jì)算出滑窗掃描約束區(qū)域的上邊界和下邊界，只在相應(yīng)的圖像約束區(qū)域中進(jìn)行圖像特征金字塔構(gòu)建和滑窗掃描檢測分類，不僅具有高效的掃描效率，而且由于只需要一個攝像頭，解決了多目探測器硬件成本高的問題。
【專利說明】 一種基于場景幾何約束的目標(biāo)檢測滑窗掃描方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種車載視頻圖像的目標(biāo)檢測中的高效滑窗掃描方法，特別涉及一種基于場景幾何約束的視頻圖像滑窗掃描方法。
【背景技術(shù)】
[0002]隨著交通事業(yè)的高速發(fā)展，交通安全變得越來越重要。高級駕駛輔助系統(tǒng)(advanced driver assistance systems)中的前方車輛、行人等目標(biāo)檢測預(yù)警是減少車輛交通事故的重要方法，其中的圖像滑窗掃描搜索檢測是車載圖像目標(biāo)檢測技術(shù)中的關(guān)鍵一環(huán)，是影響圖像目標(biāo)檢測效率和實(shí)時性的重要因素。
[0003]基于視覺的圖像目標(biāo)檢測根據(jù)采用的探測器不同，滑窗掃描搜索可以分為兩大類:基于單目攝像頭的全圖滑窗窮盡搜索和基于多探測器的利用深度信息滑窗搜索。全圖滑窗窮盡搜索屬于全局貪婪搜索，方法簡單，但是滑窗搜索量大，搜索效率很低，導(dǎo)致目標(biāo)檢測算法運(yùn)算量過大，無法達(dá)到車載目標(biāo)檢測的實(shí)時性要求。基于多探測器的利用深度信息滑窗搜索，屬于利用圖像深度信息的啟發(fā)式搜索，搜索效率有所提高，但是需要多個探測器，導(dǎo)致系統(tǒng)硬件成本大大提高；而且由于需要結(jié)合多個探測器得到用于搜索空間約束的深度信息，計(jì)算復(fù)雜度更高，算法穩(wěn)定性較差，最終的目標(biāo)檢測實(shí)時性也受影響。因此，針對車載單目視頻圖像的目標(biāo)檢測，本發(fā)明提出一種基于幾何約束的滑窗掃描搜索方法。通過車載固定焦距攝像頭的預(yù)先標(biāo)定，車輛前方道路上的人車目標(biāo)對象在視頻圖像中的垂直方向的尺度大小和位置，與實(shí)際目標(biāo)對象和車載攝像頭之間的距離形成幾何約束關(guān)系，利用這些幾何約束進(jìn)行啟發(fā)式搜索，可以減少滑窗搜索區(qū)域，大幅度減少搜索窗口數(shù)，提高目標(biāo)檢測的時間性能，降低誤檢率。

【發(fā)明內(nèi)容】

[0004]針對單目視覺圖像目標(biāo)檢測應(yīng)用場景，本發(fā)明公開了一種基于場景幾何約束的圖像高效掃描檢測方法。該方法利用八個控制點(diǎn)和直接線性變換算法，計(jì)算出預(yù)先標(biāo)定的車載攝像頭的單應(yīng)性矩陣和地平面法向量在圖像投影向量，根據(jù)圖像成像幾何約束關(guān)系推導(dǎo)的約束方程計(jì)算出滑窗掃描約束區(qū)域的上邊界和下邊界，只在相應(yīng)的圖像約束區(qū)域中進(jìn)行圖像特征金字塔構(gòu)建和滑窗掃描檢測分類，不僅具有高效的掃描效率，而且由于只需要一個攝像頭，解決了多目探測器硬件成本高的問題。
[0005]本發(fā)明解決其技術(shù)問題采用的技術(shù)方案步驟如下:
[0006]Stepl:首先進(jìn)行車載定焦攝像頭(非廣角單目)校正。保證攝像頭取景方向平行于地平面，即相機(jī)的俯仰角、航偏角、旋轉(zhuǎn)角都為零。
[0007]Step2:測量八個控制點(diǎn)，分別記錄每個點(diǎn)在空間世界坐標(biāo)系的坐標(biāo)和圖像局部坐標(biāo)系的坐標(biāo)。
[0008]Step3:計(jì)算單應(yīng)性矩陣Ηπ和地平面法向量在圖像上的映射向量η。取八個測量點(diǎn)的測量值，利用直接線性變換算法計(jì)算Ηπ和η。[0009]Step4:計(jì)算不同縮放層下的單應(yīng)性矩陣和地平面法向量在圖像上的映射向量，更新第k層的ΗπΛ和nk。
[0010]Step5:利用相機(jī)成像幾何約束方程求出約束線。
[0011]Step6:設(shè)定圖像的左右邊界，即取圖像的最左邊界Xniin和最右邊界x_。
[0012]Step7:計(jì)算當(dāng)前層約束的上邊界ymin和下邊界ymax。設(shè)定約束區(qū)域R0I。
[0013]Step8:使用分類器掃描檢測ROI區(qū)域(xmin, xmax, ymin, ymax)。要求做掃描檢測時只對ROI內(nèi)的圖像進(jìn)行特征提??；只對ROI內(nèi)的圖像進(jìn)行滑窗掃描分類。
[0014]轉(zhuǎn)到Step4,重復(fù)執(zhí)行Step4、Step5、Step6、Step7、Step8直到完成所有層的掃描檢測。
[0015]本發(fā)明的有益效果:
[0016]1.本發(fā)明從車載應(yīng)用場景出發(fā)，利用車載相機(jī)成像的幾何場景信息進(jìn)行約束，可以有效地將檢測窗約束在有意義假陽性相關(guān)(行人可能出現(xiàn))的圖像區(qū)域，具有很高的搜索效率，可以明顯降低目標(biāo)檢測系統(tǒng)運(yùn)算量，提升檢測速度。
[0017]2.本發(fā)明由于限制了很多假陽性不相關(guān)圖像區(qū)域/檢測窗，減少了不相關(guān)的圖像區(qū)域的假陽性目標(biāo)干擾，可以降低錯誤率，提高檢測精度。
【專利附圖】

【附圖說明】:
[0018]圖1為本發(fā)明計(jì)算約束區(qū)域的整體流程圖。
[0019]圖2為計(jì)算牽涉到的坐標(biāo)系和部分符號說明圖。
[0020]圖3為縮放金字塔其中兩層(δ =1.75和δ =0.65)的約束上邊界和下邊界示例。
[0021]圖4為全圖滑窗窮盡搜索和使用本發(fā)明約束后的待檢測窗口展示。
【具體實(shí)施方式】
[0022]下面結(jié)合附圖，以檢測目標(biāo)為行人為例，對本發(fā)明的具體實(shí)施方案作進(jìn)一步詳細(xì)描述。其具體步驟流程如圖1所示:
[0023]步驟1:安裝校正車載攝像頭。攝像頭成像軸平行于地平面，即相機(jī)的俯仰角、航偏角、旋轉(zhuǎn)角都為零。攝像頭安裝位置距離地面高度在20厘米到160厘米范圍內(nèi)，要求攝像頭為普通(非廣角)單目定焦攝像頭。
[0024]步驟2:測量八個控制點(diǎn)，分別記錄其在空間世界坐標(biāo)系的坐標(biāo)Χ=[Χ，Y, Ζ]τ和圖像局部坐標(biāo)系的坐標(biāo)x=[x，y]T，坐標(biāo)系說明如圖2所示。測量點(diǎn)布設(shè)要求:這八個點(diǎn)不能布設(shè)在空間的任意同一平面內(nèi)；而且在空間分布均勻，在圖像上構(gòu)像范圍大。
[0025]步驟3:計(jì)算單應(yīng)性矩陣Ηπ和地平面法向量在圖像上的映射向量η。利用直接線性變換算法，代入六個測量點(diǎn)的測量值，求解
[0026]Ηπ = (/7' hj )' , U = Inl η2 。求解單應(yīng)性矩陣的求解算法為:
[0027]
【權(quán)利要求】
1.一種基于場景幾何約束的目標(biāo)檢測滑窗掃描方法，其特征在于該方法的具體步驟為: 步驟1、控制點(diǎn)的選取和測量: 選取八個控制點(diǎn)，要求這八個點(diǎn)不能布設(shè)在空間的任意同一平面內(nèi)，而且在空間分布均勻，在圖像上構(gòu)像范圍大；保存其在空間世界坐標(biāo)系的坐標(biāo)和圖像局部坐標(biāo)系的坐標(biāo)；步驟2、計(jì)算相機(jī)單應(yīng)性矩陣Ηπ和地平面法向量在圖像的投影向量η: 根據(jù)測量得到的八組測量值，使用直接線性變換算法，求出相應(yīng)的最小二乘解即可；步驟3、計(jì)算不同縮放層下的單應(yīng)性矩陣和地平面法向量在圖像上的映射向量，根據(jù)當(dāng)前縮放層的縮放因子S更新第k層的Hi1^Pnk: 將當(dāng)前所在縮放層的縮放因子代入
【文檔編號】G06T7/00GK103886583SQ201410050851
【公開日】2014年6月25日 申請日期:2014年2月14日 優(yōu)先權(quán)日:2014年2月14日
【發(fā)明者】徐向華, 任新成, 周斌 申請人:杭州電子科技大學(xué)