一種基于汽車環(huán)視相機(jī)的盲區(qū)中車輛監(jiān)測方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于汽車監(jiān)測領(lǐng)域，尤其涉及一種基于汽車環(huán)視相機(jī)的盲區(qū)中車輛監(jiān)測方 法及系統(tǒng)。
【背景技術(shù)】
[0002] 在車輛行駛的過程中，駕駛員通過前窗兩側(cè)的后視鏡觀察車輛側(cè)方和側(cè)后方的交 通情況。由于車輛后視鏡的視野不夠，車輛兩側(cè)始終會存在目視觀察的盲區(qū)，給車輛變道、 并線等行車環(huán)節(jié)帶來安全隱患。為了消除車輛盲區(qū)對汽車安全駕駛的影響，目前主要有以 下幾種盲區(qū)監(jiān)測方法。
[0003] -是基于超聲波探頭的盲區(qū)監(jiān)測系統(tǒng)，超聲波探頭將探測區(qū)域內(nèi)障礙物的回波信 號送至控制器，控制器計算障礙物距離車輛的距離并發(fā)出報警信號。這種產(chǎn)品結(jié)構(gòu)簡單，成 本低，較經(jīng)濟(jì)實惠。但是超聲波探頭發(fā)射的信號通常角度比較窄，需要通過安裝多個超聲波 探頭來擴(kuò)大監(jiān)視范圍；能探測的直線距離較近，無法監(jiān)測一定距離的區(qū)域。由于是基于回波 信號判斷是否是障礙物，因此無法區(qū)分隔離帶，護(hù)欄和樹木等道邊結(jié)構(gòu)，也很容易受到空氣 中漂浮物體的影響，無法精確做到只對盲區(qū)內(nèi)車輛做出警告。
[0004] 二是基于微波或激光測距技術(shù)的盲區(qū)監(jiān)測系統(tǒng)，與基于超聲波探頭的盲區(qū)監(jiān)測系 統(tǒng)相類似，也是基于回波信號計算與障礙物的距離并發(fā)出報警信號。與基于超射波探頭的 盲區(qū)監(jiān)測系統(tǒng)相比，這種產(chǎn)品的優(yōu)點(diǎn)是具有更大的直線探測距離，但是其價格也會高很多。 由于也是基于回波信號判斷是否是障礙物，同樣會受到道邊結(jié)構(gòu)和空氣中漂浮物體的影 響，無法精確做到只對盲區(qū)內(nèi)車輛做出警告。
[0005] 三是基于攝像頭的盲區(qū)監(jiān)測系統(tǒng)，攝像頭拍攝得到的盲區(qū)圖像傳送至控制器，控 制器通過模式識別等算法識別車輛，并發(fā)出報警信號。與前兩種產(chǎn)品相比，基于攝像頭的盲 區(qū)監(jiān)測系統(tǒng)具有較大的靈活性，可以根據(jù)需要識別不同的物體，當(dāng)然相應(yīng)的算法也會更復(fù) 雜。目前已知的基于攝像頭的盲區(qū)中車輛監(jiān)測方法的缺點(diǎn)在于由于盲區(qū)通常比較大，捕獲 到的圖像中車輛在盲區(qū)內(nèi)不同位置會呈現(xiàn)出較大的視角變化，使識別的難度大大增加。另 外，各種不同類型的汽車，比如小轎車，MPV (Mul ti-Purpose Vehicles)，SUV (Sport Utility Vehicle)，公交車，大卡車等由于其大小存在較大的差異，寬高比變化很大等因 素，也會增加識別的難度。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于提供一種基于汽車環(huán)視相機(jī)的盲區(qū)中車輛監(jiān)測方法及系統(tǒng)，旨 在解決車輛在盲區(qū)中不同位置成像所導(dǎo)致的視角差異，實現(xiàn)較好的檢測效果，車輛后視鏡 的視野不夠，車輛兩側(cè)始終會存在目視觀察的盲區(qū)，給車輛變道、并線等行車環(huán)節(jié)帶來安全 隱患的問題。
[0007] 本發(fā)明是這樣實現(xiàn)的，包括環(huán)視魚眼相機(jī)、處理器及顯示單元，所述方法包括以下 步驟：
[0008] A、環(huán)視魚眼相機(jī)捕捉原始魚眼圖像，建立車體坐標(biāo)系，以汽車在地面上的垂直投 影的最小外接矩形的下邊的中心點(diǎn)為車體坐標(biāo)系原點(diǎn)，垂直向前記為X方向，水平向右記為 Z方向，垂直向上記為Y方向，通過方程式

，得到校正后的透視圖像;其中，/)為校正后的透視圖像上的像 素坐標(biāo)，（UO，VQ )為主點(diǎn)像素坐標(biāo)，f X和f y分別為圖像水平方向和垂直方向上的焦距，ki，k2， k3，k4，k5，k6為徑向畸變參數(shù)，ρ#Ρρ 2為切向畸變參數(shù)，r2 = V 2+y'2，（u，V)為原始圖像上的對 應(yīng)像素坐標(biāo)，，y〇為以毫米為單位的實際的圖像點(diǎn)的坐標(biāo)，（x〃，y〃）為由透視模型計算 出來的圖像點(diǎn)坐標(biāo)的理想值；
[0009] B、對環(huán)視魚眼相機(jī)進(jìn)行轉(zhuǎn)動得到虛擬相機(jī)，通過方程式％ = 將 真實相機(jī)與虛擬相機(jī)進(jìn)行映射，生成側(cè)視圖像;其中Ρν和Ρο分別為虛擬相機(jī)和真實相機(jī)圖像 上的點(diǎn)，S是一個縮放因子，Κ ν和Κ〇分別為虛擬相機(jī)和真實相機(jī)的內(nèi)參數(shù)矩陣，KQV表示兩個 相機(jī)之間的旋轉(zhuǎn)矩陣，Ro表示真實相機(jī)相對于參考坐標(biāo)系的旋轉(zhuǎn)矩陣，Rv表示虛擬相機(jī)相對 于車體坐標(biāo)系的旋轉(zhuǎn)矩陣；
[0010] c、根據(jù)透視投影基本原理，通過方程式Y(jié)piKUP+t)得到虛擬相機(jī)的內(nèi)參數(shù)矩陣 及外參數(shù)矩陣，只考慮地面，令Y = 〇，通過方程式
生成地面距離矩 陣;其中Ρ(Χ，Υ，Ζ)Τ表示車體坐標(biāo)系下一個三維點(diǎn)，？(1!^，1)7表示相應(yīng)的圖像坐標(biāo)系下的像 素點(diǎn)的齊次坐標(biāo)，S表示縮放因子，K，R和t是虛擬相機(jī)的內(nèi)參矩陣和外參矩陣，（χ，ζ)為車體 坐標(biāo)系下的X方向和Ζ方向這兩個方向上的坐標(biāo)；
[0011] D、根據(jù)距離矩陣在地面上的垂直投影用矩形區(qū)域
表示，矩形區(qū)域
相對于距離矩陣，生成以輪胎中心點(diǎn)表示的監(jiān)測區(qū)域圖像R0F ;遍歷距離矩陣中的每個點(diǎn)， 對于某個點(diǎn)(u，v)來說，它的值為(χ，ζ)，如果這個值滿足不等式方程，則令則令R0I'(u，v) = 255,否則ROV (u，v)=0;其中，XI卩X+是預(yù)設(shè)的車體坐標(biāo)系下X方向需要監(jiān)測的最小值和 最大值的閾值，Z1PZ+是預(yù)設(shè)的車體坐標(biāo)系下Z方向需要監(jiān)測的最小值和最大值的閾值;每 個點(diǎn)的值為〇或255,0表示該點(diǎn)不需要進(jìn)行后續(xù)的物體檢測，255表示該點(diǎn)需要進(jìn)行后續(xù)的 物體檢測；
[0012] L·、將以輪胎中心點(diǎn)表示的監(jiān)須眍域圖像R〇r 轉(zhuǎn)換成以該矩形的左上角坐標(biāo)表示的監(jiān)測區(qū)域圖像R0I，進(jìn)而轉(zhuǎn)換成監(jiān)測點(diǎn)數(shù)組A在進(jìn)行具 體的物體檢測;其中，M、N為目標(biāo)物體的檢測窗口大小MX N像素；
[0013] F、對監(jiān)測點(diǎn)數(shù)組A中的元素(u，v)所表示的檢測窗口為(u，v，Μ，N)，輸入檢測窗口 和側(cè)視圖像，采用公知技術(shù)進(jìn)行檢測，最后輸出是否是目標(biāo)物體。
[0014] 本發(fā)明的進(jìn)一步技術(shù)方案是:所述步驟Α中還包括步驟：
[0015] A1、通過張正友標(biāo)定法得到環(huán)視魚眼相機(jī)的內(nèi)參數(shù)矩陣、徑向畸變參數(shù)、切向畸變 參數(shù)及環(huán)視魚眼相機(jī)相對于車體坐標(biāo)系的外參數(shù)矩陣。
[0016] 本發(fā)明的進(jìn)一步技術(shù)方案是:所述步驟B中還包括步驟：
[0017] B1、轉(zhuǎn)動環(huán)視魚眼相機(jī)得到一個光軸與檢測平面垂直的虛擬相機(jī)，通過虛擬相機(jī) 可以得到消除透視失真后的圖像；
[0018] B2、在車輛正常行使過程中，將虛擬攝像機(jī)指向當(dāng)前車輛左側(cè)或右側(cè)，即可得到側(cè) 后方來車的無失真的輪胎圖像。
[0019] 本發(fā)明的進(jìn)一步技術(shù)方案是:所述步驟F中還包括步驟：
[0020] F1、對檢測窗口進(jìn)行特征提取和計算，然后將計算得到的特征值輸入給神經(jīng)網(wǎng)絡(luò) 進(jìn)行分類器的判斷。
[0021 ]本發(fā)明的進(jìn)一步技術(shù)方案是:所述步驟F1中的特征提取包括Haar矩形特征或LBP 特征或H0G特征，所述步驟F1中的分類器為級聯(lián)弱分類器或SVM分類器。
[0022] 本發(fā)明的另一目的在于提供一種基于汽車環(huán)視相機(jī)的盲區(qū)中車輛監(jiān)測系統(tǒng)，所述 系統(tǒng)包括環(huán)視魚眼相機(jī)、處理器及顯示單元，所述環(huán)視相機(jī)與所述處理器連接，所述處理器 與所述顯示單元雙向通訊連接，其特征在于，
[0023] 所述透視圖像模塊，用于環(huán)視魚眼相機(jī)捕捉原始魚眼圖像，建立車體坐標(biāo)系，以汽 車在地面上的垂直投影的最小外接矩形的下邊的中心點(diǎn)為車體坐標(biāo)系原點(diǎn)，垂直向前記為
X方向，水平向右記為Z方向，垂直向上記為Y方向，通過方程式
行校正，得到校正后的透視圖像;其中，/)為校正后的透視圖像上的像素坐標(biāo)，（UQ，v0) 為主點(diǎn)像素坐標(biāo)，fx和fy分別為圖像水平方向和垂直方向上的焦距，khkhkhkhkhksSg 向畸變參數(shù)，pdPp2為切向畸變參數(shù)，￥ = 1/2+7/2，（1!^)為原始圖像上的對應(yīng)像素坐標(biāo)， (x^yO為以毫米為單位的實際的圖像點(diǎn)的坐標(biāo)，（x〃，y〃）為由透視模型計算出來的圖像點(diǎn) 坐標(biāo)的理想值；
[0024] 所述側(cè)視圖像模塊，用于對環(huán)視魚眼相機(jī)進(jìn)行轉(zhuǎn)動得到虛擬相機(jī)，通過方程式 5? = = >.將真實相機(jī)與虛擬相機(jī)進(jìn)行映射，生成側(cè)視圖 像;其中Pv和P〇分別為虛擬相機(jī)和真實相機(jī)圖像上的點(diǎn)，S是一個縮放因子，Kv和K〇分別為虛 擬相機(jī)和真實相機(jī)的內(nèi)參數(shù)矩陣，KQV表示兩個相機(jī)之間的旋轉(zhuǎn)矩陣，R〇表示真實相機(jī)相對 于參考坐標(biāo)系的旋轉(zhuǎn)矩陣，Rv表示虛擬相機(jī)相對于車體坐標(biāo)系的旋轉(zhuǎn)矩陣；
[0025]所述距離矩陣模塊，用于根據(jù)透視投影基本原理，通過方程式Y(jié)piKUP+t)得到 虛擬相機(jī)的內(nèi)參數(shù)矩陣及外參數(shù)矩陣，只考慮地面，令Y = 〇，通過方程式
生成地面距離矩陣；其中P(X，Y，Z)T表示車體坐標(biāo)系下一個三維點(diǎn)，P (u，v，1)τ表示相應(yīng)的圖像坐標(biāo)系下的像素點(diǎn)的齊次坐標(biāo)，s表示縮放因子，K，R和t是虛擬相 機(jī)的內(nèi)參矩陣和外參矩陣，（x，z)為車體坐標(biāo)系下的X方向和Z方向這兩個方向上的坐標(biāo)； [0026]所述監(jiān)測區(qū)域圖像R0V模塊，用于根據(jù)距離矩陣在地面上的垂直投影用矩形區(qū)域
，矩形區(qū)域相對于距離矩陣，生成以輪胎中心點(diǎn)表示的監(jiān)測區(qū)域圖像 ROf ;遍歷距離矩陣中的每個點(diǎn)，對于某個點(diǎn)(u，v)來說，它的值為(x，z)，如果這個值滿足 不等式方程，則令ROV (u，v)=255,否則ROF (u，v)=0;其中，X-和X+是預(yù)設(shè)的車體坐標(biāo)系下