專利名稱：基于全方位視覺傳感器的道路監(jiān)控裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于全方位視覺傳感器的道路監(jiān)控裝置。
背景技術(shù)：
車輛超速行駛是引發(fā)交通事故的重要因素。傳統(tǒng)的超速檢測是由執(zhí)法人員在公路上用測速儀檢測過往車輛。采用這種工作方式的缺點是占用大量警力、執(zhí)法人員容易疲勞、不能全天候工作、無法提供有力證據(jù)。以牌照識別技術(shù)為基礎(chǔ)的超速違章處罰系統(tǒng)可以自動地檢測超速車輛，并在道路出口或關(guān)卡對超速車輛進行布控、攔截。這種方式可以全天候工作，能及時提供車輛超速時間、地點、照片、車速等數(shù)據(jù)作為證據(jù)。
目前檢測超速車輛的技術(shù)主要有下面三個手段一、移動式測速方法；二、固定式測速方法；三、兩個站點間距離時間平均測速方法。
一、移動式測速方法，移動式測速方法是將測速儀放在警車內(nèi)，警車在路上巡邏時測速儀對準(zhǔn)被測車輛進行測速，根據(jù)車輛在高速公路行駛速度的有關(guān)規(guī)定，在系統(tǒng)預(yù)先設(shè)定各種車型正常的行駛速度(考慮到誤差問題可適當(dāng)放松限速范圍)，當(dāng)測量到車輛超速時抓拍系統(tǒng)就自動抓拍或錄像。這種方式的優(yōu)點主要有1、違章超速行駛的車輛在高速公路出口交費時可當(dāng)場被處罰，提高了公安部門的執(zhí)法效率。2、由于有圖片和數(shù)字證據(jù)，提高了執(zhí)法的公平性和公證性。但同時也存在缺點1、由于在測速時牽涉到警車和被測車輛的相對速度問題，在技術(shù)處理上相對繁瑣。2、由于司機受教育的程度不同，文化素質(zhì)參差不齊，部分司機見到前方有警車巡邏就會減速駕駛，但沒有警車巡邏的路段又會違章超速，不能從根本上制止司機超速駕駛。3、不能做到全天候全路段測速。4、上路測速增加了公安部門的警力和物力。
二、固定式測速方法，固定式測速方法是在高速公路被監(jiān)測點的中央分隔帶或路旁安裝視頻攝像機，路面埋設(shè)兩組地感線圈，線圈之間保持一定的距離，當(dāng)車輛通過兩組線圈的距離時系統(tǒng)會自動計時，然后根據(jù)公式速度＝距離/時間計算出車輛通過兩組線圈時的行駛速度，當(dāng)然兩組地感線圈的距離是可知的，當(dāng)檢測到的車輛速度超過預(yù)先設(shè)定的行駛速度時(各種車型速度的設(shè)置與移動式的一樣)，攝像機就自動抓拍。然后把超速行駛車輛的信息通過傳輸手段送到計算機終端進行處理和打印。它的優(yōu)點1、由于系統(tǒng)固定安裝在路上，節(jié)省了上路巡邏的人力和物力。2、同樣有抓拍圖片作為證據(jù)，提高了執(zhí)法的公平性和公正性。3、可進行全天候測速。主要缺點是當(dāng)?shù)馗芯€圈故障時，需要封道挖開路面維修，增加了維修人員的危險性，目前由于超載運輸情況比較嚴(yán)重，每隔一年就要對地感線圈進行維護，這樣不但增加了維護成本，同時給已經(jīng)非常繁忙道路交通情況增加了壓力，造成的維護成本非常之大。
三、兩個站點間距離時間平均測速方法，與目前的收費系統(tǒng)連動，利用現(xiàn)有的抓拍圖片和各車輛出入口的信息來測量車輛是否超速，實現(xiàn)信息共享，資源綜合利用。測速方法如下建立一個測量車輛超速系統(tǒng)，把數(shù)據(jù)處理室服務(wù)器內(nèi)每輛車的入口站名、入口時間、出口站名、出口時間、車輛圖片(車牌)、車型等信息連接到測速系統(tǒng)，由于高速公路是全封閉管理，每個出入口之間的距離是可知的，根據(jù)公式速度＝距離/時間(時間為車輛在高速公路的出口時間與入口時間之差)，測速系統(tǒng)可自動計算出每輛車在高速公路行駛期間的平均速度，當(dāng)該速度超過系統(tǒng)預(yù)先設(shè)定的該車型正常行駛速度時，則說明該車在高速公路行駛期間有超速現(xiàn)象。例如某小車從甲站進入高速公路，在乙站出口，按系統(tǒng)的設(shè)定小車從甲站到乙站的最少行駛時間應(yīng)該是2小時，但該小車在甲乙站之間行駛只用了1.5小時，根據(jù)公式速度＝距離/時間計算，該小車是超速行駛。測速系統(tǒng)把所有超速車輛的資料保存到指定的計算機終端，沒有超速的車輛資料在系統(tǒng)的服務(wù)器中暫時保存一定時間后可自動清除，暫時保存的時間可根據(jù)管理上的需要和服務(wù)器的容量來定(比如一個星期或更長時間)。
近年來國外Michalopoulos PG等人研究出了一種新的檢測方法——視頻檢測，應(yīng)用到交通流量的檢測和交通控制上，獲得了很大的成功。它是一種基于視頻圖像的檢測技術(shù)，是一種結(jié)合數(shù)字視頻圖像和人工模式識別的技術(shù)。與傳統(tǒng)的檢測器相比，視頻檢測器具有明顯的優(yōu)勢，主要體現(xiàn)在(1)具有完備的檢測手段，能夠檢測出絕大多數(shù)的交通流數(shù)據(jù)，其中包括交通流量、車輛速度以及占有率等，還能夠?qū)崿F(xiàn)交通事故的自動檢測。
(2)具有大區(qū)域檢測的特點，有利于交通的管理和控制。
(3)使用安裝無需接觸公路實體，且維護方便。
還存在的缺點(1)、視頻攝像頭的安裝精度要求高；(2)、檢測和跟蹤運動物體過程復(fù)雜、算法復(fù)雜；(3)、因為視頻處理的速度較慢，實時性差。

發(fā)明內(nèi)容為了克服已有的道路監(jiān)控視頻裝置安裝精度要求高、算法復(fù)雜、實時性差的不足，本發(fā)明提供一種安裝位置自由、算法簡單、實時性強的基于全方位視覺傳感器的道路監(jiān)控裝置。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是一種基于全方位視覺傳感器的道路監(jiān)控裝置，所述的道路監(jiān)控裝置包括微處理器、用于監(jiān)視道路情況的監(jiān)控傳感器，所述的微處理器包括圖像數(shù)據(jù)讀取模塊，用于讀取從全方位視覺傳感器傳過來的視頻圖像信息；圖像數(shù)據(jù)文件存儲模塊，用于將讀取的視頻圖像信息通過文件方式保存在存儲單元中；現(xiàn)場實時播放模塊，用于將讀取的視頻圖像實時播放；網(wǎng)絡(luò)傳輸模塊，用于將讀取的視頻圖形信息通過通信模塊傳輸?shù)骄W(wǎng)絡(luò)；所述的監(jiān)控傳感器是全方位視覺傳感器，所述的全方位視覺傳感器包括用以反射監(jiān)控領(lǐng)域中物體的外凸折反射鏡面、用以防止光折射和光飽和的黑色圓錐體、透明圓柱體、攝像頭，所述的外凸折反射鏡面位于透明圓柱體的上方，外凸折反射鏡面朝下，黑色圓錐體固定在折反射鏡面外凸部的中心，攝像頭對著外凸反射鏡面朝上，所述的攝像頭位于外凸反射鏡面的虛焦點位置；所述的微處理器還包括傳感器標(biāo)定模塊，用于建立一種空間的道路圖像與所獲得的視頻圖像的對應(yīng)關(guān)系，在水平方向?qū)嵨飯D像坐標(biāo)與圖像左邊呈線性關(guān)系；虛擬檢測線設(shè)定模塊，用于建立若干條虛擬檢測線，通過所述空間道路平面圖像與所獲得的視頻圖像的對應(yīng)關(guān)系可以對應(yīng)成在實際道路上的檢測線；圖像展開處理模塊，用于將讀取的圓形視頻圖像展開為全景柱狀圖；色彩空間轉(zhuǎn)化模塊，用于將交通圖像RGB色彩空間轉(zhuǎn)換到Y(jié)UV空間；
車輛判斷模塊，用于通過統(tǒng)計檢測線區(qū)域內(nèi)的灰度變化情況來確定目標(biāo)車輛進入或離開檢測線；基于YUV模型的車輛判斷模塊，用于利用YUV顏色空間特征，將前后關(guān)聯(lián)幀中的色彩值進行比較來進行識別出車輛信息將虛擬檢測線分成均勻的N段，每段長度與最小車輛的幾何尺度有關(guān)，設(shè)最小車輛長度為Carwmin，分段數(shù)為Snum，檢測線總長度M，最小檢測基元大小可以由式(23)、(24)表示；BL=CarwminSnum---(23)]]>N=MBL---(24)]]>對于每一個均勻分割的N段中的一個子段利用式(25)來進行判斷， PS=Σt=0NDS(i)]]>式中T2為區(qū)別車輛信號和背景信號分量變化的閾值；SD為幀差累積平均值，計算公式如下(26)，SD=Σi=0i=n-1|Ic(i)-IB(i)|2n---(26)]]>式中Ic(i)為當(dāng)前幀第i個像素點顏色值，而IB(i)為背景幀第i個像素所對應(yīng)的顏色值；如果PS＞Carwmin/2，判斷車輛存在，否則判斷車輛不存在；車速檢測模塊，用于根據(jù)車輛檢測的前后關(guān)聯(lián)幀中的一系列數(shù)值通過最小二乘法計算車輛速度，根據(jù)標(biāo)定關(guān)系轉(zhuǎn)化為實際道路上的車輛速度假設(shè)車輛行駛在監(jiān)視范圍內(nèi)是勻速的，用式(28)表示車輛的運動距離與時間的關(guān)系，li＝α+βti+εi(28)上式中，被監(jiān)視車輛移動軌跡檢測值li表示i幀圖像與(i+1)幀圖像之間車輛所移動的距離，ti表示i幀圖像與(i+1)幀圖像之間車輛移動距離所花費的時間，i為自然數(shù)；采用最小二乘法計算式(28)中的未知參數(shù)(α，β)的估計值( )，使公式(29)取值為最小Σi=1n(li-α^-β^ti)2=minα,βΣi=1n(li-α-βti)2---(29)]]>利用偏微分方法求解估計值 為車輛車速估計值，如式(30)表示；β^=Σi=1n(ti-t‾)(li-l‾)Σi=1n(ti-t‾)---(30)]]>上式中，t，l分別為時間與距離的均值。
進一步，所述的車輛判斷模塊，用以設(shè)定道路路面呈黑灰白之間其像素灰度Gb的分布均勻，道路上行駛的車輛構(gòu)成的像素灰度Gv與背景路面的像素灰度Gb有一個差值，預(yù)設(shè)一個灰度閾值TH，Gv＜TH＜Gb，并設(shè)置檢測線區(qū)域內(nèi)的Gv到TH之間像素個數(shù)的臨界值NTH，并統(tǒng)計檢測線區(qū)域內(nèi)的Gv到TH之間像素個數(shù)如統(tǒng)計的個數(shù)小于臨界值NTH，判斷沒有車輛通過檢測線區(qū)域；如統(tǒng)計的個數(shù)增大到臨界值NTH，判斷車輛進入檢測線區(qū)域；如統(tǒng)計的個數(shù)減小到臨界值NTH，判斷車輛離開檢測線區(qū)域。
再進一步，所述的微處理器還包括背景刷新模塊，用于根據(jù)車輛檢測的結(jié)果和選定的背景刷新策略進行背景更新，以適應(yīng)道路場景的動態(tài)變化，在Y、U、V顏色模型中，先要確定初始背景，初始背景的各分量值的計算式為(31)I0=1NΣk=1NIk(x)color---color=Y,U,V---(31)]]>上式中，N為經(jīng)驗值，Ik(x)color(color＝Y(jié)，U，V)表示第K幀圖像中x處的Y，U，V顏色分量值判斷是否是前景像素的條件為
其中，UT、VT、YT為Y、U、V各分量的門限值；當(dāng)滿足上述條件時，x處的像素為前景像素，否則為背景像素；背景刷新的計算式為(32) 上式中，Bt(x)表示t時刻背景的Y、U、V分量值，It+Δt(x)表示t+Δt時刻背景的Y、U、V分量值，α為小于1的系數(shù)。
更進一步，所述的微處理器還包括車速跟蹤模塊，用于基于YUV模型的幀間像素差統(tǒng)計值作為模式特征指標(biāo)判斷每個像素上是否有車輛通過的準(zhǔn)則用式(26)來進行判斷 其中Y′＝255Y/YB上式中，YB為背景的平均亮度分量值，Y、U、V為像素色彩值，YT、UT、VT為閾值；當(dāng)式(26)判斷為有車輛通過時，開始跟蹤車速檢測特征點，接著沿車速檢測線的輔助檢測端到主檢測線，逐一比較各個像素值，比較準(zhǔn)則用公式(27)給出；|ft(x)-g(x)|＞T (27)上式中，x0≤x≤x0+M M為比較窗口，x為車速檢測線上的點，ft(x)為該區(qū)域中的所有像素的當(dāng)前色彩值，g(x)為該區(qū)域中的所有像素的背景色彩值，T表示閾值；如果(27)成立，開辟一個內(nèi)存來記錄該區(qū)域所有像素的顏色，當(dāng)下一幀到來時，重新完成上述的跟蹤計算一次，然后將上次記錄在內(nèi)存中的區(qū)域色彩值與這一幀找到的色彩值進行比較，如果滿足公式(27)就認為車速跟蹤成功，繼續(xù)跟蹤直到車輛已被確定離去為止，并記錄車輛軌跡。
所述的圖像展開處理模塊，用于根據(jù)圓形全方位圖像上的一個點(x*，y*)和矩形全景圖上的一個點(x**，y**)的對應(yīng)關(guān)系，建立(x*，y*)與(x**，y**)的映射矩陣，通過M映射矩陣建立關(guān)系式(21)P**(x**，y**)←M×P*(x*，y*) (21)上式中，P*(x*，y*)為成像平面上的每個像素矩陣，P**(x**，y**)為全方位圖像上每個點對應(yīng)的矩陣，M為映射矩陣。
所述的色彩空間轉(zhuǎn)化模塊，從RGB色彩空間轉(zhuǎn)換到Y(jié)UV空間的關(guān)系式為式(22)Y＝0.301*R+0.586*G+0.113*BU＝-0.301*R-0.586*G+0.887*B (22)V＝0.699*R-0.586*G-0.113*B上式中，Y代表YUV顏色模型的亮度，U、V是YUV顏色模型的兩個彩色分量，表示色差；R表示RGB色彩空間的紅色；G表示RGB色彩空間的綠色；B表示RGB色彩空間的藍色。
本發(fā)明的工作原理是ODVS攝像裝置的光學(xué)部分的制造技術(shù)方案，ODVS攝像裝置主要由垂直向下的折反射鏡和面向上的攝像頭所構(gòu)成。具體構(gòu)成是由聚光透鏡以及CCD構(gòu)成的攝像單元固定在由透明樹脂或者玻璃制的圓筒體的下部，圓筒體的上部固定有一個向下的大曲率的折反射鏡，在折反射鏡和聚光透鏡之間有一根直徑逐漸變小的圓錐狀體，該圓錐狀體固定在折反射鏡的中部，圓錐狀體的目的是為了防止過剩的光射入而導(dǎo)致在圓筒體內(nèi)部的光飽和現(xiàn)象。圖2是表示本發(fā)明的全方位成像裝置的光學(xué)系統(tǒng)的原理圖。
折反射全景成像系統(tǒng)能用針孔成像模型進行成像分析，但要獲得透視全景圖像必須對采集的實景圖像逆投影，因而計算量大，特別是用在對高速行駛的車輛進行監(jiān)控，必須滿足實時性的要求。一般作為測速、車流量監(jiān)視功能的全方位視覺裝置是用來把握整個全局道路折反射情況；對于違規(guī)車輛的自動抓拍取證以及車牌識別需要用另一臺攝像設(shè)備來完成，該攝像設(shè)備負責(zé)某個局部違規(guī)部分圖像的獲取。
場景中物點的水平坐標(biāo)與相應(yīng)像點的坐標(biāo)成線性關(guān)系就能確保水平場景無畸變，作為測速、車流量監(jiān)視功能的全方位視覺裝置安裝在離路面高度3米之處，監(jiān)視著道路水平方向上的車況，因此在設(shè)計全方位視覺裝置的折反射鏡面時要保證在水平方向上的不變形。
設(shè)計中首先選用CCD(CMOS)器件和成像透鏡構(gòu)成攝像頭，在對攝像頭內(nèi)部參數(shù)標(biāo)定的基礎(chǔ)上初步估算系統(tǒng)外形尺寸，然后根據(jù)高度方向的視場確定反射鏡面形參數(shù)。
如圖1所示，攝像頭的投影中心C在道路水平場景上方距離水平場景h處，反射鏡的頂點在投影中心上方，距離投影中心zo處。本發(fā)明中以攝像頭投影中心為坐標(biāo)原點建立坐標(biāo)系，反射鏡的面形用z(X)函數(shù)表示。在像平面內(nèi)距離像中心點ρ的像素q接受了來自水平場景O點(距離Z軸d)，在反射鏡M點反射的光線。水平場景無畸變要求場景物點的水平坐標(biāo)與相應(yīng)像點的坐標(biāo)成線性關(guān)系；d(ρ)＝αρ (1)式(1)中ρ是與反射鏡的面形中心點的距離，α為成像系統(tǒng)的放大率。
設(shè)反射鏡在M點的法線與Z軸的夾角為γ，入射光線與Z軸的夾角為φ，反射光線與Z軸的夾角為θ。則tg(x)=d(x)-xz(x)-h---(2)]]>tgγ=dz(x)dx---(3)]]>tg(2γ)=2dz(x)dx1-d2z(x)dx2---(4)]]> 由反射定律2γ＝φ-θ∴tg(2γ)=tg(φ-θ)=tgφ-tgθ1+tgφtgθ---(6)]]>
由式(2)、(4)、(5)和(6)得到微分方程(7)d2z(x)dx2+2kdz(k)dx-1=0---(7)]]>式中；k=z(x)[z(x)-h]+x[d(x)-x]z(x)[d(x)-x]+x[z(x)-h---(8)]]>由式(7)得到微分方程(9)dz(x)dx+k-k2+1=0---(9)]]>由式(1)、(5)得到式(10)d(x)=afxz(x)---(10)]]>由式(8)、(9)、(10)和初始條件，解微分方程可以得到反射鏡面形的數(shù)字解。系統(tǒng)外形尺寸主要指反射鏡離攝像頭的距離Ho和反射鏡的口徑D。折反射全景系統(tǒng)設(shè)計時根據(jù)應(yīng)用要求選擇合適的攝像頭，標(biāo)定出Rmin，透鏡的焦距f確定反射鏡離攝像頭的距離Ho，由(1)式計算出反射鏡的口徑Do。
系統(tǒng)參數(shù)的確定根據(jù)應(yīng)用所要求的高度方向的視場確定系統(tǒng)參數(shù)af。由式(1)、(2)和(5)得到式(11)，這里作了一些簡化，將z(x)≈z0，主要考慮對于鏡面的高度變化相對于鏡面與攝像頭的位置變化比較??；tgφ=(af-z0)ρfz0-h---(11)]]>在像平面以像中心點為圓心的最大圓周處ρ=Rmin→ωmax=Rminf]]>對應(yīng)的視場為Φmax。則可以得到式(12)；ρf=(z0-h)tgφmaxωmax+z0---(12)]]>成像模擬采用與實際光線相反的方向進行。設(shè)光源在攝像頭投影中心，在像平面內(nèi)等間距的選取像素點，通過這些像素點的光線，經(jīng)反射鏡反射后與水平面相交，若交點是等間距的，則說明反射鏡具有水平場景無畸變的性質(zhì)。成像模擬一方面可以評價反射鏡的成像性質(zhì)，另一方面可以準(zhǔn)確地計算出反射鏡的口徑和厚度。
進一步說明本發(fā)明在實施過程中涉及到標(biāo)定與識別這2個關(guān)鍵問題(1)如何標(biāo)定全方位視覺傳感器的成像平面內(nèi)的像素距離與實際三維空間距離的對應(yīng)關(guān)系。因為全方位視覺攝像機成像平面是二維的，以像素為計量單位，在成像平面上，觀察到車輛通過標(biāo)定的一段距離時，只能知道其像素距離；而實際車輛通過的距離是未知的，只有找到兩者的對應(yīng)關(guān)系，才能根據(jù)車輛在圖像中移動的距離計算出車輛實際的移動距離。
(2)全方位視覺攝像機視場內(nèi)通行車輛的識別算法。當(dāng)車輛經(jīng)過虛擬檢測線時，系統(tǒng)應(yīng)該如何去辨識并記錄車輛通過的時間。
全方位視覺攝像機視場距離的標(biāo)定涉及成像幾何的理論，將客觀世界的三維場景投射到攝像機的二維象平面，需要建立攝像機的模型來描述。通過確定攝像機的物理參數(shù)和方位參數(shù)，才能把象平面的度量確定下來，從而計算車輛通過的實際距離。
成像變換涉及不同坐標(biāo)系之間的變換。在攝像機的成像系統(tǒng)中，涉及到的有以下4個坐標(biāo)系；(1)現(xiàn)實世界坐標(biāo)系XYZ；(2)以攝像機為中心制定的坐標(biāo)系x＾y＾z＾；(3)像平面坐標(biāo)系，在攝像機內(nèi)所形成的像平面坐標(biāo)系x*y*o*；(4)計算機圖像坐標(biāo)系，計算機內(nèi)部數(shù)字圖像所用的坐標(biāo)系MN，以像素為單位。
根據(jù)以上幾個坐標(biāo)系不同的轉(zhuǎn)換關(guān)系，就可以得到所需要的全方位攝像機成像模型，換算出二維圖像到三維場景的對應(yīng)關(guān)系。本發(fā)明中采用折反射全方位成像系統(tǒng)的近似透視成像分析方法將攝像機內(nèi)所形成的像平面坐標(biāo)二維圖像換算到三維場景的對應(yīng)關(guān)系，圖3為一般的透視成像模型，d為物高，ρ為像高，t為物距，F(xiàn)為像距(等效焦距)?？梢缘玫绞?13)d=tFρ---(13)]]>在上述水平場景無的折反射全方位成像系統(tǒng)的設(shè)計時，要求場景物點的水平坐標(biāo)與相應(yīng)像點的坐標(biāo)成線性關(guān)系，如式(1)表示；比較式(13)，(1)，可以看出水平場景無變形的折反射全方位成像系統(tǒng)對水平場景的成像為透視成像。因此就水平場景成像而言，可以將水平場景無變形的折反射全方位成像系統(tǒng)視為透視相機，α為成像系統(tǒng)的放大率。設(shè)該虛擬透視相機的投影中心為C點(見附圖3)，其等效焦距為F。比較式(13)，(1)式可以得到式(14)；α=tF;t=h---(14)]]>由式(12)、(14)得到式(15)F=fhωmax(z0-h)tgφmax+z0ωmax0---(15)]]>根據(jù)上述全方位攝像機成像模型進行系統(tǒng)成像模擬，由攝像頭投影中心發(fā)出的經(jīng)過像素平面內(nèi)等間距像素點的光線族反射后，在距離投影中心3m的水平道路面上的交點基本上是等間距的，如附圖4所示。因此根據(jù)上述設(shè)計原理本專利中將道路水平面的坐標(biāo)與相應(yīng)全方位像點的坐標(biāo)之間的關(guān)系簡化為線性關(guān)系，也就是說通過反射鏡面的設(shè)計將現(xiàn)實世界坐標(biāo)系XYZ到像平面坐標(biāo)系的轉(zhuǎn)化可以用放大率α為比例的線形關(guān)系。下面是從像平面坐標(biāo)系到計算機內(nèi)部數(shù)字圖像所用的坐標(biāo)系的轉(zhuǎn)化，計算機中使用的圖像坐標(biāo)單位是存儲器中離散像素的個數(shù)，所以對實際像平面的坐標(biāo)還需取整轉(zhuǎn)換才能映射到計算機的成像平面，其變換表達式為由式(16)給出；M=Om-x*Sx;]]>N=On-y*Sy---(16)]]>式中Om、On分別為象平面的原點在計算機圖像平面上所映射的點像素所在的行數(shù)和列數(shù)；Sx、Sy分別為在x和y方向上的尺度因子。Sx、Sy的確定是通過在攝像頭與反射鏡面之間距離Z處放置標(biāo)定板，對攝像機進行標(biāo)定得到Sx、Sy的數(shù)值，單位是(pixel)；Om、On。的確定是根據(jù)所選擇的攝像頭分辨率像素，單位是(pixel)。
進一步，根據(jù)圖6來說明360°全方位進行攝像的原理，空間上的一個點A(x1，y1，z1)(圖中用五角星表示)經(jīng)折反射1鏡面反射到透鏡4上對應(yīng)有一個投影點P1(x*1，y*1)，通過透鏡4的光線變成平行光投射到CCD攝像單元5，微處理器6通過視頻接口讀入該環(huán)狀圖像，采用軟件對該環(huán)狀圖像進行展開得到全方位的圖像并顯示在顯示單元7上或者通過視頻服務(wù)器發(fā)布在網(wǎng)頁上。
進一步，在展開方法上本專利中采用了一種快速的近似展開算法，能夠?qū)r間消耗和對各種參數(shù)的要求降到最小，同時盡可能的保持有用的信息。考慮到后面幾個步驟的算法中，β分量即方位角度的信息是最需要的；而在豎直方向上，發(fā)生一些形變對結(jié)果幾乎沒有什么影響，這種展開的快速近似算法，如圖6所示。圖6中，B)圖是圓形全方位成像圖像，其中內(nèi)徑為r，外徑為R，內(nèi)外徑之間的是圖像的有效區(qū)域?，F(xiàn)將其展開成右邊的矩形全景圖C)，展開規(guī)則有三條，(1)X*軸為起始位置，按逆時針方式展開；(2)左圖中X*軸與內(nèi)徑r的交點O，對應(yīng)到右圖中左下角的原點O(0，0)；(3)展開后的右圖的寬度等于左圖中虛線所示的圓的周長。其中虛線圓為左圖內(nèi)外徑的同心圓，且其半徑r1＝(r+R)/2。
設(shè)圓形6B)的圓心O*坐標(biāo)(x*0，y*0)，展開的矩形圖左下角原點坐標(biāo)O**(0，0)，矩形圖C)中任意一點P**＝(x**，y**)所對應(yīng)的點在圓形圖中的坐標(biāo)為(x*，y*)。下面我們需要求的是(x*，y*)和(x**，y**)的對應(yīng)關(guān)系。根據(jù)幾何關(guān)系可以得到如下公式β＝tan-1(y*/x*) (17)r1＝(r+R)/2 (18)令虛線圓的半徑r1＝(r+R)/2，目的是為了讓展開后的圖看起來形變均勻一些。
x*＝y(tǒng)*/(tan(2x**/(R+r))) (19)y*＝(y**+r)cosβ (20)從式(19)、(20)可以得到圓形全方位圖像上的一個點(x*，y*)和矩形全景圖上的一個點(x**，y**)的對應(yīng)關(guān)系。該方法實質(zhì)上是做了一個圖像插值的過程。展開后，虛線上方的圖像是橫向壓縮過的，虛線下方的圖像是橫向拉伸過的，而在虛線本身上的點則保持不變。
為了滿足實時計算需要同樣可根據(jù)圓形全方位圖像上的一個點(x*，y*)和矩形全景圖上的一個點(x**，y**)的對應(yīng)關(guān)系，建立(x*，y*)與(x**，y**)的映射矩陣。由于這種一一對應(yīng)關(guān)系，通過映射矩陣方法能把轉(zhuǎn)變成不變形的全景圖像。通過M映射矩陣可以建立起式(21)關(guān)系。
P**(x**，y**)←M×P*(x*，y*)(21)根據(jù)式(21)，對于成像平面上的每個像素P*(x*，y*)在全方位圖像上有一個點P**(x**，y**)對應(yīng)，建立了M映射矩陣后，實時圖像處理的任務(wù)可以得到簡化。在成像平面上得到的變形的全方位圖像完成查表運算，生成不變形的全方位圖像顯示到顯示器7上或者保存在存儲單元8中或者通過Web服務(wù)發(fā)布給道路監(jiān)管部門的管理系統(tǒng)或者提供道路交通流量信息服務(wù)。
全方位視覺傳感器ODVS(OmniDirectional Vision Sensors)為實時獲取場景的全景圖像提供了一種新的解決方案。ODVS的特點是視野廣(360度)，能把一個半球視野中的信息壓縮成一幅圖像，一幅圖像的信息量更大；獲取一個場景圖像時，ODVS在場景中的安放位置更加自由；監(jiān)視環(huán)境時ODVS不用瞄準(zhǔn)目標(biāo)；檢測和跟蹤監(jiān)視范圍內(nèi)的運動物體時算法更加簡單；可以獲得場景的實時圖像。這種ODVS攝像機主要由一個CCD攝像機和正對著攝像頭的一個反光鏡組成。反光鏡面將水平方向一周的圖像反射給CCD攝像機成像，這樣，就可以在一幅圖像中獲取水平方向360°的環(huán)境信息。這種全方位攝像機有著非常突出的優(yōu)點，特別在對全景實時處理要求下，是一種快速、可靠的視覺信息采集途徑。但另一方面，這種圖像獲取模式同時也決定了得到的全方位圖像必然存在著一定程度上的壓縮和形變，這就影響了它對遠距離物體的觀察精度。
這種ODVS攝像機可以在全方位拍攝到半球視野中的所有情況。能把一個半球視野中的信息壓縮成一幅圖像，一幅圖像的信息量更大；獲取一個場景圖像時，ODVS在場景中的安放位置更加自由；監(jiān)視環(huán)境時ODVS不用瞄準(zhǔn)目標(biāo)；檢測和跟蹤監(jiān)視范圍內(nèi)的運動物體時算法更加簡單；可以獲得場景的實時圖像。同時，由于全方位視覺是一種典型的機器視覺，是人不可能具備的。攝像機采集圖像的原理和人眼觀察物體的原理不一樣，使得全方位圖像與人眼看到的圖像差別也很大，即使按照柱面展開，其形變還是存在的。因此如何通過全方位光學(xué)成像技術(shù)、計算機圖象處理技術(shù)和網(wǎng)絡(luò)技術(shù)通信技術(shù)為智能交通管理領(lǐng)域提供一種快速、可靠的車流視覺信息采集途徑，并根據(jù)ODVS攝像機得到的實時全方位圖像，通過計算判斷運行中的車輛是否違章，同時也能獲取實時的車流信息。
本發(fā)明的有益效果主要表現(xiàn)在1、全方位視覺傳感器的安裝位置自由，監(jiān)視環(huán)境不用瞄準(zhǔn)目標(biāo)；2、算法簡單；3、實時性強，能夠快速可靠的采集視覺信息。


圖1是全方位視覺光學(xué)原理圖。
圖2是道路監(jiān)控裝置的結(jié)構(gòu)原理圖。
圖3是全方位視覺裝置與一般的透視成像模型等價的透視投影成像模型示意圖。
圖4是全方位視覺裝置在水平方向上圖像無形變模擬示意圖。
圖5是全方位視覺裝置在水平方向上，道路監(jiān)控虛擬檢測觸發(fā)區(qū)域以及車道分割示意圖。
圖6是將一個在反射鏡面上的圓形經(jīng)全方位圖像轉(zhuǎn)變成計算機顯示的全景柱形圖像的示意圖。
圖7是全方位視覺裝置中計算車輛行駛速度和計算車流量的流程圖。
具體實施方式
下面結(jié)合附圖對本發(fā)明作進一步描述。
參照圖1、圖2、圖3、圖4、圖5、圖6、圖7，一種基于全方位視覺傳感器的道路監(jiān)控裝置，所述的道路監(jiān)控裝置包括微處理器6、用于監(jiān)視道路情況的監(jiān)控傳感器13，所述的微處理器6包括圖像數(shù)據(jù)讀取模塊16，用于讀取從全方位視覺傳感器傳過來的視頻圖像信息；圖像數(shù)據(jù)文件存儲模塊18，用于將讀取的視頻圖像信息通過文件方式保存在存儲單元中；現(xiàn)場實時播放模塊20，用于將讀取的視頻圖像實時播放；網(wǎng)絡(luò)傳輸模塊22，用于將讀取的視頻圖形信息通過通信模塊傳輸?shù)骄W(wǎng)絡(luò)；所述的監(jiān)控傳感器13是全方位視覺傳感器，所述的全方位視覺傳感器13包括用以反射監(jiān)控領(lǐng)域中物體的外凸折反射鏡面1、用以防止光折射和光飽和的黑色圓錐體2、透明圓柱體3、攝像裝置5的攝像頭4，所述的外凸折反射鏡面1位于透明圓柱體3的上方，外凸折反射鏡面1朝下，黑色圓錐體2固定在折反射鏡面1外凸部的中心，攝像頭4對著外凸反射鏡面朝上，所述的攝像頭4位于外凸反射鏡面1的虛焦點位置；所述的微處理器6還包括傳感器標(biāo)定模塊17，用于建立一種空間的道路圖像與所獲得的視頻圖像的對應(yīng)關(guān)系，在水平方向?qū)嵨飯D像坐標(biāo)與圖像左邊呈線性關(guān)系；虛擬檢測線設(shè)定模塊23，用于建立若干條虛擬檢測線，通過所述空間道路平面圖像與所獲得的視頻圖像的對應(yīng)關(guān)系可以對應(yīng)成在實際道路上的檢測線；圖像展開處理模塊19，用于將讀取的圓形視頻圖像展開為全景柱狀圖；色彩空間轉(zhuǎn)化模塊25，用于將交通圖像RGB色彩空間轉(zhuǎn)換到Y(jié)UV空間；車輛判斷模塊29，用于通過統(tǒng)計檢測線區(qū)域內(nèi)的灰度變化情況來確定目標(biāo)車輛進入或離開檢測線；基于YUV模型的車輛判斷模塊，用于利用YUV顏色空間特征，將前后關(guān)聯(lián)幀中的色彩值進行比較來進行識別出車輛信息將虛擬檢測線分成均勻的N段，每段長度與最小車輛的幾何尺度有關(guān)，設(shè)最小車輛長度為Carwmin，分段數(shù)為Snum，檢測線總長度M，最小檢測基元大小可以由式(23)、(24)表示；BL=CarwminSnum---(23)]]>N=MBL---(24)]]>對于每一個均勻分割的N段中的一個子段利用式(25)來進行判斷， PS=Σt=0NDS(i)]]>式中T2為區(qū)別車輛信號和背景信號分量變化的閾值；SD為幀差累積平均值，計算公式如下(26)，SD=Σi=0i=n-1|Ic(i)-IB(i)|2n---(26)]]>式中Ic(i)為當(dāng)前幀第i個像素點顏色值，而IB(i)為背景幀第i個像素所對應(yīng)的顏色值；
如果PS＞Carwmin/2，判斷車輛存在，否則判斷車輛不存在；車速檢測模塊32，用于根據(jù)車輛檢測的前后關(guān)聯(lián)幀中的一系列數(shù)值通過最小二乘法計算車輛速度，根據(jù)標(biāo)定關(guān)系轉(zhuǎn)化為實際道路上的車輛速度假設(shè)車輛行駛在監(jiān)視范圍內(nèi)是勻速的，用式(28)表示車輛的運動距離與時間的關(guān)系，li＝α+βti+εi(28)上式中，被監(jiān)視車輛移動軌跡檢測值li表示i幀圖像與(i+1)幀圖像之間車輛所移動的距離，ti表示i幀圖像與(i+1)幀圖像之間車輛移動距離所花費的時間，i為自然數(shù)；采用最小二乘法計算式(28)中的未知參數(shù)(α，β)的估計值 使公式(29)取值為最小Σi=1n(li-α^-β^ti)2=minα,βΣi=1n(li-α-βti)2---(29)]]>利用偏微分方法求解估計值 為車輛車速估計值，如式(30)表示；β^=Σi=1n(ti-t‾)(li-l‾)Σi=1n(ti-t‾)---(30)]]>上式中，t，l分別為時間與距離的均值。
本實施例中全方位視覺裝置安裝在離路面高度3米之處，監(jiān)視著道路水平方向上的車況，因此在設(shè)計全方位視覺裝置的折反射鏡面時要保證在水平方向上的不變形，如圖1所示，攝像頭的投影中心C在道路水平場景上方距離水平場景h處，反射鏡的頂點在投影中心上方，距離投影中心zo處。以攝像頭投影中心為坐標(biāo)原點建立坐標(biāo)系，反射鏡的面形用z(X)函數(shù)表示。在像平面內(nèi)距離像中心點ρ的像素q接受了來自水平場景O點(距離Z軸d)，在反射鏡M點反射的光線。水平場景無畸變要求場景物點的水平坐標(biāo)與相應(yīng)像點的坐標(biāo)成線性關(guān)系；d(ρ)＝αρ (1)式(1)中ρ是與反射鏡的面形中心點的距離，α為成像系統(tǒng)的放大率。
結(jié)合圖1并參照圖2，本發(fā)明的全方位視覺功能的配件的結(jié)構(gòu)為折反射面鏡1、黑色圓錐體2、透明外罩圓柱體3、底座9所組成，所述的折反射面鏡1位于圓柱體3的上端，且反射鏡面的凸面伸入圓柱體內(nèi)向下；所述的黑色圓錐體2固定在折反射面鏡1的凸面的中心部；所述的折反射面鏡1、黑色圓錐體2、圓柱體3、底座9的旋轉(zhuǎn)軸在同一中心軸線上；所述的數(shù)碼攝像頭5位于圓柱體2內(nèi)的下方；所述的底座9上開有與所述的圓柱體2的壁厚相同的圓槽；所述的底座9上設(shè)有一個與數(shù)碼攝像裝置5的鏡頭4一樣大小的孔，所述的底座9的下部配置有嵌入式硬件和軟件系統(tǒng)6。
結(jié)合圖1并參照圖7，本發(fā)明所述的全方位攝像時數(shù)碼攝像裝置13通過USB接口14連接到車輛監(jiān)控裝置的微處理器15中，所述的微處理器15經(jīng)圖像數(shù)據(jù)讀入模塊16讀入圖像數(shù)據(jù)并進行圖像預(yù)處理，在初始化時為了得到無車輛時的初始環(huán)境圖像，需要將該圖像存入圖像數(shù)據(jù)存儲模塊18中以便后面的圖像識別及處理，同時為了識別車輛運動，需要對空間坐標(biāo)進行標(biāo)定得到全方位圖像系統(tǒng)的9個基本參數(shù)進行圖像識別及處理，對于這個處理在本發(fā)明中的傳感器標(biāo)定、虛擬檢測線設(shè)定模塊17中進行，這是一個用戶與系統(tǒng)進行對話的模塊，使用者可以根據(jù)實際情況通過對話窗口進行全方位圖像系統(tǒng)參數(shù)以及虛擬檢測線的設(shè)定。
全方位視覺攝像機視場距離的標(biāo)定涉及成像幾何的理論，將客觀世界的三維場景投射到攝像機的二維象平面，成像變換涉及不同坐標(biāo)系之間的變換。在攝像機的成像系統(tǒng)中，涉及到的有以下4個坐標(biāo)系；(1)現(xiàn)實世界坐標(biāo)系XYZ；(2)以攝像機為中心制定的坐標(biāo)系x＾y＾z＾；(3)像平面坐標(biāo)系，在攝像機內(nèi)所形成的像平面坐標(biāo)系x*y*o*；(4)計算機圖像坐標(biāo)系，計算機內(nèi)部數(shù)字圖像所用的坐標(biāo)系MN，以像素為單位。
根據(jù)以上幾個坐標(biāo)系不同的轉(zhuǎn)換關(guān)系，就可以得到所需要的全方位攝像機成像模型，換算出二維圖像到三維場景的對應(yīng)關(guān)系。本發(fā)明中采用折反射全方位成像系統(tǒng)的近似透視成像分析方法將攝像機內(nèi)所形成的像平面坐標(biāo)二維圖像換算到三維場景的對應(yīng)關(guān)系，圖3為一般的透視成像模型，d為物高，ρ為像高，t為物距，F(xiàn)為像距(等效焦距)?？梢缘玫绞?13)
d=tFρ---(13)]]>在上述水平場景無的折反射全方位成像系統(tǒng)的設(shè)計時，要求場景物點的水平坐標(biāo)與相應(yīng)像點的坐標(biāo)成線性關(guān)系，如式(1)表示；比較式(13)，(1)，可以看出水平場景無變形的折反射全方位成像系統(tǒng)對水平場景的成像為透視成像。因此就水平場景成像而言，可以將水平場景無變形的折反射全方位成像系統(tǒng)視為透視相機，α為成像系統(tǒng)的放大率。設(shè)該虛擬透視相機的投影中心為C點(見附圖3)，其等效焦距為F。比較式(13)，(1)式可以得到式(14)；α=tF;t=h---(14)]]>由式(12)、(14)得到式(15)F=fhωmax(z0-h)tgφmax+z0ωmax0---(15)]]>根據(jù)上述全方位攝像機成像模型進行系統(tǒng)成像模擬，由攝像頭投影中心發(fā)出的經(jīng)過像素平面內(nèi)等間距像素點的光線族反射后，在距離投影中心3m的水平道路面上的交點基本上是等間距的，如附圖4所示。因此根據(jù)上述設(shè)計原理本專利中將道路水平面的坐標(biāo)與相應(yīng)全方位像點的坐標(biāo)之間的關(guān)系簡化為線性關(guān)系，也就是說通過反射鏡面的設(shè)計將現(xiàn)實世界坐標(biāo)系XYZ到像平面坐標(biāo)系的轉(zhuǎn)化可以用放大率α為比例的線形關(guān)系。下面是從像平面坐標(biāo)系到計算機內(nèi)部數(shù)字圖像所用的坐標(biāo)系的轉(zhuǎn)化，計算機中使用的圖像坐標(biāo)單位是存儲器中離散像素的個數(shù)，所以對實際像平面的坐標(biāo)還需取整轉(zhuǎn)換才能映射到計算機的成像平面，其變換表達式為由式(16)給出；M=Om-x*Sx;]]>N=On-y*Sy;---(16)]]>式中Om、On分別為象平面的原點在計算機圖像平面上所映射的點像素所在的行數(shù)和列數(shù)；Sx、Sy分別為在x和y方向上的尺度因子。Sx、Sy的確定是通過在攝像頭與反射鏡面之間距離Z處放置標(biāo)定板，對攝像機進行標(biāo)定得到Sx、Sy的數(shù)值，單位是(pixel)；Om、On。的確定是根據(jù)所選擇的攝像頭分辨率像素，單位是(pixel)。
進一步，在所述的車速的測量和車流量的統(tǒng)計首先要對攝像機視場內(nèi)的通行車輛進行識別，車輛通過視場時，本發(fā)明中采用事先預(yù)置的虛擬檢測觸發(fā)器，就啟動系統(tǒng)開始記錄個數(shù)和車輛通過的時刻，然后計算通行車輛的速度。所述的虛擬檢測觸發(fā)器可以通過在計算機的內(nèi)存中通過設(shè)置幾條線的方式來實現(xiàn)，在傳感器標(biāo)定、虛擬檢測線設(shè)定模塊17中進行，圖5表示的是全方位視覺裝置安裝在道路中間綠化帶離地面高度3m的情況，共監(jiān)視兩邊6條車道上所通過的車輛，由于本發(fā)明中采用了水平方向無變形設(shè)計，因此可以從現(xiàn)實道路情況來進行分析。圖5中三條豎著的虛線為虛擬檢測線。
進一步，根據(jù)用戶的需要可以控制是否要進行圖像展開，所述的圖像展開處理計算是在圖像展開處理模塊19中進行的，該模塊的作用是將一幅幅圓形全方位圖展開成相對應(yīng)矩形柱狀全景圖，展開后的圖形具有容易計算、變形小等優(yōu)點。根據(jù)圓形全方位圖像上的一個點(x*，y*)和矩形柱狀全景圖上的一個點(x**，y**)的對應(yīng)關(guān)系，建立(x*，y*)與(x**，y**)的映射矩陣。由于這種一一對應(yīng)關(guān)系，通過映射矩陣方法能把轉(zhuǎn)變成不變形的全景圖像。通過M映射矩陣可以建立起式(21)關(guān)系。
P**(x**，y**)←M×P*(x*，y*)(21)根據(jù)式(21)，對于成像平面上的每個像素P*(x*，y*)在全方位圖像上有一個點P**(x**，y**)對應(yīng)，建立了M映射矩陣后，實時圖像處理的任務(wù)可以得到簡化。每次在成像平面上得到的變形的全方位圖像完成查表運算，生成不變形的全方位圖像；生成后的不變形的全方位圖像發(fā)送給實時播放模塊20送到顯示器21上顯示；如果用戶需要知道現(xiàn)場實時情況可以通過網(wǎng)絡(luò)傳輸模塊22得到現(xiàn)場全方位圖像。
在車輛檢測、車速檢測處理中，主要由虛擬檢測線設(shè)定模塊23、色彩空間轉(zhuǎn)化模塊25、基于灰度直方圖的車輛判斷模塊29、基于YUV模型的車輛判斷模塊28、背景刷新處理模塊30、陰影檢測處理模塊31、車速檢測模塊32和啟動車輛超速處理模塊34等構(gòu)成；
所述的虛擬檢測觸發(fā)器動作檢測模塊主要利用道路路面的呈黑灰白之間其像素灰度Gb的分布是均勻的，而在道路上行駛的車輛由于光照和車輛外殼制造材料等原因，構(gòu)成車輛的像素灰度Gv與背景路面的像素灰度Gb有一個差值，當(dāng)車輛進入到虛擬檢測線區(qū)域內(nèi)的像素灰度分布會發(fā)生變化，能使得灰度分布范圍擴大，這時虛擬檢測觸發(fā)器動作表明有車進入虛擬檢測線區(qū)域內(nèi)；所述的色彩空間轉(zhuǎn)化模塊主要完成交通圖像RGB色彩空間到Y(jié)UV空間的轉(zhuǎn)化，為車輛檢測和背景提取做準(zhǔn)備工作，YUV顏色模型是一種常用的顏色模型，其基本特征是將亮度信號與顏色信號分離，Y代表亮度，U、V是兩個彩色分量，表示色差，一般是藍，紅色的相對值，由于人眼對亮度的變化比對顏色的變化敏感，因此，YUV模型中Y分量的值所占帶寬大于等于彩色分量所占帶寬YUV與RGB模型之間的線形關(guān)系如公式(22)給出，Y＝0.301*R+0.586*G+0.113*BU＝-0.301*R-0.586*G+0.887*B (22)V＝0.699*R-0.586*G-0.113*B所述的基于灰度直方圖的車輛判斷模塊是通過統(tǒng)計檢測線區(qū)域內(nèi)的灰度變化情況來確定目標(biāo)車輛進入或離開檢測線和計算其通過的時間來達到測量目的的，所述的像素灰度直方圖的灰度值分布在沒有車輛通過和有車輛會發(fā)生明顯的變化。圖像的灰度直方圖是對圖像的所有像素的灰度分布按灰度值的大小顯示其出現(xiàn)頻度的一種統(tǒng)計圖，本發(fā)明中使用二維坐標(biāo)系表示灰度直方圖，橫坐標(biāo)表示圖像的灰度級別，縱坐標(biāo)表示某一灰度級上的像素個數(shù)。通過比較灰度變化規(guī)律可以得到如下檢測車速的方法具體做法是首先設(shè)置一個灰度閾值TH，這個閾值位于Gb與Gv之間，通過統(tǒng)計從Gv到TH間的像素個數(shù)N的變化，就可以檢測運動目標(biāo)是否通過檢測線。當(dāng)沒有車輛通過時，檢測線區(qū)域內(nèi)的像素灰度分布集中，從Gv到TH間的像素個數(shù)較少，N值很小；當(dāng)有車輛通過檢測線時，運動目標(biāo)的灰度大部分分布在Gv到TH間，檢測線區(qū)域內(nèi)的像素分布范圍擴大，從Gv到TH間的像素個數(shù)增多，N值會增大到一個預(yù)先設(shè)定的值NTH(虛擬檢測線內(nèi)的像素個數(shù)×50％)，從而判定車輛是否通過檢測線。同理，當(dāng)N值減小到NTH時，就可以判定車輛已經(jīng)通過了檢測線；
所述的基于YUV模型的車輛判斷模塊是通過顏色特征來進行識別車輛，因為車輛是一個較大形體的目標(biāo)，檢測線上只有出現(xiàn)連續(xù)的超過一定數(shù)量的像素點變化時，才能判定有車壓線。為了與車輛形體大小產(chǎn)生關(guān)系，本發(fā)明中引入了最小車長的概念。最小車長是指最小長度車輛在視窗的檢測線附近，所展現(xiàn)的像素點長度。為提高系統(tǒng)的可靠性可以采用如下判斷方法如果檢測到至少有最小車長的1/N長度的連續(xù)像素群，則判定其為車輛壓線(其中N不能太大也不能太小，這里取N＝8)。為了達到上述的目的，將最小車長的1/N作為分段寬度，將檢測線分成長度均等的若干段。一旦發(fā)現(xiàn)檢測線上至少有一段被檢測出有運動物體，即認為有車存在。
進一步，將檢測線分成均勻的N段，每段長度與最小車輛的幾何尺度有關(guān)，例如最小車輛長度為Carwmin，分段數(shù)為Snum，而檢測線總長度M，附圖5中總長度M＝d1+d2。則最小檢測基元大小可以由式(23)、(24)表示；BL=CarwminSnum---(23)]]>N=MBL---(24)]]>對于每一個均勻分割的N段中的一個子段利用式(25)來進行判斷， PS=Σt=0NDS(i)]]>進一步，為了避免錯誤記數(shù)，將通過判斷檢測線上運動像素的總數(shù)是否超過最小車寬的一半來決定是否有車輛存在，即如果PS＞Carwmin，判斷車輛存在，否則車輛不存在。
本發(fā)明提出如下基于YUV模型的幀間像素差統(tǒng)計值作為模式特征指標(biāo)判斷每個像素上是否有車輛通過的準(zhǔn)則用式(26)來進行判斷
其中Y′=255YYB]]>YB為背景的平均亮度分量值，Y、U、V為像素色彩值。YT、UT、VT為閾值。
將上述車速檢測線與車輛邊緣交接處作為車速檢測的特征點，通過對該特征點的跟蹤，可以檢測到該點的移動軌跡，通過移動軌跡可以計算出車輛的行駛速度，當(dāng)式(26)判斷為有車輛通過時，開始跟蹤車速檢測特征點，接著沿車速檢測線的輔助檢測端到主檢測線，逐一比較各個像素值，比較準(zhǔn)則用公式(27)給出；|ft(x)-g(x)|＞T (27)式(27)中，x0≤x≤x0+M M為比較窗口，x為車速檢測線上的點，ft(x)為該區(qū)域中的所有像素的當(dāng)前色彩值，g(x)為該區(qū)域中的所有像素的背景色彩值，如果它們兩者之間的差大于T，開辟一個內(nèi)存來記錄該區(qū)域所有像素的顏色。
當(dāng)下一幀到來時，重新完成上述的跟蹤計算一次，然后將上次記錄在內(nèi)存中的區(qū)域色彩值與這一幀找到的色彩值進行比較，如果滿足公式(28)就認為車速跟蹤成功，繼續(xù)跟蹤直到車輛已被確定離去為止。當(dāng)速度檢測線首次檢測到車輛邊緣時，記錄車輛邊緣當(dāng)前位置，在后面檢測到車輛出現(xiàn)時，可根據(jù)車輛預(yù)測與實際檢測位置進行比較，超過一定閾值認為是跟蹤失敗，取消跟蹤；如成功的話利用該車車輛軌跡記錄，運用最小二乘法計算車輛速度。
所述的背景刷新模塊主要根據(jù)車輛檢測的結(jié)果和選定的背景刷新策略進行背景的更新，以適應(yīng)道路場景的動態(tài)變化。如上面所述，本發(fā)明中采用了Y、U、V顏色模型，因此背景刷新的是以Y、U、V顏色模型來進行的，首先要確定初始背景，用公式(31)來得到初始背景的各分量值；I0=1NΣk=1NIk(x)color---color=Y,U,V---(31)]]>式(31)中，N為經(jīng)驗值，Ik(x)color(color＝Y(jié)，U，V)表示第K幀圖像中x處的Y，U，V顏色分量值。接著用公式(32)進行背景刷新；
式(32)中，Bt(x)表示t時刻背景的Y、U、V分量值，It+Δt(x)表示t+Δt時刻背景的Y、U、V分量值，α為小于1的系數(shù)，根據(jù)實驗將該值取在0.1范圍左右比較好，在式(32)中還需要判斷是否是前景像素，本發(fā)明中采用如下的判斷標(biāo)準(zhǔn)當(dāng)滿足 時x處的像素為前景像素，否則為背景像素。
其中，UT、VT、YT為Y、U、V各分量的門限值。
所述的陰影判斷算法，由于在YUV色彩空間進行判斷，有陰影交通背景同無陰影背景相比，Y分量有較大的變化，而表征顏色信息U、V分量變化很小，因此可以把對陰影的考慮集中到Y(jié)分量中。具體做法是首先確定一個道路背景的標(biāo)準(zhǔn)光照強度值，作為標(biāo)準(zhǔn)基準(zhǔn)值。以后，每刷新一次背景都計算出道路的平均亮度值，然后用該值和標(biāo)準(zhǔn)基準(zhǔn)值相比較來確定目前的路面的相對光照強度；最后根據(jù)該相對值以及一個的預(yù)定的換算比例(經(jīng)驗值)，算出當(dāng)前道路背景與陰影的反差值，利用這個反差值最后就確定陰影的亮度范圍，進行陰影判斷。在Y分量比較大的情況下(晴天時)可采用計算機系統(tǒng)時間的輔助判斷方法，從季節(jié)陽光光照的規(guī)律也可以進一步確認是否是相鄰車道上行駛車輛所產(chǎn)生的陰影，從而能提高車輛判斷的可靠性。
所述的車速檢測模塊是利用了最小二乘法計算車輛速度，根據(jù)上述所得到車輛軌跡記錄用一個線形方程將其擬合，然后用斜率表示實際車輛速度，前提是假設(shè)車輛行駛在監(jiān)視范圍內(nèi)是勻速的，可以用式(28)表示車輛的運動距離與時間的關(guān)系，li＝α+βti+εi(28)式中，被監(jiān)視車輛移動軌跡檢測值li表示i一幀圖像與(i+1)一幀圖像之間車輛所移動的距離，ti表示i一幀圖像與(i+1)一幀圖像之間車輛移動距離所花費的時間，i＝1，2，3，…，n，本發(fā)明中采用最小二乘法來求式(28)中的未知參數(shù)(α，β)的估計值 使公式(29)取值為最?。?br> Σi=1n(li-α^-β^ti)2=minα,βΣi=1n(li-α-βti)2---(29)]]>然后利用偏微分方法求解估計值 值就是本發(fā)明要得到的車輛車速估計值，用公式(30)表示；β^=Σi=1n(ti-t‾)(li-l‾)Σi=1n(ti-t‾)---(30)]]>式(30)中t，l分別為時間與距離的均值。一般來說檢測距離越長所估算的速度值 越接近實際車輛速度值。將所估算得到的速度值 根據(jù)標(biāo)定關(guān)系轉(zhuǎn)化為實際道路上的車輛速度。
所述的啟動車輛超速處理模塊是根據(jù)上述車速檢測模塊捕捉到有違規(guī)車輛時，啟動一個事件線程將違規(guī)車輛的空間位置通過輸出接口發(fā)送給另一臺攝像機，該攝像機對著該違規(guī)車輛的后背部進行抓拍，以便對該車輛的牌照進行識別，同時將全方位攝像裝置捕捉到違規(guī)車輛的軌跡、時間信息保存起來，以便通過網(wǎng)絡(luò)發(fā)送給交警管理部門。
實施例2本實施例所述的道路監(jiān)控裝置根據(jù)室外使用的需要，考慮環(huán)境條件問題，比如日曬雨淋、飛揚的粉塵容易吸附在外罩上而使得傳入光線受到影響，因此本發(fā)明中對室外用(下固定式道路監(jiān)控裝置的上部加了一個防雨遮陽帽，將防雨遮陽帽用螺釘固定在外罩上，另外外罩采用有機玻璃材料壓注而成，底座采用鋁合金材料壓注而成，同時為了便于清潔和維護，室外用(下固定式)道路監(jiān)控裝置的裝卸要方便，整個道路監(jiān)控裝置固定在一個懸臂上，懸臂可以固定在道路上的電線桿或者高層建筑物的墻面上。
進一步，所述的微處理器6采用嵌入式處理器，本發(fā)明中采用EmbeddedLinux+Embedded linux這樣組合的軟件平臺，實驗中采用了基于三星公司的ARM9處理器S3C2410X板子，該板子上整合了MIZI公司所公布的免費嵌入式Arm-Linux操作系統(tǒng)，本發(fā)明將Wonka(Embedded JVM)移植到了嵌入式linux中，Wonka本身已經(jīng)帶有對串口、輸入設(shè)備的等驅(qū)動支持。選擇Java或者C語言來作為具有測速、車流量監(jiān)視功能的全方位視覺裝置的軟件開發(fā)語言，如要將Java程序運行在嵌入式linux上需要有嵌入式Java虛擬機(Embedded JVM)的支持，本發(fā)明中使用了自己移植成功的免費Java虛擬機。
上述的實施例1和實施例2所產(chǎn)生的發(fā)明效果是通過全方位的計算機視覺傳感器使得道路車輛監(jiān)控的范圍更寬廣，提供了一種全新的、維護成本低、維護方便、判斷更可靠的、可視化的道路監(jiān)控、車流視覺信息采集途徑方法與裝置。
權(quán)利要求
1.一種基于全方位視覺傳感器的道路監(jiān)控裝置，所述的道路監(jiān)控裝置包括微處理器、用于監(jiān)視道路情況的監(jiān)控傳感器，所述的微處理器包括圖像數(shù)據(jù)讀取模塊，用于讀取從全方位視覺傳感器傳過來的視頻圖像信息；圖像數(shù)據(jù)文件存儲模塊，用于將讀取的視頻圖像信息通過文件方式保存在存儲單元中；現(xiàn)場實時播放模塊，用于將讀取的視頻圖像實時播放；網(wǎng)絡(luò)傳輸模塊，用于將讀取的視頻圖形信息通過通信模塊傳輸?shù)骄W(wǎng)絡(luò)；其特征在于所述的監(jiān)控傳感器是全方位視覺傳感器，所述的全方位視覺傳感器包括用以反射監(jiān)控領(lǐng)域中物體的外凸折反射鏡面、用以防止光折射和光飽和的黑色圓錐體、透明圓柱體、攝像頭，所述的外凸折反射鏡面位于透明圓柱體的上方，外凸折反射鏡面朝下，黑色圓錐體固定在折反射鏡面外凸部的中心，攝像頭對著外凸反射鏡面朝上，所述的攝像頭位于外凸反射鏡面的虛焦點位置；所述的微處理器還包括傳感器標(biāo)定模塊，用于建立一種空間的道路圖像與所獲得的視頻圖像的對應(yīng)關(guān)系，在水平方向?qū)嵨飯D像坐標(biāo)與圖像坐標(biāo)呈線性關(guān)系；虛擬檢測線設(shè)定模塊，用于建立若干條虛擬檢測線，通過所述空間道路平面圖像與所獲得的視頻圖像的對應(yīng)關(guān)系可以對應(yīng)成在實際道路上的檢測線；圖像展開處理模塊，用于將讀取的圓形視頻圖像展開為全景柱狀圖；色彩空間轉(zhuǎn)化模塊，用于將交通圖像RGB色彩空間轉(zhuǎn)換到Y(jié)UV空間；車輛判斷模塊，用于通過統(tǒng)計檢測線區(qū)域內(nèi)的灰度變化情況來確定目標(biāo)車輛進入或離開檢測線；基于YUV模型的車輛判斷模塊，用于利用YUV顏色空間特征，將前后關(guān)聯(lián)幀中的色彩值進行比較來進行識別出車輛信息將虛擬檢測線分成均勻的N段，每段長度與最小車輛的幾何尺度有關(guān)，設(shè)最小車輛長度為Carwmin，分段數(shù)為Snum，檢測線總長度M，最小檢測基元大小可以由式(23)、(24)表示；BL=CarwminSnum----(23)]]>N=MBL-------(24)]]>對于每一個均勻分割的N段中的一個子段利用式(25)來進行判斷， PS=Σt=0NDS(i)]]>式中T2為區(qū)別車輛信號和背景信號分量變化的閾值；SD為幀差累積平均值，計算公式如下(26)SD=Σi=0i=n-1|Ic(i)-IB(i)|2n-------(26)]]>式中Ic(i)為當(dāng)前幀第i個像素點顏色值，而IB(i)為背景幀第i個像素所對應(yīng)的顏色值；如果PS＞Carwmin/2，判斷車輛存在，否則判斷車輛不存在；車速檢測模塊，用于根據(jù)車輛檢測的前后關(guān)聯(lián)幀中的一系列數(shù)值通過最小二乘法計算車輛速度，根據(jù)標(biāo)定關(guān)系轉(zhuǎn)化為實際道路上的車輛速度假設(shè)車輛行駛在監(jiān)視范圍內(nèi)是勻速的，用式(28)表示車輛的運動距離與時間的關(guān)系，li＝α+βti+εi(28)上式中，被監(jiān)視車輛移動軌跡檢測值li表示i幀圖像與(i+1)幀圖像之間車輛所移動的距離，ti表示i幀圖像與(i+1)幀圖像之間車輛移動距離所花費的時間，i為自然數(shù)；采用最小二乘法計算式(28)中的未知參數(shù)(α，β)的估計值 使公式(29)取值為最小Σi=1n(li-α^-β^ti)2=minα,βΣi=1n(li-α-βti)2------(29)]]>利用偏微分方法求解估計值 為車輛車速估計值，如式(30)表示；β^=Σi=1n(ti-t‾)(li-l‾)Σi=1n(ti-t‾)-------(30)]]>上式中，t，l分別為時間與距離的均值。
2.如權(quán)利要求1所述的基于全方位視覺傳感器的道路監(jiān)控裝置，其特征在于所述的車輛判斷模塊，用以設(shè)定道路路面呈黑灰白之間其像素灰度Gb的分布均勻，道路上行駛的車輛構(gòu)成的像素灰度Gv與背景路面的像素灰度Gb有一個差值，預(yù)設(shè)一個灰度閾值TH，Gv＜TH＜Gb，并設(shè)置檢測線區(qū)域內(nèi)的Gv到TH之間像素個數(shù)的臨界值NTH，并統(tǒng)計檢測線區(qū)域內(nèi)的Gv到TH之間像素個數(shù)如統(tǒng)計的個數(shù)小于臨界值NTH，判斷沒有車輛通過檢測線區(qū)域；如統(tǒng)計的個數(shù)增大到臨界值NTH，判斷車輛進入檢測線區(qū)域；如統(tǒng)計的個數(shù)減小到臨界值NTH，判斷車輛離開檢測線區(qū)域。
3.如權(quán)利要求1所述的基于全方位視覺傳感器的道路監(jiān)控裝置，其特征在于所述的微處理器還包括背景刷新模塊，用于根據(jù)車輛檢測的結(jié)果和選定的背景刷新策略進行背景更新，以適應(yīng)道路場景的動態(tài)變化，在Y、U、V顏色模型中，先要確定初始背景，初始背景的各分量值的計算式為(31)I0=1NΣk=1NIk(x)color----color=Y,U,V------(31)]]>上式中，N為經(jīng)驗值，Ik(x)color(color＝Y(jié)，U，V)表示第K幀圖像中x處的Y，U，V顏色分量值；判斷是否是前景像素的條件為 其中，UT、VT、YT為Y、U、V各分量的門限值；當(dāng)滿足上述條件時，x處的像素為前景像素，否則為背景像素；背景刷新的計算式為(32) 上式中，Bt(x)表示t時刻背景的Y、U、V分量值，It+Δt(x)表示t+Δt時刻背景的Y、U、V分量值，α為小于1的系數(shù)。
4.如權(quán)利要求1所述的基于全方位視覺傳感器的道路監(jiān)控裝置，其特征在于所述的微處理器還包括車速跟蹤模塊，用于基于YUV模型的幀間像素差統(tǒng)計值作為模式特征指標(biāo)判斷每個像素上是否有車輛通過的準(zhǔn)則用式(26)來進行判斷 Y′＝255/YB其中上式中，YB為背景的平均亮度分量值，Y、U、V為像素色彩值，YT、UT、VT為閾值；當(dāng)式(26)判斷為有車輛通過時，開始跟蹤車速檢測特征點，接著沿車速檢測線的輔助檢測端到主檢測線，逐一比較各個像素值，比較準(zhǔn)則用公式(27)給出；|ft(x)-g(x)|＞T (27)上式中，x0≤x≤x0+M M為比較窗口，x為車速檢測線上的點，ft(x)為該區(qū)域中的所有像素的當(dāng)前色彩值，g(x)為該區(qū)域中的所有像素的背景色彩值，T表示閾值；如果(27)成立，開辟一個內(nèi)存來記錄該區(qū)域所有像素的顏色，當(dāng)下一幀到來時，重新完成上述的跟蹤計算一次，然后將上次記錄在內(nèi)存中的區(qū)域色彩值與這一幀找到的色彩值進行比較，如果滿足公式(27)就認為車速跟蹤成功，繼續(xù)跟蹤直到車輛已被確定離去為止，并記錄車輛軌跡。
5.如權(quán)利要求1-4之一所述的基于全方位視覺傳感器的道路監(jiān)控裝置，其特征在于所述的圖像展開處理模塊，用于根據(jù)圓形全方位圖像上的一個點(x*，y*)和矩形全景圖上的一個點(x**，y**)的對應(yīng)關(guān)系，建立(x*，y*)與(x**，y**)的映射矩陣，通過M映射矩陣建立關(guān)系式(21)P**(x**，y**)←M×P*(*，y*) (21)上式中，P*(x*，y*)為成像平面上的每個像素矩陣，P**(x**，y**)為全方位圖像上每個點對應(yīng)的矩陣，M為映射矩陣。
6.如權(quán)利要求1-4之一所述的基于全方位視覺傳感器的道路監(jiān)控裝置，其特征在于所述的色彩空間轉(zhuǎn)化模塊，從RGB色彩空間轉(zhuǎn)換到Y(jié)UV空間的關(guān)系式為式(22)Y＝0.301*R+0.586*G+0.113*BU＝-0.301*R-0.586*G+0.887*B (22)V＝0.699*R-0.586*G-0.113*B上式中，Y代表YUV顏色模型的亮度，U、V是YUV顏色模型的兩個彩色分量，表示色差；R表示RGB色彩空間的紅色；G表示RGB色彩空間的綠色；B表示RGB色彩空間的藍色。
全文摘要
一種基于全方位視覺傳感器的道路監(jiān)控裝置，包括微處理器、用于監(jiān)視道路情況的監(jiān)控傳感器，監(jiān)控傳感器為全方位視覺傳感器，通過視覺傳感器對道路中行駛的車輛進行監(jiān)視，將攝取的連續(xù)全方位圖像輸入計算機，通過圖像預(yù)處理、色彩空間轉(zhuǎn)化、車輛檢測、車速檢測和背景刷新等算法達到對道路上的車速進行測量和車流量的統(tǒng)計。全方位視覺傳感器能把一個半球視野中的信息壓縮成一幅圖像，信息量更大；獲取一個場景圖像時，在場景中的安放位置更加自由；監(jiān)視環(huán)境時不用瞄準(zhǔn)目標(biāo)；檢測和跟蹤監(jiān)視范圍內(nèi)的運動物體時算法更加簡單；可以獲得場景的實時圖像。本發(fā)明提供一種安裝位置自由、算法簡單、實時性強的基于全方位視覺傳感器的道路監(jiān)控裝置。
文檔編號H04N7/18GK1804927SQ20051006230
公開日2006年7月19日 申請日期2005年12月28日 優(yōu)先權(quán)日2005年12月28日
發(fā)明者湯一平, 葉永杰, 金順敬, 顧校凱, 高飛 申請人:浙江工業(yè)大學(xué)