專利名稱：基于計(jì)算機(jī)視覺的違章停車檢測裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于全方位視覺傳感器技術(shù)、計(jì)算機(jī)視覺技術(shù)、圖像識別技術(shù)和網(wǎng)絡(luò)通信技術(shù)在違章停車檢測方面的應(yīng)用涉及，尤其是一種違章停車檢測裝置。

背景技術(shù)：
隨著我國國民經(jīng)濟(jì)的快速發(fā)展，機(jī)動車數(shù)量的激增，導(dǎo)致了交通需求增長過快而引發(fā)的諸如交通阻塞等一系列問題，其中機(jī)動車違法停車現(xiàn)象是造成交通阻塞的一個(gè)重要因素。
據(jù)交管部門調(diào)查，機(jī)動車違法停車主要有五大危害一是違法停車成交通擁阻源頭。二是違法停車成刮蹭交通事故禍?zhǔn)住?jù)統(tǒng)計(jì)，因違法停車引發(fā)的車輛刮蹭事故占這類事故的38％。三是違法停車成被盜目標(biāo)。四是違法停車成亂鳴號和車輛逆行誘因。五是違法停車成人行道通行障礙。
關(guān)于對違法停車進(jìn)行處罰涉及的法律主要是《行政處罰法》和2004年5月施行的《道路交通安全法》。《道路交通安全法》有三個(gè)條款對違法停車進(jìn)行了規(guī)定。摘要如下56條“機(jī)動車應(yīng)當(dāng)在規(guī)定地點(diǎn)停放。禁止在人行道上停放機(jī)動車；但是，依照本法第三十三條規(guī)定施劃的停車泊位除外。在道路上臨時(shí)停車的，不得妨礙其他車輛和行人通行。”33條“在城市道路范圍內(nèi)，在不影響行人、車輛通行的情況下，政府有關(guān)部門可以施劃停車泊位?！?3條“對違反道路交通安全法律、法規(guī)關(guān)于機(jī)動車停放、臨時(shí)停車規(guī)定的，可以指出違法行為，并予以口頭警告，令其立即駛離。機(jī)動車駕駛?cè)瞬辉诂F(xiàn)場或者雖在現(xiàn)場但拒絕立即駛離，妨礙其他車輛、行人通行的，處二十元以上二百元以下罰款。
目前的處理方式是，機(jī)動車違法臨時(shí)停車，交警或城管人員將依法指出違法并予以口頭警告，責(zé)令違法停車人立即駛離；違法停車人拒絕立即駛離或拒不駛離，交警可現(xiàn)場給予處罰；機(jī)動車違法臨時(shí)停車駕駛?cè)瞬辉诂F(xiàn)場，交警將采取攝錄取證方式處罰，執(zhí)法交警離開攝錄現(xiàn)場前，違法停車人返回且認(rèn)可違法事實(shí)、愿意接受處罰，交警可當(dāng)場處罰；交警對違法臨時(shí)停車人不在現(xiàn)場采取攝錄取證方式處罰時(shí)，應(yīng)填寫《違法停車處理通知單》夾放在機(jī)動車前風(fēng)擋玻璃雨刷器下，選擇適當(dāng)角度拍攝顯示機(jī)動車牌號、已被放置《違法停車處理通知單》、違法停放地點(diǎn)禁停標(biāo)志或能明確違法停放地點(diǎn)標(biāo)志性物體、拍攝日期和時(shí)間等畫面照片，并應(yīng)及時(shí)將拍攝取證資料交交警支隊(duì)保存并據(jù)此對違法停車行為人實(shí)施處罰；交警攝錄取證資料交交警支隊(duì)前，違法停車行為人已到交警支隊(duì)接受處罰并對違法事實(shí)無異議，可根據(jù)《違法停車處理通知單》處罰；違法停車行為人對交通違法事實(shí)有異議，交管部門應(yīng)告知當(dāng)事人待攝錄資料錄入系統(tǒng)后再接受違法行為處理。違法停車處罰標(biāo)準(zhǔn)為依據(jù)《道路交通安全法》規(guī)定，違法停放機(jī)動車適用非現(xiàn)場處罰，對司機(jī)或機(jī)動車所有人處200元罰款并記2分；違法臨時(shí)停車，司機(jī)拒不駛離，可適用現(xiàn)場處罰對司機(jī)處200元罰款并記2分；對非機(jī)動車違法停車行為人或車輛所有人予以警告或處20元罰款。
但是目前的違章停車處理執(zhí)法在技術(shù)方面存在著一些弊病，造成了政府執(zhí)法與群眾違法行為之間的對立，產(chǎn)生了社會的不和諧，引起了社會的高度關(guān)注。有些人提出“交通執(zhí)法的目的是為了引導(dǎo)市民遵守交通規(guī)則，應(yīng)以批評教育為主、處罰為輔，不能以罰代管，把罰款當(dāng)做創(chuàng)收手段?！庇钟行┤颂岢鰧Τ醮屋p微違章者，應(yīng)以批評教育和警告為主；對第二次輕微違章者，可嘗試罰款一半；對第三次輕微違章者，再全額罰款?！白岏{駛員感受到執(zhí)法者確實(shí)是為了維護(hù)交通秩序，而不是為了創(chuàng)收?！钡且獙?shí)現(xiàn)這個(gè)目標(biāo)很大程度上需要高新技術(shù)手段的支撐。
首先執(zhí)法者與停車違法者的主體都是人，面對著執(zhí)法者每天24小時(shí)監(jiān)視是否有違章停車不是一件容易的事，另外執(zhí)法者違法停車處理中要使得對停車違法者處理結(jié)果心服、口服，按照這種人性化的處理方式需要執(zhí)法者極大的努力與耐心，往往會超過執(zhí)法者的工作極限；另一方面，停車違法者心痛錢是一方面，更主要的是不理解交警的這種執(zhí)法方式。不少人認(rèn)為執(zhí)法人員的執(zhí)法行為存在多處程序違法一、法律沒有禁止的，就是允許的，自己停放車輛處沒有明顯的禁停標(biāo)志，自己在那里停車無過錯(cuò)；二，即使自己屬亂停車輛，執(zhí)法局在處罰過程中也應(yīng)按法定程序處理。上述問題的焦點(diǎn)是執(zhí)法人員和被處罰的當(dāng)事人的某一方缺位時(shí)所引起的；而每個(gè)違章停車事件發(fā)生時(shí)，要求執(zhí)法者與停車違法者都在現(xiàn)場，操作上是難以實(shí)現(xiàn)的。這里就需要一個(gè)中間代理，使得執(zhí)法者與試圖違章停車者之間的信息對稱。當(dāng)試圖違章停車者想停放車輛時(shí)中間代理能及時(shí)告知司機(jī)該處是不能停放車輛的，使得司機(jī)有知情權(quán)；中間代理繼續(xù)監(jiān)視，如果檢測到該被告知司機(jī)仍然無視勸告進(jìn)行違章停車，中間代理就進(jìn)行取證，以便后面根據(jù)事實(shí)進(jìn)行處罰，同時(shí)在檢測到有違章停車的第一時(shí)間內(nèi)各種網(wǎng)絡(luò)手段通知執(zhí)法人員盡快進(jìn)行處理，由于有了違章停車證據(jù)，即使執(zhí)法人員不在現(xiàn)場的情況下，也能由中間代理維護(hù)交通秩序，同時(shí)在技術(shù)手段上可保證給被處罰的司機(jī)有陳述和申辯機(jī)會。


發(fā)明內(nèi)容
為了克服目前處理違章停車時(shí)主要依靠人工、工作強(qiáng)度大、檢測范圍較小、效率低的不足，本發(fā)明提供一種減少違章停車執(zhí)法人員的工作強(qiáng)度、實(shí)現(xiàn)違章停車的實(shí)時(shí)自動檢測、檢測方位廣、效率高的基于計(jì)算機(jī)視覺的違章停車檢測裝置。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是 一種基于計(jì)算機(jī)視覺的違章停車檢測裝置，包括用于獲取監(jiān)控區(qū)域的視頻圖像的全方位視覺傳感器、用于抓拍違章停車車輛詳細(xì)局部信息的快速球攝像機(jī)以及用于對視頻圖像進(jìn)行理解分析并進(jìn)行違章停車檢測的微處理器，所述的全方位視覺傳感器和快速球攝像機(jī)通過視頻卡與微處理器連接，所述的全方位視覺傳感器包括用于反射監(jiān)測領(lǐng)域中物體的外凸折反射鏡面，外凸折反射鏡面朝下，用于支撐和保護(hù)外凸折反射鏡面的透明圓型體，用于拍攝外凸反射鏡面上成像體的攝像頭，攝像頭對著外凸反射鏡面朝上，所述攝像頭位于所述外凸折反射鏡面的虛焦點(diǎn)；所述的微處理器包括 視頻圖像數(shù)據(jù)讀取模塊，用于讀取從全方位視覺傳感器傳過來的視頻圖像信息；違章停車監(jiān)控領(lǐng)域定制模塊，用于定制視頻監(jiān)控違章車輛的監(jiān)控范圍； 全方位視覺傳感器標(biāo)定模塊，用于建立一種空間的實(shí)物圖像與所獲得的視頻圖像的對應(yīng)關(guān)系； 視頻數(shù)據(jù)融合模塊，用于控制快速球視覺傳感器的轉(zhuǎn)動與調(diào)焦，使得快速球視覺傳感器能對準(zhǔn)跟蹤的車輛進(jìn)行特寫抓拍，以全方位視覺傳感器獲取的全景圖像中心為圓心，根據(jù)分辨需要將全景圖像分成圓環(huán)，根據(jù)全方位視覺傳感器距監(jiān)控場景地面的高度、快速球視覺傳感器空間位置和攝像頭焦距等參數(shù)，依次確定快速球視覺傳感器要檢測的區(qū)域所需要水平、垂直旋轉(zhuǎn)的角度以及焦距； 車輛進(jìn)入監(jiān)控范圍檢測模塊，用于當(dāng)檢測到有車輛進(jìn)入定制的監(jiān)控范圍后，系統(tǒng)自動產(chǎn)生一個(gè)事件，系統(tǒng)每自動產(chǎn)生一個(gè)事件時(shí)都會有調(diào)用相應(yīng)的處理模塊；車輛ID號以及存放跟蹤車輛圖像文件夾的自動生成模塊，用于剛進(jìn)入定制的監(jiān)控范圍的車輛對象進(jìn)行命名，并同時(shí)生成一個(gè)以該車輛ID號命名的文件夾，用于存放該車輛的特寫圖像； 多目標(biāo)跟蹤模塊，用于跟蹤進(jìn)入監(jiān)控領(lǐng)域內(nèi)的車輛對象； 違章停車檢測模塊，用于檢測已經(jīng)停放在監(jiān)控范圍內(nèi)的車輛對象，包括有 邊緣檢測單元，用于采用微分算子法，對圖像進(jìn)行微分運(yùn)算求得梯度來進(jìn)行邊緣檢測，從邊緣點(diǎn)往往對應(yīng)于一階微分幅值大的點(diǎn)，同時(shí)也對應(yīng)于二階微分的零交叉點(diǎn)出發(fā)，設(shè)定一階或二階微分算子求得其梯度或二階導(dǎo)數(shù)過零點(diǎn)，再選擇閾值提取邊界； 圖像預(yù)處理單元，用于對圖像進(jìn)行邊緣抽取、二值化、將輪廓連成閉合曲線并對曲線內(nèi)區(qū)域進(jìn)行白像素填充； 模板匹配單元，用于將所要檢測的車體的樣板與監(jiān)控場景中所有位置的物體進(jìn)行比較，考察是否存在與車體的樣板相匹配的物體；對于一個(gè)空間離散化為M*N的圖像，設(shè)i，j為離散化的監(jiān)控場景中的各像素坐標(biāo)，f(i，j)為坐標(biāo)為(i，j)的像素的灰度值，根據(jù)上述的不變矩的概念和求取方法，按照離散化的數(shù)字圖像的處理方法，則圖像場景中物體的“中心矩”可由下列雙重求和形式來逼近，用公式(23)表示， 其中 進(jìn)行歸一化處理，可得歸一化不變中心矩為ηpq＝Dpq/D00，r＝(p+q)/2+1； 設(shè)p+q＜2，則導(dǎo)出兩個(gè)RST不變的中心矩函數(shù)用公式(24)表示， 1＝η20+η02 2＝(η20-η02)2+4η112(24) 將監(jiān)控場景的物體與模板的中心不變矩比較，并取相差值小于閾值，初步認(rèn)為是模板所表示的物體；然后將模板的形心與場景中物體的形心坐標(biāo)重合； 利用坐標(biāo)的旋轉(zhuǎn)變換來確定場景中物體對應(yīng)的旋轉(zhuǎn)角度，縮放和旋轉(zhuǎn)采用的算法分別為 縮放算法 x2＝N(x1-x0)+x0 (25) y2＝N(y1-y0)+y0 旋轉(zhuǎn)算法 x2＝(x1-x0)cosθ+(y1-y0)sinθ+x0 ( 26) y2＝(y1-y0)cosθ+(x1-x0)sinθ+y0 以上兩組式中對模板的邊緣輪廓點(diǎn)進(jìn)行縮放和旋轉(zhuǎn)處理，之后還需鏈接及閉合曲線內(nèi)像素填充，式中(x2，y2)為像素的新坐標(biāo)；(x1，y1)為原坐標(biāo)；(x0，y0)為物體的形心坐標(biāo)；N為縮放系數(shù)；θ為旋轉(zhuǎn)的角度； 將上述兩幅已經(jīng)對準(zhǔn)的二值圖像進(jìn)行“異或”操作，以剩余像素與預(yù)設(shè)的閾值比較，如小于預(yù)設(shè)的閾值，判定物體為模板所示車體以及車輛的類型； 車輛整體圖像定位抓拍模塊，用于定位抓拍車輛的整體圖像； 車輛車牌定位抓拍模塊，用于定位車輛的定位該車輛的懸掛車牌位置并對該位置進(jìn)行抓拍車牌的圖像； 車牌識別模塊，用于識別違章車輛的車牌號； 警示語生成與播放單元，用于警示違章停車司機(jī)不要違章停車； 違章記錄生成單元，用于在警示后超過設(shè)定的時(shí)間，車輛處于違章停車位置，自動生成一條違章記錄，并存儲違章車輛的圖像和車牌號碼。
作為優(yōu)選的一種方案所述的微處理器還包括檢測結(jié)果確認(rèn)、更改、補(bǔ)全模塊，用于確認(rèn)車牌號識別是否正確、更改識別錯(cuò)誤的識別結(jié)果、補(bǔ)全沒有識別的車牌號。
作為優(yōu)選的再一種方案所述的微處理器還包括網(wǎng)絡(luò)傳輸模塊，用于將所檢測到的車輛違章停車過程的視頻圖像、抓拍的違章車輛整體圖像以及相關(guān)的違章記錄通過網(wǎng)絡(luò)發(fā)送給執(zhí)法部門。
作為優(yōu)選的另一種方案所述的微處理器還包括實(shí)時(shí)播放模塊，用于將所檢測到的違章停車事件的相關(guān)視頻圖像、抓拍圖像通過該模塊播放到顯示設(shè)備。
進(jìn)一步，在所述的多目標(biāo)跟蹤模塊中，將監(jiān)控場景中把前景車輛的像素點(diǎn)提取出來，包括有 自適應(yīng)背景消減單元，用于采用基于混合高斯分布模型的自適應(yīng)背景消除算法，針對圖像的YCrCb顏色空間中的亮度值Y分量進(jìn)行檢測，對每個(gè)圖像點(diǎn)采用了多個(gè)高斯模型的混合表示，設(shè)用來描述每個(gè)點(diǎn)顏色分布的高斯分布共有K個(gè)，分別標(biāo)記為(27) η(Yt，μt，i，∑t，i)，i＝1，2，3…，k(27) 式(27)中的下標(biāo)t表示時(shí)間； 各高斯分布分別具有不同的權(quán)值和優(yōu)先級，再將K個(gè)背景模型按照優(yōu)先級從高到低的次序排序，取定適當(dāng)?shù)谋尘澳Ｐ蜋?quán)值和閾值，在檢測前景點(diǎn)時(shí)，按照優(yōu)先級次序?qū)t與各高斯分布模型逐一匹配，若匹配，則判定該點(diǎn)可能為前景點(diǎn)，否則為前景點(diǎn)；若某個(gè)高斯分布與Yt匹配，則對該高斯分布的權(quán)值和高斯參數(shù)按設(shè)定的更新率進(jìn)行更新； 陰影抑制單元，用于處理自適應(yīng)背景消減單元所得到的前景目標(biāo)中的陰影區(qū)域，先學(xué)習(xí)監(jiān)控場景的地面的顏色分量CrCb和亮度分量Y，當(dāng)碰到前景點(diǎn)時(shí)，判斷該點(diǎn)的顏色分量CrCb是否和監(jiān)控場景的地面相近，亮度分量Y是否比監(jiān)控場景的地面低，判斷算法由公式(28)表示 式(28)中標(biāo)記0的點(diǎn)屬于陰影，標(biāo)記1的點(diǎn)屬于前景，abs表示求其絕對值，Cr是該點(diǎn)的Cr顏色分量，Cb是該點(diǎn)的Cb顏色分量，RoadCr表示監(jiān)控區(qū)域的Cr顏色分量，RoadCb是道路的Cb顏色分量，threshold表示設(shè)置的閾值； 連通區(qū)域標(biāo)識單元，用于采用八連通區(qū)域提取算法得到車輛的大小和形狀信息； 車輛對象跟蹤單元，用于在監(jiān)控場景中提取出前景車輛對象后，采用基于目標(biāo)顏色特征跟蹤算法，利用車輛目標(biāo)對象的顏色特征在視頻圖像中找到車輛目標(biāo)對象所在的位置和大小，在下一幀視頻圖像中，用車輛目標(biāo)當(dāng)前的位置和大小初始化搜尋窗口，重復(fù)這個(gè)過程來實(shí)現(xiàn)對車輛目標(biāo)的連續(xù)跟蹤。
再進(jìn)一步，所述的車牌識別模塊包括車牌圖像預(yù)處理單元，用于對原始圖像進(jìn)行各種區(qū)域處理，在首先對車牌圖像進(jìn)行灰度拉伸，采用全局閾值化方法對圖像進(jìn)行二值化處理，接著對其采用中值濾波； 車牌定位單元，用于在整幅車牌圖像中對車牌進(jìn)行水平與垂直投影定位車牌，根據(jù)牌照特征對車輛整體圖像中的有可能存在牌照的地方進(jìn)行粗檢測，如果發(fā)現(xiàn)有類似牌照則進(jìn)行定位，反之要求系統(tǒng)重新抓拍車輛圖像； 車牌字符分割單元，用于將車牌字符分割成單一字符，采用字符垂直投影直方圖與車牌字符先驗(yàn)寬度信息相結(jié)合進(jìn)行分割； 歸一化處理單元，用于車牌特征提取與識別，將字符變化為統(tǒng)一的大小格式，采用鄰近插值的歸一化方法； 提取特征單元，用于后期的字符識別，從圖像中提取各種能夠區(qū)分不同字符種類的數(shù)學(xué)特征，采用PCA方法進(jìn)行字符特征提取，并用RS對特征進(jìn)行約簡，將約簡后的特征送入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練； 字符識別單元，用于對分割后的車牌字符進(jìn)行識別，考采用多級多分類器，將模板匹配與神經(jīng)網(wǎng)絡(luò)相結(jié)合，采用數(shù)字、字母、數(shù)字字母混合及漢字識別分類器進(jìn)行識別。
本發(fā)明的技術(shù)構(gòu)思為圖像處理與計(jì)算機(jī)視覺是一個(gè)不斷發(fā)展的新技術(shù)，原則上采用計(jì)算機(jī)視覺進(jìn)行觀測有四個(gè)目的，即預(yù)處理、最底層的特征提取、中級特征的辯識以及通過圖像對高級情景的解釋。一般來說，計(jì)算機(jī)視覺包括主要特征、圖像處理以及圖像理解。圖像是人類視覺的延伸。通過機(jī)器視覺，可以立即準(zhǔn)確地把握是否有違章停車事件的發(fā)生。圖像檢測快速性的基礎(chǔ)是視覺所接受的信息以光為傳播媒介；而圖像信息的豐富和直觀，是其它目前各種探測技術(shù)均不能提供如此豐富和直觀的信息。目前在一些發(fā)達(dá)城市中已經(jīng)大量使用攝像裝置來進(jìn)行道路監(jiān)控以及治安監(jiān)控，但是這些大量的視頻海量數(shù)據(jù)都還沒有得到充分的利用，僅僅是充當(dāng)了一個(gè)遠(yuǎn)程監(jiān)視眼的作用，缺乏人工智能等高新技術(shù)的支持，沒有充當(dāng)起智能中間代理的角色。
近年發(fā)展起來的全方位視覺傳感器ODVS(OmniDirectional Vision Sensors)為實(shí)時(shí)獲取場景的全景圖像提供了一種新的解決方案。ODVS的特點(diǎn)是視野廣(360度)，能把一個(gè)半球視野中的信息壓縮成一幅圖像，一幅圖像的信息量更大；獲取一個(gè)場景圖像時(shí)，ODVS在場景中的安放位置更加自由；監(jiān)視環(huán)境時(shí)ODVS不用瞄準(zhǔn)目標(biāo)；檢測和跟蹤監(jiān)視范圍內(nèi)的運(yùn)動物體時(shí)算法更加簡單；可以獲得場景的實(shí)時(shí)圖像。因此基于ODVS的全方位視覺系統(tǒng)近幾年迅速發(fā)展，正成為計(jì)算機(jī)視覺研究中的重要領(lǐng)域，IEEE從2000年開始舉辦每年一次的全方位視覺的專門研討會(IEEE workshop on Omni-directional vision)。由于在道路、行人道以及大場景的視頻檢測是否有違章停車需要覆蓋盡可能寬廣的范圍，因此利用全方位視覺傳感器可以實(shí)現(xiàn)上述的要求，只要將全方位視覺傳感器安裝在大場景的中間就非常容易地采集到包含有違章車輛的視頻信息，通過動態(tài)圖像的理解來把握車輛違章狀況，結(jié)合全方位視覺傳感器和動態(tài)圖像理解技術(shù)來實(shí)現(xiàn)中間代理的角色。目前還沒有檢索到將全方位視覺傳感器以及動態(tài)圖像理解技術(shù)運(yùn)用到違章停車技術(shù)領(lǐng)域的論文與專利。
因此，采用全方位視覺傳感器ODVS并利用數(shù)字圖像處理技術(shù)，結(jié)合監(jiān)控場景以及車輛的一些特征，檢測在監(jiān)控場景內(nèi)是否有違章停車行為，為在監(jiān)控領(lǐng)域內(nèi)欲違章停車的司機(jī)提供警示信息，給數(shù)字城管、執(zhí)法部門裝備一雙智能化的慧眼。
本發(fā)明的有益效果主要表現(xiàn)在1)檢測范圍廣，能對方位在200米直徑以內(nèi)的違章停車行為進(jìn)行檢測；2)實(shí)現(xiàn)了違章停車檢測的智能化、違章停車處理的自動化、違章處理過程的人性化；3)有效地提高了違章停車執(zhí)法的力度，減少了違章停車執(zhí)法人員的工作強(qiáng)度，實(shí)現(xiàn)了違章停車的實(shí)時(shí)自動檢測、實(shí)時(shí)自動傳輸、實(shí)時(shí)自動發(fā)布以及實(shí)時(shí)自動處理；4)緩解了執(zhí)法者與停車違法者之間的對立，使得《行政處罰法》和《道路交通安全法》在技術(shù)層面上更具有操作性，增加了社會的和諧；5)引導(dǎo)市民遵守交通規(guī)則，真正使違章停車司機(jī)感受到法律的嚴(yán)肅性，提高整個(gè)社會的文明程度。



圖1為三維立體空間反射到全方位視覺平面成像示意圖； 圖2為全方位視覺傳感器的結(jié)構(gòu)示意圖； 圖3為全方位視覺傳感器與快速球攝像裝置一體化設(shè)計(jì)的示意圖； 圖4為全方位視覺傳感器與一般的透視成像模型等價(jià)的透視投影成像模型示意圖； 圖5為全方位視覺傳感器在水平方向上圖像無形變模擬示意圖； 圖6為全方位視覺傳感器的監(jiān)控范圍以及范圍分割圖； 圖7為視頻檢測監(jiān)控范圍內(nèi)是否有停車的圖像處理流程圖； 圖8為全方位視覺傳感器與快速球攝像裝置配合的系統(tǒng)結(jié)構(gòu)圖； 圖9為本裝置應(yīng)用的一個(gè)實(shí)例示意圖； 圖10為本裝置軟件處理的流程圖； 圖11為邊緣檢測算法檢測監(jiān)控領(lǐng)域內(nèi)是否有停車的結(jié)果圖； 圖12為違章停車車輛車牌識別處理流程圖。

具體實(shí)施例方式 下面結(jié)合附圖對本發(fā)明作進(jìn)一步描述。
實(shí)施例1 參照圖1～圖12，一種基于計(jì)算機(jī)視覺的違章停車檢測裝置，由一個(gè)大范圍監(jiān)控視覺傳感器監(jiān)控整個(gè)領(lǐng)域內(nèi)的違章停車行為，通過動態(tài)圖像理解技術(shù)檢測到有違章停車事件發(fā)生情況下，微處理器通過大范圍監(jiān)控視覺傳感器與快速球攝像裝置之間的映射關(guān)系將該違章停車的車輛空間位置信息指示快速球攝像裝置對該違章車輛進(jìn)行抓拍，然后對所抓拍的違章整體圖像進(jìn)行車牌識別，得到該違章車輛的車牌號，接著通過語音播放單元警示違章停車司機(jī)不要違章停車，在警示勸說不起作用的情況下，系統(tǒng)自動生成一條違章停車記錄，在違章停車記錄中包含有整個(gè)違章停車行為的過程視頻圖像、違章車輛的特寫圖像以及相關(guān)的識別結(jié)果，執(zhí)法人員能根據(jù)這些記錄對違章車輛進(jìn)行處罰，整個(gè)過程如附圖9所示。
所設(shè)計(jì)的基于計(jì)算機(jī)視覺的違章停車檢測裝置在投入使用時(shí)，首先要根據(jù)全方位視覺范圍劃分出違章停車監(jiān)控領(lǐng)域，具體做法首先讀取360°全方位視覺視頻圖像，如附圖6所示，然后在該360°全方位視頻圖像上定制監(jiān)控領(lǐng)域，如果整個(gè)全方位視頻圖像內(nèi)都作為違章停車監(jiān)控領(lǐng)域那么就不需要進(jìn)行這步工作； 進(jìn)一步，對于大空間的視頻檢測，為了獲得更多的視頻信息，本發(fā)明中的大范圍監(jiān)控視覺傳感器12采用全方位視覺傳感器，由于全方位視覺傳感器能捕捉到水平方向上360°的視頻圖像，如圖3所示，而快速球視覺傳感器1的水平方向的轉(zhuǎn)角范圍是360°、垂直方向的轉(zhuǎn)角范圍是90°，將全方位視覺傳感器和快速球視覺傳感器進(jìn)行信息融合，當(dāng)全方位視覺傳感器發(fā)現(xiàn)某個(gè)車輛對象目標(biāo)進(jìn)入監(jiān)控范圍內(nèi)之后，系統(tǒng)返回一個(gè)該車輛對象目標(biāo)的坐標(biāo)信息，并利用這一信息來控制快速球視覺傳感器以定位拍攝車輛對象目標(biāo)，抓拍車輛對象目標(biāo)的詳細(xì)圖像信息供后續(xù)車牌識別處理。值得指出的是，需要事先設(shè)定一張空間對應(yīng)關(guān)系標(biāo)定表，使快速球視覺傳感器快速定位。標(biāo)定方法為以全景圖像中心為圓心，根據(jù)分辨需要將全景圖像分成一些圓環(huán)，如圖6所示，然后將每個(gè)圓環(huán)劃分幾等份，可根據(jù)實(shí)際需要?jiǎng)澐?。這樣，一幅全景圖像就被規(guī)則地分成了數(shù)個(gè)區(qū)域，每個(gè)區(qū)域有它特定的角度、方向和大小。然后，根據(jù)全方位視覺傳感器距監(jiān)控場景地面的高度、快速球視覺傳感器空間位置和攝像頭焦距等參數(shù)，依次確定快速球視覺傳感器要檢測的區(qū)域所需要水平、垂直旋轉(zhuǎn)的角度以及焦距。如果全方位視覺傳感器檢測到有車輛對象目標(biāo)存在，系統(tǒng)就可以根據(jù)該目標(biāo)所在區(qū)域和標(biāo)定表自動調(diào)節(jié)快速球視覺傳感器，對車輛對象目標(biāo)進(jìn)行抓拍特寫；在全方位視覺傳感器中能實(shí)現(xiàn)水平方向的360°的實(shí)時(shí)監(jiān)控，其核心部件是折反射鏡面，如圖3中的11所示；其工作原理是ODVS攝像裝置的光學(xué)部分的制造技術(shù)方案，ODVS攝像裝置主要由垂直向下的折反射鏡和面向上的攝像頭所構(gòu)成。具體構(gòu)成是由聚光透鏡以及CCD構(gòu)成的攝像單元固定在由透明樹脂或者玻璃制的圓筒體的下部，圓筒體的上部固定有一個(gè)向下的大曲率的折反射鏡。圖1表示的是本發(fā)明的全方位的視覺傳感器的光學(xué)系統(tǒng)的原理圖。
折反射全景成像系統(tǒng)能用針孔成像模型進(jìn)行成像分析，但要獲得透視全景圖像必須對采集的實(shí)景圖像逆投影，必須滿足實(shí)時(shí)性的要求。
監(jiān)控場景中物點(diǎn)的水平坐標(biāo)與相應(yīng)像點(diǎn)的坐標(biāo)成線性關(guān)系就能確保水平場景無畸變，作為違章停車檢測裝置的全方位視覺傳感器安裝在監(jiān)控場景中間頂部，監(jiān)視著整個(gè)監(jiān)控場景中水平方向上的車輛對象出現(xiàn)的情況，因此在設(shè)計(jì)全方位視覺裝置的折反射鏡面時(shí)要保證在水平方向上的不變形。
設(shè)計(jì)中首先選用CCD(CMOS)器件和成像透鏡構(gòu)成攝像頭，在對攝像頭內(nèi)部參數(shù)標(biāo)定的基礎(chǔ)上初步估算系統(tǒng)外形尺寸，然后根據(jù)高度方向的視場確定反射鏡面形參數(shù)。
如圖1所示，攝像頭的投影中心C在道路水平場景上方距離水平場景h處，反射鏡的頂點(diǎn)在投影中心上方，距離投影中心zo處。本發(fā)明中以攝像頭投影中心為坐標(biāo)原點(diǎn)建立坐標(biāo)系，反射鏡的面形用z(X)函數(shù)表示。在像平面內(nèi)距離像中心點(diǎn)ρ的像素q接受了來自水平場景O點(diǎn)(距離Z軸d)，在反射鏡M點(diǎn)反射的光線。理想的檢測狀況是在水平場景上無畸變，因此要求場景物點(diǎn)的水平坐標(biāo)與相應(yīng)像點(diǎn)的坐標(biāo)成線性關(guān)系； d(ρ)＝αρ(1) 式(1)中ρ是與反射鏡的面形中心點(diǎn)的距離，α為成像系統(tǒng)的放大率。
設(shè)反射鏡在M點(diǎn)的法線與Z軸的夾角為γ，入射光線與Z軸的夾角為Φ，反射光線與Z軸的夾角為θ。則 由反射定律 2γ＝φ-θ ∴ 由式(2)、(4)、(5)和(6)得到微分方程(7) 式中； 由式(7)得到微分方程(9) 由式(1)、(5)得到式(10) 由式(8)、(9)、(10)和初始條件，解微分方程可以得到反射鏡面形的數(shù)字解。系統(tǒng)外形尺寸主要指反射鏡離攝像頭的距離Ho和反射鏡的口徑D。折反射全景系統(tǒng)設(shè)計(jì)時(shí)根據(jù)應(yīng)用要求選擇合適的攝像頭，標(biāo)定出Rmin，透鏡的焦距f確定反射鏡離攝像頭的距離Ho，由(1)式計(jì)算出反射鏡的口徑Do。
系統(tǒng)參數(shù)的確定 根據(jù)應(yīng)用所要求的高度方向的視場確定系統(tǒng)參數(shù)af。由式(1)、(2)和(5)得到式(11)，這里作了一些簡化，將z(x)≈z0，主要考慮對于鏡面的高度變化相對于鏡面與攝像頭的位置變化比較?。? 在像平面以像中心點(diǎn)為圓心的最大圓周處 對應(yīng)的視場為φmax。則可以得到式(12)； 成像模擬采用與實(shí)際光線相反的方向進(jìn)行。設(shè)光源在攝像頭投影中心，在像平面內(nèi)等間距的選取像素點(diǎn)，通過這些像素點(diǎn)的光線，經(jīng)反射鏡反射后與水平面相交，若交點(diǎn)是等間距的，則說明反射鏡具有水平場景無畸變的性質(zhì)。成像模擬一方面可以評價(jià)反射鏡的成像性質(zhì)，另一方面可以準(zhǔn)確地計(jì)算出反射鏡的口徑和厚度。
成像變換涉及不同坐標(biāo)系之間的變換。在攝像機(jī)的成像系統(tǒng)中，涉及到的有以下4個(gè)坐標(biāo)系；(1)現(xiàn)實(shí)世界坐標(biāo)系XYZ；(2)以攝像機(jī)為中心制定的坐標(biāo)系x^y^z^；(3)像平面坐標(biāo)系，在攝像機(jī)內(nèi)所形成的像平面坐標(biāo)系x*y*o*；(4)計(jì)算機(jī)圖像坐標(biāo)系，計(jì)算機(jī)內(nèi)部數(shù)字圖像所用的坐標(biāo)系MN，以像素為單位。
根據(jù)以上幾個(gè)坐標(biāo)系不同的轉(zhuǎn)換關(guān)系，就可以得到所需要的全方位攝像機(jī)成像模型，換算出二維圖像到三維場景的對應(yīng)關(guān)系。本發(fā)明中采用折反射全方位成像系統(tǒng)的近似透視成像分析方法將攝像機(jī)內(nèi)所形成的像平面坐標(biāo)二維圖像換算到三維場景的對應(yīng)關(guān)系，圖3為一般的透視成像模型，d為物高，ρ為像高，t為物距，F(xiàn)為像距(等效焦距)?？梢缘玫绞?13) 在上述水平場景無變形的折反射全方位成像系統(tǒng)的設(shè)計(jì)時(shí)，要求場景物點(diǎn)的水平坐標(biāo)與相應(yīng)像點(diǎn)的坐標(biāo)成線性關(guān)系，如式(1)表示；比較式(13)，(1)，可以看出水平場景無變形的折反射全方位成像系統(tǒng)對水平場景的成像為透視成像。因此就水平場景成像而言，可以將水平場景無變形的折反射全方位成像系統(tǒng)視為透視相機(jī)，α為成像系統(tǒng)的放大率。設(shè)該虛擬透視相機(jī)的投影中心為C點(diǎn)(見附圖3)，其等效焦距為F。比較式(13)，(1)式可以得到式(14)； 由式(12)、(14)得到式(15) 根據(jù)上述全方位攝像機(jī)成像模型進(jìn)行系統(tǒng)成像模擬，由攝像頭投影中心發(fā)出的經(jīng)過像素平面內(nèi)等間距像素點(diǎn)的光線族反射后，在距離投影中心5m的監(jiān)控場景的水平面上的交點(diǎn)基本上是等間距的，如附圖4所示。因此根據(jù)上述設(shè)計(jì)原理本專利中將監(jiān)控場景水平面的坐標(biāo)與相應(yīng)全方位像點(diǎn)的坐標(biāo)之間的關(guān)系簡化為線性關(guān)系，也就是說通過反射鏡面的設(shè)計(jì)將現(xiàn)實(shí)世界坐標(biāo)系XYZ到像平面坐標(biāo)系的轉(zhuǎn)化可以用放大率α為比例的線形關(guān)系。下面是從像平面坐標(biāo)系到計(jì)算機(jī)內(nèi)部數(shù)字圖像所用的坐標(biāo)系的轉(zhuǎn)化，計(jì)算機(jī)中使用的圖像坐標(biāo)單位是存儲器中離散像素的個(gè)數(shù)，所以對實(shí)際像平面的坐標(biāo)還需取整轉(zhuǎn)換才能映射到計(jì)算機(jī)的成像平面，其變換表達(dá)式為由式(16)給出； 式中Om、On分別為象平面的原點(diǎn)在計(jì)算機(jī)圖像平面上所映射的點(diǎn)像素所在的行數(shù)和列數(shù)；Sx、Sy分別為在x和y方向上的尺度因子。Sx、Sy的確定是通過在攝像頭與反射鏡面之間距離Z處放置標(biāo)定板，對攝像機(jī)進(jìn)行標(biāo)定得到Sx、Sy的數(shù)值，單位是(pixel)；Om、On。的確定是根據(jù)所選擇的攝像頭分辨率像素，單位是(pixel)。
進(jìn)一步，對于基于全方位視覺傳感器的視頻檢測在監(jiān)控領(lǐng)域內(nèi)是否有車，可以采用兩種檢測方式1)基于顏色模型的檢測；2)基于圖像邊緣輪廓的檢測(從俯視角度看車輛的輪廓都呈現(xiàn)為規(guī)則的矩形)。
監(jiān)控場景的違章停車視頻檢測是整個(gè)系統(tǒng)的關(guān)鍵，要實(shí)現(xiàn)在監(jiān)控場景內(nèi)檢測出有車停放，在圖像處理上需要通過背景圖像閾值維護(hù)和背景相減等步驟來確認(rèn)整個(gè)監(jiān)控場景內(nèi)是否有車輛。一般來說，監(jiān)控場景內(nèi)的地面顏色與車輛的顏色是有明顯的區(qū)別的。本專利中利用視頻圖像中的顏色特征來判斷監(jiān)控場景的違章停車。
要判斷監(jiān)控場景內(nèi)是否有違章停車，在圖像識別上第一步是需要得到一個(gè)比較穩(wěn)定的基準(zhǔn)參考圖像，然后利用它來做背景相減算法。本專利中采用了在監(jiān)控場景內(nèi)提取一個(gè)平均色度的閾值，作為顏色閾值。考慮到監(jiān)控場景地面的顏色都是接近的，因此可以作為整個(gè)監(jiān)控場景的全局顏色閾值。在實(shí)際使用過程中，監(jiān)控場景地面的顏色模型也會發(fā)生一些變化，因此需要對顏色閾值數(shù)據(jù)進(jìn)行不斷的更新。
進(jìn)一步，采用圖像的YCrCb顏色模型來識別監(jiān)控場景內(nèi)是否有停車事件發(fā)生。由于在YCrCb顏色空間中Y分量是對光線敏感的，而CrCb這兩個(gè)分量只是對顏色有關(guān)，通過CrCb這兩個(gè)分量來區(qū)分車輛的顏色與車位地面的顏色能達(dá)到監(jiān)控場景內(nèi)是否有停車事件發(fā)生的目的。通過顏色空間中的Cr，Cb分量的檢測基本上能達(dá)到與監(jiān)控場景照明光線無關(guān)的效果。從全方位視覺傳感器所獲得的視頻圖像的顏色空間是RGB，因此在程序中需要將視頻圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)CrCb顏色空間，轉(zhuǎn)換公式(17)給出， Y＝0.29990*R+0.5870*G+0.1140*B(17) Cr＝0.5000*R-0.4187*G-0.0813*B+128 Cb＝-0.1787*R-0.3313*G+0.5000*B+128 更進(jìn)一步，采用背景相減算法得到車輛對象信息，所謂的背景相減算法也稱為差分方法，是一種常用于檢測圖像變化和運(yùn)動物體的圖像處理方法。
背景相減的計(jì)算公式如式(18)所示， fd(X，t0，ti)＝f(X，ti)-f(X，t0)(18) 式中fd(X，t0，ti)是實(shí)時(shí)拍攝到全景圖像與基準(zhǔn)參考全景圖像間進(jìn)行圖像相減的色度結(jié)果。f(X，ti)是實(shí)時(shí)拍攝到圖像色度值，f(X，t0)是基準(zhǔn)參考圖像色度基準(zhǔn)值。為了判斷監(jiān)控場景內(nèi)是否有停車事件發(fā)生，因此在所定義的監(jiān)控場景內(nèi)作背景相減計(jì)算，判斷Cr，Cb這兩個(gè)分量是否超過了所規(guī)定的閾值范圍。如果是超過了所規(guī)定的閾值范圍的話就標(biāo)記監(jiān)控場景存在著違章停車，反之，沒有違章停車。判斷公式如式(19)所示， 式中Cr表示所檢測到的當(dāng)前監(jiān)控場景內(nèi)的Cr平均值，Cb表示所檢測到的當(dāng)前監(jiān)控場景內(nèi)的Cb平均值，ThresholdCr表示所定義的監(jiān)控場景內(nèi)地面的Cr平均值，ThresholdCb表示所定義的監(jiān)控場景內(nèi)地面的Cb平均值，threshold1表示Cr的閾值范圍，threshold2表示Cb的閾值范圍。
另一種檢測當(dāng)前監(jiān)控場景內(nèi)是否有車的方法，在戶外由于監(jiān)控場景的背景會由于氣候的變化(下雨、下雪等)、監(jiān)控場景內(nèi)的飛揚(yáng)物(樹葉、塑料袋等)對地面顏色模型的影響，用顏色模型來進(jìn)行監(jiān)控場景是否有車會帶來較大的誤識別率，因此可以在監(jiān)控場景的違章停車檢測上采用圖像的邊緣檢測方法； 車體的邊界是描述車體特征的一類非常重要的描述子，這些邊界可能在成像過程中產(chǎn)生邊緣信息。邊緣是指在其周圍像素灰度有明顯變化的那些像素的組合。邊緣是具有幅值和方向的矢量，其在圖像中表現(xiàn)為灰度的突變。邊緣檢測就是要檢測出圖像中這種灰度的非連續(xù)性。
目前對邊緣檢測有幾種方法可以選擇，由于在本專利中期望得到的是車體的邊緣，而對邊緣輪轂的完整性以及光滑性要求不高，因此我們采用其中的計(jì)算簡單、運(yùn)算速度快的經(jīng)典邊緣檢測方法-微分算子法，該方法依靠對圖像進(jìn)行微分運(yùn)算求得梯度來進(jìn)行邊緣檢測，主要從邊緣點(diǎn)往往對應(yīng)于一階微分幅值大的點(diǎn)，同時(shí)也對應(yīng)于二階微分的零交叉點(diǎn)出發(fā)，設(shè)計(jì)一些一階或二階微分算子，求得其梯度或二階導(dǎo)數(shù)過零點(diǎn)，再選擇一定的閾值提取邊界。
所述的邊緣檢測方法大致上可以分為以下四個(gè)步驟 ①濾波邊緣檢測算法主要是基于圖像強(qiáng)度的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)，但導(dǎo)數(shù)的計(jì)算對噪聲很敏感，因此必須使用濾波器來改善與噪聲有關(guān)的邊緣檢測方法的性能。需要指出，大多數(shù)濾波器在降低噪聲的同時(shí)也導(dǎo)致了邊緣強(qiáng)度的損失。因此邊緣增強(qiáng)和降低圖像噪聲之間需要取得一種平衡。
②增強(qiáng)增強(qiáng)邊緣的基礎(chǔ)是確定圖像中各點(diǎn)鄰域強(qiáng)度的變化值。增強(qiáng)算法可以突出鄰域強(qiáng)度值有顯著變化的點(diǎn)。邊緣增強(qiáng)一般是通過計(jì)算梯度幅值來完成的。
③檢測在圖像中有許多點(diǎn)的梯度幅值比較大，而這些點(diǎn)在特定的情況下并不一定都是邊緣，所以應(yīng)該用某種方法來確定那些點(diǎn)是邊緣點(diǎn)。最簡單的邊緣檢測判據(jù)是梯度幅值A(chǔ)值判據(jù)。
④定位確定邊緣所在的像素，如果要更精確的確定邊緣位置，也可以在子像素分辨率上來估計(jì)邊緣位置，邊緣的方向也可以被估計(jì)出來。
在本發(fā)明中采用索貝爾(Sobel)算子作為邊緣檢測算法，Sobel算子采用3*3大小的模板，這樣就避免了在像素之間的內(nèi)插點(diǎn)上計(jì)算梯度。Sobel算子用下式計(jì)算偏導(dǎo)數(shù) Sx＝(a2+ca3+a4)-(a0+ca7+a6)(20) Sy＝(a0+ca1+a2)-(a6+ca5+a4) 公式中常數(shù)c為2。Sobel算子可用以下卷積模板來實(shí)現(xiàn) 在監(jiān)控場景中可以用來檢測車體的方法可以是模板匹配法。該方法是將所要檢測的車體的樣板與監(jiān)控場景中所有位置的物體進(jìn)行比較，考察是否存在與車體的樣板相匹配的物體。本發(fā)明采用的匹配算法為設(shè)已知目標(biāo)對象的車輛圖像模板為T，大小為M*N，車輛圖像模板T存放在計(jì)算機(jī)中，根據(jù)不同的車輛需要作成不同的模板，以便比對時(shí)使用；待檢測的監(jiān)控場景內(nèi)車輛的圖像為I，大小為L*W(L＞M，W＞N)。匹配的過程是設(shè)法把模板T疊加在圖像I上，并比較T與它覆蓋下的I的子圖像的差別。若差別小于某事先設(shè)定的閾值，則認(rèn)為T在該處與I的子圖像有較好的匹配，即找到了目標(biāo)對象。對待匹配的整幅圖像按逐個(gè)像素掃描并實(shí)施上述操作，則可確定圖像I中是否存在著模板T所確定的目標(biāo)對象，即某種類型的車輛。匹配過程的數(shù)學(xué)描述可以由公式(22)表示 在圖像匹配處理前需要圖像的預(yù)處理，包括進(jìn)行邊緣抽取、二值化、將輪廓連成閉合曲線并對曲線內(nèi)區(qū)域進(jìn)行白像素填充。分別求出存儲在計(jì)算機(jī)中的車體模板和監(jiān)控場景中的物體的二值圖像的形心坐標(biāo)和中心不變矩(這里假設(shè)監(jiān)控場景中物體無重疊，將全方位視覺傳器安裝在一定高度后就能使監(jiān)控范圍內(nèi)的車輛不產(chǎn)生重疊)，將模板的不變矩分別與監(jiān)控場景中各物體的不變矩比較，差值小于某設(shè)定的閾值即可斷定為模板所示的物體-即車體。然后將車位場景中物體的形心與模板的形心對準(zhǔn)，利用“縮放”和“旋轉(zhuǎn)”等圖像處理方法將模板與場景中的物體對齊，以確定場景中物體是否確為模板所表示的物體，若是就判定為該監(jiān)控范圍內(nèi)有車，然后根據(jù)與模板匹配的結(jié)果，得到該監(jiān)控范圍內(nèi)停車車輛的類型。
對于一個(gè)空間離散化為M*N的圖像，設(shè)i，j為離散化的監(jiān)控場景中的各像素坐標(biāo)，f(i，j)為坐標(biāo)為(i，j)的像素的灰度值，根據(jù)上述的不變矩的概念和求取方法，按照離散化的數(shù)字圖像的處理方法，則圖像場景中物體的“中心矩”可由下列雙重求和形式來逼近，用公式(23)表示， 其中 為使中心不變矩不隨比例縮放而變，進(jìn)行歸一化處理，可得歸一化不變中心矩為ηpq＝Dpq/D00，r＝(p+q)/2+1， 設(shè)p+q＜2，則可導(dǎo)出兩個(gè)RST不變的中心矩函數(shù)用公式(24)表示， 1＝η20+η02 2＝(η20-η02)2+4η112(24) 所述的模板匹配算法的具體步驟如下 1)對模板及監(jiān)控場景中各物體進(jìn)行預(yù)處理利用“Roberts”算子分別對監(jiān)控場景中的物體進(jìn)行邊緣銳化，并選擇合適的閾值進(jìn)行二值化。對閉合的物體的邊緣信息進(jìn)行骨架細(xì)化，用方向鏈碼(或數(shù)組)表示景物邊緣的閉合曲線，以保證用單像素鏈表示的物體邊緣的閉合曲線的連通性。進(jìn)行區(qū)域填充，用最大灰度值填充物體邊緣閉合曲線內(nèi)的區(qū)域。如果求的區(qū)域面積大于一個(gè)閾值(最小車輛的投影面積為該閾值)，然后按照公式(23)計(jì)算監(jiān)控范圍內(nèi)景物的中心坐標(biāo)(重心坐標(biāo))，按照公式(24)求取二階歸一化中心不變矩，否則不進(jìn)行以下判斷。
2)將監(jiān)控場景的物體與模板的中心不變矩比較，并取相差值小于某一閾值的即可初步認(rèn)為是模板所表示的物體。然后將模板的形心與場景中物體的形心坐標(biāo)重合。
3)將模板進(jìn)行縮放以使其與場景中與之不變矩基本相同的物體的尺寸一致。利用坐標(biāo)的旋轉(zhuǎn)變換來確定場景中物體對應(yīng)的旋轉(zhuǎn)角度?？s放和旋轉(zhuǎn)采用的算法分別為 縮放算法 x2＝N(x1-x0)+x0 y2＝N(y1-y0)+y0(25) 旋轉(zhuǎn)算法 x2＝(x1-x0)cosθ+(y1-y0)sinθ+x0(26) y2＝(y1-y0)cosθ+(x1-x0)sinθ+y0 以上兩組式中僅對模板的邊緣輪廓點(diǎn)進(jìn)行縮放和旋轉(zhuǎn)處理，之后還需鏈接及閉合曲線內(nèi)像素填充。式中(x2，y2)為像素的新坐標(biāo)；(x1，y1)為原坐標(biāo)；(x0，y0)為物體的形心坐標(biāo)；N為縮放系數(shù)；θ為旋轉(zhuǎn)的角度。
4)將上述兩幅已經(jīng)對準(zhǔn)的二值圖像進(jìn)行“異或”操作，以剩余像素的多少來證實(shí)該物體是否確為模板所示車體以及車輛的類型。
一種基于計(jì)算機(jī)視覺的違章停車檢測裝置，包括多個(gè)視覺傳感器、用于車輛對象跟蹤、車牌圖像識別的微處理器、用于顯示在監(jiān)控場景內(nèi)車輛對象跟蹤情況、車輛整體圖像、車輛車牌圖像的顯示單元以及用于播放違章車輛警示語的語音播放單元，所述多個(gè)視覺傳感器通過視頻卡連接微處理器，所述多個(gè)視覺傳感器包括一個(gè)大范圍場景監(jiān)控視覺傳感器12和一個(gè)進(jìn)行特寫抓拍車輛圖像以及該車輛車牌圖像的快速球視覺傳感器1，所述的微處理器包括圖像顯示單元，用于顯示整個(gè)監(jiān)控范圍內(nèi)的視頻圖像、跟蹤車輛對象的整體圖像以及跟蹤車輛的車牌部分圖像；所述的大范圍監(jiān)控視覺傳感器12為全方位視覺傳感器，該全方位視覺傳感器安裝在大范圍監(jiān)控場景的中間，用于監(jiān)視整個(gè)監(jiān)控場景的跟蹤車輛對象；所述的快速球視覺傳感器1，用于對進(jìn)入監(jiān)控場景內(nèi)的車輛進(jìn)行特寫抓拍，通過大范圍監(jiān)控視覺傳感器12的跟蹤得到車輛所在的空間位置，微處理器根據(jù)該位置信息指示快速球視覺傳感器1朝著車輛所在的空間位置的方向旋轉(zhuǎn)調(diào)焦，然后進(jìn)行抓拍；所述的大范圍監(jiān)控視覺傳感器12與快速球視覺傳感器1之間的動作關(guān)系是通過映射表來實(shí)現(xiàn)的；所述的全方位視覺傳感器包括用于反射監(jiān)控領(lǐng)域中物體的外凸折反射鏡面，外凸折反射鏡面朝下，用于支撐外凸折反射鏡面的透明圓柱體，用于拍攝外凸反射鏡面上成像體的攝像頭，攝像頭對著外凸反射鏡面朝上；所述的微處理器還包括大范圍監(jiān)控視覺傳感器12標(biāo)定模塊，用于建立監(jiān)控場景圖像與所獲得的視頻圖像的對應(yīng)關(guān)系；大范圍監(jiān)控視覺傳感器12與快速球視覺傳感器1之間的視頻數(shù)據(jù)融合模塊，用于控制快速球視覺傳感器1的轉(zhuǎn)動與調(diào)焦，使得快速球視覺傳感器1能對準(zhǔn)跟蹤的車輛進(jìn)行特寫抓拍；多目標(biāo)跟蹤模塊，用于跟蹤進(jìn)入監(jiān)控領(lǐng)域內(nèi)的車輛對象；車輛進(jìn)入監(jiān)控范圍檢測模塊，用于系統(tǒng)自動產(chǎn)生一個(gè)事件，系統(tǒng)每自動產(chǎn)生一個(gè)事件時(shí)都會有調(diào)用相應(yīng)的處理模塊；車輛ID號以及存放跟蹤車輛圖像文件夾的自動生成模塊，用于對剛進(jìn)入大范圍監(jiān)控視覺傳感器12的監(jiān)控視場最外邊輪廓線時(shí)的車輛對象進(jìn)行命名，并同時(shí)生成一個(gè)以該車輛ID號命名的文件夾，用于存放該車輛的特寫圖像；車輛整體圖像定位抓拍模塊，用于定位抓拍該車輛的整體的圖像；車輛車牌定位抓拍模塊，用于定位該車輛的懸掛車牌位置并對該位置進(jìn)行抓拍車牌的圖像；車牌識別模塊，用于識別違章車輛的車牌號；警示語生成與播放單元，用于警示違章停車司機(jī)不要違章停車；檢測結(jié)果確認(rèn)、更改、補(bǔ)全模塊，用于確認(rèn)車牌號識別是否正確、更改識別錯(cuò)誤的識別結(jié)果、補(bǔ)全沒有識別的車牌號； 所述的車輛ID號，用于產(chǎn)生一個(gè)能標(biāo)識跟蹤的車輛對象、存儲對該車輛對象的進(jìn)入監(jiān)控領(lǐng)域的時(shí)間以及該車輛的其他一些屬性數(shù)據(jù)進(jìn)行記錄的主鍵，車輛ID號的命名規(guī)則是YYYYMMDDHHMMSS* 以14位符號命名，YYYY-表示公歷的年；MM-表示月；DD-表示日；HH-表示小時(shí)；MM-表示分；SS-表示秒；均由計(jì)算機(jī)的系統(tǒng)時(shí)間自動產(chǎn)生； 所述的存放跟蹤車輛圖像文件夾的自動生成模塊，用于保存跟蹤的過往車輛對象的特寫圖像，當(dāng)車輛對象進(jìn)入監(jiān)控范圍(最外的輪廓線)時(shí)，系統(tǒng)自動產(chǎn)生一個(gè)車輛ID號，同時(shí)在某個(gè)存放圖像的文件夾內(nèi)創(chuàng)建一個(gè)與車輛ID號同名的文件夾，用來存放該車輛的特寫圖像，圖像文件的命名方式是由計(jì)算機(jī)的系統(tǒng)時(shí)間自動產(chǎn)生，命名規(guī)則是HHMMSS，HH-表示小時(shí)；MM-表示分；SS-表示秒； 所述的車輛整體圖像定位抓拍模塊，用于定位抓拍該車輛的整體的圖像；在所述的多目標(biāo)跟蹤模塊中我們對每輛進(jìn)入監(jiān)控領(lǐng)域內(nèi)的車輛都進(jìn)行跟蹤，當(dāng)跟蹤的車輛對象進(jìn)入檢測領(lǐng)域外輪廓線時(shí)，系統(tǒng)會根據(jù)大范圍監(jiān)控視覺傳感器12所檢測到的車輛對象的中心位置、大小等信息發(fā)指令給快速球視覺傳感器1對車輛對象進(jìn)行車輛整體圖像定位抓拍，由于在抓拍時(shí)獲得的車輛整體圖像中并不一定包含有該車輛的車牌號的視頻信息，因此本發(fā)明中所抓拍每個(gè)車輛對象的整體圖像數(shù)為不定，一旦該車輛車牌被識別出來后就自動停止抓拍該車輛對象； 一般來說，車牌第一個(gè)字符為漢字；第二個(gè)字符為字母；第三、第四字符是數(shù)字與字母的混合；后三位是數(shù)字。根據(jù)這種情況，需要設(shè)計(jì)數(shù)字、字母、數(shù)字字母混合及漢字分類器，采用模板匹配與神經(jīng)網(wǎng)絡(luò)相結(jié)合的識別方法。
所述的車牌識別模塊，用于識別進(jìn)入監(jiān)控領(lǐng)域內(nèi)車輛車牌號并為后續(xù)依法對該車輛違章處理過程中違章車輛信息檢索的主鍵；在車牌識別模塊中包括圖像預(yù)處理單元、車牌定位、車牌的字符分割單元、歸一化處理單元、提取特征單元以及字符識別單元； 所述的圖像預(yù)處理單元，用于對原始圖像進(jìn)行各種區(qū)域處理(包括增強(qiáng)、濾波等)。在該單元中首先對車牌圖像進(jìn)行灰度拉伸，采用全局閾值化方法對圖像進(jìn)行二值化處理，接著對其采用中值濾波，形態(tài)學(xué)濾波來消除各種干擾，從而突出車牌的特征信息； 所述的車牌定位單元，用于在整幅車牌圖像中對車牌進(jìn)行水平與垂直投影定位車牌；本發(fā)明中主要針對規(guī)范的民用牌照，這類牌照具有以下特征 a)車牌底色與車身、字符顏色有較大的差異； b)車牌有一個(gè)連續(xù)或由于磨損而不連續(xù)的邊框，車牌內(nèi)字符有多個(gè)，基本呈水平排列，所以在牌照的矩形區(qū)域內(nèi)存在較豐富的邊緣，呈現(xiàn)出有規(guī)則的紋理特征； c)車牌內(nèi)字符之間的間隔比較均勻，字符和牌照底色在灰度值上存在跳變，而字符本身與牌照底色都是有較均勻的灰度分布； d)不同圖像中牌照的具體大小、位置不確定，但其長寬比變化有一定范圍，存在一個(gè)最大和最小長寬比。
根據(jù)上述牌照特征對車輛整體圖像中的有可能存在牌照的地方進(jìn)行粗檢測，如果發(fā)現(xiàn)有類似牌照的地方進(jìn)行定位，反之要求系統(tǒng)重新抓拍車輛圖像； 所述的車牌字符分割單元，用于將車牌字符分割成單一字符，有利于對每個(gè)字符進(jìn)行特征的提取和識別。本發(fā)明中采用字符垂直投影直方圖與車牌字符先驗(yàn)寬度信息相結(jié)合進(jìn)行分割； 所述的歸一化處理單元，用于后期的特征提取與識別，將字符變化為統(tǒng)一的大小格式，本發(fā)明中采用鄰近插值的歸一化方法； 所述的提取特征單元，用于后期的字符識別，從圖像中提取各種能夠區(qū)分不同字符種類的數(shù)學(xué)特征，本發(fā)明中采用PCA方法進(jìn)行字符特征提取，并用RS對特征進(jìn)行約簡，將約簡后的特征送入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練； 所述的字符識別單元，用于對分割后的車牌字符進(jìn)行識別，考慮到車牌字符具有不同特征，采用相對應(yīng)的分類器對字符進(jìn)行識別。在本發(fā)明中采用多級多分類器，將模板匹配與神經(jīng)網(wǎng)絡(luò)相結(jié)合，設(shè)計(jì)了數(shù)字、字母、數(shù)字字母混合及漢字識別分類器； 所述的警示語生成與播放單元，用于警示違章停車司機(jī)不要違章停車，在上述檢測到有新進(jìn)入監(jiān)控領(lǐng)域的車輛并識別出其車牌號碼時(shí)，系統(tǒng)根據(jù)所識別出來的車牌號碼生成警示語，然后通過語音輸出單元播放該警示語； 下面根據(jù)圖10來說明本發(fā)明的處理流程，首先讀取全方位視覺的視頻圖像，然后對該視頻圖像中的在監(jiān)控范圍內(nèi)出現(xiàn)的車輛進(jìn)行跟蹤，如果發(fā)現(xiàn)有車輛停放或者駛?cè)氡O(jiān)控范圍內(nèi)，接著再判斷這些車輛的車牌號是否已經(jīng)被成功識別出來，如果存在著被成功識別出來車輛的情況，根據(jù)全方位視覺所檢測到的該車輛目前所處在的位置，指示快速球攝像裝置根據(jù)圖6所示的映射關(guān)系調(diào)節(jié)轉(zhuǎn)角與焦距對該車輛進(jìn)行抓拍；對剛進(jìn)入監(jiān)控領(lǐng)域邊界的車輛系統(tǒng)會自動生成一個(gè)與系統(tǒng)時(shí)間相關(guān)的車輛ID號以及以車輛ID號命名的文件夾，并將抓拍的車輛圖像存放在該文件夾內(nèi)，圖像文件名以系統(tǒng)的時(shí)間命名；同時(shí)通過語音提醒對剛進(jìn)入監(jiān)控領(lǐng)域邊界的車輛司機(jī)在此不能停放車輛；接著系統(tǒng)檢查車牌號未成功識別出來并且目前仍停放在監(jiān)控范圍內(nèi)的所有車輛的停放時(shí)間是否超過了一個(gè)規(guī)定的值，如果超過了該規(guī)定值的話就判定為違章停車；這時(shí)系統(tǒng)讀取以該車輛ID號命名的文件夾內(nèi)的圖像文件進(jìn)行車輛車牌的定位和識別處理，如果識別成功就自動生成一條違章停車事件記錄保存在數(shù)據(jù)庫中，同時(shí)通過網(wǎng)絡(luò)通知執(zhí)法人員在監(jiān)控點(diǎn)有違章停車事件發(fā)生，以便執(zhí)法人員快速地進(jìn)行維持交通秩序，對違章停車行為進(jìn)行教育與處罰；在執(zhí)法人員人力不足情況下，由于系統(tǒng)將違章停車事件的過程進(jìn)行了詳細(xì)記錄，根據(jù)視頻記錄以及車牌圖像識別的結(jié)果同樣也能實(shí)現(xiàn)事后執(zhí)法的效果。
實(shí)施例2 為了有效的利用目前已經(jīng)在使用的視頻監(jiān)控裝置，可以在終端安裝相應(yīng)的違章停車檢測軟件，利用實(shí)施例1中的動態(tài)圖像理解技術(shù)，檢測在視頻監(jiān)控裝置監(jiān)控范圍內(nèi)是否有違章停車行為，一旦系統(tǒng)檢測到有違章停車行為發(fā)生就立即通過網(wǎng)絡(luò)播放警示語，警示不要違章停車，同時(shí)通知執(zhí)法人員盡快赴現(xiàn)場進(jìn)行維護(hù)交通規(guī)則及時(shí)處理違章行為。
本發(fā)明中的實(shí)現(xiàn)算法主要是由Java語言實(shí)現(xiàn)的。
權(quán)利要求
1.一種基于計(jì)算機(jī)視覺的違章停車檢測裝置，其特征在于所述違章停車檢測裝置包括用于獲取監(jiān)控區(qū)域的視頻圖像的全方位視覺傳感器、用于抓拍違章停車車輛詳細(xì)局部信息的快速球攝像機(jī)以及用于對視頻圖像進(jìn)行理解分析并進(jìn)行違章停車檢測的微處理器，所述的全方位視覺傳感器和快速球攝像機(jī)通過視頻卡與微處理器連接，所述的全方位視覺傳感器包括用于反射監(jiān)測領(lǐng)域中物體的外凸折反射鏡面，外凸折反射鏡面朝下，用于支撐和保護(hù)外凸折反射鏡面的透明圓型體，用于拍攝外凸反射鏡面上成像體的攝像頭，攝像頭對著外凸反射鏡面朝上，所述攝像頭位于所述外凸折反射鏡面的虛焦點(diǎn)；所述的微處理器包括
視頻圖像數(shù)據(jù)讀取模塊，用于讀取從全方位視覺傳感器傳過來的視頻圖像信息；違章停車監(jiān)控領(lǐng)域定制模塊，用于定制視頻監(jiān)控違章車輛的監(jiān)控范圍；
全方位視覺傳感器標(biāo)定模塊，用于建立一種空間的實(shí)物圖像與所獲得的視頻圖像的對應(yīng)關(guān)系；
視頻數(shù)據(jù)融合模塊，用于控制快速球視覺傳感器的轉(zhuǎn)動與調(diào)焦，使得快速球視覺傳感器能對準(zhǔn)跟蹤的車輛進(jìn)行特寫抓拍，以全方位視覺傳感器獲取的全景圖像中心為圓心，根據(jù)分辨需要將全景圖像分成圓環(huán)，根據(jù)全方位視覺傳感器距監(jiān)控場景地面的高度、快速球視覺傳感器空間位置和攝像頭焦距等參數(shù)，依次確定快速球視覺傳感器要檢測的區(qū)域所需要水平、垂直旋轉(zhuǎn)的角度以及焦距；
車輛進(jìn)入監(jiān)控范圍檢測模塊，用于當(dāng)檢測到有車輛進(jìn)入定制的監(jiān)控范圍后，系統(tǒng)自動產(chǎn)生一個(gè)事件，系統(tǒng)每自動產(chǎn)生一個(gè)事件時(shí)都會有調(diào)用相應(yīng)的處理模塊；車輛ID號以及存放跟蹤車輛圖像文件夾的自動生成模塊，用于剛進(jìn)入定制的監(jiān)控范圍的車輛對象進(jìn)行命名，并同時(shí)生成一個(gè)以該車輛ID號命名的文件夾，用于存放該車輛的特寫圖像；
多目標(biāo)跟蹤模塊，用于跟蹤進(jìn)入監(jiān)控領(lǐng)域內(nèi)的車輛對象；
違章停車檢測模塊，用于檢測已經(jīng)停放在監(jiān)控范圍內(nèi)的車輛對象，包括有邊緣檢測單元，用于采用微分算子法，對圖像進(jìn)行微分運(yùn)算求得梯度來進(jìn)行邊緣檢測，從邊緣點(diǎn)往往對應(yīng)于一階微分幅值大的點(diǎn)，同時(shí)也對應(yīng)于二階微分的零交叉點(diǎn)出發(fā)，設(shè)定一階或二階微分算子求得其梯度或二階導(dǎo)數(shù)過零點(diǎn)，再選擇閾值提取邊界；
圖像預(yù)處理單元，用于對圖像進(jìn)行邊緣抽取、二值化、將輪廓連成閉合曲線并對曲線內(nèi)區(qū)域進(jìn)行白像素填充；
模板匹配單元，用于將所要檢測的車體的樣板與監(jiān)控場景中所有位置的物體進(jìn)行比較，考察是否存在與車體的樣板相匹配的物體；對于一個(gè)空間離散化為M*N的圖像，設(shè)i，j為離散化的監(jiān)控場景中的各像素坐標(biāo)，f(i，j)為坐標(biāo)為(i，j)的像素的灰度值，根據(jù)上述的不變矩的概念和求取方法，按照離散化的數(shù)字圖像的處理方法， 則圖像場景中物體的“中心矩”可由下列雙重求和形式來逼近，用公式(23)表示，
其中
進(jìn)行歸一化處理，可得歸一化不變中心矩為ηpq＝Dpq/D00，r＝(p+q)/2+1；
設(shè)p+q＜2，則導(dǎo)出兩個(gè)RST不變的中心矩函數(shù)用公式(24)表示，
1＝η20+η02
2＝(η20-η02)2+4η112(24)
將監(jiān)控場景的物體與模板的中心不變矩比較，并取相差值小于閾值，初步認(rèn)為是模板所表示的物體；然后將模板的形心與場景中物體的形心坐標(biāo)重合；
利用坐標(biāo)的旋轉(zhuǎn)變換來確定場景中物體對應(yīng)的旋轉(zhuǎn)角度，縮放和旋轉(zhuǎn)采用的算法分別為
縮放算法
x2＝N(x1-x0)+x0(25)
y2＝N(y1-y0)+y0
旋轉(zhuǎn)算法
x2＝(x1-x0)cosθ+(y1-y0)sinθ+x0(26)
y2＝(y1-y0)cosθ+(x1-x0)sinθ+y0
以上兩組式中對模板的邊緣輪廓點(diǎn)進(jìn)行縮放和旋轉(zhuǎn)處理，之后還需鏈接及閉合曲線內(nèi)像素填充，式中(x2，y2)為像素的新坐標(biāo)；(x1，y1)為原坐標(biāo)； (x0，y0)為物體的形心坐標(biāo)；N為縮放系數(shù)；θ為旋轉(zhuǎn)的角度；
將上述兩幅已經(jīng)對準(zhǔn)的二值圖像進(jìn)行“異或”操作，以剩余像素與預(yù)設(shè)的閾值比較，如小于預(yù)設(shè)的閾值，判定物體為模板所示車體以及車輛的類型；
車輛整體圖像定位抓拍模塊，用于定位抓拍車輛的整體圖像；
車輛車牌定位抓拍模塊，用于定位車輛的定位該車輛的懸掛車牌位置并對該位置進(jìn)行抓拍車牌的圖像；
車牌識別模塊，用于識別違章車輛的車牌號；
警示語生成與播放單元，用于警示違章停車司機(jī)不要違章停車；
違章記錄生成單元，用于在警示后超過設(shè)定的時(shí)間，車輛處于違章停車位置，自動生成一條違章記錄，并存儲違章車輛的圖像和車牌號碼。
2.如權(quán)利要求1所述的基于計(jì)算機(jī)視覺的違章停車檢測裝置，其特征在于所述的微處理器還包括
檢測結(jié)果確認(rèn)、更改、補(bǔ)全模塊，用于確認(rèn)車牌號識別是否正確、更改識別錯(cuò)誤的識別結(jié)果、補(bǔ)全沒有識別的車牌號。
3.如權(quán)利要求1所述的基于計(jì)算機(jī)視覺的違章停車檢測裝置，其特征在于所述的微處理器還包括
網(wǎng)絡(luò)傳輸模塊，用于將所檢測到的車輛違章停車過程的視頻圖像、抓拍的違章車輛整體圖像以及相關(guān)的違章記錄通過網(wǎng)絡(luò)發(fā)送給執(zhí)法部門。
4.如權(quán)利要求1所述的基于計(jì)算機(jī)視覺的違章停車檢測裝置，其特征在于所述的微處理器還包括
實(shí)時(shí)播放模塊，用于將所檢測到的違章停車事件的相關(guān)視頻圖像、抓拍圖像通過該模塊播放到顯示設(shè)備。
5.如權(quán)利要求1-4之一所述的基于計(jì)算機(jī)視覺的違章停車檢測裝置，其特征在于在所述的多目標(biāo)跟蹤模塊中，將監(jiān)控場景中把前景車輛的像素點(diǎn)提取出來，包括有
自適應(yīng)背景消減單元，用于采用基于混合高斯分布模型的自適應(yīng)背景消除算法，針對圖像的YCrCb顏色空間中的亮度值Y分量進(jìn)行檢測，對每個(gè)圖像點(diǎn)采用了多個(gè)高斯模型的混合表示，設(shè)用來描述每個(gè)點(diǎn)顏色分布的高斯分布共有K個(gè)，分別標(biāo)記為(27)
η(Yt，μt，i，∑t，i)，i＝1，2，3…，k(27)
式(27)中的下標(biāo)t表示時(shí)間；
各高斯分布分別具有不同的權(quán)值和優(yōu)先級，再將K個(gè)背景模型按照優(yōu)先級從高到低的次序排序，取定適當(dāng)?shù)谋尘澳Ｐ蜋?quán)值和閾值，在檢測前景點(diǎn)時(shí)，按照優(yōu)先級次序?qū)t與各高斯分布模型逐一匹配，若匹配，則判定該點(diǎn)可能為前景點(diǎn)，否則為前景點(diǎn)；若某個(gè)高斯分布與Yt匹配，則對該高斯分布的權(quán)值和高斯參數(shù)按設(shè)定的更新率進(jìn)行更新；
陰影抑制單元，用于處理自適應(yīng)背景消減單元所得到的前景目標(biāo)中的陰影區(qū)域，先學(xué)習(xí)監(jiān)控場景的地面的顏色分量CrCb和亮度分量Y，當(dāng)碰到前景點(diǎn)時(shí)，判斷該點(diǎn)的顏色分量CrCb是否和監(jiān)控場景的地面相近，亮度分量Y是否比監(jiān)控場景的地面低，判斷算法由公式(28)表示
式(28)中標(biāo)記0的點(diǎn)屬于陰影，標(biāo)記1的點(diǎn)屬于前景，abs表示求其絕對值，Cr是該點(diǎn)的Cr顏色分量，Cb是該點(diǎn)的Cb顏色分量，RoadCr表示監(jiān)控區(qū)域的Cr顏色分量，RoadCb是道路的Cb顏色分量，threshold表示設(shè)置的閾值；
連通區(qū)域標(biāo)識單元，用于采用八連通區(qū)域提取算法得到車輛的大小和形狀信息；車輛對象跟蹤單元，用于在監(jiān)控場景中提取出前景車輛對象后，采用基于目標(biāo)顏色特征跟蹤算法，利用車輛目標(biāo)對象的顏色特征在視頻圖像中找到車輛目標(biāo)對象所在的位置和大小，在下一幀視頻圖像中，用車輛目標(biāo)當(dāng)前的位置和大小初始化搜尋窗口，重復(fù)這個(gè)過程來實(shí)現(xiàn)對車輛目標(biāo)的連續(xù)跟蹤。
6.如權(quán)利要求5所述的基于計(jì)算機(jī)視覺的違章停車檢測裝置，其特征在于所述的車牌識別模塊包括
車牌圖像預(yù)處理單元，用于對原始圖像進(jìn)行各種區(qū)域處理，在首先對車牌圖像進(jìn)行灰度拉伸，采用全局閾值化方法對圖像進(jìn)行二值化處理，接著對其采用中值濾波；
車牌定位單元，用于在整幅車牌圖像中對車牌進(jìn)行水平與垂直投影定位車牌，根據(jù)牌照特征對車輛整體圖像中的有可能存在牌照的地方進(jìn)行粗檢測，如果發(fā)現(xiàn)有類似牌照則進(jìn)行定位，反之要求系統(tǒng)重新抓拍車輛圖像；
車牌字符分割單元，用于將車牌字符分割成單一字符，采用字符垂直投影直方圖與車牌字符先驗(yàn)寬度信息相結(jié)合進(jìn)行分割；
歸一化處理單元，用于車牌特征提取與識別，將字符變化為統(tǒng)一的大小格式，采用鄰近插值的歸一化方法；
提取特征單元，用于后期的字符識別，從圖像中提取各種能夠區(qū)分不同字符種類的數(shù)學(xué)特征，采用PCA方法進(jìn)行字符特征提取，并用RS對特征進(jìn)行約簡，將約簡后的特征送入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；
字符識別單元，用于對分割后的車牌字符進(jìn)行識別，考采用多級多分類器，將模板匹配與神經(jīng)網(wǎng)絡(luò)相結(jié)合，采用數(shù)字、字母、數(shù)字字母混合及漢字識別分類器進(jìn)行識別。
全文摘要
一種基于計(jì)算機(jī)視覺的違章停車檢測裝置，包括用于獲取監(jiān)控區(qū)域的視頻圖像的全方位視覺傳感器、用于抓拍違章停車車輛詳細(xì)局部圖像信息的快速球攝像機(jī)以及用于對視頻圖像進(jìn)行理解分析并進(jìn)行違章停車檢測的微處理器，微處理器通過大范圍監(jiān)控視覺傳感器與快速球攝像裝置之間的映射關(guān)系將該違章停車的車輛空間位置信息指示快速球攝像裝置對該違章車輛進(jìn)行抓拍，然后對所抓拍的違章整體圖像進(jìn)行車牌識別，得到該違章車輛的車牌號，接著通過語音播放單元警示違章停車司機(jī)不要違章停車，在警示勸說不起作用的情況下，系統(tǒng)自動生成一條違章停車記錄。本發(fā)明減少違章停車執(zhí)法人員的工作強(qiáng)度、實(shí)現(xiàn)違章停車的實(shí)時(shí)自動檢測，具有檢測范圍廣、效率高等特點(diǎn)。
文檔編號G06K9/00GK101183427SQ200710164480
公開日2008年5月21日 申請日期2007年12月5日 優(yōu)先權(quán)日2007年12月5日
發(fā)明者湯一平, 龐成俊, 陸海峰, 何祖靈, 陳耀宇 申請人:浙江工業(yè)大學(xué)