一種基于Hadoop的套牌車識別方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于Hadoop的套牌車識別方法，包含以下順序的步驟：將各個智能卡口系統(tǒng)采集的過往車輛的信息，進(jìn)行預(yù)處理匯總，采用HBase分布式數(shù)據(jù)庫存儲車輛車流數(shù)據(jù)；利用Hadoop分布式框架對車流數(shù)據(jù)和卡口數(shù)據(jù)進(jìn)行建模和分析，通過Map-Reducer編程框架實現(xiàn)可疑套牌車識別，對可疑套牌車進(jìn)行行駛軌跡分析，建立套牌車預(yù)警信息庫。本發(fā)明的方法及系統(tǒng)，采用分布式技術(shù)，解決了現(xiàn)有技術(shù)中由于難以處理大數(shù)據(jù)量而導(dǎo)致難以有效識別套牌車輛等問題，可以有效地處理TB級以上的數(shù)據(jù)，能更多更準(zhǔn)確地發(fā)現(xiàn)套牌車，為交管部門查處套牌車提供依據(jù)。
【專利說明】—種基于Hadoop的套牌車識別方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及大數(shù)據(jù)分析領(lǐng)域，特別涉及一種基于Hadoop的套牌車識別方法及系統(tǒng)。

【背景技術(shù)】
[0002]隨著我國國民經(jīng)濟(jì)水平的增長，機(jī)動車保有量每年都在迅速增長，查處各種交通違法違章現(xiàn)象是確保交通安全的重要舉措。在各種交通違法違章中，車輛“套牌”是具有嚴(yán)重危害的違法行為。車輛“套牌”現(xiàn)象，指車輛非法使用與其他合法車輛相同的車牌號的現(xiàn)象。根據(jù)各地媒體的報道，“套牌”車輛嚴(yán)重危害交通運(yùn)輸行業(yè)及其運(yùn)營秩序，對人們的安全及合法車輛的利益形成嚴(yán)重的威脅。不法分子套用他人車輛牌照，逃避肇事責(zé)任、逃避稅費(fèi)和從事犯罪活動，嚴(yán)重影響了人民的生命財產(chǎn)安全，擾亂了社會秩序，危害了社會安全。治理“套牌”車輛，已成為各地公安部門和交通管理部門的重要任務(wù)。
[0003]已有文獻(xiàn)和公開的專利提出了套牌車的識別方法。目前的主要方法有車輛信息對比法和車輛行駛地點(diǎn)判別法。車輛信息對比法是在交通管理中心建立一個登記車輛信息庫，通過物聯(lián)網(wǎng)或視頻圖像分析獲得的車輛信息和數(shù)據(jù)庫中的車輛信息比對，如果不符，則該車牌是可疑套牌。如楊博提出的基于物聯(lián)網(wǎng)的套牌車檢測方法，采用電子標(biāo)簽技術(shù)，將存儲了機(jī)動車車牌和發(fā)動機(jī)號等信息的電子標(biāo)簽植入機(jī)動車，當(dāng)機(jī)動車駛?cè)氩挤赖谋O(jiān)控點(diǎn)覆蓋的范圍時，電子標(biāo)簽中的信息被自動讀出來，和交通管理部門數(shù)據(jù)庫中的車輛信息比對，信息不符則被認(rèn)定為套牌車。專利申請?zhí)枮?01310170646的方法是建立車型特征庫和車輛基礎(chǔ)庫，根據(jù)采集的車輛圖像識別車輛車牌、車型等，并與根據(jù)車牌從車型特征庫中檢索獲得的車型進(jìn)行比對識別套牌車輛。專利申請?zhí)枮?00910099475的方法是只要具有相同車牌號的兩輛以上的車輛同時出現(xiàn)在路上，根據(jù)出現(xiàn)的時間和地點(diǎn)識別是否套牌。寧波大學(xué)通過設(shè)置于車輛數(shù)據(jù)信息處理中心中的時間矩陣、輸入緩存區(qū)、窗口索引表、窗口數(shù)據(jù)存儲區(qū)提高了識別速度，實現(xiàn)在線識別。
[0004]上述方法在實際應(yīng)用時存在一些弊端。基于物聯(lián)網(wǎng)的套牌車識別方法需要給機(jī)動車植入電子標(biāo)簽和部署無線監(jiān)測點(diǎn)，成本較高；基于圖像和視頻的方法受光照、環(huán)境影響較大，準(zhǔn)確率不高，車輛行駛地點(diǎn)判別法需要處理的數(shù)據(jù)量大，要求處理系統(tǒng)的效率足夠高。這些方法都需要對每個經(jīng)過監(jiān)測點(diǎn)的車輛進(jìn)行分析和處理，計算量和數(shù)據(jù)量大。由于套牌車的活動范圍很廣，監(jiān)測點(diǎn)越多，采集的車輛信息越多時，將能更多地識別出套牌車牌。對于一個車輛保有量巨大的城市而言，每天采集的車輛數(shù)據(jù)量達(dá)到TB級，采用文件存儲或數(shù)據(jù)庫存儲方式，對數(shù)據(jù)的查詢和分析的效率是十分低下的，按單臺計算機(jī)lOOMB/sec計算，讀取2TB數(shù)據(jù)需要1.5小時，在此基礎(chǔ)上實現(xiàn)查詢分析幾乎是不可完成的任務(wù)，采用SQL數(shù)據(jù)庫是較常用的方法，但數(shù)據(jù)庫需要足夠強(qiáng)大的計算機(jī)，在TB及以上數(shù)據(jù)處理中，數(shù)據(jù)庫的數(shù)據(jù)管理和優(yōu)化難度極大。
[0005]為實現(xiàn)快速有效地分析大規(guī)模的交通車輛數(shù)據(jù)，需要一種新的技術(shù)方案來滿足交管部門的需求。


【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種基于Hadoop的套牌車識別方法。
[0007]本發(fā)明的另一目的在于提供一種基于Hadoop的套牌車識別系統(tǒng)。
[0008]本發(fā)明的目的通過以下的技術(shù)方案實現(xiàn):
[0009]一種基于Hadoop的套牌車識別方法，包含以下順序的步驟:
[0010]S1.對各個智能卡口系統(tǒng)采集的過往車輛的信息進(jìn)行預(yù)處理匯總，采用HBase分布式數(shù)據(jù)庫組織數(shù)據(jù)，進(jìn)行分布式存儲；
[0011]S2.利用Hadoop分布式框架對車流數(shù)據(jù)和卡口數(shù)據(jù)進(jìn)行建模和分析，通過Map-Reducer的編程框架實現(xiàn)可疑套牌車識別:
[0012](I)通過卡口的位置信息計算距離，對車流信息用正態(tài)分布擬合經(jīng)過卡口的速度值，用奇異值檢測方法，過濾異常速度值，統(tǒng)計得到卡口間的平均速度，求得卡口間的理論行駛時間；
[0013](2)根據(jù)車量通過卡口的時間得到實際行駛時間，當(dāng)實際行駛時間明顯小于理論行駛時間，則該車為可疑套牌車；
[0014]S3.對可疑套牌車進(jìn)行行駛軌跡分析，建立套牌車預(yù)警信息庫。
[0015]所述的步驟SI，具體包含以下順序的步驟:
[0016](I)將各個智能卡口系統(tǒng)采集的過往車輛車流信息的EXCEL格式文件轉(zhuǎn)換成CSV格式文件；
[0017](2)利用基于相似度的匹配算法對卡口數(shù)據(jù)文件和車流數(shù)據(jù)文件中的卡口信息進(jìn)行重新匹配；
[0018](3)對數(shù)據(jù)進(jìn)行規(guī)范和去噪處理；
[0019](4)將轉(zhuǎn)化完成后的統(tǒng)一格式文件，保存到HBase分布式數(shù)據(jù)庫中。
[0020]所述的步驟S2，具體包含以下步驟:
[0021]A、加載卡口信息數(shù)據(jù)，包括卡口名稱和位置經(jīng)緯度；
[0022]B、對每輛車經(jīng)過的全部卡口按通過卡口的時間排序；
[0023]C、遍歷排序過的卡口序列，分析車輛經(jīng)過兩個卡口的時間；若某車牌的車在不合理的時間間隔經(jīng)過兩個卡口，該車牌為可疑車牌，該車為可疑套牌車，具體如下:
[0024]a、根據(jù)卡口的經(jīng)緯度計算相鄰兩個卡口的距離:

【權(quán)利要求】
1.一種基于Hadoop的套牌車識別方法，其特征在于，包含以下順序的步驟: 51.對各個智能卡口系統(tǒng)采集的過往車輛的信息進(jìn)行預(yù)處理匯總，采用HBase分布式數(shù)據(jù)庫組織數(shù)據(jù)，進(jìn)行分布式存儲； 52.利用Hadoop分布式框架對車流數(shù)據(jù)和卡口數(shù)據(jù)進(jìn)行建模和分析，通過Map-Reducer的編程框架實現(xiàn)可疑套牌車識別: (1)通過卡口的位置信息計算距離，對車流信息用正態(tài)分布擬合經(jīng)過卡口的速度值，用奇異值檢測方法，過濾異常速度值，統(tǒng)計得到卡口間的平均速度，求得卡口間的理論行駛時間； (2)根據(jù)車量通過卡口的時間得到實際行駛時間，當(dāng)實際行駛時間明顯小于理論行駛時間，則該車為可疑套牌車； 53.對可疑套牌車進(jìn)行行駛軌跡分析，建立套牌車預(yù)警信息庫。
2.根據(jù)權(quán)利要求1所述的基于Hadoop的套牌車識別方法，其特征在于:所述的步驟SI，具體包含以下順序的步驟: (1)將各個智能卡口系統(tǒng)采集的過往車輛車流信息的EXCEL格式文件轉(zhuǎn)換成CSV格式文件； (2)利用基于相似度的匹配算法對卡口數(shù)據(jù)文件和車流數(shù)據(jù)文件中的卡口信息進(jìn)行重新匹配； (3)對數(shù)據(jù)進(jìn)行規(guī)范和去噪處理； (4)將轉(zhuǎn)化完成后的統(tǒng)一格式文件，保存到HBase分布式數(shù)據(jù)庫中。
3.根據(jù)權(quán)利要求1所述的基于Hadoop的套牌車識別方法，其特征在于:所述的步驟S2，具體包含以下步驟: A、加載卡口信息數(shù)據(jù)，包括卡口名稱和位置經(jīng)緯度； B、對每輛車經(jīng)過的全部卡口按通過卡口的時間排序； C、遍歷排序過的卡口序列，分析車輛經(jīng)過兩個卡口的時間；若某車牌的車在不合理的時間間隔經(jīng)過兩個卡口，該車牌為可疑車牌，該車為可疑套牌車，具體如下: a、根據(jù)卡口的經(jīng)緯度計算相鄰兩個卡口的距離:
其中，EARTH_RADIUS是地球的半徑，IngUlatl分別為卡口 I的經(jīng)度、緯度，Ing2、lat2分別為卡口 2的經(jīng)度、緯度； b、將車輛行駛速度設(shè)定一個上限值V，利用公式t= Distance/v計算兩個卡口間理論上的行駛時間T ;車輛通過兩個卡口的時間為Tl和T2，則車輛在兩個卡口之間實際行駛時間為T1-T2:若實際行駛時間大于理論行駛時間T，則合理；否則，該車牌為可疑車牌。
4.根據(jù)權(quán)利要求1所述的基于Hadoop的套牌車識別方法，其特征在于:所述的步驟S3，具體包含以下順序的步驟: A、對可疑車牌，輸出車牌號碼、車牌種類、車牌顏色，發(fā)現(xiàn)可疑車牌的卡口名稱及該車牌關(guān)聯(lián)的卡口序列； B、根據(jù)可疑套牌車的卡口序列，分析行駛軌跡，定位套牌車活動區(qū)域；當(dāng)一輛車經(jīng)過兩個卡口的時間不合理時，這兩個卡口可能是套牌車輛的兩條路徑分別經(jīng)過的卡口 ；利用交通道路圖和卡口分布圖，以及對車輛軌跡的統(tǒng)計分析，判斷這兩個卡口的相鄰卡口，然后繼續(xù)判斷相鄰卡口的相鄰卡口，形成套牌車輛的行駛路徑，從而定位可疑套牌車的活動區(qū)域； C、建立套牌車預(yù)警信息庫，包括可疑套牌車輛的車牌號碼、車牌種類、車牌顏色，發(fā)現(xiàn)疑問的卡口名稱及套牌車的可能活動區(qū)域。
5.一種基于Hadoop的套牌車識別系統(tǒng)，其特征在于:包括車流數(shù)據(jù)預(yù)處理和存儲模塊、車流數(shù)據(jù)分析模塊、基于web的查詢輸出模塊，其中 車流數(shù)據(jù)預(yù)處理和處理模塊，將各個智能卡口系統(tǒng)采集的過往車輛的信息，進(jìn)行預(yù)處理后匯總，采用HBase分布式數(shù)據(jù)庫組織數(shù)據(jù)，進(jìn)行分布式存儲； 車流數(shù)據(jù)分析模塊，利用Hadoop分布式框架對車流數(shù)據(jù)和卡口數(shù)據(jù)進(jìn)行建模和分析，通過Map-Reducer的編程框架實現(xiàn)基于距離-時間的合理差檢測，識別可疑套牌車，并對可疑套牌車進(jìn)行行駛軌跡分析，建立套牌車預(yù)警信息庫； 基于web的查詢輸出模塊，實現(xiàn)對可疑套牌車輛檢測系統(tǒng)的控制、套牌車識別結(jié)果的展示輸出及對卡口數(shù)據(jù)的查詢。
6.根據(jù)權(quán)利要求5所述的基于Hadoop的套牌車識別系統(tǒng)，其特征在于:車流數(shù)據(jù)預(yù)處理和處理模塊中，所述的車流數(shù)據(jù)預(yù)處理通過ETL模塊實現(xiàn)，用于對原始數(shù)據(jù)的提取、轉(zhuǎn)換、重新保存到分布式數(shù)據(jù)庫Hbase中。
7.根據(jù)權(quán)利要求5所述的基于Hadoop的套牌車識別系統(tǒng)，其特征在于:車流數(shù)據(jù)分析模塊中，所述的Mapper-Reducer編程框架包括Mapper模塊和Reducer模塊，Mapper模塊實現(xiàn)對車流信息數(shù)據(jù)的讀取，解析車流信息數(shù)據(jù)，將輸出的數(shù)據(jù)傳入Reducer模塊做進(jìn)一步處理；RedUce模塊分析車流數(shù)據(jù)，識別套牌車牌；輸出的結(jié)果為可疑的套牌車牌。
8.根據(jù)權(quán)利要求5所述的基于Hadoop的套牌車識別系統(tǒng)，其特征在于:所述的基于web的查詢輸出模塊，對卡口數(shù)據(jù)及分析結(jié)果進(jìn)行展示；對可疑套牌車輛檢測系統(tǒng)進(jìn)行控制；采用BS架構(gòu)。
9.根據(jù)權(quán)利要求8所述的基于Hadoop的套牌車識別系統(tǒng)，其特征在于:所述的卡口數(shù)據(jù)和分析結(jié)果查詢包括:基本車流數(shù)據(jù)查詢、基本卡口數(shù)據(jù)查詢、可疑套牌檢測結(jié)果查詢。
【文檔編號】G06F17/30GK104200669SQ201410407364
【公開日】2014年12月10日 申請日期:2014年8月18日 優(yōu)先權(quán)日:2014年8月18日
【發(fā)明者】陳瓊, 汪勁松, 陳志云 申請人:華南理工大學(xué), 廣東賽諾科技發(fā)展有限公司