基于Hadoop大數(shù)據(jù)平臺(tái)的卡口數(shù)據(jù)過邊界實(shí)施方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及卡口過車信息數(shù)據(jù)過邊界技術(shù)領(lǐng)域，尤其是一種基于Hadoop大數(shù)據(jù)平臺(tái)的卡口數(shù)據(jù)過邊界實(shí)施方法。
【背景技術(shù)】
[0002]隨著平安城市、智慧城市項(xiàng)目的推進(jìn)，平安城市卡口系統(tǒng)產(chǎn)生了大量的數(shù)據(jù)，據(jù)統(tǒng)計(jì)，平安合肥卡口系統(tǒng)每日產(chǎn)生100多萬條數(shù)據(jù)，如何及時(shí)快速高效的處理這些數(shù)據(jù)已成為平安城市建設(shè)中的熱點(diǎn)，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)方法已無法滿足當(dāng)前的業(yè)務(wù)需求，100多萬條數(shù)據(jù)平均每秒數(shù)據(jù)處理10多條數(shù)據(jù)，若直接從Hadoop大數(shù)據(jù)平臺(tái)中讀取批量信息的所有字段會(huì)大大降低了處理數(shù)據(jù)的效率，同時(shí)在數(shù)據(jù)傳輸方面也有著很大的限制。
[0003]數(shù)據(jù)過邊界處理即系統(tǒng)所需數(shù)據(jù)由視頻網(wǎng)到公安網(wǎng)的數(shù)據(jù)傳輸處理過程，所謂邊界，通俗的說就是視頻網(wǎng)和公安網(wǎng)的之間的邊界，即怎樣把數(shù)據(jù)從視頻網(wǎng)傳輸?shù)焦簿W(wǎng)，這屬于不同網(wǎng)段之間的數(shù)據(jù)傳輸。目前的數(shù)據(jù)過邊界處理方法僅僅局限于同一個(gè)網(wǎng)段的某一個(gè)服務(wù)領(lǐng)域，比如僅僅只是針對(duì)報(bào)文的傳輸，并非對(duì)各種數(shù)據(jù)信息都可傳輸，應(yīng)用領(lǐng)域較窄，因此，對(duì)于數(shù)據(jù)過邊界的問題處理上也相形見絀?？梢姡瑪?shù)據(jù)過邊界處理問題也成為當(dāng)前數(shù)據(jù)傳輸、管理的一個(gè)熱點(diǎn)問題。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于提供一種實(shí)時(shí)同步、高效率地滿足日常業(yè)務(wù)中視頻網(wǎng)卡口過車信息同步公安網(wǎng)的需求，能夠應(yīng)用于各種數(shù)據(jù)過邊界傳輸領(lǐng)域的基于Hadoop大數(shù)據(jù)平臺(tái)的卡口數(shù)據(jù)過邊界實(shí)施方法。
[0005]為實(shí)現(xiàn)上述目的，本發(fā)明采用了以下技術(shù)方案:一種基于Hadoop大數(shù)據(jù)平臺(tái)的卡口數(shù)據(jù)過邊界實(shí)施方法，該方法包括下列順序的步驟:
(1)視頻網(wǎng)的卡口抓取服務(wù)器定時(shí)從前端交通卡口的Hadoop大數(shù)據(jù)平臺(tái)中抓取過車信息數(shù)據(jù)，并將該數(shù)據(jù)存入業(yè)務(wù)前置機(jī)的第一 Oracle數(shù)據(jù)庫(kù)，業(yè)務(wù)前置機(jī)定時(shí)通過FTP協(xié)議從卡口抓取服務(wù)器中存儲(chǔ)的過車圖片地址URL到前端的交通卡口系統(tǒng)服務(wù)器中下載過車圖片；
(2)邊界網(wǎng)關(guān)以輪詢的方式與視頻網(wǎng)的業(yè)務(wù)前置機(jī)的第一Oracle數(shù)據(jù)庫(kù)交互，獲取業(yè)務(wù)前置機(jī)的第一 Oracle數(shù)據(jù)庫(kù)的增量數(shù)據(jù)信息；
(3)邊界網(wǎng)關(guān)將獲得的過車信息數(shù)據(jù)以及過車圖片通過擺渡的方式同步至公安網(wǎng)的業(yè)務(wù)服務(wù)器中；
(4)公安網(wǎng)的數(shù)據(jù)中心系統(tǒng)定時(shí)從業(yè)務(wù)服務(wù)器的第二Oracle數(shù)據(jù)庫(kù)中抓取過車信息數(shù)據(jù)，同時(shí)從第二 FTP圖片庫(kù)中獲取過車圖片。
[0006]所述業(yè)務(wù)前置機(jī)的第一 Oracle數(shù)據(jù)庫(kù)和業(yè)務(wù)服務(wù)器的第二 Oracle數(shù)據(jù)庫(kù)，二者所有字段保持一致；所述過車信息數(shù)據(jù)包含過車圖片地址URL。
[0007]所述卡口抓取服務(wù)器從Hadoop大數(shù)據(jù)平臺(tái)中抓取過車信息數(shù)據(jù)，包括以下步驟: (1)卡口抓取服務(wù)器以HBase_PK值作為唯一的主鍵且按多線程的方式讀取Hadoop大數(shù)據(jù)平臺(tái)的數(shù)據(jù)；
(2)對(duì)已經(jīng)讀取的數(shù)據(jù)，標(biāo)記單實(shí)例標(biāo)識(shí)位為false，反之，對(duì)未讀取的數(shù)據(jù)，標(biāo)記單實(shí)例標(biāo)識(shí)位為true，每次讀取前，判斷該數(shù)據(jù)的單實(shí)例標(biāo)識(shí)位是否為false，若判斷結(jié)果為是，則將讀取的數(shù)據(jù)存入業(yè)務(wù)前置機(jī)的第一 Oracle數(shù)據(jù)庫(kù)，否則，返回上一步。
[0008]所述業(yè)務(wù)前置機(jī)設(shè)定定時(shí)任務(wù)，定時(shí)通過FTP協(xié)議從卡口抓取服務(wù)器中存儲(chǔ)的過車圖片地址URL到前端的交通卡口系統(tǒng)服務(wù)器中下載過車圖片，并將圖片命名格式為:P+通tx時(shí)間+號(hào)牌號(hào)碼+.jpg或F+通彳丁時(shí)間+號(hào)牌號(hào)碼+.jpg，其中，P為全景圖像PAN0RAMA_IMAGE的首字母，F(xiàn)為特征圖像FEATURE_IMAGE的首字母，將圖片存儲(chǔ)在其第一 FTP圖片庫(kù)內(nèi)；下載后，將卡口抓取服務(wù)器內(nèi)存儲(chǔ)的源文件刪除。
[0009]所述邊界網(wǎng)關(guān)的數(shù)據(jù)平臺(tái)UAS以輪詢的方式和業(yè)務(wù)前置機(jī)的第一 Oracle數(shù)據(jù)庫(kù)、第一 FTP圖片庫(kù)交互，獲取業(yè)務(wù)前置機(jī)增量數(shù)據(jù)信息，所述增量數(shù)據(jù)信息是指新增的過車信息數(shù)據(jù)和/或過車圖片信息；接著，數(shù)據(jù)平臺(tái)UAS將獲取得到的數(shù)據(jù)通過網(wǎng)閘擺渡到數(shù)據(jù)平臺(tái)TAS上，數(shù)據(jù)平臺(tái)TAS收到數(shù)據(jù)后再寫入業(yè)務(wù)服務(wù)器中，同時(shí)刪除其內(nèi)的源文件。
[0010]所述業(yè)務(wù)服務(wù)器獲取數(shù)據(jù)后，將過車數(shù)據(jù)存儲(chǔ)到其第二 Oracle數(shù)據(jù)庫(kù)及第二 FTP圖片庫(kù)中，供數(shù)據(jù)中心系統(tǒng)抽取，數(shù)據(jù)中心系統(tǒng)從第二 Oracle數(shù)據(jù)庫(kù)及第二 FTP圖片庫(kù)抽取后，將第二 Oracle數(shù)據(jù)庫(kù)及第二 FTP圖片庫(kù)中的源數(shù)據(jù)刪除。
[0011]所述卡口抓取服務(wù)器單次定量處理數(shù)據(jù)，分為20個(gè)線程，每個(gè)線程處理50條數(shù)據(jù)，讀取每條數(shù)據(jù)的各個(gè)字段并保存到業(yè)務(wù)前置機(jī)的第一 Oracle數(shù)據(jù)庫(kù)中。
[0012]所述邊界網(wǎng)關(guān)獲取業(yè)務(wù)前置機(jī)的第一 Oracle數(shù)據(jù)庫(kù)、第一 FTP圖片庫(kù)內(nèi)的過車信息時(shí)采取增量讀取的方式，首先記錄每次讀取數(shù)據(jù)的時(shí)間點(diǎn)，每次讀取時(shí)按照Hadoop大數(shù)據(jù)平臺(tái)中數(shù)據(jù)先進(jìn)先出的原則，首先取出最先進(jìn)入Hadoop大數(shù)據(jù)平臺(tái)的數(shù)據(jù)，讀取完成后記錄最后一條數(shù)據(jù)的時(shí)間點(diǎn)，下次從該時(shí)間點(diǎn)開始讀取。
[0013]由上述技術(shù)方案可知，本發(fā)明的優(yōu)點(diǎn)在于:第一，利用多線程方式對(duì)數(shù)據(jù)信息讀取、傳輸，處理效率較高；第二，對(duì)過邊界數(shù)據(jù)處理方式較靈活，可應(yīng)用于不同系統(tǒng)對(duì)數(shù)據(jù)過邊界處理，應(yīng)用于不同的服務(wù)領(lǐng)域；第三，本發(fā)明在數(shù)據(jù)過邊界過程定時(shí)清理冗余數(shù)據(jù)，保證數(shù)據(jù)傳輸暢通，進(jìn)一步的提高了數(shù)據(jù)處理的效率；第四，解決了海量數(shù)據(jù)過邊界傳輸，滿足大數(shù)據(jù)處理要求；第五，對(duì)各種數(shù)據(jù)信息都可傳輸，可廣泛利用到其他軟件系統(tǒng)數(shù)據(jù)過邊界服務(wù)的實(shí)施。
【附圖說明】
[0014]圖1為本發(fā)明的網(wǎng)絡(luò)拓?fù)鋱D。
[0015]圖2為本發(fā)明中視頻網(wǎng)的數(shù)據(jù)處理方法流程圖。
[0016]圖3為本發(fā)明中邊界網(wǎng)關(guān)連通視頻網(wǎng)和公安網(wǎng)的方法流程圖。
[0017]圖4為本發(fā)明中公安網(wǎng)的數(shù)據(jù)存儲(chǔ)方法流程圖。
[0018]圖5為本發(fā)明的卡口過車數(shù)據(jù)管理的方法流程圖。
【具體實(shí)施方式】
[0019]如圖1所示，一種基于Hadoop大數(shù)據(jù)平臺(tái)的卡口數(shù)據(jù)過邊界實(shí)施方法，包括:(1)視頻網(wǎng)10的卡口抓取服務(wù)器11定時(shí)從前端交通卡口的Hadoop大數(shù)據(jù)平臺(tái)中抓取過車信息數(shù)據(jù)，并將該數(shù)據(jù)存入業(yè)務(wù)前置機(jī)12的第一 Oracle數(shù)據(jù)庫(kù)121，業(yè)務(wù)前置機(jī)12定時(shí)通過FTP協(xié)議從卡口抓取服務(wù)器11中存儲(chǔ)的過車圖片地址URL到前端的交通卡口系統(tǒng)服務(wù)器中下載過車圖片；(2)邊界網(wǎng)關(guān)20以輪詢的方式與視頻網(wǎng)10的業(yè)務(wù)前置機(jī)12的第一Oracle數(shù)據(jù)庫(kù)121交互，獲取業(yè)務(wù)前置機(jī)12的第一 Oracle數(shù)據(jù)庫(kù)121的增量數(shù)據(jù)信息；
(3)邊界網(wǎng)關(guān)20將獲得的過車信息數(shù)據(jù)以及過車圖片通過擺渡的方式同步至公安網(wǎng)30的業(yè)務(wù)服務(wù)器31中；(4)公安網(wǎng)30的數(shù)據(jù)中心系統(tǒng)32定時(shí)從業(yè)務(wù)服務(wù)器31的第二 Oracle數(shù)據(jù)庫(kù)311中抓取過車信息數(shù)據(jù)，同時(shí)從第二 FTP圖片庫(kù)312中獲取過車圖片。所述業(yè)務(wù)前置機(jī)12的第一 Oracle數(shù)據(jù)庫(kù)121和業(yè)務(wù)服務(wù)器31的第二 Oracle數(shù)據(jù)庫(kù)311，二者所有字段保持一致；所述過車信息數(shù)據(jù)包含過車圖片地址URL。
[0020]如圖2、5所示，所述卡口抓取服務(wù)器11從Hadoop大數(shù)據(jù)平臺(tái)中抓取過車信息數(shù)據(jù)，包括以下步驟:(I)卡口抓取服務(wù)器11以HBase_PK值作為唯一的主鍵且按多線程的方式讀取Hadoop大數(shù)據(jù)平臺(tái)的數(shù)據(jù)；(2 )為避免重復(fù)讀取數(shù)據(jù)，對(duì)已經(jīng)讀取的數(shù)據(jù)，標(biāo)記單實(shí)例標(biāo)識(shí)位為false，反之，對(duì)未讀取的數(shù)據(jù)，標(biāo)記單實(shí)例標(biāo)識(shí)位為true，每次讀取前，判斷該數(shù)據(jù)的單實(shí)例標(biāo)識(shí)位是否為false，若判斷結(jié)果為是，則將讀取的數(shù)據(jù)存入業(yè)務(wù)前置機(jī)12的第一 Oracle數(shù)據(jù)庫(kù)121，否則，返回上一步?？谧ト》?wù)器11使用數(shù)字證書認(rèn)證方式和可信網(wǎng)關(guān)建立安全加密通道，得到訪問業(yè)務(wù)前置機(jī)12邊界應(yīng)用服務(wù)區(qū)的權(quán)限，通過數(shù)據(jù)抽取服務(wù)定時(shí)將過車數(shù)據(jù)插入到業(yè)務(wù)前置機(jī)12的數(shù)據(jù)庫(kù)，實(shí)現(xiàn)數(shù)據(jù)在應(yīng)用服務(wù)區(qū)落地。
[0021]如圖2、5所示，所述卡口抓取服務(wù)器11單次定量處理數(shù)據(jù)，分為20個(gè)線程，每個(gè)線程處理50條數(shù)據(jù)，讀取每條數(shù)據(jù)的各個(gè)字段并保存到業(yè)務(wù)前置機(jī)12的第一 Oracle數(shù)據(jù)庫(kù)121中?？谙到y(tǒng)中卡口數(shù)據(jù)量較大，當(dāng)前卡口系統(tǒng)每天最多時(shí)數(shù)據(jù)量在100萬以上，若全部處理完成，每秒平均在10幾條，因此采用多線程的方式。由于從Hadoop中讀取批量信息的所有字段速度較慢，采用首先讀取批量信息的主鍵值，然后根據(jù)主鍵值去查找該信息的詳情。所