一種交通數(shù)據(jù)修復(fù)的云處理方法及其系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于城市道路交通流數(shù)據(jù)處理技術(shù)領(lǐng)域，特別設(shè)及一種交通數(shù)據(jù)修復(fù)的云 處理方法及其系統(tǒng)。
【背景技術(shù)】
[0002] 在城市道路交通控制系統(tǒng)運行過程中，系統(tǒng)中的各個數(shù)據(jù)采集設(shè)備可能會由于各 種設(shè)備故障而丟失檢測數(shù)據(jù)，另外，由于每個設(shè)備都需要不間斷地通過有線或無線的方式 向控制中屯、發(fā)送檢測數(shù)據(jù)，通信網(wǎng)絡(luò)的故障也會導(dǎo)致不同程度的數(shù)據(jù)缺失。在該些情況下， 就需要通過數(shù)據(jù)修復(fù)模型來補充缺失的數(shù)據(jù)，可W說數(shù)據(jù)修復(fù)是交通數(shù)據(jù)深化處理之前進 行的一項重要準(zhǔn)備工作。
[0003] W專利CN201010288050. 6、CN201210004829. X為代表的傳統(tǒng)的數(shù)據(jù)修復(fù)方法往 往是直接建立較為理想的數(shù)據(jù)修復(fù)模型，應(yīng)用各種數(shù)據(jù)修復(fù)算法對交通采集數(shù)據(jù)進行處 理，沒有考慮到實際城市道路交通現(xiàn)場較為復(fù)雜的數(shù)據(jù)采集情況；而且，該些方法主要是用 在后期的數(shù)據(jù)深化處理應(yīng)用中，沒有設(shè)及在數(shù)據(jù)采集前期的數(shù)據(jù)修復(fù)，處理效率較低，也沒 有實現(xiàn)適用于城市道路交通控制的交通數(shù)據(jù)修復(fù)整體解決方案。考慮到城市道路交通系 統(tǒng)固有的較強的非線性、模糊性與不確定性特點，W及交通系統(tǒng)對多方面、多層次交通信息 采集處理的需求，在智慧交通系統(tǒng)建設(shè)中采用傳統(tǒng)的數(shù)據(jù)修復(fù)處理模型難W得到理想的效 果。

【發(fā)明內(nèi)容】

[0004] 為了克服已有交通數(shù)據(jù)修復(fù)的處理方式的可靠性較差、性能較低、擴展性較差的 不足，本發(fā)明提供采用云處理方式對交通數(shù)據(jù)信息進行修復(fù)處理，是一種高可靠性、高性 能和強擴展性的交通數(shù)據(jù)修復(fù)的云處理方法及其系統(tǒng)。
[0005] 本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：
[0006] 所述云處理方法包含數(shù)據(jù)采集過程與數(shù)據(jù)處理過程，包括如下步驟；（1)所述數(shù) 據(jù)采集過程W路段為最小處理單位，所述路段為兩個相鄰交叉口之間的單向道路，采集每 個路段的交通數(shù)據(jù)；并W固定的數(shù)據(jù)采集周期C。上傳交通數(shù)據(jù)；
[0007] 所述交通數(shù)據(jù)中，數(shù)據(jù)頭部包含開始標(biāo)識與數(shù)據(jù)屬性信息，數(shù)據(jù)尾部包含結(jié)束標(biāo) 識，頭部和尾部之間為數(shù)據(jù)內(nèi)容部分；
[000引 （2)所述數(shù)據(jù)處理過程的處理步驟如下：
[0009] (2. 1)接收路段交通數(shù)據(jù)；
[0010] (2. 2)進入新的數(shù)據(jù)處理周期，查看是否存在數(shù)據(jù)缺失信號，如果存在，則進入步 驟（2. 3)，并記錄步驟化3)處理時間tpi，否則進入步驟化4);
[0011] (2. 3)清除數(shù)據(jù)缺失信號，并在;時間段內(nèi)反復(fù)發(fā)送缺失數(shù)據(jù)恢復(fù)請求，并準(zhǔn)備 2 接收回復(fù)數(shù)據(jù)，如果在時間段內(nèi)能夠收到一條回復(fù)的穩(wěn)定數(shù)據(jù)，則將該穩(wěn)定數(shù)據(jù)設(shè)置 為上一數(shù)據(jù)處理周期采集數(shù)據(jù)；如果在;時間段內(nèi)不能收到一條穩(wěn)定數(shù)據(jù)，則判斷上一 周期存在數(shù)據(jù)缺失，采用數(shù)據(jù)缺失修復(fù)方法對上一周期進行數(shù)據(jù)修復(fù)；
[001引 （2. 4)等待（C0-tM)時間并準(zhǔn)備接收采集數(shù)據(jù)，如果在（C0-tM)時間段內(nèi)能夠接受 到采集數(shù)據(jù)，則進入步驟（2. 5)，否則設(shè)置一個數(shù)據(jù)缺失信號，返回步驟（2.2);
[0013] (2. 5)判斷所接收數(shù)據(jù)是否受損，如果不存在數(shù)據(jù)受損或者數(shù)據(jù)為非嚴(yán)重受損，貝U 判斷數(shù)據(jù)為穩(wěn)定數(shù)據(jù)，返回步驟（2.2);如果存在數(shù)據(jù)受損，進入步驟化6);
[0014] (2. 6)發(fā)送受損數(shù)據(jù)恢復(fù)請求，如果能夠收到一條回復(fù)的穩(wěn)定數(shù)據(jù)，則將受損數(shù)據(jù) 替換為該穩(wěn)定數(shù)據(jù)，否則設(shè)置一個數(shù)據(jù)缺失信號；返回步驟（2. 2)。
[0015] 進一步，所述步驟（2. 5)中，判斷是否為受損數(shù)據(jù)的方法為：
[0016] (2. 5. 1)如果采集數(shù)據(jù)中不包含有數(shù)據(jù)頭部，則該數(shù)據(jù)為嚴(yán)重受損數(shù)據(jù)；
[0017] (2. 5. 2)如果采集數(shù)據(jù)中不包含有數(shù)據(jù)尾部，則該數(shù)據(jù)為嚴(yán)重受損數(shù)據(jù)；
[0018] (2. 5. 3)如果采集數(shù)據(jù)中包含有超過一個數(shù)據(jù)頭部或超過一個數(shù)據(jù)尾部，則該數(shù) 據(jù)為嚴(yán)重受損數(shù)據(jù)；
[0019] (2. 5. 4)比較采集數(shù)據(jù)的數(shù)據(jù)內(nèi)容部分的數(shù)據(jù)長度與數(shù)據(jù)頭部表示的數(shù)據(jù)長度， 如果數(shù)據(jù)內(nèi)容部分長度較大，則該數(shù)據(jù)為嚴(yán)重受損數(shù)據(jù)；如果數(shù)據(jù)內(nèi)容部分長度較小，采用 方法化5. 5);
[0020] (2. 5. 5)計算采集數(shù)據(jù)的數(shù)據(jù)頭部與尾部的或值〇HT= Ox巧lOxFY，如果有〇ht = OxFO,則分析數(shù)據(jù)內(nèi)容部分預(yù)設(shè)的幾個重要交通參數(shù)數(shù)據(jù)是否有效，如果有效，則該數(shù)據(jù)為 穩(wěn)定數(shù)據(jù)，否則該數(shù)據(jù)為嚴(yán)重受損數(shù)據(jù)。
[0021] 再進一步，所述步驟（1)中，數(shù)據(jù)內(nèi)容部分中包含時間數(shù)據(jù)，該時間數(shù)據(jù)為經(jīng)過規(guī) 則化處理的原始采集時間數(shù)據(jù)，對原始采集時間數(shù)據(jù)進行規(guī)則化處理的步驟為：
[0022] (1. 1)啟動交通數(shù)據(jù)采集單元，將啟動時間設(shè)定為數(shù)據(jù)采集周期的右規(guī)則化時間 t??；
[0023] (1.2)進入新的數(shù)據(jù)采集周期，設(shè)定該數(shù)據(jù)采集周期的左規(guī)則化時間為tu= tec;
[0024] (1.如計算該數(shù)據(jù)采集周期的右規(guī)則化時間tw= tu+C。，其中，C。為數(shù)據(jù)采集周期 時間；
[0025] (1. 4)獲取原始采集數(shù)據(jù)，如果在之前能夠正常獲取到交通數(shù)據(jù)，則轉(zhuǎn)入步驟 (1.5)，否則，轉(zhuǎn)入步驟（1.扣；
[0026] (1. W計算所采集的原始數(shù)據(jù)采集時間tee與左規(guī)則化時間之間的時間差t = tce-tu，如果有《Ae < ，則將發(fā)送數(shù)據(jù)中的時間數(shù)據(jù)設(shè)定為tu，否則將時間數(shù)據(jù)設(shè)定為 tw，轉(zhuǎn)入步驟（1.2)開始新的數(shù)據(jù)采集周期。
[0027] 一種交通數(shù)據(jù)修復(fù)的云處理方法實現(xiàn)的云處理系統(tǒng)，所述云處理系統(tǒng)包括交通數(shù) 據(jù)采集單元、交通數(shù)據(jù)采集管理單元和云處理單元，其中，
[002引所述交通數(shù)據(jù)采集單元，用于實時采集該路段的交通數(shù)據(jù)，并W固定的數(shù)據(jù)采集 周期c。將交通數(shù)據(jù)上傳到云處理單元和交通數(shù)據(jù)采集管理單元；W路段為最小處理單位， 所述路段為兩個相鄰交叉口之間的單向道路；每個路段包含至少一個交通數(shù)據(jù)采集單元； 每個路段對應(yīng)一個交通數(shù)據(jù)采集管理單元，用于管理該路段上的所有交通數(shù)據(jù)采集單元； 若干個路段組成一個云處理區(qū)域，該區(qū)域包含一個云處理單元，用于進行交通數(shù)據(jù)實時修 復(fù)處理并管理區(qū)域內(nèi)所有交通數(shù)據(jù)采集管理單元。
[0029] 交通數(shù)據(jù)采集管理單元實時接收所屬路段中所有交通數(shù)據(jù)采集單元的上傳數(shù)據(jù)， 并將上傳數(shù)據(jù)設(shè)定一定的有效時間，對超過有效時間的數(shù)據(jù)進行刪除；同時，在接收到云處 理單元的數(shù)據(jù)請求時向云處理單元發(fā)送數(shù)據(jù)。
[0030] 所述云處理單元包含數(shù)據(jù)處理模塊與協(xié)作管理模塊，其中，數(shù)據(jù)處理模塊不間斷 接收實時交通采集數(shù)據(jù)，將采集數(shù)據(jù)按照采集時間排序，并根據(jù)上傳數(shù)據(jù)的特征將采集數(shù) 據(jù)分為穩(wěn)定交通數(shù)據(jù)、受損交通數(shù)據(jù)與缺失交通數(shù)據(jù)=類，對不同類型的采集數(shù)據(jù)采用不 同的數(shù)據(jù)處理方法進行處理；協(xié)作管理模塊負(fù)責(zé)管理所屬交通數(shù)據(jù)采集管理單元，并根據(jù) 所屬交通數(shù)據(jù)采集管理單元的狀態(tài)動態(tài)調(diào)整分配交通數(shù)據(jù)采集管理單元所管理的交通數(shù) 據(jù)采集單元。
[0031] 所述交通數(shù)據(jù)采集單元采集的交通數(shù)據(jù)中，數(shù)據(jù)頭部包含開始標(biāo)識與數(shù)據(jù)屬性信 息，數(shù)據(jù)尾部包含結(jié)束標(biāo)識，頭部和尾部之間為數(shù)據(jù)內(nèi)容部分。
[0032] 所述交通數(shù)據(jù)采集單元所發(fā)送的數(shù)據(jù)內(nèi)容中包含時間數(shù)據(jù)，該時間數(shù)據(jù)為經(jīng)過規(guī) 則化處理的原始采集時間數(shù)據(jù)。
[0033] 所述云處理系統(tǒng)包括中屯、管理節(jié)點與至少一個云處理節(jié)點，中屯、管理節(jié)點包含一 個中屯、控制單元與一個中屯、服務(wù)單元；每個云處理節(jié)點包含一個云處理單元、一個云存儲 單元與一個云服務(wù)單元。
[0034] 所述云存儲單元同時存儲云處理單元修復(fù)處理前與修復(fù)處理后的數(shù)據(jù)，同時按照 預(yù)定時間定時備份處理數(shù)據(jù)；云服務(wù)單元中設(shè)置單元數(shù)據(jù)服務(wù)接口，用于訪問云存儲單元 中存儲數(shù)據(jù)。
[0035] 本發(fā)明的有益效果主要表現(xiàn)在；通過對交通數(shù)據(jù)采集管理單元與云處理單元的分 布式設(shè)計，確保了數(shù)據(jù)修復(fù)的穩(wěn)定性與可靠性；在云處理架構(gòu)與數(shù)據(jù)管理系統(tǒng)中通過對子 模塊的動態(tài)優(yōu)化調(diào)整實現(xiàn)了系統(tǒng)負(fù)載均衡，提升了系統(tǒng)的整體性能；同時，在數(shù)據(jù)管理系統(tǒng) 中提供的數(shù)據(jù)服務(wù)接口可簡單高效的方式實現(xiàn)對交通數(shù)據(jù)的訪問，滿足了系統(tǒng)高擴展 性的需求。
【附圖說明】
[0036] 圖1為本發(fā)明實施例中所述云處理系統(tǒng)架構(gòu)示意圖。
[0037] 圖2為交通采集管理單元結(jié)構(gòu)示意圖。
[003引圖3為交通數(shù)據(jù)采集數(shù)據(jù)流圖。
[0039] 圖4為本發(fā)明實施例交通采集數(shù)據(jù)示意圖。