本發(fā)明涉及一種計算機數(shù)據(jù)管理技術(shù)，特別是涉及一種基于事件分類的交通元數(shù)據(jù)管理方法及系統(tǒng)。
背景技術(shù)：
：在智能交通系統(tǒng)中，每天源源不斷地產(chǎn)生不同種類的交通數(shù)據(jù)，例如來自道路攝像頭的監(jiān)控視頻信和圖像數(shù)據(jù)、來自交通路網(wǎng)傳感器的交通流量和道路占有率數(shù)據(jù)、來自交通管理部門的交通違規(guī)和事故數(shù)據(jù)等。數(shù)據(jù)的規(guī)模達到了TB甚至PB級，數(shù)據(jù)類型種類繁多，主要有，并且，交通數(shù)據(jù)有一定的特征，例如道路交通數(shù)據(jù)除時間特性外還具有很強的空間特性；道路交通流信息存在實時性的特點，短期內(nèi)信息會迅速膨脹；交通事故多發(fā)于早晚高峰時間、節(jié)假日以及車流量大的地區(qū)等。目前海量數(shù)據(jù)存儲系統(tǒng)大多采用了對象存儲技術(shù)，將數(shù)據(jù)和描述數(shù)據(jù)的元數(shù)據(jù)分開存儲，引入了元數(shù)據(jù)服務(wù)器，在基于對象的空間數(shù)據(jù)的存儲架構(gòu)中，元數(shù)據(jù)的訪問達到了50％～80％，元數(shù)據(jù)的操作占文件系統(tǒng)中所有文件操作的50％，由此可見，元數(shù)據(jù)服務(wù)器的性能成為決定系統(tǒng)性能的關(guān)鍵因素。由于交通數(shù)據(jù)具有來源廣泛、數(shù)據(jù)規(guī)模龐大、形式多樣、異構(gòu)性和多層次的特點，以及不同用戶對不同數(shù)據(jù)的需求不同，現(xiàn)有的元數(shù)據(jù)管理策略存在著元數(shù)據(jù)服務(wù)器之間負載不均衡和數(shù)據(jù)檢索速度低等問題，最終導(dǎo)致用戶訪問的延遲，不能很好地應(yīng)用于智能交通平臺。鑒于此，如何找到方便用戶快捷有效訪問的交通數(shù)據(jù)管理方案就成了本領(lǐng)域技術(shù)人員亟待解決的問題。技術(shù)實現(xiàn)要素：鑒于以上所述現(xiàn)有技術(shù)的缺點，本發(fā)明的目的在于提供一種基于事件分類的交通元數(shù)據(jù)管理方法及系統(tǒng)，用于解決現(xiàn)有技術(shù)中交通元數(shù)據(jù)服務(wù)器之間負載不均衡和數(shù)據(jù)檢索速度低等問題。為實現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種基于事件分類的交通元數(shù)據(jù)管理方法，所述基于事件分類的交通元數(shù)據(jù)管理方法包括：獲取交通元數(shù)據(jù)，并根據(jù)預(yù)設(shè)的決策樹算法利用所述交通元數(shù)據(jù)的屬性值進行決策，將所述交通元數(shù)據(jù)分成熱點數(shù)據(jù)或非熱點數(shù)據(jù)；根據(jù)元數(shù)據(jù)服務(wù)器的狀態(tài)指標值采用模糊優(yōu)選法確定第一目標服務(wù)器以及第二目標服務(wù)器；將所述熱點數(shù)據(jù)和非熱點數(shù)據(jù)存儲到第一目標服務(wù)器，將所述熱點數(shù)據(jù)復(fù)制到第二目標服務(wù)器?？蛇x地，所述交通元數(shù)據(jù)的屬性包括時間、地段和事件類型。可選地，所述決策樹算法包括C4.5決策樹算法?？蛇x地，根據(jù)元數(shù)據(jù)服務(wù)器的狀態(tài)指標值采用模糊優(yōu)選法確定第一目標服務(wù)器以及第二目標服務(wù)器的具體實現(xiàn)包括：獲取當前所有元數(shù)據(jù)服務(wù)器的狀態(tài)指標值，并根據(jù)所述元數(shù)據(jù)服務(wù)器的狀態(tài)指標值確定目標服務(wù)器；根據(jù)所有的目標服務(wù)器的狀態(tài)指標值建立相對優(yōu)屬度矩陣，并對所述相對優(yōu)屬度矩陣進行歸一化轉(zhuǎn)化成規(guī)范矩陣；利用熵權(quán)法計算各個所述狀態(tài)指標相應(yīng)的熵權(quán)，進而計算得到加權(quán)目標優(yōu)屬度矩陣；根據(jù)所述加權(quán)目標優(yōu)屬度矩陣計算相對優(yōu)屬度向量，從而確定第一目標服務(wù)器與第二目標服務(wù)器。可選地，所述狀態(tài)指標值包括：CPU利用率、內(nèi)存利用率、IO利用率、帶寬利用率、元數(shù)據(jù)總熱度以及傳輸成本的任一組合?？蛇x地，所述基于事件分類的交通元數(shù)據(jù)管理方法還包括：當一個元數(shù)據(jù)服務(wù)器滿足設(shè)定遷移條件時，選出所述元數(shù)據(jù)服務(wù)器中最熱的子樹數(shù)據(jù)，將所述最熱的子樹數(shù)據(jù)遷移到所述第一目標服務(wù)器?？蛇x地，所述設(shè)定遷移條件包括：所述元數(shù)據(jù)服務(wù)器的CPU利用率大于90％。本發(fā)明提供一種基于事件分類的交通元數(shù)據(jù)管理系統(tǒng)，所述基于事件分類的交通元數(shù)據(jù)管理系統(tǒng)包括：交通元數(shù)據(jù)處理模塊，用于獲取交通元數(shù)據(jù)，并根據(jù)預(yù)設(shè)的決策樹算法利用所述交通元數(shù)據(jù)的屬性值進行決策，將所述交通元數(shù)據(jù)分成熱點數(shù)據(jù)或非熱點數(shù)據(jù)；目標服務(wù)器確定模塊，用于根據(jù)元數(shù)據(jù)服務(wù)器的狀態(tài)指標值采用模糊優(yōu)選法確定第一目標服務(wù)器以及第二目標服務(wù)器；數(shù)據(jù)存儲復(fù)制模塊，用于將所述熱點數(shù)據(jù)和非熱點數(shù)據(jù)存儲到第一目標服務(wù)器，將所述熱點數(shù)據(jù)復(fù)制到第二目標服務(wù)器。可選地，所述交通元數(shù)據(jù)的屬性包括時間、地段和事件類型?？蛇x地，所述決策樹算法包括C4.5決策樹算法?？蛇x地，根據(jù)元數(shù)據(jù)服務(wù)器的狀態(tài)指標值采用模糊優(yōu)選法確定第一目標服務(wù)器以及第二目標服務(wù)器的具體實現(xiàn)包括：獲取當前所有元數(shù)據(jù)服務(wù)器的狀態(tài)指標值，并根據(jù)所述元數(shù)據(jù)服務(wù)器的狀態(tài)指標值確定目標服務(wù)器；根據(jù)所有的目標服務(wù)器的狀態(tài)指標值建立相對優(yōu)屬度矩陣，并對所述相對優(yōu)屬度矩陣進行歸一化轉(zhuǎn)化成規(guī)范矩陣；利用熵權(quán)法計算各個所述狀態(tài)指標相應(yīng)的熵權(quán)，進而計算得到加權(quán)目標優(yōu)屬度矩陣；根據(jù)所述加權(quán)目標優(yōu)屬度矩陣計算相對優(yōu)屬度向量，從而確定第一目標服務(wù)器與第二目標服務(wù)器?？蛇x地，所述狀態(tài)指標值包括：CPU利用率、內(nèi)存利用率、IO利用率、帶寬利用率、元數(shù)據(jù)總熱度以及傳輸成本的任一組合?？蛇x地，所述數(shù)據(jù)存儲復(fù)制模塊還用于：當一個元數(shù)據(jù)服務(wù)器滿足設(shè)定遷移條件時，選出所述元數(shù)據(jù)服務(wù)器中最熱的子樹數(shù)據(jù)，將所述最熱的子樹數(shù)據(jù)遷移到所述第一目標服務(wù)器?？蛇x地，所述設(shè)定遷移條件包括：所述元數(shù)據(jù)服務(wù)器的CPU利用率大于90％。如上所述，本發(fā)明的一種基于事件分類的交通元數(shù)據(jù)管理方法及系統(tǒng)，具有以下有益效果：能夠?qū)⑽募到y(tǒng)的元數(shù)據(jù)管理策略與交通事件的特點相結(jié)合，構(gòu)建一個交通事件的分類模型，面向智能交通監(jiān)控平臺，進行元數(shù)據(jù)管理策略的改進和優(yōu)化。本發(fā)明的方案能夠?qū)崿F(xiàn)元數(shù)據(jù)服務(wù)器之間的負載均衡，提高數(shù)據(jù)檢索速度，滿足不同用戶對不同數(shù)據(jù)的需求，提高用戶訪問效率。附圖說明圖1顯示為本發(fā)明的基于事件分類的交通元數(shù)據(jù)管理方法的一實施例的流程示意圖。圖2顯示為本發(fā)明的基于事件分類的交通元數(shù)據(jù)管理方法的另一實施例的交通元數(shù)據(jù)分類示意圖。圖3顯示為本發(fā)明的基于事件分類的交通元數(shù)據(jù)管理方法的另一實施例的流程示意圖。圖4顯示為本發(fā)明的基于事件分類的交通元數(shù)據(jù)管理系統(tǒng)的一實施例的模塊示意圖。元件標號說明1基于事件分類的交通元數(shù)據(jù)管理系統(tǒng)11交通元數(shù)據(jù)處理模塊12目標服務(wù)器確定模塊13數(shù)據(jù)存儲復(fù)制模塊S1～S3步驟具體實施方式以下通過特定的具體實例說明本發(fā)明的實施方式，本領(lǐng)域技術(shù)人員可由本說明書所揭露的內(nèi)容輕易地了解本發(fā)明的其他優(yōu)點與功效。本發(fā)明還可以通過另外不同的具體實施方式加以實施或應(yīng)用，本說明書中的各項細節(jié)也可以基于不同觀點與應(yīng)用，在沒有背離本發(fā)明的精神下進行各種修飾或改變。需要說明的是，本實施例中所提供的圖示僅以示意方式說明本發(fā)明的基本構(gòu)想，遂圖式中僅顯示與本發(fā)明中有關(guān)的組件而非按照實際實施時的組件數(shù)目、形狀及尺寸繪制，其實際實施時各組件的型態(tài)、數(shù)量及比例可為一種隨意的改變，且其組件布局型態(tài)也可能更為復(fù)雜。本發(fā)明采用了一種被廣泛使用的分類算法——決策樹，決策樹的優(yōu)勢在于構(gòu)造過程不需要任何領(lǐng)域知識或參數(shù)設(shè)置，因此在實際應(yīng)用中，對于探測式的知識發(fā)現(xiàn)，決策樹更加適用。決策樹(decisiontree)是一個樹結(jié)構(gòu)，其每個非葉節(jié)點表示一個特征屬性上的測試，每個分支代表這個特征屬性在某個值域上的輸出，而每個葉節(jié)點存放一個類別。使用決策樹進行決策的過程就是從根節(jié)點開始，測試待分類項中相應(yīng)的特征屬性，并按照其值選擇輸出分支，直到到達葉子節(jié)點，將葉子節(jié)點存放的類別作為決策結(jié)果。決策樹的構(gòu)造過程不依賴領(lǐng)域知識，它使用屬性選擇度量來選擇將元組最好地劃分成不同的類的屬性。所謂決策樹的構(gòu)造就是進行屬性選擇度量確定各個特征屬性之間的拓撲結(jié)構(gòu)。構(gòu)造決策樹的關(guān)鍵步驟是分裂屬性。所謂分裂屬性就是在某個節(jié)點處按照某一特征屬性的不同劃分構(gòu)造不同的分支，其目標是讓各個分裂自己盡可能地“純”。盡可能“純”就是盡量讓一個分裂子集中待分類項屬于同一類別。分裂屬性分為三種不同的情況：1，屬性是離散值且不要求生成二叉決策樹。此時用屬性的每一個劃分作為一個分支。2，屬性是離散值且要求生成二叉決策樹。此時使用屬性劃分的一個子集進行測試，按照“屬于此子集”和“不屬于此子集”分成兩個分支。3，屬性是連續(xù)值。此時確定一個值作為分裂點split_point，按照>split_point和<＝split_point生成兩個分支。構(gòu)造決策樹的關(guān)鍵性內(nèi)容是進行屬性選擇度量，屬性選擇度量是一種選擇分裂準則，是將給定的類標記的訓(xùn)練集合的數(shù)據(jù)劃分D“最好”地分成個體類的啟發(fā)式方法，它決定了拓撲結(jié)構(gòu)及分裂點split_point的選擇。屬性選擇度量算法有很多，一般使用自頂向下遞歸分治法，并采用不回溯的貪心策略。決策樹C4.5是在ID3決策樹的基礎(chǔ)之上稍作改進，C4.5克服了ID3的2個缺點：1.用信息增益選擇屬性時偏向于選擇分枝比較多的屬性值，即取值多的屬性。2.不能處理連貫屬性。本發(fā)明還涉及到模糊優(yōu)選法。模糊優(yōu)選法通過相對優(yōu)屬度的概念建立了模糊優(yōu)選模型，模型中每一個指針的權(quán)重確定采用了主客觀綜合考慮的綜合賦權(quán)法，使得權(quán)重的取值更科學(xué)合理。模糊優(yōu)選法的過程如下：1，建立目標特征值矩陣；2，通過規(guī)格化公式確定目標相對優(yōu)屬度矩陣；3，權(quán)重向量的確定—綜合法。4，模糊優(yōu)選方案的確定。本發(fā)明提供一種基于事件分類的交通元數(shù)據(jù)管理方法。在一個實施例中，如圖1所示，所述基于事件分類的交通元數(shù)據(jù)管理方法包括：步驟S1，獲取交通元數(shù)據(jù)，并根據(jù)預(yù)設(shè)的決策樹算法利用所述交通元數(shù)據(jù)的屬性值進行決策，將所述交通元數(shù)據(jù)分成熱點數(shù)據(jù)或非熱點數(shù)據(jù)。在一個實施例中，所述交通元數(shù)據(jù)的屬性包括時間、地段和事件類型。所述決策樹算法包括C4.5決策樹算法。在一個實施例中，選取C4.5決策樹算法作為交通事件分類模型，對交通平臺中的數(shù)據(jù)用事故發(fā)生的時間(Time)、事故類型或事件類型(Type)、事故發(fā)生的地段(Location)這些屬性來衡量，確定所述交通元數(shù)據(jù)屬于熱點數(shù)據(jù)或非熱點數(shù)據(jù)。具體地，先對事故發(fā)生的時間(Time)進行離散化：先將時間(time屬性)以一小時為單位等分化，分為k個區(qū)間。計算每個區(qū)間的Gini系數(shù)：m為類別數(shù)目，T為訓(xùn)練樣集本，pi為類別ci在樣本集T中出現(xiàn)的頻率。合并相鄰的區(qū)間，計算Gini系數(shù)，若Gini(k′)<Gini(K)，則停止合并。按照以上方法可以將時間屬性劃分為幾個區(qū)間。對于事故發(fā)生的地段(Location)這個屬性，有多個取值，會產(chǎn)生多個分支，對于決策樹而言，葉節(jié)點越少分類精度高，分支的過多可能會產(chǎn)生過擬合的現(xiàn)象，而且使得決策樹的規(guī)模過于龐大，預(yù)測能力降低，為此要進行分支的合并，對于地段這個屬性我們采取計算其各個屬性值的熵，如果兩個熵的差絕對值小于一定的閾值(本發(fā)明取0.001)，則將兩個分支合并。根據(jù)獲取的交通數(shù)據(jù)的樣本集S＝{x1,x2,x3,…,xm}，其中樣本S的屬性集A＝{A1,A2,…,Am}，根據(jù)Am的不同取值可以將樣本劃分為k個子集C1,…,Ck。根據(jù)數(shù)據(jù)集S的屬性集A進行劃分得到信息熵：info(S)=-Σi=1kpilog2(pi)]]>Pi＝|Ci|/|S|(1≤i≤k),根據(jù)屬性集A的每個屬性進行劃分，得到一組信息熵：infoA(S)=Σj=1t|Sj||S|info(Sj)]]>根據(jù)以上兩者的差可以得到A的信息增益：gain(A)＝info(S)-infoA(S)信息增益率的計算：IGR(S,Ai)=gain(A)split_info(S)]]>其中最后將同父節(jié)點下的具有相同值的葉子節(jié)點合并。在一個實施例中，交通事件分類模型的建立以北京某一天的交通數(shù)據(jù)為例，進行整理后得到以下數(shù)據(jù)(部分)首先進行時間段的合并現(xiàn)將時間按一小時為間隔進行劃分，等分為24個小時。計算每個區(qū)間的Gini系數(shù)，例如7:00至8:00時間段內(nèi)，出現(xiàn)了交通擁堵的數(shù)量為1，其余為0，整個數(shù)據(jù)集的交通擁堵數(shù)量為5，所以p1＝1/5，該區(qū)間的Gini＝1-1/25＝24/25,同樣計算其他區(qū)間的gini系數(shù)，當相鄰的Gini系數(shù)相加的值大于原先的值，那么合并該區(qū)間，否則停止合并。得到如下結(jié)果：7:01-10:0010:01-13:0013:01-15:0015:01-17:0017:01-19:0019:00-7:00共劃分以上幾個時間段交通數(shù)據(jù)集S的屬性集{A1，A2，A3}，A1＝時間，A2＝地段，A3＝事件類型；數(shù)據(jù)集S中包含10條數(shù)據(jù)，其中yes為6，no為4,其信息熵為info(s)＝-6/10*log2(6/10)-4/10log2(4/10)＝0.707564計算每個屬性的信息熵Info(time)＝4/10*(-2/4*log2(2/4)-2/4*log2(2/4))+2/10*(-1/2*log2(1/2)-1/2*log2(1/2))+2/10*(-1/2*log2(1/2)-1/2*log2(1/2))+1/10*(-1/1*log2(1/1))+1/10*(-1/1*log2(1/1))Info(location)＝2/10*(-2/2*log2(2/2))+3/10*(-3/3*log2(3/3))+3/10*(-1/3*log2(1/3)-2/3*log2(2/3))+2/10*(-2/2*log2(2/2))Info(type)＝5/10*(-2/5*log2(2/5)-3/5*log2(3/5))+5/10*(-2/5*log2(2/5)-3/5*(log2(3/5))計算每個屬性的信息增益：Gain(time)＝info(s)-info(time)Gain(Location)＝info(s)-info(Location)Gain(type)＝info(s)-info(type)計算每個屬性的分裂信息度Split_info(time)＝-4/10*log2(4/10)-2/10*log2(2/10)-2/10*log2(2/10)-1/10*log2(1/10)-1/10*log2(1/10)Split_info(Location)＝-2/10*log2(2/10)-3/10*log2(3/10)-3/10*log2(3/10)-2/10*log2(2/10)Split_info(type)＝-5/10*log2(5/10)-5/10*log2(5/10)計算每個屬性的信息增益率IGR(time)＝Gain(time)/Split_info(time)＝0.01276IGR(location)＝Gain(location)/Split_info(location)＝0.07823IGR(type)＝Gain(type)/Split_info(type)＝0.15234由計算結(jié)果得出type的值最大，所以為首個分裂節(jié)點。因為type＝{交通事故、擁堵}所以type會衍生出兩個分支。同理在道路擁堵的這條分支下，我們再選取所有的道路擁堵的數(shù)據(jù)，表中有5條數(shù)據(jù)，則這五條數(shù)據(jù)組成新的數(shù)據(jù)集，再次進行如上的計算，選取下一個分裂的節(jié)點，進行分裂。最后將相同結(jié)果的分支進行合并，如Location進行分裂時，按照表中的數(shù)據(jù)則會分裂成四個分支，二環(huán)、三環(huán)、四環(huán)、五環(huán)。但是四環(huán)五環(huán)的結(jié)果相同都為no，所以進行了合并。以此類推，最后結(jié)果呈現(xiàn)如圖2所示。該結(jié)果就將作為交通事件的分類模型，對后續(xù)上傳的數(shù)據(jù)進行分類，將交通元數(shù)據(jù)分類成熱點數(shù)據(jù)和非熱點數(shù)據(jù)。步驟S2，根據(jù)元數(shù)據(jù)服務(wù)器的狀態(tài)指標值采用模糊優(yōu)選法確定第一目標服務(wù)器以及第二目標服務(wù)器。根據(jù)元數(shù)據(jù)服務(wù)器的狀態(tài)指標值采用模糊優(yōu)選法確定第一目標服務(wù)器以及第二目標服務(wù)器的具體實現(xiàn)包括：獲取當前所有元數(shù)據(jù)服務(wù)器的狀態(tài)指標值，并根據(jù)所述元數(shù)據(jù)服務(wù)器的狀態(tài)指標值確定目標服務(wù)器；根據(jù)所有的目標服務(wù)器的狀態(tài)指標值建立相對優(yōu)屬度矩陣，并對所述相對優(yōu)屬度矩陣進行歸一化轉(zhuǎn)化成規(guī)范矩陣；利用熵權(quán)法計算各個所述狀態(tài)指標相應(yīng)的熵權(quán)，進而計算得到加權(quán)目標優(yōu)屬度矩陣；根據(jù)所述加權(quán)目標優(yōu)屬度矩陣計算相對優(yōu)屬度向量，從而確定第一目標服務(wù)器與第二目標服務(wù)器。所述狀態(tài)指標值包括：CPU利用率、內(nèi)存利用率、IO利用率、帶寬利用率、元數(shù)據(jù)總熱度以及傳輸成本的任一組合。在一個實施例中，根據(jù)模糊優(yōu)選法選出目標服務(wù)器集合的具體實現(xiàn)步驟如下：判斷服務(wù)器的CPU利用率、內(nèi)存利用率。當CPU利用率和內(nèi)存利用率都小于90％，則將該服務(wù)器加入候選節(jié)點服務(wù)器(S1,S2…Sn)，即目標服務(wù)器集?？紤]服務(wù)器中的以下6個指標進行優(yōu)選：元數(shù)據(jù)總熱度P(O1)；傳輸成本cost(O2)：兩臺MDS之間傳輸數(shù)據(jù)花費的代價，可以通過手動配置直接設(shè)定；CPU的利用率(O3)：t時間內(nèi)CPU的平均利用率；內(nèi)存的利用率(O4)：t時間內(nèi)內(nèi)存的平均利用率；I/O(O5)：t時間內(nèi)的平均I/O；帶寬(O6)：t時間內(nèi)平均帶寬利用率。建立相對優(yōu)屬度矩陣X=x11...x1n.........xm1...xmn=(Xij)m×n,i=1,2,...,m,j=1,2,...,n,m=6]]>其中，Xij為對象j目標i的特征值。為了消除m個目標特征值不同的影響，需要對各目標值進行歸一化，轉(zhuǎn)化為規(guī)范矩陣R＝(rij)m×n。本文選用成本型指標，相對優(yōu)屬度公式為rij=sup(Xij)-Xijsup(Xij)-inf(Xij)]]>其中，sup(Xij)，inf(Xij)分別為該指標下不同服務(wù)器的指標值Xij中的最大值和最小值，rij為對象j目標i對優(yōu)的隸屬度。矩陣X的相對優(yōu)屬度矩陣為R=r11...r1n.........rm1...rmn=rij,i=1,2,...,m,j=1,2,...,n,m=6]]>利用熵權(quán)法計算各指標的相應(yīng)的權(quán)重向量計算第i個指標下第j個項目的指標值的比重fij；fij=1+rijΣj=1n(1+rij),i=1,2,...,m,j=1,2,...,n]]>計算第i個指標的熵值Hi；Hi=-Σj=1n(fijlnfij)lnn,i=1,2,...,m,j=1,2,..,n]]>計算第i個指標的熵權(quán)wiwi=1-HiΣj=1m(1-Hi),j=1,2,...,m]]>從而得到了目標權(quán)重向量ω＝(ω1，ω2，ω3，ω4，ω5，ω6)T根據(jù)求得的相對優(yōu)屬度矩陣R和目標權(quán)重向量ω,計算加權(quán)目標優(yōu)屬度矩陣：S=S11...S1n.........S61...S6n=S6j,j=1,2,...,n]]>其中Sij＝ωirij定義相對理想方案與負理想方案的相對優(yōu)屬度向量分別為最優(yōu)相對優(yōu)屬度g＝(g1，g2，…g6)T＝(1,1,…,1)T考慮到目標的權(quán)重，則加權(quán)理想解為：gω+＝(g1ω+,g2ω+,…,g6ω+)T＝(ω1,ω2,…,ω6)T最劣相對優(yōu)屬度b＝(b1,b2,…b6)T＝(0,0,…,0)T系統(tǒng)有目標優(yōu)屬度矩陣R，對象j的目標優(yōu)屬度向量為rj＝(r1j,r2j,…,r6j)T,與其相對應(yīng)的加權(quán)優(yōu)屬度向量為sj＝(s1j,s2j,…,s6j)T權(quán)距優(yōu)距離d(sj,gω+)=uj(Σi=16[d(sij,giω+)]p)1/p]]>其中，p為距離參數(shù)，p＝1為漢明距離，p＝2為歐式距離。權(quán)距劣距離d(sj,b)=uj(Σi=16[d(sij,0)]p)1/p]]>為解出系統(tǒng)中的uj的最優(yōu)值，建立目標函數(shù)min{F(uj)=uj2[d(sij,gω+)]2+uj′2[d(sij,b)]2}]]>即對象j的權(quán)距優(yōu)距離平方和權(quán)劣距離平方和的總和最小。求解得uj的最優(yōu)值的計算公式為uj=11+[Σi=1m[d(sij,gω+)]pΣi=1m[d(sij,0)]p]2/p]]>j＝1,2,…n,Sij＝ωirij解得相對優(yōu)屬度向量為u＝(u1,u2,…,un),最后得到候選服務(wù)器的優(yōu)劣順序。具體地，在一個實施例中，假設(shè)有4臺服務(wù)器s1，s2，s3，s4。在t時刻收集每臺服務(wù)器的狀態(tài)服務(wù)器名稱Cpu利用率內(nèi)存利用率i/o帶寬元數(shù)據(jù)總熱度傳輸成本S130％50％10％200M101S240％40％5％100M202S350％60％3％200M402S460％70％5％100M503將cpu和內(nèi)存的利用率小于90％的服務(wù)器加入候選節(jié)點，s1，s2，s3，s4均在候選節(jié)點中。建立相對優(yōu)屬度矩陣：x=0.30.40.50.60.50.40.60.70.10.050.030.05200100200100102040501223]]>轉(zhuǎn)化為規(guī)范矩陣：R=10.670.3300.6710.33000.7110.71010110.750.25010.50.50]]>各個指標對應(yīng)的權(quán)重向量：W＝(0.9816,0.9816,0.9277,0.9652,0.9154,0.9849)T；加權(quán)目標優(yōu)屬度矩陣：s=0.98160.65770.323900.65770.98160.3239000.65870.92770.658700.965200.96520.91540.68660.228900.98490.49250.49250]]>計算相對優(yōu)屬度向量U＝(0.62810,0.88039,0.35228,0.26323)由此得出目標服務(wù)器的順序為(s2,s1，s3，s4)。即s2為第一目標服務(wù)器，s1為第二目標服務(wù)器。步驟S3，將所述熱點數(shù)據(jù)和非熱點數(shù)據(jù)存儲到第一目標服務(wù)器，將所述熱點數(shù)據(jù)復(fù)制到第二目標服務(wù)器。在一個實施例中，在t時刻上傳一部分交通數(shù)據(jù)，我們將首先對這部分交通數(shù)據(jù)根據(jù)以上所建立的分類模型進行分類，分為熱點和非熱點數(shù)據(jù)，然后將得到的熱點數(shù)據(jù)進行復(fù)制一份，將這些復(fù)制的數(shù)據(jù)分布到由模糊優(yōu)選法得出的目標服務(wù)器列表中的第二臺服務(wù)器上，熱點和非熱點的原始數(shù)據(jù)都將被存儲到第一臺選出的服務(wù)器上。在一個實施例中，所述基于事件分類的交通元數(shù)據(jù)管理方法還包括：當一個元數(shù)據(jù)服務(wù)器滿足設(shè)定遷移條件時，選出所述元數(shù)據(jù)服務(wù)器中最熱的子樹數(shù)據(jù)，將所述最熱的子樹數(shù)據(jù)遷移到所述第一目標服務(wù)器。所述設(shè)定遷移條件包括：所述元數(shù)據(jù)服務(wù)器的CPU利用率大于90％。在一個實施例中，如圖3所示，基于事件分類的交通元數(shù)據(jù)管理方法的實施步驟主要包括：MDS(元數(shù)據(jù)服務(wù)器)定期上報，由Monitor(監(jiān)視器)對元數(shù)據(jù)服務(wù)器的狀態(tài)指標值進行收集。當檢測到元數(shù)據(jù)服務(wù)器的CPU或內(nèi)存利用率>90％時，將該元數(shù)據(jù)服務(wù)器加入到目標服務(wù)器集中作為候選節(jié)點，并通過模糊優(yōu)選法選擇出第一目標服務(wù)器與第二目標服務(wù)器。接收交通事件元數(shù)據(jù)，并采用C采取C4.5決策樹作為交通事件的分類模型對交通事件進行分類，將交通事件元數(shù)據(jù)分成熱點數(shù)據(jù)與非熱點數(shù)據(jù)。將交通事件元數(shù)據(jù)(包括熱點數(shù)據(jù)與非熱點數(shù)據(jù))存儲到第一目標服務(wù)器中，將選出的熱點數(shù)據(jù)復(fù)制到第二目標服務(wù)器中。針對CPU或者內(nèi)存利用率<＝90％的元數(shù)據(jù)服務(wù)器，進行子樹遷移。確定所述元數(shù)據(jù)服務(wù)器中最熱的子樹數(shù)據(jù)并將所述最熱的子樹數(shù)據(jù)遷移到第一目標服務(wù)器中。本發(fā)明提供一種基于事件分類的交通元數(shù)據(jù)管理系統(tǒng)，所述基于事件分類的交通元數(shù)據(jù)管理系統(tǒng)可以采用如上所述的所述基于事件分類的交通元數(shù)據(jù)管理方法。在一個實施例中，如圖4所示，所述基于事件分類的交通元數(shù)據(jù)管理系統(tǒng)1包括交通元數(shù)據(jù)處理模塊11、目標服務(wù)器確定模塊12以及數(shù)據(jù)存儲復(fù)制模塊13。其中：交通元數(shù)據(jù)處理模塊11用于獲取交通元數(shù)據(jù)，并根據(jù)預(yù)設(shè)的決策樹算法利用所述交通元數(shù)據(jù)的屬性值進行決策，將所述交通元數(shù)據(jù)分成熱點數(shù)據(jù)或非熱點數(shù)據(jù)。在一個實施例中，所述交通元數(shù)據(jù)的屬性包括時間、地段和事件類型。所述決策樹算法包括C4.5決策樹算法。在一個實施例中，選取C4.5決策樹算法作為交通事件分類模型，對交通平臺中的數(shù)據(jù)用事故發(fā)生的時間(Time)、事故類型或事件類型(Type)、事故發(fā)生的地段(Location)這些屬性來衡量，確定所述交通元數(shù)據(jù)屬于熱點數(shù)據(jù)或非熱點數(shù)據(jù)。目標服務(wù)器確定模塊12，用于根據(jù)元數(shù)據(jù)服務(wù)器的狀態(tài)指標值采用模糊優(yōu)選法確定第一目標服務(wù)器以及第二目標服務(wù)器。根據(jù)元數(shù)據(jù)服務(wù)器的狀態(tài)指標值采用模糊優(yōu)選法確定第一目標服務(wù)器以及第二目標服務(wù)器的具體實現(xiàn)包括：獲取當前所有元數(shù)據(jù)服務(wù)器的狀態(tài)指標值，并根據(jù)所述元數(shù)據(jù)服務(wù)器的狀態(tài)指標值確定目標服務(wù)器；根據(jù)所有的目標服務(wù)器的狀態(tài)指標值建立相對優(yōu)屬度矩陣，并對所述相對優(yōu)屬度矩陣進行歸一化轉(zhuǎn)化成規(guī)范矩陣；利用熵權(quán)法計算各個所述狀態(tài)指標相應(yīng)的熵權(quán)，進而計算得到加權(quán)目標優(yōu)屬度矩陣；根據(jù)所述加權(quán)目標優(yōu)屬度矩陣計算相對優(yōu)屬度向量，從而確定第一目標服務(wù)器與第二目標服務(wù)器。所述狀態(tài)指標值包括：CPU利用率、內(nèi)存利用率、IO利用率、帶寬利用率、元數(shù)據(jù)總熱度以及傳輸成本的任一組合。數(shù)據(jù)存儲復(fù)制模塊13與交通元數(shù)據(jù)處理模塊11和目標服務(wù)器確定模塊12相連，用于將所述熱點數(shù)據(jù)和非熱點數(shù)據(jù)存儲到第一目標服務(wù)器，將所述熱點數(shù)據(jù)復(fù)制到第二目標服務(wù)器。在一個實施例中，所述數(shù)據(jù)存儲復(fù)制模塊13還用于：當一個元數(shù)據(jù)服務(wù)器滿足設(shè)定遷移條件時，選出所述元數(shù)據(jù)服務(wù)器中最熱的子樹數(shù)據(jù)，將所述最熱的子樹數(shù)據(jù)遷移到所述第一目標服務(wù)器。所述設(shè)定遷移條件包括：所述元數(shù)據(jù)服務(wù)器的CPU利用率大于90％。在一個實施例中，所述基于事件分類的交通元數(shù)據(jù)管理系統(tǒng)采用了Ceph系統(tǒng)。Ceph是一個LinuxPB級分布式文件系統(tǒng)。Ceph生態(tài)系統(tǒng)架構(gòu)可以劃分為四部分：1.Clients:客戶端(數(shù)據(jù)用戶)；2.cmds:Metadataservercluster，元數(shù)據(jù)服務(wù)器(緩存和同步分布式元數(shù)據(jù))；3.cosd:Objectstoragecluster，對象存儲集群(將數(shù)據(jù)和元數(shù)據(jù)作為對象存儲，執(zhí)行其他關(guān)鍵職能)；4.cmon:Clustermonitors，集群監(jiān)視器(執(zhí)行監(jiān)視功能)。ceph的設(shè)計架構(gòu)和實現(xiàn)機制能夠保證，在故障發(fā)生前后以及故障產(chǎn)生的過程中，系統(tǒng)的性能保持不變。綜上所述，本發(fā)明的一種基于事件分類的交通元數(shù)據(jù)管理方法及系統(tǒng)能夠?qū)⑽募到y(tǒng)的元數(shù)據(jù)管理策略與交通事件的特點相結(jié)合，構(gòu)建一個交通事件的分類模型，面向智能交通監(jiān)控平臺，進行元數(shù)據(jù)管理策略的改進和優(yōu)化。本發(fā)明的方案能夠?qū)崿F(xiàn)元數(shù)據(jù)服務(wù)器之間的負載均衡，提高數(shù)據(jù)檢索速度，滿足不同用戶對不同數(shù)據(jù)的需求，提高用戶訪問效率。所以，本發(fā)明有效克服了現(xiàn)有技術(shù)中的種種缺點而具高度產(chǎn)業(yè)利用價值。上述實施例僅例示性說明本發(fā)明的原理及其功效，而非用于限制本發(fā)明。任何熟悉此技術(shù)的人士皆可在不違背本發(fā)明的精神及范疇下，對上述實施例進行修飾或改變。因此，舉凡所屬
技術(shù)領(lǐng)域：
中具有通常知識者在未脫離本發(fā)明所揭示的精神與技術(shù)思想下所完成的一切等效修飾或改變，仍應(yīng)由本發(fā)明的權(quán)利要求所涵蓋。當前第1頁1 2 3