專利名稱：基于分布式監(jiān)測管理架構(gòu)的業(yè)務(wù)感知方法
基于分布式監(jiān)測管理架構(gòu)的業(yè)務(wù)感知方法技術(shù)領(lǐng)域
本發(fā)明是針對認(rèn)知網(wǎng)絡(luò)的高度自主性，提出的一個基于分布式監(jiān)測管理架構(gòu)的 業(yè)務(wù)感知方法，該方法主要研究如何通過智能代理監(jiān)控業(yè)務(wù)數(shù)據(jù)，并搭載相關(guān)智能引擎 完成業(yè)務(wù)的在線高效識別，并設(shè)計了識別引擎采用的相關(guān)智能算法。本發(fā)明方法涉及到 數(shù)據(jù)挖掘、流量分類、網(wǎng)絡(luò)管理、智能代理等相關(guān)領(lǐng)域，屬于一種業(yè)務(wù)感知方法。
背景技術(shù)：
隨著網(wǎng)絡(luò)技術(shù)與應(yīng)用的不斷發(fā)展，網(wǎng)絡(luò)異構(gòu)性和復(fù)雜性尤為突出，業(yè)務(wù)種類急 劇增加，為全網(wǎng)QoS保證提出挑戰(zhàn)。在接入網(wǎng)對業(yè)務(wù)進(jìn)行識別，并對其網(wǎng)絡(luò)行為跟蹤 管理，可以使得網(wǎng)絡(luò)資源利用更合理化、規(guī)范化。最簡單的識別技術(shù)是采用靜態(tài)端口 法，但是目前網(wǎng)絡(luò)應(yīng)用大多采用動態(tài)端口或運(yùn)用偽裝技術(shù)，使得端口識別在很大程度上 受限。為克服以上缺陷，分析數(shù)據(jù)包凈荷、挖掘業(yè)務(wù)內(nèi)在信息的技術(shù)應(yīng)運(yùn)而生，其中較 典型的兩大技術(shù)體系DPI(Deep PackeUnspection，深度包檢測)禾Π DFI (Deep/Dynamic Flow Inspection,深度/動態(tài)流檢測)已經(jīng)比較成熟，并已在國外商用。
目前，業(yè)務(wù)識別技術(shù)的研究與開發(fā)僅局限于傳統(tǒng)網(wǎng)絡(luò)，并且脫離了網(wǎng)絡(luò)環(huán)境而 單方面考慮技術(shù)，其實(shí)用性與可靠性有待改善，這也是許多研究成果商業(yè)化程度不高的 原因之一。本文研究背景為認(rèn)知網(wǎng)絡(luò)，由R.WJhomaS首次提出認(rèn)知網(wǎng)絡(luò)這一概念。認(rèn) 知網(wǎng)絡(luò)是未來網(wǎng)絡(luò)發(fā)展的一個研究方向，認(rèn)知的前提是感知，它能夠感知當(dāng)前網(wǎng)絡(luò)的狀 態(tài)變化，并用統(tǒng)一的規(guī)范語言描述，并將信息傳遞給認(rèn)知層進(jìn)行分析決策。有別于傳統(tǒng) 網(wǎng)絡(luò)，認(rèn)知網(wǎng)絡(luò)是一個能進(jìn)行自我配置、自我管理、自我學(xué)習(xí)的智能化系統(tǒng)，研究業(yè)務(wù) 識別在其上的監(jiān)測、管理機(jī)制，可以進(jìn)一步提高業(yè)務(wù)識別與網(wǎng)絡(luò)的融合度，提高在線識 別的效率，從而更好的保證網(wǎng)絡(luò)端到端QoS的實(shí)現(xiàn)。本文基于認(rèn)知網(wǎng)絡(luò)，研究如何對業(yè) 務(wù)進(jìn)行分區(qū)、多點(diǎn)監(jiān)測并識別，提出了一種以分布式認(rèn)知域?yàn)槟K的在線識別機(jī)制。發(fā)明內(nèi)容
技術(shù)問題本發(fā)明目的在于針對傳統(tǒng)業(yè)務(wù)識別研究僅限于識別引擎的擴(kuò)展與開 發(fā)，并沒有很好的將識別引擎融入到網(wǎng)絡(luò)中，導(dǎo)致許多發(fā)明成果無法得到實(shí)際價值的體 現(xiàn)，提出了一種基于分布式監(jiān)測管理架構(gòu)的業(yè)務(wù)感知方法。該方法采用分區(qū)多點(diǎn)監(jiān)測 機(jī)制，可以實(shí)現(xiàn)多個監(jiān)測點(diǎn)同時工作，從而提高業(yè)務(wù)在線識別效率，減輕域服務(wù)器的負(fù) 擔(dān)。本發(fā)明將業(yè)務(wù)數(shù)據(jù)采集與識別相分離，采用了一套完整的通信機(jī)制，識別引擎作為 一個獨(dú)立模塊嵌入在識別機(jī)制中，具有較好的擴(kuò)展性，方便以后升級與維護(hù)。在識別引 擎選取上，本發(fā)明采用SVM智能算法，其算法解決當(dāng)前一些智能算法的局部極小值問 題，并且不受訓(xùn)練樣本數(shù)目的限制，很好的解決了樣本維數(shù)災(zāi)難問題。
技術(shù)方案
本發(fā)明基于分布式監(jiān)測管理架構(gòu)的業(yè)務(wù)感知方法包括如下步驟
1)采用監(jiān)測代理判斷業(yè)務(wù)流是否已帶標(biāo)記，如果有則轉(zhuǎn)至第6)步，否則繼續(xù)第2)步;
2)當(dāng)監(jiān)測代理監(jiān)測到未處理過的業(yè)務(wù)流時，向業(yè)務(wù)登記表注冊，并查詢內(nèi)存記 錄業(yè)務(wù)登記表將查詢內(nèi)存記錄結(jié)果反饋給智能代理，如業(yè)務(wù)登記表中有記錄即監(jiān)測到 的未處理過的業(yè)務(wù)流已經(jīng)處理，則將所述業(yè)務(wù)流標(biāo)記，并轉(zhuǎn)至第6)步；如業(yè)務(wù)登記表注 冊中無記錄即監(jiān)測到的未處理過的業(yè)務(wù)流未已經(jīng)處理，則智能代理將所述業(yè)務(wù)流提交給 SVM模塊=處理后在業(yè)務(wù)登記表注冊注冊；
3)對監(jiān)測代理提交的業(yè)務(wù)信息進(jìn)行預(yù)處理，即將監(jiān)測代理監(jiān)測到的特征信息向 量化；
4)對預(yù)處理后的信息放入SVM模塊訓(xùn)練，該訓(xùn)練方法采用半監(jiān)督學(xué)習(xí)方法，具 體訓(xùn)練方法如下
a)將步驟；3)所述作向量化后的信息為一個訓(xùn)練集，先將訓(xùn)練集中的一部分樣本 標(biāo)記，并以所述標(biāo)記的樣本作為初始訓(xùn)練集訓(xùn)練出一個原始分類器SVMl ；
b)再用原始分類器SVMl對原始樣本繼續(xù)訓(xùn)練，并標(biāo)記訓(xùn)練后的樣本得到第一 分類器SVM2，所述原始樣本包含已標(biāo)記的樣本和部分未標(biāo)記的樣本，所述已標(biāo)記的樣 本表示步驟a)中標(biāo)記的樣本經(jīng)過訓(xùn)練以后的結(jié)果，所述部分未標(biāo)記的樣本表示步驟a)中 未標(biāo)記的樣本中的一部分；
c)將步驟b)過程中訓(xùn)練獲得的標(biāo)記后的樣本繼續(xù)作為下一次的輸入，返回步驟 b)，直到訓(xùn)練集中已標(biāo)記的樣本數(shù)量是全部樣本的m倍時，停止訓(xùn)練；me (0，1)，m 次迭代完成后獲得具有較高分類精度的分類器SVM'；
5)將第4步中訓(xùn)練獲得的樣本存入業(yè)務(wù)數(shù)據(jù)表中，以供下次鑒別時使用；
6)以上結(jié)束對業(yè)務(wù)流的識別監(jiān)測，打好標(biāo)記后轉(zhuǎn)至路由的下一節(jié)點(diǎn)。
有益效果
通過基于分布式監(jiān)測管理的業(yè)務(wù)感知模型的研究，我們能夠?qū)崿F(xiàn)以下方面的收■、ΛM
1.本模型涉及的業(yè)務(wù)控制管理機(jī)制，將識別引擎很好的嵌入到網(wǎng)絡(luò)中，特別是 認(rèn)知網(wǎng)絡(luò)，使其能更加方便的管理業(yè)務(wù)行為，體現(xiàn)認(rèn)知網(wǎng)絡(luò)的自主性。
2.采用業(yè)務(wù)表查詢模式，方便快捷地處理業(yè)務(wù)信息，提高其在線應(yīng)用能力，保 證業(yè)務(wù)端到端QoS，改善網(wǎng)絡(luò)性能。
3.采用標(biāo)簽機(jī)制，對業(yè)務(wù)進(jìn)行標(biāo)記，可以方便跟蹤管理其網(wǎng)絡(luò)行為，對于入侵 檢測及網(wǎng)絡(luò)安全穩(wěn)定提供了保障。
4.本發(fā)明采用的SVM識別引擎，是在數(shù)據(jù)挖掘技術(shù)的基礎(chǔ)上，只利用有限的特 征
樣本進(jìn)行訓(xùn)練，解決了維數(shù)災(zāi)難和神經(jīng)智能算法的局部極小值問題。
5.本發(fā)明采用模塊化思想，將監(jiān)測模塊與識別引擎相分離，有利于模型功能的 擴(kuò)展與改進(jìn)。


圖1是基于分布式監(jiān)測管理架構(gòu)的業(yè)務(wù)感知模型圖2是智能代理模塊架構(gòu)；
圖3是本模型的業(yè)務(wù)感知流程圖4是業(yè)務(wù)屬性登記表；
圖5是SVM訓(xùn)練機(jī)制流程圖。
具體實(shí)施方式
下面結(jié)合附圖對發(fā)明的技術(shù)方案詳細(xì)說明
1該業(yè)務(wù)感知模型在認(rèn)知網(wǎng)絡(luò)中的實(shí)現(xiàn)
模型總體框架圖如圖1。以認(rèn)知網(wǎng)絡(luò)為背景，將網(wǎng)絡(luò)環(huán)境劃分為多個認(rèn)知域，每 個認(rèn)知域負(fù)責(zé)各自的業(yè)務(wù)監(jiān)測與識別，各域通過域間控制模塊進(jìn)行業(yè)務(wù)數(shù)據(jù)的同步與共 享。每個認(rèn)知域包含三個主要部分監(jiān)測代理模塊、業(yè)務(wù)登記表和SVM學(xué)習(xí)模塊。監(jiān) 測代理完成對業(yè)務(wù)數(shù)據(jù)的采集與分析；業(yè)務(wù)登記表用來記錄已知業(yè)務(wù)信息，相當(dāng)于業(yè)務(wù) 特征數(shù)據(jù)庫；而學(xué)習(xí)模塊采用SVM智能算法完成對未知業(yè)務(wù)的識別。附圖3為各模塊 間通信流程，具體實(shí)現(xiàn)方法如下
1)判斷業(yè)務(wù)流是否已帶標(biāo)記，如果有則轉(zhuǎn)至第6步，否則繼續(xù)第2步驟。檢查 標(biāo)簽的用意在于，判斷該業(yè)務(wù)流是否已經(jīng)被之前的代理受理過(后面步驟將講到，已處 理業(yè)務(wù)將被打上標(biāo)記)。該步驟可以避免不同代理對同一業(yè)務(wù)流的重復(fù)檢查，從而省去帶 來的系統(tǒng)開銷，進(jìn)而減少端到端延時。
2)業(yè)務(wù)登記表注冊。代理監(jiān)測到未處理過的業(yè)務(wù)流時，向業(yè)務(wù)登記表注冊， 并查詢內(nèi)存記錄。業(yè)務(wù)登記表將查詢結(jié)果反饋給智能代理，如表中有記錄(返回Yes消 息)，則將該業(yè)務(wù)標(biāo)記，并轉(zhuǎn)至第6步；如表中無記錄(返回NULL消息)，則智能代理 將業(yè)務(wù)提交給智能學(xué)習(xí)模塊進(jìn)一步處理。
幻對代理提交的業(yè)務(wù)信息進(jìn)行預(yù)處理，以便SVM模塊訓(xùn)練使用。S卩，將代理 監(jiān)測到的特征信息向量化。
4)對預(yù)處理后的信息放入SVM模塊訓(xùn)練，該訓(xùn)練方法采用半監(jiān)督學(xué)習(xí)策略，其 具體訓(xùn)練方式如下
a)將監(jiān)測代理分析獲得的所有信息作為一個訓(xùn)練集，先根據(jù)經(jīng)驗(yàn)分析挑選一部 分?jǐn)?shù)據(jù)將其標(biāo)記，并以此作為初始訓(xùn)練集訓(xùn)練出一個原始分類器SVM1。
b)再用SVMl對原始樣本繼續(xù)訓(xùn)練，此時的樣本包含已標(biāo)記的業(yè)務(wù)和部分未標(biāo) 記的業(yè)務(wù)，并標(biāo)記訓(xùn)練后的樣本。
c)將步驟b)過程中訓(xùn)練獲得的標(biāo)記后的樣本繼續(xù)作為下一次的輸入，返回步驟 b)，直到訓(xùn)練集中已標(biāo)記的樣本數(shù)量是全部樣本的m倍時，停止訓(xùn)練。me (0，1)，m 的取值不宜過大，對于實(shí)時性要求較高的應(yīng)用取0.5以下為宜。m次迭代完成后獲得具有 較高分類精度的分類器SVM'；
5)將第4步中訓(xùn)練獲得的樣本數(shù)據(jù)存入業(yè)務(wù)數(shù)據(jù)表中，以供下次鑒別時使用。
6)以上結(jié)束對該流的識別監(jiān)測，打好標(biāo)記后轉(zhuǎn)至路由的下一節(jié)點(diǎn)。
以上描述了單個認(rèn)知域的業(yè)務(wù)監(jiān)測、控制與識別機(jī)制，而本發(fā)明是基于分布式 的多個認(rèn)知域共同完成網(wǎng)絡(luò)中所有的業(yè)務(wù)感知與控制。不同域間的信息交互由域間控制 單元完成，該單元能夠分析本地代理的處理結(jié)果，以及相鄰域間的處理結(jié)果，共享不同 域間的業(yè)務(wù)數(shù)據(jù)，以達(dá)到QoS的最優(yōu)化。當(dāng)本地認(rèn)知域監(jiān)測到未知業(yè)務(wù)時，由域間控制模塊將信息通過共享內(nèi)存發(fā)布給鄰域，使鄰域免去重復(fù)識別的過程。
2監(jiān)測代理模塊的實(shí)現(xiàn)
本發(fā)明采用的代理具備數(shù)據(jù)分析、整理及簡單網(wǎng)管功能，它以業(yè)務(wù)為驅(qū)動，在 五元組信息(即源地址、目的地址、源端口、目的端口和傳輸層協(xié)議)的基礎(chǔ)上，剖析數(shù) 據(jù)包的屬性特征，以供域認(rèn)知服務(wù)器進(jìn)行決策與動作。在整個流程中，代理起到了基礎(chǔ) 模塊的作用。監(jiān)測代理部署如附圖2，它主要完成兩個方面的工作
(1)數(shù)據(jù)采集。在監(jiān)測到業(yè)務(wù)流時，代理通過自身功能采集數(shù)據(jù)包關(guān)鍵信息，主 要包括基礎(chǔ)信息及擴(kuò)展信息兩部分?；A(chǔ)信息即為源地址、目的地址、源端口、目的端 口和傳輸層協(xié)議，擴(kuò)展信息主要為業(yè)務(wù)的流量統(tǒng)計特征。
( 數(shù)據(jù)通信。業(yè)務(wù)查詢階段，發(fā)送特征數(shù)據(jù)包給業(yè)務(wù)登記表，并根據(jù)返回結(jié)果 進(jìn)一步處理。當(dāng)?shù)怯洷碇袩o業(yè)務(wù)記錄時，代理則向?qū)W習(xí)模塊發(fā)送請求，并附帶業(yè)務(wù)特征 fn息ο
3業(yè)務(wù)表登記的建立
業(yè)務(wù)登記表記錄了所有已知業(yè)務(wù)的特征信息，以共享內(nèi)存方式供本地監(jiān)測代理 查詢使用。該業(yè)務(wù)登記表作為數(shù)據(jù)庫存儲業(yè)務(wù)信息，并將此信息對鄰域服務(wù)器公開，使 網(wǎng)絡(luò)中所有認(rèn)知域獲得最新的業(yè)務(wù)記錄，快速完成數(shù)據(jù)庫的升級更新。如附圖4，業(yè)務(wù)表 建立方法如下
(1)業(yè)務(wù)注冊。此項(xiàng)功能是建立在監(jiān)測代理基礎(chǔ)上，由監(jiān)測代理收集業(yè)務(wù)信息 (五元組信息及擴(kuò)展信息)并發(fā)送給業(yè)務(wù)登記表，業(yè)務(wù)登記表查詢記錄，并返回查詢結(jié)果。
( 業(yè)務(wù)更新。業(yè)務(wù)更新有兩種途徑，一是來自鄰域的共享消息，鄰域識別出新 業(yè)務(wù)時會向本地公布，反之，本地也會向周邊認(rèn)知域發(fā)送更新消息。二是來自本域的識 別，即本地學(xué)習(xí)模塊對未知業(yè)務(wù)采樣、訓(xùn)練，并獲得分類結(jié)果。這時業(yè)務(wù)登記表記錄訓(xùn) 練得出的關(guān)鍵屬性，用來表征該業(yè)務(wù)。這里的關(guān)鍵屬性即為擴(kuò)展信息。
4學(xué)習(xí)模塊的構(gòu)建
本發(fā)明通過SVM算法構(gòu)建學(xué)習(xí)模塊。SVM在基于流統(tǒng)計特征的基礎(chǔ)上對樣本 訓(xùn)練，與其他人工智能方法相比，具有較高的分類精度及穩(wěn)定度，同時不受凈荷加密的 限制，適合當(dāng)前復(fù)雜網(wǎng)絡(luò)環(huán)境的業(yè)務(wù)識別。SVM采用半監(jiān)督學(xué)習(xí)模塊，如附圖5，其具 體流程方法如下
a)將監(jiān)測代理分析獲得的所有信息作為一個訓(xùn)練集，先根據(jù)經(jīng)驗(yàn)分析挑選一部 分?jǐn)?shù)據(jù)將其標(biāo)記，并以此作為初始訓(xùn)練集訓(xùn)練出一個原始分類器SVM1。
b)再用SVMl對原始樣本繼續(xù)訓(xùn)練，此時的樣本包含已標(biāo)記的業(yè)務(wù)和部分未標(biāo) 記的業(yè)務(wù)，并標(biāo)記訓(xùn)練后的樣本。
C)將b過程中訓(xùn)練獲得的樣本繼續(xù)作為下一次的輸入，以此循環(huán)迭代，直到訓(xùn) 練集中已標(biāo)記的樣本數(shù)量是全部樣本的m倍時，停止訓(xùn)練。me (0，1)，m的取值不宜 過大，對于實(shí)時性要求較高的應(yīng)用取0.5以下為宜。m次迭代完成后獲得具有較高分類精 度的分類器SVM'。
權(quán)利要求
1. 一種基于分布式監(jiān)測管理架構(gòu)的業(yè)務(wù)感知方法，其特征在于包括如下步驟1)采用監(jiān)測代理判斷業(yè)務(wù)流是否已帶標(biāo)記，如果有則轉(zhuǎn)至第6)步，否則繼續(xù)第2)止少；2)當(dāng)監(jiān)測代理監(jiān)測到未處理過的業(yè)務(wù)流時，向業(yè)務(wù)登記表注冊，并查詢內(nèi)存記錄 業(yè)務(wù)登記表將查詢內(nèi)存記錄結(jié)果反饋給智能代理，如業(yè)務(wù)登記表中有記錄即監(jiān)測到的未 處理過的業(yè)務(wù)流已經(jīng)處理，則將所述業(yè)務(wù)流標(biāo)記，并轉(zhuǎn)至第6)步；如業(yè)務(wù)登記表注冊中 無記錄即監(jiān)測到的未處理過的業(yè)務(wù)流未已經(jīng)處理，則智能代理將所述業(yè)務(wù)流提交給SVM 模塊=處理后在業(yè)務(wù)登記表注冊注冊；3)對監(jiān)測代理提交的業(yè)務(wù)信息進(jìn)行預(yù)處理，即將監(jiān)測代理監(jiān)測到的特征信息向量化；4)對預(yù)處理后的信息放入SVM模塊訓(xùn)練，該訓(xùn)練方法采用半監(jiān)督學(xué)習(xí)方法，具體訓(xùn) 練方法如下a)將步驟3)所述作向量化后的信息為一個訓(xùn)練集，先將訓(xùn)練集中的一部分樣本標(biāo) 記，并以所述標(biāo)記的樣本作為初始訓(xùn)練集訓(xùn)練出一個原始分類器SVMl ；b)再用原始分類器SVMl對原始樣本繼續(xù)訓(xùn)練，并標(biāo)記訓(xùn)練后的樣本得到第一分類 器SVM2，所述原始樣本包含已標(biāo)記的樣本和部分未標(biāo)記的樣本，所述已標(biāo)記的樣本表 示步驟a)中標(biāo)記的樣本經(jīng)過訓(xùn)練以后的結(jié)果，所述部分未標(biāo)記的樣本表示步驟a)中未標(biāo) 記的樣本中的一部分；c)將步驟b)過程中訓(xùn)練獲得的標(biāo)記后的樣本繼續(xù)作為下一次的輸入，返回步驟b)， 直到訓(xùn)練集中已標(biāo)記的樣本數(shù)量是全部樣本的m倍時，停止訓(xùn)練；me (O, 1)，m次迭 代完成后獲得具有較高分類精度的分類器SVM'；5)將第4步中訓(xùn)練獲得的樣本存入業(yè)務(wù)數(shù)據(jù)表中，以供下次鑒別時使用；6)以上結(jié)束對業(yè)務(wù)流的識別監(jiān)測，打好標(biāo)記后轉(zhuǎn)至路由的下一節(jié)點(diǎn)。
全文摘要
本發(fā)明公布了一種基于分布式監(jiān)測管理架構(gòu)的業(yè)務(wù)感知方法，本發(fā)明方法包括如下步驟1)采用監(jiān)測代理判斷業(yè)務(wù)流是否已帶標(biāo)記；2)當(dāng)監(jiān)測代理監(jiān)測到未處理過的業(yè)務(wù)流時，向業(yè)務(wù)登記表注冊，并查詢內(nèi)存記錄；3)對監(jiān)測代理提交的業(yè)務(wù)信息進(jìn)行預(yù)處理，即將監(jiān)測代理監(jiān)測到的特征信息向量化；4)對預(yù)處理后的信息放入SVM模塊訓(xùn)練，該訓(xùn)練方法采用半監(jiān)督學(xué)習(xí)方法；5)將第4步中訓(xùn)練獲得的樣本存入業(yè)務(wù)數(shù)據(jù)表中，以供下次鑒別時使用；6)以上結(jié)束對業(yè)務(wù)流的識別監(jiān)測，打好標(biāo)記后轉(zhuǎn)至路由的下一節(jié)點(diǎn)。本發(fā)明各模塊協(xié)同工作，功能有序統(tǒng)一，提高了業(yè)務(wù)識別的實(shí)效性，保證了其端到端QoS。
文檔編號H04L29/08GK102025781SQ20101057617
公開日2011年4月20日 申請日期2010年12月7日 優(yōu)先權(quán)日2010年12月7日
發(fā)明者亓?xí)x, 孫雁飛, 張順頤, 朱偉春, 王攀, 顧成杰 申請人:南京郵電大學(xué)