一種面向?qū)崟r(shí)網(wǎng)絡(luò)數(shù)據(jù)流的高效事件匹配方法
【專利摘要】本發(fā)明公開了一種面向?qū)崟r(shí)網(wǎng)絡(luò)數(shù)據(jù)流的高效事件匹配方法，本發(fā)明主要針對(duì)現(xiàn)在常用現(xiàn)有XFA方法在匹配實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)流時(shí)存在高的內(nèi)存消耗，大的儲(chǔ)存空間和長(zhǎng)的匹配時(shí)間等方面存在的問題，提出了一種通過在XFA（擴(kuò)展自動(dòng)機(jī)）中開始狀態(tài)邊上增加一些判斷命令，生成HFA（高效自動(dòng)機(jī)），以減少XFA中不必要遷移路徑和遷移狀態(tài)，從而實(shí)現(xiàn)一種實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)流的高效事件匹配方法，大大提高了事件在實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)流上匹配能力。本發(fā)明改進(jìn)了當(dāng)前基于XFA方法在實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)流上的事件模式匹配方法，對(duì)現(xiàn)有的數(shù)據(jù)流中事件模式匹配技術(shù)做了擴(kuò)展，使其能夠更加高效地在實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)流上完成事件匹配工作。
【專利說明】-種面向?qū)崟r(shí)網(wǎng)絡(luò)數(shù)據(jù)流的高效事件匹配方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及網(wǎng)絡(luò)安全領(lǐng)域，更具體地，涉及一種面向?qū)崟r(shí)網(wǎng)絡(luò)數(shù)據(jù)流的高效事件 匹配方法。

【背景技術(shù)】
[0002] 隨著計(jì)算機(jī)技術(shù)、互聯(lián)網(wǎng)技術(shù)發(fā)展，網(wǎng)絡(luò)資源共享技術(shù)成熟，網(wǎng)絡(luò)安全問題已經(jīng)日 益成為國(guó)家、國(guó)防及國(guó)民經(jīng)濟(jì)中重要問題。事件匹配算法作為深度包檢測(cè)中的重要關(guān)鍵技 術(shù)，它主要通過掃描網(wǎng)絡(luò)中數(shù)據(jù)包，識(shí)別出與特征規(guī)則集匹配的數(shù)據(jù)包，從而實(shí)現(xiàn)實(shí)時(shí)監(jiān)測(cè) 網(wǎng)絡(luò)流量，檢查和阻止網(wǎng)絡(luò)功能，以保證日常網(wǎng)絡(luò)安全目的。當(dāng)前，實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)流中事件 匹配技術(shù)面臨著如下一些新的挑戰(zhàn)：（1)處理實(shí)時(shí)性。網(wǎng)絡(luò)帶寬和流量高速增長(zhǎng)導(dǎo)致了網(wǎng) 絡(luò)系統(tǒng)中需處理數(shù)據(jù)流量需求增大，實(shí)時(shí)處理大流量的網(wǎng)絡(luò)數(shù)據(jù)流要求網(wǎng)絡(luò)數(shù)據(jù)流處理中 事件匹配算法具有快速匹配能力。（2)數(shù)據(jù)復(fù)雜性。由于傳統(tǒng)的精確字符串已無(wú)法精確描 述當(dāng)前的網(wǎng)絡(luò)攻擊特征，需要提供更加精確和復(fù)雜的規(guī)則描述方法，從而增加數(shù)據(jù)復(fù)雜性。 (3) 種類規(guī)模性。目前網(wǎng)絡(luò)安全系統(tǒng)中需要關(guān)注的特征規(guī)則集增長(zhǎng)迅速，己達(dá)到幾千乃至 上萬(wàn)種的規(guī)模，導(dǎo)致網(wǎng)絡(luò)中數(shù)據(jù)種類呈現(xiàn)大規(guī)模性?？傊?，隨著網(wǎng)絡(luò)中特征規(guī)則集的快速增 長(zhǎng)，網(wǎng)絡(luò)數(shù)據(jù)流呈現(xiàn)大流量性，復(fù)雜性和規(guī)模性特征。由于當(dāng)前基于實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)中事件匹 配算法缺乏可伸縮性，無(wú)法適應(yīng)當(dāng)前的高速網(wǎng)絡(luò)匹配需求，急需開展一種基于實(shí)時(shí)網(wǎng)絡(luò)數(shù) 據(jù)中高性事件匹配方法。
[0003] 目前關(guān)于實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)中事件匹配方法主面研究，主要開展了有確定型有限自 動(dòng)機(jī)（Deterministic Finite Automata，DFA)、非確定型有限自動(dòng)機(jī)（Nondeterministic Finite Automata，NFA)和基于擴(kuò)展有限自動(dòng)機(jī)（extended Finite Automaton，XFA))等 方面相關(guān)方法研究。但由于DFA具有大的存儲(chǔ)空間和高的內(nèi)存開銷等缺點(diǎn)，NFA存在匹配 速度慢等不足，因而限制它們廣泛在實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)流中的匹配應(yīng)用?；跀U(kuò)展有限自動(dòng)機(jī) (extended Finite Automaton, XFA)方法，其作為當(dāng)前在的實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)流中使用最為廣 泛匹配方法，主要通過采用輔助變量替代額外DFA狀態(tài)去記錄部分匹配結(jié)果，并使用操作 命令去檢查匹配是否成功，從而消除DFA狀態(tài)空間爆炸問題，達(dá)到顯著減少DFA中存儲(chǔ)空間 目的，從而在一定程度上提升了其在實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)流中匹配能力。但由于XFA存在冗余遷 移邊的問題，不僅消耗巨大存儲(chǔ)空間，而且增加額外的存儲(chǔ)器訪問次數(shù)和匹配時(shí)間，從而限 制了其廣泛使用。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明主要針對(duì)上述XFA方法在匹配實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)流時(shí)存在高的內(nèi)存消耗，大的 儲(chǔ)存空間和長(zhǎng)的匹配時(shí)間等方面的問題，提出了一種面向?qū)崟r(shí)網(wǎng)絡(luò)數(shù)據(jù)流的高效事件匹配 方法。該方法是通過在XFA的開始狀態(tài)邊上增加一些額外判斷命令，生成HFA (高效自動(dòng) 機(jī)），以減少XFA中不必要遷移路徑和遷移狀態(tài)，從而實(shí)現(xiàn)改善XFA在匹配實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)流 時(shí)存在問題，改進(jìn)了當(dāng)前實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)流上基于自動(dòng)機(jī)模式的事件檢測(cè)方法，對(duì)現(xiàn)有的事 件檢測(cè)技術(shù)進(jìn)行擴(kuò)展，使其能夠比較高效地在海量實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)流上完成事件匹配工作， 大大提高了事件在實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)流中匹配能力。
[0005] 為實(shí)現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：
[0006] -種面向?qū)崟r(shí)網(wǎng)絡(luò)數(shù)據(jù)流的高效事件匹配方法，包括以下步驟：
[0007] SI.按照給定的事件模式匹配表達(dá)式建立相應(yīng)擴(kuò)展自動(dòng)機(jī)XFA，在XFA的開始狀態(tài) 邊上通過增加判斷指今，減少XFA中不必要遷移路徑和遷移狀態(tài)，生成相應(yīng)的高效自動(dòng)機(jī) HFA ；
[0008] S2.在HFA中初始化所有輔助變量Bitl為0 ;
[0009] S3.根據(jù)當(dāng)前開始狀態(tài)值，含有輔助變量的判斷命令和輸入特征值選擇下一步執(zhí) 行路徑；
[0010] S4.根據(jù)當(dāng)前狀態(tài)值和輸入特征值確定下一步轉(zhuǎn)換狀態(tài)；
[0011] S5.當(dāng)匹配進(jìn)程達(dá)到部分預(yù)設(shè)目標(biāo)時(shí)，設(shè)置輔助變量Bitl為1去記錄當(dāng)前匹配狀 態(tài)；當(dāng)匹配進(jìn)程完全達(dá)到模式表達(dá)式全部預(yù)設(shè)目標(biāo)時(shí)，將執(zhí)行相應(yīng)的匹配完成操作并更新 相應(yīng)的輔助變量Bitl為0,否則重復(fù)進(jìn)行步驟S3, S4的操作，直到匹配工作結(jié)束；
[0012] S6.從匹配進(jìn)程中讀取相應(yīng)的匹配結(jié)果。
[0013] 在步驟Sl中首先需要根據(jù)事件模式匹配表達(dá)式先建立相對(duì)應(yīng)的XFA，然后再通過 通過增加判斷指今，減少XFA中不必要遷移路徑和遷移狀態(tài)，生成相應(yīng)的HFA。
[0014] 在步驟S2中，匹配開始前需要初始化輔助變量Bitl為0,以滿足接下來路徑選擇 和轉(zhuǎn)換狀態(tài)選擇操作。
[0015] 在步驟S3中，下一步執(zhí)行路徑的選擇需要同時(shí)依據(jù)當(dāng)前開始狀態(tài)值，含有輔助變 量判斷命令和輸入特征值三者值共同確定。
[0016] 在步驟S4中，下一步轉(zhuǎn)換狀態(tài)的選擇需要同時(shí)根據(jù)當(dāng)前狀態(tài)值和輸入特征值兩 者值共同確定。
[0017] 在步驟S5中，需要根據(jù)當(dāng)前匹配進(jìn)程到達(dá)狀態(tài)確定執(zhí)行如下操作中之一：設(shè)置輔 助變量值，執(zhí)行相應(yīng)匹配完成操作及更新相應(yīng)的輔助變量值和重新執(zhí)行步驟S3, S4的操 作。
[0018] 本發(fā)明的有益效果是：所提出的一種面向?qū)崟r(shí)網(wǎng)絡(luò)數(shù)據(jù)流的高效事件匹配方法， 采用了通過在XFA中開始狀態(tài)邊上增加一些額外判斷命令，生成HFA，以減少XFA中不必要 遷移路徑和遷移狀態(tài)，從而實(shí)現(xiàn)一種在實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)流上基于HFA高效事件匹配方法，克 服現(xiàn)常用XFA方法上在匹配實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)流時(shí)存在高的內(nèi)存消耗，大的儲(chǔ)存空間和長(zhǎng)的匹 配時(shí)間等的缺點(diǎn)，大大提高了事件在實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)流上的匹配能力。本發(fā)明改進(jìn)了當(dāng)前實(shí) 時(shí)網(wǎng)絡(luò)數(shù)據(jù)流中基于自動(dòng)機(jī)的事件模式檢測(cè)方法，對(duì)現(xiàn)有的事件流檢測(cè)技術(shù)做了擴(kuò)展，使 其能夠在實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)流中完成更好事件匹配工作，

【專利附圖】

【附圖說明】
[0019] 圖1是本發(fā)明的方法工作過程圖。
[0020] 圖2是基于（.*abc. *def)模式表達(dá)式的XFA路徑匹配圖。
[0021] 圖3是基于（.*abc. *def)模式表達(dá)式本發(fā)明算法路徑匹配圖。
[0022] 圖4是本發(fā)明與現(xiàn)有DFA，XFA方法在內(nèi)存消耗方面比較示意圖。
[0023] 圖5是本發(fā)明與現(xiàn)有DFA，XFA方法匹配時(shí)間消耗方面比較示意圖。

【具體實(shí)施方式】
[0024] 下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步的描述，但本發(fā)明的實(shí)施方式并不限于此。
[0025] 本實(shí)施例對(duì)一種面向?qū)崟r(shí)網(wǎng)絡(luò)數(shù)據(jù)流的高效事件匹配方法的具體匹配過程進(jìn)行 詳細(xì)的說明。在實(shí)例中通過使用Snort2Bro轉(zhuǎn)換工具轉(zhuǎn)換到Snort源成FTP，HTTP集作為 測(cè)試規(guī)則集和測(cè)試數(shù)據(jù)流。
[0026] 實(shí)驗(yàn)測(cè)試的指標(biāo)主要為：匹配時(shí)內(nèi)存消耗，存儲(chǔ)空間和存匹配時(shí)間三方面，實(shí)驗(yàn)比 較方法為：DFA和XFA。
[0027] 本實(shí)施例檢測(cè)過程按照?qǐng)D1所示的流程圖進(jìn)行，它主要分成：初始化操作，建立 HFA功能，HFA匹配功能和讀匹配結(jié)果四個(gè)部分。以（.*abc.*def)為例，其具體實(shí)現(xiàn)步驟可 分為如下：
[0028] A.按照給定的模式匹配表達(dá)式（.*abc. *def)建立對(duì)應(yīng)XFA (見圖1)，在XFA中通 過增加判斷命令，生成相應(yīng)的HFA，減少了 XFA中不必要遷移路徑和遷移狀態(tài)（見圖2);
[0029] B.在HFA中初始化所有輔助變量Bitl為0 ;
[0030] C.通過當(dāng)前開始狀態(tài)值（P)，基于輔助變量判斷命令if (! bit 1)和輸入特征值 (a)確定是否選擇執(zhí)行路徑？ 4 e ;
[0031] D.根據(jù)當(dāng)前狀態(tài)值（Q)和輸入特征值（a or b)確定選擇下一轉(zhuǎn)換狀態(tài)。
[0032] E.當(dāng)輸入特征值為（b)即不是a時(shí)，轉(zhuǎn)換到R狀態(tài)進(jìn)行；當(dāng)輸入特征值為（a)時(shí)， 轉(zhuǎn)換到Q狀態(tài)；當(dāng)輸入特征值既不是a或b時(shí)，轉(zhuǎn)換到P狀態(tài)進(jìn)行。當(dāng)匹配進(jìn)程達(dá)到部分預(yù) 定 s 4 的目標(biāo)時(shí)，此時(shí)進(jìn)程將設(shè)置輔助變量Bitl為1去記錄當(dāng)前狀態(tài)。當(dāng)匹配進(jìn)程達(dá)到 全部模式表達(dá)式全部匹配操作時(shí)? 4 ? ,將執(zhí)行相應(yīng)的匹配操作（match operation)并更 新對(duì)應(yīng)的輔助變量Bitl為0。否則跳到步驟C，進(jìn)行步驟C，D的判斷操作，進(jìn)行上述操作直 到匹配工作結(jié)束；
[0033] F.從匹配進(jìn)程中讀取相應(yīng)的匹配結(jié)果。
[0034] 圖4是本發(fā)明與現(xiàn)有DFA，XFA方法在內(nèi)存消耗方面比較示意圖。實(shí)驗(yàn)中使用Snort 作為測(cè)試源，并使用變換工具Snort2Bro轉(zhuǎn)換Snort為FTP，HTTP作為規(guī)則集進(jìn)行測(cè)試。從 圖4可以看到，在相同測(cè)試條件下，相比DFA和XFA方法，本發(fā)明方法可以分別節(jié)約65%和 40%的內(nèi)存占用率，極大提高了內(nèi)存利用率。分析其主要原因在于本發(fā)明方法通過在XFA 中的開始狀態(tài)邊上增加一些判斷命令，生成HFA，可節(jié)省了許多執(zhí)行不必要遷移路徑和狀態(tài) 遷移操作時(shí)內(nèi)存消耗，從而實(shí)現(xiàn)改善DFA和XFA匹配上述數(shù)據(jù)流中存在問題。
[0035] 圖5是本發(fā)明與現(xiàn)有DFA，XFA方法在匹配時(shí)間消耗方面比較示意圖。實(shí)驗(yàn)中使用 Snort作為測(cè)試源，并使用變換工具Snort2Bro轉(zhuǎn)換Snort為FTP，HTTP作為規(guī)則集進(jìn)行測(cè) 試。從圖5可以看到，在相同測(cè)試條件下，相比XFA方法，本發(fā)明方法可以節(jié)約大約12%匹 配時(shí)間；而有著相似于DFA方法的匹配速度。分析上述主要原因在于：相比XFA方法，本發(fā) 明方法通過在XFA中開始狀態(tài)邊上增加一些判斷命令，生成HFA，可節(jié)省去了許多執(zhí)行不必 要遷移路徑和狀態(tài)遷移時(shí)花費(fèi)匹配操作時(shí)間；相比DFA方法，盡管DFA中每一個(gè)匹配過程都 有著確定性過狀態(tài)，但是經(jīng)過我們改進(jìn)后HFA，減少許多執(zhí)行不必要遷移路徑和狀態(tài)遷移時(shí) 操作，在整體匹配時(shí)間上可與DFA方法性能相當(dāng)。
[0036] 表1是本實(shí)施例方法實(shí)驗(yàn)時(shí)使用到主要一些實(shí)驗(yàn)工具和參數(shù)；
[0037] 表 1

【權(quán)利要求】
1. 一種面向?qū)崟r(shí)網(wǎng)絡(luò)數(shù)據(jù)流的高效事件匹配方法，其特征在于，包括以下步驟：
51. 按照給定的事件模式匹配表達(dá)式建立相應(yīng)擴(kuò)展自動(dòng)機(jī)XFA，在XFA的開始狀態(tài)邊上 通過增加判斷指今，減少XFA中不必要遷移路徑和遷移狀態(tài)，生成相應(yīng)的高效自動(dòng)機(jī)HFA ;
52. 在HFA中初始化所有輔助變量Bitl為0 ;
53. 根據(jù)當(dāng)前開始狀態(tài)值，含有輔助變量的判斷命令和輸入特征值選擇下一步執(zhí)行路 徑；
54. 根據(jù)當(dāng)前狀態(tài)值和輸入特征值確定下一步轉(zhuǎn)換狀態(tài)。
55. 當(dāng)匹配進(jìn)程達(dá)到部分預(yù)設(shè)目標(biāo)時(shí)，設(shè)置輔助變量Bitl為1去記錄當(dāng)前匹配狀態(tài)； 當(dāng)匹配進(jìn)程完全達(dá)到模式表達(dá)式全部預(yù)設(shè)目標(biāo)時(shí)，將執(zhí)行相應(yīng)的匹配完成操作并更新相應(yīng) 的輔助變量Bitl為0,否則重復(fù)進(jìn)行步驟S3, S4的操作，直到匹配工作結(jié)束；
56. 從匹配進(jìn)程中讀取相應(yīng)的匹配結(jié)果。
【文檔編號(hào)】H04L29/06GK104333487SQ201410609250
【公開日】2015年2月4日 申請(qǐng)日期:2014年10月31日 優(yōu)先權(quán)日:2014年10月31日
【發(fā)明者】程良倫, 王建華, 王濤 申請(qǐng)人:廣東工業(yè)大學(xué)