用于處理網(wǎng)絡(luò)元數(shù)據(jù)的流式傳輸方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明描述一種用于處理網(wǎng)絡(luò)元數(shù)據(jù)的方法和系統(tǒng)?？梢酝ㄟ^動(dòng)態(tài)地實(shí)例化的可執(zhí)行軟件模塊來處理網(wǎng)絡(luò)元數(shù)據(jù)，所述動(dòng)態(tài)地實(shí)例化的可執(zhí)行軟件模塊關(guān)于網(wǎng)絡(luò)元數(shù)據(jù)的特性和關(guān)于網(wǎng)絡(luò)元數(shù)據(jù)向網(wǎng)絡(luò)元數(shù)據(jù)所承載的信息的消耗方的呈現(xiàn)作出基于策略的決策?？梢詫λ鼍W(wǎng)絡(luò)元數(shù)據(jù)進(jìn)行類型分類，并且可以通過唯一指紋值將類型內(nèi)的每一子類映射到一個(gè)定義?？梢允褂盟鲋讣y值根據(jù)相關(guān)策略和變換規(guī)則匹配所述網(wǎng)絡(luò)元數(shù)據(jù)子類。對于例如NetFlow?v9等基于模板的網(wǎng)絡(luò)元數(shù)據(jù)，本發(fā)明的一實(shí)施例可以不斷地監(jiān)控網(wǎng)絡(luò)業(yè)務(wù)以發(fā)現(xiàn)未知的模板、捕獲模板定義，并且告知管理員不存在定制策略和轉(zhuǎn)換規(guī)則的模板。轉(zhuǎn)換模塊可以高效地將所選類型和/或子類的網(wǎng)絡(luò)元數(shù)據(jù)轉(zhuǎn)換成替代的元數(shù)據(jù)格式。
【專利說明】用于處理網(wǎng)絡(luò)元數(shù)據(jù)的流式傳輸方法和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 總的來說本發(fā)明涉及網(wǎng)絡(luò)監(jiān)控和事件管理。更確切地說，本發(fā)明涉及處理通過網(wǎng) 絡(luò)監(jiān)控活動(dòng)和隨后對元數(shù)據(jù)的處理而獲得的網(wǎng)絡(luò)元數(shù)據(jù)，這可以高效地使得有用信息用及 時(shí)的方式被報(bào)告給元數(shù)據(jù)的消耗方。

【背景技術(shù)】
[0002] 網(wǎng)絡(luò)監(jiān)控是企業(yè)和服務(wù)提供者經(jīng)常使用的一種至關(guān)重要的信息技術(shù)（IT)功能， 其涉及監(jiān)視在內(nèi)部網(wǎng)絡(luò)上發(fā)生的活動(dòng)以便發(fā)現(xiàn)與性能有關(guān)的問題、有不當(dāng)操作的主機(jī)、可 疑的用戶活動(dòng)等。由于多個(gè)網(wǎng)絡(luò)裝置提供的信息，所以可以進(jìn)行網(wǎng)絡(luò)監(jiān)控。所述信息總地 來說被稱作網(wǎng)絡(luò)元數(shù)據(jù)，即，描述網(wǎng)絡(luò)上的活動(dòng)的與經(jīng)由網(wǎng)絡(luò)發(fā)射的其余信息補(bǔ)充和互補(bǔ) 的一類信息。
[0003] Syslog是常用于網(wǎng)絡(luò)監(jiān)控的一種類型的網(wǎng)絡(luò)元數(shù)據(jù)。Syslog是用于記錄程序 消息的一種標(biāo)準(zhǔn)，并且提供原本將不能夠傳送用以通知管理員問題或性能的手段的裝置。 Syslog通常用于計(jì)算機(jī)系統(tǒng)管理和安全審核以及一般化的信息、分析和調(diào)試消息。多種多 樣的裝置（比如打印機(jī)和路由器）和接收器跨越多個(gè)平臺支持syslog。因?yàn)檫@一點(diǎn)，syslog 可以用于將來自許多不同類型的系統(tǒng)的日志數(shù)據(jù)集成到中心儲(chǔ)存庫中。
[0004] 最近，另一種類型的網(wǎng)絡(luò)元數(shù)據(jù)（被多個(gè)供應(yīng)商稱為NetFlow、jFlow、sFlow等） 也被作為標(biāo)準(zhǔn)網(wǎng)絡(luò)業(yè)務(wù)的一部分引入（下文總地來說被稱作"NetFlow"）。NetFlow是用于 收集IP業(yè)務(wù)信息的已成為業(yè)務(wù)監(jiān)控的業(yè)界標(biāo)準(zhǔn)的一種網(wǎng)絡(luò)協(xié)議。NetFlow可以通過例如路 由器、交換機(jī)、防火墻、入侵檢測系統(tǒng)（IDS)、入侵保護(hù)系統(tǒng)（IPS)、網(wǎng)絡(luò)地址翻譯（NAT)實(shí)體 和許多其它裝置等多種網(wǎng)絡(luò)裝置產(chǎn)生。但是，直至近年來，NetFlow網(wǎng)絡(luò)元數(shù)據(jù)一直被專門 用于事后網(wǎng)絡(luò)監(jiān)管目的，例如網(wǎng)絡(luò)拓?fù)浒l(fā)現(xiàn)、定位網(wǎng)絡(luò)吞吐量瓶頸、服務(wù)水平協(xié)議（SLA)驗(yàn) 證等。NetFlow元數(shù)據(jù)的此有限使用總地來說可以歸因于網(wǎng)絡(luò)裝置產(chǎn)生的信息的大量和高 傳遞速率、信息源的多樣性和將額外信息流集成到現(xiàn)有事件分析器中的整體復(fù)雜度。更具 體來說，NetFlow元數(shù)據(jù)產(chǎn)生方產(chǎn)生的信息通常比在實(shí)時(shí)設(shè)置中消耗方可以分析和使用的 信息多。舉例來說，網(wǎng)絡(luò)上的單個(gè)中等到大型交換機(jī)可能每秒產(chǎn)生400, 000份NetFlow記 錄。
[0005] 現(xiàn)今的syslog收集器、syslog分析器、安全信息管理（SM)系統(tǒng)、安全事件管理 (SEM)系統(tǒng)、安全信息和事件管理（SIEM)系統(tǒng)等（下文統(tǒng)稱為"SIEM系統(tǒng)"）或者不能接收 和分析NetFlow、或者限于處理NetFlow包中容納的基本信息，或者對NetFlow包的處理速 率比此類包的通常產(chǎn)生速率低許多。
[0006] 例如 NetFlow v9(RFC3954)和 IPFIX(RFC5101 和相關(guān) IETF RFC)等穩(wěn)固網(wǎng)絡(luò)監(jiān)控 協(xié)議的出現(xiàn)大幅度地?cái)U(kuò)展了在網(wǎng)絡(luò)安全和智能網(wǎng)絡(luò)管理領(lǐng)域使用網(wǎng)絡(luò)元數(shù)據(jù)的機(jī)會(huì)。同 時(shí)，由于上文所指出的約束，所以現(xiàn)今的系統(tǒng)除了簡單地報(bào)告觀察到的字節(jié)和包計(jì)數(shù)之外 總地來說不能夠利用網(wǎng)絡(luò)監(jiān)控信息。


【發(fā)明內(nèi)容】

[0007] 網(wǎng)絡(luò)管理方和網(wǎng)絡(luò)安全專業(yè)人員不斷地面對和對抗業(yè)界通常稱為"大數(shù)據(jù)"的問 題。大數(shù)據(jù)問題產(chǎn)生的一些問題包含無法分析和存儲(chǔ)大量的通常以不同格式和結(jié)構(gòu)存在的 機(jī)器產(chǎn)生的數(shù)據(jù)。通常經(jīng)歷的問題可以概括如下：
[0008] 1.要實(shí)時(shí)分析以獲得對網(wǎng)絡(luò)條件的及時(shí)洞察的數(shù)據(jù)太多。
[0009] 2.數(shù)據(jù)從網(wǎng)絡(luò)上的不同裝置類型以不同格式到達(dá)，從而使得來自不同裝置類型的 數(shù)據(jù)的相關(guān)困難并且緩慢；以及
[0010] 3.要存儲(chǔ)的數(shù)據(jù)太多（例如，為了稍后分析和/或?yàn)榱俗袷財(cái)?shù)據(jù)保存要求）。
[0011] 本發(fā)明提供了一種能夠解決與大數(shù)據(jù)相關(guān)聯(lián)的所有以上所識別的問題的系統(tǒng)和 方法，方法是通過提供以下能力：實(shí)時(shí)分析大量元數(shù)據(jù)，將大量元數(shù)據(jù)轉(zhuǎn)換成允許與單個(gè)監(jiān) 控系統(tǒng)內(nèi)的其它數(shù)據(jù)容易地相關(guān)的常用格式，和通過例如包驗(yàn)證、過濾、集合和去除重復(fù)等 實(shí)時(shí)數(shù)據(jù)減少技術(shù)顯著減少傳入數(shù)據(jù)量。
[0012] 本發(fā)明的實(shí)施例能夠檢查網(wǎng)絡(luò)元數(shù)據(jù)傳入包的有效性，并且丟棄殘缺的或不當(dāng)?shù)?消息。實(shí)施例還能夠?qū)崟r(shí)地檢查和過濾網(wǎng)絡(luò)元數(shù)據(jù)傳入包，以便識別其信息內(nèi)容和片段的 相關(guān)方面，或路由傳入網(wǎng)絡(luò)元數(shù)據(jù)的不同流以便在本發(fā)明的處理引擎內(nèi)進(jìn)行不同處理。此 不同處理中包含著減少輸出元數(shù)據(jù)業(yè)務(wù)的概率，方法是通過基于可以由網(wǎng)絡(luò)管理方配置并 且在及早檢查傳入消息的過程中所確定的準(zhǔn)則來丟棄特定消息或所選消息流。這使得網(wǎng)絡(luò) 管理方能夠使網(wǎng)絡(luò)分析在進(jìn)行中的基礎(chǔ)上聚焦網(wǎng)絡(luò)分析或響應(yīng)于特定網(wǎng)絡(luò)條件暫時(shí)聚焦 網(wǎng)絡(luò)分析。作為一實(shí)例，網(wǎng)絡(luò)管理方可以選擇將注意力集中于僅僅網(wǎng)絡(luò)上的邊緣裝置產(chǎn)生 的系統(tǒng)內(nèi)的網(wǎng)絡(luò)元數(shù)據(jù)以便研究可能的入侵事件。
[0013] 本發(fā)明的實(shí)施例進(jìn)一步能夠集合網(wǎng)絡(luò)元數(shù)據(jù)傳入包中含有的信息內(nèi)容，并且將大 數(shù)量的相關(guān)包替換成捕獲相同信息但比原始元數(shù)據(jù)流產(chǎn)生小得多的下游顯示、分析和存儲(chǔ) 要求的一個(gè)或小得多的數(shù)目的其它包。
[0014] 本發(fā)明的實(shí)施例進(jìn)一步能夠?qū)⒕W(wǎng)絡(luò)裝置產(chǎn)生的正常元數(shù)據(jù)流的內(nèi)容去除重復(fù)。因 為傳入業(yè)務(wù)通常在網(wǎng)絡(luò)內(nèi)穿過一序列的網(wǎng)絡(luò)裝置路由到其目的地裝置，并且因?yàn)槊恳痪W(wǎng)絡(luò) 裝置通常為穿越它的每一流產(chǎn)生網(wǎng)絡(luò)元數(shù)據(jù)，所以會(huì)產(chǎn)生大量冗余元數(shù)據(jù)，這會(huì)促成業(yè)界 中的大數(shù)據(jù)問題。
[0015] 本發(fā)明涉及一種能夠接收任意結(jié)構(gòu)化數(shù)據(jù)（例如，網(wǎng)絡(luò)或機(jī)器產(chǎn)生的元數(shù)據(jù)，采 用多種數(shù)據(jù)格式（下文中的網(wǎng)絡(luò)元數(shù)據(jù)）、高效地處理網(wǎng)絡(luò)元數(shù)據(jù)和轉(zhuǎn)發(fā)接收到的網(wǎng)絡(luò)元 數(shù)據(jù)和/或從原始網(wǎng)絡(luò)元數(shù)據(jù)導(dǎo)出的多種數(shù)據(jù)格式的網(wǎng)絡(luò)元數(shù)據(jù)的系統(tǒng)和方法。網(wǎng)絡(luò)元 數(shù)據(jù)可以通過例如路由器、交換機(jī)、防火墻、入侵檢測系統(tǒng)（IDS)、入侵保護(hù)系統(tǒng)（IPS)、網(wǎng) 絡(luò)地址翻譯（NAT)實(shí)體和許多其它裝置等多種網(wǎng)絡(luò)裝置產(chǎn)生。網(wǎng)絡(luò)元數(shù)據(jù)信息用多種格式 產(chǎn)生，包含但不限于NetFlow和其變化形式，（例如，jFlow、cflowd、sFlow、IPFIX)、SNMP、 SMTP、syslog等。本文所述的方法和系統(tǒng)能夠用多種格式輸出網(wǎng)絡(luò)元數(shù)據(jù)信息，包含但不 限于 NetFlow 和其版本，（jFlow、cflowd、sFlow、IPFIX)、SNMP、SMTP、syslog、OpenFlow 等。 此外，本發(fā)明的實(shí)施例能夠用足以允許提供實(shí)時(shí)或近實(shí)時(shí)網(wǎng)絡(luò)服務(wù)的速率輸出所選類型的 網(wǎng)絡(luò)元數(shù)據(jù)信息。因此，所述系統(tǒng)能夠在具有N(N > 1)個(gè)網(wǎng)絡(luò)元數(shù)據(jù)產(chǎn)生方和M(M > 1) 個(gè)原始或衍生網(wǎng)絡(luò)元數(shù)據(jù)消耗方的部署中提供有意義的服務(wù)?？梢岳斫猓景l(fā)明的特定實(shí) 施例符合RFC5982中反映的IPFIX調(diào)介裝置的定義。
[0016] 本發(fā)明的實(shí)施例提供一種用于識別接收到的網(wǎng)絡(luò)元數(shù)據(jù)的性質(zhì)、特性和/或類型 ("類"）并且將接收到的信息組織成類別或類的方法和系統(tǒng)。這在用于與NetFlow V9和 基于模板的類似消息關(guān)聯(lián)時(shí)可能特別有用，并且可以具有多種不同的內(nèi)容和目的。一旦被 歸類或分類，就可以進(jìn)一步根據(jù)零、一個(gè)或多個(gè)類特定處理規(guī)則或根據(jù)默認(rèn)處理規(guī)則（"策 略"）來處理每一單獨(dú)的類成員例子。本發(fā)明的這個(gè)方面使得能夠?qū)o限種類的網(wǎng)絡(luò)元數(shù) 據(jù)類型進(jìn)行精細(xì)粒度的處理。
[0017] 通過在操作的早期階段識別傳入網(wǎng)絡(luò)元數(shù)據(jù)的類，實(shí)施例能夠高效地組織對網(wǎng)絡(luò) 元數(shù)據(jù)的處理，并且在適當(dāng)情況下，通過過濾、合并和/或排除系統(tǒng)管理員興趣有限的網(wǎng)絡(luò) 元數(shù)據(jù)部分來減少必需的處理量，由此促成系統(tǒng)的實(shí)時(shí)或近實(shí)時(shí)操作，并且潛在地減少網(wǎng) 絡(luò)元數(shù)據(jù)收集器處的存儲(chǔ)要求。舉例來說，隨著網(wǎng)絡(luò)業(yè)務(wù)的特定主體穿越網(wǎng)絡(luò)中的多個(gè)裝 置，可以從每一穿越裝置產(chǎn)生含有冗余信息的網(wǎng)絡(luò)元數(shù)據(jù)。依據(jù)SIEM系統(tǒng)內(nèi)定義的監(jiān)控焦 點(diǎn)或區(qū)域，可能需要從被轉(zhuǎn)發(fā)到SIEM系統(tǒng)的元數(shù)據(jù)流過濾、集合、合并或消除含有冗余信 息的元數(shù)據(jù)記錄?？梢砸霃尼槍IEM系統(tǒng)的某些類的網(wǎng)絡(luò)元數(shù)據(jù)移除冗余性的策略，同 時(shí)為針對收集器的流保存所有此元數(shù)據(jù)。
[0018] 因而將理解，可以用支持在網(wǎng)絡(luò)內(nèi)操作的SIEM系統(tǒng)和/或元數(shù)據(jù)收集器的策略或 焦點(diǎn)區(qū)域和/或與之協(xié)調(diào)的方式定義本發(fā)明的實(shí)施例所實(shí)施的策略。
[0019] 可以出于檢測重要或不尋常的網(wǎng)絡(luò)事件（可能指示安全攻擊）、報(bào)告網(wǎng)絡(luò)上的業(yè) 務(wù)尖峰、檢測網(wǎng)絡(luò)上的攻擊、促進(jìn)對網(wǎng)絡(luò)資源的更好使用和/或識別在網(wǎng)絡(luò)上運(yùn)行的應(yīng)用 的目的引入策略，以便實(shí)現(xiàn)網(wǎng)絡(luò)管理和安全的目的。策略可以是通用的或基于時(shí)間的，并且 可以應(yīng)用于穿過網(wǎng)絡(luò)的特定類或子集的網(wǎng)絡(luò)元數(shù)據(jù)。本發(fā)明的一實(shí)施例涵蓋提供與多個(gè)策 略模塊協(xié)作操作以便增加系統(tǒng)吞吐量和性能的多個(gè)工作線程。
[0020] 可以引入專門或經(jīng)過調(diào)諧用于特定類或子類的網(wǎng)絡(luò)元數(shù)據(jù)以便進(jìn)一步增強(qiáng)系統(tǒng) 性能和吞吐量的工作線程。此類專門工作線程和策略模塊可以并聯(lián)地對網(wǎng)絡(luò)元數(shù)據(jù)流的不 同部分執(zhí)行處理操作，以便增強(qiáng)系統(tǒng)性能和吞吐量。此外，響應(yīng)于大量特定類或子類的網(wǎng)絡(luò) 元數(shù)據(jù)，可以將專門工作線程和/或策略模塊的多個(gè)例子實(shí)例化以并聯(lián)操作，以便進(jìn)一步 增強(qiáng)系統(tǒng)性能和吞吐量。
[0021] 舉例來說，本發(fā)明的實(shí)施例提供檢測駐留在內(nèi)部網(wǎng)絡(luò)上的受外部控制的網(wǎng)絡(luò)主機(jī) ("僵尸網(wǎng)絡(luò)成員"）的獨(dú)特能力?？紤]通過中央控制器（"僵尸網(wǎng)絡(luò)主裝置"）操作的受到 感染的網(wǎng)絡(luò)主機(jī)。通常，檢測網(wǎng)絡(luò)主機(jī)上的惡意內(nèi)容需要在所述主機(jī)上安裝專用插件模塊。 這種方法并不對抗通過任何基于主機(jī)的手段無法檢測的復(fù)雜惡意代理（"根套件"）。本發(fā) 明的實(shí)施例引入一種能夠識別和通知安全系統(tǒng)僵尸網(wǎng)絡(luò)主裝置與內(nèi)部網(wǎng)絡(luò)上的僵尸網(wǎng)絡(luò) 成員之間的通信的動(dòng)作的策略。
[0022] 由于使用網(wǎng)絡(luò)元數(shù)據(jù)信息，所以本發(fā)明提供的智能實(shí)現(xiàn)比通過暴露于網(wǎng)絡(luò)業(yè)務(wù)的 類似用途裝置提供的智能更高的可信程度。舉例來說，暴露于惡意業(yè)務(wù)的在線入侵檢測系 統(tǒng)（IDS)或入侵檢測系統(tǒng)（IPS)可能被破解或遭受拒絕服務(wù)（"DoS"）攻擊，而本發(fā)明可以 部署在此類攻擊無法接入的內(nèi)部網(wǎng)絡(luò)上。
[0023] 另外，本發(fā)明能夠變換網(wǎng)絡(luò)元數(shù)據(jù)，這使得其適合于需要網(wǎng)絡(luò)元數(shù)據(jù)模糊處理的 部署。
[0024] 根據(jù)本發(fā)明的另一實(shí)施例，所述方法和系統(tǒng)可以用流式傳輸方式實(shí)施，S卩，在輸入 網(wǎng)絡(luò)元數(shù)據(jù)到達(dá)時(shí)對其進(jìn)行處理（"實(shí)時(shí)或近實(shí)時(shí)"），而不需要求助網(wǎng)絡(luò)元數(shù)據(jù)的永久性 存儲(chǔ)。本發(fā)明的這個(gè)實(shí)施例允許在具有有限存儲(chǔ)空間和存儲(chǔ)容量的計(jì)算機(jī)上部署所述系統(tǒng) 和方法，這使得實(shí)施例尤其好地適合于部署在計(jì)算云中。
[0025] 在根據(jù)一個(gè)策略或多個(gè)策略處理類成員例子之后，本發(fā)明的實(shí)施例可以提供一種 用于將策略的應(yīng)用的結(jié)果轉(zhuǎn)換成適合于通過轉(zhuǎn)換的網(wǎng)絡(luò)元數(shù)據(jù)或原始網(wǎng)絡(luò)元數(shù)據(jù)的接收 者進(jìn)一步處理的零、一個(gè)或多個(gè)表示的高效方法（"轉(zhuǎn)換器"）。因此，本文所揭示的系統(tǒng)和 方法格外好地適合于部署在現(xiàn)有環(huán)境中，其中其輸出可以被引導(dǎo)而朝向現(xiàn)有的不同組件， 例如適于與syslog元數(shù)據(jù)一起使用的SIEM系統(tǒng)。
[0026] 本發(fā)明的一實(shí)施例提供多個(gè)轉(zhuǎn)換器，其可以被定制而用于特定類的網(wǎng)絡(luò)元數(shù)據(jù)和 /或輸出格式，由此增加系統(tǒng)的吞吐量以便更好地實(shí)現(xiàn)網(wǎng)絡(luò)上的實(shí)時(shí)或近實(shí)時(shí)服務(wù)。此外， 響應(yīng)于大量特定類或子類的網(wǎng)絡(luò)元數(shù)據(jù)，可以將定制工作線程和/或轉(zhuǎn)換模塊的多個(gè)例子 實(shí)例化以并聯(lián)操作，以便進(jìn)一步增強(qiáng)系統(tǒng)性能和吞吐量。
[0027] 另外，本發(fā)明的實(shí)施例能夠通過附加消息驗(yàn)證代碼而確保轉(zhuǎn)換的網(wǎng)絡(luò)元數(shù)據(jù)的完 整性。本發(fā)明的這個(gè)實(shí)施例使得復(fù)雜網(wǎng)絡(luò)元數(shù)據(jù)接收者能夠驗(yàn)證接收到的信息的真實(shí)性。
[0028] 本發(fā)明的又一實(shí)施例是能夠用對于現(xiàn)有網(wǎng)絡(luò)生態(tài)系統(tǒng)透明的方式部署所述系統(tǒng) 和方法。這個(gè)實(shí)施例不需要現(xiàn)有網(wǎng)絡(luò)組件的配置有任何變化。
[0029] 本發(fā)明的另一實(shí)施例提供一種用于以視覺或以文本術(shù)語或其組合描述網(wǎng)絡(luò)元數(shù) 據(jù)處理和轉(zhuǎn)換規(guī)則的方法和設(shè)備。一旦策略的描述完成并且被驗(yàn)證為不矛盾，那么適用于 接受所述規(guī)則的一類成員的策略和轉(zhuǎn)換器就可以實(shí)例化為同時(shí)從網(wǎng)絡(luò)元數(shù)據(jù)處理和轉(zhuǎn)換 規(guī)則定義中的一個(gè)或多個(gè)導(dǎo)出的一個(gè)或多個(gè)可執(zhí)行模塊。因此，跨越多個(gè)模塊實(shí)現(xiàn)系統(tǒng)策 略一致性。另外，實(shí)施策略和轉(zhuǎn)換規(guī)則的模塊的二進(jìn)制性質(zhì)使得系統(tǒng)能夠以明顯地超過解 釋可比較處理規(guī)則的環(huán)境中的處理速率的速率處置輸入網(wǎng)絡(luò)元數(shù)據(jù)。

【專利附圖】

【附圖說明】
[0030] 為了可以更加明確地確定本發(fā)明，現(xiàn)在將借助于實(shí)例參看附圖描述一些實(shí)施例， 其中：
[0031] 圖1提供根據(jù)本發(fā)明的實(shí)施例的包含產(chǎn)生可以分析的元數(shù)據(jù)的多種網(wǎng)絡(luò)裝置的 網(wǎng)絡(luò)系統(tǒng)的簡化示意圖；
[0032] 圖2提供包含產(chǎn)生元數(shù)據(jù)的多種網(wǎng)絡(luò)裝置和根據(jù)本發(fā)明的實(shí)施例的用于分析此 元數(shù)據(jù)的系統(tǒng)的網(wǎng)絡(luò)系統(tǒng)的簡化示意圖；
[0033] 圖3提供包含根據(jù)本發(fā)明的實(shí)施例產(chǎn)生可以分析的元數(shù)據(jù)的多種網(wǎng)絡(luò)裝置和根 據(jù)本發(fā)明的實(shí)施例經(jīng)過分析的元數(shù)據(jù)可以提供到的網(wǎng)絡(luò)裝置的網(wǎng)絡(luò)系統(tǒng)的簡化示意圖；
[0034] 圖4提供根據(jù)本發(fā)明的實(shí)施例的包含協(xié)作分析元數(shù)據(jù)的多種處理模塊的網(wǎng)絡(luò)系 統(tǒng)的簡化示意圖；
[0035] 圖5提供根據(jù)本發(fā)明的實(shí)施例的協(xié)作分析元數(shù)據(jù)的處理模塊的一些部分的更詳 細(xì)示意圖；
[0036] 圖6是說明根據(jù)本發(fā)明的實(shí)施例的可用于分析元數(shù)據(jù)的一個(gè)邏輯流的表；
[0037] 圖7提供說明根據(jù)本發(fā)明的實(shí)施例的元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)和協(xié)作分析元數(shù)據(jù)的多 種處理模塊的簡化示意圖；
[0038] 圖8提供根據(jù)本發(fā)明的實(shí)施例的協(xié)作分析元數(shù)據(jù)的多種處理模塊的簡化示意圖；
[0039] 圖9提供說明根據(jù)本發(fā)明的實(shí)施例的協(xié)作分析元數(shù)據(jù)的多種處理模塊的簡化框 圖和流程圖；
[0040] 圖9a提供說明根據(jù)本發(fā)明的實(shí)施例可以實(shí)施的策略的簡化框圖和流程圖；
[0041] 圖9b提供說明根據(jù)本發(fā)明的實(shí)施例可以實(shí)施的另一策略的簡化框圖和流程圖；
[0042] 圖9c提供說明根據(jù)本發(fā)明的實(shí)施例可以實(shí)施的另一策略的簡化框圖和流程圖；
[0043] 圖9d提供說明根據(jù)本發(fā)明的實(shí)施例可以實(shí)施的另一策略的簡化框圖和流程圖；
[0044] 圖9e提供說明根據(jù)本發(fā)明的實(shí)施例可以實(shí)施的另一策略的簡化框圖和流程圖；
[0045] 圖9f提供說明根據(jù)本發(fā)明的實(shí)施例可以實(shí)施的另一策略的簡化框圖和流程圖；
[0046] 圖9x提供說明根據(jù)本發(fā)明的實(shí)施例可以實(shí)施的另一策略的簡化框圖和流程圖；
[0047] 圖10提供說明根據(jù)本發(fā)明的實(shí)施例將NetFlow元數(shù)據(jù)轉(zhuǎn)換和分析成OpenFlow的 簡化框圖和流程圖；
[0048] 圖11提供說明根據(jù)本發(fā)明的實(shí)施例處理Syslog元數(shù)據(jù)的簡化框圖和流程圖；
[0049] 圖11a提供說明根據(jù)本發(fā)明的實(shí)施例的大型網(wǎng)絡(luò)的分支子網(wǎng)中的元數(shù)據(jù)的處理 的簡化框圖；
[0050] 圖lib提供說明根據(jù)本發(fā)明的實(shí)施例的大型網(wǎng)絡(luò)的分支子網(wǎng)中的元數(shù)據(jù)的處理 的簡化框圖；
[0051] 圖11c提供說明根據(jù)本發(fā)明的實(shí)施例的基于云的實(shí)施方案中的網(wǎng)絡(luò)中的元數(shù)據(jù) 的處理的簡化框圖；
[0052] 圖12提供說明根據(jù)本發(fā)明的實(shí)施例的網(wǎng)絡(luò)中的元數(shù)據(jù)的路由的簡化框圖；以及
[0053] 圖13提供說明根據(jù)本發(fā)明的實(shí)施例的網(wǎng)絡(luò)中對一般化的格式的元數(shù)據(jù)的分析和 路由的簡化框圖。

【具體實(shí)施方式】
[0054] 總的來說本發(fā)明涉及網(wǎng)絡(luò)監(jiān)控和事件管理。更確切地說本發(fā)明涉及處理由于網(wǎng)絡(luò) 監(jiān)控活動(dòng)和隨后處理元數(shù)據(jù)所獲得的網(wǎng)絡(luò)元數(shù)據(jù)，這可以使得有用信息用及時(shí)的方式被報(bào) 告給事件管理實(shí)體。
[0055] 在以下描述中，僅僅出于說明的目的，在網(wǎng)絡(luò)元數(shù)據(jù)處理的背景下揭示本發(fā)明。但 是，應(yīng)了解，本發(fā)明適合于多種多樣的應(yīng)用和使用，并且本發(fā)明的某些實(shí)施例在除了網(wǎng)絡(luò)元 數(shù)據(jù)處理之外的背景下也適用。舉例來說，在兼容OpenFlow的環(huán)境中，系統(tǒng)可以從網(wǎng)絡(luò)接 收NetFlow信息，并且向OpenFlow控制器輸出指令。
[0056] 在本發(fā)明的一個(gè)實(shí)施例中，所述方法和系統(tǒng)可以使用NetFlow/Syslog轉(zhuǎn)換器 ("NF2SL"）實(shí)施，NetFlow/Syslog 轉(zhuǎn)換器是能夠集成 NetFlow 版本 1 到 8、NetFlow v9、 jFlow、sflowd、sFlow、NetStream、IPFIX 和具有任何能夠處理 syslog 的 SIEM 系統(tǒng)的類 似（"NetFlow"）產(chǎn)生方的軟件程序。所述集成是通過將通過網(wǎng)絡(luò)上的NetFlow產(chǎn)生方產(chǎn) 生的網(wǎng)絡(luò)元數(shù)據(jù)轉(zhuǎn)換成網(wǎng)絡(luò)監(jiān)控系統(tǒng)的通用語言（lingua franCa)-syslog而實(shí)現(xiàn)的。將 NetFlow信息映射成對應(yīng)syslog信息可以根據(jù)由NF2SL管理員建立的策略、規(guī)則和優(yōu)先級 來執(zhí)行。
[0057] 現(xiàn)今的syslog收集器、syslog分析器、SIM、SEM和SIEM系統(tǒng)等（下文中統(tǒng)稱為 "SIEM系統(tǒng)"）不能接收和分析NetFlow，或限于處理NetFlow包中容納的基本信息，或執(zhí)行 這些操作的速率較低，這會(huì)限制結(jié)果的及時(shí)性和有用性。經(jīng)由NF2SL系統(tǒng)實(shí)施的本發(fā)明的 實(shí)施例可以充當(dāng)網(wǎng)絡(luò)上的NetFlow產(chǎn)生方與SIEM系統(tǒng)之間的智能中間設(shè)備，從而使得SIEM 系統(tǒng)能夠以原本不可能實(shí)現(xiàn)的粒度、深度和速度來評估信息。
[0058] 當(dāng)部署在網(wǎng)絡(luò)上時(shí)，NF2SL系統(tǒng)的實(shí)施例總地來說可以包含以下功能：接收 NetFlow包、識別和分類包中的NetFlow記錄、對照NF2SL管理員提供的策略匹配在接收到 的包中找到的NetFlow記錄、根據(jù)適用的策略處理NetFlow記錄、將NetFlow記錄中的信息 映射成NF2SL管理員規(guī)定的syslog包、將接收到的、聯(lián)合的和/或新產(chǎn)生的NetFlow記錄 從NetFlow格式轉(zhuǎn)換成syslog格式，和將所得的syslog包轉(zhuǎn)發(fā)給一個(gè)或多個(gè)指定SIEM系 統(tǒng)。此NF2SL系統(tǒng)可以明顯地增加信息源的數(shù)目和可供SIEM系統(tǒng)用于數(shù)據(jù)分析和相關(guān)的 有用信息的量和及時(shí)性。
[0059] 圖1描繪示范性網(wǎng)絡(luò)，其包括首端路由器100、外部防火墻101、內(nèi)部防火墻102、 在"DMZ"網(wǎng)絡(luò)中部署在防火墻101與102之間的公開可用的網(wǎng)絡(luò)服務(wù)器103、數(shù)據(jù)中心交換 機(jī)104和應(yīng)用服務(wù)器105。在典型部署中，以上實(shí)體經(jīng)配置以將所產(chǎn)生的syslog消息轉(zhuǎn)發(fā) 給SIEM系統(tǒng)106。向SIEM系統(tǒng)106報(bào)告syslog消息的實(shí)體的示范性集合被識別為"群組 A"。
[0060] 參看圖2,當(dāng)將使用NF2SL系統(tǒng)107實(shí)施的本發(fā)明的一實(shí)施例引入到網(wǎng)絡(luò)中時(shí)，首 端路由器100、外部防火墻101、內(nèi)部防火墻102和數(shù)據(jù)中心交換機(jī)104中的一個(gè)或多個(gè)可 以經(jīng)配置用于將NetFlow消息導(dǎo)出給NF2SL系統(tǒng)107。在這個(gè)示范性網(wǎng)絡(luò)拓?fù)渲?，NF2SL系 統(tǒng)107接收NetFlow包中的網(wǎng)絡(luò)元數(shù)據(jù)、識別和/或分類NetFlow記錄、根據(jù)NF2SL管理 員配置的策略來處理在這些包中找到的網(wǎng)絡(luò)元數(shù)據(jù)（包含過濾以尋找和集合特別關(guān)注的 NetFlow消息）、任選地產(chǎn)生此處理所得的額外NetFlow消息、將NetFlow消息中的所選消 息高效地轉(zhuǎn)換成syslog消息，和將所得的syslog消息轉(zhuǎn)發(fā)給SIEM系統(tǒng)106。因而，網(wǎng)絡(luò)首 端路由器100、外部防火墻101、內(nèi)部防火墻102、網(wǎng)絡(luò)服務(wù)器103、應(yīng)用服務(wù)器105和數(shù)據(jù)中 心交換機(jī)104 (NF2SL系統(tǒng)107的NetFlow產(chǎn)生方配置在其上）的網(wǎng)絡(luò)接口包括"實(shí)時(shí)"或 接近實(shí)時(shí)地向SIEM系統(tǒng)106報(bào)告可能有用的信息（通過NF2SL系統(tǒng)107調(diào)解）的額外群 組的實(shí)體。經(jīng)由NF2SL系統(tǒng)向SIEM系統(tǒng)106報(bào)告的實(shí)體的集合被識別為"群組B"。
[0061] 比較圖1和圖2上的信息源的數(shù)目，可以容易認(rèn)識到，引入圖2的NF2SL系統(tǒng)107 幾乎實(shí)際上使向SIEM系統(tǒng)106產(chǎn)生適合于相關(guān)和分析的數(shù)據(jù)的可能信息源的數(shù)目加倍。本 發(fā)明的這個(gè)方面明顯地增加了對于網(wǎng)絡(luò)上的狀況和活動(dòng)的可見度。
[0062] 本發(fā)明的這個(gè)實(shí)施例的又一方面是NF2SL系統(tǒng)實(shí)施方案的通用性。由于其與平臺 無關(guān)的性質(zhì)，可以（但不限于）在專用網(wǎng)絡(luò)電器上、獨(dú)立服務(wù)器上、基于云的虛擬機(jī)上或任 何其它聯(lián)網(wǎng)計(jì)算裝置上實(shí)施NF2SL系統(tǒng)。因此，用戶可以選擇最好地滿足其需要和預(yù)算的 NF2SL實(shí)施方案。其還可以被實(shí)施以從所選的網(wǎng)絡(luò)裝置而非從網(wǎng)絡(luò)上的所有產(chǎn)生NetFlow 的裝置接收NetFlow信息。
[0063] 圖3展示配合NetFlow產(chǎn)生方和syslog和NetFlow消耗方的示范性NF2SL系統(tǒng) 部署。在這個(gè)實(shí)施例中，NF2SL系統(tǒng)107從由路由器120和交換機(jī)121表示的NetFlow產(chǎn) 生方的示范性集合接收NetFlow消息122。在根據(jù)NF2SL管理員供應(yīng)的策略處理接收到的 NetFlow消息后，NF2SL系統(tǒng)107即刻將所得的syslog消息124轉(zhuǎn)發(fā)給圖3上通過SIEM系 統(tǒng)/syslog分析器125和syslog收集器126舉例說明的syslog信息消耗方的集合。必 要時(shí)，NF2SL系統(tǒng)107還可經(jīng)配置以將原始NetFlow消息、原始NetFlow消息的子集或原始 NetFlow消息123的超集轉(zhuǎn)發(fā)給NetFlow收集器裝置127。順應(yīng)規(guī)則通常要求網(wǎng)絡(luò)管理員分 別在syslog收集器126和NetFlow收集器127中保持所有syslog和NetFlow消息業(yè)務(wù)。
[0064] 參看圖3,在NetFlow收集器裝置127已經(jīng)部署在網(wǎng)絡(luò)上并且路由器120和交換機(jī) 121在向NetFlow收集器裝置127導(dǎo)出NetFlow信息的情形中，NF2SL系統(tǒng)107可以（舉例 來說）用幾種不同的示范性方式相對于NetFlow產(chǎn)生方路由器120和交換機(jī)121和NetFlow 收集器裝置127配置，例如：
[0065] -路由器120和交換機(jī)121配置可以經(jīng)過修正以將NetFlow消息122轉(zhuǎn)發(fā)給NF2SL 系統(tǒng)107,并且NF2SL系統(tǒng)107可經(jīng)配置以將所得的NetFlow消息123轉(zhuǎn)發(fā)給NetFlow收集 器裝置127。
[0066] -NetFlow收集器裝置127的IP地址可以經(jīng)過修正并且被指派給NF2SL系統(tǒng)107。 后者接著接收NetFlow消息122,并且可以將那些消息轉(zhuǎn)發(fā)給新指派給NetFlow收集器裝置 127的IP地址。
[0067] -NF2SL系統(tǒng)107可以用"混雜"模式部署，在這種模式中，所有在局域網(wǎng)上經(jīng)過的 業(yè)務(wù)都可以由NF2SL系統(tǒng)107看見，并且因而使得NF2SL系統(tǒng)對于NetFlow收集器裝置127 來說全部是透明的。這個(gè)NF2SL系統(tǒng)107部署模式要求的努力最少，因?yàn)镹etFlow收集器 裝置127和路由器120和交換機(jī)121的配置不改變。使用這個(gè)NF2SL系統(tǒng)107部署模式的 缺點(diǎn)是更難提供影響NetFlow消息流122的策略。應(yīng)了解，在這個(gè)部署模式中，NF2SL系統(tǒng) 107仍然能夠產(chǎn)生額外消息和將額外消息注入到NetFlow消息流123中。
[0068] NF2SL系統(tǒng)優(yōu)選地經(jīng)設(shè)計(jì)以利用現(xiàn)代的多核處理器，并且可以構(gòu)造成多線程軟件 或固件應(yīng)用。
[0069] 圖4描繪反映 NF2SL系統(tǒng)的功能組件的示范性集合的實(shí)施例。參看圖4，NF2SL輸 入線程（1)141優(yōu)選地是通過計(jì)算機(jī)編程代碼實(shí)施的充當(dāng)NetFlow產(chǎn)生方（例如，路由器、 交換機(jī)等）發(fā)出的NetFlow消息140的接收方的邏輯塊?？赡艽嬖?偵聽"從多個(gè)NetFlow 產(chǎn)生方傳入的NetFlow消息140的一個(gè)或多個(gè)輸入線程141。在一個(gè)實(shí)施例中，所有輸入線 程141可以結(jié)合到在配置端口上偵聽的單個(gè)UDP套接字。
[0070] 在接收到NetFlow消息140后，輸入線程141即刻可以對NetFlow消息140執(zhí)行初 始檢查（例如，通過驗(yàn)證其NetFlow協(xié)議版本，最小NetFlow消息大小等）。如果接收到的 包未通過初始檢查，那么輸入線程141可以丟棄消息或用某種其它適當(dāng)方式處理消息。一 旦包通過初始檢查，輸入線程141就可以將其傳遞給NF2SL工作者（W)線程143中的一個(gè)， 所述線程也優(yōu)選地是通過計(jì)算機(jī)編程代碼實(shí)施的邏輯塊?？梢越?jīng)由輕權(quán)重隊(duì)列機(jī)構(gòu)142或 經(jīng)由本領(lǐng)域已知的任何其它機(jī)構(gòu)實(shí)施NF2SL系統(tǒng)的線程間通信?？偟膩碚f，當(dāng)NF2SL線程 想要將包傳遞給另一線程時(shí)，其可以將包放置在接收方的線程隊(duì)列上。舉例來說，隊(duì)列機(jī)構(gòu) 142為工作者線程143服務(wù)，并且隊(duì)列機(jī)構(gòu)148為輸出線程149服務(wù)。在將包放置在隊(duì)列上 之后，線程即刻向接收方線程發(fā)送其具有未決的工作的信號。
[0071] 當(dāng)選擇接收方線程時(shí)，NF2SL系統(tǒng)可以使用輪循方法或本領(lǐng)域已知的任何其它機(jī) 構(gòu)。應(yīng)了解，可以利用例如隨機(jī)選擇或根據(jù)限定的優(yōu)先權(quán)狀態(tài)選擇的其它選擇方法。
[0072] NF2SL工作者線程143負(fù)責(zé)執(zhí)行NF2SL管理員闡述的策略和格式轉(zhuǎn)換變換。NF2SL 策略是NetFlow記錄處理規(guī)則的集合。策略可以適用于特定的NetFlow記錄類型，適用于 一群組的NetFlow記錄類型或適用于所有穿過NF2SL系統(tǒng)的NetFlow消息。優(yōu)選地，策略 被定義成支持和/或補(bǔ)充可在任何可在網(wǎng)絡(luò)中操作的SIEM系統(tǒng)125中操作的策略，以及定 義所部署的任何syslog和/或NetFlow收集器的操作的策略。
[0073] 當(dāng)產(chǎn)生或定義策略時(shí)，NF2SL管理員還可指定一個(gè)或多個(gè)基于時(shí)間（"kron"）的 策略?？梢酝ㄟ^Kron(K)線程144執(zhí)行基于時(shí)間的NF2SL策略。預(yù)計(jì)除了這里描述的策略 之外其它類型的策略也是可能的-舉例來說，通過某些事件計(jì)數(shù)、日時(shí)等觸發(fā)的策略。
[0074] NF2SL管理員可以經(jīng)由內(nèi)置式⑶I、經(jīng)由NF2SL軟件開發(fā)工具包（"SDK"）或本領(lǐng) 域已知的任何其它機(jī)構(gòu)來編輯策略。當(dāng)使用GUI方法時(shí)，一旦策略定義完成，NF2SL系統(tǒng)就 經(jīng)配置以產(chǎn)生能夠?qū)嵤┻@些策略的可執(zhí)行軟件程序（策略模塊146)、對應(yīng)的轉(zhuǎn)換變換（轉(zhuǎn) 換模塊147)和基于時(shí)間的策略（基于時(shí)間的策略模塊145)，前提是定義了這些模塊。在一 示范性實(shí)施例中，所產(chǎn)生的軟件程序可以編譯成動(dòng)態(tài)鏈接庫（DLL或"共享對象"）。這些共 享對象可以在運(yùn)行時(shí)加載到NF2SL系統(tǒng)中?；蛘撸A(yù)期策略、轉(zhuǎn)換變換和基于時(shí)間的策略可 以實(shí)例化成單個(gè)可執(zhí)行模塊而非內(nèi)聚的多個(gè)可執(zhí)行模塊。
[0075] 可能NF2SL策略和基于時(shí)間的策略的范圍僅僅受到NetFlow產(chǎn)生方發(fā)出的信息的 范圍的限制。舉例來說，考慮NetFlow產(chǎn)生方（例如，首端路由器），其報(bào)告含有關(guān)于入站業(yè) 務(wù)流的信息的NetFlow消息。對應(yīng)策略可以經(jīng)過定義以指令NF2SL系統(tǒng)維持以內(nèi)部網(wǎng)絡(luò)上 的特定http服務(wù)器為目的地的IP包的計(jì)數(shù)，并且每60秒向SIEM系統(tǒng)125報(bào)告累積IP包 計(jì)數(shù)。SIEM系統(tǒng)125可以有利地利用此信息來通知操作人員異常網(wǎng)絡(luò)狀況。在現(xiàn)有技術(shù)實(shí) 施方案中通常傳遞到SIEM系統(tǒng)125的Syslog消息將總地來說不含有足以使得SIEM系統(tǒng) 125能夠辨識網(wǎng)絡(luò)上的此類狀況的足夠信息。
[0076] 可以定義適用于特定記錄類型的一批策略，并且優(yōu)選地，對照適用于所述記錄類 型的所有策略評估在NetFlow消息140中找到的每一記錄。網(wǎng)絡(luò)管理員可以定義與記錄類 型有關(guān)的一批策略的應(yīng)用次序或其它優(yōu)先權(quán)邏輯和/或其它可用于定義此次序的邏輯。當(dāng) 策略評估完成后，處理模塊146即刻指示NetFlow記錄處理是應(yīng)繼續(xù)還是應(yīng)丟棄所討論的 記錄。策略模塊還可選擇形成新（衍生）NetFlow消息，NF2SL系統(tǒng)連同或代替從NetFlow 產(chǎn)生方接收到的原始NetFlow消息140中的一個(gè)或多個(gè)處理所述新NetFlow消息。在一示 范性實(shí)施例中，通過基于時(shí)間的策略創(chuàng)建的NetFlow消息不受到策略的評估。預(yù)期在本發(fā) 明的其它實(shí)施例中，可以通過一個(gè)或多個(gè)策略來評估通過基于時(shí)間的策略創(chuàng)建的NetFlow 消息。
[0077] 在NetFlow消息140處理的下一個(gè)步驟中，工作者線程143可以定位適用于這個(gè) NetFlow記錄類型的NetFlow記錄/syslog包轉(zhuǎn)換規(guī)則（"轉(zhuǎn)換規(guī)則")，并且調(diào)用轉(zhuǎn)換模塊 147以執(zhí)行轉(zhuǎn)換程序。
[0078] NF2SL轉(zhuǎn)換規(guī)則是將原始NetFlow記錄140或衍生NetFlow記錄152映射成一個(gè) 或多個(gè)syslog或NetFlow消息150的指令的集合。由NF2SL管理員經(jīng)由NF2SL⑶I指定 在NetFlow記錄中找到的信息到經(jīng)由syslog報(bào)告的信息的映射。一個(gè)簡單轉(zhuǎn)換規(guī)則實(shí)例 將是在syslog包150中報(bào)告NetFlow記錄中的所有字段的內(nèi)容。
[0079] -旦工作者線程143已經(jīng)向NetFlow消息140中的記錄應(yīng)用所有相關(guān)轉(zhuǎn)換規(guī)則， 其便將所得syslog包傳遞到輸出（0)線程149中的一個(gè)，用于傳遞到所配置的syslog和 /或NetFlow消息消耗方。
[0080] 應(yīng)了解，NF2SL系統(tǒng)中的輸入線程141、工作者線程143和輸出線程149的數(shù)目是 可配置的，并且NF2SL系統(tǒng)能夠處理更高許多的量的消息業(yè)務(wù)，因?yàn)檩斎刖€程141、工作者 線程143和輸出線程149的多個(gè)例子可以并聯(lián)操作。
[0081] NF2SL系統(tǒng)擁塞控制機(jī)構(gòu)
[0082] 在一示范性實(shí)施例中，為了適應(yīng)NetFlow業(yè)務(wù)突發(fā)，NF2SL系統(tǒng)可包含擁塞控制機(jī) 構(gòu)。參看圖5，NF2SL系統(tǒng)可以使用WRED( "加權(quán)隨機(jī)早期檢測"）方法來確定工作線程隊(duì)列 163擁塞水平。
[0083] 每一工作線程165可以具有大小有限的立即工作線程隊(duì)列163和無界工作線程 WRED隊(duì)列164。在接收到NetFlow消息MSG160后，輸入線程161即刻選擇應(yīng)處理NetFlow 消息MSG160的工作線程165。工作線程165的選擇可以用輪詢方式進(jìn)行，或者用任何其它 被認(rèn)為有利的方式進(jìn)行。一旦選擇了工作線程165,輸入線程161就咨詢WRED 0raclel62， 其確定應(yīng)將傳入包放置在哪個(gè)工作線程165隊(duì)列上。WRED 0raclel62可以基于當(dāng)前工作線 程隊(duì)列163長度和根據(jù)WRED方法準(zhǔn)則計(jì)算的平均隊(duì)列長度來作出這個(gè)確定。
[0084] 在常規(guī)負(fù)載狀況下，WRED 0raclel62可以指令輸入線程161將包放置在工作線 程隊(duì)列163上。在高業(yè)務(wù)量下，WRED 0raclel62可以使用概率方法來確定NetFlow消息 MSG160是應(yīng)放置在工作線程隊(duì)列163上還是工作線程WRED隊(duì)列164上。隨著業(yè)務(wù)量增長， 將NetFlow消息MSG160放置在工作線程WRED隊(duì)列164上的概率可能會(huì)增加。
[0085] 將NetFlow包MSG160轉(zhuǎn)移到工作線程WRED隊(duì)列164的概率還可取決于與NetFlow 消息MSG160的特定源相關(guān)聯(lián)的權(quán)重。NetFlow源的權(quán)重可以由NF2SL管理員確定。
[0086] 應(yīng)了解，可以在NF2SL系統(tǒng)中使用除了 WRED之外的算法以用于擁塞控制目的。 舉例來說，原始RED( "隨機(jī)早期檢測"）算法、ARED( "自適應(yīng)隨機(jī)早期檢測"）、思科系統(tǒng) DBL( "動(dòng)態(tài)緩沖器限制"）等可以用于減輕NF2SL系統(tǒng)中的擁塞。
[0087] NF2SL系統(tǒng)NetFlow業(yè)務(wù)處理規(guī)則
[0088] 再次參看圖4, NF2SL系統(tǒng)可包含默認(rèn)轉(zhuǎn)換模塊151，NF2SL管理員可以啟用所述 默認(rèn)轉(zhuǎn)換模塊以轉(zhuǎn)換沒有專用轉(zhuǎn)換模塊147的NetFlow記錄。默認(rèn)轉(zhuǎn)換模塊151可以實(shí)施 默認(rèn)轉(zhuǎn)換規(guī)則，其將NetFlow記錄字段映射成類型特定的格式化ASCII串，其前面是字段的 NetFlow類型id，通過冒號（"：分開：
[0089] 〈記錄字段id> :〈記錄字段值〉
[0090] 圖6說明在配置或不配置記錄特定的策略和轉(zhuǎn)換規(guī)則的情況下，并且當(dāng)啟用或不 啟用圖4上的默認(rèn)轉(zhuǎn)換模塊151時(shí)，對類型R的NetFlow數(shù)據(jù)FlowSet記錄（"記錄R"） 的示范性處理。預(yù)期可能存在其它用于處理NetFlow數(shù)據(jù)FlowSet記錄的選項(xiàng)，例如當(dāng)未 配置策略和轉(zhuǎn)換規(guī)則和默認(rèn)轉(zhuǎn)換規(guī)則時(shí)丟棄接收到的NetFlow消息等。
[0091] 應(yīng)了解，常用事件報(bào)告協(xié)議并不提供確保所傳遞的信息的完整性的內(nèi)置機(jī)構(gòu)。 NF2SL系統(tǒng)提供能夠在NF2SL系統(tǒng)產(chǎn)生的輸出消息上附加校驗(yàn)和或其它確保完整性的要素 的高級特征。校驗(yàn)和可以是例如CRC-16等校驗(yàn)碼、例如md5、sha-l，F(xiàn)NV等消息散列或其一 部分，或例如HMAC等鍵控驗(yàn)證碼。校驗(yàn)和的存在使得信息的接收器能夠在接收到消息后即 刻驗(yàn)證其真實(shí)性或在稍后時(shí)間驗(yàn)證其真實(shí)性。
[0092] 識別和追蹤NetFlow v9數(shù)據(jù)FlowSet記錄身份
[0093] 如RFC3954中所描述的NetFlow v9協(xié)議向網(wǎng)絡(luò)管理員提供用于產(chǎn)生豐富的網(wǎng) 絡(luò)流描述的機(jī)構(gòu)。這個(gè)機(jī)構(gòu)是基于模板FlowSets和選項(xiàng)模板FlowSets的概念。模板是 NetFlow產(chǎn)生方在運(yùn)行時(shí)間發(fā)出的NetFlow數(shù)據(jù)記錄的字段類型和字段大小的列表。舉例 來說，模板字段可以含有在流中觀察到的字節(jié)的數(shù)目。選項(xiàng)模板是含有關(guān)于NetFlow產(chǎn)生 方的信息的NetFlow記錄的字段類型和字段大小的列表。舉例來說，選項(xiàng)模板字段可以含 有發(fā)出NetFlow信息的NetFlow產(chǎn)生方的接口的全稱。
[0094] NetFlow v9協(xié)議的稱為NetFlow v5的先前版本定義了單個(gè)類型的數(shù)據(jù)記錄。應(yīng) 了解，可以借助于NetFlow v9協(xié)議模板工具描述NetFlow v5記錄。這種方法允許將NF2SL 策略和轉(zhuǎn)換機(jī)構(gòu)的益處擴(kuò)展到NetFlow v5產(chǎn)生方。
[0095] 在引入NetFlow的版本9的情況下，可以用更大許多量的可變性和對應(yīng)信息和含 義產(chǎn)生NetFlow消息。舉例來說，NetFlow版本9消息可包含NetFlow v5消息的所有字段， 并且可以任選地包含額外信息，例如多協(xié)議標(biāo)簽切換（MPLS)標(biāo)簽和IPv6地址和端口。但 是，雖然有用性更大，但經(jīng)設(shè)計(jì)以解釋和使用NetFlow v9消息的系統(tǒng)復(fù)雜度也更大。版本9 導(dǎo)出格式使用模板用靈活并且可擴(kuò)展的方式提供對IP包流的觀察結(jié)果的接入。模板定義 字段和字段長度的集合，以及對結(jié)構(gòu)和語義的對應(yīng)描述。
[0096] 下文識別和論述與NetFlow v9相關(guān)聯(lián)的有用術(shù)語中的一些：
[0097] IP流或流：IP流（也稱為流）是在某一時(shí)間間隔期間穿過網(wǎng)絡(luò)中的觀察點(diǎn)的一組 IP包。所有屬于特定流的包都具有從包中含有的數(shù)據(jù)和從觀察點(diǎn)處的包處理導(dǎo)出的一組共 用屬性。
[0098] 導(dǎo)出器：導(dǎo)出器是啟用了 NetFlow服務(wù)的裝置（舉例來說，路由器）。導(dǎo)出器監(jiān)控 進(jìn)入觀察點(diǎn)的包，并且從這些包產(chǎn)生流。來自這些流的信息用流記錄的形式導(dǎo)出。
[0099] 導(dǎo)出包：導(dǎo)出包是在承載這個(gè)導(dǎo)出器的流記錄的導(dǎo)出器處起始并且其目的地可以 是NetFlow收集器或本發(fā)明的NF2SL的包。
[0100] 包標(biāo)頭：包標(biāo)頭是導(dǎo)出包的第一部分。包標(biāo)頭提供關(guān)于包的例如NetFlow版本、包 內(nèi)含有的記錄的數(shù)目和序列編號等基本信息。
[0101] 模板記錄：模板記錄定義流數(shù)據(jù)記錄中的字段的結(jié)構(gòu)和解釋。
[0102] 模板ID :模板ID是暫時(shí)與模板記錄相關(guān)聯(lián)的數(shù)值。
[0103] 模板流組：模板流組是使模板記錄與瞬時(shí)模板ID相關(guān)聯(lián)的結(jié)構(gòu)。
[0104] 流數(shù)據(jù)記錄：流記錄提供關(guān)于在觀察點(diǎn)處觀察到的IP流的信息。流數(shù)據(jù)記錄是含 有對應(yīng)于模板記錄的流參數(shù)的值的數(shù)據(jù)記錄。
[0105] 數(shù)據(jù)流組：數(shù)據(jù)流組是組合一個(gè)或多個(gè)流數(shù)據(jù)記錄與相同模板ID的結(jié)構(gòu)。
[0106] 因而，并且參看圖7, NetFlow v9流數(shù)據(jù)記錄204可能不具有將NetFlow v9流數(shù) 據(jù)記錄204結(jié)合到眾所周知的定義的唯一識別符。實(shí)情為，NetFlow v9導(dǎo)出器可以周期性 地發(fā)出通過稱為模板ID 202的值所識別的NetFlow v9記錄模板FlowSet 200。模板ID 202記錄類型識別符不結(jié)合到特定NetFlow v9流數(shù)據(jù)記錄，并且可以隨時(shí)間變化，例如，當(dāng) NetFlow導(dǎo)出器的配置變化時(shí)或當(dāng)導(dǎo)出器裝置重啟時(shí)。因而，流數(shù)據(jù)記錄204的內(nèi)容和含義 的定義取決于可能會(huì)不可預(yù)測地變化的模板。
[0107] NF2SL系統(tǒng)的示范性實(shí)施例提供確定和追蹤NetFlow v9流數(shù)據(jù)記錄204定義和身 份的一種新穎的方法。應(yīng)了解，相同或類似方法也可以適用于確定和追蹤用于從NetFlow v9導(dǎo)出的協(xié)議（例如IPFIX、NetStream、sf lowd等）或在這方面類似于NetFlow v9的協(xié) 議（例如IPFIX、NetStream、sflowd等）的網(wǎng)絡(luò)元數(shù)據(jù)記錄的身份。
[0108] 為了處理模板ID 202值的變化，NF2SL系統(tǒng)計(jì)算NetFlow v9模板FlowSet部分 201的校驗(yàn)和。模板ID字段202和字段計(jì)數(shù)字段217不需要包含在校驗(yàn)和中。經(jīng)由NetFlow v9模板FlowSet部分201計(jì)算的校驗(yàn)和值可以稱為"記錄指紋"。
[0109] 某些NetFlow v9數(shù)據(jù)類型定義為具有可變長度（例如，IF_NAME或IF_DESC，其分 別含有接口簡稱和全稱）。當(dāng)計(jì)算含有一個(gè)或多個(gè)可變大小字段的記錄的記錄指紋時(shí)，可以 假設(shè)此類字段的長度是0。
[0110] 應(yīng)了解，可以使用多個(gè)算法（包含但不限于md5、sha-1、sha_256、FNV等）計(jì)算校 驗(yàn)和值。在圖7的示范性實(shí)施例中，NF2SL系統(tǒng)使用md5算法計(jì)算NetFlow v9數(shù)據(jù)流記錄 204指紋。
[0111] 當(dāng)在NF2SL系統(tǒng)上登記時(shí)，每一轉(zhuǎn)換器和策略模塊可以提供NetFlow v9數(shù)據(jù) Fl〇wSetS203(這個(gè)模塊針對其實(shí)施策略或轉(zhuǎn)換規(guī)則，或這兩者）的函數(shù)向量和md5指紋值。 NF2SL系統(tǒng)可以在容器F205中保存指印和模塊的函數(shù)向量。
[0112] 根據(jù)NetFlow v9協(xié)議，在發(fā)出給定記錄類型的NetFlow v9數(shù)據(jù)FlowSet消息 203之前，NetFlow v9導(dǎo)出器發(fā)出相應(yīng)模板FlowSet消息200,其使隨后NetFlow v9數(shù)據(jù) FlowSet消息203與某一瞬時(shí)模板ID值202 (IdO)相關(guān)聯(lián)。NF2SL系統(tǒng)能夠計(jì)算NetFlow v9數(shù)據(jù)Fl〇wSet200記錄指紋值（fi)，并且使用其作為在容器F205中定位對應(yīng)于這個(gè)特定 模板FlowSet200的條目的關(guān)鍵。如果找到容器F205中的對應(yīng)條目，那么NF2SL系統(tǒng)可以 在容器R206中創(chuàng)建對象rm208。
[0113] 為了識別多個(gè)NetFlow v9導(dǎo)出器，NF2SL系統(tǒng)可以使用NetFlow v9導(dǎo)出器的源 ID和源IP地址連同瞬時(shí)模板ID202(Id0)。這個(gè)信息可以作為{IdO,源ID，源IP地址}元 組211存儲(chǔ)在對象rm208中。
[0114] 除了 {IdO,源ID，源IP地址}元組211之外，對象rm208還可以具有對于與對象 rm208相關(guān)聯(lián)的容器F205中的對象fi207的參考ref(fi)209。如果容器R206中的一個(gè)以上 對象與對象fi207相關(guān)聯(lián)，那么收集對于容器R206中的這些對象的參考，并且將其放置在fi 的參考的容器210中。
[0115] 在一示范性實(shí)施例中，容器？205和容器1?206實(shí)施為4￥14對。丨丨的參考的容器210 被實(shí)施為經(jīng)排序列表。應(yīng)了解，容器F205、容器R206和fi的參考的容器210可以用例如散 列表、鏈接列表、紅-黑樹等不同方式實(shí)施。
[0116] 在一示范性實(shí)施例中，當(dāng)NF2SL系統(tǒng)接收到具有模板ID202值IdO的NetFlow v9 數(shù)據(jù)FlowSet203時(shí)，其查看容器R206中的{IdO,源ID，源IP地址}元組211，并且使用參 考ref(fi)209在容器F205中定位對象fi207。對象fi207可以含有執(zhí)行適用于NetFlow v9 數(shù)據(jù)Fl〇wSet203的策略的策略模塊的函數(shù)向量。重復(fù)相同的查找程序以定位和執(zhí)行適用 于NetFlow v9數(shù)據(jù)FlowSet203的轉(zhuǎn)換規(guī)則。
[0117] 應(yīng)了解，當(dāng)針對已知源ID、SID和源IP地址（SRC)引入新NetFlow v9模板 FlowSet205模板ID202時(shí)，可以考慮以下場景。有用的是注意經(jīng)由NetFlow v9模板FlowSet 部分201計(jì)算的數(shù)據(jù)流記錄204指紋值不改變，并且對象fi207可以容易地在容器F205中 被定位。
[0118] 場景1 :NetFlow v9產(chǎn)生方將模板FlowSet fi模板ID202從IdO改變成Idl
[0119] 在這種情況下，容器R206中不存在元組{Idl，SID，SRC}211。NF2SL系統(tǒng)可以創(chuàng) 建保持元組{Idl，SID，SRC}215的對象rk212,并且將其插入到容器R206中，并且插入到fi 的參考的容器210中?？梢栽谏院髸r(shí)間的閑置對象清理程序期間從fi的參考的容器210和 容器R206移除與元組{IdO, SID，SRC}相關(guān)聯(lián)的先前存在的對象，或在將元組{Idl，SID， SRC} 215插入到容器R206中并且插入到fi的參考的容器210中之后立刻移除。
[0120] 場景2 :NetFl〇w v9產(chǎn)生方引入與先前已知的模板FlowSet fi模板ID (后者不再 使用）的模板ID相同的模板ID(Idl)的模板FlowSetfj。
[0121] 在這種情況下，元組{IdO，SID，SRC}211已經(jīng)存在于容器R206中在對象rk212中。 NF2SL系統(tǒng)在容器R206中定位對象rk212,并且推導(dǎo)其是在參考不同模板FlowSetf j213， 而不是先前參考的模板FlowSet fi207。NF2SL系統(tǒng)可以通過比較模板FlowSet fi207與 模板FlowSetf j213的指紋值來檢測不匹配。接著NF2SL系統(tǒng)從fi的參考的容器211移 除對象rk212,移除參考ref (fi)209,并且用指向?qū)ο骹 j213的參考ref (f j)214替代參考 ref(fi)209。其還可將對象rk212插入到f j的參考的容器216中。
[0122] 場景3 :NetFlow v9產(chǎn)生方刷新模板FlowSet fi模板ID202而不改變值IdO
[0123] 在這種情況下，元組{IdO，SID，SRC}211已經(jīng)存在于容器R206中在對象rm212中。 NF2SL系統(tǒng)在容器R206中定位對象rm212,并且推導(dǎo)出其在參考與先前相同的模板FlowSet fi。NF2SL系統(tǒng)不采取進(jìn)一步的動(dòng)作。
[0124] 在NF2SL系統(tǒng)上登記NetFlow數(shù)據(jù)FlowSet對象
[0125] v9之前的NetFlow協(xié)議版本僅僅支持每個(gè)版本單種數(shù)據(jù)類型。可以基于這些數(shù)據(jù) 類型的相應(yīng)記載的描述在NF2SL系統(tǒng)中登記這些數(shù)據(jù)類型。
[0126] 如上所述，NetFlow v9協(xié)議、其衍生協(xié)議和后續(xù)版本支持任意的數(shù)據(jù)類型。借助 于NetFlow v9模板FlowSet結(jié)構(gòu)描述這些數(shù)據(jù)類型。
[0127] 為了將NetFlow v9數(shù)據(jù)FlowSet轉(zhuǎn)換成一個(gè)或多個(gè)syslog消息，必須使得NF2SL 系統(tǒng)知道數(shù)據(jù)FlowSet定義。在一示范性實(shí)施例中，NF2SL系統(tǒng)使用以下方法捕獲NetFlow v9數(shù)據(jù)FlowSet定義：
[0128] 1.根據(jù)NetFlow v9協(xié)議，在導(dǎo)出數(shù)據(jù)FlowSets之前，NetFlow v9產(chǎn)生方必須發(fā) 出模板FlowSet和選項(xiàng)模板FlowSet消息，其描述有待導(dǎo)出的NetFlow v9數(shù)據(jù)FlowSet對 象。NF2SL系統(tǒng)可以捕獲NetFlow產(chǎn)生方導(dǎo)出的NetFlow v9模板FlowSet消息，并且將其 保持在內(nèi)部XML表示中。
[0129] 2. NetFlow v9產(chǎn)生方（例如，思科I0S、Juniper網(wǎng)絡(luò)JunOS等）提供用于配置 和導(dǎo)出NetFlow v9信息的全面的命令行接口。NF2SL系統(tǒng)支持從NetFlow產(chǎn)生方提取與 NetFlow有關(guān)的配置，并且將其轉(zhuǎn)換成內(nèi)部XML表示。
[0130] 3. NF2SL系統(tǒng)提供用于詳細(xì)解釋NetFlow v9數(shù)據(jù)FlowSet定義的⑶I工具。 NetFlow v9數(shù)據(jù)FlowSets的定義存儲(chǔ)在內(nèi)部XML表示中。
[0131] -旦捕獲了 NetFlow v9模板FlowSet記錄定義，NF2SL管理員就可以使用這個(gè)定 義來指定NetFlow v9數(shù)據(jù)FlowSets信息到syslog包的映射和/或定義用于此NetFlow v9數(shù)據(jù)FlowSet處理的策略。
[0132] 預(yù)期NF2SL系統(tǒng)的其它實(shí)施例可以實(shí)施捕獲NetFlow v9數(shù)據(jù)FlowSet定義的上 述方法之外的方法。
[0133] NF2SL策略和轉(zhuǎn)換機(jī)構(gòu)
[0134] 參看圖8,在一示范性實(shí)施例中，NF2SL系統(tǒng)允許NF2SL管理員創(chuàng)建影響如何處理 正穿越NF2SL系統(tǒng)的NetFlow數(shù)據(jù)FlowSet對象的策略。NF2SL系統(tǒng)策略可以是基于內(nèi)容 的（"內(nèi)容策略"）、基于時(shí)間的（"kron策略"）或基于其它因素的。在NF2SL系統(tǒng)中，策 略可以由NF2SL策略管理方241管理，并且由可執(zhí)行策略模塊242執(zhí)行。
[0135] 在一示范性實(shí)施例中，NF2SL系統(tǒng)策略模塊242是優(yōu)選地提供標(biāo)準(zhǔn)化接口的動(dòng)態(tài) 地加載的可執(zhí)行擴(kuò)展（DLL或"共享對象"）。NF2SL策略管理方241動(dòng)態(tài)地加載策略模塊 242,并且可以通過調(diào)用眾所周知的入口點(diǎn)函數(shù)來發(fā)現(xiàn)其接口函數(shù)向量。策略模塊242函數(shù) 向量可以含有指向?qū)嵤┘虞d策略模塊242中含有的基于內(nèi)容的策略函數(shù)和基于時(shí)間的策 略函數(shù)的多批函數(shù)指針。
[0136] NF2SL策略管理方241對與所述數(shù)據(jù)FlowSet記錄指紋匹配的NetFlow數(shù)據(jù) FlowSet對象應(yīng)用策略。每個(gè)數(shù)據(jù)FlowSet可能存在零或更多個(gè)基于內(nèi)容的策略。將基于 內(nèi)容的策略以NF2SL管理員指派給每一基于內(nèi)容的策略的優(yōu)先次序應(yīng)用于數(shù)據(jù)FlowSet。
[0137] NF2SL策略管理方241可以剖析在輸入消息240中提交的數(shù)據(jù)FlowSet，并且將在 數(shù)據(jù)FlowSet中找到的每一 NetFlow記錄傳遞251到相關(guān)策略模塊242。當(dāng)處理NetFlow 記錄后，策略模塊242即刻可以確定所討論的輸入消息240中的零或更多個(gè)NetFlow記錄 應(yīng)被轉(zhuǎn)發(fā)以便進(jìn)一步處理252,將NetFlow記錄標(biāo)記為不適合進(jìn)一步考慮250,有意地修正 NetFlow記錄數(shù)據(jù)以便打亂敏感信息或創(chuàng)建一個(gè)或多個(gè)衍生消息243。為了避免可能的循 環(huán)處理，不需要對照NF2SL的基于內(nèi)容的策略匹配NF2SL策略模塊242創(chuàng)建的衍生消息，并 且可以將所述衍生消息直接轉(zhuǎn)發(fā)給NF2SL轉(zhuǎn)換管理方244。
[0138] NF2SL Kron策略管理方246可以周期性地調(diào)用基于時(shí)間的（"kron"）策略。通 過Kron策略模塊247執(zhí)行kron策略?？梢栽趉ron策略在NF2SL Kron策略管理方246上 登記時(shí)規(guī)定kron策略調(diào)用的頻率。kron策略可以對其管理的信息執(zhí)行任意動(dòng)作，并且另 外發(fā)出一個(gè)或多個(gè)Kron消息248?？偟貋碚f不需要對照NF2SL的基于內(nèi)容的策略來匹配 Kron消息248,并且可以將所述消息直接轉(zhuǎn)發(fā)給NF2SL轉(zhuǎn)換管理方244,但是替代的行為也 是可能的。
[0139] 在NF2SL系統(tǒng)的這個(gè)實(shí)施例中，轉(zhuǎn)換規(guī)則通過NF2SL轉(zhuǎn)換管理方244管理，并且通 過可執(zhí)行轉(zhuǎn)換模塊245實(shí)施。
[0140] 在一示范性實(shí)施例中，NF2SL系統(tǒng)轉(zhuǎn)換模塊245是優(yōu)選地提供標(biāo)準(zhǔn)化接口的動(dòng)態(tài) 地加載的可執(zhí)行擴(kuò)展（DLL或"共享對象"）。NF2SL轉(zhuǎn)換管理方244動(dòng)態(tài)地加載轉(zhuǎn)換模塊 245,并且通過調(diào)用眾所周知的入口點(diǎn)函數(shù)來發(fā)現(xiàn)其接口函數(shù)向量。轉(zhuǎn)換模塊245函數(shù)向量 含有到將在輸入消息240、衍生消息243和Kron消息248中找到的NetFlow數(shù)據(jù)FlowSet 記錄轉(zhuǎn)換成一個(gè)或多個(gè)syslog輸出消息249的函數(shù)的函數(shù)指針。
[0141] NF2SL策略和轉(zhuǎn)換規(guī)則表示
[0142] 參看圖9,可以在策略和轉(zhuǎn)換規(guī)則創(chuàng)建程序中利用NetFlow數(shù)據(jù)FlowSet記錄定 義260。在NF2SL系統(tǒng)中，可以通過經(jīng)由NetFlow數(shù)據(jù)FlowSet記錄的NetFlow v9型式模 板FlowSet定義計(jì)算的校驗(yàn)和值來唯一地識別所述記錄。同樣可以通過NetFlow v9-型式 模板FlowSet為NetFlow v5記錄建模。在一示范性實(shí)施例中，NF2SL使用XML格式來表示 NetFlow數(shù)據(jù)FlowSet記錄定義260。
[0143] 在創(chuàng)建了 NetFlow數(shù)據(jù)FlowSet記錄定義260之后，NF2SL管理員可以使用⑶I工 具或NF2SL SDK來創(chuàng)建策略和轉(zhuǎn)換規(guī)則。NF2SL管理員可以創(chuàng)建策略和kron策略261和轉(zhuǎn) 換規(guī)則262的圖形表示。NF2SL系統(tǒng)使用GraphML XML語法將所述圖形表示翻譯成文本表 /_J、1 〇
[0144] 一旦策略和kron策略261和轉(zhuǎn)換規(guī)則262的圖形表示完成，就可以將GraphML符 號翻譯成描述策略和kron策略263和轉(zhuǎn)換規(guī)則264的一序列的規(guī)則。所述序列的規(guī)則可 以使用RuleML語法編寫。
[0145] 策略和kron策略263和轉(zhuǎn)換規(guī)則264的RuleML表示可以翻譯成用機(jī)器編程語言 編寫的等效的規(guī)則序列，其可以編譯成二進(jìn)制表示并且接著被高效地執(zhí)行。翻譯的結(jié)果是 用編程語言術(shù)語描述策略和kron策略265和轉(zhuǎn)換規(guī)則266的兩個(gè)模塊。隨后編譯的結(jié)果 是兩個(gè)二進(jìn)制可執(zhí)行模塊，其實(shí)施策略和kron策略267和轉(zhuǎn)換規(guī)則268。
[0146] 在一示范性實(shí)施例中，NF2SL系統(tǒng)使用"C"編程語言作為用編程語言術(shù)語呈現(xiàn)策 略和kron策略265和轉(zhuǎn)換規(guī)則266時(shí)所選的機(jī)器編程語言。應(yīng)了解，策略和kron策略265 和轉(zhuǎn)換規(guī)則266和策略和kron策略267和轉(zhuǎn)換規(guī)則268可以合并為單個(gè)對象而不是多個(gè) 對象。
[0147] 還應(yīng)理解，可以使用GraphML、RuleML和"C"編程語言之外的語法來表達(dá)策略和轉(zhuǎn) 換規(guī)則。本發(fā)明的優(yōu)選實(shí)施例的一個(gè)有用方面是提出用于實(shí)施策略和轉(zhuǎn)換規(guī)則的專用可執(zhí) 行模塊。所述實(shí)施例的這個(gè)方面與解釋輸入數(shù)據(jù)的類似用途的系統(tǒng)相比確保性能更快至少 一個(gè)數(shù)量級。
[0148] NF2SL 策略
[0149] NF2SL的基于內(nèi)容的策略總地來說與外部NetFlow產(chǎn)生方發(fā)出的NetFlow業(yè)務(wù)相 關(guān)聯(lián)，而基于時(shí)間的策略通常處理由于處理原始NetFlow業(yè)務(wù)而產(chǎn)生的數(shù)據(jù)，并且發(fā)出額 外NetFlow信息。應(yīng)了解，以下NF2SL策略、策略參數(shù)和策略實(shí)施方案是示范性的，并且可 以用除了這里明確地描述的哪些方式之外的方式執(zhí)行。
[0150] 圖9a說明用于NetFlow模板X400的示范性基于內(nèi)容的策略和發(fā)出NetFlow模板 Y401的示范性基于時(shí)間的策略。NetFlow模板X400含有以下示范性字段：
[0151] src_ip_addr_ 流源 IP 地址
[0152] src_port_ 流源端口
[0153] dst_ip_addr-流目的地 IP 地址
[0154] dst_port_ 流目的地端口
[0155] in_pkts_流中的包的數(shù)目
[0156] in_bytes-流中的字節(jié)的數(shù)目
[0157] app_tag_與流相關(guān)聯(lián)的應(yīng)用的id
[0158] 模板X400可以具有與這個(gè)實(shí)例無關(guān)的其它字段。
[0159] 使用偽碼語法，可以將基于內(nèi)容的過濾策略表達(dá)如下：
[0160] 對于X類型的所有數(shù)據(jù)FlowSet記錄：
[0161]
[0162]
[0163] 以上偽碼對應(yīng)于以下人類可讀策略說明：
[0164] "觀察X類型的數(shù)據(jù)FlowSet記錄。
[0165] 如果記錄描述到web服務(wù)（"http :80"或"https :443"）的流，那么將流中的包 的數(shù)目和在流中觀察到的字節(jié)的數(shù)目加起來得到以網(wǎng)絡(luò)服務(wù)為目的地的先前觀察到的包 和字節(jié)的總數(shù)。不轉(zhuǎn)發(fā)所述記錄。
[0166] 如果記錄描述到目錄服務(wù)的流，那么轉(zhuǎn)發(fā)所述記錄。
[0167] 否則的話不轉(zhuǎn)發(fā)所述記錄。"
[0168] 在本發(fā)明的一個(gè)實(shí)施例中，NF2SL管理員能夠使用NF2SL⑶I工具創(chuàng)建以上策略 的定義。在第一步驟中，NF2SL管理員可以借助于模板建立器工具403制訂模板X400的內(nèi) 容，并且通過使模板X400與策略條目對象402相關(guān)聯(lián)而將模板X400指定為主題數(shù)據(jù)類型 的基于內(nèi)容的策略。
[0169] 在下一個(gè)步驟中，NF2SL管理員可以創(chuàng)建條件性對象404,其評估模板X400dst_ port字段值是否等于80( "http"）。倘若評估得出"真"，那么經(jīng)由求和對象405將在模板 X400中找到的值" in_pkts "和" in_bytes "字段轉(zhuǎn)發(fā)給累加器對象406。
[0170] 在下一個(gè)步驟中，NF2SL管理員可以創(chuàng)建條件性對象408,其評估模板X400 "dst_ port"字段值是否等于443( "http"）。倘若評估得出"真"，那么經(jīng)由求和對象405將在模 板X400 " in_pkts"和" in_bytes"字段中找到的值轉(zhuǎn)發(fā)給累加器對象406。當(dāng)產(chǎn)生條件性 對象404和408時(shí)，NF2SL管理員可以利用條件性對象建立器407。
[0171] 在下一個(gè)步驟中，NF2SL管理員可以創(chuàng)建條件性對象409,其評估模板X400 "app_ tag"字段是否含有與目錄服務(wù)相關(guān)聯(lián)的值。倘若評估得出"真"，那么轉(zhuǎn)發(fā)記錄以供進(jìn)一步 處理410。
[0172] 除了滿足條件性對象409的準(zhǔn)則的記錄之外的所有記錄都不接受進(jìn)一步處理并 且被丟棄411。
[0173] 可以每10秒執(zhí)行此示范性的基于時(shí)間的策略，并且此策略發(fā)出對應(yīng)于NetFlow模 板Y401的NetFlow數(shù)據(jù)FlowSet記錄。進(jìn)一步參看圖9a，NetFlow模板Y401含有以下示 范性字段：
[0174] in_pkts_在流中觀察到的包的累計(jì)數(shù)目
[0175] in_bytes_在流中觀察到的字節(jié)的累計(jì)數(shù)目
[0176] 當(dāng)調(diào)用時(shí)，基于時(shí)間的策略412檢索在累加器對象406中找到的值，并且使計(jì)數(shù)器 414的值復(fù)位。接著基于時(shí)間的策略412將對應(yīng)于NetFlow模板401的數(shù)據(jù)記錄格式化，并 且轉(zhuǎn)發(fā)其以供進(jìn)一步處理410。
[0177] NF2SL策略：檢測和報(bào)告業(yè)務(wù)尖峰
[0178] 圖9b說明示范性NF2SL策略模塊，其向NF2SL管理員指定的某些網(wǎng)絡(luò)主機(jī)報(bào)告業(yè) 務(wù)中的尖峰。
[0179] 這個(gè)NF2SL示范性策略模塊的基于內(nèi)容的策略獲得思科系統(tǒng)的預(yù)定義的"原始輸 入" NetFlow數(shù)據(jù)流記錄440,并且使用條件性對象441確定記錄440的dst_ip_addr字段 是否含有所監(jiān)控的IP地址的列表442中存在的IP地址。如果在監(jiān)控到的IP地址的列表 中找到所述IP地址，那么將in_bytes字段的內(nèi)容添加到在收集器對象443中找到的對應(yīng) 條目，并且轉(zhuǎn)發(fā)所述記錄以供進(jìn)一步處理449。如果在監(jiān)控到的IP地址的列表中找不到所 述IP地址，那么轉(zhuǎn)發(fā)所述記錄以供進(jìn)一步處理449。
[0180] NF2SL系統(tǒng)可以用預(yù)定義的間隔（例如每10秒）調(diào)用這個(gè)NF2SL示范性策略模塊 的基于時(shí)間的策略444。在調(diào)用后，所述策略即刻逐個(gè)檢查收集器對象443中的條目，并且 提取445在最后收集間隔期間觀察到的到網(wǎng)絡(luò)裝置的業(yè)務(wù)量。接著基于時(shí)間的策略444使 收集器對象443中的條目446復(fù)位。
[0181] 如果基于時(shí)間的部分策略444條件性對象447發(fā)現(xiàn)，與平均業(yè)務(wù)量相比，在觀察到 的間隔期間到所述網(wǎng)絡(luò)IP地址的業(yè)務(wù)速率增加了 NF2SL管理員闡述的一個(gè)量度（例如，增 加了一個(gè)數(shù)量級），那么基于時(shí)間的策略444可以產(chǎn)生并且根據(jù)"警報(bào)：尖峰"定義448格式 化NetFlow數(shù)據(jù)FlowSet記錄，并且轉(zhuǎn)發(fā)所述記錄以供進(jìn)一步處理。
[0182] NF2SL策略：檢測內(nèi)部網(wǎng)絡(luò)上被破解的主機(jī)
[0183] 圖9c說明警告網(wǎng)絡(luò)管理員內(nèi)部網(wǎng)絡(luò)上有被破解的網(wǎng)絡(luò)主機(jī)的示范性NF2SL策略 模塊。這個(gè)策略模塊監(jiān)控內(nèi)部網(wǎng)絡(luò)上的非服務(wù)器網(wǎng)絡(luò)主機(jī)對外部網(wǎng)絡(luò)實(shí)體進(jìn)行的未經(jīng)請求 的連接作出回應(yīng)時(shí)的情況。此事件以高概率指示所討論的非服務(wù)器網(wǎng)絡(luò)主機(jī)被破解，并且 可能受到惡意外部實(shí)體的控制。
[0184] 首先，這個(gè)NF2SL示范性策略模塊的基于內(nèi)容的策略獲得思科系統(tǒng)的預(yù)定義的 "原始輸入"NetFlow數(shù)據(jù)流記錄440,并且使用條件性對象461確定記錄440的dst_ip_ addr字段是否含有所監(jiān)控的IP地址的列表462中存在的IP地址。如果在監(jiān)控到的IP地 址的列表中找到所述IP地址，那么將dst_ip_addr、dst_port、src_ip_addr和src_port字 段的內(nèi)容放置在收集器對象463中，并且轉(zhuǎn)發(fā)所述記錄以供進(jìn)一步處理449。如果在監(jiān)控到 的IP地址的列表中找不到所述IP地址，那么簡單地轉(zhuǎn)發(fā)所述記錄以供進(jìn)一步處理449。
[0185] 第二，這個(gè)NF2SL示范性策略模塊的基于內(nèi)容的策略獲得思科系統(tǒng)的預(yù)定義的 "原始輸出"NetFlow數(shù)據(jù)流記錄460,并且使用條件性對象464來確定收集器對象463中是 否存在記錄460的src_ip_addr、src_port、dst_ip_addr和dst_port字段。如果收集器對 象 463 中不存在記錄 460 的 src_ip_addr、src_port、dst_ip_addr 和 dst_port 字段，那 么簡單地轉(zhuǎn)發(fā)記錄以供進(jìn)一步處理469。如果收集器對象463中存在記錄460的src_ip_ addr、src_port、dst_ip_addr和dst_port字段，那么第二策略可以產(chǎn)生和格式化"警報(bào)： 業(yè)務(wù)"NetFlow記錄465,其含有關(guān)于內(nèi)部網(wǎng)絡(luò)主機(jī)與外部實(shí)體之間的觀察到的通信的信息， 并且轉(zhuǎn)發(fā)所述記錄以供進(jìn)一步處理466。其還可將條目標(biāo)記為匹配。還可轉(zhuǎn)發(fā)"原始輸出" 記錄460以供進(jìn)一步處理469。
[0186] NF2SL系統(tǒng)用預(yù)定義的間隔（例如每60秒）調(diào)用這個(gè)NF2SL示范性策略模塊的基 于時(shí)間的策略466?；跁r(shí)間的策略466可以接入收集器對象463中的條目，并且使用條件 性對象467評估收集器對象中的條目是否不匹配，并且從收集器對象463中移除老于60秒 的不匹配條目。
[0187] NF2SL策略：檢測"低且慢"的網(wǎng)絡(luò)掃描
[0188] 目標(biāo)網(wǎng)絡(luò)掃描通常是任何高級網(wǎng)絡(luò)攻擊的第一階段。入侵者使用網(wǎng)絡(luò)掃描識別網(wǎng) 絡(luò)上的活動(dòng)主機(jī)。當(dāng)掃描網(wǎng)絡(luò)時(shí)，攻擊者找到關(guān)于可以經(jīng)由因特網(wǎng)接入的特定IP地址、其 操作系統(tǒng)、系統(tǒng)架構(gòu)和在每一計(jì)算機(jī)上運(yùn)行的服務(wù)的信息。
[0189] 所謂的"低且慢"的掃描出了名地難檢測。攻擊者可能花費(fèi)幾天、幾周甚至幾個(gè)月 來掃描目標(biāo)主機(jī)或網(wǎng)絡(luò)。這種掃描技術(shù)允許攻擊者將其探針摻和到網(wǎng)絡(luò)噪聲中，從不超過 檢測閾值或耗盡常規(guī)入侵檢測系統(tǒng)的資源。
[0190] 使用TCP/IP FIN包的網(wǎng)絡(luò)掃描是最復(fù)雜的掃描技術(shù)之一。由于TCP/IP協(xié)議的性 質(zhì)，所以FIN包能夠有意不加修改地穿過防火墻。響應(yīng)于未經(jīng)請求的FIN包，封閉端口用適 當(dāng)RST包答復(fù)，而開放端口忽略雜散的FIN包。
[0191] 圖9d說明可以告知網(wǎng)絡(luò)管理員有低且慢的掃描的可能嘗試同時(shí)消耗的NF2SL系 統(tǒng)和其它網(wǎng)絡(luò)資源極少的示范性NF2SL策略模塊。
[0192] 首先，這個(gè)NF2SL示范性策略模塊的基于內(nèi)容的策略獲得思科系統(tǒng)的預(yù)定義的 "原始輸入"NetFlow數(shù)據(jù)流記錄440,并且使用條件性對象481確定由單個(gè)包組成的流是否 具有TCP/IP旗標(biāo)FIN組。如果這個(gè)狀況評估為"真"，那么將"原始輸入"NetFlowDataFlow 記錄 440 的 src_ip_addr、src_port、dst_ip_addr、dst_port 和 tcp_f lag 字段保存在收集 器對象482中，并且轉(zhuǎn)發(fā)所述記錄以供進(jìn)一步處理449。如果所述狀況評估為"假"，那么簡 單地轉(zhuǎn)發(fā)所述記錄以供進(jìn)一步處理449。
[0193] 第二，這個(gè)NF2SL示范性策略模塊的基于內(nèi)容的策略獲得思科系統(tǒng)的預(yù)定義的 "原始輸出"NetFlow數(shù)據(jù)流記錄460,并且使用條件性對象483確定由單個(gè)包組成的流是否 具有TCP/IP旗標(biāo)RST組。如果這個(gè)狀況評估為"真"，那么使"原始輸出" NetFlow數(shù)據(jù)流 記錄 460 的 dst_ip_addr、dst_port、src_ip_addr、src_port 和 tcp_f lag 字段與收集器對 象482中的條目匹配。如果定位了一個(gè)匹配條目，那么對"原始輸出" NetFlow數(shù)據(jù)流記錄 460和"原始輸入"NetFlow數(shù)據(jù)流記錄440的tcp_flag字段進(jìn)行邏輯或運(yùn)算，并且轉(zhuǎn)發(fā)所 述記錄以供進(jìn)一步處理449。如果未定位到匹配條目，那么簡單地轉(zhuǎn)發(fā)所述記錄以供進(jìn)一步 處理449。
[0194] NF2SL系統(tǒng)用預(yù)定義的間隔（例如每6小時(shí)）調(diào)用這個(gè)NF2SL示范性策略模塊的 基于時(shí)間的策略484?；跁r(shí)間的策略484從收集器對象482檢索485和移除486每一記 錄，并且用"Info :Fin掃描"NetFlow模板488格式輸出487所述記錄。轉(zhuǎn)發(fā)"Info :Fin掃 描" NetFlow模板488格式的輸出記錄以供進(jìn)一步處理489。
[0195] NF2SL策略：網(wǎng)絡(luò)監(jiān)控
[0196] 網(wǎng)絡(luò)監(jiān)控是當(dāng)代網(wǎng)絡(luò)管理系統(tǒng)（NMS)的基本組成部分。網(wǎng)絡(luò)管理員必須知道確切 的網(wǎng)絡(luò)拓?fù)?、每一網(wǎng)絡(luò)裝置的健康狀況或條件、多個(gè)網(wǎng)絡(luò)片段上的業(yè)務(wù)負(fù)載、多個(gè)應(yīng)用的網(wǎng) 絡(luò)帶寬消耗等。
[0197] 接口條件監(jiān)控：
[0198] 圖9e說明能夠跨越一個(gè)或多個(gè)網(wǎng)絡(luò)裝置監(jiān)控一個(gè)或多個(gè)網(wǎng)絡(luò)接口的健康狀況或 條件的示范性NF2SL策略模塊。
[0199] 參看圖9e，監(jiān)控一個(gè)或多個(gè)網(wǎng)絡(luò)裝置接口的基于內(nèi)容的策略基于一序列的 "AS(自主系統(tǒng)）集合方案"流記錄500( "報(bào)告"）作出決策。如果監(jiān)視接口列表503中包 含一個(gè)輸入接口（"1即此_迎111?"），那么這個(gè)策略使用條件性對象501作出決策。如果所 述接口不在監(jiān)視接口列表503上，那么轉(zhuǎn)發(fā)記錄500以供進(jìn)一步處理502。如果所述接口在 監(jiān)視接口列表上，那么將記錄500中含有的關(guān)于在接口上觀察到的流的時(shí)序信息（"last_ switched"）傳播到狀態(tài)報(bào)告列表504中，并且可以轉(zhuǎn)發(fā)記錄500以供進(jìn)一步處理506。
[0200] 進(jìn)一步參看圖9e，還可用常規(guī)間隔（例如每60秒）調(diào)用示范性的基于時(shí)間的策略 507。這種策略能夠讀取狀態(tài)報(bào)告列表504中的條目508,并且如果條件性對象509檢測到 超過預(yù)設(shè)報(bào)告延遲閾值，那么基于時(shí)間的策略507產(chǎn)生定制的信息流記錄"接口關(guān)閉"510， 轉(zhuǎn)發(fā)所述記錄以供進(jìn)一步處理511。
[0201] 帶寬消耗監(jiān)控：圖9f說明能夠監(jiān)控一個(gè)或多個(gè)軟件應(yīng)用的網(wǎng)絡(luò)帶寬消耗的示范 性NF2SL策略模塊。
[0202] 參看圖9f，評估一個(gè)或多個(gè)軟件應(yīng)用的網(wǎng)絡(luò)帶寬消耗的基于內(nèi)容的策略利用預(yù)定 義的思科系統(tǒng)"協(xié)議端口"流記錄520。如果追蹤應(yīng)用列表523中包含應(yīng)用（通過用于入業(yè) 務(wù)的" 14_dst_port "或用于出業(yè)務(wù)的" 14_src_port "定義），那么這個(gè)策略使用條件性對象 521作出決策。如果所述應(yīng)用不在追蹤應(yīng)用列表523上，那么可以簡單地轉(zhuǎn)發(fā)記錄520以供 進(jìn)一步處理522。如果所述應(yīng)用在追蹤應(yīng)用列表上，那么將關(guān)于流中的和記錄520中含有的 觀察到的包的數(shù)目（"in_pkts"）和字節(jié)的數(shù)目（"in_bytes"）的信息與每個(gè)應(yīng)用集合數(shù) 據(jù)列表524中的相應(yīng)信息求和，并且可以接著轉(zhuǎn)發(fā)記錄520以供進(jìn)一步處理526。
[0203] 進(jìn)一步參看圖9f，可用常規(guī)間隔（例如每60秒）調(diào)用示范性的基于時(shí)間的策略 527。這個(gè)策略讀取每個(gè)應(yīng)用集合數(shù)據(jù)列表524中的條目528,并且針對任何或每一條目，可 以創(chuàng)建定制的信息流記錄"集合應(yīng)用數(shù)據(jù)"530,并且使條目復(fù)位532。可以接著轉(zhuǎn)發(fā)創(chuàng)建的 定制的信息流記錄"集合應(yīng)用數(shù)據(jù)"530以供進(jìn)一步處理531。
[0204] 應(yīng)了解，如果NetFlow導(dǎo)出器配備有基于網(wǎng)絡(luò)的應(yīng)用辨識（NBAR)機(jī)構(gòu)，那么可以 增強(qiáng)以上策略以利用在定制的"協(xié)議端口"流記錄中報(bào)告的應(yīng)用分類信息（"application tag"），因而實(shí)現(xiàn)較高粒度的應(yīng)用帶寬消耗。
[0205] 本發(fā)明的實(shí)施例可以支持的額外示范性策略包含：
[0206] 每個(gè)應(yīng)用協(xié)議每次鏈路監(jiān)控的網(wǎng)絡(luò)業(yè)務(wù)
[0207] 這個(gè)策略模塊的一個(gè)實(shí)施例輸入NetFlow消息，其含有關(guān)于網(wǎng)絡(luò)裝置入和出接 口（流通過所述接口進(jìn)入和離開網(wǎng)絡(luò)裝置）的信息，并且可以產(chǎn)生流分類信息、在流中觀 察到的字節(jié)和包計(jì)數(shù)和與流的開始和結(jié)束相關(guān)的時(shí)序信息。對于每一 NetFlow導(dǎo)出器或 NetFlow導(dǎo)出器的所選組合，這個(gè)策略模塊能夠?qū)⒚總€(gè)應(yīng)用協(xié)議和接口對的包的數(shù)目和字 節(jié)的數(shù)目總加起來。
[0208] 可以包含監(jiān)視協(xié)議列表，并且所述列表可以是可配置的。監(jiān)視列表中不包含的所 有應(yīng)用協(xié)議可以在指定為"其它"的協(xié)議下總加。應(yīng)用協(xié)議可以解釋為0SI層3協(xié)議（例 如TCP)、0SI層4目的地端口（例如端口 80-http)、解釋為0SI層7分類器（例如分類器 引擎ID，例如PANA-L7,接著是這個(gè)分類內(nèi)的供應(yīng)商特定的應(yīng)用ID)或任何其它網(wǎng)絡(luò)業(yè)務(wù)分 類模式。
[0209] -對網(wǎng)絡(luò)接口構(gòu)成一個(gè)鏈接。鏈接中的接口可以通過其相應(yīng)SNMP索引（input_ snmp和〇UtpUt_snmp)來識別。鏈接的數(shù)目可以在運(yùn)行時(shí)間確定，通過配置或硬編碼而限于 某一子集的接口?？偟膩碚f，觀察到的鏈接的數(shù)目沒有局限性。策略模塊可包含基于時(shí)間 的觸發(fā)器，其能夠以可配置的時(shí)間周期報(bào)告集合結(jié)果，基于某一計(jì)數(shù)器發(fā)出集合報(bào)告，或報(bào) 告業(yè)務(wù)的每一感興趣的鏈接穿越。
[0210] 網(wǎng)絡(luò)管理方可以使用通過利用這個(gè)策略模塊可得出的信息來實(shí)時(shí)地查看網(wǎng)絡(luò)業(yè) 務(wù)的細(xì)節(jié)，包含但不限于每個(gè)以下項(xiàng)目的字節(jié)或包的數(shù)目：
[0211] 特定網(wǎng)絡(luò)裝置
[0212] 網(wǎng)絡(luò)裝置的鏈接
[0213] 應(yīng)用協(xié)議
[0214] 對于所選網(wǎng)絡(luò)裝置，網(wǎng)絡(luò)管理方可以看到每一鏈接內(nèi)的應(yīng)用協(xié)議或每一應(yīng)用協(xié)議 內(nèi)的鏈接的網(wǎng)絡(luò)業(yè)務(wù)的組成。網(wǎng)絡(luò)管理方還可辨別當(dāng)通過鏈接的業(yè)務(wù)變得反常地繁重時(shí)或 當(dāng)某一鏈接上的包大小大幅減小時(shí)的事件。后一事件可以表示硬件故障或是網(wǎng)絡(luò)攻擊的標(biāo) 〇
[0215] 這個(gè)策略模塊產(chǎn)生的數(shù)據(jù)可以用于（但不限于）網(wǎng)絡(luò)帶寬負(fù)載均衡（例如，通過 將網(wǎng)絡(luò)業(yè)務(wù)從網(wǎng)絡(luò)的更大量地使用的部分移動(dòng)到網(wǎng)絡(luò)的較少使用的部分）、從應(yīng)用識別信 息導(dǎo)出的基于內(nèi)容的路由和其它類似目的。這個(gè)數(shù)據(jù)的又一用法總的來說是對網(wǎng)絡(luò)的業(yè)務(wù) 研究和容量規(guī)劃。
[0216] 識別每個(gè)協(xié)議的首要主機(jī)連接
[0217] 這個(gè)策略模塊的一個(gè)實(shí)施例輸入NetFlow消息，所述消息含有關(guān)于連接主機(jī)的源 和目的地IP地址的信息，并且通過將每一觀察到的主機(jī)進(jìn)行的連接的數(shù)目總加而產(chǎn)生一 段時(shí)間周期內(nèi)活動(dòng)最多的主機(jī)的列表?；顒?dòng)主機(jī)列表可包含在某一周期上觀察到的所有主 機(jī)、N個(gè)活動(dòng)最多的主機(jī)的群組（"首要N個(gè)連接"），或根據(jù)一些其它準(zhǔn)則所選的主機(jī)的群 組。
[0218] 所述策略可包含基于時(shí)間的觸發(fā)器，其能夠報(bào)告在可配置的時(shí)間周期上集合的結(jié) 果，或者基于某一計(jì)數(shù)器或其它準(zhǔn)則發(fā)出集合報(bào)告。
[0219] 網(wǎng)絡(luò)管理方可以使用通過利用這個(gè)策略模塊可得出的信息來識別在指定時(shí)間周 期中正起始最多連接的主機(jī)。這個(gè)信息可以是對擴(kuò)散病毒或蠕蟲或垃圾電子郵件的受到感 染的主機(jī)的指示。
[0220] 識別首要主機(jī)說話者
[0221] 這個(gè)策略模塊的實(shí)施例輸入含有關(guān)于通信網(wǎng)絡(luò)主機(jī)的源和目的地IP地址的信息 的NetFlow消息，并且將每一觀察到的主機(jī)所發(fā)送的字節(jié)的數(shù)目和包的數(shù)目總加，以在預(yù) 定義的時(shí)間周期上產(chǎn)生活動(dòng)最多的主機(jī)的列表。
[0222] 可以包含監(jiān)視協(xié)議列表并且所述列表可以是可配置的。監(jiān)視列表中不包含的所有 應(yīng)用協(xié)議可以在指定為"其它"的協(xié)議下應(yīng)用總加。應(yīng)用協(xié)議可以解釋為0SI層3協(xié)議（例 如TCP)、0SI層4目的地端口（例如端口 80-http)、解釋為0SI層7分類器（例如分類器 引擎ID，例如PANA-L7,接著是這個(gè)分類內(nèi)的供應(yīng)商特定的應(yīng)用ID)或任何其它網(wǎng)絡(luò)業(yè)務(wù)分 類模式。
[0223] 活動(dòng)主機(jī)列表可包含在某一周期上觀察到的所有主機(jī)、N個(gè)活動(dòng)最多的主機(jī)的群 組（"首要N個(gè)說話者"），或根據(jù)一些其它準(zhǔn)則所選的主機(jī)的群組。
[0224] 所述策略可包含基于時(shí)間的觸發(fā)器，其能夠報(bào)告在可配置的時(shí)間周期上集合的結(jié) 果，或者基于某一計(jì)數(shù)器或某種其它準(zhǔn)則發(fā)出集合報(bào)告。策略模塊可以產(chǎn)生多個(gè)消息類型， 例如用于總最高業(yè)務(wù)產(chǎn)生方的一個(gè)消息類型，和用于產(chǎn)生了最多包的主機(jī)的另一消息類 型。
[0225] 網(wǎng)絡(luò)管理方可以使用通過利用這個(gè)策略模塊可得出的信息來分析網(wǎng)絡(luò)業(yè)務(wù)以得 出指示DoS或低強(qiáng)度DoScyber攻擊的模式和總體負(fù)載均衡、業(yè)務(wù)研究和容量規(guī)劃。
[0226] 這個(gè)規(guī)則的一個(gè)額外益處是即使可以在一些網(wǎng)絡(luò)裝置上配置首要主機(jī)說話者的 報(bào)告，但是在NF2SL中配置這個(gè)實(shí)際上就是一次在連接到NF2SL的所有網(wǎng)絡(luò)裝置上對其進(jìn) 行配置。
[0227] 監(jiān)控邊緣裝置接入控制違規(guī)
[0228] 這個(gè)策略模塊的實(shí)施例輸入NetFlow和其衍生物，例如思科ASA NetFlow安全事 件語言（NSEL)，這是含有關(guān)于網(wǎng)絡(luò)邊緣裝置上的事件的信息的消息。在一示范性實(shí)施例 中，NF2SL輸入思科ASA NSEL消息，并且處理與安全事件有關(guān)的字段（例如NSEL NF_F_FW_ EVENT字段）中的信息。通過評估在此類字段中報(bào)告的值，NF2SL能夠識別所有或所選網(wǎng)絡(luò) 策略違反者，并且產(chǎn)生一段時(shí)間中違規(guī)次數(shù)最多的主機(jī)的列表（首要N)。所述策略可包含 基于時(shí)間的觸發(fā)器，其能夠報(bào)告在可配置的時(shí)間周期上集合的結(jié)果，或者基于某一計(jì)數(shù)器 或某種其它準(zhǔn)則發(fā)出報(bào)告。如果所監(jiān)控的邊緣裝置集成有AAA系統(tǒng)（例如微軟活動(dòng)目錄， RADIUS等），那么報(bào)告可以含有網(wǎng)絡(luò)策略違規(guī)者的用戶id。所述報(bào)告可包含關(guān)于確切的被 違反的策略（即，識別被違反的ACL)的信息，如果邊緣裝置能夠產(chǎn)生此類信息的話。
[0229] 網(wǎng)絡(luò)管理方可以使用通過利用這個(gè)策略模塊可得出的信息來識別展示出不穩(wěn)定 行為的主機(jī)并且識別從事不當(dāng)活動(dòng)的用戶。這可能表明是不良行動(dòng)者或受到感染的主機(jī)。 另外，通過使與受違規(guī)的網(wǎng)絡(luò)策略有關(guān)的信息與實(shí)際邊緣裝置配置信息相關(guān)，網(wǎng)絡(luò)管理方 可以發(fā)現(xiàn)違規(guī)者對哪個(gè)資源感興趣，并且如果必需的話，調(diào)整組織的安全姿態(tài)。
[0230] 監(jiān)控DNS服務(wù)器行為
[0231] 這個(gè)策略模塊的實(shí)施例輸入含有與主機(jī)跟DNS服務(wù)器之間的網(wǎng)絡(luò)業(yè)務(wù)有關(guān)的信 息的NetFlow消息，并且能夠計(jì)算平均DNS服務(wù)器的響應(yīng)時(shí)間和在一段時(shí)間間隔中交換的 包的平均大小。所述策略能夠報(bào)告所選服務(wù)器列表或所有觀察到的DNS服務(wù)器的平均響應(yīng) 時(shí)間和平均包大小。所述策略可包含基于時(shí)間的觸發(fā)器，其能夠報(bào)告在可配置的時(shí)間周期 上集合的結(jié)果，或者基于某一計(jì)數(shù)器或某種其它準(zhǔn)則發(fā)出報(bào)告。
[0232] 這個(gè)策略模塊可以擴(kuò)展到特征在于眾所周知的0SI層4端口數(shù)目（例如，端口 80 上的http服務(wù)器）或0SI層7分類器（例如，PANA-L7伴隨應(yīng)用識別符）的任意網(wǎng)絡(luò)服務(wù)。 應(yīng)用
[0233] 當(dāng)DNS響應(yīng)時(shí)間增加時(shí)，網(wǎng)絡(luò)管理方可以使用通過利用這個(gè)策略可得出的信息來 識別與DNS服務(wù)有關(guān)的問題。因?yàn)镈NS服務(wù)能夠向最終用戶傳遞所述內(nèi)容，所以其必須跨 越廣泛分布的網(wǎng)絡(luò)提供最高水平的可用性和最短響應(yīng)時(shí)間。因?yàn)镈NS對于企業(yè)操作的作用 至關(guān)重要，所以安全攻擊通常以DNS服務(wù)器為目標(biāo)，在DNS服務(wù)器中大量灌注業(yè)務(wù)，期望其 達(dá)到故障點(diǎn)，以便破壞服務(wù)。DNS服務(wù)響應(yīng)時(shí)間變慢可能指示正在發(fā)生破壞性攻擊。接著， 網(wǎng)絡(luò)管理方可以采取保護(hù)措施，并且將其本地主機(jī)DNS請求重路由到其它DNS服務(wù)器。
[0234] 另外，通過研究DNS服務(wù)器與DNS服務(wù)請求者交換的平均包大小，網(wǎng)絡(luò)管理方可以 識別DNS服務(wù)是否遭到破壞。舉例來說，DNS服務(wù)響應(yīng)包大小的增加可以指示遭到破壞的 DNS服務(wù)器正試圖發(fā)出以DNS服務(wù)請求者為目標(biāo)的緩沖區(qū)溢出攻擊。
[0235] 還應(yīng)了解，通過研究在隨后主機(jī)通信中反映的DNS服務(wù)提供的下一跳信息和注意 DNS服務(wù)提出的路由路徑的激烈變化，這個(gè)策略可以識別例如DNS變換器惡意軟件等惡意 活動(dòng)。
[0236] 監(jiān)控每個(gè)鏈接的平均包大小
[0237] 這個(gè)策略模塊的實(shí)施例輸入含有關(guān)于網(wǎng)絡(luò)業(yè)務(wù)的信息的NetFlow消息，并且能夠 計(jì)算一段時(shí)間間隔中穿過一對網(wǎng)絡(luò)裝置接口（"鏈接"）的網(wǎng)絡(luò)包的平均大小。所述策略可 包含基于時(shí)間的觸發(fā)器，其能夠報(bào)告在可配置的時(shí)間周期上集合的結(jié)果，或者基于某一計(jì) 數(shù)器或某種其它準(zhǔn)則發(fā)出報(bào)告。
[0238] 網(wǎng)絡(luò)管理方可以使用通過利用這個(gè)策略可得出的信息來識別網(wǎng)絡(luò)瓶頸或惡意活 動(dòng)。包大小的意外減?。ò鼣嗔眩┛赡鼙硎境龉收系挠布蜻M(jìn)行中的網(wǎng)絡(luò)攻擊。另外，通 過使這個(gè)信息與從網(wǎng)絡(luò)上的服務(wù)器獲得的信息相關(guān)，網(wǎng)絡(luò)管理方可以識別信息傳遞問題是 起始于網(wǎng)絡(luò)上還是由于服務(wù)器性能不佳：健康的網(wǎng)絡(luò)會(huì)將所述服務(wù)器確定地識別為有問題 的行為者。在后一種情況下，網(wǎng)絡(luò)管理員可以識別表現(xiàn)不佳的應(yīng)用，并且采取校正措施。
[0239] 監(jiān)控每個(gè)應(yīng)用協(xié)議每個(gè)鏈接的平均包大小
[0240] 這個(gè)策略模塊的實(shí)施例輸入含有關(guān)于網(wǎng)絡(luò)業(yè)務(wù)的信息的NetFlow消息，并且能夠 計(jì)算一段時(shí)間間隔中所監(jiān)視的應(yīng)用協(xié)議中的每一個(gè)的穿過一對網(wǎng)絡(luò)裝置接口（"鏈接"）的 網(wǎng)絡(luò)包的平均大小。所述策略能夠報(bào)告每個(gè)監(jiān)視協(xié)議的平均包大小。所述策略可包含基于 時(shí)間的觸發(fā)器，其能夠報(bào)告在可配置的時(shí)間周期上集合的結(jié)果，或者基于某一計(jì)數(shù)器或某 種其它準(zhǔn)則發(fā)出報(bào)告。
[0241] 網(wǎng)絡(luò)管理方可以使用通過利用這個(gè)策略可得出的信息來識別網(wǎng)絡(luò)瓶頸或惡意活 動(dòng)。包大小的意外減?。ò鼣嗔眩┛赡鼙砻鞒龉收系挠布蜻M(jìn)行中的網(wǎng)絡(luò)攻擊。另外，通 過使這個(gè)信息與從服務(wù)器獲得的信息相關(guān)，網(wǎng)絡(luò)管理方可以識別信息傳遞問題是起始于網(wǎng) 絡(luò)上還是由于服務(wù)器性能不佳：健康的網(wǎng)絡(luò)會(huì)將所述應(yīng)用服務(wù)器確定地識別為有問題的行 為者。在后一種情況下，網(wǎng)絡(luò)管理員可以識別表現(xiàn)不佳的應(yīng)用，并且采取校正措施。
[0242] 識別邊緣裝置首要帶寬用戶
[0243] 這個(gè)策略模塊的實(shí)施例輸入NetFlow和其衍生物，例如思科ASA NetFlow安全事 件語言（NSEL)，這是含有關(guān)于穿過邊緣裝置的業(yè)務(wù)的信息的消息。通過將觀察到的通信總 力口，這個(gè)策略能夠識別一段時(shí)間間隔中邊緣裝置帶寬的首要N個(gè)消耗方?？梢宰鳛橥ㄐ啪W(wǎng) 絡(luò)主機(jī)的IP地址提供關(guān)于消耗方的信息。如果邊緣裝置集成有AAA系統(tǒng)（例如，微軟活動(dòng) 目錄、RADIUS等），那么報(bào)告可以將所消耗的帶寬歸屬給特定用戶id。所述策略可包含基 于時(shí)間的觸發(fā)器，其能夠報(bào)告在可配置的時(shí)間周期上集合的結(jié)果，或者基于某一計(jì)數(shù)器或 某種其它準(zhǔn)則發(fā)出報(bào)告。
[0244] 網(wǎng)絡(luò)管理方可以使用通過利用這個(gè)策略模塊可得出的信息來識別穿過邊緣裝置 的網(wǎng)絡(luò)的最高帶寬用戶。這個(gè)信息可以用于識別員工對網(wǎng)絡(luò)的不當(dāng)使用（舉例來說，流式 傳輸視頻、過度的因特網(wǎng)瀏覽等）或從網(wǎng)絡(luò)內(nèi)部向未經(jīng)授權(quán)的外部位置傳遞大文件。
[0245] 另外，由于典型邊緣裝置部署中的高業(yè)務(wù)量和流動(dòng)速率，所以一般不收集關(guān)于裝 置帶寬消耗的信息。這個(gè)不足是由于當(dāng)產(chǎn)生syslog時(shí)邊緣裝置上的繁重負(fù)載，并且日志集 合和SIEM系統(tǒng)無法接受和使用如此大量的傳入日志。
[0246] 由于其高性能和數(shù)據(jù)集合能力，NF2SL使得網(wǎng)絡(luò)管理員能夠在總網(wǎng)絡(luò)管理數(shù)據(jù)池 中包含邊緣裝置帶寬消耗信息，并且導(dǎo)出對網(wǎng)絡(luò)容量和安全姿態(tài)的有價(jià)值的洞察。
[0247] 網(wǎng)絡(luò)裝置通過應(yīng)用協(xié)議識別邊緣裝置首要帶寬用戶
[0248] 這個(gè)策略模塊的實(shí)施例輸入NetFlow (和其衍生物，例如NetFlow v9、IPFIX、思科 ASA NetFlow安全事件語言（NSEL)、Palo Alto網(wǎng)絡(luò)NetFlow)，這是含有關(guān)于穿過邊緣裝置 的業(yè)務(wù)和引起此類消息的產(chǎn)生的應(yīng)用的信息的消息，其程度為使得此類應(yīng)用的特征在于眾 所周知的0SI層4端口數(shù)目（例如，端口 80上的http服務(wù)器）或0SI層7分類器（例如 PANA-L7伴隨應(yīng)用識別符）。通過將觀察到的通信總加，這個(gè)策略能夠識別一段時(shí)間間隔中 特定應(yīng)用的邊緣裝置帶寬的首要N個(gè)消耗方?？梢宰鳛橥ㄐ啪W(wǎng)絡(luò)主機(jī)的IP地址提供關(guān)于 消耗方的信息。如果邊緣裝置集成有AAA系統(tǒng)（例如，微軟活動(dòng)目錄、RADIUS等），那么報(bào) 告可以將所消耗的帶寬歸屬給特定用戶id。所述策略可包含基于時(shí)間的觸發(fā)器，其能夠報(bào) 告在可配置的時(shí)間周期上集合的結(jié)果，或者基于某一計(jì)數(shù)器或某種其它準(zhǔn)則發(fā)出報(bào)告。
[0249] 網(wǎng)絡(luò)管理方可以使用通過利用這個(gè)策略模塊可得出的信息以識別穿過邊緣裝置 的網(wǎng)絡(luò)的最高帶寬用戶，并且識別首要帶寬消耗應(yīng)用。這個(gè)信息可以用于識別員工對應(yīng)用 的不當(dāng)使用（舉例來說，使用未批準(zhǔn)的應(yīng)用）和惡意軟件應(yīng)用（例如受僵尸網(wǎng)絡(luò)控制的軟 件）在內(nèi)部主機(jī)上的存在。
[0250] 另外，由于典型邊緣裝置部署中的高業(yè)務(wù)量和流動(dòng)速率，所以一般不收集關(guān)于裝 置帶寬消耗的信息。這個(gè)不足是由于當(dāng)產(chǎn)生syslog時(shí)邊緣裝置上的繁重負(fù)載，并且集合和 SIEM系統(tǒng)無法接受和分析如此大量的傳入日志。
[0251] 由于其高性能和數(shù)據(jù)集合能力，NF2SL使得網(wǎng)絡(luò)管理員能夠在總網(wǎng)絡(luò)管理數(shù)據(jù)池 中包含以每個(gè)應(yīng)用為基礎(chǔ)的邊緣裝置帶寬消耗信息，并且導(dǎo)出對網(wǎng)絡(luò)容量和安全姿態(tài)的有 價(jià)值的洞察。
[0252] 網(wǎng)絡(luò)子網(wǎng)監(jiān)控
[0253] 這個(gè)策略模塊的實(shí)施例輸入含有關(guān)于通信網(wǎng)絡(luò)主機(jī)的目的地IP地址的信息的 NetFlow消息，并且能夠?qū)⒚恳挥^察到的主機(jī)發(fā)送到監(jiān)控外部子網(wǎng)列表的字節(jié)的數(shù)目和包 的數(shù)目總加。這個(gè)策略模塊能夠產(chǎn)生預(yù)定義時(shí)間周期中具有最多業(yè)務(wù)的子網(wǎng)的列表?？梢?包含監(jiān)視協(xié)議列表并且所述列表可以是可配置的?？梢栽谥付?其它"的協(xié)議下將協(xié)議 監(jiān)視列表中不包含的所有應(yīng)用協(xié)議總加。應(yīng)了解，應(yīng)用協(xié)議可以解釋為0SI層3協(xié)議（例 如TCP)、0SI層4目的地端口（例如端口 80-http)、解釋為0SI層7分類器（例如分類器 引擎ID，例如PANA-L7,接著是這個(gè)分類內(nèi)的供應(yīng)商特定的應(yīng)用ID)或任何其它網(wǎng)絡(luò)業(yè)務(wù)分 類模式。
[0254] 子網(wǎng)的列表可包含所有受監(jiān)控的子網(wǎng)、N個(gè)接入最多的子網(wǎng)的群組或根據(jù)一些其 它準(zhǔn)則所選的子網(wǎng)的群組。
[0255] 所述策略可包含基于時(shí)間的觸發(fā)器，其能夠報(bào)告在可配置的時(shí)間周期上集合的結(jié) 果，或者基于某一計(jì)數(shù)器或某種其它準(zhǔn)則發(fā)出集合報(bào)告。策略模塊可以產(chǎn)生多個(gè)消息類型， 例如用于總最高業(yè)務(wù)接收器的一個(gè)消息類型，和用于接收到最多包的子網(wǎng)的另一消息類 型。
[0256] 網(wǎng)絡(luò)管理方可以使用通過利用這個(gè)策略模塊可得出的信息來分析內(nèi)部主機(jī)與例 如專用于基于云的資源的那些子網(wǎng)的遠(yuǎn)程子網(wǎng)之間的網(wǎng)絡(luò)業(yè)務(wù)，確定到每一遠(yuǎn)程子網(wǎng)的業(yè) 務(wù)量和業(yè)務(wù)模式，并且用最優(yōu)方式操作遠(yuǎn)程資源。
[0257] 基于行為的網(wǎng)絡(luò)監(jiān)控器
[0258] 這個(gè)策略模塊的實(shí)施例通過參與至少兩個(gè)操作模式-學(xué)習(xí)和監(jiān)控，來實(shí)施"超過 基線"策略。為了聚集基線網(wǎng)絡(luò)業(yè)務(wù)信息，可以開啟學(xué)習(xí)模式。監(jiān)控模式使用在操作的學(xué)習(xí) 周期期間獲得的信息來監(jiān)視網(wǎng)絡(luò)條件。這兩個(gè)操作模式不是互斥的：當(dāng)監(jiān)控開啟時(shí)，學(xué)習(xí)過 程可以繼續(xù)。
[0259] 當(dāng)學(xué)習(xí)模式在操作時(shí)，策略能夠聚集基線信息，并且將其存儲(chǔ)在例如永久性存儲(chǔ) 裝置中，例如本地?cái)?shù)據(jù)庫（例如，作為NF2SL的一部分提供的一個(gè)本地?cái)?shù)據(jù)庫）。基線信息 可以是例如5分鐘的短時(shí)間間隔中的流行為的合并。由于學(xué)習(xí)行為信息的普遍性，基線策 略能夠根據(jù)日時(shí)、一周中的哪天甚至月份而考慮業(yè)務(wù)模式。除了基于時(shí)間的業(yè)務(wù)模式之外， 基線行為中還包含以下業(yè)務(wù)模式：
[0260] -并行流的數(shù)目
[0261] -全局包速率
[0262] -全局吞吐量
[0263] -每個(gè)協(xié)議的吞吐量
[0264] -新流創(chuàng)建速率
[0265] -發(fā)送和接收的TCP/IP SYN包的數(shù)目
[0266] -TCP/IP連接復(fù)位次數(shù)
[0267] -平均流持續(xù)時(shí)間
[0268] -流持續(xù)時(shí)間分散
[0269] -遠(yuǎn)程子網(wǎng)利用
[0270] -VLAN 利用
[0271] -全局應(yīng)用組成
[0272] -等等。
[0273] 應(yīng)了解，以上業(yè)務(wù)模式列表并不是完全包含性的，并且基線行為計(jì)算中可以包含 其它業(yè)務(wù)特性。
[0274] -旦收集到基線信息，就可以將其導(dǎo)出到例如電子表格等工具以便分析和定義閾 值?；蛘?，基線策略可以實(shí)施內(nèi)置式機(jī)構(gòu)來確定與正常業(yè)務(wù)模式的偏差。
[0275] 如果合乎需要的話可以利用3層級的設(shè)置閾值方法：預(yù)測、警告和斷點(diǎn)。應(yīng)了解， 閾值可以手動(dòng)確定、從統(tǒng)計(jì)分析導(dǎo)出或配合到模糊行為模型中。
[0276] 優(yōu)選地在開啟策略操作的監(jiān)控模式之前設(shè)置閾值。當(dāng)開啟監(jiān)控模式時(shí)，策略能夠 使用對應(yīng)閾值模型將目前觀察到的行為與基線信息比較。當(dāng)超過閾值時(shí)，可以產(chǎn)生例如 syslog消息或電子郵件等警告消息，并且直接將其發(fā)送到網(wǎng)絡(luò)管理方或SIEM系統(tǒng)用于警 告網(wǎng)絡(luò)監(jiān)控分析員。
[0277] 基線策略可通過基于進(jìn)一步觀察結(jié)果調(diào)整基線網(wǎng)絡(luò)行為以自適應(yīng)方式操作，或者 由例如網(wǎng)絡(luò)管理方命令等外部事件觸發(fā)。
[0278] 網(wǎng)絡(luò)管理方可以使用通過利用這個(gè)策略可得出的信息來用及時(shí)方式檢測由感染 了惡意軟件的主機(jī)引起的或不良行為者引起的異常網(wǎng)絡(luò)活動(dòng)。
[0279] 僵尸網(wǎng)絡(luò)活動(dòng)檢測
[0280] 受僵尸網(wǎng)絡(luò)控制的軟件出了名地難以通過傳統(tǒng)的基于主機(jī)和基于網(wǎng)絡(luò)的手段 來檢測。通常受僵尸網(wǎng)絡(luò)控制的軟件通過把自身安裝成無法從主機(jī)內(nèi)檢測到的根套件 (root-kits)來避免被基于主機(jī)的機(jī)構(gòu)檢測到。對受僵尸網(wǎng)絡(luò)控制的軟件的傳統(tǒng)的基于網(wǎng) 絡(luò)的檢測依賴于收集龐大數(shù)量的信息和查找受僵尸網(wǎng)絡(luò)控制的軟件的信標(biāo)的廣泛的辯論 式調(diào)查?？赏ㄟ^采用一種用流式傳輸方式處理網(wǎng)絡(luò)信息的系統(tǒng)來解決這些問題。
[0281] 僵尸網(wǎng)絡(luò)活動(dòng)檢測策略模塊的實(shí)施例能夠識別當(dāng)內(nèi)部網(wǎng)絡(luò)上"超限"的裝置對外 部對等裝置作出響應(yīng)時(shí)的事件。內(nèi)部網(wǎng)絡(luò)上的主機(jī)一般可以起始到外部世界的連接（例 如，網(wǎng)絡(luò)瀏覽），但是如果連接是從外部起始的，那么對這個(gè)業(yè)務(wù)的響應(yīng)可能就表示內(nèi)部網(wǎng) 絡(luò)上存在受僵尸網(wǎng)絡(luò)控制的軟件。
[0282] 這個(gè)策略模塊的實(shí)施例輸入含有關(guān)于通信網(wǎng)絡(luò)主機(jī)的目的地IP地址的信息的 NetFlow消息，并且將這些IP地址與受到監(jiān)控的超限網(wǎng)絡(luò)裝置的配置列表比較。如果IP地 址不在列表上，那么不采取動(dòng)作。如果在受監(jiān)控裝置列表中找到目的地IP地址，那么將源 IP地址和目的地0SI層4端口以及目的地IP地址和源0SI層4端口連同例如字節(jié)和包計(jì) 數(shù)等其它信息一起存儲(chǔ)在可能警告列表中。還可在可能警告列表中指出應(yīng)用協(xié)議信息。在 此上下文中，協(xié)議信息可以解釋為0SI層3協(xié)議（例如TCP)、0SI層4目的地端口（例如端 口 80-http)、解釋為0SI層7分類器（例如分類器引擎ID，例如PANA-L7,接著是這個(gè)分類 內(nèi)的供應(yīng)商特定的應(yīng)用ID)或任何其它網(wǎng)絡(luò)業(yè)務(wù)分類模式。
[0283] 在下一個(gè)步驟中，策略模塊監(jiān)視是否存在從所監(jiān)控的超限的內(nèi)部裝置對連接起始 器的響應(yīng)。如果在預(yù)先配置的周期內(nèi)發(fā)生此通信，那么策略模塊通過使用例如syslog、電子 郵件等標(biāo)準(zhǔn)通信協(xié)議中的一個(gè)發(fā)送對應(yīng)消息而警告網(wǎng)絡(luò)管理方或SIEM系統(tǒng)。如果預(yù)先配 置的響應(yīng)時(shí)間周期已經(jīng)過去，那么所述策略可以從可能警告列表中移除超限的裝置。
[0284] 將裝置包含到可能警告列表中的時(shí)間間隔可能會(huì)變化。這個(gè)步驟允許抓獲知道存 在僵尸網(wǎng)絡(luò)監(jiān)控系統(tǒng)并且試圖通過延遲響應(yīng)而避免檢測的僵尸網(wǎng)絡(luò)通信。
[0285] 僵尸網(wǎng)絡(luò)檢測策略模塊的另一實(shí)施例輸入含有與內(nèi)部網(wǎng)絡(luò)主機(jī)的IP地址、其通 信對等裝置和在這些通信期間利用的協(xié)議有關(guān)的信息的NetFlow消息。在此上下文中，協(xié) 議信息可以解釋為0SI層3協(xié)議（例如TCP)、0SI層4目的地端口（例如端口 80-http)、 解釋為0SI層7分類器（例如分類器引擎ID，例如PANA-L7,接著是這個(gè)分類內(nèi)的供應(yīng)商特 定的應(yīng)用ID)或任何其它網(wǎng)絡(luò)業(yè)務(wù)分類模式。
[0286] 因而，策略模塊逐漸編譯所有觀察到的通信的數(shù)據(jù)庫，可以分析所述數(shù)據(jù)庫以便 發(fā)現(xiàn)不尋常的通信。可以使用例如STREAM、BIRCH等數(shù)據(jù)流式傳輸群集方法來執(zhí)行這個(gè)分 析，以便用流式傳輸方式確定大型網(wǎng)絡(luò)業(yè)務(wù)模式群組和識別離群值。較小"不正常"群集的 存在是對異常網(wǎng)絡(luò)活動(dòng)的確定的指示，這是僵尸網(wǎng)絡(luò)通信的特性。如果發(fā)現(xiàn)此類異常群集， 那么策略模塊可以通過使用例如syslog、電子郵件等標(biāo)準(zhǔn)通信協(xié)議中的一個(gè)發(fā)送對應(yīng)消息 而警告網(wǎng)絡(luò)管理方或SIEM系統(tǒng)。
[0287] 應(yīng)了解，發(fā)現(xiàn)所有觀察到的通信的數(shù)據(jù)庫中的不尋常通信可以通過其它典型數(shù)據(jù) 分析方法或用靜態(tài)方式通過離線進(jìn)行群集計(jì)算而執(zhí)行。
[0288] 網(wǎng)絡(luò)管理方可以使用通過利用這個(gè)策略可得出的信息來用及時(shí)并且有成本效益 的方式識別和根除網(wǎng)絡(luò)上的受僵尸網(wǎng)絡(luò)控制的軟件，這使用當(dāng)前方法是不可能實(shí)現(xiàn)的，當(dāng) 前方法是試圖通過收集最不相關(guān)數(shù)據(jù)的過大數(shù)據(jù)庫并且事后離線分析這些數(shù)據(jù)庫來發(fā)現(xiàn) 網(wǎng)絡(luò)裝置感染。美國聯(lián)邦通信委員會(huì)（FCC)近年來頒布的規(guī)則使得本文中的技術(shù)對網(wǎng)絡(luò)攜 帶的惡意軟件的及時(shí)發(fā)現(xiàn)的有用性變得清晰。
[0289] 對話
[0290] 這個(gè)策略的實(shí)施例能夠合并在一段時(shí)間周期T中裝置之間的對話，并且向SIEM系 統(tǒng)發(fā)送N個(gè)首要對話。對話定義為由于兩個(gè)主機(jī)（源IP和目的地IP)之間的交互而產(chǎn)生 的一系列NetFlow消息，其使用相同端口（源端口和目的地端口）、經(jīng)由相同傳輸（TCP或 UDP)，并且穿過相同路由器/交換機(jī)（導(dǎo)出器）?？梢栽谙薅ǖ囊欢螘r(shí)間中將這些流的字節(jié) 和包的數(shù)目總加，并且在合并syslog或其它格式的消息中推出這個(gè)數(shù)目。這種技術(shù)可以用 作顯著減少被發(fā)送以便由下游SIEM系統(tǒng)收集和/或分析的機(jī)器數(shù)據(jù)量的一種方法。
[0291] 基于名譽(yù)的警告
[0292] 這個(gè)策略的實(shí)施例能夠檢測從網(wǎng)絡(luò)裝置流動(dòng)或流動(dòng)到網(wǎng)絡(luò)裝置的被視為通信起 來不安全的網(wǎng)絡(luò)業(yè)務(wù)。將網(wǎng)絡(luò)裝置分類為不安全的準(zhǔn)則可以是基于通過其IP地址或完全 合格可分辨名稱（FQDN)所識別的此類網(wǎng)絡(luò)裝置的公開可用的或私人的數(shù)據(jù)庫。舉例來說， AlienVault提供已知參與釣魚攻擊、惡意軟件擴(kuò)散、僵尸網(wǎng)絡(luò)主控軟件等的網(wǎng)絡(luò)裝置的公 開可用數(shù)據(jù)庫。將裝置根據(jù)其惡劣性的假定水平（稱為名譽(yù)）進(jìn)行排序。舉例來說，與已 知僵尸網(wǎng)絡(luò)主控軟件通信的危險(xiǎn)性的排序高于到釣魚主機(jī)的連接。
[0293] 根據(jù)這個(gè)實(shí)施例的策略能夠從外部裝置接收此類不安全I(xiàn)P地址或FQDN的列表， 或者直接查詢此列表的提供者，并且報(bào)告受保護(hù)網(wǎng)絡(luò)上的網(wǎng)絡(luò)裝置與不安全裝置列表上的 網(wǎng)絡(luò)裝置之間的通信的出現(xiàn)。所述策略能夠用及時(shí)的方式發(fā)出警告，其指示通信動(dòng)作和所 接觸的外部網(wǎng)絡(luò)裝置的名譽(yù)水平。
[0294] 來自某些國家的業(yè)務(wù)
[0295] 已知某些國家參與工業(yè)間諜和網(wǎng)絡(luò)惡意軟件行為。這個(gè)策略的實(shí)施例追蹤從駐留 在此類國家中的網(wǎng)絡(luò)裝置到內(nèi)部網(wǎng)絡(luò)裝置的通信和從內(nèi)部網(wǎng)絡(luò)裝置到此類國家中的主機(jī) 的通信。每個(gè)國家的IP地址范圍列表可從因特網(wǎng)地址分配組織（IANA)公開獲得。所述策 略使用此列表或此列表的子集來確定外部網(wǎng)絡(luò)裝置從其通信的國家，并且用及時(shí)的方式報(bào) 告此類通信的動(dòng)作。
[0296] 0SI 層 3 協(xié)議
[0297] 網(wǎng)絡(luò)利用監(jiān)控對于企業(yè)和電信提供者來說非常重要。此類環(huán)境中的大部分應(yīng)用數(shù) 據(jù)是經(jīng)由m)P(0SI層3協(xié)議idl7)和TCP/IP(0SI層3協(xié)議id6)發(fā)射的。除了這些"主力" 協(xié)議之外，還有與網(wǎng)絡(luò)維護(hù)有關(guān)的大量通信。舉例來說，ICMP(因特網(wǎng)控制消息接發(fā)協(xié)議） 協(xié)議（0SI層3協(xié)議1)包含用以驗(yàn)證網(wǎng)絡(luò)裝置的狀態(tài)、追蹤網(wǎng)絡(luò)路線等的消息。與ICMP和 如ISIS、EGP、RSVP以及其它協(xié)議的其它類似實(shí)用協(xié)議相關(guān)聯(lián)的網(wǎng)絡(luò)包構(gòu)成整個(gè)網(wǎng)絡(luò)業(yè)務(wù) 的相當(dāng)大的份額。由于網(wǎng)絡(luò)上存在相當(dāng)大的控制業(yè)務(wù)，所以電信提供者需要不斷地監(jiān)控此 業(yè)務(wù)。
[0298] 這個(gè)策略的實(shí)施例收集關(guān)于經(jīng)由除了 TCP和UDP之外的OSI L3協(xié)議轉(zhuǎn)發(fā)的控制 業(yè)務(wù)的信息。策略可以追蹤所有OSI層3協(xié)議或使用應(yīng)監(jiān)視的OSI層3協(xié)議的配置列表。 對于一些協(xié)議（例如ICMP)，所述策略可經(jīng)配置以僅僅追蹤某些特定子類型的所發(fā)射數(shù)據(jù)。 舉例來說，追蹤未批準(zhǔn)的網(wǎng)絡(luò)裝置發(fā)布的重定向ICMP包可以提供對網(wǎng)絡(luò)上的破壞性活動(dòng) 的清晰指示。
[0299] 所述策略的又一實(shí)施例經(jīng)配置以監(jiān)視受限制的通信。舉例來說，GRE協(xié)議經(jīng)設(shè)計(jì) 以經(jīng)由IP網(wǎng)絡(luò)運(yùn)載任何非IP業(yè)務(wù)。這個(gè)GRE能力可用于屏蔽不合法業(yè)務(wù)，所述業(yè)務(wù)如果 未被GRE包封的話將被網(wǎng)絡(luò)安全基礎(chǔ)設(shè)施檢測到。所述策略監(jiān)視GRE包封的網(wǎng)絡(luò)流，檢查 所述流的源IP地址是否在合法GRE業(yè)務(wù)源列表上，并且用及時(shí)的方式報(bào)告合法源列表中未 包含的網(wǎng)絡(luò)裝置嘗試的通信。
[0300] 應(yīng)了解，以上策略的兩個(gè)實(shí)施例都可以在單個(gè)策略模塊中或在多個(gè)策略模塊中實(shí) 施。
[0301] 集合（合并）業(yè)務(wù)
[0302] 這個(gè)策略的實(shí)施例使用目的地網(wǎng)絡(luò)子網(wǎng)列表和網(wǎng)絡(luò)子網(wǎng)掩碼，并且將局域網(wǎng)裝置 發(fā)送到此類子網(wǎng)的字節(jié)的數(shù)目與此類子網(wǎng)發(fā)送到本地主機(jī)的字節(jié)的數(shù)目總加。這個(gè)策略能 夠向網(wǎng)絡(luò)管理方提供對例如基于云的私人數(shù)據(jù)中心的遠(yuǎn)程資源的利用的有價(jià)值的洞察。
[0303] 應(yīng)了解，隨著業(yè)務(wù)量增加，使用例如NetFlow收集器等傳統(tǒng)手段不再可能用這里 描述的方式測量網(wǎng)絡(luò)帶寬利用率。問題的根源在于現(xiàn)代的網(wǎng)絡(luò)裝置發(fā)出的NetFlow業(yè)務(wù)的 速率極其高。舉例來說，例如思科ASR1000等80Gbps中程路由器能夠每秒處理和報(bào)告多達(dá) 400, 000個(gè)流。即使保存接收到的NetFlow記錄以供隨后處理的非常高端的NetFlow收集 器也不能夠用此類速率處理消息并且很少達(dá)到每秒100, 〇〇〇份記錄的壁壘。只有當(dāng)用流式 傳輸方式進(jìn)行NetFlow處理時(shí)此類高速率才能持續(xù)。
[0304] 這個(gè)策略的又一實(shí)施例提供對內(nèi)部網(wǎng)絡(luò)利用的洞察。在這個(gè)實(shí)施例中，策略集合 每個(gè)VLAN而非子網(wǎng)IP地址和IP地址掩碼的網(wǎng)絡(luò)業(yè)務(wù)信息。
[0305] 實(shí)時(shí)接口利用
[0306] 網(wǎng)絡(luò)性能和可靠性是現(xiàn)今的企業(yè)和服務(wù)提供者組織的至關(guān)重要的組成部分。重要 的是要確保所有網(wǎng)絡(luò)組件恰當(dāng)?shù)貓?zhí)行并且在盡可能短的時(shí)間檢測到問題。
[0307] 這個(gè)策略的實(shí)施例將穿過網(wǎng)絡(luò)裝置接口的業(yè)務(wù)總加，并且通知何時(shí)接口容量未被 充分利用或接口利用水平變得太高，這可能會(huì)導(dǎo)致網(wǎng)絡(luò)包被丟棄以及整體擁塞?？梢酝ㄟ^ 所述接口的SNMP索引識別所述接口。從網(wǎng)絡(luò)裝置發(fā)出的NetFlow選項(xiàng)FlowSets推斷出接 口類型和容量。接口利用閾值可以手動(dòng)指定、從統(tǒng)計(jì)分析導(dǎo)出或配合到模糊行為模型中。
[0308] 應(yīng)了解，這個(gè)策略可以追蹤單個(gè)接口或多個(gè)接口的利用。
[0309] NetFlow 去除重復(fù)
[0310] NetFlow 去除重復(fù)（NetFlow deduplication)是一種消除"重復(fù)"NetFlow 記錄的 技術(shù)。
[0311] 為了獲得對網(wǎng)絡(luò)條件的完整可見，許多組織在所有網(wǎng)絡(luò)裝置上啟用NetFlow。隨著 網(wǎng)絡(luò)包從一個(gè)主機(jī)行進(jìn)到另一主機(jī)，其穿過多個(gè)路由器和交換機(jī)，其中的每一個(gè)將產(chǎn)生表 示相同網(wǎng)絡(luò)流的NetFlow記錄。包含關(guān)于重復(fù)流的信息可能會(huì)引起不正確的業(yè)務(wù)量計(jì)算或 錯(cuò)報(bào)了安全事件的重要性。此外，還可能會(huì)導(dǎo)致存儲(chǔ)和軟件許可成本明顯增加。
[0312] 這個(gè)策略的實(shí)施例能夠基于針對每一源IP-目的地IP主機(jī)對對于權(quán)威導(dǎo)出器的 動(dòng)態(tài)選擇而實(shí)施流去除重復(fù)。
[0313] 在一示范性實(shí)施例中，這個(gè)策略構(gòu)建和在存儲(chǔ)器中維持源IP地址、目的地IP地 址、網(wǎng)絡(luò)上可見的NetFlow導(dǎo)出器和導(dǎo)出器最后報(bào)告通過其IP地址所識別的一對通信端點(diǎn) 之間的通信的時(shí)間的四維矩陣。在接收到流描述（例如NetFlow記錄）后，策略即刻更新 在接收到的流描述中找到所述導(dǎo)出器在端點(diǎn)之間觀察到的流計(jì)數(shù)。將具有當(dāng)前最高數(shù)目的 觀察到的流（"權(quán)重"）的導(dǎo)出器指定為權(quán)威導(dǎo)出器，并且在總得分中只考慮它的流報(bào)告。
[0314] 如果兩個(gè)或更多個(gè)導(dǎo)出器在動(dòng)態(tài)流矩陣中具有相同權(quán)重，那么可以例如通過比較 每一導(dǎo)出器報(bào)告相同流時(shí)的相對時(shí)間來解決模糊性。將在較早時(shí)間報(bào)告所述流的導(dǎo)出器指 定為權(quán)威導(dǎo)出器，因?yàn)槠湮挥诮o定通信端點(diǎn)的其它導(dǎo)出器的上游。所述策略能夠計(jì)算導(dǎo)出 器的相對時(shí)間，例如通過將每一導(dǎo)出器報(bào)告的本機(jī)時(shí)間標(biāo)準(zhǔn)化成其自身的時(shí)間（"時(shí)鐘偏 斜"）和基于此時(shí)鐘偏斜計(jì)算流觀察的相對時(shí)間。例如，通過研究流描述記錄中報(bào)告的下一 跳IP地址進(jìn)一步將路由路徑消除模糊?；蛘?，流描述中一般報(bào)告的存活時(shí)間（TTL)值指示 在發(fā)出報(bào)告的導(dǎo)出器之間的流穿越序列，并且可以用于這些目的。
[0315] 在任何給定時(shí)間，這種方法還能夠提供網(wǎng)絡(luò)的當(dāng)前路由拓?fù)涞目煺??？梢韵蚰軌?以圖形方式、用文本表格形式、二維圖或通過其它手段向最終用戶呈現(xiàn)這個(gè)信息的實(shí)體報(bào) 告這個(gè)網(wǎng)絡(luò)拓?fù)洹?br> [0316] 策略的這個(gè)實(shí)施例可以通過動(dòng)態(tài)地提供網(wǎng)絡(luò)帶寬消耗的確切計(jì)數(shù)向網(wǎng)絡(luò)管理方 提供有效值。只有當(dāng)用流式傳輸方式而非事后（例如傳統(tǒng)手段的做法，比如從流收集器數(shù) 據(jù)庫檢索）報(bào)告的時(shí)候，才能及時(shí)傳遞這個(gè)信息。另外，用流式傳輸方式為流信息去除重復(fù) 明顯地降低了傳統(tǒng)流收集器對于存儲(chǔ)的需要，傳統(tǒng)流收集器可用于在將流信息保存在流收 集器數(shù)據(jù)庫中之后為流信息去除重復(fù)。
[0317] NF2SL 轉(zhuǎn)換器
[0318] NF2SL轉(zhuǎn)換器總地來說獲得NetFlow數(shù)據(jù)FlowSet記錄，并且根據(jù)NF2SL管理員指 定的映射產(chǎn)生syslog消息。圖9X說明在NF2SL的基于⑶I的轉(zhuǎn)換工具431的幫助下將示 范性NetFlow模板FlowSet420映射成Syslog消息421。
[0319] NF2SL管理員可以通過拖曳NetFlow模板FlowSet420中的字段描述符并且將其 在轉(zhuǎn)換工具431背景上丟棄而將來自NetFlow模板的syslog消息格式化。舉例來說，將 ipv4_src_addr 和 14_src_port 字段 422 和 ipv4_dst_addr 和 14_dst_port 字段 423 放置 在轉(zhuǎn)換工具431背景上。用相同方式，NF2SL管理員能夠映射in_pkts字段424。
[0320] 示范性所得Syslog消息421由以下各項(xiàng)組成：NetFlow產(chǎn)生方時(shí)戳425、NetFlow 產(chǎn)生方IP地址426、NetFlow產(chǎn)生方NetFlow源ID427、流源IP地址和源端口 428、流目的 地IP地址和目的地端口 429和在流430中觀察到的包的數(shù)目。
[0321] 使流式傳輸系統(tǒng)能力通用化
[0322] NF2SL系統(tǒng)是本發(fā)明的示范性實(shí)施例。應(yīng)了解，能夠接收多種格式的網(wǎng)絡(luò)元數(shù)據(jù)、 根據(jù)一個(gè)策略或多個(gè)策略處理和任選地變換此類接收到的網(wǎng)絡(luò)元數(shù)據(jù)、將此類經(jīng)處理的網(wǎng) 絡(luò)元數(shù)據(jù)轉(zhuǎn)換成多種格式以及實(shí)時(shí)中繼經(jīng)轉(zhuǎn)換的網(wǎng)絡(luò)元數(shù)據(jù)的這個(gè)所揭示的流式傳輸系 統(tǒng)的概念可以擴(kuò)展到其它實(shí)際的應(yīng)用。
[0323] 舉例來說，并且參看圖10,流式傳輸系統(tǒng)可以用于提高OpenFlow控制器282管理 流過例如交換機(jī)或路由器等產(chǎn)生NetFlow的OpenFlow兼容裝置280的能力。
[0324] OpenFlow兼容裝置280上的NetFlow產(chǎn)生方285可經(jīng)配置以發(fā)出NetFlow協(xié)議 消息283,所述消息不僅指示穿過端口或在流中觀察到的業(yè)務(wù)量，而且指示關(guān)于確切是哪個(gè) 應(yīng)用使所述流實(shí)例化的信息和其它額外信息。關(guān)于業(yè)務(wù)量和其來源的這個(gè)增強(qiáng)信息接著可 以被流式傳輸系統(tǒng)281的NetFlow/0penFl〇 W(NF20F)實(shí)施例摘錄，并且經(jīng)由例如端口統(tǒng)計(jì) 數(shù)據(jù)、流統(tǒng)計(jì)數(shù)據(jù)和單獨(dú)流統(tǒng)計(jì)數(shù)據(jù)或其類似物等擴(kuò)展OpenFlow協(xié)議消息284被傳遞到 OpenFlow控制器282上。
[0325] 本發(fā)明的這個(gè)方面使普通OpenFlow控制器的網(wǎng)絡(luò)管理能力達(dá)到較高復(fù)雜水平， 方法是通過提供對應(yīng)用水平服務(wù)質(zhì)量（QoS)要求的洞察。
[0326] 由于例如付費(fèi)卡業(yè)界數(shù)據(jù)安全標(biāo)準(zhǔn)（PCI_DSS)、2002聯(lián)邦信息安全管理法案 (FISMA)、薩班斯-奧克斯利法案（S0X)、醫(yī)療責(zé)任攜帶和責(zé)任法案（HIPAA)等規(guī)則順從要 求，所以組織必須連續(xù)監(jiān)控和報(bào)告多種多樣的安全相關(guān)數(shù)據(jù)，包含事件、系統(tǒng)配置、網(wǎng)絡(luò)業(yè) 務(wù)和性能。這個(gè)要求的主要部分是收集和保存日志。事實(shí)證明日志收集是一個(gè)艱難的任務(wù)， 原因在于使用UDP運(yùn)輸syslog消息的syslog協(xié)議有容易丟失的性質(zhì)。
[0327] 參看圖11，本發(fā)明的實(shí)施例可以用于確保日志傳遞的目的。在這個(gè)實(shí)施例中，在非 常接近駐留在計(jì)算裝置300上的syslog產(chǎn)生方301之處部署SL2ASL (syslog/確保syslog) 系統(tǒng)303。在非常接近網(wǎng)絡(luò)元數(shù)據(jù)產(chǎn)生方之處部署SA2ASL系統(tǒng)會(huì)使網(wǎng)絡(luò)元數(shù)據(jù)丟失的風(fēng)險(xiǎn) 減到最小。
[0328] 在這個(gè)實(shí)施例中，SL2ASL系統(tǒng)303使用標(biāo)準(zhǔn)syslog協(xié)議消息304傳遞UDP傳輸 將接收到的syslog協(xié)議消息302復(fù)制給多個(gè)syslog消耗方裝置305。這種技術(shù)增加了完 整日志信息保存的概率。
[0329] 進(jìn)一步參看圖11，在又一實(shí)施例中，SL2ASL系統(tǒng)303可以通過經(jīng)由可靠的TCP/IP 連接306發(fā)送接收到的syslog協(xié)議消息302而與增強(qiáng)Syslog消耗方裝置308通信。?；?信道307確保在增強(qiáng)Syslog消耗方308出現(xiàn)故障的情況下，SL2ASL系統(tǒng)303使用本地?fù)?塞控制設(shè)施暫時(shí)累積syslog協(xié)議消息302,同時(shí)增強(qiáng)Syslog消耗方裝置308重新啟動(dòng)。
[0330] 本發(fā)明的這個(gè)實(shí)施例明顯地簡化了對日志集合規(guī)則順從要求的滿足。
[0331] 本發(fā)明的實(shí)施例可以用于經(jīng)由WAN將NetFlow信息從遠(yuǎn)程網(wǎng)絡(luò)可靠地傳遞到中心 網(wǎng)絡(luò)。
[0332] 參看圖1 la，在典型分支601部署中，支持NetFlow的路由器603收集分支網(wǎng)絡(luò)602 上的NetFlow信息606并且通過在HQ600處部署的路由器605將NetFlow信息606經(jīng)由 WAN604發(fā)射到NetFlow收集器607。
[0333] 但是，由于用于在分支601和HQ600之間傳輸NetFlow信息606的UDP協(xié)議的不 可靠性質(zhì)，所以所發(fā)射的NetFlow信息606的一部分可能會(huì)在傳輸中丟失，從而導(dǎo)致不完整 的NetFlow*信息608到達(dá)NetFlow收集器607。
[0334] 使用例如SCTP等可靠的或半可靠的傳輸協(xié)議通常是不合需要的，因?yàn)橹С?NetFlow的路由器603上的NetFlow事件速率較高，這是可靠的傳輸協(xié)議不能處理的。在此 些情況下，網(wǎng)絡(luò)管理員被迫求助于采樣的NetFlow報(bào)告，因而進(jìn)一步增加了網(wǎng)絡(luò)元數(shù)據(jù)的 稀疏性。
[0335] 參看圖11b，這里稱為NF2ASL(NetFlow/確保SysLog)的本發(fā)明的實(shí)施例防止 NetFlow信息606在傳輸中的丟失，同時(shí)支持高速率的NetFlow信息606發(fā)射。
[0336] 進(jìn)一步參看圖11b，支持NetFlow的路由器603收集分支網(wǎng)絡(luò)602上的NetFlow 信息606,并且將NetFlow信息606發(fā)射到NF2ASL服務(wù)器620。因?yàn)橹С諲etFlow的路由 器603和NF2ASL服務(wù)器620部署成彼此非常接近，所以不存在NetFlow信息606丟失或者 NetFlow信息606的丟失是可忽略的。在接收到NetFlow信息606之后，NF2ASL服務(wù)器620 即刻將NetFlow信息606轉(zhuǎn)換成syslog信息621。可以根據(jù)部署在NF2ASL服務(wù)器620上 的一個(gè)或多個(gè)策略和轉(zhuǎn)換規(guī)則或根據(jù)默認(rèn)轉(zhuǎn)換規(guī)則來執(zhí)行轉(zhuǎn)換過程。
[0337] 為了使NetFlow信息606到HQ600的傳遞的可靠性最大化，NF2ASL服務(wù)器620經(jīng) 配置以將syslog信息621復(fù)制到部署在HQ600處的多個(gè)syslog服務(wù)器622。經(jīng)由WAN604 向部署在HQ600處的路由器605傳遞復(fù)制的syslog信息612。
[0338] 通過復(fù)制syslog信息621，NF2ASL服務(wù)器620增加了 NetFlow信息606的保存 概率。預(yù)期NetFlow信息606的保存概率隨著syslog信息621被復(fù)制到的syslog服務(wù)器 620的數(shù)目而增加。
[0339] 參看圖11c，本發(fā)明的實(shí)施例可以用于促進(jìn)虛擬機(jī)超管理器312在其控制下管理 虛擬機(jī)器的組成的能力。
[0340] NetFlow產(chǎn)生方315可經(jīng)配置以發(fā)出NetFlow協(xié)議消息313,其指示以執(zhí)行虛擬機(jī) 超管理器312的服務(wù)器310為目的地的業(yè)務(wù)的量以及這個(gè)業(yè)務(wù)屬于哪個(gè)應(yīng)用。關(guān)于業(yè)務(wù)量 和其語義組成的信息可以通過流式傳輸系統(tǒng)311的NetFlow/超管理器（NF2HV)實(shí)施例摘 錄，并且在信息協(xié)議消息314中被傳遞到在服務(wù)器310上執(zhí)行的虛擬機(jī)超管理器312上。
[0341] 本發(fā)明的這個(gè)方面使得虛擬機(jī)超管理方312能夠使用實(shí)時(shí)網(wǎng)絡(luò)負(fù)載和組成信息 來供應(yīng)在服務(wù)器310上執(zhí)行的關(guān)鍵任務(wù)應(yīng)用所必需的資源。
[0342] 參看圖12,本發(fā)明的實(shí)施例可以進(jìn)一步被通用化以便用于具有m個(gè)不同網(wǎng)絡(luò)元數(shù) 據(jù)產(chǎn)生方321和η個(gè)不同網(wǎng)絡(luò)元數(shù)據(jù)消耗方324的環(huán)境。
[0343] 應(yīng)了解，系統(tǒng)320的mX2nY示范性實(shí)施例能夠辨別網(wǎng)絡(luò)元數(shù)據(jù)產(chǎn)生方321用于 發(fā)射網(wǎng)絡(luò)元數(shù)據(jù)的多個(gè)輸入?yún)f(xié)議322。舉例來說，網(wǎng)絡(luò)元數(shù)據(jù)產(chǎn)生方321中的一些發(fā)出 NetFlow協(xié)議消息，而其它網(wǎng)絡(luò)元數(shù)據(jù)產(chǎn)生方經(jīng)由syslog傳送網(wǎng)絡(luò)元數(shù)據(jù)。
[0344] 在接收到可接受格式中的一個(gè)的含有網(wǎng)絡(luò)元數(shù)據(jù)的消息322后，系統(tǒng)320的mX2nY 實(shí)施例可以將消息在內(nèi)部調(diào)度給針對所述消息的輸入格式配置的一個(gè)策略或多個(gè)策略?？?以經(jīng)由多個(gè)輸出協(xié)議323將策略應(yīng)用的結(jié)果轉(zhuǎn)發(fā)到網(wǎng)絡(luò)元數(shù)據(jù)消耗方324中的一個(gè)或多 個(gè)。
[0345] 圖13說明系統(tǒng)320的mX2nY實(shí)施例的示范性內(nèi)部組成。在這個(gè)實(shí)例中，專用接收 器模塊RX341接收到某一類型的輸入?yún)f(xié)議消息322,所述專用接收器模塊將輸入?yún)f(xié)議消息 322轉(zhuǎn)發(fā)到專用格式器模塊F342。格式器模塊F342可以將輸入?yún)f(xié)議消息322變換成策略模 塊P343理解的常用網(wǎng)絡(luò)元數(shù)據(jù)格式。接著，格式器模塊F342可以將經(jīng)變換的輸入?yún)f(xié)議消 息322傳遞到策略模塊P343,策略模塊P在應(yīng)用配置策略后即刻可以將輸入?yún)f(xié)議消息322 連同任何衍生網(wǎng)絡(luò)元數(shù)據(jù)一起轉(zhuǎn)發(fā)到調(diào)度器模塊344。調(diào)度器模塊344可經(jīng)配置以將輸出 協(xié)議消息322分配給轉(zhuǎn)換器模塊345,轉(zhuǎn)換器模塊可以將輸出協(xié)議消息323傳遞到發(fā)射模塊 346用于轉(zhuǎn)發(fā)到網(wǎng)絡(luò)元數(shù)據(jù)消耗方。
[0346] 應(yīng)了解，系統(tǒng)320的mX2nY實(shí)施例的內(nèi)部組成可以不同于上述組成。舉例來說，多 個(gè)格式化模塊342可以實(shí)施為單個(gè)通用格式化模塊等。
[0347] 進(jìn)一步參看圖13,還應(yīng)了解，可以部署系統(tǒng)320的mX2nY實(shí)施例的例子以便從系 統(tǒng)320的mX2nY實(shí)施例的另一例子接收網(wǎng)絡(luò)元數(shù)據(jù)322。以相同方式，應(yīng)了解可以部署系統(tǒng) 320的mX2nY實(shí)施例的一個(gè)例子以便將網(wǎng)絡(luò)元數(shù)據(jù)處理323的結(jié)果轉(zhuǎn)發(fā)到系統(tǒng)320的mX2nY 實(shí)施例的另一例子。
[0348] 雖然已關(guān)于幾個(gè)實(shí)施例描述了本發(fā)明，但存在屬于本發(fā)明的范圍內(nèi)的更改、修改、 置換和替代等效物。雖然已經(jīng)為了幫助描述本發(fā)明而提供了子章節(jié)標(biāo)題，但是這些標(biāo)題只 是說明性的，而并不希望限制本發(fā)明的范圍。
[0349] 還應(yīng)注意，有許多替代的實(shí)施本發(fā)明的方法和設(shè)備的方式。因而希望所附權(quán)利要 求書解釋為包含屬于本發(fā)明的真實(shí)精神和范圍內(nèi)的所有此類更改、修改、置換和替代等效 物。
【權(quán)利要求】
1. 一種處理在使用一個(gè)或多個(gè)網(wǎng)絡(luò)協(xié)議發(fā)射網(wǎng)絡(luò)業(yè)務(wù)的網(wǎng)絡(luò)上產(chǎn)生的網(wǎng)絡(luò)元數(shù)據(jù)的 方法，所述網(wǎng)絡(luò)包含一些裝置，所述裝置中的至少一些通過入接口接收網(wǎng)絡(luò)業(yè)務(wù)，并且通過 出接口發(fā)射網(wǎng)絡(luò)業(yè)務(wù)，所述方法包括以下步驟： 以至少一種數(shù)據(jù)格式從數(shù)據(jù)處理系統(tǒng)中的多個(gè)源接收網(wǎng)絡(luò)元數(shù)據(jù)； 確定所述網(wǎng)絡(luò)元數(shù)據(jù)的類型或特性； 處理所述網(wǎng)絡(luò)元數(shù)據(jù)以從其提取有用信息；以及 至少部分響應(yīng)于所述確定步驟的結(jié)果，將所述網(wǎng)絡(luò)元數(shù)據(jù)的至少一部分轉(zhuǎn)換成在所述 數(shù)據(jù)處理系統(tǒng)中用于其它系統(tǒng)元數(shù)據(jù)的一個(gè)或多個(gè)不同數(shù)據(jù)格式。
2. 根據(jù)權(quán)利要求1所述的方法，其中在所述網(wǎng)絡(luò)元數(shù)據(jù)在所述網(wǎng)絡(luò)上在產(chǎn)生了所述網(wǎng) 絡(luò)元數(shù)據(jù)的網(wǎng)絡(luò)裝置與能夠存儲(chǔ)所述網(wǎng)絡(luò)元數(shù)據(jù)的裝置之間移行時(shí)執(zhí)行所述處理步驟。
3. 根據(jù)權(quán)利要求2所述的方法，其中通過應(yīng)用管理網(wǎng)絡(luò)元數(shù)據(jù)處理的至少一種策略來 實(shí)現(xiàn)所述處理步驟。
4. 根據(jù)權(quán)利要求3所述的方法，其中出于檢測所述網(wǎng)絡(luò)上指示可能的安全威脅的業(yè)務(wù) 的目的應(yīng)用所述至少一種策略。
5. 根據(jù)權(quán)利要求4所述的方法，其中所述至少一種策略包含以下步驟： 對傳入網(wǎng)絡(luò)業(yè)務(wù)源與所述網(wǎng)絡(luò)上的受監(jiān)控超限裝置預(yù)定義列表進(jìn)行比較； 在目的地IP地址在超限裝置預(yù)定義列表上的情況下，將源IP/端口以及目的地IP/端 口連同入NetFlow記錄中報(bào)告的字節(jié)和包的數(shù)目存儲(chǔ)在可能警告列表中； 檢查輸出記錄以確定所述源IP/端口和所述目的地IP/端口是否與所述可能警告列表 中的條目匹配； 如果發(fā)現(xiàn)匹配，那么將此匹配視為內(nèi)部主機(jī)對外部對等裝置請求作出了答復(fù)的指示； 以及 用及時(shí)的方式產(chǎn)生警告消息以告知可能的僵尸網(wǎng)絡(luò)感染。
6. 根據(jù)權(quán)利要求4所述的方法，其中所述至少一種策略包含以下步驟： 收集關(guān)于與外部網(wǎng)絡(luò)裝置通信的內(nèi)部網(wǎng)絡(luò)裝置的信息；所述信息包括通信裝置的IP 地址和協(xié)議列表； 應(yīng)用流式傳輸群集分析方法以確定所述通信裝置之間的通信的模式； 通過所有所計(jì)算模式的集合中存在較小不相交模式來識別所述通信裝置之間的通信 的異常例子； 在識別出至少一種異常通信模式的情況下，用及時(shí)的方式產(chǎn)生警告消息以告知可能的 僵尸網(wǎng)絡(luò)感染。
7. 根據(jù)權(quán)利要求3所述的方法，其中出于識別所述網(wǎng)絡(luò)上的業(yè)務(wù)尖峰的目的應(yīng)用所述 至少一種策略。
8. 根據(jù)權(quán)利要求7所述的方法，其中所述至少一種策略包含以下步驟： 將所述傳入網(wǎng)絡(luò)業(yè)務(wù)源與所述網(wǎng)絡(luò)上的受監(jiān)控裝置預(yù)定義列表比較； 在所述源IP地址在裝置預(yù)定義列表上的情況下，將所述源IP連同所述入NetFlow記 錄中報(bào)告的字節(jié)和包的所述數(shù)目存儲(chǔ)在存儲(chǔ)器內(nèi)數(shù)據(jù)庫中； 以預(yù)定義間隔檢查所述存儲(chǔ)器內(nèi)數(shù)據(jù)庫，并且識別超出網(wǎng)絡(luò)管理方所闡述的閾值的裝 置； 用及時(shí)的方式產(chǎn)生警告消息以告知業(yè)務(wù)尖峰。
9. 根據(jù)權(quán)利要求3所述的方法，其中出于改善在所述網(wǎng)絡(luò)上捕獲NetFlow業(yè)務(wù)的可靠 性的目的應(yīng)用所述至少一種策略。
10. 根據(jù)權(quán)利要求9所述的方法，其中所述至少一種策略包含以下步驟：經(jīng)由不可靠網(wǎng) 絡(luò)傳輸協(xié)議接收一個(gè)或多個(gè)NetFlow消息； 任選地將所述接收到的NetFlow消息轉(zhuǎn)換成除了 NetFlow之外的一個(gè)或多個(gè)格式、 NetFlow的不同衍生格式或與所述接收到的NetFlow相同的格式； 將所述接收到的或轉(zhuǎn)換的消息經(jīng)由不可靠網(wǎng)絡(luò)傳輸協(xié)議轉(zhuǎn)發(fā)到多個(gè)端點(diǎn)，經(jīng)由可靠的 網(wǎng)絡(luò)傳輸協(xié)議轉(zhuǎn)發(fā)到至少一個(gè)端點(diǎn)，或經(jīng)由不可靠網(wǎng)絡(luò)傳輸協(xié)議轉(zhuǎn)發(fā)到至少一個(gè)端點(diǎn)和經(jīng) 由可靠的網(wǎng)絡(luò)傳輸協(xié)議轉(zhuǎn)發(fā)到至少一個(gè)端點(diǎn)。
11. 根據(jù)權(quán)利要求3所述的方法，其中出于減少到達(dá)存儲(chǔ)所述網(wǎng)絡(luò)上的所述網(wǎng)絡(luò)元數(shù) 據(jù)的裝置的NetFlow消息的數(shù)目的目的應(yīng)用所述至少一種策略。
12. 根據(jù)權(quán)利要求11所述的方法，其中所述至少一種策略包含以下步驟： 接收多個(gè)NetFlow消息； 識別所述接收到的NetFlow消息中的類似性； 將被識別為類似的所述接收到的NetFlow消息中的信息合并成一個(gè)或多個(gè)NetFlow消 息； 丟棄信息被合并的NetFlow消息；以及 將合并的NetFlow消息轉(zhuǎn)發(fā)到存儲(chǔ)所述網(wǎng)絡(luò)上的網(wǎng)絡(luò)元數(shù)據(jù)的所述裝置。
13. 根據(jù)權(quán)利要求12所述的方法，其中在可配置時(shí)間周期逝去之后執(zhí)行所述轉(zhuǎn)發(fā)合并 的NetFlow消息的步驟。
14. 根據(jù)權(quán)利要求3所述的方法，其中出于檢測所述網(wǎng)絡(luò)上的網(wǎng)絡(luò)接口何時(shí)變得不可 操作的目的應(yīng)用所述至少一種策略。
15. 根據(jù)權(quán)利要求14所述的方法，其中所述至少一種策略包含以下步驟： 確立其間所述傳入網(wǎng)絡(luò)元數(shù)據(jù)中不存在接口識別符表示所述網(wǎng)絡(luò)接口的不可操作狀 態(tài)的閾值時(shí)間周期， 所述確立的閾值時(shí)間周期可以根據(jù)時(shí)間和地理準(zhǔn)則而變化； 監(jiān)控與所述網(wǎng)絡(luò)接口有關(guān)的網(wǎng)絡(luò)元數(shù)據(jù)； 在超出所述閾值時(shí)間周期的周期中未能檢測到與所述網(wǎng)絡(luò)接口有關(guān)的網(wǎng)絡(luò)元數(shù)據(jù)的 情況下，用及時(shí)的方式產(chǎn)生警告消息以告知所述網(wǎng)絡(luò)接口的不可操作狀態(tài)。
16. 根據(jù)權(quán)利要求3所述的方法，其中出于使用所述網(wǎng)絡(luò)上的網(wǎng)絡(luò)元數(shù)據(jù)測量網(wǎng)絡(luò)等 待時(shí)間的目的應(yīng)用所述至少一種策略。
17. 根據(jù)權(quán)利要求16所述的方法，其中所述至少一種策略包含以下步驟： 確立其間請求了域名服務(wù)器DNS服務(wù)的網(wǎng)絡(luò)裝置必須從所述DNS服務(wù)接收到響應(yīng)的閾 值時(shí)間周期； 監(jiān)控描述網(wǎng)絡(luò)裝置與DNS服務(wù)之間的通信的網(wǎng)絡(luò)元數(shù)據(jù)； 計(jì)算所述網(wǎng)絡(luò)裝置請求DNS服務(wù)與從所述DNS服務(wù)接收到響應(yīng)之間經(jīng)過的時(shí)間； 將所述經(jīng)過的時(shí)間與所述閾值時(shí)間周期比較；以及 產(chǎn)生警告消息以告知過多的網(wǎng)絡(luò)等待時(shí)間。
18. 根據(jù)權(quán)利要求3所述的方法，其中出于跨越所述網(wǎng)絡(luò)上的多個(gè)裝置提供每個(gè)應(yīng)用 類型的實(shí)時(shí)網(wǎng)絡(luò)可見度的目的應(yīng)用所述至少一種策略。
19. 根據(jù)權(quán)利要求3所述的方法，其中出于產(chǎn)生所述網(wǎng)絡(luò)上在指定時(shí)間周期中活動(dòng)最 多的主機(jī)的列表的目的應(yīng)用所述至少一種策略。
20. 根據(jù)權(quán)利要求19所述的方法，其中所述至少一種策略包含以下步驟： 接收多個(gè)網(wǎng)絡(luò)元數(shù)據(jù)消息； 識別與各個(gè)網(wǎng)絡(luò)主機(jī)有關(guān)的網(wǎng)絡(luò)元數(shù)據(jù)； 集合每一所識別網(wǎng)絡(luò)主機(jī)的網(wǎng)絡(luò)元數(shù)據(jù)； 選擇產(chǎn)生了最多網(wǎng)絡(luò)連接的所述網(wǎng)絡(luò)主機(jī)的可配置大小列表；以及 報(bào)告產(chǎn)生了最多網(wǎng)絡(luò)連接的所述網(wǎng)絡(luò)主機(jī)的所述列表。
21. 根據(jù)權(quán)利要求3所述的方法，其中出于產(chǎn)生所述網(wǎng)絡(luò)上在指定時(shí)間周期中具有最 多接入控制列表違規(guī)的裝置的列表的目的應(yīng)用所述至少一種策略。
22. 根據(jù)權(quán)利要求21所述的方法，其中所述至少一種策略包含以下步驟： 接收含有網(wǎng)絡(luò)元數(shù)據(jù)的多個(gè)消息；所述元數(shù)據(jù)含有關(guān)于接入控制列表違規(guī)的信息； 選擇所述消息的子集，使得每一消息報(bào)告至少一個(gè)接入控制列表違規(guī)； 集合每個(gè)所報(bào)告的網(wǎng)絡(luò)裝置的消息的所述子集； 以遞減順序?qū)⑺舷⒌乃鲎蛹判颍沟镁哂凶疃嘟尤肟刂屏斜磉`規(guī)的網(wǎng)絡(luò)裝 置處在所述列表的頭部； 從所述經(jīng)排序列表的所述頭部檢索可配置數(shù)目的條目；以及 用及時(shí)的方式產(chǎn)生警告消息以告知在所述列表的所述頭部的所述條目中找到的具有 所述最多接入控制列表違規(guī)的所述網(wǎng)絡(luò)裝置。
23. 根據(jù)權(quán)利要求3所述的方法，其中出于計(jì)算在可指定的時(shí)間間隔中經(jīng)由可指定的 入接口和出接口穿過網(wǎng)絡(luò)裝置的網(wǎng)絡(luò)包的平均大小的目的應(yīng)用所述至少一種策略。
24. 根據(jù)權(quán)利要求23所述的方法，其中所述至少一種策略包含以下步驟： 接收含有網(wǎng)絡(luò)元數(shù)據(jù)的多個(gè)消息；所述元數(shù)據(jù)含有關(guān)于在相異的入接口與相異的出接 口之間傳遞的包的數(shù)目和字節(jié)的數(shù)目的信息； 集合每個(gè)相異的接口對的所述信息； 計(jì)算穿過每一相異的接口對的所述網(wǎng)絡(luò)包的移動(dòng)平均大??； 用及時(shí)的方式報(bào)告關(guān)于在所述相異的網(wǎng)絡(luò)接口對的至少一部分之間傳遞的所述網(wǎng)絡(luò) 包的平均大小的信息。
25. 根據(jù)權(quán)利要求3所述的方法，其中出于識別所述網(wǎng)絡(luò)上在可指定的時(shí)間間隔中是 所述網(wǎng)絡(luò)的帶寬的首要消耗方的裝置的目的應(yīng)用所述至少一種策略。
26. 根據(jù)權(quán)利要求25所述的方法，其中所述至少一種策略包含以下步驟： 接收多個(gè)網(wǎng)絡(luò)元數(shù)據(jù)消息； 識別與各個(gè)網(wǎng)絡(luò)主機(jī)有關(guān)的網(wǎng)絡(luò)元數(shù)據(jù)； 集合每一所識別網(wǎng)絡(luò)主機(jī)的網(wǎng)絡(luò)元數(shù)據(jù)； 選擇產(chǎn)生了最多網(wǎng)絡(luò)業(yè)務(wù)的所述網(wǎng)絡(luò)主機(jī)的可配置大小列表；以及 報(bào)告產(chǎn)生了最多網(wǎng)絡(luò)業(yè)務(wù)的所述網(wǎng)絡(luò)主機(jī)的所述列表。
27. 根據(jù)權(quán)利要求26所述的方法，其中出于識別所述網(wǎng)絡(luò)上在可指定的時(shí)間間隔中通 過網(wǎng)絡(luò)協(xié)議通過網(wǎng)絡(luò)裝置是所述網(wǎng)絡(luò)的所述帶寬的首要消耗方的裝置的目的應(yīng)用所述至 少一種策略。
28. 根據(jù)權(quán)利要求3所述的方法，其中出于識別所述網(wǎng)絡(luò)上的活動(dòng)超過此活動(dòng)的基線 水平的目的應(yīng)用所述至少一種策略。
29. 根據(jù)權(quán)利要求28所述的方法，其中所述至少一種策略包含以下步驟：在可指定的 時(shí)間周期中在學(xué)習(xí)模式中操作以確定相對于所述網(wǎng)絡(luò)的管理方所關(guān)注的網(wǎng)絡(luò)條件特性的 可能正常的參數(shù)的基線，以及在監(jiān)控模式中操作以向所述管理方報(bào)告所述網(wǎng)絡(luò)上的活動(dòng)何 時(shí)超出所述基線可預(yù)定義的水平。
30. 根據(jù)權(quán)利要求29所述的方法，其中所述基線包括與來自由以下各項(xiàng)組成的群組的 一個(gè)或多個(gè)網(wǎng)絡(luò)屬性相關(guān)的網(wǎng)絡(luò)信息： 并行流的數(shù)目，全局包速率，全局吞吐量,新流創(chuàng)建速率，所發(fā)送的SYN包的數(shù)目，接收 到的SYN包的數(shù)目，連接復(fù)位的數(shù)目，平均流持續(xù)時(shí)間，流持續(xù)時(shí)間分散和日時(shí)。
31. 根據(jù)權(quán)利要求3所述的方法，其中出于將流導(dǎo)出器所報(bào)告的流信息去除重復(fù)的目 的應(yīng)用所述至少一種策略。
32. 根據(jù)權(quán)利要求31所述的方法，其中所述至少一種策略包含以下步驟： 接收含有通信端點(diǎn)的IP地址和提供了所述流記錄的裝置的IP地址的流記錄； 指出接收到所述記錄的時(shí)間； 在存儲(chǔ)器中維持關(guān)于通信端點(diǎn)的IP地址、流報(bào)告裝置的IP地址和最后觀察到的通信 的時(shí)間的信息；所述信息是所述流報(bào)告裝置所利用的至少一些通信路徑的頻率的指示符； 基于所述存儲(chǔ)器信息選擇報(bào)告所述流的其它流報(bào)告裝置當(dāng)中具有最高使用頻率的流 報(bào)告裝置，并且將所述最高頻率流報(bào)告裝置指定為關(guān)于所述網(wǎng)絡(luò)端點(diǎn)之間的通信的權(quán)威信 息源； 在一個(gè)以上流報(bào)告裝置具有在所述存儲(chǔ)器信息中反映的相同最高使用頻率的情況下， 進(jìn)一步基于從由以下各項(xiàng)組成的群組選出的準(zhǔn)則將關(guān)于所述網(wǎng)絡(luò)端點(diǎn)之間的通信的所述 權(quán)威信息源的身份去除模糊：流報(bào)告裝置報(bào)告所述流的時(shí)間，所述流報(bào)告裝置提交的所述 流記錄中報(bào)告的存活時(shí)間計(jì)數(shù)器，和所述流報(bào)告裝置所提交的所述流記錄中報(bào)告的下一跳 IP地址； 轉(zhuǎn)發(fā)關(guān)于所述通信端點(diǎn)之間的通信的從所述權(quán)威流報(bào)告裝置接收到的流記錄以供進(jìn) 一步處理；以及 丟棄關(guān)于所述通信端點(diǎn)之間的通信的從其它流報(bào)告裝置接收到的流記錄。
33. 根據(jù)權(quán)利要求31所述的方法，其中所述至少一種策略包含以下步驟： 從穿越所述網(wǎng)絡(luò)的所述網(wǎng)絡(luò)元數(shù)據(jù)收集與IP地址和接口索引相關(guān)的鄰界列表； 從所述鄰界列表建立表示所述網(wǎng)絡(luò)的裝置和拓?fù)涞挠?jì)算機(jī)模型； 用統(tǒng)計(jì)法識別原先編輯與所述網(wǎng)絡(luò)上的特定網(wǎng)絡(luò)業(yè)務(wù)流相關(guān)的網(wǎng)絡(luò)元數(shù)據(jù)的裝置；以 及 使下游網(wǎng)絡(luò)裝置可以產(chǎn)生的網(wǎng)絡(luò)元數(shù)據(jù)信息去除重復(fù)以反映相同網(wǎng)絡(luò)業(yè)務(wù)穿過所述 下游裝置的流動(dòng)。
34. 根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括以下步驟： 將所述接收到的網(wǎng)絡(luò)元數(shù)據(jù)轉(zhuǎn)發(fā)到網(wǎng)絡(luò)元數(shù)據(jù)的下游消耗方或收集器，同時(shí)保持其至 少一種數(shù)據(jù)格式。
35. 根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括以下步驟： 將轉(zhuǎn)換的網(wǎng)絡(luò)元數(shù)據(jù)轉(zhuǎn)發(fā)到所述一個(gè)或多個(gè)不同數(shù)據(jù)格式的網(wǎng)絡(luò)元數(shù)據(jù)的下游消耗 方或收集器。
36. 根據(jù)權(quán)利要求1所述的方法，其中所述確定步驟包括確認(rèn)與所述接收到的網(wǎng)絡(luò)元 數(shù)據(jù)的有效性相關(guān)的至少一個(gè)斷言。
37. 根據(jù)權(quán)利要求1所述的方法，其中所述轉(zhuǎn)換步驟包括將所述接收到的網(wǎng)絡(luò)元數(shù)據(jù) 轉(zhuǎn)換成常用數(shù)據(jù)格式。
38. 根據(jù)權(quán)利要求1所述的方法，其中所述確定步驟包括查找指派給所述網(wǎng)絡(luò)元數(shù)據(jù) 的瞬時(shí)識別符。
39. 根據(jù)權(quán)利要求38所述的方法，其中使瞬時(shí)網(wǎng)絡(luò)元數(shù)據(jù)識別符與指派給所述網(wǎng)絡(luò)元 數(shù)據(jù)的永久識別符動(dòng)態(tài)地相關(guān)聯(lián)。
40. 根據(jù)權(quán)利要求39所述的方法，其中進(jìn)一步使永久性網(wǎng)絡(luò)元數(shù)據(jù)識別符與一個(gè)或多 個(gè)策略相關(guān)聯(lián)。
41. 根據(jù)權(quán)利要求40所述的方法，其中所述處理步驟包括向所述網(wǎng)絡(luò)元數(shù)據(jù)應(yīng)用一個(gè) 或多個(gè)策略。
42. 根據(jù)權(quán)利要求1所述的方法，其中所述確定步驟包括將所述網(wǎng)絡(luò)元數(shù)據(jù)分類。
43. 根據(jù)權(quán)利要求42所述的方法，其中通過應(yīng)用管理網(wǎng)絡(luò)元數(shù)據(jù)處理的至少一種策略 來實(shí)現(xiàn)所述分類步驟。
44. 根據(jù)權(quán)利要求43所述的方法，其中所述至少一種策略是基于所述網(wǎng)絡(luò)元數(shù)據(jù)的內(nèi) 容。
45. 根據(jù)權(quán)利要求43所述的方法，其中所述至少一種策略是基于時(shí)間的。
46. 根據(jù)權(quán)利要求43所述的方法，其中通過并入有可動(dòng)態(tài)加載的軟件模塊來實(shí)施所述 至少一種策略。
47. 根據(jù)權(quán)利要求46所述的方法，其中所述可動(dòng)態(tài)加載的軟件模塊是二進(jìn)制可執(zhí)行模 塊。
48. 根據(jù)權(quán)利要求43所述的方法，其中所述應(yīng)用所述至少一種策略會(huì)產(chǎn)生從所述經(jīng)處 理網(wǎng)絡(luò)元數(shù)據(jù)導(dǎo)出的額外網(wǎng)絡(luò)元數(shù)據(jù)。
49. 根據(jù)權(quán)利要求48所述的方法，其中所述額外網(wǎng)絡(luò)元數(shù)據(jù)是采用與所述經(jīng)處理網(wǎng)絡(luò) 元數(shù)據(jù)相同的格式。
50. 根據(jù)權(quán)利要求48所述的方法，其中所述額外網(wǎng)絡(luò)元數(shù)據(jù)是采用除了所述經(jīng)處理網(wǎng) 絡(luò)元數(shù)據(jù)之外的格式。
51. 根據(jù)權(quán)利要求43所述的方法，其中應(yīng)用所述至少一種策略會(huì)變換網(wǎng)絡(luò)元數(shù)據(jù)內(nèi) 容。
52. 根據(jù)權(quán)利要求1所述的方法，其中所述轉(zhuǎn)換網(wǎng)絡(luò)元數(shù)據(jù)的步驟包括應(yīng)用轉(zhuǎn)換規(guī)則。
53. 根據(jù)權(quán)利要求52所述的方法，其中所述轉(zhuǎn)換規(guī)則是基于所述網(wǎng)絡(luò)元數(shù)據(jù)的內(nèi)容。
54. 根據(jù)權(quán)利要求52所述的方法，其中所述轉(zhuǎn)換規(guī)則是默認(rèn)轉(zhuǎn)換規(guī)則。
55. 根據(jù)權(quán)利要求52所述的方法，其中通過并入有可動(dòng)態(tài)加載的軟件模塊來實(shí)施所述 轉(zhuǎn)換規(guī)則。
56. 根據(jù)權(quán)利要求55所述的方法，其中所述可動(dòng)態(tài)加載的軟件模塊是二進(jìn)制可執(zhí)行模 塊。
57. 根據(jù)權(quán)利要求2所述的方法，其中所述轉(zhuǎn)發(fā)接收到的網(wǎng)絡(luò)元數(shù)據(jù)的步驟改變所述 網(wǎng)絡(luò)元數(shù)據(jù)的來源的指示符。
58. 根據(jù)權(quán)利要求2所述的方法，其中所述轉(zhuǎn)發(fā)接收到的網(wǎng)絡(luò)元數(shù)據(jù)的步驟不改變所 述網(wǎng)絡(luò)元數(shù)據(jù)的來源的所述指示符。
59. 根據(jù)權(quán)利要求3所述的方法，其進(jìn)一步包括所述驗(yàn)證所轉(zhuǎn)發(fā)的轉(zhuǎn)換的網(wǎng)絡(luò)元數(shù)據(jù) 的步驟。
60. 根據(jù)權(quán)利要求59所述的方法，其中所述驗(yàn)證步驟實(shí)施密碼較強(qiáng)的驗(yàn)證。
61. 根據(jù)權(quán)利要求59所述的方法，其中所述驗(yàn)證步驟實(shí)施密碼不強(qiáng)的驗(yàn)證。
62. -種將網(wǎng)絡(luò)元數(shù)據(jù)分類的方法，其包括以下步驟： 計(jì)算不變的網(wǎng)絡(luò)元數(shù)據(jù)定義唯一識別符； 使至少一種處理規(guī)則與所述網(wǎng)絡(luò)元數(shù)據(jù)唯一識別符相關(guān)聯(lián)； 將所述網(wǎng)絡(luò)元數(shù)據(jù)定義唯一識別符存儲(chǔ)在第一信息容器中； 將所述至少一種處理規(guī)則存儲(chǔ)在所述第一信息容器中； 在所述第一信息容器中使所述至少一種處理規(guī)則與所述網(wǎng)絡(luò)元數(shù)據(jù)定義唯一識別符 相關(guān)聯(lián)； 從唯一地識別的源接收含有網(wǎng)絡(luò)元數(shù)據(jù)定義和第一瞬時(shí)網(wǎng)絡(luò)元數(shù)據(jù)識別符的第一信 息包； 在所述第一包中定位不變網(wǎng)絡(luò)元數(shù)據(jù)定義； 計(jì)算對應(yīng)于所述第一包中的所述網(wǎng)絡(luò)元數(shù)據(jù)定義的不變網(wǎng)絡(luò)元數(shù)據(jù)定義唯一識別 符； 在所述第一信息容器中定位所述網(wǎng)絡(luò)元數(shù)據(jù)定義唯一識別符； 將所述第一瞬時(shí)網(wǎng)絡(luò)元數(shù)據(jù)識別符和所述源識別符存儲(chǔ)在第二信息容器中； 使所述第二信息容器中的所述第一瞬時(shí)網(wǎng)絡(luò)元數(shù)據(jù)識別符與所述第一信息容器中的 所述網(wǎng)絡(luò)元數(shù)據(jù)定義唯一識別符相關(guān)聯(lián)； 接收含有網(wǎng)絡(luò)元數(shù)據(jù)、所述第一瞬時(shí)網(wǎng)絡(luò)元數(shù)據(jù)識別符和所述源識別符的第二信息 包； 在所述第二信息容器中定位所述第一瞬時(shí)網(wǎng)絡(luò)元數(shù)據(jù)識別符和所述源識別符； 使用所述第二信息容器中的所述關(guān)聯(lián)在所述第一信息容器中定位網(wǎng)絡(luò)元數(shù)據(jù)定義唯 一識別符； 使用所述第一信息容器中的網(wǎng)絡(luò)元數(shù)據(jù)定義唯一識別符的所述關(guān)聯(lián)來定位所述處理 規(guī)則；以及 執(zhí)行所述處理規(guī)則以將網(wǎng)絡(luò)元數(shù)據(jù)分類。
63. 根據(jù)權(quán)利要求62所述的方法，其進(jìn)一步包括： 從所述唯一地識別的源接收含有網(wǎng)絡(luò)元數(shù)據(jù)定義和第二瞬時(shí)網(wǎng)絡(luò)元數(shù)據(jù)識別符的第 二息包； 在所述第三包中定位不變網(wǎng)絡(luò)元數(shù)據(jù)定義； 計(jì)算對應(yīng)于所述第三包中的所述網(wǎng)絡(luò)元數(shù)據(jù)定義的不變網(wǎng)絡(luò)元數(shù)據(jù)定義唯一識別 符； 在所述第一信息容器中定位所述網(wǎng)絡(luò)元數(shù)據(jù)定義唯一識別符； 將所述第二瞬時(shí)網(wǎng)絡(luò)元數(shù)據(jù)識別符和所述源識別符存儲(chǔ)在第二信息容器中； 使所述第二信息容器中的所述第二瞬時(shí)網(wǎng)絡(luò)元數(shù)據(jù)識別符與所述第一信息容器中的 所述網(wǎng)絡(luò)元數(shù)據(jù)定義唯一識別符相關(guān)聯(lián)； 使用所述源識別符在所述第二信息容器中定位所述第一瞬時(shí)網(wǎng)絡(luò)元數(shù)據(jù)識別符； 從所述第二容器移除所述第一瞬時(shí)網(wǎng)絡(luò)元數(shù)據(jù)識別符和所述源識別符； 接收含有網(wǎng)絡(luò)元數(shù)據(jù)、所述第二瞬時(shí)網(wǎng)絡(luò)元數(shù)據(jù)識別符和所述源識別符的第四信息 包； 在所述第二信息容器中定位所述第二瞬時(shí)網(wǎng)絡(luò)元數(shù)據(jù)識別符和所述源識別符； 使用所述第二信息容器中的所述關(guān)聯(lián)在所述第一信息容器中定位網(wǎng)絡(luò)元數(shù)據(jù)定義唯 一識別符； 使用所述第一信息容器中的網(wǎng)絡(luò)元數(shù)據(jù)定義唯一識別符的所述關(guān)聯(lián)來定位所述處理 規(guī)則；以及 執(zhí)行所述處理規(guī)則以將網(wǎng)絡(luò)元數(shù)據(jù)分類。
64. 根據(jù)權(quán)利要求62所述的方法，其中通過向所述第二容器中存儲(chǔ)的所述要素應(yīng)用老 化算法而執(zhí)行所述從所述第二容器移除所述第一瞬時(shí)網(wǎng)絡(luò)元數(shù)據(jù)識別符和所述源識別符 的步驟。
65. 根據(jù)權(quán)利要求62所述的方法，其中所述計(jì)算不變網(wǎng)絡(luò)元數(shù)據(jù)定義唯一識別符的步 驟包括計(jì)算不變網(wǎng)絡(luò)元數(shù)據(jù)定義散列值。
66. 根據(jù)權(quán)利要求65所述的方法，其中使用密碼較強(qiáng)的算法計(jì)算所述散列值。
67. 根據(jù)權(quán)利要求65所述的方法，其中使用密碼不強(qiáng)的算法計(jì)算所述散列值。
68. 根據(jù)權(quán)利要求62所述的方法，其中所述處理規(guī)則是管理網(wǎng)絡(luò)元數(shù)據(jù)處理的策略。
69. 根據(jù)權(quán)利要求68所述的方法，其中所述策略至少部分是基于所述網(wǎng)絡(luò)元數(shù)據(jù)的內(nèi) 容。
70. 根據(jù)權(quán)利要求68所述的方法，其中所述策略是基于時(shí)間的。
71. -種選擇性減少供應(yīng)到網(wǎng)絡(luò)上的SIEM系統(tǒng)的網(wǎng)絡(luò)元數(shù)據(jù)的量的方法，其包括以下 步驟： 識別含有至少部分冗余的元數(shù)據(jù)的網(wǎng)絡(luò)元數(shù)據(jù)包；以及 處理所述含有至少部分冗余的元數(shù)據(jù)的網(wǎng)絡(luò)元數(shù)據(jù)包以將所述包集合成較小數(shù)目的 包，同時(shí)保持所關(guān)注的所述元數(shù)據(jù)。
72. -種用于處理網(wǎng)絡(luò)元數(shù)據(jù)的系統(tǒng)，其包括以下步驟： 適于以至少一種數(shù)據(jù)格式從多個(gè)源接收網(wǎng)絡(luò)元數(shù)據(jù)的網(wǎng)絡(luò)節(jié)點(diǎn)； 用于確定所述網(wǎng)絡(luò)元數(shù)據(jù)的類型或特性的處理模塊； 用于處理所述網(wǎng)絡(luò)元數(shù)據(jù)以從其提取有用信息的處理模塊；以及 用于至少部分響應(yīng)于所述確定步驟的結(jié)果將所述網(wǎng)絡(luò)元數(shù)據(jù)的至少一部分轉(zhuǎn)換成一 個(gè)或多個(gè)不同數(shù)據(jù)格式的處理模塊。
73. -種用于將網(wǎng)絡(luò)元數(shù)據(jù)分類的系統(tǒng)，其包括以下步驟： 用于計(jì)算不變的網(wǎng)絡(luò)元數(shù)據(jù)定義唯一識別符的處理器； 用于使至少一種處理規(guī)則與所述網(wǎng)絡(luò)元數(shù)據(jù)唯一識別符相關(guān)聯(lián)的處理器； 用于將所述網(wǎng)絡(luò)元數(shù)據(jù)定義唯一識別符存儲(chǔ)在第一信息容器中的處理器； 用于將所述至少一種處理規(guī)則存儲(chǔ)在所述第一信息容器中的處理器； 用于在所述第一信息容器中使所述至少一種處理規(guī)則與所述網(wǎng)絡(luò)元數(shù)據(jù)定義唯一識 別符相關(guān)聯(lián)的處理器； 用于接收含有網(wǎng)絡(luò)元數(shù)據(jù)定義和瞬時(shí)網(wǎng)絡(luò)元數(shù)據(jù)識別符的第一信息包的處理器； 用于在所述第一包中定位不變網(wǎng)絡(luò)元數(shù)據(jù)定義的處理器； 用于計(jì)算對應(yīng)于所述第一包中的所述網(wǎng)絡(luò)元數(shù)據(jù)定義的不變網(wǎng)絡(luò)元數(shù)據(jù)定義唯一識 別符的處理器； 用于在所述第一信息容器中定位所述網(wǎng)絡(luò)元數(shù)據(jù)定義唯一識別符的處理器； 用于將所述瞬時(shí)網(wǎng)絡(luò)元數(shù)據(jù)識別符存儲(chǔ)在第二信息容器中的處理器； 用于使所述第二信息容器中的所述瞬時(shí)網(wǎng)絡(luò)元數(shù)據(jù)識別符與所述第一信息容器中的 所述網(wǎng)絡(luò)元數(shù)據(jù)定義唯一識別符相關(guān)聯(lián)的處理器； 用于接收含有網(wǎng)絡(luò)元數(shù)據(jù)和所述瞬時(shí)網(wǎng)絡(luò)元數(shù)據(jù)識別符的第二信息包的處理器； 用于在所述第二信息容器中定位所述瞬時(shí)網(wǎng)絡(luò)元數(shù)據(jù)識別符的處理器； 用于使用所述第二信息容器中的所述關(guān)聯(lián)在所述第一信息容器中定位網(wǎng)絡(luò)元數(shù)據(jù)定 義唯一識別符的處理器； 用于使用所述第一信息容器中的網(wǎng)絡(luò)元數(shù)據(jù)定義唯一識別符的所述關(guān)聯(lián)來定位所述 處理規(guī)則的處理器；以及 用于執(zhí)行所述處理規(guī)則以將網(wǎng)絡(luò)元數(shù)據(jù)分類的處理器。
74. -種聯(lián)網(wǎng)系統(tǒng)，其包括： 局域網(wǎng)，其包括 所述網(wǎng)絡(luò)上的產(chǎn)生syslog格式的第一網(wǎng)絡(luò)元數(shù)據(jù)集合的多個(gè)裝置； 適于接收syslog數(shù)據(jù)的網(wǎng)絡(luò)監(jiān)控設(shè)施； 所述網(wǎng)絡(luò)上的產(chǎn)生除了 syslog數(shù)據(jù)的格式之外的格式的第二網(wǎng)絡(luò)元數(shù)據(jù)集合的多個(gè) 裝置； 能夠?qū)⑺龅诙W(wǎng)絡(luò)元數(shù)據(jù)集合的至少部分轉(zhuǎn)換成syslog格式的第一網(wǎng)絡(luò)元數(shù)據(jù)處 理設(shè)施；以及 用于將所述第一網(wǎng)絡(luò)元數(shù)據(jù)處理設(shè)施的所述轉(zhuǎn)換的輸出作為輸入供應(yīng)到所述網(wǎng)絡(luò)監(jiān) 控設(shè)施的通信媒體。
75. 根據(jù)權(quán)利要求74所述的聯(lián)網(wǎng)系統(tǒng)，其中所述第一網(wǎng)絡(luò)元數(shù)據(jù)處理設(shè)施包括用于先 處理所述第二網(wǎng)絡(luò)元數(shù)據(jù)集合的至少一些部分然后將所述第二網(wǎng)絡(luò)元數(shù)據(jù)集合的所述至 少一些部分轉(zhuǎn)換成syslog格式的過程。
76. 根據(jù)權(quán)利要求75所述的聯(lián)網(wǎng)系統(tǒng)，其中所述處理器包括能夠確定所述第二網(wǎng)絡(luò)元 數(shù)據(jù)集合內(nèi)包含的消息的類型的分類器。
77. 根據(jù)權(quán)利要求75所述的聯(lián)網(wǎng)系統(tǒng)，其中所述處理器包括能夠至少部分基于所述分 類器的類型確定來選擇性處理所述第二網(wǎng)絡(luò)元數(shù)據(jù)集合內(nèi)的每一消息的策略模塊。
78. 根據(jù)權(quán)利要求77所述的聯(lián)網(wǎng)系統(tǒng)，其中所述策略模塊至少部分基于所述分類器的 所述類型確定向每一消息應(yīng)用一個(gè)或多個(gè)策略。
79. 根據(jù)權(quán)利要求74所述的聯(lián)網(wǎng)系統(tǒng)，其進(jìn)一步包括遠(yuǎn)程子網(wǎng)，所述遠(yuǎn)程子網(wǎng)包括： 所述遠(yuǎn)程子網(wǎng)上的產(chǎn)生syslog格式的第三網(wǎng)絡(luò)元數(shù)據(jù)集合的多個(gè)裝置； 所述子網(wǎng)上的產(chǎn)生除了 syslog數(shù)據(jù)的格式之外的格式的第四網(wǎng)絡(luò)元數(shù)據(jù)集合的多個(gè) 裝置；以及 能夠?qū)⑺龅谒木W(wǎng)絡(luò)元數(shù)據(jù)集合的至少一些部分轉(zhuǎn)換成syslog格式的第二網(wǎng)絡(luò)元數(shù) 據(jù)處理設(shè)施；以及 用于將所述第二網(wǎng)絡(luò)元數(shù)據(jù)處理設(shè)施的所述轉(zhuǎn)換的輸出作為輸入供應(yīng)到所述網(wǎng)絡(luò)監(jiān) 控設(shè)施的通信媒體。
80. -種提高經(jīng)由WAN從分支網(wǎng)絡(luò)向主網(wǎng)絡(luò)發(fā)射NetFlow消息的可靠性的方法，其包括 以下步驟： 將在所述分支網(wǎng)絡(luò)上產(chǎn)生的所述NetFlow消息的至少一部分轉(zhuǎn)換成syslog消息；以及 利用比UDP更可靠的網(wǎng)絡(luò)協(xié)議將所述轉(zhuǎn)換的syslog消息從所述分支網(wǎng)絡(luò)傳遞到所述 主網(wǎng)絡(luò)上的服務(wù)器。
【文檔編號】H04L29/06GK104115463SQ201280066276
【公開日】2014年10月22日 申請日期:2012年11月6日 優(yōu)先權(quán)日:2011年11月7日
【發(fā)明者】威廉·G·弗里德曼, 亞歷山大·韋萊德尼特斯基 申請人:網(wǎng)絡(luò)流邏輯公司