專利名稱：一種移動互聯(lián)網(wǎng)告警關(guān)聯(lián)規(guī)則獲取方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種通信網(wǎng)絡(luò)監(jiān)控領(lǐng)域或計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，具體地說是一種移動互聯(lián)網(wǎng)告警關(guān)聯(lián)規(guī)則獲取方法，。
背景技術(shù)：
網(wǎng)絡(luò)運(yùn)行安全和信息安全已經(jīng)成為寬帶移動互聯(lián)網(wǎng)最重大的問題之一。隨著移動通信網(wǎng)絡(luò)的寬帶化、IP化，以及規(guī)模和復(fù)雜程度的不斷增加，網(wǎng)絡(luò)中往往包含由眾多廠商生產(chǎn)的成千上萬的設(shè)備和業(yè)務(wù)系統(tǒng)，這些設(shè)備和系統(tǒng)又通過多種媒質(zhì)互連而成，彼此之間普遍存在著復(fù)雜的關(guān)聯(lián)關(guān)系，形成以各種復(fù)雜模式互聯(lián)的網(wǎng)絡(luò)群。這些網(wǎng)絡(luò)群中每天都會產(chǎn)生大量的告警信息，給實(shí)時(shí)網(wǎng)絡(luò)監(jiān)控和故障管理帶來了很多困難。由于故障具有傳播性，單個(gè)故障會產(chǎn)生大量的網(wǎng)絡(luò)告警，在多個(gè)故障同時(shí)發(fā)生時(shí)，情況變得更加復(fù)雜。眾多的告警既增加了網(wǎng)管系統(tǒng)的開銷，也掩蓋了表示故障的根源告警，非常不利于網(wǎng)管人員排查故障。由于用戶對于網(wǎng)絡(luò)性能和網(wǎng)絡(luò)提供增值服的要求越來越高，因此，有效的進(jìn)行網(wǎng)絡(luò)告警的關(guān)聯(lián)分析，確定根源故障是網(wǎng)絡(luò)系統(tǒng)正常運(yùn)行的基本保證。
告警關(guān)聯(lián)是一種重要的告警信息處理技術(shù)，網(wǎng)管人員可以從中定位真正導(dǎo)致網(wǎng)絡(luò)運(yùn)行異常的原因。傳統(tǒng)告警關(guān)聯(lián)的方法包括以網(wǎng)絡(luò)模型為基礎(chǔ)的告警關(guān)聯(lián)規(guī)則生成方法和以經(jīng)驗(yàn)為主導(dǎo)的手工生成方法。這些方法不易發(fā)現(xiàn)告警之間的隱含關(guān)系。而網(wǎng)絡(luò)告警數(shù)據(jù)庫中存儲了大量歷史告警信息，其中蘊(yùn)含了許多反映網(wǎng)絡(luò)運(yùn)行規(guī)律的有用信息。本發(fā)明提出的移動互聯(lián)網(wǎng)告警關(guān)聯(lián)規(guī)則獲取方法能夠從大量的告警中找出隱含在其中的關(guān)聯(lián)關(guān)系， 從中提取頻繁出現(xiàn)的告警序列模式，從而獲得告警關(guān)聯(lián)規(guī)則。通過對告警進(jìn)行關(guān)聯(lián)，將多個(gè)告警合并成一條具有多信息量的告警來進(jìn)行告警壓縮，協(xié)助網(wǎng)管人員分析故障信息、快速定位故障，是對告警進(jìn)行故障定位的有效途徑。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種移動互聯(lián)網(wǎng)告警關(guān)聯(lián)規(guī)則獲取方法。
本發(fā)明的目的是按以下方式實(shí)現(xiàn)的，步驟如下 1)對移動互聯(lián)網(wǎng)告警數(shù)據(jù)進(jìn)行數(shù)據(jù)集成、數(shù)據(jù)選取、數(shù)據(jù)預(yù)處理和數(shù)據(jù)變換，通過對數(shù)據(jù)的處理以提高關(guān)聯(lián)規(guī)則獲取速度、保證關(guān)聯(lián)規(guī)則獲取的效率、準(zhǔn)確度以及最終模式的有效性； 2)設(shè)定告警時(shí)間窗和滑動步長，通過告警時(shí)間窗將復(fù)雜的通信告警序列數(shù)據(jù)庫劃分為事務(wù)數(shù)據(jù)庫的模式，便于關(guān)聯(lián)規(guī)則獲取工作；通過滑動步長能夠最大程度地保證在一個(gè)告警時(shí)間窗內(nèi)存在一個(gè)完整的告警系列，這樣能夠使得獲取結(jié)果更加精確； 3)基于全項(xiàng)集的關(guān)聯(lián)規(guī)則獲取算法，將設(shè)定的告警事務(wù)數(shù)據(jù)中的每一個(gè)事務(wù)展開為非空子集，并且按照編碼規(guī)則進(jìn)行編碼，根據(jù)編碼生成一個(gè)頻繁模式樹，頻繁模式樹中的每一個(gè)節(jié)點(diǎn)，都是代表告警類型，對頻繁模式樹的每一個(gè)分支，進(jìn)行從葉子節(jié)點(diǎn)到根節(jié)點(diǎn)的遍歷，根據(jù)設(shè)定的支持度得到告警頻繁項(xiàng)集，根據(jù)設(shè)定的置信度掃獲得告警關(guān)聯(lián)規(guī)則； 4)對獲取到的告警關(guān)聯(lián)規(guī)則進(jìn)行歸納整理，避免規(guī)則之間存在問題，并對規(guī)則進(jìn)行解釋，提供給用戶根據(jù)詳細(xì)的信息，便于用戶進(jìn)行操作，根據(jù)用戶的需要，對獲取到的規(guī)則執(zhí)行修改操作。
本發(fā)明的優(yōu)異效果是對于采集到的告警數(shù)據(jù)，進(jìn)行了數(shù)據(jù)預(yù)處理，提取關(guān)聯(lián)規(guī)則獲取需要的字段，設(shè)定了告警滑動時(shí)間窗和滑動步長，將關(guān)系型的告警數(shù)據(jù)表示成適合關(guān)聯(lián)規(guī)則獲取的事務(wù)型數(shù)據(jù)的形式。提出了基于全項(xiàng)集的頻繁模式增長算法，在該算法中將每一個(gè)告警事務(wù)數(shù)據(jù)集按照全項(xiàng)集展開并按照設(shè)定的規(guī)則進(jìn)行編碼，根據(jù)編碼生成一棵先序頻繁模式樹，對這棵樹從每一個(gè)分支的葉子節(jié)點(diǎn)到根節(jié)點(diǎn)進(jìn)行遍歷，獲取告警中的頻繁項(xiàng)集，進(jìn)而獲取到告警之間的關(guān)聯(lián)規(guī)則，相比于傳統(tǒng)的Apriori算法，該方法避免了頻繁讀取事務(wù)數(shù)據(jù)庫，只要讀取兩遍事務(wù)數(shù)據(jù)庫，其它的操作是在內(nèi)存中完成，因此大大地提升了算法的運(yùn)行效率，節(jié)省時(shí)間開銷；相對于傳統(tǒng)的FP-Growth算法，該方法不需要生成項(xiàng)頭列表和條件模式樹、條件模式基，并且減少了生成節(jié)點(diǎn)鏈的復(fù)雜操作，降低了算法的復(fù)雜程度，便于實(shí)施和維護(hù)，最后對得到的規(guī)則進(jìn)行表述和解釋，構(gòu)造一個(gè)完整的移動通信告警關(guān)聯(lián)規(guī)則獲取引擎。非常適用于移動互聯(lián)網(wǎng)的告警關(guān)聯(lián)規(guī)則獲取工作。
1)對移動互聯(lián)網(wǎng)告警數(shù)據(jù)進(jìn)行數(shù)據(jù)集成、數(shù)據(jù)選取、數(shù)據(jù)預(yù)處理和數(shù)據(jù)變換，通過對數(shù)據(jù)的處理以提高關(guān)聯(lián)規(guī)則獲取速度、保證關(guān)聯(lián)規(guī)則獲取的效率、準(zhǔn)確度以及最終模式的有效性； 2)設(shè)定告警時(shí)間窗和滑動步長，通過告警時(shí)間窗將復(fù)雜的通信告警序列數(shù)據(jù)庫劃分為事務(wù)數(shù)據(jù)庫的模式，便于關(guān)聯(lián)規(guī)則獲取工作；通過滑動步長能夠最大程度地保證在一個(gè)告警時(shí)間窗內(nèi)存在一個(gè)完整的告警系列，這樣能夠使得獲取結(jié)果更加精確； 3)基于全項(xiàng)集的關(guān)聯(lián)規(guī)則獲取算法，將設(shè)定的告警事務(wù)數(shù)據(jù)中的每一個(gè)事務(wù)展開為非空子集，并且按照編碼規(guī)則進(jìn)行編碼，根據(jù)編碼生成一個(gè)頻繁模式樹，頻繁模式樹中的每一個(gè)節(jié)點(diǎn)，都是代表告警類型，對頻繁模式樹的每一個(gè)分支，進(jìn)行從葉子節(jié)點(diǎn)到根節(jié)點(diǎn)的遍歷，根據(jù)設(shè)定的支持度得到告警頻繁項(xiàng)集，根據(jù)設(shè)定的置信度掃獲得告警關(guān)聯(lián)規(guī)則； 4)對獲取到的告警關(guān)聯(lián)規(guī)則進(jìn)行歸納整理，避免規(guī)則之間存在問題，并對規(guī)則進(jìn)行解釋，提供給用戶根據(jù)詳細(xì)的信息，便于用戶進(jìn)行操作，根據(jù)用戶的需要，對獲取到的規(guī)則執(zhí)行修改操作。


圖1是聯(lián)網(wǎng)告警關(guān)聯(lián)規(guī)則獲取方法工作原理示意圖； 圖2是移動互聯(lián)網(wǎng)告警關(guān)聯(lián)規(guī)則獲取方法工作流程圖； 圖3是滑動時(shí)間窗設(shè)置示意圖； 圖4是基于全項(xiàng)集的頻繁模式增長算法流程圖。
具體實(shí)施例方式參照說明書附圖對本發(fā)明的方法作以下詳細(xì)地說明。
本發(fā)明的移動互聯(lián)網(wǎng)告警關(guān)聯(lián)規(guī)則獲取方法，基本工作原理如下，如圖1所示。
本發(fā)明的系統(tǒng)能夠在不關(guān)聯(lián)告警網(wǎng)元資源的條件下，獲取到移動互聯(lián)網(wǎng)告警關(guān)聯(lián)規(guī)則。
系統(tǒng)是由告警數(shù)據(jù)獲取模塊、告警數(shù)據(jù)處理模塊、參數(shù)設(shè)置模塊、算法模塊、結(jié)果處理模塊五部分組成，系統(tǒng)在獲取到告警數(shù)據(jù)以后，對告警數(shù)據(jù)進(jìn)行合并，根據(jù)挖掘工作的需要，從中選取出我們感興趣的數(shù)據(jù)，通過數(shù)據(jù)的處理，進(jìn)行關(guān)聯(lián)規(guī)則提取工作，最后將獲取到的結(jié)果進(jìn)行表述和解釋，具體工作流程如圖2所示。
(1)告警數(shù)據(jù)獲取 ①基于告警信息存儲數(shù)據(jù)庫； ②構(gòu)建數(shù)據(jù)表活動告警表，歷史告警表，告警編號表； ③活動告警和歷史告警告警在沒有清除以前是活動告警，需要入到活動告警表中。告警清除以后被清除的告警需要入到歷史告警表里面。一條告警同一時(shí)刻的狀態(tài)是唯一的。要么是活動告警，要么是歷史告警，但是肯定是先活動后經(jīng)處理之后清除，活動告警在清除了以后，需要從活動告警表中移植到歷史告警表中，清除時(shí)每個(gè)廠家的告警都有自己的清除規(guī)則?；顒痈婢砗蜌v史告警表里面的告警加起來是全部完整的告警。因此告警關(guān)聯(lián)規(guī)則獲取應(yīng)該將兩個(gè)表中的數(shù)據(jù)合在一起，作為最終的待處理數(shù)據(jù)； ④告警標(biāo)題編號為每個(gè)告警標(biāo)題加上一個(gè)編號； ⑤告警關(guān)聯(lián)規(guī)則獲取用到的存儲字段設(shè)備廠家，網(wǎng)元名，告警對象，告警的發(fā)生時(shí)間，告警標(biāo)題，告警標(biāo)題編號。
(2)數(shù)據(jù)處理 數(shù)據(jù)處理是告警關(guān)聯(lián)規(guī)則獲取中的一個(gè)重要步驟，數(shù)據(jù)準(zhǔn)備是否做好將直接影響到規(guī)則獲取的效率、準(zhǔn)確度以及最終結(jié)果的有效性。這個(gè)階段又可以進(jìn)一步分成幾個(gè)子步驟數(shù)據(jù)集成、數(shù)據(jù)選取、數(shù)據(jù)預(yù)處理和數(shù)據(jù)變換。
①數(shù)據(jù)集成數(shù)據(jù)集成是將多文件或多數(shù)據(jù)庫運(yùn)行環(huán)境中的數(shù)據(jù)進(jìn)行合并處理。
②數(shù)據(jù)選取從告警數(shù)據(jù)庫中將不同網(wǎng)元發(fā)送的告警進(jìn)行統(tǒng)一格式處理 ③數(shù)據(jù)清洗通常包括去噪聲、缺值數(shù)據(jù)處理、消除重復(fù)記錄等操作。包括刪除告警數(shù)據(jù)中由于各種原因引起的無法識別的數(shù)據(jù)，或者在重要關(guān)鍵告警信息上缺失的數(shù)據(jù)。
④數(shù)據(jù)變換將目標(biāo)數(shù)據(jù)處理成便于規(guī)則獲取的形式。數(shù)據(jù)變換的一個(gè)重要的步驟就是為每個(gè)告警標(biāo)題加上告警編號，形成一個(gè)告警編號表，將告警標(biāo)題和告警編號的一一對應(yīng)。這樣使得在規(guī)則獲取過程中更加容易處理，并且速度快。
(3)參數(shù)設(shè)置 告警時(shí)間窗及滑動步長 由于移動互聯(lián)網(wǎng)設(shè)備的告警是不間斷的實(shí)時(shí)發(fā)生的，很難確定一個(gè)完整的告警序列的開始時(shí)間和結(jié)束時(shí)間，如果隨意的獲取，很可能將本來是一個(gè)完整的告警序列拆分成部分，因此告警的連續(xù)性為告警關(guān)聯(lián)規(guī)則獲取工作帶來了很多困難。為了使數(shù)據(jù)能夠適合關(guān)聯(lián)規(guī)則獲取工作的需要，以時(shí)間窗的方式劃分告警數(shù)據(jù)，這種轉(zhuǎn)換機(jī)制需要用戶預(yù)先設(shè)定好時(shí)間窗口大小以及滑動步長。并且保證每一個(gè)告警時(shí)間窗和其前面的時(shí)間窗和后面的時(shí)間窗互有重疊，在最大程度上保證時(shí)間窗中取得完整的告警序列數(shù)據(jù)，這樣可以將告警關(guān)系型數(shù)據(jù)轉(zhuǎn)換為告警事務(wù)型數(shù)據(jù)，其工作原理如圖3所示。
告警時(shí)間窗和滑動步長的具體的設(shè)置方法為 首先讀入數(shù)據(jù)庫中的告警數(shù)據(jù)，獲得第一條告警發(fā)生時(shí)間，作為窗口開始時(shí)間，由開始時(shí)間加上窗口大小得到窗口終止時(shí)間。逐次將接下來的告警數(shù)據(jù)讀入，時(shí)間不晚于終止時(shí)間的告警都為一個(gè)事務(wù)保存下來。一旦有一條告警的開始時(shí)間晚于終止時(shí)間，則由剛才的開始時(shí)間加上滑動步長得到新的開始時(shí)間，再加上窗口大小得到新的終止時(shí)間，然后將讀取告警的指針移動到與新的開始時(shí)間最接近的記錄開始讀入，重復(fù)上述過程。這樣，就可以把預(yù)處理表中的關(guān)系型數(shù)據(jù)轉(zhuǎn)化為事務(wù)型數(shù)據(jù)。若干條告警對應(yīng)一個(gè)事務(wù)。這里需要注意的是，告警滑動步長的設(shè)置不能大于告警時(shí)間窗口寬度的一半。
支持度和置信度 在關(guān)聯(lián)規(guī)則的獲取過程中，需要設(shè)置兩個(gè)重要的參數(shù)支持度閾值與置信度閾值。 支持度閾值用來生成告警頻繁項(xiàng)集，置信度閾值用來生成告警關(guān)聯(lián)規(guī)則。支持度閾值對關(guān)聯(lián)規(guī)則結(jié)果集和算法運(yùn)行時(shí)間影響都很大，而置信度閾值則對算法的運(yùn)行時(shí)間沒有太大的影響。如果支持度閾值太低，規(guī)則中偶爾發(fā)生的關(guān)聯(lián)規(guī)則也會包含到最終輸出的規(guī)則集當(dāng)中，如果置信度閾值過低會同樣會導(dǎo)致一些無意義的關(guān)聯(lián)規(guī)則出現(xiàn)在結(jié)果規(guī)則集中。較低的閾值意味著較多的關(guān)聯(lián)規(guī)則以及較長的規(guī)則發(fā)現(xiàn)時(shí)間；如果閾值過高則會導(dǎo)致丟失一些潛在有意義的關(guān)聯(lián)規(guī)則。
給定了以上參數(shù)之后，挖掘算法最終輸出滿足給定條件的關(guān)聯(lián)規(guī)則集。由于參數(shù)的選擇對挖掘結(jié)果影響極大，因此需要在實(shí)際工作中選擇合適的參數(shù)，盡量在不耗費(fèi)過多的算法運(yùn)行時(shí)間的前提下找出所有意義的關(guān)聯(lián)規(guī)則模式。
(4)告警關(guān)聯(lián)規(guī)則獲取算法 提出了基于全項(xiàng)集的頻繁模式增長算法。該算法的具體描述如下 ①讀入告警事務(wù)數(shù)據(jù)庫，生成一階頻繁項(xiàng)集，并將一階頻繁項(xiàng)集按照支持?jǐn)?shù)進(jìn)行排序； ②再次讀入事務(wù)數(shù)據(jù)庫，按照頻繁一項(xiàng)集，掃描每一條事務(wù)，如果事務(wù)中的某項(xiàng)不在頻繁一項(xiàng)集中，則刪除該項(xiàng)，然后按照頻繁一項(xiàng)集的順序?qū)γ恳粭l事務(wù)排序； ③對每一條事務(wù)產(chǎn)生全項(xiàng)集，對全項(xiàng)集的每一個(gè)項(xiàng)集進(jìn)行掃描，將當(dāng)前項(xiàng)集與前面所有項(xiàng)集進(jìn)行比較，如果當(dāng)前項(xiàng)集中的前i個(gè)項(xiàng)與前面某項(xiàng)集的前i個(gè)項(xiàng)相同，則標(biāo)記為 false，其余標(biāo)記為true。其流程如圖4所示。
⑤生成全項(xiàng)集的編碼規(guī)則 將全項(xiàng)集的每一條項(xiàng)集插入到樹中，事務(wù)中的第一個(gè)節(jié)點(diǎn)插入到根節(jié)點(diǎn)下，后面的每一個(gè)項(xiàng)作為前一項(xiàng)的子節(jié)點(diǎn)。掃描頻繁模式樹，如果當(dāng)前節(jié)點(diǎn)下的孩子節(jié)點(diǎn)中，沒有包含當(dāng)前項(xiàng)的節(jié)點(diǎn)，則建立此節(jié)點(diǎn)，已經(jīng)有包含當(dāng)前項(xiàng)的節(jié)點(diǎn)，檢查項(xiàng)集中該項(xiàng)下面的標(biāo)記， 如果為true則節(jié)點(diǎn)支持?jǐn)?shù)加1，否則不加1。
(5)結(jié)果的表述和解釋 主要對獲取到的關(guān)聯(lián)規(guī)則進(jìn)行解釋、評估等。告警關(guān)聯(lián)規(guī)則獲取階段發(fā)現(xiàn)的告警關(guān)聯(lián)規(guī)則，可能存在冗余模式或無用規(guī)則，將其剔除；對一些近似的規(guī)則，為了便于用戶理解、使用，對其進(jìn)行歸納整理，合并為具有更高信息量的模式；對發(fā)現(xiàn)的規(guī)則進(jìn)行一致性檢查，避免發(fā)現(xiàn)的規(guī)則之間存在矛盾，根據(jù)用戶的需要，也可以對獲取到的規(guī)則執(zhí)行修改等操作。
本發(fā)明的主要?jiǎng)?chuàng)新點(diǎn) 針對通信告警數(shù)據(jù)庫的特點(diǎn)，提出了一種基于全項(xiàng)集的頻繁模式增長算法，該算法將告警事務(wù)數(shù)據(jù)庫中的項(xiàng)集生成非空子項(xiàng)集，并且對子項(xiàng)集進(jìn)行掃描，按照設(shè)定的規(guī)則對子項(xiàng)集進(jìn)行標(biāo)記，根據(jù)標(biāo)記的編碼生成一個(gè)包含所有告警項(xiàng)的頻繁模式樹。對于告警關(guān)聯(lián)規(guī)則的獲取就是遍歷所建立的頻繁模式樹。
在對告警關(guān)聯(lián)規(guī)則的獲取過程中，相對于傳統(tǒng)的頻繁模式增長算法，本算法不需要生成項(xiàng)頭列表和鏈接頻繁模式樹中相同節(jié)點(diǎn)的節(jié)點(diǎn)鏈，只要生成一個(gè)先序頻繁模式樹， 就能夠完成告警頻繁項(xiàng)集的獲取工作。這樣就避免了生成項(xiàng)頭鏈表和頻繁模式樹中不同位置上相同節(jié)點(diǎn)所需要指針鏈接的復(fù)雜操作，降低了算法實(shí)現(xiàn)過程中的復(fù)雜度。并且在對頻繁模式樹的遍歷過程中，不需要生成條件模式基和條件模式子樹。所有的頻繁項(xiàng)集的獲取工作只是從頻繁模式樹中每一個(gè)分支的葉子節(jié)點(diǎn)向根節(jié)點(diǎn)的遍歷過程。極大地簡化了關(guān)聯(lián)規(guī)則獲取的時(shí)間和空間復(fù)雜度。非常適用于告警種類繁多且頻繁出現(xiàn)的移動互聯(lián)網(wǎng)告警數(shù)據(jù)庫的關(guān)聯(lián)規(guī)則獲取工作。
實(shí)用效果 基于本發(fā)明的通信告警關(guān)聯(lián)規(guī)則獲取引擎，在不依賴于通信網(wǎng)絡(luò)模型的情況下， 能夠自動的提取告警中存在的關(guān)聯(lián)規(guī)則，特別適合于異構(gòu)的、復(fù)雜多變的大型電信網(wǎng)絡(luò)系統(tǒng)。本發(fā)明能夠?qū)⒍鄠€(gè)告警事件歸結(jié)成較少的告警事件，過濾掉無意義的告警事件，有效的減少對網(wǎng)絡(luò)和業(yè)務(wù)運(yùn)行的人工干預(yù)，輔助網(wǎng)絡(luò)管理人員刪除衍生的冗余告警，確保網(wǎng)絡(luò)正常、可靠的運(yùn)行。將基于經(jīng)驗(yàn)的運(yùn)維轉(zhuǎn)變成自動化智能化的運(yùn)維，因此本發(fā)明具有廣泛的應(yīng)用前景和良好的實(shí)用價(jià)值。
實(shí)施例 本發(fā)明采用C++語言實(shí)現(xiàn)，能夠運(yùn)行在Windows、Unix、Linux等各種平臺，算法在多種C++編譯器下運(yùn)行通過，在有著很強(qiáng)的可移植性和通用性，適合于各種移動互聯(lián)網(wǎng)環(huán)境，下面給出實(shí)現(xiàn)過程中的函數(shù)和類的定義等文件說明和代碼說明。
1告警數(shù)據(jù)的讀取說明 時(shí)間窗口告警數(shù)據(jù)的讀取在函數(shù)GetWinData中實(shí)現(xiàn)，在main中被調(diào)用int GetWinData(CElement氺lstdb, iht&winnum, int&m_itvl, int&m_wintime)； 函數(shù)GetWinData得到所有的存在告警數(shù)據(jù)的時(shí)間窗，并將其存放在Istdb中返回，winnum是時(shí)間窗口的個(gè)數(shù)，m_itvl是滑動步長，m_wintime是時(shí)間窗的大小。
讀取告警數(shù)據(jù)庫的步驟 ①定義宿主變量 exec sql begin declare section ；exec sql end declare section ； 夾在兩個(gè)語句中間 ②連接數(shù)據(jù)庫 //連接數(shù)據(jù)庫 EXEC SQL database alarm ； EXEC SQL SET LOCK MODE TO WAIT ； ③SQL語句讀入字符串 sprintf(strsql, “ SELECT int_id FROM alarm_dm WHERE alarm_node ='JNBl' and occur_time between extend (’ 2008-10-13 00:00:00', year to second)+interval (% d)minute (9)to minute and extend('2008-10-13 00:00:00', yearto second)+interval (% d) minute to minute+interval (% d) minute (9) to minute ", move_minute, wintime, move_minute)； ④ prepare 語句 EXEC SQL PREPARE get_data FROM :strsql ； ⑤定義游標(biāo) EXEC SQL DECLARE cur_get_data CURSOR FOR get_data ； ⑥打開游標(biāo) EXEC SQL OPEN cur_get_data ； ⑦讀入數(shù)據(jù) while (1) { EXEC SQL FETCH cur_get_data INT0:t_title ； } ⑧關(guān)閉游標(biāo)釋放游標(biāo)資源 EXEC SQL CLOSE cur_get_data ； EXEC SQL FREE cur_get_data ； ⑨關(guān)閉數(shù)據(jù)庫 EXEC SQL close database ； 2關(guān)聯(lián)規(guī)則獲取算法實(shí)現(xiàn)說明 (1)文件說明
權(quán)利要求
1. 一種移動互聯(lián)網(wǎng)告警關(guān)聯(lián)規(guī)則獲取方法，系統(tǒng)包括告警獲取模塊、告警處理模塊、參 數(shù)設(shè)置模塊、算法模塊、結(jié)果處理模塊，其特征在于，系統(tǒng)在獲取到告警數(shù)據(jù)以后，對告警數(shù) 據(jù)進(jìn)行合并，根據(jù)挖掘工作的需要，從中選取數(shù)據(jù)并對進(jìn)行數(shù)據(jù)的處理，進(jìn)行關(guān)聯(lián)規(guī)則提取 工作，最后將獲取到的結(jié)果進(jìn)行表述和解釋，其中(1)告警數(shù)據(jù)獲取模塊①建立告警信息存儲數(shù)據(jù)庫；②構(gòu)建數(shù)據(jù)表活動告警表，歷史告警表，告警編號表；③活動告警和歷史告警告警在沒有清除以前是活動告警，需要入到活動告警表中，告 警清除以后被清除的告警需要入到歷史告警表里面，一條告警同一時(shí)刻的狀態(tài)是唯一的， 要么是活動告警，要么是歷史告警，但是肯定是先活動后經(jīng)處理之后清除，活動告警在清除 了以后，需要從活動告警表中移植到歷史告警表中，清除時(shí)每個(gè)廠家的告警都有自己的清 除規(guī)則，活動告警表和歷史告警表里面的告警加起來是全部完整的告警，因此告警關(guān)聯(lián)規(guī) 則獲取應(yīng)該將兩個(gè)表中的數(shù)據(jù)合在一起，作為最終的待處理數(shù)據(jù)；④告警標(biāo)題編號為每個(gè)告警標(biāo)題加上一個(gè)編號；⑤告警關(guān)聯(lián)規(guī)則獲取用到的存儲字段，包括設(shè)備廠家，網(wǎng)元名，告警對象，告警的發(fā)生 時(shí)間，告警標(biāo)題，告警標(biāo)題編號；(2)告警處理模塊數(shù)據(jù)處理是告警關(guān)聯(lián)規(guī)則獲取中的一個(gè)重要步驟，數(shù)據(jù)準(zhǔn)備是否做好將直接影響到規(guī) 則獲取的效率、準(zhǔn)確度以及最終結(jié)果的有效性，這個(gè)階段又進(jìn)一步分成幾個(gè)子步驟，包括 數(shù)據(jù)集成、數(shù)據(jù)選取、數(shù)據(jù)預(yù)處理和數(shù)據(jù)變換，其中①數(shù)據(jù)集成數(shù)據(jù)集成是將多文件或多數(shù)據(jù)庫運(yùn)行環(huán)境中的數(shù)據(jù)進(jìn)行合并處理；②數(shù)據(jù)選取從告警數(shù)據(jù)庫中將不同網(wǎng)元發(fā)送的告警進(jìn)行統(tǒng)一格式處理；③數(shù)據(jù)清洗通常包括去噪聲、缺值數(shù)據(jù)處理、消除重復(fù)記錄操作，包括刪除告警數(shù)據(jù) 中由于各種原因引起的無法識別的數(shù)據(jù)，或者在重要關(guān)鍵告警信息上缺失的數(shù)據(jù)；④數(shù)據(jù)變換將目標(biāo)數(shù)據(jù)處理成便于規(guī)則獲取的形式；數(shù)據(jù)變換的一個(gè)重要的步驟就 是為每個(gè)告警標(biāo)題加上告警編號，形成一個(gè)告警編號表，將告警標(biāo)題和告警編號的一一對 應(yīng)；這樣使得在規(guī)則獲取過程中更加容易處理，并且速度快；(3)參數(shù)設(shè)置模塊，包括告警時(shí)間窗及滑動步長由于移動互聯(lián)網(wǎng)設(shè)備的告警是不間斷的實(shí)時(shí)發(fā)生的，很難確定一個(gè)完整的告警序列的 開始時(shí)間和結(jié)束時(shí)間，如果隨意的獲取，很可能將本來是一個(gè)完整的告警序列拆分成部分， 因此告警的連續(xù)性為告警關(guān)聯(lián)規(guī)則獲取工作帶來了很多困難。為了使數(shù)據(jù)能夠適合關(guān)聯(lián)規(guī) 則獲取工作的需要，以時(shí)間窗的方式劃分告警數(shù)據(jù)，這種轉(zhuǎn)換機(jī)制需要用戶預(yù)先設(shè)定好時(shí) 間窗口大小以及滑動步長，并且保證每一個(gè)告警時(shí)間窗和其前面的時(shí)間窗和后面的時(shí)間窗 互有重疊，在最大程度上保證時(shí)間窗中取得完整的告警序列數(shù)據(jù)，這樣可以將告警關(guān)系型 數(shù)據(jù)轉(zhuǎn)換為告警事務(wù)型數(shù)據(jù)，告警時(shí)間窗和滑動步長的具體的設(shè)置方法為首先讀入數(shù)據(jù)庫中的告警數(shù)據(jù)，獲得第一條告警發(fā)生時(shí)間，作為窗口開始時(shí)間，由開始 時(shí)間加上窗口大小得到窗口終止時(shí)間，逐次將接下來的告警數(shù)據(jù)讀入，時(shí)間不晚于終止時(shí) 間的告警都為一個(gè)事務(wù)保存下來，一旦有一條告警的開始時(shí)間晚于終止時(shí)間，則由剛才的開始時(shí)間加上滑動步長得到新的開始時(shí)間，再加上窗口大小得到新的終止時(shí)間，然后將讀 取告警的指針移動到與新的開始時(shí)間最接近的記錄開始讀入，重復(fù)上述過程，這樣，把預(yù)處 理表中的關(guān)系型數(shù)據(jù)轉(zhuǎn)化為事務(wù)型數(shù)據(jù)，若干條告警對應(yīng)一個(gè)事務(wù)，這里需要注意的是，告 警滑動步長的設(shè)置不能大于告警時(shí)間窗口寬度的一半；支持度和置信度在關(guān)聯(lián)規(guī)則的獲取過程中，需要設(shè)置兩個(gè)重要的參數(shù)支持度閾值與置信度閾值，其 中，支持度閾值用來生成告警頻繁項(xiàng)集，置信度閾值用來生成告警關(guān)聯(lián)規(guī)則；支持度閾值對 關(guān)聯(lián)規(guī)則結(jié)果集和算法運(yùn)行時(shí)間影響都很大，而置信度閾值則對算法的運(yùn)行時(shí)間沒有太大 的影響，如果支持度閾值太低，規(guī)則中偶爾發(fā)生的關(guān)聯(lián)規(guī)則也會包含到最終輸出的規(guī)則集 當(dāng)中，如果置信度閾值過低會同樣會導(dǎo)致一些無意義的關(guān)聯(lián)規(guī)則出現(xiàn)在結(jié)果規(guī)則集中；較 低的閾值意味著較多的關(guān)聯(lián)規(guī)則以及較長的規(guī)則發(fā)現(xiàn)時(shí)間；如果閾值過高則會導(dǎo)致丟失一 些潛在有意義的關(guān)聯(lián)規(guī)則；給定了以上參數(shù)之后，挖掘算法最終輸出滿足給定條件的關(guān)聯(lián)規(guī)則集，由于參數(shù)的選 擇對挖掘結(jié)果影響極大，因此需要在實(shí)際工作中選擇合適的參數(shù)，盡量在不耗費(fèi)過多的算 法運(yùn)行時(shí)間的前提下找出所有意義的關(guān)聯(lián)規(guī)則模式；(4)算法模塊基于全項(xiàng)集的頻繁模式增長告警關(guān)聯(lián)規(guī)則獲取算法，具體描述如下①讀入告警事務(wù)數(shù)據(jù)庫，生成一階頻繁項(xiàng)集，并將一階頻繁項(xiàng)集按照支持?jǐn)?shù)進(jìn)行排序；②再次讀入事務(wù)數(shù)據(jù)庫，按照頻繁一項(xiàng)集，掃描每一條事務(wù)，如果事務(wù)中的某項(xiàng)不在頻 繁一項(xiàng)集中，則刪除該項(xiàng)，然后按照頻繁一項(xiàng)集的順序?qū)γ恳粭l事務(wù)排序；③對每一條事務(wù)產(chǎn)生全項(xiàng)集，對全項(xiàng)集的每一個(gè)項(xiàng)集進(jìn)行掃描，將當(dāng)前項(xiàng)集與前面 所有項(xiàng)集進(jìn)行比較，如果當(dāng)前項(xiàng)集中的前i個(gè)項(xiàng)與前面某項(xiàng)集的前i個(gè)項(xiàng)相同，則標(biāo)記為 false,其余標(biāo)記為true ；⑤生成全項(xiàng)集的編碼規(guī)則將全項(xiàng)集的每一條項(xiàng)集插入到樹中，事務(wù)中的第一個(gè)節(jié)點(diǎn)插入到根節(jié)點(diǎn)下，后面的每 一個(gè)項(xiàng)作為前一項(xiàng)的子節(jié)點(diǎn)，掃描頻繁模式樹，如果當(dāng)前節(jié)點(diǎn)下的孩子節(jié)點(diǎn)中，沒有包含當(dāng) 前項(xiàng)的節(jié)點(diǎn)，則建立此節(jié)點(diǎn)，已經(jīng)有包含當(dāng)前項(xiàng)的節(jié)點(diǎn)，檢查項(xiàng)集中該項(xiàng)下面的標(biāo)記，如果 為true則節(jié)點(diǎn)支持?jǐn)?shù)加1，否則不加1 ；(5)結(jié)果處理模塊結(jié)果的表述和解釋，是對獲取到的關(guān)聯(lián)規(guī)則進(jìn)行解釋、評估，告警關(guān)聯(lián)規(guī)則獲取階段發(fā) 現(xiàn)的告警關(guān)聯(lián)規(guī)則，可能存在冗余模式或無用規(guī)則，將其剔除；對一些近似的規(guī)則，為了便 于用戶理解、使用，對其進(jìn)行歸納整理，合并為具有更高信息量的模式；對發(fā)現(xiàn)的規(guī)則進(jìn)行 一致性檢查，避免發(fā)現(xiàn)的規(guī)則之間存在矛盾，根據(jù)用戶的需要，也可以對獲取到的規(guī)則執(zhí)行 修改等操作。
全文摘要
本發(fā)明提供一種移動互聯(lián)網(wǎng)告警關(guān)聯(lián)規(guī)則獲取方法，系統(tǒng)由告警數(shù)據(jù)的獲取、數(shù)據(jù)的預(yù)處理、參數(shù)的設(shè)定、告警關(guān)聯(lián)規(guī)則獲取算法、關(guān)聯(lián)規(guī)則的表述與解釋五部分組成。首先對通信告警數(shù)據(jù)進(jìn)行數(shù)據(jù)集成、數(shù)據(jù)選取、數(shù)據(jù)清洗和數(shù)據(jù)變換；其次，設(shè)定告警時(shí)間窗和告警滑動步長，將預(yù)處理后的關(guān)系型數(shù)據(jù)轉(zhuǎn)換為事務(wù)型數(shù)據(jù)，便于告警關(guān)聯(lián)規(guī)則獲?。唤酉聛碓O(shè)置支持度和置信度參數(shù)，調(diào)用基于全項(xiàng)集的告警關(guān)聯(lián)規(guī)則獲取算法，根據(jù)所設(shè)定的參數(shù)，對告警數(shù)據(jù)進(jìn)行關(guān)聯(lián)規(guī)則獲取工作，最后對獲得的告警關(guān)聯(lián)規(guī)則進(jìn)行表述與解釋?；诒景l(fā)明的告警關(guān)聯(lián)規(guī)則獲取方法，可在不需要專家和運(yùn)維人員的參與下實(shí)現(xiàn)移動互聯(lián)網(wǎng)的告警關(guān)聯(lián)分析工作，而且能夠在較低的運(yùn)營成本情況下，成倍地提高處理效率，該方法不依賴于通信網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，可以適應(yīng)復(fù)雜多變、異構(gòu)的電信網(wǎng)絡(luò)，自動發(fā)現(xiàn)告警關(guān)聯(lián)規(guī)則，特別適合于移動互聯(lián)網(wǎng)的告警監(jiān)控，具有廣泛的應(yīng)用前景和良好的實(shí)用價(jià)值。
文檔編號H04L12/24GK102098175SQ20111002847
公開日2011年6月15日 申請日期2011年1月26日 優(yōu)先權(quán)日2011年1月26日
發(fā)明者李洋, 苗再良 申請人:浪潮通信信息系統(tǒng)有限公司