本發(fā)明涉及大數(shù)據(jù)處理領(lǐng)域,尤其涉及一種網(wǎng)絡(luò)告警關(guān)聯(lián)分析的方法及裝置。
背景技術(shù):
隨著網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)展、多業(yè)務(wù)網(wǎng)絡(luò)的逐漸融合和新業(yè)務(wù)的加速引入給電信網(wǎng)絡(luò)管理及維護(hù)工作帶來(lái)了極大的挑戰(zhàn)。在故障管理領(lǐng)域,一個(gè)重要而迫切的管理需求是對(duì)網(wǎng)絡(luò)中產(chǎn)生的大量告警進(jìn)行關(guān)聯(lián)分析。
現(xiàn)有的關(guān)聯(lián)分析主要分成兩類,一類是通過(guò)傳統(tǒng)的關(guān)聯(lián)分析算法實(shí)現(xiàn),如經(jīng)典的Apriori(關(guān)聯(lián)規(guī)則算法),F(xiàn)P-growth(Frequent Pattern growth,頻繁模式迭代)算法,典型的關(guān)聯(lián)分析平臺(tái)為weka(Waikato Environment for Knowledge Analysis,懷卡托智能分析環(huán)境);另一類是通過(guò)單純的大數(shù)據(jù)處理平臺(tái)Hadoop實(shí)現(xiàn)關(guān)聯(lián)分析挖掘技術(shù),如Hadoop(Hadoop Distributed File System,分布式文件系統(tǒng))的Apriori算法、Web服務(wù)器軟件Apache(阿帕奇)的機(jī)器學(xué)習(xí)算法Mahout等。
傳統(tǒng)的關(guān)聯(lián)分析平臺(tái)如Weka是基于單機(jī)實(shí)現(xiàn)的關(guān)聯(lián)的分析算法,主要是針對(duì)小數(shù)據(jù)量的關(guān)聯(lián)分析,不適宜大數(shù)據(jù)的關(guān)聯(lián)分析挖掘;通過(guò)Hadoop大數(shù)據(jù)處理平臺(tái)實(shí)現(xiàn)的關(guān)聯(lián)分析,迭代計(jì)算性能欠佳;基于Mahout的Apriori算法主要是針對(duì)離散型的數(shù)據(jù)處理,不支持連續(xù)數(shù)據(jù)的分析挖掘。
綜上所述,在大數(shù)據(jù)處理場(chǎng)景下,現(xiàn)有的網(wǎng)絡(luò)告警關(guān)聯(lián)分析方法無(wú)法支持連續(xù)的數(shù)據(jù)分析挖掘。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明提供一種網(wǎng)絡(luò)告警關(guān)聯(lián)分析的方法及裝置,用以解決在大數(shù)據(jù)處理場(chǎng)景下,現(xiàn)有技術(shù)中的網(wǎng)絡(luò)告警關(guān)聯(lián)分析方法無(wú)法支持連續(xù)的數(shù)據(jù)分析挖掘的問(wèn)題。
本發(fā)明實(shí)施例提供一種網(wǎng)絡(luò)告警關(guān)聯(lián)分析的方法,包括:
根據(jù)預(yù)設(shè)的時(shí)間窗口長(zhǎng)度和預(yù)設(shè)的窗口移動(dòng)步長(zhǎng),確定N條告警信息中每一條告警信息落入的時(shí)間窗口,其中,所述窗口移動(dòng)步長(zhǎng)小于所述時(shí)間窗口長(zhǎng)度,N為正整數(shù);
根據(jù)告警信息與告警標(biāo)識(shí)的映射關(guān)系,確定告警信息對(duì)應(yīng)的告警標(biāo)識(shí),根據(jù)同一個(gè)所述時(shí)間窗口中的所有告警信息對(duì)應(yīng)的告警標(biāo)識(shí),確定所述時(shí)間窗口對(duì)應(yīng)的至少一個(gè)告警事務(wù);
根據(jù)預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,確定包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果。
可選的,所述根據(jù)預(yù)設(shè)的時(shí)間窗口長(zhǎng)度和預(yù)設(shè)的窗口移動(dòng)步長(zhǎng),確定N條告警信息中每一條告警信息落入的時(shí)間窗口之前,還包括:
確定所述N條告警信息中每一條告警信息對(duì)應(yīng)的告警標(biāo)簽;
根據(jù)告警標(biāo)簽與告警標(biāo)識(shí)的映射關(guān)系,確定每一條告警標(biāo)簽對(duì)應(yīng)的告警標(biāo)識(shí),其中每條告警標(biāo)簽對(duì)應(yīng)一個(gè)告警標(biāo)識(shí);
所述根據(jù)預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,確定包含告警標(biāo)識(shí)的關(guān)聯(lián)的分析結(jié)果之后,還包括:
根據(jù)所述告警標(biāo)簽與告警標(biāo)識(shí)的映射關(guān)系,將所述包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果轉(zhuǎn)換成包含告警標(biāo)簽的關(guān)聯(lián)分析結(jié)果。
可選的,所述確定所述N條告警信息中每一條告警信息對(duì)應(yīng)的告警標(biāo)簽,包括:
根據(jù)預(yù)設(shè)的告警維度,確定每一條告警信息對(duì)應(yīng)的告警標(biāo)簽;
其中,所述告警維度包括下列維度信息中的部分或全部:告警標(biāo)題、告警網(wǎng)元、告警專業(yè)、告警地區(qū)。
可選的,所述預(yù)設(shè)的告警維度包括一種維度信息;
根據(jù)同一個(gè)所述時(shí)間窗口中的所有告警信息對(duì)應(yīng)的告警標(biāo)識(shí),確定所述時(shí)間窗口對(duì)應(yīng)的至少一個(gè)告警事務(wù),包括:
根據(jù)同一個(gè)所述時(shí)間窗口中的所有告警信息對(duì)應(yīng)的告警標(biāo)識(shí),確定所述時(shí)間窗口對(duì)應(yīng)的一個(gè)告警事務(wù);
根據(jù)預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,確定包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果,包括:
根據(jù)所述維度信息對(duì)應(yīng)的預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,確定所述維度信息對(duì)應(yīng)的包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果。
可選的,所述預(yù)設(shè)的告警維度包括多種維度信息;
所述根據(jù)同一個(gè)所述時(shí)間窗口中的所有告警信息對(duì)應(yīng)的告警標(biāo)識(shí),確定所述時(shí)間窗口對(duì)應(yīng)的至少一個(gè)告警事務(wù),包括:
若所述告警信息對(duì)應(yīng)的一個(gè)告警標(biāo)簽包括多種維度信息,根據(jù)同一個(gè)所述時(shí)間窗口中的所有告警信息對(duì)應(yīng)的告警標(biāo)識(shí),確定所述時(shí)間窗口對(duì)應(yīng)的一個(gè)告警事務(wù);
若所述告警信息對(duì)應(yīng)的一個(gè)告警標(biāo)簽包括一種維度信息,將同一個(gè)時(shí)間窗口中同一個(gè)維度信息對(duì)應(yīng)的所有告警標(biāo)識(shí)作為一個(gè)告警事務(wù);
根據(jù)預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,確定包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果,包括:
若所述告警信息對(duì)應(yīng)的一個(gè)告警標(biāo)簽包括多種維度信息,根據(jù)所述多種維度信息對(duì)應(yīng)的預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,確定多種所述維度信息對(duì)應(yīng)的包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果;
若所述告警信息對(duì)應(yīng)的一個(gè)告警標(biāo)簽包括一種維度信息,根據(jù)所述每一種維度信息對(duì)應(yīng)的預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,分別確定每一種所述維度信息對(duì)應(yīng)的包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果。
可選的,所述確定N條告警信息中每一條告警信息落入的時(shí)間窗口,包括:
根據(jù)所述每一條告警信息中的告警時(shí)間,確定所述每一條告警信息落入的時(shí)間窗口。
可選的,所述關(guān)聯(lián)規(guī)則為確定多個(gè)告警標(biāo)識(shí)落入同一個(gè)時(shí)間窗口的次數(shù);
所述根據(jù)預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,確定包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果,包括:
通過(guò)分布式內(nèi)存計(jì)算框架Spark平臺(tái),關(guān)聯(lián)規(guī)則算法Apriori算法確定所述多個(gè)告警標(biāo)識(shí)落入同一個(gè)時(shí)間窗口的次數(shù);
根據(jù)確定的次數(shù)生成包含所述多個(gè)告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果。
本發(fā)明實(shí)施例還提供一種網(wǎng)絡(luò)告警關(guān)聯(lián)分析的裝置,包括:
窗口確定模塊,用于根據(jù)預(yù)設(shè)的時(shí)間窗口長(zhǎng)度和預(yù)設(shè)的窗口移動(dòng)步長(zhǎng),確定N條告警信息中每一條告警信息落入的時(shí)間窗口,其中,所述窗口移動(dòng)步長(zhǎng)小于所述時(shí)間窗口長(zhǎng)度,N為正整數(shù);
事務(wù)確定模塊,用于根據(jù)告警信息與告警標(biāo)識(shí)的映射關(guān)系,確定告警信息對(duì)應(yīng)的告警標(biāo)識(shí),根據(jù)同一個(gè)所述時(shí)間窗口中的所有告警信息對(duì)應(yīng)的告警標(biāo)識(shí),確定所述時(shí)間窗口對(duì)應(yīng)的至少一個(gè)告警事務(wù);
結(jié)果確定模塊,用于根據(jù)預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,確定包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果。
可選的,所述窗口確定模塊,還用于:
確定所述N條告警信息中每一條告警信息對(duì)應(yīng)的告警標(biāo)簽;
根據(jù)告警標(biāo)簽與告警標(biāo)識(shí)的映射關(guān)系,確定每一條告警標(biāo)簽對(duì)應(yīng)的告警標(biāo)識(shí),其中每條告警標(biāo)簽對(duì)應(yīng)一個(gè)告警標(biāo)識(shí);
所述結(jié)果確定模塊,還用于:
根據(jù)所述告警標(biāo)簽與告警標(biāo)識(shí)的映射關(guān)系,將所述包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果轉(zhuǎn)換成包含告警標(biāo)簽的關(guān)聯(lián)分析結(jié)果。
可選的,所述窗口確定模塊,還用于:
根據(jù)預(yù)設(shè)的告警維度,確定每一條告警信息對(duì)應(yīng)的告警標(biāo)簽;
其中,所述告警維度包括下列維度信息中的部分或全部:告警標(biāo)題、告警網(wǎng)元、告警專業(yè)、告警地區(qū)。
可選的,所述預(yù)設(shè)的告警維度包括一種維度信息;
所述事務(wù)確定模塊,還用于:
根據(jù)同一個(gè)所述時(shí)間窗口中的所有告警信息對(duì)應(yīng)的告警標(biāo)識(shí),確定所述時(shí)間窗口對(duì)應(yīng)的一個(gè)告警事務(wù);
所述結(jié)果確定模塊,還用于:
根據(jù)所述維度信息對(duì)應(yīng)的預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,確定所述維度信息對(duì)應(yīng)的包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果。
可選的,所述預(yù)設(shè)的告警維度包括多種維度信息;
所述事務(wù)確定模塊,還用于:
若所述告警信息對(duì)應(yīng)的一個(gè)告警標(biāo)簽包括多種維度信息,根據(jù)同一個(gè)所述時(shí)間窗口中的所有告警信息對(duì)應(yīng)的告警標(biāo)識(shí),確定所述時(shí)間窗口對(duì)應(yīng)的一個(gè)告警事務(wù);
若所述告警信息對(duì)應(yīng)的一個(gè)告警標(biāo)簽包括一種維度信息,將同一個(gè)時(shí)間窗口中同一個(gè)維度信息對(duì)應(yīng)的所有告警標(biāo)識(shí)作為一個(gè)告警事務(wù);
所述結(jié)果確定模塊,還用于:
若所述告警信息對(duì)應(yīng)的一個(gè)告警標(biāo)簽包括多種維度信息,根據(jù)所述多種維度信息對(duì)應(yīng)的預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,確定多種所述維度信息對(duì)應(yīng)的包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果;
若所述告警信息對(duì)應(yīng)的一個(gè)告警標(biāo)簽包括一種維度信息,根據(jù)所述每一種維度信息對(duì)應(yīng)的預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,分別確定每一種所述維度信息對(duì)應(yīng)的包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果。
可選的,所述窗口確定模塊,還用于:
根據(jù)所述每一條告警信息中的告警時(shí)間,確定所述每一條告警信息落入的時(shí)間窗口。
可選的,所述關(guān)聯(lián)規(guī)則為確定多個(gè)告警標(biāo)識(shí)落入同一個(gè)時(shí)間窗口的次數(shù),所述結(jié)果確定模塊,還用于:
通過(guò)分布式內(nèi)存計(jì)算框架Spark平臺(tái),采用關(guān)聯(lián)規(guī)則算法Apriori確定所述多個(gè)告警標(biāo)識(shí)落入同一個(gè)時(shí)間窗口的次數(shù);
根據(jù)確定的次數(shù)生成包含所述多個(gè)告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果。
本發(fā)明實(shí)施例提供一種網(wǎng)絡(luò)告警關(guān)聯(lián)分析的方法及裝置,根據(jù)預(yù)設(shè)的時(shí)間窗口長(zhǎng)度和預(yù)設(shè)的窗口移動(dòng)步長(zhǎng),確定N條告警信息中每一條告警信息落入的時(shí)間窗口;根據(jù)告警信息與告警標(biāo)識(shí)的映射關(guān)系,確定告警信息對(duì)應(yīng)的告警標(biāo)識(shí),根據(jù)同一個(gè)所述時(shí)間窗口中的所有告警信息對(duì)應(yīng)的告警標(biāo)識(shí),確定所述時(shí)間窗口對(duì)應(yīng)的至少一個(gè)告警事務(wù);根據(jù)預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,確定包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果。本發(fā)明提供一種網(wǎng)絡(luò)告警關(guān)聯(lián)分析的方法及裝置,通過(guò)告警標(biāo)識(shí)的轉(zhuǎn)換降低了關(guān)聯(lián)分析的復(fù)雜度,并且能夠支持連續(xù)的數(shù)據(jù)分析挖掘。
附圖說(shuō)明
為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案,下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)要介紹,顯而易見(jiàn)地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)講,在不付出創(chuàng)造性勞動(dòng)性的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明實(shí)施例提供的一種網(wǎng)絡(luò)告警關(guān)聯(lián)分析的方法流程示意圖;
圖2為本發(fā)明實(shí)施例提供的一種時(shí)間窗口長(zhǎng)度和窗口移動(dòng)步長(zhǎng)結(jié)構(gòu)示意圖;
圖3為本發(fā)明實(shí)施例提供的告警維度包括一種維度信息的一種告警關(guān)聯(lián)分析的方法流程示意圖;
圖4為本發(fā)明實(shí)施例提供的告警維度包括多種維度信息的一種告警關(guān)聯(lián)分析的方法流程示意圖;
圖5為本發(fā)明實(shí)施例提供的告警維度包括多種維度信息的另一種告警關(guān)聯(lián)分析的方法流程示意圖;
圖6為本發(fā)明實(shí)施例提供的一種網(wǎng)絡(luò)告警關(guān)聯(lián)分析的裝置結(jié)構(gòu)示意圖。
具體實(shí)施方式
為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步地詳細(xì)描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部份實(shí)施例,而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
圖1例性的示出了本發(fā)明實(shí)施例提供的一種網(wǎng)絡(luò)告警關(guān)聯(lián)分析的方法流程示意圖,包括:
步驟101:根據(jù)預(yù)設(shè)的時(shí)間窗口長(zhǎng)度和預(yù)設(shè)的窗口移動(dòng)步長(zhǎng),確定N條告警信息中每一條告警信息落入的時(shí)間窗口。
其中,窗口移動(dòng)步長(zhǎng)小于時(shí)間窗口長(zhǎng)度,N為正整數(shù)。圖2為本發(fā)明實(shí)施例提供的一種時(shí)間窗口長(zhǎng)度和窗口移動(dòng)步長(zhǎng)結(jié)構(gòu)示意圖,如圖2所示:
設(shè)置時(shí)間窗口長(zhǎng)度為T,設(shè)置窗口移動(dòng)步長(zhǎng)為λ,起始時(shí)間窗口從時(shí)間t1開(kāi)始至?xí)r間t2結(jié)束,第二個(gè)時(shí)間窗口從時(shí)間t3開(kāi)始至?xí)r間t4結(jié)束,其中,t3=t1+λ,t4=t2+λ;第n個(gè)時(shí)間窗口從時(shí)間t(2n-1)開(kāi)始至?xí)r間t2n結(jié)束,t(2n-1)=t1+(n-1)λ,t2n=t2+(n-1)λ。
例如,可設(shè)置時(shí)間窗口長(zhǎng)度為5分鐘,窗口移動(dòng)步長(zhǎng)為1分鐘,則一天中的前三個(gè)時(shí)間窗口劃分為(按時(shí):分:秒表示):00:00:00~00:04:59、00:01:00~00:05:59、00:02:00~00:06:59,最后三個(gè)時(shí)間窗口可以為(按時(shí):分:秒表示):23:53:00~23:57:59、23:54:00~23:58:59、23:55:00~23:59:59。
告警信息但不限于下列信息中的部分或全部:告警時(shí)間、告警標(biāo)題、告警網(wǎng)元、告警專業(yè)、告警地區(qū)。
其中,告警時(shí)間為告警事件發(fā)生的時(shí)間,如00:07:13;告警標(biāo)題為表明 告警事件的簡(jiǎn)短語(yǔ)句,如S1接口故障;告警網(wǎng)元為告警事件對(duì)應(yīng)的網(wǎng)絡(luò)單元,例如PDH(Plesiochronous Digital Hierarchy,準(zhǔn)同步數(shù)字系列)設(shè)備;告警專業(yè)為告警網(wǎng)元的分類,例如傳輸網(wǎng)絡(luò);告警地區(qū)為告警所在地區(qū),例如桂林市。
在實(shí)施中,可以根據(jù)每一條告警信息中的告警時(shí)間,確定每一條告警信息落入的時(shí)間窗口。
例如,一條告警信息為中的時(shí)間信息為00:02:00~00:03:20,根據(jù)上述時(shí)間窗口的劃分,可知該告警信息落入了一天中的第一個(gè)時(shí)間窗口。
可選的,本發(fā)明實(shí)施例的步驟101之前還可以包括:
確定N條告警信息中每一條告警信息對(duì)應(yīng)的告警標(biāo)簽;根據(jù)告警標(biāo)簽與告警標(biāo)識(shí)的映射關(guān)系,確定每一條告警標(biāo)簽對(duì)應(yīng)的告警標(biāo)識(shí),其中每條告警標(biāo)簽對(duì)應(yīng)一個(gè)告警標(biāo)識(shí)。
具體地,可以根據(jù)預(yù)設(shè)的告警維度,確定每一條告警信息對(duì)應(yīng)的告警標(biāo)簽。其中,預(yù)設(shè)的告警維度可以包括以下維度信息中的部分或全部:告警標(biāo)題、告警網(wǎng)元、告警專業(yè)、告警地區(qū)。例如,可以根據(jù)告警標(biāo)題確定每一條告警信息對(duì)應(yīng)的告警標(biāo)簽。若某一告警信息的告警標(biāo)題為“S1接口故障”,則可以將“S1接口故障”作為該告警信息對(duì)應(yīng)的告警標(biāo)簽,又根據(jù)“S1接口故障”對(duì)應(yīng)的告警標(biāo)識(shí)為ID1,則得到該告警信息對(duì)應(yīng)的告警標(biāo)識(shí)為ID1。
步驟102:根據(jù)告警信息與告警標(biāo)識(shí)的映射關(guān)系,確定告警信息對(duì)應(yīng)的告警標(biāo)識(shí),根據(jù)同一個(gè)時(shí)間窗口中的所有告警信息對(duì)應(yīng)的告警標(biāo)識(shí),確定時(shí)間窗口對(duì)應(yīng)的至少一個(gè)告警事務(wù)。
具體地,由于維度信息選取的種類數(shù)不同,一條告警信息可以對(duì)應(yīng)一個(gè)告警標(biāo)識(shí),也可以對(duì)應(yīng)多個(gè)告警標(biāo)識(shí)。例如,告警維度包括一種維度信息,則告警信息1可對(duì)應(yīng)告警標(biāo)識(shí)為ID1;若告警維度包括多種維度信息,則告警信息1可對(duì)應(yīng)告警標(biāo)識(shí)為ID11和ID21和ID31。
進(jìn)一步地,為了后續(xù)分析的準(zhǔn)確性,還需要對(duì)出現(xiàn)在每個(gè)時(shí)間窗口內(nèi)相同的告警標(biāo)識(shí)做去重操作。即若同一個(gè)告警事務(wù)中包括相同的告警標(biāo)識(shí),則只 保留一個(gè)告警標(biāo)識(shí)。
步驟103:根據(jù)預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,確定包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果。
本發(fā)明實(shí)施例中,可以通過(guò)分布式內(nèi)存計(jì)算框架Spark平臺(tái),采用關(guān)聯(lián)規(guī)則算法Apriori確定多個(gè)告警標(biāo)識(shí)落入同一個(gè)時(shí)間窗口的次數(shù)。由于關(guān)聯(lián)規(guī)則算法Apriori需要輸入離散的數(shù)據(jù),而告警信息在時(shí)間上是連續(xù)的,通過(guò)時(shí)間窗口長(zhǎng)度和窗口移動(dòng)步長(zhǎng)的設(shè)置將告警信息劃分為多個(gè)時(shí)間窗口,從而獲得了離散數(shù)據(jù)集合,因而可以關(guān)聯(lián)規(guī)則算法Apriori進(jìn)行關(guān)聯(lián)分析,加快了迭代計(jì)算的速度。
進(jìn)一步地,通過(guò)Spark平臺(tái)輸出告警信息關(guān)聯(lián)出現(xiàn)的概率,關(guān)聯(lián)項(xiàng)數(shù)可以是兩項(xiàng),也可以是多項(xiàng)。在Spark運(yùn)行算法的參數(shù)設(shè)置過(guò)程中輸入關(guān)聯(lián)的項(xiàng)數(shù),則可以輸出小于等于該關(guān)聯(lián)項(xiàng)數(shù)的關(guān)聯(lián)結(jié)果。
例如,輸入關(guān)聯(lián)項(xiàng)數(shù)為3,則得出所有兩兩關(guān)聯(lián)和三項(xiàng)關(guān)聯(lián)的告警標(biāo)識(shí)。若分析得出100個(gè)總時(shí)間窗口數(shù)里面有10個(gè)時(shí)間窗口同時(shí)出現(xiàn)“ID1”、“ID2”、“ID3”,20個(gè)時(shí)間窗口同時(shí)出現(xiàn)“ID1”、“ID2”,則輸出“ID1”、“ID2”、“ID3”的三項(xiàng)關(guān)聯(lián)概率為10%,“ID1”、“ID2”的兩項(xiàng)關(guān)聯(lián)概率為20%。
此外,在得出確定包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果后,還可以根據(jù)告警標(biāo)簽與告警標(biāo)識(shí)的映射關(guān)系,將包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果轉(zhuǎn)換成包含告警標(biāo)簽的關(guān)聯(lián)分析結(jié)果。
本發(fā)明實(shí)施例提供一種網(wǎng)絡(luò)告警關(guān)聯(lián)分析的方法,根據(jù)預(yù)設(shè)的時(shí)間窗口長(zhǎng)度和預(yù)設(shè)的窗口移動(dòng)步長(zhǎng),確定N條告警信息中每一條告警信息落入的時(shí)間窗口;根據(jù)告警信息與告警標(biāo)識(shí)的映射關(guān)系,確定告警信息對(duì)應(yīng)的告警標(biāo)識(shí),根據(jù)同一個(gè)時(shí)間窗口中的所有告警信息對(duì)應(yīng)的告警標(biāo)識(shí),確定時(shí)間窗口對(duì)應(yīng)的至少一個(gè)告警事務(wù);根據(jù)預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,確定包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果。本發(fā)明提供一種網(wǎng)絡(luò)告警關(guān)聯(lián)分析的方法,通過(guò)告警標(biāo)識(shí)的轉(zhuǎn)換降低了關(guān)聯(lián)分析的復(fù)雜度,并且能夠支持連續(xù)的數(shù)據(jù)分析挖 掘。
下面根據(jù)維度信息選取的種類數(shù)不同,分三種情況對(duì)本發(fā)明實(shí)施例的網(wǎng)絡(luò)告警關(guān)聯(lián)分析的方法進(jìn)行詳細(xì)闡述。
情況一:告警維度包括一種維度信息。
圖3為本發(fā)明實(shí)施例提供的告警維度包括一種維度信息的一種告警關(guān)聯(lián)分析的方法流程示意圖,如圖3所示:
步驟301:確定N條告警信息中每一條告警信息對(duì)應(yīng)的告警標(biāo)簽,根據(jù)告警標(biāo)簽與告警標(biāo)識(shí)的映射關(guān)系,確定每一條告警標(biāo)簽對(duì)應(yīng)的告警標(biāo)識(shí)。
其中,N為正整數(shù)。具體地,每條告警標(biāo)簽對(duì)應(yīng)一個(gè)告警標(biāo)識(shí),并且可以根據(jù)預(yù)設(shè)的告警維度,確定每一條告警信息對(duì)應(yīng)的告警標(biāo)簽。其中,預(yù)設(shè)的告警維度可以包括以下維度信息中的部分或全部:告警標(biāo)題、告警網(wǎng)元、告警專業(yè)、告警地區(qū)。
由于本發(fā)明實(shí)施例中告警維度包括一種維度信息,例如可以選取告警標(biāo)題作為告警標(biāo)簽。例如,從某天的告警數(shù)據(jù)庫(kù)獲取200萬(wàn)條告警信息,告警信息1的告警標(biāo)題為“ONU電源掉電”,則可以將“ONU電源掉電”作為該告警信息對(duì)應(yīng)的告警標(biāo)簽,又根據(jù)“ONU電源掉電”對(duì)應(yīng)的告警標(biāo)識(shí)為ID1,則得到該告警標(biāo)簽對(duì)應(yīng)的告警標(biāo)識(shí)為ID1,同樣地,得到告警標(biāo)簽“S1接口故障”對(duì)應(yīng)的告警標(biāo)識(shí)為ID2;得到告警標(biāo)簽“B相電壓過(guò)低告警”對(duì)應(yīng)的告警標(biāo)識(shí)為ID3。
步驟302:根據(jù)預(yù)設(shè)的時(shí)間窗口長(zhǎng)度和預(yù)設(shè)的窗口移動(dòng)步長(zhǎng),確定N條告警信息中每一條告警信息落入的時(shí)間窗口。
其中,窗口移動(dòng)步長(zhǎng)小于時(shí)間窗口長(zhǎng)度。具體地,告警信息為包括告警時(shí)間、告警標(biāo)題、告警網(wǎng)元等多個(gè)數(shù)據(jù)信息,則可以根據(jù)每一條告警信息中的告警時(shí)間,確定每一條告警信息落入的時(shí)間窗口。
具體地,可將200萬(wàn)條告警信息按照時(shí)間窗口劃分,例如劃分成100個(gè)時(shí)間窗口。確定時(shí)間窗口長(zhǎng)度和窗口移動(dòng)步長(zhǎng)的過(guò)程在此不再贅述。
步驟303:根據(jù)告警信息與告警標(biāo)識(shí)的映射關(guān)系,確定告警信息對(duì)應(yīng)的告警標(biāo)識(shí),根據(jù)同一個(gè)時(shí)間窗口中的所有告警信息對(duì)應(yīng)的告警標(biāo)識(shí),確定時(shí)間窗口對(duì)應(yīng)的一個(gè)告警事務(wù)。
具體地,根據(jù)告警信息與告警標(biāo)識(shí)的映射關(guān)系,得到告警信息1對(duì)應(yīng)的告警標(biāo)識(shí)為ID1,告警時(shí)間為00:00:00~00:01:00;告警信息2對(duì)應(yīng)的告警標(biāo)識(shí)為ID2,告警時(shí)間為00:00:00~00:02:00;告警信息3對(duì)應(yīng)的告警標(biāo)識(shí)為ID3,告警時(shí)間為00:00:00~00:03:00;告警信息4對(duì)應(yīng)的告警標(biāo)識(shí)為ID4,告警時(shí)間為00:00:00~00:04:00。得到第一個(gè)時(shí)間窗口的告警標(biāo)識(shí)為集合U1={ID1,ID2,ID3,ID4},則將U1作為一個(gè)告警事務(wù)。
步驟304:根據(jù)維度信息對(duì)應(yīng)的預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,確定維度信息對(duì)應(yīng)的包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果。
具體地,根據(jù)所有的告警事務(wù)U中多個(gè)告警標(biāo)識(shí)落入同一個(gè)時(shí)間窗口的次數(shù),通過(guò)分布式內(nèi)存計(jì)算框架Spark平臺(tái),采用關(guān)聯(lián)規(guī)則算法Apriori確定多個(gè)告警標(biāo)識(shí)落入同一個(gè)時(shí)間窗口的次數(shù)。由于關(guān)聯(lián)規(guī)則算法Apriori需要輸入離散的數(shù)據(jù),而告警信息在時(shí)間上是連續(xù)的,通過(guò)時(shí)間窗口長(zhǎng)度和窗口移動(dòng)步長(zhǎng)的設(shè)置將告警信息劃分為多個(gè)時(shí)間窗口,從而獲得了離散數(shù)據(jù)集合,因而可以關(guān)聯(lián)規(guī)則算法Apriori進(jìn)行關(guān)聯(lián)分析,加快了迭代計(jì)算的速度。
進(jìn)一步地,通過(guò)Spark平臺(tái)輸出告警信息關(guān)聯(lián)出現(xiàn)的概率,關(guān)聯(lián)項(xiàng)數(shù)可以是兩項(xiàng),也可以是多項(xiàng)。在Spark運(yùn)行算法的參數(shù)設(shè)置過(guò)程中輸入關(guān)聯(lián)的項(xiàng)數(shù),則可以輸出小于等于該關(guān)聯(lián)項(xiàng)數(shù)的關(guān)聯(lián)結(jié)果。
例如,輸入關(guān)聯(lián)項(xiàng)數(shù)為3,則得出所有兩兩關(guān)聯(lián)和三項(xiàng)關(guān)聯(lián)的告警標(biāo)識(shí)。若分析得出100個(gè)總時(shí)間窗口數(shù)里面有10個(gè)時(shí)間窗口同時(shí)出現(xiàn)“ID1”、“ID2”、“ID3”,20個(gè)時(shí)間窗口同時(shí)出現(xiàn)“ID1”、“ID2”,則輸出“ID1”、“ID2”、“ID3”三項(xiàng)關(guān)聯(lián)概率為10%,“ID1”、“ID2”兩項(xiàng)關(guān)聯(lián)概率為20%。
此外,在得出確定包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果后,還可以根據(jù)告警標(biāo)簽與告警標(biāo)識(shí)的映射關(guān)系,將包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果轉(zhuǎn)換成包含告警標(biāo)簽 的關(guān)聯(lián)分析結(jié)果。根據(jù)上述結(jié)果,可還原得到“ONU電源掉電”、“S1接口故障”、“B相電壓過(guò)低告警”三項(xiàng)關(guān)聯(lián)概率為10%,“ONU電源掉電”、“S1接口故障”兩項(xiàng)關(guān)聯(lián)概率為20%。
情況二:告警維度包括多種維度信息,告警信息對(duì)應(yīng)的一個(gè)告警標(biāo)簽包括多種維度信息。
圖4為本發(fā)明實(shí)施例提供的告警維度包括多種維度信息的一種告警關(guān)聯(lián)分析的方法流程示意圖,如圖4所示:
步驟401:確定N條告警信息中每一條告警信息對(duì)應(yīng)的告警標(biāo)簽,根據(jù)告警標(biāo)簽與告警標(biāo)識(shí)的映射關(guān)系,確定每一條告警標(biāo)簽對(duì)應(yīng)的告警標(biāo)識(shí)。
其中,N為正整數(shù)。具體地,每條告警標(biāo)簽對(duì)應(yīng)一個(gè)告警標(biāo)識(shí),并且可以根據(jù)預(yù)設(shè)的告警維度,確定每一條告警信息對(duì)應(yīng)的告警標(biāo)簽。其中,預(yù)設(shè)的告警維度可以包括以下維度信息中的部分或全部:告警標(biāo)題、告警網(wǎng)元、告警專業(yè)、告警地區(qū)。
由于本發(fā)明實(shí)施例中告警維度包括多種維度信息,告警信息對(duì)應(yīng)的一個(gè)告警標(biāo)簽包括多種維度信息,例如可以同時(shí)選取告警標(biāo)題、告警網(wǎng)元和告警專業(yè)作為告警標(biāo)簽。例如,從某天的告警數(shù)據(jù)庫(kù)獲取200萬(wàn)條告警信息,告警信息1的告警標(biāo)題為“ONU電源掉電”、告警網(wǎng)元為“網(wǎng)元1”、告警專業(yè)為“專業(yè)1”,則可以將“ONU電源掉電,網(wǎng)元1,專業(yè)1”作為該告警信息對(duì)應(yīng)的告警標(biāo)簽,又根據(jù)“ONU電源掉電,網(wǎng)元1,專業(yè)1”對(duì)應(yīng)的告警標(biāo)識(shí)為ID1,則得到該告警標(biāo)簽對(duì)應(yīng)的告警標(biāo)識(shí)為ID1;同樣地,根據(jù)告警信息2對(duì)應(yīng)的告警標(biāo)簽“S1接口故障,網(wǎng)元2,專業(yè)2”,得到對(duì)應(yīng)的告警標(biāo)識(shí)為ID2;同樣地,根據(jù)告警信息2對(duì)應(yīng)的告警標(biāo)簽“B相電壓過(guò)低告警,網(wǎng)元3,專業(yè)3”,得到對(duì)應(yīng)的告警標(biāo)識(shí)為ID3。
步驟402:根據(jù)預(yù)設(shè)的時(shí)間窗口長(zhǎng)度和預(yù)設(shè)的窗口移動(dòng)步長(zhǎng),確定N條告警信息中每一條告警信息落入的時(shí)間窗口。
其中,窗口移動(dòng)步長(zhǎng)小于時(shí)間窗口長(zhǎng)度。具體地,告警信息為包括告警時(shí) 間、告警標(biāo)題、告警網(wǎng)元等多個(gè)數(shù)據(jù)信息,則可以根據(jù)每一條告警信息中的告警時(shí)間,確定每一條告警信息落入的時(shí)間窗口。
具體地,可將200萬(wàn)條告警信息按照時(shí)間窗口劃分,例如劃分成100個(gè)時(shí)間窗口。確定時(shí)間窗口長(zhǎng)度和窗口移動(dòng)步長(zhǎng)的過(guò)程在此不再贅述。
步驟403:根據(jù)告警信息與告警標(biāo)識(shí)的映射關(guān)系,確定告警信息對(duì)應(yīng)的告警標(biāo)識(shí),根據(jù)同一個(gè)時(shí)間窗口中的所有告警信息對(duì)應(yīng)的告警標(biāo)識(shí),確定時(shí)間窗口對(duì)應(yīng)的一個(gè)告警事務(wù)。
具體地,根據(jù)告警信息與告警標(biāo)識(shí)的映射關(guān)系,得到告警信息1對(duì)應(yīng)的告警標(biāo)識(shí)為ID1,告警時(shí)間為00:00:00~00:01:00;告警信息2對(duì)應(yīng)的告警標(biāo)識(shí)為ID2,告警時(shí)間為00:00:00~00:02:00;告警信息3對(duì)應(yīng)的告警標(biāo)識(shí)為ID3,告警時(shí)間為00:00:00~00:03:00;告警信息4對(duì)應(yīng)的告警標(biāo)識(shí)為ID4,告警時(shí)間為00:00:00~00:04:00。得到第一個(gè)時(shí)間窗口的告警標(biāo)識(shí)為集合U1={ID1,ID2,ID3,ID4,……},則將U1作為一個(gè)告警事務(wù)。
步驟404:根據(jù)多種維度信息對(duì)應(yīng)的預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,確定多種維度信息對(duì)應(yīng)的包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果。
具體地,根據(jù)所有的告警事務(wù)U中多個(gè)告警標(biāo)識(shí)落入同一個(gè)時(shí)間窗口的次數(shù),通過(guò)分布式內(nèi)存計(jì)算框架Spark平臺(tái),采用關(guān)聯(lián)規(guī)則算法Apriori確定多個(gè)告警標(biāo)識(shí)落入同一個(gè)時(shí)間窗口的次數(shù)。由于關(guān)聯(lián)規(guī)則算法Apriori需要輸入離散的數(shù)據(jù),而告警信息在時(shí)間上是連續(xù)的,通過(guò)時(shí)間窗口長(zhǎng)度和窗口移動(dòng)步長(zhǎng)的設(shè)置將告警信息劃分為多個(gè)時(shí)間窗口,從而獲得了離散數(shù)據(jù)集合,因而可以關(guān)聯(lián)規(guī)則算法Apriori進(jìn)行關(guān)聯(lián)分析,加快了迭代計(jì)算的速度。
進(jìn)一步地,通過(guò)Spark平臺(tái)輸出告警信息關(guān)聯(lián)出現(xiàn)的概率,關(guān)聯(lián)項(xiàng)數(shù)可以是兩項(xiàng),也可以是多項(xiàng)。在Spark運(yùn)行算法的參數(shù)設(shè)置過(guò)程中輸入關(guān)聯(lián)的項(xiàng)數(shù),則可以輸出小于等于該關(guān)聯(lián)項(xiàng)數(shù)的關(guān)聯(lián)結(jié)果。
例如,輸入關(guān)聯(lián)項(xiàng)數(shù)為3,則得出所有兩兩關(guān)聯(lián)和三項(xiàng)關(guān)聯(lián)的告警標(biāo)識(shí)。若分析得出100個(gè)總時(shí)間窗口數(shù)里面有10個(gè)時(shí)間窗口同時(shí)出現(xiàn)“ID1”、“ID2”、 “ID3”,20個(gè)時(shí)間窗口同時(shí)出現(xiàn)“ID1”、“ID2”,則輸出“ID1”、“ID2”、“ID3”三項(xiàng)關(guān)聯(lián)概率為10%,“ID1”、“ID2”兩項(xiàng)關(guān)聯(lián)概率為20%。
此外,在得出確定包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果后,還可以根據(jù)告警標(biāo)簽與告警標(biāo)識(shí)的映射關(guān)系,將包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果轉(zhuǎn)換成包含告警標(biāo)簽的關(guān)聯(lián)分析結(jié)果。根據(jù)上述結(jié)果,可還原得到“ONU電源掉電,網(wǎng)元1,專業(yè)1”、“S1接口故障,網(wǎng)元2,專業(yè)2”、“B相電壓過(guò)低告警,網(wǎng)元3,專業(yè)3”三項(xiàng)關(guān)聯(lián)概率為10%,“ONU電源掉電,網(wǎng)元1,專業(yè)1”、“S1接口故障,網(wǎng)元2,專業(yè)2”兩項(xiàng)關(guān)聯(lián)概率為20%。
情況三:告警維度包括多種維度信息,告警信息對(duì)應(yīng)的一個(gè)告警標(biāo)簽包括一種維度信息。
圖5為本發(fā)明實(shí)施例提供的告警維度包括多種維度信息的另一種告警關(guān)聯(lián)分析的方法流程示意圖,如圖5所示:
步驟501:確定N條告警信息中每一條告警信息對(duì)應(yīng)的告警標(biāo)簽,根據(jù)告警標(biāo)簽與告警標(biāo)識(shí)的映射關(guān)系,確定每一條告警標(biāo)簽對(duì)應(yīng)的告警標(biāo)識(shí)。
其中,N為正整數(shù)。具體地,每條告警標(biāo)簽對(duì)應(yīng)一個(gè)告警標(biāo)識(shí),并且可以根據(jù)預(yù)設(shè)的告警維度,確定每一條告警信息對(duì)應(yīng)的告警標(biāo)簽。其中,預(yù)設(shè)的告警維度可以包括以下維度信息中的部分或全部:告警標(biāo)題、告警網(wǎng)元、告警專業(yè)、告警地區(qū)。
由于本發(fā)明實(shí)施例中告警維度包括多種維度信息,告警信息對(duì)應(yīng)的一個(gè)告警標(biāo)簽包括一種維度信息,例如可以同時(shí)選取告警標(biāo)題、告警網(wǎng)元和告警專業(yè)作為告警標(biāo)簽。
例如,從某天的告警數(shù)據(jù)庫(kù)獲取200萬(wàn)條告警信息,告警信息1的告警標(biāo)題為“ONU電源掉電”,則告警信息1對(duì)應(yīng)的第一個(gè)告警標(biāo)簽為“ONU電源掉電”,告警信息1對(duì)應(yīng)的第一個(gè)告警標(biāo)識(shí)為ID11;告警信息1的告警網(wǎng)元為“網(wǎng)元1”,則告警信息1對(duì)應(yīng)的第二個(gè)告警標(biāo)簽為“網(wǎng)元1”,告警信息1對(duì)應(yīng)的第二個(gè)告警標(biāo)識(shí)為ID21;告警信息1的告警專業(yè)為“專業(yè)1”,則告警信 息1對(duì)應(yīng)的第三個(gè)告警標(biāo)簽為“專業(yè)1”,告警信息1對(duì)應(yīng)的第三個(gè)告警標(biāo)識(shí)ID31;同樣的,根據(jù)告警信息2的告警標(biāo)題“S1接口故障”、告警網(wǎng)元“網(wǎng)元2”、告警專業(yè)“專業(yè)2”,分別得到三個(gè)告警標(biāo)識(shí)ID12、ID22、ID32;同樣的,根據(jù)告警信息3的告警標(biāo)題“B相電壓過(guò)低告警”、告警網(wǎng)元“網(wǎng)元3”、告警專業(yè)“專業(yè)3”,分別得到三個(gè)告警標(biāo)識(shí)ID13、ID23、ID33。
步驟502:根據(jù)預(yù)設(shè)的時(shí)間窗口長(zhǎng)度和預(yù)設(shè)的窗口移動(dòng)步長(zhǎng),確定N條告警信息中每一條告警信息落入的時(shí)間窗口。
其中,窗口移動(dòng)步長(zhǎng)小于時(shí)間窗口長(zhǎng)度。具體地,告警信息為包括告警時(shí)間、告警標(biāo)題、告警網(wǎng)元等多個(gè)數(shù)據(jù)信息,則可以根據(jù)每一條告警信息中的告警時(shí)間,確定每一條告警信息落入的時(shí)間窗口。
具體地,可將200萬(wàn)條告警信息按照時(shí)間窗口劃分,例如劃分成100個(gè)時(shí)間窗口。確定時(shí)間窗口長(zhǎng)度和窗口移動(dòng)步長(zhǎng)的過(guò)程在此不再贅述。
步驟503:將同一個(gè)時(shí)間窗口中同一個(gè)維度信息對(duì)應(yīng)的所有告警標(biāo)識(shí)作為一個(gè)告警事務(wù)。
具體地,根據(jù)告警信息對(duì)應(yīng)的告警時(shí)間,若同一個(gè)維度信息“告警標(biāo)題”對(duì)應(yīng)的ID11、ID12、ID13在同一個(gè)時(shí)間窗口,則得到該時(shí)間窗口的告警標(biāo)識(shí)為集合U11={ID11,ID12,ID13,……}作為該時(shí)間窗口的第一種維度的告警事務(wù),將第n種維度信息對(duì)應(yīng)的該窗口的告警標(biāo)識(shí)的集合作為該時(shí)間窗口的第n種維度的告警事務(wù)。
步驟504:根據(jù)每一種維度信息對(duì)應(yīng)的預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,分別確定每一種維度信息對(duì)應(yīng)的包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果。
具體地,針對(duì)一種維度信息“告警標(biāo)題”,將告警事務(wù)U中同一個(gè)維度信息的多個(gè)告警標(biāo)識(shí)落入同一個(gè)時(shí)間窗口的次數(shù),通過(guò)分布式內(nèi)存計(jì)算框架Spark平臺(tái),采用關(guān)聯(lián)規(guī)則算法Apriori確定多個(gè)告警標(biāo)識(shí)落入同一個(gè)時(shí)間窗口的次數(shù)。
需要說(shuō)明的是,本發(fā)明實(shí)施例中針對(duì)多種維度信息的關(guān)聯(lián)分析重復(fù)上述過(guò)程,即重復(fù)計(jì)算告警事務(wù)U中每一個(gè)維度信息的多個(gè)告警標(biāo)識(shí)落入同一個(gè)時(shí)間窗口的次數(shù)。
由于關(guān)聯(lián)規(guī)則算法Apriori需要輸入離散的數(shù)據(jù),而告警信息在時(shí)間上是連續(xù)的,通過(guò)時(shí)間窗口長(zhǎng)度和窗口移動(dòng)步長(zhǎng)的設(shè)置將告警信息劃分為多個(gè)時(shí)間窗口,從而獲得了離散數(shù)據(jù)集合,因而可以關(guān)聯(lián)規(guī)則算法Apriori進(jìn)行關(guān)聯(lián)分析,加快了迭代計(jì)算的速度。
進(jìn)一步地,通過(guò)Spark平臺(tái)輸出告警信息關(guān)聯(lián)出現(xiàn)的概率,關(guān)聯(lián)項(xiàng)數(shù)可以是兩項(xiàng),也可以是多項(xiàng)。在Spark運(yùn)行算法的參數(shù)設(shè)置過(guò)程中輸入關(guān)聯(lián)的項(xiàng)數(shù),則可以輸出小于等于該關(guān)聯(lián)項(xiàng)數(shù)的關(guān)聯(lián)結(jié)果。
例如,輸入關(guān)聯(lián)項(xiàng)數(shù)為3,則得出所有兩兩關(guān)聯(lián)和三項(xiàng)關(guān)聯(lián)的告警標(biāo)識(shí)。若分析得出100個(gè)總時(shí)間窗口數(shù)里面有10個(gè)時(shí)間窗口同時(shí)出現(xiàn)“ID11”、“ID12”、“ID13”,20個(gè)時(shí)間窗口同時(shí)出現(xiàn)“ID21”、“ID22”,則輸出“ID11”、“ID12”、“ID13”三項(xiàng)關(guān)聯(lián)概率為10%,“ID21”、“ID22”兩項(xiàng)關(guān)聯(lián)概率為20%。
此外,在得出確定包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果后,還可以根據(jù)告警標(biāo)簽與告警標(biāo)識(shí)的映射關(guān)系,將包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果轉(zhuǎn)換成包含告警標(biāo)簽的關(guān)聯(lián)分析結(jié)果。根據(jù)上述結(jié)果,可還原得到“ONU電源掉電”、“S1接口故障”、“B相電壓過(guò)低告警”三項(xiàng)關(guān)聯(lián)概率為10%,“網(wǎng)元1”、“網(wǎng)元2”兩項(xiàng)關(guān)聯(lián)概率為20%。
基于同樣的發(fā)明構(gòu)思,本發(fā)明實(shí)施例還提供一種告警關(guān)聯(lián)分析的裝置,如圖6所示,為本發(fā)明實(shí)施例提供發(fā)的一種告警關(guān)聯(lián)分析的裝置結(jié)構(gòu)示意圖,包括:
窗口確定模塊601,用于根據(jù)預(yù)設(shè)的時(shí)間窗口長(zhǎng)度和預(yù)設(shè)的窗口移動(dòng)步長(zhǎng),確定N條告警信息中每一條告警信息落入的時(shí)間窗口,其中,窗口移動(dòng)步長(zhǎng)小于時(shí)間窗口長(zhǎng)度,N為正整數(shù);
事務(wù)確定模塊602,用于根據(jù)告警信息與告警標(biāo)識(shí)的映射關(guān)系,確定告警 信息對(duì)應(yīng)的告警標(biāo)識(shí),根據(jù)同一個(gè)時(shí)間窗口中的所有告警信息對(duì)應(yīng)的告警標(biāo)識(shí),確定時(shí)間窗口對(duì)應(yīng)的至少一個(gè)告警事務(wù);
結(jié)果確定模塊603,用于根據(jù)預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,確定包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果。
可選的,窗口確定模塊601,還用于:
確定N條告警信息中每一條告警信息對(duì)應(yīng)的告警標(biāo)簽;
根據(jù)告警標(biāo)簽與告警標(biāo)識(shí)的映射關(guān)系,確定每一條告警標(biāo)簽對(duì)應(yīng)的告警標(biāo)識(shí),其中每條告警標(biāo)簽對(duì)應(yīng)一個(gè)告警標(biāo)識(shí);
結(jié)果確定模塊603,還用于:
根據(jù)告警標(biāo)簽與告警標(biāo)識(shí)的映射關(guān)系,將包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果轉(zhuǎn)換成包含告警標(biāo)簽的關(guān)聯(lián)分析結(jié)果。
可選的,窗口確定模塊601,還用于:
根據(jù)預(yù)設(shè)的告警維度,確定每一條告警信息對(duì)應(yīng)的告警標(biāo)簽;
其中,告警維度包括下列維度信息中的部分或全部:告警標(biāo)題、告警網(wǎng)元、告警專業(yè)、告警地區(qū)。
可選的,預(yù)設(shè)的告警維度包括一種維度信息;
事務(wù)確定模塊602,還用于:
根據(jù)同一個(gè)時(shí)間窗口中的所有告警信息對(duì)應(yīng)的告警標(biāo)識(shí),確定時(shí)間窗口對(duì)應(yīng)的一個(gè)告警事務(wù);
結(jié)果確定模塊603,還用于:
根據(jù)維度信息對(duì)應(yīng)的預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,確定維度信息對(duì)應(yīng)的包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果。
可選的,預(yù)設(shè)的告警維度包括多種維度信息;
事務(wù)確定模塊602,還用于:
若告警信息對(duì)應(yīng)的一個(gè)告警標(biāo)簽包括多種維度信息,根據(jù)同一個(gè)時(shí)間窗口中的所有告警信息對(duì)應(yīng)的告警標(biāo)識(shí),確定時(shí)間窗口對(duì)應(yīng)的一個(gè)告警事務(wù);
若告警信息對(duì)應(yīng)的一個(gè)告警標(biāo)簽包括一種維度信息,將同一個(gè)時(shí)間窗口中同一個(gè)維度信息對(duì)應(yīng)的所有告警標(biāo)識(shí)作為一個(gè)告警事務(wù);
結(jié)果確定模塊603,還用于:
若告警信息對(duì)應(yīng)的一個(gè)告警標(biāo)簽包括多種維度信息,根據(jù)多種維度信息對(duì)應(yīng)的預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,確定多種維度信息對(duì)應(yīng)的包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果;
若告警信息對(duì)應(yīng)的一個(gè)告警標(biāo)簽包括一種維度信息,根據(jù)每一種維度信息對(duì)應(yīng)的預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,分別確定每一種維度信息對(duì)應(yīng)的包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果。
可選的,窗口確定模塊601,還用于:
根據(jù)每一條告警信息中的告警時(shí)間,確定每一條告警信息落入的時(shí)間窗口。
可選的,關(guān)聯(lián)規(guī)則為確定多個(gè)告警標(biāo)識(shí)落入同一個(gè)時(shí)間窗口的次數(shù),結(jié)果確定模塊603,還用于:
通過(guò)分布式內(nèi)存計(jì)算框架Spark平臺(tái),采用關(guān)聯(lián)規(guī)則算法Apriori確定多個(gè)告警標(biāo)識(shí)落入同一個(gè)時(shí)間窗口的次數(shù);
根據(jù)確定的次數(shù)生成包含多個(gè)告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果。
本發(fā)明實(shí)施例提供一種網(wǎng)絡(luò)告警關(guān)聯(lián)分析的裝置,根據(jù)預(yù)設(shè)的時(shí)間窗口長(zhǎng)度和預(yù)設(shè)的窗口移動(dòng)步長(zhǎng),確定N條告警信息中每一條告警信息落入的時(shí)間窗口;根據(jù)告警信息與告警標(biāo)識(shí)的映射關(guān)系,確定告警信息對(duì)應(yīng)的告警標(biāo)識(shí),根據(jù)同一個(gè)時(shí)間窗口中的所有告警信息對(duì)應(yīng)的告警標(biāo)識(shí),確定時(shí)間窗口對(duì)應(yīng)的至少一個(gè)告警事務(wù);根據(jù)預(yù)設(shè)的關(guān)聯(lián)規(guī)則,對(duì)所有告警事務(wù)進(jìn)行關(guān)聯(lián)分析,確定包含告警標(biāo)識(shí)的關(guān)聯(lián)分析結(jié)果。本發(fā)明提供一種網(wǎng)絡(luò)告警關(guān)聯(lián)分析的裝置,通過(guò)告警標(biāo)識(shí)的轉(zhuǎn)換降低了關(guān)聯(lián)分析的復(fù)雜度,并且能夠支持連續(xù)的數(shù)據(jù)分析挖掘。
本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn) 品的流程圖和/或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合。可提供這些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器,使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的系統(tǒng)。
這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中,使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令系統(tǒng)的制造品,該指令系統(tǒng)實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。
這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上,使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理,從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。
盡管已描述了本發(fā)明的優(yōu)選實(shí)施例,但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念,則可對(duì)這些實(shí)施例作出另外的變更和修改。所以,所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。
顯然,本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣,倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi),則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。