一種it系統(tǒng)事件標(biāo)準(zhǔn)化實(shí)現(xiàn)方法
【專利摘要】本發(fā)明涉及一種IT系統(tǒng)事件標(biāo)準(zhǔn)化實(shí)現(xiàn)方法，將不同協(xié)議與內(nèi)容的消息，轉(zhuǎn)換成標(biāo)準(zhǔn)消息，并將標(biāo)準(zhǔn)消息與規(guī)則庫(kù)匹配，通過標(biāo)準(zhǔn)消息的關(guān)鍵屬性特征，應(yīng)用規(guī)則庫(kù)識(shí)別為標(biāo)準(zhǔn)事件；具體步驟如下：預(yù)先將不同協(xié)議包發(fā)送的原始消息，視為各個(gè)屬性的集合，提取所有屬性數(shù)據(jù)，采用統(tǒng)一的key?value格式存儲(chǔ)，key?value存儲(chǔ)的消息即為標(biāo)準(zhǔn)消息，然后提取標(biāo)準(zhǔn)消息的關(guān)鍵字段，應(yīng)用規(guī)則庫(kù)識(shí)別出消息所采用的協(xié)議類型，根據(jù)協(xié)議類型應(yīng)用對(duì)應(yīng)的規(guī)則，規(guī)則中定義需要匹配的關(guān)鍵屬性，以及定義提取關(guān)鍵字段信息的表達(dá)式，當(dāng)原始消息中的內(nèi)容變更時(shí)，調(diào)整規(guī)則文件即可，無需修改代碼，從而大大的提高了靈活性、準(zhǔn)確性，以及加快了處理速度。
【專利說明】
一種IT系統(tǒng)事件標(biāo)準(zhǔn)化實(shí)現(xiàn)方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及IT運(yùn)維領(lǐng)域，主要是一種IT系統(tǒng)事件標(biāo)準(zhǔn)化實(shí)現(xiàn)方法。
【背景技術(shù)】
[0002]隨著企業(yè)IT架構(gòu)的不斷擴(kuò)展，服務(wù)器、存儲(chǔ)設(shè)備的數(shù)量越來越多，網(wǎng)絡(luò)環(huán)境也變得更加復(fù)雜，網(wǎng)絡(luò)中的消息日志格式多種多樣，沒有一定的規(guī)律可尋，從而給運(yùn)維工作帶來了巨大的挑戰(zhàn)，特別是分支機(jī)構(gòu)眾多的大型企業(yè)或垂直層級(jí)較多的政府單位，為了保障良好的用戶體驗(yàn)和數(shù)據(jù)時(shí)效性，運(yùn)維工作顯得十分艱巨。IT監(jiān)控系統(tǒng)每分鐘要進(jìn)行上萬個(gè)數(shù)據(jù)采集，而對(duì)采集上來的海量數(shù)據(jù)進(jìn)行處理和分析是更難的挑戰(zhàn)。如果數(shù)據(jù)未經(jīng)過處理，這就對(duì)運(yùn)維沒有任何意義和價(jià)值。因此，在大數(shù)據(jù)集中趨勢(shì)越來越明顯的今天，海量處理IT設(shè)備采集到的數(shù)據(jù)，使用不同協(xié)議采集IT設(shè)備信息差異較大，如系統(tǒng)日志、安全日志、性能越界事件、第三方事件等。其特點(diǎn)是數(shù)據(jù)量大，消息格式差別大，數(shù)據(jù)復(fù)雜，可讀性差難于分析處理，那么就需要一套事件標(biāo)準(zhǔn)化技術(shù)來將不同設(shè)備或不同協(xié)議采集到的消息進(jìn)行標(biāo)準(zhǔn)化處理，避免因不同協(xié)議采集同一個(gè)設(shè)備產(chǎn)生不同的告警，并通過提取關(guān)鍵信息，輸出方便運(yùn)維人員直觀且容易理解的信息。
[0003]有鑒于此，特提出本發(fā)明。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于克服現(xiàn)有技術(shù)存在的不足，而提供一種IT系統(tǒng)事件標(biāo)準(zhǔn)化實(shí)現(xiàn)方法，通過事件化技術(shù)，可以將接收到的各類IT系統(tǒng)原始消息，統(tǒng)一轉(zhuǎn)成標(biāo)準(zhǔn)事件。
[0005]本發(fā)明的目的是通過如下技術(shù)方案來完成的。這種IT系統(tǒng)事件標(biāo)準(zhǔn)化實(shí)現(xiàn)方法，將不同協(xié)議與內(nèi)容的消息，轉(zhuǎn)換成標(biāo)準(zhǔn)消息，并將標(biāo)準(zhǔn)消息與規(guī)則庫(kù)匹配，通過標(biāo)準(zhǔn)消息的關(guān)鍵屬性特征，應(yīng)用規(guī)則庫(kù)識(shí)別為標(biāo)準(zhǔn)事件;具體步驟如下:預(yù)先將不同協(xié)議包發(fā)送的原始消息，視為各個(gè)屬性的集合，提取所有屬性數(shù)據(jù)，采用統(tǒng)一的key-value格式存儲(chǔ)，key-value存儲(chǔ)的消息即為標(biāo)準(zhǔn)消息，然后提取標(biāo)準(zhǔn)消息的關(guān)鍵字段，應(yīng)用規(guī)則庫(kù)識(shí)別出消息所采用的協(xié)議類型，根據(jù)協(xié)議類型應(yīng)用對(duì)應(yīng)的規(guī)則，規(guī)則中定義需要匹配的關(guān)鍵屬性，以及定義提取關(guān)鍵字段信息的表達(dá)式，當(dāng)原始消息中的內(nèi)容變更時(shí)，調(diào)整規(guī)則文件即可，無需修改代碼，從而大大的提高了靈活性、準(zhǔn)確性，以及加快了處理速度，并且有效的降低了IT運(yùn)維成本。
[0006]更進(jìn)一步的，具體步驟如下:
[0007](SI)、接入各個(gè)IT軟、硬件采集到的原始事件(syslog、snmp、日志等)，記為原始消息;
[0008](S2)、將SI接入的消息轉(zhuǎn)換成key-value格式存儲(chǔ)的標(biāo)準(zhǔn)消息，為后續(xù)標(biāo)準(zhǔn)化處理提供鋪墊；
[0009](S3)、加載規(guī)則庫(kù)，將已定義的規(guī)則文件加載到內(nèi)存中；
[0010](S4)、提取S2得到的標(biāo)準(zhǔn)消息關(guān)鍵字段，將關(guān)鍵字段與S3中的規(guī)則庫(kù)逐一匹配；[0011 ] (a)、規(guī)則匹配優(yōu)先級(jí)由權(quán)值決定，權(quán)值越高，匹配的優(yōu)先級(jí)越高;默認(rèn)所有規(guī)則的權(quán)值為O。
[0012](b)、當(dāng)某一個(gè)規(guī)則匹配成功后，會(huì)將該規(guī)則的權(quán)值+1;
[0013](S5)、若匹配成功，那么標(biāo)準(zhǔn)消息會(huì)歸類到匹配成功的規(guī)則;若匹配失敗，會(huì)流轉(zhuǎn)到下個(gè)規(guī)則進(jìn)行匹配，直到匹配成功后返回；若所有規(guī)則庫(kù)都無法匹配，那么會(huì)將該消息歸類為未知事件處理，未知事件默認(rèn)會(huì)提取所有屬性；
[0014](S6)、如S5所述，提取匹配成功的規(guī)則中定義的事件類型和字段提取表達(dá)式;將S2得到的標(biāo)準(zhǔn)消息增加事件類型屬性，然后執(zhí)行規(guī)則定義的表達(dá)式，來將標(biāo)準(zhǔn)消息中的屬性轉(zhuǎn)成標(biāo)準(zhǔn)事件中的屬性；
[0015](S7)、規(guī)則權(quán)值計(jì)算，即將消息匹配的規(guī)則權(quán)值+1，提高已匹配規(guī)則的優(yōu)先級(jí)，從而提高標(biāo)準(zhǔn)消息規(guī)則匹配速度。
[0016]本發(fā)明的有益效果為:本發(fā)明用于標(biāo)準(zhǔn)化處理各類IT軟件、硬件所產(chǎn)生的原始事件，提高了原始事件識(shí)別的準(zhǔn)確性，減少因不同協(xié)議采集同一設(shè)備信息產(chǎn)生冗余事件;本發(fā)明可有效解決IT運(yùn)維領(lǐng)域中，軟硬件的原始消息難以理解，難以歸類處理，并有助于提高告警平臺(tái)的處理速度，降低運(yùn)維成本，提高工作效率。
【附圖說明】
[0017]圖1為本發(fā)明中各模塊的運(yùn)行流程圖；
[0018]如上文所示描述了數(shù)據(jù)流向；各IT軟硬件系統(tǒng)發(fā)送的消息，首先經(jīng)過消息接入與消息轉(zhuǎn)換，將接入的不同協(xié)議的消息轉(zhuǎn)換形成系統(tǒng)易識(shí)別的標(biāo)準(zhǔn)消息;其次識(shí)別消息，將標(biāo)準(zhǔn)消息應(yīng)用規(guī)則庫(kù)進(jìn)行匹配，匹配成為系統(tǒng)容易理解的標(biāo)準(zhǔn)事件；
[0019]圖2為本發(fā)明中的步驟S3到S6消息識(shí)別過程示意圖；
[0020]圖3為本發(fā)明中描述了規(guī)則權(quán)值計(jì)算后的優(yōu)先級(jí)變化示意圖；
【具體實(shí)施方式】
[0021 ]下面將結(jié)合附圖和實(shí)施例對(duì)本發(fā)明做詳細(xì)的介紹:
[0022]如圖1所示，本發(fā)明所述的事件標(biāo)準(zhǔn)化技術(shù)，共涉及5個(gè)單元，包括原始消息接入單元、消息轉(zhuǎn)換單元、規(guī)則解析單元、消息識(shí)別單元、規(guī)則算法單元。
[0023]1.原始消息接入單元，用于采集監(jiān)測(cè)設(shè)備或者IT業(yè)務(wù)系統(tǒng)后，將采集結(jié)果以syslog,snmp,日志系統(tǒng)發(fā)送到告警平臺(tái)，采集結(jié)果可能是CPU事件，端口上下線事件，內(nèi)存使用率事件，oracle數(shù)據(jù)庫(kù)表空間事件等，告警平臺(tái)的原始消息接入模塊，接收到采集器的發(fā)送原始事件后，對(duì)原始事件進(jìn)行數(shù)據(jù)包解析，消息解析方式根據(jù)協(xié)議類型處理，一般8}^10〖協(xié)議數(shù)據(jù)包主要處理;[1116 8丨311^)，1108丨他1116 , isRepeat，faci I ity這些字段數(shù)據(jù)。一般snmp 則需要角軍析 peerAddre ss、pdu、securi tyMode 1、securityLeve 1、maxSizeResponsePDU、pduHandle、stateRef erence等字段，還需要解析pdu、peerAddress子屬性，以獲得發(fā)送端的IP地址，端口。
[0024]2.消息轉(zhuǎn)換單元，將不同協(xié)議消息轉(zhuǎn)換成標(biāo)準(zhǔn)消息；標(biāo)準(zhǔn)消息一般由一些列的key-value組成，把原始消息中的字段名稱作為key和字段值作為value
[0025]3.規(guī)則解析單元，即將規(guī)則庫(kù)中的所有規(guī)則文件讀取到內(nèi)存中，并加載規(guī)則文件的內(nèi)容，對(duì)規(guī)則中表達(dá)式做語法檢查。
[0026]4.消息識(shí)別單元，根據(jù)標(biāo)準(zhǔn)消息的關(guān)鍵屬性特征與規(guī)則中的表達(dá)式計(jì)算結(jié)果匹配，匹配成功則生成標(biāo)準(zhǔn)事件，未成功則歸類為未知事件;snmp—般采用oid的匹配表達(dá)式匹配，syslog—般采用是否包含某個(gè)特殊字符來匹配。
[0027]5.規(guī)則算法單元，即為了提高規(guī)則匹配速度，增加了權(quán)值技術(shù)算法，讓匹配次數(shù)大的規(guī)則，擁有更高的優(yōu)先級(jí)。每一次匹配都會(huì)對(duì)權(quán)值進(jìn)行一次累加，并與更高優(yōu)先級(jí)的規(guī)則做一次比較，如果超過了更高優(yōu)先級(jí)的規(guī)則，那么就會(huì)進(jìn)行位置交換，位置交換在軟件中的表達(dá)會(huì)復(fù)雜一些，具體可以看S7中的說明，以及查看效果如圖3。
[0028]本發(fā)明的目的即是解決統(tǒng)一告警平臺(tái)的不足，標(biāo)準(zhǔn)消息通過key-value方式存儲(chǔ)，可實(shí)現(xiàn)接入不同協(xié)議的消息轉(zhuǎn)換為統(tǒng)一的消息格式，并通過預(yù)置的規(guī)則庫(kù)，有效的將不同協(xié)議的消息識(shí)別為標(biāo)準(zhǔn)事件，避免同一個(gè)消息來源，不同協(xié)議采集產(chǎn)生重復(fù)告警，提高了告警信息的可讀性，從而提高了運(yùn)維人員處理告警的效率。
[0029]本發(fā)明實(shí)現(xiàn)步驟如下:
[°03°] S1、啟動(dòng)原始事件數(shù)據(jù)包接收服務(wù)，服務(wù)包含snmp、syslog、日志等。用于接收軟、硬件采集客戶端發(fā)送的原始消息，其格式由通信協(xié)議決定。
[0031 ] S2、轉(zhuǎn)換SI接入的原始消息為標(biāo)準(zhǔn)消息，記為stdmsg，標(biāo)準(zhǔn)消息格式為key-value存儲(chǔ)。
[0032]其格式定義:stdmsg= keyl: valuel+key2: value2+...+keyn:valuen;若是syslog協(xié)議包，根據(jù)其協(xié)議特性，一般包含t imestamp ,hostName, i sRepeat ,facility, server ity,message等字段，這些字段名稱作為key值，這些字段的值作為value。若是snmptrap,根據(jù)其協(xié)議特性一般包含 peerAddress、pdu、securityModel、securityLevel、maxSizeResponsePDU、pduHandle、stateRef erence等字段；其中peerAddress是一個(gè)屬性集合，我們?cè)谕ㄟ^得到PeerAddress中的發(fā)送端口 port和發(fā)送主機(jī)名稱hostName;將這些字段名稱以及子屬性字段名稱作為Key，字段的值作為value ；
[0033]S3、加載規(guī)則庫(kù)，即將規(guī)則目錄中的已定義的所有.rule文件解析到內(nèi)存中。.rule文件內(nèi)容格式符合xml文件規(guī)范。
[0034]規(guī)則文件主要有及4部分，分別是規(guī)則元數(shù)據(jù)定義、事件標(biāo)準(zhǔn)化表達(dá)式，事件合并表達(dá)式，告警分析表達(dá)式。
[0035]元數(shù)據(jù)定義主要說明規(guī)則的事件類型，關(guān)鍵屬性定義；
[0036]事件標(biāo)準(zhǔn)化表達(dá)式主要是根據(jù)不同協(xié)議，定義關(guān)鍵字段匹配的表達(dá)式，以及普通字段值獲取表達(dá)式定義。
[0037]事件合并表達(dá)式主要是根據(jù)定義關(guān)鍵字段，并根據(jù)關(guān)鍵字段判斷是否作為事件合并依據(jù)。
[0038]告警分析表達(dá)式主要是事件轉(zhuǎn)告警后，需要通過告警選擇事件來源，定位出IT設(shè)備詳細(xì)信息。
[0039]S4、提取S2得到的標(biāo)準(zhǔn)消息關(guān)鍵KEY字段，將關(guān)鍵字段與S3中的規(guī)則庫(kù)匹配，規(guī)則匹配優(yōu)先級(jí)由權(quán)值決定，權(quán)值越高，匹配的優(yōu)先級(jí)越高，默認(rèn)所有規(guī)則的權(quán)值為O。
[0040]當(dāng)某一個(gè)規(guī)則匹配成功后，會(huì)將該規(guī)則的權(quán)值+1;與規(guī)則匹配主要根據(jù)S3中的規(guī)則定義的第二部分，事件標(biāo)準(zhǔn)化表達(dá)式中定義關(guān)鍵字段匹配;如trap關(guān)鍵字段表達(dá)式定義:id idmatch(trap.0id,’1.3.6.1.4.1.22014.1.3.3.1.1.1.32')；:1d；
[OO41 ] Trap—般是通過oid來確定事件類型。以上表達(dá)式可以判斷是否端口上下線事件，其中”1.3.6.1.4.1.22014.1.3.3.1.1.1.32”這一串設(shè)備廠商按照規(guī)范定義的0ID，這個(gè)Oid可以唯一確定屬性。如syslog—條端口下線的表達(dá)式為:
[0042]“stdmsg.protoco I = = ’sys log ’ and stdmsg.message contains’PortShutdown
[0043]S5、若S4的規(guī)則表達(dá)式執(zhí)行結(jié)果為匹配成功，那么標(biāo)準(zhǔn)消息會(huì)歸類到已匹配的規(guī)則中云數(shù)據(jù)；
[0044]定義的事件類型。
[0045]若匹配失敗，會(huì)進(jìn)行下個(gè)規(guī)則進(jìn)行匹配，直到匹配成功后返回；
[0046]若所有規(guī)則庫(kù)都無法匹配，那么會(huì)將該消息歸類為未知事件處理，未知事件默認(rèn)會(huì)提取所有屬性。
[0047]S6、如S5所述，提取規(guī)則中的字段提取表達(dá)式。豐富將S2得到的標(biāo)準(zhǔn)消息，增加事件類型屬性，然后執(zhí)行規(guī)則定義的表達(dá)式，將標(biāo)準(zhǔn)消息中的屬性轉(zhuǎn)成標(biāo)準(zhǔn)事件中的屬性。
[0048]事件屬性計(jì)算表達(dá)式calcu(getCalculExpr(rule, "serverity"))；getCalculExpr方法返回獲取屬性信息的計(jì)算表達(dá)式，calcu方法計(jì)算表達(dá)式的值。
[0049]以端口上下線規(guī)則計(jì)算為例，獲取一般snmp屬性,getCalculExpr返回的表達(dá)式結(jié)果為；
[0050]SfieldName = trap [fie Ido id]；
[0051 ] fieldName:需要獲取的屬性名稱
[0052]fieldoid:屬性所對(duì)應(yīng)的OID
[0053]若獲取端口告警等級(jí)字段則增加一些的計(jì)算，getCalculExpr返回的表達(dá)式結(jié)果為$fieIdName = trap[ 'fieldoid'] = =0?10: (60-trap[ ’fieldoid，]*10);
[0054]S7、規(guī)則權(quán)值計(jì)算，即將消息匹配的規(guī)則權(quán)值+1，這樣可以提高已匹配規(guī)則的優(yōu)先級(jí)，從而提高標(biāo)準(zhǔn)消息規(guī)則匹配速度。權(quán)值優(yōu)先級(jí)算法如下:
[0055]如附圖2.假設(shè)本次匹配規(guī)則是4，規(guī)則4的權(quán)值+1得到值為5.將規(guī)則4與上一個(gè)更高權(quán)值的規(guī)則(規(guī)則3)進(jìn)行比較，規(guī)則4>規(guī)則3，因此規(guī)貝1J3和規(guī)貝1J4應(yīng)該互換存儲(chǔ)位置，
[0056]具體交換算法操作如下:
[0057]S71.將規(guī)則3的上一個(gè)變成規(guī)則4的上一個(gè)
[0058]S72.將規(guī)則4的變成規(guī)則2下一個(gè)
[0059]S73.將規(guī)則4的下一個(gè)變成規(guī)則3的下一個(gè)[0060 ] S74.將規(guī)則5的上一個(gè)變成規(guī)則3
[0061 ] S75.將規(guī)則4的下一個(gè)變成規(guī)則3
[0062]S76.將規(guī)則規(guī)則3的上一個(gè)變成規(guī)則4。
[0063]本發(fā)明不局限于上述實(shí)施方式，不論在其形狀或材料構(gòu)成上作任何變化，凡是采用本發(fā)明所提供的結(jié)構(gòu)設(shè)計(jì)，都是本發(fā)明的一種變形，均應(yīng)認(rèn)為在本發(fā)明保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種IT系統(tǒng)事件標(biāo)準(zhǔn)化實(shí)現(xiàn)方法，其特征是:將不同協(xié)議與內(nèi)容的消息，轉(zhuǎn)換成標(biāo)準(zhǔn)消息，并將標(biāo)準(zhǔn)消息與規(guī)則庫(kù)匹配，通過標(biāo)準(zhǔn)消息的關(guān)鍵屬性特征，應(yīng)用規(guī)則庫(kù)識(shí)別為標(biāo)準(zhǔn)事件;具體步驟如下:預(yù)先將不同協(xié)議包發(fā)送的原始消息，視為各個(gè)屬性的集合，提取所有屬性數(shù)據(jù)，采用統(tǒng)一的key-value格式存儲(chǔ)，key-value存儲(chǔ)的消息即為標(biāo)準(zhǔn)消息，然后提取標(biāo)準(zhǔn)消息的關(guān)鍵字段，應(yīng)用規(guī)則庫(kù)識(shí)別出消息所采用的協(xié)議類型，根據(jù)協(xié)議類型應(yīng)用對(duì)應(yīng)的規(guī)則，規(guī)則中定義需要匹配的關(guān)鍵屬性，以及定義提取關(guān)鍵字段信息的表達(dá)式，當(dāng)原始消息中的內(nèi)容變更時(shí)，調(diào)整規(guī)則文件即可。2.根據(jù)權(quán)利要求1所述的IT系統(tǒng)事件標(biāo)準(zhǔn)化實(shí)現(xiàn)方法，其特征在于:具體步驟如下: (SI )、接入各個(gè)IT軟、硬件采集到的原始事件，記為原始消息； (52)、將SI接入的消息轉(zhuǎn)換成key-value格式存儲(chǔ)的標(biāo)準(zhǔn)消息，為后續(xù)標(biāo)準(zhǔn)化處理提供鋪墊； (53),加載規(guī)則庫(kù)，將已定義的規(guī)則文件加載到內(nèi)存中； (54)、提取S2得到的標(biāo)準(zhǔn)消息關(guān)鍵字段，將關(guān)鍵字段與S3中的規(guī)則庫(kù)逐一匹配； (a)、規(guī)則匹配優(yōu)先級(jí)由權(quán)值決定，權(quán)值越高，匹配的優(yōu)先級(jí)越高； (b)、當(dāng)某一個(gè)規(guī)則匹配成功后，會(huì)將該規(guī)則的權(quán)值+1; (55)、若匹配成功，那么標(biāo)準(zhǔn)消息會(huì)歸類到匹配成功的規(guī)則;若匹配失敗，會(huì)流轉(zhuǎn)到下個(gè)規(guī)則進(jìn)行匹配，直到匹配成功后返回；若所有規(guī)則庫(kù)都無法匹配，那么會(huì)將該消息歸類為未知事件處理，未知事件默認(rèn)會(huì)提取所有屬性； (56)、如S5所述，提取匹配成功的規(guī)則中定義的事件類型和字段提取表達(dá)式;將S2得到的標(biāo)準(zhǔn)消息增加事件類型屬性，然后執(zhí)行規(guī)則定義的表達(dá)式，來將標(biāo)準(zhǔn)消息中的屬性轉(zhuǎn)成標(biāo)準(zhǔn)事件中的屬性； (57)、規(guī)則權(quán)值計(jì)算，即將消息匹配的規(guī)則權(quán)值+1，提高已匹配規(guī)則的優(yōu)先級(jí)，從而提高標(biāo)準(zhǔn)消息規(guī)則匹配速度。
【文檔編號(hào)】G06F17/30GK105843878SQ201610160241
【公開日】2016年8月10日
【申請(qǐng)日】2016年3月17日
【發(fā)明人】謝維發(fā), 蔣君偉, 劉東海, 龐輝富, 徐育毅
【申請(qǐng)人】杭州優(yōu)云軟件有限公司