系統(tǒng)日志與健康監(jiān)控關(guān)系決定日志告警等級的方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及計算機(jī)云計算技術(shù)領(lǐng)域，具體地，涉及一種基于軟件系統(tǒng)日志與健康監(jiān)控關(guān)聯(lián)關(guān)系決定日志告警等級的方法及系統(tǒng)。
【背景技術(shù)】
[0002]隨著分布式系統(tǒng)成為企業(yè)應(yīng)用的主流形態(tài)，其監(jiān)控成為企業(yè)關(guān)注的焦點?，F(xiàn)有的監(jiān)控方式可表現(xiàn)為:對主機(jī)及其服務(wù)的特定指標(biāo)進(jìn)行健康監(jiān)控，將監(jiān)控數(shù)據(jù)上報到監(jiān)控系統(tǒng)，在分析后產(chǎn)生告警信息并告知客戶。
[0003]隨著業(yè)務(wù)需求的不斷豐富，對監(jiān)控的要求越來越多，上述監(jiān)控方式存在如下缺陷:
[0004]1.告警數(shù)據(jù)的統(tǒng)計周期較長，無法第一時間發(fā)現(xiàn)系統(tǒng)問題；
[0005]2.業(yè)務(wù)各模塊之間的日志和告警管理分散，缺乏關(guān)聯(lián)，增加問題定位的難度；
[0006]3.對運維人員排查問題有益的軟件系統(tǒng)日志的嚴(yán)重程度度通常是人工決定，沒有與健康監(jiān)控系統(tǒng)產(chǎn)生聯(lián)系。
[0007]因此，如何利用應(yīng)用服務(wù)日志來快速發(fā)現(xiàn)系統(tǒng)可疑問題成為云監(jiān)控質(zhì)量提升的一個亟需解決的問題。
[0008]目前沒有發(fā)現(xiàn)同本發(fā)明類似技術(shù)的說明或報道，也尚未收集到國內(nèi)外類似的資料。

【發(fā)明內(nèi)容】

[0009]針對現(xiàn)有技術(shù)中存在的上述不足，本發(fā)明的目的是提供一種基于軟件系統(tǒng)日志與健康監(jiān)控關(guān)聯(lián)關(guān)系決定日志告警等級的方法及系統(tǒng)，該方法及系統(tǒng)能夠根據(jù)歷史日志與健康監(jiān)控數(shù)據(jù)的關(guān)聯(lián)分析產(chǎn)生日志告警等級模型，以此來決定實時日志的告警等級。
[0010]為實現(xiàn)上述目的，本發(fā)明是通過以下技術(shù)方案實現(xiàn)的。
[0011 ]根據(jù)本發(fā)明的一個方面，提供了一種系統(tǒng)日志與健康監(jiān)控關(guān)系決定日志告警等級的方法，包括如下步驟:
[0012]步驟S1:日志采集引擎從各應(yīng)用模塊采集歷史軟件系統(tǒng)日志；
[0013]步驟S2:日志清洗引擎對步驟SI中采集到的歷史軟件系統(tǒng)日志進(jìn)行清洗，過濾無效日志并整理日志格式，形成歷史日志數(shù)據(jù)；
[0014]步驟S3:告警采集引擎從健康監(jiān)控系統(tǒng)采集各應(yīng)用模塊的歷史告警數(shù)據(jù)；
[0015]步驟S4:關(guān)聯(lián)引擎根據(jù)步驟S2提供的歷史日志數(shù)據(jù)和步驟S3提供的歷史告警數(shù)據(jù)加以分析，形成日志告警等級模型，并訓(xùn)練日志告警等級模型；
[0016]步驟S5:告警等級匹配引擎通過實時日志與日志告警等級模型的匹配決定該實時日志的告警級別。
[0017]優(yōu)選地，所述步驟S4包括如下步驟:
[0018]步驟S4.1:關(guān)聯(lián)引擎從特征庫中提取不同應(yīng)用模塊的日志特征；
[0019]步驟S4.2:關(guān)聯(lián)引擎根據(jù)不同應(yīng)用模塊的日志特征從歷史日志數(shù)據(jù)和歷史告警數(shù)據(jù)中提取日志信息和告警數(shù)據(jù)，將不同應(yīng)用模塊的日志信息與不同應(yīng)用模塊的告警數(shù)據(jù)一起通過聚類算法進(jìn)行關(guān)聯(lián)分析；
[0020]步驟S4.3:關(guān)聯(lián)引擎產(chǎn)生日志告警等級模型。
[0021 ]優(yōu)選地，所述日志特征包括如下任一項或任多項:
[0022]-日志關(guān)鍵字；
[0023]-日志時間戳；
[0024]-日志地址；
[0025]-日志所屬業(yè)務(wù)模塊或子模塊。
[0026]優(yōu)選地，所述日志告警等級模型包括如下任一項或任多項信息:
[0027]-日志地址；
[0028]-日志內(nèi)容；
[0029]-日志所屬模塊；
[0030]-告警級別的映射關(guān)系表。
[0031 ]根據(jù)本發(fā)明的另一個方面，提供了一種系統(tǒng)日志與健康監(jiān)控關(guān)系決定日志告警等級的系統(tǒng)，包括:
[0032]-日志采集引擎，用于從各應(yīng)用模塊中采集歷史軟件系統(tǒng)日志；
[0033]-日志清洗引擎，用于對日志采集引擎采集到的歷史軟件系統(tǒng)日志進(jìn)行清洗，過濾無效日志并整理日志格式，形成歷史日志數(shù)據(jù)；
[0034]-告警采集引擎，用于從健康監(jiān)控系統(tǒng)中采集各應(yīng)用模塊的歷史告警數(shù)據(jù)；
[0035]-關(guān)聯(lián)引擎，根據(jù)日志清洗引擎提供的歷史日志數(shù)據(jù)和告警采集引擎提供的歷史告警數(shù)據(jù)加以分析，形成日志告警等級模型，并訓(xùn)練日志告警等級模型；
[0036]-告警等級匹配引擎，用于通過實時日志與日志告警等級模型的匹配決定該實時日志的告警級別。
[0037]與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果:
[0038]本發(fā)明解決了以下技術(shù)問題:
[0039]丨、將軟件系統(tǒng)日志與系統(tǒng)健康狀態(tài)進(jìn)行關(guān)聯(lián)；
[0040]2、跨系統(tǒng)模塊關(guān)聯(lián)分析日志與告警數(shù)據(jù)；
[0041 ] 3、根據(jù)歷史系統(tǒng)日志與系統(tǒng)健康狀態(tài)的關(guān)聯(lián)情況，自動推算日志級別。
[0042]本發(fā)明實現(xiàn)了以下有益效果:
[0043]1、采用歷史數(shù)據(jù)預(yù)測系統(tǒng)可能的風(fēng)險，實現(xiàn)了提前預(yù)警，提高了運維效率；
[0044]2、實現(xiàn)日志與告警信息的跨系統(tǒng)模塊關(guān)聯(lián)分析，提高預(yù)測的可靠性；
[0045]3、關(guān)聯(lián)軟件系統(tǒng)日志與告警信息，充分利用系統(tǒng)已有數(shù)據(jù)資源。
【附圖說明】
[0046]通過閱讀參照以下附圖對非限制性實施例所作的詳細(xì)描述，本發(fā)明的其它特征、目的和優(yōu)點將會變得更明顯:
[0047]圖1為本發(fā)明系統(tǒng)原理圖；
[0048]圖2為本發(fā)明方法流程圖。
【具體實施方式】
[0049]下面對本發(fā)明的實施例作詳細(xì)說明:本實施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行實施，給出了詳細(xì)的實施方式和具體的操作過程。應(yīng)當(dāng)指出的是，對本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。
[0050]實施例1
[0051 ]本實施例提供了一種系統(tǒng)日志與健康監(jiān)控關(guān)系決定日志告警等級的方法，包括如下步驟:
[0052]步驟S1:日志采集引擎從各應(yīng)用模塊采集歷史軟件系統(tǒng)日志；
[0053]步驟S2:日志清洗引擎對步驟SI中采集到的歷史軟件系統(tǒng)日志進(jìn)行清洗，過濾無效日志并整理日志格式，形成歷史日志數(shù)據(jù)；
[0054]步驟S3:告警采集引擎從健康監(jiān)控系統(tǒng)采集各應(yīng)用模塊的歷史告警數(shù)據(jù)；
[0055]步驟S4: