日志處理方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種日志處理方法，包括：建立一個(gè)腳本語(yǔ)言解釋器，在該腳本語(yǔ)言解釋器中直接封裝日志格式化處理用函數(shù)；針對(duì)不同格式的腳本分別建立相應(yīng)的日志處理腳本從而構(gòu)成動(dòng)態(tài)腳本庫(kù)，在該日志處理腳本中各種格式化操作由上述的函數(shù)完成；載入具有一定格式的日志；根據(jù)所述日志的格式從動(dòng)態(tài)腳本庫(kù)中載入相應(yīng)的日志處理腳本；由所述的腳本語(yǔ)言解釋器解釋執(zhí)行載入的日志處理腳本，完成日志格式化操作并輸出處理結(jié)果。上述的日志處理方法可高效的將來(lái)自不同業(yè)務(wù)的具有不同格式的日志格式化處理成特定的格式進(jìn)行輸出。此外，本發(fā)明還提供一種日志處理系統(tǒng)。
【專利說(shuō)明】日志處理方法及系統(tǒng)【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及日志處理技術(shù)，特別涉及一種基于動(dòng)態(tài)腳本語(yǔ)言的日志處理方法及裝置。
【背景技術(shù)】
[0002]在現(xiàn)有的網(wǎng)絡(luò)業(yè)務(wù)中，日志是一個(gè)必不可少的部分，通過(guò)對(duì)業(yè)務(wù)日志的分析處理，可以了解到業(yè)務(wù)的經(jīng)營(yíng)狀況，同時(shí)在服務(wù)器出現(xiàn)問(wèn)題的時(shí)候，也可以通過(guò)對(duì)日志進(jìn)行分析找出問(wèn)題所在，方便問(wèn)題的解決。當(dāng)前，日志文件都是以原始的格式存放于文件裝置或者數(shù)據(jù)庫(kù)裝置，在對(duì)業(yè)務(wù)運(yùn)營(yíng)數(shù)據(jù)進(jìn)行分析和統(tǒng)計(jì)的時(shí)候，需要對(duì)原始格式的日志數(shù)據(jù)文件進(jìn)行分析處理，以得到想要的統(tǒng)計(jì)結(jié)果。
[0003]日志文件是由安全管理中心裝置從各種對(duì)象設(shè)備(例如主機(jī)、防火墻、數(shù)據(jù)庫(kù)、月艮務(wù)器等)收集而來(lái)的，由于各種設(shè)備產(chǎn)生的日志格式都不一樣，如何統(tǒng)一處理這些不同格式的日志成為一個(gè)重要的問(wèn)題。現(xiàn)有技術(shù)中針對(duì)每種類型的對(duì)象設(shè)備，都對(duì)應(yīng)編寫特定的格式化工具去將日志里的內(nèi)容提取出來(lái)，并填寫到一個(gè)統(tǒng)一的格式的范本里去，最終生成統(tǒng)一格式的日志。
[0004]現(xiàn)有技術(shù)中的日志處理方法存在缺點(diǎn)，由于針對(duì)每一種對(duì)象設(shè)備的日志格式，都需要編寫一種對(duì)應(yīng)的代碼來(lái)處理，當(dāng)增加新的對(duì)象設(shè)備或者對(duì)象設(shè)備更改了日志格式時(shí)，將需要增加和修改對(duì)應(yīng)的格式化器才能做到正確的采集和格式化日志，即在安全管理中心裝置中需要對(duì)應(yīng)的修改代碼，重新發(fā)布，這樣會(huì)造成裝置維護(hù)量大，造成裝置升級(jí)頻繁，而且每次更改代碼都需要重新編譯裝置。

【發(fā)明內(nèi)容】

[0005]有鑒于此，有必要提供一種日志處理方法及系統(tǒng)，其可以高效的將來(lái)自不同業(yè)務(wù)的具有不同格式的日志格式化處理成特定的格式進(jìn)行輸出。
[0006]一種日志處理方法，包括:建立一個(gè)腳本語(yǔ)言解釋器，在該腳本語(yǔ)言解釋器中直接封裝日志格式化處理用函數(shù)；針對(duì)不同格式的腳本分別建立相應(yīng)的日志處理腳本從而構(gòu)成動(dòng)態(tài)腳本庫(kù)，在該日志處理腳本中各種格式化操作由上述的函數(shù)完成；載入具有一定格式的日志；根據(jù)所述日志的格式從動(dòng)態(tài)腳本庫(kù)中載入相應(yīng)的日志處理腳本；由所述的腳本語(yǔ)言解釋器解釋執(zhí)行載入的日志處理腳本，完成日志格式化操作并輸出處理結(jié)果。
[0007]—種日志處理系統(tǒng)，包括:動(dòng)態(tài)腳本庫(kù)，用于存儲(chǔ)針對(duì)不同格式的腳本分別建立的日志處理腳本，在該日志處理腳本中各種格式化操作由函數(shù)完成；以及腳本語(yǔ)言解釋器，包括:日志載入單元，用于載入具有一定格式的日志；腳本載入單元，用于根據(jù)所述日志的格式從動(dòng)態(tài)腳本庫(kù)中載入相應(yīng)的日志處理腳本，該日志處理腳本中的格式化操作由函數(shù)實(shí)現(xiàn)；腳本解釋單元，用于將載入的日志處理腳本中的函數(shù)解釋成相應(yīng)的執(zhí)行指令；以及邏輯執(zhí)行單元，用于執(zhí)行所述的執(zhí)行指令。
[0008]在上述的日志處理方法及系統(tǒng)中:通過(guò)將函數(shù)直接封裝在腳本語(yǔ)言解釋器的內(nèi)部，從而可以實(shí)現(xiàn)以非常簡(jiǎn)潔的方式完成不同格式的日志處理腳本的建立，提升了在新業(yè)務(wù)的日志導(dǎo)入時(shí)進(jìn)行格式化的效率。
【專利附圖】

【附圖說(shuō)明】
[0009]圖1是第一實(shí)施例提供的一種日志處理方法的流程圖。
[0010]圖2是第一實(shí)施例中要進(jìn)行格式化的日志的示意圖。
[0011]圖3是第一實(shí)施例中要進(jìn)行格式化的日志格式化后的示意圖。
[0012]圖4是第二實(shí)施例提供的一種日志處理系統(tǒng)的結(jié)構(gòu)框圖。
【具體實(shí)施方式】
[0013]為更進(jìn)一步闡述本發(fā)明為實(shí)現(xiàn)預(yù)定發(fā)明目的所采取的技術(shù)手段及功效，以下結(jié)合附圖及較佳實(shí)施例，對(duì)依據(jù)本發(fā)明提出的日志處理方法及系統(tǒng)的【具體實(shí)施方式】、結(jié)構(gòu)、特征及其功效，詳細(xì)說(shuō)明如后。
[0014]本發(fā)明實(shí)施例提供一種日志處理方法，其可以高效的將來(lái)自不同業(yè)務(wù)的具有不同格式的日志格式化處理成特定的格式進(jìn)行輸出。不同的格式例如是指日志中包括的字段、排序、使用的格式化字符等等的不同。
[0015]在上述的日志處理方法中，首先構(gòu)建一種新的腳本解釋語(yǔ)言及其腳本解釋器，由腳本解釋器解釋符合該腳本解釋語(yǔ)言的腳本以完成日志的格式化處理。另一方面，針對(duì)來(lái)自不同業(yè)務(wù)的具有不同格式的日志，分別構(gòu)建相應(yīng)的日志處理腳本從形成動(dòng)態(tài)腳本庫(kù)。當(dāng)有新業(yè)務(wù)的日志需要導(dǎo)入時(shí)，根據(jù)該腳本解釋語(yǔ)言重新構(gòu)建符合新導(dǎo)入業(yè)務(wù)的日志處理腳本即可。當(dāng)有現(xiàn)有業(yè)務(wù)無(wú)須再進(jìn)行日志處理時(shí)，從該動(dòng)態(tài)腳本庫(kù)去除相應(yīng)的腳本即可。
[0016]上述的腳本解釋語(yǔ)言關(guān)鍵特征如下:
[0017]1、分段式的語(yǔ)法結(jié)構(gòu)
[0018]腳本分三個(gè)區(qū)塊構(gòu)成:初始化區(qū)塊(begin)、循環(huán)區(qū)塊(do)、及結(jié)束區(qū)塊(end)。其中begin區(qū)塊放置初始化邏輯，其代碼在日志處理前只執(zhí)行一遍，do區(qū)塊放置對(duì)日志進(jìn)行清洗、格式化的邏輯，在處理每一日志條目(一般對(duì)應(yīng)于日志正文的一行)時(shí)代碼均執(zhí)行一遍，end區(qū)碼塊放置結(jié)束邏輯，代碼在日志處理結(jié)束后執(zhí)行一遍。上述的三個(gè)區(qū)塊的結(jié)構(gòu)如下所示:
[0019]
【權(quán)利要求】
1.一種日志處理方法，包括: 建立一個(gè)腳本語(yǔ)言解釋器，在該腳本語(yǔ)言解釋器中直接封裝日志格式化處理用函數(shù)；針對(duì)不同格式的腳本分別建立相應(yīng)的日志處理腳本從而構(gòu)成動(dòng)態(tài)腳本庫(kù)，在該日志處理腳本中各種格式化操作由上述的函數(shù)完成； 載入具有一定格式的日志； 根據(jù)所述日志的格式從動(dòng)態(tài)腳本庫(kù)中載入相應(yīng)的日志處理腳本； 由所述的腳本語(yǔ)言解釋器解釋執(zhí)行載入的日志處理腳本，完成日志格式化操作并輸出處理結(jié)果。
2.如權(quán)利要求1所述的日志處理方法，其特征在于，解釋執(zhí)行載入的日志處理腳本包括: 解釋執(zhí)行所述日志處理腳本的初始化區(qū)塊； 針對(duì)所述日志中的每一條記錄重復(fù)執(zhí)行所述日志處理腳本的格式化區(qū)塊；以及 解釋執(zhí)行所述日志處理腳本的結(jié)束區(qū)塊。
3.如權(quán)利要求1 所述的日志處理方法，其特征在于，解釋執(zhí)行載入的日志處理腳本包括: 根據(jù)詞法分析識(shí)別出所述日志處理腳本中的關(guān)鍵字、標(biāo)識(shí)符、常數(shù)、函數(shù)和界符，并用記號(hào)方式表示識(shí)別出的單詞序列； 將所述單詞序列轉(zhuǎn)換成執(zhí)行指令；以及 執(zhí)行所述執(zhí)行指令。
4.如權(quán)利要求1所述的日志處理方法，其特征在于，還包括: 在新業(yè)務(wù)導(dǎo)入時(shí)在所述動(dòng)態(tài)腳本庫(kù)中建立與新導(dǎo)入的業(yè)務(wù)日志格式相對(duì)應(yīng)的日志處理腳本。
5.一種日志處理系統(tǒng),包括: 動(dòng)態(tài)腳本庫(kù)，用于存儲(chǔ)針對(duì)不同格式的腳本分別建立的日志處理腳本，在該日志處理腳本中各種格式化操作由函數(shù)完成；以及腳本語(yǔ)言解釋器，包括: 日志載入單兀，用于載入具有一定格式的日志； 腳本載入單元，用于根據(jù)所述日志的格式從動(dòng)態(tài)腳本庫(kù)中載入相應(yīng)的日志處理腳本，該日志處理腳本中的格式化操作由函數(shù)實(shí)現(xiàn)； 腳本解釋單元，用于將載入的日志處理腳本中的函數(shù)解釋成相應(yīng)的執(zhí)行指令；以及 邏輯執(zhí)行單元，用于執(zhí)行所述的執(zhí)行指令。
6.如權(quán)利要求5所述的日志處理系統(tǒng)，其特征在于，所述邏輯執(zhí)行單元用于: 執(zhí)行與所述日志處理腳本的初始化區(qū)塊對(duì)應(yīng)的執(zhí)行指令； 針對(duì)所述日志中的每一條記錄重復(fù)執(zhí)行與所述日志處理腳本的格式化區(qū)塊對(duì)應(yīng)的執(zhí)行指令；以及 執(zhí)行與所述日志處理腳本的結(jié)束區(qū)塊對(duì)應(yīng)的執(zhí)行指令。
7.如權(quán)利要求5所述的日志處理系統(tǒng)，其特征在于，所述腳本解釋單元包括: 詞法分析單元，用于根據(jù)詞法分析識(shí)別出所述日志處理腳本中的關(guān)鍵字、標(biāo)識(shí)符、常數(shù)、函數(shù)和界符，并用記號(hào)方式表示識(shí)別出的單詞序列；語(yǔ)法分析單元，用于根據(jù)所述單詞序列分析生成執(zhí)行指令。
8.如權(quán)利要求5所述的日志處理系統(tǒng)，其特征在于，還包括: 腳本建立單元，用于在新業(yè)務(wù)導(dǎo)入時(shí)在所述動(dòng)態(tài)腳本庫(kù)中建立與新導(dǎo)入的業(yè)務(wù)日志格式相對(duì)應(yīng)的日志處理腳本。
【文檔編號(hào)】G06F9/44GK103593277SQ201210290200
【公開(kāi)日】2014年2月19日 申請(qǐng)日期:2012年8月15日 優(yōu)先權(quán)日:2012年8月15日
【發(fā)明者】覃武權(quán), 劉俊龍, 錢程路, 趙子軒, 奚少杰, 吳志堅(jiān), 莊子明, 鄒永, 林松 申請(qǐng)人:深圳市世紀(jì)光速信息技術(shù)有限公司