專利名稱：一種通訊系統(tǒng)日志集中統(tǒng)計、處理系統(tǒng)及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)通信領(lǐng)域，特別是涉及一種通信系統(tǒng)的系統(tǒng)日志集中統(tǒng) 計、處理系統(tǒng)及其方法。
背景技術(shù)：
通信系統(tǒng)都需要記錄日志信息，其包括系統(tǒng)日志、操作日志、異常日志等 信息，其主要目的就是為了讓客戶更全面、更詳細地了解系統(tǒng)的運行情況，評 估工作量等。
一般的通信系統(tǒng)的日志信息，都采用分散式的日志記錄架構(gòu)，該架構(gòu)中包
括數(shù)據(jù)源1 N共N個數(shù)據(jù)源101，如圖1所示。
數(shù)據(jù)源IOI —般都是系統(tǒng)中一些重要的功能性模塊，由于功能不同，不同 的數(shù)據(jù)源101往往不能共用一個數(shù)據(jù)表結(jié)構(gòu)，因此各個數(shù)據(jù)源101只能按照各 自的數(shù)據(jù)表結(jié)構(gòu)，生成可執(zhí)行的SQL (Structured Query Language,結(jié)構(gòu)化査 詢語言)語句，將數(shù)據(jù)寫入數(shù)據(jù)服務(wù)器102中。日志展示模塊103從數(shù)據(jù)庫服 務(wù)器102中獲取各數(shù)據(jù)源101寫入的數(shù)據(jù)，供用戶査看。采用這種方式，存在 以下問題
1) ，各個數(shù)據(jù)源必須具備訪問數(shù)據(jù)庫服務(wù)器的功能，加大了系統(tǒng)的開銷， 增加系統(tǒng)復(fù)雜度；
2) ，多個數(shù)據(jù)源同時操作一個庫或一張數(shù)據(jù)表，對數(shù)據(jù)庫服務(wù)器的性能 要求較高，使得系統(tǒng)成本增高；
3) ，當數(shù)據(jù)庫服務(wù)器中的數(shù)據(jù)表結(jié)構(gòu)因故有所變動時，對應(yīng)的數(shù)據(jù)源都 必須變動，降低了系統(tǒng)靈活性，加大了工程實施的難度與風險。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題在于提供一種系統(tǒng)日志集中統(tǒng)計、處理系統(tǒng)及 其方法，用于降低系統(tǒng)復(fù)雜度，提高系統(tǒng)靈活性及可實施性。
為了實現(xiàn)上述目的，本發(fā)明提供了-一種通訊系統(tǒng)日志集中統(tǒng)計、處理系統(tǒng)， 包括多個數(shù)據(jù)源、數(shù)據(jù)庫服務(wù)器，所述各數(shù)據(jù)源用于提供基礎(chǔ)數(shù)據(jù)，所述數(shù)據(jù) 庫服務(wù)器用于存放所述系統(tǒng)的系統(tǒng)數(shù)據(jù)，其特征在于，還包括 一日志服務(wù)器， 用于接收、處理所述各數(shù)據(jù)源按照所述日志服務(wù)器設(shè)定的數(shù)據(jù)格式傳送的基礎(chǔ) 數(shù)據(jù)，并將處理后的基礎(chǔ)數(shù)據(jù)導入所述數(shù)據(jù)庫服務(wù)器。
所述的系統(tǒng)日志集中統(tǒng)計、處理系統(tǒng)，其中，所述日志服務(wù)器包括
--內(nèi)存數(shù)據(jù)庫，用于存放數(shù)據(jù)；
一采集模塊，用于接收所述基礎(chǔ)數(shù)據(jù)，并對所述基礎(chǔ)數(shù)據(jù)進行分類，再將 分類后的基礎(chǔ)數(shù)據(jù)保存至所述內(nèi)存數(shù)據(jù)庫；
-挖掘模塊，用于對所述分類后的基礎(chǔ)數(shù)據(jù)進行整理、統(tǒng)計，生成新數(shù)據(jù)， 并存放至所述內(nèi)存數(shù)據(jù)庫；及
一同步模塊，用于將所述新數(shù)據(jù)中需同步的新數(shù)據(jù)同步至所述數(shù)據(jù)庫服務(wù)器。
所述的系統(tǒng)日志集中統(tǒng)計、處理系統(tǒng)，其中，所述統(tǒng)計、處理系統(tǒng)還包括 -日志展示模塊，連接所述數(shù)據(jù)庫服務(wù)器，用于以圖形或表格形式展示從所述 數(shù)據(jù)庫服務(wù)器中獲取的數(shù)據(jù)。
所述的系統(tǒng)日志集中統(tǒng)計、處理系統(tǒng)，其中，所述各數(shù)據(jù)源通過所述日志 服務(wù)器設(shè)定的通用日志消息接口將所述基礎(chǔ)數(shù)據(jù)傳送至所述日志服務(wù)器。
所述的系統(tǒng)日志集中統(tǒng)計、處理系統(tǒng)，其中，所述日志服務(wù)器根據(jù)所述系 統(tǒng)的要求增加或減少設(shè)置模塊的數(shù)量以適應(yīng)不同的策略。
為了實現(xiàn)上述目的，本發(fā)明提供了一種系統(tǒng)日志集中統(tǒng)計、處理方法，其 特征在于，包括
步驟一，建立多個數(shù)據(jù)源與一日志服務(wù)器之間的通訊鏈路；
步驟二，所述各數(shù)據(jù)源按照所述日志服務(wù)器設(shè)定的數(shù)據(jù)格式傳送基礎(chǔ)數(shù)據(jù) 至所述日志服務(wù)器；及
步驟三，所述日志服務(wù)器接收、處理所述基礎(chǔ)信息，并將處理后的基礎(chǔ)數(shù) 據(jù)導入數(shù)據(jù)庫服務(wù)器。
所述的系統(tǒng)日志集中統(tǒng)計、處理方法，其中，所述步驟二，所述各數(shù)據(jù)源 通過所述日志服務(wù)器設(shè)定的通用日志消息接口傳送所述基礎(chǔ)數(shù)據(jù)至所述曰志 服務(wù)器。
所述的系統(tǒng)日志集中統(tǒng)計、處理方法，其中，所述步驟三中，所述日志服 務(wù)器接收、處理所述基礎(chǔ)信息的步驟具體為
步驟81，接收所述基礎(chǔ)數(shù)據(jù)并進行分類，再將分類后的基礎(chǔ)數(shù)據(jù)存放至 一內(nèi)存數(shù)據(jù)庫中；
步驟82，對所述分類后的基礎(chǔ)數(shù)據(jù)進行整理、統(tǒng)計，生成新數(shù)據(jù)，并存 放至所述內(nèi)存數(shù)據(jù)庫；及
步驟83,將所述新數(shù)據(jù)中需同步的新數(shù)據(jù)同步至所述數(shù)據(jù)庫服務(wù)器。
所述的系統(tǒng)日志集中統(tǒng)計、處理方法，其中，所述步驟三中，所述日志服 務(wù)器將所述處理后的基礎(chǔ)數(shù)據(jù)單個或批量導入數(shù)據(jù)庫服務(wù)器。
所述的系統(tǒng)日志集中統(tǒng)計、處理方法，其中，所述步驟三中，還包括以 圖形或表格形式展示從所述數(shù)據(jù)庫服務(wù)器獲取的數(shù)據(jù)的步驟。
本發(fā)明提供的一種集中式日志統(tǒng)計、處理系統(tǒng)及其方法，能有效降低系統(tǒng) 對數(shù)據(jù)庫服務(wù)器的依賴程度，減小日志信息對數(shù)據(jù)庫服務(wù)器的影響，提高系統(tǒng) 穩(wěn)定性；此外，還能大幅度提高系統(tǒng)靈活性和可實施性，減小因新增業(yè)務(wù)需求 而帶給系統(tǒng)的影響。
以下結(jié)合附圖和具體實施例對本發(fā)明進行詳細描述，但不作為對本發(fā)明的 限定。


圖l是現(xiàn)有技術(shù)分散式日志統(tǒng)計、處理的組網(wǎng)架構(gòu)示意圖2是本發(fā)明的集中式日志統(tǒng)計、處理的組網(wǎng)架構(gòu)示意圖3是本發(fā)明日志服務(wù)器的處理流程圖。
具體實施例方式
下面將結(jié)合附圖，詳細說明本發(fā)明的實現(xiàn)系統(tǒng)及其方法。
請參閱圖2，是本發(fā)明的集中式日志統(tǒng)計、處理的組網(wǎng)架構(gòu)示意圖。該組
網(wǎng)架構(gòu)描述了新系統(tǒng)通過新增日志服務(wù)器204，解決了原有系統(tǒng)進行日志統(tǒng)
計、處理時所存在的上述技術(shù)問題。
在組網(wǎng)架構(gòu)實施過程中，該系統(tǒng)涉及到的通信網(wǎng)絡(luò)設(shè)備包括數(shù)據(jù)源201 (數(shù)據(jù)源1 N)、數(shù)據(jù)庫服務(wù)器202、日志展示模塊203、日志服務(wù)器204。
數(shù)據(jù)源201，為系統(tǒng)中的功能模塊，是系統(tǒng)中系統(tǒng)日志、操作日志等基礎(chǔ)
數(shù)據(jù)的來源，并以日志服務(wù)器204定義的通用數(shù)據(jù)格式將基礎(chǔ)數(shù)據(jù)發(fā)送給日志 服務(wù)器204;
數(shù)據(jù)庫服務(wù)器202，用于存放各種系統(tǒng)數(shù)據(jù)；
日志展示模塊203，用于提供統(tǒng)計數(shù)據(jù)的展示功能，其以圖形、表格等形 式展示從數(shù)據(jù)庫服務(wù)器202中獲取的數(shù)據(jù)，供用戶清晰、直觀地査看系統(tǒng)相關(guān) 數(shù)據(jù)；
日志服務(wù)器204，用于采集、分析、保存、整理、同步系統(tǒng)中的數(shù)據(jù)信息， 并將處理后的數(shù)據(jù)單個或批量導入數(shù)據(jù)庫服務(wù)器202。其又包括采集模塊 241、挖掘模塊242、同步模塊243、內(nèi)存數(shù)據(jù)庫244。
采集模塊241，用于接收所有數(shù)據(jù)源201的信息，將其分類保存至內(nèi)存數(shù) 據(jù)庫244中；
挖掘模塊242，用于定時按預(yù)定策略對內(nèi)存數(shù)據(jù)庫244中分類后的基礎(chǔ)數(shù)
據(jù)進行分析、整理、統(tǒng)計，并按策略生成新數(shù)據(jù)，再重新存放在內(nèi)存數(shù)據(jù)庫 244中；
同步模塊243，用于按照策略定期將生成的新數(shù)據(jù)中需要同步的新數(shù)據(jù)同 步至數(shù)據(jù)庫服務(wù)器202中。
該系統(tǒng)中的數(shù)據(jù)源201只需與日志服務(wù)器204通過內(nèi)部消息進行消息交 互，而無需訪問數(shù)據(jù)庫服務(wù)器202。日志服務(wù)器204可根據(jù)配置策略對數(shù)據(jù)進 行過濾、采集、保存等工作，并可選擇在數(shù)據(jù)庫服務(wù)器202空閑時候?qū)⒄砗?的基礎(chǔ)數(shù)據(jù)批量導入數(shù)據(jù)庫服務(wù)器202，在提供了數(shù)據(jù)整理業(yè)務(wù)的同時，也降 低了數(shù)據(jù)庫服務(wù)器202繁忙時的壓力。
在日志服務(wù)器204的具體實現(xiàn)方案上，可采用分散式的架構(gòu)，即用一個應(yīng) 用支撐平臺支持多個應(yīng)用插件的方法，通過減少、增加應(yīng)用插件來滿足各種需 求，而無需對數(shù)據(jù)源201進行更改。
請參閱圖3，是本發(fā)明日志服務(wù)器的處理流程圖。結(jié)合圖2，該流程描述 了本發(fā)明一種系統(tǒng)的日志集中統(tǒng)計、處理方法。
在進行日志集中統(tǒng)計、處理之前，日志服務(wù)器先定義一套通用日志消息接 口；各數(shù)據(jù)源與日志服務(wù)器建立起通訊鏈路；各數(shù)據(jù)源在實現(xiàn)各自功能時，將 所有的操作日志信息、系統(tǒng)日志信息等日志信息按照通用日志消息接口發(fā)送至日志服務(wù)器，具體流程按以下步驟實現(xiàn)
歩驟301，日志服務(wù)器的采集模塊接收各數(shù)據(jù)源的基礎(chǔ)數(shù)據(jù)；
步驟302，日志服務(wù)器的采集模塊將接收到的各數(shù)據(jù)源的基礎(chǔ)數(shù)據(jù)分類保
存至日志服務(wù)器的內(nèi)存數(shù)據(jù)庫中；
步驟303，日志服務(wù)器的挖掘模塊判斷是否需要提取數(shù)據(jù)，若是，則執(zhí)行 步驟304，否則，返回歩驟301執(zhí)行；
步驟304，日志服務(wù)器的挖掘模塊按照策略提取相關(guān)數(shù)據(jù)；
步驟305，對提取的相關(guān)數(shù)據(jù)進行分析、整理，生成新數(shù)據(jù)并保存在內(nèi)存 數(shù)據(jù)庫；
步驟306，日志服務(wù)器的同步模塊判斷是否將新數(shù)據(jù)批量導入數(shù)據(jù)庫服務(wù) 器，若是，則執(zhí)行歩驟307，否則，返回步驟301執(zhí)行；
歩驟307，日志服務(wù)器的同步模塊將新數(shù)據(jù)批量導入數(shù)據(jù)庫服務(wù)器。
在將新數(shù)據(jù)批量導入數(shù)據(jù)庫服務(wù)器后，日志展示模塊可從數(shù)據(jù)庫服務(wù)器中 獲取數(shù)據(jù)，并通過圖形、表格等形式直觀地展現(xiàn)出來，供用戶參考。
本發(fā)明提供的一種系統(tǒng)集中式日志統(tǒng)計、處理系統(tǒng)及其方法，通過日志服 務(wù)器使各數(shù)據(jù)源從數(shù)據(jù)庫服務(wù)器相關(guān)的業(yè)務(wù)中剝離出來，簡化了各數(shù)據(jù)源的功 能，降低了系統(tǒng)復(fù)雜度；日志服務(wù)器可選擇在數(shù)據(jù)庫服務(wù)器空閑時同步數(shù)據(jù)， 相比原有系統(tǒng)，大幅度降低了話務(wù)繁忙時對數(shù)據(jù)庫服務(wù)器的壓力，提高了系統(tǒng) 穩(wěn)定性；日志服務(wù)器在各數(shù)據(jù)源和日志展示模塊之間起到了 一個很好的屏蔽作 用，能有效防止頻繁、復(fù)雜的日志展示功能的需求改動引起重要功能模塊的更 改，同時還提供一種簡單、實施性好的接口以滿足不同的日志展示需求。
當然，本發(fā)明還可有其他多種實施例，在不背離本發(fā)明精神及其實質(zhì)的情 況下，熟悉本領(lǐng)域的技術(shù)人員當可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但 這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護范圍。
權(quán)利要求
1、一種通訊系統(tǒng)日志集中統(tǒng)計、處理系統(tǒng)，包括多個數(shù)據(jù)源、數(shù)據(jù)庫服務(wù)器，所述各數(shù)據(jù)源用于提供基礎(chǔ)數(shù)據(jù)，所述數(shù)據(jù)庫服務(wù)器用于存放所述系統(tǒng)的系統(tǒng)數(shù)據(jù)，其特征在于，還包括一日志服務(wù)器，用于接收、處理所述各數(shù)據(jù)源按照所述日志服務(wù)器設(shè)定的數(shù)據(jù)格式傳送的基礎(chǔ)數(shù)據(jù)，并將處理后的基礎(chǔ)數(shù)據(jù)導入所述數(shù)據(jù)庫服務(wù)器。
2、 根據(jù)權(quán)利要求1所述的系統(tǒng)日志集中統(tǒng)計、處理系統(tǒng)，其特征在于， 所述日志服務(wù)器包括一內(nèi)存數(shù)據(jù)庫，用于存放數(shù)據(jù)；一采集模±央，用于接收所述基礎(chǔ)數(shù)據(jù)，并對所述基礎(chǔ)數(shù)據(jù)進行分類，再將 分類后的基礎(chǔ)數(shù)據(jù)保存至所述內(nèi)存數(shù)據(jù)庫；一挖掘模塊，用于對所述分類后的基礎(chǔ)數(shù)據(jù)進行整理、統(tǒng)計，生成新數(shù)據(jù)， 并存放至所述內(nèi)存數(shù)據(jù)庫；及一同步模塊，用于將所述新數(shù)據(jù)中需同步的新數(shù)據(jù)同步至所述數(shù)據(jù)庫服務(wù)器。
3、 根據(jù)權(quán)利要求1或2所述的系統(tǒng)日志集中統(tǒng)計、處理系統(tǒng)，其特征在 于，所述統(tǒng)計、處理系統(tǒng)還包括 一日志展示模塊，連接所述數(shù)據(jù)庫服務(wù)器， 用于以圖形或表格形式展示從所述數(shù)據(jù)庫服務(wù)器中獲取的數(shù)據(jù)。
4、 根據(jù)權(quán)利要求1或2所述的系統(tǒng)日志集中統(tǒng)計、處理系統(tǒng)，其特征在 于，所述各數(shù)據(jù)源通過所述日志服務(wù)器設(shè)定的通用日志消息接口將所述基礎(chǔ)數(shù) 據(jù)傳送至所述日志服務(wù)器。
5、 根據(jù)權(quán)利要求2所述的系統(tǒng)日志集中統(tǒng)計、處理系統(tǒng)，其特征在于， 所述日志服務(wù)器根據(jù)所述系統(tǒng)的要求增加或減少設(shè)置模塊的數(shù)量以適應(yīng)不同 的策略。
6、 一種系統(tǒng)日志集中統(tǒng)計、處理方法，其特征在于，包括 步驟一，建立多個數(shù)據(jù)源與一日志服務(wù)器之間的通訊鏈路；步驟二，所述各數(shù)據(jù)源按照所述日志服務(wù)器設(shè)定的數(shù)據(jù)格式傳送基礎(chǔ)數(shù)據(jù) 至所述日志服務(wù)器；及步驟三，所述日志服務(wù)器接收、處理所述基礎(chǔ)信息，并將處理后的基礎(chǔ)數(shù)據(jù)導入數(shù)據(jù)庫服務(wù)器。
7、 根據(jù)權(quán)利要求6所述的系統(tǒng)日志集中統(tǒng)計、處理方法，其特征在于， 所述步驟二，所述各數(shù)據(jù)源通過所述日志服務(wù)器設(shè)定的通用日志消息接口傳送 所述基礎(chǔ)數(shù)據(jù)至所述日志服務(wù)器。
8、 根據(jù)權(quán)利要求6或7所述的系統(tǒng)日志集中統(tǒng)計、處理方法，其特征在 于，所述步驟三中，所述日志服務(wù)器接收、處理所述基礎(chǔ)信息的步驟具體為步驟81，接收所述基礎(chǔ)數(shù)據(jù)并進行分類，再將分類后的基礎(chǔ)數(shù)據(jù)存放至 一內(nèi)存數(shù)據(jù)庫中；步驟82，對所述分類后的基礎(chǔ)數(shù)據(jù)進行整理、統(tǒng)計，生成新數(shù)據(jù)，并存 放至所述內(nèi)存數(shù)據(jù)庫；及步驟83，將所述新數(shù)據(jù)中需同步的新數(shù)據(jù)同步至所述數(shù)據(jù)庫服務(wù)器。
9、 根據(jù)權(quán)利要求6或7所述的系統(tǒng)日志集中統(tǒng)計、處理方法，其特征在 于，所述步驟三中，所述日志服務(wù)器將所述處理后的基礎(chǔ)數(shù)據(jù)單個或批量導入 數(shù)據(jù)庫服務(wù)器。
10、 根據(jù)權(quán)利要求6或7所述的系統(tǒng)日志集中統(tǒng)計、處理方法，其特征在 于，所述步驟三中，還包括以圖形或表格形式展示從所述數(shù)據(jù)庫服務(wù)器獲取 的數(shù)據(jù)的步驟。
全文摘要
本發(fā)明公開了一種系統(tǒng)日志集中統(tǒng)計、處理系統(tǒng)及其方法，其中，方法包括步驟一，建立多個數(shù)據(jù)源與一日志服務(wù)器之間的通訊鏈路；步驟二，所述各數(shù)據(jù)源按照所述日志服務(wù)器設(shè)定的數(shù)據(jù)格式傳送基礎(chǔ)數(shù)據(jù)至所述日志服務(wù)器；及步驟三，所述日志服務(wù)器接收、處理所述基礎(chǔ)信息，并將處理后的基礎(chǔ)數(shù)據(jù)導入數(shù)據(jù)庫服務(wù)器。本發(fā)明提供的一種集中式日志統(tǒng)計、處理系統(tǒng)及其方法，能有效降低系統(tǒng)對數(shù)據(jù)庫服務(wù)器的依賴程度，減小日志信息對數(shù)據(jù)庫服務(wù)器的影響，提高系統(tǒng)穩(wěn)定性；此外，還能大幅度提高系統(tǒng)靈活性和可實施性，減小因新增業(yè)務(wù)需求而帶給系統(tǒng)的影響。
文檔編號H04L12/24GK101197694SQ200610144368
公開日2008年6月11日 申請日期2006年12月4日 優(yōu)先權(quán)日2006年12月4日
發(fā)明者琦 吳 申請人:中興通訊股份有限公司