本發(fā)明涉及一種跨平臺(tái)日志收集處理框架，屬于計(jì)算機(jī)領(lǐng)域。

背景技術(shù)：

隨著各個(gè)系統(tǒng)平臺(tái)的發(fā)展，各自發(fā)展出一批忠實(shí)的用戶，由于各個(gè)系統(tǒng)平臺(tái)所具有的特點(diǎn)，能夠適應(yīng)特定的技術(shù)需求，因此在一個(gè)大的系統(tǒng)中，可能需要不同的平臺(tái)實(shí)現(xiàn)各種特點(diǎn)的功能，同時(shí)，通過對網(wǎng)絡(luò)中所產(chǎn)生的日志進(jìn)行收集得到的?？梢姡罩臼占到y(tǒng)所收集到的日志情況關(guān)系到針對基礎(chǔ)數(shù)據(jù)進(jìn)行分析所得結(jié)果的可靠性。也就是說，日志收集是一個(gè)非常重要的環(huán)節(jié)。

現(xiàn)有的技術(shù)主要是面對同一平臺(tái)的日志進(jìn)行收集，在面對不同平臺(tái)的日志時(shí)，難以滿足各個(gè)平臺(tái)對應(yīng)的日志文件的同時(shí)收集整理，因此需要一個(gè)面向不同平臺(tái)的日志收集框架。

技術(shù)實(shí)現(xiàn)要素：

為了解決上述問題，本發(fā)明通過提供一種跨平臺(tái)日志收集處理框架。

本發(fā)明采用的技術(shù)方案一方面為一種跨平臺(tái)日志收集處理框架，包括：異平臺(tái)收集代理模塊和日志處理服務(wù)器；所述異平臺(tái)收集代理模塊獲取并加密各平臺(tái)的日志，將加密日志保存在收集代理的本地?cái)?shù)據(jù)庫，所述日志處理服務(wù)器根據(jù)預(yù)設(shè)的規(guī)則從本地?cái)?shù)據(jù)庫拉取加密日志。

優(yōu)選地，還包括日志備份服務(wù)器，所述基于備份策略從日志處理服務(wù)器獲取日志并存儲(chǔ)。

優(yōu)選地，所述日志處理服務(wù)器包括密鑰處理單元和MongoBD單元，其中，所述密鑰單元處理單元用于更新異平臺(tái)收集代理模塊的密鑰和解密加密日志，所述MongoBD單元用于存儲(chǔ)解密后的日志。

優(yōu)選地，所述日志處理服務(wù)器從本地?cái)?shù)據(jù)庫拉取加密日志，同時(shí)發(fā)送上傳成功信息至異平臺(tái)代理模塊，異平臺(tái)代理模塊確認(rèn)上傳成功信息則刪除已上傳的加密日志。

優(yōu)選地，所述本地?cái)?shù)據(jù)庫為SQLite數(shù)據(jù)庫。

優(yōu)選地，所述各平臺(tái)通過對應(yīng)的異平臺(tái)收集代理模塊從日志服務(wù)器獲取日志模板，異平臺(tái)收集代理模塊基于該模塊生成日志保存文件。

優(yōu)選地，所述日志服務(wù)器基于https連接異平臺(tái)收集代理模塊和日志備份服務(wù)器。

本發(fā)明的有益效果為通過設(shè)置與不同平臺(tái)的收集模塊，基于同樣的日志模板進(jìn)行信息的收集和處理，同時(shí)對日志信息進(jìn)行加密處理以保證安全性，可以實(shí)現(xiàn)對不同系統(tǒng)平臺(tái)的日志的收集和安全保護(hù)。

附圖說明

圖1所示為基于本發(fā)明實(shí)施例的一種跨平臺(tái)日志收集處理框架示意圖；

圖2所示為基于本發(fā)明實(shí)施例的日志收集流程的示意圖。

具體實(shí)施方式

以下結(jié)合實(shí)施例對本發(fā)明進(jìn)行說明。

基于發(fā)明的實(shí)施例1，如圖1所示一種跨平臺(tái)日志收集處理框架，包括：異平臺(tái)收集代理模塊和日志處理服務(wù)器；所述異平臺(tái)收集代理模塊獲取并加密各平臺(tái)的日志，將加密日志保存在收集代理的本地?cái)?shù)據(jù)庫，所述日志處理服務(wù)器根據(jù)預(yù)設(shè)的規(guī)則從本地?cái)?shù)據(jù)庫拉取加密日志。

系統(tǒng)還包括日志備份服務(wù)器，所述基于備份策略從日志處理服務(wù)器獲取日志并存儲(chǔ)。

所述日志處理服務(wù)器包括密鑰處理單元和MongoBD單元，其中，所述密鑰單元處理單元用于更新異平臺(tái)收集代理模塊的密鑰和解密加密日志，所述MongoBD單元用于存儲(chǔ)解密后的日志。

所述日志處理服務(wù)器從本地?cái)?shù)據(jù)庫拉取加密日志，同時(shí)發(fā)送上傳成功信息至異平臺(tái)代理模塊，異平臺(tái)代理模塊確認(rèn)上傳成功信息則刪除已上傳的加密日志。

所述本地?cái)?shù)據(jù)庫為SQLite數(shù)據(jù)庫。

所述各平臺(tái)通過對應(yīng)的異平臺(tái)收集代理模塊從日志服務(wù)器獲取日志模板，異平臺(tái)收集代理模塊基于該模塊生成日志保存文件。

不同的平臺(tái)的日志文件的格式和內(nèi)容不盡相同，而同時(shí)保存不同文件格式在存儲(chǔ)上不是有利的做法，因此，通過對各個(gè)平臺(tái)對應(yīng)的日志文件進(jìn)行處理，即獲取關(guān)鍵的信息，例如時(shí)間、事件類型等信息，然后整合成一個(gè)通用的格式，有利于存儲(chǔ)。

所述日志服務(wù)器基于https連接異平臺(tái)收集代理模塊和日志備份服務(wù)器。

基于發(fā)明的實(shí)施例2，如圖2所示的日志收集流程。

客戶端日志收集代理啟動(dòng)，根據(jù)配置文件連接日志服務(wù)器，如果連接成功則發(fā)送本機(jī)密鑰種子；日志服務(wù)器接收密鑰種子并生產(chǎn)一組密鑰及使用策略，將使用策略發(fā)送至客戶端；客戶端保存密鑰種子和使用策略，請求日志本地保存的DB模版文件；日志服務(wù)器接收請求并發(fā)送本地DB模版文件至客戶端；客戶端根據(jù)模板文件復(fù)制生成日記本地保存DB文件，然后進(jìn)行日記上傳策略的交互，獲取本地日志偵聽端口并上傳端口信息至日志服務(wù)器，完成客戶端收集代理啟動(dòng)。

通過密鑰和使用策略的定制控制客戶端以規(guī)定的順序和方式處理日志的加密工作；基于數(shù)據(jù)庫模板來實(shí)現(xiàn)統(tǒng)一格式的日志的保存；通過日志上傳策略的交互，使日志的上傳能夠按照規(guī)定的方式進(jìn)行；通過上傳端口信息的上傳使日志服務(wù)器能夠獲取客戶端的端口信息以支持第三方對客戶端/服務(wù)器的訪問。

本平臺(tái)的日志收集代理接收到日志后使用啟動(dòng)時(shí)接收到的密鑰及使用策略對日志內(nèi)容進(jìn)行加密，并保存到本地的SQLite數(shù)據(jù)庫中。在保存時(shí)日志收集代理會(huì)根據(jù)年/月/日的方式建立多個(gè)SQLite數(shù)據(jù)庫，根據(jù)日志寫入的日志決定將日志內(nèi)容寫入對應(yīng)的SQLite數(shù)據(jù)庫中。

當(dāng)日志收集代理根據(jù)上傳策略要求到達(dá)上傳日志時(shí)機(jī)時(shí)，會(huì)將日志內(nèi)容通過HTTPS的方式上傳到日志服務(wù)器。日志服務(wù)器接收到日志內(nèi)容后，根據(jù)之前傳送給日志收集代理的密鑰策略及密鑰對日志進(jìn)行解密之后，使用服務(wù)器端自己的密鑰對日志內(nèi)容進(jìn)行加密并保存到MongoDB中，同時(shí)通知日志收集代理上傳成功，日志收集代理刪除本地已上傳的日志內(nèi)容，對SQLite數(shù)據(jù)庫進(jìn)行壓縮。

根據(jù)服務(wù)器端配置的備份策略，服務(wù)器端將日志內(nèi)容通過服務(wù)器端密鑰加密后導(dǎo)出為文本文件，并再導(dǎo)出文件進(jìn)行加密以及壓縮，以年/月/日/時(shí)/分/秒為文件名通過HTTPS的方式備份到日志備份服務(wù)器。

在日志服務(wù)器端除接收日志收集代理上傳日志內(nèi)容的進(jìn)程以及日志備份進(jìn)程以外，會(huì)根據(jù)配置啟動(dòng)一個(gè)分析進(jìn)程，該進(jìn)程可根據(jù)第3方日志分析軟件的需求，將已保存到服務(wù)器的日志通過指定的格式發(fā)送到指定IP的指定端口。

以上所述，只是本發(fā)明的較佳實(shí)施例而已，本發(fā)明并不局限于上述實(shí)施方式，只要其以相同的手段達(dá)到本發(fā)明的技術(shù)效果，都應(yīng)屬于本發(fā)明的保護(hù)范圍。在本發(fā)明的保護(hù)范圍內(nèi)其技術(shù)方案和/或?qū)嵤┓绞娇梢杂懈鞣N不同的修改和變化。