ocket安全套接字，IPX數(shù)據(jù)交換協(xié)議的通訊接口。日志收集壓縮部分包含兩個(gè)主要模塊，分別是用于獲取日志的重定向模塊和日志壓縮模塊。獲取日志的重定向模塊是將日志發(fā)生計(jì)算機(jī)上的日志源進(jìn)行重定向輸出，形成日志副本，將此日志副本傳輸給代理服務(wù)的日志壓縮模塊，重定向輸出過程包括對(duì)代理服務(wù)所在計(jì)算機(jī)的網(wǎng)絡(luò)訪問日志、操作系統(tǒng)日志、應(yīng)用軟件日志、網(wǎng)關(guān)設(shè)備日志、數(shù)據(jù)庫DML操作日志等進(jìn)行日志定位、重定向生成日志副本兩個(gè)步驟；
步驟I)日志定位，代理服務(wù)程序通過掃描日志發(fā)生計(jì)算機(jī)上的文件系統(tǒng)、系統(tǒng)注冊表信息，獲取日志的文件路徑、通過注冊表匹配機(jī)制確認(rèn)日志類型，定位日志文件所在的位置。
[0016]步驟2)重定向生成日志副本，當(dāng)步驟I)完成日志定位后，通過依賴性服務(wù)注入、滲透測試、進(jìn)程監(jiān)控等系統(tǒng)級(jí)編程技術(shù)對(duì)日志發(fā)生對(duì)象進(jìn)行日志文件獲取、并構(gòu)建生成日志副本的發(fā)生器進(jìn)程，副本的生成方式根據(jù)日志發(fā)生對(duì)象的日志類型來對(duì)應(yīng)不同的生成方式，文件型日志通過文件復(fù)制的方式完成副本生成，設(shè)備日志的副本生成方式通過單獨(dú)的進(jìn)程獲取設(shè)備固件的日志數(shù)據(jù)提取方式，應(yīng)用軟件日志的副本生成方式通過開源日志工具log4j開發(fā)包、Verbose調(diào)試開關(guān)等調(diào)試接口的輸出文件提取而成，數(shù)據(jù)庫日志的副本生成方式通過代理程序讀取數(shù)據(jù)庫DML日志記錄和數(shù)據(jù)表進(jìn)行行記錄連續(xù)讀取、抄送給副本的方式完成。
[0017]日志傳輸服務(wù)，是將網(wǎng)關(guān)-日志生成代理服務(wù)中步驟2)的重定向生成的日志副本傳輸給日志收集控制器。由于日志副本有多種類型及數(shù)據(jù)結(jié)構(gòu)，無法采用直接文件復(fù)制的方式讓日志收集控制器獲取日志副本，需要一種特殊的傳輸方法來完成各種日志副本的統(tǒng)一傳輸，日志傳輸服務(wù)通過網(wǎng)絡(luò)連接，在TCP/IP網(wǎng)絡(luò)協(xié)議，Socket安全套接字，IPX數(shù)據(jù)交換協(xié)議的基礎(chǔ)上封裝日志文件副本，采用兩種傳輸步驟來完成日志傳輸服務(wù)功能。
[0018]步驟I)建立異步消息處理機(jī)制，該步驟將日志副本通過消息處理機(jī)制來實(shí)現(xiàn)日志傳輸，消息處理機(jī)制主要處理文件型日志副本、應(yīng)用軟件日志副本，將重定向生成日志副本文件按照消息隊(duì)列的方式進(jìn)行封裝、并通過設(shè)置消息隊(duì)列深度、消息分段等參數(shù)將副本文件截取為每一個(gè)消息控制在4M大小的消息段，通過消息傳輸隊(duì)列的JMS進(jìn)程連接日志收集控制器的消息接收隊(duì)列進(jìn)程中，傳輸采用消息壓縮、分段提交、接收解壓三個(gè)動(dòng)作完成。由于消息處理機(jī)制是異步通信模式、消息壓縮可以減小副本文件大小、分段提交能夠減緩網(wǎng)絡(luò)帶寬占用、接收解壓能夠保證消息的完整性和一致性。從而解決日志副本文件傳輸網(wǎng)絡(luò)帶寬占用高、傳輸過程防篡改、異步處理對(duì)網(wǎng)關(guān)-日志生成服務(wù)性能沖擊的難題。
[0019]步驟2)建立連續(xù)數(shù)據(jù)捕獲機(jī)制，該步驟主要面向數(shù)據(jù)庫型的日志副本，連續(xù)數(shù)據(jù)捕獲機(jī)制是準(zhǔn)實(shí)時(shí)型的、延遲低、吞吐量大的日志傳輸服務(wù)方法。數(shù)據(jù)庫日志是線性日志類型，會(huì)不斷增長，日志文件較大。數(shù)據(jù)庫日志中記錄了數(shù)據(jù)庫DML語句的各種數(shù)據(jù)增刪改信息以及事務(wù)操作信息。當(dāng)網(wǎng)關(guān)-日志生成服務(wù)定位了數(shù)據(jù)庫日志后，并生成日志副本，由于該日志副本是關(guān)系型數(shù)據(jù)庫的日志格式，需要一種數(shù)據(jù)傳輸服務(wù)來將代理服務(wù)捕獲的日志變化情況應(yīng)用到日志收集控制器中，建立連續(xù)數(shù)據(jù)捕獲機(jī)制的方法是讀取日志副本行記錄，由于數(shù)據(jù)庫日志副本是持續(xù)增長的，我們記錄每一個(gè)增刪改和事務(wù)操作，將每一個(gè)記錄封裝為一個(gè)SQL指令，通過TCP/IP協(xié)議將這些指令傳遞給日志收集控制器，日志收集控制器收到SQL指令后，進(jìn)行解析處理。數(shù)據(jù)庫日志副本盡管持續(xù)增長，但連續(xù)數(shù)據(jù)捕獲機(jī)制也持續(xù)進(jìn)行記錄和SQL指令轉(zhuǎn)換，并發(fā)送SQL指令到日志收集控制器，SQL指令封裝的是文本類型，數(shù)據(jù)包較小、占用網(wǎng)絡(luò)帶寬資源少，日志收集控制器根據(jù)SQL指令進(jìn)行處理解析，重新在日志收集控制器中的數(shù)據(jù)庫日志分析模塊中執(zhí)行該SQL指令，從而達(dá)到數(shù)據(jù)傳輸完成的目的。
[0020]日志收集控制器是日志動(dòng)態(tài)分析方法的數(shù)據(jù)來源，它通過網(wǎng)關(guān)-日志生成服務(wù)收集各種類型的日志，通過日志傳輸服務(wù)將不同數(shù)據(jù)結(jié)構(gòu)的日志以一種統(tǒng)一的數(shù)據(jù)格式提交給位于日志收集控制器的存儲(chǔ)空間中，日志收集控制器定義該存儲(chǔ)空間的使用規(guī)則，并形成文件型日志控制器、消息型日志控制器和數(shù)據(jù)庫型日志控制器。日志收集的實(shí)現(xiàn)流程如圖2所示，用開源數(shù)據(jù)采集工具Fluentd的方式收集日志，通過Fluentd實(shí)時(shí)采集到日志收集控制器，將實(shí)時(shí)采集數(shù)據(jù)存放位于日志收集控制器中MongoDB的Capped Collect1n中。通過調(diào)用開源日志處理庫Log4j Append采集系統(tǒng)應(yīng)用層的數(shù)據(jù)和非結(jié)構(gòu)化的一些實(shí)時(shí)數(shù)據(jù)(比如頁面的點(diǎn)擊數(shù))。部分行為日志會(huì)將實(shí)時(shí)數(shù)據(jù)采集到MongoDB的CappedCollect1n。接下來是Schedule，線程定時(shí)掃描收集到得日志進(jìn)行分析統(tǒng)計(jì)，在同一個(gè)Schedule里面會(huì)存三份數(shù)據(jù)，一份存到Result作為統(tǒng)計(jì)結(jié)果，一份數(shù)據(jù)存到分布式文件系統(tǒng)，主要作為離線的數(shù)據(jù)預(yù)演，還有一份保存到日志搜索器主要用來實(shí)時(shí)查數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)和驗(yàn)證數(shù)據(jù)。
[0021 ]實(shí)時(shí)流處理服務(wù)，是系統(tǒng)日志動(dòng)態(tài)分析方法的核心部分，它將日志收集控制器收集的日志信息進(jìn)行實(shí)時(shí)計(jì)算與特征匹配，以XML格式統(tǒng)一生成流式處理的數(shù)據(jù)信息，并定義觸發(fā)器形成日志特征驅(qū)動(dòng)的異常統(tǒng)計(jì)信息，通過各個(gè)功能模塊將日志動(dòng)態(tài)分析的過程完整實(shí)現(xiàn)。它包含7個(gè)功能模塊，分別是實(shí)時(shí)計(jì)算控制器、通知服務(wù)、異常統(tǒng)計(jì)、實(shí)時(shí)結(jié)果展示、時(shí)間戳、日志解析器和日志搜索器。
[0022]實(shí)時(shí)計(jì)算控制器可以用來處理源源不斷流進(jìn)來的消息并完成實(shí)時(shí)計(jì)算，通過實(shí)時(shí)計(jì)算實(shí)現(xiàn)對(duì)不斷增長的日志信息中關(guān)心的業(yè)務(wù)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)與分析，并通過實(shí)時(shí)結(jié)果展示進(jìn)行日志展示，由于處理的日志增長量是持續(xù)的，數(shù)據(jù)量巨大，在設(shè)計(jì)實(shí)時(shí)計(jì)算控制器的時(shí)候需要充分考慮計(jì)算資源均衡的特點(diǎn)。
[0023]Spout將每條原始日志標(biāo)準(zhǔn)化，按照URL分組(fieldsGrouping，為保持每臺(tái)服務(wù)器計(jì)算量的均勾)，派發(fā)到對(duì)應(yīng)的Stat_bolt上；
Stat_bolt是主要的計(jì)算Bolt，將每個(gè)業(yè)務(wù)的URL梳理并計(jì)算，如PV、UV、總響應(yīng)時(shí)間、后端響應(yīng)時(shí)間、HTTP狀態(tài)碼統(tǒng)計(jì)、URL排序、流量統(tǒng)計(jì)等；
Merge_bolt將每個(gè)業(yè)務(wù)的數(shù)據(jù)合并，如PV數(shù)，UV數(shù)等。當(dāng)然，這里的UV合并就用到了前面提到的基數(shù)計(jì)數(shù)；
構(gòu)建一個(gè)Coordinator協(xié)調(diào)類，將流式處理StreamID標(biāo)記為“coordinator”，作用是為了進(jìn)行時(shí)間協(xié)調(diào)(切分batch)、檢查任務(wù)完成度、超時(shí)處理。
[0024]實(shí)現(xiàn)一個(gè)Scheduler通過日志收集控制器(3)獲取參數(shù)，動(dòng)態(tài)調(diào)整Spout、Bolt在各服務(wù)器的分布，以便靈活分配計(jì)算資源。
[0025]通知服務(wù)是實(shí)時(shí)流處理服務(wù)的重要功能，它通過配置日志解析器中的通知觸發(fā)器進(jìn)行監(jiān)控警告服務(wù)，并能夠提供符合SNMP協(xié)議的MIB庫進(jìn)行通知服務(wù)，通知方式包括郵件通知和消息通知。
[0026]異常統(tǒng)計(jì)按照日志解析器中對(duì)日志內(nèi)容進(jìn)行批處理，對(duì)日志中的錯(cuò)誤、警告信息進(jìn)行標(biāo)記，并對(duì)錯(cuò)誤類型和范圍通過數(shù)據(jù)字典進(jìn)行標(biāo)記分類，根據(jù)分類號(hào)和標(biāo)記編號(hào)對(duì)日志錯(cuò)誤和警告進(jìn)行統(tǒng)計(jì)、排序。提供統(tǒng)計(jì)和排序查詢接口供實(shí)時(shí)結(jié)果展示進(jìn)行日志展示。
[0027]實(shí)時(shí)結(jié)果展示通過對(duì)實(shí)時(shí)計(jì)算的日志信息和異常統(tǒng)計(jì)信息進(jìn)行實(shí)時(shí)顯示，通過調(diào)用操作系統(tǒng)GDI繪制函數(shù)進(jìn)行結(jié)果展示，展示方式有表格視圖、統(tǒng)計(jì)視圖和儀表盤方式。
[0028]時(shí)間戳是實(shí)時(shí)計(jì)算過程中，為了對(duì)日志事件進(jìn)行時(shí)間定義的一個(gè)