用戶日志收集和處理系統(tǒng)以及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于信息技術(shù)領(lǐng)域，具體涉及用戶日志收集和處理系統(tǒng)以及方法。
【背景技術(shù)】
[0002]在系統(tǒng)運(yùn)行過(guò)程中產(chǎn)生日志文件，可以記錄系統(tǒng)的運(yùn)行狀況和用戶的操作行為，當(dāng)系統(tǒng)運(yùn)行緩慢或者異常退出時(shí)，可以通過(guò)查看日志文件，快速定位問(wèn)題、修復(fù)缺陷，使系統(tǒng)恢復(fù)正常運(yùn)行。并且隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，用戶日志也成了一個(gè)非常重要的信息。
[0003]例如，一些大型電子商務(wù)網(wǎng)站或者社交網(wǎng)站，可以通過(guò)對(duì)用戶日志的挖掘，通過(guò)用戶日志找出用戶的潛在訪問(wèn)模式，從而設(shè)計(jì)出更便于用戶訪問(wèn)的網(wǎng)頁(yè)組織模式;然而如何在這些海量的日志中挖掘出對(duì)企業(yè)有用的信息，并以此作出決策是一項(xiàng)任務(wù)龐大而又重要的工作。因?yàn)椋脩羧罩臼怯杀姸嘤脩羯傻?，用戶日志具有?shù)據(jù)源多樣性、海量性、傳輸條件不確定性等特點(diǎn)。
[0004]因此，對(duì)用戶日志進(jìn)行分析、存儲(chǔ)和管理需要配置很高的硬件和技術(shù)，隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，現(xiàn)在技術(shù)領(lǐng)域中，分布式存儲(chǔ)和計(jì)算已經(jīng)成為一種流行的用戶日志收集和處理方法，但是這種用戶日志收集和處理方法即使將數(shù)據(jù)分類存儲(chǔ)，需要存儲(chǔ)的數(shù)據(jù)也還是較為龐大，數(shù)據(jù)量龐大不但對(duì)數(shù)據(jù)庫(kù)造成較大的壓力，而且讀取操作也費(fèi)時(shí)間。

【發(fā)明內(nèi)容】

[0005]為解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種用戶日志收集和處理系統(tǒng)以及方法，該系統(tǒng)對(duì)所有用戶日志進(jìn)行緩沖、暫存再存儲(chǔ)，通過(guò)該系統(tǒng)可以延遲存儲(chǔ)用戶日志，并且將有用的用戶日志存儲(chǔ)起來(lái)，解決了數(shù)據(jù)庫(kù)的壓力。
[0006]為達(dá)到上述目的，本發(fā)明的技術(shù)方案如下:
[0007]—種用戶日志收集和處理系統(tǒng)，其包括:用戶日志采集客戶端、用戶日志管理服務(wù)器和用戶日志管理頁(yè)面，所述用戶日志采集客戶端對(duì)若干用戶端不同應(yīng)用的日志進(jìn)行采集;所述用戶日志管理服務(wù)器接收所述用戶日志采集客戶端發(fā)送的日志數(shù)據(jù)，并進(jìn)行標(biāo)記、緩存、分析、篩選、存儲(chǔ)、存檔處理;所述用戶日志管理頁(yè)面提供與用戶交互的界面，在所述界面中用戶可以查找日志，并且可以對(duì)所述用戶日志采集客戶端和所述用戶日志管理服務(wù)器進(jìn)行系統(tǒng)配置和維護(hù)，分析用戶的操作行為；
[0008]所述用戶日志管理服務(wù)器包括:
[0009]觸發(fā)器，所述觸發(fā)器觸發(fā)來(lái)自所述用戶日志采集客戶端的日志數(shù)據(jù)的日志點(diǎn)；
[0010]標(biāo)記模塊，所述標(biāo)記模塊對(duì)所述日志數(shù)據(jù)進(jìn)行標(biāo)記；
[0011 ]暫存盤，所述暫存盤將標(biāo)記后的所述日志數(shù)據(jù)暫時(shí)存儲(chǔ)；
[0012]掃描模塊，所述掃描模塊中的掃描程序?qū)λ鰰捍姹P中暫時(shí)存儲(chǔ)的日志數(shù)據(jù)進(jìn)行掃描；
[0013]分析模塊，所述分析模塊分析所述掃描模塊掃描后的日志數(shù)據(jù)；
[0014]篩選模塊，所述篩選模塊將經(jīng)過(guò)所述分析模塊分析后的日志數(shù)據(jù)進(jìn)行篩選，篩選出有用的日志數(shù)據(jù)和暫時(shí)沒(méi)用的日志數(shù)據(jù)；
[0015]數(shù)據(jù)庫(kù)，所述數(shù)據(jù)庫(kù)用于存儲(chǔ)有用的日志數(shù)據(jù)。
[0016]在本發(fā)明的一個(gè)較佳實(shí)施例中，進(jìn)一步包括，所述用戶日志采集客戶端可根據(jù)自定義日志格式、日志類型、日志內(nèi)容、不同的應(yīng)用、不同內(nèi)容不同格式或者其它關(guān)鍵字，有選擇地采集日志數(shù)據(jù)。
[0017]在本發(fā)明的一個(gè)較佳實(shí)施例中，進(jìn)一步包括，所述用戶日志管理頁(yè)面供管理員、普通用戶使用。
[0018]在本發(fā)明的一個(gè)較佳實(shí)施例中，進(jìn)一步包括，一種用戶日志收集和處理方法，
[0019]步驟一、用戶在所述用戶日志采集客戶端產(chǎn)生一個(gè)操作行為，操作行為觸發(fā)所述觸發(fā)器，從而觸發(fā)了所述用戶日志管理服務(wù)器的日志點(diǎn)；
[0020]步驟二、日志數(shù)據(jù)在所述用戶日志管理服務(wù)器中緩沖，所述標(biāo)記模塊對(duì)所述日志數(shù)據(jù)進(jìn)行標(biāo)記；
[0021 ]步驟三、標(biāo)記后的日志數(shù)據(jù)暫時(shí)存儲(chǔ)在所述暫存盤中；
[0022]步驟四、所述掃描模塊中的掃描程序?qū)捍婧蟮乃鋈罩緮?shù)據(jù)進(jìn)行掃描；
[0023]步驟五、所述分析模塊對(duì)經(jīng)過(guò)掃描后的所述日志數(shù)據(jù)進(jìn)行分析，然后通過(guò)所述篩選模塊進(jìn)行篩選，篩選出有用的日志數(shù)據(jù)；
[0024]步驟六、篩選出來(lái)的有用的日志數(shù)據(jù)存儲(chǔ)到所述數(shù)據(jù)庫(kù)中，將暫時(shí)沒(méi)用的日志數(shù)據(jù)存檔；
[0025]步驟七、所述用戶日志管理服務(wù)器中的掃描模塊定時(shí)對(duì)存檔的數(shù)據(jù)掃描，重復(fù)所述步驟四到步驟六的步驟。
[0026]在本發(fā)明的一個(gè)較佳實(shí)施例中，進(jìn)一步包括，所述數(shù)據(jù)庫(kù)中還存儲(chǔ)一些不需要顯示在所述用戶日志管理頁(yè)面中，但是后續(xù)分析需要的數(shù)據(jù)內(nèi)容。
[0027]在本發(fā)明的一個(gè)較佳實(shí)施例中，進(jìn)一步包括，步驟五中所述篩選模塊完成對(duì)日志數(shù)據(jù)的篩選后間隔I Os循環(huán)進(jìn)行步驟四。
[0028]在本發(fā)明的一個(gè)較佳實(shí)施例中，進(jìn)一步包括，步驟五中所述篩選模塊的篩選方式包括:對(duì)用戶日志格式的篩選或?qū)I(yè)務(wù)內(nèi)容的篩選，其中，所述對(duì)用戶日志格式的篩選包括:對(duì)應(yīng)不同的應(yīng)用、不同業(yè)務(wù)內(nèi)容對(duì)應(yīng)的不同格式。
[0029]在本發(fā)明的一個(gè)較佳實(shí)施例中，進(jìn)一步包括，步驟二中所述標(biāo)記模塊對(duì)日志數(shù)據(jù)進(jìn)行標(biāo)記，后續(xù)具有相同標(biāo)記的日志數(shù)據(jù)則無(wú)需存儲(chǔ)在所述數(shù)據(jù)庫(kù)中。
[0030]本發(fā)明的有益效果是:
[0031]本發(fā)明的系統(tǒng)對(duì)所有用戶日志進(jìn)行緩沖、暫存再存儲(chǔ)，通過(guò)該系統(tǒng)可以延遲存儲(chǔ)用戶日志，并且將有用的用戶日志存儲(chǔ)起來(lái)，解決了數(shù)據(jù)庫(kù)的壓力。
【附圖說(shuō)明】
[0032]為了更清楚地說(shuō)明本發(fā)明實(shí)施例技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0033]圖1為本發(fā)明的系統(tǒng)框圖。
[0034]圖2為本發(fā)明的方法流程圖。
【具體實(shí)施方式】
[0035]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0036]實(shí)施例
[0037]如圖1所示，本實(shí)施例中公開(kāi)了一種用戶日志收集和處理系統(tǒng)，其包括:用戶日志采集客戶端、用戶日志管理服務(wù)器和用戶日志管理頁(yè)面。
[0038]其中，上述用戶日志采集客戶端對(duì)若干用戶端不同應(yīng)用的日志進(jìn)行采集，上述用戶日志采集客戶端包括若干個(gè)用戶端，上述用戶日志采集客戶端可根據(jù)自定義日志格式、日志類型、日志內(nèi)容、不同的應(yīng)用、不同內(nèi)容不同格式或者其它關(guān)鍵字，有選擇地采集日志數(shù)據(jù)。
[0039]上述用戶日志管理服務(wù)器接收上述用戶日志采集客戶端發(fā)送的日志數(shù)據(jù)，并進(jìn)行標(biāo)記、緩存、分析、篩選、存儲(chǔ)、存檔處理;上述用戶日志管理頁(yè)面提供與用戶交互的界面，在上述界面中用戶可以查找日志，并且可以對(duì)上述用戶日志采集客戶端和上述用戶日志管理服務(wù)器進(jìn)行系統(tǒng)配置和維護(hù)，分析用戶的操作行為;上述用戶日志管理頁(yè)面可以供管理員、普通用戶使