專利名稱：一種網(wǎng)站日志保存系統(tǒng)及方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信技術(shù)領(lǐng)域，尤其涉及一種網(wǎng)站日志保存系統(tǒng)及方法和裝置。
背景技術(shù)：
網(wǎng)站日志是記錄web服務(wù)器接收處理請求以及運(yùn)行時錯誤等各種原始信息的以.log結(jié)尾的文件。通過網(wǎng)站日志可以了解誰在什么時間使用什么工具訪問了網(wǎng)站的哪些內(nèi)容，它是網(wǎng)站分析和網(wǎng)站數(shù)據(jù)倉儲的最基礎(chǔ)來源。因為能夠完整無誤的保存網(wǎng)站日志成為了保證web服務(wù)器正常運(yùn)行的一個必要基礎(chǔ)。在現(xiàn)有技術(shù)中，網(wǎng)站日志由WEB服 務(wù)器自身記錄，當(dāng)訪問產(chǎn)生時WEB服務(wù)器按照預(yù)先設(shè)置的日志格式以文本的形式把該次訪問的某些信息記錄在本地或者某臺網(wǎng)絡(luò)服務(wù)器上。但是，不同的WEB服務(wù)器一般僅支持自己特定的日志格式，如apache支持的NCSA日志格式和IIS支持的W3C日志格式，大多數(shù)的日志分析工具都提供對NCSA和W3C至少一種格式的支持。另有一些WEB服務(wù)器如nginx有自己默認(rèn)的日志格式，一般需要手工配置成NCSA格式以方便使用日志分析軟件。總體上現(xiàn)有技術(shù)存在以下問題I.訪問日志由web服務(wù)器負(fù)責(zé)記錄，web服務(wù)器不僅需要響應(yīng)訪客的請求還需要記錄訪問日志，增加了 web服務(wù)器的負(fù)擔(dān)。獲得每一次訪問的信息都是由web服務(wù)器在處理請求時同步進(jìn)行，影響web服務(wù)器的性能。2.日志的格式與使用的web服務(wù)器有關(guān)，這極大限制了的網(wǎng)站日志分析工具的選擇范圍。傳統(tǒng)的網(wǎng)站日志格式受使用的web服務(wù)器制約，選定了某種服務(wù)器也就選定了某種日志格式，或者說為了可以使用某種日志格式不得不選用某種服務(wù)器。3.日志配置過程繁瑣復(fù)雜，某些web服務(wù)器甚至僅能透過配置文件才能完成日志配置，這需要有較高的計算機(jī)知識才能順利完成。另外web服務(wù)器一般不提供對已生成的日志的篩選功能，無法對已生成的日志進(jìn)行篩選處理。4.日志記錄不具備智能性，現(xiàn)有的網(wǎng)站日志只是單純的記錄web報文所攜帶的固有信息，不具備任何的行為分析能力，不管是攻擊還是正常訪問對于現(xiàn)有網(wǎng)站日志而言沒有什么區(qū)別，一般都需要專業(yè)技術(shù)人員進(jìn)行分析來推測訪問的行為，假如網(wǎng)站遭到攻擊，在大量的訪問日志中尋找攻擊線索猶如大海撈針。

發(fā)明內(nèi)容
針對傳統(tǒng)網(wǎng)站日志模式的上述缺點，本發(fā)明的目的在于提供一種基于旁路鏡像的網(wǎng)站日志保存系統(tǒng)及方法和裝置，從而解決現(xiàn)有技術(shù)中存在的前述問題。本發(fā)明采用旁路鏡像的方式獲取訪問數(shù)據(jù)，對訪問網(wǎng)站的數(shù)據(jù)進(jìn)行“旁路鏡像”，獲得用戶訪問網(wǎng)站的原始數(shù)據(jù)包信息，經(jīng)由行為分析模塊對訪問進(jìn)行行為分類后可以記錄成多種格式的網(wǎng)站日志。本發(fā)明的技術(shù)方案不會對web服務(wù)器造成任何負(fù)擔(dān)，且日志格式與web服務(wù)器的選擇完全無關(guān)。傳統(tǒng)組網(wǎng)模型就是在網(wǎng)絡(luò)交換機(jī)上接入相關(guān)的WEB服務(wù)器，由WEB服務(wù)器實體來完成相關(guān)的網(wǎng)站日志保存等功能；而本發(fā)明的技術(shù)組網(wǎng)方案是在交換機(jī)上旁路部署了一個設(shè)備實體，由該設(shè)備實體來完成保存網(wǎng)站日志和查詢網(wǎng)站日志的功能，WEB服務(wù)器實體僅需要完成網(wǎng)站的信息應(yīng)答功能。本發(fā)明公開的技術(shù)方案具體如下 一種網(wǎng)站日志保存系統(tǒng)，包括防火墻、網(wǎng)絡(luò)交換機(jī)和web服務(wù)器，所述網(wǎng)絡(luò)交換機(jī)為具備鏡像端口的網(wǎng)絡(luò)交換機(jī)，所述鏡像端口上連接有日志保存服務(wù)器；所述鏡像端口用于通過流量鏡像方式獲取連接有所述日志保存服務(wù)器的通訊端口的通訊數(shù)據(jù)。優(yōu)選的，所述日志保存服務(wù)器包括流量采集模塊、http協(xié)議分析模塊、Request報文分析模塊、Response報文分析模 塊、行為分析模塊、日志條件檢查模塊和網(wǎng)站日志保存模塊；所述流量采集模塊、所述http協(xié)議分析模塊、所述Request報文分析模塊、所述Response報文分析模塊、所述行為分析模塊、所述日志條件檢查模塊和所述網(wǎng)站日志保存模塊順序連接。優(yōu)選的，所述網(wǎng)站日志保存系統(tǒng)還包括網(wǎng)站日志篩選模塊，所述網(wǎng)站日志篩選模塊用于根據(jù)請求端指定的條件對網(wǎng)站日志進(jìn)行篩選并將篩選結(jié)果反饋給所述請求端。一種應(yīng)用網(wǎng)站日志保存系統(tǒng)進(jìn)行日志保存的方法，包括以下步驟SI，通過所述鏡像端口獲取所述web服務(wù)器收到和發(fā)出的全部數(shù)據(jù)包；S2，分析所述數(shù)據(jù)包，從所述數(shù)據(jù)包中獲取http協(xié)議數(shù)據(jù)包；S3,分析所述http協(xié)議數(shù)據(jù)包中的Request報文數(shù)據(jù),得到Request報文必要信息；S4,分析所述http協(xié)議數(shù)據(jù)包中的Response報文數(shù)據(jù)，得到Response報文必要信息；S5,分析所述Request報文必要信息和/或Response報文必要信息,得到訪問行為類型信息；S6,用所述Request報文必要信息和/或Response報文必要信息和/或訪問行為類型與預(yù)設(shè)條件對比，如果符合所述預(yù)設(shè)條件則緩存所述Request報文，并等待獲取與該Request報文對應(yīng)的Response報文，當(dāng)獲取到與所述Request報文對應(yīng)的Response報文后，則將相互對應(yīng)的Request報文和Response報文組成完整的訪問過程，并將所述完整的訪問過程按照預(yù)設(shè)格式保存到數(shù)據(jù)庫和/或日志文件中形成網(wǎng)站日志。優(yōu)選的，還包括以下步驟S7、根據(jù)請求端設(shè)置的篩選條件從所述數(shù)據(jù)庫和/或日志文件中篩選出符合條件的日志記錄，并將該符合條件的日志記錄保存為新文件再反饋給請求端。優(yōu)選的，所述預(yù)設(shè)條件、所述預(yù)設(shè)格式、所述篩選條件均通過web頁面設(shè)置。優(yōu)選的,所述Request報文必要信息包括訪問者的IP地址、訪問的具體域名、訪問的具體URL、Refrence信息、UserAgent和攜帶的Cookies ;所述Response報文必要信息包括應(yīng)答狀態(tài)碼、攜帶的內(nèi)容類型和報文長度。優(yōu)選的，SI具體為，通過所述鏡像端口獲取，得到所有發(fā)送到所述web服務(wù)器以及從所述web服務(wù)器發(fā)出的報文，并將所述報文分離成上行和下行流量；和/或S2具體為，通過對所述上行和下行流量中TCP載荷的內(nèi)容分析區(qū)分，獲取得到http協(xié)議報文；和/或S3具體為，對所述http協(xié)議報文中的Request報文進(jìn)行解碼處理，分離出Request必要信息,并將所述Request必要信息緩沖；和/或S4具體為，對所述http協(xié)議報文中的Response報文進(jìn)行解碼處理，分離出Response必要信息，并將所述Response必要信息緩沖；和/或S5具體為,根據(jù)所述Request報文和所述Response報文所攜帶的信息對訪問者的訪問行為進(jìn)行分析，確定所述訪問行為的行為類型；和/或S6具體為，用所 述Request必要信息和/或所述Response必要信息和/或所述訪問行為類型與預(yù)設(shè)日志條件比對，如果符合所述預(yù)設(shè)日志條件，則把包含有所述Request必要信息的Request報文緩存，并等待與該Request報文相對應(yīng)的Response報文，當(dāng)獲取到與該Request報文對應(yīng)的Response報文后，則將相互對應(yīng)的Request報文中的Request必要信息和Response報文中的Response必要信息合并組成一個完整的訪問過程，再根據(jù)預(yù)設(shè)的日志格式和日志條目組合成最終的一條網(wǎng)站日志并寫入數(shù)據(jù)庫和/或日志文件中并建立該條網(wǎng)站日志的查詢索引。一種應(yīng)用網(wǎng)站日志保存系統(tǒng)進(jìn)行日志保存的裝置，包括流量采集模塊，用于通過所述鏡像端口獲取所述web服務(wù)器收到和發(fā)出的全部數(shù)據(jù)包；http協(xié)議分析模塊，用于分析所述數(shù)據(jù)包，從所述數(shù)據(jù)包中獲取http協(xié)議數(shù)據(jù)包；Request報文分析模塊,用于分析所述http協(xié)議數(shù)據(jù)包中的Request報文數(shù)據(jù),得到Request報文必要信息；Response報文分析模塊,用于分析所述http協(xié)議數(shù)據(jù)包中的Response報文數(shù)據(jù)，得到Response報文必要信息；行為分析模塊，用于分析所述Request報文必要信息和/或Response報文必要信息，得到訪問行為類型信息；日志條件檢查模塊，用于用所述Request報文必要信息和/或Response報文必要信息和/或訪問行為類型與預(yù)設(shè)條件對比，如果符合所述預(yù)設(shè)條件則送入下一處理步驟；網(wǎng)站日志保存模塊，用于將完整的訪問過程按照預(yù)設(shè)格式保存到數(shù)據(jù)庫和/或日志文件中形成網(wǎng)站日志。優(yōu)選的，所述裝置還包括網(wǎng)站日志篩選模塊，所述網(wǎng)站日志篩選模塊用于根據(jù)指定條件對網(wǎng)站日志進(jìn)行篩選。本發(fā)明的有益效果是I.在記錄并保存網(wǎng)站日志的同時，對網(wǎng)站沒有任何的影響，無需修改網(wǎng)站任何的配置，無需改寫網(wǎng)站的網(wǎng)頁，可以做到即插即用；2.本方案由置于旁路設(shè)備上的流量采集模塊完成數(shù)據(jù)采集，不會損傷web的性能，使web服務(wù)器可以節(jié)省出資源提高并發(fā)請求量和計算速度。3.本方案由行為分析模塊對訪問行為進(jìn)行了智能分類，攻擊、爬蟲、正常訪問等一目了然。4.本方案的日志記錄格式與使用什么web服務(wù)器沒有任何關(guān)系，使用apache服務(wù)器也可以得到W3C格式的日志。5.本發(fā)明的日志篩選模塊可以直接向用戶輸出符合用戶需求的日志內(nèi)容。


圖I是本發(fā)明公開的網(wǎng)站日志保存系統(tǒng)結(jié)構(gòu)示意圖；圖2是本發(fā)明公開的應(yīng)用網(wǎng)站日志保存系統(tǒng)進(jìn)行日志保存的方法的步驟流程圖；圖3是本發(fā)明公開的應(yīng)用網(wǎng)站 日志保存系統(tǒng)進(jìn)行日志保存的裝置的示意框圖。
具體實施例方式為了使本發(fā)明所解決的技術(shù)問題、技術(shù)方案及有益效果更加清楚明白，以下結(jié)合附圖，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施方式
僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。如圖I所示，本發(fā)明公開了一種網(wǎng)站日志保存系統(tǒng)，包括防火墻、網(wǎng)絡(luò)交換機(jī)和web服務(wù)器，所述網(wǎng)絡(luò)交換機(jī)為具備鏡像端口的網(wǎng)絡(luò)交換機(jī)，所述鏡像端口上連接有日志保存服務(wù)器；所述鏡像端口用于通過流量鏡像方式獲取連接有所述日志保存服務(wù)器的通訊端口的通訊數(shù)據(jù)。所述日志保存服務(wù)器包括流量采集模塊、http協(xié)議分析模塊、Request報文分析模塊、Response報文分析模塊、行為分析模塊、日志條件檢查模塊和網(wǎng)站日志保存模塊；所述流量采集模塊、所述http協(xié)議分析模塊、所述Request報文分析模塊、所述Response報文分析模塊、所述行為分析模塊、所述日志條件檢查模塊和所述網(wǎng)站日志保存模塊順序連接。所述網(wǎng)站日志保存系統(tǒng)還包括網(wǎng)站日志篩選模塊，所述網(wǎng)站日志篩選模塊用于根據(jù)請求端指定的條件對網(wǎng)站日志進(jìn)行篩選并將篩選結(jié)果反饋給所述請求端。如圖2所示，本發(fā)明公開了一種應(yīng)用網(wǎng)站日志保存系統(tǒng)進(jìn)行日志保存的方法，包括以下步驟SI，通過所述鏡像端口獲取所述web服務(wù)器收到和發(fā)出的全部數(shù)據(jù)包；具體為，通過所述鏡像端口獲取，得到所有發(fā)送到所述web服務(wù)器以及從所述web服務(wù)器發(fā)出的報文，并將所述報文分離成上行和下行流量；S2，分析所述數(shù)據(jù)包，從所述數(shù)據(jù)包中獲取http協(xié)議數(shù)據(jù)包；具體為，通過對所述上行和下行流量中TCP載荷的內(nèi)容分析精確區(qū)分屬于http協(xié)議的報文，獲取得到http協(xié)議報文；因為http協(xié)議是由Request報文發(fā)起的，因此http協(xié)議分析系統(tǒng)首先分離出Request報文,然后再找到針對這個Request報文的應(yīng)答,分別將Request報文和Response報文傳遞到Request分析系統(tǒng)和Response分析系統(tǒng)，并形成Request報文和Response報文的對應(yīng)關(guān)系。S3,分析所述http協(xié)議數(shù)據(jù)包中的Request報文數(shù)據(jù),得到Request報文必要信息；具體為，對所述http協(xié)議報文中的Request報文進(jìn)行解碼處理,分離出Request必要信息，并將所述Request必要信息緩沖；所述Request報文必要信息包括訪問者的IP地址、訪問的具體域名、訪問的具體URL、Refrence信息、UserAgent和攜帶的Cookies等信息；S4,分析所述http協(xié)議數(shù)據(jù)包中的Response報文數(shù)據(jù)，得到Response報文必要信息；具體為，對所述http協(xié)議報文中的Response報文進(jìn)行解碼處理,分離出Response必要信息，并將所述Response必要信息緩沖；所述Response報文必要信息包括應(yīng)答狀態(tài)碼、攜帶的內(nèi)容類型和報文長度等信息。S5,分析所述Request報文必要信息和/或Response報文必要信息,得到訪問行為類型信息；具體為，根據(jù)所述Request報文和所述Response報文所攜帶的信息對訪問者的訪問行為進(jìn)行分析，確定所述訪問行為的行為類型；所述訪問行為類型包括正常訪問、爬蟲和攻擊等多種行為類型。S6,用所述Request報文必要信息和/或Response報文必要信息和/或訪問行為類型與預(yù)設(shè)條件對比，如果符合所述預(yù)設(shè)條件則緩存所述Request報文，并等待獲取與該Request報文對應(yīng)的Response報文，當(dāng)獲取到與所述Request報文對應(yīng)的Response報文后，則將相互對應(yīng)的Request報文和Response報文組成完整的訪問過程，并將所述完整的訪問過程按照預(yù)設(shè)格式保存到數(shù)據(jù)庫和/或文件中形成網(wǎng)站日志；具體為，用所述Request必要信息和/或所述Response必要信息和/或所述訪問行為類型與預(yù)設(shè)日志條件比對，如果符合所述預(yù)設(shè)日志條件，則把包含有所述Re quest必要信息的Request報文緩存，并等待與該Request報文相對應(yīng)的Response報文，當(dāng)獲取到與該Request報文對應(yīng)的Response報文后，則將相互對應(yīng)的Request報文中的Request必要信息和Response報文中的Response必要信息合并組成一個完整的訪問過程，再根據(jù)預(yù)設(shè)的日志格式和日志條目組合成最終的一條網(wǎng)站日志并寫入數(shù)據(jù)庫和/或日志文件中并建立該條網(wǎng)站日志的查詢索引。為了讓獲取保存的網(wǎng)站日志具有更大的可用性，在通過上述步驟保存網(wǎng)站日志后，還可以通過以下步驟對日志進(jìn)行篩選。S7、根據(jù)請求端設(shè)置的篩選條件從所述數(shù)據(jù)庫和/或文件中篩選出符合條件的日志記錄，并將該符合條件的日志記錄保存為新文件再反饋給請求端。 所述日志格式一條日志中需要記錄的條目、條目的出現(xiàn)順序及其格式。目前常見的網(wǎng)站日志格式主要有NCSA日志格式和W3C日志格式，分別被apache和IIS采用，這兩種格式下又有更細(xì)的分類不做介紹。另外由于本方案中使用了一臺專用的日志保存服務(wù)器做為日志保存設(shè)備，所以通過該服務(wù)器上的web管理頁面就可以對所述預(yù)設(shè)條件、所述預(yù)設(shè)格式、所述篩選條件等進(jìn)行設(shè)置。所述預(yù)設(shè)格式可以是NCSA common, NCSA combined, W3C模版，Apache自定義和W3C自定義格式等，所述篩選條件可以是響應(yīng)狀態(tài)(如200，304)、請求方法(如Get)、源IP、目的IP、排除IP、URL規(guī)則、內(nèi)容類型(如圖片)和行為分類(如正常訪問、爬蟲、攻擊等)等；這些條件也可以組合使用。通過方便的設(shè)置篩選條件，進(jìn)而可以快速獲取所需要的日志內(nèi)容，從而不必像大海撈針一樣的查找日志，提高了工作效率。如圖3所示，本發(fā)明公開了一種應(yīng)用網(wǎng)站日志保存系統(tǒng)進(jìn)行日志保存的裝置，包括流量采集模塊，用于通過所述鏡像端口獲取所述web服務(wù)器收到和發(fā)出的全部數(shù)據(jù)包；http協(xié)議分析模塊，用于分析所述數(shù)據(jù)包，從所述數(shù)據(jù)包中獲取http協(xié)議數(shù)據(jù)包；Request報文分析模塊,用于分析所述http協(xié)議數(shù)據(jù)包中的Request報文數(shù)據(jù),得到Request報文必要信息；Response報文分析模塊,用于分析所述http協(xié)議數(shù)據(jù)包中的Response報文數(shù)據(jù)，得到Response報文必要信息；行為分析模塊，用于分析所述Request報文必要信息和/或Response報文必要信息，得到訪問行為類型信息；日志條件檢查模塊，用于用所述Request報文必要信息和/或Response報文必要信息和/或訪問行為類型與預(yù)設(shè)條件對比，如果符合所述預(yù)設(shè)條件則送入下一處理步驟；網(wǎng)站日志保存模塊，用于 將完整的訪問過程按照預(yù)設(shè)格式保存到數(shù)據(jù)庫和/或日志文件中形成網(wǎng)站日志。還包括網(wǎng)站日志篩選模塊，所述網(wǎng)站日志篩選模塊用于根據(jù)指定條件對網(wǎng)站日志進(jìn)行篩選。通過采用本發(fā)明公開的上述技術(shù)方案，得到了如下有益的效果I.在記錄并保存網(wǎng)站日志的同時，對網(wǎng)站沒有任何的影響，無需修改網(wǎng)站任何的配置，無需改寫網(wǎng)站的網(wǎng)頁，可以做到即插即用；2.本方案由置于旁路設(shè)備上的流量采集模塊完成數(shù)據(jù)采集，不會損傷web的性能，使web服務(wù)器可以節(jié)省出資源提高并發(fā)請求量和計算速度。3.本方案由行為分析模塊對訪問行為進(jìn)行了智能分類，攻擊、爬蟲、正常訪問等一目了然。4.本方案的日志記錄格式與使用什么web服務(wù)器沒有任何關(guān)系，使用apache服務(wù)器也可以得到W3C格式的日志。本發(fā)明的日志篩選模塊可以直接向用戶輸出符合用戶需求的日志內(nèi)容。以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種網(wǎng)站日志保存系統(tǒng)，包括防火墻、網(wǎng)絡(luò)交換機(jī)和web服務(wù)器，其特征在于，所述網(wǎng)絡(luò)交換機(jī)為具備鏡像端口的網(wǎng)絡(luò)交換機(jī)，所述鏡像端口上連接有日志保存服務(wù)器；所述鏡像端口用于通過流量鏡像方式獲取連接有所述日志保存服務(wù)器的通訊端口的通訊數(shù)據(jù)。
2.根據(jù)權(quán)利要求I所述的網(wǎng)站日志保存系統(tǒng)，其特征在于，所述日志保存服務(wù)器包括流量采集模塊、http協(xié)議分析模塊、Request報文分析模塊、Response報文分析模塊、行為分析模塊、日志條件檢查模塊和網(wǎng)站日志保存模塊；所述流量采集模塊、所述http協(xié)議分析模塊、所述Request報文分析模塊、所述Response報文分析模塊、所述行為分析模塊、所述日志條件檢查模塊和所述網(wǎng)站日志保存模塊順序連接。
3.根據(jù)權(quán)利要求I所述的網(wǎng)站日志保存系統(tǒng)，其特征在于，所述網(wǎng)站日志保存系統(tǒng)還包括網(wǎng)站日志篩選模塊，所述網(wǎng)站日志篩選模塊用于根據(jù)請求端指定的條件對網(wǎng)站日志進(jìn)行篩選并將篩選結(jié)果反饋給所述請求端。
4.一種應(yīng)用權(quán)利要求I或2或3所述的網(wǎng)站日志保存系統(tǒng)進(jìn)行日志保存的方法，其特征在于，包括以下步驟 SI，通過所述鏡像端口獲取所述web服務(wù)器收到和發(fā)出的全部數(shù)據(jù)包； S2，分析所述數(shù)據(jù)包，從所述數(shù)據(jù)包中獲取http協(xié)議數(shù)據(jù)包； 53,分析所述http協(xié)議數(shù)據(jù)包中的Request報文數(shù)據(jù),得到Request報文必要信息； 54,分析所述http協(xié)議數(shù)據(jù)包中的Response報文數(shù)據(jù),得到Response報文必要信息； 55,分析所述Request報文必要信息和/或Response報文必要信息,得到訪問行為類型信息； 56,用所述Request報文必要信息和/或Response報文必要信息和/或訪問行為類型與預(yù)設(shè)條件對比，如果符合所述預(yù)設(shè)條件則緩存所述Request報文，并等待獲取與該Request報文對應(yīng)的Response報文，當(dāng)獲取到與所述Request報文對應(yīng)的Response報文后,則將相互對應(yīng)的Request報文和Response報文組成完整的訪問過程，并將所述完整的訪問過程按照預(yù)設(shè)格式保存到數(shù)據(jù)庫和/或日志文件中形成網(wǎng)站日志。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，還包括以下步驟 57,根據(jù)請求端設(shè)置的篩選條件從所述數(shù)據(jù)庫和/或日志文件中篩選出符合條件的日志記錄，并將該符合條件的日志記錄保存為新文件再反饋給請求端。
6.根據(jù)權(quán)利要求4或5所述的方法，其特征在于，所述預(yù)設(shè)條件、所述預(yù)設(shè)格式、所述篩選條件均通過web頁面設(shè)置。
7.根據(jù)權(quán)利要求4或5所述的方法，其特征在于，所述Request報文必要信息包括訪問者的IP地址、訪問的具體域名、訪問的具體URL、Refrence信息、UserAgent和攜帶的Cookies ;所述Response報文必要信息包括應(yīng)答狀態(tài)碼、攜帶的內(nèi)容類型和報文長度。
8.根據(jù)權(quán)利要求4或5所述的方法，其特征在于， SI具體為，通過所述鏡像端口獲取，得到所有發(fā)送到所述web服務(wù)器以及從所述web服務(wù)器發(fā)出的報文，并將所述報文分離成上行和下行流量；和/或 S2具體為，通過對所述上行和下行流量中TCP載荷的內(nèi)容分析區(qū)分，獲取得到http協(xié)議報文；和/或 S3具體為,對所述http協(xié)議報文中的Request報文進(jìn)行解碼處理,分離出Request必要信息，并將所述Request必要信息緩沖；和/或S4具體為，對所述http協(xié)議報文中的Response報文進(jìn)行解碼處理，分離出Response必要信息，并將所述Response必要信息緩沖；和/或 S5具體為，根據(jù)所述Request報文和所述Response報文所攜帶的信息對訪問者的訪問行為進(jìn)行分析，確定所述訪問行為的行為類型；和/或 S6具體為，用所述Request必要信息和/或所述Response必要信息和/或所述訪問行為類型與預(yù)設(shè)日志條件比對，如果符合所述預(yù)設(shè)日志條件，則把包含有所述Request必要信息的Request報文緩存，并等待與該Request報文相對應(yīng)的Response報文，當(dāng)獲取到與該Request報文對應(yīng)的Response報文后，則將相互對應(yīng)的Request報文中的Request必要信息和Response報文中的Response必要信息合并組成一個完整的訪問過程，再根據(jù)預(yù)設(shè)的日志格式和日志條目組合成最終的一條網(wǎng)站日志并寫入數(shù)據(jù)庫和/或日志文件中并建立該條網(wǎng)站日志的查詢索引。
9.一種應(yīng)用權(quán)利要求I或2或3所述的網(wǎng)站日志保存系統(tǒng)進(jìn)行日志保存的裝置，其特征在于，包括 流量采集模塊，用于通過所述鏡像端口獲取所述web服務(wù)器收到和發(fā)出的全部數(shù)據(jù)包； http協(xié)議分析模塊，用于分析所述數(shù)據(jù)包，從所述數(shù)據(jù)包中獲取http協(xié)議數(shù)據(jù)包；Request報文分析模塊,用于分析所述http協(xié)議數(shù)據(jù)包中的Request報文數(shù)據(jù),得到Request報文必要信息； Response報文分析模塊,用于分析所述http協(xié)議數(shù)據(jù)包中的Response報文數(shù)據(jù),得到Response報文必要信息； 行為分析模塊，用于分析所述Request報文必要信息和/或Response報文必要信息，得到訪問行為類型信息； 日志條件檢查模塊，用于用所述Request報文必要信息和/或Response報文必要信息和/或訪問行為類型與預(yù)設(shè)條件對比，如果符合所述預(yù)設(shè)條件則送入下一處理步驟； 網(wǎng)站日志保存模塊，用于將完整的訪問過程按照預(yù)設(shè)格式保存到數(shù)據(jù)庫和/或日志文件中形成網(wǎng)站日志。
10.根據(jù)權(quán)利要求9所述的裝置，其特征在于所述裝置還包括網(wǎng)站日志篩選模塊，所述網(wǎng)站日志篩選模塊用于根據(jù)指定條件對網(wǎng)站日志進(jìn)行篩選。
全文摘要
本發(fā)明提供一種基于旁路鏡像的網(wǎng)站日志保存系統(tǒng)及方法和裝置，從而解決現(xiàn)有技術(shù)中存在的問題。本發(fā)明采用旁路鏡像的方式獲取訪問數(shù)據(jù)，對訪問網(wǎng)站的數(shù)據(jù)進(jìn)行“旁路鏡像”，獲得用戶訪問網(wǎng)站的原始數(shù)據(jù)包信息，經(jīng)由行為分析模塊對訪問進(jìn)行行為分類后可以記錄成多種格式的網(wǎng)站日志。本發(fā)明的技術(shù)方案不會對web服務(wù)器造成任何負(fù)擔(dān)，且日志格式與web服務(wù)器的選擇完全無關(guān)。傳統(tǒng)組網(wǎng)模型就是在網(wǎng)絡(luò)交換機(jī)上接入相關(guān)的WEB服務(wù)器，由WEB服務(wù)器實體來完成相關(guān)的網(wǎng)站日志保存等功能。
文檔編號H04L12/24GK102857369SQ20121027978
公開日2013年1月2日 申請日期2012年8月7日 優(yōu)先權(quán)日2012年8月7日
發(fā)明者李曉亮 申請人:北京鼎震科技有限責(zé)任公司