專利名稱：一種使用快照的方式實(shí)現(xiàn)對(duì)網(wǎng)上信息進(jìn)行記錄和分析的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)，特別是涉及一種使用快照的方式實(shí)現(xiàn)對(duì)網(wǎng)上信息進(jìn)行紀(jì)錄和分析的方法。
在很多的時(shí)候，我們需要對(duì)網(wǎng)上的一些信息進(jìn)行跟蹤和分析。例如，一位廣告商在某門戶網(wǎng)站上購買了每天特定時(shí)間的廣告，他需要確實(shí)的和客觀的知道他的廣告是否在該特定時(shí)間內(nèi)被播出，是否被插入了其他廠商的廣告，是否按照既定的方式進(jìn)行了播出。又例如，一家公司將自己的網(wǎng)站交給另外一家虛擬主機(jī)服務(wù)提供商運(yùn)營(yíng)，他期望了解網(wǎng)上服務(wù)運(yùn)營(yíng)的質(zhì)量，有沒有出現(xiàn)服務(wù)停止、服務(wù)出錯(cuò)等影響公司形象的事件發(fā)生。
在現(xiàn)階段，沒有一個(gè)非常好的方法實(shí)現(xiàn)上述提到的問題。在大多數(shù)情況下，人們只能夠相信網(wǎng)上服務(wù)提供商提供的數(shù)據(jù)。但由于經(jīng)濟(jì)利益的問題和信息的不對(duì)稱性，網(wǎng)上服務(wù)提供商常常不報(bào)告真實(shí)情況，而盡量報(bào)告對(duì)自己有利的信息。對(duì)于期望獲得服務(wù)的一方，只能靠人工的抽查來進(jìn)行個(gè)別問題的發(fā)現(xiàn)。如果不愿意投入人力的話，就只能夠相信服務(wù)提供商提供的報(bào)告了。
本發(fā)明的再一目的是通過對(duì)一系列快照的分析，得到網(wǎng)上信息的特征和規(guī)律，提供出有價(jià)值的數(shù)據(jù)。
本發(fā)明的又一目的是通過對(duì)快照的保存，在快照發(fā)生后的某一時(shí)刻，可以調(diào)出快照來證明在快照發(fā)生時(shí)刻網(wǎng)上信息的真實(shí)表現(xiàn)。
本發(fā)明的目的是這樣實(shí)現(xiàn)的通過含計(jì)算機(jī)快照系統(tǒng)，分析系統(tǒng)，檢索系統(tǒng)和快照數(shù)據(jù)庫組成的系統(tǒng)，執(zhí)行對(duì)網(wǎng)上信息進(jìn)行記錄和分析，該方法采取對(duì)網(wǎng)上信息進(jìn)行多次快照的方式保存信息和時(shí)間相關(guān)的備份，并通過對(duì)這些快照的分析，獲得各種有效數(shù)據(jù)，繼而將這些數(shù)據(jù)通過有效的方式傳遞給用戶。
所述的網(wǎng)上信息是一個(gè)泛指概念，可以是WWW、FTP、TELNET、E-Mail等各種網(wǎng)上信息服務(wù)提供的各種信息。
所述的方法包含如下步驟a、選定一個(gè)或多個(gè)被監(jiān)控的信息源b、使用信息獲取工具按照需要的方式多次獲取信息源的信息c、對(duì)獲取的信息進(jìn)行快照處理并存儲(chǔ)d、定期或?qū)崟r(shí)按照需要對(duì)快照信息進(jìn)行分析處理e、對(duì)分析處理的結(jié)果數(shù)據(jù)、按照需要的方式進(jìn)行展示所述的信息獲取工具指適應(yīng)所監(jiān)視信息所屬網(wǎng)上服務(wù)的軟件和硬件系統(tǒng)，該工具可以是通用工具、也可以是專門開發(fā)的工具。
所述的按照需要的方式多次獲取泛指多種可能得信息獲取方式，可以是隨機(jī)獲??；可以是指定時(shí)間間隔的獲取；可以是指定時(shí)間段的獲取等多種方式。
所述的快照處理指對(duì)通過工具獲取的網(wǎng)上原始信息進(jìn)行加工裁減的過程。可以對(duì)所獲取的原始信息的一部分進(jìn)行快照；可以對(duì)原始信息中的一類信息進(jìn)行快照等。
所述的按照需要對(duì)快照信息進(jìn)行分析泛指多種方式的分析?？梢允菍?duì)每個(gè)快照本身的屬性進(jìn)行分析；也可以是對(duì)多次快照間的關(guān)聯(lián)進(jìn)行分析；也可以是快照和時(shí)間空間因素的關(guān)聯(lián)分析等。
所屬的需要的方式進(jìn)行展示泛指多種方式的展示方式?？梢允荅-Mail通知、系統(tǒng)報(bào)告、監(jiān)視系統(tǒng)告警、手機(jī)短信等。
該系統(tǒng)中使用的服務(wù)器可以各種品牌和配置的服務(wù)器，例如可采用Dell、Compaq、IBM、聯(lián)想、方正等品牌的服務(wù)器。相應(yīng)服務(wù)器上的操作系統(tǒng)也可以是多種選擇，如Window、Linux、Solaris等。對(duì)于數(shù)據(jù)庫，系統(tǒng)在設(shè)計(jì)上也沒有特指性，可以選用商業(yè)數(shù)據(jù)庫如DB2、Oracle、SQL Server等，也可以選擇免費(fèi)的數(shù)據(jù)庫如MySQL等。
對(duì)于系統(tǒng)中的各個(gè)系統(tǒng)，我們將分別加以詳細(xì)的說明。
圖3表示快照系統(tǒng)的工作流程。該部分的主要功能是根據(jù)用戶定義的需要監(jiān)控的頁面，定期將這個(gè)頁面的所有信息忠實(shí)紀(jì)錄在本地快照數(shù)據(jù)庫。其實(shí)施流程如下110建立網(wǎng)絡(luò)連接，該連接是到被監(jiān)控頁面所在網(wǎng)站的連接。
120按照HTTP協(xié)議獲取被監(jiān)控網(wǎng)頁130斷開網(wǎng)絡(luò)連接140對(duì)所獲取內(nèi)容進(jìn)行整理，如做網(wǎng)頁完整性檢查，添加獲取當(dāng)時(shí)的時(shí)間等操作。
150保存到快照數(shù)據(jù)庫160等待一個(gè)固定間隔時(shí)間，之后跳轉(zhuǎn)到110，繼續(xù)下一次快照動(dòng)作。
該流程中的110-130為使用HTTP協(xié)議，在互聯(lián)網(wǎng)上獲取信息的過程。我們可以按照標(biāo)準(zhǔn)的網(wǎng)絡(luò)協(xié)議開發(fā)實(shí)現(xiàn)，也可以借助現(xiàn)在已經(jīng)存在的程序如Netants的網(wǎng)頁獲取模塊、百度搜索引擎的搜集模塊等進(jìn)行完成。
快照系統(tǒng)實(shí)現(xiàn)了定期將被監(jiān)控頁面的信息忠實(shí)紀(jì)錄在本地快照數(shù)據(jù)庫中的功能。但只有對(duì)這些數(shù)據(jù)進(jìn)行深度的分析，才能得到有效的數(shù)據(jù)并按照用戶的要求反映給客戶。
圖4表示分析系統(tǒng)的工作流程，該系統(tǒng)實(shí)現(xiàn)了對(duì)快照信息的分析。對(duì)于本實(shí)例系統(tǒng)而言，我們分析基于時(shí)間的序的快照信息，獲得每次快照上是否包含廣告商的廣告，是否以合適的方式顯示了該廣告。如果有異常信息時(shí)，本系統(tǒng)將通過報(bào)告的方式向用戶(即廣告商)反饋這些信息。系統(tǒng)流程如下210從快照數(shù)據(jù)庫中獲取一個(gè)快照，該快照由快照系統(tǒng)獲得
220從快照中提取有關(guān)廣告的內(nèi)容部分，這種內(nèi)容可以是多種形式的內(nèi)容，可以是圖片內(nèi)容，文字鏈接，F(xiàn)lash等。
230將內(nèi)容部分和內(nèi)容的樣本進(jìn)行比較，這里的樣本既為廣告商提交給網(wǎng)站的廣告內(nèi)容，如220種所述，可以是多種形式的數(shù)據(jù)。該樣本信息就是網(wǎng)站需要最終向網(wǎng)民展示的最終廣告信息。
240輸出比較結(jié)果，該結(jié)果將被紀(jì)錄在系統(tǒng)中，用于以后的報(bào)告生成和檢索。
250等待下一條結(jié)果，當(dāng)下一條結(jié)果到來時(shí)，繼續(xù)210的操作，對(duì)該快照進(jìn)行分析。
260將單個(gè)或多個(gè)結(jié)果整理成為報(bào)告。
對(duì)于以上步驟，其核心是230對(duì)樣本內(nèi)容和快照中提取內(nèi)容的比較。由于涉及多種廣告方式，如圖片，文字鏈接，F(xiàn)lash，多媒體數(shù)據(jù)等多種格式，就必須進(jìn)行多種方式的比較。其中內(nèi)容的一致性，在快照中所處的位置，其在快照中所占有的面積等，都是這里提到的比較的有效組成部分。對(duì)于比較結(jié)果和廣告商提供數(shù)據(jù)完全一致的，視為合格；否則，則認(rèn)為不合格。
對(duì)于260，對(duì)報(bào)告的整理有多種的方式。如可以在每獲取一個(gè)新的快照比較數(shù)據(jù)就立即進(jìn)行整理報(bào)告，也可以每隔固定的時(shí)間或個(gè)數(shù)進(jìn)行一次整理報(bào)告。對(duì)于報(bào)告的形式，可以采用報(bào)表，e-mail，手機(jī)短信等多種方式進(jìn)行傳達(dá)。可以采取如果發(fā)現(xiàn)不合格信息馬上通過e-mail或手機(jī)短信報(bào)警的方法來進(jìn)行實(shí)時(shí)的監(jiān)控報(bào)警。
分析結(jié)果所生成的報(bào)告，會(huì)使廣告商及時(shí)掌握其廣告在網(wǎng)站上投放的質(zhì)量。對(duì)于那些沒有按照廣告商要求播放廣告的網(wǎng)站，廣告商需要一種有效的途徑來爭(zhēng)取自己的利益。這就是需要證明這種違反協(xié)議的證據(jù)。而我們的快照就恰恰是這種數(shù)據(jù)，可以明確的提供網(wǎng)站在何時(shí)、以何種方式違反了協(xié)議。通過快照檢索系統(tǒng)，我們可以獲得這些數(shù)據(jù)。結(jié)合圖5，我們來分析該系統(tǒng)的流程310接受快照檢索請(qǐng)求。
320檢索請(qǐng)求驗(yàn)證和分析，對(duì)用戶的合法性，檢索信息的合法性進(jìn)行判定。
330數(shù)據(jù)庫檢索接口，該模塊按照用戶的請(qǐng)求，從快照庫中獲取符合要求的快照信息，并將它傳遞給后繼的模塊進(jìn)行處理。
340檢索結(jié)果整理，分析這些結(jié)果之間的關(guān)系，得到一些相關(guān)數(shù)據(jù)，如異常次數(shù)，異常經(jīng)常發(fā)生時(shí)段等。
350組織輸出結(jié)果，按照一定的格式生成顯示結(jié)果。
該系統(tǒng)是一個(gè)功能性模塊，提供對(duì)快照及相關(guān)數(shù)據(jù)的檢索。該系統(tǒng)是一個(gè)基于數(shù)據(jù)庫的檢索系統(tǒng)，其實(shí)現(xiàn)的方法可以很多。我們可以使用JDBC或ODBC和JSP，PHP，ASP等語言相結(jié)合的方式實(shí)現(xiàn)網(wǎng)上的檢索，我們也可以開發(fā)相應(yīng)的軟件來支持這種檢索。
使用本發(fā)明，廣告主就可以全面的了解其廣告投放質(zhì)量。廣告主可以通過這些數(shù)據(jù)對(duì)門戶網(wǎng)站的廣告服務(wù)質(zhì)量進(jìn)行評(píng)價(jià)。如果出現(xiàn)問題，廣告主可以利用快照向門戶證明問題出現(xiàn)的客觀性，并視影響的嚴(yán)重性進(jìn)行索賠。
權(quán)利要求
1.一種使用快照的方式實(shí)現(xiàn)對(duì)網(wǎng)上信息進(jìn)行紀(jì)錄和分析的方法，該方法通過含計(jì)算機(jī)快照系統(tǒng)，分析系統(tǒng)，檢索系統(tǒng)和快照數(shù)據(jù)庫組成的系統(tǒng)，執(zhí)行對(duì)網(wǎng)上信息進(jìn)行記錄和分析，其特征在于該方法采取對(duì)網(wǎng)上信息進(jìn)行多次快照的方式保存信息和時(shí)間相關(guān)的備份，并通過對(duì)這些快照的分析，獲得各種有效數(shù)據(jù)，繼而將這些數(shù)據(jù)通過有效的方式傳遞給用戶。
2.根據(jù)權(quán)利要求1所述的使用快照的方式實(shí)現(xiàn)對(duì)網(wǎng)上信息進(jìn)行紀(jì)錄和分析的方法，其特征在于所述的網(wǎng)上信息是一個(gè)泛指概念，可以是WWW、FTP、TELNET、E-Mail網(wǎng)或各種網(wǎng)上信息服務(wù)提供的各種信息。
3.根據(jù)權(quán)利要求1所述的使用快照的方式實(shí)現(xiàn)對(duì)網(wǎng)上信息進(jìn)行紀(jì)錄和分析的方法，其特征在于所述的方法包含如下步驟a、選定一個(gè)或多個(gè)被監(jiān)控的信息源b、使用信息獲取工具按照需要的方式多次獲取信息源的信息c、對(duì)獲取的信息進(jìn)行快照處理并存儲(chǔ)d、定期或?qū)崟r(shí)按照需要對(duì)快照信息進(jìn)行分析處理e、對(duì)分析處理的結(jié)果數(shù)據(jù)、按照需要的方式進(jìn)行展示
4.根據(jù)權(quán)利要求3所述的使用快照的方式實(shí)現(xiàn)對(duì)網(wǎng)上信息進(jìn)行紀(jì)錄和分析的方法，其特征在于所述的信息獲取工具指適應(yīng)所監(jiān)視信息所屬網(wǎng)上服務(wù)的軟件和硬件系統(tǒng)，該工具可以是通用工具、也可以是專門開發(fā)的工具。
5.根據(jù)權(quán)利要求3所述的使用快照的方式實(shí)現(xiàn)對(duì)網(wǎng)上信息進(jìn)行紀(jì)錄和分析的方法，其特征在于所述的按照需要的方式多次獲取泛指多種信息獲取方式，可以是隨機(jī)獲取；可以是指定時(shí)間間隔的獲取；可以是指定時(shí)間段的獲取方式。
6.根據(jù)權(quán)利要求3所述的使用快照的方式實(shí)現(xiàn)對(duì)網(wǎng)上信息進(jìn)行紀(jì)錄和分析的方法，其特征在于所述的快照處理指對(duì)通過工具獲取的網(wǎng)上原始信息進(jìn)行加工裁減的過程，可以對(duì)所獲取的原始信息的一部分進(jìn)行快照；可以對(duì)原始信息中的一類信息進(jìn)行快照。
7.根據(jù)權(quán)利要求3所述的使用快照的方式實(shí)現(xiàn)對(duì)網(wǎng)上信息進(jìn)行紀(jì)錄和分析的方法，其特征在于所述的按照需要對(duì)快照信息進(jìn)行分析泛指多種方式的分析，可以是對(duì)每個(gè)快照本身的屬性進(jìn)行分析；也可以是對(duì)多次快照間的關(guān)聯(lián)進(jìn)行分析；也可以是快照和時(shí)間空間因素的關(guān)聯(lián)分析。
8.根據(jù)權(quán)利要求3所述的使用快照的方式實(shí)現(xiàn)對(duì)網(wǎng)上信息進(jìn)行紀(jì)錄和分析的方法，其特征在于所屬的需要的方式進(jìn)行展示泛指多種方式的展示方式，可以是E-Mail通知、系統(tǒng)報(bào)告、監(jiān)視系統(tǒng)告警、手機(jī)短信。
全文摘要
本發(fā)明為一種使用快照的方式實(shí)現(xiàn)對(duì)網(wǎng)上信息進(jìn)行紀(jì)錄和分析的方法。本方法是通過對(duì)互聯(lián)網(wǎng)上一個(gè)特定信息的多次進(jìn)行快照的方式，將信息當(dāng)時(shí)的狀態(tài)進(jìn)行保留。并通過對(duì)一系列快照信息的分析，得到有效數(shù)據(jù)。本發(fā)明不僅能夠有效的對(duì)網(wǎng)上信息進(jìn)行紀(jì)錄，分析，得到該信息的變動(dòng)情況，而且在必要的時(shí)候還可以通過保存下來的快照對(duì)分析結(jié)果加以佐證。
文檔編號(hào)G06F17/40GK1435782SQ0210055
公開日2003年8月13日 申請(qǐng)日期2002年1月31日 優(yōu)先權(quán)日2002年1月31日
發(fā)明者田雨厚, 雷鳴, 李彥宏, 劉建國(guó) 申請(qǐng)人:百度在線網(wǎng)絡(luò)技術(shù)(北京)有限公司