專利名稱：網(wǎng)絡(luò)使用情況監(jiān)視設(shè)備和相關(guān)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及網(wǎng)絡(luò)使用情況監(jiān)視，更具體地說，涉及網(wǎng)絡(luò)使用情況監(jiān)視設(shè)備和在網(wǎng)絡(luò)接入點捕捉使用情況數(shù)據(jù)的相關(guān)使用情況監(jiān)視方法。
在多種不同的應(yīng)用中，網(wǎng)絡(luò)服務(wù)提供商可受益于使用情況監(jiān)視；例如，它將提供根據(jù)用戶已獲取的信息和用戶已提供給網(wǎng)絡(luò)的信息產(chǎn)生網(wǎng)絡(luò)用戶簡表的能力。在多種應(yīng)用中，對服務(wù)提供商來說，用戶簡表是有益的，例如智能高速緩存數(shù)據(jù)(即用戶訪問的網(wǎng)頁的存儲副本)和/或預(yù)取數(shù)據(jù)(即預(yù)測未來的網(wǎng)頁訪問并保存這樣的網(wǎng)頁訪問)。另外，在網(wǎng)絡(luò)安全破壞方面，使用情況監(jiān)視信息是有作用的。它提供可用于追蹤破壞方歷史的有價值的破壞后(post-breach)信息。
諸如因特網(wǎng)之類通信網(wǎng)絡(luò)提供了另一種媒介，廣告商可通過所述媒介分發(fā)信息和誘惑消費者。由于頻繁(即使不是每天)依賴于因特網(wǎng)的人們很多，因此廣告商已投入大量的資金以便通過因特網(wǎng)傳送廣告。但是對于廣告商來說不事的是，大批分發(fā)的廣告通常費效比不高，因為許多(即使不是多數(shù))受眾并不對正在做廣告的特殊產(chǎn)品或服務(wù)感興趣。這樣，廣告商通常努力使廣告以據(jù)認為對正在做廣告的產(chǎn)品或者服務(wù)最感興趣的一部分人們作為目標。例如，新的私房屋主可能對安全系統(tǒng)最感興趣，從而住宅安全公司可使他們的廣告針對新的私房屋主。為了能夠以他們潛在的消費群為目標，廣告商必須能夠?qū)崟r地獲取使用情況監(jiān)視數(shù)據(jù)，并且能夠獲得格式化的數(shù)據(jù)或者易于格式化的數(shù)據(jù)，以便致力于人口統(tǒng)計，他們的特定產(chǎn)品針對所述人口統(tǒng)計結(jié)果而言。
另外，當內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN)用于根據(jù)使用情況信息優(yōu)化它們的分發(fā)網(wǎng)絡(luò)，并且向它們的客戶和訂戶提供較好的服務(wù)時，對于內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN)來說，使用情況監(jiān)視信息是重要的。
諸如家庭或公司之類的網(wǎng)絡(luò)用戶通過監(jiān)視家庭或者公司內(nèi)個人的使用情況，可受益于使用情況監(jiān)視信息。這種監(jiān)視確保個人沒有獲取不適宜的信息或者花費過多的時間瀏覽因特網(wǎng)或者企業(yè)內(nèi)部網(wǎng)。
雖然諸如因特網(wǎng)之類通信網(wǎng)絡(luò)提供了一種許多人可通過其通信的媒介，但是網(wǎng)絡(luò)服務(wù)提供商、網(wǎng)絡(luò)受益者和用戶他們自己一直不能確定用戶的確切本性，用戶獲取信息的內(nèi)容，用戶的人口統(tǒng)計細分(breakdown)和其它與使用情況相關(guān)的信息。例如，網(wǎng)絡(luò)廣告商一直難以實時確定關(guān)于用戶的具體人口統(tǒng)計結(jié)果和與用戶所請求的實際內(nèi)容相關(guān)的信息。網(wǎng)絡(luò)服務(wù)提供商一直難以實時跟蹤任意一個用戶所訪問的信息，以便提供更智能的高速緩存和預(yù)取能力、安全破壞研究能力等等。另外，網(wǎng)絡(luò)用戶(即家庭或公司)不具備就所訪問內(nèi)容或訪問話路的持續(xù)時間而論監(jiān)視個人(即家庭成員或雇員)的使用情況的適當手段。
在這方面，存在在通信網(wǎng)絡(luò)內(nèi)的不同離散位置監(jiān)視網(wǎng)絡(luò)使用情況的現(xiàn)有技術(shù)。例如，位于網(wǎng)絡(luò)通信流內(nèi)的網(wǎng)絡(luò)服務(wù)器和/或路由器通過保存關(guān)于服務(wù)器提供的內(nèi)容的訪問請求的日志，可監(jiān)視使用情況。這些日志提供和訪問特定網(wǎng)頁或者一組網(wǎng)頁的用戶的數(shù)目以及瀏覽這些網(wǎng)頁的瀏覽順序有關(guān)的信息。還提供了用于進行服務(wù)器日志的統(tǒng)計處理的軟件。同樣地，通過在存儲器中保存用戶所訪問內(nèi)容的日志，可在用戶級，即在個人的計算機監(jiān)視使用情況。該日志提供和單個用戶的使用模式相關(guān)的信息，包括訪問的內(nèi)容，內(nèi)容的瀏覽順序和每頁上所花的時間量。此外，某些因特網(wǎng)服務(wù)提供商(ISP)可包括保存最頻繁請求的信息的代理-高速緩存(proxy-caching)服務(wù)器。這些代理-高速緩存服務(wù)器可被設(shè)計成監(jiān)視通過代理-高速緩存服務(wù)器被送到網(wǎng)絡(luò)的那些用戶的web內(nèi)容使用情況。不幸的是，為了恰當?shù)嘏渲么砀咚倬彺妫?高速緩存服務(wù)器需要網(wǎng)絡(luò)管理人員等的用戶干預(yù)。此外，不是幾乎所有的客戶請求都被引向代理-高速緩存服務(wù)器，從而使使用情況數(shù)據(jù)不完整，價值大大降低。
如同將出指出的一樣，這些現(xiàn)有技術(shù)均和環(huán)球網(wǎng)的離散裝置或者部分的使用情況相關(guān)，并且監(jiān)視所述使用情況。例如，在服務(wù)器級和在用戶級進行的監(jiān)視顯然只分別確定在服務(wù)器產(chǎn)生的使用和用戶所進行的使用。另外，通過代理-高速緩存服務(wù)器進行的監(jiān)視只確定關(guān)于特定ISP網(wǎng)絡(luò)的一些客戶請求。雖然這些各種類型的使用情況監(jiān)視對網(wǎng)絡(luò)服務(wù)提供商、服務(wù)受益者和網(wǎng)絡(luò)用戶有一定幫助，但是這些實體需要在包括試圖訪問由多個不同服務(wù)器(可能位于多個不同服務(wù)提供商的網(wǎng)絡(luò)上)提供的信息的許多不同用戶的更大規(guī)模上監(jiān)視使用情況。
在一個實施例中，使用情況監(jiān)視方法和設(shè)備捕獲在用戶和網(wǎng)絡(luò)服務(wù)之間傳送的所有字節(jié)，并且記錄和網(wǎng)絡(luò)地址(即統(tǒng)一資源定位符(URL))相關(guān)的使用情況信息。通常，使用情況監(jiān)視方法和設(shè)備將把信息的存儲限制為用戶獲得網(wǎng)絡(luò)服務(wù)，并且丟棄和被確定為不可訪問的地址相關(guān)的任意使用情況信息的情況，從而減小最終數(shù)據(jù)庫的大小，并且改進數(shù)據(jù)庫的隨后搜索和數(shù)據(jù)庫的高速緩存。使用情況監(jiān)視方法和設(shè)備還允許實時監(jiān)視流式內(nèi)容，并且簡化基于web的用戶調(diào)查的實現(xiàn)。本發(fā)明的使用情況監(jiān)視方法和設(shè)備還便于監(jiān)視用戶查詢串以及用戶輸入web表格中的信息。
重要的是，本發(fā)明的使用情況監(jiān)視方法和設(shè)備捕獲包括一個或多個指定網(wǎng)絡(luò)地址的瀏覽順序。在這方面，指定地址可以由使用情況監(jiān)視模塊預(yù)先指定或者臨時確定為最受歡迎的地址。另一方面，使用情況監(jiān)視方法和設(shè)備可監(jiān)視位于指定網(wǎng)絡(luò)地址的鄰域中的地址，而不考慮地址受訪的順序。按照和本發(fā)明的使用情況監(jiān)視方法和設(shè)備依據(jù)其監(jiān)視指定地址鄰域中的地址的技術(shù)相同的方式，使用情況監(jiān)視方法和設(shè)備可監(jiān)視指定域之前和/或之后的域。此外，使用情況監(jiān)視方法和設(shè)備可監(jiān)視位于指定地址鄰域中的相關(guān)地址，即在指定地址之前或者之后不超過預(yù)定數(shù)目地址的相關(guān)URL，而不考慮特定的瀏覽順序?？梢远喾N方式確定該相關(guān)地址，并且該相關(guān)地址一般由用戶或者網(wǎng)絡(luò)管理人員確定，以便識別其它相關(guān)地址。
通過捕獲和通信網(wǎng)絡(luò)的使用情況相關(guān)的一組更全面的信息，本發(fā)明的使用情況監(jiān)視方法和設(shè)備能夠向使用情況監(jiān)視信息客戶提供非常有用的信息。例如，使用情況監(jiān)視方法和設(shè)備可包括詳細的用戶人口統(tǒng)計信息和與受訪站點或者本地流式媒體的內(nèi)容相關(guān)的信息。另外，通過在去往因特網(wǎng)的網(wǎng)關(guān)，即通信集合點監(jiān)視使用情況，使用情況監(jiān)視方法和設(shè)備能夠監(jiān)視請求訪問許多不同服務(wù)提供商的大量用戶的使用情況。
圖2是根據(jù)本發(fā)明另一實施例的使用情況電視設(shè)備的方框圖。
圖3是圖解說明由本發(fā)明一個實施例的使用情況監(jiān)視方法和設(shè)備執(zhí)行的一般操作的流程圖。
圖4是圖解說明由根據(jù)本發(fā)明另一實施例的使用情況監(jiān)視方法和設(shè)備執(zhí)行的瀏覽排序操作的流程圖。
圖5圖解說明了可被本發(fā)明的使用情況監(jiān)視方法和設(shè)備的一個實施例利用的關(guān)系數(shù)據(jù)庫。


圖1中描述了根據(jù)本發(fā)明實現(xiàn)使用情況監(jiān)視的網(wǎng)絡(luò)10。使用監(jiān)視模塊12最好實現(xiàn)于網(wǎng)關(guān)裝置14中或者被布置成與網(wǎng)關(guān)裝置14通信。例如，在網(wǎng)關(guān)裝置中實現(xiàn)使用監(jiān)視模塊的實施例中，網(wǎng)關(guān)可以是由California，Westlake Village的Nomadix Inc.提供，并在美國專利申請序列號No.08/816174、09/458602、09/458569、09/541877中描述的通用用戶網(wǎng)關(guān)，上述專利申請的內(nèi)容作為參考整體包含于此。另一方面，網(wǎng)關(guān)裝置可以是本領(lǐng)域普通技術(shù)人員已知的能夠?qū)崿F(xiàn)編程模塊的許多其它網(wǎng)關(guān)裝置中的任意一種。應(yīng)注意雖然優(yōu)選和網(wǎng)關(guān)裝置一起實現(xiàn)，不過使用監(jiān)視模塊也可和其它裝置一起實現(xiàn)，或者可以是獨立的裝置，只要實現(xiàn)該模塊的模塊或裝置被布置在網(wǎng)絡(luò)中，以致它接收來自若干用戶的所有請求/詢問，并且接收來自于構(gòu)成該網(wǎng)絡(luò)的所有網(wǎng)絡(luò)服務(wù)(即網(wǎng)絡(luò)通信聚合點)的所有響應(yīng)即可。在本發(fā)明的一個實施例中，實現(xiàn)使用情況監(jiān)視模塊的網(wǎng)關(guān)裝置將在若干用戶裝置16和通信網(wǎng)絡(luò)的剩余部分(即路由器18、服務(wù)提供商集合體20和因特網(wǎng)22)之間被安置在網(wǎng)絡(luò)內(nèi)。從而，在用作包含在通信網(wǎng)絡(luò)內(nèi)的所有網(wǎng)絡(luò)服務(wù)的通信聚合點的網(wǎng)絡(luò)接入點實現(xiàn)使用情況監(jiān)視模塊。
網(wǎng)絡(luò)用戶可通過若干不同的用戶裝置6，例如手持式通信裝置、便攜式通信裝置(膝上型計算機)、個人計算機等等與網(wǎng)關(guān)裝置通信，所述用戶裝置6通過訪問多路復(fù)用器24與網(wǎng)關(guān)裝置通信。另外，根據(jù)用戶和網(wǎng)絡(luò)之間的通信裝置，網(wǎng)絡(luò)體系結(jié)構(gòu)可包括用于鏈接各種通信裝置，例如DSL、電纜、LMDS(本地多點分發(fā)服務(wù))、撥號、租用線路、無線等等的網(wǎng)絡(luò)接口裝置(NID)(圖1中未示出)。雖然圖1描述通過單個訪問多路復(fù)用器與網(wǎng)絡(luò)通信的通信網(wǎng)絡(luò)用戶，不過在典型的通信網(wǎng)絡(luò)中，為了便于擴展用戶能力，會實現(xiàn)多個訪問多路復(fù)用器以及多個網(wǎng)絡(luò)接口裝置。
網(wǎng)關(guān)裝置14一般允許用戶與由ISP(因特網(wǎng)服務(wù)提供商)或者由企業(yè)網(wǎng)絡(luò)(即公司內(nèi)部網(wǎng)等)提供的各種各樣IP網(wǎng)絡(luò)服務(wù)通信。如圖1中所示，網(wǎng)關(guān)裝置可與用于把網(wǎng)絡(luò)通信送給服務(wù)提供商服務(wù)器集合體20、因特網(wǎng)22或者其它任意網(wǎng)絡(luò)服務(wù)(圖1中未示出)的路由器18通信。雖然圖1中只描述了單個路由器，但是在典型的通信網(wǎng)絡(luò)中，多個路由器和/或交換裝置將與網(wǎng)關(guān)裝置通信，以便恰當?shù)匕丫W(wǎng)絡(luò)通信送給它們的尋址目的地的。
根據(jù)本發(fā)明，使用情況監(jiān)視模塊捕獲在用戶和網(wǎng)絡(luò)服務(wù)之間傳送的所有分組。進行過濾以便抽取使用情況監(jiān)視客戶希望監(jiān)視的所有相關(guān)分組(例如HTTP請求和響應(yīng)，DNS請求和響應(yīng)等等)，并把這些相關(guān)分組轉(zhuǎn)發(fā)給相關(guān)的使用情況監(jiān)視數(shù)據(jù)庫30。用戶發(fā)出的關(guān)于網(wǎng)絡(luò)服務(wù)的請求和業(yè)自網(wǎng)絡(luò)服務(wù)的響應(yīng)由使用情況監(jiān)視數(shù)據(jù)庫捕獲。使用情況監(jiān)視數(shù)據(jù)可在實現(xiàn)使用情況監(jiān)視模塊的裝置之內(nèi)或者可在該裝置之外，只要使用情況監(jiān)視數(shù)據(jù)庫可通過通信與使用情況監(jiān)視模塊相連即可。在本發(fā)明的一個實施例中，使用情況監(jiān)視數(shù)據(jù)庫如后所述保存和HTTP請求及響應(yīng)相關(guān)的信息，并處理所述信息。
圖2根據(jù)本發(fā)明的一個實施例，示意表示了實現(xiàn)具有一系列數(shù)據(jù)庫的使用情況監(jiān)視的網(wǎng)絡(luò)。由于網(wǎng)關(guān)裝置14位于網(wǎng)絡(luò)體系結(jié)構(gòu)中通信聚合點的緣故，網(wǎng)關(guān)裝置14從若干用戶接收關(guān)于因特網(wǎng)或者其它網(wǎng)絡(luò)服務(wù)的請求。在這方面，在網(wǎng)關(guān)裝置中實現(xiàn)的使用情況監(jiān)視模塊能夠捕獲所有的分組，因為網(wǎng)關(guān)裝置按照混雜模式工作。在圖2的實施例中，使用情況監(jiān)視數(shù)據(jù)庫由可以訪問與使用情況監(jiān)視過程相關(guān)的輔助數(shù)據(jù)庫的使用情況監(jiān)視數(shù)據(jù)庫服務(wù)器32實現(xiàn)。
根據(jù)本發(fā)明的一個方面，使用情況監(jiān)視模塊12將捕獲分組，并把它們送給它們相應(yīng)的數(shù)據(jù)庫。如果捕獲的分組代表來自用戶的請求或詢問，則該請求保存在請求數(shù)據(jù)庫34中。除了捕獲用戶請求分組之外，使用情況監(jiān)視模塊將捕獲代表由網(wǎng)絡(luò)服務(wù)傳送的響應(yīng)和其它消息的分組。在這方面，使用情況監(jiān)視模塊將把響應(yīng)和它們相應(yīng)的請求進行匹配。如果用戶請求或詢問成功，即網(wǎng)絡(luò)服務(wù)批準訪問或者響應(yīng)詢問，隨后把響應(yīng)和用戶請求進行匹配，并把屬于該組匹配的請求/響應(yīng)的信息轉(zhuǎn)發(fā)給臨時數(shù)據(jù)庫36或者主數(shù)據(jù)庫38。如果來自網(wǎng)絡(luò)服務(wù)的響應(yīng)指示沒有出現(xiàn)有效響應(yīng)，例如訪問被拒絕，訪問無效，產(chǎn)生服務(wù)錯誤等等，或者如果在接收響應(yīng)之前發(fā)出超時，則請求數(shù)據(jù)庫從數(shù)據(jù)庫刪除相關(guān)的請求。按照類似的方式，如果來自網(wǎng)絡(luò)服務(wù)的響應(yīng)不能和用戶請求匹配，或者如果在預(yù)定的許可時間窗口之外產(chǎn)生響應(yīng)，則丟棄來自網(wǎng)絡(luò)服務(wù)的響應(yīng)。本發(fā)明這方面，即提供丟棄不能和有效響應(yīng)相符的請求，以及丟棄不能請求相符的響應(yīng)的能力允許使用情況監(jiān)視設(shè)備節(jié)省存儲量，從而使支持使用情況監(jiān)視設(shè)備所需的存儲空間降至最小。通過非永久地保存不能產(chǎn)生成功響應(yīng)的請求/詢問，主數(shù)據(jù)庫38可在搜索/高速緩存操作中智能提供優(yōu)良性能。
一旦使用情況監(jiān)視模塊已使用戶請求和網(wǎng)絡(luò)服務(wù)響應(yīng)匹配，則在請求和響應(yīng)中找到的信息被保存在臨時數(shù)據(jù)庫36或者主數(shù)據(jù)庫38中。使用情況監(jiān)視模塊將確定用戶請求是否是相對于特定網(wǎng)絡(luò)服務(wù)，例如網(wǎng)頁的預(yù)定數(shù)目的初始請求之一。如果確定用戶請求是初始請求或者在預(yù)定數(shù)目的初始請求之內(nèi)，則在該請求和響應(yīng)中找到的信息被保存在臨時數(shù)據(jù)庫。一旦該網(wǎng)絡(luò)服務(wù)被訪問次數(shù)超過預(yù)定的次數(shù)，則該信息被傳送給并保存在主數(shù)據(jù)庫38中，后來的請求/響應(yīng)被委托給并保存在主數(shù)據(jù)庫中。臨時數(shù)據(jù)庫的實現(xiàn)考慮了許多網(wǎng)絡(luò)服務(wù)只被請求一次或者只在極少量的時間被請求，從而當處理使用情況數(shù)據(jù)信息時，不需要這些極少使用請求/響應(yīng)的統(tǒng)計存在的事實。在這方面，主數(shù)據(jù)庫被最小化，以便更好地適應(yīng)最后的使用情況監(jiān)視信息客戶(即網(wǎng)絡(luò)服務(wù)提供商、網(wǎng)絡(luò)受益者或網(wǎng)絡(luò)用戶)對數(shù)據(jù)庫的后續(xù)處理。使用情況監(jiān)視模塊可被配置成選擇預(yù)定數(shù)目的初始請求，以平衡記錄用戶的所有活動和簡化數(shù)據(jù)庫并使之更有效率的競爭目標。但是在某些情況下，預(yù)定數(shù)目被設(shè)置為1。
另外，本發(fā)明的網(wǎng)絡(luò)使用情況監(jiān)視設(shè)備可包括指定網(wǎng)絡(luò)地址的數(shù)據(jù)庫40。指定網(wǎng)絡(luò)地址是由網(wǎng)絡(luò)使用情況監(jiān)視管理人員，一般是網(wǎng)關(guān)裝置管理人員等預(yù)定的頻繁受訪網(wǎng)絡(luò)地址。指定網(wǎng)絡(luò)地址大多數(shù)時候是使用情況監(jiān)視信息客戶認為特別重要的地址。使用情況監(jiān)視模塊允許把預(yù)定為“指定”的那些網(wǎng)絡(luò)地址的瀏覽順序保存在指定網(wǎng)絡(luò)地址的數(shù)據(jù)庫中。瀏覽順序一般包括預(yù)定數(shù)目的緊接在前和/或緊接在后的用戶所訪問網(wǎng)絡(luò)地址。例如，諸如商業(yè)廣告商之類的網(wǎng)絡(luò)受益者可能希望為使用情況監(jiān)視目的指定特定的因特網(wǎng)站點。這樣，當網(wǎng)絡(luò)用戶訪問指定的因特網(wǎng)站點，使用情況監(jiān)視模塊將把該網(wǎng)絡(luò)地址識別為指定的網(wǎng)絡(luò)地址，并且將記錄和保存訪問指定網(wǎng)絡(luò)地址之前和之后的在前和在后瀏覽順序。應(yīng)注意的是瀏覽順序可超出單個用戶話路，只要話路之間的間隔在預(yù)定的話路窗口之內(nèi)即可。
在本發(fā)明的一個實施例中，使用情況監(jiān)視設(shè)備與諸如PC之類的處理引擎42(即數(shù)據(jù)庫前端)通信。處理引擎與使用情況監(jiān)視數(shù)據(jù)庫通信，并且和在處理引擎上實現(xiàn)的GUI(圖形用戶界面)一起訪問數(shù)據(jù)庫。處理引擎根據(jù)使用情況監(jiān)視客戶的命令訪問數(shù)據(jù)庫，以便按照特定的用戶要求處理使用情況監(jiān)視數(shù)據(jù)。在本發(fā)明的一個實施例中，處理引擎與插入服務(wù)器44(圖2中所示)通信。例如，插入服務(wù)器可包括目標廣告插入服務(wù)器和目標調(diào)查插入服務(wù)器。處理引擎執(zhí)行根據(jù)收集的使用情況監(jiān)視數(shù)據(jù)，確定哪些廣告或調(diào)查有助于網(wǎng)絡(luò)提供商或者網(wǎng)絡(luò)受益者的必要命令。一旦確定目標廣告或調(diào)查，則向插入服務(wù)器發(fā)送命令，并且通過與網(wǎng)關(guān)裝置14的通信，把恰當?shù)膹V告或者調(diào)查轉(zhuǎn)發(fā)給網(wǎng)絡(luò)用戶。廣告或調(diào)查一般呈發(fā)送給用戶的通信裝置的彈出式控制畫面的形式。
圖3根據(jù)本發(fā)明的一個實施例圖解說明了使用情況監(jiān)視方法的流程圖。在步驟100，通常實現(xiàn)于網(wǎng)關(guān)裝置上的使用情況監(jiān)視模塊讀取正從通過網(wǎng)關(guān)裝置訪問網(wǎng)絡(luò)的若干用戶傳來的信息的所有字節(jié)和來自于網(wǎng)絡(luò)服務(wù)的字節(jié)。網(wǎng)關(guān)裝置一般按照混雜模式工作，以便確保信息的所有字節(jié)(不考慮目的地地址)都被使用情況監(jiān)視模塊處理。在步驟110，使用情況監(jiān)視模塊檢測TCP(傳輸控制協(xié)議)流中HTTP(超文本傳送協(xié)議)報頭的開始。
可選地，使用情況監(jiān)視模塊可被設(shè)計成只監(jiān)視在一個話路中訪問多于預(yù)定數(shù)目的不同網(wǎng)絡(luò)地址，例如因特網(wǎng)URL(統(tǒng)一資源定位符)的網(wǎng)絡(luò)用戶的使用情況。這可在不會顯著損害數(shù)據(jù)完整性的情況下減小數(shù)據(jù)庫，因為只訪問極少量地址的用戶不會向使用情況客戶提供重要的統(tǒng)計數(shù)據(jù)。于是，在可選的步驟120，確定關(guān)于該用戶的當前話路流是否已超過預(yù)定的臨界最小值。如果在一個話路中，用戶還沒有訪問多于預(yù)定數(shù)目的URL，則使用情況監(jiān)視模塊在步驟110繼續(xù)監(jiān)視用戶傳送的請求，但是在請求的數(shù)目超過預(yù)定閾值之前，并不進一步分析和保存所述請求。
一旦在一個話路內(nèi)用戶發(fā)出多于預(yù)定數(shù)目的請求或者如果使用情況監(jiān)視模塊不實現(xiàn)該可選的篩選程序，則在步驟130，使用情況監(jiān)視模塊一般通過分析分組的HTTP報頭，確定該分組是否代表請求或者響應(yīng)。如果捕獲的分組代表請求，則在步驟140，該請求被保存在請求數(shù)據(jù)庫中。如果捕獲的分組代表響應(yīng)，則在步驟150，檢查該響應(yīng)以確定該響應(yīng)中的狀態(tài)代碼是有效的狀態(tài)代碼還是無效的狀態(tài)代碼。
通常，雖然監(jiān)視網(wǎng)絡(luò)服務(wù)訪問或者其它請求，但是不考慮出于某些原因(所述原因可以是停用鏈路或者服務(wù)器可能已被臨時停機)，用戶可能一直不能訪問該服務(wù)的事實。但是在本發(fā)明的一個方面，還監(jiān)視來自被請求網(wǎng)絡(luò)服務(wù)的響應(yīng)狀態(tài)碼，以便只記錄在從數(shù)據(jù)庫中刪除其它請求的情況下，用戶實際訪問的網(wǎng)絡(luò)服務(wù)的地址。這可顯著節(jié)省存儲量和減小處理計算量狀態(tài)碼是被請求服務(wù)器返回的三位整數(shù)。狀態(tài)碼的第一位代表響應(yīng)的類別。返回的某些最常見的狀態(tài)碼是1)200 OK2)301永久移動3)304未修改4)401未經(jīng)許可5)403禁用6)404未找到7)500因特網(wǎng)服務(wù)器錯誤8)501未實現(xiàn)狀態(tài)碼200指示該網(wǎng)頁可被訪問，而其它狀態(tài)碼指示網(wǎng)頁不可訪問。如果確定響應(yīng)狀態(tài)碼無效，即除200之外的狀態(tài)碼，則在步驟160，丟棄該響應(yīng)，并且從請求數(shù)據(jù)庫刪除匹配的請求。另外，如果在接收相關(guān)的網(wǎng)絡(luò)響應(yīng)之前，超過預(yù)定的超時時段，則從請求數(shù)據(jù)庫刪除用戶請求。如果確定響應(yīng)狀態(tài)碼有效，則在步驟170，使網(wǎng)絡(luò)響應(yīng)和請求數(shù)據(jù)庫中的相關(guān)用戶請求進行匹配。如果對于返回的網(wǎng)絡(luò)響應(yīng)沒有找到任何匹配，例如在請求和響應(yīng)之間過去過多的時間的情況下，則在步驟180，丟棄網(wǎng)絡(luò)響應(yīng)。
可選地，在步驟190，使用情況監(jiān)視方法和設(shè)備確定匹配的請求/響應(yīng)是在主數(shù)據(jù)庫中還是在臨時數(shù)據(jù)庫中。雖然所有的請求/響應(yīng)和與之相關(guān)的信息可保存在主數(shù)據(jù)庫中，但是如果被請求的網(wǎng)絡(luò)服務(wù)首次被請求，或者如果被配置成這樣，被請求的網(wǎng)絡(luò)服務(wù)的被請求次數(shù)少于預(yù)定次數(shù)，則本發(fā)明一方面的使用情況監(jiān)視方法和設(shè)備一開始(并且可選地)把數(shù)據(jù)保存在臨時數(shù)據(jù)庫中。之后，一旦網(wǎng)絡(luò)服務(wù)被請求的次數(shù)超過預(yù)定次數(shù)，則請求/響應(yīng)信息被傳送給主數(shù)據(jù)庫和/或記錄在主數(shù)據(jù)庫中。如前所述，由于許多網(wǎng)絡(luò)地址，例如因特網(wǎng)URL只被請求一次，因此在繼續(xù)保存任何用戶訪問一次以上的所有網(wǎng)絡(luò)服務(wù)請求/響應(yīng)的時候，可使主數(shù)據(jù)庫的大小降至最小。通過為很少被請求的，請求次數(shù)少于預(yù)定最小次數(shù)的網(wǎng)絡(luò)服務(wù)建立單獨的但是臨時的數(shù)據(jù)庫，可實現(xiàn)這一點。
從而，如果在永久數(shù)據(jù)庫和臨時數(shù)據(jù)庫中都沒有找到任何入口(或者如果對于臨時數(shù)據(jù)庫中的入口來說還沒有超過最小的閾值)，則在步驟200，請求/響應(yīng)信息被保存在臨時數(shù)據(jù)庫中。如果在永久數(shù)據(jù)庫中找到一個入口，則在步驟210，更新永久數(shù)據(jù)庫以指示新的請求/響應(yīng)入口。另外，如果在臨時數(shù)據(jù)庫中找到一個入口，并且當前的訪問使之有資格包含在永久數(shù)據(jù)庫中(即正在超過預(yù)定的最小閾值)，則在步驟210，來自臨時數(shù)據(jù)庫的入口被轉(zhuǎn)移到永久數(shù)據(jù)庫。
在本發(fā)明的一個實施例中，使用情況監(jiān)視數(shù)據(jù)庫保存請求和相關(guān)響應(yīng)的UR。一般來說，URL將包括協(xié)議前綴，端口號，域名，子目錄名稱和文件名稱。在本發(fā)明的一個備選實施例中，使用情況監(jiān)視數(shù)據(jù)庫最好在主數(shù)據(jù)庫中保存和請求及響應(yīng)相關(guān)的各種其它數(shù)據(jù)。在這方面，通常從請求/響應(yīng)收集下述數(shù)據(jù)，并將其保存在適當?shù)臄?shù)據(jù)庫中a)用戶標識符(通過將其變換成隨機數(shù)，在提供給使用情況監(jiān)視客戶之前，該標識符可被匿名化，并且將相對于提供和用戶的年齡、性別、收入等有關(guān)信息的用戶簡表編制索引)b)URL(通常以群的方式邏輯排列URL)c)時間戳-指示分組被使用情況監(jiān)視模塊處理的時刻d)參閱地址(從HTTP報頭獲得)-通常，該地址提供關(guān)于受訪地址的超鏈接。
e)內(nèi)容類型(一般從HTTP報頭獲得)f)內(nèi)容長度g)響應(yīng)狀態(tài)碼h)用戶詢問串(通常以變元的形式發(fā)送給CGI(公共網(wǎng)關(guān)接口)應(yīng)用程序或者作為網(wǎng)絡(luò)用戶登記表格的結(jié)果)。
上面的列表不應(yīng)被認為是窮舉的，如同信息最終應(yīng)用于的應(yīng)用程序指示的那樣，對于請求/響應(yīng)也可抽取其它信息。
雖然可以不同的方式保存包含在用戶請求和網(wǎng)絡(luò)響應(yīng)中的信息，不過本發(fā)明的一個實施例的主數(shù)據(jù)庫是如圖5中描述的關(guān)系數(shù)據(jù)庫，所述關(guān)系數(shù)據(jù)庫使用戶和相應(yīng)的地址/URL聯(lián)系起來。關(guān)系數(shù)據(jù)庫是一種合適的保存彼此相關(guān)數(shù)據(jù)集的既定方式。這種情況下，每個網(wǎng)絡(luò)用戶和每個受訪地址只被保存一次，而不是每次網(wǎng)絡(luò)用戶訪問地址時，都要保存這兩個項目。隨后頁面的各個訪問可被表現(xiàn)為把訪問該地址的用戶的入口和正被訪問的地址的入口連接在一起的節(jié)點(在關(guān)系數(shù)據(jù)庫的環(huán)境中稱為元組)。該節(jié)點將包括和訪問相關(guān)的附加信息，例如訪問的時間、訪問的頻率，內(nèi)容長度和類型等等。例如，在用戶11訪問地址/URL 25的情況下，關(guān)系數(shù)據(jù)庫把用戶11保存在表1中，把地址/URL保存在表2中，同時一個節(jié)點鏈接來自表1的入口和來自表2的入口。這種形式的數(shù)據(jù)存儲便于數(shù)據(jù)檢索，從而為了編輯信息，使用情況監(jiān)視客戶可訪問某一用戶與之鏈接的所有節(jié)點。
根據(jù)圖4的流程圖，圖解說明了本發(fā)明的必然伴有呈瀏覽順序捕獲形式的使用情況監(jiān)視的備選實施例。網(wǎng)絡(luò)服務(wù)提供商和諸如網(wǎng)絡(luò)廣告商之類的網(wǎng)絡(luò)受益者不僅對了解哪些網(wǎng)絡(luò)服務(wù)經(jīng)常被訪問和花費多少時間訪問這些網(wǎng)絡(luò)服務(wù)感興趣，而且還對包括這些頻繁受訪地址的瀏覽順序感興趣。應(yīng)服務(wù)提供商或網(wǎng)絡(luò)受益者的要求，網(wǎng)絡(luò)管理人員和/或網(wǎng)關(guān)管理人員可為瀏覽排序監(jiān)視預(yù)定或者“指定”具體的網(wǎng)絡(luò)地址。管理人員將把指定網(wǎng)絡(luò)地址保存在指定網(wǎng)絡(luò)地址數(shù)據(jù)庫中。涉及指定網(wǎng)絡(luò)地址的瀏覽順序?qū)ㄔL問指定網(wǎng)絡(luò)地址之前和/或之后，用戶所訪問的預(yù)定數(shù)目的網(wǎng)絡(luò)地址。應(yīng)注意雖然典型的瀏覽順序產(chǎn)生于單個用戶話路之內(nèi)，但是瀏覽順序也可超出單個用戶話路，只要兩個話路之間的間隔在規(guī)定的閾值之內(nèi)即可。另外，指定的網(wǎng)絡(luò)地址可是以一個以上的瀏覽順序的一部分；于是，本發(fā)明的使用情況監(jiān)視模塊可捕獲并保存下述信息■指定的網(wǎng)絡(luò)地址為其一部分的所有瀏覽順序。
■只是網(wǎng)絡(luò)地址為其一部分的最普及的瀏覽順序(它超過了一定的訪問閾值)。
■指定的網(wǎng)絡(luò)地址為其一部分的特定瀏覽順序的頻率。
通常包含在主數(shù)據(jù)庫中的瀏覽順序數(shù)據(jù)庫的配置將由網(wǎng)絡(luò)管理人員或者網(wǎng)關(guān)管理人員任意選擇。
如同本領(lǐng)域的普通技術(shù)人員已知的那樣，Zipf定律陳述某一單詞在足夠長的一段文本中的出現(xiàn)次數(shù)是頻率發(fā)生順序的倒數(shù)。例如，出現(xiàn)頻率為第10的單詞的出現(xiàn)次數(shù)比最頻繁出現(xiàn)的單詞的出現(xiàn)次數(shù)小10倍。雖然不易于產(chǎn)生純粹的ZIPF定律關(guān)系，不過在諸如網(wǎng)絡(luò)服務(wù)訪問頻率之類的各種各樣情況中存在冪定律(出現(xiàn)頻率的順序和出現(xiàn)頻率之間的關(guān)系不是線性的)。其結(jié)果之一是少數(shù)網(wǎng)絡(luò)地址構(gòu)成絕大多數(shù)的用戶訪問(例如5％的適用網(wǎng)絡(luò)地址構(gòu)成95的網(wǎng)絡(luò)訪問)。這些假定意味只需對較小百分比的網(wǎng)絡(luò)地址(例如5％)捕獲統(tǒng)計數(shù)據(jù)，即瀏覽順序等等，并將其保存在使用情況監(jiān)視數(shù)據(jù)庫中即可。在這方面，網(wǎng)絡(luò)服務(wù)提供商和/或網(wǎng)絡(luò)受益者被賦予預(yù)定將受到瀏覽順序監(jiān)視的指定網(wǎng)絡(luò)地址，或者允許使用情況監(jiān)視模塊監(jiān)視由數(shù)據(jù)庫確定的最頻繁受訪網(wǎng)絡(luò)地址的瀏覽順序的選擇。
重新參見圖4的流程圖，本發(fā)明的使用情況監(jiān)視模塊實時監(jiān)視指定網(wǎng)絡(luò)地址的瀏覽順序。應(yīng)注意圖4流程圖的步驟100-170和圖3流程圖的步驟相同，于是，不需要對這些步驟進行更多的說明。根據(jù)本發(fā)明，通過持續(xù)跟蹤在各個用戶的當前話路中，各個用戶所訪問的前k個網(wǎng)絡(luò)地址來完成瀏覽順序監(jiān)視。數(shù)字k規(guī)定在指定的網(wǎng)絡(luò)地址之前和之后的網(wǎng)絡(luò)地址的數(shù)目。k值可由網(wǎng)絡(luò)或網(wǎng)關(guān)管理人員指定，并且對于不同的指定網(wǎng)絡(luò)地址可不同。雖然本說明書指出在指定的網(wǎng)絡(luò)地址之前和之后監(jiān)視相同數(shù)目的網(wǎng)絡(luò)地址，但是如果需要，可為在前的網(wǎng)絡(luò)地址和在后的網(wǎng)絡(luò)地址分配不同的數(shù)值。
在步驟220，使用情況監(jiān)視模塊確定網(wǎng)絡(luò)用戶是否已在前面的k次網(wǎng)絡(luò)服務(wù)訪問中訪問了指定的網(wǎng)絡(luò)地址。如果確定網(wǎng)絡(luò)用戶在前面的k次訪問中訪問了指定的網(wǎng)絡(luò)地址，則在步驟230，當前被訪問的網(wǎng)絡(luò)地址被添加到正在構(gòu)造的瀏覽順序中。如果確定網(wǎng)絡(luò)用戶在前面的k次訪問中沒有訪問指定的網(wǎng)絡(luò)地址，則在步驟240，使用情況監(jiān)視模塊通過嘗試在指定網(wǎng)絡(luò)地址數(shù)據(jù)庫中定位某一入口，確定當前受訪的網(wǎng)絡(luò)地址是否是指定的網(wǎng)絡(luò)地址。如果使用情況監(jiān)視模塊確定當前受訪的網(wǎng)絡(luò)地址是指定的網(wǎng)絡(luò)地址，則在步驟250，發(fā)送把用戶訪問的前k個網(wǎng)絡(luò)地址保存為瀏覽序列的命令。如果使用情況監(jiān)視模塊確定當前受訪的網(wǎng)絡(luò)地址不是指定的網(wǎng)絡(luò)地址，則在步驟260，把當前受訪的網(wǎng)絡(luò)地址添加到該特定用戶的kmax網(wǎng)絡(luò)地址的列表中，并且如果該kmax列表已具有k個網(wǎng)絡(luò)地址，則丟棄該kmax列表中最陳舊的網(wǎng)絡(luò)地址。保存kmax列表，因為預(yù)先并不知道網(wǎng)絡(luò)用戶將訪問哪些網(wǎng)絡(luò)地址，從而如果網(wǎng)絡(luò)用戶訪問指定的網(wǎng)絡(luò)地址并且需要瀏覽順序，則kmax列表提供一系列的在先網(wǎng)絡(luò)地址。
根據(jù)本發(fā)明的又一實施例，除了監(jiān)視用戶訪問請求和網(wǎng)絡(luò)服務(wù)響應(yīng)之外，本發(fā)明的使用情況監(jiān)視方法和設(shè)備可以監(jiān)視流式內(nèi)容的使用情況。流式內(nèi)容可以是實況轉(zhuǎn)播的流式內(nèi)容也可以是錄制的流式內(nèi)容，并且當通過網(wǎng)關(guān)裝置從本地流式媒體服務(wù)器向網(wǎng)絡(luò)用戶傳送流式內(nèi)容時進行捕獲。流式內(nèi)容一般是高容量內(nèi)容，因此不可能或者不適于保存和所有流式內(nèi)容數(shù)據(jù)分組相關(guān)的信息。于是，在使用情況監(jiān)視模塊捕獲所有流式內(nèi)容分組的時候，考慮到高通信容量的緣故，相當大的一部分分組將被濾出。持續(xù)監(jiān)視流式內(nèi)容分組便于進行效果顯著的濾除，并且將提供和流式連接過程中傳送的數(shù)據(jù)的數(shù)量，流式連接的持續(xù)時間等有關(guān)的信息。為了實現(xiàn)這種持續(xù)監(jiān)視，實現(xiàn)使用情況監(jiān)視模塊的裝置，一般為網(wǎng)關(guān)裝置，需要在存儲器中分配一定數(shù)量的狀態(tài)，以便持續(xù)跟蹤流式內(nèi)容的當前或者最新已知狀態(tài)。另外，使用情況監(jiān)視模塊或者后處理應(yīng)用程序?qū)⒏櫘斍罢谠L問流式內(nèi)容的用戶，流式內(nèi)容來自的站點，在連接中傳送的數(shù)據(jù)的數(shù)量以及關(guān)于特定用戶/流式內(nèi)容對觀察到流式內(nèi)容分組的最后時間。由于在流式內(nèi)容的情況下不存在明確的連接終止，因此使用情況監(jiān)視模塊需要實現(xiàn)超時，以便確定流式內(nèi)容何時被終止。這些跟蹤功能可在使用情況監(jiān)視模塊完成，或者可以每個流式分組為基礎(chǔ)，向后處理應(yīng)用程序發(fā)送未格式化的數(shù)據(jù)，以便確定跟蹤參數(shù)。
在本發(fā)明的又一實施例中，使用情況監(jiān)視設(shè)備可被用于向網(wǎng)絡(luò)用戶提供針對性調(diào)查。如前所述，可實現(xiàn)插入服務(wù)器，以便根據(jù)使用情況監(jiān)視數(shù)據(jù)向網(wǎng)絡(luò)用戶發(fā)送針對性調(diào)查。調(diào)查可被主動發(fā)送給網(wǎng)絡(luò)用戶或者網(wǎng)絡(luò)用戶可選擇參與所述調(diào)查。在這方面，可隨機選擇網(wǎng)絡(luò)用戶，并且在隨機選擇的時間，在這些網(wǎng)絡(luò)用戶的通信裝置上出現(xiàn)彈出式屏幕。例如，參見美國專利申請序列號No.09/541877“InformationAnd Control Console For Use With A Network Gateway Interface”(申請日2000年4月3日，發(fā)明人Short等)，該專利申請和本發(fā)明一樣被轉(zhuǎn)讓給相同的受讓人。美國專利申請序列號No.09/541877的內(nèi)容作為參考整體包含于此。
在本發(fā)明的一個備選實施例中，使用情況監(jiān)視方法和設(shè)備還監(jiān)視網(wǎng)絡(luò)用戶向網(wǎng)絡(luò)服務(wù)應(yīng)用程序，例如搜索引擎等等提交的查詢。通過監(jiān)視網(wǎng)絡(luò)用戶向諸如搜索引擎之類的網(wǎng)絡(luò)服務(wù)應(yīng)用程序提交的查詢，可獲得和用戶的喜好有關(guān)的輔助了解?，F(xiàn)有的使用情況監(jiān)視方法不提供實時監(jiān)視網(wǎng)絡(luò)查詢的能力。網(wǎng)絡(luò)用戶查詢串的實時監(jiān)視向諸如網(wǎng)絡(luò)廣告商之類的網(wǎng)絡(luò)受益者提供簡要描述網(wǎng)絡(luò)用戶的能力，并且向用戶提供更有針對性的信息。例如，如果用戶在FordTM網(wǎng)站上搜索型號TaurusTM，則網(wǎng)絡(luò)廣告商可利用該信息把競爭產(chǎn)品的廣告引向該用戶。
使用情況監(jiān)視方法和設(shè)備可監(jiān)視的另一種用戶輸入是用戶投寄的web表格，例如網(wǎng)絡(luò)服務(wù)登記表、申請表等等。目前的方法不能捕獲環(huán)球網(wǎng)上用戶提交的表格中的信息。
如前所述，本發(fā)明的網(wǎng)絡(luò)使用情況監(jiān)視設(shè)備和方法提供監(jiān)視并保存各種各樣和網(wǎng)絡(luò)用戶相關(guān)的信息的能力。這些信息包括(但不限于)被訪問的網(wǎng)絡(luò)服務(wù)的內(nèi)容，用戶群體的人口統(tǒng)計信息(即用戶群體年齡、性別、地理位置、服務(wù)計劃等等)和網(wǎng)絡(luò)服務(wù)受訪的持續(xù)時間。在這方面，網(wǎng)絡(luò)服務(wù)提供商或者受益者將能夠確定在任意特定時間訪問任意特定網(wǎng)絡(luò)服務(wù)的用戶的實時統(tǒng)計性質(zhì)。例如，“有多少年齡在34-55的婦女正在訪問特定的網(wǎng)站？”或者“收聽特定古典音樂臺的用戶在35歲以下的百分比為多少？”這些信息隨后可被提供給網(wǎng)絡(luò)受益者，所述網(wǎng)絡(luò)受益者可利用該信息有效地有益于他們的核心聽眾。
主存儲器要求下面的討論用于假想地估計為操縱根據(jù)本發(fā)明的使用情況監(jiān)視模塊所需的主存儲器的數(shù)量。
假定地址的平均長度為l字節(jié)，有效用戶的數(shù)目為n，則存儲量可被計算為Sn(以字節(jié)表示的存儲量)＝l*2kmax*n最壞的情況是存儲量要求取決于N，即在特定訪問點訪問網(wǎng)絡(luò)的用戶的總數(shù)。
Sn(以字節(jié)表示的存儲量)＝l*2kmax*NISP(因特網(wǎng)服務(wù)提供商)研究指出在任意時候，只有10-25％的用戶處于活動狀態(tài)。從而，典型的存儲量要求Sn僅約為最壞情況下存儲量要求SN的25％。
典型分組的長度一般小于100字節(jié)，雖然一些URL確實擴大到該長度的兩倍以上。較長的URL一般起因于不常見的查詢，從而不會頻繁發(fā)生。于是，對目前實際應(yīng)用來說，可假定l的平均值為100字節(jié)。
用戶話路的典型長度從撥號用戶的55分鐘到DSL用戶的95分鐘不等。并且由于用戶花在網(wǎng)頁上的平均時間約為2分鐘，估計在一個網(wǎng)絡(luò)話路中任意用戶訪問的網(wǎng)絡(luò)地址的數(shù)目一般約為100左右是合理的。這向我們提供了k值的上限。
從而，如果假定主數(shù)據(jù)庫中128MB的RAM專用于保存根據(jù)本方法識別的瀏覽順序，并且k值為100，l為100字節(jié)，則使用情況監(jiān)視模塊能夠監(jiān)視12800個用戶的近鄰?？赏茢喑鲈谒璧臓顟B(tài)的數(shù)量，即保存的在先和在后網(wǎng)絡(luò)地址的數(shù)目以及主存儲器要求方面，該方法將按比例增加。
輔助存儲器要求當用戶通過不同的瀏覽順序訪問更多的指定網(wǎng)絡(luò)地址時，保存在主數(shù)據(jù)庫中的瀏覽順序的數(shù)目將隨著時間而增加。當瀏覽順序本身變得更長時，該數(shù)目還隨著k值的增大而增加。在不損失和瀏覽順序相關(guān)的有價值信息的同時，減少所需存儲量的途徑有兩種。
·陳化瀏覽順序和每個瀏覽順序一起保存一個時間戳。該時間戳指示該順序被訪問的最后時間。如果在規(guī)定的一段時間內(nèi)一直沒有訪問該順序，則該瀏覽順序超時，并被刪除。
·消除罕見的順序Zipf定律再次指出只有少部分的順序負責絕大多數(shù)的訪問。從而能夠消除訪問次數(shù)少于規(guī)定次數(shù)的瀏覽順序。
根據(jù)本發(fā)明的一個備選實施例，使用情況監(jiān)視設(shè)備和方法可用于捕獲并保存指定網(wǎng)絡(luò)地址的鄰域。該實施例中，用戶訪問網(wǎng)絡(luò)地址的順序并不重要。保存在數(shù)據(jù)庫中的唯一信息是在指定網(wǎng)絡(luò)地址的規(guī)定數(shù)目的頁面(或者時間)內(nèi)發(fā)生的網(wǎng)絡(luò)地址。當用戶訪問更多的網(wǎng)絡(luò)地址時，定義為k的鄰域中的網(wǎng)絡(luò)地址的數(shù)目通常增大。該數(shù)目還隨著k值的增大而增大。類似于上面定義的輔助存儲器要求，在不損失和鄰域相關(guān)的有用信息的同時，減少所需存儲量的途徑有兩種。
·陳化鄰域和為鄰域一部分的每個網(wǎng)絡(luò)地址入口一起保存一個時間戳。該時間戳指示該網(wǎng)絡(luò)地址被訪問的最后時間。如果在規(guī)定的一段時間內(nèi)一直沒有訪問該網(wǎng)絡(luò)服務(wù)，則該網(wǎng)絡(luò)服務(wù)超時，并從所述鄰域中刪除。
·消除少見的相鄰網(wǎng)絡(luò)地址Zipf定律再次指出鄰域中只有少部分的網(wǎng)絡(luò)地址負責絕大多數(shù)的訪問。從而能夠從鄰域內(nèi)刪除訪問次數(shù)低于規(guī)定次數(shù)的網(wǎng)絡(luò)地址。
和前面的方法描述捕獲指定網(wǎng)絡(luò)地址的網(wǎng)絡(luò)地址鄰域的方式相同；還能夠捕獲指定域的域鄰域。廣告商可指定希望使用情況監(jiān)視模塊監(jiān)視的域。使用情況監(jiān)視模塊隨后始終監(jiān)視用戶在任意時刻訪問的前k個域。當用戶訪問指定域時，使用情況監(jiān)視模塊保存用戶訪問的前k個域以及用戶將訪問的后k個域。通過陳化域以及消除很少受訪的域，同樣能夠減少所需的存儲量。
捕獲指定網(wǎng)絡(luò)地址和確定的一系列相關(guān)網(wǎng)絡(luò)地址為其一部分的整個瀏覽順序可被認為既需要很大的存儲量又需要很大的計算量。在這方面，提供一種在較大的超時時段T(這是為了確保存儲量需求和狀態(tài)信息合理并且能夠?qū)崿F(xiàn))內(nèi)，跟蹤指定網(wǎng)絡(luò)地址的鄰域中的一組相關(guān)網(wǎng)絡(luò)地址的備選方法，所述一組相關(guān)網(wǎng)絡(luò)地址一般由網(wǎng)關(guān)或者網(wǎng)絡(luò)管理人員確定。就網(wǎng)絡(luò)廣告商來說，所述一組相關(guān)網(wǎng)絡(luò)地址可能屬于指定網(wǎng)絡(luò)地址的競爭者。網(wǎng)絡(luò)廣告商可能希望監(jiān)視未來用戶在指定網(wǎng)絡(luò)地址(例如福特網(wǎng)站)的鄰域中瀏覽時，是否正在訪問確定的一系列相關(guān)地址(例如通用汽車、沃爾沃、BMW或梅賽德斯網(wǎng)站)。使用情況監(jiān)視模塊將提供搜索包括指定網(wǎng)絡(luò)地址和相關(guān)網(wǎng)絡(luò)地址的瀏覽順序的能力，并向廣告商提供訪問相關(guān)網(wǎng)站的網(wǎng)絡(luò)地址的用戶的統(tǒng)計結(jié)果。
由于根據(jù)本發(fā)明的使用情況監(jiān)視模塊位于通信網(wǎng)絡(luò)邊緣的緣故，它能夠監(jiān)視由若干用戶發(fā)出的請求，和由若干不同網(wǎng)絡(luò)服務(wù)提供的響應(yīng)，以便收集對網(wǎng)絡(luò)服務(wù)提供商、網(wǎng)絡(luò)用戶和網(wǎng)絡(luò)受益者有用的一組規(guī)范量度。該數(shù)據(jù)相當全面，可包括環(huán)球網(wǎng)和本地流式內(nèi)容以及用戶人口統(tǒng)計信息和瀏覽順序。根據(jù)從正在通過因特網(wǎng)訪問各種各樣網(wǎng)絡(luò)服務(wù)和其它實體的若干用戶收集的該組全面數(shù)據(jù)，本發(fā)明的使用情況監(jiān)視方法和設(shè)備能夠向網(wǎng)絡(luò)服務(wù)提供商、網(wǎng)絡(luò)用戶、網(wǎng)絡(luò)受益者等等提供大量的有用數(shù)據(jù)。
根據(jù)上面的說明和相關(guān)附圖中給出的教導(dǎo)，本發(fā)明所屬領(lǐng)域中的技術(shù)人員將想起本發(fā)明的多種修改和其它實施例。于是，本發(fā)明并不局限于公開的具體實施例，并且這些修改和其它實施例包含在附加的權(quán)利要求的范圍之內(nèi)。雖然這里采用了特定的術(shù)語，不過只是在類屬和說明的意義上使用這些特定術(shù)語，而不是對本發(fā)明的限制。
權(quán)利要求
1.一種監(jiān)視通信網(wǎng)絡(luò)使用情況的設(shè)備，包括在網(wǎng)絡(luò)接入點工作的使用情況監(jiān)視模塊，該模塊捕獲從若干網(wǎng)絡(luò)用戶傳來的所有請求分組和從若干網(wǎng)絡(luò)服務(wù)傳來的所有響應(yīng)分組；其中使用情況監(jiān)視模塊過濾捕獲的分組，以便從其中抽取使用情況監(jiān)視數(shù)據(jù)；和與所述使用情況監(jiān)視模塊通信的使用情況監(jiān)視數(shù)據(jù)庫，該數(shù)據(jù)庫從使用情況監(jiān)視模塊接收過濾后的使用情況監(jiān)視數(shù)據(jù)，并保存和用戶請求分組及網(wǎng)絡(luò)響應(yīng)分組相關(guān)的數(shù)據(jù)。
2.按照權(quán)利要求1所述的設(shè)備，還包括實現(xiàn)使用情況監(jiān)視模塊的網(wǎng)關(guān)裝置，其中網(wǎng)關(guān)裝置在網(wǎng)絡(luò)內(nèi)被布置在網(wǎng)絡(luò)通信集合點，從而它接收來自于若干網(wǎng)絡(luò)用戶的所有請求，并且接收來自于網(wǎng)絡(luò)服務(wù)的所有響應(yīng)。
3.按照權(quán)利要求1所述的設(shè)備，其中使用情況監(jiān)視模塊過濾捕獲的分組，以便抽取網(wǎng)絡(luò)地址，使用情況監(jiān)視數(shù)據(jù)庫保存該網(wǎng)絡(luò)地址。
4.按照權(quán)利要求3所述的設(shè)備，其中網(wǎng)絡(luò)地址還包括URL(統(tǒng)一資源定位符)。
5.按照權(quán)利要求1所述的設(shè)備，其中使用情況監(jiān)視模塊過濾捕獲的分組，以便抽取使用情況監(jiān)視數(shù)據(jù)，所述使用情況監(jiān)視數(shù)據(jù)包括選自用戶標識符、網(wǎng)絡(luò)地址、分組時間戳、參閱網(wǎng)絡(luò)地址、內(nèi)容類型、內(nèi)容長度、響應(yīng)狀態(tài)碼和用戶查詢串的至少一種數(shù)據(jù)。
6.按照權(quán)利要求1所述的設(shè)備，其中使用情況監(jiān)視模塊對捕獲的分組進行瀏覽排序，以便監(jiān)視用戶所訪問的一系列網(wǎng)絡(luò)地址。
7.按照權(quán)利要求1所述的設(shè)備，其中使用情況監(jiān)視模塊對網(wǎng)絡(luò)服務(wù)響應(yīng)分組進行狀態(tài)碼檢查，以便證實用戶已訪問請求的網(wǎng)絡(luò)服務(wù)地址，以致只有與可訪問的網(wǎng)絡(luò)服務(wù)相關(guān)的數(shù)據(jù)才被保存在使用情況監(jiān)視數(shù)據(jù)庫中。
8.按照權(quán)利要求1所述的設(shè)備，其中使用情況監(jiān)視數(shù)據(jù)庫還包括在從請求的網(wǎng)絡(luò)服務(wù)接收響應(yīng)之前，臨時保存用戶請求數(shù)據(jù)的用戶請求數(shù)據(jù)庫。
9.按照權(quán)利要求1所述的設(shè)備，其中使用情況監(jiān)視數(shù)據(jù)庫還包括臨時數(shù)據(jù)庫，所述臨時數(shù)據(jù)臨時保存關(guān)于用戶對其的訪問次數(shù)不大于預(yù)定最小次數(shù)的網(wǎng)絡(luò)地址的用戶監(jiān)視信息。
10.按照權(quán)利要求9所述的設(shè)備，其中預(yù)定最小次數(shù)為1。
11.按照權(quán)利要求1所述的設(shè)備，其中使用情況監(jiān)視數(shù)據(jù)庫還包括保存對于瀏覽排序所指定的網(wǎng)絡(luò)地址的指定網(wǎng)絡(luò)地址數(shù)據(jù)庫。
12.按照權(quán)利要求11所述的設(shè)備，其中使用情況監(jiān)視模塊適合于從使用情況監(jiān)視客戶接收已關(guān)于瀏覽排序指定的網(wǎng)絡(luò)地址。
13.按照權(quán)利要求11所述的設(shè)備，其中使用情況監(jiān)視模塊根據(jù)用戶訪問網(wǎng)絡(luò)地址的頻率，確定已對于瀏覽排序所指定的網(wǎng)絡(luò)地址。
14.按照權(quán)利要求1所述的設(shè)備，其中使用情況監(jiān)視數(shù)據(jù)庫還包括保存和用戶請求分組及網(wǎng)絡(luò)響應(yīng)分組相關(guān)的數(shù)據(jù)的主數(shù)據(jù)庫。
15.按照權(quán)利要求1所述的設(shè)備，還包括與使用情況監(jiān)視數(shù)據(jù)庫通信的插入服務(wù)器，該服務(wù)器根據(jù)網(wǎng)絡(luò)用戶使用情況監(jiān)視數(shù)據(jù)向網(wǎng)絡(luò)用戶提供針對性信息。
16.按照權(quán)利要求15所述的設(shè)備，其中插入服務(wù)器還包括根據(jù)網(wǎng)絡(luò)用戶使用情況監(jiān)視數(shù)據(jù)，向網(wǎng)絡(luò)用戶提供針對性廣告的廣告插入服務(wù)器。
17.按照權(quán)利要求15所述的設(shè)備，其中插入服務(wù)器還包括根據(jù)網(wǎng)絡(luò)用戶使用情況監(jiān)視數(shù)據(jù)，向網(wǎng)絡(luò)用戶提供針對性調(diào)查的調(diào)查插入服務(wù)器。
18.一種在通信網(wǎng)絡(luò)中提供使用情況監(jiān)視的方法，所述方法包括在網(wǎng)絡(luò)接入點捕獲從若干用戶和若干網(wǎng)絡(luò)服務(wù)傳來的所有數(shù)據(jù)分組；過濾捕獲的分組，提供使用情況監(jiān)視數(shù)據(jù)；和把使用情況監(jiān)視數(shù)據(jù)保存在使用情況監(jiān)視數(shù)據(jù)庫中。
19.按照權(quán)利要求18所述的方法，其中在網(wǎng)絡(luò)接入點捕獲從若干用戶和若干網(wǎng)絡(luò)服務(wù)傳來的所有數(shù)據(jù)分組還包括在網(wǎng)關(guān)裝置捕獲從若干用戶和若干網(wǎng)絡(luò)服務(wù)傳來的所有數(shù)據(jù)分組。
20.按照權(quán)利要求18所述的方法，其中過濾捕獲的分組以提供使用情況監(jiān)視數(shù)據(jù)還包括過濾捕獲的分組，以便抽取使用情況監(jiān)視數(shù)據(jù)，所述使用情況監(jiān)視數(shù)據(jù)包括選自用戶標識符、網(wǎng)絡(luò)地址、分組時間戳、參閱網(wǎng)絡(luò)地址、內(nèi)容類型、內(nèi)容長度、響應(yīng)狀態(tài)碼和用戶查詢串的至少一種數(shù)據(jù)。
21.按照權(quán)利要求18所述的方法，其中把使用情況監(jiān)視數(shù)據(jù)保存在使用情況監(jiān)視數(shù)據(jù)庫中還包括在把使用情況監(jiān)視數(shù)據(jù)保存在主數(shù)據(jù)庫中之前，把使用情況監(jiān)視數(shù)據(jù)保存在臨時數(shù)據(jù)庫中。
22.一種在通信網(wǎng)絡(luò)中提供使用情況監(jiān)視的方法，所述方法包括在網(wǎng)絡(luò)接入點捕獲傳送的數(shù)據(jù)分組；確定傳送的數(shù)據(jù)分組是否是用戶產(chǎn)生的請求數(shù)據(jù)分組；和如果確定傳送的數(shù)據(jù)分組是用戶產(chǎn)生的請求數(shù)據(jù)分組，則把傳送的數(shù)據(jù)分組保存在第一數(shù)據(jù)庫中。
23.按照權(quán)利要求22所述的方法，其中在網(wǎng)絡(luò)接入點捕獲傳送的數(shù)據(jù)分組還包括在網(wǎng)絡(luò)網(wǎng)關(guān)裝置捕獲傳送的數(shù)據(jù)分組。
24.按照權(quán)利要求22所述的方法，其中如果確定傳送的數(shù)據(jù)分組是用戶產(chǎn)生的請求數(shù)據(jù)分組，則把傳送的數(shù)據(jù)分組保存在第一數(shù)據(jù)庫中還包括如果傳送的數(shù)據(jù)分組被確定為用戶產(chǎn)生的請求數(shù)據(jù)分組，則把傳送的數(shù)據(jù)分組保存在第一臨時數(shù)據(jù)庫中。
25.按照權(quán)利要求22所述的方法，還包括如果傳送的數(shù)據(jù)分組和可訪問的網(wǎng)絡(luò)服務(wù)響應(yīng)數(shù)據(jù)分組相匹配，則把傳送的數(shù)據(jù)分組從第一數(shù)據(jù)庫轉(zhuǎn)移到第二數(shù)據(jù)庫。
26.按照權(quán)利要求25所述的方法，其中第二數(shù)據(jù)庫包括如果確定用戶還沒有超過預(yù)定的網(wǎng)絡(luò)服務(wù)地址訪問次數(shù)，則保存?zhèn)魉偷臄?shù)據(jù)分組和匹配的網(wǎng)絡(luò)服務(wù)響應(yīng)數(shù)據(jù)分組的臨時數(shù)據(jù)庫。
27.按照權(quán)利要求25所述的方法，其中第二數(shù)據(jù)庫包括如果確定用戶已超過預(yù)定的網(wǎng)絡(luò)服務(wù)地址訪問次數(shù)，則保存?zhèn)魉偷臄?shù)據(jù)分組和匹配的網(wǎng)絡(luò)服務(wù)響應(yīng)數(shù)據(jù)分組的主數(shù)據(jù)庫。
28.按照權(quán)利要求22所述的方法，還包括確定傳送的數(shù)據(jù)分組是否超出話路流限度，以便保證把第一傳送數(shù)據(jù)分組保存在第一數(shù)據(jù)庫中。
29.一種在通信網(wǎng)絡(luò)中提供使用情況監(jiān)視的方法，所述方法包括在網(wǎng)絡(luò)接入點捕獲傳送的數(shù)據(jù)分組，傳送的數(shù)據(jù)分組被確定為網(wǎng)絡(luò)服務(wù)產(chǎn)生的響應(yīng)分組；證實第二傳送數(shù)據(jù)分組的用戶網(wǎng)絡(luò)可訪問性；匹配傳送的數(shù)據(jù)分組和用戶產(chǎn)生的請求數(shù)據(jù)分組；和把來自于匹配的傳送數(shù)據(jù)分組和用戶產(chǎn)生的請求數(shù)據(jù)分組的使用情況監(jiān)視信息保存在數(shù)據(jù)庫中。
30.按照權(quán)利要求29所述的方法，其中在網(wǎng)絡(luò)接入點捕獲傳送的數(shù)據(jù)分組還包括在網(wǎng)絡(luò)網(wǎng)關(guān)裝置捕獲傳送的數(shù)據(jù)分組。
31.按照權(quán)利要求29所述的方法，其中證實傳送的數(shù)據(jù)分組的網(wǎng)絡(luò)可訪問性還包括檢查傳送的數(shù)據(jù)分組的狀態(tài)碼，以便證實用戶網(wǎng)絡(luò)可訪問性。
32.按照權(quán)利要求29所述的方法，其中把來自匹配的傳送數(shù)據(jù)分組和用戶產(chǎn)生的請求數(shù)據(jù)分組的使用情況監(jiān)視信息保存在數(shù)據(jù)庫中還包括如果確定用戶還沒有超過預(yù)定數(shù)目的網(wǎng)絡(luò)服務(wù)地址訪問，則把來自匹配的傳送數(shù)據(jù)分組和用戶產(chǎn)生的數(shù)據(jù)分組的使用情況監(jiān)視信息保存在臨時數(shù)據(jù)庫中。
33.按照權(quán)利要求29所述的方法，其中把來自匹配的傳送數(shù)據(jù)分組和用戶產(chǎn)生的請求數(shù)據(jù)分組的使用情況監(jiān)視信息保存在數(shù)據(jù)庫中還包括如果確定用戶已超過預(yù)定數(shù)目的網(wǎng)絡(luò)服務(wù)地址訪問，則把來自匹配的傳送數(shù)據(jù)分組和用戶產(chǎn)生的數(shù)據(jù)分組的使用情況監(jiān)視信息保存在主數(shù)據(jù)庫中。
34.一種通信網(wǎng)絡(luò)中瀏覽順序使用情況監(jiān)視方法，所述方法包括指定需要瀏覽排序的網(wǎng)絡(luò)地址；在網(wǎng)絡(luò)接入點捕獲與網(wǎng)絡(luò)地址相關(guān)的用戶傳送數(shù)據(jù)分組；確定與捕獲的用戶傳送數(shù)據(jù)分組相關(guān)的網(wǎng)絡(luò)地址是否是指定的網(wǎng)絡(luò)地址；和如果確定與捕獲的用戶傳送數(shù)據(jù)分組相關(guān)的網(wǎng)絡(luò)地址是指定的網(wǎng)絡(luò)地址，則把緊隨指定網(wǎng)絡(luò)地址被訪問的預(yù)定數(shù)目的網(wǎng)絡(luò)地址保存為瀏覽順序。
35.按照權(quán)利要求34所述的方法，其中把緊隨指定網(wǎng)絡(luò)地址訪問的預(yù)定數(shù)目的網(wǎng)絡(luò)地址保存為瀏覽順序還包括把在訪問指定網(wǎng)絡(luò)地址之后訪問的預(yù)定數(shù)目的網(wǎng)絡(luò)地址保存為瀏覽順序。
36.按照權(quán)利要求34所述的方法，其中把緊隨指定網(wǎng)絡(luò)地址訪問的預(yù)定數(shù)目的網(wǎng)絡(luò)地址保存為瀏覽順序還包括把在訪問指定網(wǎng)絡(luò)地址之前訪問的預(yù)定數(shù)目的網(wǎng)絡(luò)地址保存為瀏覽順序。
37.按照權(quán)利要求34所述的方法，其中把緊隨指定網(wǎng)絡(luò)地址訪問的預(yù)定數(shù)目的網(wǎng)絡(luò)地址保存為瀏覽順序還包括把在訪問指定網(wǎng)絡(luò)地址之前訪問的預(yù)定數(shù)目的網(wǎng)絡(luò)地址保存為瀏覽順序。
38.按照權(quán)利要求34所述的方法，其中把緊隨指定網(wǎng)絡(luò)地址訪問的預(yù)定數(shù)目的網(wǎng)絡(luò)地址保存為瀏覽順序還包括在把訪問指定網(wǎng)絡(luò)地址之后和之前訪問的預(yù)定數(shù)目的網(wǎng)絡(luò)地址保存為瀏覽順序。
39.按照權(quán)利要求34所述的方法，還包括確定發(fā)送用戶傳送數(shù)據(jù)分組的用戶是否已在預(yù)定數(shù)目的在先網(wǎng)絡(luò)地址訪問中訪問了指定網(wǎng)絡(luò)地址；和如果確定用戶已在預(yù)定數(shù)目的在先網(wǎng)絡(luò)地址訪問中訪問了指定地址，則把來自用戶傳送的數(shù)據(jù)分組的網(wǎng)絡(luò)地址添加到瀏覽排序列表中。
40.按照權(quán)利要求34所述的方法，還包括把指定的網(wǎng)絡(luò)地址保存在數(shù)據(jù)庫中。
41.按照權(quán)利要求34所述的方法，其中根據(jù)最頻繁受訪的網(wǎng)絡(luò)地址指定需要瀏覽排序的網(wǎng)絡(luò)地址。
42.按照權(quán)利要求34所述的方法，其中根據(jù)被訪問預(yù)定次數(shù)的網(wǎng)絡(luò)地址，指定需要瀏覽排序的網(wǎng)絡(luò)地址。
43.按照權(quán)利要求34所述的方法，其中根據(jù)使用情況監(jiān)視客戶選擇的網(wǎng)絡(luò)地址，指定需要瀏覽排序的網(wǎng)絡(luò)地址。
全文摘要
本發(fā)明提供一種用于在網(wǎng)絡(luò)接入點，即網(wǎng)絡(luò)通信集合點，一般在網(wǎng)關(guān)裝置或者類似的網(wǎng)絡(luò)接口裝置監(jiān)視網(wǎng)絡(luò)使用情況的網(wǎng)絡(luò)使用情況監(jiān)視模塊。這樣，網(wǎng)絡(luò)使用情況監(jiān)視模塊能夠監(jiān)視試圖通過網(wǎng)關(guān)裝置訪問提供的各種網(wǎng)絡(luò)服務(wù)的若干網(wǎng)絡(luò)用戶的使用情況。從而，和由常規(guī)的監(jiān)視技術(shù)提供的使用情況信息相比，使用情況監(jiān)視模塊收集的使用情況信息更全面。從而，對于網(wǎng)絡(luò)服務(wù)提供商、網(wǎng)絡(luò)用戶和網(wǎng)絡(luò)受益者等來說，該信息價值更高。另外，使用情況監(jiān)視方法和設(shè)備提供許多特殊的功能，以便改進監(jiān)視過程以及提高收集的使用情況信息的價值。
文檔編號H04L12/56GK1433615SQ01810733
公開日2003年7月30日 申請日期2001年5月4日 優(yōu)先權(quán)日2000年5月5日
發(fā)明者喬爾·E·肖特, 阿紐雷格·K·加格, 維杰·K·巴哈格瓦斯 申請人:諾瑪?shù)峡怂构?br>