一種基于家庭網(wǎng)關(guān)的加速網(wǎng)頁瀏覽方法
【專利摘要】本發(fā)明提供一種基于家庭網(wǎng)關(guān)的加速網(wǎng)頁瀏覽方法，家庭網(wǎng)關(guān)監(jiān)聽來自用戶的HTTP請求，查找緩存中是否存在本請求對應(yīng)的響應(yīng)信息，如果查找失敗，家庭網(wǎng)關(guān)轉(zhuǎn)發(fā)HTTP請求給WEB服務(wù)器并接收來自WEB服務(wù)器響應(yīng)，拷貝響應(yīng)副本到家庭網(wǎng)關(guān)的緩存中，如果緩存充足，則直接存入緩存，如果緩存空間不夠，計(jì)算權(quán)值，把權(quán)值較小的替換出緩存空間，定期對日志通過優(yōu)化的PPM預(yù)測模型進(jìn)行數(shù)據(jù)挖掘，得到預(yù)測模型樹，通過Markov模型在預(yù)測模型樹的基礎(chǔ)上對用戶下一個(gè)訪問頁面進(jìn)行預(yù)測，進(jìn)行預(yù)取操作并將預(yù)取內(nèi)容更新到緩存中。本發(fā)明基于家庭網(wǎng)關(guān)運(yùn)用緩存和預(yù)取技術(shù)實(shí)現(xiàn)網(wǎng)頁瀏覽加速，成本低廉，加速效果更加明顯。
【專利說明】一種基于家庭網(wǎng)關(guān)的加速網(wǎng)頁瀏覽方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)，尤其是涉及網(wǎng)頁瀏覽加速技術(shù)。
【背景技術(shù)】
[0002]Web訪問用戶在迅速增加，Web訪問流量在Internet的訪問中已占據(jù)越來越重要的位置。WWW(World Wide Web)頁面數(shù)量以大約每個(gè)月15%的速度增長,盡管Internet的主干容量每年增長60%，但是由于有越來越多的信息涌向Web，帶寬的增長相對于WWW流量的增長仍然滯后。隨著訪問用戶的激增和對“熱點(diǎn)”數(shù)據(jù)的頻繁訪問，出現(xiàn)了訪問延遲、月艮務(wù)器過載等一系列問題，有效的減少用戶訪問延時(shí)、提高服務(wù)質(zhì)量是一個(gè)迫切需要解決的問題。
[0003]目前，解決網(wǎng)絡(luò)延遲、提高服務(wù)質(zhì)量的辦法主要有以下兩種途徑。
[0004](I)網(wǎng)絡(luò)物理性能上提升，強(qiáng)化Web服務(wù)器的處理能力、增加網(wǎng)絡(luò)帶寬、在網(wǎng)絡(luò)容易發(fā)生擁堵的地方設(shè)置鏡像服務(wù)器、采用Web服務(wù)器集群技術(shù)等。
[0005](2)網(wǎng)絡(luò)性能上提高，提高現(xiàn)有系統(tǒng)的利用率，使用的技術(shù)主要包括:緩存技術(shù)、預(yù)取技術(shù)、⑶N技術(shù)(Content Delivery Network)等。但目前通過web代理服務(wù)器和Q)N技術(shù)實(shí)現(xiàn)的網(wǎng)頁加速，都是基于高性能的服務(wù)器實(shí)現(xiàn)，成本比較高。目前主流服務(wù)器的處理器主頻大于2GHZ，內(nèi)存大于2G，硬盤空間大于200G ;但是目前的大部分家庭網(wǎng)關(guān)的處理器主頻小于1GHZ,內(nèi)存小于128M，價(jià)格也比較便宜；家庭網(wǎng)關(guān)的成本比服務(wù)器小得多，本發(fā)明提供一種基于低成本的家庭網(wǎng)關(guān)的緩存與預(yù)取一體化技術(shù)來實(shí)現(xiàn)網(wǎng)頁瀏覽加速方法。

【發(fā)明內(nèi)容】

[0006]本發(fā)明所要解決的技術(shù)問題，針對現(xiàn)有技術(shù)中通過web代理服務(wù)器和⑶N技術(shù)實(shí)現(xiàn)的網(wǎng)頁加速成本比較高的問題，提供一種低成本的網(wǎng)頁加速方法；提供一種開銷小、效率高的網(wǎng)頁加速方法用于低成本低性能的家庭網(wǎng)關(guān)。
[0007]為解決上述技術(shù)問題，本發(fā)明提供一種基于家庭網(wǎng)關(guān)的緩存與預(yù)取一體化技術(shù)實(shí)現(xiàn)網(wǎng)頁瀏覽加速；包括以下步驟:
[0008]步驟101，家庭網(wǎng)關(guān)監(jiān)聽由客戶端發(fā)出的HTTP請求R ；
[0009]步驟102，請求到達(dá)家庭網(wǎng)關(guān)時(shí)，家庭網(wǎng)關(guān)在本地緩存中查找請求R的對象副本，如果緩存中存在對應(yīng)對象副本，執(zhí)行步驟103，如果緩存中不存在對象副本或者副本已經(jīng)過期，則執(zhí)行步驟104;
[0010]步驟103，將請求R需要的對象從緩存中取出對象副本并響應(yīng)給用戶，一次HTTP請求流程結(jié)束；
[0011]步驟104，家庭網(wǎng)關(guān)向遠(yuǎn)端WEB服務(wù)器轉(zhuǎn)發(fā)請求并接收返回的新對象；
[0012]步驟105，家庭網(wǎng)關(guān)接收到新對象副本后，查看緩存空間容量，如果剩余空間能夠容納新的對象副本，將副本存入緩存，并執(zhí)行步驟103，否則執(zhí)行步驟106 ；
[0013]步驟105，家庭網(wǎng)關(guān)接收到新對象后，查看緩存空間容量，如果剩余空間能夠容納新的對象，保存一份新對象的副本到緩存中，并執(zhí)行步驟103，如果沒有足夠的空間容納新的對象，執(zhí)行步驟106 ；
[0014]步驟106，計(jì)算緩存中所有對象副本的權(quán)值，按照權(quán)值從小到大的順序釋放副本所占用內(nèi)存，直到能夠存儲(chǔ)新對象副本；
[0015]步驟107，有了足夠的存儲(chǔ)空間后，將新的對象副本存入緩存中，將請求R的對象副本響應(yīng)給用戶，一次HTTP請求流程結(jié)束；
[0016]步驟108，定時(shí)對家庭網(wǎng)關(guān)日志進(jìn)行輕量級(jí)數(shù)據(jù)挖掘，根據(jù)優(yōu)化參數(shù)對PPM預(yù)測模型進(jìn)行優(yōu)化，確定訪問序列和Markov轉(zhuǎn)移矩陣；
[0017]步驟109，根據(jù)Markov轉(zhuǎn)移矩陣計(jì)算轉(zhuǎn)移概率確定下一個(gè)要訪問的頁面P ；
[0018]步驟110，對下一個(gè)要訪問的頁面進(jìn)行預(yù)取操作，返回執(zhí)行步驟104-107。
[0019]所述計(jì)算權(quán)值具體為:可根據(jù)公式:
【權(quán)利要求】
1.一種基于家庭網(wǎng)關(guān)的加速網(wǎng)頁瀏覽方法，其特征在于:所述方法包括: 步驟101家庭網(wǎng)關(guān)監(jiān)聽由客戶端發(fā)出的HTTP請求R ; 步驟102請求到達(dá)家庭網(wǎng)關(guān)時(shí)，家庭網(wǎng)關(guān)在本地緩存中查找請求R的對象副本，如果緩存中存在對應(yīng)對象副本，執(zhí)行步驟103，如果緩存中不存在對象副本或者副本已經(jīng)過期，則執(zhí)行步驟104 ； 步驟103將請求R需要的對象從緩存中取出對象副本并響應(yīng)給用戶，一次HTTP請求流程結(jié)束； 步驟104家庭網(wǎng)關(guān)向遠(yuǎn)端WEB服務(wù)器轉(zhuǎn)發(fā)請求并接收返回的新對象； 步驟105家庭網(wǎng)關(guān)接收到新對象后，查看緩存空間容量，如果剩余空間能夠容納新的對象，保存一份新對象的副本到緩存中，并返回步驟103 ;如果沒有足夠的空間容納新的對象，執(zhí)行步驟106 ； 步驟106計(jì)算緩存中對象副本的權(quán)值，按照權(quán)值從小到大的順序釋放副本所占用內(nèi)存，直到能夠存儲(chǔ)新對象副本； 步驟107將新的對象副本存入緩存中，將請求R的對象副本響應(yīng)給用戶； 步驟108定時(shí)對家庭網(wǎng)關(guān)日志進(jìn)行輕量級(jí)數(shù)據(jù)挖掘，優(yōu)化URL參數(shù)，根據(jù)URL優(yōu)化參數(shù)對PPM預(yù)測模型進(jìn)行優(yōu)化,確定訪問序列和Markov轉(zhuǎn)移矩陣； 步驟109根據(jù)Markov轉(zhuǎn)移矩陣計(jì)算轉(zhuǎn)移概率確定下一個(gè)要訪問的頁面P。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)公式
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述優(yōu)化參數(shù)包括:網(wǎng)站請求次數(shù)閥值TH_C0UNT、日志清空時(shí)間閥值ΤΗ_--ΜΕ、會(huì)話集時(shí)間間隔Λ SESSION_TIME和模型樹葉子節(jié)點(diǎn)訪問次數(shù)閥值N0DE_C0UNT。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，優(yōu)化PPM預(yù)測模型包括:將家庭網(wǎng)關(guān)日志中的請求次數(shù)大于TH_C0UNT的URL及其相關(guān)信息放進(jìn)集合Count_URL中；在Λ SESSION,TIME時(shí)間內(nèi)，把日志中用戶IP的URL視為同一會(huì)話，Count_URL被劃分為會(huì)話集SeSSion_URL ;遍歷Session_URL中的Web頁面序列并將其增加到模型樹TREE中，根據(jù)閥值N0DE_COUNT對模型樹進(jìn)行裁剪，如果一條訪問路徑中有頁面訪問次數(shù)小于N0DE_C0UNT，則裁剪這條訪問序列；獲取優(yōu)化模型樹TREE，確定訪問序列并建立Markov轉(zhuǎn)移矩陣，每隔時(shí)間TH_--ΜΕ，清空家庭網(wǎng)關(guān)日志。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，確定訪問序列并建立Markov轉(zhuǎn)移矩陣具體為:根據(jù)優(yōu)化模型樹TREE建立Markov模型，Markov模型為一個(gè)二元組MK= {X，A}，其中，X是一個(gè)離散隨機(jī)變量，值域?yàn)?X1, X2,…，XJ，X中每個(gè)元素Xi代表一個(gè)頁面，稱為模型的一個(gè)狀態(tài)，轉(zhuǎn)移概率矩陣A中i行、j列的元素為Pu，Pij表示在t-Ι時(shí)刻訪問頁面為Xi的條件下，在下一時(shí)刻t訪問頁面為Xj的概率。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，根據(jù)模型樹TREE確定轉(zhuǎn)移矩陣A具體包括:根據(jù)公式
【文檔編號(hào)】H04L29/06GK103905439SQ201410113581
【公開日】2014年7月2日 申請日期:2014年3月25日 優(yōu)先權(quán)日:2014年3月25日
【發(fā)明者】徐川, 劉勇, 趙國鋒, 張廣興, 唐紅 申請人:重慶郵電大學(xué)