技術(shù)編號(hào):11156410
提示:您尚未登錄,請(qǐng)點(diǎn) 登 陸 后下載,如果您還沒(méi)有賬戶請(qǐng)點(diǎn) 注 冊(cè) ,登陸完成后,請(qǐng)刷新本頁(yè)查看技術(shù)詳細(xì)信息。本發(fā)明專利屬于控制領(lǐng)域,尤其涉及一種多站點(diǎn)HTTP訪問(wèn)頻度控制方法。背景技術(shù)隨著網(wǎng)絡(luò)的迅速發(fā)展,萬(wàn)維網(wǎng)成為大量信息的載體,如何有效地提取并利用這些信息成為一個(gè)巨大的挑戰(zhàn)。HTTP訪問(wèn)是提取網(wǎng)絡(luò)信息的主要方法,隨著反爬蟲(chóng)機(jī)制的不斷加強(qiáng),控制HTTP訪問(wèn)頻度就成為防止網(wǎng)站限制訪問(wèn)的主要手段,但是頻度控制就面臨著資源的使用效率問(wèn)題。目前,在此情況下面臨的問(wèn)題有:1、頻度控制非必須:不是每個(gè)網(wǎng)站都需要頻度控制。2、頻度控制互相影響:在原始的下載任務(wù)單隊(duì)列中如果一個(gè)任務(wù)受到了頻度控制,勢(shì)必會(huì)影響后面的任務(wù)...
注意:該技術(shù)已申請(qǐng)專利,請(qǐng)尊重研發(fā)人員的辛勤研發(fā)付出,在未取得專利權(quán)人授權(quán)前,僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán),增加技術(shù)思路,做技術(shù)知識(shí)儲(chǔ)備,不適合論文引用。