技術(shù)總結(jié)
本申請公開了一種網(wǎng)絡(luò)爬蟲集群信息的更新方法和裝置。其中，網(wǎng)絡(luò)爬蟲集群中每個網(wǎng)絡(luò)爬蟲配備一個本地檢查器，該方法包括：目標(biāo)本地檢查器根據(jù)其對應(yīng)的網(wǎng)絡(luò)爬蟲發(fā)送的消息在該目標(biāo)本地檢查器中查詢是否存在目標(biāo)爬取鏈接，其中，消息中攜帶有目標(biāo)爬取鏈接；在查詢出不存在目標(biāo)爬取鏈接時，目標(biāo)本地檢查器保存目標(biāo)爬取鏈接，并向其他本地檢查器發(fā)送攜帶有目標(biāo)爬取鏈接的廣播，以使其他本地檢查器依據(jù)廣播更新爬取鏈接。本申請解決了相關(guān)技術(shù)中網(wǎng)絡(luò)爬蟲的爬取效率比較低的技術(shù)問題。

技術(shù)研發(fā)人員：崔志伸
受保護(hù)的技術(shù)使用者：北京國雙科技有限公司
文檔號碼：201510579940
技術(shù)研發(fā)日：2015.09.11
技術(shù)公布日：2017.03.22