1.一種網(wǎng)絡(luò)爬蟲(chóng)集群信息的更新方法，其特征在于，所述網(wǎng)絡(luò)爬蟲(chóng)集群中每個(gè)網(wǎng)絡(luò)爬蟲(chóng)配備一個(gè)本地檢查器，所述方法包括：
目標(biāo)本地檢查器根據(jù)其對(duì)應(yīng)的網(wǎng)絡(luò)爬蟲(chóng)發(fā)送的消息在該目標(biāo)本地檢查器中查詢(xún)是否存在目標(biāo)爬取鏈接，其中，所述消息中攜帶有所述目標(biāo)爬取鏈接；
在查詢(xún)出不存在所述目標(biāo)爬取鏈接時(shí)，所述目標(biāo)本地檢查器保存所述目標(biāo)爬取鏈接，并向其他本地檢查器發(fā)送攜帶有所述目標(biāo)爬取鏈接的廣播，以使所述其他本地檢查器依據(jù)所述廣播更新爬取鏈接。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述目標(biāo)本地檢查器根據(jù)其對(duì)應(yīng)的網(wǎng)絡(luò)爬蟲(chóng)發(fā)送的消息查詢(xún)?cè)谠撃繕?biāo)本地檢查器中是否存在目標(biāo)爬取鏈接之后，所述方法還包括：
在查詢(xún)出不存在所述目標(biāo)爬取鏈接時(shí)，所述目標(biāo)本地檢查器向其對(duì)應(yīng)的網(wǎng)絡(luò)爬蟲(chóng)發(fā)送允許爬取的指令，以使所述網(wǎng)絡(luò)爬蟲(chóng)爬取所述目標(biāo)爬取鏈接；
在查詢(xún)出存在所述目標(biāo)爬取鏈接時(shí)，所述目標(biāo)本地檢查器向其對(duì)應(yīng)的網(wǎng)絡(luò)爬蟲(chóng)發(fā)送放棄爬取的指令，以使所述網(wǎng)絡(luò)爬蟲(chóng)放棄爬取所述目標(biāo)爬取鏈接。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述網(wǎng)絡(luò)爬蟲(chóng)集群還包括廣播模塊，所述目標(biāo)本地檢查器向其他本地檢查器發(fā)送攜帶有所述目標(biāo)爬取鏈接的廣播包括：
所述目標(biāo)本地檢查器向所述廣播模塊發(fā)送攜帶有所述目標(biāo)爬取鏈接的爬取信息，以使所述廣播模塊根據(jù)所述爬取信息生成所述廣播，并將所述廣播發(fā)送給訂閱廣播的其他本地檢查器。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)本地檢查器向其他本地檢查器發(fā)送攜帶有所述目標(biāo)爬取鏈接的廣播，以使所述其他本地檢查器依據(jù)所述廣播更新爬取鏈接包括：
所述本地檢查器向其他本地檢查器發(fā)送攜帶有所述目標(biāo)爬取鏈接的廣播，以使所述其他本地檢查器接收所述廣播，并保存所述廣播攜帶的所述目標(biāo)爬取鏈接。
5.一種網(wǎng)絡(luò)爬蟲(chóng)集群信息的更新裝置，其特征在于，所述網(wǎng)絡(luò)爬蟲(chóng)集群中每個(gè)網(wǎng)絡(luò)爬蟲(chóng)配備一個(gè)本地檢查器，所述裝置包括：
查詢(xún)單元，用于根據(jù)目標(biāo)本地檢查器對(duì)應(yīng)的網(wǎng)絡(luò)爬蟲(chóng)發(fā)送的消息查詢(xún)?cè)谒? 目標(biāo)本地檢查器中是否存在目標(biāo)爬取鏈接，其中，所述消息中攜帶有所述目標(biāo)爬取鏈接；
廣播單元，用于在查詢(xún)出不存在所述目標(biāo)爬取鏈接時(shí)，保存所述目標(biāo)爬取鏈接，并向其他本地檢查器發(fā)送攜帶有所述目標(biāo)爬取鏈接的廣播，以使所述其他本地檢查器依據(jù)所述廣播更新爬取鏈接。
6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述裝置還包括：
第一發(fā)送單元，用于在所述目標(biāo)本地檢查器根據(jù)其對(duì)應(yīng)的網(wǎng)絡(luò)爬蟲(chóng)發(fā)送的消息查詢(xún)?cè)谠撃繕?biāo)本地檢查器中是否存在目標(biāo)爬取鏈接之后，在查詢(xún)出不存在所述目標(biāo)爬取鏈接時(shí)，向所述目標(biāo)本地檢查器對(duì)應(yīng)的網(wǎng)絡(luò)爬蟲(chóng)發(fā)送允許爬取的指令，以使所述網(wǎng)絡(luò)爬蟲(chóng)爬取所述目標(biāo)爬取鏈接；
第二發(fā)送單元，用于在查詢(xún)出存在所述目標(biāo)爬取鏈接時(shí)，所述目標(biāo)本地檢查器向所述目標(biāo)本地檢查器對(duì)應(yīng)的網(wǎng)絡(luò)爬蟲(chóng)發(fā)送放棄爬取的指令，以使所述網(wǎng)絡(luò)爬蟲(chóng)放棄爬取所述目標(biāo)爬取鏈接。
7.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述網(wǎng)絡(luò)爬蟲(chóng)集群還包括廣播模塊，所述廣播單元包括：
發(fā)送模塊，用于向所述廣播模塊發(fā)送攜帶有所述目標(biāo)爬取鏈接的爬取信息，以使所述廣播模塊根據(jù)所述爬取信息生成所述廣播，并將所述廣播發(fā)送給訂閱廣播的其他本地檢查器。
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述廣播單元還用于向其他本地檢查器發(fā)送攜帶有所述目標(biāo)爬取鏈接的廣播，以使所述其他本地檢查器接收所述廣播，并保存所述廣播攜帶的所述目標(biāo)爬取鏈接。