本發(fā)明涉及數(shù)據(jù)采集領(lǐng)域，尤其涉及一種基于實測帶寬的多智能體互聯(lián)網(wǎng)數(shù)據(jù)采集任務(wù)分配方法。

背景技術(shù)：

為滿足海量數(shù)據(jù)爬取的需求，現(xiàn)代爬蟲系統(tǒng)一般采用大規(guī)模分布式架構(gòu)。在這種架構(gòu)中，如何高效配置多個數(shù)據(jù)采集節(jié)點的資源成為提升爬蟲系統(tǒng)性能的關(guān)鍵問題。傳統(tǒng)的分布式爬蟲系統(tǒng)一般采用隨機任務(wù)調(diào)度的機制或類似機制。這種機制的問題在于沒有考慮爬取目標(biāo)的地理位置差異，以及多個采集節(jié)點在采集、存儲方面的帶寬差異因素，更沒有運用相應(yīng)的帶寬測試方法，因此無法做到資源的最優(yōu)配置，從而影響了分布式爬蟲系統(tǒng)的數(shù)據(jù)采集性能。

技術(shù)實現(xiàn)要素：

本發(fā)明為克服上述不足之處，設(shè)計了一種基于實測帶寬的任務(wù)分配方法，該方法用于將多個采集任務(wù)分配給多個采集節(jié)點，根據(jù)每個采集節(jié)點的狀態(tài)信息、實測帶寬情況以及待分配任務(wù)的信息，經(jīng)過算法處理后得出任務(wù)分配結(jié)果。

本發(fā)明的目的是通過以下技術(shù)方案來實現(xiàn)的：一種基于實測帶寬的多智能體互聯(lián)網(wǎng)數(shù)據(jù)采集任務(wù)分配方法，具體為：假定在環(huán)境中存在L個目標(biāo)任務(wù)T₁，T₂，…,T_L和K個智能體節(jié)點A₁,A₂,…,A_K，若K>L，則執(zhí)行單任務(wù)分配算法；否則執(zhí)行多任務(wù)分配算法；

所述的單任務(wù)分配算法步驟如下：

(1)針對每個智能體節(jié)點A_i與任務(wù)T_j，計算區(qū)域判決指標(biāo)c_ij＝(任務(wù)數(shù)+1)/(B_C+B_S)，找出區(qū)域判決指標(biāo)計算結(jié)果最小的節(jié)點。

B_C表示任務(wù)的目標(biāo)區(qū)域與智能體所在區(qū)域的匹配度，計算方法如下：由智能體在建立種子信息表時先行從該種子頁面爬取根頁面三次，通過(爬取位數(shù))/(爬取所消耗的時間)獲取爬行帶寬，存入種子庫中相應(yīng)B_C字段。

B_S表示存儲區(qū)域與智能體所在區(qū)域的匹配度，計算方法如下：由智能體在建立種子信息表時先行將一個標(biāo)準(zhǔn)100KB文件存入存儲區(qū)域三次，通過(存取位數(shù))/(存取所消耗的時間)獲取存儲帶寬，存入種子庫中相應(yīng)B_S字段。

(2)將待分配的任務(wù)分配給步驟(1)計算得到的節(jié)點。

所述的多任務(wù)分配算法步驟如下：

(1)在所有任務(wù)中每次分配K項，直到剩余任務(wù)數(shù)小于K。剩余任務(wù)可以在任務(wù)數(shù)增加后再行分配，也可以以單任務(wù)方式分配；

(2)已知智能體A_i(i＝1,2,…,K)完成目標(biāo)任務(wù)T_j(j＝1,2,…,K)的代價矩陣為C＝(c_ij)(i,j＝1,2,…,K)，其中c_ij的計算方法與單任務(wù)時相同；

(3)將(c_ij)的每行元素都減去該行的最小元素，再將所得新系數(shù)矩陣的每列元素中減去該列的最小元素，獲得等價代價矩陣C’＝(c'_ij)；

(4)作最少的直線覆蓋所有0元素，通過找0元素進行試分配。方法是：先找有沒有可以覆蓋K個元素的直線(行或列)，若有則作該直線，若沒有則再找有沒有可以覆蓋K-1個元素的直線并作該直線，依此方法進行下去，直到所有0元素被覆蓋。若這樣能找出不同行不同列的K個0元素(稱為獨立0元素)，轉(zhuǎn)步驟(6)，否則轉(zhuǎn)步驟(5)；

(5)調(diào)整代價矩陣C’，在未被直線穿過的數(shù)集中，找出最小的數(shù)z，讓該數(shù)集對應(yīng)的所有行中的所有數(shù)減去z，而讓所有被直線穿過的列中的數(shù)加上z，以保證系數(shù)矩陣中不出現(xiàn)負(fù)元素，得到新系數(shù)矩陣。新系數(shù)矩陣的最優(yōu)解和原問題相同，此時去掉直線，用新系數(shù)矩陣代替C’，返回步驟(3)；

(6)以這K個獨立0元素對應(yīng)解矩陣(c’_ij)中的元素為1，其余為0，得到最優(yōu)解矩陣(c”_ij)，即此時矩陣元素中c”_ij＝1所代表的結(jié)果是智能體i被分配了任務(wù)j(i,j＝1,2,…,K)。

本發(fā)明的有益效果在于：本發(fā)明在實測帶寬基礎(chǔ)上，在眾多潛在的匹配方案中尋找一個總體(指采集效用和帶寬消耗之綜合)優(yōu)化的任務(wù)分配方案，它在數(shù)學(xué)形式上表現(xiàn)為在離散的、有限的數(shù)據(jù)結(jié)構(gòu)上，尋找一個滿足給定約束條件并使目標(biāo)代價最小的解，從而可以大幅提高分布式爬蟲系統(tǒng)的爬取效率。

附圖說明

圖1是本發(fā)明的整體流程圖；

圖2是本發(fā)明的單任務(wù)分配算法流程圖；

圖3是本發(fā)明的多任務(wù)分配算法流程圖；

圖4是本發(fā)明的多任務(wù)分配算法案例。

具體實施方式

下面結(jié)合附圖和具體實施例對本發(fā)明進行進一步描述，但本發(fā)明的保護范圍并不僅限于此。

如圖1所示，本發(fā)明提供的一種基于實測帶寬的多智能體互聯(lián)網(wǎng)數(shù)據(jù)采集任務(wù)分配方法，具體為：假定在環(huán)境中存在L個目標(biāo)任務(wù)T₁，T₂，…,T_L和K個智能體節(jié)點A₁,A₂,…,A_K，若K>L，則執(zhí)行單任務(wù)分配算法；否則執(zhí)行多任務(wù)分配算法；

所述的單任務(wù)分配算法步驟如下：

(1)針對每個智能體節(jié)點A_i與任務(wù)T_j，計算區(qū)域判決指標(biāo)c_ij＝(任務(wù)數(shù)+1)/(B_C+B_S)，找出區(qū)域判決指標(biāo)計算結(jié)果最小的節(jié)點。

B_C表示任務(wù)的目標(biāo)區(qū)域與智能體所在區(qū)域的匹配度，計算方法如下：由智能體在建立種子信息表時先行從該種子頁面爬取根頁面三次，通過(爬取位數(shù))/(爬取所消耗的時間)獲取爬行帶寬，存入種子庫中相應(yīng)B_C字段。

B_S表示存儲區(qū)域與智能體所在區(qū)域的匹配度，計算方法如下：由智能體在建立種子信息表時先行將一個標(biāo)準(zhǔn)100KB文件存入存儲區(qū)域三次，通過(存取位數(shù))/(存取所消耗的時間)獲取存儲帶寬，存入種子庫中相應(yīng)B_S字段。

(2)將待分配的任務(wù)分配給步驟(1)計算得到的節(jié)點。

所述的多任務(wù)分配算法步驟如下：

(1)在所有任務(wù)中每次分配K項，直到剩余任務(wù)數(shù)小于K。剩余任務(wù)可以在任務(wù)數(shù)增加后再行分配，也可以以單任務(wù)方式分配；

(2)已知智能體A_i(i＝1,2,…,K)完成目標(biāo)任務(wù)T_j(j＝1,2,…,K)的代價矩陣為C＝(c_ij)(i,j＝1,2,…,K)，其中c_ij的計算方法與單任務(wù)時相同；

(3)將(c_ij)的每行元素都減去該行的最小元素，再將所得新系數(shù)矩陣的每列元素中減去該列的最小元素，獲得等價代價矩陣C’＝(c’_ij)；

(4)作最少的直線覆蓋所有0元素，通過找0元素進行試分配。方法是：先找有沒有可以覆蓋K個元素的直線(行或列)，若有則作該直線，若沒有則再找有沒有可以覆蓋K-1個元素的直線并作該直線，依此方法進行下去，直到所有0元素被覆蓋。若這樣能找出不同行不同列的K個0元素，轉(zhuǎn)步驟(6)，否則轉(zhuǎn)步驟(5)；

(5)調(diào)整代價矩陣C'，在未被直線穿過的數(shù)集中，找出最小的數(shù)z，讓該數(shù)集對應(yīng)的所有行中的所有數(shù)減去z，而讓所有被直線穿過的列中的數(shù)加上z，以保證系數(shù)矩陣中不出現(xiàn)負(fù)元素，得到新系數(shù)矩陣。新系數(shù)矩陣的最優(yōu)解和原問題相同，此時去掉直線，用新系數(shù)矩陣代替C’，返回步驟(3)；

(6)以這K個獨立0元素對應(yīng)解矩陣(c’_ij)中的元素為1，其余為0，得到最優(yōu)解矩陣(c”_ij)，即此時矩陣元素中c”_ij＝1所代表的結(jié)果是智能體i被分配了任務(wù)j(i,j＝1,2,…,K)，最低總耗費是C’中使所有＝1的位置上各元素之和。

實施例1：本實施例中，在環(huán)境中存在1個目標(biāo)任務(wù)T₁和6個智能體節(jié)點A₁,A₂,…,A₆；因為K＝6>L＝1，所以執(zhí)行單任務(wù)分配算法；單任務(wù)分配算法步驟如下：

(1)針對每個節(jié)點，計算(節(jié)點上已有任務(wù)數(shù)+1)/(B_C+B_S)(單位：1/Mbps)，找出計算結(jié)果最小的節(jié)點。例如六個節(jié)點對應(yīng)的數(shù)值依次為：30，30，20，40，10，30，則結(jié)果最小的節(jié)點是第五個節(jié)點。

(2)將待分配的任務(wù)分配給步驟(1)計算得到的節(jié)點，也就是第五個節(jié)點。

實施例2：本實施例中，在環(huán)境中存在5個目標(biāo)任務(wù)T₁，T₂，…,T₅，4個智能體節(jié)點A₁,A₂,A₃,A₄；因為K＝4<L＝5，所以執(zhí)行多任務(wù)分配算法；多任務(wù)分配算法步驟如下：

(1)在所有任務(wù)中每次分配4項，直到剩余任務(wù)數(shù)小于4。剩余任務(wù)可以在任務(wù)數(shù)增加后再行分配，也可以以單任務(wù)方式分配；

(2)已知智能體A_i(i＝1,2,3,4)完成目標(biāo)任務(wù)T_j(j＝1,2,3,4)的代價矩陣為C＝(c_ij)(i,j＝1,2,3,4)，其中c_ij的計算方法與單任務(wù)時相同；代價矩陣C如圖4(a)所示。

(3)將(c_ij)的每行元素都減去該行的最小元素，見圖4(b)，第一行減20，第二行減40，第三行減10，第四行減20；再將所得新系數(shù)矩陣的每列元素中減去該列的最小元素，獲得等價代價矩陣C’＝(c’_ij)，如圖4(c)所示；

(4)作最少的直線覆蓋所有0元素，通過找0元素進行試分配，如。具體為：先找有沒有可以覆蓋4個元素的直線(行或列)，沒有找到，繼續(xù)找有沒有可以覆蓋3個元素的直線，仍然沒有，繼續(xù)找有沒有覆蓋2個元素的直線，找到2條作直線，繼續(xù)找有沒有覆蓋1個元素的直線，找到1條作直線。此時所有0元素被覆蓋，如圖4(d)所示。不同行不同列的0元素不足4個，則轉(zhuǎn)步驟(5)；

(5)調(diào)整代價矩陣C’，在未被直線穿過的數(shù)集中，找出最小的數(shù)z＝20，讓該數(shù)集對應(yīng)的所有行中的所有數(shù)減去z，而讓所有被直線穿過的列中的數(shù)加上z，以保證系數(shù)矩陣中不出現(xiàn)負(fù)元素，得到新系數(shù)矩陣，如圖4(e)所示。新系數(shù)矩陣的最優(yōu)解和原問題相同，此時去掉直線，用新系數(shù)矩陣代替C’；此時不同行不同列的0元素為4個，如圖4(f)，執(zhí)行步驟(6)；

(6)以這4個獨立0元素對應(yīng)解矩陣(c’_ij)中的元素為1，其余為0，得到最優(yōu)解矩陣(c”_ij)，如圖4(g)，即此時矩陣元素中c”_ij＝1所代表的結(jié)果是智能體i被分配了任務(wù)j(i,j＝1,2,3,4)，在本案例中，A₁,A₂,A₃,A₄分別被分配的任務(wù)是T₄,T₁,T₂,T₃，最低總耗費是C’中使所有＝1的位置上各元素之和。

本發(fā)明的核心思想是優(yōu)先為針對特定任務(wù)采集能力強、負(fù)載輕的節(jié)點分配采集任務(wù)，從而使得分布式數(shù)據(jù)采集系統(tǒng)獲得較高的采集性能。

以上所述乃是本發(fā)明的具體實施例及所運用的技術(shù)原理，若依本發(fā)明的構(gòu)想所作的改變，其所產(chǎn)生的功能作用仍未超出說明書及附圖所涵蓋的精神時，仍應(yīng)屬本發(fā)明的保護范圍。