一種分布式的自動化采集的方法
【專利說明】一種分布式的自動化采集的方法
[0001]
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及計算機(jī)數(shù)據(jù)處理技術(shù)領(lǐng)域，具體地說是一種分布式的自動化采集的方法。
【背景技術(shù)】
[0003]現(xiàn)實中，每時每刻都產(chǎn)生大量的數(shù)據(jù)，有些需要分析，有些需要存儲，所有的這些需要處理的數(shù)據(jù)數(shù)量是龐大，具有相似性的，所以需要對這些大數(shù)據(jù)進(jìn)行分析處理，提取需要的數(shù)據(jù)。
[0004]數(shù)據(jù)采集需要數(shù)據(jù)是有相似性的，以便可以根據(jù)他們的規(guī)律提取相應(yīng)的數(shù)據(jù)，采集的數(shù)據(jù)還要有采集提取的價值或用途。數(shù)據(jù)采集要具備采集的方法或方案，可以有計劃和步驟進(jìn)行采集，要具備采集的條件，比如設(shè)備和技術(shù)。
[0005]面對幾十臺、上百臺的服務(wù)器，如果采集人員每次都要進(jìn)入服務(wù)器進(jìn)行配置采集任務(wù)，操作采集程序，會面臨很多問題:
O維護(hù)量大，遠(yuǎn)程連接、重復(fù)性的配置，采集等。
[0006]2)浪費服務(wù)器資源，不能充分利用每臺服務(wù)器資源，由于人工不能及時發(fā)現(xiàn)服務(wù)器采集是否完成，所以不能及時執(zhí)行下一步程序。
[0007]3)錯誤率增加，由于人工需要大量的操作，配置信息的錯誤率也會增加。
[0008]4)數(shù)據(jù)量大，采集類型、采集配置各不相同。不同的網(wǎng)站的數(shù)據(jù)顯示方式不同，需要不同的配置方法。
[0009]

【發(fā)明內(nèi)容】

本發(fā)明的技術(shù)任務(wù)是提供一種分布式的自動化采集的方法。
[0010]本發(fā)明的技術(shù)任務(wù)是按以下方式實現(xiàn)的，該方法的步驟如下:
步驟1:將單機(jī)采集程序部署到各個服務(wù)器上；
步驟2:將其中一臺服務(wù)器做為控制其它服務(wù)器的管理服務(wù)器，配置其它服務(wù)器地址； 步驟3:將要采集的地址，放入管理服務(wù)器數(shù)據(jù)庫中，進(jìn)行任務(wù)分配；
步驟4:管理服務(wù)器通過爬蟲技術(shù)操作采集服務(wù)器的采集程序，采集什么類型的數(shù)據(jù)，什么時候采集，什么時候結(jié)束，都由管理服務(wù)器進(jìn)行控制；
步驟5:將每月固定時間采集的工作，配置到管理服務(wù)器的數(shù)據(jù)庫中，并設(shè)置定時任務(wù);
步驟6:通過監(jiān)控服務(wù)器系統(tǒng)，判斷服務(wù)器的采集情況，將非正常采集的服務(wù)器信息發(fā)送給管理員，并將采集任務(wù)平均分配到其它空閑服務(wù)器。
[0011]所述的步驟3中，進(jìn)行任務(wù)分配是通過管理服務(wù)器根據(jù)各個服務(wù)器的采集速度決定的。
[0012]所述的步驟6中將非正常采集的服務(wù)器信息通過郵件方式發(fā)送給管理員。
[0013]本發(fā)明的一種分布式的自動化采集的方法和現(xiàn)有技術(shù)相比，能夠平衡每臺服務(wù)器的采集壓力，提高效率?？梢员苊庥捎趩蝹€節(jié)點失效而使整個系統(tǒng)崩潰的危險。減少了人力維護(hù)，將配置好的采集內(nèi)容由管理服務(wù)器分配任務(wù)，并通過監(jiān)控服務(wù)器系統(tǒng)，判斷子節(jié)點的采集情況。
【附圖說明】
[0014]附圖1為一種分布式的自動化采集的方法的流程框圖。
【具體實施方式】
[0015]實施例1:
該方法的步驟如下:
步驟1:將單機(jī)采集程序部署到各個服務(wù)器上；
步驟2:將其中一臺服務(wù)器做為控制其它服務(wù)器的管理服務(wù)器，配置其它服務(wù)器地址；步驟3:將要采集的地址，放入管理服務(wù)器數(shù)據(jù)庫中，由管理服務(wù)器根據(jù)各個服務(wù)器采集速度，進(jìn)行任務(wù)分配；
步驟4:管理服務(wù)器通過爬蟲技術(shù)操作采集服務(wù)器的采集程序，采集什么類型的數(shù)據(jù)，什么時候采集，什么時候結(jié)束，都由管理服務(wù)器進(jìn)行控制；
步驟5:將每月固定時間采集的工作，配置到管理服務(wù)器的數(shù)據(jù)庫中，并設(shè)置定時任務(wù);
步驟6:通過監(jiān)控服務(wù)器系統(tǒng)，判斷服務(wù)器的采集情況，將非正常采集的服務(wù)器信息通過郵件方式發(fā)送給管理員，并將采集任務(wù)平均分配到其它空閑服務(wù)器。
[0016]實施例2:
每次的采集任務(wù)不一樣，采集時間不一樣，子節(jié)點地址的變化；通過以下步驟搭建平臺:
I)將單機(jī)采集程序部署到子節(jié)點上，啟動采集程序。
[0017]2)在管理服務(wù)器上配置好采集節(jié)點的地址，并測試通過。
[0018]3)調(diào)用監(jiān)控服務(wù)器系統(tǒng)的接口。
[0019]4)部署數(shù)據(jù)節(jié)點。
[0020]5)配置采集任務(wù)，測試通過。
[0021]將部署在多臺服務(wù)器上的單機(jī)采集程序進(jìn)行統(tǒng)一管理，通過發(fā)送/接收消息的方式，分配和接收采集任務(wù)。平衡每臺服務(wù)器的采集壓力，將負(fù)載由單個節(jié)點轉(zhuǎn)移到多個，從而提高效率。可以避免由于單個節(jié)點失效而使整個系統(tǒng)崩潰的危險。減少了人力維護(hù)，將配置好的采集內(nèi)容由管理服務(wù)器分配任務(wù)，并通過監(jiān)控服務(wù)器系統(tǒng)，判斷子節(jié)點的采集情況。采用觀察者模式，通過后臺的管理，服務(wù)器根據(jù)后臺設(shè)置的方案進(jìn)行數(shù)據(jù)采集任務(wù)，并反饋給后臺服務(wù)器的狀態(tài)，實現(xiàn)對服務(wù)器的管理。
[0022]通過上面【具體實施方式】，所述技術(shù)領(lǐng)域的技術(shù)人員可容易的實現(xiàn)本發(fā)明。但是應(yīng)當(dāng)理解，本發(fā)明并不限于上述的幾種【具體實施方式】。在公開的實施方式的基礎(chǔ)上，所述技術(shù)領(lǐng)域的技術(shù)人員可任意組合不同的技術(shù)特征，從而實現(xiàn)不同的技術(shù)方案。
【主權(quán)項】
1.一種分布式的自動化采集的方法，其特征在于，該方法的步驟如下: 步驟1:將單機(jī)采集程序部署到各個服務(wù)器上； 步驟2:將其中一臺服務(wù)器做為控制其它服務(wù)器的管理服務(wù)器，配置其它服務(wù)器地址； 步驟3:將要采集的地址，放入管理服務(wù)器數(shù)據(jù)庫中，進(jìn)行任務(wù)分配； 步驟4:管理服務(wù)器通過爬蟲技術(shù)操作采集服務(wù)器的采集程序，采集什么類型的數(shù)據(jù)，什么時候采集，什么時候結(jié)束，都由管理服務(wù)器進(jìn)行控制； 步驟5:將每月固定時間采集的工作，配置到管理服務(wù)器的數(shù)據(jù)庫中，并設(shè)置定時任務(wù); 步驟6:通過監(jiān)控服務(wù)器系統(tǒng)，判斷服務(wù)器的采集情況，將非正常采集的服務(wù)器信息發(fā)送給管理員，并將采集任務(wù)平均分配到其它空閑服務(wù)器。
2.述的步驟3中，進(jìn)行任務(wù)分配是通過管理服務(wù)器根據(jù)各個服務(wù)器的采集速度決定的。
3.根據(jù)權(quán)利要求1所述的一種分布式的自動化采集的方法，其特征在于，所述的步驟6中將非正常采集的服務(wù)器信息通過郵件方式發(fā)送給管理員。
【專利摘要】本發(fā)明公開了一種分布式的自動化采集的方法，該方法的步驟如下：將單機(jī)采集程序部署到各個服務(wù)器上；將其中一臺服務(wù)器做為控制其它服務(wù)器的管理服務(wù)器，配置其它服務(wù)器地址；將要采集的地址，放入管理服務(wù)器數(shù)據(jù)庫中，進(jìn)行任務(wù)分配；管理服務(wù)器通過爬蟲技術(shù)操作采集服務(wù)器的采集程序，采集什么類型的數(shù)據(jù)，都由管理服務(wù)器進(jìn)行控制；將每月固定時間采集的工作，配置到管理服務(wù)器的數(shù)據(jù)庫中，并設(shè)置定時任務(wù)；通過監(jiān)控服務(wù)器系統(tǒng)，判斷服務(wù)器的采集情況，將非正常采集的服務(wù)器信息發(fā)送給管理員，并將采集任務(wù)平均分配到其它空閑服務(wù)器。本發(fā)明可以避免整個系統(tǒng)崩潰的危險；減少了人力維護(hù)，并通過監(jiān)控服務(wù)器系統(tǒng)，判斷子節(jié)點的采集情況。
【IPC分類】G06F11-30
【公開號】CN104714875
【申請?zhí)枴緾N201510106013
【發(fā)明人】孫海峰, 王傳超, 徐宏偉
【申請人】浪潮集團(tuán)有限公司
【公開日】2015年6月17日
【申請日】2015年3月11日