一種跨網(wǎng)絡(luò)環(huán)境遠(yuǎn)程部署分布式數(shù)據(jù)采集節(jié)點的方法
【專利摘要】本發(fā)明提供一種跨網(wǎng)絡(luò)環(huán)境遠(yuǎn)程部署分布式數(shù)據(jù)采集節(jié)點的方法，該方法用于針對數(shù)據(jù)采集系統(tǒng)與數(shù)據(jù)源相距很遠(yuǎn),連接二者的網(wǎng)絡(luò)環(huán)境復(fù)雜，網(wǎng)速不穩(wěn)定的情況下，將采集節(jié)點前置，進(jìn)行基于安全文件傳送協(xié)議SFTP的文件傳輸方式的數(shù)據(jù)采集，針對數(shù)據(jù)采集的遠(yuǎn)程跨網(wǎng)絡(luò)采集、海量數(shù)據(jù)傳輸、采集數(shù)據(jù)時效性和完整性要求高的特點，提供一種跨網(wǎng)絡(luò)環(huán)境遠(yuǎn)程部署分布式數(shù)據(jù)采集節(jié)點的機(jī)制，通過將數(shù)據(jù)采集節(jié)點遠(yuǎn)程部署，拉近采集節(jié)點與數(shù)據(jù)源的距離，規(guī)避了網(wǎng)絡(luò)環(huán)境因素的影響，提高了對原始數(shù)據(jù)的采集效率。同時采集節(jié)點將已經(jīng)采集好的原始數(shù)據(jù)進(jìn)行打包壓縮后，基于安全文件傳送協(xié)議SFTP把文件傳輸?shù)綌?shù)據(jù)采集系統(tǒng)中，在保證數(shù)據(jù)安全性的同時，實現(xiàn)了邊采集邊傳輸。
【專利說明】一種跨網(wǎng)絡(luò)環(huán)境遠(yuǎn)程部署分布式數(shù)據(jù)采集節(jié)點的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種計算機(jī)應(yīng)用【技術(shù)領(lǐng)域】，具體地說是一種跨網(wǎng)絡(luò)環(huán)境遠(yuǎn)程部署分布式數(shù)據(jù)采集節(jié)點的方法。
【背景技術(shù)】
[0002]在信息行業(yè)快速發(fā)展的今天，數(shù)據(jù)采集已經(jīng)被廣泛應(yīng)用于各個行業(yè)領(lǐng)域，如電信、教育、醫(yī)藥衛(wèi)生、交通運(yùn)輸?shù)鹊取Ｓ绕涫窃陔娦蓬I(lǐng)域中，有很多業(yè)務(wù)支撐系統(tǒng)，例如網(wǎng)絡(luò)性能管理系統(tǒng)(NPM)、設(shè)備管理系統(tǒng)(FM)等，都是通過數(shù)據(jù)采集來獲取原始數(shù)據(jù)。
[0003]上述數(shù)據(jù)采集具有下列特點:
1)數(shù)據(jù)源分布地域廣闊，與數(shù)據(jù)采集系統(tǒng)相距很遠(yuǎn)，從數(shù)據(jù)源到數(shù)據(jù)采集系統(tǒng)之間路由經(jīng)過的網(wǎng)絡(luò)環(huán)境復(fù)雜，存在網(wǎng)速不穩(wěn)定、網(wǎng)絡(luò)易掉線等情況，對數(shù)據(jù)傳輸質(zhì)量產(chǎn)生很大影響；
2)數(shù)據(jù)源數(shù)量眾多，并且每個數(shù)據(jù)源在單位時間內(nèi)需要輸出的原始數(shù)據(jù)量很大，直接導(dǎo)致采集節(jié)點采集到數(shù)據(jù)量巨大，最終匯總到數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)量為海量數(shù)據(jù)；
3)采集節(jié)點采集的原始數(shù)據(jù)需要及時傳回到后端的數(shù)據(jù)采集系統(tǒng)中，以確保采集數(shù)據(jù)的時效性，并且在遠(yuǎn)程文件傳輸過程中，需要確保不會造成文件內(nèi)容的丟失，被竊取或篡改，保證采集數(shù)據(jù)的完整性；
因此，當(dāng)前迫切需要一種全新的數(shù)據(jù)采集機(jī)制，來解決遠(yuǎn)程跨網(wǎng)絡(luò)采集、海量數(shù)據(jù)傳輸、數(shù)據(jù)時效性和完整性要求高等難題。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種跨網(wǎng)絡(luò)環(huán)境遠(yuǎn)程部署分布式數(shù)據(jù)采集節(jié)點的方法。
[0005]本發(fā)明的目的是按以下方式實現(xiàn)的，如圖1所示。數(shù)據(jù)采集系統(tǒng)基于安全文件傳送協(xié)議(SFTP)向各個前置采集節(jié)點下發(fā)采集任務(wù)(包括數(shù)據(jù)采集規(guī)則、數(shù)據(jù)采集周期等)，前置采集節(jié)點根據(jù)采集任務(wù)對數(shù)據(jù)源進(jìn)行數(shù)據(jù)采集，在采集數(shù)據(jù)的同時，采集節(jié)點對已完成采集的原始數(shù)據(jù)文件，先進(jìn)行壓縮處理，然后通過安全文件傳送協(xié)議(SFTP)上傳壓縮文件，如果在傳輸過程中，出現(xiàn)網(wǎng)絡(luò)異常導(dǎo)致傳輸失敗，采集節(jié)點記錄已傳輸完成文件列表，下次上傳時只傳輸未上傳的文件，數(shù)據(jù)采集系統(tǒng)接收到上傳的壓縮文件后，先進(jìn)行解壓處理，然后將解壓后原始數(shù)據(jù)文件，存放到指定目錄，后繼供上層應(yīng)用使用。
[0006]按照上述描述的技術(shù)方案，具體的執(zhí)行步驟如圖2所示，說明如下:
步驟101:數(shù)據(jù)采集系統(tǒng)定期將各個采集節(jié)點的采集任務(wù)，以安全文件傳送協(xié)議(SFTP方式下發(fā)到各個節(jié)點上，采集任務(wù)內(nèi)容包括數(shù)據(jù)采集規(guī)則、數(shù)據(jù)采集周期等。
[0007]步驟102:前置采集節(jié)點根據(jù)采集任務(wù)對數(shù)據(jù)源進(jìn)行數(shù)據(jù)采集，采集過程中，根據(jù)采集規(guī)則和已采集文件列表對數(shù)據(jù)進(jìn)行過濾，數(shù)據(jù)采集周期決定采集節(jié)點訪問數(shù)據(jù)源的頻率。
[0008]步驟103:前置采集節(jié)點根據(jù)已采集數(shù)據(jù)文件列表和已上傳文件列表，來判斷當(dāng)前是否需要上傳文件，如果有，進(jìn)入到步驟104 ;如果沒有，進(jìn)入到步驟109。
[0009]步驟104:將待上傳的數(shù)據(jù)文件進(jìn)行壓縮，然后通過安全文件傳送協(xié)議(SFTP)傳輸方式上傳到數(shù)據(jù)采集系統(tǒng)的指定目錄下。在文件上傳過程中，先作為臨時文件命名方式上傳，等文件完全上傳成功后，在重命名為正式文件。如果本次上傳過程中由于異常原因中止，則下次采集任務(wù)的執(zhí)行過程中，會將未完成上傳的文件，一并上傳到數(shù)據(jù)采集系統(tǒng)中。
[0010]步驟105:數(shù)據(jù)采集系統(tǒng)檢測到有新上傳的采集數(shù)據(jù)壓縮文件后，對壓縮文件進(jìn)行解壓處理。
[0011]步驟106:數(shù)據(jù)采集系統(tǒng)將解壓后的原始數(shù)據(jù)文件，存放到指定目錄下，供其他上層應(yīng)用系統(tǒng)使用。
[0012]步驟107:前置采集節(jié)點將成功上傳的原始數(shù)據(jù)文件名稱，記錄到已上傳文件列表中。
[0013]步驟108:前置采集節(jié)點根據(jù)已采集數(shù)據(jù)文件列表，判斷本次數(shù)據(jù)采集任務(wù)是否已經(jīng)完成，如果已完成，則進(jìn)入到步驟109 ;如果未完成，則進(jìn)入到步驟103。
[0014]步驟109:前置采集節(jié)點完成本次采集任務(wù)后，會將本次采集到的原始數(shù)據(jù)文件名稱，全部記錄到已采集文件列表，供下次采集任務(wù)過濾使用。
[0015]從上面具體處理過程可以看出，通過采集節(jié)點前置，數(shù)據(jù)采集過程邊采集邊上傳，上傳失敗的文件能跟隨下次采集任務(wù)自動上傳，以及利用網(wǎng)絡(luò)空閑通過均勻上傳數(shù)據(jù)文件等措施，可以有效解決跨網(wǎng)絡(luò)遠(yuǎn)程采集數(shù)據(jù)的難題。
[0016]本發(fā)明的有益效果如下:
本數(shù)據(jù)采集機(jī)制，是針對電信、教育、醫(yī)藥衛(wèi)生等行業(yè)領(lǐng)域的采集特點，如數(shù)據(jù)源分布地域廣闊、數(shù)據(jù)源數(shù)量眾多、海量數(shù)據(jù)傳輸、數(shù)據(jù)實時性、安全性、完整性要求高等，提供了一種充分利用現(xiàn)有互聯(lián)網(wǎng)(internet)網(wǎng)絡(luò)優(yōu)勢，通過遠(yuǎn)程分布式部署采集節(jié)點，利用安全文件傳送協(xié)議(SFTP)來上傳數(shù)據(jù)文件的采集機(jī)制，比較完善的解決跨網(wǎng)絡(luò)遠(yuǎn)程數(shù)據(jù)采集問題的方法。針對跨網(wǎng)絡(luò)遠(yuǎn)程數(shù)據(jù)采集的問題，針對數(shù)據(jù)源的位置遠(yuǎn)程分布式部署采集節(jié)點，充分利用現(xiàn)有互聯(lián)網(wǎng)(internet)網(wǎng)絡(luò)覆蓋面廣的優(yōu)勢，通過安全文件傳送協(xié)議(SFTP)傳輸文件來保障信息安全，支持文件斷點續(xù)傳，支持大數(shù)據(jù)量的傳輸，支持邊采集邊傳輸來提高數(shù)據(jù)的時效性?；诳缇W(wǎng)絡(luò)遠(yuǎn)程部署分布式數(shù)據(jù)采集機(jī)制，具有的優(yōu)勢是:
1)分布式部署采集節(jié)點，拉近與數(shù)據(jù)源的距離，提高數(shù)據(jù)采集效率；
2)基于互聯(lián)網(wǎng)(internet)網(wǎng)絡(luò)進(jìn)行安全文件傳送協(xié)議(SFTP)的文件傳輸方式，一方面保證文件內(nèi)容的安全性，另一方面充分利用互聯(lián)網(wǎng)(internet)網(wǎng)絡(luò)資源優(yōu)勢，免去了網(wǎng)絡(luò)專線建設(shè)費用；
3)文件上傳支持中斷續(xù)傳，能夠適應(yīng)跨網(wǎng)絡(luò)環(huán)境惡劣，網(wǎng)速不穩(wěn)定的情況；
4)充分利用網(wǎng)絡(luò)空閑，均勻上傳數(shù)據(jù)文件，避免了文件集中上傳帶來的網(wǎng)絡(luò)擁擠；
5)通過邊采集邊上傳原始數(shù)據(jù)文件，縮短了從數(shù)據(jù)源到數(shù)據(jù)采集系統(tǒng)之間的時延，提高采集數(shù)據(jù)的時效性。
【專利附圖】

【附圖說明】
[0017]圖1是本發(fā)明的示意框架圖；
圖2是本發(fā)明的具體處理步驟流程圖； 圖3是本發(fā)明針對電信網(wǎng)絡(luò)的性能管理系統(tǒng)的數(shù)據(jù)采集的【具體實施方式】。
[0018]【具體實施方式】:
該方法用于針對數(shù)據(jù)采集系統(tǒng)與數(shù)據(jù)源相距很遠(yuǎn)，連接二者的網(wǎng)絡(luò)環(huán)境復(fù)雜，網(wǎng)速不穩(wěn)定的情況下，將采集節(jié)點前置，進(jìn)行基于安全文件傳送協(xié)議(Secure File TransferProtocol，簡稱SFTP)的文件傳輸方式的數(shù)據(jù)采集，針對數(shù)據(jù)采集的遠(yuǎn)程跨網(wǎng)絡(luò)采集、海量數(shù)據(jù)傳輸、采集數(shù)據(jù)時效性和完整性要求高的特點，提供一種跨網(wǎng)絡(luò)環(huán)境遠(yuǎn)程部署分布式數(shù)據(jù)采集節(jié)點的機(jī)制，通過將數(shù)據(jù)采集節(jié)點遠(yuǎn)程部署，拉近采集節(jié)點與數(shù)據(jù)源的距離，規(guī)避了網(wǎng)絡(luò)環(huán)境因素的影響，提高了對原始數(shù)據(jù)的采集效率。同時采集節(jié)點將已經(jīng)采集好的原始數(shù)據(jù)進(jìn)行打包壓縮后，基于安全文件傳送協(xié)議(SFTP)把文件傳輸?shù)綌?shù)據(jù)采集系統(tǒng)中，在保證數(shù)據(jù)安全性的同時，實現(xiàn)了邊采集邊傳輸。由此帶來的好處，一方面保證了采集數(shù)據(jù)的時效性，使已采集的原始數(shù)據(jù)能及早進(jìn)入到數(shù)據(jù)采集系統(tǒng)中，另一方面充分利用網(wǎng)絡(luò)帶寬空閑，使原始數(shù)據(jù)以比較均勻的傳輸速率傳輸?shù)綌?shù)據(jù)采集系統(tǒng)中，避免了文件集中傳輸時造成的網(wǎng)絡(luò)擁擠，從總體上提高數(shù)據(jù)采集可用性、時效性、安全性、完整性。
[0019]以電信領(lǐng)域綜合網(wǎng)絡(luò)管理的性能管理系統(tǒng)(PM系統(tǒng))為例，來說明本發(fā)明的具體應(yīng)用。性能管理系統(tǒng)是用于對電信網(wǎng)絡(luò)全網(wǎng)承載的網(wǎng)絡(luò)負(fù)荷管理為基礎(chǔ)的管理系統(tǒng)。管理內(nèi)容包括網(wǎng)絡(luò)負(fù)荷的流量流向管理、網(wǎng)絡(luò)運(yùn)行的效率管理、網(wǎng)絡(luò)資源的配置使用情況管理、呼叫失敗的原因分析等。電信網(wǎng)絡(luò)具有全網(wǎng)覆蓋地域廣闊，網(wǎng)絡(luò)設(shè)備眾多等特點，性能管理系統(tǒng)為了實現(xiàn)對電信網(wǎng)絡(luò)的有效管理，就必須通過數(shù)據(jù)采集系統(tǒng)，對網(wǎng)絡(luò)設(shè)備的工作狀態(tài)包括流量負(fù)荷、資源分配、呼叫失敗等指標(biāo)數(shù)據(jù)進(jìn)行采集，并將采集數(shù)據(jù)及時匯總到性能管理系統(tǒng)中，由性能管理系統(tǒng)加工處理后，以監(jiān)控窗口、報表、告警等方式呈現(xiàn)給網(wǎng)絡(luò)管理人員。而對于電信網(wǎng)絡(luò)設(shè)備性能指標(biāo)數(shù)據(jù)的采集要求，完全符合跨網(wǎng)絡(luò)環(huán)境遠(yuǎn)程部署分布式數(shù)據(jù)采集的特征。
[0020]如圖3所示，針對電信網(wǎng)絡(luò)的跨網(wǎng)絡(luò)環(huán)境遠(yuǎn)程部署分布式數(shù)據(jù)采集的【具體實施方式】如下:
步驟201:電信網(wǎng)絡(luò)設(shè)備在大多數(shù)情況下由設(shè)備廠商提供的網(wǎng)元管理系統(tǒng)(簡稱EMS系統(tǒng))進(jìn)行管理，而采集節(jié)點需要和EMS系統(tǒng)進(jìn)行對接，來采集性能數(shù)據(jù)。所以首先需要和EMS系統(tǒng)制定性能數(shù)據(jù)文件命名格式、北向文件接口協(xié)議。
[0021]步驟202:在獲取性能文件命名格式和北向文件接口(提供給其他廠家或運(yùn)營商進(jìn)行接入和管理的接口)協(xié)議之后，需要針對具體的EMS系統(tǒng)，來制定性能數(shù)據(jù)的采集規(guī)則，而采集規(guī)則將指導(dǎo)前置采集節(jié)點正確的完成性能數(shù)據(jù)的采集任務(wù)。需要注意的是，不同設(shè)備廠商的EMS系統(tǒng)要求不同，對應(yīng)的采集規(guī)則也不同相同，甚至同一設(shè)備廠商的設(shè)備，由于EMS系統(tǒng)的版本不同，也會存在采集規(guī)則不相同的情況。
[0022]步驟203:安裝數(shù)據(jù)采集的主服務(wù)，數(shù)據(jù)采集主服務(wù)器一般都是安裝在中心機(jī)房，開啟安全文件傳送協(xié)議(SFTP)服務(wù)，為各個前置采集節(jié)點設(shè)置安全外殼協(xié)議(SecureShell，簡稱SSH)鑒權(quán)證書，并且確保主服務(wù)器的IP地址能穿過防火墻。
[0023]步驟204:安裝前置采集節(jié)點的應(yīng)用服務(wù)，前置采集服務(wù)器一般與EMS系統(tǒng)的服務(wù)器相距比較近，開啟安全文件傳送協(xié)議(SFTP)服務(wù)，確保能夠穿過防火墻。
[0024]通過上面的實施方式，完成跨網(wǎng)絡(luò)環(huán)境遠(yuǎn)程部署分布式數(shù)據(jù)采集的實施，一旦數(shù)據(jù)采集系統(tǒng)，下發(fā)采集任務(wù)到前置采集節(jié)點，則采集節(jié)點會采集任務(wù)進(jìn)行性能數(shù)據(jù)文件的采集，并最終完成性能數(shù)據(jù)文件上傳，由數(shù)據(jù)采集系統(tǒng)匯集所有性能文件，轉(zhuǎn)交給性能管理系統(tǒng)的上層應(yīng)用模塊繼續(xù)進(jìn)行處理。
[0025]除說明書所述的技術(shù)特征外，均為本專業(yè)技術(shù)人員的已知技術(shù)。
【權(quán)利要求】
1.一種跨網(wǎng)絡(luò)環(huán)境遠(yuǎn)程部署分布式數(shù)據(jù)采集節(jié)點的方法，其特征在于內(nèi)容包括: 數(shù)據(jù)采集系統(tǒng)基于安全文件傳送協(xié)議SFTP向各個前置采集節(jié)點下發(fā)采集任務(wù)，任務(wù)包括:數(shù)據(jù)采集規(guī)則、數(shù)據(jù)采集周期，前置采集節(jié)點根據(jù)采集任務(wù)對數(shù)據(jù)源進(jìn)行數(shù)據(jù)采集，在采集數(shù)據(jù)的同時，前置采集節(jié)點對已完成采集的原始數(shù)據(jù)文件，先進(jìn)行壓縮處理，然后通過安全文件傳送協(xié)議SFTP上傳壓縮文件，如果在傳輸過程中，出現(xiàn)網(wǎng)絡(luò)異常導(dǎo)致傳輸失敗，前置采集節(jié)點記錄已傳輸完成文件列表，下次上傳時只傳輸未上傳的文件，數(shù)據(jù)采集系統(tǒng)接收到上傳的壓縮文件后，先進(jìn)行解壓處理，然后將解壓后原始數(shù)據(jù)文件，存放到指定目錄，后繼供上層應(yīng)用使用； 具體的執(zhí)行步驟說明如下: 步驟101:數(shù)據(jù)采集系統(tǒng)定期將各個前置采集節(jié)點的采集任務(wù)，以安全文件傳送協(xié)議SFTP方式下發(fā)到各個前置采集節(jié)點上，采集任務(wù)內(nèi)容包括數(shù)據(jù)采集規(guī)則、數(shù)據(jù)采集周期； 步驟102:前置采集節(jié)點根據(jù)采集任務(wù)對數(shù)據(jù)源進(jìn)行數(shù)據(jù)采集，采集過程中，根據(jù)采集規(guī)則和已采集文件列表對數(shù)據(jù)進(jìn)行過濾，數(shù)據(jù)采集周期決定采集節(jié)點訪問數(shù)據(jù)源的頻率； 步驟103:前置采集節(jié)點根據(jù)已采集數(shù)據(jù)文件列表和已上傳文件列表，來判斷當(dāng)前是否需要上傳文件，有，進(jìn)入到步驟104 ;沒有，進(jìn)入到步驟109 ； 步驟104:前置采集節(jié)點將待上傳的數(shù)據(jù)文件進(jìn)行壓縮，然后通過安全文件傳送協(xié)議SFTP傳輸方式上傳到數(shù)據(jù)采集系統(tǒng)的指定目錄下，在文件上傳過程中，先作為臨時文件命名方式上傳，等文件完全上傳成功后，在重命名為正式文件，如果本次上傳過程中由于異常原因中止，則下次采集任務(wù)的執(zhí)行過程中，會將未完成上傳的文件，一并上傳到數(shù)據(jù)采集系統(tǒng)中； 步驟105:數(shù)據(jù)采集系統(tǒng)檢測到有新上傳的采集數(shù)據(jù)壓縮文件后，對壓縮文件進(jìn)行解壓處理； 步驟106:數(shù)據(jù)采集系統(tǒng)將解壓后的原始數(shù)據(jù)文件，存放到指定目錄下，供其他上層應(yīng)用系統(tǒng)使用； 步驟107:前置數(shù)采集節(jié)點將成功上傳的原始數(shù)據(jù)文件名稱，記錄到已上傳文件列表中； 步驟108:前置數(shù)采集節(jié)點根據(jù)已采集數(shù)據(jù)文件列表，判斷本次數(shù)據(jù)采集任務(wù)是否已經(jīng)完成，如果已完成，則進(jìn)入到步驟109 ;如果未完成，則進(jìn)入到步驟103 ； 步驟109:前置數(shù)采集節(jié)點完成本次采集任務(wù)后，會將本次采集到的原始數(shù)據(jù)文件名稱，全部記錄到已采集文件列表，供下次采集任務(wù)過濾使用。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，前置數(shù)采集節(jié)點與數(shù)據(jù)源對接。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，前置數(shù)采集節(jié)點上傳數(shù)據(jù)文件時，先核對已上傳文件列表，對已上傳文件不再重新上傳。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，前置數(shù)采集節(jié)點執(zhí)行數(shù)據(jù)采集的同時，并發(fā)進(jìn)行數(shù)據(jù)文件的上傳。
5.根據(jù)權(quán)利要求1所述的處理方法，其特征在于，前置數(shù)采集節(jié)點數(shù)據(jù)采集頻率可設(shè)置，包括并不限于:5分鐘、15分鐘、30分鐘、60分鐘。
【文檔編號】H04L29/08GK103795803SQ201410051160
【公開日】2014年5月14日 申請日期:2014年2月14日 優(yōu)先權(quán)日:2014年2月14日
【發(fā)明者】張明, 李建明, 盧向輝 申請人:浪潮通信信息系統(tǒng)有限公司