一種用電信息采集系統(tǒng)的海量數(shù)據(jù)存儲方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種用電信息采集系統(tǒng)的海量數(shù)據(jù)存儲方法及系統(tǒng)，屬于用電信息采集數(shù)據(jù)存儲【技術(shù)領(lǐng)域】。本發(fā)明通過在每個存儲子節(jié)點上配置有監(jiān)測客戶端，將各節(jié)點的CPU負載、系統(tǒng)內(nèi)存的余量、網(wǎng)絡(luò)的流量、當(dāng)前已建立的連接數(shù)等相關(guān)運行負載信息實時傳遞到調(diào)度和管理節(jié)點，經(jīng)由調(diào)度與管理節(jié)點的分配，前置機集群中的某個節(jié)點與一個存儲子節(jié)點直接建立通訊鏈路進行數(shù)據(jù)傳輸和入庫，數(shù)據(jù)流并不通過調(diào)度和管理節(jié)點。通過合理調(diào)度可建立起由多個點對點通信鏈路構(gòu)成的用于數(shù)據(jù)存儲的通信網(wǎng)絡(luò)，可有效避免數(shù)據(jù)熱點的產(chǎn)生，最大化利用系統(tǒng)的網(wǎng)絡(luò)傳輸資源，分布式存儲子節(jié)點集群的部署成本較低、擴展性好。
【專利說明】一種用電信息采集系統(tǒng)的海量數(shù)據(jù)存儲方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用電信息采集系統(tǒng)的海量數(shù)據(jù)存儲方法及系統(tǒng)，屬于用電信息采集數(shù)據(jù)存儲【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002]在現(xiàn)有用電信息采集系統(tǒng)的入庫過程中，其數(shù)據(jù)流向主要是:首先，由前置機通過與終端的通信，獲取原始的采集數(shù)據(jù)并進行相應(yīng)的規(guī)約解析，生成可以入庫的數(shù)據(jù)文件；然后，由一個數(shù)據(jù)采集服務(wù)節(jié)點與前置機集群建立socket連接，來收集這些數(shù)據(jù)文件。最后，根據(jù)不同的存儲方案(集中式存儲或分布式數(shù)據(jù)庫)，由數(shù)據(jù)采集服務(wù)節(jié)點轉(zhuǎn)發(fā)數(shù)據(jù)文件至一臺數(shù)據(jù)庫服務(wù)器或多臺數(shù)據(jù)存儲子節(jié)點。
[0003]隨著智能電網(wǎng)建設(shè)規(guī)模的擴大，現(xiàn)在各網(wǎng)省電力公司用電信息采集系統(tǒng)的用戶規(guī)模，基本處于百萬甚至千萬級用戶以上，由此將產(chǎn)生海量的量測數(shù)據(jù)。入庫時，如果無法在以15min為一個采集周期的時間內(nèi)處理完本周期內(nèi)大量數(shù)據(jù)，就會造成隊列堆積和后續(xù)數(shù)據(jù)處理的延遲，因此用電信息采集系統(tǒng)在數(shù)據(jù)存儲上將面臨著千萬級數(shù)據(jù)潮涌的巨大壓力。然而，在現(xiàn)有體系下，由于大量的數(shù)據(jù)文件都要經(jīng)過數(shù)據(jù)采集服務(wù)節(jié)點的轉(zhuǎn)發(fā)，該節(jié)點容易產(chǎn)生數(shù)據(jù)熱點，并成為入庫過程中的網(wǎng)絡(luò)瓶頸，影響整個系統(tǒng)的實時性和可靠性。


【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種用電信息采集系統(tǒng)的海量數(shù)據(jù)存儲方法及系統(tǒng)，以解決現(xiàn)有用電信息采集系統(tǒng)入庫過程中出現(xiàn)的網(wǎng)絡(luò)瓶頸問題。
[0005]本發(fā)明為解決上述技術(shù)問題而提供一種用電信息采集系統(tǒng)的海量數(shù)據(jù)存儲方法，該存儲方法包括以下步驟:
[0006]I)采集各存儲子節(jié)點的CPU負載、系統(tǒng)內(nèi)存余量、網(wǎng)絡(luò)流量和當(dāng)前已建立的連接數(shù)的運行負載信息；
[0007]2)根據(jù)上述采集到各存儲子節(jié)點的運行負載信息分配能夠與前置機建立通信的存儲子節(jié)點；
[0008]3)將分配的存儲子節(jié)點與需要傳輸數(shù)據(jù)的前置機建立通信連接，使前置機中的數(shù)據(jù)直接傳輸?shù)酱鎯ψ庸?jié)點。
[0009]所述步驟I)是通過在各存儲子節(jié)點上配置監(jiān)測客戶端實現(xiàn)的。
[0010]所述步驟2)存儲子節(jié)點的分配是由調(diào)度和管理節(jié)點實現(xiàn)，該調(diào)度和管理節(jié)點與各存儲子節(jié)點通過專用線通信連接，所述調(diào)度和管理節(jié)點與前置機通信連接，用于接收前置機的寫入請求。
[0011]在存儲子節(jié)點出現(xiàn)故障時，所述調(diào)度和管理節(jié)點能夠?qū)Υ鎯ψ庸?jié)點進行更換和重新接入操作。
[0012]所述存儲方法還能夠進行系統(tǒng)擴容，具體過程如下:
[0013]A.添加新的存儲服務(wù)器到分布式存儲子節(jié)點集群；
[0014]B.在調(diào)度和管理節(jié)點中注冊該服務(wù)器；
[0015]C.調(diào)度和管理節(jié)點將該服務(wù)器納入管理，獲取其運行信息；
[0016]D.調(diào)度和管理節(jié)點將該服務(wù)器加入到可分配的服務(wù)節(jié)點列表，該服務(wù)器正式成為分布式存儲子節(jié)點。
[0017]本發(fā)明還提供一種用電信息采集系統(tǒng)的海量數(shù)據(jù)存儲系統(tǒng)，該存儲系統(tǒng)包括存儲子節(jié)點、前置機以及調(diào)度和管理節(jié)點，所述存儲子節(jié)點上配置有監(jiān)測客戶端，采集存儲子節(jié)點的CPU負載、系統(tǒng)內(nèi)存余量、網(wǎng)絡(luò)流量和當(dāng)前已建立的連接數(shù)的運行負載信息，所述調(diào)度和管理節(jié)點與存儲子節(jié)點通信連接，用于接收存儲子節(jié)點的運行負載信息并根據(jù)該信息分配能夠與前置機建立通信的存儲子節(jié)點，所述調(diào)度和管理節(jié)點還與前置機通信連接，用于接收前置機的寫入請求。
[0018]所述存儲子節(jié)點和前置機均為集群設(shè)置。
[0019]在存儲子節(jié)點出現(xiàn)故障時，所述調(diào)度和管理節(jié)點能夠?qū)Υ鎯ψ庸?jié)點進行更換和重新接入操作。
[0020]所述存儲系統(tǒng)還能夠進行系統(tǒng)擴容，具體過程如下:
[0021]a.添加新的存儲服務(wù)器到分布式存儲子節(jié)點集群；
[0022]b.在調(diào)度和管理節(jié)點中注冊該服務(wù)器；
[0023]c.調(diào)度和管理節(jié)點將該服務(wù)器納入管理，獲取其運行信息；
[0024]d.調(diào)度和管理節(jié)點將該服務(wù)器加入到可分配的服務(wù)節(jié)點列表，該服務(wù)器正式成為分布式存儲子節(jié)點。
[0025]所述的調(diào)度和管理節(jié)點采用主節(jié)點和備用節(jié)點相結(jié)合的方式進行部署，負責(zé)與前置機集群以及存儲子節(jié)點集群進行雙向通信。
[0026]本發(fā)明的有益效果是:本發(fā)明通過在每個存儲子節(jié)點上配置有監(jiān)測客戶端，將各節(jié)點的CPU負載、系統(tǒng)內(nèi)存的余量、網(wǎng)絡(luò)的流量、當(dāng)前已建立的連接數(shù)等相關(guān)運行負載信息實時傳遞到調(diào)度和管理節(jié)點，經(jīng)由調(diào)度與管理節(jié)點的分配，前置機集群中的某個節(jié)點與一個存儲子節(jié)點直接建立通訊鏈路進行數(shù)據(jù)傳輸和入庫，數(shù)據(jù)流并不通過調(diào)度和管理節(jié)點。通過合理調(diào)度可建立起由多個點對點通信鏈路構(gòu)成的用于數(shù)據(jù)存儲的通信網(wǎng)絡(luò)，可有效避免數(shù)據(jù)熱點的產(chǎn)生，最大化利用系統(tǒng)的網(wǎng)絡(luò)傳輸資源，分布式存儲子節(jié)點集群的部署成本較低、擴展性好。

【專利附圖】

【附圖說明】
[0027]圖1是是用電信息采集系統(tǒng)的海量數(shù)據(jù)存儲系統(tǒng)的結(jié)構(gòu)示意圖；
[0028]圖2是用電信息采集系統(tǒng)的海量數(shù)據(jù)存儲方法的流程圖。

【具體實施方式】
[0029]下面結(jié)合附圖對本發(fā)明的【具體實施方式】作進一步的說明。
[0030]本發(fā)明的一種用電信息采集系統(tǒng)的海量數(shù)據(jù)存儲方法的實施例
[0031]本發(fā)明通過在每個存儲子節(jié)點上配置有監(jiān)測客戶端，將該節(jié)點的CPU負載、系統(tǒng)內(nèi)存的余量、網(wǎng)絡(luò)的流量、當(dāng)前已建立的連接數(shù)等相關(guān)運行負載信息實時傳遞到調(diào)度和管理節(jié)點，經(jīng)由調(diào)度與管理節(jié)點的分配，前置機集群中的某個節(jié)點與一個存儲子節(jié)點直接建立通訊鏈路進行數(shù)據(jù)傳輸和入庫，數(shù)據(jù)流并不通過調(diào)度和管理節(jié)點。該方法的流程如圖2所示，具體步驟如下:
[0032]1.前置機生成入庫文件并向管理與調(diào)度節(jié)點發(fā)送寫入請求。
[0033]2.管理與調(diào)度節(jié)點上的分布式存儲調(diào)度服務(wù)接收寫入請求，向前置機發(fā)送回復(fù)，要求等待。
[0034]3.匯集監(jiān)測客戶端傳來的各存儲子節(jié)點的運行信息和負載情況。
[0035]4.分布式存儲調(diào)度服務(wù)根據(jù)調(diào)度策略，這里選擇負載量最小的存儲子節(jié)點進行分配，指定若干相關(guān)存儲子節(jié)點同時執(zhí)行相應(yīng)的數(shù)據(jù)存儲任務(wù)。
[0036]5.分布式存儲調(diào)度服務(wù)將建立連接所需的通信信息分發(fā)給前置機和相關(guān)存儲子節(jié)點。
[0037]6.由前置機發(fā)送請求向各相關(guān)存儲子節(jié)點建立通信鏈接，如果成功則將連接成功的信息返回給分布式存儲調(diào)度服務(wù)，否則請求分布式調(diào)度服務(wù)重新執(zhí)行步驟3。
[0038]7.存儲子節(jié)點執(zhí)行存儲任務(wù)，進行數(shù)據(jù)存儲。
[0039]該存儲方法還能夠進行系統(tǒng)擴容，具體過程如下:
[0040]A.添加新的存儲服務(wù)器到分布式存儲子節(jié)點集群；
[0041]B.在調(diào)度和管理節(jié)點中注冊該服務(wù)器；
[0042]C.調(diào)度和管理節(jié)點將該服務(wù)器納入管理，獲取其運行信息；
[0043]D.調(diào)度和管理節(jié)點將該服務(wù)器加入到可分配的服務(wù)節(jié)點列表，該服務(wù)器正式成為分布式存儲子節(jié)點。
[0044]本發(fā)明一種用電信息采集系統(tǒng)的海量數(shù)據(jù)存儲系統(tǒng)的實施例
[0045]如圖1所示，本發(fā)明的用電信息采集系統(tǒng)海量數(shù)據(jù)存儲系統(tǒng)包括前置機集群、調(diào)度和管理節(jié)點以及存儲子節(jié)點集群，存儲子節(jié)點集群中各存儲節(jié)點上均配置有監(jiān)測客戶端，用于采集相應(yīng)存儲節(jié)點的CPU負載、系統(tǒng)內(nèi)存的余量、網(wǎng)絡(luò)的流量、當(dāng)前已建立的連接數(shù)等相關(guān)運行負載信息，調(diào)度和管理節(jié)點通過“心跳”專用線通信連接，用于接收各存儲子節(jié)點上的相關(guān)運行負載信息，調(diào)度和管理節(jié)點與前置機集群通信連接，用于接收前置機的寫入請求，同時根據(jù)各存儲子節(jié)點上的相關(guān)運行負載信息分配合適的存儲子節(jié)點，建立該存儲子節(jié)點與前置機的通信，使前置機中的信息直接存儲到存儲子節(jié)點上。
[0046]前置機集群是N臺相互獨立、通過高速網(wǎng)絡(luò)互聯(lián)的計算機，它們構(gòu)成一個組，統(tǒng)一用于收集采集終端上傳的量測數(shù)據(jù)，根據(jù)一定的負載均衡策略，該集群以單一系統(tǒng)模式加以管理。存儲子節(jié)點集群是由分布式存儲調(diào)度服務(wù)同時管理的多個分布式存儲子節(jié)點。存儲子節(jié)點按照分布式存儲調(diào)度服務(wù)的要求，在本地保存數(shù)據(jù)。
[0047]該系統(tǒng)的工作過程如下:前置機生成入庫文件后，向調(diào)度和管理節(jié)點發(fā)送寫入請求并等待確認；同時，各存儲子節(jié)點的實時負載經(jīng)過集群與調(diào)度和管理節(jié)點之間的“心跳”專用線傳輸。調(diào)度和管理節(jié)點上提供分布式存儲調(diào)度服務(wù)，在獲得寫入請求后，結(jié)合當(dāng)前負載情況根據(jù)一定的規(guī)則負責(zé)建立前置機與存儲子節(jié)點的通信。另外，該節(jié)點上具備通信故障處理機制，在存儲子節(jié)點出現(xiàn)故障時能夠進行存儲子節(jié)點更換、重新連入等操作。
[0048]上述存儲系統(tǒng)還能夠進行系統(tǒng)擴容，具體過程如下:
[0049]a.添加新的存儲服務(wù)器到分布式存儲子節(jié)點集群；
[0050]b.在調(diào)度和管理節(jié)點中注冊該服務(wù)器；
[0051]c.調(diào)度和管理節(jié)點將該服務(wù)器納入管理，獲取其運行信息；
[0052]d.調(diào)度和管理節(jié)點將該服務(wù)器加入到可分配的服務(wù)節(jié)點列表，該服務(wù)器正式成為分布式存儲子節(jié)點。
【權(quán)利要求】
1.一種用電信息采集系統(tǒng)的海量數(shù)據(jù)存儲方法，其特征在于，該存儲方法包括以下步驟: 1)采集各存儲子節(jié)點的CPU負載、系統(tǒng)內(nèi)存余量、網(wǎng)絡(luò)流量和當(dāng)前已建立的連接數(shù)的運行負載信息； 2)根據(jù)上述采集到各存儲子節(jié)點的運行負載信息分配能夠與前置機建立通信的存儲子節(jié)點； 3)將分配的存儲子節(jié)點與需要傳輸數(shù)據(jù)的前置機建立通信連接，使前置機中的數(shù)據(jù)直接傳輸?shù)酱鎯ψ庸?jié)點。
2.根據(jù)權(quán)利要求1所述的用電信息采集系統(tǒng)的海量數(shù)據(jù)存儲方法，其特征在于，所述步驟1)是通過在各存儲子節(jié)點上配置監(jiān)測客戶端實現(xiàn)的。
3.根據(jù)權(quán)利要求2所述的用電信息采集系統(tǒng)的海量數(shù)據(jù)存儲方法，其特征在于，所述步驟2)存儲子節(jié)點的分配是由調(diào)度和管理節(jié)點實現(xiàn)，該調(diào)度和管理節(jié)點與各存儲子節(jié)點通過專用線通信連接，所述調(diào)度和管理節(jié)點與前置機通信連接，用于接收前置機的寫入請求。
4.根據(jù)權(quán)利要求3所述的用電信息采集系統(tǒng)的海量數(shù)據(jù)存儲方法，其特征在于，在存儲子節(jié)點出現(xiàn)故障時，所述調(diào)度和管理節(jié)點能夠?qū)Υ鎯ψ庸?jié)點進行更換和重新接入操作。
5.根據(jù)權(quán)利要求4所述的用電信息采集系統(tǒng)的海量數(shù)據(jù)存儲方法，其特征在于，所述存儲方法還能夠進行系統(tǒng)擴容，具體過程如下: A.添加新的存儲服務(wù)器到分布式存儲子節(jié)點集群； B.在調(diào)度和管理節(jié)點中注冊該服務(wù)器； C.調(diào)度和管理節(jié)點將該服務(wù)器納入管理，獲取其運行信息； D.調(diào)度和管理節(jié)點將該服務(wù)器加入到可分配的服務(wù)節(jié)點列表，該服務(wù)器正式成為分布式存儲子節(jié)點。
6.一種用電信息采集系統(tǒng)的海量數(shù)據(jù)存儲系統(tǒng)，其特征在于，該存儲系統(tǒng)包括存儲子節(jié)點、前置機以及調(diào)度和管理節(jié)點，所述存儲子節(jié)點上配置有監(jiān)測客戶端，采集存儲子節(jié)點的CPU負載、系統(tǒng)內(nèi)存余量、網(wǎng)絡(luò)流量和當(dāng)前已建立的連接數(shù)的運行負載信息，所述調(diào)度和管理節(jié)點與存儲子節(jié)點通信連接，用于接收存儲子節(jié)點的運行負載信息并根據(jù)該信息分配能夠與前置機建立通信的存儲子節(jié)點，所述調(diào)度和管理節(jié)點還與前置機通信連接，用于接收前置機的寫入請求。
7.根據(jù)權(quán)利要求6所述的用電信息采集系統(tǒng)的海量數(shù)據(jù)存儲系統(tǒng)，其特征在于，所述存儲子節(jié)點和前置機均為集群設(shè)置。
8.根據(jù)權(quán)利要求7所述的用電信息采集系統(tǒng)的海量數(shù)據(jù)存儲系統(tǒng)，其特征在于，在存儲子節(jié)點出現(xiàn)故障時，所述調(diào)度和管理節(jié)點能夠?qū)Υ鎯ψ庸?jié)點進行更換和重新接入操作。
9.根據(jù)權(quán)利要求8所述的用電信息采集系統(tǒng)的海量數(shù)據(jù)存儲系統(tǒng)，其特征在于，所述存儲系統(tǒng)還能夠進行系統(tǒng)擴容，具體過程如下: a.添加新的存儲服務(wù)器到分布式存儲子節(jié)點集群； b.在調(diào)度和管理節(jié)點中注冊該服務(wù)器； c.調(diào)度和管理節(jié)點將該服務(wù)器納入管理，獲取其運行信息； d.調(diào)度和管理節(jié)點將該服務(wù)器加入到可分配的服務(wù)節(jié)點列表，該服務(wù)器正式成為分布式存儲子節(jié)點。
10.根據(jù)權(quán)利要求6-9中任一項所述的用電信息采集系統(tǒng)的海量數(shù)據(jù)存儲系統(tǒng)，其特征在于，所述的調(diào)度和管理節(jié)點采用主節(jié)點和備用節(jié)點相結(jié)合的方式進行部署，負責(zé)與前置機集群以及存儲子節(jié)點集群進行雙向通信。
【文檔編號】H04L29/08GK104320495SQ201410647064
【公開日】2015年1月28日 申請日期:2014年11月13日 優(yōu)先權(quán)日:2014年11月13日
【發(fā)明者】雷鳴, 周逢權(quán), 徐大青, 張展國, 謝學(xué)征, 王林, 賀彪 申請人:許繼電氣股份有限公司, 許昌許繼軟件技術(shù)有限公司