一種分布式性能數(shù)據(jù)處理方法
【專(zhuān)利摘要】本發(fā)明提供一種分布式性能數(shù)據(jù)處理方法，基于分布式存儲(chǔ)的數(shù)據(jù)計(jì)算處理，涉及網(wǎng)絡(luò)性能大數(shù)據(jù)的存儲(chǔ)計(jì)算處理。通過(guò)HBASE,HADOOP將性能數(shù)據(jù)文件做分布式存儲(chǔ)與管理,同時(shí)使用STORM調(diào)度框架將任務(wù)派發(fā)到多個(gè)worker節(jié)點(diǎn)上,做并發(fā)計(jì)算、入庫(kù),通過(guò)提高并發(fā)度縮短整個(gè)處理時(shí)間，減少對(duì)ORACLE的依賴(lài)，降低軟件成本。
【專(zhuān)利說(shuō)明】一種分布式性能數(shù)據(jù)處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種移動(dòng)通信【技術(shù)領(lǐng)域】，具體地說(shuō)是一種分布式性能數(shù)據(jù)處理方法?！颈尘凹夹g(shù)】
[0002]在移動(dòng)通信中，性能管理系統(tǒng)收集分析網(wǎng)絡(luò)管理系統(tǒng)的運(yùn)行數(shù)據(jù)。具備對(duì)網(wǎng)管數(shù)據(jù)進(jìn)行采集，解析，匯總，入庫(kù)，提供前臺(tái)報(bào)表查詢(xún)，模型管理等能力。
[0003]但是，性能文件的匯總，入庫(kù)對(duì)于ORACLE的依賴(lài)較強(qiáng)，隨著數(shù)據(jù)量的不斷增大，ORACLE數(shù)據(jù)庫(kù)的處理壓力較大，效率問(wèn)題凸現(xiàn)，同時(shí)ORACLE也增大了軟件成本。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種分布式性能數(shù)據(jù)處理方法。
[0005]本發(fā)明的目的是按以下方式實(shí)現(xiàn)的，本發(fā)明所要解決的問(wèn)題是提供一種基于分布式文件系統(tǒng)計(jì)算方法使性能數(shù)據(jù)的匯總計(jì)算不在ORACLE中處理，減少對(duì)ORACLE數(shù)據(jù)庫(kù)的依賴(lài)，降低軟件成本。
[0006]內(nèi)容包括:
1)使用HAD00P，HBASE開(kāi)源軟件分布式存儲(chǔ)性能文件和采用STORM調(diào)度框架，并行匯總計(jì)算，將匯總計(jì)算結(jié)果入ORACLE數(shù)據(jù)庫(kù)；
2)引入開(kāi)源的分布式文件系統(tǒng)HAD00P，HBASE軟件，通過(guò)HBASE將性能數(shù)據(jù)文件拆分成以大網(wǎng)元實(shí)體為單位的小文件存儲(chǔ)到HADOOP中；
3)性能數(shù)據(jù)的匯總計(jì)算通過(guò)HBASE從HADOOP中取文件，在JAVA程序中進(jìn)行計(jì)算；
4)引入并發(fā)處理，storm主節(jié)點(diǎn)進(jìn)行統(tǒng)一調(diào)度，把任務(wù)分派到不同worker節(jié)點(diǎn)進(jìn)行匯總計(jì)算，提升處理效率；
具體步驟如下:
O從EMS上采集原始的性能數(shù)據(jù)文件，按照解析規(guī)則解析成pif文件；
2)部署PIF2PIA服務(wù)，將pif文件按照設(shè)備大網(wǎng)元實(shí)體拆分成pia文件，并調(diào)用HBASE的API接口將pia文件保存到HADOOP文件系統(tǒng)中，并發(fā)送原始的pia消息；
3)部署決策中心服務(wù)，監(jiān)控pia消息，以及網(wǎng)元匯總，時(shí)間匯總，忙時(shí)計(jì)算的消息，決策生成網(wǎng)元匯總?cè)蝿?wù)，時(shí)間匯總?cè)蝿?wù)，忙時(shí)計(jì)算任務(wù)，以及入庫(kù)任務(wù)；
4)部署調(diào)度中心服務(wù)，storm的主節(jié)點(diǎn)派發(fā)任務(wù)到各worker節(jié)點(diǎn)進(jìn)行網(wǎng)元匯總，時(shí)間匯總，忙時(shí)計(jì)算，入庫(kù)等任務(wù)并發(fā)執(zhí)行.worker節(jié)點(diǎn)可配置，根據(jù)網(wǎng)絡(luò)規(guī)模配置，同時(shí)每個(gè)worker節(jié)點(diǎn)將匯總計(jì)算的結(jié)果文件調(diào)用HBASE的接口存入到HAD 00P文件系統(tǒng)中。
[0007]本發(fā)明的目的有益效果是:
對(duì)性能文件按照設(shè)備網(wǎng)元進(jìn)行拆分成小文件，運(yùn)用HBASE將文件存儲(chǔ)在分布式文件系統(tǒng)HADOOP中。運(yùn)用STORM調(diào)度框架進(jìn)行任務(wù)派發(fā)，把任務(wù)派發(fā)給每個(gè)worker節(jié)點(diǎn)執(zhí)行，達(dá)到并行計(jì)算。由于本發(fā)明采用了分布式存儲(chǔ)，并行匯總計(jì)算的方法，提升存取能力，提高匯總計(jì)算以及數(shù)據(jù)入ORACLE數(shù)據(jù)庫(kù)的效率?！緦?zhuān)利附圖】

【附圖說(shuō)明】
[0008]圖1是本發(fā)明的流程圖。
【具體實(shí)施方式】
[0009]參照說(shuō)明書(shū)附圖對(duì)本發(fā)明的作以下詳細(xì)地說(shuō)明。
[0010]本發(fā)明的一種分布式性能數(shù)據(jù)處理方法，是使用HAD00P，HBASE開(kāi)源軟件分布式存儲(chǔ)性能文件和采用STORM調(diào)度框架，并行匯總計(jì)算，將匯總計(jì)算結(jié)果入ORACLE數(shù)據(jù)庫(kù)；具體步驟如下:
O引入開(kāi)源的分布式文件系統(tǒng)HAD00P，HBASE軟件，通過(guò)HBASE將性能數(shù)據(jù)文件拆分成以大網(wǎng)元實(shí)體為單位的小文件存儲(chǔ)到HADOOP中；
2)性能數(shù)據(jù)的匯總計(jì)算通過(guò)HBASE從HADOOP中取文件，在JAVA程序中進(jìn)行計(jì)算；
3)引入并發(fā)處理，storm主節(jié)點(diǎn)進(jìn)行統(tǒng)一調(diào)度，把任務(wù)分派到不同worker節(jié)點(diǎn)進(jìn)行匯總計(jì)算，提升處理效率；
對(duì)性能文件按照設(shè)備網(wǎng)元進(jìn)行拆分成小文件，運(yùn)用HBASE將文件存儲(chǔ)在分布式文件系統(tǒng)HADOOP中，運(yùn)用STORM調(diào)度框架進(jìn)行任務(wù)派發(fā)，把任務(wù)派發(fā)給每個(gè)worker節(jié)點(diǎn)執(zhí)行，達(dá)到并行計(jì)算，具體步驟如下:
O從EMS上采集原始的性能數(shù)據(jù)文件，按照解析規(guī)則解析成pif文件；
2)部署PIF2PIA服務(wù)，將pif文件按照設(shè)備大網(wǎng)元實(shí)體拆分成pia文件，并調(diào)用HBASE的API接口將pia文件保存到HADOOP文件系統(tǒng)中，并發(fā)送原始的pia消息；
3)部署決策中心服務(wù)，監(jiān)控pia消息，以及網(wǎng)元匯總，時(shí)間匯總，忙時(shí)計(jì)算的消息，決策生成網(wǎng)元匯總?cè)蝿?wù)，時(shí)間匯總?cè)蝿?wù)，忙時(shí)計(jì)算任務(wù)，以及入庫(kù)任務(wù)；
4)部署調(diào)度中心服務(wù),storm的主節(jié)點(diǎn)派發(fā)任務(wù)到各worker節(jié)點(diǎn)進(jìn)行網(wǎng)元匯總，時(shí)間匯總，忙時(shí)計(jì)算，入庫(kù)等任務(wù)并發(fā)執(zhí)行。worker節(jié)點(diǎn)可配置，根據(jù)網(wǎng)絡(luò)規(guī)模配置。同時(shí)每個(gè)worker節(jié)點(diǎn)將匯總計(jì)算的結(jié)果文件調(diào)用HBASE的接口存入到HADOOP文件系統(tǒng)中。
[0011]除說(shuō)明書(shū)所述的技術(shù)特征外，均為本專(zhuān)業(yè)技術(shù)人員的已知技術(shù)。
【權(quán)利要求】
1.一種分布式性能數(shù)據(jù)處理方法，其特征在于包括: 1)使用HADOOP，HBASE開(kāi)源軟件分布式存儲(chǔ)性能文件和采用STORM調(diào)度框架，并行匯總計(jì)算，將匯總計(jì)算結(jié)果入ORACLE數(shù)據(jù)庫(kù)； 2)引入開(kāi)源的分布式文件系統(tǒng)HAD00P，HBASE軟件，通過(guò)HBASE將性能數(shù)據(jù)文件拆分成以大網(wǎng)元實(shí)體為單位的小文件存儲(chǔ)到HADOOP中； 3)性能數(shù)據(jù)的匯總計(jì)算通過(guò)HBASE從HADOOP中取文件，在JAVA程序中進(jìn)行計(jì)算； 4)引入并發(fā)處理，storm主節(jié)點(diǎn)進(jìn)行統(tǒng)一調(diào)度，把任務(wù)分派到不同worker節(jié)點(diǎn)進(jìn)行匯總計(jì)算，提升處理效率； 具體步驟如下: O從EMS上采集原始的性能數(shù)據(jù)文件，按照解析規(guī)則解析成Pif文件； 2)部署PIF2PIA服務(wù)，將pif文件按照設(shè)備大網(wǎng)元實(shí)體拆分成pia文件，并調(diào)用HBASE的API接口將pia文件保存到HADOOP文件系統(tǒng)中，并發(fā)送原始的pia消息； 3)部署決策中心服務(wù)，監(jiān)控pia消息，以及網(wǎng)元匯總，時(shí)間匯總，忙時(shí)計(jì)算的消息，決策生成網(wǎng)元匯總?cè)蝿?wù)，時(shí)間匯總?cè)蝿?wù)，忙時(shí)計(jì)算任務(wù)，以及入庫(kù)任務(wù)； 4)部署調(diào)度中心服務(wù)，storm的主節(jié)點(diǎn)派發(fā)任務(wù)到各worker節(jié)點(diǎn)進(jìn)行網(wǎng)元匯總，時(shí)間匯總，忙時(shí)計(jì)算，入庫(kù)等任務(wù)并發(fā)執(zhí)行.worker節(jié)點(diǎn)可配置，根據(jù)網(wǎng)絡(luò)規(guī)模配置，同時(shí)每個(gè)worker節(jié)點(diǎn)將匯總計(jì)算的結(jié)果文件調(diào)用HBASE的接口存入到HADOOP文件系統(tǒng)中。
2.根據(jù)權(quán)利要求1所述的基于分布式存儲(chǔ)的數(shù)據(jù)計(jì)算處理方法，其特征在于，對(duì)性能文件按照設(shè)備網(wǎng)元進(jìn)行拆分成小文件，運(yùn)用HBASE將文件存儲(chǔ)在分布式文件系統(tǒng)HADOOP中。
3.根據(jù)權(quán)利要求1所述的基于分布式存儲(chǔ)的數(shù)據(jù)計(jì)算處理方法，其特征在于，運(yùn)用STORM調(diào)度框架進(jìn)行任務(wù)派發(fā)，把任務(wù)派發(fā)給每個(gè)worker節(jié)點(diǎn)執(zhí)行，達(dá)到并行計(jì)算。
【文檔編號(hào)】G06F17/30GK103853826SQ201410077734
【公開(kāi)日】2014年6月11日 申請(qǐng)日期:2014年3月5日 優(yōu)先權(quán)日:2014年3月5日
【發(fā)明者】晏學(xué)義, 陳學(xué)慶, 劉金海, 史守斌 申請(qǐng)人:浪潮通信信息系統(tǒng)有限公司