本申請(qǐng)涉及數(shù)據(jù)處理,尤其涉及一種智能電表數(shù)據(jù)采集系統(tǒng)。
背景技術(shù):
1、隨著電力需求的不斷增長和電網(wǎng)復(fù)雜性的增加,傳統(tǒng)的電網(wǎng)系統(tǒng)面臨著許多挑戰(zhàn),因此需通過引入先進(jìn)的信息技術(shù)和通信技術(shù),來提高電網(wǎng)的效率、可靠性和可持續(xù)性。其中,智能電表是智能電網(wǎng)的關(guān)鍵組成部分,它能夠?qū)崟r(shí)采集用戶的用電數(shù)據(jù),并將其傳輸?shù)街醒胂到y(tǒng)進(jìn)行處理和分析。
2、目前,智能電表的大規(guī)模部署產(chǎn)生了海量的用電數(shù)據(jù),這些數(shù)據(jù)具有高頻率、海量性、多樣性和時(shí)效性的特點(diǎn)。面對(duì)數(shù)據(jù)的高頻率采集和傳輸、海量數(shù)據(jù)的存儲(chǔ)和管理、實(shí)時(shí)數(shù)據(jù)處理和分析等諸多挑戰(zhàn),傳統(tǒng)的數(shù)據(jù)處理方法難以有效應(yīng)對(duì),導(dǎo)致數(shù)據(jù)采集過程中延遲增加、數(shù)據(jù)丟失、處理效率低下,影響整個(gè)系統(tǒng)的實(shí)時(shí)性、可靠性和擴(kuò)展性。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)的目的旨在至少能解決上述的技術(shù)缺陷之一,特別是現(xiàn)有技術(shù)中數(shù)據(jù)采集過程中延遲增加、數(shù)據(jù)丟失、處理效率低下,影響整個(gè)系統(tǒng)的實(shí)時(shí)性、可靠性和擴(kuò)展性的技術(shù)缺陷。
2、本申請(qǐng)?zhí)峁┝艘环N智能電表數(shù)據(jù)采集系統(tǒng),所述系統(tǒng)包括數(shù)據(jù)采集層、數(shù)據(jù)傳輸層、數(shù)據(jù)處理層、數(shù)據(jù)存儲(chǔ)層和數(shù)據(jù)應(yīng)用層;
3、所述數(shù)據(jù)采集層用于從智能電表讀取用戶的原始數(shù)據(jù);
4、所述數(shù)據(jù)傳輸層用于采用多級(jí)傳輸架構(gòu)將所述原始數(shù)據(jù)依次傳輸至本地網(wǎng)關(guān)、區(qū)域集中器和中央數(shù)據(jù)中心;
5、所述數(shù)據(jù)處理層采用hadoop?mapreduce框架構(gòu)建得到,用于在所述本地網(wǎng)關(guān)中對(duì)所述原始數(shù)據(jù)進(jìn)行預(yù)處理,得到中間數(shù)據(jù),以及,在所述區(qū)域集中器中對(duì)所述中間數(shù)據(jù)進(jìn)行并行匯總處理,得到用電數(shù)據(jù);
6、所述數(shù)據(jù)存儲(chǔ)層用于將所述原始數(shù)據(jù)存儲(chǔ)至分布式文件系統(tǒng)中,以及,將所述中間數(shù)據(jù)和所述用電數(shù)據(jù)存儲(chǔ)至nosql數(shù)據(jù)庫中;
7、所述數(shù)據(jù)應(yīng)用層用于采用數(shù)據(jù)分析工具和機(jī)器學(xué)習(xí)語言對(duì)所述用電數(shù)據(jù)進(jìn)行數(shù)據(jù)分析。
8、可選地,所述數(shù)據(jù)傳輸層用于采用多級(jí)傳輸架構(gòu)將所述原始數(shù)據(jù)依次傳輸至本地網(wǎng)關(guān)、區(qū)域集中器和中央數(shù)據(jù)中心的過程,包括:
9、所述數(shù)據(jù)傳輸層采用短距離傳輸方式和mqtt傳輸協(xié)議將所述原始數(shù)據(jù)傳輸至本地網(wǎng)關(guān)中進(jìn)行初步處理,并采用中距離傳輸方式和所述mqtt傳輸協(xié)議將初步處理后的原始數(shù)據(jù)傳輸至區(qū)域集中器中進(jìn)行二次處理,以及,采用長距離傳輸方式和amqp傳輸協(xié)議將二次處理后的原始數(shù)據(jù)傳輸至中央數(shù)據(jù)中心中。
10、可選地,所述數(shù)據(jù)處理層用于在所述本地網(wǎng)關(guān)中對(duì)所述原始數(shù)據(jù)進(jìn)行預(yù)處理,得到中間數(shù)據(jù)的過程,包括:
11、所述數(shù)據(jù)處理層在所述本地網(wǎng)關(guān)中采用數(shù)據(jù)過濾算法對(duì)所述原始數(shù)據(jù)進(jìn)行過濾處理,并采用數(shù)據(jù)聚合算法和數(shù)據(jù)壓縮算法對(duì)過濾后的原始數(shù)據(jù)進(jìn)行聚合壓縮處理,得到中間數(shù)據(jù)。
12、可選地,所述數(shù)據(jù)處理層用于在所述區(qū)域集中器中對(duì)所述中間數(shù)據(jù)進(jìn)行并行匯總處理,得到用電數(shù)據(jù),包括:
13、所述數(shù)據(jù)處理層在所述區(qū)域集中器中,確定所述中間數(shù)據(jù)的處理任務(wù),以及,采用mapreduce編程模型基于所述處理任務(wù)將所述中間數(shù)據(jù)分割為多個(gè)數(shù)據(jù)塊,并對(duì)各個(gè)數(shù)據(jù)塊進(jìn)行并行處理,生成用電數(shù)據(jù)。
14、可選地,所述數(shù)據(jù)處理層對(duì)各個(gè)數(shù)據(jù)塊進(jìn)行并行處理,生成用電數(shù)據(jù)的過程,包括:
15、所述數(shù)據(jù)處理層采用map函數(shù)對(duì)各個(gè)數(shù)據(jù)塊并行處理,生成每一數(shù)據(jù)塊的中間鍵值對(duì),并采用reduce函數(shù)將中間鍵相同的數(shù)據(jù)塊進(jìn)行聚合處理,生成用電數(shù)據(jù)。
16、可選地,所述數(shù)據(jù)處理層采用map函數(shù)對(duì)各個(gè)數(shù)據(jù)塊并行處理,生成每一數(shù)據(jù)塊的中間鍵值對(duì)的過程,包括:
17、所述數(shù)據(jù)處理層在提取每一數(shù)據(jù)塊中的屬性id和用電量后,針對(duì)每一數(shù)據(jù)塊,采用map函數(shù)將該數(shù)據(jù)塊的屬性id轉(zhuǎn)換為數(shù)據(jù)鍵,以及將該數(shù)據(jù)塊的用電量轉(zhuǎn)換為數(shù)據(jù)值,并根據(jù)所述數(shù)據(jù)鍵和所述數(shù)據(jù)值生成該數(shù)據(jù)塊對(duì)應(yīng)的中間鍵值對(duì)。
18、可選地,所述數(shù)據(jù)處理層采用reduce函數(shù)將中間鍵相同的數(shù)據(jù)塊進(jìn)行聚合處理,生成用電數(shù)據(jù)的過程,包括:
19、所述數(shù)據(jù)處理層確定每一中間鍵值對(duì)中的數(shù)據(jù)鍵,并將數(shù)據(jù)鍵的中間鍵值對(duì)添加至同一數(shù)據(jù)集合中,形成多個(gè)數(shù)據(jù)集合;
20、針對(duì)每一數(shù)據(jù)集合,所述數(shù)據(jù)處理層采用reduce函數(shù)將該數(shù)據(jù)集合內(nèi)各個(gè)中間鍵值對(duì)中的數(shù)據(jù)值進(jìn)行聚合,生成該數(shù)據(jù)集合對(duì)應(yīng)的用電數(shù)據(jù)。
21、可選地,所述數(shù)據(jù)存儲(chǔ)層還包括:
22、所述數(shù)據(jù)存儲(chǔ)層定期對(duì)所述分布式文件系統(tǒng)和所述nosql數(shù)據(jù)庫進(jìn)行數(shù)據(jù)備份和恢復(fù)測試,以及,通過監(jiān)控和管理工具對(duì)所述分布式文件系統(tǒng)和所述nosql數(shù)據(jù)庫進(jìn)行實(shí)時(shí)監(jiān)控和管理。
23、可選地,所述數(shù)據(jù)應(yīng)用層用于采用數(shù)據(jù)分析工具和機(jī)器學(xué)習(xí)語言對(duì)所述用電數(shù)據(jù)進(jìn)行數(shù)據(jù)分析的過程,包括:
24、所述數(shù)據(jù)應(yīng)用層采用hive對(duì)所述nosql數(shù)據(jù)庫中的用電數(shù)據(jù)進(jìn)行查詢,并生成用電統(tǒng)計(jì)報(bào)告,以及采用pig對(duì)所述用電數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換,以利用mahout學(xué)習(xí)庫和sparkmllib學(xué)習(xí)庫對(duì)轉(zhuǎn)換后的用電數(shù)據(jù)進(jìn)行異常分析和用電預(yù)測。
25、可選地,所述數(shù)據(jù)應(yīng)用層還包括:
26、所述數(shù)據(jù)應(yīng)用層采用數(shù)據(jù)可視化工具對(duì)所述用電數(shù)據(jù)的分析結(jié)果進(jìn)行可視化。
27、從以上技術(shù)方案可以看出,本申請(qǐng)實(shí)施例具有以下優(yōu)點(diǎn):
28、本申請(qǐng)?zhí)峁┑囊环N智能電表數(shù)據(jù)采集系統(tǒng),包括數(shù)據(jù)采集層、數(shù)據(jù)傳輸層、數(shù)據(jù)處理層、數(shù)據(jù)存儲(chǔ)層和數(shù)據(jù)應(yīng)用層。其中,數(shù)據(jù)采集層可以從智能電表讀取用戶的原始數(shù)據(jù),然后數(shù)據(jù)傳輸層可以采用多級(jí)傳輸架構(gòu)將所述原始數(shù)據(jù)依次傳輸至本地網(wǎng)關(guān)、區(qū)域集中器和中央數(shù)據(jù)中心,以此來提高數(shù)據(jù)傳輸?shù)膶?shí)時(shí)性和可靠性;在傳輸?shù)倪^程中,采用hadoopmapreduce框架構(gòu)建得到的數(shù)據(jù)處理層可以在本地網(wǎng)關(guān)中對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理,得到中間數(shù)據(jù),以及,在區(qū)域集中器中對(duì)中間數(shù)據(jù)進(jìn)行并行匯總處理,得到用電數(shù)據(jù),從而通過mapreduce的分布式并行處理,能夠進(jìn)一步提高數(shù)據(jù)的處理效率和能力;最后,數(shù)據(jù)存儲(chǔ)層可以將原始數(shù)據(jù)存儲(chǔ)至分布式文件系統(tǒng)中,以及,將中間數(shù)據(jù)和用電數(shù)據(jù)存儲(chǔ)至nosql數(shù)據(jù)庫中,這里在分布式文件系統(tǒng)的高擴(kuò)展性、容錯(cuò)性的基礎(chǔ)下結(jié)合nosql數(shù)據(jù)庫使用,可以提高數(shù)據(jù)的快速讀寫操作,因此數(shù)據(jù)應(yīng)用層可以實(shí)時(shí)從nosql數(shù)據(jù)庫中獲取用電數(shù)據(jù)進(jìn)行數(shù)據(jù)分析,確保系統(tǒng)的快速響應(yīng)能力。基于此,本申請(qǐng)利用各個(gè)數(shù)據(jù)層的相互協(xié)作和共同作用,可以提高數(shù)據(jù)采集過程中數(shù)據(jù)傳輸效率和質(zhì)量,進(jìn)而提高整個(gè)系統(tǒng)的實(shí)時(shí)性、可靠性和擴(kuò)展性。
1.一種智能電表數(shù)據(jù)采集系統(tǒng),其特征在于,所述系統(tǒng)包括數(shù)據(jù)采集層、數(shù)據(jù)傳輸層、數(shù)據(jù)處理層、數(shù)據(jù)存儲(chǔ)層和數(shù)據(jù)應(yīng)用層;
2.根據(jù)權(quán)利要求1所述的智能電表數(shù)據(jù)采集系統(tǒng),其特征在于,所述數(shù)據(jù)傳輸層用于采用多級(jí)傳輸架構(gòu)將所述原始數(shù)據(jù)依次傳輸至本地網(wǎng)關(guān)、區(qū)域集中器和中央數(shù)據(jù)中心的過程,包括:
3.根據(jù)權(quán)利要求1所述的智能電表數(shù)據(jù)采集系統(tǒng),其特征在于,所述數(shù)據(jù)處理層用于在所述本地網(wǎng)關(guān)中對(duì)所述原始數(shù)據(jù)進(jìn)行預(yù)處理,得到中間數(shù)據(jù)的過程,包括:
4.根據(jù)權(quán)利要求1所述的智能電表數(shù)據(jù)采集系統(tǒng),其特征在于,所述數(shù)據(jù)處理層用于在所述區(qū)域集中器中對(duì)所述中間數(shù)據(jù)進(jìn)行并行匯總處理,得到用電數(shù)據(jù)的過程,包括:
5.根據(jù)權(quán)利要求4所述的智能電表數(shù)據(jù)采集系統(tǒng),其特征在于,所述數(shù)據(jù)處理層對(duì)各個(gè)數(shù)據(jù)塊進(jìn)行并行處理,生成用電數(shù)據(jù)的過程,包括:
6.根據(jù)權(quán)利要求5所述的智能電表數(shù)據(jù)采集系統(tǒng),其特征在于,所述數(shù)據(jù)處理層采用map函數(shù)對(duì)各個(gè)數(shù)據(jù)塊并行處理,生成每一數(shù)據(jù)塊的中間鍵值對(duì)的過程,包括:
7.根據(jù)權(quán)利要求5所述的智能電表數(shù)據(jù)采集系統(tǒng),其特征在于,所述數(shù)據(jù)處理層采用reduce函數(shù)將中間鍵相同的數(shù)據(jù)塊進(jìn)行聚合處理,生成用電數(shù)據(jù)的過程,包括:
8.根據(jù)權(quán)利要求1所述的智能電表數(shù)據(jù)采集系統(tǒng),其特征在于,所述數(shù)據(jù)存儲(chǔ)層還包括:
9.根據(jù)權(quán)利要求1所述的智能電表數(shù)據(jù)采集系統(tǒng),其特征在于,所述數(shù)據(jù)應(yīng)用層用于采用數(shù)據(jù)分析工具和機(jī)器學(xué)習(xí)語言對(duì)所述用電數(shù)據(jù)進(jìn)行數(shù)據(jù)分析的過程,包括:
10.根據(jù)權(quán)利要求1或9所述的智能電表數(shù)據(jù)采集系統(tǒng),其特征在于,所述數(shù)據(jù)應(yīng)用層還包括: