国产精品1024永久观看,大尺度欧美暖暖视频在线观看,亚洲宅男精品一区在线观看,欧美日韩一区二区三区视频,2021中文字幕在线观看

  • <option id="fbvk0"></option>
    1. <rt id="fbvk0"><tr id="fbvk0"></tr></rt>
      <center id="fbvk0"><optgroup id="fbvk0"></optgroup></center>
      <center id="fbvk0"></center>

      <li id="fbvk0"><abbr id="fbvk0"><dl id="fbvk0"></dl></abbr></li>

      一種智能電表數(shù)據(jù)采集系統(tǒng)的制作方法

      文檔序號(hào):40281524發(fā)布日期:2024-12-11 13:21閱讀:14來源:國知局
      一種智能電表數(shù)據(jù)采集系統(tǒng)的制作方法

      本申請(qǐng)涉及數(shù)據(jù)處理,尤其涉及一種智能電表數(shù)據(jù)采集系統(tǒng)。


      背景技術(shù):

      1、隨著電力需求的不斷增長和電網(wǎng)復(fù)雜性的增加,傳統(tǒng)的電網(wǎng)系統(tǒng)面臨著許多挑戰(zhàn),因此需通過引入先進(jìn)的信息技術(shù)和通信技術(shù),來提高電網(wǎng)的效率、可靠性和可持續(xù)性。其中,智能電表是智能電網(wǎng)的關(guān)鍵組成部分,它能夠?qū)崟r(shí)采集用戶的用電數(shù)據(jù),并將其傳輸?shù)街醒胂到y(tǒng)進(jìn)行處理和分析。

      2、目前,智能電表的大規(guī)模部署產(chǎn)生了海量的用電數(shù)據(jù),這些數(shù)據(jù)具有高頻率、海量性、多樣性和時(shí)效性的特點(diǎn)。面對(duì)數(shù)據(jù)的高頻率采集和傳輸、海量數(shù)據(jù)的存儲(chǔ)和管理、實(shí)時(shí)數(shù)據(jù)處理和分析等諸多挑戰(zhàn),傳統(tǒng)的數(shù)據(jù)處理方法難以有效應(yīng)對(duì),導(dǎo)致數(shù)據(jù)采集過程中延遲增加、數(shù)據(jù)丟失、處理效率低下,影響整個(gè)系統(tǒng)的實(shí)時(shí)性、可靠性和擴(kuò)展性。


      技術(shù)實(shí)現(xiàn)思路

      1、本申請(qǐng)的目的旨在至少能解決上述的技術(shù)缺陷之一,特別是現(xiàn)有技術(shù)中數(shù)據(jù)采集過程中延遲增加、數(shù)據(jù)丟失、處理效率低下,影響整個(gè)系統(tǒng)的實(shí)時(shí)性、可靠性和擴(kuò)展性的技術(shù)缺陷。

      2、本申請(qǐng)?zhí)峁┝艘环N智能電表數(shù)據(jù)采集系統(tǒng),所述系統(tǒng)包括數(shù)據(jù)采集層、數(shù)據(jù)傳輸層、數(shù)據(jù)處理層、數(shù)據(jù)存儲(chǔ)層和數(shù)據(jù)應(yīng)用層;

      3、所述數(shù)據(jù)采集層用于從智能電表讀取用戶的原始數(shù)據(jù);

      4、所述數(shù)據(jù)傳輸層用于采用多級(jí)傳輸架構(gòu)將所述原始數(shù)據(jù)依次傳輸至本地網(wǎng)關(guān)、區(qū)域集中器和中央數(shù)據(jù)中心;

      5、所述數(shù)據(jù)處理層采用hadoop?mapreduce框架構(gòu)建得到,用于在所述本地網(wǎng)關(guān)中對(duì)所述原始數(shù)據(jù)進(jìn)行預(yù)處理,得到中間數(shù)據(jù),以及,在所述區(qū)域集中器中對(duì)所述中間數(shù)據(jù)進(jìn)行并行匯總處理,得到用電數(shù)據(jù);

      6、所述數(shù)據(jù)存儲(chǔ)層用于將所述原始數(shù)據(jù)存儲(chǔ)至分布式文件系統(tǒng)中,以及,將所述中間數(shù)據(jù)和所述用電數(shù)據(jù)存儲(chǔ)至nosql數(shù)據(jù)庫中;

      7、所述數(shù)據(jù)應(yīng)用層用于采用數(shù)據(jù)分析工具和機(jī)器學(xué)習(xí)語言對(duì)所述用電數(shù)據(jù)進(jìn)行數(shù)據(jù)分析。

      8、可選地,所述數(shù)據(jù)傳輸層用于采用多級(jí)傳輸架構(gòu)將所述原始數(shù)據(jù)依次傳輸至本地網(wǎng)關(guān)、區(qū)域集中器和中央數(shù)據(jù)中心的過程,包括:

      9、所述數(shù)據(jù)傳輸層采用短距離傳輸方式和mqtt傳輸協(xié)議將所述原始數(shù)據(jù)傳輸至本地網(wǎng)關(guān)中進(jìn)行初步處理,并采用中距離傳輸方式和所述mqtt傳輸協(xié)議將初步處理后的原始數(shù)據(jù)傳輸至區(qū)域集中器中進(jìn)行二次處理,以及,采用長距離傳輸方式和amqp傳輸協(xié)議將二次處理后的原始數(shù)據(jù)傳輸至中央數(shù)據(jù)中心中。

      10、可選地,所述數(shù)據(jù)處理層用于在所述本地網(wǎng)關(guān)中對(duì)所述原始數(shù)據(jù)進(jìn)行預(yù)處理,得到中間數(shù)據(jù)的過程,包括:

      11、所述數(shù)據(jù)處理層在所述本地網(wǎng)關(guān)中采用數(shù)據(jù)過濾算法對(duì)所述原始數(shù)據(jù)進(jìn)行過濾處理,并采用數(shù)據(jù)聚合算法和數(shù)據(jù)壓縮算法對(duì)過濾后的原始數(shù)據(jù)進(jìn)行聚合壓縮處理,得到中間數(shù)據(jù)。

      12、可選地,所述數(shù)據(jù)處理層用于在所述區(qū)域集中器中對(duì)所述中間數(shù)據(jù)進(jìn)行并行匯總處理,得到用電數(shù)據(jù),包括:

      13、所述數(shù)據(jù)處理層在所述區(qū)域集中器中,確定所述中間數(shù)據(jù)的處理任務(wù),以及,采用mapreduce編程模型基于所述處理任務(wù)將所述中間數(shù)據(jù)分割為多個(gè)數(shù)據(jù)塊,并對(duì)各個(gè)數(shù)據(jù)塊進(jìn)行并行處理,生成用電數(shù)據(jù)。

      14、可選地,所述數(shù)據(jù)處理層對(duì)各個(gè)數(shù)據(jù)塊進(jìn)行并行處理,生成用電數(shù)據(jù)的過程,包括:

      15、所述數(shù)據(jù)處理層采用map函數(shù)對(duì)各個(gè)數(shù)據(jù)塊并行處理,生成每一數(shù)據(jù)塊的中間鍵值對(duì),并采用reduce函數(shù)將中間鍵相同的數(shù)據(jù)塊進(jìn)行聚合處理,生成用電數(shù)據(jù)。

      16、可選地,所述數(shù)據(jù)處理層采用map函數(shù)對(duì)各個(gè)數(shù)據(jù)塊并行處理,生成每一數(shù)據(jù)塊的中間鍵值對(duì)的過程,包括:

      17、所述數(shù)據(jù)處理層在提取每一數(shù)據(jù)塊中的屬性id和用電量后,針對(duì)每一數(shù)據(jù)塊,采用map函數(shù)將該數(shù)據(jù)塊的屬性id轉(zhuǎn)換為數(shù)據(jù)鍵,以及將該數(shù)據(jù)塊的用電量轉(zhuǎn)換為數(shù)據(jù)值,并根據(jù)所述數(shù)據(jù)鍵和所述數(shù)據(jù)值生成該數(shù)據(jù)塊對(duì)應(yīng)的中間鍵值對(duì)。

      18、可選地,所述數(shù)據(jù)處理層采用reduce函數(shù)將中間鍵相同的數(shù)據(jù)塊進(jìn)行聚合處理,生成用電數(shù)據(jù)的過程,包括:

      19、所述數(shù)據(jù)處理層確定每一中間鍵值對(duì)中的數(shù)據(jù)鍵,并將數(shù)據(jù)鍵的中間鍵值對(duì)添加至同一數(shù)據(jù)集合中,形成多個(gè)數(shù)據(jù)集合;

      20、針對(duì)每一數(shù)據(jù)集合,所述數(shù)據(jù)處理層采用reduce函數(shù)將該數(shù)據(jù)集合內(nèi)各個(gè)中間鍵值對(duì)中的數(shù)據(jù)值進(jìn)行聚合,生成該數(shù)據(jù)集合對(duì)應(yīng)的用電數(shù)據(jù)。

      21、可選地,所述數(shù)據(jù)存儲(chǔ)層還包括:

      22、所述數(shù)據(jù)存儲(chǔ)層定期對(duì)所述分布式文件系統(tǒng)和所述nosql數(shù)據(jù)庫進(jìn)行數(shù)據(jù)備份和恢復(fù)測試,以及,通過監(jiān)控和管理工具對(duì)所述分布式文件系統(tǒng)和所述nosql數(shù)據(jù)庫進(jìn)行實(shí)時(shí)監(jiān)控和管理。

      23、可選地,所述數(shù)據(jù)應(yīng)用層用于采用數(shù)據(jù)分析工具和機(jī)器學(xué)習(xí)語言對(duì)所述用電數(shù)據(jù)進(jìn)行數(shù)據(jù)分析的過程,包括:

      24、所述數(shù)據(jù)應(yīng)用層采用hive對(duì)所述nosql數(shù)據(jù)庫中的用電數(shù)據(jù)進(jìn)行查詢,并生成用電統(tǒng)計(jì)報(bào)告,以及采用pig對(duì)所述用電數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換,以利用mahout學(xué)習(xí)庫和sparkmllib學(xué)習(xí)庫對(duì)轉(zhuǎn)換后的用電數(shù)據(jù)進(jìn)行異常分析和用電預(yù)測。

      25、可選地,所述數(shù)據(jù)應(yīng)用層還包括:

      26、所述數(shù)據(jù)應(yīng)用層采用數(shù)據(jù)可視化工具對(duì)所述用電數(shù)據(jù)的分析結(jié)果進(jìn)行可視化。

      27、從以上技術(shù)方案可以看出,本申請(qǐng)實(shí)施例具有以下優(yōu)點(diǎn):

      28、本申請(qǐng)?zhí)峁┑囊环N智能電表數(shù)據(jù)采集系統(tǒng),包括數(shù)據(jù)采集層、數(shù)據(jù)傳輸層、數(shù)據(jù)處理層、數(shù)據(jù)存儲(chǔ)層和數(shù)據(jù)應(yīng)用層。其中,數(shù)據(jù)采集層可以從智能電表讀取用戶的原始數(shù)據(jù),然后數(shù)據(jù)傳輸層可以采用多級(jí)傳輸架構(gòu)將所述原始數(shù)據(jù)依次傳輸至本地網(wǎng)關(guān)、區(qū)域集中器和中央數(shù)據(jù)中心,以此來提高數(shù)據(jù)傳輸?shù)膶?shí)時(shí)性和可靠性;在傳輸?shù)倪^程中,采用hadoopmapreduce框架構(gòu)建得到的數(shù)據(jù)處理層可以在本地網(wǎng)關(guān)中對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理,得到中間數(shù)據(jù),以及,在區(qū)域集中器中對(duì)中間數(shù)據(jù)進(jìn)行并行匯總處理,得到用電數(shù)據(jù),從而通過mapreduce的分布式并行處理,能夠進(jìn)一步提高數(shù)據(jù)的處理效率和能力;最后,數(shù)據(jù)存儲(chǔ)層可以將原始數(shù)據(jù)存儲(chǔ)至分布式文件系統(tǒng)中,以及,將中間數(shù)據(jù)和用電數(shù)據(jù)存儲(chǔ)至nosql數(shù)據(jù)庫中,這里在分布式文件系統(tǒng)的高擴(kuò)展性、容錯(cuò)性的基礎(chǔ)下結(jié)合nosql數(shù)據(jù)庫使用,可以提高數(shù)據(jù)的快速讀寫操作,因此數(shù)據(jù)應(yīng)用層可以實(shí)時(shí)從nosql數(shù)據(jù)庫中獲取用電數(shù)據(jù)進(jìn)行數(shù)據(jù)分析,確保系統(tǒng)的快速響應(yīng)能力。基于此,本申請(qǐng)利用各個(gè)數(shù)據(jù)層的相互協(xié)作和共同作用,可以提高數(shù)據(jù)采集過程中數(shù)據(jù)傳輸效率和質(zhì)量,進(jìn)而提高整個(gè)系統(tǒng)的實(shí)時(shí)性、可靠性和擴(kuò)展性。



      技術(shù)特征:

      1.一種智能電表數(shù)據(jù)采集系統(tǒng),其特征在于,所述系統(tǒng)包括數(shù)據(jù)采集層、數(shù)據(jù)傳輸層、數(shù)據(jù)處理層、數(shù)據(jù)存儲(chǔ)層和數(shù)據(jù)應(yīng)用層;

      2.根據(jù)權(quán)利要求1所述的智能電表數(shù)據(jù)采集系統(tǒng),其特征在于,所述數(shù)據(jù)傳輸層用于采用多級(jí)傳輸架構(gòu)將所述原始數(shù)據(jù)依次傳輸至本地網(wǎng)關(guān)、區(qū)域集中器和中央數(shù)據(jù)中心的過程,包括:

      3.根據(jù)權(quán)利要求1所述的智能電表數(shù)據(jù)采集系統(tǒng),其特征在于,所述數(shù)據(jù)處理層用于在所述本地網(wǎng)關(guān)中對(duì)所述原始數(shù)據(jù)進(jìn)行預(yù)處理,得到中間數(shù)據(jù)的過程,包括:

      4.根據(jù)權(quán)利要求1所述的智能電表數(shù)據(jù)采集系統(tǒng),其特征在于,所述數(shù)據(jù)處理層用于在所述區(qū)域集中器中對(duì)所述中間數(shù)據(jù)進(jìn)行并行匯總處理,得到用電數(shù)據(jù)的過程,包括:

      5.根據(jù)權(quán)利要求4所述的智能電表數(shù)據(jù)采集系統(tǒng),其特征在于,所述數(shù)據(jù)處理層對(duì)各個(gè)數(shù)據(jù)塊進(jìn)行并行處理,生成用電數(shù)據(jù)的過程,包括:

      6.根據(jù)權(quán)利要求5所述的智能電表數(shù)據(jù)采集系統(tǒng),其特征在于,所述數(shù)據(jù)處理層采用map函數(shù)對(duì)各個(gè)數(shù)據(jù)塊并行處理,生成每一數(shù)據(jù)塊的中間鍵值對(duì)的過程,包括:

      7.根據(jù)權(quán)利要求5所述的智能電表數(shù)據(jù)采集系統(tǒng),其特征在于,所述數(shù)據(jù)處理層采用reduce函數(shù)將中間鍵相同的數(shù)據(jù)塊進(jìn)行聚合處理,生成用電數(shù)據(jù)的過程,包括:

      8.根據(jù)權(quán)利要求1所述的智能電表數(shù)據(jù)采集系統(tǒng),其特征在于,所述數(shù)據(jù)存儲(chǔ)層還包括:

      9.根據(jù)權(quán)利要求1所述的智能電表數(shù)據(jù)采集系統(tǒng),其特征在于,所述數(shù)據(jù)應(yīng)用層用于采用數(shù)據(jù)分析工具和機(jī)器學(xué)習(xí)語言對(duì)所述用電數(shù)據(jù)進(jìn)行數(shù)據(jù)分析的過程,包括:

      10.根據(jù)權(quán)利要求1或9所述的智能電表數(shù)據(jù)采集系統(tǒng),其特征在于,所述數(shù)據(jù)應(yīng)用層還包括:


      技術(shù)總結(jié)
      本申請(qǐng)?zhí)峁┑囊环N智能電表數(shù)據(jù)采集系統(tǒng),該系統(tǒng)包括五個(gè)數(shù)據(jù)層。其中,數(shù)據(jù)采集層從智能電表讀取原始數(shù)據(jù),并利用數(shù)據(jù)傳輸層的多級(jí)傳輸架構(gòu)進(jìn)行數(shù)據(jù)傳輸,提高數(shù)據(jù)傳輸?shù)膶?shí)時(shí)性;傳輸過程中,數(shù)據(jù)處理層采用MapReduce在本地網(wǎng)關(guān)中將原始數(shù)據(jù)預(yù)處理為中間數(shù)據(jù),以及在區(qū)域集中器中將中間數(shù)據(jù)行匯總處理為用電數(shù)據(jù),以提高數(shù)據(jù)的處理效率,同時(shí)數(shù)據(jù)存儲(chǔ)層將得到的數(shù)據(jù)存儲(chǔ)至分布式文件系統(tǒng)和NoSQL數(shù)據(jù)庫中,以提高數(shù)據(jù)的快速讀寫操作,因此數(shù)據(jù)應(yīng)用層可以實(shí)時(shí)獲取用電數(shù)據(jù)進(jìn)行數(shù)據(jù)分析,確保系統(tǒng)的快速響應(yīng)能力?;诖?,本申請(qǐng)通過各個(gè)數(shù)據(jù)層的相互協(xié)作來提高數(shù)據(jù)采集過程中數(shù)據(jù)傳輸效率和質(zhì)量,進(jìn)而提高整個(gè)系統(tǒng)的實(shí)時(shí)性和可靠性。

      技術(shù)研發(fā)人員:韓翰,陳錦華,劉秦銘,冼擎一,毛正中,王興南,劉付竣,孫沛瑤,朱彥璇,甘鵬程
      受保護(hù)的技術(shù)使用者:廣東電網(wǎng)有限責(zé)任公司廣州供電局
      技術(shù)研發(fā)日:
      技術(shù)公布日:2024/12/10
      網(wǎng)友詢問留言 已有0條留言
      • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
      1