一種電力信息大數(shù)據(jù)的采集和存儲方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于電力信息大數(shù)據(jù)采集存儲領(lǐng)域。涉及一種電力信息大數(shù)據(jù)采集存儲方 法，解決電力信息大數(shù)據(jù)采集和存儲過程的問題。
【背景技術(shù)】
[0002] 信息技術(shù)的飛速發(fā)展以及廣泛應(yīng)用，使得電力生產(chǎn)企業(yè)、交易部門及用戶使用物 聯(lián)網(wǎng)和互聯(lián)網(wǎng)積累了大量的數(shù)據(jù)。隨著數(shù)據(jù)庫應(yīng)用的規(guī)模、范圍不斷地擴大，電力管理部門 及相關(guān)企業(yè)利用計算機管理事務(wù)能力的增強，產(chǎn)生了龐大的大規(guī)模數(shù)據(jù)集，將如此龐大的 數(shù)據(jù)集采集并存儲到服務(wù)器上是非常復(fù)雜的。原本很多數(shù)據(jù)采集算法在數(shù)據(jù)集規(guī)模較小時 尚能取得不錯的采集效果，但是針對大規(guī)模數(shù)據(jù)集，計算量太大以至于不能在可接受的時 間內(nèi)獲得很好的結(jié)果。
[0003] 電力系統(tǒng)是指由發(fā)電、輸電、變電、配電和用電等環(huán)節(jié)共同組成的電能生產(chǎn)與消費 系統(tǒng)。為實現(xiàn)電能的生產(chǎn)和供銷，同時保證電網(wǎng)安全穩(wěn)定運行，電力系統(tǒng)在各個環(huán)節(jié)和不 同層次分別配置了相應(yīng)的信息與控制系統(tǒng)，這些系統(tǒng)由各種采集傳感器、監(jiān)測設(shè)備、通信設(shè) 備、安全保護裝置、自動控制裝置以及監(jiān)控自動化、調(diào)度自動化系統(tǒng)組成，并采集、傳輸和存 儲海量數(shù)據(jù)。電力大數(shù)據(jù)是以業(yè)務(wù)趨勢預(yù)測、數(shù)據(jù)價值挖掘為目標(biāo)，利用數(shù)據(jù)集成管理、數(shù) 據(jù)存儲、數(shù)據(jù)計算、分析挖掘等方面核心關(guān)鍵技術(shù)，實現(xiàn)面向典型業(yè)務(wù)場景的模式創(chuàng)新及應(yīng) 用提升。電力大數(shù)據(jù)涉及到發(fā)電、輸電、變電、配電、用電、調(diào)度各環(huán)節(jié)，是跨單位、跨專業(yè)、跨 業(yè)務(wù)的數(shù)據(jù)分析與挖掘，以及數(shù)據(jù)可視化。電力大數(shù)據(jù)通過信息化服務(wù)平臺，驅(qū)動電力價值 鏈的改變，從傳統(tǒng)的以電力生產(chǎn)為核心，最終落到以人為中心的根本任務(wù)上，而讓數(shù)據(jù)創(chuàng)造 價值的理念，可以推動電力從傳統(tǒng)的高耗能、高排放、低效率的粗放式發(fā)展，轉(zhuǎn)向新型的低 能耗、低排放、高效率的可持續(xù)發(fā)展。
[0004] 電力大數(shù)據(jù)超過了傳統(tǒng)技術(shù)數(shù)據(jù)處理技術(shù)能力，為了獲得數(shù)據(jù)中的價值，必須建 立新支撐體系以進行電力大數(shù)據(jù)的管理和應(yīng)用，這需要大規(guī)模并行處理的數(shù)據(jù)管理及處理 能力。云計算技術(shù)能夠通過網(wǎng)絡(luò)將分散的信息資源，包括計算、存儲、軟件等，集中起來形成 共享的資源池，并以動態(tài)按需和可度量的方式向用戶提供服務(wù)，實現(xiàn)大規(guī)模計算的信息處 理方式。云計算為大數(shù)據(jù)處理提供豐富的計算和存儲資源，動態(tài)按需地分配調(diào)整，為電力大 數(shù)據(jù)建設(shè)與應(yīng)用提供IT資源。電力大數(shù)據(jù)的技術(shù)研宄以云計算為基礎(chǔ)，建立具有電力行業(yè) 特點的電力云計算數(shù)據(jù)中心，研宄適合電力大數(shù)據(jù)的價值規(guī)律、應(yīng)用場景的大數(shù)據(jù)系統(tǒng)框 架、數(shù)據(jù)分析方法是電力大數(shù)據(jù)的發(fā)展方向。電力大數(shù)據(jù)的內(nèi)在價值規(guī)律體現(xiàn)在更大范圍 內(nèi)的最大限度共享和創(chuàng)造新的價值。電力大數(shù)據(jù)的應(yīng)用價值根本體現(xiàn)在其共享及價值外 延，總的來說：電力大數(shù)據(jù)價值=數(shù)據(jù)原始應(yīng)用價值+數(shù)據(jù)共享應(yīng)用衍射價值。
[0005] 目前具有電力大數(shù)據(jù)特征的典型業(yè)務(wù)如用電信息采集系統(tǒng)，電力用戶基數(shù)大，每 天產(chǎn)生的數(shù)據(jù)量龐大，導(dǎo)致業(yè)務(wù)系統(tǒng)在統(tǒng)計分析業(yè)務(wù)上出現(xiàn)了響應(yīng)緩慢，用戶等待時間較 長的問題，基于電力大數(shù)據(jù)的交易系統(tǒng)產(chǎn)生的海量信息，使用傳統(tǒng)的數(shù)據(jù)庫已經(jīng)無法完成 數(shù)據(jù)的擴展和分析功能。為了更好地了解行業(yè)動態(tài)，如何有效地解決海量的網(wǎng)絡(luò)媒體數(shù)據(jù) 的采集，存儲，數(shù)據(jù)量的激增導(dǎo)致數(shù)據(jù)檢索操作速度緩慢。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的，就是要解決基于電力大數(shù)據(jù)的采集、存儲以及分析，提高效率。
[0007] 本發(fā)明的技術(shù)方案如下：
[0008] 本發(fā)明對于電力相關(guān)的數(shù)據(jù)，主要電力結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)兩種情況。目 前電力市場統(tǒng)一交易平臺上的數(shù)據(jù)屬于結(jié)構(gòu)化數(shù)據(jù)，底層的DB數(shù)據(jù)庫一般為0racle、DB2、 SQLServer、MySQL等，通過SqoopAPI工具自定義數(shù)據(jù)表中的字段和屬性，把結(jié)構(gòu)化的數(shù) 據(jù)表抽取到基于Hadoop架構(gòu)的分布式數(shù)據(jù)倉庫Hive中，底層為分布式文件系統(tǒng)HDFS，支 持?jǐn)?shù)據(jù)表的億條級別記錄存儲擴展，基于HQL查詢語言，支持部分SQL查詢語言；電力非結(jié) 構(gòu)化的數(shù)據(jù)一般為互聯(lián)網(wǎng)的客戶端，Web、App、電力傳感器等采集的網(wǎng)頁信息，包括文本、圖 片、音頻、視頻、JSP動態(tài)數(shù)據(jù)等，通過Nutch工具定義正則表達(dá)式，把電力市場交易相關(guān)的 經(jīng)濟指標(biāo)、環(huán)境氣象、社會統(tǒng)計、電力政策等方面的網(wǎng)頁爬取到本地服務(wù)器，從網(wǎng)絡(luò)客戶端 爬取的信息數(shù)據(jù)一般為數(shù)值、符號、文本等形式，都以文檔的形式存儲到基于Hadoop架構(gòu) 的分布式數(shù)據(jù)庫HBase中。
[0009] 一、電力大數(shù)據(jù)分類
[0010] 1?業(yè)務(wù)層面，電力大數(shù)據(jù)大致分為三類：一是電力企業(yè)管理數(shù)據(jù)，如協(xié)同辦公、財 務(wù)、物資等數(shù)據(jù)；二是電網(wǎng)運行和設(shè)備檢測、監(jiān)測數(shù)據(jù)，如電網(wǎng)及設(shè)備運行狀態(tài)數(shù)據(jù)；三是 電力企業(yè)運營數(shù)據(jù)，如電力交易、用電客戶、電費、電量等方面的數(shù)據(jù)。
[0011] 2.時間層面，電網(wǎng)大數(shù)據(jù)大致分為二類：一是實時/準(zhǔn)實時數(shù)據(jù)，主要是調(diào)度自動 化系統(tǒng)、電網(wǎng)廣域監(jiān)測系統(tǒng)、用電采集、雷電監(jiān)測數(shù)據(jù)、故障錄波數(shù)據(jù)、微機保護、狀態(tài)監(jiān)測 等與智能電網(wǎng)運行直接相關(guān)的數(shù)據(jù)，這類應(yīng)用的特點是實時性較強，有些每秒都有數(shù)據(jù)傳 輸，可靠性要求較高，與計費相關(guān)的數(shù)據(jù)對安全性有特殊要求，體現(xiàn)了電網(wǎng)系統(tǒng)的特點。二 是非實時數(shù)據(jù)，主要指ERP、一體化平臺、協(xié)同辦公等企業(yè)經(jīng)營管理方面的數(shù)據(jù)，這類應(yīng)用的 特點是沒有實時要求，但有的傳輸量較大，具有隨機性和突發(fā)性。
[0012] 3.數(shù)據(jù)存儲結(jié)構(gòu)，電網(wǎng)大數(shù)據(jù)大致分為三類：一是結(jié)構(gòu)化數(shù)據(jù)，可以用二維表結(jié) 構(gòu)來邏輯表達(dá)實現(xiàn)的數(shù)據(jù)，主要存儲在關(guān)系數(shù)據(jù)庫中，目前電網(wǎng)企業(yè)系統(tǒng)中的大部分?jǐn)?shù)據(jù) 是這種形式；二是半結(jié)構(gòu)化數(shù)據(jù)，具有一定結(jié)構(gòu)，但語義不夠確定，典型的如HTML網(wǎng)頁、郵 件、檔案等；三是非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)，雜亂無章，很難按照一個概念去進行抽取，無規(guī)律性。 主要包括視頻監(jiān)控、圖形圖像處理等產(chǎn)生的數(shù)據(jù)，今后非結(jié)構(gòu)化數(shù)據(jù)在智能電網(wǎng)數(shù)據(jù)中的 比重將越來越大。非結(jié)構(gòu)化數(shù)據(jù)不方便用數(shù)據(jù)庫二維邏輯表來存儲和展示的數(shù)據(jù)。
[0013] 二、大數(shù)據(jù)采集處理
[0014] 數(shù)據(jù)采集主要應(yīng)用多源異構(gòu)數(shù)據(jù)采集技術(shù)。針對電力結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù) 兩種情況，目前電力市場統(tǒng)一交易平臺上的數(shù)據(jù)屬于結(jié)構(gòu)化數(shù)據(jù)，底層的DB數(shù)據(jù)庫一般為 Oracle、DB2、SQLServer、MySQL等，通過SqoopAPI工具自定義數(shù)據(jù)表中的字段和屬性， 把結(jié)構(gòu)化的數(shù)據(jù)表抽取到基于Hadoop架構(gòu)的分布式數(shù)據(jù)倉庫Hive中，底層為分布式文件 系統(tǒng)HDFS，支持?jǐn)?shù)據(jù)表的億條級別（Billion)記錄存儲擴展，基于HQL查詢語言，支持部分 SQL查詢語言；非結(jié)構(gòu)化的數(shù)據(jù)一般為互聯(lián)網(wǎng)的客戶端（Web、App、電力傳感器等）采集的網(wǎng) 頁信息，包括文本、圖片、音頻、視頻、JSP動態(tài)數(shù)據(jù)等，通過Nutch工具定義正則表達(dá)式，把 電力市場交易相關(guān)的經(jīng)濟指標(biāo)、環(huán)境氣象、社會統(tǒng)計、電力政策等方面的網(wǎng)頁爬取到本地服 務(wù)器，從網(wǎng)絡(luò)客戶端爬取的信息數(shù)據(jù)一般為數(shù)值、符號、文本等形式，都以文檔的形式存儲 到基于Hadoop架構(gòu)的分布式數(shù)據(jù)庫HBase中。
[0015] 三、數(shù)據(jù)存儲管理
[0016] 電力交易的結(jié)構(gòu)化和非結(jié)構(gòu)化的大數(shù)據(jù)經(jīng)過抽取后，都以文件形式存儲在分布式 文件系統(tǒng)HDFS中。其中，結(jié)構(gòu)化的大數(shù)據(jù)存儲在分布式數(shù)據(jù)倉庫Hive中，從網(wǎng)絡(luò)客戶端得 到的非結(jié)構(gòu)化數(shù)據(jù)存儲在分布式數(shù)據(jù)庫HBase中，以列族為組織形式，一個列族里的所有 列成員都將最終存儲在同一個HDFS文件中，而不同的列族有著各自對應(yīng)的HDFS文件。存 儲在HDFS上的文檔支持超大文件，它通常為數(shù)百GB、甚至數(shù)百TB大小的文件。雖然采集 端本身有很多數(shù)據(jù)庫，但是如果要對這些海量數(shù)據(jù)進行有效的分析，還是應(yīng)該將這些來自 前端的數(shù)據(jù)導(dǎo)入到一個集中的大型分布式數(shù)據(jù)庫，或者分布式存儲集群，并且可以在導(dǎo)入 基礎(chǔ)上做一些簡單的清洗和預(yù)處理工作。也可以在導(dǎo)入時使用來自Twitter的Storm來對 數(shù)據(jù)進行流式計算，來滿足部分業(yè)務(wù)的實時計算需求。導(dǎo)入與預(yù)處理過程的特點和挑戰(zhàn)主 要是導(dǎo)入的數(shù)據(jù)量大，每秒鐘的導(dǎo)入量經(jīng)常會達(dá)到百兆，甚至千兆級別，對于結(jié)構(gòu)化的數(shù)據(jù) 來說，以行存儲的方式存儲在數(shù)據(jù)庫表中，而對于非結(jié)構(gòu)的數(shù)據(jù)，則以列存儲的方式存儲數(shù) 據(jù)，在數(shù)據(jù)預(yù)處理過程需要統(tǒng)一數(shù)據(jù)存儲方式，以分布式數(shù)據(jù)庫作為存儲的技術(shù)基礎(chǔ)，完全 能夠勝任統(tǒng)一電力市場交易的數(shù)據(jù)存儲，為下一步數(shù)據(jù)分析提供數(shù)據(jù)基礎(chǔ)。
[0017]HDFS是一個高容錯性的分布式文件系統(tǒng)，適合部署在廉價的機器上，能夠提供高 吞吐量的數(shù)據(jù)訪問，適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。電力市場大量的非結(jié)構(gòu)化數(shù)據(jù)可以存儲 在分布式文件