本發(fā)明涉及基于Hadoop的變電站主設備在線監(jiān)測系統(tǒng)構架方法，屬于電工技術領域。

背景技術：

進入21世紀以來，信息化席卷全球，迎來了數據大爆炸的時代，從商業(yè)公司的運營到個人的日常生活消費再到互聯(lián)網的數字文檔、視頻音樂等內容的大量生產，整個社會的不同類型的海量數據以大爆炸的方式噴發(fā)出來。目前，對于大數據還沒有具體明確的定義，主要體現(xiàn)為體量規(guī)模巨大、類型復雜繁多。與傳統(tǒng)的數據相比，大數據的特點可以歸納為規(guī)模性（Volume）、多樣性（Variety）、高速性（Velocity）和低價值密度性（value），由于這些特點，大數據的采集、存儲、管理和運算方式也與傳統(tǒng)數據有很大不同，而其價值就在于從海量看似無關的數據中挖掘出有用的信息。一些領先的對大數據探索的公司如谷歌、微軟、亞馬遜等已經在大數據系統(tǒng)的基本構架、分布式文件存儲和分布式數據處理等關鍵領域給出了很好的解決方案。

目前國網系統(tǒng)中有成千上萬臺在線監(jiān)測裝置，隨著國民經濟的發(fā)展電網規(guī)模不斷擴大以及在線檢測技術的飛速發(fā)展，電力設備的在線監(jiān)測數據呈幾何性增長。在線監(jiān)測本身又具有實時性，在電力設備運行的每時每刻都在不斷產生體量巨大、類型各異的海量在線監(jiān)測數據。因此，智能變電站在線監(jiān)測數據具有規(guī)模大、增長快、實時性、類型復雜多樣、地域分布廣等特點，這給在線監(jiān)測數據的處理帶來了巨大的挑戰(zhàn)，表現(xiàn)為以下幾點：

（1）在線監(jiān)測數據基本為正常數據。由于一次設備制造技術水平的不斷提高，同時目前變電站設備的管理和維護自動化技術的普及，使得電氣設備的故障率維持在極低的水平。而且像斷路器這類開關設備動作不是十分頻繁，因而在線監(jiān)測的分合閘電流、儲能電機電流、三相動觸頭位移等動作時信號采集周期較長，采集的大部分非動作時間區(qū)間內的數據價值較低。因此在線監(jiān)測的數據中異常時數據比例很低，需要對異常數據進行辨識和挖掘才能實現(xiàn)故障診斷和狀態(tài)檢修。

（2）電氣設備監(jiān)測參數和實際狀態(tài)關系模糊、內涵機理復雜，一些無法用函數進行精確表達。目前人工神經網絡（ Artificial Neural Networks，ANN ）、支持向量機（ Support Vector Machine，SVM ）、粗糙集與模糊理論等智能算法被廣泛的應用于電氣設備是故障診斷，這些算法對于處理模糊和不確定性參數關系，發(fā)現(xiàn)其隱含的潛在規(guī)律較為適合，而大數據處理算法更關注于數據間的相關關系卻不注重因果關系，所以基于大數據思想的相關算法能夠有效處理電氣設備的在線監(jiān)測數據。

（3）在線監(jiān)測數據采集的數據量大，一般是以數據流的形式上傳，需要能夠快速地對數據流進行處理。在線監(jiān)測數據為實時采集且數據量大，對于上傳的數據需要進行及時地故障診斷，因而必須利用大數據的技術手段實現(xiàn)數據流內數據的快速準確地分析處理。

綜上所述，本發(fā)明將在互聯(lián)網、金融、物流等領域較為火熱的大數據技術引入到智能變電站電氣設備在線監(jiān)測的數據處理中。利用大數據的數據處理存儲、管理和處理技術，并結合Hadoop 云計算實現(xiàn)快速、高效、準確、低成本的實現(xiàn)在線監(jiān)測數據處理。

技術實現(xiàn)要素：

目的：為了克服現(xiàn)有技術中存在的不足，本發(fā)明提供基于Hadoop的變電站主設備在線監(jiān)測系統(tǒng)構架方法。

技術方案：為解決上述技術問題，本發(fā)明采用的技術方案為：

一種基于Hadoop的變電站主設備在線監(jiān)測系統(tǒng)，包括：以變電站主設備在線監(jiān)測裝置構成的數據采集層，以關系數據庫MySQL，Hadoop構架中的分布式文件系統(tǒng)HDFS及其所包括的分布式數據庫HBase構成的數據存儲層，采用MapReduce軟件框架構成的數據應用服務層，以及對電氣設備狀態(tài)參數的全景展示的數據可視化層。

一種基于Hadoop的變電站主設備在線監(jiān)測系統(tǒng)構架方法，包括如下步驟：

步驟一：將變電站主設備在線監(jiān)測裝置構成數據采集層；

步驟二：通過數據采集層采集不同一次設備的數據；所述數據性質分為：動態(tài)時序數據、靜態(tài)數據、視頻數據；所述動態(tài)時序數據包括：機械信號、電信號，所述靜態(tài)數據包括：用戶數據、桿塔數據。

步驟三：以關系數據庫MySQL，Hadoop構架中的分布式文件系統(tǒng)HDFS及其所包括的分布式數據庫HBase構成數據存儲層；將靜態(tài)數據存儲在MySQL中；視頻信息存儲在HDFS中，動態(tài)時序數據存儲在HDFS文件系統(tǒng)上的HBase中；

步驟四：采用MapReduce軟件框架構成數據應用服務層，完成對變電站在線監(jiān)測狀態(tài)信息的并行處理，根據用戶的需求存儲或查詢數據；

步驟五：設計客戶端訪問界面，作為數據可視化層，對狀態(tài)信息全景展示。

進一步，所述一次設備包括：變壓器、斷路器、GIS開關設備、電容型設備、避雷器。

進一步，HBase將動態(tài)時序數據作為對象來處理，形成一個分布式多維數據表，將動態(tài)時序數據一律看成字符串，處理變電站中類型不同的多元數據；HBase表的結構由行健、時間戳、列簇組成；行健為表的主題，表中的記錄按照行健排序，時間戳表示每次數據操作對應的時間，列簇可以由任意多個列組成，并且支持動態(tài)擴展。

進一步，所述存儲在HDFS中的動態(tài)時序數據和視頻數據按照MapReduce的程序框架進行查詢。

進一步，還包括步驟六，所述步驟六：使用虛擬化工具，在不同的操作系統(tǒng)上虛擬Linux操作系統(tǒng)，Hadoop平臺搭建在Linux虛擬上，實現(xiàn)異構操作系統(tǒng)的屏蔽。

有益效果：本發(fā)明將分布式計算框架Hadoop應用到變電站的數據存儲與處理上，在數據存儲上簡化了數據管理工作，降低了數據維護成本，提高了數據庫容錯能力；在數據處理上利用大數據處理并行計算的優(yōu)勢使得在數據量大、數據維度高時處理時間大幅度下降，而且大數據算法注重相關關系而非因果關系的思維方式對于辨識一些故障機理復雜、參數所對應狀態(tài)模糊的電氣設備在線監(jiān)測數據具有很強的適用性。

附圖說明

圖1 基于Hadoop的變電站主設備在線監(jiān)測系統(tǒng)

圖2 HDFS數據文件上傳流程圖

圖3 HDFS數據文件查詢流程圖

圖4 HBase數據上傳流程圖。

具體實施方式

下面結合附圖對本發(fā)明的優(yōu)選實施例進行詳細闡述，從而使得本發(fā)明的優(yōu)點和特征能更易于被本領域的技術人員理解，從而對本發(fā)明的適用范圍做出更明確的界定。

如圖1所示為一種基于Hadoop的變電站主設備在線監(jiān)測大數據平臺構架示意圖，包括以變電站主設備在線監(jiān)測系統(tǒng)構成的數據采集層，以關系數據庫MySQL，Hadoop構架中的分布式文件系統(tǒng)HDFS及其所包括的分布式數據庫HBase構成的數據存儲層，采用MapReduce軟件框架構成的數據應用服務層，以及對電氣設備狀態(tài)參數的全景展示的數據可視化層。

智能變電站中電力設備狀態(tài)數據多樣，在本發(fā)明所提出的基于Hadoop的變電站主設備在線監(jiān)測系統(tǒng)及其構架方法中，重點需要處理三種數據：

動態(tài)時序數據：主要包括變壓器的振動信號，電容電流，介質損失角正切值，局部放電，油中氣體含量，過熱點溫度；斷路器的分、合閘線圈電流，儲能電機電流，三相位移，振動信號，泄漏電流；互感器的局部放電，勵磁電流；母線的局部放電；GIS的局部放電；電容器的泄漏電流；絕緣支柱的污穢泄漏電流；金屬氧化物避雷器MOA的電容電流，泄漏電流，等等。這類數據的采樣頻率為幾百KHz，甚至高至幾MHz，因此該類數據量的增長十分明顯，隨著時間增長，所需存儲空間越來越大，并逐漸超越傳統(tǒng)數據庫處理能力；同樣在該類數據查詢中，待處理數據量也是龐大的。

靜態(tài)數據：包括用戶數據、桿塔數據、采集設備數據、線路數據、絕緣子數據等。其特點是占用空間少，但需要不斷查詢。

視頻數據：視頻數據的圖像分辨率十分重要，分辨率越高，細節(jié)越明顯，監(jiān)控的準確度也就越高。這就導致了數據量的劇增，G級別的數據成為常態(tài)?，F(xiàn)代智能變電站中的視頻數據，包括定點監(jiān)控視頻數據和巡查監(jiān)控視頻數據（如無人機監(jiān)控）等。

根據這三類數據的特點，采用不同的存儲空間或數據庫進行處理。

對于動態(tài)時序數據，數據文件直接存儲在HDFS文件系統(tǒng)中，動態(tài)時序數據則采用HDFS文件系統(tǒng)上的HBase數據庫存儲，通過使用HBase數據庫的API接口，結合MapReduce實現(xiàn)并行高效查詢。

對于直接存儲在HDFS中的數據文件，每條數據包括產生時間、數據編號、產生通道、設備節(jié)點物理地址、數據內容等，存儲到文件名為設備名和時間組合而成的文件里，形成數據文件，文件上傳流程如圖2所示。上傳時，設置緩存區(qū)，將數據首先放在緩存區(qū)內，當緩存區(qū)存儲一定數目的數據后，再存入本地文件。對于數據的查詢，在Hadoop提供的并行查詢方法中，使用Map和Reduce函數，根據待查詢關鍵詞進行查詢。為了提高效率，可以根據實際應用的情況，使文件命名中包括有時間段，當查找關鍵字是時間，先判定文件名時間段是否滿足關鍵字，不滿足則停止對該文件的查詢任務。數據文件的查詢流程如圖3所示。對于視頻數據，其上傳和查詢方式與上面類似，存儲時首先建立緩存區(qū)，查詢時根據關鍵字使用Map函數與Reduce函數查詢。

對于存儲在HBase數據庫中的數據，由于變電站在線監(jiān)測系統(tǒng)中，同一時間內會有多臺電力設備的采樣設備需要同步存儲，因此設計相應的傳感器Mac地址與通道號串聯(lián)構成行鍵，用于采樣數據檢索，HBase表中每行數據都帶有時間戳，表明了該數據的采集時間，可在插入數據時由數據庫自動生成。以變壓器的狀態(tài)監(jiān)測為例，設置相關傳感器的Mac地址和通道號為行健，列簇包括被監(jiān)測設備碼，監(jiān)測裝置標識，被監(jiān)測設備相別，監(jiān)測時間和采樣點數據等。數據上傳到HBase的流程如圖4所示。查詢HBase表時，只能通過對行健查詢，或者在存儲數據時，根據查詢的需要，設計復合行健，來滿足多條件查詢。

靜態(tài)數據，如簡單的用戶信息、設備信息等，使用MySQL數據庫進行存儲。設計客戶端訪問界面，列出系統(tǒng)集成的各應用，并集成服務器集群的端口，以便用戶能夠方便的查詢集群數據存儲情況和MapReduce程序運行情況。由此，構成了數據可視化層。

以上所述僅是本發(fā)明的優(yōu)選實施方式，應當指出：對于本技術領域的普通技術人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發(fā)明的保護范圍。