本發(fā)明涉及數(shù)據(jù)監(jiān)控技術領域，具體為一種大數(shù)據(jù)平臺的監(jiān)控系統(tǒng)。

背景技術：

隨著社會信息化的不斷提高以及互聯(lián)網(wǎng)技術的快速普及，需要處理的數(shù)據(jù)也越來越大，各個領域對海量數(shù)據(jù)的處理需求也越來越多。在單機器存儲空間和運算能力已經(jīng)不能滿足人們對海量數(shù)據(jù)處理的需求的背景下，分布式計算和并行計算開始快速發(fā)展和應用，并最終發(fā)展為網(wǎng)格運算。大規(guī)模分布式系統(tǒng)的監(jiān)控信息是海量的，監(jiān)控資源是多層次多來源的，大數(shù)據(jù)平臺的動態(tài)性、復雜性給大數(shù)據(jù)平臺的監(jiān)控系統(tǒng)帶來諸多困難，如何有效的監(jiān)控大數(shù)據(jù)平臺中的軟硬件資源，并及時的對資源的瓶頸進行預測分析，在出現(xiàn)故障前采取相應措施，是提高大數(shù)據(jù)平臺質量的關鍵。

監(jiān)控是大數(shù)據(jù)平臺的重要組成部分，現(xiàn)有的開源的大數(shù)據(jù)平臺中缺少統(tǒng)一的監(jiān)控功能，不能實時的展示大數(shù)據(jù)平臺中作業(yè)運行狀態(tài)和對作業(yè)的統(tǒng)計分析功能的匱乏，為此，我們發(fā)明了一種大數(shù)據(jù)平臺的監(jiān)控系統(tǒng)投入使用，以解決上述問題。

技術實現(xiàn)要素：

本發(fā)明的目的在于提供一種大數(shù)據(jù)平臺的監(jiān)控系統(tǒng)，以解決上述背景技術中提出的現(xiàn)有的開源大數(shù)據(jù)平臺中缺少統(tǒng)一的監(jiān)控功能的問題。

為實現(xiàn)上述目的，本發(fā)明提供如下技術方案：一種大數(shù)據(jù)平臺的監(jiān)控系統(tǒng)，包括模擬量數(shù)據(jù)源和狀態(tài)量數(shù)據(jù)源，所述模擬量數(shù)據(jù)源和狀態(tài)量數(shù)據(jù)源均電性輸出連接數(shù)據(jù)采集模塊，所述數(shù)據(jù)采集模塊電性輸出連接數(shù)據(jù)預處理單元，所述數(shù)據(jù)預處理單元電性輸出連接數(shù)據(jù)管理單元，所述數(shù)據(jù)管理單元電性輸出連接通信網(wǎng)絡單元，所述通信網(wǎng)絡單元電性輸出連接核心路由器，所述核心路由器電性輸出連接交換機，所述交換機電性輸出連接分布式CAN總線，所述分布式CAN總線分別電性雙向連接監(jiān)控顯示屏、監(jiān)控主機、調度工作站和管理工作站，所述數(shù)據(jù)管理單元分別電性雙向連接數(shù)據(jù)分布式存儲系統(tǒng)和運維管理單元。

優(yōu)選的，所述數(shù)據(jù)采集模塊包括信號輸入單元，所述信號輸入單元電性輸出連接數(shù)據(jù)處理模塊，所述數(shù)據(jù)處理模塊電性輸出連接A/D轉換模塊，所述A/D轉換模塊電性輸出連接數(shù)據(jù)輸出單元，所述數(shù)據(jù)處理模塊還電性輸出連接報警顯示模塊，所述數(shù)據(jù)處理模塊電性輸入連接循環(huán)檢測單元。

優(yōu)選的，所述模擬量數(shù)據(jù)源包括頻率、電壓、電流、有功功率、無功功率和溫度信息，所述狀態(tài)量數(shù)據(jù)源包括開關、事故總信號、保護信號和系統(tǒng)設備運行狀態(tài)信息。

優(yōu)選的，所述數(shù)據(jù)管理單元包括數(shù)據(jù)庫信息讀取單元，所述數(shù)據(jù)庫信息讀取單元電性輸出連接數(shù)據(jù)運行處理單元，所述數(shù)據(jù)運行處理單元電性輸出連接控制程序模塊，所述控制程序模塊電性輸出連接數(shù)據(jù)建模單元，所述數(shù)據(jù)建模單元電性輸出連接數(shù)據(jù)整合輸出模塊，所述控制程序模塊分別電性輸入連接數(shù)據(jù)庫維護單元和數(shù)據(jù)查詢輸入端口。

優(yōu)選的，所述控制程序模塊內部包括系統(tǒng)初啟動程序、安全性控制程序、完整性控制程序、事務管理控制程序、并發(fā)控制程序和運行日志管理控制程序。

優(yōu)選的，所述數(shù)據(jù)分布式存儲系統(tǒng)包括數(shù)據(jù)分布單元，所述數(shù)據(jù)分布單元電性輸出連接數(shù)據(jù)邏輯模型，所述數(shù)據(jù)邏輯模型電性輸出連接數(shù)據(jù)端口，所述數(shù)據(jù)分布單元電性輸入連接數(shù)據(jù)索引模塊，所述數(shù)據(jù)分布單元分別電性雙向連接實時數(shù)據(jù)庫和綜合數(shù)據(jù)庫。

優(yōu)選的，所述數(shù)據(jù)邏輯模型包括鍵值存儲、文檔存儲、列存儲和圖存儲，所述實時數(shù)據(jù)庫內部包括數(shù)據(jù)管理單元、內存數(shù)據(jù)庫和磁盤數(shù)據(jù)庫。

優(yōu)選的，所述運維管理單元內部包括服務運行監(jiān)控、服務狀態(tài)監(jiān)控和系統(tǒng)運行狀態(tài)監(jiān)控。

與現(xiàn)有技術相比，本發(fā)明的有益效果是：通過建立集成化的資源運行狀態(tài)監(jiān)控管理系統(tǒng)，實現(xiàn)大數(shù)據(jù)平臺運行狀態(tài)和信息化資源的統(tǒng)一化、可視化和可控化管理，相對于傳統(tǒng)串行式數(shù)據(jù)存儲，采用分布式存儲系統(tǒng)能夠適應大數(shù)據(jù)時代對數(shù)據(jù)庫高并發(fā)讀寫的需求，對海量數(shù)據(jù)的高效率存儲和訪問的需求和對數(shù)據(jù)庫的高可擴展性和高可用性需求，具有良好的橫向擴展能力、復制和分區(qū)能力，其接口簡單，模式自由，對大數(shù)據(jù)進行海量存儲，能夠實時的展示大數(shù)據(jù)平臺作業(yè)運行狀態(tài)和對作業(yè)的統(tǒng)計分析。

附圖說明

圖1為本發(fā)明系統(tǒng)框圖；

圖2為本發(fā)明數(shù)據(jù)采集模塊系統(tǒng)框圖；

圖3為本發(fā)明數(shù)據(jù)管理單元系統(tǒng)框圖；

圖4為本發(fā)明數(shù)據(jù)分布式存儲系統(tǒng)框圖；

圖5為本發(fā)明工作流程圖。

圖中：1模擬量數(shù)據(jù)源、2狀態(tài)量數(shù)據(jù)源、3數(shù)據(jù)采集模塊、31信號輸入單元、32數(shù)據(jù)處理模塊、33A/D轉換模塊、34數(shù)據(jù)輸出單元、35循環(huán)檢測單元、36報警顯示模塊、4數(shù)據(jù)預處理單元、5數(shù)據(jù)管理單元、51數(shù)據(jù)庫信息讀取單元、52數(shù)據(jù)運行處理單元、53控制程序模塊、54數(shù)據(jù)建模單元、55數(shù)據(jù)整合輸出模塊、56數(shù)據(jù)庫維護單元、57數(shù)據(jù)查詢輸入端口、6通信網(wǎng)絡單元、7核心路由器、8交換機、9分布式CAN總線、10監(jiān)控顯示屏、11監(jiān)控主機、12調度工作站、13管理工作站、14數(shù)據(jù)分布式存儲系統(tǒng)、141數(shù)據(jù)分布單元、142數(shù)據(jù)邏輯模型、143數(shù)據(jù)端口、144數(shù)據(jù)索引模塊、145實時數(shù)據(jù)庫、146綜合數(shù)據(jù)庫、15運維管理單元。

具體實施方式

下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

請參閱圖1-5，本發(fā)明提供一種技術方案：一種大數(shù)據(jù)平臺的監(jiān)控系統(tǒng)，包括模擬量數(shù)據(jù)源1和狀態(tài)量數(shù)據(jù)源2，所述模擬量數(shù)據(jù)源1和狀態(tài)量數(shù)據(jù)源2均電性輸出連接數(shù)據(jù)采集模塊3，所述數(shù)據(jù)采集模塊3電性輸出連接數(shù)據(jù)預處理單元4，所述數(shù)據(jù)預處理單元4電性輸出連接數(shù)據(jù)管理單元5，所述數(shù)據(jù)管理單元5電性輸出連接通信網(wǎng)絡單元6，所述通信網(wǎng)絡單元6電性輸出連接核心路由器7，所述核心路由器7電性輸出連接交換機8，所述交換機8電性輸出連接分布式CAN總線9，所述分布式CAN總線9分別電性雙向連接監(jiān)控顯示屏10、監(jiān)控主機11、調度工作站12和管理工作站13，所述數(shù)據(jù)管理單元5分別電性雙向連接數(shù)據(jù)分布式存儲系統(tǒng)14和運維管理單元15。

其中，所述數(shù)據(jù)采集模塊3包括信號輸入單元31，所述信號輸入單元31電性輸出連接數(shù)據(jù)處理模塊32，所述數(shù)據(jù)處理模塊32電性輸出連接A/D轉換模塊33，所述A/D轉換模塊33電性輸出連接數(shù)據(jù)輸出單元34，所述數(shù)據(jù)處理模塊32還電性輸出連接報警顯示模塊36，所述數(shù)據(jù)處理模塊32電性輸入連接循環(huán)檢測單元35，所述模擬量數(shù)據(jù)源1包括頻率、電壓、電流、有功功率、無功功率和溫度信息，所述狀態(tài)量數(shù)據(jù)源2包括開關、事故總信號、保護信號和系統(tǒng)設備運行狀態(tài)信息，所述數(shù)據(jù)管理單元5包括數(shù)據(jù)庫信息讀取單元51，所述數(shù)據(jù)庫信息讀取單元51電性輸出連接數(shù)據(jù)運行處理單元52，所述數(shù)據(jù)運行處理單元52電性輸出連接控制程序模塊53，所述控制程序模塊53電性輸出連接數(shù)據(jù)建模單元54，所述數(shù)據(jù)建模單元54電性輸出連接數(shù)據(jù)整合輸出模塊55，所述控制程序模塊53分別電性輸入連接數(shù)據(jù)庫維護單元56和數(shù)據(jù)查詢輸入端口57，所述控制程序模塊53內部包括系統(tǒng)初啟動程序、安全性控制程序、完整性控制程序、事務管理控制程序、并發(fā)控制程序和運行日志管理控制程序，所述數(shù)據(jù)分布式存儲系統(tǒng)14包括數(shù)據(jù)分布單元141，所述數(shù)據(jù)分布單元141電性輸出連接數(shù)據(jù)邏輯模型142，所述數(shù)據(jù)邏輯模型142電性輸出連接數(shù)據(jù)端口143，所述數(shù)據(jù)分布單元141電性輸入連接數(shù)據(jù)索引模塊144，所述數(shù)據(jù)分布單元141分別電性雙向連接實時數(shù)據(jù)庫145和綜合數(shù)據(jù)庫146，所述數(shù)據(jù)邏輯模型142包括鍵值存儲、文檔存儲、列存儲和圖存儲，所述實時數(shù)據(jù)庫145內部包括數(shù)據(jù)管理單元、內存數(shù)據(jù)庫和磁盤數(shù)據(jù)庫，所述運維管理單元15內部包括服務運行監(jiān)控、服務狀態(tài)監(jiān)控和系統(tǒng)運行狀態(tài)監(jiān)控。

工作原理：在步驟計時器觸發(fā)中，觸發(fā)啟動后執(zhí)行獲取監(jiān)控信息步驟，否則，重新對計時器觸發(fā)，在步驟獲取監(jiān)控信息中，對大數(shù)據(jù)平臺的數(shù)據(jù)獲取監(jiān)控信息，然后讀取信息所在路徑，并對信息文件進行解析，完成上述步驟后，經(jīng)由信息輸出展示對平臺監(jiān)控信息進行可視化、統(tǒng)一化和可控化展示。

利用數(shù)據(jù)采集模塊3采集模擬量數(shù)據(jù)源1和狀態(tài)量數(shù)據(jù)源2中的信息，交由數(shù)據(jù)預處理單元4進行數(shù)據(jù)處理分析，通過數(shù)據(jù)管理單元5對處理后的信息同一管理，由通信網(wǎng)絡單元6傳遞至核心路由器7中，并通過交換機傳遞至分布式CAN總線9中，由分布式CAN總線9分別將信息傳輸給監(jiān)控顯示屏10、監(jiān)控主機11、調度工作站12和管理工作站13中，其中數(shù)據(jù)采集模塊3通過信號輸入單元31對數(shù)據(jù)源進行原始數(shù)據(jù)輸入，通過數(shù)據(jù)處理模塊32處理分析，利用A/D轉換模塊33將信號轉換后通過數(shù)據(jù)輸出單元34輸出，報警顯示模塊36在數(shù)據(jù)異常時進行報警，循環(huán)檢測單元35可實時的檢測數(shù)據(jù)信息，在數(shù)據(jù)管理單元5中，通過數(shù)據(jù)庫信息讀取單元51對數(shù)據(jù)庫信息進行讀取，并通過數(shù)據(jù)運行處理單元52將信息傳遞給控制程序模塊53中，利用數(shù)據(jù)建模單元54對數(shù)據(jù)進行建模，最后由數(shù)據(jù)整合輸出模塊55將建模信息整合后輸出，通過數(shù)據(jù)查詢輸入端口57提供數(shù)據(jù)查詢，數(shù)據(jù)庫維護單元56能夠實時的對數(shù)據(jù)庫信息進行維護，采用數(shù)據(jù)分布式存儲系統(tǒng)14，對海量的大數(shù)據(jù)進行高效的存儲和訪問，具有良好的橫向擴展能力、復制和分區(qū)能力，其中數(shù)據(jù)分布單元141能夠實時的連接實時數(shù)據(jù)庫145和綜合數(shù)據(jù)庫146，并對實時數(shù)據(jù)庫145和綜合數(shù)據(jù)庫146內部的信息進行管理分析，通過數(shù)據(jù)邏輯模型142建立數(shù)據(jù)模型，利用數(shù)據(jù)端口143外接輸出設備進行數(shù)據(jù)的傳輸，數(shù)據(jù)索引模塊144能夠對海量的數(shù)據(jù)源進行關鍵詞檢索，提高信息處理的速度，通過控制程序模塊53對系統(tǒng)初啟動、安全性、完整性、事務管理和運行日志進行程序控制，利用運維管理單元15建立集成化的資源運行狀態(tài)監(jiān)控管理系統(tǒng)，實現(xiàn)大數(shù)據(jù)平臺運行狀態(tài)和信息化資源的統(tǒng)一化、可視化和可控化的管理，并對系統(tǒng)服務運行、服務狀態(tài)和系統(tǒng)運行狀態(tài)進行實時監(jiān)控，能夠實時的展示大數(shù)據(jù)平臺作業(yè)運行狀態(tài)和對作業(yè)的統(tǒng)計分析。

盡管已經(jīng)示出和描述了本發(fā)明的實施例，對于本領域的普通技術人員而言，可以理解在不脫離本發(fā)明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發(fā)明的范圍由所附權利要求及其等同物限定。