本發(fā)明涉及大數(shù)據(jù)領域,具體地說是一種動環(huán)監(jiān)控系統(tǒng)大數(shù)據(jù)分析平臺及方法。
背景技術:
大數(shù)據(jù)時代下,動環(huán)監(jiān)控系統(tǒng)承載了越來越來的數(shù)據(jù)源壓力,不僅是種類多,數(shù)量也是相當大,動環(huán)監(jiān)控系統(tǒng)目前正處于由專業(yè)網(wǎng)管向集中運維的綜合網(wǎng)管系統(tǒng)集中化演進的階段,隨著設備的信息源增多,數(shù)據(jù)采集存儲頻度也日益加大,帶來的將是更海量的數(shù)據(jù)。分析軟件通過標準的動環(huán)監(jiān)控基礎數(shù)據(jù)進行分析,對設備運行狀況及運行質(zhì)量進行評估甚至預測設備的故障發(fā)生時間,這些功能的實現(xiàn)將涉及海量數(shù)據(jù)的處理,采用云計算、大數(shù)據(jù)系統(tǒng)解決海量的動環(huán)監(jiān)控數(shù)據(jù)的分布式采集、分布式并行存儲、挖掘分析將變得非常必要。
現(xiàn)有技術的技術方案,主要是通過傳統(tǒng)數(shù)據(jù)采集實現(xiàn)。目前動環(huán)監(jiān)控系統(tǒng)的總體趨勢是面臨運維人員數(shù)量急劇減少、設備數(shù)量不斷增加的壓力,同時面臨動環(huán)設備運行產(chǎn)生的數(shù)據(jù)量快速增長、多類數(shù)據(jù)分析并存的需求壓力下,動環(huán)專業(yè)的數(shù)據(jù)處理面臨空前的需求。在現(xiàn)今的形式下,必須根據(jù)應用需求和數(shù)據(jù)量選擇最適合的產(chǎn)品和技術來支撐應用。同時,世界數(shù)據(jù)處理市場格局正在發(fā)生革命性的變化,傳統(tǒng)數(shù)據(jù)庫(oldsql)一統(tǒng)天下變成了oldsql+newsql+nosql+其他新技術(例如流、實時、內(nèi)存等)共同支撐多類應用的局面。
目前動環(huán)監(jiān)控系統(tǒng)功能僅限于監(jiān)控實時數(shù)據(jù)和告警的上傳,還沒有達到對基礎數(shù)據(jù)進行深入的統(tǒng)計、挖掘分析乃至據(jù)以反饋閉環(huán)控制的要求,因此,亟需一種新技術,使得設備監(jiān)控顆粒度更加細化,以便更早、更精確地發(fā)現(xiàn)設備備故障加以預警預判。
技術實現(xiàn)要素:
本發(fā)明的技術任務是針對以上不足之處,提供一種動環(huán)監(jiān)控系統(tǒng)大數(shù)據(jù)分析平臺及方法。
一種動環(huán)監(jiān)控系統(tǒng)大數(shù)據(jù)分析平臺,包括:
南向接口,用于連接被管理對象,從被管理對象中獲取數(shù)據(jù)源;
大數(shù)據(jù)處理平臺,通過南向接口實時采集數(shù)據(jù)源數(shù)據(jù),并對采集的數(shù)據(jù)達到告警閾值時實時告警,同時采集的設備信息和音視頻數(shù)據(jù);
北向接口,連接大數(shù)據(jù)處理平臺及下述第三方模塊;
第三方模塊,提供管理入口、第三方平臺,實現(xiàn)第三方平臺與大數(shù)據(jù)處理平臺的互聯(lián),該第三方模塊用于發(fā)送大數(shù)據(jù)請求操作,并提供界面展現(xiàn)模塊對大數(shù)據(jù)處理平臺的處理結(jié)果進行界面展示。
大數(shù)據(jù)處理平臺通過南向接口實時采集的數(shù)據(jù)源包括以下數(shù)據(jù)分類:
事務性數(shù)據(jù),包括ups設備告警信息、精密空調(diào)設備告警信息、精密配電柜告警信息、環(huán)境告警信息,其中ups設備告警信息包括ups停電告警、ups故障、ups轉(zhuǎn)旁路的告警信息;精密空調(diào)設備告警信息包括精密空調(diào)風機故障、壓縮機故障、溫度傳感器故障信息;精密配電柜告警信息包括開關分閘、開關合閘的告警信息;環(huán)境告警信息包括模塊化數(shù)據(jù)中心環(huán)境高溫、低溫、高濕、低濕、煙霧告警、紅外傳感器告警信息;
高價值密度數(shù)據(jù),包括ups電壓、電流、功率、頻率、電能數(shù)據(jù),及精密空調(diào)數(shù)據(jù),該精密空調(diào)數(shù)據(jù)包括送風溫度、回風溫度、回風濕度、壓縮機狀態(tài);
低密度價值數(shù)據(jù),包括模塊化數(shù)據(jù)中心視頻監(jiān)控圖像、音頻監(jiān)控數(shù)據(jù)。
所述南向接口用于大數(shù)據(jù)處理平臺與各種設備的通信和數(shù)據(jù)采集,所述各種設備包括動力類設備、環(huán)境類設備、it類設備、安全防護類設備,其中動力類設備包括ups、高壓直流、智能配電柜;環(huán)境類設備包括精密空調(diào)、環(huán)境溫濕度傳感器;it類設備包括服務器、存儲及交換機;安全防護類設備包括可視對講、網(wǎng)絡攝像機。
在南向接口與大數(shù)據(jù)處理平臺之間配置有協(xié)議層,用于根據(jù)不同的協(xié)議進行解析預處理,將采集的數(shù)據(jù)根據(jù)不同的協(xié)議按照協(xié)議格式進行處理,并把數(shù)據(jù)推送到大數(shù)據(jù)處理平臺,所述不同的協(xié)議包括modbus協(xié)議、ipmi協(xié)議、電總協(xié)議、snmp協(xié)議、velocity協(xié)議。
所述大數(shù)據(jù)處理平臺進行實時告警的過程為:
首先進行告警管理配置,確定告警范圍;
然后配置告警模板,確定告警事件類型;
配置告警屏蔽,確定告警信息的發(fā)送方式;
配置告警規(guī)則,使告警信息按照告警規(guī)則產(chǎn)生;
配置告警通知內(nèi)容,用于接收告警信息。
所述告警規(guī)則的配置過程為:
配置告警衍生,即將多條同類告警衍生成一條新的告警;
配置告警過濾,通過過濾方式選取出主要告警和次要告警,主要告警的報警級別高于次要告警;
配置告警翻轉(zhuǎn),將高頻次告警在告警一段時間后進行屏蔽,待告警處理完畢后再恢復上報。
所述實時告警的具體過程為:
1)首先進行告警管理配置,配置的內(nèi)容包括:局站名稱,即模塊化數(shù)據(jù)中心所處地點名稱;設備名稱,即模塊化數(shù)據(jù)中心的設備名稱;事件名稱;事件描述;告警觸發(fā)值;錄入注釋,即管理員對此告警需要錄入的備注信息;
2)配置告警模板,該告警模板中包括:局站名稱;設備類型,包括供配電類、環(huán)境類、安防類;具體設備,包括ups、精密空調(diào)、精密配電柜;事件名稱;事件是否確認,即管理員是否確認該告警;事件是否結(jié)束;
3)配置告警屏蔽,包括局站屏蔽、設備屏蔽和事件屏蔽,屏蔽管理通過屏蔽方式和時間段來屏蔽事件信息,逾期和解除屏蔽后,事件將正常顯示;
4)配置告警規(guī)則,包括:
配置告警衍生,當多個同類型告警產(chǎn)生并滿足同一條件時,產(chǎn)生一條新的告警,即當告警單位時間內(nèi)產(chǎn)生的數(shù)量達到1分鐘中內(nèi)n條告警,產(chǎn)生一條衍生告警,該告警的等級比原有告警等級高;當發(fā)生密度小于1分鐘中內(nèi)n條告警時,該告警結(jié)束,這里的n為≥10的自然數(shù);
配置告警過濾,當多個告警通知產(chǎn)生時,選取一條告警做主要告警,其他告警作為次要告警,且主次告警的運行邏輯為:當告警產(chǎn)生時,次要告警緩存一定時間后,該時間自定義,等待主要告警產(chǎn)生,如果主要告警產(chǎn)生,則次要告警不顯示只存庫;如果到了一定時間未等到主要告警,則次要告警正常上送;
配置告警翻轉(zhuǎn),當某條告警信號連續(xù)30分鐘超過6條時,則認為是高頻次告警,在30分鐘后的這條告警“描述字段”注明“高頻次告警”字樣,此后應屏蔽連續(xù)上報的告警,直到不滿足判斷條件再恢復正常上報;
5)配置告警通知,該告警通知的內(nèi)容包括:局站類型、告警名稱、告警等級、重試次數(shù)和延時、事件開始時間下限和事件開始時間上限、接收對象。
在步驟5)后,還包括配置告警抖動屏蔽的步驟,即在上述告警觸發(fā)值配置回差,當信號降回到回差后的數(shù)值時,取消告警發(fā)送。
所述大數(shù)據(jù)處理平臺實時采集數(shù)據(jù)源數(shù)據(jù)的過程為:
首先進行數(shù)據(jù)過濾,從局站等級和事件等級兩方面實現(xiàn)站點基本過濾,過濾功能從局站分組方式、局站分組、局站等級和局站四方面進行過濾顯示;
提供實時瀏覽功能模塊,實時查看被監(jiān)控設備的運行數(shù)據(jù),該功能模塊提供列表和圖形、實時曲線的方式,查看局站、設備、設備類、局房中各信號的實時數(shù)據(jù),對被監(jiān)控設備的運行情況進行在線觀察、監(jiān)視;
進行能耗分析,根據(jù)采集和存儲的電能數(shù)據(jù),對用電量異常數(shù)據(jù)進行監(jiān)測和分析,及時處理包括電表故障、數(shù)據(jù)統(tǒng)計異常的系統(tǒng)異常;
進行底層控制功能,即通過配置邏輯控制程序,通過機房基站監(jiān)控到包括實時溫濕度、空調(diào)運行狀態(tài)、新風機狀態(tài)的參數(shù),通過邏輯程序?qū)照{(diào)進行自行開關機及溫度控制;
進行蓄電池、空調(diào)管理,根據(jù)采集的蓄電池和空調(diào)數(shù)據(jù)信息,判斷出異常信息;
進行kpi管理,這里的kpi管理包括:活動告警等級統(tǒng)計、活動告警區(qū)域分布、停電區(qū)域分布、斷站區(qū)域分布、電子地圖、溫度高站點數(shù)區(qū)域統(tǒng)計、退服區(qū)域統(tǒng)計、監(jiān)控可用率區(qū)域統(tǒng)計、電池總電壓低區(qū)域分布、局站區(qū)域統(tǒng)計。
所述大數(shù)據(jù)處理平臺采集的設備信息和音視頻數(shù)據(jù)具體分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),其中,結(jié)構(gòu)化數(shù)據(jù)包括網(wǎng)絡流量日志和資源管理數(shù)據(jù),即模塊化數(shù)據(jù)中心的各個設備的相關數(shù)據(jù);半結(jié)構(gòu)化數(shù)據(jù)包括設備日志和系統(tǒng)日志;非結(jié)構(gòu)化數(shù)據(jù)包括音頻和視頻數(shù)據(jù),通過將其與圖像進行匹配,加上標簽,進而與有用信息建立關聯(lián)。
一種動環(huán)監(jiān)控系統(tǒng)大數(shù)據(jù)分析方法,其實現(xiàn)過程為:
首先啟動大數(shù)據(jù)處理平臺,接受注冊和訂閱;
通過第三方模塊中的展示界面輸入數(shù)據(jù)操作請求,該數(shù)據(jù)操作請求通過北向接口推送數(shù)據(jù)到大數(shù)據(jù)處理平臺;
大數(shù)據(jù)處理平臺根據(jù)數(shù)據(jù)操作請求的數(shù)據(jù)類型獲取元數(shù)據(jù)和數(shù)據(jù)地址;
當需要獲取實時數(shù)據(jù)時,通過協(xié)議層及南向接口向被管理對象發(fā)出請求,從數(shù)據(jù)源中獲取數(shù)據(jù);
大數(shù)據(jù)處理平臺實時采集數(shù)據(jù)源數(shù)據(jù),并對采集的數(shù)據(jù)達到告警閾值時實時告警,同時將采集設備信息和音視頻數(shù)據(jù);
經(jīng)北向接口向第三方模塊返回大數(shù)據(jù)操作結(jié)果;
重復上述過程,進行下一次大數(shù)據(jù)請求操作。
本發(fā)明的一種動環(huán)監(jiān)控系統(tǒng)大數(shù)據(jù)分析平臺及方法和現(xiàn)有技術相比,具有以下有益效果:
本發(fā)明的一種動環(huán)監(jiān)控系統(tǒng)大數(shù)據(jù)分析平臺及方法,設計合理的動環(huán)監(jiān)控系統(tǒng)大數(shù)據(jù)分析方法,通過設計的大數(shù)據(jù)處理框架,使得mpp數(shù)據(jù)處理接口、hadoop處理接口與oltp數(shù)據(jù)處理接口統(tǒng)一納入所設計的大數(shù)據(jù)處理框架之下,構(gòu)建了一個高效、穩(wěn)定的數(shù)據(jù)中心動環(huán)監(jiān)控系統(tǒng)大數(shù)據(jù)處理系統(tǒng);定義了動環(huán)監(jiān)控系統(tǒng)的三種數(shù)據(jù)源分類,即事務性數(shù)據(jù),高價值密度數(shù)據(jù)和低價值密度數(shù)據(jù),構(gòu)成了一個完整的動環(huán)監(jiān)控系統(tǒng)大數(shù)據(jù)數(shù)據(jù)源;定義了基于大數(shù)據(jù)分析的各種告警管理;定義了實時數(shù)據(jù)采集的大數(shù)據(jù)分析應用方法;有助于分析數(shù)據(jù)中心的統(tǒng)一運維與運營管理,尤其是在涉及海量被管理對象同時需要監(jiān)控的場景,將監(jiān)控系統(tǒng)搭建在該大數(shù)據(jù)分析架構(gòu)上,很好地解決了數(shù)據(jù)之間的縱向關聯(lián)及橫向關聯(lián),實用性強,適用范圍廣泛,易于推廣。
附圖說明
為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案,下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的實施例,對于本領域普通技術人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)提供的附圖獲得其他的附圖。
附圖1為本發(fā)明的具體實施示意圖。
具體實施方式
為了使本技術領域的人員更好地理解本發(fā)明的方案,下面結(jié)合具體實施方式對本發(fā)明作進一步的詳細說明。顯然,所描述的實施例僅僅是本發(fā)明一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本發(fā)明保護的范圍。
如附圖1所示,本發(fā)明提供一種動環(huán)監(jiān)控系統(tǒng)大數(shù)據(jù)分析平臺,定義了一個基于mpp架構(gòu)的新型數(shù)據(jù)庫集群框架,定義了結(jié)合mpp架構(gòu)高效的分布式計算模式,定義了數(shù)據(jù)的分類,分為事務性數(shù)據(jù)、高價值密度數(shù)據(jù)、低密度價值數(shù)據(jù),完成對分析類應用的支撐,通過分布式并行計算、動態(tài)擴展等技術,能夠在海量數(shù)據(jù)處理和大數(shù)據(jù)分析等多種場景,滿足動環(huán)監(jiān)控系統(tǒng)大數(shù)據(jù)分析需求,提升動環(huán)系統(tǒng)的服務支撐能力。
其結(jié)構(gòu)包括:
南向接口,用于連接被管理對象,從被管理對象中獲取數(shù)據(jù)源;
大數(shù)據(jù)處理平臺,通過南向接口實時采集數(shù)據(jù)源數(shù)據(jù),并對采集的數(shù)據(jù)達到告警閾值時實時告警,同時采集的設備信息和音視頻數(shù)據(jù),該大數(shù)據(jù)處理平臺是處理面臨數(shù)據(jù)規(guī)模大、關聯(lián)查詢復雜、實時查詢等多方面的數(shù)據(jù)處理平臺;
北向接口,連接大數(shù)據(jù)處理平臺及下述第三方模塊;
第三方模塊,提供管理入口、第三方平臺,實現(xiàn)第三方平臺與大數(shù)據(jù)處理平臺的互聯(lián),該第三方模塊用于發(fā)送大數(shù)據(jù)請求操作,并提供界面展現(xiàn)模塊對大數(shù)據(jù)處理平臺的處理結(jié)果進行界面展示。
大數(shù)據(jù)處理平臺通過南向接口實時采集的數(shù)據(jù)源包括以下數(shù)據(jù)分類:
事務性數(shù)據(jù),包括ups停電告警、ups故障、ups轉(zhuǎn)旁路等ups設備告警信息,精密空調(diào)風機故障、壓縮機故障、溫度傳感器故障等精密空調(diào)設備告警信息,精密配電柜開關分閘、開關合閘等精密配電柜告警信息,模塊化數(shù)據(jù)中心環(huán)境高溫、低溫、高濕、低濕、煙霧告警、紅外傳感器告警等;
高價值密度數(shù)據(jù),包括ups電壓、電流、功率、頻率、電能數(shù)據(jù),及精密空調(diào)數(shù)據(jù),該精密空調(diào)數(shù)據(jù)包括送風溫度、回風溫度、回風濕度、壓縮機狀態(tài)等;
低密度價值數(shù)據(jù),包括模塊化數(shù)據(jù)中心視頻監(jiān)控圖像、音頻監(jiān)控數(shù)據(jù)等。
所述南向接口用于大數(shù)據(jù)處理平臺與各種設備的通信和數(shù)據(jù)采集,所述各種設備包括動力類設備、環(huán)境類設備、it類設備、安全防護類設備,其中動力類設備包括ups、高壓直流、智能配電柜;環(huán)境類設備包括精密空調(diào)、環(huán)境溫濕度傳感器;it類設備包括服務器、存儲及交換機;安全防護類設備包括可視對講、網(wǎng)絡攝像機。
在南向接口與大數(shù)據(jù)處理平臺之間配置有協(xié)議層,用于根據(jù)不同的協(xié)議進行解析預處理,將采集的數(shù)據(jù)根據(jù)不同的協(xié)議按照協(xié)議格式進行處理,并把數(shù)據(jù)推送到大數(shù)據(jù)處理平臺,所述不同的協(xié)議包括modbus協(xié)議、ipmi協(xié)議、電總協(xié)議、snmp協(xié)議、velocity協(xié)議。
所述大數(shù)據(jù)處理平臺進行實時告警的過程為:
1)動環(huán)實時告警。
1、定義告警管理,包括:局站名稱(即模塊化數(shù)據(jù)中心所處地點名稱)、設備名稱(即模塊化數(shù)據(jù)中心里面的設備名稱,如ups1,精密空調(diào)2,精密配電柜3)、事件名稱(如ups1市電輸入異常)、事件描述(如ups1市電停電)、觸發(fā)值(如ups1市電電壓值為90v)、錄入注釋(即管理員對此告警需要錄入些備注信息)。
2、定義告警模板,包括:局站名稱、設備類型(供配電類、環(huán)境類、安防類)、設備(指的是具體設備,如ups,精密空調(diào)或精密配電柜等)、事件名稱、事件是否確認(即管理員是否確認該告警,比如說管理員以及了解了該告警,估可以確認并關閉該告警)、事件是否結(jié)束(因為告警有開始,也會有結(jié)束)。
3、定義告警屏蔽,供在線屏蔽配置功能,在線屏蔽配置包括局站屏蔽、設備屏蔽和事件屏蔽。屏蔽管理通過屏蔽方式(如界面不顯示,不發(fā)送告警郵件,不發(fā)送告警短信等)和時間段(如工作時間告警信息發(fā)送運維主管,非工作時間告警信息不發(fā)送運維主管,只發(fā)送運維工程師,時間段是可以在大數(shù)據(jù)處理平臺的操作頁面中設置的)來屏蔽事件信息,逾期和解除屏蔽后,事件將正常顯示。
4、定義告警衍生,多個同類型告警產(chǎn)生并滿足一定條件(比如市電停電時,這時ups設備會報停電告警,精密配電柜也會報停電告警,精密空調(diào)也會報停電告警,那么管理平臺通常就會收到很多同類型的告警,這時就需要發(fā)揮大數(shù)據(jù)處理平臺的作用,通過告警關聯(lián)的根原因分析)時,產(chǎn)生一條新的告警。衍生告警的產(chǎn)生邏輯:當告警單位時間內(nèi)產(chǎn)生的數(shù)量(發(fā)生密度)達到1分鐘中內(nèi)10條告警,產(chǎn)生一條衍生告警,該告警的等級一般比原有告警等級高。當發(fā)生密度小于1分鐘中內(nèi)10條告警時,該告警結(jié)束。
5、定義告警過濾,多個告警通知產(chǎn)生時,選取一條告警做主要告警(主要告警是指影響模塊化數(shù)據(jù)中心正常工作的告警,比如市電停電,空調(diào)宕機,主要告警是由模塊化數(shù)據(jù)中心管理員在大數(shù)據(jù)平臺自行設定),其他告警作為次要告警(即告警級別低一些的告警,比如模塊化數(shù)據(jù)中心刷卡進入,次要告警是由模塊化數(shù)據(jù)中心管理員在大數(shù)據(jù)平臺自行設定),避免主要告警被告警信息淹沒。主次告警的運行邏輯為:當告警產(chǎn)生時,次要告警緩存一定時間后,等待主要告警產(chǎn)生,如果主要告警產(chǎn)生,則次要告警不顯示只存庫。如果到了一定時間未等到主要告警,則次要告警正常上送。
6、定義告警翻轉(zhuǎn),當某條告警信號連續(xù)30分鐘超過6條時,則認為是高頻次告警,在30分鐘后的這條告警“描述字段”注明“高頻次告警”字樣,此后應屏蔽連續(xù)上報的告警,直到不滿足判斷條件再恢復正常上報。
7、定義告警通知,配置以下內(nèi)容篩選告警通知信息:局站類型(同上)、告警名稱(同上)、告警等級(分為一級告警,二級告警,三級告警,四級告警,其中四級告警為級別最高的告警),重試次數(shù)和延時、事件開始時間下限和事件開始時間上限、接收對象。
8、定義告警抖動屏蔽,告警抖動屏蔽:當某信號在告警閥值周圍波動時,會頻繁產(chǎn)生告警,信號配置時設置回差以消除頻繁告警,所述回差就是把控制的點變成控制段,如果沒有回差,當濕度在報警值周圍波動變化時,開關就在不停的變化對控制設備有極大的損害。比如當濕度上限設置80%rh回差5%rh則當濕度上升超過80%rh,輸出開關量信號,當濕度降回到75%rh時開關量取消。
2)動環(huán)監(jiān)控實時采集數(shù)據(jù)。
1、定義數(shù)據(jù)過濾,提供過濾功能,從局站等級和事件等級兩方面快速實現(xiàn)站點基本過濾功能;過濾功能從局站分組方式、局站分組、局站等級和局站四方面進行過濾顯示。
2、定義實時瀏覽,可以實時查看被監(jiān)控設備的運行數(shù)據(jù)。提供列表和圖形、實時曲線等多種方式,用戶可以任意選擇查看局站、設備、設備類、局房中各信號的實時數(shù)據(jù),對被監(jiān)控設備的運行情況進行在線觀察、監(jiān)視。
3、定義能耗分析,充分挖掘動環(huán)系統(tǒng)采集和存儲的電能數(shù)據(jù),從而提升局站用電管理的科學性和前瞻性。同時,系統(tǒng)也對用電量異常數(shù)據(jù)進行全面的監(jiān)測和分析,及時處理系統(tǒng)異常(例如:電表故障、數(shù)據(jù)統(tǒng)計異常等),從而保障系統(tǒng)的長期穩(wěn)定運行。
4、定義底層控制功能,第一次配置時需現(xiàn)場配置并寫入相應邏輯控制程序,依托機房基站監(jiān)控到的實時溫濕度、空調(diào)運行狀態(tài)、新風機(如果有)狀態(tài)等參數(shù),通過邏輯程序?qū)照{(diào)進行自行開關機及溫度控制,起到節(jié)能目的。
6、定義蓄電池管理,可以通過蓄電池管理功能中的落后電池分析和容量估計功能進行異常電池的判斷,數(shù)據(jù)中心蓄電池容量變化記錄,總?cè)萘康陀陬~定容量80%的機房記錄,總?cè)萘康陀?0%的機房統(tǒng)計,總?cè)萘康陀?0%的蓄電池組統(tǒng)計。
7、定義空調(diào)管理,動環(huán)監(jiān)控系統(tǒng)對空調(diào)故障告警進行統(tǒng)計分析,比較不同品牌之間的空調(diào)性能,利于后期選型采購,通過管理程序可對某空調(diào)進行制冷性能測試,同時結(jié)合環(huán)境溫濕度變化、空調(diào)能耗等多方位數(shù)據(jù),分析空調(diào)性能。
8、定義kpi管理,基于大數(shù)據(jù)分析,系統(tǒng)提供的kpi控件有:活動告警等級統(tǒng)計、活動告警區(qū)域分布、停電區(qū)域分布、斷站區(qū)域分布、電子地圖、溫度高站點數(shù)區(qū)域統(tǒng)計、退服(斷站)區(qū)域統(tǒng)計、監(jiān)控可用率區(qū)域統(tǒng)計、電池總電壓低區(qū)域分布、局站區(qū)域統(tǒng)計。
3)設備信息及音視頻數(shù)據(jù)處理。
1、結(jié)構(gòu)化數(shù)據(jù)包括網(wǎng)絡流量日志和資源管理(即模塊化數(shù)據(jù)中中的各個設備)。
2、半結(jié)構(gòu)化數(shù)據(jù)包括設備日志和系統(tǒng)日志。
3、非結(jié)構(gòu)化數(shù)據(jù)包括音頻和視頻數(shù)據(jù),通常存儲于數(shù)據(jù)庫之外的數(shù)據(jù)稱為非結(jié)構(gòu)化數(shù)據(jù)(unstructureddata)。將各種不同類型和格式的數(shù)據(jù)進行集成,使用與非結(jié)構(gòu)化的數(shù)據(jù)相關聯(lián)的鍵或者標簽(或者元數(shù)據(jù)),而這些非結(jié)構(gòu)化數(shù)據(jù)通常包含了與其他主數(shù)據(jù)相關的信息。通過分析非結(jié)構(gòu)化數(shù)據(jù),就可以將非結(jié)構(gòu)化數(shù)據(jù)與產(chǎn)品相關聯(lián)。一段音視頻可能包含某個有用信息,可以通過將其與圖像進行匹配,加上標簽,進而與有用信息建立關聯(lián)。
一種動環(huán)監(jiān)控系統(tǒng)大數(shù)據(jù)分析方法,其實現(xiàn)過程為:
首先啟動大數(shù)據(jù)處理平臺,接受注冊和訂閱;
通過第三方模塊中的展示界面輸入數(shù)據(jù)操作請求,該數(shù)據(jù)操作請求通過北向接口推送數(shù)據(jù)到大數(shù)據(jù)處理平臺;
大數(shù)據(jù)處理平臺根據(jù)數(shù)據(jù)操作請求的數(shù)據(jù)類型到oltp、數(shù)據(jù)集市或hadoop獲取元數(shù)據(jù)和數(shù)據(jù)地址;
針對大規(guī)模的請求情況,大數(shù)據(jù)處理平臺啟動分發(fā)查詢服務,如果需要獲取實時數(shù)據(jù),則通過協(xié)議解析層及南向接口向被管理對象發(fā)出請求;
大數(shù)據(jù)處理平臺實時采集數(shù)據(jù)源數(shù)據(jù),并對采集的數(shù)據(jù)達到告警閾值時實時告警,同時將采集設備信息和音視頻數(shù)據(jù);
大數(shù)據(jù)處理平臺經(jīng)過數(shù)據(jù)過濾模塊進行匯聚結(jié)果;
經(jīng)北向接口向第三方模塊返回大數(shù)據(jù)操作結(jié)果;
重復上述過程,進行下一次大數(shù)據(jù)請求操作。
在這種動環(huán)監(jiān)控系統(tǒng)大數(shù)據(jù)分析方法的框架基礎上,采用sharenothing技術,通過列存儲、粗粒度索引等多項大數(shù)據(jù)處理技術。以基于mpp架構(gòu)的新型數(shù)據(jù)庫集群作為大數(shù)據(jù)處理平臺的核心,管理結(jié)構(gòu)化大數(shù)據(jù),實現(xiàn)對海量數(shù)據(jù)的存儲、分析等操作,支撐數(shù)據(jù)中心的大數(shù)據(jù)分析類應用。支持動環(huán)實時采集數(shù)據(jù)(高價值密度結(jié)構(gòu)化數(shù)據(jù))。對于動環(huán)實時告警(在線業(yè)務數(shù)據(jù))采用oltp數(shù)據(jù)處理方式。
再結(jié)合mpp架構(gòu)高效的分布式計算模式,完成對分析類應用的支撐,mpp數(shù)據(jù)庫技術作為未來主流的數(shù)據(jù)庫技術,通過分布式并行計算、動態(tài)擴展等技術,能夠在海量數(shù)據(jù)處理和大數(shù)據(jù)分析等多種場景,滿足動環(huán)集中監(jiān)控系統(tǒng)需求,提升動環(huán)監(jiān)控系統(tǒng)的服務支撐能力。
根據(jù)一致性/可用性/分區(qū)存儲(cap)原則,根據(jù)采集監(jiān)控、挖掘分析不同應用采取不同的模式。
基于hadoop的數(shù)據(jù)處理技術管理非/半結(jié)構(gòu)化大數(shù)據(jù),并用事務型數(shù)據(jù)庫支撐在線業(yè)務系統(tǒng),支持設備信息及音視頻數(shù)據(jù)(低價值密度數(shù)據(jù))。
本發(fā)明有助于分析數(shù)據(jù)中心的統(tǒng)一運維與運營管理,尤其是在涉及海量被管理對象同時需要監(jiān)控的場景,將監(jiān)控系統(tǒng)搭建在該大數(shù)據(jù)分析架構(gòu)上,很好地解決了數(shù)據(jù)之間的縱向關聯(lián)及橫向關聯(lián)。該方法對于研究類似的大數(shù)據(jù)分析系統(tǒng)具有參考意義。
通過上面具體實施方式,所述技術領域的技術人員可容易的實現(xiàn)本發(fā)明。本文中應用了具體個例對本發(fā)明的原理及實施方式進行了闡述,以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想。應當指出,對于本技術領域的普通技術人員來說,在不脫離本發(fā)明原理的前提下,還可以對本發(fā)明進行若干改進和修飾,這些改進和修飾也落入本發(fā)明權利要求的保護范圍內(nèi)。