本發(fā)明涉及設(shè)備在線數(shù)據(jù)應(yīng)用與分析,尤其涉及一種適用于設(shè)備運(yùn)行狀態(tài)異常檢測的自適應(yīng)閾值計(jì)算方法。
背景技術(shù):
1、目前,大型冶金企業(yè)均通過設(shè)備遠(yuǎn)程智能運(yùn)維平臺接入各類設(shè)備,產(chǎn)生數(shù)百萬的數(shù)據(jù)項(xiàng),為了發(fā)揮數(shù)據(jù)匯聚的價(jià)值,基礎(chǔ)的目標(biāo)是應(yīng)用運(yùn)維平臺的數(shù)據(jù)判斷設(shè)備運(yùn)行狀態(tài)是否正常,識別數(shù)值異常、設(shè)備狀態(tài)異常或生產(chǎn)過程中的異常,給出報(bào)警,提醒設(shè)備管理方基于設(shè)備狀態(tài)進(jìn)行預(yù)知性維護(hù),或及時(shí)處理生產(chǎn)過程中的異常,降低設(shè)備故障劣化造成的損失。設(shè)備數(shù)據(jù)的初步應(yīng)用通常是設(shè)置單個(gè)參數(shù)超限的預(yù)警模型,首先需要設(shè)置合適的超限閾值。
2、計(jì)算閾值的常規(guī)方法是選取一段數(shù)據(jù),經(jīng)箱型圖過濾后,通過均值和標(biāo)準(zhǔn)差計(jì)算閾值,該方法已在運(yùn)維平臺上使用,對于數(shù)據(jù)整體平穩(wěn)的理想情況,計(jì)算的閾值與人工經(jīng)驗(yàn)一致,經(jīng)行業(yè)專家確認(rèn)后可以直接使用。對于數(shù)據(jù)不穩(wěn)定的非理想情況,或者選取的數(shù)值較低的情況,使用該方法計(jì)算的閾值與人工經(jīng)驗(yàn)設(shè)定的閾值有差異,在實(shí)際生產(chǎn)中仍然存在很多閾值設(shè)置不合適觸發(fā)的誤報(bào)警,主要原因是因?yàn)檫x取的數(shù)據(jù)存在數(shù)值異常、數(shù)據(jù)缺失、設(shè)備正常運(yùn)行且數(shù)值較低等不理想的情況,導(dǎo)致統(tǒng)計(jì)計(jì)算結(jié)果偏離閾值設(shè)置的合理范圍,因此可以通過人工篩選相對平穩(wěn)的一段數(shù)據(jù),計(jì)算出更合理的閾值。
3、基于箱型圖對數(shù)據(jù)過濾時(shí),以下幾種情況無法有效處理:
4、(1)數(shù)據(jù)缺失
5、如果計(jì)算閾值時(shí)抽取的數(shù)據(jù)存在數(shù)據(jù)缺失,則需要先判斷數(shù)據(jù)缺失多少,再?zèng)Q定是否需要計(jì)算閾值,同時(shí)給出缺失的最長時(shí)間,并及時(shí)恢復(fù)數(shù)據(jù);
6、(2)數(shù)值長期不變
7、排除開關(guān)量、狀態(tài)量等參數(shù)后,數(shù)值長期不變也是數(shù)據(jù)異常的一種表現(xiàn)形式,需要提前過濾掉再計(jì)算閾值,并及時(shí)恢復(fù)數(shù)據(jù);
8、(3)數(shù)值異常大或異常小
9、如果某些數(shù)據(jù)項(xiàng)的數(shù)值存在明顯的偏大或偏小,且存在的比例較高,使用箱型圖就無法濾除,從而導(dǎo)致常規(guī)方法計(jì)算出來的閾值偏高或偏低;
10、(4)數(shù)據(jù)量較少
11、數(shù)據(jù)經(jīng)過以上預(yù)處理,即排除數(shù)據(jù)缺失、數(shù)值長期不變、數(shù)值異常大或異常小,如果剩余的數(shù)據(jù)量較少,用少量數(shù)據(jù)計(jì)算的閾值沒有參考意義,需指定計(jì)算閾值所需的最低數(shù)據(jù)量,少于一定點(diǎn)數(shù)的不計(jì)算閾值。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明所要解決的技術(shù)問題是提供一種適用于設(shè)備運(yùn)行狀態(tài)異常檢測的自適應(yīng)閾值計(jì)算方法,本方法克服傳統(tǒng)閾值計(jì)算的缺陷,彌補(bǔ)僅對數(shù)據(jù)進(jìn)行箱型圖去噪后計(jì)算閾值的不足,使得計(jì)算的閾值更加合理,降低單參數(shù)超限預(yù)警模型的誤報(bào)率,?減少人工調(diào)整閾值的工作量,提升智能運(yùn)維平臺的應(yīng)用效率。
2、為解決上述技術(shù)問題,本發(fā)明適用于設(shè)備運(yùn)行狀態(tài)異常檢測的自適應(yīng)閾值計(jì)算方法包括如下步驟:
3、步驟一、對設(shè)備進(jìn)行分類,區(qū)分設(shè)備管理域、設(shè)備類別和數(shù)據(jù)領(lǐng)域,將人工設(shè)定閾值的經(jīng)驗(yàn)固化為自動(dòng)計(jì)算邏輯;
4、步驟二、數(shù)據(jù)分析,分析原始數(shù)據(jù)的規(guī)律,基于統(tǒng)計(jì)結(jié)果區(qū)分?jǐn)?shù)值異常、數(shù)據(jù)缺失、數(shù)值分段變化情況;
5、步驟三、數(shù)據(jù)預(yù)處理,對原始數(shù)據(jù)進(jìn)行去噪點(diǎn)預(yù)處理,通過變異系數(shù)的統(tǒng)計(jì)值描述原始數(shù)據(jù)的規(guī)律,確定是否聚類為多個(gè)數(shù)值區(qū)間;
6、步驟四、數(shù)據(jù)異常處理,檢查數(shù)據(jù)是否存在數(shù)據(jù)缺失,若數(shù)據(jù)缺失的量在可接受的范圍,則繼續(xù)進(jìn)行數(shù)值持續(xù)不變的判斷,過濾掉數(shù)值持續(xù)不變、數(shù)值異常大和異常小的情況,再判斷現(xiàn)存的數(shù)據(jù)量是否滿足計(jì)算閾值的最低數(shù)據(jù)量要求,若數(shù)據(jù)量滿足計(jì)算閾值的最低數(shù)據(jù)量要求,則使用均值和標(biāo)準(zhǔn)差計(jì)算自適應(yīng)閾值。
7、進(jìn)一步,所述步驟三中通過變異系數(shù)的統(tǒng)計(jì)值確定數(shù)據(jù)是否聚類,如果聚類,則使用聚類方法找出數(shù)值低和數(shù)值高的兩簇?cái)?shù)據(jù),若需要設(shè)定上限值,使用數(shù)值高的一簇?cái)?shù)據(jù)計(jì)算閾值,再使用聚類前的全部數(shù)據(jù)計(jì)算閾值,取兩者的最大值作為最終的自適應(yīng)閾值;若需要設(shè)定下限值,則取數(shù)值低的一簇?cái)?shù)據(jù)計(jì)算閾值,再與全部數(shù)據(jù)計(jì)算的閾值進(jìn)行比較,取兩者的最小值作為最終的自適應(yīng)閾值;如果不聚類,則直接使用去噪點(diǎn)后的全部數(shù)據(jù)計(jì)算自適應(yīng)閾值。
8、進(jìn)一步,所述步驟四中自適應(yīng)閾值計(jì)算前首先判斷人工設(shè)定閾值的自動(dòng)計(jì)算邏輯是否有確定的數(shù)學(xué)公式,若是,按自動(dòng)計(jì)算邏輯計(jì)算閾值,若否,采用箱型圖對原始數(shù)據(jù)進(jìn)行過濾后計(jì)算自適應(yīng)閾值。
9、進(jìn)一步,自適應(yīng)閾值計(jì)算按照設(shè)備管理域、設(shè)備類別和數(shù)據(jù)領(lǐng)域進(jìn)行分類閾值計(jì)算。
10、進(jìn)一步,對所計(jì)算的自適應(yīng)閾值進(jìn)行定期更新,周期性選取歷史數(shù)據(jù)計(jì)算新的自適應(yīng)閾值,對比原有閾值,若差異較大提醒閾值設(shè)定人員,人工判斷新的自適應(yīng)閾值是否合理、是否更新閾值。
11、由于本發(fā)明適用于設(shè)備運(yùn)行狀態(tài)異常檢測的自適應(yīng)閾值計(jì)算方法采用了上述技術(shù)方案,即本方法結(jié)合人工經(jīng)驗(yàn),區(qū)分設(shè)備和數(shù)據(jù)項(xiàng)的類別,基于統(tǒng)計(jì)結(jié)果區(qū)分原始數(shù)據(jù)的規(guī)律,對原始數(shù)據(jù)進(jìn)行預(yù)處理,通過變異系數(shù)的統(tǒng)計(jì)值描述原始數(shù)據(jù)的規(guī)律,確定是否聚類為多個(gè)數(shù)值區(qū)間;自動(dòng)篩選正常范圍的數(shù)據(jù);對數(shù)據(jù)異常處理后判斷現(xiàn)存的數(shù)據(jù)量是否滿足計(jì)算閾值的最低數(shù)據(jù)量要求,若滿足則使用均值和標(biāo)準(zhǔn)差計(jì)算自適應(yīng)閾值。本方法克服傳統(tǒng)閾值計(jì)算的缺陷,彌補(bǔ)僅對數(shù)據(jù)進(jìn)行箱型圖去噪后計(jì)算閾值的不足,使得計(jì)算的閾值更加合理,降低單參數(shù)超限預(yù)警模型的誤報(bào)率,?減少人工調(diào)整閾值的工作量,提升智能運(yùn)維平臺的應(yīng)用效率。
1.一種適用于設(shè)備運(yùn)行狀態(tài)異常檢測的自適應(yīng)閾值計(jì)算方法,其特征在于包括如下步驟:
2.根據(jù)權(quán)利要求1所述的適用于設(shè)備運(yùn)行狀態(tài)異常檢測的自適應(yīng)閾值計(jì)算方法,其特征在于:所述步驟三中通過變異系數(shù)的統(tǒng)計(jì)值確定數(shù)據(jù)是否聚類,如果聚類,則使用聚類方法找出數(shù)值低和數(shù)值高的兩簇?cái)?shù)據(jù),若需要設(shè)定上限值,使用數(shù)值高的一簇?cái)?shù)據(jù)計(jì)算閾值,再使用聚類前的全部數(shù)據(jù)計(jì)算閾值,取兩者的最大值作為最終的自適應(yīng)閾值;若需要設(shè)定下限值,則取數(shù)值低的一簇?cái)?shù)據(jù)計(jì)算閾值,再與全部數(shù)據(jù)計(jì)算的閾值進(jìn)行比較,取兩者的最小值作為最終的自適應(yīng)閾值;如果不聚類,則直接使用去噪點(diǎn)后的全部數(shù)據(jù)計(jì)算自適應(yīng)閾值。
3.根據(jù)權(quán)利要求1或2所述的適用于設(shè)備運(yùn)行狀態(tài)異常檢測的自適應(yīng)閾值計(jì)算方法,其特征在于:所述步驟四中自適應(yīng)閾值計(jì)算前首先判斷人工設(shè)定閾值的自動(dòng)計(jì)算邏輯是否有確定的數(shù)學(xué)公式,若是,按自動(dòng)計(jì)算邏輯計(jì)算閾值,若否,采用箱型圖對原始數(shù)據(jù)進(jìn)行過濾后計(jì)算自適應(yīng)閾值。
4.根據(jù)權(quán)利要求3所述的適用于設(shè)備運(yùn)行狀態(tài)異常檢測的自適應(yīng)閾值計(jì)算方法,其特征在于:自適應(yīng)閾值計(jì)算按照設(shè)備管理域、設(shè)備類別和數(shù)據(jù)領(lǐng)域進(jìn)行分類閾值計(jì)算。
5.根據(jù)權(quán)利要求3所述的適用于設(shè)備運(yùn)行狀態(tài)異常檢測的自適應(yīng)閾值計(jì)算方法,其特征在于:對所計(jì)算的自適應(yīng)閾值進(jìn)行定期更新,周期性選取歷史數(shù)據(jù)計(jì)算新的自適應(yīng)閾值,對比原有閾值,若差異較大提醒閾值設(shè)定人員,人工判斷新的自適應(yīng)閾值是否合理、是否更新閾值。