本技術(shù)涉及數(shù)據(jù)檢測(cè),具體涉及一種供水網(wǎng)的數(shù)據(jù)異常檢測(cè)方法、系統(tǒng)、介質(zhì)及設(shè)備。
背景技術(shù):
1、供水管網(wǎng)作為城市基礎(chǔ)設(shè)施的關(guān)鍵部分,承擔(dān)著將水資源安全高效輸送至用戶(hù)的重要任務(wù),其運(yùn)行狀態(tài)的優(yōu)劣直接關(guān)聯(lián)到供水的安全性與效率。在物聯(lián)網(wǎng)技術(shù)加持下,通過(guò)部署大量傳感器實(shí)現(xiàn)對(duì)流量、壓力等關(guān)鍵指標(biāo)的實(shí)時(shí)監(jiān)測(cè),為及時(shí)發(fā)現(xiàn)漏損、爆管等異常情況提供了技術(shù)支撐,對(duì)保障供水安全和提升管網(wǎng)運(yùn)行效率至關(guān)重要。
2、供水系統(tǒng)的異常檢測(cè)主要依賴(lài)于傳感器收集的各類(lèi)數(shù)據(jù),如水流量、壓力和水質(zhì)變化等。通過(guò)實(shí)時(shí)采集這些數(shù)據(jù)并與閾值比較來(lái)判斷是否存在異常數(shù)據(jù),但是該異常判斷的方法依賴(lài)較為固定和簡(jiǎn)單的閾值比較,使得對(duì)管道的數(shù)據(jù)異常判斷的準(zhǔn)確性較低。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)提供了一種供水網(wǎng)的數(shù)據(jù)異常檢測(cè)方法、系統(tǒng)、介質(zhì)及設(shè)備,可以提高對(duì)管道的異常數(shù)據(jù)檢測(cè)的準(zhǔn)確性。
2、第一方面,本技術(shù)提供了一種供水網(wǎng)的數(shù)據(jù)異常檢測(cè)方法,所述方法包括:
3、獲取供水管的目標(biāo)監(jiān)測(cè)數(shù)據(jù);
4、對(duì)所述目標(biāo)監(jiān)測(cè)數(shù)據(jù)進(jìn)行特征提取,得到特征數(shù)據(jù);
5、基于所述特征數(shù)據(jù)對(duì)所述供水管進(jìn)行異常檢測(cè),得到異常評(píng)分;
6、獲取供水管的管道參數(shù)以及所述供水管所處的環(huán)境參數(shù),基于所述管道參數(shù)以及所述環(huán)境參數(shù)對(duì)所述異常評(píng)分進(jìn)行調(diào)整,得到目標(biāo)評(píng)分;
7、基于所述目標(biāo)評(píng)分生成所述供水管的檢測(cè)結(jié)果。
8、通過(guò)采用上述技術(shù)方案,與現(xiàn)有技術(shù)中僅依靠傳感器數(shù)據(jù)簡(jiǎn)單閾值判斷的異常檢測(cè)不同,本技術(shù)通過(guò)對(duì)監(jiān)測(cè)數(shù)據(jù)進(jìn)行特征提取得到特征數(shù)據(jù),然后基于特征數(shù)據(jù)利用機(jī)器學(xué)習(xí)模型來(lái)實(shí)現(xiàn)更準(zhǔn)確初始的異常評(píng)分,能夠有效發(fā)現(xiàn)供水管網(wǎng)中的潛在異常,其中,獲取管道參數(shù)和環(huán)境參數(shù),并基于這些參數(shù)對(duì)異常評(píng)分進(jìn)行調(diào)整,可以將管道自身狀態(tài)和環(huán)境影響綜合考慮,對(duì)檢測(cè)結(jié)果進(jìn)行校正,避免環(huán)境變化導(dǎo)致的誤報(bào),進(jìn)一步提高對(duì)管道的異常數(shù)據(jù)檢測(cè)的準(zhǔn)確性。
9、可選的,所述獲取供水管的目標(biāo)監(jiān)測(cè)數(shù)據(jù),包括:
10、實(shí)時(shí)獲取供水管的原始監(jiān)測(cè)數(shù)據(jù);
11、對(duì)所述原始監(jiān)測(cè)數(shù)據(jù)分別進(jìn)行去燥和缺失值填補(bǔ)處理,將處理后的數(shù)據(jù)進(jìn)行數(shù)據(jù)歸一化處理,得到目標(biāo)監(jiān)測(cè)數(shù)據(jù)。
12、通過(guò)采用上述技術(shù)方案,與現(xiàn)有技術(shù)中直接依賴(lài)原始監(jiān)測(cè)數(shù)據(jù)不同,本技術(shù)通過(guò)對(duì)原始監(jiān)測(cè)數(shù)據(jù)進(jìn)行預(yù)處理并得到目標(biāo)監(jiān)測(cè)數(shù)據(jù),預(yù)處理包括對(duì)原始監(jiān)測(cè)數(shù)據(jù)進(jìn)行去燥、填補(bǔ)缺失值、歸一化等處理,可以過(guò)濾原始數(shù)據(jù)中的噪聲,使后續(xù)的特征提取和異常檢測(cè)更加準(zhǔn)確可靠。
13、可選的,所述對(duì)所述目標(biāo)監(jiān)測(cè)數(shù)據(jù)進(jìn)行特征提取,得到特征數(shù)據(jù),包括:
14、將所述目標(biāo)監(jiān)測(cè)數(shù)據(jù)輸入至預(yù)設(shè)的自編碼器中,得到低維特征;
15、對(duì)所述低維特征進(jìn)行解碼處理,得到解碼后的特征;
16、基于交叉驗(yàn)證法對(duì)所述解碼后的特征進(jìn)行特征提取,得到特征數(shù)據(jù)。
17、通過(guò)采用上述技術(shù)方案,通過(guò)構(gòu)建自編碼器對(duì)目標(biāo)監(jiān)測(cè)數(shù)據(jù)進(jìn)行降維,然后解碼得到解碼特征,并利用交叉驗(yàn)證對(duì)解碼特征進(jìn)行特征提取,以得到更優(yōu)質(zhì)的特征數(shù)據(jù),該過(guò)程充分利用了自編碼器的降維與重構(gòu)功能,可以提取監(jiān)測(cè)數(shù)據(jù)中的潛在特征,有利于后續(xù)的異常檢測(cè),提高了檢測(cè)的準(zhǔn)確性。
18、可選的,所述基于所述特征數(shù)據(jù)對(duì)所述供水管進(jìn)行異常檢測(cè),得到異常評(píng)分之前,還包括:
19、獲取所述供水管的歷史樣本數(shù)據(jù),所述歷史樣本數(shù)據(jù)為經(jīng)過(guò)數(shù)據(jù)預(yù)處理和特征提取后的特征數(shù)據(jù);
20、基于所述歷史樣本數(shù)據(jù)構(gòu)建多個(gè)隔離樹(shù),并基于各所述隔離樹(shù)組成隔離森林模型;
21、基于所述特征數(shù)據(jù)對(duì)所述供水管進(jìn)行異常檢測(cè),得到異常評(píng)分,包括:
22、將所述特征數(shù)據(jù)輸入至所述隔離森林模型中,計(jì)算所述特征數(shù)據(jù)在所述隔離森林模型中每個(gè)隔離樹(shù)下的路徑長(zhǎng)度,并將各所述路徑長(zhǎng)度進(jìn)行平均計(jì)算,得到異常評(píng)分。
23、通過(guò)采用上述技術(shù)方案,通過(guò)構(gòu)建隔離森林模型實(shí)現(xiàn)更可靠的異常檢測(cè),其中,獲取歷史樣本數(shù)據(jù)并進(jìn)行數(shù)據(jù)處理、特征提取,以構(gòu)建多個(gè)隔離樹(shù),再由各隔離樹(shù)組成隔離森林,然后將特征數(shù)據(jù)輸入森林模型,計(jì)算各樹(shù)路徑長(zhǎng)度并平均得到異常評(píng)分,充分利用了大數(shù)據(jù)訓(xùn)練出的隔離森林模型,可以更全面、智能地判斷數(shù)據(jù)異常情況,避免簡(jiǎn)單規(guī)則導(dǎo)致的誤報(bào)情況,提高了異常檢測(cè)的準(zhǔn)確率。
24、可選的,所述基于所述管道參數(shù)以及所述環(huán)境參數(shù)對(duì)所述異常評(píng)分進(jìn)行調(diào)整,得到目標(biāo)評(píng)分,包括:
25、將所述管道參數(shù)和所述環(huán)境參數(shù)分別輸入至預(yù)設(shè)的編碼器中,得到管道參數(shù)編碼和環(huán)境參數(shù)編碼;
26、將所述異常評(píng)分、所述管道參數(shù)編碼和所述環(huán)境參數(shù)編碼拼接成融合向量;
27、將所述融合向量輸入至注意力機(jī)制模型中,得到所述融合向量的加權(quán)和作為目標(biāo)向量,所述注意力機(jī)制模型的權(quán)重系數(shù)是基于所述異常評(píng)分、所述管道參數(shù)編碼和所述環(huán)境參數(shù)編碼之間的相關(guān)性進(jìn)行動(dòng)態(tài)分配;
28、將所述目標(biāo)向量輸入至解碼器中,得到目標(biāo)評(píng)分。
29、通過(guò)采用上述技術(shù)方案,通過(guò)構(gòu)建注意力機(jī)制模型,引入管道參數(shù)和環(huán)境參數(shù)對(duì)異常評(píng)分進(jìn)行調(diào)整,其中,分別對(duì)管道參數(shù)和環(huán)境參數(shù)進(jìn)行編碼,與異常評(píng)分拼接為融合向量,再輸入注意力模型進(jìn)行加權(quán),權(quán)重系數(shù)基于相關(guān)性動(dòng)態(tài)分配,這樣可以根據(jù)管道自身狀態(tài)和環(huán)境情況對(duì)異常評(píng)分進(jìn)行校正,避免環(huán)境變化帶來(lái)的誤報(bào),提高了異常檢測(cè)的準(zhǔn)確性。
30、可選的,所述基于所述目標(biāo)評(píng)分生成所述供水管的檢測(cè)結(jié)果,包括:
31、若所述目標(biāo)評(píng)分小于或等于低異常閾值,則確定所述供水管的檢測(cè)結(jié)果為正常狀態(tài);
32、若所述目標(biāo)評(píng)分大于所述低異常閾值且小于高異常閾值,則確定所述供水管的檢測(cè)結(jié)果為輕度異常狀態(tài);
33、若所述目標(biāo)評(píng)分大于或等于所述高異常閾值,則確定所述供水管的檢測(cè)結(jié)果為嚴(yán)重異常狀態(tài)。
34、通過(guò)采用上述技術(shù)方案,通過(guò)設(shè)置雙閾值法則,可以區(qū)分正常、輕度異常和嚴(yán)重異常三種狀態(tài),其中,根據(jù)目標(biāo)評(píng)分與設(shè)置的低閾值和高閾值的大小關(guān)系進(jìn)行判斷,目標(biāo)評(píng)分在低閾值以下為正常,高于低閾值且低于高閾值為輕度異常,高于或等于高閾值判定為嚴(yán)重異常,這種定量判斷異常程度的方式,可以對(duì)不同級(jí)別的異常情況進(jìn)行差異化響應(yīng),針對(duì)性強(qiáng),有利于優(yōu)化維護(hù)和處理流程。
35、可選的,所述方法還包括:
36、定期收集預(yù)設(shè)時(shí)段內(nèi)所述供水管為非正常狀態(tài)的檢測(cè)結(jié)果,以及將對(duì)應(yīng)的目標(biāo)監(jiān)測(cè)數(shù)據(jù)作為反饋數(shù)據(jù);
37、基于所述反饋數(shù)據(jù)對(duì)所述隔離森林模型中的網(wǎng)絡(luò)參數(shù)進(jìn)行更新,得到更新后的隔離森林模型;
38、基于所述更新后的隔離對(duì)新的供水管進(jìn)行異常檢測(cè),得到新的供水管對(duì)應(yīng)的異常評(píng)分。
39、通過(guò)采用上述技術(shù)方案,通過(guò)收集反饋數(shù)據(jù)對(duì)隔離森林模型進(jìn)行自我優(yōu)化。其中,定期收集非正常狀態(tài)的檢測(cè)結(jié)果及對(duì)應(yīng)的監(jiān)測(cè)數(shù)據(jù)作為反饋數(shù)據(jù),基于反饋數(shù)據(jù)更新模型的參數(shù),得到優(yōu)化后的隔離森林模型,該模型用于新的異常檢測(cè)中,可以不斷積累檢測(cè)經(jīng)驗(yàn)、提高檢測(cè)準(zhǔn)確度,此類(lèi)增量學(xué)習(xí)和持續(xù)優(yōu)化的機(jī)制,使得模型的檢測(cè)能力可以隨數(shù)據(jù)不斷增強(qiáng),顯著提升了檢測(cè)性能。
40、在本技術(shù)的第二方面提供了一種管網(wǎng)漏損噪聲檢測(cè)系統(tǒng),所述系統(tǒng)包括:
41、數(shù)據(jù)獲取模塊,用于獲取供水管的目標(biāo)監(jiān)測(cè)數(shù)據(jù);
42、特征提取模塊,用于對(duì)所述目標(biāo)監(jiān)測(cè)數(shù)據(jù)進(jìn)行特征提取,得到特征數(shù)據(jù);
43、異常檢測(cè)模塊,用于基于所述特征數(shù)據(jù)對(duì)所述供水管進(jìn)行異常檢測(cè),得到異常評(píng)分;
44、評(píng)分調(diào)整模塊,用于獲取供水管的管道參數(shù)以及所述供水管所處的環(huán)境參數(shù),基于所述管道參數(shù)以及所述環(huán)境參數(shù)對(duì)所述異常評(píng)分進(jìn)行調(diào)整,得到目標(biāo)評(píng)分;
45、結(jié)果確定模塊,用于基于所述目標(biāo)評(píng)分生成所述供水管的檢測(cè)結(jié)果。
46、在本技術(shù)的第三方面提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì),所述計(jì)算機(jī)存儲(chǔ)介質(zhì)存儲(chǔ)有多條指令,所述指令適于由處理器加載并執(zhí)行上述的方法步驟。
47、在本技術(shù)的第四方面提供了一種電子設(shè)備,包括:處理器和存儲(chǔ)器;其中,所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序適于由所述處理器加載并執(zhí)行上述的方法步驟。
48、綜上所述,本技術(shù)實(shí)施例中提供的一個(gè)或多個(gè)技術(shù)方案,至少具有如下技術(shù)效果或優(yōu)點(diǎn):
49、與現(xiàn)有技術(shù)中僅依靠傳感器數(shù)據(jù)簡(jiǎn)單閾值判斷的異常檢測(cè)不同,本技術(shù)通過(guò)對(duì)監(jiān)測(cè)數(shù)據(jù)進(jìn)行特征提取得到特征數(shù)據(jù),然后基于特征數(shù)據(jù)利用機(jī)器學(xué)習(xí)模型來(lái)實(shí)現(xiàn)更準(zhǔn)確初始的異常評(píng)分,能夠有效發(fā)現(xiàn)供水管網(wǎng)中的潛在異常,其中,獲取管道參數(shù)和環(huán)境參數(shù),并基于這些參數(shù)對(duì)異常評(píng)分進(jìn)行調(diào)整,可以將管道自身狀態(tài)和環(huán)境影響綜合考慮,對(duì)檢測(cè)結(jié)果進(jìn)行校正,避免環(huán)境變化導(dǎo)致的誤報(bào),進(jìn)一步提高對(duì)管道的異常數(shù)據(jù)檢測(cè)的準(zhǔn)確性。