本發(fā)明涉及時(shí)間序列數(shù)據(jù)異常檢測(cè)，具體為一種針對(duì)時(shí)間序列數(shù)據(jù)的無(wú)監(jiān)督異常檢測(cè)方法。

背景技術(shù)：

1、時(shí)間序列數(shù)據(jù)廣泛存在于金融市場(chǎng)、醫(yī)療監(jiān)控、工業(yè)過(guò)程控制和地質(zhì)災(zāi)害預(yù)警等諸多領(lǐng)域。有效的時(shí)間序列異常檢測(cè)能夠幫助識(shí)別潛在問(wèn)題，預(yù)測(cè)系統(tǒng)故障，從而提高系統(tǒng)的可靠性和安全性。然而，時(shí)間序列數(shù)據(jù)通常具有復(fù)雜性和多樣性，給異常檢測(cè)帶來(lái)了諸多挑戰(zhàn)。

2、面對(duì)挑戰(zhàn)，研究者從不同視角對(duì)異常檢測(cè)方法進(jìn)行探索。其中，無(wú)監(jiān)督異常檢測(cè)方法不依賴于標(biāo)注數(shù)據(jù)，通過(guò)學(xué)習(xí)數(shù)據(jù)的正常模式來(lái)檢測(cè)異常點(diǎn)。相比于監(jiān)督學(xué)習(xí)方法，無(wú)監(jiān)督方法更加通用，特別適用于實(shí)際應(yīng)用中難以獲得充足標(biāo)注數(shù)據(jù)的場(chǎng)景。常見的無(wú)監(jiān)督異常檢測(cè)方法包括基于統(tǒng)計(jì)、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法。但是傳統(tǒng)的異常檢測(cè)方法在處理復(fù)雜時(shí)間序列數(shù)據(jù)時(shí)存在諸多局限性。例如，統(tǒng)計(jì)方法依賴于數(shù)據(jù)的統(tǒng)計(jì)特性，主要劣勢(shì)在于假設(shè)限制強(qiáng)、參數(shù)選擇復(fù)雜、處理復(fù)雜和非線性模式能力有限，以及應(yīng)對(duì)長(zhǎng)時(shí)間依賴和數(shù)據(jù)模式變化能力較差。基于機(jī)器學(xué)習(xí)方法自動(dòng)化程度較低，需要手動(dòng)進(jìn)行特征工程和參數(shù)調(diào)優(yōu)。

3、隨著計(jì)算機(jī)人工智能領(lǐng)域的蓬勃發(fā)展，深度學(xué)習(xí)方法逐漸在異常檢測(cè)中展現(xiàn)出了優(yōu)勢(shì)，但也存在一些不足。例如，自編碼器(autoencoder,ae)通過(guò)壓縮和重構(gòu)數(shù)據(jù)來(lái)識(shí)別異常點(diǎn)，但通常難以捕捉時(shí)間序列中的時(shí)序依賴關(guān)系。循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrentneuralnetwork,rnn)，尤其是長(zhǎng)短期記憶網(wǎng)絡(luò)(longshort-termmemory,lstm)和門控循環(huán)單元(gatedrecurrentunit,gru)，擅長(zhǎng)處理序列數(shù)據(jù)，但在異常檢測(cè)中往往需要大規(guī)模帶標(biāo)簽的數(shù)據(jù)進(jìn)行訓(xùn)練。變分自編碼器(variationalauto-encoder,vae)通過(guò)學(xué)習(xí)數(shù)據(jù)的概率分布進(jìn)行重構(gòu)和生成，但標(biāo)準(zhǔn)vae在處理復(fù)雜時(shí)間序列時(shí)存在潛在空間結(jié)構(gòu)不清晰的問(wèn)題。

4、為克服現(xiàn)有方法的不足本文提出了一種結(jié)合β-vae和bilstm的無(wú)監(jiān)督時(shí)間序列異常檢測(cè)方法，融合二者優(yōu)勢(shì)設(shè)計(jì)了完整的時(shí)間序列異常檢測(cè)框架。首先，利用β-vae模塊編碼器對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行編碼，用低維嵌入表示窗口內(nèi)的局部信息。通過(guò)引入超參數(shù)增強(qiáng)潛在空間的解耦性和表達(dá)能力，從而更好地捕捉數(shù)據(jù)的內(nèi)在特征。然后，采用bilstm模型處理β-vae模塊編碼器產(chǎn)生的低維嵌入、管理長(zhǎng)期的序列模式并對(duì)潛在表示進(jìn)行預(yù)測(cè)，通過(guò)平均融合預(yù)測(cè)結(jié)果充分利用雙向lstm的前向和后向信息，提高對(duì)時(shí)間序列依賴關(guān)系的建模能力。最后，將bilstm的預(yù)測(cè)結(jié)果輸入β-vae模塊解碼器進(jìn)行重構(gòu)，通過(guò)計(jì)算重構(gòu)誤差進(jìn)行異常檢測(cè)，有效識(shí)別出異常點(diǎn)和潛在異常區(qū)域。該方法為時(shí)間序列異常檢測(cè)提供了一種新穎且有效的解決方案。

技術(shù)實(shí)現(xiàn)思路

1、為實(shí)現(xiàn)以上目的，本發(fā)明通過(guò)以下技術(shù)方案予以實(shí)現(xiàn)：一種針對(duì)時(shí)間序列數(shù)據(jù)的無(wú)監(jiān)督異常檢測(cè)方法，包括以下步驟：

2、步驟一：對(duì)獲取到的時(shí)間序列數(shù)據(jù)進(jìn)行預(yù)處理，其具體步驟為：

3、s1、使用當(dāng)前數(shù)據(jù)的前向值和后向值的平均值對(duì)當(dāng)前數(shù)據(jù)集中的空值進(jìn)行填充；

4、s2、將數(shù)據(jù)集中的數(shù)值型數(shù)據(jù)進(jìn)行數(shù)據(jù)歸一化處理。將數(shù)據(jù)歸一化到均值為0，標(biāo)準(zhǔn)差為1的標(biāo)準(zhǔn)正態(tài)分布上；

5、s3、從給定的時(shí)間序列數(shù)據(jù)集中分離出訓(xùn)練集和測(cè)試集，選取時(shí)間序列中不含異常的連續(xù)時(shí)間序列作為訓(xùn)練數(shù)據(jù)，其余包含異常的時(shí)間序列作為測(cè)試數(shù)據(jù)用于模型評(píng)估；

6、再在訓(xùn)練集中抽取10％的數(shù)據(jù)作為驗(yàn)證集，該部分和訓(xùn)練集完全分開用于模型驗(yàn)證和調(diào)試；

7、s4、對(duì)將要輸入到β-vae模塊編碼器進(jìn)行數(shù)據(jù)特征提取的數(shù)據(jù)集進(jìn)行數(shù)據(jù)切片和擴(kuò)充，形成β-vae模塊訓(xùn)練集；

8、將訓(xùn)練集采用重疊窗口方法生成多個(gè)滑動(dòng)窗口，以增加待訓(xùn)練窗口數(shù)量。具體來(lái)說(shuō)，給定原始訓(xùn)練集數(shù)量為ntrain，滑動(dòng)窗口長(zhǎng)度為l，則生成的滑動(dòng)窗口數(shù)量為

9、nwin＝ntrain-l+1

10、s5、對(duì)原始訓(xùn)練集重新進(jìn)行切片和擴(kuò)充形成bilstm模塊訓(xùn)練集，用于訓(xùn)練bilstm模塊進(jìn)行潛在表示的時(shí)間依賴性預(yù)測(cè)；

11、在bilstm模型的訓(xùn)練集上采用滑動(dòng)窗口和非重疊窗口方法，從時(shí)間序列數(shù)據(jù)中生成多個(gè)訓(xùn)練序列，具體步驟如下：

12、a1、生成非重疊窗口；首先根據(jù)滑動(dòng)窗口大小和訓(xùn)練樣本數(shù)量，生成固定長(zhǎng)度的非重疊窗口，非重疊窗口的數(shù)量為：

13、

14、其中，k表示滑動(dòng)窗口的起始偏移，k∈[1,…,l]；

15、a2、生成bilstm輸入序列；然后生成bilstm的輸入序列。對(duì)于每個(gè)起始偏移k，生成bilstm序列數(shù)量為：

16、ncur＝nnot-s+1

17、其中，s為每個(gè)序列中滑動(dòng)窗口的數(shù)量；

18、a3、組合所有序列。將生成的所有bilstm序列組合成完整的訓(xùn)練序列集，數(shù)量為：

19、

20、即：

21、

22、其中，第t個(gè)序列為：

23、wt＝[wt,…,wt+(s-2)×l,wt+(s-1)×l]。

24、步驟二：構(gòu)建無(wú)監(jiān)督時(shí)間序列數(shù)據(jù)異常檢測(cè)框架，該異常檢測(cè)框架以vae為基礎(chǔ)模型，其中重點(diǎn)在于在編碼器模塊和解碼器模塊中引入了bi-lstm模塊以考慮時(shí)序數(shù)據(jù)雙向依賴性，并對(duì)雙向輸出結(jié)果進(jìn)行融合；

25、步驟三、訓(xùn)練β-vae模塊和bilstm模塊；

26、步驟四、針對(duì)重構(gòu)的窗口，定義評(píng)分函數(shù)來(lái)標(biāo)記窗口的異常行為，累加得到每個(gè)窗口的預(yù)測(cè)誤差；

27、檢測(cè)異常，在評(píng)分函數(shù)上定義一個(gè)閾值，通過(guò)網(wǎng)格搜索法尋找最優(yōu)閾值，若超過(guò)該閾值，將在當(dāng)前時(shí)刻觸發(fā)異常警報(bào)。對(duì)應(yīng)的序列將標(biāo)記為一個(gè)可疑序列，其可能發(fā)生了異常并標(biāo)記為異常區(qū)域；

28、步驟五、將測(cè)試集輸入訓(xùn)練完成的時(shí)間序列異常檢測(cè)模型，進(jìn)行時(shí)間序列異常的分析評(píng)估；

29、所述步驟二中無(wú)監(jiān)督時(shí)間序列數(shù)據(jù)異常檢測(cè)框架包括：

30、編碼器結(jié)構(gòu)，該編碼器結(jié)構(gòu)以批量包含l個(gè)連續(xù)樣本的局部窗口作為輸入，接收形狀為(b,l,c)的輸入數(shù)據(jù)，其中b是批量大小，l是窗口長(zhǎng)度，c是通道數(shù)；

31、輸入數(shù)據(jù)進(jìn)入編碼器后經(jīng)過(guò)一系列卷積層處理，具體編碼器結(jié)構(gòu)包括：設(shè)計(jì)了l＝24、l＝48和l＝144三種滑動(dòng)窗口長(zhǎng)度作為輸入，卷積核采用3×c大小，之后串聯(lián)三層卷積層用于深層次特征提取，接著針對(duì)不同滑動(dòng)窗口采用不同卷積核提取不同層次特征，最后進(jìn)行全連接操作以低維嵌入的形式映射為潛在空間的均值μ參數(shù)和標(biāo)準(zhǔn)差σ參數(shù)；

32、所述均值μ參數(shù)和標(biāo)準(zhǔn)差σ參數(shù)用于定義潛在變量的分布，通過(guò)多元正態(tài)分布采樣生成編碼后的特征向量；

33、雙向長(zhǎng)短時(shí)記憶模塊，包括正向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模塊和反向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模塊，在實(shí)施階段對(duì)兩個(gè)方向得到的結(jié)果進(jìn)行平均融合；

34、解碼器結(jié)構(gòu)，該解碼器接收編碼后的特征向量或隨機(jī)采樣的潛在向量作為輸入，重建原始信號(hào)；

35、根據(jù)輸入窗口的不同長(zhǎng)度，解碼器結(jié)構(gòu)會(huì)相應(yīng)地調(diào)整，使用逆卷積和轉(zhuǎn)置卷積操作進(jìn)行窗口的逐步重構(gòu)。最終的輸出是重建的(b,l,c)形狀的信號(hào)數(shù)據(jù)；

36、所述解碼器結(jié)構(gòu)為對(duì)輸入數(shù)據(jù)進(jìn)行全連接層和reshap層調(diào)整數(shù)據(jù)結(jié)構(gòu)，之后經(jīng)過(guò)卷積層并采用1×c卷積核和reshap層再次調(diào)整數(shù)據(jù)結(jié)構(gòu)，之后卷積核采用3×c大小的三層卷積層和reshape層對(duì)數(shù)據(jù)特征進(jìn)行深度還原和調(diào)整數(shù)據(jù)結(jié)構(gòu)，最后分別采用9×c和5×c卷積核以及reshape層對(duì)數(shù)據(jù)進(jìn)行重構(gòu)還原為和輸入數(shù)據(jù)相同的l＝24、l＝48和l＝144三種滑動(dòng)窗口長(zhǎng)度。

37、所述步驟三中訓(xùn)練β-vae模塊和bilstm模塊具體步驟為：

38、b1、將步驟一中處理好的β-vae模塊訓(xùn)練集輸入β-vae模塊以訓(xùn)練β-vae模塊。訓(xùn)練過(guò)程中使用改進(jìn)的elbo損失作為損失函數(shù)；

39、b2、將步驟一中處理好的bilstm模塊訓(xùn)練集經(jīng)β-vae編碼器模塊編碼后輸入bilstm模塊并對(duì)該模塊進(jìn)行訓(xùn)練；

40、設(shè)置優(yōu)化器、損失函數(shù)、學(xué)習(xí)率和batchsize等參數(shù)，之后訓(xùn)練神經(jīng)網(wǎng)絡(luò)的參數(shù)。模型使用均方誤差作為損失函數(shù)，并采用adam優(yōu)化器進(jìn)行參數(shù)優(yōu)化。訓(xùn)練過(guò)程中，模型使用預(yù)先生成的訓(xùn)練數(shù)據(jù)和驗(yàn)證數(shù)據(jù)進(jìn)行批處理訓(xùn)練。設(shè)置了批處理大小、訓(xùn)練輪數(shù)和回調(diào)函數(shù)來(lái)監(jiān)控和優(yōu)化訓(xùn)練過(guò)程；

41、b3、對(duì)結(jié)果進(jìn)行平均融合，然后輸入到β-vae解碼器進(jìn)行重構(gòu)；計(jì)算重構(gòu)數(shù)據(jù)和原數(shù)據(jù)的重構(gòu)誤差。

42、本發(fā)明提供了一種針對(duì)時(shí)間序列數(shù)據(jù)的無(wú)監(jiān)督異常檢測(cè)方法。具備以下有益效果：

43、一、該針對(duì)時(shí)間序列數(shù)據(jù)的無(wú)監(jiān)督異常檢測(cè)方法，采用長(zhǎng)短期記憶網(wǎng)絡(luò)模塊估計(jì)潛在表示的長(zhǎng)期相關(guān)性，捕捉其前向和后向的依賴關(guān)系，并對(duì)其進(jìn)行時(shí)序預(yù)測(cè)。最后，通過(guò)對(duì)預(yù)測(cè)結(jié)果平均融合和解碼器重構(gòu)，進(jìn)而計(jì)算重構(gòu)誤差來(lái)檢測(cè)時(shí)序異常。該方法在多個(gè)公開時(shí)間序列數(shù)據(jù)集上具有優(yōu)越的異常檢測(cè)性能，能夠有效提取時(shí)間相關(guān)的復(fù)雜數(shù)據(jù)特征，實(shí)現(xiàn)高效計(jì)算和實(shí)時(shí)異常檢測(cè)，識(shí)別異常點(diǎn)和異常區(qū)域，提高了檢測(cè)精度和魯棒性，減少了誤報(bào)和漏報(bào)。

44、二、該針對(duì)時(shí)間序列數(shù)據(jù)的無(wú)監(jiān)督異常檢測(cè)方法，β-vae-bilstm模型在解纏結(jié)表示學(xué)習(xí)、雙向依賴關(guān)系捕捉、重構(gòu)誤差敏感性以及模型可解釋性方面的優(yōu)勢(shì)，使其有利于時(shí)間序列異常檢測(cè)。

45、三、該針對(duì)時(shí)間序列數(shù)據(jù)的無(wú)監(jiān)督異常檢測(cè)方法，通過(guò)在β-vae的elbo目標(biāo)函數(shù)中引入超參數(shù)β，增強(qiáng)了潛在空間的解纏結(jié)表示能力，使得每個(gè)潛在變量獨(dú)立地控制時(shí)間序列中的某個(gè)特定因素。這種解纏結(jié)表示對(duì)于捕捉時(shí)間序列數(shù)據(jù)的本質(zhì)特征至關(guān)重要，而這些特征在bilstm的時(shí)間依賴建模過(guò)程中可以得到充分利用。通過(guò)β-vae編碼器獲得的潛在表示，時(shí)間序列數(shù)據(jù)被轉(zhuǎn)換為結(jié)構(gòu)化且更具解釋性的表示，使得后續(xù)的bilstm預(yù)測(cè)更為準(zhǔn)確和高效。

46、四、該針對(duì)時(shí)間序列數(shù)據(jù)的無(wú)監(jiān)督異常檢測(cè)方法，通過(guò)bilstm在捕捉時(shí)間序列中的雙向依賴關(guān)系方面表現(xiàn)出色。時(shí)間序列數(shù)據(jù)中的異常往往依賴于過(guò)去和未來(lái)的數(shù)據(jù)點(diǎn)，通過(guò)雙向的lstm單元，bilstm能夠更全面地捕捉時(shí)間序列數(shù)據(jù)的上下文信息。結(jié)合β-vae的潛在表示，bilstm能夠利用更豐富的特征進(jìn)行建模，從而提高異常檢測(cè)的精度。這種雙向信息的融合，使得模型在每個(gè)時(shí)間點(diǎn)都能利用完整的上下文信息，增強(qiáng)了對(duì)復(fù)雜異常模式的識(shí)別能力。

47、五、該針對(duì)時(shí)間序列數(shù)據(jù)的無(wú)監(jiān)督異常檢測(cè)方法，首先對(duì)數(shù)據(jù)集進(jìn)行了預(yù)處理尤其對(duì)數(shù)據(jù)設(shè)計(jì)了擴(kuò)充方法，使其在樣本量較少的數(shù)據(jù)集上仍然有較強(qiáng)的異常檢測(cè)能力。在保留了vae模型編碼器和解碼器整體框架基礎(chǔ)上，對(duì)編碼器和解碼器內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)重新進(jìn)行了設(shè)計(jì)，進(jìn)一步優(yōu)化了vae模型的elbo損失，使其表示學(xué)習(xí)能力進(jìn)一步提高。為了增強(qiáng)vae模型的時(shí)間依賴性，在編碼器和解碼器中間，添加了具有長(zhǎng)時(shí)間依賴性的雙向lstm結(jié)構(gòu)，并對(duì)雙向的lstm的預(yù)測(cè)編碼結(jié)果進(jìn)行平均融合。最終設(shè)計(jì)β-vae編碼器-bilstm-β-vae解碼器的異常檢測(cè)框架。通過(guò)網(wǎng)格搜索法找到最合適的重構(gòu)誤差閾值，實(shí)現(xiàn)離線檢測(cè)已有數(shù)據(jù)異常和異常范圍以及實(shí)時(shí)檢測(cè)數(shù)據(jù)異常和異常區(qū)域的目標(biāo)。

48、六、該針對(duì)時(shí)間序列數(shù)據(jù)的無(wú)監(jiān)督異常檢測(cè)方法，β-vae-bilstm方法由于其強(qiáng)大的建模能力和對(duì)復(fù)雜依賴關(guān)系的捕捉能力，能夠適應(yīng)不同類型的時(shí)間序列數(shù)據(jù)，并在所測(cè)試數(shù)據(jù)集包含的各種應(yīng)用場(chǎng)景中表現(xiàn)出色。無(wú)論是用于實(shí)時(shí)監(jiān)控的異常檢測(cè)，還是用于歷史數(shù)據(jù)分析的異常挖掘，該方法都能提供高效和準(zhǔn)確的解決方案。