本發(fā)明涉及無(wú)線通信、人工智能及大數(shù)據(jù)分析，特別是涉及一種基于雙分支模型的網(wǎng)絡(luò)異常檢測(cè)方法及裝置。

背景技術(shù)：

1、隨著5g技術(shù)和互聯(lián)網(wǎng)的高速發(fā)展，信息通信網(wǎng)絡(luò)規(guī)模愈發(fā)龐大，接入終端設(shè)備數(shù)量正在急劇增加，如何保障網(wǎng)絡(luò)長(zhǎng)期穩(wěn)健運(yùn)行已成為需要迫切解決的問(wèn)題。由此，智能運(yùn)維(artificial?intelligence?for?it?operations，aiops)成為了國(guó)內(nèi)外的發(fā)展趨勢(shì)和研究熱點(diǎn)，許多企業(yè)都在積極探索和實(shí)現(xiàn)aiops。同時(shí)，國(guó)家政策也在推動(dòng)產(chǎn)業(yè)數(shù)字化智能化改造，促進(jìn)數(shù)字經(jīng)濟(jì)發(fā)展，為智能運(yùn)維行業(yè)的發(fā)展提供了有力支持。aiops包含網(wǎng)絡(luò)異常檢測(cè)、故障根因分析、故障預(yù)警等功能，其中，異常檢測(cè)為aiops的重要環(huán)節(jié)。網(wǎng)管系統(tǒng)無(wú)時(shí)無(wú)刻都在收集來(lái)自各終端的關(guān)鍵性能指標(biāo)(key?performance?indicator，kpi)數(shù)據(jù)，通過(guò)對(duì)kpi數(shù)據(jù)的分析，運(yùn)維人員可以判斷網(wǎng)絡(luò)的運(yùn)行狀態(tài)。因此，如何保證及時(shí)準(zhǔn)確地從海量kpi數(shù)據(jù)中發(fā)現(xiàn)網(wǎng)絡(luò)異常，已成為網(wǎng)絡(luò)運(yùn)維的關(guān)鍵挑戰(zhàn)。

2、基于機(jī)器學(xué)習(xí)的異常檢測(cè)方法如今被廣泛應(yīng)用。其中，一大類方法使用監(jiān)督學(xué)習(xí)的方式訓(xùn)練模型，具有一定準(zhǔn)確性，但對(duì)數(shù)據(jù)樣本要求高，過(guò)度依賴數(shù)據(jù)標(biāo)簽，且還具有很高的訓(xùn)練和檢測(cè)開(kāi)銷，難以應(yīng)用于大規(guī)?；ヂ?lián)網(wǎng)服務(wù)。另一大類方法通過(guò)無(wú)監(jiān)督任務(wù)克服缺乏帶標(biāo)簽數(shù)據(jù)問(wèn)題，從復(fù)雜的時(shí)間動(dòng)態(tài)中學(xué)習(xí)信息表征，節(jié)省了標(biāo)注成本，學(xué)習(xí)到的特征表示通常具有較好的通用性和泛化能力。面對(duì)大數(shù)據(jù)時(shí)代獲取數(shù)據(jù)標(biāo)簽成本高帶來(lái)運(yùn)維難度大的問(wèn)題，許多基于無(wú)監(jiān)督深度學(xué)習(xí)的異常檢測(cè)方法被提出。但現(xiàn)有無(wú)監(jiān)督深度學(xué)習(xí)方法難以從復(fù)雜的網(wǎng)絡(luò)數(shù)據(jù)中提取有用的特征，無(wú)法兼顧數(shù)據(jù)各維度之間的關(guān)聯(lián)關(guān)系，可解釋性相對(duì)較差。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的第一目的在于利用人工智能技術(shù)優(yōu)勢(shì)，通過(guò)對(duì)比學(xué)習(xí)及自注意力機(jī)制構(gòu)建雙分支異常檢測(cè)網(wǎng)絡(luò)來(lái)解決上述時(shí)間序列異常檢測(cè)技術(shù)問(wèn)題，提供一種基于雙分支模型的網(wǎng)絡(luò)異常檢測(cè)方法，能夠及時(shí)準(zhǔn)確地發(fā)現(xiàn)網(wǎng)絡(luò)異常，為運(yùn)維工作提供保障，提升網(wǎng)絡(luò)運(yùn)維效率及用戶體驗(yàn)。

2、本發(fā)明的第二個(gè)目的在于提供一種基于雙分支模型的網(wǎng)絡(luò)異常檢測(cè)裝置。

3、為實(shí)現(xiàn)上述目的，本發(fā)明提供以下技術(shù)方案。

4、一種基于雙分支時(shí)間序列的網(wǎng)絡(luò)異常檢測(cè)方法，包括以下步驟：

5、1)數(shù)據(jù)預(yù)處理：從通信終端獲取kpi數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，包括過(guò)采樣、欠采樣以及特征選??；

6、2)構(gòu)建并優(yōu)化異常檢測(cè)網(wǎng)絡(luò)：將步驟1)預(yù)處理后的數(shù)據(jù)輸入離線訓(xùn)練模塊構(gòu)建異常檢測(cè)網(wǎng)絡(luò)并進(jìn)行離線訓(xùn)練，將歷史數(shù)據(jù)分別輸入對(duì)比學(xué)習(xí)分支以及注意力機(jī)制分支，學(xué)習(xí)數(shù)據(jù)結(jié)構(gòu)內(nèi)部關(guān)聯(lián)、先驗(yàn)關(guān)聯(lián)以及序列關(guān)聯(lián)并計(jì)算對(duì)比損失以及重構(gòu)損失，通過(guò)聯(lián)合優(yōu)化多任務(wù)損失函數(shù)，計(jì)算異常分?jǐn)?shù)，得到優(yōu)化后的異常檢測(cè)網(wǎng)絡(luò)；

7、3)在線檢測(cè)與反饋：在線檢測(cè)階段，使用步驟2)得到的異常檢測(cè)網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)的網(wǎng)絡(luò)異常檢測(cè)，檢測(cè)結(jié)果進(jìn)行周期性反饋，將異常數(shù)據(jù)收集至歷史數(shù)據(jù)庫(kù)，根據(jù)周期性反饋的數(shù)據(jù)同，定期更新異常檢測(cè)網(wǎng)絡(luò)參數(shù)，優(yōu)化檢測(cè)結(jié)果。

8、在步驟1)中，所述kpi數(shù)據(jù)包括各類網(wǎng)絡(luò)監(jiān)測(cè)數(shù)據(jù)，例如rrc連接建立成功率、小區(qū)rlc層下行丟包率、同頻切換執(zhí)行成功率、無(wú)線掉線率等。

9、在步驟1)中，所述數(shù)據(jù)預(yù)處理步驟，用于解決由于異常的罕見(jiàn)性帶來(lái)的數(shù)據(jù)不平衡問(wèn)題。具體包括：首先利用過(guò)采樣技術(shù)，如合成少數(shù)類過(guò)采樣技術(shù)(synthetic?minorityoversampling?technique，smote)插入現(xiàn)有的異常類樣本來(lái)創(chuàng)建新的合成異常類樣本；再使用聚類算法，如k-means、層次聚類等對(duì)數(shù)據(jù)進(jìn)行聚類，聚類后選擇包含樣本數(shù)量最多的簇進(jìn)行欠采樣，來(lái)平衡異常和正常樣本數(shù)量；最后進(jìn)行特征選取，通過(guò)計(jì)算類標(biāo)簽對(duì)每個(gè)特征的依賴度，去除依賴度最小的特征。這里將常用的特征選擇技術(shù)互信息用于選擇與輸出類更相關(guān)的特征。基于互信息的特征選擇包括計(jì)算每個(gè)特征與輸出類之間的互信息，選擇互信息得分高的特征，丟棄互信息得分低的特征，進(jìn)而幫助確定所有在分類中作用最小或沒(méi)有作用的特征并將其丟棄，以提高模型的準(zhǔn)確性、減少過(guò)擬合并降低計(jì)算成本。

10、在步驟2)中，所述構(gòu)建異常檢測(cè)網(wǎng)絡(luò)的具體步驟包括：將歷史數(shù)據(jù)分別輸入對(duì)比學(xué)習(xí)分支以及注意力機(jī)制分支，通過(guò)對(duì)比學(xué)習(xí)分支學(xué)習(xí)數(shù)據(jù)結(jié)構(gòu)內(nèi)部關(guān)聯(lián)，計(jì)算對(duì)比損失；通過(guò)注意力機(jī)制分支學(xué)習(xí)數(shù)據(jù)先驗(yàn)關(guān)聯(lián)以及序列關(guān)聯(lián)，計(jì)算重構(gòu)損失；然后聯(lián)合優(yōu)化多任務(wù)損失函數(shù)，計(jì)算異常分?jǐn)?shù)，得到異常檢測(cè)網(wǎng)絡(luò)。

11、在步驟2)中，所述將預(yù)處理后的數(shù)據(jù)分別輸入對(duì)比學(xué)習(xí)分支以及注意力機(jī)制分支，其中包括：對(duì)比學(xué)習(xí)分支包含兩個(gè)相同結(jié)構(gòu)的子網(wǎng)絡(luò)，均使用多層感知器將輸入樣本映射到低維嵌入。定義從單個(gè)設(shè)備測(cè)量的時(shí)間序列數(shù)據(jù)為x＝{x1,x2，…，xt}，其中xi∈rd表示時(shí)間t的觀測(cè)值，d為時(shí)間序列維度。將原始序列x復(fù)制多份,對(duì)每個(gè)時(shí)刻的多元時(shí)間序列數(shù)據(jù)在不同位置進(jìn)行分片(根據(jù)指標(biāo)個(gè)數(shù)確定分片大小k，分為a、b兩部分)組合，即數(shù)據(jù)重組，組合數(shù)為m＝d-k+1。和時(shí)這兩個(gè)互補(bǔ)的組合是一對(duì)正例對(duì)，其余組合均為負(fù)例對(duì),表示對(duì)輸入x的數(shù)據(jù)重組。通過(guò)對(duì)比學(xué)習(xí)學(xué)習(xí)一個(gè)特征空間，最大化正樣本之間的相似性，同時(shí)最小化負(fù)樣本之間的相似性，從而學(xué)習(xí)到數(shù)據(jù)結(jié)構(gòu)內(nèi)部的關(guān)聯(lián)。對(duì)比損失lc由以下交叉熵?fù)p失函數(shù)計(jì)算：

12、

13、其中，代表第i個(gè)時(shí)間點(diǎn)在第j個(gè)指標(biāo)位置的分片數(shù)據(jù)，m為分片重組后的組合數(shù)，exp()指的是以自然常數(shù)e為底的指數(shù)函數(shù)，ln()指的是以e為底數(shù)的對(duì)數(shù)函數(shù)，m(·)、n(·)代表對(duì)比學(xué)習(xí)兩個(gè)子網(wǎng)絡(luò)，超參數(shù)τ為對(duì)比損失的溫度常數(shù)。

14、在步驟2)中，所述所述將預(yù)處理后的數(shù)據(jù)分別輸入對(duì)比學(xué)習(xí)分支以及注意力機(jī)制分支，其中包括：由于單分支自注意力機(jī)制不能同時(shí)對(duì)先驗(yàn)關(guān)聯(lián)和序列關(guān)聯(lián)進(jìn)行建模，使用多層具有雙分支結(jié)構(gòu)的自注意力機(jī)制。對(duì)于先驗(yàn)關(guān)聯(lián)，采用一個(gè)可學(xué)習(xí)的高斯核來(lái)計(jì)算關(guān)于相對(duì)時(shí)間距離的先驗(yàn)。還對(duì)高斯核使用了一個(gè)可學(xué)習(xí)的尺度參數(shù)σ，使得先驗(yàn)關(guān)聯(lián)能夠適應(yīng)不同的時(shí)間序列模式。

15、初始化注意力機(jī)制參數(shù)查詢q(query)、鍵k(key)、值v(value)、σ，其中，σ表示學(xué)習(xí)到的尺度，基于學(xué)習(xí)到的尺度生成先驗(yàn)關(guān)聯(lián)，第i個(gè)元素對(duì)應(yīng)第i個(gè)時(shí)間點(diǎn)。

16、具體來(lái)說(shuō)，對(duì)于第i個(gè)時(shí)間點(diǎn)，其與第j個(gè)時(shí)間點(diǎn)的關(guān)聯(lián)權(quán)重由高斯核計(jì)算：

17、

18、其中，分別表示第l層中q、k、v、σ的參數(shù)矩陣然后使用重縮放(rescale)將關(guān)聯(lián)權(quán)重轉(zhuǎn)化為離散分布，定義為先驗(yàn)關(guān)聯(lián)(prior?association)：

19、

20、利用softmax函數(shù)將注意力圖沿最后一個(gè)維度進(jìn)行歸一化，每一行series形成一個(gè)離散分布，序列關(guān)聯(lián)(series?association)定義為：

21、

22、通過(guò)自注意力機(jī)制，定義關(guān)聯(lián)偏差為先驗(yàn)關(guān)聯(lián)和序列關(guān)聯(lián)之間的對(duì)稱kl散度，關(guān)聯(lián)偏差表示這兩個(gè)分布之間的信息增益。定義自注意力分支的重構(gòu)損失lrec為重構(gòu)差異及關(guān)聯(lián)偏差的加權(quán)：

23、

24、其中，表示序列x的重構(gòu)，||·||f和||·||k分別表示frobenius和k范數(shù)；l表示注意力層數(shù)；kl(·||·)表示在兩個(gè)離散分布之間計(jì)算的kl散度；ap和as分別代表先驗(yàn)關(guān)聯(lián)和序列關(guān)聯(lián)；θ用來(lái)權(quán)衡損失項(xiàng)，當(dāng)θ>0時(shí)擴(kuò)大關(guān)聯(lián)偏差。

25、在步驟2)中，聯(lián)合優(yōu)化多任務(wù)損失函數(shù)具體包括：將聯(lián)合損失loss定義為：

26、loss＝λ×lrec+(1-λ)lc

27、用于平衡自注意力網(wǎng)絡(luò)及對(duì)比學(xué)習(xí)網(wǎng)絡(luò)的聯(lián)合訓(xùn)練過(guò)程，以避免某個(gè)損失過(guò)大具有主導(dǎo)影響。式中，λ表示權(quán)重參數(shù)；lrec表示注意力分支的重構(gòu)損失；lc表示對(duì)比學(xué)習(xí)分支的對(duì)比損失所設(shè)計(jì)的雙分支異常檢測(cè)網(wǎng)絡(luò)通過(guò)最小化損失函數(shù)loss來(lái)訓(xùn)練。其中，權(quán)重參數(shù)λ需要根據(jù)不同的數(shù)據(jù)集進(jìn)行調(diào)整，為了使用超參數(shù)優(yōu)化框架(例如hyperopt、optuna等)進(jìn)行權(quán)重參數(shù)優(yōu)化，超參數(shù)優(yōu)化框架提供豐富的優(yōu)化算法和搜索策略，支持并行評(píng)估、早期停止、結(jié)果可視化等功能，能夠高效地搜索最優(yōu)的超參數(shù)組合。

28、可選的，首先定義超參數(shù)空間，即每個(gè)超參數(shù)可以取值的范圍或可選的值列表，這里定義(0,1)的連續(xù)空間λ＝{λ1,…,λn}。初始化study對(duì)象(在optuna等框架中)用于存儲(chǔ)和管理優(yōu)化過(guò)程中的所有信息，包括歷史試驗(yàn)、最佳參數(shù)等。

29、然后定義目標(biāo)函數(shù)，一組超參數(shù)作為輸入，并返回一個(gè)模型在驗(yàn)證集上的f1分?jǐn)?shù)：

30、f(λ)→f1

31、其中，f是目標(biāo)函數(shù)，λ是超參數(shù)配置。

32、接著運(yùn)行優(yōu)化算法，如隨機(jī)搜索、貝葉斯優(yōu)化等，在超參數(shù)空間中搜索最優(yōu)解。在每次迭代中，優(yōu)化算法都會(huì)生成一個(gè)新的超參數(shù)配置，并將其傳遞給目標(biāo)函數(shù)進(jìn)行評(píng)估。

33、λt＝optimize_algorithm(x,f,t)

34、其中，λt是第t次迭代中的超參數(shù)配置，optimize_algorithm是優(yōu)化算法。對(duì)于每個(gè)新生成的超參數(shù)配置，框架都會(huì)運(yùn)行目標(biāo)函數(shù)進(jìn)行評(píng)估。這通常涉及到使用給定的超參數(shù)配置訓(xùn)練機(jī)器學(xué)習(xí)模型，并在驗(yàn)證集上評(píng)估其性能。將每次迭代的結(jié)果(包括超參數(shù)配置、分?jǐn)?shù)等)存儲(chǔ)到study對(duì)象中?？蚣軙?huì)使用這些信息來(lái)指導(dǎo)后續(xù)的搜索過(guò)程。

35、需要說(shuō)明的是，運(yùn)維人員需要設(shè)置迭代終止條件，例如在連續(xù)n次迭代中性能沒(méi)有明顯改善則終止迭代。

36、在優(yōu)化過(guò)程結(jié)束后，可以從study對(duì)象中獲取最佳的超參數(shù)配置λ。

37、在步驟2)中，計(jì)算異常分?jǐn)?shù)具體包括：設(shè)計(jì)一個(gè)異常分?jǐn)?shù)作為異常標(biāo)準(zhǔn)，正常數(shù)據(jù)點(diǎn)之間具有很強(qiáng)的相關(guān)性，因此通過(guò)對(duì)比學(xué)習(xí)得到的表示結(jié)果正例對(duì)之間的距離小于負(fù)例對(duì)，定義異常分?jǐn)?shù)如下：

38、

39、其中，softmax指的是歸一化指數(shù)函數(shù)，⊙代表逐元素乘法；表示序列的重構(gòu)，||·||f表示frobenius范數(shù)；l表示注意力層數(shù)；kl(·||·)表示在兩個(gè)離散分布之間計(jì)算的kl散度；ap和as分別代表先驗(yàn)關(guān)聯(lián)和序列關(guān)聯(lián)；lc表示對(duì)比損失，即交叉熵?fù)p失函數(shù)?；诋惓７?jǐn)?shù)，使用超參數(shù)閾值δ來(lái)決定點(diǎn)是異常(y＝1)還是非異常(y＝0)；如果分?jǐn)?shù)超過(guò)閾值，則輸出y為異常，即：

40、

41、其中，yi表示第i個(gè)時(shí)間點(diǎn)的模型輸出，表示第i個(gè)時(shí)間點(diǎn)的模型輸入，表示第i個(gè)時(shí)間點(diǎn)的異常分?jǐn)?shù)，超參數(shù)閾值δ根據(jù)不同場(chǎng)景數(shù)據(jù)由運(yùn)維人員設(shè)定。

42、在步驟3)中，所述在線檢測(cè)階段進(jìn)行實(shí)時(shí)檢測(cè)并進(jìn)行周期性反饋具體包括：網(wǎng)絡(luò)kpi數(shù)據(jù)實(shí)時(shí)輸入訓(xùn)練好的異常檢測(cè)網(wǎng)絡(luò)，當(dāng)檢測(cè)到網(wǎng)絡(luò)異常時(shí)輸出異常告警，運(yùn)維人員判定檢測(cè)到的網(wǎng)絡(luò)異常是否為真實(shí)異常，若為真實(shí)網(wǎng)絡(luò)異常，則將此時(shí)刻kpi數(shù)據(jù)收集至歷史數(shù)據(jù)庫(kù)，周期性更新異常檢測(cè)網(wǎng)絡(luò)參數(shù)。

43、所述一種基于雙分支時(shí)間序列的網(wǎng)絡(luò)異常檢測(cè)裝置，依次設(shè)有數(shù)據(jù)獲取模塊、離線訓(xùn)練模塊、實(shí)時(shí)檢測(cè)模塊、反饋模塊；

44、所述數(shù)據(jù)獲取模塊用于獲取通信終端性能時(shí)間序列數(shù)據(jù)以及模型反饋數(shù)據(jù)；

45、所述離線訓(xùn)練模塊用于通過(guò)數(shù)據(jù)獲取模塊的歷史數(shù)據(jù)構(gòu)建異常檢測(cè)模型，周期性更新異常檢測(cè)模型；

46、所述實(shí)時(shí)檢測(cè)模塊用于在線檢測(cè)異常；

47、所述反饋模塊收集實(shí)時(shí)檢測(cè)模塊檢測(cè)到的異常數(shù)據(jù)，待運(yùn)維人員確認(rèn)異常后輸入數(shù)據(jù)獲取模塊擴(kuò)充數(shù)據(jù)庫(kù)。

48、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下突出的技術(shù)效果與優(yōu)點(diǎn)：

49、本發(fā)明利用人工智能技術(shù)優(yōu)勢(shì)，針對(duì)業(yè)界重點(diǎn)關(guān)注的網(wǎng)絡(luò)異常檢測(cè)問(wèn)題，提出一種基于雙分支模型的網(wǎng)絡(luò)異常檢測(cè)方法及裝置。本發(fā)明的核心創(chuàng)新在于其獨(dú)特的雙分支結(jié)構(gòu)設(shè)計(jì)，這一設(shè)計(jì)不僅允許模型同時(shí)學(xué)習(xí)kpi數(shù)據(jù)的內(nèi)部關(guān)聯(lián)以及序列間的關(guān)聯(lián)，還通過(guò)并行處理的方式顯著提高異常檢測(cè)的效率，雙分支的架構(gòu)使得模型能夠更全面地捕捉數(shù)據(jù)反映出的異常模式，且不需要復(fù)雜的學(xué)習(xí)策略，弱化對(duì)人工的依賴性，從而在實(shí)際應(yīng)用中表現(xiàn)出更高的可靠性和穩(wěn)定性。在雙分支結(jié)構(gòu)中，本發(fā)明創(chuàng)造性地結(jié)合對(duì)比學(xué)習(xí)的自學(xué)習(xí)能力和魯棒性強(qiáng)的優(yōu)勢(shì)，以及自注意力機(jī)制捕捉遠(yuǎn)程依賴信息和泛化性強(qiáng)的特點(diǎn)，提高異常檢測(cè)的準(zhǔn)確率，為網(wǎng)絡(luò)運(yùn)維工作提供堅(jiān)實(shí)基礎(chǔ)。此外，本發(fā)明還引入基于對(duì)比學(xué)習(xí)的數(shù)據(jù)增強(qiáng)技術(shù)以及超參數(shù)聯(lián)合優(yōu)化框架，有效提升模型的泛化能力，使模型在lte移動(dòng)網(wǎng)絡(luò)不斷演進(jìn)中，無(wú)需過(guò)多改動(dòng)就能很好地適應(yīng)新的網(wǎng)絡(luò)結(jié)構(gòu)。本發(fā)明可實(shí)現(xiàn)快速準(zhǔn)確識(shí)別網(wǎng)絡(luò)異常，為后續(xù)運(yùn)維工作提供有力保障，提高網(wǎng)絡(luò)優(yōu)化效率，提升網(wǎng)絡(luò)性能、用戶服務(wù)質(zhì)量以及用戶體驗(yàn)。