本發(fā)明涉及用電負(fù)荷檢測(cè)領(lǐng)域，尤其是指一種基于transformer架構(gòu)的用電負(fù)荷異常波動(dòng)檢測(cè)方法。

背景技術(shù)：

1、隨著智能電網(wǎng)技術(shù)的快速發(fā)展和電力系統(tǒng)的日益復(fù)雜化，電力負(fù)荷數(shù)據(jù)的異常檢測(cè)成為確保電網(wǎng)穩(wěn)定運(yùn)行、提高能源利用效率的關(guān)鍵環(huán)節(jié)。傳統(tǒng)的電力負(fù)荷數(shù)據(jù)異常檢測(cè)方法，如基于統(tǒng)計(jì)學(xué)的閾值比較、基于規(guī)則的專家系統(tǒng)等?；诮y(tǒng)計(jì)學(xué)的閾值比較方法主要基于歷史數(shù)據(jù)，采用統(tǒng)計(jì)學(xué)方法(如3σ原則、四分位數(shù)法等)設(shè)定合理的閾值范圍。例如，根據(jù)歷史數(shù)據(jù)的均值和標(biāo)準(zhǔn)差，設(shè)定用電負(fù)荷的正常波動(dòng)范圍為(μ-3σ,μ+3σ)，其中μ為歷史數(shù)據(jù)的均值，σ為標(biāo)準(zhǔn)差。雖然在一定程度上傳統(tǒng)的異常檢測(cè)方法能夠滿足基本的檢測(cè)需求，但在處理大規(guī)模、高維度的電力負(fù)荷數(shù)據(jù)時(shí)，往往面臨著計(jì)算量大、準(zhǔn)確率低、實(shí)時(shí)性差等問題。

2、傳統(tǒng)的負(fù)荷異常檢測(cè)方法假設(shè)用電負(fù)荷數(shù)據(jù)服從某種特定的概率分布，但實(shí)際情況可能并不完全符合這種假設(shè)，這可能導(dǎo)致誤判異常值；傳統(tǒng)的負(fù)荷異常檢測(cè)方法還有如下問題：對(duì)噪聲較為敏感，容易將噪聲誤判為異常；選擇合適的閾值或其他參數(shù)對(duì)算法性能影響較大，需要經(jīng)驗(yàn)或試驗(yàn)來確定，增加了算法的復(fù)雜性和不確定性；基于數(shù)值比較來判斷異常，缺乏對(duì)用電負(fù)荷變化背后上下文信息的考慮，可能導(dǎo)致有意義的異常被忽略。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是克服現(xiàn)有技術(shù)中的電網(wǎng)負(fù)荷異常檢測(cè)的方法容易造成異常值的誤判或忽略部分異常值，導(dǎo)致準(zhǔn)確率低、實(shí)時(shí)性差，影響電網(wǎng)穩(wěn)定運(yùn)行的缺陷，提供一種基于transformer架構(gòu)的用電負(fù)荷異常波動(dòng)檢測(cè)方法。

2、本發(fā)明的目的是通過下述技術(shù)方案予以實(shí)現(xiàn)：

3、一種基于transformer架構(gòu)的用電負(fù)荷異常波動(dòng)檢測(cè)方法，包括以下步驟：

4、步驟1，獲取用電負(fù)荷數(shù)據(jù)，并對(duì)用電負(fù)荷數(shù)據(jù)進(jìn)行預(yù)處理；

5、步驟2，對(duì)預(yù)處理完成的用電負(fù)荷數(shù)據(jù)進(jìn)行序列編碼，用于將用電負(fù)荷數(shù)據(jù)轉(zhuǎn)換為向量表示；步驟3，構(gòu)建基于transformer架構(gòu)異常變換模型，包括構(gòu)建多層transformer編碼器，并將多層transformer編碼器的輸出映射到異常分?jǐn)?shù)；

6、步驟4，根據(jù)計(jì)算的異常分?jǐn)?shù)，判斷每個(gè)時(shí)間點(diǎn)的負(fù)荷數(shù)據(jù)是否異常。

7、作為優(yōu)選，所述的步驟1中，用電負(fù)荷數(shù)據(jù)為時(shí)間序列數(shù)據(jù)，用電負(fù)荷數(shù)據(jù)包含了多個(gè)時(shí)間點(diǎn)的負(fù)荷值，表示為：l＝{l1,l2,...lt}，

8、其中l(wèi)t表示第t個(gè)時(shí)間點(diǎn)的用電負(fù)荷。

9、作為優(yōu)選，所述的步驟1中，對(duì)用電負(fù)荷數(shù)據(jù)進(jìn)行預(yù)處理具體為：

10、對(duì)用電負(fù)荷數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，去除用電負(fù)荷數(shù)據(jù)中的缺失值和明顯錯(cuò)誤的異常值，對(duì)于缺失值采用插值、填充均值或中位數(shù)的方法進(jìn)行填充，對(duì)于明顯錯(cuò)誤的異常值，使用統(tǒng)計(jì)方法的方式進(jìn)行識(shí)別和處理；

11、對(duì)數(shù)據(jù)清洗后的用電負(fù)荷數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，將用電負(fù)荷數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)尺度，消除不同負(fù)荷級(jí)別之間的量綱差異,標(biāo)準(zhǔn)化公示如下：

12、

13、其中μ是一段時(shí)間內(nèi)負(fù)荷數(shù)據(jù)的均值，σ是一段時(shí)間內(nèi)負(fù)荷數(shù)據(jù)的標(biāo)準(zhǔn)差；

14、還對(duì)用電負(fù)荷數(shù)據(jù)進(jìn)行特征提取，計(jì)算相鄰時(shí)間點(diǎn)的負(fù)荷變化率、滑動(dòng)窗口內(nèi)的平均值和標(biāo)準(zhǔn)差。

15、作為優(yōu)選，所述的步驟2具體為：

16、使用嵌入層將每個(gè)時(shí)間點(diǎn)的用電負(fù)荷數(shù)據(jù)轉(zhuǎn)換為固定大小的向量表示，設(shè)嵌入層的輸出維度為d，則嵌入后的序列可以表示為：

17、e＝{e1,e2,...et}，其中et為第t個(gè)時(shí)間點(diǎn)的用電負(fù)荷數(shù)據(jù)經(jīng)過嵌入層轉(zhuǎn)換后的向量表示，et∈rd，r表示實(shí)數(shù)集，d是嵌入向量的維度。

18、作為優(yōu)選，所述的步驟3中，構(gòu)建多層transformer編碼器具體為：

19、多層transformer編碼器包括多個(gè)堆疊的自注意力層，自注意力層包括注意力機(jī)制、位置編碼和前饋神經(jīng)網(wǎng)絡(luò)，所述的自注意力機(jī)制為：通過計(jì)算查詢、鍵和值的矩陣，并應(yīng)用softmax函數(shù)得到注意力權(quán)重，實(shí)現(xiàn)對(duì)序列中不同位置信息的加權(quán)融合；

20、q＝wqe

21、k＝wke

22、v＝wve

23、其中q表示查詢，k表示鍵，v表示值，wq，wk，wv是模型學(xué)習(xí)的權(quán)重矩陣；

24、

25、其中dk是鍵的維度；

26、所述的位置編碼的方法包括絕對(duì)位置編碼和相對(duì)位置編碼；

27、所述的前饋神經(jīng)網(wǎng)絡(luò)包括兩個(gè)線性變換和一個(gè)激活函數(shù)。

28、作為優(yōu)選，所述的步驟3中，將多層transformer編碼器的輸出映射到異常分?jǐn)?shù)具體為：使用全連接層將transformer編碼器的輸出映射到異常分?jǐn)?shù)，全連接層接收編碼器輸出的最后一個(gè)時(shí)間點(diǎn)的表示，并輸出一個(gè)或多個(gè)異常分?jǐn)?shù)；

29、ffn(z)＝relu(w1z+b1)w2+b2

30、其中ffn表示前饋神經(jīng)網(wǎng)絡(luò)，z是自注意力機(jī)制的輸出，w1，w2是模型學(xué)習(xí)的權(quán)重，b1，b2是模型學(xué)習(xí)的偏置，relu為激活函數(shù)。

31、作為優(yōu)選，基于transformer架構(gòu)的用電負(fù)荷異常波動(dòng)檢測(cè)方法還對(duì)模型參數(shù)進(jìn)行優(yōu)化，構(gòu)建損失函數(shù)，損失函數(shù)包括均方誤差或平均絕對(duì)誤差損失函數(shù)；通過梯度下降優(yōu)化算法對(duì)模型進(jìn)行訓(xùn)練，以最小化損失函數(shù)為目標(biāo)優(yōu)化模型參數(shù)。

32、作為優(yōu)選，所述的步驟4具體為：

33、設(shè)定一個(gè)異常閾值，將異常分?jǐn)?shù)與預(yù)設(shè)的閾值進(jìn)行比較，如果異常分?jǐn)?shù)超過閾值，則將該時(shí)間點(diǎn)標(biāo)記為為異常，否則標(biāo)記為正常。

34、作為優(yōu)選，所述的異常閾值通過交叉驗(yàn)證、經(jīng)驗(yàn)法則或基于統(tǒng)計(jì)分布的方法確定。

35、本發(fā)明的有益效果是：

36、(1)通過自注意力機(jī)制，本發(fā)明能夠捕捉到時(shí)間序列中元素之間的全局關(guān)聯(lián)性，而全局關(guān)聯(lián)性是發(fā)現(xiàn)異常模式重要因素。

37、(2)本發(fā)明可以在無監(jiān)督學(xué)習(xí)任務(wù)中從復(fù)雜的時(shí)間動(dòng)態(tài)中學(xué)習(xí)信息表示，并得出一個(gè)可區(qū)分的標(biāo)準(zhǔn)來檢測(cè)異常情況。

38、(3)由于transformer架構(gòu)的特點(diǎn)，本發(fā)明在處理長(zhǎng)序列時(shí)具有優(yōu)勢(shì)，能夠保持較高的性能和準(zhǔn)確性。

技術(shù)特征：

1.一種基于transformer架構(gòu)的用電負(fù)荷異常波動(dòng)檢測(cè)方法，其特征是，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于transformer架構(gòu)的用電負(fù)荷異常波動(dòng)檢測(cè)方法，其特征是，所述的步驟1中，用電負(fù)荷數(shù)據(jù)為時(shí)間序列數(shù)據(jù)，用電負(fù)荷數(shù)據(jù)包含了多個(gè)時(shí)間點(diǎn)的負(fù)荷值，表示為：l＝{l1,l2,...lt}，

3.根據(jù)權(quán)利要求1所述的一種基于transformer架構(gòu)的用電負(fù)荷異常波動(dòng)檢測(cè)方法，其特征是，所述的步驟1中，對(duì)用電負(fù)荷數(shù)據(jù)進(jìn)行預(yù)處理具體為：

4.根據(jù)權(quán)利要求1所述的一種基于transformer架構(gòu)的用電負(fù)荷異常波動(dòng)檢測(cè)方法，其特征是，所述的步驟2具體為：

5.根據(jù)權(quán)利要求1所述的一種基于transformer架構(gòu)的用電負(fù)荷異常波動(dòng)檢測(cè)方法，其特征是，所述的步驟3中，構(gòu)建多層transformer編碼器具體為：

6.根據(jù)權(quán)利要求5所述的一種基于transformer架構(gòu)的用電負(fù)荷異常波動(dòng)檢測(cè)方法，其特征是，所述的步驟3中，將多層transformer編碼器的輸出映射到異常分?jǐn)?shù)具體為：

7.根據(jù)權(quán)利要求6所述的一種基于transformer架構(gòu)的用電負(fù)荷異常波動(dòng)檢測(cè)方法，其特征是，還對(duì)模型參數(shù)進(jìn)行優(yōu)化，構(gòu)建損失函數(shù)，損失函數(shù)包括均方誤差或平均絕對(duì)誤差損失函數(shù)；通過梯度下降優(yōu)化算法對(duì)模型進(jìn)行訓(xùn)練，以最小化損失函數(shù)為目標(biāo)優(yōu)化模型參數(shù)。

8.根據(jù)權(quán)利要求1所述的一種基于transformer架構(gòu)的用電負(fù)荷異常波動(dòng)檢測(cè)方法，其特征是，所述的步驟4具體為：

9.根據(jù)權(quán)利要求8所述的一種基于transformer架構(gòu)的用電負(fù)荷異常波動(dòng)檢測(cè)方法，其特征是，所述的異常閾值通過交叉驗(yàn)證、經(jīng)驗(yàn)法則或基于統(tǒng)計(jì)分布的方法確定。

技術(shù)總結(jié)
本發(fā)明公開了一種基于Transformer架構(gòu)的用電負(fù)荷異常波動(dòng)檢測(cè)方法，解決了現(xiàn)有方案的不足，包括以下步驟：步驟1，獲取用電負(fù)荷數(shù)據(jù)，并對(duì)用電負(fù)荷數(shù)據(jù)進(jìn)行預(yù)處理；步驟2，對(duì)預(yù)處理完成的用電負(fù)荷數(shù)據(jù)進(jìn)行序列編碼，用于將用電負(fù)荷數(shù)據(jù)轉(zhuǎn)換為向量表示；步驟3，構(gòu)建基于Transformer架構(gòu)異常變換模型，包括構(gòu)建多層Transformer編碼器，并將多層Transformer編碼器的輸出映射到異常分?jǐn)?shù)；步驟4，根據(jù)計(jì)算的異常分?jǐn)?shù)，判斷每個(gè)時(shí)間點(diǎn)的負(fù)荷數(shù)據(jù)是否異常。

技術(shù)研發(fā)人員：馬赟婷,章琛敏,石贇超,韓鑫澤,莊琛,周晨暉,劉興平,于天洋,黃沁沁,安東,戚胡佳,嚴(yán)小佺,萬宏濤,吳丹,王巍子,王誠(chéng)駿
受保護(hù)的技術(shù)使用者：國(guó)網(wǎng)浙江省電力有限公司營(yíng)銷服務(wù)中心
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30