本發(fā)明涉及水輪機狀態(tài)預(yù)測，特別是一種基于transformer的水輪機狀態(tài)預(yù)測方法及系統(tǒng)。

背景技術(shù)：

1、水輪機狀態(tài)預(yù)測是水電智慧運行的關(guān)鍵環(huán)節(jié)，水電廠整體自動化水平較高，水輪機本身的傳感數(shù)據(jù)豐富，可為預(yù)測運行狀態(tài)建模提供數(shù)據(jù)基礎(chǔ)。水輪機異常主要發(fā)生在軸系、導(dǎo)軸承等部位，目前所采用的狀態(tài)異常預(yù)測方法主要有支持向量機、基于深度學(xué)習(xí)rnn(循環(huán)神經(jīng)網(wǎng)絡(luò))等，這些基于傳統(tǒng)機器學(xué)習(xí)的方法在一定程度上解決了部分水輪機狀態(tài)異常預(yù)測的問題，但是很難泛化到大規(guī)模數(shù)據(jù)以及多樣化的異常特征提取中，從而降低了狀態(tài)異常預(yù)測的精度和效率。

2、本專利旨在一種基于transformer的水輪機狀態(tài)預(yù)測方法，結(jié)合transformer模型對大規(guī)模長序列特征提取和建模的能力，以及生成式gan(生成對抗網(wǎng)絡(luò))算法高效的訓(xùn)練方式和無監(jiān)督自訓(xùn)練能力，利用trans-gan模型對水輪機監(jiān)測數(shù)據(jù)進行生成式建模，應(yīng)用于大規(guī)模水電運行數(shù)據(jù)上，主動預(yù)測水輪機狀態(tài)異常的數(shù)據(jù)點，實現(xiàn)高精度異常預(yù)測能力。

技術(shù)實現(xiàn)思路

1、鑒于上述存在的問題，提出了本發(fā)明。

2、因此，本發(fā)明所要解決的問題是：如何解決現(xiàn)有方法很難泛化到大規(guī)模數(shù)據(jù)以及多樣化的異常特征提取的問題。

3、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：一種基于transformer的水輪機狀態(tài)預(yù)測方法，包括，采集水輪機數(shù)據(jù)并進行預(yù)處理，得到預(yù)處理后的數(shù)據(jù)；使用預(yù)處理后的數(shù)據(jù)進行trans-gan模型的構(gòu)建與訓(xùn)練；使用訓(xùn)練好的trans-gan模型進行水輪機狀態(tài)預(yù)測。

4、作為本發(fā)明所述一種基于transformer的水輪機狀態(tài)預(yù)測方法的一種優(yōu)選方案，其中：所述水輪機數(shù)據(jù)包括機械運行參數(shù)、環(huán)境監(jiān)測參數(shù)、電氣性能數(shù)據(jù)及運行時間數(shù)據(jù)；采集的數(shù)據(jù)為時序數(shù)據(jù)；所述預(yù)處理包括數(shù)據(jù)清洗和處理缺失值，并進行數(shù)據(jù)分析；所述數(shù)據(jù)分析包括采集到的全量特征維度的數(shù)據(jù)利用機器學(xué)習(xí)方法提取主要特征，采用主成分分析法進行數(shù)據(jù)降維，利用正交變換把線性相關(guān)變量表示的監(jiān)測數(shù)據(jù)轉(zhuǎn)換為由線性無關(guān)變量表示的數(shù)據(jù)。

5、作為本發(fā)明所述一種基于transformer的水輪機狀態(tài)預(yù)測方法的一種優(yōu)選方案，其中：所述trans-gan模型包括采用transformer模型作為主干網(wǎng)絡(luò)，編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)都由自注意力機制模塊組成，輸入的信息經(jīng)過編碼后，獲得對輸入時序序列隱含的重要特征信息的編碼向量，然后將編碼向量結(jié)合特征序列以及位置編碼信息同時輸入到解碼網(wǎng)絡(luò)，通過解碼網(wǎng)絡(luò)重建原始序列；將transformer模型作為生成器網(wǎng)絡(luò)，而對于判別器，僅需完成二分類任務(wù)，因此通過構(gòu)建多層感知機實現(xiàn)判別器網(wǎng)絡(luò)，進而實現(xiàn)基于gan架構(gòu)的trans-gan模型。

6、作為本發(fā)明所述一種基于transformer的水輪機狀態(tài)預(yù)測方法的一種優(yōu)選方案，其中：所述trans-gan模型還包括預(yù)處理后的原始數(shù)據(jù)通過基于transformer模型的生成器網(wǎng)絡(luò)g獲得重建的輸出，重建的輸出結(jié)合原始數(shù)據(jù)，一起輸入到基于多層感知機的判別網(wǎng)絡(luò)l中，經(jīng)過多層感知機前向運算獲得真、假二分類概率值，再通過反向傳播算法更新模型參數(shù)梯度。

7、作為本發(fā)明所述一種基于transformer的水輪機狀態(tài)預(yù)測方法的一種優(yōu)選方案，其中：所述生成器網(wǎng)絡(luò)包括編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)，編碼網(wǎng)絡(luò)表示為：

8、multihead(q,k,v)＝concat(head1,head2,…,headh)wo

9、

10、

11、g＝layernorm(ffn(multihead(q,k,v))+multihead(q,k,v))

12、其中，g為編碼網(wǎng)絡(luò)的輸出，layernorm為層歸一化函數(shù)，ffn為前饋神經(jīng)網(wǎng)絡(luò)，multihead為多頭注意力機制，q、k、v分別為輸入經(jīng)過不同的線性變換得到的查詢、鍵和值，headi為第i個注意力頭的輸出，concat為沿特征維度拼接各個頭的輸出，wo為合并多頭注意力輸出后的線性變換權(quán)重矩陣，分別為用于線性變換查詢、鍵和值的權(quán)重矩陣，softmax為激活函數(shù)，dk為鍵向量的維度；解碼網(wǎng)絡(luò)表示為：

13、en＝multihead(q,g,g)

14、g(z)＝layernorm(ffn(en)+multihead(q,k,v)

15、其中，g(z)為生成器網(wǎng)絡(luò)的輸出，en為編碼器-解碼器注意力機制。

16、作為本發(fā)明所述一種基于transformer的水輪機狀態(tài)預(yù)測方法的一種優(yōu)選方案，其中：所述判別網(wǎng)絡(luò)包括將重建的輸出結(jié)合原始數(shù)據(jù)一起輸入到基于多層感知機的判別網(wǎng)絡(luò)l中，經(jīng)過多層感知機前向運算獲得真、假二分類概率值，表示為：

17、i＝concat(g(x),x)

18、l(i)＝σ(wnleakyrelu(wn-1(…leakyrelu(w1i+b1)…)+bn-1)+bn)

19、其中，i為判別網(wǎng)絡(luò)的輸入，x為原始數(shù)據(jù)，w1、…、wn為判別網(wǎng)絡(luò)各層的權(quán)重矩陣，b1、...、bn為判別網(wǎng)絡(luò)各層的偏置向量，σ為sigmoid激活函數(shù)，leakyrelu為激活函數(shù)，允許小的梯度流過負值部分，l(i)為判別網(wǎng)絡(luò)輸出的概率；設(shè)置真假概率閾值，若l(i)大于真假概率閾值，則為真實數(shù)據(jù)，若l(i)小于等于真假概率閾值，則為生成的假數(shù)據(jù)；對模型進行訓(xùn)練，對于真實數(shù)據(jù)x，判別器的輸出l接近1，即認為數(shù)據(jù)是真實的，損失函數(shù)表示為：

20、-log(l)

21、對于生成器g生成的數(shù)據(jù)g(z)，判別器的輸出l(i)接近0，即認為數(shù)據(jù)是生成的，損失函數(shù)表示為：

22、-log(1-l(g(z)))

23、模型的整體損失函數(shù)表示為：

24、

25、其中，為整體損失函數(shù)，pdata為真實數(shù)據(jù)的分布，pz為生成器輸入噪聲的分布；通過反向傳播算法計算參數(shù)的梯度，并更新參數(shù)以最小化損失函數(shù)，表示為：

26、

27、其中，θlnew為更新后的參數(shù)，θlold為更新前的參數(shù)，η為學(xué)習(xí)率。

28、作為本發(fā)明所述一種基于transformer的水輪機狀態(tài)預(yù)測方法的一種優(yōu)選方案，其中：所述進行水輪機狀態(tài)預(yù)測包括使用訓(xùn)練好的trans-gan模型生成預(yù)測序列，輸入的時序序列片段數(shù)據(jù)為z，通過生成器g處理后，得到重建的預(yù)測序列表示為：

29、t(z)＝g(z)

30、計算原始序列z與重建序列t(z)之間的誤差，表示為：

31、e＝||z-t(z)||

32、其中，e為原始序列與重建序列之間的誤差；設(shè)置動態(tài)閾值，表示為：

33、δ＝μ(e)+κ·σ(e)

34、其中，δ為動態(tài)閾值，μ(e)為最近n個誤差值的平均值，κ為調(diào)節(jié)因子，σ(e)為最近n個誤差值的標(biāo)準(zhǔn)差；若誤差e大于δ，則判定序列在未來某個時間節(jié)點存在異常，實現(xiàn)對水輪機的狀態(tài)異常預(yù)測。

35、本發(fā)明的另外一個目的是提供一種基于transformer的水輪機狀態(tài)預(yù)測方法的系統(tǒng)，其能通過構(gòu)建水輪機狀態(tài)預(yù)測系統(tǒng)，解決了一種基于transformer的水輪機狀態(tài)預(yù)測問題。

36、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：一種基于transformer的水輪機狀態(tài)預(yù)測系統(tǒng)，包括，數(shù)據(jù)采集模塊、模型構(gòu)建訓(xùn)練模塊及預(yù)測模塊；所述數(shù)據(jù)采集模塊用于采集水輪機數(shù)據(jù)并進行預(yù)處理，得到預(yù)處理后的數(shù)據(jù)；所述模型構(gòu)建訓(xùn)練模塊用于使用預(yù)處理后的數(shù)據(jù)進行trans-gan模型的構(gòu)建與訓(xùn)練；所述預(yù)測模塊用于使用訓(xùn)練好的trans-gan模型進行水輪機狀態(tài)預(yù)測。

37、一種計算機設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如上所述一種基于transformer的水輪機狀態(tài)預(yù)測方法的步驟。

38、一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上所述一種基于transformer的水輪機狀態(tài)預(yù)測方法的步驟。

39、本發(fā)明有益效果為：本發(fā)明提供的一種基于transformer的水輪機狀態(tài)預(yù)測方法結(jié)合水輪機歷史數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗和基于transformer和gan的序列重建算法可以快速準(zhǔn)確地預(yù)測時序序列的異常片段，達到實時異常預(yù)測的效果，并且具有準(zhǔn)確率高、誤報率低的特點，為降低水輪機維護人員工作負擔(dān)，提升預(yù)測準(zhǔn)確率和準(zhǔn)時性的智慧化水電系統(tǒng)奠定了基礎(chǔ)。