本發(fā)明屬于電力市場(chǎng)日前電價(jià)預(yù)測(cè)，具體為基于并行多維度注意力機(jī)制的日前電價(jià)預(yù)測(cè)方法。

背景技術(shù)：

1、由于風(fēng)電、光伏發(fā)電等清潔能源大量加入到電力市場(chǎng)后，導(dǎo)致電力市場(chǎng)中的電價(jià)波動(dòng)劇烈，進(jìn)而增加了電價(jià)預(yù)測(cè)的難度，所以如何在高比例新能源加入電力市場(chǎng)的情況下進(jìn)行準(zhǔn)確的日前電價(jià)預(yù)測(cè)已成為現(xiàn)今國(guó)內(nèi)外研究學(xué)者密切關(guān)注的一大問題。

2、隨著深度學(xué)習(xí)和數(shù)據(jù)處理技術(shù)的發(fā)展，近幾年許多研究開始將多種算法進(jìn)行組合，來構(gòu)成復(fù)雜的預(yù)測(cè)框架。電價(jià)數(shù)據(jù)和電價(jià)相關(guān)變量數(shù)據(jù)中存在許多與未來電價(jià)數(shù)據(jù)相關(guān)的特征信息，如何挖掘有用的深層特征來預(yù)測(cè)未來電價(jià)數(shù)據(jù)是非常重要的。

3、注意力機(jī)制是一種模仿人類對(duì)事物的關(guān)注度不同的機(jī)制，其對(duì)重要的特征給予更高的關(guān)注度來選取更關(guān)鍵的信息，提高模型精度。2017年谷歌提出了自注意力機(jī)制(self-attention,sa)，其通過模仿生物視覺的注意力選擇性，捕捉輸入序列本身的關(guān)鍵性信息，具有強(qiáng)大的自適應(yīng)能力，適用于處理輸入序列的長(zhǎng)期依賴關(guān)系。2018年jiehu等人提出了通道注意力網(wǎng)絡(luò)(squeeze-and-excitationnetworks,se-net)，利用通道注意力機(jī)制有選擇性地調(diào)整不同特征通道的重要程度，使網(wǎng)絡(luò)更關(guān)注特征圖中的有用特征通道來提高整個(gè)網(wǎng)絡(luò)模型的性能；2018年sanghyun?woo等人提出了卷積注意力機(jī)制模塊(convolutionalblock?attention?module,cbam)，其利用通道注意力模塊cam(channel?attentionmodule,cam)和空間注意力模塊sam(spartialattentionmodule,sam)來更全面地提高重要特征的關(guān)注度；2021年qibinhou等人提出了坐標(biāo)注意力機(jī)制(coordinateattention,ca)，將特征圖位置信息融合到通道注意力機(jī)制中來提高特征圖中更重要特征點(diǎn)的關(guān)注度，而不是只關(guān)注特征圖的重要特征區(qū)域。

4、但是，由于se注意力機(jī)制對(duì)通道內(nèi)的信息做了全局處理，所以只關(guān)注了各通道的重要性，卻忽略了空間上的信息交互，cbam通過通道注意力模塊和空間注意力模塊串聯(lián)來關(guān)注通道和空間的信息交互，而空間注意力模型是先對(duì)通道進(jìn)行池化操作后再使用了7×7的卷積來進(jìn)行提取空間特征，其只能捕捉局部信息，將會(huì)導(dǎo)致部分遠(yuǎn)程依賴關(guān)系被忽略，以上方法并不能考慮全面，導(dǎo)致現(xiàn)有注意力機(jī)制在預(yù)測(cè)時(shí)精度不高。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是針對(duì)現(xiàn)有各注意力機(jī)制在進(jìn)行預(yù)測(cè)時(shí)考慮不全面導(dǎo)致的預(yù)測(cè)精度不高的問題，提出了基于并行多維度注意力機(jī)制的日前電價(jià)預(yù)測(cè)方法，通過采用最大互信息系數(shù)挑選出與電價(jià)具有一定相關(guān)性的變量來輔助預(yù)測(cè)未來電價(jià)數(shù)據(jù)，其次，采用分解算法對(duì)原始電價(jià)信號(hào)進(jìn)行分解處理；然后，將分解得到的電價(jià)子分量和電價(jià)相關(guān)變量輸入到mbi-ipmda-pbisa深度學(xué)習(xí)模型中，進(jìn)行未來電價(jià)的預(yù)測(cè)，如此可使預(yù)測(cè)模型充分學(xué)習(xí)電價(jià)子分量和電價(jià)相關(guān)變量與未來電價(jià)之間的復(fù)雜關(guān)聯(lián)關(guān)系，又避免了單獨(dú)預(yù)測(cè)電價(jià)子分量后再疊加得到未來電價(jià)所造成的誤差疊加問題，解決了現(xiàn)有注意力機(jī)制在預(yù)測(cè)時(shí)精度不高的問題，提升了預(yù)測(cè)精度。

2、與現(xiàn)有技術(shù)相比，本發(fā)明綜合考慮了輸入的電價(jià)和電價(jià)相關(guān)變量中蘊(yùn)含的深層特征不同這一特點(diǎn)，采用了不同的特征提取模塊對(duì)其進(jìn)行特征信息挖掘，最終提出了mbi-ipmda-pbisa深度學(xué)習(xí)模型。

3、為解決上述技術(shù)問題，本發(fā)明提供了基于并行多維度注意力機(jī)制的日前電價(jià)預(yù)測(cè)方法，包括：

4、s1、采集電價(jià)數(shù)據(jù)和電價(jià)相關(guān)變量，對(duì)采集到的數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，構(gòu)建電價(jià)預(yù)測(cè)數(shù)據(jù)集；

5、s2、基于所述電價(jià)預(yù)測(cè)數(shù)據(jù)集，計(jì)算電價(jià)數(shù)據(jù)與電價(jià)相關(guān)變量之間的最大互信息系數(shù)，通過最大互信息系數(shù)篩選出與電價(jià)具有一定相關(guān)性的電價(jià)相關(guān)變量；

6、s3、采用分解算法對(duì)電價(jià)數(shù)據(jù)進(jìn)行分解處理，得到電價(jià)子分量；

7、s4、構(gòu)建mbi-ipmda-pbisa深度學(xué)習(xí)模型；

8、s5、將所述電價(jià)子分量和s2中篩選的電價(jià)相關(guān)變量進(jìn)行輸入輸出劃分，得到數(shù)據(jù)集樣本，每個(gè)樣本中包含電價(jià)子分量和電價(jià)相關(guān)變量與未來電價(jià)真實(shí)值，分別將每個(gè)樣本中的電價(jià)子分量、電價(jià)相關(guān)變量進(jìn)行合并，得到電價(jià)子分量輸入矩陣和電價(jià)相關(guān)變量輸入矩陣，最終每個(gè)樣本中包含了電價(jià)子分量輸入矩陣和電價(jià)相關(guān)變量輸入矩陣與未來電價(jià)真實(shí)值；

9、s6、對(duì)所述樣本劃分為訓(xùn)練集和測(cè)試集，先將訓(xùn)練集輸入到mbi-ipmda-pbisa深度學(xué)習(xí)模型中進(jìn)行訓(xùn)練，再將測(cè)試集輸入到訓(xùn)練好的mbi-ipmda-pbisa深度學(xué)習(xí)模型中進(jìn)行測(cè)試來預(yù)測(cè)未來電價(jià)。

10、作為優(yōu)選，所述數(shù)據(jù)預(yù)處理包括對(duì)電價(jià)預(yù)測(cè)數(shù)據(jù)集中的異常值進(jìn)行處理和對(duì)電價(jià)預(yù)測(cè)數(shù)據(jù)集進(jìn)行標(biāo)準(zhǔn)化處理。

11、作為優(yōu)選，所述異常值進(jìn)行處理包括：對(duì)于數(shù)據(jù)缺失值，采用滑動(dòng)窗口填充法進(jìn)行補(bǔ)充；對(duì)于時(shí)間節(jié)點(diǎn)相同且數(shù)據(jù)值重復(fù)時(shí)，直接采用其中一條數(shù)據(jù)，對(duì)于時(shí)間節(jié)點(diǎn)相同而數(shù)據(jù)值不同的可取兩條數(shù)據(jù)的平均值進(jìn)行后續(xù)計(jì)算；對(duì)于數(shù)據(jù)異常值，采用3δ準(zhǔn)則或格拉布斯檢驗(yàn)法對(duì)電價(jià)數(shù)據(jù)和電價(jià)相關(guān)變量數(shù)據(jù)進(jìn)行檢驗(yàn)，若確定某一點(diǎn)為異常值數(shù)據(jù)，將其刪除后再視作數(shù)據(jù)缺失值處理。

12、作為優(yōu)選，所述構(gòu)建mbi-ipmda-pbisa深度學(xué)習(xí)模型包括：

13、sa、對(duì)于電價(jià)子分量輸入分支，使用2層inception模塊串聯(lián)并對(duì)電價(jià)子分量進(jìn)行多尺度空間特征提取，得到若干多尺度空間特征矩陣，將提取到的若干多尺度空間特征矩陣在第三維度上進(jìn)行堆疊得到電價(jià)子分量的多尺度空間特征；

14、sb、通過串聯(lián)并行多維度注意力機(jī)制來調(diào)整所述電價(jià)子分量的多尺度空間特征中各維度上的注意力權(quán)重；

15、sc、對(duì)于電價(jià)相關(guān)變量輸入分支，采用inception模塊和bilstm模塊并聯(lián)的結(jié)構(gòu)來同時(shí)提取電價(jià)相關(guān)變量的空間特征和時(shí)序特征，將此空間特征和時(shí)序特征融合后得到電價(jià)相關(guān)變量的時(shí)空特征；

16、sd、通過串聯(lián)自注意力機(jī)制調(diào)整電價(jià)相關(guān)變量的時(shí)空特征中的內(nèi)部注意力權(quán)重；

17、se、將調(diào)整了各維度上的注意力權(quán)重后的電價(jià)子分量的多尺度空間特征和調(diào)整了內(nèi)部注意力權(quán)重后的電價(jià)相關(guān)變量的時(shí)空特征進(jìn)行融合后經(jīng)全連接層和回歸層進(jìn)一步整合后得到mbi-ipmda-pbisa深度學(xué)習(xí)模型輸出，也就是輸出未來電價(jià)預(yù)測(cè)值。

18、作為優(yōu)選，所述sa包括：將電價(jià)子分量輸入分支第1個(gè)inception模塊計(jì)算，且此分支下第2個(gè)inception模塊和電價(jià)相關(guān)變量輸入分支中的inception模塊計(jì)算過程與其相同，將電價(jià)子分量輸入分支第2個(gè)inception模塊提取到的多尺度空間特征矩陣輸入到串聯(lián)并行多維度注意力機(jī)制中；其中，電價(jià)子分量輸入分支第1個(gè)inception模塊計(jì)算的過程如下式所示：

19、

20、式中：fp為丹麥電價(jià)分解矩陣，為1×1卷積支路第i個(gè)卷積核的權(quán)重矩陣；分別為第一層3×3、5×5、7×7卷積第i個(gè)卷積核的權(quán)重矩陣；分別為第二層3×3、5×5、7×7卷積第i個(gè)卷積核的權(quán)重矩陣；為1×1卷積第i個(gè)卷積核的偏置；分別為第一層3×3、5×5、7×7卷積第i個(gè)卷積核的偏置；分別為第二層3×3、5×5、7×7卷積第i個(gè)卷積核的偏置；為1×1卷積支路輸出特征；分別為第一層3×3、5×5、7×7卷積的輸出特征；分別為第二層3×3、5×5、7×7卷積的輸出特征；δr為relu激活函數(shù)；將4個(gè)卷積支路提取到的特征矩陣進(jìn)行concat連接得到輸出的多尺度空間特征矩陣同理，電價(jià)子分量輸入分支中第2個(gè)inception模塊和電價(jià)相關(guān)變量輸入分支中的inception模塊輸出的多尺度空間特征矩陣為和

21、作為優(yōu)選，所述sb包括：

22、sb1、通過全局最大池化和全局平均池化對(duì)多尺度空間特征矩陣的空間信息進(jìn)行壓縮聚合，得到輸出大小為c×1×1的特征圖，設(shè)置兩層1×1卷積進(jìn)行縮放學(xué)習(xí)并經(jīng)sigmoid函數(shù)激活后得到第一維度上的注意力權(quán)重，其計(jì)算過程如下式所示：

23、

24、式中：gmp、gap為全局最大池化和全局平均池化操作；為向量點(diǎn)積；和為第一層和第二層第i個(gè)1×1卷積核在c維度上的權(quán)重；和為第一層和第二層第i個(gè)1×1卷積核的偏置；為全局最大池化和全局平均池化點(diǎn)積處理后的特征輸出；和fca為通過第一層和第二層1×1卷積進(jìn)行特征學(xué)習(xí)后的輸出，σ為sigmoid激活函數(shù)；

25、sb2、使用兩個(gè)一維最大池化和一維平均池化分別對(duì)多尺度空間特征矩陣的垂直方向空間信息和水平方向空間信息進(jìn)行壓縮聚合，得到輸出為c×h×1和c×1×w的特征圖，計(jì)算過程如下式所示：

26、

27、

28、式中：和為經(jīng)過平均池化和最大池化后第j個(gè)通道在h維度的輸出；和為經(jīng)過平均池化和最大池化后第j個(gè)通道在w維度的輸出；τ表示對(duì)每個(gè)通道進(jìn)行不同空間范圍的最大池化和平均池化操作；

29、設(shè)置兩層1×1的卷積進(jìn)行縮放學(xué)習(xí)并經(jīng)sigmoid函數(shù)激活后得到垂直和水平上的注意力權(quán)重，其計(jì)算過程如下式所示：

30、

31、式中：和為第一層和第二層第i個(gè)1×1卷積核在h維度上的權(quán)重；和為第一層和第二層第i個(gè)1×1卷積核在h維度上的偏置；和為第一層和第二層第i個(gè)1×1卷積核在w維度上的權(quán)重；和為第一層和第二層第i個(gè)1×1卷積核在w維度上的偏置；和fha為通過第一層和第二層1×1卷積對(duì)h維度特征學(xué)習(xí)后的輸出；和fwa為通過第一層和第二層1×1卷積對(duì)w維度特征學(xué)習(xí)后的輸出；

32、sb3、將不同維度得到的注意力權(quán)重與原始多尺度空間特征矩陣相乘，得到多維注意力特征矩陣fda，如下式所示：

33、

34、作為優(yōu)選，所述sc包括：

35、對(duì)于電價(jià)相關(guān)變量輸入分支，采用inception和bilstm并行結(jié)構(gòu)來同時(shí)提取電價(jià)相關(guān)變量的空間特征和時(shí)序特征；電價(jià)相關(guān)變量輸入矩陣經(jīng)扁平層變換為1維長(zhǎng)向量輸入到bilstm模塊中，通過正向和反向傳播規(guī)律加強(qiáng)歷史數(shù)據(jù)和未來數(shù)據(jù)的聯(lián)系，提取電價(jià)相關(guān)變量的時(shí)序特征，其計(jì)算過程如下式所示；

36、

37、

38、式中：和分別為t時(shí)刻前向隱藏層和后向隱藏層的輸出；和分別為輸入層映射至前向隱藏層與后向隱藏層的權(quán)重矩陣；和分別為前向隱藏層與后向隱藏層前一時(shí)刻輸出映射至當(dāng)前時(shí)刻的權(quán)重矩陣；b(1)和b(2)分別為前向隱藏層與后向隱藏層的偏置；w1和w2分別為前向隱藏層與后向隱藏層的輸出映射至輸出層的權(quán)重矩陣；δt為tanh激活函數(shù)；為電價(jià)相關(guān)變量矩陣經(jīng)扁平層后的輸出；表示輸出層的輸出。同理，將此時(shí)序特征fv,1輸入到此分支第2個(gè)bilstm網(wǎng)絡(luò)后得到時(shí)序特征為后續(xù)用代表

39、將inception模塊提取到的空間特征經(jīng)扁平層壓平后與bilstm模塊提取的時(shí)序特征進(jìn)行特征融合得到電價(jià)相關(guān)變量數(shù)據(jù)的時(shí)空特征fv，其計(jì)算過程如下式所示：

40、其中，表示從第一維度串聯(lián)。

41、作為優(yōu)選，所述sd包括：

42、通過自注意力機(jī)制將電價(jià)相關(guān)變量數(shù)據(jù)的時(shí)空特征中的不同位置信息彼此進(jìn)行關(guān)聯(lián)和交互，更全面地學(xué)習(xí)其中的依賴關(guān)系，關(guān)注其中的重要信息，其計(jì)算過程下式所示：

43、

44、隨機(jī)初始化4組權(quán)重矩陣wiq、wik、wiv，將電價(jià)相關(guān)變量數(shù)據(jù)的時(shí)空特征fv與這4組權(quán)重矩陣相乘，得到4組qi、ki、vi(i∈0,1,2,3)；將矩陣qi與ki做內(nèi)積通過softmax函數(shù)進(jìn)行歸一化得到相關(guān)性權(quán)重矩陣，隨后將其與矩陣vi進(jìn)行加權(quán)求和，由此得到權(quán)重系數(shù)z；最后用z與初始化矩陣w0相乘，得到蘊(yùn)含自注意力機(jī)制的時(shí)空特征fvsa。

45、式中：wiq、wik、wiv表示初始化的權(quán)重矩陣，qi、ki、vi分別表示查詢向量、鍵向量和值向量，dk表示鍵向量的維度，z表示權(quán)重系數(shù)，w0表示權(quán)重矩陣。

46、作為優(yōu)選，將所述數(shù)據(jù)集樣本劃分為訓(xùn)練集和測(cè)試集，先將訓(xùn)練集輸入到mbi-ipmda-pbisa深度學(xué)習(xí)模型中進(jìn)行訓(xùn)練，得到訓(xùn)練好的mbi-ipmda-pbisa深度學(xué)習(xí)模型，再將測(cè)試集數(shù)據(jù)輸入到訓(xùn)練好的mbi-ipmda-pbisa深度學(xué)習(xí)模型中來預(yù)測(cè)未來電價(jià)，將預(yù)測(cè)結(jié)果與真實(shí)值對(duì)比，得到測(cè)試集的預(yù)測(cè)精度和預(yù)測(cè)誤差。在工程應(yīng)用時(shí)，將歷史數(shù)據(jù)輸入到訓(xùn)練好的mbi-ipmda-pbisa深度學(xué)習(xí)模型中，即可得到需要預(yù)測(cè)的未來電價(jià)數(shù)據(jù)。

47、本發(fā)明的有益效果：

48、1、本方案通過提出并行多維度注意力機(jī)制，避免了se注意力機(jī)制只關(guān)注各通道的重要性忽略了空間上的信息交互的問題、cbam通過通道注意力模塊和空間注意力模塊串聯(lián)來關(guān)注通道和空間的信息交互只能捕捉局部信息的問題。并行多維度注意力機(jī)制利用“兩個(gè)一維全局池化操作來分別提取垂直和水平方向上的特征信息，得到的兩個(gè)獨(dú)立方向感知特征圖可以捕捉輸入的特征圖上不同方向上的遠(yuǎn)程依賴關(guān)系”這一思想并融合了cbam同時(shí)采用平均池化和最大池化來聚合特征信息的優(yōu)點(diǎn)，全面考慮了不同的特征提取模塊對(duì)其進(jìn)行特征信息挖掘，提升了mbi-ipmda-pbisa模型對(duì)預(yù)測(cè)數(shù)據(jù)的預(yù)測(cè)準(zhǔn)確性。

49、2、本方案通過考慮了電價(jià)相關(guān)變量來輔助預(yù)測(cè)未來電價(jià)，利用最大戶信息系數(shù)有效剔除了與電價(jià)相關(guān)性低的相關(guān)變量，以此來降低深度學(xué)習(xí)預(yù)測(cè)模型的計(jì)算量。

50、3、本方案通過提出的mbi-ipmda-pbisa深度學(xué)習(xí)模型先分別提取電價(jià)和電價(jià)相關(guān)變量中的深層特征后，再進(jìn)行特征融合來預(yù)測(cè)未來電價(jià)，如此可使預(yù)測(cè)模型充分學(xué)習(xí)電價(jià)子分量和電價(jià)相關(guān)變量與未來電價(jià)之間的復(fù)雜關(guān)聯(lián)關(guān)系，又避免了單獨(dú)預(yù)測(cè)電價(jià)子分量后再疊加得到未來電價(jià)所造成的誤差疊加問題。

51、4、本方案通過采用1×1、3×3和5×5三個(gè)卷積窗大小不同的卷積層和一個(gè)最大池化層來提取輸入數(shù)據(jù)的空間特征，不同卷積窗大小的感受野不同，所提取到的空間特征不同，池化層所提取到的特征又和卷積層提取到的特征不同，將其組合成一個(gè)多通道的空間特征矩陣可以使不同的卷積層和池化層的特征提取優(yōu)勢(shì)得到互補(bǔ)，增強(qiáng)其特征提取性能；同時(shí)本方案采用了inception深度學(xué)習(xí)模型中不同卷積窗大小的卷積所提取到的空間特征不同的思想，延用了inception基礎(chǔ)模型中的1×1、3×3和5×5三個(gè)卷積窗大小不同的卷積來增加特征多樣性。而最大池化層在提取特征時(shí)會(huì)忽略部分元素值，更容易出現(xiàn)過擬合問題，且會(huì)過度提高訓(xùn)練集的精度，進(jìn)而導(dǎo)致測(cè)試精度下降。所以本發(fā)明所采用的inception深度學(xué)習(xí)模型利用7×7的卷積模塊替代最大池化層，且為了擴(kuò)大卷積的感受野，提高網(wǎng)絡(luò)深度，將3×3、5×5和7×7卷積設(shè)置為兩層；再者，由于lstm網(wǎng)絡(luò)只能單向處理數(shù)據(jù)，往往會(huì)忽略未來時(shí)刻隱藏的信息。而bilstm網(wǎng)絡(luò)分別由向前和向后的lstm網(wǎng)絡(luò)構(gòu)成，其在獲得過去信息的同時(shí)，也能很好地利用未來信息，這對(duì)有時(shí)序性的數(shù)據(jù)來說，可進(jìn)一步提高其預(yù)測(cè)精度。