本發(fā)明涉及住宅電力負(fù)荷預(yù)測(cè)，具體涉及一種基于全新端到端的住宅電力負(fù)荷預(yù)測(cè)方法。

背景技術(shù)：

1、提高住宅負(fù)荷預(yù)測(cè)的精度和可靠性有利于發(fā)電廠和電力公司根據(jù)電力用戶(hù)和電力市場(chǎng)的需求來(lái)獲取最佳的發(fā)電量，在智能電網(wǎng)的高效管理和節(jié)能運(yùn)行中，住宅用電短期負(fù)荷預(yù)測(cè)是不可或缺的一部分；與此同時(shí)，人口的快速增長(zhǎng)和技術(shù)的發(fā)展已經(jīng)顯著提高了全球的電力消耗，由于電力在發(fā)電廠發(fā)電的同時(shí)被消耗，因此提前準(zhǔn)確地預(yù)測(cè)能源消耗對(duì)于確保穩(wěn)定的電力供應(yīng)至關(guān)重要。

2、在過(guò)去幾十年中，各種短期住宅負(fù)荷預(yù)測(cè)模型和方法被提出和應(yīng)用。傳統(tǒng)的時(shí)間序列預(yù)測(cè)方法主要分為兩種：統(tǒng)計(jì)學(xué)方法和傳統(tǒng)機(jī)器學(xué)習(xí)方法；統(tǒng)計(jì)學(xué)的經(jīng)典預(yù)測(cè)方法主要有自回歸移動(dòng)平均、自回歸總和移動(dòng)平均模型、線性回歸方法等；對(duì)于機(jī)器學(xué)習(xí)方面的短期電力負(fù)荷預(yù)測(cè)，典型方法包括支持向量回歸、模糊線性回歸、極限學(xué)習(xí)機(jī)等；統(tǒng)計(jì)學(xué)方法能夠捕捉時(shí)間序列的線性關(guān)系，然而，現(xiàn)有的統(tǒng)計(jì)學(xué)方法并不適用于數(shù)據(jù)集的特征維度、具有復(fù)雜特性和快速動(dòng)態(tài)變化的數(shù)據(jù)，很難對(duì)快速變化的數(shù)據(jù)進(jìn)行實(shí)時(shí)預(yù)測(cè)和實(shí)現(xiàn)合理的降維壓縮，且僅依賴(lài)于歷史負(fù)荷數(shù)據(jù)，無(wú)法充分利用額外因素提供的信息，阻礙了預(yù)測(cè)精度的提高。傳統(tǒng)的機(jī)器學(xué)習(xí)方法可以有效地?cái)M合歷史數(shù)據(jù)與外部因素之間隱含的非線性關(guān)系，但仍存在一些不足需要克服，如陷入局部最優(yōu)、依賴(lài)人工調(diào)參、容易出現(xiàn)過(guò)擬合等。傳統(tǒng)的負(fù)荷預(yù)測(cè)方法如小波分析、卡爾曼濾波等計(jì)算時(shí)間短、計(jì)算速度快。經(jīng)典模型基于統(tǒng)計(jì)計(jì)算并假設(shè)線性負(fù)載序列。然而，隨著電力系統(tǒng)的日益復(fù)雜，傳統(tǒng)的模型已經(jīng)不能滿(mǎn)足要求。在涉及一些非線性情況(如客戶(hù)行為)的條件下，由于可能的高誤差，經(jīng)典方法無(wú)法準(zhǔn)確預(yù)測(cè)。

3、如今，基于深度學(xué)習(xí)的方法被引入，以實(shí)現(xiàn)以最小的復(fù)雜性進(jìn)行有效的預(yù)測(cè)?；谏疃葘W(xué)習(xí)的模型通過(guò)在輸入層和輸出層之間堆疊隱藏層的數(shù)量，可以有效地學(xué)習(xí)時(shí)間序列負(fù)荷數(shù)據(jù)的復(fù)雜、非線性和時(shí)間依賴(lài)性。特別地，循環(huán)神經(jīng)網(wǎng)絡(luò)能夠捕獲時(shí)間序列數(shù)據(jù)中的復(fù)雜依賴(lài)關(guān)系。但是，它受到消失梯度和爆炸梯度問(wèn)題的困擾。針對(duì)循環(huán)神經(jīng)模型訓(xùn)練時(shí)梯度爆炸和梯度消失的問(wèn)題，提出了一種以lstm、gru為代表作的門(mén)控循環(huán)神經(jīng)網(wǎng)絡(luò)，通過(guò)門(mén)控機(jī)制來(lái)實(shí)現(xiàn)對(duì)重要?dú)v史信息的篩選；雖然門(mén)控循環(huán)網(wǎng)絡(luò)被精心設(shè)計(jì)來(lái)記憶時(shí)間序列的長(zhǎng)期依賴(lài)，但是依舊會(huì)存在處理過(guò)長(zhǎng)序列時(shí)出現(xiàn)的梯度消失和梯度爆炸的問(wèn)題。

4、短期住宅電力負(fù)荷預(yù)測(cè)的質(zhì)量主要取決于模型對(duì)歷史數(shù)據(jù)的特征提取能力。近年來(lái)深度學(xué)習(xí)模型被廣泛應(yīng)用在時(shí)間序列預(yù)測(cè)領(lǐng)域，有誤差反向傳播神經(jīng)網(wǎng)絡(luò)(backpropagation,bp)、卷積神經(jīng)網(wǎng)絡(luò)(convolutional?neural?network,cnn)、循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent?neural?network,rnn)、長(zhǎng)短期記憶網(wǎng)絡(luò)(longshort-term?memory,lstm)、transformer等。bp對(duì)于初始權(quán)重過(guò)于敏感，不利于模型訓(xùn)練。cnn有很好的局部特征提取能力，但是忽略了時(shí)間序列的遞歸性。rnn和lstm由于鏈?zhǔn)角髮?dǎo)反向傳播，所以存在著梯度消失或爆炸的問(wèn)題。transformer在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別等領(lǐng)域表現(xiàn)卓越，但其時(shí)空復(fù)雜度較高，具有內(nèi)存瓶頸。隨之而來(lái)的是各種transformer的變體，如reformer、informer、pyraformer等，這些都是使用稀疏注意力降低復(fù)雜度，但是沒(méi)有考慮到時(shí)間序列的多分量性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是為了針對(duì)現(xiàn)有技術(shù)的不足，提出一種基于全新端到端的住宅電力負(fù)荷預(yù)測(cè)方法，在transformer中的編碼器基礎(chǔ)上，融合convnext網(wǎng)絡(luò)中的深度可分離卷積以及逐點(diǎn)卷積結(jié)構(gòu)，通過(guò)引入深度可分離卷積，減少網(wǎng)絡(luò)參數(shù)量，能夠更好的抓取時(shí)間以及空間信息，再通過(guò)逐點(diǎn)卷積將所有信息融合；通過(guò)引入反轉(zhuǎn)殘差瓶頸結(jié)構(gòu)，在逐點(diǎn)卷積進(jìn)行“先升維后降維”的操作后，能夠有效的保留更多的特征信息，預(yù)測(cè)模型具有預(yù)測(cè)速度快、泛化能力好、預(yù)測(cè)結(jié)果準(zhǔn)確度高的優(yōu)點(diǎn)。

2、為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

3、一種基于全新端到端的住宅電力負(fù)荷預(yù)測(cè)方法，包括以下步驟：

4、步驟s01、使用皮爾遜相關(guān)系數(shù)法對(duì)數(shù)據(jù)集進(jìn)行特征篩選并作數(shù)據(jù)預(yù)處理，包括特征歸一化和獨(dú)熱編碼；

5、步驟s02、按照8:1:1將預(yù)處理后的數(shù)據(jù)集劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集；

6、步驟s03、采用基于全新端到端網(wǎng)絡(luò)模型對(duì)訓(xùn)練集數(shù)據(jù)提取特征，學(xué)習(xí)其數(shù)據(jù)分布及變化規(guī)律，構(gòu)建深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型；

7、步驟s04、通過(guò)adam算法，根據(jù)彈球損失函數(shù)進(jìn)行反向傳播訓(xùn)練模型參數(shù)；并根據(jù)驗(yàn)證集的損失值判斷模型參數(shù)的訓(xùn)練效果；

8、步驟s05、利用步驟s04中訓(xùn)練出的最優(yōu)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型對(duì)短期住宅電力負(fù)荷進(jìn)行預(yù)測(cè)，并通過(guò)誤差評(píng)價(jià)指標(biāo)對(duì)比預(yù)測(cè)結(jié)果與真實(shí)結(jié)果，驗(yàn)證網(wǎng)絡(luò)模型的預(yù)測(cè)精度。

9、具體的，步驟s01中所述數(shù)據(jù)預(yù)處理，包括對(duì)家庭平均有功功率負(fù)荷、天氣作歸一化處理，對(duì)季節(jié)和節(jié)假日以及各種家庭電氣設(shè)備有功功率瓦時(shí)作獨(dú)熱編碼處理；所述歸一化處理，對(duì)數(shù)據(jù)集特征每一列的數(shù)據(jù)按照時(shí)間順序記為x＝{x1,x2,…,xn}，采用max-min歸一化處理，使數(shù)據(jù)映射到0-1之間，計(jì)算公式為：

10、

11、上式中，xmax和xmin分別是該列數(shù)據(jù)的最大值和最小值，得到新的序列記為y＝{y1,y2,…,yn}；

12、所述獨(dú)熱編碼處理，若數(shù)據(jù)特征為春季，則將其特征編碼為[1,0,0,0]；若數(shù)據(jù)特征在節(jié)假日中，則將其特征編碼為[1,0]，若數(shù)據(jù)特征不在節(jié)假日中，則將其編碼為[0,1]；若家庭電氣設(shè)備在使用中，則其特征編碼為[1,0]，不在使用中則將其編碼為[0,1]。

13、具體的，步驟s03中所述采用基于全新端到端網(wǎng)絡(luò)模型對(duì)訓(xùn)練集數(shù)據(jù)提取特征，所述全新端到端網(wǎng)絡(luò)模型主體結(jié)構(gòu)包括transformer序列到序列結(jié)構(gòu)、編碼器、融入編碼器中的tcn網(wǎng)絡(luò)以及convnext網(wǎng)絡(luò)，網(wǎng)絡(luò)之間通過(guò)殘差連接，使模型輸入數(shù)據(jù)和輸出數(shù)據(jù)相加，其結(jié)果作為編碼器最終的輸出數(shù)據(jù)；

14、所述convnext網(wǎng)絡(luò)標(biāo)準(zhǔn)卷積層采用大小為dk×dk×m×n的卷積核k進(jìn)行參數(shù)化，其中dk為假設(shè)為正方形的核的空間維度，m為輸入通道數(shù)，n為輸出通道數(shù)；標(biāo)準(zhǔn)卷積的計(jì)算成本為：dk·dk·m·n·df·df，其中計(jì)算成本乘性地依賴(lài)于輸入通道數(shù)m、輸出通道數(shù)n、卷積核尺寸dk×dk和特征圖df×df尺寸；對(duì)于深度可分離卷積，計(jì)算成本為：dk·dk·m·df·df+df·df·n。

15、在上述技術(shù)方案中，全新端到端網(wǎng)絡(luò)模型保留了tcn網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)勢(shì)，即膨脹因果卷積和殘差連接，因果卷積保證了嚴(yán)格的時(shí)間約束按照時(shí)間先后順序進(jìn)行卷積操作，即時(shí)刻t的值只取決于前一層網(wǎng)絡(luò)在t時(shí)刻和t時(shí)刻之前的值；此外，為了學(xué)習(xí)到更長(zhǎng)的時(shí)序依賴(lài)、避免歷史數(shù)據(jù)信息的丟失而使用了擴(kuò)張卷積，在不做池化的情況下能增大感受野的大小，使每個(gè)卷積輸出更大范圍的信息；同時(shí)，為了增加網(wǎng)絡(luò)的穩(wěn)定性，防止網(wǎng)絡(luò)層數(shù)變多導(dǎo)致網(wǎng)絡(luò)退化，在網(wǎng)絡(luò)添加了殘差連接，即輸入數(shù)據(jù)直接跳過(guò)中間的卷積操作，使輸入數(shù)據(jù)和輸出數(shù)據(jù)相加，其結(jié)果作為編碼器最終的輸出數(shù)據(jù)；

16、所述convnext網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)點(diǎn)在于它能夠適應(yīng)多維輸入數(shù)據(jù)，更好地處理空間信息，減少模型參數(shù)，同時(shí)還具有很好的泛化能力。

17、具體的，步驟s03中所述深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型具有編碼器-解碼器結(jié)構(gòu)，所述編碼器包含三種模塊：自相關(guān)計(jì)算模塊、因果卷積模塊和深度可分離卷積模塊；所述解碼器中僅有l(wèi)stm模塊；所述自相關(guān)計(jì)算模塊和因果卷積模塊用于通過(guò)計(jì)算序列自相關(guān)和時(shí)間延遲聚合相似的連續(xù)性來(lái)確定基于周期的相關(guān)性；所述深度可分離卷積模塊用于提取多個(gè)負(fù)荷變量之間的空間相關(guān)性以及能夠更好地學(xué)習(xí)通道之間和空間之間的相關(guān)性；經(jīng)過(guò)編碼器中的季節(jié)性、趨勢(shì)性和空間相關(guān)性的三個(gè)模塊處理過(guò)的時(shí)間序列數(shù)據(jù)，會(huì)得到對(duì)應(yīng)更完整的特征表示，這些特征表示將被傳遞到解碼器中的lstm模塊中進(jìn)行預(yù)測(cè)。

18、具體的，所述lstm模塊核心結(jié)構(gòu)包括遺忘門(mén)、輸入門(mén)和輸出門(mén)，所述遺忘門(mén)能夠決定將部分歷史信息從單元狀態(tài)中丟棄，當(dāng)遺忘門(mén)的值為1時(shí)，將完全保留此信息，反之為0時(shí)將會(huì)丟棄歷史所有信息，即遺忘門(mén)能夠?qū)v史信息選擇性遺忘；所述輸入門(mén)和輸出門(mén)在更新單元狀態(tài)時(shí)，能夠控制輸入到當(dāng)前單元中的信息并生成需要輸出的新信息；來(lái)自編碼器的輸出數(shù)據(jù)，作為解碼器中l(wèi)stm模塊的輸入，最終輸出預(yù)測(cè)值。lstm模塊在時(shí)間序列預(yù)測(cè)中能夠有效地捕捉長(zhǎng)期依賴(lài)關(guān)系，利用歷史信息，并具有較好的適應(yīng)性，因此被廣泛應(yīng)用于時(shí)間序列預(yù)測(cè)，能夠在短期負(fù)荷預(yù)測(cè)方面提高預(yù)測(cè)值的精度。

19、進(jìn)一步地，所述深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型還包括激活函數(shù)和歸一化函數(shù)，所述激活函數(shù)選擇高斯誤差線性單元gelu，將電力模型的輸出經(jīng)過(guò)gelu函數(shù)變成非線性，而不改變數(shù)據(jù)的形狀，所述gelu函數(shù)的計(jì)算公式為：

20、gelu(x)＝x*φ(x)???(2)

21、上式中，φ(x)表示高斯分布的累積概率分布，即在(-∞,x]區(qū)間對(duì)高斯分布的定積分；

22、所述歸一化函數(shù)選擇層歸一化函數(shù)，所述層歸一化函數(shù)用于綜合考慮一層所有維度的輸入，計(jì)算該層的平均輸入值和輸入方差，然后用同一個(gè)規(guī)范化操作來(lái)轉(zhuǎn)換各個(gè)維度的輸入。層歸一化針對(duì)單個(gè)訓(xùn)練樣本進(jìn)行，不依賴(lài)于其他數(shù)據(jù)，因此可以避免批量歸一化中受小批量數(shù)據(jù)分布影響的問(wèn)題，可以用于小批量場(chǎng)景、動(dòng)態(tài)網(wǎng)絡(luò)場(chǎng)景和rnn，特別是自然語(yǔ)言處理領(lǐng)域；此外，層歸一化不需要保存小批量數(shù)據(jù)的均值和方差，節(jié)省了額外的存儲(chǔ)空間。

23、更進(jìn)一步地，所述層歸一化函數(shù)和激活函數(shù)在深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的每個(gè)模塊中只使用一次，能夠更好的保留特征信息。

24、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

25、本發(fā)明方法為了提高短期住宅電力負(fù)荷預(yù)測(cè)的可靠性，在transformer中的編碼器基礎(chǔ)上，融合convnext網(wǎng)絡(luò)中的深度可分離卷積以及逐點(diǎn)卷積結(jié)構(gòu)，通過(guò)引入深度可分離卷積，減少網(wǎng)絡(luò)參數(shù)量，能夠更好的抓取時(shí)間以及空間信息，再通過(guò)逐點(diǎn)卷積將所有信息融合；通過(guò)引入反轉(zhuǎn)殘差瓶頸結(jié)構(gòu)，在逐點(diǎn)卷積進(jìn)行“先升維后降維”的操作后，能夠有效的保留更多的特征信息，能讓最后的預(yù)測(cè)結(jié)果更加精確。