本技術(shù)涉及新型臺(tái)區(qū)運(yùn)行調(diào)控，尤其涉及一種含高比例光伏臺(tái)區(qū)的電壓調(diào)控方法、系統(tǒng)、設(shè)備及介質(zhì)。

背景技術(shù)：

1、配電臺(tái)區(qū)作為電力傳輸?shù)摹白詈笠还铩?，它們通常具有輻射狀結(jié)構(gòu)，大規(guī)模戶(hù)用光伏并網(wǎng)后，傳統(tǒng)低壓配電網(wǎng)“單電源”網(wǎng)絡(luò)轉(zhuǎn)變?yōu)椤岸嚯娫础本W(wǎng)絡(luò)，潮流的分布特征發(fā)生根本性變化。由于光伏發(fā)電具備波動(dòng)性、間歇性和隨機(jī)性，戶(hù)用光伏并網(wǎng)后，配電臺(tái)區(qū)將會(huì)面電壓越限和波動(dòng)、三相不平衡等問(wèn)題。

2、隨著電力電子技術(shù)的飛速發(fā)展，搭建以交流為主，直流為輔的柔性互聯(lián)交直流混合臺(tái)區(qū)，將是未來(lái)臺(tái)區(qū)發(fā)展的主流形式，相比于交流配電網(wǎng)，直流配電網(wǎng)拓?fù)潇`活，潮流可控，具備平抑新能源與新型負(fù)荷不確定性的潛力。因此，研究如何充分利用柔性互聯(lián)裝置解決光伏帶來(lái)的電壓質(zhì)量問(wèn)題具有重要意義。

3、總結(jié)現(xiàn)有的臺(tái)區(qū)電壓調(diào)控方法主要有：1）調(diào)節(jié)臺(tái)區(qū)配變分接頭。該方法在一定程度上可以調(diào)節(jié)臺(tái)區(qū)末端用戶(hù)的電壓，但往往會(huì)導(dǎo)致首端用戶(hù)電壓偏高或偏低。2）加裝無(wú)功補(bǔ)償裝置。該方法能夠一定程度上降低線路壓降，但難以解決光伏接入帶來(lái)的電壓升高問(wèn)題。3）基于功率的調(diào)控手段。該方法主要通過(guò)削減光伏并網(wǎng)功率和調(diào)節(jié)分布式儲(chǔ)能裝置功率，該方法依賴(lài)于儲(chǔ)能的配置，在高比例光伏接入的臺(tái)區(qū)中調(diào)節(jié)能力有限。并且該方法需要獲取臺(tái)區(qū)的所有拓?fù)鋮?shù)、設(shè)備狀態(tài)以及光伏發(fā)電功率的預(yù)測(cè)值，這在現(xiàn)有的臺(tái)區(qū)采集量測(cè)能力下中難以實(shí)現(xiàn)。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供了一種含高比例光伏臺(tái)區(qū)的電壓調(diào)控方法、系統(tǒng)、設(shè)備及介質(zhì)，用于在臺(tái)區(qū)參數(shù)未知、光伏預(yù)測(cè)數(shù)據(jù)不準(zhǔn)條件下的進(jìn)行電壓精準(zhǔn)調(diào)控。

2、有鑒于此，本技術(shù)第一方面提供了一種含高比例光伏臺(tái)區(qū)的電壓調(diào)控方法，所述方法包括：

3、s1、通過(guò)定義強(qiáng)化學(xué)習(xí)智能體的狀態(tài)、動(dòng)作和獎(jiǎng)勵(lì)，從而構(gòu)建含高比例光伏臺(tái)區(qū)電壓調(diào)控問(wèn)題的求解框架；

4、s2、通過(guò)將智能體與仿真環(huán)境進(jìn)行交互，訓(xùn)練智能體的策略函數(shù)，得到訓(xùn)練好的策略網(wǎng)絡(luò)；

5、s3、將電壓待調(diào)控的實(shí)際環(huán)境狀態(tài)輸入訓(xùn)練好的策略網(wǎng)絡(luò)中，得到智能體輸出的電壓調(diào)控策略。

6、可選地，所述定義強(qiáng)化學(xué)習(xí)智能體的狀態(tài)、動(dòng)作和獎(jiǎng)勵(lì)，具體包括：

7、將智能體的狀態(tài)定義為柔性互聯(lián)裝置直流側(cè)儲(chǔ)能的荷電狀態(tài)socdc；

8、將智能體的動(dòng)作定義為柔性互聯(lián)裝置直流側(cè)儲(chǔ)能的充電功率pess及削減的光伏并網(wǎng)功率；

9、將智能體的獎(jiǎng)勵(lì)定義為：

10、；

11、式中，為智能體在t時(shí)刻狀態(tài)下執(zhí)行動(dòng)作和獲得環(huán)境反饋的獎(jiǎng)勵(lì)值；分別為t時(shí)刻節(jié)點(diǎn)i在a、b、c相的電壓相量；；分別為臺(tái)區(qū)電壓幅值的上限和下限。

12、可選地，所述通過(guò)將智能體與所述仿真環(huán)境進(jìn)行交互，訓(xùn)練智能體的策略函數(shù)，得到訓(xùn)練好的策略網(wǎng)絡(luò)，之前還包括：

13、基于臺(tái)區(qū)的歷史運(yùn)行數(shù)據(jù)，利用lstm神經(jīng)網(wǎng)絡(luò)擬合時(shí)間、狀態(tài)、動(dòng)作與獎(jiǎng)勵(lì)之間的函數(shù)關(guān)系，并將lstm神經(jīng)網(wǎng)絡(luò)作為強(qiáng)化學(xué)習(xí)智能體的仿真環(huán)境。

14、可選地，所述通過(guò)將智能體與所述仿真環(huán)境進(jìn)行交互，訓(xùn)練智能體的策略函數(shù)，得到訓(xùn)練好的策略網(wǎng)絡(luò)，具體包括：

15、s21、初始化智能體的策略網(wǎng)絡(luò)與評(píng)價(jià)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)；

16、s22、通過(guò)當(dāng)前的所述策略網(wǎng)絡(luò)將智能體與仿真環(huán)境進(jìn)行交互，生成采樣軌跡；

17、s23、根據(jù)當(dāng)前生成的所述采樣軌跡計(jì)算回報(bào)值，并根據(jù)所述回報(bào)值計(jì)算所述策略網(wǎng)絡(luò)與所述評(píng)價(jià)網(wǎng)絡(luò)的更新梯度，從而更新所述策略網(wǎng)絡(luò)與所述評(píng)價(jià)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)；

18、s24、重復(fù)步驟s22至s23，直至訓(xùn)練輪次達(dá)到預(yù)設(shè)的上限值，得到訓(xùn)練好的策略網(wǎng)絡(luò)。

19、本技術(shù)第二方面提供一種含高比例光伏臺(tái)區(qū)的電壓調(diào)控系統(tǒng)，所述系統(tǒng)包括：

20、構(gòu)建單元，用于通過(guò)定義強(qiáng)化學(xué)習(xí)智能體的狀態(tài)、動(dòng)作和獎(jiǎng)勵(lì)，從而構(gòu)建含高比例光伏臺(tái)區(qū)電壓調(diào)控問(wèn)題的求解框架；

21、訓(xùn)練單元，用于通過(guò)將智能體與仿真環(huán)境進(jìn)行交互，訓(xùn)練智能體的策略函數(shù)，得到訓(xùn)練好的策略網(wǎng)絡(luò)；

22、輸出單元，用于將電壓待調(diào)控的實(shí)際環(huán)境狀態(tài)輸入訓(xùn)練好的策略網(wǎng)絡(luò)中，得到智能體輸出的電壓調(diào)控策略。

23、可選地，所述定義強(qiáng)化學(xué)習(xí)智能體的狀態(tài)、動(dòng)作和獎(jiǎng)勵(lì)，具體包括：

24、將智能體的狀態(tài)定義為柔性互聯(lián)裝置直流側(cè)儲(chǔ)能的荷電狀態(tài)socdc；

25、將智能體的動(dòng)作定義為柔性互聯(lián)裝置直流側(cè)儲(chǔ)能的充電功率pess及削減的光伏并網(wǎng)功率；

26、將智能體的獎(jiǎng)勵(lì)定義為：

27、；

28、式中，為智能體在t時(shí)刻狀態(tài)下執(zhí)行動(dòng)作和獲得環(huán)境反饋的獎(jiǎng)勵(lì)值；分別為t時(shí)刻節(jié)點(diǎn)i在a、b、c相的電壓相量；；分別為臺(tái)區(qū)電壓幅值的上限和下限。

29、可選地，還包括：搭建單元；

30、所述搭建單元，用于基于臺(tái)區(qū)的歷史運(yùn)行數(shù)據(jù)，利用lstm神經(jīng)網(wǎng)絡(luò)擬合時(shí)間、狀態(tài)、動(dòng)作與獎(jiǎng)勵(lì)之間的函數(shù)關(guān)系，并將lstm神經(jīng)網(wǎng)絡(luò)作為強(qiáng)化學(xué)習(xí)智能體的仿真環(huán)境。

31、可選地，所述訓(xùn)練單元，具體用于：

32、s21、初始化智能體的策略網(wǎng)絡(luò)與評(píng)價(jià)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)；

33、s22、通過(guò)當(dāng)前的所述策略網(wǎng)絡(luò)將智能體與仿真環(huán)境進(jìn)行交互，生成采樣軌跡；

34、s23、根據(jù)當(dāng)前生成的所述采樣軌跡計(jì)算回報(bào)值，并根據(jù)所述回報(bào)值計(jì)算所述策略網(wǎng)絡(luò)與所述評(píng)價(jià)網(wǎng)絡(luò)的更新梯度，從而更新所述策略網(wǎng)絡(luò)與所述評(píng)價(jià)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)；

35、s24、重復(fù)步驟s22至s23，直至訓(xùn)練輪次達(dá)到預(yù)設(shè)的上限值，得到訓(xùn)練好的策略網(wǎng)絡(luò)。

36、本技術(shù)第三方面提供一種含高比例光伏臺(tái)區(qū)的電壓調(diào)控設(shè)備，所述設(shè)備包括處理器以及存儲(chǔ)器：

37、所述存儲(chǔ)器用于存儲(chǔ)程序代碼，并將所述程序代碼傳輸給所述處理器；

38、所述處理器用于根據(jù)所述程序代碼中的指令，執(zhí)行如上述第一方面所述的含高比例光伏臺(tái)區(qū)的電壓調(diào)控方法的步驟。

39、本技術(shù)第四方面提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)用于存儲(chǔ)程序代碼，所述程序代碼用于執(zhí)行上述第一方面所述的含高比例光伏臺(tái)區(qū)的電壓調(diào)控方法。

40、從以上技術(shù)方案可以看出，本技術(shù)具有以下優(yōu)點(diǎn)：

41、本技術(shù)提供了一種含高比例光伏臺(tái)區(qū)的電壓調(diào)控方法，包括：s1、通過(guò)定義強(qiáng)化學(xué)習(xí)智能體的狀態(tài)、動(dòng)作和獎(jiǎng)勵(lì)，從而構(gòu)建含高比例光伏臺(tái)區(qū)電壓調(diào)控問(wèn)題的求解框架；s2、通過(guò)將智能體與仿真環(huán)境進(jìn)行交互，訓(xùn)練智能體的策略函數(shù)，得到訓(xùn)練好的策略網(wǎng)絡(luò)；s3、將電壓待調(diào)控的實(shí)際環(huán)境狀態(tài)輸入訓(xùn)練好的策略網(wǎng)絡(luò)中，得到智能體輸出的電壓調(diào)控策略。

42、與現(xiàn)有技術(shù)相比，本技術(shù)的調(diào)控方法：

43、1）不依賴(lài)于模型參數(shù)：本技術(shù)提出的方法能夠在臺(tái)區(qū)拓?fù)鋮?shù)與光伏預(yù)測(cè)出力均不確定的條件下求解臺(tái)區(qū)的電壓調(diào)控策略。這與以往要求臺(tái)區(qū)模型參數(shù)完整的方法不同，適用性更廣。

44、2）調(diào)控速度更快：本技術(shù)得到的訓(xùn)練后的調(diào)控策略在實(shí)際應(yīng)用中僅需將定義的狀態(tài)量輸入至策略網(wǎng)絡(luò)中，即可輸出當(dāng)前狀態(tài)下的決策量，無(wú)需求解復(fù)雜的優(yōu)化問(wèn)題，響應(yīng)速度更快。

45、3）電壓調(diào)控效果更強(qiáng)：本技術(shù)提出的方法能使得臺(tái)區(qū)每個(gè)節(jié)點(diǎn)的電壓都在允許范圍內(nèi)，且同時(shí)最小化三相電壓不平衡度。