本發(fā)明涉及綜合能源系統(tǒng)運(yùn)行優(yōu)化，具體涉及一種能源管理系統(tǒng)的設(shè)備調(diào)度決策方法及系統(tǒng)、介質(zhì)、設(shè)備。

背景技術(shù)：

1、需求響應(yīng)(demandresponse,dr)系統(tǒng)會(huì)根據(jù)變化的電能價(jià)格或其他電網(wǎng)信號(hào)動(dòng)態(tài)調(diào)整電能需求。通過適當(dāng)調(diào)整能源價(jià)格，負(fù)荷可以從高峰能耗時(shí)段轉(zhuǎn)移到其他時(shí)間。由此可以提高運(yùn)營(yíng)效率，降低運(yùn)營(yíng)成本，提高資本效率，減少有害排放和停電風(fēng)險(xiǎn)。在綜合能源系統(tǒng)(ies)的研究領(lǐng)域，業(yè)界已經(jīng)對(duì)運(yùn)行優(yōu)化問題進(jìn)行了深入探討，旨在提升系統(tǒng)負(fù)荷側(cè)的運(yùn)行靈活性，并增強(qiáng)新能源的消納能力。住宅和小型商業(yè)建筑的需求響應(yīng)(dr)據(jù)估計(jì)可達(dá)到dr總節(jié)能潛力的65％。然而，住宅和小型商業(yè)建筑領(lǐng)域的dr面臨著幾個(gè)挑戰(zhàn)，技術(shù)挑戰(zhàn)包括以有用的方式部署基礎(chǔ)設(shè)施向能源消費(fèi)者提供實(shí)時(shí)定價(jià)信息，確保安全性，并實(shí)施先進(jìn)的計(jì)量和網(wǎng)絡(luò)設(shè)備。除了這些技術(shù)挑戰(zhàn)之外，住宅和小型商業(yè)建筑領(lǐng)域dr成功的另一個(gè)至關(guān)重要的挑戰(zhàn)是需要一個(gè)完全自動(dòng)化的能源管理系統(tǒng)(ems)。這是因?yàn)樵谝詢r(jià)格為驅(qū)動(dòng)的dr中，消費(fèi)者面臨著持續(xù)的決策序列，要么現(xiàn)在使用特定設(shè)備并以當(dāng)前(已知)價(jià)格消耗能源，要么推遲使用設(shè)備直到以后可能的未知價(jià)格。每個(gè)決策都需要消費(fèi)者權(quán)衡成本差異與由于重新安排設(shè)備使用而產(chǎn)生的不滿。當(dāng)消費(fèi)者還必須估計(jì)未來能源價(jià)格時(shí)，這種情況尤為繁重。此外，許多這些決策對(duì)消費(fèi)者的財(cái)務(wù)影響有限，因此，許多理性的住宅和小型商業(yè)建筑領(lǐng)域的消費(fèi)者可能在長(zhǎng)期內(nèi)沒有足夠的激勵(lì)來做出這些決策，缺點(diǎn)如下：

2、技術(shù)缺點(diǎn)：在居住和小型商業(yè)建筑中實(shí)施需求響應(yīng)可能涉及到設(shè)備和系統(tǒng)的技術(shù)更新和改造，以適應(yīng)能源消耗的調(diào)節(jié)和管理需求。用戶參與挑戰(zhàn)：鼓勵(lì)居民和小型商業(yè)建筑業(yè)主積極參與需求響應(yīng)可能面臨一定的難度，需要建立有效的激勵(lì)機(jī)制和教育宣傳工作。

3、數(shù)據(jù)和信息缺點(diǎn)：實(shí)施需求響應(yīng)需要大量的數(shù)據(jù)支持和信息交流，包括實(shí)時(shí)能源價(jià)格、用電數(shù)據(jù)等，因此建立有效的數(shù)據(jù)收集和共享機(jī)制至關(guān)重要。

4、監(jiān)管和政策上的問題：需求響應(yīng)涉及到能源市場(chǎng)、政策法規(guī)等多方面因素，需要與監(jiān)管機(jī)構(gòu)和政府部門密切合作，確保合規(guī)性和可持續(xù)性。

5、盡管業(yè)界已經(jīng)有不少模型在不同情境下對(duì)ies的運(yùn)行優(yōu)化進(jìn)行了分析，但這些模型往往忽視了綜合能源系統(tǒng)與用戶側(cè)的互動(dòng)。

技術(shù)實(shí)現(xiàn)思路

1、為此，本發(fā)明提供一種能源管理系統(tǒng)的設(shè)備調(diào)度決策方法及系統(tǒng)、介質(zhì)、設(shè)備，旨在解決現(xiàn)有技術(shù)中尚未有考慮用戶側(cè)滿意程度的設(shè)備調(diào)度的技術(shù)問題。

2、為實(shí)現(xiàn)以上目的，本發(fā)明采用如下技術(shù)方案：

3、依據(jù)本發(fā)明第一方面，本發(fā)明提供一種能源管理系統(tǒng)的設(shè)備調(diào)度決策方法，所述方法包括：

4、獲取與能源管理系統(tǒng)相關(guān)的電網(wǎng)信號(hào)數(shù)據(jù)、用戶請(qǐng)求數(shù)據(jù)以及設(shè)備管理數(shù)據(jù)；

5、利用所述電網(wǎng)信號(hào)數(shù)據(jù)、所述用戶請(qǐng)求數(shù)據(jù)以及所述設(shè)備管理數(shù)據(jù)定義成本函數(shù)；

6、構(gòu)建基于強(qiáng)化學(xué)習(xí)的mdp馬爾可夫決策模型，利用所述mdp馬爾可夫決策模型計(jì)算所述成本函數(shù)最小化的設(shè)備調(diào)度決策。

7、可選地，所述電網(wǎng)信號(hào)數(shù)據(jù)包括實(shí)時(shí)能源價(jià)格、未來能源價(jià)格、實(shí)時(shí)溫度以及天氣條件中至少之一；

8、所述用戶請(qǐng)求數(shù)據(jù)包括用戶向所述能源管理系統(tǒng)發(fā)起的針對(duì)第一目標(biāo)設(shè)備在第一目標(biāo)時(shí)間段內(nèi)進(jìn)行用電的用電請(qǐng)求/取消數(shù)據(jù)，公式表示為j＝(n,τr,τg,g)；其中，n為第一目標(biāo)設(shè)備；τr為請(qǐng)求時(shí)間；τg為工作時(shí)間；g為該請(qǐng)求的優(yōu)先級(jí)；τr≤τg≤τr+wn；wn為一個(gè)時(shí)間窗口；

9、所述設(shè)備管理數(shù)據(jù)包括能源管理系統(tǒng)基于所述用戶請(qǐng)求數(shù)據(jù)，針對(duì)第二目標(biāo)設(shè)備在第二目標(biāo)時(shí)間段內(nèi)進(jìn)行供電的供電決策數(shù)據(jù)。

10、可選地，所述利用所述電網(wǎng)信號(hào)數(shù)據(jù)、所述用戶請(qǐng)求數(shù)據(jù)以及所述設(shè)備管理數(shù)據(jù)定義成本函數(shù)，包括：

11、基于所述用戶請(qǐng)求數(shù)據(jù)以及所述設(shè)備管理數(shù)據(jù)定義用戶不滿函數(shù)，公式如下：

12、

13、其中，為目標(biāo)設(shè)備n到時(shí)間t之前的用電請(qǐng)求/取消數(shù)據(jù)和供電決策數(shù)據(jù)；為用戶在時(shí)間t對(duì)目標(biāo)設(shè)備n的不滿程度；ht為目標(biāo)設(shè)備；

14、基于所述用戶不滿函數(shù)和所述電網(wǎng)信號(hào)數(shù)據(jù)定義成本函數(shù)，公式如下：

15、

16、其中，d(t)＝{在時(shí)間t執(zhí)行工作的設(shè)備}；pt為時(shí)間t的電價(jià)；γ≥0代表電費(fèi)支付和消費(fèi)者對(duì)重新調(diào)度的不滿之間的折衷參數(shù)；∑n∈d(t)cn是時(shí)間t消耗的總電能；ptcn∑n∈d(t)為時(shí)間t支付的電費(fèi)。

17、可選地，所述構(gòu)建基于強(qiáng)化學(xué)習(xí)的mdp馬爾可夫決策模型，包括：

18、將用電設(shè)備基于設(shè)備類型劃分為不同的設(shè)備集群；各所述設(shè)備集群表示為

19、定義所述不滿函數(shù)的函數(shù)形式，公式如下：

20、

21、其中，gt為當(dāng)前請(qǐng)求的優(yōu)先級(jí)；st為時(shí)間t的經(jīng)過時(shí)間，公式如下：

22、

23、在時(shí)間t的狀態(tài)函數(shù)定義為：

24、xt＝[pt,st,gt]t∈s

25、其中，s是狀態(tài)空間；s的基數(shù)為|p|為p的基數(shù)，為另一個(gè)時(shí)間窗口；

26、所述mdp馬爾可夫決策模型為基于所述不滿函數(shù)和所述狀態(tài)函數(shù)對(duì)設(shè)備調(diào)度策略做出決策，公式表示為：

27、μ*(xt)∈argmaxa∈aq*(xt,a)

28、其中，μ*為q*可用時(shí)的最優(yōu)決策；a為折現(xiàn)因子；a為動(dòng)作空間。

29、可選地，所述利用所述mdp馬爾可夫決策模型計(jì)算所述成本函數(shù)最小化的設(shè)備調(diào)度決策，包括：

30、獲取折現(xiàn)因子a、折衷參數(shù)γ、所述不滿函數(shù)各所述集群中設(shè)備n的能耗率cn、電網(wǎng)信號(hào)數(shù)據(jù)以及針對(duì)所述設(shè)備集群中的設(shè)備的用戶請(qǐng)求數(shù)據(jù)，利用所述mdp馬爾可夫決策模型對(duì)設(shè)備調(diào)度策略做出決策；

31、定義性能指標(biāo)函數(shù)，利用所述性能指標(biāo)函數(shù)計(jì)算所述當(dāng)前決策的成本函數(shù)，得到成本函數(shù)最小化的設(shè)備調(diào)度策略。

32、可選地，所述定義性能指標(biāo)函數(shù)，利用所述性能指標(biāo)函數(shù)計(jì)算所述設(shè)備調(diào)度決策最小成本函數(shù)，包括：

33、對(duì)于所述mdp馬爾可夫決策模型的設(shè)備調(diào)度策略μ，利用vμ表示預(yù)期無限期折現(xiàn)成本，得到成本最小化設(shè)備調(diào)度策略μ*；

34、定義設(shè)備調(diào)度策略μ能夠?qū)崿F(xiàn)的最大預(yù)期成本減少，公式如下：

35、

36、其中，drp為最大預(yù)期成本減少；rdrp為相對(duì)最大預(yù)期成本減少；μbase為基準(zhǔn)策略；

37、利用rl算法計(jì)算預(yù)期無限期折現(xiàn)成本則標(biāo)準(zhǔn)化預(yù)期成本減少ri，公式如下：

38、

39、將ri最大的設(shè)備調(diào)度策略μ作為成本函數(shù)最小化的設(shè)備調(diào)度策略μ*。

40、可選地，所述方法還包括：

41、利用基于q-learning的輔助聚合決策算法對(duì)所述設(shè)備決策策略進(jìn)行優(yōu)化，得到目標(biāo)設(shè)備調(diào)度決策。

42、依據(jù)本發(fā)明第二方面，本發(fā)明提供一種能源管理系統(tǒng)的設(shè)備調(diào)度決策系統(tǒng)，所述系統(tǒng)包括：

43、數(shù)據(jù)獲取模塊，用于獲取來自能源管理系統(tǒng)的電網(wǎng)信號(hào)數(shù)據(jù)、用戶請(qǐng)求數(shù)據(jù)以及設(shè)備管理數(shù)據(jù)；

44、函數(shù)定義模塊，用于利用所述電網(wǎng)信號(hào)數(shù)據(jù)、所述用戶請(qǐng)求數(shù)據(jù)以及所述設(shè)備管理數(shù)據(jù)定義成本函數(shù)；

45、決策計(jì)算模塊，用于構(gòu)建基于強(qiáng)化學(xué)習(xí)的mdp馬爾可夫決策模型，利用所述mdp馬爾可夫決策模型計(jì)算所述成本函數(shù)最小化的設(shè)備調(diào)度決策。

46、依據(jù)本發(fā)明第三方面，本發(fā)明提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序當(dāng)被處理器執(zhí)行時(shí)使所述處理器執(zhí)行如本發(fā)明第一方面中任一項(xiàng)所述的能源管理系統(tǒng)的設(shè)備調(diào)度決策方法。

47、依據(jù)本發(fā)明第四方面，本發(fā)明提供一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如本發(fā)明第一方面中任一項(xiàng)所述的能源管理系統(tǒng)的設(shè)備調(diào)度決策方法。

48、本發(fā)明采用以上技術(shù)方案，至少具備以下有益效果：

49、通過本發(fā)明方案，獲取來自能源管理系統(tǒng)的電網(wǎng)信號(hào)數(shù)據(jù)、用戶請(qǐng)求數(shù)據(jù)以及設(shè)備管理數(shù)據(jù)；利用所述電網(wǎng)信號(hào)數(shù)據(jù)、所述用戶請(qǐng)求數(shù)據(jù)以及所述設(shè)備管理數(shù)據(jù)定義成本函數(shù)；構(gòu)建基于強(qiáng)化學(xué)習(xí)的mdp馬爾可夫決策模型，利用所述mdp馬爾可夫決策模型計(jì)算所述成本函數(shù)最小化的設(shè)備調(diào)度決策。本發(fā)明通過將完全自動(dòng)化ems的重新調(diào)度問題表述為強(qiáng)化學(xué)習(xí)(rl)問題，并論證這個(gè)rl問題可以通過對(duì)設(shè)備集群進(jìn)行近似分解來解決，由此實(shí)現(xiàn)無需顯式地對(duì)作業(yè)重新調(diào)度的用戶不滿進(jìn)行建模，使ems能夠自行啟動(dòng)作業(yè)，允許用戶發(fā)起更靈活的請(qǐng)求，并且其計(jì)算復(fù)雜度與設(shè)備集群的數(shù)量成線性關(guān)系，降低了計(jì)算復(fù)雜度，從而促進(jìn)需求響應(yīng)技術(shù)在這些領(lǐng)域的應(yīng)用和發(fā)展。

50、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本發(fā)明。