本發(fā)明屬于高壓電力設(shè)備狀態(tài)監(jiān)測與故障預(yù)測技術(shù)領(lǐng)域，尤其涉及一種基于馬爾可夫決策過程的輸變電設(shè)備最佳檢修決策方法。

背景技術(shù)：

輸變電設(shè)備的安全是電網(wǎng)系統(tǒng)穩(wěn)定運(yùn)行的基礎(chǔ)。設(shè)備的可靠性會(huì)隨其運(yùn)行時(shí)間變長而逐漸惡化。對電氣設(shè)備進(jìn)行科學(xué)合理的檢修安排可以節(jié)約檢修費(fèi)用并保證系統(tǒng)運(yùn)行的安全性和可靠性。因此檢修策略的制定已成為電力行業(yè)關(guān)注的重要課題。狀態(tài)檢修是一種區(qū)別于傳統(tǒng)的事故后檢修和定期預(yù)防性檢修的新的檢修方式，是以設(shè)備狀態(tài)為基礎(chǔ)、以預(yù)測狀態(tài)發(fā)展趨勢為依據(jù)的設(shè)備檢修方式。有效避免了傳統(tǒng)檢修中過度維修和維修不足，提高了電網(wǎng)運(yùn)行的經(jīng)濟(jì)性和安全性。

迄今為止，如何根據(jù)設(shè)備狀態(tài),選取不同的檢修策略,達(dá)到可靠性和經(jīng)濟(jì)性之間的平衡，其決策在很大程度上還是依賴決策人員的經(jīng)驗(yàn)積累,并沒有一種定量的分析方法幫助檢修決策人員做出正確的選擇。

輸變電設(shè)備的老化過程是一個(gè)隨機(jī)過程，應(yīng)用概率論和隨機(jī)過程理論考慮設(shè)備狀態(tài)量的統(tǒng)計(jì)特性,更加符合設(shè)備老化的實(shí)際情況。馬爾可夫決策過程可作為研究隨機(jī)環(huán)境下多階段決策過程優(yōu)化問題的理論工具。其特點(diǎn)是所做的決策只依賴于當(dāng)前的系統(tǒng)狀態(tài)和選取的行動(dòng)，與過去的歷史無關(guān)。馬爾可夫過程已被廣泛應(yīng)用于設(shè)備狀態(tài)評估，為檢修人員提供了一定的理論支持和決策輔助。

現(xiàn)有技術(shù)中運(yùn)用基于改進(jìn)的檢修模型的馬爾可夫決策來計(jì)算最優(yōu)檢修決策，但是檢修模型沒有包含檢查狀態(tài)，只考慮了最小維修方式，沒有區(qū)分設(shè)備的大修和小修。

現(xiàn)有技術(shù)中研究了檢查和維修延時(shí)時(shí)間對設(shè)備老化的影響，通過對檢修計(jì)劃的推遲給予運(yùn)行人員更高的靈活度，但是模型包含的狀態(tài)過多，難以求解。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的就是為了解決上述問題，提出了一種基于馬爾可夫決策過程的輸變電設(shè)備最佳檢修決策方法，該方法考慮不同維修方式對狀態(tài)轉(zhuǎn)移的影響，根據(jù)是否安裝有在線監(jiān)測裝置建立了適用于兩種輸變電設(shè)備的馬爾可夫檢修決策模型：狀態(tài)檢修模型(CBM模型)和基于檢查的檢修模型(IBM模型)。

為實(shí)現(xiàn)上述目的，本發(fā)明的具體方案如下：

基于馬爾可夫決策過程的輸變電設(shè)備最佳檢修決策方法，包括：

(1)設(shè)定輸變電設(shè)備的狀態(tài)形式，建立不同狀態(tài)之間的轉(zhuǎn)移關(guān)系的輸變電設(shè)備狀態(tài)轉(zhuǎn)移關(guān)系圖；

(2)根據(jù)輸變電設(shè)備狀態(tài)轉(zhuǎn)移關(guān)系圖建立輸變電設(shè)備狀態(tài)檢修模型；

(3)利用馬爾可夫過程求解輸變電設(shè)備不同狀態(tài)的穩(wěn)態(tài)概率；

(4)建立檢修策略以及檢修策略對應(yīng)的報(bào)酬之間的函數(shù)關(guān)系式；以在檢修策略π下使得報(bào)酬序列ν的某個(gè)函數(shù)值最大為序列決策問題的目標(biāo)建立基于馬爾可夫的輸變電設(shè)備檢修決策模型；

(5)根據(jù)輸變電設(shè)備不同狀態(tài)的穩(wěn)態(tài)概率，采用策略迭代法求解最優(yōu)的檢修決策。

進(jìn)一步地，所述步驟(1)中，如果輸變電設(shè)備安裝了在線監(jiān)測裝置，則建立CBM模型；

該模型下輸變電設(shè)備的狀態(tài)形式包括：老化狀態(tài)D，檢查狀態(tài)I、檢修狀態(tài)M和故障狀態(tài)F；

其中，老化狀態(tài)D按照老化嚴(yán)重程度依次劃分為正常狀態(tài)D₁、注意狀態(tài)D₂和異常狀態(tài)D₃；

檢修狀態(tài)分為小修和大修；

從老化狀態(tài)D_i到老化狀態(tài)D_i+1的平均時(shí)間觀測值的倒數(shù)定義為從老化狀態(tài)D_i到老化狀態(tài)D_i+1的狀態(tài)轉(zhuǎn)移率λ_i；狀態(tài)D_i的兩次檢查平均間隔時(shí)間的倒數(shù)定義為狀態(tài)D_i的檢查率γ_i；檢查狀態(tài)持續(xù)時(shí)間的倒數(shù)定義為狀態(tài)轉(zhuǎn)移率δ；維修狀態(tài)持續(xù)時(shí)間的倒數(shù)定義為狀態(tài)轉(zhuǎn)移率μ。

進(jìn)一步地，輸變電設(shè)備狀態(tài)轉(zhuǎn)移關(guān)系具體為：

老化狀態(tài)D按照老化嚴(yán)重程度依次劃分為正常狀態(tài)D₁、注意狀態(tài)D₂和異常狀態(tài)D₃；每一種老化狀態(tài)對應(yīng)的檢查狀態(tài)分別為I₁、I₂和I₃，在檢查狀態(tài)下決策人員收集設(shè)備信息進(jìn)而得知設(shè)備處于哪一個(gè)老化狀態(tài)；

在注意狀態(tài)D₂下，對應(yīng)的檢修狀態(tài)分別為小修M₂和大修MM₂；

在異常狀態(tài)D₃下，對應(yīng)的檢修狀態(tài)分別為小修M₃和大修MM₃。

進(jìn)一步地，狀態(tài)D₁的檢查率為γ₁，狀態(tài)D₂的檢查率為γ₂，狀態(tài)D₃的檢查率為γ₃，

狀態(tài)D₁、狀態(tài)D₂和狀態(tài)D₃對應(yīng)的檢查狀態(tài)I₁、I₂和I₃的狀態(tài)轉(zhuǎn)移率均為δ。

進(jìn)一步地，所述步驟(1)中，如果輸變電設(shè)備沒有安裝在線監(jiān)測裝置，則建立IBM模型；

該模型下輸變電設(shè)備的狀態(tài)形式包括：老化狀態(tài)D，檢查狀態(tài)I、檢修狀態(tài)M和故障狀態(tài)F；

其中，老化狀態(tài)D按照老化嚴(yán)重程度依次劃分為正常狀態(tài)D₁、注意狀態(tài)D_2,1、D_2,2和異常狀態(tài)D_3,1、D_3,2和D_3,3；

檢修狀態(tài)分為小修和大修；

從老化狀態(tài)D_i到老化狀態(tài)D_i+1的平均時(shí)間觀測值的倒數(shù)定義為從老化狀態(tài)D_i到老化狀態(tài)D_i+1的狀態(tài)轉(zhuǎn)移率λ_i；狀態(tài)D_i的兩次檢查平均間隔時(shí)間的倒數(shù)定義為狀態(tài)D_i的檢查率γ_i；檢查狀態(tài)持續(xù)時(shí)間的倒數(shù)定義為狀態(tài)轉(zhuǎn)移率δ；維修狀態(tài)持續(xù)時(shí)間的倒數(shù)定義為狀態(tài)轉(zhuǎn)移率μ。

進(jìn)一步地，輸變電設(shè)備狀態(tài)轉(zhuǎn)移關(guān)系具體為：

老化狀態(tài)D按照老化嚴(yán)重程度依次劃分為正常狀態(tài)D₁、注意狀態(tài)D_2,1、D_2,2和異常狀態(tài)D_3,1、D_3,2和D_3,3；

每一種老化狀態(tài)對應(yīng)的檢查狀態(tài)分別為I₁、I₂和I₃，在檢查狀態(tài)下決策人員收集設(shè)備信息進(jìn)而得知設(shè)備處于哪一個(gè)老化狀態(tài)；

在注意狀態(tài)D₂下，對應(yīng)的檢修狀態(tài)分別為小修M₂和大修MM₂；

在異常狀態(tài)D₃下，對應(yīng)的檢修狀態(tài)分別為小修M₃和大修MM₃。

進(jìn)一步地，狀態(tài)D₁的檢查率為γ₁，狀態(tài)D_2,1的檢查率為γ₁，狀態(tài)D_2,2的檢查率為γ₂；狀態(tài)D_3,1的檢查率為γ₁，狀態(tài)D_3,2的檢查率為γ₂；狀態(tài)D₃₃的檢查率為γ₃；

狀態(tài)D₁、狀態(tài)D_2,1、D_2,2和狀態(tài)D_3,1、D_3,2、D_3,3對應(yīng)的檢查狀態(tài)I₁、I₂和I₃的狀態(tài)轉(zhuǎn)移率均為δ。

進(jìn)一步地，所述步驟(4)中，基于馬爾可夫的輸變電設(shè)備檢修決策模型用一個(gè)包含五個(gè)元素的元組<T,S,A,p,r>來描述，其中：

1)T為所有決策時(shí)刻的點(diǎn)集，即選取行動(dòng)的時(shí)間點(diǎn)被稱為決策時(shí)刻，為有限點(diǎn)集或可列無限點(diǎn)集；對于離散模型，兩個(gè)相鄰的決策時(shí)刻被稱為決策周期或者階段；

2)S是系統(tǒng)所有可能的狀態(tài)所組成的非空的可數(shù)狀態(tài)集，也稱為狀態(tài)空間；

3)A為對應(yīng)i∈S在該狀態(tài)可采用的行動(dòng)集合，每個(gè)狀態(tài)都存在著有限集；

4)p表示系統(tǒng)動(dòng)態(tài)的狀態(tài)轉(zhuǎn)移特性；p(s_n+1|s_n,a_n)表示當(dāng)系統(tǒng)處于狀態(tài)s_n，并采取行動(dòng)a_n∈A時(shí)，系統(tǒng)在狀態(tài)轉(zhuǎn)移后處于狀態(tài)s_n+1的概率；

5)r表示期望報(bào)酬，系統(tǒng)在狀態(tài)s_n采取了行動(dòng)a_n∈A所獲得的期望報(bào)酬記為r(s_n,a_n)。

進(jìn)一步地，所述步驟(4)中，引入折扣率β∈(0,1)來表示未來時(shí)刻的報(bào)酬在當(dāng)前時(shí)刻的價(jià)值；則系統(tǒng)從狀態(tài)s_n出發(fā)的折扣期望報(bào)酬為：

其中，ν(s_n,π)為檢修策略π對應(yīng)著的報(bào)酬序列；p(s_n+1|s_n,π)為當(dāng)系統(tǒng)處于狀態(tài)s_n，并采取檢修策略π時(shí)，系統(tǒng)在狀態(tài)轉(zhuǎn)移后處于狀態(tài)s_n+1的概率。

進(jìn)一步地，所述步驟(5)中，采用策略迭代法求解最優(yōu)的檢修決策具體方法為：

步驟一：取初值，設(shè)迭代步數(shù)n＝0，任取一種初始檢修策略π∈Π；

步驟二：檢修策略求值，解方程：

(I-βP(π_n))ν＝r(π_n)；

其中，I為單位矩陣，P(π_n)為轉(zhuǎn)移概率矩陣；r(π_n)為報(bào)酬矩陣；β為折扣率；_ν為期望報(bào)酬值；

得到當(dāng)前策略的期望報(bào)酬值V_β(π_n)；

步驟三：檢修策略的改進(jìn)，選取π_n+1為一個(gè)V_β(π_n)的改進(jìn)規(guī)則，即滿足：

步驟四：如果π_n+1＝π_n，停止，此時(shí)，π_n+1＝π_n為最優(yōu)檢修策略，V_β(π_n+1)＝V_β(π_n)為最優(yōu)期望報(bào)酬；否則令n＝n+1，返回到步驟二。

本發(fā)明的有益效果：

本發(fā)明應(yīng)用策略迭代法求解馬爾可夫決策檢修模型得到最優(yōu)維修策略，并將模型應(yīng)用于斷路器及變壓器的狀態(tài)檢修策略制定。仿真結(jié)果顯示應(yīng)用馬爾可夫決策可以折中維修成本和故障損失，得到經(jīng)濟(jì)最優(yōu)的檢修決策，為檢修決策人員提供參考。同時(shí)比較了兩個(gè)模型的不同仿真結(jié)果，驗(yàn)證了其對安裝了和未配備在線監(jiān)測裝置兩種輸變電設(shè)備的適用性。

附圖說明

圖1為本發(fā)明CBM模型的狀態(tài)轉(zhuǎn)移圖；

圖2為本發(fā)明IBM模型的狀態(tài)轉(zhuǎn)移圖；

圖3為本發(fā)明基于馬爾可夫決策過程的輸變電設(shè)備最佳檢修決策方法流程圖；

圖4為增加故障損失時(shí)斷路器維修決策的變化；

圖5為增加故障損失時(shí)變壓器維修決策的變化。

具體實(shí)施方式：

下面結(jié)合附圖對本發(fā)明進(jìn)行詳細(xì)說明：

一個(gè)在離散空間D＝{0,1,2…}中的馬爾可夫過程定義為：在給定過去的狀態(tài)s₀,s₁,…,s_n-1和現(xiàn)在的狀態(tài)s_n時(shí)，將來的狀態(tài)s_n+1的條件分布獨(dú)立于過去的狀態(tài)，且只依賴于現(xiàn)在的狀態(tài)。即系統(tǒng)由狀態(tài)i轉(zhuǎn)移到狀態(tài)j的概率與系統(tǒng)的過往狀態(tài)歷史無關(guān)。馬爾可夫過程具有無記憶性。其數(shù)學(xué)表達(dá)式如下所示：

定義P{s_n+1＝j(luò)|s_n＝i}＝p_ij(p_ij≥0)為狀態(tài)i到狀態(tài)j的轉(zhuǎn)移概率，且對于

將馬爾可夫過程中隨機(jī)連續(xù)化，以單位時(shí)間t作為任意時(shí)刻t_n+1與前一時(shí)刻t_n的時(shí)間間隔。轉(zhuǎn)移概率λ_ij為單位時(shí)間t內(nèi)狀態(tài)i轉(zhuǎn)移到狀態(tài)j的期望次數(shù)。則一階馬爾可夫過程可轉(zhuǎn)換如下形式：

P{s(t+Δt)＝j(luò)|s(t)＝i}＝λ_ijΔt+σ(t) (2)

式(2)可近似處理為：

式中n為總的狀態(tài)數(shù)。λ_ij可以用矩陣的形式表示：

由此可以求得轉(zhuǎn)移密度矩陣A：

式中I為單位矩陣。通過求解線性方程組可求解系統(tǒng)處于各狀態(tài)的穩(wěn)態(tài)概率p_i：

輸變電設(shè)備的老化過程是一個(gè)隨機(jī)過程,未來某個(gè)時(shí)刻所處的狀態(tài)是不確定的，因此可用馬爾可夫過程進(jìn)行描述，更好地考慮到了設(shè)備老化過程的統(tǒng)計(jì)特性。馬爾可夫過程中的狀態(tài)可以用來表示輸變電設(shè)備壽命周期里所處不同的狀態(tài)。根據(jù)是否安裝有在線監(jiān)測裝置建立適用于兩種輸變電設(shè)備的檢修模型：狀態(tài)檢修模型(CBM模型)和基于檢查的檢修模型(IBM模型)，具體如下：

CBM模型包含以下幾個(gè)狀態(tài)：老化狀態(tài)D，檢查狀態(tài)I、檢修狀態(tài)M和故障狀態(tài)F。用狀態(tài)轉(zhuǎn)移圖來表示如圖1所示。其中老化狀態(tài)按照老化嚴(yán)重程度依次劃分為D₁(正常狀態(tài))、D₂(注意狀態(tài))、D₃(異常狀態(tài))；對應(yīng)的檢查狀態(tài)為I₁、I₂、I₃,在檢查狀態(tài)下決策人員收集設(shè)備信息進(jìn)而得知設(shè)備處于哪一個(gè)老化狀態(tài)，并進(jìn)行維修決策。檢修狀態(tài)又分為小修M₂、M₃和大修MM₂、MM₃，分別對應(yīng)D₂、D₃下的小修和大修。不同的檢修方式對設(shè)備狀態(tài)的提升和經(jīng)濟(jì)成本都有區(qū)別。大修相對于小修會(huì)更好地提高設(shè)備的老化狀態(tài)，但是耗費(fèi)的時(shí)間更長，增加設(shè)備的停運(yùn)時(shí)間，綜合維修成本更高。

轉(zhuǎn)移圖中狀態(tài)轉(zhuǎn)移率λ_i定義為：

T_i,i+1為從老化狀態(tài)D_i到老化狀態(tài)D_i+1的平均時(shí)間觀測值。狀態(tài)轉(zhuǎn)移率γ_i，即狀態(tài)D_i的檢查率定義為兩次檢查平均間隔時(shí)間的倒數(shù)。狀態(tài)轉(zhuǎn)移率δ,μ分別定義為檢查狀態(tài)和維修狀態(tài)持續(xù)時(shí)間的倒數(shù)。

由于對應(yīng)的輸變電設(shè)備安裝有在線狀態(tài)監(jiān)測裝置，CBM模型中默認(rèn)設(shè)備實(shí)時(shí)狀態(tài)是已知的，即每次系統(tǒng)進(jìn)入新的老化狀態(tài)后都會(huì)更新檢查率。

傳統(tǒng)檢修模型中設(shè)備維修確定能夠改善設(shè)備的老化狀態(tài)，但現(xiàn)實(shí)中的維修是有缺陷的，并非一直能提升設(shè)備的狀態(tài)甚至導(dǎo)致狀態(tài)進(jìn)一步惡化。因此本方法使用的檢修模型包含了不同維修方式及結(jié)果，即：完全維修，最小維修，不完全維修。完全維修即“修舊如新”，設(shè)備在維修狀態(tài)后轉(zhuǎn)移到狀態(tài)D₁；最小維修即“修舊如舊”，維修并沒有提升設(shè)備的老化狀態(tài)，如設(shè)備在M₂和MM₂后轉(zhuǎn)移到D₂或者在M₃后轉(zhuǎn)移到D₃；不完全維修即“維修退格”，維修提升設(shè)備至上一個(gè)老化狀態(tài)，如設(shè)備在M₂和MM₂后轉(zhuǎn)移到D₁或者在M₃和MM₃后轉(zhuǎn)移到D₂。最后，維修可能惡化設(shè)備的老化狀態(tài)，原因可能是不當(dāng)?shù)木S修人員操作等，如設(shè)備在M₂后轉(zhuǎn)移到D₃。

在CBM模型的基礎(chǔ)上我們可以得到IBM模型，如圖2所示。它與CBM模型的不同之處在于增加了老化狀態(tài)D_2,2、D_3,2和D_3,3原因是電力系統(tǒng)中并非所有設(shè)備都安裝有在線監(jiān)測裝置，因此設(shè)備的老化狀態(tài)在檢查未進(jìn)行的時(shí)候是未知的。假設(shè)設(shè)備狀態(tài)在兩次檢查間隔期間從D₁轉(zhuǎn)移到D₂，那么CBM模型中此時(shí)對應(yīng)的檢查率為γ₂。但是在IBM模型中進(jìn)入檢查狀態(tài)I₂之前，檢修人員不知道設(shè)備是否已經(jīng)發(fā)生了狀態(tài)轉(zhuǎn)移，設(shè)備仍被假設(shè)停留在D₁狀態(tài)，而檢查率依然為γ₁。而進(jìn)行維修之后檢修人員清楚設(shè)備的狀態(tài)，所以更新檢查頻率為γ₂或γ₃，同時(shí)設(shè)備轉(zhuǎn)移至老化狀態(tài)D_2,2或D_3,3。兩次檢查間隔期間若設(shè)備發(fā)生老化狀態(tài)轉(zhuǎn)移，則可能從D_1,1轉(zhuǎn)移至D_2,1甚至D_3,1，或者從D_2,2轉(zhuǎn)移至D_3,2，但對應(yīng)的檢查率不變，都是γ₁或γ₂。

馬爾可夫決策過程是一個(gè)考慮了現(xiàn)在和未來決策結(jié)果的不確定性的序貫性決策模型。在每個(gè)決策時(shí)間點(diǎn)決策者根據(jù)系統(tǒng)當(dāng)前的狀態(tài)s從可用的行動(dòng)方式集合中選取一種做出決策,系統(tǒng)在下一個(gè)時(shí)間點(diǎn)根據(jù)轉(zhuǎn)移概率分布隨機(jī)地轉(zhuǎn)移到一個(gè)新的狀態(tài)s’，并對應(yīng)的給予決策者一個(gè)報(bào)酬，決策者會(huì)傾向于使得整個(gè)決策周期內(nèi)得到的報(bào)酬最大化。由于此決策過程具有馬爾可夫特性，所以轉(zhuǎn)移概率和報(bào)酬只與現(xiàn)在的狀態(tài)和選取的行動(dòng)有關(guān)。在新的決策時(shí)間點(diǎn)上，決策者要觀察系統(tǒng)所處的新的狀態(tài)并采取新的決策，如此反復(fù)下去。

一個(gè)離散的馬爾可夫決策模型可以用一個(gè)包含五個(gè)元素的元組<T,S,A,p,r>來描述，其中：

1)T為所有決策時(shí)刻的點(diǎn)集，即選取行動(dòng)的時(shí)間點(diǎn)被稱為決策時(shí)刻，可以是有限點(diǎn)集(記作T＝{0,1,2,…,N})或可列無限點(diǎn)集(記作T＝{0,1,2,…})。對于離散模型，兩個(gè)相鄰的決策時(shí)刻被稱為決策周期或者階段；

2)S是系統(tǒng)所有可能的狀態(tài)所組成的非空的可數(shù)狀態(tài)集，也稱為狀態(tài)空間；

3)A為對應(yīng)i∈S在該狀態(tài)可采用的行動(dòng)集合，每個(gè)狀態(tài)都存在著有限集；

4)p表示系統(tǒng)動(dòng)態(tài)的狀態(tài)轉(zhuǎn)移特性。p(s_n+1|s_n,a_n)表示當(dāng)系統(tǒng)處于狀態(tài)s_n，并采取行動(dòng)a_n∈A時(shí)，系統(tǒng)在狀態(tài)轉(zhuǎn)移后處于狀態(tài)s_n+1的概率。

5)r表示期望報(bào)酬，系統(tǒng)在狀態(tài)s_n采取了行動(dòng)a_n∈A所獲得的期望報(bào)酬記為r(s_n,a_n)。

決策者會(huì)在每個(gè)決策時(shí)刻,針對不同的狀態(tài)選取不同的行動(dòng)。我們把在一個(gè)特定的決策時(shí)刻在每個(gè)可能的狀態(tài)上選取行動(dòng)的原則稱為決策規(guī)則f，把包含所有決策規(guī)則的序列稱之為策略π，一個(gè)策略對應(yīng)著一個(gè)報(bào)酬序列ν。序列決策問題的目標(biāo)是使得ν的某個(gè)函數(shù)值——準(zhǔn)則在這個(gè)策略下達(dá)到最大，用函數(shù)表達(dá)為：

其中Π為全體策略的集合。

本發(fā)明方法實(shí)現(xiàn)的主要流程圖如圖3所示，包括：

(1)設(shè)定輸變電設(shè)備的狀態(tài)形式，建立不同狀態(tài)之間的轉(zhuǎn)移關(guān)系的輸變電設(shè)備狀態(tài)轉(zhuǎn)移關(guān)系圖；

(2)根據(jù)輸變電設(shè)備狀態(tài)轉(zhuǎn)移關(guān)系圖建立輸變電設(shè)備狀態(tài)檢修模型；

(3)利用馬爾可夫過程求解輸變電設(shè)備不同狀態(tài)的穩(wěn)態(tài)概率；

(4)建立檢修策略以及檢修策略對應(yīng)的報(bào)酬之間的函數(shù)關(guān)系式；以在檢修策略π下使得報(bào)酬序列ν的某個(gè)函數(shù)值最大為序列決策問題的目標(biāo)建立基于馬爾可夫的輸變電設(shè)備檢修決策模型；

(5)根據(jù)輸變電設(shè)備不同狀態(tài)的穩(wěn)態(tài)概率，采用策略迭代法求解最優(yōu)的檢修決策。

通過對輸變電設(shè)備進(jìn)行狀態(tài)評估得到設(shè)備的老化狀態(tài)轉(zhuǎn)移率λ。代入狀態(tài)檢修模型后得到設(shè)備各狀態(tài)的穩(wěn)態(tài)概率。再代入馬爾可夫決策模型，求解最優(yōu)決策，求解過程如下：

考慮輸變電設(shè)備的狀態(tài)監(jiān)測和檢修特性，本文討論離散決策時(shí)刻、無限階段的馬爾可夫決策模型，考慮報(bào)酬的時(shí)間價(jià)值，引入折扣率β∈(0,1)來表示未來時(shí)刻的報(bào)酬在當(dāng)前時(shí)刻的價(jià)值。則系統(tǒng)從狀態(tài)s_n出發(fā)的折扣期望報(bào)酬為：

基于式(12)得到的策略迭代法求最優(yōu)決策如下：

步驟一：取初值，設(shè)迭代步數(shù)n＝0，任取一種初始策略π∈Π。

步驟二：策略求值，解方程：

(I-βP(π_n))ν＝r(π_n) (13)

其中I為單位矩陣，P(π_n)為轉(zhuǎn)移概率矩陣；r(π_n)為報(bào)酬矩陣。得到當(dāng)前策略的期望報(bào)酬值V_β(π_n)。

步驟三：策略的改進(jìn)，選取π_n+1為一個(gè)V_β(π_n)的改進(jìn)規(guī)則，即滿足：

如有可能，令π_n+1＝π_n。

步驟四：如果π_n+1＝π_n，停止，這時(shí)π_n+1＝π_n為最優(yōu)策略，V_β(π_n+1)＝V_β(π_n)為最優(yōu)期望報(bào)酬。否則令n＝n+1，返回到步驟二。

算法的仿真及試驗(yàn)驗(yàn)證

為驗(yàn)證以上提出的基于特高頻陣列信號(hào)處理的變電站局部放電定位算法的準(zhǔn)確性和可行性，分別對電磁波仿真軟件得到局部放電信號(hào)，及變電站實(shí)測的特高頻電磁波信號(hào)進(jìn)行分析處理，利用該方法，計(jì)算局部放電源位置坐標(biāo)。

仿真驗(yàn)證

對于無在線監(jiān)測裝置的設(shè)備，本發(fā)明應(yīng)用取自對一系列操作壽命總和大約3000年的230kV空氣滅弧式斷路器的狀態(tài)分析數(shù)據(jù)進(jìn)行驗(yàn)證，見表1。對于有在線監(jiān)測裝置的設(shè)備，本文以變壓器的油色譜數(shù)據(jù)為基礎(chǔ)得到的狀態(tài)轉(zhuǎn)移率進(jìn)行驗(yàn)證，見表2表。本文中為了方便比較，假設(shè)兩種設(shè)備轉(zhuǎn)移至每個(gè)狀態(tài)對應(yīng)的平均報(bào)酬和不同維修方式的維修概率相同，見表3和表4。維修和檢查狀態(tài)的報(bào)酬不區(qū)分對應(yīng)的老化狀態(tài)，因此所有M,MM和I狀態(tài)分別對應(yīng)的相等報(bào)酬。

表1斷路器狀態(tài)轉(zhuǎn)移率數(shù)值

表2變壓器狀態(tài)轉(zhuǎn)移率數(shù)值

表3轉(zhuǎn)移至每個(gè)狀態(tài)對應(yīng)的平均報(bào)酬

表4不同維修方式的轉(zhuǎn)移概率

使用策略迭代法的函數(shù)通過評估現(xiàn)有策略的方式迭代地改進(jìn)策略，當(dāng)兩個(gè)連續(xù)的策略相同時(shí)停止迭代。輸入?yún)?shù)中P為轉(zhuǎn)移概率矩陣，R為報(bào)酬矩陣。兩者皆為一個(gè)三維矩陣(S×S×A)，第一維定義為轉(zhuǎn)移前狀態(tài)，第二維為轉(zhuǎn)移后狀態(tài)，第三維為采取的行動(dòng)。

矩陣P對角線元素即為該狀態(tài)的穩(wěn)態(tài)概率。非對角線元素為對應(yīng)的轉(zhuǎn)移率在剩余概率中的占比：

其中A_i,j為矩陣A的第i行，第j列的元素。對于維修狀態(tài)到老化狀態(tài)的轉(zhuǎn)移概率，計(jì)算公式為表4中對應(yīng)的概率與(1-p_i,i)的乘積。

根據(jù)檢修模型定義，可采取的行動(dòng)為：

1)在狀態(tài)I₂或I₃采取行動(dòng){II}，即小修時(shí)，系統(tǒng)一定會(huì)轉(zhuǎn)移到狀態(tài)M₂或M₃，即P(i,j,2)＝1；

2)在狀態(tài)I₂或I₃采取行動(dòng){III}，即大修時(shí)，系統(tǒng)一定會(huì)轉(zhuǎn)移到狀態(tài)MM₂或MM₃，即P(i,j,3)＝1；

3)其他情況下采取行動(dòng){I}，即不進(jìn)行維修，設(shè)備按照計(jì)算得到的概率轉(zhuǎn)移至老化狀態(tài)。

結(jié)果分析

從零開始增加發(fā)生故障時(shí)的損失，代入斷路器數(shù)據(jù)，觀察模型做出的決策，結(jié)果如圖4所示，從圖中可以看出：

1)在故障損失小于7×10³的時(shí)候(IBM模型中在10⁴)，模型選擇在檢查老化狀態(tài)D₂時(shí)進(jìn)行小修，在檢查老化狀態(tài)D₃時(shí)不進(jìn)行維修。此為維修成本最小的決策{II,I}。

2)隨著故障損失的增長，在狀態(tài)I₃做出的決策首先發(fā)生改變，從不修{I}變成大修{III}，而沒有小修{II}的過渡。原因可能是：在老化狀態(tài)D₃進(jìn)行小修從經(jīng)濟(jì)性角度考慮不如不修；在設(shè)備可靠性方面不如大修，因?yàn)榧幢氵M(jìn)行了維修，但是還有50％的可能性留在此老化狀態(tài)。

3)隨著損失進(jìn)一步的增長，狀態(tài)I₂做出的決策變?yōu)榇笮辿III}(CBM模型中在故障損失為4.66×10⁵時(shí)，IBM模型中在6.16×10⁵)。說明當(dāng)設(shè)備故障的損失增長到某個(gè)值的時(shí)候，只要監(jiān)測到設(shè)備狀態(tài)發(fā)生老化，最優(yōu)決策即安排在下一個(gè)時(shí)間點(diǎn)安排大修{III,III}，防止其轉(zhuǎn)移到故障狀態(tài)。因?yàn)榕c故障損失相比，此時(shí)維修成本已可以忽略。

4)IBM模型的決策變化點(diǎn)滯后于CBM模型，表明在某個(gè)故障損失區(qū)間內(nèi)，IBM模型選擇小修{II}而CBM模型選擇大修{III}。原因可能是，做出決策時(shí)的狀態(tài)I₂在IBM模型中以更高的頻率1/γ₁被訪問(在CBM模型中訪問頻率為1/γ₂，而一般應(yīng)有γ₁<γ₂<γ₃)，而每次都進(jìn)行大修顯然是不經(jīng)濟(jì)的。

將變壓器數(shù)據(jù)代入模型中，得到的決策結(jié)果見圖5。其結(jié)果與上述大致相同，不同點(diǎn)在于在狀態(tài)I₃做出的決策改變時(shí)有小修{II}的過渡。原因可能是變壓器的修復(fù)率μ小于斷路器，在維修狀態(tài)M停留的時(shí)間長，維修支出較大，如果選擇大修，綜合維修支出大于故障損失。所以先選擇小修，隨著故障損失增加再轉(zhuǎn)為大修。

上述雖然結(jié)合附圖對本發(fā)明的具體實(shí)施方式進(jìn)行了描述，但并非對本發(fā)明保護(hù)范圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動(dòng)即可做出的各種修改或變形仍在本發(fā)明的保護(hù)范圍以內(nèi)。