專(zhuān)利名稱(chēng)：基于神經(jīng)網(wǎng)絡(luò)模型的礦井涌水量預(yù)測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及煤礦井下涌水量的預(yù)測(cè)，尤其是基于神經(jīng)網(wǎng)絡(luò)的礦井涌水量預(yù)測(cè)。
背景技術(shù)：
正確的預(yù)測(cè)礦井涌水量是一項(xiàng)重要而復(fù)雜的工作，是礦井水文地質(zhì)調(diào)查的根本任務(wù)，也是對(duì)煤田進(jìn)行技術(shù)經(jīng)濟(jì)評(píng)價(jià)的重要指標(biāo)。常用的涌水量預(yù)測(cè)方法主要有基于時(shí)間序列分析的統(tǒng)計(jì)預(yù)測(cè)和基于灰色理論的灰色預(yù)測(cè)，以及神經(jīng)網(wǎng)絡(luò)模型為代表的智能預(yù)測(cè)技術(shù)。由于礦井地下水系統(tǒng)的動(dòng)態(tài)過(guò)程既受內(nèi)部結(jié)構(gòu)變化誘發(fā)的漲落控制，又受外部環(huán)境的影響，普遍存在高度的非線性、隨機(jī)性和復(fù)雜性，以顯性表達(dá)式來(lái)描述預(yù)測(cè)量之間關(guān)系的統(tǒng)計(jì)模型和灰色模型，在礦井涌水量預(yù)測(cè)過(guò)程中必然表現(xiàn)出一定的局限性。
神經(jīng)網(wǎng)絡(luò)模型的出現(xiàn)徹底改變了這種預(yù)測(cè)思路，利用以任意精度逼近任意連續(xù)函數(shù)的性質(zhì)，通過(guò)模型的自動(dòng)學(xué)習(xí)，將預(yù)測(cè)因素間的內(nèi)在聯(lián)系通過(guò)神經(jīng)網(wǎng)絡(luò)的權(quán)值分布實(shí)現(xiàn)隱性表達(dá)。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型在預(yù)測(cè)礦井涌水量時(shí)，要經(jīng)過(guò)采集數(shù)據(jù)、數(shù)據(jù)模式轉(zhuǎn)化、構(gòu)建BP神經(jīng)網(wǎng)絡(luò)和學(xué)習(xí)方法模型、模型訓(xùn)練、檢驗(yàn)及預(yù)報(bào)輸出幾個(gè)步驟，其中模型訓(xùn)練采用包括基于誤差反向傳播(BP)的最速下降法、二階型的Levenberg-Marquardt(LM)和擬牛頓方法等學(xué)習(xí)方法。上述方法在網(wǎng)絡(luò)學(xué)習(xí)方面表現(xiàn)出較好的性質(zhì)，其收斂速度有了明顯改善，但是在網(wǎng)絡(luò)推廣(泛化)性能卻不盡人意，難以實(shí)現(xiàn)對(duì)未來(lái)趨勢(shì)發(fā)展的準(zhǔn)確預(yù)見(jiàn)，沒(méi)有充分發(fā)揮出神經(jīng)網(wǎng)絡(luò)模型的智能預(yù)測(cè)方法的優(yōu)勢(shì)。因此需要一種新的學(xué)習(xí)算法對(duì)模型進(jìn)行訓(xùn)練，從而實(shí)現(xiàn)預(yù)測(cè)的準(zhǔn)確性。

發(fā)明內(nèi)容
本發(fā)明的目的是克服目前礦井涌水量預(yù)測(cè)方法的不足，提供一種預(yù)測(cè)準(zhǔn)確、泛化性能好的基于神經(jīng)網(wǎng)絡(luò)模型的礦井涌水量的預(yù)測(cè)方法。
為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案包括以下步驟1、獲取礦井涌水量歷史數(shù)據(jù)并轉(zhuǎn)化為時(shí)間序列樣本；2、構(gòu)建BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型；3、構(gòu)建泛化性學(xué)習(xí)方法模型，其構(gòu)建過(guò)程如下基于信賴(lài)域的基本方法，將最優(yōu)腦外科過(guò)程的權(quán)值衰減條件作為網(wǎng)絡(luò)代價(jià)函數(shù)的懲罰項(xiàng)，實(shí)現(xiàn)在網(wǎng)絡(luò)訓(xùn)練過(guò)程中同時(shí)進(jìn)行權(quán)值的衰minΔwTHkΔw/2+gkTΔw---(1)]]>減，并得到泛化性學(xué)習(xí)方法的模型為s.t.ΔwTuq+ηwq＝0 (2)ΔwTΔw≤γk2---(3)]]>
其中，式(1)為神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型代價(jià)函數(shù)的權(quán)值增量形式，Hk為網(wǎng)絡(luò)的Hessian矩陣，gk為網(wǎng)絡(luò)梯度，Δw為權(quán)值增量；式(2)為權(quán)值衰減條件，Δwq為權(quán)值第q個(gè)元素wq的增量，η為衰減因子；式(3)為信賴(lài)域條件；γk為信賴(lài)域半徑。
4、采用泛化性學(xué)習(xí)算法對(duì)預(yù)測(cè)模型進(jìn)行訓(xùn)練；訓(xùn)練過(guò)程如下(1)對(duì)BP網(wǎng)絡(luò)預(yù)測(cè)模型進(jìn)行權(quán)值w與控制參數(shù)(許用誤差ε，衰減因子η，迭代序數(shù)k＝1及迭代總數(shù)K)的初始化；(2)將時(shí)序樣本對(duì)引入網(wǎng)絡(luò)模型，采用BP算法計(jì)算當(dāng)前權(quán)值狀態(tài)下的梯度gk和網(wǎng)絡(luò)輸出誤差ξk，以及近似二階矩陣Hk*(基于LM方法)；(3)設(shè)置終止條件||gk||≤ε或|ξk|≤ε或k＞k，如果滿足條件則訓(xùn)練結(jié)束，退出。
(4)計(jì)算傳統(tǒng)訓(xùn)練方法的權(quán)值更新量Δw1=-Hk*-1gk;]]>(5)計(jì)算每個(gè)權(quán)值元素的顯著性Si，Si=η2wi2-2ηwi[Hk*-1gk]i2[Hk*-1]i,i]]>其中，[·]i取向量的第i個(gè)元素；[·]i，i取矩陣的第(i，i)個(gè)元素，wi為權(quán)值的第i個(gè)元素。
(6)確定顯著性的最小指標(biāo)q，使得Sq＝minSi；然后計(jì)算刪剪過(guò)程下的權(quán)值更新量Δw2=-[Hk*-1gk]q-ηwq[Hk*-1]q,qHk*-1uq]]>其中，uq為僅第q個(gè)元素為1的單位向量，wq為權(quán)值的第q個(gè)元素。
(7)計(jì)算在wnew＝wk+Δw1+Δw2下的誤差指標(biāo)ξnew如果ξnew＜ξk，表明衰減過(guò)程有效，設(shè)置下一輪的權(quán)值狀態(tài)wk+1＝wnew；(8)否則，令wk+1＝wk+Δw1，k＝k+1，返回(2)繼續(xù)迭代。
5、檢驗(yàn)及預(yù)報(bào)輸出。
本發(fā)明的有益效果是1、由于本模型采用了泛化性學(xué)習(xí)算法進(jìn)行訓(xùn)練，一方面吸取了二階學(xué)習(xí)方法的快速訓(xùn)練特性，具有較高的學(xué)習(xí)效率；另一方面在訓(xùn)練過(guò)程中施加了衰減過(guò)程的權(quán)值增量Δw2，可有效提高預(yù)測(cè)模型的泛化性能，具有較好的學(xué)習(xí)精度，實(shí)現(xiàn)了對(duì)未來(lái)趨勢(shì)發(fā)展的準(zhǔn)確預(yù)見(jiàn)，所以能較準(zhǔn)確的把握現(xiàn)有數(shù)據(jù)的發(fā)展趨勢(shì)。2、礦井涌水量的監(jiān)測(cè)數(shù)據(jù)是一個(gè)頻繁更新的數(shù)據(jù)群，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型時(shí)采用了泛化性學(xué)習(xí)方法，通過(guò)泛化性學(xué)習(xí)方法快速有效和積極的再訓(xùn)練模式，使得神經(jīng)網(wǎng)絡(luò)模型保持對(duì)更新數(shù)據(jù)群的跟蹤，這一點(diǎn)對(duì)于礦井涌水量可能出現(xiàn)的突水情況尤為重要。


圖1是本發(fā)明神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)方法框圖，圖2是泛化性學(xué)習(xí)算法框圖。
具體實(shí)施例方式
下面結(jié)合附圖對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步的描述。
從圖1可知，本發(fā)明神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)礦井涌水量時(shí)需經(jīng)過(guò)以下步驟1、獲取礦井涌水量歷史數(shù)據(jù)Ui并轉(zhuǎn)化為時(shí)間序列樣本對(duì)首先對(duì)涌水量數(shù)據(jù)Ui(i＝1，2，...，T)進(jìn)行線性變換，通過(guò)最大最小值進(jìn)行數(shù)據(jù)的歸一化，即Vi＝(Ui-Umin)/(Umax-Umin)其中，Umin和Umax分別為Ui的最小值和最大值；Vi為歸一化后的涌水量數(shù)據(jù)；T為涌水量數(shù)據(jù)的數(shù)目。
其后再對(duì)Vi進(jìn)行時(shí)間序列變換，根據(jù)預(yù)測(cè)數(shù)據(jù)的類(lèi)周期性表現(xiàn)的不同，按照一定時(shí)間段t進(jìn)行時(shí)序變換，即第1個(gè)時(shí)序樣本對(duì)S1＝{V1，V2，...，Vt；Vt+1}第2個(gè)時(shí)序樣本對(duì)S2＝{V2，V3，....，Vt+1；Vt+2}… …第r個(gè)時(shí)序樣本對(duì)Sr＝{Vr，Vr+1，...，Vt+r-1；Vt+r}… …第T-t個(gè)時(shí)序樣本對(duì)ST-t＝{VT-t，VT-t+1，...，VT-1；VT}；共計(jì)T-t個(gè)時(shí)間序列樣本對(duì)。
2、構(gòu)建礦井涌水量的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型根據(jù)以上轉(zhuǎn)換后的涌水量時(shí)間序列樣本對(duì)，可構(gòu)建出基于BP網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，其中網(wǎng)絡(luò)的輸入層節(jié)點(diǎn)數(shù)取為t，與數(shù)據(jù)的時(shí)間序列周期相同；網(wǎng)絡(luò)輸出層節(jié)點(diǎn)數(shù)取為1，表示對(duì)未來(lái)時(shí)刻的涌水量預(yù)測(cè)值。
3、構(gòu)建泛化性學(xué)習(xí)方法模型基于信賴(lài)域的基本方法，將最優(yōu)腦外科過(guò)程的權(quán)值衰減條件作為網(wǎng)絡(luò)代價(jià)函數(shù)的懲罰項(xiàng)，實(shí)現(xiàn)在網(wǎng)絡(luò)訓(xùn)練過(guò)程中同時(shí)進(jìn)行權(quán)值的衰減，并得到泛化性學(xué)習(xí)方法的模型為minΔwTHkΔw/2+gkTΔw---(1)]]>s.t.ΔwTuq+ηwq＝0(2)
ΔwTΔw≤γk2---(3)]]>其中，式(1)為神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型代價(jià)函數(shù)的權(quán)值增量形式，Hk為網(wǎng)絡(luò)的Hessian矩陣，gk為網(wǎng)絡(luò)梯度，Δw為權(quán)值增量；式(2)為權(quán)值衰減條件，Δwq為權(quán)值第q個(gè)元素wq的增量，η為衰減因子；式(3)為信賴(lài)域條件；γk為信賴(lài)域半徑。
構(gòu)建學(xué)習(xí)模型的拉格朗日函數(shù)L(Δw，λ，μ)為L(zhǎng)(Δw,λ,μ)=ΔwTHkΔw/2+gkTΔw-λ(ΔwTuq+ηwq)+μ2(ΔwTΔw-γk2)]]>而L(Δw，λ，μ)函數(shù)對(duì)Δw的偏導(dǎo)數(shù)為∂L∂Δw=gk+HkΔw-λuq+μΔw=0]]>進(jìn)而得到泛化性學(xué)習(xí)算法的等價(jià)方程式為Hk*Δw=(Hk+μI)Δw=-gk+λuq]]>通過(guò)化簡(jiǎn)運(yùn)算，可得到學(xué)習(xí)算法的權(quán)值增量式為Δw=Δw1+Δw2=-Hk*-1gk-[Hk*-1gk]q-ηwq[Hk*-1]q,qHk*-1uq]]>4、運(yùn)用泛化性學(xué)習(xí)算法對(duì)預(yù)測(cè)模型進(jìn)行訓(xùn)練，訓(xùn)練過(guò)程如圖2所示(1)對(duì)BP網(wǎng)絡(luò)預(yù)測(cè)模型進(jìn)行權(quán)值w與控制參數(shù)(許用誤差ε，衰減因子η，迭代序數(shù)k＝1及迭代總數(shù)K)的初始化；(2)將時(shí)序樣本對(duì)引入網(wǎng)絡(luò)模型，采用BP算法計(jì)算當(dāng)前權(quán)值狀態(tài)下的梯度gk和網(wǎng)絡(luò)輸出誤差ξk，以及基于LM方法的近似二階矩陣Hk*；(3)設(shè)置終止條件k＞K，如果滿足條件則訓(xùn)練結(jié)束，退出。
(4)計(jì)算基于LM方法的權(quán)值更新量Δw1=-Hk*-1gk;]]>(5)計(jì)算各個(gè)權(quán)值的顯著性Si，Si=η2wi2-2ηwi[Hk*-1gk]i2[Hk*-1]i,i]]>其中[·]i取向量的第i個(gè)元素；[·]i，i取矩陣的第(i，i)個(gè)元素，wi為權(quán)值的第i個(gè)元素。
(6)確定顯著性的最小指標(biāo)q，使得Sq＝min Si；然后計(jì)算衰減過(guò)程的權(quán)值更新量Δw2=-[Hk*-1gk]q-ηwq[Hk*-1]q,qHk*-1uq]]>其中，uq為僅第q個(gè)元素為1的單位向量，wq為權(quán)值的第q個(gè)元素。
(7)計(jì)算在wnew＝wk+Δw1+Δw2下的誤差指標(biāo)ξnew如果ξnew＜ξk，表明衰減過(guò)程有效，設(shè)置下一輪的權(quán)值狀態(tài)wk+1＝wnew；(8)否則，令wk+1＝wk+Δw1，k＝k+1，返回(2)繼續(xù)迭代。
5、檢驗(yàn)及預(yù)報(bào)輸出當(dāng)涌水量預(yù)測(cè)模型訓(xùn)練完成后，為檢驗(yàn)?zāi)Ｐ褪欠窬哂休^好的泛化推廣能力，可采用未經(jīng)訓(xùn)練的一定時(shí)間段的涌水量數(shù)據(jù)(即測(cè)試數(shù)據(jù)集)帶入模型進(jìn)行預(yù)測(cè)輸出，并與實(shí)際結(jié)果相比較，得出模型的泛化誤差是否滿足預(yù)測(cè)精度的要求。在此基礎(chǔ)上，將預(yù)測(cè)模型運(yùn)用于實(shí)際涌水量的預(yù)報(bào)輸出。由于預(yù)測(cè)模型是涌水量數(shù)據(jù)組織為時(shí)間序列模式并作為模型的輸入向量，因此對(duì)實(shí)際的預(yù)報(bào)輸出仍然可以建立在已有的歷史數(shù)據(jù)基礎(chǔ)上進(jìn)行預(yù)報(bào)輸出。其具體過(guò)程為設(shè)在歷史數(shù)據(jù)Wi(i＝1，2，...，T)上建立了預(yù)測(cè)模型網(wǎng)絡(luò)，對(duì)未來(lái)一定時(shí)間段U內(nèi)(i＝T+1，T+2，...，T+U)可進(jìn)行如下的預(yù)報(bào)輸出(如表1)。
對(duì)下一時(shí)刻i+1的涌水量預(yù)報(bào)都是建立在實(shí)際獲得的數(shù)據(jù)基礎(chǔ)上的，并且對(duì)每一次輸出的預(yù)報(bào)值W′i+1都與實(shí)測(cè)獲得的Wi+1進(jìn)行比較，分析與評(píng)價(jià)出當(dāng)前的預(yù)測(cè)模型是否仍然具有好的推廣性能。如果預(yù)報(bào)誤差超出允許誤差，此時(shí)立即對(duì)預(yù)測(cè)模型進(jìn)行再訓(xùn)練，其訓(xùn)練數(shù)據(jù)集涵蓋至目前時(shí)刻為止的所有涌水量歷史數(shù)據(jù)；如果仍然滿足精度要求，則可進(jìn)行下一時(shí)刻的預(yù)報(bào)。同時(shí)也限定了一定時(shí)間段，即無(wú)論模型的預(yù)測(cè)精度如何，當(dāng)達(dá)到預(yù)報(bào)時(shí)間限后，則必須重新訓(xùn)練預(yù)測(cè)模型，使得模型盡可能的模擬出礦井涌水的目前狀態(tài)，能夠提前預(yù)測(cè)可能出現(xiàn)的礦井突水事件。由于泛化性算法具有較好的學(xué)習(xí)效率，一定時(shí)間段后的主動(dòng)再訓(xùn)練預(yù)測(cè)模型并不會(huì)花費(fèi)太多的訓(xùn)練時(shí)間。
表1

權(quán)利要求
1.一種基于神經(jīng)網(wǎng)絡(luò)模型的礦井涌水量預(yù)測(cè)方法，它包括以下步驟獲取礦井涌水量歷史數(shù)據(jù)并轉(zhuǎn)化為時(shí)間序列模式，構(gòu)建BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型和學(xué)習(xí)方法模型、訓(xùn)練預(yù)測(cè)模型、檢驗(yàn)及預(yù)報(bào)輸出，其特征是；(1)所述的學(xué)習(xí)方法模型為泛化性學(xué)習(xí)方法模型，其構(gòu)建過(guò)程如下基于信賴(lài)域的基本方法，將最優(yōu)腦外科過(guò)程的權(quán)值衰減條件作為網(wǎng)絡(luò)代價(jià)函數(shù)的懲罰項(xiàng)，實(shí)現(xiàn)在網(wǎng)絡(luò)訓(xùn)練過(guò)程中同時(shí)進(jìn)行權(quán)值的衰減，并得到泛化性學(xué)習(xí)方法的模型為minΔwTHkΔw/2+gkTΔw]]>○s.t.ΔwTuq+ηwq＝0 ②ΔwTΔw≤γk2]]>○其中，式①為神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型代價(jià)函數(shù)的權(quán)值增量形式，Hk為網(wǎng)絡(luò)的Hessian矩陣，gk為網(wǎng)絡(luò)梯度，Δw為權(quán)值增量，式②為權(quán)值衰減條件，Δwq為權(quán)值第q個(gè)元素wq的增量，η為衰減因子；式③為信賴(lài)域條件；γk為信賴(lài)域半徑；(2)訓(xùn)練BP預(yù)測(cè)模型時(shí)采用泛化性學(xué)習(xí)方法，具體訓(xùn)練過(guò)程如下①對(duì)BP網(wǎng)絡(luò)預(yù)測(cè)模型進(jìn)行權(quán)值w與控制參數(shù)(許用誤差ε，衰減因子η，迭代序數(shù)k＝1及迭代總數(shù)K)的初始化；②將時(shí)序樣本對(duì)引入網(wǎng)絡(luò)模型，采用BP算法計(jì)算當(dāng)前權(quán)值狀態(tài)下的梯度gk和網(wǎng)絡(luò)輸出誤差ξk，以及近似二階矩陣Hk*(基于LM方法)；③設(shè)置終止條件||gk||≤ε或|ξk|≤ε或k＞K，如果滿足條件則訓(xùn)練結(jié)束，退出；④計(jì)算傳統(tǒng)訓(xùn)練方法的權(quán)值更新量Δw1=-Hk*-1gk;]]>⑤計(jì)算每個(gè)權(quán)值元素的顯著性SiSi=η2wi2-2ηwi[Hk*-1gk]i2[Hk*-1]i,i]]>其中，[·]i取向量的第i個(gè)元素，[·]i，i取矩陣的第(i，i)個(gè)元素，wi為權(quán)值的第i個(gè)元素；⑥確定顯著性的最小指標(biāo)q，使得Sq＝min Si，然后計(jì)算刪剪過(guò)程下的權(quán)值更新量Δw2=[Hk*-1gk]q-ηwq[Hk*-1]q,qHk*-1uq]]>其中，uq為僅第q個(gè)元素為1的單位向量，wq為權(quán)值的第q個(gè)元素；⑦計(jì)算在wmew＝wk+Δw1+Δw2下的誤差指標(biāo)ξnew，如果ξnew＜ξk，表明衰減過(guò)程有效，設(shè)置下一輪的權(quán)值狀態(tài)wk+1＝wnew；⑧否則，令wk+1＝wk+Δw1，k＝k+1，返回②繼續(xù)迭代。
全文摘要
本發(fā)明公開(kāi)了一種基于神經(jīng)網(wǎng)絡(luò)模型的礦井涌水量預(yù)測(cè)方法，它包括以下步驟獲取礦井涌水量歷史數(shù)據(jù)并轉(zhuǎn)化為時(shí)間序列模式，構(gòu)建BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型和學(xué)習(xí)方法模型，訓(xùn)練預(yù)測(cè)模型，檢驗(yàn)及預(yù)報(bào)輸出，其特征是所述的學(xué)習(xí)方法模型為泛化性學(xué)習(xí)方法模型，并用泛化性學(xué)習(xí)方法對(duì)預(yù)測(cè)模型進(jìn)行訓(xùn)練時(shí)由于本預(yù)測(cè)模型采用了泛化性學(xué)習(xí)算法進(jìn)行訓(xùn)練，所以學(xué)習(xí)效率高，泛化性能好，預(yù)測(cè)準(zhǔn)確，從而實(shí)現(xiàn)了對(duì)未來(lái)趨勢(shì)發(fā)展的準(zhǔn)確預(yù)見(jiàn)，較準(zhǔn)確的把握現(xiàn)有數(shù)據(jù)的發(fā)展趨勢(shì)。
文檔編號(hào)E21B47/10GK1786413SQ20051004517
公開(kāi)日2006年6月14日 申請(qǐng)日期2005年11月17日 優(yōu)先權(quán)日2005年11月17日
發(fā)明者孟江, 安坤 申請(qǐng)人:孟江