專利名稱：一種動態(tài)認知神經網絡及實現方法
技術領域：
本發(fā)明屬于認知科學與控制技術領域，特別是涉及一種局部遞歸動態(tài)認知神經網絡及實現方法。
在神經網絡控制中，有時需要對被控系統(tǒng)進行建模，但現在大量使用的多層前饋網絡是一種靜態(tài)網絡，用它來對動態(tài)系統(tǒng)進行辨識，實際是將動態(tài)時間建模問題變?yōu)橐粋€靜態(tài)空間建模問題，這就必然出現諸多問題。同樣，用靜態(tài)網絡進行控制，則需要構造控制器所需要的系統(tǒng)的動態(tài)信息，如單神經元PID控制中控制誤差的比例、積分與微分值。相比之下，動態(tài)遞歸網絡提供了一種極具潛力的選擇，代表了神經網絡建模、辨識與控制的發(fā)展方向。
與前饋神經網絡分為全局與局部逼近網絡類似，動態(tài)遞歸神經網絡也可分為完全遞歸與部分遞歸網絡。完全遞歸網絡具有任意的前饋與反饋連接，且所有連接權都可進行修正。而在部分遞歸網絡中，主要的網絡結構是前饋，其連接權可以修正；反饋連接由一組所謂“結構”(Context)單元構成，其連接權不可以修正。通過分析可以證明典型的Elman動態(tài)網絡僅具有積分特性，改進Elman網絡則具有比例積分特性。而對大腦神經系統(tǒng)的研究發(fā)現，人腦神經元的突觸后電壓(EPSP)與受刺激的強度有關，即具有比例作用，同時，EPSP會產生空間總和，即與刺激的積累效應有關，即具有積分作用，EPSP會產生時間總和，即與所受刺激的間隔時間長短有關，即具有微分作用。
本發(fā)明提供的技術方案是一種動態(tài)認知神經網絡，包括輸入層、輸出層、隱層、結構層，其特征在于設有記憶層，記憶層從結構層通過延遲獲取信息，其輸出作用于隱層；結構層從隱層通過延遲獲取信息，其輸出作用于隱層；隱層同時從輸入層和結構層及記憶層獲取信息，其輸出作用于輸出層；輸出層則從隱層獲取信息。
按本發(fā)明，上述記憶層分別作用于隱層和輸出層，輸出層則同時從隱層和記憶層獲取信息。
或者，上述結構層分別作用于隱層和輸出層，輸出層則同時從隱層和結構層獲取信息。
或者，上述記憶層分別作用于隱層和輸出層，結構層分別作用于隱層和輸出層，輸出層同時從隱層和結構層及記憶層獲取信息。
或者，結構層從隱層和自身通過延遲獲取信息，即結構層帶自反饋作用。
或者，記憶層從結構層和自身通過延遲獲取信息，即記憶層帶自反饋作用。
或者，結構層從隱層和自身通過延遲獲取信息，記憶層從結構和自身通過延遲獲取信息，即記憶層和結構層均帶自反饋作用。
本發(fā)明還提供了上述動態(tài)認知神經網絡的實現方法，采取的措施和步驟如下(1)輸入信號經輸入層轉換為網絡可接受的輸入信息u；(2)輸入層的輸出信息u通過作用系數w2，結構層的輸出信息c通過作用系數w1，記憶層的輸出信息b通過作用系數w6，分別作用于隱層的輸入，上述信息經綜合后，通過非線性作用函數產生隱層的輸出x；若有m個輸入信息，隱層節(jié)點個數為r個，則隱層輸出可表示為xj(k)=f(Σi=1mw2i,jui(k)+Σi=1rw1i,jci(k)+Σi=1rw6i,jbi(k))j=1···r]]>(3)隱層的輸出信息經單位時間延遲后作用于結構層，并與結構層前一個時步的信號進行綜合產生結構層的輸出c，結構層的自反饋系數為α；即有ci(k)＝xi(k-1)+α×ci(k-1)i＝1…r(4)結構層的輸出信息經單位時間延遲后作用于記憶層，并與記憶層前一個時步的信號進行綜合產生記憶層的輸出b，記憶層的自反饋系數為β。即有bi(k)＝ci(k-1)+β×bi(k-1)i＝1…r(5)隱層的輸出信息x通過作用系數w3，結構層的輸出信息c通過作用系數w4，記憶層的輸出信息b通過作用系數w5，分別作用于輸出層的輸入，上述信息經綜合后，通過非線性作用函數產生輸出層的輸出y；若隱層節(jié)點個數為r個，輸出層個數為n個，則輸出層的輸出(即網絡的輸出)可表示為yj(k)=g(Σi=1r(w3i,jxi(k)+w4i,jci(k)+w5i,jbi(k))j=1···n]]>根據實施的步驟和方法，可以構建所需動態(tài)認知神經網絡。
從系統(tǒng)的觀點看，新的動態(tài)神經網絡由兩種網絡構成，一種是前饋環(huán)，它由輸入層、隱層、結構層、記憶層和輸出層組成。另一種是反饋層，它由隱層、結構層和記憶層組成。前饋神經網絡僅僅只利用了系統(tǒng)的靜態(tài)信息，而新型神經網絡在利用系統(tǒng)靜態(tài)信息的同時，由于內部的存儲能力，還能利用系統(tǒng)的動態(tài)信息。與一般的記憶神經網絡不同，它并不需要對網絡所有層的信息進行記憶，僅對隱層的信息進行記憶。同時，記憶信息反傳回隱層，特別是通過兩層記憶與雙環(huán)反饋，將更進一步增強該網絡的動態(tài)性能。
當考慮單輸入單輸出只有一個隱層的最簡單系統(tǒng)時，即r，m，n均為1時，輸入輸出的差分方程如下y(k)＝w3×x(k)+w4×c(k)+w5×b(k)x(k)＝w2×u(k)+w1×c(k)+w6×b(k)c(k)＝x(k-1)+α×c(k-1)b(k)＝c(k-1)+β×b(k-1)取Z變換，有y(z)＝w3×x(z)+w4×c(z)+w5×b(z)x(z)＝w2×u(z)+w1×c(z)+w6×b(z)zc(z)＝x(z)+α×c(z)zb(z)＝c(z)+β×b(z)推導得G(z)=y(z)u(z)=w2×w3(z-α)(z-β)+w2×w4(z-β)+w2×w5(z-α)(z-β)-w1(z-β)-w6]]>求上式的反z變換，得y(k)＝(α+β+w1)y(k-1)-(αβ+βw1-w6)y(k-2)+w2×w3×u(k)-w2[(α+β)×w3-w4]u(k-1)+w2(αβw3+w5-w4β)u(k-2)帶實際微分的離散PID算法為u(k)=2T+ΔTT+ΔTu(k-1)-TT+ΔTu(k-2)+(KP+KIT)ΔT+KD+KPT+KIΔT2T+ΔTe(k)]]>-(KP+KIT)ΔT+2KD+2KPTT+ΔTe(k-1)+KD+KPTT+ΔTe(k-2)]]>式中KP，KI，KD分別為比例，積分和微分系數。兩者比較，有α+β+w1=2T+ΔTT+ΔT]]>αβ+βw1-w6=TT+ΔT]]>w2×w3=(KP+KIT)ΔT+KD+KPT+KIΔT2T+ΔT]]>w2[(α+β)w3-w4]=(KP+KIT)ΔT+2KD+2KPTT+ΔT]]>w2(αβw3+w5-w4β)=KD+KPTT+ΔT]]>從上述公式中可以看出，如果α，β不為0，即使w4，w5均為0；或者是當α，β均為0，而w4，w5不為0時，本發(fā)明的新型神經網絡均具有比例積分微分特性。若不考慮記憶層，即當β，w5，w6均為0時，則KD＝0，即沒有微分作用。
與現有神經網絡模型相比，本發(fā)明由于增加了一個記憶層，使新的認知神經網絡具有比例積分和微分動態(tài)特性。當對各層的系數進行適當的調整后，可以有效地逼近非線性動態(tài)過程。本發(fā)明可以由硬件電路構成，也可由計算機軟件算法予以實現。由于本發(fā)明的動態(tài)神經網絡具有比例積分微分(PID)特性，用于系統(tǒng)和信號辨識時必將加快收斂速度，使所述神經網絡模型更好地跟蹤被辨識系統(tǒng)。用于過程控制時其實質上相當于一個變結構變參數的PID控制器，從而具有更好的控制特性。


圖1為本發(fā)明的動態(tài)認知神經網絡的原理方框圖；圖2為圖1所示的網絡結構圖；圖3為圖2所示網絡的硬件實現；圖4為本發(fā)明用于系統(tǒng)辨識的實現框圖；圖5為本發(fā)明用于過程控制的實現框圖。
具體實施例方式
本發(fā)明構建的新型動態(tài)認知神經網絡如圖1所示，它由輸入層10、輸出層11、隱層12、結構層13、記憶層14及延遲環(huán)節(jié)15、16構成。
輸入層10的信息作用于隱層，其作用系數為w2。隱層12將來自輸入層10和結構層13和記憶層14的信息綜合后，一方面將其輸出送至輸出層11，其作用系數為w3；另一方面。其輸出信息經單位時間延遲后作用于結構層13。結構層13將該信息一路反饋回隱層12，其反饋系數為w1；一路作用于輸出層11，其作用系數為w4；另一路經單位時間延遲后作用于記憶層14。記憶層14一方面將該信息反饋回隱層12，其反饋系數為w6；另一方面作用于輸出層11，其作用系數為w5。
圖2為對應于圖1的一個多輸入多輸出的實施例。在該實施例中，記憶層14的自反饋系數為β，結構層13的反饋系數為α，若記輸入層10、隱層12、結構層13、記憶層14、輸出層11的狀態(tài)分別為u，x，c，b，y。
其各層的非線性狀態(tài)空間表達式為xj(k)=f(Σi=1mw2i,jui(k)+Σi=1rw1i,jci(k)+Σi=1rw6i,jbi(k))]]>ci(k)＝xi(k-1)+α×ci(k-1)bi(k)＝ci(k-1)+β×bi(k-1)yj(k)=g(Σi=1r(w3i,jxi(k)+w4i,jci(k)+w5i,jbi(k))]]>圖3為圖2所示網絡當單輸入單輸出只有一個隱層且輸出函數為線性時的最簡單系統(tǒng)的硬件實現。圖中，隱層12的輸入為輸入層10的輸出信號與結構層13和記憶層14的信息綜合，改變其輸入阻值即改變了相應的權值；隱層10的輸出經延時15作用于結構層13；結構層13的輸出經延時16一方面作用于記憶層14，另一方面反饋給結構層13自身，改變相應電阻值可改變自反饋系數；記憶層14的信號一部分取自結構層的延時電路16，另一方面，記憶層的輸出經延時17后反饋給自身；隱層、結構層、記憶層的輸出在輸出層進行線性迭加，改變輸出層的輸入電阻值可對相應權系數進行調整。由于所有信號綜合與延時均由反向元件構成，為保證信號的一致性，結構層和記憶層的信息在送往隱層時進行了反向處理。
對于圖2和圖3的實施例中，當α，β，w4，w5中某項和幾項取值為0時，即構成各種簡化的網絡形式。α＝0時，對應于結構層的信息只從隱層通過延遲獲??；β＝0時，對應于記憶層的信息只從結構通過延遲獲?。粀4＝0，對應于結構層的輸出只作用于隱層；w5＝0，對應于記憶層的輸出只作用于隱層；w4＝0、w5＝0時，對應于輸出層的信息只取自隱層。
圖4為所述神經網絡用于動態(tài)系統(tǒng)辨識的實現框圖。在輸入u的作用下，動態(tài)系統(tǒng)2的輸出為yd，神經網絡1的輸出為y，當動態(tài)系統(tǒng)2的輸出與神經網絡1的輸出存在誤差e時，學習機制3按一定的學習算法對神經網絡的權值進行調整，以使神經網絡1的輸出始終跟蹤動態(tài)系統(tǒng)2的輸出。這樣就可以用神經網絡1來表達動態(tài)系統(tǒng)2的數學模型，從而實現了對動態(tài)系統(tǒng)2的辨識。顯然，由于所述新的神經網絡不僅具有對輸入信號的比例積分信息，其輸出中還包含有輸入信號的微分信息，用于對系統(tǒng)進行辨識時必將加快收斂速度，使所述神經網絡更好地跟蹤被辨識系統(tǒng)。
圖5為所述神經網絡用于動態(tài)系統(tǒng)辨識的實現框圖。神經網絡1作為控制器，它將給定輸入c和動態(tài)系統(tǒng)輸出y作為輸入，產生控制量u去控制動態(tài)系統(tǒng)，以使動態(tài)系統(tǒng)輸出與給定值一致。當動態(tài)系統(tǒng)輸出與給定值存在一定的誤差時，學習機制按一定的學習算法去調整神經網絡的權值，以保證系統(tǒng)的動態(tài)性能最優(yōu)。顯然，當所述新的神經網絡用于控制時，其實質上相當于一個變結構變參數的PID控制器。與單神經元PID控制器比較，所論神經網絡不需要在外部構造比例積分微分信息，同時對前一時步的輸出還具有激勵或抑制作用。當α+w1+β＞1時，對前一時步的控制輸出具有激勵作用，當α+w1+β＜1時，則對前一時步的控制輸出具有抑制作用，當α+w1+β＝1時，則為標準的變系數比例積分算法。此外，當隱層節(jié)點數為r時，其相當于r個變結構變參數的PID控制器的輸出疊加，即r個變結構變參數的PID控制器并聯，若此時，只改變權值系數w3，則相當于專家智能控制或模糊智能控制在r條控制規(guī)則中進行選擇或組合。因此，可以通過在線學習，取得理想的控制效果。
從以上比較和動態(tài)特性分析中還可以看出，所述新的神經網絡的權值具有物理意義，這是它與其它神經網絡最大的不同，從而避免了常規(guī)神經網絡中映射規(guī)則無法直接理解，初值選擇只能隨機選擇的缺陷，避免在訓練初期可能使被控系統(tǒng)不穩(wěn)定及造成的擾動。
權利要求
1.一種動態(tài)認知神經網絡，包括輸入層、輸出層、隱層、結構層，其特征在于設有記憶層，記憶層從結構層通過延遲獲取信息，其輸出作用于隱層；結構層從隱層通過延遲獲取信息，其輸出作用于隱層；隱層同時從輸入層和結構層及記憶層獲取信息，其輸出作用于輸出層；輸出層則從隱層獲取信息。
2.根據權利要求1所述的認知神經網絡，其特征在于記憶層分別作用于隱層和輸出層，輸出層同時從隱層和記憶層獲取信息。
3.根據權利要求1所述的認知神經網絡，其特征在于結構層分別作用于隱層和輸出層，輸出層同時從隱層和結構層獲取信息。
4.根據權利要求1所述的認知神經網絡，其特征在于記憶層分別作用于隱層和輸出層，結構層分別作用于隱層和輸出層，輸出層同時從隱層和結構層及記憶層獲取信息。
5.根據權利要求1所述的認知神經網絡，其特征在于結構層從隱層和自身通過延遲獲取信息，即結構層帶自反饋作用。
6.根據權利要求1所述的認知神經網絡模型，其特征在于記憶層從結構層和自身通過延遲獲取信息，即記憶層帶自反饋作用。
7.根據權利要求1所述的認知神經網絡模型，其特征在于結構層從隱層和自身通過延遲獲取信息，記憶層從結構和自身通過延遲獲取信息，即記憶層和結構層均帶自反饋作用。
8.權利要求1、2、3、4、5、6或7所述的動態(tài)認知神經網絡的實現方法，(1)輸入信號經輸入層轉換為網絡可接受的輸入信息u；(2)輸入層的輸出信息u通過作用系數w2，結構層的輸出信息c通過作用系數w1，記憶層的輸出信息b通過作用系數w6，分別作用于隱層的輸入，上述信息經綜合后，通過非線性作用函數產生隱層的輸出x；若有m個輸入信息，隱層節(jié)點個數為r個，則隱層輸出可表示為xj(k)=f(Σi=1mw2i,jui(k)+Σi=1rw1i,jci(k)+Σi=1rw6i,jbi(k))j=1···r]]>(3)隱層的輸出信息經單位時間延遲后作用于結構層，并與結構層前一個時間單元的信號進行綜合產生結構層的輸出c，結構層的自反饋系數為α；即有ci(k)＝xi(k-1)+α×ci(k-1)i＝1…r(4)結構層的輸出信息經單位時間延遲后作用于記憶層，并與記憶層前一個時步的信號進行綜合產生記憶層的輸出b，記憶層的自反饋系數為β；即有bi(k)＝ci(k-1)+β×bi(k-1)i＝1…r(5)隱層的輸出信息x通過作用系數w3，結構層的輸出信息c通過作用系數w4，記憶層的輸出信息b通過作用系數w5，分別作用于輸出層的輸入，上述信息經綜合后，通過非線性作用函數產生輸出層的輸出y；若隱層節(jié)點個數為r個，輸出層個數為n個，則輸出層的輸出可表示為yj(k)=g(Σi=1r(w3i,jxi(k)+w4i,jci(k)+w5i,jbi(k))j=1···n]]>通過上述步驟即可獲得所需的動態(tài)認知神經網絡。
全文摘要
一種動態(tài)認知神經網絡及實現方法，它由輸入層、隱層、結構層、記憶層和輸出層構成。該認知神經網絡具有比例、積分、微分動態(tài)特性，用于對系統(tǒng)進行辨識時將加快收斂速度，使所述神經網絡更好地跟蹤被辨識系統(tǒng)。用于控制時其實質上相當于一個變結構變參數的PID控制器。當隱層節(jié)點數為r時，其相當于r個變結構變參數的PID控制器的輸出疊加，即r個變結構變參數的PID控制器并聯，此時，只改變權值系數w3，則相當于專家智能控制或模糊智能控制在r條控制控制規(guī)則中進行選擇或組合。與其它神經網絡最大的不同，所述新的神經網絡的權值具有物理意義，初值選擇可以根據人們對物理過程的理解進行，從而可避免在訓練初期可能使被控系統(tǒng)不穩(wěn)定及造成的擾動。
文檔編號G06N3/06GK1417742SQ0214784
公開日2003年5月14日 申請日期2002年12月16日 優(yōu)先權日2002年12月16日
發(fā)明者程遠楚 申請人:武漢大學