一種多特性仿生統(tǒng)一神經(jīng)元模型的制作方法
【專利摘要】本發(fā)明為對幾十種神經(jīng)元模型做出統(tǒng)一描述,總結(jié)歸納出目前生物醫(yī)學(xué)界和工程科學(xué)界普遍認(rèn)可的生物神經(jīng)元的十二大基本特性,并以此為基礎(chǔ)提出了一種更為全面反映生物神經(jīng)元特性的人工神經(jīng)元統(tǒng)一框架模型——多特性仿生統(tǒng)一神經(jīng)元(MBUN)模型。
【專利說明】一種多特性仿生統(tǒng)一神經(jīng)元模型
[0001]本發(fā)明為對幾十種神經(jīng)元模型做出統(tǒng)一描述，總結(jié)歸納出目前生物醫(yī)學(xué)界和工程科學(xué)界普遍認(rèn)可的生物神經(jīng)元的十二大基本特性，并以此為基礎(chǔ)提出了一種更為全面反映生物神經(jīng)元特性的人工神經(jīng)元統(tǒng)一框架模型--多特性仿生統(tǒng)一神經(jīng)元(MBUN)模型。
[0002]為解決上述技術(shù)問題，本發(fā)明的技術(shù)方案是:
綜合各類文獻(xiàn)和研究成果，目前生物醫(yī)學(xué)界和工程科學(xué)界普遍認(rèn)可的生物神經(jīng)元有以下12大基本特性，并分別給出了數(shù)學(xué)表示:
(1)空間整合效應(yīng)
在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上，大量不同的神經(jīng)元的軸突末梢可以到達(dá)同一個(gè)神經(jīng)元的樹突并形成大量突觸。當(dāng)這些樹突上同時(shí)有信號傳來時(shí)，這些信號在向細(xì)胞體傳送過程中全部疊加起來。這種神經(jīng)元可以對不同樹突上來源的輸入信息進(jìn)行整合，稱為空間整合效應(yīng)。在MP模型中，整合效應(yīng)用加權(quán)求和函數(shù)表示。但是整合效應(yīng)是否一定用加法描述，是否存在其他規(guī)則，生物學(xué)上目前尚無明確結(jié)論。本發(fā)明中用空間整合函數(shù)S(#)表示這種特性。
[0003](2)時(shí)間整合效應(yīng)
對于來自同一個(gè)突觸的信息，神經(jīng)元可以對不同時(shí)間傳入的信息進(jìn)行整合。在一定時(shí)間內(nèi)的連續(xù)刺激將會產(chǎn)生疊加效果，稱為時(shí)間整合效應(yīng)。本文中用時(shí)間整合函數(shù)T (#)表示這種特性。
[0004](3)閾值特性
當(dāng)神經(jīng)元接受來自其他神經(jīng)元的信息時(shí)，膜電位在開始時(shí)是按時(shí)間連續(xù)漸變的。當(dāng)受刺激的空間、時(shí)間總和大于一定量，膜電位變化超出某個(gè)定值時(shí)，神經(jīng)元產(chǎn)生突變上升的脈沖，脈沖沿軸突向下一級傳遞。神經(jīng)元這種膜電位高達(dá)一定閾值才產(chǎn)生脈沖傳送的特性稱為閾值特性。在通常的MP模型中，視閾值為某一定值，直接取為H。然而，生理學(xué)研究指出神經(jīng)網(wǎng)絡(luò)上各神經(jīng)元的閾值并非固定不變，不但不同的神經(jīng)元可以取不同的值，而且還可能隨著時(shí)間而變化。如小腦橋腦處的網(wǎng)絡(luò)結(jié)構(gòu)中就有所謂/高閾值細(xì)胞O。本文中用閾值函數(shù)TH(#)表示這種可變的特性。
[0005](4)不應(yīng)期
在電脈沖剛剛釋放后，即使很強(qiáng)的信號到來，神經(jīng)元也不會興奮，此期間稱為絕對不應(yīng)期。絕對不應(yīng)期結(jié)束之后，在一段時(shí)間內(nèi)，興奮的閾值比通常的高一些，使神經(jīng)元難以興奮，此期間稱為相對不應(yīng)期。變高了的閾值會漸漸返回到正常值。絕對不應(yīng)期大約有l(wèi)ms，而相對不應(yīng)期大約有數(shù)毫秒。本文中用不應(yīng)函數(shù)G(#)表示這種特性。
[0006](5)疲勞(適應(yīng)性)特性
神經(jīng)元在持續(xù)刺激多次后會對外界刺激輸入有所適應(yīng)，其閾值逐漸增加，致使神經(jīng)元難以興奮，需改變刺激強(qiáng)度才會得到同樣的響應(yīng)，這稱為神經(jīng)元的疲勞特性。它的數(shù)學(xué)表示可在閾值、權(quán)重及輸出特性上進(jìn)行調(diào)整(如采用時(shí)變函數(shù))。本文中用疲勞函數(shù)p(#)表示。
[0007](6)興奮與抑制
一個(gè)神經(jīng)元有興奮和抑制兩種狀態(tài)，并由細(xì)胞膜內(nèi)外不同的電位差來表征。在抑制狀態(tài)，細(xì)胞膜內(nèi)外之間有內(nèi)負(fù)外正的電位差；在興奮狀態(tài)，則廣生內(nèi)正外負(fù)的相反電位差。神經(jīng)元之間的連接既有興奮性連接，也有抑制性連接。本發(fā)明中用正值權(quán)重表示興奮性連接，以負(fù)值權(quán)重表示抑制性連接；以正值輸入表示神經(jīng)元接受的興奮輸入信息，以負(fù)值輸入表示神經(jīng)元接受的抑制輸入信息。
[0008](7)延時(shí)特性
信息通過突觸傳遞、神經(jīng)元接受信息到發(fā)生響應(yīng)之間有一個(gè)延時(shí)，通常為0.5?lms。本發(fā)明用延時(shí)函數(shù)D(#)表示。
[0009](8)輸出激發(fā)特性
神經(jīng)元對輸入的各種刺激經(jīng)過整合后做出動作，產(chǎn)生脈沖輸出，這種作用稱之為輸出激活或激發(fā)特性。從神經(jīng)生理的角度看，由激活值激發(fā)的神經(jīng)元輸出有極其復(fù)雜的關(guān)系，很難用一種唯一確定的函數(shù)表達(dá)。因此，目前的各類神經(jīng)元的輸出激發(fā)函數(shù)有多種形式，各自表示了神經(jīng)元輸出特性的一個(gè)側(cè)面。本發(fā)明用可變激發(fā)函數(shù)F(#)表示，它可以是確定的某一類函數(shù)，也可以是隨時(shí)間或調(diào)節(jié)參數(shù)變化的函數(shù)族。
[0010](9)傳導(dǎo)衰減特性
神經(jīng)元在激活作用下產(chǎn)生動作電位，此電位以一定的速度沿軸突傳到另一個(gè)神經(jīng)元上，其傳送速度與軸突的直徑及結(jié)構(gòu)有關(guān)。電位的傳遞一般服從電纜方程，以衰減形式傳遞，這就是傳導(dǎo)衰減特性。本發(fā)明用衰減函數(shù)A(#)表示.(10)突觸連接的可塑性
突觸之間的連接隨著信號的強(qiáng)弱和神經(jīng)元的興奮程度而變化。本文用可變連接權(quán)值向量W表示這種特性，并用學(xué)習(xí)算法來進(jìn)行權(quán)值的更新與調(diào)整。
[0011](11)數(shù)字/模擬信號轉(zhuǎn)換特性
在神經(jīng)元軸突上傳遞的信息是等幅、恒寬、編碼的離散電脈沖信號，是一個(gè)數(shù)字量。但在突觸中神經(jīng)遞質(zhì)的釋放和樹突中膜電位的變化是連續(xù)的，這說明突觸有數(shù)字-模擬信號轉(zhuǎn)換功能。神經(jīng)元的樹突膜電位高過一定閥值時(shí)，則又變成電脈沖方式由軸突傳送出去，這個(gè)過程說明神經(jīng)元有模擬-數(shù)字信號轉(zhuǎn)換功能。用模數(shù)轉(zhuǎn)換函數(shù)AD(#)和數(shù)模轉(zhuǎn)換函數(shù)DA (#)分別表示。
[0012](12)新發(fā)現(xiàn)特性
對照Getting、PDP小組以及相關(guān)文獻(xiàn)曾列出的目前流行的各種神經(jīng)元網(wǎng)絡(luò)模型的神經(jīng)元特性，可以看出，它們均沒有超出以上的11條特性。但是，科學(xué)是不斷的深入和發(fā)展的，考慮到未來還將可能發(fā)現(xiàn)更多的重要特性，用特性函數(shù)N(#)表示未來新發(fā)現(xiàn)的特性，以增進(jìn)框架的通用性和前瞻性。
[0013]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是:
(1)、該模型構(gòu)成的網(wǎng)絡(luò)適用于求解某些問題或解決某些問題時(shí)，能夠獲得滿意結(jié)果；
(2)、模型簡單，與生物神經(jīng)系統(tǒng)的神經(jīng)元相似，很多特性都被充分的描述；
(3)、網(wǎng)絡(luò)的容量與網(wǎng)絡(luò)規(guī)模有關(guān)，解決較復(fù)雜的問題時(shí)需采用規(guī)模較大的網(wǎng)絡(luò)，該網(wǎng)絡(luò)的設(shè)計(jì)使得訓(xùn)練變得十分容易實(shí)現(xiàn)。
【權(quán)利要求】
1.一種多特性仿生統(tǒng)一神經(jīng)元模型分為以下幾個(gè)部分: 綜合各類文獻(xiàn)和研究成果，目前生物醫(yī)學(xué)界和工程科學(xué)界普遍認(rèn)可的生物神經(jīng)元有以下12大基本特性，并分別給出了數(shù)學(xué)表示: (1)空間整合效應(yīng) 在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上，大量不同的神經(jīng)元的軸突末梢可以到達(dá)同一個(gè)神經(jīng)元的樹突并形成大量突觸；當(dāng)這些樹突上同時(shí)有信號傳來時(shí)，這些信號在向細(xì)胞體傳送過程中全部疊加起來；這種神經(jīng)元可以對不同樹突上來源的輸入信息進(jìn)行整合，稱為空間整合效應(yīng)；在皿卩模型中，整合效應(yīng)用加權(quán)求和函數(shù)表示；但是整合效應(yīng)是否一定用加法描述，是否存在其他規(guī)則，生物學(xué)上目前尚無明確結(jié)論；本發(fā)明中用空間整合函數(shù)S(#)表示這種特性； (2)時(shí)間整合效應(yīng) 對于來自同一個(gè)突觸的信息，神經(jīng)元可以對不同時(shí)間傳入的信息進(jìn)行整合；在一定時(shí)間內(nèi)的連續(xù)刺激將會產(chǎn)生疊加效果，稱為時(shí)間整合效應(yīng)；本文中用時(shí)間整合函數(shù)T(#)表示這種特性； (3)閾值特性 當(dāng)神經(jīng)元接受來自其他神經(jīng)元的信息時(shí)，膜電位在開始時(shí)是按時(shí)間連續(xù)漸變的；當(dāng)受刺激的空間、時(shí)間總和大于一定量，膜電位變化超出某個(gè)定值時(shí)，神經(jīng)元產(chǎn)生突變上升的脈沖，脈沖沿軸突向下一級傳遞；神經(jīng)元這種膜電位高達(dá)一定閾值才產(chǎn)生脈沖傳送的特性稱為閾值特性；在通常的MP模型中，視閾值為某一定值，直接取為H ;然而，生理學(xué)研究指出神經(jīng)網(wǎng)絡(luò)上各神經(jīng)元的閾值并非固定不變，不但不同的神經(jīng)元可以取不同的值，而且還可能隨著時(shí)間而變化；如小腦橋腦處的網(wǎng)絡(luò)結(jié)構(gòu)中就有所謂/高閾值細(xì)胞O ;本文中用閾值函數(shù)ΤΗ(#)表示這種可變的特性；` (4)不應(yīng)期 在電脈沖剛剛釋放后，即使很強(qiáng)的信號到來，神經(jīng)元也不會興奮，此期間稱為絕對不應(yīng)期；絕對不應(yīng)期結(jié)束之后，在一段時(shí)間內(nèi)，興奮的閾值比通常的高一些，使神經(jīng)元難以興奮，此期間稱為相對不應(yīng)期；變高了的閾值會漸漸返回到正常值；絕對不應(yīng)期大約有1ms，而相對不應(yīng)期大約有數(shù)毫秒；本文中用不應(yīng)函數(shù)G(#)表示這種特性； (5)疲勞(適應(yīng)性)特性 神經(jīng)元在持續(xù)刺激多次后會對外界刺激輸入有所適應(yīng)，其閾值逐漸增加，致使神經(jīng)元難以興奮，需改變刺激強(qiáng)度才會得到同樣的響應(yīng)，這稱為神經(jīng)元的疲勞特性；它的數(shù)學(xué)表示可在閾值、權(quán)重及輸出特性上進(jìn)行調(diào)整(如采用時(shí)變函數(shù))；本文中用疲勞函數(shù)P(#)表示； (6)興奮與抑制 一個(gè)神經(jīng)元有興奮和抑制兩種狀態(tài)，并由細(xì)胞膜內(nèi)外不同的電位差來表征；在抑制狀態(tài)，細(xì)胞膜內(nèi)外之間有內(nèi)負(fù)外正的電位差；在興奮狀態(tài)，則廣生內(nèi)正外負(fù)的相反電位差；神經(jīng)元之間的連接既有興奮性連接，也有抑制性連接；本發(fā)明中用正值權(quán)重表示興奮性連接，以負(fù)值權(quán)重表示抑制性連接；以正值輸入表示神經(jīng)元接受的興奮輸入信息，以負(fù)值輸入表示神經(jīng)元接受的抑制輸入信息； (7)延時(shí)特性 信息通過突觸傳遞、神經(jīng)元接受信息到發(fā)生響應(yīng)之間有一個(gè)延時(shí)，通常為0.5^1ms ;本發(fā)明用延時(shí)函數(shù)D(#)表示；(8)輸出激發(fā)特性 神經(jīng)元對輸入的各種刺激經(jīng)過整合后做出動作，產(chǎn)生脈沖輸出，這種作用稱之為輸出激活或激發(fā)特性；從神經(jīng)生理的角度看，由激活值激發(fā)的神經(jīng)元輸出有極其復(fù)雜的關(guān)系，很難用一種唯一確定的函數(shù)表達(dá)；因此，目前的各類神經(jīng)元的輸出激發(fā)函數(shù)有多種形式，各自表示了神經(jīng)元輸出特性的一個(gè)側(cè)面；本發(fā)明用可變激發(fā)函數(shù)F(#)表示，它可以是確定的某一類函數(shù)，也可以是隨時(shí)間或調(diào)節(jié)參數(shù)變化的函數(shù)族； (9)傳導(dǎo)衰減特性 神經(jīng)元在激活作用下產(chǎn)生動作電位，此電位以一定的速度沿軸突傳到另一個(gè)神經(jīng)元上，其傳送速度與軸突的直徑及結(jié)構(gòu)有關(guān)；電位的傳遞一般服從電纜方程，以衰減形式傳遞，這就是傳導(dǎo)衰減特性；本發(fā)明用衰減函數(shù)A(#)表示； (10)突觸連接的可塑性 突觸之間的連接隨著信號的強(qiáng)弱和神經(jīng)元的興奮程度而變化；本文用可變連接權(quán)值向量W表示這種特性，并用學(xué)習(xí)算法來進(jìn)行權(quán)值的更新與調(diào)整； (11)數(shù)字/模擬信號轉(zhuǎn)換特性 在神經(jīng)元軸突上傳遞的信息是等幅、恒寬、編碼的離散電脈沖信號，是一個(gè)數(shù)字量；但在突觸中神經(jīng)遞質(zhì)的釋放和樹突中膜電位的變化是連續(xù)的，這說明突觸有數(shù)字-模擬信號轉(zhuǎn)換功能；神經(jīng)元的樹突膜電位高過一定閥值時(shí)，則又變成電脈沖方式由軸突傳送出去，這個(gè)過程說明神經(jīng)元有模擬-數(shù)字信號轉(zhuǎn)換功能；用模數(shù)轉(zhuǎn)換函數(shù)AD(#)和數(shù)模轉(zhuǎn)換函數(shù)DA (#)分別表示； (12)新發(fā)現(xiàn)特性 對照Getting、PDP小組以及相關(guān)文獻(xiàn)曾列出的目前流行的各種神經(jīng)元網(wǎng)絡(luò)模型的神經(jīng)元特性，可以看出，它們均沒有超出以上的11條特性；但是，科學(xué)是不斷的深入和發(fā)展的，考慮到未來還將可能發(fā)現(xiàn)更多的重要特性，用特性函數(shù)N(#)表示未來新發(fā)現(xiàn)的特性，以增進(jìn)框架的通用性和前瞻性。
【文檔編號】G06N3/02GK103679265SQ201310588813
【公開日】2014年3月26日 申請日期:2013年11月21日 優(yōu)先權(quán)日:2013年11月21日
【發(fā)明者】劉雨 申請人:大連海聯(lián)自動控制有限公司