本發(fā)明涉及機(jī)器學(xué)習(xí)及類腦計(jì)算技術(shù)領(lǐng)域，尤其涉及一種隱式狄利克雷模型的事件驅(qū)動(dòng)的坍縮吉布斯采樣方法。

背景技術(shù)：

隱式主題模型，能夠從復(fù)雜文本集合中抽取其中隱藏的語義結(jié)構(gòu)。目前使用最廣泛的隱式主題模型是隱式狄利克雷模型(LDA-Latent Dirichlet Allocation)。這個(gè)模型常用的訓(xùn)練算法是坍縮吉布斯采樣(CGS-Collapsed Gibbs Sampling)。隱式狄利克雷模型已經(jīng)廣泛運(yùn)用于文本分析、數(shù)據(jù)可視化、推薦系統(tǒng)、信息檢索和網(wǎng)絡(luò)分析。近年來，隨著網(wǎng)絡(luò)中文本數(shù)據(jù)量的大規(guī)模增加，已有工作顯示大規(guī)模隱式狄利克雷模型可以提升廣告和推薦系統(tǒng)的功能。但目前，大規(guī)模隱式狄利克雷模型一般在大集群下做訓(xùn)練和推理，運(yùn)行的能耗很大，所以難以推廣到能源稀缺的設(shè)備上，比如手機(jī)應(yīng)用。

類腦計(jì)算通過模仿生物神經(jīng)網(wǎng)絡(luò)研發(fā)低能耗的計(jì)算方法，其中一個(gè)重要研究方向是制造通用的低能耗處理器。現(xiàn)有技術(shù)提供了一款稱為TrueNorth的可運(yùn)行類腦芯片，其在實(shí)時(shí)任務(wù)上估計(jì)出消耗的能量?jī)H為傳統(tǒng)中央處理器的十萬分之一。但這種類腦芯片不適合直接運(yùn)行經(jīng)典計(jì)算機(jī)算法的操作，而適合運(yùn)行脈沖神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)。所以目前已有的經(jīng)典計(jì)算機(jī)算法需要針對(duì)其原理重新用脈沖神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)來實(shí)現(xiàn)，才能在類腦芯片上使用，并充分發(fā)揮芯片低能耗的特性。

目前，脈沖神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)已經(jīng)能實(shí)現(xiàn)一些經(jīng)典的機(jī)器學(xué)習(xí)算法。如現(xiàn)有技術(shù)提供了一種神經(jīng)采樣方法，在理論上能對(duì)概率圖做吉布斯采樣推理。雖然通過結(jié)合坍縮吉布斯采樣的原理，該神經(jīng)采樣方法能保證用脈沖神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)正確地訓(xùn)練隱式狄利克雷模型，但網(wǎng)絡(luò)結(jié)構(gòu)中使用的神經(jīng)元連結(jié)數(shù)目與文本中單詞的總數(shù)目呈指數(shù)關(guān)系，空間復(fù)雜度太高，所以用神經(jīng)采樣對(duì)隱式狄利克雷模型做推理并不有效。神經(jīng)采樣中復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)源于它固定不變的網(wǎng)絡(luò)聯(lián)結(jié)參數(shù)?，F(xiàn)有技術(shù)還用可調(diào)節(jié)網(wǎng)絡(luò)參數(shù)的脈沖神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)來訓(xùn)練混合多項(xiàng)式分布模型，使神經(jīng)元連結(jié)可以隨環(huán)境變化自我調(diào)整。但隱式狄利克雷模型比混合多項(xiàng)式分布更加復(fù)雜，推廣到這個(gè)更復(fù)雜的模型需要對(duì)網(wǎng)絡(luò)的結(jié)構(gòu)做重新設(shè)計(jì)。

鑒于此，如何提供一種低能耗、低空間復(fù)雜度的方法，使其能夠基于脈沖神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)對(duì)隱式狄利克雷模型進(jìn)行有效訓(xùn)練，并能用于類腦芯片上成為目前需要解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)要素：

為解決上述的技術(shù)問題，本發(fā)明提供一種隱式狄利克雷模型的事件驅(qū)動(dòng)的坍縮吉布斯采樣方法，能夠基于脈沖神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)對(duì)隱式狄利克雷模型的參數(shù)進(jìn)行有效訓(xùn)練，并在原則上能用于類腦芯片，能耗低。

本發(fā)明提供一種隱式狄利克雷模型的事件驅(qū)動(dòng)的坍縮吉布斯采樣方法，包括：

S1、構(gòu)建預(yù)設(shè)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，所述預(yù)設(shè)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，包括：兩個(gè)可見層和一個(gè)隱層；所述兩個(gè)可見層按照一熱表示方式分別對(duì)單詞和文檔進(jìn)行編碼，所述隱層按照一熱表示方式對(duì)主題進(jìn)行編碼，突觸從可見層中的每個(gè)神經(jīng)元連結(jié)到隱層中的每個(gè)神經(jīng)元；

S2、串行地將數(shù)據(jù)集中的每個(gè)單詞和每個(gè)單詞對(duì)應(yīng)的文檔逐一呈現(xiàn)給所述神經(jīng)網(wǎng)絡(luò)，根據(jù)步驟S1中可見層進(jìn)行編碼的方法，表示當(dāng)前單詞的可見層中的神經(jīng)元和表示當(dāng)前文檔的可見層中的神經(jīng)元以其實(shí)時(shí)頻率根據(jù)泊松過程發(fā)放電脈沖，該電脈沖沿著突觸連結(jié)從可見層傳遞至隱層；

S3、根據(jù)步驟S2中可見層傳遞電脈沖至隱層的方式，隱層在接收到電脈沖后膜內(nèi)電壓被改變，每個(gè)隱層中的神經(jīng)元根據(jù)改變后的膜內(nèi)電壓計(jì)算其實(shí)時(shí)放電頻率，并根據(jù)該實(shí)時(shí)放電頻率以泊松過程發(fā)放電脈沖，如果在某個(gè)單詞呈現(xiàn)的時(shí)候，隱層中的表示某個(gè)具體主題的神經(jīng)元發(fā)放電脈沖，則表示這個(gè)具體主題新分配給了這個(gè)單詞；

S4、根據(jù)步驟S3中隱層發(fā)放電脈沖的方式，更新注入到這些隱層中的神經(jīng)元的反饋周邊抑制信號(hào)；

S5、根據(jù)步驟S2中可見層發(fā)放電脈沖的方式及步驟S3中隱層發(fā)放電脈沖的方式，從一個(gè)可見層中的神經(jīng)元到一個(gè)隱層中的神經(jīng)元的突觸的連結(jié)強(qiáng)度根據(jù)這兩個(gè)神經(jīng)元發(fā)放電脈沖的相對(duì)時(shí)間差以及該突觸當(dāng)前的連結(jié)強(qiáng)度進(jìn)行更新；

S6、S3至S5是并行執(zhí)行的，執(zhí)行上述步驟S2至S5處理完數(shù)據(jù)集中所有文本為一次迭代，重復(fù)上述步驟S2至S5，直至迭代次數(shù)達(dá)到預(yù)設(shè)值時(shí)，停止迭代并從神經(jīng)網(wǎng)絡(luò)的參數(shù)中提取隱式狄利克雷模型的參數(shù)。

可選地，從對(duì)單詞進(jìn)行編碼的可見層連結(jié)到隱層的權(quán)重維護(hù)三個(gè)矩陣，分別為從對(duì)單詞進(jìn)行編碼的可見層到隱層的突觸的連結(jié)強(qiáng)度矩陣、經(jīng)驗(yàn)一階矩矩陣和經(jīng)驗(yàn)二階矩矩陣；

從對(duì)文檔進(jìn)行編碼的可見層連結(jié)到隱層的權(quán)重也維護(hù)這樣三個(gè)矩陣，分別為從對(duì)文檔進(jìn)行編碼的可見層到隱層的突觸的連結(jié)強(qiáng)度矩陣、經(jīng)驗(yàn)一階矩矩陣和經(jīng)驗(yàn)二階矩矩陣。

可選地，所述一熱表示方式，包括：

在對(duì)單詞進(jìn)行編碼的可見層中，每個(gè)神經(jīng)元表示一個(gè)具體單詞，該可見層的神經(jīng)元數(shù)目為詞典中的單詞數(shù)；

在對(duì)文檔進(jìn)行編碼的可見層中，每個(gè)神經(jīng)元表示一個(gè)具體文檔，該可見層的神經(jīng)元數(shù)目為文檔集合中的文檔數(shù)；

在隱層中，每個(gè)神經(jīng)元表示一個(gè)具體主題，所述隱層的神經(jīng)元數(shù)目為隱式狄利克雷模型預(yù)設(shè)的主題數(shù)。

可選地，神經(jīng)網(wǎng)絡(luò)中從可見層中的每個(gè)神經(jīng)元到隱層中的每個(gè)神經(jīng)元的突觸的連結(jié)強(qiáng)度設(shè)計(jì)，包括：

從同一個(gè)可見層到隱層的突觸的連結(jié)強(qiáng)度共同地增加一個(gè)相同的預(yù)設(shè)參數(shù)，所述預(yù)設(shè)參數(shù)為正常數(shù)。

可選地，隱層在接收到電脈沖后膜內(nèi)電壓被改變的方式，包括：

來自每個(gè)突觸的電脈沖的影響是將一個(gè)有限時(shí)長、大小不變的附加電壓疊加在隱層中與該突觸連結(jié)的神經(jīng)元的膜內(nèi)電壓上，所述附加電壓的幅度等于該突觸的連結(jié)強(qiáng)度；來自相同突觸的電脈沖的影響是可更新的，來自不同突觸的電脈沖的影響相互可加。

可選地，可見層中每個(gè)神經(jīng)元的實(shí)時(shí)頻率為該神經(jīng)元的基準(zhǔn)放電率乘以一個(gè)全局的三角函數(shù)調(diào)諧信號(hào)；

其中，可見層中每個(gè)神經(jīng)元的基準(zhǔn)放電率在興奮為預(yù)設(shè)常數(shù)，在靜息時(shí)為0。

可選地，隱層中每個(gè)神經(jīng)元的實(shí)時(shí)放電頻率為該神經(jīng)元的基準(zhǔn)放電率乘以一個(gè)全局的三角函數(shù)調(diào)諧信號(hào)；

其中，隱層中每個(gè)神經(jīng)元的基準(zhǔn)放電率與該神經(jīng)元的膜內(nèi)電壓為指數(shù)關(guān)系。

可選地，所述根據(jù)步驟S3中隱層發(fā)放電脈沖的方式，更新注入到這些隱層中的神經(jīng)元的反饋周邊抑制信號(hào)，包括：

如果有隱層中的神經(jīng)元發(fā)放電脈沖，則抑制信號(hào)提高到預(yù)設(shè)最大值，否則抑制信號(hào)呈指數(shù)衰減。

可選地，所述根據(jù)步驟S2中可見層發(fā)放電脈沖的方式及步驟S3中隱層發(fā)放電脈沖的方式，從一個(gè)可見層中的神經(jīng)元到一個(gè)隱層中的神經(jīng)元的突觸的連結(jié)強(qiáng)度根據(jù)這兩個(gè)神經(jīng)元發(fā)放電脈沖的相對(duì)時(shí)間差以及該突觸當(dāng)前的連結(jié)強(qiáng)度進(jìn)行更新，包括：

如果在隱層中的神經(jīng)元發(fā)放電脈沖時(shí)，一個(gè)可見層中的神經(jīng)元沿著它們之間的突觸連結(jié)有電壓影響在這個(gè)隱層中的神經(jīng)元，那么這個(gè)突觸的連結(jié)強(qiáng)度會(huì)增加，否則這個(gè)突觸的連結(jié)強(qiáng)度會(huì)減少；

其中，這個(gè)突觸的連結(jié)強(qiáng)度的增加量為一個(gè)方向項(xiàng)乘以步長項(xiàng)；其中，所述方向項(xiàng)取決于這兩個(gè)神經(jīng)元發(fā)放電脈沖的相對(duì)時(shí)間差以及該突觸當(dāng)前的連結(jié)強(qiáng)度；所述步長項(xiàng)由該突觸的經(jīng)驗(yàn)一階矩和經(jīng)驗(yàn)二階矩進(jìn)行估計(jì)，該突觸的經(jīng)驗(yàn)一階矩和經(jīng)驗(yàn)二階矩用于估計(jì)相應(yīng)的貝塔分布的有效樣本量，所述步長項(xiàng)為估計(jì)得到的有效樣本量的倒數(shù)；

這個(gè)突觸的連結(jié)強(qiáng)度的減少量為一個(gè)單位的步長項(xiàng)。

可選地，所述從神經(jīng)網(wǎng)絡(luò)的參數(shù)中提取隱式狄利克雷模型的參數(shù)，包括：

從對(duì)單詞進(jìn)行編碼的可見層到隱層的突觸的連結(jié)強(qiáng)度中提取主題分布，從對(duì)文檔進(jìn)行編碼的可見層到隱層的突觸的連結(jié)強(qiáng)度中提取主題混合比例；

從對(duì)單詞進(jìn)行編碼的可見層到隱層的突觸的經(jīng)驗(yàn)一階矩和二階矩中提取估計(jì)的單詞-主題計(jì)數(shù)矩陣，從對(duì)文檔進(jìn)行編碼的可見層到隱層的突觸的經(jīng)驗(yàn)一階矩和二階矩中提取估計(jì)的文檔-主題計(jì)數(shù)矩陣。

由上述技術(shù)方案可知，本發(fā)明的隱式狄利克雷模型的事件驅(qū)動(dòng)的坍縮吉布斯采樣方法，通過使用脈沖神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)和坍縮吉布斯采樣的思想，能夠?qū)﹄[式狄利克雷模型的參數(shù)進(jìn)行有效訓(xùn)練，保證隱式狄利克雷模型的訓(xùn)練效果，并在原則上能用于類腦芯片上，能耗低；本發(fā)明通過使用可自我調(diào)節(jié)的突觸更新方法，降低了網(wǎng)絡(luò)的空間復(fù)雜度。

附圖說明

圖1為本發(fā)明一實(shí)施例提供的一種隱式狄利克雷模型的事件驅(qū)動(dòng)的坍縮吉布斯采樣方法的流程示意圖。

具體實(shí)施方式

為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整的描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他的實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

圖1示出了本發(fā)明一實(shí)施例提供的隱式狄利克雷模型的事件驅(qū)動(dòng)的坍縮吉布斯采樣方法的流程示意圖，如圖1所示，本實(shí)施例的隱式狄利克雷模型的事件驅(qū)動(dòng)的坍縮吉布斯采樣方法如下所述。

S1、構(gòu)建預(yù)設(shè)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，所述預(yù)設(shè)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，包括：兩個(gè)可見層和一個(gè)隱層；所述兩個(gè)可見層按照一熱表示方式分別對(duì)單詞和文檔進(jìn)行編碼，所述隱層按照一熱表示方式對(duì)主題進(jìn)行編碼，突觸從可見層中的每個(gè)神經(jīng)元連結(jié)到隱層中的每個(gè)神經(jīng)元。

需說明的是，神經(jīng)網(wǎng)絡(luò)的每層維護(hù)一個(gè)標(biāo)量，表示當(dāng)前該層發(fā)放電脈沖的神經(jīng)元的下標(biāo)，或?yàn)榭?；這種標(biāo)量在對(duì)單詞進(jìn)行編碼的可見層記為在對(duì)文檔進(jìn)行編碼的可見層記為在編碼主題的隱層記為每個(gè)可見層另外維護(hù)兩個(gè)標(biāo)量，分別表示當(dāng)前對(duì)隱層有突觸后膜效應(yīng)的神經(jīng)元的下標(biāo)，以及這個(gè)突觸后膜效應(yīng)還要持續(xù)的時(shí)間，這兩個(gè)標(biāo)量在對(duì)單詞進(jìn)行編碼的可見層分別記為和在對(duì)文檔進(jìn)行編碼的可見層分別記為和隱層另外維護(hù)三個(gè)向量，分別表示對(duì)單詞進(jìn)行編碼的可見層對(duì)隱層中每個(gè)神經(jīng)元的突觸后膜電壓、對(duì)文檔進(jìn)行編碼的可見層對(duì)隱層中每個(gè)神經(jīng)元的突觸后膜電壓，以及隱層中每個(gè)神經(jīng)元當(dāng)前的膜內(nèi)電壓。

從對(duì)單詞進(jìn)行編碼的可見層連結(jié)到隱層的權(quán)重維護(hù)三個(gè)矩陣，分別為從對(duì)單詞進(jìn)行編碼的可見層到隱層的突觸的連結(jié)強(qiáng)度矩陣經(jīng)驗(yàn)一階矩矩陣和經(jīng)驗(yàn)二階矩矩陣其中，l為矩陣的行，k為矩陣的列；從對(duì)文檔進(jìn)行編碼的可見層連結(jié)到隱層的權(quán)重也維護(hù)這樣三個(gè)矩陣，分別為從對(duì)文檔進(jìn)行編碼的可見層到隱層的突觸的連結(jié)強(qiáng)度矩陣經(jīng)驗(yàn)一階矩矩陣和經(jīng)驗(yàn)二階矩矩陣其中，d為矩陣的行，k為矩陣的列。

在具體應(yīng)用中，所述一熱表示方式，具體包括：

在對(duì)單詞進(jìn)行編碼的可見層中，每個(gè)神經(jīng)元表示一個(gè)具體單詞，該可見層的神經(jīng)元數(shù)目為詞典中的單詞數(shù)；

在對(duì)文檔進(jìn)行編碼的可見層中，每個(gè)神經(jīng)元表示一個(gè)具體文檔，該可見層的神經(jīng)元數(shù)目為文檔集合中的文檔數(shù)；

在隱層中，每個(gè)神經(jīng)元表示一個(gè)具體主題，所述隱層的神經(jīng)元數(shù)目為隱式狄利克雷模型預(yù)設(shè)的主題數(shù)。

在所述步驟S1中，神經(jīng)網(wǎng)絡(luò)中從可見層中的每個(gè)神經(jīng)元到隱層中的每個(gè)神經(jīng)元的突觸的連結(jié)強(qiáng)度設(shè)計(jì)，可具體包括：

從同一個(gè)可見層到隱層的突觸的連結(jié)強(qiáng)度共同地增加一個(gè)相同的預(yù)設(shè)參數(shù)，所述預(yù)設(shè)參數(shù)為正常數(shù)，能夠保證所有突觸強(qiáng)度在訓(xùn)練過程中為正數(shù)，即對(duì)單詞進(jìn)行編碼的可見層維護(hù)一個(gè)標(biāo)量a，對(duì)文檔進(jìn)行編碼的可見層維護(hù)一個(gè)標(biāo)量b，a和b是為了保證所有突觸為正數(shù)引入的修正常數(shù)。

S2、串行地將數(shù)據(jù)集中的每個(gè)單詞和每個(gè)單詞對(duì)應(yīng)的文檔逐一呈現(xiàn)給所述神經(jīng)網(wǎng)絡(luò)，根據(jù)步驟S1中可見層進(jìn)行編碼的方法，表示當(dāng)前單詞的可見層中的神經(jīng)元和表示當(dāng)前文檔的可見層中的神經(jīng)元以其實(shí)時(shí)頻率根據(jù)泊松過程發(fā)放電脈沖，該電脈沖沿著突觸連結(jié)從可見層傳遞至隱層。

可以理解的是，在步驟S2中，每個(gè)單詞呈現(xiàn)t_disp時(shí)間后屏蔽t_mask時(shí)間。如果當(dāng)前時(shí)間t屬于屏蔽期，則所有可見層中的神經(jīng)元都不發(fā)放電脈沖；如果當(dāng)前時(shí)間t觀察到一個(gè)單詞和該單詞對(duì)應(yīng)的文檔，對(duì)應(yīng)的對(duì)這個(gè)單詞進(jìn)行編碼的神經(jīng)元和對(duì)這個(gè)文檔進(jìn)行編碼的神經(jīng)元分別以實(shí)時(shí)頻率λ發(fā)放脈沖，相應(yīng)的或會(huì)被更新。

具體地，或會(huì)被更新的方式，可具體包括：

以對(duì)這個(gè)單詞進(jìn)行編碼的可見層為例，如果該層沒有神經(jīng)元發(fā)放脈沖，那么如果那么保持不變；如果那么為空；相反，如果存在第l個(gè)神經(jīng)元發(fā)放脈沖，那么其中τ為一個(gè)預(yù)設(shè)的常數(shù)。

在具體應(yīng)用中，可見層中每個(gè)神經(jīng)元的實(shí)時(shí)頻率λ為該神經(jīng)元的基準(zhǔn)放電率乘以一個(gè)全局的三角函數(shù)調(diào)諧信號(hào)，即如果當(dāng)前時(shí)間t觀察到一個(gè)單詞l和該單詞對(duì)應(yīng)的文檔d，那么對(duì)單詞l進(jìn)行編碼和對(duì)文檔d進(jìn)行編碼的可見層中的神經(jīng)元的實(shí)時(shí)頻率為：

λ＝λ₀Asin(ωt+φ) (1)

其中，A,ω,φ均為預(yù)設(shè)的常數(shù)，可見層中每個(gè)神經(jīng)元的基準(zhǔn)放電率λ₀在興奮為預(yù)設(shè)常數(shù)，在靜息時(shí)為0。

S3、根據(jù)步驟S2中可見層傳遞電脈沖至隱層的方式，隱層在接收到電脈沖后膜內(nèi)電壓被改變，每個(gè)隱層中的神經(jīng)元根據(jù)改變后的膜內(nèi)電壓計(jì)算其實(shí)時(shí)放電頻率，并根據(jù)該實(shí)時(shí)放電頻率以泊松過程發(fā)放電脈沖，如果在某個(gè)單詞呈現(xiàn)的時(shí)候，隱層中的表示某個(gè)具體主題的神經(jīng)元發(fā)放電脈沖，則表示這個(gè)具體主題新分配給了這個(gè)單詞。

可以理解的是，在步驟S3中，可根據(jù)步驟S2中記錄的可見層的突觸后膜效應(yīng)和的模式，表示主題的隱層中每個(gè)神經(jīng)元計(jì)算當(dāng)前時(shí)間的膜內(nèi)電壓和實(shí)時(shí)放電頻率并更新如果在某個(gè)單詞呈現(xiàn)的時(shí)候，隱層中的表示某個(gè)具體主題的神經(jīng)元發(fā)放電脈沖，則表示這個(gè)具體主題新分配給了這個(gè)單詞。

在具體應(yīng)用中，隱層中每個(gè)神經(jīng)元的實(shí)時(shí)放電頻率為該神經(jīng)元的基準(zhǔn)放電率乘以一個(gè)全局的三角函數(shù)調(diào)諧信號(hào)，即對(duì)主題進(jìn)行編碼的第k個(gè)隱層中的神經(jīng)元的實(shí)時(shí)頻率為：

其中，隱層中每個(gè)神經(jīng)元的基準(zhǔn)放電率與該神經(jīng)元的膜內(nèi)電壓為指數(shù)關(guān)系，A,ω,φ均為預(yù)設(shè)的常數(shù)。

在所述步驟S3中，隱層在接收到電脈沖后膜內(nèi)電壓被改變的方式，可具體包括：

來自每個(gè)突觸的電脈沖的影響是將一個(gè)有限時(shí)長、大小不變的附加電壓疊加在隱層中與該突觸連結(jié)的神經(jīng)元的膜內(nèi)電壓上，所述附加電壓的幅度等于該突觸的連結(jié)強(qiáng)度；來自相同突觸的電脈沖的影響是可更新的，來自不同突觸的電脈沖的影響相互可加；即

第k個(gè)隱神經(jīng)元的膜內(nèi)電壓為：

其中，I為更新注入到這些隱層中的神經(jīng)元的反饋周邊抑制信號(hào)。

S4、根據(jù)步驟S3中隱層發(fā)放電脈沖的方式，更新注入到這些隱層中的神經(jīng)元的反饋周邊抑制信號(hào)I。

在具體應(yīng)用中，所述步驟S4，可具體包括：

如果有隱層中的神經(jīng)元發(fā)放電脈沖，則抑制信號(hào)提高到預(yù)設(shè)最大值I＝A_inh，否則抑制信號(hào)呈指數(shù)衰減：

I←I+(μ_ihn-I)/τ_inh (4)

其中，A_inh為抑制信號(hào)預(yù)設(shè)最大值，為常數(shù)；μ_ihn和τ_inh都是預(yù)設(shè)的常數(shù)。

S5、根據(jù)步驟S2中可見層發(fā)放電脈沖的方式及步驟S3中隱層發(fā)放電脈沖的方式，從一個(gè)可見層中的神經(jīng)元到一個(gè)隱層中的神經(jīng)元的突觸的連結(jié)強(qiáng)度根據(jù)這兩個(gè)神經(jīng)元發(fā)放電脈沖的相對(duì)時(shí)間差以及該突觸當(dāng)前的連結(jié)強(qiáng)度進(jìn)行更新。

可以理解的是，在所述步驟S5中，當(dāng)為非空時(shí)，所有突觸的連結(jié)強(qiáng)度的矩陣和經(jīng)驗(yàn)一階矩以及經(jīng)驗(yàn)二階矩都會(huì)被更新。

在具體應(yīng)用中，所述步驟S5，可具體包括：

如果在隱層中的神經(jīng)元發(fā)放電脈沖時(shí)，一個(gè)可見層中的神經(jīng)元沿著它們之間的突觸連結(jié)有電壓影響在這個(gè)隱層中的神經(jīng)元，那么這個(gè)突觸的連結(jié)強(qiáng)度會(huì)增加，否則這個(gè)突觸的連結(jié)強(qiáng)度會(huì)減少；

其中，這個(gè)突觸的連結(jié)強(qiáng)度的增加量為一個(gè)方向項(xiàng)乘以步長項(xiàng)；其中，所述方向項(xiàng)取決于這兩個(gè)神經(jīng)元發(fā)放電脈沖的相對(duì)時(shí)間差以及該突觸當(dāng)前的連結(jié)強(qiáng)度；所述步長項(xiàng)由該突觸的經(jīng)驗(yàn)一階矩和經(jīng)驗(yàn)二階矩進(jìn)行估計(jì)，該突觸的經(jīng)驗(yàn)一階矩和經(jīng)驗(yàn)二階矩用于估計(jì)相應(yīng)的貝塔分布的有效樣本量，所述步長項(xiàng)為估計(jì)得到的有效樣本量的倒數(shù)；

這個(gè)突觸的連結(jié)強(qiáng)度的減少量為一個(gè)單位的步長項(xiàng)，該步長項(xiàng)的計(jì)算和上述增加量中的計(jì)算一致。

具體地，突觸的連結(jié)強(qiáng)度的更新方法是：

當(dāng)詞典中有V個(gè)單詞，對(duì)于l＝1,...,V，如果那么

否則

其中：

當(dāng)一共有K個(gè)主題，對(duì)于k＝1,...,K，如果那么

否則

其中:

具體地，經(jīng)驗(yàn)一階矩矩陣和經(jīng)驗(yàn)二階矩矩陣的更新方法是：

當(dāng)詞典中有V個(gè)單詞，對(duì)于l＝1,...,V：

當(dāng)一共有K個(gè)主題，對(duì)于k＝1,...,K：

S6、S3至S5是并行執(zhí)行的，執(zhí)行上述步驟S2至S5處理完數(shù)據(jù)集中所有文本為一次迭代，重復(fù)上述步驟S2至S5，直至迭代次數(shù)達(dá)到預(yù)設(shè)值時(shí)，停止迭代并從神經(jīng)網(wǎng)絡(luò)的參數(shù)中提取隱式狄利克雷模型的參數(shù)。

在所述步驟S6中，從神經(jīng)網(wǎng)絡(luò)的參數(shù)中提取隱式狄利克雷模型的參數(shù)，可具體包括圖中未包括的步驟P1和P2：

P1、從對(duì)單詞進(jìn)行編碼的可見層到隱層的突觸的連結(jié)強(qiáng)度中提取主題分布從對(duì)文檔進(jìn)行編碼的可見層到隱層的突觸的連結(jié)強(qiáng)度中提取主題混合比例其中，表示第l個(gè)單詞在第k個(gè)主題中的比重，表示第k個(gè)主題在第d個(gè)文檔中的比重；

其中：

在步驟P1提取出和還應(yīng)將提取出的和歸一化。

P2、從對(duì)單詞進(jìn)行編碼的可見層到隱層的突觸的經(jīng)驗(yàn)一階矩和二階矩中提取估計(jì)的單詞-主題計(jì)數(shù)矩陣c_·,k，從對(duì)文檔進(jìn)行編碼的可見層到隱層的突觸的經(jīng)驗(yàn)一階矩和二階矩中提取估計(jì)的文檔-主題計(jì)數(shù)矩陣c_·,d。

其中，c_·,k表示估計(jì)出的分配給主題k的單詞總數(shù)，c_·,d表示估計(jì)出的文檔d的單詞總數(shù)。

在使用本實(shí)施例所述方法分析加州大學(xué)歐文分校的機(jī)器學(xué)習(xí)數(shù)據(jù)庫里的NIPS數(shù)據(jù)集時(shí)，在選擇參數(shù)t_disp＝t_mask＝τ＝10，A＝1，ω＝100π，φ＝0，a＝logV，b＝logK，λ₀＝1000，A_inh＝100，μ_inh＝6，τ_inh＝4后，網(wǎng)絡(luò)在訓(xùn)練過程中在測(cè)試數(shù)據(jù)集上的困惑度變化曲線和經(jīng)典的坍縮吉布斯采樣方法相近。在取200個(gè)主題的情況下經(jīng)過400輪迭代后，我們的方法的困惑度分別達(dá)到1969和1587。接近經(jīng)典方法的結(jié)果1905和1503。我們的方法平均每個(gè)單詞消耗大約10個(gè)電脈沖。

本實(shí)施例的隱式狄利克雷模型的事件驅(qū)動(dòng)的坍縮吉布斯采樣方法，使用脈沖神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)中的隨機(jī)脈沖發(fā)放和突觸后膜電壓效應(yīng)做隨機(jī)概率推理；基于事件驅(qū)動(dòng)的突觸更新方法記錄隨機(jī)概率推理算式中的參數(shù)；所有神經(jīng)元和突觸并行地更新自身的狀態(tài)；基于坍縮吉布斯采樣的訓(xùn)練思想保證最后訓(xùn)練隱式狄利克雷模型的效果；網(wǎng)絡(luò)的訓(xùn)練結(jié)果能跟基于經(jīng)典坍縮吉布斯采樣方法的訓(xùn)練結(jié)果進(jìn)行比較。實(shí)驗(yàn)證明，該方法能夠達(dá)到以上的目的。

本實(shí)施例的隱式狄利克雷模型的事件驅(qū)動(dòng)的坍縮吉布斯采樣方法，可通過處理器實(shí)現(xiàn)，通過使用脈沖神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)和坍縮吉布斯采樣的思想，能夠?qū)﹄[式狄利克雷模型的參數(shù)進(jìn)行有效訓(xùn)練，保證隱式狄利克雷模型的訓(xùn)練效果，并能用于類腦芯片上，能耗低；本發(fā)明通過使用可自我調(diào)節(jié)的突觸更新方法，在基本不損失推理精度的同時(shí)，解決了以往類似網(wǎng)絡(luò)中突觸連結(jié)數(shù)呈指數(shù)空間復(fù)雜度問題，降低了網(wǎng)絡(luò)的空間復(fù)雜度。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本申請(qǐng)的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本申請(qǐng)可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本申請(qǐng)可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本申請(qǐng)是參照根據(jù)本申請(qǐng)實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

需要說明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。術(shù)語“上”、“下”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡(jiǎn)化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對(duì)本發(fā)明的限制。除非另有明確的規(guī)定和限定，術(shù)語“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機(jī)械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個(gè)元件內(nèi)部的連通。對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以根據(jù)具體情況理解上述術(shù)語在本發(fā)明中的具體含義。

本發(fā)明的說明書中，說明了大量具體細(xì)節(jié)。然而能夠理解的是，本發(fā)明的實(shí)施例可以在沒有這些具體細(xì)節(jié)的情況下實(shí)踐。在一些實(shí)例中，并未詳細(xì)示出公知的方法、結(jié)構(gòu)和技術(shù)，以便不模糊對(duì)本說明書的理解。類似地，應(yīng)當(dāng)理解，為了精簡(jiǎn)本發(fā)明公開并幫助理解各個(gè)發(fā)明方面中的一個(gè)或多個(gè)，在上面對(duì)本發(fā)明的示例性實(shí)施例的描述中，本發(fā)明的各個(gè)特征有時(shí)被一起分組到單個(gè)實(shí)施例、圖、或者對(duì)其的描述中。然而，并不應(yīng)將該公開的方法解釋呈反映如下意圖：即所要求保護(hù)的本發(fā)明要求比在每個(gè)權(quán)利要求中所明確記載的特征更多的特征。更確切地說，如權(quán)利要求書所反映的那樣，發(fā)明方面在于少于前面公開的單個(gè)實(shí)施例的所有特征。因此，遵循具體實(shí)施方式的權(quán)利要求書由此明確地并入該具體實(shí)施方式，其中每個(gè)權(quán)利要求本身都作為本發(fā)明的單獨(dú)實(shí)施例。需要說明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。本發(fā)明并不局限于任何單一的方面，也不局限于任何單一的實(shí)施例，也不局限于這些方面和/或?qū)嵤├娜我饨M合和/或置換。而且，可以單獨(dú)使用本發(fā)明的每個(gè)方面和/或?qū)嵤├蛘吲c一個(gè)或更多其他方面和/或其實(shí)施例結(jié)合使用。

最后應(yīng)說明的是：以上各實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對(duì)其限制；盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分或者全部技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求和說明書的范圍當(dāng)中。