專利名稱：用于生物啟發(fā)型網(wǎng)絡(luò)的通信和突觸訓練方法及硬件的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的某些實施例總體上涉及神經(jīng)系統(tǒng)工程，并且更具體地，涉及一種用于在生物啟發(fā)型網(wǎng)絡(luò)中訓練突觸的方法及裝置。
背景技術(shù)：
在生物啟發(fā)型計算設(shè)備中，在計算節(jié)點(神經(jīng)元)之間的通信借助鋒電位(spike)的速率和相對時序來進行。神經(jīng)網(wǎng)絡(luò)的功能可以由神經(jīng)元到神經(jīng)元的連接的強度來表示，該神經(jīng)元到神經(jīng)元的連接稱為突觸。這些強度或者“突觸權(quán)重”可以不斷地由網(wǎng)絡(luò)根據(jù)在突觸前鋒電位發(fā)放與突觸后鋒電位發(fā)放之間的相對時序來調(diào)整。理想情況下，實現(xiàn)用于突觸訓練的電路，以使得突觸連接利用最小可能數(shù)量的器件。這是因為每個神經(jīng)元的突觸數(shù)量通常在10，000左右，導致對于具有I百萬個神經(jīng)元的典型生物網(wǎng)絡(luò)，突觸總數(shù)量達到100億個。在生物啟發(fā)型網(wǎng)絡(luò)的領(lǐng)域中已經(jīng)提出了由脈沖寬度調(diào)制(PWM)信號訓練的每突觸一個器件的概念。然而，需要大量通道用于在每一對神經(jīng)元之間進行通信。另外，在權(quán)重訓練事件以外，突觸權(quán)重可能被非故意地改變。于是這些改變需要通過施加相反極性的訓練PWM信號來取消。然而，這使得系統(tǒng)的實現(xiàn)復雜化，并導致高電流和功耗。

發(fā)明內(nèi)容
本發(fā)明的某些實施例提供了一種電路，用于對接神經(jīng)系統(tǒng)中兩個或更多個神經(jīng)元電路。電路總體上包括憶阻器，其連接在第一神經(jīng)元電路與第二神經(jīng)元電路之間；突觸前接口電路，其將所述第一神經(jīng)元電路與所述憶阻器相連接；及突觸后接口電路，其將所述憶阻器與所述第二神經(jīng)元電路相連接。所述突觸前接口電路和突觸后接口電路可以包括高阻抗終端。本發(fā)明的某些實施例提供了一種方法，用于實現(xiàn)用以對接神經(jīng)系統(tǒng)中兩個或更多個神經(jīng)元電路的電路。所述方法總體上包括在第一神經(jīng)元電路與第二神經(jīng)元電路之間連接憶阻器，使用突觸前接口電路將所述第一神經(jīng)元電路與所述憶阻器相連接，及使用突觸后接口電路將所述憶阻器與所述第二神經(jīng)元電路相連接。所述突觸前接口電路和突觸后接口電路可以包括高阻抗終端。本發(fā)明的某些實施例提供了一種裝置，用于實現(xiàn)用以對接神經(jīng)系統(tǒng)中兩個或更多個神經(jīng)元電路的電路。所述裝置總體上包括用于在第一神經(jīng)元電路與第二神經(jīng)元電路之間連接憶阻器的模塊，用于使用突觸前接口電路將所述第一神經(jīng)元電路與所述憶阻器相連接的模塊，及用于使用突觸后接口電路將所述憶阻器與所述第二神經(jīng)元電路相連接的模塊。所述突觸前接口電路和突觸后接口電路可以包括高阻抗終端。


作為可以詳細理解本發(fā)明的上述特征的方式，參考實施例可以獲得在上面簡要概述的更具體的說明，在附圖中示出了其中一些實施例。然而，應(yīng)注意，附圖僅僅示出了本發(fā)明的某些典型的實施例，從而不應(yīng)被認為是限制其范圍，因為本說明書允許其他等效的實施例。圖I示出了根據(jù)本發(fā)明的某些實施例的示例性神經(jīng)系統(tǒng)。圖2示出了根據(jù)本發(fā)明的某些實施例的具有突觸和訓練電路的示例性神經(jīng)元電路。圖3示出了根據(jù)本發(fā)明的某些實施例的突觸的示例性原理圖。圖4示出了根據(jù)本發(fā)明的某些實施例的作為突觸前鋒電位和突觸后鋒電位的相對時序的函數(shù)的突觸權(quán)重變化的示例性曲線圖。
圖5A-5B示出了根據(jù)本發(fā)明的某些實施例的突觸訓練實現(xiàn)方式的實例。圖6A-6C示出了根據(jù)本發(fā)明的某些實施例的可以用于圖5的突觸訓練實現(xiàn)方式的示例性脈沖寬度調(diào)制(PWM)產(chǎn)生器。圖7示出了根據(jù)本發(fā)明的某些實施例的用于神經(jīng)元到神經(jīng)元的通信的示例性通道。圖8A-8B示出了根據(jù)本發(fā)明的某些實施例的突觸訓練實現(xiàn)方式的另一個實例。圖9A-9B示出了根據(jù)本發(fā)明的某些實施例的可以用于圖8的突觸訓練實現(xiàn)方式的單計數(shù)器PWM產(chǎn)生器的實例。圖10A-10B示出了根據(jù)本發(fā)明的某些實施例的可以用于圖8的突觸訓練實現(xiàn)方式的雙計數(shù)器PWM產(chǎn)生器的實例。圖11示出了根據(jù)本發(fā)明的某些實施例的用于實現(xiàn)對接神經(jīng)系統(tǒng)中兩個或更多個神經(jīng)元電路的電路的示例性操作。圖IlA示出了能夠執(zhí)行圖11中所示操作的示例性組件。
具體實施例方式以下參考附圖更充分地說明本發(fā)明的多個實施例。然而，本發(fā)明可以以許多不同形式來體現(xiàn)，并且不應(yīng)理解為局限于本發(fā)明通篇中提出的任何特定結(jié)構(gòu)或功能。相反，提供這些實施例以使得本發(fā)明全面完整，并且將向本領(lǐng)域技術(shù)人員充分地傳達本發(fā)明的范圍。基于本文的教導，本領(lǐng)域技術(shù)人員應(yīng)意識到本發(fā)明的范圍旨在覆蓋本文公開的發(fā)明的任何實施例，不論是該實施例是獨立于本發(fā)明中任何其它實施例而實現(xiàn)的還是與之相結(jié)合而實現(xiàn)的。例如，使用本文闡述的任意數(shù)量的實施例可以實現(xiàn)裝置或?qū)嵤┓椒āＡ硗?，本發(fā)明的范圍旨在覆蓋使用作為本文闡述的本發(fā)明的多個實施例的補充或替代的其它結(jié)構(gòu)、功能或結(jié)構(gòu)與功能實現(xiàn)的此類裝置或方法。應(yīng)理解，本文公開的發(fā)明的任何實施例都可以由權(quán)利要求的一個或多個要素來體現(xiàn)。本文使用詞語“示例性的”表示“充當實例、例子或舉例說明”。本文中被描述為“示例性的”任何實施例都并非必然解釋為對于其它實施例而言是優(yōu)選的或有優(yōu)勢的。盡管本文描述了特定實施例，但這些實施例的許多改變和置換也屬于本發(fā)明的范圍內(nèi)。盡管提及了優(yōu)選實施例的一些益處和優(yōu)點，但本發(fā)明的范圍并非旨在局限于特定益處、使用或目的。相反，本發(fā)明的實施例旨在廣泛應(yīng)用于不同技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)和協(xié)議，其中一些借助于實例而在附圖和針對優(yōu)選實施例的以下描述中進行說明。該詳細描述和附圖對本發(fā)明僅僅是說明性的而非限制性的，本發(fā)明的范圍由所附權(quán)利要求及其等價物來定義。示例件神經(jīng)系統(tǒng)圖I示出了根據(jù)本發(fā)明的某些實施例的具有多級神經(jīng)元的示例性神經(jīng)系統(tǒng)100。神經(jīng)系統(tǒng)100可以包括一級神經(jīng)元102，其通過突觸連接網(wǎng)絡(luò)104連接至另一級神經(jīng)元106。為了簡明，圖I中僅示出了兩級神經(jīng)元，盡管在典型神經(jīng)系統(tǒng)中可以存在更多級的神經(jīng)元。如圖I所示，級102中的每一個神經(jīng)元都可以接收輸入信號108，其可以由前一級的多個神經(jīng)元(圖I中未示出)產(chǎn)生。信號108可以表示級102 的神經(jīng)元的輸入電流?？梢栽谏窠?jīng)元膜上積蓄這個電流以對膜電位進行充電。當膜電位達到其閾值時，神經(jīng)元可以發(fā)放(fire)并輸出要傳遞到下一級神經(jīng)元(例如，級106)的鋒電位(spike)。如圖I所示，可以通過突觸連接網(wǎng)絡(luò)(或者簡稱為“突觸”)104來實現(xiàn)鋒電位從一級神經(jīng)元到另一級神經(jīng)元的傳遞。突觸104可以從級102的神經(jīng)元接收輸出信號(即，鋒電
位)，根據(jù)可調(diào)節(jié)的突觸權(quán)重wf’i+1)、......、w^+1|(其中P是在級102與106的神經(jīng)元之間
的突觸連接的總數(shù))來對那些信號進行縮放，并將縮放后的信號組合為級106中每一個神經(jīng)兀的輸入信號。級106中的每一個神經(jīng)兀都可以根據(jù)相應(yīng)的組合輸入信號產(chǎn)生輸出鋒電位110。隨后可以使用另一突觸連接網(wǎng)絡(luò)(圖I中未示出)將輸出鋒電位110傳遞到另一級神經(jīng)元。神經(jīng)系統(tǒng)100可以由電路來模擬并可以用于大規(guī)模應(yīng)用中，諸如模式識別、機器學習和電機控制之類。神經(jīng)系統(tǒng)100中的每一個神經(jīng)元都可以實現(xiàn)為神經(jīng)元電路。被充電至閾值從而發(fā)起輸出鋒電位的神經(jīng)元膜可以實現(xiàn)為電容器，其對流過它的電流進行積分。本發(fā)明的某些實施例可以去掉作為電流積分器件的電容器，并在其位置處使用憶阻器元件。這個方案可以應(yīng)用于神經(jīng)元電路中以及將大電容器用作電流積分器的各種其他應(yīng)用中。使用納米特征尺寸的憶阻器，可以充分減小神經(jīng)元電路的面積，這可以使得超大規(guī)模神經(jīng)系統(tǒng)硬件實現(xiàn)方式的實施切實可行。本發(fā)明中提出了每個突觸連接使用相對少量的器件(例如，有可能僅有一個器件)。突觸器件例如可以是納米特征尺寸的憶阻器，可以通過施加橫跨該憶阻器的電壓來調(diào)節(jié)該憶阻器的電阻。憶阻器于是可以用于在一對神經(jīng)元之間傳送并縮放鋒電位。在鋒電位傳輸期間不希望突觸器件(例如，憶阻器)改變其權(quán)重(例如，憶阻器電阻)。本發(fā)明通過將鋒電位傳輸階段與可在其間調(diào)整突觸權(quán)重的突觸訓練階段有效地分開，來解決這個問題。此外，根據(jù)某些方案，可以不對稱地訓練突觸。例如，可以以相比于減小權(quán)重的速率更高的速率來增大突觸權(quán)重。本發(fā)明提出了一種有效的方法來實現(xiàn)這個訓練不對稱性，同時實現(xiàn)了低電流和功耗。所提出的突觸訓練電路可以由所有輸入或輸出連接共用，而僅有一個數(shù)字實現(xiàn)的脈沖寬度調(diào)制(PWM)產(chǎn)生器可以用于產(chǎn)生權(quán)重訓練脈沖。僅有慢時鐘信號的三個階段可以用于神經(jīng)元到神經(jīng)元的通信和突觸訓練。本發(fā)明的某些實施例還支持產(chǎn)生用于建立突觸訓練事件的特定信號。借助這些信號，突觸訓練電路可以在訓練事件之外處于高阻抗狀態(tài)，從而突觸電阻(即，突觸權(quán)重)在權(quán)重訓練過程之外可以不會受到影響。因此，高阻抗終端可以有助于選擇性地改變憶阻器電阻。
示例性神經(jīng)元電路和突觸的實現(xiàn)方式圖2示出了根據(jù)本發(fā)明的某些實施例的神經(jīng)元電路202、與神經(jīng)元電路202以及突觸訓練電路206 - 208相連的突觸204的示例性概念方框圖200。突觸204可以對應(yīng)于圖I的突觸網(wǎng)絡(luò)104的一部分，并且神經(jīng)元電路202可以是級106的神經(jīng)元中的一個。突觸電路204可以提供以下操作從突觸前神經(jīng)元(例如，圖I的級102的神經(jīng)元)接收鋒電位，為每一個突觸連接產(chǎn)生適當縮放的電流，合并縮放后的電流作為神經(jīng)元電路202的輸入電流210，及存儲突觸權(quán)重。如圖2所示，突觸訓練電路可以在訓練電路206與神經(jīng)元輸出電路208之間分割。電路208可以包括脈沖寬度調(diào)制(PWM)產(chǎn)生器和開關(guān)，其實現(xiàn)了對突觸權(quán)重的訓練。神經(jīng)元電路202中的電流214可以對積分元件(B卩，U-電路216)的電位進行充電，其中，積分元件模擬生物神經(jīng)元的膜。如前所述，可以基于納米特征尺寸的憶阻器來實 現(xiàn)積分元件。當積分元件的電位達到規(guī)定閾值時，可以激活比較器218以產(chǎn)生鋒電位220。比較器輸出信號220例如可以控制神經(jīng)元電路202的多個開關(guān)，以便重置積分元件的電位。另外，如圖2所示，鋒電位220可以由電路208用于為訓練電路206產(chǎn)生多個權(quán)重訓練信號222，并且可以將鋒電位220發(fā)送至另一級神經(jīng)元(圖2中未示出)。在本發(fā)明的一個實施例中，可以通過橫跨憶阻器元件施加固定電壓來產(chǎn)生并縮放每一個突觸204中的電流，如圖3中為神經(jīng)元到神經(jīng)元(突觸)連接300所示的。突觸連接300可以包括憶阻器元件302，其連接在突觸前接口電路304的基于N溝道場效應(yīng)晶體管(NFET)的開關(guān)Ml與突觸后接口電路306的基于二極管方式連接的P溝道場效應(yīng)晶體管(PFET)的電流傳感器M5之間。因此，單個憶阻器元件302實際上可以代表在一對神經(jīng)元電路之間的突觸連接。感測的突觸電流308可以由晶體管M6鏡像為突觸后v_電路(例如，圖2的v_電路212)的輸入電流310 (例如，圖2中所示的神經(jīng)元電路202的輸入電流210)。忽略橫跨開關(guān)Ml的小電壓降，可以如下給出突觸電流308 Is = —( I )
5 R其中，Vs是正電源電壓，Vsg5是晶體管M5的源極一柵極電壓，并且R是憶阻器302的電阻(憶阻器電阻)，其可以在最小值與最大值之間(即，在Rmin與Rmax之間)變化。電壓Vse5可以非線性地取決于通過晶體管M5的電流。然而，該電壓可以被線性地近似為如下Vsg5^ |VTP|+Is/gm5 (2)其中，Vtp表示PFET閾值電壓，并且gm5是晶體管M5的跨導，其可以是常數(shù)。將等式(2)帶入等式(I)中，對其求解突觸電流308，可以獲得以下
Fe 一 VtoI =———1A-(3)
/“l(fā)/gm5由等式(3)，Is調(diào)節(jié)范圍可以定義為=R^x+1/SmS⑷
^s,mm 及 min + I, Sm5然而，圖3中所示的突觸電流產(chǎn)生器有兩個主要缺點。首先，由于橫跨突觸憶阻器302施加的電壓，憶阻器電阻R可以在鋒電位發(fā)送/接收期間發(fā)生改變。為了避免此情況，可以將電源電壓\選擇得足夠低，以確保橫跨憶阻器303的電壓降Vs-VseJS于憶阻器閾值電壓Vlmem。其次，突觸電流308可以比突觸后神經(jīng)元的V-電路所使用的電流大得多。典型的憶阻器電阻可以在IkQ到20ΜΩ之間變化。如果Vs=L 2V且Vse5=O. 6V，則突觸電流308就可以在每個鋒電位30nA到O. 6mA之間變化，這取決于突觸權(quán)重。另一方面,到突觸后神經(jīng)元的輸入電流310的典型值可以小于ΙΟΟρΑ。因此，在晶體管M5與M6之間的電流鏡像比會至少是6X106，這對于硬件實現(xiàn)方式來說是不現(xiàn)實 的。最好使用具有非常大Rmin電阻的憶阻器，以避免產(chǎn)生大突觸電流和使用大鏡像比。然而，這個方案可以減小等式(4)所定義的Is調(diào)節(jié)范圍。示例性突觸權(quán)重的調(diào)節(jié)圖4示出了根據(jù)本發(fā)明的某些實施例的作為突觸前鋒電位和突觸后鋒電位的相對時序的函數(shù)的突觸權(quán)重變化(即，標準化激發(fā)突觸后電位(EPSP ))的示例性曲線圖400。如果突觸前神經(jīng)元在突觸后神經(jīng)元之前發(fā)放，則就可以增大相應(yīng)的突觸權(quán)重，如圖400的402部分中所示的。這個權(quán)重增大可以稱為突觸的長時程增強(LTP)。相反的發(fā)放順序可以減小突觸權(quán)重，如圖400的404部分中所示的，導致突觸的長時程抑制(LTD)?？梢杂蓤D402部分觀察到，LTP的量可以作為在突觸前鋒電位時間與突觸后鋒電位時間之間的差的函數(shù)，以與典型神經(jīng)元膜時間常數(shù)相同數(shù)量級的時間常數(shù)大致以指數(shù)減小。這可以確保只增強在神經(jīng)元對其輸入進行積分的時間范圍內(nèi)到達的那些突觸前鋒電位，進一步強化了因果關(guān)系的要求。如圖4所示，突觸權(quán)重訓練曲線可以是不對稱的。由圖402部分表示的LTP權(quán)重增加對于短鋒電位間間隔可以更大，但其與LTD權(quán)重增加(例如，圖4中由圖404部分所示的,在150ms內(nèi)衰減)相比會衰減更快(例如,在40ms內(nèi)衰減)。當突觸前鋒電位相對于突觸后動作電位在時間上隨機出現(xiàn)時，在因果關(guān)系窗口之外的LTD的優(yōu)勢可以導致突觸的減弱。因此，這些隨機事件不會一致地對喚起突觸起作用。示例件突觸訓練電路和PWM產(chǎn)牛器一單個慢時鐘信號本發(fā)明的某些實施例提供了突觸權(quán)重訓練電路的數(shù)字實現(xiàn)方式，其中，計數(shù)器可以用于以時鐘周期的增量來測量在突觸前鋒電位與突觸后鋒電位之間的時間間隔。可以使用兩個時鐘慢時鐘和快時鐘。慢時鐘的脈沖可以表示鋒電位,也可以用作突觸訓練窗口?？梢砸月龝r鐘周期的倍數(shù)來測量在突觸前鋒電位與突觸后鋒電位之間的時間?？鞎r鐘可以用于產(chǎn)生脈沖寬度調(diào)制(PWM)訓練信號，其可以在慢時鐘脈沖范圍內(nèi)。每一個PWM脈沖的寬度都可以對應(yīng)于在兩個連續(xù)的突觸前鋒電位與突觸后鋒電位之間的時間差。如果在鋒電位之間的時間間隔較大，那么脈沖寬度就可以較小，并且反之亦然。PWM脈沖的寬度可以表示可以在其期間調(diào)整(訓練)突觸權(quán)重的窗口。慢時鐘周期可以等于或者僅略小于最短鋒電位持續(xù)時間和最短鋒電位間間隔。慢時鐘頻率可以對應(yīng)于最大發(fā)放速率的奈奎斯特速率。圖2的神經(jīng)元電路202例如可以產(chǎn)生具有O. 5ms最短鋒電位間間隔的O. 5ms寬的鋒電位。因此，適合的慢時鐘頻率可以等于2kHz。例如，為了使用2kHz時鐘在8ms間隔上實現(xiàn)最高分辨率，為脈沖寬度調(diào)制器使用四比特計數(shù)器就足夠了，該調(diào)制器可以被提供具有例如32kHz的快時鐘頻率的時鐘。
本發(fā)明中提出的突觸訓練電路可以由連接至同一神經(jīng)元輸入或連接至同一神經(jīng)元輸出的所有突觸共用。在突觸前神經(jīng)元與突觸后神經(jīng)元之間的通信可以在慢時鐘的兩個階段上進行。在時鐘高階段中，僅在神經(jīng)元之間發(fā)送并接收鋒電位。在時鐘低階段中，可以發(fā)送訓練使能(TE)信號或者PWM訓練信號。這些信號可以與鋒電位信號從不重疊。通過閉合及打開在相應(yīng)突觸憶阻器兩側(cè)的適當開關(guān)，可以在電壓域中進行在神經(jīng)元之間的通信。圖5示出了根據(jù)本發(fā)明的某些實施例的具有每個突觸一個憶阻器的示例性突觸接口 500?？梢杂^察到，可以將一個突觸連接實現(xiàn)為單個憶阻器元件502。如圖5所示，突觸前訓練電路504可以由連接至同一突觸后神經(jīng)元的所有突觸共用。同樣，突觸后訓練電路506可以由連接至同一突觸前神經(jīng)元的所有突觸共用。晶體管M1-M4可以表示開關(guān)，并且晶體管M5-M6可以表示突觸電流傳感器。另外，開關(guān)S可以由慢時鐘信號CLK控制。在鋒電位發(fā)送和接收期間，開關(guān)Ml和S可以接通，開關(guān)M2-M4可以斷開，并且晶體管M5可以自偏置以接納流過憶阻器502的突觸電流508。在一對神經(jīng)元電路之間發(fā)送/接收的鋒電位可以是突觸前鋒電位，其在圖5中示為脈沖512。這個突觸前鋒電位發(fā)放事件還·由電路510示出，其表示電路500與這個具體事件相關(guān)的部分。橫跨憶阻器502的電壓降Vi-Vess可以低于憶阻器閾值電壓以致于憶阻器電阻在這個事件期間不會改變。流過晶體管M5的電流可以與突觸電流508成正比，并可以被鏡像至突觸后神經(jīng)元的輸入電流Iin 中。緊接著鋒電位512之后，可以由突觸前神經(jīng)元在同一時鐘周期的時鐘低階段上產(chǎn)生訓練使能(TE)脈沖514，并且可以切斷開關(guān)S。如果有施加到突觸后神經(jīng)元的開關(guān)M3的PWM訓練信號，則TE脈沖514就可以接通開關(guān)M2。突觸前TE脈沖514還可以重啟突觸前PWM產(chǎn)生器，其PWM脈沖516在時鐘低階段中出現(xiàn)在開關(guān)Ml的柵極處，如圖5所示。當突觸后神經(jīng)元進行鋒電位發(fā)放時(例如，由脈沖518表示的)，這個神經(jīng)元可以在下一個時鐘低階段中產(chǎn)生TE脈沖520，如圖5所示。如果突觸前神經(jīng)元仍在產(chǎn)生其PWM信號(例如，脈沖516)，則突觸后TE脈沖520就可以與其中一個PWM脈沖516對準。這個突觸權(quán)重-訓練事件由電路522示出，電路522表示電路500與這個特定事件相關(guān)的部分。在與TE脈沖520對準的其中一個突觸前PWM脈沖516的持續(xù)時間中，開關(guān)Ml和M4可以同時接通。電路522中的所有其它開關(guān)可以斷開。橫跨憶阻器502的電壓可以約為VDDH>VT，M，其可以表示系統(tǒng)500中的最高電源電壓。于是，突觸電流508可以在對準的PWM脈沖516期間在電路522中示出的方向上流過憶阻器502，使得憶阻器電阻增大，這可以導致突觸連接的LTP(即，可以增大突觸權(quán)重)。另夕卜，突觸后TE脈沖520可以重啟突觸后PWM產(chǎn)生器，其PWM脈沖524可以在時鐘低階段中出現(xiàn)在M3開關(guān)的柵極處，如圖5所示。突觸前和突觸后PWM產(chǎn)生器可以對應(yīng)于同一裝置，并可以驅(qū)動同一神經(jīng)元的Ml和M3開關(guān)。當突觸前神經(jīng)元進行鋒電位發(fā)放時(例如，由脈沖526表示的)，這個神經(jīng)元可以在下一個時鐘低階段中產(chǎn)生TE脈沖528，如圖5所示。如果突觸后神經(jīng)元仍在產(chǎn)生其PWM信號(例如，脈沖524)，則突觸前TE脈沖528就可以與其中一個PWM脈沖524對準。這個訓練事件在圖5中由電路530示出，電路530表示電路500與這個特定事件相關(guān)的部分。在與TE脈沖528對準的其中一個突觸后PWM脈沖524的持續(xù)時間中，開關(guān)M2和M3可以同時接通。電路530中的所有其它開關(guān)可以斷開。
橫跨憶阻器502的電壓可以約為VDDM>VT，mem。于是，突觸電流508可以在對準的PWM脈沖524期間在電路530中示出的方向上流過憶阻器502，使得憶阻器電阻減小，這可以導致突觸連接的LTD (即，可以減小突觸權(quán)重)。為了實現(xiàn)在相同鋒電位間間隔中抑制相對于增強具有較低程度，可以將電源電壓Vddm選擇為低于電源電壓VDDH。如果突觸前鋒電位與突觸后鋒電位對準，則突觸前和突觸后訓練電路的TE信號也可以對準，這可以同時接通開關(guān)M2和M4。可以斷開所有其它開關(guān)。橫跨憶阻器的電壓降于是可以等于VDDH-VDDM。在此情況下，通過選取VDDH-VDDM>VT，_，可以施加輕微的增強，或者，如果選取vDDH-vDDM〈\_，就可以不改變憶阻器電阻。 圖6示出了根據(jù)本發(fā)明的某些實施例的可以用于為圖5的神經(jīng)元到神經(jīng)元接口產(chǎn)生訓練信號的示例性脈沖寬度調(diào)制(PWM)產(chǎn)生器600。每個神經(jīng)元電路可以存在一個PWM產(chǎn)生器600，并且例如，其可以在圖2中所示的神經(jīng)元輸出電路208中實現(xiàn)。來自神經(jīng)元電路202的比較器218的輸出信號220可以表示PWM產(chǎn)生器600的輸入信號，如圖6所示的。PWM產(chǎn)生器600的實現(xiàn)方式是全數(shù)字式的，并基于N-除法器602、軸突(axonal)延遲電路604和脈沖吞咽器(swallower) 606,如圖6所示的。參數(shù)N可以等于快時鐘頻率(B卩，CLKXN頻率)與慢時鐘頻率(B卩，CLK頻率)的比。N-除法器602可以由信號608來提供時鐘，信號608表示每N個快周期吞咽一個脈沖的快時鐘(S卩，每個慢時鐘周期吞咽一次)，如圖6中用于信號608的時序圖所示的。不使用脈沖吞咽器606但具有適當?shù)闹刂玫那闆r下，N-除法器輸出脈沖610可以與慢時鐘脈沖對準。然而，通過使用脈沖吞咽器606，只有N-除法器輸出信號610的第一個脈沖SlO1與慢時鐘信號CLKB的脈沖63(^對準，CLKB表示反相的慢時鐘信號CLK。如圖6所示，N-除法器輸出信號610的第二個脈沖6102的出現(xiàn)可以比慢時鐘CLKB的脈沖6302晚一個快時鐘周期(圖6中標記為632的快時鐘周期)，N-除法器輸出信號610的第三個脈沖6103的出現(xiàn)可以比慢時鐘CLKB的脈沖6303晚兩個快時鐘周期(圖6中標記為634的快時鐘周期)，并且以此類推。在N-除法器輸出610與慢時鐘CLKB信號之間的邏輯“與”(AND)運算612可以導致產(chǎn)生PWM訓練信號614?？梢酝ㄟ^開啟時鐘門608并由TE信號616將N-除法器602重置為O來使能N-除法器602的操作，如圖6的時序圖中當TE信號等于邏輯“一”時的事件622所示的。除法器602可以計數(shù)快時鐘周期，直到達到結(jié)束狀態(tài)或者直到產(chǎn)生另一個TE信號(例如，重置事件650的TE脈沖640)。D觸發(fā)器(flip-flop) 618可以感測N-除法器602的最后狀態(tài)。圖6中的其它D觸發(fā)器可以用于調(diào)節(jié)鋒電位(SP)脈沖620和TE脈沖616，以使得它們分別僅占用慢時鐘高階段和慢時鐘低階段。示例件突觸訓練電路-多個時鐘階段本發(fā)明的某些實施例提供了圖2中所示的突觸權(quán)重訓練電路206-208的數(shù)字實現(xiàn)方式，其中，慢時鐘可以包括多于一個的階段。會需要多個慢時鐘階段，以避免當針對LTD而激活連接到同一突觸后神經(jīng)元的兩個突觸前神經(jīng)元中的一個突觸前神經(jīng)元，且另一個突觸前神經(jīng)元由其LTP PWM訓練信號激活時，在這兩個突觸前神經(jīng)元之間的電流。另外，該多個慢時鐘階段可以避免當針對LTP而激活連接到同一突觸前神經(jīng)元的兩個突觸后神經(jīng)元中的一個突觸后神經(jīng)元，且另一個突觸后神經(jīng)元由其LTD PWM訓練信號激活時，在這兩個突觸后神經(jīng)元之間的電流。此外，該多個慢時鐘階段可以更好地避免在鋒電位接收期間突觸憶阻器電阻的變化。在本發(fā)明的一個實施例中，慢時鐘可以包括三個階段(B卩，CLKl、CLK2和CLK3階段)，其定義了用于在神經(jīng)元之間的通信的通道。可以以慢時鐘周期的倍數(shù)來測量在突觸前鋒電位與突觸后鋒電位之間的持續(xù)時間。快時鐘可以用于產(chǎn)生PWM訓練信號，其可以在慢時鐘脈沖的范圍內(nèi)。慢時鐘階段可以建立三個通信通道，如圖7所示的。CLKl階段可以僅用于鋒電位(SP), CLK2階段可以用于增強使能(PE)和LTP PWM訓練信號，并且CLK3階段可以用于抑制使能(DE)和LTD PWM訓練信號。慢時鐘周期可以等于或僅略小于最短鋒電位持續(xù)時間和最短鋒電位間間·隔，其可以對應(yīng)于最大發(fā)放速率的奈奎斯特速率。圖2的神經(jīng)元電路202可以產(chǎn)生具有O. 5ms最短鋒電位間間隔的O. 5ms寬的鋒電位。因此，適合的慢時鐘頻率可以等于2kHz。由于神經(jīng)元電路可以比實際神經(jīng)元快5倍，因此突觸權(quán)重變化Λ ω可以需要在針對LTP的8ms窗口和針對LTP的30ms窗口內(nèi)衰減。為了產(chǎn)生具有O. 5ms周期的橫跨8ms間隔的LTP訓練信號，為LTP脈沖寬度調(diào)制器使用四比特計數(shù)器就足夠了。為了產(chǎn)生具有O. 5ms周期的橫跨30ms間隔的LTD訓練信號，為LTD脈沖寬度調(diào)制器使用六比特計數(shù)器就足夠了。圖8示出了根據(jù)本發(fā)明的某些實施例的示例性突觸接口 800。突觸連接可以實現(xiàn)為單個憶阻器元件802。晶體管M1-M4可以表示開關(guān)，并且晶體管M5-M6可以表示突觸電流傳感器。另外，開關(guān)S可以由慢時鐘階段CLKl控制。如圖8所示，突觸前訓練電路804可以包括開關(guān)M1-M2，并可以由連接到同一突觸后神經(jīng)元的所有突觸共用。突觸后訓練電路806可以包括開關(guān)M3-M4和S，并可以由連接到同一突觸前神經(jīng)元的所有突觸共用。在CLKl高的階段上的鋒電位發(fā)送和接收期間，開關(guān)Ml和S可以接通，開關(guān)M2-M4可以斷開，并且晶體管M5可以自偏置以接納流過憶阻器802的突觸電流812。在一對神經(jīng)元電路之間發(fā)送/接收的鋒電位可以是突觸前鋒電位(SP)，其在圖8中由SP信號810的脈沖808示出。這個突觸前鋒電位發(fā)放事件還由電路820示出，電路820表示電路800與這個具體事件相關(guān)的部分。橫跨憶阻器802的電壓降Vs-V□可以低于憶阻器閾值電壓以致于憶阻器電阻在這個事件期間不會改變。流過晶體管M5的電流可以與突觸電流812成正比，并可以被鏡像至突觸后神經(jīng)元的輸入電流814中。緊接著鋒電位808之后，可以切斷開關(guān)S。突觸前神經(jīng)元可以在CLK2高上為其輸入突觸產(chǎn)生增強使能(PE)信號。隨后，在CLK3高上，同一突觸前神經(jīng)元可以產(chǎn)生抑制使能(DE)信號的脈沖816 (圖8中示為DEB信號818，其是反相的DE信號)，其進而可以接通開關(guān)M2。在突觸前鋒電位808之后的下一個CLKl高上，突觸前神經(jīng)元可以重置其PWM計數(shù)器，并可以分別在CLK2和CLK3階段上開始產(chǎn)生LTP和LTD訓練信號。圖8中由PWM脈沖822示出了 LTP訓練信號。當突觸后神經(jīng)元進行鋒電位發(fā)放時(例如，由脈沖824表示)，這個神經(jīng)元可以在緊接著鋒電位發(fā)放CLKl階段之后的CLK2階段上產(chǎn)生PE脈沖826。如果突觸前神經(jīng)元仍在產(chǎn)生其LTP PWM信號(例如，脈沖822)，則突觸后PE脈沖826就可以與其中一個突觸前LTPPWM脈沖822對準。這個訓練事件在圖8中由電路830示出，電路830表示電路800與這個特定事件相關(guān)的部分。在與PE脈沖826對準的其中一個突觸前LTP PWM脈沖822的持續(xù)時間中，開關(guān)Ml和M4可以同時接通。電路830中的所有其它開關(guān)可以斷開。橫跨憶阻器802的電壓可以是正值VP，其可以超過憶阻器的閾值電壓(即，VP>VT，M)。于是，突觸電流812可以在對準的PWM脈沖822期間在電路830中示出的方向上流過憶阻器802，使得憶阻器電阻增大，這可以導致突觸連接的LTP (即，可以增大突觸權(quán)重)。在突觸后鋒電位824之后的CLK3上，突觸后神經(jīng)元可以為其輸出突觸產(chǎn)生DE信號。在突觸后鋒電位824之后的下一個CLKl高，突觸后神經(jīng)元可以重置其PWM計數(shù)器，并可以分別在CLK2和CLK3階段上開始產(chǎn)生LTP和LTD訓練信號。在圖8中由PWM脈沖828示出了由突觸后神經(jīng)元產(chǎn)生的LTD訓練信號。當突觸前神經(jīng)元再次進行鋒電位發(fā)放時(由脈沖832表示)，這個神經(jīng)元可以在緊接著鋒電位發(fā)放CLKl階段之后的CLK2和CLK3階段上產(chǎn)生PE和DE信號。DE脈沖834(即，其反相信號DEB)可以接通M2開關(guān)。如果突觸后神經(jīng)元仍在M3門處產(chǎn)生其LTD PWM信號(即，脈沖828)，則突觸前DE脈沖834就可以與其中一個PWM脈沖828對準。這個訓練事件 在圖8中由電路840示出，電路840表示電路800與這個特定事件相關(guān)的部分。在與DE脈沖834對準的其中一個突觸后LTD PWM脈沖828的持續(xù)時間中，開關(guān)M2和M3可以同時接通。電路840中的所有其它開關(guān)可以斷開。橫跨憶阻器802的電壓可以等于負的VD，其可以超過憶阻器的閾值電壓(即，VD>VT，_)。于是，突觸電流812可以在對準的PWM脈沖828期間在電路840中示出的方向上流過憶阻器802，使得憶阻器電阻減小，這可以導致突觸連接的LTD (即，可以減小突觸權(quán)重)。為了實現(xiàn)在相同鋒電位間間隔中抑制弱于增強，可以將電源電壓Vd選擇為小于電源電壓VP。如果突觸前鋒電位與突觸后鋒電位對準了，則就可以根據(jù)這些鋒電位與相應(yīng)神經(jīng)元的先前鋒電位的相對時序來訓練相應(yīng)的突觸。如果先前鋒電位在很久以前出現(xiàn)，且兩個神經(jīng)元的PWM計數(shù)器已經(jīng)倒計數(shù)為0，則重合的突觸前鋒電位與突觸后鋒電位就可以不改變相應(yīng)突觸權(quán)重?？梢孕薷膱D8中所示的神經(jīng)元到神經(jīng)元接口 800，以使得即使重合的鋒電位在先前鋒電位之后不久出現(xiàn)，它們也不會改變突觸憶阻器電阻(即，突觸權(quán)重)。在此情況下，PWM計數(shù)器可以需要由自身的鋒電位信號來重置或者由PE信號來重置，而不是在鋒電位之后的第一個CLKl高上重置。示例件單計數(shù)器和雙計數(shù)器PWM產(chǎn)牛器圖9示出了根據(jù)本發(fā)明的某些實施例的可以用于為神經(jīng)元到神經(jīng)元接口 800產(chǎn)生PWM訓練信號的單計數(shù)器PWM產(chǎn)生器900的實例?？梢杂蓤D9觀察到，來自圖2的神經(jīng)元電路202的比較器218的輸出信號220可以表示PWM產(chǎn)生器900的輸入信號。PWM產(chǎn)生器900的實現(xiàn)方式可以是全數(shù)字式的，并可以基于N-除法器902、計數(shù)器903、脈沖吞咽器904和軸突延遲電路906,如圖9所示的。參數(shù)N可以等于快時鐘頻率與慢時鐘頻率的比率。N-除法器902可以由信號908來提供時鐘，信號908表示每N個快周期吞咽一個脈沖(即，每個慢時鐘周期吞咽一次脈沖)的快時鐘，如圖9中用于信號908的時序圖所示的。不使用脈沖吞咽器904但具有適當?shù)某ㄆ髦刂玫那闆r下，N-除法器輸出脈沖910可以與慢時鐘脈沖對準。然而，通過使用脈沖吞咽器904，只有N-除法器輸出信號910的第一個脈沖WO1與慢時鐘脈沖93(^對準，如圖9所示。N-除法器輸出信號910的第二個脈沖9102的出現(xiàn)可以比慢時鐘脈沖9302晚一個快時鐘周期(圖9中標記為932的快時鐘周期)，N-除法器輸出信號910的第三個脈沖9103的出現(xiàn)可以比慢時鐘脈沖9303晚兩個快時鐘周期(圖9中標記為934的快時鐘周期)，并且以此類推。在N-除法器輸出910與CLK2之間的邏輯“與”(AND)運算可以導致LTP PWM訓練信號914?？梢酝ㄟ^將N-除法器輸出910反相，并將其與CLK2和時鐘選通信號918相乘來產(chǎn)生LTD PWM訓練信號916，如圖9所示的?？梢酝ㄟ^在緊接著鋒電位發(fā)放CLKl階段940之后的CLKl階段950上施加信號920來將N-除法器902重置為0，從而使能N-除法器902的操作，如圖9的時序圖所示的。這個重置事件在圖9中標記為960。在這個重置之后,可以由延遲的鋒電位信號918開啟時鐘門908。除法器902可以對快時鐘周期進行計數(shù)，直到達到結(jié)束狀態(tài)或者直到另一個延遲的鋒電位信號重置計數(shù)器。D觸發(fā)器922可以能夠感測這個最后狀態(tài)并重置SR觸發(fā)器924，其還可以控制時鐘門908。 單計數(shù)器PWM產(chǎn)生器900的缺點在于，LTP和LTD脈沖914和916的寬度會同等地衰減，如圖9所示的。如前所述，LTD權(quán)重調(diào)整可以比LTP權(quán)重調(diào)整衰減得更慢。為了實現(xiàn)LTP和LTD訓練信號的不同的衰減時間，會需要兩個計數(shù)器來實現(xiàn)PWM產(chǎn)生器。圖10示出了根據(jù)本發(fā)明的某些實施例的可以用于為圖8的神經(jīng)元到神經(jīng)元接口800產(chǎn)生PWM訓練信號的示例性雙計數(shù)器PWM產(chǎn)生器1000。如圖10所示，計數(shù)器1002可以用于產(chǎn)生LTD PWM訓練信號1006，而另一個計數(shù)器1004可以用于產(chǎn)生LTP PWM訓練信號1008?？梢酝ㄟ^與在LTD計數(shù)器1002中吞咽的快時鐘脈沖相比，在LTP計數(shù)器1004中吞咽更多的快時鐘脈沖，來實現(xiàn)與LTD脈沖的衰減相比，LTP脈沖的更快的衰減(例如，見圖10中的脈沖10062和10082，其中，LTP脈沖10082比LTD脈沖10062更窄)。就是說，例如，圖10的時序圖中由信號Cl和C2的脈沖1020^10202和10203示出。脈沖吞咽器電路1010可以產(chǎn)生適當?shù)男盘朇l和C2，其可以分別被輸入至LTD計數(shù)器1002和LTP計數(shù)器1004中。LTP和LTD計數(shù)器可以與PWM產(chǎn)生器900的單計數(shù)器903同樣地操作，這在圖9 一 10中由與計數(shù)器903、1002和1004相關(guān)的相同時序圖示出。應(yīng)注意，在所提出的圖8所示的神經(jīng)元到神經(jīng)元權(quán)重訓練接口 800中，僅可以利用慢時鐘信號的三個階段一個階段用于鋒電位通信，兩個階段用于突觸訓練。如前指明的，突觸憶阻器的電阻在鋒電位傳輸期間可以不改變，因為可以在與用于鋒電位傳輸?shù)臅r鐘階段不同的時鐘階段上訓練突觸，并且鋒電位傳輸期間橫跨突觸憶阻器的電壓降可以低于憶阻器閾值電壓Vt,_。此外，但在沒有訓練事件(其可由PE和DE信號觸發(fā))的情況下，神經(jīng)元到神經(jīng)元接口 800的訓練開關(guān)可以斷開(即，在高阻抗狀態(tài)中)，且沒有電流可以流過突觸憶阻器，盡管在相應(yīng)的突觸前神經(jīng)元和突觸后神經(jīng)元中存在PWM訓練信號。這個方案可以適用于導致低電流及功耗的高效的硬件實現(xiàn)方式。另外，由于可以避免使用大積分電容器，圖9 一 10中示出的PWM產(chǎn)生器900和1000可以以全數(shù)字方式實現(xiàn)。圖11示出了根據(jù)本發(fā)明的某些實施例的實現(xiàn)用于對接神經(jīng)系統(tǒng)中兩個或更多個神經(jīng)元電路的電路的示例性操作1100。在1102處，可以使用憶阻器連接第一神經(jīng)元電路和第二神經(jīng)元電路。在1104處，可以使用突觸前接口電路(例如，圖8的電路804)連接第一神經(jīng)元電路與憶阻器。在1106處，可以使用突觸后接口電路(例如，圖8的電路806)連接憶阻器與第二神經(jīng)元電路。在1108處，突觸前接口電路和突觸后接口電路可以使用高阻抗終端來在有意的訓練事件期間以外禁止改變憶阻器的電阻(即，高阻抗終端可以有助于選擇性地改變憶阻器電阻)。如圖8所示，突觸前接口電路可以包括第一組開關(guān)，其中，第一組開關(guān)中的至少一個開關(guān)可以基于來自第一神經(jīng)元電路的第一輸出脈沖而改變其狀態(tài)，并且其中，所述改變可以導致第一電流流過憶阻器，將第一電流鏡像至第二神經(jīng)元電路中并將橫跨憶阻器的電壓設(shè)定為低于第一閾值電平。突觸后接口電路可以包括第二組開關(guān)，其中，第二組開關(guān)中的至少一個開關(guān)可以基于來自第二神經(jīng)元電路的第二輸出脈沖而在訓練事件期間改變其狀態(tài)，并且其中，所述改變可以導致第二電流流過憶阻器，并且所述電壓為恒定且高于第二閾值電平，第二閾值電平可以與第一閾值電平相同或不同，或者可以與第一閾值電平具有相同的絕對值但值的符號不同。高阻抗終端可以包括如果至少兩個信號具有使得第一組中至少一個開關(guān)與第二組中至少一個開關(guān)同時切斷的值，就阻止電流流過憶阻器，其中，所述至少兩個信號可以基于第一和第二輸出脈沖而產(chǎn)生。因此，高阻抗終端可以有助于選擇性地改變憶阻器電阻。通常，憶阻器元件可以包括一個或多個閾值電平，其中，針對電流流過憶阻器的不同方向，閾值電平可以具有不同的值和/或不同的絕對值。另外，一個特定憶阻器可以具有·與另一個特定憶阻器不同的一個或多個閾值。如圖8所示，突觸前接口電路可以連接到第一多個憶阻器，其中，第一多個憶阻器中的每一個憶阻器都可以經(jīng)由不同的突觸后接口電路連接到不同的突觸后神經(jīng)元電路，并且其中，突觸后神經(jīng)元電路可以包括第二神經(jīng)元電路。突觸后接口電路可以連接到第二多個憶阻器，其中，第二多個憶阻器中的每一個憶阻器都可以經(jīng)由不同的突觸前接口電路連接到不同的突觸前神經(jīng)元電路，并且其中，突觸前神經(jīng)元電路可以包括第一神經(jīng)元電路。上述方法的各個操作可以由能夠執(zhí)行相應(yīng)功能的任何適合的模塊來執(zhí)行。所述模塊可以包括各種硬件和/或軟件組件和/或模塊，包括但不限于，電路、專用集成電路(ASIC)或處理器。通常，在有附圖中示出的操作的情況下，這些操作就會存在具有類似編號的相應(yīng)配對的功能性模塊組件。例如，圖11中示出的塊1102 - 1108對應(yīng)于圖IlA中示出的功能性模塊1102A - 1108A。本文使用的詞語“確定”包含各種操作。例如，“確定”可以包括運算、計算、處理、推導、調(diào)查、查找(例如，在表、數(shù)據(jù)庫或另一個數(shù)據(jù)結(jié)構(gòu)中查找)、查明等。此外，“確定”可以包括接收(例如，接收信息)、訪問(例如，訪問存儲器中的數(shù)據(jù))等。此外，“確定”可以包括決定、選擇、挑選、確立等。本文使用的稱為一系列項目中的“至少一個”的短語表示這些項目的任何組合，包括單個成員。示例性地，“a、b或c中的至少一個”旨在涵蓋a、b、c、a-b、a-c、b_c和a_b_c?？梢杂猛ㄓ锰幚砥?、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)或其它可編程邏輯器件(PLD)、分立門或晶體管邏輯器件、分立硬件組件或者被設(shè)計為執(zhí)行本文所述功能的其任意組合，來實現(xiàn)或執(zhí)行結(jié)合本發(fā)明所描述的各種示例性的邏輯塊、模塊和電路。通用處理器可以是微處理器，但是可替換地，該處理器也可以是任何市場上可買到的處理器、控制器、微控制器或者狀態(tài)機。處理器也可以實現(xiàn)為計算器件的組合，例如，DSP和微處理器的組合、多個微處理器的組合、一個或多個微處理器與DSP內(nèi)核的組合或者任何其它此種配置。結(jié)合本發(fā)明所描述的方法或者算法的步驟可直接體現(xiàn)為硬件、由處理器執(zhí)行的軟件模塊或二者的組合。軟件模塊可以位于本領(lǐng)域中公知的任何形式的存儲介質(zhì)中。可以使用的一些存儲介質(zhì)的實例包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、閃存、EPROM存儲器、EEPROM存儲器、寄存器、硬盤、可移動盤、⑶-ROM等等。軟件模塊可以包括單個指令或者多個指令，并可以分布在幾個不同代碼段中、在不同程序中、以及跨越多個存儲介質(zhì)。存儲介質(zhì)可耦合至處理器，使得處理器能夠從該存儲介質(zhì)讀取信息且可向該存儲介質(zhì)寫入信息?？商鎿Q地，存儲介質(zhì)可以集成到處理器中。本文公開的方法包括用于實現(xiàn)所述方法的一個或多個步驟或操作。在不脫離權(quán)利要求的范圍的情況下，方法的步驟和/或操作可以彼此互換。換句話說，除非指明了步驟或操作的特定順序，否則在不脫離權(quán)利要求的范圍的情況下，可以修改特定步驟和/或操作的順序和/或使用。所述的功能可以在硬件、軟件、固件或其任意組合中實現(xiàn)。如果在軟件中實現(xiàn)，則 所述功能可以作為一個或多個指令存儲在計算機可讀介質(zhì)上。存儲介質(zhì)可以是可由計算機訪問的任意可用介質(zhì)。示例性地而非限制性地，這種計算機可讀介質(zhì)可以包括RAM、R0M、EEPROM、CD-ROM或其它光盤存儲器、磁盤存儲器或其它磁存儲設(shè)備或者可用于以指令或數(shù)據(jù)結(jié)構(gòu)的形式承載或存儲預(yù)期程序代碼并且可由計算機訪問的任意其它介質(zhì)。本文使用的盤片(disk)和盤(disc)包括緊致盤(⑶)、激光盤、光盤、數(shù)字多功能盤(DVD)、軟盤和藍光 盤，其中盤片常常以磁性方式再現(xiàn)數(shù)據(jù)，而盤通過激光以光學方式來再現(xiàn)數(shù)據(jù)。因此，某些實施例可以包括用于執(zhí)行本文提出的操作的計算機程序產(chǎn)品。例如，這種計算機程序產(chǎn)品可以包括其上存儲(和/或編碼)了指令的計算機可讀介質(zhì)，所述指令可以由一個或多個處理器運行，以執(zhí)行本文所述的操作。對于某些實施例，計算機程序產(chǎn)品可以包括封裝材料。軟件或指令也可通過傳輸介質(zhì)發(fā)送。例如，如果使用同軸電纜、纖維光纜、雙絞線、數(shù)字用戶線路(DSL)或例如紅外、無線電和微波的無線技術(shù)將軟件從網(wǎng)站、服務(wù)器或其它遠程源進行發(fā)送，則同軸電纜、纖維光纜、雙絞線、DSL或例如紅外、無線電和微波的無線技術(shù)包括在傳輸介質(zhì)的定義中。此外，應(yīng)意識到，在適用的情況下，可以由用戶終端和/或基站來下載和/或以其他方式獲取用于執(zhí)行本文所述的方法和技術(shù)的模塊和/或其它適當?shù)哪K。例如，可以將這種設(shè)備耦合到服務(wù)器以便于對用于執(zhí)行本文所述方法的模塊的傳送?？商鎿Q地，可以經(jīng)由存儲模塊(例如RAM、ROM、諸如緊致盤(CD)或軟盤的物理存儲介質(zhì)等)來提供本文所述的多種方法，以使得當將該存儲模塊耦合或提供到該設(shè)備后，用戶終端和/或基站可以獲取所述各種方法。此外，可以采用用于將本文所述的方法和技術(shù)提供給設(shè)備的任何其它合適的技術(shù)。應(yīng)當理解，權(quán)利要求不局限于上述的精確的配置和組件。在不脫離權(quán)利要求的范圍的情況下，可以在上述方法和裝置的布置、操作和細節(jié)中進行各種更改、變化和改變。盡管前述內(nèi)容針對本發(fā)明的實施例，但在不脫離其基本范圍的情況下可以設(shè)計出本發(fā)明的其他及更進一步的實施例，并且其范圍是由附帶的權(quán)利要求來確定的。
權(quán)利要求
1.一種用于對接神經(jīng)系統(tǒng)中兩個或更多個神經(jīng)元電路的電路，包括 憶阻器，其連接在第一神經(jīng)元電路與第二神經(jīng)元電路之間； 突觸前接口電路，其將所述第一神經(jīng)元電路與所述憶阻器相連接；及 突觸后接口電路，其將所述憶阻器與所述第二神經(jīng)元電路相連接，其中 所述突觸前接口電路和突觸后接口電路包括高阻抗終端。
2.如權(quán)利要求I所述的電路，其中，所述高阻抗終端有助于選擇性地改變憶阻器電阻。
3.如權(quán)利要求2所述的電路，其中，選擇性地改變所述憶阻器電阻包括在有意的訓練事件期間改變所述憶阻器電阻。
4.如權(quán)利要求I所述的電路，其中 所述突觸前接口電路包括第一組開關(guān)，所述第一組開關(guān)中的至少一個開關(guān)基于來自所述第一神經(jīng)元電路的第一輸出脈沖而改變其狀態(tài)，并且所述改變導致第一電流流過所述憶阻器，將所述第一電流鏡像至所述第二神經(jīng)元電路中并將橫跨所述憶阻器的電壓設(shè)定為低于第一閾值電平； 所述突觸后接口電路包括第二組開關(guān)，所述第二組開關(guān)中的至少一個開關(guān)基于來自所述第二神經(jīng)元電路的第二輸出脈沖而在訓練事件期間改變其狀態(tài)，并且所述改變導致第二電流流過所述憶阻器，并且所述電壓為恒定且高于第二閾值電平 '及 所述高阻抗終端包括如果分別至少部分地由于所述第一輸出脈沖和所述第二輸出脈沖而使得所述第一組開關(guān)中至少一個開關(guān)與所述第二組開關(guān)中至少一個開關(guān)同時切斷，就阻止電流流過所述憶阻器。
5.如權(quán)利要求4所述的電路，其中 在所述電路的第一時鐘信號的第一脈沖上產(chǎn)生所述第一輸出脈沖， 所述第一電流在所述第一時鐘信號的所述第一脈沖期間流過所述憶阻器， 在所述第一時鐘信號的所述第一脈沖之后的第二脈沖上產(chǎn)生所述第二輸出脈沖，及所述第二電流在從所述突觸后接口電路到所述突觸前接口電路的方向上流過所述憶阻器，導致所述憶阻器的電阻增大，所述方向基于所述第一組開關(guān)和第二組開關(guān)中受所述電路的第二時鐘信號的脈沖控制的開關(guān)的狀態(tài)。
6.如權(quán)利要求5所述的電路，其中 所述第二電流在所述第二時鐘信號其中一個脈沖的一部分期間在所述方向上流過所述憶阻器，及 所述第二電流流動的持續(xù)時間取決于在所述第一輸出脈沖與所述第二輸出脈沖之間的時間差。
7.如權(quán)利要求4所述的電路，其中 所述第一組開關(guān)中的一個或多個開關(guān)基于來自所述第一神經(jīng)元電路的第三輸出脈沖而改變狀態(tài)，及 由所述第二和第三輸出脈沖導致的所述改變產(chǎn)生第三電流并使得所述電壓恒定且高于第三閾值電平，所述第三電流在與所述第二電流不同的方向上流過所述憶阻器。
8.如權(quán)利要求7所述的電路，其中 在所述電路的第一時鐘信號的脈沖上產(chǎn)生所述第二輸出脈沖， 在所述第一時鐘信號的所述脈沖后的另一個脈沖上產(chǎn)生所述第三輸出脈沖，及所述第三電流在從所述突觸前接口電路到所述突觸后接口電路的方向上流過所述憶阻器，導致所述憶阻器的電阻減小，所述方向基于所述第一組開關(guān)和第二組開關(guān)中受所述電路的第二時鐘信號的脈沖控制的開關(guān)的狀態(tài)。
9.如權(quán)利要求8所述的電路，其中 所述第三電流在所述第二時鐘信號其中一個脈沖的一部分期間在所述方向上流過所述憶阻器，及 所述第三電流流動的持續(xù)時間取決于在所述第二輸出脈沖與所述第三輸出脈沖之間的時間差。
10.如權(quán)利要求4所述的電路，其中，橫跨所述憶阻器的所述電壓至少部分地基于所述第一組開關(guān)和第二組開關(guān)中的開關(guān)的狀態(tài)及所述電路的電源。
11.如權(quán)利要求I所述的電路，其中 所述突觸前接口電路連接到第一多個憶阻器，所述第一多個憶阻器中的每一個憶阻器都經(jīng)由一不同的突觸后接口電路連接到一不同的突觸后神經(jīng)元電路，所述突觸后神經(jīng)元電路包括所述第二神經(jīng)元電路，及 所述突觸后接口電路連接到第二多個憶阻器，所述第二多個憶阻器中的每一個憶阻器都經(jīng)由一不同的突觸前接口電路連接到一不同的突觸前神經(jīng)元電路，所述突觸前神經(jīng)元電路包括所述第一神經(jīng)元電路。
12.一種用于實現(xiàn)用以對接神經(jīng)系統(tǒng)中兩個或更多個神經(jīng)元電路的電路的方法，包括 在第一神經(jīng)元電路與第二神經(jīng)元電路之間連接憶阻器； 使用突觸前接口電路將所述第一神經(jīng)元電路與所述憶阻器相連接；及 使用突觸后接口電路將所述憶阻器與所述第二神經(jīng)元電路相連接，其中， 所述突觸前接口電路和突觸后接口電路包括高阻抗終端。
13.如權(quán)利要求12所述的方法，進一步包括 使用所述高阻抗終端選擇性地改變憶阻器電阻。
14.如權(quán)利要求13所述的方法，進一步包括 在有意的訓練事件期間改變所述憶阻器電阻。
15.如權(quán)利要求12所述的方法，其中 所述突觸前接口電路包括第一組開關(guān)，所述第一組開關(guān)中的至少一個開關(guān)基于來自所述第一神經(jīng)元電路的第一輸出脈沖而改變其狀態(tài)，并且所述改變導致第一電流流過所述憶阻器，將所述第一電流鏡像至所述第二神經(jīng)元電路中并將橫跨所述憶阻器的電壓設(shè)定為低于第一閾值電平； 所述突觸后接口電路包括第二組開關(guān)，所述第二組開關(guān)中的至少一個開關(guān)基于來自所述第二神經(jīng)元電路的第二輸出脈沖而在訓練事件期間改變其狀態(tài)，并且所述改變導致第二電流流過所述憶阻器，并且所述電壓為恒定且高于第二閾值電平；及 所述高阻抗終端包括如果分別至少部分地由于所述第一輸出脈沖和所述第二輸出脈沖而使得所述第一組開關(guān)中至少一個開關(guān)與所述第二組開關(guān)中至少一個開關(guān)同時切斷，就阻止電流流過所述憶阻器。
16.如權(quán)利要求15所述的方法，其中在所述電路的第一時鐘信號的第一脈沖上產(chǎn)生所述第一輸出脈沖， 所述第一電流在所述第一時鐘信號的所述第一脈沖期間流過所述憶阻器， 在所述第一時鐘信號的所述第一脈沖之后的第二脈沖上產(chǎn)生所述第二輸出脈沖，及 所述第二電流在從所述突觸后接口電路到所述突觸前接口電路的方向上流過所述憶阻器，導致所述憶阻器的電阻增大，所述方向基于所述第一組開關(guān)和第二組開關(guān)中受所述電路的第二時鐘信號的脈沖控制的開關(guān)的狀態(tài)。
17.如權(quán)利要求16所述的方法，其中 所述第二電流在所述第二時鐘信號其中一個脈沖的一部分期間在所述方向上流過所述憶阻器，及 所述第二電流流動的持續(xù)時間取決于在所述第一輸出脈沖與所述第二輸出脈沖之間的時間差。
18.如權(quán)利要求15所述的方法，其中 所述第一組開關(guān)中的一個或多個開關(guān)基于來自所述第一神經(jīng)元電路的第三輸出脈沖而改變狀態(tài)，及 由所述第二和第三輸出脈沖導致的所述改變產(chǎn)生第三電流并使得所述電壓恒定且高于第三閾值電平，所述第三電流在與所述第二電流不同的方向上流過所述憶阻器。
19.如權(quán)利要求18所述的方法，其中 在所述電路的第一時鐘信號的脈沖上產(chǎn)生所述第二輸出脈沖， 在所述第一時鐘信號的所述脈沖后的另一個脈沖上產(chǎn)生所述第三輸出脈沖，及 所述第三電流在從所述突觸前接口電路到所述突觸后接口電路的方向上流過所述憶阻器，導致所述憶阻器的電阻減小，所述方向基于所述第一組開關(guān)和第二組開關(guān)中受所述電路的第二時鐘信號的脈沖控制的開關(guān)的狀態(tài)。
20.如權(quán)利要求19所述的方法，其中 所述第三電流在所述第二時鐘信號其中一個脈沖的一部分期間在所述方向上流過所述憶阻器，及 所述第三電流流動的持續(xù)時間取決于在所述第二輸出脈沖與所述第三輸出脈沖之間的時間差。
21.如權(quán)利要求15所述的方法，其中，橫跨所述憶阻器的所述電壓至少部分地基于所述第一組開關(guān)和第二組開關(guān)中的開關(guān)的狀態(tài)及所述電路的電源。
22.如權(quán)利要求12所述的方法，其中 所述突觸前接口電路連接到第一多個憶阻器，所述第一多個憶阻器中的每一個憶阻器都經(jīng)由一不同的突觸后接口電路連接到一不同的突觸后神經(jīng)元電路，所述突觸后神經(jīng)元電路包括所述第二神經(jīng)元電路，及 所述突觸后接口電路連接到第二多個憶阻器，所述第二多個憶阻器中的每一個憶阻器都經(jīng)由一不同的突觸前接口電路連接到一不同的突觸前神經(jīng)元電路，所述突觸前神經(jīng)元電路包括所述第一神經(jīng)元電路。
23.一種用于實現(xiàn)用以對接神經(jīng)系統(tǒng)中兩個或更多個神經(jīng)元電路的電路的裝置，包括 用于在第一神經(jīng)元電路與第二神經(jīng)元電路之間連接憶阻器的模塊；用于使用突觸前接口電路將所述第一神經(jīng)元電路與所述憶阻器相連接的模塊；及 用于使用突觸后接口電路將所述憶阻器與所述第二神經(jīng)元電路相連接的模塊，其中， 所述突觸前接口電路和突觸后接口電路包括高阻抗終端。
24.如權(quán)利要求23所述的裝置，進一步包括 用于使用所述高阻抗終端選擇性地改變憶阻器電阻的模塊。
25.如權(quán)利要求24所述的裝置，進一步包括 用于在有意的訓練事件期間改變所述憶阻器電阻的模塊。
26.如權(quán)利要求23所述的裝置，其中 所述突觸前接口電路包括第一組開關(guān)，所述第一組開關(guān)中的至少一個開關(guān)基于來自所述第一神經(jīng)元電路的第一輸出脈沖而改變其狀態(tài)，并且所述改變導致第一電流流過所述憶阻器，將所述第一電流鏡像至所述第二神經(jīng)元電路中并將橫跨所述憶阻器的電壓設(shè)定為低于第一閾值電平； 所述突觸后接口電路包括第二組開關(guān)，所述第二組開關(guān)中的至少一個開關(guān)基于來自所述第二神經(jīng)元電路的第二輸出脈沖而在訓練事件期間改變其狀態(tài)，并且所述改變導致第二電流流過所述憶阻器，并且所述電壓為恒定且高于第二閾值電平；及 所述高阻抗終端包括如果分別至少部分地由于所述第一輸出脈沖和所述第二輸出脈沖而使得所述第一組開關(guān)中至少一個開關(guān)與所述第二組開關(guān)中至少一個開關(guān)同時切斷，就阻止電流流過所述憶阻器。
27.如權(quán)利要求26所述的裝置，其中 在所述電路的第一時鐘信號的第一脈沖上產(chǎn)生所述第一輸出脈沖， 所述第一電流在所述第一時鐘信號的所述第一脈沖期間流過所述憶阻器， 在所述第一時鐘信號的所述第一脈沖之后的第二脈沖上產(chǎn)生所述第二輸出脈沖，及所述第二電流在從所述突觸后接口電路到所述突觸前接口電路的方向上流過所述憶阻器，導致所述憶阻器的電阻增大，所述方向基于所述第一組開關(guān)和第二組開關(guān)中受所述電路的第二時鐘信號的脈沖控制的開關(guān)的狀態(tài)。
28.如權(quán)利要求27所述的裝置，其中 所述第二電流在所述第二時鐘信號其中一個脈沖的一部分期間在所述方向上流過所述憶阻器，及 所述第二電流流動的持續(xù)時間取決于在所述第一輸出脈沖與所述第二輸出脈沖之間的時間差。
29.如權(quán)利要求26所述的裝置，其中 所述第一組開關(guān)中的一個或多個開關(guān)基于來自所述第一神經(jīng)元電路的第三輸出脈沖而改變狀態(tài)，及 由所述第二和第三輸出脈沖導致的所述改變產(chǎn)生第三電流并使得所述電壓恒定且高于第三閾值電平，所述第三電流在與所述第二電流不同的方向上流過所述憶阻器。
30.如權(quán)利要求29所述的裝置，其中 在所述電路的第一時鐘信號的脈沖上產(chǎn)生所述第二輸出脈沖， 在所述第一時鐘信號的所述脈沖后的另一個脈沖上產(chǎn)生所述第三輸出脈沖，及 所述第三電流在從所述突觸前接口電路到所述突觸后接口電路的方向上流過所述憶阻器，導致所述憶阻器的電阻減小，所述方向基于所述第一組開關(guān)和第二組開關(guān)中受所述電路的第二時鐘信號的脈沖控制的開關(guān)的狀態(tài)。
31.如權(quán)利要求30所述的裝置，其中 所述第三電流在所述第二時鐘信號其中一個脈沖的一部分期間在所述方向上流過所述憶阻器，及 所述第三電流流動的持續(xù)時間取決于在所述第二輸出脈沖與所述第三輸出脈沖之間的時間差。
32.如權(quán)利要求26所述的裝置，其中，橫跨所述憶阻器的所述電壓至少部分地基于所述第一組開關(guān)和第二組開關(guān)中的開關(guān)的狀態(tài)及所述電路的電源。
33.如權(quán)利要求23所述的裝置，其中 所述突觸前接口電路連接到第一多個憶阻器，所述第一多個憶阻器中的每一個憶阻器都經(jīng)由一不同的突觸后接口電路連接到一不同的突觸后神經(jīng)元電路，所述突觸后神經(jīng)元電路包括所述第二神經(jīng)元電路，及 所述突觸后接口電路連接到第二多個憶阻器，所述第二多個憶阻器中的每一個憶阻器都經(jīng)由一不同的突觸前接口電路連接到一不同的突觸前神經(jīng)元電路，所述突觸前神經(jīng)元電路包括所述第一神經(jīng)元電路。
全文摘要
本發(fā)明的某些實施例支持用于在生物啟發(fā)型網(wǎng)絡(luò)中訓練突觸的技術(shù)?？梢詫H一個基于憶阻器的器件用作在一對神經(jīng)元之間的突觸連接?？梢砸缘碗娏飨膩韺崿F(xiàn)突觸權(quán)重的訓練。所提出的突觸訓練電路可以由多個輸入/輸出連接共用，而每個神經(jīng)元電路可以僅利用一個數(shù)字實現(xiàn)的脈沖寬度調(diào)制(PWM)產(chǎn)生器來產(chǎn)生突觸訓練脈沖。僅有慢時鐘信號的三個階段可以用于神經(jīng)元到神經(jīng)元的通信和突觸訓練。還可以為建立突觸訓練事件而產(chǎn)生一些特定控制信號。借助這些信號，突觸訓練電路在訓練事件以外可以處于高阻抗狀態(tài)，從而突觸電阻(即，突觸權(quán)重)在權(quán)重訓練過程以外不會受到影響。
文檔編號G06N3/063GK102959565SQ201180030039
公開日2013年3月6日 申請日期2011年7月7日 優(yōu)先權(quán)日2010年7月7日
發(fā)明者V·阿帕林, Y·唐 申請人:高通股份有限公司