3] 在一方面，電容器作為神經(jīng)元電路的電流積分器件可被除去，并且可使用較小的 憶阻器元件來替代它。這種辦法可應(yīng)用于神經(jīng)元電路中，以及其中大容量電容器被用作電 流積分器的各種其他應(yīng)用中。另外，每個突觸104可基于憶阻器元件來實現(xiàn)，其中突觸權(quán)重 改變可與憶阻器電阻的變化有關(guān)。使用納米特征尺寸的憶阻器，可顯著地減小神經(jīng)元電路 和突觸的面積，這可使得實現(xiàn)超大規(guī)模神經(jīng)系統(tǒng)硬件實現(xiàn)變得可行。
[0044] 對神經(jīng)系統(tǒng)100進行仿真的神經(jīng)處理器的功能性可取決于突觸連接的權(quán)重，這些 權(quán)重可控制神經(jīng)元之間的連接的強度。突觸權(quán)重可存儲在非易失性存儲器中以在掉電之后 保留該處理器的功能性。在一方面，突觸權(quán)重存儲器可實現(xiàn)在與主神經(jīng)處理器芯片分開的 外部芯片上。突觸權(quán)重存儲器可與神經(jīng)處理器芯片分開地封裝成可更換的存儲卡。這可向 神經(jīng)處理器提供多種多樣的功能性，其中特定功能性可基于當(dāng)前附連至神經(jīng)處理器的存儲 卡中所存儲的突觸權(quán)重。
[0045] 圖2解說根據(jù)本公開的某些方面的計算網(wǎng)絡(luò)（例如，神經(jīng)系統(tǒng)或神經(jīng)網(wǎng)絡(luò)）的處理 單元(例如，人工神經(jīng)元202)的示例200。例如，神經(jīng)元202可對應(yīng)于來自圖1的級102和106的 任一個神經(jīng)元。神經(jīng)元202可接收多個輸入信號這些輸入信號可以是該 神經(jīng)系統(tǒng)外部的信號、或是由同一神經(jīng)系統(tǒng)的其他神經(jīng)元所生成的信號、或這兩者。輸入信 號可以是實數(shù)值或復(fù)數(shù)值的電流或電壓。輸入信號可包括具有定點或浮點表示的數(shù)值?？?通過突觸連接將這些輸入信號遞送到神經(jīng)元202,這些突觸連接根據(jù)可調(diào)節(jié)的突觸權(quán)重 206^206^^0對這些信號進行縮放，其中N可以是神經(jīng)元202的輸入連接的總數(shù)。
[0046] 神經(jīng)元202可組合這些經(jīng)縮放的輸入信號，并且使用組合的經(jīng)縮放輸入來生成輸 出信號208(即，信號y)。輸出信號208可以是實數(shù)值或復(fù)數(shù)值的電流或電壓。輸出信號可包 括具有定點或浮點表示的數(shù)值。隨后該輸出信號208可作為輸入信號傳遞至同一神經(jīng)系統(tǒng) 的其他神經(jīng)元、或作為輸入信號傳遞至同一神經(jīng)元202、或作為該神經(jīng)系統(tǒng)的輸出來傳遞。 [0047]處理單元(神經(jīng)元202)可由電路來仿真，并且其輸入和輸出連接可由具有突觸電 路的導(dǎo)線來仿真。處理單元、其輸入和輸出連接也可由軟件代碼來仿真。處理單元也可由電 路來仿真，而其輸入和輸出連接可由軟件代碼來仿真。在一方面，計算網(wǎng)絡(luò)中的處理單元可 包括模擬電路。在另一方面，處理單元可包括數(shù)字電路。在又一方面，處理單元可包括具有 模擬和數(shù)字組件兩者的混合信號電路。計算網(wǎng)絡(luò)可包括任何前述形式的處理單元。使用這 樣的處理單元的計算網(wǎng)絡(luò)(神經(jīng)系統(tǒng)或神經(jīng)網(wǎng)絡(luò))可用在大范圍的應(yīng)用中，諸如圖像和模式 識別、機器學(xué)習(xí)、電機控制、及類似應(yīng)用等。
[0048] 在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程期間，突觸權(quán)重(例如，來自圖1的權(quán)重 和/或來自圖2的權(quán)重206^206〃)可用隨機值來初始化并根據(jù)學(xué)習(xí)規(guī)則而增大或減小。學(xué)習(xí) 規(guī)則的某些示例是尖峰定時依賴型可塑性（STDP)學(xué)習(xí)規(guī)則、Hebb規(guī)則、Oja規(guī)則、 Bienenstock-Copper-Munro(BCM)規(guī)則等。很多時候，這些權(quán)重可穩(wěn)定至兩個值（即，權(quán)重的 雙峰分布)之一。該效應(yīng)可被用于減少每突觸權(quán)重的位數(shù)、提高從/向存儲突觸權(quán)重的存儲 器讀取和寫入的速度、以及降低突觸存儲器的功耗。
[0049] 突觸類型
[0050] 在神經(jīng)網(wǎng)絡(luò)的硬件和軟件模型中，突觸相關(guān)功能的處理可基于突觸類型。突觸類 型可包括非可塑突觸(對權(quán)重和延遲沒有改變）、可塑突觸(權(quán)重可改變）、結(jié)構(gòu)化延遲可塑 突觸（權(quán)重和延遲可改變）、全可塑突觸（權(quán)重、延遲和連通性可改變）、以及基于此的變型 (例如，延遲可改變，但在權(quán)重或連通性方面沒有改變）。此舉的優(yōu)點在于處理可以被細分。 例如，非可塑突觸不會要求執(zhí)行可塑性功能(或等待此類功能完成）。類似地，延遲和權(quán)重可 塑性可被細分成可一起或分開地、順序地或并行地運作的操作。不同類型的突觸對于適用 的每一種不同的可塑性類型可具有不同的查找表或公式以及參數(shù)。因此，這些方法將針對 該突觸的類型來訪問相關(guān)的表。
[0051] 還進一步牽涉到以下事實:尖峰定時依賴型結(jié)構(gòu)化可塑性可獨立于突觸可塑性地 來執(zhí)行。結(jié)構(gòu)化可塑性即使在權(quán)重幅值沒有改變的情況下(例如，如果權(quán)重已達最小或最大 值、或者其由于某種其他原因而不改變)也可執(zhí)行，因為結(jié)構(gòu)化可塑性（即，延遲改變的量） 可以是pre-post(突觸前-突觸后)尖峰時間差的直接函數(shù)。替換地，結(jié)構(gòu)化可塑性可被設(shè)為 權(quán)重改變量的函數(shù)或者可基于與權(quán)重或權(quán)重改變的界限有關(guān)的條件來設(shè)置。例如，突觸延 遲可僅在發(fā)生權(quán)重改變時或者在權(quán)重到達〇的情況下才改變，但在權(quán)重達到最大極限時不 改變。然而，具有獨立函數(shù)以使得這些過程能被并行化從而減少存儲器訪問的次數(shù)和交疊 可能是有利的。
[0052]突觸可塑性的確定
[0053]神經(jīng)元可塑性(或簡稱"可塑性"）是大腦中的神經(jīng)元和神經(jīng)網(wǎng)絡(luò)響應(yīng)于新的信息、 感官刺激、發(fā)展、損壞、或機能障礙而改變其突觸連接和行為的能力?？伤苄詫τ谏飳W(xué)中 的學(xué)習(xí)和記憶、以及對于計算神經(jīng)元科學(xué)和神經(jīng)網(wǎng)絡(luò)是重要的。已經(jīng)研究了各種形式的可 塑性，諸如突觸可塑性(例如，根據(jù)赫布理論）、尖峰定時依賴可塑性(STDP)、非突觸可塑性、 活動性依賴可塑性、結(jié)構(gòu)化可塑性和自身穩(wěn)態(tài)可塑性。
[0054] STDP是調(diào)節(jié)神經(jīng)元(諸如大腦中的那些神經(jīng)元)之間的突觸連接的強度的學(xué)習(xí)過 程。連接強度是基于特定神經(jīng)元的輸出與收到輸入尖峰（即，動作電位）的相對定時來調(diào)節(jié) 的。在STDP過程下，如果至某個神經(jīng)元的輸入尖峰平均而言傾向于緊挨在該神經(jīng)元的輸出 尖峰之前發(fā)生，則可發(fā)生長期增強(LTP)。于是使得該特定輸入在一定程度上更強。相反，如 果輸入尖峰平均而言傾向于緊接在輸出尖峰之后發(fā)生，則可發(fā)生長期抑壓(LTD)。于是使得 該特定輸入在一定程度上更弱，由此得名為"尖峰定時依賴可塑性"。因此，使得可能是突觸 后神經(jīng)元興奮原因的輸入甚至更有可能在將來作出貢獻，而使得不是突觸后尖峰的原因的 輸入較不可能在將來作出貢獻。該過程繼續(xù)，直至初始連接集的子集保留，而所有其他連接 的影響減輕至0或接近0。
[0055] 由于神經(jīng)元一般在其許多輸入都在一短時段內(nèi)發(fā)生（即，足以累積到引起輸出）時 產(chǎn)生輸出尖峰，因此通常保留下來的輸入子集包括傾向于在時間上相關(guān)的那些輸入。另外， 由于在輸出尖峰之前發(fā)生的輸入被加強，因此提供對相關(guān)性的最早充分累積指示的輸入將 最終變成至該神經(jīng)元的最后輸入。
[0056] STDP學(xué)習(xí)規(guī)則可因變于突觸前神經(jīng)元的尖峰時間tpre與突觸后神經(jīng)元的尖峰時間 tpcist之間的時間差（即，t = tpcist-tpre)來有效地適配將該突觸前神經(jīng)元連接到該突觸后神經(jīng) 元的突觸的突觸權(quán)重。STDP的典型公式是若該時間差為正（突觸前神經(jīng)元在突觸后神經(jīng)元 之前激發(fā))則增大突觸權(quán)重（即，增強該突觸），以及若該時間差為負（突觸后神經(jīng)元在突觸 前神經(jīng)元之前激發(fā))則減小突觸權(quán)重(即，抑壓該突觸）。
[0057]在STDP過程中，突觸權(quán)重隨時間推移的改變可通常使用指數(shù)衰退來達成，如由下 式給出的：
[0058] ' Ο)
[0059 ]其中k4Pk_分別是針對正和負時間差的時間常數(shù)，a，a_是對應(yīng)的縮放幅值，以及 μ是可應(yīng)用于正時間差和/或負時間差的偏移。
[0060]圖3解說根據(jù)STDP，突觸權(quán)重因變于突觸前尖峰(pre)和突觸后尖峰(post)的相對 定時而改變的示例曲線圖300。如果突觸前神經(jīng)元在突觸后神經(jīng)元之前激發(fā)，則可使對應(yīng)的 突觸權(quán)重增大，如曲線圖300的部分302中所解說的。該權(quán)重增大可被稱為該突觸的LTP。從 曲線圖部分302可觀察到，LTP的量可因變于突觸前和突觸后尖峰時間之差而大致呈指數(shù)地 下降。相反的激發(fā)次序可減小突觸權(quán)重，如曲線圖300的部分304中所解說的，從而導(dǎo)致該突 觸的LTD。
[0061 ]如圖3中的曲線圖300中所解說的，可向STDP曲線圖的LTP(因果性)部分302應(yīng)用負 偏移軸的交越點306(y = 0)可被配置成與最大時間滯后重合以考慮到來自層i-Ι (突觸 前層）的各因果性輸入的相關(guān)性。在基于幀的輸入（即，輸入是按包括尖峰或脈沖的特定歷 時的幀的形式）的情形中，可計算偏移值μ以反映幀邊界。該幀中的第一輸入尖峰(脈沖）可 被視為隨時間衰退，要么如直接由突觸后電位所建模地、要么以對神經(jīng)狀態(tài)的影響的形式 而隨時間衰退。如果該幀中的第二輸入尖峰(脈沖)被視為與特定時間幀關(guān)聯(lián)或相關(guān)，則可 通過偏移STDP曲線的一個或多個部分以使得相關(guān)時間中的值可以不同（例如，對于大于一 個幀為負，而對于小于一個幀為正)來使該幀之前和之后的相關(guān)時間在該時間幀邊界處被 分開并在可塑性方面被不同地對待。例如，負偏移μ可被設(shè)為偏移LTP以使得曲線實際上在 大于幀時間的pre-post時間處變得低于零并且它由此為LTD而非LTP的一部分。
[0062]神經(jīng)元模型及操作
[0063]存在一些用于設(shè)計有用的尖峰發(fā)放神經(jīng)元模型的一般原理。良好的神經(jīng)元模型在 以下兩個計算態(tài)相(regime)方面可具有豐富的潛在行為:重合性檢測和功能性計算。此外， 良好的神經(jīng)元模型應(yīng)當(dāng)具有允許時間編碼的兩個要素:輸入的抵達時間影響輸出時間，以 及重合性檢測能具有窄時間窗。最后，為了在計算上是有吸引力的，良好的神經(jīng)元模型在連 續(xù)時間上可具有閉合形式解，并且具有穩(wěn)定的行為，包括在靠近吸引子和鞍點之處。換言 之，有用的神經(jīng)元模型是可實踐且可被用于建模豐富的、現(xiàn)實的且生物學(xué)一致的行為并且 可被用于對神經(jīng)電路進行工程設(shè)計和反向工程兩者的神經(jīng)元模型。
[0064] 神經(jīng)元模型可取決于事件，諸如輸入抵達、輸出尖峰或其他事件，無論這些事件是 內(nèi)部的還是外部的。為了達成豐富的行為庫，能展現(xiàn)復(fù)雜行為的狀態(tài)機可能是期望的。如果 事件本身的發(fā)生在撇開輸入貢獻(若有）的情況下能影響狀態(tài)機并約束在該事件之后的動 態(tài)，則該系統(tǒng)的將來狀態(tài)并非僅是狀態(tài)和輸入的函數(shù)，而是狀態(tài)、事件和輸入的函數(shù)。
[0065] 在一方面，神經(jīng)元η可被建模為尖峰帶漏泄積分激發(fā)(LIF)神經(jīng)元，其膜電壓vn(t) 由以下動態(tài)來管控：
[0066] (2)
[0067] 其中α和β是參數(shù)，Wm,n是將突觸前神經(jīng)元m連接至突觸后神經(jīng)元 n的突觸的突觸權(quán) 重，以及ym(t)是神經(jīng)元m的尖峰輸出，其可根據(jù)Δ ","被延遲達樹突或軸突延遲才抵達神經(jīng) 元η的胞體。
[0068] 應(yīng)注意，從建立了對突觸后神經(jīng)元的充分輸入的時間直至突觸后神經(jīng)元實際上激 發(fā)的時間之間存在延遲。在動態(tài)尖峰神經(jīng)元模型(諸如Izhikevich簡單模型）中，如果在去 極化閾值vt與峰值尖峰電壓v罐之間有差量，則可引發(fā)時間延遲。例如，在該簡單模型中，神 經(jīng)元胞體動態(tài)可由關(guān)于電壓和恢復(fù)的微分方程對來管控，即：
[0069] ， ?
[