遠程地控制和監(jiān)視神經模型執(zhí)行的方法和裝置的制造方法
【專利說明】遠程地控制和監(jiān)視神經模型執(zhí)行的方法和裝置
[0001] 相關申請的交叉引用
[0002] 本專利申請要求于2013年10月9日提交的美國臨時申請No. 61/888，727的優(yōu)先權， 該臨時申請被轉讓給本申請受讓人并由此通過援引全部明確納入于此。
[0003] 背景
[0004] 領域
[0005] 本公開的一些方面一般涉及人工神經系統(tǒng)，且更具體地涉及可被用來遠程地監(jiān)視 和控制這樣的系統(tǒng)的方法和裝置。
[0006] 背景
[0007] 可包括一群互連的人工神經元（即神經元模型）的人工神經網絡是一種計算設備 或者表示將由計算設備執(zhí)行的方法。人工神經網絡可具有生物學神經網絡中的對應的結構 和/或功能。然而，人工神經網絡可為其中傳統(tǒng)計算技術是麻煩的、不切實際的、或不勝任的 某些應用提供創(chuàng)新且有用的計算技術。由于人工神經網絡能從觀察中推斷出功能，因此這 樣的網絡在因任務或數據的復雜度使得通過常規(guī)技術來設計該功能較為麻煩的應用中是 特別有用的。
[0008] 一種類型的人工神經網絡是尖峰（spiking)神經網絡，其將時間概念以及神經元 狀態(tài)和突觸狀態(tài)納入到其工作模型中，由此提供了豐富的行為集，在神經網絡中能從該行 為集涌現出計算功能。尖峰神經網絡基于以下概念:神經元基于該神經元的狀態(tài)在一個或 多個特定時間激發(fā)或"發(fā)放尖峰"，并且該時間對于神經元功能而言是重要的。當神經元激 發(fā)時，它生成一尖峰，該尖峰行進至其他神經元，這些其他神經元繼而可基于接收到該尖峰 的時間來調整它們的狀態(tài)。換言之，信息可被編碼在神經網絡中的尖峰的相對或絕對定時 中。
[0009] 概述
[0010] 本公開的一些方面一般涉及用于例如經由因特網遠程地控制和監(jiān)視神經模型執(zhí) 行的方法和裝置。本文呈現的技術提供了示例協(xié)議并定義了可在客戶機(例如，web客戶機） 和套接字(例如，web套接字)之間交換的消息，以模擬地或真實地控制神經模型執(zhí)行。提供 了可幫助避免用于控制和數據交換的附加處理的各示例結構。
[0011] 本公開的一些方面提供一種用于允許通過客戶機設備遠程控制人工神經系統(tǒng)的 執(zhí)行的方法。該方法一般包括:建立與客戶機設備的遠程連接;經由遠程連接接收用于控制 人工神經系統(tǒng)的執(zhí)行的命令;以及根據該命令來控制人工神經系統(tǒng)的執(zhí)行。
[0012] 本公開的某些方面提供了一種用于遠程地控制人工神經系統(tǒng)的執(zhí)行的方法。該方 法一般包括:建立與人工神經系統(tǒng)的遠程連接；以及經由遠程連接發(fā)出用于控制人工神經 系統(tǒng)的執(zhí)行的命令。
[0013] 本公開的某些方面還提供用于執(zhí)行以上描述的操作的各種裝置和程序產品。
[0014] 附圖簡述
[0015] 為了能詳細理解本公開的以上陳述的特征所用的方式，可參照各方面來對以上簡 要概述的內容進行更具體的描述，其中一些方面在附圖中解說。然而應該注意，附圖僅解說 了本公開的某些典型方面，故不應被認為限定其范圍，因為本描述可允許有其他等同有效 的方面。
[0016] 圖1解說了根據本公開的某些方面的示例神經元網絡。
[0017] 圖2解說了根據本公開的某些方面的計算網絡(神經系統(tǒng)或神經網絡）的示例處理 單元(神經元）。
[0018] 圖3解說了根據本公開的某些方面的示例尖峰定時依賴可塑性(STDP)曲線。
[0019] 圖4是根據本公開的某些方面的用于人工神經元的狀態(tài)的示例曲線圖，其解說用 于定義神經元的行為的正態(tài)相和負態(tài)相。
[0020] 圖5A-5C概念上解說根據本公開的一些方面的用于控制和數據命令的示例消息 流。
[0021] 圖6解說根據本公開的某些方面的被遠程地控制的神經模型執(zhí)行的示例命令狀態(tài) 圖。
[0022] 圖7A-7D解說根據本公開的某些方面的示例消息協(xié)議和命令。
[0023] 圖8是根據本公開的某些方面的用于遠程地控制神經模型的執(zhí)行的示例操作的流 程圖。
[0024]圖8A解說了能夠執(zhí)行圖8中所示的操作的示例裝置。
[0025] 圖9是根據本公開的某些方面的用于執(zhí)行神經模型的示例操作的流程圖，其中該 執(zhí)行是被遠程地控制的。
[0026] 圖9A解說了能夠執(zhí)行圖9中所示的操作的示例裝置。
[0027]圖10解說了根據本公開的某些方面的用于使用通用處理器來操作人工神經系統(tǒng) 的示例實現。
[0028]圖11解說了根據本公開的某些方面的用于操作人工神經系統(tǒng)的示例實現，其中存 儲器可與個體分布式處理單元對接。
[0029]圖12解說了根據本公開的某些方面的用于基于分布式存儲器和分布式處理單元 來操作人工神經系統(tǒng)的示例實現。
[0030]圖13解說了根據本公開的某些方面的神經網絡的示例實現。
[0031] 詳細描述
[0032] 本公開的各方面提供可被用來例如經由因特網遠程地控制和監(jiān)視神經模型執(zhí)行 的方法和裝置。本文呈現的技術提供了示例協(xié)議并定義了可在客戶機(例如，web客戶機)和 套接字（例如，web套接字）之間交換的消息，以控制任何類型的神經模型的執(zhí)行。圖1-4和 10-13描述了可以使用本文呈現的技術來遠程地監(jiān)視和控制的各種類型的神經模型的說明 性而非限制性的示例。
[0033] 以下參照附圖更全面地描述本公開的各個方面。然而，本公開可用許多不同形式 來實施并且不應解釋為被限定于本公開通篇給出的任何具體結構或功能。相反，提供這些 方面是為了使得本公開將是透徹和完整的，并且其將向本領域技術人員完全傳達本公開的 范圍?；诒疚闹械慕虒?，本領域技術人員應領會，本公開的范圍旨在覆蓋本文中所披露的 本公開的任何方面，不論其是與本公開的任何其他方面相獨立地實現還是組合地實現的。 例如，可以使用本文所闡述的任何數目的方面來實現裝置或實踐方法。另外，本公開的范圍 旨在覆蓋使用作為本文中所闡述的本公開的各個方面的補充或者另外的其他結構、功能 性、或者結構及功能性來實踐的此類裝置或方法。應當理解，本文中所披露的本公開的任何 方面可由權利要求的一個或多個元素來實施。
[0034] 措辭"示例性"在本文中用于表示"用作示例、實例或解說"。本文中描述為"示例 性"的任何方面不必被解釋為優(yōu)于或勝過其他方面。
[0035] 盡管本文描述了特定方面，但這些方面的眾多變體和置換落在本公開的范圍之 內。雖然提到了優(yōu)選方面的一些益處和優(yōu)點，但本公開的范圍并非旨在被限定于特定益處、 用途或目標。相反，本公開的各方面旨在能寬泛地應用于不同的技術、系統(tǒng)配置、網絡和協(xié) 議，其中一些作為示例在附圖以及以下對優(yōu)選方面的描述中解說。詳細描述和附圖僅僅解 說本公開而非限定本公開，本公開的范圍由所附權利要求及其等效技術方案來定義。
[0036] 示例神經系統(tǒng)
[0037] 圖1解說根據本公開的某些方面的具有多級神經元的示例神經系統(tǒng)100。神經系統(tǒng) 100可包括一級神經元102,該級神經元102通過突觸連接網絡104(即，前饋連接)來連接到 另一級神經元106。為簡單起見，圖1中僅解說了兩級神經元，但在典型的神經系統(tǒng)中可存在 更少或更多級神經元。應注意，一些神經元可通過側向連接來連接至同層中的其他神經元。 此外，一些神經元可通過反饋連接來后向連接至先前層中的神經元。
[0038] 如圖1所解說的，級102中的每一神經元可接收輸入信號108,輸入信號108可以是 由前一級（圖1中未示出）的多個神經元所生成的。信號108可表示至級102的神經元的輸入 (例如，輸入電流）。此類輸入可在神經元膜上累積以對膜電位進行充電。當膜電位達到其閾 值時，該神經元可激發(fā)并生成輸出尖峰，該輸出尖峰將被傳遞到下一級神經元（例如，級 106)。此類行為可在硬件和/或軟件(包括模擬和數字實現）中進行仿真或模擬。
[0039] 在生物學神經元中，在神經元激發(fā)時生成的輸出尖峰被稱為動作電位。該電信號 是相對迅速、瞬態(tài)、全有或全無的神經脈沖，其具有約為100mV的振幅和約為lms的歷時。在 具有一系列連通的神經元(例如，尖峰從圖1中的一級神經元傳遞至另一級）的神經系統(tǒng)的 特定方面，每個動作電位都具有基本上相同的振幅和歷時，因此該信號中的信息僅由尖峰 的頻率和數目（或尖峰的時間）來表示，而不由振幅來表示。動作電位所攜帶的信息由尖峰、 發(fā)放尖峰的神經元、以及該尖峰相對于一個或多個其他尖峰的時間來決定。
[0040] 尖峰從一級神經元向另一級神經元的傳遞可通過突觸連接(或簡稱"突觸"）網絡 104來達成，如圖1所解說的。突觸104可從級102的神經元(相對于突觸104而言的突觸前神 經元）接收輸出信號（即尖峰）。對于某些方面，這些信號可根據可調節(jié)突觸權重 wiM+1) ... (其中P是級102和106的神經元之間的突觸連接的總數）來縮放。對 于其它方面，突觸104可以不應用任何突觸權重。此外，（經縮放的）信號可被組合以作為級 106中每個神經元(相對于突觸104而言的突觸后神經元）的輸入信號。級106中的每個神經 元可基于對應的組合輸入信號來生成輸出尖峰110。隨后可使用另一突觸連接網絡（圖1中 未示出)將這些輸出尖峰110傳遞到另一級神經元。
[0041 ]生物學突觸可被分類為電的或化學的。電突觸主要用于發(fā)送興奮性信號，而化學 突觸可調停突觸后神經元中的興奮性或抑制性(超極化)動作，并且還可用于放大神經元信 號。興奮性信號通常使膜電位去極化（即，相對于靜息電位增大膜電位）。如果在某個時段內 接收到足夠的興奮性信號以使膜電位去極化到高于閾值，則在突觸后神經元中發(fā)生動作電 位。相反，抑制性信號一般使膜電位超極化（即，降低膜電位）。抑制性信號如果足夠強則可 抵消掉興奮性信號之和并阻止膜電位到達閾值。除了抵消掉突觸興奮以外，突觸抑制還可 對自發(fā)活躍神經元施加強力的控制。自發(fā)活動神經元是指在沒有進一步輸入的情況下（例 如，由于其動態(tài)或反饋而)發(fā)放尖峰的神經元。通過壓制這些神經元中的動作電位的自發(fā)生 成，突觸抑制可對神經元中的激發(fā)模式進行定形，這一般被稱為雕刻。取決于期望的行為， 各種突觸104可充當興奮性或抑制性突觸的任何組合。
[0042] 神經系統(tǒng)100可由通用處理器、數字信號處理器(DSP)、專用集成電路(ASIC)、現場 可編程門陣列(FPGA)或其他可編程邏輯器件(PLD)、分立的門或晶體管邏輯、分立的硬件組 件、由處理器執(zhí)行的軟件模塊、或其任何組合來仿真。神經系統(tǒng)100可用在大范圍的應用中， 諸如圖像和模式識別、機器學習、電機控制、及類似應用等。神經系統(tǒng)100中的每個神經元 (或神經元模型)都可以被實現為神經元電路。被充電至發(fā)起輸出尖峰的閾值的神經元膜可 被實現為例如對流經其的電流進行積分的電容器。
[004