用于控制大腦機(jī)器接口和神經(jīng)假肢系統(tǒng)的系統(tǒng)的制作方法
【專利說明】
[0001] 相關(guān)申請的交叉引用
[0002] 這是于2013年11月13日提交的美國臨時(shí)申請?zhí)?1/903,538、題為"A control and simulation architecture for application to brain machine interfaces and neural prosthetic systems(-種應(yīng)用于大腦機(jī)器接口和神經(jīng)假肢系統(tǒng)的控制和仿真分 層結(jié)構(gòu))"的非臨時(shí)專利申請。
[0003] 這還是于2013年11月13日提交的美國臨時(shí)申請?zhí)?1/903,526、題為"A goal-oriented sensorimotor controller for controlling musculoskeletal simulations with neural excitation commands(用于使用神經(jīng)激勵(lì)命令控制肌肉骨豁仿真的面向目 的的感覺運(yùn)動(dòng)控制器)"的非臨時(shí)專利申請。
技術(shù)領(lǐng)域
[0004] 本發(fā)明涉及一種機(jī)器人控制系統(tǒng)，更具體地涉及一種用于已知從神經(jīng)成像數(shù)據(jù)推 斷的運(yùn)動(dòng)意圖來控制機(jī)器人假肢裝置的系統(tǒng)。
【背景技術(shù)】
[0005] 大腦機(jī)器接口（BMI)和神經(jīng)假肢為受到脊髓損傷的人和被截肢者恢復(fù)功能提供了 很大希望，而且以完整的運(yùn)動(dòng)功能增大并提高了人的能力。在神經(jīng)成像以及在從神經(jīng)成像 數(shù)據(jù)解碼運(yùn)動(dòng)意圖方面進(jìn)展很大。然而，關(guān)于假肢裝置控制則進(jìn)展不大，大多數(shù)方案扎根于 常規(guī)的機(jī)器人控制。
[0006] 在BMI和神經(jīng)假肢研究中已存在許多工作，其涉及表層信號的解碼，用于通過外部 裝置在下游執(zhí)行運(yùn)動(dòng)命令（例如，參見所納入的參考文獻(xiàn)列表，參考文獻(xiàn)號1、9、11、12和 15)。該工作的大部分集中于神經(jīng)解碼，對假肢控制所施加的精確性不大。在控制機(jī)器人臂 假肢的情況下，運(yùn)動(dòng)軌跡典型地被轉(zhuǎn)換成關(guān)節(jié)命令并使用關(guān)節(jié)空間控制來執(zhí)行(例如，參見 參考文獻(xiàn)號11、12和15)。
[0007] 迄今，未提出公知的使用任務(wù)/姿勢分解的假肢控制系統(tǒng)。任務(wù)/姿勢分解與BMI中 的關(guān)節(jié)空間控制相比具有特別的優(yōu)點(diǎn)。任務(wù)/姿勢分解基于與編碼表層信號的方式(例如， 眼居中、手居中的笛卡爾坐標(biāo))類似的抽象。并且，它對涉及多個(gè)假肢的全身假肢控制和高 自由度運(yùn)動(dòng)是可通用化的。關(guān)節(jié)空間假肢控制由于其依靠逆向運(yùn)動(dòng)解決方案而在該能力方 面受到限制。另外，任務(wù)/姿勢分解允許基于使與執(zhí)行表層運(yùn)動(dòng)命令一致的重要目標(biāo)功能最 小化(例如，功率消耗，虛擬肌力等)指定姿勢行為。
[0008] 在將神經(jīng)形態(tài)計(jì)算分層結(jié)構(gòu)應(yīng)用于BMI和神經(jīng)假肢系統(tǒng)方面已存在許多工作。例 如，Dethier等人的工作集中于將人工尖峰脈沖神經(jīng)網(wǎng)絡(luò)用于解碼和濾波表層信號(基于卡 爾曼(Kalman)濾波器的解碼，使用端點(diǎn)運(yùn)動(dòng)作為狀態(tài)向量并使用神經(jīng)尖峰脈沖率作為測量 向量)而不是假肢控制(參見參考文獻(xiàn)號7)。
[0009] 另外，Bouganis和Shanahan的工作關(guān)注于使用人工尖峰脈沖神經(jīng)網(wǎng)絡(luò)控制機(jī)器人 臂;盡管他們的工作未涉及神經(jīng)假肢系統(tǒng)(參見專利文獻(xiàn)號2)。
[0010]其他研究者結(jié)合生物機(jī)械模型在神經(jīng)假肢仿真中進(jìn)行了工作(參見專利文獻(xiàn)號4、 5和8)。然而，盡管他們的工作將肌肉骨架模型實(shí)施于仿真中，然而這些工作的焦點(diǎn)在于仿 真并驗(yàn)證假肢裝置的控制。這樣，還是未公知一種除了假肢控制器以外還集成有感覺運(yùn)動(dòng) 控制器的系統(tǒng)。
[0011]因此，存在對這樣一種系統(tǒng)的不斷需求，該系統(tǒng)允許對不僅與生物和工程部件相 關(guān)聯(lián)、而且與生物和工程控制系統(tǒng)相關(guān)聯(lián)的接口問題的增強(qiáng)模型化和分析。并且，存在對這 樣一種系統(tǒng)級分層結(jié)構(gòu)的需求，該系統(tǒng)級分層結(jié)構(gòu)用于按照姿勢準(zhǔn)則將人工尖峰脈沖神經(jīng) 網(wǎng)絡(luò)應(yīng)用于運(yùn)動(dòng)映射的學(xué)習(xí)，用于控制在BMI和神經(jīng)假肢系統(tǒng)中的運(yùn)動(dòng)。

【發(fā)明內(nèi)容】

[0012] 本發(fā)明描述了一種用于已知從神經(jīng)成像數(shù)據(jù)推斷的運(yùn)動(dòng)意圖來控制扭矩控制假 肢裝置的系統(tǒng)。該系統(tǒng)包括一個(gè)或更多個(gè)處理器和一個(gè)存儲(chǔ)器，在所述存儲(chǔ)器上編碼有可 執(zhí)行指令，使得一旦執(zhí)行所述指令，則所述一個(gè)或更多個(gè)處理器執(zhí)行若干操作，例如從神經(jīng) 成像裝置接收用戶的神經(jīng)成像數(shù)據(jù)。所述神經(jīng)成像數(shù)據(jù)則被解碼以推斷用戶的空間運(yùn)動(dòng)意 圖，其中，所述空間運(yùn)動(dòng)意圖包括以坐標(biāo)系表示的所述扭矩控制假肢裝置的期望運(yùn)動(dòng)命令。 之后，所述系統(tǒng)使用假肢控制器執(zhí)行所述運(yùn)動(dòng)命令作為扭矩命令，以使所述扭矩控制假肢 裝置根據(jù)用戶的所述空間運(yùn)動(dòng)意圖來運(yùn)動(dòng)。
[0013] 在另一個(gè)方面中，所述系統(tǒng)包括至少一個(gè)扭矩控制假肢裝置，所述扭矩控制假肢 裝置與所述一個(gè)或多個(gè)處理器可操作地連接。
[0014] 在又一個(gè)方面中，所述系統(tǒng)執(zhí)行在所述控制器中接收與所述假肢裝置的當(dāng)前狀態(tài) 相關(guān)的感覺信息的操作。
[0015] 另外，在執(zhí)行所述運(yùn)動(dòng)命令時(shí)，使用任務(wù)分解和姿勢分解來執(zhí)行所述運(yùn)動(dòng)命令，其 中，所述任務(wù)分解是任務(wù)空間控制，所述姿勢分解被公式化為成本位能(cost potential)， 所述成本位能表示成本函數(shù)。
[0016] 并且，在執(zhí)行所述運(yùn)動(dòng)命令時(shí)，所述運(yùn)動(dòng)命令被執(zhí)行作為扭矩命令，所述扭矩命令 生成期望任務(wù)空間控制，同時(shí)使成本位能最小化。
[0017] 在又一個(gè)方面中，在執(zhí)行所述運(yùn)動(dòng)命令時(shí)，使用尖峰脈沖神經(jīng)網(wǎng)絡(luò)執(zhí)行所述運(yùn)動(dòng) 命令。
[0018] 在另一個(gè)方面中，所述假肢控制器是神經(jīng)形態(tài)假肢控制器并且還包括:神經(jīng)形態(tài) 尖峰脈沖編碼器，用于將所述運(yùn)動(dòng)命令表示為一組神經(jīng)尖峰脈沖;神經(jīng)形態(tài)運(yùn)動(dòng)映射器，用 于將表示笛卡爾位移的神經(jīng)尖峰脈沖映射到表示配置(關(guān)節(jié))空間位移的神經(jīng)尖峰脈沖;尖 峰脈沖解碼器，用于解碼所述表示配置(關(guān)節(jié))空間位移的神經(jīng)尖峰脈沖并生成關(guān)節(jié)空間命 令；以及關(guān)節(jié)伺服器，用于執(zhí)行關(guān)節(jié)空間命令。
[0019] 在又一個(gè)方面中，所述系統(tǒng)進(jìn)行以下操作:接收所述假肢裝置的模型和用戶的肌 肉骨架模型，其中，所述肌肉骨架模型包括肌肉骨架動(dòng)力學(xué)，所述肌肉骨架動(dòng)力學(xué)包括穩(wěn)態(tài) 腱力；已知所述運(yùn)動(dòng)命令來使用感覺運(yùn)動(dòng)控制器生成仿真神經(jīng)激勵(lì)，以便在肌肉骨架仿真 中驅(qū)動(dòng)一組肌肉激活；以及已知所述運(yùn)動(dòng)命令來使用所述假肢控制器生成仿真致動(dòng)器關(guān)節(jié) 扭矩，以便驅(qū)動(dòng)仿真假肢裝置。
[0020] 最后，本發(fā)明還涉及一種計(jì)算機(jī)程序產(chǎn)品和計(jì)算機(jī)實(shí)施方法。所述計(jì)算機(jī)程序產(chǎn) 品包括存儲(chǔ)在非暫時(shí)計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)可讀指令，所述計(jì)算機(jī)可讀指令可由一種 具有一個(gè)或更多個(gè)處理器的計(jì)算機(jī)執(zhí)行，使得一旦執(zhí)行所述指令，則所述一個(gè)或更多個(gè)處 理器執(zhí)行本文中所列舉的操作。替代地，所述計(jì)算機(jī)實(shí)施方法包括使計(jì)算機(jī)執(zhí)行這些指令 并執(zhí)行所產(chǎn)生的操作的動(dòng)作。
【附圖說明】
[0021] 本發(fā)明的目的、特征和優(yōu)點(diǎn)將結(jié)合參照附圖從以下對本發(fā)明的各種方面的詳細(xì)說 明中明白，在附圖中：
[0022] 圖1是示出根據(jù)本發(fā)明的原理的系統(tǒng)部件的框圖；
[0023]圖2是實(shí)施本發(fā)明的一個(gè)方面的計(jì)算機(jī)程序產(chǎn)品的圖；
[0024] 圖3是示出如何解碼來自大腦的高級運(yùn)動(dòng)意圖并將任務(wù)級運(yùn)動(dòng)命令傳送到假肢裝 置控制器的流程圖，該假肢裝置控制器則使用任務(wù)/姿勢分解執(zhí)行該運(yùn)動(dòng)命令；
[0025] 圖4A是由14塊肌肉致動(dòng)的人臂的簡化模型；
[0026]圖4B是示出圖4A所示的肌肉的相應(yīng)的最大等長收縮力（isometric force)f。和最 佳纖維長度
[0027] 圖5A是用作用于控制假肢臂的生理模板的人臂的冗余肌肉致動(dòng)模型的示圖；
[0028] 圖5B是示出關(guān)節(jié)運(yùn)動(dòng)的時(shí)間歷史、同時(shí)進(jìn)行圖5A所示的模型的仿真運(yùn)行的曲線 圖；
[0029] 圖5C是示出手運(yùn)動(dòng)的時(shí)間歷史、同時(shí)進(jìn)行圖5A所示的模型的仿真運(yùn)行的曲線圖；
[0030] 圖f5D是示出肌力的時(shí)間歷史、同時(shí)進(jìn)行圖5A所示的模型的仿真運(yùn)行的曲線圖；
[0031] 圖6A是示出通過僅針對由Δ q = J#A X給出的逆向映射的獨(dú)特解決方案訓(xùn)練網(wǎng)絡(luò) 來解析運(yùn)動(dòng)映射冗余的人工尖峰脈沖神經(jīng)網(wǎng)絡(luò)的流程圖；
[0032]圖6B是示出通過明顯禁止學(xué)習(xí)成本高的解決方案來解析運(yùn)動(dòng)映射冗余的人工尖 峰脈沖神經(jīng)網(wǎng)絡(luò)的流程圖；
[0033]圖7是示出如何解碼來自大腦的高級運(yùn)動(dòng)意圖并將任務(wù)級運(yùn)動(dòng)命令傳送到假肢裝 置控制器的流程圖；
[0034]圖8是示出如何將已解碼的表層輸出發(fā)送到仿真假肢控制器和仿真感覺運(yùn)動(dòng)控制 器的流程圖；
[0035]圖9是示出與運(yùn)動(dòng)控制問題相關(guān)聯(lián)的神經(jīng)和肌肉骨架生理的流程圖；
[0036]圖10是示出圖9的系統(tǒng)級抽象的功能框圖，示出神經(jīng)和肌肉骨架生理的抽象表示；
[0037] 圖11是示出主動(dòng)狀態(tài)肌腱模型的示圖，其中，主動(dòng)可收縮元件和被動(dòng)粘彈性元件 是并行，并且被動(dòng)彈性腱元件是串行；
[0038] 圖12是示出神經(jīng)肌肉和肌肉骨架系統(tǒng)(前饋路徑)的示圖；
[0039] 圖13是任務(wù)級感覺運(yùn)動(dòng)控制器的示圖；
[0040] 圖14是示出神經(jīng)和肌肉骨架生理的抽象表示的功能框圖；
[0041] 圖15是示出神經(jīng)肌肉和肌肉骨架系統(tǒng)(前饋路徑）的示圖，示出使用一組完整約束 和拉格朗日乘數(shù)增大的肌肉骨架系統(tǒng)動(dòng)力學(xué)；
[0042] 圖16是約束任務(wù)級感覺運(yùn)動(dòng)控制器的示圖；以及
[0043] 圖17是約束任務(wù)級感覺運(yùn)動(dòng)控制器的示圖，該任務(wù)級感覺運(yùn)動(dòng)控制器生成在存在 完整系統(tǒng)約束的情況下與輸入運(yùn)動(dòng)命令一致的運(yùn)動(dòng)。
【具體實(shí)施方式】
[0044] 本發(fā)明涉及一種機(jī)器人控制系統(tǒng)，更具體地涉及一種用于已知從神經(jīng)成像數(shù)據(jù)推 斷的運(yùn)動(dòng)意圖來控制機(jī)器人假肢裝置的系統(tǒng)。以下說明的提出能使本行業(yè)普通技術(shù)人員做 出并使用本發(fā)明，并將其納入在具體應(yīng)用的范圍中。各種修改以及在不同應(yīng)用中各種使用 將對本行業(yè)人員是顯而易見的，并且在本文中定義的一般原理可以應(yīng)用于范圍廣泛的方 面。這樣，本發(fā)明意圖不是受限于所提出的方面，而是被賦予與本文中公開的原理和新穎性 特征一致的最寬范圍。
[0045] 在以下詳細(xì)說明中，提出了眾多特定細(xì)節(jié)，以便提供對本發(fā)明的更充分理解。然 而，對本行業(yè)技術(shù)人員來說顯而易見的是，本發(fā)明可以在不必受限于這些特定細(xì)節(jié)的情況 下來實(shí)施。在其他情況中，眾所周知的結(jié)構(gòu)和裝置以框圖形式顯示，而不是以詳圖顯示，以 便避免使本發(fā)明含糊不清。
[0046]讀者要注意與本說明書一并提交并且與本說明書一起公開公布審查的所有證件 和文件，并且所有這些證件和文件的內(nèi)容被納入在本文中以供參考。本說明書中公開的所 有特征(包括任何所附權(quán)利要求、摘要和附圖）可以由達(dá)到相同、同等或者類似目的的替代 特征來替換，除非另有明確規(guī)定。這樣，除非另有明確規(guī)定，所公開的各特征僅是同等或類 似特征的通用系列的一例。
[0047] 并且，在未明顯規(guī)定用于進(jìn)行特定功能的"裝置"或者用于進(jìn)行特定功能的"步驟" 的權(quán)利要求中的任何要素按照在35U.S.C.第112條、第6款規(guī)定不應(yīng)被解釋為"裝置"或"步 驟"。特別是，在本文中的權(quán)利要求中的"步驟"或"動(dòng)作"的使用，其意圖不是援引35U.S.C. 第112條、第6款的規(guī)定。
[0048] 在詳細(xì)描述本發(fā)明之前，首先提供一份所納入的參考文獻(xiàn)列表。然后，提供對本發(fā) 明的各種主要方面的描述。接著，向讀者介紹本發(fā)明的一般理解。最后，提供本發(fā)明的細(xì)節(jié)， 以便了解特定方面。
[0049] (1)所納入的參考文獻(xiàn)列表
[0050]以下的參考文獻(xiàn)被引用在本申請全文中。為了清楚和方便起見，參考文獻(xiàn)在本文 中被列舉為供讀者用的中心資源。從而以下參考文獻(xiàn)完整包含在本文中以供參考。參考文 獻(xiàn)通過參照相應(yīng)的參考文獻(xiàn)編號而被引用在本申請中。
[0051 ] 1.Andersen,R.A.,Hwang,E.J.,&Mulliken,G.H.,(2010),Cognitive neural prosthetics，Annual review of psychology,61,169.
[0052] 2·Bouganis，A·，&Shanahan，M·，（2010，July)，Training a spiking neural network to control a 4_DoF robotic arm based on spike timing-de