基于異步并行誘發(fā)策略的混合范式腦-機(jī)接口的制作方法
【專利摘要】本發(fā)明涉及腦?機(jī)接口技術(shù)領(lǐng)域，為誘發(fā)出更加穩(wěn)定的腦電特征信號，得到完善的腦?機(jī)接口系統(tǒng)，本發(fā)明采用的技術(shù)方案是，基于異步并行誘發(fā)策略的混合范式腦?機(jī)接口，利用現(xiàn)場可編程門陣列FPGA產(chǎn)生信號控制LED閃爍刺激模塊產(chǎn)生視覺刺激，采集被試者的腦電信號，經(jīng)由腦電放大器放大，同時(shí)結(jié)合FPGA產(chǎn)生的信號，通過USB傳遞到計(jì)算機(jī)進(jìn)行進(jìn)行腦電分類識別，其中，F(xiàn)PGA控制若干LED閃爍刺激模塊，F(xiàn)PGA產(chǎn)生信號為SSVEP信號，SSVEP信號使各閃爍刺激模塊按各自頻率異步誘發(fā)SSVEP?B特征和阻斷，且與P300并行誘發(fā)，在計(jì)算機(jī)上融合、進(jìn)行腦電分類識別。本發(fā)明主要應(yīng)用于腦?機(jī)接口設(shè)備設(shè)計(jì)制造場合。
【專利說明】
基于異步并行誘發(fā)策略的混合范式腦-機(jī)接口
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及腦-機(jī)接口技術(shù)領(lǐng)域，具體講，涉及基于異步并行誘發(fā)策略的混合范式 腦-機(jī)接口。
【背景技術(shù)】
[0002] 腦-計(jì)算機(jī)接口（Brain-Computer Interface ,BCI)簡稱腦-機(jī)接口，是指大腦不依 賴于自身外周神經(jīng)和骨骼肌肉等常規(guī)輸出手段而僅憑大腦思維信息通過計(jì)算機(jī)控制外部 設(shè)備的新技術(shù)。BCI技術(shù)的出現(xiàn)不僅為大腦提供了一種全新的對外信息交流和控制通路，也 為肢體殘障或語音系統(tǒng)受損而難與外界交流的人群提供了新的溝通途徑。BCI要求系統(tǒng)能 有效誘發(fā)使用者對外信息交流和控制意愿、準(zhǔn)確檢測其思維信息并及時(shí)轉(zhuǎn)換成相關(guān)指令。 對基于腦電（electroencephalography，EEG)的BCI系統(tǒng)而言，便捷高效的腦電誘發(fā)范式是 決定其能否實(shí)際應(yīng)用的初步關(guān)鍵，思維信息識別正確率（Accuracy)和信息傳輸速率 (Information Transfer Rate, ITR)是評價(jià)BCI系統(tǒng)性能的主要指標(biāo)。
[0003]穩(wěn)態(tài)視覺誘發(fā)電位（Steady-State Visual Evoked Potential，SSVEP)或事件相 關(guān)電位(Event-Related Potential，ERP)中P300成分的誘發(fā)范式常用于傳統(tǒng)基于EEG的BCI 系統(tǒng)，可以達(dá)到較高的識別正確率和信息傳輸速率，但因特征信號單一、控制指令集太小且 信息傳輸速率尚低而難以滿足實(shí)用需求。為增加腦電特征種類、擴(kuò)展指令規(guī)模并進(jìn)一步提 高BCI信息傳輸速率與系統(tǒng)性能，研究開發(fā)了結(jié)合不同范式以同時(shí)誘發(fā)多種腦電特征信號 的混合范式腦-機(jī)接口（Hybrid Brain-Computer Interface ,HBCI)系統(tǒng)并受到廣泛關(guān)注。 其常見的腦電組合誘發(fā)范式有SSVEP與P300信號，SSVEP與事件相關(guān)去同步(Event Related Desynchronizat ion，ERD)信號，或P300 與 ERD信號等。
[0004] HBCI系統(tǒng)因可采用多種腦電組合誘發(fā)范式而兼具各種范式的優(yōu)勢特征，并有擴(kuò)充 指令集能力使其能在執(zhí)行多任務(wù)的情況下進(jìn)一步提高系統(tǒng)工作效率。例如SSVEP與P300相 結(jié)合的SP-BCI系統(tǒng)可以同時(shí)誘發(fā)SSVEP和P300特征信號，能綜合SSVEP的高信噪比和異步兼 容特點(diǎn)以及P300的大指令集優(yōu)勢并具有提高信息傳輸速率的潛在能力。
[0005] 為提高SSVEP檢測性能，有人提出在SSVEP信號中加入阻斷(blocking)特征構(gòu)成 SSVEP-B(SSVEP-blocking)信號，再將SSVEP-B和P300信號組合構(gòu)成混合誘發(fā)范式的SP-BCI 拼寫系統(tǒng)，融合所誘發(fā)的這兩種信號特征可進(jìn)一步提高拼寫準(zhǔn)確度和信息傳輸速率。然而 因存在同步阻斷、阻斷時(shí)間過長等問題，使之信息傳輸效率仍難達(dá)理想。分析其原因還在于 尚未能充分發(fā)揮該系統(tǒng)可有多種腦電誘發(fā)組合范式的優(yōu)勢，仍未充分挖掘其可能提升信息 傳輸速率的內(nèi)在潛力。

【發(fā)明內(nèi)容】

[0006] 為克服現(xiàn)有技術(shù)的不足，增加在區(qū)分子speller時(shí)的可用信息特征，并誘發(fā)出更加 穩(wěn)定的腦電特征信號。進(jìn)一步研究可以得到完善的腦-機(jī)接口系統(tǒng)，獲得可觀的社會(huì)效益和 經(jīng)濟(jì)效益。本發(fā)明采用的技術(shù)方案是，基于異步并行誘發(fā)策略的混合范式腦-機(jī)接口，步驟 如下:利用現(xiàn)場可編程門陣列FPGA產(chǎn)生信號控制LED閃爍刺激模塊產(chǎn)生視覺刺激，采集被試 者的腦電信號，經(jīng)由腦電放大器放大，同時(shí)結(jié)合FPGA產(chǎn)生的時(shí)序信號，通過USB傳遞到計(jì)算 機(jī)進(jìn)行腦電分類識別，其中，F(xiàn)PGA控制若干LED閃爍刺激模塊，F(xiàn)PGA控制LED燈閃爍誘發(fā) SSVEP信號，同時(shí)控制各閃爍刺激模塊按各自頻率異步誘發(fā)SSVEP-B特和P300特征，在計(jì)算 機(jī)上融合SSVEP、SSVEP-B與P300特征信息進(jìn)行腦電分類識別。
[0007]腦電刺激誘發(fā)界面speller由六個(gè)獨(dú)立的LED閃爍刺激子模塊即子speller組成， 分別以14Hz、15Hz、16Hz、17Hz、18Hz、19Hz頻率各自獨(dú)立閃爍來產(chǎn)生視覺刺激，對于每一個(gè) 子speller，6個(gè)字符依次阻斷一次稱作一輪，而字符的每次阻斷稱作一個(gè)試次，不同 speller中字符的阻斷的順序是一樣的，但是對應(yīng)字符阻斷產(chǎn)生的時(shí)刻是不同的。
[0008] 區(qū)分不同的speller具體公式為：
[0009] speller( i , t) =maxm(Ya) (4)
[0010] 公式⑷中Y= (yiy2~yd)，是測試字符的SSVEP信號的d維特征向量，a是由其他143 個(gè)字符的特征向量訓(xùn)練得到的分類器，也即由公式(2)計(jì)算得到，求得6個(gè)Ya值的最大值所 在位置即為該測試字符所在的speller;
[0011]
(2)
[0012] 其中，T表示轉(zhuǎn)置，i = l，2···. .，d，Y是特征矩陣，a是一個(gè)權(quán)向量，b = Ya，為使Ya-b 最小，即誤差最小，則需要求得使Js(a)值最小的權(quán)向量3,利用偽逆法，求得：
[0013] I = (YtY)-lYTb(3)〇
[0014] 本發(fā)明的特點(diǎn)及有益效果是：
[0015] 本發(fā)明提出了異步閃爍和異步阻斷的誘發(fā)策略，即不同刺激模塊中指令的閃爍和 阻斷按照各自的頻率進(jìn)行，互相不影響，從而增加了在區(qū)分子speller時(shí)的可用信息特征， 并誘發(fā)出了更加穩(wěn)定的腦電特征信號，且能擴(kuò)大系統(tǒng)指令集，算法上結(jié)合了最小平方誤差 方法和階梯式線性判別分析法，針對十名被試的離線結(jié)果顯示系統(tǒng)的平均分類正確率為 84.5 %，最高理論信息傳輸速率為89.5bit/min，表明本發(fā)明提出的新策略可以有效提升 BCI系統(tǒng)的分類正確率和信息傳輸速率。
【附圖說明】：
[0016] 圖1結(jié)構(gòu)示意圖。
[0017] 圖1為本發(fā)明的結(jié)構(gòu)示意圖。該設(shè)計(jì)包括腦電電極和腦電放大器等腦電采集系統(tǒng)， FPGA視覺刺激系統(tǒng)和計(jì)算機(jī)等部分。使用NeuroScan公司生產(chǎn)的腦電數(shù)字采集系統(tǒng)采集腦 電。利用FPGA產(chǎn)生信號控制LED閃爍刺激模塊產(chǎn)生視覺刺激，采集被試者的腦電信號，經(jīng)由 腦電放大器放大，同時(shí)結(jié)合FPGA產(chǎn)生的時(shí)序信號，通過USB傳遞到計(jì)算機(jī)。
[0018] 圖2字符閃爍時(shí)序。
[0019]圖3 Fisher線性判別法的幾何原理圖示。
【具體實(shí)施方式】
[0020]穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)與事件相關(guān)電位中P300成分相結(jié)合的混合范式腦-機(jī) 接口（SP-BCI)系統(tǒng)可同時(shí)誘發(fā)兩種特征腦電信號并綜合前者的高信噪比和異步兼容特點(diǎn) 及后者的大指令集優(yōu)勢，具有提高系統(tǒng)信息傳輸速率的潛在能力。本發(fā)明設(shè)計(jì)了一種SSVEP 按各自頻率異步誘發(fā)和阻斷（誘發(fā)SSVEP-B特征）且與P300并行誘發(fā)的新策略，后融合 SSVEP、SSVEP-B與P300特征信息進(jìn)行腦電分類識別。經(jīng)離線測試實(shí)驗(yàn)結(jié)果表明，該策略有助 于提高BCI信息識別正確率和信息傳輸速率，有關(guān)研究思路與技術(shù)可供混合范式腦-機(jī)接口 系統(tǒng)設(shè)計(jì)與推廣應(yīng)用參考。
[0021] 技術(shù)流程是:設(shè)計(jì)新范式實(shí)驗(yàn)，搭建好實(shí)驗(yàn)所需的腦電信號誘發(fā)裝置，然后在實(shí)驗(yàn) 系統(tǒng)指導(dǎo)下，采集受試者腦電信號數(shù)據(jù)，將其存儲(chǔ)后再進(jìn)行一定的預(yù)處理、特征提取，最后 使用最小平方誤差法和階梯式線性判別分析法進(jìn)行分類計(jì)算，得到系統(tǒng)分類正確率和信息 傳輸率。
[0022] 圖1為本發(fā)明的結(jié)構(gòu)示意圖。該設(shè)計(jì)包括腦電電極和腦電放大器等腦電采集系統(tǒng)， FPGA視覺刺激系統(tǒng)和計(jì)算機(jī)等部分。使用NeuroScan公司生產(chǎn)的腦電數(shù)字采集系統(tǒng)采集腦 電。利用FPGA產(chǎn)生信號控制LED閃爍刺激模塊產(chǎn)生視覺刺激，采集被試者的腦電信號，經(jīng)由 腦電放大器放大，同時(shí)結(jié)合FPGA產(chǎn)生的時(shí)序信號，通過USB傳遞到計(jì)算機(jī)。
[0023] 1刺激模塊設(shè)計(jì)
[0024]異步并行誘發(fā)刺激實(shí)驗(yàn)中字符閃爍時(shí)序如圖2所示，開始時(shí)提示靶字符(被試所注 視字符)3s，間隔Is后開始閃爍，按預(yù)先編好的隨機(jī)序列進(jìn)行阻斷，每次阻斷兩個(gè)整周期，閃 爍時(shí)間為6s。
[0025]腦電刺激誘發(fā)界面(spe I Ier)由六個(gè)獨(dú)立的閃爍刺激模塊(子spe I Ier)組成，分別 以14Hz、15Hz、16Hz、17Hz、18Hz、19Hz頻率各自獨(dú)立閃爍來產(chǎn)生視覺刺激。對于每一個(gè)子 speller，6個(gè)字符依次阻斷一次稱作一輪，而字符的每次阻斷稱作一個(gè)試次。不同speller 中字符的阻斷的順序是一樣的，但是對應(yīng)字符阻斷產(chǎn)生的時(shí)刻是不同的。經(jīng)計(jì)算，頻率最低 的為14Hz的speller在6s中可以完成7輪阻斷，而最高的頻率為19Hz的子speller可以進(jìn)行 9.5輪阻斷，見表1，因此在處理數(shù)據(jù)的過程中會(huì)依照不同子speller來提取和分析數(shù)據(jù)。每 個(gè)子spe 11 er依照各自的頻率閃爍，閃爍時(shí)誘發(fā)SSVEP信號，在每個(gè)的子spe 11 er中，六個(gè)燈 依次阻斷時(shí)誘發(fā)SSVEP-B和P300信號。即所有的特征信號均由6個(gè)子speller產(chǎn)生的視覺刺 激誘發(fā)。
[0026] 表1不同子speller的參數(shù)對比
[0028] 2特征提取與分類
[0029]根據(jù)表1中的不同刺激出現(xiàn)的時(shí)序來對腦電數(shù)據(jù)進(jìn)行截取，根據(jù)不同頻帶提取相 應(yīng)的特征信號，之后利用最小平方誤差方法對子speller進(jìn)行區(qū)分，利用階梯式線性判別方 法來對靶字符進(jìn)行區(qū)分。
[0030] 作為一種最早提出的判別方法，F(xiàn)isher線性判別(Fisher Linear Discriminant, FLD)方法的基本思想是將η類m維的數(shù)據(jù)集盡可能投影到一個(gè)方向（一條直線)上，使得類與 類之間在該方向上盡可能分開，如圖3所示。
[0031 ] Fisher準(zhǔn)則函數(shù)定義為：
[0032]
[0033] 式中，!和間分別是兩類樣本的均值I類內(nèi)散度，使得JKw)為最大 值的w即為最佳投影方向灰：。
[0034]從形式上看，該方法的核心思想就是對數(shù)據(jù)進(jìn)行降維處理。目前FLD被廣泛應(yīng)用于 多種模式識別的領(lǐng)域，它具有計(jì)算簡單的性質(zhì)，可以幫助人們確定兩個(gè)或兩個(gè)以上的變量 是否具有明顯的差異性，在一定條件下能夠?qū)崿F(xiàn)最優(yōu)分類。
[0035] SWLDA是在FLD的基礎(chǔ)上，結(jié)合前向與后向逐步回歸法，從原有特征空間中選擇相 對較重要的特征，已被證明在P300-speller范式中具有良好的分類效果。因此本實(shí)驗(yàn)采用 該方法對具體字符進(jìn)行區(qū)分。
[0036]此外，除Fisher準(zhǔn)則外，考慮將線性不等式求解的問題改為更強(qiáng)的，但也更容易理 解的線性方程組的求解，這時(shí)就需要運(yùn)用最小平方誤差方法(Minimum Squared-Error, MSE)。該函數(shù)的矩陣形式定義為：
[0037]
(2)
[0038]其中，Y是特征矩陣，a是一個(gè)權(quán)向量，b = Ya。為使Ya-b最小，即誤差最小，則需要求 得使Js(a)值最小的權(quán)向量3。利用偽逆法，可以求得：
[0039]
[0040] 由于此法比較簡單易懂，且利用Matlab計(jì)算非常方便，因此本實(shí)驗(yàn)嘗試?yán)迷摲?法區(qū)分不同的speller。具體表達(dá)式為：
[0041] speller( i , t) =maxm(Ya) (4)
[0042] 公式(4)中Y= (yiy2"_yd)，是測試字符的SSVEP信號的d維特征向量，a是由其他143 個(gè)字符的特征向量訓(xùn)練得到的分類器，也即由公式(2)計(jì)算得到。求得6個(gè)Ya值的最大值所 在位置即為該測試字符所在的speller。
[0043] 本發(fā)明提出了一種異步并行的腦電誘發(fā)新策略，設(shè)計(jì)了基于新型誘發(fā)策略的SP-BCI系統(tǒng)，首次提出了異步閃爍和異步阻斷的誘發(fā)策略，即不同刺激模塊中指令的閃爍和阻 斷按照各自的頻率進(jìn)行，互相不影響，從而增加了在區(qū)分子speller時(shí)的可用信息特征，并 誘發(fā)出了更加穩(wěn)定的腦電特征信號。
[0044] 本發(fā)明可以用于殘疾人康復(fù)、電子娛樂、工業(yè)控制等領(lǐng)域，進(jìn)一步研究可以得到完 善的腦-機(jī)接口系統(tǒng)，有望獲得可觀的社會(huì)效益和經(jīng)濟(jì)效益。
【主權(quán)項(xiàng)】
1. 一種基于異步并行誘發(fā)策略的混合范式腦-機(jī)接口，其特征是，利用現(xiàn)場可編程口陣 列FPGA產(chǎn)生信號控制Lm)閃爍刺激模塊產(chǎn)生視覺刺激，采集被試者的腦電信號，經(jīng)由腦電放 大器放大，同時(shí)結(jié)合FPGA產(chǎn)生的信號，通過USB傳遞到計(jì)算機(jī)進(jìn)行腦電分類識別，其中，F(xiàn)PGA 控制若干L邸閃爍刺激模塊，F(xiàn)PGA控制Lm)燈閃爍誘發(fā)產(chǎn)生SSVEP信號，同時(shí)控制各閃爍刺激 模塊按各自頻率異步阻斷誘發(fā)SSVEP-B特征和P300特征，在計(jì)算機(jī)上融合SSVEP、SSVEP-B與 P300特征信息進(jìn)行腦電分類識別。2. 如權(quán)利要求1所述的基于異步并行誘發(fā)策略的混合范式腦-機(jī)接口，其特征是，腦電 刺激誘發(fā)界面speller由六個(gè)獨(dú)立的Lm)閃爍刺激子模塊即子speller組成，分別W14化、 15化、1細(xì)Z、17化、1細(xì)Z、19化頻率各自獨(dú)立閃爍來產(chǎn)生視覺刺激，對于每一個(gè)子speller, 6 個(gè)字符依次阻斷一次稱作一輪，而字符的每次阻斷稱作一個(gè)試次，不同speller中字符的阻 斷的順序是一樣的，但是對應(yīng)字符阻斷產(chǎn)生的時(shí)刻是不同的。3. 如權(quán)利要求2所述的基于異步并行誘發(fā)策略的混合范式腦-機(jī)接口，其特征是，區(qū)分 不同的speller具體公式為： speller(i ,t) =maxm(Ya) (4) 公式(4)中Y=(yiy2-Td)，是測試字符的SSVEP信號的d維特征向量，a是由其他143個(gè)字 符的特征向量訓(xùn)練得到的分類器，也即由公式(2)計(jì)算得到，求得6個(gè)化值的最大值所在位 置即為該測試字符所在的speller;其中，T表示轉(zhuǎn)置，i = 1，2……，d，Y是特征矩陣，a是一個(gè)權(quán)向量，b =化，為使化-b最 小，即誤差最小，則需要求得使Js(a)值最小的權(quán)向量東利用偽逆法，求得：
【文檔編號】G06F3/01GK105843377SQ201610152394
【公開日】2016年8月10日
【申請日】2016年3月17日
【發(fā)明人】肖曉琳, 綦宏志, 許敏鵬, 湯佳貝, 明東
【申請人】天津大學(xué)