一種基于ssvep和p300的多模態(tài)腦開關(guān)檢測方法
【專利摘要】本發(fā)明公開了一種基于SSVEP和P300的多模態(tài)腦開關(guān)檢測方法，包含以下順序的步驟：使用者根據(jù)顯示裝置中的工作界面指令產(chǎn)生頭皮腦電信號；電極帽采集頭皮腦電信號，經(jīng)數(shù)模轉(zhuǎn)換模塊轉(zhuǎn)化和信號放大器放大后將信號通過計(jì)算機(jī)的I/O接口模塊傳給計(jì)算機(jī)內(nèi)部的信號處理模塊；將頭皮腦電信號復(fù)制成兩份，分別進(jìn)行P300電位檢測、SSVEP檢測；結(jié)合P300電位和SSVEP各自檢測的輸出，進(jìn)行控制狀態(tài)和空閑狀態(tài)的分類，并確定目標(biāo)。本發(fā)明的檢測方法，能夠解決當(dāng)前基于非鼠標(biāo)控制的瀏覽器無法瀏覽復(fù)雜內(nèi)容頁面的問題，且控制速度，精度都有很大的提高。
【專利說明】-種基于SSVEP和P300的多模態(tài)腦開關(guān)檢測方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及腦機(jī)接口領(lǐng)域，特別涉及一種基于SSVEP和P300的多模態(tài)腦開關(guān)檢測 方法。

【背景技術(shù)】
[0002] 腦機(jī)接口（brain computer interface, BCI)是指在人腦和計(jì)算機(jī)或其它電子設(shè) 備之間建立的直接的交流和控制通道，它不依賴于腦的正常生理輸出通路（外周神經(jīng)系統(tǒng) 及肌肉組織），是一種全新的人機(jī)接口方式，是近年來腦功能研究的熱點(diǎn)課題。目前存在 著侵入式與非侵入式兩大類腦機(jī)接口技術(shù)。侵入式腦機(jī)接口所獲得的信號精度相對較高， 信噪比高，易于分析處理，但需要對使用者進(jìn)行開顱手術(shù)，不便于長時間的信號采集，且容 易對使用者的腦部造成感染或損傷，危險性較大。非侵入式腦機(jī)接口雖然其獲取的腦信號 噪聲大，信號特征的可區(qū)分性差，但同時它的信號相對容易獲取，不會對使用者腦部造成傷 害，而且隨著信號處理方法和技術(shù)的不斷進(jìn)步，對頭皮腦電（electroencephalogram, EEG) 的處理已經(jīng)能夠達(dá)到一定的水平，是腦機(jī)接口進(jìn)入實(shí)際生活應(yīng)用成為可能。本發(fā)明所采用 的是非侵入式腦機(jī)接口技術(shù)。
[0003] 腦機(jī)接口有同步（synchronous)與異步（asynchronous)模式。同步腦機(jī)接口系 統(tǒng)中，用戶與腦機(jī)接口控制信號的相關(guān)的精神活動的起始與終止時間、及精神活動的時間 長短是由系統(tǒng)給定的，或者說使用者需要與系統(tǒng)配合，并按一定的時間間隔根據(jù)系統(tǒng)的提 示執(zhí)行控制操作。而在異步腦機(jī)接口系統(tǒng)中，用戶與腦機(jī)接口控制信號的相關(guān)的精神活動 的起始與終止時間及持續(xù)時間長短是由用戶自己決定的，是預(yù)先未知的。使用者可以通過 大腦的精神活動在任何時刻發(fā)出控制指令，控制外部設(shè)備（我們稱這個為控制意識狀態(tài)）。 相較于同步系統(tǒng)，異步系統(tǒng)的一個額外任務(wù)是從腦信號中檢測用戶是否處于控制意識狀 態(tài)。這些給腦機(jī)接口的特征提取與分類帶來了很大挑戰(zhàn)及困難，這也是到現(xiàn)在為止，異步腦 機(jī)接口方面的工作還不多或者說沒有取得很大進(jìn)展的主要原因。然而，異步腦機(jī)接口顯然 更加接近于實(shí)用，因?yàn)樗梢宰層脩綦S時、自主控制。
[0004] 使用腦機(jī)接口技術(shù)進(jìn)行異步腦開關(guān)的開發(fā)為我們提供了另一種與外界交流的途 徑，它無需經(jīng)過常規(guī)的神經(jīng)肌肉控制，在一些特殊情況下（如飛行員，宇航員等由于重力等 其他因素?zé)o法移動身體）提供了另一種輸出的方法。同時在我們生活中存在著一部分患有 肌萎縮性側(cè)索硬化（amyotrophic lateral sclerosis，ALS)，腦干中風(fēng)等的病人，他們可能 處于嚴(yán)重或完全癱瘓狀態(tài)，只能向外界發(fā)出很少的如眨眼，呼吸等信號，無法通過正常的神 經(jīng)傳導(dǎo)，肌肉運(yùn)動與外界環(huán)境進(jìn)行信息交流，而他們最需要的恰恰是交流，如果能夠讓這一 類人群通過腦開關(guān)自主控制外部設(shè)備的開關(guān)狀態(tài)（如電視機(jī)的開關(guān)、輪椅的啟動與停止、 假肢的啟動、緊急呼叫等等），將會從很大程度上改善他們的生活質(zhì)量。
[0005] 在最近幾年，部分學(xué)者開始研究使用腦機(jī)接口來控制外部設(shè)備的開啟和關(guān)閉，我 們把這種系統(tǒng)稱為腦開關(guān)。腦開關(guān)一般工作在異步的狀態(tài)。對于異步腦開關(guān)或者異步腦機(jī) 接口來說，一個最重要的問題在于能夠通過受試者的腦電信號判斷和區(qū)別用戶是處于控制 狀態(tài)，還是處于空閑狀態(tài)，即需要具備空閑狀態(tài)的檢測能力。一般來說，用戶希望腦開關(guān)在 控制狀態(tài)時真陽性盡可能的高，而在空閑狀態(tài)時假陽性盡可能的低。
[0006] 目前存在的腦開關(guān)控制主要有以下幾種方法：
[0007] -、使用基于運(yùn)動想象的腦機(jī)接口系統(tǒng)；
[0008] 二、使用基于穩(wěn)態(tài)視覺誘發(fā)電位（SSVEP)的腦機(jī)接口系統(tǒng)。
[0009] 以上方法都存在相應(yīng)問題：
[0010] 對于方法一，這種腦開關(guān)一般要經(jīng)過相對較長的時間訓(xùn)練，才能較好地使用，且并 非每個使用者都可以熟練地運(yùn)用。
[0011] 對于方法二，一個傳統(tǒng)的基于SSVEP的腦開關(guān)往往在圖形用戶界面（graphical user interface，⑶I)上只有一個閃爍按鈕（表示"開"或者關(guān)）或者只有兩個按鈕（一個 "開"，一個"關(guān)；系統(tǒng)通過一個閾值來判定現(xiàn)在是空閑狀態(tài)還是控制狀態(tài)，如果超過閾值， 則被判定為控制狀態(tài)并執(zhí)行該按鈕對應(yīng)的控制命令，否則被判定空閑狀態(tài)而不執(zhí)行任何命 令。因此，對于傳統(tǒng)的SSVEP腦開關(guān)，狀態(tài)判定往往只靠一個閾值條件來決定。由于腦電信 號的多變性，僅僅使用一個閾值條件是很難在控制狀態(tài)中獲得很高的真陽性的同時，在空 閑狀態(tài)中獲得較低的假陽性。
[0012] 多模態(tài)腦機(jī)接口是近年提出的概念，由兩種或兩種以上的腦機(jī)接口組成。它以同 時檢測兩種或兩種以上的腦電信號。通過多種腦電信號的結(jié)合，多模態(tài)腦機(jī)接口系統(tǒng)能比 傳統(tǒng)的腦機(jī)接口系統(tǒng)更有效地完成特定的目標(biāo)。例如，在文獻(xiàn)[1]中，Allison等人證明 了通過結(jié)合不同腦電信號，如運(yùn)動想象和SSVEP，可以提高腦機(jī)接口的準(zhǔn)確率，特別是對于 被稱為"BCI盲"的受試者。在文獻(xiàn)[2]中，Pfurtscheller等人提出了一種多模態(tài)腦機(jī)接 口系統(tǒng)，通過一個基于運(yùn)動想象的腦開關(guān)來開啟/關(guān)閉基于SSVEP的腦控假肢。專利號為 201010509561. 6的文獻(xiàn)給出一種結(jié)合運(yùn)動想象和P300電位的多模態(tài)腦機(jī)接口，進(jìn)行連續(xù) 的二維光標(biāo)控制，一個方向由運(yùn)動想象mu/beta節(jié)律控制，另一個方向由P300控制。
[0013] 目前，多模態(tài)腦機(jī)接口并沒有應(yīng)用到異步腦開關(guān)上，只有文獻(xiàn)[3]以及申請?zhí)枮?201210222224. 8、201210195574. X的中國專利公開了基于P300和SSVEP的腦機(jī)接口。但這 些發(fā)明都是屬于同步腦機(jī)接口，即不具備空閑狀態(tài)的檢測能力。
[0014] 參考文獻(xiàn)：
[0015] [1]B. Allison, C. Brunner, C. Altst " atter, I. Wagner, S. Grissmann, and C. Neuper, "A hybrid ERD/SSVEP BCI for continuous simultaneous two dimensional cursor control, J. Neurosci. Methods, vol. 209, no. 2, pp. 299 - 307, 2012.
[0016] [2]G. Pfurtscheller, T. Solis-Escalante, R. Ortner, P. Linortner, and G. R. Muller-Putz, "Self-paced operation of an SSVEP-based orthosis with and without an imagery-based0 brain switch:A feasibility study towards a hybrid BCI, IEEE Trans. Neural Syst. Rehabil. Eng. , vol. 18, no. 4, pp. 409 - 414, Aug. 2010.
[0017] [3]R. Panicker, S. Puthusserypady, and Y. Sun, "An asynchronous P300BCI with SSVEP-based control state detection, "IEEE Trans.Biomed. Eng. , vol. 58, no. 6, pp. 1781 - 1788, Jun. 2011.


【發(fā)明內(nèi)容】

[0018] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種基于SSVP和P300的多 模態(tài)腦開關(guān)檢測方法，能夠提高腦開關(guān)的性能，即在保持空閑狀態(tài)的假陽性在一個較低水 平的同時，盡可能地提高控制狀態(tài)的真陽性，該方法訓(xùn)練時間較短，且P300和SSVEP都是由 外界刺激被動產(chǎn)生，不存在機(jī)制上的矛盾。
[0019] 本發(fā)明的目的通過以下的技術(shù)方案實(shí)現(xiàn)：
[0020] 一種基于SSVEP和P300的多模態(tài)腦開關(guān)檢測方法，包含以下順序的步驟：
[0021] S1.使用者根據(jù)顯示裝置中的工作界面指令產(chǎn)生頭皮腦電信號；
[0022] S2.電極帽采集頭皮腦電信號，經(jīng)數(shù)模轉(zhuǎn)換模塊轉(zhuǎn)化和信號放大器放大后將信號 通過計(jì)算機(jī)的I/O接口模塊傳給計(jì)算機(jī)內(nèi)部的信號處理模塊；
[0023] S3.將頭皮腦電信號復(fù)制成兩份，分別進(jìn)行P300電位檢測、SSVEP檢測；
[0024] S4.結(jié)合P300電位檢測和SSVEP各自檢測的輸出，進(jìn)行控制狀態(tài)和空閑狀態(tài)的分 類，并確定目標(biāo)。
[0025] 步驟S3中，所述的頭皮腦電信號P300電位檢測，具體包含以下順序的步驟：
[0026] 1)腦電信號在0. 1-lOHz頻率范圍內(nèi)進(jìn)行帶通濾波，并進(jìn)行1/5下采樣；
[0027] 2)從每個通道采集的信號被分割成數(shù)據(jù)單元，每一個數(shù)據(jù)單元都是從一組按鈕閃 爍后從〇到600毫秒時間內(nèi)以向量的形式表示，每個向量表示為Dau k，其中i，j和k分別 表示第i個通道，第j組按鈕和第k輪的閃爍；如果用戶注視某一組按鈕，則Da^kD會包含 一個P300的波形；然后連接10個通道的向量Da^k，即Fe」， k = [Da^k，.，Da1(U，k];最后通 過平均所有k輪的閃爍，從而構(gòu)造對應(yīng)第j組按鈕的特征向量Fe」，即Fe」=(Fe氺+Fe k) / k ；
[0028] 3)使用這些特征向量及它們對應(yīng)的標(biāo)記，通過這些訓(xùn)練集數(shù)據(jù)生成對應(yīng)每個受試 者的支持向量機(jī)分類器，即SVM分類器；如果受試者被要求注視第j組按鈕，則特征向量F ej 的標(biāo)記是1，否則Feu(u關(guān)j)是-1 ;
[0029] 4)在異步算法中，P300檢測是每800毫秒進(jìn)行一次，對應(yīng)一輪所有按鈕組的閃爍； 首先對當(dāng)前時間點(diǎn)前4輪閃爍對應(yīng)的4輪向量求平均，從而得到特征向量Fej(j = 1，.，4), 然后將這些特征向量輸入到前面生成的SVM分類器中，分別得到對應(yīng)4個按鈕組的4個分 數(shù)h (j = 1，.，4)，每個分?jǐn)?shù)代表第j組按鈕包含P300電位的可信程度，最后將4個分 數(shù)都?xì)w一化到[0, 1]區(qū)間，并且找到分?jǐn)?shù)最大的按鈕組：

【權(quán)利要求】
1. 一種基于SSVEP和P300的多模態(tài)腦開關(guān)檢測方法，其特征在于，包含以下順序的步 驟：
51. 使用者根據(jù)顯示裝置中的工作界面指令產(chǎn)生頭皮腦電信號；
52. 電極帽采集頭皮腦電信號，經(jīng)數(shù)模轉(zhuǎn)換模塊轉(zhuǎn)化和信號放大器放大后將信號通過 計(jì)算機(jī)的I/O接口模塊傳給計(jì)算機(jī)內(nèi)部的信號處理模塊；
53. 將頭皮腦電信號復(fù)制成兩份，分別進(jìn)行P300電位檢測、SSVEP檢測；
54. 結(jié)合P300電位檢測和SSVEP各自檢測的輸出，進(jìn)行控制狀態(tài)和空閑狀態(tài)的分類，并 確定目標(biāo)。
2. 根據(jù)權(quán)利要求1所述的基于SSVEP和P300的多模態(tài)腦開關(guān)檢測方法，其特征在于， 步驟S3中，所述的頭皮腦電信號P300電位檢測，具體包含以下順序的步驟： 1) 腦電信號在〇. 1-lOHz頻率范圍內(nèi)進(jìn)行帶通濾波，并進(jìn)行1/5下采樣； 2) 從每個通道采集的信號被分割成數(shù)據(jù)單元，每一個數(shù)據(jù)單元都是從一組按鈕閃爍后 從0到600毫秒時間內(nèi)以向量的形式表示，每個向量表示為Da i;j，k，其中i，j和k分別表示 第i個通道，第j組按鈕和第k輪的閃爍；如果用戶注視某一組按鈕，則Da^kD會包含一個 P300的波形；然后連接10個通道的向量Dauk，即Fe」，k = [Dai，j，k，.，Da1(U，k];最后通過平 均所有k輪的閃爍，從而構(gòu)造對應(yīng)第j組按鈕的特征向量Fe』，即Fej = (Fej;1+. +Fej>k)/k ; 3) 使用這些特征向量及它們對應(yīng)的標(biāo)記，通過這些訓(xùn)練集數(shù)據(jù)生成對應(yīng)每個受試者的 支持向量機(jī)分類器，即SVM分類器；如果受試者被要求注視第j組按鈕，則特征向量F ej的 標(biāo)記是1，否則Feu(u關(guān)j)是-1 ; 4) 在異步算法中，P300檢測是每800毫秒進(jìn)行一次，對應(yīng)一輪所有按鈕組的閃爍；首 先對當(dāng)前時間點(diǎn)前4輪閃爍對應(yīng)的4輪向量求平均，從而得到特征向量Fe」(j = 1，.，4)，然 后將這些特征向量輸入到前面生成的SVM分類器中，分別得到對應(yīng)4個按鈕組的4個分?jǐn)?shù) Sj (j = 1，.，4)，每個分?jǐn)?shù)代表第j組按鈕包含P300電位的可信程度，最后將4個分?jǐn)?shù)都 歸一化到[0, 1]區(qū)間，并且找到分?jǐn)?shù)最大的按鈕組：
這4個歸一化的分?jǐn)?shù)七（./ = U.，4 )和最大按鈕組的索引將作為P300檢測的輸出。
3. 根據(jù)權(quán)利要求2所述的基于SSVEP和P300的多模態(tài)腦開關(guān)檢測方法，其特征在于， 步驟S3中，所述的頭皮腦電信號SSVEP檢測具體包含以下順序的步驟： 1. SSVEP檢測是每200毫秒進(jìn)行一次：首先，在3Hz至20Hz的范圍內(nèi)對腦電信號進(jìn)行 帶通濾波；然后，選取8個所選通道〃Ρ7〃、〃Ρ3〃、〃Ρζ〃、〃Ρ4〃、〃Ρ8〃、〃01〃、〃Oz〃、〃02〃中當(dāng)前 時間點(diǎn)的前3. 2秒數(shù)據(jù)單元進(jìn)行SSVEP檢測，其中前3. 2秒數(shù)據(jù)單元即800數(shù)據(jù)點(diǎn)； 2) 對上述獲得的8個通道的EEG信號進(jìn)行傅立葉變換，計(jì)算8個信號向量的功率密度 譜，第j個信號向量的功率密度譜被定義為P (j，f)，其中f表示閃爍頻率；由此計(jì)算第i組 按鈕的能量：
其中，P(j，2f)是其諧波的能量； 根據(jù)上述公式，是第i組按鈕SSVEP響應(yīng)的能量，&表示第i組按鈕對應(yīng)的閃 爍頻率； 第i組按鈕的能量比率公式如下：
其中，[戶(/)]/(/；-/"，_/；+/J 是[fi_fn，fi+fn]窄市的平均遺星，[戶(/)]/e[H^ 帶[fi-f；，fi+fw]的平均能量，其中窄帶參數(shù)fn是0. 2Hz，寬帶參數(shù)fw是1Hz ; 3)將對應(yīng)4個按鈕組的4個比率都?xì)w一化到[0，1]區(qū)間，并且找到能量比率最大的按 鈕組：
這4個歸一化的比率4 (/ = 1,·，4)和最大按鈕組的索引將作為SVEP檢測的輸出。
4.根據(jù)權(quán)利要求3所述的基于SSVEP和Ρ300的多模態(tài)腦開關(guān)檢測方法，其特征在于， 所述的步驟S4,具體包含以下順序的步驟： 1) 首先檢查條件一： 對于腦電信號Ρ300和SSVEP檢測的輸出，首先把對應(yīng)每組按鈕的歸一化的分?jǐn)?shù)和歸一 化的比率相加，然后在4個相加值中找到最大值和次大值，如下所示：
其中，io和^分別是對應(yīng)最大值和次大值的索引； 通過比較上述的最大值和次大值得到一個閾值條件：
其中，閾值Θ ^是預(yù)先根據(jù)我們離線訓(xùn)練得到的一個常量； 如果上述的閾值條件滿足，系統(tǒng)將發(fā)出對應(yīng)第L組按鈕的控制命令；否則，系統(tǒng)將繼續(xù) 檢查條件二； 2) 檢查條件二： 通過索引rp3TO和索引rssvep分別對應(yīng)P300和SSVEP檢查中各自識別的按鈕組；如果某 組按鈕同時被P300和SSVEP檢測連續(xù)Μ次識別到，則對應(yīng)該組按鈕的控制命令將由系統(tǒng)輸 出； 3)只有當(dāng)滿足第一個條件時，或者不滿足第一個條件而滿足第二個條件時，系統(tǒng)才被 認(rèn)為處于控制狀態(tài)，同時輸出對應(yīng)該組按鈕的控制命令；否則，系統(tǒng)被認(rèn)為處于空閑狀態(tài)。
5.根據(jù)權(quán)利要求4所述的基于SSVEP和Ρ300的多模態(tài)腦開關(guān)檢測方法，其特征在于， 檢查條件二中，所述的Μ = 3。
【文檔編號】G06F3/01GK104090653SQ201410267060
【公開日】2014年10月8日 申請日期:2014年6月16日 優(yōu)先權(quán)日:2014年6月16日
【發(fā)明者】李遠(yuǎn)清, 潘家輝 申請人:華南理工大學(xué)