一種基于腦機(jī)接口的在線半監(jiān)督文字輸入系統(tǒng)及方法
【專利摘要】本發(fā)明公開了一種基于腦機(jī)接口的在線半監(jiān)督文字輸入系統(tǒng)及方法，該系統(tǒng)包括腦電信號采集系統(tǒng)，用于采集用戶腦電信號，并對采集到的腦電信號進(jìn)行處理；信號處理模塊，用于將采集的腦電信號進(jìn)行低通濾波、次數(shù)平均和下采樣處理，然后將電極帽所有通道的數(shù)據(jù)依次串接起來構(gòu)成一個(gè)樣本特征向量；在線分類模塊，用于根據(jù)信號處理模塊提取的特征，對最小二乘支持向量機(jī)分類器進(jìn)行在線更新并用其進(jìn)行在線分類；視覺刺激界面，用于誘發(fā)用戶產(chǎn)生P300信號，并且在該界面上顯示用戶需要輸入的字符，顯示最小二乘支持向量機(jī)分類器預(yù)測的結(jié)果。本發(fā)明大大減少了用戶使用系統(tǒng)之前的訓(xùn)練時(shí)間，并且具有準(zhǔn)確度高的優(yōu)點(diǎn)。
【專利說明】一種基于腦機(jī)接口的在線半監(jiān)督文字輸入系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及腦機(jī)接口領(lǐng)域，特別涉及一種基于腦機(jī)接口的在線半監(jiān)督文字輸入系統(tǒng)及方法。
【背景技術(shù)】
[0002]腦機(jī)接口是在人腦和外界之間建立不依賴于常規(guī)大腦信息輸出通路(外圍神經(jīng)和肌肉組織)的一種通信系統(tǒng)。通過這種通道，人就可以直接通過腦來表達(dá)思想或操作其它設(shè)備，而不需要通過語言或肢體的動(dòng)作，是一種全新的通訊和控制方式。特別是，近年來腦科學(xué)、計(jì)算機(jī)科學(xué)、信號處理技術(shù)的飛速發(fā)展以及殘疾人需求意識的不斷提高，使得腦機(jī)接口技術(shù)不斷發(fā)展。
[0003]腦機(jī)接口技術(shù)的研究具有重要的意義，并且具有多方面的用途。一個(gè)重要用途是能夠?yàn)樗季S正常但有運(yùn)動(dòng)功能障礙的人如嚴(yán)重脊髓損傷等或者有語言功能障礙的人提供與他人交流的機(jī)會(huì)；它還可以為人們提供不需要人為操作的新的人機(jī)通訊方式和控制方式；腦機(jī)接口同時(shí)能夠通過包含的精神和狀態(tài)信息豐富游戲的趣味性，增加用戶游戲的體驗(yàn)度等。目前我國60歲人口已經(jīng)達(dá)到I. 34億，殘疾人口也達(dá)到5千多萬，這對我國對老年人和殘疾人的服務(wù)保障提出了新的挑戰(zhàn)。迫切需要相應(yīng)方面的研究，來提高老年人或者殘疾人的自理能力和生活質(zhì)量，讓他們更好的享受生活、體驗(yàn)生活。
[0004]其中針對于具有運(yùn)動(dòng)障礙及語音障礙的用戶與外界通信最常用的交流方式就是文字，用戶通過腦機(jī)接口在計(jì)算機(jī)輸入其所想表達(dá)的文字，以發(fā)送信息或控制外部設(shè)備做出相應(yīng)的操作?，F(xiàn)有的基于腦機(jī)接口的文字輸入系統(tǒng)在使用之前要經(jīng)過較長時(shí)間的訓(xùn)練，因?yàn)樵谶@過程中需要采集足夠的有標(biāo)簽數(shù)據(jù)訓(xùn)練分類器，這個(gè)時(shí)間可能需要數(shù)分鐘或者更長。另外在某些情況下，同一個(gè)用戶的不同使用階段腦電信號發(fā)生變化，就需要對分類器進(jìn)行重新的間歇性訓(xùn)練或矯正(此時(shí)中斷用戶的使用)，否則分類器的性能就會(huì)下降。而進(jìn)行重新的間歇性訓(xùn)練就會(huì)中斷用戶的使用，降低了使用效率。
[0005]現(xiàn)有的腦機(jī)接口系統(tǒng)包括有監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)的方式。
[0006]有監(jiān)督學(xué)習(xí)就是利用有標(biāo)簽數(shù)據(jù)對分類器進(jìn)行訓(xùn)練，該方式在訓(xùn)練過程中要利用采集到的所有數(shù)據(jù)(要經(jīng)過特征提取的特征向量）以及它們的標(biāo)簽對分類器進(jìn)行訓(xùn)練，得到一個(gè)分類器。這個(gè)過程就需要得到所有有標(biāo)簽數(shù)據(jù)之后才能夠訓(xùn)練分類器。從用戶的角度來看，用戶就不能夠自由輸入字符，他就要按照要求進(jìn)行訓(xùn)練。一般要得到一個(gè)好的分類器，即對特征向量預(yù)測要足夠準(zhǔn)確，就需要有大量的樣本特征向量進(jìn)行訓(xùn)練。所以一般的這種字符輸入腦機(jī)接口系統(tǒng)就是首先要給用戶帶上電極帽，按照系統(tǒng)提示注視目標(biāo)字符，由系統(tǒng)去采集數(shù)據(jù)。一般需要采集20個(gè)目標(biāo)字符以上(就是訓(xùn)練階段用戶要按照系統(tǒng)提示的字符去注視20個(gè)字符以上）的數(shù)據(jù)，之后系統(tǒng)就會(huì)利用所有這些有標(biāo)簽特征向量對分類器進(jìn)行訓(xùn)練，因此這個(gè)訓(xùn)練過程的時(shí)間就很長；并且這種方式的數(shù)據(jù)量很大，計(jì)算過程就會(huì)很長。之后系統(tǒng)還要對這些數(shù)據(jù)進(jìn)行特征提取后對分類器進(jìn)行訓(xùn)練。在用戶真正能夠使用系統(tǒng)后，就是利用這個(gè)已經(jīng)訓(xùn)練好的分類器對特征向量進(jìn)行分類，將結(jié)果反饋給用戶。[0007]現(xiàn)有傳統(tǒng)的大多數(shù)半監(jiān)督腦機(jī)接口需要經(jīng)過初始訓(xùn)練來收集有標(biāo)簽數(shù)據(jù)，但是相對更長的時(shí)間來收集無標(biāo)簽數(shù)據(jù)。分類器就是利用這兩種類型的數(shù)據(jù)來進(jìn)行訓(xùn)練。從用戶的角度來看，在用戶可以使用這種系統(tǒng)之前，整個(gè)的訓(xùn)練時(shí)間就不但包括對有標(biāo)簽數(shù)據(jù)的采集，也包括對無標(biāo)簽數(shù)據(jù)的采集。因此，對于用戶來講，現(xiàn)有傳統(tǒng)的半監(jiān)督學(xué)習(xí)也就沒有最小化整個(gè)的訓(xùn)練時(shí)間，實(shí)際上現(xiàn)有的這種半監(jiān)學(xué)習(xí)和有監(jiān)督學(xué)習(xí)時(shí)間差不多，只是利用兩種類型的數(shù)據(jù)，因?yàn)槟承┣闆r下有標(biāo)簽數(shù)據(jù)不容易獲取。這種方式是一種離線的方式，因?yàn)橄到y(tǒng)需要采集完所有的少量有標(biāo)簽數(shù)據(jù)和所有的無標(biāo)簽數(shù)據(jù)后，利用這些少量有標(biāo)簽數(shù)據(jù)和他們的標(biāo)簽以及無標(biāo)簽數(shù)據(jù)，才能對分類器進(jìn)行訓(xùn)練，得到分類器。在這個(gè)過程中，系統(tǒng)不能交由用戶使用，系統(tǒng)只能來采集這些數(shù)據(jù)，訓(xùn)練分類器。

【發(fā)明內(nèi)容】

[0008]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種基于腦機(jī)接口的在線半監(jiān)督文字輸入系統(tǒng)。
[0009]本發(fā)明的另一個(gè)目的在于提供一種基于腦機(jī)接口的在線半監(jiān)督文字輸入方法。能夠大大減少用戶使用該系統(tǒng)之前的訓(xùn)練時(shí)間，并且具有準(zhǔn)確度高的優(yōu)點(diǎn)。
[0010]本發(fā)明的第一個(gè)目的通過下述技術(shù)方案實(shí)現(xiàn)：一種基于腦機(jī)接口的在線半監(jiān)督文字輸入系統(tǒng)，包括
[0011]腦電信號采集系統(tǒng)，用于采集用戶腦電信號，并對采集到的腦電信號進(jìn)行處理；
[0012]信號處理模塊，用于將采集的腦電信號進(jìn)行低通濾波、次數(shù)平均和下采樣處理，然后將電極帽所有通道的數(shù)據(jù)依次串接起來構(gòu)成一個(gè)樣本特征向量；
[0013]在線分類模塊，用于根據(jù)信號處理模塊提取的特征，對最小二乘支持向量機(jī)分類器進(jìn)行在線更新并用其進(jìn)行在線分類；
[0014]視覺刺激界面，用于誘發(fā)用戶產(chǎn)生P300信號，并且在該界面上顯示用戶需要輸入的字符，顯示最小二乘支持向量機(jī)分類器預(yù)測的結(jié)果。
[0015]優(yōu)選的，所述視覺刺激界面上總共包含有40個(gè)字符，以4行10列的矩陣形式顯示在計(jì)算機(jī)的屏幕上展示給用戶。
[0016]優(yōu)選的，所述視覺刺激界面上包含有兩個(gè)編輯框，其中一個(gè)編輯框中顯示用戶訓(xùn)練階段所要輸入的系統(tǒng)的字符；另一個(gè)編輯框用于反饋顯示用戶在輸入模式下所輸入的字符。
[0017]本發(fā)明的第二個(gè)目的通過下述技術(shù)方案實(shí)現(xiàn)：一種基于腦機(jī)接口的在線半監(jiān)督文字輸入方法，包括系統(tǒng)初始化步驟、系統(tǒng)監(jiān)督訓(xùn)練步驟和系統(tǒng)文字輸入步驟：
[0018]系統(tǒng)初始化：
[0019]用戶帶上與計(jì)算機(jī)連接的電極帽，開啟計(jì)算機(jī)屏幕的視覺刺激界面，在計(jì)算機(jī)屏幕視覺刺激界面上顯示字符；其中每個(gè)字符按照隨機(jī)順序閃爍，設(shè)定在用戶輸入一個(gè)字符過程中，每個(gè)字符重復(fù)閃爍A次，相鄰字符閃爍的時(shí)間間隔為C秒，相鄰兩個(gè)字符輸入的時(shí)間間隔為B秒；
[0020]系統(tǒng)監(jiān)督訓(xùn)練：
[0021 ] (I)系統(tǒng)隨機(jī)選取m個(gè)目標(biāo)字符，并提示用戶輸入這m個(gè)目標(biāo)字符，用戶注視需要輸入的目標(biāo)字符；在用戶注視目標(biāo)字符期間，計(jì)算機(jī)對用戶的腦電信號數(shù)據(jù)進(jìn)行采集；[0022](2)將采集的腦電信號進(jìn)行低通濾波、次數(shù)平均和下采樣處理，然后將電極帽所有通道的數(shù)據(jù)依次串接起來構(gòu)成一個(gè)樣本特征向量；
[0023](3)將目標(biāo)字符對應(yīng)的特征向量標(biāo)記為+1，將其它字符對應(yīng)的特征向量標(biāo)記為-I ;然后采用這些特征向量及其對應(yīng)標(biāo)簽的訓(xùn)練數(shù)據(jù)集建立初始最小二乘支持向量機(jī)分類器；
[0024]系統(tǒng)文字輸入：
[0025](a)首先系統(tǒng)轉(zhuǎn)換為用戶輸入模式，用戶注視界面中其要輸入的字符，計(jì)算機(jī)對用戶的腦電信號數(shù)據(jù)進(jìn)行采集；
[0026]( b )將采集到的腦電信號進(jìn)行低通濾波、平均和下采樣處理后，提取每個(gè)字符的特征向量，形成稱為塊的數(shù)據(jù)集；
[0027](C)計(jì)算當(dāng)前塊中每個(gè)字符特征向量對應(yīng)于當(dāng)前最小二乘支持向量機(jī)分類器的隱含變量值，將隱含變量值最大的特征向量對應(yīng)的標(biāo)簽標(biāo)記為+1，其它特征向量對應(yīng)的標(biāo)簽標(biāo)記為-1，作為它們的預(yù)測標(biāo)簽；
[0028](d)根據(jù)各特征向量和各特征向量當(dāng)前的預(yù)測標(biāo)簽對最小二乘支持向量機(jī)分類器進(jìn)行在線更新；重新計(jì)算當(dāng)前塊中每個(gè)字符特征向量對應(yīng)于更新后的最小二乘支持向量機(jī)分類器的隱含變量值，將隱含變量值最大的特征向量對應(yīng)的標(biāo)簽標(biāo)記為+1，其它特征向量對應(yīng)的標(biāo)簽標(biāo)記為-1，作為它們的預(yù)測標(biāo)簽；
[0029](e)判斷最小二乘向量機(jī)分類器的更新次數(shù)是否達(dá)到Z次；
[0030]若是，則進(jìn)入步驟（g)；
[0031]若否，則進(jìn)入步驟（f);
[0032](f)檢測塊中各特征向量前后兩次的預(yù)測標(biāo)簽是否對應(yīng)相等；
[0033]若是，則進(jìn)入步驟（g)；
[0034]若否，則進(jìn)入步驟（d)繼續(xù)更新最小二乘支持向量機(jī)分類器；
[0035](g)停止更新，將預(yù)測標(biāo)簽為+1的特征向量對應(yīng)的字符確定為輸入字符，完成一個(gè)字符的輸入；用戶注視下一個(gè)要輸入的字符，繼續(xù)執(zhí)行步驟（b)。
[0036]優(yōu)選的，所述用戶輸入一個(gè)字符過程中，每個(gè)字符重復(fù)閃爍9次，相鄰字符閃爍的時(shí)間間隔為25毫秒，相鄰兩個(gè)字符輸入的時(shí)間間隔為3秒。
[0037]優(yōu)選的，系統(tǒng)在訓(xùn)練階段，所述步驟（I)中系統(tǒng)隨機(jī)選取2~6個(gè)目標(biāo)字符，并提示用戶依次輸入這2~6個(gè)目標(biāo)字符；即所述m為2~6。
[0038]優(yōu)選的，所述步驟（3)最初最小二乘支持向量機(jī)分類器建立過程如下：
[0039](3-1)最小二乘支持向量機(jī)分類器的優(yōu)化問題為：
[0040]
min||w||2+f ||e|卜，+ d =另 + ， ? - ;
[0041]其中A) =為訓(xùn)練數(shù)據(jù)集，%eRd為一個(gè)訓(xùn)練樣本特征向量，
.V,, e {-1,+1}是訓(xùn)練樣本特征向量對應(yīng)的標(biāo)簽，L是訓(xùn)練樣本特征向量的個(gè)數(shù)；θζ?θρ . . .，eJT為誤差向量，Y≥O為正則化項(xiàng)，I為單位矩陣,標(biāo)量b e R為最小二乘支持向量機(jī)分類器的偏置，權(quán)值向量w e Rd ;
[0042](3-2)根據(jù)上述優(yōu)化問題，得出優(yōu)化問題的解，即初始最小二乘支持向量機(jī)分類器為：
[0043]
【權(quán)利要求】
1.一種基于腦機(jī)接口的在線半監(jiān)督文字輸入系統(tǒng)，其特征在于：包括 腦電信號采集系統(tǒng)，用于采集用戶腦電信號，并對采集到的腦電信號進(jìn)行處理； 信號處理模塊，用于將采集的腦電信號進(jìn)行低通濾波、次數(shù)平均和下采樣處理，然后將電極帽所有通道的數(shù)據(jù)依次串接起來構(gòu)成一個(gè)樣本特征向量； 在線分類模塊，用于根據(jù)信號處理模塊提取的特征，對最小二乘支持向量機(jī)分類器進(jìn)行在線更新并用其進(jìn)行在線分類； 視覺刺激界面，用于誘發(fā)用戶產(chǎn)生P300信號，并且在該界面上顯示用戶需要輸入的字符，顯示最小二乘支持向量機(jī)分類器預(yù)測的結(jié)果。
2.根據(jù)權(quán)利要求1所述的基于腦機(jī)接口的在線半監(jiān)督文字輸入系統(tǒng)，其特征在于，所述視覺刺激界面上總共包含有40個(gè)字符，以4行10列的矩陣形式顯示在計(jì)算機(jī)的屏幕上展示給用戶。
3.根據(jù)權(quán)利要求1所述的基于腦機(jī)接口的在線半監(jiān)督文字輸入系統(tǒng)，其特征在于，所述視覺刺激界面上包含有兩個(gè)編輯框，其中一個(gè)編輯框中顯示用戶訓(xùn)練階段所要輸入的系統(tǒng)的字符；另一個(gè)編輯框用于反饋顯示用戶在輸入模式下所輸入的字符。
4.一種基于腦機(jī)接口的在線半監(jiān)督文字輸入方法，其特征在于，包括系統(tǒng)初始化步驟、系統(tǒng)監(jiān)督訓(xùn)練步驟和系統(tǒng)文字輸入步驟： 系統(tǒng)初始化： 用戶帶上與計(jì)算機(jī)連接的電極帽，開啟計(jì)算機(jī)屏幕的視覺刺激界面，在計(jì)算機(jī)屏幕視覺刺激界面上顯示字符；其中每個(gè)字符按照隨機(jī)順序閃爍，設(shè)定在用戶輸入一個(gè)字符過程中，每個(gè)字符重復(fù)閃爍A次，相鄰字符閃爍的時(shí)間間隔為C秒，相鄰兩個(gè)字符輸入的時(shí)間間隔為B秒； 系統(tǒng)監(jiān)督訓(xùn)練： (1)系統(tǒng)隨機(jī)選取m個(gè)目標(biāo)字符，并提示用戶輸入這m個(gè)目標(biāo)字符，用戶注視需要輸入的目標(biāo)字符；在用戶注視目標(biāo)字符期間，計(jì)算機(jī)對用戶的腦電信號數(shù)據(jù)進(jìn)行采集； (2)將采集的腦電信號進(jìn)行低通濾波、次數(shù)平均和下采樣處理，然后將電極帽所有通道的數(shù)據(jù)依次串接起來構(gòu)成一個(gè)樣本特征向量； (3)將目標(biāo)字符對應(yīng)的特征向量標(biāo)記為+1，將其它字符對應(yīng)的特征向量標(biāo)記為-I;然后采用這些特征向量及其對應(yīng)標(biāo)簽的訓(xùn)練數(shù)據(jù)集建立初始最小二乘支持向量機(jī)分類器； 系統(tǒng)文字輸入： (a)首先系統(tǒng)轉(zhuǎn)換為用戶輸入模式，用戶注視界面中其要輸入的字符，計(jì)算機(jī)對用戶的腦電信號數(shù)據(jù)進(jìn)行采集； (b )將采集到的腦電信號進(jìn)行低通濾波、平均和下采樣處理后， 提取每個(gè)字符的特征向量，形成稱為塊的數(shù)據(jù)集； (c)計(jì)算當(dāng)前塊中每個(gè)字符特征向量對應(yīng)于當(dāng)前最小二乘支持向量機(jī)分類器的隱含變量值，將隱含變量值最大的特征向量對應(yīng)的標(biāo)簽標(biāo)記為+1，其它特征向量對應(yīng)的標(biāo)簽標(biāo)記為-1，作為它們的預(yù)測標(biāo)簽； (d)根據(jù)各特征向量和各特征向量當(dāng)前的預(yù)測標(biāo)簽對最小二乘支持向量機(jī)分類器進(jìn)行在線更新；重新計(jì)算當(dāng)前塊中每個(gè)字符特征向量對應(yīng)于更新后的最小二乘支持向量機(jī)分類器的隱含變量值，將隱含變量值最大的特征向量對應(yīng)的標(biāo)簽標(biāo)記為+1，其它特征向量對應(yīng)的標(biāo)簽標(biāo)記為-1，作為它們的預(yù)測標(biāo)簽； Ce)判斷最小二乘向量機(jī)分類器的更新次數(shù)是否達(dá)到Z次； 若是，則進(jìn)入步驟（g); 若否，則進(jìn)入步驟（f); Cf)檢測塊中各特征向量前后兩次的預(yù)測標(biāo)簽是否對應(yīng)相等； 若是，則進(jìn)入步驟（g); 若否，則進(jìn)入步驟（d)繼續(xù)更新最小二乘支持向量機(jī)分類器； (g)停止更新，將預(yù)測標(biāo)簽為+1的特征向量對應(yīng)的字符確定為輸入字符，完成一個(gè)字符的輸入；用戶注視下一個(gè)要輸入的字符，繼續(xù)執(zhí)行步驟（b)。
5.根據(jù)權(quán)利要求4所述的基于腦機(jī)接口的在線半監(jiān)督文字輸入方法，其特征在于，設(shè)定用戶輸入一個(gè)字符過程中，每個(gè)字符重復(fù)閃爍9次，相鄰字符閃爍的時(shí)間間隔為25毫秒，相鄰兩個(gè)字符輸入的時(shí)間間隔為3秒。
6.根據(jù)權(quán)利要求4所述的基于腦機(jī)接口的在線半監(jiān)督文字輸入方法，其特征在于，系統(tǒng)在訓(xùn)練階段，所述步驟（I)中系統(tǒng)隨機(jī)選取2~6個(gè)目標(biāo)字符，并提示用戶依次輸入這2~6個(gè)目標(biāo)字符；即所述m為2~6。
7.根據(jù)權(quán)利要求4所述的基于腦機(jī)接口的在線半監(jiān)督文字輸入方法，其特征在于，所述步驟（3)最初最小二乘支持向量機(jī)分類器建立過程如下： (3-1)最小二乘支持向量機(jī)分類器的優(yōu)化問題為：
8.根據(jù)權(quán)利要求7所述的基于腦機(jī)接口的在線半監(jiān)督文字輸入方法，其特征在于，系統(tǒng)文字輸入階段，所述步驟（c)中，塊D中各特征向量對應(yīng)的預(yù)測標(biāo)簽通過以下步驟得到： (c-Ι)根據(jù)當(dāng)前最小二乘支持向量機(jī)分類器y(x)計(jì)算該分類器的隱含變量值S(x)； 其中當(dāng)前最小二乘支持向量機(jī)分類器y OO為：
9.根據(jù)權(quán)利要求8所述的基于腦機(jī)接口的在線半監(jiān)督文字輸入方法，其特征在于，所述步驟（d)中最小二乘支持向量機(jī)分類器更新過程如下：(d-Ι)聯(lián)合當(dāng)前最小二乘支持向量機(jī)分類器對應(yīng)訓(xùn)練數(shù)據(jù)集Dn、塊數(shù)據(jù)集D及塊數(shù)據(jù)集3中各特征向量的當(dāng)前預(yù)測標(biāo)簽為增量數(shù)據(jù)集記增量數(shù)據(jù)集D中的標(biāo)簽組成的標(biāo)簽向量為：
10.根據(jù)權(quán)利要求4所述的基于腦機(jī)接口的在線半監(jiān)督文字輸入方法，其特征在于，所述步驟（d)中的Z為3。
【文檔編號】G06F3/01GK103488297SQ201310461601
【公開日】2014年1月1日 申請日期:2013年9月30日 優(yōu)先權(quán)日:2013年9月30日
【發(fā)明者】顧正暉, 張錦濤, 俞祝良 申請人:華南理工大學(xué)