本發(fā)明涉及電位檢測(cè)，具體的是基于雙流時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)的p300檢測(cè)方法及裝置。

背景技術(shù)：

1、腦機(jī)接口(brain-computer?interface，bci)建立了人類大腦和外部設(shè)備的直接通路，允許人們通過大腦活動(dòng)在不需要任何動(dòng)作的情況下直接與外部世界交流，提升了那些由于肌肉無力或其他運(yùn)動(dòng)障礙等原因無法使用傳統(tǒng)輸入設(shè)備的人的生活質(zhì)量。而事件相關(guān)電位(event?relatedpotential，erp)信號(hào)廣泛應(yīng)用于腦機(jī)接口領(lǐng)域；在眾多類型的erp信號(hào)中，p300事件相關(guān)電位表示人接收到目標(biāo)刺激后于300毫秒左右出現(xiàn)的正峰，在腦機(jī)接口中應(yīng)用最為廣泛。研究學(xué)者們指出，人在對(duì)一系列視覺刺激進(jìn)行觀察時(shí)，在觀察到目標(biāo)物體時(shí)會(huì)誘發(fā)p300事件相關(guān)電位。因此，準(zhǔn)確地識(shí)別eeg信號(hào)中的p300誘發(fā)電位是bci領(lǐng)域的重要關(guān)鍵技術(shù)。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述背景技術(shù)中提到的不足，本發(fā)明的目的在于提供基于雙流時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)的p300檢測(cè)方法及裝置。

2、第一方面，本發(fā)明的目的可以通過以下技術(shù)方案實(shí)現(xiàn)：基于雙流時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)的p300檢測(cè)方法，方法包括以下步驟：

3、獲取若干p300事件相關(guān)電位腦電數(shù)據(jù)以及對(duì)應(yīng)的p300事件相關(guān)電位標(biāo)簽，對(duì)若干p300事件相關(guān)電位腦電數(shù)據(jù)進(jìn)行預(yù)處理，得到處理后的p300事件相關(guān)電位腦電數(shù)據(jù)；

4、將處理后的p300事件相關(guān)電位腦電數(shù)據(jù)和對(duì)應(yīng)的p300事件相關(guān)電位標(biāo)簽輸入至預(yù)先建立的雙流時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)訓(xùn)練，得到訓(xùn)練后的雙流時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)模型；

5、獲取待識(shí)別腦電樣本，將待識(shí)別腦電樣本輸入至訓(xùn)練后的雙流時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)，輸出得到p300事件相關(guān)電位檢測(cè)結(jié)果。

6、結(jié)合第一方面，在第一方面的某些實(shí)現(xiàn)方式中，該方法還包括：所述若干p300事件相關(guān)電位腦電數(shù)據(jù)表示某一個(gè)腦電數(shù)據(jù)，c為腦電電極數(shù)，n為時(shí)間點(diǎn)數(shù)；

7、所述對(duì)應(yīng)的p300事件相關(guān)電位標(biāo)簽內(nèi)：0表示該腦電樣本中不包含p300事件相關(guān)電位，1表示該腦電樣本中包含p300事件相關(guān)電位。

8、結(jié)合第一方面，在第一方面的某些實(shí)現(xiàn)方式中，該方法還包括：所述對(duì)若干p300事件相關(guān)電位腦電數(shù)據(jù)進(jìn)行預(yù)處理的過程包括濾波和標(biāo)準(zhǔn)化，其中，對(duì)于若干p300事件相關(guān)電位腦電數(shù)據(jù)使用帶通濾波器進(jìn)行濾波，其中，所述帶通濾波器為4階巴特沃斯濾波器；

9、對(duì)于經(jīng)過帶通濾波處理后的腦電數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，得到處理后的p300事件相關(guān)電位腦電數(shù)據(jù)：

10、

11、其中xij是樣本x中第i個(gè)電極的第j個(gè)時(shí)間點(diǎn)，和σi是第i個(gè)電極的平均值和標(biāo)準(zhǔn)差。

12、結(jié)合第一方面，在第一方面的某些實(shí)現(xiàn)方式中，該方法還包括：所述預(yù)先建立的雙流時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)模型包括：時(shí)空映射模塊、雙流圖卷積時(shí)空特征提取模塊、注意力時(shí)空特征融合模塊和結(jié)果預(yù)測(cè)模塊；

13、所述時(shí)空映射模塊用于將輸入的腦電數(shù)據(jù)維度變換為動(dòng)態(tài)地學(xué)習(xí)到腦電信號(hào)時(shí)空維度間的相互耦合性，其中vs＝vt＝c，所述雙流圖卷積時(shí)空特征提取模塊用于分別提取腦電數(shù)據(jù)中的空間和時(shí)間信息，所述注意力時(shí)空特征融合模塊基于注意力機(jī)制，將雙流圖卷積時(shí)空特征提取模塊中兩條支路分別提取出的時(shí)間和空間特征進(jìn)行融合，得到高維度的時(shí)空特征，結(jié)果預(yù)測(cè)模塊用于獲取高維度的時(shí)空特征后，輸出是否包含p300事件相關(guān)電位的預(yù)測(cè)結(jié)果，作為p300事件相關(guān)電位檢測(cè)結(jié)果。

14、結(jié)合第一方面，在第一方面的某些實(shí)現(xiàn)方式中，該方法還包括：所述時(shí)空映射模塊由一個(gè)一維卷積單元和子空間映射層組成；

15、將輸入的腦電數(shù)據(jù)維度變換為的計(jì)算公式：

16、xm＝wtxcnnws+bst

17、其中表示一維卷積單元的輸出，和為可訓(xùn)練的參數(shù)。

18、結(jié)合第一方面，在第一方面的某些實(shí)現(xiàn)方式中，該方法還包括：所述雙流圖卷積時(shí)空特征提取模塊包含兩條并行的分支空間特征提取分支和時(shí)間特征提取分支，分別從腦電信號(hào)中提取空間和時(shí)間特征，其中空間特征提取分支由批歸一化層、空間圖卷積層、空間特征注意力層組成，選擇xm中的每一行作為空間圖卷積層的節(jié)點(diǎn)；時(shí)間特征提取分支由批歸一化層、時(shí)間圖卷積層、時(shí)間特征注意力層組成，選擇xm中的每一列作為時(shí)間圖卷積層的節(jié)點(diǎn)。

19、結(jié)合第一方面，在第一方面的某些實(shí)現(xiàn)方式中，該方法還包括：所述空間特征提取分支空間圖卷積層的鄰接矩陣在訓(xùn)練過程中動(dòng)態(tài)更新，計(jì)算方式為：

20、as＝softmax(h(xm)h(xm)t)

21、其中h(?)表示tanh激活函數(shù)；空間圖卷積層利用k階多項(xiàng)式形式的圖濾波器在空間視角進(jìn)行圖卷積，計(jì)算方式為：

22、

23、其中，αk為多項(xiàng)式系數(shù)，為空間圖的對(duì)稱歸一化拉普拉斯矩陣，為k階濾波器，為維度變換矩陣，空間特征注意力層為空間圖卷積層輸出的特征的通道自適應(yīng)分配權(quán)重，在高度冗余的腦電信號(hào)中提取到任務(wù)相關(guān)的空間特征，計(jì)算方式為：

24、

25、其中和分別為將gs進(jìn)行平均池化和最大池化后的輸出，為可訓(xùn)練的參數(shù)，r是維度削減比例；

26、所述時(shí)間特征提取分支內(nèi)時(shí)間圖卷積層的鄰接矩陣在訓(xùn)練過程中動(dòng)態(tài)更新，計(jì)算方式為：

27、at＝softmax(h(xm)th(xm))

28、其中h()表示tanh激活函數(shù)，時(shí)間圖卷積層利用k階多項(xiàng)式形式的圖濾波器在時(shí)間視角進(jìn)行圖卷積，計(jì)算方式為：

29、

30、其中，βk為多項(xiàng)式系數(shù)，為時(shí)間圖的對(duì)稱歸一化拉普拉斯矩陣，為k階濾波器，為維度變換矩陣，時(shí)間特征注意力層為時(shí)間圖卷積層輸出的特征的通道自適應(yīng)分配權(quán)重，在高度冗余的腦電信號(hào)中提取到任務(wù)相關(guān)的時(shí)間特征，計(jì)算方式為：

31、

32、其中和分別為將gt進(jìn)行平均池化和最大池化后的輸出，為可訓(xùn)練的參數(shù)，r是維度削減比例。

33、結(jié)合第一方面，在第一方面的某些實(shí)現(xiàn)方式中，該方法還包括：所述注意力時(shí)空特征融合模塊的計(jì)算方式為：

34、

35、fst＝o×vt+vs

36、其中qs＝fswas，而是可訓(xùn)練的參數(shù)，d＝out；kt＝ftwat，而是可訓(xùn)練的參數(shù)，計(jì)算得來的注意力分?jǐn)?shù)矩陣，是最終得到的時(shí)空特征，作為高維度的時(shí)空特征；

37、所述結(jié)果預(yù)測(cè)模塊由第一全連接層、第二全連接層組成。

38、結(jié)合第一方面，在第一方面的某些實(shí)現(xiàn)方式中，該方法還包括：所述預(yù)先建立的雙流時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程所使用的損失函數(shù)為標(biāo)準(zhǔn)交叉熵?fù)p失函數(shù)，計(jì)算方式為：

39、

40、其中m為用于訓(xùn)練的腦電樣本總數(shù)，yic是樣本對(duì)應(yīng)的p300事件相關(guān)電位的真實(shí)標(biāo)簽，是雙流時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)結(jié)果。

41、第二方面，為了達(dá)到上述目的，本發(fā)明公開了基于雙流時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)的p300檢測(cè)裝置，包括：

42、數(shù)據(jù)處理模塊，用于獲取若干p300事件相關(guān)電位腦電數(shù)據(jù)以及對(duì)應(yīng)的p300事件相關(guān)電位標(biāo)簽，對(duì)若干p300事件相關(guān)電位腦電數(shù)據(jù)進(jìn)行預(yù)處理，得到處理后的p300事件相關(guān)電位腦電數(shù)據(jù)；

43、模型訓(xùn)練模塊，用于將處理后的p300事件相關(guān)電位腦電數(shù)據(jù)和對(duì)應(yīng)的p300事件相關(guān)電位標(biāo)簽輸入至預(yù)先建立的雙流時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)訓(xùn)練，得到訓(xùn)練后的雙流時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)模型；

44、電位檢測(cè)模塊，用于獲取待識(shí)別腦電樣本，將待識(shí)別腦電樣本輸入至訓(xùn)練后的雙流時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)，輸出得到p300事件相關(guān)電位檢測(cè)結(jié)果。

45、本發(fā)明的有益效果：

46、本發(fā)明基于圖神經(jīng)網(wǎng)絡(luò)，可以更加高效準(zhǔn)確地捕捉腦電信號(hào)中復(fù)雜、互補(bǔ)的時(shí)間、空間信息，并且使用注意力機(jī)制將時(shí)間、空間信息進(jìn)行融合得到高維度的時(shí)空特征；本發(fā)明識(shí)別準(zhǔn)確率更高。