本發(fā)明涉及腦機(jī)接口應(yīng)用研究領(lǐng)域，具體涉及一種基于腦機(jī)接口的機(jī)械臂自主輔助系統(tǒng)及方法。

背景技術(shù)：

世界上有許多嚴(yán)重癱瘓的病人，他們只能通過他人的幫助來完成一些日常生活所必需的活動，如喝水等。隨著人工智能和機(jī)器人技術(shù)的不斷發(fā)展，越來越多的研究成果被應(yīng)用于輔助此類人群，以便改善他們的生活質(zhì)量，其中，腦機(jī)接口(Brain Computer Interface，BCI)領(lǐng)域作為神經(jīng)工程領(lǐng)域的一個分支，其發(fā)展迅速，前景廣泛，激起了人們對腦機(jī)接口領(lǐng)域研究熱潮。

腦機(jī)接口(BCI)是一種全新的人-機(jī)交互技術(shù)，它能夠不通過常規(guī)大腦輸出通路(外周神經(jīng)和肌肉組織)而直接實現(xiàn)人腦與計算機(jī)之間的通信，為癱瘓病人提供了一種與外界進(jìn)行信息交流和控制的新途徑，BCI系統(tǒng)可分為侵入式和非侵入式，侵入式系統(tǒng)將會把電極植入到腦殼內(nèi)，非侵入式系統(tǒng)則只采集頭皮腦電信號。由于非侵入式腦機(jī)接口無需做手術(shù)，相比于侵入式更加安全簡單，而且隨著信號處理方法和技術(shù)的不斷進(jìn)步，對頭皮腦電(electroencephalogram，EEG)的處理已經(jīng)能夠達(dá)到一定的水平，使腦機(jī)接口進(jìn)入實際生活應(yīng)用成為可能，本發(fā)明所采用的是非侵入式腦機(jī)接口技術(shù)。

目前，也有部分已有研究試圖將腦機(jī)接口技術(shù)和機(jī)器人技術(shù)相結(jié)合，公開號為CN102198660A，發(fā)明名稱為《基于腦-機(jī)接口的機(jī)械手臂控制系統(tǒng)及動作命令控制方案》的中國專利申請，基于運動想象的腦機(jī)接口實現(xiàn)了機(jī)械臂上、下、左、右、前、后和手指的抓與放等八個指令的控制；公開號為CN102309365A，發(fā)明名稱為《一種可穿戴的腦控智能假肢》的中國專利申請，實現(xiàn)了腦電檢測識別的穿戴式檢測與計算，并結(jié)合智能感知技術(shù)對假肢實現(xiàn)了精密自適應(yīng)的智能控制，提高了假肢動作的效率與精度，較理想的實現(xiàn)人手功能；公開號為CN105425963A，發(fā)明名稱為《一種腦電波控制機(jī)械臂的系統(tǒng)》的中國發(fā)明專利利用腦電波信號獲取注意力及放松度參數(shù)，來完成預(yù)設(shè)的機(jī)械臂動作。

以上所述發(fā)明專利，都只通過腦電信號完成一些簡單的甚至是預(yù)設(shè)的機(jī)械臂動作控制，沒有充分地發(fā)揮出腦機(jī)接口與機(jī)械臂自主控制技術(shù)相結(jié)合的特點及優(yōu)勢，基于腦機(jī)接口的機(jī)械臂自主輔助系統(tǒng)及方法，能夠綜合腦機(jī)接口與機(jī)械臂兩者的優(yōu)勢，更好的利用腦機(jī)接口改善癱瘓病人的生活質(zhì)量，提高他們自主生活的能力。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是針對上述現(xiàn)有技術(shù)的不足，提供了一種基于腦機(jī)接口的機(jī)械臂自主輔助系統(tǒng)。

本發(fā)明的另一目的在于提供一種基于腦機(jī)接口的機(jī)械臂自主輔助方法。

本發(fā)明的目的可以通過如下技術(shù)方案實現(xiàn)：

一種基于腦機(jī)接口的機(jī)械臂自主輔助系統(tǒng)，該系統(tǒng)按照感知層、決策層、執(zhí)行層三層結(jié)構(gòu)來搭建，感知層包括腦電采集與檢測模塊和視覺識別與定位模塊，所述腦電采集與檢測模塊用于采集腦電信號，分析識別出用戶意圖，所述視覺識別與定位模塊用于根據(jù)用戶意圖，識別與定位出相應(yīng)的杯子及用戶嘴部的位置；執(zhí)行層包括機(jī)械臂控制模塊，所述機(jī)械臂控制模塊為在實際中對人進(jìn)行輔助操作的載體，根據(jù)從決策模塊接收來的執(zhí)行指令，對機(jī)械臂進(jìn)行軌跡規(guī)劃及控制；決策層包括決策模塊，所述決策模塊用于連接腦電采集與檢測模塊、視覺識別與定位模塊和機(jī)械臂控制模塊，實現(xiàn)腦電信號、定位位置及機(jī)械臂狀態(tài)等數(shù)據(jù)的采集和傳輸，機(jī)械臂執(zhí)行指令的發(fā)送。

優(yōu)選的，所述腦電采集與檢測模塊包括腦電采集的電極帽、腦電采集儀和第一計算機(jī)，其中使用電極帽中的“A1”、“T5”、“P3”、“PZ”、“P4”、“T6”、“O1”、“Oz”、“O2”、“A2”十個通道，放置的位置遵循國際標(biāo)準(zhǔn)10-20系統(tǒng)；所述第一計算機(jī)用來實現(xiàn)P300信號的檢測和屏幕中功能鍵閃爍的視覺刺激，所述閃爍的視覺刺激的功能鍵按2*2行列形式規(guī)則分布于計算機(jī)屏幕中，包括“cup1”、“cup2”、“cup3”以及“back”功能鍵，并以200ms的時間間隔進(jìn)行隨機(jī)順序的黑、綠兩種顏色變化閃爍。

優(yōu)選的，所述視覺識別與定位模塊包括兩個Microsoft Kinect視覺傳感器和第二計算機(jī)，所述兩個Microsoft Kinect視覺傳感器分別放置在所需抓取的杯子前和用戶面前，用于識別、定位所需抓取的杯子和用戶的嘴部；所述第二計算機(jī)用于實現(xiàn)杯子輪廓檢測算法、杯子定位算法、模板匹配識別算法以及嘴部識別定位算法。

優(yōu)選的，所述決策模塊是基于TCP通信協(xié)議，通過定義統(tǒng)一的傳輸數(shù)據(jù)變量，包括用戶的腦電意圖、杯子及嘴部的位置信息，架設(shè)客戶端與服務(wù)端服務(wù)代碼框架，實現(xiàn)腦電意圖、定位位置及機(jī)械臂狀態(tài)數(shù)據(jù)的采集和傳輸，機(jī)械臂執(zhí)行指令的發(fā)送。

優(yōu)選的，所述機(jī)械臂控制模塊采用一個多自由度機(jī)械臂作為執(zhí)行機(jī)構(gòu)。

本發(fā)明的另一目的可以通過如下技術(shù)方案實現(xiàn)：

一種基于腦機(jī)接口的機(jī)械臂自主輔助方法，所述方法包括以下步驟：

1)用戶坐在第一計算機(jī)屏幕前，調(diào)整好位置，佩戴好腦電采集的電極帽，打開腦電采集儀和第一計算機(jī)，確認(rèn)信號采集狀態(tài)良好；

2)啟動基于腦機(jī)接口的機(jī)械臂自主輔助系統(tǒng)，確認(rèn)識別、定位用戶嘴部的Microsoft Kinect視覺傳感器能夠正確捕捉到用戶的嘴部，確認(rèn)所要抓取的三個預(yù)設(shè)的杯子被正確放在用于識別、定位所需抓取的杯子的Microsoft Kinect視覺傳感器的視野內(nèi)；

3)第一計算機(jī)屏幕進(jìn)入閃爍的視覺刺激的功能鍵界面，該功能鍵界面包括“cup1”，“cup2”，“cup3”以及“back”四個功能鍵；

4)用戶注視“cup1”，“cup2”或者“cup3”三個功能鍵的其中一個，即選擇出三個預(yù)設(shè)的杯子中的其中一個，一旦功能鍵被選定，將得出用戶關(guān)于杯子選擇的腦電意圖，并發(fā)送到視覺識別與定位模塊和決策模塊；

5)視覺識別與定位模塊根據(jù)步驟4)中的腦電意圖，識別與定位出相應(yīng)杯子的位置與用戶的嘴部的位置，并利用TCP通信協(xié)議，將用戶所選杯子及用戶嘴部的位置信息，發(fā)送到?jīng)Q策模塊；

6)決策模塊根據(jù)步驟5)中獲得的杯子及用戶嘴部的位置信息和步驟4)中獲得的腦電意圖，生成相應(yīng)的機(jī)械臂執(zhí)行指令并發(fā)送給機(jī)械臂控制模塊；

7)機(jī)械臂控制模塊根據(jù)機(jī)械臂執(zhí)行指令，進(jìn)行軌跡規(guī)劃，并按照所規(guī)劃的軌跡，控制機(jī)械臂抓取用戶所選杯子及將杯子傳送到用戶的嘴邊；

8)喝水結(jié)束后，用戶注視“back”功能鍵，一旦功能鍵被選定，將得出用戶關(guān)于送返杯子的腦電意圖并發(fā)送到?jīng)Q策模塊；

9)決策模塊，根據(jù)步驟8)中獲得的送返杯子的腦電意圖，生成相應(yīng)的機(jī)械臂執(zhí)行指令并發(fā)送給機(jī)械臂控制模塊；

10)機(jī)械臂控制模塊根據(jù)機(jī)械臂執(zhí)行指令，進(jìn)行軌跡規(guī)劃，并按照所規(guī)劃的軌跡，控制機(jī)械臂將用戶所選杯子放回原來位置并恢復(fù)到機(jī)械臂初始位置狀態(tài)，實現(xiàn)機(jī)械臂自主輔助用戶喝水功能。

優(yōu)選的，所述步驟4)和步驟8)中功能鍵的選定具體通過以下過程實現(xiàn)：用戶注視第一計算機(jī)的功能鍵界面中的某個功能鍵，腦電信號通過電極帽和腦電采集儀進(jìn)行采集、放大、濾波、模數(shù)轉(zhuǎn)換處理后，再將數(shù)據(jù)傳輸給第一計算機(jī)進(jìn)行P300信號檢測，然后實現(xiàn)某個功能鍵的選定，所述P300信號檢測具體通過以下步驟實現(xiàn)：

(一)、將EEG信號經(jīng)過0.1～20Hz的帶通濾波去噪處理；

(二)、以EEG信號幅值作為特征，截取P300功能鍵閃爍后的600ms時間窗的數(shù)據(jù)，并采用貝葉斯模型進(jìn)行狀態(tài)分類，從而實現(xiàn)P300信號檢測。

優(yōu)選的，步驟5)中，所述識別與定位相應(yīng)杯子的位置具體通過以下步驟實現(xiàn)：

(1)、通過區(qū)域生長算法，在Microsoft Kinect視覺傳感器的三維點云中，提取出杯子所擺放在的水平面；

(2)、去除步驟(1)提取的水平面，對剩下的三維點云進(jìn)行物體的提取和分割；

(3)、選用模板匹配算法，將步驟(2)中獲得的各物體點云集合對應(yīng)的彩色圖像與庫中預(yù)設(shè)圖像分別進(jìn)行匹配，識別出用戶所選杯子對應(yīng)的點云集合；

(4)、將步驟(3)中獲得的所選杯子對應(yīng)的點云集合進(jìn)行均值計算，實現(xiàn)杯子在Microsoft Kinect視覺傳感器坐標(biāo)系中的定位，并轉(zhuǎn)換到機(jī)械臂坐標(biāo)系上。

優(yōu)選的，步驟5)中，所述識別與定位用戶的嘴部的位置，具體通過以下步驟實現(xiàn)：運用Microsoft Kinect視覺傳感器本身所提供的軟件開發(fā)工具包進(jìn)行人體檢測，獲取用戶嘴部在Microsoft Kinect視覺傳感器坐標(biāo)系中的坐標(biāo)位置，并轉(zhuǎn)換到機(jī)械臂坐標(biāo)系上。

優(yōu)選的，步驟7)和步驟10)中，所述機(jī)械臂軌跡規(guī)劃及控制，具體通過以下過程實現(xiàn)：將預(yù)設(shè)的關(guān)鍵軌跡點與用戶嘴部及所選杯子在機(jī)械臂坐標(biāo)系上的坐標(biāo)點相結(jié)合，規(guī)劃出機(jī)械臂運行軌跡，通過調(diào)用機(jī)械臂相應(yīng)的API，控制機(jī)械臂按所規(guī)劃軌跡運行，實現(xiàn)機(jī)械臂自主輔助用戶喝水功能。

本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點和有益效果：

1、本發(fā)明基于P300的腦機(jī)接口技術(shù)與自主控制決策功能的機(jī)械臂輔助技術(shù)相結(jié)合，只需用戶提供腦電意圖，剩下的機(jī)械臂動作控制為系統(tǒng)自動規(guī)劃控制完成，對用戶產(chǎn)生的負(fù)擔(dān)較小，便于應(yīng)用。

2、本發(fā)明將視覺識別與定位技術(shù)、腦機(jī)接口和機(jī)械臂相結(jié)合，實現(xiàn)用戶所選飲料可以在一定范圍內(nèi)任意放置的效果。

3、本發(fā)明將視覺識別與定位技術(shù)、腦機(jī)接口和機(jī)械臂相結(jié)合，綜合發(fā)揮三者的優(yōu)勢；用戶可以通過使用本發(fā)明系統(tǒng)中的腦機(jī)接口，對所喝飲料進(jìn)行自主選擇；再通過發(fā)明系統(tǒng)中的機(jī)械臂與視覺識別與定位技術(shù)，對用戶所選飲料進(jìn)行定位識別及抓取并送到用戶嘴邊，為癱瘓病人提供自主喝水的便利，改善癱瘓病人的生活質(zhì)量，提高他們自主生活的能力。

附圖說明

圖1為本發(fā)明的基于腦機(jī)接口的機(jī)械臂自主輔助系統(tǒng)的結(jié)構(gòu)框圖。

圖2為本發(fā)明的基于腦機(jī)接口的機(jī)械臂自主輔助系統(tǒng)的流程圖。

圖3為本發(fā)明的識別與定位相應(yīng)杯子位置的流程圖。

圖4為本發(fā)明的機(jī)械臂軌跡規(guī)劃及控制的示意圖。

具體實施方式

下面結(jié)合實施例及附圖對本發(fā)明作進(jìn)一步詳細(xì)的描述，但本發(fā)明的實施方式不限于此。

實施例1：

如圖1所示，本實施例提供了一種基于腦機(jī)接口的機(jī)械臂自主輔助系統(tǒng)，該系統(tǒng)按照感知層、決策層、執(zhí)行層三層結(jié)構(gòu)來搭建，感知層包括腦電采集與檢測模塊和視覺識別與定位模塊，所述腦電采集與檢測模塊用于采集腦電信號，分析識別出用戶意圖，所述視覺識別與定位模塊用于根據(jù)用戶意圖，識別與定位出相應(yīng)的杯子及用戶嘴部的位置；執(zhí)行層包括機(jī)械臂控制模塊，所述機(jī)械臂控制模塊為在實際中對人進(jìn)行輔助操作的載體，根據(jù)從決策模塊接收來的執(zhí)行指令，對機(jī)械臂進(jìn)行軌跡規(guī)劃及控制；決策層包括決策模塊，所述決策模塊用于連接腦電采集與檢測模塊、視覺識別與定位模塊和機(jī)械臂控制模塊，實現(xiàn)腦電信號、定位位置及機(jī)械臂狀態(tài)等數(shù)據(jù)的采集和傳輸，機(jī)械臂執(zhí)行指令的發(fā)送。

其中，所述腦電采集與檢測模塊包括腦電采集的電極帽、腦電采集儀和第一計算機(jī)，其中使用電極帽中的“A1”、“T5”、“P3”、“PZ”、“P4”、“T6”、“O1”、“Oz”、“O2”、“A2”十個通道，放置的位置遵循國際標(biāo)準(zhǔn)10-20系統(tǒng)；所述第一計算機(jī)用來實現(xiàn)P300信號的檢測和屏幕中功能鍵閃爍的視覺刺激，所述閃爍的視覺刺激的功能鍵按2*2行列形式規(guī)則分布于計算機(jī)屏幕中，包括“cup1”、“cup2”、“cup3”以及“back”功能鍵，并以200ms的時間間隔進(jìn)行隨機(jī)順序的黑、綠兩種顏色變化閃爍。

其中，所述視覺識別與定位模塊包括兩個Microsoft Kinect視覺傳感器和第二計算機(jī)，所述兩個Microsoft Kinect視覺傳感器分別放置在所需抓取的杯子前和用戶面前，用于識別、定位所需抓取的杯子和用戶的嘴部；所述第二計算機(jī)用于實現(xiàn)杯子輪廓檢測算法、杯子定位算法、模板匹配識別算法以及嘴部識別定位算法。

其中，所述決策模塊是基于TCP通信協(xié)議，通過定義統(tǒng)一的傳輸數(shù)據(jù)變量，包括用戶的腦電意圖、杯子及嘴部的位置信息，架設(shè)客戶端與服務(wù)端服務(wù)代碼框架，實現(xiàn)腦電意圖、定位位置及機(jī)械臂狀態(tài)數(shù)據(jù)的采集和傳輸，機(jī)械臂執(zhí)行指令的發(fā)送。

其中，所述機(jī)械臂控制模塊采用一個多自由度機(jī)械臂作為執(zhí)行機(jī)構(gòu)。

實施例2：

本實施例提供了一種基于腦機(jī)接口的機(jī)械臂自主輔助方法，如圖2所示，該方法包括以下步驟：

1)用戶坐在第一計算機(jī)屏幕前，調(diào)整好位置，佩戴好腦電采集的電極帽，打開腦電采集儀和第一計算機(jī)，確認(rèn)信號采集狀態(tài)良好；

2)啟動基于腦機(jī)接口的機(jī)械臂自主輔助系統(tǒng)，確認(rèn)識別、定位用戶嘴部的Microsoft Kinect視覺傳感器能夠正確捕捉到用戶的嘴部，確認(rèn)所要抓取的三個預(yù)設(shè)的杯子被正確放在用于識別、定位所需抓取的杯子的Microsoft Kinect視覺傳感器的視野內(nèi)；

3)第一計算機(jī)屏幕進(jìn)入閃爍的視覺刺激的功能鍵界面，該功能鍵界面包括“cup1”，“cup2”，“cup3”以及“back”四個功能鍵；

4)用戶注視“cup1”，“cup2”或者“cup3”三個功能鍵的其中一個，即選擇出三個預(yù)設(shè)的杯子中的其中一個，一旦功能鍵被選定，將得出用戶關(guān)于杯子選擇的腦電意圖，并發(fā)送到視覺識別與定位模塊和決策模塊；

5)視覺識別與定位模塊根據(jù)步驟4)中的腦電意圖，識別與定位出相應(yīng)杯子的位置與用戶的嘴部的位置，并利用TCP通信協(xié)議，將用戶所選杯子及用戶嘴部的位置信息，發(fā)送到?jīng)Q策模塊；

6)決策模塊根據(jù)步驟5)中獲得的杯子及用戶嘴部的位置信息和步驟4)中獲得的腦電意圖，生成相應(yīng)的機(jī)械臂執(zhí)行指令并發(fā)送給機(jī)械臂控制模塊；

7)機(jī)械臂控制模塊根據(jù)機(jī)械臂執(zhí)行指令，進(jìn)行軌跡規(guī)劃，并按照所規(guī)劃的軌跡，控制機(jī)械臂抓取用戶所選杯子及將杯子傳送到用戶的嘴邊；

8)喝水結(jié)束后，用戶注視“back”功能鍵，一旦功能鍵被選定，將得出用戶關(guān)于送返杯子的腦電意圖并發(fā)送到?jīng)Q策模塊；

9)決策模塊，根據(jù)步驟8)中獲得的送返杯子的腦電意圖，生成相應(yīng)的機(jī)械臂執(zhí)行指令并發(fā)送給機(jī)械臂控制模塊；

10)機(jī)械臂控制模塊根據(jù)機(jī)械臂執(zhí)行指令，進(jìn)行軌跡規(guī)劃，并按照所規(guī)劃的軌跡，控制機(jī)械臂將用戶所選杯子放回原來位置并恢復(fù)到機(jī)械臂初始位置狀態(tài)，實現(xiàn)機(jī)械臂自主輔助用戶喝水功能。

其中，所述步驟4)和步驟8)中功能鍵的選定具體通過以下過程實現(xiàn)：用戶注視第一計算機(jī)的功能鍵界面中的某個功能鍵，腦電信號通過電極帽和腦電采集儀進(jìn)行采集、放大、濾波、模數(shù)轉(zhuǎn)換處理后，再將數(shù)據(jù)傳輸給第一計算機(jī)進(jìn)行P300信號檢測，然后實現(xiàn)某個功能鍵的選定，所述P300信號檢測具體通過以下步驟實現(xiàn)：

(一)、將EEG信號經(jīng)過0.1～20Hz的帶通濾波去噪處理；

(二)、以EEG信號幅值作為特征，截取P300功能鍵閃爍后的600ms時間窗的數(shù)據(jù)，并采用貝葉斯模型進(jìn)行狀態(tài)分類，從而實現(xiàn)P300信號檢測。

其中，步驟5)中，如圖3所示，所述識別與定位相應(yīng)杯子的位置具體通過以下步驟實現(xiàn)：

(1)、通過區(qū)域生長算法，在Microsoft Kinect視覺傳感器的三維點云中，提取出杯子所擺放在的水平面；

(2)、去除步驟(1)提取的水平面，對剩下的三維點云進(jìn)行物體的提取和分割；

(3)、選用模板匹配算法，將步驟(2)中獲得的各物體點云集合對應(yīng)的彩色圖像與庫中預(yù)設(shè)圖像分別進(jìn)行匹配，識別出用戶所選杯子對應(yīng)的點云集合；

(4)、將步驟(3)中獲得的所選杯子對應(yīng)的點云集合進(jìn)行均值計算，實現(xiàn)杯子在Microsoft Kinect視覺傳感器坐標(biāo)系中的定位，并轉(zhuǎn)換到機(jī)械臂坐標(biāo)系上。

其中，步驟5)中，所述識別與定位用戶的嘴部的位置，具體通過以下步驟實現(xiàn)：運用Microsoft Kinect視覺傳感器本身所提供的軟件開發(fā)工具包進(jìn)行人體檢測，獲取用戶嘴部在Microsoft Kinect視覺傳感器坐標(biāo)系中的坐標(biāo)位置，并轉(zhuǎn)換到機(jī)械臂坐標(biāo)系上。

其中，步驟7)和步驟10)中，如圖4所示，所述機(jī)械臂軌跡規(guī)劃及控制，具體通過以下過程實現(xiàn)：將預(yù)設(shè)的關(guān)鍵軌跡點與用戶嘴部及所選杯子在機(jī)械臂坐標(biāo)系上的坐標(biāo)點相結(jié)合，規(guī)劃出機(jī)械臂運行軌跡，通過調(diào)用機(jī)械臂相應(yīng)的API，控制機(jī)械臂按所規(guī)劃軌跡運行，實現(xiàn)機(jī)械臂自主輔助用戶喝水功能。

以上所述，僅為本發(fā)明專利較佳的實施例，但本發(fā)明專利的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明專利所公開的范圍內(nèi)，根據(jù)本發(fā)明專利的技術(shù)方案及其發(fā)明專利構(gòu)思加以等同替換或改變，都屬于本發(fā)明專利的保護(hù)范圍。