基于腦機(jī)接口的智能輪椅系統(tǒng)及其動(dòng)作方法
【專利摘要】本發(fā)明公開了一種基于腦機(jī)接口的智能輪椅系統(tǒng)及其動(dòng)作方法，屬于腦機(jī)接口應(yīng)用研究及智能輪椅領(lǐng)域，所述基于腦機(jī)接口的智能輪椅系統(tǒng)包括腦機(jī)接口系統(tǒng)、控制系統(tǒng)、視覺(jué)系統(tǒng)、智能輪椅本體、執(zhí)行機(jī)構(gòu)和電源管理系統(tǒng)，所述腦機(jī)接口系統(tǒng)用于與患者的大腦連接，所述控制系統(tǒng)、視覺(jué)系統(tǒng)和執(zhí)行機(jī)構(gòu)均設(shè)置在所述智能輪椅本體上，所述控制系統(tǒng)的信號(hào)輸入端分別連接所述腦電信號(hào)處理器的信號(hào)輸出端和視覺(jué)系統(tǒng)，所述控制系統(tǒng)的信號(hào)輸出端和視覺(jué)系統(tǒng)分別連接所述智能輪椅本體和執(zhí)行機(jī)構(gòu)。本發(fā)明既能夠?qū)崿F(xiàn)基本的智能性，又能幫助患者完成最基本的一些生活照料，提高了患者自理能力，改善了患者生活質(zhì)量。
【專利說(shuō)明】
基于腦機(jī)接口的智能輪椅系統(tǒng)及其動(dòng)作方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及腦機(jī)接口應(yīng)用研究及智能輪椅領(lǐng)域，具體涉及一種基于腦機(jī)接口的智 能輪椅系統(tǒng)及其動(dòng)作方法。
【背景技術(shù)】
[0002] 人口老齡化的加速必然導(dǎo)致老齡人口健康問(wèn)題凸顯，高齡、失能和患病老年人的 照料護(hù)理問(wèn)題，更應(yīng)該得到社會(huì)的普遍關(guān)注。但由于老年人醫(yī)療服務(wù)型行業(yè)發(fā)展的不完善 性，制定出相應(yīng)對(duì)策顯得尤為迫切。
[0003] 腦機(jī)接口（Brain-Computer Interface，BCI)是一種新穎的人機(jī)接口方式。它是基 于腦電信號(hào)，實(shí)現(xiàn)人腦與計(jì)算機(jī)或其他設(shè)備通訊和控制的系統(tǒng)，而不依賴于腦的正常輸出 通路（外周神經(jīng)系統(tǒng)及肌肉組織），是一種全新的通訊和控制方式，在康復(fù)醫(yī)學(xué)和控制等領(lǐng) 域有著較廣闊的應(yīng)用前景。
[0004] 目前智能輪椅可以實(shí)現(xiàn)自主定位、導(dǎo)航、避障等功能，但是一些患者最基本的一些 照料(倒茶、喝水、開抽屜等)還是需要看護(hù)人幫助，對(duì)于一些患者可以通過(guò)語(yǔ)言或肢體語(yǔ)言 表達(dá)自己的意圖，但是針對(duì)一部分完全喪失了運(yùn)動(dòng)能力和語(yǔ)言表達(dá)能力的患者，他們僅僅 保留了正常人的思維能力，看護(hù)人并不能真正"讀懂"這些患者的意圖。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明要解決的技術(shù)問(wèn)題是提供一種既能夠?qū)崿F(xiàn)基本的智能性（自主定位、導(dǎo)航、 避障等功能），又能幫助患者完成最基本的一些生活照料(倒茶、喝水、開抽屜等），提尚患者 自理能力，改善患者生活質(zhì)量的基于腦機(jī)接口的智能輪椅系統(tǒng)及其動(dòng)作方法。
[0006] 為解決上述技術(shù)問(wèn)題，本發(fā)明提供技術(shù)方案如下：
[0007] -種基于腦機(jī)接口的智能輪椅系統(tǒng)，包括腦機(jī)接口系統(tǒng)、控制系統(tǒng)、視覺(jué)系統(tǒng)、智 能輪椅本體、執(zhí)行機(jī)構(gòu)以及用于為各部分供電的電源管理系統(tǒng)，其中：
[0008] 所述腦機(jī)接口系統(tǒng)用于與患者的大腦連接，所述腦機(jī)接口系統(tǒng)包括依次連接的若 干干電極、多級(jí)放大電路、多級(jí)濾波電路和腦電信號(hào)處理器；
[0009]所述控制系統(tǒng)、視覺(jué)系統(tǒng)和執(zhí)行機(jī)構(gòu)均設(shè)置于所述智能輪椅本體上，所述腦電信 號(hào)處理器和視覺(jué)系統(tǒng)的信號(hào)輸出端均連接所述控制系統(tǒng)的信號(hào)輸入端，所述控制系統(tǒng)的信 號(hào)輸出端分別連接所述智能輪椅本體和執(zhí)行機(jī)構(gòu)，所述視覺(jué)系統(tǒng)的信號(hào)輸出端還連接所述 智能輪椅本體和執(zhí)行機(jī)構(gòu)。
[0010]進(jìn)一步的，所述腦機(jī)接口系統(tǒng)還包括參考電極和接地電極，所述參考電極和接地 電極分別與所述多級(jí)放大電路連接。
[0011]進(jìn)一步的，所述電源管理系統(tǒng)和控制系統(tǒng)均設(shè)置于所述智能輪椅本體的下部，所 述電源管理系統(tǒng)為自主充電方式。
[0012]進(jìn)一步的，所述執(zhí)行機(jī)構(gòu)包括機(jī)械臂和設(shè)置于所述機(jī)械臂末端的機(jī)械手，所述機(jī) 械臂設(shè)置于所述智能輪椅本體的一側(cè)。
[0013] 進(jìn)一步的，所述機(jī)械臂上設(shè)置有防碰撞傳感器系統(tǒng)，所述機(jī)械手上設(shè)置有壓力傳 感器。
[0014] 進(jìn)一步的，所述視覺(jué)系統(tǒng)包括智能輪椅視覺(jué)系統(tǒng)和外部視覺(jué)系統(tǒng)，所述智能輪椅 視覺(jué)系統(tǒng)設(shè)置于所述機(jī)械臂的最后一關(guān)節(jié)上，所述外部視覺(jué)系統(tǒng)設(shè)置于室內(nèi)的天花板上或 墻壁上。
[0015] 進(jìn)一步的，所述腦機(jī)接口系統(tǒng)設(shè)置于用于患者佩戴的電極帽上。
[0016] 上述基于腦機(jī)接口的智能輪椅系統(tǒng)的動(dòng)作方法，包括：
[0017] 步驟1:預(yù)先在所述機(jī)械手需要完成操作的任務(wù)目標(biāo)上粘貼二維碼;患者先佩戴電 極帽，然后對(duì)想要進(jìn)行的某一自理行為產(chǎn)生相應(yīng)的原始腦電信號(hào)；
[0018] 步驟2:所述電極帽上的所述干電極采集所述原始腦電信號(hào)，并結(jié)合所述參考電極 和接地電極得到較可靠的所述原始腦電信號(hào)；
[0019] 步驟3:所述原始腦電信號(hào)經(jīng)過(guò)所述多級(jí)放大電路、多級(jí)濾波電路和腦電信號(hào)處理 器得到所述控制系統(tǒng)可以識(shí)別的控制指令，所述控制指令傳輸至所述控制系統(tǒng)；
[0020] 步驟4:所述控制系統(tǒng)接受到所述控制指令，并完成相應(yīng)的任務(wù)規(guī)劃，所述任務(wù)規(guī) 劃包括任務(wù)目標(biāo)的識(shí)別定位、對(duì)任務(wù)目標(biāo)的操作、將任務(wù)目標(biāo)送至原處；
[0021] 步驟5:所述視覺(jué)系統(tǒng)對(duì)任務(wù)目標(biāo)進(jìn)行定位，之后所述智能輪椅本體在所述控制系 統(tǒng)的控制下移動(dòng)至任務(wù)目標(biāo)處；
[0022] 步驟6:所述智能輪椅視覺(jué)系統(tǒng)采集任務(wù)目標(biāo)的圖像信息，并對(duì)任務(wù)目標(biāo)進(jìn)行定 位，定位完成后，所述智能輪椅視覺(jué)系統(tǒng)對(duì)任務(wù)目標(biāo)的圖像進(jìn)行精確的大小、形狀及輪廓的 識(shí)別；
[0023]步驟7:對(duì)任務(wù)目標(biāo)完成精確的定位識(shí)別后，所述外部視覺(jué)系統(tǒng)進(jìn)行所述智能輪椅 本體和任務(wù)目標(biāo)之間的測(cè)距定位，以及任務(wù)目標(biāo)的三維坐標(biāo)的推算；
[0024] 步驟8:所述控制系統(tǒng)計(jì)算以所述機(jī)械臂的基座為原點(diǎn)的坐標(biāo)系，完成所述機(jī)械臂 與任務(wù)目標(biāo)的點(diǎn)坐標(biāo)的推算，規(guī)劃所述機(jī)械臂的運(yùn)行軌跡，并記憶此次運(yùn)行軌跡，根據(jù)對(duì)任 務(wù)目標(biāo)的識(shí)別定位，所述機(jī)械手完成對(duì)任務(wù)目標(biāo)的所有操作；
[0025] 步驟9:之后，所述機(jī)械臂以記憶的運(yùn)行軌跡回到原來(lái)的位置，完成一次控制指令 任務(wù)。
[0026] 進(jìn)一步的，所述步驟5中，如果任務(wù)目標(biāo)位于所述智能輪椅本體附近，則直接執(zhí)行 步驟6至步驟9;如果任務(wù)目標(biāo)被遮擋或不在所述智能輪椅本體附近，則所述外部視覺(jué)系統(tǒng) 采用三維點(diǎn)云的分割對(duì)任務(wù)目標(biāo)進(jìn)行檢測(cè)和定位，并采用基于SURF特征匹配的方法實(shí)現(xiàn)對(duì) 任務(wù)目標(biāo)的識(shí)別，協(xié)調(diào)所述控制系統(tǒng)控制所述智能輪椅本體移動(dòng)至所述智能輪椅視覺(jué)系統(tǒng) 可以識(shí)別任務(wù)目標(biāo)的位置，然后執(zhí)行步驟6至步驟9。
[0027]進(jìn)一步的，所述步驟6包括：
[0028]步驟61:所述智能輪椅視覺(jué)系統(tǒng)采集任務(wù)目標(biāo)的圖像信息；
[0029]步驟62:將采集的任務(wù)目標(biāo)的圖像信息由RGB模型轉(zhuǎn)換為HSL模型，公式如下；
[0030]
[0031]
[0032]
[0033]
[0034] 步驟63:為了正確表示色度H的相似性度量，計(jì)算兩種顏色的距離時(shí)，使用色度H的 三角函數(shù)進(jìn)行表示，由于色度H和飽和度S相對(duì)獨(dú)立，對(duì)這兩個(gè)分量分別進(jìn)行相似度量，對(duì)亮 度L可以選取較大的范圍以適應(yīng)不同的光照條件，再將這三個(gè)分量的相似度量的結(jié)果取交 集，將所述模型采用分割策略如下：
[0035]
[0036] 其中：he(0°，360° )，h，s，l為目標(biāo)顏色值，H，S，L為目標(biāo)理想顏色值，DIFF_H， DIFF_S，DIFF_I^V別為允許的最大色度、飽和度、亮度變化范圍；
[0037] 步驟64:對(duì)所述分割的二值圖像選取若干較大面積的連通區(qū)，將小面積的連通區(qū) 當(dāng)作背景噪聲，通過(guò)區(qū)域填充方法將所述背景噪聲去除，得到第一圖像；
[0038] 步驟65:采用形態(tài)學(xué)濾波法將所述第一圖像中的洞和突刺濾掉，得到第二圖像；
[0039] 步驟66:將所述第二圖像的信息對(duì)所述任務(wù)目標(biāo)的連通區(qū)的外輪廓進(jìn)行提取，提 取結(jié)果為一封閉曲線；
[0040] 步驟67:采用幾何不變矩方法計(jì)算所述封閉區(qū)曲線，得到所述封閉曲線的不變矩， 最后通過(guò)比較所述封閉曲線的不變矩和模板樣本的不變矩之間的歐式距離實(shí)現(xiàn)任務(wù)目標(biāo) 的識(shí)別。
[0041] 本發(fā)明具有以下有益效果：
[0042] 與現(xiàn)有技術(shù)相比，本發(fā)明的基于腦機(jī)接口的智能輪椅系統(tǒng)采用腦機(jī)接口系統(tǒng)、控 制系統(tǒng)和視覺(jué)系統(tǒng)將患者的大腦與智能輪椅及智能輪椅上的執(zhí)行機(jī)構(gòu)連接，除了可以實(shí)現(xiàn) 自主定位、導(dǎo)航、避障等功能外，還可以真正讀懂患者的意圖，協(xié)助患者完成最基本的一些 照料(倒茶、喝水、開抽屜等），患者通過(guò)腦機(jī)接口系統(tǒng)和控制系統(tǒng)能夠?qū)崿F(xiàn)對(duì)執(zhí)行機(jī)構(gòu)的控 制，提高自理能力，改善生活質(zhì)量。同時(shí)，本發(fā)明提供的動(dòng)作方法，可以準(zhǔn)確的實(shí)現(xiàn)目標(biāo)的識(shí) 別和定位，執(zhí)行機(jī)構(gòu)可以很精準(zhǔn)的完成患者對(duì)自己的照料。
【附圖說(shuō)明】
[0043] 圖1為本發(fā)明的基于腦機(jī)接口的智能輪椅系統(tǒng)及其動(dòng)作方法的智能輪椅系統(tǒng)示意 圖。
【具體實(shí)施方式】
[0044] 為使本發(fā)明要解決的技術(shù)問(wèn)題、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖及具 體實(shí)施例進(jìn)行詳細(xì)描述。
[0045] -方面，提供一種基于腦機(jī)接口的智能輪椅系統(tǒng)，如圖1所示，包括腦機(jī)接口系統(tǒng) 1、控制系統(tǒng)2、視覺(jué)系統(tǒng)3、智能輪椅本體4、執(zhí)行機(jī)構(gòu)5以及用于為各部分供電的電源管理系 統(tǒng)(未示出），其中：
[0046] 所述腦機(jī)接口系統(tǒng)1用于與患者的大腦連接，腦機(jī)接口系統(tǒng)1包括依次連接的若干 干電極11、多級(jí)放大電路12、多級(jí)濾波電路13和腦電信號(hào)處理器14;
[0047]控制系統(tǒng)2、視覺(jué)系統(tǒng)3和執(zhí)行機(jī)構(gòu)5均設(shè)置在智能輪椅本體4上，腦電信號(hào)處理器 14和視覺(jué)系統(tǒng)3的信號(hào)輸出端均連接控制系統(tǒng)2的信號(hào)輸入端，控制系統(tǒng)2的信號(hào)輸出端分 別連接智能輪椅本體4和執(zhí)行機(jī)構(gòu)5,視覺(jué)系統(tǒng)3的信號(hào)輸出端還連接智能輪椅本體4和執(zhí)行 機(jī)構(gòu)5。
[0048]本發(fā)明的基于腦機(jī)接口的智能輪椅系統(tǒng)采用腦機(jī)接口系統(tǒng)、控制系統(tǒng)和視覺(jué)系統(tǒng) 將患者的大腦與智能輪椅及智能輪椅上的執(zhí)行機(jī)構(gòu)連接，除了可以實(shí)現(xiàn)自主定位、導(dǎo)航、避 障等功能外，還可以真正讀懂患者的意圖，協(xié)助患者完成最基本的一些照料(倒茶、喝水、開 抽屜等），患者通過(guò)腦機(jī)接口系統(tǒng)和控制系統(tǒng)能夠?qū)崿F(xiàn)對(duì)執(zhí)行機(jī)構(gòu)的控制，提高自理能力， 改善生活質(zhì)量。
[0049 ]作為本發(fā)明的一種改進(jìn)，腦機(jī)接口系統(tǒng)1還可以包括參考電極15和接地電極16，參 考電極15和接地電極16分別與多級(jí)放大電路12連接。參考電極15和接地電極16有助于腦電 信號(hào)的采集分析與干擾的排除。
[0050] 優(yōu)選的，電源管理系統(tǒng)和控制系統(tǒng)2均可以設(shè)置于智能輪椅本體4的下部，電源管 理系統(tǒng)為自主充電方式。電源管理系統(tǒng)和控制系統(tǒng)2設(shè)置于智能輪椅本體4的下部，有利于 節(jié)省空間，使得智能輪椅系統(tǒng)的整體結(jié)構(gòu)緊湊、美觀；電源管理系統(tǒng)可以為各個(gè)系統(tǒng)、運(yùn)動(dòng) 及執(zhí)行機(jī)構(gòu)等提供能源，保證各系統(tǒng)、運(yùn)動(dòng)及執(zhí)行機(jī)構(gòu)的正常運(yùn)行，并且具有低壓保護(hù)、報(bào) 警等功能，在低電壓時(shí)可進(jìn)行低壓保護(hù)，并通過(guò)報(bào)警提示電量過(guò)低，停止智能輪椅系統(tǒng)執(zhí)行 任務(wù)，并自主移動(dòng)到"充電室"進(jìn)行自主充電；控制系統(tǒng)2主要用于控制指令的處理、任務(wù)的 規(guī)劃、各系統(tǒng)的控制以及智能輪椅本體4的自主運(yùn)行等。
[0051] 進(jìn)一步的，執(zhí)行機(jī)構(gòu)5優(yōu)選包括機(jī)械臂51和設(shè)置于機(jī)械臂51末端的機(jī)械手52,機(jī)械 臂51可以設(shè)置于智能輪椅本體4的一側(cè)。機(jī)械臂51和機(jī)械手52均為多自由度機(jī)械臂，優(yōu)選設(shè) 置于設(shè)置于智能輪椅本體4的右側(cè)，相當(dāng)于患者的手臂和手，符合大部分患者通常使用右手 操作事物的習(xí)慣，能夠靈活地對(duì)物體進(jìn)行抓取及其他操作。
[0052]優(yōu)選的，機(jī)械臂51上可以設(shè)置有防碰撞傳感器系統(tǒng)，機(jī)械手52上可以設(shè)置有壓力 傳感器。防碰撞傳感器系統(tǒng)能夠避免機(jī)械臂51和機(jī)械手52在對(duì)物體進(jìn)行抓取或其他操作時(shí) 碰到其它障礙物，壓力傳感器用于控制機(jī)械手52的力度避免損害所操作的物體。
[0053]作為本發(fā)明的另一種改進(jìn)，視覺(jué)系統(tǒng)3優(yōu)選包括智能輪椅視覺(jué)系統(tǒng)和外部視覺(jué)系 統(tǒng)，智能輪椅視覺(jué)系統(tǒng)可以設(shè)置于機(jī)械臂51的最后一關(guān)節(jié)上，外部視覺(jué)系統(tǒng)可以設(shè)置于室 內(nèi)的天花板上或墻壁上。智能輪椅視覺(jué)系統(tǒng)是智能輪椅本身的視覺(jué)系統(tǒng)，相當(dāng)于對(duì)任務(wù)目 標(biāo)操作時(shí)患者的眼睛，用于對(duì)任務(wù)目標(biāo)的圖像信息采集、任務(wù)目標(biāo)的識(shí)別定位、任務(wù)目標(biāo)的 坐標(biāo)推算以及機(jī)械手52的防碰撞；外部視覺(jué)系統(tǒng)用于協(xié)助智能輪椅本體和任務(wù)目標(biāo)的定 位，以及任務(wù)目標(biāo)的三維坐標(biāo)的推算，便于智能輪椅本體4移動(dòng)到任務(wù)目標(biāo)附近以及機(jī)械手 52對(duì)任務(wù)目標(biāo)的準(zhǔn)確識(shí)別和操作。
[0054]進(jìn)一步的，腦機(jī)接口系統(tǒng)1優(yōu)選設(shè)置于用于患者佩戴的電極帽上。患者通過(guò)佩戴電 極帽使得干電極11、參考電極15和接地電極16獲取患者的原始腦電信號(hào)，干電極11、參考電 極15和接地電極16將獲取的原始腦電信號(hào)經(jīng)過(guò)多級(jí)放大電路12進(jìn)行信號(hào)放大，然后經(jīng)過(guò)多 級(jí)濾波電路13濾掉噪音等干擾信號(hào)，最后進(jìn)入腦電信號(hào)處理器14進(jìn)行提取識(shí)別并得到想要 的腦電信號(hào)，腦電信號(hào)處理器14將該想要的腦電信號(hào)模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)，該數(shù)字信 號(hào)可以經(jīng)無(wú)線傳輸?shù)姆绞絺鬏斨量刂葡到y(tǒng)2。
[0055]另一方面，提供一種上述基于腦機(jī)接口的智能輪椅系統(tǒng)的動(dòng)作方法，以喝水為例， 包括：
[0056]步驟1:預(yù)先在機(jī)械手52需要完成操作的水杯上粘貼二維碼；患者先佩戴電極帽， 然后對(duì)想要進(jìn)行的喝水這一自理行為產(chǎn)生相應(yīng)的原始腦電信號(hào)；
[0057] 步驟2:電極帽上的干電極11采集原始腦電信號(hào)，并結(jié)合參考電極15和接地電極16 得到較可靠的原始腦電信號(hào)；
[0058] 步驟3:原始喝水指令腦電信號(hào)經(jīng)過(guò)多級(jí)放大電路12、多級(jí)濾波電路13和腦電信號(hào) 處理器14得到控制系統(tǒng)2可以識(shí)別的喝水控制指令，喝水控制指令傳輸至控制系統(tǒng)2;
[0059] 步驟4:控制系統(tǒng)2接受到合數(shù)控制指令，并完成與喝水相應(yīng)的任務(wù)規(guī)劃，任務(wù)規(guī)劃 包括水杯的識(shí)別定位、水杯的端起、將水杯送至患者嘴邊、將水杯送至原處等；
[0060] 步驟5:視覺(jué)系統(tǒng)3對(duì)水杯進(jìn)行定位，之后智能輪椅本體4在控制系統(tǒng)2的控制下移 動(dòng)至水杯處；
[0061]步驟6:智能輪椅視覺(jué)系統(tǒng)采集水杯的圖像信息，并對(duì)水杯進(jìn)行定位，定位完成后， 智能輪椅視覺(jué)系統(tǒng)對(duì)水杯的圖像進(jìn)行精確的大小、形狀及輪廓的識(shí)別，便于機(jī)械手52對(duì)水 杯的抓?。?br>[0062]步驟7:對(duì)水杯完成精確的定位識(shí)別后，外部視覺(jué)系統(tǒng)進(jìn)行智能輪椅本體4和水杯 之間的測(cè)距定位，以及水杯的三維坐標(biāo)的推算；
[0063] 步驟8:控制系統(tǒng)2計(jì)算以機(jī)械臂51的基座為原點(diǎn)的坐標(biāo)系，完成機(jī)械臂51與水杯 的點(diǎn)坐標(biāo)的推算，規(guī)劃?rùn)C(jī)械臂51的運(yùn)行軌跡，并記憶此次運(yùn)行軌跡，根據(jù)對(duì)水杯的識(shí)別定 位，機(jī)械手52完成對(duì)水杯的抓取并將水杯端起送至患者嘴邊；
[0064] 步驟9:之后，機(jī)械臂51以記憶的運(yùn)行軌跡回到原來(lái)的位置，將水杯放置原來(lái)的位 置，完成喝水這一控制指令任務(wù)。
[0065] 本發(fā)明提供的動(dòng)作方法，可以準(zhǔn)確的實(shí)現(xiàn)目標(biāo)的識(shí)別和定位，執(zhí)行機(jī)構(gòu)可以很精 準(zhǔn)的完成患者對(duì)自己的照料。
[0066] 作為本發(fā)明的一種改進(jìn)，步驟5中，如果水杯位于智能輪椅本體4附近，則直接執(zhí)行 步驟6至步驟9;如果水杯被遮擋或不在智能輪椅本體4附近，則外部視覺(jué)系統(tǒng)采用三維點(diǎn)云 的分割對(duì)水杯進(jìn)行檢測(cè)和定位，并采用基于SURF特征匹配的方法實(shí)現(xiàn)對(duì)水杯的識(shí)別，協(xié)調(diào) 控制系統(tǒng)2控制智能輪椅本體4移動(dòng)至智能輪椅視覺(jué)系統(tǒng)可以識(shí)別水杯的位置，然后執(zhí)行步 驟6至步驟9。外部視覺(jué)系統(tǒng)與智能輪椅視覺(jué)系統(tǒng)的結(jié)合使用，可以更加準(zhǔn)確的檢測(cè)和定位 到水杯的位置，便于機(jī)械手52對(duì)水杯的各種操作。
[0067]進(jìn)一步的，步驟6可以包括：
[0068]步驟61:智能輪椅視覺(jué)系統(tǒng)采集水杯的圖像信息；
[0070]
[0069] 步驟62:將采集的水杯的圖像信息由RGB模型轉(zhuǎn)換為HSL模型，公式如下；
[0071]
[0072]
[0073]
[0074]由于水杯在RGB色彩空間中，R，G，B的分量是高度相關(guān)的，只要亮度改變，R，G，B的 分量值都會(huì)相應(yīng)蓋面，很難找到穩(wěn)定的描述規(guī)則，不適合對(duì)水杯的圖像的分割和分析，但是 在HSL色彩空間，色度分量H與亮度分量L是分開的，亮度分量L與圖像的顏色信息無(wú)關(guān)，色度 分量H和飽和度分量S概念上相互獨(dú)立并與顏色的視覺(jué)感知緊密相關(guān)，因此水杯的圖像信息 可以采用HSL模型進(jìn)行很好的分割和分析；
[0075]步驟63:為了正確表示色度H的相似性度量，計(jì)算兩種顏色的距離時(shí)，使用色度H的 三角函數(shù)進(jìn)行表示，由于色度H和飽和度S相對(duì)獨(dú)立，對(duì)這兩個(gè)分量分別進(jìn)行相似度量，對(duì)亮 度L可以選取較大的范圍以適應(yīng)不同的光照條件，再將這三個(gè)分量的相似度量的結(jié)果取交 集，將所述模型采用分割策略如下：
[0076]
[0077] 其中：he(0°，360°)，h，s，l為目標(biāo)顏色值，H，S，L為目標(biāo)理想顏色值，DIFF_H， DIFF_S，DIFF_I^V別為允許的最大色度、飽和度、亮度變化范圍；
[0078] 步驟64:對(duì)分割的二值圖像會(huì)存在一定的干擾塊，可以根據(jù)區(qū)域的面積大小去除 小面積的干擾，選取若干較大面積的連通區(qū)，將小面積的連通區(qū)當(dāng)作背景噪聲，通過(guò)區(qū)域填 充方法將所述背景噪聲去除，得到第一圖像，可以采取以下方式進(jìn)行判斷區(qū)域的面積大小， 區(qū)域面積
[0079] - > T 分割的二至圖像的面積
[0080] 其中，T為閾值，0<T<1，本實(shí)施例中，T取0.5;
[0081] 步驟65:采用形態(tài)學(xué)濾波法將第一圖像中的洞和突刺濾掉，得到第二圖像，第一圖 像中的洞和突刺會(huì)對(duì)圖像的輪廓的提取存在一定的影響，故要濾掉；
[0082] 步驟66:將第二圖像的信息對(duì)水杯的連通區(qū)的外輪廓進(jìn)行提取，提取結(jié)果為一封 閉曲線，提取方式可以采用鏈碼跟蹤方法，首先按照從左到右，從上到下的順序查找輪廓起 點(diǎn)，再按照右、右下、下、左下的順序查找第二個(gè)輪廓點(diǎn)，然后按照右、右下、下、左下、左、左 上、上、上右的順序查找其他輪廓點(diǎn)，直到回到輪廓起點(diǎn)，則輪廓跟蹤結(jié)束；
[0083] 步驟67:采用幾何不變矩方法計(jì)算所述封閉區(qū)曲線，得到封閉曲線的不變矩，最后 通過(guò)比較封閉曲線的不變矩和模板樣本的不變矩之間的歐式距離實(shí)現(xiàn)水杯的識(shí)別，本實(shí)施 例中米用Hu提出的不變矩法進(jìn)行計(jì)算（Hu,Mingkuei .Visual pattern recognition by moment invariants[J]. Information Theory Ire Transactions on,1962,8(2):179-187. )，Hu不變矩具有平移、比例和旋轉(zhuǎn)不變性，在圖像識(shí)別的過(guò)程中能減少對(duì)待測(cè)圖像的 大小歸一化和位置居中等預(yù)處理的步驟，降低運(yùn)算成本，提高運(yùn)算速率。
[0084] 以上所述是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員 來(lái)說(shuō)，在不脫離本發(fā)明所述原理的前提下，還可以作出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也 應(yīng)視為本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1. 一種基于腦機(jī)接口的智能輪椅系統(tǒng)，其特征在于，包括腦機(jī)接口系統(tǒng)、控制系統(tǒng)、視 覺(jué)系統(tǒng)、智能輪椅本體、執(zhí)行機(jī)構(gòu)W及用于為各部分供電的電源管理系統(tǒng)，其中： 所述腦機(jī)接口系統(tǒng)用于與患者的大腦連接，所述腦機(jī)接口系統(tǒng)包括依次連接的若干干 電極、多級(jí)放大電路、多級(jí)濾波電路和腦電信號(hào)處理器； 所述控制系統(tǒng)、視覺(jué)系統(tǒng)和執(zhí)行機(jī)構(gòu)均設(shè)置于所述智能輪椅本體上，所述腦電信號(hào)處 理器和視覺(jué)系統(tǒng)的信號(hào)輸出端均連接所述控制系統(tǒng)的信號(hào)輸入端，所述控制系統(tǒng)的信號(hào)輸 出端分別連接所述智能輪椅本體和執(zhí)行機(jī)構(gòu)，所述視覺(jué)系統(tǒng)的信號(hào)輸出端還連接所述智能 輪椅本體和執(zhí)行機(jī)構(gòu)。2. 根據(jù)權(quán)利要求1所述的基于腦機(jī)接口的智能輪椅系統(tǒng)，其特征在于，所述腦機(jī)接口系 統(tǒng)還包括參考電極和接地電極，所述參考電極和接地電極分別與所述多級(jí)放大電路連接。3. 根據(jù)權(quán)利要求2所述的基于腦機(jī)接口的智能輪椅系統(tǒng)，其特征在于，所述電源管理系 統(tǒng)和控制系統(tǒng)均設(shè)置于所述智能輪椅本體的下部，所述電源管理系統(tǒng)為自主充電方式。4. 根據(jù)權(quán)利要求3所述的基于腦機(jī)接口的智能輪椅系統(tǒng)，其特征在于，所述執(zhí)行機(jī)構(gòu)包 括機(jī)械臂和設(shè)置于所述機(jī)械臂末端的機(jī)械手，所述機(jī)械臂設(shè)置于所述智能輪椅本體的一 側(cè)。5. 根據(jù)權(quán)利要求4所述的基于腦機(jī)接口的智能輪椅系統(tǒng)，其特征在于，所述機(jī)械臂上設(shè) 置有防碰撞傳感器系統(tǒng)，所述機(jī)械手上設(shè)置有壓力傳感器。6. 根據(jù)權(quán)利要求1所述的基于腦機(jī)接口的智能輪椅系統(tǒng)，其特征在于，所述視覺(jué)系統(tǒng)包 括智能輪椅視覺(jué)系統(tǒng)和外部視覺(jué)系統(tǒng)，所述智能輪椅視覺(jué)系統(tǒng)設(shè)置于所述機(jī)械臂的最后一 關(guān)節(jié)上，所述外部視覺(jué)系統(tǒng)設(shè)置于室內(nèi)的天花板上或墻壁上。7. 根據(jù)權(quán)利要求1至6中任一所述的基于腦機(jī)接口的智能輪椅系統(tǒng)，其特征在于，所述 腦機(jī)接口系統(tǒng)設(shè)置于用于患者佩戴的電極帽上。8. 權(quán)利要求7所述的基于腦機(jī)接口的智能輪椅系統(tǒng)的動(dòng)作方法，其特征在于，包括： 步驟1:預(yù)先在所述機(jī)械手需要完成操作的任務(wù)目標(biāo)上粘貼二維碼；患者先佩戴電極 帽，然后對(duì)想要進(jìn)行的某一自理行為產(chǎn)生相應(yīng)的原始腦電信號(hào)； 步驟2:所述電極帽上的所述干電極采集所述原始腦電信號(hào)，并結(jié)合所述參考電極和接 地電極得到較可靠的所述原始腦電信號(hào)； 步驟3:所述原始腦電信號(hào)經(jīng)過(guò)所述多級(jí)放大電路、多級(jí)濾波電路和腦電信號(hào)處理器得 到所述控制系統(tǒng)可W識(shí)別的控制指令，所述控制指令傳輸至所述控制系統(tǒng)； 步驟4:所述控制系統(tǒng)接受到所述控制指令，并完成相應(yīng)的任務(wù)規(guī)劃，所述任務(wù)規(guī)劃包 括任務(wù)目標(biāo)的識(shí)別定位、對(duì)任務(wù)目標(biāo)的操作、將任務(wù)目標(biāo)送至原處； 步驟5:所述視覺(jué)系統(tǒng)對(duì)任務(wù)目標(biāo)進(jìn)行定位，之后所述智能輪椅本體在所述控制系統(tǒng)的 控制下移動(dòng)至任務(wù)目標(biāo)處； 步驟6:所述智能輪椅視覺(jué)系統(tǒng)采集任務(wù)目標(biāo)的圖像信息，并對(duì)任務(wù)目標(biāo)進(jìn)行定位，定 位完成后，所述智能輪椅視覺(jué)系統(tǒng)對(duì)任務(wù)目標(biāo)的圖像進(jìn)行精確的大小、形狀及輪廓的識(shí)別； 步驟7:對(duì)任務(wù)目標(biāo)完成精確的定位識(shí)別后，所述外部視覺(jué)系統(tǒng)進(jìn)行所述智能輪椅本體 和任務(wù)目標(biāo)之間的測(cè)距定位，W及任務(wù)目標(biāo)的Ξ維坐標(biāo)的推算； 步驟8:所述控制系統(tǒng)計(jì)算W所述機(jī)械臂的基座為原點(diǎn)的坐標(biāo)系，完成所述機(jī)械臂與任 務(wù)目標(biāo)的點(diǎn)坐標(biāo)的推算，規(guī)劃所述機(jī)械臂的運(yùn)行軌跡，并記憶此次運(yùn)行軌跡，根據(jù)對(duì)任務(wù)目 標(biāo)的識(shí)別定位，所述機(jī)械手完成對(duì)所述目標(biāo)的所有操作； 步驟9:之后，所述機(jī)械臂W記憶的運(yùn)行軌跡回到原來(lái)的位置，完成一次控制指令任務(wù)。9. 根據(jù)權(quán)利要求8所述的動(dòng)作方法，其特征在于，所述步驟5中，如果任務(wù)目標(biāo)位于所述 智能輪椅本體附近，則直接執(zhí)行步驟6至步驟9;如果任務(wù)目標(biāo)被遮擋或不在所述智能輪椅 本體附近，則所述外部視覺(jué)系統(tǒng)采用Ξ維點(diǎn)云的分割對(duì)任務(wù)目標(biāo)進(jìn)行檢測(cè)和定位，并采用 基于SURF特征匹配的方法實(shí)現(xiàn)對(duì)任務(wù)目標(biāo)的識(shí)別，協(xié)調(diào)所述控制系統(tǒng)控制所述智能輪椅本 體移動(dòng)至所述智能輪椅視覺(jué)系統(tǒng)可W識(shí)別任務(wù)目標(biāo)的位置，然后執(zhí)行步驟6至步驟9。10. 根據(jù)權(quán)利要求9所述的動(dòng)作方法，其特征在于，所述步驟6包括： 步驟61:所述智能輪椅視覺(jué)系統(tǒng)采集任務(wù)目標(biāo)的圖像信息； 步驟62:將采集的任務(wù)目標(biāo)的圖像信息由RGB模型轉(zhuǎn)換為冊(cè)L模型，公式如下；步驟63:為了正確表示色度Η的相似性度量，計(jì)算兩種顏色的距離時(shí)，使用色度Η的Ξ角 函數(shù)進(jìn)行表示，由于色度Η和飽和度S相對(duì)獨(dú)立，對(duì)運(yùn)兩個(gè)分量分別進(jìn)行相似度量，對(duì)亮度L 可W選取較大的范圍W適應(yīng)不同的光照條件，再將運(yùn)Ξ個(gè)分量的相似度量的結(jié)果取交集， 將所述模型采用分割策略如下：其中：h e (0°，360°)，h，S，1為目標(biāo)顏色值，Η，S，L為目標(biāo)理想顏色值，DIFF_H，DIFF_S， 01尸。_1分別為允許的最大色度、飽和度、亮度變化范圍； 步驟64:對(duì)所述分割的二值圖像選取若干較大面積的連通區(qū)，將小面積的連通區(qū)當(dāng)作 背景噪聲，通過(guò)區(qū)域填充方法將所述背景噪聲去除，得到第一圖像； 步驟65:采用形態(tài)學(xué)濾波法將所述第一圖像中的桐和突刺濾掉，得到第二圖像； 步驟66:將所述第二圖像的信息對(duì)任務(wù)目標(biāo)的連通區(qū)的外輪廓進(jìn)行提取，提取結(jié)果為 一封閉曲線； 步驟67:采用幾何不變矩方法計(jì)算所述封閉區(qū)曲線，得到所述封閉曲線的不變矩，最后 通過(guò)比較所述封閉曲線的不變矩和模板樣本的不變矩之間的歐式距離實(shí)現(xiàn)任務(wù)目標(biāo)的識(shí) 別。
【文檔編號(hào)】A61B5/0476GK106074021SQ201610405583
【公開日】2016年11月9日
【申請(qǐng)日】2016年6月8日
【發(fā)明人】魯守銀, 張營(yíng), 高諾, 高煥兵, 王濤, 隋首鋼
【申請(qǐng)人】山東建筑大學(xué)