專(zhuān)利名稱(chēng)：用眼動(dòng)信號(hào)控制上假肢運(yùn)動(dòng)的控制系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本實(shí)用新型涉及康復(fù)輔具技術(shù)領(lǐng)域的上肢假肢技術(shù)，尤其是涉及上肢假肢的控制系統(tǒng)。
背景技術(shù)：
如何讓殘疾人方便、靈活地控制上假肢是上假肢研究中一個(gè)非常重要的內(nèi)容。目前國(guó)際上用于上假肢控制的仿生控制信號(hào)主要有人體自身的肌電信號(hào)、腦電信號(hào)、神經(jīng)信號(hào)和語(yǔ)音信號(hào)等。采用肌電信號(hào)控制假肢的基本原理是將殘肢肌肉收縮時(shí)產(chǎn)生的動(dòng)作電位由皮膚電極引出，經(jīng)過(guò)生物電放大器放大后送入計(jì)算機(jī)分析，提取出反映運(yùn)動(dòng)意愿的有效特征，運(yùn)用特征矢量與運(yùn)動(dòng)空間的映射關(guān)系來(lái)驅(qū)動(dòng)機(jī)械臂運(yùn)動(dòng)和假手開(kāi)合。目前上假肢的主要仿生控制信號(hào)源就是肌電信號(hào)。盡管肌電上假肢在實(shí)際應(yīng)用中獲得了成功，但當(dāng)截肢患者的殘肢太短，或者因癱瘓而導(dǎo)致肌肉萎縮時(shí)，就不能提供足夠的上假肢所需要的控制信息。同時(shí)，肌肉的疲勞、電極位置的改變、肌電信號(hào)的訓(xùn)練、體重的波動(dòng)都會(huì)使肌電信號(hào)的特征值發(fā)生變化，造成多自由度肌電假肢的控制準(zhǔn)確度難以提高。此外，由于對(duì)肌電信號(hào)的解碼能力所限，肌電上假肢所能控制的自由度也是很有限的。腦電信號(hào)本質(zhì)上是中樞神經(jīng)系統(tǒng)工作過(guò)程中神經(jīng)和突觸所產(chǎn)生的電噪聲。研究表明，腦電信號(hào)的變化與肢體的運(yùn)動(dòng)之間存在某種相關(guān)性，將這種相關(guān)性加以解釋?zhuān)⒛X電活動(dòng)與自主運(yùn)動(dòng)之間的對(duì)應(yīng)關(guān)系，那么腦皮層與外界就可以進(jìn)行信息交換了。利用從頭皮記錄的腦電活動(dòng)作為信息源，即使最嚴(yán)重的截肢患者也能夠使用。然而腦電過(guò)程是非常復(fù)雜的，目前對(duì)它的研究還只限于開(kāi)發(fā)簡(jiǎn)單的腦機(jī)接口裝置，其能夠識(shí)別的模式比較少，識(shí)別率不高，并且目前的腦電采集裝置也比較復(fù)雜。每次使用該裝置前都需在頭皮處涂導(dǎo)電膏，這就給使用帶來(lái)不便。神經(jīng)的電生理活動(dòng)不僅不受人體疲勞程度的影響，重復(fù)再現(xiàn)性高，且神經(jīng)信息傳遞時(shí)彼此之間互不干擾，具有極佳的清晰度。這些特征使神經(jīng)活動(dòng)在充當(dāng)控制信息源方面具很大的優(yōu)越性?；诖?，Wan等提出了把人體上肢神經(jīng)信號(hào)轉(zhuǎn)化為控制指令來(lái)控制假肢的思想。然而要采集精確的神經(jīng)信號(hào)需要將硅片和電極植入人體內(nèi)，目前在技術(shù)實(shí)現(xiàn)上還有很大的難度，而且對(duì)運(yùn)動(dòng)信息的神經(jīng)解碼問(wèn)題的研究目前還正在進(jìn)行。與其他方式控制假肢相比，聲控能完成的控制功能更多，更方便，精度也更高，它的不足之處在于在特定環(huán)境中使用聲音作信號(hào)源并不合適，比如在會(huì)場(chǎng)等需要保持肅靜的場(chǎng)合不宜用聲音來(lái)控制假肢，而且患者與別人進(jìn)行語(yǔ)言交流的時(shí)候也可能導(dǎo)致假肢產(chǎn)生誤動(dòng)作。
發(fā)明內(nèi)容為克服現(xiàn)有假肢控制方式技術(shù)的不足，本實(shí)用新型提供一種用眼動(dòng)信號(hào)控制上假肢運(yùn)動(dòng)的控制系統(tǒng)。一種用眼動(dòng)信號(hào)控制上假肢運(yùn)動(dòng)的控制系統(tǒng)，它是由眼睛圖像采集模塊、眼動(dòng)特征提取模塊、預(yù)定義特征存儲(chǔ)模塊、特征匹配模塊、指令確認(rèn)模塊和驅(qū)動(dòng)模塊組成；其中1、所述的眼睛圖像采集模塊由攝像頭和傳送裝置構(gòu)成，攝像頭用于采集眼睛的圖像，傳送裝置用于將圖像編碼并發(fā)送到眼動(dòng)特征提取模塊。2、所述的眼動(dòng)特征提取模塊用于從眼睛圖像中提取出眼動(dòng)特征并將其發(fā)送到特征匹配模塊。它包括以下單元眨眼檢測(cè)單元、眼球轉(zhuǎn)動(dòng)方向識(shí)別單元和特征向量存儲(chǔ)單元；其中1)眨眼檢測(cè)單元用于檢測(cè)眨眼事件并記錄眼睛閉合的持續(xù)時(shí)間；2)眼球轉(zhuǎn)動(dòng)方向識(shí)別單元用于計(jì)算瞳孔的位移并判斷眼球的轉(zhuǎn)動(dòng)方向；3)特征向量存儲(chǔ)單元用于存儲(chǔ)與眼睛的動(dòng)作相對(duì)應(yīng)的特征向量。3、所述的預(yù)定義特征存儲(chǔ)模塊用于存儲(chǔ)上假肢的動(dòng)作指令和與之相對(duì)應(yīng)的眼動(dòng)特征。4、所述的特征匹配模塊用于將眼動(dòng)特征提取模塊提取出的眼動(dòng)特征與預(yù)定義特征存儲(chǔ)模塊中的特征進(jìn)行匹配，獲得上假肢的動(dòng)作指令，并將動(dòng)作指令發(fā)送到指令確認(rèn)模塊。5、所述的指令確認(rèn)模塊用于將特征匹配模塊獲得的動(dòng)作指令交于受試者確認(rèn)，如果指令無(wú)誤，則將其發(fā)送到驅(qū)動(dòng)模塊，如果有誤，則通過(guò)“取消”命令刪除該動(dòng)作指令并重新提取眼動(dòng)特征。6、所述的驅(qū)動(dòng)模塊包括驅(qū)動(dòng)器和電機(jī)，當(dāng)驅(qū)動(dòng)器接收到指令確認(rèn)模塊發(fā)送來(lái)的動(dòng)作指令時(shí)，便控制假肢完成相應(yīng)的設(shè)定動(dòng)作?；谏鲜鱿到y(tǒng)的假肢控制方法，包括如下步驟采集眼睛圖像；提取眼動(dòng)特征；識(shí)別動(dòng)作指令；確認(rèn)動(dòng)作指令和完成設(shè)定動(dòng)作。上述假肢控制系統(tǒng)和方法采用眼動(dòng)信號(hào)作為控制假肢的信號(hào)源，通過(guò)提取眼睛運(yùn)動(dòng)的特征信息判別動(dòng)作指令，控制假肢做出受試者期望的動(dòng)作。本實(shí)用新型控制系統(tǒng)的控制方法隱蔽性強(qiáng)，控制方便，而且對(duì)眼睛的轉(zhuǎn)動(dòng)和眨動(dòng)事件進(jìn)行組合，可以產(chǎn)生多種不同的特征，從而完成更多的控制功能。

圖1為假肢控制系統(tǒng)的模塊圖；圖2為眼動(dòng)特征提取模塊的結(jié)構(gòu)圖。圖3為眼睛圖像。圖4為假肢控制方法的流程圖。
具體實(shí)施方式
下面根據(jù)附圖對(duì)本實(shí)用新型的實(shí)施做進(jìn)一步說(shuō)明。本實(shí)用新型采用以下技術(shù)方案，如圖1所示它包括眼睛圖像采集模塊100、眼動(dòng)特征提取模塊200、預(yù)定義特征存儲(chǔ)模塊300、特征匹配模塊400、指令確認(rèn)模塊500和驅(qū)動(dòng)模塊600。[0028]所述的眼睛圖像采集模塊100由攝像頭和傳送裝置組成，它的功能是實(shí)時(shí)采集眼睛的圖像并將圖像編碼后發(fā)送到眼動(dòng)特征提取模塊200。所述的眼動(dòng)特征提取模塊200的功能是提取眼動(dòng)特征。此模塊包括三個(gè)單元眨眼檢測(cè)單元201，眼球轉(zhuǎn)動(dòng)方向識(shí)別單元202和特征向量存儲(chǔ)單元203。眨眼檢測(cè)單元201 分析眼睛圖像，檢測(cè)眨眼事件并記錄眼睛閉合的持續(xù)時(shí)間，優(yōu)選地約定當(dāng)檢測(cè)到眼睛的閉合時(shí)間在0. 5s到&之間時(shí)，即進(jìn)入眼球轉(zhuǎn)動(dòng)方向識(shí)別單元202。在眼球轉(zhuǎn)動(dòng)方向識(shí)別單元 202中，通過(guò)圖像分析計(jì)算瞳孔的位移并判斷眼球的轉(zhuǎn)動(dòng)方向。優(yōu)選地約定，當(dāng)檢測(cè)到眼球向右轉(zhuǎn)動(dòng)時(shí)，將數(shù)字“1”寫(xiě)入特征向量存儲(chǔ)單元203 ；向上轉(zhuǎn)動(dòng)時(shí)，寫(xiě)入數(shù)字“2”；向左轉(zhuǎn)動(dòng)時(shí)，寫(xiě)入數(shù)字“3”；向下轉(zhuǎn)動(dòng)時(shí)，寫(xiě)入數(shù)字“4”。這樣每當(dāng)受試者的眼球轉(zhuǎn)到一個(gè)特定方向， 眼球轉(zhuǎn)動(dòng)方向識(shí)別單元202便將一個(gè)相應(yīng)的數(shù)字加入到特征向量中，受試者向不同方向依次轉(zhuǎn)動(dòng)眼睛，特征向量中便按順序存儲(chǔ)了與這些方向?qū)?yīng)的數(shù)字。優(yōu)選地約定在此過(guò)程中當(dāng)眨眼檢測(cè)單元201檢測(cè)到連續(xù)2次眼睛閉合事件時(shí)，即停止對(duì)眼球轉(zhuǎn)動(dòng)方向的識(shí)別，并將構(gòu)造完成的特征向量發(fā)送到特征匹配模塊400。優(yōu)選地約定特征向量的長(zhǎng)度上限為4，且向量中相鄰的數(shù)字不能重復(fù)。這樣當(dāng)眼球轉(zhuǎn)動(dòng)方向識(shí)別單元202第4次將數(shù)字寫(xiě)入特征向量后，即使沒(méi)有閉眼事件發(fā)生，也將停止識(shí)別并將特征向量發(fā)送到特征匹配模塊400。按照此約定系統(tǒng)能識(shí)別的動(dòng)作指令可以有4+12+36+108 = 160種。(見(jiàn)圖2)所述的預(yù)定義特征存儲(chǔ)模塊300中存儲(chǔ)著所有上假肢的動(dòng)作指令和相對(duì)應(yīng)的眼動(dòng)特征向量。按照之前的約定，預(yù)定義特征存儲(chǔ)模塊300中可以存160條動(dòng)作指令和與之對(duì)應(yīng)的160個(gè)特征向量。所述的特征匹配模塊400當(dāng)接收到眼動(dòng)特征提取模塊200發(fā)送來(lái)的特征向量時(shí)， 采用查表法將特征向量與預(yù)定義特征存儲(chǔ)模塊300中存儲(chǔ)的特征向量進(jìn)行匹配，從而獲得對(duì)應(yīng)的動(dòng)作指令，然后將動(dòng)作指令發(fā)送到指令確認(rèn)模塊500中。所述的指令確認(rèn)模塊500的功能是將特征匹配模塊400獲得的動(dòng)作指令交于受試者確認(rèn)，如果指令無(wú)誤，則將動(dòng)作指令發(fā)送到驅(qū)動(dòng)模塊600，如果指令有誤，受試者通過(guò)眼睛發(fā)送“取消”命令刪除該動(dòng)作指令并重新提取眼動(dòng)特征，優(yōu)選地采用受試者在2s的時(shí)間內(nèi)連續(xù)眨動(dòng)3次眼睛來(lái)構(gòu)成“取消”命令。所述的驅(qū)動(dòng)模塊600包括驅(qū)動(dòng)器和電機(jī)，當(dāng)驅(qū)動(dòng)器接收到動(dòng)作確認(rèn)模塊500發(fā)送來(lái)的動(dòng)作指令時(shí)，便控制假肢完成相應(yīng)的設(shè)定動(dòng)作。圖4所示是上肢假肢控制方法流程圖，包括以下五個(gè)步驟采集眼睛圖像Sl ；提取眼動(dòng)特征S2 ；識(shí)別動(dòng)作指令S3 ；確認(rèn)動(dòng)作指令S4和完成設(shè)定動(dòng)作S5。首先，步驟1，采集眼睛圖像Si。優(yōu)選地采用紅外線攝像機(jī)攝取受試者眼睛圖像， 并對(duì)圖像進(jìn)行MPEG編碼后送入計(jì)算機(jī)。此步驟需要一直進(jìn)行。步驟2，提取特征信息S2。在此步驟中對(duì)采集的眼睛圖像進(jìn)行分析，當(dāng)檢測(cè)到眨眼事件并且眼睛的閉合時(shí)間在0. 5s到2s之間時(shí)，便開(kāi)始識(shí)別眼球的轉(zhuǎn)動(dòng)方向。圖3所示的是試驗(yàn)者正視前方時(shí)眼睛的圖像，標(biāo)定此時(shí)瞳孔的中心點(diǎn)，即十字交叉線的交點(diǎn)為原點(diǎn)，以十字交叉線為坐標(biāo)軸建立圖像坐標(biāo)系。在此坐標(biāo)系中，優(yōu)選地約定向右為χ軸正向，向上為 y軸正向，并規(guī)定χ軸的角度為0度。然后利用45度線、135度線、225度線和315度線將坐標(biāo)空間劃分為四個(gè)區(qū)域。在識(shí)別過(guò)程中，實(shí)時(shí)計(jì)算瞳孔中心點(diǎn)的位移，并做判斷優(yōu)選地約定當(dāng)瞳孔中心點(diǎn)與坐標(biāo)原點(diǎn)的距離小于2毫米時(shí)，即可認(rèn)為眼球未做轉(zhuǎn)動(dòng)；當(dāng)此距離大于2毫米時(shí)，根據(jù)位移的角度θ確定瞳孔中心點(diǎn)所處的區(qū)域，優(yōu)選的約定當(dāng)0<= θ <45或 315 <= θ < 360時(shí)，即認(rèn)為眼球轉(zhuǎn)到了右邊，當(dāng)45 <= θ < 135時(shí)，即認(rèn)為眼球轉(zhuǎn)到了上邊，當(dāng)135 <= θ < 225時(shí)，即認(rèn)為眼球轉(zhuǎn)到了左邊，當(dāng)225 <= θ < 315時(shí)，即認(rèn)為眼球轉(zhuǎn)到了下邊。每檢測(cè)到一次眼球的轉(zhuǎn)動(dòng)，就將與轉(zhuǎn)動(dòng)方向?qū)?yīng)的數(shù)字寫(xiě)入特征向量。當(dāng)特征向量元素的個(gè)數(shù)達(dá)到4或有連續(xù)2次眼睛閉合事件發(fā)生時(shí)，停止對(duì)眼球轉(zhuǎn)動(dòng)方向的識(shí)別，并將特征向量送入特征匹配模塊400.步驟3，識(shí)別動(dòng)作指令S3。將步驟2獲得的特征向量與預(yù)先存儲(chǔ)的與動(dòng)作指令對(duì)應(yīng)的特征向量進(jìn)行匹配，得到控制上假肢的動(dòng)作指令。步驟4，確認(rèn)動(dòng)作指令S4。將步驟3得到的動(dòng)作指令送于受試者確認(rèn)，同時(shí)檢測(cè)眨眼事件。優(yōu)選地約定如在2秒內(nèi)檢測(cè)到眼睛眨動(dòng)的次數(shù)少于3次，則認(rèn)為指令無(wú)誤并執(zhí)行動(dòng)作，如在2秒內(nèi)檢測(cè)到連續(xù)3此眼睛眨動(dòng)，則認(rèn)為指令有誤，刪除此指令并重新提取眼動(dòng)特征。步驟5，完成設(shè)定動(dòng)作S5.此步驟由驅(qū)動(dòng)模塊600完成。采用眼動(dòng)信號(hào)控制假肢，受試者需要事先記住與上假肢的動(dòng)作指令相對(duì)應(yīng)的眼動(dòng)順序?？刂七^(guò)程中，試驗(yàn)者按照一定的順序眨動(dòng)眼睛和轉(zhuǎn)動(dòng)眼球，攝像機(jī)采集受試者的眼睛圖像，送人計(jì)算機(jī)，計(jì)算機(jī)通過(guò)圖像分析提取出眼動(dòng)特征向量，將此特征向量與預(yù)定義特征向量相匹配，識(shí)別出受試者期望的動(dòng)作指令并交于受試者確認(rèn)，經(jīng)確認(rèn)無(wú)誤后控制假肢完成相應(yīng)的動(dòng)作。以上所述實(shí)施例僅表達(dá)了本實(shí)用新型的具體實(shí)施方式
，其描述較為具體詳細(xì)，但并不能理解為對(duì)本實(shí)用新型專(zhuān)利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本實(shí)用新型構(gòu)思的前提下，還可以作出若干變形和改進(jìn)，這些都屬于本實(shí)用新型的保護(hù)范圍。
權(quán)利要求1. 一種用眼動(dòng)信號(hào)控制上假肢運(yùn)動(dòng)的控制系統(tǒng)，其特征在于，它是由眼睛圖像采集模塊、眼動(dòng)特征提取模塊、用于存儲(chǔ)上假肢動(dòng)作指令和與之相對(duì)應(yīng)的眼動(dòng)特征的預(yù)定義特征存儲(chǔ)模塊、用于將眼動(dòng)特征提取模塊提取出的眼動(dòng)特征與預(yù)定義特征存儲(chǔ)模塊中的特征進(jìn)行匹配的特征匹配模塊、用于將特征匹配模塊獲得的動(dòng)作指令交于受試者確認(rèn)的指令確認(rèn)模塊和驅(qū)動(dòng)模塊組成；其中所述的眼睛圖像采集模塊由用于采集眼睛圖像的攝像頭和用于將圖像編碼并發(fā)送到眼動(dòng)特征提取模塊的傳送裝置構(gòu)成；所述的眼動(dòng)特征提取模塊包括以下單元用于檢測(cè)眨眼事件并記錄眼睛閉合持續(xù)時(shí)間的眨眼檢測(cè)單元、用于計(jì)算瞳孔位移并判斷眼球轉(zhuǎn)動(dòng)方向的眼球轉(zhuǎn)動(dòng)方向識(shí)別單元和用于存儲(chǔ)與眼睛動(dòng)作相對(duì)應(yīng)的特征向量的特征向量存儲(chǔ)單元； 所述的驅(qū)動(dòng)模塊包括驅(qū)動(dòng)器和電機(jī)。
專(zhuān)利摘要本實(shí)用新型公開(kāi)了一種用眼動(dòng)信號(hào)控制上假肢運(yùn)動(dòng)的控制系統(tǒng)，它是由眼睛圖像采集模塊、眼動(dòng)特征提取模塊、預(yù)定義特征存儲(chǔ)模塊、特征匹配模塊、指令確認(rèn)模塊和驅(qū)動(dòng)模塊組成；本實(shí)用新型通過(guò)上述各模塊，實(shí)現(xiàn)對(duì)眼睛的轉(zhuǎn)動(dòng)和眨動(dòng)事件進(jìn)行組合，以產(chǎn)生多種不同的特征，從而完成更多的控制功能。
文檔編號(hào)A61F2/70GK202161439SQ20112027526
公開(kāi)日2012年3月14日 申請(qǐng)日期2011年7月21日 優(yōu)先權(quán)日2011年7月21日
發(fā)明者周凱, 孫愛(ài)芹, 彭琛, 朱雪梅, 樊炳輝, 王傳江, 紀(jì)鵬, 黃粱松 申請(qǐng)人:山東科技大學(xué)