專利名稱：一種足部按摩機(jī)器人快速自動定位方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是醫(yī)療服務(wù)按摩機(jī)器人控制系統(tǒng)領(lǐng)域內(nèi)的穴位自動查找、智能定位方法，特別是涉及一種足部按摩機(jī)器人快速自動定位方法。
背景技術(shù)：
人的雙足上有著與人體各臟腑器官相對應(yīng)的反射區(qū)，只有選用合適的力度，按一定順序采用不同的手法，按摩這些反射區(qū)，通過神經(jīng)反射功能，調(diào)節(jié)其相對應(yīng)的臟腑器官和肢體的功能，運(yùn)行氣血，濡養(yǎng)周身，抗御外邪，才能起到防病治病自我保健的功能。按摩機(jī)器人的作用對象是人體軟組織，中醫(yī)按摩推拿手法以“持久、有力、均勻、柔和、深透”為特點。按摩技師根據(jù)患者的生理信息，給出按摩處方(按摩穴位和經(jīng)絡(luò)、手法組合、手法軌跡、力的方向、大小、頻率和作用時間)，將按摩機(jī)器人期望輸入決策控制動作轉(zhuǎn)換成機(jī)器人按摩執(zhí)行機(jī)構(gòu)的期望力和運(yùn)動軌跡，由柔順力控制器控制機(jī)器人運(yùn)動，使機(jī)器人實現(xiàn)期望的按摩手法。足部按摩機(jī)器人的按摩力度可以通過采集壓力傳感器的反饋信號來獲得，機(jī)器人按摩穴位其中的技術(shù)難點是對于穴位坐標(biāo)的尋找。目前，現(xiàn)有按摩機(jī)器人的穴位定位方法， 往往采用人工示教-再現(xiàn)手段，結(jié)合機(jī)器人視覺技術(shù)、圖像處理和目標(biāo)跟蹤等方法。這2類方法中前者需要專業(yè)按摩技師的操作，后1類方法運(yùn)用視覺、識別技術(shù)則需要機(jī)器人系統(tǒng)配備圖像采集、處理等硬件設(shè)備，需要大量的在線計算量控制調(diào)整輸出命令。

發(fā)明內(nèi)容
本發(fā)明的目的就是為克服上述現(xiàn)有技術(shù)存在的不足，而提供一種基于計算分析、 模擬、在線學(xué)習(xí)調(diào)整的快速、準(zhǔn)確的一種足部按摩機(jī)器人快速自動定位方法。
采用技術(shù)方案是
本發(fā)明的一種足部按摩機(jī)器人快速自動定位方法是通過采集不同的足底部形狀的三維數(shù)據(jù)樣本、運(yùn)用多種數(shù)據(jù)分析模擬手段，離線建立足底部模型、穴位分布比例模型。針對不同的患者，集成多種計算、學(xué)習(xí)、分類子過程，運(yùn)用在線學(xué)習(xí)方法的調(diào)整，精確定位足底穴位，形成個性化的足底部穴位準(zhǔn)確定位模型，再反向映射成機(jī)器人的穴位自動定位坐標(biāo)。該方法包括以下步驟1、根據(jù)足底部輪廓特征點，離線建立足底穴位經(jīng)驗?zāi)Ｐ停?2、在線強(qiáng)化學(xué)習(xí)優(yōu)化足底穴位定位。所述的步驟1根據(jù)足底部輪廓特征點，離線建立足底部穴位數(shù)字虛擬模型是由以下步驟實現(xiàn)的
(1)、采集大量的人足底部外輪廓三維曲面的離散點數(shù)據(jù)(從35 43號腳各10組)。(2)、記錄足部長度、寬度的最大最小、深度尺寸等特征點。(3)、運(yùn)用多項式、指數(shù)、最小二乘法等方法進(jìn)行離散數(shù)據(jù)點的曲線擬合，按照特征點進(jìn)行足部輪廓的粗分段，分段擬合數(shù)據(jù)的曲線，局部斷點位置用插值方法使外輪廓曲線平滑、連續(xù)。得到人足底部外輪廓線的三維虛擬數(shù)字模型。
(4)、重復(fù)上述(2)、(3)步驟，通過數(shù)據(jù)分析計算所有采集的足底部輪廓數(shù)據(jù)，即可得到足底部輪廓曲面的經(jīng)驗?zāi)Ｐ汀?5)、依據(jù)足底部外輪廓模型可判斷人足部骨骼尺寸，結(jié)合傳統(tǒng)中醫(yī)同身寸的理論，判斷其關(guān)鍵穴位的位置，進(jìn)而確定其他部位的穴位位置。上述步驟在機(jī)器人系統(tǒng)中的具體實現(xiàn)過程足部按摩機(jī)器人在執(zhí)行按摩前，先讓患者將足跟放在足跟固定卡位位置，找到人腳外形的最寬、最窄位置尺寸，之后，手動用綁帶固定腳的最寬位置。通過基座動平臺運(yùn)動機(jī)器人可以測出人足底深度，已知人腳的型號長度，所以，按摩機(jī)器人能夠得到患者足底部特征點，確定足底部的長度、寬度、深度位置， 這些位置作為特征點。機(jī)器人根據(jù)特征點位置、尺寸，依據(jù)已經(jīng)建立的人足底輪廓經(jīng)驗數(shù)字模型，構(gòu)建足底部三維數(shù)字輪廓曲面，使機(jī)器人獲取按摩對象的足底輪廓曲面數(shù)據(jù)。人身體的穴位，其大小從2mm到2cm不等，穴位基本上在骨空中、肌肉凹陷處。在國標(biāo)GB12346-90中提到，經(jīng)穴定位的方法分三種體表解剖標(biāo)志定位法、骨度折量定位法、 指寸定位法。三者在應(yīng)用時相互結(jié)合，即以體表解剖標(biāo)志為主，折量各部位的距離分寸，并用手指來比量，從而確定經(jīng)穴位置。體表解剖標(biāo)志定位法根據(jù)人體表面具有一定特征的部位作為標(biāo)志，而定取穴位的方法，分為固定標(biāo)志法和活動標(biāo)志法兩種。骨度折量定位法以骨節(jié)為主要標(biāo)志測量全身各部的長度和寬度，并依其比例折算尺寸作為定穴的標(biāo)準(zhǔn)方法。結(jié)合計算機(jī)數(shù)學(xué)、數(shù)字解剖學(xué)、應(yīng)用解剖學(xué)等學(xué)科，利用計算機(jī)自動標(biāo)識與三維重建技術(shù)，確定足部按摩機(jī)器人按摩經(jīng)穴的分布定位。足底外輪廓經(jīng)驗?zāi)Ｐ屯ㄟ^計算機(jī)重現(xiàn)技術(shù)，表達(dá)人足底部的三維曲面特性，經(jīng)穴分布規(guī)律特點用于確定機(jī)器人的按摩穴位位置坐標(biāo)。所述的步驟(2)在線強(qiáng)化學(xué)習(xí)優(yōu)化足底穴位定位，包括以下過程
人能夠通過實踐獲得并提高技能，按摩技師通過多次實踐，能夠改善按摩任務(wù)的完成質(zhì)量。由于不同人體和人體不同部位的軟組織粘彈性具有差異性，人的經(jīng)絡(luò)穴位位置具有低阻抗特性，以阻抗測量值作為客觀評價依據(jù)，采用基于CMAC(Cerebellar Model Articulation Controller, CMAC)小腦模型神經(jīng)網(wǎng)絡(luò)自適應(yīng)強(qiáng)化學(xué)習(xí)方法，在線實時調(diào)整機(jī)器人控制器的參數(shù)，使按摩機(jī)器人對不同患者在線自適應(yīng)定位機(jī)器人的按摩穴位。穴位具有低電阻的特性，導(dǎo)電量高、電流容易通過，依據(jù)上述原理制作的人體穴位識別治療儀(專利申請?zhí)?00710078318. 1 )，在病人需要針灸或其他施術(shù)方法的大概部位上反復(fù)用測試筆的觸頭點觸施術(shù)的大概部位，觀察測試筆上的發(fā)光管發(fā)光的強(qiáng)弱變化，如果點觸到的點上發(fā)出的光，亮度明顯強(qiáng)于其他點，就可以確認(rèn)該點位就是穴位的最佳“良導(dǎo)點”，也就是正確的治療穴位。本發(fā)明將上述技術(shù)方法，應(yīng)用于機(jī)器人在線強(qiáng)化學(xué)習(xí)優(yōu)化的穴位定位。作為優(yōu)化定位穴位學(xué)習(xí)效果好壞的評價，設(shè)定發(fā)光管發(fā)光的強(qiáng)度等級，在穴位優(yōu)化學(xué)習(xí)定位過程中，強(qiáng)化學(xué)習(xí)系統(tǒng)接收的發(fā)光等級信號越高，強(qiáng)化學(xué)習(xí)的回報函數(shù)獎勵值越大，發(fā)光等級越低則回報函數(shù)值越低。CMAC神經(jīng)網(wǎng)絡(luò)具有較好的在線增量學(xué)習(xí)能力，因此在本專利中設(shè)計了基于CMAC 神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)算法，對穴位定位進(jìn)行優(yōu)化。使用CMAC神經(jīng)網(wǎng)絡(luò)函數(shù)估計模塊逼近強(qiáng)化學(xué)習(xí)的值函數(shù)，通過Q學(xué)習(xí)算法來優(yōu)化值函數(shù)，從而獲得優(yōu)化的穴位定位策略。Q學(xué)習(xí)是強(qiáng)化學(xué)習(xí)算法中應(yīng)用最廣泛的方法之一。Q學(xué)習(xí)方法用Q(s，a)函數(shù)表示在狀態(tài)s下執(zhí)行動作a的效果，Q(s, a)根據(jù)下式更新
Q(s,a) ^(I — a)Q(s,a) + a(r + rrmxQ(s',a'))①其中力學(xué)習(xí)率7為折扣系數(shù)，s’為系統(tǒng)到達(dá)的新狀態(tài)，r為獲得的立即回報，由回報函數(shù)確定。為實現(xiàn)Q學(xué)習(xí)“探索”與“開采”的平衡，采用可變探索率ε-貪心搜索策略。在進(jìn)行動作選擇的過程中，學(xué)習(xí)系統(tǒng)有機(jī)會執(zhí)行趨向目標(biāo)的貪心動作，如式O)，有的機(jī)會隨機(jī)選擇動作作用于環(huán)境。雙= argrrax…Q(s’a')②
按照強(qiáng)化學(xué)習(xí)試錯過程先后順序，采用分段線性的探索率ε，如式(3)。
sB I c]
Q c (0 BMx^tsp ^ikta 哦)
③
其中，為初始探索率，1為迭代次數(shù)，Maxstep為學(xué)習(xí)周期長度。根據(jù)已建立的經(jīng)驗數(shù)字模型計算的穴位位置，以其測試的發(fā)光強(qiáng)度為基準(zhǔn)設(shè)定等
級，建立強(qiáng)化學(xué)習(xí)系統(tǒng)即時回報函數(shù)
.1 發(fā)光管的強(qiáng)信號 τ, = ι -1 發(fā)光管的弱信號④
_O 基準(zhǔn)強(qiáng)度信號
上式為一種3個等級的回報函數(shù)形式。將強(qiáng)化學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)相結(jié)合，主要是利用神經(jīng)網(wǎng)絡(luò)的強(qiáng)大存儲能力和函數(shù)估計能力。使用神經(jīng)網(wǎng)絡(luò)進(jìn)行函數(shù)估計來解決按摩機(jī)器人大空間、連續(xù)狀態(tài)空間強(qiáng)化學(xué)習(xí)問題， 可以初步解決“維數(shù)災(zāi)難”問題。將CMAC用于Q學(xué)習(xí)，實現(xiàn)對Q函數(shù)的逼近，其結(jié)構(gòu)示意如圖2所示。把A c中的虛擬地址通過散列編碼(hash coding)影射到一個小的多的物理地址Ap中。A ρ中也將有c個物理地址與之對應(yīng)，A為在Ap中隨機(jī)分布的c個物理地址。W 為定義在物理地址空間的權(quán)值向量。其式為
W11, W12, A ·
W··
>%， W22，Λ ,W2iM MMMΛ ,
⑤
其中，#為地址空間的單元數(shù)，i C個物理地址空間權(quán)值的累加和，即狀態(tài)的行為值函數(shù)Q
Hai) = Σ%( ) k=l, 2，...N, J=I 2，…i，
為動作集合中動作的個數(shù)。則輸出為所對應(yīng)的激活的
其值如下式所示
k^jt
學(xué)習(xí)算法采用誤差糾正算法，權(quán)值修正公式為 + 1) = ( ) + 徹 + ymax Q(si+1,at+1) - Q(st
Wc
⑦
式中，^/( +Ι)為t +1時刻所對應(yīng)動作的物理地址權(quán)值。
在此框架下，應(yīng)用神經(jīng)網(wǎng)絡(luò)來進(jìn)行函數(shù)估計的強(qiáng)化學(xué)習(xí)算法流程如下
1)初始化所有CMAC網(wǎng)絡(luò)權(quán)值W為零；
2)初始化t= O時的環(huán)境狀態(tài)&為一定范圍內(nèi)的隨機(jī)數(shù)；
3)對環(huán)境狀態(tài)進(jìn)行分割；4)根據(jù)分割后的狀態(tài)選中某個CMAC；
5)根據(jù)Qra(st，at)按照ε-greedy策略選擇動作a，觀察下一狀態(tài)st^和即時回
報rt;
6)根據(jù)式⑦調(diào)整所選中的某個CMAC網(wǎng)絡(luò)權(quán)值；
7)如果rt為懲罰信號，返回步驟2)重新學(xué)習(xí)，若r獎勵信號，返回步驟3)繼續(xù)學(xué)習(xí)，直到達(dá)到學(xué)習(xí)周期長度Maxst印時，轉(zhuǎn)步驟8)；
8)結(jié)束。本發(fā)明涉及一種中醫(yī)按摩機(jī)器人，具體涉及針對高血壓病人康復(fù)治療的中醫(yī)按摩機(jī)器人。針對不同的患者，按摩機(jī)器人通過已定位的腳部輪廓的特征點，將采集到的足底部特征點坐標(biāo)值存儲到主控機(jī)上，通過數(shù)字?jǐn)M合經(jīng)驗?zāi)Ｐ?、計算并查詢?shù)字模型的穴位，機(jī)器人進(jìn)行基于經(jīng)驗?zāi)Ｐ偷难ㄎ欢ㄎ?，然后通過在線強(qiáng)化學(xué)習(xí)優(yōu)化，進(jìn)行穴位精確定位。根據(jù)機(jī)器人系統(tǒng)狀態(tài)和患者生理指標(biāo)等信息，控制推拿調(diào)節(jié)平臺、機(jī)械臂和推拿按摩觸頭等模塊并行、協(xié)調(diào)動作，可完成中醫(yī)推拿醫(yī)生常用的“指揉”、“指按”等手法組成的按摩推拿治療任務(wù)。根據(jù)高血壓病人按摩治療的配穴方案，結(jié)合不同病人的身體各自特點，制定個性化的取穴、按摩力度等治療方案。運(yùn)用在線自適應(yīng)學(xué)習(xí)調(diào)整按摩力度、穴位位置精調(diào)，以形成良好的治療效果。具備穴位按摩處方記憶功能，針對不同患者，根據(jù)實時監(jiān)測的生理信號 (心跳、血壓等)和按摩力大小，調(diào)整按摩頻率、幅度、速度，必要時退出按摩操作，在患者的耐受力范圍內(nèi)保障安全。在按摩時，患者取仰臥位，腳下放專用墊墊高，易于放松，便于按摩同時促使雙腳血液、淋巴回流情況一樣，經(jīng)絡(luò)疏通、傳導(dǎo)一樣，神經(jīng)反射一樣，反射區(qū)刺激齊全， 相應(yīng)的器官接受信息完整，機(jī)體的調(diào)整更趨向協(xié)調(diào)和平衡。相對于市場上已有的按摩保健器材，可以達(dá)到更好的治療效果。有益效果本發(fā)明與現(xiàn)有技術(shù)相比，其顯著特點是在使用較簡單設(shè)備，較低成本的前提下，實現(xiàn)準(zhǔn)確、快速的穴位定位，離線地建立足部的三維形狀輪廓經(jīng)驗?zāi)Ｐ?，結(jié)合在線的學(xué)習(xí)自適應(yīng)控制，實現(xiàn)機(jī)器人準(zhǔn)確的穴位定位，結(jié)合按摩專家治療疾病經(jīng)驗、手段，給出治療按摩處方設(shè)計按摩流程。


圖1是本發(fā)明基于Q學(xué)習(xí)方法的原理示意圖。
權(quán)利要求
1.一種足部按摩機(jī)器人的穴位定位方法，其特征在于包括以下步驟A、根據(jù)足底部輪廓特征點，離線建立足底穴位經(jīng)驗?zāi)Ｐ?，B、在線強(qiáng)化學(xué)習(xí)優(yōu)化足底穴位定位；所述的步驟A根據(jù)足底部輪廓特征點，離線建立足底穴位經(jīng)驗?zāi)Ｐ褪怯梢韵虏襟E實現(xiàn)的(1)、采集大量的人足底部外輪廓三維曲面的離散點數(shù)據(jù)；(2)、記錄足部長度、寬度的最大最小、深度尺寸等特征點；(3)、運(yùn)用多項式、指數(shù)、最小二乘法等方法進(jìn)行離散數(shù)據(jù)點的曲線擬合，按照特征點進(jìn)行足部輪廓的粗分段，分段擬合數(shù)據(jù)的曲線，局部斷點位置用插值方法使外輪廓曲線平滑、 連續(xù)，得到人足底部外輪廓線的三維虛擬數(shù)字模型；(4)、重復(fù)上述(2)、(3)步驟，通過數(shù)據(jù)分析計算所有采集的足底部輪廓數(shù)據(jù)，即可得到足底部輪廓曲面的經(jīng)驗?zāi)Ｐ停?5)、依據(jù)足底部外輪廓模型可判斷人足部骨骼尺寸，結(jié)合傳統(tǒng)中醫(yī)同身寸的理論，判斷其關(guān)鍵穴位的位置，進(jìn)而確定其他部位的穴位位置；所述的步驟B在線強(qiáng)化學(xué)習(xí)優(yōu)化足底穴位定位，包括以下過程設(shè)計了基于CMAC神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)算法，對穴位定位進(jìn)行優(yōu)化，使用CMAC神經(jīng)網(wǎng)絡(luò)函數(shù)估計模塊逼近強(qiáng)化學(xué)習(xí)的值函數(shù)，通過Q學(xué)習(xí)算法來優(yōu)化值函數(shù)，從而獲得優(yōu)化的穴位定位策略。
2.根據(jù)權(quán)利要求1所述的一種足部按摩機(jī)器人的穴位定位方法，其特征在于所述的在線強(qiáng)化學(xué)習(xí)優(yōu)化足底穴位定位，是以阻抗測量值作為強(qiáng)化學(xué)習(xí)系統(tǒng)的回報函數(shù)的客觀評價依據(jù)，根據(jù)經(jīng)驗數(shù)字模型計算的穴位位置，以其測試的發(fā)光強(qiáng)度為基準(zhǔn)設(shè)定等級，建立強(qiáng)化學(xué)習(xí)系統(tǒng)即時回報函數(shù)
3.根據(jù)權(quán)利要求1所述的一種足部按摩機(jī)器人的穴位定位方法，其特征在于所述的基于CMAC神經(jīng)網(wǎng)絡(luò)函數(shù)估計的強(qiáng)化學(xué)習(xí)方法，包括以下步驟.1)初始化所有CMAC網(wǎng)絡(luò)權(quán)值W為零；.2)初始化t= 0時的環(huán)境狀態(tài)&為一定范圍內(nèi)的隨機(jī)數(shù)；.3)對環(huán)境狀態(tài)進(jìn)行分割；.4)根據(jù)分割后的狀態(tài)選中某個CMAC；.5)根據(jù)Qnn(st，at)按照ε-greedy策略選擇動作a，觀察下一狀態(tài)J^1和即時回報rt;.6)根據(jù)式
全文摘要
一種足部按摩機(jī)器人快速自動定位方法是通過采集不同的足底部形狀的三維數(shù)據(jù)樣本、運(yùn)用多種數(shù)據(jù)分析模擬手段，離線建立足底部模型、穴位分布比例模型。該方法包括以下步驟1、根據(jù)足底部輪廓特征點，離線建立足底穴位經(jīng)驗?zāi)Ｐ停?、在線強(qiáng)化學(xué)習(xí)優(yōu)化足底穴位定位。本發(fā)明與現(xiàn)有技術(shù)相比，其顯著特點是在使用較簡單設(shè)備，較低成本的前提下，實現(xiàn)準(zhǔn)確、快速的穴位定位，離線地建立足部的三維形狀輪廓經(jīng)驗?zāi)Ｐ停瑢崿F(xiàn)機(jī)器人準(zhǔn)確的穴位定位。
文檔編號A61H39/02GK102525795SQ201210011640
公開日2012年7月4日 申請日期2012年1月16日 優(yōu)先權(quán)日2012年1月16日
發(fā)明者常勇, 王洪光, 谷侃鋒, 郝長中, 魏英姿 申請人:沈陽理工大學(xué)