面向孤獨癥兒童的智能遠程社交輔助治療機器人的制作方法
【專利摘要】本發(fā)明屬于遠程控制與人工智能領域，涉及一種針對孤獨癥兒童進行實時社交能力訓練的智能輔助康復治療機器人裝置。該裝置包括頭部運動驅動器（1）、手臂運動驅動器（2）、設備承載器（3）、主-從輪式底盤（4）、及外殼模塊（7）。采用多關節(jié)聯合驅動方式，提高了機器人對各運動關節(jié)的協同驅動能力并解決了延時影響交互效果的問題，通過PWM雙向控制技術，達到機器人任意方向精度的姿態(tài)控制，及自動避讓障礙的肢體運動路徑規(guī)劃功能，針對患兒普遍存在的情緒認知障礙，在人機交互過程中通過語音、圖像、觸控、感應等多種形式實現人與機器人之間智能的情感交互及實現安全可靠的家庭遠程康復治療模式。
【專利說明】面向孤獨癥兒童的智能遠程社交輔助治療機器人
【技術領域】
[0001]本發(fā)明屬于遠程控制與人工智能領域，涉及一種針對孤獨癥兒童進行實時社交能力訓練的智能輔助康復治療機器人裝置及其系統(tǒng)。
技術背景
[0002]據不完全統(tǒng)計，目前全球約有3500萬孤獨癥患者，患病比率高達94:1。根據中國殘疾人聯合會2009年保守估計，我國0至15歲的孤獨癥患兒有150萬，0至20歲以上的孤獨癥患兒有500萬，而且其發(fā)病率呈逐年上升趨勢。由于孤獨癥病因未明，因此尚無有效的治療方法。除藥物干預以外，現階段孤獨癥的訓練方式一般采用一對一的行為矯治和簡單的康復游戲。訓練周期長(絕大多數患兒需要終身參與訓練)、醫(yī)療費用極高、醫(yī)護人員稀缺、醫(yī)療機構水平良莠不齊，且輔助治療工具簡陋等重大問題日益凸顯。
[0003]針對以上突出問題，將控制、人工智能等先進的信息科學手段與輔助治療相結合，開發(fā)面向孤獨癥兒童的遠程社交輔助治療機器人其旨在發(fā)展孤獨癥兒童的社會交往能力，為患兒的教育和治療提供新的工具。機器人作為一個全面、可信的互動系統(tǒng)，應用到學校及家庭教育中，為醫(yī)生、教師、家長和特殊需求的孤獨癥兒童服務，通過具備認知情感能力的人性化社交輔助治療為孤獨癥兒童的康復帶來曙光。

【發(fā)明內容】

[0004]為了能夠及時、有效地改善孤獨癥兒童的社會交往能力，給患兒提供先進的康復治療工具。本發(fā)明的目的之一，是提供一種輔助治療機器人裝置，通過多關節(jié)驅動、避障及路徑規(guī)劃、智能信息融合等控制技術，實現基于多元化交互手段的社交輔助治療模式；同時，提供網絡隔離管理、自適應數據過濾等網絡安全技術，以實現對于廣域網絡中威脅信息的自主過濾及主動防御功能，從而為患兒隱私和機器人系統(tǒng)安全提供有力保障；并提供基于表情認知及腦電分析的情緒捕捉與情感計算技術，以實現針對患兒情緒特點的協調、同步的人機互動，從而有效地培養(yǎng)孤獨癥兒童的社會交往和情感溝通技能。
[0005]具體方案如下:
一種遠程輔助治療機器人裝置，包括頭部運動驅動器(I)、手臂運動驅動器(2)、設備承載器(3)、主-從輪式底盤(4)、及外殼模塊(7)，該機器人裝置的頭部運動驅動器(I)搭載于設備承載器(3)頂端；手臂驅動器(2)分別搭載于設備承載器(3)兩側；底盤(4)安裝于承載器(3)底端。
[0006]優(yōu)選地，所述頭部運動驅動器(I)為兩組，兩組之間相互垂直耦合，每組頭部運動驅動器(I)包括離合器(101)、減速器(102)、直流電機(103)及其直流電機控制驅動機構(104);所述直流電機控制驅動機構為環(huán)形直流電機控制板，直流電機控制板上裝有5個光電傳感器(105)及2個微動開關(106)，光電傳感器(105)及微動開關(106)以30度夾角均勻分布于直流電機控制板(104) —側中半圓周的外邊緣，其中2個微動開關(106)之間呈180度夾角。[0007]優(yōu)選地，所述手臂驅動器(2)為安裝于承載器(3)左右兩側的兩組多電機協同驅動裝置；其中每組手臂驅動器(2)包括4個步進式運動關節(jié)(107)、1塊手臂電機控制板(120)、1個肩關節(jié)支架(108)、1個大臂支架(109)、1個小臂支架(110)、1個手部支架(111)、1個300萬像素COMS攝像頭(118)。
[0008]優(yōu)選地,每個步進式運動關節(jié)(107)由步進電機及其減速器構成；肩關節(jié)由兩個步進式運動關節(jié)(107)垂直稱合構成,兩個步進式運動關節(jié)(107)分別控制旋轉自由度和上下擺動自由度。
[0009]優(yōu)選地，所述設備承載器(3)包括I個立式支架(112)、1個折疊式支架(113)、1個抽拉式框架(114)和抽拉式框架中的可抽拉矩形隔板(115);所述立式支架(112)用于安裝頭部運動驅動器(1)，折疊式支架(113)用于安裝觸摸式交互屏幕，矩形隔板(115)用于安放手臂電機控制板(120)以及工業(yè)控制計算機(8);所述頭部運動驅動器(I)和手臂驅動器
(2)以RS485總線為物理傳輸基礎，通過ModBus協議與工業(yè)控制計算機(8)進行信息交互。
[0010]優(yōu)選地，所述主-從輪式底盤(4)包括2個主驅動輪(I 16)、I個全向從動輪(I 17)和一個底盤承載器(122);所述主驅動輪(116)與頭部運動驅動器(I)共用直流電機控制驅動機構(104)。
[0011]優(yōu)選地，所述外殼模塊(7)由硬質PVC材料制成，外殼模塊(7)共搭載有柔性觸摸傳感器(124) 5個，其中，頭頂I個、耳部2個、肩部2個，同時外殼模塊(7)搭載有11組超聲波測距傳感器(125)，其中，前部4組、后部3組、兩側各2組。
[0012]優(yōu)選地，所述矩形隔板(115)上還安裝有多傳感器控制及信息反饋模塊(5)、網絡安全模塊(6),
其中，所述多傳感器控制及信息反饋模塊(5)為傳感器信息收發(fā)控制模塊，與各傳感器進行信息交換，并以RS485總線為物理傳輸基礎，通過ModBus協議與計算機主板(8)進行信息交互，所述傳感器為柔性觸摸傳感器和超聲波測距傳感器；
所述網絡安全模塊(6)由物理隔離模塊與數據過濾模塊兩部分構成構成；其中，物理隔離模塊包括4片6N317光電隔離芯片、2片ARM處理器。
[0013]優(yōu)選地，所述遠程輔助治療機器人裝置包括視頻采集模塊、語音交互模塊、LED輸出模塊(128)、IXD顯示(129)及TC觸控(130)模塊；其中視頻采集模塊包括安裝于抽拉式框架(114)頂部的I個CXD高速工業(yè)攝像機(119)，用于對患兒進行表情及微表情采集；語音交互模塊包括安裝于抽拉式框架(114)頂部的I個內置無線麥克風(126)、機器人頭部及背后的3個擴音器(127)、語音識別及合成單元；LED輸出模塊(128)包括機器人頭部及手部的LED燈及其LED控制電路；IXD顯示模塊(129)及TC觸控模塊(130)分別是安裝于頭部運動驅動器(I)上的IXD顯示屏，以及安裝于折疊式支架(113)上的觸摸式交互屏幕。
[0014]一種面向孤獨癥兒童的智能社交系統(tǒng)，包括上述的遠程輔助治療機器人裝置、社交能力訓練子系統(tǒng)(9)、智能情緒分析子系統(tǒng)(10)、量表評估及數據庫子系統(tǒng)(11);所述視頻采集模塊、語音交互模塊、LED輸出模塊(128)、IXD顯示(129)及TC觸控(130)模塊掛載于RS485總線之上，通過ModBus協議與社交能力訓練子系統(tǒng)通信；智能情緒分析子系統(tǒng)采用非侵入式腦電監(jiān)控模塊實時采集患兒的腦電信息，并通過藍牙無線傳輸到智能情緒分析子系統(tǒng)中進行解析。
[0015]本發(fā)明的優(yōu)點和積極效果在于: I)通過RS485-ModBus協議轉換模塊與工業(yè)控制計算機進行信息交互實現了多關節(jié)聯合驅動方式，使機器人具備實時的運動關節(jié)驅動能力；引入F_Direction基準向量縮減了隨機節(jié)點與最優(yōu)路徑間的偏差，從而有效地縮短了路徑規(guī)劃耗時，提高了機器人運動的實時性與準確性；結合實時圖像處理技術，實現可自動避讓障礙的肢體運動路徑規(guī)劃功能；通過PWM雙向控制技術與傳感器及時延計算相結合的方式，控制肢體動作速度并測算運動角度及距離，實現機器人任意方向精度的姿態(tài)控制，使機器人在人機交互過程中可以實時準確地完成交互命令，有效地提高交互成功率。
[0016]2)該裝置裝載有柔性觸摸傳感器、超聲波測距傳感器、光電傳感器等多種感應器件，COMS攝像頭、CCD攝像頭等圖像采集器，同時裝有LED、LCD等多種信息輸出設備，為人機交互過程中的社交情緒互動行為提供了智能化的基礎；各類別I/O設備分別通過多傳感器控制及信息反饋模塊協調管理，各模塊掛載于RS485總線上，并通過RS485-ModBus協議轉換模塊直接與控制中心通信，這種分布式信息融合技術使系統(tǒng)具備高效的通信管理能力，同時增強了容錯能力、便于設備的剪裁與升級。
[0017]3)根據醫(yī)學專家意見，設計難度階梯式的六種漸進型訓練模式，為不同年齡及程度的患兒提供切實有效的治療方案；采用多傳感器、語音、圖像、TC觸控等多種手段全方位開展社交能力交互訓練，大大增加了情感交互的途徑，在提高患兒參與興趣的同時為交互訓練的效果帶來了積極的影響；將高速工業(yè)攝像機對表情及微表情識別與分析技術與腦電監(jiān)控技術相結合，為患兒情緒狀態(tài)及輔助治療階段性成果的判定提供了可靠的工學和生理學依據；通過情緒轉移算法，實現個性化的人機互動過程，訓練患兒產生移情的社交能力；采用基于大型數據庫的信息管理方式，利于安全管理和資料收集與病情分析，也可為日后治療提供參考和依據。
[0018]4)系統(tǒng)具備自主訓練與遠程交互治療兩種模式，自主訓練模式可使患兒在家庭等環(huán)境下隨時隨地進行社交能力訓練，將治療與娛樂有機地融為一體，遠程交互治療模式可使患兒足不出戶就可享受醫(yī)生的康復治療指導，醫(yī)生也可在提供在線醫(yī)療的同時及時了解、掌握患兒康復進度；在自主訓練模式下，訓練數據通過安全隔離模塊向遠程服務器單向傳輸，既可保障通信實時性，也可實現硬件阻隔外網信息威脅的功能；在遠程交互治療模式下，機器人系統(tǒng)采用基于關聯規(guī)則挖掘的自適應數據過濾算法有效屏蔽外網危險信息、杜絕隱私泄露、保障交互系統(tǒng)的安全運行；該治療模式的提出可有效節(jié)約醫(yī)療資源，大力促進家庭遠程康復治療的開展。
【專利附圖】

【附圖說明】
[0019]圖1是本發(fā)明機器人的各功能模塊之間的關系圖。
[0020]圖2是本發(fā)明機器人的頭部機械結構圖。
[0021]圖3是本發(fā)明機器人頭部及底盤運動控制核心電路電氣連接原理圖。
[0022]圖4是本發(fā)明機器人手臂機械結構的立體圖。
[0023]圖5是本發(fā)明機器人手臂運動控制核心電路電氣連接原理圖。
[0024]圖6是本發(fā)明機器人“凸”字形底盤的俯視圖。
[0025]圖7是本發(fā)明機器人設備承載器的結構圖。
[0026]圖8是本發(fā)明機器人折疊式觸摸屏支架的結構圖。[0027]圖9是本發(fā)明機器人的總體機械結構圖。
[0028]圖10是本發(fā)明機器人的外殼效果圖。
[0029]圖11是本發(fā)明機器人設備控制/通信核心電路電氣連接原理圖。
[0030]圖12是本發(fā)明機器人網絡安全控制核心電氣連接原理圖。
[0031]圖13是本發(fā)明機器人智能遠程社交輔助治療的主體控制流程圖。
【具體實施方式】
[0032]下面結合附圖與實例做進一步說明。
[0033]圖1是本發(fā)明機器人的各功能模塊之間的關系圖。本發(fā)明通過應用多級模塊式管理結構，提供了一種遠程模式下安全可靠的人機智能交互技術，實現針對孤獨癥兒童的實時數據采集處理，智能響應及遠程輔助治療功能，解決了現有社交輔助治療工具資源匱乏、情感互動程度不足、遠程安全受限的問題。
[0034]如圖2所示，該機器人的頭部運動驅動器(I)有兩組，相互垂直耦合，每組頭部運動驅動器(I)包括相互獨立的離合器(101)、減速器(102)、直流電機(103)及其控制驅動機構(104)，其中每組頭部運動驅動器(I)負責一個自由度，一組負責機器人的點頭動作，一組負責搖頭動作。直流電機的控制驅動機構(104)為直流電機控制板，其呈圓環(huán)形垂直鑲嵌于減速器(102)外側，光電傳感器(105)及微動開關(106)以30度夾角等差均勻分布于控制板(104) —側中半圓周的外邊緣，其中2個微動開關(106)之間呈180度夾角，微動開關(106)到控制板(104)圓心距離為5厘米，光電傳感器(105)到控制板(104)圓心距離為6厘米。頭部運動驅動器(I)采用STC12C5A16AD芯片作為核心控制器，即直流電機控制板(104)，其控制電路如圖3所示，通過PWM雙向控制與傳感器及延時計算相結合的方式控制直流電機轉動角度，例如，在每個30°內通過直流電機(103)控制延時(角速度X時延)來控制轉動角度，并可通過具有限位功能的微動開關(106)設置頭部轉動最大角度物理限位，實現電機運動角度的精確定位。
[0035]如圖4所示，該機器人的手臂驅動器(2)由肩關節(jié)、肘關節(jié)、腕關節(jié)三個運動機構協同驅動產生動作，手臂驅動器(2)分別安裝于承載器(3)左右兩側，每組手臂驅動器(2)包括4個步進式運動關節(jié)(107)、I塊手臂電機控制板(120)、I個肩關節(jié)支架(108)、I個大臂支架(109 )、I個小臂支架(110 )、I個手部支架(111 )、I個300萬像素COMS攝像頭(118)。其中，每個步進式運動關節(jié)(107)由步進電機及其減速器構成；肘關節(jié)及腕關節(jié)分別包括一個步進式運動關節(jié)(107),肩關節(jié)由兩個步進式運動關節(jié)(107)垂直稱合構成,兩個步進式運動關節(jié)(107)分別控制兩個自由度，一個旋轉自由度，一個上下擺動自由度，可實現手臂的360度全向旋轉及180度上下擺動功能。手臂驅動器(2)采用TB6560AHQ芯片作為核心控制器，即手臂電機控制板(120)，其控制電路如圖5所示，肩關節(jié)中負責旋轉自由度的步進式運動關節(jié)(107)通過全向旋轉軸與其它3個步進式運動關節(jié)(107)(肩關節(jié)中負責上下擺動的步進式運動關節(jié)(107),以及分別對應于肘關節(jié)及腕關節(jié)的兩個步進式運動關節(jié)(107))的協同控制，機器人手臂可以靈活的指向任意方向，實時準確地完成系統(tǒng)下達的控制命令，控制誤差小于0.5度。此外，在機器人兩側各加裝有一枚300萬像素COMS攝像頭(118 )對手臂位姿及周圍環(huán)境進行實時圖像采集，通過USB通信接口實時上傳，建立三維坐標系進行手臂動作實現的最有路徑規(guī)劃計算，并引入F_Direction基準向量以縮減隨機節(jié)點與最優(yōu)路徑的偏差，從而縮短路徑規(guī)劃耗時，提高了該機器人運動的實時性與準確性，同時實現避障功能，有效避免由機器人肢體運動造成的人員誤傷，使患兒與機器人的交互過程更加安全。
[0036]如圖6所示，該機器人采用“凸”字形主-從輪式底盤地盤設計，主-從輪式底盤
(4)包括2個主驅動輪(116)、1個全向從動輪(117)和一個“凸”形底盤承載器(122)?！巴埂毙蔚妆P承載器上具有電池安裝位(123 )。主驅動輪(116 )通過獨立的直流電機驅動，且與頭部運動驅動器(I)共用核心控制器，即直流電機控制板(104)(圖2)，通過PWM雙向控制驅動直流電機轉動，運動速度靈活可調，能夠完成變/變速、直/曲線運動等多速度等級的快速動作響應。
[0037]該機器人的頭部運動驅動器(I)搭載于承載器(3)頂端；手臂驅動器(2)分別搭載于承載器兩側；底盤(4)安裝于承載器(3)底端。本發(fā)明機器人的設備承載器(3)結構圖如圖7所示，所述設備承載器(3)包括I個立式支架(112)、1個折疊式支架(113)、1個抽拉式框架(114)和抽拉式框架(114)中的2塊可抽拉矩形隔板(115)。其中，立式支架(112)用于安裝頭部運動驅動器，折疊式支架(113)用于安裝觸摸式交互屏幕。安裝觸摸式交互屏幕的折疊式支架(113)采用三折疊式結構設計，如圖8所示，在每個折疊位置設全向旋轉軸，即包括3個360度全向旋轉軸，可將觸摸屏調節(jié)到適宜的高度及角度進行操作，使交互裝置的設計更加人性化，同時也可達到節(jié)約儲藏空間的目的；承載器(3)的內部采用抽拉式框架結構一抽拉式框架(114)，通過上下兩條滑軌上加裝兩塊隔板(115)實現對空間的立體化應用，抽拉式框架(114 )用于安裝手臂驅動器并支撐整個機器人裝置，上層矩形隔板(115)用于安放工業(yè)控制計算機(8)，下層矩形隔板(115)用于安放手臂驅動板(即手臂電機控制板(120))、多傳感器控制及信息反饋模塊(5)、網絡安全模塊(6)，安裝在矩形隔板
(115)上的各控制板，包括工業(yè)控制計算機(8)，手臂電機控制板(120)，多傳感器控制機信息反饋模塊(5)，網絡安全模塊(6)，采用隔離柱架起，便于系統(tǒng)的檢修維護與硬件升級。以此構成本如圖9所示的機器人總體機械結構，圖10為其安裝外殼后的機器人裝置效果圖。所述外殼模塊(7)由硬質PVC材料制成，具有卡通外形。該模塊共搭載有柔性觸摸傳感器
(124)5個，其中，頭頂I個、耳部2個、肩部2個，同時搭載有11組超聲波測距傳感器(125)，其中，前部4組、后部3組、兩側各2組。
[0038]機器人的頭部運動驅動器(I)和手臂驅動器(2)掛載于RS485總線之上來實現多關節(jié)聯合驅動，通過RS485-ModBus協議轉換模塊與工業(yè)控制計算機(8)進行信息交互，以此提高機器人對各運動關節(jié)的驅動能力并解決了延時影響交互效果的問題。所述裝置將路徑規(guī)劃與避障技術應用于機器人的運動控制中，同時引入F_Direction基準向量以縮減隨機節(jié)點與最優(yōu)路徑的偏差，從而有效地縮短了路徑規(guī)劃耗時，提高了該裝置運動的實時性與準確性。機器人的頭部關節(jié)及底盤主動輪采用直流電機驅動，通過PWM雙向控制技術與傳感器及時延計算相結合的方式，測算運動角度及距離；手臂關節(jié)采用步進電機驅動，通過圖像處理技術與上述路徑規(guī)劃與避障技術相結合，控制誤差小于0.5度，實現機器人任意方向的姿態(tài)控制和可自動避讓障礙的肢體運動路徑規(guī)劃功能，此功能不僅提高了裝置的運動可控性，同時也可有效避免由機器人肢體運動造成的人員誤傷，使患兒與機器人的交互過程更加安全。
[0039]本發(fā)明中多傳感器控制及信息反饋模塊(5)為所有傳感器信息的收發(fā)控制模塊，由多傳感器控制及信息反饋模塊(5)與各傳感器進行信息交換，通過RS485-ModBus協議轉換模塊與工業(yè)控制計算機(8)進行信息交互，所述傳感器為柔性觸摸傳感器(124)和超聲波測距傳感器(125)。
[0040]網絡安全模塊(6)由物理隔離模塊與軟件過濾模塊兩部分構成。物理隔離模塊由4片6N137光電隔離芯片及2片ARM處理器組成。在自主訓練模式下，4片轉換速率高達lOMb/s的6N137光電隔離芯片可在保障系統(tǒng)訓練信息上傳速度的同時實現硬件阻隔外網信息干擾的功能；一片ARM處理器用于安全模塊與機器人系統(tǒng)的通信及信息控制，另一片ARM處理器用于數據格式轉換及數據緩存，按照以太網協議規(guī)范打包數據并完成外網的信息傳輸及通信控制功能。在遠程交互治療模式下，從動態(tài)更新的網絡安全數據庫中提取高頻項集，分層次建立數據關聯規(guī)則，采用遺傳算法實時調整關聯參數，衍生出新的關聯規(guī)貝U，從而實現自適應的數據過濾功能，保障交互系統(tǒng)的安全運行，進而實現安全可靠的家庭遠程康復治療模式。
[0041]本發(fā)明對多傳感器信息進行采集分析，具體包括:
I)表情及微表情采集模塊通過安裝于抽拉式框架頂部的F-033BL型CXD高速工業(yè)攝像機(119)對患兒進行表情采集，攝像機的分辨率為656 X 494，幀率高達58幀/秒，因此，可在實時采集患兒表情圖像的同時捕捉到微表情關鍵幀。所采集視頻通過1394a接口將實時地傳輸給智能情緒分析子系統(tǒng)，通過特征提取、表情認知等圖像處理后可更加準確地洞悉患兒的真實情緒變化過程，使機器人產生恰當的情感交互行為，并為孤獨癥兒童情感分析及社交訓練規(guī)劃提供客觀的分析依據。
[0042]2)非侵入式腦電監(jiān)測模塊可通過無創(chuàng)的方法實時采集患兒的腦電信息，并通過藍牙無線傳輸到智能情緒分析子系統(tǒng)中對其進行解析，與表情及微表情圖像處理結果進行比對，綜合產生患兒的情緒判斷結果，為孤獨癥兒童的輔助治療及醫(yī)生的專業(yè)指導提供可靠的生理依據。
[0043]3 )5個柔性觸摸傳感器分布于機器人裝置的頭頂、耳部及肩部(可應具體需求任意增減)，柔性觸摸傳感器以卷式金屬網格技術為基礎，采用底層精細線條金屬實現窄邊弧的彎曲表面應用，其纖薄、輕量等特征利于機器人流線型表面的安裝，該傳感器為患兒提供了更加豐富的觸摸體驗，使機器人的擬人效果更加逼真，在交互訓練過程中增強了交互感知能力，可提聞訓練的未和力。
[0044]4) 11組超聲波測距傳感器分布于機器人底盤運動機構外邊沿，通過對并行采集的距離數據進行分析來判斷機器人周圍障礙物的距離，誤差小于0.5厘米。為患兒的交互過程提供適宜的操作距離，確保表情及微表情采集模塊以最佳位置采集到交互者的面部圖像，同時通過環(huán)境障礙物的檢測，實現機器人的防碰撞保護功能。
[0045]本發(fā)明中所涉及的RS232-RS485轉換及RS485-ModBus協議轉換模塊采用以STM32F103RC為核心的控制/通信電路設計，如圖11所示。其中，STM32F103RC為采用32位Thumb2精簡指令集系統(tǒng)的64引腳微控制器，是目前市場上集高性能、低功耗、強實時性于一體的嵌入式芯片之一。該微控制器具有Cortex-M3內核，內置高達256K字節(jié)的高速存儲器，其I/O翻轉速度可達18MHz，完全可以滿足一對多的數據采集、設備控制、協議轉換及實時通信的需求。分布式設備采用總線式的控制方式，其傳輸速率最高可達lOMbit/s，允許連接128個收發(fā)設備，極大地提高了機器人裝置的設備擴展能力，電路設計有信號保護電路，使系統(tǒng)具有良好的防雷、抗浪涌及過流保護功能，使系統(tǒng)更加穩(wěn)定。
[0046]該機器人采用光電隔離芯片與雙ARM處理器相結合對廣域網向局域網實行隔離式管理的自主訓練網絡上傳模式以及基于關聯規(guī)則挖掘的自適應數據過濾算法的遠程交互治療網絡傳輸模式兩種網絡安全控制方式，以此提高對患兒隱私和機器人系統(tǒng)安全的保護能力，實現安全可靠的家庭遠程康復治療模式。在自主訓練模式下，如圖12所示，4片轉換速率高達lOMb/s的6N137光電隔離芯片可在保障系統(tǒng)訓練信息上傳速度的同時實現硬件阻隔外網信息干擾的功能，以此保障訓練數據可實時上傳到服務器端并使系統(tǒng)在自主訓練模式下不受外網病毒攻擊；兩片ARM946E-S處理器具備可動態(tài)分配的高速緩存，分別用于安全模塊與機器人系統(tǒng)的通信與信息控制，以及局域網與以太網數據傳輸協議的轉換，確保數據按照以太網協議規(guī)范打包并完成外網的信息傳輸與通信控制功能。在遠程交互治療模式下，在動態(tài)更新的網絡安全數據庫中提取出高頻項集，分層次建立數據關聯規(guī)則，采用遺傳算法實時調整關聯參數，衍生出新的關聯規(guī)則，從而通過自適應的數據過濾算法有效屏蔽外網危險信息，保障交互系統(tǒng)的安全運行。
[0047]本發(fā)明機器人智能遠程社交輔助治療的主體控制流程如圖13所示。面向孤獨癥兒童的智能社交系統(tǒng)的控制中心為華北工控所產的靈動型工業(yè)控制計算機(搭載Windows7操作系統(tǒng))，設有社交能力訓練、智能情緒分析以及量表評估及數據庫三個子系統(tǒng)，其附屬I/O結構包括:視頻采集模塊、腦電采集模塊、非特定人語音識別模塊、語音合成模塊、LED多功能輸出模塊、LCD圖像顯示模塊和TC觸控交互模塊等。
[0048]社交能力訓練子系統(tǒng)是直接與患兒交互的前臺；智能情緒分析則通過前臺采集的表情圖像進行基于連續(xù)狀態(tài)空間的情緒狀態(tài)映射，結合腦電分析結果在三維空間中應用基于心理能量及概率理論的情緒轉移算法進行情感計算，并將結果轉化為控制指令下達給社交能力訓練子系統(tǒng)，使其產生人性化的交互響應；量表評估及數據庫子系統(tǒng)不僅可完成交互過程中過程數據、表情圖像、腦電信號及智能情緒分析結果的歸檔存儲功能，還可實現ABC、ASSQ、CARS、社交反應量表、克氏表五種量表的在線填寫功能，用于管理醫(yī)務人員及家長的第三方評估結果，為日后的數據挖掘、療效評估等提供有效依據。
[0049]具體地，社交能力訓練子系統(tǒng)的硬件設備包括視頻采集模塊、語音交互模塊、LED輸出模塊(128)、IXD顯示(129)及TC觸控(130)模塊。視頻采集模塊通過安裝于抽拉式框架頂部的I個CCD高速工業(yè)攝像機(119)對患兒進行表情及微表情采集并將圖像信息實時地傳輸給智能情緒分析子系統(tǒng)。語音交互模塊包括安裝于抽拉式框架頂部的I個內置無線麥克風(126)、機器人頭部耳機位置及背后的3個擴音器(127)、語音識別及合成單元。語音合成單兀配備有男聲、女聲、兒童聲三種聲音模式可供選擇，并具備環(huán)繞立體聲音效；LED輸出模塊(128)主要包括頭部及手部的多彩LED指示燈和它的控制電路，以此吸引患兒的注意，配合完成共同關注等相關系統(tǒng)功能。LCD顯示模塊(129)及TC觸控模塊(130)是交互操作的核心，分別是安裝于頭部運動驅動器(I)上的LCD顯示屏，以及安裝于折疊式支架
(113)上的觸摸式交互屏幕，IXD顯示模塊采用5.7寸(4:3)工業(yè)級高清液晶屏，TC觸控部分采用7寸(16:9)工業(yè)級高清觸摸屏，保障系統(tǒng)具備清晰的畫質、良好的反應速度并可工作于較為惡劣的環(huán)境下。各模塊所涉及的硬件設備均通過RS232轉RS485轉換板掛載于RS485總線之上，通過RS485-ModBus協議轉換模塊與社交能力訓練子系統(tǒng)通信。
[0050]智能情緒分析子系統(tǒng)采用非侵入式腦電監(jiān)控模塊實時采集患兒的腦電信息，并通過藍牙無線傳輸到智能情緒分析子系統(tǒng)中對其進行解析，為孤獨癥兒童的輔助治療提供可靠的依據。同時，將社交能力訓練子系統(tǒng)傳來的表情圖像進行基于連續(xù)狀態(tài)空間的情緒狀態(tài)映射，結合腦電分析結果在三維空間中應用基于心理能量及概率理論的情緒轉移算法進行情感計算，并將結果轉化為控制指令(具體過程為表情圖像預處理一3D梯度投影(微表情關鍵幀捕捉)一Gabor特征提取一LBP特征降維一基于梯度量級加權的最近鄰分類)，最后將控制指令下達給遠程輔助治療機器人裝置，來實現交互表情及動作的響應，完成個性化的人機互動過程,訓練患兒產生移情的社交能力。
[0051]量表評估及數據庫子系統(tǒng)以SQL Server 2012作為數據管理平臺，可分為患兒信息管理、醫(yī)務人員信息管理、量表評估、交互信息記錄四個模塊?；純盒畔⒐芾砟K主要對患兒的姓名、年齡、性別等基本信息進行管理；醫(yī)務人員信息管理模塊主要用于根據不同級別設置訪問權限，有效保護患兒隱私；量表評估模塊具備ABC、ASSQ、CARS、社交反應量表、克氏表五種量表的在線填寫功能，用于管理醫(yī)務人員及家長的第三方評估結果，為日后的數據挖掘、療效評估等提供有效依據；交互信息模塊在患兒登錄后其交互訓練的反應時間、完成時間、正確及錯誤率、重復訓練次數等多項過程數據都將同步錄入數據庫中，讓醫(yī)務人員全面了解及掌握患兒在訓練過程中體現的問題，以便進行有針對性的輔導和治療。本發(fā)明機器人的社交能力訓練子系統(tǒng)設置有共同關注、表情學習、表情測試、表情模仿、表情拼圖、場景認知六種訓練模式。以下依據其訓練模式進行具體說明:
I)共同關注模式。機器人具備語音指引、語音+手臂動作同步指引、語音+手臂動作+LED閃動同步指引、語音+手臂+頭部動作+LED閃動同步指引等多種引導方式，當語音指引發(fā)出后，通過實時的人臉位姿檢測，判斷患兒是否完成共同關注訓練，若完成進行下一方向指引，若未完成則加大指引力度，再進行位姿判斷，直到共同關注完成或多種引導方式全部用完為止，并同時將患兒響應時間、指引重復次數、每次指引后動作的完成情況、動作最終完成情況等數據提交給數據庫統(tǒng)一管理。
[0052]2)表情學習模式。表情學習部分預置了六種基本情緒狀態(tài)的表情圖片，患兒可根據需要選擇按類學習或隨機學習。機器人通過LCD顯示器及TC觸控屏幕同步顯示表情圖片，并通過語音及文字提示講述表情所蘊含的情緒狀態(tài)，逐步改善患兒的認知情感缺失問題。與此同時，數據庫同步記錄患兒學習過的表情，及學習過程中對應的表情視頻數據，為特殊教育及醫(yī)生的專業(yè)指導提供研究依據。
[0053]3)表情測試模式。依據表情學習數據，該模塊以設置關卡的方式為患兒提供適宜難度的表情測試題目，在同一難度下具體的測試形式分為:表情圖片三選一、尋找正確的眼部表情、尋找正確的唇部表情，為提高患兒學習興趣、加深記憶，本測試允許患兒在未選擇正確的情況下再重復兩次選擇，同時設置語音、LED燈及IXD卡通表情獎勵及鼓勵機制，每題完成后在LCD屏重復顯示正確答案，幫助患兒鞏固所學表情。該測試過程中所顯示的題目、每次選擇結果、響應的時間等信息均會同步存入數據庫中。此外，在學習過程中實時監(jiān)測患兒表情及腦電信號的變化分析情緒變化，智能的調節(jié)測試難度，及時改善訓練過程中的人機關系，為測試學習提供積極的影響。
[0054]4)表情模仿模式。依據表情學習的表情種類，該模塊將為兒童提供語音指導與講解來配合LCD屏顯示的表情圖片，幫助患兒完成表情的模仿。通過智能情緒分析子系統(tǒng)完成患兒表情特征的提取與分析，判斷該表情的模仿契合度，并在給予患兒鼓勵的同時予以進一步動作指導，提高患兒的表情表達能力。在模仿進行的過程中，數據將同步上傳到數據庫中，以便醫(yī)務人員及時了解患者的訓練進展，為后續(xù)治療方案的設定提供切實依據。
[0055]5)表情拼圖。依據患兒目前學習進展，該模塊將篩選表情圖片，并形成等額拼圖和差額拼圖兩種形式的訓練方法?；純嚎赏ㄟ^TC觸控屏幕拖拽圖片，將其組合為語音提示中所要求的表情。若首次拼圖未成功，則LCD屏將顯示鼓勵圖片，語音提示患兒再來一次；若第二次拼圖仍未成功，則系統(tǒng)以語音的形式引導患兒觀看LCD屏短時顯示的正確表情全圖，并讓患兒再次拼圖。當患兒正確完成拼圖時，系統(tǒng)將根據目前兒童的腦電信號判斷其緊張程度，并智能地選擇獎勵音樂緩解患兒的緊張情緒。
[0056]6)場景認知。該模塊根據圖片的場景復雜度將圖片進行分類，并共設置二選一、四選一、六選一三種表情選擇題型，根據患兒學習進展，系統(tǒng)將綜合考慮場景難度及題型難度解鎖不同關卡?；純嚎赏ㄟ^語音對于圖片的內容講解及自身看到圖片后的內心感受選擇與之相對應的表情情緒圖片，同時系統(tǒng)通過攝像頭及腦電監(jiān)測模塊實時分析患兒內心情緒變化予以正確的情緒引導與選擇指導，使患兒認知場景的情緒狀態(tài)、融入場景產生適當的移情，以幫助患兒逐步擺脫孤獨的內心世界趨于正常的認知情緒狀態(tài)。
【權利要求】
1.一種遠程輔助治療機器人裝置，其特征在于:所述機器人裝置包括頭部運動驅動器(I)、手臂運動驅動器(2)、設備承載器(3)、主-從輪式底盤(4)、及外殼模塊(7)，該機器人裝置的頭部運動驅動器(I)搭載于設備承載器(3)頂端；手臂驅動器(2)分別搭載于設備承載器(3)兩側；底盤(4)安裝于承載器(3)底端。
2.根據權利I要求所述的遠程輔助治療機器人裝置，其特征在于:所述頭部運動驅動器(I)為兩組，兩組之間相互垂直耦合，每組頭部運動驅動器(I)包括離合器(101 )、減速器(102)、直流電機(103)及其直流電機控制驅動機構(104);所述直流電機控制驅動機構為環(huán)形直流電機控制板，直流電機控制板上裝有5個光電傳感器(105)及2個微動開關(106)，光電傳感器(105)及微動開關(106)以30度夾角均勻分布于直流電機控制板(104)—側中半圓周的外邊緣，其中2個微動開關(106)之間呈180度夾角。
3.根據權利I要求所述的遠程輔助治療機器人裝置，其特征在于:所述手臂驅動器(2)為安裝于承載器(3)左右兩側的兩組多電機協同驅動裝置；其中每組手臂驅動器(2)包括4個步進式運動關節(jié)(107)、I塊手臂電機控制板(120)、I個肩關節(jié)支架(108)、I個大臂支架(109),1個小臂支架(110)、1個手部支架(111)、1個300萬像素COMS攝像頭(118)。
4.根據權利3要求所述的遠程輔助治療機器人裝置，其特征在于:每個步進式運動關節(jié)(107)由步進電機及其減速器構成；肩關節(jié)由兩個步進式運動關節(jié)(107)垂直I禹合構成，兩個步進式運動關節(jié)(107)分別控制旋轉自由度和上下擺動自由度。
5.根據權利I要求所述的遠程輔助治療機器人裝置，其特征在于:所述設備承載器(3)包括I個立式支架(112)、1個折疊式支架(113)、1個抽拉式框架(114)和抽拉式框架中的可抽拉矩形隔板(115);所述立式支架(112)用于安裝頭部運動驅動器(1)，折疊式支架(113)用于安裝觸摸式交互屏幕，矩形隔板(115)用于安放手臂電機控制板(120)以及工業(yè)控制計算機(8);所述頭部運動驅動器(I)和手臂驅動器(2)以RS485總線為物理傳輸基礎，通過ModBus協議與工業(yè)控制計算機(8)進行信息交互。
6.根據權利I要求所述的遠程輔助治療機器人裝置，其特征在于:所述主-從輪式底盤(4)包括2個主驅動輪(116)、1個全向從動輪(117)和一個底盤承載器(122);所述主驅動輪(116)與頭部運動驅動器(I)共用直流電機控制驅動機構(104)。
7.根據權利I要求所述的遠程輔助治療機器人裝置，其特征在于:所述外殼模塊(7)由硬質PVC材料制成，外殼模塊(7)共搭載有柔性觸摸傳感器(124) 5個，其中，頭頂I個、耳部2個、肩部2個，同時外殼模塊(7)搭載有11組超聲波測距傳感器(125)，其中，前部4組、后部3組、兩側各2組。
8.根據權利7要求所述的遠程輔助治療機器人裝置，其特征在于:所述矩形隔板(115)上還安裝有多傳感器控制及信息反饋模塊(5)、網絡安全模塊(6)，其中，所述多傳感器控制及信息反饋模塊(5)為傳感器信息收發(fā)控制模塊，與各傳感器進行信息交換，并以RS485總線為物理傳輸基礎，通過ModBus協議與計算機主板(8)進行信息交互，所述傳感器為柔性觸摸傳感器和超聲波測距傳感器；所述網絡安全模塊(6)由物理隔離模塊與數據過濾模塊兩部分構成構成；其中，物理隔離模塊包括4片6N317光電隔離芯片、2片ARM處理器。
9.根據權利I要求所述的遠程輔助治療機器人裝置，其特征在于:所述遠程輔助治療機器人裝置包括視頻采集模塊、語音交互模塊、LED輸出模塊(128)、IXD顯示(129)及TC觸控(130)模塊；其中視頻采集模塊包括安裝于抽拉式框架(114)頂部的I個CCD高速工業(yè)攝像機(119)，用于對患兒進行表情及微表情采集；語音交互模塊包括安裝于抽拉式框架(114)頂部的I個內置無線麥克風(126)、機器人頭部及背后的3個擴音器(127)、語音識別及合成單元；LED輸出模塊(128)包括機器人頭部及手部的LED燈及其LED控制電路；LCD顯示模塊(129)及TC觸控模塊(130)分別是安裝于頭部運動驅動器(I)上的IXD顯示屏，以及安裝于折疊式支架(113)上的觸摸式交互屏幕。
10.一種面向孤獨癥兒童的智能社交系統(tǒng)，其特征在于:包括如權利要求9所述的遠程輔助治療機器人裝置、社交能力訓練子系統(tǒng)(9)、智能情緒分析子系統(tǒng)(10)、量表評估及數據庫子系統(tǒng)(11);所述視頻采集模塊、語音交互模塊、LED輸出模塊(128)、IXD顯示(129)及TC觸控(130)模塊掛載于RS485總線之上，通過ModBus協議與社交能力訓練子系統(tǒng)通信；智能情緒分析子系統(tǒng)采用非侵入式腦電監(jiān)控模塊實時采集患兒的腦電信息，并通過藍牙無線傳輸到智能情緒分析子系統(tǒng)中進行解析。
【文檔編號】G06Q50/22GK103612252SQ201310643539
【公開日】2014年3月5日 申請日期:2013年12月3日 優(yōu)先權日:2013年12月3日
【發(fā)明者】劉欣, 付冬梅, 徐俊偉, 解侖, 王志良, 吳汝坤 申請人:北京科技大學