專利名稱：提高孤獨(dú)癥兒童社會(huì)互動(dòng)能力的人機(jī)互動(dòng)多模態(tài)早期干預(yù)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種計(jì)算機(jī)科學(xué)、認(rèn)知科學(xué)和教育學(xué)的人機(jī)互動(dòng)多模態(tài)智能學(xué)習(xí)系統(tǒng)，尤其涉及提髙孤獨(dú)癥兒童社會(huì)互動(dòng)能力的人機(jī)互動(dòng)多模態(tài)早期干預(yù)系統(tǒng)。
背景技術(shù)：
兒童孤獨(dú)癥又稱自閉癥，是發(fā)生于兒童早期的一種由于神經(jīng)系統(tǒng)失調(diào)導(dǎo)致的發(fā)育障礙，其病征包括不正常的社交能力、溝通能力、興趣和行為模式。雖然孤獨(dú)癥發(fā)現(xiàn)于1943 年，但是對(duì)孤獨(dú)癥的研究與治療直到20世紀(jì)80年代才得到真正重視，長(zhǎng)期以來，兒童孤獨(dú)癥病因仍然是個(gè)謎，很多研究人員懷疑孤獨(dú)癥是由基因控制，再由環(huán)境因素觸發(fā)，目前尚無任何有效藥物可以治療，只能靠長(zhǎng)期的教育干預(yù)幫助患兒逐漸好轉(zhuǎn)，否則將導(dǎo)致終身殘障。 在發(fā)達(dá)國(guó)家，有很多干預(yù)訓(xùn)練機(jī)構(gòu)及專業(yè)訓(xùn)練人員來幫助孤獨(dú)癥兒童，使他們能恢復(fù)到正常兒童的社會(huì)交流能力。我國(guó)對(duì)孤獨(dú)癥兒童的教育干預(yù)方法有一定研究，但對(duì)孤獨(dú)癥兒童的干預(yù)訓(xùn)練機(jī)構(gòu)很少。我國(guó)孤獨(dú)癥的發(fā)病率以每年10%-17%速度增長(zhǎng)。衛(wèi)生部在2010年 7月正式發(fā)布《兒童孤獨(dú)癥診療康復(fù)指南》，《指南》強(qiáng)調(diào)兒童孤獨(dú)癥的最佳治療時(shí)間一般在 6歲之前，其早期的正確診斷和干預(yù)治療非常關(guān)鍵。但到目前為止國(guó)內(nèi)僅有少數(shù)幾家的民營(yíng)康復(fù)訓(xùn)練學(xué)習(xí)機(jī)構(gòu)，康復(fù)訓(xùn)練人員嚴(yán)重不足，致使許多患兒在最佳康復(fù)訓(xùn)練年齡錯(cuò)失了康復(fù)訓(xùn)練時(shí)機(jī)，導(dǎo)致不可逆轉(zhuǎn)的終身殘障。社會(huì)交流能力是兒童學(xué)習(xí)的基礎(chǔ)，孤獨(dú)癥兒童，由于缺乏社會(huì)交流能力，使得學(xué)習(xí)過程比正常發(fā)展的兒童更加困難。最近研究證明了計(jì)算機(jī)輔助學(xué)習(xí)對(duì)孤獨(dú)癥兒童的有效性，因?yàn)楣陋?dú)癥兒童對(duì)人與人之間的交流感到不適應(yīng)，他們更易于接收電子技術(shù)設(shè)備。計(jì)算機(jī)可以創(chuàng)造一個(gè)安全的，可重復(fù)的，可預(yù)測(cè)控制的訓(xùn)練學(xué)習(xí)環(huán)境更有助于孤獨(dú)癥兒童的學(xué)習(xí)。研究證明學(xué)習(xí)者能在多模態(tài)互動(dòng)環(huán)境中比在單一模態(tài)非互動(dòng)環(huán)境中獲得更好的學(xué)習(xí)效果，并指出多模態(tài)互動(dòng)是學(xué)習(xí)語言的最好途徑。我國(guó)目前針對(duì)孤獨(dú)癥兒童的多模態(tài)人機(jī)互動(dòng)學(xué)習(xí)研究尚為空白。國(guó)外的相關(guān)研究主要是采用各種虛擬現(xiàn)實(shí)技術(shù)輔助孤獨(dú)癥兒童學(xué)習(xí)，為兒童創(chuàng)造一個(gè)安全，可控制的學(xué)習(xí)環(huán)境，尚未建立一套針對(duì)提高孤獨(dú)癥兒童社會(huì)互動(dòng)能力的、自適應(yīng)于不同兒童個(gè)體的、多模態(tài)人機(jī)互動(dòng)系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明目的旨在建立多模態(tài)融合互動(dòng)式的智能學(xué)習(xí)系統(tǒng)來有效干預(yù)、提高孤獨(dú)癥兒童的社交能力。此系統(tǒng)專門針對(duì)提高孤獨(dú)癥兒童的社會(huì)互動(dòng)能力設(shè)計(jì)學(xué)習(xí)目標(biāo)、建立相應(yīng)的學(xué)習(xí)活動(dòng)；根據(jù)在學(xué)習(xí)過程觀察到的兒童的行為，認(rèn)知和心理狀態(tài)來調(diào)整學(xué)習(xí)活動(dòng)以滿足不同兒童個(gè)體的社會(huì)認(rèn)知需求。實(shí)現(xiàn)上述目的的技術(shù)方案一種提髙孤獨(dú)癥兒童社會(huì)互動(dòng)能力的人機(jī)互動(dòng)多模態(tài)早期干預(yù)系統(tǒng)，包括一臺(tái)多點(diǎn)觸摸屏，3個(gè)帶麥克風(fēng)的攝像頭，計(jì)算機(jī)，3個(gè)攝像頭分別安裝在多點(diǎn)觸摸屏的左邊、右邊以及中上方并通過USB接口與計(jì)算機(jī)相連(見圖1)，系統(tǒng)設(shè)置有視覺信號(hào)處理、語音信號(hào)處理、物理交互界面、多模態(tài)融合、智能控制臺(tái)和真實(shí)場(chǎng)景模擬六個(gè)基本模塊，攝像頭將獲取的兒童的視頻及音頻信號(hào)傳輸給計(jì)算機(jī)，計(jì)算機(jī)通過視覺信號(hào)處理來檢測(cè)兒童的注意力和表情，通過語音信號(hào)處理辨別兒童的聲音，觸摸屏捕捉兒童的動(dòng)作，多模態(tài)信息融合模塊把檢測(cè)到的兒童的注意力、表情、聲音和手勢(shì)動(dòng)作信號(hào)融合產(chǎn)生兒童的學(xué)習(xí)狀態(tài)，然后反饋給智能控制臺(tái)，智能控制臺(tái)根據(jù)設(shè)計(jì)的學(xué)習(xí)活動(dòng)內(nèi)容產(chǎn)生兒童與虛擬動(dòng)畫人物之間基于游戲的互動(dòng)，真實(shí)場(chǎng)景模擬根據(jù)多模態(tài)信息融合模塊與智能控制臺(tái)發(fā)出的指令顯示不同的虛擬場(chǎng)景和輸出各種聲音(見圖2)。
視覺信號(hào)處理包括表情識(shí)別，視線跟蹤和頭部姿態(tài)估計(jì)；語音信號(hào)處理解決的關(guān)鍵問題是針對(duì)兒童的語音識(shí)別；物理交互界面通過觸摸屏識(shí)別兒童在虛擬環(huán)境中觸摸的準(zhǔn)確位置；多模態(tài)融合處理和合成檢測(cè)到的兒童的注意力、表情、聲音和手勢(shì)動(dòng)作信號(hào)然后創(chuàng)建兒童學(xué)習(xí)狀態(tài)；智能控制臺(tái)根據(jù)學(xué)習(xí)活動(dòng)內(nèi)容產(chǎn)生兒童與虛擬動(dòng)畫人物之間基于游戲的互動(dòng)；真實(shí)場(chǎng)景模擬采用三維動(dòng)畫和語音合成技術(shù)模仿真實(shí)社會(huì)場(chǎng)景，其負(fù)責(zé)根據(jù)多模態(tài)信息融合模塊與智能控制臺(tái)發(fā)出的指令顯示不同的虛擬場(chǎng)景。在此系統(tǒng)中，使用者通過前端模塊(視覺、語音處理及物理交互界面)直接與學(xué)習(xí)環(huán)境互動(dòng)，后端模塊(多模態(tài)融合、智能控制臺(tái)及真實(shí)場(chǎng)景模擬)根據(jù)使用者的行為產(chǎn)生相應(yīng)的互動(dòng)虛擬場(chǎng)景。這個(gè)學(xué)習(xí)環(huán)境模擬真實(shí)世界，使用者可以通過說，看，指或觸摸來表達(dá)對(duì)事物的興趣。按上述方案，所述的第1攝像頭0-1)和第3攝像頭0-3)選用Logitech Quickcam攝像頭，第2攝像頭(2-2)選用Mironu ^febcam攝像頭。按上述方案，所述的觸摸屏(1)尺寸為42英寸。按上述方案，所述的視覺信號(hào)處理模塊，采用C++編程語言實(shí)現(xiàn)基于特征點(diǎn)方法的兒童注意力檢測(cè)，以及基于稀疏表示表情識(shí)別方法的兒童心理狀態(tài)估計(jì)。按上述方案，所述的語音信號(hào)處理模塊，分析兒童語音信號(hào)中的語調(diào)頻率和共振峰頻率參數(shù)，采用C++編程語言實(shí)現(xiàn)基于隱馬爾科夫模型的兒童語音識(shí)別算法。按上述方案，所述的物理交互界面，采用基于PQLabs的Java編程語言，檢測(cè)兒童在虛擬環(huán)境中觸摸的準(zhǔn)確位置。按上述方案，所述的多模態(tài)融合模塊是基Communications Engine中間件的平臺(tái)。按上述方案，所述的智能控制臺(tái)模塊是基于FAtiMA結(jié)構(gòu)，采用Java編程語言實(shí)現(xiàn)。按上述方案，所述的真實(shí)場(chǎng)景模擬模塊采用Maya動(dòng)畫技術(shù)和SuperCollider聲音輸出軟件工具。本發(fā)明的有益效果在于第一、讓孤獨(dú)癥兒童可以在一個(gè)安全的不受限制的自由空間里通過人機(jī)互動(dòng)游戲形式探索不同社交場(chǎng)景和提高社會(huì)互動(dòng)及合作技巧；第二、能夠根據(jù)不同孤獨(dú)癥兒童的個(gè)體學(xué)習(xí)經(jīng)驗(yàn)、當(dāng)前學(xué)習(xí)狀態(tài)和需求，通過變換與真實(shí)世界相仿的虛擬場(chǎng)景來調(diào)整學(xué)習(xí)活動(dòng)以達(dá)到學(xué)習(xí)目標(biāo)，支持包含不同的兒童發(fā)展路徑；第三、通過實(shí)時(shí)檢測(cè)多模態(tài)社會(huì)信號(hào)(包括視覺，聽覺及觸覺信號(hào))來估計(jì)兒童的學(xué)習(xí)狀態(tài)，認(rèn)知狀態(tài)(例如注意力)，心理狀態(tài)(例如高興或悲傷等)和學(xué)習(xí)行為；第四、采用多模態(tài)智能學(xué)習(xí)環(huán)境的方式，融合計(jì)算機(jī)視覺、語音識(shí)別、行為識(shí)別、結(jié)合兒童發(fā)展的心理機(jī)能理論、虛擬現(xiàn)實(shí)技術(shù)來支持提高孤獨(dú)癥兒童的社會(huì)互動(dòng)能力。


圖1為人機(jī)多模態(tài)互動(dòng)學(xué)習(xí)環(huán)境
圖中1.多點(diǎn)觸摸屏，2-1.第1攝像頭，2-2.第2攝像頭，2-3.第3攝像頭，3.計(jì)算機(jī)， 4.虛擬場(chǎng)景，5.虛擬動(dòng)畫人物。圖2為本發(fā)明的系統(tǒng)框圖
具體實(shí)施例方式下面結(jié)合附圖具體說明實(shí)施方案。本發(fā)明的一種提髙孤獨(dú)癥兒童社會(huì)互動(dòng)能力的人機(jī)互動(dòng)多模態(tài)早期干預(yù)系統(tǒng)，包括一臺(tái)多點(diǎn)觸摸屏1，第1攝像頭2-1，第2攝像頭2-2，第 3攝像頭2-3，計(jì)算機(jī)3，第1攝像頭、第3攝像頭和第2攝像頭分別安裝在多點(diǎn)觸摸屏的左邊、右邊以及中上方，3個(gè)攝像頭帶麥克風(fēng)通過USB接口與計(jì)算機(jī)相連(見圖1)，系統(tǒng)設(shè)置有視覺信號(hào)處理、語音信號(hào)處理、物理交互界面、多模態(tài)融合、智能控制臺(tái)和真實(shí)場(chǎng)景模擬六個(gè)基本模塊，攝像頭將獲取的兒童的視頻及音頻信號(hào)傳輸給計(jì)算機(jī)，計(jì)算機(jī)通過視覺信號(hào)處理來檢測(cè)兒童的注意力和表情，通過語音信號(hào)處理辨別兒童的聲音，觸摸屏捕捉兒童的動(dòng)作，多模態(tài)信息融合模塊把檢測(cè)到的兒童的注意力、表情、聲音和手勢(shì)動(dòng)作信號(hào)融合產(chǎn)生兒童的學(xué)習(xí)狀態(tài)，然后反饋給智能控制臺(tái)，智能控制臺(tái)根據(jù)設(shè)計(jì)的學(xué)習(xí)活動(dòng)內(nèi)容產(chǎn)生兒童與虛擬動(dòng)畫人物5之間基于游戲的互動(dòng)，真實(shí)場(chǎng)景模擬根據(jù)多模態(tài)信息融合模塊與智能控制臺(tái)發(fā)出的指令顯示不同的虛擬場(chǎng)景4和輸出各種聲音(見圖2)。本發(fā)明的視覺信號(hào)處理系統(tǒng)，采用三個(gè)攝像頭，獲得寬廣的觀察視野，從而使得兒童的行為在學(xué)習(xí)過程中不受外界條件的約束，并基于HAAR特征，熵原理圖像分割和改進(jìn)的主動(dòng)形狀模板的方法提取人臉面部特征，然后采用基于光子流與人臉三維模型的算法來跟蹤特征點(diǎn)，最后基于特征點(diǎn)的算法估計(jì)頭部姿態(tài)。在獲取頭部姿態(tài)的基礎(chǔ)上，依據(jù)眼角和瞳孔的空間位置關(guān)系來確定眼睛的凝視方向。同時(shí)采用基于稀疏表示的表情識(shí)別方法來估計(jì)兒童的心理狀態(tài)。本實(shí)施例采用PQLabs提供的42英寸多點(diǎn)觸摸屏。對(duì)于孤獨(dú)癥兒童而言，觸摸是一個(gè)非常重要的社會(huì)信號(hào)。觸摸屏是兒童與虛擬世界最直接的交流方式。在此學(xué)習(xí)環(huán)境中， 兒童將通過觸摸屏與學(xué)習(xí)環(huán)境進(jìn)行互動(dòng)，物理交互界面模塊識(shí)別兒童在虛擬環(huán)境中觸摸的準(zhǔn)確位置，例如，在一個(gè)虛擬花園里，兒童是觸摸到了花還是其中的動(dòng)畫人物。語音識(shí)別部分，本發(fā)明著重分析兒童語音信號(hào)中的語調(diào)頻率和共振峰頻率等參數(shù)設(shè)計(jì)了基于隱馬爾科夫模型(HMM)的適于互動(dòng)學(xué)習(xí)環(huán)境的兒童語音識(shí)別算法。兒童發(fā)音和說話特點(diǎn)與成人不同，在聲道長(zhǎng)度，共振峰頻率和語調(diào)頻率等方面有很大區(qū)別。在互動(dòng)環(huán)境中，兒童的語調(diào)含有很多情感，情緒成分。多模態(tài)信息融合是本發(fā)明學(xué)習(xí)環(huán)境中不可缺少的模塊，它處理和合成前端多重信號(hào)然后創(chuàng)建后端事件。此模塊把兒童的頭部姿態(tài)、眼睛凝視方向、表情、聲音和手勢(shì)動(dòng)作信號(hào)融合產(chǎn)生兒童的學(xué)習(xí)狀態(tài)，然后反饋給智能控制臺(tái)。本發(fā)明的智能體設(shè)計(jì)基于兒童發(fā)展理論和FAtiMA結(jié)構(gòu)。FAtiMA適用于控制有情感的虛擬人物行為。本發(fā)明同時(shí)采用監(jiān)督學(xué)習(xí)方法建立兒童模型使智能控制臺(tái)能為不同的兒童選擇合適的學(xué)習(xí)目標(biāo)和活動(dòng)。兒童模型的建立基于1)年齡、性別等靜態(tài)信息，2)之前與學(xué)習(xí)環(huán)境互動(dòng)的信息，3)當(dāng)前與學(xué)習(xí)環(huán)境互動(dòng)的實(shí)時(shí)信息。智能控制臺(tái)根據(jù)學(xué)習(xí)活動(dòng)內(nèi)容產(chǎn)生兒童與虛擬動(dòng)畫人物之間基于游戲的互動(dòng)。兒童在虛擬場(chǎng)景中與動(dòng)畫人物之間進(jìn)行交流，其間不同場(chǎng)景的變換不是事先設(shè)定而是根據(jù)在互動(dòng)過程中觀察到的兒童的行為，認(rèn)知和心理狀態(tài)來選擇，這更利于兒童的個(gè)體訓(xùn)練和自我提高，充分體現(xiàn)了以兒童個(gè)體為中心的學(xué)習(xí)理念。真實(shí)場(chǎng)景模擬采用三維動(dòng)畫和語音合成技術(shù)模仿真實(shí)社會(huì)場(chǎng)景，其負(fù)責(zé)根據(jù)多模態(tài)信息融合模塊與智能控制臺(tái)發(fā)出的指令顯示不同的虛擬場(chǎng)景和輸出各種聲音等。本發(fā)明采用基于Maya的動(dòng)畫技術(shù)模擬真實(shí)場(chǎng)景以及SuperCollider軟件輸出聲音。整個(gè)學(xué)習(xí)環(huán)境的實(shí)現(xiàn)通過不同的編程語言和軟件完成相應(yīng)的模塊1、視覺處理C++編程語言；2、語音處理C++編程語言；3、交互界面基于PQLabs的Java編程語言；4、智能控制臺(tái)基于FAtiMA結(jié)構(gòu)的Java編程語言；5、真實(shí)場(chǎng)景模擬采用 Maya和SuperCollider等軟件工具，各模塊信息采用了基于hternet Communications Engine(ICE)中間件的平臺(tái)來融合。本發(fā)明的系統(tǒng)是學(xué)習(xí)系統(tǒng)，包括兩種類型的學(xué)習(xí)目標(biāo)，一種是基于發(fā)展理論劃分的三個(gè)階段的具體學(xué)習(xí)目標(biāo)，如增強(qiáng)兒童對(duì)事物因果關(guān)系的理解(微觀目標(biāo))，另一種是關(guān)于兒童社會(huì)交流技巧的發(fā)展變化和把這些技巧推廣運(yùn)用到新場(chǎng)景的能力(宏觀目標(biāo))。基于微觀的學(xué)習(xí)成果由面向任務(wù)的方法來評(píng)定，它與每個(gè)獨(dú)立的學(xué)習(xí)目標(biāo)和相應(yīng)的學(xué)習(xí)活動(dòng)相關(guān)。例如評(píng)估與共同注意和對(duì)他人的信念和愿望推理這一學(xué)習(xí)目標(biāo)相關(guān)的學(xué)習(xí)成果，申請(qǐng)人利用視覺跟蹤技術(shù)來檢測(cè)兒童視線是否成功跟隨他人的社會(huì)線索和根據(jù)兒童響應(yīng)的快慢來評(píng)定。
從宏觀上，結(jié)合社■^交、流1、0]卷(social communication questionnaire, SCQ^^, 反應(yīng)量表(social responsiveness scale, SRS 及心理教育量表修訂版(psycho-educatio nalprofile-revised,PEP-R)與定性測(cè)評(píng)來評(píng)定兒童社會(huì)交流技巧的發(fā)展變化和把這些技巧推廣運(yùn)用到新場(chǎng)景的能力。在整個(gè)研究過程中申請(qǐng)人通過半年時(shí)間跟蹤5名兒童在此學(xué)習(xí)環(huán)境中的發(fā)展變化，發(fā)現(xiàn)其中3名兒童的社會(huì)互動(dòng)能力有了明顯提高，另外兩名兒童的互動(dòng)能力也有一定地進(jìn)步，例如，在剛開始使用此學(xué)習(xí)系統(tǒng)時(shí)，兒童需要輔導(dǎo)人員提示去完成任務(wù)，在訓(xùn)練過程中，輔導(dǎo)人員提示次數(shù)逐漸減少，最后兒童能獨(dú)立正確地完成任務(wù)，并能在不同的場(chǎng)景下運(yùn)用所學(xué)到的技巧。
權(quán)利要求
1.一種提髙孤獨(dú)癥兒童社會(huì)互動(dòng)能力的人機(jī)互動(dòng)多模態(tài)早期干預(yù)系統(tǒng)，特征在于該系統(tǒng)包括一臺(tái)多點(diǎn)觸摸屏(1)，第1攝像頭0-1)，第2攝像頭0-2)，第3攝像頭0-3)，計(jì)算機(jī)(3)，第1攝像頭、第3攝像頭和第2攝像頭分別安裝在多點(diǎn)觸摸屏的左邊、右邊以及中上方，3個(gè)攝像頭帶麥克風(fēng)通過USB接口與計(jì)算機(jī)相連，系統(tǒng)設(shè)置有視覺信號(hào)處理、語音信號(hào)處理、物理交互界面、多模態(tài)融合、智能控制臺(tái)和真實(shí)場(chǎng)景模擬六個(gè)基本模塊，攝像頭將獲取的兒童的視頻及音頻信號(hào)傳輸給計(jì)算機(jī)，計(jì)算機(jī)通過視覺信號(hào)處理來檢測(cè)兒童的注意力和表情，通過語音信號(hào)處理辨別兒童的聲音，觸摸屏捕捉兒童的動(dòng)作，多模態(tài)信息融合模塊把檢測(cè)到的兒童的注意力、表情、聲音和手勢(shì)動(dòng)作信號(hào)融合產(chǎn)生兒童的學(xué)習(xí)狀態(tài)，然后反饋給智能控制臺(tái)，智能控制臺(tái)根據(jù)設(shè)計(jì)的學(xué)習(xí)活動(dòng)內(nèi)容產(chǎn)生兒童與虛擬動(dòng)畫人物( 之間基于游戲的互動(dòng)，真實(shí)場(chǎng)景模擬根據(jù)多模態(tài)信息融合模塊與智能控制臺(tái)發(fā)出的指令顯示不同的虛擬場(chǎng)景(4)和輸出各種聲音。
2.如權(quán)利要求1所述的提髙孤獨(dú)癥兒童社會(huì)互動(dòng)能力的人機(jī)互動(dòng)多模態(tài)早期干預(yù)系統(tǒng)，其特征在于所述的第1攝像頭(2-1)和第3攝像頭(2- 選用LogitechQuickcam攝像頭，第2攝像頭(2- 選用Mironu Webcam攝像頭。
3.如權(quán)利要求1所述的提髙孤獨(dú)癥兒童社會(huì)互動(dòng)能力的人機(jī)互動(dòng)多模態(tài)早期干預(yù)系統(tǒng)，其特征在于所述的多點(diǎn)觸摸屏(1)尺寸為42寸觸摸屏。
4.如權(quán)利要求1所述的提髙孤獨(dú)癥兒童社會(huì)互動(dòng)能力的人機(jī)互動(dòng)多模態(tài)早期干預(yù)系統(tǒng)，其特征在于所述的視覺信號(hào)處理模塊，采用C++編程語言實(shí)現(xiàn)基于特征點(diǎn)方法的兒童注意力檢測(cè)，以及基于稀疏表示表情識(shí)別方法的兒童心理狀態(tài)估計(jì)。
5.如權(quán)利要求1所述的提髙孤獨(dú)癥兒童社會(huì)互動(dòng)能力的人機(jī)互動(dòng)多模態(tài)早期干預(yù)系統(tǒng)，其特征在于所述的語音信號(hào)處理模塊，分析兒童語音信號(hào)中的語調(diào)頻率和共振峰頻率參數(shù)，采用C++編程語言實(shí)現(xiàn)基于隱馬爾科夫模型的兒童語音識(shí)別算法。
6.如權(quán)利要求1所述的提髙孤獨(dú)癥兒童社會(huì)互動(dòng)能力的人機(jī)多模態(tài)早期干預(yù)系統(tǒng)，其特征在于所述的物理交互界面采用基于PQLabs的Java編程語言檢測(cè)兒童在虛擬環(huán)境中觸摸的準(zhǔn)確位置。
7.如權(quán)利要求1所述的提髙孤獨(dú)癥兒童社會(huì)互動(dòng)能力的人機(jī)互動(dòng)多模態(tài)早期干預(yù)系統(tǒng)，其特征在于所述的多模態(tài)融合模塊是基于hternet CommunicationsEngine中間件的平臺(tái)。
8.如權(quán)利要求1所述的提髙孤獨(dú)癥兒童社會(huì)互動(dòng)能力的人機(jī)互動(dòng)多模態(tài)早期干預(yù)系統(tǒng)，其特征在于所述的智能控制臺(tái)模塊是基于FAtiMA結(jié)構(gòu)，采用Java編程語言實(shí)現(xiàn)。
9.如權(quán)利要求1所述的提髙孤獨(dú)癥兒童社會(huì)互動(dòng)能力的人機(jī)互動(dòng)多模態(tài)早期干預(yù)系統(tǒng)，其特征在于所述的真實(shí)場(chǎng)景模擬模塊采用Maya動(dòng)畫技術(shù)和SuperCollider聲音輸出軟件工具。
全文摘要
一種提髙孤獨(dú)癥兒童社會(huì)互動(dòng)能力的人機(jī)互動(dòng)多模態(tài)早期干預(yù)系統(tǒng)。該系統(tǒng)包括一臺(tái)多點(diǎn)觸摸屏，一臺(tái)計(jì)算機(jī)和三臺(tái)分別安裝在觸摸屏左邊、右邊以及中上方的攝像頭，攝像頭帶麥克風(fēng)通過USB接口與計(jì)算機(jī)相連，系統(tǒng)設(shè)有視覺信號(hào)處理、語音信號(hào)處理、物理交互界面、多模態(tài)融合、智能控制臺(tái)和真實(shí)場(chǎng)景模擬六個(gè)基本模塊，其融合計(jì)算機(jī)視覺，語音識(shí)別，行為識(shí)別，智能體和虛擬現(xiàn)實(shí)技術(shù)來支持提高孤獨(dú)癥兒童的社會(huì)互動(dòng)能力。通過半年時(shí)間跟蹤數(shù)名兒童在此學(xué)習(xí)環(huán)境中的發(fā)展變化，其中多數(shù)兒童的社會(huì)互動(dòng)能力有了明顯提高，另外兒童的互動(dòng)能力也有一定地進(jìn)步。
文檔編號(hào)G06F19/00GK102354349SQ20111032841
公開日2012年2月15日 申請(qǐng)日期2011年10月26日 優(yōu)先權(quán)日2011年10月26日
發(fā)明者楊宗凱, 陳丹, 陳靚影 申請(qǐng)人:華中師范大學(xué)