一種基于手勢(shì)和語(yǔ)音識(shí)別的機(jī)器人人機(jī)交互方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于人機(jī)交互和機(jī)器人技術(shù)領(lǐng)域，具體涉及一種基于手勢(shì)識(shí)別和語(yǔ)音識(shí)別的機(jī)器人人機(jī)交互方法及裝置。
【背景技術(shù)】
[0002]我國(guó)正邁入老齡化社會(huì)，老年人需要照顧，而青壯年需要工作來(lái)維持生計(jì)，無(wú)暇照顧老人。機(jī)器人可以充當(dāng)部分勞動(dòng)力，如助老幼病殘?jiān)械取Ｔ诖诉^(guò)程中，良好的人機(jī)交互起重要作用。
[0003]人機(jī)交互根據(jù)不同的研究領(lǐng)域，通常有三種不同描述(參見(jiàn)參考文獻(xiàn)[l]:ArvinAgah,Human interact1ns with intelligent systems:research taxonomy,Computersand Electrical Engineering，27，2001，pp71_107)。從廣義來(lái)說(shuō)，人機(jī)交互指人類(lèi)與機(jī)器間的交互(human-machine interact1ns，簡(jiǎn)稱ΗΜΙ)；從計(jì)算機(jī)領(lǐng)域來(lái)說(shuō)，人機(jī)交互指人類(lèi)與計(jì)算機(jī)系統(tǒng)間的交互(human-computer interact1n，簡(jiǎn)稱HCI)；從機(jī)器人領(lǐng)域來(lái)說(shuō)，人機(jī)交互指人類(lèi)與機(jī)器人間的交互(human-robot interact1n，簡(jiǎn)稱HRI)。人機(jī)交互依據(jù)研究對(duì)象的不同，可分為這三種不同描述。三者互相關(guān)聯(lián)，計(jì)算機(jī)和機(jī)器人都是一種特殊機(jī)器，所以，可認(rèn)為HMI包含HCI和HRI ；機(jī)器人的核心通常是特定的計(jì)算機(jī)系統(tǒng)，HRI可以使用HCI的方法，也可以獨(dú)立于HCI。
[0004]參見(jiàn)參考文獻(xiàn)[2]:龔杰民，王獻(xiàn)青，人機(jī)交互技術(shù)的進(jìn)展與發(fā)展趨向.西安電子科技大學(xué)學(xué)報(bào)，1998,25(6): 782-786;參考文獻(xiàn)[3]:柳克俊，關(guān)于人機(jī)交互，人機(jī)和諧環(huán)境的思考.計(jì)算機(jī)應(yīng)用，2005,25(10):2226-2227.人機(jī)交互經(jīng)歷了初級(jí)人機(jī)交互階段、單通道人機(jī)交互階段，現(xiàn)在正向兩種或兩種以上通道結(jié)合的方向發(fā)展初級(jí)人機(jī)交互通常使用簡(jiǎn)單的遙控器等特定設(shè)備實(shí)現(xiàn)人機(jī)對(duì)話，一般為單向，很少有機(jī)器人對(duì)人的反饋，通常需要人配合機(jī)器人才能完成特定任務(wù);單通道人機(jī)交互使用單一方式交互技術(shù)，如語(yǔ)音、手勢(shì)、觸覺(jué)、目艮部動(dòng)作等(參見(jiàn)參考文獻(xiàn)[4]:Potamianos,G.,Neti ,C.,Luett J.,et al.,Aud1-VisualAutomatic Speech Recognit1n: An Overview.1ssues in Visual and Aud1-VisualSpeech Processing，2004，356-396.參考文獻(xiàn)[5]:Pavlovic , V.1., Sharma，R.，Huang,T.S.,Visual Interpretat1n of Hand Gestures for Human-Computer Interact1n:AReview.1EEE Transact1ns on Pattern Analysis and Machine Intelligence,1997,19(7):677-695.參考文獻(xiàn)[6]: Benal 1-Khoud ja，Μ.,Hafez ,M., Alexandre , J.M.,et al.,Tactile Interfaces: A State-of-the-Art Survey，Citeseer，2004.參考文獻(xiàn)[7]:Grauman,K.,Betke,M.,Lombardi ,J.,et al.，Communicat1n Via Eye Blinks andEyebrow Raises:Video-Based Human-Computer Interfaces.Universal Access in theInformat1n Society,2003,2(4):359-373.)，這種方式有利于自然人機(jī)交互的發(fā)展，但各個(gè)通道都有自己的優(yōu)勢(shì)和缺點(diǎn)，有一定的局限性。為了取長(zhǎng)補(bǔ)短，更好利用各通道信息，兩種或兩種以上通道相結(jié)合成為人機(jī)交互發(fā)展的趨勢(shì)。
[0005]如，語(yǔ)音和手勢(shì)作為日常交互的常用通道，但語(yǔ)音識(shí)別，如IBM公司的IBMViaVoice，微軟的Microsoft Speech SDK,卡內(nèi)基梅隆大學(xué)的CMU PocketSphinx等，識(shí)別率在一定程度上受說(shuō)話者方言、語(yǔ)音、語(yǔ)調(diào)、周?chē)h(huán)境等的影響;基于視覺(jué)的手勢(shì)識(shí)別無(wú)需專門(mén)訓(xùn)練用戶，也不需佩戴專用設(shè)備，具有直觀、信息量大、自然友好的特點(diǎn)，符合自然的人機(jī)交互的要求，是多方式人機(jī)交互的核心技術(shù)之一，但容易受光照、復(fù)雜背景、部分遮擋等的影響。靜態(tài)手勢(shì)是常用的一種信息表達(dá)方式，且有多種表達(dá)形式，但在手勢(shì)分割和識(shí)別過(guò)程中需分辨率較高的照片，當(dāng)人手離攝像頭較遠(yuǎn)時(shí)，采集到的人手區(qū)域照片的分辨率影響識(shí)別效果。
[0006]六足腿/臂復(fù)合式移動(dòng)機(jī)器人可用于空間站、核電站、劇毒生化車(chē)間作業(yè)、危險(xiǎn)品處理以及公共安全防暴等領(lǐng)域，也可用于家庭、醫(yī)療服務(wù)等領(lǐng)域。六足腿/臂復(fù)合式移動(dòng)機(jī)器人不僅可用于遠(yuǎn)程控制，還可用于與機(jī)器人面對(duì)面直接交互，如，六足腿/臂復(fù)合式移動(dòng)機(jī)器人進(jìn)行救援時(shí)，不僅可以遠(yuǎn)程控制機(jī)器人救援，還可在災(zāi)后現(xiàn)場(chǎng)，與機(jī)器人面對(duì)面直接交互，良好的人機(jī)交互有助于機(jī)器人更好協(xié)助用戶完成救援任務(wù)。
[0007]六足腿/臂復(fù)合式移動(dòng)機(jī)器人還可用于醫(yī)療、家庭服務(wù)等領(lǐng)域，如，幫助老幼病殘?jiān)?陪兒童玩耍;幫老人、病人、殘障人士、孕婦拿藥，撿掉在地上的東西；當(dāng)老人、病人、殘障人士、孕婦摔倒，或身體健康的普通人在發(fā)生緊急情況時(shí)，如被搶劫，用手勢(shì)或語(yǔ)音求救，系統(tǒng)便會(huì)以短信、彩信等方式及時(shí)通知家人，以便及時(shí)采取恰當(dāng)措施。

【發(fā)明內(nèi)容】

[0008]本發(fā)明的目的在于提供一種基于手勢(shì)和語(yǔ)音識(shí)別的機(jī)器人人機(jī)交互方法和裝置，將手勢(shì)和語(yǔ)音兩個(gè)通道結(jié)合起來(lái)，克服單一通道的不足，更好控制機(jī)器人。本發(fā)明可用于遠(yuǎn)程控制機(jī)器人，讓機(jī)器人代替人類(lèi)在空間站、核電站、劇毒生化車(chē)間作業(yè)、危險(xiǎn)品處理、核電站、劇毒生化車(chē)間作業(yè)等領(lǐng)域作業(yè)，也可進(jìn)行人與機(jī)器人的面對(duì)面直接交互，用于醫(yī)療、家庭服務(wù)等領(lǐng)域。
[0009]本發(fā)明提供的裝置上安裝環(huán)境檢測(cè)傳感器，可監(jiān)測(cè)環(huán)境，在發(fā)生火災(zāi)、CH4含量超標(biāo)或C0含量超標(biāo)情況下，系統(tǒng)以語(yǔ)音信息、短信、彩信等方式及時(shí)通知預(yù)定義的特定人。其中，彩信是攝像頭在異常情況發(fā)生時(shí)拍攝的現(xiàn)場(chǎng)照片。
[0010]本發(fā)明所指的人機(jī)交互是人(用戶)與機(jī)器人間的交互(HRI)。
[0011]本發(fā)明首先提供一種基于手勢(shì)和語(yǔ)音識(shí)別的機(jī)器人人機(jī)交互方法，所述方法包括如下步驟:
[0012]第一步，判斷是否有交互對(duì)象，如果有交互對(duì)象，則開(kāi)啟交互模式，轉(zhuǎn)第二步;如果沒(méi)有交互對(duì)象，機(jī)器人開(kāi)啟檢測(cè)模式；
[0013]第二步，信息輸入:手勢(shì)識(shí)別模塊和語(yǔ)音識(shí)別模塊實(shí)時(shí)進(jìn)行信息采集，如果采集到信息，則執(zhí)行第三步，否則執(zhí)行第五步；
[0014]第三步，手勢(shì)識(shí)別模塊通過(guò)RGB-D攝像頭采集深度圖像信息和RGB圖像信息，進(jìn)行預(yù)定義手勢(shì)的識(shí)別，并將手勢(shì)識(shí)別結(jié)果發(fā)送至信息融合模塊;與此同時(shí)，語(yǔ)音識(shí)別模塊通過(guò)RGB-D攝像頭內(nèi)置麥克采集音頻信息，通過(guò)語(yǔ)音識(shí)別軟件轉(zhuǎn)換為特定文本信息作為語(yǔ)音識(shí)別結(jié)果，并將語(yǔ)音識(shí)別結(jié)果發(fā)送至信息融合模塊;信息融合模塊將語(yǔ)音識(shí)別結(jié)果和手勢(shì)識(shí)別結(jié)果從語(yǔ)義層進(jìn)行信息融合，得到最終融合結(jié)果；
[0015]第四步，執(zhí)行與反饋，根據(jù)信息融合模塊的最終融合結(jié)果發(fā)出相應(yīng)指令；
[0016]如果最終融合結(jié)果是控制信息，則發(fā)出相應(yīng)控制指令給機(jī)器人控制模塊，控制機(jī)器人運(yùn)動(dòng);如果最終融合結(jié)果是應(yīng)急信息，則發(fā)應(yīng)急信息給信息確認(rèn)模塊，信息確認(rèn)模塊通過(guò)語(yǔ)音形式廣播給用戶，詢問(wèn)用戶是否要執(zhí)行，得到肯定答復(fù)或在設(shè)定時(shí)間內(nèi)沒(méi)有應(yīng)答，則信息確認(rèn)模塊發(fā)送應(yīng)急信息給應(yīng)急求救模塊，轉(zhuǎn)第六步。
[0017]第五步，若手勢(shì)識(shí)別模塊和語(yǔ)音識(shí)別模塊在設(shè)定時(shí)間內(nèi)沒(méi)有信息輸入，并且這種狀況持續(xù)一定時(shí)間后，信息融合模塊