本發(fā)明涉及自動控制領(lǐng)域,特別是涉及一種兒童娛教監(jiān)護機器人及其人體目標(biāo)跟蹤算法。
背景技術(shù):
機器人技術(shù)涉及學(xué)科廣泛,包括機械、電子、控制、計算機、傳感器技術(shù)等多個學(xué)科,集成了多學(xué)科研究的成果,因此機器人的發(fā)展與上述學(xué)科發(fā)展密切相關(guān)。隨著人們對服務(wù)機器人的需求越來越大,其應(yīng)用范圍也越來越廣闊,服務(wù)機器人正朝著標(biāo)準(zhǔn)化、模塊化、智能化和市場化方向發(fā)展。
服務(wù)機器人技術(shù)不僅是國家未來空間、水下與地下資源勘探、武器裝備制高點的技術(shù)較量,而且將成為國家之間高技術(shù)激烈競爭的戰(zhàn)略性新興產(chǎn)業(yè)。不僅是未來先進(jìn)制造業(yè)與現(xiàn)代服務(wù)業(yè)的重要組成部分,而且將成為世界高科技產(chǎn)業(yè)發(fā)展的一次重大機遇。微軟公司董事會主席比爾·蓋茨曾預(yù)言,個人服務(wù)機器人將重復(fù)個人計算機產(chǎn)業(yè)崛起的道路,成為我們?nèi)粘I畹囊徊糠?。隨著社會和經(jīng)濟的高速發(fā)展,人們的生活和工作節(jié)奏越來越快,上班族面臨越來越大的工作壓力,沒有更多時間照顧自己的孩子,迫切需要從繁雜的家庭勞動中解脫出來;同時,隨著我國人口老齡化階段的到來,更多的老人也需要照顧,社會保障和服務(wù)的需求也更加緊迫,隨之醞釀而生的將是廣大的家庭服務(wù)機器人市場,各種服務(wù)型機器人尤其是家庭護理機器人、玩具機器人、清潔機器人等都將是最為需要的。
家用服務(wù)機器人可能朝著兩個方向發(fā)展,一種是代替人類完成特定家務(wù)勞動的服務(wù)機器人,比如清掃機器人、烹飪機器人等;另一種則可以稱作多功能的互動娛樂機器人,既能夠與需要我們關(guān)懷而又得不到足夠照顧的群體進(jìn)行一定程度的互動娛樂與教育,豐富其日常生活,又能夠適當(dāng)照料他們,將其信息實時反饋給家人和其他家用設(shè)備。
機器人研究相對先進(jìn)的國家,例如加拿大、日本和意大利,實用型家庭服務(wù)機器人研究大多是企業(yè)和科研院所共同承擔(dān)的,將研究、產(chǎn)業(yè)發(fā)展和市場需求非常好地結(jié)合起來,使研究服務(wù)于企業(yè),企業(yè)促使研究發(fā)展,形成了一個良性循環(huán)。因此這些國家的家庭服務(wù)器人已經(jīng)取得了較好的研究成果。
2008年加拿大推出了完美機器人妻子aiko,該女性機器人一頭秀發(fā)、五官精致,能簡單從事清潔和家務(wù)工作、善于數(shù)學(xué)計算、可以識別多個家庭成員、能夠朗讀報紙、為他人指引方向等。
2010年5月,日本fujitsu(富士通)公司推出了一款家用醫(yī)療康復(fù)機器人泰迪熊,該機器人能夠識別人臉面部表情,并做出反應(yīng)。在泰迪熊的身體周圍大概有13種不同感應(yīng)器來感應(yīng)人類的觸碰,包括雙手、一個內(nèi)部傾斜傳感器、一個麥克風(fēng)和一個裝在熊鼻子上的攝像頭。通過這些裝置能讓泰迪熊收集它周圍環(huán)境和它的使用者情緒的信息,并找到適當(dāng)?shù)姆绞胶褪褂谜呋印?/p>
我國家庭服務(wù)機器人的研究目前主要集中于各個大學(xué)、研究院所,雖然與國外家庭服務(wù)機器人的發(fā)展水平還有一定的差距,但廣闊的應(yīng)用前景還是吸引著越來越多的人投入到家庭服務(wù)機器人技術(shù)的研究中來。目前,國內(nèi)主要有清華大學(xué)、哈爾濱工業(yè)大學(xué)、上海交通大學(xué)、中國科學(xué)技術(shù)大學(xué)、中國科學(xué)院等高校及科研機構(gòu)對這一領(lǐng)域進(jìn)行了比較深入的研究。與此同時,大量這方面的文章發(fā)表在aaai(americanassociationforainationalconference)、nips(neuralinformationprocessingsystems)等重要的國際會議上。
2009年11月,中國科沃斯電器有限公司(ecovacselectricalofchina)推出了清潔機器人“地寶”deepoo?!暗貙殹蹦軐Φ孛孢M(jìn)行自動清潔,電用完后能自動回到充電座充電,可以每天預(yù)約時間清潔,而且地面清潔的效果較好,能夠完全將地面的浮灰清潔干凈,不再需要用拖布進(jìn)行“二次加工”。
但是現(xiàn)在還沒有一種能夠陪伴孩子而且能夠很好的對孩子的環(huán)境進(jìn)行監(jiān)測,同時能對孩子進(jìn)行交易的機器人。
技術(shù)實現(xiàn)要素:
本發(fā)明提供一種兒童娛教監(jiān)護機器人及其人體目標(biāo)跟蹤算法,用于陪伴獨處的孩子,同時能對孩子所處環(huán)境進(jìn)行安全監(jiān)控。該機器人具有語音互動和觸摸屏互動功能,并且利用傳感器和gsm模塊對室內(nèi)火災(zāi)和燃?xì)庑孤┑劝踩h(huán)境進(jìn)行監(jiān)控;可實現(xiàn)教育、娛樂、陪同及監(jiān)護功能為一體,使兒童在輕松安全的環(huán)境中學(xué)習(xí)和成長,激發(fā)兒童的求知欲望。
本發(fā)明通過以下技術(shù)方案解決上述問題:
一種兒童娛教監(jiān)護機器人,包括機器人殼體以及設(shè)置在機器人殼體內(nèi)部的機器人系統(tǒng),其中,機器人系統(tǒng)包括觸摸屏顯示模塊、語音處理模塊、人體目標(biāo)跟蹤模塊、上位機、串口通信模塊和下位機裝置;
所述觸摸屏顯示模塊、語音處理模塊和人體目標(biāo)跟蹤模塊均與上位機連接;觸摸屏顯示模塊檢測用戶觸摸觸摸屏的坐標(biāo)位置傳給上位機和顯示上位機傳來的數(shù)據(jù);語音處理模塊錄入用戶語音傳給上位機和播報上位機傳出的語音數(shù)據(jù);人體目標(biāo)跟蹤模塊實現(xiàn)人體目標(biāo)的跟蹤融合深度信息和色彩信息的人體目標(biāo)跟蹤;
所述上位機經(jīng)串口通信模塊與下位機裝置連接;上位機通過串口通信模塊與下位機裝置信息通信控制機器人動作;
所述下位機裝置包括數(shù)字信號處理器、傳感器模塊、gsm模塊和機械臂模塊;傳感器模塊、gsm模塊和機械臂模塊均與數(shù)字信號處理器連接;傳感器模塊通過檢測機器人環(huán)境數(shù)據(jù)經(jīng)過數(shù)字信號處理器傳給上位機;gsm模塊通過無線實現(xiàn)用戶遠(yuǎn)程監(jiān)控機器人;機械臂模塊接收數(shù)字信號處理器傳來的數(shù)據(jù)控制機器人動作。
上述方案中,優(yōu)選的是觸摸屏顯示模塊包括紅外觸摸屏和顯示器,紅外觸摸屏包括紅外發(fā)生管、若干個位移鎖存器、微處理控制器、a/d轉(zhuǎn)換器、若干個放大器和紅外接收管;微處理控制器經(jīng)若干個位移鎖存器與紅外發(fā)生管連接;紅外接收管經(jīng)若干個放大器和a/d轉(zhuǎn)換器與微處理控制器連接。
上述方案中,優(yōu)選的是語音處理模塊包括麥克風(fēng)陣列、語音識別電路、語音合成電路和音響;麥克風(fēng)陣列經(jīng)語音識別電路與上位機連接;上位機經(jīng)語音合成電路與音響連接。
上述方案中,優(yōu)選的是人體目標(biāo)跟蹤模塊包括攝像頭和人體目標(biāo)檢測與跟蹤電路;攝像頭經(jīng)人體目標(biāo)檢測與跟蹤電路與上位機連接;所述攝像頭為kinect攝像頭。
上述方案中,優(yōu)選的是傳感器模塊包括煙霧傳感器和氣體傳感,煙霧傳感器實時檢測機器人所處的環(huán)境是否出現(xiàn)煙霧,并把檢測數(shù)據(jù)傳給數(shù)字信號處理器;氣體傳感檢測空氣的成份數(shù)據(jù)傳給數(shù)字信號處理器進(jìn)行識別處理。
上述方案中,優(yōu)選的是機械臂模塊包括驅(qū)動模塊、直流模塊、舵機和電機編碼器;驅(qū)動模塊和直流模塊控制舵機工作,電機編碼器采集舵機狀態(tài)編碼傳給數(shù)字信號處理器。
上述方案中,優(yōu)選的是舵機包括肩關(guān)節(jié)舵機、肘關(guān)節(jié)舵機和腕關(guān)節(jié)舵機;所述關(guān)節(jié)舵機、肘關(guān)節(jié)舵機和腕關(guān)節(jié)舵機的控制端均與數(shù)字信號處理器連接。
基于上述的一種兒童娛教監(jiān)護機器人的人體目標(biāo)跟蹤算法,包括如下步驟:
步驟1:通過kinect攝像頭獲取人體目標(biāo)的色彩信息和深度信息,并建立三維空間目標(biāo)模型;
步驟2:把采集的人體目標(biāo)的色彩信息和深度信息通過camshift算法拓展到三維空間目標(biāo)模型中;
步驟3:在三維空間目標(biāo)模型中融合人體目標(biāo)的深度信息,并利用kalman濾波器預(yù)測目標(biāo)的位置信息;
步驟4:通過對預(yù)測目標(biāo)的位置信息進(jìn)行計算初步鎖定窗口的質(zhì)心;
步驟5:通過調(diào)整窗口大小和/或移動窗口中心來確定質(zhì)心的具體位置;
步驟6:計算質(zhì)心的位置區(qū)域是否收斂,當(dāng)不收斂時,返回步驟4,當(dāng)收斂時,輸出質(zhì)心的位置和目標(biāo)方向,并且質(zhì)心的位置作為下一次目標(biāo)鎖定的初始窗口;
步驟7:在深度圖像中計算人體目標(biāo)的質(zhì)心,對人體進(jìn)行跟蹤。
本發(fā)明的優(yōu)點與效果是:
1、本發(fā)明設(shè)置為一種集教育、娛樂、陪同及監(jiān)護功能為一體的兒童娛教監(jiān)護機器人,陪伴獨處的孩子,同時能對孩子所處環(huán)境進(jìn)行安全監(jiān)控,該機器人具有語音互動和觸摸屏互動功能,并且利用傳感器和gsm模塊對室內(nèi)火災(zāi)和燃?xì)庑孤┑劝踩h(huán)境進(jìn)行監(jiān)控;可實現(xiàn)教育、娛樂、陪同及監(jiān)護功能為一體,使兒童在輕松安全的環(huán)境中學(xué)習(xí)和成長,激發(fā)兒童的求知欲望。
2、本發(fā)明通過使用紅外觸摸屏從而可以更好的準(zhǔn)確的檢測孩子對機器人的觸碰點,同時也更好的避免了孩子觸碰過程外其他的敲擊引起的觸摸屏的損壞,使得機器人的觸摸屏使用壽命更長久。
3、本發(fā)明通過kinect攝像頭使用對人體目標(biāo)進(jìn)行感應(yīng)跟蹤,并通過自主研發(fā)的人體目標(biāo)跟蹤算法對人體目標(biāo)進(jìn)行數(shù)據(jù)處理從而可以更好的準(zhǔn)確定位人體目標(biāo),提高及其人的智能性。
附圖說明
圖1為本發(fā)明結(jié)構(gòu)框圖;
圖2為本發(fā)明紅外觸摸屏控制原理圖;
圖3為本發(fā)明報警及gsm通信模塊數(shù)據(jù)傳輸示意圖;
圖4為本發(fā)明人體目標(biāo)跟蹤算法流程圖。
具體實施方式
以下結(jié)合實施例對本發(fā)明作進(jìn)一步說明。
一種兒童娛教監(jiān)護機器人,如圖1所示,包括機器人殼體以及設(shè)置在機器人殼體內(nèi)部的機器人系統(tǒng),機器人殼體設(shè)置為機器人模型,機器人殼體使用塑料材料制成或金屬材料制成。機器人系統(tǒng)包括觸摸屏顯示模塊、語音處理模塊、人體目標(biāo)跟蹤模塊、上位機、串口通信模塊和下位機裝置。機器人系統(tǒng)為整個機器人的核心,也是機器人的數(shù)據(jù)處理中心。采用kinect融合圖像深度和色彩信息,實現(xiàn)了目標(biāo)檢測和跟蹤,通過控制舵機的轉(zhuǎn)動實現(xiàn)機械臂的控制,采用煙霧傳感器和氣體傳感器對室內(nèi)環(huán)境進(jìn)行安全監(jiān)控,當(dāng)有異常情況時,通過gsm模塊對主人發(fā)送短信。
觸摸屏顯示模塊、語音處理模塊和人體目標(biāo)跟蹤模塊均通過串口與上位機連接。觸摸屏顯示模塊檢測用戶觸摸觸摸屏的坐標(biāo)位置傳給上位機和顯示上位機傳來的數(shù)據(jù)。語音處理模塊錄入用戶語音傳給上位機和播報上位機傳出的語音數(shù)據(jù)。人體目標(biāo)跟蹤模塊實現(xiàn)人體目標(biāo)的跟蹤融合深度信息和色彩信息的人體目標(biāo)跟蹤。觸摸屏顯示模塊、語音處理模塊和人體目標(biāo)跟蹤模塊主要實現(xiàn)了機器人與人之間的信息的交互和信息采集等功能。
如圖2所示,觸摸屏顯示模塊包括紅外觸摸屏和顯示器,紅外觸摸屏包括紅外發(fā)生管、若干個位移鎖存器、微處理控制器、a/d轉(zhuǎn)換器、若干個放大器和紅外接收管。微處理控制器經(jīng)若干個位移鎖存器與紅外發(fā)生管連接。紅外接收管經(jīng)若干個放大器和a/d轉(zhuǎn)換器與微處理控制器連接。將觸摸屏作為機器人的頭部。啟動機器人后,觸摸屏即顯示教學(xué)內(nèi)容選擇界面,當(dāng)用戶用手指或其它物體觸摸觸摸屏?xí)r,所觸摸的位置以坐標(biāo)形式由觸摸屏控制器檢測,并通過usb串口通信傳送到上位機,從而確定輸入的信息,進(jìn)而根據(jù)觸摸選擇內(nèi)容顯示教材。如:兒童可通過觸摸屏顯示選擇古詩、兒歌、英語單詞等進(jìn)行學(xué)習(xí),也可讓機器人朗讀古詩、唱兒歌和講故事。
人體目標(biāo)跟蹤模塊包括攝像頭和人體目標(biāo)檢測與跟蹤電路。攝像頭經(jīng)人體目標(biāo)檢測與跟蹤電路與上位機連接。攝像頭為kinect攝像頭。kinect攝像頭采集人體目標(biāo)信息,由人體目標(biāo)檢測與跟蹤電路進(jìn)行處理,并把處理的信息傳給上位機。
語音處理模塊包括麥克風(fēng)陣列、語音識別電路、語音合成電路和音響;麥克風(fēng)陣列經(jīng)語音識別電路與上位機連接;上位機經(jīng)語音合成電路與音響連接。語音處理模塊實現(xiàn)用戶與機器人的語音交互,更好實現(xiàn)人與機器人的語音溝通和交流。
上位機經(jīng)串口通信模塊與下位機裝置連接;上位機通過串口通信模塊與下位機裝置信息通信控制機器人動作。上位機為計算機或其他的設(shè)備處理系統(tǒng),計算機上安裝有數(shù)據(jù)處理系統(tǒng),機器人的數(shù)據(jù)經(jīng)過計算機進(jìn)行處理可以大大的提高數(shù)據(jù)處理的效率。
下位機裝置包括數(shù)字信號處理器、傳感器模塊、gsm模塊和機械臂模塊;傳感器模塊、gsm模塊和機械臂模塊均與數(shù)字信號處理器連接。傳感器模塊通過檢測機器人環(huán)境數(shù)據(jù)經(jīng)過數(shù)字信號處理器傳給上位機。gsm模塊通過無線實現(xiàn)用戶遠(yuǎn)程監(jiān)控機器人。機械臂模塊接收數(shù)字信號處理器傳來的數(shù)據(jù)控制機器人動作。下位機裝置主要是控制機器人的動作和環(huán)境數(shù)據(jù)的采集并通過無線與機器人主人的遠(yuǎn)程無線設(shè)備進(jìn)行無線通信,完成遠(yuǎn)程對機器人進(jìn)行監(jiān)控。
如圖3所示,傳感器模塊包括煙霧傳感器和氣體傳感,煙霧傳感器實時檢測機器人所處的環(huán)境是否出現(xiàn)煙霧,并把檢測數(shù)據(jù)傳給數(shù)字信號處理器;氣體傳感檢測空氣的成份數(shù)據(jù)傳給數(shù)字信號處理器進(jìn)行識別處理。采用煙霧傳感器mq-2和氣體傳感器mq-4對室內(nèi)的火災(zāi)和燃?xì)庑孤┻M(jìn)行檢測,當(dāng)煙霧的濃度和可燃?xì)怏w濃度達(dá)到所設(shè)置的臨界值,將會發(fā)送信號,dsp通過gsm模塊給主人發(fā)送信息,從而進(jìn)行處理。也就是說,通過dsp與gsm模塊的sci(異步通信傳輸),可實現(xiàn)兩者的數(shù)據(jù)傳輸,當(dāng)傳感器檢測到異常情況時,通過at命令控制gsm模塊給主人發(fā)送短信,主人從而可進(jìn)行及時處理。
機械臂模塊包括驅(qū)動模塊、直流模塊、舵機和電機編碼器;驅(qū)動模塊和直流模塊控制舵機工作,電機編碼器采集舵機狀態(tài)編碼傳給數(shù)字信號處理器。舵機包括肩關(guān)節(jié)舵機、肘關(guān)節(jié)舵機和腕關(guān)節(jié)舵機;所述關(guān)節(jié)舵機、肘關(guān)節(jié)舵機和腕關(guān)節(jié)舵機的控制端均與數(shù)字信號處理器連接。驅(qū)動模塊接收數(shù)字信號處理器傳入的指令,根據(jù)指令控制肩關(guān)節(jié)舵機、肘關(guān)節(jié)舵機和腕關(guān)節(jié)舵機做出動作。電機編碼器采集肩關(guān)節(jié)舵機、肘關(guān)節(jié)舵機和腕關(guān)節(jié)舵機的狀態(tài),并通過編碼處理后傳給數(shù)字信號處理器,實現(xiàn)閉環(huán)控制。
如圖4所示,基于一種兒童娛教監(jiān)護機器人的人體目標(biāo)跟蹤算法,包括如下步驟:
步驟1:通過kinect攝像頭獲取人體目標(biāo)的色彩信息和深度信息,并建立三維空間目標(biāo)模型。kinect攝像頭通過kinect傳感器感應(yīng)人體目標(biāo),在調(diào)控攝像頭對人體圖像進(jìn)行采集。三維空間目標(biāo)模型為立體視覺模型,通x軸、y軸和z軸建立起來。
步驟2:把采集的人體目標(biāo)的色彩信息和深度信息通過camshift算法拓展到三維空間目標(biāo)模型中。攝像頭采集圖像回來后,經(jīng)過攝像頭的處理器進(jìn)行顏色識別,進(jìn)行識別色彩信息,同時識別深度信息(背景投影信息),把色彩信息和深度信息進(jìn)行圖片匹配并融合,并把融合的額圖片信息放入到建立好的三維空間目標(biāo)模型中。
步驟3:在三維空間目標(biāo)模型中融合人體目標(biāo)的深度信息,并利用kalman濾波器預(yù)測目標(biāo)的位置信息。利用kalman濾波器過濾模糊的信息后,確定大概的人體模型信息,根據(jù)人體模型信息進(jìn)行預(yù)測目標(biāo)的位置信息。
步驟4:通過對預(yù)測目標(biāo)的位置信息進(jìn)行計算初步鎖定窗口的質(zhì)心。對人體模型信息從邊緣進(jìn)行計算,根據(jù)計算的信息進(jìn)行鎖定人體模型的中間位置。
步驟5:通過調(diào)整窗口大小和/或移動窗口中心來確定質(zhì)心的具體位置。根據(jù)窗口的與人體模型信息的位置的關(guān)系對現(xiàn)有的窗口進(jìn)行放大或者進(jìn)行縮小,當(dāng)還是不能更好確定人體的具體位置時,在通過移動窗口中心的位置,進(jìn)而確定人體的位置信息。
步驟6:計算質(zhì)心的位置區(qū)域是否收斂,當(dāng)不收斂時,返回步驟4,計算質(zhì)心的位置區(qū)域是不收斂的,說明沒能完全找到人體的位置的準(zhǔn)確的信息,返回去繼續(xù)進(jìn)行搜索。當(dāng)收斂時,輸出質(zhì)心的位置和目標(biāo)方向,并且質(zhì)心的位置作為下一次目標(biāo)鎖定的初始窗口。當(dāng)收斂時質(zhì)心的位置的位置時準(zhǔn)確的,可以很好進(jìn)行根據(jù)模型來確定目標(biāo)位置的具坐標(biāo)和方向。
步驟7:在深度圖像中計算人體目標(biāo)的質(zhì)心,對人體進(jìn)行跟蹤。當(dāng)有一次鎖定后,后一次的掃描鎖定是根據(jù)上一次的確定位置為初始值進(jìn)行掃描確定,可以更好的為下一次掃描鎖定目標(biāo),通過掃描跟蹤的方式,可以很好的對目標(biāo)進(jìn)行跟蹤。
以上已對本發(fā)明創(chuàng)造的較佳實施例進(jìn)行了具體說明,但本發(fā)明并不限于實施例,熟悉本領(lǐng)域的技術(shù)人員在不違背本發(fā)明創(chuàng)造精神的前提下還可作出種種的等同的變型或替換,這些等同的變型或替換均包含在本申請的范圍內(nèi)。