基于手勢(shì)識(shí)別的自動(dòng)避障小車(chē)的制作方法
【專(zhuān)利摘要】基于手勢(shì)識(shí)別的自動(dòng)避障小車(chē)，涉及人機(jī)交互智能圖像信息處理，屬于基于深度相機(jī)非接觸式三維虛擬空間領(lǐng)域和雙目立體視覺(jué)領(lǐng)域，其車(chē)體前部設(shè)置分開(kāi)的兩個(gè)攝像頭，車(chē)體內(nèi)部設(shè)置包含單片機(jī)的下位機(jī)，車(chē)體安置兩個(gè)無(wú)線wifi模塊，一個(gè)無(wú)線wifi模塊連接一個(gè)攝像頭，車(chē)體還安置一個(gè)藍(lán)牙模塊，兩個(gè)小車(chē)后輪分別連接著一個(gè)精密直流電機(jī)；其深度體感相機(jī)連接上位機(jī)，上位機(jī)設(shè)置串口藍(lán)牙和一個(gè)無(wú)線wifi模塊。本實(shí)用新型通過(guò)手勢(shì)控制小車(chē)并在自動(dòng)運(yùn)行模式下實(shí)現(xiàn)小車(chē)自動(dòng)避障，操作方便，適合在危險(xiǎn)環(huán)境下檢查周?chē)h(huán)境是否有危險(xiǎn)和在障礙物多的地形下進(jìn)行搬運(yùn)工作。
【專(zhuān)利說(shuō)明】基于手勢(shì)識(shí)別的自動(dòng)避障小車(chē)

【技術(shù)領(lǐng)域】
[0001]本實(shí)用新型涉及一種可操控的小車(chē)，具體涉及一種基于手勢(shì)識(shí)別的自動(dòng)避障小車(chē)。

【背景技術(shù)】
[0002]在現(xiàn)在計(jì)算機(jī)普遍智能化的時(shí)代，人機(jī)交互智能圖像信息處理已成為計(jì)算機(jī)視覺(jué)領(lǐng)域的重要應(yīng)用。自上世紀(jì)90年代PC出現(xiàn)以來(lái)，人機(jī)交互這門(mén)交叉綜合學(xué)科，已成為用戶體驗(yàn)的主流研究技術(shù)，體感交互模式的出現(xiàn)讓人機(jī)交互技術(shù)進(jìn)入一個(gè)新時(shí)代。隨著用戶對(duì)層出不窮的移動(dòng)智能設(shè)備的剛性需求，智能圖像處理愈趨向龐大復(fù)雜的數(shù)據(jù)處理及多功能應(yīng)用發(fā)展，由此為人機(jī)交互平臺(tái)帶來(lái)了更大的挑戰(zhàn)與機(jī)遇?，F(xiàn)在，計(jì)算機(jī)處理的交互信息量越來(lái)越龐大，促使日漸高效、穩(wěn)定、實(shí)時(shí)的新型交互技術(shù)飛速發(fā)展?，F(xiàn)代交互技術(shù)主要分為語(yǔ)言識(shí)別技術(shù)和身體語(yǔ)言識(shí)別技術(shù)，其中手勢(shì)識(shí)別是身體語(yǔ)言識(shí)別技術(shù)的重要分支技術(shù)。
[0003]隨著科學(xué)技術(shù)的發(fā)展，移動(dòng)機(jī)器人的應(yīng)用領(lǐng)域越來(lái)越廣泛，同時(shí)對(duì)人類(lèi)生產(chǎn)和生活帶來(lái)了重大影響。視覺(jué)作為機(jī)器人獲取周?chē)h(huán)境信息的重要手段，以信息量大為特點(diǎn)，對(duì)移動(dòng)機(jī)器人自動(dòng)導(dǎo)航和自動(dòng)避障具有重要意義。避障小車(chē)有通過(guò)類(lèi)似紅外傳感器實(shí)現(xiàn)硬件避障，但是這種避障方式只能在近距離避障，而且判斷不準(zhǔn)確。而雙目視覺(jué)通過(guò)視差獲取周?chē)h(huán)境的三維點(diǎn)云，可以精確得到障礙物離小車(chē)的距離，障礙物的左右邊距，可以為自動(dòng)導(dǎo)航和自動(dòng)避障提供很好的可行性方案。
實(shí)用新型內(nèi)容
[0004]本實(shí)用新型所要解決的技術(shù)問(wèn)題是提供一種基于深度相機(jī)的手勢(shì)控制小車(chē)，能在自動(dòng)運(yùn)行模式下實(shí)現(xiàn)小車(chē)自動(dòng)避障，能有效以多種操作方式控制小車(chē)，并能自動(dòng)避開(kāi)障礙物，適合在危險(xiǎn)環(huán)境下檢查周?chē)h(huán)境是否有危險(xiǎn)和障礙物多的地形下搬運(yùn)工作。
[0005]基于上述，本實(shí)用新型的目的是提供一種基于手勢(shì)識(shí)別的自動(dòng)避障小車(chē)。
[0006]本實(shí)用新型的基于手勢(shì)識(shí)別的自動(dòng)避障小車(chē)，包括小車(chē)和遠(yuǎn)程控制系統(tǒng)，其特征在于:所述小車(chē)的車(chē)體前部設(shè)置分開(kāi)的兩個(gè)攝像頭，車(chē)體內(nèi)部設(shè)置包含單片機(jī)的下位機(jī)，車(chē)體安置兩個(gè)無(wú)線wifi模塊，一個(gè)無(wú)線wifi模塊連接一個(gè)攝像頭，車(chē)體還安置一個(gè)藍(lán)牙模塊，小車(chē)兩個(gè)后輪各連接著一個(gè)精密直流電機(jī)；所述遠(yuǎn)程控制系統(tǒng)包括深度體感相機(jī)和上位機(jī)，深度體感相機(jī)連接上位機(jī)，上位機(jī)設(shè)置與車(chē)體藍(lán)牙配對(duì)的串口藍(lán)牙和一個(gè)可與車(chē)體的無(wú)線wifi連接的無(wú)線wifi模塊。
[0007]小車(chē)上的無(wú)線wifi模塊將攝像頭獲取的視頻信號(hào)，發(fā)送到上位端，上位機(jī)通過(guò)wifi熱點(diǎn)鏈接到Wifi模塊接收視頻信號(hào)。由于有兩個(gè)Wifi模塊，有兩個(gè)熱點(diǎn)，所以通過(guò)網(wǎng)口線，將兩個(gè)Wifi模塊連起來(lái)，這樣上位機(jī)只需連接一個(gè)熱點(diǎn)，就可獲取兩路視頻信號(hào)。這種方案有利于簡(jiǎn)化結(jié)構(gòu)。
[0008]小車(chē)上的藍(lán)牙模塊，負(fù)責(zé)小車(chē)運(yùn)動(dòng)控制信號(hào)的傳輸。
[0009]兩個(gè)攝像頭是分開(kāi)的，他們各自獲取各自的視頻圖像，通過(guò)圖像處理的方法，具體就是雙目視覺(jué)的方法，獲取深度圖，這個(gè)深度圖是實(shí)時(shí)移動(dòng)的，因?yàn)樾≤?chē)在移動(dòng)，獲取的深度圖是為了做自動(dòng)避障。
[0010]本實(shí)用新型中，單片機(jī)優(yōu)選Atmegal28 AVR單片機(jī)。
[0011]作為優(yōu)選，深度體感相機(jī)選用Kinect體感相機(jī)。
[0012]將上位機(jī)的藍(lán)牙與車(chē)體藍(lán)牙配對(duì)，連接上位機(jī)的無(wú)線wifi與車(chē)體的無(wú)線wifi，之后，通過(guò)kinect獲取發(fā)出的手勢(shì)。
[0013]本實(shí)用新型所述手勢(shì)包括:
[0014]手勢(shì)5:為停車(chē)手勢(shì)，表示小車(chē)立即停止，等待新的手勢(shì)；
[0015]手勢(shì)O:為進(jìn)入手動(dòng)控制模式手勢(shì)，移動(dòng)該手勢(shì)到合適的位置，小車(chē)做相應(yīng)的移動(dòng)；同時(shí)也是進(jìn)入手勢(shì)控制狀態(tài)的手勢(shì)，只有檢測(cè)到手勢(shì)O后，手勢(shì)5或者手勢(shì)2才會(huì)進(jìn)入算法中進(jìn)行判斷；
[0016]手勢(shì)2:為進(jìn)入自動(dòng)控制模式手勢(shì)，小車(chē)按照程序自行移動(dòng)。
[0017]手勢(shì)通過(guò)kinect獲取，在上位機(jī)中獲取到圖像手勢(shì)識(shí)別完以后，只需要發(fā)出手勢(shì)對(duì)應(yīng)的藍(lán)牙輸出信號(hào)給下位機(jī)控制即可。
[0018]當(dāng)手勢(shì)O進(jìn)行移動(dòng)，并超過(guò)移動(dòng)最小距離3cm時(shí)，即進(jìn)行判斷移動(dòng)方向，根據(jù)移動(dòng)方向，藍(lán)牙輸出對(duì)應(yīng)的控制信號(hào)。移動(dòng)方向有以下四種:前進(jìn)，后退，左拐，右拐。當(dāng)手勢(shì)偏離這幾個(gè)正對(duì)方向時(shí)，計(jì)算向哪邊的趨勢(shì)多，并輸出對(duì)應(yīng)控制信號(hào)。當(dāng)檢測(cè)到手勢(shì)5時(shí)，小車(chē)立即停止。也可通過(guò)手勢(shì)5移動(dòng)手到適合kinect檢測(cè)的位置。當(dāng)檢測(cè)到手勢(shì)2時(shí)，小車(chē)進(jìn)入自動(dòng)控制模式，小車(chē)通過(guò)自動(dòng)避障，進(jìn)行運(yùn)動(dòng)。當(dāng)再次檢測(cè)到手勢(shì)5時(shí)，停止自動(dòng)控制模式，并進(jìn)入手動(dòng)控制模式。
[0019]上位機(jī)讀取下位機(jī)傳送的電腦視頻流后，做雙目視差處理，獲取圖像視差，用視差圖得到空間點(diǎn)云，將空間點(diǎn)云中低于15cm的點(diǎn)云設(shè)為地面,高于15cm低于10cm的物體作為障礙物；
[0020]具體過(guò)程是:通過(guò)小車(chē)后輪兩個(gè)精密直流電機(jī)，可以精確控制小車(chē)走的距離，量出小車(chē)輪子的直徑(小車(chē)輪子直徑是通過(guò)買(mǎi)來(lái)時(shí)廠家提供的技術(shù)參數(shù)獲得)，由此可以精確計(jì)算小車(chē)自行距離和轉(zhuǎn)彎角度。
[0021]由直流電機(jī)技術(shù)和小車(chē)后輪參數(shù)可知，小車(chē)后輪轉(zhuǎn)一圈，直流電機(jī)會(huì)產(chǎn)生650個(gè)脈沖，所以要使小車(chē)轉(zhuǎn)的角度對(duì)應(yīng)的脈沖數(shù)=Θ *360/650，小車(chē)直行的距離d=脈沖數(shù)*2n*R/650。下位機(jī)的AVR單片機(jī)通過(guò)外部中斷，獲取小車(chē)脈沖，并通過(guò)定時(shí)中斷判斷小車(chē)脈沖數(shù)是否到達(dá)指定脈沖，計(jì)算出的轉(zhuǎn)的角度和自行距離，發(fā)送到上位機(jī)。
[0022]本實(shí)用新型中，控制系統(tǒng)中的深度體感相機(jī)獲取人發(fā)出的手勢(shì)，上位機(jī)識(shí)別手勢(shì)，通過(guò)藍(lán)牙傳輸至下位機(jī)，下位機(jī)控制小車(chē)進(jìn)行運(yùn)動(dòng)。同時(shí)下位機(jī)實(shí)時(shí)地將小車(chē)坐標(biāo)通過(guò)藍(lán)牙傳至上位機(jī)，上位機(jī)實(shí)時(shí)更新地圖，小車(chē)的攝像頭采集到的視頻流通過(guò)wifi傳輸?shù)缴衔粰C(jī)，上位機(jī)進(jìn)行雙目視差圖像處理，獲取雙目圖像視差，用視差圖得到空間點(diǎn)云，將點(diǎn)云中低于15cm的點(diǎn)云設(shè)為地面，將高于15cm低于10cm的物體作為障礙物，將低于15cm的點(diǎn)集之中最外層的點(diǎn)畫(huà)在地圖上，即為小車(chē)經(jīng)過(guò)的外界地形。小車(chē)的下位機(jī)判別y軸高于15cm，低于10cm的障礙物,提取障礙物點(diǎn)集,判斷z軸距離和X軸最左最右距離,控制小車(chē)在自動(dòng)控制模式下進(jìn)行自動(dòng)避障。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0023]圖1是本實(shí)用新型的基于手勢(shì)識(shí)別的自動(dòng)避障小車(chē)的結(jié)構(gòu)框圖；
[0024]圖2是手勢(shì)5的手勢(shì)圖；
[0025]圖3是手勢(shì)O的手勢(shì)圖；
[0026]圖4是手勢(shì)2的手勢(shì)圖。

【具體實(shí)施方式】
[0027]見(jiàn)圖1。
[0028]基于手勢(shì)識(shí)別的自動(dòng)避障小車(chē)，包括小車(chē)I和遠(yuǎn)程控制系統(tǒng)14，所述小車(chē)I的車(chē)體2前部設(shè)置分開(kāi)的兩個(gè)攝像頭8，車(chē)體2內(nèi)部設(shè)置包含單片機(jī)6的下位機(jī)3，車(chē)體2安置兩個(gè)無(wú)線wifi模塊9，一個(gè)無(wú)線wifi模塊連接一個(gè)攝像頭，車(chē)體2還安置一個(gè)藍(lán)牙模塊7，小車(chē)兩個(gè)后輪5各連接著一個(gè)精密直流電機(jī)4 ;所述遠(yuǎn)程控制系統(tǒng)14包括深度體感相機(jī)10和上位機(jī)11，深度體感相機(jī)10連接上位機(jī)11，上位機(jī)11設(shè)置與車(chē)體藍(lán)牙7配對(duì)的串口藍(lán)牙13和一個(gè)可與車(chē)體的無(wú)線wifi連接9的無(wú)線wifi模塊12。
[0029]小車(chē)I上的兩個(gè)wifi模塊通過(guò)網(wǎng)口線連。
[0030]單片機(jī)6為Atmegal28 AVR單片機(jī)。
[0031]深度體感相機(jī)10選用Kinect體感相機(jī)。
[0032]見(jiàn)圖2?圖4。手勢(shì)5:為停車(chē)手勢(shì)，表示小車(chē)立即停止，等待新的手勢(shì)；
[0033]手勢(shì)O:為進(jìn)入手動(dòng)控制模式手勢(shì)，移動(dòng)該手勢(shì)到合適的位置，小車(chē)做相應(yīng)的移動(dòng)；同時(shí)也是進(jìn)入手勢(shì)控制狀態(tài)的手勢(shì)，只有檢測(cè)到手勢(shì)O后，手勢(shì)5或者手勢(shì)2才會(huì)進(jìn)入算法中進(jìn)行判斷；
[0034]手勢(shì)2:為進(jìn)入自動(dòng)控制模式手勢(shì)，小車(chē)按照程序自行移動(dòng)。
【權(quán)利要求】
1.基于手勢(shì)識(shí)別的自動(dòng)避障小車(chē)，包括小車(chē)和遠(yuǎn)程控制系統(tǒng)，其特征在于:所述小車(chē)的車(chē)體前部設(shè)置分開(kāi)的兩個(gè)攝像頭，車(chē)體內(nèi)部設(shè)置包含單片機(jī)的下位機(jī)，車(chē)體安置兩個(gè)無(wú)線Wifi模塊，一個(gè)無(wú)線wifi模塊連接一個(gè)攝像頭，車(chē)體還安置一個(gè)藍(lán)牙模塊，小車(chē)兩個(gè)后輪各連接著一個(gè)精密直流電機(jī)；所述遠(yuǎn)程控制系統(tǒng)包括深度體感相機(jī)和上位機(jī)，深度體感相機(jī)連接上位機(jī)，上位機(jī)設(shè)置與車(chē)體藍(lán)牙配對(duì)的串口藍(lán)牙和一個(gè)可與車(chē)體的無(wú)線Wifi連接的無(wú)線wifi模塊。
2.根據(jù)權(quán)利要求1所述的自動(dòng)避障小車(chē)，其特征在于:單片機(jī)選用Atmegal28AVR單片機(jī)。
3.根據(jù)權(quán)利要求1所述的自動(dòng)避障小車(chē)，其特征在于:兩個(gè)無(wú)線wifi模塊通過(guò)網(wǎng)口線連接。
4.根據(jù)權(quán)利要求1所述的自動(dòng)避障小車(chē)，其特征在于:深度體感相機(jī)選用Kinect體感相機(jī)。
【文檔編號(hào)】G06F3/01GK203941451SQ201420180921
【公開(kāi)日】2014年11月12日 申請(qǐng)日期:2014年4月15日 優(yōu)先權(quán)日:2014年4月15日
【發(fā)明者】張彤, 蘆愛(ài)余, 莫建文, 劉鵬, 袁華, 陳利霞, 首照宇, 歐陽(yáng)寧, 趙暉 申請(qǐng)人:桂林電子科技大學(xué), 桂林宇輝信息科技有限責(zé)任公司