本發(fā)明屬于導(dǎo)盲，具體涉及一種基于機(jī)器視覺(jué)的智能化導(dǎo)盲裝置。

背景技術(shù)：

1、盲道、傳統(tǒng)手杖及導(dǎo)盲犬作為如今盲人出行的普遍方式，并不能滿足他們的需求。盲道的損壞和被占用使盲人出行受限；傳統(tǒng)手杖無(wú)法幫助盲人辨識(shí)兩側(cè)障礙物和路標(biāo)等具體多變的路況；而導(dǎo)盲犬的訓(xùn)練成本很高，且有很多社交場(chǎng)所禁止導(dǎo)盲犬進(jìn)入。以上原因已成為阻礙視障患者出行的主要因素。

2、為解決這一現(xiàn)狀，國(guó)外的wewalk公司與斯坦福團(tuán)隊(duì)相繼研發(fā)出智能導(dǎo)盲杖并投入市場(chǎng)。雖然這兩者能有效幫助盲人避障，但wewalk手杖的超聲波避障易受環(huán)境影響且識(shí)別范圍有限，斯坦福的增強(qiáng)型手杖采用二維（2d）激光雷達(dá)進(jìn)行探測(cè)，致使成本更高。國(guó)內(nèi)學(xué)者也相繼設(shè)計(jì)出很多導(dǎo)盲手杖，但主要利用超聲波避障且沒(méi)有出行導(dǎo)航功能。因此，設(shè)計(jì)出一款提醒視障患者避讓四周障礙物、指引過(guò)馬路、實(shí)現(xiàn)智能化導(dǎo)航的手杖迫在眉睫。。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供了一種基于機(jī)器視覺(jué)的智能導(dǎo)盲裝置，以保障視障患者的出行安全、提升導(dǎo)盲設(shè)施的智能化與功能多樣化等問(wèn)題，以保障視障患者在日常交通中的出行安全。為了實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案予以實(shí)現(xiàn)：

2、一種基于機(jī)器視覺(jué)的智能導(dǎo)盲裝置，識(shí)別避障功能的實(shí)現(xiàn)包括以下步驟：

3、所述微控制器控制4個(gè)所述攝像頭同時(shí)采集用戶前方及左右兩側(cè)的環(huán)境圖像，并將圖像數(shù)據(jù)經(jīng)mobilenet?v1模型并行處理，得到物體類別信息和輪廓標(biāo)框；

4、進(jìn)一步地，根據(jù)單目攝像頭測(cè)距算法，并基于勾股定理，引入由攝像頭的俯仰角和側(cè)傾角得到的修正因子，通過(guò)輪廓標(biāo)框的底部線框中心點(diǎn)得到用戶與所識(shí)別物體之間的水平距離，通過(guò)距離篩選出需要規(guī)避的障礙物；

5、進(jìn)一步地，以像素點(diǎn)為判據(jù)，根據(jù)圖像中的障礙物居于圖像的方位，得到障礙物居于相機(jī)（即用戶）的所在方位；

6、進(jìn)一步地，將得到的障礙物信息（包括物體類別、方位、距離）與語(yǔ)音字段相匹配，根據(jù)距離由近及遠(yuǎn)通過(guò)所述語(yǔ)音模塊向用戶播報(bào)3組數(shù)據(jù)信息。

7、一種基于機(jī)器視覺(jué)的智能導(dǎo)盲裝置，其紅綠燈及倒計(jì)時(shí)識(shí)別功能的實(shí)現(xiàn)包括以下步驟：

8、每隔29幀將所述的前上方攝像頭采集到的圖像輸入mobilenet?v1訓(xùn)練模型中，若檢測(cè)到紅綠燈就對(duì)圖像進(jìn)行縮放和分割；

9、進(jìn)一步地，將圖像轉(zhuǎn)為hsv的色彩空間，通過(guò)比較紅、綠的顏色閾值以獲取顏色信息；

10、進(jìn)一步地，根據(jù)單目攝像頭測(cè)距算法，通過(guò)輪廓標(biāo)框的底部線框中心點(diǎn)得到紅綠燈與用戶之間的距離；

11、進(jìn)一步地，通過(guò)python的easyocr提取圖像中紅綠燈計(jì)時(shí)器的文本信息；

12、進(jìn)一步地，將得到的紅綠燈的顏色、數(shù)字、距離信息與語(yǔ)音文本相匹配，并通過(guò)所述語(yǔ)音模塊輸出提示語(yǔ)音，其優(yōu)先級(jí)高于識(shí)別避障模塊。

13、一種基于機(jī)器視覺(jué)的智能導(dǎo)盲裝置，發(fā)送定位地圖功能的實(shí)現(xiàn)包括以下步驟：

14、所述微控制器控制所述gps模塊實(shí)時(shí)捕獲所述杖體（即用戶）的經(jīng)緯度信息；

15、進(jìn)一步地，調(diào)用百度地圖api，將經(jīng)緯度信息經(jīng)過(guò)逆地址解析以實(shí)現(xiàn)位置可視化的效果，生成html文件；

16、進(jìn)一步地，通過(guò)所述微控制器的node.js服務(wù)器功能，托載html文件至本地地址；

17、進(jìn)一步地，按鍵觸發(fā)后，通過(guò)serverchan服務(wù)，將位置可視化后的網(wǎng)址發(fā)送到緊急聯(lián)系人的微信中；

18、進(jìn)一步地，聯(lián)系人點(diǎn)擊網(wǎng)址即可查看杖體（即用戶）的定位地圖?。

19、一種基于機(jī)器視覺(jué)的智能導(dǎo)盲裝置，路線規(guī)劃功能的實(shí)現(xiàn)包括以下步驟：

20、通過(guò)語(yǔ)音喚醒的方式開(kāi)啟該功能；

21、進(jìn)一步地，以語(yǔ)音識(shí)別的方式錄入目的地和出行方式，且以所述杖體定位信息作為始發(fā)地；

22、進(jìn)一步地，基于百度地圖api進(jìn)行路線規(guī)劃得到所有路段信息，由所述語(yǔ)音模塊向用戶提供語(yǔ)音指導(dǎo)，該優(yōu)先級(jí)次于識(shí)別避障模塊的語(yǔ)音提醒。

23、本發(fā)明還公開(kāi)了一種基于機(jī)器視覺(jué)的智能導(dǎo)盲裝置，包括三段伸縮式拉桿的杖體和語(yǔ)音模塊，所述杖體上裝置4個(gè)攝像頭（包括前下方、前上方以及左右兩側(cè)）、觸地裝置、主機(jī)盒、兩個(gè)按鍵、手柄和支架；所述主機(jī)盒分為兩部分，一部分內(nèi)嵌著移動(dòng)電源，另一部分封裝著微控制器和gps模塊；

24、進(jìn)一步地，所述按鍵中，一個(gè)為該裝置總電源的開(kāi)啟鍵，另一個(gè)為發(fā)送用戶位置地圖的觸發(fā)鍵；

25、進(jìn)一步地，所述觸地裝置由定向輪與萬(wàn)向輪組成，且在該裝置上表面設(shè)置一支架以固定杖體與水平面之間的夾角角度；

26、進(jìn)一步地，所述攝像頭、gps模塊、按鍵均連接在微控制器上，所有連線可內(nèi)穿在所述杖體內(nèi)部；

27、進(jìn)一步地，所述語(yǔ)音模塊與微控制器rpi?4b進(jìn)行藍(lán)牙連接，可以實(shí)現(xiàn)語(yǔ)音錄入和語(yǔ)音播報(bào)。

28、綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是：

29、（1）基于機(jī)器視覺(jué)的智能導(dǎo)盲手杖可以成功獲取障礙物的類別、距離與方位，這有助于用戶去處理更復(fù)雜的交通環(huán)境；

30、（2）通過(guò)采用hsv色彩空間和easyocr來(lái)提取紅綠燈的顏色和計(jì)時(shí)信息，通過(guò)語(yǔ)音反饋給用戶，以便于輔助用戶通過(guò)馬路；

31、（3）當(dāng)用戶遇到緊急事件（如迷路等）時(shí)，可以向聯(lián)系人一鍵發(fā)送自己的定位地圖。接收者可對(duì)地圖進(jìn)行縮放和移動(dòng)，以更清晰更直觀的方式獲取用戶所在位置；

32、（4）本設(shè)計(jì)可以采用電壓為5v的移動(dòng)電源作為手杖的電源裝置，用戶可自行更換，更便于用戶攜帶使用，且結(jié)構(gòu)簡(jiǎn)單。

技術(shù)特征：

1.一種基于機(jī)器視覺(jué)的智能導(dǎo)盲裝置，其特征在于，識(shí)別避障功能的實(shí)現(xiàn)包括以下步驟：

2.一種基于機(jī)器視覺(jué)的智能導(dǎo)盲裝置，其特征在于，紅綠燈及倒計(jì)時(shí)識(shí)別功能的實(shí)現(xiàn)包括以下步驟：

3.一種基于機(jī)器視覺(jué)的智能導(dǎo)盲裝置，其特征在于，實(shí)現(xiàn)可視化定位信息的發(fā)送包括以下步驟：

4.一種基于機(jī)器視覺(jué)的智能導(dǎo)盲裝置，其特征在于，路線規(guī)劃功能的實(shí)現(xiàn)包括以下步驟：

5.根據(jù)權(quán)利要求1和權(quán)利要求2中所述的基于機(jī)器視覺(jué)的智能導(dǎo)盲裝置，預(yù)訓(xùn)練模型采用的是mobilenet?v1官方預(yù)訓(xùn)練模型。

6.根據(jù)權(quán)利要求3中所述的基于機(jī)器視覺(jué)的智能導(dǎo)盲裝置，其步驟s11中的serverchan是用于微控制器與微信之間通信的第三方平臺(tái)。

7.一種基于機(jī)器視覺(jué)的智能導(dǎo)盲裝置，其特征在于，包括三段伸縮式拉桿的杖體和語(yǔ)音模塊，所述杖體上裝置4個(gè)攝像頭（包括前下方、前上方以及左右兩側(cè)）、觸地裝置、主機(jī)盒、兩個(gè)按鍵、手柄和支架；所述主機(jī)盒分為兩部分，一部分內(nèi)嵌著移動(dòng)電源，另一部分封裝著微控制器和gps模塊。

8.根據(jù)權(quán)利要求7所述的一種基于機(jī)器視覺(jué)的智能導(dǎo)盲裝置，其特征在于，所述按鍵中，一個(gè)為該裝置總電源的開(kāi)啟鍵，另一個(gè)為用戶發(fā)送定位的觸發(fā)鍵。

9.根據(jù)權(quán)利要求7所述的一種基于機(jī)器視覺(jué)的智能導(dǎo)盲裝置，其特征在于，所述觸地裝置由定向輪與萬(wàn)向輪組成，且在該裝置上表面設(shè)置一支架以固定杖體與水平面之間的夾角角度。

10.根據(jù)權(quán)利要求7所述的一種基于機(jī)器視覺(jué)的智能導(dǎo)盲裝置，其特征在于，所述語(yǔ)音模塊與rpi?4b之間進(jìn)行藍(lán)牙連接，可實(shí)現(xiàn)語(yǔ)音錄入和語(yǔ)音播報(bào)。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于機(jī)器視覺(jué)的智能導(dǎo)盲裝置，在導(dǎo)盲杖上裝置Raspberry?Pi?4?Model?B（簡(jiǎn)稱RPI?4B）作為微控制器，另配備四個(gè)攝像頭、GPS模塊、語(yǔ)音模塊、按鍵等。首先，利用機(jī)器視覺(jué)技術(shù)監(jiān)測(cè)杖體前方及兩側(cè)的環(huán)境，獲取障礙物信息（包含類別、方位與距離）來(lái)語(yǔ)音指導(dǎo)用戶避障，獲取紅綠燈與倒計(jì)時(shí)信息來(lái)語(yǔ)音指導(dǎo)用戶過(guò)馬路。其次，導(dǎo)盲杖內(nèi)置GPS模塊，隨時(shí)可通過(guò)按鍵將用戶的實(shí)時(shí)定位轉(zhuǎn)為可視化地圖后發(fā)送給微信聯(lián)系人。最后，可通過(guò)語(yǔ)音喚醒導(dǎo)航服務(wù)，并通過(guò)語(yǔ)音識(shí)別和反饋確定目的地和出行方式（默認(rèn)為步行），基于百度地圖進(jìn)行路線規(guī)劃，由語(yǔ)音模塊指引盲人出行。手杖底部裝置了由萬(wàn)向輪和定向輪組成的三角形觸地裝置，在實(shí)際使用時(shí)，用戶不僅可以省力，還能有效感知來(lái)自地面的物理觸覺(jué)反饋。

技術(shù)研發(fā)人員：靳芳華,程進(jìn),厲軍明,鄭志偉,劉子甲
受保護(hù)的技術(shù)使用者：北京信息科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19