本發(fā)明屬于視障人士輔助技術(shù)、三維環(huán)境感知技術(shù)、斑馬線檢測(cè)技術(shù)、立體聲交互技術(shù)領(lǐng)域，尤其涉及一種基于RGB-D相機(jī)和立體聲的視障人士斑馬線檢測(cè)眼鏡，利用RGB-D相機(jī)采集彩色圖像和深度圖像，利用姿態(tài)角傳感器獲取相機(jī)的姿態(tài)角信息。小型處理器利用深度信息和姿態(tài)角信息，計(jì)算獲取場(chǎng)景的三維坐標(biāo)。小型處理器對(duì)三維信息進(jìn)行處理，去除彩色圖像中空中物體對(duì)斑馬線檢測(cè)的干擾。小型處理器對(duì)彩色圖像分塊，并計(jì)算每一塊的雙極系數(shù)，篩選出可能為斑馬線的區(qū)塊，利用連通域分析檢出斑馬線區(qū)域，最終通過骨傳導(dǎo)耳機(jī)傳遞斑馬線的距離和方向給視障人士進(jìn)行輔助。

背景技術(shù)：

根據(jù)世界健康組織統(tǒng)計(jì)，全世界有2.85億視覺障礙人士。視障人士損失了正常的視覺，對(duì)顏色、形狀、距離、運(yùn)動(dòng)的理解都很困難，他們的生活在起居、出行等方面都受到了巨大的影響。尤其是路口的通行，尋找斑馬線區(qū)域，安全地過馬路是視障人士的一大痛點(diǎn)。

傳統(tǒng)的視障人士過馬路輔助方法，通過聽路口處紅綠燈的變化的聲音，以及聽路口車輛通過的聲音來猜測(cè)斑馬線區(qū)域，這種判斷是極其不準(zhǔn)確的，而且很多路口的紅綠燈聲音播報(bào)系統(tǒng)損壞，無(wú)法給視障人士提供幫助。

導(dǎo)盲犬可以為視障人士過馬路提供幫助，但導(dǎo)盲犬在過馬路時(shí)比較迅速，難以照顧到視障人士精確定位斑馬線區(qū)域的需求。導(dǎo)盲犬的養(yǎng)護(hù)、訓(xùn)練費(fèi)用高昂，普通家庭難以承擔(dān)。另外很多城市的導(dǎo)盲犬培訓(xùn)是不合格的，對(duì)視障人士的幫助有限。

基于彩色相機(jī)的斑馬線檢測(cè)，有很大概率被空中物體等所干擾，斑馬線檢測(cè)的準(zhǔn)確性有限，而且也不能獲知斑馬線區(qū)域的精確距離和方位，對(duì)視障人士的幫助有限。

傳統(tǒng)視障人士輔助的交互方式主要有語(yǔ)音提示、觸覺震動(dòng)。語(yǔ)義提示通常播報(bào)簡(jiǎn)短的信息，需要一定的時(shí)間播放，造成延遲和事故風(fēng)險(xiǎn)，而且可傳遞的信息量少。觸覺震動(dòng)通過震動(dòng)腰帶或者震動(dòng)背心為硬件，以震動(dòng)來提示一些方位信息，可以解決延遲的問題，但給視障人士帶來負(fù)擔(dān)，不同人的穿戴感受不同。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供一種基于RGB-D相機(jī)和立體聲的視障人士斑馬線檢測(cè)眼鏡。

本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：一種基于RGB-D相機(jī)和立體聲的視障人士斑馬線檢測(cè)眼鏡，所述眼鏡包含眼鏡本體、以及固定在眼鏡本體上的一個(gè)RGB-D相機(jī)，一個(gè)姿態(tài)角傳感器，一個(gè)USB集線器，一個(gè)小型處理器，一個(gè)骨傳導(dǎo)耳機(jī)模塊，兩個(gè)骨傳導(dǎo)震動(dòng)模塊和一個(gè)電池模塊。所述RGB-D相機(jī)固定在眼鏡鏡片上方，兩個(gè)骨傳導(dǎo)震動(dòng)模位于兩個(gè)鏡腳中間偏后處，貼合盲人耳朵前方顱骨處；USB集線器、姿態(tài)角傳感器和小型處理器嵌于一個(gè)鏡腳內(nèi)；骨傳導(dǎo)耳機(jī)模塊和電池模塊嵌于另一個(gè)鏡腳內(nèi)；RGB-D相機(jī)與姿態(tài)角傳感器通過USB集線器與小型處理器相連，電池模塊與小型處理器相連；兩個(gè)骨傳導(dǎo)震動(dòng)模塊均通過骨傳導(dǎo)耳機(jī)模塊與小型處理器相連。RGB-D相機(jī)實(shí)時(shí)地采集三維場(chǎng)景的彩色圖像和深度圖像。姿態(tài)角傳感器實(shí)時(shí)獲取RGB-D相機(jī)的姿態(tài)角。小型處理器對(duì)RGB-D相機(jī)采集的彩色圖像和深度圖像，姿態(tài)角傳感器采集的姿態(tài)角信息進(jìn)行分析，檢測(cè)出三維場(chǎng)景的斑馬線區(qū)域，并計(jì)算出斑馬線區(qū)域和方向，并將處理結(jié)果轉(zhuǎn)化為立體聲信號(hào)，傳到骨傳導(dǎo)耳機(jī)模塊。骨傳導(dǎo)耳機(jī)模塊將立體聲信號(hào)轉(zhuǎn)化為骨傳導(dǎo)震動(dòng)信號(hào)，傳到兩個(gè)骨傳導(dǎo)震動(dòng)模塊。最終骨傳導(dǎo)震動(dòng)模塊通過震動(dòng)傳輸立體聲信號(hào)給視障用戶，告知視障用戶當(dāng)前場(chǎng)景中斑馬線區(qū)域的區(qū)域和方向。

上述眼鏡的斑馬線檢測(cè)方法如下：

(1)對(duì)RGB-D相機(jī)進(jìn)行一次相機(jī)標(biāo)定，獲取RGB-D相機(jī)的焦距f，主點(diǎn)位置(c_x,c_y)。

(2)RGB-D相機(jī)采集三維場(chǎng)景的深度圖像Depth和彩色圖像Color。

(3)姿態(tài)角傳感器采集RGB-D相機(jī)X，Y，Z三軸方向的轉(zhuǎn)角Angle_X，Angle_Y，Angle_Z。

(4)USB集線器將深度圖像Depth，彩色圖像Color，三軸方向的轉(zhuǎn)角Angle_X，Angle_Y，Angle_Z傳給小型處理器。

(5)小型處理器根據(jù)深度圖像Depth，RGB-D相機(jī)的焦距f，主點(diǎn)位置(c_x,c_y)，可計(jì)算出每一點(diǎn)在相機(jī)坐標(biāo)系下的三維坐標(biāo)(X_c,Y_c,Z_c)。深度圖像Depth中一點(diǎn)坐標(biāo)為(u,v)，其深度值為depth，則相機(jī)坐標(biāo)系下三維坐標(biāo)(X_c,Y_c,Z_c)可由公式(1)計(jì)算出：

(6)根據(jù)深度圖像中每一點(diǎn)在相機(jī)坐標(biāo)系下的三維坐標(biāo)(X_c,Y_c,Z_c)，以及姿態(tài)角傳感器三軸方向的轉(zhuǎn)角分布為Angle_X＝α，Angle_Y＝β，Angle_Z＝γ，則可由公式(2)計(jì)算出每一點(diǎn)在世界坐標(biāo)系下的三維坐標(biāo)(X_w,Y_w,Z_w)：

(7)三維場(chǎng)景中的每一點(diǎn)到RGB-D相機(jī)所在水平面的高度值H可由該點(diǎn)世界坐標(biāo)系下的三維坐標(biāo)的分量Y_w表示。

(8)通過深度圖像Depth中所有點(diǎn)的分量Y_w對(duì)各個(gè)點(diǎn)進(jìn)行識(shí)別,Y_w在(H₀-Δh,H₀+Δh)內(nèi)則表示該點(diǎn)為地面上的點(diǎn),否則為非地面點(diǎn)；其中，H₀為RGB-D相機(jī)到水平面的豎直高度，Δh一般為0.1米；將彩色圖像Color中的非地面點(diǎn)的顏色置為透明色，獲得只留下地平面上的點(diǎn)的彩色圖像Color_G，即去除空中物體對(duì)斑馬線檢測(cè)的干擾。

(9)對(duì)只留下地平面上的點(diǎn)的彩色圖像Color_G均分成大小為M×N的小塊，且M、N均大于斑馬線的寬度。

(10)對(duì)每個(gè)小塊進(jìn)行自適應(yīng)灰度二值化處理，得到該小塊圖像的二值化閾值，將小塊的所有像素分成兩部分。第一部分的像素灰度低于閾值，這些像素的平均灰度為μ₁，占所有像素的比例為α，第二部分的像素灰度大于等于閾值，這些像素的平均灰度為μ₂，占所有像素的比例為1-α。小塊中所有像素的灰度方差為從而可定義一個(gè)雙極系數(shù)γ，表示小塊的黑白分明的程度，雙極系數(shù)γ可由公式(3)計(jì)算：

雙極系數(shù)γ的變化范圍為0～1，雙極系數(shù)γ越大，越接近黑白分明的斑馬線圖案。

(11)對(duì)每每個(gè)小塊，如果雙極系數(shù)γ大于閾值threshold(該閾值的取值范圍通常為0.85～0.95)，則這一小圖像塊為斑馬線的候選區(qū)域。

(12)對(duì)所有斑馬線的候選區(qū)域進(jìn)行連通域分析，去除一些零碎的小塊(即不與其他候選區(qū)域連通的小塊)，連通的小塊形成一整塊斑馬線區(qū)域。

(13)根據(jù)該斑馬線區(qū)域中每一點(diǎn)的三維坐標(biāo)(X_w,Y_w,Z_w)，可獲得斑馬線區(qū)域到視障用戶的距離為(由斑馬線區(qū)域中所有點(diǎn)的平均深度表示)，斑馬線區(qū)域的方向角θ(由斑馬線區(qū)域中點(diǎn)的平均水平坐標(biāo)與平均深度之商的反正切表示，即

(14)用一種特定音色的樂器來表示斑馬線區(qū)域，斑馬線區(qū)域的距離越大，則該樂器的響度Volume越大。該樂器的發(fā)聲為立體聲，立體聲方向與斑馬線區(qū)域的方向角θ相對(duì)應(yīng)。樂器可選鋼琴、小提琴、鑼、小號(hào)、木琴等有特別音色并悅耳的。

(15)小型處理器將立體聲信號(hào)傳給骨傳導(dǎo)耳機(jī)模塊。

(16)骨傳導(dǎo)耳機(jī)模塊將立體聲信號(hào)轉(zhuǎn)為骨傳導(dǎo)震動(dòng)信號(hào)。

(17)骨傳導(dǎo)震動(dòng)模塊將骨傳導(dǎo)信號(hào)傳遞給視障用戶。

本方法相比以往的視障人士輔助方法的優(yōu)勢(shì)主要在于：

1、可以檢測(cè)出斑馬線區(qū)域的距離與方向。由于采用RGB-D相機(jī)進(jìn)行斑馬線區(qū)域的檢測(cè)，可以獲知三維信息，因此可以檢出斑馬線區(qū)域到視障用戶的距離，以及在視障用戶的什么方位，這為視障人士在路口等室外場(chǎng)景的通行提供了極大的便利和幫助。

2、可以去除空中物體等其他不是地面區(qū)域的物體對(duì)斑馬線檢測(cè)的干擾。由于采用RGB-D相機(jī)與姿態(tài)角傳感器，可獲得場(chǎng)景中物體的真實(shí)的高度值，因此可以只對(duì)地平面附近的高度范圍的圖像進(jìn)行檢測(cè)，不會(huì)將空中物體誤檢測(cè)為斑馬線，這極大了提高了斑馬線檢測(cè)的準(zhǔn)確性和可靠性，有助于視障人士在路口準(zhǔn)確地判斷并通行。

3、處理速度快。由于本方法利用三維信息去除了彩色圖像中的很多干擾，省去了對(duì)這些區(qū)域的處理，并且在檢測(cè)斑馬線的過程中只需計(jì)算分塊圖像的雙極系數(shù)等簡(jiǎn)單操作，因此計(jì)算量小，處理速度快，能夠及時(shí)的輸出結(jié)果，并反饋給視障人士從而進(jìn)行輔助。

4、斑馬線區(qū)域上有人或有車也可以及時(shí)響應(yīng)。由于斑馬線區(qū)域上有人或者車經(jīng)過時(shí)，這些不在地平面高度范圍的點(diǎn)將被去除，因此在檢出結(jié)果會(huì)產(chǎn)生變化，傳遞給視障人士的立體聲信號(hào)也會(huì)發(fā)生變化，視障人士從而可以判斷出斑馬線區(qū)域被人或車占據(jù)，預(yù)警斑馬線上行人、車輛的碰撞。

5、可自然地幫助視障人士過馬路。因?yàn)橐曊先耸侩x斑馬線區(qū)域的距離越遠(yuǎn)，立體聲的響度越大，斑馬線區(qū)域的距離越近，立體聲的響度越小。因此視障人士在遠(yuǎn)離斑馬線區(qū)域就能聽出斑馬線區(qū)域的方位，并且此時(shí)聲音響度大，視障人士能對(duì)方位區(qū)分很精確。而當(dāng)視障人士在靠近斑馬線區(qū)域時(shí)，聲音響度小，只是提示視障人士在正確的行進(jìn)路線上，不會(huì)對(duì)視障人士的雙耳造成較大的干擾。聲音響度的大小的過度變化，可以很自然地輔助視障人士過馬路。

6、不占用雙耳。本方法采用骨傳導(dǎo)耳機(jī)傳遞信號(hào)給視障人士，不妨礙視障人士在路況通行時(shí)聽取外界的聲音。比如視障人士會(huì)通過車流的聲音判斷兩側(cè)有沒有汽車靠近。

7、不占用雙手。本方法使用RGB-D相機(jī)、姿態(tài)角傳感器和小型處理器，都是便攜和可穿戴的，不會(huì)給視障用戶帶來很大的負(fù)擔(dān)，也無(wú)需視障人士用手拿輔助工具。

附圖說明

圖1為視障人士斑馬線檢測(cè)系統(tǒng)的模塊連接示意圖；

圖2為視障人士斑馬線檢測(cè)系統(tǒng)的結(jié)構(gòu)示意圖；

圖3為斑馬線區(qū)域檢測(cè)效果灰度圖；

圖4為斑馬線區(qū)域檢測(cè)效果灰度圖；

圖5為斑馬線區(qū)域檢測(cè)效果灰度圖。

具體實(shí)施方式

如圖2所示，一種基于RGB-D相機(jī)和立體聲的視障人士斑馬線檢測(cè)眼鏡，所述眼鏡包含眼鏡本體、以及固定在眼鏡本體上的一個(gè)RGB-D相機(jī)，一個(gè)姿態(tài)角傳感器，一個(gè)USB集線器，一個(gè)小型處理器，一個(gè)骨傳導(dǎo)耳機(jī)模塊，兩個(gè)骨傳導(dǎo)震動(dòng)模塊和一個(gè)電池模塊。所述RGB-D相機(jī)固定在眼鏡鏡片上方，兩個(gè)骨傳導(dǎo)震動(dòng)模位于兩個(gè)鏡腳中間偏后處，貼合盲人耳朵前方顱骨處；USB集線器、姿態(tài)角傳感器和小型處理器嵌于一個(gè)鏡腳內(nèi)；骨傳導(dǎo)耳機(jī)模塊和電池模塊嵌于另一個(gè)鏡腳內(nèi)；

如圖1所示，RGB-D相機(jī)與姿態(tài)角傳感器通過USB集線器與小型處理器相連，電池模塊與小型處理器相連；兩個(gè)骨傳導(dǎo)震動(dòng)模塊均通過骨傳導(dǎo)耳機(jī)模塊與小型處理器相連。RGB-D相機(jī)實(shí)時(shí)地采集三維場(chǎng)景的彩色圖像和深度圖像。姿態(tài)角傳感器實(shí)時(shí)獲取RGB-D相機(jī)的姿態(tài)角。小型處理器對(duì)RGB-D相機(jī)采集的彩色圖像和深度圖像，姿態(tài)角傳感器采集的姿態(tài)角信息進(jìn)行分析，檢測(cè)出三維場(chǎng)景的斑馬線區(qū)域，并計(jì)算出斑馬線區(qū)域和方向，并將處理結(jié)果轉(zhuǎn)化為立體聲信號(hào)，傳到骨傳導(dǎo)耳機(jī)模塊。骨傳導(dǎo)耳機(jī)模塊將立體聲信號(hào)轉(zhuǎn)化為骨傳導(dǎo)震動(dòng)信號(hào)，傳到兩個(gè)骨傳導(dǎo)震動(dòng)模塊。最終骨傳導(dǎo)震動(dòng)模塊通過震動(dòng)傳輸立體聲信號(hào)給視障用戶，告知視障用戶當(dāng)前場(chǎng)景中斑馬線區(qū)域的區(qū)域和方向。

上述系統(tǒng)的斑馬線檢測(cè)方法如下：

(1)對(duì)RGB-D相機(jī)進(jìn)行一次相機(jī)標(biāo)定，獲取RGB-D相機(jī)的焦距f，主點(diǎn)位置(c_x,c_y)。

(2)RGB-D相機(jī)采集三維場(chǎng)景的深度圖像Depth和彩色圖像Color。

(3)姿態(tài)角傳感器采集RGB-D相機(jī)X，Y，Z三軸方向的轉(zhuǎn)角Angle_X，Angle_Y，Angle_Z。

(4)USB集線器將深度圖像Depth，彩色圖像Color，三軸方向的轉(zhuǎn)角Angle_X，Angle_Y，Angle_Z傳給小型處理器。

(5)小型處理器根據(jù)深度圖像Depth，RGB-D相機(jī)的焦距f，主點(diǎn)位置(c_x,c_y)，可計(jì)算出每一點(diǎn)在相機(jī)坐標(biāo)系下的三維坐標(biāo)(X_c,Y_c,Z_c)。深度圖像Depth中一點(diǎn)坐標(biāo)為(u,v)，其深度值為depth，則相機(jī)坐標(biāo)系下三維坐標(biāo)(X_c,Y_c,Z_c)可由公式(1)計(jì)算出：

(6)根據(jù)深度圖像中每一點(diǎn)在相機(jī)坐標(biāo)系下的三維坐標(biāo)(X_c,Y_c,Z_c)，以及姿態(tài)角傳感器三軸方向的轉(zhuǎn)角分布為Angle_X＝α，Angle_Y＝β，Angle_Z＝γ，則可由公式(2)計(jì)算出每一點(diǎn)在世界坐標(biāo)系下的三維坐標(biāo)(X_w,Y_w,Z_w)：

(7)三維場(chǎng)景中的每一點(diǎn)到RGB-D相機(jī)所在水平面的高度值H可由該點(diǎn)世界坐標(biāo)系下的三維坐標(biāo)的分量Y_w表示。

(8)通過深度圖像Depth中所有點(diǎn)的分量Y_w對(duì)各個(gè)點(diǎn)進(jìn)行識(shí)別,Y_w在(H₀-Δh,H₀+Δh)內(nèi)則表示該點(diǎn)為地面上的點(diǎn),否則為非地面點(diǎn)；其中，H₀為RGB-D相機(jī)到水平面的豎直高度，Δh一般為0.1米；將彩色圖像Color中的非地面點(diǎn)的顏色置為透明色，獲得只留下地平面上的點(diǎn)的彩色圖像Color_G，即去除空中物體對(duì)斑馬線檢測(cè)的干擾。

(9)對(duì)只留下地平面上的點(diǎn)的彩色圖像Color_G均分成大小為M×N的小塊，且M、N均大于斑馬線的寬度。

(10)對(duì)每個(gè)小塊進(jìn)行自適應(yīng)灰度二值化處理，得到該小塊圖像的二值化閾值，將小塊的所有像素分成兩部分。第一部分的像素灰度低于閾值，這些像素的平均灰度為μ₁，占所有像素的比例為α，第二部分的像素灰度大于等于閾值，這些像素的平均灰度為μ₂，占所有像素的比例為1-α。小塊中所有像素的灰度方差為從而可定義一個(gè)雙極系數(shù)γ，表示小塊的黑白分明的程度，雙極系數(shù)γ可由公式(3)計(jì)算：

雙極系數(shù)γ的變化范圍為0～1，雙極系數(shù)γ越大，越接近黑白分明的斑馬線圖案。

(11)對(duì)每個(gè)小塊，如果雙極系數(shù)γ大于閾值threshold(該閾值的取值范圍通常為0.85～0.95)，則這一小圖像塊為斑馬線的候選區(qū)域。

(12)對(duì)所有斑馬線的候選區(qū)域進(jìn)行連通域分析，去除一些零碎的小塊(即不與其他候選區(qū)域連通的小塊)，連通的小塊形成一整塊斑馬線區(qū)域。

(13)根據(jù)該斑馬線區(qū)域中每一點(diǎn)的三維坐標(biāo)(X_w,Y_w,Z_w)，可獲得斑馬線區(qū)域到視障用戶的距離為(由斑馬線區(qū)域中所有點(diǎn)的平均深度表示)，斑馬線區(qū)域的方向角θ(由斑馬線區(qū)域中點(diǎn)的平均水平坐標(biāo)與平均深度之商的反正切表示，即

(14)用一種特定音色的樂器來表示斑馬線區(qū)域，斑馬線區(qū)域的距離越大，則該樂器的響度Volume越大。該樂器的發(fā)聲為立體聲，立體聲方向與斑馬線區(qū)域的方向角θ相對(duì)應(yīng)。樂器可選鋼琴、小提琴、鑼、小號(hào)、木琴等有特別音色并悅耳的。

(15)小型處理器將立體聲信號(hào)傳給骨傳導(dǎo)耳機(jī)模塊。

(16)骨傳導(dǎo)耳機(jī)模塊將立體聲信號(hào)轉(zhuǎn)為骨傳導(dǎo)震動(dòng)信號(hào)。

(17)骨傳導(dǎo)震動(dòng)模塊將骨傳導(dǎo)信號(hào)傳遞給視障用戶。