本發(fā)明屬于圖像處理
技術(shù)領(lǐng)域：
，更進(jìn)一步涉及計(jì)算機(jī)視覺
技術(shù)領(lǐng)域：
中的一種基于立體視覺的行人檢測與測距的方法。本發(fā)明可以對(duì)雙目攝像頭拍攝的立體視覺圖像做行人檢測，并且通過立體視覺圖像的視差計(jì)算獲得行人到雙目攝像頭的距離。
背景技術(shù)：
：行人檢測與測距使用雙目攝像頭拍攝得到立體視覺圖像，然后對(duì)立體視覺圖像做行人檢測，并且通過立體視覺圖像的視差計(jì)算獲得行人到雙目攝像頭的距離。浙江大學(xué)在其申請(qǐng)的專利文獻(xiàn)“一種基于視覺的快速行人檢測方法”(專利申請(qǐng)?zhí)?01310132965.1，公開號(hào)103177248b)中公開了一種行人檢測方法。該方法首先通過安裝在車輛上的攝像頭獲取車輛前進(jìn)道路上的視頻圖像，然后采用類哈爾特征作為行人描述特征，構(gòu)建多尺度級(jí)聯(lián)分類器作為行人檢測器，采用串聯(lián)級(jí)聯(lián)策略實(shí)現(xiàn)快速的實(shí)時(shí)行人與非行人的分類識(shí)別，最后用非極大值抑制算法確定與行人特征最匹配的滑動(dòng)窗口，確定行人的位置。該方法存在的不足之處是，該方法使用滑動(dòng)窗口對(duì)圖像的每個(gè)位置做特征提取和分類識(shí)別，滑動(dòng)窗口需要計(jì)算一幅圖像中的大量窗口，因此算法復(fù)雜度高，運(yùn)算耗時(shí)大。redmon,joseph,etal.在其發(fā)表的論文"youonlylookonce:unified,real-timeobjectdetection."(proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition.2016.)中提出了一種行人檢測的方法。該方法使用一個(gè)單一的卷積神經(jīng)網(wǎng)絡(luò)fast-yolo，將圖像均勻分割成7×7的正方形區(qū)域，實(shí)現(xiàn)對(duì)圖像中行人目標(biāo)的檢測。該方法存在的不足之處是，該方法將圖像分割成7×7的正方形區(qū)域，每個(gè)正方形區(qū)域只能檢測一個(gè)行人目標(biāo)，因此對(duì)行人相互靠近的圖像的檢測準(zhǔn)確率較低。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)中的不足，提出一種基于立體視覺的行人檢測與測距的方法，能夠有效提高圖像行人檢測的運(yùn)算速度，對(duì)行人相互靠近的圖像具有更好的檢測準(zhǔn)確率，可以獲得圖像中行人到雙目攝像頭的距離。為實(shí)現(xiàn)上述目的，本發(fā)明具體實(shí)現(xiàn)步驟包括如下：(1)獲取立體視覺圖像：使用雙目攝像頭拍攝待檢測與測距的包含行人通過的監(jiān)控場景，得到該場景的立體視覺左圖像和立體視覺右圖像；(2)構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)：構(gòu)建一個(gè)包含8個(gè)卷積層、5個(gè)抽取層和1個(gè)全連接層的卷積神經(jīng)網(wǎng)絡(luò)；(3)計(jì)算立體視覺左圖像的預(yù)測值：(3a)將立體視覺左圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)中，輸出尺寸為980×1個(gè)像素的特征向量；(3b)將立體視覺左圖像均勻劃分為14×14個(gè)正方形區(qū)域；(3c)將卷積神經(jīng)網(wǎng)絡(luò)輸出的980×1個(gè)像素的特征向量中的所有的向量元素，均勻分配給立體視覺左圖像的每個(gè)正方形區(qū)域，每個(gè)正方形區(qū)域得到5個(gè)向量元素；將每個(gè)正方形區(qū)域的5個(gè)向量元素，依次作為該區(qū)域的行人存在概率預(yù)測值、行人橫坐標(biāo)預(yù)測值、行人縱坐標(biāo)預(yù)測值、行人寬度預(yù)測值、行人高度預(yù)測值；(4)判斷立體視覺左圖像的每個(gè)正方形區(qū)域的行人存在概率預(yù)測值是否大于0.5，若是，則認(rèn)為該區(qū)域存在行人，執(zhí)行步驟(5)；否則，認(rèn)為該區(qū)域不存在行人，執(zhí)行步驟(6)；(5)對(duì)預(yù)測值做去歸一化處理：將存在行人的正方形區(qū)域的行人橫坐標(biāo)預(yù)測值、行人縱坐標(biāo)預(yù)測值、行人寬度預(yù)測值、行人高度預(yù)測值分別做去歸一化處理，得到用于確定行人位置的橫坐標(biāo)值和縱坐標(biāo)值、行人的寬度值和行人的高度值；(6)計(jì)算匹配代價(jià)值：(6a)將立體視覺左圖像中每個(gè)像素點(diǎn)的視差值的取值范圍設(shè)置為0到255個(gè)灰度值；(6b)按照下式，計(jì)算立體視覺左圖像中每個(gè)像素點(diǎn)分別取0到255灰度值范圍內(nèi)的每個(gè)視差值的匹配代價(jià)值：其中，cp表示立體視覺左圖像中每個(gè)像素點(diǎn)分別取0到255灰度值范圍內(nèi)的各個(gè)視差值的匹配代價(jià)值，dp表示立體視覺左圖像中第p個(gè)像素點(diǎn)的視差值，∑表示求和操作，u表示立體視覺左圖像中第p個(gè)像素點(diǎn)的5×5個(gè)像素鄰域中的像素點(diǎn)，∈表示屬于符號(hào)，n表示立體視覺左圖像中第p個(gè)像素點(diǎn)的5×5個(gè)像素的鄰域，|·|表示取絕對(duì)值操作，il表示立體視覺左圖像，xu表示立體視覺左圖像中第p個(gè)像素點(diǎn)的5×5個(gè)像素鄰域中的像素點(diǎn)u的橫坐標(biāo)值，yu表示立體視覺左圖像中第p個(gè)像素點(diǎn)的5×5個(gè)像素鄰域中的像素點(diǎn)u的縱坐標(biāo)值，ir表示立體視覺右圖像；(7)選擇最優(yōu)視差值：對(duì)立體視覺左圖像中每個(gè)像素點(diǎn)，從0到255灰度值范圍內(nèi)的各個(gè)視差值中，選擇使該像素點(diǎn)的匹配代價(jià)值最小時(shí)的視差值作為最優(yōu)視差值；(8)按照下式，計(jì)算立體視覺左圖像中存在行人的區(qū)域中行人離攝像頭的距離：其中，zi表示存在行人的第i個(gè)區(qū)域中行人離攝像頭的距離，f表示雙目攝像頭的焦距，×表示相乘操作，t表示雙目攝像頭的中心距，di表示存在行人的第i個(gè)區(qū)域中行人位置像素點(diǎn)的最優(yōu)視差值；(9)輸出立體視覺左圖像中存在行人的區(qū)域中的行人離攝像頭的距離。本發(fā)明與現(xiàn)有的技術(shù)相比具有以下優(yōu)點(diǎn)：第1、由于本發(fā)明使用卷積神經(jīng)網(wǎng)絡(luò)的方法對(duì)圖像做行人檢測，克服了現(xiàn)有技術(shù)中滑動(dòng)窗口重復(fù)計(jì)算圖像的大量候選區(qū)域?qū)е逻\(yùn)算復(fù)雜度高的問題，使得本發(fā)明提高了行人檢測的運(yùn)算速度。第2、由于本發(fā)明使用的卷積神經(jīng)網(wǎng)絡(luò)將圖像分割成14×14的正方形區(qū)域，克服了現(xiàn)有技術(shù)中fast-yolo將圖像分割成7×7的正方形區(qū)域?qū)е滦腥藱z測分辨度較低的問題，使得本發(fā)明提高了對(duì)行人相互靠近的圖像的檢測準(zhǔn)確率。附圖說明圖1是本發(fā)明的流程圖；圖2是本發(fā)明的仿真圖。具體實(shí)施方式下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步的描述。參照?qǐng)D1，對(duì)本發(fā)明的具體步驟做進(jìn)一步的描述。步驟1，獲取立體視覺圖像。使用雙目攝像頭拍攝待檢測與測距的包含行人通過的監(jiān)控場景，得到該場景的立體視覺左圖像和立體視覺右圖像。步驟2，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)。構(gòu)建一個(gè)包含8個(gè)卷積層、5個(gè)抽取層和1個(gè)全連接層的卷積神經(jīng)網(wǎng)絡(luò)。構(gòu)建的包含8個(gè)卷積層、5個(gè)抽取層和1個(gè)全連接層的卷積神經(jīng)網(wǎng)絡(luò)的14層網(wǎng)絡(luò)層連接關(guān)系是，按照第1個(gè)卷積層、第1個(gè)抽取層、第2個(gè)卷積層、第2個(gè)抽取層、第3個(gè)卷積層、第3個(gè)抽取層、第4個(gè)卷積層、第4個(gè)抽取層、第5個(gè)卷積層、第5個(gè)抽取層、第6個(gè)卷積層、第7個(gè)卷積層、第8個(gè)卷積層、全連接層的次序依次相連。14層網(wǎng)絡(luò)層中每層的具體參數(shù)設(shè)置如下：第1個(gè)卷積層的輸入圖像大小為448×448×3個(gè)像素，卷積核尺寸為3×3×16個(gè)像素，邊界填充尺寸為1個(gè)像素，步長為1個(gè)像素。第1個(gè)抽取層，抽取核尺寸為2×2個(gè)像素，步長為2個(gè)像素。第2個(gè)卷積層：卷積核尺寸為3×3×32個(gè)像素，邊界填充尺寸為1個(gè)像素，步長為1個(gè)像素。第2個(gè)抽取層：抽取核尺寸為2×2個(gè)像素，步長為2個(gè)像素。第3個(gè)卷積層：卷積核尺寸為3×3×64個(gè)像素，邊界填充尺寸為1個(gè)像素，步長為1個(gè)像素。第3個(gè)抽取層：抽取核尺寸為2×2個(gè)像素，步長為2個(gè)像素。第4個(gè)卷積層：卷積核尺寸為3×3×128個(gè)像素，邊界填充尺寸為1個(gè)像素，步長為1個(gè)像素。第4個(gè)抽取層：抽取核尺寸為2×2個(gè)像素，步長為2個(gè)像素。第5個(gè)卷積層：卷積核尺寸為3×3×256個(gè)像素，邊界填充尺寸為1個(gè)像素，步長為1個(gè)像素。第5個(gè)抽取層：抽取核尺寸為2×2個(gè)像素，步長為2個(gè)像素。第6個(gè)卷積層：卷積核尺寸為3×3×512個(gè)像素，邊界填充尺寸為1個(gè)像素，步長為1個(gè)像素。第7個(gè)卷積層：卷積核尺寸為3×3×1024個(gè)像素，邊界填充尺寸為1個(gè)像素，步長為1個(gè)像素。第8個(gè)卷積層：卷積核尺寸為3×3×256個(gè)像素，邊界填充尺寸為1個(gè)像素，步長為1個(gè)像素。全連接層的輸出為尺寸為980×1個(gè)像素的向量。步驟3，計(jì)算立體視覺左圖像的預(yù)測值。將立體視覺左圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)中，輸出尺寸為980×1個(gè)像素的特征向量。將立體視覺左圖像均勻劃分為14×14個(gè)正方形區(qū)域。將卷積神經(jīng)網(wǎng)絡(luò)輸出的980×1個(gè)像素的特征向量中的所有的向量元素，均勻分配給立體視覺左圖像的每個(gè)正方形區(qū)域，每個(gè)正方形區(qū)域得到5個(gè)向量元素；將每個(gè)正方形區(qū)域的5個(gè)向量元素，依次作為該區(qū)域的行人存在概率預(yù)測值、行人橫坐標(biāo)預(yù)測值、行人縱坐標(biāo)預(yù)測值、行人寬度預(yù)測值、行人高度預(yù)測值。步驟4，判斷立體視覺左圖像的每個(gè)正方形區(qū)域的行人存在概率預(yù)測值是否大于0.5，若是，則認(rèn)為該區(qū)域存在行人，執(zhí)行步驟5；否則，認(rèn)為該區(qū)域不存在行人，執(zhí)行步驟6。步驟5，對(duì)預(yù)測值做去歸一化處理。將存在行人的正方形區(qū)域的行人橫坐標(biāo)預(yù)測值、行人縱坐標(biāo)預(yù)測值、行人寬度預(yù)測值、行人高度預(yù)測值分別做去歸一化處理，得到用于確定行人位置的橫坐標(biāo)值和縱坐標(biāo)值、行人的寬度值和行人的高度值。步驟6，計(jì)算匹配代價(jià)值。將立體視覺左圖像中每個(gè)像素點(diǎn)的視差值的取值范圍設(shè)置為0到255個(gè)灰度值。按照下式，計(jì)算立體視覺左圖像中每個(gè)像素點(diǎn)分別取0到255灰度值范圍內(nèi)的每個(gè)視差值的匹配代價(jià)值：其中，cp表示立體視覺左圖像中每個(gè)像素點(diǎn)分別取0到255灰度值范圍內(nèi)的各個(gè)視差值的匹配代價(jià)值，dp表示立體視覺左圖像中第p個(gè)像素點(diǎn)的視差值，∑表示求和操作，u表示立體視覺左圖像中第p個(gè)像素點(diǎn)的5×5個(gè)像素鄰域中的像素點(diǎn)，∈表示屬于符號(hào)，n表示立體視覺左圖像中第p個(gè)像素點(diǎn)的5×5個(gè)像素的鄰域，|·|表示取絕對(duì)值操作，il表示立體視覺左圖像，xu表示立體視覺左圖像中第p個(gè)像素點(diǎn)的5×5個(gè)像素鄰域中的像素點(diǎn)u的橫坐標(biāo)值，yu表示立體視覺左圖像中第p個(gè)像素點(diǎn)的5×5個(gè)像素鄰域中的像素點(diǎn)u的縱坐標(biāo)值，ir表示立體視覺右圖像。步驟7，選擇最優(yōu)視差值。對(duì)立體視覺左圖像中每個(gè)像素點(diǎn)，從0到255灰度值范圍內(nèi)的各個(gè)視差值中，選擇使該像素點(diǎn)的匹配代價(jià)值最小時(shí)的視差值作為最優(yōu)視差值。步驟8，按照下式，計(jì)算立體視覺左圖像中存在行人的區(qū)域中行人離攝像頭的距離：其中，zi表示存在行人的第i個(gè)區(qū)域中行人離攝像頭的距離，f表示雙目攝像頭的焦距，×表示相乘操作，t表示雙目攝像頭的中心距，di表示存在行人的第i個(gè)區(qū)域中行人位置像素點(diǎn)的最優(yōu)視差值。步驟9，輸出立體視覺左圖像中存在行人的區(qū)域中的行人離攝像頭的距離。下面結(jié)合仿真實(shí)驗(yàn)對(duì)本發(fā)明的效果做進(jìn)一步的描述。1、仿真實(shí)驗(yàn)條件：本文的實(shí)驗(yàn)環(huán)境為ubuntu14.04系統(tǒng)，處理器型號(hào)為xeon(r)cpue5-26300@2.30ghz×12，顯卡型號(hào)為geforcegtx980ti/pcie/sse2，顯存4g，內(nèi)存32gb，雙目攝像頭為bumblebee2，測試數(shù)據(jù)為使用雙目攝像頭在行人通過的監(jiān)控場景中采集了200組行人相互靠近的圖像，圖像的分辨率為640×480個(gè)像素。2、實(shí)驗(yàn)內(nèi)容與結(jié)果：表1是滑動(dòng)窗口方法和本發(fā)明分別對(duì)測試數(shù)據(jù)中200組圖像做行人檢測的平均運(yùn)算時(shí)間。從表1中可見，滑動(dòng)窗口方法的行人檢測運(yùn)算時(shí)間在0.5秒到1分鐘之間，而本發(fā)明的行人檢測運(yùn)算時(shí)間僅需要0.083秒，可見本發(fā)明的行人檢測運(yùn)算時(shí)間遠(yuǎn)低于滑動(dòng)窗口方法的行人檢測運(yùn)算時(shí)間。表1行人檢測運(yùn)算時(shí)間滑動(dòng)窗口方法本發(fā)明640×480分辨率0.5s～1min0.083s表2是fast-yolo方法和本發(fā)明分別對(duì)測試數(shù)據(jù)中200組圖像做行人檢測的平均檢測準(zhǔn)確率。從表2中可見，fast-yolo方法的平均檢測準(zhǔn)確率為35.10，而本發(fā)明的的平均檢測準(zhǔn)確率為80.56，可見本發(fā)明對(duì)于行人相互靠近的圖像的的平均檢測準(zhǔn)確率遠(yuǎn)高于fast-yolo。表2平均檢測準(zhǔn)確率fast-yolo本發(fā)明平均準(zhǔn)確率35.1080.56附圖2是本發(fā)明的仿真圖，其中，圖2中的“foundperson:2”表示在圖像中檢測到兩個(gè)行人，“person1”、“person2”分別表示檢測到的行人1、行人2，圈中兩個(gè)矩形方框分別表示檢測到的行人1和行人2的位置，“z＝1.74m”、“z＝2.05m”分別表示行人1離攝像頭的距離為1.74米、行人2離攝像頭的距離為2.05m?？梢钥吹?，本發(fā)明有效地檢測出圖像中的行人，并計(jì)算出行人到雙目攝像頭的距離。綜上所述，本發(fā)明能夠有效提高圖像行人檢測的運(yùn)算速度，對(duì)行人相互靠近的圖像具有更好的檢測準(zhǔn)確率，并獲得圖像中行人到雙目攝像頭的距離。當(dāng)前第1頁12