一種基于優(yōu)化聚合積分通道的雙目行人檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明總體上涉及計(jì)算機(jī)視覺模式識(shí)別領(lǐng)域,更具體地涉及一種雙目視覺環(huán)境 下,采用二階段分割方法獲取感興趣區(qū)域與最小目標(biāo)尺度,基于聚合積分通道模型完成行 人目標(biāo)建模,并以此為基礎(chǔ),結(jié)合最小目標(biāo)尺度優(yōu)化檢測(cè)階段圖像特征金字塔結(jié)構(gòu),以實(shí)現(xiàn) 行人檢測(cè)的方法。
【背景技術(shù)】
[0002] 隨著計(jì)算機(jī)視覺與機(jī)器學(xué)習(xí)的發(fā)展,行人檢測(cè)因其在輔助駕駛、智能控制及人工 智能等方面的廣泛應(yīng)用,得到了業(yè)內(nèi)人員的廣泛關(guān)注。由于背景的復(fù)雜性及行人非剛性變 化的多樣性,如何快速識(shí)別行人目標(biāo)、有效區(qū)分障礙干擾,仍是該領(lǐng)域亟待解決的難題。
[0003] 傳統(tǒng)的行人檢測(cè)多基于單攝像頭環(huán)境,在單目視野下,以顏色、梯度、運(yùn)動(dòng)矢量等 信息區(qū)分感興趣區(qū)域,并基于感興趣區(qū)域運(yùn)行滑窗以實(shí)現(xiàn)行人檢測(cè)。由于單目信息的局限 性,往往較難規(guī)避障礙干擾的影響,誤檢率(FPR)較高。近年來興起的雙目行人檢測(cè)方法,利 用雙目視覺提供的目標(biāo)深度信息判斷潛在行人區(qū)域,提高了檢測(cè)準(zhǔn)確性,但新增信息量引 起了計(jì)算冗余度的大幅增長,難以滿足檢測(cè)的實(shí)時(shí)性要求。
[0004] 為保證行人檢測(cè)的準(zhǔn)確度與計(jì)算速度,研究人員提出了多種有效的行人檢測(cè)框 架,如H0G+SVM行人檢測(cè)框架、Viola&Jones框架、可變形部件模型(Deformable Parts Model)框架等?;诰酆戏e分通道特征的行人檢測(cè)框架,對(duì)檢測(cè)階段圖像特征金字塔的求 取進(jìn)行了優(yōu)化,只計(jì)算某些尺度下的圖像特征以估測(cè)相鄰尺度下的特征。然而,所有上述方 法在檢測(cè)階段對(duì)所有滑窗區(qū)域均采用固定且層數(shù)相同的金字塔結(jié)構(gòu),實(shí)際應(yīng)用中,對(duì)于某 一特定深度、特定尺寸的行人目標(biāo),許多尺度的特征計(jì)算是沒有意義的,固定層數(shù)的金字塔 計(jì)算存在大量冗余。
[0005] 因此,進(jìn)一步研究如何在準(zhǔn)確獲取潛在行人位置的同時(shí)盡量減小運(yùn)算數(shù)據(jù)量,對(duì) 行人檢測(cè)的發(fā)展應(yīng)用具有重要意義。
【發(fā)明內(nèi)容】
[0006] 本發(fā)明旨在改善現(xiàn)有技術(shù)的上述不足,提供一種能準(zhǔn)確獲取潛在行人位置、簡化 計(jì)算數(shù)據(jù)量的基于雙目視覺的行人檢測(cè)方法。
[0007] 為達(dá)到上述目的,本發(fā)明采用如下的技術(shù)方案:
[0008] -種基于優(yōu)化聚合積分通道的雙目行人檢測(cè)方法,包括下列步驟:
[0009] (1)預(yù)處理工作:對(duì)雙目成像系統(tǒng)進(jìn)行相機(jī)標(biāo)定與立體校正,得到對(duì)準(zhǔn)于前向平行 結(jié)構(gòu)的左右視點(diǎn)圖;
[0010] (2)基于左右視點(diǎn)圖,采用立體匹配算法實(shí)現(xiàn)左右視圖匹配,提取稠密視差圖;
[0011] (3)基于獲取的稠密視差圖,進(jìn)行粗細(xì)二階段分割,獲取感興趣區(qū)域與最小行人目 標(biāo)尺度:
[0012] a.在粗分割階段,米用Otsu多閾值分割方法,輸出最佳閾值下的粗分割后的像素 集合;
[0013] b.在接下來的細(xì)分割階段,采用區(qū)域生長方法,首先確定粗分割后的每個(gè)像素集 合中比重最大的像素值,將這些像素點(diǎn)作為初始種子,第η塊區(qū)域的生長閾值由下式確定:
[0015]其中,Tup、TlOT分別為第η塊區(qū)域的生長閾值的上限和下限,δ為人工設(shè)定的可調(diào)變 量,此時(shí)獲得的生長區(qū)域?yàn)楦信d趣區(qū)域,隨后,采用上述閾值的1/2為新生長閾值,重新進(jìn)行 區(qū)域生長,即:
[0017] 其中,Tup'、Tlciw'為第η塊區(qū)域的新生長閾值,此時(shí)獲得的區(qū)域?yàn)樽钚⌒腥四繕?biāo)尺 度,分別采用矩形擬合方式標(biāo)定所有的感興趣區(qū)域與最小行人目標(biāo)尺度。
[0018] (4)訓(xùn)練階段:對(duì)行人圖像集,采用聚合積分通道方法訓(xùn)練分類器;
[0019] (5)檢測(cè)階段,輸入待檢測(cè)雙目視點(diǎn)圖,按照步驟(1)~⑶提取感興趣區(qū)域與最小 行人目標(biāo)尺度的信息,基于感興趣區(qū)域運(yùn)行滑窗,對(duì)每一滑窗區(qū)域求取不同尺度下的聚合 積分通道特征,構(gòu)建圖像特征金字塔;在金字塔的構(gòu)建上,對(duì)于某編號(hào)為i的感興趣區(qū)域與 其最小行人目標(biāo)尺度~,結(jié)合根濾波器尺度\,該區(qū)域構(gòu)建的圖像特征金字塔層數(shù)m依據(jù) 下式確定:
[0021 ] 即,每一感興趣區(qū)域輸出的圖像金字塔層數(shù)均由其最小行人目標(biāo)尺度實(shí)現(xiàn)自適應(yīng) 調(diào)整,將圖像特征金字塔輸入分類器,輸出判定分?jǐn)?shù);
[0022] (6)對(duì)單感興趣區(qū)域內(nèi)的不同滑窗區(qū)域檢測(cè)結(jié)果進(jìn)行篩選,將分類器評(píng)分最高的 滑窗區(qū)域作為行人檢測(cè)結(jié)果,最終輸出較為準(zhǔn)確的行人檢測(cè)結(jié)果。
[0023]其特征在于,步驟(6)最好采用非極大值抑制(匪S)約束原理,對(duì)單感興趣區(qū)域內(nèi) 的不同滑窗區(qū)域檢測(cè)結(jié)果進(jìn)行篩選。
【附圖說明】
[0024]圖1是本發(fā)明的基本流程圖。
[0025] 圖2是本發(fā)明各基本流程的實(shí)驗(yàn)效果圖:(a)為待檢測(cè)圖像,(b)為立體匹配方法獲 得的稠密視差圖、(c)為粗階段多閾值分割結(jié)果,(d)為細(xì)階段區(qū)域分割結(jié)果,(e)為最終行 人檢測(cè)結(jié)果,方框標(biāo)定出檢測(cè)到的行人目標(biāo)。
【具體實(shí)施方式】
[0026] 為使本發(fā)明的目的、實(shí)現(xiàn)方案和優(yōu)點(diǎn)更為清晰,下面對(duì)本發(fā)明的具體實(shí)施作進(jìn)一 步的詳細(xì)描述。
[0027] (1)預(yù)處理工作:對(duì)雙目成像系統(tǒng)進(jìn)行相機(jī)標(biāo)定與立體校正,得到對(duì)準(zhǔn)于前向平行 結(jié)構(gòu)的左右視點(diǎn)圖;
[0028] (2)基于左右視點(diǎn)圖提取稠密視差圖。采用非局部視差聚合匹配(NLCA)算法實(shí)現(xiàn) 左右視圖匹配,根據(jù)勝者為王(WTA)規(guī)則選擇最優(yōu)視差值。有關(guān)NLCA算法用于雙目視圖立體 匹配的合理性證明,可參見"Yang Qingxiong.Anon-local costaggregationmethod for stereo matching[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR),Providence,RI,2012:1402-1409·" 一文;
[0029] (3)基于獲取的稠密視差圖,進(jìn)行粗細(xì)二階段分割,獲取感興趣區(qū)域與最小行人目 標(biāo)尺度。在粗分割階段,采用擴(kuò)展的Otsu多閾值分割方法,輸出最佳閾值下的分割結(jié)果,此 時(shí),考慮到行人檢測(cè)的實(shí)際情況,將區(qū)域面積小于25X50的分割結(jié)果直接刪除,最終分割結(jié) 果表示為:
[0030] Ai={ki,ki+1. . .k2}, ???An= {kn,kn+l, . . .kn+i}, ???Am= {km,km+l, . . .L}
[0031] 其中l(wèi)u~km為分割閾值。在接下來的細(xì)分割階段,采用區(qū)域生長策略,首先選取每 類比例最大的像素值作為初始種子,第η類的生長閾值由下式確定:
[0033] 其中,δ為人工設(shè)定的可調(diào)變量。此時(shí)獲得的生長區(qū)域?yàn)楦信d趣區(qū)域。隨后,設(shè)定上 述閾值的1/2為新生長閾值,重新進(jìn)行區(qū)域生長,此時(shí)獲得的區(qū)域?yàn)闈撛谧钚⌒腥顺叨?,?區(qū)域生長可獲得的行人最小面積區(qū)域。分別采用矩形擬合方式標(biāo)定所有的ROIs與潛在行人 最小尺度。
[0034] (4)訓(xùn)練階段:對(duì)訓(xùn)練雙目視點(diǎn)圖像集,采用聚合積分通道方法訓(xùn)練分類器,有關(guān) 聚合積分通道方法適用于行人檢測(cè)分類器模型訓(xùn)練的合理性依據(jù),可參見"Dollar P, Appel R,Belon gie S,et al .Fast feature pyramids for object detection!!J] · IEEE Transactions on Pattern Analysis and Mach ine Intelligence(PAMI),2014,36(8): 1532-1545."一文。
[0035] (5)檢測(cè)階段:按照步驟(1)~(3)提取ROIs與潛在行人最小尺度信息。設(shè)定滑動(dòng)窗 口尺寸為128X64,步長為4,基于ROIs區(qū)域運(yùn)行滑窗,對(duì)每一滑窗區(qū)域求取不同尺度下的聚 合積分通道特征,構(gòu)建圖像特征金字塔。在金字塔的構(gòu)建上,對(duì)于特定的R0L·區(qū)域與其潛在 行人最小尺度\,結(jié)合根濾波器尺度\,該區(qū)域構(gòu)建的圖像特征金字塔層數(shù)依據(jù)下式確定:
[0037] 即,每一R0I區(qū)域輸出的圖像金字塔層數(shù)均由其目標(biāo)行人所在深度、行人面積實(shí)現(xiàn) 自適應(yīng)調(diào)整,從而減少不必要的尺度計(jì)算。
[0038]為盡量避免單目標(biāo)重復(fù)檢測(cè)與誤檢測(cè)的出現(xiàn),采用非極大值抑制(NMS)約束原理, 對(duì)單R0I區(qū)域內(nèi)的不同滑窗區(qū)域檢測(cè)結(jié)果進(jìn)行篩選。遵循行人檢測(cè)的一般設(shè)定,在窗口重疊 率超過60%的范圍內(nèi),采用NMS篩選出分類器評(píng)分最高的滑窗作為行人檢測(cè)結(jié)果。窗口重疊 率可根據(jù)實(shí)際場(chǎng)景作相應(yīng)調(diào)整,在避免目標(biāo)重復(fù)檢測(cè)的同時(shí),降低障礙物干擾的影響。最終 輸出較為準(zhǔn)確的行人檢測(cè)結(jié)果。
【主權(quán)項(xiàng)】
1. 一種基于優(yōu)化聚合積分通道的雙目行人檢測(cè)方法,包括下列步驟: (1) 預(yù)處理工作:對(duì)雙目成像系統(tǒng)進(jìn)行相機(jī)標(biāo)定與立體校正,得到對(duì)準(zhǔn)于前向平行結(jié)構(gòu) 的左右視點(diǎn)圖; (2) 基于左右視點(diǎn)圖,采用立體匹配算法實(shí)現(xiàn)左右視圖匹配,提取稠密視差圖; (3) 基于獲取的稠密視差圖,進(jìn)行粗細(xì)二階段分割,獲取感興趣區(qū)域與最小行人目標(biāo)尺 度: a. 在粗分割階段,采用Otsu多闊值分割方法,輸出最佳闊值下的粗分割后的像素集合; b. 在接下來的細(xì)分割階段,采用區(qū)域生長方法,首先確定粗分割后的每個(gè)像素集合中 比重最大的像素值,將運(yùn)些像素點(diǎn)作為初始種子,第η塊區(qū)域的生長闊值由下式確定:其中,Tup、Ti?分別為第η塊區(qū)域的生長闊值的上限和下限,δ為人工設(shè)定的可調(diào)變量,此 時(shí)獲得的生長區(qū)域?yàn)楦信d趣區(qū)域,隨后,采用上述闊值的1/2為新生長闊值,重新進(jìn)行區(qū)域 生長,即:其中,Tup'、Τι?'為第η塊區(qū)域的新生長闊值,此時(shí)獲得的區(qū)域?yàn)樽钚⌒腥四繕?biāo)尺度,分 別采用矩形擬合方式標(biāo)定所有的感興趣區(qū)域與最小行人目標(biāo)尺度。 (4) 訓(xùn)練階段:對(duì)行人圖像集,采用聚合積分通道方法訓(xùn)練分類器; (5) 檢測(cè)階段,輸入待檢測(cè)雙目視點(diǎn)圖,按照步驟(1)~(3)提取感興趣區(qū)域與最小行人 目標(biāo)尺度的信息,基于感興趣區(qū)域運(yùn)行滑窗,對(duì)每一滑窗區(qū)域求取不同尺度下的聚合積分 通道特征,構(gòu)建圖像特征金字塔;在金字塔的構(gòu)建上,對(duì)于某編號(hào)為i的感興趣區(qū)域與其最 小行人目標(biāo)尺度^,結(jié)合根濾波器尺度&,,該區(qū)域構(gòu)建的圖像特征金字塔層數(shù)m依據(jù)下式 確定:即,每一感興趣區(qū)域輸出的圖像金字塔層數(shù)均由其最小行人目標(biāo)尺度實(shí)現(xiàn)自適應(yīng)調(diào) 整,將圖像特征金字塔輸入分類器,輸出判定分?jǐn)?shù); (6) 對(duì)單感興趣區(qū)域內(nèi)的不同滑窗區(qū)域檢測(cè)結(jié)果進(jìn)行篩選,將分類器評(píng)分最高的滑窗 區(qū)域作為行人檢測(cè)結(jié)果,最終輸出較為準(zhǔn)確的行人檢測(cè)結(jié)果。2. 根據(jù)權(quán)利要求1的雙目行人檢測(cè)方法,其特征在于,步驟(6)采用非極大值抑制(NMS) 約束原理,對(duì)單感興趣區(qū)域內(nèi)的不同滑窗區(qū)域檢測(cè)結(jié)果進(jìn)行篩選。
【專利摘要】本發(fā)明涉及一種基于優(yōu)化聚合積分通道的雙目行人檢測(cè)方法,包括:基于左右視點(diǎn)圖,采用立體匹配算法實(shí)現(xiàn)左右視圖匹配,提取稠密視差圖;進(jìn)行粗細(xì)二階段分割,獲取感興趣區(qū)域與最小行人目標(biāo)尺度;對(duì)行人圖像集,采用聚合積分通道方法訓(xùn)練分類器;輸入待檢測(cè)雙目視點(diǎn)圖,提取感興趣區(qū)域與最小行人目標(biāo)尺度的信息,基于感興趣區(qū)域運(yùn)行滑窗,對(duì)每一滑窗區(qū)域求取不同尺度下的聚合積分通道特征,構(gòu)建圖像特征金字塔;每一感興趣區(qū)域輸出的圖像金字塔層數(shù)均由其最小行人目標(biāo)尺度實(shí)現(xiàn)自適應(yīng)調(diào)整,將圖像特征金字塔輸入分類器,輸出判定分?jǐn)?shù);篩選,輸出較為準(zhǔn)確的行人檢測(cè)結(jié)果。本發(fā)明能準(zhǔn)確獲取潛在行人位置、簡化計(jì)算數(shù)據(jù)量。
【IPC分類】G06K9/00, G06K9/32, G06K9/62
【公開號(hào)】CN105550675
【申請(qǐng)?zhí)枴緾N201610072439
【發(fā)明人】金志剛, 趙明昕, 蘇毅姍
【申請(qǐng)人】天津大學(xué)
【公開日】2016年5月4日
【申請(qǐng)日】2016年2月2日