本發(fā)明涉及一種基于稀疏取樣灰度分布和梯度分布特征的車(chē)標(biāo)識(shí)別方法,屬于圖像處理技術(shù)領(lǐng)域。
背景技術(shù):
智能交通系統(tǒng)(intelligenttransportsystem簡(jiǎn)稱(chēng)its),又叫做車(chē)輛道路系統(tǒng),是一種廣泛的、多功能的、及時(shí)的、高效率和精確的綜合運(yùn)輸和治理的系統(tǒng)。車(chē)標(biāo)作為車(chē)輛的品牌標(biāo)志,人們對(duì)它的關(guān)注不亞于甚至超過(guò)車(chē)牌?,F(xiàn)階段車(chē)輛標(biāo)志識(shí)別系統(tǒng)其過(guò)程主要分為定位和識(shí)別兩個(gè)主要階段,研究方法包括:定位部分,李俠等提出基于模板匹配和邊緣檢測(cè)的車(chē)標(biāo)定位方法,劉玉松等提出基于梯度值投影的車(chē)標(biāo)定位,鄭德鍵等提出基于中軸線和先驗(yàn)知識(shí)的車(chē)標(biāo)定位。識(shí)別部分,劉玉松等提出基于模板匹配的車(chē)標(biāo)識(shí)別方法,鄭德鍵等提出基于修正不變矩的車(chē)標(biāo)識(shí)別方法,朱資淘提出基于sift算子的車(chē)標(biāo)識(shí)別方法,陳舜杰、王建均提出基于特征值提取和支持向量機(jī)的車(chē)標(biāo)識(shí)別。但是現(xiàn)在研究方法都是基于樣本圖像分辨率高、圖像質(zhì)量較好進(jìn)行的,如果因?yàn)榭陀^原因?qū)е聢D像質(zhì)量不理想,分辨率不高,就很難取得理想狀態(tài)下的識(shí)別效果。事實(shí)也如此,交通攝像頭在陰雨大霧等天氣里,所形成的圖像質(zhì)量不高。因此,研究低分辨率低質(zhì)量的車(chē)輛圖像具有重要的現(xiàn)實(shí)意義。
技術(shù)實(shí)現(xiàn)要素:
發(fā)明目的:針對(duì)現(xiàn)有技術(shù)中存在的問(wèn)題,本發(fā)明目的在于提出一種基于稀疏采樣的灰度分布和梯度分布特征的車(chē)標(biāo)識(shí)別方法,針對(duì)成像效果不理想的圖像進(jìn)行定位識(shí)別,提高識(shí)別率。
技術(shù)方案:為實(shí)現(xiàn)上述發(fā)明目的,本發(fā)明提供一種基于稀疏取樣灰度分布和梯度分布特征的車(chē)標(biāo)識(shí)別方法,包括如下步驟:
在車(chē)牌上方選取一個(gè)區(qū)域,作為車(chē)標(biāo)識(shí)別的感興趣區(qū)域;
采用隨機(jī)均勻稀疏采樣方法對(duì)樣本圖像進(jìn)行采樣,并將所有的采樣點(diǎn)隨機(jī)配對(duì),劃分成鄰近點(diǎn)對(duì)集和非鄰近點(diǎn)對(duì)集,對(duì)兩類(lèi)不同的點(diǎn)對(duì)集采用不同的方法進(jìn)行特征提取,建立特征庫(kù),其中對(duì)于鄰近點(diǎn)對(duì)集中的每個(gè)采樣點(diǎn)提取八個(gè)角度范圍的梯度幅值作為梯度分布特征,對(duì)于非鄰近點(diǎn)對(duì)集中的每個(gè)采樣點(diǎn)對(duì)計(jì)算其明暗關(guān)系及明暗關(guān)系的信任度作為灰度分布特征;
在確定感興趣區(qū)域并準(zhǔn)備好樣本特征庫(kù)后,設(shè)定一可縮放的窗口,在待測(cè)的感興趣區(qū)域內(nèi)進(jìn)行掃描,對(duì)當(dāng)前窗口位置上,窗口大小的圖像進(jìn)行特征提取,并與準(zhǔn)備好的特征庫(kù)進(jìn)行對(duì)比,最終確定車(chē)標(biāo)類(lèi)型。
作為優(yōu)選,所述車(chē)標(biāo)識(shí)別的感興趣區(qū)域的位置為:
xl=xpl
xr=xpr
yb=y(tǒng)pt
yt=y(tǒng)pt+a*height
其中,xl,xr,yb,yt分別表示車(chē)標(biāo)的左邊界、右邊界、下邊界和上邊界;
xpl,xpr,ypt,height分別表示車(chē)牌的左邊界、右邊界、上邊界以及車(chē)牌的高度;a為設(shè)定的車(chē)牌高度倍數(shù)。
作為優(yōu)選,對(duì)于采樣點(diǎn)集中的隨機(jī)配對(duì)的兩個(gè)點(diǎn)p1點(diǎn)與p2點(diǎn),分類(lèi)方法為:對(duì)于隨機(jī)選擇的第一個(gè)點(diǎn)p1:
則p1點(diǎn)與p2點(diǎn)配成的點(diǎn)對(duì)分類(lèi)到非鄰近點(diǎn)對(duì)集,否則分類(lèi)到鄰近點(diǎn)對(duì)集;其中,p(p1)、p(p2)分別表示選擇p1點(diǎn)和p2點(diǎn)的概率,(x1,y1)為第一個(gè)點(diǎn)p1的坐標(biāo),(x2,y2)為第二個(gè)點(diǎn)p2的坐標(biāo),n0表示采樣點(diǎn)總數(shù)目,np為已配對(duì)采樣點(diǎn)數(shù),p(x,y)為已配對(duì)的采樣點(diǎn),σ為尺度參數(shù)。
作為優(yōu)選,所述對(duì)于鄰近點(diǎn)對(duì)集中的每個(gè)采樣點(diǎn)提取八個(gè)角度范圍的梯度幅值中,八個(gè)角度范圍為0°~45°、45°~90°、90°~135°、135°~180°、180°~225°、225°~270°、270°~315°、315°~360°八個(gè)角度范圍;將一個(gè)樣本圖像上鄰近點(diǎn)對(duì)集中的每個(gè)采樣點(diǎn)的梯度幅值按照對(duì)應(yīng)角度范圍區(qū)間累加到一起,得到一個(gè)梯度幅值總和的集合作為該樣本圖像的隨機(jī)梯度分布特征。
作為優(yōu)選,所述非鄰近點(diǎn)對(duì)集中的采樣點(diǎn)對(duì)的明暗關(guān)系表示為:
其中,ip1和ip2是采樣點(diǎn)p1和p2鄰域內(nèi)的灰度均值,t1是灰度均值臨界值。
作為優(yōu)選,所述非鄰近點(diǎn)對(duì)集中的采樣點(diǎn)對(duì)的明暗關(guān)系的信任度表示為
其中,relc,i表示第c類(lèi)車(chē)標(biāo)的第i個(gè)采樣點(diǎn)對(duì)的明暗關(guān)系信任度,s為第c類(lèi)車(chē)標(biāo)的樣本總數(shù),rc,s,i表示第c類(lèi)車(chē)標(biāo)的第i個(gè)采樣點(diǎn)對(duì)在第s個(gè)樣本中的明暗關(guān)系。
作為優(yōu)選,從非鄰近點(diǎn)對(duì)集中篩選出信任度大于設(shè)定閾值的點(diǎn)對(duì)集作為新的信任點(diǎn)對(duì)集。
作為優(yōu)選,從所述新的信任點(diǎn)對(duì)集中篩選出與其他車(chē)標(biāo)類(lèi)別明暗關(guān)系相關(guān)度最小的若干采樣點(diǎn)對(duì)作為最小相關(guān)點(diǎn)對(duì)集,所述最小相關(guān)點(diǎn)對(duì)集作為區(qū)分與其他類(lèi)別車(chē)標(biāo)的特征點(diǎn)對(duì)集。
作為優(yōu)選,根據(jù)如下公式計(jì)算待測(cè)圖像的特征與特征庫(kù)的相似度,并選擇最大相似度值對(duì)應(yīng)的車(chē)標(biāo)類(lèi)別作為識(shí)別結(jié)果:
其中,mt,w,c表示在縮放尺度為t,第w步的窗口位置的圖像與第c類(lèi)車(chē)標(biāo)的相似度值,s為第c類(lèi)車(chē)標(biāo)的樣本總數(shù),rt,w,i表示在縮放尺度為t,第w步的窗口位置的圖像的第i個(gè)點(diǎn)對(duì)的明暗對(duì)比關(guān)系,n4表示篩選后非鄰近點(diǎn)對(duì)集中的點(diǎn)對(duì)數(shù),relc,s,i表示第c類(lèi)車(chē)標(biāo)的第i個(gè)采樣點(diǎn)對(duì)的明暗關(guān)系信任度,rc,s,i表示第c類(lèi)車(chē)標(biāo)中第s張樣本的第i個(gè)點(diǎn)對(duì)的明暗對(duì)比關(guān)系;gt,w,j表示在縮放尺度為t,第w步的窗口位置的圖像在第j個(gè)角度范圍的梯度幅值總和,gc,s,j表示第c類(lèi)車(chē)標(biāo)第s張樣本中第j個(gè)角度范圍的梯度幅值總和。
有益效果:本發(fā)明提出的一種基于稀疏采樣的灰度分布和梯度分布特征的車(chē)標(biāo)識(shí)別方法,對(duì)比傳統(tǒng)的識(shí)別方法,主要針對(duì)那些成像效果不理想的圖像進(jìn)行定位識(shí)別,將采樣點(diǎn)分為鄰近采樣點(diǎn)集和非鄰近采樣點(diǎn)集,對(duì)兩種不同的點(diǎn)對(duì)提取不一樣的特征,并采用多尺度檢測(cè)方式在在目標(biāo)圖像中提取特征進(jìn)而識(shí)別和定位車(chē)標(biāo),將定位和識(shí)別有機(jī)的結(jié)合在一起,降低了中間過(guò)程的誤差,提高了識(shí)別率,對(duì)于噪聲大,質(zhì)量差,像素低的圖片也有較高的識(shí)別率。
附圖說(shuō)明
圖1為本發(fā)明實(shí)施例的方法流程圖。
圖2為本發(fā)明實(shí)施例中的構(gòu)建特征集的流程圖。
圖3為本發(fā)明實(shí)施例中的標(biāo)準(zhǔn)車(chē)標(biāo)樣本示例圖。
圖4為本發(fā)明實(shí)施例中的現(xiàn)實(shí)車(chē)標(biāo)樣本示例圖。
圖5為本發(fā)明實(shí)施例中的采樣點(diǎn)梯度方向角度分布示意圖。
圖6為本發(fā)明實(shí)施例中的大眾樣本點(diǎn)對(duì)示意圖。
圖7為本發(fā)明實(shí)施例中的多尺度檢測(cè)示例圖。
圖8為本發(fā)明實(shí)施例中的測(cè)試結(jié)果示例圖,其中(a)-(f)分別為不同類(lèi)別車(chē)標(biāo)的測(cè)試結(jié)果圖。
具體實(shí)施方式
下面結(jié)合具體實(shí)施例,進(jìn)一步闡明本發(fā)明,應(yīng)理解這些實(shí)施例僅用于說(shuō)明本發(fā)明而不用于限制本發(fā)明的范圍,在閱讀了本發(fā)明之后,本領(lǐng)域技術(shù)人員對(duì)本發(fā)明的各種等價(jià)形式的修改均落于本申請(qǐng)所附權(quán)利要求所限定的范圍。
如圖1所示,本發(fā)明實(shí)施例公開(kāi)的一種基于稀疏采樣的灰度分布和梯度分布特征的車(chē)標(biāo)識(shí)別方法,首先是車(chē)標(biāo)區(qū)域粗定位,在車(chē)牌上方選取一個(gè)區(qū)域,作為車(chē)標(biāo)識(shí)別的感興趣區(qū)域;然后采用隨機(jī)均勻稀疏采樣方法對(duì)樣本圖像進(jìn)行采樣,并將所有的采樣點(diǎn)隨機(jī)配對(duì),劃分成鄰近點(diǎn)對(duì)集和非鄰近點(diǎn)對(duì)集,對(duì)兩類(lèi)不同的點(diǎn)對(duì)集采用不同的方法進(jìn)行特征提取,建立特征庫(kù),其中對(duì)于鄰近點(diǎn)對(duì)集中的每個(gè)采樣點(diǎn)提取八個(gè)角度范圍的梯度幅值作為梯度分布特征,對(duì)于非鄰近點(diǎn)對(duì)集中的每個(gè)采樣點(diǎn)對(duì)計(jì)算其明暗關(guān)系及明暗關(guān)系的信任度作為灰度分布特征;最后設(shè)定一可縮放的窗口,在待測(cè)的感興趣區(qū)域內(nèi)進(jìn)行掃描,對(duì)當(dāng)前窗口位置上,窗口大小的圖像進(jìn)行特征提取,并與準(zhǔn)備好的特征庫(kù)進(jìn)行對(duì)比,最終確定車(chē)標(biāo)類(lèi)型。具體實(shí)施步驟如下:
(1)基于先驗(yàn)知識(shí)的感興趣車(chē)標(biāo)區(qū)域粗定位
一幅包含車(chē)標(biāo)的圖像中,必定包含車(chē)輛整體以及一些不必要的干擾背景,所以需要對(duì)圖片中車(chē)標(biāo)感興趣區(qū)域進(jìn)行粗定位,也就是說(shuō)在目標(biāo)圖像中截取車(chē)標(biāo)的大致區(qū)域,為后續(xù)的多尺度掃描減少了掃描區(qū)域,減少了特征計(jì)算的工作量。
現(xiàn)階段的車(chē)牌定位方法比較成熟,所以在進(jìn)行車(chē)標(biāo)感興趣區(qū)域定位前,要進(jìn)行車(chē)牌的定位,有基于車(chē)牌圖像色彩信息定位法、基于邊緣檢測(cè)的定位法、基于車(chē)牌幾何特征車(chē)定位法、基于頻譜分析的車(chē)牌定位法等,這些方法在實(shí)踐過(guò)程中能夠較為準(zhǔn)確地定位到車(chē)牌。本發(fā)明采用先驗(yàn)知識(shí)對(duì)車(chē)牌進(jìn)行定位,我國(guó)車(chē)牌標(biāo)準(zhǔn)外輪廓尺寸為440*140且為矩形,整個(gè)車(chē)牌的寬高比近似為3:1。在進(jìn)行車(chē)牌定位之后,以車(chē)牌高度為參數(shù),向上方選取一定高度地區(qū)域,得到一個(gè)包含車(chē)標(biāo)的感興趣區(qū)域,車(chē)標(biāo)位于車(chē)牌上方比較起眼的位置,一般位于車(chē)牌的正中上方,與此同時(shí)車(chē)標(biāo)的寬度不會(huì)超過(guò)車(chē)牌的寬度,車(chē)標(biāo)的感興趣區(qū)域的定位范圍可大致上通過(guò)車(chē)牌的高度為參數(shù)進(jìn)行定位。這里設(shè)置一個(gè)a來(lái)控制車(chē)牌高度的倍數(shù),通過(guò)以下公式來(lái)確定車(chē)標(biāo)的大概位置:
xl=xpl(1)
xr=xpr(2)
yb=y(tǒng)pt(3)
yt=y(tǒng)pt+a*height(4)
上述各個(gè)表達(dá)式中,xl,xr,yb,yt分別表示車(chē)標(biāo)的左邊界、右邊界、下邊界和上邊界。xpl,xpr,ypt,height分別表示車(chē)牌的左邊界、右邊界、上邊界以及車(chē)牌的高度。在這里,從式(1)(2)中可以看出車(chē)標(biāo)粗略區(qū)域的寬度就是車(chē)牌的寬度。車(chē)標(biāo)粗定位區(qū)域的底部邊界就是車(chē)牌區(qū)域的頂部邊界,車(chē)標(biāo)粗定位區(qū)域的頂部邊界就是車(chē)牌的頂部區(qū)域加上a倍的車(chē)標(biāo)的高度。這個(gè)感興趣區(qū)域在保證了車(chē)標(biāo)在其中的前提下,去除了圖像中大部分干擾信息,在后續(xù)的多尺度掃描中,將對(duì)感性區(qū)域進(jìn)行特征提取,并與樣本庫(kù)中的特征進(jìn)行對(duì)比,進(jìn)而進(jìn)行車(chē)標(biāo)的精定位。
(2)基于分處理的車(chē)標(biāo)樣本特征庫(kù)的建立
訓(xùn)練圖片樣本通過(guò)提取并構(gòu)建的特征表示來(lái)建立樣本特征庫(kù),一幅圖像的特征有很多,比如hog特征側(cè)重于梯度方向,lbp特征側(cè)重于紋理特征。本發(fā)明提出基于稀疏采樣灰度分布與梯度分布特征分別側(cè)重于采樣點(diǎn)鄰域內(nèi)灰度“明暗”對(duì)比信息與相鄰區(qū)域的紋理信息,經(jīng)過(guò)篩選出能夠在統(tǒng)計(jì)意義上表示該類(lèi)車(chē)標(biāo)圖像的點(diǎn)對(duì)集合作為特征。該特征表示方法適合圖片受光照影響大、圖片分辨率低、質(zhì)量不好的車(chē)標(biāo)樣本圖像。圖2為本發(fā)明基于稀疏采樣構(gòu)建特征集的方法流程圖,具體包括:
(2.1)基于稀疏采樣點(diǎn)集選取
稀疏采樣,也被稱(chēng)為壓縮采樣,壓縮感知,壓縮感知方法拋棄了當(dāng)前圖像采樣中的冗余信息,所以可以對(duì)圖像進(jìn)行稀疏采樣而不影響圖像信號(hào)的重構(gòu)與表示,車(chē)標(biāo)的結(jié)構(gòu)特征更事宜進(jìn)行稀疏采樣表示灰度和形狀結(jié)構(gòu)特征。
圖3所示為標(biāo)準(zhǔn)的車(chē)輛灰度樣本,可以將其表示為像素灰度集合i={gi,i=1,2,…n,n=w*h},其中g(shù)i表示像素的灰度,w表示樣本圖像的寬,h表示樣本圖像的高。對(duì)樣本進(jìn)行稀疏采樣,坐標(biāo)(x0,y0)處像素被采集到的概率:
其中ε(x,y)表示(x0,y0)鄰域中的采樣點(diǎn),p(x,y)表示鄰域中采樣概率,nε表示鄰域中的采樣點(diǎn)數(shù)目,n0表示采樣點(diǎn)總數(shù)目,n1表示已經(jīng)采樣的數(shù)目,σ為尺度參數(shù)。這樣稀疏采樣使得采樣點(diǎn)隨機(jī)均勻分布于樣本圖像的平面空間。此時(shí),此時(shí)稀疏表示用i的子集
隨機(jī)均勻稀疏采樣保證了采樣點(diǎn)盡可能的均勻分布在樣本圖像上,因此也能夠最大程度上保留車(chē)標(biāo)的紋理結(jié)構(gòu)特征,對(duì)后面的明暗特征提取影響較小。本發(fā)明對(duì)大眾車(chē)標(biāo)進(jìn)行不同數(shù)目采樣點(diǎn)的隨機(jī)均勻稀疏采樣,白色亮點(diǎn)為車(chē)標(biāo)結(jié)構(gòu)上的采樣點(diǎn),采樣點(diǎn)能夠大致上保留了大眾標(biāo)志的結(jié)構(gòu),采樣點(diǎn)達(dá)到一定的數(shù)目,車(chē)輛的標(biāo)志是可以識(shí)別的,但是隨著取樣點(diǎn)的減少,車(chē)輛標(biāo)志的識(shí)別度也在降低,甚至不可分辨。
(2.2)對(duì)不同類(lèi)型的點(diǎn)對(duì)集的特征提取
實(shí)際生活中車(chē)標(biāo)樣本因?yàn)槭艿礁黝?lèi)噪聲干擾,與標(biāo)準(zhǔn)的車(chē)標(biāo)樣本還是存在著一定的差異,各個(gè)像素點(diǎn)灰度絕對(duì)值已經(jīng)變得不再那么可靠,但是車(chē)標(biāo)結(jié)構(gòu)上的像素點(diǎn)的梯度信息和“明暗”對(duì)比關(guān)系依舊可靠。因此,將稀疏采樣點(diǎn)集
選擇第一個(gè)點(diǎn)p1:
其中np為已配對(duì)采樣點(diǎn)數(shù)。
選擇第二個(gè)點(diǎn)p2:
其中p(p1)、p(p2)分別表示選擇p1點(diǎn)和p2點(diǎn)的概率,(x1,y1)為第一個(gè)點(diǎn),(x2,y2)為第二個(gè)點(diǎn),p(x,y)為已配對(duì)的采樣點(diǎn)。
滿(mǎn)足上述公式的點(diǎn)對(duì)分類(lèi)到遠(yuǎn)距離點(diǎn)對(duì)集p2中,其余的點(diǎn)對(duì)分類(lèi)到鄰近點(diǎn)對(duì)集p1中。對(duì)于這兩種不同的點(diǎn)對(duì)集,分別采用明暗度和梯度進(jìn)行特征提取。
(2.2.1)基于鄰近點(diǎn)對(duì)集特征提取
通過(guò)公式篩選出的鄰近點(diǎn)對(duì)集為p1,為了減少光照等因素的影響,對(duì)所采樣的鄰近點(diǎn)集進(jìn)行歸一化,集中在紋理周?chē)狞c(diǎn)集中,局部表層曝光比較重,如圖4所示,所以對(duì)圖像進(jìn)行壓縮處理可以降低局部的光照影響。
gamma壓縮公式:i(x,y)=i(x,y)gamma
gamma可以取1/2。
計(jì)算鄰近點(diǎn)對(duì)集各個(gè)橫坐標(biāo)和縱坐標(biāo)方向的梯度,并計(jì)算每個(gè)像素點(diǎn)位置的梯度方向值。求導(dǎo)操作過(guò)程中能夠弱化光照影響和捕捉輪廓。
圖像中采樣點(diǎn)p(x,y)的梯度為:
gx(x,y)=h(x+1,y)-h(x-1,y)(8)
gy(x,y)=h(x,y+1)-h(x,y-1)(9)
其中g(shù)x(x,y)為點(diǎn)p(x,y)處的水平梯度,gy(x,y)是點(diǎn)p(x,y)處的垂直梯度,h(x,y)是點(diǎn)p(x,y)的像素值。
接著計(jì)算點(diǎn)p(x,y)處的梯度幅值和梯度方向:
按照上式,計(jì)算出每一個(gè)點(diǎn)的梯度幅值和梯度方向。對(duì)于每個(gè)點(diǎn)的梯度方向分為x個(gè)方向塊,即角度范圍。如圖所示,本發(fā)明中取x=8,將360度分為8個(gè)方向塊,每一塊45°。那么像素的梯度被分為0°~45°、45°~90°、90°~135°、135°~180°、180°~225°、225°~270°、270°~315°、315°~360°八個(gè)角度范圍,如圖5所示,接著按照上式計(jì)算梯度幅值,將所有車(chē)標(biāo)樣本鄰近采樣點(diǎn)的梯度幅值按照區(qū)間累加到一起,得到一個(gè)梯度幅值的集合g={g1,g2,g3,g4,g5,g6,g7,g8},g1代表著0°~45°角度范圍內(nèi)所有鄰近取樣點(diǎn)的梯度幅值總和,g2代表著45°~90°角度范圍內(nèi)所有鄰近取樣點(diǎn)的梯度幅值總和,以此類(lèi)推。鄰近點(diǎn)對(duì)集構(gòu)成了樣本圖像梯度分布的一個(gè)稀疏表示,此稀疏表示定義為樣本的隨機(jī)梯度分布特征。
根據(jù)梯度關(guān)系繼續(xù)生成不同車(chē)標(biāo)所有樣本的點(diǎn)對(duì)關(guān)系集。
gc,s={gc,s,j,c=1,2...,c,s=1,2,...,s,j=1,2,...,8}(12)
其中g(shù)c,s為第c類(lèi)車(chē)標(biāo)的第s張樣本的角度范圍梯度集合,gc,s,i為第c類(lèi)車(chē)標(biāo)的第s張樣本的第j個(gè)角度范圍內(nèi)的梯度幅值總和,c為樣本庫(kù)中所有車(chē)標(biāo)類(lèi)別的個(gè)數(shù),s為第c類(lèi)車(chē)標(biāo)的樣本總數(shù),j為8個(gè)角度范圍方向塊編號(hào)。
(2.2.2)基于非鄰近點(diǎn)對(duì)集特征提取
通過(guò)公式篩選出的遠(yuǎn)距離的點(diǎn)對(duì),提高了采樣點(diǎn)的“明暗”對(duì)比度差異大地概率。通過(guò)對(duì)點(diǎn)對(duì)集合p2繼續(xù)構(gòu)造點(diǎn)對(duì)地明暗關(guān)系r,點(diǎn)對(duì)pair<p1,p2>中兩個(gè)采樣點(diǎn)位置鄰域內(nèi)的灰度均值的“明暗”對(duì)比關(guān)系,分為p1>p2,p1=p2,p1<p2:
ip1和ip2是采樣點(diǎn)p1和p2一定鄰域內(nèi)的灰度均值,t1為灰度均值臨界值,這里可將灰度均值臨界值取為30。如圖6所示給出的現(xiàn)實(shí)大眾車(chē)標(biāo)的樣本中,有三個(gè)采樣點(diǎn)對(duì)對(duì)應(yīng)上式的三種關(guān)系:
pair1<p1,p2>,ip1=200,ip2=40,r1="p1>p2"
pair2<p3,p4>,ip3=240,ip4=245,r2="p3=p4"
pair3<p5,p6>,ip5=20,ip6=240,r3="p5<p6"
通過(guò)在樣本點(diǎn)集上的隨機(jī)選取較遠(yuǎn)的匹配對(duì),計(jì)算出了點(diǎn)對(duì)的明暗關(guān)系,得到了一個(gè)非鄰近點(diǎn)對(duì)集和相應(yīng)的點(diǎn)對(duì)明暗關(guān)系集,非鄰近點(diǎn)對(duì)集和明暗關(guān)系集構(gòu)成了樣本圖像灰度分布的一個(gè)稀疏表示,此稀疏表示定義為樣本的隨機(jī)灰度分布特征。
通過(guò)上述處理得到了某個(gè)樣本的基于稀疏采樣灰度分布的樣本特征,但是最終要在車(chē)標(biāo)樣本特征庫(kù)中使用灰度分布作為各類(lèi)車(chē)標(biāo)的特征表示,還需要進(jìn)行特征篩選過(guò)程,并最終將鄰近點(diǎn)對(duì)集特征和非鄰近點(diǎn)對(duì)集相結(jié)合構(gòu)成特征表示。
對(duì)每一類(lèi)別車(chē)標(biāo),在坐標(biāo)空間內(nèi)進(jìn)行隨機(jī)均勻稀疏采樣和非鄰近的隨機(jī)配對(duì),得到包含n2個(gè)點(diǎn)對(duì)的初始點(diǎn)對(duì)集pc:
pc={pairc,i<p1,p2>,c=1,2...,c,i=1,2,...,n2}(14)
其中c為樣本庫(kù)中車(chē)標(biāo)類(lèi)別的個(gè)數(shù),i代表著樣本庫(kù)中第c類(lèi)車(chē)標(biāo)的第i個(gè)采樣點(diǎn)對(duì),n2<no/2。由于是基于稀疏采樣的隨機(jī)采樣,所以不同類(lèi)型的車(chē)標(biāo)的點(diǎn)對(duì)集中的位置也有所不同。在生成不同類(lèi)別車(chē)標(biāo)的點(diǎn)對(duì)集后pc,根據(jù)明暗關(guān)系繼續(xù)生成該車(chē)標(biāo)每個(gè)樣本的點(diǎn)對(duì)關(guān)系集。
rc,s={pairc,s,i<p1,p2>,s=1,2...,s,i=1,2,...,n2}(15)
s為第c類(lèi)車(chē)標(biāo)的樣本總數(shù)。
為了進(jìn)一步精確灰度特征,要根據(jù)信任度對(duì)非鄰近點(diǎn)對(duì)集進(jìn)行點(diǎn)對(duì)篩選。點(diǎn)對(duì)信任度relc,i反映了某一個(gè)點(diǎn)對(duì)關(guān)系的可靠程度。當(dāng)樣本類(lèi)別中大多數(shù)樣本在該點(diǎn)對(duì)間呈現(xiàn)同一種明暗對(duì)比關(guān)系時(shí),該種點(diǎn)對(duì)關(guān)系具有較高信任度。
relc,i表示第c類(lèi)車(chē)標(biāo)的第i個(gè)采樣點(diǎn)的明暗關(guān)系信任度,rc,s,i表示第c類(lèi)車(chē)標(biāo)的第i個(gè)采樣點(diǎn)在第s個(gè)樣本中的明暗關(guān)系。如果第s個(gè)樣本的第i個(gè)點(diǎn)對(duì)關(guān)系為p1>p2或者為p1<p2,rc,s,i取值為1,如果關(guān)系為p1=p2,rc,s,i取值為0。從點(diǎn)對(duì)集pc中篩選出信任度大于設(shè)定閾值(如0.7)的n3個(gè)新的點(diǎn)對(duì)信任點(diǎn)對(duì)集pc′。
(2.2.3)進(jìn)一步構(gòu)建精確特征
相關(guān)度指不同類(lèi)別樣本根據(jù)同一點(diǎn)對(duì)集計(jì)算得到的點(diǎn)對(duì)關(guān)系集之間的相似程度。對(duì)某樣本中的新點(diǎn)對(duì)集pc′中的每一個(gè)點(diǎn)對(duì)pairc<p1,p2>,計(jì)算出其中兩個(gè)點(diǎn)在其他類(lèi)的樣本中點(diǎn)對(duì)關(guān)系。求出第c類(lèi)樣本中點(diǎn)對(duì)和第c′中的相關(guān)度corelc,c′:
其中,rc,s,i表示第c類(lèi)樣本的第s個(gè)樣本第i個(gè)點(diǎn)對(duì)的明暗對(duì)比關(guān)系,∧表示當(dāng)rc,s,i和rc′,s,i關(guān)系相同時(shí),rc,s,i∧rc′,s,i取1。相關(guān)度越小,第c類(lèi)的車(chē)標(biāo)與其他類(lèi)別的計(jì)算所得點(diǎn)對(duì)關(guān)系集的區(qū)別越大,使得第c類(lèi)別車(chē)標(biāo)圖像越容易識(shí)別。根據(jù)該第c類(lèi)樣本與其他類(lèi)別樣本的相關(guān)度,使用尋優(yōu)算法從信任點(diǎn)對(duì)集pc′中篩選出n4個(gè)采樣點(diǎn)對(duì)組成最小相關(guān)點(diǎn)對(duì)集pc″,使得pc″與其他類(lèi)別點(diǎn)對(duì)關(guān)系集的相關(guān)度最小。pc′′即該類(lèi)別的特征點(diǎn)對(duì)集。
根據(jù)最小相關(guān)點(diǎn)對(duì)集,可以重新獲取新的點(diǎn)對(duì)關(guān)系集rc″,最后根據(jù)梯度幅值的集合g、最小相關(guān)點(diǎn)對(duì)集pc″、點(diǎn)對(duì)關(guān)系集rc″、信任度集relc,建立了樣本中第c類(lèi)樣本的特征表示f={g,pc″,rc″,relc},對(duì)于每一類(lèi)樣本,均由此四項(xiàng)構(gòu)成特征集合,這就是樣本特征庫(kù)。
(3)感興趣車(chē)標(biāo)粗定位區(qū)域多尺度檢測(cè)
在確定感興趣區(qū)域后,準(zhǔn)備好樣本特征庫(kù)后,就可以在感興趣區(qū)域內(nèi)進(jìn)行多尺度檢測(cè)了。多尺度檢測(cè)這一過(guò)程中完成了定位和識(shí)別兩個(gè)功能,在其他識(shí)別方法中,定位和識(shí)別是分來(lái)進(jìn)行的,這樣在過(guò)程中增加誤差率,從而導(dǎo)致識(shí)別失敗,而本發(fā)明的多尺度檢測(cè)方法能夠提高了定位識(shí)別率。多尺度檢測(cè)通過(guò)設(shè)定一定可縮放的窗口,在待測(cè)的感興趣區(qū)域,從上到下,從左到右,依次掃描,在掃描過(guò)程中,對(duì)當(dāng)前窗口位置上,窗口大小的圖像進(jìn)行特征提取,并與準(zhǔn)備好的特征庫(kù)進(jìn)行對(duì)比,最終確定車(chē)標(biāo)類(lèi)型。
在進(jìn)行檢測(cè)之前,初始化一個(gè)與待測(cè)車(chē)標(biāo)樣本尺寸一樣大小的窗口w0,大部分車(chē)標(biāo)都可以外接一個(gè)矩形。通過(guò)對(duì)w0乘以一個(gè)縮放系數(shù)t,得到比樣本圖像小的可縮放的窗口wt。因?yàn)榕臄z設(shè)備角度遠(yuǎn)近問(wèn)題,導(dǎo)致車(chē)標(biāo)的大小不一致,通過(guò)觀察不同圖像中車(chē)標(biāo)的大小選定縮放系數(shù)的范圍,本發(fā)明中縮放系數(shù)t的取值范圍[smin,smax]設(shè)為[0.1,0.7],每次縮放系數(shù)增加0.05,各個(gè)窗口wt在車(chē)標(biāo)感興趣粗定位區(qū)域從左至右、從上到下依次檢測(cè)。如圖7所示。
其中矩形框?yàn)樵O(shè)定的正方形檢測(cè)窗口,在如圖所示的窗口位置,窗口大小通過(guò)窗口內(nèi)的特征與特征庫(kù)對(duì)比正好檢測(cè)到車(chē)標(biāo)位置,此時(shí)縮放尺度為0.25。
對(duì)比過(guò)程中涉及到特征庫(kù)與窗口內(nèi)部的相似度。
其中,mt,w,c表示在縮放尺度為t,第w步的窗口位置的圖像與第c類(lèi)車(chē)標(biāo)的相似度值,s為第c類(lèi)車(chē)標(biāo)的樣本總數(shù),rt,w,i表示在縮放尺度為t,第w步的窗口,第i個(gè)點(diǎn)對(duì)下的明暗對(duì)比關(guān)系,n4表示篩選后非鄰近點(diǎn)對(duì)集中的點(diǎn)對(duì)數(shù),relc,i表示第c類(lèi)車(chē)標(biāo)的第i個(gè)采樣點(diǎn)對(duì)的明暗關(guān)系信任度,rc,s,i表示第c類(lèi)車(chē)標(biāo)中第s張樣本的第i個(gè)點(diǎn)對(duì)的關(guān)系;gt,w,j表示在縮放尺度為t,第w步的窗口位置的圖像在第j個(gè)角度范圍梯度幅值總和,gc,s,j表示第c類(lèi)車(chē)標(biāo)第s張樣本中第j個(gè)角度范圍梯度幅值總和。當(dāng)點(diǎn)對(duì)關(guān)系gt,w,j角度信息和第c類(lèi)樣本中相同采樣點(diǎn)對(duì)的梯度關(guān)系gc,s,j角度信息相近(梯度差值控制在60以?xún)?nèi)),gt,w,j==gc,s,j值為1,否則為0。當(dāng)點(diǎn)對(duì)關(guān)系rt,w,j和第c類(lèi)樣本中相同采樣點(diǎn)對(duì)的明暗對(duì)比關(guān)系rc,i相同時(shí),rt,w,i==rc,s,i值為1,否則為0。mt,w,c越大,表明窗口wt,k內(nèi)的圖像分布特征與第c類(lèi)別越相似。
通過(guò)更改窗口的縮放系數(shù)對(duì)車(chē)標(biāo)的感興趣粗定位區(qū)域進(jìn)行遍歷,得到不同的相似度mt,w,c。選取相似度值最高的車(chē)標(biāo)類(lèi)別c′,此時(shí)根據(jù)窗口尺度t′和位置w′即可確定車(chē)標(biāo)的準(zhǔn)確位置。
為驗(yàn)證本發(fā)明方法的有效性及優(yōu)勢(shì),做如下對(duì)比實(shí)驗(yàn)。
對(duì)于樣本圖像,本發(fā)明所采用的圖像樣本來(lái)自自己拍攝以及網(wǎng)絡(luò)上選取的交通路口攝像頭拍攝的圖片,選取了1800張25類(lèi)的車(chē)標(biāo)類(lèi)別,基本包括我們常見(jiàn)的車(chē)標(biāo)型號(hào)。自身拍攝的照片由于清晰度與質(zhì)量較高,要對(duì)這些樣本進(jìn)行添加噪聲和進(jìn)行透視變換。對(duì)每一種類(lèi)型的車(chē)標(biāo),要事前對(duì)樣本進(jìn)行歸一化,設(shè)置圖片為60*60分辨率,從中選擇800個(gè)采樣點(diǎn)對(duì),其中人工選取200對(duì),隨機(jī)選取600對(duì)。然后對(duì)這些點(diǎn)進(jìn)行分類(lèi),選取鄰近點(diǎn)對(duì)和非鄰近點(diǎn)對(duì)。對(duì)這兩種點(diǎn)對(duì)分別處理,得到不同的特征集。對(duì)于測(cè)試圖像,在交通道路口采集到不同情況的1000多張混合車(chē)前臉圖像,這些不同情況包括白天、夜晚、晴天、下雨等各種天氣情況。
表1部分測(cè)試結(jié)果
表2樣本定位時(shí)間和識(shí)別時(shí)間
由上表1可看出,不同的車(chē)標(biāo)類(lèi)型定位識(shí)別率也是相差較大的,表中奧迪的定位識(shí)別率最高,福特的定位識(shí)別率最低,奧迪車(chē)輛樣本輪廓分明,在稀疏取樣后依稀可辨器圖標(biāo)紋理輪廓,梯度方向信息較為明顯,明暗對(duì)比度度也較為明顯。而福特等一系列車(chē)標(biāo),在天氣情況影響下加上稀疏取樣,圖標(biāo)的識(shí)別度較為低,特征提取存在誤差。對(duì)于這一類(lèi)的情況,可以增加樣本稀疏采樣的采樣點(diǎn)的數(shù)目,提高提取特征的準(zhǔn)確率,同時(shí)在手動(dòng)選取采樣點(diǎn)位置時(shí),可以選取邊緣周?chē)鳇c(diǎn)對(duì),優(yōu)化點(diǎn)對(duì)位置。對(duì)于在白天,天氣良好的車(chē)牌,定位率還算高,但是夜晚在車(chē)燈強(qiáng)光照射下,車(chē)標(biāo)圖像曝光嚴(yán)重,影響特征提取,降低了定位識(shí)別率,實(shí)驗(yàn)結(jié)果如圖8所示。
在圖8的測(cè)試結(jié)果示例圖中,最下面的矩形區(qū)域?yàn)檐?chē)牌區(qū)域,在車(chē)牌區(qū)域上方矩形為感興趣區(qū)域,在感興趣區(qū)域內(nèi)部的矩形為車(chē)標(biāo)區(qū)域。第一張圖片是晚間車(chē)輛圖片;第二張圖片雖然是白天拍攝的,但是由于設(shè)備原因,成像效果不好;第三張圖片是傾斜圖片;第四張同第二張;第五張圖片車(chē)牌存在干擾;第六張是存在霧干擾的情況下拍攝的。
但是為了測(cè)試本發(fā)明方法對(duì)于那些質(zhì)量要求不高的圖像,比其他傳統(tǒng)方法定位識(shí)別要準(zhǔn)確。進(jìn)行另一組實(shí)驗(yàn),選取成像效果不是非常理想的三類(lèi)車(chē)標(biāo)大眾、奔馳、雪佛蘭,分別進(jìn)行模板匹配、sift算法和本發(fā)明算法比較
表3部分對(duì)比測(cè)試結(jié)果
表4部分對(duì)比測(cè)試時(shí)間結(jié)果
從表中可以看出,無(wú)論是模板匹配算法還是sift識(shí)別算法,它們對(duì)于成像效果不理想的圖像的識(shí)別率遠(yuǎn)沒(méi)有本發(fā)明定位識(shí)別方法好。對(duì)于那些圖片質(zhì)量好,像素高的圖片,傳統(tǒng)識(shí)別方法還是滿(mǎn)足需求,但是那些不夠理想的圖片,拉低了定位識(shí)別率。
本發(fā)明提出的基于稀疏采樣的灰度分布特征和梯度分布的標(biāo)識(shí)別方法,對(duì)比傳統(tǒng)的識(shí)別方法,主要針對(duì)那些成像效果不理想的圖像進(jìn)行定位識(shí)別,將采樣點(diǎn)分為鄰近采樣點(diǎn)集和非鄰近采樣點(diǎn)集,對(duì)兩種不同的點(diǎn)擊提取不一樣的特征,并采用多尺度檢測(cè)方式在在目標(biāo)圖像中提取特征進(jìn)而識(shí)別和定位車(chē)標(biāo),將定位和識(shí)別有機(jī)的結(jié)合在一起,降低了中間過(guò)程的誤差,提高了識(shí)別率,對(duì)于噪聲大,質(zhì)量差,像素低的圖片也有較高的識(shí)別率。