本發(fā)明屬于數(shù)字圖像處理和機器學習領(lǐng)域，具體涉及一種基于卷積神經(jīng)網(wǎng)絡的交通標志識別方法。

背景技術(shù)：

早在上世紀八十年代初，一些國家就開始關(guān)注交通標志識別了，主要使用如利用模板匹配、邊緣檢測、神經(jīng)網(wǎng)絡等方法。交通標志檢測與識別的圖像來源于車輛攝像設備，雖然交通標志一般都具有比較明顯的顏色和形狀特征，但由于戶外的自然情況復雜多變，采集的圖像易受很多不利因素的影響，如天氣影響、背景干擾和物體遮擋等因素，這會直接影響交通標志檢測與識別的結(jié)果。對于交通標志的檢測階段，主要難點在于光照的變化使得交通標志外觀發(fā)生劇烈的變化，導致簡單利用rgb顏色模型很難對其準確分割；交通標志的識別階段，由于目標被局部遮擋或因拍攝視角產(chǎn)生的圖像畸變，會引起識別算法性能出現(xiàn)下降。為提高現(xiàn)階段交通標志檢測與識別的魯棒性、實時性和識別率，本技術(shù)提出一種基于卷積神經(jīng)網(wǎng)絡的交通標志檢測與識別方法。

該方法不僅在gtrsb數(shù)據(jù)庫的實驗中識別率達到95.46％，超過現(xiàn)有的其它方法，而且識別一幅交通標志的時間僅有0.02s左右，滿足實時性。同時，傳統(tǒng)方法對于交通標志的識別需要人工提取特征，再用提取的大量特征來訓練分類器。本文提出的基于卷積神經(jīng)網(wǎng)絡的方法，不需要人為去提取特征，直接以二維圖形作為輸入，在訓練的時候自動提取特征并訓練，大大減少了特征提取需要耗費的大量時間，而且效果更好。不僅如此，由于卷積神經(jīng)網(wǎng)絡的特殊結(jié)構(gòu)，對于多尺度干擾、少量遮擋、少量平移等都有較好的適應性。

技術(shù)實現(xiàn)要素：

本發(fā)明旨在解決以上現(xiàn)有技術(shù)的問題。提出了一種大大減少了特征提取需要耗費的大量時間，而且效果更好的基于卷積神經(jīng)網(wǎng)絡的交通標志檢測與識別方法。本發(fā)明的技術(shù)方案如下：

一種基于卷積神經(jīng)網(wǎng)絡的交通標志檢測與識別方法，其包括以下步驟：

101、獲取包含有交通標志的輸入圖像，并采用直方圖均衡化對該輸入圖像的rgb圖像進行預處理操作；

102、將預處理后的rgb圖像轉(zhuǎn)換為hsv(色調(diào)、飽和度、亮度)顏色模型，判斷像素是否為目標像素(即交通標志區(qū)域的像素)，提取目標hsv顏色信息，結(jié)合8連通區(qū)域進行初步分割獲得感興趣區(qū)域；

103、設計區(qū)分交通標志與非交通標志的二分類卷積神經(jīng)網(wǎng)絡，以此來判斷感興趣區(qū)域是否為交通標志；

104、得到交通標志的位置后，使用基于卷積神經(jīng)網(wǎng)絡的交通標志識別方法，算法設置的參數(shù)包括卷積神經(jīng)網(wǎng)絡的層數(shù)、特征圖數(shù)量在內(nèi)的參數(shù)，通過訓練樣本來學習網(wǎng)絡中的參數(shù)，進而識別不同位置的交通標志的類別。

進一步的，所述步驟102rgb圖像轉(zhuǎn)換為hsv顏色模型具體包括：假設所有的顏色值都已經(jīng)歸一化到[0,1]，在rgb三個分量r、g、b中，假設最大的為max，最小的為min，則rgb轉(zhuǎn)換為hsv公式如下：

v＝max。

進一步的，所述判斷像素是否為目標像素包括步驟：

設定顏色閾值，如果像素值在閾值范圍內(nèi)即為目標像素，否則為背景像素，滿足以下設定的hsv像素值即為紅色目標像素

a)hue＜0.05orhue＞0.95

b)saturation＞0.5

c)value＞0.15。

進一步的，所述結(jié)合8連通區(qū)域進行初步分割獲得感興趣區(qū)域包括：將只包含目標像素值或者與目標像素值相近的區(qū)域作為二值圖，在其中尋找具有相同像素值且位置相鄰的前景像素點組成的圖像區(qū)域，尋找8連通區(qū)域，經(jīng)過初步分割獲得感興趣區(qū)域。

進一步的，所述步驟103的區(qū)分交通標志與非交通標志的二分類卷積神經(jīng)網(wǎng)絡一共包含7層，第一層為輸入層，中間的隱藏層為2個卷積層、2個采樣層和一個全連接層，最后一層是輸出層；所述輸入層用于輸入圖像矩陣；第二層為第一卷積層，與輸入層連接，該層包含6個特征圖，即可以得到6種不同的特征；第三層為第一下采樣層，與第一卷積層連接，該層包含6個特征圖，通過max-pooling計算得到，也是得到6種不同的特征；第四層為第二卷積層，與下采樣層連接，該層一共有12個特征圖，第五層為第二下采樣層，與第一下采樣層基本相似；第六層為全連接層，共包含196個節(jié)點；最后一層為輸出層，輸出節(jié)點為2，輸出層的兩個輸出神經(jīng)元表示交通標志和非交通標志。

本發(fā)明的優(yōu)點及有益效果如下：

1.本發(fā)明利用hsv顏色模型提取特征，確定交通標志的大致區(qū)域。

2.本發(fā)明利用二分類卷積神經(jīng)網(wǎng)絡檢測交通標志的準確位置。

3.本發(fā)明在gtrsb數(shù)據(jù)庫的實驗中識別率達到95.46％，超過現(xiàn)有的其它方法，而且識別一幅交通標志的時間僅有0.02s左右，滿足實時性。

4.本發(fā)明提出的基于卷積神經(jīng)網(wǎng)絡的方法，不需要人為去提取特征，直接以二維圖像作為輸入，在訓練的時候自動提取特征并訓練，大大減少了特征提取需要耗費的大量時間，而且效果更好。此外，本方法對于多尺度干擾、少量遮擋、少量平移等都有較好的適應性。

附圖說明

圖1是本發(fā)明提供優(yōu)選實施例的系統(tǒng)結(jié)構(gòu)框圖。

圖2為具體實施方式中交通標志檢測的結(jié)構(gòu)框圖。

圖3為dcnn(detectionconvolutionalneuralnetwork,dcnn)的網(wǎng)絡結(jié)構(gòu)圖。

圖4為具體實施方式中交通標志識別的結(jié)構(gòu)框圖。

圖5為rcnn(recognitionconvolutionalneuralnetwork)的網(wǎng)絡結(jié)構(gòu)圖。

圖6為dcnn的roc曲線圖。

圖7為dcnn精度召回曲線圖。

圖8為rcnn在gtsrb數(shù)據(jù)集中訓練卷積神經(jīng)網(wǎng)絡時迭代10次平均誤差圖。

圖9為rcnn在gtsrb數(shù)據(jù)集中訓練卷積神經(jīng)網(wǎng)絡時迭代100次平均誤差圖。

圖10為本發(fā)明與現(xiàn)有交通標志識別技術(shù)的識別準確率柱狀圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、詳細地描述。所描述的實施例僅僅是本發(fā)明的一部分實施例。

本發(fā)明解決上述技術(shù)問題的技術(shù)方案是：

附圖1是本發(fā)明的系統(tǒng)結(jié)構(gòu)框圖。其按照以下幾個步驟進行：

步驟1、采用直方圖均衡化分別對輸入圖像的r、g、b三通道做直方圖均衡化

步驟2、將步驟1預處理的rgb圖像轉(zhuǎn)換為hsv顏色模型，然后提取目標顏色信息，結(jié)合8連通區(qū)域進行初步分割獲得感興趣區(qū)域(regionofinterest，roi)

步驟201、rgb圖像轉(zhuǎn)換為hsv顏色模型。假設所有的顏色值都已經(jīng)歸一化到[0,1]，在rgb三個分量r、g、b中，假設最大的為max，最小的為min，則rgb轉(zhuǎn)換為hsv公式如下：

v＝max

步驟202、設定顏色閾值。如果像素值在閾值范圍內(nèi)即為目標像素，否則為背景像素。滿足以下設定的hsv像素值即為紅色目標像素。

a)hue＜0.05orhue＞0.95

b)saturation＞0.5

c)value＞0.15

步驟203、只包含目標像素值或者與目標像素值相近的區(qū)域，即為二值圖，在其中尋找具有相同像素值且位置相鄰的前景像素點組成的圖像區(qū)域，尋找8連通區(qū)域，經(jīng)過初步分割獲得rois。

步驟3、設計用于交通標志檢測階段的二分類卷積神經(jīng)網(wǎng)絡，稱為dcnn(detectionconvolutionalneuralnetwork)。dcnn的網(wǎng)絡結(jié)構(gòu)如圖3所示，該卷積神經(jīng)網(wǎng)絡一共包含7層，第一層為輸入層，中間的隱藏層為2個卷積層、2個采樣層和一個全連接層，最后一層是輸出層。

步驟302、對于輸入層，需要輸入的數(shù)據(jù)是48×48像素大小的圖像矩陣。由于從圖像中分割出來的roi分辨率大小不一，忽略輸入圖像本身的長寬大小比，直接將該圖像縮放到48×48大小。

步驟303、dcnn的第二層為卷積層，與輸入層連接。該層包含6個特征圖，既可以得到6種不同的特征。卷積核的大小為5×5，卷積核的移動步長默認為1，因此，用5×5的卷積核去對輸入層的48×48大小圖像做卷積，得到的特征圖大小為(48-5+1)×(48-5+1)，即為44×44。每個卷積核包含5×5共25個訓練參數(shù)，外加一個偏置項，而總共有6個卷積核，所以，需要訓練的參數(shù)個數(shù)為(5×5+1)×6＝156，總的連接個數(shù)為156×(44×44)＝302016。

步驟304、dcnn的第三層為下采樣層，與上一層卷積層連接。該層包含6個特征圖，通過max-pooling計算得到，也是得到6種不同的特征。下采樣層的采樣范圍為2×2，因為采樣間不包含重疊部分，因此移動步長為2。每次對圖像的2×2即4個像素進行采樣，因此得到的特征圖的分辨率為上一層的1/4，因此，該層的特征圖大小為22×22。間隔為2的采樣計算過程與卷積計算過程相似，不同的是各個計算區(qū)域間是沒有重疊的。

步驟305、dcnn的第四層為卷積層，與上一層下采樣層連接。該層一共有12個特征圖，卷積核大小為5×5，特征圖分辨率為(22-5+1)×(22-5+1)，即為18×18。該層與第二層相似，不同之處在于第二層的輸入數(shù)據(jù)為來自于輸入層的一個圖像，不同的卷積核分別與其進行卷積運算，而本層的輸入數(shù)據(jù)不是輸入層，而是第三層的6個特征圖，需要用這6個特征圖通過計算得到本層的12個特征圖。6個特征圖的12種排列組合方式。每一行表示一種特征圖，一共6種特征圖。每一列表示與選取的幾個特征圖進行卷積運算得到的一個特征圖。以該層特征圖1為例，該特征圖由下采樣層的第2、3、4個特征圖得到，使用相同的卷積核對這3個特征圖對應的相同位置分別做卷積運算，并將得到的3個卷積結(jié)果通過sigmoid函數(shù)映射為一個1個卷積結(jié)果，作為特征圖1的一個像素值。這種組合方式，因為特征圖的不完全連接，可以有效的減少連接的數(shù)量。

步驟306、dcnn的第五層為下采樣層，與第三層基本相似。采樣范圍為2×2，采樣間隔為2，每個特征圖大小為9×9，共12個特征圖，與上一層的特征圖一一對應。

步驟307、dcnn的第六層為全連接層，共包含196個節(jié)點，每個節(jié)點都與上一層的每個節(jié)點連接，因此權(quán)重連接的個數(shù)為(9×9×12)×196＝190512。

步驟308、dcnn的最后一層為輸出層，輸出節(jié)點為2，是將倒數(shù)第二層的所有神經(jīng)元作為2路softmax的輸入，得到該樣本分別在兩類上的概率分布，然后根據(jù)高概率的類別判斷為哪一類。因為dcnn在交通標志檢測中的主要作用是判斷roi是否為交通標志，因此輸出層的兩個輸出神經(jīng)元表示交通標志和非交通標志。

步驟4、利用步驟3已訓練dcnn判斷步驟2獲取的rois是否為交通標志，是則保留，否則舍棄，得到最終檢測結(jié)果。

步驟5、設計用于交通標志識別階段的卷積神經(jīng)網(wǎng)絡，稱為rcnn(recognitioncnn)。rcnn的結(jié)構(gòu)如圖5所示，一共含有9層，其中中間的隱藏層為3個卷積層、3個采樣層和一個全連接層。

步驟501、rcnn的輸入層為48×48的圖像，與dcnn一樣，輸入樣本和dcnn階段一樣，需要把輸入圖像歸一化到相同大小，即48×48像素大小。rcnn的第二層為卷積層，共有6個特征圖。卷積核大小為77，因此該層每個特征圖大小為(48-7+1)×(48-7+1)，即為42×42。本層與dcnn中的第二層基本相同。rcnn的第三層為下采樣層，使用max-pooling方法對上一卷積層的特征圖進行采樣運算，采樣范圍為2×2大小，采樣間隔為2，得到6個大小為21×21的特征圖。rcnn的第四層為卷積層，共16個特征圖，卷積核大小為4×4。該層與dcnn的結(jié)構(gòu)基本一致，得到特征圖的方式也與dcnn相同。rcnn的第五層為下采樣層，與第三層相似。同樣的，第六層與第七層與前面相似。rcnn最后一層為輸出層，輸出神經(jīng)元為43個，分別代表交通標志43個類別。

步驟6、對步驟4保留的交通標志進行識別，得到交通標志的類別。

為了驗證本發(fā)明的效果，進行了以下實驗：

1.dcnn在gtsdb數(shù)據(jù)集進行測試

1.1實驗分析：

交通標志檢測的目的是盡量去掉多余的背景信息，保留只含交通標志的區(qū)域。所以，交通標志檢測的卷積神經(jīng)網(wǎng)絡不僅要保證識別率，同時也要保證樣本的召回率。

對一個二分類問題來說，會得到四種情況：

假負類fn：falsenegative,被判定為負樣本，但事實上是正樣本。

假正類fp：falsepositive,被判定為正樣本，但事實上是負樣本。

真負類tn：truenegative,被判定為負樣本，事實上也是負樣本。

真正類tp：truepositive,被判定為正樣本，事實上也是正樣本。

其中tp+fp+tn+fn＝樣本總數(shù)。

引入以下概念來評價二分類卷積神經(jīng)網(wǎng)絡。

精確度(precision)：

precision＝tp/(tp+fp)

真正類率(truepositiverate,tpr)，也稱召回率(recall)：

tpr＝recall＝tp/(tp+fn)

假正類率(falsepositiverate,fpr)，也稱轉(zhuǎn)移性(specificity)：

fpr＝fp/(fp+tn)

圖6為dcnn的roc曲線，roc曲線的橫坐標為負正類率(fpr)，縱坐標為真正類率(tpr)。在roc曲線中，(0,1)，即fpr＝0,tpr＝1，意味著fn＝0，并且fp＝0,即分類效果特別好，沒有分類錯誤的；(1,0)，即fpr＝1，tpr＝0，意味著tn＝0，并且tp＝0，即分類效果特別差，全部分類錯誤：(0,0)，即fpr＝tpr＝0，意味著fp＝tp＝0，即全都識別成負樣本；(1,1)，即fpr＝1，tpr＝1，意味著fn＝tn＝0，即全都識別成正樣本。從上述四點和圖像可以看出，roc曲線上的點越接近(0,1),即圖像上的點越接近左上角，分類效果越好。圖6為二分類卷積神經(jīng)網(wǎng)絡的roc曲線，該曲線非常接近左上角，所以該二分類卷積神經(jīng)網(wǎng)絡的分類效果很好。圖7為dcnn精度召回曲線，dcnn的識別率為98％，對應的召回率為97.8％，基本滿足識別率與召回率都比較高的要求。

2.rcnn在gtsrb數(shù)據(jù)集進行測試

2.1實驗分析：

在一次迭代過程中，把整個訓練樣本分成若干份，每一份含有相同數(shù)量的數(shù)據(jù)，如50。每一次訓練卷積神經(jīng)網(wǎng)絡的時候輸入50張交通標志圖，通過前向傳播得到這50張圖像的誤差，然后根據(jù)這個誤差對網(wǎng)絡權(quán)值與偏置進行求導，并反向傳播更新參數(shù)。即一次用50張圖像來更新參數(shù)。

假設參數(shù)調(diào)整的次數(shù)為n，則n＝訓練樣本數(shù)/50×迭代次數(shù)。圖8、圖9分別顯示了卷積神經(jīng)網(wǎng)絡在訓練數(shù)據(jù)集上分別更新參數(shù)次數(shù)為7840、78400的平方誤差率收斂曲線。即訓練網(wǎng)絡分別迭代10、100次。觀察發(fā)現(xiàn)在參數(shù)調(diào)整越5萬次，即迭代64次左右時平方誤差趨于0.01，并基本保持不變。

圖10是用gtsrb數(shù)據(jù)集，通過提取hog、lbp、haar特征結(jié)合svm的分類方法，以及利用lrc(線性回歸)分類的方法的和本文方法的識別正確率比較。

以上這些實施例應理解為僅用于說明本發(fā)明而不用于限制本發(fā)明的保護范圍。在閱讀了本發(fā)明的記載的內(nèi)容之后，技術(shù)人員可以對本發(fā)明作各種改動或修改，這些等效變化和修飾同樣落入本發(fā)明權(quán)利要求所限定的范圍。