本發(fā)明涉及基于計(jì)算機(jī)的圖像處理技術(shù)，尤其涉及一種基于區(qū)域的全卷積神經(jīng)網(wǎng)絡(luò)的路牌識(shí)別方法。

背景技術(shù)：

在日常的交通行駛中，交通路牌起著很大的作用，正確地自動(dòng)檢測(cè)交通路牌具有潛在應(yīng)用價(jià)值。物體檢測(cè)的深度網(wǎng)絡(luò)按感興趣區(qū)域(roi)池化層分為兩大主流：共享計(jì)算的全卷積子網(wǎng)絡(luò)(每個(gè)子網(wǎng)絡(luò)與roi無(wú)關(guān))和不共享計(jì)算的作用于各自roi的子網(wǎng)絡(luò)。工程分類結(jié)構(gòu)(如alexnet和vggnets)導(dǎo)致這樣的分流，而工程上的圖像分類結(jié)構(gòu)被設(shè)計(jì)為兩個(gè)子網(wǎng)絡(luò)——1個(gè)后綴、1個(gè)空間池化層的卷積子網(wǎng)絡(luò)和多個(gè)全連接層。因此，圖像分類網(wǎng)絡(luò)中最后的空間池化層自然變成了路牌檢測(cè)網(wǎng)絡(luò)中的roi池化層。

深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過(guò)組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度學(xué)習(xí)的概念由hinton等人于2006年提出?；谏疃戎眯啪W(wǎng)絡(luò)(dbn)提出非監(jiān)督貪心逐層訓(xùn)練算法，為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來(lái)希望，隨后提出多層自動(dòng)編碼器深層結(jié)構(gòu)。此外hubel等人提出的卷積神經(jīng)網(wǎng)絡(luò)是第一個(gè)真正多層結(jié)構(gòu)學(xué)習(xí)算法，它利用空間相對(duì)關(guān)系減少參數(shù)數(shù)目以提高訓(xùn)練性能。

近年來(lái)，諸如殘差網(wǎng)絡(luò)和googlenets等先進(jìn)的圖像分類網(wǎng)絡(luò)為全卷積網(wǎng)絡(luò)。類似地，自然會(huì)將全卷積神經(jīng)網(wǎng)絡(luò)用于路牌檢測(cè)中(隱藏層不包含作用于roi的子網(wǎng)絡(luò))。然而，物體檢測(cè)工作中的經(jīng)驗(yàn)表明，這種解決方案的檢測(cè)效果遠(yuǎn)差于該網(wǎng)絡(luò)的分類效果。然而，更快地r-cnn檢測(cè)器不自然地在兩卷積層間插入roi池化層，這樣更深的作用于各roi的子網(wǎng)絡(luò)雖精度更高，但各個(gè)roi計(jì)算不共享所以速度慢。

現(xiàn)有的方法中，基于全卷積神經(jīng)網(wǎng)絡(luò)方法的檢測(cè)精度不高，基于roi的r-cnn的檢測(cè)速度慢，因此，本發(fā)明公開(kāi)了一種基于區(qū)域的全卷積神經(jīng)網(wǎng)絡(luò)的路牌檢測(cè)方法，本發(fā)明采用流行的物體檢測(cè)策略，第一步是利用卷基層對(duì)圖像進(jìn)行特征提??；第二步是利用區(qū)域建議網(wǎng)絡(luò)提取候選區(qū)域；第二步是利用基于區(qū)域的全卷積神經(jīng)網(wǎng)絡(luò)對(duì)候選區(qū)域進(jìn)行分類；最后輸出路牌的檢測(cè)結(jié)果。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問(wèn)題是增強(qiáng)路牌檢測(cè)的魯棒性，提高路牌檢測(cè)的正確率。

為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種基于區(qū)域的全卷積神經(jīng)網(wǎng)絡(luò)的路牌檢測(cè)方法，用于路牌檢測(cè)上；該方法包括：

利用卷基層對(duì)圖像進(jìn)行特征提?。?/p>

利用區(qū)域建議網(wǎng)絡(luò)提取候選區(qū)域；

用基于區(qū)域的全卷積神經(jīng)網(wǎng)絡(luò)對(duì)候選區(qū)域進(jìn)行分類；

輸出路牌的檢測(cè)結(jié)果。

其中，根據(jù)所述訓(xùn)練樣本獲得所述的圖像特征，包括：

將整幅圖像輸入卷積層；

卷積層進(jìn)行卷積計(jì)算；

輸出計(jì)算結(jié)果的特征圖。

其中，根據(jù)所述訓(xùn)練樣本獲得候選區(qū)域，包括：

架構(gòu)區(qū)域建議網(wǎng)絡(luò)；

區(qū)域建議網(wǎng)絡(luò)根據(jù)特征圖進(jìn)行計(jì)算；

區(qū)域建議網(wǎng)絡(luò)產(chǎn)生候選區(qū)域。

其中，將對(duì)全卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行構(gòu)造，包括：

采用經(jīng)典的深度殘差神經(jīng)網(wǎng)絡(luò)-101；

設(shè)置100個(gè)卷積層；

設(shè)置1個(gè)全局平均池化層；

設(shè)置1個(gè)1000類的全連接層。

其中，使用全卷積神經(jīng)網(wǎng)絡(luò)對(duì)候選區(qū)域進(jìn)行分類，包括：

對(duì)候選區(qū)域的每類所有相對(duì)空間位置的分?jǐn)?shù)進(jìn)行平均池化，利用分類器進(jìn)行分類；

再經(jīng)過(guò)卷積層進(jìn)行定位，標(biāo)出邊界框；

計(jì)算每個(gè)候選區(qū)域的交叉熵和邊界框回歸損失的和作為損失函數(shù)，用于確定正確的邊界框；

分類后，將候選區(qū)域進(jìn)行可視化輸出。

附圖說(shuō)明

附圖用來(lái)提供對(duì)本發(fā)明技術(shù)方案的進(jìn)一步理解，并且構(gòu)成說(shuō)明書的一部分，與本申請(qǐng)的實(shí)施例一起用于解釋本發(fā)明的技術(shù)方案，并不構(gòu)成對(duì)本發(fā)明技術(shù)方案的限制。

圖1為本申請(qǐng)實(shí)施例的基于區(qū)域的全卷積神經(jīng)網(wǎng)絡(luò)的路牌檢測(cè)方法的流程示意圖。

圖2為本申請(qǐng)實(shí)施例中獲得圖像特征的流程示意圖。

圖3為本申請(qǐng)實(shí)施例獲得候選區(qū)域的流程示意圖。

圖4為本申請(qǐng)實(shí)施例獲得全卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)流程示意圖。

圖5為全卷積神經(jīng)網(wǎng)絡(luò)全卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖。

圖6為本申請(qǐng)實(shí)施例述及的對(duì)候選區(qū)域進(jìn)行分類流程示意圖。

具體實(shí)施方式

以下將結(jié)合附圖及實(shí)施例來(lái)詳細(xì)說(shuō)明本發(fā)明的實(shí)施方式，借此對(duì)本發(fā)明如何應(yīng)用技術(shù)手段來(lái)解決技術(shù)問(wèn)題，并達(dá)成技術(shù)效果的實(shí)現(xiàn)過(guò)程能充分理解并據(jù)以實(shí)施。

本申請(qǐng)實(shí)施例的基于區(qū)域的全卷積神經(jīng)網(wǎng)絡(luò)的路牌檢測(cè)方法，用于路牌的識(shí)別。本申請(qǐng)實(shí)施例所述的路牌檢測(cè)，主要是指運(yùn)用全卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行路牌檢測(cè)。

本申請(qǐng)的實(shí)施例可以利用區(qū)域建議網(wǎng)絡(luò)提取候選區(qū)域，利用基于區(qū)域的全卷積神經(jīng)網(wǎng)絡(luò)對(duì)候選區(qū)域進(jìn)行分類，對(duì)gtsdb數(shù)據(jù)集中的路牌圖像進(jìn)行識(shí)別。

如圖1所示，本申請(qǐng)實(shí)施例的基于區(qū)域的全卷積神經(jīng)網(wǎng)絡(luò)的路牌檢測(cè)方法，主要包括如下步驟：

步驟s110，利用卷基層對(duì)圖像進(jìn)行特征提取；

步驟s120，利用區(qū)域建議網(wǎng)絡(luò)提取候選區(qū)域；

步驟s130，用基于區(qū)域的全卷積神經(jīng)網(wǎng)絡(luò)對(duì)候選區(qū)域進(jìn)行分類；

步驟s140，輸出路牌的檢測(cè)結(jié)果。

本申請(qǐng)實(shí)施例中，根據(jù)所述訓(xùn)練樣本獲得所述的圖像特征。圖2表示出了提取所述基于卷積層的圖像特征的主要步驟。

步驟s210，將整幅圖像輸入卷積層；

步驟s220，卷積層進(jìn)行卷積計(jì)算；

步驟s230，輸出計(jì)算結(jié)果的特征圖。

本申請(qǐng)實(shí)施例中，根據(jù)所述訓(xùn)練樣本獲得候選區(qū)域。圖3示出了獲得候選區(qū)域的主要步驟。

步驟s310，架構(gòu)區(qū)域建議網(wǎng)絡(luò)；

區(qū)域建議網(wǎng)絡(luò)為全卷積網(wǎng)絡(luò)，用于提取候選區(qū)域，與基于區(qū)域的全卷積神經(jīng)網(wǎng)絡(luò)共享特征值。

步驟s320，區(qū)域建議網(wǎng)絡(luò)根據(jù)特征圖進(jìn)行計(jì)算。

步驟s330，區(qū)域建議網(wǎng)絡(luò)產(chǎn)生候選區(qū)域。

本申請(qǐng)實(shí)施例中，將對(duì)全卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行構(gòu)造。圖4示出了將對(duì)全卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行構(gòu)造的主要步驟。

步驟s410，采用經(jīng)典的殘差神經(jīng)網(wǎng)絡(luò)-101。

深度殘差網(wǎng)絡(luò)是在標(biāo)準(zhǔn)的前饋卷積網(wǎng)絡(luò)上，加一個(gè)跳躍繞過(guò)一些層的連接。每繞過(guò)一層就產(chǎn)生一個(gè)殘差塊(residualblock)，卷積層預(yù)測(cè)加輸入張量的殘差。殘差神經(jīng)網(wǎng)絡(luò)由于存在快捷連接，網(wǎng)絡(luò)間的數(shù)據(jù)流通更為順暢，不會(huì)由于梯度消失而形成欠擬合。

形式上，把作為所需的基本映射，讓堆疊的非線性層適合另一個(gè)映射。那么原映射便轉(zhuǎn)化成：。假設(shè)優(yōu)化剩余的映射，比優(yōu)化原來(lái)的未引用映射更容易。如果身份映射是最佳的，那么將剩余的映射推為零，就比用一堆非線性層來(lái)適應(yīng)身份映射更容易。公式可以通過(guò)“快捷連接”的前饋神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)?？旖葸B接是指跳過(guò)一層或更多層進(jìn)行連接?？旖葸B接簡(jiǎn)單的執(zhí)行身份映射，并將它們的輸出添加到疊加層輸出。身份快捷連接添加既不產(chǎn)生額外的參數(shù)，也不會(huì)增加額外的計(jì)算量。通過(guò)反向傳播收斂隨機(jī)梯度下降，整個(gè)網(wǎng)絡(luò)仍可以訓(xùn)練成終端到終端，并且可以在無(wú)修改器的情況下很容易使用公共圖書館(如caffe)。圖5為為全卷積神經(jīng)網(wǎng)絡(luò)全卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖。

步驟s420，設(shè)置100個(gè)卷積層。

步驟s430，設(shè)置1個(gè)全局平均池化層。

對(duì)基于區(qū)域的全卷積神經(jīng)網(wǎng)絡(luò)(r-fcn)的卷積響應(yīng)圖像按區(qū)域建議網(wǎng)絡(luò)(rpn)的結(jié)果分割出來(lái)感興趣區(qū)域，對(duì)單通道的感興趣區(qū)域分成個(gè)網(wǎng)格，每個(gè)網(wǎng)格平均池化，然后所有通道再平均池化。

對(duì)1個(gè)大小為的候選區(qū)域(roi)，1個(gè)bin的大小為，最后1個(gè)卷積層為每類產(chǎn)生個(gè)分?jǐn)?shù)圖。對(duì)第個(gè)bin，定義1個(gè)位置敏感roi池化操作：

其中，為第類第個(gè)箱子的池化響應(yīng)，為個(gè)分?jǐn)?shù)圖中的輸出，為候選區(qū)域的左上角坐標(biāo)，為bin里的像素總數(shù)，且為網(wǎng)絡(luò)的參數(shù)。

步驟s440，設(shè)置1個(gè)1000類的全連接層。

本申請(qǐng)實(shí)施例中，使用全卷積神經(jīng)網(wǎng)絡(luò)對(duì)候選區(qū)域進(jìn)行分類。圖6為本申請(qǐng)實(shí)施例述及的softmax分類器示意圖。

步驟s610，對(duì)候選區(qū)域的每類所有相對(duì)空間位置的分?jǐn)?shù)進(jìn)行平均池化，利用分類器進(jìn)行分類。

對(duì)該候選區(qū)域的每類所有相對(duì)空間位置的分?jǐn)?shù)平均池化(或投票)：

平均池化后，用softmax進(jìn)行回歸分類。

步驟s620，再經(jīng)過(guò)卷積層進(jìn)行定位，標(biāo)出邊界框。

維的卷積層后，增加1個(gè)維的卷積層來(lái)回歸邊界框。每個(gè)候選區(qū)域產(chǎn)生的維向量經(jīng)平均投票后，得到1個(gè)4維向量，即為邊界框。

步驟s630，計(jì)算每個(gè)候選區(qū)域的交叉熵和邊界框回歸損失的和作為損失函數(shù)，用于確定正確的邊界框。

每個(gè)候選區(qū)域的損失函數(shù)為交叉熵?fù)p失與邊界框回歸損失的和：

其中，說(shuō)明候選區(qū)域的真實(shí)標(biāo)簽為背景。rpn產(chǎn)生的區(qū)域建議當(dāng)roi與真實(shí)邊框的損失函數(shù)超過(guò)0.5時(shí)，標(biāo)定正確的邊界框。

步驟s630，分類后，將候選區(qū)域進(jìn)行可視化輸出。

經(jīng)過(guò)基于區(qū)域的全卷積神經(jīng)網(wǎng)絡(luò)的最后1個(gè)卷積層后產(chǎn)生9個(gè)相對(duì)空間位置的分?jǐn)?shù)圖，對(duì)每類的每個(gè)相對(duì)空間位置通道內(nèi)的候選區(qū)域的bin平均池化得到3×3的池化分?jǐn)?shù)，投票后送入分類器判斷類別。當(dāng)分類正確時(shí)，該類通道的位置敏感分?jǐn)?shù)圖(中間)的大多數(shù)橙色實(shí)線網(wǎng)格內(nèi)的響應(yīng)在整個(gè)roi位置范圍內(nèi)最強(qiáng)。

本申請(qǐng)實(shí)施例提出了一種基于區(qū)域的全卷積神經(jīng)網(wǎng)絡(luò)的路牌檢測(cè)方法，利用全卷積神經(jīng)網(wǎng)絡(luò)和區(qū)域建議網(wǎng)絡(luò)，對(duì)路牌進(jìn)行檢測(cè)，提高了路牌檢測(cè)的魯棒性。該方法包括：本發(fā)明采用流行的物體檢測(cè)策略，第一步是利用卷基層對(duì)圖像進(jìn)行特征提?。坏诙绞抢脜^(qū)域建議網(wǎng)絡(luò)提取候選區(qū)域；第三步是利用基于區(qū)域的全卷積神經(jīng)網(wǎng)絡(luò)對(duì)候選區(qū)域進(jìn)行分類；最后輸出路牌的檢測(cè)結(jié)果。從結(jié)果看，本發(fā)明提高了路牌檢測(cè)的精確度。