本發(fā)明涉及圖像處理領(lǐng)域，尤其是一種基于深度學(xué)習(xí)的車輛品牌型號(hào)精細(xì)識(shí)別方法與系統(tǒng)。
背景技術(shù)：
：近年來，隨著道路的監(jiān)控安防布控逐漸完善，交通管理部門每天需要處理的視頻圖像數(shù)據(jù)也急劇增加，因此作為智能交通系統(tǒng)的重要組成部分，基于圖像的車輛品牌型號(hào)精細(xì)識(shí)別得到了越來越多的關(guān)注。基于圖像的車輛品牌型號(hào)精細(xì)識(shí)別的主要工作是從一個(gè)圖像中識(shí)別出未知的車輛類型、品牌、型號(hào)、年款等。與傳統(tǒng)的車輛類型識(shí)別不同，車輛品牌型號(hào)精細(xì)識(shí)別的有以下兩個(gè)難點(diǎn)：第一個(gè)是車輛的外觀具有較高的相似性，特別是同一品牌的不同年款的車輛；第二個(gè)由于拍攝時(shí)候的光照、天氣以及拍攝角度等的影響，即便是同一款車輛也可能呈現(xiàn)出不同的圖像特征。現(xiàn)有的車輛品牌型號(hào)精細(xì)識(shí)別方法可以分為基于傳統(tǒng)模式識(shí)別方法與基于深度學(xué)習(xí)的識(shí)別算法。基于傳統(tǒng)模式識(shí)別的方法首先利用人工設(shè)計(jì)的特征描述子(如SIFT以及HOG等)去提取車輛的圖像特征，然后把特征向量直接送入預(yù)先訓(xùn)練好的分類器(該分類器通過模式識(shí)別的方法設(shè)計(jì)出)進(jìn)行識(shí)別。這種方法通常需要提取車輛的特定區(qū)域(如車臉區(qū)域等)，當(dāng)遇到車輛圖像背景較復(fù)雜的情況時(shí)將無法完整提取甚至無法提取車輛的特定區(qū)域，這將會(huì)影響后續(xù)的車輛品牌型號(hào)精細(xì)識(shí)別的準(zhǔn)確率。此外，人工設(shè)計(jì)的特征是針對一定場景和問題設(shè)計(jì)的，無法很好地描述車輛圖像的內(nèi)在信息，在面對復(fù)雜場景時(shí)，人工設(shè)計(jì)的特征的描述效果可能會(huì)大打折扣，泛化能力較差。而基于深度學(xué)習(xí)的識(shí)別算法則通過卷積神經(jīng)網(wǎng)絡(luò)自適應(yīng)提取圖像的特征并進(jìn)行分類?；谏疃葘W(xué)習(xí)的識(shí)別算法優(yōu)勢在于自適應(yīng)提取的圖像特征能很好地描述車輛圖像的內(nèi)在信息，泛化能力較好，但是這種方法并沒有考慮車輛的空間結(jié)構(gòu)信息，對后續(xù)的識(shí)別準(zhǔn)確率造成一定的影響。因此，業(yè)內(nèi)亟需一種能自適應(yīng)學(xué)習(xí)特征，而且能捕捉車輛的空間結(jié)構(gòu)信息的，車輛品牌型號(hào)精細(xì)識(shí)別方法與系統(tǒng)。技術(shù)實(shí)現(xiàn)要素：為解決上述技術(shù)問題，本發(fā)明的目的在于：提供一種魯棒性好和識(shí)別準(zhǔn)確率高的，基于深度學(xué)習(xí)的車輛品牌型號(hào)精細(xì)識(shí)別方法。本發(fā)明的另一目的在于：提供一種魯棒性好和識(shí)別準(zhǔn)確率高的，基于深度學(xué)習(xí)的車輛品牌型號(hào)精細(xì)識(shí)別系統(tǒng)。本發(fā)明所采取的技術(shù)方案是：一種基于深度學(xué)習(xí)的車輛品牌型號(hào)精細(xì)識(shí)別方法，包括以下步驟：獲取原始車輛圖像；對原始車輛圖像進(jìn)行空間金字塔劃分，將原始車輛圖像劃分為三個(gè)層次共21個(gè)圖像塊，所述三個(gè)層次中圖像塊的數(shù)量分別是1、4以及16個(gè)；采用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)對劃分后的各個(gè)圖像塊進(jìn)行特征提取，得到各個(gè)圖像塊的特征向量，所述改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)包括卷積層、最大池化層、架構(gòu)層和平均池化層；根據(jù)各個(gè)圖像塊的特征向量采用權(quán)值空間金字塔的方法得到車輛圖像的最終表達(dá)向量；將車輛圖像的最終表達(dá)向量送入預(yù)先訓(xùn)練好的一個(gè)多類線性支持向量機(jī)分類器中進(jìn)行車輛品牌型號(hào)識(shí)別。進(jìn)一步，所述卷積層的輸入為一個(gè)s1×s2×s3大小的三維矩陣X，所述卷積層的輸出為一個(gè)t1×t2×t3大小的三維矩陣Y，其中，s3是卷積層輸入二維特征圖的數(shù)量，s1×s2是卷積層輸入二維特征圖的大小，t3是卷積層輸出的二維特征圖的數(shù)量，t1×t2是卷積層輸出的二維特征圖的大小，輸入二維特征圖和輸出的二維特征圖由各個(gè)圖像塊的像素點(diǎn)進(jìn)行卷積運(yùn)算得到，所述卷積層輸出與輸入的關(guān)系表達(dá)式為：式中，xi是卷積層第i個(gè)輸入二維特征圖，yj是卷積層第j個(gè)輸出的二維特征圖，代表卷積操作，kij表示第j個(gè)輸出的二維特征圖對應(yīng)第i個(gè)輸入二維特征圖的二維卷積核參數(shù)，kij由卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到，f(·)是激活函數(shù)，激活函數(shù)f(v)的表達(dá)式為：f(v)＝max(0,v)。進(jìn)一步，所述平均池化層的計(jì)算公式為：其中，yc,d,e表示平均池化層第e個(gè)輸出特征圖中坐標(biāo)為c，d的像素值，bc+p,d+q,e表示平均池化層第e個(gè)輸入特征圖中坐標(biāo)為(c+p),(d+q)的像素值，αp,q是一個(gè)大小為f1×f2且值為1/(f1×f2)的平均池化層濾波器，f1和f2均為7，p和q的取值范圍分別為和所述平均池化層的輸入特征圖和輸出特征圖由各個(gè)圖像塊的像素點(diǎn)進(jìn)行卷積運(yùn)算得到；所述最大池化層的計(jì)算公式為：yg,h,k＝max(bg-p′,h-q′,k,bg-p′+1,h-q′+1,k,...,bg+p′,h+q′,k)，其中，yg,h,k表示最大池化層第k個(gè)輸出特征圖中坐標(biāo)為g，h的像素值，bg-p′,h-q′,k表示最大池化層第k個(gè)輸入特征圖中坐標(biāo)為(g-p′)，(h-q′)的像素值，bg+p′,h+q′,k表示最大池化層第k個(gè)輸入特征圖中坐標(biāo)為(g+p′)，(h+q′)的像素值，f11和f22分別為最大池化層濾波器的兩個(gè)設(shè)定大小參數(shù)，所述最大池化層的輸入特征圖和輸出特征圖由各個(gè)圖像塊的像素點(diǎn)進(jìn)行卷積運(yùn)算得到。進(jìn)一步，所述架構(gòu)層先分別通過3個(gè)1×1卷積模板和1個(gè)3×3最大池化模板一分為四，然后分別與1、3×3卷積模板、5×5卷積模板和1×1卷積模板進(jìn)行卷積運(yùn)算，最后再將這四個(gè)卷積運(yùn)算的結(jié)果進(jìn)行堆疊。進(jìn)一步，所述根據(jù)各個(gè)圖像塊的特征向量采用權(quán)值空間金字塔的方法得到車輛圖像的最終表達(dá)向量這一步驟，其包括：根據(jù)每個(gè)圖像塊的特征向量計(jì)算每個(gè)圖像塊的最終表達(dá)向量，所述每個(gè)子區(qū)域的最終表達(dá)向量計(jì)算公式為：Ft＝Wt*Ut，其中，Ut為第t個(gè)圖像塊的特征向量，F(xiàn)t為第t個(gè)圖像塊的最終表達(dá)向量，Wt為第t個(gè)圖像塊的權(quán)重，t＝1，2，…，21；所述圖像塊的編號(hào)t的編號(hào)規(guī)則為：第一個(gè)層次的1個(gè)圖像塊編號(hào)t＝1，第二個(gè)層次的4個(gè)圖像塊的編號(hào)t按自左向右以及自上而下的順序依次為2,3,4,5；第三個(gè)層次的16個(gè)圖像塊的編號(hào)t按自左向右以及自上而下的順序依次為6,7,…，21；把每個(gè)圖像塊的最終表達(dá)向量按順序連接起來組成車輛圖像的最終表達(dá)向量。進(jìn)一步，所述21個(gè)圖像塊的權(quán)重集合W的表達(dá)式為：W＝{w|w＝Wt}＝{3,1,1,3,3,1,1,1,1,1,1,1,1,3,3,3,3,3,3,3,3}。進(jìn)一步，所述多類線性支持向量機(jī)分類器的參數(shù)采用one-vs-rest的方法訓(xùn)練得到。本發(fā)明所采取的另一技術(shù)方案是：一種基于深度學(xué)習(xí)的車輛品牌型號(hào)精細(xì)識(shí)別系統(tǒng)，包括：獲取模塊，用于獲取原始車輛圖像；空間金字塔劃分模塊，用于對原始車輛圖像進(jìn)行空間金字塔劃分，將原始車輛圖像劃分為三個(gè)層次共21個(gè)圖像塊，所述三個(gè)層次中圖像塊的數(shù)量分別是1、4以及16個(gè)；特征提取模塊，用于采用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)對劃分后的各個(gè)圖像塊進(jìn)行特征提取，得到各個(gè)圖像塊的特征向量，所述改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)包括卷積層、最大池化層、架構(gòu)層和平均池化層；最終表達(dá)向量獲取模塊，用于根據(jù)各個(gè)圖像塊的特征向量采用權(quán)值空間金字塔的方法得到車輛圖像的最終表達(dá)向量；識(shí)別模塊，用于將車輛圖像的最終表達(dá)向量送入預(yù)先訓(xùn)練好的一個(gè)多類線性支持向量機(jī)分類器中進(jìn)行車輛品牌型號(hào)識(shí)別。進(jìn)一步，所述卷積層的輸入為一個(gè)s1×s2×s3大小的三維矩陣X，所述卷積層的輸出為一個(gè)t1×t2×t3大小的三維矩陣Y，其中，s3是卷積層輸入二維特征圖的數(shù)量，s1×s2是卷積層輸入二維特征圖的大小，t3是卷積層輸出的二維特征圖的數(shù)量，t1×t2是卷積層輸出的二維特征圖的大小，輸入二維特征圖和輸出的二維特征圖由各個(gè)圖像塊的像素點(diǎn)進(jìn)行卷積運(yùn)算得到，所述卷積層輸出與輸入的關(guān)系表達(dá)式為：式中，xi是卷積層第i個(gè)輸入二維特征圖，yj是卷積層第j個(gè)輸出的二維特征圖，代表卷積操作，kij表示第j個(gè)輸出的二維特征圖對應(yīng)第i個(gè)輸入二維特征圖的二維卷積核參數(shù)，kij由卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到，f(·)是激活函數(shù)，激活函數(shù)f(v)的表達(dá)式為：f(v)＝max(0,v)。進(jìn)一步，所述最終表達(dá)向量獲取模塊包括：計(jì)算單元，用于根據(jù)每個(gè)圖像塊的特征向量計(jì)算每個(gè)圖像塊的最終表達(dá)向量，所述每個(gè)子區(qū)域的最終表達(dá)向量計(jì)算公式為：Ft＝Wt*Ut，其中，Ut為第t個(gè)圖像塊的特征向量，F(xiàn)t為第t個(gè)圖像塊的最終表達(dá)向量，Wt為第t個(gè)圖像塊的權(quán)重，t＝1，2，…，21；所述圖像塊的編號(hào)t的編號(hào)規(guī)則為：第一個(gè)層次的1個(gè)圖像塊編號(hào)t＝1，第二個(gè)層次的4個(gè)圖像塊的編號(hào)t按自左向右以及自上而下的順序依次為2,3,4,5；第三個(gè)層次的16個(gè)圖像塊的編號(hào)t按自左向右以及自上而下的順序依次為6,7,…，21；連接單元，用于把每個(gè)圖像塊的最終表達(dá)向量按順序連接起來組成車輛圖像的最終表達(dá)向量。本發(fā)明的方法的有益效果是：基于深度學(xué)習(xí)，采用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)對車輛全圖圖像自適應(yīng)提取車輛的特征，無需人工設(shè)計(jì)的特征，也不需要提取車輛的特定區(qū)域，魯棒性好；改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)包括卷積層、最大池化層、架構(gòu)層和平均池化層，去掉了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的全連接層以及分類層，把卷積神經(jīng)網(wǎng)絡(luò)當(dāng)作系統(tǒng)的一個(gè)特征提取器，減少了網(wǎng)絡(luò)再訓(xùn)練的成本以及提高了后續(xù)的識(shí)別準(zhǔn)確率；增設(shè)了采用權(quán)值空間金字塔的方法得到車輛圖像的最終表達(dá)向量的步驟，能捕捉到車輛的空間信息，有效地提高了識(shí)別準(zhǔn)確率。本發(fā)明的系統(tǒng)的有益效果是：基于深度學(xué)習(xí)，在特征提取模塊中采用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)對車輛全圖圖像自適應(yīng)提取車輛的特征，無需人工設(shè)計(jì)的特征，也不需要提取車輛的特定區(qū)域，魯棒性好；改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)包括卷積層、最大池化層、架構(gòu)層和平均池化層，去掉了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的全連接層以及分類層，把卷積神經(jīng)網(wǎng)絡(luò)當(dāng)作系統(tǒng)的一個(gè)特征提取器，減少了網(wǎng)絡(luò)再訓(xùn)練的成本以及提高了后續(xù)的識(shí)別準(zhǔn)確率；增設(shè)了用于采用權(quán)值空間金字塔的方法得到車輛圖像的最終表達(dá)向量的最終表達(dá)向量獲取模塊，能捕捉到車輛的空間信息，有效地提高了識(shí)別準(zhǔn)確率。附圖說明圖1為本發(fā)明一種基于深度學(xué)習(xí)的車輛品牌型號(hào)精細(xì)識(shí)別方法的整體流程圖；圖2為本發(fā)明實(shí)施例一的系統(tǒng)流程圖；圖3為本發(fā)明的空間金字塔劃分示意圖；圖4為本發(fā)明改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)層的結(jié)構(gòu)示意圖；圖5為本發(fā)明的權(quán)值空間金字塔示意圖。具體實(shí)施方式參照圖1，一種基于深度學(xué)習(xí)的車輛品牌型號(hào)精細(xì)識(shí)別方法，包括以下步驟：獲取原始車輛圖像；對原始車輛圖像進(jìn)行空間金字塔劃分，將原始車輛圖像劃分為三個(gè)層次共21個(gè)圖像塊，所述三個(gè)層次中圖像塊的數(shù)量分別是1、4以及16個(gè)；采用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)對劃分后的各個(gè)圖像塊進(jìn)行特征提取，得到各個(gè)圖像塊的特征向量，所述改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)包括卷積層、最大池化層、架構(gòu)層和平均池化層；根據(jù)各個(gè)圖像塊的特征向量采用權(quán)值空間金字塔的方法得到車輛圖像的最終表達(dá)向量；將車輛圖像的最終表達(dá)向量送入預(yù)先訓(xùn)練好的一個(gè)多類線性支持向量機(jī)分類器中進(jìn)行車輛品牌型號(hào)識(shí)別。進(jìn)一步作為優(yōu)選的實(shí)施方式，所述卷積層的輸入為一個(gè)s1×s2×s3大小的三維矩陣X，所述卷積層的輸出為一個(gè)t1×t2×t3大小的三維矩陣Y，其中，s3是卷積層輸入二維特征圖的數(shù)量，s1×s2是卷積層輸入二維特征圖的大小，t3是卷積層輸出的二維特征圖的數(shù)量，t1×t2是卷積層輸出的二維特征圖的大小，輸入二維特征圖和輸出的二維特征圖由各個(gè)圖像塊的像素點(diǎn)進(jìn)行卷積運(yùn)算得到，所述卷積層輸出與輸入的關(guān)系表達(dá)式為：式中，xi是卷積層第i個(gè)輸入二維特征圖，yj是卷積層第j個(gè)輸出的二維特征圖，代表卷積操作，kij表示第j個(gè)輸出的二維特征圖對應(yīng)第i個(gè)輸入二維特征圖的二維卷積核參數(shù)，kij由卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到，f(·)是激活函數(shù)，激活函數(shù)f(v)的表達(dá)式為：f(v)＝max(0,v)。進(jìn)一步作為優(yōu)選的實(shí)施方式，所述平均池化層的計(jì)算公式為：其中，yc,d,e表示平均池化層第e個(gè)輸出特征圖中坐標(biāo)為c，d的像素值，bc+p,d+q,e表示平均池化層第e個(gè)輸入特征圖中坐標(biāo)為(c+p),(d+q)的像素值，αp,q是一個(gè)大小為f1×f2且值為1/(f1×f2)的平均池化層濾波器，f1和f2均為7，p和q的取值范圍分別為和所述平均池化層的輸入特征圖和輸出特征圖由各個(gè)圖像塊的像素點(diǎn)進(jìn)行卷積運(yùn)算得到；所述最大池化層的計(jì)算公式為：yg,h,k＝max(bg-p′,h-q′,k,bg-p′+1,h-q′+1,k,...,bg+p′,h+q′,k)，其中，yg,h,k表示最大池化層第k個(gè)輸出特征圖中坐標(biāo)為g，h的像素值，bg-p′,h-q′,k表示最大池化層第k個(gè)輸入特征圖中坐標(biāo)為(g-p′)，(h-q′)的像素值，bg+p′,h+q′,k表示最大池化層第k個(gè)輸入特征圖中坐標(biāo)為(g+p′)，(h+q′)的像素值，f11和f22分別為最大池化層濾波器的兩個(gè)設(shè)定大小參數(shù)，所述最大池化層的輸入特征圖和輸出特征圖由各個(gè)圖像塊的像素點(diǎn)進(jìn)行卷積運(yùn)算得到。進(jìn)一步作為優(yōu)選的實(shí)施方式，所述架構(gòu)層先分別通過3個(gè)1×1卷積模板和1個(gè)3×3最大池化模板一分為四，然后分別與1、3×3卷積模板、5×5卷積模板和1×1卷積模板進(jìn)行卷積運(yùn)算，最后再將這四個(gè)卷積運(yùn)算的結(jié)果進(jìn)行堆疊。進(jìn)一步作為優(yōu)選的實(shí)施方式，所述根據(jù)各個(gè)圖像塊的特征向量采用權(quán)值空間金字塔的方法得到車輛圖像的最終表達(dá)向量這一步驟，其包括：根據(jù)每個(gè)圖像塊的特征向量計(jì)算每個(gè)圖像塊的最終表達(dá)向量，所述每個(gè)子區(qū)域的最終表達(dá)向量計(jì)算公式為：Ft＝Wt*Ut，其中，Ut為第t個(gè)圖像塊的特征向量，F(xiàn)t為第t個(gè)圖像塊的最終表達(dá)向量，Wt為第t個(gè)圖像塊的權(quán)重，t＝1，2，…，21；所述圖像塊的編號(hào)t的編號(hào)規(guī)則為：第一個(gè)層次的1個(gè)圖像塊編號(hào)t＝1，第二個(gè)層次的4個(gè)圖像塊的編號(hào)t按自左向右以及自上而下的順序依次為2,3,4,5；第三個(gè)層次的16個(gè)圖像塊的編號(hào)t按自左向右以及自上而下的順序依次為6,7,…，21；把每個(gè)圖像塊的最終表達(dá)向量按順序連接起來組成車輛圖像的最終表達(dá)向量。進(jìn)一步作為優(yōu)選的實(shí)施方式，所述21個(gè)圖像塊的權(quán)重集合W的表達(dá)式為：W＝{w|w＝Wt}＝{3,1,1,3,3,1,1,1,1,1,1,1,1,3,3,3,3,3,3,3,3}。進(jìn)一步，所述多類線性支持向量機(jī)分類器的參數(shù)采用one-vs-rest的方法訓(xùn)練得到。參照圖1，一種基于深度學(xué)習(xí)的車輛品牌型號(hào)精細(xì)識(shí)別系統(tǒng)，包括：獲取模塊，用于獲取原始車輛圖像；空間金字塔劃分模塊，用于對原始車輛圖像進(jìn)行空間金字塔劃分，將原始車輛圖像劃分為三個(gè)層次共21個(gè)圖像塊，所述三個(gè)層次中圖像塊的數(shù)量分別是1、4以及16個(gè)；特征提取模塊，用于采用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)對劃分后的各個(gè)圖像塊進(jìn)行特征提取，得到各個(gè)圖像塊的特征向量，所述改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)包括卷積層、最大池化層、架構(gòu)層和平均池化層；最終表達(dá)向量獲取模塊，用于根據(jù)各個(gè)圖像塊的特征向量采用權(quán)值空間金字塔的方法得到車輛圖像的最終表達(dá)向量；識(shí)別模塊，用于將車輛圖像的最終表達(dá)向量送入預(yù)先訓(xùn)練好的一個(gè)多類線性支持向量機(jī)分類器中進(jìn)行車輛品牌型號(hào)識(shí)別。進(jìn)一步作為優(yōu)選的實(shí)施方式，所述卷積層的輸入為一個(gè)s1×s2×s3大小的三維矩陣X，所述卷積層的輸出為一個(gè)t1×t2×t3大小的三維矩陣Y，其中，s3是卷積層輸入二維特征圖的數(shù)量，s1×s2是卷積層輸入二維特征圖的大小，t3是卷積層輸出的二維特征圖的數(shù)量，t1×t2是卷積層輸出的二維特征圖的大小，輸入二維特征圖和輸出的二維特征圖由各個(gè)圖像塊的像素點(diǎn)進(jìn)行卷積運(yùn)算得到，所述卷積層輸出與輸入的關(guān)系表達(dá)式為：式中，xi是卷積層第i個(gè)輸入二維特征圖，yj是卷積層第j個(gè)輸出的二維特征圖，代表卷積操作，kij表示第j個(gè)輸出的二維特征圖對應(yīng)第i個(gè)輸入二維特征圖的二維卷積核參數(shù)，kij由卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到，f(·)是激活函數(shù)，激活函數(shù)f(v)的表達(dá)式為：f(v)＝max(0,v)。進(jìn)一步作為優(yōu)選的實(shí)施方式，所述最終表達(dá)向量獲取模塊包括：計(jì)算單元，用于根據(jù)每個(gè)圖像塊的特征向量計(jì)算每個(gè)圖像塊的最終表達(dá)向量，所述每個(gè)子區(qū)域的最終表達(dá)向量計(jì)算公式為：Ft＝Wt*Ut，其中，Ut為第t個(gè)圖像塊的特征向量，F(xiàn)t為第t個(gè)圖像塊的最終表達(dá)向量，Wt為第t個(gè)圖像塊的權(quán)重，t＝1，2，…，21；所述圖像塊的編號(hào)t的編號(hào)規(guī)則為：第一個(gè)層次的1個(gè)圖像塊編號(hào)t＝1，第二個(gè)層次的4個(gè)圖像塊的編號(hào)t按自左向右以及自上而下的順序依次為2,3,4,5；第三個(gè)層次的16個(gè)圖像塊的編號(hào)t按自左向右以及自上而下的順序依次為6,7,…，21；連接單元，用于把每個(gè)圖像塊的最終表達(dá)向量按順序連接起來組成車輛圖像的最終表達(dá)向量。下面結(jié)合說明書附圖和具體實(shí)施例對本發(fā)明作進(jìn)一步解釋和說明。實(shí)施例一針對現(xiàn)有技術(shù)魯棒性較差和識(shí)別準(zhǔn)確率低的問題，本發(fā)明提出了一種基于深度學(xué)習(xí)的車輛品牌型號(hào)精細(xì)識(shí)別方法與系統(tǒng)，它利用卷積神經(jīng)網(wǎng)絡(luò)對車輛全圖圖像自適應(yīng)提取車輛的特征，這種特征無需人工設(shè)計(jì)，提高了算法的魯棒性；本發(fā)明不同于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)架構(gòu)和功能，它把卷積神經(jīng)網(wǎng)絡(luò)作為特征提取器，去掉了全連接層以及分類層，同時(shí)結(jié)合了其他識(shí)別工具來進(jìn)行識(shí)別，這樣做減少了網(wǎng)絡(luò)再訓(xùn)練的成本以及提高了識(shí)別準(zhǔn)確率，本發(fā)明還針對傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中缺失空間信息的問題，提出了一種權(quán)值空間金字塔的方法來捕捉車輛的空間信息，有效地提高了后續(xù)的識(shí)別準(zhǔn)確率。本發(fā)明提供了一個(gè)基于深度學(xué)習(xí)的車輛品牌型號(hào)精細(xì)識(shí)別系統(tǒng)，該系統(tǒng)的流程圖如圖2所示。該系統(tǒng)主要包含有4個(gè)模塊，分別是車輛圖像獲取模塊、空間信息獲取模塊、特征提取模塊、分類模塊。本發(fā)明的整個(gè)系統(tǒng)分為離線以及在線兩個(gè)模式，在離線模式中，系統(tǒng)會(huì)利用訓(xùn)練集圖片去訓(xùn)練特征提取模塊以及分類模塊。而在在線模式中，本發(fā)明的系統(tǒng)會(huì)通過車輛圖像獲取模塊去獲取車輛原始圖像，然后通過空間信息獲取模塊去捕捉車輛的空間信息，接著通過特征提取模塊提取車輛的特征，最后通過分類模塊得到車輛的品牌型號(hào)信息。本發(fā)明一種基于深度學(xué)習(xí)的車輛品牌型號(hào)精細(xì)識(shí)別方法的具體過程包括：(一)獲取原始車輛圖像。本發(fā)明的系統(tǒng)首先通過安裝在治安卡口的攝像頭對過往車輛進(jìn)行拍攝，得到原始車輛圖像。(二)對原始車輛圖像進(jìn)行空間金字塔劃分。為了獲取車輛的空間信息，本發(fā)明對得到的原始車輛圖像進(jìn)行空間金字塔劃分，劃分方式如圖3所示，原始圖像被劃分為三個(gè)層次，每個(gè)層次分別有1、4和16個(gè)圖像塊。(三)采用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)對劃分后的各個(gè)圖像塊進(jìn)行特征提取。本發(fā)明改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如表1所示，這個(gè)卷積神經(jīng)網(wǎng)絡(luò)包含有卷積層(convolution)、最大池化層(maxpooling)、架構(gòu)層(inception)和平均池化層(averagepooling)。本發(fā)明的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)最大的不同是：傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)以圖像為輸入，然后直接輸出分類結(jié)果，而本發(fā)明則去掉了全連接層以及分類層，使卷積神經(jīng)網(wǎng)成為一個(gè)特征提取器，卷積神經(jīng)網(wǎng)輸出的是圖像的特征向量，能有效地減少了網(wǎng)絡(luò)再訓(xùn)練的成本以及提高了后續(xù)的識(shí)別準(zhǔn)確率。表1卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖類型濾波器大小/步長輸入特征圖大小convolution7×7/2112×112×64maxpooling3×3/256×56×64convolution3×3/156×56×192maxpooling3×3/228×28×192inception(3a)28×28×256inception(3b)28×28×480maxpooling3×3/214×14×480inception(4a)14×14×512inception(4b)14×14×512inception(4c)14×14×512inception(4d)14×14×528inception(4e)14×14×832maxpooling3×3/27×7×832inception(5a)7×7×832inception(5b)7×7×1024averagepooling7×7/11×1×1024其中，卷積層的作用是利用一個(gè)非線性的映射把低層次的圖像特征轉(zhuǎn)換為高層次的語義特征。卷積層的輸入是一個(gè)三維矩陣X，大小為s1×s2×s3，其中，s3是輸入二維特征圖的數(shù)量，s1×s2是二維特征圖xi的大小。卷積層的輸出是一個(gè)三維矩陣Y，大小為t1×t2×t3，其中，t3是輸出的二維特征圖的數(shù)量，t1×t2是輸出的二維特征圖yj的大小。因此，yj可以通過下式計(jì)算得到：其中，xi是卷積層第i個(gè)輸入特征圖，yj是卷積層第j個(gè)輸出特征圖，代表著卷積操作，kij表示的是第j個(gè)輸出特征圖對應(yīng)第i個(gè)輸入特征圖的二維卷積核。本發(fā)明的卷積核參數(shù)都是由網(wǎng)絡(luò)訓(xùn)練得到的。f(·)是激活函數(shù)，定義如下：f(v)＝max(0,v)(2)而最大池化層和平均池化層的作用都是通過降采樣的方式使得特征具有幾何以及平移不變性。本發(fā)明的平均池化層的計(jì)算方式如下：其中，yc,d,e表示平均池化層第e個(gè)輸出特征圖中坐標(biāo)為c，d的像素值，bc+p,d+q,e表示平均池化層第e個(gè)輸入特征圖中坐標(biāo)為(c+p),(d+q)的像素值，αp,q是一個(gè)大小為f1×f2且值為1/(f1×f2)的濾波器，f1＝f2＝7，p和q的取值范圍分別為和最大池化層的計(jì)算方式如下：yg,h,k＝max(bg-p′,h-q′,k,bg-p′+1,h-q′+1,k,...,bg+p′,h+q′,k)(4)其中，yg,h,k表示最大池化層第k個(gè)輸出特征圖中坐標(biāo)為g，h的像素值，bg-p′,h-q′,k表示最大池化層第k個(gè)輸入特征圖中坐標(biāo)為(g-p′)，(h-q′)的像素值，bg+p′,h+q′,k表示最大池化層第k個(gè)輸入特征圖中坐標(biāo)為(g+p′)，(h+q′)的像素值，最大池化層的輸入特征圖和輸出特征圖由各個(gè)圖像塊的像素點(diǎn)進(jìn)行卷積運(yùn)算得到。若最大池化層濾波器的設(shè)定大小為f11×f22，則參數(shù)本發(fā)明的架構(gòu)層是一個(gè)互相堆疊1×1、3×3、5×5卷積層以及maxpooling層的模塊，其結(jié)構(gòu)如圖4所示。本發(fā)明的架構(gòu)層堆疊1×1、3×3、5×5卷積層以及maxpooling層有兩個(gè)好處：第一是降維，減少了整個(gè)網(wǎng)絡(luò)的計(jì)算量，降低了網(wǎng)絡(luò)過擬合的風(fēng)險(xiǎn)；第二是增加了網(wǎng)絡(luò)的寬度，實(shí)現(xiàn)了多尺度特征的有效利用，提高了神經(jīng)網(wǎng)絡(luò)的表達(dá)能力。本發(fā)明以224×224×3的RGB圖像塊作為輸入，通過如表1所示的卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算后得到一個(gè)1024維的特征向量。對所有圖像塊進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的特征提取后，圖像I可以用一個(gè)特征集合U進(jìn)行表示：U＝[u1,u2,...,uN]∈RD×N(5)其中，D為特征向量的維度，這里D為1024，N為圖像塊的數(shù)量，這里N為21。(四)采用權(quán)值空間金字塔的方法得到車輛圖像的最終表達(dá)向量。對于車輛來說，它們的差異大部分都只集中在車輛的下半部分，因此車輛的下半部分應(yīng)該給予更多的關(guān)注。針對這個(gè)問題，本發(fā)明提出一種權(quán)值空間金字塔的方法，該方法核心思想是根據(jù)每個(gè)圖像塊的層次以及位置給予相應(yīng)的圖像特征向量不同權(quán)重，每個(gè)圖像塊的最終表達(dá)向量計(jì)算如下式：Ft＝Wt*Ut(6)其中，N是圖像塊的數(shù)量，本實(shí)施例中，N的值是21。Ut為第t個(gè)圖像塊的特征向量，F(xiàn)t為第t個(gè)圖像塊的最終表達(dá)向量，Wt為第t個(gè)圖像塊的權(quán)重，t＝1，2，…，21。每個(gè)區(qū)域按照下面的規(guī)則進(jìn)行編號(hào)，如圖5所示，層次1中的區(qū)域?yàn)榈谝粋€(gè)圖像塊，層次2中的左上區(qū)域?yàn)榈诙€(gè)圖像塊，右上區(qū)域?yàn)榈谌齻€(gè)圖像塊，左下為第四個(gè)圖像塊，右下為第五個(gè)圖像塊，后面層次3的區(qū)域編號(hào)也如此。而經(jīng)過多次實(shí)驗(yàn)后發(fā)現(xiàn)，權(quán)重矩陣設(shè)置為[3，1，1，3，3，1，1，1，1，1，1，1，1，3，3，3，3，3，3，3，3]時(shí)識(shí)別準(zhǔn)確率最高。最終把每個(gè)圖像塊的最終表達(dá)向量按順序連接起來組成車輛圖像的最終表達(dá)向量。(五)將車輛圖像的最終表達(dá)向量送入預(yù)先訓(xùn)練好的一個(gè)多類線性支持向量機(jī)分類器中進(jìn)行車輛品牌型號(hào)識(shí)別。針對車輛品牌型號(hào)精細(xì)識(shí)別的準(zhǔn)確性和實(shí)時(shí)性要求，本發(fā)明選擇訓(xùn)練一個(gè)多類線性SVM作為分類器，傳統(tǒng)的二分類線性SVM的分類平面定義如下：oTz+r＝0(7)其中，o和r是這個(gè)分類平面的參數(shù)。一般的二分類線性SVM是用于解決二分類問題，而車輛品牌型號(hào)精細(xì)識(shí)別是一種多分類的問題，因此本發(fā)明還利用one-vs-rest的方法去訓(xùn)練M個(gè)二分類線性SVM來構(gòu)建一個(gè)多分類的線性SVM，其中，M是需要識(shí)別的車輛品牌型號(hào)的數(shù)量。本發(fā)明利用SVM對車輛品牌型號(hào)精細(xì)識(shí)別的方法共有兩個(gè)階段，一個(gè)階段是訓(xùn)練階段，另外一個(gè)是識(shí)別階段。在訓(xùn)練階段，訓(xùn)練集(Fs,Cs),s＝1,2,3,...,L被送入多分類的線性SVM中進(jìn)行訓(xùn)練，得到具有最佳的分類平面參數(shù)o和r的分類器。其中，F(xiàn)s是訓(xùn)練集中第s幅圖像的最終表達(dá)向量，Cs是第s幅圖像的品牌型號(hào)，L是訓(xùn)練圖像的數(shù)量。而在識(shí)別階段，本發(fā)明首先把待識(shí)別的車輛圖像轉(zhuǎn)換為最終表達(dá)向量，然后把最終表達(dá)向量送入訓(xùn)練好的多分類線性SVM中即能完成車輛品牌型號(hào)的識(shí)別。與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：1)基于深度學(xué)習(xí)，采用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)對車輛全圖圖像自適應(yīng)提取車輛的特征，無需人工設(shè)計(jì)的特征，也不需要提取車輛的特定區(qū)域，能對全車圖像進(jìn)行識(shí)別，增強(qiáng)了算法魯棒性。2)改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)包括卷積層、最大池化層、架構(gòu)層和平均池化層，對傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了架構(gòu)上的修改，去掉了全連接層以及分類層，把卷積神經(jīng)網(wǎng)絡(luò)當(dāng)作系統(tǒng)的一個(gè)特征提取器，不僅能有效地刻畫車輛圖像的豐富內(nèi)在信息，提高了后續(xù)的識(shí)別準(zhǔn)確率，而且能有效降低網(wǎng)絡(luò)再訓(xùn)練的成本。3)提出了權(quán)值空間金字塔的方法，能有效解決了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中空間信息缺失的問題，同時(shí)能根據(jù)每個(gè)圖像塊的層次以及位置來賦予不同的權(quán)重，有效地捕捉到車輛之間的差異，使得最終表達(dá)向量更具有判別性，大大提高了識(shí)別準(zhǔn)確率。以上是對本發(fā)明的較佳實(shí)施進(jìn)行了具體說明，但本發(fā)明并不限于所述實(shí)施例，熟悉本領(lǐng)域的技術(shù)人員在不違背本發(fā)明精神的前提下還可做作出種種的等同變形或替換，這些等同的變形或替換均包含在本申請權(quán)利要求所限定的范圍內(nèi)。當(dāng)前第1頁1 2 3