本發(fā)明屬于智能交通系統(tǒng)中的車型識別領(lǐng)域，具體涉及一種基于cnn多特征聯(lián)合和多核稀疏表示的車型識別方法。

背景技術(shù)：

卷積神經(jīng)網(wǎng)絡(luò)(cnn)當(dāng)前已經(jīng)成為圖像識別領(lǐng)域的研究熱點，由于其識別率高等優(yōu)點，卷積神經(jīng)網(wǎng)絡(luò)也逐漸運用到車型識別中。但在一般情況下，都是使用卷積神經(jīng)網(wǎng)絡(luò)的深層提取的特征進行分類器訓(xùn)練，而這些特征可能并沒有包含足夠多的有用信息來實現(xiàn)圖像的正確分類。研究表明，卷積神經(jīng)網(wǎng)絡(luò)的淺層抽取的是圖像局部的特征，這些特征更精細且包含更多的細節(jié)信息，而深層抽取的是圖像全局性的特征，這些特征具有顯著的差異，有更加穩(wěn)定的模式和結(jié)構(gòu)。如果將卷積神經(jīng)網(wǎng)絡(luò)的淺層特征和深層特征聯(lián)合起來，將會使圖像特征更加豐富，會大幅提高圖像識別率和魯棒性。

核學(xué)習(xí)方法目前已經(jīng)成功應(yīng)用于圖像處理領(lǐng)域，但大多數(shù)核學(xué)習(xí)方法是基于單核的方法，由于不同核函數(shù)的性能表現(xiàn)差異很大，且單核學(xué)習(xí)方法不能滿足如數(shù)據(jù)異構(gòu)、數(shù)據(jù)不規(guī)則、樣本不平坦等情況下的應(yīng)用需求，不能有效整合異質(zhì)數(shù)據(jù)背后隱藏的信息。如果使用多核學(xué)習(xí)充分利用不同核函數(shù)的性能，能夠有效解決多維數(shù)據(jù)不規(guī)則或數(shù)據(jù)在高維特征空間分布的不平坦等情況。

技術(shù)實現(xiàn)要素：

本發(fā)明的針對現(xiàn)有技術(shù)中的不足，提供一種基于cnn多特征聯(lián)合和多核稀疏表示的車型識別方法。

為實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

1)采集車輛圖像，將采集到的車輛圖像分為訓(xùn)練樣本和測試樣本，對車輛圖像進行預(yù)處理，調(diào)整圖片像素，并對圖片添加標(biāo)簽，標(biāo)注圖像的所屬車型類別，其中，訓(xùn)練樣本表示為x＝[x1，x2，…，xn]，n表示訓(xùn)練樣本個數(shù)，測試樣本表示為y；

2)基于cnn自動提取樣本各層級的車輛圖像特征，得到車輛特征向量；

3)對車輛特征向量進行基于多核的非線性映射，轉(zhuǎn)換到高維的特征空間；

4)對高維的特征空間進行樣本空間轉(zhuǎn)換，減少核空間特征參數(shù)的維數(shù)；

5)優(yōu)化約束函數(shù)，求解稀疏表示系數(shù)向量；

6)定義滿足類間重構(gòu)誤差最大且類內(nèi)重構(gòu)誤差最小的目標(biāo)函數(shù)；

7)優(yōu)化求解核函數(shù)權(quán)值和投影系數(shù)矩陣；

8)基于求得的核函數(shù)權(quán)值和投影系數(shù)矩陣，根據(jù)測試樣本的核稀疏最小重構(gòu)誤差實現(xiàn)對車輛類型的識別。

為優(yōu)化上述技術(shù)方案，采取的具體措施還包括：

步驟2)中：

基于cnn中alexnet網(wǎng)絡(luò)，設(shè)計5個卷積層與3個全連接層：層15是卷積層，提取車輛的局部特征，其中，層1、2、5在卷積濾波后有池化層；層67是全連接層，提取車輛的全局特征；

利用cnn網(wǎng)絡(luò)對訓(xùn)練樣本進行訓(xùn)練，從cnn網(wǎng)絡(luò)提取第1、2、5池化層和第6、7全連接層每一層的特征分量ft，t＝1，2，3，4，5，f1，f2，f3，f4，f5分別對應(yīng)第1、2、5、6、7層的特征分量，車輛特征分量經(jīng)加權(quán)聯(lián)合后得到車輛聯(lián)合特征向量f＝(f1，f2，…，f5)。

步驟3)中：

將車輛特征分量ft分別輸入到不同的基礎(chǔ)單核函數(shù)κm中，核函數(shù)包括三個高斯核和兩個線性核，κ1，κ2，κ3為高斯核，σ表示函數(shù)的寬度參數(shù)；κ4，κ5為線性核，κ4(xi，xj)＝xi^txj，κ5(xi，xj)＝(1+xi^txj)，i和j均為整數(shù)，i∈{1，2，...，n}，j∈{1，2，...，n}；

通過加權(quán)融合形成一個多核矩陣m是整數(shù)，m∈{1，2，…，m}，m＝5，β表示加權(quán)融合過程中的核權(quán)重值；

基于多核矩陣對訓(xùn)練樣本和測試樣本進行非線性匹配，將原始特征空間轉(zhuǎn)換到高維特征空間h0，在空間h0上訓(xùn)練樣本矩陣表示為φ(x)＝[φ(x1)，φ(x2)，…，φ(xn)]，測試樣本表示為φ(y)。

步驟4)中：

將轉(zhuǎn)換到高維特征空間h0的特征參數(shù)乘以一個低維的投影矩陣p，減少核空間特征參數(shù)的維數(shù)，p＝[p1，p2，…，pd]∈r^m×d，d是投影空間的維數(shù)。

步驟5)中：

基于稀疏編碼理論利用l-2范數(shù)約束優(yōu)化求解，得到稀疏表示系數(shù)向量α，約束優(yōu)化公式為：

其中，λ≥0，表示為了避免過擬合加入的正則項，通過交叉驗證來選擇大小；矩陣a是投影矩陣p的系數(shù)矩陣，p＝φ(x)a；km(i，y)＝κm(xi，y)；km(i，j)＝κm(xi，xj)，i和j均為整數(shù)，i∈{1，2，...，n}，j∈{1，2，...，n}。

步驟6)中：

定義滿足類間重構(gòu)誤差最大且類內(nèi)重構(gòu)誤差最小的目標(biāo)函數(shù)f(a，β)：

其中，i為單位矩陣；jb＝tr(a^tkβsbkβa)，tr(·)表示矩陣的跡；

sb為類間散度矩陣，ei是第i個元素為1其他元素為0的n維單位向量，αi表示第i個訓(xùn)練樣本的稀疏表示系數(shù)向量，δs(αi)是一個n維向量，它的非零元素由矩陣αi中跟除第li類以外關(guān)聯(lián)的位置元素組成，而跟第li類關(guān)聯(lián)的位置元素為0，li表示車輛的類別，c為訓(xùn)練樣本的類別個數(shù)；

jw＝tr(a^t(kβswkβ+λi)a)，sw為類內(nèi)散度矩陣是一個n維向量，它的非零元素由矩陣αi中跟第li類關(guān)聯(lián)的位置元素組成，除第li類以外的其他位置元素均為0。

步驟7)中：

優(yōu)化求解核函數(shù)權(quán)值β和投影系數(shù)矩陣a，將目標(biāo)函數(shù)轉(zhuǎn)化為：

其中，ρ表示給定一個a和β后的極大值，

采用交替迭代的方法進行優(yōu)化求解，重復(fù)迭代次數(shù)直到收斂，具體如下：

優(yōu)化求解a：

固定β，則目標(biāo)函數(shù)為：

使用最小角回歸算法求得最優(yōu)解a；

優(yōu)化求解β：

固定a，則目標(biāo)函數(shù)為：

定義一個關(guān)于β的函數(shù)h(β)＝tr(a^t(kβsbkβ-ρkβswkβ-ρλi)a)；

對其求偏導(dǎo)

通過解二次規(guī)劃問題其中z是β在方向上的映射，優(yōu)化求解β。

步驟8)中：

使用最小重構(gòu)誤差根據(jù)稀疏表示系數(shù)向量α分類樣本y，重構(gòu)誤差表示為l＝1，2，…，c；

根據(jù)公式進行車型識別分類。

本發(fā)明的有益效果是：

1、采用基于計算機視覺技術(shù)的方法，安裝維護方便，不影響路面壽命，不影響交通，而且所用設(shè)備少，具有成本低，魯棒性好，安全性高等優(yōu)點；

2、將多特征聯(lián)合引入到基于核稀疏表示的車型識別中，使得在不同層所產(chǎn)生的特征分量的優(yōu)勢得到更充分和合理的利用；

3、多核學(xué)習(xí)較單核學(xué)習(xí)能夠解決樣本規(guī)模較大，多維數(shù)據(jù)不規(guī)則或數(shù)據(jù)在高維特征空間分布的不平坦的情況。

附圖說明

圖1是本發(fā)明的總體流程圖。

圖2是本發(fā)明alexnet網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖3是本發(fā)明聯(lián)合車輛局部與全局特征流程圖。

圖4是本發(fā)明多核稀疏學(xué)習(xí)算法流程圖。

具體實施方式

現(xiàn)在結(jié)合附圖對本發(fā)明作進一步詳細的說明。

如圖1所示的基于cnn多特征聯(lián)合和多核稀疏表示的車型識別方法，利用cnn網(wǎng)絡(luò)提取車輛的全局與局部特征，并通過多核加權(quán)聯(lián)合引入到基于稀疏表示的車型識別中，使淺層和深層網(wǎng)絡(luò)的特征優(yōu)勢得到更充分和合理的利用，且多核學(xué)習(xí)使得不同核函數(shù)的性能表現(xiàn)更加突出，從而能夠大大提高車型識別的準(zhǔn)確率和魯棒性，具體步驟如下。

步驟1：車輛圖像采集與預(yù)處理

利用智能交通相機拍攝包括復(fù)雜場景下的大型客車、卡車、面包車和小轎車四種車型圖像，總共采集3000張車輛圖像，其中2000張為訓(xùn)練樣本，1000張為測試樣本。

首先對車輛圖像進行預(yù)處理，圖片大小統(tǒng)一調(diào)整為224×224像素，并對圖像添加標(biāo)簽，標(biāo)注該圖像所屬車型類別，有大型客車、卡車、面包車和小轎車四種類別。其中，訓(xùn)練樣本表示為x＝[x1，x2，…，xn]，n表示訓(xùn)練樣本個數(shù)，測試樣本用y表示。

步驟2：cnn自動提取樣本各層級的車輛圖像特征

基于cnn中alexnet網(wǎng)絡(luò)，alexnet網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2所示，設(shè)計5個卷積層與3個全連接層，自動提取車輛的全局與局部特征。局部特征主要是淺層網(wǎng)絡(luò)提取的一些邊緣、角落等簡單特征，全局特征主要是深層網(wǎng)絡(luò)提取的具有顯著差異的復(fù)雜特征。

layer1-layer5是卷積層，主要提取局部特征，其中l(wèi)ayer1、layer2和layer5三層卷積濾波后有池化層。layer1中，卷積濾波后輸出是96個55×55大小的圖片，卷積濾波后，還接有池化層，池化后的圖像大小為96×27×27；layer2中，卷積濾波后圖像大小為256×27×27，池化后的圖像大小為256×13×13；layer5中，池化后的圖像大小為256×6×6。

layer6和layer7是全連接層，主要提取全局特征，相當(dāng)于在卷積層的基礎(chǔ)上再加上一個全連接神經(jīng)網(wǎng)絡(luò)分類器。

利用設(shè)計好的cnn網(wǎng)絡(luò)對訓(xùn)練樣本進行訓(xùn)練，從cnn網(wǎng)絡(luò)提取第1、2、5池化層和第6、7全連接層每一層的特征分量ft，t＝1，2，3，4，5，車輛特征分量經(jīng)加權(quán)聯(lián)合后得到車輛聯(lián)合特征向量f＝(f1，f2，…，f5)。圖3是提取車輛的局部和全局特征加權(quán)形成聯(lián)合特征的流程圖。

步驟3：基于多核的非線性映射

將第1、2、5池化層和第6、7全連接層的車輛特征分量ft分別輸入到不同的基礎(chǔ)單核函數(shù)κm中，此處使用的核函數(shù)是三個高斯核和兩個線性核，κ1，κ2，κ3為高斯核，σ表示函數(shù)的寬度參數(shù)，其中κ4，κ5為線性核，κ4(xi，xj)＝xi^txj，κ5(xi，xj)＝(1+xi^txj)，i和j均為整數(shù)，i∈{1，2，...，n}，j∈{1，2，...，n}。

然后通過加權(quán)融合形成一個多核矩陣m是整數(shù)，m∈{1，2，…，m}，m＝5，β表示加權(quán)融合過程中的核權(quán)重值。

基于多核矩陣對樣本進行非線性匹配，轉(zhuǎn)換到高維的hilbert空間，即將原始特征空間轉(zhuǎn)換到高維特征空間h0，在空間h0上訓(xùn)練樣本矩陣可以表示為φ(x)＝[φ(x1)，φ(x2)，…，φ(xn)]，測試樣本表示為φ(y)。

步驟4：樣本空間轉(zhuǎn)換

為了減少分類器訓(xùn)練的難度，將轉(zhuǎn)換到高維hilbert空間的特征參數(shù)乘以一個低維的投影矩陣p，以減少核空間特征參數(shù)的維數(shù)，p＝[p1，p2，…，pd]∈r^m×d，d是投影空間的維數(shù)，d＝128。

步驟5：優(yōu)化約束函數(shù)，求解稀疏表示系數(shù)向量α

多核稀疏學(xué)習(xí)算法流程圖如圖4所示。

基于稀疏編碼理論利用l-2范數(shù)約束優(yōu)化求解，得到稀疏表示系數(shù)向量α，約束優(yōu)化公式為：

其中，λ≥0，表示為了避免過擬合而加入的一個正則項，通過交叉驗證來選擇大小，本專利選取λ＝0.01；矩陣a是投影矩陣p的系數(shù)矩陣，p＝φ(x)a；km(i，y)＝κm(xi，y)；km(i，j)＝κm(xi，xj)，i和j均為整數(shù)，i∈{1，2，...，n}，j∈{1，2，...，n}；

步驟6：定義滿足類間重構(gòu)誤差最大且類內(nèi)重構(gòu)誤差最小的目標(biāo)函數(shù)

定義滿足類間重構(gòu)誤差最大且類內(nèi)重構(gòu)誤差最小的目標(biāo)函數(shù)f(a，β)：

其中，i為單位矩陣；jb＝tr(a^tkβsbkβa)，tr(·)表示矩陣的跡；

sb為類間散度矩陣，ei是第i個元素為1其他元素為0的n維單位向量，αi表示第i個訓(xùn)練樣本的稀疏表示系數(shù)向量，δs(αi)是一個n維向量，它的非零元素由矩陣αi中跟除第li類以外關(guān)聯(lián)的位置元素組成，而跟第li類關(guān)聯(lián)的那個位置的元素均為0，li表示車輛的類別，c為訓(xùn)練樣本的類別個數(shù)。

jw＝tr(a^t(kβswkβ+λi)a)，為了避免過擬合，此處在求解過程中引入一個正則項λ′i，以確保kβswkβ+λ′i是滿秩矩陣，λ′＝0.01；sw為類內(nèi)散度矩陣是一個n維向量，它的非零元素由矩陣αi中跟第li類關(guān)聯(lián)的位置元素組成，除第li類以外的其他位置元素均為0。

步驟7：優(yōu)化求解核函數(shù)權(quán)值β和投影系數(shù)矩陣a

目標(biāo)函數(shù)(2)可轉(zhuǎn)化為：

其中，ρ表示給定一個a和β后的極大值，ρ＝20。此處采用交替迭代的方法進行優(yōu)化求解，即先固定β，優(yōu)化a；然后固定a，再優(yōu)化β。重復(fù)迭代次數(shù)直到達到收斂，收斂精度為0.0001或達到最大迭代次數(shù)10次。

1)優(yōu)化求解a：固定β，則目標(biāo)函數(shù)為：

然后使用最小角回歸算法(leastangleregression，lars)求得最優(yōu)解a。

2)優(yōu)化求解β：固定a，則目標(biāo)函數(shù)為：

目標(biāo)函數(shù)(5)不是一個凸優(yōu)化問題，只能解得一個局部最優(yōu)解，因此定義一個關(guān)于β的函數(shù)h(β)＝tr(a^t(kβsbkβ-ρkβswkβ-ρλi)a)。

對其求偏導(dǎo)所以優(yōu)化求解β通過解二次規(guī)劃問題其中z是β在方向上的映射。

步驟8：車型識別

基于求得的核函數(shù)權(quán)值和投影系數(shù)矩陣，根據(jù)測試樣本的核稀疏最小重構(gòu)誤差實現(xiàn)對車輛類型的識別。

使用最小重構(gòu)誤差根據(jù)稀疏表示系數(shù)向量α分類樣本y，重構(gòu)誤差表示為l＝1，2，…，c，c表示樣本的類別個數(shù)，分別表示大型客車、卡車、面包車和小轎車四種車型。

最終根據(jù)公式進行車型識別分類，若顯示測試樣本與大型客車那一類樣本的重構(gòu)誤差el最小，則將測試圖片中的車型認為是大型客車；若顯示測試樣本與卡車那一類樣本的重構(gòu)誤差el最小，則將測試圖片中的車型認為是卡車；若顯示測試樣本與面包車那一類樣本的重構(gòu)誤差el最小，則將測試圖片中的車型認為是面包車；若顯示測試樣本與轎車那一類樣本的重構(gòu)誤差el最小，則將測試圖片中的車型認為是轎車。到此，則完成了車型的識別。

需要注意的是，發(fā)明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用語，亦僅為便于敘述的明了，而非用以限定本發(fā)明可實施的范圍，其相對關(guān)系的改變或調(diào)整，在無實質(zhì)變更技術(shù)內(nèi)容下，當(dāng)亦視為本發(fā)明可實施的范疇。

以上僅是本發(fā)明的優(yōu)選實施方式，本發(fā)明的保護范圍并不僅局限于上述實施例，凡屬于本發(fā)明思路下的技術(shù)方案均屬于本發(fā)明的保護范圍。應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理前提下的若干改進和潤飾，應(yīng)視為本發(fā)明的保護范圍。