br>[0054] (4a)對于給定的待檢測視頻流，依次截取其每一幀，利用訓(xùn)練好的參數(shù)V和支持 向量機模型SVM為幀圖像生成待檢測的車體候選區(qū)域；
[0055] (4b)將所有待檢測的車體候選區(qū)域縮放至長寬為227*227的尺寸，并減去步驟 (3b)中計算出的車體均值M 1，然后將減去均值后的待檢測的車體候選區(qū)域送入車體的卷積 神經(jīng)網(wǎng)絡(luò)CNN1*，提取待檢測的車體候選區(qū)域特征并通過全連接法判斷出該區(qū)域的車體區(qū) 域；
[0056] (4c)將斷定為車體的區(qū)域進(jìn)行合并，定義Bi是第i個被斷定為車體的區(qū)域：
:?其中，Xi是X軸較小值，X 2是X軸較大值，y 1是y軸較小值，y 2 是y軸較大值；
[0058] (4d)計算任意兩個區(qū)域&和B j的重疊率，
[0060] 其中，n (B1Jj)是第i個被斷定為車體的區(qū)域B1和第j個被斷定為車體的區(qū)域B j 的交集，U (B1, B,)是第i個被斷定為車體的區(qū)域B1和第j個被斷定為車體的區(qū)域B ,的并 集，overlop (BpBJ是第i個被斷定為車體的區(qū)域Bi和第j個被斷定為車體的區(qū)域B 的重 置率；
[0061] (4e)將重疊率大于0. 5的第i個被斷定為車體的區(qū)域B1和第j個被斷定為車體 的區(qū)域^進(jìn)行合并，得到合并后的區(qū)域B :
該區(qū)域如圖5所示；
[0063] (4f)對合并后的車體區(qū)域B做彩色直方圖分析：將車體區(qū)域B從RGB顏色空間轉(zhuǎn) 化到HSV顏色空間，對車體區(qū)域B的HSV顏色空間中的色調(diào)分量H做直方圖統(tǒng)計，該直方圖 中頻數(shù)最大的色調(diào)即為車體顏色。
[0064] 步驟五，根據(jù)訓(xùn)練好的車牌的卷積神經(jīng)網(wǎng)絡(luò)CNN2，判斷出車牌區(qū)域，并對車牌號進(jìn) 行識別：
[0065] (5a)使用選擇性搜索selective search方法在車體區(qū)域B內(nèi)生成待檢測的車牌 候選區(qū)域；
[0066] (5b)計算所有生成的待檢測車牌候選區(qū)域?qū)抴和高h(yuǎn)的比值w/h，選取2 < w/h < 4的區(qū)域作為初始候選區(qū)域；
[0067] (5c)使用線性插值算法將選取的初始區(qū)域縮放至90*30的尺寸，得到待檢測車牌 的最終候選區(qū)域；
[0068] (5d)將最終的待檢測車牌候選區(qū)域減去步驟（3d)中計算出的車牌均值M2，然后 將減去均值后的最終待檢測車牌區(qū)域送入到車牌的卷積神經(jīng)網(wǎng)絡(luò)CNN 2*，提取待檢測車牌 候選區(qū)域特征并通過全連接法判斷出該區(qū)域的車牌區(qū)域P，如圖6所示；
[0069] (5e)對車牌區(qū)域P進(jìn)行車牌號識別：
[0070] 車牌號識別方法有：模板匹配識別方法，光學(xué)字符識別方法，特征統(tǒng)計匹配識別方 法，本實例使用光學(xué)字符識別OCR方法對車牌區(qū)域P進(jìn)行車牌號識別。
[0071] 步驟六，根據(jù)訓(xùn)練好的車標(biāo)的卷積神經(jīng)網(wǎng)絡(luò)CNN3，判斷出車標(biāo)區(qū)域及車標(biāo)類別：
[0072] ^a)以車牌區(qū)域P的上邊界寬為底，向上擴展為一個矩形，該矩形的高是車牌區(qū) 域P高度的5倍，用得到的擴展矩形作為車牌區(qū)域P的鄰域；
[0073] (6b)使用選擇性搜索selective search方法在得到的車牌區(qū)域P的鄰域范圍內(nèi) 生成待檢測的車標(biāo)候選區(qū)域；
[0074] (6c)將所有待檢測的車標(biāo)候選區(qū)域縮放至長寬為32*32的尺寸，并減去步驟（3f) 中計算出的車標(biāo)均值M 3，然后將減去均值后的待檢測車標(biāo)候選區(qū)域送入到車標(biāo)的卷積神經(jīng) 網(wǎng)絡(luò)CNN3*，提取待檢測的車標(biāo)候選區(qū)域特征，判斷出該區(qū)域的車標(biāo)區(qū)域L和車標(biāo)的類別， 如圖7所示。
[0075] 步驟七，將得到的車體區(qū)域、顏色，車牌區(qū)域、車牌號，車標(biāo)區(qū)域、類別一起輸出到 幀圖像。
[0076] (7a)在幀圖像上畫出車體區(qū)域、車牌區(qū)域及車標(biāo)區(qū)域的邊界線；
[0077] (7b)在幀圖像的車體區(qū)域邊界線旁標(biāo)注車體顏色，車牌號碼及車標(biāo)類型，如圖8 所示。其中虛線框標(biāo)注的是車體區(qū)域，點畫線框標(biāo)注的是車牌區(qū)域，實線框標(biāo)注的是車標(biāo)區(qū) 域，虛線框下顯示的依次是車體顏色、車牌號碼、車標(biāo)類別。
【主權(quán)項】
1. 一種基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的前車車輛信息結(jié)構(gòu)化輸出方法，包括如下步驟： (1) 拍攝不同場景、環(huán)境、光照下的總時長不少于10小時或最終圖片不少于20萬張的 前車車輛行駛的視頻及圖片，用這些數(shù)據(jù)圖片構(gòu)成樣本集，隨機選擇其中約5%的圖片標(biāo)注 出其中的車體位置，車牌位置，車標(biāo)位置及車標(biāo)類型作為最初樣本集； (2) 利用二值范數(shù)梯度BING方法對車體的最初樣本集使用六折交叉驗證方式進(jìn)行訓(xùn) 練，得到訓(xùn)練好的參數(shù)V和支持向量機模型SVM; (3) 分別訓(xùn)練車體、車牌、車標(biāo)的卷積神經(jīng)網(wǎng)絡(luò)： (3a)利用訓(xùn)練好的參數(shù)V和支持向量機模型SVM在所有未標(biāo)注的圖片上生成車體的候 選區(qū)域，選擇其中的車體區(qū)域，用該車體區(qū)域和已標(biāo)注的車體樣本作為車體正樣本，將其余 非車體的候選區(qū)域作為車體負(fù)樣本；用所有車體的正、負(fù)樣本計算車體樣本均值M1，使用車 體的正、負(fù)樣本和樣本均值1訓(xùn)練車體的卷積神經(jīng)網(wǎng)絡(luò)CNN1; (3b)利用選擇性搜索selectivesearch方法在車體區(qū)域上生成車牌候選區(qū)域，選擇 其中的車牌區(qū)域，用該車牌區(qū)域和已標(biāo)注的車牌樣本作為車牌正樣本，將其余非車牌的候 選區(qū)域作為車牌負(fù)樣本；用所有車牌的正、負(fù)樣本計算車牌樣本均值M2，使用車牌的正、負(fù) 樣本和樣本均值]\12訓(xùn)練車牌的卷積神經(jīng)網(wǎng)絡(luò)CNN2; (3c)利用選擇性搜索selectivesearch方法在車牌鄰域內(nèi)生成車標(biāo)的候選區(qū)域，選 擇其中的車標(biāo)區(qū)域，用該車標(biāo)區(qū)域和已標(biāo)注的車標(biāo)樣本作為車標(biāo)正樣本，將其余非車標(biāo)的 候選區(qū)域作為車標(biāo)負(fù)樣本；用所有車標(biāo)的正、負(fù)樣本計算車標(biāo)樣本均值M3J吏用車標(biāo)的正、 負(fù)樣本和樣本均值1訓(xùn)練車標(biāo)的卷積神經(jīng)網(wǎng)絡(luò)CNN3; ⑷根據(jù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，判斷出車體區(qū)域、顏色，車牌區(qū)域、車牌號，車標(biāo)區(qū)域L及車標(biāo)類別： (4a)對于給定的待檢測視頻流，依次截取其每一幀，利用訓(xùn)練好的參數(shù)w和支持向量 機模型SVM為幀圖像生成待檢測的車體候選區(qū)域，將所有待檢測的車體候選區(qū)域送入車體 的卷積神經(jīng)網(wǎng)絡(luò)CNN^，提取待檢測的車體候選區(qū)域特征并通過全連接法判斷出該區(qū)域的 車體區(qū)域，將斷定為車體的區(qū)域進(jìn)行合并，得到最終的車體區(qū)域B，統(tǒng)計該最終車體區(qū)域B 的色彩信息得到車體顏色； (4b)使用選擇性搜索selectivesearch方法在最終車體區(qū)域B里生成待檢測的車牌 候選區(qū)域，在生成的待檢測車牌候選區(qū)域中選取待檢測車牌候選區(qū)域送入到車牌的卷積神 經(jīng)網(wǎng)絡(luò)CNN2*，提取待檢測車牌候選區(qū)域特征并使用全連接法判斷該區(qū)域的車牌區(qū)域P，并 對該車牌的區(qū)域進(jìn)行車牌號碼識別； (4c)獲取車牌區(qū)域P的鄰域，使用選擇性搜索selectivesearch方法在得到的車牌區(qū) 域P的鄰域范圍內(nèi)生成待檢測的車標(biāo)候選區(qū)域，將所有待檢測的車標(biāo)候選區(qū)域送入到車標(biāo) 的卷積神經(jīng)網(wǎng)絡(luò)CNN3*，提取待檢測的車標(biāo)候選區(qū)域特征，判斷出該區(qū)域的車標(biāo)區(qū)域L和 車標(biāo)的類別； (5)將步驟（4)得到的車體區(qū)域B、顏色，車牌區(qū)域P、車牌號，車標(biāo)區(qū)域L及車標(biāo)類別這 些信息一起輸出到幀圖像。2. 根據(jù)權(quán)利要求1所述的方法，其中步驟（2)中所述的利用二值范數(shù)梯度BING方法對 車體的最初樣本集使用六折交叉驗證方式進(jìn)行訓(xùn)練，得到訓(xùn)練好的參數(shù)V和支持向量機模 型SVM，按如下步驟進(jìn)行： (2a)選取36種不同大小的尺寸，對訓(xùn)練樣本中的所有車體區(qū)域，按照每個車體區(qū)域的 長和寬，將這個區(qū)域縮放到相應(yīng)的尺寸，計算出縮放后車體區(qū)域的二值梯度特征圖gl，其中 下標(biāo)1是一個三元組，包括采樣的窗口尺寸i，窗口位置X和y,即I= (i，x，y)，如果屬于 某窗口尺寸的車體區(qū)域樣本數(shù)少于500個，則去掉該窗口尺寸； (2b)使用線性支持向量機算法學(xué)習(xí)出一個模型， Si= ,g1> 其中V1是分類器的輸出分?jǐn)?shù)，訓(xùn)練樣本為正樣本時Si的值為1，訓(xùn)練樣本為負(fù)樣本時S1的值為-1，《是學(xué)習(xí)得到的支持向量機模型SVM; (2c)對每一種尺寸分別使用線性支持向量機SVM按下式算出系數(shù)\和偏置項i〈= 36,其中O1是窗口分?jǐn)?shù)， O1=ViXSl-^ti 最后由 '和ti組成訓(xùn)練好的參數(shù)V=(V i，ti)。3. 根據(jù)權(quán)利要求1所述的方法，所述步驟（4a)中合并斷定為車體的區(qū)域，按如下步驟 進(jìn)行： (4al)定義Bi是第i個被斷定為車體的區(qū)域： 5 產(chǎn) 其中，X軸較小值，X2是X軸較大值，y屬y軸較小值，y2是y軸較大值； (4a2)計算任意兩個區(qū)域BjPB;的重疊率，其中，n(B1,Bj)是區(qū)域B1和區(qū)域B郝交集，U(B1,Bj)是區(qū)域B1和區(qū)域B郝并集，overlop(B1,Bj)是區(qū)域B1和區(qū)域B」的重疊率； (4a3)將重疊率大于0. 5的區(qū)域&和B,進(jìn)行合并，得到合并后的區(qū)域B:4. 根據(jù)權(quán)利要求1所述的方法，其中所述步驟（4b)中在生成待檢測的車牌候選區(qū)域中 選取待檢測車牌候選區(qū)域，按以下步驟進(jìn)行： (4bl)計算所有生成的待檢測車牌候選區(qū)域?qū)抴和高h(yuǎn)的比值w/h，選取2 <w/h< 4 的區(qū)域作為初始候選區(qū)域； (4b2)使用線性插值算法將選取的初始區(qū)域縮放至90*30的尺寸，得到待檢測車牌的 最終候選區(qū)域。5. 根據(jù)權(quán)利要求1所述方法，其中所述步驟（4c)中獲取車牌區(qū)域P的鄰域，是以車牌 區(qū)域P的上邊界寬為底，向上擴展為一個矩形，矩形的高是車牌區(qū)域P高的5倍，用得到的 擴展矩形作為車牌區(qū)域P的鄰域。
【專利摘要】本發(fā)明提出了一種基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的前車車輛信息結(jié)構(gòu)化輸出方法，主要解決現(xiàn)有方法不能在復(fù)雜環(huán)境下一次性快速檢測、識別到車體、車牌、車標(biāo)的問題。其實現(xiàn)過程是：1.獲取樣本集，并從中選出車體初樣本集；2.用二值范數(shù)梯度方法對車體的最初樣本集進(jìn)行訓(xùn)練；3.分別訓(xùn)練車體、車牌、車標(biāo)的卷積神經(jīng)網(wǎng)絡(luò)；4.根據(jù)訓(xùn)練好的車體卷積神經(jīng)網(wǎng)絡(luò)判斷出車體區(qū)域和顏色；5.根據(jù)訓(xùn)練好的車牌卷積神經(jīng)網(wǎng)絡(luò)判斷出車牌區(qū)域，識別車牌號；6.根據(jù)訓(xùn)練好的車標(biāo)卷積神經(jīng)網(wǎng)絡(luò)判斷出車標(biāo)區(qū)域及類別；7.將得到的所有信息輸出到幀圖像。本發(fā)明能在復(fù)雜環(huán)境中較準(zhǔn)確地檢測、識別前方車輛信息，可用于智能監(jiān)控、智能交通、駕駛員輔助及交通信息檢測。
【IPC分類】G06K9/00, G06K9/62, G06K9/66
【公開號】CN105046196
【申請?zhí)枴緾N201510319846
【發(fā)明人】韓紅, 徐志敏, 王偉, 張鼎
【申請人】西安電子科技大學(xué)
【公開日】2015年11月11日
【申請日】2015年6月11日