本發(fā)明涉及圖像處理、視頻監(jiān)控以及安防,特別涉及車型識別方法及裝置。
背景技術(shù):
車輛識別技術(shù)是智能交通系統(tǒng)(Intelligent Transportation System,簡稱ITS)的重要組成部分,是從車輛分類的標(biāo)準(zhǔn)出發(fā),對各種車輛進(jìn)行信息采集,然后利用這些信息對車輛進(jìn)行分類識別的一種技術(shù)。車型識別技術(shù)在打擊車輛盜竊、規(guī)范交通秩序、停車場管理、高速公路自動計費、環(huán)境監(jiān)管等方面具有廣闊的應(yīng)用前景。
基于圖像的車型識別主要有:1)基于特征的車型識別,如采用Harris角點特征、Gabor特征和SIFT(Scale Invariant Feature Transform)特征等進(jìn)行車型識別,但該類方法由于各特征本身的特點,當(dāng)存在光照變化、視角變化、遮擋時,會極大地影響識別率;2)基于模板的車型識別,該類方法通常存在提取難度大,計算復(fù)雜等特點;3)基于神經(jīng)網(wǎng)絡(luò)的車型識別,通過大量車型樣本圖像對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,以獲取訓(xùn)練好的分類模型,該類方法依賴于網(wǎng)絡(luò)結(jié)構(gòu)和樣本選取。近年來,隨著深度學(xué)習(xí)在圖像識別領(lǐng)域的優(yōu)異表現(xiàn),基于卷積神經(jīng)網(wǎng)絡(luò)的車型識別受到了極大的追捧。
公開號為CN106056102A的中國發(fā)明專利申請公開了一種基于視頻圖像分析的道路車型分類方法,包括:獲取視頻圖像中的每一幀;將視頻圖像中的每一幀輸入至高斯混合模型中,得到前景車輛中心點;將視頻圖像中的每相鄰兩幀以及前景車輛中心點輸入至卡爾曼濾波器中,得到最優(yōu)幀;將最優(yōu)幀輸入至卷積神經(jīng)網(wǎng)絡(luò)中,得到高維特征向量;將高維特征向量輸入車型分類模型中,得到車型分析結(jié)果。然而該發(fā)明計算量較大,且對于復(fù)雜的環(huán)境魯棒性較差。
綜上所述,目前迫切需要提出一種快速且適于復(fù)雜環(huán)境下的車輛的車型識別方法及裝置。
技術(shù)實現(xiàn)要素:
有鑒于此,本發(fā)明的主要目的在于實現(xiàn)車輛的車型的快速識別,且識別準(zhǔn)確率高,魯棒性較好。
為達(dá)到上述目的,按照本發(fā)明的第一個方面,提供了的基于卷積神經(jīng)網(wǎng)絡(luò)的車型識別方法,該方法包括:
第一步驟,選取已標(biāo)簽車型的樣本圖像,對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,獲取訓(xùn)練好的車型識別模型;
第二步驟,采集或者輸入彩色場景視頻圖像;
第三步驟,采用加權(quán)平均法對每幀彩色場景圖像進(jìn)行灰度化處理,獲取每幀灰度場景圖像;
第四步驟,采用均值漂移背景更新背景法更新背景圖像,計算每幀灰度場景圖像與背景圖像的差分圖像,對差分圖像進(jìn)行中值濾波、連通區(qū)域標(biāo)記、連通區(qū)域篩選處理,獲取每幀灰度場景圖像的感興趣區(qū)域圖像;以及
第五步驟,采用訓(xùn)練好的車型識別模型對每幀灰度場景圖像的感興趣區(qū)域圖像進(jìn)行分類識別,輸出識別結(jié)果。
進(jìn)一步地,所述第一步驟包括:
樣本選取步驟,選取LINum1個已標(biāo)記MNum種車型的灰度圖像作為樣本圖像,選取LINum2個已標(biāo)記非車輛的灰度圖像作為負(fù)樣本圖像;
初步訓(xùn)練步驟,利用卷積神經(jīng)網(wǎng)絡(luò)對正樣本圖像和負(fù)樣本圖像進(jìn)行訓(xùn)練,獲得初步訓(xùn)練車型分類模型;
二次訓(xùn)練步驟,選取TINum個測試圖像,根據(jù)初步訓(xùn)練車型分類模型對測試圖像進(jìn)行反復(fù)訓(xùn)練,直至車型分類模型收斂;
模型輸出步驟,將收斂的車型分類模型作為車型識別模型并輸出。
進(jìn)一步地,所述初步訓(xùn)練步驟中卷積神經(jīng)網(wǎng)絡(luò)包括:
輸入層,輸入寬度為Width、高度為Height的灰度圖像;
第一層卷積層,輸出Th_CK1個卷積核,卷積核的大小為CKSi1*CKSi1、步長為1;
第一層池化層,采用最大池化法輸出KSi*KSi、步長為2的核;
第二層卷積層,輸出Th_CK2個卷積核,卷積核的大小為CKSi2*CKSi2、步長為1;
第二層池化層,采用最大池化法輸出KSi*KSi、步長為2的核;
第三層卷積層,輸出Th_CK3個卷積核,卷積核的大小為CKSi3*CKSi3、步長為1;
第三層池化層,采用最大池化法輸出KSi*KSi、步長為2的核;
第四層卷積層,輸出Th_CK4個卷積核,卷積核的大小為CKSi4*CKSi4、步長為1;
第四層池化層,采用最大池化法輸出KSi*KSi、步長為2的核;
第五層卷積層,輸出Th_CK5個卷積核,卷積核的大小為CKSi5*CKSi5、步長為1;
第一層全連接層,采用ReLU作為激活函數(shù),輸出Th_Neur個神經(jīng)元;
第二層全連接層,輸出MNum+1個神經(jīng)元,即MNum種車型類別和1種非車輛類別。
進(jìn)一步地,所述二次訓(xùn)練步驟包括:
訓(xùn)練特征提取步驟,根據(jù)初步訓(xùn)練車型分類模型,提取TINum個灰度測試圖像的特征;
訓(xùn)練分類判定步驟,計算測試圖像的特征與每種車型類別特征的相似度Simik,k表示第k種車型類別,k∈{1,2,…,MNum,MNum+1},選取Simik值最大的車型類別作為候選車型類別;
反復(fù)訓(xùn)練步驟,計算判定結(jié)果與真實結(jié)果的誤差,利用反向傳播算法來訓(xùn)練車型分類模型,重復(fù)訓(xùn)練特征提取步驟和訓(xùn)練分類判定步驟,直至車型分類模型收斂。
進(jìn)一步地,所述第三步驟中加權(quán)平均法包括:統(tǒng)計第i幀彩色場景圖像內(nèi)像素點(x,y)的紅色分量值Ri(x,y)、綠色分量值Gi(x,y)、藍(lán)色分量值Bi(x,y),根據(jù)加權(quán)公式fi(x,y)=0.114×Ri(x,y)+0.587×Gi(x,y)+0.299×Bi(x,y),獲取第i幀場景圖像內(nèi)像素點(x,y)的加權(quán)灰度值fi(x,y)。
進(jìn)一步地,所述第四步驟包括:
均值漂移背景更新步驟,計算第i幀灰度場景圖像的背景圖像Bi(x,y)=(1-α)×Bi-1(x,y)+α×fi-1(x,y),其中B0(x,y)=f0(x,y);
差分圖像計算步驟,計算第i幀灰度場景圖像fi(x,y)與背景圖像Bi(x,y)的差分圖像;
中值濾波處理步驟,分別采用中值濾波算法對每幀灰度場景圖像的差分圖像進(jìn)行處理,獲取每幀灰度場景圖像的前景圖像;
連通區(qū)域標(biāo)記步驟,采用連通區(qū)域標(biāo)記法對每幀灰度場景圖像的前景圖像進(jìn)行標(biāo)記,獲取每幀灰度場景圖像內(nèi)的連通區(qū)域;
連通區(qū)域篩選步驟,統(tǒng)計每幀灰度場景圖像內(nèi)的每個連通區(qū)域內(nèi)前景點的數(shù)量,若連通區(qū)域內(nèi)前景點的數(shù)量大于標(biāo)記閾值MT,則將該連通區(qū)域設(shè)為感興趣區(qū)域,否則將該連通區(qū)域內(nèi)的前景點全設(shè)為背景點;
感興趣區(qū)域圖像提取步驟,根據(jù)每幀灰度場景圖像內(nèi)感興趣區(qū)域的位置,提取該幀灰度場景圖像中相應(yīng)位置內(nèi)的圖像作為感興趣區(qū)域圖像。
進(jìn)一步地,所述第五步驟包括:
識別特征提取步驟,利用車型識別模型分別提取感興趣區(qū)域圖像的特征;
識別分類判定步驟,計算提取的感興趣區(qū)域圖像特征與每一種車型類別特征的相似度Simik,k表示第k種類別,k∈{1,2,…,MNum,MNum+1},選取Simik值最大的類別作為車型類別。
按照本發(fā)明的另一個方面,提供了的基于卷積神經(jīng)網(wǎng)絡(luò)的車型識別裝置,該裝置包括:
車型識別模型訓(xùn)練模塊,用于選取已標(biāo)簽車型的樣本圖像,對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,獲取訓(xùn)練好的車型識別模型;
彩色場景視頻圖像獲取模塊,用于采集或者輸入彩色場景視頻圖像;
場景灰度圖像獲取模塊,用于采用加權(quán)平均法對每幀彩色場景圖像進(jìn)行灰度化處理,獲取每幀灰度場景圖像;
感興趣區(qū)域圖像提取模塊,用于采用均值漂移背景更新背景法更新背景圖像,計算每幀灰度場景圖像與背景圖像的差分圖像,對差分圖像進(jìn)行中值濾波、連通區(qū)域標(biāo)記、連通區(qū)域篩選處理,獲取每幀灰度場景圖像的感興趣區(qū)域圖像;以及
感興趣區(qū)域圖像分類識別模塊,用于采用訓(xùn)練好的車型識別模型對每幀灰度場景圖像的感興趣區(qū)域圖像進(jìn)行分類識別,輸出識別結(jié)果。
進(jìn)一步地,所述車型識別模型訓(xùn)練模塊包括:
樣本選取模塊,用于選取LINum1個已標(biāo)記MNum種車型的灰度圖像作為樣本圖像,選取LINum2個已標(biāo)記非車輛的灰度圖像作為負(fù)樣本圖像;
初步訓(xùn)練模塊,用于利用卷積神經(jīng)網(wǎng)絡(luò)對正樣本圖像和負(fù)樣本圖像進(jìn)行訓(xùn)練,獲得初步訓(xùn)練車型分類模型;
二次訓(xùn)練模塊,用于選取TINum個測試圖像,根據(jù)初步訓(xùn)練車型分類模型對測試圖像進(jìn)行反復(fù)訓(xùn)練,直至車型分類模型收斂;
模型輸出模塊,用于將收斂的車型分類模型作為車型識別模型并輸出。
進(jìn)一步地,所述初步訓(xùn)練模塊中卷積神經(jīng)網(wǎng)絡(luò)包括:
輸入層,輸入寬度為Width、高度為Height的灰度圖像;
第一層卷積層,輸出Th_CK1個卷積核,卷積核的大小為CKSi1*CKSi1、步長為1;
第一層池化層,采用最大池化法輸出KSi*KSi、步長為2的核;
第二層卷積層,輸出Th_CK2個卷積核,卷積核的大小為CKSi2*CKSi2、步長為1;
第二層池化層,采用最大池化法輸出KSi*KSi、步長為2的核;
第三層卷積層,輸出Th_CK3個卷積核,卷積核的大小為CKSi3*CKSi3、步長為1;
第三層池化層,采用最大池化法輸出KSi*KSi、步長為2的核;
第四層卷積層,輸出Th_CK4個卷積核,卷積核的大小為CKSi4*CKSi4、步長為1;
第四層池化層,采用最大池化法輸出KSi*KSi、步長為2的核;
第五層卷積層,輸出Th_CK5個卷積核,卷積核的大小為CKSi5*CKSi5、步長為1;
第一層全連接層,采用ReLU作為激活函數(shù),輸出Th_Neur個神經(jīng)元;
第二層全連接層,輸出MNum+1個神經(jīng)元,即MNum種車型類別和1種非車輛類別。
進(jìn)一步地,所述二次訓(xùn)練模塊包括:
訓(xùn)練特征提取模塊,用于根據(jù)初步訓(xùn)練車型分類模型,提取TINum個灰度測試圖像的特征;
訓(xùn)練分類判定模塊,用于計算測試圖像的特征與每種車型類別特征的相似度Simik,k表示第k種車型類別,,k∈{1,2,…,MNum,MNum+1},選取Simik值最大的車型類別作為候選車型類別;
反復(fù)訓(xùn)練模塊,用于計算判定結(jié)果與真實結(jié)果的誤差,利用反向傳播算法來訓(xùn)練車型分類模型,重復(fù)訓(xùn)練特征提取模塊和訓(xùn)練分類判定模塊,直至車型分類模型收斂。
進(jìn)一步地,所述場景灰度圖像獲取模塊中加權(quán)平均法包括:統(tǒng)計第i幀彩色場景圖像內(nèi)像素點(x,y)的紅色分量值Ri(x,y)、綠色分量值Gi(x,y)、藍(lán)色分量值Bi(x,y),根據(jù)加權(quán)公式fi(x,y)=0.114×Ri(x,y)+0.587×Gi(x,y)+0.299×Bi(x,y),獲取第i幀場景圖像內(nèi)像素點(x,y)的加權(quán)灰度值fi(x,y)。
進(jìn)一步地,所述感興趣區(qū)域圖像提取模塊包括:
均值漂移背景更新模塊,用于計算第i幀灰度場景圖像的背景圖像Bi(x,y)=(1-α)×Bi-1(x,y)+α×fi-1(x,y),其中B0(x,y)=f0(x,y);
差分圖像計算模塊,用于計算第i幀灰度場景圖像fi(x,y)與背景圖像Bi(x,y)的差分圖像;
中值濾波處理模塊,用于分別采用中值濾波算法對每幀灰度場景圖像的差分圖像進(jìn)行處理,獲取每幀灰度場景圖像的前景圖像;
連通區(qū)域標(biāo)記模塊,用于采用連通區(qū)域標(biāo)記法對每幀灰度場景圖像的前景圖像進(jìn)行標(biāo)記,獲取每幀灰度場景圖像內(nèi)的連通區(qū)域;
連通區(qū)域篩選模塊,用于統(tǒng)計每幀灰度場景圖像內(nèi)的每個連通區(qū)域內(nèi)前景點的數(shù)量,若連通區(qū)域內(nèi)前景點的數(shù)量大于標(biāo)記閾值MT,則將該連通區(qū)域設(shè)為感興趣區(qū)域,否則將該連通區(qū)域內(nèi)的前景點全設(shè)為背景點;
感興趣區(qū)域圖像提取模塊,用于根據(jù)每幀灰度場景圖像內(nèi)感興趣區(qū)域的位置,提取該幀灰度場景圖像中相應(yīng)位置內(nèi)的圖像作為感興趣區(qū)域圖像。
進(jìn)一步地,所述感興趣區(qū)域圖像分類識別模塊包括:
識別特征提取模塊,用于利用車型識別模型分別提取感興趣區(qū)域圖像的特征;
識別分類判定模塊,用于計算提取的感興趣區(qū)域圖像特征與每一種車型類別特征的相似度Simik,k表示第k種類別,k∈{1,2,…,MNum,MNum+1},選取Simik值最大的類別作為車型類別。
與現(xiàn)有的車型識別技術(shù)相比,本發(fā)明的基于卷積神經(jīng)網(wǎng)絡(luò)的車型識別方法及裝置一方面采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和識別的模型,提高了車型識別的準(zhǔn)確率;另一方面采用背景差分算法先提取感興趣區(qū)域,再對感興趣區(qū)域進(jìn)行分類識別,降低了計算的復(fù)雜度。
附圖說明
圖1示出了按照本發(fā)明的基于卷積神經(jīng)網(wǎng)絡(luò)的車型識別方法的流程圖。
圖2示出了按照本發(fā)明的基于卷積神經(jīng)網(wǎng)絡(luò)的車型識別裝置的框架圖。
具體實施方式
為使貴審查員能進(jìn)一步了解本發(fā)明的結(jié)構(gòu)、特征及其他目的,現(xiàn)結(jié)合所附較佳實施例詳細(xì)說明如下,所說明的較佳實施例僅用于說明本發(fā)明的技術(shù)方案,并非限定本發(fā)明。
圖1給出了按照本發(fā)明的基于卷積神經(jīng)網(wǎng)絡(luò)的車型識別方法的流程圖。如圖1所示,按照本發(fā)明的基于卷積神經(jīng)網(wǎng)絡(luò)的車型識別方法包括:
第一步驟S1,選取已標(biāo)簽車型的樣本圖像,對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,獲取訓(xùn)練好的車型識別模型;
第二步驟S2,采集或者輸入彩色場景視頻圖像;
第三步驟S3,采用加權(quán)平均法對每幀彩色場景圖像進(jìn)行灰度化處理,獲取每幀灰度場景圖像;
第四步驟S4,采用均值漂移背景更新背景法更新背景圖像,計算每幀灰度場景圖像與背景圖像的差分圖像,對差分圖像進(jìn)行中值濾波、連通區(qū)域標(biāo)記、連通區(qū)域篩選處理,獲取每幀灰度場景圖像的感興趣區(qū)域圖像;以及
第五步驟S5,采用訓(xùn)練好的車型識別模型對每幀灰度場景圖像的感興趣區(qū)域圖像進(jìn)行分類識別,輸出識別結(jié)果。
進(jìn)一步地,所述第一步驟S1包括:
樣本選取步驟S11,選取LINum1個已標(biāo)記MNum種車型的灰度圖像作為樣本圖像,選取LINum2個已標(biāo)記非車輛的灰度圖像作為負(fù)樣本圖像;
初步訓(xùn)練步驟S12,利用卷積神經(jīng)網(wǎng)絡(luò)對正樣本圖像和負(fù)樣本圖像進(jìn)行訓(xùn)練,獲得初步訓(xùn)練車型分類模型;
二次訓(xùn)練步驟S13,選取TINum個測試圖像,根據(jù)初步訓(xùn)練車型分類模型對測試圖像進(jìn)行反復(fù)訓(xùn)練,直至車型分類模型收斂;
模型輸出步驟S14,將收斂的車型分類模型作為車型識別模型并輸出。
進(jìn)一步地,所述樣本選取步驟S11中MNum∈[3,30],可根據(jù)需求設(shè)置已標(biāo)記車型的種類數(shù)量。例如,MNum選為3時,已標(biāo)記車型包括:小型車、中型車、大型車;MNum選為19時,已標(biāo)記車型包括:小轎車、吉普車、的士頭貨車、摩托車、面包車、小型貨車、輕型貨車、小型客車、中型客車、大型客車、中型貨車、大型豪華客車、雙層大客車、大型貨車、大型拖(掛)車、20英尺集裝箱車、重型貨車、重型拖(掛)車、40英尺集裝箱車。優(yōu)選地,MNum選為19。
進(jìn)一步地,所述LINum1≥4000,LINum2≥2000。優(yōu)選地,所述LINum1≥16000,LINum2≥8000。
進(jìn)一步地,所述初步訓(xùn)練步驟S12中卷積神經(jīng)網(wǎng)絡(luò)包括:
輸入層,輸入寬度為Width、高度為Height的灰度圖像;
第一層卷積層,輸出Th_CK1個卷積核,卷積核的大小為CKSi1*CKSi1、步長為1;
第一層池化層,采用最大池化法輸出KSi*KSi、步長為2的核;
第二層卷積層,輸出Th_CK2個卷積核,卷積核的大小為CKSi2*CKSi2、步長為1;
第二層池化層,采用最大池化法輸出KSi*KSi、步長為2的核;
第三層卷積層,輸出Th_CK3個卷積核,卷積核的大小為CKSi3*CKSi3、步長為1;
第三層池化層,采用最大池化法輸出KSi*KSi、步長為2的核;
第四層卷積層,輸出Th_CK4個卷積核,卷積核的大小為CKSi4*CKSi4、步長為1;
第四層池化層,采用最大池化法輸出KSi*KSi、步長為2的核;
第五層卷積層,輸出Th_CK5個卷積核,卷積核的大小為CKSi5*CKSi5、步長為1;
第一層全連接層,采用ReLU作為激活函數(shù),輸出Th_Neur個神經(jīng)元;
第二層全連接層,輸出MNum+1個神經(jīng)元,即MNum種車型類別和1種非車輛類別。
進(jìn)一步地,所述Width∈[64,256],Height∈[64,256];Th_CK1∈[16,32],CKSi1為3或者5;KSi∈[2,4];Th_CK2∈[16,32],CKSi2為3或者5;Th_CK3∈[32,64],CKSi3為3或者5;Th_CK4∈[32,64],CKSi4為3或者5;Th_CK5∈[64,128],CKSi5為3或者5;Th_Neur∈[100,10000]。
優(yōu)選地,Width設(shè)為128,Height設(shè)為128。Th_CK1設(shè)為16,CKSi1設(shè)為3,KSi設(shè)為2,Th_CK2設(shè)為16,CKSi2設(shè)為3,Th_CK3設(shè)為32,CKSi3設(shè)為3,Th_CK4設(shè)為32,CKSi4設(shè)為3,Th_CK5設(shè)為64,CKSi5設(shè)為3。Th_Neur設(shè)為120。
所述池化層中最大池化法通過現(xiàn)有技術(shù)實現(xiàn)。
所述第一層全連接層中ReLU全稱為Rectified Linear Units,中文譯為修正線性單元,可以參考文獻(xiàn)“Taming the ReLU with Parallel Dither in a Deep Neural Network.AJR Simpson.Computer Science,2015”。
進(jìn)一步地,所述二次訓(xùn)練步驟S13包括:
訓(xùn)練特征提取步驟S131,根據(jù)初步訓(xùn)練車型分類模型,提取TINum個灰度測試圖像的特征;
訓(xùn)練分類判定步驟S132,計算測試圖像的特征與每種車型類別特征的相似度Simik,k表示第k種車型類別,k∈{1,2,…,MNum,MNum+1},選取Simik值最大的車型類別作為候選車型類別;
反復(fù)訓(xùn)練步驟S133,計算判定結(jié)果與真實結(jié)果的誤差,利用反向傳播算法來訓(xùn)練車型分類模型,重復(fù)訓(xùn)練特征提取步驟S131和訓(xùn)練分類判定步驟S132,直至車型分類模型收斂。
進(jìn)一步地,選取TINum個測試圖像包括MNum種車型的灰度圖像和非車輛的灰度圖像。所述TINum≥1000。優(yōu)選地,TINum≥6000。
進(jìn)一步地,訓(xùn)練分類判定步驟S132中所述車型類別包括MNum種車型類別和1種非車輛類別。
所述反復(fù)訓(xùn)練步驟S133中反向傳播算法通過現(xiàn)有的技術(shù)實現(xiàn)。
進(jìn)一步地,所述第二步驟S2中采集或者輸入彩色場景視頻圖像是指可以通過圖像傳感器采集公路、卡口等實際場景的彩色圖像,也可以直接輸入已有的實際場景的彩色視頻圖像。
進(jìn)一步地,所述第三步驟S3中加權(quán)平均法包括:統(tǒng)計第i幀彩色場景圖像內(nèi)像素點(x,y)的紅色分量值Ri(x,y)、綠色分量值Gi(x,y)、藍(lán)色分量值Bi(x,y),根據(jù)加權(quán)公式fi(x,y)=0.114×Ri(x,y)+0.587×Gi(x,y)+0.299×Bi(x,y),獲取第i幀場景圖像內(nèi)像素點(x,y)的加權(quán)灰度值fi(x,y)。
進(jìn)一步地,所述第四步驟S4包括:
均值漂移背景更新步驟S41,計算第i幀灰度場景圖像的背景圖像Bi(x,y)=(1-α)×Bi-1(x,y)+α×fi-1(x,y),其中B0(x,y)=f0(x,y);
差分圖像計算步驟S42,計算第i幀灰度場景圖像fi(x,y)與背景圖像Bi(x,y)的差分圖像;
中值濾波處理步驟S43,分別采用中值濾波算法對每幀灰度場景圖像的差分圖像進(jìn)行處理,獲取每幀灰度場景圖像的前景圖像;
連通區(qū)域標(biāo)記步驟S44,采用連通區(qū)域標(biāo)記法對每幀灰度場景圖像的前景圖像進(jìn)行標(biāo)記,獲取每幀灰度場景圖像內(nèi)的連通區(qū)域;
連通區(qū)域篩選步驟S45,統(tǒng)計每幀灰度場景圖像內(nèi)的每個連通區(qū)域內(nèi)前景點的數(shù)量,若連通區(qū)域內(nèi)前景點的數(shù)量大于標(biāo)記閾值MT,則將該連通區(qū)域設(shè)為感興趣區(qū)域,否則將該連通區(qū)域內(nèi)的前景點全設(shè)為背景點;
感興趣區(qū)域圖像提取步驟S46,根據(jù)每幀灰度場景圖像內(nèi)感興趣區(qū)域的位置,提取該幀灰度場景圖像中相應(yīng)位置內(nèi)的圖像作為感興趣區(qū)域圖像。
進(jìn)一步地,均值漂移背景更新步驟S41中α∈[0.02,0.04]。優(yōu)選地,α選為0.03。
進(jìn)一步地,所述中值濾波處理步驟S43中中值濾波算法通過現(xiàn)有技術(shù)實現(xiàn)。
進(jìn)一步地,所述連通區(qū)域標(biāo)記步驟S44中連通區(qū)域標(biāo)記法通過現(xiàn)有技術(shù)實現(xiàn)。
進(jìn)一步地,所述連通區(qū)域篩選步驟S45中標(biāo)記閾值MT∈[40,100]。優(yōu)選地,標(biāo)記閾值MT選為60。
進(jìn)一步地,所述第五步驟S5包括:
識別特征提取步驟S51,利用車型識別模型分別提取感興趣區(qū)域圖像的特征;
識別分類判定步驟S52,計算提取的感興趣區(qū)域圖像特征與每一種車型類別特征的相似度Simik,k表示第k種類別,k∈{1,2,…,MNum,MNum+1},選取Simik值最大的類別作為車型類別。
圖2給出了按照本發(fā)明的基于卷積神經(jīng)網(wǎng)絡(luò)的車型識別裝置的框架圖。如圖2所示,按照本發(fā)明的基于卷積神經(jīng)網(wǎng)絡(luò)的車型識別裝置包括:
車型識別模型訓(xùn)練模塊1,用于選取已標(biāo)簽車型的樣本圖像,對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,獲取訓(xùn)練好的車型識別模型;
彩色場景視頻圖像獲取模塊2,用于采集或者輸入彩色場景視頻圖像;
場景灰度圖像獲取模塊3,用于采用加權(quán)平均法對每幀彩色場景圖像進(jìn)行灰度化處理,獲取每幀灰度場景圖像;
感興趣區(qū)域圖像提取模塊4,用于采用均值漂移背景更新背景法更新背景圖像,計算每幀灰度場景圖像與背景圖像的差分圖像,對差分圖像進(jìn)行中值濾波、連通區(qū)域標(biāo)記、連通區(qū)域篩選處理,獲取每幀灰度場景圖像的感興趣區(qū)域圖像;以及
感興趣區(qū)域圖像分類識別模塊5,用于采用訓(xùn)練好的車型識別模型對每幀灰度場景圖像的感興趣區(qū)域圖像進(jìn)行分類識別,輸出識別結(jié)果。
進(jìn)一步地,所述車型識別模型訓(xùn)練模塊1包括:
樣本選取模塊11,用于選取LINum1個已標(biāo)記MNum種車型的灰度圖像作為樣本圖像,選取LINum2個已標(biāo)記非車輛的灰度圖像作為負(fù)樣本圖像;
初步訓(xùn)練模塊12,用于利用卷積神經(jīng)網(wǎng)絡(luò)對正樣本圖像和負(fù)樣本圖像進(jìn)行訓(xùn)練,獲得初步訓(xùn)練車型分類模型;
二次訓(xùn)練模塊13,用于選取TINum個測試圖像,根據(jù)初步訓(xùn)練車型分類模型對測試圖像進(jìn)行反復(fù)訓(xùn)練,直至車型分類模型收斂;
模型輸出模塊14,用于將收斂的車型分類模型作為車型識別模型并輸出。
進(jìn)一步地,所述樣本選取模塊11中MNum∈[3,30],可根據(jù)需求設(shè)置已標(biāo)記車型的種類數(shù)量。例如,MNum選為3時,已標(biāo)記車型包括:小型車、中型車和大型車;MNum選為19時,已標(biāo)記車型包括:小轎車、吉普車、的士頭貨車、摩托車、面包車、小型貨車、輕型貨車、小型客車、中型客車、大型客車、中型貨車、大型豪華客車、雙層大客車、大型貨車、大型拖(掛)車、20英尺集裝箱車、重型貨車、重型拖(掛)車、40英尺集裝箱車。優(yōu)選地,MNum選為19。
進(jìn)一步地,所述LINum1≥4000,LINum2≥2000。優(yōu)選地,所述LINum1≥16000,LINum2≥8000。
進(jìn)一步地,所述初步訓(xùn)練模塊12中卷積神經(jīng)網(wǎng)絡(luò)包括:
輸入層,輸入寬度為Width、高度為Height的灰度圖像;
第一層卷積層,輸出Th_CK1個卷積核,卷積核的大小為CKSi1*CKSi1、步長為1;
第一層池化層,采用最大池化法輸出KSi*KSi、步長為2的核;
第二層卷積層,輸出Th_CK2個卷積核,卷積核的大小為CKSi2*CKSi2、步長為1;
第二層池化層,采用最大池化法輸出KSi*KSi、步長為2的核;
第三層卷積層,輸出Th_CK3個卷積核,卷積核的大小為CKSi3*CKSi3、步長為1;
第三層池化層,采用最大池化法輸出KSi*KSi、步長為2的核;
第四層卷積層,輸出Th_CK4個卷積核,卷積核的大小為CKSi4*CKSi4、步長為1;
第四層池化層,采用最大池化法輸出KSi*KSi、步長為2的核;
第五層卷積層,輸出Th_CK5個卷積核,卷積核的大小為CKSi5*CKSi5、步長為1;
第一層全連接層,采用ReLU作為激活函數(shù),輸出Th_Neur個神經(jīng)元;
第二層全連接層,輸出MNum+1個神經(jīng)元,即MNum種車型類別和1種非車輛類別。
進(jìn)一步地,所述Width∈[64,256],Height∈[64,256];Th_CK1∈[16,32],CKSi1為3或者5;KSi∈[2,4];Th_CK2∈[16,32],CKSi2為3或者5;Th_CK3∈[32,64],CKSi3為3或者5;Th_CK4∈[32,64],CKSi4為3或者5;Th_CK5∈[64,128],CKSi5為3或者5;Th_Neur∈[100,10000]。
優(yōu)選地,Width設(shè)為128,Height設(shè)為128。Th_CK1設(shè)為16,CKSi1設(shè)為3,KSi設(shè)為2,Th_CK2設(shè)為16,CKSi2設(shè)為3,Th_CK3設(shè)為32,CKSi3設(shè)為3,Th_CK4設(shè)為32,CKSi4設(shè)為3,Th_CK5設(shè)為64,CKSi5設(shè)為3。Th_Neur設(shè)為120。
所述池化層中最大池化法通過現(xiàn)有技術(shù)實現(xiàn)。
所述第一層全連接層中ReLU全稱為Rectified Linear Units,中文譯為修正線性單元,可以參考文獻(xiàn)“Taming the ReLU with Parallel Dither in a Deep Neural Network.AJR Simpson.Computer Science,2015”。
進(jìn)一步地,所述二次訓(xùn)練模塊13包括:
訓(xùn)練特征提取模塊131,用于根據(jù)初步訓(xùn)練車型分類模型,提取TINum個灰度測試圖像的特征;
訓(xùn)練分類判定模塊132,用于計算測試圖像的特征與每種車型類別特征的相似度Simik,k表示第k種車型類別,k∈{1,2,…,MNum,MNum+1},選取Simik值最大的車型類別作為候選車型類別;
反復(fù)訓(xùn)練模塊133,用于計算判定結(jié)果與真實結(jié)果的誤差,利用反向傳播算法來訓(xùn)練車型分類模型,重復(fù)訓(xùn)練特征提取模塊131和訓(xùn)練分類判定模塊132,直至車型分類模型收斂。
進(jìn)一步地,選取TINum個測試圖像包括MNum種車型的灰度圖像和非車輛的灰度圖像。所述TINum≥1000。優(yōu)選地,TINum≥6000。
進(jìn)一步地,訓(xùn)練分類判定模塊132中所述車型類別包括MNum種車型類別和1種非車輛類別。
所述反復(fù)訓(xùn)練模塊133中反向傳播算法通過現(xiàn)有的技術(shù)實現(xiàn)。
進(jìn)一步地,所述彩色場景視頻圖像獲取模塊2中采集或者輸入彩色場景視頻圖像是指可以通過圖像傳感器采集公路、卡口等實際場景的彩色圖像,也可以直接輸入已有的實際場景的彩色視頻圖像。
進(jìn)一步地,所述場景灰度圖像獲取模塊3中加權(quán)平均法包括:統(tǒng)計第i幀彩色場景圖像內(nèi)像素點(x,y)的紅色分量值Ri(x,y)、綠色分量值Gi(x,y)、藍(lán)色分量值Bi(x,y),根據(jù)加權(quán)公式fi(x,y)=0.114×Ri(x,y)+0.587×Gi(x,y)+0.299×Bi(x,y),獲取第i幀場景圖像內(nèi)像素點(x,y)的加權(quán)灰度值fi(x,y)。
進(jìn)一步地,所述感興趣區(qū)域圖像提取模塊4包括:
均值漂移背景更新模塊41,用于計算第i幀灰度場景圖像的背景圖像Bi(x,y)=(1-α)×Bi-1(x,y)+α×fi-1(x,y),其中B0(x,y)=f0(x,y);
差分圖像計算模塊42,用于計算第i幀灰度場景圖像fi(x,y)與背景圖像Bi(x,y)的差分圖像;
中值濾波處理模塊43,用于分別采用中值濾波算法對每幀灰度場景圖像的差分圖像進(jìn)行處理,獲取每幀灰度場景圖像的前景圖像;
連通區(qū)域標(biāo)記模塊44,用于采用連通區(qū)域標(biāo)記法對每幀灰度場景圖像的前景圖像進(jìn)行標(biāo)記,獲取每幀灰度場景圖像內(nèi)的連通區(qū)域;
連通區(qū)域篩選模塊45,用于統(tǒng)計每幀灰度場景圖像內(nèi)的每個連通區(qū)域內(nèi)前景點的數(shù)量,若連通區(qū)域內(nèi)前景點的數(shù)量大于標(biāo)記閾值MT,則將該連通區(qū)域設(shè)為感興趣區(qū)域,否則將該連通區(qū)域內(nèi)的前景點全設(shè)為背景點;
感興趣區(qū)域圖像提取模塊46,用于根據(jù)每幀灰度場景圖像內(nèi)感興趣區(qū)域的位置,提取該幀灰度場景圖像中相應(yīng)位置內(nèi)的圖像作為感興趣區(qū)域圖像。
進(jìn)一步地,均值漂移背景更新模塊41中α∈[0.02,0.04]。優(yōu)選地,α選為0.03。
進(jìn)一步地,所述中值濾波處理模塊43中中值濾波算法通過現(xiàn)有技術(shù)實現(xiàn)。
進(jìn)一步地,所述連通區(qū)域標(biāo)記模塊44中連通區(qū)域標(biāo)記法通過現(xiàn)有技術(shù)實現(xiàn)。
進(jìn)一步地,所述連通區(qū)域篩選模塊45中標(biāo)記閾值MT∈[40,100]。優(yōu)選地,標(biāo)記閾值MT選為60。
進(jìn)一步地,所述感興趣區(qū)域圖像分類識別模塊5包括:
識別特征提取模塊51,用于利用車型識別模型分別提取感興趣區(qū)域圖像的特征;
識別分類判定模塊52,用于計算提取的感興趣區(qū)域圖像特征與每一種車型類別特征的相似度Simik,k表示第k種類別,k∈{1,2,…,MNum,MNum+1},選取Simik值最大的類別作為車型類別。
與現(xiàn)有的車型識別技術(shù)相比,本發(fā)明的基于卷積神經(jīng)網(wǎng)絡(luò)的車型識別方法及裝置一方面采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和識別的模型,提高了車型識別的準(zhǔn)確率;另一方面采用背景差分算法先提取感興趣區(qū)域圖像,再對感興趣區(qū)域圖像進(jìn)行分類識別,降低了計算的復(fù)雜度。
以上所述,僅為本發(fā)明的較佳實施例而已,并非用于限定本發(fā)明的保護(hù)范圍,應(yīng)當(dāng)理解,本發(fā)明并不限于這里所描述的實現(xiàn)方案,這些實現(xiàn)方案描述的目的在于幫助本領(lǐng)域中的技術(shù)人員實踐本發(fā)明。任何本領(lǐng)域中的技術(shù)人員很容易在不脫離本發(fā)明精神和范圍的情況下進(jìn)行進(jìn)一步的改進(jìn)和完善,因此本發(fā)明只受到本發(fā)明權(quán)利要求的內(nèi)容和范圍的限制,其意圖涵蓋所有包括在由所附權(quán)利要求所限定的本發(fā)明精神和范圍內(nèi)的備選方案和等同方案。