本發(fā)明涉及圖像識(shí)別技術(shù)領(lǐng)域，更具體地說，涉及一種識(shí)別前方車輛尾燈及判斷其狀態(tài)的方法。

背景技術(shù)：

近年來隨著車輛的增多，交通道路的駕駛情況越來越復(fù)雜，人們對(duì)高級(jí)輔助駕駛系統(tǒng)的需要也隨之上升。其中，就包括汽車能夠自主識(shí)別出前車是否將進(jìn)行變道或剎車操作，從而為汽車自身減速或避讓做好準(zhǔn)備。由于車輛的尾燈有轉(zhuǎn)向信號(hào)燈和剎車信號(hào)燈，因此可以通過自主識(shí)別出轉(zhuǎn)向信號(hào)燈是否閃爍或剎車信號(hào)燈是否點(diǎn)亮來判斷前車是否將變道或剎車。因此，對(duì)車道尾燈的識(shí)別以及其狀態(tài)判斷極其重要。當(dāng)前主流的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別方法僅在靜態(tài)圖片中有較好性能表現(xiàn)，而在動(dòng)態(tài)視頻中因?yàn)闄z查速度過慢而導(dǎo)致性能表現(xiàn)不能滿足技術(shù)需求。yolo神經(jīng)網(wǎng)絡(luò)將整張圖片分割成若干網(wǎng)格，然后每個(gè)單獨(dú)的網(wǎng)格直接預(yù)測車輛所在位置的邊界框和物體為車輛的概率。yolo神經(jīng)網(wǎng)絡(luò)法具有較快的識(shí)別速率和對(duì)大目標(biāo)具有較高的識(shí)別率，適用于視頻識(shí)別。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題在于，提供一種識(shí)別前方車輛尾燈及判斷其狀態(tài)的方法。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：構(gòu)造一種識(shí)別前方車輛尾燈及判斷其狀態(tài)的方法，包括以下步驟：

步驟s010，將車載攝像頭視頻輸入經(jīng)過訓(xùn)練的yolo神經(jīng)網(wǎng)絡(luò)1，識(shí)別出視頻中的車輛；

步驟s020，將yolo神經(jīng)網(wǎng)絡(luò)1識(shí)別出的車輛輸入yolo神經(jīng)網(wǎng)絡(luò)2，識(shí)別出車輛的尾燈；

步驟s030，每間隔多個(gè)幀圖片獲取一次尾燈的hsv值，計(jì)算相鄰兩次hsv值的差值是否大于閾值，若差值大于閾值，則車輛尾燈的轉(zhuǎn)向信號(hào)燈閃爍或剎車信號(hào)燈點(diǎn)亮，進(jìn)而判斷前車將進(jìn)行剎車或換道操作，若差值小于閾值，則車輛尾燈的轉(zhuǎn)向信號(hào)燈不閃爍且剎車信號(hào)燈不亮，進(jìn)而判斷前車沒有進(jìn)行剎車及換道操作。

在上述步驟s010和步驟s020中，所述yolo神經(jīng)網(wǎng)絡(luò)1和yolo神經(jīng)網(wǎng)絡(luò)2的訓(xùn)練方法包括以下步驟：首先在完整的車載攝像頭圖片上標(biāo)注出其中的車輛，組成訓(xùn)練樣本集1；然后將訓(xùn)練樣本集1中標(biāo)注的汽車分別剪切出來，并在其中標(biāo)注出尾燈，組成訓(xùn)練樣本集2；采用隨機(jī)梯度下降法訓(xùn)練所述yolo神經(jīng)網(wǎng)絡(luò)1和yolo神經(jīng)網(wǎng)絡(luò)2，并將訓(xùn)練樣本集1用于所述yolo神經(jīng)網(wǎng)絡(luò)1的訓(xùn)練，將訓(xùn)練樣本集2用于所述yolo神經(jīng)網(wǎng)絡(luò)2的訓(xùn)練，訓(xùn)練完成后得到用于測試的圖片。

從車載攝像頭圖片上標(biāo)注出車輛以及從訓(xùn)練樣本集1中標(biāo)注尾燈的過程如下：輸入圖像被yolo神經(jīng)網(wǎng)絡(luò)劃分為s×s的網(wǎng)格，每個(gè)網(wǎng)絡(luò)預(yù)測是否有物體的中心落入其內(nèi)部，若預(yù)測結(jié)果為是，則該網(wǎng)格預(yù)測出b個(gè)檢測邊界框以及每個(gè)檢測邊界框的置信度，置信度反映預(yù)測邊界框?qū)ζ淇蜻x出物體的自信程度，置信度的計(jì)算公式為：

pr(object)*iou(1)

(1)式和(2)式中，pr(object)為邊界框包含目標(biāo)物體的概率，bbgt為基于訓(xùn)練標(biāo)簽的參考標(biāo)準(zhǔn)框；bbdt為檢測邊界框；area表示邊界面積；

每個(gè)檢測邊界框包含5個(gè)參數(shù)：x，y，w，h以及confidence，(x，y)代表檢測邊界框的中心相對(duì)其母網(wǎng)格的位置，(w，h)為檢測邊界框中心相對(duì)于整張圖像的位置；

每個(gè)網(wǎng)格還預(yù)測c個(gè)類別概率，即pr(classi|object)，其表示第i類物體中心落入該網(wǎng)格的概率，c為類別數(shù)量且與b無關(guān)，輸出層輸出s×s(b×5+c)維的張量；

yolo神經(jīng)網(wǎng)絡(luò)采用誤差平方和作為損失函數(shù)，在輸出層s×s個(gè)網(wǎng)格中，每個(gè)網(wǎng)格輸出(b×5+c)維數(shù)據(jù)，其中包含檢測邊界框坐標(biāo)位置信息b×4維，檢測邊界框置信度b×1維，類別數(shù)量c維，yolo神經(jīng)網(wǎng)絡(luò)將b×4維的定位誤差和b×1維的置信度誤差設(shè)定更大的權(quán)重λcoord＝5，將不包含物體中心的網(wǎng)格的置信度誤差設(shè)定更小的權(quán)重λnoobj＝0.5，c維分類誤差和包含物體中心的網(wǎng)格的置信度誤差則保持不變；

yolo神經(jīng)網(wǎng)絡(luò)規(guī)定每個(gè)檢測邊界框只負(fù)責(zé)框選一個(gè)物體，計(jì)算當(dāng)前檢測邊界框與所有參考標(biāo)準(zhǔn)框的iou值，其中最大iou值對(duì)應(yīng)的物體即當(dāng)前檢測邊界框負(fù)責(zé)框選的物體；

yolo神經(jīng)網(wǎng)絡(luò)的損失函數(shù)形式為：

(3)式中，ii表示是否有物體中心落入網(wǎng)格i中，若有則ii＝1，反之為0，iij表示判斷網(wǎng)格i中第j個(gè)檢測邊界框是否負(fù)責(zé)該物體，若是則為1，反之為0。

實(shí)施本發(fā)明一種識(shí)別前方車輛尾燈及判斷其狀態(tài)的方法，具有以下有益效果：

本發(fā)明能夠?qū)崿F(xiàn)道路中的車輛識(shí)別并判斷其是否剎車或變道，識(shí)別速率和準(zhǔn)確率較高，既適用于圖片，也適用于視頻，因而具有廣闊的應(yīng)用前景。

附圖說明

下面將結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步說明，附圖中：

圖1是一種識(shí)別前方車輛尾燈及判斷其狀態(tài)的方法的流程示意圖；

圖2為本發(fā)明實(shí)施例中用于訓(xùn)練yolo神經(jīng)網(wǎng)絡(luò)1的訓(xùn)練樣本集1的例圖；

圖3為本發(fā)明實(shí)施例中用于訓(xùn)練yolo神經(jīng)網(wǎng)絡(luò)2的訓(xùn)練樣本集2的例圖；

圖4為yolo神經(jīng)網(wǎng)絡(luò)的示意圖。

具體實(shí)施方式

為了對(duì)本發(fā)明的技術(shù)特征、目的和效果有更加清楚的理解，現(xiàn)對(duì)照附圖詳細(xì)說明本發(fā)明的具體實(shí)施方式。

如圖1所示，本發(fā)明提供一種識(shí)別前方車輛尾燈及判斷其狀態(tài)的方法，包括以下步驟：

步驟s010，將車載攝像頭視頻輸入經(jīng)過訓(xùn)練的yolo神經(jīng)網(wǎng)絡(luò)1，識(shí)別出視頻中的車輛。

步驟s020，將yolo神經(jīng)網(wǎng)絡(luò)1識(shí)別出的車輛輸入yolo神經(jīng)網(wǎng)絡(luò)2，識(shí)別出車輛的尾燈。在步驟s010和步驟s020中，yolo神經(jīng)網(wǎng)絡(luò)1和yolo神經(jīng)網(wǎng)絡(luò)2的訓(xùn)練方法包括以下步驟：首先在完整的車載攝像頭圖片上標(biāo)注出其中的車輛，組成訓(xùn)練樣本集1；然后將訓(xùn)練樣本集1中標(biāo)注的汽車分別剪切出來，并在其中標(biāo)注出尾燈，組成訓(xùn)練樣本集2；采用隨機(jī)梯度下降法訓(xùn)練yolo神經(jīng)網(wǎng)絡(luò)1和yolo神經(jīng)網(wǎng)絡(luò)2，并將訓(xùn)練樣本集1用于yolo神經(jīng)網(wǎng)絡(luò)1的訓(xùn)練，將訓(xùn)練樣本集2用于yolo神經(jīng)網(wǎng)絡(luò)2的訓(xùn)練，訓(xùn)練完成后得到用于測試的圖片。

步驟s030，每間隔多個(gè)幀圖片獲取一次尾燈的hsv值，計(jì)算相鄰兩次hsv值的差值是否大于閾值，若差值大于閾值，則車輛尾燈的轉(zhuǎn)向信號(hào)燈閃爍或剎車信號(hào)燈點(diǎn)亮，進(jìn)而判斷前車將進(jìn)行剎車或換道操作，若差值小于閾值，則車輛尾燈的轉(zhuǎn)向信號(hào)燈不閃爍且剎車信號(hào)燈不亮，進(jìn)而判斷前車沒有進(jìn)行剎車及換道操作。

yolo神經(jīng)網(wǎng)絡(luò)屬于卷積神經(jīng)網(wǎng)絡(luò)cnn，由卷積層、池化層和全連接層組成。與cnn不同的是，本發(fā)明實(shí)施例中，我們用車載攝像頭圖像作為yolo神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本。值得注意的是，yolo神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本和樣本標(biāo)簽與cnn存在不同之處，即yolo神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本無需單獨(dú)將每類樣本從圖像中裁剪出，而可以直接將整張圖像用于訓(xùn)練。同時(shí)，yolo神經(jīng)網(wǎng)絡(luò)的樣本標(biāo)簽不僅注釋樣本類別信息還注釋樣本在圖像中的位置信息。從車載攝像頭圖片上標(biāo)注出車輛以及從訓(xùn)練樣本集1中標(biāo)注尾燈的過程如下：輸入圖像被yolo神經(jīng)網(wǎng)絡(luò)劃分為s×s的網(wǎng)格，每個(gè)網(wǎng)絡(luò)預(yù)測是否有物體的中心落入其內(nèi)部。若某網(wǎng)格預(yù)測為是，則該網(wǎng)格再預(yù)測出b個(gè)檢測邊界框以及每個(gè)框的置信度。其中，置信度反映了預(yù)測邊界框?qū)ζ淇蜻x出物體的自信程度。計(jì)算公式為：

pr(object)*iou(1)

(1)式和(2)式中，pr(object)為邊界框包含目標(biāo)物體的概率；bbgt為基于訓(xùn)練標(biāo)簽的參考標(biāo)準(zhǔn)框；bbdt為檢測邊界框；area表示邊界面積。

每個(gè)檢測邊界框包含5個(gè)參數(shù)：x，y，w，h以及confidence。(x，y)代表檢測邊界框的中心相對(duì)其母網(wǎng)格的位置。(w，h)為檢測邊界框中心相對(duì)于整張圖像的位置。同時(shí)，每個(gè)網(wǎng)格還預(yù)測c個(gè)類別概率，即pr(classi|object)。該概率表示第i類物體中心落入該網(wǎng)格的概率。c為類別數(shù)量，與b無關(guān)。最終，輸出層輸出s×s(b×5+c)維的張量。

yolo神經(jīng)網(wǎng)絡(luò)采用誤差平方和作為損失函數(shù)。在輸出層s×s個(gè)網(wǎng)格中，每個(gè)網(wǎng)格輸出(b×5+c)維數(shù)據(jù)，其中包含檢測邊界框坐標(biāo)位置信息b×4維，檢測邊界框置信度b×1維，類別數(shù)量c維。顯然，將b×4維的定位誤差、b×1維的置信度誤差和c維的分類誤差同等對(duì)待是不合理的。另外，圖像中存在很多沒有物體中心落入的網(wǎng)格，該類網(wǎng)格預(yù)測b個(gè)置信度為0檢測邊界框。通常，這類網(wǎng)格在訓(xùn)練過程中的梯度會(huì)遠(yuǎn)大于包含物體中心的網(wǎng)格的梯度，導(dǎo)致訓(xùn)練不穩(wěn)定甚至發(fā)散。針對(duì)這兩個(gè)問題，yolo神經(jīng)網(wǎng)絡(luò)將b×4維的定位誤差和b×1維的置信度誤差設(shè)定更大的權(quán)重λcoord＝5，將不包含物體中心的網(wǎng)格的置信度誤差設(shè)定更小的權(quán)重λnoobj＝0.5，c維分類誤差和包含物體中心的網(wǎng)格的置信度誤差則保持不變。

關(guān)于定位誤差，檢測邊界框?qū)D像的定位誤差比對(duì)母網(wǎng)格的定位誤差更敏感。因此，yolo神經(jīng)網(wǎng)絡(luò)用和代替w和h。最后，yolo神經(jīng)網(wǎng)絡(luò)規(guī)定每個(gè)檢測邊界框只負(fù)責(zé)框選一個(gè)物體。具體做法是計(jì)算當(dāng)前檢測邊界框與所有參考標(biāo)準(zhǔn)框的iou值，其中最大iou值對(duì)應(yīng)的物體即當(dāng)前檢測邊界框負(fù)責(zé)框選的物體。yolo的損失函數(shù)形式具體如下：

(3)式中，ii表示是否有物體中心落入網(wǎng)格i中，若有則ii＝1，反之為0。iij表示判斷網(wǎng)格i中第j個(gè)檢測邊界框是否負(fù)責(zé)該物體，若是則為1，反之為0。

上面結(jié)合附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行了描述，但是本發(fā)明并不局限于上述的具體實(shí)施方式，上述的具體實(shí)施方式僅僅是示意性的，而不是限制性的，本領(lǐng)域的普通技術(shù)人員在本發(fā)明的啟示下，在不脫離本發(fā)明宗旨和權(quán)利要求所保護(hù)的范圍情況下，還可做出很多形式，這些均屬于本發(fā)明的保護(hù)之內(nèi)。