本發(fā)明涉及圖像識別技術(shù)領域，特別涉及一種交通信號燈定位識別方法、裝置及系統(tǒng)。

背景技術(shù)：

隨著經(jīng)濟水平和人民生活水平的不斷提高，各大中小城市中車輛不斷的增加。與此同時，隨之而來的交通問題也越來越備受關注。在交通違法行為識別的過程中，自動準確的識別交通信號燈的尤為重要。傳統(tǒng)的交通信號燈識別方案主要是利用像素變化，檢測特定區(qū)域的顏色值變化，來確定交通信號燈的狀態(tài)。例如用戶劃定固定的檢測區(qū)域，如果該區(qū)域出現(xiàn)紅色，則認為紅燈亮。但是，這種交通信號燈的識別方案由于天氣，季節(jié)的變化，和物體熱脹冷縮的特性，交通信號燈的位置會發(fā)生上下，左右的移動，系統(tǒng)初始化時候設定的位置很多時候不是最終檢測對應的燈的位置。同時，由于光照，成像技術(shù)的原因，事實上的紅燈在成像上面可能顯示為更接近黃燈的顏色，造成識別的錯誤。這種顏色失真現(xiàn)象在夜晚會更加明顯。

現(xiàn)有技術(shù)中識別交通信號燈的技術(shù)方案還有一種是利用交通信號燈的形狀，如圓形，箭頭等形狀在特定區(qū)域進行模板匹配，并且對匹配的區(qū)域提取像素值，從而識別燈的顏色。但是，這種技術(shù)方案由于交通信號燈的形狀各異，例如圓燈，箭頭燈，而且圖像采集的攝像頭的安裝位置以及交通信號燈的安裝位置各有不同，導致不同位置間交通信號燈的大小不一，很難找到一個能夠覆蓋各種情況的通用模板。而且該方案也存在技術(shù)一中出現(xiàn)的光照、成像技術(shù)導致的顏色失真現(xiàn)象，無法精準的進行交通信號燈識別。

因此，在發(fā)明人開發(fā)交通信號燈識別的過程中，發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問題：

現(xiàn)有技術(shù)中識別交通信號燈的技術(shù)方案識別精度不高，誤判率高，且通用性差，受外界環(huán)境影響較大。

技術(shù)實現(xiàn)要素：

鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的，本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：

一方面，本發(fā)明提供了一種交通信號燈定位識別方法，包括：

獲取待檢測圖像及基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型；

通過所述基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型對所述待檢測圖像的交通信號燈檢測區(qū)域進行交通信號燈識別；

獲取所述待檢測圖像中交通信號燈信息；所述交通信號燈信息包括：交通信號燈的顏色、坐標位置及置信度。

本發(fā)明還提供了一種交通信號燈定位識別裝置，包括：

信息獲取單元，用于獲取待檢測圖像及基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型；

識別單元，用于通過所述基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型對所述待檢測圖像的交通信號燈檢測區(qū)域進行交通信號燈識別；

信息確定單元，用于獲取所述待檢測圖像中交通信號燈信息；所述交通信號燈信息包括：交通信號燈的顏色、坐標位置及置信度。

本發(fā)明還提供了一種交通信號燈定位識別系統(tǒng)，包括：如上所述交通信號燈定位識別裝置。

本發(fā)明的技術(shù)方案通過基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型對所述待檢測圖像進行交通信號燈識別，并獲取所述待檢測圖像中交通信號燈信息。由于所述基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型能夠?qū)W習到交通信號燈坐標位置及交通信號燈顏色，從而使得通過所述基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型識別出來的待檢測圖像中的交通信號燈信息，即包含了交通信號燈的顏色、坐標位置及置信度。因此通過基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型實現(xiàn)交通信號燈的定位識別，從而解決了現(xiàn)有技術(shù)中交通信號燈識別精度不高，誤判率高，且通用性差，受外界環(huán)境影響較大的問題。

附圖說明

圖1為本發(fā)明實施例提供的一種交通信號燈定位識別方法流程圖；

圖2為本發(fā)明實施例提供的另一種交通信號燈定位識別方法流程圖；

圖3為本發(fā)明實施例提供的一種交通信號燈定位識別裝置結(jié)構(gòu)示意圖；

圖4為本發(fā)明實施例提供的一種交通信號燈定位識別系統(tǒng)結(jié)構(gòu)示意圖。

具體實施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明實施方式作進一步地詳細描述。

基于卷積神經(jīng)網(wǎng)絡的算法。其中，快速區(qū)域卷積神經(jīng)網(wǎng)絡算法是目前最先進的用于目標檢測的深度學習神經(jīng)網(wǎng)絡之一。所述快速區(qū)域卷積神經(jīng)網(wǎng)絡由兩部分網(wǎng)絡構(gòu)成；一部分用于生成目標可能出現(xiàn)的區(qū)域，另一部分用于在所述目標區(qū)域?qū)Υ龣z測目標進行精確定位并識別。

如圖1為所示為本發(fā)明實施例提供的一種交通信號燈定位識別方法流程圖；該方法包括：

101：獲取待檢測圖像及基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型；

102：通過所述基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型對所述待檢測圖像的交通信號燈檢測區(qū)域進行交通信號燈識別；

103：獲取所述待檢測圖像中交通信號燈信息；所述交通信號燈信息包括：交通信號燈的顏色、坐標位置及置信度。

基于以上實施例，如圖2所示，為本發(fā)明實施例提供的另一種交通信號燈定位識別方法流程圖；該方法包括：

201：獲取帶標注的訓練樣本、待訓練樣本圖像及配置參數(shù)；所述標注的訓練樣本帶有交通信號燈框一個角點的坐標位置、燈框?qū)捀咧岛彤斍盁舻念伾?/p>

202：根據(jù)配置參數(shù)，生成所述待訓練樣本圖像的候選推薦區(qū)域，并確定所述待訓練樣本圖像的候選推薦區(qū)域中交通信號燈框的坐標位置及其置信度；該步驟具體實現(xiàn)過程如下：所述配置參數(shù)包括：交通信號燈框長寬比、及交通信號燈框標準信息；所述交通信號燈框標準信息包括待識別交通信號燈框坐標位置。

S21:根據(jù)所述交通信號燈框長寬比，生成所述待訓練樣本圖像的候選推薦區(qū)域；

S22:根據(jù)所述交通信號燈框標準信息，確定所述待訓練樣本圖像的候選推薦區(qū)域中交通信號燈框的坐標位置及其置信度。該步驟具體為：

本發(fā)明技術(shù)方案采用基于區(qū)域的卷積神經(jīng)網(wǎng)絡快速檢測模型Faster R-CNN的深度學習方法離線訓練所述基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型。例如：當交通信號燈框標準信息即訓練樣本中交通信號燈為三眼豎燈時，所述交通信號燈的寬高比接近1:3，可以利用這一特征對圖像進行尺寸調(diào)整，確保寬高比為1:3，且大小為20x60。Faster R-CNN深度學習模型對目標尺寸的大小和寬高比沒有嚴格的要求，能夠檢測到合理尺度范圍的任何寬高比目標。根據(jù)交通信號燈框標準信息的先驗知識，將其寬高比設為1:3，大小設為20x60,不但可以降低模型復雜度，從而能夠在不犧牲檢測精度的情況下提高檢測效率。該模型除了能夠輸出燈框的位置，燈的顏色之外，還能夠提供檢測的置信度(0-1，0為最不確定，1為最確定)。在真實場景中，只要紅綠燈燈框在20x60附近就可以檢測到，并不嚴格要求大小為20x60。

203：根據(jù)所述帶標注的訓練樣本與所述待訓練樣本圖像的候選推薦區(qū)域中交通信號燈框的坐標位置及其置信度，確定所述待訓練樣本圖像的候選推薦區(qū)域的樣本類型；所述樣本類型包括：正樣本或負樣本；

204：根據(jù)所述帶標注的訓練樣本、所述待訓練樣本圖像的候選推薦區(qū)域中交通信號燈框的坐標位置及其置信度和所述待訓練樣本圖像的候選推薦區(qū)域的樣本類型，獲取所述基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型。其中，所述基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型包括：候選推薦區(qū)域檢測器和交通信號燈分類定位器；該步驟具體實現(xiàn)過程如下：

S41:根據(jù)所述帶標注的訓練樣本、所述待訓練樣本圖像的候選推薦區(qū)域中交通信號燈框的坐標位置及其置信度和所述待訓練樣本圖像的候選推薦區(qū)域的樣本類型，獲取所述候選推薦區(qū)域檢測器；

S42：根據(jù)所述候選推薦區(qū)域檢測器輸出的所述待訓練樣本圖像的候選推薦區(qū)域中交通信號燈框的坐標位置及其置信度和帶標注的訓練樣本中標注的帶有交通信號燈框一個角點的坐標位置、燈框?qū)捀咧岛彤斍盁舻念伾?，獲取所述交通信號燈分類定位器。

需要說明的是，在以下步驟S205之前，還包括：預設置待檢測圖像的交通信號燈檢測區(qū)域；

205：通過所述基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型對所述待檢測圖像的交通信號燈檢測區(qū)域進行交通信號燈識別；該步驟具體實現(xiàn)過程為：

S51:通過所述基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型，確定所述待檢測圖像的交通信號燈檢測區(qū)域內(nèi)候選推薦區(qū)域；

S52:在候選推薦區(qū)域內(nèi)進行交通信號燈識別，獲取所述交通信號燈框一個角點的坐標位置、燈框?qū)捀咧?，當前燈的顏色及其置信度?/p>

S53:按照所述交通信號燈的坐標位置以及置信度，調(diào)整所述交通信號燈檢測區(qū)域；所述調(diào)整后的交通信號燈檢測區(qū)域?qū)⒂糜谙乱惠喌慕煌ㄐ盘枱糇R別，以便在后待檢測圖像的交通信號燈識別；具體的講，就是根據(jù)所述候選推薦區(qū)域中交通信號燈框一個角點的坐標位置及其置信度動態(tài)地調(diào)整其檢測區(qū)域的大小。例如：當所述候選推薦區(qū)域的置信度非常高(如在0.95-0.999之間)時，可以僅在當前坐標位置周圍40x 80的區(qū)域內(nèi)進行檢測。當置信度處于較高水平(如在0.85-0.95之間)時，可以在當前坐標位置周圍60x100的區(qū)域內(nèi)進行檢測。當置信度較低時(如置信度<0.85),說明當前基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型對檢測結(jié)果非常不確定，需要檢測整個候選推薦區(qū)域(100x 140或者更大)。由于基于區(qū)域的卷積神經(jīng)網(wǎng)絡快速檢測模型Faster R-CNN需要針對候選推薦區(qū)域進行卷積，且時間占比達90％左右，圖像檢測區(qū)域越小，速度越快。這樣依據(jù)置信度動態(tài)調(diào)整檢測區(qū)域能夠有效的提高檢測效率，同時也能確保檢測的精度。

需要說明的是，利用訓練好的模型(即經(jīng)過以上步驟201至步驟204訓練基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型)對待檢測圖像進行定位和識別的過程之前，本發(fā)明技術(shù)方案還可以預設置待檢測圖像的交通信號燈檢測區(qū)域；由于視頻采集裝置采集的待檢測圖像的監(jiān)控面積較大，而交通信號燈的位置已經(jīng)相對固定，即便有熱脹冷縮效應，也不會偏離出極大的范圍(比如上下左右均在交通信號燈寬度的2倍以內(nèi))。通過所述基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型，確定所述待檢測圖像的候選推薦區(qū)域之前，所述待檢測圖像可以根據(jù)所述預設置待檢測圖像的交通信號燈檢測區(qū)域確定所述基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型的交通信號燈檢測區(qū)域(通常為燈框?qū)挾鹊?倍)。這樣，以上步驟S51通過所述基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型，確定所述待檢測圖像的候選推薦區(qū)域；此處確定的待檢測圖像的候選推薦區(qū)域是在基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型的交通信號燈檢測區(qū)域中確定的候選推薦區(qū)域。此處需要基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型識別的區(qū)域大大縮小，不但可以提高檢測準確性，還能縮短檢測識別時間。

同時，調(diào)整交通信號燈檢測區(qū)域的大小，確保紅綠燈燈框的大小為20x60,從而確保模型在應用階段和訓練階段的大小一致或接近，進而提高系統(tǒng)檢測準確性。

206：獲取所述待檢測圖像中交通信號燈信息；所述交通信號燈信息包括：交通信號燈的顏色、坐標位置及置信度。該步驟具體實現(xiàn)流程如下：

S61:獲取所述待檢測圖像的至少一個候選推薦區(qū)域內(nèi)的交通信號燈信息；

S62:獲取置信度最高的候選推薦區(qū)域內(nèi)的交通信號燈信息，作為待檢測圖像的交通信號燈信息。該步驟的具體獲取流程如下：對所述待檢測圖像的至少一個候選推薦區(qū)域內(nèi)的交通信號燈信息進行分析，剔除可能的誤檢。首先，當所述交通信號燈識別過程中出現(xiàn)多個候選推薦區(qū)域，且出現(xiàn)兩個或者更多的候選推薦區(qū)域的交通信號燈的燈框之間有重疊，則需要計算兩個或者更多的檢測燈框的重疊面積比；例如為兩個矩形燈框之間重疊，則所述兩個燈框重疊面積比為所述兩個矩形框的交集比并集；如果所述兩個燈框重疊面積比大于特定閾值(如0.5)，則將置信度較低的矩形燈框進行消除，僅保留最高置信度對應矩形燈框結(jié)果；如果所述燈框的置信度小于特定閾值(如0.5)，則所述基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型對所述待檢測圖像進行交通信號燈識別的燈框結(jié)果為非常不確定，出現(xiàn)誤檢的概率很大，此時系統(tǒng)將除去所述燈框?qū)暮蜻x推薦區(qū)域，從而保證檢測準確性。

其次，依據(jù)交通信號燈閃爍的規(guī)律進行排除不正常狀況，如亮燈順序應該為綠燈-->黃燈-->紅燈-->綠燈，因為交通信號燈的閃爍中間可能存在全黑的狀況，但是不會出現(xiàn)紅燈亮了之后黃燈立即亮的情況，依據(jù)這一規(guī)則也可以排除一些明顯的誤檢。

需要說的是，以上所述通過綠燈-->黃燈-->紅燈-->綠燈狀態(tài)排除的方法應該是對采集圖像不同圖像幀的篩選，即根據(jù)幀與幀之間的信息不同燈的顏色變化完成錯誤幀的篩查；而上面通過比較特定閾值排查則是針對同一個采集圖像幀中不同的候選推薦區(qū)域的排查。

如圖3所示，為本發(fā)明實施例提供的一種交通信號燈定位識別裝置；該裝置包括：

信息獲取單元301，用于獲取待檢測圖像及基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型；

識別單元302，用于通過所述基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型對所述待檢測圖像的交通信號燈檢測區(qū)域進行交通信號燈識別；

信息確定單元303，用于獲取所述待檢測圖像中交通信號燈信息；所述交通信號燈信息包括：交通信號燈的顏色、坐標位置及置信度。

需要說明的是，該裝置還包括：

參數(shù)信息獲取單元，用于獲取帶標注的訓練樣本、待訓練樣本圖像及配置參數(shù)；所述標注的訓練樣本帶有交通信號燈框一個角點的坐標位置、燈框?qū)捀咧岛彤斍盁舻念伾?/p>

區(qū)域生成單元，用于根據(jù)配置參數(shù)，生成所述待訓練樣本圖像的候選推薦區(qū)域，并確定所述待訓練樣本圖像的候選推薦區(qū)域中交通信號燈框的坐標位置及其置信度；

類型確定單元，用于根據(jù)所述帶標注的訓練樣本與所述待訓練樣本圖像的候選推薦區(qū)域中交通信號燈框的坐標位置及其置信度，確定所述待訓練樣本圖像的候選推薦區(qū)域的樣本類型；所述樣本類型包括：正樣本或負樣本；

模型獲取單元，用于根據(jù)所述帶標注的訓練樣本、所述待訓練樣本圖像的候選推薦區(qū)域中交通信號燈框的坐標位置及其置信度和所述待訓練樣本圖像的候選推薦區(qū)域的樣本類型，獲取所述基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型；

其中，所述配置參數(shù)包括：交通信號燈框長寬比及交通信號燈框標準信息；所述區(qū)域生成單元，具體用于根據(jù)所述交通信號燈框長寬比，生成所述待訓練樣本圖像的候選推薦區(qū)域；根據(jù)所述交通信號燈框標準信息，確定所述待訓練樣本圖像的候選推薦區(qū)域中交通信號燈框的坐標位置及其置信度；

其中，所述基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型包括：候選推薦區(qū)域檢測器和交通信號燈分類定位器；所述模型獲取單元，具體用于根據(jù)所述帶標注的訓練樣本、所述待訓練樣本圖像的候選推薦區(qū)域中交通信號燈框的坐標位置及其置信度和所述待訓練樣本圖像的候選推薦區(qū)域的樣本類型，獲取所述候選推薦區(qū)域檢測器；根據(jù)所述候選推薦區(qū)域檢測器輸出的所述待訓練樣本圖像的候選推薦區(qū)域中交通信號燈框的坐標位置及其置信度和帶標注的訓練樣本中標注的帶有交通信號燈框一個角點的坐標位置、燈框?qū)捀咧岛彤斍盁舻念伾?，獲取所述交通信號燈分類定位器。

其中，該裝置還包括：

預置單元，用于預設置待檢測圖像的交通信號燈檢測區(qū)域；

所述識別單元具體用于通過所述基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型，確定所述待檢測圖像的交通信號燈檢測區(qū)域內(nèi)候選推薦區(qū)域；在候選推薦區(qū)域內(nèi)進行交通信號燈識別，獲取所述交通信號燈框一個角點的坐標位置、燈框?qū)捀咧?，當前燈的顏色及其置信度；按照所述交通信號燈的坐標位置以及置信度，調(diào)整所述交通信號燈檢測區(qū)域；所述調(diào)整后的交通信號燈檢測區(qū)域?qū)⒂糜谙乱惠喌慕煌ㄐ盘枱糇R別，以便在后待檢測圖像的交通信號燈識別；

所述信息確定單元，具體用于獲取所述待檢測圖像的至少一個候選推薦區(qū)域內(nèi)的交通信號燈信息；獲取置信度最高的候選推薦區(qū)域內(nèi)的交通信號燈信息，作為待檢測圖像的交通信號燈信息。

如圖4所示，為本發(fā)明實施例提供的一種交通信號燈定位識別系統(tǒng)；該系統(tǒng)包括：如上所述交通信號燈定位識別裝置。

本發(fā)明的技術(shù)方案通過基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型對所述待檢測圖像進行交通信號燈識別，并獲取所述待檢測圖像中交通信號燈信息。由于所述基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型能夠?qū)W習到交通信號燈坐標位置及交通信號燈顏色，從而使得通過所述基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型識別出來的待檢測圖像中的交通信號燈信息，即包含了交通信號燈的顏色、坐標位置及置信度。因此通過基于卷積神經(jīng)網(wǎng)絡的目標檢測識別模型實現(xiàn)交通信號燈的定位識別，從而解決了現(xiàn)有技術(shù)中交通信號燈識別精度不高，誤判率高，且通用性差，受外界環(huán)境影響較大的問題。

以上所述僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍。凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換、改進等，均包含在本發(fā)明的保護范圍內(nèi)。