本發(fā)明涉及圖像處理和計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，具體涉及一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的汽車(chē)駕駛場(chǎng)景目標(biāo)檢測(cè)方法。

背景技術(shù)：

近年來(lái)，交通問(wèn)題日益突出，各類(lèi)智能車(chē)概念被提出，車(chē)輛駕駛輔助系統(tǒng)乃至無(wú)人車(chē)均獲得了空前的發(fā)展。汽車(chē)駕駛場(chǎng)景中的目標(biāo)檢測(cè)系統(tǒng)是其中關(guān)鍵的組成部分。因此，汽車(chē)駕駛場(chǎng)景中的目標(biāo)檢測(cè)成為當(dāng)前研究熱點(diǎn)。在目標(biāo)檢測(cè)任務(wù)中，潛在目標(biāo)往往受到姿態(tài)多變、光照變化、尺度不一甚至部分遮擋等不利因素的影響，導(dǎo)致目標(biāo)檢測(cè)本身就是很有挑戰(zhàn)性的任務(wù)。而在汽車(chē)駕駛場(chǎng)景中，交通狀況復(fù)雜多變，各類(lèi)目標(biāo)物存在相互遮擋，光照變化影響更加復(fù)雜，這些不利因素都進(jìn)一步制約著汽車(chē)駕駛場(chǎng)景目標(biāo)檢測(cè)系統(tǒng)的性能。

在目標(biāo)檢測(cè)中，如何提取高效的特征是提高系統(tǒng)性能的關(guān)鍵。傳統(tǒng)的特征提取技術(shù)，如haar特征以及梯度方向直方圖特征hog，這些人工設(shè)計(jì)的特征描述子缺乏高層語(yǔ)義信息，制約著目標(biāo)檢測(cè)精度的提高。經(jīng)典的目標(biāo)檢測(cè)框架主要是基于滑動(dòng)窗口的模板匹配，如可變形部件模型dpm(deformablepartbasedmodel)，該算法采用梯度方向直方圖特征，利用隱支持向量機(jī)訓(xùn)練多個(gè)模型，通過(guò)復(fù)雜的模型訓(xùn)練與匹配達(dá)到檢測(cè)的目的。由于采用滑動(dòng)窗口匹配技術(shù)，以及為了使模型能夠匹配不同尺度的目標(biāo)而構(gòu)建圖像特征金字塔，導(dǎo)致模型匹配計(jì)算量很大。另外，由于hog難以提取高效的特征，制約著精度的提升。因此，基于人工設(shè)計(jì)的特征描述子以及傳統(tǒng)模板匹配的目標(biāo)檢測(cè)算法在精度以及效率方面均有較大瓶頸。

深度卷積神經(jīng)網(wǎng)絡(luò)在上世紀(jì)九十年代被提出，近幾年得益于高性能運(yùn)算單元的出現(xiàn)，在圖像處理領(lǐng)域獲得了成功。通過(guò)構(gòu)建高性能的卷積神經(jīng)網(wǎng)絡(luò)，可以提取表述性更強(qiáng)、語(yǔ)義信息更豐富的深度卷積特征?；谏疃染矸e神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法是目前發(fā)展的方向。目前，基于深度卷積網(wǎng)絡(luò)的目標(biāo)檢測(cè)通常利用分類(lèi)以及回歸達(dá)到檢測(cè)的目的，如rcnn算法將檢測(cè)分為候選區(qū)域提取以及進(jìn)一步分類(lèi)回歸兩個(gè)階段，yolo算法直接利用回歸完成目標(biāo)檢測(cè)。rcnn算法及其后續(xù)算法fastrcnn、fasterrcnn在通用目標(biāo)檢測(cè)領(lǐng)域取得了較好的結(jié)果，常用的特征提取網(wǎng)絡(luò)包括zf網(wǎng)絡(luò)或vgg16網(wǎng)絡(luò)等。yolo算法時(shí)間效率較高但檢測(cè)小目標(biāo)能力較弱。由于在汽車(chē)駕駛場(chǎng)景下的目標(biāo)檢測(cè)存在如上所述的種種挑戰(zhàn)，基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法在汽車(chē)駕駛場(chǎng)景下的性能還有很大的提升空間。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是為了解決現(xiàn)有技術(shù)中的上述缺陷，提供一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的汽車(chē)駕駛場(chǎng)景目標(biāo)檢測(cè)方法，以便進(jìn)一步提升在汽車(chē)駕駛場(chǎng)景下的目標(biāo)檢測(cè)性能。通過(guò)設(shè)計(jì)性能更佳的網(wǎng)絡(luò)、優(yōu)化訓(xùn)練過(guò)程、挖掘先驗(yàn)信息以及對(duì)結(jié)果進(jìn)行后處理，本發(fā)明能夠?qū)ζ?chē)駕駛場(chǎng)景下的各類(lèi)目標(biāo)進(jìn)行有效檢測(cè)。

本發(fā)明的目的可以通過(guò)采取如下技術(shù)方案達(dá)到：

一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的汽車(chē)駕駛場(chǎng)景目標(biāo)檢測(cè)方法，所述檢測(cè)方法包括下列步驟：

s1、通過(guò)安裝在汽車(chē)上的攝像機(jī)采集訓(xùn)練圖像數(shù)據(jù)，并對(duì)所述訓(xùn)練圖像數(shù)據(jù)進(jìn)行預(yù)處理；

s2、利用聚類(lèi)算法對(duì)訓(xùn)練集樣本的目標(biāo)寬高進(jìn)行聚類(lèi)，利用聚類(lèi)中心優(yōu)化錨點(diǎn)設(shè)置；

s3、以caffe框架為基礎(chǔ)，基于分類(lèi)性能更好的殘差網(wǎng)絡(luò)，采用多層融合特征構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)模型；

s4、網(wǎng)絡(luò)初始化，利用在imagenet上預(yù)訓(xùn)練過(guò)的模型參數(shù)對(duì)相應(yīng)網(wǎng)絡(luò)層進(jìn)行初始化，其他新添加的層采用零均值，標(biāo)準(zhǔn)差為σ的高斯分布隨機(jī)初始化；

s5、網(wǎng)絡(luò)訓(xùn)練，將圖像以及真值信息輸入上述構(gòu)造的網(wǎng)絡(luò)，利用聚類(lèi)得到的錨點(diǎn)，在網(wǎng)絡(luò)中進(jìn)行前向計(jì)算得到預(yù)測(cè)值，計(jì)算邊界框的預(yù)測(cè)值與真值之間的smoothl1損失以及目標(biāo)類(lèi)別的預(yù)測(cè)值與真值之間的softmax損失，再進(jìn)行反向傳播利用隨機(jī)梯度下降法更新網(wǎng)絡(luò)權(quán)重；

s6、通過(guò)汽車(chē)上的攝像機(jī)采集車(chē)輛前方的圖像，輸入網(wǎng)絡(luò)進(jìn)行檢測(cè)，即可輸出目標(biāo)的類(lèi)別及坐標(biāo)，實(shí)現(xiàn)目標(biāo)檢測(cè)功能。

進(jìn)一步地，利用k-means算法對(duì)訓(xùn)練圖像數(shù)據(jù)集中目標(biāo)的寬高進(jìn)行聚類(lèi)，根據(jù)聚類(lèi)結(jié)果定義錨點(diǎn)的寬高，為了使聚類(lèi)中心框更好地匹配真值框，使聚類(lèi)中心與真值框的交并比iou最大化，聚類(lèi)距離度量定義為：

d(gt,centroid)＝1-iou(gt,centroid)，

其中，iou定義為兩個(gè)坐標(biāo)框的交并比：

其中g(shù)t代表真值框，centroid代表聚類(lèi)中心框，gt∩centroid代表真值框與聚類(lèi)中心重疊的區(qū)域，gt∪centroid表示真值與聚類(lèi)中心的區(qū)域合集，由此得到的聚類(lèi)中心定義錨點(diǎn)的寬高。

進(jìn)一步地，所述錨點(diǎn)用于候選區(qū)域生成網(wǎng)絡(luò)rpn產(chǎn)生候選區(qū)域，在網(wǎng)絡(luò)訓(xùn)練階段時(shí)，利用錨點(diǎn)與真值計(jì)算候選區(qū)域坐標(biāo)的參考值作為網(wǎng)絡(luò)回歸的真值，計(jì)算如下：

其中x^*、xa分別代表真值以及錨點(diǎn)的中心坐標(biāo)，代表計(jì)算得到的網(wǎng)絡(luò)回歸真值的中心坐標(biāo)，x、y指邊界框的中心坐標(biāo),w、h指邊界框的寬和高；

在進(jìn)行目標(biāo)檢測(cè)時(shí)，利用錨點(diǎn)與網(wǎng)絡(luò)回歸層的預(yù)測(cè)值計(jì)算候選區(qū)域的預(yù)測(cè)值，計(jì)算如下：

x＝xp*wa+xa，y＝y(tǒng)p*ha+ya，w＝wa*exp(wp)，h＝ha*exp(hp)

其中，xp代表網(wǎng)絡(luò)回歸層的預(yù)測(cè)值，x代表由網(wǎng)絡(luò)預(yù)測(cè)值與錨點(diǎn)計(jì)算得到的候選區(qū)域的預(yù)測(cè)值。

進(jìn)一步地，所述步驟s3過(guò)程如下：

以殘差網(wǎng)絡(luò)為特征提取網(wǎng)絡(luò)，將殘差網(wǎng)絡(luò)分為五個(gè)單元：res1、res2、res3、res4、res5，將前四個(gè)單元作為共享的特征提取網(wǎng)絡(luò)，通過(guò)在第三個(gè)殘差單元res3設(shè)置側(cè)連接，將輸出調(diào)整為與res4輸出相同的通道，并對(duì)res4進(jìn)行上采樣使輸出的寬高加倍，然后將兩個(gè)單元的輸出相加，實(shí)現(xiàn)多層特征融合。

進(jìn)一步地，所述側(cè)連接采用卷積層conv_1x1，該卷積層的卷積核大小為1x1，步長(zhǎng)為1，填充為0，輸出通道為1024；

所述上采樣采用反卷積層deconv，該上采樣使res4輸出寬高加倍；

采用crop層將res4輸出維度調(diào)整為與res3輸出相同的維度；

采用eltwise_sum將兩個(gè)單元的輸出相加，實(shí)現(xiàn)融合。

進(jìn)一步地，候選區(qū)域生成網(wǎng)絡(luò)rpn由全卷積網(wǎng)絡(luò)組成，分類(lèi)回歸網(wǎng)絡(luò)采用res5單元作為網(wǎng)絡(luò)的一部分。

進(jìn)一步地，在網(wǎng)絡(luò)訓(xùn)練階段中，利用在線困難樣本挖掘算法以及正負(fù)樣本均衡優(yōu)化訓(xùn)練過(guò)程，其中，所述在線困難樣本挖掘算法利用分類(lèi)回歸網(wǎng)絡(luò)cls_reg的拷貝cls_regreadonly先對(duì)所有候選區(qū)域進(jìn)行前向傳播，選取損失最大的候選區(qū)域作為困難樣本，再將困難樣本輸入cls_reg進(jìn)行反向傳播更新權(quán)重，所述正負(fù)樣本候選區(qū)域均衡指控制負(fù)正樣本候選區(qū)域數(shù)量比例小于μ，防止負(fù)樣本區(qū)域過(guò)多而正樣本區(qū)域過(guò)少導(dǎo)致分類(lèi)器性能下降。

進(jìn)一步地，所述檢測(cè)方法還包括下列步驟：

對(duì)網(wǎng)絡(luò)輸出的檢測(cè)邊界框預(yù)測(cè)值進(jìn)行后處理優(yōu)化，所述后處理優(yōu)化是對(duì)輸出基于邊界框置信度投票優(yōu)化，具體過(guò)程包括：

首先對(duì)檢測(cè)結(jié)果進(jìn)行非極大值抑制，得到局部區(qū)域置信度最高的檢測(cè)框(scorei,bboxi)；

然后利用鄰域中與其交并比iou大于0.5的檢測(cè)框(scorej,bboxj)，對(duì)輸出的bboxi進(jìn)行加權(quán)優(yōu)化，計(jì)算如下：

其中，score代表網(wǎng)絡(luò)預(yù)測(cè)的置信度，bbox代表網(wǎng)絡(luò)輸出的目標(biāo)邊界框位置坐標(biāo)。

進(jìn)一步地，所述訓(xùn)練圖像數(shù)據(jù)的預(yù)處理包括對(duì)輸入圖像進(jìn)行鏡像翻轉(zhuǎn)、減去均值、尺度調(diào)整。

進(jìn)一步地，所述訓(xùn)練圖像數(shù)據(jù)需要標(biāo)注目標(biāo)，包括：車(chē)、行人、騎自行車(chē)的人，其中，需要標(biāo)注的信息包括：目標(biāo)的類(lèi)別以及包圍該目標(biāo)的邊界框坐標(biāo)。

本發(fā)明相對(duì)于現(xiàn)有技術(shù)具有如下的優(yōu)點(diǎn)及效果：

1、對(duì)于特定的汽車(chē)駕駛場(chǎng)景，利用k-means算法優(yōu)化錨點(diǎn)設(shè)置，達(dá)到了匹配場(chǎng)景中多種尺度及比例的目標(biāo)的目的，同時(shí)有效減少網(wǎng)絡(luò)參數(shù)，提升檢測(cè)效率的同時(shí)又提高檢測(cè)精度；

2、對(duì)于圖像特征的提取，設(shè)計(jì)了融合多層特征的深度神經(jīng)網(wǎng)絡(luò)，有利于汽車(chē)駕駛場(chǎng)景眾多小目標(biāo)的檢測(cè)；

3、優(yōu)化訓(xùn)練過(guò)程，利用在線困難樣本挖掘算法以及正負(fù)樣本均衡來(lái)優(yōu)化訓(xùn)練過(guò)程，提高模型的特征提取能力以及分類(lèi)檢測(cè)能力；

4、對(duì)結(jié)果進(jìn)行后處理，使輸出更加準(zhǔn)確。

附圖說(shuō)明

圖1是本發(fā)明所提出的網(wǎng)絡(luò)結(jié)構(gòu)；

圖2是本發(fā)明所提出的結(jié)合在線困難樣本挖掘算法的網(wǎng)絡(luò)結(jié)構(gòu)；

圖3(a)是本發(fā)明實(shí)施例中檢測(cè)結(jié)果示例一；

圖3(b)是本發(fā)明實(shí)施例中檢測(cè)結(jié)果示例二；

圖3(c)是本發(fā)明實(shí)施例中檢測(cè)結(jié)果示例三。

具體實(shí)施方式

為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

實(shí)施例

本實(shí)施例公開(kāi)了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的汽車(chē)駕駛場(chǎng)景目標(biāo)檢測(cè)方法，具體步驟如下：

s1、訓(xùn)練數(shù)據(jù)采集，通過(guò)安裝在汽車(chē)上的攝像機(jī)采集訓(xùn)練圖像數(shù)據(jù)，并對(duì)所述訓(xùn)練圖像數(shù)據(jù)進(jìn)行預(yù)處理。

訓(xùn)練圖像數(shù)據(jù)由安裝在汽車(chē)上的攝像機(jī)采集得到，訓(xùn)練圖像預(yù)處理包括對(duì)輸入圖像進(jìn)行鏡像翻轉(zhuǎn)、減去均值、尺度調(diào)整等操作，訓(xùn)練集中的圖片需要標(biāo)注車(chē)、行人、騎自行車(chē)的人三類(lèi)目標(biāo)。其中需要標(biāo)注的信息包括目標(biāo)的類(lèi)別以及包圍該目標(biāo)的邊界框坐標(biāo)。

s2、利用聚類(lèi)算法對(duì)訓(xùn)練集樣本的目標(biāo)寬高進(jìn)行聚類(lèi)，利用聚類(lèi)中心優(yōu)化錨點(diǎn)設(shè)置；

利用k-means算法對(duì)訓(xùn)練圖像數(shù)據(jù)集中目標(biāo)的寬高進(jìn)行聚類(lèi)，根據(jù)聚類(lèi)結(jié)果定義錨點(diǎn)的寬高。為了使聚類(lèi)中心框更好地匹配真值框，使聚類(lèi)中心與真值框的交并比iou最大化，聚類(lèi)距離度量定義為：

d(gt,centroid)＝1-iou(gt,centroid)，

其中，iou定義為兩個(gè)坐標(biāo)框的交并比：

其中g(shù)t代表真值框，centroid代表聚類(lèi)中心框，gt∩centroid代表真值框與聚類(lèi)中心重疊的區(qū)域，gt∪centroid表示真值與聚類(lèi)中心的區(qū)域合集。由此得到的聚類(lèi)中心定義錨點(diǎn)的寬高。錨點(diǎn)是指目標(biāo)的參考邊界框。

表1.利用聚類(lèi)算法得到的錨點(diǎn)

針對(duì)涉及到的訓(xùn)練數(shù)據(jù)，設(shè)置15個(gè)聚類(lèi)中心，得到錨點(diǎn)的尺度比例如表1所示。其中，尺度指區(qū)域面積w*h，比例指w:h。由表1中數(shù)據(jù)可以看出，錨點(diǎn)呈現(xiàn)多種尺度以及多種比例。由于相同比例的目標(biāo)可能因與攝像機(jī)距離的不同而在成像時(shí)呈現(xiàn)不同的尺度，因此存在比例相同但尺度不同的錨點(diǎn)。

所述錨點(diǎn)用于候選區(qū)域生成網(wǎng)絡(luò)rpn產(chǎn)生候選區(qū)域。在網(wǎng)絡(luò)訓(xùn)練階段，需要利用錨點(diǎn)與真值計(jì)算候選區(qū)域坐標(biāo)的參考值作為網(wǎng)絡(luò)回歸的真值，計(jì)算如下：

其中x^*、xa分別代表真值以及錨點(diǎn)的中心坐標(biāo)，代表計(jì)算得到的網(wǎng)絡(luò)回歸真值的中心坐標(biāo)，x、y指邊界框的中心坐標(biāo),w、h指邊界框的寬和高。

系統(tǒng)進(jìn)行目標(biāo)檢測(cè)時(shí)，利用錨點(diǎn)與網(wǎng)絡(luò)回歸層的預(yù)測(cè)值計(jì)算候選區(qū)域的預(yù)測(cè)值，計(jì)算如下：

x＝xp*wa+xa，y＝y(tǒng)p*ha+ya，w＝wa*exp(wp)，h＝ha*exp(hp)

其中，xp代表網(wǎng)絡(luò)回歸層的預(yù)測(cè)值，x代表由網(wǎng)絡(luò)預(yù)測(cè)值與錨點(diǎn)計(jì)算得到的候選區(qū)域的預(yù)測(cè)值。

s3、以caffe框架為基礎(chǔ)，基于分類(lèi)性能更好的殘差網(wǎng)絡(luò)，采用多層融合特征構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)模型；

以caffe框架為基礎(chǔ)，基于分類(lèi)性能更好的殘差網(wǎng)絡(luò)，設(shè)計(jì)一個(gè)融合多層特征的深度卷積神經(jīng)網(wǎng)絡(luò)，按圖1所示網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建上述技術(shù)方案中所述的深度卷積神經(jīng)網(wǎng)絡(luò)模型，利用該網(wǎng)絡(luò)處理輸入圖像，預(yù)測(cè)目標(biāo)的類(lèi)別以及坐標(biāo)。

具體的，以殘差網(wǎng)絡(luò)resnet101、resnet50或者resnet152為特征提取網(wǎng)絡(luò)，將殘差網(wǎng)絡(luò)分為五個(gè)單元：res1、res2、res3、res4、res5，將前四個(gè)單元作為共享的特征提取網(wǎng)絡(luò)。通過(guò)在第三個(gè)殘差單元res3設(shè)置側(cè)連接，將輸出調(diào)整為與res4輸出相同的通道，并對(duì)res4進(jìn)行上采樣使輸出的寬高加倍，然后將兩個(gè)單元的輸出相加，實(shí)現(xiàn)多層特征融合。融合后特征有利于小目標(biāo)的檢測(cè)。

其中，側(cè)連接指卷積層conv_1x1，該卷積層的卷積核大小為1x1，步長(zhǎng)為1，填充為0，輸出通道為1024；deconv為反卷積層，作用是對(duì)res4進(jìn)行上采樣，使res4輸出寬高加倍；crop層將res4輸出維度調(diào)整為與res3相同的維度；eltwise_sum對(duì)兩個(gè)輸入進(jìn)行相加操作，實(shí)現(xiàn)融合；conv_3x3為卷積層，其卷積核大小為3x3，填充1，步長(zhǎng)1，輸出通道1024，作用是對(duì)融合后的特征進(jìn)行調(diào)整。候選區(qū)域生成網(wǎng)絡(luò)rpn由全卷積網(wǎng)絡(luò)組成，分類(lèi)回歸網(wǎng)絡(luò)采用res5單元作為網(wǎng)絡(luò)的一部分。

s4、網(wǎng)絡(luò)初始化，利用在imagenet上預(yù)訓(xùn)練過(guò)的殘差網(wǎng)絡(luò)模型參數(shù)對(duì)相應(yīng)網(wǎng)絡(luò)層進(jìn)行初始化，其他新添加的層采用零均值，標(biāo)準(zhǔn)差為σ的高斯分布隨機(jī)初始化。本實(shí)施例中，標(biāo)準(zhǔn)差σ取值為0.01，但該取值并不構(gòu)成對(duì)本技術(shù)方案的限制。

s5、網(wǎng)絡(luò)訓(xùn)練，將圖像以及真值信息輸入上述構(gòu)造的網(wǎng)絡(luò)，利用聚類(lèi)得到的錨點(diǎn)，在網(wǎng)絡(luò)中進(jìn)行前向計(jì)算得到預(yù)測(cè)值，計(jì)算邊界框的預(yù)測(cè)值與真值之間的smoothl1損失以及目標(biāo)類(lèi)別的預(yù)測(cè)值與真值之間的softmax損失，再進(jìn)行反向傳播，利用隨機(jī)梯度下降法sgd更新網(wǎng)絡(luò)權(quán)重。

在訓(xùn)練過(guò)程中，利用在線困難樣本挖掘算法(ohem-onlinehardexamplemining)以及正負(fù)樣本均衡優(yōu)化訓(xùn)練過(guò)程。在線困難樣本挖掘算法是指在訓(xùn)練過(guò)程中，利用分類(lèi)回歸網(wǎng)絡(luò)cls_reg的拷貝cls_regreadonly先對(duì)所有候選區(qū)域進(jìn)行前向傳播，選取損失最大的候選區(qū)域作為困難樣本，再將困難樣本輸入cls_reg進(jìn)行反向傳播更新權(quán)重。正負(fù)樣本候選區(qū)域均衡指控制負(fù)正樣本候選區(qū)域數(shù)量比例小于μ，防止負(fù)樣本區(qū)域過(guò)多而正樣本區(qū)域過(guò)少導(dǎo)致分類(lèi)器性能下降。本實(shí)施例中，μ取值為3，但該取值并不構(gòu)成對(duì)本技術(shù)方案的限制。

結(jié)合在線困難樣本挖掘算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，其中虛線表示只有前向傳播，實(shí)線代表既進(jìn)行前向傳播又進(jìn)行反向傳播；cls_regreadonly代表分類(lèi)回歸網(wǎng)絡(luò)的拷貝，對(duì)所有候選區(qū)域進(jìn)行前向傳播并在線困難樣本挖掘，產(chǎn)生的困難樣本輸入分類(lèi)回歸網(wǎng)絡(luò)cl_reg進(jìn)行反向傳播，更新網(wǎng)絡(luò)權(quán)重。

訓(xùn)練過(guò)程中迭代次數(shù)為40000次，初始學(xué)習(xí)率0.001，每一萬(wàn)次減小為上一個(gè)值的十分之一，momentum設(shè)置為0.9。

網(wǎng)絡(luò)的回歸損失定義為：

其中，

其中，xp指網(wǎng)絡(luò)回歸層的預(yù)測(cè)值，指網(wǎng)絡(luò)回歸真值。

s6、網(wǎng)絡(luò)模型訓(xùn)練好以后，通過(guò)汽車(chē)上的攝像機(jī)采集車(chē)輛前方的圖像，輸入網(wǎng)絡(luò)進(jìn)行檢測(cè)，即可輸出目標(biāo)的類(lèi)別及坐標(biāo)，實(shí)現(xiàn)目標(biāo)檢測(cè)功能。檢測(cè)結(jié)果示例如圖3(a)-圖3(c)所示，具體實(shí)施時(shí)，檢測(cè)結(jié)果為彩色圖片。

在進(jìn)一步優(yōu)選的實(shí)施方式中，對(duì)網(wǎng)絡(luò)輸出的檢測(cè)邊界框預(yù)測(cè)值進(jìn)行后處理優(yōu)化。

后處理是指對(duì)輸出基于邊界框置信度投票優(yōu)化。

首先對(duì)檢測(cè)結(jié)果進(jìn)行非極大值抑制，得到局部區(qū)域置信度最高的檢測(cè)框(scorei,bboxi)；

然后利用鄰域中與其交并比iou大于0.5的檢測(cè)框(scorej,bboxj)，對(duì)輸出的bboxi進(jìn)行加權(quán)優(yōu)化，計(jì)算如下：

其中，score代表網(wǎng)絡(luò)預(yù)測(cè)的置信度，bbox代表網(wǎng)絡(luò)輸出的目標(biāo)邊界框位置坐標(biāo)。

綜上所述，該檢測(cè)方法包含如下優(yōu)化技術(shù)：首先采用聚類(lèi)算法對(duì)訓(xùn)練數(shù)據(jù)的目標(biāo)寬高進(jìn)行聚類(lèi)，采用聚類(lèi)中心優(yōu)化錨點(diǎn)設(shè)置；其次采用分類(lèi)性能更強(qiáng)的殘差網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，在此基礎(chǔ)上設(shè)計(jì)一個(gè)融合特征網(wǎng)絡(luò)，利于小目標(biāo)的檢測(cè)；其次采用在線困難樣本挖掘算法以及均衡正負(fù)樣本候選區(qū)域來(lái)優(yōu)化網(wǎng)絡(luò)的訓(xùn)練；最后采用訓(xùn)練得到的模型處理圖像，并對(duì)輸出進(jìn)行后處理優(yōu)化，實(shí)現(xiàn)汽車(chē)駕駛場(chǎng)景下的目標(biāo)檢測(cè)功能。本發(fā)明基于caffe深度學(xué)習(xí)框架以及fasterrcnn算法，通過(guò)優(yōu)化錨點(diǎn)設(shè)置、設(shè)計(jì)融合特征網(wǎng)絡(luò)、優(yōu)化訓(xùn)練過(guò)程以及對(duì)結(jié)果后處理，得到了一種高性能的基于深度卷積網(wǎng)絡(luò)的汽車(chē)駕駛場(chǎng)景目標(biāo)檢測(cè)方法。

上述實(shí)施例為本發(fā)明較佳的實(shí)施方式，但本發(fā)明的實(shí)施方式并不受上述實(shí)施例的限制，其他的任何未背離本發(fā)明的精神實(shí)質(zhì)與原理下所作的改變、修飾、替代、組合、簡(jiǎn)化，均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護(hù)范圍之內(nèi)。