一種基于快速特征金字塔的車輛多尺度跟蹤方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于數(shù)字圖像處理技術(shù)，特別涉及計(jì)算機(jī)視覺識(shí)別技術(shù)。 技術(shù)背景
[0002] 隨著經(jīng)濟(jì)技術(shù)的不斷發(fā)展，科技水平的不斷提高，人們的生活質(zhì)量也相應(yīng)發(fā)生翻 天覆地的變化。近年來隨著機(jī)器視覺技術(shù)的發(fā)展，機(jī)器視覺在智能交通系統(tǒng)中得到了廣泛 的應(yīng)用，如交通事件及流量的監(jiān)測(cè)、路面病害檢測(cè)以及智能車輛的自動(dòng)導(dǎo)航等。作為智能 交通系統(tǒng)的一個(gè)重要組成部分，智能安全車輛是目前的研究熱點(diǎn)，智能車輛利用智能算法 理解車輛的即時(shí)環(huán)境，為安全行駛提供保障。
[0003] 車輛跟蹤技術(shù)是繼車輛檢測(cè)技術(shù)之后，又一大新的技術(shù)領(lǐng)域，兩者緊密相連，缺一 不可。根據(jù)攝像頭與目標(biāo)之間的位置關(guān)系，可將跟蹤方法分為靜態(tài)背景下的目標(biāo)跟蹤和動(dòng) 態(tài)背景跟蹤。
[0004] ㈠ 靜態(tài)背景下的目標(biāo)跟蹤方法：
[0005] 靜態(tài)背景下的目標(biāo)跟蹤指的是攝像頭是固定在某一方位，其所觀察的視野也是靜 止的。通常采用背景差分法和高斯背景建模。背景差法先將前景圖像與背景圖像做差，就 可以得到進(jìn)入視野的目標(biāo)物體。對(duì)于目標(biāo)的描述，通常用目標(biāo)連通區(qū)域的像素?cái)?shù)目的多少 來表達(dá)目標(biāo)的大小，或者用目標(biāo)區(qū)域的高寬比等。目標(biāo)的位置信息可采用投影的方式來定 位。高斯背景建模，即先對(duì)背景進(jìn)行建模，通常使用K(基本為3到5個(gè)）個(gè)高斯模型來表 征圖像中各個(gè)像素點(diǎn)的特征，在新一幀圖像獲得后更新混合高斯模型，然后從視頻流中讀 取圖像（我們稱之為前景圖像），用當(dāng)前圖像中的每個(gè)像素點(diǎn)與混合高斯模型匹配，如果成 功則判定該點(diǎn)為背景點(diǎn)，否則為前景點(diǎn)。
[0006] ㈡動(dòng)態(tài)背景下的目標(biāo)跟蹤方法：
[0007] 動(dòng)態(tài)背景下的目標(biāo)跟蹤指的是攝像頭并不固定在某一位置上，攝像頭所觀察的視 野并不是靜止的，也即背景相對(duì)于攝像頭也是運(yùn)動(dòng)的。對(duì)于這種情況，通常采用基于檢測(cè)的 跟蹤方法對(duì)單幀圖像進(jìn)行檢測(cè)，以達(dá)到連續(xù)檢測(cè)的效果。
[0008] 常見的跟蹤算法有：卡爾曼濾波，粒子濾波，TLD，CT。
[0009] (-)卡爾曼濾波：卡爾曼濾波（Kalman filtering) -種利用線性系統(tǒng)狀態(tài)方程，通 過系統(tǒng)輸入輸出觀測(cè)數(shù)據(jù)，對(duì)系統(tǒng)狀態(tài)進(jìn)行最優(yōu)估計(jì)的算法。由于觀測(cè)數(shù)據(jù)中包括系統(tǒng)中 的噪聲和干擾的影響，所以最優(yōu)估計(jì)也可看作是濾波過程?；诳柭鼮V波器的車輛跟蹤 方法在進(jìn)行跟蹤時(shí)，是利用過去的狀態(tài)信息和當(dāng)前的測(cè)量結(jié)果預(yù)測(cè)當(dāng)前的最優(yōu)狀態(tài)信息， 以達(dá)到跟蹤的目的。
[0010] (二)粒子濾波：粒子濾波（PF:Particle Filter)的思想基于蒙特卡洛方法（Monte Carlo methods)，它是利用粒子集來表示概率，可以用在任何形式的狀態(tài)空間模型上。其核 心思想是通過從后驗(yàn)概率中抽取的隨機(jī)狀態(tài)粒子來表達(dá)其分布，是一種順序重要性采樣法 (Sequential Importance Sampling)。簡(jiǎn)單來說，粒子濾波法是指通過尋找一組在狀態(tài)空 間傳播的隨機(jī)樣本對(duì)概率密度函數(shù)進(jìn)行近似，以樣本均值代替積分運(yùn)算，從而獲得狀態(tài)最 小方差分布的過程。這里的樣本即指粒子，當(dāng)樣本數(shù)量N-oc時(shí)可以逼近任何形式的概率 密度分布。
[0011] (Ξ) TLD :TLD (Tracking-Learning-Detection)的立足點(diǎn)是解決長(zhǎng)時(shí)間跟蹤中被跟 蹤目標(biāo)發(fā)生形狀變化、光照條件變化、尺度變化、遮擋等情況。檢測(cè)器是將已經(jīng)檢測(cè)到的特 征（表征目標(biāo)物體）進(jìn)行局部化處理，并且根據(jù)需要不斷修正跟蹤器。學(xué)習(xí)器估計(jì)出檢測(cè) 器的錯(cuò)誤，并及時(shí)更新檢測(cè)器，以避免后續(xù)再出現(xiàn)這些錯(cuò)誤。傳統(tǒng)的跟蹤算法，前端需要跟 檢測(cè)模塊相互配合，當(dāng)檢測(cè)到被跟蹤目標(biāo)之后，就開始進(jìn)入跟蹤模塊，而此后，檢測(cè)模塊就 不會(huì)介入到跟蹤過程中。而該算法與傳統(tǒng)跟蹤算法的顯著區(qū)別在于將傳統(tǒng)的跟蹤算法和傳 統(tǒng)的檢測(cè)算法相結(jié)合來解決被跟蹤目標(biāo)在被跟蹤過程中發(fā)生的形變、部分遮擋等問題。
[0012] (四)CT :CT (Compressive Tracking)是根據(jù)稀疏感知理論，用一個(gè)滿足RIP條件的 非常稀疏的測(cè)量矩陣對(duì)原圖像特征空間進(jìn)行投影，就可以得到一個(gè)低維壓縮子空間。低維 壓縮子空間可以很好的保留高維圖像特征空間的信息。所以我們通過稀疏測(cè)量矩陣去提取 前景目標(biāo)和背景的特征，作為在線學(xué)習(xí)更新分類器的正樣本和負(fù)樣本，然后使用該樸素貝 葉斯分類器去分類下一幀圖像的目標(biāo)待測(cè)圖像片。
[0013] (I)MOSSE :M0SSE(Minimum Output Sum of Squared Error filter)濾波器是一種 實(shí)時(shí)性好，利用相關(guān)卷積矩陣求取最小輸出均方誤差的跟蹤方法。并且對(duì)于光照、大小、姿 勢(shì)、非剛性形變具有一定的魯棒性。該算法首先假設(shè)跟蹤目標(biāo)區(qū)域的輸出響應(yīng)呈高斯分布， 利用卷積性質(zhì)，可以求得卷積濾波器，然后在后一幀圖像的當(dāng)前位置，用此濾波器進(jìn)行濾波 來求得新的輸出響應(yīng)，根據(jù)新的輸出相信確定目標(biāo)在當(dāng)前幀的位置。

【發(fā)明內(nèi)容】

[0014] 本發(fā)明所要解決的技術(shù)問題是，提供一種快速、準(zhǔn)確的車輛跟蹤方法。
[0015] 本發(fā)明為解決上述技術(shù)問題所采用的技術(shù)方案是，一種基于快速特征金字塔的車 輛多尺度跟蹤方法，當(dāng)上一幀檢測(cè)到目標(biāo)時(shí)，（? yc)為上一幀檢測(cè)到的目標(biāo)區(qū)域的中心點(diǎn)， 則對(duì)當(dāng)前幀進(jìn)行目標(biāo)跟蹤，具體方法如下：
[0016] 步驟1、計(jì)算當(dāng)前幀圖像在原始尺度下的聚合通道特征得到原始尺度下的特征 圖：
[0017] 1-1將當(dāng)前幀圖像轉(zhuǎn)化到LUV色彩空間，得到L、U、V三通道特征；
[0018] 2-2求LUV圖像的梯度圖得到梯度直方圖HOG特征；
[0019] 2-3將L、U、V三通道特征與HOG各方向通道特征進(jìn)行級(jí)聯(lián)得到當(dāng)前幀在原始尺度 下的聚合通道特征；
[0020] 步驟2、計(jì)算特征金字塔
[0021] 根據(jù)特征金字塔下各種尺度根據(jù)聚合通道特征各通道特征的能量統(tǒng)計(jì)關(guān)系對(duì)原 始尺度下的特征圖進(jìn)行特征金字塔采樣得到對(duì)應(yīng)尺度下的特征圖；經(jīng)過各特征金字塔采樣 后特征圖的尺度與原始尺度下的特征圖的尺度比值為Sl，s2, ... sn，η為不同尺度總數(shù)；各 特征金字塔采樣包括上采樣、下采樣；
[0022] 步驟3、在不同尺度上計(jì)算跟蹤結(jié)果：
[0023] 3-1原始尺寸下特征圖的特征通道的寬高分別為W。和Η。，設(shè)原始尺寸下特征圖的 目標(biāo)區(qū)域的中心點(diǎn)為（?,%);各特征金字塔采樣后對(duì)應(yīng)的目標(biāo)區(qū)域的中心位置為（??% S1), (x〇s2, y〇s2), . . . , (x〇sn, y〇sn)；
[0024] 3-2計(jì)算卷積濾波器：
[0025] 對(duì)于上一幀是首次檢測(cè)出目標(biāo)的情況：
[0026] 各特征金字塔采樣下，在以目標(biāo)區(qū)域的中心位置為高斯分布的極值產(chǎn)生一個(gè)隨機(jī) 高斯分布，所述隨機(jī)高斯分布對(duì)應(yīng)目標(biāo)區(qū)域的輸出響應(yīng)G1, G2, ...，Gn，初始化卷積濾波器的 濾波系數(shù)〃i = 1，2，···，!!，^為目標(biāo)區(qū)域的傅里葉變換，G1S以目標(biāo)區(qū)域?yàn)橹行奈?置的隨機(jī)高斯分布；
[0027] 對(duì)于上一幀不是首次檢測(cè)出目標(biāo)的情況：
[0028] 卷積濾波器的更新采用如下策略：
η為權(quán)重系數(shù)，為上一幀卷積濾波器的濾波系 數(shù)；
[0030] 3-3將特征金字塔采樣后各尺寸的特征圖輸入卷積濾波器，卷積濾波器的輸出響 應(yīng)分別為gi，g2, . . .，gn，分別求得各尺寸下的跟蹤值PSR1, PSR2, . . .，PSRn:
g_為當(dāng)前尺寸下輸出響應(yīng)的極值，μ 3和σ s分別為當(dāng)前尺寸下的輸出響應(yīng)的均值和方差；
[0031] 3-4取跟蹤值PSR1, PSR2, ...，PSRn*最大的作為跟蹤結(jié)果PSR，當(dāng)PSR大于設(shè)定的 閾值時(shí)，認(rèn)為跟蹤成功，則繼續(xù)下一幀的跟蹤，將跟蹤結(jié)果按對(duì)應(yīng)尺度映射至原尺度上確定 目標(biāo)區(qū)域；當(dāng)PSR小于設(shè)定的閾值時(shí)，認(rèn)為跟蹤失敗，則取消當(dāng)前跟蹤目標(biāo)。
[0032] 本發(fā)明一是使用一種新的，更具辨識(shí)能力的聚合通道特征ACF特征代替MOSSE算 法中的灰度特征，二是使用快速特征金字塔來逼近相鄰尺度上的特征，從而快速計(jì)算不同 尺度上的跟蹤結(jié)果。ACF特征首先將采集到RGB車輛圖像轉(zhuǎn)化到Luv空間，分別得到L、U、 V通道；在此基礎(chǔ)上求取梯度圖像，得到梯度通道；級(jí)聯(lián)這些通道特征形成ACF特征?？焖?金字塔是通過統(tǒng)計(jì)的思想將原特征圖進(jìn)行縮放逼近，與傳統(tǒng)圖像縮放方法不同的是，傳統(tǒng) 方法需要使用最近鄰或線性插值等手段來計(jì)算縮放結(jié)果，其所帶來的計(jì)算復(fù)雜度要遠(yuǎn)高于 快速金字塔方法。快速金字塔根據(jù)各個(gè)通道縮放之間的能量統(tǒng)計(jì)關(guān)系，可以有原尺度上的 圖像直接計(jì)算得到縮放之后尺度上的圖像。
[0033] 本發(fā)明的有益效果是，基于聚合通道特征的車輛跟蹤算法不僅利用了多個(gè)通道的 全局信息，而且在每個(gè)通道上也充分利用了車輛的局部信息，提高了車輛跟蹤的魯棒性；并 且利用快速特征金字塔實(shí)現(xiàn)了跟蹤的多尺度，并保證了跟蹤的實(shí)時(shí)性。
【附圖說明】
[0034] 圖1是本發(fā)明的流程示意圖。 具體實(shí)施方案
[0035] 為了方便地描述本
【發(fā)明內(nèi)容】
，首先對(duì)一些術(shù)語進(jìn)行說明。
[0036] Luv通道特征。LUV色彩空間全稱CIE 1976 (L，u，V)(也作CIELUV)色彩空間，L表 示物體亮度，U和V是色度。于1976年由國(guó)際照明委員會(huì)CIE提出，由CIE XYZ空間經(jīng)簡(jiǎn) 單變換得到，具視覺統(tǒng)一性。類似的色彩空間有CIELAB。對(duì)于一般的圖像，u和V的取值范 圍為-100到+100,亮度為O到100。
[0037] 梯度通道特征。梯度通道特征即為一副圖像的梯度圖，反映的是目標(biāo)的邊緣信息。 梯度可以有多種求法，例如Prewitt算子，Sobel算子。然而[-1 0 1]這種最簡(jiǎn)單的算子 卻有更好的表現(xiàn)。梯度用來對(duì)車輛圖像的邊緣進(jìn)行描述。由于Luv通道與RGB通道之間只 是線性變化，因此為了方便，可在求得Luv通道之后在Luv通道上求取圖像的梯度圖。
[0038] 梯度直方圖。梯度直方圖即H0G(Histogram of oriented gradient)，首先將圖像 分成小的連通區(qū)域，我們把它叫細(xì)胞單元。然后采集細(xì)胞單元中各像素點(diǎn)的梯度的或邊緣 的方向直方圖。最后把這些直方圖組合起來就可以構(gòu)成特征描述器。為了提高性能，我們 還可以把這些局部直方圖在圖像的更大的范圍內(nèi)（我們把它叫區(qū)間或block)進(jìn)行對(duì)比度 歸一化（contrast-normalized)，所采用的方法是：先計(jì)算各直方圖在這個(gè)區(qū)間（block)中 的密度，然后根據(jù)這個(gè)密度對(duì)區(qū)間中的各個(gè)細(xì)胞單元做歸一化。