br>[0091] 4.若t彡k(參數(shù)建議值為k= 10)，多尺度歷史目標(biāo)模板庫M更新完成，算法結(jié) 束；否則，轉(zhuǎn)入步驟5;
[0092] 5.計算相似度矩陣Sm
[0094] 其中fHOGm/tHOG1?v表示模板叫/叫的方向梯度特征直方圖；
[0095] 6.獲得相似度最低的模板對
[0096] 7.分別計算 mminl，mmin2與其他模板的相似度和，S sum_p= Σ m_j E Ms (mp, IHj)， mpe Imninl, mnin2};
[0097] 8.若 Ssun ninlS S _ _2，調(diào)整模板空間 M = M-mninl，反之，M =
[0098] 9.多尺度歷史目標(biāo)模板庫M更新完成；
[0099] 上述技術(shù)方案中，步驟九中多尺度歷史目標(biāo)模板庫M經(jīng)過K多k次更新后，如圖4 所示，模板庫中模板數(shù)量|M|將保持為k，且模板庫中保留了從t = 1時刻開始的k個最具 代表性的目標(biāo)狀態(tài)，隨著跟蹤的繼續(xù)，模板庫將持續(xù)動態(tài)更新。
[0100] 上述技術(shù)方案中，基于時空模型的目標(biāo)尺度自適應(yīng)跟蹤方法的效果如圖5示。圖5 給出了算法在Singerl序列圖像實(shí)驗(yàn)中，目標(biāo)物體經(jīng)歷劇烈的光照變化和尺度的持續(xù)變小 等干擾情況下的直觀跟蹤效果。圖6為算法在Singerl序列圖像實(shí)驗(yàn)中跟蹤的中心點(diǎn)位置 與標(biāo)準(zhǔn)跟蹤中心點(diǎn)的誤差曲線分析圖。圖7給出了算法在David序列圖像實(shí)驗(yàn)中，目標(biāo)物 體經(jīng)歷光照變化、平面內(nèi)旋轉(zhuǎn)、非線性形變以及尺度無規(guī)律變化等干擾情況下的直觀跟蹤 效果。圖8為算法在David序列圖像實(shí)驗(yàn)中跟蹤的中心點(diǎn)位置與標(biāo)準(zhǔn)跟蹤中心點(diǎn)的誤差曲 線分析圖。圖9給出了算法在CarScale序列圖像實(shí)驗(yàn)中，目標(biāo)物體經(jīng)歷目標(biāo)外觀尺度的明 顯變化、局部遮擋以及快速運(yùn)動等干擾情況下的直觀跟蹤效果。圖10為算法在CarScale 序列圖像實(shí)驗(yàn)中跟蹤的中心點(diǎn)位置與標(biāo)準(zhǔn)跟蹤中心點(diǎn)的誤差曲線分析圖。通過三組序列測 試，實(shí)驗(yàn)結(jié)果以定性的跟蹤效果圖和定量的誤差曲線進(jìn)行說明，驗(yàn)證算法的精度和魯棒性。
[0101] 本專利利用目標(biāo)與其周圍上下文空域信息，以及該目標(biāo)在時間軸上連續(xù)關(guān)系，建 立時空模型。有效提取目標(biāo)特征，避免局部遮擋以及光照變化等干擾造成的偏離。借用聚 類思想構(gòu)建篩選規(guī)則，動態(tài)更新最具代表性的模板構(gòu)建模板空間，準(zhǔn)確表示目標(biāo)的狀態(tài)。引 入方向梯度直方圖特征分析模板與樣本相似度，進(jìn)一步提升了匹配的準(zhǔn)確性。最終根據(jù)匹 配獲得的目標(biāo)最優(yōu)尺度更新時空模型，實(shí)現(xiàn)尺度變化的實(shí)時目標(biāo)跟蹤，提升算法的魯棒性。 實(shí)驗(yàn)驗(yàn)證，本專利提出的方法在目標(biāo)遭受光照變化以及局部遮擋等干擾的情況下，有效應(yīng) 對目標(biāo)外觀尺度的變化。
[0102] 上面結(jié)合附圖對本發(fā)明的【具體實(shí)施方式】做了詳細(xì)說明，但是本發(fā)明并不限于上述 實(shí)施方式，在本領(lǐng)域普通技術(shù)人員所具備的知識范圍內(nèi)，還可以在不脫離本發(fā)明宗旨的前 提下做出各種變化。
[0103] [1] Felzenszwalbj P. F. , Girshickj R. B. , McAllesterj D. , et al. Object Detection with Discriminatively Trained Part-Based Models[J]. Pattern Analysis and Machine Intelligence，2010, 32 (9):1627-1645.
[0104] [2]ffU YijLim JongwoojYang M-H. Object Tracking Benchmark [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,In Press,2014.
[0105] [3] ZHANG Kai-hua，ZHANG Lei，，Yang M_H. Fast Visual Tracking via Dense Spatio-Temporal Context Learning[C]. Proceeding, of 13th European Conference on Computer Vision, 2014.
【主權(quán)項(xiàng)】
1. 基于時空模型的目標(biāo)尺度自適應(yīng)跟蹤方法，其特征在于，包括下列步驟： 步驟一、讀入第一幀圖像Imagei，手動指定跟蹤目標(biāo)矩形位置Z; 步驟二、基于上下文空域Q。，初始化時空模型令步驟三、計算目標(biāo)區(qū)域方向梯度特征直方圖f，令m= <IZ,fH(M；_z>，M=MUm， 初始化多尺度歷史目標(biāo)模板庫M; 步驟四、讀入下一幀圖像Imaget+1(t彡1); 步驟五、迭代構(gòu)建時空模型*其中步驟六、計算置信圖Gt+1，令'古計目 標(biāo)中心位1步驟七、以步驟六中估計的目標(biāo)中心點(diǎn)為中心，提取n個不同尺度的樣本，均歸一 化為8X8的圖像塊，比對歷史目標(biāo)模板庫M，判斷模板最優(yōu)尺度，確定目標(biāo)矩形位置，完成t+1幀目標(biāo)跟蹤； 步驟八、根據(jù)步驟七估計的最優(yōu)尺度，更新時空模型..尺度參數(shù)； 步驟九、根據(jù)步驟七中估計的最優(yōu)目標(biāo)區(qū)域Zt+1，更新多尺度歷史目標(biāo)模板庫M; 步驟十、若視頻未結(jié)束，則轉(zhuǎn)入步驟四，讀入下一幀圖像；否則跟蹤結(jié)束。2. 根據(jù)權(quán)利要求1所述的基于時空模型的目標(biāo)尺度自適應(yīng)跟蹤方法，其特征在于，步 驟二中時空模型抒fel的初始化方法為： 1) 定義目標(biāo)上下文空域的特征r= {c(m) =(I(m),m)|mGQc(x*)}，其中Kx*) 表示以f為中心的目標(biāo)對應(yīng)上下文空域，m表示空域Q中的像素點(diǎn)，I(m)表示像素m 的灰度值； 2) 構(gòu)建表征目標(biāo)與其周圍關(guān)系的空域模型/if(；〇其中XGR2表示上下文空域Q中像素集，F(xiàn)(_)表示傅里葉變換函數(shù)，F(xiàn)1^)表 示傅里葉逆變換函數(shù)，|| ? ||表示歐氏距離；參數(shù)建議值為a= 2. 25, 0 = 1 ;?。（?）為 高斯函數(shù)，定義為3)令Hfc=衫T，完成時空模型片產(chǎn)啲初始化。3. 根據(jù)權(quán)利要求1所述的基于時空模型的目標(biāo)尺度自適應(yīng)跟蹤方法，其特征在于，步 驟三中所述的多尺度歷史目標(biāo)模板庫M的初始化方法為： 1) 令M= 0; 2) 將目標(biāo)區(qū)域Zi轉(zhuǎn)為灰度圖，并歸一化ZiS8X8像素的圖像塊Iz; 3) 計算込的方向梯度特征直方圖fHW；_Z; 4) 令m= <IZ，fH0G-z>，M=MUm; 5) 多尺度歷史目標(biāo)模板庫M初始化完成。4. 根據(jù)權(quán)利要求1所述的基于時空模型的目標(biāo)尺度自適應(yīng)跟蹤方法，其特征在于，步 驟五中所述的迭代構(gòu)建時空模型1的方法為：其中和/^_^分別表示t、t+l時刻時空模型，n為更新的學(xué)習(xí)率，建議采用n= 0. 075 ; /if表示t時刻的目標(biāo)空域模型，表征目標(biāo)與其周圍關(guān)系，具體計算方法如下：兵屮AtiT衣不上卜乂:￡1 現(xiàn)^cu;屮傢系果，M?;表示傅里葉變換函數(shù)，F(xiàn)\ ?)表 示傅里葉逆變換函數(shù)，|| ? ||表示歐氏距離；參數(shù)建議值為a= 2. 25, 0 = 1 ;?。（?）為 高斯函數(shù)，定義為5. 根據(jù)權(quán)利要求1所述的基于時空模型的目標(biāo)尺度自適應(yīng)跟蹤方法，其特征在于，步 驟六中所述的置信圖Gt+1的計算方法為：其中表示卷積運(yùn)算符，XGR2表示上下文空域Q。中像素集，Gt+1 (X)表示t時刻的 上下文空域Q。范圍內(nèi)像素點(diǎn)在t+1時刻的置信值，其值表示該點(diǎn)落在目標(biāo)區(qū)域Z的概率； 概率值最高的點(diǎn)即為t+1時刻目標(biāo)可能的中心位置Xt++1，6. 根據(jù)權(quán)利要求1所述的基于時空模型的目標(biāo)尺度自適應(yīng)跟蹤方法，其特征在于，步 驟七中所述的模板最優(yōu)尺度判斷方法為： 1)以步驟六中估計的目標(biāo)中心點(diǎn)^+1:為中心，提取n個不同尺度的樣本，均歸一化為 8X8的圖像塊（如圖3所示），本發(fā)明中建議參數(shù)n= 20 ; 2) 構(gòu)建待匹配樣本空間D=從E[lin]}，其中屮=<fHOGay4表示第j個樣本， 其對應(yīng)的方向梯度特征直方圖表示為fHOGd,_ '々表示對應(yīng)樣本的尺度； 3) 交叉計算n個不同尺度的樣本與多尺度歷史目標(biāo)模板庫M中k個模板的方向梯度直 方圖相似度，得到相似矩陣SDMGRnXk，其中與模板相似度最高的樣本1即為t+1時刻目標(biāo)區(qū) 域Zt+1的最優(yōu)估計，其對應(yīng)的尺度S=Sf ?7. 根據(jù)權(quán)利要求1所述的基于時空模型的目標(biāo)尺度自適應(yīng)跟蹤方法，其特征在于，所 述的步驟八中時空模型尺度參數(shù)更新方法為： 1) 目標(biāo)區(qū)域Zt+1的寬和尚： ffz (t+1) = ffz (t)*s Hz (t+1) = Hz (t) *s, 2) 目標(biāo)h下1空域1的甯和高：3) 高斯函數(shù)尺度參數(shù)〇 t: 〇t+1=〇t*s〇8. 根據(jù)權(quán)利要求1所述的基于時空模型的目標(biāo)尺度自適應(yīng)跟蹤方法，其特征在于，所 述的步驟九中多尺度歷史目標(biāo)模板庫M更新方法為： 1)將步驟七中估計的最優(yōu)目標(biāo)區(qū)域Zt+1轉(zhuǎn)為灰度圖，并歸一化Zt+1為8X8像素的圖像 塊Iz; 2) 計算込的方向梯度特征直方圖fHW；_Z; 3)令m=<IZ，fH0G-z>，M = M Um; 4) 若t<k(參數(shù)建議值為k= 10)，多尺度歷史目標(biāo)模板庫M更新完成，算法結(jié)束；否 貝1J，轉(zhuǎn)入步驟5; 5) 計算相似度矩陣SM其中fHOGm/fH〇G:W/;表示模板mi/mj的方向梯度特征直方圖； 6) 獲得相似度最低的模板對7) 分別計算!!^，!]!^與其他模板的相似度和，=8) 若s__ninl>Ssunnin2，調(diào)整模板空間M=M-mninl，反之，M= 9) 多尺度歷史目標(biāo)模板庫M更新完成。9.根據(jù)權(quán)利要求1所述的基于時空模型的目標(biāo)尺度自適應(yīng)跟蹤方法，其特征在于，所 述的步驟九中多尺度歷史目標(biāo)模板庫M經(jīng)過K多k次更新后，模板庫中模板數(shù)量|M|將保 持為k，且模板庫中保留了從t= 1時刻開始的k個最具代表性的目標(biāo)狀態(tài)，隨著跟蹤的繼 續(xù)，模板庫將持續(xù)動態(tài)更新。
【專利摘要】本發(fā)明公開了一種基于時空模型的目標(biāo)尺度自適應(yīng)跟蹤方法，包括以下步驟：視頻開始，讀入第一幀圖像，手動指定跟蹤目標(biāo)矩形位置；然后基于上下文空域，初始化時空模型及多尺度歷史目標(biāo)模板庫；接著讀入下一幀圖像，迭代構(gòu)建時空模型，計算置信圖，估計目標(biāo)中心位置；然后根據(jù)歷史目標(biāo)模板庫，判斷模板最優(yōu)尺度，確定目標(biāo)矩形位置，完成當(dāng)前幀目標(biāo)跟蹤，并更新時空模型尺度參數(shù)及多尺度歷史目標(biāo)模板庫；最后檢測視頻是否結(jié)束，未結(jié)束繼續(xù)讀入下一幀，否則結(jié)束跟蹤。本發(fā)明在目標(biāo)遭受光照變化、局部遮擋以及快速移動等干擾的情況下，有效應(yīng)對了目標(biāo)外觀尺度的變化，實(shí)現(xiàn)了魯棒跟蹤。
【IPC分類】G06K9/62, G06K9/00
【公開號】CN105117720
【申請?zhí)枴緾N201510632255
【發(fā)明人】蔣敏, 吳佼, 孔軍, 柳晨華, 皮昕鑫
【申請人】江南大學(xué)
【公開日】2015年12月2日
【申請日】2015年9月29日