專利名稱：一種基于粒子濾波和光流矢量的視頻目標(biāo)跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻目標(biāo)跟蹤方法，尤其是涉及一種基于粒子濾波和光流矢量的 視頻目標(biāo)跟蹤方法，特別適用于高質(zhì)量、高效率視頻以及圖像的特效處理及合成軟件中。
背景技術(shù)：
在圖像/視頻后期處理軟件中，對(duì)運(yùn)動(dòng)圖像的像素特征區(qū)域進(jìn)行跟蹤，跟蹤數(shù)據(jù) 可以用來(lái)控制其它物體的運(yùn)動(dòng)和穩(wěn)定運(yùn)動(dòng)物體，這有廣泛的需求。粒子濾波算法具有很好的實(shí)用性，用于粒子濾波跟蹤算法的粒子濾波器的 基本思想來(lái)源于Perfect Monte Carlo (PMC)仿真，在PMC中，任意函數(shù)的數(shù)學(xué)期望
E(g(x0:K)) = f g(x。:k)P(x。:k|z1:k)dx。:k，可以近似為五(g(x。:i)) = ^>(4)，其中離散樣本
^ i=0
{4^/ = 1,...#1是從后驗(yàn)分布函數(shù)？&|2)中產(chǎn)生的N個(gè)點(diǎn)的獨(dú)立分布同分布序列。當(dāng)N足 夠大的時(shí)候，絕對(duì)收斂于E(g(X(l:k))。其核心思想是利用一系列隨機(jī)樣本的加
權(quán)和表示所需的后驗(yàn)概率密度，得到狀態(tài)的估計(jì)值。粒子濾波跟蹤算法可以參閱=Katja Nummiaro, Esther Koller-Meier, Luc Van Goo1. An adaptive color-based particle filter. Image and Vision Computing，2003，21 :99_110o但是，現(xiàn)有的粒子濾波跟蹤方法以概率分布為基礎(chǔ)，容易造成跟蹤不穩(wěn)定的現(xiàn)象； 同時(shí)，假如跟蹤目標(biāo)運(yùn)動(dòng)很快，而粒子的概率分布無(wú)法到達(dá)跟蹤目標(biāo)的大致區(qū)域，從而導(dǎo)致 無(wú)法進(jìn)行跟蹤。光流矢量能夠準(zhǔn)確的估計(jì)出物體的運(yùn)動(dòng)，其基本思想是比較兩幅圖像的亮度差 異，是X、y方向的亮度差偏導(dǎo)為0，從而得到匹配的運(yùn)動(dòng)信息。光流矢量算法課參閱B_D_ Lucas and Τ—Kanade，An iterative image registrationtechnique with an application tostereo，vision_IJCAI_1981。目前，還未有一種采用粒子濾波并結(jié)合光流矢量來(lái)對(duì)視頻目標(biāo)進(jìn)行跟蹤的方法。

發(fā)明內(nèi)容
針對(duì)現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明的目的是提供一種高效、準(zhǔn)確的基于粒子濾 波和光流矢量的視頻目標(biāo)跟蹤方法。為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案為，一種基于粒子濾波和光流矢量的視 頻目標(biāo)跟蹤方法，包括以下步驟(1)對(duì)t時(shí)刻圖像創(chuàng)建L級(jí)高斯金字塔，計(jì)算每級(jí)高斯金字塔圖像X和y方向的灰 度梯度，所述t和L為正整數(shù)；(2)對(duì)t-Ι時(shí)刻圖像的M個(gè)特征點(diǎn)根據(jù)步驟⑴中計(jì)算出的灰度梯度求解其在t 時(shí)刻圖像中的位置偏移；(3)對(duì)t-Ι時(shí)刻圖像的N個(gè)粒子重新進(jìn)行采樣，并對(duì)新采樣的N個(gè)粒子利用隨機(jī)數(shù)或光流矢量進(jìn)行重新分布；(4)計(jì)算N個(gè)粒子的RGB直方圖，并根據(jù)RGB直方圖計(jì)算每個(gè)粒子的權(quán)重，然后將 N個(gè)粒子位置根據(jù)權(quán)重進(jìn)行加權(quán)平均，得到跟蹤目標(biāo)t時(shí)刻圖像的估計(jì)位置；(5)對(duì)估計(jì)位置進(jìn)行穩(wěn)定性比較計(jì)算，得到跟蹤目標(biāo)的最終位置；(6)在t+Ι時(shí)亥IJ，重復(fù)上述步驟。如上所述的視頻目標(biāo)跟蹤方法，步驟(1)中，創(chuàng)建L級(jí)高斯金字塔的過(guò)程包括以下 步驟①將t時(shí)刻圖像轉(zhuǎn)化為灰度圖；②對(duì)灰度圖進(jìn)行高斯模糊；③對(duì)高斯模糊后的灰度圖創(chuàng)建L級(jí)高斯金字塔。所述L < 4。如上所述的視頻目標(biāo)跟蹤方法，步驟(2)中，如果某個(gè)特征點(diǎn)丟失，則采用網(wǎng)格將 跟蹤目標(biāo)搜索區(qū)域劃分成與丟失特征點(diǎn)區(qū)域大小相同的K個(gè)圖像區(qū)域，利用圖像灰度差的 平方和匹配丟失特征點(diǎn)區(qū)域，估計(jì)丟失特征點(diǎn)的近似位置；然后利用估計(jì)的近似位置作為 初始位置重新求解該特征點(diǎn)在下一幀圖像中的位置偏移；所述跟蹤目標(biāo)搜索區(qū)域是指在圖 像的哪個(gè)范圍中產(chǎn)生特征點(diǎn)的區(qū)域。如上所述的視頻目標(biāo)跟蹤方法，步驟(3)中所述對(duì)t-Ι時(shí)刻圖像的N個(gè)粒子進(jìn)行 重新采樣的方法包括以下步驟①根據(jù)t-Ι時(shí)刻圖像的N個(gè)粒子權(quán)重計(jì)算每個(gè)粒子歸一化的概率；②產(chǎn)生0至1之間的隨機(jī)數(shù)r ；③在N個(gè)粒子中尋找歸一化概率大于或等于r的粒子，如果存在就把該粒子取出 來(lái)作為新的粒子。如上所述的視頻目標(biāo)跟蹤方法，步驟(3)中對(duì)新采樣的N個(gè)粒子利用隨機(jī)數(shù)或光 流矢量進(jìn)行重新分布的方法為首先獲得N個(gè)粒子的光流矢量；然后判斷丟失光流矢量的 粒子數(shù)量，如果丟失光流矢量的粒子數(shù)量小于90%，則采用光流矢量對(duì)N個(gè)粒子進(jìn)行重新 分布；否則，采用隨機(jī)數(shù)對(duì)N個(gè)粒子進(jìn)行重新分布。如上所述的視頻目標(biāo)跟蹤方法，在得到跟蹤目標(biāo)的最終位置后，還包括更新RGB 直方圖的步驟。如上所述的視頻目標(biāo)跟蹤方法，步驟(5)中對(duì)估計(jì)位置進(jìn)行穩(wěn)定性比較計(jì)算的具 體過(guò)程為在計(jì)算出來(lái)的跟蹤目標(biāo)估計(jì)位置后，與輸入的t-Ι時(shí)刻初始位置周?chē)?X3像素矩 形范圍，形成10個(gè)搜索位置，在其中找一個(gè)新位置，使它與上一幀t-Ι時(shí)刻目標(biāo)區(qū)域灰度差 的平方和最小，用這個(gè)新位置作為輸出結(jié)果。本發(fā)明所述方法，通過(guò)光流矢量對(duì)粒子進(jìn)行重新分布，能夠大大提高跟蹤的準(zhǔn)確 性。如果光流矢量丟失，則啟動(dòng)純粹粒子跟蹤，等找到光流矢量后重新使用光流矢量，這個(gè) 自適應(yīng)方法能夠解決光流矢量無(wú)法跟蹤目標(biāo)丟失情況的難題。由于本發(fā)明結(jié)合了光流矢量 對(duì)運(yùn)動(dòng)估計(jì)的準(zhǔn)確性和粒子濾波的高效性的優(yōu)點(diǎn)，因此具有很好的實(shí)時(shí)性和準(zhǔn)確性。


圖1是本發(fā)明所述方法流程圖。
具體實(shí)施例方式下面結(jié)合具體實(shí)施方式
和附圖，對(duì)本發(fā)明進(jìn)行詳細(xì)描述。本發(fā)明是基于粒子濾波和光流矢量的視頻跟蹤方法，在跟蹤過(guò)程中，如果某一時(shí) 刻N(yùn)個(gè)粒子丟失的光流數(shù)量小于90%，則采用光流矢量來(lái)對(duì)N個(gè)粒子進(jìn)行重新分布。與采 用隨機(jī)數(shù)的方式相比，更能夠穩(wěn)定跟蹤目標(biāo)。本發(fā)明有如下輸入?yún)?shù)粒子個(gè)數(shù)(N個(gè)，N為 正整數(shù))、特征點(diǎn)個(gè)數(shù)(M個(gè)，M為正整數(shù))、跟蹤目標(biāo)選擇矩形區(qū)域、跟蹤目標(biāo)搜索矩形區(qū)域。 其中，粒子個(gè)數(shù)用來(lái)確定采用多少個(gè)隨機(jī)分布的粒子來(lái)計(jì)算RGB直方圖。特征點(diǎn)個(gè)數(shù)用來(lái) 確定需要在跟蹤目標(biāo)上產(chǎn)生多少個(gè)特征點(diǎn)，來(lái)計(jì)算光流矢量信息。跟蹤目標(biāo)選擇矩形區(qū)域 用來(lái)確定在圖像的哪個(gè)范圍中產(chǎn)生特征點(diǎn)。跟蹤目標(biāo)搜索矩形區(qū)域用來(lái)在哪個(gè)范圍中預(yù)搜 索丟失的特征點(diǎn)。圖1出示了本發(fā)明所述方法的主要流程圖，包括以下步驟(1)對(duì)t時(shí)刻圖像創(chuàng)建L級(jí)高斯金字塔，計(jì)算每級(jí)高斯金字塔圖像χ和y方向的灰 度梯度，所述t和L為正整數(shù)。首先將t時(shí)刻圖像轉(zhuǎn)化為灰度圖，然后將轉(zhuǎn)化后的灰度圖進(jìn)行Gaussian (高斯) 模糊，再對(duì)高斯模糊后的灰度圖創(chuàng)建L級(jí)Gaussian金字塔，求解每級(jí)Gaussian金字塔圖像 χ和y方向的灰度梯度。所述L為正整數(shù)，一般不超過(guò)4。本實(shí)施例中采用的Gaussian函數(shù)為/其導(dǎo)函數(shù)為-從2^以σ = 0. 7的Gaussian函數(shù)作為二維卷積核函數(shù)，對(duì)t時(shí)刻圖像的灰度圖進(jìn)行 二維卷積，得到初始模糊圖像。以ο = 1. 0的Gaussian函數(shù)和Gaussian導(dǎo)函數(shù)作為二維卷積核函數(shù)，將初始模 糊圖像用Gaussian導(dǎo)函數(shù)做橫向一維卷積，然后將結(jié)果用Gaussian函數(shù)做列向一維卷積， 可以得到初始模糊圖像χ方向的灰度梯度gx。將初始模糊圖像用Gaussian函數(shù)做橫向一 維卷積，然后將結(jié)果用Gaussian導(dǎo)函數(shù)做列向一維卷積，可以得到初始模糊圖像y方向的 灰度梯度gy。Gaussian金字塔將Gaussian模糊后的原始大小灰度圖依次縮小L級(jí)，每級(jí)大 小是上一級(jí)金字塔的1/16。金字塔數(shù)學(xué)模型算法可參閱Jean-Yves Bouguet Intel Corporation Microprocessor Research Labs,Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the algorithm。以σ = 3. 6的Gaussian函數(shù)作為二維卷積核函數(shù)，對(duì)Gaussian金字塔第η級(jí)模 糊圖像進(jìn)行二維卷積，得到金字塔第η級(jí)模糊圖像。其中，η為正整數(shù)，1 < η < 4。以ο = 1. 0的Gaussian函數(shù)和Gaussian導(dǎo)函數(shù)作為二維卷積核函數(shù)，將金字塔 第η級(jí)模糊圖像用Gaussian導(dǎo)函數(shù)做橫向一維卷積，然后將結(jié)果用Gaussian函數(shù)做列向 一維卷積，可以得到金字塔第η級(jí)圖像的χ方向的灰度梯度gx，將金字塔第η級(jí)模糊圖像用 Gaussian函數(shù)做橫向一維卷積，然后將結(jié)果用Gaussian導(dǎo)函數(shù)做列向一維卷積，可以得到 金字塔第η級(jí)圖像的1方向的灰度梯度gy。上述σ值均是經(jīng)驗(yàn)值，也可以取其它值的高斯函數(shù)及導(dǎo)函數(shù)作為二維卷積核函 數(shù)。
6
(2)對(duì)t-Ι時(shí)刻的M個(gè)特征點(diǎn)根據(jù)下面的公式求解其在t時(shí)刻圖像中的位置偏移。這個(gè)過(guò)程由于原始公式是一個(gè)積分近似估計(jì)公式，所以采用Newton(牛頓)迭代 法進(jìn)行逼近求得最優(yōu)解。原始公式為T(mén)z = a，其中 其中，gx表示每級(jí)金字塔圖像在χ方向的灰度梯度，gy表示每級(jí)金字塔圖像在y方 向的灰度梯度，/ / w表示在7X7的矩形區(qū)域離散數(shù)據(jù)的和。仿射變換的六個(gè)運(yùn)動(dòng)參數(shù)zT = [dxx，d￥X, d ，d￥￥, dx，d￥]仿射變換矩陣 χ表示L級(jí)金字塔圖像中像素χ位置，y代表L級(jí)金字塔圖像中像素y位置，gx表 示L級(jí)金字塔圖像中像素χ方向灰度梯度，gy代表L級(jí)金字塔圖像中像素y方向灰度梯度。L級(jí)金字塔圖像經(jīng)過(guò)上述公式逐次計(jì)算后得到M個(gè)特征點(diǎn)t時(shí)刻圖像中的位置偏 移參數(shù):dx, dy。在迭代過(guò)程中，如果迭代步驟超過(guò)了最大迭代步驟或者特征點(diǎn)新位置已經(jīng)超過(guò)了 邊界或者特征點(diǎn)新位置與目標(biāo)區(qū)域的亮度差超過(guò)了一定的門(mén)限(經(jīng)驗(yàn)值)，便認(rèn)為特征點(diǎn) 丟失。對(duì)于這種情況，本實(shí)施例采用網(wǎng)格將跟蹤目標(biāo)搜索區(qū)域劃分成與特征點(diǎn)區(qū)域大小相 同的K個(gè)圖像區(qū)域，利用特征點(diǎn)每一個(gè)新的矩形區(qū)域與目標(biāo)矩形區(qū)域中的每個(gè)像素逐點(diǎn)計(jì) 算亮度差再求和，取具有最小亮度差的平方和(SSD)的新位置作為新的估計(jì)位置再進(jìn)行求 解。然后用這個(gè)近似估計(jì)位置作為初始位置重新求解特征點(diǎn)在下一幀圖像中的位置偏移。(3)對(duì)t-Ι時(shí)刻N(yùn)個(gè)粒子進(jìn)行重新采樣。①根據(jù)t-Ι時(shí)刻粒子權(quán)重計(jì)算N個(gè)粒子歸一化的概率C1 = C；1；1 + Wl^C1t:,=②產(chǎn)生0-1之間的隨機(jī)數(shù)r ；
③在N個(gè)粒子中尋找歸一化的概率滿足C= > r的粒子，如果存在就把該粒子取出 來(lái)作為新的粒子。經(jīng)過(guò)重采樣后，只留下一個(gè)或幾個(gè)權(quán)重較大的粒子，其他粒子隨機(jī)選取。這樣，能 夠得到較多具有較大權(quán)重的粒子而舍棄一些權(quán)值較小的粒子。(4)對(duì)t時(shí)刻新采樣的N個(gè)粒子進(jìn)行重新分布。①按照下面的公式計(jì)算N個(gè)粒子x、y方向的光流矢量。每個(gè)粒子包含的特征點(diǎn)的 平均位置偏移便是該粒子的光流矢量，公式如下 其中，Axi表示t時(shí)刻粒子的χ方向光流矢量，Ayi表示t時(shí)刻粒子的y方向光 流矢量，xt表示特征點(diǎn)t時(shí)刻的χ位置，yt特征點(diǎn)t時(shí)刻的y位置，Xt^1, Yt^1的含義與xt、yt 類(lèi)似，recti表示粒子的矩形范圍。 在粒子的矩形區(qū)域中，根據(jù)特征矩陣
得出的特征值中選出最
優(yōu)的K個(gè)特征點(diǎn)(特征值越大越優(yōu))，求出這k個(gè)特征點(diǎn)的平均位置偏移。其中，gx表示每級(jí)金字塔圖像在X方向的灰度梯度，gy表示每級(jí)金字塔圖像在Y方 向的灰度梯度，/ / w表示在7X7的矩形區(qū)域離散數(shù)據(jù)的和。K 一般取值為40。粒子的矩 形區(qū)域是指與跟蹤目標(biāo)選擇矩形區(qū)域具有相同的寬高，但是中心點(diǎn)不同的矩形區(qū)域。②統(tǒng)計(jì)有多少個(gè)粒子丟失了光流矢量，并根據(jù)丟失光流矢量粒子的數(shù)量采用不同 的方式對(duì)t時(shí)刻新采樣的N個(gè)粒子進(jìn)行重新分布。如果粒子中的特征點(diǎn)不存在了，那么這個(gè)粒子便丟失了光流矢量。通過(guò)這種方式 來(lái)統(tǒng)計(jì)有多少個(gè)粒子丟失了光流矢量。如果丟失光流矢量的粒子數(shù)量>90%，則認(rèn)為跟蹤目標(biāo)在當(dāng)前幀中不存在了，用 隨機(jī)數(shù)來(lái)對(duì)N個(gè)粒子進(jìn)行位置和大小的重新分布。設(shè)t-Ι時(shí)刻跟蹤目標(biāo)的運(yùn)動(dòng)速度為 ^和紗分別表示t-1時(shí)刻運(yùn)動(dòng)目標(biāo)的位置偏移。通過(guò)下面公式得到t時(shí)刻每個(gè)粒子的新位置X11 - x't_x + r; χ vecfx χ vecunitperpixel + r; χ Η[_χy't = y't_} + r丨 χ veciy χ vecunitperpixel + r't χ W1'^H1t = H1ia + r; χ scaleunitWit = + r't χ scaleunit其中，r/為高斯隨機(jī)數(shù)，i/二為粒子的寬，為粒子高。如果丟失光流矢量的粒子數(shù)量< 90 %，則用光流矢量來(lái)對(duì)N個(gè)粒子進(jìn)行位置和大小的重新分布，采用的公式如下 其中，x丨是t時(shí)刻粒子的χ方向新位置，‘1是t-Ι時(shí)刻粒子χ方向舊位置，Axi是 t時(shí)刻粒子的χ方向光流矢量，乂是t時(shí)刻粒子的y方向新位置，>^是t-Ι時(shí)刻粒子y方向 舊位置，Ayi是t時(shí)刻粒子的y方向光流矢量，/^是t時(shí)刻粒子的高度，/^,是t_l時(shí)刻粒 子高度，‘是t時(shí)刻隨機(jī)數(shù)，scaleunit是縮放單位，F(xiàn)/是t時(shí)刻粒子的寬度，『二是t_l時(shí) 刻粒子寬度…'是t時(shí)刻隨機(jī)數(shù)。如果在t-Ι時(shí)刻所有粒子光流矢量都丟失了，則認(rèn)為跟蹤目標(biāo)消失在t_l時(shí)刻的 圖像中。如果在當(dāng)前幀t時(shí)刻丟失光流矢量的粒子數(shù)量< 10%，則認(rèn)為跟蹤目標(biāo)重新回到 了當(dāng)前畫(huà)面中，利用光流矢量重新計(jì)算分布粒子。采用粒子的光流運(yùn)動(dòng)矢量進(jìn)行粒子重新分布，能夠逐漸收斂得到權(quán)重最大的那個(gè) 粒子，從而穩(wěn)定跟蹤目標(biāo)。(5)計(jì)算N個(gè)粒子的RGB直方圖，并根據(jù)RGB直方圖計(jì)算每個(gè)粒子的權(quán)重，然后將 N個(gè)粒子位置根據(jù)權(quán)重進(jìn)行加權(quán)平均，得到跟蹤目標(biāo)在當(dāng)前幀圖像t時(shí)刻的估計(jì)位置。①采用下面公式計(jì)算N個(gè)粒子在y位置的RGB直方圖
'=I KaJ
(\ — r2 ·尸 < 1 ]
Λ ,·.卜 Irrl ^rrl f為歸一化系 0otherwise) a-^Hx +Hy ,
f- 1
數(shù)， y/Il^ΙΠ δ 為 Kronecker 沖擊函數(shù)。
'='I α ,②采用如下公式計(jì)算兩個(gè)離散直方圖ρ = {p(u)}u.L...ffl>q= {q(u)}u=,..m&
m ι-
Bhattacharyya 系數(shù)廠Σ W ⑷③采用如下公式計(jì)算N個(gè)粒子的權(quán)重Wi =^e 2σ2
Λ 2πσ④將N個(gè)粒子位置根據(jù)權(quán)重進(jìn)行加權(quán)平均，得到粒子濾波的跟蹤結(jié)果
N& =Z^JVi XX;
/=Iyt=ffwlxy't
Ι^-^ΙΓ
a
9
其中，f為歸一化系數(shù)(6)在計(jì)算出來(lái)目標(biāo)新位置后，與輸入的t-1時(shí)候初始位置周?chē)?X3像素矩形 范圍，形成10個(gè)搜索位置，找一個(gè)新位置，它與上一幀t-Ι時(shí)候目標(biāo)區(qū)域灰度差的平方和 (SSD)為最小，用這個(gè)新位置最為輸出結(jié)果，這個(gè)辦法用來(lái)穩(wěn)定跟蹤結(jié)果。 其中，S表示這個(gè)位置的亮度與模板的亮度差，x、y表示在以xin、yin為中心的新位置。(7)對(duì)RGB直方圖進(jìn)行更新。由于亮度變化和攝像機(jī)參數(shù)可能影響跟蹤結(jié)果，因此為了保證跟蹤具有較好精 度，在相似度超過(guò)一定閾值(經(jīng)驗(yàn)值)后對(duì)目標(biāo)直方圖進(jìn)行更新。更新公式為 其中，^^為t時(shí)刻更新的新的直方圖，是t時(shí)候估計(jì)出來(lái)的直方圖，為t-1 時(shí)刻舊的直方圖，α是插值經(jīng)驗(yàn)值，一般是0.2。(8)在t+Ι時(shí)刻重復(fù)上述步驟。在上述方法實(shí)現(xiàn)過(guò)程中，涉及到許多算法，如將RGB圖像轉(zhuǎn)換成灰度圖的算法、求 金字塔模糊灰度圖的算法、求金字塔灰度梯度圖像的算法、根據(jù)下一級(jí)金字塔數(shù)據(jù)采樣上 一級(jí)金字塔數(shù)據(jù)的算法、特征點(diǎn)丟失后在搜索矩形區(qū)域中求解與特征點(diǎn)近似位置的算法、 用牛頓迭代法求解特征點(diǎn)的光流矢量的算法、以及粒子RGB直方圖計(jì)算和權(quán)重計(jì)算等。由 于其計(jì)算量大，因此跟蹤效率較低。為了提高該方法的效率，本發(fā)明將基于粒子濾波和光流 矢量的視頻目標(biāo)跟蹤方法中所涉及的每個(gè)大計(jì)算量算法在多CPU上并行計(jì)算，在每個(gè)CPU 上運(yùn)行一個(gè)線程，負(fù)責(zé)處理一部分行數(shù)據(jù)，將所有行數(shù)據(jù)均勻分配到每個(gè)CPU上；當(dāng)每個(gè)線 程完成自己的任務(wù)后，向線程同步管理者發(fā)事件告知，當(dāng)線程同步管理者在得到所有線程 完成當(dāng)前任務(wù)的時(shí)間都到來(lái)后，啟動(dòng)所有線程開(kāi)始后續(xù)任務(wù)事件。顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精 神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其同等技術(shù)的范圍 之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。
權(quán)利要求
一種基于粒子濾波和光流矢量的視頻目標(biāo)跟蹤方法，包括以下步驟(1)對(duì)t時(shí)刻圖像創(chuàng)建L級(jí)高斯金字塔，計(jì)算每級(jí)高斯金字塔圖像x和y方向的灰度梯度，所述t和L為正整數(shù)；(2)對(duì)t 1時(shí)刻圖像的M個(gè)特征點(diǎn)根據(jù)步驟(1)中計(jì)算出的灰度梯度求解其在t時(shí)刻圖像中的位置偏移；(3)對(duì)t 1時(shí)刻圖像的N個(gè)粒子重新進(jìn)行采樣，并對(duì)新采樣的N個(gè)粒子利用隨機(jī)數(shù)或光流矢量進(jìn)行重新分布；(4)計(jì)算N個(gè)粒子的RGB直方圖，并根據(jù)RGB直方圖計(jì)算每個(gè)粒子的權(quán)重，然后將N個(gè)粒子位置根據(jù)權(quán)重進(jìn)行加權(quán)平均，得到跟蹤目標(biāo)t時(shí)刻圖像的估計(jì)位置；(5)對(duì)估計(jì)位置進(jìn)行穩(wěn)定性比較計(jì)算，得到跟蹤目標(biāo)的最終位置；(6)在t+1時(shí)刻，重復(fù)上述步驟。
2.如權(quán)利要求1所述的一種基于粒子濾波和光流矢量的視頻目標(biāo)跟蹤方法，其特征在 于，步驟(1)中，創(chuàng)建L級(jí)高斯金字塔的過(guò)程包括以下步驟①將t時(shí)刻圖像轉(zhuǎn)化為灰度圖；②對(duì)灰度圖進(jìn)行高斯模糊；③對(duì)高斯模糊后的灰度圖創(chuàng)建L級(jí)高斯金字塔。
3.如權(quán)利要求1所述的一種基于粒子濾波和光流矢量的視頻目標(biāo)跟蹤方法，其特征在 于所述L彡4。
4.如權(quán)利要求1所述的一種基于粒子濾波和光流矢量的視頻目標(biāo)跟蹤方法，其特征在 于步驟(2)中，如果某個(gè)特征點(diǎn)丟失，則采用網(wǎng)格將跟蹤目標(biāo)搜索區(qū)域劃分成與丟失特征 點(diǎn)區(qū)域大小相同的K個(gè)圖像區(qū)域，利用圖像灰度差的平方和匹配丟失特征點(diǎn)區(qū)域，估計(jì)丟 失特征點(diǎn)的近似位置；然后利用估計(jì)的近似位置作為初始位置重新求解該特征點(diǎn)在下一幀 圖像中的位置偏移；所述跟蹤目標(biāo)搜索區(qū)域是指在圖像的哪個(gè)范圍中產(chǎn)生特征點(diǎn)的區(qū)域。
5.如權(quán)利要求1所述的一種基于粒子濾波和光流矢量的視頻目標(biāo)跟蹤方法，其特征在 于，步驟(3)中所述對(duì)t-Ι時(shí)刻圖像的N個(gè)粒子進(jìn)行重新采樣的方法包括以下步驟①根據(jù)t-Ι時(shí)刻圖像的N個(gè)粒子權(quán)重計(jì)算每個(gè)粒子歸一化的概率；②產(chǎn)生0至1之間的隨機(jī)數(shù)r;③在N個(gè)粒子中尋找歸一化概率大于或等于r的粒子，如果存在就把該粒子取出來(lái)作 為新的粒子。
6.如權(quán)利要求1所述的一種基于粒子濾波和光流矢量的視頻目標(biāo)跟蹤方法，其特征在 于，步驟(3)中對(duì)新采樣的N個(gè)粒子利用隨機(jī)數(shù)或光流矢量進(jìn)行重新分布的方法為首先獲 得N個(gè)粒子的光流矢量；然后判斷丟失光流矢量的粒子數(shù)量，如果丟失光流矢量的粒子數(shù) 量小于90%，則采用光流矢量對(duì)N個(gè)粒子進(jìn)行重新分布；否則，采用隨機(jī)數(shù)對(duì)N個(gè)粒子進(jìn)行 重新分布。
7.如權(quán)利要求1所述的一種基于粒子濾波和光流矢量的視頻目標(biāo)跟蹤方法，其特征在 于，步驟(5)中對(duì)估計(jì)位置進(jìn)行穩(wěn)定性比較計(jì)算的具體過(guò)程為在計(jì)算出來(lái)的跟蹤目標(biāo)估計(jì)位置后，與輸入的t-Ι時(shí)刻初始位置周?chē)?X3像素矩形范 圍，形成10個(gè)搜索位置，在其中找一個(gè)新位置，使它與上一幀t-Ι時(shí)刻目標(biāo)區(qū)域灰度差的平 方和最小，用這個(gè)新位置作為輸出結(jié)果。
8.如權(quán)利要求1至7之一所述的一種基于粒子濾波和光流矢量的視頻目標(biāo)跟蹤方法， 其特征在于所述方法在得到跟蹤目標(biāo)的最終位置后，還包括更新RGB直方圖的步驟。
9.如權(quán)利要求1至7之一所述的一種基于粒子濾波和光流矢量的視頻目標(biāo)跟蹤方法， 其特征在于將該方法中所涉及的每個(gè)大計(jì)算量算法在多CPU上并行計(jì)算，在每個(gè)CPU上運(yùn) 行一個(gè)線程，負(fù)責(zé)處理一部分行數(shù)據(jù)，將所有行數(shù)據(jù)均勻分配到每個(gè)CPU上；當(dāng)每個(gè)線程完 成自己的任務(wù)后，向線程同步管理者發(fā)事件告知，當(dāng)線程同步管理者在得到所有線程完成 當(dāng)前任務(wù)的時(shí)間都到來(lái)后，啟動(dòng)所有線程開(kāi)始后續(xù)任務(wù)事件。
全文摘要
本發(fā)明公開(kāi)了一種視頻目標(biāo)跟蹤方法，尤其是公開(kāi)了一種基于粒子濾波和光流矢量的視頻目標(biāo)跟蹤方法。該方法首先對(duì)t時(shí)刻圖像創(chuàng)建L級(jí)高斯金字塔，計(jì)算每級(jí)高斯金字塔圖像x和y方向的灰度梯度；再對(duì)t-1時(shí)刻圖像的M個(gè)特征點(diǎn)求解其在t時(shí)刻圖像中的位置偏移；再對(duì)t-1時(shí)刻圖像的N個(gè)粒子重新進(jìn)行采樣，并對(duì)新采樣的N個(gè)粒子利用隨機(jī)數(shù)或光流矢量進(jìn)行重新分布；然后再計(jì)算N個(gè)粒子的RGB直方圖，并根據(jù)RGB直方圖計(jì)算每個(gè)粒子的權(quán)重，再將N個(gè)粒子位置根據(jù)權(quán)重進(jìn)行加權(quán)平均，得到跟蹤目標(biāo)t時(shí)刻圖像的估計(jì)位置；最后對(duì)估計(jì)位置進(jìn)行穩(wěn)定性比較計(jì)算，得到跟蹤目標(biāo)的最終位置。該方法能夠高效、準(zhǔn)確地實(shí)現(xiàn)視頻目標(biāo)的跟蹤。
文檔編號(hào)G06T7/20GK101923719SQ200910086408
公開(kāi)日2010年12月22日 申請(qǐng)日期2009年6月12日 優(yōu)先權(quán)日2009年6月12日
發(fā)明者劉鐵華, 孫季川, 見(jiàn)良, 鄭鵬程 申請(qǐng)人:新奧特(北京)視頻技術(shù)有限公司