專利名稱：基于網(wǎng)格收縮的對(duì)象跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)圖形圖像處理技術(shù)領(lǐng)域。
背景技術(shù)：
目前對(duì)象跟蹤方法主要分為概率跟蹤方法和確定性跟蹤方法。概率跟蹤方法以粒子濾波為主要代表，如Nummiaro提出的一種自適應(yīng)顏色濾波 方法"An adaptive color-based particle filter，，，Isard 提出的條件概率密度傳播跟 Sl^fe"CONDENSATION-Conditional density propagation for visual tracking", \)JsR P. H. Li ^ ] ! "Visual contour tracking based on particle filters，，。 3 ^率跟蹤方法的主要問題是方法需要用大量的樣本數(shù)量才能很好地近似系統(tǒng)的后驗(yàn)概率密 度，機(jī)器人面臨的環(huán)境越復(fù)雜，描述后驗(yàn)概率分布所需要的樣本數(shù)量就越多，算法的復(fù)雜度 就越高，越不易實(shí)現(xiàn)。與概率跟蹤方法相比，確定性跟蹤方法計(jì)算簡(jiǎn)單、易實(shí)現(xiàn)，很適合于實(shí)時(shí)對(duì)象的 跟蹤。基于均值漂移(Mean Shift,簡(jiǎn)稱MS)的跟蹤方法是確定性跟蹤方法的典型代表， 它是一種有效的基于密度梯度上升的非參數(shù)統(tǒng)計(jì)迭代方法。MS由Comaniciu等人在 “Real-time tracking of non-rigid objects using mean shift，，中首先將其應(yīng)用至Ij足艮蹤 令頁域，并在"The variable bandwidth mean shift and data-driven scale selection，， 中進(jìn)一步提出了可變窗寬的MS算子(VBDF)。Comaniciu隨后在‘‘Kernel-based object tracking”中對(duì)MS跟蹤方法做了更進(jìn)一步的改進(jìn)，并總結(jié)了這種方法的實(shí)現(xiàn)框架。Yang在 "Efficient mean-shift tracking via a new similarity measure，，中米用另一個(gè)相似度 測(cè)量方法來實(shí)現(xiàn)基于MS的跟蹤，而Tu等人在“Online updating appearance generative mixture model for meanshift tracking”中利用期望最大化算法在線更新表觀柱狀圖，一 定程度提高了 MS跟蹤算法的精度和可靠性。Comaniciu 等人的 “Real-time tracking of non-rigid objects using mean shift”方法，使用目標(biāo)與候選對(duì)象的相似度作為距離測(cè)量，通過迭代運(yùn)算找到目標(biāo)和候選 對(duì)象相似函數(shù)的最大值，實(shí)現(xiàn)目標(biāo)跟蹤。但是，這種基于MS的方法是從假設(shè)的初始位置開 始(也有根據(jù)運(yùn)動(dòng)向量帶位置預(yù)測(cè)的MS，如“Kernel-based object tracking”)，沿概率密 度梯度方向搜索最佳匹配區(qū)域，因此，該方法容易陷入局部最優(yōu)，跟蹤快速移動(dòng)對(duì)象時(shí)常常 失敗，且難以從失敗中恢復(fù)。

發(fā)明內(nèi)容
鑒于現(xiàn)有技術(shù)的缺點(diǎn)和不足，本發(fā)明的目的是設(shè)計(jì)一種基于網(wǎng)格收縮的對(duì)象跟蹤 方法，使之以目標(biāo)與候選對(duì)象的相似度作為距離測(cè)量，通過迭代運(yùn)算找到目標(biāo)和候選對(duì)象 相似函數(shù)的最大值的過程中，具有既保證了全局搜索(即全局最優(yōu))，又能滿足實(shí)時(shí)應(yīng)用場(chǎng) 合中計(jì)算量小的要求，可以很好地實(shí)現(xiàn)對(duì)快速移動(dòng)對(duì)象的跟蹤以及在跟蹤失敗后自動(dòng)恢復(fù) 的優(yōu)點(diǎn)。
本發(fā)明的目的是通過如下的手段實(shí)現(xiàn)的?；诰W(wǎng)格收縮的對(duì)象跟蹤方法，在已獲取的圖像中對(duì)選定目標(biāo)進(jìn)行跟蹤處理，包 括如下流程(1)目標(biāo)選取通過運(yùn)動(dòng)目標(biāo)檢測(cè)方法自動(dòng)提取或人機(jī)交互方法手動(dòng)指定，從選定的圖像中選取要跟 蹤的目標(biāo)對(duì)象，計(jì)算目標(biāo)對(duì)象的表觀統(tǒng)計(jì)信息。(2)圖像輸入在實(shí)時(shí)處理情況下，提取通過攝像頭采集并保存在存儲(chǔ)區(qū)的視頻圖像，作為要進(jìn)行跟 蹤的輸入圖像；在離線處理情況，將已采集的視頻文件分解為多個(gè)幀組成的圖像序列，按照 時(shí)間順序，逐個(gè)提取幀圖像作為輸入圖像；將跟蹤區(qū)域設(shè)置為整個(gè)圖像；如果輸入圖像為 空，則整個(gè)流程中止。(3)計(jì)算網(wǎng)格參數(shù)根據(jù)目標(biāo)對(duì)象尺寸計(jì)算網(wǎng)格各參數(shù)，計(jì)算公式如下(其中，“/”表示“整除”)橫向劃分的節(jié)點(diǎn)數(shù)=(圖像寬度/目標(biāo)對(duì)象寬度)+ 1 ；縱向劃分的節(jié)點(diǎn)數(shù)=(圖像高度/目標(biāo)對(duì)象高度)+ 1 ；單元格的寬度=圖像寬度/ (橫向劃分的節(jié)點(diǎn)數(shù)一 1 )；單元格的高度=圖像高度/ (縱向劃分的節(jié)點(diǎn)數(shù)一 1);總的節(jié)點(diǎn)數(shù)=橫向劃分的節(jié)點(diǎn)數(shù)X縱向劃分的節(jié)點(diǎn)數(shù)；橫向、縱向劃分的節(jié)點(diǎn)數(shù)和總的節(jié)點(diǎn)數(shù)，在一個(gè)跟蹤過程中，即在下一圖像輸入之前保 持不變。(4)跟蹤區(qū)域網(wǎng)格化計(jì)算單元格的寬度和高度，計(jì)算公式如下單元格的寬度=(跟蹤區(qū)域的寬度/ (橫向劃分的節(jié)點(diǎn)數(shù)一 1 )； 單元格的高度=(跟蹤區(qū)域的高度/ (縱向劃分的節(jié)點(diǎn)數(shù)一 1); 根據(jù)計(jì)算得到的單元格尺寸，將跟蹤區(qū)域劃分為由相同大小的單元格組成的網(wǎng)格；網(wǎng) 格節(jié)點(diǎn)作為目標(biāo)對(duì)象的候選位置；網(wǎng)格節(jié)點(diǎn)的索引編號(hào)從0開始，按照從上到下，從左倒右 的順序依次遞增。(5)計(jì)算節(jié)點(diǎn)與目標(biāo)的距離計(jì)算每個(gè)節(jié)點(diǎn)的表觀統(tǒng)計(jì)信息，計(jì)算節(jié)點(diǎn)與目標(biāo)的距離D，該距離定義為 D = I-兩個(gè)表觀統(tǒng)計(jì)信息矢量間夾角的余弦值。(6)節(jié)點(diǎn)排序按照節(jié)點(diǎn)與目標(biāo)距離從小到大的順序，將節(jié)點(diǎn)重新排序；如果頭節(jié)點(diǎn)與目標(biāo)的距離滿 足預(yù)設(shè)條件，則該節(jié)點(diǎn)為目標(biāo)在當(dāng)前圖像的位置，跟蹤完成，跳轉(zhuǎn)到(2)輸入下一幀圖像進(jìn) 行跟蹤；否則，繼續(xù)； (7)網(wǎng)格收縮提取節(jié)點(diǎn)序列中的前四個(gè)節(jié)點(diǎn)，按照其索引從小到大排序，并依次記為Pl，P2，P3，P4， 距離最小的這4個(gè)節(jié)點(diǎn)組成的矩形區(qū)域?yàn)橐M(jìn)行下一次網(wǎng)格化的目標(biāo)搜索區(qū)域跳轉(zhuǎn)到 (4)。經(jīng)過一定次數(shù)的迭代之后，找到與目標(biāo)距離最小的那個(gè)節(jié)點(diǎn)，即目標(biāo)在當(dāng)前圖像的位置，從而實(shí)現(xiàn)對(duì)目標(biāo)對(duì)象的跟蹤。本發(fā)明的方法，與MS 跟蹤法，即 “Real-time tracking of non-rigid objects using mean shift”中的方法相同，均使用目標(biāo)與候選對(duì)象的相似度作為距離測(cè)量，通過迭 代運(yùn)算找到目標(biāo)和候選對(duì)象相似函數(shù)的最大值，實(shí)現(xiàn)目標(biāo)跟蹤。但是，后者是從假設(shè)的初始 位置開始(也有根據(jù)運(yùn)動(dòng)向量帶位置預(yù)測(cè)的MS，如“Kernel-based object tracking”)，沿 概率密度梯度方向搜索最佳匹配區(qū)域，容易陷入局部最優(yōu)，跟蹤快速移動(dòng)對(duì)象時(shí)常常失敗， 且難以從失敗中恢復(fù)。而本發(fā)明方法則是基于全局搜索，并逐步縮小搜索范圍，實(shí)現(xiàn)目標(biāo)跟 蹤，因而可以克服以上MS方法的不足。需要說明的是，由于本發(fā)明方法只在每一次圖像搜 索開始時(shí)，進(jìn)行全局范圍內(nèi)的有限次距離計(jì)算，因此，本發(fā)明方法既保證了全局搜索(即全 局最優(yōu))，又能滿足實(shí)時(shí)應(yīng)用場(chǎng)合中計(jì)算量小的要求。


圖1為圖像網(wǎng)格化處理圖。圖2為新的跟蹤區(qū)域設(shè)置圖。圖3為圖2除外的其余四種節(jié)點(diǎn)分布情況圖。圖4為基于網(wǎng)格收縮的對(duì)象跟蹤方法流程圖。
具體實(shí)施例方式下面結(jié)合附圖和對(duì)本發(fā)明作進(jìn)一步說明?；诒景l(fā)明方法可實(shí)現(xiàn)很多不同的應(yīng)用，圖1的畫面是一種簡(jiǎn)單的示意，有價(jià)值 的應(yīng)用是在需要在大量的動(dòng)態(tài)或非動(dòng)態(tài)圖像資料中對(duì)目標(biāo)物的搜尋，例如，可用于流體表 面測(cè)速(如，泥石流表面測(cè)速)，道路車輛跟蹤及測(cè)速，空中飛行物跟蹤及測(cè)速，“天網(wǎng)”視頻 中目標(biāo)物的搜尋，行人跟蹤及行為分析等。不失一般性，所述方法包括如下步驟(1)目標(biāo)選取從選定的圖像中選取要跟蹤的目標(biāo)對(duì)象，計(jì)算目標(biāo)對(duì)象的表觀統(tǒng)計(jì)信息(如顏色、紋 理、輪廓，或者它們的組合)。目標(biāo)選取過程可以通過運(yùn)動(dòng)目標(biāo)檢測(cè)方法自動(dòng)提取，也可以通 過人機(jī)交互方法手動(dòng)指定。(2)圖像輸入在實(shí)時(shí)處理情況下，提取通過攝像頭采集并保存在存儲(chǔ)區(qū)的視頻圖像，作為要進(jìn)行跟 蹤的輸入圖像；在離線處理情況，將已采集的視頻文件分解為多個(gè)幀組成的圖像序列，按照 時(shí)間順序，逐個(gè)提取幀圖像作為輸入圖像。將跟蹤區(qū)域設(shè)置為整個(gè)圖像。如果輸入圖像為 空，則整個(gè)流程中止。(3)計(jì)算網(wǎng)格參數(shù)根據(jù)目標(biāo)對(duì)象尺寸計(jì)算網(wǎng)格各參數(shù)，計(jì)算公式如下(其中，“/”表示“整除”)橫向劃分的節(jié)點(diǎn)數(shù)=(圖像寬度/目標(biāo)對(duì)象寬度)+ 1 ；縱向劃分的節(jié)點(diǎn)數(shù)=(圖像高度/目標(biāo)對(duì)象高度)+ 1 ；單元格的寬度=圖像寬度/ (橫向劃分的節(jié)點(diǎn)數(shù)一 1 )；單元格的高度=圖像高度/ (縱向劃分的節(jié)點(diǎn)數(shù)一 1);總的節(jié)點(diǎn)數(shù)=橫向劃分的節(jié)點(diǎn)數(shù)X縱向劃分的節(jié)點(diǎn)數(shù)；因此，目標(biāo)尺寸越大，單元格越大，節(jié)點(diǎn)數(shù)越少；目標(biāo)尺寸越小，單元格越小，節(jié)點(diǎn)數(shù)越^^ ο需要說明的是，橫向、縱向劃分的節(jié)點(diǎn)數(shù)和總的節(jié)點(diǎn)數(shù)，在一個(gè)跟蹤過程中，即在 下一圖像輸入之前保持不變。而單元格的寬度和高度則由于跟蹤區(qū)域的縮小快速減小，步 驟(4)將體現(xiàn)這一過程。(4)跟蹤區(qū)域網(wǎng)格化計(jì)算單元格的寬度和高度，計(jì)算公式如下單元格的寬度=(跟蹤區(qū)域的寬度/ (橫向劃分的節(jié)點(diǎn)數(shù)一 1 )； 單元格的高度=(跟蹤區(qū)域的高度/ (縱向劃分的節(jié)點(diǎn)數(shù)一 1); 根據(jù)計(jì)算得到的單元格尺寸，將跟蹤區(qū)域劃分為由相同大小的單元格組成的網(wǎng)格。網(wǎng) 格化結(jié)果如圖1所示。網(wǎng)格節(jié)點(diǎn)作為目標(biāo)對(duì)象的候選位置。網(wǎng)格節(jié)點(diǎn)的索引編號(hào)從0開始， 按照從上到下，從左倒右的順序依次遞增。(5)計(jì)算節(jié)點(diǎn)與目標(biāo)的距離計(jì)算每個(gè)節(jié)點(diǎn)的表觀統(tǒng)計(jì)信息，計(jì)算節(jié)點(diǎn)與目標(biāo)的距離D，該距離定義為 D = I-兩個(gè)表觀統(tǒng)計(jì)信息矢量間夾角的余弦值 (6)節(jié)點(diǎn)排序按照節(jié)點(diǎn)與目標(biāo)距離從小到大的順序，將節(jié)點(diǎn)重新排序。如果頭節(jié)點(diǎn)與目標(biāo)的距離滿 足設(shè)定條件，則該節(jié)點(diǎn)為目標(biāo)在當(dāng)前圖像的位置，跟蹤完成，跳轉(zhuǎn)到(2)。否則，繼續(xù)。(7)網(wǎng)格收縮(設(shè)置新的跟蹤區(qū)域)提取節(jié)點(diǎn)序列中的前四個(gè)節(jié)點(diǎn)，按照其索引從小到大排序，并依次記為Pl，P2，P3，P4， 它們?cè)趫D像區(qū)域的對(duì)應(yīng)位置如圖2所示。距離最小的這4個(gè)節(jié)點(diǎn)組成的矩形區(qū)域?yàn)橐M(jìn)行 下一次網(wǎng)格化的目標(biāo)搜索區(qū)域。其余四種節(jié)點(diǎn)分布情況如圖3所示，同樣，這些節(jié)點(diǎn)組成了 新的跟蹤區(qū)域。新的跟蹤區(qū)域設(shè)置完成后，跳轉(zhuǎn)到(4)。本發(fā)明方法的技術(shù)流程圖如圖4所示。經(jīng)過以上(3)- (6)的處理后，網(wǎng)格將收縮 到一個(gè)更小的區(qū)域(一個(gè)單元格內(nèi))，并作為下一次跟蹤的搜索區(qū)域，因此，經(jīng)過一定次數(shù)的 迭代之后，可以找到與目標(biāo)距離最小的那個(gè)節(jié)點(diǎn)，即目標(biāo)在當(dāng)前圖像的位置，從而實(shí)現(xiàn)對(duì)目 標(biāo)對(duì)象的跟蹤。顯然，所述預(yù)設(shè)條件D = 1 -兩個(gè)表觀統(tǒng)計(jì)信息矢量間夾角的余弦值< ，Θ 之值由具體跟蹤對(duì)象的表觀統(tǒng)計(jì)信息設(shè)定。本發(fā)明方法可通過任何計(jì)算機(jī)程序設(shè)計(jì)語言(如C語言)編程實(shí)現(xiàn)，基于本方法的 跟蹤軟件可在任何PC或者嵌入式系統(tǒng)中實(shí)現(xiàn)實(shí)時(shí)視頻對(duì)象跟蹤應(yīng)用。
權(quán)利要求
1.基于網(wǎng)格收縮的對(duì)象跟蹤方法，在已獲取的圖像中對(duì)選定目標(biāo)進(jìn)行跟蹤處理，包括 如下流程(1)目標(biāo)選取通過運(yùn)動(dòng)目標(biāo)檢測(cè)方法自動(dòng)提取或人機(jī)交互方法手動(dòng)指定，從選定的圖像中選取要跟 蹤的目標(biāo)對(duì)象，計(jì)算目標(biāo)對(duì)象的表觀統(tǒng)計(jì)信息；(2)圖像輸入在實(shí)時(shí)處理情況下，提取通過攝像頭采集并保存在存儲(chǔ)區(qū)的視頻圖像，作為要進(jìn)行跟 蹤的輸入圖像；在離線處理情況，將已采集的視頻文件分解為多個(gè)幀組成的圖像序列，按照 時(shí)間順序，逐個(gè)提取幀圖像作為輸入圖像；將跟蹤區(qū)域設(shè)置為整個(gè)圖像；如果輸入圖像為 空，則整個(gè)流程中止；(3)計(jì)算網(wǎng)格參數(shù)根據(jù)目標(biāo)對(duì)象尺寸計(jì)算網(wǎng)格各參數(shù)，其中，“/”表示“整除”橫向劃分的節(jié)點(diǎn)數(shù)=(圖像寬度/目標(biāo)對(duì)象寬度)+ 1 ；縱向劃分的節(jié)點(diǎn)數(shù)=(圖像高度/目標(biāo)對(duì)象高度)+ 1 ；單元格的寬度=圖像寬度/ (橫向劃分的節(jié)點(diǎn)數(shù)一 1 )；單元格的高度=圖像高度/ (縱向劃分的節(jié)點(diǎn)數(shù)一 1);總的節(jié)點(diǎn)數(shù)=橫向劃分的節(jié)點(diǎn)數(shù)X縱向劃分的節(jié)點(diǎn)數(shù)；橫向、縱向劃分的節(jié)點(diǎn)數(shù)和總的節(jié)點(diǎn)數(shù)，在一個(gè)跟蹤過程中，即在下一圖像輸入之前保 持不變；(4)跟蹤區(qū)域網(wǎng)格化計(jì)算單元格的寬度和高度，計(jì)算公式如下單元格的寬度=(跟蹤區(qū)域的寬度/ (橫向劃分的節(jié)點(diǎn)數(shù)一 1 )；單元格的高度=(跟蹤區(qū)域的高度/ (縱向劃分的節(jié)點(diǎn)數(shù)一 1);根據(jù)計(jì)算得到的單元格尺寸，將跟蹤區(qū)域劃分為由相同大小的單元格組成的網(wǎng)格；網(wǎng) 格節(jié)點(diǎn)作為目標(biāo)對(duì)象的候選位置；網(wǎng)格節(jié)點(diǎn)的索引編號(hào)從0開始，按照從上到下，從左倒右 的順序依次遞增；(5)計(jì)算節(jié)點(diǎn)與目標(biāo)的距離計(jì)算每個(gè)節(jié)點(diǎn)的表觀統(tǒng)計(jì)信息，計(jì)算節(jié)點(diǎn)與目標(biāo)的距離D，該距離定義為D = I-兩個(gè)表觀統(tǒng)計(jì)信息矢量間夾角的余弦值；(6)節(jié)點(diǎn)排序按照節(jié)點(diǎn)與目標(biāo)距離從小到大的順序，將節(jié)點(diǎn)重新排序；如果頭節(jié)點(diǎn)與目標(biāo)的距離滿 足預(yù)設(shè)條件，則該節(jié)點(diǎn)為目標(biāo)在當(dāng)前圖像的位置，跟蹤完成，跳轉(zhuǎn)到(2)輸入下一幀圖像進(jìn) 行跟蹤；否則，繼續(xù)；(7)網(wǎng)格收縮提取節(jié)點(diǎn)序列中的前四個(gè)節(jié)點(diǎn)，按照其索引從小到大排序，并依次記為Pl，P2，P3，P4， 距離最小的這4個(gè)節(jié)點(diǎn)組成的矩形區(qū)域?yàn)橐M(jìn)行下一次網(wǎng)格化的目標(biāo)搜索區(qū)域跳轉(zhuǎn)到 (4)；經(jīng)過一定次數(shù)的迭代之后，找到與目標(biāo)距離最小的那個(gè)節(jié)點(diǎn)，即目標(biāo)在當(dāng)前圖像的位 置，從而實(shí)現(xiàn)對(duì)目標(biāo)對(duì)象的跟蹤。
2.根據(jù)權(quán)利要求1所述之基于網(wǎng)格收縮的對(duì)象跟蹤方法，其特征在于，所述目標(biāo)對(duì)象 的表觀統(tǒng)計(jì)信息為顏色、紋理、輪廓，或者其組合。
3.根據(jù)權(quán)利要求1所述之基于網(wǎng)格收縮的對(duì)象跟蹤方法，其特征在于，所述預(yù)設(shè)條件 D = I-兩個(gè)表觀統(tǒng)計(jì)信息矢量間夾角的余弦值< Θ，Θ之值由具體跟蹤對(duì)象的表觀統(tǒng) 計(jì)信息設(shè)定。
全文摘要
本發(fā)明公開了基于網(wǎng)格收縮的對(duì)象跟蹤方法，在已獲取的圖像中對(duì)選定目標(biāo)進(jìn)行跟蹤處理，通過目標(biāo)選取、圖像輸入、計(jì)算網(wǎng)格參數(shù)跟蹤區(qū)域網(wǎng)格化、計(jì)算節(jié)點(diǎn)與目標(biāo)的距離、節(jié)點(diǎn)排序、網(wǎng)格收縮等步驟，經(jīng)過一定次數(shù)的迭代之后，找到與目標(biāo)距離最小的那個(gè)節(jié)點(diǎn)，即目標(biāo)在當(dāng)前圖像的位置，從而實(shí)現(xiàn)對(duì)目標(biāo)對(duì)象的跟蹤。本發(fā)明方法既保證了全局搜索，又能滿足實(shí)時(shí)應(yīng)用場(chǎng)合中計(jì)算量小的要求，可以很好地實(shí)現(xiàn)對(duì)快速移動(dòng)對(duì)象的跟蹤以及在跟蹤失敗后自動(dòng)恢復(fù)。
文檔編號(hào)G06T7/20GK102054278SQ201110000750
公開日2011年5月11日 申請(qǐng)日期2011年1月5日 優(yōu)先權(quán)日2011年1月5日
發(fā)明者余南陽, 權(quán)偉, 陳錦雄 申請(qǐng)人:西南交通大學(xué)