專(zhuān)利名稱(chēng)：結(jié)合多種特征匹配和粒子濾波的目標(biāo)自動(dòng)跟蹤方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及結(jié)合多種特征匹配和粒子濾波的目標(biāo)跟蹤方法及系統(tǒng)，尤其涉及在平移空間和仿射空間實(shí)現(xiàn)目標(biāo)跟蹤，包括基于灰度模板區(qū)域匹配的粒子濾波跟蹤、基于顏色概率分布的粒子濾波跟蹤和基于SIFT特征匹配的粒子濾波跟蹤三種方法。
背景技術(shù)：
目標(biāo)跟蹤結(jié)果蘊(yùn)含了場(chǎng)景中運(yùn)動(dòng)個(gè)體的大量時(shí)空信息，在軍用視覺(jué)制導(dǎo)、機(jī)器人視覺(jué)導(dǎo)航、安全監(jiān)測(cè)、交通管制、醫(yī)療診斷、虛擬現(xiàn)實(shí)和戰(zhàn)場(chǎng)警戒、公共安全監(jiān)視、視頻壓縮以及氣象分析等許多方面都有廣泛的應(yīng)用。
自二十世紀(jì)80年代以來(lái)，國(guó)內(nèi)外學(xué)者對(duì)視頻圖像目標(biāo)跟蹤提出了很多算法，可以將視覺(jué)跟蹤方法分為如下四類(lèi)(1)基于區(qū)域的跟蹤，其優(yōu)點(diǎn)在于當(dāng)目標(biāo)未被遮擋時(shí)，跟蹤精度非常高，跟蹤非常穩(wěn)定，但其缺點(diǎn)首先是費(fèi)時(shí)，當(dāng)搜索區(qū)域較大時(shí)情況尤其嚴(yán)重；其次， 算法要求目標(biāo)變形不大，且不能有太大遮擋，否則相關(guān)精度下降會(huì)造成目標(biāo)的丟失。(2)基于特征的跟蹤，其優(yōu)點(diǎn)在于即使目標(biāo)的某一部分被遮擋，只要還有一部分特征可以被看到， 就可以完成跟蹤任務(wù)。這種算法的難點(diǎn)是對(duì)某個(gè)運(yùn)動(dòng)目標(biāo)，如何確定它的唯一特征集這也是一個(gè)模式識(shí)別問(wèn)題。若采用特征過(guò)多，系統(tǒng)效率將降低，且容易產(chǎn)生錯(cuò)誤。( 基于變形模板的跟蹤，常用的變形模板是由Kass在1987年提出的主動(dòng)輪廓模型，又稱(chēng)為Snake模型。Snake模型非常適合可變形目標(biāo)的跟蹤，這種模型與卡爾曼濾波相結(jié)合能夠更好地進(jìn)行跟蹤。但Snake模型比較適合單目標(biāo)的跟蹤。(4)基于模型的跟蹤，其優(yōu)點(diǎn)是可以精確地分析目標(biāo)的三維運(yùn)動(dòng)軌跡，即使在運(yùn)動(dòng)目標(biāo)姿態(tài)變化的情況下，也能夠可靠地跟蹤。但是其缺點(diǎn)在于，運(yùn)動(dòng)分析的精度取決于幾何模型的精度，在現(xiàn)實(shí)生活中要獲得所有運(yùn)動(dòng)目標(biāo)的精確幾何模型是非常困難的。這就限制了基于模型的跟蹤算法的使用，同時(shí)，基于3D模型跟蹤算法往往需要大量的運(yùn)算時(shí)間，很難實(shí)現(xiàn)實(shí)時(shí)的運(yùn)動(dòng)目標(biāo)跟蹤。
基于貝葉斯的視頻對(duì)象跟蹤的思路是將目標(biāo)跟蹤問(wèn)題轉(zhuǎn)換為貝葉斯估計(jì)問(wèn)題，已知目標(biāo)狀態(tài)的先驗(yàn)概率，在獲得新的量測(cè)值后不斷求解目標(biāo)狀態(tài)的最大后驗(yàn)概率的過(guò)程。 粒子濾波(particle filter)是求解貝葉斯概率的一種實(shí)用算法，通過(guò)非參數(shù)化的蒙特卡羅模擬方法來(lái)實(shí)現(xiàn)遞推貝葉斯濾波，適用于任何能用狀態(tài)空間模型表示的非線(xiàn)性系統(tǒng)，以及傳統(tǒng)卡爾曼濾波無(wú)法表示的非線(xiàn)性系統(tǒng)，精度可以逼進(jìn)最優(yōu)估計(jì)。粒子濾波方法的使用非常靈活，容易實(shí)現(xiàn)，具有并行結(jié)構(gòu)，相當(dāng)實(shí)用。粒子濾波比傳統(tǒng)貝葉斯濾波器(卡爾曼濾波器、網(wǎng)格濾波器等)更具有實(shí)用價(jià)值。通過(guò)對(duì)跟蹤問(wèn)題的分析，可以構(gòu)造更有效、速度更快的粒子濾波算法。
本發(fā)明描述結(jié)合多種特征匹配和粒子濾波的目標(biāo)跟蹤方法及系統(tǒng)，構(gòu)建了基于粒子濾波的跟蹤框架及軟硬件實(shí)現(xiàn)系統(tǒng)。核心內(nèi)容包括目標(biāo)在三個(gè)不同層次上的特征及其提取方法，分別以灰度特征、顏色特征以及SIFT特征作為目標(biāo)的表征方式，實(shí)現(xiàn)了基于這三種特征的粒子濾波跟蹤。利用BL-E854CB型網(wǎng)絡(luò)音視頻攝像機(jī)、DR68系列云臺(tái)、恒憶視頻采集卡和PC機(jī)構(gòu)成一套視覺(jué)跟蹤系統(tǒng)，采用VC++6.0語(yǔ)言編程實(shí)現(xiàn)了基于灰度模板區(qū)域匹配的粒子濾波跟蹤、基于顏色概率分布的粒子濾波跟蹤、基于SIFT特征匹配的粒子濾波跟蹤和Can^hift跟蹤，本系統(tǒng)可以自動(dòng)和半自動(dòng)的提取出跟蹤目標(biāo)，在運(yùn)動(dòng)目標(biāo)存在較大的尺度、旋轉(zhuǎn)、仿射變形、亮度、對(duì)比度變化以及目標(biāo)存在局部遮擋等情況下都能夠?qū)崿F(xiàn)穩(wěn)定的目標(biāo)跟蹤。

發(fā)明內(nèi)容
本發(fā)明提供結(jié)合多種特征匹配和粒子濾波的目標(biāo)跟蹤方法及系統(tǒng)，構(gòu)建基于粒子濾波的跟蹤框架及軟硬件實(shí)現(xiàn)系統(tǒng)。
本發(fā)明具體內(nèi)容如下 (一 )提出并設(shè)計(jì)基于三種特征的粒子濾波目標(biāo)跟蹤方法 本發(fā)明的核心內(nèi)容是設(shè)計(jì)了基于三種特征的粒子濾波目標(biāo)跟蹤算法基于灰度模板區(qū)域匹配的粒子濾波跟蹤、基于顏色概率分布的粒子濾波跟蹤、基于SIFT特征匹配的粒子濾波跟蹤。
1.基于灰度模板區(qū)域匹配的粒子濾波跟蹤 基于灰度模板區(qū)域匹配的粒子濾波跟蹤是以傳統(tǒng)區(qū)域匹配跟蹤方法中的灰度模板為目標(biāo)描述形式，用粒子加權(quán)和來(lái)表示目標(biāo)參數(shù)的估計(jì)值，粒子的權(quán)值與匹配值成比例。 把區(qū)域匹配算法和粒子濾波跟蹤方法結(jié)合起來(lái)，既體現(xiàn)了區(qū)域匹配跟蹤算法直觀實(shí)用的特點(diǎn)，又體現(xiàn)了粒子濾波“多峰”跟蹤的優(yōu)點(diǎn)，大大提高了跟蹤的魯棒性，同時(shí)也是一種在仿射空間進(jìn)行運(yùn)動(dòng)參數(shù)搜索的實(shí)用方法。
2.基于顏色概率分布的粒子濾波跟蹤 目標(biāo)的顏色特征，是最基本的有感覺(jué)意義的特征之一。與輪廓、角點(diǎn)、紋理特征一樣，顏色特征也屬于目標(biāo)的底層特征，能給人比較直觀的印象，并且不需要特別復(fù)雜的語(yǔ)義描述。
顏色是一個(gè)強(qiáng)有力的描繪子，它常?？珊?jiǎn)化目標(biāo)物的區(qū)分及從場(chǎng)景中抽取目標(biāo)。 人可以辨別幾千種顏色色調(diào)和亮度，相比之下只能辨別幾十種灰度層次。這也是為什么在計(jì)算機(jī)視覺(jué)方向，更傾向于把圖像從灰度空間轉(zhuǎn)化到顏色空間來(lái)進(jìn)行處理。對(duì)于非剛性物體的跟蹤(比如人體跟蹤)，尤其適合用顏色特征來(lái)進(jìn)行跟蹤。
本發(fā)明從另一個(gè)角度，結(jié)合粒子濾波的“多峰性”優(yōu)點(diǎn)，首先計(jì)算目標(biāo)的顏色直方圖，然后進(jìn)行顏色直方圖概率反投影，在顏色概率分布圖像上進(jìn)行粒子濾波預(yù)測(cè)并進(jìn)行觀測(cè)輸出。用一個(gè)粒子來(lái)表示目標(biāo)的一種可能姿態(tài)，并計(jì)算粒子的權(quán)值(衡量與目標(biāo)真實(shí)姿態(tài)之間的相關(guān)值)，由粒子加權(quán)和來(lái)表示目標(biāo)姿態(tài)的估計(jì)值。
3.基于SIFT特征匹配的粒子濾波跟蹤。
SIFT (Scale Invariant Feature ^Transform即尺度不變特征變換)特征匹配算法是目前國(guó)內(nèi)外特征匹配研究領(lǐng)域取得比較成功的一種算法，該算法匹配能力較強(qiáng)，能提取穩(wěn)定的特征，可以處理兩幅圖像之間發(fā)生平移、旋轉(zhuǎn)、仿射變換、視角變換、光照變換情況下的匹配問(wèn)題，甚至在某種程度上對(duì)任意角度拍攝的圖像也具備較為穩(wěn)定的特征匹配能力， 從而可以實(shí)現(xiàn)差異較大的兩幅圖像之間的特征的匹配。SIFT特征匹配技術(shù)很少用在跟蹤上，其主要原因是SIFT特征計(jì)算復(fù)雜度很高，所以限制了其在實(shí)時(shí)性要求很高的跟蹤技術(shù)上的應(yīng)用。
本發(fā)明提出一種基于SIFT特征匹配技術(shù)的粒子濾波跟蹤技術(shù)，該方法不是像傳統(tǒng)的SIFT特征匹配技術(shù)那樣計(jì)算整幅圖像，而是利用粒子濾波技術(shù)的預(yù)測(cè)方法，在目標(biāo)鄰域內(nèi)計(jì)算SIFT特征，這樣可以大大減少一些不必要的計(jì)算，從而減少系統(tǒng)運(yùn)算時(shí)間，并且對(duì)亮度變化、視角變化、仿射變換、噪聲等情況下也保持一定程度的跟蹤穩(wěn)定性。
(二)目標(biāo)跟蹤系統(tǒng)的軟硬件設(shè)計(jì) 本發(fā)明采用軟硬件協(xié)同工作，構(gòu)建目標(biāo)跟蹤系統(tǒng)。利用BL-E854CB型網(wǎng)絡(luò)音視頻攝像機(jī)、DR68系列云臺(tái)和恒憶視頻采集卡構(gòu)成目標(biāo)跟蹤硬件系統(tǒng)，硬件系統(tǒng)連接圖如附圖1。軟件系統(tǒng)包括視頻采集模塊、跟蹤算法運(yùn)算模塊和輸出控制模塊，在PC機(jī)上結(jié)合 VC++6. 0實(shí)現(xiàn)所有軟件功能，軟件系統(tǒng)結(jié)構(gòu)如附圖2。


圖1為設(shè)備連接框圖 圖2為系統(tǒng)軟件結(jié)構(gòu)圖 圖3為基于灰度模板區(qū)域匹配的粒子濾波跟蹤算法流程圖 圖4為基于顏色概率分布的粒子濾波算法流程圖 圖5為基于SIFT特征匹配的粒子濾波跟蹤算法流程圖 圖6為設(shè)備實(shí)物圖 圖7為控制區(qū)域圖 圖8為軟件初始界面圖 圖9為主線(xiàn)程流程圖 圖10為子線(xiàn)程1流程圖 圖11為子線(xiàn)程2和子線(xiàn)程3流程圖，其中(a)圖為子線(xiàn)程2流程圖，(b)圖為子線(xiàn)程3流程圖
具體實(shí)施例方式本發(fā)明提出結(jié)合多種特征匹配和粒子濾波的目標(biāo)跟蹤方法及系統(tǒng)，構(gòu)建基于粒子濾波的跟蹤框架及軟硬件實(shí)現(xiàn)系統(tǒng)。
本發(fā)明具體實(shí)施方案如下 (一 )提出三種特征的粒子濾波目標(biāo)跟蹤方法 本發(fā)明的核心內(nèi)容是提出了基于三種特征的粒子濾波目標(biāo)跟蹤算法基于灰度模板區(qū)域匹配的粒子濾波跟蹤、基于顏色概率分布的粒子濾波跟蹤、基于SIFT特征匹配的粒子濾波跟蹤。具體如下 1.基于灰度模板區(qū)域匹配的粒子濾波跟蹤算法 基于灰度模板區(qū)域匹配的粒子濾波跟蹤就是以傳統(tǒng)區(qū)域匹配跟蹤方法中的灰度模板為目標(biāo)描述形式，用粒子加權(quán)和來(lái)表示目標(biāo)參數(shù)的估計(jì)值，粒子的權(quán)值與匹配值成比例。把區(qū)域匹配算法和粒子濾波跟蹤方法結(jié)合起來(lái)，既體現(xiàn)了區(qū)域匹配跟蹤算法直觀實(shí)用的特點(diǎn)，又體現(xiàn)了粒子濾波“多峰”跟蹤的優(yōu)點(diǎn)，可以大大提高跟蹤的魯棒性，同時(shí)也是一種在仿射空間進(jìn)行運(yùn)動(dòng)參數(shù)搜索的有效方法。
需要說(shuō)明的一點(diǎn)是本發(fā)明所考慮的各種方法都是著眼于求解目標(biāo)的運(yùn)動(dòng)參數(shù)，即目標(biāo)的位置、角度、尺度等等。為了體現(xiàn)出粒子濾波對(duì)傳統(tǒng)區(qū)域匹配算法的優(yōu)點(diǎn)，本發(fā)明將考慮仿射空間的跟蹤。對(duì)于仿射模型，需要考慮目標(biāo)的六個(gè)參數(shù)，這里我們不考慮切向尺度 SXY，即只考慮五個(gè)參數(shù)T = (TX，TY, sx, SY, θ)，其中TX和TY分別為目標(biāo)中心點(diǎn)的水平方位和垂直方位坐標(biāo)，sx，SY分別為水平方向和垂直方向的尺度，θ為目標(biāo)相對(duì)于模板的旋轉(zhuǎn)角度。這樣一個(gè)粒子就表示目標(biāo)的一種可能的運(yùn)動(dòng)狀態(tài)，即具有一組可能的運(yùn)動(dòng)參數(shù) (T)。根據(jù)粒子的運(yùn)動(dòng)參數(shù)，即可求出該粒子所對(duì)應(yīng)的目標(biāo)模板的一種變形情況，通過(guò)計(jì)算這個(gè)變形模板與實(shí)際圖像的匹配值，對(duì)粒子賦予與匹配值成比例的權(quán)值，由粒子加權(quán)來(lái)表示目標(biāo)狀態(tài)的后驗(yàn)概率。
(1)目標(biāo)的先驗(yàn)知識(shí) 目標(biāo)的先驗(yàn)知識(shí)包括目標(biāo)的灰度模板的建立和粒子的初始化工作。
在初始幀中，用差分法等自動(dòng)目標(biāo)檢測(cè)或人機(jī)交互的方法可以得到目標(biāo)的初始描述。在本發(fā)明中，采用矩形框來(lái)表示目標(biāo)的姿態(tài)。對(duì)于一個(gè)矩形框來(lái)說(shuō)，其姿態(tài)包括五個(gè)參數(shù)
R = (cx,cy^,w,h)(1) 其中CX和cy分別為矩形框的中心位置，h和w分別為矩形框的高度和寬度4為矩形框沿h方向與χ軸的夾角，初始值設(shè)為90°。
這樣，跟蹤開(kāi)始時(shí)，目標(biāo)的先驗(yàn)知識(shí)(1 時(shí)刻)包括了一個(gè)大小為mXn的圖像模板f(a，b)，(a = l-m,b = 1···η)，以及目標(biāo)的初始運(yùn)動(dòng)參數(shù)
權(quán)利要求
1.基于灰度模板區(qū)域匹配的粒子濾波跟蹤算法，其特征包括A、以傳統(tǒng)區(qū)域匹配跟蹤方法中的灰度模板為目標(biāo)描述形式，具體包括 Al、目標(biāo)的先驗(yàn)知識(shí)包括目標(biāo)的灰度模板的建立；A2、在初始幀中，用差分法等自動(dòng)目標(biāo)檢測(cè)或人機(jī)交互的方法得到目標(biāo)的初始描述； A3、采用矩形框來(lái)表示目標(biāo)的姿態(tài)；A4、對(duì)于一個(gè)矩形框來(lái)說(shuō)，其姿態(tài)包括五個(gè)參數(shù)矩形框的中心位置水平和垂直坐標(biāo)， 矩形框的高度和寬度，矩形框沿高度方向與水平軸的夾角；B、將區(qū)域匹配算法和粒子濾波跟蹤方法結(jié)合起來(lái)，具體包括Bi、用粒子加權(quán)和來(lái)表示目標(biāo)參數(shù)的估計(jì)值，粒子的權(quán)值與匹配值成比例。 B2、粒子數(shù)的選擇與實(shí)際跟蹤要求有關(guān)，粒子數(shù)越多，跟蹤越穩(wěn)定，精度越高，但同時(shí)計(jì)算量也越大。根據(jù)跟蹤情況進(jìn)行折衷選擇、動(dòng)態(tài)調(diào)整。B3、每一幀中，對(duì)每個(gè)粒子進(jìn)行系統(tǒng)狀態(tài)轉(zhuǎn)移以及系統(tǒng)觀測(cè)，計(jì)算粒子的權(quán)值，并將所有粒子進(jìn)行加權(quán)以輸出目標(biāo)狀態(tài)的估計(jì)值，然后進(jìn)行粒子重采樣過(guò)程。C、在仿射空間進(jìn)行運(yùn)動(dòng)參數(shù)搜索，具體包括Cl、運(yùn)動(dòng)模型選擇具有兩個(gè)參數(shù)的平移模型和具有五個(gè)參數(shù)的仿射模型，包括水平方向和垂直方向的位移和尺度以及旋轉(zhuǎn)角度。 C2、粒子與運(yùn)動(dòng)模型一致，具有相同維數(shù)。
2.基于顏色概率分布的粒子濾波跟蹤算法，其特征包括A、顏色直方圖的統(tǒng)計(jì)，包括Al、把目標(biāo)區(qū)域的像素由RGB空間轉(zhuǎn)換到HSV空間，然后計(jì)算H分量的一維直方圖，并進(jìn)行歸一化；A2、H分量均勻地劃分成若干個(gè)小的區(qū)間，使每個(gè)小區(qū)間成為一個(gè)直方圖的一個(gè)bin ； A3、考慮到視覺(jué)跟蹤實(shí)時(shí)性的要求以及H分量的范圍，系統(tǒng)中H分量bin的數(shù)目設(shè)為48。B、顏色概率分布圖的計(jì)算，包括Bi、設(shè)一個(gè)閾值，當(dāng)HSV空間的S分量小于這個(gè)閾值時(shí)，令對(duì)應(yīng)的H分量為0，本發(fā)明將閾值設(shè)為30 ；B2、經(jīng)過(guò)修正的色彩概率分布圖，再把每個(gè)像素點(diǎn)的值都取反，最后把顏色概率分布圖像的像素值為零的點(diǎn)替換成像素值為一個(gè)很小的正值，以使粒子濾波計(jì)算權(quán)值時(shí)能夠很好的適應(yīng)于尺度變化。C、將顏色概率分布和粒子濾波跟蹤方法結(jié)合起來(lái)，具體包括Cl、從對(duì)顏色概率分布圖的分析可知，與目標(biāo)顏色相近的像素點(diǎn)會(huì)有較大的概率值，而目標(biāo)處的像素值會(huì)有最大的概率值。在目標(biāo)先驗(yàn)知識(shí)已經(jīng)得到的情況下，以初始位置散播一簇粒子，然后對(duì)這些粒子進(jìn)行觀測(cè)，對(duì)每一個(gè)粒子，計(jì)算該粒子狀態(tài)范圍內(nèi)的像素值和， 用指數(shù)函數(shù)進(jìn)行調(diào)制并歸一化就可得到每個(gè)粒子的權(quán)值，可以看到，與目標(biāo)狀態(tài)越接近的粒子，權(quán)值會(huì)越大。C2、采用顏色概率分布模型，相當(dāng)于把原始圖像映射到了一張概率灰度圖像中，因此， 在目標(biāo)顏色跳躍性不是很大的情況下，對(duì)邊緣遮擋、目標(biāo)旋轉(zhuǎn)、變形和背景運(yùn)動(dòng)不敏感。 C3、采用仿射模型進(jìn)行跟蹤，跟蹤的目的則是求解目標(biāo)的運(yùn)動(dòng)狀態(tài)，，包括χ方向和y方向的目標(biāo)中心、目標(biāo)旋轉(zhuǎn)的角度、、目標(biāo)在χ方向、y方向和對(duì)角方向的尺度。C4、運(yùn)動(dòng)模型選擇具有兩個(gè)參數(shù)的平移模型和具有五個(gè)參數(shù)的仿射模型，包括水平方向和垂直方向的位移和尺度以及旋轉(zhuǎn)角度。 C5、粒子與運(yùn)動(dòng)模型一致，具有相同維數(shù)。
3.基于SIFT特征匹配的粒子濾波跟蹤算法，其特征包括 A、SIFT特征匹配的計(jì)算，包括Al、SIFT特征向量的生成先對(duì)圖像進(jìn)行規(guī)一化處理，然后擴(kuò)大圖像為原來(lái)的兩倍，預(yù)濾波剔除噪聲，得到高斯金字塔的最底層即第1階的第1層；再經(jīng)過(guò)尺度空間極值檢測(cè)、精確定位特征點(diǎn)位置、確定特征點(diǎn)的主方向、生成SIFT特征向量四個(gè)計(jì)算步驟。 A2、SIFT特征向量的匹配為了減少一個(gè)特征點(diǎn)可能存在多個(gè)相似匹配點(diǎn)而造成的誤匹配情況，本發(fā)明采用最近鄰和次近鄰特征點(diǎn)距離之比來(lái)減少誤匹配。A3、提出了一種基于SIFT特征匹配的粒子濾波跟蹤技術(shù)在跟蹤過(guò)程中，首先確定粒子數(shù)目和運(yùn)動(dòng)模型，在本發(fā)明中，運(yùn)動(dòng)模型選擇具有五個(gè)參數(shù)的仿射模型，包括水平方向和垂直方向的位移和尺度以及旋轉(zhuǎn)角度。運(yùn)動(dòng)模型選定后，粒子與之一致，具有相同維數(shù)的參數(shù)。然后判斷是否目標(biāo)已選取，目標(biāo)的選取采用手動(dòng)選取或自動(dòng)選取兩種方式，當(dāng)目標(biāo)區(qū)域已經(jīng)確定之后，就建立目標(biāo)模板的SIFT特征向量，初始化粒子參數(shù)，并將粒子權(quán)值都設(shè)為1(即所有粒子同等重要)。粒子初始化之后的幀就轉(zhuǎn)入粒子濾波算法的迭代過(guò)程。每一幀中，首先進(jìn)行粒子散播， 也就是進(jìn)行預(yù)測(cè)，在預(yù)測(cè)的一個(gè)范圍內(nèi)計(jì)算該區(qū)域內(nèi)圖像的SIFT特征，然后把已經(jīng)得到的模板的SIFT特征跟這個(gè)預(yù)測(cè)區(qū)域里的SIFT特征進(jìn)行匹配，保存匹配到的點(diǎn)對(duì)，根據(jù)系統(tǒng)觀測(cè)狀態(tài)產(chǎn)生一張匹配點(diǎn)對(duì)圖，對(duì)每個(gè)粒子在這張匹配點(diǎn)對(duì)圖上進(jìn)行系統(tǒng)觀測(cè)，計(jì)算粒子的權(quán)值，并將所有粒子進(jìn)行加權(quán)以輸出目標(biāo)狀態(tài)的估計(jì)值。最后進(jìn)行粒子重采樣過(guò)程，轉(zhuǎn)入下一次算法迭代過(guò)程。
4.目標(biāo)跟蹤系統(tǒng)的硬件設(shè)計(jì)與實(shí)現(xiàn)，其特征包括本跟蹤系統(tǒng)分為視頻采集模塊、跟蹤算法運(yùn)算模塊和輸出控制模塊。本發(fā)明采用 BL-E854CB型網(wǎng)絡(luò)音視頻攝像機(jī)、DR68系列云臺(tái)、恒憶視頻采集卡和PC機(jī)構(gòu)成一套視覺(jué)跟蹤硬件系統(tǒng)。A、日夜型BL-E854CB型網(wǎng)絡(luò)音視頻攝像機(jī)，能提供優(yōu)質(zhì)的圖像和良好的性能。B、恒憶視頻采集卡，HighEasy系列編碼卡采用了高性能的音視頻編解碼技術(shù)，完全依靠硬件實(shí)現(xiàn)了視頻及音頻的實(shí)時(shí)編碼并精確同步，實(shí)現(xiàn)了動(dòng)態(tài)碼率控制、恒定碼率控制、混合碼率控制、幀率可控、幀模式可選、動(dòng)態(tài)圖像質(zhì)量控制，視頻丟失報(bào)警，多路模擬視頻輸出，多路報(bào)警信號(hào)輸出配置等功能。C、DR68系列云臺(tái)支持水平面最大旋轉(zhuǎn)范圍0° 350°，水平面向下90°，向上60° 運(yùn)動(dòng)，旋轉(zhuǎn)速度為水平6° /s，垂直旋轉(zhuǎn)3.5° /s，本發(fā)明波特率采用M00BPS，Pelco P協(xié)議。
5.目標(biāo)跟蹤系統(tǒng)的軟件設(shè)計(jì)與實(shí)現(xiàn)，其特征包括A、對(duì)恒憶采集卡通過(guò)初始化圖像工作后，完成采集。B、本系統(tǒng)采用自動(dòng)提取和手動(dòng)提取兩種目標(biāo)提取方式，具體包括Bi、當(dāng)視野中有運(yùn)動(dòng)物體進(jìn)來(lái)時(shí)，通過(guò)自動(dòng)目標(biāo)提取把此運(yùn)動(dòng)物體提取出來(lái)作為后續(xù)跟蹤的模板。本系統(tǒng)采用高斯背景建模，得到含有極少噪聲的包含目標(biāo)區(qū)域的前景幀二值圖像，然后進(jìn)行輪廓提取，取最大面積的輪廓作為檢測(cè)到得目標(biāo)，然后定位，得到包含目標(biāo)的矩形區(qū)域B2、手動(dòng)目標(biāo)提取就是根據(jù)想要跟蹤的目標(biāo)，在圖像中選取一塊矩形區(qū)域，把這塊區(qū)域的參數(shù)計(jì)算出來(lái)，即把所選的矩形區(qū)域初始化。C、采用本發(fā)明提出的三種粒子濾波跟蹤算法進(jìn)行目標(biāo)跟蹤，具體包括Cl、在粒子濾波跟蹤方法中，調(diào)節(jié)的主要參數(shù)有兩個(gè)粒子傳播半徑R和粒子數(shù)目N。而粒子傳播半徑跟目標(biāo)的運(yùn)動(dòng)速度有關(guān)，目標(biāo)的運(yùn)動(dòng)速度大，則需要大一點(diǎn)的粒子傳播半徑， 同時(shí)需要更多的粒子來(lái)達(dá)到穩(wěn)定跟蹤；目標(biāo)的運(yùn)動(dòng)速度小，則可以把粒子傳播半徑設(shè)的小一點(diǎn)，同時(shí)可以減少粒子數(shù)目，以減少運(yùn)算量。本系統(tǒng)根據(jù)CPU的處理速度以及目標(biāo)跟攝像機(jī)的一般距離，選取粒子傳播半徑為20個(gè)像素，完全可以適合跟蹤中速運(yùn)動(dòng)目標(biāo)，粒子數(shù)N = 0.5X40X40 = 800，完全可以跟蹤的上目標(biāo)。C2、對(duì)于提取的目標(biāo)區(qū)域，分別根據(jù)跟蹤方式選擇，求出三種模板，即目標(biāo)灰度模板，目標(biāo)顏色直方圖和目標(biāo)SIFT特征，這樣就得到了目標(biāo)的跟蹤模板。D、利用跟蹤所得到的目標(biāo)的位置的中心，作為發(fā)送給云臺(tái)的控制指令，實(shí)現(xiàn)跟蹤控制。 控制指令的輸出形式采用PELCO-P協(xié)議，波特率設(shè)為MOOBPS，控制云臺(tái)能夠八個(gè)方向(上、 下、左、右、左上、左下、右上、右下)運(yùn)動(dòng)。E、軟件系統(tǒng)總體設(shè)計(jì)，包括E1、本系統(tǒng)實(shí)現(xiàn)了兩種選取目標(biāo)選取方式(自動(dòng)選取和手動(dòng)選取)，兩種跟蹤方式(粒子濾波和Camshift跟蹤)，其中Camshift是采用的OpenCV庫(kù)提供的庫(kù)函數(shù)來(lái)實(shí)現(xiàn)的，粒子濾波又分三種方式(如前所述)，還實(shí)現(xiàn)了網(wǎng)絡(luò)控制E2、軟件基于VC++6. 0編寫(xiě)，一個(gè)主線(xiàn)程和三個(gè)子線(xiàn)程，其中主線(xiàn)程的任務(wù)是做用戶(hù)交互，子線(xiàn)程一的主要任務(wù)是實(shí)現(xiàn)跟蹤算法并輸出控制量，子線(xiàn)程二的主要任務(wù)是實(shí)現(xiàn)遠(yuǎn)程數(shù)據(jù)的發(fā)送，子線(xiàn)程三的主要任務(wù)是接收遠(yuǎn)程機(jī)器的請(qǐng)求。遠(yuǎn)程數(shù)據(jù)的發(fā)送和接收利用 SOCKET編程來(lái)實(shí)現(xiàn)，采用UDP傳輸協(xié)議。E3、帶有視頻采集卡的那臺(tái)PC機(jī)作為服務(wù)器端，另一臺(tái)機(jī)器作為客戶(hù)端，實(shí)現(xiàn)網(wǎng)絡(luò)控制。
全文摘要
本發(fā)明涉及結(jié)合多種特征匹配和粒子濾波的目標(biāo)跟蹤方法及系統(tǒng)，該目標(biāo)跟蹤系統(tǒng)由視頻采集模塊、跟蹤算法運(yùn)算模塊和輸出控制模塊三部分組成。視頻采集模塊完成采集卡的初始化和圖像的實(shí)時(shí)采集；跟蹤算法運(yùn)算模塊包括基于灰度模板區(qū)域匹配的粒子濾波跟蹤、基于顏色概率分布的粒子濾波跟蹤和基于SIFT特征匹配的粒子濾波跟蹤三種跟蹤方式，實(shí)現(xiàn)在平移空間和仿射空間的目標(biāo)跟蹤；輸出控制模塊利用跟蹤所得到的目標(biāo)位置的中心，作為發(fā)送給云臺(tái)的控制指令，實(shí)現(xiàn)攝像機(jī)跟隨目標(biāo)物體的運(yùn)動(dòng)。
文檔編號(hào)G06K9/62GK102184551SQ201110118918
公開(kāi)日2011年9月14日 申請(qǐng)日期2011年5月10日 優(yōu)先權(quán)日2011年5月10日
發(fā)明者魏穎, 吳迪, 賈同 申請(qǐng)人:東北大學(xué)