專利名稱:基于雙感興趣區(qū)域的運動目標(biāo)視覺跟蹤方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及一種視覺跟蹤技術(shù),具體涉及一種基于雙感興趣區(qū)域的運動目標(biāo)跟蹤 方法及系統(tǒng),屬于信息技術(shù)領(lǐng)域,特別適用于智能視頻監(jiān)控,感興趣目標(biāo)的快速準(zhǔn)確跟蹤。
背景技術(shù):
計算機視覺是智能機器獲取外部信息和理解世界的主要途徑,運動目標(biāo)的檢測與 跟蹤作為計算機視覺的核心課題之一,已經(jīng)成為近年來計算機視覺領(lǐng)域的熱點研究問題。 運動目標(biāo)的檢測與跟蹤是一種對包含運動目標(biāo)的序列圖像進行分析和綜合而對目標(biāo)定位 的技術(shù),該項技術(shù)融合了圖像處理、模式識別、人工智能、自動控制、計算機等領(lǐng)域的先進技 術(shù),在視覺導(dǎo)航、視頻監(jiān)控、醫(yī)療診斷、工業(yè)檢測等方面有著重要的價值及廣闊的前景。因此 對其進行研究是非常必要的。在現(xiàn)有視覺跟蹤技術(shù)中,Camshift算法以其計算的簡單性和高效率被眾多學(xué)者認 可,但是Camshift算法只利用目標(biāo)的顏色信息,對顏色的錯誤判斷會造成跟蹤的錯誤,如 光照的變化和與目標(biāo)受到大面積相似色干擾就很容易導(dǎo)致跟蹤發(fā)散和丟失,另外當(dāng)目標(biāo)移 動的過程中,由于遮擋或者目標(biāo)移出視頻窗口時,跟蹤窗口靜止保持在丟失前一時刻的狀 態(tài),當(dāng)目標(biāo)再次進入時,Camshift算法無法繼續(xù)對目標(biāo)進行捕捉及繼續(xù)跟蹤。許多跟蹤方 法雖然采用了多特征融合的方法去補償Camshift (如與粒子濾波的結(jié)合)來增強跟蹤的魯 棒性,但是這樣會增大系統(tǒng)的計算量和計算時間,犧牲了跟蹤實時性的性能指標(biāo)。
發(fā)明內(nèi)容
發(fā)明目的本發(fā)明所要解決的技術(shù)問題是針對現(xiàn)有技術(shù)的不足,提出了一種基于雙感興趣區(qū) 域的運動目標(biāo)跟蹤方法,在不明顯增加計算量的情況下使得計算機對運動目標(biāo)進行跟蹤 時,滿足可靠性和快速性的要求并能實現(xiàn)目標(biāo)再入的繼續(xù)跟蹤。技術(shù)方案本發(fā)明為實現(xiàn)上述發(fā)明目的,采用如下技術(shù)方案一種基于雙感興趣區(qū)域的運動目標(biāo)視覺跟蹤方法,該方法根據(jù)目標(biāo)的運動信息和 跟蹤目標(biāo)的ROI區(qū)域的顏色概率分布得到基于雙ROI區(qū)域顏色信息和運動狀態(tài)信息融合的 狀態(tài)估計,進而實現(xiàn)目標(biāo)的快速實時跟蹤及再入定位,具體步驟包括步驟21,獲取運動目標(biāo)的雙ROI區(qū)域顏色信息;步驟22,采用Kalman濾波器獲取運動目標(biāo)的預(yù)估值信息;步驟23,狀態(tài)融合、得到搜索窗口或搜索方向的初始化狀態(tài)估計;步驟24,根據(jù)步驟23所述的狀態(tài)估計結(jié)果,計算得到目標(biāo)質(zhì)心位置;步驟25,根據(jù)步驟24得到的雙ROI區(qū)域目標(biāo)質(zhì)心位置,判斷運動目標(biāo)的狀態(tài),并將 判決結(jié)果送至步驟23 ;步驟26,循環(huán)執(zhí)行步驟21-25從而實現(xiàn)連續(xù)幀中動態(tài)目標(biāo)的跟蹤,直至退出。
進一步的,本發(fā)明的基于雙感興趣區(qū)域的運動目標(biāo)視覺跟蹤方法的獲取雙ROI區(qū) 域顏色信息的具體過程如下步驟A,在一段視頻序列的第一幀中確定兩個跟蹤窗口,所述跟蹤窗口包括目標(biāo)區(qū) 域,所述目標(biāo)區(qū)域包含跟蹤的對象,跟蹤窗口形狀根據(jù)目標(biāo)的形狀進行設(shè)置;選定R0I#0作為Camshift#0搜索匹配區(qū)域后,將R0I#0設(shè)為Camshift#l的不感 興趣區(qū)域,同時設(shè)定Camshift#l對R0I#1的跟蹤,并將R0I#1設(shè)為Camshift#0的不感興趣 區(qū)域;步驟B,對于自第二幀起的每一幀,獲得前一幀兩個跟蹤區(qū)域的顏色特征概率分布 圖。進一步的,本發(fā)明的基于雙感興趣區(qū)域的運動目標(biāo)視覺跟蹤方法的步驟22中獲 取預(yù)估值信息的實現(xiàn)方法如下步驟C,建立運動目標(biāo)的狀態(tài)方程和觀測方程如下X(k) = AX(k-l)+ff(k)(1)Z(k) = HX(k)+V(k)(2)其中X(k)為系統(tǒng)在k時刻的狀態(tài)向量,Z(k)為k時刻的系統(tǒng)狀態(tài)測量向量,k 為自然數(shù);w(k)和V(k)分別為正態(tài)分布的狀態(tài)噪聲和測量噪聲,且W(k)和V(k)均服從 P(Kk)) N(0,Q),P(V(k)) N(0,R)分布,其中Q為狀態(tài)噪聲的協(xié)方差矩陣,R為測量噪 聲的協(xié)方差矩陣;定義狀態(tài)向量和測量向量為X(k) = [x{k),y{k),x{k),y{k)iZ(k) = [x(k),y(k)]T其中χ (k)和y (k)表示目標(biāo)重心在視覺窗X軸和Y軸上的位置,對??;)和KO表示相 應(yīng)的速度,系統(tǒng)狀態(tài)矩陣A和測量矩陣H參照X (k)和Z (k),有
"10 7 0"
A =
0 1 O Γ 0 0 10 0 0 0 1
H =
10 0 0 0 10 0
T為采樣時間;步驟D,采用Kalman濾波器方程預(yù)測位置信息(x (k | k_l),y (k | k_l))更新階段X (k |k-l) = AX(k-l |k-l)P (k |k-l) = AP(k-l |k-l)AT+Q校正階段Kg (k) = P (k |k-l) Ht/(HP (k |k-l) HT+R)X (k I k) = X (k I k-1) +Kg (k) (Ζ (k) -HX (k | k_l))P (k I k) = (I-Ks (k) H) P (k I k-1)
(34)}6)7) /l\ 5 /l\ /l\以上公式(3)-(7)中,X(kI k-1)是利用上一狀態(tài)預(yù)測的結(jié)果,X(k-11 k-1)為k_l 時刻的最優(yōu)值,P (k I k-1)是先驗誤差相關(guān)矩陣,P (k-11 k-1)是前一步的后驗誤差相關(guān)矩 陣,Kg (k)為Kalman增益矩陣,Z (k)為給定的測量參數(shù);將預(yù)測狀態(tài)向量X(k|k-1)中的位置信息(x(k|k-l), y(k|k-l))即運動目標(biāo)的預(yù) 估值信息傳送到步驟23。
進一步的,本發(fā)明的基于雙感興趣區(qū)域的運動目標(biāo)視覺跟蹤方法的步驟23中獲 取搜索窗口或搜索方向的初始化狀態(tài)估計的實現(xiàn)方法如下根據(jù)上一輪步驟25處得到的目標(biāo)運動狀態(tài)判斷結(jié)果,若目標(biāo)沒有丟失和分離則 采用狀態(tài)估計方法,根據(jù)預(yù)估值和前一幀的搜索窗的大小來初始當(dāng)前幀的搜索窗口的大小 和位置;若目標(biāo)在視頻窗口內(nèi)發(fā)生丟失和分離則根據(jù)前一幀的搜索窗的大小和位置來初 始當(dāng)前幀的搜索窗口的大小和位置并賦予發(fā)生分離的窗口一定的速度信息來線性預(yù)測目 標(biāo)在當(dāng)前幀中可能出現(xiàn)的位置;若目標(biāo)移出搜索窗口則按規(guī)定的速度信息來初始化搜索方向。進一步的,本發(fā)明的基于雙感興趣區(qū)域的運動目標(biāo)視覺跟蹤方法中E,所述當(dāng)目標(biāo)在視頻窗口內(nèi)發(fā)生丟失和分離時賦予分離窗口一定的速度信息來 線性預(yù)測目標(biāo)在當(dāng)前幀中可能出現(xiàn)的位置,其速度信息確定如下眷釋卞(“(8)涉輝-1廣(“(9)其中,T為兩幀圖像采集的時間間隔,(x(k|k-l),y(k|k-l))為搜索窗口位置估計 信息,(x(k-l),y(k-l))為上一幀目標(biāo)位置信息;F,所述若目標(biāo)移出搜索窗口則按規(guī)定的速度信息來初始化搜索方向,其中速度信 息規(guī)定如下x{k) = Xm{k)T~X'(10)y(k)^ym<<k^~yi(11)其中(xm(k),ym(k))為搜索窗口與視頻窗口發(fā)生碰撞時搜索窗口的中心坐標(biāo),(X1, Y1)為窗口碰撞后窗口將移向的點的坐標(biāo),(Xpy1)為視窗內(nèi)的隨機點,或預(yù)先設(shè)定。進一步的,本發(fā)明的基于雙感興趣區(qū)域的運動目標(biāo)視覺跟蹤方法中計算獲取目標(biāo) 質(zhì)心位置的實現(xiàn)方法如下G,若目標(biāo)沒有發(fā)生偏離或丟失則按Camshift算法得到目標(biāo)的質(zhì)心位置;H,若目標(biāo)在視頻窗口內(nèi)發(fā)生了丟失和偏離則可以用式(8)-(9)線性預(yù)測目標(biāo)在 當(dāng)前幀中可能出現(xiàn)的位置,具體質(zhì)心位置計算公式如下x(k +1) = x(k) + Tx(k)(12)其中x(k+l)為k+1幀的目標(biāo)質(zhì)心位置,x(k)為第k幀的目標(biāo)質(zhì)心位置,對幻為第 k幀的目標(biāo)質(zhì)心速度,T為兩幀圖像采集的時間間隔;I,若目標(biāo)移出了視頻窗口,則按式(IO)-(Il)賦予的搜索方向不斷進行搜索,直 到搜索到目標(biāo)為止。進一步的,本發(fā)明的基于雙感興趣區(qū)域的運動目標(biāo)視覺跟蹤方法中步驟25中獲 取運動目標(biāo)的狀態(tài)的實現(xiàn)方法如下J、通過雙ROI模型兩跟蹤窗口中心的位置關(guān)系判斷兩個跟蹤窗口是否發(fā)生分離 或丟失
批c-xJ2+(ydc-yJ2<E(13)其中(xd。,ydc),(xuc,yj分別為Camshift#0與Camshift#l跟蹤區(qū)域的中心坐標(biāo), E為閾值;K、通過雙ROI模型跟蹤窗口的質(zhì)心位置和視頻窗口的大小確定跟蹤窗口是否移 出視頻窗口。一種應(yīng)用本發(fā)明的基于雙感興趣區(qū)域的運動目標(biāo)視覺跟蹤系統(tǒng),該系統(tǒng)包括雙 ROI區(qū)域顏色特征獲取模塊、Kalman預(yù)估模塊,特征融合及狀態(tài)估計模塊、目標(biāo)位置確定模 塊,其中雙ROI區(qū)域顏色特征獲取模塊,用于獲取雙ROI區(qū)域的顏色特征信息,并傳送給特 征融合及狀態(tài)估計模塊;Kalman預(yù)估模塊,用于根據(jù)質(zhì)心位置預(yù)測值和當(dāng)前時刻的位置觀測值得到下一幀 的預(yù)估值,并將之傳送給特征融合及狀態(tài)估計模塊;特征融合狀態(tài)估計模塊,用于將雙ROI區(qū)域顏色特征獲取模塊得到的顏色特征信 息及Kalman預(yù)估模塊的預(yù)估值,初始化搜索窗口的大小、質(zhì)心位置或搜索方向;目標(biāo)位置確定模塊,用于根據(jù)特征融合狀態(tài)估計模塊的估計值通過迭代運算得到 當(dāng)前幀的目標(biāo)位置。進一步的,本發(fā)明的基于雙感興趣區(qū)域的運動目標(biāo)視覺跟蹤系統(tǒng)還包括運動目標(biāo) 狀態(tài)確定模塊,用于判斷出目標(biāo)跟蹤窗口的狀態(tài),若跟蹤窗口在視窗內(nèi)且兩窗口之間的質(zhì) 心位置大于一定的閾值,則判斷其發(fā)生偏離和丟失。有益效果與現(xiàn)有技術(shù)相比,本發(fā)明簡單有效,在不犧牲原有算法效率的同時,增加了跟蹤的 快速性和穩(wěn)健性并能實現(xiàn)目標(biāo)的再定位。它的關(guān)鍵在于采用了雙ROI模型,實現(xiàn)了對跟蹤 區(qū)域的窗口分離判別,適應(yīng)于不同的場景,取得了良好的跟蹤效果,尤其適用于目標(biāo)被部分 遮擋或目標(biāo)環(huán)境中有大面積相似色干擾的情況;引入Kalman預(yù)估器模型提高了 CAMSHIFT 算法的速度,通過對Kalman預(yù)估器速度信息的利用可以有效地解窗口內(nèi)遮擋及再定位問 題;目標(biāo)移出視頻窗口后通過定義速度信息,使搜索窗口獲得一定的搜索方向和速度,從而 實現(xiàn)目標(biāo)再入窗口后的快速定位。本文給出了當(dāng)目標(biāo)丟失后的再入定位圖和目標(biāo)受到相似 色干擾時的跟蹤效果圖,如圖5所示。利用本發(fā)明進行視覺跟蹤,即可以作為跟蹤結(jié)果,也可以作為視覺理解和分析的 中間結(jié)果。本發(fā)明具有廣泛的應(yīng)用領(lǐng)域和前景,可以在交通監(jiān)控、工業(yè)檢測、醫(yī)學(xué)研究、軍事 偵查、導(dǎo)航制導(dǎo)、虛擬現(xiàn)實、視覺伺服等眾多領(lǐng)域得到應(yīng)用。以安全領(lǐng)域的視頻監(jiān)控為例,若 把此技術(shù)應(yīng)用現(xiàn)有的視頻監(jiān)控系統(tǒng)就能實現(xiàn)對目標(biāo)的主動跟蹤,從而省掉安防監(jiān)控人員的 大量時間和減輕他們的勞動負荷強度。
圖1為本發(fā)明實施例基于雙ROI模型的視覺跟蹤結(jié)構(gòu)示意圖;圖2為本發(fā)明實施例基于雙ROI模型的視覺跟蹤方法的原理性流程圖;圖3為運用圖2所示的原理進行目標(biāo)跟蹤的一個具體實施例的方法流程圖;圖4為本發(fā)明雙ROI模型示意圖5a_f為本發(fā)明所提出的雙ROI模型對目標(biāo)在受大面積相似色干擾時的跟蹤效 果圖及目標(biāo)移出視頻窗口的再入定位效果圖。
具體實施方案下面結(jié)合附圖對技術(shù)方案的實施作進一步的詳細描述參看圖1為本發(fā)明實施例基于雙ROI模型的視覺跟蹤示意圖,該系統(tǒng)包含雙ROI 區(qū)域顏色信息獲取模塊11、特征融合及狀態(tài)估計模塊12、Kalman預(yù)估模塊13和目標(biāo)位置 確定模塊14。雙ROI區(qū)域顏色信息獲取模塊11,獲取感興趣區(qū)域的顏色信息,傳送給特征融合 及狀態(tài)估計模塊12,其中雙ROI模型的選取規(guī)則詳見步驟21.Kalman預(yù)估模塊13,獲取目標(biāo)的預(yù)測位置和速度信息,傳送給特征融合及狀態(tài)估 計模塊12,其傳送的特征信息受窗口狀態(tài)的影響,具體見步驟22.特征融合及狀態(tài)估計模塊12,根據(jù)窗口的狀態(tài)和獲得的特征信息初始化搜索窗口 的大小、質(zhì)心位置或搜索方向和動力。其中窗口的狀態(tài)判斷詳見步驟25處的描述。目標(biāo)位置確定模塊14,通過迭代運算獲得當(dāng)前幀的雙ROI區(qū)域所確定的目標(biāo)位置 信息,并根據(jù)雙ROI窗口中心位置關(guān)系判斷兩個跟蹤窗口的狀態(tài)。這些狀態(tài)信息包括兩個 跟蹤窗口是否發(fā)生分離,是否發(fā)生目標(biāo)丟失,具體判別準(zhǔn)則詳見步驟25.參看圖2,為本發(fā)明實施例基于雙ROI模型的視覺跟蹤方法的原理性流程圖,該方 法包括以下步驟步驟21,獲取雙ROI區(qū)域顏色信息。其具體過程如下首先,在一段視頻序列的第一幀中確定兩個跟蹤窗口,所述跟蹤窗口包括目標(biāo)區(qū) 域,所述目標(biāo)區(qū)域包含跟蹤的對象,跟蹤窗口形狀根據(jù)目標(biāo)的形狀進行設(shè)置。本文模型建立 如圖4所示。當(dāng)Camshift#0選定R0I#0作為搜索匹配區(qū)域后,將R0I#0設(shè)為Camshift#l 的不感興趣區(qū)域,同時設(shè)定Camshift#l對R0I#1的跟蹤,并將R0I#1設(shè)為Camshift#0的不 感興趣區(qū)域,以上設(shè)定的目的在于讓一個跟蹤器對另一個跟蹤器所關(guān)心的區(qū)域互斥。然后,對于自第二幀起的每一幀,獲得前一幀兩個跟蹤區(qū)域的顏色特征概率分布 圖。步驟22,獲取Kalman預(yù)估位置、速度信息。具體時實現(xiàn)方法如下系統(tǒng)的狀態(tài)方程和觀測方程可以表示為X(k) = AX(k-l)+ff(k)(1)Z (k) = HX (k) +V (k)(2)其中X(k)為系統(tǒng)在k時刻的狀態(tài)向量,Z(k)為k時刻的系統(tǒng)狀態(tài)測量向量,W(k) 和V(k)分別為正態(tài)分布的狀態(tài)噪聲和測量噪聲,且服從P (W) N(0,Q),P(V) N(0,R)* 布,其中Q為狀態(tài)噪聲的協(xié)方差矩陣,R為測量噪聲的協(xié)方差矩陣。Camshift方法的視覺跟 蹤中,由于相鄰幀圖像的間隔時間較短,目標(biāo)運動變化較小,近似為目標(biāo)在兩幀之間做勻速 運動,本文采用等勻速運動建模,定義狀態(tài)向量和測量向量為 X(k) = [x(k),y(k),x(k),y(k)fZ(k) = [x(k),y(k)]T其中x(k)和y (k)表示目標(biāo)重心在視覺窗X軸和Y軸上的位置,對幻和K幻表示相應(yīng)的速度。系統(tǒng)狀態(tài)矩陣A和測量矩陣H參照X(k)和Z(k),有
為采樣時間。
T為采樣時間。Kalman濾波器在此的預(yù)測和校正兩個階段為更新階段X (k |k-l) = AX(k-l |k-l)P (k |k-l) = AP(k-l |k-l)AT+Q校正階段Kg (k) = P (k |k-l) Ht/ (HP (k I k-1) HT+R)X(kI k) = X(kI k-1) +Kg(k) (z(k)-HX(k k-1))P (k I k) = (I-Kg (k) H) P (k I k-i)
\1/ \1/ Ni/ 6 7 5 /l\ /l\
⑶ ⑷以上公式(3)-(7)中,X(kI k-1)是利用上一狀態(tài)預(yù)測的結(jié)果,X(k-11 k-1)為k-1 時刻的最優(yōu)值,P (k I k-1)是先驗誤差相關(guān)矩陣,P (k-11 k-1)是前一步的后驗誤差相關(guān)矩 陣,Kg(k)為Kalman增益矩陣,Z (k)為給定的測量參數(shù)。該步要把預(yù)測狀態(tài)向量X(k | k_l) 中的位置信息(x(k|k-l),y(k|k-l))及相應(yīng)的速度信息傳送到步驟23處。步驟23,狀態(tài)融合、搜索窗口大小和質(zhì)心位置或搜索方向的狀態(tài)估計,原則上根據(jù) 前一幀的定位結(jié)果來預(yù)測當(dāng)前幀的搜索窗口的大小和位置。根據(jù)步驟25處的判斷結(jié)果,若目標(biāo)仍在視頻窗口內(nèi)且沒有發(fā)生分離(大面積相 似色干擾)和目標(biāo)丟失(遮擋情況),這時根據(jù)步驟22處傳來的位置信息(x(k|k-l), y (k I k-1))初始化Camshift搜索窗口的中心位置,并把Camshift算法輸出的重心位置作 為測量值校正Kalman預(yù)估器模型,進而得到Kalman最優(yōu)化估算值X (k | k),再將其應(yīng)用于 式(3)中,循環(huán)直到算法結(jié)束;若目標(biāo)仍在視頻窗口內(nèi)但是發(fā)生了分離或目標(biāo)丟失情況,由 于相鄰幀圖像的間隔時間較短,目標(biāo)運動變化較小,近似為目標(biāo)在兩幀之間做勻速運動,可 以用相應(yīng)的速度信息線性預(yù)測目標(biāo)在當(dāng)前幀中可能出現(xiàn)的位置,具體實現(xiàn)見步34處;若目 標(biāo)移出到視頻窗口之外,當(dāng)搜索窗口與視窗碰撞后仍未搜索到目標(biāo)時,這時賦予運動窗口 新的速度信息
(8) 其中(xm(k),ym(k))為搜索窗口與視頻窗口發(fā)生碰撞時搜索窗口的中心坐標(biāo),(X1, Y1)為窗口碰撞后窗口將移向的點的坐標(biāo),(Xl,Y1)可以為視窗內(nèi)的隨機點,也可以預(yù)先設(shè)定。目標(biāo)的速度矢量給予目標(biāo)丟失或受相似色干擾后搜索(跟蹤)窗口對目標(biāo)搜索的 “方向”和“動力”,使得搜索窗口以目標(biāo)之前的運動方向和速度運動,以搜索丟失或受相似 色干擾的目標(biāo)。步驟24,根據(jù)狀態(tài)估計計算得到目標(biāo)質(zhì)心位置。根據(jù)步驟25的結(jié)果,若目標(biāo)沒有 丟失或跟蹤窗口沒有分離,按下述方法得到目標(biāo)的實際質(zhì)心位置。若目標(biāo)發(fā)生丟失或窗口出現(xiàn)分離則應(yīng)按相應(yīng)的速度信息首先完成目標(biāo)的捕捉。據(jù)概率分布圖及步驟23處傳來搜索窗口位置估計信息(X(k|k-1),y(k|k-l))通 過Camshift算法得到當(dāng)前幀的兩個跟蹤窗口的中心點坐標(biāo)。Camshift算法的核心過程包 括計算跟蹤窗口的零階矩(式10)和一階矩(式11和12)通過式(13),式(14)迭代計算 (x。,y。)坐標(biāo),直到該坐標(biāo)沒有明顯位移或迭代到最大次數(shù)時的坐標(biāo)就是當(dāng)前幀的跟蹤窗口 中心· xc = Μ10/Μ00(13)yc = Μ01/Μ00(14)步驟25,判斷搜索窗口的狀態(tài)。本視頻窗口大小是一定的,可以根據(jù)搜索窗口的中 心坐標(biāo)判斷其是否和視頻窗口發(fā)生碰撞。若碰撞則把碰撞時搜索窗口的中心坐標(biāo)(xm(k), ym(k))傳送到步驟23處;若目標(biāo)任然在視頻窗口內(nèi),但是發(fā)生了雙ROI跟蹤窗口分離或目 標(biāo)丟失的情況,則把步驟22處的速度信息(具體見步驟34)送到步23處,若沒有發(fā)生跟蹤 窗口的分離和目標(biāo)丟失的情況,則把步驟22處的位置信息送到步23處。下面給出窗口分 離或丟失的判別準(zhǔn)則采用四維向量將R0I#0和R0I#1分別表示為(xd, yd, wd, hd)和(xu, yu,wu, hu),其 中(xd, yd),(xu,yu)為 R0I#0 和 R0I#1 迭代窗口 的底左坐標(biāo),(wd, hd)和(wu,hu)為 R0I#0 和 R0I#1迭代窗口的寬度和高度,本文初始設(shè)定Wd = wu, hd = 3hu。通過雙ROI模型對目標(biāo)進行跟蹤,根據(jù)兩窗口中心的位置關(guān)系判斷兩個跟蹤窗口 是否發(fā)生分離或丟失
(15)其中(xdc,ydc),(xuc,yuc)分別為Camshift#0 與 Camshift#l 跟蹤區(qū)域的中心坐標(biāo), E為閾值。若式(15)成立,說明Camshift#0與Camshift#l有較好的穩(wěn)健性。若式(15)不成立,說明其中一個跟蹤窗口發(fā)生偏離或丟失,此時考慮目標(biāo)幀間運 動的連續(xù)性,相鄰兩幀的運動變化不會太大,則當(dāng)前幀與上一幀的中心位置變化不會太大。
(16)
(17)若以上兩式成立,說明Camshift#l跟蹤區(qū)域發(fā)生偏離或丟失,根據(jù)步驟23調(diào)整 Camshift#l的跟蹤方向和區(qū)域。
(18)
(19) 若以上兩式成立,說明Camshift#0跟蹤區(qū)域發(fā)生偏離或丟失,調(diào)整Camshift#0的 跟蹤方向和區(qū)域。式(16)-(19)中(xdc(k), yd。(k)),(xuc(k), yuc(k))分別為 Camshift#0與Camshift#l跟蹤區(qū)域當(dāng)前幀跟蹤窗口的中心坐標(biāo),(xdc(k-1), yd。(k_l)),(xu。(k_l), yuc(k-l))分別為Camshift#0與Camshift#l前一幀跟蹤窗口的中心坐標(biāo)。上述方案為本發(fā)明視覺跟蹤方法的基本原理。圖2中步21-23為本發(fā)明獲得運動 特征信息和顏色信息進行融合獲得狀態(tài)估計的過程,步24是運用Camshift算法獲得目標(biāo) 位置的運算過程,步25為窗口狀態(tài)判別過程,它決定了步23采用何種有用信息。下面結(jié)合 圖3所示的具體實施例,對圖2所屬的方法進行詳細說明。參看圖3,為運用圖2所示原理進行視覺跟蹤的一個具體實施例的方法流程圖,該 方法包括以下步驟步驟31,選擇初始窗口。在視頻序列的第一幀中確定兩個跟蹤窗口,跟蹤窗口的大小、形狀及分布根據(jù)被 跟蹤目標(biāo)的大小、形狀等特征由操作者自己確定.將兩個跟蹤窗口上下分布,矩形紅色框 為Camshift#0跟蹤區(qū)域,藍色框為Camshift#l跟蹤區(qū);步驟32,獲取雙ROI區(qū)域顏色信息。將RGB圖像轉(zhuǎn)換到HSV顏色空間,經(jīng)過圖像去噪處理,自第二幀起的每一幀,獲得 前一幀兩個跟蹤區(qū)域的顏色特征概率分布圖。步驟33,獲取Kalman預(yù)估值或獲得丟失目標(biāo)時的位置和速度信息。把相應(yīng)的預(yù)測狀態(tài)向量X(k|k-1)中的位置估計信息(x(k|k-l),y(k|k_l)),位置 校正信息X(k-Ι),y (k-Ι)傳送到步驟34處。狀態(tài)向量的獲得可按照步驟22處的方法獲 得,本實驗中取=Q = diag(881616),R = diag(0. 10. 2),PO = diag(llll),PO 為初始誤差
方差矩陣。步驟34,狀態(tài)融合、估計搜索窗口大小、質(zhì)心位置或確定搜索窗口的搜索方向。若目標(biāo)仍在視頻窗口內(nèi)且沒有發(fā)生跟蹤窗口分離和目標(biāo)丟失,根據(jù)步33處的位 置信息(x(k|k-l),y(k|k-l))初始化Camshift搜索窗口的中心位置;若目標(biāo)仍在視頻窗口 內(nèi)但是發(fā)生了分離或目標(biāo)丟失情況,可以用速度信息((20)-(21)式)線性預(yù)測目標(biāo)在當(dāng)前 幀中可能出現(xiàn)的位置;若目標(biāo)移出到視頻窗口之外,當(dāng)搜索窗口與視窗碰撞后仍未搜索到 目標(biāo)時,這時賦予運動窗口新的速度信息如步驟23處的(8)-(9)式所示。朔二釋-I廣(“(20)涉遲―-”(21)其中,T為兩幀圖像采集的時間間隔。步驟35,計算得到目標(biāo)質(zhì)心位置。如步驟24處所示,根據(jù)搜索窗口位置估計信息(x (k I k-1), y(k|k-l))通過 Camshift算法得到當(dāng)前幀的兩個跟蹤窗口的中心點坐標(biāo);若窗口內(nèi)發(fā)生丟失或干擾則按 步驟34處的速度信息按= + ㈨線性預(yù)測當(dāng)前幀的跟蹤窗口的中心點坐標(biāo);若 目標(biāo)移出窗口則按步驟23處的速度方向進行搜索。本實施例中跟蹤窗口中心坐標(biāo)χ。和y。 的值變化小于1或迭代到最大次數(shù)10次時的坐標(biāo)就是當(dāng)前幀的目標(biāo)質(zhì)心位置。步驟36,判斷雙ROI區(qū)域搜索窗口的狀態(tài)。根據(jù)步驟25處所述,獲取兩個跟蹤窗口中心坐標(biāo)(xd。,ydc),(xuc, yuc),判斷是否和 視頻窗口(視窗為320X240像素窗口)發(fā)生碰撞,因視頻窗口邊緣位置噪聲強,容易被搜索窗口判斷為“目標(biāo)”,本實施例中設(shè)定“碰撞邊緣余度”為3像素。若碰撞,獲得搜索窗口 與視頻窗口發(fā)生碰撞時搜索窗口的中心坐標(biāo)((xm(k),ym(k)),并設(shè)定窗口碰撞后窗口將移 向的點的坐標(biāo)(X1, yi),本文設(shè)定為視頻窗口的中心。若沒有碰撞,則根據(jù)(15)-(19)式判 別跟蹤窗口是否發(fā)生分離或丟失,其中E值可根據(jù)視頻窗口和目標(biāo)大小設(shè)定,然后把其狀 態(tài)送到步驟34處進行狀態(tài)的估計。參看圖5a_f,為本發(fā)明實施例基于雙感興趣區(qū)域的運動目標(biāo)跟蹤方法的跟蹤過程 示意圖。圖5中的a為初始化的雙ROI區(qū)域跟蹤窗口 ;圖b為目標(biāo)受到相似色干擾時的跟 蹤效果圖,從圖中可以看出,由于受到相似色的干擾,藍色跟蹤窗口有發(fā)散的跡象,但是由 于本文采用了雙ROI區(qū)域模型及相應(yīng)的分離調(diào)整準(zhǔn)則,可以使發(fā)散的跟蹤窗口不斷的得到 調(diào)整,從而避免了跟蹤窗口鎖定到干擾色上停止跟蹤這種情況的發(fā)生,調(diào)整后的跟蹤效果 如圖c、d所示;圖e為目標(biāo)移出視頻窗口且跟蹤窗口和視頻窗口發(fā)生碰撞后跟蹤窗口的搜 索方向示意圖;圖f為目標(biāo)再入視頻窗口后,跟蹤窗口對目標(biāo)的捕捉定位及跟蹤示意圖。本發(fā)明的保護范圍不限于上述的實施例。
權(quán)利要求
一種基于雙感興趣區(qū)域的運動目標(biāo)視覺跟蹤方法,其特征在于,該方法根據(jù)目標(biāo)的運動信息和跟蹤目標(biāo)的雙ROI區(qū)域的顏色概率分布得到基于雙ROI區(qū)域顏色信息和運動狀態(tài)信息融合的狀態(tài)估計,進而實現(xiàn)目標(biāo)的快速實時跟蹤及再入定位,具體步驟包括步驟21,獲取雙ROI區(qū)域顏色信息;步驟22,采用Kalman濾波器獲取運動目標(biāo)的預(yù)估值信息;步驟23,狀態(tài)融合、得到搜索窗口或搜索方向的初始化狀態(tài)估計;步驟24,根據(jù)步驟23所述的狀態(tài)估計結(jié)果,計算得到目標(biāo)質(zhì)心位置;步驟25,根據(jù)步驟24得到的雙ROI區(qū)域目標(biāo)質(zhì)心位置,判斷運動目標(biāo)的狀態(tài),并將判決結(jié)果送至步驟23;步驟26,循環(huán)執(zhí)行步驟21 25從而實現(xiàn)連續(xù)幀中動態(tài)目標(biāo)的跟蹤,直至退出。
2.根據(jù)權(quán)利要求1所述的基于雙感興趣區(qū)域的運動目標(biāo)視覺跟蹤方法,其特征在于所 述獲取ROI區(qū)域顏色信息的具體過程如下步驟A,在一段視頻序列的第一幀中確定兩個跟蹤窗口,所述跟蹤窗口包括目標(biāo)區(qū)域, 所述目標(biāo)區(qū)域包含跟蹤的對象,跟蹤窗口形狀根據(jù)目標(biāo)的形狀進行設(shè)置;選定R0I#0作為Camshift#0搜索匹配區(qū)域后,將R0I#0設(shè)為Camshift#l的不感興趣區(qū) 域,同時設(shè)定Camshift#l對R0I#1的跟蹤,并將R0I#1設(shè)為Camshift#0的不感興趣區(qū)域; 步驟B,對于自第二幀起的每一幀,獲得前一幀兩個跟蹤區(qū)域的顏色特征概率分布圖。
3.根據(jù)權(quán)利要求1所述的基于雙感興趣區(qū)域的運動目標(biāo)視覺跟蹤方法,其特征在于所 述步驟22中獲取預(yù)估值信息的實現(xiàn)方法如下步驟C,建立運動目標(biāo)的狀態(tài)方程和觀測方程如下 X(k) = AX(k-l)+ff(k)(1) (2)其中X(k)為系統(tǒng)在k時刻的狀態(tài)向量,Z(k)為k時刻的系統(tǒng)狀態(tài)測量向量,k為 自然數(shù);W(k)和V(k)分別為正態(tài)分布的狀態(tài)噪聲和測量噪聲,且W(k)和V(k)均服從 P(W(k)) N(0,Q),P(V(k)) N(0,R)分布,其中Q為狀態(tài)噪聲的協(xié)方差矩陣,R為測量噪 聲的協(xié)方差矩陣;定義狀態(tài)向量和測量向量為 其中x(k)和y(k)表示目標(biāo)重心在視覺窗X軸和Y軸上的位置,i(幻和K幻表示相應(yīng)的 速度,系統(tǒng)狀態(tài)矩陣A和測量矩陣H參照X (k)和Z (k),有 T為采樣時間步驟D,采用Kalman濾波器方程預(yù)測位置信息(x (k | k_l),y (k | k_l)) 更新階段X (k |k-l) = AX(k-l|k-l)(3)P (k |k-l) = AP (k-l|k-l)AT+Q(4)校正階段 以上公式(3)-(7)中,X(kI k-l)是利用上一狀態(tài)預(yù)測的結(jié)果,X(k-l I k-l)為k-l時 刻的最優(yōu)值,P (k I k-l)是先驗誤差相關(guān)矩陣,P (k-l I k-l)是前一步的后驗誤差相關(guān)矩陣, Kg(k)為Kalman增益矩陣,Z (k)為給定的測量參數(shù);將預(yù)測狀態(tài)向量X(k|k-1)中的位置信息(x(k|k-l), y(k|k-l))即運動目標(biāo)的預(yù)估值 信息傳送到步驟23。
4.根據(jù)權(quán)利要求1所述的基于雙感興趣區(qū)域的運動目標(biāo)視覺跟蹤方法,其特征在于所 述步驟23中獲取搜索窗口或搜索方向的初始化狀態(tài)估計的實現(xiàn)方法如下根據(jù)上一輪步驟25處得到的目標(biāo)運動狀態(tài)判斷結(jié)果,若目標(biāo)沒有丟失和分離則采用 狀態(tài)估計方法,根據(jù)預(yù)估值和前一幀的搜索窗的大小來初始當(dāng)前幀的搜索窗口的大小和位 置;若目標(biāo)在視頻窗口內(nèi)發(fā)生丟失和分離則根據(jù)前一幀的搜索窗的大小和位置來初始當(dāng) 前幀的搜索窗口的大小和位置并賦予發(fā)生分離的窗口一定的速度信息來線性預(yù)測目標(biāo)在 當(dāng)前幀中可能出現(xiàn)的位置;若目標(biāo)移出搜索窗口則按規(guī)定的速度信息來初始化搜索方向。
5.根據(jù)權(quán)利要求4所述的基于雙感興趣區(qū)域的運動目標(biāo)視覺跟蹤方法,其特征在于 E,所述當(dāng)目標(biāo)在視頻窗口內(nèi)發(fā)生丟失和分離時賦予分離窗口一定的速度信息來線性預(yù)測目標(biāo)在當(dāng)前幀中可能出現(xiàn)的位置,其速度信息確定如下 其中,τ為兩幀圖像采集的時間間隔,(x (k I k-l), y(k|k-l))為搜索窗口位置估計信 息,(x(k-l), y(k-l))為上一幀目標(biāo)位置信息;F,所述若目標(biāo)移出搜索窗口則按規(guī)定的速度信息來初始化搜索方向,其中速度信息規(guī) 定如下 其中(xm(k),ym(k))為搜索窗口與視頻窗口發(fā)生碰撞時搜索窗口的中心坐標(biāo),(Xl,Y1) 為窗口碰撞后窗口將移向的點的坐標(biāo),(Xl,yi)為視窗內(nèi)的隨機點,或預(yù)先設(shè)定。
6.根據(jù)權(quán)利要求5所述的基于雙感興趣區(qū)域的運動目標(biāo)視覺跟蹤方法,其特征在于所 述計算獲取目標(biāo)質(zhì)心位置的實現(xiàn)方法如下G,若目標(biāo)沒有發(fā)生偏離或丟失則按Camshift算法得到目標(biāo)的質(zhì)心位置; H,若目標(biāo)在視頻窗口內(nèi)發(fā)生了丟失和偏離則可以用式(8)-(9)線性預(yù)測目標(biāo)在當(dāng)前 幀中可能出現(xiàn)的位置,具體質(zhì)心位置計算公式如下x{k +1) = x{k) + Tx{k)(12)其中x(k+l)為k+1幀的目標(biāo)質(zhì)心位置,x(k)為第k幀的目標(biāo)質(zhì)心位置,iR)為第k幀 的目標(biāo)質(zhì)心速度,T為兩幀圖像采集的時間間隔;I,若目標(biāo)移出了視頻窗口,則按式(IO)-(Il)賦予的搜索方向不斷進行搜索,直到搜 索到目標(biāo)為止。
7.根據(jù)權(quán)利要求1所述的基于雙感興趣區(qū)域的運動目標(biāo)視覺跟蹤方法,其特征在于所 述步驟25中獲取運動目標(biāo)的狀態(tài)的實現(xiàn)方法如下J、通過雙ROI模型兩跟蹤窗口中心的位置關(guān)系判斷兩個跟蹤窗口是否發(fā)生分離或丟失(13)其中(Xdc Ydc),(xu。,yJ分別為Camshift#0與Camshift#l跟蹤區(qū)域的中心坐標(biāo),E為 閾值;K、通過雙ROI模型跟蹤窗口的質(zhì)心位置和視頻窗口的大小確定跟蹤窗口是否移出視頻窗口。
8.一種應(yīng)用權(quán)利要求1的基于雙感興趣區(qū)域的運動目標(biāo)視覺跟蹤系統(tǒng),其特征在于 該系統(tǒng)包括雙ROI區(qū)域顏色特征獲取模塊、Kalman預(yù)估模塊,特征融合及狀態(tài)估計模塊、目 標(biāo)位置確定模塊,其中雙ROI區(qū)域顏色特征獲取模塊,用于獲取雙ROI區(qū)域的顏色特征信息,并傳送給特征融 合及狀態(tài)估計模塊;Kalman預(yù)估模塊,用于根據(jù)質(zhì)心位置預(yù)測值和當(dāng)前時刻的位置觀測值得到下一幀的預(yù) 估值,并將之傳送給特征融合及狀態(tài)估計模塊;特征融合狀態(tài)估計模塊,用于將雙ROI區(qū)域顏色特征獲取模塊得到的顏色特征信息及 Kalman預(yù)估模塊的預(yù)估值,初始化搜索窗口的大小、質(zhì)心位置或搜索方向;目標(biāo)位置確定模塊,用于根據(jù)特征融合狀態(tài)估計模塊的估計值通過迭代運算得到當(dāng)前 幀的目標(biāo)位置。
9.根據(jù)權(quán)利要求8所述的基于雙感興趣區(qū)域的運動目標(biāo)視覺跟蹤系統(tǒng),其特征在于 還包括運動目標(biāo)狀態(tài)確定模塊,用于判斷出目標(biāo)跟蹤窗口的狀態(tài),若跟蹤窗口在視窗內(nèi)且 兩窗口之間的質(zhì)心位置大于一定的閾值,則判斷其發(fā)生偏離和丟失。
全文摘要
本發(fā)明提供一種基于雙感興趣區(qū)域的運動目標(biāo)視覺跟蹤方法及基于該方法的系統(tǒng),屬于信息技術(shù)領(lǐng)域,特別適用于智能視頻監(jiān)控。本發(fā)明的方法根據(jù)目標(biāo)的運動信息和當(dāng)前跟蹤目標(biāo)的雙ROI區(qū)域的顏色概率分布得到基于雙ROI區(qū)域顏色信息和運動狀態(tài)信息融合的狀態(tài)估計;系統(tǒng)包括雙ROI區(qū)域顏色特征獲取模塊、Kalman預(yù)估模塊,特征融合及狀態(tài)估計模塊、目標(biāo)位置確定模塊。與現(xiàn)有技術(shù)相比,本發(fā)明簡單有效,在不犧牲原有算法效率的同時,增加了跟蹤的快速性和穩(wěn)健性并能實現(xiàn)目標(biāo)丟失后的再入定位。
文檔編號H04N7/18GK101894378SQ20101020035
公開日2010年11月24日 申請日期2010年6月13日 優(yōu)先權(quán)日2010年6月13日
發(fā)明者喬兵, 李志成, 胡鵬, 連紅森 申請人:南京航空航天大學(xué)