基于軌跡約束的航拍視頻目標自動檢測跟蹤方法
【專利摘要】本發(fā)明涉及一種基于軌跡約束的航拍視頻目標自動檢測跟蹤方法，首先，利用前向圖像及前向圖像的運動信息自動完成航拍圖像上的運動目標檢測；其次，利用軌跡約束的方式去除檢測結(jié)果上包含的因視差造成的靜止目標誤檢測；最后，通過運動軌跡信息的統(tǒng)計，分析出真實運動目標的跟蹤結(jié)果并去除噪聲目標的影響，從而完成航拍視頻目標自動檢測跟蹤，檢測跟蹤結(jié)果準確率達到80％以上。
【專利說明】基于軌跡約束的航拍視頻目標自動檢測跟蹤方法

【技術(shù)領域】
[0001]本發(fā)明涉及一種在線航拍視頻目標自動檢測跟蹤方法，特別是涉及一種基于軌跡約束的航拍視頻目標自動檢測跟蹤方法。

【背景技術(shù)】
[0002]利用運動目標在空間及時間上連貫的運動特性，自動、有效地把運動目標從復雜的航拍視頻圖像中檢測出來并進行魯棒的在線目標跟蹤，具有非常重要的意義?，F(xiàn)有的航拍視頻目標自動檢測跟蹤方法主要有:基于背景差分的航拍視頻目標檢測跟蹤方法和基于運動特性統(tǒng)計的航拍視頻目標檢測跟蹤方法。
[0003]文獻“Moving object localizat1n in thermal imagery by forward-backwardMH1.Computer Vis1n and Pattern Recognit1n Workshop, 133-140, 2006.，，公開了一種基于前向后向運動歷史圖像的航拍視頻目標檢測及定位跟蹤方法。該方法通過構(gòu)造前向的運動信息幀差圖像及后向的運動信息幀差圖像獲取不同時間段的運動目標信息，并在兩個圖像的融合基礎上完成自動的航拍視頻運動目標檢測。但是該方法主要是基于圖像的灰度幀差信息進行統(tǒng)計，統(tǒng)計的結(jié)果為圖像上的像素級灰度信息變化。當無人機利用視頻傳感器進行高空航拍獲取對地視頻圖像時，會把三維的空間信息轉(zhuǎn)化到二維的圖像信息，導致圖像深度信息的缺失。利用基于前向后向運動歷史圖像的航拍視頻目標檢測及定位跟蹤方法除了檢測到實際的運動目標對像外，還包含了大量因為景深高度視差造成的靜止對像。無人機對地觀測的數(shù)據(jù)采用地面作為基平面，因此由景深高度視差造成的視差靜止目標會產(chǎn)生不同于地面的二維圖像運動軌跡。因此，基于前向后向運動歷史圖像的航拍視頻目標檢測及定位跟蹤方法的檢測會因為把靜止目標檢測為運動目標而造成大量的虛警，為后續(xù)的定位跟蹤帶來了很大的挑戰(zhàn)。


【發(fā)明內(nèi)容】

[0004]要解決的技術(shù)問題
[0005]為了避免現(xiàn)有技術(shù)的不足之處，本發(fā)明提出一種基于軌跡約束的航拍視頻目標自動檢測跟蹤方法。
[0006]技術(shù)方案
[0007]一種基于軌跡約束的航拍視頻目標自動檢測跟蹤方法，首先構(gòu)造前向圖像及后向圖像，并融合兩個圖像上的運動信息形成當前處理圖像從而自動完成圖像上的運動目標檢測，包括實際的運動目標及由視差造成的靜止目標；其次，利用反向投影矩陣，計算每一個像素在前向圖像上的對應像素獲取每一個像素的運動軌跡；最后，利用相機的極面成像原理計算軌跡約束矩陣，分析出真實運動目標的跟蹤結(jié)果并去除因視差造成的靜止目標的影響，其特征在于步驟如下:
[0008]步驟1:首先通過角點檢測和非極大值抑制的方法對前向圖像If中的第t幀圖像/f和第t-Λ幀廣。四像進行特征點提取，Λ彡1，并利用RANSAC方法去除兩幀圖像上的外點；然后利用光流特征計算方法獲取第t幀前向圖像If的運動仿射矩陣A)，最后由構(gòu)造圖像/〖△和/f之間的仿射變化關系:
[0009]//' =f1:,_v,x/;:AO)
[0010]采用增量計算的方式替代直接計算和/F的運動仿射矩陣A):
[0011]pUJ-A) = Kr-Ux PU-U-2)X'''XPU-A+U-A)(2)
[0012]其中，是/f—dP/f的運動仿射矩陣，ff—+2>是/f—,和/二的運動仿射矩陣， Λ+u—&是/\的運動仿射矩陣；
[0013]步驟2:通過兩幀圖像獲取前向圖像If在t幀的幀差運動圖像:
[0014]D(W)F=|/「-/「I(3)
[0015]步驟3:根據(jù)A)和D(x, y, t)F構(gòu)造出前向圖像H(x, y, t)F并利用高斯濾波函數(shù)進行平滑處理消除噪點；采用同樣的方法計算后向圖像Ib第t幀的運動仿射矩陣Λ)和幀差運動圖像D(X，y，t)B構(gòu)造出后向圖像H(X，y, t)B:
[0016]

【權(quán)利要求】
1.一種基于軌跡約束的航拍視頻目標自動檢測跟蹤方法，其特征在于步驟如下: 步驟1:首先通過角點檢測和非極大值抑制的方法對前向圖像If中的第t幀圖像第t-Λ幀圖像進行特征點提取，△ >1，并利用RANSAC方法去除兩幀圖像上的外點；然后利用光流特征計算方法獲取第t幀前向圖像If的運動仿射矩陣，最后由構(gòu)造圖像/^△和//7之間的仿射變化關系:
采用增量計算的方式替代直接計算/^和/f的運動仿射矩陣Α):
其中，<⑼是/f—,和/f的運動仿射矩陣，是和/^1的運動仿射矩陣，< Λ, Μ-Λ)是/f—Λ+丨和? Λ的運動仿射矩陣； 步驟2:通過兩幀圖像/f—A和J；7獲取前向圖像^在t幀的幀差運動圖像:
步驟3:根據(jù)f；；—Λ)和D(x，y, t)F構(gòu)造出前向圖像H(x，y, t)F并利用高斯濾波函數(shù)進行平滑處理消除噪點；采用同樣的方法計算后向圖像Ib第t幀的運動仿射矩陣和幀差運動圖像D(X，y, t)B構(gòu)造出后向圖像H(X，y, t)B:
其中，x，y分別代表圖像的像素坐標，d為衰減值參數(shù)，TF、Tb為閾值； 步驟4:將前向圖像H (X，y, t)F和后向圖像H (X，y, t) B進行二值融合關聯(lián):
H (X，y) t = max (H (x, y, t)F, H (x, y, t)B) (6) 并記H(x, y)t圖像上的所有像素值為255的待檢測像素點為Θ, (ZHlwy)l ； 步驟5:利用前向圖像的運動仿射矩陣反向計算第t幀每一個待檢測點Pt =(xt, yt) e Ot在第t-1幀圖像中對應的像素點位置:
步驟6:在以Pw為中心、β為半徑的圖像范圍點集Q內(nèi)，利用區(qū)域范圍搜索函數(shù)F(pt_1, β)尋找與Pt具有最大相似度的像素坐標點P’η，作為Pt在第t-Ι幀的實際對應像素點，并設定向量參數(shù)ε (p’ t_1； pt)作為pt在第t-Ι幀與第t幀的運動軌跡；F (pt_!, β ) = maxf (Ph, q) (8)
其中，q e Q = {q I I(Pw)-Kq) | | < β}，I(Pw)表示以Pw為中心點的3 X 3像素大小的塊圖像，l(q)表示以q為中心點的3X3像素大小的塊圖像，Pp(i)和Pq(i)分別表示I (Pm)和I (q)的直方圖統(tǒng)計，N固定取值255 ； 步驟7:利用軌跡相似函數(shù)K (ε (p’t_i，Pt))計算第t幀每一個待檢測點pt的軌跡ε (P’H，Pt)與所有待檢測點的軌跡的關聯(lián)相似性，根據(jù)相似值為I或O判斷運動目標像素點隼O f 和靜止場景點集
其中，ε ρ表示待檢測點pt的軌跡ε (p’ t_1； pt)，ε ^ ε j分別表示第t幀所有待檢測點中每一個待檢測點的軌跡，當K (ερ) =1時，凡〔?，"，當Κ (ερ) =0時， 步驟8:采用最近臨聚類的方式，將運動目標像素點集中每一個像素點的運動軌跡ε (ρ’Η,ρ,)進行聚類合并生成圖像運動目行O軌跡ε (CV1^t)； 步驟9:對運動目檸0的運動軌跡ε (Cv1, ot)進行判斷；如果運動目行Oi的運動軌跡是非線性的，則該運動目標為虛假運動目標；如果運動目標的運動軌跡ε (CV1^t)是線性的，則該運動目標為真實運動目標；根據(jù)真實運動目標的連續(xù)軌跡，完成航拍視頻目標自動檢測跟蹤。
2.根據(jù)權(quán)利要求1所述的基于軌跡約束的航拍視頻目標自動檢測跟蹤方法，其特征在于所述的衰減值參數(shù)d的取值范圍為[10，30]，閾值Tf的取值范圍為[100，150]，閾值Tb的取值范圍為[100，150]。
3.根據(jù)權(quán)利要求1所述的基于軌跡約束的航拍視頻目標自動檢測跟蹤方法，其特征在于所述的β的取值范圍為[0.1，3]。
【文檔編號】G06T7/20GK104200492SQ201410421654
【公開日】2014年12月10日 申請日期:2014年8月25日 優(yōu)先權(quán)日:2014年8月25日
【發(fā)明者】張艷寧, 楊濤, 陳挺 申請人:西北工業(yè)大學