一種基于壓縮感知的實時多尺度目標跟蹤方法
【專利摘要】本發(fā)明公開了一種基于壓縮感知的實時多尺度目標跟蹤方法。通過提取采樣圖像的歸一化矩形特征對樣本建模，歸一化矩形特征對多尺度目標跟蹤具有較強魯棒性。由于歸一化矩形特征維數(shù)很高，發(fā)明基于壓縮感知對高維特征壓縮，提取尺度不變壓縮特征向量并利用積分圖使得計算復雜度大大降低，以滿足實時跟蹤的需要。利用樸素貝葉斯分類器對樣本的壓縮特征向量分類以確定目標最可能位置，并利用分類器響應估計粒子權重、對粒子進行重采樣以防止粒子跟蹤能力退化，同時考慮目標運動速度因素利用二階模型估計和預測粒子狀態(tài)。本發(fā)明所述方法對視頻圖像中的目標能夠實時跟蹤、準確性高、計算復雜度低且跟蹤框實時隨著目標尺度變化，符合實際跟蹤應用的需要。
【專利說明】一種基于壓縮感知的實時多尺度目標跟蹤方法
【技術領域】
[0001]本發(fā)明涉及一種基于壓縮感知的實時多尺度目標跟蹤方法，屬于計算機視覺【技術領域】。
【背景技術】
[0002]視頻圖像運動目標跟蹤是計算機視覺中最為重要的一項課題，在目標監(jiān)督，運動檢測和識別，醫(yī)藥圖像領域均具有十分廣泛的應用。跟蹤的任務是在視頻起始幀中目標狀態(tài)已知的條件下，估計后續(xù)視頻幀中目標狀態(tài)信息的過程。視頻圖像運動目標跟蹤通常被描述成為動態(tài)狀態(tài)估計問題。根據(jù)應用的不同，目標的狀態(tài)信息一般為目標的運動學特征，如位置坐標，目標尺度等。雖然國內外研究人員經(jīng)過多年的研究對視頻圖像目標跟蹤問題已提出了多種解決方案，但由于影響跟蹤的因素比較多，如目標姿態(tài)調整，光照變化導致目標外觀特性改變，目標遮擋，目標尺度改變，非剛性目標形變，運動模糊，目標快速移動，目標旋轉，背景干擾等，實現(xiàn)實時可靠的視頻目標跟蹤仍然面臨諸多挑戰(zhàn)。
[0003]總體來講，視頻目標跟蹤方法可以分為兩大類:統(tǒng)計跟蹤方法和確定性跟蹤方法。確定性跟蹤方法通過最大化目標模型和候選樣本之間的相似性度量來獲取當前視頻幀中的目標狀態(tài)位置。最為常用的度量目標模型與當前圖像樣本之間相似性的方法是差值平方和(SSD)，這種度量方式雖然簡單，但往往魯棒性較差，為此提出了各種改進方式如基于均值漂移算法以及優(yōu)化算法以尋找最優(yōu)候選樣本。雖然改進后魯棒性得到大大提高，各種迭代搜索方式卻消耗了大量計算機資源，實時性無法得到保證。此外，在確定性跟蹤方法中，有多種方法對目標進行建模，如基于點的模型，基于輪廓的模型和基于核密度空間的模型等?；邳c的目標模型如利用尺度不變特征點(SIFT)對目標建模，然后利用這些尺度不變關鍵特征點來匹配原始目標和當前幀中的目標區(qū)域，同時利用RANSAC方法消除錯配特征點，最終利用仿射變換或透視變換實現(xiàn)原始目標區(qū)域與當前幀候選區(qū)域之間的映射；基于輪廓的目標模型通常需要對目標輪廓進行離線條件下的建模，利用大量樣本訓練目標的輪廓特征，在線跟蹤檢測階段，通過自適應方式逼近運動目標并獲得目標位置狀態(tài)?？梢钥闯龃_定性跟蹤方法最大的問題在于計算負載較大，不利于實時性應用。另外確定性跟蹤方法對目標模型建立過程中特征的選擇依賴較大，為了對遮擋、尺度變化、光照變化等因素具有較高的魯棒性，必須對所選取的特征嚴格要求和設計，必然導致計算量大幅度增加。
[0004]統(tǒng)計跟蹤方法近幾年受到越來越廣泛的關注。雖然確定性跟蹤方法近些年仍不斷有新的成果出現(xiàn)，這些方案始終未能從根本上解決實時性問題。統(tǒng)計跟蹤方法利用狀態(tài)空間和測量空間共同描述整個跟蹤系統(tǒng)目標的動態(tài)變化過程，對狀態(tài)的估計通過尋找在相應測量條件下狀態(tài)的后驗概率峰值完成。在線性高斯模型下，利用卡爾曼濾波不斷更新相應概率分布的均值與方差，可以得到相應估計的最優(yōu)值。對于非線性或者非高斯條件下的跟蹤問題，已經(jīng)無法得到狀態(tài)后驗概率分布解析最優(yōu)值。為此提出了很多算法如粒子濾波、擴展卡爾曼濾波等以得到對分布的近似估計。粒子濾波是統(tǒng)計跟蹤方法中最為典型的一種方案，通過對采樣粒子不斷的轉移和預測并獲取樣本相應特征測量以對樣本權重進行更新，利用樣本近似對狀態(tài)空間后驗概率密度進行估計。粒子濾波利用遞歸方式不斷更新和傳播粒子，因此在預測和更新階段算法計算負載較低。經(jīng)過多年發(fā)展，出現(xiàn)了多種基于粒子濾波的跟蹤方法，這些方法在對樣本進行觀測時通常使用輪廓或者顏色特征，如基于顏色直方圖的粒子濾波，基于尺度不變特征的粒子濾波方法，基于級聯(lián)特征的粒子濾波方法等。利用顏色直方圖作為觀測模型雖然對噪聲魯棒性較強，但是當光照變化明顯或者背景對目標干擾較強時，系統(tǒng)的可靠性往往會大幅度降低。另外，顏色直方圖的計算與目標尺寸有關的，隨著目標尺寸的增加，其計算量也將增加。利用輪廓和尺度不變SIFT特征點的方法也存在同樣的問題。這就限制了粒子濾波中采樣粒子的數(shù)量，當粒子數(shù)目較少時，其對后驗概率密度的近似估計精確度也必然會降低。
[0005]可以看出無論是確定性跟蹤方法還是統(tǒng)計跟蹤方法，目標外觀模型的選取都是跟蹤任務中十分重要的部分，將直接影響到跟蹤算法的實時性、魯棒性以及對各種因素的適應性。近幾年在視頻跟蹤領域，國內外研究人員對外觀模型進行了大量的研究。總的來講，可以分為兩大類:產生式模型和判別式模型。產生式模型首先通過學習目標的外觀特征，然后利用學習到的目標外觀特征搜索相關圖像區(qū)域，依據(jù)最小誤差準則得到后續(xù)視頻幀中目標的位置。為了適應跟蹤過程中多種因素的干擾，構造魯棒且高效的外觀模型十分困，而且十分嚴格。這同樣會導致計算復雜度的大幅度提升。較為典型的有基于稀疏表達的外觀模型，基于正交匹配追蹤的外觀模型，增量學習方法等。這些已有的產生式外觀模型最大的問題在于，外觀特征的學習需要的訓練樣本數(shù)目較多，為了降低計算復雜度，只能在線下學習并假設目標外觀在整個跟蹤過程中是不變的。而且產生式模型不能充分利用目標附近的背景信息，而這些背景信息往往有利于提升跟蹤效果。判別式模型將跟蹤問題看作二進制分類問題，其主要思想是將目標從背景中分離出來。目前比較典型的判別式跟蹤模型如利用支持向量機分類器的跟蹤，在線提升跟蹤算法，半監(jiān)督在線提升跟蹤算法、多實例學習(MIL)跟蹤算法，壓縮跟蹤(CT)算法等。壓縮跟蹤算法由于其較高的實時性和可靠性而受到十分廣泛的關注，但是該方法存在下面幾個問題，限制了其實用性。首先，壓縮跟蹤方法利用固定大小跟蹤框檢測識別樣本，跟蹤框不隨目標尺度變化而改變，無法適應目標多尺度變化對跟蹤效果的影響。在很多實際應用中，需要算法具備多尺度跟蹤特性。作為一種判別式跟蹤方法，跟蹤過程不斷對目標和背景進行分類，分類器參數(shù)需要隨著跟蹤進程不斷更新，由于固定了跟蹤尺度，雖然在某些條件下算法可以跟蹤到目標區(qū)域，但實際上在目標尺度變化時算法已將目標和背景和結合體(目標尺度小于初始尺度)或者將目標的一部分(目標尺度大于初始尺度)看作了新的目標而進行跟蹤。一旦目標尺度發(fā)生突變，分類器還沒有足夠的時間學習到變化后的目標特征，就會導致目標丟失的可能性大大增加。第二、目前各種判別式跟蹤方法在采集樣本時往往利用目標位置在時間上的相關性，在固定的半徑區(qū)域內選擇，沒有考慮目標運動的速度和加速度信息，對于快速目標移動因素的適應性較差。第三，目前各種判別式跟蹤方法，分類器學習參數(shù)值固定，當目標被長時間遮擋時，分類器必然會將覆蓋物誤認為是目標從而導致目標跟丟。

【發(fā)明內容】

[0006]為了克服現(xiàn)有視頻跟蹤方法存在的不足，本發(fā)明提出一種基于壓縮感知的實時多尺度單目標跟蹤方法，方法實時性強、能夠適應目標尺度變化、跟蹤結果魯棒性高。[0007]本發(fā)明所述的實時多尺度目標跟蹤方法采用如下技術方案實現(xiàn)，包括系統(tǒng)初始化階段和視頻實時目標跟蹤階段，具體步驟如下:
[0008]系統(tǒng)初始化階段:
[0009]1.讀取目標初始位置參數(shù)Rstate= [X, y, w, h],其中(x, y)表示目標初始位置矩形框左上角點坐標，w和h分別表示目標初始位置矩形框寬和高；
[0010]2.讀取視頻序列第一幀圖像Ftl,并轉換為灰度圖像，記為I。；
[0011]3.計算第一幀圖像的積分圖；
[0012]4.構建初始隨機測量矩陣Rtl ；
[0013]5.以初始目標位置中心為基準，采集寬高與初始目標相同的正負樣本；
[0014]6.提取所有采集得到的正、負樣本的尺度不變壓縮特征向量，并更新樸素貝葉斯分類器參數(shù)；
[0015]7.計算初始目標矩形框內樣本尺度不變壓縮特征向量Vtl,并對粒子分布進行初始化:
[0016]視頻實時目標跟蹤階段:
[0017]1.讀取第t幀圖像，并轉換為灰度圖像，記為It ;
[0018]2.計算當前圖像積分圖；
[0019]3.利用二階模型對粒子狀態(tài)進行估計和預測；
[0020]4.計算所有粒子的尺度不變壓縮特征向量；
[0021]5.利用樸素貝葉斯分類器對所有粒子進行分類，并得到所有粒子的分類器響應值；
[0022]6.將分類器響應最大的粒子作為目標位置，相應粒子尺度作為目標當前尺度估計值，然后利用分類器響應值計算粒子權重；
[0023]7.依照粒子權重，對所有粒子重采樣，重采樣后，權重高的粒子處采樣數(shù)目增加，權重過低的粒子被舍棄以避免低權重粒子樣本所引起的退化；
[0024]8.以當前所確定目標中心為基準，采集與所確定目標框寬度、高度相同的正負樣本；
[0025]9.提取所采集正、負樣本的尺度不變壓縮特征向量，并更新分類器參數(shù)；
[0026]10.若視頻未結束,返回步驟I繼續(xù)讀取下一幀視頻圖像
[0027]假設
【權利要求】
1.一種基于壓縮感知的實時多尺度目標跟蹤方法，其特征在于，包括以下步驟: 系統(tǒng)初始化階段: (1).讀取目標初始位置參數(shù)Rstate=[X，1，W, h],其中(X, y)表示目標初始位置矩形框左上角點坐標，w和h分別表示目標初始位置矩形框寬和高； (2).讀取視頻序列第一幀圖像Ftl，并轉換為灰度圖像，記為I。； (3).計算第一幀圖像的積分圖； (4).構建初始隨機測量矩陣Rtl; (5).以初始目標位置中心為基準，采集寬、高與初始目標相同的正、負樣本； (6).提取所有采集得到的正、負樣本的尺度不變壓縮特征向量，并更新樸素貝葉斯分類器參數(shù)； (7).計算初始目標矩形框內樣本尺度不變壓縮特征向量％，并對粒子分布進行初始化； 視頻實時目標跟蹤階段: (1).讀取第t幀圖像，并轉換為灰度圖像，記為It; (2).計算當前圖像積分圖； (3).利用二階模型對粒子狀態(tài)進行估計和預測； (4).計算所有粒子的尺度不變壓縮特征向量； (5).利用樸素貝葉斯分類器對所有粒子進行分類，并得到所有粒子的分類器響應值； (6).將分類器響應最大的粒子作為目標位置，相應粒子尺度作為目標當前尺度估計值，然后利用分類器響應值計算粒子權重； (7).依照粒子權重，對所有粒子重采樣，重采樣后，權重高的粒子處采樣數(shù)目增加，權重過低的粒子被舍棄以避免低權重粒子樣本所引起的退化； (8).以當前所確定目標中心為基準，采集與所確定目標框寬度、高度相同的正、負樣本； (9).提取所采集正、負樣本的尺度不變壓縮特征向量，并更新分類器參數(shù)； (10).若視頻未結束，返回步驟I繼續(xù)讀取下一幀視頻圖像。
2.根據(jù)權利要求1所述的一種基于壓縮感知的實時多尺度目標跟蹤方法，其特征在于，所述樣本圖像尺度不變壓縮特征向量提取包括以下步驟: 令w和h分別表示目標初始位置矩形框寬度和高度，并認為初始目標大小尺度為I ;樣本圖像的寬度和高度分別為ws和113，樣本圖像左上角位置坐標為(X，y)，樣本圖像尺度為
3.根據(jù)權利要求2所述的一種基于壓縮感知的實時多尺度目標跟蹤方法，其特征在于，所述樣本圖像的原始高維歸一化矩形特征向量具有如下特征: 令ZeRwxA表示寬、高分別為w、h的樣本圖像，原始高維歸一化矩形特征向量可描述為樣本圖像z與一系列歸一化矩形濾波器
4.根據(jù)權利要求1所述的一種基于壓縮感知的實時多尺度目標跟蹤方法，其特征在于，所述利用二階模型對粒子狀態(tài)進行估計和預測公式如下:

5.根據(jù)權利要求1所述的一種基于壓縮感知的實時多尺度目標跟蹤方法，其特征在于，所述粒子權重計算公式如下:..._ I (O)
【文檔編號】G06T7/20GK103632382SQ201310700915
【公開日】2014年3月12日 申請日期:2013年12月19日 優(yōu)先權日:2013年12月19日
【發(fā)明者】孫繼平, 賈倪, 伍云霞 申請人:中國礦業(yè)大學(北京)