專利名稱：一種基于視覺顯著性模型的自動檢測跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計算機視覺和生物視覺交叉技術(shù)領(lǐng)域，涉及一種利用視覺顯著性模型對跟蹤-學(xué)習(xí)-檢測算法進行改進創(chuàng)新，實現(xiàn)對多類目標在簡單場景自動檢測跟蹤，在復(fù)雜場景半自動檢測跟蹤的功能，并對于物體的姿態(tài)變化以及遮擋后的重新檢測過程有很好的效果。
背景技術(shù)：
在跟蹤系統(tǒng)中，以往常用的跟蹤方法有:幀差分法、背景建模方法、光流法等。但是它們在面對復(fù)雜背景和多種類型目標時，往往會因為光照、姿態(tài)和形狀的變化，使得目標特征發(fā)生劇烈變化，從而導(dǎo)致跟蹤失敗。當(dāng)出現(xiàn)部分遮擋和快速移動時，目標的部分特征信息丟失，使得特征失匹配，從而導(dǎo)致跟蹤失敗或者跟蹤偏移。為了提高跟蹤精度，用單一的跟蹤器來實現(xiàn)跟蹤功能已經(jīng)不能滿足。因此跟蹤-學(xué)習(xí)-檢測提出一種把跟蹤器、檢測器和學(xué)習(xí)機融合成一體的思想來解決在線實時跟蹤問題。它能夠很好地解決以往跟蹤方法存在的問題，但是它對于特征選擇、姿態(tài)變化有著明顯的不足。

發(fā)明內(nèi)容
針對現(xiàn)有技術(shù)的不足，本發(fā)明的目的是能夠?qū)δ繕四軌蜃詣痈?，并且有跟蹤精度高、魯棒性好的特性，能夠滿足工程上跟蹤檢測系統(tǒng)的應(yīng)用，為此本發(fā)明提出一種基于視覺顯著性模型的自動檢測跟蹤方法。為實現(xiàn)本發(fā)明的目的，本發(fā)明基于視覺顯著性模型的自動檢測跟蹤方法的技術(shù)方案包含以下步驟:步驟S1:利用視覺顯著性模型對輸入的第一幀視頻圖像進行場景粗理解，計算圖像的顏色、亮度、方向顯著性圖并歸一化后，獲得圖像場景的加權(quán)顯著性圖，若顯著性圖中的一個顯著性區(qū)域的權(quán)值占所有的80%以上，則定義為簡單場景；若顯著性圖中的一個顯著性區(qū)域的權(quán)值占所有的80%以下，則濾除場景中權(quán)值不到10%的顯著性區(qū)域，并定義為復(fù)雜場景；步驟S2:當(dāng)程序檢測到視頻序列為簡單場景時，直接取用顯著性區(qū)域建立矩形框作為跟蹤目標進行跟蹤；步驟S3:當(dāng)程序檢測到視頻序列為復(fù)雜場景時，彈出對話框讓使用者自行選擇跟蹤目標，然后將人為手動選擇的跟蹤框與各個顯著性區(qū)域的距離，加入并重新計算各個顯著性區(qū)域的權(quán)值，再根據(jù)權(quán)值不同對人為手動選擇的跟蹤框進行校正；步驟S4:利用跟蹤-學(xué)習(xí)-檢測算法對跟蹤框進行跟蹤，當(dāng)出現(xiàn)目標離開視野或者被遮擋時，能夠檢測出跟蹤失敗，并且在跟蹤失敗時及時反饋信息；當(dāng)未出現(xiàn)目標離開視野或者未被遮擋時，繼續(xù)對目標進行穩(wěn)定跟蹤并且實時檢測跟蹤是否出現(xiàn)失??；步驟S5:當(dāng)出現(xiàn)跟蹤失敗時，使用視覺顯著性模型對失敗后的每一幀圖像進行檢測，得到顯著性圖；對顯著性圖中的各個區(qū)域與跟蹤失敗前的線上模型進行直方圖匹配，當(dāng)直方圖匹配相似性第一高的區(qū)域的相似度遠大于第二高的區(qū)域時，直接對相似性第一高的區(qū)域進行跟蹤；當(dāng)直方圖匹配有多個相似度相近的區(qū)域時，同時送入目標檢測器進行檢測，不斷重復(fù)步驟S4直到重新檢測到目標并進行跟蹤。優(yōu)選實施例，對視頻輸入的第一幀圖像進行視覺顯著性模型的計算，分別計算顏色、亮度、方向顯著圖，歸一化得到加權(quán)顯著圖。優(yōu)選實施例，對于簡單場景，以顯著性區(qū)域的中心作為跟蹤框的中心，顯著性區(qū)域的面積作為跟蹤框的面積，達到自動選擇跟蹤目標，實現(xiàn)自動跟蹤的功能。優(yōu)選實施例，以人為手動選擇的跟蹤框的中心位置與跟蹤框大小作為兩個參數(shù)帶入視覺顯著性模型中顯著性區(qū)域權(quán)值的計算，根據(jù)計算結(jié)果將人為手動選擇的跟蹤框的中心位置與跟蹤框大小向權(quán)值較高的顯著性區(qū)域逼近，達到對人為選擇的跟蹤框進行校正，由于每次人為手動選擇的跟蹤框的中心位置和跟蹤框大小不可能完全相同，這就產(chǎn)生了跟蹤目標初始化的隨機誤差，而對于視頻圖像第一幀的顯著性模型計算過程則是相同的，利用其對人為手動選擇的跟蹤框進行修正就實現(xiàn)了修正人為選擇代入的隨機誤差，達到穩(wěn)定的跟蹤效果。優(yōu)選實施例，當(dāng)跟蹤目標被遮擋、發(fā)生劇烈形變或跟蹤目標離開視場時，跟蹤框內(nèi)大部分跟蹤點的前后項誤差很大，則定義為跟蹤失敗。優(yōu)選實施例，在跟蹤失敗時，計算當(dāng)前幀的顯著性圖，對顯著性圖中的各個區(qū)域建立直方圖，與跟蹤失敗前的線上模型的直方圖進行對比，找到姿態(tài)發(fā)生變化或消失后又重新出現(xiàn)的目標。本發(fā)明的有益效果:本發(fā)明與傳統(tǒng)方法相比，自從視覺顯著性模型提出以來，它很快在計算機視覺領(lǐng)域得到了廣泛地應(yīng)用。由于它利用模仿人腦視覺皮層對于視場中目標處理的方法，最終計算得到感興趣的目標，從而讓計算機實現(xiàn)和人眼一樣能夠自動識別感興趣目標的功能。本發(fā)明中的技術(shù)利用視覺顯著性模型與跟蹤-學(xué)習(xí)-檢測相結(jié)合，提出一種雙模型的自動檢測跟蹤算法。利用視覺顯著性模型對跟蹤-學(xué)習(xí)-檢測跟蹤算法進行改進，實現(xiàn)對多類目標在簡單場景自動檢測跟蹤，在復(fù)雜場景半自動檢測跟蹤的功能，并對于物體的姿態(tài)變化以及遮擋后的重新檢測過程有很好的效果。本方法進一步提高了跟蹤精度，解決了非剛性物體的姿態(tài)，旋轉(zhuǎn)對跟蹤的影響，并且在使用時實現(xiàn)自動或者半自動跟
足示O


圖1a為本發(fā)明自動檢測跟蹤方法的流程圖。圖1b為本發(fā)明方法具體實施例流程圖。圖2為本發(fā)明中更改過的計算視覺顯著性模型的過程結(jié)構(gòu)圖。圖3為本發(fā)明中在簡單場景下利用視覺顯著性模型得到的感興趣目標區(qū)域。圖4a_圖4d為本發(fā)明中在簡單場景下計算圖3中得到的視覺顯著性模型的顏色特征圖、亮度特征圖、方向特征圖，以及加權(quán)特征圖。圖5為本發(fā)明中在復(fù)雜場景下利用視覺顯著性模型得到的感興趣目標區(qū)域。圖6a_圖6d為本發(fā)明中在復(fù)雜場景下計算圖3中得到的視覺顯著性模型的顏色特征圖、亮度特征圖、方向特征圖，以及加權(quán)特征圖。圖7a_圖7c為本發(fā)明中使用跟蹤-學(xué)習(xí)-檢測算法中的前后項誤差檢測器圖例。圖8為本發(fā)明中使用跟蹤-學(xué)習(xí)-檢測算法中的目標檢測器中三個串聯(lián)濾波器示意圖。圖9中標號1-6為現(xiàn)有技術(shù)跟蹤-學(xué)習(xí)-檢測算法遇到姿態(tài)變化時出現(xiàn)跟蹤失敗的一些幀。圖10中標號1-6為本發(fā)明中利用視覺顯著性模型計算失敗后的顯著性圖的各個區(qū)域。圖11中標號1-6為本發(fā)明中利用視覺顯著性模型計算后進行直方圖對比得到的改進結(jié)果。
具體實施例方式下面結(jié)合附圖對本發(fā)明的實施例作詳細說明。本實施例在以本發(fā)明技術(shù)方案為前提下進行實施，給出了詳細的實施方式和具體的操作過程，但本發(fā)明的保護范圍不限于以下的實施例。圖1a和圖1b示出，本實施例基于目標自動跟蹤檢測的實現(xiàn)，輸入圖像為一般目標視頻幀序列。本實例提供了一種利用視覺顯著性模型對跟蹤目標實現(xiàn)自動或半自動選擇，能夠處理跟蹤目標因姿態(tài)或旋轉(zhuǎn)導(dǎo)致跟蹤丟失問題并且對于跟蹤失敗后的重新檢測算法有很好的改進。本發(fā)明自動檢測跟蹤方法的步驟包括步驟SI至步驟S5，其中:步驟S1:利用視覺顯著性模型對輸入的第一幀視頻圖像進行場景粗理解，計算圖像的顏色、亮度、方向顯著性圖并歸一化后，獲得圖像場景的加權(quán)顯著性圖，若顯著性圖中的一個顯著性區(qū)域的權(quán)值占所有的80%以上，則定義為簡單場景；若顯著性圖中的一個顯著性區(qū)域的權(quán)值占所有的80%以下，則濾除場景中權(quán)值不到10%的顯著性區(qū)域，并定義為復(fù)雜場景；首先預(yù)處理。預(yù)處理過程我們需要對輸入圖像做一個鑒別，判斷場景為簡單場景或復(fù)雜場景。這里我們通過計算圖像的加權(quán)顯著性圖來實現(xiàn)。我們使用的更改過的計算顯著性視覺模型計算過程如圖2，在圖像中通過線性濾波器提取顏色特征、亮度特征和方向特征，通過高斯金字塔、中央周邊操作算子和歸一化處理后，形成并對12張顏色顯著性圖、6張亮度顯著性圖和24張方向顯著性圖做歸一化融合，獲得加權(quán)顯著性圖。本發(fā)明在簡單場景下計算圖3中得到的視覺顯著性模型的顏色特征圖由圖4a示出、亮度特征圖由圖4b示出、方向特征圖由圖4c示出，以及加權(quán)特征圖由圖4d示出。將這些特征圖結(jié)合和歸一化處理后，分別形成顏色、亮度、方向顯著圖，三個顯著圖融合成一張加權(quán)的顯著圖。比較圖中不同區(qū)域的權(quán)值，假如有一個區(qū)域權(quán)值大小占到所有的80%，圖3示出了本發(fā)明在簡單場景下利用視覺顯著性模型得到的感興趣目標區(qū)域，我們定義為簡單場景，并且只保留此顯著性區(qū)域。如圖5示如果有多個權(quán)值相近的顯著性區(qū)域時，此場景判定為復(fù)雜場景，但是也只保留權(quán)值占所有的10%以上的區(qū)域，如圖6a-圖6d示出本發(fā)明中在復(fù)雜場景下利用視覺顯著性模型得到的顏色顯著圖、亮度顯著圖、方向顯著圖和加權(quán)顯著圖。
圖6a示出本發(fā)明中在復(fù)雜場景下計算圖5中得到的視覺顯著性模型的顏色特征圖，圖6b示出本發(fā)明中在復(fù)雜場景下計算圖5中得到的亮度顯著圖，圖6c示出本發(fā)明中在復(fù)雜場景下計算圖5中得到的方向顯著圖，以及圖6d示出本發(fā)明中在復(fù)雜場景下計算圖5中得到的加權(quán)顯著圖。步驟S2:簡單場景的目標自動選擇。當(dāng)程序檢測到視頻序列為簡單場景時，直接取用顯著性區(qū)域建立矩形框作為跟蹤目標進行跟蹤。步驟S3:復(fù)雜場景的目標選擇校正。當(dāng)程序檢測到視頻序列為復(fù)雜場景時，彈出對話框讓使用者自行選擇跟蹤目標，然后將人為手動選擇的跟蹤框與各個顯著性區(qū)域的距離，加入并重新計算各個顯著性區(qū)域的權(quán)值，再根據(jù)權(quán)值不同對人為手動選擇的跟蹤框進行校正。步驟S4:目標跟蹤。利用跟蹤-學(xué)習(xí)-檢測算法對跟蹤框進行跟蹤，當(dāng)出現(xiàn)目標離開視野或者被遮擋時，能夠檢測出跟蹤失敗，并且在跟蹤失敗時及時反饋信息；當(dāng)未出現(xiàn)目標離開視野或者未被遮擋時，繼續(xù)對目標進行穩(wěn)定跟蹤并且實時檢測跟蹤是否出現(xiàn)失敗；目標跟蹤分為四個部分:跟蹤器，失敗檢測器、目標檢測器和學(xué)習(xí)機。將步驟S2或步驟S3得到的已用矩形跟蹤框標定好的視頻幀同時送入S41跟蹤器和步驟S42目標檢測器，并且將跟蹤結(jié)果和檢測結(jié)果實時送入步驟S43學(xué)習(xí)機進行學(xué)習(xí)，利用正確跟蹤和檢測結(jié)果建立步驟S44線上模型，并且更新步驟S41跟蹤器和步驟S42目標檢測器。與此同時，步驟S45失敗檢測器單獨運行，并在判斷跟蹤失敗后反饋信息。跟蹤器:跟蹤-學(xué)習(xí)-檢測算法中目標的跟蹤使用的是光流法和圖像金字塔相結(jié)合的算法，并且通過計算前后項誤差的方式設(shè)立了失敗檢測器。光流法和圖像金字塔相結(jié)合的算法是:對視頻圖像建立進行不同尺度的像素抽取，得到多個不同尺度的視頻圖像，對每個視頻圖像用稀疏光流法進行跟蹤，相鄰尺度對比取最大得到最后跟蹤結(jié)果。這種方法克服了現(xiàn)有稀疏光流法的三個缺點:1、過程光照不能變化；2、目標運動不能過大；3、局部運動需一致。失敗檢測器:其算法是將t、t+l時刻順序輸入跟蹤器，再將t+l、t時刻順序輸入跟蹤器，對比兩次結(jié)果得到的同一幀上同一個像素位置的跟蹤結(jié)果，判斷該點是否有效跟蹤。當(dāng)大部分點的誤差都超過閾值時，判定為目標出現(xiàn)遮擋，或者跟蹤失敗，如圖7a和圖7b示出的本發(fā)明中使用跟蹤-學(xué)習(xí)-檢測算法中的前后項誤差檢測器圖例。圖7a中的跟蹤框內(nèi)的點為初始跟蹤點，即所有點為跟蹤點，圖7b中的點為計算前后項誤差后，保留下來誤差較小的點?？梢钥闯?，圖7b中保留的點就是跟蹤過程中目標物體上沒有變化的點，t是時間常數(shù)，在本發(fā)明在t指代的是任意時刻t的視頻幀圖像，而t+1即是t時刻視頻幀的下一幀圖像。前后項誤差在本發(fā)明中的實際含義即是將視頻正序與倒序輸入，進行對比，得到誤差值。圖7c中給出了前后項誤差的具體計算過程，分別視頻幀序列向前和向后計算跟蹤點，計算跟蹤點的像素差作為前后項誤差，It代表t時刻視頻幀圖像，It+1代表t時刻的下一幀視頻圖像，It+k代表t時刻的下k幀視頻圖像，Xt是t時刻正序跟蹤過程中一個跟蹤點的二維坐標，Xt+1是t+Ι時刻正序跟蹤過程中一個跟蹤點的二維坐標，Xt+k是t+k時刻正序跟蹤過程中一個跟蹤點的二維坐標，童_是t+k時刻倒序跟蹤過程中一個跟蹤點的二維坐標，itTl是t+i時刻倒序跟蹤過程中一個跟蹤點的二維坐標,Xt^ t時刻倒序跟蹤過程中一個跟蹤點的二維坐標，t時刻前后項誤差的值即為X.-Xt目標檢測器:實際上就是三個濾波器串聯(lián)，如圖8示出的本發(fā)明中使用跟蹤-學(xué)習(xí)-檢測(TLD)算法中的目標檢測器中方差濾波器、最大后驗濾波器和最近鄰濾波器。如圖8所示的目標檢測過程，左邊第一副圖像是視頻幀圖像，圖中的矩形框為掃描窗，我們采用掃描窗遍歷圖像，對每個掃描窗內(nèi)地像素計算方差，認為方差較低的掃描窗的內(nèi)容是跟蹤背景，方差較高的掃描窗是目標區(qū)域，這樣我們就提取出來一系列圖像塊，這個過程是方差濾波過程。對方差濾波得到的結(jié)果圖中的特征模板提取圖像特征，圖中的四個方格代表四個像素，分成上下、左右兩次比較大小，比較的結(jié)果分為四種情況，我們用2比特編碼表示:00，01，10，11，對應(yīng)著不同的后驗概率，做算術(shù)平均得到大于50%的圖像塊，小于50%的圖像塊判定為圖像背景區(qū)域，所謂背景是相對目標而言的，在跟蹤中除了跟蹤目標以外其余圖像都是背景，這個過程是最大后驗濾波過程。將得到的圖像塊與跟蹤初始化過程中選擇的跟蹤目標(跟蹤過程中為線上模型)進行最近鄰濾波，圖8中最右圖為最近鄰分類器尋找分類界面過程，圖中白色點是當(dāng)前圖像塊對應(yīng)在分類界面上的點，d'是在分類界面上的點到最近黑色點的最近距離，d"是在分類界面上的點到最近紅色點的最近距離，圖中的問號代表求解d'和d"哪個最小，這個過程是最近鄰濾波過程。學(xué)習(xí)機:分為正負樣本，正負樣本兩個集合不斷計算類內(nèi)距離，高于閾值的樣本被取出，原有的樣本域重新分配。這個過程通過不斷糾正正負樣本中的錯誤樣本數(shù)，從而不斷更新線上模型，使得跟蹤過程穩(wěn)定且準確。上述幾個部分在跟蹤過程中同時進行，不斷更新線上模型。線上模型是動態(tài)模型，隨著跟蹤過程的進行。步驟S5:失敗后重新檢測。當(dāng)出現(xiàn)跟蹤失敗時，使用視覺顯著性模型對失敗后的每一幀圖像進行檢測，得到顯著性圖；對顯著性圖中的各個區(qū)域與跟蹤失敗前的線上模型(線上模型是跟蹤過程中根據(jù)跟蹤結(jié)果實時更新的一個跟蹤模板，是不斷更新變化的，與利用單幀圖像的視覺顯 著性模型不同)進行直方圖匹配，當(dāng)直方圖匹配相似性第一高的區(qū)域的相似度遠大于第二高的區(qū)域時，直接對相似性第一高的區(qū)域進行跟蹤；當(dāng)直方圖匹配有多個相似度相近的區(qū)域時，同時送入目標檢測器進行檢測，不斷重復(fù)步驟S4直到重新檢測到目標并進行跟蹤。跟蹤-學(xué)習(xí)-檢測中原來的失敗后的目標重新檢測器直接是目標檢測器，對于失敗后重新檢測效率低，而且當(dāng)目標姿態(tài)變化時，經(jīng)常導(dǎo)致失敗檢測器錯誤判斷跟蹤失敗。因此針對以上情況，我們再次使用視覺顯著性模型，具體實現(xiàn)如下:當(dāng)失敗檢測器反饋信息為跟蹤失敗時，使用視覺顯著性模型對失敗后的每一幀進行檢測，得到顯著性圖。對顯著性圖中的各個區(qū)域建立直方圖，與跟蹤失敗前的線上模型的直方圖進行對比。情況一、當(dāng)相似性第一高的區(qū)域的相似度遠大于第二高區(qū)域時，直接對相似性第一高的區(qū)域進行跟蹤；情況二、當(dāng)有多個相似度相近的區(qū)域時，同時送入目標檢測器進行檢測。不斷重復(fù)以上步驟S4直到重新檢測到目標并進行跟蹤。圖9中1、2、3、4、5、6示出了現(xiàn)有技術(shù)跟蹤-學(xué)習(xí)-檢測算法遇到姿態(tài)變化時出現(xiàn)跟蹤失敗的一些幀，圖10中1、2、3、4、5、6示出了本發(fā)明中利用模型計算失敗后的顯著性圖的各個區(qū)域，圖11中1、2、3、4、5、6示出了本發(fā)明中利用顯著性模型計算后進行直方圖對比得到的改進結(jié)果。對比如圖9、圖10、圖11，圖9中的圖片1、2、3、4、5、6為原先跟蹤-學(xué)習(xí)-檢測算法處理視頻的6幀視頻圖片，圖片中沒有跟蹤框說明前后項誤差表明跟蹤出現(xiàn)失敗，而目標還在視頻中，說明這是因為目標姿態(tài)發(fā)生劇烈變化導(dǎo)致算法失敗。藍色的點是跟蹤點，跟蹤失敗后停留在原處。圖10中的圖片1、2、3、4、5、6是針對以上出現(xiàn)的問題建立失敗檢測器的過程中的顯著性模型計算的結(jié)果，黃色的區(qū)域就是顯著性模型計算得到的各個顯著性區(qū)域，可以看到目標是包括在顯著性區(qū)域其中的。圖11中的圖片1、2、3、4、5、6是加入了失敗檢測器后進行直方圖對比方法重新找到目標進行跟蹤的效果，也是改進后的實際跟蹤過程，紅色跟蹤框內(nèi)的目標就是各個顯著性區(qū)域之中與線上模型直方圖最相近的目標，達到了解決目標發(fā)生劇烈姿態(tài)變化導(dǎo)致跟蹤失敗的問題。發(fā)現(xiàn)本發(fā)明中利用模型來改進跟蹤-學(xué)習(xí)-檢測算法后，不僅能夠在前端能夠很好地實現(xiàn)自動或者半自動選擇跟蹤目標，并且能夠處理原來難以處理的姿態(tài)變化導(dǎo)致跟蹤失敗的問題，對跟蹤效果有很好的提升。以上所述，僅為本發(fā)明中的具體實施方式
，但本發(fā)明的保護范圍并不局限于此，任何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可理解想到的變換或替換，都應(yīng)涵蓋在本發(fā)明的包含范圍之內(nèi)。
權(quán)利要求
1.一種基于視覺顯著性模型的自動檢測跟蹤方法，其特征包括如下具體步驟: 步驟S1:利用視覺顯著性模型對輸入的第一幀視頻圖像進行場景粗理解，計算圖像的顏色、亮度、方向顯著性圖并歸一化后，獲得圖像場景的加權(quán)顯著性圖，若顯著性圖中的一個顯著性區(qū)域的權(quán)值占所有的80%以上，則定義為簡單場景；若顯著性圖中的一個顯著性區(qū)域的權(quán)值占所有的80%以下，則濾除場景中權(quán)值不到10%的顯著性區(qū)域，并定義為復(fù)雜場景； 步驟S2:當(dāng)程序檢測到視頻序列為簡單場景時，直接取用顯著性區(qū)域建立矩形框作為跟蹤目標進行跟蹤； 步驟S3:當(dāng)程序檢測到視頻序列為復(fù)雜場景時，彈出對話框讓使用者自行選擇跟蹤目標，然后將人為手動選擇的跟蹤框與各個顯著性區(qū)域的距離，加入并重新計算各個顯著性區(qū)域的權(quán)值，再根據(jù)權(quán)值不同對人為手動選擇的跟蹤框進行校正； 步驟S4:利用跟蹤-學(xué)習(xí)-檢測算法對跟蹤框進行跟蹤，當(dāng)出現(xiàn)目標離開視野或者被遮擋時，能夠檢測出跟蹤失敗，并且在跟蹤失敗時及時反饋信息；當(dāng)未出現(xiàn)目標離開視野或者未被遮擋時，繼續(xù)對目標進行穩(wěn)定跟蹤并且實時檢測跟蹤是否出現(xiàn)失敗； 步驟S5:當(dāng)出現(xiàn)跟蹤失敗時，使用視覺顯著性模型對失敗后的每一幀圖像進行檢測，得到顯著性圖；對顯著性圖中的各個區(qū)域與跟蹤失敗前的線上模型進行直方圖匹配，當(dāng)直方圖匹配相似性第一高的區(qū)域的相似度遠大于第二高的區(qū)域時，直接對相似性第一高的區(qū)域進行跟蹤；當(dāng)直方圖匹配有多個相似度相近的區(qū)域時，同時送入目標檢測器進行檢測，不斷重復(fù)步驟S4直到重新檢測到目標并進行跟蹤。
2.根據(jù)權(quán)利要求1所述的自動檢測跟蹤方法，其特征在于，對視頻輸入的第一幀圖像進行視覺顯著性模型的計算，分別計算顏色、亮度、方向顯著圖，歸一化得到加權(quán)顯著圖。
3.根據(jù)權(quán)利要求1所述的自動檢測跟蹤方法，其特征在于，對于簡單場景，以顯著性區(qū)域的中心作為跟蹤框的中心，顯著性區(qū)域的面積作為跟蹤框的面積，達到自動選擇跟蹤目標，實現(xiàn)自動跟蹤的功能。
4.根據(jù)權(quán)利要求1所述的自動檢測跟蹤方法，其特征在于，以人為手動選擇的跟蹤框的中心位置與跟蹤框大小作為兩個參數(shù)帶入視覺顯著性模型中顯著性區(qū)域權(quán)值的計算，根據(jù)計算結(jié)果將人為手動選擇的跟蹤框的中心位置與跟蹤框大小向權(quán)值較高的顯著性區(qū)域逼近，達到對人為選擇的跟蹤框進行校正，由于每次人為手動選擇的跟蹤框的中心位置和跟蹤框大小不可能完全相同，這就產(chǎn)生了跟蹤目標初始化的隨機誤差，而對于視頻圖像第一幀的顯著性模型計算過程則是相同的，利用其對人為手動選擇的跟蹤框進行修正就實現(xiàn)了修正人為選擇代入的隨機誤差，達到穩(wěn)定的跟蹤效果。
5.根據(jù)權(quán)利要求1所述的自動檢測跟蹤方法，其特征在于，當(dāng)跟蹤目標被遮擋、發(fā)生劇烈形變或跟蹤目標離開視場時，跟蹤框內(nèi)大部分跟蹤點的前后項誤差很大，則定義為跟蹤失敗。
6.根據(jù)權(quán)利要求1所述的自動檢測跟蹤方法，其特征在于，在跟蹤失敗時，計算當(dāng)前幀的顯著性圖，對顯著性圖中的各個區(qū)域建立直方圖，與跟蹤失敗前的線上模型的直方圖進行對比，找到姿態(tài)發(fā)生變化或消失后又重新出現(xiàn)的目標。
全文摘要
本發(fā)明是一種基于視覺顯著性模型的自動檢測跟蹤方法，用視覺顯著性模型計算輸入視頻圖像的顏色、亮度、方向顯著性圖，根據(jù)加權(quán)后的顯著性圖定義簡單場景和復(fù)雜場景；檢測到簡單場景時，用顯著性區(qū)域建立矩形框作為跟蹤目標進行跟蹤；檢測到復(fù)雜場景時，根據(jù)權(quán)值不同對人為手動選擇的跟蹤框進行校正；利用跟蹤學(xué)習(xí)檢測算法對跟蹤框進行跟蹤，檢測出跟蹤失敗；使用視覺顯著性模型對失敗后的每一幀圖像進行檢測，對顯著性圖中各個區(qū)域與跟蹤失敗前的線上模型進行直方圖匹配，對相似性第一高的區(qū)域進行跟蹤；對多個相似度相近的區(qū)域時，同時送入目標檢測器進行檢測，重復(fù)對下一幀圖像目標進行跟蹤檢測并用直方圖對比步驟直到重新檢測到目標并跟蹤。
文檔編號G06T7/20GK103116896SQ201310071858
公開日2013年5月22日 申請日期2013年3月7日 優(yōu)先權(quán)日2013年3月7日
發(fā)明者徐智勇, 金炫, 魏宇星 申請人:中國科學(xué)院光電技術(shù)研究所