檢測和跟蹤目標的方法和裝置制造方法
【專利摘要】本發(fā)明提供了一種檢測和跟蹤目標的方法和裝置,該方法包括:針對視頻序列的訓練樣本的圖像片,提取旋轉不變二進制特征,并且利用旋轉不變二進制特征訓練分類器,訓練樣本包括正樣本和負樣本,正樣本來源于目標的圖像片,負樣本來源于背景的圖像片,分類器用于將視頻序列中的圖像片分類為目標和背景;針對視頻序列中的當前幀的圖像片,提取旋轉不變二進制特征,并且根據(jù)當前幀的圖像片的旋轉不變二進制特征,利用分類器檢測目標,以獲得目標在當前幀中的檢測框,旋轉不變二進制特征在圖像片旋轉的情況下保持不變。本技術方案可以在目標跟蹤過程中采用基于旋轉不變二進制特征的分類器進行目標檢測,從而保證目標在進行旋轉時也能被有效檢測到。
【專利說明】檢測和跟蹤目標的方法和裝置
【技術領域】
[0001]本發(fā)明涉及視頻監(jiān)控【技術領域】,尤其是涉及一種檢測和跟蹤目標的方法和裝置。【背景技術】
[0002]在視頻監(jiān)控技術中,通常需要通過對視頻圖像序列中的運動目標進行檢測和跟蹤,獲得運動目標的運動參數(shù)(例如,目標的質(zhì)心位置、速度、加速度等)以及運動軌跡,以便進行進一步的處理和分析,以完成更高一級的任務,例如,攝相機在拍攝移動的目標時,可以根據(jù)檢測和跟蹤得到的目標的運動參數(shù)以及運動軌跡調(diào)整攝相機的轉動和焦距。
[0003]對運動目標的檢測通常被看作是一種分類器問題,即通過對每幀視頻圖像的檢測,將每幀視頻圖像中的圖像片(image patch)分類為目標(即前景)和背景。通常采用目標的描述子,即目標描述特征,對目標進行描述。在目標檢測時,分類器可以根據(jù)提取的圖像片的目標描述特征,將圖像片標記為目標或是背景。
[0004]目前,已經(jīng)提出了一種2比特二進制模式(2bit Binary Patterns, 2bitBP)的描述子,2bitBP描述子度量了在圖像的一個特定區(qū)域內(nèi)的梯度方向,將這個方向進行量化,并且輸出4種可能的編碼形式。
[0005]然而,在被跟蹤的目標旋轉時,基于2bitBP特征的檢測器可能無法檢測出目標,這樣,基于檢測的跟蹤就可能失效。
【發(fā)明內(nèi)容】
[0006]本發(fā)明的實施例提供了一種檢測和跟蹤目標的方法和裝置,能夠在被跟蹤的目標旋轉的情況下有效檢測出目標。
[0007]第一方面,提供了一種檢測和跟蹤目標的方法,包括:針對視頻序列的訓練樣本的圖像片,提取旋轉不變二進制特征,并且利用該訓練樣本的圖像片的旋轉不變二進制特征訓練分類器,其中該訓練樣本包括正樣本和負樣本,該正樣本來源于該視頻序列中的目標的圖像片,該負樣本來源于該視頻序列中的背景的圖像片,該分類器用于將該視頻序列中的圖像片分類為目標和背景;針對該視頻序列中的當前幀的圖像片,提取旋轉不變二進制特征,并且根據(jù)該當前幀的圖像片的旋轉不變二進制特征,利用該分類器檢測該目標,以獲得該目標在該當前幀中的檢測框,其中該旋轉不變二進制特征在該圖像片旋轉的情況下保持不變。
[0008]在第一種可能的實現(xiàn)方式中,上述提取旋轉不變二進制特征,包括:在該圖像片中確定至少兩個圓;分別計算上述至少兩個圓中的每個圓的圓周上的多個點的像素平均值,以得到至少兩個像素平均值;將上述至少兩個像素平均值的大小關系作為該圖像片的旋轉不變二進制特征。
[0009]結合第一方面的第一種可能的實現(xiàn)方式,在第二種可能的實現(xiàn)方式中,上述在該圖像片中確定至少兩個圓,包括:在該圖像片中隨機選擇至少兩個點,并且以該圖像片的中心為圓點,以該圓點到上述至少兩個點的距離為半徑分別確定至少兩個圓;或者以該圖像片的中心為圓點,以不同的預設長度為半徑分別確定至少兩個圓。
[0010]結合第一方面的第一種可能的實現(xiàn)方式或第二種可能的實現(xiàn)方式,在第三種可能的實現(xiàn)方式中,上述每個圓的圓周上的多個點等分該圓周或者上述每個圓的圓周上的多個點的位置被預先設置。
[0011]結合上述任何一種可能的實現(xiàn)方式,在第四種可能的實現(xiàn)方式中,該分類器為隨機森林分類器,該隨機森林分類器包括多個樹,上述多個樹中的每個樹包括多個節(jié)點,上述提取旋轉不變二進制特征,包括:針對每個節(jié)點提取該圖像片的旋轉不變二進制特征,其中上述利用該訓練樣本的圖像片的旋轉不變二進制特征訓練分類器,包括:利用針對上述每個節(jié)點提取該訓練樣本的圖像片的旋轉不變二進制特征訓練該分類器。
[0012]結合上述任何一種可能的實現(xiàn)方式,在第五種可能的實現(xiàn)方式中,該方法還包括:在該視頻序列的初始幀中,根據(jù)目標框選擇的圖像片獲得該正樣本,并且根據(jù)該目標框之外的圖像片獲得該負樣本,并且將該正樣本和部分該負樣本作為正圖像片和負圖像片保存在目標模型中;根據(jù)該目標在該視頻序列中的前一幀中的目標框,利用視頻序列跟蹤算法跟蹤該目標在該當前巾貞中的軌跡,以確定該目標在該當前巾貞中的跟蹤框;綜合該目標在該當前幀中的跟蹤框和該檢測框,以基于該目標模型確定該目標在該當前幀中的目標框。
[0013]結合上述任何一種可能的實現(xiàn)方式,在第六種可能的實現(xiàn)方式中,該方法還包括:在該視頻序列的初始幀中,將該初始幀中的該目標框內(nèi)的圖像保存為模板圖像,并提取該模塊圖像的多個第一尺度不變特征轉換特征點;在該當前幀中,提取該當前幀中的目標框中的圖像的多個第二尺度不變特征轉換特征點,并且將上述多個第一尺度不變特征轉換特征點與上述多個第二尺度不變特征轉換特征點進行匹配;通過上述多個第一尺度不變特征轉換特征點與上述多個第二尺度不變特征轉換特征點中相互匹配的尺度不變特征轉換特征點,建立仿射變換方程;根據(jù)該仿射變換方程對該當前幀中的目標框進行仿射變換,以獲得包含旋轉角度信息的目標框。
[0014]結合第一方面中的第六種可能的實現(xiàn)方式,在第七種可能的實現(xiàn)方式中,在跟蹤該目標成功后,利用該訓練樣本的結構性約束條件對該訓練樣本進行更新,其中上述提取旋轉不變二進制特征,包括:提取所更新的訓練樣本的旋轉不變二進制特征,上述利用該訓練樣本的圖像片的旋轉不變二進制特征訓練分類器,包括:利用該更新的訓練樣本的旋轉不變二進制特征訓練該分類器。
[0015]結合第一方面的第六種可能的實現(xiàn)方式或第七種可能的實現(xiàn)方式,在第八種可能的實現(xiàn)方式中,在跟蹤該目標失敗后,針對該視頻序列的每一幀的圖像片,提取旋轉不變二進制特征,并且根據(jù)上述每一幀的圖像片的旋轉不變二進制特征,利用該分類器檢測該目標,以在該目標再次出現(xiàn)在特定幀時獲得該目標的第二檢測框;計算第二檢測框中的圖像與該模板圖像的相似度,在該相似度大于預設的閾值的情況下,提取第二檢測框中的第三尺度不變特征轉換特征點;通過上述多個第三尺度不變特征轉換特征點與上述多個第一尺度不變特征轉換特征點中相互匹配的尺度不變特征轉換特征點,建立第二仿射變換方程;根據(jù)第二仿射變換方程對第二檢測框進行仿射變換,以獲得包含旋轉角度信息的第二檢測框;在仿射變換后的第二檢測框上選擇適當比例大小的第二目標框,并且將第二目標框中的圖像作為新的模板圖像。
[0016]第三方面提供了一種檢測和跟蹤目標的裝置,包括:提取模塊,用于針對視頻序列的訓練樣本的圖像片,提取旋轉不變二進制特征,并且針對該視頻序列中的當前幀的圖像片,提取旋轉不變二進制特征;學習模塊,用于利用該訓練樣本的圖像片的旋轉不變二進制特征訓練分類器,其中該訓練樣本包括正樣本和負樣本,該正樣本來源于該視頻序列中的目標的圖像片,該負樣本來源于該視頻序列中的背景的圖像片,該分類器用于將該視頻序列中的圖像片分類為目標和背景;檢測模塊,根據(jù)該當前幀的圖像片的旋轉不變二進制特征,利用該分類器檢測該目標,以獲得該目標在該當前幀中的檢測框,其中該旋轉不變二進制特征在該圖像片旋轉的情況下保持不變。
[0017]在第一種可能的實現(xiàn)方式中,該提取模塊在提取旋轉不變二進制特征時,在該圖像片中確定至少兩個圓,分別計算上述至少兩個圓中的每個圓的圓周上的多個點的像素平均值,以得到至少兩個像素平均值,并且將上述至少兩個像素平均值的大小關系作為該圖像片的旋轉不變二進制特征。
[0018]結合第二方面的第一種可能的實現(xiàn)方式,在第二種可能的實現(xiàn)方式中,該提取模塊在確定上述至少兩個圓時,在該圖像片中隨機選擇至少兩個點,并且以該圖像片的中心為圓點,以該圓點到上述至少兩個點的距離為半徑分別確定至少兩個圓;或者以該圖像片的中心為圓點,以不同的預設長度為半徑分別確定至少兩個圓。
[0019]結合第二方面的第一種可能的實現(xiàn)方式或第二種可能的實現(xiàn)方式,在第三種可能的實現(xiàn)方式中,上述每個圓的圓周上的多個點等分該圓周或者上述每個圓的圓周上的多個點的位置被預先設置。
[0020]結合第二方面的上述任何一種可能的實現(xiàn)方式,在第四種可能的實現(xiàn)方式中,該分類器為隨機森林分類器,該隨機森林分類器包括多個樹,上述多個樹中的每個樹包括多個節(jié)點,該提取模塊針對每個節(jié)點提取該圖像片的旋轉不變二進制特征,該學習模塊利用針對上述每個節(jié)點提取該訓練樣本的圖像片的旋轉不變二進制特征訓練該分類器。
[0021]結合第二方面的上述任何一種可能的實現(xiàn)方式,在第五種可能的實現(xiàn)方式中,該檢測模塊還用于在該視頻序列的初始幀中,根據(jù)目標框選擇的圖像片獲得該正樣本,并且根據(jù)該目標框之外的圖像片獲得該負樣本,并且將該正樣本和部分該負樣本作為正圖像片和負圖像片保存在目標模型中,該裝置還包括:跟蹤模塊,用于根據(jù)該目標在該視頻序列中的前一幀中的目標框,利用視頻序列跟蹤算法跟蹤該目標在該當前幀中的軌跡,以確定該目標在該當前幀中的跟蹤框;綜合模塊,用于綜合該目標在該當前幀中的跟蹤框和該檢測框,以基于該目標模型確定該目標在該當前幀中的目標框。
[0022]結合第二方面的第五種可能的實現(xiàn)方式,在第六種可能的實現(xiàn)方式中,還包括:驗證估計模塊,用于在該視頻序列的初始幀中,將該初始幀中的該目標框內(nèi)的圖像保存為模板圖像,并提取該模塊圖像的多個第一尺度不變特征轉換特征點;在該當前幀中,提取該當前幀中的目標框中的圖像的多個第二尺度不變特征轉換特征點,并且將上述多個第一尺度不變特征轉換特征點與上述多個第二尺度不變特征轉換特征點進行匹配;通過上述多個第一尺度不變特征轉換特征點與上述多個第二尺度不變特征轉換特征點中相互匹配的尺度不變特征轉換特征點,建立仿射變換方程;根據(jù)該仿射變換方程對該當前幀中的目標框進行仿射變換,以獲得包含旋轉角度信息的目標框。
[0023]結合第二方面的第六種可能的實現(xiàn)方式,在第七種可能的實現(xiàn)方式中,該學習模塊還用于在跟蹤該目標成功后,利用該訓練樣本的結構性約束條件對該訓練樣本進行更新,該提取模塊提取所更新的訓練樣本的旋轉不變二進制特征,該學習模塊利用該更新的訓練樣本的旋轉不變二進制特征訓練該分類器。
[0024]結合第二方面的第六種可能的實現(xiàn)方式或第七種可能的實現(xiàn)方式,在第八種可能的實現(xiàn)方式中,該檢測模塊還用于在跟蹤該目標失敗后,針對該視頻序列的每一幀的圖像片,提取旋轉不變二進制特征,并且根據(jù)上述每一幀的圖像片的旋轉不變二進制特征,利用該分類器檢測該目標,以在該目標再次出現(xiàn)在特定幀時獲得該目標的第二檢測框;計算第二檢測框中的圖像與該模板圖像的相似度,在該相似度大于預設的閾值的情況下,提取第二檢測框中的第三尺度不變特征轉換特征點;通過上述多個第三尺度不變特征轉換特征點與上述多個第一尺度不變特征轉換特征點中相互匹配的尺度不變特征轉換特征點,建立第二仿射變換方程;根據(jù)第二仿射變換方程對第二檢測框進行仿射變換,以獲得包含旋轉角度信息的第二檢測框;在仿射變換后的第二檢測框上選擇適當比例大小的第二目標框,并且將第二目標框中的圖像作為新的模板圖像。
[0025]本技術方案可以在目標跟蹤過程中采用基于旋轉不變二進制特征的分類器進行目標檢測,從而保證目標在進行旋轉時也能被有效檢測到。
【專利附圖】
【附圖說明】
[0026]為了更清楚地說明本發(fā)明實施例的技術方案,下面將對本發(fā)明實施例中所需要使用的附圖作簡單地介紹,顯而易見地,下面所描述的附圖僅僅是本發(fā)明的一些實施例,對于本領域普通技術人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
[0027]圖1是根據(jù)本發(fā)明一個實施例的檢測和跟蹤目標的方法的示意性流程圖。
[0028]圖2是根據(jù)本發(fā)明的一個實施例的提取旋轉不變二進制特征的過程的示意圖。
[0029]圖3A是根據(jù)本發(fā)明的另一實施例的提取旋轉不變二進制特征的方法的示意性流程圖。
[0030]圖3B是根據(jù)本發(fā)明的另一實施例的提取旋轉不變二進制特征的方法的示意性流程圖。
[0031]圖4是根據(jù)本發(fā)明的另一實施例的TLDV系統(tǒng)框架的示意圖。
[0032]圖5是根據(jù)本發(fā)明的另一實施例的基于旋轉不變二進制特征的隨機森林分類器進行訓練和檢測的過程的示意圖。
[0033]圖6是根據(jù)本發(fā)明的另一實施例的實現(xiàn)旋轉角度估計的過程的示意圖。
[0034]圖7是根據(jù)本發(fā)明的一個實施例的檢測和跟蹤的裝置的示意性框圖。
[0035]圖8是根據(jù)本發(fā)明的另一實施例的檢測和跟蹤的裝置的示意性框圖。
[0036]圖9是根據(jù)本發(fā)明的另一實施例的提取旋轉不變二進制特征的裝置的結構性示意圖。
[0037]圖10是根據(jù)本發(fā)明的另一實施例的檢測和跟蹤目標的裝置的結構示意圖?!揪唧w實施方式】
[0038]下面將結合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例是本發(fā)明一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領域普通技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本發(fā)明保護的范圍。
[0039]在基于檢測的跟蹤方案中,為了在跟蹤時更新檢測器,需要對檢測器進行重新訓練(或?qū)W習),包括對檢測器中的分類器進行離線訓練或在線訓練。在目標檢測過程中,可以利用分類器將視頻序列的每幀圖像的圖像片標記為目標或是背景。一個目標通常在每幀圖像中具有一定的位置,而目標在視頻序列的每幀圖像中的位置可以定義為軌跡。所有離軌跡很近(例如,距軌跡的距離小于預設的值)的圖像片擁有正標記,即為正樣本,而遠離軌跡(例如,距軌跡的距離大于預設的值)的圖像片擁有負標記,即為負樣本。已被標記的樣本稱為訓練樣本,用于訓練分類器,而當前幀中未被標的樣本稱為測試樣本,用于經(jīng)過檢測器中的分類器分類后確定當前幀中的目標的位置,例如,在每幀圖像中確定目標的目標框。在本發(fā)明的實施例中,跟蹤框、檢測框和目標框表示目標所在位置和尺度大小的目標邊框,不同的是,跟蹤框由跟蹤器得到,檢測框由檢測器得到,而目標框用輸入設備選中或者由檢測器和跟蹤器的結果綜合確定。
[0040]跟蹤學習檢測器(Tracking learning Detector,TLD)算法是一種基于跟蹤、學習和檢測的長時跟蹤算法,它將檢測器與跟蹤器結合在一起,并且能夠在線對跟蹤結果進行評估和學習。在TLD算法中,在跟蹤前,可以在初始幀中用目標框(例如,矩形框)選擇待跟蹤的目標,并且將該目標框作為跟蹤器和檢測器的初始跟蹤框或初始檢測框。其后,跟蹤器和檢測并行工作,綜合估計目標的位置。另外,還可以利用學習器實時更新跟蹤器和檢測器,使得跟蹤器和檢測器能夠進行在線學習,從而獲得更好的跟蹤和檢測效果。
[0041]已經(jīng)提出了一種新的基于正負約束條件的半監(jiān)督在線學習框架。該學習框架利用2bitBP特征訓練檢測器中的分類器,并且利用一些結構性約束來重新訓練二類分類器。這種分類器和訓練分類器的方法已被應用到視頻跟蹤領域。該方法具有較好的跟蹤性能,但分類器采用的2bitBP特征不具有旋轉不變性。因此,當目標旋轉角度過大時,訓練的分類器無法定位目標。同時該檢測器僅僅給出了目標的位置信息,并沒有給出目標的旋轉角度和姿態(tài)的估計信息。
[0042]圖1是根據(jù)本發(fā)明一個實施例的檢測和跟蹤目標的方法的示意性流程圖。圖1的方法包括如下內(nèi)容。
[0043]110,針對視頻序列的訓練樣本的圖像片,提取旋轉不變二進制特征,并且利用該訓練樣本的圖像片的旋轉不變二進制特征訓練分類器,其中該訓練樣本包括正樣本和負樣本,該正樣本來源于該視頻序列中的目標的圖像片,該負樣本來源于該視頻序列中的背景的圖像片,該分類器用于將該視頻序列中的圖像片分類為目標和背景。
[0044]120,針對該視頻序列中的當前幀的圖像片,提取旋轉不變二進制特征,并且根據(jù)該當前幀的圖像片的旋轉不變二進制特征,利用該分類器檢測該目標,以獲得該目標在該當前幀中的檢測框,其中該旋轉不變二進制特征在該圖像片旋轉的情況下保持不變。
[0045]例如,視頻序列可以是各種視頻設備(例如,攝相機)獲得的連續(xù)多幀的圖像。根據(jù)本發(fā)明的實施例的分類器可以是隨機森林分類器,根據(jù)本發(fā)明的實施例并不限于此,也可以使用其它隨機分類器。
[0046]例如,二進制特征是指該特征的值可以用I和0來表示。旋轉不變二進制特征是指在圖像片旋轉之后,該圖像片的二進制特征的值仍然為I或O。例如,由某個圖像片的兩個圓的圓周上的像素平均值的大小關系在圖像片旋轉之后保持不變,即該根據(jù)圖像片的上述兩個圓的圓周上的像素平均值的大小關系確定的二進制特征為旋轉不變二進制特征。根據(jù)本發(fā)明的實施例并不限于此,也可以使用其它形式的旋轉不變二進制特征。
[0047]根據(jù)本發(fā)明的實施例首先提取訓練樣本集中的圖像片的旋轉不變二進制特征,使用這些旋轉不變二進制特征對分類器進行訓練或?qū)W習,得到基于旋轉不變二進制特征的分類器,并且使用這種分類器對當前幀中的圖像片進行分類,以檢測出目標框。由于該旋轉不變二進制特征在該圖像片旋轉的情況下保持不變,因此,可以在目標旋轉的情況下有效檢測出目標。
[0048]根據(jù)本發(fā)明的實施例可以在目標跟蹤過程中采用基于旋轉不變二進制特征的分類器進行目標檢測,從而保證目標在進行旋轉時也能被有效檢測到。
[0049]根據(jù)本發(fā)明的實施例,在提取旋轉不變二進制特征時,可以在該圖像片中確定至少兩個圓;分別計算上述至少兩個圓中的每個圓的圓周上的多個點的像素平均值,以得到至少兩個像素平均值;將上述至少兩個像素平均值的大小關系作為該圖像片的旋轉不變二進制特征。
[0050]例如,可以比較第一圓的圓周上的多個像素平均值與第二圓的圓周上的多個像素平均值的大小關系,并且比較結果得到具有取值I和O的旋轉不變二進制特征。
[0051]根據(jù)本發(fā)明的實施例,在該圖像片中確定至少兩個圓時,可以在該圖像片中隨機選擇至少兩個點,并且以該圖像片的中心為圓點,以該圓點到上述至少兩個點的距離為半徑分別確定至少兩個圓。
[0052]例如,上述至少兩個圓可以為同心圓,并且這些同心同的圓心可以為圖像片的中心。根據(jù)本發(fā)明的實施例并不限于此,例如,上述至少兩個圓的圓心可以為該圖像片中的其它位置,只要能夠使該二進制特征具有旋轉不變的特性即可。
[0053]可選地,作為另一實施例,在該圖像片中確定至少兩個圓時,可以以該圖像片的中心為圓點,以不同的預設長度為半徑分別確定至少兩個圓。
[0054]換句話說,上述至少兩個圓的半徑可以是隨機選擇的,也可以是預先設置的。
[0055]根據(jù)本發(fā)明的實施例,上述每個圓的圓周上的多個點等分該圓周或者上述每個圓的圓周上的多個點的位置被預先設置。
[0056]根據(jù)本發(fā)明的實施例,該分類器為隨機森林分類器,該隨機森林分類器包括多個樹,在110中,可以針對每個節(jié)點提取該圖像片的旋轉不變二進制特征,并且利用針對上述每個節(jié)點提取的旋轉不變二進制特征訓練該分類器。
[0057]例如,可以針對多個樹的每個節(jié)點提取同一圖像片的旋轉不變二進制特征,即不同的節(jié)點對應于不同的旋轉不變二進制特征。例如,針對第一節(jié)點的旋轉不變二進制特征的兩個圓的半徑可以不同于針對第二節(jié)點的兩個圓的旋轉不變二進制特征。
[0058]可選地,作為另一實施例,圖1的方法還包括:在該視頻序列的初始幀中,根據(jù)目標框選擇的圖像片獲得該正樣本,根據(jù)該目標框之外的圖像片獲得該負樣本,并且將該正樣本和部分該負樣本作為正圖像片和負圖像片保存在目標模型中;根據(jù)該目標在該視頻序列中的前一幀中的目標框,利用視頻序列跟蹤算法跟蹤該目標在該當前幀中的軌跡,以確定該目標在該當前幀中的跟蹤框;綜合該目標在該當前幀中的跟蹤框和該檢測框,以基于該目標模型確定該目標在該當前幀中的目標框。[0059]根據(jù)本發(fā)明的實施例,跟蹤器可以采用光流估計跟蹤算法(例如,Lucas-Kanade跟蹤算法)實現(xiàn)對目標的跟蹤。根據(jù)本發(fā)明的實施例并不限于此,根據(jù)本發(fā)明的跟蹤器也可以采用其它跟蹤算法,例如,粒子濾波算法、均值偏移算法(Mean Shift)算法等。
[0060]例如,負圖像片可以根據(jù)常規(guī)的算法從負樣本中選取。例如,在綜合確定目標框時,可以將跟蹤框和檢測框中與目標模型中的正圖像相似度最大者作為目標框。
[0061]可選地,作為另一實施例,圖1的方法還包括:在該視頻序列的初始幀中,將該初始幀中的該目標框內(nèi)的圖像保存為模板圖像,并提取該模塊圖像的多個第一尺度不變特征轉換(Scale-1nvariant feature transform, SIFT)特征點;在該當前巾貞中,提取該當前中貞中的目標框中的圖像的多個第二尺度不變特征轉換特征點,并且將上述多個第一尺度不變特征轉換特征點與上述多個第二尺度不變特征轉換特征點進行匹配;通過上述多個第一尺度不變特征轉換特征點與上述多個第二尺度不變特征轉換特征點中相互匹配的尺度不變特征轉換特征點,建立仿射變換方程;根據(jù)該仿射變換方程對該當前幀中的目標框進行仿射變換,以獲得包含旋轉角度信息的目標框。
[0062]可選地,作為另一實施例,圖1的方法還包括:在跟蹤該目標成功后,利用該訓練樣本的結構性約束條件對該訓練樣本進行更新,其中在110中,可以提取所更新的訓練樣本的旋轉不變二進制特征,并且利用該更新的訓練樣本的旋轉不變二進制特征訓練該分類器。
[0063]上述跟蹤成功可以指跟蹤器跟蹤到了目標,即輸出了跟蹤框。
[0064]上述結構性約束條件可以指在每個視頻幀中,目標只可能出現(xiàn)在一個區(qū)域,而相鄰視頻幀之間目標區(qū)域是連續(xù)的,即構成了目標的運動軌跡。結構性約束條件包括:正樣本的約束條件(簡稱正約束,Positive Constraint)和負樣本的約束條件(簡稱為負約束,Negative Constraint)。正約束使得那些被檢測器檢測為背景但是與跟蹤軌跡近的圖像片重新標定為正樣本,負約束將檢測器檢測為目標但是與跟蹤軌跡遠的圖像片標定為負樣本。例如,采用PN學習(PN learning)方法對分類器的分類結果進行評估,確定分類結果與結構性約束條件矛盾的樣本,重新調(diào)整訓練樣本集,并進行重復迭代訓練,直到某個條件滿足,才停止分類器訓練過程。
[0065]可選地,作為另一實施例,圖1的方法還包括:在跟蹤該目標失敗后,針對該視頻序列的每一幀的圖像片,提取旋轉不變二進制特征,并且根據(jù)上述每一幀的圖像片的旋轉不變二進制特征,利用該分類器檢測該目標,以在該目標再次出現(xiàn)在特定幀時獲得該目標的第二檢測框;計算第二檢測框中的圖像與該模板圖像的相似度,在該相似度大于預設的閾值的情況下,提取第二檢測框中的第三尺度不變特征轉換特征點;通過上述多個第三尺度不變特征轉換特征點與上述多個第一尺度不變特征轉換特征點中相互匹配的尺度不變特征轉換特征點,建立第二仿射變換方程;根據(jù)第二仿射變換方程對第二檢測框進行仿射變換,以獲得包含旋轉角度信息的第二檢測框;在仿射變換后的第二檢測框上選擇適當比例大小的第二目標框,并且將第二目標框中的圖像作為新的模板圖像。
[0066]圖2是根據(jù)本發(fā)明的一個實施例的提取旋轉不變二進制特征的方法的流程圖。圖2的方法對應于圖1的實施例中的提取旋轉不變二進制特征的方法,在此不再贅述。圖2的方法包括如下內(nèi)容。
[0067]210,在圖像片中確定至少兩個圓。[0068]220,分別計算上述至少兩個圓中的每個圓的圓周上的多個點的像素平均值,以得到至少兩個像素平均值。
[0069]230,將上述至少兩個像素平均值的大小關系作為該圖像片的旋轉不變二進制特征。
[0070]根據(jù)本發(fā)明的實施例可以提取圖像片的至少兩個圓的像素平均值的大小關系作為分類器的二進制特征,由于這種大小關系可以在圖像片旋轉時保持不變,從而得到了一種具有旋轉不變性的二進制特征。
[0071]在210中,可以在該圖像片中隨機選擇至少兩個點,并且以該圖像片的中心為圓點,以該圓點到上述至少兩個點的距離為半徑分別確定至少兩個圓。
[0072]可選地,作為另一實施例,可以以該圖像片的中心為圓點,以不同的預設長度為半徑分別確定至少兩個圓。
[0073]根據(jù)本發(fā)明的實施例,上述每個圓的圓周上的多個點等分該圓周或者上述每個圓的圓周上的多個點的位置被預先設置。
[0074]圖3A是根據(jù)本發(fā)明的另一實施例的提取旋轉不變二進制特征的過程的示意圖。
[0075]與2bitBP特征不同的是,本發(fā)明的實施例所提取的二進制特征是具有一定的旋轉不變性的二進制特征。為了在目標檢測過程中實現(xiàn)快速的特征提取,本發(fā)明的實施例采用旋轉不變二進制特征作為隨機森林FERN (蕨)分類器的特征。該旋轉不變二進制特征的提取過程如下:
[0076]首先,在圖像片300中隨機選取兩個特征點:特征點310和特征點320。在初始化時,這兩個特征點是隨機選取的,并且在根據(jù)本發(fā)明的實施例的分類器的訓練過程中,特征點的位置保持不變。
[0077]其次,以圖像片300的中心點為圓心,以這兩個特征點到中心點的距離為半徑畫圓,取各個圓周上的12個平分點,分別計算各個圓周上12個平分點的像素平均值310和像素平均值320,如需提高檢測準確率,可以增加圓周上提取的點數(shù),例如,可以取圓周上的24個平分點的像素平均值。
[0078]最后,根據(jù)這兩個像素平均值的關系,確定最終的旋轉不變二進制特征f,例如,如果像素平均值310〉像素平均值320,則f=l,否則f=0??蛇x地,如果像素平均值310〈像素平均值320,則f=l,否則f=0。
[0079]圖3B是根據(jù)本發(fā)明的另一實施例的提取旋轉不變二進制特征的過程的示意圖。與圖3A的實施例不同的是,在提取旋轉不變二進制特征時,選擇的特征點的數(shù)目不同。
[0080]首先,在圖像片300中隨機選取三個特征點:特征點310、特征點320和特征點330。在初始化時,這三個特征點是隨機選取的,并且在根據(jù)本發(fā)明的實施例的分類器的訓練過程中,特征點的位置保持不變。
[0081]其次,以圖像片300的中心點為圓心,以這三個特征點到中心點的距離為半徑畫圓,取各個圓周上的12個平分點,分別計算各個圓周上12個平分點的像素平均值310、像素平均值320和像素平均值330。如需提高檢測準確率,可以增加圓周上提取的點數(shù),例如,可以取圓周上的24個平分點的像素平均值。
[0082]最后,根據(jù)這三個像素平均值的關系,確定最終的旋轉不變二進制特征f,例如,如果像素平均值310〉像素平均值320且像素平均值320〉像素平均值330,則f=l,否則f=0??蛇x地,如果像素平均值310〈像素平均值320且像素平均值320〈像素平均值330,則f=l,否則f=0。根據(jù)本發(fā)明的實施例并不限于此,可以采用更多的特征點,也可以基于更多的像素平均值的大小關系來確定旋轉不變二進制特征。
[0083]當圖像片300旋轉一定的角度時,根據(jù)本發(fā)明的實施例的的像素平均值的大小關系保持不變,因此,由上述像素平均值的大小關系確定的特征具有一定的旋轉不變性。根據(jù)本發(fā)明的實施例利用上述旋轉不變二進制特征,使得不同角度下的目標都能被有效檢測出。
[0084]與2bitBP特征相比,根據(jù)本發(fā)明的旋轉不變二進制特征具有以下特點:
[0085]I)具有旋轉不變性。本發(fā)明的實施例的二進制特征具有一定的旋轉不變性,可以用于提高目標旋轉一定角度下的檢測率。
[0086]2)計算方法簡單,空間復雜度低。與2bitBP特征每一個節(jié)點輸出2比特信息相t匕,本發(fā)明的實施例的旋轉不變二進制特征僅僅輸出I比特信息。在對分類器進行訓練時,隨著隨機森林的數(shù)目的增加或樹(例如,F(xiàn)ERN)的節(jié)點的數(shù)量增加,采用2bitBP特征比采用本發(fā)明的實施例的旋轉不變二進制特征占用的空間更多。例如,如果FERN的個數(shù)為K,每個FERN的深度為d的話,一個2bitBP特征的輸出具有4個可能值,每一個FERN的葉子節(jié)點輸出的數(shù)目為4d。而本發(fā)明的實施例的旋轉不變二進制特征的輸出為2個可能值,因此每一個FERN的葉子節(jié)點輸出的數(shù)目為2d。因此,采用根據(jù)本發(fā)明的實施例的旋轉不變二進制特征可以節(jié)省存儲空間,尤其在分類器的樹或節(jié)點的數(shù)目較多時,可以節(jié)省大量的存儲空間。
[0087]圖4是根據(jù)本發(fā)明的另一實施例的TLDV系統(tǒng)框架的示意圖。
[0088]根據(jù)本發(fā)明的實施例是在常規(guī)TLD在線跟蹤框架的基礎上改進的在線學習跟蹤框架,即采用了旋轉不變二進制特征進行分類器的訓練,并且增加了旋轉估計的功能,用于給出目標的仿射變換信息。根據(jù)本發(fā)明的實施例的檢測和跟蹤方法包含跟蹤(Tracking)、學習(Learning)、檢測(Detection)和驗證(Validating)等功能,這里簡稱為TLDV在線跟蹤框架。
[0089]在本實施例中,采用實時性較好的光流跟蹤器進行目標跟蹤,利用基于隨機森林FERN的檢測器進行目標檢測,同時利用PN學習框架更新檢測器。下面結合TLDV系統(tǒng)框架來說明檢測和跟蹤的基本流程。
[0090]I)初始化檢測器430和跟蹤器440。在TLDV系統(tǒng)框架正式工作之前,可以對檢測器430和跟蹤器440的各個參數(shù)進行初始化,例如,初始化掃描窗口的步長和掃描窗口的縮放因子等等。例如,掃描窗口的參數(shù)可以設置如下:垂直方向的步長設置為窗口高度的5%,水平方向步長設置為窗口寬度的5%,縮放因子設置為1.1。
[0091]2)在視頻序列410的初始幀,使用初始目標框(例如,矩形框)選擇目標,并且針對所選的目標,利用旋轉不變特征提取器420提取旋轉不變二進制特征。例如,視頻設備的用戶需要跟蹤目標時,可以首先通過視頻設備的輸入設備選擇該目標的目標框。
[0092]3)學習模塊431基于上述旋轉不變二進制特征對隨機森林FERN分類器進行訓練。具體的訓練過程在圖6的實施例中描述,在此不再贅述。
[0093]4)學習模塊431將初始目標框中的圖像片作為正圖像片,將背景圖像片作為負圖像片保存在目標1吳型中。
[0094]5)針對初始目標框選擇的初始目標位置,檢測模塊432提取目標的SIFT特征作為初始模板圖像或者將目標框中的圖像作為初始模板圖像,并且提取SIFT特征。
[0095]6)在后續(xù)的視頻幀中,利用檢測模塊432檢測目標,以向綜合器460輸出檢測框。具體而言,檢測器430采用掃描窗口對每個視頻幀進行掃描處理,每次掃描一個圖像片(image patch),并且使用上述隨機森林分類器對每個圖像片進行分類,以確定該圖像片是否包含待檢測的目標。換句話說,對每一幀圖像進行全圖搜索以檢測或定位目標可能出現(xiàn)的區(qū)域。具體的檢測過程在圖6的實施例中描述,在此不再贅述。
[0096]進一步,還可以對將分類器得到的目標的圖像片與目標模型進行比較,并且在兩者的相似度大于某個閾值時,確定該圖像片中包含目標。
[0097]7)在后續(xù)的視頻幀中,同時利用跟蹤器440跟蹤目標,以輸出跟蹤框。具體而言,在當前幀,跟蹤器440可以采用光法跟蹤算法,根據(jù)上一幀圖像中的目標框獲得目標在當前幀的位置。例如,可以將目標框中的像素點作為初始特征點,并且利用光流法在相鄰的兩個視頻幀中尋找上一幀的若干特征點在當前幀中的位置。
[0098]另外,跟蹤器的信任度根據(jù)跟蹤到的目標的圖像片與初始幀選擇的圖像片之間的相似度來進行度量。當前幀上跟蹤到的目標的圖像與在初始幀選擇的圖像擁有大于80%的相似度時,目標在該幀中的軌跡被認為是正確或有效的。當這個軌跡被認為是有效時,將會觸發(fā)P-N學習的結構性約束條件,從而開始利用數(shù)據(jù)的結構信息(例如,跟蹤得到的軌跡),進行檢測器的更新和學習。
[0099]8)結合PN學習的結構性約束條件實現(xiàn)檢測器430的更新。具體而言,檢測器430檢測出多個目標圖像片和很多背景圖像片,檢測器得到的結果可能會有錯誤,所以需要利用PN約束來修正這些檢測結果。例如,可以對檢測器430檢測出的負樣本進行P約束,使得那些被檢測器430檢測為背景但是與跟蹤器440的確定的跟蹤軌跡近的圖像片重新標定為正樣本。N約束將檢測器430檢測為目標但是與跟蹤軌跡遠的圖像片標定為負樣本。按照分類盈余選擇部分正樣本和負樣本加入到目標模型中,用以重新訓練檢測器430中的分類器,從而實現(xiàn)分類器的更新。
[0100]9)利用綜合器460綜合跟蹤器440輸出的跟蹤框和檢測器430輸出的檢測框,以輸出目標框。具體而言,綜合器460分析檢測框與跟蹤框,將與目標模型相比具有最大可能性的那個所在的位置,作為目標框。如果檢測器未得到檢測框且跟蹤器未得到跟蹤框,則綜合器460認為被跟蹤目標沒有出現(xiàn)在當前幀中,跟蹤失敗。
[0101]10)在每一幀,利用驗證估計器470,給出目標框旋轉角度信息,并且根據(jù)目標框旋轉角度信息對綜合器460得到的目標框進行旋轉,輸出最終的目標框480。具體而言,可以針對該目標框內(nèi)的圖像提取SIFT特征,與上述模板圖像提取的SIFT特征進行匹配,得到仿射矩陣,從而獲取目標的旋轉信息,即得到一個經(jīng)過仿射變換的目標框,并且用當前幀的目標框內(nèi)的圖像取代初始模板圖像。具體的驗證估計過程參見對圖6的實施例的描述,在此不再贅述。
[0102]由于本發(fā)明利用了檢測器、跟蹤器以及驗證估計器,使得跟蹤過程可以有效處理目標丟失后再出現(xiàn)的情況,對于這種情況而言,重要的是如何進行發(fā)現(xiàn)目標的初始化跟蹤,具體過程如下:
[0103]I)當跟蹤目標失敗(即目標在攝像機的視野中丟失)后,在視頻序列410的每一幀,利用檢測器430對該幀進行目標檢測。具體而言,可以針對該視頻序列的每一幀的圖像片,提取旋轉不變二進制特征,并且根據(jù)該幀的圖像片的旋轉不變二進制特征,利用分類器檢測該目標,以便在目標再次出現(xiàn)在特定幀時獲得目標的檢測框。
[0104]2)當檢測器430檢測到目標(即檢測到檢測框)時,利用檢測器430計算檢測到的檢測框中的圖像片與上述目標模型的相似度。如果該相似度大于預設的閾值,則提取該檢測框中的SIFT特征點,利用驗證估計器470得到修正后的檢測框,即包含旋轉角度信息的檢測框。具體的驗證估計過程參見對圖6的實施例的描述,在此不再贅述。
[0105]3)在修正后的檢測框上選擇適當比例大小的初始目標框,并將初始目標框中的圖像作為新的模板圖像用于跟蹤器440對目標進行跟蹤。適當比例大小是指修正后的檢測框大小(例如,長和寬的大小)比例與目標模型的大小(例如,正圖像片的長和寬的大小)比例一致或接近一致。
[0106]4)基于更新后的模板圖像和初始目標框,按照TLDV系統(tǒng)框架進行在線跟蹤和檢測。
[0107]圖5是根據(jù)本發(fā)明的另一實施例的基于旋轉不變二進制特征的隨機森林分類器進行訓練和檢測的過程的示意圖。圖5給出了如何利用旋轉不變特征進行隨機森林分類器的訓練和檢測的過程。圖中FERN分類器由三個FERN (FERNU FERN2和FERN3)構成,每個FERN有3個節(jié)點(例如,節(jié)點1、節(jié)點2和節(jié)點3)。在本發(fā)明的上述實施例中使用FERN分類器作為檢測器,F(xiàn)ern分類器具有穩(wěn)健的分類能力,能有效的處理目標檢測問題,同時具有結構簡單,計算效率高的特點。
[0108]參見圖5,給定圖像中特征點周圍的圖像片,檢測的任務是將它賦予最可能的類另O。設Ci,i=l,...,H是類的標記集合。本發(fā)明的實施例只關心前景和背景,因此H=2,fj_,j = 1,...N是二進制特征的集合,該二進制特征是在圖像片上提取旋轉不變特征得到的。檢測的目標是將特征分類到后驗概率最大的類別中:
[0109]c
【權利要求】
1.一種檢測和跟蹤目標的方法,其特征在于,包括: 針對視頻序列的訓練樣本的圖像片,提取旋轉不變二進制特征,并且利用所述訓練樣本的圖像片的旋轉不變二進制特征訓練分類器,其中所述訓練樣本包括正樣本和負樣本,所述正樣本來源于所述視頻序列中的目標的圖像片,所述負樣本來源于所述視頻序列中的背景的圖像片,所述分類器用于將所述視頻序列中的圖像片分類為目標和背景; 針對所述視頻序列中的當前幀的圖像片,提取旋轉不變二進制特征,并且根據(jù)所述當前幀的圖像片的旋轉不變二進制特征,利用所述分類器檢測所述目標,以獲得所述目標在所述當前幀中的檢測框,其中所述旋轉不變二進制特征在所述圖像片旋轉的情況下保持不變。
2.根據(jù)權利要求1所述的方法,其特征在于,所述提取旋轉不變二進制特征,包括: 在所述圖像片中確定至少兩個圓; 分別計算所述至少兩個圓中的每個圓的圓周上的多個點的像素平均值,以得到至少兩個像素平均值; 將所述至少兩個像素平均值的大小關系作為所述圖像片的旋轉不變二進制特征。
3.根據(jù)權利要求2所述的方法,其特征在于,所述在所述圖像片中確定至少兩個圓,包括: 在所述圖像片中隨機選擇至少兩個點,并且以所述圖像片的中心為圓點,以所述圓點到所述至少兩個點的距離為半徑分別確定至少兩個圓;或者, 以所述圖像片的中心為圓點,以不同的預設長度為半徑分別確定至少兩個圓。
4.根據(jù)權利要求2或3所述的方法,其特征在于,所述每個圓的圓周上的多個點等分所述圓周或者所述每個圓的圓周上的多個點的位置被預先設置。
5.根據(jù)權利要求1至4中的任一項所述的方法,其特征在于,所述分類器為隨機森林分類器,所述隨機森林分類器包括多個樹,所述多個樹中的每個樹包括多個節(jié)點,所述提取旋轉不變二進制特征,包括: 針對每個節(jié)點提取所述圖像片的旋轉不變二進制特征, 其中所述利用所述訓練樣本的圖像片的旋轉不變二進制特征訓練分類器,包括:利用針對所述每個節(jié)點提取所述訓練樣本的圖像片的旋轉不變二進制特征訓練所述分類器。
6.根據(jù)權利要求1至5中的任一項所述的方法,其特征在于,還包括: 在所述視頻序列的初始幀中,根據(jù)目標框選擇的圖像片獲得所述正樣本,并且根據(jù)所述目標框之外的圖像片獲得所述負樣本,并且將所述正樣本和部分所述負樣本作為正圖像片和負圖像片保存在目標I吳型中; 根據(jù)所述目標在所述視頻序列中的前一幀中的目標框,利用視頻序列跟蹤算法跟蹤所述目標在所述當前幀中的軌跡,以確定所述目標在所述當前幀中的跟蹤框; 綜合所述目標在所述當前幀中的跟蹤框和所述檢測框,以基于所述目標模型確定所述目標在所述當前幀中的目標框。
7.根據(jù)權利要求1至6中的任一項所述的方法,其特征在于,還包括: 在所述視頻序列的初始幀中,將所述初始幀中的所述目標框內(nèi)的圖像保存為模板圖像,并提取所述模塊圖像的多個第一尺度不變特征轉換特征點;在所述當前幀中,提取所述當前幀中的目標框中的圖像的多個第二尺度不變特征轉換特征點,并且將所述多個所述第一尺度不變特征轉換特征點與所述多個第二尺度不變特征轉換特征點進行匹配; 通過所述多個第一尺度不變特征轉換特征點與所述多個第二尺度不變特征轉換特征點中相互匹配的尺度不變特征轉換特征點,建立仿射變換方程; 根據(jù)所述仿射變換方程對所述當前幀中的目標框進行仿射變換,以獲得包含旋轉角度信息的目標框。
8.根據(jù)權利要求7所述的方法,其特征在于,所述方法還包括: 在跟蹤所述目標成功后,利用所述訓練樣本的結構性約束條件對所述訓練樣本進行更新, 其中提取旋轉不變二進制特征,包括: 提取所更新的訓練樣本的旋轉不變二進制特征, 所述利用所述訓練樣本的圖像片的旋轉不變二進制特征訓練分類器,包括: 利用所述更新的訓練樣本的旋轉不變二進制特征訓練所述分類器。
9.根據(jù)權利要求7或8任一項所述的方法,其特征在于,還包括: 在跟蹤所述目標失敗后,針對所述視頻序列的每一幀的圖像片,提取旋轉不變二進制特征,并且根據(jù)所述每一幀的圖像片的旋轉不變二進制特征,利用所述分類器檢測所述目標,以在所述目標再次出現(xiàn)在特定幀時獲得所述目標的第二檢測框;` 計算所述第二檢測框中的圖像與所述模板圖像的相似度,在所述相似度大于預設的閾值的情況下,提取所述第二檢測框中的第三尺度不變特征轉換特征點; 通過所述多個第三尺度不變特征轉換特征點與所述多個第一尺度不變特征轉換特征點中相互匹配的尺度不變特征轉換特征點,建立第二仿射變換方程; 根據(jù)所述第二仿射變換方程對所述第二檢測框進行仿射變換,以獲得包含旋轉角度信息的第二檢測框; 在仿射變換后的第二檢測框上選擇適當比例大小的第二目標框,并且將所述第二目標框中的圖像作為新的模板圖像。
10.一種檢測和跟蹤目標的裝置,其特征在于,包括: 提取模塊,用于針對視頻序列的訓練樣本的圖像片,提取旋轉不變二進制特征,并且針對所述視頻序列中的當前幀的圖像片,提取旋轉不變二進制特征; 學習模塊,用于利用所述訓練樣本的圖像片的旋轉不變二進制特征訓練分類器,其中所述訓練樣本包括正樣本和負樣本,所述正樣本來源于所述視頻序列中的目標的圖像片,所述負樣本來源于所述視頻序列中的背景的圖像片,所述分類器用于將所述視頻序列中的圖像片分類為目標和背景; 檢測模塊,根據(jù)所述當前幀的圖像片的旋轉不變二進制特征,利用所述分類器檢測所述目標,以獲得所述目標在所述當前幀中的檢測框,其中所述旋轉不變二進制特征在所述圖像片旋轉的情況下保持不變。
11.根據(jù)權利要求10所述的裝置,其特征在于,所述提取模塊在提取旋轉不變二進制特征時,在所述圖像片中確定至少兩個圓,分別計算所述至少兩個圓中的每個圓的圓周上的多個點的像素平均值,以得到至少兩個像素平均值,并且將所述至少兩個像素平均值的大小關系作為所述圖像片的旋轉不變二進制特征。
12.根據(jù)權利要求11所述的裝置,其特征在于,所述提取模塊在確定所述至少兩個圓時,在所述圖像片中隨機選擇至少兩個點,并且以所述圖像片的中心為圓點,以所述圓點到所述至少兩個點的距離為半徑分別確定至少兩個圓;或者以所述圖像片的中心為圓點,以不同的預設長度為半徑分別確定至少兩個圓。
13.根據(jù)權利要求11或12所述的裝置,其特征在于,所述每個圓的圓周上的多個點等分所述圓周或者所述每個圓的圓周上的多個點的位置被預先設置。
14.根據(jù)權利要求10至13中的任一項所述的裝置,其特征在于,所述分類器為隨機森林分類器,所述隨機森林分類器包括多個樹,所述多個樹中的每個樹包括多個節(jié)點,所述提取模塊針對每個節(jié)點提取所述圖像片的旋轉不變二進制特征,所述學習模塊利用針對所述每個節(jié)點提取所述訓練樣本的圖像片的旋轉不變二進制特征訓練所述分類器。
15.根據(jù)權利要求10至14中的任一項所述的裝置,其特征在于,所述檢測模塊還用于在所述視頻序列的初始幀中,根據(jù)目標框選擇的圖像片獲得所述正樣本,并且根據(jù)所述目標框之外的圖像片獲得所述負樣本,并且將所述正樣本和部分所述負樣本作為正圖像片和負圖像片保存在目標模型中,該裝置還包括: 跟蹤模塊,用于根據(jù)所述目標在所述視頻序列中的前一幀中的目標框,利用視頻序列跟蹤算法跟蹤所述目標在所述當前幀中的軌跡,以確定所述目標在所述當前幀中的跟蹤框; 綜合模塊,用于綜合所述目標在所述當前幀中的跟蹤框和所述檢測框,以基于所述目標模型確定所述目標在所述當前幀中的目標框。
16.根據(jù)權利要求10至15中的任一項所述的裝置,其特征在于,還包括: 驗證估計模塊,用于在所述視頻序列的初始幀中,將所述初始幀中的所述目標框內(nèi)的圖像保存為模板圖像,并提取所述模塊圖像的多個第一尺度不變特征轉換特征點;在所述當前幀中,提取所述當前幀中的目標框中的圖像的多個第二尺度不變特征轉換特征點,并且將所述多個所述第一尺度不變特征轉換特征點與所述多個第二尺度不變特征轉換特征點進行匹配;通過所述多個第一尺度不變特征轉換特征點與所述多個第二尺度不變特征轉換特征點中相互匹配的尺度不變特征轉換特征點,建立仿射變換方程;根據(jù)所述仿射變換方程對所述當前幀中的目標框進行仿射變換,以獲得包含旋轉角度信息的目標框。
17.根據(jù)權利要求16所述的裝置,其特征在于,所述學習模塊還用于在跟蹤所述目標成功后,利用所述訓練樣本的結構性約束條件對所述訓練樣本進行更新,所述提取模塊提取所更新的訓練樣本的旋轉不變二進制特征,所述學習模塊利用所述更新的訓練樣本的旋轉不變二進制特征訓練所 述分類器。
18.根據(jù)權利要求16或17任一項所述的裝置,其特征在于,所述檢測模塊還用于在跟蹤所述目標失敗后,針對所述視頻序列的每一幀的圖像片,提取旋轉不變二進制特征,并且根據(jù)所述每一幀的圖像片的旋轉不變二進制特征,利用所述分類器檢測所述目標,以在所述目標再次出現(xiàn)在特定幀時獲得所述目標的第二檢測框;計算所述第二檢測框中的圖像與所述模板圖像的相似度,在所述相似度大于預設的閾值的情況下,提取所述第二檢測框中的第三尺度不變特征轉換特征點;通過所述多個第三尺度不變特征轉換特征點與所述多個第一尺度不變特征轉換特征點中相互匹配的尺度不變特征轉換特征點,建立第二仿射變換方程; 根據(jù)所述第二仿射變換方程對所述第二檢測框進行仿射變換,以獲得包含旋轉角度信息的第二檢測框;在仿射變換后的第二檢測框上選擇適當比例大小的第二目標框,并且將所述第二目標框中的圖像作為新的模板圖像。
【文檔編號】G06K9/62GK103679186SQ201210332178
【公開日】2014年3月26日 申請日期:2012年9月10日 優(yōu)先權日:2012年9月10日
【發(fā)明者】劉佳, 周青, 楊杰 申請人:華為技術有限公司