本發(fā)明涉及視頻監(jiān)控領(lǐng)域，特別涉及一種使用PTZ攝像機(jī)對目標(biāo)進(jìn)行自動跟蹤的方法及裝置。

背景技術(shù)：

視頻監(jiān)控是安全防范系統(tǒng)的重要組成部分，它是一種防范能力較強(qiáng)的綜合系統(tǒng)。視頻監(jiān)控以其直觀、準(zhǔn)確、及時和信息內(nèi)容豐富而廣泛應(yīng)用于許多場合。近年來，隨著計算機(jī)、網(wǎng)絡(luò)以及圖像處理、傳輸技術(shù)的飛速發(fā)展，視頻監(jiān)控技術(shù)也有了長足的發(fā)展。目前，根據(jù)監(jiān)控系統(tǒng)使用的監(jiān)控攝像機(jī)的種類不同，分為槍機(jī)(固定攝像機(jī))監(jiān)控和PTZ(Pan/Tilt/Zoom)攝像機(jī)(球機(jī))監(jiān)控。由于PTZ攝像機(jī)相比于槍機(jī)，具有監(jiān)控的場景更大、跟蹤目標(biāo)范圍更廣、焦距可變等優(yōu)勢，很多機(jī)構(gòu)都在這一方向進(jìn)行研究。

PTZ攝像機(jī)跟蹤技術(shù)是一種利用圖像處理技術(shù)，實現(xiàn)目標(biāo)發(fā)現(xiàn)并控制PTZ攝像機(jī)對運動目標(biāo)在一定場景范圍內(nèi)進(jìn)行定位、跟蹤和抓拍的監(jiān)控技術(shù)。這種技術(shù)可以用于路況監(jiān)控和公共場所安全監(jiān)控等多個領(lǐng)域。

攝像機(jī)對于運動目標(biāo)的跟蹤技術(shù)是基于對監(jiān)控場景的背景建模，從而發(fā)現(xiàn)進(jìn)入場景中的目標(biāo)，實現(xiàn)對目標(biāo)在場景中的定位和跟蹤。但是大多數(shù)的背景建模方法是針對固定攝像機(jī)的。因為固定攝像頭監(jiān)控同一個地方的場景，每個像素點的變化可以獨立建模，并且能夠窮盡全局監(jiān)控場景。而PTZ攝像機(jī)有更寬廣的場景，但它不能在一個抓拍中窮盡全局監(jiān)控場景，必須旋轉(zhuǎn)捕捉全景(全局監(jiān)控場景)的不同部分。此外，PTZ攝像機(jī)的旋轉(zhuǎn)對通常用于背景模型的特征有很大影響。

在背景模型中，所使用的特征是一個很重要的影響因素。局部紋理特征是一個很好的用于為像素或像素塊建模的特征。和利用局部二 值模式(LBP)為特征，這個特征對光照變化有很強(qiáng)的魯棒性。一種新型的尺度不變局部三元模式(SILTP)特征也被用于背景建模。

近年來，基于PTZ攝像機(jī)的背景模型吸引越來越多的研究興趣。方法基本可分為兩大類：幀到幀和幀到全景圖(全景的背景圖像)。幀到幀的方法，重點在于對當(dāng)前幀和前幾幀的重疊區(qū)像素的重用。幀到全景圖方法的重點在于建立一個全景圖。幀到幀方法利用鄰近幀進(jìn)行幀的場景定位，可以使得對應(yīng)圖像失真較小，但定位精度會隨著物體移動下降。此外由于缺乏全景信息，某些幀區(qū)域的前景檢測是很困難的。而且，它們不能處理PTZ攝像機(jī)的焦距的變化。幀到全景圖的方法使用縫合技術(shù)生成全景圖，為前景檢測提供全景信息。然而，這些方法提供的全景圖可能包含有運動目標(biāo)。一些縫合問題，例如嚴(yán)重的圖像失真和重影，也可能會產(chǎn)生。當(dāng)創(chuàng)建全景圖時，幀到全景圖方法一般遵循這樣的假設(shè)：沒有顯著的運動視差，即隨著鏡頭的轉(zhuǎn)動，場景深度變化是不明顯的。但是這樣的假設(shè)在某些情況下不成立。而且全景圖的更新過程更困難，代價更高。

如果用于匹配的特征點太少，幀的場景定位可能會失敗。一種多層特征對應(yīng)的傳播方法可以產(chǎn)生足夠的匹配特征點，它通過更大的計算量來實現(xiàn)更好的場景定位，但是圖像失真會嚴(yán)重影響背景減除的結(jié)果，這樣造成場景定位速度較慢、準(zhǔn)確度不高。

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題在于，針對現(xiàn)有技術(shù)的上述不能處理焦距變化、幀到全景圖存在縫合問題、運動視差、更新模型代價高、場景定位速度較慢、準(zhǔn)確度不高的缺陷，提供一種能處理焦距變化、能避免縫合問題和運動視差問題、降低了更新模型的代價、場景定位速度較快、準(zhǔn)確度較高的使用PTZ攝像機(jī)對目標(biāo)進(jìn)行自動跟蹤的方法及裝置。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：構(gòu)造一種使用PTZ攝像機(jī)對目標(biāo)進(jìn)行自動跟蹤的方法，包括如下步驟：

A)將所述PTZ攝像機(jī)的焦距變化范圍劃分為多個層次尺度，將每個層次尺度下的全景分別劃分為一個部分場景的集合，并分別為每個部分場景建立背景模型；

B)捕獲當(dāng)前視頻幀，提取所述當(dāng)前視頻幀的ORB(Oriented FAST and Rotated BRIEF)征點，并分別找到每個層次尺度中與所述當(dāng)前視頻幀的ORB特征點匹配的部分場景，并使用被匹配的部分場景檢測所述當(dāng)前視頻幀的前景物體；

C)利用所述當(dāng)前視頻幀的前景物體的檢測結(jié)果優(yōu)化跟蹤結(jié)果，并根據(jù)所述跟蹤結(jié)果調(diào)整所述PTZ攝像機(jī)，使跟蹤目標(biāo)保持在監(jiān)控畫面中。

在本發(fā)明所述的使用PTZ攝像機(jī)對目標(biāo)進(jìn)行自動跟蹤的方法中，所述步驟A)進(jìn)一步包括：

A1)將所述PTZ攝像機(jī)的焦距變化范圍劃分為多個層次尺度；

A2)將每個層次尺度下的全景分別劃分為一個部分場景集合；

A3)找出每個所述層次尺度下的關(guān)鍵幀集；

A4)提取每個關(guān)鍵幀的特征點，找到當(dāng)前關(guān)鍵幀在下一層次尺度有相同左右轉(zhuǎn)動角度和上下轉(zhuǎn)動角度的相鄰關(guān)鍵幀；

A5)尋找所述相鄰關(guān)鍵幀中與所述當(dāng)前關(guān)鍵幀的特征點對應(yīng)的點；

A6)通過所述對應(yīng)的點計算所述當(dāng)前關(guān)鍵幀和相鄰關(guān)鍵幀之間的轉(zhuǎn)化矩陣，并存儲所述轉(zhuǎn)化矩陣；

A7)將所述當(dāng)前關(guān)鍵幀和相鄰關(guān)鍵幀的圖像四個角分別映射到各自的圖像平面并存儲；

A8)捕獲一個時間序列的關(guān)鍵幀集，為所述關(guān)鍵幀集中的每個像素點建立局部模式特征，并通過計算和保持設(shè)定個數(shù)最頻繁發(fā)生的局部模式特征來建立部分場景的背景模型。

在本發(fā)明所述的使用PTZ攝像機(jī)對目標(biāo)進(jìn)行自動跟蹤的方法中，所述步驟B)進(jìn)一步包括：

B1)提取并存儲所有關(guān)鍵幀的ORB特征點；

B2)確定視頻幀的相鄰關(guān)鍵幀集；

B3)提取所述視頻幀的ORB特征點，并將所述視頻幀的ORB特征點與所述關(guān)鍵幀的ORB特征點進(jìn)行匹配定位，找出匹配的關(guān)鍵幀；

B4)利用所述匹配的關(guān)鍵幀的背景模型檢測所述視頻幀的前景物體。

在本發(fā)明所述的使用PTZ攝像機(jī)對目標(biāo)進(jìn)行自動跟蹤的方法中，所述步驟C)進(jìn)一步包括：

C1)在視頻流的第一個視頻幀中的前景物體中框出跟蹤目標(biāo)，并初始化跟蹤參數(shù)；

C2)根據(jù)所述跟蹤參數(shù)得到所述跟蹤目標(biāo)在下一個視頻幀中的矩形框；

C3)通過視頻幀的場景定位和部分場景的背景模型得到所述下一個視頻幀的前景檢測結(jié)果；

C4)通過所述前景檢測結(jié)果優(yōu)化跟蹤結(jié)果或恢復(fù)跟蹤，并更新所述矩形框；

C5)更新所述跟蹤參數(shù)，并依據(jù)所述跟蹤結(jié)果調(diào)整所述PTZ攝像機(jī)；

C6)通過所述PTZ攝像機(jī)的參數(shù)將所述跟蹤目標(biāo)重新定位到監(jiān)控畫面中。

在本發(fā)明所述的使用PTZ攝像機(jī)對目標(biāo)進(jìn)行自動跟蹤的方法中，所述步驟B3)進(jìn)一步包括：

B31)將視頻幀的圖像劃分為按照設(shè)定行數(shù)和設(shè)定列數(shù)排列的多個區(qū)域；

B32)從每個所述區(qū)域中分別提取其個數(shù)小于設(shè)定閾值的ORB特征點；

B33)將提取的ORB特征點與所述關(guān)鍵幀的ORB特征點進(jìn)行匹配定位，找出匹配的關(guān)鍵幀。

本發(fā)明還涉及一種實現(xiàn)上述使用PTZ攝像機(jī)對目標(biāo)進(jìn)行自動跟蹤的方法的裝置，包括：

層次劃分模型建立單元：用于將所述PTZ攝像機(jī)的焦距變化范圍劃分為多個層次尺度，將每個層次尺度下的全景分別劃分為一個部分場景的集合，并分別為每個部分場景建立背景模型；

提取匹配檢測單元：用于捕獲當(dāng)前視頻幀，提取所述當(dāng)前視頻幀的ORB特征點，并分別找到每個層次尺度中與所述當(dāng)前視頻幀的ORB特征點匹配的部分場景，并使用被匹配的部分場景檢測所述當(dāng)前視頻幀的前景物體；

跟蹤優(yōu)化調(diào)整單元：用于利用所述當(dāng)前視頻幀的前景物體的檢測結(jié)果優(yōu)化跟蹤結(jié)果，并根據(jù)所述跟蹤結(jié)果調(diào)整所述PTZ攝像機(jī)，使跟蹤目標(biāo)保持在監(jiān)控畫面中。

在本發(fā)明所述的裝置中，所述層次劃分模型建立單元進(jìn)一步包括：

焦距劃分模塊：用于將所述PTZ攝像機(jī)的焦距變化范圍劃分為多個層次尺度；

部分場景劃分模塊：用于將每個層次尺度下的全景分別劃分為一個部分場景集合；

關(guān)鍵幀集查找模塊：用于找出每個所述層次尺度下的關(guān)鍵幀集；

相鄰關(guān)鍵幀查找模塊：用于提取每個關(guān)鍵幀的特征點，找到當(dāng)前關(guān)鍵幀在下一層次尺度有相同左右轉(zhuǎn)動角度和上下轉(zhuǎn)動角度的相鄰關(guān)鍵幀；

對應(yīng)點尋找模塊：用于尋找所述相鄰關(guān)鍵幀中與所述當(dāng)前關(guān)鍵幀的特征點對應(yīng)的點；

轉(zhuǎn)化矩陣計算存儲模塊：用于通過所述對應(yīng)的點計算所述當(dāng)前關(guān)鍵幀和相鄰關(guān)鍵幀之間的轉(zhuǎn)化矩陣，并存儲所述轉(zhuǎn)化矩陣；

映射模塊：用于將所述當(dāng)前關(guān)鍵幀和相鄰關(guān)鍵幀的圖像四個角分別映射到各自的圖像平面并存儲；

模式特征建立模塊：用于捕獲一個時間序列的關(guān)鍵幀集，為所述關(guān)鍵幀集中的每個像素點建立局部模式特征，并通過計算和保持設(shè)定個數(shù)最頻繁發(fā)生的局部模式特征來建立部分場景的背景模型。

在本發(fā)明所述的裝置中，所述提取匹配檢測單元進(jìn)一步包括：

特征點提取存儲模塊：用于提取并存儲所有關(guān)鍵幀的ORB特征點；

相鄰關(guān)鍵幀集確定模塊：用于確定視頻幀的相鄰關(guān)鍵幀集；

特征點提取匹配模塊：用于提取所述視頻幀的ORB特征點，并將所述視頻幀的ORB特征點與所述關(guān)鍵幀的ORB特征點進(jìn)行匹配定位，找出匹配的關(guān)鍵幀；

前景物體檢測模塊：用于利用所述匹配的關(guān)鍵幀的背景模型檢測所述視頻幀的前景物體。

在本發(fā)明所述的裝置中，所述跟蹤優(yōu)化調(diào)整單元進(jìn)一步包括：

跟蹤目標(biāo)框出模塊：用于在視頻流的第一個視頻幀中的前景物體中框出跟蹤目標(biāo)，并初始化跟蹤參數(shù)；

矩形框獲取模塊：用于根據(jù)所述跟蹤參數(shù)得到所述跟蹤目標(biāo)在下一個視頻幀中的矩形框；

前景檢測結(jié)果獲取模塊：用于通過視頻幀的場景定位和部分場景的背景模型得到所述下一個視頻幀的前景檢測結(jié)果；

優(yōu)化更新模塊：用于通過所述前景檢測結(jié)果優(yōu)化跟蹤結(jié)果或恢復(fù)跟蹤，并更新所述矩形框；

更新調(diào)整模塊：用于更新所述跟蹤參數(shù)，并依據(jù)所述跟蹤結(jié)果調(diào)整所述PTZ攝像機(jī)；

跟蹤目標(biāo)定位模塊：用于通過所述PTZ攝像機(jī)的參數(shù)將所述跟蹤目標(biāo)重新定位到監(jiān)控畫面中。

在本發(fā)明所述的裝置中，所述特征點提取匹配模塊進(jìn)一步包括：

區(qū)域劃分模塊：用于將視頻幀的圖像劃分為按照設(shè)定行數(shù)和設(shè)定列數(shù)排列的多個區(qū)域；

區(qū)域特征點提取模塊：用于從每個所述區(qū)域中分別提取其個數(shù)小于設(shè)定閾值的ORB特征點；

匹配關(guān)鍵幀查找模塊：用于將提取的ORB特征點與所述關(guān)鍵幀的ORB特征點進(jìn)行匹配定位，找出匹配的關(guān)鍵幀。

實施本發(fā)明的使用PTZ攝像機(jī)對目標(biāo)進(jìn)行自動跟蹤的方法及裝置，具有以下有益效果：由于將PTZ攝像機(jī)的焦距變化范圍劃分為多個層次尺度，將每個 層次尺度下的全景分別劃分為一個部分場景的集合，并分別為每個部分場景建立背景模型，由部分場景的集合就能提供全景信息，通過提取當(dāng)前視頻幀的ORB特征點，并分別找到每個層次尺度中與當(dāng)前視頻幀的ORB特征點匹配的部分場景，并使用被匹配的部分場景檢測當(dāng)前視頻幀的前景物體，采用ORB特征點進(jìn)行匹配，這樣就解決了幀到幀方法缺乏全景信息，不能處理焦距變化的問題，也解決了幀到全景圖方法的縫合問題、運動視差問題和更新模型代價高的問題，所以其能處理焦距變化、能避免縫合問題和運動視差問題、降低了更新模型的代價、場景定位速度較快、準(zhǔn)確度較高。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明使用PTZ攝像機(jī)對目標(biāo)進(jìn)行自動跟蹤的方法及裝置一個實施例中方法的流程圖；

圖2為所述實施例中將PTZ攝像機(jī)的焦距變化范圍劃分為多個層次尺度，將每個層次尺度下的全景分別劃分為一個部分場景的集合，并分別為每個部分場景建立背景模型的具體流程圖；

圖3為所述實施例中捕獲當(dāng)前視頻幀，提取當(dāng)前視頻幀的ORB特征點，并分別找到每個層次尺度中與當(dāng)前視頻幀的ORB特征點匹配的部分場景，并使用被匹配的部分場景檢測當(dāng)前視頻幀的前景物體的具體流程圖；

圖4為所述實施例中提取視頻幀的ORB特征點，并將視頻幀的ORB特征點與關(guān)鍵幀的ORB特征點進(jìn)行匹配定位，找出匹配的關(guān)鍵幀的具體流程圖；

圖5為所述實施例中利用當(dāng)前視頻幀的前景物體的檢測結(jié)果優(yōu)化跟蹤結(jié)果，并根據(jù)跟蹤結(jié)果調(diào)整所述PTZ攝像機(jī)，將前景物體定位到監(jiān)控畫面中的具體流程圖；

圖6為所述實施例中裝置的結(jié)構(gòu)示意圖；

圖7為所述實施例中特征點提取匹配模塊的結(jié)構(gòu)示意圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。

在本發(fā)明使用PTZ攝像機(jī)對目標(biāo)進(jìn)行自動跟蹤的方法及裝置實施例中，其使用PTZ攝像機(jī)對目標(biāo)進(jìn)行自動跟蹤的方法的流程圖如圖1所示。圖1中，該使用PTZ攝像機(jī)對目標(biāo)進(jìn)行自動跟蹤的方法包括如下步驟：

步驟S01將PTZ攝像機(jī)的焦距變化范圍劃分為多個層次尺度，將每個層次尺度下的全景分別劃分為一個部分場景的集合，并分別為每個部分場景建立背景模型：本步驟中，將PTZ攝像機(jī)的焦距變化范圍劃分為多個層次尺度，進(jìn)一步將每個層次尺度下的全景分別劃分為一個部分場景的集合，每個部分場景可以通過PTZ攝像機(jī)旋轉(zhuǎn)拍攝到。這些部分場景之間存在一些重疊區(qū)域，所有部分場景可以覆蓋PTZ攝像機(jī)的全景。作為部分場景而被PTZ攝像機(jī)捕獲的幀稱為關(guān)鍵幀。然后采用適用固定攝像機(jī)的背景建模算法，為每個部分場景建立背景模型。

步驟S02捕獲當(dāng)前視頻幀，提取當(dāng)前視頻幀的ORB特征點，并分別找到每個層次尺度中與當(dāng)前視頻幀的ORB特征點匹配的部分場景，并使用被匹配的部分場景檢測當(dāng)前視頻幀的前景物體：本步驟中，捕獲一個新的視頻幀作為當(dāng)前視頻幀，需要將當(dāng)前視頻幀定位到已經(jīng)建立的多層次全景模型中，找到和它對應(yīng)的部分場景。PTZ攝像機(jī)的參數(shù)可以用來將搜索范圍限制在一個較小的部分場景集合，使用特征點匹配能實現(xiàn)精確的搜索。在場景定位的過程中，特征點匹配在這一過程扮演很重要的角色。一般來說，所使用的特征點應(yīng)該魯棒性很強(qiáng)，能夠在PTZ攝像機(jī)的不同視角下匹配兩張圖像。比較好的特征點，例如SIFT(Scale-invariant feature transform，尺度不變特征轉(zhuǎn)換)，SURF(speed up robust features，加速健壯特征)和ORB。本實施例中采用ORB特征點，其速度快， 也適用本發(fā)明的應(yīng)用場景。在當(dāng)前視頻幀被定位之后，被匹配的部分場景的背景模型將用來檢測當(dāng)前視頻幀的前景物體。

步驟S03利用當(dāng)前視頻幀的前景物體的檢測結(jié)果優(yōu)化跟蹤結(jié)果，并根據(jù)跟蹤結(jié)果調(diào)整PTZ攝像機(jī)，使跟蹤目標(biāo)保持在監(jiān)控畫面中：當(dāng)一個前景物體是可疑目標(biāo)時，PTZ攝像機(jī)將自動跟蹤該可疑目標(biāo)，使它一直保持在監(jiān)控畫面中。本實施例結(jié)合多層次全景模型與現(xiàn)有的跟蹤算法來跟蹤指定目標(biāo)。跟蹤反映目標(biāo)位置和尺寸的結(jié)果用于反饋調(diào)整PTZ攝像機(jī)，控制調(diào)整PTZ攝像機(jī)以使得跟蹤目標(biāo)在監(jiān)控畫面中保持一個合適的位置和大小，這樣可以優(yōu)化跟蹤結(jié)果。

由于采用了新的多層次全景模型，使用一個部分場景集合來提供全景信息，利用部分場景的背景模型代替全景的背景模型。在幀的場景定位中，采用了ORB特征點用于匹配，多層次全景模型解決了幀到幀方法缺乏全景信息，不能處理焦距變化的問題，也解決了幀到全景圖方法的縫合問題、運動視差問題和更新模型代價高的問題。使用ORB特征點進(jìn)行匹配，使得場景定位速度更快、準(zhǔn)確度更高。

對于本實施例而言，上述步驟S01還可進(jìn)一步細(xì)化，其細(xì)化后的流程圖如圖2所示。圖2中，上述步驟S01進(jìn)一步包括如下步驟：

步驟S11將PTZ攝像機(jī)的焦距變化范圍劃分為多個層次尺度：本步驟中，將PTZ攝像機(jī)的焦距變化范圍劃分為N個層次尺度，N為大于1的整數(shù)，其中，最粗糙的層次尺度稱為第一層次尺度，其對應(yīng)一個很小的焦距，最清晰的層次尺度是第N層次尺度。然后建立連續(xù)兩個層次尺度之間的對應(yīng)關(guān)系。

步驟S12將每個層次尺度下的全景分別劃分為一個部分場景集合：本步驟中，將每個層次尺度下的全景分別劃分為一個部分場景集合。每個層次尺度的全景可以由許多部分場景所代表，每個部分場景的關(guān)鍵幀的參數(shù)可以由一個向量代表K＝(α,β,f)，其中α代表PTZ攝像機(jī)的左右轉(zhuǎn)動角度，β代表PTZ攝像機(jī)的上下轉(zhuǎn)動角度，f代表PTZ攝像機(jī)的焦距。部分場景之間的對應(yīng)關(guān)系定義為Scene(K)。假設(shè)第n層次尺度(n∈{1...N})的部分場景集用M_n代表。定義第n層次尺度的全景為：

其中，Scene_n為第n層次尺度的全景，Scene(K_n,m)為第n層次尺度下部分場景之間的對應(yīng)關(guān)系，m為M_n中部分場景的編號。

步驟S13找出每個層次尺度下的關(guān)鍵幀集：本步驟中，找出每個層次尺度下的關(guān)鍵幀集(由多個關(guān)鍵幀組成的集合)。關(guān)鍵幀集可以使用不同的算法找出。例如，可以讓PTZ攝像機(jī)在不同的左右轉(zhuǎn)動角度和上下轉(zhuǎn)動角度隨機(jī)抓取一個有重疊部分的幀集，然后使用貪心算法找出合適的關(guān)鍵幀集。值得一提的是，使用人工確定關(guān)鍵幀集更好。對于一個狹窄的全景，如建筑物之間的街角，只需要將該狹窄的全景劃分成較少的部分場景。對于一個寬闊的全景，可以使用一個正則的方法去設(shè)計每個層次尺度的部分場景集。本實施例中，設(shè)定[0,Φ_pan]和[0,Φ_tilt]分別為PTZ攝像機(jī)的左右轉(zhuǎn)動角度范圍和上下轉(zhuǎn)動角度范圍。對于第n層次尺度，將左右轉(zhuǎn)動角度范圍劃分為個離散塊，將上下轉(zhuǎn)動角度范圍劃分為個離散塊，這樣相鄰部分場景的交集和并集可以覆蓋這一層次尺度(第n層次尺度)的全景。

步驟S14提取每個關(guān)鍵幀的特征點，找到當(dāng)前關(guān)鍵幀在下一層次尺度有相同左右轉(zhuǎn)動角度和上下轉(zhuǎn)動角度的相鄰關(guān)鍵幀：本步驟中，在確定每個層次尺度的關(guān)鍵幀集之后，提取每個關(guān)鍵幀的特征點，找到當(dāng)前關(guān)鍵幀在下一層次尺度有相同左右轉(zhuǎn)動角度和上下轉(zhuǎn)動角度的相鄰關(guān)鍵幀。

步驟S15尋找相鄰關(guān)鍵幀中與當(dāng)前關(guān)鍵幀的特征點對應(yīng)的點：本步驟中，尋找相鄰關(guān)鍵幀中與當(dāng)前關(guān)鍵幀的特征點對應(yīng)的點。

步驟S16通過對應(yīng)的點計算當(dāng)前關(guān)鍵幀和相鄰關(guān)鍵幀之間的轉(zhuǎn)化矩陣，并存儲轉(zhuǎn)化矩陣：本步驟中，將會建立連續(xù)兩個層次尺度之間的關(guān)鍵幀之間的對應(yīng)關(guān)系，這對于控制PTZ攝像機(jī)旋轉(zhuǎn)變焦來跟蹤目標(biāo)是很有用的。如果兩個部分場景有重疊的話，這兩個關(guān)鍵幀(當(dāng)前關(guān)鍵幀和相鄰關(guān)鍵幀)之間的對應(yīng)關(guān)系可以通過它們的重疊區(qū)域來計算。具體的，假定兩個相關(guān)像素點u_i和u_j分別屬于兩個部分場景K_i和K_j，他們的關(guān)系可以通過一個單應(yīng)變化表示，其定義如下：

u_i＝H_iju_j

其中，H_ij時轉(zhuǎn)化矩陣，本實施例中是一個3×3矩陣。在得到H_ij后，存儲H_ij。

步驟S17將當(dāng)前關(guān)鍵幀和相鄰關(guān)鍵幀的圖像四個角分別映射到各自的圖像平面并存儲：本步驟中，在相鄰層次尺度的關(guān)鍵幀之間的轉(zhuǎn)換矩陣建立之后， 將當(dāng)前關(guān)鍵幀和相鄰關(guān)鍵幀的圖像四個角分別映射到各自的圖像平面，并將這個映射關(guān)系保存下來供后續(xù)使用。

步驟S18捕獲一個時間序列的關(guān)鍵幀集，為關(guān)鍵幀集中的每個像素點建立局部模式特征，并通過計算和保持設(shè)定個數(shù)最頻繁發(fā)生的局部模式特征來建立部分場景的背景模型：本步驟中，當(dāng)一個時間序列的關(guān)鍵幀集被捕獲后，為每個部分場景建立背景模型。具體來講，首先計算每個像素的SCS_SILTP(尺度不變局部三值模式)局部模式特征，SCS_SILTP局部模式特征為一種紋理特征，每個部分場景可以看作是由一個固定攝像頭所捕獲。SCS_SILTP局部模式特征結(jié)合時空統(tǒng)計特性，對噪聲和尺度不變時的重影有較好的魯棒性。本步驟中為每個像素點建立這種SCS_SILTP局部模式特征，并且通過計算和設(shè)定個數(shù)最頻繁發(fā)生的SCS_SILTP局部模式特征來建立部分場景的背景模型。本實施例中，設(shè)定個數(shù)為K個，K為大于1的整數(shù)。

SILTP(尺度不變局部三元模式)特征是從LTP(局部三值模式)特征發(fā)展而來，通過比較一個中心像素點和其相鄰像素點的值來計算，增加一個尺度參數(shù)實現(xiàn)灰度尺度不變性。給定一個中心像素點(x_c,y_c)，SILTP特征編碼如下：

其中，I_c是中心像素點(x_c,y_c)的像素值，是均勻分布在半徑為R的圓中的相鄰的個像素點的像素值，⊕表示二進(jìn)制字符串的串聯(lián)運算符，τ是一個尺度參數(shù)，代表比較級別，s_τ定義如下：

SCS_SILTP局部模式特征使用時間信息，以中心對稱的方式編碼時空信息。可以認(rèn)為是將中間像素的半徑為R的圓從二維的圖像平面擴(kuò)展為三維的時空域。SCS_SILTP局部模式特征的計算方式如下：

其中，I^t表示在時間t捕獲的視頻幀，和表示球面上的中心對稱點，表示圖像I^t+r,I^t-r的像素點個數(shù)。視頻幀I^t上像素點的定位是分開確定的，因 為他們的中心對稱點在同一幀上。

然后，計算和保持K個最頻繁的SCS_SILTP局部模式特征，本實施例中利用模式核密度計算方法為每一個像素點保持一個近似分布。在同一個部分場景中的兩個像素的SCS_SILTP局部模式特征p,q之間定義一個距離函數(shù)d(p,q)，距離函數(shù)d(p,q)為漢明距離，即計算這兩個像素的SCS_SILTP局部模式特征之間的不同位的個數(shù)，通過異或運算快速計算。然后獲得局部模式核f_p(q)＝g(d(p,q))，g是Gaussian-like權(quán)重函數(shù)。其中，f_p(q)為SCS_SILTP局部模式特征q在均值為p時的核函數(shù)。

當(dāng)給定一個像素點(x,y)，(x,y)為像素點的坐標(biāo)，保持K個最頻繁發(fā)生的SCS_SILTP局部模式特征而且SCS_SILTP局部模式特征的概率密度函數(shù)可以通過下式近似計算：

其中，Φ(q)為SCS_SILTP局部模式特征的概率密度函數(shù)，w_i是加權(quán)系數(shù)，并且∑w_i＝1。以權(quán)重系數(shù)降序排列這K個SCS_SILTP局部模式特征。

給定一個新的從像素點(x₁,y₁)的SCS_SILTP局部模式特征p_t，可以更新概率密度函數(shù)Φ(q)。SCS_SILTP局部模式特征p_t和K個最頻繁發(fā)生的SCS_SILTP局部模式特征{p_i}輪流匹配，如果滿足條件f_pi(p_t)>T_m，就認(rèn)為匹配成功，T_m是一個用于匹配的常數(shù)閾值。SCS_SILTP局部模式特征p_i的權(quán)重系數(shù)更新如下：

w_i＝(1-ρ)w_i+ρΓ(p_i,p_t)

其中，ρ是學(xué)習(xí)率，Γ(p_i,p_t)是一個指示變量，當(dāng)SCS_SILTP局部模式特征p_i和SCS_SILTP局部模式特征p_t匹配成功時取1，其他情況取0。如果K個SCS_SILTP局部模式特征都沒有和當(dāng)前SCS_SILTP局部模式特征p_t匹配，最小權(quán)重系數(shù)的SCS_SILTP局部模式特征將被SCS_SILTP局部模式特征p_t所替換，并且初始化一個較小的權(quán)重系數(shù)。

當(dāng)PTZ攝像機(jī)沒有目標(biāo)跟蹤任務(wù)時，可以瀏覽全景，并停在一個部分場景(部分場景)位置，更新局部場景的背景模型。

對于本實施例而言，上述步驟S02還可進(jìn)一步細(xì)化，其細(xì)化后的流程圖如圖3所示，圖3中，上述步驟S02進(jìn)一步包括：

步驟S21提取并存儲所有關(guān)鍵幀的ORB特征點：本步驟中，提取并存儲所有關(guān)鍵幀的ORB特征點。關(guān)鍵幀的ORB特征點在系統(tǒng)初始化時，將被提取和存儲。然而直接提取關(guān)鍵幀的特征點是有問題的，如果關(guān)鍵幀沒有移動物體存在，是一個很干凈的幀，就很難被攝像頭捕獲。相，如果關(guān)鍵幀中有移動物體，提取出的ORB特征點就會嚴(yán)重影響視頻幀的場景定位。本實施例采用2000年CVPR會議文章“Scene modeling for wide area surveillance and image synthesis”中的方法來解決這個問題。使用混合高斯模型為每一個像素點建模，然后取每個像素點的最高權(quán)值高斯的均值，形成一幅圖像來代表背景圖像。在不考慮光照變化的情況下，因為最高權(quán)值的高斯就是發(fā)生概率最大的值，所以它也是出現(xiàn)數(shù)量最多的像素值。假設(shè)背景圖像出現(xiàn)的頻率比任何前景物體出現(xiàn)的頻率都高，那么這幅圖像就只包含背景，不包含任何前景物體，即是一個干凈的關(guān)鍵幀。然后再提取這個干凈的關(guān)鍵幀的ORB特征點。

步驟S22確定視頻幀的相鄰關(guān)鍵幀集：本步驟中，在監(jiān)控過程中，如果一個新的視頻幀被PTZ攝像機(jī)捕獲，需要將其定位到部分場景中，并且利用匹配的部分場景的背景模型檢測出視頻幀中的前景物體。首先，從PTZ攝像機(jī)的云臺中獲取當(dāng)前視頻幀I^t的相機(jī)參數(shù)，例如：左右轉(zhuǎn)動角度、上下轉(zhuǎn)動角度和焦距(α^t,β^t,f^t)。因為任何視頻幀的這些參數(shù)是離線確定的，并且可以提前知道，這樣就可以得到相鄰幀的參數(shù)集。本實施例中，定義相鄰關(guān)鍵幀的集合如下：

Set(I^t)＝{(α,β,f)|＝rnd(f^t)||α-α^t||<T_pan,||β-β^t||<T_tilt}

其中，Set(I^t)為相鄰關(guān)鍵幀的集合，函數(shù)rnd(f^t)確定當(dāng)前焦距最近的焦距層次尺度，α^t為當(dāng)前左右轉(zhuǎn)動角度，β^t為當(dāng)前上下轉(zhuǎn)動角度，f^t為當(dāng)前焦距，為了使定位更加精確，本實施例中可以限制PTZ攝像機(jī)云臺只使用這些離散的層次尺度附近的焦距。T_pan和T_tilt分別是左右轉(zhuǎn)動角度和上下轉(zhuǎn)動角度的差異閾值。通過選擇合適的值，會選擇四個相關(guān)的關(guān)鍵幀會用以后續(xù)的過程。

步驟S23提取視頻幀的ORB特征點，并將視頻幀的ORB特征點與關(guān)鍵幀的ORB特征點進(jìn)行匹配定位，找出匹配的關(guān)鍵幀：本步驟中，系統(tǒng)初始化時會提取和存儲每一個關(guān)鍵幀的ORB特征點，所以只需要提取新捕獲的視頻幀的ORB特征點，并且和已經(jīng)存儲的ORB特征點進(jìn)行匹配。因為是離線提取關(guān)鍵幀的ORB特征點，本實施例采用LSH(Location Sensitive Hash，位置敏感哈希函數(shù))算法用于ORB特征點的匹配，找出匹配的關(guān)鍵幀，其運行速度較快。在通 過ORB特征點匹配找到一個定位集之后，計算視頻幀K_i和關(guān)鍵幀K_j的轉(zhuǎn)換矩陣H_ij，本實施例采用隨機(jī)抽樣一致性算法RANSAC來計算轉(zhuǎn)換矩陣。

步驟S24利用匹配的關(guān)鍵幀的背景模型檢測視頻幀的前景物體：本步驟中，在視頻幀和關(guān)鍵幀之間的轉(zhuǎn)化關(guān)系確定之后，可以將視頻幀定位到關(guān)鍵幀的圖像區(qū)域中。然后利用已經(jīng)建立的部分場景的背景模型得到視頻幀前景檢測的結(jié)果。

給定一個從視頻幀像素點(x,y)提取的新的SCS_SILTP局部模式特征p_t，可以確定它是否是前景。關(guān)鍵幀背景模型中K個SCS_SILTP局部模式特征中的前Q個被用來做決定，Q是通過下式獲得：

其中，T_b∈[0,1]是一個背景閾值，其用于指示多少數(shù)據(jù)應(yīng)該被認(rèn)為是背景，所以一些新增加的SCS_SILTP局部模式特征(例如前景)被排除在外。然后，SCS_SILTP局部模式特征p_t是否是前景的概率計算公式如下：

其中，Ρ(p_t)是SCS_SILTP局部模式特征p_t是背景的概率，是SCS_SILTP局部模式特征p_t在均值為p_i時的核函數(shù)，w_i為權(quán)重，如果Ρ(p_t)小于一個預(yù)先定義的常數(shù)參數(shù)T_bg，則像素點(x,y)被認(rèn)為是前景。

另外，可以通過大量的關(guān)鍵幀優(yōu)化前景檢測的結(jié)果。具體地，當(dāng)一個像素點有一些可能值在相關(guān)關(guān)鍵幀中認(rèn)為是背景，使用他們的幾何平均值作為最終的概率值

當(dāng)背景模型中使用SCS-SILTP局部模式特征時，同一個位置的視頻幀可以被多次捕獲用于前景檢測，因為他們包含著不同的時間信息。因此PTZ攝像機(jī)不需要不停地調(diào)整，只需要間歇調(diào)整就可以，這樣就可以減少用于場景定位的計算代價。

如SILTP、SCS-SILTP等局部模式特征，僅利用像素值的比較，這使得它們魯棒性較強(qiáng)。而且噪聲抵消參數(shù)τ也有利于它們的魯棒性。而且，它們對場景定 位和前景檢測的影響是可以接受的。

對于本實施例而言，上述步驟S23還可進(jìn)一步細(xì)化，其細(xì)化后的流程圖如圖4所示。圖4中，上述步驟S23進(jìn)一步包括：

步驟S231將視頻幀的圖像劃分為按照設(shè)定行數(shù)和設(shè)定列數(shù)排列的多個區(qū)域：在提取ORB特征點時會存在一個問題，就是許多ORB特征點來自圖像的一小塊區(qū)域。這對視頻幀進(jìn)行場景定位是不利的。為了解決這個問題，本實施例通過引入?yún)^(qū)域限制來提取ORB特征點。

將視頻幀的圖像劃分為按照設(shè)定行數(shù)和設(shè)定列數(shù)排列的多個區(qū)域，設(shè)定行數(shù)為M行，設(shè)定列數(shù)為N列，這樣就獲得一個M×N的區(qū)域集。

步驟S232從每個區(qū)域中分別提取其個數(shù)小于設(shè)定閾值的ORB特征點：本步驟中，用設(shè)定閾值T_s用來限制每一個子區(qū)域中提取出來的特征點個數(shù)。有了這個限制，所有特征點都從一個子區(qū)域中提取是不可能的。也就是從每個區(qū)域中分別提取其個數(shù)小于設(shè)定閾值的ORB特征點。如果設(shè)定出合適的M,N值，可以使得ORB特征點均勻地從圖像整個區(qū)域被提取出。而且，限制每個子區(qū)域ORB特征點個數(shù)之后，在匹配時可以減少計算轉(zhuǎn)化矩陣的時間。

步驟S233將提取的ORB特征點與關(guān)鍵幀的ORB特征點進(jìn)行匹配定位，找出匹配的關(guān)鍵幀：本步驟中，將提取的ORB特征點與關(guān)鍵幀的ORB特征點進(jìn)行匹配定位，找出匹配的關(guān)鍵幀。

對于本實施例而言，上述步驟S03還可進(jìn)一步細(xì)化，其細(xì)化后的流程圖如圖5所示。圖5中，上述步驟S03進(jìn)一步包括：

步驟S31在視頻流的第一個視頻幀中的前景物體中框出跟蹤目標(biāo)，并初始化跟蹤參數(shù)：本步驟中，在視頻流的第一個視頻幀中的前景物體中框出跟蹤目標(biāo)，并初始化跟蹤參數(shù)。本實施例中，使用多層次全景模型，可以方便地提取出新捕獲的視頻幀的前景物體。假設(shè)T是一個具體的跟蹤器。它通過處理當(dāng)前幀輸出一個包含跟蹤物體的矩形框R_t?？梢岳们熬皦K和矩形框R_t的交叉，局部調(diào)整矩形框R_t的位置和尺寸優(yōu)化跟蹤結(jié)果。而且，當(dāng)由于背景雜亂出現(xiàn)跟蹤失敗時，還可以恢復(fù)跟蹤。在這種情況下，可以從臨近的前景物體中搜索出與跟蹤目標(biāo)最相似的一個。

步驟S32根據(jù)跟蹤參數(shù)得到跟蹤目標(biāo)在下一個視頻幀中的矩形框：本步驟中，根據(jù)跟蹤參數(shù)得到跟蹤目標(biāo)在下一個視頻幀中的矩形框R_t。

步驟S33通過視頻幀的場景定位和部分場景的背景模型得到下一個視頻幀的前景檢測結(jié)果：本步驟中，通過視頻幀的場景定位和部分場景的背景模型得到下一個視頻幀的前景檢測結(jié)果。

步驟S34通過前景檢測結(jié)果優(yōu)化跟蹤結(jié)果或恢復(fù)跟蹤，并更新矩形框：本步驟中，通過前景檢測結(jié)果優(yōu)化跟蹤結(jié)果或恢復(fù)跟蹤，并更新矩形框R_t。

步驟S35更新跟蹤參數(shù)，并依據(jù)跟蹤結(jié)果調(diào)整PTZ攝像機(jī)：本步驟中，更新跟蹤參數(shù)，并依據(jù)跟蹤結(jié)果調(diào)整PTZ攝像機(jī)。具體來講，根據(jù)矩形框R_t確定是否有必要調(diào)整PTZ攝像機(jī)。當(dāng)物體向左移動接近于圖像左邊框時(小于一個預(yù)先定義水平閾值T_horizon)，PTZ攝像機(jī)的左右轉(zhuǎn)動角度會被向左調(diào)整。如果物體向左上移動并且觸發(fā)水平和垂直兩個限制閾值(T_horizon,T_vertical)時，PTZ攝像機(jī)會向左上旋轉(zhuǎn)。PTZ攝像機(jī)的變焦是和物體尺寸與圖像尺寸的比率相關(guān)的。如果這個比率小于T_in時，PTZ攝像機(jī)將放大焦距倍數(shù)。相反，如果比率大于T_out時，PTZ攝像機(jī)將縮小焦距倍數(shù)。

假設(shè)圖像矩形框R_t由四個參數(shù)組成[0,0,W,H]，W是圖像的寬度，H是圖像的高度。矩形框R_t的參數(shù)由物體距當(dāng)前圖像左、上、右、下的距離值表示。物體的運動速度可以通過物體在最近兩幀中的位置信息計算。PTZ攝像機(jī)的調(diào)整規(guī)則如下：

其中，為物體距當(dāng)前圖像左邊界的距離值，為物體距當(dāng)前圖像上邊界的距離值，為物體距當(dāng)前圖像右邊界的距離值，為物體距當(dāng)前圖像下邊界的距離值，在跟蹤目標(biāo)時，如果調(diào)整PTZ攝像機(jī)恰好到某個部分場景的位置，這樣就會減少場景定位的計算代價。在只需要旋轉(zhuǎn)PTZ攝像機(jī)時，是很簡單的，只需要旋轉(zhuǎn)左右轉(zhuǎn)動角度和上下轉(zhuǎn)動角度到一個合適的相鄰部分場景的位置。然而，當(dāng)需要PTZ攝像機(jī)縮放變焦時，就需要額外的計算，這時不得不計算視頻幀和關(guān)鍵幀的轉(zhuǎn)化矩陣，并且將物體定位到關(guān)鍵幀的坐標(biāo)平面，去查看物體 是否被完全包含進(jìn)去。在這種情況下，將PTZ攝像機(jī)變焦，然后處理新的視頻幀更好。此時，如果PTZ攝像機(jī)正好處在一個部分場景的位置，通過提前得到并且存儲的關(guān)鍵幀之間的對應(yīng)關(guān)系在相鄰層次尺度找出一個合適的關(guān)鍵幀是很容易的。因為相鄰層次尺度的關(guān)鍵幀的圖像框可以通過映射定位到視頻幀的坐標(biāo)平面，只需要找到包含物體的最合適的關(guān)鍵幀即可。

步驟S36通過PTZ攝像機(jī)的參數(shù)將跟蹤目標(biāo)重新定位到監(jiān)控畫面中：本步驟中，通過PTZ攝像機(jī)的參數(shù)將跟蹤目標(biāo)重新定位到監(jiān)控畫面中。

本發(fā)明可以使PTZ攝像機(jī)自動控制云臺進(jìn)行全方位旋轉(zhuǎn)和鏡頭縮放變焦，針對被鎖定的可疑目標(biāo)進(jìn)行視覺導(dǎo)向的自動跟蹤，以確保跟蹤目標(biāo)持續(xù)以放大特寫畫面出現(xiàn)在鏡頭中。這樣安防人員可以更方便地監(jiān)控到可疑目標(biāo)，同時還可以用于事后取證。本發(fā)明能夠使PTZ攝像機(jī)自動跟蹤可疑目標(biāo)，大大減少監(jiān)控人員的工作，減少了監(jiān)控投入的人力資源以及時間精力，這樣能減少監(jiān)控系統(tǒng)的經(jīng)濟(jì)投入。本發(fā)明將PTZ攝像機(jī)的焦距分為幾個層次尺度，在每個層次尺度都以一個部分場景集合代表全景。在對部分場景進(jìn)行背景建模時，采用SCS-SILTP局部模式特征，在場景定位之后，對視頻幀進(jìn)行前景檢測時，基于SCS-SILTP局部模式特征的背景模型在準(zhǔn)確率和召回率上，都比PGMM(全景高斯混合體模型)、MoG(混合高斯背景模型)、Bayes(貝葉斯)和基于SILTP(尺度不變局部三元模式)特征的背景模型效果更好。在進(jìn)行場景定位時，采用ORB特征點，比采用SIFT、SURF特征速度更快。

本實施例還涉及一種實現(xiàn)上述使用PTZ攝像機(jī)對目標(biāo)進(jìn)行自動跟蹤的方法的裝置，其結(jié)構(gòu)示意圖如圖6所示。圖6中，該裝置包括層次劃分模型建立單元1、提取匹配檢測單元2和跟蹤優(yōu)化調(diào)整單元3；其中，層次劃分模型建立單元1用于將PTZ攝像機(jī)的焦距變化范圍劃分為多個層次尺度，將每個層次尺度下的全景分別劃分為一個部分場景的集合，并分別為每個部分場景建立背景模型；提取匹配檢測單元2用于捕獲當(dāng)前視頻幀，提取當(dāng)前視頻幀的ORB特征點，并分別找到每個層次尺度中與當(dāng)前視頻幀的ORB特征點匹配的部分場景，并使用被匹配的部分場景檢測當(dāng)前視頻幀的前景物體；跟蹤優(yōu)化調(diào)整單元3用于利用當(dāng)前視頻幀的前景物體的檢測結(jié)果優(yōu)化跟蹤結(jié)果，并根據(jù)跟蹤結(jié)果調(diào)整PTZ攝像機(jī)，使跟蹤目標(biāo)保持在監(jiān)控畫面中。由于采用了新的多層次全景模型，使用一個部分場景集合來提供全景信息，利用部分場景的背景模型代替全景的背 景模型。在幀的場景定位中，采用了ORB特征點用于匹配，多層次全景模型解決了幀到幀方法缺乏全景信息，不能處理焦距變化的問題，也解決了幀到全景圖方法的縫合問題、運動視差問題和更新模型代價高的問題。使用ORB特征點進(jìn)行匹配，使得場景定位速度更快、準(zhǔn)確度更高。

本實施例中，層次劃分模型建立單元1進(jìn)一步包括焦距劃分模塊11、部分場景劃分模塊12、關(guān)鍵幀集查找模塊13、相鄰關(guān)鍵幀查找模塊14、對應(yīng)點尋找模塊15、轉(zhuǎn)化矩陣計算存儲模塊16、映射模塊17和模式特征建立模塊18；其中，焦距劃分模塊11用于將PTZ攝像機(jī)的焦距變化范圍劃分為多個層次尺度；部分場景劃分模塊12用于將每個層次尺度下的全景分別劃分為一個部分場景集合；關(guān)鍵幀集查找模塊13用于找出每個層次尺度下的關(guān)鍵幀集；相鄰關(guān)鍵幀查找模塊14用于提取每個關(guān)鍵幀的特征點，找到當(dāng)前關(guān)鍵幀在下一層次尺度有相同左右轉(zhuǎn)動角度和上下轉(zhuǎn)動角度的相鄰關(guān)鍵幀；對應(yīng)點尋找模塊15用于尋找相鄰關(guān)鍵幀中與當(dāng)前關(guān)鍵幀的特征點對應(yīng)的點；轉(zhuǎn)化矩陣計算存儲模塊16用于通過對應(yīng)的點計算當(dāng)前關(guān)鍵幀和相鄰關(guān)鍵幀之間的轉(zhuǎn)化矩陣，并存儲轉(zhuǎn)化矩陣；映射模塊17用于將當(dāng)前關(guān)鍵幀和相鄰關(guān)鍵幀的圖像四個角分別映射到各自的圖像平面并存儲；模式特征建立模塊18用于捕獲一個時間序列的關(guān)鍵幀集，為關(guān)鍵幀集中的每個像素點建立局部模式特征，并通過計算和保持設(shè)定個數(shù)最頻繁發(fā)生的局部模式特征來建立部分場景的背景模型。

本實施例中，提取匹配檢測單元2進(jìn)一步包括特征點提取存儲模塊21、相鄰關(guān)鍵幀集確定模塊22、特征點提取匹配模塊23和前景物體檢測模塊24；其中，特征點提取存儲模塊21用于提取并存儲所有關(guān)鍵幀的ORB特征點；相鄰關(guān)鍵幀集確定模塊22用于確定視頻幀的相鄰關(guān)鍵幀集；特征點提取匹配模塊23用于提取視頻幀的ORB特征點，并將視頻幀的ORB特征點與關(guān)鍵幀的ORB特征點進(jìn)行匹配定位，找出匹配的關(guān)鍵幀；前景物體檢測模塊24用于利用匹配的關(guān)鍵幀的背景模型檢測視頻幀的前景物體。

本實施例中，跟蹤優(yōu)化調(diào)整單元3進(jìn)一步包括跟蹤目標(biāo)框出模塊31、矩形框獲取模塊32、前景檢測結(jié)果獲取模塊33、優(yōu)化更新模塊34、更新調(diào)整模塊35和跟蹤目標(biāo)定位模塊36；其中，跟蹤目標(biāo)框出模塊31用于在視頻流的第一個視頻幀中的前景物體中框出跟蹤目標(biāo)，并初始化跟蹤參數(shù)；矩形框獲取模塊32用于根據(jù)跟蹤參數(shù)得到所述跟蹤目標(biāo)在下一個視頻幀中的矩形框；前景檢測 結(jié)果獲取模塊33用于通過視頻幀的場景定位和部分場景的背景模型得到下一個視頻幀的前景檢測結(jié)果；優(yōu)化更新模塊34用于通過前景檢測結(jié)果優(yōu)化跟蹤結(jié)果或恢復(fù)跟蹤，并更新矩形框；更新調(diào)整模塊35用于更新跟蹤參數(shù)，并依據(jù)跟蹤結(jié)果調(diào)整PTZ攝像機(jī)；跟蹤目標(biāo)定位模塊36用于通過PTZ攝像機(jī)的參數(shù)將跟蹤目標(biāo)重新定位到監(jiān)控畫面中。

圖7為本實施例中特征點提取匹配模塊的結(jié)構(gòu)示意圖，圖7中，特征點提取匹配模塊23進(jìn)一步包括區(qū)域劃分模塊231、區(qū)域特征點提取模塊232和匹配關(guān)鍵幀查找模塊233；其中，區(qū)域劃分模塊231用于將視頻幀的圖像劃分為按照設(shè)定行數(shù)和設(shè)定列數(shù)排列的多個區(qū)域；區(qū)域特征點提取模塊232用于從每個區(qū)域中分別提取其個數(shù)小于設(shè)定閾值的ORB特征點；匹配關(guān)鍵幀查找模塊233用于將提取的ORB特征點與關(guān)鍵幀的ORB特征點進(jìn)行匹配定位，找出匹配的關(guān)鍵幀。

總之，在本實施例中，使用基于SCS-SILTP局部模式特征的背景模型，在本實施例的一些情況下，在對準(zhǔn)確率和召回率要求不高的情況下，也可以使用PGMM背景模型、MoG背景模型、Bayes背景模型或基于SILTP特征的背景模型。本實施例使用ORB特征點進(jìn)行場景定位，在本實施例的一些情況下，在對運行速度要求不高的情況下，也可以使用SIFT、SURF特征點對視頻幀進(jìn)行場景定位。

以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。