專利名稱：基于雙攝像頭聯(lián)動結(jié)構(gòu)的視頻運動目標特寫跟蹤監(jiān)視方法
技術(shù)領(lǐng)域：
本發(fā)明屬視頻監(jiān)控技術(shù)領(lǐng)域，涉及一種視頻運動目標的監(jiān)控方法，具體涉及一種利用雙攝像頭聯(lián)動結(jié)構(gòu)對視頻運動目標進行監(jiān)視的方法。
背景技術(shù)：
隨著計算機視頻圖像處理技術(shù)的不斷發(fā)展，以及安防、反恐等領(lǐng)域的迫切需要，智能化的監(jiān)控系統(tǒng)要求對入侵目標的行為分析做到一定程度的自動化。
為了保證能夠檢測出運動目標，視頻監(jiān)視系統(tǒng)的攝像頭設定大多為固定模式。固定模式下的目標檢測存在的問題是如果需要增大目標的分辨率，則監(jiān)視的場景只能集中在某個局部，例如，機場的登機入口處等。如果需要增大監(jiān)視范圍，則無法保證監(jiān)視畫面中的入侵目標細節(jié)的刻畫。例如，在小區(qū)門口逃逸摩托車的車牌信息等。
如果既要對全景進行監(jiān)控，又要對可疑目標進行自動判斷，并進行特寫跟蹤，就需要以“一靜一動”的模式來完成。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于雙攝像頭聯(lián)動結(jié)構(gòu)的視頻運動目標特寫跟蹤監(jiān)視方法，對視頻目標即可全景監(jiān)控，又可進行特寫跟蹤。
本發(fā)明所采用的技術(shù)方案是，基于雙攝像頭聯(lián)動結(jié)構(gòu)的視頻運動目標特寫跟蹤監(jiān)視方法，通過一個全景監(jiān)控攝像頭對監(jiān)視區(qū)域的目標進行識別，確定出目標的位置、運行速度和方向，鎖定跟蹤目標之后，將目標信息傳給由云臺控制轉(zhuǎn)向的特寫跟蹤攝像頭，由特寫跟蹤攝像頭對鎖定目標進行特寫、放大后跟蹤，顯示目標的特寫畫面，從而獲取目標更多信息，該方法按以下步驟進行，a.采用一全景監(jiān)控攝像頭和一設置在云臺上的特寫跟蹤攝像頭，采用一計算機實現(xiàn)全景監(jiān)控攝像頭和特寫跟蹤攝像頭之間的聯(lián)動，即建立場景畫面中的每個點分別在兩個攝像頭所拍攝的視頻畫面中的位置對應關(guān)系，根據(jù)全景攝像頭中目標的位置來確定特寫攝像頭的朝向，使之能夠正對需要跟蹤的目標；b.利用全景監(jiān)控攝像頭對監(jiān)視區(qū)域的目標進行行為檢測，即運用圖像及視頻處理的方法將運動目標與場景的背景區(qū)別分離，獲得入侵目標的個數(shù)、行走速度、行走方向以及所在位置的信息；c.對上述檢測到的目標設置運動方向、目標位置、運動速度、目標顏色四個特征參數(shù)，并記錄下來，在視頻的幀與幀之間運用模板匹配的方法對運動目標進行跟蹤，獲得每一個目標的運動軌跡信息；d.全景監(jiān)控攝像頭將獲得的目標運動軌跡信息通過步驟a建立的聯(lián)動關(guān)系傳輸給特寫跟蹤攝像頭，通過控制云臺的轉(zhuǎn)動帶動特寫跟蹤攝像頭轉(zhuǎn)動，進行目標跟蹤，實時準確地將鎖定的目標經(jīng)過放大之后顯示在監(jiān)控畫面中；e.控制特寫跟蹤攝像頭焦距的縮放來拉近目標，對上述得到的鎖定在監(jiān)控畫面中的目標進行特寫拍攝。
本發(fā)明方法采用雙攝像頭聯(lián)動結(jié)構(gòu)，實現(xiàn)對入侵監(jiān)視視野的運動目標進行特寫跟蹤。全景監(jiān)控攝像頭完成的是一個視角比較廣的，對某個區(qū)域的全景監(jiān)視。雖然全景中的每個目標的分辨率都比較小，很難詳細辨認，但是計算機對獲得的全景監(jiān)視視頻信息的自動分析，能夠獲得入侵目標在監(jiān)視區(qū)域中的運行軌跡，動作的過程等等。為此，本發(fā)明利用全景監(jiān)控攝像頭完成對進入監(jiān)視區(qū)域的目標進行識別，確定出目標的位置、運行速度和方向。全景監(jiān)控攝像頭在鎖定了跟蹤目標之后，將檢測到的可疑目標的運動速度及方向信息經(jīng)串口通信傳給特寫跟蹤攝像頭。特寫跟蹤攝像頭負責對可疑目標進行特寫放大后跟蹤，顯示目標的特寫畫面，從而可獲取可疑目標的更多信息，彌補了當所得到的視頻提供的可疑目標較小或模糊不清無法辨認的不足。


圖1是本發(fā)明方法采用的雙攝像頭夾角與照射位置關(guān)系示意圖；圖2攝像頭夾角與云臺控制角的關(guān)系示意圖；圖3視頻幀中某像素點的像素值變化曲線，橫坐標為時間軸，單位為幀序號；縱坐標為某時刻該點的歸一化像素值；圖4云臺六種基本運動的變化軌跡；圖5攝像頭焦距樣本擬合效果圖，橫坐標為指令間隔時間，縱坐標為放大倍數(shù)。
具體實施例方式
下面結(jié)合附圖和具體實施方式
對本發(fā)明進行詳細說明。
本發(fā)明基于雙攝像頭聯(lián)動結(jié)構(gòu)的視頻運動目標特寫跟蹤監(jiān)視方法，采用的是兩個攝像頭聯(lián)動的結(jié)構(gòu)。所謂的雙攝像頭聯(lián)動結(jié)構(gòu)，是指設置一個固定不動的全景監(jiān)控攝像頭，完成對整個監(jiān)視區(qū)域的全景監(jiān)視。另一個架設在有兩個自由度的可旋轉(zhuǎn)云臺上的攝像頭，完成對鎖定目標的特寫跟蹤。當全景監(jiān)視攝像頭發(fā)現(xiàn)目標后，對其運動的速度與方向進行判斷，并驅(qū)動特寫跟蹤攝像頭隨著目標的運動而轉(zhuǎn)動跟蹤。所謂的特寫跟蹤，是指跟蹤目標攝像頭的監(jiān)視畫面只有目標，這樣，能夠因增大目標的分辨率而使得目標物的正確辨認成為可能。
兩個攝像頭通過一個計算機實現(xiàn)聯(lián)動。全景攝像頭固定在某個位置上，攝像頭連接到計算機上的視頻卡上，將視頻信號傳輸?shù)接嬎銠C中，計算機對輸入的視頻信號進行處理，并判斷出何時有可疑目標出現(xiàn)。一旦判斷出有可疑目標出現(xiàn)，就計算其所在位置，以及其運動速度和方向，并將這些參數(shù)通過運動控制卡傳輸出去，控制另一個架設在兩自由度的轉(zhuǎn)動云臺上的攝像頭，轉(zhuǎn)動到目標所在的位置，之后攝像頭調(diào)整焦距，使該攝像頭能夠?qū)δ繕诉M行放大特寫跟蹤。當這個特寫跟蹤攝像頭獲得目標之后，也將視頻信號通過視頻卡傳輸?shù)接嬎銠C中，計算機根據(jù)目標的運動速度及方向，控制該特寫跟蹤攝像頭隨著目標的運動而運動，完成對目標的特寫跟蹤。
雙攝像頭聯(lián)動方法當全景監(jiān)控攝像頭鎖定了入侵目標之后，要使另一個特寫跟蹤攝像頭能夠找到該目標物并對其進行放大跟蹤，則需要建立兩個攝像頭之間的聯(lián)動關(guān)系，即建立場景畫面中的每個點分別在兩個攝像頭所拍攝的視頻畫面中的位置對應關(guān)系。即根據(jù)全景攝像頭中目標的位置來確定特寫攝像頭的朝向，使之能夠正對需要跟蹤的目標。下面來介紹一下該聯(lián)動關(guān)系建立的過程。
如圖1所示，假定兩部攝像頭的成像點重合(如圖1中的O點)，據(jù)攝像頭的成像原理可知，特寫攝像頭所對準的位置與它相對于全景攝像頭的夾角有關(guān)。
設全景監(jiān)視攝像頭的方向向量為Φ，是一個固定值，設特寫跟蹤攝像頭的初始方向向量為φ，二者的夾角為θ(Φ，φ)。以全景攝像頭的方向向量為基準建立水平投影面X和豎直投影面Y。將夾角投影到兩個面上，分解為X方向夾角θX(Φ，φ)和Y方向夾角θY(Φ，φ)。在這里，特寫攝像頭對準全景攝像頭中的(x，y)點，從圖中可知如下關(guān)系θX(Φ,φ)=kxx---(1)]]>θY(Φ,φ)=kyy---(2)]]>位置坐標和攝像頭夾角成線性關(guān)系。
有了這樣的關(guān)系，當需要讓特寫攝像頭指向全景攝像頭中的某一點的時候，就可以通過控制兩部攝像頭的夾角來實現(xiàn)。換句話說，如果需要讓特寫攝像頭指向(x，y)點，就控制攝像頭使之與全景攝像頭的夾角為θ(Ф，φ)。
這一控制過程是由云臺的轉(zhuǎn)動來實現(xiàn)的。下面就是要將對兩部攝像頭的夾角控制轉(zhuǎn)換為對云臺的兩個夾角的控制。如圖2所示，全景攝像頭的方向向量為Φ，它與水平面的夾角設為β，是一個固定值，設特寫攝像頭的方向向量為φ。以全景攝像頭的照射方向為基準，建立X投影面和Y投影面，分別對應于圖中的OAX平面和OAY平面。
對特寫跟蹤攝像頭方向向量φ向兩個平面上投影，從向量φ上一點B分別向兩個投影面做垂線，得到X面的垂點為B’，Y面的垂點為Y，Y’是B在向量Φ上的投影點。這樣就分別得到兩部攝像頭X方向夾角θX(Ф，φ)和Y方向夾角θY(Ф，φ)，對應于圖2中∠AOB′，∠AOY。另一方面，根據(jù)云臺的結(jié)構(gòu)可知，云臺水平方向的轉(zhuǎn)動夾角對應于圖中αX，豎直方向的轉(zhuǎn)動夾角對應于圖中的αY。
接下來就是要建立坐標(x，y)與(αX，αY)之間的關(guān)系。首先，計算云臺的水平轉(zhuǎn)動角αX。根據(jù)圖中關(guān)系，可知tanθX(Φ,φ)=|Y′B′||Y′O|---(3)]]>tanαX=|YB||YO′|---(4)]]>根據(jù)投影關(guān)系可知|YB|＝|Y′B′|則由式(3)(4)可得tanαX=|Y′O||YO′|tanθX(Φ,φ)---(5)]]>圖2中 則有 |YO|=|Y′O|cosθY(Φ,φ)---(7)]]>由此可得 將式(1)(2)式代入(10)得到αX的最終計算公式 接下來再計算云臺的豎直轉(zhuǎn)動角αY。根據(jù)圖中關(guān)系，可知|BY|＝|BO′|sinαX(12)|YO′|＝|BO′|cosαX(13)
將式(13)代入(6)可得 在直角三角形⊥BYO中有如下關(guān)系 在直角三角形⊥BO′O中有如下關(guān)系 再將式(1)，(2)代入(16)，得到αY的最終計算公式 根據(jù)上面得到的雙攝像頭的聯(lián)動關(guān)系，首先計算出全景監(jiān)視攝像頭中鎖定目標在特寫跟蹤攝像頭中的位置，將特寫跟蹤攝像頭轉(zhuǎn)動至相應的位置，使鎖定的目標物在特寫跟蹤攝像頭的監(jiān)視視野中，之后，特寫跟蹤攝像頭根據(jù)判斷出的目標運動方向與速度進行相應的轉(zhuǎn)動，完成對目標的特寫跟蹤。在完成了一個目標的特寫跟蹤之后，該攝像頭復位，并等待下一個目標的出現(xiàn)。
全景監(jiān)控攝像頭的信息處理全景監(jiān)視攝像頭是固定不動的，該攝像頭的作用是，對固定的監(jiān)視場景中出現(xiàn)的運動目標進行檢測，并對其行為進行簡單的分析，獲得入侵目標的個數(shù)、入侵目標的行走速度、行走方向，以及所在位置等信息，可對運動目標的可疑行為進行自動識別并及時報警。
根據(jù)實際需要可自行設置警戒方式如入侵警戒區(qū)域、警戒線，也可以是整個監(jiān)視區(qū)域，以進入監(jiān)視視野的先后順序進行跟蹤。當標識完成之后，系統(tǒng)就對進入警戒區(qū)域內(nèi)的目標進行檢測，在檢測出目標后，還可對監(jiān)視場景中的人數(shù)進行統(tǒng)計，并可對在監(jiān)視視野中的人物聚眾進行自動判斷并報警。
1)運動目標的檢測下面以人物作為運動目標來進行說明。所謂的運動目標檢測就是指運用圖像及視頻處理的手段將運動的目標(人)與場景的背景相區(qū)別分離。本發(fā)明采用了對背景進行建模的方法，獲得一個背景畫面(指自動生成的無目標物的監(jiān)視場景)，之后不斷對該背景進行更新，以保證在目標檢測中，能夠適應戶外不同時間，不同天氣下的光照環(huán)境的變化導致的背景變化。
本發(fā)明采用了基于像素灰度歸類的方法來實現(xiàn)對背景進行建模，在獲得不包含運動目標的背景幀之后，采用簡單的幀間差方法，就可檢測出運動目標。
像素灰度歸類算法是建立在假設背景像素灰度以最大概率出現(xiàn)在圖像序列中的前提下的。這種假設在實際應用中是可行的，因為只有背景是固定不變的，而運動目標只是短時間內(nèi)遮擋了背景，而大部分時間內(nèi)背景是未被遮擋的。所以，本發(fā)明利用灰度差對相應像素點灰度進行歸類，選擇出現(xiàn)頻率最高的灰度值作為該點的背景像素值。具體的算法如下。
首先，輸入一段包含有N幀圖像的視頻，之后，對該N幀圖像中的每個像素的灰度值分布進行統(tǒng)計，在本專利中，灰度值是經(jīng)過歸一化處理后的結(jié)果。即，設當前點的像素值為f(i，j)，則歸一化后的像素值x(i，j)為x(i，j)＝f(i，j)/255 (18)這里，255是目前8位位圖的最大像素值。
之后，判斷該N幀圖像中的灰度分布進行統(tǒng)計，設定波動范圍為0.1，則將歸一化后的灰度值劃分為10個數(shù)值等級，對每個像素值給定一個10維的數(shù)組Nx(i，j)(k)，k＝1，2，...，10，則有Nx(i，j)(k)＝{N幀圖像中，灰度值落在(k-0.05，k+0.05)范圍內(nèi)的像素個數(shù)}統(tǒng)計結(jié)束之后，找出Nx(i，j)(k)，k＝1，2，...，10為最大時，對應的k。
即Nmax＝max{Nx(i，j)(k)，k＝1，2，...，10}之后，計算其均值和方差，獲得候補背景點灰度分布的置信區(qū)間。這樣，實際上就得到了該監(jiān)視畫面的背景模型。
如圖3所示，是一段具有155幀視頻中的某一像素點的像素值歸一化后的變化曲線，橫軸表示時間軸，單位為幀序號。縱軸為經(jīng)過歸一化后的像素值。從該曲線可知，在該視頻段中，該點會在某些時刻被目標物遮擋，統(tǒng)計出現(xiàn)頻度較多的部分是歸一化后的0.55附近，將其作為背景值，通過聚類處理，獲得其分布均值與方差，根據(jù)統(tǒng)計數(shù)學的置信區(qū)間的定義，將落在背景置信區(qū)間內(nèi)的點當作是背景點，否則就判斷為候補目標點。
之后，將判斷為候補目標的點再進行連通域的特性分析，將判斷為非目標的點刪除，留下的就是判斷為目標的點。
對輸入的新一幀的視頻畫面，判斷相應的像素點的灰度值是否落在了置信區(qū)間內(nèi)。如果不是的話，該點為目標的像素點，這時，背景模型不變。如果是的話，則表明該點為未被目標遮擋的背景點，則按照下面的公式計算均值與方差，修正背景模型。
均值更新xt+1(i，j)＝(xt(i，j)+xt+1(i，j))/2 (19)其中，xt+1(i，j)表示當前時刻的像素均值，xt(i，j)為前一時刻的像素均值，xt+1(i，j)為當前時刻的像素值。
顯然，按照式(19)，可以實現(xiàn)漸消記憶，使得對背景的建模，始終反映當前時刻的光照環(huán)境。
方差更新σ2t+1(i,j)=Σk=1Nmax(x(i,j)-x‾t+1(i,j))2---(20)]]>這時，用作檢測運動目標的背景幀圖像為[xt+1(i，j)]m*n。
系統(tǒng)在執(zhí)行監(jiān)控任務時，對輸入的當前幀的像素值x(i，j)，采用幀間差的方法按照下式計算e(i，j)＝|x(i，j)-xt+1(i，j)|(21)如果幀間差e(i，j)大于事先設定的閾值，則表明該點為目標點，否則，表明為背景點，將其用式(19)，(20)進行更新。
2)運動目標的跟蹤計算機對全景監(jiān)控攝像頭拍攝到的視頻信號按照上面的方法進行檢測，一旦發(fā)現(xiàn)了目標之后，就要記錄所檢測到的目標的特性參數(shù)?？紤]到在監(jiān)視區(qū)域中，有可能出現(xiàn)多個目標，而目標在區(qū)域中的運動軌跡是不斷發(fā)生變化的，為了防止錯誤跟蹤，對一個檢測到的目標設置“運動方向”、“目標位置”、“運動速度”、“目標顏色”四個特征參數(shù)。將這四個特征參數(shù)記錄下來，在視頻的幀與幀之間運用模板匹配的方法對運動目標進行跟蹤，并且記錄每一個目標的運動軌跡，通過目標的運動軌跡以及其當前位置驅(qū)動特寫跟蹤攝像頭，讓特寫跟蹤攝像頭找到鎖定的目標，并進行特寫跟蹤。
因為數(shù)據(jù)傳送至特寫跟蹤攝像頭會有一定的時間滯后，因此還需要考慮前后視頻幀之間的關(guān)系。
當有多個運動目標進入監(jiān)視視野，如果運動目標之間沒有交叉，本系統(tǒng)通過判斷連續(xù)兩幀上檢測出的目標之間的距離來區(qū)分目標，并對目標進行編號。同時計算出每個目標的運動速度及方向。
在多個目標之間的運動軌跡出現(xiàn)交叉的情況下，則通過對目標運動速度、顏色特征、方向特征進行比較來區(qū)分目標，從而獲得每個目標的運動軌跡并對其進行記錄。
對運動目標速度的統(tǒng)計，采用的是估計目標中心點在不同幀中移動的像素數(shù)的方法來實現(xiàn)。目標顏色特征的分析，則是通過對人的體型及人們的日常習慣把顏色特征分成三部分即頭，上身，下身，經(jīng)過一定比例的分割并統(tǒng)計出每一部分的三個顏色通道的一個均值。對目標運動方向的估計，主要是由目標在當前幾幀內(nèi)坐標的變化求差獲取目標的運動方向。然后根據(jù)這三個特征來區(qū)分我們所檢測的目標并對其進行編號，實時獲取每個運動目標的運動軌跡信息。
3)可疑行為的報警有了對運動目標軌跡信息的檢測與自動分析的方法，就可實現(xiàn)在用戶設置的警戒方式下，對目標進入警戒區(qū)域、目標穿越警戒線、目標在熱點區(qū)域聚眾等全局性的可疑行為的識別，并在識別出可疑行為后進行報警。
特寫跟蹤攝像頭的控制當全景監(jiān)控攝像頭獲得了入侵目標之后，通過前面介紹的雙攝像頭的聯(lián)動方式，要求特寫跟蹤攝像頭完成“特寫拍攝”及“目標跟蹤”兩個動作。為此，特寫跟蹤攝像頭的控制，實際上需要完成對架設攝像頭的云臺轉(zhuǎn)動進行控制，以及對攝像頭焦距進行控制。
“特寫拍攝”就是通過控制攝像頭焦距的大小來實現(xiàn)目標的清晰顯示，以便于后續(xù)的人臉三維重建、目標身份識別。
“目標跟蹤”就是根據(jù)傳輸過來的目標特征參數(shù)，控制云臺帶動攝像頭轉(zhuǎn)動，實時準確地將鎖定的目標經(jīng)過放大之后顯示在監(jiān)控畫面中。
1)云臺控制云臺控制，是為了完成“目標跟蹤”的任務。可采用一個由水平和豎直方向上兩個高精度步進電機來驅(qū)動，兩部電機由MPC07運動控制卡來發(fā)送指令控制。MPC07控制卡是基于PC機PCI總線的步進電機的上位控制單元，它與PC機構(gòu)成主從式控制結(jié)構(gòu)。PC機負責人機交互界面的管理和控制系統(tǒng)的實時監(jiān)控等方面的工作(例如鍵盤和鼠標的管理、系統(tǒng)狀態(tài)的顯示、控制指令的發(fā)送、外部信號的監(jiān)控等等)。MPC07卡完成運動控制的所有細節(jié)(包括脈沖和方向信號的輸出、自動升降速的處理、原點和限位等信號的檢測等等)。
MPC07控制卡的運動控制功能主要取決于運動函數(shù)庫。運動函數(shù)庫為單軸及多軸的步進或伺服控制提供了許多運動函數(shù)單軸運動、多軸獨立運動、多軸插補運動等等。另外，為了配合運動控制系統(tǒng)的開發(fā)，還提供了間隙補償功能。下面簡單介紹一下這些功能對應的函數(shù)和運動方式。
該控制卡提供了六種基本運動類型，列在表1中。圖4給出了在該控制卡控制下，云臺的六種基本運動軌跡。
表1MPC07控制卡的六種基本運動類型

帶有升/降速控制的運動函數(shù)稱之為快速(fast)運動函數(shù)，例如fast_pmove，fast_vmove和fast_hmove。而常速運動函數(shù)則稱之為常速(con)運動函數(shù)，如con_pmove，con_vmove，con_hmove。此外該卡還提供了多軸獨立運動、多軸插補運動等多種運動方式。
在跟蹤控制上，本系統(tǒng)采用此卡做硬件支持，在VC開發(fā)環(huán)境下，系統(tǒng)檢測到指定目標位置后，位置信息與控制卡的脈沖信號經(jīng)過一定的轉(zhuǎn)換關(guān)系，控制MPC07發(fā)送指定的脈沖信號，從而帶動特寫跟蹤攝像頭運動來完成對指定目標的跟蹤。
2)攝像頭焦距控制特寫跟蹤攝像頭的焦距可根據(jù)實際場景進行事先設置，以保證在監(jiān)視區(qū)域范圍內(nèi)，對人物細節(jié)的清楚觀察。
攝像頭焦距控制，是為了完成對目標的“特寫拍攝”任務。為了能夠更清楚的記錄目標，為后面的人物正臉檢測和面部三維重建打下基礎，必須進行特寫的拍攝，這就必須調(diào)節(jié)特寫跟蹤攝像頭的焦距。本系統(tǒng)采用串口通信技術(shù)控制攝像頭焦距的縮放來拉近目標給其以特寫拍攝。在VC開發(fā)環(huán)境下，采用MSCOMM控件實現(xiàn)串口通信，焦距的控制指令有固定的格式，發(fā)送信號的時間長短直接決定了焦距變化的大小。
表2中，列出了焦距控制指令表。
表2攝像頭焦距控制指令表

由于系統(tǒng)采用的攝像頭無法直接獲得焦距的大小參數(shù)，因此，本發(fā)明采用了間接的方法來獲得焦距的大小。這里，選取目標的面積與標準視頻(假設為320×240像素)大小的比值作為反映焦距大小的標志。實際上這兩者的比例并不是實際焦距的精確反映，因為即使在相同的焦距下目標人物的大小不僅與焦距有關(guān)還與其它客觀因素有關(guān)，比如大人和小孩在相同焦距下所占的視頻比例是不一樣的，但對于特寫顯示而言，目的是將目標放大(或縮小)到一定比例只要能夠辨識就達到要求了，并不需要精確反映焦距，所以這樣的間接反映關(guān)系完全滿足系統(tǒng)要求。
下面再介紹一下本發(fā)明中攝像頭的數(shù)學模型建立過程。本攝像頭一個重要特點是，在放大過程中，起始大小與終止大小的比值，與放大指令的間隔時間是對應的。這樣就可以根據(jù)這一特點對攝像機進行建模。
設攝像機初始放大倍數(shù)為α0，Tn時刻的攝像機放大倍數(shù)為αnΔT＝Tk-Tk-1k∈n (22)
假設ΔT保持恒定并且足夠小，則可以近似認為在ΔT時間內(nèi)起始焦距大小和終止焦距大小的比值與ΔT成線性關(guān)系，則有αkαk-1=AΔT---(23)]]>其中，αk表示Tk時刻的攝像機焦距大小，A為常數(shù)。
依此類推則有αnα0=αnαn-1·αn-1αn-2Λα1α0=(AΔT)n---(24)]]>放縮指令的間隔時間t可以被表示為t＝nΔT(25)n=tΔT---(26)]]>將(26)代入(24)得Δα(t)=αtα0=(AΔT)tΔT---(27)]]>由于A，ΔT都是常數(shù)，則(27)可以被轉(zhuǎn)換為Δα(t)=αtα0=Tt---(28)]]>上式中T=(AΔT)1ΔT]]>為常數(shù)。
另一方面，考慮到系統(tǒng)放縮焦距時，是通過解碼器中繼電器的導通與斷開來實現(xiàn)的，因此焦距放縮時會存在機械響應時間τ，則對(28)進行調(diào)整得Δα(t)=αtα0=Tt-τ---(29)]]>這樣攝像機焦距放大的數(shù)學模型就被建立了。
同理由于焦距的放大與縮小是對稱的，則可以得到攝像機焦距縮小的數(shù)學模型Δα(t)=α0αt=Tt-τ---(30)]]>接下來就是要確定參數(shù)，在這里，對攝像機的放大倍數(shù)和指令間隔時間做了如下的采樣測試，實驗結(jié)果見表3。
表3攝像機放大時間t與放大比例采樣表

根據(jù)以上的采樣測試實驗數(shù)據(jù)，對以上數(shù)學模型進行了擬合，如圖11所示，是對采樣點進行擬合后得到的擬合曲線。線條1為樣本曲線，線條2為擬合出的攝像機焦距放大的數(shù)學模型曲線。這樣，就可得到，焦距放大的數(shù)學模型為Δα(t)=αtα0=6.119t-0.5217---(31)]]>焦距縮小的數(shù)學模型為Δα(t)=α0αt=6.119t-0.5217---(32)]]>對攝像機焦距的控制主要目的是為了調(diào)整攝像機焦距，使關(guān)心的目標物在畫面中保持一個理想的大小，以便于觀察。根據(jù)這一要求，對攝像機焦距的控制可以不需要像云臺位置控制那樣，對精度有較高的要求。因此不需要采用較復雜的控制方法。
在這里，根據(jù)上面確定的數(shù)學模型，對焦距的控制采用如下算法視頻畫面中目標物的大小為m，設給定的目標期望大小為M，則誤差e表示為e=mM---(33)]]>本系統(tǒng)設定允許誤差范圍為(0.9，1.1)，當e∈(0.9，1.1)，可以不對攝像機焦距進行調(diào)解，否則利用如下公式來確定調(diào)節(jié)時間t=lneln6.119+0.5217e>1.1ln1/eln6.119+0.5217e<0.9---(34)]]>通過這種算法，就可以實現(xiàn)根據(jù)大小誤差調(diào)節(jié)攝像機焦距的目的，其調(diào)節(jié)效果能夠滿足人觀察的需要即可。如果需要提高控制效果，只需要調(diào)整誤差允許范圍即可。
權(quán)利要求
1.基于雙攝像頭聯(lián)動結(jié)構(gòu)的視頻運動目標特寫跟蹤監(jiān)視方法，通過一個全景監(jiān)控攝像頭對監(jiān)視區(qū)域的目標進行識別，確定出目標的位置、運行速度和方向，鎖定跟蹤目標之后，將目標信息傳給由云臺控制轉(zhuǎn)向的特寫跟蹤攝像頭，由特寫跟蹤攝像頭對鎖定目標進行特寫、放大后跟蹤，顯示目標的特寫畫面，從而獲取目標更多信息，其特征在于，該方法按以下步驟進行，a.采用一全景監(jiān)控攝像頭和一設置在云臺上的特寫跟蹤攝像頭，采用一計算機實現(xiàn)全景監(jiān)控攝像頭和特寫跟蹤攝像頭之間的聯(lián)動，即建立場景畫面中的每個點分別在兩個攝像頭所拍攝的視頻畫面中的位置對應關(guān)系，根據(jù)全景攝像頭中目標的位置來確定特寫攝像頭的朝向，使之能夠正對需要跟蹤的目標；b.利用全景監(jiān)控攝像頭對監(jiān)視區(qū)域的目標進行行為檢測，即運用圖像及視頻處理的方法將運動目標與場景的背景區(qū)別分離，獲得入侵目標的個數(shù)、行走速度、行走方向以及所在位置的信息；c.對上述檢測到的目標設置運動方向、目標位置、運動速度、目標顏色四個特征參數(shù)，并記錄下來，在視頻的幀與幀之間運用模板匹配的方法對運動目標進行跟蹤，獲得每一個目標的運動軌跡信息；d.全景監(jiān)控攝像頭將獲得的目標運動軌跡信息通過步驟a建立的聯(lián)動關(guān)系傳輸給特寫跟蹤攝像頭，通過控制云臺的轉(zhuǎn)動帶動特寫跟蹤攝像頭轉(zhuǎn)動，進行目標跟蹤，實時準確地將鎖定的目標經(jīng)過放大之后顯示在監(jiān)控畫面中；e.控制特寫跟蹤攝像頭焦距的縮放來拉近目標，對上述得到的鎖定在監(jiān)控畫面中的目標進行特寫拍攝。
2.按照權(quán)利要求1所述的方法，其特征在于，所述步驟b中對運動目標進行檢測，是采用，首先利用像素灰度歸類算法對背景進行建模，獲得一個背景幀，不斷對該背景進行更新，再采用幀間差方法，將運動目標檢測出，具體步驟如下，首先，輸入一段包含有N幀圖像的視頻，設當前點的像素值為f(i，j)，歸一化后的像素值x(i，j)為x(i，j)＝f(i，j)/255對該N幀圖像中的每個像素的灰度值分布進行統(tǒng)計，設定波動范圍為0.1，則將歸一化后的灰度值劃分為10個數(shù)值等級，對每個像素值給定一個10維的數(shù)組Nx(i，j)(k)，k＝1，2，...，10，則有Nx(i，j)(k)＝{N幀圖像中，灰度值落在(k-0.05，k+0.05)范圍內(nèi)的像素個數(shù)}統(tǒng)計結(jié)束之后，找出Nx(i，j)(k)，k＝1，2，...，10為最大時，對應的k，即Nmax＝max{Nx(i，j)(k)，k＝1，2，...，10}計算其均值和方差，獲得候補背景點灰度分布的置信區(qū)間，即得到了該監(jiān)視畫面的背景模型；之后，將判斷為候補目標的點再進行連通域的特性分析，將判斷為非目標的點刪除，留下的就是判斷為目標的點；對輸入的新一幀的視頻畫面，判斷相應的像素點的灰度值是否落在了置信區(qū)間內(nèi)，如果沒有落在置信區(qū)間內(nèi)，該點為目標的像素點，這時，背景模型不變；如果落在置信區(qū)間內(nèi)，則表明該點為未被目標遮擋的背景點，則按照下面的公式計算均值與方差，修正背景模型；均值更新xt+1(i，j)＝(xt(i，j)+xt+1(i，j))/2其中，xt+1(i，j)表示當前時刻的像素均值，xt(i，j)為前一時刻的像素均值，xt+1(i，j)為當前時刻的像素值，方差更新σ2t+1(i,j)=Σk=1Nmax(x(i,j)-x‾t+1(i,j))2]]>這時，用作檢測運動目標的背景幀圖像為[xt+1(i，j)]m*n，在執(zhí)行監(jiān)控任務時，對輸入的當前幀的像素值x(i，j)，采用幀間差的方法按照下式計算e(i，j)＝|x(i，j)-xt+1(i，j)|如果幀間差e(i，j)大于事先設定的閾值，則表明該點為目標點，否則，表明為背景點，將其用均值更新公式或方差更新公式進行更新。
3.按照權(quán)利要求1所述的方法，其特征在于，所述步驟c中，運用模板匹配的方法對運動目標進行跟蹤具體采用，當運動目標之間沒有交叉時，通過判斷連續(xù)兩幀上檢測出的目標之間的距離來區(qū)分目標，并對目標進行編號，同時得出每個目標的運動速度及方向；當多個目標之間的運動軌跡出現(xiàn)交叉時，則通過對目標運動速度、顏色特征、方向特征進行比較來區(qū)分目標，從而獲得每個目標的運動軌跡并對其進行記錄；對運動目標速度的統(tǒng)計，采用的是估計目標中心點在不同幀中移動的像素數(shù)的方法來實現(xiàn)；目標顏色特征的分析，則是通過對人的體型及人們的日常習慣把顏色特征分成三部分即頭，上身，下身，經(jīng)過一定比例的分割并統(tǒng)計出每一部分的三個顏色通道的一個均值；對目標運動方向的估計，由目標在當前幾幀內(nèi)坐標的變化求差獲取目標的運動方向；然后根據(jù)這三個特征來區(qū)分檢測的目標并對其進行編號，實時獲取每個運動目標的運動軌跡信息。
4.按照權(quán)利要求1所述的方法，其特征在于，所述步驟d中，采用MPC07運動控制卡來發(fā)送指令控制云臺的轉(zhuǎn)動，MPC07運動控制卡中預存入運動函數(shù)庫來控制運動方式，當檢測到指定目標位置后，位置信息與控制卡的脈沖信號經(jīng)過一定的轉(zhuǎn)換關(guān)系，控制MPC07發(fā)送指定的脈沖信號，從而帶動特寫跟蹤攝像頭運動來完成對指定目標的跟蹤。
5.按照權(quán)利要求1所述的方法，其特征在于，所述步驟e中，對焦距的控制采用如下算法視頻畫面中目標物的大小為m，設給定的目標期望大小為M，則誤差e表示為e=mM]]>若誤差e在設定的誤差允許范圍內(nèi)，不對攝像機焦距進行調(diào)解，否則利用如下公式來確定調(diào)節(jié)時間t=lneln6.119+0.5217e>1.1ln1/eln6.119+0.5217e<0.9]]>其調(diào)節(jié)效果能夠滿足人觀察的需要即可。
全文摘要
本發(fā)明公開的基于雙攝像頭聯(lián)動結(jié)構(gòu)的視頻運動目標特寫跟蹤監(jiān)視方法，通過一個全景監(jiān)控攝像頭對監(jiān)視區(qū)域的目標進行識別，確定出目標的位置、運行速度和方向，鎖定跟蹤目標之后，將目標信息傳給由云臺控制轉(zhuǎn)向的特寫跟蹤攝像頭，由特寫跟蹤攝像頭對鎖定目標進行特寫、放大后跟蹤，顯示目標的特寫畫面，從而獲取目標更多信息。既可對全景進行監(jiān)控，又可對可疑目標進行自動判斷，并實現(xiàn)特寫跟蹤的功能。
文檔編號G06T7/20GK101068342SQ20071001799
公開日2007年11月7日 申請日期2007年6月5日 優(yōu)先權(quán)日2007年6月5日
發(fā)明者王棟, 張云峰, 楊杰, 朱虹, 馬展峰, 涂善彬, 于巖軍, 王昌軍, 吳卓林 申請人:西安理工大學