專利名稱：全方位智能自動巡視和態(tài)勢感知的球形監(jiān)視攝像機(jī)系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻攝像機(jī)監(jiān)視系統(tǒng)，并且更特別地，涉及用于視頻攝像機(jī)監(jiān)視系統(tǒng)的圖像處理方法。
背景技術(shù)：
視頻監(jiān)視系統(tǒng)被用于監(jiān)控諸如火車站、市場、街道交叉口等之類的公共場所，以及諸如圖書館、公共服務(wù)機(jī)構(gòu)、法庭、監(jiān)獄等之類的公共建筑物。視頻監(jiān)視系統(tǒng)還被用于私營部門，例如用作警報(bào)系統(tǒng)或用于看管需要注意的個體。存在很多已知的可用于跟蹤諸如人或車輛之類的移動對象的視頻監(jiān)視系統(tǒng)。視頻監(jiān)視系統(tǒng)通常包括多個永久安裝的攝像機(jī)，該攝像機(jī)觀察周邊的相關(guān)區(qū)域，并且視頻監(jiān)視系統(tǒng)具備用于評價用攝像機(jī)記錄的視頻序列的能力。雖然該評價以前由監(jiān)控人員執(zhí)行，但是視頻序列的自動評價已經(jīng)變得更加普遍。 在自動監(jiān)控的典型應(yīng)用中，第一步，將移動的對象從場景中的實(shí)質(zhì)上靜止的背景中分離出來(對象分割)，對移動的對象進(jìn)行實(shí)時跟蹤(對象跟蹤)，并且如果發(fā)生相關(guān)的移動或者移動的模式，則觸發(fā)警報(bào)。在例如EP 0710927B1中描述了該類型的自動監(jiān)控的一種可能設(shè)計(jì)，其中討論了一種用于移動對象的面向?qū)ο髾z測的方法。這樣的視頻監(jiān)視系統(tǒng)可以被稱為閉路電視(CCTV)。一些這樣的系統(tǒng)采用具有靜止視場(FOV)的固定攝像機(jī)。然而，為了利用固定的攝像機(jī)系統(tǒng)完全覆蓋給定的監(jiān)視地點(diǎn)，往往必須使用相當(dāng)大數(shù)量的固定攝像機(jī)。也可以將可以搖攝(pan)、傾斜和/或變焦的可移動攝像機(jī)用于跟蹤對象。PTZ (搖攝、傾斜、變焦)攝像機(jī)系統(tǒng)的使用通常將減小給定監(jiān)視地點(diǎn)所需要的攝像機(jī)數(shù)量，并且還由此減小視頻饋送和系統(tǒng)集成硬件(例如與之關(guān)聯(lián)的多路復(fù)用器和切換器)的數(shù)量和成本。該攝像機(jī)可以通過圍繞垂直軸旋轉(zhuǎn)來搖攝，通過圍繞水平軸轉(zhuǎn)動來傾斜，并且通過放大或減小其FOV來變焦。用于指示該搖攝動作、傾斜動作、變焦動作的控制信號通常來源于經(jīng)由操縱桿的操作員或者來源于自動視頻跟蹤系統(tǒng)。這樣的PTZ攝像機(jī)的問題在于盡管能夠在幾乎任何方向上搖攝和傾斜，但是該攝像機(jī)在任何給定時刻具有有限的視場(FOV)，并且因而不可能從所有方向感測圍繞攝像機(jī)的所有運(yùn)動?，F(xiàn)有技術(shù)既未公開也未建議用于感測在更大的FOV內(nèi)的運(yùn)動并且自動跟蹤作為該運(yùn)動的源的對象的改進(jìn)系統(tǒng)和改進(jìn)方法。

發(fā)明內(nèi)容
在一個實(shí)施例中，本發(fā)明涉及一種全方位(例如360度)態(tài)勢感知的監(jiān)視系統(tǒng) (situational aware surveillance system)，該監(jiān)視系統(tǒng)可以使用例如來自魚眼鏡頭攝像機(jī)(“間諜攝像機(jī)(spycam)”)的全方位的視頻輸入來感測和/或跟蹤在整個區(qū)域內(nèi)的人或?qū)ο蟮囊苿印Ｔ撓到y(tǒng)可以指示一個或多個球形攝像機(jī)(例如，博世的具有自動跟蹤功能的AutoDome攝像機(jī)，參見EP1427212A1)來將PTZ電機(jī)控制(motor control)指向由魚眼攝像機(jī)感測的任何作為目標(biāo)的人或?qū)ο?，使得autodome攝像機(jī)能夠以更大的細(xì)節(jié)和/或特異性來持續(xù)跟蹤移動對象。因而，魚眼攝像機(jī)可以用作用于360°態(tài)勢感知監(jiān)視的全方位傳感器?，F(xiàn)今最常使用的其他類型的已知傳感器有聲納和紅外傳感器，但是它們是昂貴的，具有高能耗并且是復(fù)雜的。PTZ電機(jī)控制的方向可以基于所檢測的事件、所定義的探試法(heuristics)、以及從魚眼鏡頭攝像機(jī)提供的世界坐標(biāo)到由球形攝像機(jī)使用的搖攝值、傾斜值和變焦值的轉(zhuǎn)換。可以使用魚眼鏡頭圖像配準(zhǔn)、背景減除和前景檢測從連續(xù)幀中測量總體運(yùn)動行為 (overall motion activity)。本發(fā)明可以提供一種具有視頻內(nèi)容分析，即對利用一個或多個全方位和/或 auto-dome攝像機(jī)捕捉的監(jiān)視視頻的內(nèi)容進(jìn)行提取及建模的新穎智能監(jiān)視方法。自動提取視頻內(nèi)容能力這一性質(zhì)可以對將監(jiān)視視頻傳送到安保人員進(jìn)行改善，并且可以顯著地?cái)U(kuò)展有效處置并實(shí)時呈現(xiàn)監(jiān)視視頻的能力。為了處理到達(dá)配備人員的安保室的數(shù)以百計(jì)的視頻通道，智能或自動視頻監(jiān)視已經(jīng)變?yōu)楸仨毜墓ぞ?。?shí)時處置數(shù)據(jù)的系統(tǒng)應(yīng)當(dāng)最優(yōu)地考慮用戶的偏好并且相應(yīng)地對實(shí)時視頻和緩沖的內(nèi)容進(jìn)行過濾。電子監(jiān)控和監(jiān)視設(shè)備通常是各種固定的和移動的攝像機(jī)，當(dāng)電子監(jiān)控和監(jiān)視設(shè)備記錄在主要交通路線、辦公建筑、住宅社區(qū)以及大百貨商店或超級市場中的視頻時，該電子監(jiān)控和監(jiān)視設(shè)備可以理想地對準(zhǔn)可疑的目標(biāo)或?qū)ο蟆Ｔ趥鹘y(tǒng)的攝像機(jī)系統(tǒng)中，由于具有標(biāo)準(zhǔn)視場的鏡頭的攝像機(jī)的有限對準(zhǔn)范圍，可以被作為目標(biāo)的對象是非常有限的。此外，大多數(shù)已知的視頻捕捉設(shè)備工作時具有各種各樣的盲點(diǎn)，這是因?yàn)樗鼈兙哂行〉囊晥觥Ｒ虼?，?dāng)前設(shè)備被用于監(jiān)視的方式離360°態(tài)勢感知監(jiān)視的理想是遙遠(yuǎn)的。通常，監(jiān)視應(yīng)用將多個目標(biāo)同時呈現(xiàn)給人類觀察者分析。然而，人類同時集中于多個目標(biāo)的能力是有限的。因此，已經(jīng)開發(fā)了計(jì)算機(jī)視覺系統(tǒng)，該計(jì)算機(jī)視覺系統(tǒng)可以分析來自攝像機(jī)的信息，并且可以將該信息以簡潔的符號樣式呈現(xiàn)給用戶?？梢詮娜祟惸繕?biāo)的軌跡的特性以及人類目標(biāo)之間的交互來提取出關(guān)于人類目標(biāo)行為的信息。本發(fā)明的視頻分析技術(shù)能夠勝任環(huán)境評估并且可以大幅度減小人員在執(zhí)行危險(xiǎn)任務(wù)時不得不承擔(dān)的風(fēng)險(xiǎn)。本發(fā)明可以提供360°態(tài)勢感知的監(jiān)視系統(tǒng)，該監(jiān)視系統(tǒng)使用全方位視頻輸入來跟蹤在整個區(qū)域內(nèi)的人或?qū)ο蟮幕顒印ｔ~眼鏡頭攝像機(jī)可以提供不具有盲點(diǎn)的360度的完全態(tài)勢感知。魚眼鏡頭攝像機(jī)適用于室內(nèi)應(yīng)用和室外應(yīng)用二者，并且在一個實(shí)施例中，魚眼鏡頭攝像機(jī)能夠觀察300英尺半徑內(nèi)的對象。在360度態(tài)勢感知的監(jiān)視系統(tǒng)的一個特定實(shí)施例中，魚眼鏡頭間諜攝像機(jī)與 autodome攝像機(jī)一起旋轉(zhuǎn)，由此避免了在使autodome攝像機(jī)獨(dú)立于間諜攝像機(jī)旋轉(zhuǎn)時所需要的機(jī)械復(fù)雜性。間諜攝像機(jī)并不需要如autodome攝像機(jī)那樣搖攝并且傾斜以便覆蓋大的觀察區(qū)域，由于間諜攝像機(jī)的靜止全方位能力，間諜攝像機(jī)可以覆蓋完整場景的所有 360度。即，雖然間諜攝像機(jī)不需要搖攝，并且在靜止的同時能夠覆蓋360度，然而出于機(jī)械簡單性的目的，間諜攝像機(jī)可能被迫與autodome —起搖攝。因而，可以在圖像處理中以及在PTZ autodome攝像機(jī)的搖攝-傾斜-變焦(PTZ)控制中對間諜攝像機(jī)的旋轉(zhuǎn)視場(FOV) 進(jìn)行補(bǔ)償。本發(fā)明的新穎方面可以在于間諜攝像機(jī)與autodome攝像機(jī)一起旋轉(zhuǎn)，并且在圖像處理中以及在PTZ autodome攝像機(jī)的控制中執(zhí)行對間諜攝像機(jī)的FOV旋轉(zhuǎn)的補(bǔ)償。另一新穎特征可以在于用于PTZ攝像機(jī)的控制器被設(shè)置在autodome的外殼中，而不是被設(shè)置為需要電纜的外部個人計(jì)算機(jī)(PC)。另一新穎方面在于使用魚眼間諜攝像機(jī)(低分辨率)和autodome攝像機(jī)(高分辨率)的組合的監(jiān)視系統(tǒng)。根據(jù)本發(fā)明，間諜攝像機(jī)可以用作圖像傳感器而不是用于顯示的目的。例如，間諜攝像機(jī)可以僅僅感測移動對象的大體位置，并且autodome攝像機(jī)可以以更高的精度對移動對象進(jìn)行定位、以及產(chǎn)生用于顯示給人員的圖像。autodome下方(即比autodome低)的間諜攝像機(jī)具有非常重要的挑戰(zhàn)。在本發(fā)明中，當(dāng)autodome移動時， autodome下方的間諜攝像機(jī)也可以相應(yīng)地移動。在該情況下，除了利用一些諸如邊沿檢測、 模糊(blurring)等之類的圖像處理之外，系統(tǒng)可能還需要利用全圖像配準(zhǔn)技術(shù)來穩(wěn)定作為傳感器的間諜攝像機(jī)的輸出。在特定的實(shí)施例中，本發(fā)明提供360度態(tài)勢感知的監(jiān)視系統(tǒng)，該監(jiān)視系統(tǒng)使用全方位視頻輸入來創(chuàng)建基于人或其他對象在整個區(qū)域內(nèi)的移動的運(yùn)動密度圖?？梢詮倪\(yùn)動密度圖以及在高運(yùn)動密度的區(qū)域之間的交互中提取出與用于動態(tài)智能自動巡視特征的編程軌跡有關(guān)的信息。自動巡視可以是自動或手動編程到攝像機(jī)系統(tǒng)內(nèi)的移動軌跡或模式(例如搖攝、傾斜、變焦)，從而能夠重復(fù)該移動軌跡或模式。期望該軌跡或模式使攝像機(jī)能夠捕捉高運(yùn)動密度區(qū)域的圖像或者使攝像機(jī)能夠聚焦在高運(yùn)動密度區(qū)域。首先，在已經(jīng)建立了運(yùn)動密度圖之后，系統(tǒng)可以在軌跡路徑中將高運(yùn)動密度的成分區(qū)域連接。該密度圖中的最密集區(qū)域是期望攝像機(jī)聚焦的潛在興趣區(qū)域?？商娲?，系統(tǒng)可以使用探試方法，其中用戶識別興趣區(qū)域，或者系統(tǒng)通過使用默認(rèn)的興趣區(qū)域定義(例如最大區(qū)域、最小區(qū)域、特定區(qū)域閾值、優(yōu)先的興趣區(qū)域等)來識別興趣區(qū)域。在系統(tǒng)通過用戶輸入或者通過探試法來將最感興趣區(qū)域選擇為在運(yùn)動密度圖上的路徑中的連通成分 (connected component)之后，系統(tǒng)可以基于對在二維圖像中的像素值中選擇的成分的權(quán)重進(jìn)行平衡來計(jì)算路徑線的中心。這樣，所有這些像素值可以定義預(yù)期的智能自動巡視功能的軌跡。依據(jù)所選擇的連通成分的尺寸或面積，系統(tǒng)可以提供最優(yōu)焦距信息，使得可以以最優(yōu)視場進(jìn)行監(jiān)視。接下來，系統(tǒng)可以將該軌跡的像素值轉(zhuǎn)換為世界坐標(biāo)位置。然后，可以將所有這些值從世界坐標(biāo)位置轉(zhuǎn)換為特別針對每個個體autodome攝像機(jī)計(jì)算的PTZ值。 即，所選擇成分的所有這些軌跡值是用興趣監(jiān)控區(qū)域的PTZ值的集合來表示的。PTZ值的每個集合對應(yīng)于多個autodome攝像機(jī)中的相應(yīng)一個，并且PTZ值的每個集合可以取決于 autodome攝像機(jī)在房間中相對于被監(jiān)控的區(qū)域的幾何位置。最終，系統(tǒng)根據(jù)跨越所選擇的成分的軌跡的長度來計(jì)算平滑的最優(yōu)速度，攝像機(jī)將以該速度跨越被監(jiān)視的地點(diǎn)來進(jìn)行查看或掃描。在一個實(shí)施例中，本發(fā)明包括一種用于操作視頻監(jiān)視系統(tǒng)的方法，該方法包括將 PTZ攝像機(jī)設(shè)置在外殼內(nèi)。將魚眼鏡頭攝像機(jī)附著在該外殼上，使得魚眼鏡頭攝像機(jī)具有不被該外殼阻擋的全景視場。全景視場以PTZ攝像機(jī)的搖攝軸為中心。魚眼鏡頭攝像機(jī)圍繞搖攝軸旋轉(zhuǎn)。通過使用魚眼鏡頭攝像機(jī)在全景視場內(nèi)捕捉第一圖像。識別興趣對象在所捕捉的第一圖像內(nèi)的位置。將PTZ命令傳輸?shù)絇TZ攝像機(jī)，使得PTZ攝像機(jī)被定向以捕捉在所識別的位置處的所述興趣對象的第二圖像。針對在魚眼鏡頭攝像機(jī)旋轉(zhuǎn)期間該魚眼鏡頭攝像機(jī)的視場的旋轉(zhuǎn)來對PTZ命令進(jìn)行補(bǔ)償。在本發(fā)明的另一形式中，本發(fā)明包括一種視頻監(jiān)視系統(tǒng)，該視頻監(jiān)視系統(tǒng)包括在外殼內(nèi)的PTZ攝像機(jī)。魚眼鏡頭攝像機(jī)被附著在該外殼上，使得魚眼鏡頭攝像機(jī)具有不被該外殼阻擋的全景視場。全景視場以PTZ攝像機(jī)的搖攝軸為中心。將魚眼鏡頭攝像機(jī)和 PTZ攝像機(jī)進(jìn)行耦合，使得魚眼鏡頭攝像機(jī)跟隨PTZ攝像機(jī)圍繞搖攝軸的旋轉(zhuǎn)。魚眼鏡頭攝像機(jī)在全景視場內(nèi)捕捉第一圖像。處理設(shè)備通信地耦合到PTZ攝像機(jī)和魚眼透鏡攝像機(jī)中的每一個。該處理設(shè)備識別興趣對象在所捕捉的第一圖像之內(nèi)的位置，并且將PTZ命令傳輸給PTZ攝像機(jī)，使得對PTZ攝像機(jī)進(jìn)行定向以捕捉在所識別的位置處的所述興趣對象的第二圖像。針對在魚眼鏡頭攝像機(jī)旋轉(zhuǎn)期間該魚眼鏡頭攝像機(jī)的視場的旋轉(zhuǎn)來對PTZ命令進(jìn)行補(bǔ)償。本發(fā)明的一個優(yōu)點(diǎn)在于可以通過魚眼鏡頭攝像機(jī)持續(xù)監(jiān)控?cái)z像機(jī)系統(tǒng)的整個 360度的周圍環(huán)境，同時PTZ攝像機(jī)跟蹤魚眼鏡頭攝像機(jī)所識別的各個對象。另一個優(yōu)點(diǎn)在于PTZ攝像機(jī)的控制器可以被設(shè)置在PTZ攝像機(jī)的外殼中，并且因而不需要過長的電纜來連接該攝像機(jī)和該控制器。另一個優(yōu)點(diǎn)在于可以對PTZ攝像機(jī)在整個高移動密度區(qū)域上的自動巡視進(jìn)行自動編程。另外，通過首先按照全局坐標(biāo)協(xié)定或球形坐標(biāo)協(xié)定對高移動密度區(qū)域進(jìn)行定位，并且然后將全局坐標(biāo)逐個轉(zhuǎn)化為用于每個攝像機(jī)的PTZ移動，從而可以自動為多個攝像機(jī)規(guī)劃這樣的自動巡視。


通過參考下文結(jié)合附圖對本發(fā)明的實(shí)施例的描述，本發(fā)明的上述和其他特征和目標(biāo)以及實(shí)現(xiàn)它們的方式將變得更加顯而易見，并且本發(fā)明本身將被更好地理解，其中圖1是根據(jù)本發(fā)明的視頻監(jiān)視系統(tǒng)的一個實(shí)施例的示意圖；圖2是圖1中的視頻監(jiān)視系統(tǒng)的方框圖；圖3是由適合在本發(fā)明中使用的魚眼鏡頭攝像機(jī)捕捉的圖像的樣本；圖4是在沒有運(yùn)動情況下的示例性魚眼鏡頭運(yùn)動密度圖；圖5是在一時間段期間具有運(yùn)動情況下的示例性魚眼鏡頭運(yùn)動密度圖；圖6是示例性魚眼鏡頭運(yùn)動密度圖，其中通過使用本發(fā)明的連通成分算法已經(jīng)檢測到了三個成分；圖7是示例性魚眼鏡頭運(yùn)動密度圖，其中通過使用在每個連通成分中的線的中心點(diǎn)以(x，y)像素為單位計(jì)算出用于每個成分的智能自動巡視路徑；以及圖8是示出用于操作視頻監(jiān)視系統(tǒng)的本發(fā)明的方法的一個實(shí)施例的流程圖。在所有多個視圖中，對應(yīng)的附圖標(biāo)記指示對應(yīng)的部分。雖然這里闡述的范例以多種形式說明了本發(fā)明的實(shí)施例，但是下面公開的實(shí)施例并不是窮舉的，或者并不應(yīng)該將下面公開的實(shí)施例理解成是將本發(fā)明的范圍限制于先前公開的形式。
具體實(shí)施例方式根據(jù)本發(fā)明的一個實(shí)施例，在圖1中示出了視頻監(jiān)視系統(tǒng)20。系統(tǒng)20包括PTZautodome攝像機(jī)22，該P(yáng)TZ autodome攝像機(jī)22位于部分球形的罩或者“autodome”24內(nèi)， 并且安裝在支撐物25上。靜止的支撐物25可以采用很多形式，例如從建筑的外部邊沿延伸出的向外延伸的支撐臂。該罩M被著色以允許攝像機(jī)獲取罩M外部的環(huán)境的圖像并且同時防止正由攝像機(jī)22觀察的環(huán)境中的個體能夠看到攝像機(jī)22的取向。攝像機(jī)22包括控制器和電機(jī)，其被提供用于攝像機(jī)22的搖攝、傾斜以及焦距調(diào)整。攝像機(jī)22的搖攝動作由雙箭頭沈來表示，攝像機(jī)22的傾斜動作由雙箭頭觀來表示，并且攝像機(jī)22的鏡頭23 的焦距的改變(即變焦)由雙箭頭30來表示。如參考坐標(biāo)系統(tǒng)21所示，搖攝運(yùn)動可以跟蹤沿著χ軸的移動，傾斜運(yùn)動可以跟蹤沿著y軸的移動，并且焦距調(diào)整可以被用于跟蹤沿著 ζ軸的移動。在所說明的實(shí)施例中，攝像機(jī)22和罩M可以是博世的AutoDome模塊化攝像機(jī)系統(tǒng)，該模塊化攝像機(jī)系統(tǒng)可以從博世安防系統(tǒng)有限公司獲得，并且博世安防系統(tǒng)有限公司在賓夕法尼亞州的蘭開斯特市具有營業(yè)場所。系統(tǒng)20還包括主控端(head end)單元32。主控端單元32可以包括視頻切換器或視頻多路復(fù)用器33。例如，主控端單元包括可從博世安防系統(tǒng)有限公司獲得的Allegiant 牌視頻切換器，例如LTC8500系列Allegiant視頻切換器，該LTC8500系列Allegiant視頻切換器為最多64個攝像機(jī)提供輸入，并且主控端單元還可以設(shè)置有八個獨(dú)立鍵盤和八個監(jiān)視器。主控端單元32包括用于操作者輸入的鍵盤34和操縱桿36。主控端單元32還包括用于操作者觀看的顯示設(shè)備，該顯示設(shè)備可以采用監(jiān)視器38的形式。提供M伏AC電源 40來向攝像機(jī)22和處理設(shè)備50 二者供電，處理設(shè)備50可操作地耦合到攝像機(jī)22和主控端單元32 二者。所說明的系統(tǒng)20是單個攝像機(jī)應(yīng)用，然而，本發(fā)明可以應(yīng)用于具有附加攝像機(jī)的更大監(jiān)視系統(tǒng)內(nèi)(這些附加攝像機(jī)中的一些可以是靜止的)以提供更大的或者更加復(fù)雜的監(jiān)視區(qū)域的覆蓋。也可以將一個或多個VCR或者其他形式的模擬或數(shù)字記錄設(shè)備連接到主控端單元32，以提供對系統(tǒng)中的攝像機(jī)22和其他攝像機(jī)捕捉的視頻圖像的記錄。攝像機(jī)22可以包括諸如電荷耦合器件(CCD)之類的圖像捕捉設(shè)備，該電荷耦合設(shè)備獲取四邊(例如矩形)的CXD視頻圖像。處理設(shè)備50識別或者選擇了 CXD圖像中的至少一部分，使其在監(jiān)視器38的屏幕上顯示以供系統(tǒng)20的操作者觀看。魚眼鏡頭攝像機(jī)52可以被設(shè)置于罩M內(nèi)的攝像機(jī)22的下方。然而，同樣可以將魚眼鏡頭攝像機(jī)52設(shè)置在罩M的外面。在任一情況下，可以如此安裝攝像機(jī)52，使得它具有不被系統(tǒng)20的其余部分阻擋的半球形視野。攝像機(jī)52可以沿向下的方向M對準(zhǔn)、指向和/或面向地板或地面，使得攝像機(jī)52可以在遍及整個360度地平線(horizon)的方向 56上觀察相同的垂直水平。攝像機(jī)52可以被用作傳感器，并且其捕捉的圖像可以與360度態(tài)勢感知監(jiān)視算法結(jié)合用于360度態(tài)勢感知監(jiān)視。在提供不具有盲點(diǎn)的態(tài)勢感知的低成本解決方案內(nèi)，本發(fā)明提供了簡單設(shè)置、容易操作以及高度靈活性的優(yōu)點(diǎn)。在圖2中說明了在視頻內(nèi)容分析(VCA)硬件模塊(例如TI的DM642DSP)上實(shí)現(xiàn) 360度態(tài)勢感知實(shí)時監(jiān)視的技術(shù)和自動智能監(jiān)視算法的順序基本步驟。Autodome VCA模塊 200的Beam 202和監(jiān)視器I各自接收來自魚眼鏡頭攝像機(jī)52的視頻輸入204a_204b中的相應(yīng)一個。背景估計(jì)和適配模塊(BEAM) 202可以處理圖像序列并且檢測其中的移動對象。 BEAM 202可以包括背景減除模塊和解釋層。
在下一步驟206，檢測之前已經(jīng)創(chuàng)建的任何運(yùn)動遮蔽(mask)。例如，可以在FOV內(nèi)創(chuàng)建一個或多個運(yùn)動遮蔽，其中由于永久運(yùn)動源位于該遮蔽之后或者之內(nèi)，因此可以忽略該永久運(yùn)動源。在風(fēng)中搖動的旗幟或灌木可以是這樣的永久運(yùn)動源。在步驟208，通過求平均值來更新運(yùn)動密度圖。即，如下文更詳細(xì)地所述，通過求平均值函數(shù)來計(jì)算運(yùn)動密度。在下一步驟210，計(jì)算密度路徑。即，可以計(jì)算出autodome攝像機(jī)的搖攝、傾斜和 /或變焦所遵循的路徑，使得攝像機(jī)的FOV經(jīng)過具有很多運(yùn)動的區(qū)域。該高密度路徑可以對應(yīng)于在χ和y坐標(biāo)系統(tǒng)的被檢測的運(yùn)動區(qū)域中具有最密集運(yùn)動的像素，并且可以在逐條的基石出上。接下來，在步驟212，根據(jù)搖攝動作、傾斜動作和/或變焦動作來創(chuàng)建智能自動巡視路徑。在一個實(shí)施例中，建立與所計(jì)算的密度路徑中的每一段(leg)相關(guān)聯(lián)的速度或通過時間，以便由此創(chuàng)建自動巡視路徑。此外，可以進(jìn)一步計(jì)算出引導(dǎo)攝像機(jī)通過所計(jì)算的密度路徑的搖攝命令、傾斜命令和/或變焦命令。在最后的步驟214，通過向autodome攝像機(jī)22發(fā)送搖攝命令、傾斜命令和/或變焦命令來控制autodome攝像機(jī)。攝像機(jī)22捕捉的圖像可以實(shí)時顯示在監(jiān)視器II上。可以將態(tài)勢感知建模為兩個底層視頻特性的集成函數(shù)，通過以下的視頻分析學(xué)研究來激發(fā)該視頻特性的選擇(1)從連續(xù)的幀中測量的總體運(yùn)動行為；以及O) 360度全方位傳感器模型?？梢詫⑦\(yùn)動行為定義為在包括對象和攝像機(jī)運(yùn)動二者的場景中的總體運(yùn)動，視頻流中出現(xiàn)的運(yùn)動行為可以被認(rèn)為是在態(tài)勢感知的激勵(arousal)的建模中使用的第一特征。關(guān)于魚眼鏡頭圖像的配準(zhǔn)，常駐于autodome頭單元(head unit)中的360度全方位傳感器模型可以做出以下假設(shè)空間中的圖像的平移和旋轉(zhuǎn)能夠近似于在autodome頭單元處于運(yùn)動時的圖像運(yùn)動。平移可以被認(rèn)為是在χ或y方向上的像素運(yùn)動，像素運(yùn)動的距離是按照一些數(shù)量的像素來定義的。正平移是沿著增大的行索引或列索引的方向上的；而負(fù)平移是沿著減小的行索引或列索引的方向上的。正方向上的平移向圖像的頂部和/或左側(cè)增加行和/或列， 直到已經(jīng)達(dá)到所要求的增加。可以相對于原點(diǎn)來執(zhí)行圖像旋轉(zhuǎn)，該原點(diǎn)被定義在運(yùn)動的中心，并且由此可以將圖像旋轉(zhuǎn)指定為角度?？梢允褂孟铝械慕品匠虂肀硎驹撈揭痞? = (xcos α -ysin α ) +txy' = (ysin α+xcos α )+ty關(guān)于背景減除，背景建?？梢园▽?dāng)前圖像從參考圖像中減去。參考圖像可以從一個時間段期間的靜態(tài)背景中獲得。提取僅留下非靜止對象或新的對象。魚眼鏡頭攝像機(jī)不需要搖攝和傾斜來覆蓋大的觀看區(qū)域，由于其靜止、全方位能力，所以該魚眼鏡頭攝像機(jī)覆蓋整個場景的所有360度。然而，魚眼鏡頭攝像機(jī)還提供了用于開發(fā)強(qiáng)大背景模型的機(jī)會。相應(yīng)地，“背景減除”算法的基本步驟可以如下背景模型構(gòu)建了參考圖像并且建立了背景。背景估計(jì)和適配模塊(BEAM)可以用于構(gòu)建背景圖像。在第二步，閾值方法確定在減除操作中使用的用于獲得所期望的檢測率的適當(dāng)閾值。例如，適當(dāng)?shù)拈撝悼梢允垢信d趣的運(yùn)動(例如來自人)能夠被檢測到，而使不感興趣的運(yùn)動(例如來自老鼠)不被檢測到。背景減除算法的第三且最終步驟可以包括減除操作或像素分類和適配速度。該步驟對給定像素的類型進(jìn)行分類。例如，像素可以被分類為背景的一部分(包括普通背景和陰影背景)，或者像素可以被分類為移動對象。關(guān)于前景檢測，當(dāng)像素強(qiáng)度具有大于特定全局閾值的概率時，可以通過檢測來發(fā)現(xiàn)前景區(qū)域。每個幀的前景區(qū)域被分組為連通成分。通過應(yīng)用連通成分技術(shù)，前景提取具有不同于背景的區(qū)域集合?？梢酝ㄟ^邊界框和圖像遮蔽來描述每個前景成分，其表示邊界框中的那些屬于前景的像素。對于定義明確的移動對象，下一步驟是去除小的成分、噪聲和無關(guān)緊要的區(qū)域。為了在跟蹤器中解析更復(fù)雜的前景提取結(jié)構(gòu)，可以使用去除算法，例如光歸一化和尺寸濾波。一旦檢測到前景，則可以使用尺寸濾波器來清除和去除噪聲區(qū)域。在每個候選區(qū)域應(yīng)用尺寸濾波器的情況下，考慮來自圖像差異的累積像素計(jì)數(shù)。尺寸濾波器具有最小閾值和最大閾值。最大閾值可以被用于避免對象的大的緩慢移動的陰影。如上文提到的，態(tài)勢感知可以被建模為兩個底層視頻特性的集成函數(shù)，兩個底層視頻特性中的一個為360度全方位傳感器模型，如在一個實(shí)施例中由魚眼鏡頭攝像機(jī)52所實(shí)施的那樣。魚眼鏡頭攝像機(jī)52可以具有360度的視野，并且因此能夠?qū)肭蛐蔚乃行畔嚎s到一幅圖像中。該壓縮可以使圖像能夠承載更加多的信息，以便用于需要非常寬的視角的計(jì)算機(jī)視覺應(yīng)用(例如，在檢測、跟蹤和監(jiān)控中)。通常，捕捉半球形視場所要求的特殊鏡頭的模型參數(shù)使得魚眼圖像的投影變換的計(jì)算難以精確計(jì)算。在圖3中，示出了來自魚眼鏡頭攝像機(jī)視頻的樣本圖像。在圖像中捕捉的是兩條人行道302、304的交叉路口，每條人行道具有恒定的寬度，并且相互垂直定向。由于與攝像機(jī)的距離增加，所以人行道的寬度看起來朝向圖像的外側(cè)越來越小。還示出了正走在人行道上的兩個行人306、308。對于常規(guī)的攝像機(jī)圖像，為了產(chǎn)生或減小圖像中的幾何扭曲來由此檢測并顯示在視頻的下一幀中的移動對象，可以調(diào)用需要非常長處理時間的變形(warping)或反變形 (unwarping) 0在另一方面，因?yàn)椴粚⒁曨l顯示給用戶，所以可以不需要反變形技術(shù)。因此， 可以依靠魚眼鏡頭視頻中的幾何參數(shù)僅使用像素映射來控制移動的攝像機(jī)。因?yàn)轸~眼鏡頭的使用，原始的魚眼鏡頭輸出視頻可以不具有統(tǒng)一的空間分辨率。 歸因于魚眼鏡頭的光學(xué)性質(zhì)，全方位攝像機(jī)沿著地平線的空間分辨率是最大的。博世公司在市場上出售的Dinion攝像機(jī)系統(tǒng)具有480 (H) X 720 (V)的分辨率。當(dāng)考慮整個半球形圖像時，沿著地平線的空間分辨率可以為4. 8像素/度。對于支持監(jiān)視系統(tǒng)的基于視覺的檢測和跟蹤系統(tǒng)，該檢測和跟蹤系統(tǒng)需要可靠地跟蹤對象的位置和身份、能夠以合理的速度運(yùn)行、可用于多人、允許對人的表示進(jìn)行創(chuàng)建和刪除、以及能夠與多個攝像機(jī)一起工作。為了達(dá)到在真實(shí)世界環(huán)境中實(shí)際跟蹤的所有要求， 可能需要考慮在分辨率和FOV之間進(jìn)行權(quán)衡。然而，依靠魚眼鏡頭的獨(dú)特最優(yōu)設(shè)計(jì)，可以不需要具有多個視野。進(jìn)一步關(guān)于360度全方位傳感器模型，可以將在圖像中捕捉的對象的像素坐標(biāo)轉(zhuǎn)換為在全方位運(yùn)動傳感器模型中的世界坐標(biāo)(例如全局坐標(biāo)或半球形坐標(biāo)，例如可以利用緯度和相對于參考經(jīng)度線的經(jīng)度來表示全局坐標(biāo)或半球形坐標(biāo))。理想地，當(dāng)測量與沿著地平線的目標(biāo)對象的角度時，可以利用所觀察的X坐標(biāo)和1坐標(biāo)來發(fā)現(xiàn)其真實(shí)的角度。然后， 可以根據(jù)沿著χ軸和y軸的像素來計(jì)算從中心點(diǎn)到該目標(biāo)的距離。該計(jì)算產(chǎn)生了該目標(biāo)距魚眼圖像中心的、按照像素的觀察距離。當(dāng)檢測到不尋常的運(yùn)動時，魚眼鏡頭攝像機(jī)可以監(jiān)控運(yùn)動行為的方向，并且可以提供目標(biāo)在世界坐標(biāo)系統(tǒng)中的位置。執(zhí)行這樣的計(jì)算的示例性軟件代碼如下
/* PixelToWorldO*/
/*獲取作為輸入的世界中的pt的TL坐標(biāo)和2D圖像*/
/* 坐標(biāo)(r_img, c_img)，并且計(jì)算 XY 坐標(biāo)(χ, y)。*/
void PixelToWorld(int r img, int c_img, FLOAT *x, FLOAT *y, FLOAT z) {
extern INT32 rO, cO;Il omnidir 圖像的圖像中心
1權(quán)利要求
1.一種用于操作視頻監(jiān)視系統(tǒng)的方法，包括步驟 將PTZ攝像機(jī)設(shè)置在外殼內(nèi)；將魚眼鏡頭攝像機(jī)附著在所述外殼上，使得所述魚眼鏡頭攝像機(jī)具有不被所述外殼阻擋的全景視場，所述全景視場以所述PTZ攝像機(jī)的搖攝軸為中心； 使所述魚眼鏡頭攝像機(jī)圍繞所述搖攝軸旋轉(zhuǎn)； 通過使用所述魚眼鏡頭攝像機(jī)在所述全景視場內(nèi)捕捉第一圖像； 識別興趣對象在所捕捉的第一圖像內(nèi)的位置；以及將PTZ命令傳輸?shù)剿鯬TZ攝像機(jī)，使得對所述PTZ攝像機(jī)進(jìn)行定向以捕捉在所識別的所述位置處的所述興趣對象的第二圖像，針對在所述魚眼鏡頭攝像機(jī)的旋轉(zhuǎn)期間所述魚眼鏡頭攝像機(jī)的視場的旋轉(zhuǎn)來對所述PTZ命令進(jìn)行補(bǔ)償。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述魚眼鏡頭攝像機(jī)與所述PTZ攝像機(jī)一起圍繞所述搖攝軸旋轉(zhuǎn)。
3.根據(jù)權(quán)利要求1所述的方法，其中，所述旋轉(zhuǎn)的步驟發(fā)生在所述捕捉的步驟之前和/ 或在所述捕捉的步驟期間。
4.根據(jù)權(quán)利要求1所述的方法，包括進(jìn)一步的步驟對所述第一圖像執(zhí)行圖像處理，針對在所述魚眼鏡頭攝像機(jī)的旋轉(zhuǎn)期間所述魚眼鏡頭攝像機(jī)的視場的旋轉(zhuǎn)來對所述圖像處理進(jìn)行補(bǔ)償。
5.根據(jù)權(quán)利要求1所述的方法，包括進(jìn)一步的步驟在所述PTZ攝像機(jī)所在的相同外殼內(nèi)設(shè)置用于所述PTZ攝像機(jī)的控制器。
6.根據(jù)權(quán)利要求1所述的方法，包括進(jìn)一步的步驟在所述魚眼鏡頭攝像機(jī)的所述視場內(nèi)識別多個區(qū)域，所識別的多個區(qū)域比所述視場內(nèi)的其他區(qū)域具有更高的運(yùn)動密度，按照全局坐標(biāo)值來識別所述多個區(qū)域；計(jì)算所述PTZ攝像機(jī)的預(yù)期的自動巡視的軌跡，所述PTZ攝像機(jī)沿著所述軌跡捕捉每個所識別的區(qū)域的圖像；以及將PTZ命令傳輸?shù)剿鯬TZ攝像機(jī)，使得所述PTZ攝像機(jī)在所述自動巡視時遵循所計(jì)算的軌跡。
7.根據(jù)權(quán)利要求6所述的方法，其中，所述軌跡是按照全局坐標(biāo)值來計(jì)算的，所述方法包括進(jìn)一步的步驟計(jì)算與所計(jì)算的軌跡的所述全局坐標(biāo)值相對應(yīng)的PTZ命令。
8.根據(jù)權(quán)利要求6所述的方法，包括進(jìn)一步的步驟將所述全局坐標(biāo)值轉(zhuǎn)換為用于所述PTZ攝像機(jī)的搖攝值、傾斜值和/或變焦值，所述軌跡基于所述搖攝值、傾斜值和/或變焦值來計(jì)算。
9.一種視頻監(jiān)視系統(tǒng)，包括在外殼內(nèi)的PTZ攝像機(jī)，所述系統(tǒng)的特征在于魚眼鏡頭攝像機(jī)，其被附著在所述外殼上，使得所述魚眼鏡頭攝像機(jī)具有不被所述外殼阻擋的全景視場，所述全景視場以所述PTZ攝像機(jī)的搖攝軸為中心，所述魚眼鏡頭攝像機(jī)和所述PTZ攝像機(jī)相耦合，使得所述魚眼鏡頭攝像機(jī)跟隨所述PTZ攝像機(jī)圍繞所述搖攝軸的旋轉(zhuǎn)，所述魚眼鏡頭攝像機(jī)被配置為在所述全景視場內(nèi)捕捉第一圖像；以及處理設(shè)備，其通信地耦合到所述PTZ攝像機(jī)和所述魚眼鏡頭攝像機(jī)中的每一個，所述處理設(shè)備被配置為識別興趣對象在所捕捉的第一圖像內(nèi)的位置；以及將PTZ命令傳輸?shù)剿鯬TZ攝像機(jī)，使得對所述PTZ攝像機(jī)進(jìn)行定向以捕捉在所識別的所述位置處的所述興趣對象的第二圖像，針對在所述魚眼鏡頭攝像機(jī)的旋轉(zhuǎn)期間所述魚眼鏡頭攝像機(jī)的視場的旋轉(zhuǎn)來對所述PTZ命令進(jìn)行補(bǔ)償。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，所述魚眼鏡頭攝像機(jī)被設(shè)置在所述PTZ攝像機(jī)下方，使得所述魚眼鏡頭的視場不被所述外殼阻擋。
11.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，所述處理設(shè)備被配置為對所述第一圖像執(zhí)行圖像處理，針對在所述魚眼鏡頭攝像機(jī)的旋轉(zhuǎn)期間所述魚眼鏡頭攝像機(jī)的視場的旋轉(zhuǎn)來對所述圖像處理進(jìn)行補(bǔ)償。
12.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，所述處理設(shè)備設(shè)置在所述PTZ攝像機(jī)所在的相同外殼內(nèi)。
13.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，所述處理設(shè)備被配置為在所述魚眼鏡頭攝像機(jī)的所述視場內(nèi)識別多個區(qū)域，所識別的多個區(qū)域比所述視場內(nèi)的其他區(qū)域具有更高的運(yùn)動密度，按照全局坐標(biāo)值來識別所述多個區(qū)域；計(jì)算所述PTZ攝像機(jī)的預(yù)期的自動巡視的軌跡，所述PTZ攝像機(jī)沿著所述軌跡捕捉每個所識別的區(qū)域的圖像；以及將PTZ命令傳輸?shù)剿鯬TZ攝像機(jī)，使得所述PTZ攝像機(jī)在所述自動巡視時遵循所計(jì)算的軌跡。
14.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中，所述處理設(shè)備被配置為按照全局坐標(biāo)值來計(jì)算所述軌跡；并且計(jì)算與所計(jì)算的軌跡的所述全局坐標(biāo)值相對應(yīng)的PTZ命令。
15.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中，所述處理設(shè)備被配置為將所述全局坐標(biāo)值轉(zhuǎn)換為用于所述PTZ攝像機(jī)的搖攝值、傾斜值和/或變焦值，所述軌跡基于所述搖攝值、傾斜值和/或變焦值來計(jì)算。
全文摘要
一種操作視頻監(jiān)視系統(tǒng)的方法包括將PTZ攝像機(jī)設(shè)置在外殼內(nèi)。將魚眼鏡頭攝像機(jī)附著在外殼上，使得魚眼鏡頭攝像機(jī)具有不被外殼阻擋的全景視場。所述全景視場以PTZ攝像機(jī)的搖攝軸為中心。魚眼鏡頭攝像機(jī)圍繞所述搖攝軸旋轉(zhuǎn)。通過使用魚眼鏡頭攝像機(jī)在所述全景視場內(nèi)捕捉第一圖像。識別興趣對象在所捕捉的第一圖像內(nèi)的位置。將PTZ命令傳輸?shù)絇TZ攝像機(jī)，使得對PTZ攝像機(jī)進(jìn)行定向以捕捉在所識別的位置處的興趣對象的第二圖像。針對在魚眼鏡頭攝像機(jī)的旋轉(zhuǎn)期間魚眼鏡頭攝像機(jī)的視場的旋轉(zhuǎn)來對所述PTZ命令進(jìn)行補(bǔ)償。
文檔編號H04N5/225GK102577347SQ201080029396
公開日2012年7月11日 申請日期2010年6月29日 優(yōu)先權(quán)日2009年6月29日
發(fā)明者S·賽布拉克 申請人:博世安防系統(tǒng)有限公司