專利名稱：帶有對象跟蹤和檢索的視頻監(jiān)控系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及到視頻監(jiān)控，對感興趣的對象的跟蹤和感興趣的視頻對象的檢索。更 確切地，但是非排他性地，本發(fā)明涉及視頻監(jiān)控系統(tǒng)，其中通過zoom-in攝像機(jī)自動(dòng)拍攝感 興趣的對象的特寫圖像，并且自動(dòng)選擇特定的視頻剪輯和基于其內(nèi)容進(jìn)行檢索。
背景技術(shù)：
為了進(jìn)行安全監(jiān)控和便于視頻記錄，在私人和公共場所安裝有大量的CCTV攝像 機(jī)。記錄的視頻剪輯被證明在例如跟蹤犯罪嫌疑人方面非常有用。隨著未來更多的用于監(jiān) 控和安全目的的攝像機(jī)被安裝，視頻信息的存儲(chǔ)量將顯著增加。當(dāng)前閉路電視(CCTV)安全系統(tǒng)是基于非標(biāo)定的靜態(tài)攝像機(jī)或手動(dòng)操作云臺縮放 (Pan-Tilt-Zoom, PTZ)攝像機(jī)。這樣的系統(tǒng)提供有限的功能，特別是僅僅能提供被動(dòng)的視 頻流用于記錄或?qū)崨r的實(shí)時(shí)控制室內(nèi)的觀察。感興趣的對象不能被自動(dòng)檢測也沒有感興趣 的對象的特寫圖像，例如嫌疑人的面孔，被實(shí)時(shí)自動(dòng)記錄下來。為了以這樣的系統(tǒng)來提供嫌 疑人面孔的特寫圖像，控制室操作員必須手動(dòng)操作PTZ攝像機(jī)朝向感興趣的對象。否則，就 必須對視頻流記錄進(jìn)行勞動(dòng)密集的事后檢視和檢索。因而，識別嫌疑人的面孔非常困難，特 別是如果面部的視頻圖像只占整個(gè)視頻屏幕的很少部分時(shí)，當(dāng)被放大后將顆?；車?yán)重。進(jìn)一步地，當(dāng)場景中沒有活動(dòng)時(shí)，當(dāng)前的CCTV監(jiān)控記錄提供被動(dòng)的連續(xù)記錄。并 沒有已知的技術(shù)能從大量的視頻記錄中自動(dòng)檢索所需的視頻記錄。在該技術(shù)的現(xiàn)有狀態(tài)，操作員進(jìn)行勞動(dòng)密集的手動(dòng)放映來檢索所需的視頻。隨著 安裝的攝像頭數(shù)量的增加，視頻的數(shù)量也增加，從而所需的手工勞動(dòng)量也隨之增加。發(fā)明目的本發(fā)明的一個(gè)目的是克服或者是實(shí)質(zhì)上改進(jìn)上述缺點(diǎn)中的至少一項(xiàng)，和/或更概 括地說，提供一種帶有對象跟蹤和檢索的視頻監(jiān)控系統(tǒng)，其中能實(shí)時(shí)記錄感興趣的對象的 特寫視頻圖像。本發(fā)明的進(jìn)一步的對象是提供一種能自動(dòng)檢索相關(guān)記錄視頻剪輯的系統(tǒng)。本發(fā)明的一目的是提供一種用于智能CCTV監(jiān)控和活動(dòng)跟蹤的方法和系統(tǒng)。該系 統(tǒng)包括使用標(biāo)定的靜態(tài)PTZ攝像機(jī)。該系統(tǒng)提供對任何感興趣的對象拉近(zoom-in)和攝取特寫照片的功能，例如新 進(jìn)入攝像機(jī)視野的人。此功能是在實(shí)時(shí)在線執(zhí)行。在離線的活動(dòng)跟蹤中，來自多個(gè)攝像機(jī) 拍攝的相關(guān)的錄像將形成一個(gè)在長時(shí)間跨度上的感興趣的對象的活動(dòng)列表。

發(fā)明內(nèi)容
本發(fā)明公開了一種捕捉和檢索視頻圖像數(shù)據(jù)集的方法，包括使用靜態(tài)閉路電視 和PTZ攝像機(jī)從實(shí)況場景(live scene)捕捉視頻圖像數(shù)據(jù)；自動(dòng)檢測進(jìn)入場景或在場景中 移動(dòng)的感興趣的對象，并自動(dòng)控制PTZ攝影機(jī)以使其能進(jìn)行特寫實(shí)時(shí)視頻捕獲感興趣的對象。優(yōu)選地，該方法進(jìn)一步包括自動(dòng)跟蹤在捕獲的和/或?qū)崟r(shí)捕獲的視頻圖像數(shù)據(jù)
3中的感興趣的對象。優(yōu)選地，該方法進(jìn)一步包括自動(dòng)分析的感興趣的對象的特征。優(yōu)選地，該方法進(jìn)一步包括自動(dòng)搜索已有的視頻數(shù)據(jù)庫，以確認(rèn)和/或識別感興 趣的對象。優(yōu)選地，該方法進(jìn)一步包括建立捕獲的感興趣的對象的活動(dòng)記錄。優(yōu)選地，攝像機(jī)是標(biāo)定的，以使可以計(jì)算三維圖像陣列。三維靜態(tài)攝像機(jī)標(biāo)定是指一是用來計(jì)算投影矩陣的離線過程，以使在在線檢測 中，一個(gè)三維對象點(diǎn)的齊次表示(homogenous representation)可以轉(zhuǎn)化為二維圖像點(diǎn)的 齊次表示。PTZ攝像機(jī)的標(biāo)定是一項(xiàng)更為復(fù)雜的任務(wù)。這是因?yàn)?，隨著攝像機(jī)的光學(xué)變焦水平 的變化，其固有的攝像機(jī)價(jià)值會(huì)發(fā)生變化。且隨著攝像機(jī)的和平移和傾斜值的變化，攝像機(jī) 的外部值將發(fā)生變化。因此，我們必須采取正確的方法，探尋PTZ攝影機(jī)的中心的角運(yùn)動(dòng)與 它經(jīng)歷的機(jī)械平移和傾斜的變化之間的關(guān)系。優(yōu)選地，三維陣列的分割通過背景減法實(shí)現(xiàn)。優(yōu)選地，感興趣的對象是一個(gè)人的臉，且PTZ攝影機(jī)被控制自動(dòng)攝取面部特寫圖像。優(yōu)選地，該方法進(jìn)一步包括實(shí)施調(diào)度算法來控制PTZ攝影機(jī)，以識別和跟蹤場景 中的多個(gè)感興趣的對象。優(yōu)選地，該方法進(jìn)一步包括執(zhí)行使用背景減法的壓縮算法；和執(zhí)行采用多流同 步的解壓縮算法。優(yōu)選地，該方法進(jìn)一步包括對于靜態(tài)閉路電視攝影機(jī)捕獲的視頻，執(zhí)行一語義方案。優(yōu)選地，該方法進(jìn)一步包括觀察一臺可以顯示非線性和語義標(biāo)記的視頻信息的 監(jiān)視器。從廣義上講，該系統(tǒng)被設(shè)計(jì)用來自動(dòng)檢測感興趣的對象，自動(dòng)變焦以進(jìn)行特寫鏡 頭的視頻捕獲，以及自動(dòng)提供活動(dòng)跟蹤。優(yōu)選地，標(biāo)定過程使一系列攝像機(jī)可以了解它們的彼此三維相互關(guān)系。檢測和zoom-in最好包括將圖像數(shù)據(jù)分割成至少一前景對象和背景對象，該至少 在一個(gè)前景對象為感興趣的對象。該感興趣的對象最好是新進(jìn)入捕獲的視頻圖像的場景的 人或車輛。檢測通常進(jìn)一步包括確認(rèn)一人以及檢測和確定其臉的位置。Zoom-in通常包括計(jì)算感興趣的對象的臉的位置和物理上平移，傾斜和/或變焦 PTZ攝影機(jī)以捕捉感興趣的對象特寫照片。在此階段，本發(fā)明將集中于作為非常感興趣的對 象的人和移動(dòng)的車輛。一旦多于一個(gè)的對象需要視頻采集，檢測可以包含一個(gè)調(diào)度算法，該算法識別人 臉或移動(dòng)車輛并確定攝取特寫視頻圖像的最佳路線，以使沒有感興趣的對象被遺漏。跟蹤最好包括將圖像分割為前景和背景，檢測感興趣的對象和在視頻圖像中和跟 蹤感興趣的對象的移動(dòng)。每個(gè)像素被自動(dòng)分類為前景或背景，并在一段時(shí)間間隔上，使用魯棒(robust)統(tǒng) 計(jì)方法進(jìn)行分析。跟蹤產(chǎn)生了圖像中感興趣的物體的活動(dòng)軌跡的記錄。
視頻分析通常包括感興趣的物體的物理特征的分析和記錄。特征包括但不限于車 型，注冊車牌字母數(shù)字信息，服裝風(fēng)格和顏色，感興趣的物體的高度，特寫視頻拍攝將被分 析和記錄，以便進(jìn)行感興趣的物體的確認(rèn)。確認(rèn)和搜索最好包括對一系列記錄下的分析出的物理特征進(jìn)行匹配，以在其他 捕獲的視頻圖像中尋找潛在的感興趣的對象。在海量的視頻記錄中，記錄首先按時(shí)間上和地理區(qū)域過濾，以使得只有那些可能 包含感興趣的對象的視頻才能作為對象確認(rèn)和查找的對象。該“創(chuàng)建”的步驟最好包括收集所有有關(guān)感興趣的對象的由多個(gè)攝像機(jī)拍攝的視 頻數(shù)據(jù)，以一種可以產(chǎn)生活動(dòng)記錄的方式編排這些視頻。該活動(dòng)記錄最好進(jìn)一步可以同步 到攝像機(jī)的位置，創(chuàng)建一個(gè)物理位置的活動(dòng)記錄。這包括在將攝像機(jī)在監(jiān)控區(qū)域的物理安 裝位置映射到回復(fù)的相關(guān)視頻記錄。另一個(gè)設(shè)想是，以一計(jì)算機(jī)程序?qū)崿F(xiàn)本發(fā)明的方法，以及用一程序存儲(chǔ)裝置來存 儲(chǔ)該計(jì)算機(jī)程序產(chǎn)品。另一個(gè)設(shè)想，是一種視頻壓縮方法，提供一個(gè)大的壓縮比以節(jié)省大量的存儲(chǔ)空間。 該壓縮方法將包括活動(dòng)檢測和背景減法技術(shù)。另一個(gè)設(shè)想，是一個(gè)視頻解碼方案，其中包括一個(gè)使用多流同步的算法。雖然本發(fā)明適用于眾多不同領(lǐng)域，它已被認(rèn)為是特別適用于安全監(jiān)控領(lǐng)域和嫌疑 入足艮S宗ο本發(fā)明的方法和系統(tǒng)尤其適合跟蹤其活動(dòng)被多個(gè)攝像機(jī)記錄的感興趣的的嫌疑 人。為了安全起見，安全人員被要求在一個(gè)特定的時(shí)間范圍內(nèi)，從安裝在一個(gè)地區(qū)或城市區(qū) 域的攝像機(jī)網(wǎng)絡(luò)所有錄制的視頻中檢索感興趣的嫌疑人是很常見的。由此產(chǎn)生的圖像數(shù)據(jù) 可用于建立一個(gè)嫌疑人的活動(dòng)記錄，這對犯罪嫌疑人和相關(guān)的事件的調(diào)查將有很大價(jià)值。本發(fā)明的方法和系統(tǒng)將產(chǎn)生嫌疑人清晰的特寫照片，并執(zhí)行相關(guān)的視頻檢索，降 低勞動(dòng)和極大縮短時(shí)間范圍。這一減少時(shí)間的優(yōu)勢，將對如警察局這樣的機(jī)構(gòu)非常必要。定義本文中使用的術(shù)語“感興趣的對象(Object(S)Of interest) ”及其縮寫“Ool ”主 要是指個(gè)人(person)或人們(people)，但也可能包括其它對象，如昆蟲，動(dòng)物，海洋生物， 魚類，植物和樹木等。本文使用的術(shù)語“CCTV攝影機(jī)”意指包含傳統(tǒng)的用于監(jiān)控目的的閉路電視攝像機(jī)， 以及更現(xiàn)代的視頻監(jiān)控?cái)z像機(jī)形式，例如IP(互聯(lián)網(wǎng)協(xié)議)攝像機(jī)和其它任何形式的能進(jìn) 行視頻監(jiān)視的攝像機(jī)。


本發(fā)明的優(yōu)選形式將參考附圖通過舉例方式進(jìn)行描述，其中圖1示出了帶有對象跟蹤和檢索的視頻監(jiān)控系統(tǒng)的總體設(shè)計(jì)結(jié)構(gòu)；圖2示出了圖像分割和三維視圖標(biāo)定和計(jì)算的細(xì)節(jié)；圖3示出了相關(guān)的視頻檢索過程的詳細(xì)的操作流程；及圖4示出了相關(guān)的視頻檢索過程的技術(shù)細(xì)節(jié)。優(yōu)選實(shí)施例的具體實(shí)施方式
附圖中的圖1描繪了用于實(shí)現(xiàn)本發(fā)明的方法的系統(tǒng)的概觀。該系統(tǒng)100包括多個(gè) 攝像機(jī)101，其安裝在戰(zhàn)略位置以監(jiān)測作為目標(biāo)的環(huán)境或場景50。光學(xué)云臺變焦和/或高 分辨率電子云臺變焦攝像機(jī)102被安裝在能夠自動(dòng)捕獲感興趣的對象的特寫照片的位置。 這些攝像機(jī)形成一個(gè)監(jiān)視網(wǎng)絡(luò)，其中的感興趣的對象在一個(gè)大的物理區(qū)域內(nèi)的長期活動(dòng)可 以被跟蹤。攝像機(jī)101和102是標(biāo)定的，這樣就可以計(jì)算被監(jiān)測范圍內(nèi)的感興趣的對象的三 維位置。三維攝像機(jī)的標(biāo)定可以用用二維和三維網(wǎng)格圖案實(shí)現(xiàn)，如“MultiviewGeometryinC omputerVision, R. HartleyandA. Zisserman, CambridgeUniversityPress, 2004"中所述。在多個(gè)人臉需要視頻捕捉的情況下，一調(diào)度系統(tǒng)被用以確定最快的序列來捕捉特 寫圖像，以使得不會(huì)錯(cuò)過任何感興趣的對象。合適的是，可以使用諸如概率漢密爾頓路徑調(diào) 度算法來實(shí)現(xiàn)此功能。將每個(gè)移動(dòng)對象附加到一條基于其移動(dòng)速度、三維位置和移動(dòng)方向 的概率路徑。圖算法(graph algorithm)將確定一條所有對象的哈密頓(Hamilton)路徑， 并決定無阻塞(occlusion)的捕捉每一個(gè)的近距離照片的最佳的位置。雖然單個(gè)攝像機(jī)101或102可用于本發(fā)明的方法和系統(tǒng)，但當(dāng)可得到來自多個(gè)攝 像機(jī)101和102的圖像時(shí)，最好是將其結(jié)合起來，形成多個(gè)視圖(views)以進(jìn)行處理。攝像機(jī)103的輸出，即捕獲的視頻記錄，是記錄在在數(shù)字錄像機(jī)104內(nèi)。捕獲的視 頻記錄103將以電子格式保存。因此，攝像機(jī)101和102最好是數(shù)碼攝像機(jī)。但是，如果模 擬攝像機(jī)的輸出被轉(zhuǎn)換為數(shù)字格式的話，也是可以使用的。模塊120對攝像機(jī)103的輸出 視頻數(shù)據(jù)進(jìn)行壓縮。壓縮后的捕獲的視頻紀(jì)錄是由數(shù)字錄像機(jī)104保存。每當(dāng)一個(gè)感興趣的對象進(jìn)入監(jiān)控區(qū)域(場景)，PTZ攝影機(jī)被控為自動(dòng)變焦以得到 一特寫圖像。之后該圖像被保存到數(shù)據(jù)庫106。本發(fā)明還應(yīng)用高比率壓縮技術(shù)以減少數(shù)據(jù)存儲(chǔ)需求?？紤]到已安裝的大量攝像機(jī) 和將要產(chǎn)生的視頻數(shù)據(jù)量，高速率壓縮是實(shí)踐上的必然。視頻壓縮為常規(guī)技術(shù)。本發(fā)明更 傾向于一種利用背景減法的技術(shù)。該技術(shù)涉及活動(dòng)檢測和背景減法。該活動(dòng)檢測辨識視頻 場景中的是否有任何活動(dòng)。如果沒有任何活動(dòng)，該視頻片段被全部阻止。如果有活動(dòng)，則一 段時(shí)間內(nèi)的最小包圍活動(dòng)區(qū)域?qū)⒈粔嚎s和儲(chǔ)存。一個(gè)使用同步可訪問媒體交互(SAMI)的 同步文件將被存儲(chǔ)以用于解壓縮。較佳地，視頻壓縮要被實(shí)時(shí)執(zhí)行。壓縮過程中最好是直接在圖像被攝像機(jī)捕獲后， 視頻數(shù)據(jù)被記錄之前完成。這樣一來，視頻數(shù)據(jù)庫可以記錄已壓縮的視頻數(shù)據(jù)。視頻壓縮 過程120可通過一壓縮算法進(jìn)行，該壓縮算法可以由設(shè)置于攝像機(jī)內(nèi)的嵌入式硬件實(shí)現(xiàn)， 也可由設(shè)于攝像機(jī)和數(shù)字視頻服務(wù)器之間的計(jì)算機(jī)設(shè)備來完成壓縮任務(wù)。重要的是，視頻壓縮過程利用背景減法和應(yīng)用對象跟蹤技術(shù)，而視頻分析也用到 同樣的技術(shù)。視頻壓縮典型地是對原始捕獲的與攝像機(jī)緊密關(guān)聯(lián)的視頻進(jìn)行。視頻信息以 壓縮格式保存在視頻服務(wù)器上。保存的數(shù)據(jù)已經(jīng)被分割和索引，可被用于數(shù)據(jù)搜索和瀏覽。 其結(jié)果是，與典型的“捕獲_記錄_壓縮-分析”系列步驟相比，視頻壓縮和內(nèi)容分析過程 實(shí)質(zhì)上作為一個(gè)過程進(jìn)行。攝像機(jī)101和102的物理位置同步到一個(gè)電子地圖105。系統(tǒng)基于來自電子地圖 105的攝像機(jī)的物理位置信息來編排視頻記錄103和將其保存到數(shù)據(jù)庫106。數(shù)據(jù)庫106 中的視頻記錄107將按照時(shí)間和地域分類和索引。
軟件模塊108提供以下功能從簡單的視頻記錄中識別和跟蹤感興趣的對象；從 多個(gè)捕獲的視頻記錄中分析和查找感興趣的對象；以及創(chuàng)建感興趣的對象110的活動(dòng)記錄 (chronicle)并將結(jié)果輸出給用戶。參考圖2，在一個(gè)場景的圖像數(shù)據(jù)被捕獲之后，相關(guān)的對象，特別是人，必須從原始 視頻中提取出來以獲取特寫圖片。從圖像數(shù)據(jù)中提取相關(guān)對象通常包括三個(gè)過程，稱為三 維視圖計(jì)算；分割和對象識別。三維計(jì)算從兩個(gè)二維攝像機(jī)的相應(yīng)圖像點(diǎn)產(chǎn)生一個(gè)三維點(diǎn)。這兩個(gè)二維攝像機(jī)要 在安裝期間標(biāo)定。標(biāo)定可以使用在"Multi view Geometry in ComputerVision,R. Hartley, A. Zisserman, Cambridge University Press，2004”中描述的技術(shù)完成。三維點(diǎn)計(jì)算可以 被計(jì)算以確定來自兩個(gè)攝像頭中心的假想線的交叉點(diǎn)。分割檢測圖像數(shù)據(jù)場景中的對象。其實(shí)現(xiàn)應(yīng)用諸如背景減法(backgroundsubtraction) 技術(shù)，背景減法將每個(gè)像素分類為運(yùn)動(dòng)部分和靜止部分以反映前景對象。有多種技術(shù)可用 來實(shí)現(xiàn)背景減法，例如“C. Stauffer，W. (irimson，AdaptiveBackground Mixture Models for Real-time Tracking, IEEE CVPR 1999，，禾口 “P. Kaew，Tra Kul Pong, R. Dowden, nlmproved Adaptive Background Mixture Modelfor Real-time Tracking with Shadow Detection, 2nd European Workshop onAdvanced Video Based Surveillance Systems, 2001，，。對象識別涉及檢測所需的特征將表現(xiàn)為一個(gè)前景對象。本系統(tǒng)為任何進(jìn)入到場景 的人拍攝特寫圖像，同時(shí)跟蹤其他對象。人的識別可以通檢測人類獨(dú)有的特征完成，如面部 特征，膚色和人的外形匹配。諸如利用〃 P. Viola,M. Jones, Rapid Object Detection using a Boosted Cascade of Simple Features,CVPR 2001” 中所描述的哈爾樣(Haar-like)特 征訓(xùn)練自適應(yīng)增強(qiáng)(Ada boost)等的技術(shù)常用于人和人臉檢測。一旦一個(gè)人或車輛被識別后，將攝取目標(biāo)人物的面部或目標(biāo)車輛的號牌的特寫圖 像。這涉及人臉或車牌的三維位置跟蹤，其指導(dǎo)PTZ攝影機(jī)來攝取特寫圖像。三維位置跟蹤 涉及基于預(yù)標(biāo)定的攝像機(jī)計(jì)算目標(biāo)對象的確切位置。諸如對極幾何(印ipolar-geometry) 等技術(shù)被認(rèn)為是適于三維位置計(jì)算的。一旦發(fā)現(xiàn)目標(biāo)對象的確切三維位置，驅(qū)動(dòng)PTZ攝影 機(jī)拍攝特寫照片的指令可以使用諸如RS232或TCP/IP協(xié)議等公共云臺協(xié)議(common PTZ protocols)自動(dòng)發(fā)送。它也可以嵌入到視頻數(shù)據(jù)流中并發(fā)送以存檔。已經(jīng)開發(fā)出使用多視圖幾何和隨機(jī)算法來估計(jì)靜態(tài)攝像機(jī)和PTZ攝像機(jī)的內(nèi)部 和外部參數(shù)的標(biāo)定算法。一旦攝像機(jī)被標(biāo)定，使用三維仿射變換(3D affinetransform)，任 意三維位置均可被識別和觀察。已開發(fā)出使用三維仿射變換的zoom-in算法。利用動(dòng)態(tài)多 高斯估計(jì)的背景減法算法也已開發(fā)出來。結(jié)合背景減法和3D仿射變換，使自動(dòng)平移、傾斜 和/或變焦到人臉或汽車號碼牌以攝取特寫的圖像紀(jì)錄成為可能。臉和號碼牌識別使用均 值漂移算法實(shí)現(xiàn)。在當(dāng)監(jiān)控區(qū)域預(yù)期有大量人群的環(huán)境條件時(shí)，建議在系統(tǒng)集成一個(gè)調(diào)度模塊， 這樣可以使PTZ攝影機(jī)在最短的時(shí)間內(nèi)對所有目標(biāo)的拍攝照片。調(diào)度和最大化為常規(guī) 技術(shù)，例如在“Markde Berg, Marcvan Kreveld, Mark Overmars, OtfriedSchwarzkopf, Computational Geometry, Algorithms and Applications, Springer-Verlag, 1997，，中所 述。同樣，系統(tǒng)處理阻塞效應(yīng)(handles occlusion effects)。本發(fā)明的方法最好使用基于概率漢密爾頓路徑的調(diào)度算法。圖3說明了模塊108的詳細(xì)運(yùn)作流程。模塊301選擇一個(gè)視頻剪輯作為對象跟蹤 操作的種子。302模塊選擇要被確認(rèn)和跟蹤的感興趣的對象，最好是人。303模塊的追蹤視 頻記錄302中的感興趣的對象的活動(dòng)軌跡。這個(gè)過程涉及對象識別，確認(rèn)和圖像數(shù)據(jù)檢索。 詳細(xì)的技術(shù)討論將參考圖4提供。感興趣的對象在303模塊被確認(rèn)和跟蹤后，模塊304隨后執(zhí)行操作來檢索所有包 含感興趣的對象的視頻數(shù)據(jù)。模塊304執(zhí)行的視頻檢索操作完全可以全自動(dòng)或手動(dòng)306完 成。為了平衡操作時(shí)間和準(zhǔn)確性，最好是這個(gè)過程是輔以手工選擇的自動(dòng)檢索或二者的結(jié)
合來完成。檢索到的視頻記錄被管道傳遞到模塊305的用于活動(dòng)記錄創(chuàng)建?；顒?dòng)記錄是由多 臺攝像機(jī)所捕獲的感興趣的對象進(jìn)行的活動(dòng)的歷史文件記錄。視頻記錄按時(shí)間和地域編 排，以便創(chuàng)建關(guān)于感興趣的對象在特定時(shí)間段內(nèi)都做過什么的清楚的證據(jù)記錄。視頻數(shù)據(jù) 的編排可以使用諸如時(shí)間和空間數(shù)據(jù)庫操作等技術(shù)進(jìn)行。本發(fā)明開發(fā)了可視化算法以提供 感興趣的對象的行經(jīng)路徑的視圖。該活動(dòng)記錄將在記錄查看器(監(jiān)視器)110上被查看。該記錄查看器最好是可以 查看非線性和語義標(biāo)記的視頻記錄。圖4從技術(shù)上說明跟蹤模塊303和304。它還描述系統(tǒng)如何檢索所有包含感興趣 的對象的相關(guān)視頻記錄。模塊303生產(chǎn)所述對象的活動(dòng)軌跡，其最好是涉及團(tuán)塊(blob)跟 蹤。blob跟蹤是一種使用區(qū)域生長的常見技術(shù)。感興趣的對象的邊框的中心可以作為對象 的軌跡。模塊303產(chǎn)生的結(jié)果向系統(tǒng)提供信息，以從分類圖像數(shù)據(jù)庫107中查找相關(guān)視 頻記錄。模塊401為確認(rèn)的對象進(jìn)行特征提取。有用的信息，如身高，服裝顏色，膚色，運(yùn) 動(dòng)模式等，將在這一過程中被學(xué)習(xí)和采集。特征的提取可以使用統(tǒng)計(jì)和機(jī)器學(xué)習(xí)技術(shù)來完 成，如直方圖分析，光流(optic flow)，投影攝像機(jī)映射，消失點(diǎn)分析(vanishing point analysis)等。模塊403檢索包含所述確認(rèn)的對象的相關(guān)視頻記錄。檢索視頻記錄涉及帶有在模 塊401中提取的控制特征的映射圖像數(shù)據(jù)。檢索通常是由模式匹配技術(shù)實(shí)現(xiàn)，如相似性搜 索，局部圖匹配，共生矩陣(co-occurrence matrix)等。模塊403生成的檢索到的視頻記錄最好是貼上帶有可信程度的標(biāo)記?？尚懦潭鹊?計(jì)算是通過模式匹配算法時(shí)鐘(clock)完成。在應(yīng)用時(shí)，其準(zhǔn)確程度可以通過模塊404中 的人工干預(yù)來提高。該活動(dòng)記錄查看器110通過使用最好是多流同步技術(shù)解壓縮圖像數(shù)據(jù)來查看壓 縮的視頻。同步涉及解壓縮各種數(shù)據(jù)流，同步那些使用SAMI的數(shù)據(jù)流，和重建“原始”的視 頻流。本發(fā)明將大大有利于安全產(chǎn)業(yè)和國土安全。應(yīng)該明白，對于本領(lǐng)域技術(shù)人員來說顯而易見的修改和替換不能被認(rèn)為超出了本 發(fā)明的范圍。
8
權(quán)利要求
一種捕捉和檢索視頻圖像數(shù)據(jù)采集的方法，包括使用靜態(tài)閉路電視和PTZ攝像機(jī)從場景捕捉視頻圖像數(shù)據(jù)；自動(dòng)檢測進(jìn)入場景或在場景中移動(dòng)的感興趣的對象，并自動(dòng)控制PTZ攝影機(jī)以使其能進(jìn)行特寫實(shí)時(shí)視頻捕獲感興趣的對象。
2.根據(jù)權(quán)利要求1的方法，進(jìn)一步包括自動(dòng)跟蹤在捕獲的和/或?qū)崟r(shí)捕獲的視頻圖 像數(shù)據(jù)中的感興趣的對象。
3.根據(jù)權(quán)利要求2的方法，進(jìn)一步包括自動(dòng)分析的感興趣的對象的特征。
4.根據(jù)權(quán)利要求3的方法，進(jìn)一步包括自動(dòng)搜索已有的視頻數(shù)據(jù)庫，以確認(rèn)和/或識 別感興趣的對象。
5.根據(jù)權(quán)利要求4的方法，進(jìn)一步包括構(gòu)造捕獲的感興趣的對象的活動(dòng)記錄。
6.根據(jù)權(quán)利要求1的方法，其中，攝像機(jī)是標(biāo)定的，以使可以計(jì)算三維圖像陣列。
7.根據(jù)權(quán)利要求1的方法，其中，該三維陣列的分割通過背景減法實(shí)現(xiàn)。
8.根據(jù)權(quán)利要求1的方法，其中，感興趣的對象是一個(gè)人的臉，且PTZ攝影機(jī)被控制以 便自動(dòng)攝取面部特寫圖像。
9.根據(jù)權(quán)利要求1的方法，進(jìn)一步包括實(shí)施調(diào)度算法來控制PTZ攝影機(jī)，以識別和跟 蹤場景中的多個(gè)感興趣的對象。
10.根據(jù)權(quán)利要求9的方法，進(jìn)一步包括執(zhí)行應(yīng)用背景減法的壓縮算法；和執(zhí)行應(yīng)用 多流同步的解壓縮算法。
11.根據(jù)權(quán)利要求10的方法，進(jìn)一步包括對于靜態(tài)閉路電視攝影機(jī)捕獲的視頻，執(zhí)行 一語義方案。
12.根據(jù)權(quán)利要求11的方法，進(jìn)一步包括觀察一臺可以顯示非線性和語義標(biāo)記的視 頻信息的監(jiān)視器。
全文摘要
本發(fā)明公開了一種捕捉和檢索視頻圖像數(shù)據(jù)集的方法，包括使用靜態(tài)閉路電視和PTZ攝像機(jī)從場景捕捉視頻圖像數(shù)據(jù)；自動(dòng)檢測到感興趣的對象進(jìn)入場景或在場景中移動(dòng)，并自動(dòng)控制PTZ攝影機(jī)以使其能對感興趣的對象進(jìn)行特寫實(shí)時(shí)視頻捕獲。該系統(tǒng)自動(dòng)控制PTZ攝影機(jī)，以便近距離的實(shí)時(shí)視頻捕獲感興趣的對象。該系統(tǒng)會(huì)在捕獲的視頻圖像數(shù)據(jù)中自動(dòng)跟蹤感興趣的對象和分析的感興趣的對象的特征。
文檔編號H04N7/18GK101918989SQ200780101833
公開日2010年12月15日 申請日期2007年12月7日 優(yōu)先權(quán)日2007年12月7日
發(fā)明者歐思樂, 金聲 申請人:常州環(huán)視高科電子科技有限公司