專利名稱：設(shè)備、系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于分析視頻幀序列的設(shè)備，使用這種設(shè)備的系統(tǒng)以及操作這種設(shè)備和系統(tǒng)的方法。具體地，但不排他地，本發(fā)明實施例涉及視頻監(jiān)控網(wǎng)絡(luò)。
背景技術(shù)：
視頻監(jiān)控網(wǎng)絡(luò)包括用以提供特定地理位置的監(jiān)控的一個或多個視頻攝像頭。網(wǎng)絡(luò)可以簡單地包括單視頻攝像頭，單視頻攝像頭用于監(jiān)視門口，例如可以是門、走廊、電梯、入口門廳、出口門廳、大廳、機場安檢門或可能有大量人通過的任何地方。在某些情況下，例如大型購物中心的入口大廳或機場的出發(fā)大廳，在較短時間內(nèi)可能有成千上萬人經(jīng)過。這使得在這種情況下跟蹤被認(rèn)為可能對安全構(gòu)成威脅或引起安全關(guān)注的人充滿困難。
通常，視頻監(jiān)控網(wǎng)絡(luò)包括多個視頻攝像頭，它們布置成提供對諸如城市環(huán)境之類的分布式地理位置的監(jiān)控。每個視頻攝像頭具有特定的視野或者“視場”，在上面捕捉并可以記錄視頻圖像。視頻攝像頭可以是靜止的，或者可以被遠(yuǎn)程控制在監(jiān)控地區(qū)移動視場。 在特定時間的視場的視頻圖像通常可以稱為“場景”，且可以與攝像頭捕捉的視頻圖像幀對應(yīng)。
使用如基于互聯(lián)網(wǎng)協(xié)議的通信，可以將網(wǎng)絡(luò)中的攝像頭通過通信網(wǎng)絡(luò)與控 制中心相連接?？蛇x擇地，通過專用的模擬或數(shù)字通信信道，可以將攝像頭與控制中心相連接。通?？刂浦行挠刹僮魅藛T操縱，甚至在出現(xiàn)針對網(wǎng)絡(luò)內(nèi)特定場景的自動警報響應(yīng)的時候。操作人員需要觀察顯示相關(guān)事件的攝像頭，例如產(chǎn)生警報的場景。在包括許多攝像頭的網(wǎng)絡(luò)中，即使當(dāng)在控制中心每個攝像頭具有專用的顯示屏幕時，操作員也無法監(jiān)視所有攝像頭。
此外，許多視頻監(jiān)控網(wǎng)絡(luò)覆蓋廣泛的地理區(qū)域，而且可以具有不重疊或不鄰接的視場覆蓋范圍。另外，攝像頭可以覆蓋擁擠地區(qū)，可能包括被其它對象遮擋的對象，例如，在靜態(tài)遮擋的地方，由于城市特色建筑遮擋部分街道從而遮擋在該城市特色建筑后面通過的行人和車輛，或者行人之間互相遮擋的諸如擁擠的環(huán)境之類的地方。
監(jiān)視這種視頻監(jiān)控網(wǎng)絡(luò)可能非常復(fù)雜，導(dǎo)致難以觀察到事件和/或跟蹤在事件之前或者事件之后接著發(fā)生的活動。發(fā)明內(nèi)容
考慮到前述情況，設(shè)計了本發(fā)明的各方面和實施例。
就第一方面而言，本發(fā)明提供了設(shè)備，用于分析攝像頭視場的視頻幀序列以跟蹤所述視場中的對象；確定在所述視場中的跟蹤的起點和終點；確定分別與所述起點和終點對應(yīng)的所述跟蹤的起始時間和終止時間；以及將所述起點和終點以及所述起始時間和終止時間作為所述跟蹤的屬性進(jìn)行存儲。
在攝像頭視野的環(huán)境中的“跟蹤”可以是用于定義對象存在的位置、時間和外觀細(xì)節(jié)的結(jié)合。這種對于對象的跟蹤一直存在，直到他從場景中完全地消失或者滿足所設(shè)置的跟蹤結(jié)束的條件為止。
就本發(fā)明的第二方面而言，提供了操作數(shù)據(jù)處理設(shè)備的方法，包括分析攝像頭視場的視頻幀序列以跟蹤所述視場中的對象；確定在所述視場中的跟蹤的起點和終點；確定分別與所述起點和終點對應(yīng)的所述跟蹤的起始時間和終止時間；以及將所述起點和終點以及所述起始時間和終止時間作為所述跟蹤的屬性進(jìn)行存儲。
根據(jù)第一方面和第二方面的實施例處理視頻幀序列中的視頻圖像數(shù)據(jù)，以將視頻幀序列中諸如人或車輛之類的對象的行為或路徑簡化為占用較低帶寬的元數(shù)據(jù)格式，例如，僅四個簡單的數(shù)據(jù)點，這使得易于搜索。也就是說，將視頻幀序列中的對象的行為簡化為合理的數(shù)據(jù)，該數(shù)據(jù)定義了對象在序列中起始和終止的地方以及與起點和終點對應(yīng)的時間。這實質(zhì)上減少了存儲關(guān)于對象行為的信息所需的數(shù)據(jù)存儲空間的數(shù)量，而且如果將在數(shù)據(jù)分析中使用對象的行為，也減少了必要的處理量。
通常，一個或多個實施例可以處理多個監(jiān)控網(wǎng)絡(luò)攝像頭視場的視頻幀序列以跟蹤各個視場中的對象，并且將各個起點和終點以及起始時間和終止時間作為各個視場中的每個所述跟蹤的屬性進(jìn)行存儲。例如，在覆蓋諸如市中心、倉庫或者其他這種設(shè)施之類的大型地理區(qū)域的監(jiān)控網(wǎng)絡(luò)中，將使用多個視頻攝像頭。
適當(dāng)?shù)?，一個或多個實施例可以確定第一視場中的跟蹤的終止時間與第二視場中的 跟蹤的起始時間之間的時間關(guān)系，并且基于所述時間關(guān)系確定所述第一視場中的所述跟蹤過渡到所述第二視場中的所述跟蹤的似然值。然后存儲該似然值。就這種差異來說，似然值可以是概率值。確定在第一視場和第二視場的跟蹤之間的過渡的似然值提供了一種實施例，其中可以根據(jù)它們的似然值對過渡進(jìn)行排序。因此，可以丟棄或忽略具有低似然值的過渡。由于可以忽略較低可能性的過渡并且在它們上沒有進(jìn)行數(shù)據(jù)處理，因此這在減少數(shù)據(jù)處理開銷方面可能特別重要，并且分析數(shù)據(jù)依賴于第一視場和第二視場之間的過渡。而且， 由于對定義不同視場中的跟蹤之間的對應(yīng)關(guān)系的元數(shù)據(jù)進(jìn)行處理，而不是對視頻幀進(jìn)行處理，因此需要較少的處理量。
時間關(guān)系可以是基于物理空間中對應(yīng)于所述起始時間的起點與對應(yīng)于所述終止時間的終點之間的空間關(guān)系。通常，這種空間關(guān)系是沿著道路或人行道的出口區(qū)和入口區(qū)之間的距離，并且可以在系統(tǒng)內(nèi)定義為系統(tǒng)參數(shù)。
更具體地，根據(jù)本發(fā)明的實施例可以在所述第一視場和第二視場中跟蹤多個對象，并確定相應(yīng)的多個起點和終點；基于所述多個起點和終點確定所述第一視場和第二視場中的起始區(qū)和終止區(qū)；確定所述第一視場中的跟蹤的終止區(qū)與所述第二視場中的跟蹤的起始區(qū)之間的所述時間關(guān)系；以及基于所述時間關(guān)系確定從所述第一視場中的跟蹤到所述第二視場中的跟蹤的過渡的所述似然值。因此，定義了物體可能從視場內(nèi)出現(xiàn)或消失的區(qū)域，這提供了對出口區(qū)和入口區(qū)更簡單的識別。
通常，時間關(guān)系基于物理空間中所述起始區(qū)和所述終止區(qū)之間的空間關(guān)系。
通常，更多實施例對所述第一視場中所述對象的標(biāo)記進(jìn)行響應(yīng)，以確定具有所述第二窗口中的起始時間并滿足所述時間關(guān)系的一個或多個跟蹤，并向用戶顯示所述一個或多個跟蹤。
具體地，一個或多個實施例確定對象的外觀作為所述對象的屬性，比較與所述一個或多個跟蹤對應(yīng)的每個對象的外觀屬性，以確定每個對象成為被標(biāo)記對象的概率值，并根據(jù)所述概率值對所述一個或多個跟蹤排序。為了比較的目的，利用如對象的外觀之類的描述信息而不是實際的對象圖像，由于比較更少的數(shù)據(jù)點，因此使得比較過程更高效。
適當(dāng)?shù)兀ㄟ^僅顯示個體可能已經(jīng)經(jīng)過的最可能的路線，僅顯示最可能的跟蹤，這減少了操作人員分析所有可能的存在該個體的錄像所花費的時間。
更適當(dāng)?shù)?一個或多個實施例通過響應(yīng)確認(rèn)所述一個或多個跟蹤之一作為正確的跟蹤的用戶輸入，選擇正確的跟蹤。因此，更多實施例可以被配置為接收用戶的反饋以進(jìn)一步提聞單個對象的跟蹤。
就本發(fā)明的第三方面而言，提供了設(shè)備，該設(shè)備用于顯示攝像頭位置的網(wǎng)絡(luò)地圖和第一攝像頭視場的場景；響應(yīng)用戶對所述場景中的對象所作的標(biāo)記，以基于在其它視場中的可能的對象，確定所述網(wǎng)絡(luò)中被標(biāo)記對象可能出現(xiàn)的其它視場，所述其它視場滿足所述第一攝像頭視場中的出口點和/或入口點與所述其他視場中的入口點和/或出口點之間的時間關(guān)系和空間關(guān)系；以及顯示所述網(wǎng)絡(luò)中攝像頭位置之間可能的路線，所述可能的路線滿足所述時間關(guān)系和空間關(guān)系。
就本發(fā)明的第四方面而言，提供了操作數(shù)據(jù)處理設(shè)備的方法，包括顯示攝像頭位置的網(wǎng)絡(luò)地圖和第一攝像頭視場的場景；響應(yīng)用戶對所述場景中的對象所作的標(biāo)記，以 基于在其它視場中可能的對象，確定所述網(wǎng)絡(luò)中被標(biāo)記對象可能出現(xiàn)的其它視場，所述其它視場滿足所述第一攝像頭視場中的出口點和/或入口點與所述其它視場中的入口點和/ 或出口點之間的時間關(guān)系和空間關(guān)系；以及顯示所述網(wǎng)絡(luò)中攝像頭位置之間可能的路線， 所述可能的路線滿足所述時間關(guān)系和空間關(guān)系。
根據(jù)本發(fā)明的第三方面和第四方面的一個或多 個實施例提供了工具，該工具允許操作人員存取由標(biāo)記跟蹤系統(tǒng)生成的數(shù)據(jù)以及通過視頻直觀地導(dǎo)航并標(biāo)記感興趣的個別對象。而且，這種使用方式可以有助于減少為了跟蹤穿過監(jiān)視區(qū)域的單個對象需要手工分析的視頻量。
通常，一個或多個實施例基于所述可能的對象和所述被標(biāo)記對象之間的外觀元數(shù)據(jù)的相似度，確定所述被標(biāo)記對象可能出現(xiàn)的其他視場。這提供了進(jìn)一步的方法來確定對象可能符合被標(biāo)記對象的可能性。
適當(dāng)?shù)?，一個或多個實施例顯示所呈現(xiàn)的路線符合所述被標(biāo)記對象采用的路線的概率指示，這向操作人員提供了有用的反饋。具體地，突出最可能的路線。
一個或多個實施例可以被配置為響應(yīng)用戶對與所述其它視場對應(yīng)的攝像頭位置的選擇，以顯示所述可能的對象存在的視頻場景。因此，用戶可以快速地在感興趣的視頻場景之間移動。同時用戶可以在視頻場景中選擇所述可能的對象，以確認(rèn)所述可能的對象作為所述被標(biāo)記對象，并確認(rèn)通向所述攝像頭位置的路線，并刪除其它路線。
更適當(dāng)?shù)?，一個或多個實施例基于時間關(guān)系和空間關(guān)系，以及可選地外觀元數(shù)據(jù)， 計算所述被標(biāo)記對象的去往所述攝像頭位置和來自所述攝像頭位置的進(jìn)一步可能的路線， 并顯示所述可能的路線。
甚至更適當(dāng)?shù)兀鄬嵤├炼鄡H顯示一定數(shù)量的可能的路線，這些可能的路線對應(yīng)于具有最高可能性的那些路線，并且可選地，至多僅顯示一定數(shù)量的攝像頭位置之間的連接，從而進(jìn)一步減少操作人員不得不做的工作量。通常示出任一方向的聯(lián)系從而減少視頻混亂。
所述一定數(shù)量可以是用戶可設(shè)置的，以便可以按照用戶的喜好配置顯示。
可以提供滑塊控制的場景，用戶可來回滑動該滑塊以向后或向前移動視頻場景。 這允許用戶控制回顧哪部分視頻。
更多實施例可以顯示沿著所顯示的時間線上的一個或多個書簽，以指示對象進(jìn)入或離開與所顯示的所述場景對應(yīng)的視場的地方。書簽使得操作員快速知道可能的候選對象已經(jīng)出現(xiàn)在他們正在觀察的攝像頭視場中的時間跨度，然后這能夠通過變暗或選擇對象進(jìn)行確認(rèn)來影響導(dǎo)航。
可以在具有與其相關(guān)諸如入口點或出口點之類的元數(shù)據(jù)的對象周圍顯示邊界框， 以幫助識別它們。通常，更多的實施例通過以具有不同突出屬性的邊界框突出可能的對象以區(qū)別沒有歸類為可能的對象的對象，并以具有不同突出屬性的邊界框突出確認(rèn)的對象以區(qū)別沒有歸類為確認(rèn)的對象的對象。
為了提供監(jiān)控標(biāo)記活動的記錄，一個或多個實施例可以被配置為生成被標(biāo)記對象通過所述網(wǎng)絡(luò)地圖的路線的報告。


圖1是示出城市地區(qū)的地圖的圖示，該地圖示出了監(jiān)控網(wǎng)絡(luò)中的攝像頭位置；
圖2是圖1所示的監(jiān)控網(wǎng)絡(luò)中攝像頭視場的場景的圖示；
圖3是根據(jù)本發(fā)明實施例的監(jiān)控系統(tǒng)的示意圖4是視頻數(shù)據(jù)元素的圖表表示；
圖5是根據(jù)本發(fā)明實施例的視頻內(nèi)容分析模塊的過程控制流程圖6是根據(jù)本發(fā)明實施例的獲得元數(shù)據(jù)的過程控制流程圖7是元數(shù)據(jù)數(shù)據(jù)元素的圖表表示；
圖8是根據(jù)本發(fā)明實施例的元數(shù)據(jù)數(shù)據(jù)庫的實體關(guān)系圖；
圖9是根據(jù)本發(fā)明實施例的確定跟蹤片段的過程控制流程圖10是根據(jù)本發(fā)明實施例的確定出口區(qū)和入口區(qū)的過程控制流程圖11是源自本發(fā)明實施例的具有疊加的出口區(qū)和入口區(qū)的攝影圖12是源自本發(fā)明實施例的一對相鄰的出口區(qū)和入口區(qū)的攝影圖13是根據(jù)本發(fā)明實施例的視頻監(jiān)控網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)的示意圖14是根據(jù)本發(fā)明實施例的加入標(biāo)記跟蹤用戶界面模塊的監(jiān)控系統(tǒng)的示意圖15是根據(jù)本發(fā)明實施例的用戶界面顯示的第一階段的示意圖
圖16是根據(jù)本發(fā)明實施例的用戶界面顯示的第二階段的示意圖
圖17是根據(jù)本發(fā)明實施例的用戶界面顯示的第三階段的示意圖；以及
圖18是根據(jù)本發(fā)明實施例的用戶界面顯示的第四階段的示意圖。
具體實施方式
圖1示出了地圖10，該地圖10示出了城市地區(qū)的視頻監(jiān)控系統(tǒng)中個別攝像頭的位置12。每個攝像頭的視場14由三角形表示，該三角形頂點位于攝像頭位置處并從那兒伸出來。從識別的攝像頭視場14可以看出，在攝像頭視場之間存在間隙，導(dǎo)致示出的城市地區(qū)的視頻監(jiān)控不鄰接。這不排除通過安裝足夠數(shù)量的攝像頭將系統(tǒng)應(yīng)用于鄰接的視頻監(jiān)控。
圖2示出攝像頭通常的場景，在這種情況下為攝像頭C07，并且該場景示出車輛15、穿過道路的行人16、拉著手推車的行人17、沿著人行道行走的行人18以及非?？拷舜说囊粚π腥?9。這對行人19互相足夠靠近，以至于在視頻分析系統(tǒng)看來可以作為單個對象。
現(xiàn)在參照圖3，示出了包括視頻攝像頭網(wǎng)絡(luò)10的監(jiān)控系統(tǒng)20。視頻攝像頭網(wǎng)絡(luò)10 可以是IP網(wǎng)絡(luò)的一部分，攝像頭通過該IP網(wǎng)絡(luò)向控制中心發(fā)送數(shù)據(jù)，例如視頻數(shù)據(jù)，或者可以包括視頻攝像頭與控制中心之間直接的連接(有線的或無線的)。視頻攝像頭網(wǎng)絡(luò)10 可以具有一些與IP網(wǎng)絡(luò)連接的攝像頭和一些通過直接的連接與控制中心連接的攝像頭。
視頻攝像頭網(wǎng)絡(luò)中的視頻攝像頭也可以具有與其相連的其它感知設(shè)備。
視頻監(jiān)控系統(tǒng)20包括視頻管理服務(wù)器22，該視頻管理服務(wù)器22處理從視頻攝像頭網(wǎng)絡(luò)10中的不同攝像頭接收的視頻數(shù)據(jù)。這種視頻管理服務(wù)器的例子是英國薩里(Surrey)的BAE系統(tǒng)集成系統(tǒng)技術(shù)有限公司(BAE Systems Integrated System Technologies Ltd)提供的通用視頻管理系統(tǒng)(Universal Video Management System)。視頻管理服務(wù)器22管理視頻數(shù)據(jù)的歸檔和存儲以及提供實時視頻數(shù)據(jù)輸入。此外，視頻管理服務(wù)器22可以提供搜索界面，用于響應(yīng)于搜索請求而請求、識別和返回視頻數(shù)據(jù)。視頻管理服務(wù)器22也可以與其他技術(shù)或應(yīng)用相結(jié)合。
用于視頻圖像數(shù)據(jù)的大容量存儲的視頻服務(wù)器24與視頻管理服務(wù)器22相耦接， 視頻管理服務(wù)器22在視頻服務(wù)器24上存儲視頻圖像數(shù)據(jù)并從視頻服務(wù)器24檢索視頻圖像數(shù)據(jù)。視頻管理服務(wù)器22與視頻內(nèi)容分析模塊26相連接。在描述的實施例中，對于視頻攝像頭網(wǎng)絡(luò)10中的每個攝像頭，視頻內(nèi)容分析模塊26具有一個視頻內(nèi)容分析通道?？梢韵蛞曨l內(nèi)容分析模塊26提供來自視頻管理服務(wù)器22的視頻圖像數(shù)據(jù)，該 視頻圖像數(shù)據(jù)對應(yīng)于攝像頭網(wǎng)絡(luò)10中的每個攝像頭，例如為存儲或歸檔的視頻圖像數(shù)據(jù)或者經(jīng)過IP網(wǎng)絡(luò)提供的視頻圖像數(shù)據(jù)。可選地，可以直接向視頻內(nèi)容分析模塊26提供來自視頻攝像頭網(wǎng)絡(luò)10的視頻圖像數(shù)據(jù)。視頻圖像數(shù)據(jù)可以是任何合適的格式，例如MPEG2、MPEG3、MPEG4、 H264或者任何具有適當(dāng)編碼的專有的視頻格式(IP攝像頭制造商)以允許從視頻流或以模擬格式來自攝像頭的直接視頻解碼視頻數(shù)據(jù)。
根據(jù)視頻管理服務(wù)器和視頻內(nèi)容分析模塊的數(shù)量，可調(diào)整系統(tǒng)設(shè)計的規(guī)模。
通常，為了同步來自視頻管理服務(wù)器22的視頻數(shù)據(jù)與直接提供給視頻內(nèi)容分析模塊26的視頻數(shù)據(jù)，在視頻管理服務(wù)器22和視頻內(nèi)容分析模塊26之間交換同步信號。由于相對于直接從視頻攝像頭網(wǎng)絡(luò)10接收的視頻，視頻管理服務(wù)器22的信號處理可能引入時間延遲，因此這種同步是必需的。有利地，由視頻內(nèi)容分析模塊26從視頻攝像頭網(wǎng)絡(luò)10 接收的視頻數(shù)據(jù)信號質(zhì)量可能高于從視頻管理服務(wù)器22接收的視頻數(shù)據(jù)的信號質(zhì)量，因為其將不經(jīng)過數(shù)據(jù)壓縮和解壓縮。
視頻內(nèi)容分析模塊26分析視頻圖像數(shù)據(jù)以識別視頻圖像中諸如車輛和行人之類的前景對象，并向那些對象分配在攝像頭視場中識別它們以及描述它們行為和路徑的屬性。由于這種屬性包括對象的相關(guān)信息，因此可以被認(rèn)為是“對象元數(shù)據(jù)”。
也可以選擇在場景中觀察到的跟蹤的子集，而不是跟蹤不感興趣的對象，這可以使得系統(tǒng)更高效，這是因為搜索所有對象比搜索那些被選為感興趣的對象將需要明顯更大的計算量。
通過視頻內(nèi)容分析模塊特有的直觀的用戶界面來建立對象在每個攝像頭視場內(nèi)出現(xiàn)的一組規(guī)則，可以實現(xiàn)生成可靠的元數(shù)據(jù)或者跟蹤信息的過程。這些規(guī)則描述預(yù)期的行為，并且在元數(shù)據(jù)中記錄所有表現(xiàn)這種行為的對象?？梢酝ㄟ^低層屬性或高層屬性來描述規(guī)則的特征。對象的低層屬性可以是尺寸、顏色、速度。高層屬性可以稱為“行動”，一旦對象出現(xiàn)在攝像頭視場中就可能采取該“行動”。行動的例子包括“在圖像中限定區(qū)域內(nèi)的對象”。在規(guī)則中低層屬性和高層屬性的結(jié)合將進(jìn)一步加強提煉元數(shù)據(jù)的幾率，這些元數(shù)據(jù)可能有時是場景特有的。
就分配給前景對象的屬性而言，這些屬性可以存儲在不存儲視頻圖像數(shù)據(jù)而僅僅存儲元數(shù)據(jù)的元數(shù)據(jù)數(shù)據(jù)庫20中。視頻圖像數(shù)據(jù)存儲在視頻服務(wù)器24中。
在定義視頻內(nèi)容分析模塊的檢測規(guī)則的過程之前，準(zhǔn)備元數(shù)據(jù)數(shù)據(jù)庫，以便其符合預(yù)定義的關(guān)系數(shù)據(jù)庫模式。元數(shù)據(jù)數(shù)據(jù)庫是網(wǎng)絡(luò)部件，因此在視頻分析模塊的接近度方面將不作限制。
一旦視頻分析模塊的規(guī)則建立過程完成，元數(shù)據(jù)總體代理，例如VIRobot，被配置為分別在輸入處與視頻分析模塊相連接并在輸出處與元數(shù)據(jù)數(shù)據(jù)庫相連接。VIRobot的功能是接收視頻內(nèi)容分析模塊生成的元數(shù)據(jù)，并根據(jù)高層屬性或低層屬性將這種元數(shù)據(jù)轉(zhuǎn)化為元數(shù)據(jù)數(shù)據(jù)庫特有的格式，并存儲它以備將來之用。
VIRobot可以支持兩種元數(shù)據(jù)報告模式。一種是以逐幀為基礎(chǔ)存儲來自所有攝像頭的元數(shù)據(jù)，存儲在元數(shù)據(jù)數(shù)據(jù)庫的“觀察結(jié)果”表中。第二種選擇是以每個對象為基礎(chǔ)報告元數(shù)據(jù)，即實時積累對象的跟蹤信息，并定期更新跟蹤的屬性，直到視頻內(nèi)容分析模塊結(jié)束對象的跟蹤的時候為止。這種信息存儲在元數(shù)據(jù)數(shù)據(jù)庫的“跟蹤片段”表中。
通過視頻管理服務(wù)器模塊在標(biāo)記跟蹤系統(tǒng)中的存在來決定使用模式其中之一的情況。如果在系統(tǒng)中確實存在 視頻服務(wù)器管理模塊，那么用戶界面通過應(yīng)用程序接口詢問攝像頭內(nèi)在特定時間點識別對象的邊界框。多攝像頭跟蹤器模塊接收這種詢問請求，并以隨后在視頻窗口視圖上層疊的所有邊界框答復(fù)用戶界面，以允許用戶標(biāo)記物體/人。
視頻內(nèi)容分析器26與元數(shù)據(jù)數(shù)據(jù)庫28相連接，并向元數(shù)據(jù)數(shù)據(jù)庫28發(fā)送元數(shù)據(jù)以存儲。各個模塊處理或使用在元數(shù)據(jù)數(shù)據(jù)庫28中存儲的元數(shù)據(jù)以進(jìn)一步識別行為或跟蹤由元數(shù)據(jù)描述的前景對象。
與元數(shù)據(jù)數(shù)據(jù)庫28相耦接的各個模塊包括單攝像頭跟蹤器模塊30、自動拓?fù)鋵W(xué)習(xí)器t旲塊32、多攝像頭跟S示器|旲塊34和攝像頭間顏色標(biāo)準(zhǔn)化t旲塊36、內(nèi)部攝像頭拓?fù)鋵W(xué)習(xí)模塊38、離線多攝像頭跟蹤器模塊40和3D拓?fù)淠K42。應(yīng)用程序接口 44與多攝像頭跟蹤器34相耦接。隨后將在說明書中更詳細(xì)地描述每個模塊的操作。
圖4示出視頻管理服務(wù)器22中處理的視頻圖像數(shù)據(jù)元素50的示意圖示。將這種視頻圖像數(shù)據(jù)元素50從視頻管理服務(wù)器22轉(zhuǎn)移至視頻內(nèi)容分析模塊26，以進(jìn)行內(nèi)容分析。 視頻圖像數(shù)據(jù)元素50包括攝像頭標(biāo)識52、以逐幀為基礎(chǔ)增加的時間戳54以及與時間戳54 和攝像頭標(biāo)識52對應(yīng)的視頻幀的視頻圖像數(shù)據(jù)56。
視頻內(nèi)容分析模塊26在諸如計算機之類的數(shù)據(jù)處理設(shè)備上實現(xiàn)。本領(lǐng)域眾所周知，數(shù)據(jù)處理設(shè)備可以包含多種處理資源，多種處理資源包括處理器模塊、存儲器模塊和其它處理資源并且可以在這樣的處理資源的一種或多種上執(zhí)行數(shù)據(jù)處理。而且，數(shù)據(jù)處理設(shè)備可以分布在不同的物理位置，一些處理資源甚至可以在地理上遠(yuǎn)離其它處理資源。現(xiàn)在將參照如圖5所示的過程流程控制圖90描述視頻內(nèi)容分析模塊26在數(shù)據(jù)處理設(shè)備上的實現(xiàn)。視頻內(nèi)容分析模塊26從視頻管理服務(wù)器接收輸入到對應(yīng)于攝像頭ID52的視頻內(nèi)容分析通道的視頻圖像數(shù)據(jù)元素50。步驟92，視頻內(nèi)容分析模塊26從視頻圖像數(shù)據(jù)元素中提取視頻圖像數(shù)據(jù)56，以獲取新的視頻幀。視頻內(nèi)容分析模塊跟蹤攝像頭視場內(nèi)的對象， 而且可以使用任何合適的跟蹤算法。在步驟94中，在視頻幀中前景對象和背景對象分離的地方開始跟蹤，以及在步驟96中，分割前景對象以將它們彼此分開。可以在參考文獻(xiàn)[I] 中找到分離背景對象和前景對象以及分割前景對象的技術(shù)。
在步驟98中，當(dāng)前景對象在攝像頭視場內(nèi)可見并保持唯一 ID時，應(yīng)用卡爾曼濾波器跟蹤每個前景物體。對于每個前景對象，視頻內(nèi)容分析模塊26對對象應(yīng)用元數(shù)據(jù)生成器過程110以生成作為該對象的描述的對象屬性。參照附圖中的圖6所示的過程流程控制圖將描述元數(shù)據(jù)生成器過程。
步驟112，元數(shù)據(jù)生成器過程110向進(jìn)行元數(shù)據(jù)生成的對象分配對象ID。在步驟 114中，從前景對象分割和對象跟蹤過程的結(jié)合中獲得視頻幀中對象的位置。在步驟116 中，根據(jù)跨越對象的寬度和高度的像素數(shù)量，獲得對象的尺寸。通過建立對象在視頻幀的水平方向上的邊界與在豎直方向上的邊界之間的以像素為單位的最大距離，可以實現(xiàn)對象的寬度和高度的獲取。此外，對象的寬度和高度確定對象的“邊界框”的尺寸，邊界框提供了視頻幀中對象的邊界的簡單的幾何表示。
形成部分元數(shù)據(jù)的另一對象屬性是它的外觀，外觀可以簡單地基于對象的顏色模型。在步驟118中獲得外觀。在描述的實施例中，通過將對象拆分為四個鄰接的水平部分并確定每個部分的原色來獲得對象的顏色。在描述的實施例中，四個鄰接的水平部分是基于分割對象的邊界框。視頻內(nèi)容分析模塊26通過簡單地對部分內(nèi)特定色相的像素數(shù)目進(jìn)行計數(shù)以及指定原色為像素數(shù)目最大的色相來識別原色。四個原色值，其中每部分有一個原色值，形成元數(shù)據(jù)的外觀屬性的顏色模型。
對于描述的實施例，定義了用于分析的兩類感興趣的對象，行人和車輛。通過將對象的形狀和速度與定義行人和車輛形狀的模板數(shù)據(jù)比較并確定是否匹配來獲得對象的分類。在步驟120中獲得對象的分類。在步驟122和步驟124中分別獲得對象的方向和速度。此外，在步驟125中確定跟蹤置信度值。跟蹤置信度值是關(guān)于當(dāng)前分配對象ID的對象是對該對象ID來說正確的對象以及跟蹤(即位置)是該對象的正確跟蹤的置信度。可以使用任何合適的跟蹤技術(shù)或算法來跟蹤對象?？梢栽趨⒖嘉墨I(xiàn)[2]中找到跟蹤對象的技術(shù)的例子。
然后在步驟126中向元數(shù)據(jù)數(shù)據(jù)庫發(fā)送由元數(shù)據(jù)屬性組成的元數(shù)據(jù)記錄。過程流程返回向幀中的下一個對象分配對象ID。在步驟102中，如果不再有對象用于生成，則用于元數(shù)據(jù)記錄的元數(shù)據(jù)發(fā)送至元數(shù)據(jù)數(shù)據(jù)庫28?？蛇x地，在步驟126中，當(dāng)每個元數(shù)據(jù)記錄完成時，可以向元數(shù)據(jù)數(shù)據(jù)庫28發(fā)送元數(shù)據(jù)記錄。
圖7示出了元數(shù)據(jù)記錄60的示意表示。就像視頻圖像數(shù)據(jù)元素而言，提供了攝像頭標(biāo)識62和時間戳64。此外,元數(shù)據(jù)記錄60包括元數(shù)據(jù)66。在描述的實施例中，元數(shù)據(jù)包括以下屬性，對象ID68、外觀70、位置72、尺寸74、分類76、速度78和跟蹤置信度值79。根據(jù)本發(fā)明各方面的實施例不需要包括如前述的所有元數(shù)據(jù)屬性，或者可以包括其它屬性。
在描述的實施例中，元數(shù)據(jù)數(shù)據(jù)庫28是關(guān)系數(shù)據(jù)庫，并且圖8示出存儲在元數(shù)據(jù)數(shù)據(jù)庫28的數(shù)據(jù)的實體關(guān)系(E-R)表。元數(shù)據(jù)數(shù)據(jù)庫28包括一些包含相關(guān)數(shù)據(jù)的表。對于完全理解本發(fā)明而言，并非表中的所有元素都需要描述，僅詳細(xì)描述了那些與本發(fā)明相關(guān)的。如稍后描述的，元數(shù)據(jù)數(shù)據(jù)庫28中的表和它們的條目將和在元數(shù)據(jù)數(shù)據(jù)庫28上運行并與其關(guān)聯(lián)的功能有關(guān)系。
與每個攝像頭相關(guān)的數(shù)據(jù)保留在表82中，其以攝像頭ID為鍵值，并且包括與攝像頭相關(guān)的信息，諸如攝像頭位置的文本描述、攝像頭圖像的寬度和高度方面的攝像頭圖像維數(shù)、如3D校準(zhǔn)細(xì)節(jié)之類的元數(shù)據(jù)和關(guān)于攝像頭的其他信息。觀察結(jié)果表84包括與元數(shù)據(jù)記錄60的元數(shù)據(jù)對應(yīng)的條目。例如，邊界框“bbox”條目基于對象的尺寸74和位置·72， 同時，“外觀”條目基于元數(shù)據(jù)記錄的顏色模型條目70，以及“目標(biāo)分類(target_claSS)”條目基于元數(shù)據(jù)記錄中的類條目76。置信度條目和跟蹤置信度(track_conf)條目響應(yīng)于60 的元數(shù)據(jù)記錄元素的置信度值79。將描述與在元數(shù)據(jù)數(shù)據(jù)庫28上運行和填充元數(shù)據(jù)數(shù)據(jù)庫28功能相關(guān)的其它表中的條目。
現(xiàn)在參照圖9，示出單攝像頭跟蹤器模塊30的過程流程控制圖160。單攝像頭跟蹤器模塊30處理元數(shù)據(jù)數(shù)據(jù)庫28中的數(shù)據(jù)，也就是觀察結(jié)果表84，并以其運行的結(jié)果填充該數(shù)據(jù)庫中的表。概括來說，單攝像頭跟蹤器模塊30的作用是根據(jù)“跟蹤片段”定義視場中的對象的跟蹤。跟蹤片段具有對應(yīng)于與跟蹤片段相關(guān)的對象ID的標(biāo)識。跟蹤片段由視場內(nèi)對象采用的路徑的關(guān)鍵參數(shù)進(jìn)行定義，也就是對象進(jìn)入和離開該視場的地點和時間?！案櫰巍倍x了視場內(nèi)的對象的行為。定義跟蹤片段的數(shù)據(jù)存儲在“跟蹤片段”表90中。這樣，視場中對象的行為可以通過單屬性來描述，也就是跟蹤片段，從而減少描述視場中對象行為的數(shù)據(jù)量。也就是說，當(dāng)希望確定視場中對象的行為時，不必要分析對象所有的元數(shù)據(jù)屬性，而且不必要在每次分析對象的行為時分析視頻圖像數(shù)據(jù)。
跟蹤片段的創(chuàng)建包括在視頻內(nèi)容分析模塊中對所有攝像頭內(nèi)被跟蹤對象的編索引過程。這種索引機制可以提供標(biāo)記跟蹤期間對對象的快速搜索，也可以被其它模塊使用， 所述其他模塊也可以與元數(shù)據(jù)數(shù)據(jù)庫相連接。
單攝像頭跟蹤器模塊30過程在步驟162開始，其中選擇將要分析的下一視場內(nèi)的攝像頭ID。然后在步驟164中選擇將要分析的下一個對象ID，對于初始分析將是視場內(nèi)識別的第一個對象ID。在步驟166中，確定所分析的對象ID的首次出現(xiàn)，并在步驟168中使用與視場中對象的首次出現(xiàn)對應(yīng)的邊界框參數(shù)填充表90中的條目“起始bb (start_bb)”。 邊界框參數(shù)為邊界框的位置和尺寸。此外，在步驟170中將與視場內(nèi)對象的首次出現(xiàn)對應(yīng)的時間存儲在表90的“起始幀(start_frame)”字段。
步驟172,分析下一巾貞來看是否下一巾貞存在相同的對象ID。步驟174,如果是,貝Ij分析轉(zhuǎn)到下一幀。步驟176，如果下一幀中不存在該對象ID，那么確定前一幀為包含該對象的最后出現(xiàn)。步驟178和步驟180，分別在表90中將邊界框參數(shù)和時間存儲為“終止bb(end_ bb)”條目和“終止幀(encLframe)”條目。此時，步驟182，單攝像頭跟蹤器通過創(chuàng)建四個片段中的每個片段所觀察到的顏色的直方圖，創(chuàng)建對象外觀的概要信息，并將其存儲在“最優(yōu)描述(best_descriptions)”表86中。然后單攝像頭跟蹤器模塊過程110返回步驟164,用于幀中下一對象ID。一旦已經(jīng)分析了攝像頭識別的所有對象，單攝像頭跟蹤器模塊過程返回步驟162，現(xiàn)在在單攝像頭跟蹤器中選擇下一個攝像頭標(biāo)識，對下一攝像頭ID的視場進(jìn)行處理。
單攝像頭跟蹤器的這部分功能也可以實現(xiàn)為內(nèi)聯(lián)過程，這種內(nèi)聯(lián)過程在將元數(shù)據(jù)存儲在元數(shù)據(jù)數(shù)據(jù)庫之前對由VCA模塊生成的元數(shù)據(jù)進(jìn)行處理。這減少了與數(shù)據(jù)庫的交互，并僅以提高效率的“跟蹤片段”的形式報告摘要元數(shù)據(jù)。這種方法中將不使用觀察結(jié)果表。創(chuàng)建跟蹤片段的過程完全相同，差別是觀察結(jié)果數(shù)據(jù)在存儲器中積累并在跟蹤結(jié)束時停止。
在單攝像頭跟蹤器的實施例中，一旦在場景中觀察到對象就可以創(chuàng)建跟蹤片段。 計算起點和終點并通過計算或其它方式獲得外觀描述。隨著該對象的新的觀察結(jié)果實時地變得可用，從而相應(yīng)地更新終點和觀察模型。這都可以在跟蹤片段表中完成。
單攝像頭跟蹤器模塊30作為后臺過程在元數(shù)據(jù)數(shù)據(jù)庫28上運行。一旦確定特定跟蹤片段ID的跟蹤片段，就將表84中的“set完成(Sct_d0ne)”字段設(shè)置為真標(biāo)志，以便不再對該對象ID的跟蹤數(shù)據(jù)進(jìn)行進(jìn)一步分析。
單攝像頭跟蹤器模塊過程也可以校正視頻內(nèi)容分析模塊26的結(jié)果中的誤差，例如由于兩個對象一起出現(xiàn)然后在視場內(nèi)分開，給對象錯誤地分配了對象標(biāo)識。單攝像頭跟蹤器模塊30可以使用與相關(guān)對象ID和幀號對應(yīng)的元數(shù)據(jù)記錄60的速度參數(shù)，以確定跟蹤片段中的方向的任何突然變化。這種方向的突然變化可能表明對象的錯誤識別，單攝像頭跟蹤器模塊30可以被配置為向目前為止其方位與該跟蹤確定的速度更符合的對象重新分配對象ID。
單攝像頭跟蹤器模塊也可以負(fù)責(zé)元數(shù)據(jù)數(shù)據(jù)庫的運行穩(wěn)定性。因為如標(biāo)記跟蹤之類的系統(tǒng)中元數(shù)據(jù)的吞吐量非常高，因此需要數(shù)天甚至數(shù)月地維護(hù)元數(shù)據(jù)數(shù)據(jù)庫的運行穩(wěn)定性。為了獲得整個系統(tǒng)的空間和計算效率，每隔一段時間單攝像頭跟蹤器分析“觀察結(jié)果”表和“跟蹤片段”表中的元數(shù)據(jù)，以查找無意義的數(shù)據(jù)并刪除它，以便獲取總體系統(tǒng)的空間和計算效率增益。
間隔的頻率可以由用戶定義,例如,可以是每10秒、每10分鐘、每10小時或每10天?？梢愿鶕?jù)情況或應(yīng)用定義該頻率。
在單攝像頭跟蹤器的網(wǎng)絡(luò)中，即一批單攝像頭跟蹤器，因為一些攝像頭可以比其它攝像頭具有更高的吞吐量，所以可以對每個單攝像頭跟蹤器單獨地定義該頻率。
查找無意義的元數(shù)據(jù)的過程包括使用單攝像頭跟蹤器內(nèi)一些預(yù)配置參數(shù)。這種參數(shù)包括一旦使用了 “觀察結(jié)果”表中的元數(shù)據(jù)記錄生成“跟蹤片段”就刪除該元數(shù)據(jù)記錄以及刪除比最短持續(xù)時間更短的“跟蹤片段”。
因為單攝像頭跟蹤器模塊30作為持續(xù)的后臺進(jìn)程運行，所以很可能確定的跟蹤片段完全是最新狀態(tài)的，既然會在歸檔數(shù)據(jù)上運行該過程，因此盡管不是最新的也沒關(guān)系。 然而，在元數(shù)據(jù)數(shù)據(jù)庫28內(nèi)將存在顯著大量的跟蹤片段。單攝像頭跟蹤器模塊處理與網(wǎng)絡(luò)中的每個攝像頭對應(yīng)的每個視場。此外，單攝像頭跟蹤器模塊可以跟蹤視場中的不止一個對象，每個對象具有自己的ID。
自動拓?fù)鋵W(xué)習(xí)器模塊32的操作使用跟蹤片段表90中的信息，以獲得每個視場的入口區(qū)和出口區(qū)。入口區(qū)或出口區(qū)是視場中邊界框通常第一次或最后一次出現(xiàn)的區(qū)域，將對應(yīng)于每個視場中視頻內(nèi)容分析模塊所跟蹤的每個對象的起點和終點的視場區(qū)域。單攝像頭跟蹤器模塊將使用觀察結(jié)果表84中的條目以獲得跟蹤片段表84的起始bb條目和終止 bb條目，而且通常入口區(qū)和出口區(qū)將包含起始bb條目和終止bb條目的位置值。
參照圖10所示的過程流程控制圖140，步驟144，對于每個攝像頭ID，即攝像頭視場，對表90中的每個跟蹤片段的每個起點條目起始bb應(yīng)用聚類算法，例如最大期望算法， 以識別視場內(nèi)的主要入口區(qū)。步驟146，對攝像頭ID的跟蹤片段表90中的終止bb條目應(yīng)用類似的過程，以識別每個攝像頭視場中的主要出口區(qū)。步驟148和150，將入口區(qū)和出口區(qū)保存在區(qū)表94中，并在步驟152和154中，對每個建模，例如圖像平面的2D高斯分布，并連同它們的標(biāo)準(zhǔn)偏差存儲在標(biāo)準(zhǔn)偏差(std_deviation)條目中。將2D質(zhì)心，即中心，也連同與區(qū)域尺寸(協(xié)方差)相關(guān)的統(tǒng)計信息以及區(qū)域類型(zone_type)，即入口區(qū)或出口區(qū)一起存儲。標(biāo)準(zhǔn)偏差定義了跟蹤可能開始或離開的攝像頭視場區(qū)域。圖11示出了城市攝像頭網(wǎng)絡(luò)中識別的主要入口區(qū)和出口區(qū)。實線圓圈表示出口區(qū)，虛線圓圈表示入口區(qū)?？梢詫A圈著色編碼以表示出口區(qū)和入口區(qū)。
由于每個跟蹤片段具有相應(yīng)的起始時間和終止時間(表90中的起始幀和終止幀)， 因此可以確定一個攝像頭視場中的出口區(qū)域和另一攝像頭視場中的入口區(qū)域之間的空間聯(lián)系。通過確定最符合跟蹤片段數(shù)據(jù)的空間約束和時間約束的過渡時間模型，可以發(fā)現(xiàn)該空間聯(lián)系。通常，過渡時間模型將基于出口區(qū)和入口區(qū)之間的空間距離以及對應(yīng)于跟蹤片段的對象的速度?；趯?yīng)于跟蹤片段的對象的速度，應(yīng)用適當(dāng)?shù)慕y(tǒng)計分布以提供出口區(qū)和入口區(qū)之間的過渡時間的分布。利用直方圖，以預(yù)定義的范圍和二進(jìn)制大小對觀察到的過渡時間的分布進(jìn)行建模。二進(jìn)制大小以秒定義過渡時間的粒度，而且也影響允許范圍內(nèi)的二進(jìn)制數(shù)目。選擇統(tǒng)計結(jié)果最多的二進(jìn)制作為入口區(qū)-出口區(qū)聯(lián)系的過渡時間，并基于觀察到的最大的過渡時間計算該過渡時間的標(biāo)準(zhǔn)偏差。將各對入口區(qū)和出口區(qū)之間的關(guān)系存儲在拓?fù)浔?6中，該拓?fù)浔戆ǜ鲗θ肟趨^(qū)和出口區(qū)之間的過渡時間的標(biāo)準(zhǔn)偏差。為了避免在估計過渡時間中使用異常數(shù)據(jù)，可以在過渡時間估計過程中使用至少一個濾波器。 這種濾波器可以包括外觀或預(yù)定義時間窗口的使用。
圖12示出在空間相鄰的兩個攝像頭之間生成的過渡時間聯(lián)系的例子。實線圓圈表示一個攝像頭的出口區(qū) ，虛線圓圈表示相鄰的攝像頭的關(guān)聯(lián)入口區(qū)。在攝像頭視場中示出估計的入口區(qū)的過渡時間。例如，對過渡時間建立如1-D高斯分布的模型，但也可以使用其它統(tǒng)計分布建模。
也可以從攝像頭網(wǎng)絡(luò)環(huán)境的仿真獲得過渡時間的分布。
自動拓?fù)鋵W(xué)習(xí)器模塊32不需要作為后臺進(jìn)程運行，而是在網(wǎng)絡(luò)拓?fù)湫枰聲r運行。為了解決攝像頭網(wǎng)絡(luò)內(nèi)的隊列或多孔路線的情況，其中在這種情況下過渡時間變得可變從而使得觀察到的最大的過渡時間因素不可用，使用多重模態(tài)高斯分布采集一些觀察到的最大的過渡時間。在這種場景中使用的另一方法是及時估計人/物體在隊列中停留的時間并在拓?fù)浔碇写鎯^渡時間。
在參考文獻(xiàn)[3]中對攝像頭視場之間的過渡可以如何建模提供了更詳細(xì)的描述。
圖13示出了自動拓?fù)鋵W(xué)習(xí)模塊32創(chuàng)建的網(wǎng)絡(luò)拓?fù)涞氖疽鈭D。示出的網(wǎng)絡(luò)包括多個節(jié)點，其為不同攝像頭視場的出口或者入口、或者結(jié)合的出口區(qū)和入口區(qū)。節(jié)點之間的連線表示可能的過渡，且過渡時間由“0ΤΕ”表示，其中“O”是該過渡的起始節(jié)點號，“E”是過渡的終止節(jié)點號。過渡時間包括通過定義時間分布窗口以及對象而可能在出口區(qū)和入口區(qū)之間得到的過渡的標(biāo)準(zhǔn)偏差值。
多攝像頭跟蹤器模塊與元數(shù)據(jù)數(shù)據(jù)庫和應(yīng)用程序接口相連接。多攝像頭跟蹤器接收來自用戶界面的請求，并分析元數(shù)據(jù)數(shù)據(jù)庫中的元數(shù)據(jù)以生成被標(biāo)記的人/物體的跟蹤結(jié)果。然后通過應(yīng)用程序接口向用戶界面發(fā)送結(jié)果。多攝像頭跟蹤器使用作為跟蹤片段存儲的編有索引的元數(shù)據(jù)，并調(diào)用一些并行處理技術(shù)，以在跟蹤過程中快速搜索人/物體。元數(shù)據(jù)數(shù)據(jù)庫存儲一些程序/方法以進(jìn)行跟蹤，多攝像頭跟蹤器在標(biāo)記跟蹤期間執(zhí)行這些程序以生成跟蹤結(jié)果。跟蹤過程涉及使用包含在“區(qū)”和“拓?fù)洹北碇械臄z像頭拓?fù)湫畔ⅰ?br> 在實施例中，多攝像頭跟蹤器中執(zhí)行的跟蹤過程可以是雙向的，一個是正向以及另一個是反向。在一些標(biāo)記的例子中，可以假設(shè)人/物體已經(jīng)從另一攝像頭進(jìn)入被標(biāo)記攝像頭的視場并且已經(jīng)發(fā)生過渡。相同概念的已過去的過渡可以重復(fù)地用于假設(shè)人/物體在過去已經(jīng)完成幾次過渡以及假設(shè)已存在人/物體將進(jìn)入攝像頭網(wǎng)絡(luò)的起點。多攝像頭跟蹤器的反向跟蹤的目的是及時反向計算候選跟蹤片段，直到計算期間沒有可用的結(jié)果或達(dá)到最大數(shù)量的過渡的時候為止。相反地，正向跟蹤過程目的是查找所有作為過渡并且總是隨著時間增加的候選跟蹤片段。當(dāng)標(biāo)記跟蹤系統(tǒng)以歸檔模式運行時，即參照對象的標(biāo)記時間， 如果正向和反向的元數(shù)據(jù)都及時得到，將計算正向和反向跟蹤結(jié)果并提供給用戶界面。在實時運行模式中，即參照對象的標(biāo)記時間，由于得不到人/物體未來過渡到其它攝像頭的元數(shù)據(jù)，將僅得到反向跟蹤結(jié)果。
從節(jié)點El開始，多攝像頭跟蹤器模塊34可以通過應(yīng)用程序接口 44接收請求，該請求用于請求跟蹤攝像頭的攝像頭視場內(nèi)的對象，在該攝像頭視場內(nèi)節(jié)點El是出口區(qū)。多攝像頭模塊34分析元數(shù)據(jù)數(shù)據(jù)庫28中的數(shù)據(jù)以識別在其它視場的跟蹤片段中哪個在從節(jié)點El的入口區(qū)/出口區(qū)過渡的過渡時間窗口內(nèi)具有起始幀。在圖1中，這些是從節(jié)點El 至節(jié)點S2、S3和S4的過渡。在建立了滿足與被跟蹤對象的空 間和時間約束對應(yīng)的候選跟蹤片段之后，多攝像頭跟蹤器模塊34將與每個候選跟蹤片段對應(yīng)的對象相關(guān)的屬性與被跟蹤對象的屬性進(jìn)行比較。在一個實施例中，多攝像頭跟蹤器的跟蹤過程是三個步驟的過程。第一步驟是根據(jù)在拓?fù)渎?lián)系的拓?fù)浔碇写鎯Φ倪^渡時間，查找滿足拓?fù)渎?lián)系的候選跟蹤片段的列表，該拓?fù)渎?lián)系涉及一個攝像頭的出口區(qū)和最接近的攝像頭內(nèi)的入口區(qū)。為了解釋，此處考慮了正向跟蹤階段。
在跟蹤階段，要計算合適的度量，例如被標(biāo)記跟蹤片段的終止bb與所有可得到的出口區(qū)協(xié)方差之間的馬氏距離(MD_EXIT)。所有預(yù)定義的從被標(biāo)記攝像頭的出口區(qū)進(jìn)入其它攝像頭入口區(qū)的拓?fù)渎?lián)系可以被看作被標(biāo)記跟蹤片段的可能的過渡聯(lián)系。
一旦計算了過渡聯(lián)系的名單，所有在過渡聯(lián)系中開始的跟蹤片段就被看作可能的候選跟蹤過渡片段，該過渡聯(lián)系在相應(yīng)的拓?fù)渎?lián)系中落入多個過渡時間標(biāo)準(zhǔn)偏差的范圍內(nèi)。一旦生成這種過渡跟蹤片段列表，就計算在每個跟蹤片段的起始bb與過渡的攝像頭中所有現(xiàn)有的入口區(qū)之間的馬氏距離(MD_ENTRY)。此外在這個階段，僅考慮與被標(biāo)記對象屬于相同對象分類的跟蹤片段。
第二階段包括對第一階段中計算的跟蹤片段的MD_EXIT值和MD_ENTRY值應(yīng)用預(yù)定義的閾值。這將過濾掉根本不接近被標(biāo)記攝像頭出口區(qū)或者過渡的攝像頭入口區(qū)的跟蹤片段。計算并存儲統(tǒng)一的分?jǐn)?shù)(MD_TL)，該分?jǐn)?shù)用于識別候選跟蹤片段與拓?fù)渎?lián)系的空間和時間關(guān)系?；贛D_TL對列表中所有這樣的跟蹤片段按照降序存儲，且該列表中僅預(yù)定義數(shù)目的跟蹤片段轉(zhuǎn)到第三階段。
跟蹤過程的第三階段涉及基于外觀匹配分?jǐn)?shù)計算外觀匹配和排序。將最優(yōu)描述表中存儲的被標(biāo)記跟蹤片段的每部分的外觀直方圖與來自第二階段的候選跟蹤片段的相應(yīng)部分的直方圖進(jìn)行匹配，而且該過程包括合適的度量的計算，例如值總是在O和I之間的巴氏距離(Bhattacharya distance)。
對全部四部分評估的巴氏距離分?jǐn)?shù)進(jìn)行平均，以推導(dǎo)出外觀匹配階段中最終的似然分?jǐn)?shù)。一旦得到所有候選跟蹤片段的這種分?jǐn)?shù)，就基于最終的似然分?jǐn)?shù)對列表按照降序進(jìn)行分類。在這個過程的最后，因為在列表頂部的跟蹤片段具有最高的分?jǐn)?shù)而且進(jìn)一步沿著列表往下置信度減小，因此它將是最可能與被標(biāo)記跟蹤片段最佳匹配的那個。
例如，可以比較外觀和/或?qū)ο蟮某叽?，并且可能地，比較其分類?；趯?yīng)程度， 確定如似然結(jié)果或概率分?jǐn)?shù)之類的分?jǐn)?shù)，該分?jǐn)?shù)反映候選跟蹤片段中的對象是想要跟蹤的對象的似然性。
對于基于上述過程評估的每個排列的候選跟蹤片段，應(yīng)用再次重復(fù)的跟蹤過程來計算下一個緊跟的過渡。重復(fù)這個過程直到達(dá)到從被標(biāo)記攝像頭的過渡的最大數(shù)目或者由于不存在元數(shù)據(jù)而不能計算進(jìn)一步的過渡為止。例如，基于候選跟蹤片段的似然分?jǐn)?shù)或概率分?jǐn)?shù)，將預(yù)定義數(shù)目的最高得分的過渡確定為最終候選過渡。正如上面討論的，這樣計算的跟蹤結(jié)果形成樹結(jié)構(gòu)，并發(fā)送到嵌入在合適的數(shù)據(jù)結(jié)構(gòu)中的用戶界面。
提供了顯示網(wǎng)絡(luò)拓?fù)涞挠脩艚缑?，例如，使用圖1的地圖以及在該地圖上繪制的過渡。然后，系統(tǒng)用戶可以打開在最終候選過渡列表中的每個入口區(qū)的相應(yīng)視頻以可視化地檢查視頻中的對象。用戶可 以確認(rèn)攝像頭視場之一中的對象以確定哪個過渡是正確的。 通過響應(yīng)用戶對過渡的確認(rèn)，更新顯示，以僅示出該過渡以及從被確認(rèn)的入口節(jié)點起多達(dá)四條的候選路線。參照圖13，如果被確認(rèn)的過渡是從El至S2，那么連同從S2起的候選路線一起顯示El和S2之間的聯(lián)系。對每個被跟蹤對象可能離開的節(jié)點重復(fù)該過程，以便可以在網(wǎng)絡(luò)中跟蹤對象直到它離開該網(wǎng)絡(luò)。
在用戶界面上的操作可以指操作人員對由多攝像頭跟蹤器生成的正向跟蹤結(jié)果執(zhí)行的可視化檢查和確認(rèn)/拒絕階段。
操作人員可以使用反向時間表對反向跟蹤結(jié)果執(zhí)行類似的操作，并且在這個過程的最后，操作人員將得到被標(biāo)記的人/物體采用的完整路線。在用戶界面中包含生成可讀格式的報告的手段，該報告具有對應(yīng)于個別蹤跡的圖片或者相關(guān)視頻片段，并為了可作證據(jù)的目的進(jìn)一步地進(jìn)行存儲。
多攝像頭跟蹤器模塊34處理的元數(shù)據(jù)與存儲的視頻相關(guān)，即過去的事件。因此， 多攝像頭跟蹤器模塊34可以被配置為識別與被標(biāo)記對象進(jìn)入節(jié)點El對應(yīng)的過渡。這樣， 可以識別和驗證被標(biāo)記對象的正向和反向候選路線。因此，用戶可以選擇視頻來觀看，以便他們可以觀察到被跟蹤對象在他們被標(biāo)記的節(jié)點的正向和反向上的行為。
值得注意地，通過分析在元數(shù)據(jù)數(shù)據(jù)庫28中存儲的元數(shù)據(jù)屬性而不是視頻圖像數(shù)據(jù)本身，來實現(xiàn)網(wǎng)絡(luò)中對象的標(biāo)記和跟蹤，以及建立候選跟蹤的置信度值等等。因此，有數(shù)據(jù)處理較少且能夠?qū)崿F(xiàn)實時的標(biāo)記和跟蹤。
根據(jù)本發(fā)明實施例的另一方面，提供了與發(fā)明的實施例中的應(yīng)用程序接口 42相連接的標(biāo)記跟蹤圖形用戶界面模塊。圖14示出包括標(biāo)記跟蹤圖像用戶界面模塊206的系統(tǒng)。圖形用戶界面模塊206驅(qū)動顯示器200，顯示器200包括地圖屏幕202和視頻屏幕204。 在控制中心203，為了用戶的使用，在各自的顯示設(shè)備上安裝有這樣的顯示器200。
地圖屏幕202顯示由視頻監(jiān)控網(wǎng)絡(luò)覆蓋的地區(qū)的地圖，以及視頻屏幕204顯示用戶在屏幕202上選擇的攝像頭的場景的視頻圖像。
標(biāo)記跟蹤圖形用戶界面模塊被配置為向用戶提供在視頻場景中標(biāo)記感興趣的對象的工具，提供對象可能在監(jiān)控地區(qū)采用的路線的可視化表示形式，并實時更新被標(biāo)記對象采用的路線的顯示。
圖14是在用戶調(diào)用標(biāo)記跟蹤用戶界面模塊206之后的顯示器200的示意圖。地圖屏幕202將監(jiān)控地區(qū)的地圖上在監(jiān)控網(wǎng)絡(luò)中的攝像頭位置顯示為一系列節(jié)點N1-N12。顯示了用戶可啟動的開始標(biāo)記跟蹤按鈕302以及結(jié)束標(biāo)記跟蹤按鈕304，當(dāng)激活時它們引起標(biāo)記跟蹤用戶界面模塊206分別開始和結(jié)束對被選擇對象的標(biāo)記和跟蹤。
視頻顯示屏幕204顯示對應(yīng)于被選擇的攝像頭節(jié)點N1-N12的視頻場景。當(dāng)首次調(diào)用標(biāo)記跟蹤用戶界面模塊206時，視頻場景可以是默認(rèn)的攝像頭視場，或者可以向用戶提供提示選擇攝像頭的屏幕信息。在屏幕204上顯示的視頻場景內(nèi)是一些對象310、312和 314。每個對象具有圍繞其畫的邊界框，邊界框用于識別該對象是已經(jīng)由視頻內(nèi)容分析模塊 26分析的對象。此外，在屏幕底部顯示有工具欄316。工具欄316包括時間線318，時間線 318包括指示被顯示的視頻的時間戳的時間指針。也顯示了用戶可啟動的定位按鈕320，當(dāng)激活該按鈕時請求顯示日歷，用戶可以從日歷中選擇要顯示的視頻場景的特定日期。此外， 為了用戶控制視頻場景的播放，提供了用戶可啟動的播放按鈕322和暫停按鈕224。顯示了時間滑塊328，可以在光標(biāo)控制下移動時間滑塊328。通過響應(yīng)光標(biāo)在時間滑塊328上的定位，標(biāo)記跟蹤用戶界面模塊206以與光標(biāo)在滑塊上的位置相關(guān)的速度從視頻服務(wù)器22請求相應(yīng)的視頻。這將允許用戶以不同速度播放視頻以加速視頻導(dǎo)航過程。
可以為用戶提供如計算機鼠標(biāo)的指示設(shè)備，以控制在顯示屏幕202和204上的光標(biāo)?？蛇x地，它們中的一個或多個可以是觸摸感應(yīng)的。為了標(biāo)記對象，例如通過在其上移動光標(biāo)并按壓鼠標(biāo)控制器上的按鈕，或者如果是觸摸感應(yīng)的，通過簡單地觸摸顯示屏幕，用戶選擇在 顯示屏幕204上顯示的對象之一。時間線包括書簽326和327，書簽326和327分別指示被標(biāo)記對象進(jìn)入和離開對應(yīng)于顯示場景的攝像頭視場的時間。
現(xiàn)在轉(zhuǎn)向圖15，是在標(biāo)記了對象312之后的顯示器200的圖示。突出了被標(biāo)記對象 312。
更新顯示屏幕202以示出對象312在監(jiān)控網(wǎng)絡(luò)中的攝像頭視場(圖15中的NI)的正向和反向可能采用的可能路線，用戶在該攝像頭視場內(nèi)標(biāo)記該對象。在描述的實施例中， 顯示了攝像頭節(jié)點之間在各自的正向和反向的多達(dá)四次的過渡。突出對應(yīng)于視頻場景列表的攝像頭位置節(jié)點NS，在示出的圖中包括點線圓圈和實線圓圈。在示出的圖中，通過單實線同心環(huán)突出對應(yīng)于將對象標(biāo)記的攝像頭位置的節(jié)點NI，同時通過點劃線圓環(huán)和實線外環(huán)突出所顯示的路線的末端，N14。顯示從節(jié)點N8穿過至節(jié)點N14的路線,該路線以實線表示, 表明標(biāo)記跟蹤系統(tǒng)已經(jīng)確定這是被標(biāo)記對象312的最高概率的路線。較低概率的路線可以通過點線指示，例如，可以包括被標(biāo)記對象312在進(jìn)入節(jié)點NI之前來自節(jié)點Nll的可能性, 以及對象可能離開節(jié)點NI轉(zhuǎn)到節(jié)點N3的可能性。
用戶可以選擇與所顯示的路線上的節(jié)點之一對應(yīng)的攝像頭位置，以便確認(rèn)被標(biāo)記對象是否出現(xiàn)在與該節(jié)點的攝像頭位置視場對應(yīng)的場景中。通常，用戶將選擇實線上的攝像頭位置節(jié)點，因為這是最可能的路線。
圖16示出在用戶選擇對應(yīng)于節(jié)點N9的攝像頭位置之后的顯示器200。視頻屏幕 204顯示與節(jié)點N9處的攝像頭視場對應(yīng)的視頻場景。在示出的例子中，在視頻場景中有四個對象，350、352、354和356。突出視頻內(nèi)容分析模塊26認(rèn)為與用戶標(biāo)記的對象對應(yīng)的對象，在示出的例子中其為對象356。
時間線316顯示了六個書簽，其中三個，358、360、362，對應(yīng)于對象進(jìn)入視場的時間，該時間處于來自與節(jié)點NI對應(yīng)的攝像頭視場的對象的過渡時間窗口內(nèi)。剩余的三個書簽，364、366和368，對應(yīng)于對象從視場中離開的時間。也將突出與被突出的對象對應(yīng)的書簽，362和364。書簽對應(yīng)于跟蹤片段表90中的跟蹤片段起始幀條目和終止幀條目。
基于標(biāo)記跟蹤系統(tǒng)對存儲在元數(shù)據(jù)數(shù)據(jù)庫28中的元數(shù)據(jù)的分析，已經(jīng)更新地圖屏幕202以指示當(dāng)前選擇的攝像頭位置，N9，也指示進(jìn)入該攝像頭位置和來自該攝像頭位置的可能路線?？梢詮氖境龅睦又锌闯觯嗤穆肪€被認(rèn)為是最可能的路線。
用戶可以調(diào)用確認(rèn)/拒絕顯示，例如通過將光標(biāo)移動到與當(dāng)前顯示的攝像頭視場的場景對應(yīng)的所突出的節(jié)點上并點擊?？梢岳闷渌脩裘钫{(diào)用確認(rèn)/拒絕顯示。圖17 示出與之前的顯示保持不變的攝像頭地圖和視頻顯示器204，視頻顯示器204現(xiàn)在顯示三個用戶可啟動的按鈕，接受370、拒絕372和下一個374。例如對象理應(yīng)看起來相同，通過點擊接受按鈕370，用戶可以確認(rèn)對象356確實對應(yīng)于被標(biāo)記對象?？蛇x地，用戶可以通過啟動拒絕按鈕372拒絕所突出的對象。通過啟動下一個按鈕374，用戶可以突出在視頻屏幕 200上顯示的另一對象,并確認(rèn)或拒絕它們對應(yīng)于被標(biāo)記的對象。
如果用戶點擊拒絕按鈕以及有候選跟蹤片段可用于現(xiàn)有的過渡，那么在地圖屏幕和確認(rèn)/拒絕顯示中都顯示/突出下一最佳匹配的跟蹤片段。
可替代地，如果沒有候選跟蹤片段可用于現(xiàn)有的過渡，那么向多攝像頭跟蹤器發(fā)送請求，以丟棄當(dāng)前結(jié)果(對象的跟蹤)，并可以調(diào)用生成更多結(jié)果的跟蹤過程。
如果進(jìn)一步調(diào)用跟蹤過程，那么跟蹤過程將為過渡時間設(shè)置更高的標(biāo)準(zhǔn)偏差以包括再次呈現(xiàn)給用戶的更多候選跟蹤片段。此外，存在非標(biāo)記按鈕，用戶可以使用該按鈕在結(jié)果確認(rèn)/拒絕階段糾正錯誤。在用戶由于對正確結(jié)果錯誤地點擊拒絕按鈕而犯錯的情況下以及反過來的情況，他可以點擊非標(biāo)記按鈕將結(jié)果狀態(tài)改為中性狀態(tài)，在這之后，他可以采取正確的行動。非標(biāo)記操作不依賴于對結(jié)果做出錯誤決定的時間，但限于跟蹤期間。
雖然參照存儲的視頻并因此及時產(chǎn)生從所選擇的攝像頭位置節(jié)點起的可能路線已經(jīng)描述了根據(jù)本發(fā)明的實施例，但系統(tǒng)可以被配置為提供可能路線的實時顯示。例如，多攝像頭跟蹤器模塊34持續(xù)地運行，因此可以使用與標(biāo)記跟蹤用戶界面模塊206執(zhí)行的標(biāo)記跟蹤操作相關(guān)的新信息更新元數(shù)據(jù)數(shù)據(jù)庫28。因此，對于屏幕202的下一次更新，使用新的元數(shù)據(jù)以提供更新后的顯示來顯示可能的被標(biāo)記對象可能在視頻監(jiān)控網(wǎng)絡(luò)內(nèi)中哪個地方。
在攝像頭網(wǎng)絡(luò)中，很可能每個攝像頭具有不同的顏色信號。這可能緣于制造差異、 不同部件的使用或者攝像頭之間極可能不同的照明條件。內(nèi)部顏色標(biāo)準(zhǔn)化模塊36以根據(jù)攝像頭拓?fù)湫畔⒙?lián)系的成對為基礎(chǔ)，使用現(xiàn)有的攝像頭的元數(shù)據(jù)在攝像頭之間變換顏色， 并自動地推斷出跟蹤過程中執(zhí)行顏色標(biāo)準(zhǔn)化所需的信息。
可以容易地了解攝像頭內(nèi)的對象的行為也是需要的，并且內(nèi)部攝像頭策略模塊38 確定攝像頭視場內(nèi)的對象的行為。 例如，它可以確定對象進(jìn)入和離開視場的地方以及在視場內(nèi)它們做什么。對于在另一攝像頭的視場內(nèi)沒有相應(yīng)的入口區(qū)和出口區(qū)來說，在視場內(nèi)什么地方有入口區(qū)和出口區(qū)是重要的,例如相同的視場內(nèi)的商店的什么地方有入口點和出口點。
多攝像頭跟蹤可以作為后臺功能持續(xù)地執(zhí)行，以便在沒有用戶首先標(biāo)記對象時對對象進(jìn)行標(biāo)記和跟蹤。離線多攝像頭跟蹤器40執(zhí)行這個功能，該功能能夠提供建立被標(biāo)記路線的速度和準(zhǔn)確性。離線多攝像頭跟蹤器40創(chuàng)建與屬于單個對象的跟蹤片段關(guān)聯(lián)的個別表。
3DT模塊42應(yīng)對攝像頭重疊且必須3維校準(zhǔn)的環(huán)境，從而基于3維幾何學(xué)，建立并識別不同攝像頭視場的跟蹤為相同的對象。這個模塊分析跟蹤片段表，使用每個攝像頭的已知的3D校準(zhǔn)以將這些跟蹤片段投影到地面上，從而對比個別跟蹤片段以識別一些情況， 在這些情況中這種跟蹤片段表示從具有重疊視場的兩個或更多攝像頭看到的相同個體。當(dāng)識別出這樣的跟蹤片段時，將匹配的跟蹤片段對存儲在跟蹤片段匹配表中。多攝像頭跟蹤器將使用該信息來關(guān)聯(lián)具有3D校準(zhǔn)信息的重疊的攝像頭之間的跟蹤片段。
正如此處使用的，對“一個實施例”或者“實施例”的任何提及，意味著所描述的與實施例相關(guān)的具體的元素、特征、結(jié)構(gòu)或特點包括在至少一個實施例中。短語“在一個實施例中”在說明書中不同地方的出現(xiàn)未必指代相同的實施例。
正如此處使用的，術(shù)語“包含”、“包含有”、“包括”、“包括有”、“具有”、“有著”或其任何其它的變化，目的是覆蓋非排他的包括。例如，包括一系列元素的過程、方法、物 品，或者設(shè)備，未必僅限于那些元素，而可以包括沒有清楚列出或者這些過程、方法、物品或設(shè)備固有的其它元素。而且，除非清楚表明相反，“或者”指的是包括的或者以及非排他的或者。 例如，通過以下的任何一種形式滿足條件A或B A為真(或存在)和B為假(或不存在),A為假(或不存在)和B為真(或存在)，A和B都為真(或存在)。
此外，使用“一 ”或“ 一個”來描述本發(fā)明的元素或部件。這僅僅是為了方便以及給予對本發(fā)明的通常理解。這種描述應(yīng)當(dāng)理解為包括一個或至少一個和單數(shù)，也包括復(fù)數(shù)， 除非顯然其表示其他含義。
從前述的說明書來看，本領(lǐng)域技術(shù)人員顯然可以在本發(fā)明的范圍內(nèi)做出各種改變。例如，候選路線的列表不需要限于四條候選路線，而可以包括更少或更多候選路線。
本發(fā)明公開的范圍包括任何新穎的特征，或者其中明確地或者隱含地公開的特征的結(jié)合，或者其任何概括，而不管是否與要求保護(hù)的發(fā)明相關(guān)或者減輕任何或所有本發(fā)明指出的問題。因此申請人通知可以在本申請或者從中得到的任何這種進(jìn)一步的申請的起訴期間就這些特征構(gòu)造新的權(quán)利要求。具體地，參照所附的權(quán)利要求書，從屬權(quán)利要求的特征可以與獨立權(quán)利要求的特征結(jié)合，并且各個獨立權(quán)利要求的特征可以以任何合適的方式結(jié)合，而不僅僅是權(quán)利要求書枚舉的特定的結(jié)合方式。
參考文獻(xiàn)
[I] "Adaptive background mixture models for real-time tracking'Chris Stauffer,Proceedings IEEEConf. on Computer Visionand Pattern Recognition, pp. 246-252，1999.
http ://www. a1.mit.edu/pro jects/vsam/Publications/stauffer cvpr98 track, pdf
[2]"Object Tracking:A Survey"，Alper Yilmazj Omar Javed&Mubarak Shah, ACMComputing Surveys, Vol. 38，No. 4，Articlel3, December2006.
[3] ^Bridging the Gap between Cameras^, D. Makrisj T. Ellis, J. Black,IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR2004.
http : //dircweb. king, ac. uk/papers/Makri s D. 2004 729650/cvpr2004 Bridgingthe GapsbetweenCameras. pdf
權(quán)利要求
1.一種設(shè)備，用于分析攝像頭視場的視頻幀序列以跟蹤所述視場中的對象；確定在所述視場中的所述跟蹤的起點和終點；確定分別與所述起點和終點對應(yīng)的所述跟蹤的起始時間和終止時間；以及，將所述起點和終點以及所述起始時間和終止時間作為所述跟蹤的屬性進(jìn)行存儲。
2.根據(jù)權(quán)利要求1所述的設(shè)備，進(jìn)一步用于處理多個監(jiān)控網(wǎng)絡(luò)攝像頭視場的視頻幀序列，以跟蹤各自視場中的對象，以及將各自的起點和終點以及起始時間和終止時間作為各自視場的每個所述跟蹤的屬性進(jìn)行存儲。
3.根據(jù)權(quán)利要求2所述的設(shè)備，進(jìn)一步用于確定在第一視場中的跟蹤的終止時間與第二視場中的跟蹤的起始時間之間的時間關(guān)基于所述時間關(guān)系確定從所述第一視場中的所述跟蹤到第二視場中的所述跟蹤的過渡的似然值；以及，存儲所述似然值。
4.根據(jù)權(quán)利要求3所述的設(shè)備，其中所述時間關(guān)系是基于物理空間中對應(yīng)于所述起始時間的起點與對應(yīng)于所述終止時間的終點之間的空間關(guān)系。
5.根據(jù)權(quán)利要求3或4所述的設(shè)備，進(jìn)一步用于在所述第一視場和第二視場中跟蹤多個對象，并確定相應(yīng)的多個起點和終點；基于所述多個起點和終點確定所述第一視場和第二視場的起始區(qū)和終止區(qū)；確定所述第一視場中的跟蹤的終止區(qū)與所述第二視場中的跟蹤的起始區(qū)之間的所述時間關(guān)系；以及基于所述時間關(guān)系確定從所述第一視場中的所述跟蹤到所述第二視場中的所述跟蹤的過渡的所述似然值。
6.根據(jù)權(quán)利要求5所述的設(shè)備，其中所述時間關(guān)系基于物理空間中所述起始區(qū)和所述終止區(qū)之間的空間關(guān)系。
7.根據(jù)權(quán)利要求5或6所述的設(shè)備，進(jìn)一步用于對所述第一視場中的所述對象的標(biāo)記進(jìn)行響應(yīng)以確定具有所述第二窗口中的起始時間并滿足所述時間關(guān)系的一個或多個跟蹤，并向用戶顯示所述一個或多個跟蹤。
8.根據(jù)權(quán)利要求7所述的設(shè)備，進(jìn)一步用于確定所述對象的外觀作為所述對象的屬性，并比較與所述一個或多個跟蹤對應(yīng)的每個對象的外觀屬性以確定每個對象成為被標(biāo)記對象的概率值，并根據(jù)所述概率值對所述一個或多個跟蹤排序。
9.根據(jù)權(quán)利要求8所述的設(shè)備，進(jìn)一步用于僅顯示最有可能的跟蹤。
10.根據(jù)權(quán)利要求8或9所述的設(shè)備，進(jìn)一步用于響應(yīng)將所述一個或多個跟蹤中之一確認(rèn)為正確的跟蹤的用戶輸入而選擇正確的跟蹤。
11.一種視頻監(jiān)控系統(tǒng)，包括多個視頻攝像頭以及根據(jù)權(quán)利要求1至10中任一項所述的設(shè)備。
12.—種操作數(shù)據(jù)處理設(shè)備的方法，包括分析攝像頭視場的視頻幀序列以跟蹤所述視場中的對象；確定在所述視場中的所述跟蹤的起點和終點；確定分別與所述起點和終點對應(yīng)的所述跟蹤的起始時間和終止時間；以及將所述起點和終點以及所述起始時間和終止時間作為所述跟蹤的屬性進(jìn)行存儲。
13.根據(jù)權(quán)利要求12所述的方法，進(jìn)一步包括處理多個監(jiān)控網(wǎng)絡(luò)攝像頭視場的視頻幀序列，以跟蹤在各個視場中的對象，并將各個起點和終點以及起始時間和終止時間作為各個視場中的每個所述跟蹤的屬性進(jìn)行存儲。
14.根據(jù)權(quán)利要求13所述的方法，進(jìn)一步包括確定在第一視場中的跟蹤的終止時間與第二視場中的跟蹤的起始時間之間的時間關(guān)基于所述時間關(guān)系確定從所述第一視場中的所述跟蹤到第二視場中的所述跟蹤的過渡的似然值；以及存儲所述似然值。
15.根據(jù)權(quán)利要求14所述的方法，其中所述時間關(guān)系是基于物理空間中對應(yīng)于所述起始時間的起點與對應(yīng)于所述終止時間的終點之間的空間關(guān)系。
16.根據(jù)權(quán)利要求14或15所述的方法，進(jìn)一步包括在所述第一視場和第二視場中跟蹤多個對象，并確定相應(yīng)的多個起點和終點；基于所述多個起點和終點確定所述第一視場和第二視場的起始區(qū)和終止區(qū)；確定所述第一視場中的跟蹤的終止區(qū)與所述第二視場中的跟蹤的起始區(qū)之間的時間關(guān)系；以及基于所述時間關(guān)系確定從所述第一視場中的所述跟蹤到所述第二視場中的所述跟蹤的過渡的似然值。
17.根據(jù)權(quán)利要求16所述的方法，其中所述時間關(guān)系基于物理空間中所述起始區(qū)和所述終止區(qū)之間的空間關(guān)系。
18.根據(jù)權(quán)利要求16或17所述的方法，進(jìn)一步包括對所述第一視場中的的所述對象的標(biāo)記進(jìn)行響應(yīng)以確定具有所述第二窗口中的起始時間并滿足所述時間關(guān)系的一個或多個跟蹤，并向用戶顯示所述一個或多個跟蹤。
19.根據(jù)權(quán)利要求18所述的方法，進(jìn)一步包括確定所述對象的外觀作為所述對象的屬性，并比較與所述一個或多個跟蹤對應(yīng)的每個對象的外觀屬性以確定每個對象成為被標(biāo)記對象的概率值，并根據(jù)所述概率值對所述一個或多個跟蹤排序。
20.根據(jù)權(quán)利要求19所述的方法，進(jìn)一步包括僅顯示最有可能的跟蹤。
21.根據(jù)權(quán)利要求19或20所述的方法，進(jìn)一步包括響應(yīng)將所述一個或多個跟蹤中之一確認(rèn)為正確的跟蹤的用戶輸入而選擇正確的跟蹤。
22.—種實質(zhì)上如以上所述的和參照附圖中示出的各個實施例的設(shè)備。
23.一種實質(zhì)上如以上所述的和參照附圖中示出的各個實施例的方法。
24.—種設(shè)備,用于顯示攝像頭位置的網(wǎng)絡(luò)地圖和第一攝像頭視場的場景；響應(yīng)用戶對所述場景中的對象所作的標(biāo)記，以基于在其它視場中的可能的對象，確定所述網(wǎng)絡(luò)中被標(biāo)記對象可能出現(xiàn)的其它攝像頭視場，所述其它視場滿足所述第一攝像頭視場中的出口點和/或入口點與所述其它視場的 A口點和/或出口點之間的時間關(guān)系和空間關(guān)系；以及顯示所述網(wǎng)絡(luò)中攝像頭位置之間滿足所述時間和空間關(guān)系的可能的路線。序號重復(fù)第24條.根據(jù)權(quán)利要求23所述的設(shè)備，進(jìn)一步用于基于所述可能的對象和所述被標(biāo)記對象之間的外觀元數(shù)據(jù)的相似度確定所述被標(biāo)記對象可能出現(xiàn)的其它視場。
25.根據(jù)權(quán)利要求23或24所述的設(shè)備，進(jìn)一步用于顯示所呈現(xiàn)的路線符合所述被標(biāo)記對象采用的路線的概率指示。
26.根據(jù)權(quán)利要求27所述的設(shè)備，進(jìn)一步用于突出最有可能的路線。
27.根據(jù)權(quán)利要求23至26的任一項所述的設(shè)備，用于響應(yīng)用戶對與所述其它視場對應(yīng)的攝像頭位置的選擇，以顯示存在所述可能的對象的視頻場景。
28.根據(jù)權(quán)利要求27所述的設(shè)備，響應(yīng)用戶對所述可能的對象的選擇，以確認(rèn)所述可能的對象作為所述被標(biāo)記對象，并確認(rèn)通向所述攝像頭位置的路線，并刪除其它路線。
29.根據(jù)權(quán)利要求28所述的設(shè)備，進(jìn)一步用于基于空間關(guān)系和時間關(guān)系，以及任選的外觀元數(shù)據(jù)，計算去往和來自用于所述被標(biāo)記對象的所述攝像頭位置的進(jìn)一步可能的路線，并顯示所述可能的路線。
30.根據(jù)權(quán)利要求23至29中任一項所述的設(shè)備，進(jìn)一步用于至多僅顯示一定數(shù)量的可能的路線，這些可能的路線對應(yīng)于具有最高可能性的那些路線。
31.根據(jù)權(quán)利要求23至30中任一項所述的設(shè)備，進(jìn)一步用于至多僅顯示一定數(shù)量的攝像頭位置之間的連接。
32.根據(jù)權(quán)利要求30或31所述的設(shè)備，其中所述一定數(shù)量是用戶能設(shè)置的。
33.根據(jù)權(quán)利要求23至32中任一項所述的設(shè)備，用于與所述場景一起顯示滑塊控制器，用戶可啟動滑塊控制器來回滑動以向后或向前移動視頻場景。
34.根據(jù)權(quán)利要求23至33中任一項所述的設(shè)備，用于顯示沿著所顯示的時間線上的一個或多個書簽以指示對象進(jìn)入或離開與所顯示的所述場景對應(yīng)的視場的地方。
35.根據(jù)權(quán)利要求23至34中任一項所述的設(shè)備，用于在所顯示的對象周圍顯示邊界框，所述所顯示的對象具有與其相關(guān)的元數(shù)據(jù)，諸如入口點和出口點。
36.根據(jù)權(quán)利要求23至34中任一項所述的設(shè)備，用于通過以具有不同突出屬性的邊界框突出可能的對象以區(qū)別沒有歸類為可能的對象的對象，并以具有不同突出屬性的邊界框突出確認(rèn)的對象以區(qū)別沒有歸類為確認(rèn)的對象的對象。
37.根據(jù)權(quán)利要求23至36中任一項所述的設(shè)備，用于生成被標(biāo)記對象通過所述網(wǎng)絡(luò)地圖的路線的報告。
38.一種操作數(shù)據(jù)處理設(shè)備的方法，包括顯示攝像頭位置的網(wǎng)絡(luò)地圖和第一攝像頭視場的場景；響應(yīng)用戶對所述場景中的對象所作的標(biāo)記，以基于在其它視場中可能的對象，確定所述網(wǎng)絡(luò)中被標(biāo)記對象可能出現(xiàn)的其它攝像頭視場，所述其它視場滿足所述第一攝像頭視場中的出口點和/或入口點與所述其它視場中的A口點和/或出口點之間的時間關(guān)系和空間關(guān)系；以及顯示所述網(wǎng)絡(luò)中攝像頭位置之間滿足所述時間關(guān)系和空間關(guān)系的可能的路線。
39.根據(jù)權(quán)利要求38所述的方法，包括基于所述可能的對象和所述被標(biāo)記對象之間的外觀元數(shù)據(jù)的相似度確定所述被標(biāo)記對象可能出現(xiàn)的其它視場。
40.根據(jù)權(quán)利要求38或39所述的方法，進(jìn)一步包括顯示所呈現(xiàn)的路線符合所述被標(biāo)記對象采用的路線的概率指示。
41.根據(jù)權(quán)利要求40所述的方法，進(jìn)一步包括突出最有可能的路線。
42.根據(jù)權(quán)利要求38至41中任一項所述的方法，進(jìn)一步包括響應(yīng)用戶對與所述其它視場對應(yīng)的攝像頭位置的選擇，以顯示存在所述可能的對象的視頻場景。
43.根據(jù)權(quán)利要求42所述的方法，進(jìn)一步包括響應(yīng)用戶對所述可能的對象的選擇，以確認(rèn)所述可能的對象作為所述被標(biāo)記對象，并確認(rèn)通向所述攝像頭位置的路線，并刪除其它路線。
44.根據(jù)權(quán)利要求43所述的方法，進(jìn)一步包括基于空間關(guān)系和時間關(guān)系，以及任選的外觀元數(shù)據(jù)，計算去往和來自用于所述被標(biāo)記對象的所述攝像頭位置的進(jìn)一步可能的路線，并顯示所述可能的路線。
45.根據(jù)權(quán)利要求38至44中任一項所述的方法，進(jìn)一步包括至多僅顯示一定數(shù)量的可能的路線，這些可能的路線對應(yīng)于具有最高可能性的那些路線。
46.根據(jù)權(quán)利要求38至45中任一項所述的方法，進(jìn)一步包括至多僅顯示一定數(shù)量的攝像頭位置之間的連接。
47.根據(jù)權(quán)利要求45或46所述的方法，其中所述一定數(shù)量是用戶能設(shè)置的。
48.根據(jù)權(quán)利要求38至47中任一項所述的方法，進(jìn)一步包括與所述場景一起顯示滑塊控制器，用戶可啟動滑塊控制器來回滑動以向后或向前移動視頻場景。
49.根據(jù)權(quán)利要求38至47中任一項所述的方法，進(jìn)一步包括顯示沿著所顯示的時間線上的一個或多個書簽以指示對象進(jìn)入或離開與所顯示的所述場景對應(yīng)的視場的地方。
50.根據(jù)權(quán)利要求38至49中任一項所述的方法，進(jìn)一步包括通過以具有不同突出屬性的邊界框突出可能的對象以區(qū)別沒有歸類為可能的對象的對象，并以具有不同突出屬性的邊界框突出確認(rèn)的對象以區(qū)別沒有歸類為確認(rèn)的對象的對象。
51.根據(jù)權(quán)利要求38至50中任一項所述的方法，進(jìn)一步包括生成被標(biāo)記對象通過所述網(wǎng)絡(luò)地圖的路線的報告。
全文摘要
本發(fā)明公開了一種設(shè)備，該設(shè)備用于分析攝像頭視場的視頻幀序列以跟蹤所述視場中的對象并確定在所述視場中所述跟蹤的起點和終點。該設(shè)備也確定分別與所述起點和終點對應(yīng)的所述跟蹤的起始時間和終止時間；以及將所述起點和終點以及所述起始時間和終止時間作為所述跟蹤的屬性進(jìn)行存儲。
文檔編號H04N7/18GK103004188SQ201180035080
公開日2013年3月27日 申請日期2011年7月19日 優(yōu)先權(quán)日2010年7月19日
發(fā)明者伯格豪斯·伯格豪西恩, 詹姆士·布萊克, 薩迪斯·派達(dá)加迪 申請人:愛普索科技有限公司