專利名稱:視頻信息智能管理系統(tǒng)的制作方法
(本申請是申請97199221.5的分案申請)本發(fā)明涉及閉合電路視頻安全監(jiān)視系統(tǒng),特別地,涉及使用機器智能來管理,解釋和使用視頻信息的應用。所以,這里所揭示的系統(tǒng)可以被稱作一個“視頻信息智能管理”(IVIM)系統(tǒng)。至今為止,還沒有將IVIM領域與其他相關領域明顯地區(qū)分開來,所以本發(fā)明的基本目的之一是講授視頻信息智能管理的出現(xiàn)技術(shù)的一般應用的基本原理。
眾所周知,提供視頻安全系統(tǒng)時,需要使用一個視頻攝像機來產(chǎn)生表示需要安全監(jiān)視的位置的視頻信號。在一個典型的系統(tǒng)中,一部分或者所有這些視頻信號被顯示在視頻屏幕上,以便安全人員來進行監(jiān)視。另外,眾所周知,將一部分或者所有這些視頻信號記錄在視頻磁帶上,或者是為安全人員的陳述提供支持證據(jù),或者是應用于不可能實現(xiàn)“實時”人工監(jiān)視或者不需要“實時”人工監(jiān)視的場合。
但是,作為一個存儲媒質(zhì),磁帶有嚴重的缺點,特別是視頻安全系統(tǒng)產(chǎn)生了大量視頻信息時。一個主要的問題是需要保存巨大數(shù)量的磁帶,特別是當需要記錄大量監(jiān)視攝像機所產(chǎn)生的信號時。另外,在一個大的系統(tǒng)中,需要許多視頻磁帶記錄器,這引起`大量的資本消耗,同時也需要為這些視頻磁帶記錄器分配空間。另一個問題是需要頻繁地更換磁帶。
從所記錄的磁帶中檢索所感興趣的信息也是一個需要考慮的問題。視頻監(jiān)視的特點是,大部分磁帶所記錄的視頻監(jiān)視信號是不怎么需要的,因為它一般表示一個走道或者類似地方的一個靜態(tài)圖象。發(fā)現(xiàn)表示一個重要事件的一個特殊序列是非常困難的,也是要花費大量時間的,它需要工作人員花幾小時或者幾天來長時間沉悶乏味地觀察磁帶所記錄的信號。
當所感興趣的視頻信號剛錄完不久,以致當前的記錄操作仍然在使用記錄了該信號的磁帶時,就產(chǎn)生了另一個問題。在這種情形下,需要中止記錄操作,以將磁帶從磁帶盒中移出并且插入另一個磁帶。然后,使用一個單獨的磁帶盒來回放該感興趣的信號。很明顯地,這個過程需要一個不方便的和耗時的磁帶盒處理,并且有一個危險是當更換磁帶盒時有可能會不能記錄感興趣的新的信號。
已經(jīng)嘗試了一些方法來克服這些缺點,但是至今為止僅取得了有限的成功,或者產(chǎn)生了另外的缺點。例如,眾所周知,使用一個“四復用器”來將來自四個視頻攝像機的信號融合成為一單個動態(tài)圖象,它有四個四分之一的部分,其中每一個專用于攝像機的一個相應部分。然后記錄該產(chǎn)生的空間復用信號,從而在所需存儲容量上實現(xiàn)4比1的壓縮比例。但是,該復用圖象損失了相應的空間分辨率,并且有可能削弱作為證據(jù)的該記錄圖象的價值或者會影響隨后的觀察。另外,復用圖象的記錄并不能解決從記錄磁帶中發(fā)現(xiàn)感興趣的序列所產(chǎn)生的問題。
另外,眾所周知,是對一個正在監(jiān)視信號的一個人工操作員的輸入進行響應,或者對排列成檢測開門或者開窗等事件的傳感器裝置所產(chǎn)生的信號作出響應,有選擇性地記錄監(jiān)視視頻信號。這個技術(shù)可以減少需要記錄的總的信息量,而不用大量保存不感興趣的信息,但是有一種危險是可能會沒有記錄那些不能被傳感器或者人工操作員所輕易地或者即時地檢測到的重要事件。另外,對外部設備的依賴可能會產(chǎn)生不可靠性并且增加費用,特別是由人工操作員來啟動記錄時。
本申請的受讓人所引入的OPTIMA II視頻監(jiān)視復用器使用一個更復雜的技術(shù),以在保存以前挑選出不感興趣的信息。在OPTIMA II復用器中,從多個攝像機接收視頻圖象信息的相應流并且通過時分復用來自攝像機的圖象可以形成一個組合圖象流。然后將該組合的圖象流輸出到一個傳統(tǒng)的視頻磁帶記錄器以記錄在磁帶上。該OPTIMA II復用器通過對相應輸入圖象流進行運動檢測分析,可以在輸出流中進行自適應時隙分配,對那些從檢測到有運動的輸入流來的圖象分配更多的時隙。使用這種方式,系統(tǒng)存儲容量中的相對較多的部分被分配給包含運動目標的圖象流,由此更可能包括重要信息。
相對于傳統(tǒng)的、基于磁帶監(jiān)視視頻存儲技術(shù)而言,OPTIMA II復用器有了一個大的改進,但是仍然需要提高效率和改善適應性。
Geutebruck GmbH銷售的“MultiScop”視頻磁盤記錄器是將數(shù)字記錄技術(shù)應用到保存視頻監(jiān)視信息的問題的一個產(chǎn)品。該MultiScop系統(tǒng)使用了上述選擇性記錄技術(shù)來使記錄的不感興趣的信息容量最小。另外,通過使用一種傳統(tǒng)的數(shù)字圖象壓縮技術(shù),從記錄中排除了一些冗余信息。根據(jù)日期和時間索引,或者根據(jù)表示一個外部敏感的告警條件的索引來隨機訪問所保存的信息,從檢索所保存的視頻圖象而言,這系統(tǒng)相對于傳統(tǒng)的基于磁帶的系統(tǒng)有適度的改善。
盡管MultiScop記錄器在隨機訪問檢索方面是毫無疑問的具有優(yōu)勢,但是這種記錄器的一個不太理想的特性是在進行檢索時,會中止所有記錄操作。為了減少對應該記錄而沒有記錄的新視頻信息的可能性,需要將MultiScop編程為對一個告警條件作出響應,從而能自動地中止檢索,以立即返回到記錄模式中。當沒有引入這種自動中止特征時,或者是因為缺乏一個告警條件,或者是因為沒有選擇該特性,將會不記錄該新視頻信息。盡管MultiScop避免了磁帶的更換,但是在檢索操作的整個期間,MultiScop的記錄被中止,其中止時間比在有一個回放的單獨VCR的、基于磁帶的系統(tǒng)中更換磁帶所需要的時間相對長一些。
因此人們迫切希望有一個視頻信息智能管理系統(tǒng),它能避免前面的系統(tǒng)所特有的、在記錄和回放工作模式之間的來回倒換,同時又比前面所知道的系統(tǒng)有更高的效率和更大的靈活性。
MultiScop系統(tǒng)所提供的更高的效率和更大的靈活性是非??扇〉摹L貏e地,如果能夠?qū)⒉桓信d趣的信息從記錄中排除出去,同時又使錯過重要信息的可能性最小,這是最有用的。另外,還需要更有效的信息檢索技術(shù)。
完全可以相信,MultiScop系統(tǒng)采用了基于變換的壓縮編碼技術(shù),例如眾所周知的JPEG標準,它能夠提供40∶1或者50∶1的壓縮因子。對于數(shù)據(jù)存儲容量是2,000兆字節(jié),和記錄速率是每秒50場,MultiScop系統(tǒng)能夠記錄一個小時多一點點的視頻信號。一個更可取的方法是,對于一個給定的數(shù)據(jù)存儲容量,提供一個具有更高壓縮程度的技術(shù),以提供更高的記錄速率和/或者更長的記錄時間。
對用于IVIM和視頻監(jiān)視操作的一個視頻數(shù)據(jù)壓縮技術(shù),如果壓縮和解壓縮各自的運算量大致相同,該視頻數(shù)據(jù)壓縮技術(shù)能夠包含一個實施方式,它采用一個通用的處理器裝置來同時實現(xiàn)壓縮和解壓縮運算,那么這種視頻數(shù)據(jù)壓縮技術(shù)的這個特性是非??扇〉?。另外,如果這種壓縮技術(shù)能夠使視頻圖象流的機器分析和反向回放很便利的話,就更有幫助。
本發(fā)明的發(fā)明者還注意到,當前廣泛使用的視頻數(shù)據(jù)壓縮技術(shù)沒有利用監(jiān)視視頻信號的特殊特性,該特殊特性可以實現(xiàn)更高的壓縮比例,同時又有足夠的用于監(jiān)視的圖象質(zhì)量。例如,眾所周知的MPEG監(jiān)視能夠提供更高的壓縮比例和提供用戶廣播應用所需的高圖象質(zhì)量,但是其復雜性增加了。另外,MPEG類型的技術(shù)對反向回放,或者同時壓縮多個輸入視頻流等等這些特性來說,是不能適應的。
在一個視頻信號流中出現(xiàn)的大量信息(有用的或者其他的)不僅對數(shù)字數(shù)據(jù)存儲裝置提出了很高的要求,而且對那些在保存到一個存儲裝置上以前,或者從一個存儲裝置檢索出來以后發(fā)送和處理視頻信息的電路結(jié)構(gòu)也提出了很高的要求。當需要同時記錄許多視頻信號流時,這是一種經(jīng)常出現(xiàn)的情形,這些要求就更高了。另外,對視頻信息進行壓縮促進了對存儲容量的有效使用,但是增加了發(fā)送和處理電路的負擔。
已有系統(tǒng)的另一個缺點是這種需要為了訪問記錄器所保存的視頻數(shù)據(jù),用戶必須實際到達記錄器。另外,用戶搜尋視頻數(shù)據(jù)的選擇被限制在該記錄器所提供的能力上。
另一個與視頻數(shù)據(jù)存儲相關的設計問題是需要提供的總存儲容量。已有的系統(tǒng)僅包括了一單個內(nèi)部硬盤驅(qū)動器,當用戶需要的容量比內(nèi)部硬盤驅(qū)動器所提供的容量多時,就需要使用外部存儲媒質(zhì)驅(qū)動器。假設一個包含幾個內(nèi)部驅(qū)動器單元的記錄器可以允許更大的存儲容量并且提供其他優(yōu)點,將內(nèi)部驅(qū)動器單元安全地安裝在一個容易制造和組裝的結(jié)構(gòu)中也是可取的。進一步,應該安排好一個數(shù)字視頻記錄器的其他內(nèi)部電子部件,以使制造費用最小,同時又能夠方便視頻信息的捕獲和處理。
假設一個視頻信息智能管理系統(tǒng)有比已有裝置更大的有效硬盤存儲容量,當時間過去時和需要捕獲和記錄更多的當前視頻信息時,即使是這樣的磁盤,其存儲容量也是有限的,并且需要重新使用該磁盤。所以,即使使用了固定磁盤而不是錄相帶作為基本存儲媒質(zhì),允許在可拆卸的媒質(zhì)上永久保存或者“存檔”保存視頻信息也是可取的。系統(tǒng)存檔的能力能方便用戶的管理,并且能夠有效地與其他系統(tǒng)特征相互吻合。
雖然很可能無法避免的是,一個記錄系統(tǒng)的靈活性的增加將伴隨有復雜性的增加,但是系統(tǒng)的使用卻不應該變難,這一點也是重要的。在判斷一個IVIM系統(tǒng)是否令人滿意地執(zhí)行了它所預期的功能時,使用的方便程度可能成為一個至關重要的因素。
這里所公開的視頻信息智能管理系統(tǒng)代表了視頻記錄和個人計算機技術(shù)的一種嶄新的融合,它能夠全面改善捕獲和檢索視頻信息的能力。提供了一定的用戶可以設置的選項,這增強了系統(tǒng)的靈活性并且允許用戶將系統(tǒng)調(diào)節(jié)成適應特殊的應用。
已經(jīng)提出了許多技術(shù)來濾除視頻圖象數(shù)據(jù),以檢測圖象數(shù)據(jù)所表示的圖象的重要特征。發(fā)表的關于這個領域的技術(shù)包括下述這些M.P.Cagigal,等等在1994年8月,第33卷,第8期的Optical Engineering的第2810-2812頁上發(fā)表的“低亮度級別圖象的目標運動特征表示”;S.J.Nowlan等等在1994年12月,第11卷,第12期的J.Opt.Soc.Am.A的第3177-3200頁上發(fā)表的“用于運動分割和速率綜合的濾波器選擇模型”;T.G.Allen等等在1994年7月,第33卷,第7期的OpticalEngineering的第2248-2254頁上發(fā)表的“圖象序列中對運動目標檢測的多尺度逼近”;M.-P.Dubuisson等等在1995年,第14卷的International Journal of ComputerVision的第83-105頁上發(fā)表的“復雜室外環(huán)境中運動圖象的輪廓提取”;M.Bichsel在1994年11月,第16卷,第11期的IEEE Transactions on Pattern Analysis and MachineIntelligence的第1138-1142頁上發(fā)表的“在一個靜態(tài)環(huán)境中分割簡單連接的運動物體”;M.Irani等等在1994年12∶1的InternationalJournal of ComputerVision的第5-16頁上發(fā)表的“封閉和透明運動的計算”;I.J.Cox在1993年10∶1的International Journal ofComputerVision的第53-66頁上發(fā)表的“用于運動對應的統(tǒng)計數(shù)據(jù)相關技術(shù)的回顧”;D.Koller等等在1993年10∶3的InternationalJournal of CompnterVision的第257-281頁上發(fā)表的“道路交通環(huán)境的單筒望遠鏡圖象序列中的基于模型的目標跟蹤”;J.H.Lee等等在1994年5月,第40卷,第2期的IEEE Transactions on ConsumerElectronics的第2154-2160頁上發(fā)表的“對一個HDTV信號進行運動估計的VLSI芯片”;T.Koivunen在1994年8月,第40卷,第3期的IEEE Transactions on Consumer Electronics的第753-760頁上發(fā)表的“一個隔行掃描的視頻信號的運動檢測”;S.-I.Jang等等在1994年5月,第40卷,第2期的IEEE Transactions on Consumer Electronics的第145-153頁上發(fā)表的“對一個視頻攝像機的運動和聚焦不好引起的圖象模糊的一個實時識別方法”;但是,這些推薦的濾波技術(shù)大部分僅限于分析靜態(tài)圖象,而不是通過分析一個動態(tài)圖象流來試圖獲取信息,所以這些推薦的濾波技術(shù)的商業(yè)應用還是比較少的。
希望改進對包含在單個或者并發(fā)視頻圖象流中的信息的管理和使用。還特別希望能夠允許一個視頻監(jiān)視系統(tǒng)的一個用戶,或者其他保存動態(tài)圖象信息的一個用戶能夠更靈活地管理輸入視頻信息和更靈活地使用輸入和所保存的視頻流。
除了上面描述的OPTIMA II復用器以外,其他專用于對視頻信息的檢測特征作出自動響應的裝置的主要目的是檢測運動,并且當檢測到運動時就激發(fā)一個告警條件。在美國專利號4,737,847(Araki等等);4,160,998(Kamin);4,198,653(Kamin);3,988,533(Mick等等);4,081,830(Mick等等);3,743,768(Copeland);和4,249,207(Harmon等等)中公開了這樣一種裝置。
除在現(xiàn)有技術(shù)中期望的那些以外,將機器智能擴展到視頻信息特征的檢測,和功能的自動完成是很可取的。
本發(fā)明的一個目的是提供一個裝置,它通過使用該裝置能夠允許用戶從多個可用的視頻數(shù)據(jù)選項中選擇一個或者幾個所需的選項。
本發(fā)明的另一個目的是能夠允許這樣一種裝置的用戶將一個選擇的視頻信息分析算法調(diào)節(jié)成能夠適應由待分析的信息所表示的已知或者期望的特征。
本發(fā)明的另一個目的是提供一個具有一些用戶可以選擇的工作模式的一個視頻信息智能管理系統(tǒng),它改善了該系統(tǒng)的靈活性和使用的方便性。
本發(fā)明的另一個目的是提供一個分布式視頻信息數(shù)據(jù)庫系統(tǒng)。一個進一步的目的是提供這么一種能力,即使一個希望檢索視頻信息的用戶遠離視頻信息所存儲的位置,他也能對這些視頻信息進行基于內(nèi)容的檢索。
本發(fā)明的另一個目的是提供一個視頻信息智能管理系統(tǒng),它檢測一個輸入視頻信息流的重要特征,并且在檢測到所感興趣的特征時,采取合適的動作來對此作出響應。
本發(fā)明的另一個目的是提供一個方法和一個裝置,以對表示動態(tài)視頻圖象的流的視頻數(shù)據(jù)進行高度有效的壓縮。
本發(fā)明的另一個目的是提供一個視頻數(shù)據(jù)壓縮技術(shù),它能夠很好的適應視頻監(jiān)視安全應用。
本發(fā)明的另一個目的是使用一種適合于數(shù)據(jù)的機器分析的格式來提供壓縮視頻數(shù)據(jù)。
本發(fā)明的另一個目的是使用一種能夠便利對圖象流進行反向播放的格式來壓縮一個視頻圖象流。
本發(fā)明的另一個目的是提供一種用于視頻信息的捕獲,格式和臨時保存的技術(shù),以在一個視頻信息智能管理系統(tǒng)中簡化視頻信息的處理和路由。
本發(fā)明的另一個目的是為幾種將要被安裝在一個數(shù)字視頻記錄器中的記錄媒質(zhì)驅(qū)動器單元提供一個支持結(jié)構(gòu)。
本發(fā)明的另一個目的是使用一個方便于制造和組裝的結(jié)構(gòu)來提供這樣一種支持結(jié)構(gòu)。
本發(fā)明的另一個目的是為包括在一個數(shù)字視頻記錄裝置中的數(shù)據(jù)處理電路結(jié)構(gòu)提供一個有效的和性價比好的結(jié)構(gòu)。
本發(fā)明的另一個目的是提供具有視頻信息存檔能力的視頻信息智能管理系統(tǒng)。
本發(fā)明的另一個目的是提供一個IVIM系統(tǒng),其中其存檔能力是靈活的并且是用戶友好的。
本發(fā)明的另一個目的是提供一個視頻信息智能管理系統(tǒng),其中使用一種智能的和有用的形式來向該系統(tǒng)的用戶提供關于該系統(tǒng)的狀態(tài)的信息。
本發(fā)明的另一個目的是在一個視頻信息智能管理系統(tǒng)中采樣并行處理和多任務技術(shù),以使在該系統(tǒng)執(zhí)行基本功能的同時還能夠消除功能之間的干擾或者使它最小。
本發(fā)明的另一個目的是提供識別,標志和索引視頻信息的相應部分的技術(shù),以支持靈活地和有效地保存和檢索視頻信息。
為了實現(xiàn)以上目的,本發(fā)明提供了一個保存和檢索視頻數(shù)據(jù)的方法,該方法包括步驟在位于一第一位置的一個數(shù)據(jù)保存裝置中,保存表示一個動態(tài)視頻圖象流的多個圖象的數(shù)據(jù)的步驟;在位于一遠離該第一位置的一第二位置的一個主處理器中,保存一個程序文件的步驟;該程序文件表示用于在由保存在所述第一位置的數(shù)據(jù)所表示的圖象中搜尋所需圖象的一個搜尋算法;將表示所述搜尋算法的所述程序文件從所述主處理器下載到所述數(shù)據(jù)保存裝置的步驟;和使用所述被下載的程序文件來在被保存在所述數(shù)據(jù)保存裝置中的所述視頻數(shù)據(jù)中搜尋所述所需圖象的步驟。
為了實現(xiàn)以上目的,本發(fā)明還提供了一種保存和檢索視頻數(shù)據(jù)的裝置,包括位于一第一位置的一個數(shù)據(jù)保存裝置,用于保存表示一個動態(tài)視頻圖象流的多個圖象的數(shù)據(jù);位于一遠離該第一位置的第二位置的一個主處理器,用于保存一個程序文件,該程序文件表示用于在由保存在所述第一位置的數(shù)據(jù)所表示的圖象中搜尋所需圖象的一個搜尋算法;和將所述表示搜尋算法的所述程序文件從所述主處理器下載到所述數(shù)據(jù)保存裝置的裝置;數(shù)據(jù)保存裝置包括使用所述下載的程序文件來在被保存在所述數(shù)據(jù)保存裝置中的視頻數(shù)據(jù)中搜尋所需圖象的裝置。
為了實現(xiàn)以上目的,本發(fā)明還提供了一種用于保存一個分布式視頻數(shù)據(jù)庫的裝置,該裝置包括一第一視頻信息源,在一第一位置,用于提供包括至少一個動態(tài)視頻信息幀序列的第一視頻信息;第一分析裝置,用于接收由所述第一視頻信息源提供的該第一視頻信息并且根據(jù)一第一圖象分析算法來分析所述接收的第一視頻信息來產(chǎn)生第一分析數(shù)據(jù);第一保存裝置,用于使用數(shù)字數(shù)據(jù)形式,保存由所述第一視頻信息源提供的所述第一視頻信息和由所述第一分析裝置所產(chǎn)生的第一分析數(shù)據(jù);一第二視頻信息源,在一遠離第一位置的第二位置,用于提供包括至少一個動態(tài)視頻信息幀序列的第二視頻信息;第二分析裝置,用于接收由所述第二視頻信息源提供的所述第二視頻信息并且根據(jù)一第二圖象分析算法來分析所述接收的第二視頻信息來產(chǎn)生第二分析數(shù)據(jù);第二保存裝置,位于遠離該第一保存裝置的一個位置,用于使用數(shù)字數(shù)據(jù)形式,保存由所述第二視頻信息源提供的所述第二視頻信息和由所述第二分析裝置所產(chǎn)生的第二分析數(shù)據(jù);和與所述第一保存裝置和第二保存裝置進行有效連接、以選擇性地分別檢索來自所述第一保存裝置和第二保存裝置的所述第一視頻信息和第二視頻信息的裝置。
為了實現(xiàn)以上目的,本發(fā)明還提供了一個保存和檢索視頻數(shù)據(jù)的方法,包括步驟將第一視頻信息保存在位于一第一位置的一第一信息保存裝置中的步驟;通過根據(jù)一第一圖象分析算法分析該第一視頻信息來產(chǎn)生第一分析數(shù)據(jù)的步驟;將所述第一分析數(shù)據(jù)保存在該第一信息保存裝置的步驟;將第二視頻信息保存在位于一遠離第一位置的第二位置的一第二信息保存裝置中的步驟;通過根據(jù)一第二圖象分析算法分析該第二視頻信息來產(chǎn)生第二分析數(shù)據(jù)的步驟;將所述第二分析數(shù)據(jù)保存在該第二信息保存裝置的步驟;和從所述第一和第二保存裝置中選擇性的檢索第一和第二視頻信息的步驟,以將它們發(fā)送到位于遠離所述第一和第二保存裝置的一第三位置的一檢索裝置。
為了實現(xiàn)以上目的,本發(fā)明還提供了一種用于保存一個分布式視頻數(shù)據(jù)庫的裝置,該裝置包括一第一視頻信息源,它在一第一位置,用于提供包括至少一個動態(tài)視頻信息幀序列的第一視頻信息;第一保存裝置,用于使用數(shù)字數(shù)據(jù)形式,保存由所述第一視頻信息源提供的第一視頻信息;一第二視頻信息源,它在一遠離第一位置的第二位置,用于提供包括至少一個動態(tài)視頻信息幀序列的第二視頻信息;第二保存裝置,位于遠離所述第一保存裝置的一個位置,用于使用數(shù)字數(shù)據(jù)形式,保存由所述第二視頻信息源提供的第二視頻信息和由所述第二分析裝置所產(chǎn)生的第二分析數(shù)據(jù);檢索裝置,位于遠離所述第一保存裝置和所述第二保存裝置中至少一個的位置,用于選擇性的檢索被保存在所述第一保存裝置和所述第二保存裝置中的視頻信息幀;第一連接裝置,用于在所述檢索裝置和所述第一保存裝置之間形成一第一數(shù)據(jù)通信路徑;和第二連接裝置,用于在所述檢索裝置和所述第二保存裝置之間形成一第二數(shù)據(jù)通信路徑。
本發(fā)明的前述和其他目標特征和優(yōu)點將從下面關于其優(yōu)選實施方式和實際使用的詳細描述中、并從附圖中得到進一步的理解,其中相似的標號標識文中相似的部件和部分。
圖1使用框圖的形式來表示了根據(jù)本發(fā)明所提供的一個分布式智能視頻信息管理系統(tǒng)。
圖2使用功能模塊的形式來表示了形成如圖1的系統(tǒng)的一個功能部分的一個視頻分析和保存裝置。
圖3是根據(jù)本發(fā)明所提供的、并且在圖1的系統(tǒng)中所使用的一個視頻記錄/個人計算機(VR/PC)單元的電子部件的一個框圖。
圖4是圖3的VR/PC單元所采用的一個電路板結(jié)構(gòu)的一個圖象表示。
圖5是說明該VR/PC單元的機架和前面板的一個透視圖。
圖6是該VR/PC單元的前面板的一個正面圖。
圖7是該VR/PC單元的后視圖。
圖8是在該VR/PC單元中所提供的、用于支持磁盤驅(qū)動器單元和類似的一個結(jié)構(gòu)支持組件的一個等角投影視圖。
圖9是圖8的該磁盤驅(qū)動器支持結(jié)構(gòu)的一個部件分解圖。
圖10是圖8的該驅(qū)動器支持結(jié)構(gòu)的一個等角投影視圖,如那樣被組裝并且用于支持硬盤驅(qū)動器單元和其他媒質(zhì)驅(qū)動器單元。
圖11是當該VR/PC單元工作在一個現(xiàn)場顯示模式下,并且包括光標激發(fā)控制區(qū)域時,由該VR/PC單元所產(chǎn)生的一個屏幕顯示的一個打印。
圖12是當該VR/PC單元工作在一個回放模式下,并且包括光標激發(fā)控制區(qū)域時,由該VR/PC單元所產(chǎn)生的一個屏幕顯示的一個打印。
圖13是顯示在圖4中的一個模擬處理/復用電路板的一個原理框圖。
圖14是在圖4中顯示的一個數(shù)字/壓縮/分析電路板的一個框圖。
圖15表示在圖14中顯示的一個模擬到數(shù)字轉(zhuǎn)換,場緩沖器和視頻總線控制模塊的功能框圖。
圖16說明了在圖15中顯示的該模擬到數(shù)字轉(zhuǎn)換功能的一些細節(jié)。
圖17說明了在圖15中顯示的一個視頻數(shù)字化控制功能的一些細節(jié)。
圖17A使用流圖的形式圖示說明了在圖17中顯示的一個控制器邏輯框圖中執(zhí)行的處理。
圖18說明了在圖15中顯示的一個場緩沖器的一些細節(jié)。
圖19說明了在圖15中顯示的一個視頻輸出控制功能的一些細節(jié)。
圖20A和20B分別表示在該VR/PC單元中形成的視頻數(shù)據(jù)的一個圖象平面(場)的光柵掃描格式和矩形數(shù)據(jù)瓦片格式。
圖21圖示說明了該VR/PC單元所采用的一個矩形數(shù)據(jù)瓦片的格式。
圖22表示該VR/PC單元所采用的一個最小編碼單元(MCU)的格式。
圖23表示該VR/PC單元所采用的一個4∶1∶1顏色視頻數(shù)據(jù)格式。
圖24表示每一個MCU所使用的一個顏色數(shù)據(jù)格式。
圖25是在圖14所顯示的一個視頻總線上發(fā)送視頻數(shù)據(jù)的一第一模式的一個圖象表示。
圖26使用圖象的形式表示了在該視頻總線上發(fā)送視頻數(shù)據(jù)的一第二模式。
圖27使用圖象的形式表示了在該視頻總線上發(fā)送視頻數(shù)據(jù)的一第三模式。
圖28使用圖象的形式表示了用于在該視頻總線上發(fā)送的視頻數(shù)據(jù)的光柵掃描線的一個數(shù)據(jù)光柵。
圖29是在該視頻總線上被發(fā)送的視頻數(shù)據(jù)數(shù)據(jù)瓦片的一個格式的一個圖象表示。
圖30表示被包括在在該視頻數(shù)據(jù)總線上被發(fā)送的視頻數(shù)據(jù)場的頭中的頭數(shù)據(jù)比特的一個格式。
圖31使用功能框圖的形式表示在圖19中被顯示的一個輸出控制邏輯模塊所執(zhí)行的處理。
圖31A使用一個流圖的形式,表示由圖31的輸出控制邏輯模塊執(zhí)行的、用于形成場頭數(shù)據(jù)的處理。
圖31B使用流圖的形式,圖示說明了由圖31的輸出控制邏輯模塊執(zhí)行的、用于使用線和數(shù)據(jù)瓦片頭數(shù)據(jù)來控制線和數(shù)據(jù)瓦片輸出操作的處理。
圖32使用流圖的形式,圖示說明了由圖31的輸出控制邏輯模塊執(zhí)行的、用于產(chǎn)生視頻數(shù)據(jù)的光柵掃描線的處理。
圖33使用流圖的形式,圖示說明了由圖31的輸出控制邏輯模塊執(zhí)行的、用于形成視頻數(shù)據(jù)的矩形數(shù)據(jù)瓦片的處理。
圖34使用流圖的形式,圖示說明了由圖31的輸出控制邏輯模塊執(zhí)行的、用于產(chǎn)生視頻數(shù)據(jù)的光柵掃描線和矩形數(shù)據(jù)瓦片的一個交叉出現(xiàn)的序列的處理。
圖35是一個表示圖31的輸出控制邏輯模塊的操作的狀態(tài)機圖。
圖36是表示一個數(shù)字信號處理芯片和相應電路結(jié)構(gòu)的一個原理框圖,該數(shù)字信號處理芯片和相應電路結(jié)構(gòu)一起執(zhí)行對該視頻數(shù)據(jù)壓縮而言是視頻前端處理和初始處理的控制功能。
圖37使用框圖的形式,表示圖14的現(xiàn)場視頻數(shù)據(jù)分析處理模塊的特定細節(jié)。
圖38使用框圖的形式,圖示說明了圖14的現(xiàn)場顯示處理模塊的特定細節(jié)。
圖39是對圖36和14的控制DSP芯片的操作進行編程的主要軟件模塊的一個原理圖。
圖39A使用流圖的形式,表示該用于控制DSP的軟件的“改變數(shù)據(jù)瓦片”的地圖產(chǎn)生器模塊。
圖40是一個表示用于控制DSP的軟件的PCI接口驅(qū)動器模塊的流圖。
圖41A和41B一起形成一個表示用于控制DSP的該軟件的壓縮器管理模塊的流圖。
圖42使用流圖的形式,表示由該控制DSP所執(zhí)行的視頻數(shù)據(jù)數(shù)據(jù)瓦片比較功能。
圖43A是表示在本發(fā)明中所使用的一個視頻數(shù)據(jù)數(shù)據(jù)瓦片格式的圖象。
圖43B和43C使用圖象來表示將圖42A的該視頻數(shù)據(jù)數(shù)據(jù)瓦片格式分成四分之一,并且表示一個應用到每一個四分之一的數(shù)據(jù)元素的校驗器板子采樣模板。
圖44表示用于由圖14的前端處理板所產(chǎn)生的壓縮視頻數(shù)據(jù)的一個數(shù)據(jù)格式。
圖45表示控制顯示在圖3中的主板微處理器的工作的主要軟件部件的概略圖。
圖46A是表示該主板CPU軟件的系統(tǒng)指導器模塊的一個COM(部件對象模型)。
圖46B是表示該CPU軟件的其他部件的一般形式的一個COM。
圖47是一個表示用于該主板CPU的安全管理者軟件模塊的流圖。
圖48表示一個可以在由該主板CPU執(zhí)行的處理中時時被用具體的例子說明的典型的遠程對象。
圖49表示處理該主板CPU和圖5的VR/PC單元的物理前面板之間交互作用的一個軟件對象。
圖50使用流圖的形式,說明了用于主板CPU的一個建立管理者軟件模塊。
圖51圖示說明了視頻數(shù)據(jù)和該VR/PC單元在將視頻數(shù)據(jù)保存在其中的硬盤上時所使用的索引數(shù)據(jù)格式。
圖52使用流圖的形式,圖示說明了用于主板CPU的一個視頻保存處理軟件模塊。
圖53使用流圖的形式,圖示說明了用于該主板CPU的一個視頻搜尋處理軟件模塊。
圖54使用流圖的形式,圖示說明了圖53的“執(zhí)行搜尋”模塊。
圖55使用流圖的形式,圖示說明了由該主板CPU在執(zhí)行視頻回放操作時所執(zhí)行的處理。
圖56使用流圖的形式,圖示說明了圖55的“重新解壓縮器”模塊。
圖57使用流圖的形式,圖示說明了圖56的“解壓縮參考圖象”模塊。
圖58使用流圖的形式,圖示說明了圖55的“停止解壓縮器”模塊。
圖59使用流圖的形式,圖示說明了圖56的“解壓縮差異圖象”模塊。
圖60使用流圖的形式,圖示說明了與特定視頻數(shù)據(jù)塊相關的圖59的處理的部分。
圖61是在該VR/PC單元中使用的、用于重新組成一個壓縮視頻數(shù)據(jù)場的一個技術(shù)的一個圖象表示。
圖62A和62B分別圖示說明了用于刷新一個視頻顯示緩沖器和VR/PC單元的替代技術(shù)。
圖63A和63B分別圖示說明了可能要在該VR/PC單元中使用的較低分辨率和較高分辨率視頻數(shù)據(jù)保存和回放技術(shù)。
圖64是當該VR/PC單元的作用是提供一個反向回放功能時,一個用于重新組成壓縮視頻數(shù)據(jù)的一個技術(shù)的一個圖象說明。
圖65是圖64的該反向回放解壓縮技術(shù)的高程度流圖表示。
圖66使用流圖的形式,圖示說明了圖65的“建立后向歷史緩沖器”模塊。
圖67是作為該反向解壓縮處理的部分、被采用來解壓縮和重新編碼參考圖象數(shù)據(jù)的該過程的一個流圖表示。
圖68使用流圖的形式,圖示說明了圖67的“解壓縮&重新編碼數(shù)據(jù)瓦片”模塊。
圖69使用流圖的形式,圖示說明了對該主板CPU進行編程來與該前端處理電子裝置進行交互作用的一個軟件模塊的一個命令處理部分。
圖70是對該主板CPU進行編程來與該前端處理電子裝置進行交互作用的一個軟件模塊的狀態(tài)消息處理部分的一個流圖表示。
圖71是由該主板CPU對從該前端處理電子裝置發(fā)送到其上的視頻數(shù)據(jù)執(zhí)行的視頻數(shù)據(jù)處理的一個流圖表示。
圖72圖示說明了在該主板CPU開始將輸入視頻數(shù)據(jù)記錄在該VR/PC單元的一個硬盤上時,所執(zhí)行的處理。
圖73圖示說明了在存檔管理者軟件模塊處理搜尋請求時,所執(zhí)行的處理。
圖74使用流圖的形式,圖示說明了在該主板CPU將視頻數(shù)據(jù)記錄在一個可拆卸的存檔記錄媒質(zhì)和/或者從該可拆卸的存檔記錄媒質(zhì)中回放視頻數(shù)據(jù)時,所執(zhí)行的處理。
圖75圖示說明了,該主板CPU對一個告警條件的一個表示作出響應,由該主板CPU所執(zhí)行的處理。
圖76是作為一個對一個告警條件作出的標準響應被提供的、一個視頻數(shù)據(jù)場記錄時隙的時間序列的一個分配的一個圖象表示。
圖77使用流圖的形式,圖示說明了與該VR/PC單元的圖象處理設施特征一起,由該主板CPU執(zhí)行的處理。
圖78原理性地圖示說明了與該圖形用戶接口的操作一起的該主板CPU的操作。
圖79使用流圖的形式,圖示說明了對該主板CPU進行編程來選擇主要規(guī)劃選項的軟件。
圖80使用流圖的形式,圖示說明了在該主板CPU建立一個用于規(guī)劃該系統(tǒng)的操作的假期選擇時,由該主板CPU執(zhí)行的操作。
圖81是一個用于定義一個24小時日歷天間隔的“白天”與“夜晚”時期的屏幕顯示的一個圖形表示。
圖82使用流圖的形式,圖示說明了對該主板CPU進行編程來執(zhí)行在圖81中圖形顯示的白天/夜晚分配功能。
圖83使用流圖的形式,圖示說明了在該主板CPU規(guī)劃系統(tǒng)操作時,對該主板CPU進行編程來執(zhí)行選項選擇。
圖84使用流圖的形式,圖示說明了在該主板CPU產(chǎn)生用于控制預規(guī)劃的系統(tǒng)操作的描述的同時,對該主板CPU進行的編程。
圖85圖示說明了控制被預規(guī)劃的系統(tǒng)操作的一個隊列的一個數(shù)據(jù)格式。
圖86是圖示說明了由圖84的處理所產(chǎn)生的一個規(guī)劃描述表的類型。
圖87使用流圖的形式,圖示說明了對該主板CPU進行編程,以根據(jù)預設置的規(guī)劃參數(shù)來控制系統(tǒng)操作。
圖88使用總結(jié)的形式,圖示說明了在該主板CPU執(zhí)行一個典型的圖象分析算法中,由該主板CPU所執(zhí)行的操作。
圖89使用流圖的形式,圖示說明了圖88的圖象分析工具操作的選擇和建立部分。
圖90A-D是表示參數(shù)設置操作和在這里所公開的該系統(tǒng)中所提供的一個周長違反檢測圖象分析工具。
圖91使用一個流圖的形式,圖示說明了在執(zhí)行一個圖象分析以前所需的準備步驟。
圖92使用流圖的形式,圖示說明了對一個輸入視頻圖象所執(zhí)行的一個圖象分析算法的一個初始化階段。
圖93A圖示說明了圖14的前端視頻板的現(xiàn)場圖象分析處理器所執(zhí)行的處理,圖93B和93C是由視頻板控制器繼續(xù)執(zhí)行的相關處理步驟。
圖93D和93E使用流圖的形式,進一步圖示說明了由該現(xiàn)場圖象分析處理器繼續(xù)執(zhí)行的處理。
圖94是一個圖示說明被繼續(xù)執(zhí)行的初始化步驟以及被應用到一個再生的視頻圖象流的圖象分析的流圖。
圖95A-95C是圖示說明了由該主板CPU執(zhí)行的、用于將一個圖象分析算法應用到一個被再生的視頻流的處理的流圖。
圖96是在解釋對一個被再生的視頻流所執(zhí)行的一個曲線擬合分析中所使用的一個圖象說明。
圖97使用流圖的形式,圖示說明了將一個周長違反檢測圖象分析算法應用到一個被再生的視頻流的過程。
圖98使用流圖的形式,圖示說明了對一個事件的發(fā)生作出響應,激發(fā)一個現(xiàn)場視頻分析算法的過程。
圖99使用流圖的形式,圖示說明了在本發(fā)明的一個替代實施方式中所提供的一個視頻數(shù)據(jù)壓縮技術(shù)。
圖100使用流圖的形式,圖示說明了對根據(jù)圖99的處理被壓縮的數(shù)據(jù)所執(zhí)行的一個解壓縮技術(shù)。
圖101A和101B使用流圖的形式,圖示說明了允許一個用戶來調(diào)節(jié)視頻顯示時間分辨率和/或者空間分辨率的設置的系統(tǒng)操作。
圖102使用流圖的顯示,圖示說明了允許一個用戶來調(diào)節(jié)視頻數(shù)據(jù)壓縮參數(shù)的該系統(tǒng)的操作。
圖103A-103C是圖示說明系統(tǒng)操作和將圖象分析算法從一個系統(tǒng)裝置下載到另一裝置的流圖。
圖104是圖示說明對被一個現(xiàn)場視頻分析算法所檢測到的一個條件作出響應,選擇性地發(fā)送一個輸入視頻流的一個流圖。
圖105是圖示說明對被一個現(xiàn)場視頻分析算法所檢測到的一個預定特征作出響應,改變攝像機流保存序列的一個流圖。
圖106使用流圖的形式,圖示說明了對被一第一現(xiàn)場視頻分析算法所檢測到的一個預定特征作出響應,激發(fā)一第二現(xiàn)場視頻流分析算法的過程。
圖107是對檢測到一個告警條件作出響應,圖示說明自動改變一個視頻數(shù)據(jù)壓縮參數(shù)的一個流圖。
圖108是對被一個現(xiàn)場視頻分析算法所檢測到的一個預定條件作出響應,圖示說明一個被自動激發(fā)的軟件縮小視圖的操作的一個流圖。
圖109是對被現(xiàn)場視頻分析所檢測到的一個預定條件作出響應,圖示說明該系統(tǒng)來自動激發(fā)一個視頻攝像機的一個運動的操作的一個流圖。
圖110是當兩個不同的現(xiàn)場視頻分析算法檢測到相應的移動條件時,圖示說明該系統(tǒng)采取一個預定動作的操作的一個流圖。
圖111是當提供該視頻流的該攝像機在移動時或者檢測到一個告警條件時,圖示說明該系統(tǒng)來禁止現(xiàn)場視頻流分析的操作的一個流圖。
圖112是圖示說明該系統(tǒng)來保存表示產(chǎn)生一個輸入視頻流的一個攝像機在移動的頭數(shù)據(jù)的操作的一個流圖。
圖112A是圖示說明該系統(tǒng)的、禁止將一個圖象分析算法應用到被一個移動攝像機所產(chǎn)生的一個被再生視頻流的操作的一流圖。
圖113是當檢測到一個告警條件時,圖示說明該系統(tǒng)來增加集合場吞吐速率的操作的一個流圖。
圖114是圖示說明該系統(tǒng)提供對不同的輸入視頻數(shù)據(jù)流是不同的壓縮參數(shù)的操作的一個流圖。
圖115是圖示說明根據(jù)是否檢測到一個告警條件,該系統(tǒng)來改變一個顯示緩沖器更新技術(shù)的操作的一個流圖。
圖116是圖示說明關于視頻數(shù)據(jù)流的記錄,再生和存檔的優(yōu)先級的一個流圖。
圖117A和117B是分別圖示說明該系統(tǒng)的替代存檔操作模式的流圖。
圖118是圖示說明該系統(tǒng)減少輸入視頻信號被保存的速率來防止過度運行一個存檔操作的操作的一個流圖。
圖119是圖示說明該系統(tǒng)保存與前面被存檔的視頻信號相關的數(shù)據(jù)的操作的一個流圖。
圖120是圖示說明一個自動攝像機診斷功能的操作的一個流圖。
圖121是圖示說明該系統(tǒng)提供一個顯示給該用戶的系統(tǒng)狀態(tài)的操作的一個流圖。
圖122是圖示說明該系統(tǒng)自動地搜尋和顯示與一個當前被顯示的再生視頻流同時產(chǎn)生的一個再生視頻流的操作的一個流圖。
圖123使用一個流圖的形式,圖示說明了該系統(tǒng)同時記錄輸入視頻信號和顯示一再生的視頻圖象流的操作。
圖124是圖示說明該系統(tǒng)同時顯示兩個被再生的視頻圖象流的操作的一個流圖。
圖125是圖示說明該系統(tǒng)將視頻數(shù)據(jù)索引信息同時記錄在兩個不同的硬盤上的操作的一個流圖。
圖126是圖示說明該系統(tǒng)為以一個其隨時間而下降的速率被記錄的一個視頻圖象流提供預告警緩沖的操作的一個流圖。
圖127是說明該系統(tǒng)根據(jù)被再生的視頻信息的一個機器分析,來改變和/或者補充視頻數(shù)據(jù)頭信息的操作的一個流圖。
圖128(a)和(b)一起圖示說明了一個用戶可操作的圖象增強設施。
圖129是被提供給一個用戶的、與搜尋被記錄的視頻信息相關的一個屏幕顯示。
圖130是被提供給一個用戶的、與搜尋被記錄的視頻信息相關的一個屏幕顯示。
圖131是被提供給一個用戶的、與搜尋被記錄的視頻信息相關的一個屏幕顯示。
圖132是被提供給一個用戶的、與搜尋被記錄的視頻信息相關的一個屏幕顯示。
圖133是被提供給一個用戶的、與搜尋被記錄的視頻信息相關的一個屏幕顯示。
圖134是被提供給該用戶,來允許該用戶選擇一個建立操作的一個屏幕顯示。
圖135是被提供給該用戶,來允許該用戶選擇一個視頻數(shù)據(jù)記錄模式的一個屏幕顯示。
圖136是被提供給該用戶,來允許該用戶選擇一個視頻數(shù)據(jù)記錄模式的一個屏幕顯示。
圖137是被提供給該用戶,來允許該用戶登錄到該系統(tǒng)的一個屏幕顯示。
圖138是被提供給一個用戶,來允許該用戶將一個被授權(quán)的用戶加到該系統(tǒng)的一個屏幕顯示。
圖139是被提供給一個用戶,來允許選擇要被一個被授權(quán)用戶訪問的系統(tǒng)功能的一個屏幕顯示。
圖140是被提供給一個用戶,來允許選擇要被一個被授權(quán)用戶訪問的系統(tǒng)功能的一個屏幕顯示。
圖141是被提供給一個用戶,來允許選擇要被一個被授權(quán)用戶訪問的系統(tǒng)功能的一個屏幕顯示。
圖142是被提供給一個用戶,來允許選擇要被一個被授權(quán)用戶訪問的系統(tǒng)功能的一個屏幕顯示。
圖143是被提供給一個用戶,來允許選擇要被一個被授權(quán)用戶訪問的系統(tǒng)功能的一個屏幕顯示。
圖144是被提供給該用戶,來構(gòu)造該系統(tǒng)的安全功能的一個屏幕顯示。
圖145是被提供給一個用戶,來允許該用戶將名字分配到與該系統(tǒng)相連的攝像機的一個屏幕顯示。
圖146是被提供給該用戶,來允許該用戶將名字分配到由該系統(tǒng)提供的告警信號輸出的一個屏幕顯示。
圖147是被提供給一個用戶,來允許該用戶將名字分配到可以由該系統(tǒng)接收的告警信號輸入的一個屏幕顯示。
圖148是被提供給該用戶,來允許該用戶在一些該系統(tǒng)可以執(zhí)行的設施功能中進行選擇的一個屏幕顯示。
圖149是向該用戶提供系統(tǒng)狀態(tài)信息的一個屏幕顯示。
圖150和圖151是被提供給該用戶,來允許該用戶將視頻顯示窗口分配到與該系統(tǒng)相連的多個攝像機的屏幕顯示。
圖152是被提供給該用戶,來允許該用戶指定作為用于規(guī)劃系統(tǒng)操作模式的假期的日歷日期的一個屏幕顯示。
圖153是被提供給該用戶,來允許該用戶調(diào)節(jié)關于一個圖象分析算法的參數(shù)的一個屏幕顯示,其中該圖象分析算法用于檢測由一個視頻圖象流所表示的一個場景的亮度的變化。
圖154是被提供給該用戶,來允許該用戶調(diào)節(jié)關于一個圖象分析算法的參數(shù)的一個屏幕顯示,其中該圖象分析算法用于檢測在由一個視頻圖象流所表示的一個場景中的運動。
圖155是被提供給該用戶,來允許該用戶調(diào)節(jié)關于一個圖象分析算法的參數(shù)的一個屏幕顯示,其中該圖象分析算法用于檢測一個運動物體是否已經(jīng)通過了一個周長邊界。
圖156是被提供給一個用戶,來允許該用戶調(diào)節(jié)關于一個圖象分析算法的參數(shù)的一個屏幕顯示,其中該圖象分析算法用于檢測一個感興趣的物體的遷移。
圖157是被提供給一個用戶,來允許該用戶定義用于預規(guī)劃系統(tǒng)操作模式的一個假期列表的一個屏幕顯示。
圖158是被提供給該用戶,來允許該用戶為多個攝像機中的每一個規(guī)劃記錄模式的一個屏幕顯示。
圖159是被提供給一個用戶,來允許該用戶定義關于被預規(guī)劃的系統(tǒng)操作模式的規(guī)劃周期的一個屏幕顯示。
圖160是被提供給一個用戶,來允許該用戶定義關于被預規(guī)劃的系統(tǒng)操作模式的規(guī)劃周期的一個屏幕顯示。
圖161是被提供給一個用戶的,與在圖128(a)和(b)中圖示說明的該圖象增強設施的操作相關的一個屏幕顯示。
圖162是被提供給該用戶,來允許該用戶命令該系統(tǒng)丟棄與一個圖象平面中一個被用戶選擇的部分相應的視頻數(shù)據(jù)的一個屏幕顯示。
圖163是一個與圖11類似的現(xiàn)場顯示屏幕格式,除了該屏幕的一個現(xiàn)場視頻區(qū)域被分成一個四分之一結(jié)構(gòu)以外,并且其中每一個顯示窗口有記錄表示。
圖164是被提供給一個用戶的、與選擇一個存檔操作模式相關的一個屏幕顯示。
圖165是圖164的顯示的一個替代格式。
圖166是被提供給該用戶的、與搜尋被保存在一個可拆卸存檔記錄媒質(zhì)上的視頻數(shù)據(jù)相關的一個屏幕顯示。
圖167是被提供給該用戶的,來允許訪問前面被記錄在可拆卸存檔記錄媒質(zhì)上的一個索引信息數(shù)據(jù)庫的一個屏幕顯示。
圖168是被提供給該用戶的,來更新安裝有該VR/PC單元的一個存檔媒質(zhì)驅(qū)動器裝置列表的一個屏幕顯示。
圖169是被提供給該用戶的,來允許選擇一個要用于搜尋被保存在該VR/PC單元中的該視頻數(shù)據(jù)庫的圖象分析算法的一個屏幕顯示。
圖170是與圖169所示的一個屏幕顯示類似的一個屏幕顯示,但是還說明了可以被該用戶選擇的一個下拉式菜單列表圖象分析算法。
圖171和172是允許該用戶選擇,與被預規(guī)劃的系統(tǒng)操作模式相關的,要被應用到一個現(xiàn)場輸入視頻流的一個圖象分析算法的屏幕顯示。
圖173是對激發(fā)在圖161中提供的一個“打印”選項作出響應,所產(chǎn)生的一個硬拷貝屏幕打印的一個示例。
IVIM系統(tǒng)綜述圖1表示了一個由總標號500所表示的、視頻信息智能管理(IVIM)系統(tǒng)的一個概觀。該系統(tǒng)500跨越了多個位置和多個商業(yè)公司。例如,該商業(yè)公司可能包括一個多分支銀行502和一個多位置的零售商504。該銀行502和該零售商504分別由IVIM系統(tǒng)506和508提供服務,這兩個IVIM系統(tǒng)506和508相互之間是準獨立的,但是至少與由一個安全服務組織512所提供的一個主節(jié)點設施510進行選擇性的相互作用。例如,該服務組織512可能提供安裝和服務視頻信息智能管理系統(tǒng)和其他視頻安全系統(tǒng)。
優(yōu)選地,該主節(jié)點510的形式是一個能夠為IVIM系統(tǒng)506和508提供支持功能和可下載的軟件資源的一個主計算機。盡管圖1僅顯示了兩個商業(yè)公司IVIM,但是仍然希望該主節(jié)點510能夠支持大量其中每一個保持有它自己的IVIM系統(tǒng)的商業(yè)公司。該商業(yè)公司可能跨越整個美國(例如)以及其他國家并且在整個美國的所有地方以及其他國家均有分支機構(gòu)??梢韵胂?,這里所公開的該系統(tǒng)除了用于銀行和零售商以外還用于許多其他類型公司中。
如圖1所示,IVIM系統(tǒng)506和508中的每一個包括一個為相應IVIM系統(tǒng)提供監(jiān)督和管理功能的本地節(jié)點514。每一個本地節(jié)點514經(jīng)過一個相應數(shù)據(jù)通信信道516與該主節(jié)點510相連。例如,每一個數(shù)據(jù)通信信道516可能由一個專用通信信道組成,或者該信道516可能被根據(jù)一個基于撥號的請求來建立。優(yōu)選地,該本地節(jié)點514使用標準的個人計算機硬件和軟件來實現(xiàn),并增加了很多新軟件,關于新軟件的能力將在下面來討論。
每一個IVIM系統(tǒng)的關鍵部件是通過數(shù)據(jù)通信路徑519與相應本地節(jié)點516相連的視頻分析和保存單元518。每一個單元518的上面連接有一個或者多個、被表示為攝像機520-1到520-N的視頻攝像機。每一個視頻分析和保存單元518提供對由連接到其上的視頻攝像機520所產(chǎn)生的視頻信息流的保存,分析和選擇性的檢索。
連接到每一個單元518的視頻攝像機的數(shù)目對每一個分析和保存單元而言是不同的。例如,該攝像機的數(shù)目可以是從1到12甚至更多。如將要被看到的,該單元518的一個優(yōu)選實施方式將支持數(shù)目多到16的視頻攝像機。
還應該被認識到的是,每一個IVIM系統(tǒng)中的分析和保存單元518的數(shù)目也是不同的。盡管在圖1中,僅顯示了每一個IVIM系統(tǒng)包含2個或者3個單元518的情形,但是每一個商業(yè)公司中的分析和保存單元的實際數(shù)目可以是幾十個或者更高。
與每一個分析和保存單元518相關的是如由點線框522所表示的、在視頻安全系統(tǒng)中所發(fā)現(xiàn)的典型其他部件。該與每一個單元518相關的其他安全部件522可能對每一個單元來說是不同的。一個這種其他部件的例子被示例與圖1的左下角落中,并且包括兩個視頻顯示監(jiān)視器524,多個可以被機械激發(fā)的告警傳感器526,和一個攝像機控制裝置528。
分別由該視頻攝像機520產(chǎn)生的和在該分析和保存單元518中所接收的視頻信號流被選擇性地從該單元518中引導出來以顯示在該監(jiān)視器524上。如將要被看到的,可以使用多種格式,包括全屏幕,或者僅占據(jù)該圖象平面的一部分的窗口來顯示該信號。多個顯示窗口可以被形成在一個或者兩個顯示器524上,以使多個視頻流被同時顯示在一單個視頻顯示器524上。優(yōu)選地,顯示器524是傳統(tǒng)的顯示器,例如來自NEC公司的NTSC監(jiān)視器模型JC-1215MA和/或者來自松下公司的SVGA監(jiān)視器模型C1591E。這里所公開的新系統(tǒng)的該分析和保存單元518所提供的一個優(yōu)點是該單元518執(zhí)行在傳統(tǒng)視頻監(jiān)視系統(tǒng)中由一個視頻開關所執(zhí)行的視頻流分布式功能。所以,在該IVIM系統(tǒng)的一個實際實施方式中,在“其他安全系統(tǒng)部件”522中不需要包括視頻開關。
優(yōu)選地,該告警傳感器526是傳統(tǒng)的、用于檢測例如打開或者關閉門,窗,顯示器外殼等等事件,并且用于產(chǎn)生表示這種事件和告警信號的信號的傳感器。該告警信號被提供到該分析和保存單元518和被提供到攝像機控制裝置528。
例如,該攝像機控制單元528可以是一個傳統(tǒng)的裝置,例如可以從這個申請的受讓人處買到的“TOUCHTRACK’R”攝像機控制墊。該攝像機控制裝置528和該分析和保存單元518被連接起來,用于在它們之間交換數(shù)據(jù)消息。
這里假定一些視頻攝像機520是可以移動的。即,一些攝像機520是傳統(tǒng)的攝像機,例如由這個申請的受讓人所銷售的圓頂(dome)攝像機,它有一個隨控制信號而調(diào)節(jié)的視野的方向。視頻攝像機520中的可移動攝像機還包括可以沿一個軌道移動的攝像機。典型地,在可移動的攝像機中,其縮放和聚焦設置也是由控制信號控制的。如530所表示的,該攝像機控制裝置528被組織成來向該視頻攝像機520中可移動的攝像機提供控制信號。
還假定,對于視野而言,視頻攝像機520中的一些攝像機是固定。應該理解,可以想象所有與一個特定分析和保存單元518相連的攝像機是可以被移動的,或者所有攝像機可以是固定的。
如532所表示的,該分析和保存單元518和該攝像機控制裝置528被連接在一起來相互交換數(shù)據(jù)??梢赃@樣來組織該攝像機控制裝置528,以使或者對來自告警傳感器526的輸出作出響應,或者對來自該分析和保存單元518的一個數(shù)據(jù)消息作出響應,控制信號經(jīng)過控制信號路徑530自動地被發(fā)送到該可以移動的攝像機520中一個被選擇的攝像機,以對由該告警傳感器526所檢測的一個事件或者由該分析和保存單元518所檢測的一個事件作出響應,該可移動攝像機被自動地進行定位。
上面描述的附加部件結(jié)構(gòu)522僅是一個示例,并且可以對其進行許多變化。例如,監(jiān)視器的數(shù)目可以被減少到一個或者增加到比2大的一個數(shù)。作為另一個可能性,可以省略該告警傳感器526和該攝像機控制裝置528。特別地,可以理解,如果所有攝像機520是固定的,將不需要任何攝像機控制裝置528。其他外圍裝置,例如打印機可以被提供,并且還可以提供告警顯示裝置,例如閃爍的燈,警報器或者類似的裝置。除了那些被包括在該分析和保存單元518中的裝置以外,還可以提供輔助數(shù)據(jù)保存裝置。
在該附加部件522中還可以包括由這個申請的受讓人所銷售的、商標是POS/EM的一個銷售點異常監(jiān)測(Point of Sale ExceptionMonitoting)系統(tǒng)。
除了前面已經(jīng)被描述的、位于該本地節(jié)點514與相關分析和保存單元518之間的通信鏈路以外,在該主節(jié)點510與該分析和保存單元518之間,還可以有如534所表示的直接通信鏈路。該數(shù)據(jù)鏈路可以由傳統(tǒng)的專用線路,撥號連接,衛(wèi)星,LAN,WAN和/或者通過互聯(lián)網(wǎng)絡來形成。如果使用了該互聯(lián)網(wǎng)絡,優(yōu)選地,這些節(jié)點和保存單元被組織成支持“流”協(xié)議,以進行有效的數(shù)據(jù)傳輸。
VR/PC單元綜述圖2提供了該視頻分析和保存模塊518的一個功能綜述。一個在下面將要被詳細描述的主單元550提供了一個控制功能552,一個分析功能554,一個保存功能556,一個存檔功能558和一個視頻處理功能560。
到該單元550的輸入包括來自該攝像機520(圖1)的視頻輸入562和附加輸入564,例如由告警傳感器526(圖1)所提供的該告警條件檢測信號。
繼續(xù)參考圖2,用于該主單元550的用戶控制信號可以由一個光標定位和特征選擇裝置566來提供。優(yōu)選地,該裝置566是一個傳統(tǒng)的鼠標,例如那些可以從微軟公司買到的鼠標,但是該裝置可以用一個跟蹤球,觸摸屏幕,光筆,等等來替代。該單元550的一個優(yōu)選實施方式還包括一個包括一些由該用戶操作的開關的前面板(沒有被顯示在圖2中)。
來自該單元550的輸出包括通過一個視頻顯示緩沖器570被提供到一個顯示單元524的現(xiàn)場視頻數(shù)據(jù)568。該單元550的另一個輸出是一個如572所表示的再生視頻信號。盡管顯示的該再生視頻輸出572與該現(xiàn)場視頻輸出568是獨立的,但是應該理解,該被再生的視頻可以被通過視頻顯示緩沖器570被發(fā)送,以被顯示在該視頻顯示單元524上。來自該單元550的另一個輸出包括控制信號574和被再生的視頻數(shù)據(jù)和伴隨的索引信息,如576所表示,以被保存在外部保存裝置上。這類裝置(圖中未示出)可以包括數(shù)字或者模擬磁帶記錄器,僅寫一次的或者可讀寫視頻磁盤記錄器,和/或者DVD記錄器,這些裝置是被專用線或者被一個撥號線路連接到該主單元550。
數(shù)據(jù)通信鏈路578提供了該主單元550和其他計算機裝置之間的數(shù)據(jù)通信,并且包括,例如如圖1所示的通信信道516,519,和534。盡管沒有被顯示在該圖中,一個傳統(tǒng)調(diào)制解調(diào)器可以被包括到該VR/PC單元中在或者被連接到該VR/PC單元。
圖3圖示說明了該主單元550的硬件結(jié)構(gòu)。如圖3所示的該單元550包括了提供PC和視頻記錄能力的全新結(jié)合的獨特的硬件和軟件特征,所以可以被稱作一個‘VR/PC’(視頻記錄器/PC)單元。除了新的視頻數(shù)據(jù)壓縮和記錄技術(shù)以外,該VR/PC單元550執(zhí)行以前沒有被提供的數(shù)據(jù)管理,路由和分析功能。該VR/PC單元550還實現(xiàn)了獨特的用戶接口特征,它能夠使該用戶可以方便地選擇和操作該單元的能力。
該VR/PC單元550包括一個主板580,前端視頻處理和視頻數(shù)據(jù)壓縮硬件582,一個后面板584和一個前面板586(圖5和圖6)。
如圖4的、有點原理性的圖示說明,該前端視頻處理和視頻數(shù)據(jù)壓縮硬件582由兩個獨立的印刷線路板組成一個模擬處理/復用板588,它接收直接來自該后面板584的視頻信號,和一個連接在該模擬板588和該主板580之間的一個數(shù)字化/壓縮/分析板590。
在本發(fā)明的一個替代實施方式中,該數(shù)字化/壓縮/分析部件板590被安排在連接在該模擬板588和該主板580之間的兩個獨立的PWB上。
再一次參考圖3,優(yōu)選地,該主板580的結(jié)構(gòu)類似于標準個人計算機主板,并且是整個被標準化并且是商業(yè)上可用的部件。這樣,盡管有新的前端電子部件,該VR/PC硬件基本上是作為一個標準PC平臺被實現(xiàn)的,如下面將要被詳細描述的。在該主板558上的部件包括一個微處理器592,其功能與一個CPU相同。優(yōu)選地,該微處理器592是一個Intel公司所產(chǎn)生的、工作在100兆赫并且工作在Windows95操作系統(tǒng)下的奔騰P5-120C??梢允褂闷渌幚砥?,包括那些工作在高速的處理器。一個根據(jù)PCI標準的總線594,將該CPU592與在該主板580上的其他部件進行互聯(lián)。如596所表示的,該PCI總線594被擴展成將該主板580與該前端電子部件582進行互聯(lián)。在該主板580上的其他部件包括一個程序存儲器ROM598,和一個工作存儲器602。在一個優(yōu)選實施方式中,工作存儲器602由16兆字節(jié)的RAM組成。
還被提供在該主板580上的是一個SVGA芯片組604,它可以是由Cirrus Logic公司銷售的“Alpine”芯片組。一個SVGA視頻數(shù)據(jù)輸入路徑606被直接從該前端電子部件582提供到該SVGA芯片組604。該SVGA芯片組提供一個輸出608來驅(qū)動一個或者多個SVGA監(jiān)視器。(一個NTSC輸出被直接從該前端電子部件提供來驅(qū)動NTSC監(jiān)視器。如果(由傳統(tǒng)裝置,沒有被示出)檢測到出現(xiàn)了一個NTSC監(jiān)視器,然后該SVGA輸出可以被關閉。)該主板580還包括一些串口612,來處理在該主板與附加裝置之間的數(shù)據(jù)通信。該附加裝置可能包括上述告警傳感器,以及告警顯示,電子控制門鎖,傳統(tǒng)POSEM(銷售點異常監(jiān)測point of sale exceptionmonitoring)裝置等等。一個鼠標口614被包括在該主板580上,以從該鼠標566(圖6)接收用戶激發(fā)的控制信號。繼續(xù)參考圖3,在該主板580上提供了一個并行口616,作為一個用于驅(qū)動一個報告打印機(沒有被顯示)的數(shù)據(jù)源。還與該主板580連接的是一個傳統(tǒng)的軟盤驅(qū)動器618,它優(yōu)選地被組織成來接受31/2英寸磁盤。
還被提供在該主板580上的是一個IDE(集成驅(qū)動器電子部件)控制器620,它向多個IDE硬盤驅(qū)動器622提供一個接口并且被安裝在該VR/PC單元550中。該硬盤驅(qū)動器622提供了對視頻數(shù)據(jù),索引信息,程序等等進行大容量保存的能力。該VR/PC單元的優(yōu)選實施方式包括兩個,三個或者多個硬盤驅(qū)動器622。一個用于該VR/PC單元550的合適硬盤驅(qū)動器單元是Western Digital公司所提供的“Caviar”2或者2.5吉字節(jié)驅(qū)動器。還可以使用來自Seagate或者其他供應商的硬盤驅(qū)動器。
在該主板580上還提供了一個SCSI接口624。一個DAT(數(shù)字音頻磁帶)驅(qū)動器626通過該SCSI接口624與該主板580相連,并且組成用于該VR/PC單元的主要存檔媒質(zhì)驅(qū)動器裝置。該DAT驅(qū)動器可以,例如,是一個在一個4毫米×90米的磁帶上保存2吉字節(jié)數(shù)據(jù)的Sony model SDT-700/BM。還可以使用其他已知的DAT記錄器??梢韵胂螅薉AT驅(qū)動器626以外,可以使用其他存檔媒質(zhì)驅(qū)動器裝置,或者替代DAT驅(qū)動器626。例如,可以使用一個數(shù)字視頻磁盤(DVD)裝置或者一個線性數(shù)字磁帶驅(qū)動器。
通過該SCSI接口624所提供的還有一個SCSI輸出口628。
圖5和圖6圖示說明了該VR/PC單元550的物理外觀。圖5說明了具有一個前正視圖632的一個注塑機架630,它包括該前面板586和一個可以繞軸旋轉(zhuǎn)的擋灰塵板634。被顯示在圖5和圖6的、位置狀態(tài)處于閉合的該擋灰塵板634可以選擇性地由用戶來打開,以允許拿出和放入被包含在該機架630中的該軟盤和DAT驅(qū)動器。
作為對被顯示在圖5中的該獨立機架結(jié)構(gòu)的一個替代結(jié)構(gòu),可以想象來提供安裝了適合于架裝的硬件的一個機架。
被提供在該前面板586上的這些開關636,允許用戶來控制該VR/PC單元的許多功能。這些開關636包括顯示格式開關638,640,642和644。如在這四個開關上的文字說明所表示的,該用戶可以使用這些開關來在能夠?qū)?,4,9或者16個圖象流顯示在該監(jiān)視器或者多個監(jiān)視器上的顯示格式中進行選擇。開關646允許該用戶來選擇提供表示該VR/PC單元的狀態(tài)的信息的一個顯示屏幕,開關648允許該用戶選擇一種操作模式,這種操作模式允許一次出現(xiàn)多個視頻流但根據(jù)一預定序列出現(xiàn)。
該前面板586還在其上安裝了標為“1”到“16”的、攝像機選擇開關650。當被激發(fā)時,每一個攝像機選擇開關650來將目前被該相應視頻攝像機所產(chǎn)生的視頻信號顯示在該監(jiān)視器上。與每一個攝像機選擇開關650相關的是一個相應LED652,當來自該相應攝像機的現(xiàn)場信號被顯示時,該LED652就發(fā)光。該前面板586上還安裝有一個LED652,當該VR/PC單元正在記錄一個或者多個由該攝像機520所產(chǎn)生的輸入視頻信號時,該LED652就發(fā)光。
另一個被安裝在該前面板586上的LED656是用于表示已經(jīng)檢測到一個告警條件(或者經(jīng)過該傳感器526,或者由在該VR/PC單元中所執(zhí)行的圖象分析)。一個告警開關658鄰近該告警指示器656并且可以被該用戶激發(fā)以促使該系統(tǒng)來顯示關于該被檢測到的告警和一些告警的信息。
另一個被安裝在該前面板586上的顯著特征是一個慢往返移動開關660。該慢往返移動開關660在外觀上,操作方面和功能上與被提供在傳統(tǒng)的VCR上的開關類似,并且是用于控制對被保存在該VR/PC單元550內(nèi)的該硬盤驅(qū)動器或者一些驅(qū)動器上的視頻圖象流的回放的。
該慢往返移動開關660被組織成來允許該用戶控制這樣一些眾所周知的回放特征,例如前向回放,后向回放,和暫停(靜止圖象)回放。優(yōu)選地,與該慢往返移動開關660被順時鐘旋轉(zhuǎn)或者逆時針旋轉(zhuǎn)的不同數(shù)量相應,提供了至少兩個前向回放,后向回放的速率。優(yōu)選地,在被該用戶釋放以后,該慢往返移動開關660自動地回到一個“中性”位置,并且回放或者重繞的速率繼續(xù)是由最后一次對該開關660的操作所選擇的一個速率。
對該前面板的整體布局進行總結(jié),從左到右,定義了四個區(qū)域區(qū)域1兩行具有相關攝像機選擇指示器652(也形成兩行)的攝像機選擇開關650(每行8個開關),并且還包括該記錄指示器650;區(qū)域2告警指示器656和選擇開關658;區(qū)域3慢往返移動開關660;和區(qū)域4顯示控制開關638-648。
如將要看到的,在形成被該VR/PC單元550所支持的圖形用戶接口(GUI)的部分的鼠標激發(fā)屏幕顯示器上,提供了模擬該前面板586的、一個基本上類似的開關和指示器布局。圖11和12顯示了這種屏幕顯示器的示例并且將進一步在下面進行討論。
根據(jù)另一個實施方式,在該VR/PC單元中,所有顯示在該前面板586上的開關,LED和其他特征均可以被省略,以使僅通過鼠標激發(fā)屏幕顯示器來控制該VR/PC單元。
在該后面板584的上面靠中間的區(qū)域中,有16個視頻輸入口,它們被排列成兩行,每行8個,并且用標號662來表示。在該視頻輸入口662的下面是16個環(huán)路輸出口(它們也被排列成兩行,每行8個),由標號664表示。所有輸入口662和輸出口664是用于模擬視頻的。在口662和664下面的一行中,從左到右有一個串口666,一個打印機(并行)口668,一個SVGA(數(shù)字視頻)輸出口670和一個SCSI口672。與該輸入視頻口662相鄰的有一個附加(模擬)視頻輸出口674。
在該后面板584的上面靠左的部分中,有一個多位置連接器插口676,來允許該VR/PC單元與其他裝置進行連接以進行數(shù)字通信。在該數(shù)據(jù)通信口676的下面是一個電源輸入插座678和一個環(huán)路電源輸出插座680。與該電源插座678和680相鄰的是一個通風口682。在該后面板584的右側(cè)是三個擴展槽684。
媒質(zhì)驅(qū)動器支持結(jié)構(gòu)一個有效的和緊湊的媒質(zhì)驅(qū)動器支持結(jié)構(gòu)被安裝在該VR/PC單元550的機架630中?,F(xiàn)在將參考圖8-10來描述該媒質(zhì)驅(qū)動器支持結(jié)構(gòu)并且參考圖8中的標號700來一般表示該媒質(zhì)驅(qū)動器支持結(jié)構(gòu)。
該支持結(jié)構(gòu)700的主要部件是一個基礎支持件702,一個中間支持件704,和一個項支持件706。
如從該圖9的解析圖可以看到的,該基礎支持件702的橫截面基本上是U形狀,該中間支持件704基本上是平的,該頂支持件706基本上是一個反U形狀。當組裝該支持結(jié)構(gòu)700時,該基礎支持件702上放置該中間支持件704,依次地,該中間支持件704上放置該頂支持件706。優(yōu)選地,將彎曲和沖壓操作應用到金屬片來形成所有支持件702,704,706。
該基礎支持件702包括一個基本上平的基礎板部分708。除了在該板708的平面中、從該基礎板708的一個后側(cè)712的一個部分向后擴展的一個擴展部分710以外,該基礎板708基本上是矩形的。在該板708的相對兩端,垂直側(cè)壁714和716被形成并且從該基礎板708向上擴展。定位螺栓718被安裝在該基礎板708右側(cè)的一個區(qū)域。該螺栓718是用于固定一個DAT驅(qū)動器單元在該基礎支持件702上的被安裝位置的。在該基礎板708的一前面?zhèn)龋纬闪艘粋€彎曲的突出部分720。通過剪切部分722,在該基礎板708的相應后面部分形成了一些附加的突出部分720。(在圖9的視圖中,這些附加的突出部分720中的一個和它的相應剪切部分722被該側(cè)壁716和豎立件726所封閉)。該突出部分720的形狀被調(diào)節(jié)成能插入到形成在該VR/PC單元的底盤(沒有示出)上的橋形撞桿中。通過這些橋形撞桿和該突出部分720,結(jié)果整個媒質(zhì)驅(qū)動器支持結(jié)構(gòu)(其中安裝了一些驅(qū)動器)被安全地安裝在該VR/PC單元的機架630中。
在該基礎板708的擴展部分710的左半部分有一個凸起的存取口724。該凸起的存取口724的作用是允許插入一個固定器例如一個螺栓來使該基礎板708安全地連接到該VR/PC單元的底盤上的一個針形螺母(沒有示出)。一個豎立件726被固定在該基礎板708的一左半部分。多個定位螺栓728(其中圖8僅顯示了一個螺栓)被提供在該豎立件726上,以安排要被該豎立件726所支持的一個軟盤驅(qū)動器單元的位置。當組裝了該驅(qū)動器支持結(jié)構(gòu)700時,如圖8和10,在該豎立件726的上表面和該中間支持件704的下表面之間的空間提供了與一個標準驅(qū)動器單元形狀因素的一半相應的一個形狀因素,并且適合于容納一個標準的軟盤驅(qū)動器。
再來參考圖9,該基礎支持件702的右側(cè)壁714的上面形成有3個槽,它們水平地延伸到靠近該側(cè)壁714的上邊緣的位置。該基礎支持件702的左側(cè)壁716有一個上邊緣734,從該上邊緣,多個短突出部分736分別從該上邊緣734的前面和后面部分垂直地向上延伸。一個固定器突出部分738水平地從該側(cè)壁716的上邊緣734的中間部分向外延伸。在該突出部分738上有一個孔740,以允許通過該突出部分738插入一個固定器。再參考圖9,該中間支持件704上有8個螺栓742,這8個螺栓被排列成兩組,每組有4個螺栓,每組的4個螺栓是用于來固定一個相應的硬盤驅(qū)動器單元。
在該中間支持件704的下面是壓力墊744(用陰影部分表示)。當該支持結(jié)構(gòu)位于其組裝的狀態(tài)下,如圖10所示,并且其中還安裝了驅(qū)動器單元時,該壓力墊744分別向一個DAT驅(qū)動器單元746和一個軟盤驅(qū)動器單元748施加一個向下的壓力,以將這些驅(qū)動器單元保持在該驅(qū)動器支持結(jié)構(gòu)700中。優(yōu)選地,該壓力墊744是一個有彈性的人造橡膠材料。
被沖壓出來的固定器突出部分749從該中間支持件704的4個角的位置向上延伸。在該突出部分749上的孔允許插入多個螺栓,來將安裝在該支持件704上的硬盤驅(qū)動器單元固定在該中間支持件704上。一個U形托架751是用于經(jīng)過在該中間支持件704的中心部分的一個固定器753來提供連接的。該托架751能夠幫助將安裝在其上的該硬盤驅(qū)動器單元固定在該中間支持件704上。
一個短突出部分750從該中間支持件704的一右邊緣752水平地向外延伸。兩個樞軸突出部分754從該邊緣752向外和向上彎曲,并且分別位于該邊緣752的前面位置和后面位置。該突出部分754和750之間沿該支持件704的邊緣的位置被安排成能夠通過該基礎支持件702的側(cè)壁714上的槽730同時插入。在將該樞軸突出部分754插入到外部槽730中時,在安裝時,可以將該中間支持件704向下朝該基礎支持件702旋轉(zhuǎn)。在該中間支持件704的左側(cè),有槽756,它們之間的位置被安排成能夠允許將該基礎支持件702的側(cè)壁716上的短突出部分736插入到這些槽之中。在該支持件704的左側(cè)壁上有多個向下延伸的活葉758和一個固定器突出部分760(與該支持件702的固定器突出部分738類似),并且其上有一個孔762。
該支持件704還進一步有兩對槽764,每對槽764與該支持件704的一個相應邊緣之間的距離短。在該支持件704的前面邊緣和后面邊緣上有一個向下的短活葉。
與該中間支持件704類似,該頂支持件706上有8個定位螺栓742,這8個定位螺栓被排列成兩組,每組有4個螺栓,每組的螺栓是用于固定一個相應的硬盤驅(qū)動器單元的位置。這些定位螺栓742被固定在形成大部分該頂支持件706的、一個基本上平的頂板768上。如圖9所示,該頂板768的下側(cè)上安裝了壓力墊744,該壓力墊744的作用是向被安裝到該中間支持件704上的硬盤驅(qū)動器施加向下的壓力。
從該頂板768的相應左邊緣和右邊緣向下延伸的是側(cè)壁770和772。一些短突出部分774從該側(cè)壁770和772的下邊緣垂直地向下延伸。這些突出部分774的位置被排列成能夠被同時插入該中間支持件704的那些槽764。(圖9的視圖中,這些在頂支持件706上的突出部分774中的一個突出部分被所提供的頂板768所封閉)。一個固定器突出部分776從側(cè)壁772的下邊緣的中間部分水平地向外延伸。該固定器突出部分776與上述固定器突出部分738和760類似,并且在其上有一個孔778。該支持件702,704和706一般,和特別地該相應固定器突出部分738,760和778的尺寸被安排成這樣,以使當按如圖8所示來組裝這3個支持件702,704,和706時,這些相應的孔740,762和778被組裝成相互之間處于垂直并列的位置,因此允許一單個固定器779同時通過這三個孔并且允許該單個固定器來固定這三個支持件702,704和706,以形成該驅(qū)動器支持結(jié)構(gòu)700。
圖10顯示了完全組裝好了的該媒質(zhì)驅(qū)動器支持結(jié)構(gòu)700。除了前述DAT驅(qū)動器746和軟盤748以外,硬盤驅(qū)動器單元786和788被顯示成并排安裝在該中間支持件704上,并且一單個硬盤驅(qū)動器單元790被安裝在頂支持件706上??梢钥吹?,用于安裝一第四硬盤驅(qū)動器單元(沒有顯示出來)的一個空間保留在該頂支持件706的頂板768中靠右邊的部分。
根據(jù)下述步驟,安裝驅(qū)動器單元和該支持結(jié)構(gòu)會變得快速和有效1,將DAT驅(qū)動器和軟盤驅(qū)動器安裝在基礎支持件上;2,使用鉸鏈突出部分將中間支持件安裝到基礎支持件;3,將兩個硬盤驅(qū)動器單元安裝在中間支持件上;4,使用從側(cè)壁向下延伸的直突出部分,將頂支持件安裝到中間支持件上;5,插入固定器(由圖10中的標號779所表示)并且使其通過在相應固定器突出部分上的所有三個孔,來使這三個支持件702,704和706形成一單個的穩(wěn)定結(jié)構(gòu);6,使用托架782和通過突出部分780的固定器,將一個或者兩個硬盤驅(qū)動器安裝在頂支持件上。這個已經(jīng)安裝好了的媒質(zhì)驅(qū)動器結(jié)構(gòu)然后就可以被安裝在該VR/PC單元的底盤上。如果僅兩個硬盤驅(qū)動器需要在該單元中被提供,則可以省略步驟6。
應該理解,圖8-10所示的該媒質(zhì)驅(qū)動器支持結(jié)構(gòu)允許該VR/PC單元的大容量保存硬件部分可以使用這樣一種方便而且價格和時間均優(yōu)的方式來安裝。
模擬視頻硬件現(xiàn)在參考圖13來描述板588上所提供的模擬前端電路結(jié)構(gòu)(圖4)。
從圖13中可以看出,由被連接到該VR/PC單元的16個視頻攝像機所產(chǎn)生的16個模擬視頻信號流被一起提供到三個十六比一的復用器,該十六比一的復用器用標號802來表示。該復用器802提供三個輸出,它們分別構(gòu)成到三個場鎖定信道804的輸入。由一個相應控制信號(該控制信號由806來表示)來控制每一個復用器802,來選擇攝像機16中的相應一個,以通過該相應鎖定信道804來進行數(shù)據(jù)采集。該控制信號806由該數(shù)字前端板590(圖4)來提供。
繼續(xù)參考圖13,該三個鎖定信道804是相同的,以使僅描述這三個信道中的一個。被選擇的輸入視頻信號通過放大器808和810,分別被提供到一個色度陷波濾波器812和一個色度帶通濾波器814。一個亮度信號被從該色度陷波濾波器812中輸出,并且被提供到一個同步信號分離器電路816,該同步信號分離器電路816輸出一個從該亮度信號中提取的復合同步信號。來自該同步分離器816的該復合同步信號被提供到一個垂直同步信號分離電路818,該垂直同步信號分離電路818將一個垂直同步信號從該復合同步信號中分離出來。該垂直同步信號和該復合同步信號均被提供到該數(shù)字前端板590。來自該同步分離器816的該復合同步信號還被提供到一個脈沖門檢測電路820,該脈沖門檢測電路820輸出一個脈沖門檢測信號。該脈沖門檢測信號和從該色度帶通濾波器814輸出的色度信號被作為輸入提供到一個鎖相環(huán)(PLL)電路822。該PLL822輸出一個基帶色度信號和一個參考信號。另一復用器模塊824位于該場鎖定信道804和兩個選擇信道826之間。該復用器模塊820由6個三比一的復用器組成,其中3個復用器是用于兩個選擇信道中的每一個的。用于該復用器模塊824的控制信號由828所表示,并且被從該數(shù)字前端板提供。
這兩個選擇信道826是相同的,所以僅描述兩個信道中的一個信道。到每一個選擇信道的三個輸入是一個亮度信號,一個色度信號和一個參考信號,所有這些與由三個輸入攝像機信號中的一被選擇用于鎖定的單個攝像機所提供的視頻信號相應,該單個攝像機被三個鎖定信道804中的一個來選擇。從該模塊824來的一個相應三比一復用器的輸出是用于亮度信號,色度信號與參考信號中的每一個的,以使相應地,該相應復用器的三個輸入是三個亮度輸出,色度輸出或者參考輸出,看情況而定,可能來自該鎖定信道804。該被選擇的亮度信號被提供到一個亮度鉗制電路830,該亮度鉗制電路830為被選擇信道一輸出一個被鉗制的亮度信號。該被選擇的參考和色度信號,它們與該被選擇的亮度信號相應,被提供到一個向一個復用器834輸出R-Y和B-Y信號的色度解調(diào)電路832。如836(控制信號被前端數(shù)字板提供)所示,該復用器834被控制來提供一個交替的R-Y和B-Y信號序列,以作為為被選擇的信道一的色度信號。該被鉗制的亮度信號和組成該色度信號的該連續(xù)交替顏色差異信號然后被輸出到該數(shù)字前端板590,以進行進一步的處理。
如上面所描述的,與信道二相應的被選擇信道826和與該信道一相應的被選擇信道相同。
前端數(shù)字硬件圖14使用功能模塊的形式提供了該數(shù)字前端板590的一個綜述。在該前端板590上的主要功能模塊包括一個模擬-數(shù)字轉(zhuǎn)換和緩沖器模塊840,一個控制和壓縮處理模塊842,一個現(xiàn)場視頻顯示處理模塊844,一個現(xiàn)場視頻圖象分析模塊846和一“后端”壓縮模塊848。該前端數(shù)字板590還包括對PCI總線擴展596的一個接口850(圖3)。
繼續(xù)參考圖14,該模塊840接收兩個通過和由該模擬前端588所選擇的模擬視頻信道,并且對被選擇的兩個模擬信道進行數(shù)字化,并且將被數(shù)字化的視頻數(shù)據(jù)場分別緩沖在與這兩個被選擇的信道相應的緩沖器852和854中。將要被輸出到該模擬前端的控制信號,和表示該模擬前端的狀態(tài)的信號,包括同步信號,被通過模塊840的接收和發(fā)送。另外,該模塊840控制一個視頻數(shù)據(jù)總線852和根據(jù)一個在下面將要被描述的格式,將該被緩沖的視頻數(shù)據(jù)場分配到模塊842,844,846和848。一個控制/狀態(tài)總線854與該數(shù)字前端板590的控制模塊842和其他模塊進行互聯(lián),并且允許該控制模塊842來控制該其他模塊和接收表示該其他模塊的狀態(tài)的信號。最終被發(fā)送到該模擬前端或者從該模擬前端被發(fā)送的控制和狀態(tài)信號還被在該控制/狀態(tài)總線854上傳輸。
除了提供該前端板的功能的整體控制以外,該模塊842還對在視頻總線852上輸出的視頻數(shù)據(jù)執(zhí)行初始數(shù)據(jù)壓縮處理。模塊844對在視頻總線852上運載的該視頻信號進行顯示處理,并且在被提供到該主板580和被提供到該顯示監(jiān)視器的一個輸出信號中,輸出一個包括覆蓋信息和圖象平面分配的被處理視頻信號。根據(jù)下面描述的技術(shù),該模塊846對在視頻總線852上運載的該視頻數(shù)據(jù)執(zhí)行運動圖象分析,來允許該VR/PC單元檢測由該輸入視頻數(shù)據(jù)所表示的圖象的特征。
優(yōu)選地,該模塊848使用一個標準的、商業(yè)上可以獲取的集成電路來實現(xiàn),它可以對已經(jīng)被模塊842進行預處理的該視頻數(shù)據(jù)執(zhí)行數(shù)據(jù)壓縮處理。在本發(fā)明的一個優(yōu)選實施方式中,由該模塊848所執(zhí)行的該壓縮處理與眾所周知的JPEG標準一致,并且商業(yè)可以從C3公司買到的IC模型CL560來實現(xiàn)。根據(jù)這個實施方式,僅使用了該JPEGIC的編碼能力,而不是其解碼能力。
該PCI接口850被用于經(jīng)過直接存儲器訪問(DMA)技術(shù),在模塊842的控制下,向該主板580提供該輸入的,壓縮編碼視頻信號。被從來自該模塊842的該主板580所接收的控制信號,和被發(fā)送到來自該模塊842的該主板580的狀態(tài)信號還被經(jīng)過該PCI接口850進行轉(zhuǎn)移。
數(shù)字化和緩沖視頻數(shù)據(jù)現(xiàn)在首先參考圖15,來詳細描述圖14的該數(shù)字化和緩沖模塊840。在圖15中,原理性地顯示了該模塊840的主要功能部分,包括模擬-數(shù)字轉(zhuǎn)換(856),視頻數(shù)字化控制(858),場緩沖(860),視頻輸出控制(862)和控制寄存器訪問(864)。提供了該控制寄存器訪問功能864來允許該控制模塊842(圖14)寫入關于該模塊840和該模擬前端板的控制消息,并且讀取輸入視頻數(shù)據(jù)和關于該模塊840和該模擬前端板的狀態(tài)消息。現(xiàn)在參考隨后的附圖來討論被顯示在圖15中的該模塊840的其他部分。
該模擬-數(shù)字轉(zhuǎn)換功能856的細節(jié)被顯示在圖16中。提供了四個離散轉(zhuǎn)換信道866-874。信道866和868分別是用于在信道一和二中的該亮度信號的,信道870和872分別是用于在在信道一和二中的該色度信號的。該四個轉(zhuǎn)換信道中的每一個包括一個緩沖器放大器174和一個模擬-到-數(shù)字轉(zhuǎn)換電路876。如878所示和如880所示的一個參考電平,每一個信道被根據(jù)一個模擬/數(shù)字轉(zhuǎn)換時鐘(點時鐘)來控制。
如圖17所示,被從該A/D轉(zhuǎn)換功能856輸出的該被數(shù)字化視頻信號被提供在兩個信道中(信道一包括亮度一和色度一,信道二包括亮度二和色度二),并且被提供到該視頻數(shù)字化控制器858。執(zhí)行該數(shù)字化,以使一個8比特碼字表示每一個點。該點數(shù)據(jù)被提供到執(zhí)行將要聯(lián)系圖17A描述的處理的控制邏輯882。為每一個信道提供了一個FIFO存儲器884,來允許當要處理根據(jù)該PAL標準的一個視頻信號時,執(zhí)行所需的定時調(diào)整。
該控制器邏輯882對每一個獨立的信道執(zhí)行被顯示在圖17A中的該處理。對一個特定的信道,該控制器邏輯一直等到在該特定信道中檢測到一個視頻信號場的開始時(模塊886),然后等待一預定時間周期(來清除該垂直空白間隔),然后等到檢測到一行的開始時(模塊888)。當檢測到該行的開始時,該第一點值被載入到與該特定信道相應的該場緩沖器,并且該邏輯然后執(zhí)行由模塊892和894所組成的一個循環(huán),由此載入該行中的所有隨后的點的值,直到檢測到該行的末尾。當檢測到該行的末尾時,退出該循環(huán)并且轉(zhuǎn)到模塊896,在模塊896處,判斷這是否是該場的最后一行。如果不是,該處理循環(huán)被返回到模塊888,否則,該處理循環(huán)被返回到模塊886。
有利的是,圖17A的該處理可以用形成為在一個可編程的邏輯裝置中的固件的一個狀態(tài)機來實現(xiàn)。這種固件的設計對那些該領域的技術(shù)人員來說是很容易的,這里就不需要進行進一步的描述。
再次參考圖17,該控制邏輯模塊882根據(jù)圖17A的該處理,輸出該第一和第二信道的視頻數(shù)據(jù)的點,并且還向下述場緩沖器模塊提供一個控制信號,如898所示。
圖18顯示了該場緩沖器模塊860的細節(jié)。除了前述場緩沖器852和854(每一個使用一個VRAM來實現(xiàn))以外,該場緩沖器模塊860還包括一個VRAM控制器902。該VRAM控制器902控制該緩沖器VRAM852和854并且反過來又被信號898(來自該視頻數(shù)字化控制器858)和信號904(來自視頻輸出控制器862)所控制。從該視頻數(shù)字化控制器858所輸出的該視頻數(shù)據(jù)被保存在該場緩沖器852和854中,并且被經(jīng)過一個總線906從該場緩沖器852和854中讀取出來。緩沖器852和854的地址和使能信號被運載在由該VRAM控制器902所控制的一個地址總線908上。
如圖19所示,該視頻輸出控制模塊862的核心是作為一個輸出狀態(tài)機(圖35,將要描述)來實現(xiàn)的輸出控制邏輯910。該輸出控制邏輯910接收來自該VRAM852和854的該視頻數(shù)據(jù)。該VRAM控制器902產(chǎn)生用于控制該VRAM和產(chǎn)生所需地址的該控制信號908。該輸出控制邏輯910控制一個延遲FIFO912,一個頭模塊912B,和一個FIFO累加914。來自這些模塊的數(shù)據(jù)被總線驅(qū)動器912A緩沖到該視頻總線上。該FIFO914對要被該控制/壓縮前端模塊842所使用的視頻數(shù)據(jù)進行累加,以進行視頻數(shù)據(jù)壓縮。經(jīng)過該控制寄存器訪問864(圖15),這個數(shù)據(jù)被發(fā)送到該模塊842。
視頻數(shù)據(jù)格式現(xiàn)在來描述該格式的各方面,其中該輸出控制邏輯910促使該視頻數(shù)據(jù)被在該視頻總線上852進行發(fā)送。
圖20A和20B每一個顯示一個圖象平面920,其中為了內(nèi)部數(shù)據(jù)表示的目的,該圖象平面920被分成垂直方向的240行,并且每一行在水平方向被分成640個點。用于驅(qū)動該顯示監(jiān)視器的實際視頻數(shù)據(jù)被形成為480行乘以640點,其中對提供用于該內(nèi)部數(shù)據(jù)表示中的每一場的該240數(shù)據(jù)行進行垂直內(nèi)插,來產(chǎn)生該附加行。該圖象平面還被使用數(shù)據(jù)瓦片的形式來進行顯示,每一個數(shù)據(jù)瓦片測量水平方向和垂直方向上的各8個點(圖21)。這樣,該圖象平面在水平方向上被分成80個數(shù)據(jù)瓦片,在垂直方向上被分成30個數(shù)據(jù)瓦片(圖20B)。
使用一個4∶1∶1數(shù)據(jù)格式,由此由四個字節(jié)的亮度數(shù)據(jù)和兩個字節(jié)的色度數(shù)據(jù)來表示一組四個點。實際上,每一行被分成四個點的離散組,并且為每一個這樣的組提供了四個亮度點字節(jié),以及一個點字節(jié)的U顏色數(shù)據(jù)和一個點字節(jié)的V顏色數(shù)據(jù)(圖23)。這個格式與傳統(tǒng)的4∶1∶1格式形成對比,其中每一個色度數(shù)據(jù)字節(jié)與該圖象平面的一個兩個點乘以兩個點的區(qū)域相應。這里所使用的和在圖23中所圖示說明的該格式可以幫助使在該垂直方向上的該顏色信息的變污最小化,并且使產(chǎn)生于僅將240個水平行分配給每一個視頻數(shù)據(jù)場的、對圖象質(zhì)量的任何負影響得到減少。
為了進行壓縮編碼,該圖象平面被分成四個水平排列的8乘8數(shù)據(jù)瓦片(tile)的離散組(圖22)。每一組四個水平連續(xù)的數(shù)據(jù)瓦片組成一個“最小編碼單元”(MCU)。需要表示每一個MCU的該數(shù)據(jù)由四個8乘以8亮度數(shù)據(jù)點塊,一個8乘以8U數(shù)據(jù)點塊和一個8乘以8V數(shù)據(jù)點塊組成。如圖24所示,用于發(fā)送在每一個MCU中的數(shù)據(jù)的一個優(yōu)選順序是U數(shù)據(jù)塊,V數(shù)據(jù)塊和然后四個亮度數(shù)據(jù)塊。
根據(jù)在該VR/PC單元中所使用的該新視頻數(shù)據(jù)格式,由該視頻輸出控制器862從該模塊840中輸出的每一個視頻數(shù)據(jù)場被發(fā)送兩次,一次使用數(shù)據(jù)瓦片的格式,一次使用光柵掃描行的顯示。該數(shù)據(jù)瓦片被與該掃描行進行交叉,如圖25所示。在一個優(yōu)選的格式中,15個8乘以8數(shù)據(jù)瓦片在一塊場頭數(shù)據(jù)以前被發(fā)送,該塊場頭數(shù)據(jù)標識該要被發(fā)送的視頻數(shù)據(jù)場。然后,該場頭被再次發(fā)送,其后是第二光柵掃描行,然后是另一15個數(shù)據(jù)瓦片和然后是第三光柵掃描行,等等。交叉發(fā)送光柵掃描行和矩形數(shù)據(jù)瓦片組的這個過程繼續(xù),直到所有數(shù)據(jù)瓦片已經(jīng)被發(fā)送和所有光柵掃描行已經(jīng)被發(fā)送。結(jié)果,如上所述,該場的每一個點數(shù)據(jù)碼字被發(fā)送兩次,一次是作為一個矩形數(shù)據(jù)瓦片的部分,一次是作為一個光柵掃描行的部分。根據(jù)如圖25所示的時序,需要一個大略27毫秒的周期來發(fā)送每一個光柵掃描行,和需要大略40毫秒的一個周期來發(fā)送每一組15個數(shù)據(jù)瓦片。
圖25表示名義上與每秒60場的發(fā)送速率的該NTSC標準的四分之三相應的一個發(fā)送模式。在如圖25所示的模式中,每秒發(fā)送45場的行,和每秒發(fā)送相同45場的數(shù)據(jù)瓦片。應該注意到,每場發(fā)送了240行,每場發(fā)送了3600個數(shù)據(jù)瓦片(2400個亮度數(shù)據(jù)數(shù)據(jù)瓦片,加上600個U數(shù)據(jù)數(shù)據(jù)瓦片和600個V數(shù)據(jù)數(shù)據(jù)瓦片)。這樣,當如圖25所示的來操作該視頻總線852時,該系統(tǒng)的輸入速率是每秒45場,可以選擇性地將這45場分布到16個視頻攝像機的輸入上。簡短地參考圖14,按照操作模塊842和846的優(yōu)選格式,該數(shù)據(jù)瓦片被提供在該視頻總線852上;由此對現(xiàn)場顯示處理模塊844來說,該場的光柵掃描行發(fā)送是優(yōu)選輸入格式。
現(xiàn)在轉(zhuǎn)到參考圖26,將要描述操作該視頻總線的另一模式。在這個模式中,使用每秒60場的速率來發(fā)送數(shù)據(jù)瓦片(tile),但是該60場中,僅每隔一場來使用行的形式來進行發(fā)送。換句話說,一半的場被發(fā)送兩次,一次是作為行被發(fā)送的,一次是作為數(shù)據(jù)瓦片被發(fā)送的,并且余下的場僅被作為數(shù)據(jù)瓦片來發(fā)送??梢允褂眠@個模式;例如,當一個或者多個場鎖定信道804,和一個或者兩個選擇信道826被唯一地用于一單個攝像機輸入時。在這樣一種情形下,該模擬前端電子裝置可以鎖定到該輸入信道,而在場之間沒有任何延遲,以允許每秒60場的吞吐率。
在如圖26的操作模式中,在一個27毫秒的周期中,發(fā)送一第一光柵行,然后在一個80毫秒的周期中發(fā)送30個數(shù)據(jù)瓦片,然后發(fā)送下一個光柵行,然后發(fā)送下一組30個數(shù)據(jù)瓦片,等等。(圖26中省略了該場頭,來簡化圖)。在發(fā)送了與一場相應的240行的期間以內(nèi)(即,大略30分之一秒),還發(fā)送了與兩個場相應的7200個數(shù)據(jù)瓦片。
圖27圖示說明了另一操作該視頻總線852的模式。當要使用縮放方式在該圖象平面的一個特定部分中顯示該正在被發(fā)送的場時,使用如圖27所示的該模式。在這個模式中,僅發(fā)送需要產(chǎn)生該被放大的圖象的光柵行,并且僅發(fā)送位于該被放大的圖象所需的那些光柵行中的點。這減少了需要保存在該現(xiàn)場顯示幀緩沖器中的帶寬。
在如圖27所示的例子中,假定實現(xiàn)一個兩倍的縮放顯示。如果將圖27與圖25進行比較,在圖27的模式中可以觀察到,在光柵行發(fā)送時隙的替代時隙中,在發(fā)送中省略了所有數(shù)據(jù)。在其他時隙中,僅發(fā)送每一行中的一半點。但是,為了維持該總線的正確定時,盡管沒有發(fā)送任何光柵數(shù)據(jù),或者只發(fā)送較少數(shù)量的光柵數(shù)據(jù),仍然維持在每對數(shù)據(jù)瓦片時隙之間提供的27毫秒的行時隙。(圖27中,再一次省略了該場頭,以簡化圖)圖28圖示說明了在該視頻總線852上發(fā)送該光柵行數(shù)據(jù)時所使用的該數(shù)據(jù)格式。在該系統(tǒng)的一個優(yōu)選實施方式中,該視頻總線852包括19根并行信號線,該19根并行信號線中的16根是用于數(shù)據(jù)的(并列兩個字節(jié))和余下的三比特是用于標識要被并發(fā)發(fā)送的字節(jié)數(shù)。在圖28所示的示例中,假定要被發(fā)送的該行是一場中的該第一行,所以該第一四字節(jié)(第一兩個字節(jié)用于發(fā)送時隙)是用于一個場頭926的。在該場頭926中,首先被發(fā)送的該兩個字節(jié)組成一個16比特時間碼。下兩個字節(jié)表示該攝像機號碼和其他表示要被發(fā)送的場的類型的信息。在該攝像機號碼字節(jié)中,該第一四比特是該攝像機號碼,最后四比特是表示正在被發(fā)送的該場要被顯示在其中的該圖象平面的部分(“窗口”號碼)。該窗口號碼可能表示,例如,使用一個4×4多窗口顯示格式的該第三行,將正在被發(fā)送的該場顯示在該第二窗口中。在該現(xiàn)場顯示處理模塊844中(圖14),該窗口號碼有助于有效地組成多窗口顯示。
字節(jié)930包括場類型和其他信息。在這個格式中,沒有使用字節(jié)930中的該第一到第四個比特和第八比特。第五比特表示該輸入視頻是否是被一單個攝像機模式(即,僅捕獲來自一個攝像機的視頻信息)所捕獲的。第六比特表示該場是偶數(shù)場還是奇數(shù)場,第七比特表示是否捕獲了該視頻信號的場的幀。
下兩個字節(jié),由標號940所表示,組成了一個16比特行標識號碼的行頭。在光柵行的點數(shù)據(jù)之后包括第一四字節(jié)亮度數(shù)據(jù),然后是兩個字節(jié)的U顏色數(shù)據(jù),然后是另一四字節(jié)的亮度數(shù)據(jù),然后是兩個字節(jié)的V顏色數(shù)據(jù),等等。當發(fā)送了640字節(jié)亮度數(shù)據(jù)和160字節(jié)U數(shù)據(jù)和160字節(jié)V數(shù)據(jù)時,就完成了該行的發(fā)送。伴隨在最后一對字節(jié)以后的是表示該行的末尾的一個標識號碼,如標號942所示。如果該正在被發(fā)送的行是該場中的最后一行,然后下一對字節(jié)包括與上面所描述的“攝像機號碼”字節(jié)928有相同數(shù)據(jù)格式的一個“下一個攝像機”標識字節(jié)944。該“下一個攝像機”標識字節(jié)944預先提醒該現(xiàn)場顯示處理模塊844,來允許預先產(chǎn)生覆蓋信息,緩沖器指針的合適設置等等。
作為如圖28所示的格式的一個替代格式,在圖28所示的格式中,兩個相同類型的顏色數(shù)據(jù)字節(jié)被一起發(fā)送,替代地,可以這樣來發(fā)送每一對顏色字節(jié),其中每一對字節(jié)包括與四個前一亮度點相應的一個U信息字節(jié)和一個V信息字節(jié)。
現(xiàn)在將參考圖29和30來描述要使用其來在該視頻總線上發(fā)送該數(shù)據(jù)瓦片數(shù)據(jù)的格式。如952所示,該第一兩個字節(jié)組成該數(shù)據(jù)瓦片頭。該頭中的一個字節(jié),如954所示,包括使用列來表示該數(shù)據(jù)瓦片在該圖象平面中的位置的一個七比特列標識號碼。該字節(jié)954的最后一個比特表示是否發(fā)現(xiàn)該數(shù)據(jù)瓦片是一個用于下面將要描述的該數(shù)據(jù)壓縮處理的“被改變的”數(shù)據(jù)瓦片。該數(shù)據(jù)瓦片頭中的另一字節(jié),如956所示,包括6比特來表示該數(shù)據(jù)瓦片在該圖象平面中的行位置。最后兩個比特分別被保留用作表示對兩個不同的圖象分析算法而言,該數(shù)據(jù)瓦片是否被改變(即,可以將兩個不同的“改變閾值”用于圖象分析,并且這兩個可以與用于字節(jié)954的被改變數(shù)據(jù)瓦片比特的該閾值不同,后者用于數(shù)據(jù)壓縮處理)。
在頭字節(jié)952以后是與該8×8數(shù)據(jù)瓦片相應的64字節(jié)。在圖29所示的示例中,假定該數(shù)據(jù)瓦片是一個U顏色信息數(shù)據(jù)瓦片。另一數(shù)據(jù)瓦片由64個亮度字節(jié)或者64個V顏色信息字節(jié)組成。對該圖象平面的四個水平連續(xù)8×8點區(qū)域的每一個最小編碼單元(見圖22),發(fā)送了四個亮度數(shù)據(jù)瓦片,一個U數(shù)據(jù)瓦片和一個V數(shù)據(jù)瓦片(圖24)。因為該圖象平面被分成2400個8點×8點區(qū)域(在水平方向上有80個數(shù)據(jù)瓦片,在垂直方向上有30個數(shù)據(jù)瓦片;見圖20B),總數(shù)3600個數(shù)據(jù)瓦片,包括顏色信息,被用于表示每一場。
在該數(shù)據(jù)瓦片場的第一場的前面,為每一個數(shù)據(jù)瓦片場發(fā)送一個場頭。除了在數(shù)據(jù)瓦片格式中所使用的該攝像機號碼和一個場類型字節(jié)與在行格式中所使用的那些字節(jié)有些不同以外,該數(shù)據(jù)瓦片場頭類似于為圖28的行發(fā)送格式所示的該場頭,包括兩個字節(jié)的時間碼,一個“攝像機號碼”字節(jié)和一個“場類型”字節(jié)?,F(xiàn)在參考圖30,將描述數(shù)據(jù)瓦片場所使用的該攝像機號碼和場類型格式。該數(shù)據(jù)瓦片攝像機號碼字節(jié)928’在其首先四字節(jié)中包括與該行格式所使用的相同的、16比特攝像機標識碼。但是,因為該數(shù)據(jù)瓦片不用于現(xiàn)場顯示,就不需要窗口標識信息,所以沒有使用該攝像機號碼字節(jié)928’的其他四比特。
對于在該數(shù)據(jù)瓦片場的頭中所使用的該場類型字節(jié)930’,最后6比特與該行格式場頭中的相同。其第一比特表示該數(shù)據(jù)瓦片場是否被用作用于進行圖象分析的一個參考圖象場,其第二比特表示該數(shù)據(jù)瓦片場是否被用作用于進行數(shù)據(jù)壓縮處理的一個參考圖象。
圖31提供了由圖19的該輸出控制邏輯910所執(zhí)行的該處理功能的一個綜述。從圖31中可以看出,該輸出控制邏輯910包括一個控制狀態(tài)機960,一個用于建立該場頭的功能962,頭翻譯邏輯964,光柵建立邏輯966,數(shù)據(jù)瓦片建立邏輯968和光柵/數(shù)據(jù)瓦片序列發(fā)生器970。該輸出控制邏輯的功能是產(chǎn)生上面聯(lián)系圖25-30所描述的該數(shù)據(jù)格式和總線工作模式。在圖31A中使用流圖的形式圖示說明了該場頭建立功能964。如圖31A中的模塊972所示,該場頭建立功能處于空閑狀態(tài),直到檢測到了一個場的開始(在第一行中的第一點)。只要這種情形發(fā)生了,該場頭建立功能就從該前端板控制器842獲取攝像機標識和時間郵戳信息(圖14),如模塊974所示,然后該場頭格式被組裝(模塊976)。
如圖31B所示,該頭翻譯邏輯決定偏移和伸縮參數(shù)(步驟978)并且使用這些參數(shù)來驅(qū)動該光柵建立邏輯966和該數(shù)據(jù)瓦片建立邏輯968(步驟980)。
圖32圖示說明了由該光柵建立邏輯966所進行的該處理。首先(步驟982),該光柵建立邏輯根據(jù)該當前光柵號獲取行號。然后判斷這是否是一個場的第一行(步驟984)。如果不是,該行頭(如圖28的940所示)被組裝(步驟986),然后組成該光柵行的該數(shù)據(jù)被發(fā)送到該序列發(fā)生器970(步驟988),然后該處理循環(huán)回到步驟982。但是,如果在步驟984發(fā)現(xiàn)將要處理在該場中的第一行,那么在步驟986以前插入步驟990。在步驟990,獲取該攝像機號碼和場字節(jié)的信息并且組裝該場頭。
在圖33中顯示了由該數(shù)據(jù)瓦片建立邏輯968所執(zhí)行的該處理。在圖33中所顯示的該處理被表示為一個連續(xù)循環(huán),包括一第一步驟992,其中該數(shù)據(jù)瓦片建立邏輯966獲取數(shù)據(jù)瓦片標識數(shù)據(jù),即用于該圖象平面中的數(shù)據(jù)瓦片的行和列。然后,在步驟994,該數(shù)據(jù)被組裝到該數(shù)據(jù)瓦片頭字節(jié)中(如圖29的952所示)。
繼續(xù)參考圖33,步驟996之后是步驟994。在步驟996,該數(shù)據(jù)瓦片建立邏輯從該行和列信息中計算合適的VRAM地址,并且繼續(xù)從VRAM852和854中該合適的一個(圖18),并且檢索需要構(gòu)造該數(shù)據(jù)瓦片(步驟998)的數(shù)據(jù)。在步驟998之后是步驟1002,其中該數(shù)據(jù)瓦片建立邏輯968將該被完成的數(shù)據(jù)瓦片前轉(zhuǎn)到該序列發(fā)生器970。
圖34圖示說明了由該光柵/數(shù)據(jù)瓦片序列發(fā)生器970所進行的該處理。
開始,在步驟1004,判斷是否是發(fā)送一個光柵行的時間。如果這樣,該序列發(fā)生器970在由該光柵建立邏輯996所產(chǎn)生的該行頭以后,發(fā)送與該光柵行相應的該數(shù)據(jù)(步驟1006),如果這是該場的第一行,前面還有該場頭。
如果在步驟1004,沒有發(fā)現(xiàn)發(fā)送該光柵數(shù)據(jù)的時間,然后就轉(zhuǎn)到步驟1006。在步驟1006,判斷該序列發(fā)生器970是否已經(jīng)從該數(shù)據(jù)瓦片建立邏輯968接收了在兩個光柵行之間的期間以內(nèi)要被發(fā)送的一組完整的數(shù)據(jù)瓦片。該數(shù)據(jù)瓦片的數(shù)目或者是15或者是30,這與圖25中的模式或者圖26的模式是否分別有效有關。如果在步驟1008中,發(fā)現(xiàn)出現(xiàn)了一個完整的數(shù)據(jù)瓦片組,那么該數(shù)據(jù)瓦片數(shù)據(jù),包括由該數(shù)據(jù)瓦片建立邏輯968所產(chǎn)生的數(shù)據(jù)瓦片頭(和一個場頭,如果需要)被發(fā)送到該視頻總線852(步驟1010)上。否則,步驟1008以后是步驟1012。在步驟1012中,每一次從該數(shù)據(jù)瓦片建立邏輯968中接收了一個數(shù)據(jù)瓦片,該數(shù)據(jù)瓦片組計數(shù)器就增加1,并且該處理循環(huán)回到步驟1008。
在步驟1006或者步驟1010以后,該處理循環(huán)回到步驟1004。
圖35圖示說明了該控制狀態(tài)機960(圖31)。從圖35可以看出,當開始一個場時,退出空閑狀態(tài)1014,進入數(shù)據(jù)瓦片處理狀態(tài)。當完成了15個數(shù)據(jù)瓦片的發(fā)送時(或者是完成30個數(shù)據(jù)瓦片的發(fā)送,這與操作該視頻總線的模式有關),然后退出狀態(tài)1016,進入狀態(tài)1018,在狀態(tài)1018中,發(fā)送與一個光柵行相應的數(shù)據(jù)。當完成了該行時,從該行處理狀態(tài)1018轉(zhuǎn)回到該數(shù)據(jù)瓦片處理狀態(tài)1016。但是,在完成了最后一行時,就完成了該場,在這種情形下,該狀態(tài)機從該行處理狀態(tài)1018跳到該空閑狀態(tài)1014。
前端板控制硬件現(xiàn)在轉(zhuǎn)到圖36,現(xiàn)在詳細描述用于該前端電子裝置的該控制模塊842。該控制模塊842的主要部件包括一個數(shù)字信號處理集成電路1050,一個動態(tài)RAM1052,一個靜態(tài)RAM1054和一個DMA尋址模塊1056。該DSP1050(與分別監(jiān)視該現(xiàn)場顯示處理模塊和該現(xiàn)場圖象分析模塊846的該數(shù)字信號處理裝置類似)可以是Texas儀器公司所生產(chǎn)的一系列TMS-C32裝置。該DSP1050是該前端電子裝置的“大腦”和“交通警察”。除了其它功能外,該DSP1050對被用于視頻數(shù)據(jù)的管理和數(shù)據(jù)壓縮處理的一個地址總線1058和一個數(shù)據(jù)總線1060進行管理,這一個地址總線1058和這一個數(shù)據(jù)總線1060還用于經(jīng)過PCI接口850將壓縮視頻數(shù)據(jù)轉(zhuǎn)移到主板。
該DSP1050還管理該控制/狀態(tài)總線854(圖14;沒有顯示在圖36中)。該控制狀態(tài)總線854可以被實現(xiàn)為一個高速串行鏈路,該高速串行鏈路將該DSP1050的命令發(fā)送到該數(shù)字化,緩沖和總線控制模塊840,該現(xiàn)場顯示處理模塊844和該現(xiàn)場圖象分析模塊846。從模塊840,844和846來的、要發(fā)送到該DSP1050的狀態(tài)消息也由該控制/狀態(tài)總線854所運載。通過經(jīng)過該模塊840所中繼的消息(圖14),該DSP1050還能處理對該前端模擬板588的控制和監(jiān)視(圖4和13)。
再一次參考圖36,該DRAM1052保存由該DSP1050所產(chǎn)生的和使用的統(tǒng)計數(shù)據(jù)和視頻數(shù)據(jù)數(shù)據(jù)瓦片的初始壓縮處理,該DSP1050經(jīng)過圖19的該FIF0914和該控制寄存器訪問864(圖15)訪問該視頻數(shù)據(jù)。該SRAM1054用作該DSP1050的普通工作存儲器,并且還用作準備好要被經(jīng)過該PCI接口850發(fā)送到該主板的壓縮視頻數(shù)據(jù)的一個輸出緩沖器。該DMA尋址模塊1056提供在該被壓縮的視頻數(shù)據(jù)被從該數(shù)字前端板590轉(zhuǎn)移到該主板的DMA轉(zhuǎn)移期間所使用的地址。
由標號1062所表示的三態(tài)總線驅(qū)動器與總線1058和1060相關,并且用于按照需要路由在這些總線上的信號業(yè)務流。
現(xiàn)場圖象分析硬件現(xiàn)在參考圖37來描述該現(xiàn)場圖象分析模塊846的細節(jié)。一個現(xiàn)場分析模塊846包括一個數(shù)字信號處理集成電路1064,該數(shù)字信號處理集成電路可以是上述Texas儀器公司所生產(chǎn)的這類裝置。包括在該DSP1064內(nèi)部的是包括一個算術(shù)和邏輯單元1066,一個啟動碼(bootcode)存儲器1068,一個程序緩沖存儲器1070和鎖存和控制電路結(jié)構(gòu)1072的功能模塊。與該DSP1064相關的是一個串口1074,程序存儲器1076和圖象存儲器1078。該串口1074從該前端控制器DSP1050接收控制信號并且將該控制信號中繼到該鎖存和控制電路結(jié)構(gòu)1072。類似地,狀態(tài)消息被從該鎖存和控制電路結(jié)構(gòu)1072經(jīng)過該串口1074中繼到該DSP1050。一個地址和數(shù)據(jù)總線1080與該DSP1064和存儲器1076和1078進行相互作用。
該程序存儲器1076保存控制該DSP1064來執(zhí)行一個或者多個圖象分析算法的軟件。該圖象分析算法軟件由該控制DSP1050載入到該程序存儲器1076中。反過來,該算法軟件可能被從該主板前轉(zhuǎn)到該控制DSP1050。一些或者所有圖象分析算法軟件的起始源可能是與該VR/PC單元分開的、并且遠離該VR/PC單元的一個裝置。
該圖象存儲器1078保存將要被該現(xiàn)場圖象分析模塊846所分析的該視頻信息。該視頻信息被使用數(shù)據(jù)瓦片的形式從該視頻總線852所接收,然后在被保存到該圖象存儲器1078中以前,在格式邏輯1082中被格式化。
優(yōu)選地,該圖象存儲器1078有足夠的保存容量來保存多個獨立的視頻信息流的參考圖象,或者從參考圖象推導出的統(tǒng)計數(shù)據(jù)。例如,可以想象,該現(xiàn)場圖象分析模塊846能夠同時對分別由與該VR/PC單元相連的16個攝像機所產(chǎn)生的16個現(xiàn)場輸入視頻流進行圖象分析。另外,被應用到每一個輸入視頻流的該相應圖象分析算法中的、用于約束該算法的執(zhí)行的參數(shù)可以發(fā)生變化,并且一個或者多個完全不同于其他同時所應用的圖象算法的算法可以針對圖象特征的不同進行變化。例如,一個周界違反檢測算法可以被應用到一些輸入圖象流,而一個“博物館”算法可以被應用到一個或者多個其他輸入視頻流。下面將進一步描述該周界違反檢測算法和該“博物館”算法。
應該理解,由該模塊846所執(zhí)行的該圖象分析處理的結(jié)果被經(jīng)過該串口1074報告給該控制器DSP1050。
現(xiàn)場顯示處理硬件現(xiàn)在參考圖38來描述該現(xiàn)場顯示處理模塊844的細節(jié)。
該現(xiàn)場顯示處理模塊844的主要部件是一個DSP1084,一第一伸縮和顏色空間轉(zhuǎn)換電路1086,一個顯示VRAM1090,一個覆蓋平面產(chǎn)生電路1092,一個覆蓋混合器和串聯(lián)器1094,一先進/先出存儲器1096,一第二伸縮和顏色空間轉(zhuǎn)換電路1098,一個SVGA特征連接器1102,一個NTSC/PAL編碼電路1104和一個同步信號發(fā)生器1106。
優(yōu)選地,使用標準的商業(yè)部件來實現(xiàn)所有顯示在圖38中的電路模塊。例如,該現(xiàn)場顯示控制器DSP1084優(yōu)選地是一個前面提到的Texas儀器公司所生產(chǎn)的裝置。該DSP1084從該控制器DSP1050接收命令消息,并且將狀態(tài)消息發(fā)送到該控制器1050。在該控制器DSP1050的監(jiān)視下,該現(xiàn)場顯示控制DSP1084控制該現(xiàn)場顯示處理電路結(jié)構(gòu)844的操作,并且,特別地,控制兩個伸縮/顏色空間轉(zhuǎn)換電路1086,1098和該覆蓋平面發(fā)生器1092。
該第一伸縮/顏色空間轉(zhuǎn)換電路1086接收和處理在該視頻總線852上所提供的該光柵行數(shù)據(jù)。如果由該接收的視頻數(shù)據(jù)行所表示的該圖象占據(jù)了該顯示屏幕的整個現(xiàn)場視頻顯示部分,然后電路1086不執(zhí)行任何伸縮處理。但是,如果要顯示一個分離屏幕現(xiàn)場圖象,包括與兩個或者多個現(xiàn)場視頻圖象流相應的圖象,然后在電路1086中執(zhí)行伸縮處理。例如,如果要使用2×2的格式將四個圖象顯示在相應窗口中,然后在電路1086中,每一個圖象在水平方向和垂直方向上均縮小一倍。另外,在電路1086中還完成顏色空間的轉(zhuǎn)換,以使從該視頻總線所接收的該YUV顏色數(shù)據(jù)被轉(zhuǎn)換到RGB數(shù)據(jù)。
從該伸縮/顏色空間轉(zhuǎn)換電路1086輸出的、該被轉(zhuǎn)換的(并且如果需要,被伸縮的)RGB數(shù)據(jù)被提供到用作一個緩沖器的一個顯示VRAM1090,然后該被緩沖的視頻數(shù)據(jù)被輸出到該覆蓋混合器/串聯(lián)器1094。同時,對來自該DSP1084的控制信號作出響應,該覆蓋平面發(fā)生器1092提供一個覆蓋圖象,例如可能表示包括“現(xiàn)場”或者“攝像機一”的題頭的字母字符。表示該覆蓋圖象的該圖象數(shù)據(jù)被從該覆蓋平面發(fā)生器1092提供到該覆蓋混合器1094,以與該現(xiàn)場視頻圖象數(shù)據(jù)進行混合。在該電路1094的串聯(lián)器部分中被進行合適的緩沖以后,包括,如果需要,分配到一個被選擇的顯示窗口,該視頻信息(可能是幾個視頻圖象流的一個復合)被經(jīng)過FIFO存儲器1096轉(zhuǎn)移到該第二伸縮/顏色空間轉(zhuǎn)換電路1098。
如果從該前端電子裝置輸出的該圖象所占據(jù)的部分比該顯示監(jiān)視器的整個圖象平面小,在電路1098就對經(jīng)過該FIFO存儲器1096輸出的該圖象進行伸縮處理。如果在該監(jiān)視器上的整個顯示屏幕被用于顯示從該前端電子裝置所輸出的該現(xiàn)場圖象,然后在電路1098中就不執(zhí)行伸縮處理。但是,如果該現(xiàn)場視頻僅占據(jù)該視頻屏幕的一個部分(如圖所示,例如,如圖11),然后就執(zhí)行伸縮處理,以使該前端電子裝置所產(chǎn)生的該圖象的大小被調(diào)節(jié)成適合于分配到其上的該窗口。在圖11的顯示中,可以觀察到,在該屏幕顯示的一個靠下面的部分中,提供了圖形用戶接口特征。如下面將要解釋的,在主板產(chǎn)生該GUI元件。
RGB視頻數(shù)據(jù)(如果需要的話,在電路1098中被進行了伸縮處理),經(jīng)過標準的SVGA特征連接器1102(圖38),被作為從該數(shù)字前端板590(圖4)輸出的該SVGA發(fā)送到該主板。另外,該電路1098對該RGB數(shù)據(jù)執(zhí)行一個顏色空間轉(zhuǎn)換(如果需要,在進行伸縮處理以后),來使用YUV視頻數(shù)據(jù)的形式提供一第二輸出。該YUV視頻數(shù)據(jù)被提供到一個NTSC或者PAL編碼器1104,該編碼器1104使用在同步發(fā)生器1106中所產(chǎn)生的一個同步信號來形成一個可能會用于驅(qū)動一個NTSC監(jiān)視器的NTSC(或者PAL,如果情形需要)模擬輸出信號。
前端軟件圖39表示控制該視頻板控制器DSP1050的操作的該軟件的一個綜述??刂圃揇SP1050的該軟件包括一個對該DSP1050的其他軟件模塊進行仲裁的視頻板主控制軟件模塊1108。其他軟件模塊包括一個模擬板管理(攝像機排序)模塊1110,一個事件管理器1112,一個時間跟蹤模塊1114,一個現(xiàn)場分析模塊管理者1116,一個現(xiàn)場顯示模塊管理者1118,一個壓縮管理者模塊1120,一個數(shù)據(jù)瓦片比較模塊1122,一個映射產(chǎn)生器模塊1124和一個用于主板PCI接口的驅(qū)動器模塊1126。
經(jīng)過1118和1126的該軟件模塊1110可以被看作處理該DSP1050的“管理”職責,而模塊1120-1124涉及與該視頻數(shù)據(jù)的壓縮相關的功能。在該“管理”軟件模塊中,除了PCI接口驅(qū)動器1126以外,所有軟件模塊本質(zhì)上是執(zhí)行例行功能,例如將來自該主板的消息中繼到該視頻處理前端電子裝置的其他部件,并且將來自該視頻處理前端電子裝置的其他部件的消息中繼到該主板。該領域的技術(shù)人員可以使用標準的編程技術(shù)來輕易地提供這些軟件部件,所以不進一步討論它們。
但是,將參考圖40來進一步地描述該PCI接口驅(qū)動器1126的功能?;旧?,該PCI接口執(zhí)行兩個功能(1)通過DMA操作,將被壓縮的視頻數(shù)據(jù)從該前端板轉(zhuǎn)移到該主板;和(2)在該主板和該視頻處理前端板之間轉(zhuǎn)移命令和狀態(tài)消息。從該前端板到該主板的單向視頻數(shù)據(jù)業(yè)務的容量遠大于該雙向消息業(yè)務的容量。
從圖40中可以看出,由該PCI接口驅(qū)動器所執(zhí)行的該處理是從判斷一個消息是否是從該主板輸入(步驟1128)而開始的。如果在步驟1128中發(fā)現(xiàn)一個消息是從該主板輸入的,然后就執(zhí)行解碼該消息的步驟1130。然后,該被解碼的消息被使用一個適合于被示于圖39的管理者模塊中相關的一個模塊所處理的格式來放置(步驟1132),并且該被重新格式化的消息被發(fā)送到該相關管理者(步驟1134)。該處理然后循環(huán)回到步驟1128。典型地,在該前端處理板接收的、來自該主板的消息包括程序和/或者命令數(shù)據(jù),例如在該模擬視頻板的場捕獲操作中,改變攝像機的序列所需的數(shù)據(jù),用于視頻數(shù)據(jù)壓縮操作的參數(shù)的改變,要被該前端板所執(zhí)行的現(xiàn)場圖形分析算法的選擇或者調(diào)節(jié),等等。
如果在步驟1128沒有發(fā)現(xiàn)從該主板輸入的消息,該驅(qū)動器處理就在步驟1136以前,在步驟1136中,判斷是否有一個消息要從該前端板被發(fā)送到該主板。如果有,就執(zhí)行步驟1138,將輸出消息重新格式化,以能被“系統(tǒng)指揮員”所處理。如將要看到的,該“系統(tǒng)指揮員”是一個軟件模塊,該軟件模塊控制該主板CPU并且用作在由該主板CPU所支持的該軟件對象之間互發(fā)消息的一個中央消息交換所。在步驟1138以后是步驟1140,在步驟1140中,經(jīng)過在該前端板和該主板之間的該PCI連接,輸出消息被發(fā)送到該系統(tǒng)指揮員。然后該處理循環(huán)回到步驟1128。
如果在步驟1136中,沒有發(fā)現(xiàn)輸出消息,下一步驟是步驟1142。在步驟1142中,判斷被壓縮的視頻數(shù)據(jù)是否已經(jīng)準備好要被轉(zhuǎn)移到該主板。如果沒有,該處理循環(huán)回到步驟1128。但是,如果在步驟1142中發(fā)現(xiàn)視頻數(shù)據(jù)已經(jīng)準備好要被轉(zhuǎn)移到該主板,然后該處理進行到步驟1144,在步驟1144中,在該DMA尋址單元1056(圖36)中的一個計數(shù)器被用該主板存儲器空間中、該視頻數(shù)據(jù)要被轉(zhuǎn)移到的目標位置來初始化。在該目標地址的初始化以后,就開始該視頻數(shù)據(jù)到該主板的DMA轉(zhuǎn)移(步驟1146)。當正在進行該視頻數(shù)據(jù)的轉(zhuǎn)移時,圖40的該處理可能檢測到一個超時的條件,如在步驟1148中所示。應該注意,如果由于某種原因,該DMA轉(zhuǎn)移失敗了,就可能發(fā)生一個超時的條件。如果檢測到了一個超時,就產(chǎn)生一個消息,將該超時通知給該主板(步驟1152)。在該重新格式化和消息發(fā)送步驟1138和1140以后,該處理然后返回到步驟1128。如果沒有發(fā)生一個超時的條件,該接口驅(qū)動器處理就處于空閑狀態(tài),如模塊1154所示。
視頻數(shù)據(jù)壓縮現(xiàn)在參考圖41到44和39A來討論在該數(shù)字前端板590(圖4)上所執(zhí)行的該視頻數(shù)據(jù)壓縮操作。
這里所公開的該VR/PC單元采用了一個新的視頻數(shù)據(jù)壓縮技術(shù),在該單元的典型工作條件下,該新的視頻數(shù)據(jù)壓縮技術(shù)能夠提供的有效壓縮比為至少大略250∶1,而所提供的一個圖象的質(zhì)量對視頻監(jiān)視安全應用而言至少是足夠的。這種高度的壓縮允許對保存容量(基本上是硬盤容量)的有效使用,而在該VR/PC單元中實現(xiàn)數(shù)據(jù)傳輸和操作。另外,如將要從隨后的討論部分中所理解到的,這里所公開的該新的視頻數(shù)據(jù)壓縮技術(shù)綜合容納了隨后將要對該壓縮視頻數(shù)據(jù)所執(zhí)行的圖象分析算法。另外,即使本發(fā)明的壓縮技術(shù)提供了顯著的高壓縮比例,還是能夠相當有效地執(zhí)行較難的回放功能,例如逆向回放。
現(xiàn)在參考圖44來描述本發(fā)明的視頻數(shù)據(jù)壓縮技術(shù)的一個綜述,和該被壓縮視頻數(shù)據(jù)的格式。
在壓縮以后,由一個給定攝像機所產(chǎn)生的該視頻圖象流被表示為一系列數(shù)據(jù)場1130。在該場序列中,有兩類場參考圖象場1132和“差異”圖象場1134。該參考場1132在該數(shù)據(jù)場序列中的出現(xiàn)間隔是固定的。例如,在本發(fā)明的壓縮技術(shù)的一個優(yōu)選實施方式中,在該序列中每第33個場是一個參考場;即,在每對連續(xù)的參考場1132之間是32個“差異”場1134。該參考場1132中的每一個不參考任何其他圖象進行壓縮編碼。在另一方面,每一個差異場1134是相對于一個或者多個前一圖象進行壓縮編碼的。
每一個參考場1132用一個場頭(沒有顯示在圖44中)開始,該場頭可能與上面聯(lián)系圖30所討論的該數(shù)據(jù)瓦片場頭相同(在圖30中所沒有顯示的時間碼字可能也被包括在該場頭中)。該參考場1132的其他部分是由與該圖象平面的2400個數(shù)據(jù)瓦片中的每一個相應的壓縮視頻數(shù)據(jù)組成的。特別地,組成該參考場的其他部分的該壓縮視頻數(shù)據(jù)由該JPEG芯片848(圖14)的壓縮編碼電路結(jié)構(gòu)處理該3600個數(shù)據(jù)數(shù)據(jù)瓦片中的每一個(2400個亮度數(shù)據(jù)瓦片和1200個顏色信息數(shù)據(jù)瓦片)來形成。該領域的技術(shù)人員均知道,由該芯片848所執(zhí)行的該JPEG編碼處理必然包括傳統(tǒng)的編碼步驟,例如正交(DCT)變換,系數(shù)值的數(shù)字化,和變長編碼。對該參考場的壓縮比例是30∶1到70∶1的量級。
另一方面,在該差異場中,每一個該“差異”數(shù)據(jù)場1134僅包括表示相對于一前一圖象的“變化”的、被選擇的數(shù)據(jù)瓦片的壓縮視頻數(shù)據(jù)。當該視頻圖象流中有一點運動或者沒有運動時,在該差異數(shù)據(jù)場1134中僅表示很少的數(shù)據(jù)數(shù)據(jù)瓦片或者不表示任何數(shù)據(jù)瓦片,以使可以實現(xiàn)一個高度的壓縮。
從圖44的下面部分可以看出,一個典型的差異數(shù)據(jù)場1134由一個場頭1136組成,該場頭以后是映射數(shù)據(jù)1138,該映射數(shù)據(jù)1138表示當前圖象中被認為是“發(fā)生了改變”的該圖象平面的部分,并且相應地由在當前差異數(shù)據(jù)場1134中的視頻數(shù)據(jù)來表示。例如,該映射數(shù)據(jù)可能包括一個用于該圖象平面中600個最小編碼單元(MCU)中的每一個的比特,可以想起,一個MCU與四個數(shù)據(jù)瓦片的一個離散水平序列相應。例如,一個與一個特定的MCU相應的“1”比特將表示已經(jīng)發(fā)現(xiàn)該MCU發(fā)生了改變并且被用與該MCU的六個數(shù)據(jù)數(shù)據(jù)瓦片相應的JPEG壓縮視頻數(shù)據(jù)所表示。與一個特定MCU相應的該比特取值“0”表示在當前差異數(shù)據(jù)場中沒有包括該MCU的數(shù)據(jù)。
在被改變的MCU映射1138以后是數(shù)據(jù)段1140,該數(shù)據(jù)段1140由與該映射數(shù)據(jù)1138所表示的該被改變的MCU相應的JPEG壓縮視頻數(shù)據(jù)組成的。該映射數(shù)據(jù)中的“1”比特的數(shù)目與被編碼的MCU部分1140的數(shù)目相同。
剛才所描述的該壓縮技術(shù)考慮到了在圖61中圖示說明的一個圖象重構(gòu)技術(shù)。根據(jù)這個技術(shù),通過使用一個傳統(tǒng)的方式來對該JPEG壓縮編碼進行解碼,就可以重新組成一個參考場1132。然后,對于隨后的差異場,每一段發(fā)生了改變的MCU數(shù)據(jù)被進行JPEG解碼,并且所產(chǎn)生的視頻數(shù)據(jù)中的每一個MCU替代如該被改變的MCU映射數(shù)據(jù)所表示的、該圖象平面中的合適部分??梢詫⒅貥?gòu)該第一差異場的過程看作是一個使用該MCU映射數(shù)據(jù)作為一個指導來“粘貼”郵票(重構(gòu)MCU)的過程。然后,對每一個隨后的差異場,重復這個過程。
對該差異場的壓縮編碼處理的一個關鍵部分必然要判斷是否要對一個特定的MCU進行JPEG編碼(因為它與一個相應的參考MCU不同)或者丟棄該MCU(因為它與該參考MCU相同)。在本發(fā)明的一個優(yōu)選實施方式中,在該MCU中的每一個數(shù)據(jù)瓦片被與在該參考MCU中的一個相應數(shù)據(jù)瓦片進行比較,并且如果發(fā)現(xiàn)任何數(shù)據(jù)瓦片與該相應的參考數(shù)據(jù)瓦片不同,就認為在該差異場中的一個MCU是不同的。通過從組成該參考數(shù)據(jù)瓦片的點數(shù)據(jù)計算出特定的統(tǒng)計數(shù)據(jù),并且根據(jù)一個閾值,將該統(tǒng)計數(shù)據(jù)與前面產(chǎn)生的該參考數(shù)據(jù)瓦片的相同統(tǒng)計數(shù)據(jù)進行比較,就可以判斷一個數(shù)據(jù)瓦片是否與一個參考數(shù)據(jù)瓦片不同。在本發(fā)明的一個優(yōu)選實施方式中,用戶可以調(diào)節(jié)表示“相同程度”的該閾值電平,以使該用戶能夠?qū)嚎s比例和圖象質(zhì)量進行折衷。
圖43A-43C原理性地圖示說明了該數(shù)據(jù)瓦片比較過程的方面。圖43A顯示的該數(shù)據(jù)瓦片是一個8×8點陣。圖43B表示圖43A的該數(shù)據(jù)瓦片怎樣被分成相互之間是分開的、并且每一個包括一個4×4點陣的四個四分之一部分的。通過對每一個四分之一部分的16個點中的8個進行相加,如果將加法的和除以4(向右移兩個二進制位),就可以計算該四分之一部分的一個數(shù)據(jù)瓦片比較統(tǒng)計數(shù)據(jù)。其結(jié)果是一個9比特四分之一的統(tǒng)計數(shù)據(jù)。(該8點和被除的除數(shù)可以被看作是一個“伸縮因子”并且可以是一個與4不同的數(shù)。)如圖43C所示,使用被稱作“檢驗板”子采樣的來選擇將要被相加的該8點。可能使用兩個檢驗板子采樣技術(shù)圖43C中的用“X”來表示的點可以被選擇來用于相加,或者選擇沒有使用標記來表示的點。在任何一種情形下,可以觀察到,該檢驗板子采樣必然是一個因子為2的子采樣,并且對每一行發(fā)生偏移。在本發(fā)明的一個優(yōu)選實施方式中,僅這兩個檢驗板子采樣技術(shù)之一被用于所有數(shù)據(jù)瓦片的所有四分之一部分,以使沒有一對水平或者垂直相鄰的點被用于計算該數(shù)據(jù)瓦片特征的統(tǒng)計數(shù)據(jù)。
該相同的技術(shù)被用于計算該參考數(shù)據(jù)瓦片的統(tǒng)計數(shù)據(jù)和在該差異場中的那些數(shù)據(jù)瓦片的統(tǒng)計數(shù)據(jù)。如果一個參考數(shù)據(jù)瓦片的四個四分之一部分的統(tǒng)計數(shù)據(jù)之一與該相應參考四分之一部分的統(tǒng)計數(shù)據(jù)的差異大于該閾值,然后這整個數(shù)據(jù)瓦片,由此整個MCU被認為對該參考MCU來說發(fā)生了變化。應該理解,這個過程被用于每一個MCU的六個數(shù)據(jù)瓦片(四個亮度,兩個顏色)。
圖39A,41A,41B和42圖示說明了與該差異視頻數(shù)據(jù)場的壓縮編碼一起繼續(xù)的處理。先參考圖41A,將描述該壓縮管理者軟件模塊1120的一個建立操作(圖39)。該壓縮管理者的建立階段從一個步驟1142開始,在步驟1142中,從該主板接收了分別用于來自相應攝像機的該輸入視頻流的閾值表。這些與該相應視頻信號流的圖象質(zhì)量和壓縮比例參數(shù)相應的閾值表被保存在該前端板控制模塊842的一個板上RAM中。然后,載入該表中的閾值,以用于DSP1050所執(zhí)行的壓縮處理(步驟1146)并且復位該壓縮處理(步驟1148)。特定地,在步驟1148中,合適的指令被發(fā)送到該JPEG芯片848來設置所需的參數(shù),例如量化表和哈夫曼編碼表的選擇,單色及多顏色編碼的選擇等等。
圖41B圖示說明了該壓縮管理者軟件模塊的操作。如模塊1152所示,對16個輸入視頻流中的每一個繼續(xù)該相同的操作過程。首先,如模塊1154所示,檢索與產(chǎn)生將要被編碼的該當前差異場的攝像機相應的閾值數(shù)據(jù)。然后判斷該閾值設置是否與那些最近所應用的設置不同(模塊1156)。如果沒有,使用與對最近的差異數(shù)據(jù)場所使用的方式相同的方式來執(zhí)行壓縮處理,但是,如果該閾值數(shù)據(jù)與最近被應用的不同,就更新該壓縮處理的操作表(步驟1158)和復位該壓縮處理(步驟1160)。
應該理解,相同的閾值參數(shù)可以被用于來處理亮度和顏色數(shù)據(jù)數(shù)據(jù)瓦片,或者在一個方面,對該亮度數(shù)據(jù)使用一閾值,而在另一個方面,顏色(U,V)數(shù)據(jù)使用另一閾值。
圖42圖示說明了由該數(shù)據(jù)瓦片比較軟件模塊1122所執(zhí)行的該處理。開始,通過訪問在該FIFO914(圖19)中的數(shù)據(jù)瓦片數(shù)據(jù),來讀入在該視頻總線操作(見圖25)的數(shù)據(jù)瓦片階段將要被發(fā)送的這15個數(shù)據(jù)瓦片,然后如步驟1164所示,下述處理被應用到每一個數(shù)據(jù)瓦片檢索該相應參考數(shù)據(jù)瓦片的該參考特征統(tǒng)計數(shù)據(jù)(步驟1166)和根據(jù)聯(lián)系圖43描述的該技術(shù)來計算該當前數(shù)據(jù)瓦片的特征統(tǒng)計數(shù)據(jù)(步驟1168)。如果根據(jù)該所應用的閾值,被檢索的參考特征和該當前數(shù)據(jù)瓦片的被計算的特征統(tǒng)計數(shù)據(jù),發(fā)現(xiàn)一個數(shù)據(jù)瓦片與該參考數(shù)據(jù)瓦片不同,然后將該數(shù)據(jù)瓦片標記為“不同”(步驟1169),并且將該當前數(shù)據(jù)瓦片的被計算特征統(tǒng)計數(shù)據(jù)保存,來替代前一參考特征并且用作被更新的參考特征。但是,如果在步驟1168中,發(fā)現(xiàn)該當前數(shù)據(jù)瓦片與該參考數(shù)據(jù)瓦片“相同”(即特征的差異比該閾值小),然后不標記該數(shù)據(jù)瓦片。如步驟1172所示,繼續(xù)處理步驟1164到1178,直到所有15個數(shù)據(jù)瓦片已經(jīng)被與該參考特征進行比較。然后,這些數(shù)據(jù)瓦片,包括已經(jīng)被標記為“不同”的數(shù)據(jù)瓦片,被返回到該視頻輸出模塊(步驟1174)。從前面的討論可以記起,所有數(shù)據(jù)瓦片,或者是被標記為“不同”的,或者是與一個“不同”的數(shù)據(jù)瓦片位于相同的MCU中的,均被提供到該JPEG處理芯片848來進行JPEG壓縮并且被包括在該被壓縮的差異數(shù)據(jù)場中。其他所有數(shù)據(jù)瓦片沒有被提供到該JPEG芯片,而是被簡單地丟棄。
下面參考圖39A來描述由該映射發(fā)生器軟件模塊1124(圖39)所執(zhí)行的處理。
如模塊1176所示,對每一個數(shù)據(jù)瓦片執(zhí)行下述處理。首先,判斷該數(shù)據(jù)瓦片是否已經(jīng)被標記為“不同”(步驟1178)。然后,如步驟1180,1182和1184所示,如果該數(shù)據(jù)瓦片被標記為“不同”,就將一個與該當前數(shù)據(jù)瓦片相應的標識設置為1,否則就將與該當前數(shù)據(jù)瓦片相應的該標識設置為0。如步驟1186所示,該標識然后被融合到當前正在被構(gòu)造的一個映射字節(jié)中。如果從它們來構(gòu)造該映射字節(jié)的所有8個標識已經(jīng)被融合到該映射字節(jié)中(步驟1188),然后就開始了一個新的映射字節(jié)(步驟1190)。在對該圖象的所有數(shù)據(jù)瓦片構(gòu)造了映射字節(jié)以后,所產(chǎn)生的映射數(shù)據(jù)經(jīng)過該PCI接口850被轉(zhuǎn)移到該主板(步驟1192)。
盡管前面圖39A的討論已經(jīng)說明了每個數(shù)據(jù)瓦片使用一個映射比特,應該理解,作為一個優(yōu)選的替代實施方式,一個映射比特被分配到每一個MCU并且如果該MCU中的六個數(shù)據(jù)數(shù)據(jù)瓦片中的任何一個被標記為“不同”,該給定MCU的標識就被設置為“1”。
主板軟件現(xiàn)在將討論控制該主板CPU592(圖3)的操作,由此作為一個整體控制該VR/PC單元的該軟件。在該VR/PC單元的一個優(yōu)選實施方式中,使用了一個標準的微處理器(例如,一個奔騰處理器),并且在一個標準的操作系統(tǒng)下工作,其目的是為了使主板的費用最小。因為Windows 95的多任務環(huán)境和其所支持的軟件開發(fā)能力,所以在該VR/PC單元的一個優(yōu)選實施方式中,該主板CPU使用眾所周知的Windows 95操作系統(tǒng)。下面將要討論的應用軟件模塊是根據(jù)由微軟所提出的部件對象模型(COM)結(jié)構(gòu)來實現(xiàn)的。使用C++這個面向?qū)ο缶幊痰恼Z言來產(chǎn)生應用模塊。
圖45提供了組成該主板CPU應用的軟件部件的一個綜述。如下對圖示說明的部件進行編號系統(tǒng)指揮員1202,建立管理者部件1204,規(guī)劃部件1206,安全管理者部件1208,用戶接口部件1210,告警處理部件1212,前端面板部件1214,壓縮管理者部件1216,視頻記錄部件1218,圖象處理設施對象1220-1到1220-p,圖象處理設施管理者部件1222,視頻搜尋部件1224,存檔管理者部件1226,視頻播放部件1228,圖象分析(回放)工具對象1230-1到1230-M,數(shù)據(jù)庫搜尋工具管理者部件1232,視頻保存部件1234,遠程裝置對象1236-1到1236-N和遠程對象管理者部件1238。除了該遠程對象1236,回放分析工具對象1230和圖象處理設施對象1220以外,所有不是該系統(tǒng)指揮員1202的部件均被顯示為與該系統(tǒng)指揮員1202進行雙向消息傳遞的通信。
該系統(tǒng)指揮員的作用是作為一個中央消息交換中心,來允許消息在其他應用軟件部件之間進行傳遞。到該遠程對象1236和來自該遠程對象1236的消息均經(jīng)過該遠程管理者部件1238,到該圖象分析工具對象1230和來自該圖象分析工具對象1230的消息均經(jīng)過該數(shù)據(jù)庫搜尋工具管理者1232,和到該圖象處理設施對象1220和來自該圖象處理設施對象1220的消息均經(jīng)過該圖象處理設施管理者部件1222。通過由Windows 95操作系統(tǒng)所提供的多任務環(huán)境,可以期望每一個軟件模塊和對象將使用它自己的處理線程或者替代地,使用該主GUI線程。該應用軟件結(jié)構(gòu)是面向消息的和事件驅(qū)動的。該系統(tǒng)指揮員1202如圖46A所示。根據(jù)該COM結(jié)構(gòu)的標準方法,該系統(tǒng)指揮員1202支持兩個接口,IUnknown(標號1240)和INotifySrc(標號1242)。如那些該領域的技術(shù)人員所理解的,IUnknown接口1240是一個用于參考計數(shù),釋放存儲器,和對由其他COM對象所支持的接口進行訪問的標準COM接口。INotifySrc接口1242是在標準的COM設計指南允許軟件部件來對接收特定的消息表示興趣以后,被建立的模型。該系統(tǒng)指揮員維持一個將消息與感興趣的團體相關的映射,當一個消息來到該系統(tǒng)指揮員時,該系統(tǒng)指揮員搜尋所有感興趣的團體并且通過該INotifySrc接口激發(fā)一個對感興趣的團體(party)的部件的調(diào)用。該系統(tǒng)指揮員是被應用軟件首先載入和初始化的部件。然后,該系統(tǒng)指揮員從一個系統(tǒng)的登錄來判斷所有將要被該系統(tǒng)指揮員初始化的部件,然后載入每一個部件并且調(diào)用一個傳遞該INotifySrc接口指針的初始化函數(shù),以使該部件可以自己進行登錄。
圖46B圖示說明了使用一般形式的其他軟件部件。應該注意,其他部件典型地支持接口Iunknown和Inotify。
關于該COM結(jié)構(gòu)和對象之間使用接口的消息的背景材料可以在一篇論文中找到,該論文是K.Brockschmidt發(fā)表在1996年5月的Microsoft Systems Journal第63-80頁上的“OLE和COM怎樣解決部件軟件設計的問題”,一篇相關的論文是在1996年6月的MicrosoftSystems Journal第19-28頁上。
圖47圖示說明了由該安全管理者部件1208所執(zhí)行的處理。從模塊1244可以看出,該安全管理者處于空閑狀態(tài),直到一個用戶試圖進行登錄以后。當檢測到一個登錄的試圖時,就判斷(步驟1246)該登錄請求是否有效。如果該登錄請求無效,該部件循環(huán)回到模塊1244。但是如果該登錄請求有效,然后該用戶就登錄進入系統(tǒng)(步驟1248),然后它就判斷(步驟1252)該登錄進入的用戶被允許操作何種系統(tǒng)特征。這是通過訪問一個安全數(shù)據(jù)庫1254來檢索與該登錄進入的用戶相關的特征設置來實現(xiàn)的。根據(jù)該被檢索的特征設置,該安全管理者部件然后向每一個該用戶被允許訪問的(步驟1256)部件發(fā)送允許操作的命令。圖47的模塊1258還表示,該安全管理者部件進一步提供一個處理,由此被授權(quán)的超級用戶可以進入和編輯在該安全數(shù)據(jù)庫1254中的該特征設置。
圖48圖示說明了該遠程對象1236的一個典型對象的操作。該遠程對象的功能是用作該VR/PC單元的外部裝置的驅(qū)動器或者接口。這樣一種裝置可能包括外部媒質(zhì)驅(qū)動器裝置(例如,一個外部DAT驅(qū)動器),其他VR/PC單元,或者類似于那些顯示在圖1中的本地或者遠程節(jié)點。優(yōu)選地,對每一個與該VR/PC單元進行通信的外部裝置,均用一個遠程對象來進行具體的說明。
如模塊1260所示,經(jīng)過一個與該遠程裝置連接的通信鏈路被接收的數(shù)據(jù)被接收,然后被緩沖(步驟1262)。被接收的數(shù)據(jù)然后被翻譯成該應用軟件部件所使用的消息協(xié)議(步驟1264),所產(chǎn)生的消息被發(fā)送到該遠程管理者1238(圖45)。繼續(xù)參考圖48,當一個消息將要被從該VR/PC單元發(fā)送到一個遠程裝置時,該消息由該遠程對象1236中合適的一個從該遠程管理者1238中所接收。該消息被該遠程對象1236翻譯成一個合適的、發(fā)送到該外部裝置的格式(步驟1266),然后被放置在一個輸出緩沖器中(步驟1268),并且被經(jīng)過該通信鏈路發(fā)送出去(步驟1270)。
圖49圖示說明了由該前端面板軟件部件1214所執(zhí)行的處理(圖45)。當該VR/PC單元的一個用戶操縱在該前端面板586上的一個開關時(圖6),該前端面板軟件對象1214接收了一個相應的信號(步驟1272,圖49)。該開關操縱信號然后被翻譯成該應用軟件所使用的消息協(xié)議(步驟1274),所產(chǎn)生的消息被前轉(zhuǎn)到該系統(tǒng)指揮員。
該前端面板軟件對象還管理被提供在物理前端面板586上的LED的狀態(tài)。當將要改變在該前端面板586上的該LED顯示狀態(tài)時,該前端面板軟件對象1214從該系統(tǒng)指揮員接收一個合適的消息。該前端面板軟件模塊然后進行工作,將該消息翻譯成LED寄存器命令(步驟1276),并且輸出所產(chǎn)生的數(shù)據(jù),以保存在該LED寄存器中(步驟1278;沒有顯示LED寄存器)。
圖50圖示說明了由該建立管理者部件1204所執(zhí)行的處理。開始(步驟1280),它判斷是否已經(jīng)接收了一個關于前面被保存的建立信息的請求。如果接收了該請求,就滿足該請求(步驟1282)。步驟1282以后(或者如果沒有接收關于建立信息的請求,在步驟1280以后)是步驟1284,在步驟1284中,它判斷是否接收了一個要改變前面被保存的建立信息的請求。如果接收了該請求,就根據(jù)該請求來改變該建立信息(步驟1286)并且處理循環(huán)返回到1280。如果在步驟1284中沒有接收該請求,然后該處理直接從步驟1284返回到步驟1280。
現(xiàn)在參考圖51和52來描述由該視頻保存軟件部件1234所執(zhí)行的處理。
從圖51可以看出,被保存在該硬盤驅(qū)動器上的數(shù)據(jù)包括壓縮視頻數(shù)據(jù)1288和索引數(shù)據(jù)1290。該視頻數(shù)據(jù)與來自所有16個攝像機(如果有16個攝像機與該VR/PC單元相連并且在工作中)的該輸入流相應,并且其格式是與微軟關于音頻/視頻文件的.AVI(音頻/視頻交叉)標準一致。盡管這里所描述的該VR/PC單元的實施方式不保存音頻信息,可以想象來修改該系統(tǒng),以使提供音頻拾音器(麥克風)并且數(shù)字化的音頻數(shù)據(jù)與相關的視頻信息被保存在一起。與該輸入視頻信號流相應的數(shù)據(jù)被使用固定長度的文件格式來進行交叉保存,其中如圖52所示的N個文件1292被記錄在硬盤上。每一個文件1292的一個優(yōu)選大小是大略20兆字節(jié)。通過將連續(xù)的視頻數(shù)據(jù)流分成文件,由于抽取引起的數(shù)據(jù)丟失或者硬盤上的數(shù)據(jù)破壞可以得到限制。
除了準永久視頻數(shù)據(jù)文件1292以外,在該硬盤上還保存了維持在該硬盤的一個預告警緩沖器部分(標號1294)中的視頻數(shù)據(jù)。優(yōu)選地,該預告警緩沖器1294使用一個交叉的方式和使用基本上是該系統(tǒng)的滿幀速率(在該16個攝像機之間進行分配的每秒45場)保存與來自所有16個攝像機的該輸入視頻信號。通過對比,應該理解,一些或者所有16個攝像機當前可能根本沒有被記錄在該準永久文件1292中,或者可能被使用一個“隨時間下降”的速率來保存,該“隨時間下降”的速率基本上比每秒45/16的頻率低。優(yōu)選地,該預告警緩沖器1294在硬盤上可以作為一個環(huán)形緩沖器來實現(xiàn),例如,可能保存所有在過去60秒以內(nèi)在前端電子裝置所捕獲的視頻場。
現(xiàn)在來看在該硬盤上的索引數(shù)據(jù),覆蓋了所有文件1292的整個索引用標號1296來表示。對于該N個文件1292中的每一個文件,均提供了一個開始的日期和時間,以及一個結(jié)束的日期和時間。對每一個單獨的文件1292,還提供了一個附加的、說明文件的索引。該說明文件的索引被用標號1298來表示,并且為每一個視頻數(shù)據(jù)場提供了該場被捕獲的日期和時間,捕獲該場的攝像機,事件相關的信息,和該場在該文件中的偏移。如標號1302所示,給定用于一個特定場的事件信息可能包括表示在捕獲該場時,發(fā)生了多種類型的事件的數(shù)據(jù)。該事件的檢測可以通過聯(lián)系圖1所討論的告警傳感器526和/或者通過分析該圖象流的特征來完成。可以在接收該圖象流的時間來分析該圖象,或者是在一個較后的時間,回放該圖象流時來分析圖象。除了檢測事件本身已經(jīng)發(fā)生以外,該用于檢測事件的圖象分析算法可能返回一個置信因子值。在這種情形下,表示已經(jīng)檢測到一個事件的該數(shù)據(jù)可能會伴隨有由事件檢測算法所提供的該置信因子,如標號1304所示。
在本發(fā)明的一個優(yōu)選實施方式中,該索引信息1290被保存在與保存該相關視頻數(shù)據(jù)文件1292的硬盤相同的硬盤上,該索引信息還被保存在一第二硬盤上。為了搜尋該用戶感興趣的視頻數(shù)據(jù)在該第一硬盤上的位置,然后可能會訪問該第二硬盤,而訪問該第一硬盤來在其上保存新視頻數(shù)據(jù)的操作會繼續(xù),且不會被索引的搜尋所打斷。在本發(fā)明的一個實施方式中,提供了兩個硬盤,兩個硬盤中的一個被用于視頻數(shù)據(jù)保存(和相關的索引),而另一硬盤沒有被用于視頻數(shù)據(jù)保存,但是被專用于備份或者“陰影”索引信息和程序或者類似的保存。在本發(fā)明的另一實施方式中,提供了三個或者更多的硬盤驅(qū)動器。在后一實施方式中,硬盤驅(qū)動器之一是專用于陰影索引(shadow index)和程序信息保存的,另外兩個或者更多的硬盤是用于保存視頻數(shù)據(jù)的。
該視頻保存軟件部件執(zhí)行功能管理預告警視頻數(shù)據(jù)在該硬盤或者這些硬盤上的緩沖,將該輸入視頻流保存在該硬盤上,和檢索被保存在該硬盤上的視頻數(shù)據(jù)。圖52使用流圖的形式圖示說明了由該視頻保存軟件模塊所執(zhí)行的處理。開始,它在步驟1306判斷該視頻保存軟件部件現(xiàn)在是否參與了預告警緩沖器管理部分或者其功能的固定視頻數(shù)據(jù)保存部分。如果沒有參與預告警緩沖器管理,該處理在該硬盤上一個當前被打開的文件中保存下一大量要被準永久保存的視頻數(shù)據(jù)(步驟1308)。如前面所提到的和如隨后的討論,應該理解,大量視頻數(shù)據(jù)與數(shù)據(jù)的數(shù)量相應,該數(shù)據(jù)要能夠被方便地處理并且被緩沖以準備寫入到硬盤。然后更新相應的索引數(shù)據(jù)(步驟310)。下一處理判斷是否已經(jīng)到達了該當前視頻數(shù)據(jù)文件的末尾。如果是,然后就判斷用于保存視頻數(shù)據(jù)的該硬盤或者這些硬盤是否已經(jīng)滿了(步驟314)。如果不是,在該硬盤或者這些硬盤上打開另一視頻數(shù)據(jù)文件(步驟316)。如果該硬盤或者這些硬盤是滿的,步驟314以后就是步驟318。在步驟318中,判斷該視頻數(shù)據(jù)保存硬盤或者這些硬盤是否是被用一個環(huán)的方式來使用。如果不是,然后該視頻保存軟件部件向該系統(tǒng)指揮員發(fā)送一個表示已經(jīng)到達了保存容量的末尾的消息(步驟320)。但是,如果在步驟318中,發(fā)現(xiàn)硬盤是用一個環(huán)形的方式來工作的,然后復位該文件索引清單并且在該硬盤的“開始”處繼續(xù)進行保存(步驟1322)。
如果在步驟306發(fā)現(xiàn)已經(jīng)到了執(zhí)行該預告警緩沖器管理功能的時間,然后該處理從1306轉(zhuǎn)到步驟1324。在步驟1324中,判斷是否已經(jīng)檢測到一個告警條件。如果沒有,下一塊將要被保存在該預告警緩沖器中的視頻數(shù)據(jù)被放置在該硬盤的環(huán)緩沖器部分中的下一個保存位置中(步驟1326)。然后它判斷是否已經(jīng)到了該硬盤的環(huán)緩沖器部分的末尾(步驟328)。如果是到了末尾,該表示在該環(huán)緩沖器中的下一個保存點的指針就被移動到該環(huán)緩沖器的前面(步驟330)。否則,該指針被簡單地移動到該硬盤的該環(huán)緩沖器部分中的下一個保存位置上(步驟332)。
如果在步驟1324中,發(fā)現(xiàn)已經(jīng)檢測到了一個告警條件,然后步驟1334跟在步驟1324后。在步驟1334中,被保存在該環(huán)緩沖器中的該視頻數(shù)據(jù)被拷貝到該硬盤的永久保存部分。如步驟1336所示,將該數(shù)據(jù)從該環(huán)緩沖器拷貝到該硬盤的該永久保存部分繼續(xù),直到完成了拷貝,然后該指針被復位到該環(huán)緩沖器部分的開始。替代地,該硬盤的一個新部分被分配用作該環(huán)緩沖器,前面被分配用作一個環(huán)緩沖器的該硬盤的部分已經(jīng)組成該永久保存部分的一個部分,以在檢測到該告警條件以前保留被記錄在該預告警緩沖器中的該視頻數(shù)據(jù)。
圖53圖示說明了由該視頻搜尋軟件部件1224所繼續(xù)的該處理。當一個用戶激發(fā)了一個搜尋操作時(如下面將要描述的,通過與該圖形用戶接口進行交互作用),該視頻搜尋軟件部件進行處理,來從該用戶獲取表示日期,時間和該用戶所感興趣的視頻信息的源攝像機的搜尋參數(shù)(步驟1340)。另外,該視頻搜尋部件從該用戶獲取關于該搜尋是否使用一個圖象分析算法(“工具”)的表示。步驟1342是一個判斷模塊,其中它判斷是否請求一個基于一個圖象分析的搜尋。如果是,該視頻搜尋軟件部件從該用戶獲取表示將要被執(zhí)行的圖象分析算法的類型的輸入,和,如果合適,獲取一個或者多個約束該圖象分析算法的執(zhí)行的參數(shù)(步驟1344)。根據(jù)這個信息,該處理然后準備該圖象分析算法,來對在該搜尋中被檢索的該視頻數(shù)據(jù)進行分析(步驟1346)。在步驟1346以后(或者,如果該用戶沒有請求圖象分析,在步驟1342以后)是步驟1348,在步驟1348中,搜尋該數(shù)據(jù)庫來檢索由該用戶請求的視頻數(shù)據(jù)。如果請求了圖象分析,然后該分析算法被加到該被檢索的視頻數(shù)據(jù)。在任何一種情形下,均報告該搜尋的結(jié)果(步驟1352)。
現(xiàn)在參考圖54來詳細描述在圖53的步驟1348(“執(zhí)行搜尋”)中所示的該處理步驟。該步驟1348初始地包括建立與由該用戶所規(guī)定的該搜尋準則相互匹配的(圖54,步驟1354)、一個或者多個日期和時間文件的列表。對于在該列表上的每一個文件,如步驟1356所示,執(zhí)行該下述步驟對每一個文件產(chǎn)生該日期,時間和攝像機條目的一個列表,然后判斷是否要應用一個圖象分析算法(步驟1360)。如果沒有,即如果該用戶沒有請求圖象分析,然后就簡單地提交來用于產(chǎn)生報告(步驟1362)。但是,如果已經(jīng)請求了基于一個圖象分析的搜尋,然后對在步驟1358中組裝的該列表中的每一個條目,如步驟1364所示,就執(zhí)行下述處理首先,復位該圖象分析算法(步驟1366),并且然后使用該圖象分析算法來分析與該條目相應的視頻圖象序列(步驟1368)。然后在步驟1370中判斷該圖象序列是否有將要由該圖象分析算法所檢測的一個特征。如果是,該序列被加到一個正結(jié)果列表(步驟1372),并且該文件的索引信息被更新來表示檢測到了該事件(步驟1374)。即,在圖51中的1302所示的、與該事件相關的數(shù)據(jù)被更新來表示檢測到了該事件,以及用于該事件檢測判斷的置信因子。應該理解,如果沒有發(fā)現(xiàn)有該圖象流的該特征,該序列不被加到該結(jié)果列表并且不更新該索引信息。在任何一種情形下,在步驟1374以后,或者如果沒有檢測到所感興趣的特征,就在步驟1370以后,判斷在該列表中是否出現(xiàn)了更多的條目(步驟1376)。如果沒有,就報告作為該圖象分析的一個結(jié)果的結(jié)果(步驟1362)。但是,如果出現(xiàn)了更多的條目,就檢索下一個條目(步驟1378),對下一個條目執(zhí)行在步驟1364中開始的該循環(huán)。
圖55提供了由該視頻播放軟件部件1228所執(zhí)行的該處理的一個綜述。通過用戶操縱在該前端面板586上的慢旋轉(zhuǎn)開關660,或者通過用戶與該圖形用戶接口進行相互作用,來激發(fā)視頻播放操作,如下面所述。在某些情形下,在完成了一個搜尋以后,就自動輸入該視頻播放功能,來顯示由該用戶請求的該視頻數(shù)據(jù)。
如圖55所示,該視頻播放功能的開始步驟是判斷已經(jīng)發(fā)了何種播放命令(步驟1380)。如果已經(jīng)發(fā)了一個暫停命令(步驟1382),然后就中斷該視頻數(shù)據(jù)解壓縮操作(步驟1384),并且該視頻播放功能向該系統(tǒng)指揮員報告已經(jīng)暫停視頻播放(步驟1386)。如果已經(jīng)使用一給定的每秒X場的速率,發(fā)了一個快速播放命令(步驟1388),然后就再一次中斷該解壓縮操作(步驟1390)并且復位該快速模式播放圖象速率(1392)。然后就重新開始該視頻數(shù)據(jù)解壓縮操作(步驟1304),并且向該系統(tǒng)指揮員報告該新請求的播放速率(步驟1396)。
如果已經(jīng)選擇了使用每秒Y個圖象的速率來逆向播放(步驟1398),然后就再一次中斷該解壓縮操作(步驟1402),并且復位該逆向再生模式的圖象速率(步驟1404),并且開始一個逆向解壓縮操作(步驟1406)。在步驟1406以后是前述步驟1396,在步驟1396中,該被請求的播放速率被報告給該系統(tǒng)指揮員。如果在步驟1382,1388和1398中將要被檢測的情形都未出現(xiàn),則一個播放狀態(tài)沒有被改變的消息被發(fā)送到該系統(tǒng)指揮員(步驟1408)。
視頻數(shù)據(jù)解壓縮(前向)下面將參考圖56來更詳細地描述圖55中所示的該處理步驟1394。
圖56中所示的該處理從接收該解壓縮引擎的重新開始的命令開始(步驟1410)。以后是步驟1412,在步驟1412中,根據(jù)所使用的每秒X圖象的速率來設置該回放速率定時器,并且清除該退出解壓縮標識。
以后是步驟1414,在步驟1414中,找出該將要被回放的視頻流中的第一參考圖象在將要開始回放的點以后的位置。然后在步驟1416中解壓縮(重新組成)該參考圖象。在步驟1416以后,是步驟1418,在步驟1418中,判斷是否已經(jīng)請求了中斷該解壓縮引擎。如果是,一個消息被發(fā)送到該系統(tǒng)指揮員,來表示已經(jīng)中斷了該解壓縮引擎(模塊1420),并且停止了該解壓縮操作。但是,如果在步驟1418中沒有發(fā)現(xiàn)將要中斷該壓縮,然后該處理就移動到步驟1422,在步驟1422中,判斷是否已經(jīng)到了對下一圖象進行解壓縮的時間。如果不是,該處理循環(huán)返回到步驟1418。但是,如果是對下一圖象進行解壓縮的時間,該處理轉(zhuǎn)到步驟1424,在步驟1424中,判斷將要被解壓縮的該下一圖象是一個參考圖象或者是一個差異圖象。如果該下一圖象是一個參考圖象,就使用一個用于對一個參考圖象進行解壓縮的處理(模塊1426),然后該處理循環(huán)返回到步驟1418。如果該下一圖象是一個差異圖象,然后就使用一個用于對該差異圖象進行解壓縮的處理(模塊1428),然后該處理再一次返回到模塊1418。
現(xiàn)在參考圖57來描述用于對參考圖象進行解壓縮的處理(圖56中的模塊1416和1426)。圖57所示的該處理由循環(huán)套組成,其中由模塊1430所表示的一個外循環(huán)是用于該圖象中最小編碼單元的每一行的(每一個圖象30行),由模塊1432所表示的該內(nèi)循環(huán)是用于該當前行中的每一個MCU的(每一行20個MCU)。
在步驟1434中,處理JPEG編碼數(shù)據(jù)的六個塊中的每一個,來對該JPEG編碼進行逆操作并且基本上恢復視頻數(shù)據(jù)的原始六個數(shù)據(jù)瓦片(四個亮度和兩個顏色)??刂埔粋€通用微處理器來對JPEG編碼視頻數(shù)據(jù)進行解碼的程序是眾所周知的,所以不需要在這里進行描述。被解碼的、與該MCU相應的視頻數(shù)據(jù)然后被拷貝到一個輸出緩沖器(步驟1436)。只要已經(jīng)解碼了該參考圖象的所有行中的所有MCU并且已經(jīng)將它們放在該輸出緩沖器中,表示該整個解碼圖象的被緩沖的數(shù)據(jù)在比特的層次上被轉(zhuǎn)移,以顯示在該監(jiān)視器上(步驟1438)。
現(xiàn)在參考圖56和58來進一步討論圖55的模塊1384,1390,和1402。如圖58所示,當接收了一個停止解壓縮的命令時(步驟1440),然后就設置一個“退出進程”的標識(步驟1442)。如果然后發(fā)生了一個快速回放操作,然后該退出進程的標識觸發(fā)在模塊1418的一個肯定尋找(圖56),導致關閉該解壓縮引擎,并且向該系統(tǒng)指揮員發(fā)送一個合適的消息。如將要從關于逆向再生的處理的討論中可以看到的,該退出進程標識對該逆向再生操作有類似的效果。
現(xiàn)在參考圖59和如圖44所示的差異圖象數(shù)據(jù)的表示,來描述由模塊1428所執(zhí)行的處理(“解壓縮差異圖象”)。如模塊1444所示,解壓縮該差異圖象的開始步驟是讀入表示與該差異圖象相應的、被改變的MCU數(shù)據(jù)在該圖象平面中的位置的數(shù)據(jù)。然后執(zhí)行該循環(huán)套,其中該外循環(huán)由模塊1446所表示并且對該圖象平面中的MCU的每一行均執(zhí)行(每一圖象30行),該內(nèi)循環(huán)由步驟1448所示,并且對該行中的每一個MCU均執(zhí)行(每一行20個MCU)。
對每一個MCU,從該映射數(shù)據(jù)中拾取與該MCU相應的該比特(步驟1450),然后判斷(步驟1452)在該圖象平面中的該MCU是否在該當前圖象中發(fā)生了改變。例如,如果該比特的值是“0”,然后該MCU就沒有發(fā)生改變,但是該比特的值是“1”時,就表示該MCU已經(jīng)發(fā)生了改變并且與該MCU相應的該更新數(shù)據(jù)被包括在該當前視頻數(shù)據(jù)場中。如果遇到了一個“0”比特,然后該處理就簡單地進行循環(huán),以拾取下一個MCU的比特。當該圖象中的運動很少或者沒有運動時,該MCU映射一般是很稀疏的,以致MCU的整個行可能都沒有發(fā)生改變。但是,當遇到了一個被改變的MCU時,圖59的該處理就轉(zhuǎn)到模塊1454,在模塊1454中,解碼被改變的MCU數(shù)據(jù)的下一塊。該MCU數(shù)據(jù)的解碼可能由與聯(lián)系圖57的步驟1434被參考的標準程序相同的程序來執(zhí)行。
繼續(xù)參考圖59,在已經(jīng)解碼了該被改變的MCU數(shù)據(jù)以后,該處理根據(jù)該MCU的當前行和列計數(shù)來決定一個合適的偏移,以使剛才被解碼的MCU數(shù)據(jù)塊被引入到該圖象平面的合適位置上(步驟1456)。然后,根據(jù)所產(chǎn)生的偏移,輸出MCU數(shù)據(jù)的該被解碼塊來刷新該顯示緩沖器(步驟1458)。圖61用圖形表示了步驟1456和1458的結(jié)果。圖61說明,基于一個MCU接一個MCU地產(chǎn)生當前被解碼的該差異圖象,更新前面被顯示的一個圖象。如前面所提到的,該被改變的MCU可以被看作將要被粘貼到該圖象平面中、根據(jù)該被改變的MCU映射數(shù)據(jù)所決定的位置上的“郵票”。
步驟1456和1458以后,該處理進行循環(huán),以獲取該圖象平面中下一個MCU的該映射數(shù)據(jù)比特。
現(xiàn)在參考圖60來描述圖59的步驟1454的附加細節(jié)。開始對被改變的MCU數(shù)據(jù)的一塊進行解碼以后,拾取一個緩沖器大小的壓縮編碼視頻數(shù)據(jù)(步驟1460)。然后判斷是否有足夠的壓縮視頻數(shù)據(jù)來進行解碼處理(步驟1462)。如果有,就使用前面所提到的該標準解碼程序,來對由在該前端板上所執(zhí)行的該JPEG編碼進行逆操作(步驟1464)。如果在步驟1462中發(fā)現(xiàn)沒有足夠的壓縮編碼視頻數(shù)據(jù)來進行解碼時,然后就重新填充該緩沖器,如步驟1466所示。另外,如果當重新填充該緩沖器時,遇到了一個數(shù)據(jù)保存文件的末尾,然后就打開下一個數(shù)據(jù)文件(步驟1468和1470)。在一個替代的實施方式和優(yōu)選的實施方式中,用來補充圖象的數(shù)據(jù)可以一次性完成,這樣可以不要步驟1462,1466,1468和1470。
現(xiàn)在參考圖62A和62B來描述在回放操作期間刷新該顯示緩沖器的替代技術(shù)。
圖62A顯示了在該VR/PC單元中使用來提供一個每秒18場的刷新速率的一個技術(shù)。開始,對一個參考圖象中的點數(shù)據(jù)的600個MCU使用JPEG解碼,或者對一個差異圖象中被改變的MCU數(shù)據(jù)使用JPEG解碼(步驟1472)。然后主板CPU使用一個垂直內(nèi)插操作來從該640點×240行的內(nèi)部數(shù)據(jù)表示中獲取480行點數(shù)據(jù)(步驟1474)。后面是一個進一步的軟件處理步驟,其中該YUV數(shù)據(jù)被翻譯成RGB數(shù)據(jù)(步驟1474),該被翻譯的數(shù)據(jù)包括640點×480行,每點是三個字節(jié),并且在步驟1478中被緩沖,然后被使用每秒18場的速率來進行比特轉(zhuǎn)移,來驅(qū)動一個SVGA監(jiān)視器。
圖62B圖示說明了在回放期間提供一個每秒30場的刷新速率的一個替代技術(shù)。根據(jù)這個技術(shù),與如圖62A的技術(shù)相同,使用了相同的開始JPEG解碼步驟1472,但是該被解碼的數(shù)據(jù)被發(fā)送到一個硬件模塊1480,該硬件模塊1480使用一個2倍的垂直縮放功能并且然后將所產(chǎn)生的480行數(shù)據(jù)發(fā)送到另一硬件模塊1482,以將顏色空間從YUV翻譯到RGB。然后直接從該硬件1482輸出該RGB數(shù)據(jù),以使用一個每秒30場的刷新速率來驅(qū)動該SVGA。雖然其代價是提供了附加的硬件部件1480和1482,圖62B中圖示說明的所謂“直接繪制”技術(shù),除了提供一個更快的刷新速率以外,還減少了該主板CPU的負擔。
現(xiàn)在參考圖63A和63B來描述在該VR/PC單元中所使用的替代記錄和回放策略。
圖63A中原理性地圖示說明的該第一替代策略最大程度地獲得了該單元同時記錄分別由幾個(例如,16)與該單元相連的攝像機所產(chǎn)生的視頻信號流的靈活性,但是所提供的圖象的垂直分辨率是240行,大略是商業(yè)廣播標準的一半。但是,已經(jīng)發(fā)現(xiàn)使用內(nèi)插技術(shù)來產(chǎn)生480行,該垂直分辨率對視頻監(jiān)視應用來說至少是足夠的。在任何一種情形下,在圖63A所示的技術(shù)中,一個“三-帶(tri-corder)”時隙1484(與該前端模擬板(圖13)的三個場鎖定信道804之一相應)在一個給定時間被分配到由攝像機X所產(chǎn)生的一個場。這樣來操作該前端模擬板,以使僅捕獲奇數(shù)場來使表示運動或者被改變的MCU的抖動和錯誤最少。來自該攝像機X的被捕獲場然后被并行處理,來通過該前端電子裝置進行數(shù)字化和壓縮,如步驟1486所示,并且被作為一單個.AVI數(shù)據(jù)流被保存在該硬盤1488上。
當請求回放該由攝像機X所產(chǎn)生的圖象流時,就從硬盤1488,使用上面(模塊1490)所討論的方式來進行解碼(解壓縮)的軟件再生該相應的.AVI流,然后使用該再生流來驅(qū)動一個SVGA監(jiān)視器(模塊1492)。
圖63B圖示說明了一個替代技術(shù),其中這樣來操作該VR/PC單元,來對一個攝像機進行回放時,提供基本上標準的商業(yè)廣播垂直分辨率,但是其代價是大大地減少了與該VR/PC單元相連的其他攝像機所能夠使用的記錄資源。在圖63B的技術(shù)中,該前端模擬板的場鎖定信道804中的兩個,由圖63B中的“三-帶”時隙1494和1496來表示,各自專用于捕獲由攝像機X所產(chǎn)生的奇數(shù)場和偶數(shù)場。該“三-帶”時隙1494僅捕獲偶數(shù)場,“三-帶”時隙1496僅捕獲奇數(shù)場。
在隨后的直到保存到磁盤的處理中,該攝像機X的偶數(shù)場和該攝像機X的奇數(shù)場被處理成這兩個場似乎是兩個不相關的視頻信號流。這樣,偶數(shù)場的數(shù)字化和壓縮與奇數(shù)場的數(shù)字化和壓縮分離開,如模塊1498和1502所示。因為可以獲得一第三場捕獲信道,所以該第三信道可以被另一攝像機所使用或者被其他攝像機所共享,以使一個或者多個附加的流(圖63B中沒有顯示)的數(shù)字化和壓縮與由該攝像機X所產(chǎn)生的該奇數(shù)場和偶數(shù)場流的數(shù)字化和壓縮一起進行。在任何一個事件中,這兩個獨立的流被作為兩個獨立.AVI文件保存在該硬盤1488上,并且被以兩個獨立的文件進行管理和檢索。結(jié)果,圖63B所示的安排允許該VR/PC單元保存由攝像機X所產(chǎn)生的、垂直分辨率是480行的圖象。
因為該偶數(shù)場和奇數(shù)場流是獨立保存的,在進行回放時,有幾個軟件解碼選項,如模塊1504所示。例如,因為完全垂直分辨率所需的所有數(shù)據(jù)出現(xiàn)在該硬盤1488上,這兩個流被播放和交叉,來提供一個交叉的480行顯示,如1506所示。當使用前向或者逆向運動來進行播放時,一個計算量較少的方法,可以被稱作“中斷和填充”(標號1508),只回放這兩個流中的僅一個流,并且進行垂直內(nèi)插來提供480行。但是,當該回放圖象流被暫停時,從其他流來的場可能被再生來產(chǎn)生一個有完全垂直分辨率的圖象。
逆向視頻數(shù)據(jù)解壓縮現(xiàn)在來描述當以一個反方向來再生該圖象流時,解壓縮該壓縮編碼視頻數(shù)據(jù)所需的處理。開始,將參考圖64來提供該處理的一個概念性綜述。
在圖64中,標號1510顯示了格式與聯(lián)系圖44所討論的格式相同的一系列壓縮視頻數(shù)據(jù)場。但是,為了圖64中圖示說明的示例,假定在兩個連續(xù)的參考圖象1132之間僅有三個差異圖象1134,而不是VR/PC單元的一個優(yōu)選實施方式中實際所使用的32個差異圖象。從圖44所示的格式可以看出,標號1138-1到1138-3表示包括在該差異圖象數(shù)據(jù)場1134-1到1134-3中的被改變的MCU映射數(shù)據(jù)。使用相同的表示,標號1140-1到1140-3分別表示包括在該差異圖象數(shù)據(jù)(原文為參考)場1134-1到1134-3中的被改變的MCU數(shù)據(jù)。應該理解,該圖象場序列1510中的從左到右的方向與當記錄該場時的時間前進的方向相應。換句話說,產(chǎn)生和記錄該場的時間序列是1132-1,1134-1,1134-2,1134-3,1132-2。圖64中的標號1512圖示說明了在實際對在圖1510所示的該圖象序列進行逆向回放以前所執(zhí)行的一系列預處理步驟。
已經(jīng)產(chǎn)生了與一個與開始被壓縮來形成該參考數(shù)據(jù)場1132-1的圖象相應的圖象,然后該預處理步驟讀取與下述差異圖象1134-1相應的被“改變”MCU映射數(shù)據(jù)1138-1。因為該映射數(shù)據(jù)1138-2表示下一差異圖象1134-1與該當前圖象1132-1不同的、在圖象平面中的MCU部分,該映射數(shù)據(jù)1138-1還表示當形成下一圖象時,在該當前圖象中將要被“粘貼”的MCU。因為這個原因,根據(jù)映射數(shù)據(jù)1138-1來選擇與該數(shù)據(jù)場1132-1相應的圖象的MCU,來形成在逆向回放中將要被用于重構(gòu)該當前圖象的“后向郵票”數(shù)據(jù)1514-0。在保存了“將要被改變的”MCU1514-0以后,再一次使用該映射數(shù)據(jù)1138-1,這一次是通過“粘貼”被改變的MCU數(shù)據(jù)1140-1來重構(gòu)與數(shù)據(jù)場1134-1相應的該圖象,來更新與該數(shù)據(jù)場1132-1相應的圖象。
如聯(lián)系圖59所描述的該過程,該映射數(shù)據(jù)1138-1被用于使用在圖61中圖示說明的方式,來“引導”被解碼的MCU“郵票”。(但是,與圖59的過程不同,所產(chǎn)生的參考圖象不被輸出到顯示器。)在這個點上,咨詢數(shù)據(jù)場1134-2的映射數(shù)據(jù)1138-2來決定要將哪一個與1134-1相應的該圖象的MCU作為與該數(shù)據(jù)場1134-1相應的“將要被改變的”MCU1514-1來進行保存。然后,與前面的相同,第二次使用該映射數(shù)據(jù)1138-2來通過粘貼MCU數(shù)據(jù)1134-2,以產(chǎn)生一個與該數(shù)據(jù)場1134-2相應的重構(gòu)圖象,來更新與場1134-1相應的該圖象。
下面,使用該映射數(shù)據(jù)場1138-3來決定要將哪一個與1134-2相應的該圖象的MCU作為與該數(shù)據(jù)場1134-2相應的“將要被改變的”MCU1514-2來進行保存。然后,再一次使用該映射數(shù)據(jù)1138-3來引導MCU數(shù)據(jù)1134-3,以通過更新該場1134-2的圖象來產(chǎn)生一個與場1134-3相應的重構(gòu)圖象。圖64中被表示為1134-3R(重構(gòu)的)的、所產(chǎn)生的重構(gòu)圖象,然后在下面的逆向回放序列中,被作為一個后向“參考”圖象來進行保存。現(xiàn)在完成了該預處理序列1512,然后如前面的從右到左的方向,該逆向回放處理可能轉(zhuǎn)到圖64所示的一個序列1514。
開始在序列1514中,輸出被重構(gòu)的后向“參考”圖象1134-3R(與在捕獲參考圖象1132-2以前所捕獲的該圖象相應)來進行顯示。
然后,使用引導該后向郵票(“將要被改變的MCU”)的該映射數(shù)據(jù)1138-3來更新圖象1134-3R,以使一個MCU接一個MCU地來更新該后向參考圖象1134-3R來產(chǎn)生與“下一個時間上較早的圖象”(即相應于差異視頻數(shù)據(jù)場1134-2的圖象)相應的一個圖象。然后,依次地,使用被改變的MCU映射數(shù)據(jù)1138-2來將將要被改變的“后向郵票”1514-1引導到該圖象平面中合適的位置上,來更新與數(shù)據(jù)場1134-2相應的圖象,以形成與該視頻數(shù)據(jù)場1134-1相應的一個圖象。
下面,使用由映射數(shù)據(jù)1138-1引導的將要被改變的MCU1514-0來更新該場1134-1的圖象,以形成與場1132-1相應的一個圖象。替代地,整個參考場1132-1被重新進行解碼,但是這花費的時間比使用“后向郵票”1514-0所花費的時間長。在這一點上,可以再一次使用上面相對于序列1512所討論的該過程,但是,這次使用的是在圖象流中,在該參考圖象1132-1的前面、最后所出現(xiàn)的該參考圖象,和在緊接在該參考圖象1132-1以前的一組差異圖象數(shù)據(jù)場。
在圖64的余下部分中,顯示了一個簡單地對用于逆向回放操作的解壓縮技術(shù)的圖示說明。作為一個簡化的示例,顯示了一個圖象序列1516。該序列1516包括圖象1132-1E,1134-1E,1134-2E,1134-3E和1132-2E。已經(jīng)作了下述假定,以使不會使用不適當?shù)膹碗s圖象來圖示說明該解壓縮技術(shù)的原理(1)假定每一個圖象由一個4×4最小編碼單元的陣列組成。
(2)每一個最小編碼單元的形狀是方形,而不是該VR/PC單元的一個實際優(yōu)選實施方式中的MCU結(jié)構(gòu)的4×1矩形數(shù)據(jù)瓦片。
(3)該初始圖象1132-1E是全白的。
(4)一個在尺寸上精確地與一個MCU相應的物體進入MCU的最上一行的最左MCU處的觀察圖象場,并且精確地在該圖象1134-1E的時間進入,然后該過程使用每幀精確地一個MCU的速率,以一個朝右的方向穿過該圖象平面。
在1518所顯示的是分別與該差異圖象1134-1E,1134-2E和1134-3E相應的映射數(shù)據(jù)1138-1E,1138-2E和1138-3E。(但是,應該注意,1518僅顯示出映射數(shù)據(jù)1138-(N)E的前面4個比特。根據(jù)顯示在15-16中的該示例性圖象,每一個映射數(shù)據(jù)的最后12個比特將全是“0”,并且被省略以簡化該圖象。)檢查被顯示在1518中的該映射數(shù)據(jù),可以看到,該圖象1134-1E僅有一個被改變的MCU(在頂行中的第一個MCU),以使該映射數(shù)據(jù)1138-1E中僅相應的第一比特的值是“1”。在下一個圖象1134-2E中,在項行中的前兩個MCU相對于前一圖象發(fā)生了改變,所以在該映射數(shù)據(jù)1138-2E中的前兩個比特的值是“1”,余下的比特是值“0”。在下一個圖象1134-3E中,在頂行中的第二和第三MCU相對于前一圖象發(fā)生了改變,所以產(chǎn)生了如1138-3E所示的映射數(shù)據(jù)“0110”。
該相應被改變的MCU數(shù)據(jù)被圖示于1520。從圖中可以看出,對于表示該第一差異圖象1134-1E的數(shù)據(jù),僅一單個MCU數(shù)據(jù)塊(一個黑“郵票”)組成了該被改變的MCU數(shù)據(jù)1140-1E。下一個圖象的被改變的MCU數(shù)據(jù)1140-2E在一個白“郵票”以后包括一個黑“郵票”。下一圖象的被改變的MCU數(shù)據(jù)1140-3E是相同的,即在一個白“郵票”以后包括一個黑“郵票”。
在上述討論的、關于該序列1512的預處理以后,就讀取該映射數(shù)據(jù)1138-1E。值“1000”意味著僅需要保存該參考圖象1132-1E的第一MCU,由此來形成將要被改變的MCU數(shù)據(jù)1514-0E(一個“后向郵票”-全白)。下面,使用該映射數(shù)據(jù)1138-1E來在該MCU的頂行中的第一MCU位置處應用所有黑郵票被改變的MCU數(shù)據(jù),來產(chǎn)生被重構(gòu)的差異圖象1134-1E,由此來更新該參考圖象1132-1E。然后讀取下一差異圖象的該映射數(shù)據(jù)1138-2E。該值“1100”表示需要保存該被重構(gòu)圖象1134-1E的前兩個MCU(一個黑郵票以后是一個白郵票),由此來形成將要被改變的MCU數(shù)據(jù)1514-1E(“后向郵票”)。然后,一個被改變的MCU接一個被改變的MCU,來更新該圖象1134-1E,以形成該圖象1134-2E。特別地,一個比特接一個比特地讀取該映射數(shù)據(jù)1138-2E,如值“1100”所表示的,該MCU數(shù)據(jù)1140-2E的第一郵票被引導到頂行中的第一MCU位置,然后1140-2E中的下一個郵票(全黑)被引導到到頂行中的第二MCU位置。然后,再一次地保存“將要被改變的”MCU。這樣就讀取了該映射數(shù)據(jù)1138-3E,并且發(fā)現(xiàn)在該頂行中的第二和第三MCU(與后面跟一個白郵票的一個黑郵票相應)被選擇來形成該(“后向郵票”)將要被改變的MCU數(shù)據(jù)1514-2E。
下面是一個MCU接一個MCU地更新該圖象1134-2E來形成該圖象1134-3E的步驟。如前面所述,使用該映射數(shù)據(jù)1138-3E來將該前向被改變的MCU1140-3E引導到該圖象平面中的合適位置上,來完成這個步驟。因為1134-3E是在一個參考圖象以前的最后一個差異圖象,所以保存該被重構(gòu)的圖象1134-3E來進行顯示,然后該被重構(gòu)的圖象1134-3E被用作一個后向“參考”圖象。
在這一點上,完成了該預處理步驟,并且可能發(fā)生實際的逆向回放操作。開始,顯示該被重構(gòu)的圖象1134-3E。然后,讀取該映射數(shù)據(jù)1138-3E并且使用該映射數(shù)據(jù)1138-3E來引導該后向MCU數(shù)據(jù)1514-2E,以更新該圖象1134-3E來形成該圖象1134-2E。下面,讀取該映射數(shù)據(jù)1138-2E并且使用該映射數(shù)據(jù)1138-2E來引導該后向MCU數(shù)據(jù)1514-1E,以更新該圖象1134-2E來形成該圖象1134-1E。最后,使用該映射數(shù)據(jù)1138-1E來引導該后向MCU數(shù)據(jù)1514-0E,以更新該差異圖象1134-1E來形成該參考圖象1132-1E。從前述的討論中可以看出,然后下面對該參考圖象和最先產(chǎn)生在該圖象1132-1E以前的差異圖象組執(zhí)行該預處理序列。
從前面關于在逆向回放操作中所使用的該解壓縮技術(shù)的描述中可以理解,該映射數(shù)據(jù)1138被用于逆向回放解壓縮操作和前向回放操作。特別地,在該逆向回放解壓縮技術(shù)中使用該映射數(shù)據(jù)1138的目的明顯有三個(1)為了使用一個與在前向回放解壓縮操作中所使用的方式類似的方式,在該預處理步驟期間,在一個前向方向重構(gòu)差異圖象。
(2)為了選擇該“后向郵票”(將要被改變的MCU)1514。
(3)為了在該實際逆向回放期間,引導該被改變的MCU。
可以確信,在逆向解壓縮處理期間多次使用和高效地使用該映射數(shù)據(jù)代表了這里所公開的該壓縮視頻數(shù)據(jù)格式(圖44)和相應的壓縮技術(shù)的一個特別有利的方面。
與圖64中圖示說明的背景示例相比,現(xiàn)在參考圖65-68更詳細地描述了由圖55的模塊1406所表示的處理。
開始參考圖65,該后向解壓縮處理的開始步驟是根據(jù)所需的后向回放速率來設置該圖象速率定時器并且清除該退出標記(步驟1522)。然后,在步驟1524中,找出在時間上與將要出現(xiàn)該逆向回放操作的時間點相應的該參考圖象,然后解壓縮該參考圖象(步驟1526)。在步驟1526以后是步驟1528,步驟1528與圖64中的1512所表示的該預處理序列相應。
下一步驟是步驟1530,在步驟1530中,判斷是否設置了該退出進程的標記。如果設置了該標記,將一個合適的消息發(fā)送到該系統(tǒng)指揮員(步驟1532),并且停止該后向解壓縮操作。如果在步驟1530中沒有發(fā)現(xiàn)設置了該“退出進程”的標記,則該處理就進行到步驟1534,在步驟1534中,對所需的回放圖象速率判斷是否是解碼和顯示下一圖象的時間。如果不是,該處理循環(huán)返回到步驟1530。但是,如果是解碼和顯示下一圖象的時間,就進行步驟1536,在步驟1536中,判斷該下一圖象是一個參考圖象或者是一個差異圖象。如果該下一圖象是一個參考圖象,就根據(jù)一個合適的過程來解碼該參考圖象(步驟1538),然后建立下一“后向歷史緩沖器”(步驟1540),即將顯示在圖64中的1512的預處理過程應用到下(緊接在記錄時間以前)一組差異圖象。
如果在步驟1536中發(fā)現(xiàn)將要被解碼的該下一圖象是一個差異圖象,然后使用前面所產(chǎn)生的后向歷史緩沖器并且根據(jù)一個合適的過程來解碼該差異圖象。
現(xiàn)在轉(zhuǎn)到圖6,將進一步解釋“建立后向歷史緩沖器”,圖65中的步驟1528和1540。開始(步驟1544),就在現(xiàn)在將要進行解碼的差異圖象組以前記錄的該該參考圖象(如圖64的1132-1所示)被解壓縮,然后被使用記錄的形式保存在一個“上一場”的緩沖器中。然后,在步驟1546中,該過程拾取與該差異圖象1134相應的映射數(shù)據(jù),該差異數(shù)據(jù)1134是在剛才被解碼的該參考圖象的時間的后面被記錄的。該被拾取的映射數(shù)據(jù)使用與該第一差異場相應的被改變的MCU數(shù)據(jù)1140,來一個MCU接一個MCU地更新該“上一場緩沖器”(步驟1548)。然后下面是一個循環(huán),如步驟1552所示,并且對于現(xiàn)在被解碼的該差異圖象組中的其他差異圖象1134中的每一個使用該循環(huán)。作為該循環(huán)的一第一步驟,它是步驟1554,并且拾取用于在最近被重構(gòu)的該差異圖象的后面的該差異圖象的映射數(shù)據(jù)。然后根據(jù)下一差異場映射數(shù)據(jù)來產(chǎn)生(步驟1556)來自剛才被重構(gòu)的差異圖象的將要被改變的MCU(后向郵票1514),然后使用前向被改變的MCU數(shù)據(jù)1140來更新該上一場緩沖器,來重構(gòu)該下一差異圖象(步驟1558)。在循環(huán)1552-1558的所有所需迭代以后,已經(jīng)產(chǎn)生由圖64中的1512所表示的后向歷史緩沖器數(shù)據(jù)。
圖67詳細圖示說明了與圖66的模塊1544相應的該處理。圖67的該處理的形式是三個循環(huán)套,該循環(huán)套的外循環(huán)由模塊1560所表示,并且對MCU中的每一行執(zhí)行該外循環(huán)。該循環(huán)套的中間循環(huán)由模塊1562所表示,并且對該行中的每一個MCU執(zhí)行該中間循環(huán)。該循環(huán)套的內(nèi)循環(huán)由模塊1564所表示,并且對該MCU中的每一個數(shù)據(jù)瓦片執(zhí)行該內(nèi)循環(huán)。如模塊1566所示,對每一個數(shù)據(jù)瓦片執(zhí)行一個解壓縮和然后的記錄處理。模塊1566的細節(jié)被顯示在圖68中。開始,如步驟1568所示,處理與該數(shù)據(jù)瓦片相應的該被壓縮的視頻數(shù)據(jù)來恢復被量化的系數(shù)值。然后,將該DC系數(shù)作為一個絕對值來記錄,而不是作為與前一數(shù)據(jù)瓦片DC電平進行比較所產(chǎn)生的一個差異值來記錄。
然后,根據(jù)標準的視頻數(shù)據(jù)壓縮技術(shù)(步驟1572)來對其他系數(shù)進行霍夫曼編碼和變長編碼,并且保存該被記錄的數(shù)據(jù)瓦片數(shù)據(jù)(步驟1574)。(如剛才所述,在前向回放操作期間,可以執(zhí)行產(chǎn)生一個后向歷史緩沖器的操作,如圖56中的模塊1575所示,來實現(xiàn)從前向到逆向回放操作的快速切換。)壓縮器管理者軟件部件現(xiàn)在參考圖69和70來詳細描述顯示在圖45中的該壓縮器管理者軟件部件1216。應該理解,該壓縮器管理者軟件部件1216處理在該主板CPU和該前端電子裝置(特別是前端控制器DSP1050,如圖36)之間進行的通信。
圖69圖示說明了該壓縮器管理者軟件部件涉及處理命令,即從該主板被發(fā)送到該前端電子裝置的消息,的方面。開始,在步驟1576判斷是否要發(fā)送一個告警命令。如果要發(fā)送一個告警命令,與該當前告警條件或者多個告警條件相應的該比特或者多個比特被設置在告警條件數(shù)據(jù)字節(jié)中(步驟1578),然后使用一個合適的格式來產(chǎn)生運載該告警條件字節(jié)的一個消息,以被該前端控制器DSP所接收(步驟1580)。
如果要將涉及要被捕獲來進行保存的攝像機輸入流的序列的一個命令發(fā)送到該前端板(步驟1582),然后產(chǎn)生表示用于捕獲該攝像機信號流的所需序列的一個數(shù)據(jù)集(步驟1584)。所產(chǎn)生的消息被格式化,以被該前端板控制器所接收(步驟1586)。
在步驟1588中,判斷是否要將一個場保存速率命令發(fā)送到該前端電子裝置。如果要將一個場保存速率命令發(fā)送到該前端電子裝置,就產(chǎn)生將該前端電子裝置編程成使用該所需的速率來捕獲視頻數(shù)據(jù)場所需要的數(shù)據(jù)(步驟1590),然后,所產(chǎn)生的消息被格式化,以被該前端電子裝置所接收(步驟1592)。
在步驟1594中,判斷是否要將一個涉及將要在該前端電子裝置中的現(xiàn)場圖象分析模塊846(圖14)中執(zhí)行的一個圖象分析算法的命令發(fā)送到該前端電子裝置。繼續(xù)參考圖69,如果要發(fā)送一個圖象分析算法命令,然后就產(chǎn)生涉及該圖象分析的數(shù)據(jù)(例如,詳細說明將要被執(zhí)行的該算法的數(shù)據(jù),或者用于約束該算法的執(zhí)行的參數(shù))(步驟1596),然后被使用一個合適的格式來放置,以被該前端電子裝置所接收(步驟1598)。
在步驟1682中,判斷是否要將一個涉及視頻數(shù)據(jù)壓縮的命令發(fā)送到該前端電子裝置。如果要將一個涉及視頻數(shù)據(jù)壓縮的命令發(fā)送到該前端電子裝置,就組合用于選擇一個壓縮參數(shù)的數(shù)據(jù)(步驟1604)。例如,可以發(fā)送一個壓縮參數(shù),該壓縮參數(shù)用于選擇一個標準數(shù)據(jù)瓦片“相同性”閾值,或者一個提供更好的再生圖象質(zhì)量的第二更嚴格的閾值,或者一個不太嚴格的、并且能夠減少每場所產(chǎn)生的壓縮視頻數(shù)據(jù)的平均數(shù)量的第三參數(shù)中的一個。替代地,該壓縮參數(shù)可以用于設置用于量化在該JPEG芯片848中的系數(shù)的比特的數(shù)目。
應該注意到,優(yōu)選地,在步驟1596和1604中所組裝的數(shù)據(jù)包包括標識哪一個攝像機要應用該數(shù)據(jù)的數(shù)據(jù),以使該圖象分析算法和/或者該壓縮處理可以對每一個攝像機均不同。
步驟1604以后是步驟1606,在步驟1606中,對該壓縮參數(shù)包進行格式化,以被該前端電子裝置所接收。在步驟1608中,判斷是否要將一個消息送到該前端電子裝置,以控制該現(xiàn)場顯示處理模塊844(圖14)的操作。例如,從該現(xiàn)場顯示模塊844輸出的該圖象的大小,將要被同時顯示的視頻流的數(shù)目,例如1,4,9,或者16,和/或者攝像機流在多個顯示窗口之間的分配可以被改變。如果步驟1608中作出了一個肯定的判斷,然后在步驟1610中產(chǎn)生該合適的現(xiàn)場顯示命令序列,并且在步驟1612中對該合適的現(xiàn)場顯示命令序列進行格式化,以在該前端電子裝置提供一個能夠被正確處理的消息。
在步驟1580,1586,1592,1598,1606,或者1612中任何一個步驟以后,是一個步驟1614,在步驟1614中,所涉及的該消息被耦合到該PCI總線596(圖3)以被發(fā)送到該前端電子裝置。
現(xiàn)在參考圖70來描述涉及由該主板從該前端電子裝置所接收的狀態(tài)消息的處理的、該壓縮器管理者軟件部件的方面。如步驟1616所示,接收了經(jīng)過PCI總線來的消息數(shù)據(jù),然后就檢測該消息的類型。
如果發(fā)現(xiàn)該消息是一個告警消息(步驟1618),然后就解碼該告警數(shù)據(jù)(步驟1620),并且使用一個對該主板CPU軟件部件合適的格式來產(chǎn)生報告該告警數(shù)據(jù)的一個消息(步驟1622)。例如,該告警消息可以詳細說明通過一個告警傳感器526(圖1)所檢測的、或者通過由該前端電子裝置所執(zhí)行的現(xiàn)場圖象分析所檢測的該告警事件的類型。
繼續(xù)參考圖70,如果發(fā)現(xiàn)該輸入消息是一個涉及用于記錄的攝像機流的序列的消息(步驟1624),就解碼包括在該消息中的該數(shù)據(jù)(步驟1626),并且對它進行格式化以與該主板CPU軟件交流消息(步驟1628)。
如果該輸入消息涉及由該前端電子裝置所實現(xiàn)的一個場捕獲速率(步驟1630),然后就解碼該場速率數(shù)據(jù)(步驟1632),并且使用一個適合于在該主板CPU軟件中使用的格式來對該數(shù)據(jù)進行格式化(步驟1634)。
如果該輸入消息涉及在該前端電子裝置中所執(zhí)行的一個現(xiàn)場圖象分析算法(步驟1636),然后就解碼該涉及該算法的數(shù)據(jù)(步驟1638),并且使用一個適合于在該主板CPU軟件中使用的格式來對該數(shù)據(jù)進行格式化(步驟1640)。
如果該輸入消息涉及用于控制在該前端電子裝置中正在被執(zhí)行的壓縮操作的一個參數(shù)(步驟1642),然后就解碼該壓縮參數(shù)數(shù)據(jù)(步驟144),并且使用一個適合于在該主板CPU軟件中使用的格式來對該壓縮參數(shù)數(shù)據(jù)進行格式化(步驟1646)。
如果該輸入消息涉及在該前端電子裝置中正在執(zhí)行的現(xiàn)場顯示處理(步驟1648),然后就解碼該數(shù)據(jù)(步驟1650),并且使用一個適合于在該主板CPU軟件中使用的格式來對該數(shù)據(jù)進行格式化(步驟1640)。
在步驟1622,1628,1634,1640,1646,或者1652中任何一個步驟以后,是一個步驟1654,在步驟1654中,所涉及的消息被前轉(zhuǎn)到該系統(tǒng)指揮員軟件部件1202(圖45),并且通過該系統(tǒng)指揮員被傳遞到需要接收該消息的其他軟件部件。典型地,在模塊1624,1630,1636,1642和1648中被檢測的該消息是表示該前端板已經(jīng)實現(xiàn)了前面從該主板被發(fā)送到該前端電子裝置的命令的狀態(tài)消息。
現(xiàn)在參考圖71來描述涉及處理輸入壓縮視頻數(shù)據(jù)的該壓縮器管理者軟件部件的方面。已經(jīng)假定發(fā)生了一個視頻數(shù)據(jù)的DMA轉(zhuǎn)移。然后該壓縮器管理者判斷該DMA視頻數(shù)據(jù)轉(zhuǎn)移是否已經(jīng)完成(步驟1656)。如果已經(jīng)完成了該DMA視頻數(shù)據(jù)轉(zhuǎn)移,就轉(zhuǎn)移剛才被接收的該被緩沖的視頻數(shù)據(jù),來將它記錄在該硬盤上(步驟1658),然后判斷是否已經(jīng)到達了一個圖象的末尾(步驟1660)。如果沒有到達一個圖象的末尾,該處理循環(huán)返回到步驟1656。但是,如果已經(jīng)到達了一個圖象的末尾,然后就產(chǎn)生與剛才被接收的該視頻數(shù)據(jù)相應的該索引數(shù)據(jù)(步驟1662),就產(chǎn)生和保存表示該視頻數(shù)據(jù)的位置的該地圖并且將該視頻數(shù)據(jù)保存在該地圖的位置以后的位置(步驟1664)。最后,在一個步驟1666中,該被接收的視頻數(shù)據(jù)和該索引數(shù)據(jù)被前轉(zhuǎn)到該視頻保存軟件部件1234(圖45)。
現(xiàn)在參考圖72來描述該視頻記錄軟件部件1218(圖45)?;旧希撘曨l記錄軟件部件執(zhí)行三個功能。第一,這個部件通過產(chǎn)生(步驟1668)通過該壓縮器管理者軟件部件1216被前轉(zhuǎn)到該前端電子裝置的參數(shù)設置消息來建立該壓縮操作。進一步,合適的初始消息被提供到該視頻保存軟件部件1234(圖45),如步驟1670所示。最后,在該前端電子裝置中所執(zhí)行的該壓縮處理操作被在步驟1672中所產(chǎn)生的一個合適的消息激發(fā)并且被通過該壓縮器管理者軟件部件來進行前轉(zhuǎn)。
現(xiàn)在參考圖73來描述涉及處理搜尋請求的存檔管理者軟件部件1226(圖45)的方面。
圖74圖示說明了涉及命令處理的存檔管理者軟件部件的方面。本質(zhì)上,在如圖74所示的處理中被處理的命令涉及那些需要執(zhí)行“磁帶記錄器”功能或者類似的功能的命令。
顯示在圖74中的一第一步驟1674表示該存檔管理者部件已經(jīng)接收了一個搜尋請求。該搜尋請求被分析(步驟1676)并且然后該命令被翻譯成適合于進一步在該存檔管理者軟件部件被進行處理的一個格式(步驟1678)。
如果檢測到了一個記錄開始命令(步驟1680),然后就產(chǎn)生一個相應的開始消息(步驟1682)。如果檢測到了一個停止命令(步驟1684),然后就產(chǎn)生一個相應的停止消息(步驟1686)。如果檢測到了一個載入命令(步驟1688),然后就產(chǎn)生一個相應的載入消息(步驟1690)。如果檢測到了一個播放命令(步驟1692),然后就產(chǎn)生一個相應的播放消息(步驟1694)。如果檢測到了一個彈出命令(步驟1696),然后就產(chǎn)生一個相應的彈出消息(步驟1698)。如果檢測到了一個重新開始命令(步驟1702),然后就產(chǎn)生一個相應的重新開始消息(步驟1704)。如果檢測到了一個搜尋命令(步驟1706),然后就產(chǎn)生一個相應的搜尋消息(步驟1708)。如果檢測到了一個回繞命令(步驟1710),然后就產(chǎn)生一個相應的回繞消息(步驟1712)。如果檢測到了一個跳轉(zhuǎn)命令(步驟1714),然后就產(chǎn)生一個相應的跳轉(zhuǎn)消息(步驟1716)。在這段中所提到的每一個消息的情形下,該消息被前轉(zhuǎn)到一個存檔軟件對象(步驟1718)。該存檔對象是控制該存檔DAT驅(qū)動器626(圖3)或者一個外部連接的存檔媒質(zhì)驅(qū)動器單元的一個驅(qū)動器軟件功能。例如,一個獨立的DAT驅(qū)動器,DVD驅(qū)動器,磁光盤驅(qū)動器,或者類似的可以被通過SCSI口628連接到該VR/PC單元。
可以想象,該存檔保存和/或者檢索操作可以同時使用兩個或者多個存檔裝置來進行操作,這些存檔裝置可能包括DAT驅(qū)動器626和一個或者多個外部連接的裝置。
告警處理器部件下面將參考圖75和76來描述該告警處理器軟件部件1212的操作。對于圖75,已經(jīng)假定,從該前端電子裝置接收了一個告警消息。然后在步驟1720中根據(jù)一個標準的協(xié)議或者一個客戶定義的協(xié)議判斷該用戶是否被選擇來處理這些告警。如果選擇了一個標準的協(xié)議,然后步驟1720以后是步驟1722。在步驟1722中,該告警處理器根據(jù)被接收的告警消息的類型來促使產(chǎn)生一個或者多個預定告警輸出信號。例如,該告警輸出信號或者多個信號可以是自動關門或者自動鎖門,激發(fā)告警器或者可視的告警顯示,或者類似的信號。步驟1722以后是步驟1724,在步驟1724中,產(chǎn)生一個消息來促使該前端電子裝置改變視頻信號場被從連接到該VR/PC單元的相應攝像機中捕獲的該序列。
下一步驟是步驟1726,在步驟1726中,判斷該VR/PC單元是否正在被使用一個預告警緩沖模式來操作。如果該VR/PC單元正在被使用一個預告警緩沖模式來操作,然后步驟1726以后是步驟1728。在步驟1728中,該告警處理器軟件部件分發(fā)一個消息,該消息是用于指示該視頻保存軟件部件來捕獲在該預告警緩沖器中的該數(shù)據(jù),如前面聯(lián)系步驟1334-1338(圖52)所描述的。該視頻保存功能可以被組織成這樣,以使在該預告警緩沖器中的所有數(shù)據(jù)被轉(zhuǎn)移到該硬盤上的“永久”保存,或者該視頻保存功能可以被組織成這樣,以使僅與特定攝像機相應的視頻數(shù)據(jù)場被這樣來轉(zhuǎn)移。
步驟1728以后是步驟1730(如果該VR/PC單元沒有被使用一個預告警緩沖模式來操作,就直接位于步驟1726以后)。在步驟1730中,設置該告警定時器(或者如果一個告警條件已經(jīng)在起作用,就擴展該告警定時器),并且該被檢測的告警事件被加到由該告警處理器軟件部件所維護的一個告警事件列表中。
圖76圖示說明了根據(jù)一個標準的告警激發(fā)攝像機序列圖,在步驟1724中實現(xiàn)的該攝像機序列。圖76所示的該序列類似于本發(fā)明的受讓人所銷售的MV200模擬復用器中提供的該序列(見1995年,RobotResearch公司出版的 Multivision Optima IITMMultiplexers,Installation and Operatin Manual的第33頁)。在圖76所示的視頻場1732的一個序列中,有標志“A”的該模塊1734與由一個或者多個攝像機所產(chǎn)生的一場或者多個場相應,該一個或者多個攝像機被預定為可能產(chǎn)生相對于被檢測的告警來說是感興趣的視頻信號。模塊1736,1738和1740中的每一個分別表示從三個相對于該告警條件來說不是特別感興趣的不同攝像機中捕獲的一個視頻信號場。這樣,如在上面所表示的MV200復用器中一樣,對一個告警作出響應,對這些攝像機重新排序,以使由與該告警相關的一個攝像機或者多個攝像機所產(chǎn)生的場相對于其他攝像機來說,被給予更頻繁的記錄時隙。
步驟1730以后是步驟1742。步驟1742表示圖76所示的該記錄序列被維持,直到該告警定時器超時了。關于該最后一次的告警是否已經(jīng)發(fā)生了超時的判斷是在步驟1744中作出的,如果該最后一次的告警已經(jīng)發(fā)生了超時,就關閉該告警定時器(步驟1746)。
只要使用一個增加的場速率來記錄該告警相關的攝像機的時間已經(jīng)過去了,如每個圖76所示,這些攝像機的場記錄速率就被減少到這些攝像機在檢測到該告警以前所被規(guī)定的場速率。應該理解,前面所規(guī)定的記錄場速率可能是“0”(即,該攝像機的狀態(tài)是僅有告警才能記錄),或者使用普通的序列來進行記錄,而其他攝像機處于正常記錄狀態(tài),或者是一個“時間延時(time-lapse)”的記錄狀態(tài),在該狀態(tài)中,使用比用正常序列來記錄攝像機的速率低的一個場速率來記錄該攝像機。
如果在步驟1720中,判斷一個客戶定制的告警處理模式有效,然后在步驟1720以后是步驟1748。在步驟1748中,該告警處理器軟件部件決定該攝像機,事件的類型和關于被檢測到的告警條件的時間。以后是步驟1749,在步驟1749中,被解碼的攝像機,事件類型和時間數(shù)據(jù)被用于拾取來自一個事件響應描述數(shù)據(jù)庫1746的相應事件響應描述。步驟1749以后是一個循環(huán),如步驟1750所示,該循環(huán)對在該被檢索的事件響應描述中的每一個命令均被執(zhí)行。該循環(huán)由步驟1752,1754和1756組成。在步驟1752中,讀取與在該描述中的當前行相應的命令。在步驟1754中,對與該命令相應的一個消息進行編碼,在步驟1756中,該消息被發(fā)送到該系統(tǒng)指揮員軟件部件。
下面是一個典型的事件響應描述的示例事件響應描述(示例)告警1輸出=ON(1)告警2輸出=ON(2)攝像機1速率=30(3)攝像機1=ON(4)等待=30(5)重新開始(6)可以觀察到,上面提出的示例性事件響應描述包括六個行。該第一行表示告警1輸出信號被設置為開。例如,這可能是一個激發(fā)一個視覺告警指示器例如一個閃爍的光信號。該第二行表示第二告警輸出信號被設置為開。例如,這可能將操縱一個可聽告警指示器,例如一個警報器。
該第三行表示捕獲記錄來自攝像機1的場的速率被設置為每秒30場。余下的記錄帶寬然后將被在前面被排序進行記錄的其他攝像機之間進行分配。
該第四行表示攝像機1的記錄狀態(tài)被設置為開“ON”。這個命令將覆蓋前面任何一個使用軟件來關閉攝像機1的命令。
該第五命令表示由該響應描述中的前面四個行所定義的狀態(tài)被維持30秒。
該描述的第六行即最后一行表示該系統(tǒng)前面的操作狀態(tài)在30秒告警響應以后將重新開始。
圖象處理設施現(xiàn)在將參考圖77來描述該圖象處理設施管理者軟件部件1222(圖45)。開始,在步驟1758中,該圖象處理設施管理者軟件部件的作用是向該VR/PC單元的該用戶提供對該用戶可用的選項,來處理被該系統(tǒng)所顯示的一個圖象或者圖象序列。步驟1758以后是步驟1760,在步驟1760中,判斷該用戶是否指示已經(jīng)完成了一個圖象處理設施和其參數(shù)的選擇。如果該用戶沒有指示完成了該設施和參數(shù)的選擇處理,然后是步驟1762,在步驟1762中,判斷該用戶是否指示已經(jīng)取消了一個當前被選擇的設施和其參數(shù)組。如果該用戶還沒有指示這樣做,然后在步驟1762以后是步驟1764。步驟1764表示將對被該用戶選擇的一個設施執(zhí)行步驟1766到步驟1772。從下面的討論中可以理解,對該用戶可用的該圖象處理設施選項可以使用一個菜單的形式或者作為一個表示一個“工具箱”的圖標集合來被提供??梢韵胂蟮?、包括在該VR/PC單元中的該圖象處理設施選項是一個縮進選項,一個顏色調(diào)節(jié)選項,一個對比度調(diào)節(jié)選項,一個聚焦調(diào)節(jié)選項,一個柱狀圖平衡選項或者一個對象識別選項。
步驟1766必然包括從該用戶接收與被選擇的圖象處理設施相關的參數(shù)的輸入。該參數(shù)可能包括在該圖象平面中、該被選擇的設施將要被應用或者不被應用的一個區(qū)域或者多個區(qū)域。其他參數(shù)可能包括該被選擇的設施的操作的強度的程度或者數(shù)字或者數(shù)量控制例如一個滑動條。例如,如果選擇了一個縮放設施,就可能選擇縮放的程度(2,3,4倍等等)。
在步驟1768中,被該用戶選擇的該參數(shù)或者多個參數(shù)被翻譯成與該圖象平面相關的單元,例如點位置。如果合適的話,它們還可能被翻譯成顏色或者對比度或者聚焦調(diào)節(jié)控制值或者類似的。然后,在步驟1770中,該圖象處理設施管理者部件使用該被翻譯的參數(shù)值,來產(chǎn)生將向該用戶指示被選擇的圖象處理設施的可能效果的一個“預覽”圖象。然后,在步驟1772中,該預覽圖象被顯示。
步驟1772以后是步驟1774,在步驟1774中,判斷該用戶是否贊成執(zhí)行該被選擇的設施和參數(shù)。如果該用戶贊成執(zhí)行該被選擇的設施和參數(shù),以后就是步驟1776,在步驟1776中,被選擇的設施和參數(shù)被應用到該圖象或者圖象序列。然后該處理循環(huán)返回到步驟1760。但是,如果在步驟1774中,該用戶表示該被選擇的設施和參數(shù)設置不令人滿意,然后該圖象或者圖象序列被恢復到在該圖象處理設施被應用以前占優(yōu)(prevailing)的條件(步驟1778),并且該處理循環(huán)返回到步驟1760。進一步,可以看到,如果在步驟1762中,判斷該用戶已經(jīng)選擇取消被選擇的設施和參數(shù),就再一次進入該步驟1778。
當然,如果在步驟1750中,判斷出該用戶希望結(jié)束與該圖象處理設施管理者的交互式會話,然后該處理就結(jié)束,并且任何被選擇的和沒有被取消的圖象處理設施繼續(xù)起作用。
圖形用戶接口圖78圖示說明了該主板CPU軟件的圖形用戶接口部分的操作。如在步驟1778中所示,一個圖形用戶接口(GUI)引擎解釋由一個用戶經(jīng)過一個位置選擇裝置,例如一個鼠標來輸入的信號,并且產(chǎn)生將要被顯示在一個顯示監(jiān)視器上的對象。在該VR/PC單元的一個優(yōu)選實施方式中,該GUI引擎1778使用眾所周知的Windows 95操作系統(tǒng)的能力。在替代實施方式中,可以想象使用其他GUI核心,例如WindowsNT。圖78的步驟1780到1784圖示說明了該GUI引擎1778解釋來自該位置選擇裝置的信號的操作。
在步驟1780中,接收并且解碼該用戶輸入。在步驟1782中,該被解碼的輸入信號數(shù)據(jù)被翻譯成一個標準的消息格式,并且在步驟1784中,該用戶接口軟件部件向該系統(tǒng)指揮員發(fā)送一個相應的消息或者多個消息。
規(guī)劃軟件部件現(xiàn)在參考圖79來描述涉及建立,特別地涉及一個主選項屏幕顯示的該規(guī)劃軟件部件的一部分。在步驟1786中,判斷該用戶是否選擇來建立一個假期規(guī)劃操作。如果是,就執(zhí)行該假期建立操作(步驟1788)。
在步驟1790中,判斷該用戶是否希望建立一個“白天時間”與“夜晚時間”時期的定義。如果是,將組成一天的24小時分成白天和夜晚的一個操作就被執(zhí)行(步驟1792)。
在步驟1794中,判斷該用戶是否希望來對一個特定的時間塊執(zhí)行一個規(guī)劃功能(例如,工作日的白天時間或者周末的夜晚時間)。如果是,就對該被選擇的時間塊執(zhí)行一個規(guī)劃操作(步驟1796)。
在步驟1798中,判斷該用戶是否表示完成了該規(guī)劃操作。如果該用戶沒有表示完成了該規(guī)劃操作,該處理循環(huán)返回到步驟1786。否則,就結(jié)束該處理。
圖80圖示說明了被包括在圖79的模塊1788中的處理。圖80中圖示說明的該假期建立處理是以一個步驟1802開始,在步驟1802中,向該用戶提供一個日期屏幕顯示(見,例如圖152)。
在步驟1804中,判斷該用戶是否已經(jīng)選擇了來自該日期顯示的一天。如果是,就解碼該被選擇的天(步驟1806)。然后判斷該用戶是否希望將該被選擇的天加到該假期列表中(步驟1808)。如果是,該被選擇的天就被加到該假期列表(步驟1810)。
在步驟1812中,判斷該用戶是否希望取消將一個被選擇的天加到該假期列表的一個決定。如果取消了一個選擇,判斷該用戶是否表示完成了該假期建立會話(步驟1814)。如果表示已經(jīng)完成了該會話,在該會話期間被產(chǎn)生的假期列表被用于替代前面存在的假期集合(步驟1860),并且結(jié)束該規(guī)劃會話。直到該用戶表示完成了該會話,該處理循環(huán)經(jīng)過步驟1804,1808,1812和1814。如果在步驟1812中,該用戶表示希望取消由該會話所作出的選擇,然后就結(jié)束該會話而不替代在該假期會話以前存在的原來的假期列表。
現(xiàn)在參考圖81和82來描述由圖79中的步驟1792所必然包括的該處理。如步驟1818所示,在圖82中所示的該處理的開始是使用如圖81圖示說明的兩個時間控制,在顯示框1820中顯示當前開始(夜晚)時間和結(jié)束(白天)時間。每一個時間控制(1822,1824)組成一個上箭頭按鈕(1822A),一個下箭頭按鈕(1822B)和一個時間顯示域(1822C)。除了這兩個控制,還有一個取消按鈕(1826)和一個“完成”按鈕(1828)。使用定位器/光標(1830)操縱該整個控制框。在開始的顯示以后,該處理就一直處于無休止的循環(huán)中,直到該用戶激發(fā)取消按鈕(1826),如判斷框1832所示,或者激發(fā)該“完成”按鈕(1828),如判斷框1836所示。如果該光標(1830)激發(fā)該取消按鈕(1826),就結(jié)束該處理,而不更新如處理框1834中所示的分配數(shù)據(jù)。如激發(fā)了該完成按鈕(1828),就讀取在該控制的顯示部分(1822C)中的值并且如處理框1838和1842所示更新該分配數(shù)據(jù)。如果該光標被用于選擇開始時間控制(1822)和結(jié)束時間控制(1824),然后可以通過使用該光標(1830)來激發(fā)相應的上箭頭按鈕(1822A)或者下箭頭按鈕(1822B)來增加或者減少該時間。如判斷框1844和1848和處理1846和1850所示,該增加或者減少操作的結(jié)果產(chǎn)生了一個被更新的顯示值。
圖83圖示說明了在規(guī)劃建立期間所執(zhí)行的、來允許該用戶從一些不同的模式中選擇將要被選擇用于規(guī)劃的模式的處理。
在步驟1854中,判斷該用戶是否對一個存檔模式執(zhí)行了規(guī)劃。如果該用戶對一個存檔模式執(zhí)行了規(guī)劃,被選擇用于預規(guī)劃存檔操作的時間就被設置在一個規(guī)劃隊列中(步驟1856)并且拾取被該用戶選擇的、該存檔操作的參數(shù)(步驟1858)。
在步驟1860中,判斷該用戶是否已經(jīng)選擇了規(guī)劃一個操作記錄模式。如果是,由該用戶所選擇的該相關操作參數(shù)被接收(步驟1862)并且在該規(guī)劃隊列中設置該操作模式的相關時間。
在步驟1866中,判斷該用戶是否規(guī)劃一個或者多個攝像機要“脫機”,即不進行錄制(還稱作“軟件禁止”)。如果是,就在該規(guī)劃隊列中設置該相關時間(步驟1868)。
現(xiàn)在參考圖84-86來繼續(xù)進一步討論圖83所示的該處理。特別地,圖84圖示說明了模塊1862的細節(jié)(“獲取操作參數(shù)”)。如圖84的步驟1870所示,圖84中所圖示說明的該處理是對與該VR/PC單元相連的每一個攝像機來執(zhí)行一個循環(huán)。步驟1872說明,對于特定的攝像機,記錄了被該用戶所選擇的該記錄模式。如果被選擇的模式是“脫機”的(如步驟1874所判斷的),然后表示那種效果的一個表示被作為一個登錄項插入在一個規(guī)劃描述中(步驟1876)。
如果在步驟1874中,發(fā)現(xiàn)被選擇的模式?jīng)]有脫機,然后就獲取該用戶對控制將要被記錄的數(shù)據(jù)的空間分辨率參數(shù)的選擇(步驟1880)。然后判斷是否要根據(jù)一個連續(xù)進行的在線方式或者是根據(jù)一個事件驅(qū)動模式來記錄該攝像機。如果是在線的方式,然后它就被表示在一個合適的表登錄項中(步驟1876)。
如果在步驟1880中,判斷出僅使用一個事件驅(qū)動的方式來記錄該攝像機,然后就是步驟1882,在步驟1882中,判斷該事件是否是通過外部傳感器或者是通過由該前端電子裝置所執(zhí)行的圖象分析處理來檢測的。如果是通過告警傳感器來檢測該事件的,然后就是步驟1884,在步驟1884中,標識來驅(qū)動本發(fā)明的記錄的該告警傳感器或者多個傳感器。否則,步驟1882以后是步驟1886,在步驟1886中,選擇由該前端電子裝置所應用的、用于產(chǎn)生對特定攝像機的進行記錄的事件驅(qū)動的該圖象分析算法。
步驟1886以后是步驟1888,在步驟1888中,接收用于約束被選擇的分析算法的執(zhí)行的參數(shù)。視不同的情況,或者步驟1888或者步驟1884以后,又是步驟1876,在步驟1876中,該相關的數(shù)據(jù)被作為一個登錄項提供在一個規(guī)劃描述或者表中。
圖85提供了一個簡化的規(guī)劃隊列的示例。該規(guī)劃隊列由登錄項1890,1892等等組成。每一個登錄項由一個時間和操作狀態(tài)頭開始,然后是表示操作模式參數(shù)的數(shù)據(jù)或者一個指向一個相關規(guī)劃描述或者表的指針。圖86顯示了一個規(guī)劃描述或者表的示例。在一第一登錄項中,如1894所示,該系統(tǒng)被顯示為脫機。在下一登錄項中,如1896所示,規(guī)劃了一個存檔操作并且表示根據(jù)一個迭代的方式使用一個標為一個“外部驅(qū)動器2”的裝置來執(zhí)行該操作。一第三登錄項表示該系統(tǒng)開始工作的時間并且包括了詳細說明每一個攝像機的工作模式的一個描述。例如,在1902,表示攝像機1將要被使用“實時”方式來記錄(不是有時間延遲的),并且使用與一個高質(zhì)量圖象相應的一個壓縮參數(shù)。所以,攝像機1將被包括在使用固定間隔從其中捕獲場來進行記錄的攝像機序列中。在1904中,表示僅當通過一個告警傳感器檢測到了事件時,才記錄攝像機2。在1906中,表示僅當通過由前端電子裝置所執(zhí)行的一個運動圖象檢測算法檢測到了事件時,才記錄攝像機3。
在1908中,表示使用一個比其他攝像機的記錄頻率低的“時間延遲(time lapse)”的速率來記錄攝像機4,但是有高圖象質(zhì)量的壓縮。
在1910中,表示使用實時的方式來記錄攝像機5,但是視頻數(shù)據(jù)壓縮提供的圖象質(zhì)量較低。相應的描述行(沒有顯示)也被提供給與該VR/PC單元相連的其他攝像機(直到總數(shù)是16個)。
圖87表示在執(zhí)行被保存在該系統(tǒng)中的預規(guī)劃操作模式時所執(zhí)行的處理。在步驟1912中,判斷是否到了校驗該規(guī)劃的時間。例如,該定時器可能每隔一分鐘就“停止(go off)”一次,以使每一分鐘就校驗一次規(guī)劃的改變。當該定時器時間到時,就解碼該當前的時間(步驟1914)并且如果有一個匹配的話,就在該規(guī)劃隊列中搜尋該時間(步驟1916)。在對該規(guī)劃隊列中的每一行所執(zhí)行的一個處理循環(huán)中(如步驟1918所示),執(zhí)行步驟1920-1924。在步驟1920中,讀取該登錄項行。在步驟1922中,根據(jù)該登錄項行建立一個合適的命令消息。然后,在步驟1924中,該消息被發(fā)送到該系統(tǒng)指揮員,以進行前轉(zhuǎn)來被該相關的軟件部件來執(zhí)行。
視頻流內(nèi)容的機器分析現(xiàn)在參考圖88-98來討論用于執(zhí)行圖象分析算法的軟件。接下來的討論將基于兩個方面由前端電子裝置所執(zhí)行的對“現(xiàn)場”視頻的圖象分析,和由該主板CPU對從該硬盤中再生的視頻數(shù)據(jù)場下來所執(zhí)行的圖象分析。
圖88表示對所有被提供在該VR/PC單元中的圖象分析算法均相同的方面的綜述。1926表示涉及該用戶接口的方面,涉及該用戶接口的方面可以被分成那些用于選擇一個圖象分析算法的方面(1928)和那些用于對一個被選擇的算法設置參數(shù)的方面(1930)。模塊1932表示所討論的該算法是由該前端電子裝置來對“現(xiàn)場”視頻來執(zhí)行,還是由該主板CPU來對被再生的視頻信號來執(zhí)行。然后,如1934所示,該算法的結(jié)果被報告和/或者被保存和/或者采取特定的動作,這與該圖象分析算法的輸出有關。
圖89圖示說明了被包括在一個圖象分析算法或者“工具”的選擇和建立中的處理。如步驟1936所示,該用戶開始被提供了一個屏幕顯示,在該屏幕顯示上,一些工具(分析算法)可以被該用戶選擇。例如,與每一個可用的工具相應的一個相應的圖標可以被顯示在該屏幕上?;蛘?,可以顯示通過名字來對這些可用的工具進行列表的一個菜單。然后在步驟1938中,判斷該用戶是否從該工具箱中選擇了一個工具。如果該用戶從該工具箱中選擇了一個工具,就產(chǎn)生一個新的屏幕,或者使用一個表示已經(jīng)選擇了該工具的方式來改變被選擇的屏幕(步驟1940)。然后,判斷(步驟1942)該用戶是否希望激發(fā)對該被選擇的工具的使用。如果該用戶不希望激發(fā)對該被選擇的工具的使用,該處理循環(huán)返回到步驟1936。但是,如果該用戶希望激發(fā)對該被選擇的工具的使用,以后就是步驟1944,在步驟1944中,該用戶通過攝像機號碼或者名字來表示該被選擇的工具將要被應用到其上的視頻信號流源。然后是一循環(huán)(如步驟1946所示),該循環(huán)被應用到涉及被選擇的工具的每一個參數(shù)。該循環(huán)由步驟1948到步驟1952組成。在步驟1948中,可以被該用戶選擇的、關于該參數(shù)的選項被顯示給該用戶。在步驟1950中,接收該用戶關于所需的選項的輸入,在步驟1952中,由該用戶所提供的參數(shù)設置被翻譯成涉及該圖象分析處理的數(shù)據(jù)。
在該工具參數(shù)循環(huán)已經(jīng)對每一個參數(shù)執(zhí)行了以后,就是步驟1954,在步驟1954中,判斷所討論的該工具是否將要被應用到現(xiàn)場視頻或者被再生的視頻。如果將要使用被選擇的工具來分析現(xiàn)場視頻,然后就產(chǎn)生一個合適的命令消息或者命令消息組(步驟1956)并且通過該系統(tǒng)指揮員該合適的命令消息或者命令消息組被發(fā)送到該前端電子裝置(步驟1958)。在另一方面,如果被選擇的算法將要被應用到被再生的視頻信號,然后就載入該主板CPU的圖象分析部件(步驟1960)并且表示該被選擇的算法和參數(shù)的一個合適的命令消息經(jīng)過該系統(tǒng)指揮員被發(fā)送(步驟1962)。
現(xiàn)在參考圖90A-90D來在一個“邊界侵入工具”的范圍中,描述參數(shù)設置的示例。
圖155是這樣一種類型的屏幕顯示,它可以被提供給該用戶來使該用戶能夠設置執(zhí)行一個“邊界侵入”圖象分析工具的參數(shù)。
現(xiàn)在轉(zhuǎn)到圖90A,在一個開始的步驟1964中,在一個視頻圖象上顯示了一個表示由該視頻信號所表示的場景中一個區(qū)域的一個邊界的繪圖元素(例如一個框或者一些線),該圖象分析算法的目的是檢測對象進入到該指定區(qū)域的登錄項。在圖155的該屏幕顯示中,該參數(shù)由該框圖形元素1966所表示。
再參考圖90A,步驟1964以后是步驟1968。在步驟1968中,該用戶被允許使用本質(zhì)上與在一個傳統(tǒng)的PC軟件繪圖包中使用來拖動或者拉伸一個多邊形或者線的方式相同的方式來拖動和/或者拉伸該邊界元素1966。當該用戶表示已經(jīng)完成了參數(shù)設置時(如步驟1970中所檢測到的),然后根據(jù)該圖象平面空間中的相關數(shù)據(jù)瓦片(行和列)來決定表示該邊界元素1966的該線或者框的端點(步驟1972)。然后這些端點作為表示該邊界元素的位置的參數(shù)被保存起來。
另一個涉及該邊界工具的參數(shù)是穿過該邊界的方向。即,可能命令該圖象分析工具來檢測是在兩個方向上穿過該邊界,還是僅在兩個可能的方向上的一個方向上穿過該邊界。為了使該用戶進行選擇,可以使用一個箭頭(它可以是兩個頭的箭頭,以表示在任何一個方向上穿過)來表示穿越方向。圖155中,1976表示了單方向的箭頭。
圖90B圖示說明了用于選擇該穿越方向或者將要被檢測的方向的該處理。在一個開始的步驟中,顯示了該穿越方向箭頭1976(步驟1978)。步驟1978以后是步驟1980,在步驟1980中,判斷該用戶是否指示已經(jīng)改變了穿越方向。如果該用戶指示已經(jīng)改變了穿越方向,一個穿越方向就被切換到下一方向。例如,可以使用這樣的循環(huán),例如入,出,雙方向,入等等來切換該穿越方向(步驟1982)。
如圖90A,在圖90B的該處理中也提供了一個步驟1970,以使當該用戶表示已經(jīng)完成了參數(shù)設置時,可以設置該穿越方向參數(shù)(步驟1984)。
另一個涉及該邊界侵入檢測工具的參數(shù)是發(fā)現(xiàn)正在穿越該邊界的物體的尺寸。例如,如果看起來正在穿越該邊界的物體的尺寸不是給定的尺寸或者不是更大,忽視明顯的邊界穿越是可取的。為了規(guī)定物體的該尺寸,另一繪圖元素框(可能被使用一對比色例如紅色來進行陰影)被顯示,如圖155中的1986所示。這樣,轉(zhuǎn)到圖90C,該開始步驟1988必然包括顯示該物體尺寸框1986的步驟。步驟1988以后是步驟1990,在步驟1990中,判斷該用戶是否表示將要改變該物體尺寸框。如果該用戶表示將要改變該物體尺寸框,就從用戶的輸入決定該新尺寸設置(步驟1992)并且在該顯示屏幕上更新該尺寸框(步驟1994)。再一次,圖90C提供了一個步驟1970來判斷是否完成了該參數(shù)設置。如果完成了該參數(shù)設置,就根據(jù)當前被顯示在該屏幕上的該尺寸框的狀態(tài)來決定最終的尺寸設置(步驟1996)。然后將該最終物體尺寸設置翻譯成基于數(shù)據(jù)瓦片的單元(步驟1998)并保存該相應的、基于數(shù)據(jù)瓦片的物體尺寸參數(shù)(步驟2002)。
另一涉及該邊界侵入檢測算法的參數(shù)是“靈敏度”,即一個將被認為是表示運動而不是噪聲的信號對比度電平。圖90D圖示說明了該靈敏度參數(shù)的設置,并且該靈敏度參數(shù)的設置包括一第一步驟2004,在步驟2004中,顯示了一個滑動條或者類似的圖象元素。該相應的靈敏度滑動條元素由圖155中的標號2006所表示。
再一次轉(zhuǎn)到圖90D,步驟2004以后是一個步驟2008。在步驟2008中,判斷該用戶是否已經(jīng)表示該靈敏度電平有改變。如果是,就檢測該新滑動條設置(步驟2010)。如圖90A-90C所示,再一次來執(zhí)行步驟1970,來判斷是否完成了該參數(shù)設置處理。如果是,以后就是步驟2012,在步驟2012中,該滑動條上的讀數(shù)被翻譯成一個視頻信號對比度比例,并且該所產(chǎn)生的對比度比例閾值被作為該靈敏度參數(shù)保存(步驟2014)。
圖91顯示了用于載入該圖象分析引擎的一個處理。開始(步驟2016),載入對任何分析工具均實用的參數(shù)。在步驟2016中被載入的該參數(shù)可能包括例如,表示如何將GUI輸入信息翻譯成數(shù)據(jù)瓦片空間和/或者速度空間的數(shù)據(jù)。然后,在步驟2018中,涉及速度的參數(shù)被決定,并且涉及速度的參數(shù)被發(fā)送到該圖象分析引擎的一個速度分析部件(步驟2020)。然后決定涉及被檢測的運動矢量聚類(clustering)的參數(shù)(步驟2022),并且該涉及聚類的參數(shù)被發(fā)送到該圖象分析引擎的一個聚類部件(步驟2024)。步驟2024以后是步驟2026,在步驟2026中,決定涉及單個視頻數(shù)據(jù)數(shù)據(jù)瓦片的分析的參數(shù)。然后所產(chǎn)生的數(shù)據(jù)瓦片分析參數(shù)被發(fā)送到該圖象分析引擎的一個數(shù)據(jù)瓦片分析部分(步驟2028)。為了提供涉及該邊界侵入檢測工具的參數(shù)的示例,該邊界工具的涉及速度的參數(shù)將是任何運動的檢測(模塊2030)。該邊界工具的涉及聚類的參數(shù)是該對象尺寸框,如用圖象平面數(shù)據(jù)瓦片單元來測量的(模塊2032)。該邊界工具的該相關數(shù)據(jù)瓦片分析參數(shù)是從該靈敏度設置推導出來的該對比度比例(模塊2034)。
圖92圖示說明了對由該前端電子裝置對現(xiàn)場視頻數(shù)據(jù)所執(zhí)行的一個圖象分析算法進行初始化的一個處理。首先,獲取一個或者多個參考圖象(優(yōu)選地,是現(xiàn)場視頻圖象)(步驟2036)。相關的參數(shù)參考值被從該參考圖象中提取出來(步驟2038)。步驟2038以后是步驟2040。在步驟2040中,該被提取的參數(shù)參考值被保存在現(xiàn)場圖象分析模塊846的存儲器中(圖14),然后,在該圖象分析引擎中所使用的計數(shù)器被設置為零(步驟2042),并且一個消息被發(fā)送到該主板軟件的該系統(tǒng)指揮員部件,表示該現(xiàn)場分析引擎已經(jīng)準備工作了(步驟2044)。在步驟2042中被設置為零的該計數(shù)器被用于判斷何時有足夠的數(shù)據(jù)來應用FFT處理。在該邊界侵入檢測工具的情形下,步驟2038優(yōu)選地包括計算沿該邊界線的一個平均發(fā)光度,來提供一個基礎值,根據(jù)該基礎值來檢測變化(模塊2046)。
現(xiàn)在參考圖93A-93E來描述用于執(zhí)行該邊界侵入檢測算法的該現(xiàn)場分析模塊846的操作。
首先,假定該現(xiàn)場分析模塊使用產(chǎn)生表示光學流的數(shù)據(jù)的一些傳統(tǒng)圖象序列濾波算法中任何一個。在本發(fā)明的一個優(yōu)選實施方式中,使用基于FFT的時間空間濾波來實現(xiàn)涉及運動的分析算法來應用到一個隨時間改變的被改變MCU映射數(shù)據(jù)序列上,來產(chǎn)生X-和Y-方向速度的估計值。(要被進行FFT分析的該MCU映射數(shù)據(jù)是與用于壓縮處理的相同的數(shù)據(jù),或者是根據(jù)那些與用于壓縮的那些準則不同的MCU“相同性”準則特別產(chǎn)生用來進行運動分析的數(shù)據(jù)。)一個聚類分析被應用到該速度估計,來檢測該運動物體的上升沿和下降沿。涉及運動的算法的特別示例是下面所討論的該運動檢測和邊界侵入檢測分析工具。
其他分析算法,例如下面所討論的“博物館”和“光學”工具,必然包括將一個當前圖象數(shù)據(jù)場與一個參考圖象數(shù)據(jù)場的內(nèi)容一個數(shù)據(jù)瓦片接一個數(shù)據(jù)瓦片來進行比較。如圖93A所示,獲取表示速度矢量的數(shù)據(jù)(步驟2048),并且獲取表示該速度矢量的聚類的數(shù)據(jù)(步驟2052)。在步驟2054中,獲取涉及在被指定邊界處的數(shù)據(jù)瓦片的分析的數(shù)據(jù)。然后,如步驟2056所示,判斷是否有足夠的時間來完成該分析。如果沒有足夠的時間來完成該分析,一個“分析被中斷的”消息被發(fā)送到該前端控制器DSP1050(步驟2058)。如果合適,然后該控制器DSP可能向該主板發(fā)送一個事件報告,接著,該主板可能宣告一個告警條件。
但是,如果有足夠的時間來完成該分析,然后步驟2056以后是步驟2060。在步驟2060中,分析該速度矢量數(shù)據(jù)。如果滿足表示一個邊界侵入的該速度矢量準則(步驟2062),然后就分析該矢量聚類數(shù)據(jù)(步驟2064)。然后,判斷是否滿足了用于發(fā)現(xiàn)一個邊界侵入的該聚類“對象尺寸”準則(步驟2066)。如果滿足了用于發(fā)現(xiàn)一個邊界侵入的該聚類“對象尺寸”準則,以后就是步驟2068,在步驟2068中,分析該表示邊界數(shù)據(jù)瓦片本身的數(shù)據(jù)。
步驟2068以后是步驟2070。在步驟2070中,判斷該邊界數(shù)據(jù)瓦片的分析是否表示已經(jīng)發(fā)生了一個邊界侵入。如果該邊界數(shù)據(jù)瓦片的分析表示已經(jīng)發(fā)生了一個邊界侵入,就執(zhí)行步驟2072。在步驟2072中,計算該侵入檢測判斷的一個置信因子。然后,在步驟2704中,向該前端控制器DSP1050報告該邊界侵入的發(fā)生和該置信因子。
另一方面,接著步驟2058,或者在步驟2062,2066或者2070中任何一個為否判斷時,結(jié)束該邊界侵入檢測分析,而不尋找是否發(fā)生了一個侵入。
圖93B圖示說明了由該控制器DSP1050對在步驟2058中所產(chǎn)生的一個“分析被中斷的”消息作出響應,所采取的動作。如圖93B所示,該控制器DSP首先接收該“分析被中斷的”消息(步驟2076),然后對一個合適的消息進行格式化,以被該主板所接收(步驟2078),并且將該消息經(jīng)過位于該前端電子裝置和該主板之間的PCI連接,前轉(zhuǎn)到該主板軟件的該系統(tǒng)指揮員部件(步驟2082)。
圖93C圖示說明了由該前端控制器DSP對在步驟2074中由該現(xiàn)場顯示分析模塊所產(chǎn)生的該消息作出響應,所執(zhí)行的處理。如圖93C所示,該控制器DSP接收報告被檢測到的事件的該消息(步驟2082),然后對一個合適的消息進行格式化,以向該主板報告該事件(步驟2084),并且將該消息經(jīng)過上述PCI連接,發(fā)送到該主板軟件的該系統(tǒng)指揮員(步驟2086)。
圖93D使用一般的形式圖示說明了圖93A中的處理的判斷模塊2062,2066和2070的每一個所執(zhí)行的該處理。圖93D的第一步驟是一個表示對每一個參數(shù)均已經(jīng)執(zhí)行了圖93D的該處理的步驟2087。在一個步驟2088中,判斷該參數(shù)值是否比該參數(shù)的一個較高電平的閾值低。如果是,然后在步驟2090中,判斷該參數(shù)值是否比該參數(shù)的一個較低電平的閾值高。
如果對步驟2088和2090的響應均是肯定的,就到了一個步驟2092。在步驟2092中,設置一個表示滿足了該參數(shù)準則的標志值,并且返回一個置信水平值。另一方面,如果步驟2088和2090中一個獲得了一個否定的結(jié)果,就到了一個步驟2094。在步驟2094中,設置該標志來表示該參數(shù)準則沒有被滿足。
圖93E圖示說明了步驟2072的細節(jié)(計算置信因子,圖93A)。在圖93所示的處理中,一個置信權(quán)重因子被應用到該速度置信水平值(步驟2096),然后一個置信權(quán)重被應用到與該聚類判斷相應的該置信水平值(步驟2098),然后一個置信權(quán)重被應用到該數(shù)據(jù)瓦片處理置信水平值(步驟2102)。在步驟2104中,該權(quán)重速度,聚類和數(shù)據(jù)瓦片值被相加,來獲取一個整體的置信水平值,并且產(chǎn)生一個包括該相加結(jié)果值的消息(步驟2106)。圖94圖示說明了用于對被包括在該主板CPU軟件中的一個分析引擎進行初始化、來將一個圖象分析算法應用到一個被再生的視頻數(shù)據(jù)流的一個處理。
在圖94所顯示的第一步驟中,在這個流中的該第一參考圖象在將要開始分析的點以后被發(fā)現(xiàn)(步驟2108)。步驟2108以后是步驟2110,在步驟2110中,提取并且保存該相關參數(shù)參考值。然后,在步驟2112中,該圖象分析引擎的該標志被初始化為合適的開始值,并且在步驟2114中,該分析引擎向該系統(tǒng)指揮員報告它已經(jīng)準備開始進行該分析算法。
圖95A-95C圖示說明了該圖象分析引擎對該被再生的視頻流所執(zhí)行的操作。被使用來分析被再生的視頻數(shù)據(jù)的該圖象分析引擎與上面聯(lián)系圖93A-93E所描述的該現(xiàn)場視頻分析技術(shù)類似。如步驟2116所表示的,圖95A中所顯示的該處理是被應用到該被再生的視頻圖象場流中的每一個差異圖象場1134(圖44)的一個循環(huán)。步驟2118表示為當前差異圖象場,讀取被改變的MCU映射數(shù)據(jù),然后該映射數(shù)據(jù)被用作到一個速度分析處理的一個輸入(步驟2120),并且被用作到一個聚類分析處理的一個輸入(步驟2122)。根據(jù)來自該速度分析和聚類分析處理的輸出,判斷是否需要對被改變的MCU數(shù)據(jù)瓦片數(shù)據(jù)本身進行分析(步驟2124)。如果是,就進行該基于數(shù)據(jù)瓦片數(shù)據(jù)的分析(步驟2126)。在任何一個情形下,下面是步驟2128,在步驟2128中,根據(jù)該分析處理的結(jié)果來評價該圖象。然后判斷是否滿足了該準則(步驟2130)。如果在步驟2130中,發(fā)現(xiàn)該準則肯定沒有被滿足,然后就不尋找是否已經(jīng)檢測到了感興趣的圖象特征。如果發(fā)現(xiàn)該準則肯定被滿足,然后步驟2130以后是一個步驟2132。在步驟2132中,檢測到了感興趣的特征和一個置信水平被報告給該系統(tǒng)指揮員。但是,如果從該分析所產(chǎn)生的該置信水平?jīng)]有高到足以來報告檢測到了感興趣的特征,并且也沒有低到肯定取消該特征的出現(xiàn),就發(fā)生進一步的處理,如步驟2134所示。
圖95B圖示說明圖95A中步驟2126的進一步細節(jié)。如圖95B所示,被改變的MCU數(shù)據(jù)被讀取(步驟2136),然后被使用傳統(tǒng)的JPEG解壓縮處理來進行解碼(步驟2138)。
然后判斷是否需要進一步分析該頻率系數(shù)數(shù)據(jù)(步驟2140),如果是,就對該DCT系數(shù)進行分析(步驟2142)。然后,在步驟2144中,判斷是否需要點數(shù)據(jù)(時域數(shù)據(jù)),如果是,就通過進行逆向變換處理來獲取該點數(shù)據(jù),并且分析該點數(shù)據(jù)(步驟2146)。
圖95C圖示說明了圖95A中步驟2134所示的該處理。圖95C的第一步驟是步驟2148,其中將從光學流分析中所產(chǎn)生的速度矢量的當前集合與根據(jù)該圖象序列中前面的圖象所產(chǎn)生的速度矢量的歷史記錄進行比較。
步驟2148以后是步驟2150,在步驟2150中,判斷速度矢量歷史記錄的分析是否表示該速度已經(jīng)通過了該圖象分析算法希望檢測的一個速度矢量值。如果是,然后就將被該光學流分析所檢測到的當前對象與前面的圖象組進行比較(步驟2152)。然后在步驟2154中判斷是否出現(xiàn)了將要被該分析算法檢測的一個該類型的對象。如果是,以后就是步驟2156。在步驟2156中,執(zhí)行數(shù)據(jù)瓦片數(shù)據(jù)的一個歷史分析,然后在步驟2158中,判斷當前和過去被檢測的數(shù)據(jù)瓦片特征是否表示已經(jīng)出現(xiàn)了將要被該當前算法所檢測的數(shù)據(jù)瓦片的特征。如果步驟2158作出了一個肯定的判斷,然后就執(zhí)行步驟2160。在步驟2160中,為該算法輸出產(chǎn)生一個置信因子,并且設置一個與一個“可能是”的判斷相應的標志。然后,在步驟2162中,從該算法的每一個分析部分所產(chǎn)生的該置信數(shù)據(jù)被組合和加權(quán),下面就計算一個被調(diào)節(jié)的置信因子(步驟2164)。下面是步驟2166,在步驟2166中,一個包括一個“可能是”結(jié)果的合適的消息被前轉(zhuǎn)到該系統(tǒng)指揮員。
如果在步驟2150,2154和2158中任何一個作出一個否定的判斷,然后圖95C的該處理返回一個沒有出現(xiàn)將要被該算法所檢測的該特征的結(jié)論(步驟2168)。
現(xiàn)在參考圖96和97來描述被應用到被再生的視頻數(shù)據(jù)的一個圖象分析算法的操作的一個特定示例。對于該示例,已經(jīng)假定將要被應用的該分析算法是上面提到的、檢測一個“邊界”侵入的類型。圖96示意性地表示了由由一個視頻攝像機(沒有顯示)所產(chǎn)生的一個圖象序列,該視頻攝像機提供了從上面看被放置在一個部分密封的區(qū)域2172中的一個現(xiàn)金盒所獲得的一個視圖。
一個圖形繪圖元素2174表示被一個用戶分配的、用于執(zhí)行一個邊界侵入分析算法的邊界。形狀2176-1到2176-6表示被該分析算法所檢測的一個運動對象被放置在被分析的視頻信號序列的相應場中。轉(zhuǎn)到圖97,一個開始的步驟2178表示對正在被分析的被再生的視頻信號序列中的每一組差異場執(zhí)行隨后的處理。為了進行有效的處理,當被應用到被再生的視頻流時,該基于運動的圖象分析算法的優(yōu)選實施方式忽視該“參考”圖象,并且如前面所述,對被改變的MCU映射數(shù)據(jù)進行操作。結(jié)果,在每一個參考圖象的圖象序列中有一個“孔”或者“縫”,但是發(fā)現(xiàn),如果在參考圖象之間的每一個間隔中有適當?shù)摹⒋罅康牟町悎D象,它并不會產(chǎn)生嚴重的缺陷。當然,大量的差異圖象也產(chǎn)生一個較高的壓縮比例,并且應該在逆向再生的情形下,對圖象質(zhì)量和方便性進行折衷。如前所述,該VR/PC單元的一個優(yōu)選實施方式在每對參考場之間產(chǎn)生32個差異場。
繼續(xù)參考圖97,被應用到每組差異場的該處理包括一個步驟2180,在步驟2180中,產(chǎn)生一個被改變的MCU映射數(shù)據(jù)陣列,并且在步驟2182中,通過使用FFT(快速付立葉變換)處理或者類似的處理,來從該MCU映射數(shù)據(jù)陣列中形成一個速度輪廓組(velocity profileset)。在步驟2184中,然后就組合構(gòu)成對象的速度矢量聚類,并且如圖95A一樣,分析對象和速度矢量的每一個可能的組合,來產(chǎn)生關于每一個對象/速度組的一個“是”,“否”或者“可能是”的判斷(步驟2186)。步驟2186以后是一個判斷模塊2188。在步驟2188中,它可能判斷每一個對象/速度組已經(jīng)被標記為“否”,在這種情形下,后面是步驟2190。步驟2190表示結(jié)束該分析處理,而不檢測任何對該邊界的侵入。
對每一個對象/速度組已經(jīng)被標記為“是”(如步驟2192所表示的),即每一個滿足表示侵入該邊界的該準則的對象/速度組,在步驟2194中判斷是否滿足該靈敏度(亮度)準則。如果滿足該靈敏度(亮度)準則,就產(chǎn)生一個置信水平值(步驟2196),并且將該置信水平,以及表示該對象和速度分析的輸出的值作為輸出來產(chǎn)生(步驟2198)。對于每一個對象/速度組已經(jīng)被標記為“可能是”(即,不明確地表示一個邊界的侵入,也不明確的表示沒有一個邊界的侵入),就執(zhí)行開始于步驟2202的一個處理。開始,產(chǎn)生基于該速度歷史的一個樣條(步驟2204)。這種樣條的一個示例被顯示為圖96中的點線2206。然后,就決定(步驟2210)該樣條(圖96的2208表示)的一個拐點,然后判斷該樣條的該拐點是否穿越了該邊界(步驟2212)。從圖96中可以看出,在其中所示的示例中,該樣條2206的該拐點2208確實穿越了該邊界2174。
在步驟2212的判斷是肯定的判斷的情形下,如前面所描述的,就執(zhí)行步驟2196和2198。在步驟2212,或者2194中任何一個的判斷是否定的判斷的情形下,就執(zhí)行步驟2190(結(jié)束該處理,而不檢測侵入)。
圖98圖示說明了在發(fā)生了一定的告警事件以后,促使一個預選擇的圖象分析算法被應用到一預定現(xiàn)場視頻信號流的處理步驟。在圖98中,步驟2214表示已經(jīng)接收了由一個外部告警傳感器裝置或者類似的裝置所提供的一個告警信號。步驟2216是一個判斷模塊,步驟2216表示一個特定的圖象分析算法正在根據(jù)一個連續(xù)的方式被應用到從一個攝像機Y所產(chǎn)生的一個現(xiàn)場視頻圖象流。步驟2214的發(fā)生或者步驟2216是一個肯定的判斷(檢測到圖象特征),就執(zhí)行步驟2218。在步驟2218中,根據(jù)已經(jīng)被預保存的參數(shù)(例如一個邊界線的位置),該預選擇圖象分析算法被應用到從一個攝像機Z所產(chǎn)生的一個現(xiàn)場視頻圖象流。步驟2218中所執(zhí)行的該圖象分析算法可能,但是不必須,與步驟2216所應用的該圖象分析算法類似。另外,攝像機Z可以被看作是與攝像機Y相同。換句話說,使用一第一分析算法來檢測一個現(xiàn)場視頻流中感興趣的一個特征可能自動地引起將一第二分析算法應用到該相同的現(xiàn)場視頻流。
替代的視頻數(shù)據(jù)壓縮技術(shù)圖99和100圖示說明了根據(jù)前面已經(jīng)被描述的該“郵票”壓縮技術(shù)的一個變化來執(zhí)行的處理。本質(zhì)上,在圖99和100的變化中,不是簡單地在保存中忽略差異圖象中的“相同”MCU,而是在JPEG編碼以前,該差異圖象的該“相同”MCU部分可以被轉(zhuǎn)換為一個全黑的條件。
轉(zhuǎn)到圖99,一個初始化步驟被執(zhí)行(步驟2220)。步驟2220以后是步驟2222,在步驟2222中,接收將要被解碼的下一視頻數(shù)據(jù)場。步驟2222以后是步驟2224,在步驟2224中,每一個點值的最低位被強制取一個與一黑點值不一致的值。下面判斷(步驟2226)該正在被處理的場是否是一個參考場。如果該正在被處理的場是一個參考場,就執(zhí)行步驟2228。在步驟2228中,對所有塊執(zhí)行JPEG壓縮(如在前面所描述的壓縮技術(shù)中一樣),并且更新用于作出“相同性”判斷的該參考統(tǒng)計數(shù)據(jù)。然后該處理循環(huán)返回到步驟2222。
如果在步驟2226,發(fā)現(xiàn)將要被處理的該場是一個差異場,然后就拾取下一個數(shù)據(jù)瓦片或MCU(步驟2230),并且計算特征統(tǒng)計數(shù)據(jù)(步驟2232)。該統(tǒng)計數(shù)據(jù)的計算可以使用上面所描述的校驗板子采樣技術(shù)或者其他合適的技術(shù),包括數(shù)據(jù)瓦片或者數(shù)據(jù)瓦片的四分之一部分中的對角線采樣。
步驟2232以后是步驟2234,在步驟2234中,將該計算的特征與參考特征進行比較,并且在步驟2236中作出一個“相同性”的判斷。如果在步驟2236中,發(fā)現(xiàn)該當前MCU或者數(shù)據(jù)瓦片與參考數(shù)據(jù)瓦片或者MCU“相同”,則所有組成正在被處理的MCU或者數(shù)據(jù)瓦片的點被設置成表示MCU或者并列形式中的一個實心黑顏色的值(步驟2238)。
步驟2238以后是步驟2240、2242和2246,它們表示包括正交變換、量化和變長編碼的JPEG編碼技術(shù)的部分。所以,變黑的數(shù)據(jù)瓦片或者塊被進行JPEG編碼。但是,如果在步驟2236中發(fā)現(xiàn)被處理的數(shù)據(jù)瓦片或者MCU與參考統(tǒng)計數(shù)據(jù)不同,那么就對該數(shù)據(jù)瓦片或者MCU執(zhí)行JPEG編碼步驟,而且不首先使該數(shù)據(jù)瓦片或者MCU變黑。
步驟2246所示的判斷模塊說明該處理循環(huán)返回到步驟2230,直到已經(jīng)處理了最后的數(shù)據(jù)瓦片或者MCU或者差異場,在這一點,該處理循環(huán)返回到步驟2222。與圖99的“黑色填充”郵票解壓縮技術(shù)相應的解壓縮技術(shù)被顯示在圖100中。圖100中開始的步驟是步驟2248,步驟2248表示現(xiàn)在是否需要解碼一個參考場的判斷。如果是,就對該場中的所有數(shù)據(jù)瓦片進行JPEG解壓縮,并且使用被解碼的數(shù)據(jù)瓦片來更新與整個圖象平面相應的顯示緩沖器位置(步驟2250)。然后該處理循環(huán)返回到步驟2248。
如果在步驟2248中發(fā)現(xiàn)現(xiàn)在將要解碼一個差異場,然后對該差異場中的每一個數(shù)據(jù)瓦片或者MCU執(zhí)行一個處理循環(huán)(如步驟2252所示)。該循環(huán)中的一第一步驟是步驟2254,在步驟2254中對特定的數(shù)據(jù)瓦片或者MCU進行JPEG解壓縮。然后在步驟2256中判斷整個數(shù)據(jù)瓦片或者MCU是否是黑的。如果是,下面就是步驟2258,在步驟2258中不更新與該數(shù)據(jù)瓦片或者MCU相應的顯示緩沖器位置。但是,如果在步驟2256中發(fā)現(xiàn)該數(shù)據(jù)瓦片或者MCU不是全黑的,然后就完成了對該塊的JPEG解壓縮處理(步驟2260),并且使用與該塊相應的“郵票”來更新該圖象平面相應位置的顯示緩沖器(步驟2262)。
圖100的解壓縮技術(shù)可以總結(jié)為在差異數(shù)據(jù)場中,黑郵票被扔掉,不黑的郵票被用于更新該圖象平面??梢钥吹絼偛怕?lián)系圖99和100所描述的技術(shù)與例如聯(lián)系圖44所描述的初始“郵票”壓縮技術(shù)相比,缺乏被改變的MCU映射數(shù)據(jù)1134。這樣,圖99和100所顯示的數(shù)據(jù)格式和處理技術(shù)在某種程度上更簡單了,但是缺乏運動檢測和由該映射數(shù)據(jù)所提供的后向解壓縮所帶來的優(yōu)點。另外,“黑色填充”郵票技術(shù)提供了一個較低的壓縮比例。另外,圖99的技術(shù)所提供的被壓縮的視頻數(shù)據(jù)的動態(tài)范圍比純“郵票”技術(shù)的小,這是因為不允許一個被壓縮的視頻數(shù)據(jù)點具有一個真正的黑色值。
用戶可選擇的顯示/保存選項現(xiàn)在參考圖101A和101B描述允許該用戶選擇關于輸入視頻信號流的保存的空間和時間分辨率選項的處理。
首先,將參考圖101A來描述該處理的一個建立部分。在步驟2264中,向該用戶提供空間和時間分辨率選項。在步驟2266中,判斷該用戶是否對由一個給定的攝像機所產(chǎn)生的視頻信號流選擇了一個非標準的時間分辨率。一個非標準的時間分辨率的示例是一個“時間延遲”記錄模式,該“時間延遲”記錄模式記錄該相應輸入流的場速率(時間分辨率)比使用標準分辨率來記錄流的場速率要低。如果在步驟2266中的判斷是一個肯定的判斷,然后向該前端電子裝置發(fā)送一個合適的消息(步驟2268)以使對所考慮的攝像機流實現(xiàn)該非標準的時間分辨率。
在步驟2270中判斷是否對給定的一個攝像機流請求了一個非標準的空間分辨率,非標準的空間分辨率的示例是使用比系統(tǒng)標準240水平行更多的或者更少的行來表示所考慮的攝像機流的每一個的視頻場。如果在步驟2270中的判斷是一個肯定的判斷,然后向視頻保存軟件部件發(fā)送一個合適的消息來實現(xiàn)被選擇的非標準的空間分辨率(標準2276)。
圖101B表示被執(zhí)行來實現(xiàn)聯(lián)系圖101A所討論的分辨率選項的處理。特別的,圖101B所顯示的處理表示在圖52(“視頻保存”軟件部件)的模塊1306(“預告警?”)的判斷是一個否定的判斷時所進入的步驟。在圖101B的處理中,首先判斷是否接收了關于正在被保存的場的一個非標準分辨率消息(步驟2274)。如果不是這樣,就從圖101B的步驟2274直接進入圖52的步驟1308。但是,如果步驟2274中的步驟是一個肯定的判斷,然后例如,正在被保存的該場的替換行被從保存中忽略(步驟2276),然后產(chǎn)生表示被保存的數(shù)據(jù)一個非標準的時間或空間分辨率的索引數(shù)據(jù)(步驟2278)。
圖102表示被執(zhí)行來設置一個與輸入信號流的壓縮相關的參數(shù)的處理。圖102所顯示的第一步驟是步驟2280,在步驟2280中提供了一個屏幕顯示,來向該用戶提供與壓縮操作相關的參數(shù)設置選項。該選項通常在圖象質(zhì)量和有效的使用VR/PC單元的保存容量之間進行折衷。該選項可能包括設置對JPEG芯片848(圖14)中的量化操作有用的比特率,增加在參考場之間的每一個間隔中的差異場的數(shù)目,和/或者調(diào)節(jié)在判斷是否保留或者丟棄差異場中的數(shù)據(jù)瓦片所用的一個數(shù)據(jù)瓦片相同閾值。應該理解被提供給該用戶的該選項應該是針對不同攝像機可進行不同的設置的。
步驟2282中判斷是否選擇了一個參考場之間的非標準間隔。另外,在步驟2284中判斷是否選擇了一個非標準的塊相同閾值。在步驟2282和2284中的任何一個判斷是肯定的情形下,以后是步驟2286,在步驟2286中,向該前端電子裝置發(fā)送實現(xiàn)該非標準的壓縮參數(shù)的一個合適的消息。盡管沒有被顯示在圖102中,如果該用戶表示量化比特率發(fā)生了改變,一個關于這種影響的消息也被發(fā)送到該前端電子裝置。
圖象分析工具在分布式IVIM系統(tǒng)中的應用現(xiàn)在參考圖103A到103C來描述涉及從一個遠程位置,例如一個本地或者主節(jié)點向該VR/PC單元下載圖象流分析算法的處理。
圖103A所顯示的處理是從該外部裝置,例如該主節(jié)點或者該遠程節(jié)點的角度來提供的。在步驟2286中,判斷一個遠程VR/PC單元是否已經(jīng)請求將一個與一個圖象分析算法相應的程序從該主節(jié)點或者本地節(jié)點發(fā)送到該VR/PC單元(步驟2286)。如果是,下面就是步驟2288,在步驟2288中判斷是否將在該請求VR/PC單元中設置將用來約束該算法執(zhí)行的參數(shù)。步驟2290以后是步驟2292,或者如果該參數(shù)不被設置在該主節(jié)點或者本地節(jié)點中,步驟2288以后就是步驟2292。步驟2292中與該被請求的分析算法相應的程序,和被設置的參數(shù)(視情況而定)被下載到該請求的VR/PC單元。
圖103B提供了涉及圖103A中步驟2290的附加細節(jié)。特別的,在圖103B的步驟2294中,表示一個參考圖象被從該請求的VR/PC單元上載到該算法參數(shù)將要在其中被設置的主節(jié)點或者本地節(jié)點。然后該主節(jié)點或者本地節(jié)點使用該被更新的參考圖象來設置該算法參數(shù)(步驟2296)。
圖103C是說明了當一個主節(jié)點或者本地節(jié)點進行工作來在兩個或者多個遠離該節(jié)點裝置的VR/PC單元中發(fā)起基于分析工具的搜尋時,在該節(jié)點中所發(fā)生的處理。步驟2302是圖103C所顯示的第一步驟。在步驟2302中,該節(jié)點裝置發(fā)起與在一第一遠程位置的一個VR/PC單元之間進行的通信,來促使一個參考圖象被該第一VR/PC單元上載到遠程裝置。然后在該節(jié)點裝置中選擇一個圖象分析算法,并且使用該被上載的參考圖象來設置約束該算法的執(zhí)行的參數(shù)(步驟2304)。步驟2304以后是步驟2306,在步驟2306中,時間參數(shù)(開始和結(jié)束時間)被規(guī)定來表示對該第一VR/PC單元中的視頻數(shù)據(jù)所執(zhí)行的隨之發(fā)生的數(shù)據(jù)庫搜尋的時間。步驟2306以后是步驟2308。步驟2308中,一個數(shù)據(jù)消息(或者更明確的一系列數(shù)據(jù)消息)被從該節(jié)點裝置發(fā)送到該第一遠程VR/PC單元來下載該被選擇的分析算法、在該節(jié)點裝置中被設置的參數(shù)、和所感興趣的時間范圍。在這一時刻在第一VR/PC單元中開始執(zhí)行視頻數(shù)據(jù)庫的基于算法的搜尋。
步驟2308以后是步驟2310到步驟2316,除了步驟2310到步驟2316是對位于一個與該第一VR/PC單元的位置不同的位置的第二VR/PC單元而執(zhí)行的,步驟2310到步驟2316與步驟2302到步驟2308相同。與前面相同,一個參考圖象被上載(步驟2310),在該節(jié)點裝置執(zhí)行分析算法的選擇和參數(shù)的設置,還進行相關的時間范圍的設置(步驟2312和2314),并且消息被發(fā)送到該第二VR/PC單元來下載該被選擇的算法,并與包括時間參數(shù)的參數(shù)一起,激發(fā)在該第二VR/PC單元所執(zhí)行的一個視頻數(shù)據(jù)庫搜尋(步驟2316)。圖103C中的最后步驟是2318,在步驟2318中該節(jié)點裝置等待VR/PC單元報告在每一個VR/PC單元所執(zhí)行的相應搜尋的結(jié)果。在該分布式IVIM系統(tǒng)中,另一可以設計的示例是將一個動態(tài)視頻圖象數(shù)據(jù)序列從一個VR/PC單元上載到一個主節(jié)點或者本地節(jié)點,以將一個圖象分析算法應用到該節(jié)點中被上載的圖象序列??梢钥吹?,因為將該視頻數(shù)據(jù)從該VR/PC單元發(fā)送到該節(jié)點需要很高的傳輸帶寬和/或者大量的時間,這個示例并不總是可取的。
圖104表示在一個被應用到一個現(xiàn)場輸入視頻流的圖象分析算法檢測到一個感興趣的特征時所產(chǎn)生的自動發(fā)送感興趣的視頻信息的處理。假定圖104中的處理是在一個VR/PC單元中被執(zhí)行的。開始,在圖104的處理中,判斷被應用到由攝像機X所產(chǎn)生的一個輸入流的一個分析算法是否檢測到該算法希望檢測的一個特征(步驟2230)。如果是,該VR/PC單元工作,來自動將來自輸入攝像機X信號的視頻數(shù)據(jù)場發(fā)送到一個外部裝置,例如一個本地或者主節(jié)點裝置(步驟2322)。
對事件的智能響應圖105說明了在一個VR/PC單元中被執(zhí)行的、來在通過對一個現(xiàn)場輸入視頻圖象流進行圖象分析檢測到一個感興趣的特征時,改變一個攝像機記錄序列的處理。
圖105的開始步驟是步驟2324,在步驟2324中,判斷是否已經(jīng)在來自一第一視頻攝像機的輸入視頻信號流中檢測到一個感興趣的特征。當檢測到一個這樣的特征時,以后就是步驟2326,在步驟2326中,一個與第一攝像機不同的、并且到現(xiàn)在還沒有被包括在記錄序列中的攝像機被加到該記錄序列中。例如,兩個攝像機可能產(chǎn)生從不同的角度觀察相同的區(qū)域的視圖。第一攝像機可能正常的使用被應用到來自該第一攝像機的輸入流的一個運動檢測分析算法來進行工作。當檢測到運動時,正常處于“脫機”(沒有進行記錄)的第二攝像機被加到該記錄序列,以使從兩個角度來捕獲這個運動事件。盡管圖105中沒有表示,步驟2326的響應也包括永久的保存由第二攝像機產(chǎn)生的和作為以圖75的塊1726和1728出現(xiàn)在一個預告警緩沖器中的視頻信號。
圖106說明了在軟件中所實現(xiàn)的一個特征,通過該軟件,一個圖象分析算法所檢測到一個圖象特征促使激發(fā)一個另外的圖象分析算法。圖106中的一個開始模塊2328與圖105中的模塊2324相同。如果由模塊2328所表示的該圖象分析算法檢測到它希望檢測到的特征,然后步驟2328以后是步驟2330。在步驟2330中,一個預定圖象分析算法,和預保存參數(shù)被從存儲器中進行檢索。步驟2330以后是步驟2332。在步驟2332中,該被檢索的分析算法被發(fā)送到該前端電子裝置,以被應用到由使用在2328中所提到的該算法來進行監(jiān)測的相同攝像機所產(chǎn)生的輸入視頻圖象流,或者另一輸入視頻流,或者兩個視頻流。在步驟2330中被檢索的該附加算法可以是與步驟2328中所應用的算法具有相同的類型,或者本質(zhì)上不同。
圖107說明了促使對檢測到一個告警條件作出響應,改變視頻數(shù)據(jù)壓縮參數(shù)的處理。從圖108可以看出,首先在步驟2334中,判斷是否檢測到一個告警條件??梢酝ㄟ^來自一個告警傳感器裝置的輸入,通過使用一個圖象分析算法對一個現(xiàn)場視頻流所執(zhí)行的分析,或者通過這個系統(tǒng)的一個用戶輸入一個信號來宣稱一個告警條件來檢測該告警條件。在任何一種情形下,當檢測到一個告警條件時,步驟2334以后是步驟2336。在步驟2336中,從存儲器中檢索一個描述,該描述指定與被檢測到的告警條件相關的一個攝像機或者多個攝像機,并且表示因為被檢測到的告警條件而將被應用的被更新的壓縮算法參數(shù)。典型的,該告警激發(fā)的壓縮參數(shù)可以是一種能夠改善圖象質(zhì)量的參數(shù)。這樣,將增加JPEG編碼處理中的量化可用的比特數(shù)目,將減少參考圖象之間的每一個間隔中的差異圖象的數(shù)目,和/或者降低用于將差異場數(shù)據(jù)瓦片與參考數(shù)據(jù)瓦片進行比較的“相同”閾值。
步驟2336以后是步驟2338。在步驟2338中,在步驟2336中被檢索的該被更新的壓縮參數(shù),和根據(jù)該被更新的壓縮參數(shù)來壓縮被指定的攝像機視頻流的命令被發(fā)送到前端電子裝置。
圖108說明了如何對使用被應用到一個現(xiàn)場輸入視頻流的一個圖象分析算法檢測到的一個圖象特征作出響應,改變一個攝像機的有效視場的示例。圖108中假定,如前面所描述的,一邊界侵入檢測算法被應用到由一個被指定為攝像機X的攝像機所產(chǎn)生的一個現(xiàn)場視頻流。在步驟2340中,判斷是否檢測到了一個邊界侵入。如果是,以后就是步驟2342。在步驟2342中,通過處理來自攝像機X的輸入視頻流來執(zhí)行一個縮放操作,以使該圖象平面中與被指定的邊界相應的部分被放大。使用這樣的方式,圖象平面的一個較大部分可以被用于圖象流中可能是最重要的信息,即在被指定的邊界上或與被指定的邊界相鄰的邊界上的特征。
圖109說明了對被應用到一個現(xiàn)場輸入視頻流的一個圖象分析算法檢測到一個圖象特征作出響應,自動的改變一個攝像機的視場的示例。圖109中所顯示的開始步驟2344與圖105中的步驟2324相同。如果在步驟2344中發(fā)現(xiàn)檢測到了感興趣的特征,然后就執(zhí)行步驟2346。在步驟2346中,產(chǎn)生一個預定告警輸出和/或者產(chǎn)生一個信號來引起在步驟2344中監(jiān)視到來自其中的視頻流的攝像機的一個預定運動和/或一個不同的攝像機的預定運動。可以使用一個預定目標算法來執(zhí)行一個預定的攝像機運動或者多個運動,如美國專利號5,526,041所描述的。
圖110說明了對檢測到一個輸入視頻流的兩個不同特征作出響應采取一個運動動作或者多個動作的處理。步驟2348中通過應用以第一圖象分析算法,判斷在一個輸入視頻圖象流中是否出現(xiàn)了一第一特征。如果在步驟2348中,判斷出第一分析算法已經(jīng)檢測到該預定特征,然后就是步驟2350,在步驟2350中通過使用一第二分析算法判斷在相同的輸入視頻流中是否檢測到一第二預定特征。如果是,以后就是步驟2352。如圖110所示,僅當步驟2348和2350均作出了一個肯定的判斷時,才進入步驟2352。
步驟2352表示下述動作中一個或者多個的性能改變輸入視頻流的顯示圖象(例如,通過增加垂直分辨率或者時間分辨率);選擇其中將要保存一個輸入視頻流的一個保存媒質(zhì)(例如,向一個外部裝置,例一個本地或者主節(jié)點發(fā)送表示該視頻流的數(shù)據(jù));發(fā)送一個信號來引起產(chǎn)生該輸入視頻流的攝像機或者一個不同的攝像機的一個自動目標搜尋或者其他運動;和/或者選擇一個將要被應用到一個不同視頻流的輸入視頻流的附加圖象分析算法。圖110所顯示的處理可以被認為是應用兩個分析工具的一個邏輯組合,特別是在這種情形下,兩個工具的一個與組合。進一步可以設計分析工具的其他邏輯組合也可以被使用來檢測一個事件條件,或者來觸發(fā)一個預定的響應,等等。例如,當“點擊”兩個或者多個工具中的任何一個被檢測到時,就宣稱有一個事件條件。這能構(gòu)成兩個或者多個工具的一個或組合。(從前面的句子另一理解,也可以設計多于兩個分析工具的邏輯組合。)另外,還可以采用其他邏輯運算符,例如或非,與非,異或,等等,和包括兩個或者多個運算符的復雜邏輯組合。
可以向該用戶提供一個屏幕顯示(沒有顯示出來)以允許從工具或者邏輯運算符的選擇中構(gòu)造一個所需的分析工具邏輯組合。該用戶還可被允許選擇該分析工具將被應用到其上的一個攝像機流或者多個流,并且被允許設置與該被選擇的工具相關的參數(shù)。
圖111說明了一個處理,在該處理中,當產(chǎn)生將要被應用該算法的視頻流的攝像機在運動時;或者當有一個與該攝像機相關的告警條件時,禁止應用一個現(xiàn)場圖象分析算法。在圖111中,步驟2354表示判斷是否出現(xiàn)了與一個特定攝像機(被指定為攝像機X)相關的一個告警條件。該告警條件可以通過一個告警傳感器裝置,通過現(xiàn)場圖象分析被檢測,或者通過用戶輸入來被發(fā)起。步驟2356表示判斷攝像機X是否在運動,這個判斷可以是基于是否從該攝像機控制裝置528(圖1)接收到一個攝像機運動信號。
繼續(xù)參考圖111,如果步驟2354和2356中的任何一個作出一個肯定的判斷,就進入步驟2358。在步驟2358中,一個合適的信息被發(fā)送到該前端電子裝置,來禁止向由攝像機X所產(chǎn)生的現(xiàn)場視頻流應用一個圖象分析算法。在已經(jīng)檢測到與攝像機X相關的一個告警條件的地方,禁止對攝像機X視頻流進行現(xiàn)場分析,以避免不適當?shù)难娱L告警條件是有利的。另外,當攝像機X在運動時,禁止對攝像機X視頻流進行現(xiàn)場分析是可取的,因為產(chǎn)生關于由正在運動的攝像機所產(chǎn)生的視頻流的有意義的分析可能是不可能的,這與圖象分析算法的本質(zhì)有關。圖112說明了被設計來處理一運動的攝像機正在產(chǎn)生有關視頻流的情形的另一特征。圖112中,第一步驟是2360,步驟2360與圖111的步驟2356相同。如果在步驟2360中,判斷出一個攝像機X正在運動,然后就是步驟2362。在步驟2362中,一個消息被發(fā)送到該前端電子裝置來加入一個表示(例如,在攝像機X視頻流的視頻數(shù)據(jù)場頭中設置一個比特值)來說明所考慮的視頻數(shù)據(jù)場是在攝像機在運動時所產(chǎn)生的。在再生由一個運動攝像機所捕獲的視頻數(shù)據(jù)場時,可以使用該頭數(shù)據(jù)來禁止一個后記錄圖象分析算法,或者作為將被一個圖象分析算法進行特殊處理的一個提示。作為步驟2362的一個替代,在頭數(shù)據(jù)中的該“處于運動中”的提示可以在記錄處理期間被加到主板CPU,和/或者被加到在將視頻流記錄在硬盤的期間所產(chǎn)生的索引數(shù)據(jù)中。
圖112A說明了使用該攝像機在運動的提示來禁止隨后應用一個圖象分析算法。圖112A顯示的第一步驟是步驟2364。在步驟2364中,判斷是否選擇了一個圖象分析算法和用于將該算法應用到從該硬盤被再生的一個視頻圖象流的參數(shù)設置。如果是,然后從該硬盤中檢索將要被分析的該視頻流(步驟2366)。步驟2366后面是步驟2368。在步驟2368中,判斷伴隨著被再生的視頻數(shù)據(jù)場的頭數(shù)據(jù)表示在產(chǎn)生視頻數(shù)據(jù)場時,產(chǎn)生視頻數(shù)據(jù)場的該攝像機是否在運動。如果是,步驟2368以后是步驟2370。在步驟2370中,禁止被選擇的圖象分析算法的執(zhí)行,然后產(chǎn)生在被選擇的視頻流期間攝像機在運動的一個消息報告(步驟2372)。另一方面,如果在步驟2368中沒有發(fā)現(xiàn)運動標志,然后就應用圖象分析算法,并且根據(jù)前面所公開的通常實踐來報告該算法的結(jié)果(步驟2374和2376)。
應該理解,一個運動表示被包括在索引數(shù)據(jù)而不是一個頭數(shù)據(jù)中,在這種情形下,步驟2368必然檢查該索引數(shù)據(jù)是否有運動表示。
圖113說明了一個處理,其中當檢測到一個告警條件時,增加捕獲和保存視頻數(shù)據(jù)場的一個整體速率。
圖113中,步驟2378判斷是否檢測到一個告警條件。該告警條件的檢測可以是基于從一個告警傳感器裝置所接收的一個信號,或者是通過將一個圖象分析算法應用到一個現(xiàn)場視頻圖象流,或者是通過該系統(tǒng)的一個用戶來激發(fā)一個告警信號。如果在步驟2378中,發(fā)現(xiàn)出現(xiàn)了一個告警條件,然后就是步驟2380。在步驟2380中,該VR/PC單元,特別是其上的前端電子部分被從使用一第一速率來捕獲和保存視頻數(shù)據(jù)場的一第一模式切換到使用一更高的綜合速率來捕獲視頻數(shù)據(jù)場的一第二模式。例如,可以設計當沒有告警條件時,該VR/PC單元使用每秒30場的速率來進行捕獲和保存。例如,該每秒30場的綜合速率可以被依次分配給與該VR/PC單元相連的每一個攝像機。但是,當檢測到一個告警條件時,該綜合場捕獲速率被增加到每秒45場??梢愿鶕?jù)與前面相同的序列來分配該每秒45場的捕獲和保存速率,或者更優(yōu)選的,每秒15場或者30場的速率可以被分配到一個或者兩個特別感興趣的攝像機,然后將余下的場記錄時隙分配到一系列其他攝像機。被一個有告警的攝像機所產(chǎn)生的序列被與上面聯(lián)系圖76所討論的其他攝像機所產(chǎn)生的一系列場交織在一起。
圖114說明了分別將不同的壓縮參數(shù)應用到從不同的攝像機所接收的輸入視頻流的步驟。步驟2382是圖114所顯示的第一步驟,它表示當每一個攝像機被選擇到將要被記錄的攝像機記錄序列中時,對每一個攝像機執(zhí)行隨后的步驟2384和2386。在步驟2384中,該處理檢索將要被記錄的下一個攝像機的壓縮算法參數(shù),該壓縮算法參數(shù)決定在一個差異視頻數(shù)據(jù)場的一個數(shù)據(jù)瓦片和一個參考場之間的差異在多大程度上可以被認為是該差異場數(shù)據(jù)瓦片與該參考場數(shù)據(jù)瓦片沒有“差異”。在步驟2386中,使用在步驟2384中所檢索的壓縮參數(shù)來將該壓縮算法應用到該差異場數(shù)據(jù)。
圖115表示一個處理,使用該處理一個告警條件的檢測促使一個顯示緩沖器被使用與沒有告警條件時的方式不同的方式來更新。步驟115中的第一步驟是步驟2388,該步驟與圖113的步驟2378相同。如果步驟2388判斷出現(xiàn)了一個告警條件,然后更新該顯示緩沖器以使在每一個場顯示間隔更新整個顯示緩沖器(步驟2390)。另一方面,如果沒有發(fā)現(xiàn)告警條件就執(zhí)行步驟2392。在步驟2392中,在每一個顯示周期,僅更新一部分顯示緩沖器。例如,可以使用一個隔行更新的技術(shù),由此在一第一顯示周期更新與偶數(shù)行點相應的顯示緩沖器位置,然后在下一個顯示周期更新余下的位置(奇數(shù)行),并且對隨后的顯示周期執(zhí)行該偶數(shù)和奇數(shù)行顯示緩沖器位置的交替更新。
VR/PC單元同時執(zhí)行主要功能圖116說明VR/PC單元解決在該VR/PC單元中所執(zhí)行的記錄,回放和存檔功能之間的沖突的處理。在記錄,回放和存檔期間所處理的數(shù)據(jù)的數(shù)量是動態(tài)改變的。例如,存在一個時間既不執(zhí)行回放,也不執(zhí)行存檔?;蛘邔⒁换胤?,或者將要被存檔的視頻信息的數(shù)量發(fā)生改變。另外,產(chǎn)生要記錄的視頻數(shù)據(jù)的速率與視頻場被捕獲的綜合速率,對輸入視頻流可獲得的壓縮程度,該用戶所選擇的分辨率和壓縮參數(shù)和其他因素相關并且會發(fā)生改變。
這里所公開的VR/PC單元是用于同時進行記錄、回放和存檔存在的。如在這里所用的和在后面所附的權(quán)利要求書中所使用的,術(shù)語“同時”應該被從字面上和從虛擬的角度來理解。作為一個字面上同時進行的記錄和回放操作的示例,可以考慮這樣一種情形,一個視頻顯示監(jiān)視器正在顯示從該硬盤被再生的一個視頻圖象流的一個信號,而在嚴格相同的時刻,由一個或者多個與該VR/PC單元相連的攝像機所產(chǎn)生的視頻數(shù)據(jù)被寫到該硬盤中。“虛擬”同時可以用該主板CPU的一個多任務操作來實現(xiàn),通過該操作,獨立的記錄、回放和存檔控制線程同時在運行。該領域的技術(shù)人員可以理解,同時運行記錄、回放和存檔線程包括被該CPU執(zhí)行的處理周期進行時分復用來在其他操作中實現(xiàn)記錄、回放和存檔線程。通過該多任務操作,在很短的時間,例如,一秒的一小部分以內(nèi),重復執(zhí)行與記錄、回放和存檔線程這三個均相應的活動。
當然,在一個給定時間以內(nèi)由該主板CPU所執(zhí)行的處理周期的數(shù)目是有限的。另外,數(shù)據(jù)被寫到或者從該硬盤讀取的速率也是有限的。所以存在一種情形,同時進行記錄、回放和存檔操作被CPU的處理能力或者硬盤的訪問速率所限制。圖116說明了該VR/PC單元如何來管理這種限制的一個優(yōu)選實施方式。
圖116的第一步驟是步驟2394,在步驟2394中,就同時運行記錄、回放和存檔操作。步驟2394以后是一個步驟2396,在步驟2396中,判斷該處理器(和/或者硬盤訪問帶寬)是否已經(jīng)被三個同時運行的記錄、回放和存檔線程造成了過載。如果沒有,該處理簡單地循環(huán)返回到步驟2394。但是,如果在步驟2396中發(fā)現(xiàn)該處理能力已經(jīng)過載了,然后是步驟2398,在步驟2398中,僅同時運行記錄和回放操作。這樣,存檔的優(yōu)先級比記錄和回放中任何一個的優(yōu)先級低。步驟2398以后是步驟2402。在步驟2402中,判斷同時運行的記錄和回放操作是否已經(jīng)引起該處理器的能力(和/或者硬盤訪問帶寬)的過載。如果沒有,然后在步驟2404中判斷是否有足夠的處理能力和硬盤帶寬來支持存檔以及記錄和回放。如果是,該處理返回到步驟2394。否則,該處理返回到步驟2398。
如果在步驟2402中發(fā)現(xiàn)該記錄和回放已經(jīng)引起該處理器過載或者超過了該硬盤訪問的能力,然后該回放操作就被停止,僅執(zhí)行記錄操作(步驟2406)。這樣,可以看出,記錄的優(yōu)先級比回放和存檔的優(yōu)先級均高。
步驟2406以后是步驟2408。在步驟2408中,判斷該處理器是否有一預定數(shù)量的未使用容量,如果有,就是步驟2398,并且重新同時運行記錄和回放。但是,如果沒有出現(xiàn)預定數(shù)量的未使用容量,然后就僅運行步驟2406中的記錄操作。
在同時運行記錄和存檔操作而沒有運行回放操作的情形下,在某種程度上對圖116的流圖的理解變得簡單了。但是,應該理解,記錄的優(yōu)先級總是比回放和存檔的優(yōu)先級高,回放的優(yōu)先級總是比存檔的優(yōu)先級高。
圖117A說明了在同時運行記錄和存檔操作時所被執(zhí)行的處理。根據(jù)圖117A的第一步驟2410,數(shù)據(jù)被從一個磁盤驅(qū)動器(被指定的磁盤驅(qū)動器B)拷貝到用于存檔的可拆卸的記錄媒質(zhì)上(例如,數(shù)字音頻磁帶),而同時輸入的視頻流被記錄到另一個磁盤驅(qū)動器,指定的驅(qū)動器A。步驟2410以后是步驟2412,在步驟2412中,判斷所有視頻數(shù)據(jù)是否已經(jīng)被從磁盤驅(qū)動器B拷貝到該存檔媒質(zhì)。如果沒有,就繼續(xù)步驟2410。但是,一旦完成了將該數(shù)據(jù)磁盤驅(qū)動器B拷貝出來,就開始將數(shù)據(jù)從磁盤驅(qū)動器A拷貝到該存檔媒質(zhì),而使用磁盤驅(qū)動器B來記錄輸入視頻數(shù)據(jù)流(步驟2414)。在步驟2416中,判斷是否已經(jīng)將所有視頻數(shù)據(jù)從磁盤驅(qū)動器A拷貝到該存檔媒質(zhì)。如果沒有,就繼續(xù)步驟2414。但是,一旦完成了該磁盤驅(qū)動器A的存檔,該處理就返回到步驟2410,并且對磁盤驅(qū)動器B進行存檔和在磁盤驅(qū)動器A上進行現(xiàn)場記錄。
在圖117A中執(zhí)行的該處理可以總結(jié)如下磁盤從存檔切換到記錄的時刻是存檔的完成。圖117B提供了一個替代的技術(shù),其中繼續(xù)將現(xiàn)場數(shù)據(jù)記錄在第一磁盤上,即使在另一磁盤驅(qū)動器上的所有視頻數(shù)據(jù)被存檔以后。圖117B的處理的開始步驟是步驟2418,其中它與圖117A的步驟2410相同。圖117B中,步驟2418以后是步驟2420。步驟2420與圖117A中的步驟2412相同。即判斷在磁盤驅(qū)動器B上的所有視頻數(shù)據(jù)是否已經(jīng)被拷貝到該存檔記錄媒質(zhì)上。如果沒有,就繼續(xù)進行步驟2418。但是如果完成了對磁盤驅(qū)動器B的拷貝,然后就是步驟2422。在步驟2422中,不再進行存檔操作,但繼續(xù)將輸入視頻數(shù)據(jù)記錄在磁盤驅(qū)動器A上。步驟2422以后是步驟2424。在步驟2424中,判斷是否已經(jīng)使用了整個磁盤驅(qū)動器A的保存容量(或者替代的,判斷是否已經(jīng)使用了記錄容量的一預定部分)。如果沒有,繼續(xù)步驟2424。但是,如果磁盤驅(qū)動器A已經(jīng)滿了或者已經(jīng)達到預定數(shù)量程度,然后就是步驟2426。步驟2426與圖117A的步驟2414相同,表示現(xiàn)場記錄已經(jīng)被從磁盤驅(qū)動器A切換到磁盤驅(qū)動器B,并且開始將被記錄的視頻數(shù)據(jù)從磁盤驅(qū)動器A拷貝到該存檔媒質(zhì)上。在步驟2428中,判斷是否已經(jīng)完成了對磁盤驅(qū)動器A的存檔。如果沒有,就繼續(xù)步驟2426,但是如果已經(jīng)完成了對磁盤驅(qū)動器A的存檔,然后就是步驟2430。在步驟2430中,不再執(zhí)行存檔,但是繼續(xù)將現(xiàn)場數(shù)據(jù)記錄到磁盤驅(qū)動器B。在步驟2432中,判斷磁盤驅(qū)動器B是否已經(jīng)滿了。如果沒有,繼續(xù)將視頻數(shù)據(jù)記錄到磁盤驅(qū)動器B上,否則就再一次進入步驟2418。即現(xiàn)場記錄被切換回磁盤驅(qū)動器A,又開始對磁盤驅(qū)動器B存檔。
對于圖117A和圖117B,已經(jīng)假定在完成對另一磁盤驅(qū)動器的存檔以前,決不會達到一個磁盤驅(qū)動器的滿記錄容量。如果情形不是這樣,就設計成將現(xiàn)場記錄從滿磁盤驅(qū)動器切換到正在被存檔的磁盤驅(qū)動器。應該理解,在聯(lián)系圖117A和117B所討論的記錄和存檔操作進行的同時,可以執(zhí)行回放操作。
一個在另一磁盤被完全存檔以前禁止一個磁盤被填滿的技術(shù)被提供在圖118中。對圖118,已經(jīng)假定對一個磁盤驅(qū)動器進行記錄,同時對另一磁盤驅(qū)動器進行存檔。在步驟2434中,對完成存檔操作的時間進行估計,并且考慮存檔的速率和要被存檔的數(shù)據(jù)的數(shù)量。在步驟2436中,對正在被用于記錄的磁盤的容量被耗盡的時間進行估計。例如,根據(jù)余下的未被使用的保存容量和數(shù)據(jù)被記錄的速率來進行估計。
在步驟2438中,判斷在另一磁盤驅(qū)動器被填滿以前是否將已經(jīng)完成了存檔操作。如果首先完成了存檔,然后處理循環(huán)返回到步驟2434。但是,如果在存檔完成以前,另一磁盤的容量將被填滿,就向該前端電子裝置發(fā)送一個消息來減少用于捕獲視頻數(shù)據(jù)場以進行保存的綜合速率(步驟2440)。使用這樣的方式,減少了保存速率,從而允許完成對另一磁盤的存檔。
VR/PC單元的用戶友好特征圖119說明了產(chǎn)生一個將要被保存在VR/PC單元的硬盤上的、用于保存關于前面被VR/PC單元記錄的存檔磁帶的索引信息的數(shù)據(jù)庫的一個處理。圖119中的第一步驟是步驟2442,在進行存檔時,該步驟2442請求對一個存檔磁帶的索引消息進行累計。在步驟2444中,表示繼續(xù)對存檔磁帶的索引信息的累計,直到彈出了存檔磁帶。這時,被累計的被彈出磁帶的索引信息被加到保存在VR/PC單元中至少一個硬盤上的存檔數(shù)據(jù)庫中(步驟2446)。該用戶被允許訪問該存檔磁帶數(shù)據(jù)庫,以使該VR/PC單元能夠幫助該用戶管理被保存在該存檔磁帶上的視頻數(shù)據(jù)。
圖120說明了一個處理,通過該處理該VR/PC單元進行工作來對連接到該VR/PC單元的攝像機中的故障的起因進行自動診斷。典型的視頻攝像機的服務壽命是有限的,并且隨時間的增加其性能降低。老化的視頻攝像機遇到的典型問題是無法聚焦和“光暈”,即一些點位置產(chǎn)生的輸出比實際的要亮。圖120所示的該處理使該VR/PC單元能夠自動跟蹤和診斷攝像機的特性隨時間的降低。
圖120中的第一步驟是2448,在步驟2448中,在該攝像機被首先連接到該VR/PC單元的以后就,或者不久以后,捕獲由該攝像機所產(chǎn)生的一個圖象。步驟2448以后是步驟2450。在步驟2450中,對與在步驟2448中被捕獲的圖象相應的數(shù)據(jù)執(zhí)行一個統(tǒng)計數(shù)據(jù)分析,來產(chǎn)生當分析隨后被該攝像機所捕獲的圖象時所使用的一組基礎特征統(tǒng)計數(shù)據(jù)線。優(yōu)選地,該基礎特征統(tǒng)計數(shù)據(jù)線包括一個或者兩個表示圖象信號的高頻分量的統(tǒng)計數(shù)據(jù)和表示圖象數(shù)據(jù)的顏色分布的統(tǒng)計數(shù)據(jù)。該基礎特征統(tǒng)計數(shù)據(jù)線然后被保存在該VR/PC單元中的一個硬盤中。
步驟2452表示在周期性的產(chǎn)生基礎特征統(tǒng)計數(shù)據(jù)線以后,執(zhí)行對攝像機的一自動診斷。在開始安裝了攝像機以后,例如,可以使用固定的間隔,例如每周或者每月,來執(zhí)行該自動診斷處理。自動診斷的第一步驟是步驟2454。在步驟2454中,捕獲由該攝像機所產(chǎn)生的當前圖象。然后在步驟2456中,從該當前圖象數(shù)據(jù)產(chǎn)生與該基礎特征統(tǒng)計數(shù)據(jù)線相應的統(tǒng)計數(shù)據(jù),并且將該統(tǒng)計數(shù)據(jù)與基礎統(tǒng)計數(shù)據(jù)線進行比較。然后如步驟2458所示,根據(jù)該當前圖象的統(tǒng)計數(shù)據(jù)與基礎統(tǒng)計數(shù)據(jù)線的比較結(jié)果來判斷該攝像機是否繼續(xù)有令人滿意的性能。例如,與基礎高頻分量統(tǒng)計數(shù)據(jù)線相比,當前圖象信號的高頻分量的顯著下降可能表示該攝像機不再有令人滿意的聚焦。類似的,顏色數(shù)據(jù)的分布的顯著偏移可能表示在攝像機的拾取元件中有過度的光暈。為了避免錯誤的發(fā)現(xiàn)攝像機的故障,建議用于診斷被捕獲的圖象在與產(chǎn)生基礎線圖象的光線條件相同的光線條件下來被產(chǎn)生。例如,通過在晚上在受控的光線條件下來拍攝基礎線和隨后的圖象,就可以做到上面這一點。
如果在步驟2458中發(fā)現(xiàn)在圖象統(tǒng)計數(shù)據(jù)中有一個表示不令人滿意的攝像機性能的顯著改變,然后采取合適的步驟,例如顯示一個告警(步驟2460),來表示該攝像機不能正確的工作。盡管圖120說明了是僅對一單個攝像機進行自動診斷,可以理解,通過對捕獲基礎統(tǒng)計數(shù)據(jù)線和隨后的自動統(tǒng)計圖象的捕獲的時序進行合適的變化,圖120的處理可以被應用到所有與VR/PC單元相連的攝像機。
現(xiàn)在參考圖121來描述一個處理,通過該處理VR/PC單元產(chǎn)生要被用于向一個用戶提供一個狀態(tài)信息顯示的數(shù)據(jù)。這樣一種狀態(tài)顯示的示例被提供在圖149中。
圖121的處理從步驟2462開始,在步驟2462中,判斷該用戶是否請求要顯示系統(tǒng)狀態(tài)信息。例如,可以通過激發(fā)被提供在前面板上的狀態(tài)按鈕646來輸入該狀態(tài)顯示的請求(圖6)。
繼續(xù)參考圖121,如果請求了一個狀態(tài)請求顯示,步驟2462以后是步驟2464。在步驟2464中,該主板CPU判斷被包括在VR/PC單元中的該磁盤驅(qū)動器或者多個磁盤驅(qū)動器有多少沒有被使用的記錄容量。然后在步驟2466中,判斷被裝到內(nèi)部存檔DAT驅(qū)動器中的記錄媒質(zhì)(數(shù)字音頻磁帶)上有多少沒有被使用的記錄容量。下面在步驟2468中,判斷已經(jīng)記錄了但是沒有被用戶瀏覽的告警事件條件的數(shù)目。步驟2468以后是步驟2470。步驟2470產(chǎn)生已經(jīng)被瀏覽但沒有被刪除的告警事件報告的數(shù)目。步驟2470以后是步驟2472。在步驟2472中,該主板CPU產(chǎn)生連接到該VR/PC單元的攝像機的數(shù)目,在步驟2474中,對位于激活記錄序列中的攝像機的數(shù)目進行計數(shù)。最后在步驟2476中,步驟2464到2474所捕獲的所有數(shù)據(jù)被用于產(chǎn)生狀態(tài)信息顯示屏幕(圖149)。
圖122說明了允許一個用戶方便的從觀看由一第一攝像機在一給定時間所產(chǎn)生的一個被再生的視頻圖象流移動到觀看由一不同的攝像機在相同時間所產(chǎn)生的一被再生的視頻圖象流的VR/PC單元的一個特征。圖122的第一步驟是步驟2478。在步驟2478中,由一第一攝像機在過去一特定時間所產(chǎn)生的一圖象流被從該硬盤中再生并且被顯示在該顯示監(jiān)視器上。一個回放顯示格式的示例,例如在步驟2478中被提供的,被顯示在圖12中,圖12的屏幕顯示包括顯示由一個攝像機(假定為攝像機1)所產(chǎn)生的被再生的圖象的一個視頻圖象顯示區(qū)域2479。對于這個示例,假定被顯示在該區(qū)域2479中圖象流是由攝像機1在前一天的早上十點所產(chǎn)生的。
再一次參考圖122,步驟2478以后是步驟2480。在步驟2480中,判斷是否選擇了一個不同的攝像機來進行回放。如果沒有,就繼續(xù)再生由攝像機1在前天所產(chǎn)生的圖象流(步驟2478)。但是如果除了與攝像機1相應的按鈕外該用戶還激發(fā)了其它的攝像機選擇按鈕650(圖6)中的一個,然后步驟2480中,選擇另一攝像機(攝像機2)。在這種情形下,步驟2480以后是步驟2482,該主板CPU進行工作,以搜尋、再生和顯示由攝像機2(被選擇的攝像機)在與攝像機1產(chǎn)生當前被顯示的回放視頻的時間相同的時間(前一天的十點)所產(chǎn)生的視頻圖象流。步驟2482以后是步驟2484,在步驟2484中,該VR/PC單元促使該顯示監(jiān)視器移動到一個分離屏幕顯示模式(圖12中沒有顯示),在該模式中同時顯示攝像機1和攝像機2在前一天的早上十點所分別產(chǎn)生的視頻圖象流。
應該注意,可使用鼠標來激發(fā)被顯示在圖12中的虛擬攝像機選擇按鈕來執(zhí)行在步驟2480中被檢測的攝像機選擇,它可以作為激發(fā)相應的前面板攝像機選擇按鈕650的一個替代方式。
圖123示意性的說明了VR/PC單元同時執(zhí)行記錄和回放操作的操作。圖123示意性的說明了同時運行的控制線程2486和2488。線程2486涉及捕獲和記錄由連接到VR/PC單元的攝像機所產(chǎn)生的現(xiàn)場輸入視頻信號流,線程2488涉及接收用戶請求并且按照該用戶請求來檢索和回放被保存在VR/PC單元中的硬盤上的視頻數(shù)據(jù)流。通過使用被提供給該主板CPU的操作系統(tǒng)軟件的多任務特性,同時實現(xiàn)獨立的控制線程是可能的。
所顯示的線程2486包括步驟2490和2492。在步驟2490中,由連接到VR/PC單元的攝像機所產(chǎn)生的視頻圖象流被使用一個時分復用的方式來連續(xù)捕獲,在步驟2492中,將所產(chǎn)生的視頻數(shù)據(jù)場序列記錄在該硬盤上。
所顯示的回放線程2488包括步驟2494和2496。在步驟2494中,該用戶發(fā)起一個請求,請求來回放前面由一個特定的攝像機在一個特定的時間所產(chǎn)生的、被記錄在該硬盤上的一個視頻數(shù)據(jù)流。在步驟2496中,與該被請求的流相應的視頻數(shù)據(jù)被從該硬盤中檢索并且被顯示在該顯示監(jiān)視器上。例如,可以提供按照圖12所顯示的格式顯示的一個顯示。應該理解,即使被請求的被再生的視頻數(shù)據(jù)流被顯示在圖12的屏幕顯示的顯示區(qū)域2479中,繼續(xù)進行現(xiàn)場輸入視頻數(shù)據(jù)流的記錄而不會中斷。
圖124使用一般的形式說明了同時顯示兩個不同的被再生視頻圖象流的特征。圖124的第一步驟是步驟2502,步驟2502與圖122的步驟2478相應。然后在步驟2504中,判斷該用戶是否請求在步驟2502顯示流的同時再生一個附加的視頻流并且顯示該附加視頻流。步驟2504的一個特殊示例是圖122中的步驟2480,在步驟2480中,該用戶請求在產(chǎn)生在步驟2502中被顯示的流的同時,同時顯示由一個不同的攝像機所產(chǎn)生的流。步驟2504可能產(chǎn)生的另一請求是請求同時顯示由產(chǎn)生在步驟2502中被再生的圖象流的相同攝像機在不同的時刻所產(chǎn)生的被記錄視頻圖象流。
在任何一種情形下,當在步驟2504中請求回放一個附加流時,以后就是步驟2506,在步驟2506中,接收或者產(chǎn)生被請求的流的參數(shù)(攝像機和產(chǎn)生的時間)。然后在步驟2508中,在步驟2502中被顯示的圖象流和附加的被請求的流被使用一個分離屏幕格式來同時顯示。
現(xiàn)在參考圖125來描述一個處理,通過該處理,涉及被記錄在一個硬盤上的視頻數(shù)據(jù)場的數(shù)據(jù)被記錄在與記錄有視頻數(shù)據(jù)場的硬盤相同的硬盤上和一個獨立的硬盤上。圖125包括一第一步驟2510,在步驟2510中,接收一個現(xiàn)場視頻數(shù)據(jù)場序列。下一個步驟是步驟2512,步驟2512表示產(chǎn)生與被接收的視頻數(shù)據(jù)場相應的索引數(shù)據(jù)。然后,步驟2512以后是步驟2514和2516,這兩個步驟被同時執(zhí)行。在步驟2514中,輸入視頻數(shù)據(jù)場和在步驟2512中被產(chǎn)生的索引數(shù)據(jù)一起被記錄在一個硬盤上。在步驟2516中,相同的索引數(shù)據(jù)被記錄在一個與記錄有視頻數(shù)據(jù)場的硬盤不同的硬盤上。
通過將一“陰影(shadow)”組索引數(shù)據(jù)記錄在獨立的硬盤驅(qū)動器上,可以在該獨立的硬盤驅(qū)動器上搜尋該索引數(shù)據(jù),而不會阻止正在進行的、需要訪問其上記錄了視頻數(shù)據(jù)場的硬盤驅(qū)動器的記錄、回放或者存檔操作。
圖126描繪了VR/PC單元使用比分配到該視頻流的一個“永久”場速率要高的一個場速率來對一個輸入視頻信號流進行預告警緩沖器保存的操作。圖126中的第一步驟是步驟2518。在步驟2518中,一個輸入視頻數(shù)據(jù)流被接收并且被使用一個視頻數(shù)據(jù)場序列的形式被捕獲。對這個示例,假定使用一個大略每秒3場的速率來捕獲該視頻數(shù)據(jù)流。
在步驟2520中,使用一個較低的場速率,即每秒一場的速率,來將在步驟2518中被捕獲的視頻數(shù)據(jù)場中被選擇的一些記錄在一個硬盤驅(qū)動器的一個主要“永久記錄區(qū)域”。(應該理解,在應該優(yōu)選實施方式中,僅對該硬盤驅(qū)動器中該“永久”記錄部分上的視頻數(shù)據(jù)進行存檔;并且優(yōu)選地,不對該預告警緩沖材料進行存檔,除非它被首先轉(zhuǎn)移到該硬盤驅(qū)動器的該“永久”部分)。同時,在步驟2422中,所有被捕獲的數(shù)據(jù)場被記錄在該硬盤驅(qū)動器的一個環(huán)形緩沖器區(qū)域中,來提供一個與捕獲速率相等的記錄速率,即這個示例中是每秒3場。
步驟2522以后是步驟2524,在步驟2524中,判斷是否已經(jīng)檢測到一個告警條件。如果是,下面就是步驟25266,在步驟2526中,定義該環(huán)形緩沖器區(qū)域的一個指針被移動來對該每秒3場的數(shù)據(jù)進行永久保存(替代地,該每秒3場的數(shù)據(jù)可以被從該環(huán)形緩沖器區(qū)域拷貝到步驟2526中用于永久保存的該主要區(qū)域中。)在步驟2528中,在檢測到該告警條件以后的一個預定時間期間以內(nèi)繼續(xù)使用滿場速率來進行記錄(假定是每秒3場)。
應該理解,圖126的上述討論所給定的場速率僅是示例性的,并且會發(fā)生變化,其主要點在于在步驟2522和步驟2528中被提供的時間分辨率(場速率)比在步驟2520中所提供的時間分辨率大。
圖127表示這里前面所描述的該回放圖象分析示例的一個一般化示例。在圖127的一第一步驟中,即步驟2530中,視頻數(shù)據(jù)和/或者相應的所有數(shù)據(jù)從例如一個硬盤的一個記錄媒質(zhì)中被檢索出來。然后,在步驟2532中,VR/PC單元分析被檢索的數(shù)據(jù)。例如,可以使用前面或者以后描述的一個或者多個圖象分析算法。替代的,可以使用其他的圖象分析算法,包括涉及在圖象流中被表示的目標的運動或者加速度的其他算法。但是在步驟2532中,被使用的機器分析不限于檢測圖象特征。例如,該索引數(shù)據(jù)可被調(diào)查以判斷在過去的某一給定時刻是哪一攝像機流被記錄了。
在步驟2534中,被保存在該硬盤或者其他記錄媒質(zhì)上的頭數(shù)據(jù),索引數(shù)據(jù)或者類似的數(shù)據(jù)被改變或者加入,來表示在步驟2532中被執(zhí)行的機器分析的結(jié)果。
應該認識到,圖127中被提供的處理一般考慮了將應該機器分析應用到被保存在應該記錄媒質(zhì)上的應該視頻數(shù)據(jù)庫,然后更新索引數(shù)據(jù)或者頭數(shù)據(jù)來表示該機器分析的結(jié)果?,F(xiàn)在參考圖128(a)和圖128(b)來討論前面已經(jīng)被提到的圖象處理設施的一個示例。特別的,這些圖涉及允許該用戶改善在圖象平面中一個被選擇的部分中的圖象對比度的一個特征。
圖128(a)顯示了可以被提供在圖113的前端模擬板電子裝置中、來替代被顯示在圖13中的每一個放大器808的一個增益可變的放大器808’。
如圖128(a)的2536所示,該放大器808’的增益可以被來自該前端控制器DSP1050的一個控制信號控制。
圖128(b)說明了實現(xiàn)選擇性的對比度改善特征的處理。在步驟2538中,選擇圖象平面的一部分來進行對比度改善。然后在步驟2540中,一個合適的消息被發(fā)送到該前端電子裝置,來促使每一個增益可變的放大器808’進行工作,以增加該圖象平面中被選擇部分的圖象對比度(動態(tài)范圍)。
圖161是被提供給該用戶的、來允許選擇圖象平面中一部分進行對比度改善的一個顯示屏幕的一個示例。2542中所表示的矩形繪圖元素是圖象平面中被選擇來進行圖象改善的區(qū)域。
用戶接口屏幕的示例圖11是被提供在IVIM系統(tǒng)中來顯示由連接到VR/PC單元的攝像機中的一個目前所產(chǎn)生的一個現(xiàn)場視頻信號的一個屏幕顯示格式的一個示例。圖11的該屏幕顯示格式包括屏幕的上部2546和屏幕的下部2548。上部2546包括一個視頻圖象流顯示窗口2550。在該現(xiàn)場視頻顯示窗口2550的下面提供了排成一個水平陣列的六個可以用鼠標激發(fā)的開關區(qū)域2552。從圖11中可以看出,可以用鼠標激發(fā)的開關區(qū)域2552的上面分別有符號說明“全屏”(全屏幕),“規(guī)劃開”(打開預規(guī)劃操作模式),“設施”,“存檔”,“建立”和“幫助”。激發(fā)該“全屏”開關區(qū)域?qū)⒋偈乖趫D11中被顯示的兩個部分顯示的顯示格式被用整個屏幕區(qū)域用作現(xiàn)場圖象顯示窗口的一個顯示格式所替代?!耙?guī)劃開”開關允許該用戶促使該VR/PC單元進入預規(guī)劃操作模式?!霸O施”開關區(qū)域允許該用戶訪問特定的系統(tǒng)特征,例如向其他裝置發(fā)送數(shù)據(jù),或者產(chǎn)生系統(tǒng)活動的報告。“存檔”開關區(qū)域允許該用戶訪問涉及被該VR/PC單元所執(zhí)行的存檔功能的特征。“建立”開關區(qū)域允許該用戶進入對該VR/PC單元進行配置的一個模式?!皫椭遍_關區(qū)域允許用戶訪問上下文敏感的解釋性文本顯示。
在上部區(qū)域2546的右下位置提供了一個模擬的LED顯示區(qū)域2554。一個符號說明“記錄”靠近該模擬LED 2554。該模擬LED2554與被提供在物理前面板(圖6)上的LED654相應。優(yōu)選的,當該VR/PC單元正在記錄現(xiàn)場視頻信號時,該模擬的LED2554被顯示為第一狀態(tài)(例如,紅色),當沒有進行記錄時,它被顯示為一不同的狀態(tài)(例如,黑色或者深灰色)。
如果將圖11的屏幕顯示的下部區(qū)域2548與圖6所顯示的前面板布局相比,可以觀察到該下部區(qū)域2548的有一個與該前面板的布局相應的布局。特別的,用鼠標可以激發(fā)的開關區(qū)域被提供在區(qū)域2548中與前面板(圖6)的開關638,640,642,644,646,648,650,658和660的相應位置相應的位置。該區(qū)域2548的攝像機選擇開關區(qū)域上分別有符號說明“1”到“16”,并且與物理前面板上的數(shù)目一致的攝像機選擇開關650相應。另外,圖11的2556所表示的一個“告警”開關區(qū)域與該前面板上的標有“告警”的開關658相應。
下部區(qū)域2548的右邊有被排列成一個橫向為2縱向為3的陣列、并且在位置和功能上與前面板的開關638,640,642,644,646和648相應的六個開關區(qū)域。與該前面板開關638相應的開關區(qū)域被用由2558所表示的一單個矩形所覆蓋,該單個矩形表示通過激發(fā)開關638或者上面有該單個矩形的開關區(qū)域來建立的一單個窗口顯示格式。類似的,表示一個2×2窗口格式的一個覆蓋被提供在與開關640相應的開關區(qū)域,表示一個3×3窗口格式的一個覆蓋被提供在與前面板的開關642相應的開關區(qū)域,表示一個4×4窗口格式的一個覆蓋被提供在與前面板的開關644相應的開關區(qū)域。圖11的下部區(qū)域2548中所有上述開關區(qū)域均可以通過操作鼠標來被激發(fā),并且其效果與物理上按該前面板上的相應開關按鈕的效果相同。還被包括在該區(qū)域2548中的是上面有符號說明“播放”的一個基本上圓的、可以用鼠標激發(fā)的開關區(qū)域2560。該圓開關區(qū)域2560在位置和功能上與該前面板的慢推進往返開關660相應。與該慢推進往返開關相似,開關區(qū)域2560有箭頭的符號說明。在開關區(qū)域2560的箭頭在的區(qū)域被用鼠標來操作,以使該開關區(qū)域2560發(fā)生順時針旋轉(zhuǎn)或者逆時針旋轉(zhuǎn)。開關區(qū)域2560的可以用鼠標激發(fā)的旋轉(zhuǎn)的效果模擬了手工旋轉(zhuǎn)該前面板的慢推進往返開關660的效果。圖11的屏幕顯示的下部區(qū)域2548上還包括了在位置和功能上模擬前面參考該前面板(圖6)所討論的LED652和656的模擬LED顯示區(qū)域。
圖11的屏幕顯示格式的另一顯著特征是被提供在圖象顯示窗口2550中的字母數(shù)字字符的覆蓋(overlay)。圖11中所顯示的該覆蓋包括日期和時間信息,和一個符號說明“現(xiàn)場”,該符號說明“現(xiàn)場”明確的向讀者表示被提供在窗口2550中的是一個現(xiàn)場視頻信號。一個攝像機標識覆蓋也被提供在窗口2550的左下角。
圖12說明了當VR/PC單元使用一個回放模式進行工作時所使用的一個顯示格式。可以通過激發(fā)該前面板的慢推進往返開關660上的播放/暫停區(qū)域,或者通過用鼠標點擊在圖11中所顯示的圓開關區(qū)域2560的中心的符號說明“播放”來進入該回放模式。圖12的屏幕顯示格式基本上與圖11的屏幕顯示格式相同,并且僅討論這兩個格式之間的差異。首先應該理解,在圖12的顯示窗口2479中被顯示的視頻圖象流表示一前面被記錄的和目前被再生的圖象流,而不是一個現(xiàn)場的、目前被產(chǎn)生的圖象流。
圖12中的開關區(qū)域特征和模擬LED區(qū)域與圖11中的相同,除了圖11的開關區(qū)域“規(guī)劃開”,“設施”,“存檔”和“建立”被圖12的顯示格式中的標志為“退出”,“搜尋”和“工具”的開關區(qū)域替代。圖12中的“退出”開關區(qū)域的激發(fā)將該系統(tǒng)返回到具有圖11的格式的一個現(xiàn)場顯示模式。圖12中的“搜尋”開關區(qū)域的激發(fā)將產(chǎn)生允許該用戶來在視頻數(shù)據(jù)庫搜尋功能中進行選擇的一個菜單屏幕顯示。該“工具”開關區(qū)域允許該用戶訪問圖象處理設施。
圖129表示可以通過激發(fā)在圖12的屏幕顯示上的“搜尋”開關區(qū)域來被該用戶來調(diào)用的一個搜尋對話框屏幕顯示。圖129的搜尋對話框顯示的一個主要特征是選擇分別有符號說明“日期/時間”,“攝像機”,“告警”和“工具”的標記對話框。在圖129中所顯示的特定顯示格式示例中,“日期/時間”對話框在最上端。通過點擊相應的標記可以激發(fā)其他標記對話框。
該日期/時間對話框有三個可以用鼠標激發(fā)的模式選擇設置,分別被表示為“所有被記錄的圖象”,“在…之間的圖象”,和“其中的圖象”。第一選擇實現(xiàn)沒有任何時間限制的一個視頻數(shù)據(jù)庫搜尋。第二選擇提供限制該搜尋時期的開始和停止限制。第三選擇將該搜尋限制到在當前時間以前的一給定延遲和直到該當前時間的期間。
在該對話框區(qū)域的下面是被用于顯示標識發(fā)現(xiàn)與搜尋準則匹配的圖象的信息的一個“結(jié)果場”。在該對話框區(qū)域的右邊是被排列成一個垂直列的五個開關區(qū)域,分別有符號說明“發(fā)現(xiàn)”,“停止”,“播放”,“關閉”和“幫助”。緊接在這些開關區(qū)域的下面是其中顯示了一個“探照燈”圖標的一個圖標區(qū)域。當執(zhí)行一個搜尋時,使用一個振蕩掃描的方式來移動該探照燈圖標2562,來向用戶表示一個搜尋正在進行。
激發(fā)“發(fā)現(xiàn)”搜尋按鈕促使執(zhí)行被選擇的搜尋。激發(fā)“停止”按鈕促使停止一個正在執(zhí)行的搜尋。激發(fā)“播放”開關區(qū)域促使VR/PC單元回放與在所產(chǎn)生的場中一個被選擇項相應的一個視頻流。激發(fā)“關閉”開關區(qū)域?qū)⒃撚脩舴祷氐綀D12的回放屏幕顯示。在圖129中可以觀察到選擇了“所有被記錄的圖象”。
圖130是與圖129的顯示屏幕類似的一個顯示屏幕,但是表示選擇“在…之間的圖象”選項而不是“所有被記錄的圖象”選項。圖130中還顯示允許用戶設置限制該搜尋時期的一個日期的一個彈出式日期框。在該彈出式日期框的左邊是用戶可以調(diào)節(jié)的一天中的時間的設置。
圖131說明了當選擇“告警”對話框時被提供的搜尋對話框顯示。在該告警對話框的左邊,該用戶可以選擇涉及被外部告警傳感器裝置所檢測的告警事件的搜尋準則。在該告警對話框的右邊該用戶可以根據(jù)在產(chǎn)生該視頻數(shù)據(jù)的時候進行工作的圖象分析算法是否已經(jīng)檢測到該圖象分析算法將要檢測的預定特征,來選擇搜尋準則。
圖132說明了當選擇攝像機對話框時被提供的搜尋對話框顯示屏幕。在圖132所顯示的示例中,激發(fā)一個下拉的攝像機列表來允許該用戶規(guī)定將要被搜尋的攝像機流。
應該注意到,在圖132中所產(chǎn)生的場包括在一個前面的搜尋中被發(fā)現(xiàn)的四個映射數(shù)據(jù)部分的一個列表。在132的顯示的右邊的“播放”開關區(qū)域被亮顯(與圖129到131進行對比),來允許該用戶回放列表在所產(chǎn)生的場中的視頻數(shù)據(jù)部分。
在圖133中,再一次選擇日期/時間對話框。另外,被列在所產(chǎn)生的場中的第一視頻數(shù)據(jù)部分被選擇,并且如果該用戶激發(fā)了“播放”開關區(qū)域就回放該第一視頻數(shù)據(jù)部分。
圖134是對用戶激發(fā)圖11中的“建立”開關區(qū)域作出響應,被產(chǎn)生的建立選項顯示屏幕。該建立選項顯示屏幕向該用戶提供四個建立選項,每一個建立選項可以通過一個相應的開關區(qū)域被訪問。這些選項是“命名”(將名字應用到攝像機和告警輸入和輸出),“記錄”(允許該用戶選擇記錄選項),“安全”(如果被授權(quán),允許該用戶對該VR/PC單元進行安全結(jié)構(gòu)的配置),和“登錄”(如果被授權(quán),允許該用戶增加或者刪除被允許登錄到該VR/PC單元的用戶)。被提供的還有促使該屏幕顯示返回到圖11的顯示格式的一個“關閉”開關區(qū)域,和客戶定制的“幫助”開關區(qū)域。
圖135是對激發(fā)圖134中的“記錄”開關區(qū)域作出響應被顯示的記錄選項對話框的一個示例。在圖135中被顯示的該對話框允許該用戶選項3類選項記錄模式,記錄質(zhì)量,和記錄速率。兩個可能的記錄模式是“線性”和“圓形”。在線性模式中,當硬盤驅(qū)動器的保存容量被用完時,就停止在該硬盤驅(qū)動器上的記錄。在圓形記錄模式中,當達到該硬盤保存區(qū)域的末尾時,下一個輸入視頻數(shù)據(jù)被寫到該硬盤保存區(qū)域的開始。
記錄質(zhì)量選項是“正?!?,“高保真度”,和“擴展的”。這三個質(zhì)量選項中的每一個與由JPEG芯片848(圖14)執(zhí)行的不同量化比特速率相應。繼續(xù)參考圖135,“高保真度”設置平均所使用的表示每一個視頻數(shù)據(jù)場的數(shù)據(jù)字節(jié)比“正?!痹O置所使用的多,以提供被改善的圖象質(zhì)量。“擴展的”設置平均所使用的表示每一個視頻數(shù)據(jù)場的數(shù)據(jù)字節(jié)比“正?!痹O置所使用的少,以更有效的利用硬盤保存容量,但圖象質(zhì)量僅降低一點。
如圖136所示,通過一個下拉列表來實現(xiàn)記錄速率選項。該速率選項與不同的場捕獲速率相應,并且表示在相應的速率選項由硬盤保存容量所提供的有效記錄延遲(2,6,12或者24小時)。盡管圖135和136中的選項沒有被表示,也可以一個攝像機流接一個攝像機流的來設置速率和質(zhì)量選項。另外,質(zhì)量設置可以被用于調(diào)節(jié)壓縮前端“塊相似性”閾值和/或者參考圖象速率,而不是調(diào)節(jié)由質(zhì)量設置選項目前驅(qū)動的JPEG量化設置,或者可以同時用來進行上述調(diào)節(jié)。還可以設計對每一個質(zhì)量和速率選項,顯示采樣視頻圖象序列來向該用戶表示從每一個質(zhì)量和速率設置中可以獲得的圖象質(zhì)量。
圖137是對激發(fā)圖134中的“登錄”開關區(qū)域作出響應被提供的登錄對話框。圖137的登錄對話框要求該用戶使用在對話框的右邊的虛擬數(shù)字鍵盤來輸入一個個人標識號碼(PIN)。還提供了一個退格開關區(qū)域2564。當激發(fā)了在該虛擬鍵盤中的一個數(shù)字時,一個與每一個數(shù)字相應的星號被顯示在在符號說明“輸入PIN號碼”下面的區(qū)域中?!癘K”開關區(qū)域?qū)崿F(xiàn)一個輸入功能,在這個時刻讀取被輸入的數(shù)字來判斷是否是一個被授權(quán)的用戶來試圖登錄。
如果當前登錄進入的用戶被授權(quán)重新設置該單元的安全特征,然后激發(fā)在圖134中的“安全”開關區(qū)域?qū)⒋偈乖趫D144中被顯示的屏幕顯示被顯示。圖144的顯示中所顯示的主要選項是增加一個新用戶(“增加”開關區(qū)域),改變一個已經(jīng)存在的用戶的訪問特征(“編輯”開關區(qū)域),和刪除一個已經(jīng)存在的用戶(“刪除”)。在圖144的顯示的左邊的區(qū)域中,有一個已經(jīng)存在的、被授權(quán)的用戶的列表。
激發(fā)圖144中的“編輯”開關區(qū)域允許訪問其一第一示例被顯示在圖138中的訪問優(yōu)先級顯示。在圖138的右下部分的一個垂直方向的滾動條允許該用戶通過滾動來看到各種特征訪問優(yōu)先級設置。圖138所顯示的設置選項包括覆蓋預規(guī)劃操作模式的能力(在“規(guī)劃”下面的“使能”)和對預規(guī)劃操作模式進行配置(在“規(guī)劃”下面的“配置”)。
圖139顯示了包括涉及系統(tǒng)建立優(yōu)先級的選項的特征訪問優(yōu)先級設置選項的另一視圖。圖139中所顯示的建立優(yōu)先級與用于選擇將要被應用到輸入視頻流的分析算法的涉及攝像機的建立選項,現(xiàn)場視頻顯示格式選項和系統(tǒng)安全特征相應。
圖140是與圖139的顯示相同的顯示,但是表示安全特征訪問特權(quán)已經(jīng)被給予一個特定用戶。另外,“攝像機”左邊的被亮顯的區(qū)域和“分析工具”特征特權(quán)表示這些特權(quán)在前面已經(jīng)被給予該相同的用戶。
圖141表示在相對于該特征訪問特權(quán)的另一滾動位置的相同的顯示。圖141中所顯示的特權(quán)涉及選擇記錄模式選項(“記錄”下面的“配置”),訪問操作系統(tǒng)軟件文件(“記錄”下面的“維護”),訪問被保存在該硬盤上的視頻數(shù)據(jù)(“回放”下面的“使能”)和訪問被保存在沒有被顯示的、一個傳統(tǒng)的外部連接的視頻磁帶記錄器上的視頻信號(“回放”下面的“VCR轉(zhuǎn)錄”)。
圖142中顯示了進一步的特征訪問特權(quán),即對事件處理模式進行配置的能力(“事件”下面的“配置”),和訪問關于被檢測的事件的報告的能力(“事件”下面的“報告”)。
圖143進一步顯示了特征訪問特權(quán)。這些特征涉及檢索被保存在一個存檔記錄媒質(zhì)上的數(shù)據(jù)(“存檔”下面的“使能”)和被保存在一個硬盤上的、對存檔記錄媒質(zhì)的內(nèi)容進行索引的數(shù)據(jù)的保存和檢索(“恢復”和“庫”)。
圖145表示對激發(fā)圖134中的“命名”開關區(qū)域作出響應,被顯示的屏幕顯示。在圖145的該顯示屏幕中,可以訪問三個對話框即“攝像機”,“告警輸入”,和“告警輸出”。在圖145顯示的特定顯示中,已經(jīng)選擇了該“攝像機”對話框。該攝像機對話框為16個攝像機中的每一個提供命名區(qū)域??梢允褂眠B接到該VR/PC單元的一個鍵盤(沒有被顯示),或者被顯示在該顯示監(jiān)視器并且可以被該鼠標激發(fā)的一個“虛擬鍵盤”(沒有被顯示)來輸入字母數(shù)字的名字。
圖146提供了在圖145中可以被訪問的“告警輸出”對話框。該告警輸出對話框允許對16個告警輸出信號的字母數(shù)字指定。
圖147提供了在圖145(或者圖146)中也可以被訪問的“告警輸入”對話框。在圖147中,名字可以被輸入來標識產(chǎn)生16個輸入告警檢測信號的相應外部告警傳感器裝置。
圖148是對激發(fā)圖1的“設施”開關區(qū)域作出響應被顯示的一個屏幕顯示。在圖148中的顯示中被提供給該用戶的選項是向一個外部裝置,例如一個本地或者主節(jié)點發(fā)送數(shù)據(jù)(包括視頻數(shù)據(jù)),產(chǎn)生將要被一個打印機(沒有顯示)打印的、涉及該VR/PC單元的操作的報告,和產(chǎn)生信號來控制連接到該VR/PC單元的、可以移動的攝像機。
圖149是對激發(fā)圖11的和圖12的“狀態(tài)”開關區(qū)域作出響應被顯示的一個顯示屏幕。圖149中被顯示的狀態(tài)數(shù)據(jù)通過上面聯(lián)系圖121所討論的處理被產(chǎn)生。圖149顯示數(shù)據(jù),該數(shù)據(jù)表示在該硬盤或者多個硬盤上可用的余下保存容量,一個可拆卸存檔記錄媒質(zhì)上可用的余下保存容量,已經(jīng)被檢測到的并且沒有被該用戶瀏覽的告警事件的數(shù)目,已經(jīng)被瀏覽的但是沒有被從該告警事件文件中刪除的告警事件的數(shù)目,連接到該VR/PC單元的視頻攝像機的數(shù)目和從其中來的視頻流正在被記錄的攝像機的數(shù)目。
圖150是被提供來用于定義一個預規(guī)劃現(xiàn)場視頻顯示格式的一個顯示屏幕。在圖150的顯示屏幕中、可以被該用戶訪問的對話框分別是2×2,3×3,4×4和“客戶定制的”視頻顯示窗口格式。圖150中該2×2對話框被顯示為是激活的。在被選擇的對話框的頂部的右邊文字“周末”表示該用戶正在定義在定義為周末的白天時間的期間以內(nèi)將要被自動執(zhí)行的預規(guī)劃操作模式。該對話框的左邊是一些圖標,每一個圖標與連接到該VR/PC單元的一個相應攝像機相應。在該被選擇的對話框的右邊是表示正在被建立的顯示格式中的四個視頻顯示窗口的一個2×2空框陣列。如圖151所示,可用使用一個光標2566來拖拉一個攝像機圖標,以使該圖標被放置在一個框中。將該攝像機放置在該框中表示將該相應的攝像機視頻流分配在相應的顯示窗口中來進行顯示。在圖151的特殊示例中,“停止標簽”攝像機流已經(jīng)被指定顯示在該2×2顯示格式的左上端。
圖152是在規(guī)劃建立操作期間被提供的一個顯示屏幕,以定義哪一個日歷天將要被當作假期。在圖152的顯示的左邊,提供了一個日歷顯示來允許該用戶來選擇一個特定年的一個特定的月的一個特定的天。在圖152的顯示的右邊,提供了已經(jīng)被指定為假期的日期的一個列表。激發(fā)圖152中的“增加”開關區(qū)域促使在該日期顯示中被選擇的一個日期將要被增加到該假期列表中。
圖象分析工具建立屏幕圖153表示被提供該用戶、來允許該用戶設置被指定為“光工具”的一個圖象分析算法的參數(shù)。這個算法被設計成來檢測所感興趣的屏幕中的被選擇的亮度變化。圖153中的屏幕顯示包括其中顯示了一個靜態(tài)視頻圖象的一個圖象顯示窗口2568。該靜態(tài)視頻圖象被用于定義該光工具的參數(shù)。在該圖象中被顯示的是一個顯示元素框2570,該顯示元素框2570顯示了該算法將要對其進行操作的該圖象平面中的區(qū)域。通過使用在一個傳統(tǒng)的計算機畫圖軟件包中操縱類似的圖形元素的方式來使用鼠標操作,該框2570可以被從一個位置拖拉到該圖象平面中的另一位置,并且其尺寸可以被減少或者被增加并且形狀可以被改變。使用一個比該圖形的余下部分更亮的方式來顯示在該框2570中的圖象部分,以對該框2570中的區(qū)域進行高亮顯示。該框2570中有一個圓形點2572。如果激發(fā)了該分析算法的一個點亮度檢測特征,該點2572的尺寸表示將要被檢測的一個亮度點的尺寸。優(yōu)選地,該點被顯示為一個實心顏色,例如紅色。
所以用于選擇該算法的特征和設置參數(shù)的虛擬按鈕和開關被提供在圖153的顯示的右邊。在2574中,該用戶被允許固定位置(“標志”)或者刪除(“擦除”)被該框2570所定義的激活區(qū)域。在2576中,該用戶被允許來在該算法的三個操作模式中進行選擇檢測亮度(“暗到亮”)的一個大的增加,檢測亮度(“亮到暗”)的一個大的減少或者檢測在該激活區(qū)域中的亮的一個光點(“點光(spot light)”)。第一選項使該VR/PC單元來檢測何時打開光,第二選項使該VR/PC單元來檢測何時關閉光,第三選項被用于使該VR/PC單元來檢測一個黑暗區(qū)域中一個閃光的出現(xiàn)。
在2578中的滑動條控制用于該點光操作模式的一個參數(shù)設置的點2572的尺寸。當該滑動條被操作來到左邊時,就減少點2572的尺寸。當該滑動條被操作來到右邊時,就促使該點尺寸被增加。
2580提供了該光工具的靈敏度設置選項。該光工具的靈敏度參數(shù)構(gòu)成用于判斷是否已經(jīng)發(fā)生了從黑暗到亮或者從亮到黑暗的改變的閾值,或者判斷在該點光模式中將要被檢測的該發(fā)光區(qū)域是否是足夠地亮來構(gòu)成將要被檢測的一個事件。如果該用戶激發(fā)了“缺省”開關區(qū)域,然后應用被該VR/PC單元的指定者考慮為最優(yōu)的閾值設置。該用戶還可以調(diào)節(jié)該靈敏度程度來操作2580中的滑動條。將該滑動條移動到左邊就減少靈敏度,這減少了錯誤告警的危險,但是增加了沒有注意到重要的事件的危險。將該滑動條滑動到右邊增加了靈敏度,由此減少了沒有注意重要事件的危險,但是增加了錯誤告警的危險。該“ADV”開關區(qū)域允許該用戶訪問一個對話框,在該對話框中各種靈敏度參數(shù)沒有被捆綁并且可以被分別設置。
在圖象顯示窗口2568中,有一個符號說明標識正在被建立的分析算法的類型以及將要被應用該算法的該攝像機的類型。在該窗口2568的下面是激發(fā)將該算法應用到被選擇的視頻圖象流的開關區(qū)域,或者取消選擇該分析算法的開關區(qū)域。
圖154提供了允許該用戶設置關于一個運動檢測分析算法的參數(shù)的一個屏幕顯示。與被顯示在圖153中的光工具建立屏幕類似,圖154的該運動檢測建立屏幕包括一個圖象顯示窗口2568和一個圖形元素框2570,該圖形元素框2570定義了其中將要被應用該運動檢測算法的圖象平面的一個區(qū)域。圖154中的顯示的右上部分,由標號2582所表示,提供了可以使用光標激發(fā)的特征來允許該用戶激發(fā),或者去激發(fā)或者移去一個或者多個與一個或者多個圖形圖象元素框2570相應的激活區(qū)域。圖154中的顯示也包括與圖153的靈敏度控制區(qū)域相應的一個靈敏度控制區(qū)域2580。至于運動檢測工具,該靈敏度控制提供了在該激活區(qū)域和/或者亮度電平中被檢測的運動的數(shù)量的因子的閾值。
圖155提供了建立屏幕顯示,以用于上述邊界侵入檢測分析算法。與剛才所討論的其他工具建立屏幕顯示,圖155的顯示包括一個圖象顯示窗口2568。前面已經(jīng)聯(lián)系圖90A-90C中顯示的處理算法來提到了圖155中顯示的其他特征,包括表示邊界的圖形元素框1966,穿越方向箭頭1976和對象尺寸框1986。在2584中被提供的控制允許該用戶來標記或者擦除與該框1966相應的標記。在2586中的該控制選擇該方向箭頭1976相對于該邊界是否指向內(nèi),指向外或者兩個方向。2588的滑動條控制該對象框1986的尺寸。將該滑動條2588移動到左邊就減少該對象框的尺寸,向相反的方向操作該滑動條就增加該對象框的尺寸。應該理解,作為一個替代的方式,可以通過直接操作鼠標來減少或者增加該對象框的尺寸,如在傳統(tǒng)的計算機畫圖軟件包中對畫圖元素所操作的一樣。
前面已經(jīng)聯(lián)系圖90D提到了靈敏度控制2006。在2006的可以控制的靈敏度因子可能包括對比度比例和就一個或者多個運動的出現(xiàn),運動對象的位置,和運動對象的尺寸的置信程度。
盡管沒有被顯示在圖155中,還可以設計成允許該用戶將一個對象穿越該邊界的速度設置成一個參數(shù)。還可以提供以被用戶輸入所設置的一個速度進行振蕩的一個圖形元素。例如,這種圖形元素的表現(xiàn)形式可以類似于一個音樂節(jié)拍器的指揮棒??梢詫⒃揤R/PC單元編程為檢測圖象邊緣,來檢測表示圖象場景的深度的遠景,并且來調(diào)節(jié)速度的數(shù)據(jù)瓦片空間測量以當估計一個對象的速度時考慮深度。用于設置該速度參數(shù)的一個滑動條控制可以與該“節(jié)拍”元素一起提供,或者替代該“節(jié)拍”。
圖156是稱作“博物館工具”的分析算法的建立屏幕。該博物館工具算法的目的是允許自動檢測一個對象的移去,例如一幅畫,一個珠寶或者類似的。如在其他工具建立屏幕中一樣,圖156顯示的該屏幕包括一個圖象顯示窗口2568。一個圖形圖象元素框2590定義了將要被該分析算法監(jiān)測的一個區(qū)域。該框2590的寬度和高度或者兩者可以被改變,以改變被監(jiān)測的區(qū)域。除非該被監(jiān)測的區(qū)域是很小,否則該博物館工具算法的一個優(yōu)選實施方式需要定義一些被彩色矩形2592所表示的“熱點”。當提供了熱點2592時,實際上僅需要監(jiān)測與該熱點相應的圖象平面的部分。所提供的熱點的數(shù)目與該圖象平面中有多大的區(qū)域被由該框2590所定義的被監(jiān)測的區(qū)域所占據(jù)有關。在一個優(yōu)選實施方式中,該用戶可以減少熱點的數(shù)目,但是不能夠增加其數(shù)目。僅監(jiān)測熱點而不監(jiān)測整個被監(jiān)測的區(qū)域的目的是節(jié)省存儲器。在該博物館工具的一個優(yōu)選實施方式中,通過注意在位于該熱點上的數(shù)據(jù)瓦片的內(nèi)容與一個參考圖象中的相應數(shù)據(jù)瓦片的內(nèi)容之間的差異來監(jiān)測對象的移去。
2594中的控制允許該用戶來標記或者擦去與該框2590相應的被監(jiān)測的區(qū)域。在2594中的控制允許該用戶來標記或者擦去熱點。該用戶被允許通過使用一個光標來拖拉熱點,來重新設置熱點在被監(jiān)測的區(qū)域中的位置。
在2598中的控制允許該用戶定義在認為已經(jīng)發(fā)生了一個事件以前多長時間該被監(jiān)測的區(qū)域必須被錯過或者被封閉。
在2602中,提供了靈敏度控制來設置例如色度的變化,被封閉的熱點的數(shù)目或者類似的因子。
圖157是使用一個格式的、替代圖152中用于產(chǎn)生一個假期列表的顯示的一個屏幕顯示。在圖157中所示的格式中,使用一個下拉式元素來實現(xiàn)該日期選擇框,并且該“設置假期”對話框是包括“一般”,“工作日”,“周末”和“假期”的一些對話框中的一個。
圖158提供了在圖157中可以被訪問的“工作日”對話框。圖158對連接到該VR/PC單元的16個攝像機的記錄狀態(tài)進行規(guī)劃。一般,圖158中顯示的格式是一個條形圖,其水平條用于16個攝像機中的每一個的顯示。不同顏色的條表示該攝像機的、被選擇用于24小時周期的相應部分的不同操作模式??梢允褂霉鈽藖聿僮髟摋l,以拉伸或者壓縮該條,其效果是增加或者減少相應操作模式的被規(guī)劃時期。對每一個攝像機可用的操作模式選項是“激活”(正在記錄),“告警”(在事件中僅記錄被檢測到的一個條件)和“禁止”(不記錄攝像機流)。在2604中的一個彈出式元素使用數(shù)字的形式來描述由被選擇的條元素所表示的時間。圖158中所示的彈出式元素2604與攝像機7的條相應,如選擇表示器2606所示?!爸苣焙汀凹倨凇睂υ捒虻母袷脚c圖158的類似。
圖159顯示了與在圖157和158中可以看見的“一般”對話框相應的對話框。圖159中的2608的控制允許該用戶在固定規(guī)劃選項和客戶定制的規(guī)劃選項之間進行選擇。在2610中,該用戶被允許來對工作日定義何時發(fā)生“白天時間”和“夜晚時間”。2610的控制是對圖81中被提供的顯示的一個替代。
繼續(xù)參考圖159,在2612被提供的控制允許該用戶定義周末的開始時間和結(jié)束時間,在2614的控制允許該用戶定義假期的開始時間和結(jié)束時間。
圖160是圖159的顯示屏幕的一個變化。從圖160的控制2608中可以看出,“周末”和“假期”沒有被選擇用于客戶定制的規(guī)劃。結(jié)果,顯示在圖159中的該周末和假期對話框在圖160中沒有被作為選項提供。
圖161提供一個屏幕顯示,來允許該用戶選擇和設置一個圖象處理設施的一個參數(shù)。圖161的該顯示屏幕包括用于顯示將要被處理的一個圖象的一個圖象顯示窗口2616。上面已經(jīng)被提到的一個框2542在該窗口2616的一部分被覆蓋,并且定義了其中將要被應用一個被選擇的處理設施的圖象平面的該部分??s放控制2618被提供在該顯示屏幕的一個右上部分。該縮放控制允許一個用戶對由該框2542所定義的該圖象的部分進行縮小和放大,和/或者移動將要被縮放的該區(qū)域。標志為“1∶1”的開關區(qū)域?qū)⒃搱D象恢復為一個沒有被縮放的狀態(tài)。標志為“改善”的開關區(qū)域?qū)⒁唤M圖象改善處理應用到該被縮放的區(qū)域,該組圖象改善處理包括突出高頻分量,增加對比度,歸一化顏色和強度分布,點的非線性內(nèi)插,而不是線性內(nèi)插。在控制2618的下面是允許一個用戶從除縮放功能以外的其他圖象處理設施中進行選擇的設施選擇控制2620。例如,可以被使用控制2620來選擇的一個設施是前面參考圖128(a)和圖128(b)描述的選擇性對比度改善設施。其他可以被提供給該用戶的圖象處理設施選項包括調(diào)節(jié)亮度,“尖銳度”(即突出圖象數(shù)據(jù)的高頻分量的程度),和顏色和/或者強度分布。在該顯示屏幕的底部提供了一個水平陣列的開關區(qū)域。標志為“滿屏幕”的一個開關區(qū)域?qū)D161的屏幕格式切換到一個滿屏幕格式。標志為“載入”的開關區(qū)域促使從被插入到該VR/PC單元的一個軟盤中檢索一個圖象,以使被檢索的該圖象能夠被顯示在該窗口2616中。標志為“保存”的開關區(qū)域促使被顯示在該窗口2616中的該圖象,包括被處理設施所施加的任何改變,被寫入到該軟盤中。
“打印”開關區(qū)域促使被顯示在該窗口2616中的圖象作為一個硬拷貝經(jīng)過一個打印機被輸出,或者作為一個傳真被發(fā)送。標志為“恢復”的開關區(qū)域移去任何被該處理設施所施加的改變。
圖162是允許一個用戶實現(xiàn)丟棄與該圖象平面的特定部分相應的視頻數(shù)據(jù)的一個處理的一個屏幕顯示。圖162的屏幕顯示包括用于顯示一個視頻圖象的一個圖象顯示窗口2622。該用戶可以形成例如2624和2626所表示的多邊形繪圖元素來定義該圖象平面中、其視頻數(shù)據(jù)不需要被保存的區(qū)域。2628提供了涉及被選擇的區(qū)域的控制。對該用戶指定被多邊形圖2624和2626所表示的區(qū)域作出響應,該主板CPU命令該前端電子裝置,被該被選擇的攝像機所產(chǎn)生的視頻信號中一個圖象平面的相應部分不被發(fā)送來進行保存,由此更有效地利用了該硬盤的保存容量。圖162中所說明的特征允許該用戶選擇對于一個特定的攝像機圖象流,圖象平面中被判斷為不感興趣的區(qū)域。該不感興趣的區(qū)域可以是類似于圖162中所表示的區(qū)域,它們本質(zhì)上是交替的,或者可能包括有頻繁運動(例如,背景中的一個高速公路,或者一個風吹的樹)的區(qū)域,盡管該頻繁的運動如果不被丟棄的話,看起來會產(chǎn)生大量的差異視頻數(shù)據(jù)場的數(shù)據(jù)數(shù)量,但是它們不可能提供重要的信息。
圖163說明了類似于圖11的現(xiàn)場視頻顯示格式的一個現(xiàn)場視頻顯示格式,除了該現(xiàn)場視頻顯示格式窗口2550已經(jīng)被分成4個2×2結(jié)構(gòu)的子窗口以外。在圖163所顯示的該2×2結(jié)構(gòu)的特殊示例中,兩個不同的現(xiàn)場輸入信號中的每一個被顯示在4個窗口中的兩個。但是,可以設計成在圖163的格式中,同時顯示四個不同的現(xiàn)場視頻流。另外,如2630所示,在每一個窗口的左上部分提供一個亮顏色框(例如使用紅色)來表示正在記錄所考慮的該圖象流。應該理解,如果被顯示在一個子窗口中的一個圖象流沒有正在被記錄,然后不出現(xiàn)該表示器2630。還可以設計其他形式的記錄選擇表示器2630,包括例如位于該顯示窗口的下邊界的一個圓形表示器。
圖164是對激發(fā)圖11(或者圖163)的顯示中的“存檔”開關區(qū)域作出響應,被產(chǎn)生的一個屏幕顯示。參考圖164,該用戶被提供與“存檔”和“搜尋”相應的兩個對話框的一個選擇。圖164所顯示的該顯示屏幕的特定示例顯示“存檔”對話框被激活的情形。該存檔對話框允許該用戶在四個存檔操作模式中進行選擇“后臺”,其中在VR/PC單元的其他功能操作發(fā)生時存檔操作在后臺被連續(xù)地執(zhí)行(優(yōu)選地,該存檔后臺處理的優(yōu)先級比記錄或者回放操作的優(yōu)先級低,如圖116的上述討論所示);“無聲后臺”,它與“后臺”相同,除了涉及存檔空間的數(shù)據(jù)沒有被狀態(tài)顯示所顯示出來以外(圖149);“專用快速”,它是其中沒有進行記錄或者回放操作的一個模式,以使該主板CPU處理和磁盤訪問資源被專用于快速地將視頻數(shù)據(jù)從該磁盤拷貝到該存檔媒質(zhì);和“存檔關閉”,其中沒有進行存檔操作。
該存檔對話框也表示哪一個裝置正在被用于存檔功能;在這個情形下,它是內(nèi)部安裝的DAT驅(qū)動器。在圖164的屏幕顯示的左邊的一個垂直列中的開關區(qū)域與圖129-133中所顯示的那些類似,但是當選擇了存檔對話框時它們是不可被操作的。另外,這些開關區(qū)域可以與下面將要被提到的“搜尋”對話框一起來使用。被提供在圖164的格式中的是與上面聯(lián)系圖129所討論的圖標2562類似一個“探照燈”圖標。另外,一個搜尋結(jié)果場被提供在該屏幕顯示的下部分。
圖165提供了一個圖164的顯示的替代版本。圖165與圖164的不同點在于圖165提供了兩個分別被標記為“庫”和“客戶定制”的附加對話框。另外,圖165的存檔對話框允許該用戶在一些內(nèi)部或者外部記錄媒質(zhì)驅(qū)動器裝置中進行選擇。在圖165中被提供的選擇是一個內(nèi)部安裝的磁光盤驅(qū)動器裝置。
圖166提供了通過選擇在圖164中的“搜尋”對話框來可以獲得的一個屏幕顯示。圖166中所顯示的該搜尋對話框允許該用戶定義將要在對已經(jīng)被保存在當前被插入的存檔記錄媒質(zhì)上的、感興趣的視頻數(shù)據(jù)進行搜尋中被使用的日期和時間或者告警參數(shù)。
圖167是當在圖165中選擇“庫”對話框時所被提供的一個屏幕顯示。該庫對話框的目的是訪問上面聯(lián)系圖119所討論的、前面被記錄的存檔媒質(zhì)數(shù)據(jù)庫。該用戶可能請求瀏覽與所有前面被記錄的存檔媒質(zhì)相應的數(shù)據(jù),或者僅瀏覽那些被記錄在一個用戶定義的時間期間以內(nèi)的數(shù)據(jù)。被提供在該屏幕顯示的底部的顯示場是用于顯示被請求的信息。該“增加”開關區(qū)域允許該用戶將與一個附加記錄存檔媒質(zhì)相應的一個項增加到該數(shù)據(jù)庫。該“刪除”開關區(qū)域允許該用戶將一個項從該數(shù)據(jù)庫中移去。該“細節(jié)”開關區(qū)域允許該用戶來選擇涉及在該數(shù)據(jù)庫中的一個項的細節(jié)數(shù)據(jù)的顯示。該“復位”開關區(qū)域允許該用戶來從該記錄存檔媒質(zhì)數(shù)據(jù)庫中清除所有數(shù)據(jù)。
圖168中所顯示的顯示屏幕說明了在圖165到167中的屏幕顯示中、對該用戶可用的“客戶定制”對話框。在該“客戶定制”的對話框中,該用戶被允許來更新已經(jīng)被安裝在VR/PC單元內(nèi)部中的或者連接到該VR/PC單元的一個存檔媒質(zhì)驅(qū)動器單元的列表。在已經(jīng)被安裝或者可能被安裝的存檔媒質(zhì)驅(qū)動器單元的類型中,圖168的屏幕顯示顯示了下述一個數(shù)字視頻磁盤(DVD)驅(qū)動器,一個內(nèi)部DAT驅(qū)動器,一個磁光盤驅(qū)動器,一個所謂的“爵士”驅(qū)動器(可拆卸的硬盤),和一個DAT圓盤轉(zhuǎn)送帶。當然,可以設計成這些裝置類型中的任何一個或者所有被連接到該VR/PC單元。
分析工具選擇屏幕圖169是對選擇圖129到圖133中的任何一個的“工具”對話框作出響應、被提供的一個屏幕顯示。該“工具”對話框的目的是允許一個用戶來對與一個給定攝像機相應的一個被記錄的視頻流,選擇將要被應用到該圖象流的一個圖象分析算法。該“工具”對話框包括用于選擇一個攝像機的一個下拉式列表2632,和另一個下拉式列表2634,來允許該用戶選擇將要被應用到由被選擇的攝像機所產(chǎn)生的、被記錄的視頻流的一個圖象分析算法。被標志為“建立”的一個開關區(qū)域允許該用戶提出與被選擇的分析算法相應的工具建立屏幕顯示。前面已經(jīng)討論了工具建立屏幕顯示的示例,該工具建立屏幕顯示的示例被顯示在圖153-156中。在圖169的下部分,表示前面將分析工具分配到被記錄的攝像機流的信息被顯示。
圖170顯示了當已經(jīng)下拉了在圖169的“要用的工具”的下面的該下拉菜單。從2636中可以看出,該菜單向該用戶提供了關于圖象分析算法的選擇的幾個選項,包括“運動工具”,“邊界工具”,“博物館工具”和“光工具”。另外,該用戶可能選擇在該搜尋中不應用任何分析工具。這樣,圖170的該屏幕顯示允許該用戶方便地從多個前面被保存的圖象分析算法中進行選擇來用于搜尋。作為在圖170中所顯示的分析算法選項的詞列表的一個替代,還可以設計成該用戶可以選擇表示前面被保存的分析算法的用戶圖標。
從圖171和172中可以看出,該下拉式菜單也被提供給該用戶來允許該用戶選擇將要被應用到現(xiàn)場輸入視頻流的一個分析算法。在圖171所顯示的該屏幕顯示中,一個攝像機接一個攝像機地來分配該分析算法,而在圖172中提供甚至更精細的“粒度”,由此一個特定分析算法的選擇不久應用到一個特定的攝像機,而且應用到一個特定的將來時期。
圖173是對激發(fā)在圖161中被顯示的“打印”開關區(qū)域作出響應所產(chǎn)生的一個硬拷貝屏幕打印的一個示例。圖173中所顯示的該硬拷貝打印包括可能是一個彩色的、并且可能表示被顯示在圖161的窗口2616中的該圖象的一個縮放和/或者其他處理部分的一個圖象2640。另外,如2642所示,提供了表示該圖象被產(chǎn)生和被打印輸出的時間,該圖象源等等的標題信息。
前面已經(jīng)提到,該優(yōu)選的視頻數(shù)據(jù)文件格式也將在磁盤上保存視頻數(shù)據(jù)和同時產(chǎn)生的音頻數(shù)據(jù)。一個或者多個麥克風(沒有被顯示)或者其他音頻信息源可以被作為該VR/PC單元或者其一個修改版本的輸入來進行連接。在被量化以后,該音頻信息將被保存在磁盤上,同時被保存的還可能有相關的視頻數(shù)據(jù)。該VR/PC單元將有內(nèi)帶的或者作為一個外設來被連接的一個揚聲器(沒有被顯示),以使用可聽的形式來再生從該磁盤中被檢索出來的音頻信息。
也可以設計成,在該VR/PC單元中提供音頻內(nèi)容分析算法(“工具”)來檢測可聽的事件,例如開門/關門,腳步聲等等。該音頻工具可能被作為“現(xiàn)場”或者作為“搜尋”工具來進行操作,即被應用到從磁盤中被檢索出來的音頻數(shù)據(jù),和被類似地應用到上面所描述的該視頻“工具”。例如,可以使用一個現(xiàn)場音頻工具或者多個工具來檢測事件和激發(fā)告警條件。還可以使用音頻工具相互之間的邏輯組合和該音頻工具與視頻工具之間的邏輯組合。作為一個示例,在缺乏一個視頻工具的光的檢測下,一個音頻工具檢測到腳步聲將激發(fā)一個告警條件。檢測到一個音頻事件可以觸發(fā)一個視頻工具的應用,和/或者檢測到一個視頻事件可以觸發(fā)一個音頻工具的應用。
優(yōu)選地,可以使用與上面在圖170-172和153-156中說明的“視頻工具箱”特征類似的方式來選擇和配置音頻工具。用戶可以選擇的、約束一個音頻工具的執(zhí)行的參數(shù)包括聲音大小,聲音頻率,方向等等。因為音頻監(jiān)視具有費用低,數(shù)據(jù)保存量相對較小,全方位,和與環(huán)境的亮度無關等特征,所以在許多應用中音頻監(jiān)視對視頻監(jiān)視來說是一個更有價值的實現(xiàn)方式,或者可以替代視頻監(jiān)視。同時,使用這里所公開的信息管理思想可以大大地改善音頻監(jiān)視和所產(chǎn)生的被保存數(shù)據(jù)的價值。
應該理解,上面所公開的本發(fā)明的實施方式是用于示意性的,不是進行限制的。在下述的權(quán)利要求書中提出了本發(fā)明的真正的精神和范圍。
權(quán)利要求
1.一個保存和檢索視頻數(shù)據(jù)的方法,該方法包括步驟在位于一第一位置的一個數(shù)據(jù)保存裝置中,保存表示一個動態(tài)視頻圖象流的多個圖象的數(shù)據(jù)的步驟;在位于一遠離該第一位置的一第二位置的一個主處理器中,保存一個程序文件的步驟;該程序文件表示用于在由保存在所述第一位置的數(shù)據(jù)所表示的圖象中搜尋所需圖象的一個搜尋算法;將表示所述搜尋算法的所述程序文件從所述主處理器下載到所述數(shù)據(jù)保存裝置的步驟;和使用所述被下載的程序文件來在被保存在所述數(shù)據(jù)保存裝置中的所述視頻數(shù)據(jù)中搜尋所述所需圖象的步驟。
2.如權(quán)利要求1的方法,進一步包括步驟使用所述被下載的程序文件來從由被保存在所述數(shù)據(jù)保存裝置中的所述視頻數(shù)據(jù)所表示的圖象中選擇一個圖象的步驟;和從所述數(shù)據(jù)保存裝置中向所述主處理器上載表示使用所述下載的程序文件選擇的所述圖象的數(shù)據(jù)的步驟。
3.如權(quán)利要求1的方法,進一步包括步驟,在所述下載步驟以前,執(zhí)行從所述數(shù)據(jù)保存裝置向所述主處理器上載表示與由被保存在所述數(shù)據(jù)保存裝置中的所述數(shù)據(jù)所表示的一個圖象相應的一個圖象的數(shù)據(jù)的步驟。
4.如權(quán)利要求3的方法,進一步包括步驟,在所述第二位置顯示由所述上載的數(shù)據(jù)所表示的所述圖象的步驟。
5.如權(quán)利要求4的方法,進一步包括與權(quán)利要求4的所述顯示步驟同時執(zhí)行的、在所述第一位置顯示與在所述第二位置被顯示的圖象相應的一個圖象的步驟。
6.如權(quán)利要求5的方法,進一步包括,在觀看所述被顯示在所述第一和第二位置的圖象的相應人工操作員之間交換通信的步驟,所述被交換的通信包括口頭電話通信和數(shù)據(jù)通信中的至少一個。
7.如權(quán)利要求4的方法,進一步包括步驟設置一個用于約束所述搜尋算法的執(zhí)行的參數(shù)的步驟;和在所述第一位置并且根據(jù)被設置的參數(shù)執(zhí)行所述搜尋算法的步驟。
8.如權(quán)利要求7的方法,其中所述參數(shù)設置步驟在所述下載步驟以前執(zhí)行。
9.如權(quán)利要求8的方法,其中所述搜尋算法是一個用于檢測由被保存在所述數(shù)據(jù)保存裝置中的數(shù)據(jù)所表示的至少一個運動目標的算法,所述參數(shù)設置步驟包括選擇與被保存數(shù)據(jù)相應的一個圖象平面中的一個部分,所述部分是將要在其上通過執(zhí)行所述算法檢測所述至少一個運動目標的一個部分。
10.如權(quán)利要求9的方法,其中通過在被顯示在所述第二位置上的所述圖象上疊加一個線或者一個多邊形來選擇一個圖象平面的所述部分。
11.保存和檢索視頻數(shù)據(jù)的裝置,包括位于一第一位置的一個數(shù)據(jù)保存裝置,用于保存表示一個動態(tài)視頻圖象流的多個圖象的數(shù)據(jù);位于一遠離該第一位置的第二位置的一個主處理器,用于保存一個程序文件,該程序文件表示用于在由保存在所述第一位置的數(shù)據(jù)所表示的圖象中搜尋所需圖象的一個搜尋算法;和將所述表示搜尋算法的所述程序文件從所述主處理器下載到所述數(shù)據(jù)保存裝置的裝置;數(shù)據(jù)保存裝置包括使用所述下載的程序文件來在被保存在所述數(shù)據(jù)保存裝置中的視頻數(shù)據(jù)中搜尋所需圖象的裝置。
12.如權(quán)利要求11的裝置,進一步包括用于使用所述下載的程序文件來從由被保存在所述數(shù)據(jù)保存裝置中的所述視頻數(shù)據(jù)表示的圖象中來選擇一個圖象;和用于從所述數(shù)據(jù)保存裝置向所述主處理器上載表示由使用所述下載程序文件選擇的所述圖象的數(shù)據(jù)的裝置。
13.用于保存一個分布式視頻數(shù)據(jù)庫的裝置,該裝置包括一第一視頻信息源,在一第一位置,用于提供包括至少一個動態(tài)視頻信息幀序列的第一視頻信息;第一分析裝置,用于接收由所述第一視頻信息源提供的該第一視頻信息并且根據(jù)一第一圖象分析算法來分析所述接收的第一視頻信息來產(chǎn)生第一分析數(shù)據(jù);第一保存裝置,用于使用數(shù)字數(shù)據(jù)形式,保存由所述第一視頻信息源提供的所述第一視頻信息和由所述第一分析裝置所產(chǎn)生的第一分析數(shù)據(jù);一第二視頻信息源,在一遠離第一位置的第二位置,用于提供包括至少一個動態(tài)視頻信息幀序列的第二視頻信息;第二分析裝置,用于接收由所述第二視頻信息源提供的所述第二視頻信息并且根據(jù)一第二圖象分析算法來分析所述接收的第二視頻信息來產(chǎn)生第二分析數(shù)據(jù);第二保存裝置,位于遠離該第一保存裝置的一個位置,用于使用數(shù)字數(shù)據(jù)形式,保存由所述第二視頻信息源提供的所述第二視頻信息和由所述第二分析裝置所產(chǎn)生的第二分析數(shù)據(jù);和與所述第一保存裝置和第二保存裝置進行有效連接、以選擇性地分別檢索來自所述第一保存裝置和第二保存裝置的所述第一視頻信息和第二視頻信息的裝置。
14.如權(quán)利要求13的裝置,其中所述第一視頻信息源包括一第一視頻攝像機,和所述第二視頻信息源包括一第二視頻攝像機。
15.如權(quán)利要求14的裝置,其中所述第一視頻信息源包括一第一多個視頻攝像機,和所述第二視頻信息源包括一第二多個視頻攝像機。
16.如權(quán)利要求13的裝置,其中所述用于選擇性的檢索的裝置包括遠離所述第一和第二保存裝置的處理器裝置,和用于選擇性的在所述處理器裝置和所述第一保存裝置之間建立一個數(shù)據(jù)通信路徑的裝置,和用于選擇性的在所述處理器裝置和所述第二保存裝置之間建立一個數(shù)據(jù)通信路徑的裝置。
17.如權(quán)利要求13的裝置,其中所述裝置用于分別根據(jù)被保存的第一和第二分析數(shù)據(jù)來選擇性的檢索第一和第二視頻信息。
18.如權(quán)利要求13的裝置,其中所述第一分析算法和所述第二分析算法中至少一個用于向被所述至少一個分析算法所分析的視頻信息的相應部分分配分析得分,該分析得分中的每一個表示所述視頻信息的相應部分體現(xiàn)一預定分析特征的相應程度,所述每一個分析得分是一個位于包含至少3個值的一預定值范圍以內(nèi)的值。
19.如權(quán)利要求18的裝置,其中所述值范圍包括至少8個值。
20.如權(quán)利要求19的裝置,其中所述值范圍包括至少100個值。
21.一個保存和檢索視頻數(shù)據(jù)的方法,包括步驟將第一視頻信息保存在位于一第一位置的一第一信息保存裝置中的步驟;通過根據(jù)一第一圖象分析算法分析該第一視頻信息來產(chǎn)生第一分析數(shù)據(jù)的步驟;將所述第一分析數(shù)據(jù)保存在該第一信息保存裝置的步驟;將第二視頻信息保存在位于一遠離第一位置的第二位置的一第二信息保存裝置中的步驟;通過根據(jù)一第二圖象分析算法分析該第二視頻信息來產(chǎn)生第二分析數(shù)據(jù)的步驟;將所述第二分析數(shù)據(jù)保存在該第二信息保存裝置的步驟;和從所述第一和第二保存裝置中選擇性的檢索第一和第二視頻信息的步驟,以將它們發(fā)送到位于遠離所述第一和第二保存裝置的一第三位置的一檢索裝置。
22.如權(quán)利要求21的方法,其中所述選擇性檢索步驟包括使用被保存的第一和第二分析數(shù)據(jù)來選擇要被檢索的所述第一和第二視頻信息的部分。
23.如權(quán)利要求21的方法,進一步包括步驟,從所述第一信息保存裝置再生所述第一視頻信息,并且將所述第一分析算法用于被再生的第一視頻信息來產(chǎn)生第一分析數(shù)據(jù)。
24.如權(quán)利要求23的方法,進一步包括步驟,從所述第二信息保存裝置再生所述第二視頻信息,并且將所述第二分析算法用于被再生的第二視頻信息來產(chǎn)生第二分析數(shù)據(jù)。
25.用于保存一個分布式視頻數(shù)據(jù)庫的裝置,該裝置包括一第一視頻信息源,它在一第一位置,用于提供包括至少一個動態(tài)視頻信息幀序列的第一視頻信息;第一保存裝置,用于使用數(shù)字數(shù)據(jù)形式,保存由所述第一視頻信息源提供的第一視頻信息;一第二視頻信息源,它在一遠離第一位置的第二位置,用于提供包括至少一個動態(tài)視頻信息幀序列的第二視頻信息;第二保存裝置,位于遠離所述第一保存裝置的一個位置,用于使用數(shù)字數(shù)據(jù)形式,保存由所述第二視頻信息源提供的第二視頻信息和由所述第二分析裝置所產(chǎn)生的第二分析數(shù)據(jù);檢索裝置,位于遠離所述第一保存裝置和所述第二保存裝置中至少一個的位置,用于選擇性的檢索被保存在所述第一保存裝置和所述第二保存裝置中的視頻信息幀;第一連接裝置,用于在所述檢索裝置和所述第一保存裝置之間形成一第一數(shù)據(jù)通信路徑;和第二連接裝置,用于在所述檢索裝置和所述第二保存裝置之間形成一第二數(shù)據(jù)通信路徑。
26.如權(quán)利要求25的裝置,其中所述檢索裝置包括用于根據(jù)要檢索的被保存在所述第一和第二保存裝置中的視頻信息幀來定義搜尋參數(shù)的裝置。
27.如權(quán)利要求26的裝置,其中所述搜尋參數(shù)包括圖象特征。
28.如權(quán)利要求27的裝置,其中所述圖象特征包括運動目標特征。
29.如權(quán)利要求25的裝置,其中所述第一視頻信息源包括一第一視頻攝像機,和所述第二視頻信息源包括一第二視頻攝像機。
30.如權(quán)利要求25的裝置,其中所述第一視頻信息源包括一第一多個視頻攝像機,和所述第二視頻信息源包括一第二多個視頻攝像機。
31.如權(quán)利要求25的裝置,其中所述第一連接裝置選擇性的形成所述第一數(shù)據(jù)通信路徑,和所述第二連接裝置選擇性的形成所述第二數(shù)據(jù)通信路徑。
32.如權(quán)利要求25的裝置,進一步包括鎖定裝置,與所述第一保存裝置相聯(lián),用于選擇性的禁止所述檢索裝置檢索被保存在所述第一保存裝置中的第一視頻信息。
33.用于保存一個分布式視頻數(shù)據(jù)庫的裝置,該裝置包括一第一視頻信息源,它在一第一位置,用于提供包括至少一個動態(tài)視頻信息幀序列的第一視頻信息;第一保存裝置,用于使用數(shù)字數(shù)據(jù)形式,保存由所述第一視頻信息源提供的第一視頻信息;一第二視頻信息源,它在一遠離第一位置的第二位置,用于提供包括至少一個動態(tài)視頻信息幀序列的第二視頻信息;第二保存裝置,位于遠離所述第一保存裝置的一個位置,用于使用數(shù)字數(shù)據(jù)形式,保存由所述第二視頻信息源提供的第二視頻信息;和第三保存裝置,位于遠離所述第一和第二保存裝置的一個位置,用于保存一圖象分析算法;一第一處理器,與所述第一保存裝置相連并且與所述第一保存裝置位于相同位置;一第二處理器,與所述第二保存裝置相連并且與所述第二保存裝置位于相同位置;和用于連續(xù)地將所述圖象分析算法從所述第三保存裝置下載到所述第一處理器和下載到所述第二處理器的裝置;所述第一處理器通過從所述第一保存裝置中檢索所述第一視頻信息和根據(jù)所述被下載的分析算法分析被檢索的第一視頻信息來檢測由被檢索的第一視頻信息所表示的一個運動物體,來對下載到所述第一處理器的所述分析算法作出響應;所述第二處理器通過從所述第二保存裝置中檢索所述第二視頻信息和根據(jù)所述下載的分析算法分析被檢索的第二視頻信息來檢測由被檢索的第二視頻信息所表示的一個運動物體,來對下載到所述第二處理器的所述分析算法作出響應。
34.如權(quán)利要求33的裝置,其中所述第三保存裝置保存多個圖象分析算法,并且所述第一處理器和第二處理器中的每一個包括用于選擇要從所述第三保存裝置下載到相應處理器的算法之一的裝置。
35.如權(quán)利要求33的裝置,其中所述第一處理器和所述第二處理器中的每一個包括一個設置一個參數(shù)來約束相應處理器執(zhí)行下載到相應處理器的圖象分析算法的裝置。
36.如權(quán)利要求33的裝置,其中所述圖象分析算法是用于向所述第一和第二視頻信息的部分分配相應的分析得分,所述分析得分表示所述視頻信息的部分說明一個預定分析特征的相應程度,所述得分是一個位于包含至少3個值的一預定值范圍以內(nèi)的值。
37.如權(quán)利要求36的裝置,其中所述值范圍包括至少8個值。
38.如權(quán)利要求37的裝置,其中所述值范圍包括至少100個值。
全文摘要
一個靈活的視頻信息保存和分析裝置,保存一個視頻信息數(shù)據(jù)庫和多個用于分析在該數(shù)據(jù)庫中的視頻信息的運動圖象內(nèi)容分析算法。被選擇的算法是用于分析該數(shù)據(jù)庫中的視頻信息。該裝置記錄和顯示多個視頻信息流。內(nèi)容分析算法可以被從一個遠程位置下載。該裝置采取合適的動作來對檢測到輸入視頻流中的特征作出響應?;跀?shù)據(jù)瓦片的條件刷新視頻數(shù)據(jù)壓縮被使用。一個支持結(jié)構(gòu)有效的支持幾個記錄媒質(zhì)驅(qū)動器單元。一個磁帶備份驅(qū)動器用作對被保存在硬盤上的視頻數(shù)據(jù)進行存檔的機制。輸入視頻的記錄和被保存的視頻的存檔和顯示均被同時處理。
文檔編號H04N5/445GK1259719SQ9912335
公開日2000年7月12日 申請日期1999年10月27日 優(yōu)先權(quán)日1996年10月31日
發(fā)明者戴維·R·馬克邁克, 帕特里克·O·努納里, 查爾斯·P·威爾遜, 哥爾哈德·J·溫特爾, 哈里·E·克萊恩, 威廉·T·恩古陽, 森·林-柳, 林恩·恩古陽, 亞歷克斯·K·奧耶昂, 小克里斯·H·帕德森, 戈登·W·史密斯, 戴維·J·奧斯里, 舍溫·圣-舒·王 申請人:傳感電子公司