專利名稱：審計視頻分析的制作方法
技術領域：
本發(fā)明涉及視頻分析，更具體地說，涉及審計視頻分析數(shù)據(jù)以區(qū)分錯誤。
背景技術：
視頻分析包括多種技術，其使用計算機及其他可編程設備及關聯(lián)的系統(tǒng)來分析視頻輸入以獲悉視頻輸入內的特定數(shù)據(jù)、行為、對象等?？稍谟嬎銠C或設備內(包括在視頻攝像機、記錄設備或專用視頻處理單元中的嵌入式可編程設備平臺上)的處理器上運行的軟件應用中實現(xiàn)視頻分析。視頻分析在評估視頻的內容以確定關于視頻內人物的動作及移動的信息方面可以是有用的。
視頻分析是用于評估視頻圖像的內容以自所述視頻圖像來確定指定信息的方法、過程及系統(tǒng)。所述信息可易于自圖像或圖片而獲得，例如，檢查到圖像內的在道路段上的許多車輛可指示交通擁塞。亦可考慮多個圖像(可能來自多個相機)來確定指定信息，例如，考慮來自不同時間或來自多個相機饋給(feed)的圖像可使得能夠確定交通流的速度或預測歸因于同一道路上的繁忙交通流而引起的減速?？捎^察變化的天氣型態(tài)(預測未來天氣)，以及動物的移動及遷移。例如，通過比較圖像中的要素與早先圖像中的相同要素，亦可觀察或檢測諸如結構變化及故障的物理現(xiàn)象(例如，結構件中的裂縫、彎曲及下垂、生銹、油漆翹皮或剝落、腐蝕、表面磨損及開裂、河床變化、淤泥積聚等)。因此，通過視頻分析來分析圖像內容，可由此識別或確定關于自然現(xiàn)象、對象、植物群及動物群的動作及移動的各種指定信息。視頻分析應用在判定視頻圖像的各方面的意義或含義方面可進一步為有用的，例如，確定由視頻輸入反映的動作或不動作的動機、含意或意義，以藉此在一方面就預期或指定行為而言確定或預測視頻內的人員的動作所展示或暗示的內容。因此，視頻分析可用于(例如)藉由分析服裝(制服與非制服)、當日時間(在營業(yè)時間期間與在營業(yè)時間之后)、進入方式(是否與先前通過入場門的移動相關)而確定給定區(qū)域中所出現(xiàn)的人員是否正擅自進入，或其存在是否被授權。因此，視頻分析在寬廣范圍的應用中是有用的，且一些說明性而非窮舉實例包括財產保護、安全及保安環(huán)境。由計算機及其他可編程設備執(zhí)行的自動化視頻分析系統(tǒng)及方法在提高審計視頻數(shù)據(jù)效率方面可以是有用的，方式為使得可編程設備能夠針對視頻饋給執(zhí)行分析并向人工審計員生成在視頻饋給中出現(xiàn)的事件或感興趣物品的警報，以供人工審計員進一步查看和分析。例如，可藉由應用計算機視覺和模式識別(CVPR)算法至視頻饋給輸入來產生警報，諸如通過由美國紐約霍桑(Hawthorne)的IBM T. J.華森研究中心(WatsonResearchCenter)的 Quanfu Fan 等人于 CVPR 2009 提出的 “Recognition ofRepetitiveSequential Human Activity”教導的算法；或者通過由美國紐約霍桑的IBM T. J.華森研究中心的 Lei Ding 等人于 ICASSP 2010 提出的 “GRAPH BASED EVENT DETECTION FROMREALISTIC VIDE0SUSING WEAK FEATURE CORRESPONDENCE” 教導的算法；且對于本領域技術人員而言用于本發(fā)明的其他適當實例將為顯而易見的。還可以通過應用遺棄行李檢測算法來生成視頻監(jiān)視區(qū)域內的可能遺棄行李的警報，以便從視頻流檢測可能的遺棄行李，如由美國賓夕法尼亞州匹茲堡市的卡耐基梅隆大學的Guillaume Milcent及Yang Cai在2005 年 12 月 9 日于 CMU-CyLab-05-008 所提出的 “Location Based Baggage DetectionforTransit Vehicles”教導的算法,且本領域技術人員將知曉適用于本發(fā)明的其他實例。然而，結合了自動化視頻分析系統(tǒng)的現(xiàn)有技術系統(tǒng)的效力受到限制。在從假警報裁定并剖析真實感興趣事件的過程中，通常需要人工審計來應用人工分析及判斷力，其需要人工檢查由自動化視頻分析系統(tǒng)使用的視頻饋給以觸發(fā)警報，且因此此類系統(tǒng)及方法仍需要至人工審計員的視頻數(shù)據(jù)流，從而產生較大帶寬和/或存儲器存儲要求以將實時視頻流數(shù)據(jù)和/或歸檔視頻流數(shù)據(jù)提供給審計員。由于自動化視頻分析系統(tǒng)通常產生大量假警報，因此可能仍需要大量視頻流，從而減小了經由對原始視頻流的人工分析而實現(xiàn)的帶寬、存儲及時間節(jié)省。此外，遍歷自動化視頻分析系統(tǒng)的結果而艱難地處理可為極其勞動密集的過程。人工審計實施的問題及成本亦可隨所利用的相機或視頻饋給的數(shù)目而成比例地升高，而效 率隨著相機或視頻饋給的較大數(shù)目而遞減。如果正在審計的數(shù)據(jù)是經由網(wǎng)絡系統(tǒng)而訪問(例如，通過瀏覽應用而遠程地訪問)，則審計系統(tǒng)亦可能受到有限網(wǎng)絡帶寬的影響。

發(fā)明內容
在第一方面中，本發(fā)明提供了一種用于審計視頻分析數(shù)據(jù)的可編程設備的方法，所述方法包括接收視頻分析組件針對可視圖像流觸發(fā)的警報，其特征在于，所述方法還包括響應于所述警報，從所述可視圖像流生成一組警報圖像，所述一組警報圖像包括與所觸發(fā)的警報同時期的圖像以及所述可視圖像流中在該同時期圖像之前或之后出現(xiàn)的至少一個其他圖像，使得檢查者可以使用所述一組警報圖像來檢查所述警報是真警報還是假警報；以及所述方法適于根據(jù)所述檢查者的請求而提供來自所述可視圖像流的額外圖像以便確認所述警報是真警報還是假警報的判定，使得僅響應于所述請求才提供所述額外圖像。從所述可視圖像流生成的所述一組警報圖像構成警報的“可視要素”。也就是說，警報的要素被封裝為與該警報同時期的圖像和在該警報之前或之后的至少一個其他圖像，以便將該警報的可視上下文在所述一組警報圖像中封裝為該警報的可視要素。人工檢查員可以僅從場所的幾幅圖像就快速知曉發(fā)生了何種情況。因此，本發(fā)明的實施例將警報的“可視要素”提取為一組圖像以作為該警報的簡要可視概述，其集成了代表性圖像和其他潛在可用的提示。所述可視要素使得檢查員能夠非?？焖俚嘏卸ㄊ欠裥枰M一步調查而無需檢查可視圖像流(諸如視頻流)。檢查員只需在需要進一步證據(jù)或上下文時才檢查警報時的可視圖像流。因此，作為可視要素的一組警報圖像提供了最少而充分的信息，以便檢查員能夠快速過濾出假警報，由此最大化有限人工資源的生產力。所述一組警報圖像可以是緊密的和壓縮的，使得其相比于可視圖像流(諸如視頻)而言需要小得多帶寬以便在審計系統(tǒng)中可視化。更便利地，所述一組警報圖像可以被下載并存儲在本地機器中以提供快速系統(tǒng)響應。本發(fā)明尤其適合于(例如)零售欺詐檢測和遺棄物品檢測。優(yōu)選地，所述方法還包括將所述可視圖像流歸檔在存儲庫中；以及取回從所述可視圖像流提供的所述額外圖像。優(yōu)選地，所述方法還包括將與所述同時期圖像和所述至少一個其他圖像關聯(lián)的文本數(shù)據(jù)并入所述一組警報圖像中，使得所述檢查者可使用所述文本數(shù)據(jù)。優(yōu)選地，生成所述一組警報圖像的特征還在于根據(jù)與所觸發(fā)警報的時間的時間接近度來選擇所述至少一個其他圖像中的每個圖像。優(yōu)選地，所述方法還包括經由計算機視覺和模式識別來分析所述可視圖像流以確定所述觸發(fā)警報的出現(xiàn)。 優(yōu)選地，所述觸發(fā)警報指示在物品掃描系統(tǒng)中掃描的物品的可疑虛假掃描事件；其中所述可視圖像流是所述掃描系統(tǒng)中的掃描站的圖像的視頻流；其中所述文本數(shù)據(jù)是在時間上與所述視頻流相關的事務日志流；其中與所述觸發(fā)警報同時期的圖像是所述掃描站的掃描儀區(qū)域的視頻流中的與所記錄的掃描事件同時期出現(xiàn)的幀圖像；并且其中在所述同時期圖像之前或之后出現(xiàn)的所述至少一個其他圖像包括所述掃描站的拾取區(qū)域的先前幀圖像，所述先前幀圖像在所述掃描儀區(qū)域圖像之前出現(xiàn)；以及所述掃描站的投放區(qū)域的稍后幀圖像，所述稍后幀圖像在所述掃描儀區(qū)域圖像之后出現(xiàn)。備選地，所述觸發(fā)警報是可疑物品遺棄；其中所述可視圖像流是視頻攝像機流，所述視頻攝像機流包括含有所述可疑遺棄物品的區(qū)域的圖像幀；其中經由所述計算機視覺和模式識別來分析所述可視圖像流以確定所述可疑物品遺棄的出現(xiàn)包括使用遺棄物品檢測算法；并且其中與所述可疑物品遺棄同時期的圖像是包括所述可疑遺棄物品的區(qū)域的視頻攝像機流的幀圖像，所述幀圖像包括所述可疑遺棄物品；并且其中在所述同時期圖像之前或之后出現(xiàn)的所述至少一個其他圖像包括包括所述可疑遺棄物品的區(qū)域的先前幀圖像，所述先前幀圖像在所述同時期圖像之前出現(xiàn)；以及包括所述可疑遺棄物品的區(qū)域的稍后幀圖像，所述稍后幀圖像在所述同時期圖像之后出現(xiàn)。在第二方面中，本發(fā)明相應地提供了一種用于審計視頻分析數(shù)據(jù)的系統(tǒng)，所述系統(tǒng)包括接收部件，用于接收視頻分析組件針對可視圖像流觸發(fā)的警報，其特征在于，所述系統(tǒng)還包括生成部件，用于響應于所述警報而從所述可視圖像流生成一組警報圖像，所述一組警報圖像包括與所觸發(fā)的警報同時期的圖像以及所述可視圖像流中在該同時期圖像之前或之后出現(xiàn)的至少一個其他圖像，使得檢查者可以使用所述一組警報圖像來檢查所述警報是真警報還是假警報；以及額外圖像供應部件，用于根據(jù)所述檢查者的請求而提供來自所述可視圖像流的額外圖像以便確認所述警報是真警報還是假警報的判定，使得僅響應于所述請求才提供所述額外圖像。根據(jù)第三方面，本發(fā)明相應地提供了一種包括計算機程序代碼的計算機程序元素，當所述計算機程序代碼被載入計算機系統(tǒng)并在其上執(zhí)行時，將導致所述計算機執(zhí)行上述方法的各步驟。


現(xiàn)在將僅通過實例的方式參考附圖描述本發(fā)明的優(yōu)選實施例，這些附圖是圖I是根據(jù)本發(fā)明的一個優(yōu)選實施例的用于對視頻分析數(shù)據(jù)進行人工審計的系統(tǒng)的一個實施例的不意圖；圖2是根據(jù)本發(fā)明的一個優(yōu)選實施例的系統(tǒng)的示意性流程說明；圖3是根據(jù)本發(fā)明的一個優(yōu)選實施例的適合于通過可視要素加以分析的物理位置的頂部透視狀態(tài)圖；以及
圖4是本發(fā)明的一個實施例的計算機化實施方式的示意圖。附圖未必按比例描繪。附圖僅僅為示意性表示，其不意欲描繪本發(fā)明的特定參數(shù)。附圖意欲僅描繪本發(fā)明的典型實施例，且因此不應被視為限制本發(fā)明的范圍。在附圖中，相同編號表示相同要素。
具體實施例方式所屬技術領域的技術人員知道，本發(fā)明的各方面可以體現(xiàn)為系統(tǒng)、方法或計算機程序產品。因此，本發(fā)明的各方面可以具體實現(xiàn)為以下形式，即，可以是完全的硬件、完全的軟件(包括固件、駐留軟件、微代碼等)、或者本文一般稱為“電路”、“模塊”或“系統(tǒng)”的軟件部分與硬件部分的組合。此外，本發(fā)明的各方面還可以采取體現(xiàn)在一個或多個計算機可讀介質中的計算機程序產品的形式，該介質中包含計算機可讀程序碼?？梢允褂靡粋€或多個計算機可讀介質的任何組合。計算機可讀介質可以是計算機 可讀信號介質或計算機可讀存儲介質，計算機可讀存儲介質例如可以是-但不限于-電的、磁的、光的、電磁的、紅外線的、或半導體的系統(tǒng)、裝置、器件或傳播介質、或前述各項的任何適當?shù)慕M合。計算機可讀存儲介質的更具體的例子(非窮舉的列表)包括以下有一個或多個導線的電連接、便攜式計算機磁盤、硬盤、隨機存取存儲器(RAM)、只讀存儲器(ROM)、可擦式可編程只讀存儲器(EPR0M或閃存)、光纖、便攜式緊湊磁盤只讀存儲器(CD-ROM)、光存儲器件、磁存儲器件、或前述各項的任何適當?shù)慕M合。在本文語境中，計算機可讀存儲介質可以是任何含有或存儲供指令執(zhí)行系統(tǒng)、裝置或器件使用的或與指令執(zhí)行系統(tǒng)、裝置或器件相聯(lián)系的程序的有形介質。計算機可讀信號介質可以包括例如在基帶中或作為載波的一部分傳播的帶有計算機可讀程序代碼的數(shù)據(jù)信號。這樣一種傳播信號可以采取任何適當?shù)男问?，包括但不限于電磁的、光的或其任何適當?shù)慕M合。計算機可讀信號介質可以是不同于計算機可讀存儲介質的、可以傳達、傳播或傳輸供指令執(zhí)行系統(tǒng)、裝置或器件使用的或與指令執(zhí)行系統(tǒng)、裝置或器件相聯(lián)系的程序的任何一種計算機可讀介質。包含在計算機可讀介質中的程序代碼可以采用任何適當?shù)慕橘|傳輸，包括但不限于無線、有線、光纜、射頻等等、或上述各項的任何適當?shù)慕M合。用于執(zhí)行本發(fā)明的各方面的操作的計算機程序碼，可以以一種或多種編程語言的任何組合來編寫，所述編程語目包括面向對象的編程語目一諸如Java、Smalltalk、C++之類，還包括常規(guī)的過程式編程語言一諸如” C”編程語言或類似的編程語言。程序碼可以完全地在用戶的計算上執(zhí)行、部分地在用戶的計算機上執(zhí)行、作為一個獨立的軟件包執(zhí)行、部分在用戶的計算機上部分在遠程計算機上執(zhí)行、或者完全在遠程計算機或服務器上執(zhí)行。在后一種情形中，遠程計算機可以通過任何種類的網(wǎng)絡-包括局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)-連接到用戶的計算機，或者，可以(例如利用因特網(wǎng)服務提供商來通過因特網(wǎng))連接到外部計算機。以下參照按照本發(fā)明實施例的方法、裝置(系統(tǒng))和計算機程序產品的流程圖和/或框圖描述本發(fā)明的各方面。要明白的是，流程圖和/或框圖的每個方框以及流程圖和/或框圖中各方框的組合，都可以由計算機程序指令實現(xiàn)。這些計算機程序指令可以提供給通用計算機、專用計算機或其它可編程數(shù)據(jù)處理裝置的處理器，從而生產出一種機器，使得通過計算機或其它可編程數(shù)據(jù)處理裝置執(zhí)行的這些指令，產生實現(xiàn)流程圖和/或框圖中的方框中規(guī)定的功能/操作的部件。也可以將這些計算機程序指令存儲在能指令計算機、其它可編程數(shù)據(jù)處理裝置或其他設備以特定方式工作的計算機可讀介質中，這樣，存儲在計算機可讀介質中的指令產生一個包括實現(xiàn)流程圖和/或框圖中的方框中規(guī)定的功能/操作的指令的制品。也可以將計算機程序指令加載到計算機、其它可編程數(shù)據(jù)處理裝置或其他設備上，使得在計算機、其它可編程數(shù)據(jù)處理裝置或其他設備上執(zhí)行一系列操作步驟，以產生計算機實現(xiàn)的過程，從而在計算機或其它可編程裝置上執(zhí)行的指令就提供實現(xiàn)流程圖和/或框圖中的方框中規(guī)定的功能/操作的過程?，F(xiàn)參考圖1，示出根據(jù)本發(fā)明的用于對視頻分析數(shù)據(jù)進行人工審計的方法或系統(tǒng)的一個實施例。至少一個數(shù)據(jù)傳感器110將可視圖像流作為視頻數(shù)據(jù)(其可包括視頻、音頻、文本等)提供給數(shù)據(jù)歸檔管理器112及視頻分析組件114。雖然視頻分析組件114的功能可由人工審計員通過實時檢查視頻饋給或其他數(shù)據(jù)而執(zhí)行，但本發(fā)明的實施例可針對視頻分析組件114使用自動化視頻分析系統(tǒng)來啟用自動化警報生成，其可實現(xiàn)藉由對視頻或圖像饋給進行簡單人工檢查所不可能實現(xiàn)的數(shù)據(jù)吞吐率(例如，自視頻圖像中的感興趣區(qū)(ROI)中的一些運動來區(qū)分并檢測其他運動，或區(qū)分在特定時間閾值之內及之外與其他事務數(shù)據(jù)流項目的關聯(lián)性，如下文更充分地論述的)。視頻分析組件114分析視頻數(shù)據(jù)輸入并確定所述視頻數(shù)據(jù)中的一個或多個警報 的存在或出現(xiàn)，且在118處輸出警報數(shù)據(jù)及相關聯(lián)的元數(shù)據(jù)。所述警報中的每個警報的一組警報圖像被生成為“可視要素” 116以提供最小但足夠的信息，以使人工審計員快速地檢查并立即作出關于警報的真假判定，藉此相對于檢查較大的原始視頻及數(shù)據(jù)流而言在時間及數(shù)據(jù)大小方面以更有效的方式及呈現(xiàn)手段來濾除假警報。所述一組警報圖像(以下總稱為“可視要素”)以如下方式構成并顯示于結果顯示器120處使得可快速地檢查所述可視要素且相對于檢查較大視頻饋給而言更快地快速判定警報的準確性。藉由減小必須考慮的視頻及其他數(shù)據(jù)的量以便作出關于由原始視頻流表示的事件出現(xiàn)的判定，有限人工審計員資源的生產力可由此得以最大化。更具體地說，圖2示出根據(jù)本發(fā)明的一個優(yōu)選實施例的用于根據(jù)可視要素數(shù)據(jù)來審計視頻信息的系統(tǒng)或方法。在202處自視頻分析警報結果(例如，如從圖I的視頻分析設備114生成)提供所關心事件的警報。響應于202處的警報，在204處創(chuàng)建可視要素以用于藉由自視頻流數(shù)據(jù)提取圖像的子集且可選地并入文本及其他非可視數(shù)據(jù)而與該警報相關聯(lián)?？勺砸曨l攝像機或其他數(shù)據(jù)源(例如，條形碼掃描儀、十字轉門(turnstile)等)或自存儲于一個或多個存儲設備中的視頻及非視頻數(shù)據(jù)(例如，自圖I的數(shù)據(jù)歸檔管理器112)且根據(jù)如由視頻分析提供或指示的警報的上下文而實時地直接提取視頻及其他數(shù)據(jù)。所述子集的靜態(tài)圖像及可選文本數(shù)據(jù)或非可視數(shù)據(jù)提供根據(jù)圖像內容及系統(tǒng)上下文而自動地選擇的信息的摘要，相對于較大的視頻及非可視資源數(shù)據(jù)而言所述信息集合經壓縮，且其被生成為與所述警報相關聯(lián)的可視要素。所述信息可自多個資源(多個相機、事務日志、識別數(shù)據(jù)及日志等)導出。因此，在206處將所述可視要素呈現(xiàn)給與該警報相關聯(lián)的人工審計員，以在208處使人工分析員能夠檢查并分析所呈現(xiàn)的可視要素信息以立即作出關于該警報的真假判定，(如果可能)藉此相對于檢查較大的原始視頻及數(shù)據(jù)流而言在時間及數(shù)據(jù)大小方面以更有效的方式及呈現(xiàn)手段來濾除假警報。一般而言，人類可比計算機視頻分析系統(tǒng)更快速地剖析出錯誤及誤測。雖然人工智能較佳，但其通常較昂貴且在大量視頻數(shù)據(jù)方面效率較低；本發(fā)明的實施例利用可視要素來使人工審計員相比于現(xiàn)有技術的人工及計算機化審計系統(tǒng)而言更為有效且成本更低。如果由可視要素傳達的信息是足夠的且不需要其他信息或數(shù)據(jù)，則在212處快速地將該警報檢出為假警報。相反，如果所述分析為非決定性的或另外需要更多信息(如210處所指示)，則審計員可請求更多數(shù)據(jù)(例如，請求額外的數(shù)據(jù)或流視頻)且在214處瀏覽額外視頻?？梢曇匕▉碜暂^大的原始數(shù)據(jù)源(亦即，視頻流)及可選的其他相關聯(lián)數(shù)據(jù)的單個圖像、一組圖像或緊密流子集(且可選地并入文本及其他非可視數(shù)據(jù))?？梢曇叵鄬τ谝曨l饋給或其部分而言可具有小得多的數(shù)據(jù)大小(例如，具有文本的一個、兩個或三個圖像，相比于一段時間上的具有更多圖像的流)，從而減小帶寬、存儲器及其他系統(tǒng)資源需求。結果顯示器120的實例包括顯示于計算機桌面中的瀏覽器窗口、在蜂窩電話及其他移動設備上顯示圖像的聊天應用及文本消息傳送應用，以及對于本領域技術人員將顯而易·見的額外實施方式。可視要素116均包括在時間上與觸發(fā)該可視要素的創(chuàng)建的警報事件同時期的至少一個圖像(即，在同一時間出現(xiàn)或在時間上緊鄰)，及在該同時期的圖像之前或之后出現(xiàn)的至少一個其他圖像。接著在120處的結果瀏覽器或其他呈現(xiàn)設備中將所述可視要素116提供給分析員，以用于進行審計來作出關于該警報的有效性的判定，例如，判定與所生成的可視要素相關聯(lián)的警報是假警報還是對指定或關聯(lián)的事件出現(xiàn)的真實指示?？勺詳?shù)據(jù)歸檔管理器112取回數(shù)據(jù)以用于在116處生成可視要素，且審計員亦可在120處與數(shù)據(jù)歸檔管理器112通信以按需取回額外數(shù)據(jù)。在本實例中，通過顯示設備120將可視要素提供給人工分析員，而在其他實施例中，可單獨由應用一個或多個算法的自動化視頻分析系統(tǒng)來執(zhí)行120處的審計，或結合人工審計員來執(zhí)行所述審計。根據(jù)警報主題上下文而選擇可視要素，以使審計員快速地分析并識別源視頻數(shù)據(jù)內的信息，以便在來自視頻數(shù)據(jù)的有限采樣的所關注(警報)的指定事件、動作、行為等方面有效地理解所選視頻數(shù)據(jù)的域中所發(fā)生的事項，從而(例如)藉由檢查僅單個圖像或一組較小圖像而非檢查一組較大圖像的大得多(在數(shù)據(jù)大小及顯示時間兩者上)的原始視頻饋給來判定警報是假還是真。藉由首先提取警報的可視要素來改進對視頻分析數(shù)據(jù)進行的人工審計的效力，所述可視要素提供該警報的集成了代表性圖像及其他可用提示的簡短摘要。所述可視要素允許審計員快速地(例如，在幾秒內)判定是否需要進一步調查而不觀察任何源視頻或其他非要素視頻數(shù)據(jù)審計員僅需在必要時探究歸檔系統(tǒng)以獲取更多證據(jù)。由于在212處僅自可視要素即可作出“假”判定，因此可實現(xiàn)優(yōu)于現(xiàn)有技術系統(tǒng)(其需要瀏覽視頻流或進行一些其他額外數(shù)據(jù)取回及檢查)的檢查時間及資源節(jié)省。相對于如現(xiàn)有技術中所需的檢查較大源視頻或多介質流輸入而言，本發(fā)明的實施例使得審計員能夠在較短時間量內剪除大部分假警報，且在視頻調查過程中將與視頻分析結果相關聯(lián)的可視要素提供給分析員，所述視頻調查過程相對于現(xiàn)有技術的審計過程而言可被縮短而又不損害分析準確性。本發(fā)明的實施例提供用于智能地管理計算資源及帶寬資源以維持視頻分析的可接受性能水平的架構。因此，可提供架構以用于可視地匯總分析系統(tǒng)的結果，其中可視摘要要素描繪于一個或多個圖像及文本(在一些實例中，為附注圖像及文本)中?；趯梢曊蛞貓D像的分析檢查，可請求更多詳細信息以用于在120處進行進一步調查，例如自數(shù)據(jù)歸檔管理器112取回源視頻的較大選擇集。也可以預先使可視摘要要素圖像成流。可視要素通常為緊密 的和/或壓縮的，使得其相比于視頻數(shù)據(jù)而言需要較小帶寬來用于審計系統(tǒng)中的可視化；僅需要將幀或有限視頻選擇集傳輸至審計員以供檢查，而并非如現(xiàn)有技術中通常所需的大得多的或整個視頻饋給。較小的可視要素(例如，離散數(shù)據(jù)文件)亦可較易于下載至并存儲于本地機器中以獲得相比于較大視頻饋給的較快系統(tǒng)響應。另外，由于分析員僅需要關于事件的觀察摘要，因此剪除操作較快且其吞吐率可較高。相比于通過經由機器智能濾除進行的審計而獲得的結果，人工審計員所犯的錯誤通常更少，且因此在真實事件可能很少出現(xiàn)的應用中(諸如，在零售欺詐檢測或遺棄行李警報中)，人工審計員可提供較佳的效率，且對于本領域技術人員而言其他實例仍將顯而易見。本發(fā)明的實施例可用于其中可視事件可與離散的時間有序事務關聯(lián)的各種應用中。例如，可視事件可關于特定區(qū)域中的人工移動而創(chuàng)建，且匹配至十字轉門準入、經檢測與中轉點有關的車輛、來自自動門鎖的徽章或磁卡(card swipe)、票亭等,其指示擅自進入、盜竊、對限制區(qū)域的未授權進入等。各方法可集中于與人工活動相關聯(lián)的各種數(shù)據(jù)輸出，例如商業(yè)事務日志、零售收據(jù)、受傷報告等，且本發(fā)明的實施例并不僅限于本文中所提供的這些實例?？蓪崿F(xiàn)本發(fā)明的實施例的實例以快速地區(qū)分欺詐性零售“私下達成(sweet-hearting) ”事件與“長掃描(long-scanning) ”及與通過檢查零售區(qū)域或其他掃描區(qū)域而觸發(fā)的警報相關聯(lián)的其他非欺詐性事件。例如，圖3是零售環(huán)境(例如，具有掃描通道)中出納員相對于可能的移動向量152、154的多個可能移動及動作162的頂部透視狀態(tài)圖。(應理解，如本文中使用的“出納員”是用于表示掃描物品的人員的通用術語，且實施例預期所述掃描人員可以是店員或出納員，以及消費者、裝袋工、管理者或其他人員。)在簡單掃描運動路徑向量152中，自拾取區(qū)域156拾取物品，在掃描區(qū)域160中藉由將該物品傳遞至掃描儀的掃描范圍內而進行掃描，且接著將該物品放入裝袋區(qū)域或投放區(qū)域(droparea) 164中。拾取區(qū)域156的實例包括傳入帶(intake belt)、柜臺、購物籃及購物車,且置放區(qū)域164可以是分配帶、柜臺、購物籃或購物車中的一個或多個，其中每一個可導致不同運動。各向量154均表示與出納員的其他動作162有關且在視頻饋給中可觀察的觀察運動，其示例性地包括卸載物品，及獲取并掃描會員卡、主管/助理更動卡(override card)(SA)、優(yōu)惠券或其他條形碼卡。零售縮減(retail shrink)的一個重要部分可能歸因于雇員，且在銷售點(POS)處的出納員周圍出現(xiàn)。私下達成或“虛假掃描”描述以下動作出納員故意掃描失敗或以其他方式將物品鍵入零售事務中以便為購買物品的消費者免費地提供商品，其通常藉由掩蓋物品的條形碼、將物品堆疊于另一物品的頂部以擋住掃描儀使其無法讀取條形碼，或在掃描運動期間在掃描區(qū)域周圍傳遞所述物品以使免費物品的條形碼故意避開掃描區(qū)域中的條形碼讀取器，而將物品自輸入(拾取)位置移動通過處理(掃描)區(qū)域并進入輸出(投放或裝袋)區(qū)域。雖然視頻分析、條形碼事務檢查及其他技術可檢測可能的私下達成活動，且生成用于進一步分析并檢查零售掃描區(qū)域的視頻饋給的警報，但此類警報常常無法區(qū)分長掃描事件。長掃描事件展現(xiàn)了對象的給定零售事務中拾取、掃描和/或投放事件之間的長時間間隙，并且其中另外的正當掃描事件可能引起關于遺漏或虛假掃描或無法捕獲掃描信息的其他系統(tǒng)故障的錯誤報告，而掃描出納員并無惡意。例如，運動向量152、154相對于向量152,154中的其他向量而言可能需要不同運動，且它們亦可具有不同時間簽名(例如，相對于傳入帶拾取或投放而言，伸進購物車拾取或投放可花費較長時間)。自拾取區(qū)域156的物品移動可出于正當目的而在進入置放區(qū)域164之前繞過掃描區(qū)域160，例如在條形碼遺失或損壞的情況下結合直接鍵入物品代碼而置于一旁或在稱量按重量出售的物品時置于一旁。個別掃描的視頻饋給亦可由于不同出納員或環(huán)境特性而不同，例如，照明可歸因于當日時間而改變(日光對晚上的人工照明)，且個別出納員的年齡或身體尺寸或能力可影響手臂運動的范圍、所選定的運動路徑或相對于其他出納員而言完成類似路徑的時間，并且這些屬性中的任一個都可能引起可錯誤地報告為私下達成的長掃描。例如，在一些現(xiàn)有技術系統(tǒng)中，如果時間間隙比預期或預定時間間隔(例如，兩秒、五秒、一分鐘，或來自涵蓋所述值的范圍的另一值，等等)長，則掃描系統(tǒng)可能錯誤地記錄物品掃描，或甚至無法記錄所述事務或所掃描的物品，且由此可能在假定出納員故意地避免掃描物品的情況下發(fā)出虛假掃描/私下達成警報，而事實上出納員可能正適當?shù)貓?zhí)行操作且并未出現(xiàn)任何虛假掃描。 因此，在根據(jù)本發(fā)明的一個實施例的用于在圖3的零售環(huán)境中實施的方法或系統(tǒng)的一個實例中，利用自掃描儀區(qū)域160以日志數(shù)據(jù)方式報告的事務條形碼事件來生成可視要素數(shù)據(jù)，所述可視要素數(shù)據(jù)包括來自原始視頻流或較大靜態(tài)圖像集合的離散圖像，且根據(jù)與條形碼事件的時間對準而生成，以便通過視頻分析進行分析來產生警報(例如，圖2的202處)。在一個實施例中，可視要素包括視頻的三個靜態(tài)圖像子集幀的集合(I)拾取幀{P}，其展示在所記錄的條形碼事件lb}之前(例如，一秒前)的預定時間量處的拾取區(qū)域156，其預期展示零售店員自拾取區(qū)域156拾取物品；(2)掃描動作幀{S}，其展示在所記錄的條形碼事件lb}的時間處的掃描區(qū)域160，其預期展示所述店員將所拾取的物品移動越過掃描區(qū)域160中的掃描儀；以及(3)存放或投放幀{D}，其在所記錄的條形碼事件之后(例如，一秒后)的預定時間量處自結賬或消費者交貨區(qū)域164獲取，其預期展示所述店員將物品存放在消費者交貨區(qū)域164中。條形碼事務應被生成或以其他方式與以此時間上連續(xù)的次序出現(xiàn)的所述三個基本可視事件中的每一個相關聯(lián)首先拾取物品，接著掃描所拾取的物品，最后放下所拾取并經掃描的物品。因此，每個條形碼掃描lb}應對應于這三個不同圖像基元類型{PSD}中的每一個的集合。所述可視要素亦可被呈現(xiàn)有由掃描儀注冊于所記錄的條形碼事件中的物品的文本識別符，例如“一袋I磅的胡蘿卜，條形碼#xyz”。因此，人工審計員可將所述三個可視要素圖像與該文本識別符相比較，且快速地判定關于欺詐性動作的警報是假(例如，所述圖像中的每個圖像如所預期地展示一袋I磅的胡蘿卜)，還是替代地所述事件可能為真(例如，所述圖像中的一個或多個替代地展示一瓶紅酒)，而無需如現(xiàn)有技術中需要的那樣檢查大得多的原始視頻選擇集。如果需要，審計員可以可選地自數(shù)據(jù)存儲庫112請求更多數(shù)據(jù)(例如，具有相同事件的更多圖像的所存儲視頻流，或與店員或物品有關的歷史視頻或數(shù)據(jù)等)以用于額外的真/假判定。本發(fā)明的實施例亦可在公共運輸安全應用中提供改進效率。因此，來自數(shù)據(jù)傳感器的數(shù)據(jù)流可為來自一個或多個相機的視頻流，其中視頻分析報告關于可能的遭遺棄包裹的警報，例如，通過將遺棄物品檢測算法應用于所述視頻流而生成可疑遺棄包裹的列表。示例性算法由美國賓夕法尼亞州匹茲堡市的卡耐基梅隆大學的Guillaume Milcent及 Yang Cai 在 2005 年 12 月 9 日于 CMU-CyLab-05-008 所提出的 “Location BasedBaggageDetection for Transit Vehicles”教導，且本領域技術人員將知曉適用于本發(fā)明的實施例的其他實例。可視要素數(shù)據(jù)116可包括可疑遺棄包裹的單個圖像；如果該警報由固定人員生成而并非遺棄包裹(例如，某人在乘客終端座位中睡覺且藉此在比預期更長的時間幀內保持固定，從而使自動化系統(tǒng)將該人員誤當成大型行李物品)，則檢查該單個圖像可視要素的人工審計員將快速地判定此并非包裹且該警報為假，在此情況下自動化系統(tǒng)可能需要耗費顯著的計算資源來區(qū)分人員與對象，或現(xiàn)有技術的審計員將需要檢查大得多的視頻饋給選擇集以作出相同的假警報判定。在另一實例中，快速地比較可疑包裹的單個圖像與在觸發(fā)警報的可疑遺棄識別之前和之后拍下的另一圖像，連同文本信息(其指示關于該包裹已被遺留在任何附近人員的明顯控制之外所持續(xù)的時間的時間幀)，這可使能快速判定該警報為假，因為該圖像揭露與該包裹相關聯(lián)的人員雖然并不緊鄰該包裹但仍接近該包裹。照明變化亦可能引起關于對象存在的誤會。例如，陰影可能引起對象檢測，但對可視要素的快速檢查可判定所述陰影并非對象，該判定對于計算機而言可以是非常困難的。 在另一方面中，良好的事件檢測或取消率(recall rate)(例如，90%的事件由警報標記并取消)可能需要大量誤測來通過繪制結果的敏感度對特異性而生成有意義的接收者操作特性(ROC)曲線。降低返回的誤測在現(xiàn)有技術可提供效率，但其亦將損害取消，(例如)從而捕捉僅50%的真實事件。為了在大型事件流內捕捉相對少量的真實事件，必須從假事件生成大量的警報。本發(fā)明的實施例能夠處理高水平的假事件，其藉由經由對可視要素數(shù)據(jù)進行快速人工檢查而實現(xiàn)對假事件的迅速檢選，且由此實現(xiàn)其中真實事件頻率可能較低的高取消率。由計算機和其他可編程設備執(zhí)行的自動化視頻分析系統(tǒng)和方法可對原始視頻和其他數(shù)據(jù)饋給執(zhí)行分析，以生成在可視要素創(chuàng)建和關聯(lián)中使用的警報，且一些系統(tǒng)及方法亦可使用此類過程來識別并選擇或生成用于可視要素基元中和/或用于制訂要素分組的圖像。例如，可藉由將計算機視覺和模式識別(CVPR)算法應用于視頻饋給輸入來生成警報，諸如通過由美國紐約霍桑(Hawthorne)的IBM T. J.華森研究中心(Watson ResearchCenter)的Quanfu Fan等人于CVPR 2009提出的“Recognition of RepetitiveSequentialHuman Activity”教導的算法；或者通過由美國紐約霍桑的IBMT. J.華森研究中心的LeiDing 等人于 ICASSP 2010 提出的“GRAPHBASED EVENT DETECTION FROM REALISTIC VIDEOSUSINGffEAK FEATURE CORRESPONDENCE”教導的算法；且對于本領域技術人員而言用于本發(fā)明的其他適當實例將為顯而易見的?？赏ㄟ^分析來自給定區(qū)域的圖像內所檢測到的活動而生成可視要素圖像，在一些實施例中，這與所記錄的事件或其他數(shù)據(jù)流的任何時間關系無關。例如，可在圖像內的物理空間內限定不同的感興趣區(qū)(ROI)以用于創(chuàng)建并分析視頻圖像，且可針對每個幀在每個ROI中對藉由對視頻流進行幀差分化(或區(qū)別化)而獲得的運動像素進行計數(shù)，且通過ROI的區(qū)域進行正規(guī)化。例如，再次參考圖3，拾取區(qū)域156、掃描區(qū)域160及投放區(qū)域164可被限定以便總體上響應于與每一區(qū)內物品和/或出納員的一只手(或兩只手)的移動關聯(lián)的運動像素，而根據(jù)在所述區(qū)域內的運動序列中觀察到的圖案來創(chuàng)建相應拾取{P}、掃描{s}及投放{D}可視圖像基元。每個區(qū)域156/160/164自身可限定ROI，其中針對每個幀在每個ROI中對藉由對視頻流進行幀差分化而獲得的運動像素進行計數(shù)，且通過相應R0I156/160/164的區(qū)域進行正規(guī)化。備選地，任一區(qū)156/160/164均可涵蓋多個不同(且有時為重疊的)R0I以提供額外的粒度或基元創(chuàng)建能力。用于區(qū)分ROI內的所得到的運動序列中觀察到的運動模式的適于與本發(fā)明的實施例一起實現(xiàn)的一個實例由Quanfu Fan等人于 ICCASSP 2009提出的“Detecting Sweethearting in Retail Surveillance Videos”教導?，F(xiàn)參考圖4，本發(fā)明的一個實施例的示意性計算機化實施方式包括與視頻或靜態(tài)圖像設備336 (例如，視頻攝像機或視頻服務器)通信的計算機或其他可編程設備322，其根據(jù)本發(fā)明(例如)響應于駐留于存儲器316或存儲系統(tǒng)332內的文件中的計算機可讀代碼318而通過計算機網(wǎng)絡基礎結構326生成可視要素數(shù)據(jù)以用于判定人類行為。所述實施方 式旨在證明本發(fā)明的實施例可實施于網(wǎng)絡環(huán)境(例如，因特網(wǎng)、廣域網(wǎng)(WAN)、局域網(wǎng)(LAN) 或虛擬專用網(wǎng)(VPN)等)中。貫穿網(wǎng)絡326的通信可經由各種類型的通信鏈路的任何組合而發(fā)生例如，通信鏈路可包括可利用有線和/或無線傳輸方法的任何組合的可尋址連接。在通信經由因特網(wǎng)而發(fā)生的情況下，可藉由常規(guī)的基于TCP/IP套接字的協(xié)議來提供連接性，且可使用因特網(wǎng)服務提供商來建立至因特網(wǎng)的連接性。此外，網(wǎng)絡基礎結構326旨在證明本發(fā)明的一個實施例的應用可由服務提供商部署、管理、提供服務等，所述服務提供商為他人實施、部署和/或執(zhí)行本發(fā)明的實施例的功能。計算機322包括各種組件，其中一些組件例示于計算機322內。更具體地說，如所展示，計算機322包括處理單元(CPU) 338，所述CPU 338與存儲器316通信且與一個或多個外部I/O設備/資源328及存儲系統(tǒng)332通信。一般而言，處理單元338可執(zhí)行計算機程序代碼，諸如用于實施圖中例示的過程步驟中的一個或多個的程序代碼，所述計算機程序代碼可存儲于存儲器316和/或外部存儲系統(tǒng)332或設備328中。網(wǎng)絡基礎結構326只是例示用于實施本發(fā)明的各實施例的計算機基礎結構的各種類型。例如，在一個實施例中，計算機基礎結構326包括經由網(wǎng)絡進行通信的兩個或兩個以上計算設備(例如，服務器群集)。此外，計算機322僅代表可包括硬件的眾多組合的各種可能計算機系統(tǒng)。就此而言，在其他實施例中，計算機322可包括具有用于執(zhí)行特定功能的硬件和/或計算機程序代碼的任何專用計算制品、具有專用及通用硬件/軟件的組合的任何計算制品或其類似者。在每種狀況下，可分別使用標準編程及工程技術來創(chuàng)建程序代碼及硬件。此外，處理單元338可包括單個處理單元，或跨(例如)客戶端及服務器上的一個或多個位置中的一個或多個處理單元而分布。類似地，存儲器316和/或存儲系統(tǒng)332可包括位于一個或多個物理位置處的各種類型的數(shù)據(jù)存儲和/或傳輸介質的任何組合。另外，I/O接口 324可包括用于與外部設備328中的一個或多個交換信息的任何系統(tǒng)。另外應理解，一個或多個額外組件(例如，系統(tǒng)軟件、數(shù)學協(xié)處理單元等)(未圖示)可包括在計算機322 中。一個實施例在訂閱、廣告和/或付費的基礎上執(zhí)行本發(fā)明的過程步驟。亦即，服務提供商可提供對視頻數(shù)據(jù)的自動化分析以用于判定人類行為。在此狀況下，服務提供商可為一個或多個消費者創(chuàng)建、維護及支持計算機基礎結構(諸如，執(zhí)行本發(fā)明的實施例的過程步驟的網(wǎng)絡計算機基礎結構326)。作為回報，所述服務提供商可依據(jù)訂閱和/或費用協(xié)議自消費者接收付款，和/或所述服務提供商可從向一個或多個第三方銷售廣告內容而接收付款。在又一實施例中，本發(fā)明提供一種計算機實施的方法，其用于執(zhí)行上文所描述的用于對視頻數(shù)據(jù)進行自動化分析以判定人類行為的過程、系統(tǒng)及物品中的一個或多個。在此狀況下，可提供諸如計算機基礎結構326的計算機基礎結構，且可獲得(例如，創(chuàng)建、購買、使用、修改等)用于執(zhí)行本發(fā)明的實施例的過程步驟的一個或多個系統(tǒng)且將其部署至所述計算機基礎結構。就此而言，系統(tǒng)的部署可包括以下各項中的一個或多個(I)在計算設備(諸如，計算機/設備322/336)上安裝來自計算機可讀介質的程序代碼；(2)將一個或多個計算設備添加至所述計算機基礎結構；以及(3)并入和/或修改所述計算機基礎結構的一個或多個現(xiàn)有系統(tǒng)以使所述計算機基礎結構能夠執(zhí)行本發(fā)明的過程步驟。本文中所用的術語，僅僅是為了描述特定的實施例，而不意圖限定本發(fā)明。本文中所用的單數(shù)形式的“一個”和“該”，旨在也包括復數(shù)形式，除非上下文中明確地另行指出。還要知道，“包含”和/或“包含”一詞在本說明書中使用時，說明存在所指出的特征、整體、步 驟、操作、元素和/或組件，但是并不排除存在或增加一個或多個其它特征、整體、步驟、操作、元素和/或組件，以及/或者它們的組合。如本文中所使用，應理解術語“程序代碼”和“計算機程序碼”為同義的且指一組指令的以任何語言、代碼或符號表示的任何表達，旨在使具有信息處理能力的計算設備直接執(zhí)行特定的功能，或者執(zhí)行以下兩者之一或全部后執(zhí)行特定的功能a)轉換為另一種語言、代碼或符號；和/或b)以不同的材料形式再現(xiàn)。就此而言，程序代碼可實施為以下各項中的一個或多個應用/軟件程序、組件軟件/函數(shù)庫、操作系統(tǒng)、用于特定計算和/或I/O設備的基礎I/O系統(tǒng)/驅動程序等。本說明書(包括權利要求書)中所描述且如附圖中所例示的特定實例及組件可被區(qū)分或另外通過唯一形容詞來彼此識別(例如，“第一”組件區(qū)別于多個組件中的另一 “第二”或“第三”組件，“主要”組件區(qū)別于“次要”組件或“另一”項目，等等)。此類識別形容詞通常用于減少混淆或不確定性，且不應被解釋為將權利要求書限于任何特定例示組件或實施例，或暗示任何權利要求組件、限制或過程步驟的任何優(yōu)先級、排序或排列。以下的權利要求中的對應結構、材料、操作以及所有功能性限定的裝置或步驟的等同替換，旨在包括任何用于與在權利要求中具體指出的其它單元相組合地執(zhí)行該功能的結構、材料或操作。所給出的對本發(fā)明的描述其目的在于示意和描述，并非是窮盡性的，也并非是要把本發(fā)明限定到所表述的形式。對于所屬技術領域的普通技術人員來說，在不偏離本發(fā)明范圍和精神的情況下，顯然可以作出許多修改和變型。對實施例的選擇和說明，是為了最好地解釋本發(fā)明的原理和實際應用，使所屬技術領域的普通技術人員能夠明了，本發(fā)明可以有適合所要的特定用途的具有各種改變的各種實施方式。
權利要求
1.一種用于審計視頻分析數(shù)據(jù)的可編程設備的方法，所述方法包括 接收視頻分析組件針對可視圖像流觸發(fā)的警報， 其特征在于，所述方法還包括 響應于所述警報，從所述可視圖像流生成一組警報圖像，所述一組警報圖像包括與所觸發(fā)的警報同時期的圖像以及所述可視圖像流中在該同時期圖像之前或之后出現(xiàn)的至少一個其他圖像，使得檢查者可以使用所述一組警報圖像來檢查所述警報是真警報還是假警報；以及 所述方法適于根據(jù)所述檢查者的請求而提供來自所述可視圖像流的額外圖像以便確認所述警報是真警報還是假警報的判定，使得僅響應于所述請求才提供所述額外圖像。
2.如權利要求1的方法，還包括 將所述可視圖像流歸檔在存儲庫中；以及 取回從所述可視圖像流提供的所述額外圖像。
3.如權利要求2的方法，還包括 將與所述同時期圖像和所述至少一個其他圖像關聯(lián)的文本數(shù)據(jù)并入所述一組警報圖像中，使得所述檢查者可使用所述文本數(shù)據(jù)。
4.如權利要求3的方法，其中生成所述一組警報圖像的特征還在于 根據(jù)與所觸發(fā)警報的時間的時間接近度來選擇所述至少一個其他圖像中的每個圖像。
5.如權利要求4的方法，還包括經由計算機視覺和模式識別來分析所述可視圖像流以確定所述觸發(fā)警報的出現(xiàn)。
6.如權利要求5的方法，其中所述觸發(fā)警報指示在物品掃描系統(tǒng)中掃描的物品的可疑虛假掃描事件； 其中所述可視圖像流是所述掃描系統(tǒng)中的掃描站的圖像的視頻流； 其中所述文本數(shù)據(jù)是在時間上與所述視頻流相關的事務日志流； 其中與所述觸發(fā)警報同時期的圖像是所述掃描站的掃描儀區(qū)域的視頻流中的與所記錄的掃描事件同時期出現(xiàn)的幀圖像；并且 其中在所述同時期圖像之前或之后出現(xiàn)的所述至少一個其他圖像包括 所述掃描站的拾取區(qū)域的先前幀圖像，所述先前幀圖像在所述掃描儀區(qū)域圖像之前出現(xiàn)；以及 所述掃描站的投放區(qū)域的稍后幀圖像，所述稍后幀圖像在所述掃描儀區(qū)域圖像之后出現(xiàn)。
7.如權利要求5的方法，其中所述觸發(fā)警報是可疑物品遺棄； 其中所述可視圖像流是視頻攝像機流，所述視頻攝像機流包括含有所述可疑遺棄物品的區(qū)域的圖像幀； 其中經由所述計算機視覺和模式識別來分析所述可視圖像流以確定所述可疑物品遺棄的出現(xiàn)包括使用遺棄物品檢測算法；并且 其中與所述可疑物品遺棄同時期的圖像是包括所述可疑遺棄物品的區(qū)域的視頻攝像機流的幀圖像，所述幀圖像包括所述可疑遺棄物品；并且 其中在所述同時期圖像之前或之后出現(xiàn)的所述至少一個其他圖像包括 包括所述可疑遺棄物品的區(qū)域的先前幀圖像，所述先前幀圖像在所述同時期圖像之前出現(xiàn)；以及 包括所述可疑遺棄物品的區(qū)域的稍后幀圖像，所述稍后幀圖像在所述同時期圖像之后出現(xiàn)。
8.一種用于審計視頻分析數(shù)據(jù)的系統(tǒng)，所述系統(tǒng)包括 接收部件，用于接收視頻分析組件針對可視圖像流觸發(fā)的警報， 其特征在于，所述系統(tǒng)還包括 生成部件，用于響應于所述警報而從所述可視圖像流生成一組警報圖像，所述一組警報圖像包括與所觸發(fā)的警報同時期的圖像以及所述可視圖像流中在該同時期圖像之前或之后出現(xiàn)的至少一個其他圖像，使得檢查者可以使用所述一組警報圖像來檢查所述警報是真警報還是假警報；以及 額外圖像供應部件，用于根據(jù)所述檢查者的請求而提供來自所述可視圖像流的額外圖像以便確認所述警報是真警報還是假警報的判定，使得僅響應于所述請求才提供所述額外圖像。
9.如權利要求8的系統(tǒng)，還包括 歸檔部件，用于將所述可視圖像流歸檔在存儲庫中；以及 取回部件，用于取回從所述可視圖像流提供的所述額外圖像。
10.如權利要求9的系統(tǒng)，還包括 文本并入部件，用于將與所述同時期圖像和所述至少一個其他圖像關聯(lián)的文本數(shù)據(jù)并入所述一組警報圖像中，使得所述檢查者可使用所述文本數(shù)據(jù)。
11.如權利要求10的系統(tǒng)，其中所述生成部件的特征還在于 選擇部件，用于根據(jù)與所觸發(fā)警報的時間的時間接近度來選擇所述至少一個其他圖像中的每個圖像。
12.如權利要求11的系統(tǒng)，還包括分析部件，用于經由計算機視覺和模式識別來分析所述可視圖像流以確定所述觸發(fā)警報的出現(xiàn)。
13.如權利要求11的系統(tǒng)，其中所述觸發(fā)警報指示在物品掃描系統(tǒng)中掃描的物品的可疑虛假掃描事件； 其中所述可視圖像流是所述掃描系統(tǒng)中的掃描站的圖像的視頻流； 其中所述文本數(shù)據(jù)是在時間上與所述視頻流相關的事務日志流； 其中與所述觸發(fā)警報同時期的圖像是所述掃描站的掃描儀區(qū)域的視頻流中的與所記錄的掃描事件同時期出現(xiàn)的幀圖像；并且 其中在所述同時期圖像之前或之后出現(xiàn)的所述至少一個其他圖像包括 所述掃描站的拾取區(qū)域的先前幀圖像，所述先前幀圖像在所述掃描儀區(qū)域圖像之前出現(xiàn)；以及 所述掃描站的投放區(qū)域的稍后幀圖像，所述稍后幀圖像在所述掃描儀區(qū)域圖像之后出現(xiàn)。
14.如權利要求11的系統(tǒng)，其中所述觸發(fā)警報是可疑物品遺棄； 其中所述可視圖像流是視頻攝像機流，所述視頻攝像機流包括含有所述可疑遺棄物品的區(qū)域的圖像幀； 其中經由所述計算機視覺和模式識別來分析所述可視圖像流以確定所述可疑物品遺棄的出現(xiàn)包括使用遺棄物品檢測算法；并且 其中與所述可疑物品遺棄同時期的圖像是包括所述可疑遺棄物品的區(qū)域的視頻攝像機流的幀圖像，所述幀圖像包括所述可疑遺棄物品；并且 其中在所述同時期圖像之前或之后出現(xiàn)的所述至少一個其他圖像包括 包括所述可疑遺棄物品的區(qū)域的先前幀圖像，所述先前幀圖像在所述同時期圖像之前出現(xiàn)；以及 包括所述可疑遺棄物品的區(qū)域的稍后幀圖像，所述稍后幀圖像在所述同時期圖像之后出現(xiàn)。
15.一種包括計算機程序代碼的計算機程序元素，當所述計算機程序代碼被載入計算機系統(tǒng)并在其上執(zhí)行時，將導致所述計算機執(zhí)行如權利要求I至7中的任一權利要求所述的方法的各步驟。
全文摘要
一種用于審計視頻分析數(shù)據(jù)的可編程設備的方法，所述方法包括接收視頻分析組件針對可視圖像流觸發(fā)的警報，其特征在于，所述方法還包括響應于所述警報，從所述可視圖像流生成一組警報圖像，所述一組警報圖像包括與所觸發(fā)的警報同時期的圖像以及所述可視圖像流中在該同時期圖像之前或之后出現(xiàn)的至少一個其他圖像，使得檢查者可以使用所述一組警報圖像來檢查所述警報是真警報還是假警報；以及所述方法適于根據(jù)所述檢查者的請求而提供來自所述可視圖像流的額外圖像以便確認所述警報是真警報還是假警報的判定，使得僅響應于所述請求才提供所述額外圖像。
文檔編號G08B13/196GK102884557SQ201180022685
公開日2013年1月16日 申請日期2011年5月9日 優(yōu)先權日2010年5月13日
發(fā)明者范權福, S·U·潘坎蒂, 宮澤幸子, Z·M·魯 申請人:國際商業(yè)機器公司