国产精品1024永久观看,大尺度欧美暖暖视频在线观看,亚洲宅男精品一区在线观看,欧美日韩一区二区三区视频,2021中文字幕在线观看

  • <option id="fbvk0"></option>
    1. <rt id="fbvk0"><tr id="fbvk0"></tr></rt>
      <center id="fbvk0"><optgroup id="fbvk0"></optgroup></center>
      <center id="fbvk0"></center>

      <li id="fbvk0"><abbr id="fbvk0"><dl id="fbvk0"></dl></abbr></li>

      采用視頻分析檢測可疑活動的方法及裝置的制作方法

      文檔序號:6567585閱讀:256來源:國知局
      專利名稱:采用視頻分析檢測可疑活動的方法及裝置的制作方法
      采用視頻分析檢測可疑活動的方法及裝置背景技術零售店一般使用銷售點終端或其它交易終端,通常稱為收銀機,以允許店 內顧客購買物品。例如,在常見的百貨公司、超級市場或其它零售店中,顧客 在整個店內收集要買的物品,并將它們放置在購物車、購物籃中或只是把它們 帶到銷售點終端,從而在交易中購買那些物品。銷售點終端可配有諸如收銀員 之類被商店雇用以幫助顧客完成交易的操作員。在某些情形,零售店實行銷售 點終端自助結賬,顧客就是操作員。在這兩種情形中,操作員一般將欲購買的 物品放置在柜臺、傳送帶或其它物品輸入?yún)^(qū)上。銷售點終端包括諸如激光掃描 器或光學掃描器的掃描器,操作其以識別顧客欲購買的各物品所附的通用產(chǎn)品代碼(UPC)標簽或條形碼。激光掃描器通常是與作為銷售點終端組成部分的計算機相連接的外圍設備。為了掃描物品,操作員從物品輸入?yún)^(qū)依次撿起各物 品,使物品通過掃描區(qū),諸如嵌入于柜臺或結賬區(qū)內的玻璃窗,從而令激光掃描器檢測UPC碼。 一旦銷售點終端識別了物品上的UPC碼,計算機就在數(shù)據(jù)庫中執(zhí)行查尋以確定被掃描物品的價格和標識?;蛘?,在操作員可掃描物品的所有情形中,操作員同樣可將UPC或產(chǎn)品識別碼手動或通過諸如無線射頻識別 (RFID)閱讀器的自動產(chǎn)品識別設備輸入到終端。術語"掃描"通常被定義為 包括將交易物品輸入到交易終端的所有方法。同樣地,術語"掃描器"通常被 定義為任何自動的和/或手動的,用于記錄交易信息的交易終端。當操作員依次掃描或輸入欲購買的各物品時,銷售點終端保留交易中所有 物品的累計總購買價格。對于操作員成功掃描或輸入的各物品,銷售點終端一 般會發(fā)出嘀嘀的響聲或音調,從而向操作員指明物品已經(jīng)被銷售點終端掃描, 并且相應地,操作員將物品放置于物品輸出區(qū),諸如下游傳送帶或讓顧客取回 物品或將物品裝入購物袋的其它區(qū)。 一旦交易中的所有物品照這樣被掃描,操 作員指示銷售點終端掃描過程被完成,并且銷售點終端將總購買價格顯示給顧 客,顧客則為該交易中購買的物品付款給商店。發(fā)明內容用于物品購買的現(xiàn)有系統(tǒng)采用掃描器或其它通過代碼進行自動物品識別 的裝置,其存在許多不足之處。特別地,這些系統(tǒng)的操作可受到操作員以有意 或無意的方式讓顧客無需付款而得到一個或多個物品的危及。特別地,這些系 統(tǒng)容許"直通",也稱為"舞弊",在其中當該物品移動通過交易區(qū)時,操作員有意或偶然沒能掃描物品。在這些情形,POS系統(tǒng)根本不檢測未掃描的物品, 因而該物品也根本不計入買價。在這些情形,顧客實際上是免費得到物品。零 售連鎖店每年由于此類操作員差錯或欺詐活動損失數(shù)百萬美元。在非欺詐的例子中,操作員在交易中可無意地傳送物品通過掃描區(qū)并將物品放置在諸如下游傳送帶的物品輸出區(qū)中,而沒有進行物品掃描。也許操作員 沒有注意和留意(或不介意)在物品掃描時掃描器沒有發(fā)出嘀嘀聲。在代表零售店中欺詐活動的舞弊的例子中,操作員可幫助與其有私交的顧客(例如朋友或操作員的同謀)故意使POS系統(tǒng)不掃描物品,當操作員移動物品通過交易區(qū)時,諸如用他們的手遮蓋l)PC標簽或將UPC碼移動到掃描器范圍以外。在這些情形,物品被包括在其它也許已經(jīng)被掃描或未被掃描的物品中, 并且顧客或操作員繼續(xù)向前就像沒有任何不當?shù)氖掳l(fā)生。在操作員處理完所有 交易中的物品后,或者通過真實的掃描,其通常掃描較便宜的物品來使交易在可能正在觀察的人看起來合法;或者通過舞弊,此情形下未掃描的物品和看起 來已經(jīng)被掃描的物品放在一起,顧客支付給操作員的買價僅反映所有被掃描和 被輸入的物品的總金額。付款后,顧客從商店拿走所有被掃描的/被輸入的和未 被掃描的物品,而僅為那些被掃描或被輸入的物品付款。在另一類被稱為標簽調換的欺詐例中,操作員使POS系統(tǒng)在交易時掃描與 被傳送通過掃描區(qū)的物品不同的物品。在這些情形,顧客或操作員可用另一較 便宜物品的UPC標簽替代原來的并通常較貴的物品的標簽。在這種情形中,進 行了掃描但被POS系統(tǒng)識別的是錯誤的物品。這樣,系統(tǒng)會以大大低于顧客所 得物品價值的價格掃描該物品。安全系統(tǒng)設計者已試圖對現(xiàn)有技術進行改進,來檢測使用POS系統(tǒng)時發(fā)生 的欺詐或偶然的操作員差錯。檢測直通和舞弊領域的現(xiàn)有系統(tǒng)提供對反常的長 "掃描間隔"的檢測。"掃描間隔"是銷售點終端連續(xù)掃描之間的時間量。當 物品被傳送通過而沒有發(fā)生掃描,掃描間隔增加直到下一次掃描。對于通過將 交易中被掃描物品之間的掃描間隔和假定操作員的平均掃描間隔相比較,現(xiàn)有 的掃描間隔法試圖識別物品繞過掃描器沒有被掃描的事件。現(xiàn)有的掃描間隔檢測法普遍被認為是不實用的,因為掃描間隔已被發(fā)現(xiàn)至 多是"嘈雜的"測量。這是由于完全合法的掃描間隔可由于延遲而發(fā)生極大的 變化,這些延遲諸如是由產(chǎn)品稱重、手動輸入沒有標簽或無法被掃描的物品以 及重新掃描首次通過時未被掃描的物品而引起的。所以掃描間隔不是可靠的方 法,因此現(xiàn)有系統(tǒng)試圖采用掃描間隔作為檢測欺詐活動的方法,存在許多問題。相反,本發(fā)明揭示的系統(tǒng)采用視頻數(shù)據(jù)分析技術,以下將闡明其如何應用 于檢測諸如舞弊或直通的活動。特別地,本發(fā)明揭示的系統(tǒng)檢測在收銀機、POS 或其它交易終端處的、當諸如顧客或店員的操作員在掃描器(或RFID閱讀器)周圍傳送一個或多個物品而沒有將其掃描,或當操作員把物品的錯誤代碼掃描 或手動輸入到交易終端中時而造成的偷竊活動或庫存遺失。本發(fā)明揭示的系統(tǒng) 也可檢測物品被誤貼不正確的條形碼標簽而被掃描器誤讀或被操作員當作錯 誤的物品輸入。一些實施例采用視頻分析與由POS終端實際掃描的物品的交易 掃描數(shù)據(jù)相結合。應理解采用掃描的銷售點終端或收銀機僅是交易終端的一些例子,并且系 統(tǒng)不限于僅在零售店檢測欺詐活動。此外,掃描不限于固定掃描器的激光掃描,也可包括手持式掃描器或無線射頻識別(RFID)閱讀器。系統(tǒng)也可應用于操作員通過鍵盤手動輸入代碼或其它物品識別碼到交易終端的情形。本文揭示的系 統(tǒng)一般可應用于能獲取交易數(shù)據(jù)用于與該交易相關聯(lián)的視頻數(shù)據(jù)作比較的任 何環(huán)境。例如,采用RFID標簽識別物品的系統(tǒng)可從本文揭示的系統(tǒng)中獲益。例如, 收費站系統(tǒng)提供行駛通過收費站的車輛的視頻數(shù)據(jù),并且提供諸如人的操作員 或諸如RFID車輛收發(fā)讀取系統(tǒng)的自動掃描器,從而向公路上行駛的車輛收取 通行費。欺詐活動會出現(xiàn)在此類系統(tǒng)中,例如,若車輛配有不恰當?shù)氖瞻l(fā)器(例 如卡車配有汽車收發(fā)器)。終端操作員也可指店員或顧客,正如在諸如自助結 賬交易終端的情形。更特定地,本文揭示的系統(tǒng)包括用于檢測交易結果的方法和裝置,諸如與 顧客在交易終端進行物品交易(例如購買、退款、作廢等)相關聯(lián)的可疑活動。 系統(tǒng)獲得與交易區(qū)相關聯(lián)的視頻數(shù)據(jù)。視頻數(shù)據(jù)可,例如,從聚焦于超市或其 它零售店內的結賬收銀機或其它交易區(qū)的高位攝像機處獲得。系統(tǒng)應用作為系 統(tǒng)的一部分進行揭示的自動機器視頻分析算法,來分析至少一部分視頻數(shù)據(jù), 從而獲得涉及與交易區(qū)相關聯(lián)的至少一部分交易的至少一個視頻參數(shù)。例如, 系統(tǒng)可分析視頻數(shù)據(jù)以跟蹤(例如識別其存在)交易區(qū)內的交易涉及的物品。 此過程可從視頻數(shù)據(jù)分析來自動識別交易中涉及的物品的存在。這可通過例如 自動檢測交易區(qū)內的物品活動和/或交易區(qū)內的操作員活動實現(xiàn)。物品的存在的 檢測可包括檢測從交易區(qū)的感興趣區(qū)域移出物品和/或檢測物品引入到交易區(qū) 的感興趣區(qū)域內。在一個設置中,視頻交易參數(shù)被簡化為視頻計數(shù),即視頻分析算法識別為 已被操作員在交易中處理的物品數(shù)目。例如,當操作員移動物品通過交易區(qū)時, 物品即被處理,不管物品是否被掃描或輸入。因而視頻計數(shù)可對既被處理又被 掃描/輸入的物品和被處理但未被掃描/輸入的物品進行檢測和計數(shù)。在另一個設置中,視頻交易參數(shù)是一個或多個檢測器對所有或部分視頻數(shù) 據(jù)進行分析產(chǎn)生的檢測事件次序。檢測器通常是應用于視頻數(shù)據(jù)感興趣區(qū)域的 自動圖像處理算法。例如,視頻數(shù)據(jù)可覆蓋大部分交易區(qū),其包括操作員(例如店員和/或顧客)、物品輸入?yún)^(qū)、掃描區(qū)和物品輸出區(qū)。檢測器可分析此區(qū)的 全部或一部分,諸如只是銷售點終端視頻數(shù)據(jù)的輸入傳送帶區(qū)。圖像分離和比 較進程可被應用于一個或多個感興趣區(qū)域的視頻數(shù)據(jù)幀,以檢測被引入或移出 感興趣區(qū)域的物品的存在。當物品照這樣被檢測時,產(chǎn)生的檢測事件指明物品 的存在、檢測時間和其它諸如物品尺寸的特性??捎胁恢挂粋€感興趣區(qū)域并且 事件次序可包括來自不同檢測器的許多事件,或者可為單個檢測器,其只是對 于一個感興趣區(qū)域產(chǎn)生單組事件。通過采用此方法分析視頻數(shù)據(jù),系統(tǒng)能夠從 視頻分析檢測到交易中個別物品的存在。在一些設置中,系統(tǒng)可確定整個交易 中有多少物品看起來被處理。系統(tǒng)獲得至少一個源于與交易區(qū)相關聯(lián)的交易終端的交易參數(shù)。在一個設 置中,預期交易參數(shù)為從交易終端(例如銷售點終端)所產(chǎn)生的交易數(shù)據(jù)中獲 得的交易計數(shù)或其它物品的存在指明。當各物品被掃描或識別時,數(shù)據(jù)從掃描 裝置發(fā)送到交易終端的處理器。在此揭示的系統(tǒng)訪問該數(shù)據(jù)(這可采用多種方 法實現(xiàn),以下將詳述)或在逐個掃描的基礎上,或作為來自數(shù)據(jù)庫的數(shù)據(jù)集合, 從而確定由交易處理的大量物品的存在(在某些情形還有標識)。采用視頻分析與交易數(shù)據(jù)比較相結合,系統(tǒng)可確定視頻數(shù)據(jù)分析中識別的 物品的存在是否在交易數(shù)據(jù)中有相對應的存在,若沒有,則識別可疑活動。例 如,對各檢測器,系統(tǒng)可將該檢測器的該組檢測事件與至少一部分交易數(shù)據(jù)相 比較,從而識別出由該檢測器檢測到的大量物品與這部分交易數(shù)據(jù)中所標示的 大量物品之間的至少一處明顯差異。諸如交易計數(shù)(例如掃描計數(shù))或交易物 品標識的交易數(shù)據(jù)因而代表一個或大量(對整個交易)被掃描的物品的存在, 而來自視頻分析的檢測事件數(shù)據(jù)或視頻計數(shù)代表被操作員移動通過交易區(qū)的 物品的存在(或數(shù)量)。在此揭示的許多其它實施例在詳細說明部分進行詳述。本發(fā)明的其它實施例包括任何類型的計算機設備、工作站、掌上或膝上型 電腦、POS或交易終端,或其它配置了軟件和/或電路系統(tǒng)(例如處理器)以處 理在此揭示的任一或所有方法操作的系統(tǒng)。本系統(tǒng)可包括用于獲得視頻的攝像 機,或者本系統(tǒng)可為獨立計算機,其接收從一個或多個零售點處的一個或多個 POS終端收集的視頻數(shù)據(jù)和掃描數(shù)據(jù)作為輸入。換句話說,被編程或配置成以 在此所揭示的任何方法運行的計算機設備或處理器都被認為是本發(fā)明的實施例。系統(tǒng)無需包括攝像機和POS終端,而可為由接收視頻和交易數(shù)據(jù)的安全服務供應商操作的遠程計算機系統(tǒng)。可在收集視頻和交易數(shù)據(jù)時進行實時處理,以識別或許已經(jīng)發(fā)生的欺詐或 可疑活動(并且可包括通知安全管理員,其可接近操作員并檢查交易物品和收 據(jù)以決定欺詐是否發(fā)生),或者,處理可在收集了一個或多個交易的視頻和交 易數(shù)據(jù)后(即可為后處理)的某個時間進行。若為后處理,操作員的用戶名可被保持和跟蹤,并且與該操作員相關聯(lián)的可疑活動歷史記錄可被累積。在隨后 對該操作員的交易進行分析時(操作員用唯一的用戶名登錄到POS終端,因而 操作員進行的所有交易可與該操作員相關聯(lián)),在此揭示的系統(tǒng)可考慮該操作 員的歷史記錄以調整賦予交易結果的可疑度。因而起初的可疑結果可不標記為 欺詐活動,但是如果某一時間段內(例如若干小時、天等)對于同一操作員檢 測到第二、第三、第四次交易結果,與那些交易相關聯(lián)的視頻可自動被檢測并 且將其傳送以供用另一方式進行檢驗,諸如人工檢驗來確認欺詐活動發(fā)生。在一個設置中,所處理的交易數(shù)據(jù)針對一個或多個零售點的一個或多個 POS終端的許多交易,并且那些按上述方法被處理的指明為欺詐或可疑活動的 交易被標記,并且僅對那些交易的視頻數(shù)據(jù)采用其它技術作進一步檢驗,諸如 人工檢驗,從而對最初由在此所述的自動(例如非人工或基于機器的)處理方 法識別為欺詐或可疑的活動進行確認。更多的變體和替代實施例將在以下詳細 說明書部分更充分地說明。本發(fā)明揭示的其它實施例包括執(zhí)行以上概括和以下詳述的步驟和操作的 軟件程序。 一個這樣的實施例包括計算機程序產(chǎn)品,其具有計算機程序邏輯編 碼的計算機可讀介質,當在與存儲器和處理器相結合的計算機設備中運行時,使處理器按程序運行如本發(fā)明所述的操作。這樣的設置通常以軟件、代碼和/ 或其它數(shù)據(jù)(例如數(shù)據(jù)結構)設置或編碼在計算機可讀介質上,諸如光介質(例如CD-ROM)、軟盤或硬盤或其它介質中,諸如在一個或多個ROM或RAM 或PROM芯片內的固件或微碼或專用集成電路(ASIC)。軟件或固件或其它 此類設置可被安裝在計算機設備上以使計算機設備運行如本發(fā)明實施例所述 的技術。應理解本發(fā)明的系統(tǒng)可被嚴格實施為軟件程序、軟件與硬件、或諸如處理 器內或操作系統(tǒng)內的單獨硬件。本發(fā)明實施例可在由美國馬薩諸塞州伯林頓的 St叩lift公司制造的計算機系統(tǒng)、處理器和計算機程序產(chǎn)品和/或軟件應用內實 施。


      本發(fā)明的上述和其它目的、特性以及優(yōu)點在以下更特定的本發(fā)明實施例說 明中得以體現(xiàn),各附圖所示的相同的標號在不同的圖中表示相同的部件。附圖 并不一定是按比例繪制的,而側重于闡明本發(fā)明的實施例、原則和概念。圖1闡示了網(wǎng)絡環(huán)境的設置實例,其包括視頻監(jiān)視系統(tǒng)和配有按照在此所 揭示內容而設置的交易監(jiān)控器的計算機系統(tǒng);圖2為交易監(jiān)控器處理在一個設置中進行交易區(qū)內的直通活動檢測的操作 流程圖;圖3A為交易監(jiān)控器在一個設置實例中執(zhí)行處理的流程圖,其中誤識別的 物品被檢測;圖3B顯示了檢測感興趣區(qū)域內活動以指明物品的存在的一種方法;圖4顯示了交易監(jiān)控器在一個設置中執(zhí)行的處理,其采用視頻數(shù)據(jù)分析對交易中涉及的物品進行計數(shù);圖5顯示了交易監(jiān)控器執(zhí)行處理的一個方法,其提供對象移出和引入事件檢測;圖6為顯示處理步驟的流程圖,交易監(jiān)控器在一個設置中采用該步驟以提 供顧客與/或店員存在檢測和跟蹤 ,圖7為交易監(jiān)控器32執(zhí)行處理以提供店員/顧客對象區(qū)分的處理步驟流程圖;圖8為交易監(jiān)控器可執(zhí)行的、以提供由檢測器在進行視頻分析時使用的區(qū) 域比較方法的操作處理流程圖;圖9為交易監(jiān)控器可執(zhí)行的、以提供關鍵幀區(qū)域比較的操作處理步驟流程圖;圖10為描述交易監(jiān)控器處理的、以提供直通物品檢測方法的處理步驟流 程圖;圖11為顯示實施例視頻數(shù)據(jù)幀的圖,并且其顯示了事件檢測前后的交易 區(qū)的外觀;圖12為事件時間線,演示了交易經(jīng)理如何確定在相同的交易物品之間的 間隔內是否有看起來不止一個的物品檢測。
      具體實施方式
      在此揭示的系統(tǒng)一般對視頻數(shù)據(jù)中捕獲的、涉及交易的物品進行視頻計數(shù) 或識別,并且將此物品識別信息與從諸如銷售點收銀機之類的交易終端獲得的 交易數(shù)據(jù)相比較,從而識別可疑和可能指明欺詐活動或操作員差錯的情況。通 過獲得來自對交易區(qū)進行監(jiān)控的至少一個攝像機的視頻數(shù)據(jù),系統(tǒng)可自動(例 如不需人工參與)分析視頻數(shù)據(jù)以跟蹤交易區(qū)內涉及交易的物品。利用此信息, 系統(tǒng)可將被跟蹤物品的視頻分析與交易終端產(chǎn)生的交易數(shù)據(jù)相比較,從而識別 可疑活動。圖1為實施例環(huán)境300,其適合用于解釋本發(fā)明揭示的實施例。實施例環(huán) 境300描繪了顧客305可購買物品307的零售店。諸如銷售點終端或收銀機的 交易終端34在諸如店員的操作員308的控制下,允許顧客305購買物品307。 交易終端34包括掃描裝置36,當物品307被帶到掃描裝置36附近的預定范圍 內時,其能夠檢測并掃描或讀取物品標識310,諸如粘貼于各物品307的UPC條形碼符號或RFID標簽。在環(huán)境300的一般操作中,顧客305帶著要購買的一組物品307接近交易 區(qū)301。物品307可被放置在例如購物車311或其它物品運送器中由顧客305 運送到交易區(qū)301?;蛘?,顧客305可將物品307 —個個地帶到交易區(qū)301。 為了購買物品307,顧客305從購物車311 (或從他們拿物品的手)中取出物 品307,并且將物品放置于交易區(qū)301內的大體指定為區(qū)域302-1的物品輸入 區(qū)。物品輸入?yún)^(qū)302-1可為傳送帶、柜臺面或其它表面區(qū),在由交易終端34的 掃描器36檢測和讀取前,先把要購買的物品放置在其上。諸如店員的操作員308通過登錄或啟動交易終端34實施與交易終端34的 交互操作。這個過程包括操作員308將獨一的操作員用戶名提供給交易終端34。 在操作員308操作交易終端34期間,操作員308的身體通常保持在交易區(qū)301 的操作員區(qū)域302-4內。 一旦完成登錄,操作員308可在物品輸入?yún)^(qū)302-1內 開始選取要購買的物品307,諸如用手一個個地撿起物品307。操作員308從 物品輸入?yún)^(qū)302-1傳送各物品307到通常位于物品讀取區(qū)302-2內的掃描器36。 假定為適當?shù)?例如非欺詐并且無差錯)操作員操作,操作員308將物品307 放置成使得附著于物品的物品標識310可被掃描裝置36檢測和掃描或讀取。 對掃描裝置36檢測剛被掃描的物品307的物品標識310進行響應,交易終端 34將物品307登記為要購買的物品,并且通常會以諸如嘀嘀的響聲或音調指明 物品307己被成功識別來告知操作員308。作為對該告知的響應,操作員308 將物品307移動到物品輸出區(qū)302-3,其可為另一柜臺臺面、下游傳送帶或其 它容納被成功掃描或讀取或輸入到交易終端34中的物品307的類似裝置。操作員308對每一物品個體307重復此過程,使得所有要購買的物品307 從物品輸入?yún)^(qū)302-1移動穿過或通過物品讀取區(qū)302-2 (在此期間發(fā)生物品掃 描)并進入物品輸出區(qū)302-3。在一些情形中,物品307可不包含附加的物品 標識310,諸如水果、蔬菜等等。在這樣的情形中,從物品輸入?yún)^(qū)302-1移出 物品307后,操作員308通過鍵盤或其它手動輸入設備將物品標識手動輸入到 交易終端304,使得交易終端34登記物品307。這樣,在所有物品307都被交 易終端34識別后,操作員308可指示交易終端34交易已完成,并且交易終端 34計算要購買的物品307的總價。顧客305照該數(shù)額付款給操作員308,并且 從物品輸出區(qū)302-3移出物品307以運送出零售店外。如圖1所示,環(huán)境300進一步包括交易監(jiān)控器32,其依據(jù)本發(fā)明實施例配 置以檢測和交易相關聯(lián)的可疑活動。環(huán)境300也包括視頻源30,諸如一個或多 個獲取交易區(qū)301視頻的架空攝像機。通常視頻源30被安裝在交易區(qū)301上 方足以覆蓋并從各個區(qū)域302獲取視頻的高位。此例中的交易監(jiān)控器32接收 來自視頻源30的視頻數(shù)據(jù)320和來自交易終端34的交易數(shù)據(jù)34作為輸入。實施例環(huán)境300中所示的交易監(jiān)控器32是從視頻源30和交易終端34直接接 收交易數(shù)據(jù)330和視頻數(shù)據(jù)320,應理解交易監(jiān)控器32可實時地接收這些輸入, 或是在操作員308完成物品處理或整個交易后的稍晚時候接收這些輸入。此外, 交易監(jiān)控器32不是必需直接從視頻源30和交易終端34直接接收交易數(shù)據(jù)330 和視頻數(shù)據(jù)320。在另一個設置中,可從磁帶錄象機(或從數(shù)字記錄媒體)或 從交易終端34旁的另一計算機系統(tǒng)保存的交易數(shù)據(jù)庫接收這些輸入。視頻源 30因而可為諸如攝像機的實時源或諸如VCR或DVR之類錄像設備的遲滯源。 交易終端34同樣可提供直接來自POS (例如收銀終端或掃描器)的實時交易 數(shù)據(jù),或者交易數(shù)據(jù)可為存儲POS數(shù)據(jù)的交易日志數(shù)據(jù)庫內的遲滯數(shù)據(jù)。操作本發(fā)明所揭示的系統(tǒng)時,操作交易監(jiān)控器32,通過將視頻數(shù)據(jù)320和 相應的交易數(shù)據(jù)330相比較以識別和報告可疑活動來識別與交易區(qū)301相關聯(lián) 的可疑活動,諸如舞弊或直通活動。通常,這使交易監(jiān)控器32必需從包括顧 客305在交易時購買物品307所在交易終端34在內的交易區(qū)301收集視頻數(shù) 據(jù)320。諸如攝像機的視頻源30優(yōu)選地安裝在交易區(qū)301上方的高位,從而允 許從區(qū)域302上方進行視頻捕獲,雖然系統(tǒng)并不只限于此方式。通常交易監(jiān)控器32將對高位視頻數(shù)據(jù)320的至少一部分或片斷實施自動 (例如非人工)視頻分析,以檢測與交易相關聯(lián)的至少一個物品307的存在。 交易監(jiān)控器32將與從(由本發(fā)明所述的圖像處理技術自動檢測的)視頻數(shù)據(jù) 得到的與交易相關聯(lián)的物品的存在和指明由顧客在交易終端實際購買的物品 的交易數(shù)據(jù)330 (例如由終端34讀取或掃描的物品307)相比較,來識別顧客 305擁有而沒有在交易終端購買的物品(例如通過交易區(qū)301而沒有被交易終 端34掃描或輸入或讀取)。經(jīng)由視頻數(shù)據(jù)320在與交易數(shù)據(jù)330內所識別的 物品相比較時的自動處理得到一個或多個物品的存在有差異,指明本發(fā)明揭示 的系統(tǒng)可檢測到的可疑活動??梢苫顒涌梢允蔷売诓僮鲉T308所代表的操作員 差錯,或實際的欺詐活動,其包括舞弊或直通。根據(jù)設置,交易監(jiān)控器32可分析從交易區(qū)捕獲的視頻數(shù)據(jù)的全部或一部 分,從而自動檢測物品,該自動檢測是基于,例如,通過交易區(qū)的對象活動、 在交易區(qū)內的特定感興趣區(qū)域內的對象活動、在交易區(qū)內的多個特定感興趣區(qū) 域內的對象活動、進入交易區(qū)內特定感興趣區(qū)域的對象的活動與/或離開交易區(qū) 內特定感興趣區(qū)域的對象的活動。在-一個設置中,對視頻數(shù)據(jù)的全部或一部分進行分析,產(chǎn)生了一組檢測事 件,其指明由至少 一 個檢測器在至少 一 部分視頻數(shù)據(jù)的至少- 一 個感興趣區(qū)域 302檢測到一個或多個物品。依據(jù)實施例,交易監(jiān)控器32可通過視頻分析僅在 -個感興趣區(qū)域302內或在許多區(qū)302內進行物品檢湖"。注意圖]中交易區(qū)301 被分割或列舉為從302-]到302-N的若干個區(qū)。這些區(qū)或區(qū)域中的每一個可被認為是感興趣區(qū)域302,并且視頻數(shù)據(jù)320可捕獲這些區(qū)中的一些、所有或僅 一個區(qū)中的可指明交易中涉及的物品的活動。交易監(jiān)控器32運用檢測器在感興趣區(qū)域內進行圖像處理。檢測器通常是 可檢測該區(qū)內物品的存在的圖像處理算法。例如,通過將檢測器處理應用于輸 入物品區(qū)302中可檢測物品的存在。對于各檢測器(一個或多個),交易監(jiān)控 器32將檢測器檢測到的該組檢測事件與至少一部分交易數(shù)據(jù)(例如包含與視 頻數(shù)據(jù)相符的交易信息的部分)相比較,從而識別由檢測器檢測到的大量物品 與部分交易數(shù)據(jù)中所指明的大量物品之間的至少一個明顯差異。交易監(jiān)控器32 可基于檢測器識別的明顯差異確定總可疑度。在一些設置中,視頻處理或分析包括將交易區(qū)301劃分成多個區(qū)(例如 302-1和302-3),對象在至少一部分交易期間依次移動通過該多個區(qū)。當物品 移動依次通過多個區(qū)時,交易監(jiān)控器32可執(zhí)行物品的自動視頻檢測,以獲得 由一個或多個視頻參數(shù)指明的模式。所述模式因而指明在所有或部分交易期間 移動通過所述區(qū)的物品的視頻事件。交易監(jiān)控器32可獲得對應于被分析視頻 數(shù)據(jù)的那部分交易期間的、由交易終端34檢測到的識別物品的交易數(shù)據(jù)330; 并且可自動將視頻參數(shù)與交易參數(shù)相比較,該比較是通過確定指明來自所有或 部分交易的物品視頻事件的模式是否表明與所有交易期間或與視頻事件相同 的那部分交易期間由交易終端檢測到的識別物品的交易數(shù)據(jù)之間有差異來進 行的。若差異存在,交易監(jiān)控器32識別交易結果為可疑交易。通過分成不同的區(qū),可采用不同的檢測事件的次序來識別視頻數(shù)據(jù)中的物 品的存在。在這樣的情形中,交易監(jiān)控器32可將來自檢測器的多組檢測事件 與交易數(shù)據(jù)同時進行比較,從而識別出交易區(qū)中處理的大量物品中的差異。例 如,進行物品的自動視頻檢測可包括識別物品輸入?yún)^(qū)302-1中的移出事件,其 指明操作員308己經(jīng)從物品輸入?yún)^(qū)302-1移出物品307,并且也可包括在物品 輸出區(qū)識別引入事件,其指明操作員已經(jīng)將物品放置于物品輸出區(qū)。因而如果 有多個視頻數(shù)據(jù)區(qū)被監(jiān)控,可由視頻分析產(chǎn)生諸如移出、引入、移出、引入等 一個事件次序。這個次序可與指明例如物品掃描的交易數(shù)據(jù)是時同步的,使得 合法的模式呈現(xiàn)為移出、掃描、引入、移出、掃描、引入等等,而可疑模式也 許呈現(xiàn)為移出、掃描、引入、移出、引入。注意到第二次掃描事件不存在,這 指明可能有欺詐或其它可疑活動。通過應用自動的基于機器的視頻分析技術以 檢測與交易區(qū)相關聯(lián)的物品視頻事件,并且通過將此類事件與指明和交易區(qū)相 關聯(lián)的物品交易事件的交易數(shù)據(jù)相比較,交易監(jiān)控器32可確定視頻事件是否 與交易數(shù)據(jù)中的交易事件不-致,相應地,可對指明視頻事件與交易事件不一 致所在之處的視頻數(shù)據(jù)的特定片斷328進行識別。如圖l所示, 一旦可疑活動被識別,交易監(jiān)控器32可對(即視頻剪輯328中)指明視頻事件與交易事件不一致所在之處的視頻數(shù)據(jù)的特定片斷進行識別并傳輸給檢驗者,檢驗者通過檢査該視頻數(shù)據(jù)片斷328來檢査交易期間與物品購買有關的操作員的可疑活動。在一個設置中,在此揭示的系統(tǒng)提供對物品或物品檢測事件進行實際計數(shù) 的方法,并且是更有力和更準確的識別物品被傳送通過交易而沒有被掃描的事 件的方法。系統(tǒng)不受掃描延遲影響,并且由于系統(tǒng)可確定交易部分的物品較被 掃描物品多,所以系統(tǒng)可作為非常清晰的指示器,以表明發(fā)生了操作員的偷竊 活動或差錯。另一類差錯是物品的誤識別,其不依靠物品檢測比較。這可能是由于條形碼或其它物品標識310可被定價較低的物品條形碼覆蓋而形成諸如"價目單或 標簽調換"的欺詐,或由于操作員308故意手動輸入較低價物品的代碼或物品 標識到交易終端34中而形成"折價"。在一個設置中,本發(fā)明揭示的系統(tǒng)提 供隔離物品圖像的方法,用于直接與通常進行交易的視頻相比較。在這種設置 中,交易終端32可進行圖像比較以確定與檢測事件(例如視頻數(shù)據(jù)中指明物 品的存在的事件)相關聯(lián)的物品圖像是否大致和之前存儲的物品圖像相匹配。 若圖像基本上不匹配,交易監(jiān)控器32可識別交易為可能潛在地包括指明潛在 可疑活動的標簽調換事件。因為此方法允許操作員308正常處理物品307,并 不需要改變常規(guī)進行交易的方法。系統(tǒng)也不會影響或放慢操作員執(zhí)行交易的速 度。這對職業(yè)操作員來說尤為重要,因為他們是依據(jù)執(zhí)行速度進行考核的。因 為無需讓操作員改變他或她的行為習慣,系統(tǒng)可被安裝用于檢測不誠實的店 員,而無需讓他們知曉安裝了系統(tǒng)。以下討論在此所述各種實施例的一系列流程圖。應理解提供這些實施例是 為了說明某些設置的某些操作,并不打算包括本發(fā)明所揭示系統(tǒng)的所有變體。圖2是交易監(jiān)控器32在一個設置中進行交易區(qū)內的直通活動檢測的操作 流程圖。在此實施例設置中,交易監(jiān)控器32從對交易區(qū)301進行監(jiān)控的至少 一個攝像機獲得視頻數(shù)據(jù)。分析來自至少一部分交易的視頻數(shù)據(jù)320的視頻剪 輯2和該交易的相應交易數(shù)據(jù)8 (來自圖1的交易數(shù)據(jù)330)以跟蹤交易區(qū)301 中涉及該交易的物品307??梢蕴幚砣魏螘r間跨度的視頻數(shù)據(jù)320和相應的交 易數(shù)據(jù)330 (即一部分或不止一個交易),但為了清楚和簡單起見,此例將討 論每次處理一個交易的情況。在一個設置中,可采用區(qū)域差分技術識別物品的存在。采用此技術,交易 監(jiān)控器32界定了交易區(qū)內的感興趣區(qū)域,諸如輸入物品區(qū)302-1。對于此區(qū)域 的視頻,交易監(jiān)控器32操作檢測器以自動識別視頻數(shù)據(jù)的第一幀(即第一次 被拍攝的),其指明感興趣區(qū)域302-1中的第一組物品。這可為,例如顧客305 要購買的放置在該區(qū)302-1內的第一組物品307。此后,交易監(jiān)控器32自動識別指明感興趣區(qū)域302內第二組物品的視頻數(shù)據(jù)的第二幀(即第二次或遲些時 候捕獲的),但是第一組物品與第二組物品有視覺差異。這可能是由于操作員
      308從區(qū)302-1移出了一個物品。交易監(jiān)控器32可自動將第一組物品與第二組 物品的視覺差異指明為有物品存在于視頻數(shù)據(jù)的感興趣區(qū)域302-1內的事件。
      在步驟10中,交易監(jiān)控器32獲得與交易區(qū)301的交易終端34相關聯(lián)的 交易數(shù)據(jù)。交易數(shù)據(jù)指明物品307是否在交易終端34處被登記為購買物品。
      在步驟14中,交易終端32將被跟蹤物品的的視頻分析與交易終端產(chǎn)生的 交易數(shù)據(jù)相比較,以識別可疑活動。在一個設置中,當有事件指明物品存在于 感興趣區(qū)域302內,而該物品的交易數(shù)據(jù)丟失時,交易監(jiān)控器32識別其為可 疑活動。這是基于事件的比較,從而將各視頻檢測事件與來自交易數(shù)據(jù)的交易 事件相關聯(lián)。
      在圖2的另一個設置中,視頻剪輯2在步驟4中被分析,從而直觀地檢測 交易中實際涉及的物品307的存在(可采用事件檢測)。交易監(jiān)控器32分析 至少一部分視頻數(shù)據(jù),以獲得涉及與交易區(qū)301相關聯(lián)的至少一部分交易的至 少一個視頻參數(shù)。視頻參數(shù)因而可為被檢測到其存在的物品的視頻計數(shù)。交易 監(jiān)控器32也獲得來自與交易區(qū)相關聯(lián)的交易終端34的至少一個交易參數(shù)。步 驟10中的交易監(jiān)控器32分析交易數(shù)據(jù)330以獲得交易中涉及的物品307的記 錄。從這些記錄可確定交易數(shù)據(jù)中反映的預期物品計數(shù)。在步驟14中,交易 監(jiān)控器32將實際的或視頻計數(shù)6與預期的掃描或交易計數(shù)12相比較。若計數(shù) 匹配,則交易監(jiān)控器32標記交易為無可疑,如步驟(16)所示。若計數(shù)不匹 配,則交易監(jiān)控器32標記交易為可疑(例如潛在欺詐),如步驟18所示。
      如上所述,交易監(jiān)控器32在交易區(qū)內采用視頻分析識別被檢測的物品的 視頻計數(shù),并且通過分析與至少一部分交易相關聯(lián)的交易數(shù)據(jù)來識別交易區(qū)內 的交易物品計數(shù)。通過將視頻計數(shù)與交易計數(shù)相比較,若視頻計數(shù)不同于交易 計數(shù),交易監(jiān)控器32可指出指明為可疑活動的交易結果,諸如欺詐交易或操 作員差錯。根據(jù)設置,交易監(jiān)控器32可提供額外信息,諸如基于尺度的可疑 度,諸如以實際計數(shù)和預期計數(shù)之間的差為尺度。
      在某些設置中,其它信息可被用來將可疑度分級為低或高或在一定范圍 內。例如在零售店中,操作交易終端或收銀臺的各收銀員通常以唯一的用戶名 通過他或她的收銀機(例如通過鍵盤)登錄系統(tǒng)以處理顧客的交易。 一旦登錄 上,在此揭示的系統(tǒng)可照在此所述般執(zhí)行,并且若檢測到可疑交易(例如交易 計數(shù)與視頻計數(shù)并不匹配),系統(tǒng)可查詢該特定收銀員過去的歷史記錄(基于 他們唯一的用戶名),其被存儲在數(shù)據(jù)庫中,指明收銀員執(zhí)行標記為可疑交易 的頻繁程度。這樣,若發(fā)生這種情形相當少見,則也許只是收銀員的差錯(例 如該操作員也許偶然沒有掃描 一 個物品),而若該收銀員的可疑交易歷史記錄指明頻繁發(fā)生多起可疑交易,則可在可疑度中將其標明并且可用于隨后的處理 (例如對操作人員標記該情形,以供進一步進行視頻檢查)。在圖2的步驟20中,交易監(jiān)控器32可向視頻片斷328分配可疑度。可疑 度指明與交易數(shù)據(jù)相比,視頻數(shù)據(jù)的自動視頻分析產(chǎn)生的可疑度。交易監(jiān)控器 32可基于許多因素調整與交易結果相關聯(lián)的可疑度。例子包括*交易計數(shù)和視頻計數(shù)之間差的量。例如,在20個被檢測物品之外,若 有10個未被操作員交易,則可疑度大大高于20個物品僅有1個未被 交易。*操作員處理交易的歷史記錄表明對于該操作員,至少有一個先前的歷史記錄中標明的交易被識別為可疑的。此例如上所述。 *在視頻數(shù)據(jù)中檢測到物品的許多感興趣區(qū)域。例如,若未交易的物品被每一個區(qū)的每一個檢測器直觀地檢測到,則可疑/置信度高于未交易物品僅被一個區(qū)的一個檢測器檢測的情形。 *在交易區(qū)內不同感興趣區(qū)域內的物品檢測次序(例如緊接有引入事件的物品移出事件)。
      視頻數(shù)據(jù)內物品視頻識別與從交易數(shù)據(jù)獲得的物品交易識別相比較得到的兩者之間的差異。交易標識可為例如物品價格和/或物品標識。 *進行交易的收銀機的歷史記錄。這可指明收銀機有故障,或指明由于位置或其它因素,收銀機更易于可疑活動。 *交易中所識別的、指明交易中的物品其交易數(shù)據(jù)并不需要的其它物品的歷史記錄。例如,若沙拉被識別為一個物品,隨后是一個未被掃描的叉子(因而最初被識別為可疑的),則可疑度可被調低以反映叉子是免費的,無需被掃描。圖3A是交易監(jiān)控器32在一檢測被誤識別物品的配置實例中執(zhí)行處理的流 程圖。在此設置中, 一個交易的視頻數(shù)據(jù)40和該交易相應的交易數(shù)據(jù)46被分 析??梢蕴幚砣魏螘r間跨度的視頻和相應的交易數(shù)據(jù)(例如至少一部分交易或 一個以上的交易),但為了簡潔明了起見,此例將討論每次處理一個交易的情 形。在歩驟42中,實際的物品圖像44被從視頻數(shù)據(jù)40分離出來。圖像分離 的方法是作為移出/引入檢測方法(如下所述) 一部分而描述的。在步驟48中, 將對應于交易數(shù)據(jù)中物品的預期物品圖像52從物品圖像50數(shù)據(jù)庫中提取出 來。物品圖像數(shù)據(jù)庫可以任何方式組建,但在零售店中一個便利的方法是利用 SKU號。根據(jù)物品圖像數(shù)據(jù)庫,盡管本發(fā)明揭示的系統(tǒng)可依靠預先裝入的圖像數(shù)據(jù)庫,但在交易監(jiān)控器32進行從各連續(xù)交易中分離出更多圖像時,交易監(jiān)控器32也可向數(shù)據(jù)庫中裝入圖像。這樣,并不需要零售商花費時間和費用提前提供數(shù)據(jù)庫。而是,可通過捕獲和存儲足夠多的同一物品的交易視頻而學得該數(shù)據(jù) 庫。在步驟54中,實際的物品圖像可與預期的物品圖像相比較。應注意到實際的物品圖像可被分離并一次一個地比較,或作為群組和它們相應的預期物品圖像相比較。在交易數(shù)據(jù)僅包括物品完整列表,但沒有與掃描次序或掃描時間相關聯(lián)的數(shù)據(jù)的情形中,缺乏可在單個圖像之間建立起事先對應的基礎。因此整組實際物品的圖像需要與整組預期物品的圖像進行比較。然而,若可得到次序或時序交易數(shù)據(jù),允許進行同步處理而將被掃描的物品數(shù)據(jù)與視頻數(shù)據(jù)相關聯(lián)(例如,掃描時戳與視頻時戳基本同步),則可建立圖像間的對應。例如,第一個實際物品圖像與第一個預期的物品圖像相比較等等。在此情形中,可選 擇將各單個的實際物品圖像與其對應的預期物品圖像相比較。在步驟56中,若發(fā)現(xiàn)圖像不匹配,則交易在步驟58中被標記為可疑的。 若如上所述,將實際的物品圖像與預期物品圖像逐個比較,則可選擇將特定物 品而非整個交易標記為可疑的。在步驟60中,若發(fā)現(xiàn)圖像確實是匹配的,則交易被認為是無可疑的。如 果需要的話,實際物品圖像或圖像44可被合并到物品圖像數(shù)據(jù)庫(50)中。 例如,可能不需要引入新的圖像到專業(yè)的預裝數(shù)據(jù)庫中,而對于"學習型"數(shù) 據(jù)庫則是必要的。不管如何,在下一步驟62中,交易(或上述的單個物品) 將被標記為無可疑的。這樣,交易監(jiān)控器32采用自動視頻分析以產(chǎn)生物品的視頻標識來對交易 區(qū)內被檢測物品進行圖像辨別。這樣做,通過識別交易區(qū)內被檢測物品的預期 物品標識,交易監(jiān)視器32獲得至少一個交易參數(shù)。交易監(jiān)控器32則通過將物 品的視頻標識和物品的預期標識相比較來自動將視頻參數(shù)與交易參數(shù)相比較。 若視頻標識不同于預期標識,則交易監(jiān)控器32指示代表可疑活動的交易結果。如上所述,交易中涉及的物品可在特定的感興趣區(qū)域內或在多個感興趣區(qū) 域302組合而成的區(qū)域內進行計數(shù)。感興趣區(qū)域可包括交易物品可能在的任何 區(qū)。在通常超市購物場景中,例如感興趣區(qū)域可包括購物車302-N、顧客區(qū) 302-5、傳入傳送帶區(qū)302-1 (即對象輸入?yún)^(qū)域或區(qū))、掃描區(qū)302-2以及傳出 傳送帶區(qū)302-3或打包區(qū)(即對象輸出區(qū))及操作員區(qū)302-4。操作員可隨感興趣區(qū)域變化而不同。例如在超市場景中,若物品在從購物 車311到傳入傳送帶區(qū)302-1的傳送中被計數(shù),則把進行傳送的顧客305看作 為操作員。類似地,若收銀操作員308在交易終端34處掃描物品,則把收銀 員308看作為操作員。如以上概述,在一些設置中,這些感興趣區(qū)域302的計數(shù)可被合并考慮以
      提供更加穩(wěn)健的計數(shù)方法。例如,在一個設置中,將傳入物品輸入?yún)^(qū)302-1、 掃描器或物品讀取區(qū)302-2以及打包區(qū)或其它物品輸出區(qū)302-3的檢測次數(shù)加 以比較以查看它們是否一致。若它們不一致,則采用平均檢測次數(shù)。同樣地, 也可考慮計數(shù)或檢測事件的次序。例如,各精確計數(shù)的物品在傳入?yún)^(qū)會首先被 計數(shù)為物品移出事件,在掃描器處為掃描事件,在打包區(qū)則又為物品引入事件 (各事件或計數(shù)由分析視頻數(shù)據(jù)320中感興趣區(qū)域的檢測器檢測和產(chǎn)生)。
      在另一個設置中,物品的計數(shù)被看成某個區(qū)的某種類型事件的次序或模 式,諸如當操作員從傳送帶或對象輸入?yún)^(qū)302-1移出對象時的對象移出事件; 其后是另一類型的事件,諸如當操作員將對象放置在對象輸出區(qū)302-3或下游 傳送帶時的引入事件。因而緊接有一個引入事件(操作員將物品放置在輸出帶 或對象輸出區(qū)上)的一個移出事件(操作員撿起對象來掃描,并且從對象輸入 區(qū)移出該對象)被系統(tǒng)看成或解釋成一個視頻計數(shù)。
      若計數(shù)一直僅在次序的一個階段或區(qū)域302 (例如302-1物品事件檢測) 被登記,而未在另一個或兩個區(qū)域(未在區(qū)302-3與/或302-2檢測),則該計 數(shù)或事件可被認為是差錯與/或可被標記為可疑的。例如,若視頻數(shù)據(jù)被分析并 且掃描或交易數(shù)據(jù)被分析,系統(tǒng)可確定哪些掃描檢測事件(即交易事件)或掃 描計數(shù)匹配哪些視頻計數(shù)(例如若分析兩個區(qū),為緊接有一個物品引入事件的 一個物品移出事件的視頻計數(shù),或若僅分析諸如物品輸入?yún)^(qū)302-1的單個區(qū), 則視頻計數(shù)或事件可為被視頻分析檢測到的物品307從該區(qū)302-1的單個移出 事件)。在這樣的情形中,若掃描計數(shù)或事件與事件的視頻計數(shù)一一匹配,則 沒有明顯的可疑活動且交易不用標記或標明以供進一步檢驗。然而,若視頻數(shù) 據(jù)與掃描數(shù)據(jù)時間同步后(這樣的時間同步在同時收集視頻數(shù)據(jù)與交易或掃描 數(shù)據(jù)的數(shù)據(jù)收集過程中可以是固有的,或可在后處理中以視頻幀或檢測事件模 式通過掃描時戳進行算法比較時達成),檢測到的模式為諸如移出事件,其后 是引入事件(對于第一對象,沒有識別交易數(shù)據(jù)中物品的存在的掃描或交易事 件),其后是另一移出事件(對于第二對象),則該交易可被標記為潛在的欺 詐或可疑。在一個設置中,交易監(jiān)控器32將來自視頻數(shù)據(jù)分析的事件的視頻 時戳與在交易數(shù)據(jù)中表現(xiàn)為已交易的物品的交易時戳相關聯(lián),從而識別出指明 視頻數(shù)據(jù)中的物品在交易數(shù)據(jù)中沒有相應記錄的事件,因而指明有可疑活動。
      有許多可單個使用或互相結合使用的方法,通過這些方法,可進行視頻分
      析以在一個或多個感興趣區(qū)域302識別物品的計數(shù)或檢測事件。
      本發(fā)明揭示的這些處理技術中的一種是對當前在感興趣區(qū)域內的物品進 行計數(shù)。對當前在感興趣區(qū)域內物品計數(shù)的一個方法是對在感興趣區(qū)域的靜態(tài) 圖像中可見的物品進行計數(shù)。這假定單個物品可被很好地分開和區(qū)別,并且此方法因而在物品連結或重疊在一起的情形中特別具有挑戰(zhàn)性。在超市或其它零 售店場景中,例如少量物品逐個緩慢放置于移動傳送帶上,確實可以在傳送帶 上分開,使得它們互相不接觸或重疊。在這樣的情形中,對傳送帶的靜態(tài)圖像 中對應傳送帶背景的物品進行計數(shù),得出交易中精確的物品數(shù)量。然而,若傳 送帶上有大量物品,則物品開始在傳送帶的末端互相堆積。當它們堆積時,通 過視頻分析將特定物品區(qū)分開會變得非常困難,并且分析靜態(tài)圖像會而得到的 傳送帶上放置的物品的計數(shù)結果很差。在另一個設置中,交易監(jiān)控器32可利用活動周期的計數(shù)。感興趣區(qū)域內 的活動周期可指明為物品的引入、移出或通過?;顒訙y量包括區(qū)域內的簡單檢 測和運動測量??刹捎?絆網(wǎng)"(即沿著感興趣區(qū)域的邊尋找運動)考慮進入 區(qū)域的方向。在超市場景中,例如沿著顧客面向傳入帶區(qū)端部的絆網(wǎng)可被用來對顧客每次將新物品放置到物品輸入?yún)^(qū)302-1內的傳送帶上進行計數(shù)??稍O置兩個或多個絆網(wǎng)用于確定物品從感興趣區(qū)域的一側橫跨到感興趣區(qū)域的另一側的移動。在超市結賬處掃描區(qū)302-2周圍,例如,在掃描區(qū)兩側 上的兩個絆網(wǎng)可依據(jù)它們被觸發(fā)的次序來檢測特定方向的運動。另一使用絆網(wǎng)的方法是用一連串絆網(wǎng)(垂直于感興趣物的運動方向)覆蓋 整個大的感興趣區(qū)域,以從一端到另一端檢測行進運動。在超市場景中,這些 一連串的絆網(wǎng)可被用于檢測向前從傳入?yún)^(qū)行進到打包區(qū)的對象,甚至當對象在 掃描區(qū)從一手交換到另一手時。若可從圖像被識別出操作員對象(例如包括操作員308的視頻數(shù)據(jù)320部 分),則僅當操作員對象本身(例如他或她的手臂或手)進入并離開區(qū)域時可 使計數(shù)遞增。通過采用皮膚檢測與/或通過識別操作員對象308的四肢,檢測器 觸發(fā)物品檢測可更精確,或僅當操作員的手進入感興趣區(qū)域(例如302-1)時 才進行計數(shù)。若操作員對象的端部(例如他或她的手)其色圖顏色有一部分不 是其本身的顏色,則可認為其更可能是手拿著物品進入或離開感興趣區(qū)域。圖3B顯示在感興趣區(qū)域檢測活動以指明物品的存在的一個方法。從視頻 源430的圖像,步驟432識別對象并創(chuàng)建對象視圖。步驟434應用關聯(lián)過濾器 (例如皮膚檢測、皮膚加對象色圖等等)以確保只有對象或感興趣物活動被考 慮。例如在零售店環(huán)境的視頻圖像中,操作員可跨過掃描區(qū)域從而和交易終端 的觸摸屏交互。感興趣區(qū)域內的這些活動并不指明物品的存在,因而可通過過 濾視頻圖像中操作員對象與觸摸屏的圖形區(qū)相連接的情形將其忽略。步驟436 將當前對象視圖合并到圖像中隨時間運動的運動視圖。步驟442則分析運動視 圖以識別運動方向438即感興趣區(qū)域440內的運動。若步驟444確定運動已自 始至終完成橫跨感興趣區(qū)域的動作,則可記錄為步驟446中的視頻檢測事件。 若步驟448確定存在更多的視頻,則步驟450將前進到下一幀視頻并從步驟432繼續(xù)。若否,則視頻檢測事件的記錄在步驟452被返回。例如,感興趣物的方
      向從物品輸入?yún)^(qū)向著物品輸出區(qū)橫跨作為掃描區(qū)的感興趣區(qū)域,交易監(jiān)控器32
      可觀察掃描區(qū)指明交易中存在物品的活動。
      在其它設置中,交易監(jiān)控器32能夠對對象的引入或移出進行計數(shù),該對 象可為物品或操作員或顧客對象。在一個設置中,從一個或多個感興趣區(qū)域302 新引入或移出對象指示物品檢測或計數(shù)發(fā)生變化。例如在超市場景中,若物品 從傳入傳送帶移出,或者若其被引入到打包區(qū)(或將兩種情形結合考慮),則 其指明交易中涉及額外的物品。
      檢測引入或移出的一個方法是檢測感興趣區(qū)域內的色圖變化。檢測引入或 移出額外對象(例如物品或操作員對象)的另一方法是檢測對象出現(xiàn)或消失。 在此所述的圖像檢測算法不斷將靜態(tài)對象結合到用于對象區(qū)分的背景視圖中。 當新對象被添加到圖像中時,其呈現(xiàn)為前景中的唯一對象。類似地,當對象被 移出時,其留下的幻影(例如圖像曾經(jīng)占據(jù)的位置中的變動)在前景中同樣視 為一個對象。在這兩種情形中,對象隨后被計數(shù)并且此后合并到背景中,從而 為下一物品的計數(shù)做準備。
      此方法的一個優(yōu)點是其易于分離物品圖像。當諸如物品的對象被引入時, 該物品圖像可被剪裁為分離的物品圖像。當物品被移出(例如幻影對象出現(xiàn)) 時,該物品的圖像可從移出之前的幀中被剪切出來。上述方法的一個挑戰(zhàn)是操 作員的手臂本身會顯現(xiàn)為感興趣區(qū)域內的對象。在此揭示的兩個實施例設置, 通過忽略操作員手臂或僅采用區(qū)域中不包括手臂在內的圖像,來應對這個挑 戰(zhàn)。
      為了忽略手臂對象,其首先被識別。這可通過檢査視頻數(shù)據(jù)中的所有對象 以查看哪一個對象從感興趣區(qū)域302-1外部(或內部)的操作員區(qū)域302-4內 較大的操作員對象308延伸而來的(例如采用邊緣檢測)。這個對象可被假定 為操作員308的手臂。也可進行皮膚檢測以進一步確保對象確實是手臂與/或 手。則可從感興趣區(qū)域對象視圖去除該手臂對象,僅留下已被引入或移出的交 易物品307。為了僅采用圖片中不包括手臂在內的圖像,可采用沿著最接近操 作員308的感興趣區(qū)域的邊緣的絆網(wǎng),以查看是否有任何對象穿過它。若在特 定的視頻幀內沒有對象穿過它,則指明在該幀內手臂不在感興趣區(qū)域302-1中。 采用這個邏輯,手臂進入和離開之前和之后的幀可被分離,以確定物品的存在。 可比較這些幀以識別物品引入或移出。
      如上所述,交易監(jiān)控器32能夠在交易區(qū)的感興趣區(qū)域(例如302-1 )內識 別出指明感興趣區(qū)域內存在用于交易(例如用于購買)的物品307的操作員308 動作。交易監(jiān)控器32可表明物品記錄是否存在于交易數(shù)據(jù)中,其對應的是, 對操作員動作進行識別可自動識別出在感興趣區(qū)域302-1內的操作員動作指明有用于交易的物品307存在時,在交易數(shù)據(jù)中卻不存在該物品記錄的情形。相
      應地,交易監(jiān)控器32可指示可疑活動。
      如上所述,可對諸如收銀員308 (或若圖1中的環(huán)境300是自助結賬終端 34時,則為顧客)的操作員進行模擬以識別交易中與處理各物品307相關聯(lián)的 動作。在從上往下看的超市場景中,例如操作員可被模擬為有兩只手臂伸展出 的軀干。操作員的軀干可通過其在交易終端34的位置識別。手臂可被識別為 從軀干伸出的快速移動的兩個肢。物品307的處理可被模擬為一手伸出到傳入 帶區(qū)或物品輸入?yún)^(qū)域302-1 ,其后在掃描區(qū)或區(qū)域302-2將物品從一手傳遞到另 一手時是兩手共用,然后是第二只手伸向打包區(qū)或物品輸出區(qū)域302-3。
      如上所述,既可用一種物品計數(shù)方法監(jiān)控單個感興趣區(qū)域,也可在感興趣 區(qū)域302中采用多種計數(shù)方法以實現(xiàn)在該區(qū)302計數(shù)物品。類似地,可采用將 來自多個感興趣區(qū)域的計數(shù)和計數(shù)次序相結合,從而實現(xiàn)整個交易中更精確的 計數(shù)。
      圖4顯示交易監(jiān)控器32在一個設置中執(zhí)行的處理,其采用視頻數(shù)據(jù)320 分析對交易中涉及的物品進行計數(shù)。對物品的存在進行計數(shù)的一個方法是對操 作員從感興趣區(qū)域移出或引入到感興趣區(qū)域的物品進行計數(shù)。例如,只要操作 員在諸如打包區(qū)的感興趣區(qū)域內放行物品時,就可確實假定該物品是被引入到 打包區(qū)的交易物品。相反地,對物品移出進行計數(shù)的一個方法是對物品輸入?yún)^(qū) 域302-1的物品移出進行計數(shù)。
      在圖4中,當視頻源70輸出視頻幀時,第一步驟72在該圖像內識別對象。 通常使用的一個方法是通過將當前幀與背景模型相比較,從而提取圖像中的前 景元件或物品。在下一步驟74中,操作員對象(即視頻幀中操作員308的動 作)被分離。做到這樣的一個方法是采用操作員308可能所在位置的事先的信 息。例如若已知操作員308將站立在諸如操作員區(qū)域302-4的特定限定位置, 則可假定該區(qū)域中的最大移動對象是操作員308。在視頻數(shù)據(jù)中識別和分離操 作員對象的另一方法是識別穿過感興趣區(qū)域302-3界限邊緣的操作員對象為操 作員,例如進入打包區(qū)以放置另一物品307的操作員對象。
      下一步驟76核查圖像引入或移出事件,諸如當感興趣區(qū)域內的操作員對 象和物品(或如上所述的對象幻影)的圖像互相分離時。移出事件指明操作員 已經(jīng)撿起物品輸入?yún)^(qū)域302-1內的物品。在步驟78,若移出已經(jīng)發(fā)生,則步驟 80內計數(shù)遞增。在歩驟82,若有更多的視頻存在,則進程前進到步驟84中視 頻的下一幀,執(zhí)行步驟72繼續(xù)下一輪循環(huán)。當交易視頻完成時,在步驟86計 數(shù)被返回。在逐個處理物品的情形中,每次從物品輸入?yún)^(qū)302-1移出物品(或 引入物品到物品輸出區(qū)302-3)產(chǎn)生相應的移出(或引入)事件,其可和交易 數(shù)據(jù)相關聯(lián)(若采用多個感興趣區(qū)域,則可成對地被關聯(lián))。圖5說明交易監(jiān)控器32可執(zhí)行提供對象移出和引入事件檢測的處理方法。
      在圖5中,當前圖像90和更新的背景圖像92被步驟94作為輸入,在步驟94 中它們被比較(通過相減和取閾值)以產(chǎn)生二進制對象視圖96。這個對象視圖 包括圖像中的不是更新背景部分的任何新對象(例如物品),以及也不是更新 背景部分的操作員對象。在下一步驟98中,當前操作員對象100從對象視圖 分離。在超市場景中,收銀操作員308站在收銀機前的規(guī)定位置(例如區(qū)域 302-4),在一個設置中這是通過尋找該空間內站立的最大移動對象而達成的。 (或者,這也可通過尋找與操作員可能接觸到的較小的標簽區(qū)域相重疊的對象 而達成。)這個對象被認為是操作員對象。
      在步驟104中,當前操作員對象100和先前的操作員對象102被用來界定 當前感興趣區(qū)域106。先前操作員對象的非重疊區(qū)構成當前的感興趣區(qū)域,有 以下原因若物品在視頻數(shù)據(jù)的前一幀里被操作員308拿著,則它將成為先前 操作員對象的一部分。因此,若物品在當前幀內被釋放,則它將停留在先前操 作員對象區(qū)的某處。并且因為它被釋放,其不會成為當前操作員對象的一部分。 因此,若物品自前一幀被釋放,則對象會出現(xiàn)在不與當前操作員對象重疊的前 一操作員對象區(qū)域。同樣地,若物品在前一幀被撿起,此幀內其幻影(即其從 背景層被移出處的空白)會出現(xiàn)在相同的當前感興趣區(qū)域。
      在下一步驟IIO,對象視圖96被核查以查看是否有新對象(即物品)或對 象(即物品)幻影出現(xiàn)在當前感興趣區(qū)域106中。若否,則在下一步驟120, 操作員對象以外的所有區(qū)域被合并到用于下一幀的背景更新中。最后無移出/ 引入事件被返回。
      在步驟UO,若在當前感興趣區(qū)域確實有新對象,則下一步驟112將該對 象(物品)圖像分離,即從當前幀復制它。若對象移出(從幻影分離)被檢測, 則在前一幀之前當物品被撿起的那 一幀中獲取圖像。
      在下一步驟114,實際物品的分離圖像將與預期對象的數(shù)據(jù)庫相比較(例 如連同其照片的物品數(shù)據(jù)庫)。注意到這是上述的物品誤識別檢測方法的一部 分。然后對象圖象被合并到用于下一幀的背景更新中。在下一步驟116,操作 員對象之外的、包括被移出或被引入對象的所有區(qū)再一次被合并到用于下一幀 的背景更新中。最后移出(或引入)事件被返回。
      圖11說明視頻數(shù)據(jù)501和502的幀的示例,其顯示了事件檢測前(視頻 數(shù)據(jù)幀501)與事件檢測后(幀502)交易區(qū)301的外觀。此例中所發(fā)生的檢 測事件為操作員308放置物品307 (此例中為牛奶壺)的引入事件。各幀501 和502被劃分為四個象限,右上和左上,以及右下和左下。各幀的左上象限顯 示視頻數(shù)據(jù)的初始幀,左下象限顯示經(jīng)由上述處理產(chǎn)生的更新的背景圖像。各 幀501和502的右上象限顯示操作員對象308,并且右下象限顯示了不同的二進制圖像或視圖。在幀501的左上象限,可以看到操作員308將物品放置在物品輸出區(qū)域 302-3,但沒有將他們的手從物品上307放開。在幀502中的相應象限中,操作 員308在此處已經(jīng)放開了物品307,作為將物品引入到輸出區(qū)域302-3中。注 意在幀501的右上象限內操作員對象308被認為包括操作員手中的物品,相對 于幀502的右上象限內所包括的操作員對象308以及現(xiàn)已分開的物品對象307, 兩者之間有差異。如上所述的視頻分析可檢測圖像中的差異,并且可將這個活 動指明為物品檢測事件,在這個情形下為物品引入事件,說明交易中存在該物 品。這樣,視頻分析可檢測交易中涉及的物品,并且如上所述,交易監(jiān)控器32 可采用此信息與來自交易終端34的交易數(shù)據(jù)相比較,從而確保視頻數(shù)據(jù)中檢 測的各物品在交易數(shù)據(jù)中都有相應的輸入(例如掃描、讀取物品標識或價格)。 若對于這個對象,相應的交易數(shù)據(jù)并不存在,交易監(jiān)控器32可指示可疑活動。注意到對于具有移動背景的感興趣區(qū)域,諸如超市中的傳送帶,適應背景 圖像的方法在以下針對移動背景的改變討論中詳述。系統(tǒng)也可結合籃底檢測或 籃內檢測來從高位視角識別,例如在可移動購物車下面或里面的,物品。如上例所示,在一個設置中的交易監(jiān)控器32可通過在視頻數(shù)據(jù)內界定至 少一個感興趣區(qū)域、并計算對象視圖來對至少一部分視頻數(shù)據(jù)進行分析,所述 對象視圖識別感興趣區(qū)域當前圖像和感興趣區(qū)域更新的背景圖像之間的變化。 然后,通過分離出感興趣區(qū)域內的至少一個操作員對象,交易監(jiān)控器32可檢 測對象視圖和操作員對象的分析是否識別對象移出或引入到感興趣區(qū)域302。 這樣,可將檢測事件保存來指示視頻數(shù)據(jù)中對象存在的計數(shù)。這可針對單個區(qū) 或多個區(qū)302進行,也可以物品為基礎針對一個物品或針對大部分交易或整個 交易(即所有物品)進行。在分析至少一部分視頻數(shù)據(jù)的過程中,系統(tǒng)需要補償存在于一些攝像機或 其它視頻源的自動增益功能。自動增益試圖在攝像機的三色頻道中平衡整個圖 像的亮度。如果在攝像機視野內出現(xiàn)大的噪聲對象(即出現(xiàn)在場景中但不是交 易或交易數(shù)據(jù)的一部分的對象),會導致顏色不適宜地出現(xiàn)偏差。系統(tǒng)需要大 體上消除顏色偏差。問題是系統(tǒng)不能計算出遍及整個圖像的任何統(tǒng)計值,因為 系統(tǒng)將得到與攝像機自動增益所得結論相同的結論。反而系統(tǒng)需要將其焦點限 制在交易區(qū),更重要的是,聚焦于交易區(qū)中保持靜止但呈顯出顏色或亮度偏差 的對象。實現(xiàn)這個目的的一個方法如下所示將當前圖像和當前更新的背景圖 像相比較(例如相減和取閾值)從而獲得前景/背景象素的噪聲二進制圖。只有 背景象素被用來計算當前圖像和背景圖像的顏色統(tǒng)計值。采用這些背景象素, 因為它們對應于現(xiàn)實世界中相同的靜態(tài)對象,并且顯示出需要被校正的偏色效 應。 一旦被標記為背景的象素統(tǒng)計值被計算,則對當前圖像實施改變,使其顏色與背景圖像的顏色相一致,因此與由系統(tǒng)處理的其余圖像相一致。 一旦這個 預處理步驟完成,則繼續(xù)進行常規(guī)的視頻處理步驟。這樣交易監(jiān)控器32可在 視頻分析前對應用于視頻源的自動增益進行補償。
      對于感興趣區(qū)域內的物品移去和引入同時進行監(jiān)控的設置,交易監(jiān)控器32 可定義對象輸入?yún)^(qū)域302-1為第一感興趣區(qū)域,并且可定義對象輸出區(qū)302-3 為第二感興趣區(qū)域。在這個設置中,檢測對象移出事件與/或對象引入事件可包 括檢測當操作員從對象輸入?yún)^(qū)移出對象時的對象移出事件,與/或檢測當操作員 將對象放置在對象輸出區(qū)時的對象輸入事件。相應地,檢測到移出事件緊接有 引入事件時,在一個設置中,交易監(jiān)控器32可遞增視頻計數(shù)作為至少一個視 頻交易參數(shù),或者可產(chǎn)生各自的移出和引入事件,事件可在與交易數(shù)據(jù)比較期 間被處理以識別不在交易數(shù)據(jù)中但出現(xiàn)在視頻數(shù)據(jù)中的物品。
      在一個設置中,至少一個感興趣區(qū)域包括傳送帶,傳送帶隨時間將傳送帶 上對象的位置平移,如視頻數(shù)據(jù)當前和先前幀所捕獲的那樣D例如,當操作員 移出物品307時產(chǎn)生移出檢測事件的物品輸入?yún)^(qū)可以是將物品307供應給操作 員308的傳送帶。在這些情形中,交易監(jiān)控器32可在連續(xù)的視頻幀內對物品 從一位置移動到另一位置時的移動或平移進行補償。特別地,交易監(jiān)控器32 可分析至少一部分視頻數(shù)據(jù),并可包括在感興趣區(qū)域內視頻數(shù)據(jù)相關聯(lián)的先前 和當前幀,從而確定傳送帶上對象位置平移的量。交易監(jiān)控器32可在檢測對 象移出事件與/或對象引入事件時計算傳送帶上對象位置平移的量。
      圖8為交易監(jiān)控器32在進行視頻分析時,可執(zhí)行供檢測器采用的區(qū)比較 法的操作處理流程圖。
      當視頻源200提供視頻幀時,視頻源(200)輸出視頻幀。第一步驟202 識別該幀的圖像內的對象。做到這一點的一個方法是將當前幀與背景模型相比 較,以提取圖像中的前景組件或對象。
      在下一步驟204,操作員對象被分離。做到這一點的一個方法是采用操作 員可能位置的事先信息。例如若已知操作員將站立在特別規(guī)定的位置,則可假 定在該位置內的最大移動對象就是操作員。另一個方法是識別越過感興趣區(qū)域 界限邊緣的對象,因為操作員伸手夠到打包區(qū)內以放置另一物品。
      在下一步驟206,系統(tǒng)核查操作員對象是否延伸到感興趣區(qū)域。在下一步 驟208,若操作員對象在感興趣區(qū)域內,則系統(tǒng)核查在步驟210操作員是否也 在先前幀的感興趣區(qū)域內。若否,則先前幀在歩驟212被保存為關鍵幀1。因 此關鍵幀1為在操作員對象進入感興趣區(qū)域前的感興趣區(qū)域的圖像。在操作員 對象離開感興趣區(qū)域后,與感興趣區(qū)域的圖像相比較吋,系統(tǒng)將能夠確定是否 有新對象引入感興趣區(qū)域或從感興趣區(qū)域移出。不管步驟210中判定如何,系 統(tǒng)將在歩驟224中繼續(xù)核查更多的視頻。若步驟208判定操作員對象不在感興趣區(qū)域內,則步驟214檢査關鍵幀1 是否己經(jīng)保存。若否,則指明操作員對象在前一幀時還未進入到感興趣區(qū)域。 并且因為操作員對象在當前幀中也未進入感興趣區(qū)域,檢查操作員是否將新對 象引入或移出感興趣區(qū)域內并無價值。系統(tǒng)則將在步驟224中繼續(xù)核查更多的 視頻。若步驟214中的判定為是,則指明操作員對象之前已經(jīng)進入感興趣區(qū)域, 并且在最后一幀中并不存在。因此,既然操作員對象不再在感興趣區(qū)域內,操 作員對象必定已經(jīng)離開。因此當前幀在步驟216被保存為關鍵幀2。在步驟218,關鍵幀1和關鍵幀2的對象區(qū)被比較。這個過程將在以下詳述。若步驟220判定在關鍵幀1和2之間的對象區(qū)內確實有實質性變化(例如 大于閾值量),則步驟222遞增物品計數(shù)或產(chǎn)生檢測事件。不管步驟220中的判定如何,系統(tǒng)繼續(xù)進行步驟223,在其中復位(或刪 除)關鍵幀1和2以指明操作員對象不再被認為是在ROI內。系統(tǒng)繼續(xù)進行步驟224以核查是否存在更多的視頻。若否,則物品計數(shù)被 返回。若是,步驟228前進到視頻下一幀并且系統(tǒng)在步驟202重新開始循環(huán)。圖9是交易監(jiān)控器32執(zhí)行提供關鍵幀區(qū)比較的處理步驟流程圖。圖中所 述為示例方法,利用該方法可對兩個關鍵幀進行比較來查找感興趣區(qū)域內對象 區(qū)的變化以指明對象引入或移出。在此例中,關鍵幀l (250)是操作員對象進入感興趣區(qū)域前的視頻幀。關 鍵幀2 (254)是操作員對象離開感興趣區(qū)域后的視頻幀??栈讏D像(252) 為感興趣區(qū)域無對象的場景圖像。感興趣區(qū)域259是突出顯示哪個圖像區(qū)域是 感興趣區(qū)域的二進制圖。步驟256、 258、 260和262描述與關鍵幀1有關的處理。在步驟256,關鍵幀1和空基底圖像被比較(通過相減和取閾值)以產(chǎn)生 二進制對象圖258。這個對象圖包括任何在圖像中但不屬于空基底圖像一部分 的新對象,包括操作員對象和感興趣區(qū)域內的其它對象。在步驟260,通過取出對象視圖258并用感興趣區(qū)域259掩蓋它,分離出 感興趣區(qū)域內的對象,使得感興趣區(qū)域內只有對象被保留。進行掩蓋的一個方 法是在二進制對象圖和二進制感興趣區(qū)域圖之間執(zhí)行"與"操作。新的合成對 象圖是關鍵幀1對象圖262。步驟264、 266、 268和270執(zhí)行類似操作,由關鍵幀2 254生成關鍵幀2 對象圖270。在步驟272,關鍵幀1和關鍵幀2之間感興趣區(qū)域內的平移量被確定???通過采用如關聯(lián)、差方和、流程分析等標準技術來套準感興趣區(qū)域并查找關鍵幀1和2之間發(fā)生的平移量。步驟272產(chǎn)生平移量274。步驟276應用平移量274從而將關鍵幀2對象圖270與關鍵幀1對象圖相 套準。生成被套準的關鍵幀2對象圖278。步驟280將關鍵幀1對象圖262的面積與被套準的關鍵幀2對象圖278的 面積相比較。各對象圖的面積可被計算為二進制對象圖的總和。在步驟282,若在面積有足夠明顯的變化(例如大于閾值),則返回是, 指明面積有變化284。否則,返回否,面積沒有變化286。圖10是描述交易監(jiān)控器32執(zhí)行提供直通物品檢測方法的處理步驟流程 圖。正如可對經(jīng)過整個交易的時間窗期間的預期和實際物品計數(shù)進行比較而可 檢測出直通行為,在時窗為能進行大體上基于逐個物品比較的較短時段的情況 下也是如此。在各單個交易物品被輸入(例如掃描、鍵盤輸入、RFID讀取等)的時間 窗期間,僅有一個物品預期通過交易處理。若看起來計數(shù)大于一,則指明可疑 活動發(fā)生。類似地,在各單個實際直觀物品檢測的時間窗期間,應當有相應的 POS物品輸入。若沒有POS輸入,則意味著實際處理的物品依照數(shù)據(jù)來看并不 是預期的,因此指明有可疑活動(例如潛在的直通)。這個場景在以下詳述物品檢測進程402從視頻源400取得視頻并使其前進,直到檢測到交易中 涉及的下一物品。可采用多種方法,包括但不限于引入移除檢測、面積差檢測、 掃描移動檢測等。這產(chǎn)生了物品檢測時間404。然后在步驟410,系統(tǒng)從交易數(shù)據(jù)源(406)取得交易物品時間數(shù)據(jù)408, 并將它與物品檢測時間410相比較。比較指明是否有與物品檢測時間相對應的 交易物品時間。步驟412核查比較結果。若有與物品檢測時間相對應的交易時間,則預期 活動和實際活動相匹配,并且當前直觀被檢測的物品被標記為無可疑的414。 若沒有和物品檢測時間相對應的交易時間,則預期活動和實際活動不同,并且 當前直觀被檢測的物品被標記為可疑的且輸入到可疑物品日志416??纱_定相對應的一個方法是通過判斷看作不相應的的交易物品時間是否 處在物品檢測的充分接近時間(例如低于某些靜態(tài)或動態(tài)閾值)內。若是,則 檢測可與交易時間相匹配;若否,則物品檢測被認為是不相對應的。另一種方 法涉及在運行的計數(shù)器中既保存交易物品的總數(shù),又保存被檢測物品總數(shù)的記 錄。當被檢測的物品在數(shù)量上超過被交易的物品多于一定閾值(例如多于一個 物品)時,則最后被檢測的物品被認為是不相應的,并且計數(shù)器被重置直到下 一個不相應的物品出現(xiàn)。另一方法是看是否有不止一個直觀物品檢測出現(xiàn)在相 同的交易物品間隔內,如圖12的例子所示。若是,則至少一個物品檢測必定 不與交易物品時間相對應。在這樣的情形4、交易物品間隔本身可被認為是可疑的。在步驟418,若仍有視頻存在,則系統(tǒng)繼續(xù)進行步驟402以重新開始循環(huán)。 否則系統(tǒng)繼續(xù)進行步驟420以返回可疑物品日志。這樣,系統(tǒng)提供了可將直通識別為可疑活動的直通物品檢測方法。 其它設置包括使用顧客與/或店員存在和跟蹤的性能。這樣的設置在除了簡 單地自頂向下攝像機拍攝以外,還可采用過肩的透視攝像機拍攝。在攝像機位 于站在收銀臺的收銀員后的情形中,攝像機可越過他或她的肩査看柜臺、收銀 機和顧客,所述方法可識別出店員是因為其作為位于柜臺近側的并且將柜臺擋 住的對象。相反地,顧客對象是作為越過柜臺但被柜臺的上邊隔斷的對象而被 識別出。在一個設置中, 一旦顧客或店員被識別,他或她的位置就被系統(tǒng)跟蹤 禾口禾示i己。圖6是顯示,在一個設置中,交易監(jiān)控器32采用以提供顧客與/或店員存 在檢測和跟蹤的處理步驟流程圖。在步驟254,輸入圖像250和背景基底圖像 252被比較,以產(chǎn)生顯示圖像中所有非背景對象的所有對象二進制圖.。如此比 較的一個常規(guī)方法是相減,然后是取閾值,而后是形態(tài)學運算以"清洗"噪聲 二進制圖。然后,在下一步驟256,在所有對象二進制圖上進行店員/顧客對象 區(qū)分,如以下部分所述和描述店員/顧客對象區(qū)分的圖7所述的。在步驟268,若店員對象存在,則店員對象在步驟270被標記。在步驟258, 若顧客對象不存在,則進程前進到步驟284中視頻的下一幀。否則,在步驟260 中,若在前一幀出現(xiàn)相同的顧客對象,則步驟262將確定顧客對象是否一直是 靜止的。若是,則顧客對象確實可能是無生命的對象諸如購物車。在該情況下, 進程在步驟280重置顧客標記并將靜止對象合并到步驟282中的背景基底圖 像。若顧客對象不是一直靜止的,則假定其確實是真人,并且對象在步驟266 被標記為顧客。不管靜止與否,進程前進到步驟284的下一視頻幀。在歩驟260,若相同的顧客對象沒有在先前幀出現(xiàn),則顧客對象在步驟272 被跟蹤。通過跟蹤感興趣區(qū)域重心的變化來進行跟蹤。若顧客對象鄰近柜臺區(qū) 域(例如302-1、 302-2、 302-3),例如,若站在柜臺邊,則確定是否為像購物 車之類的靜止對象。若是,則進程轉到步驟282如上所述。若否,則在步驟278 提供顧客存在標記并且在步驟266中對顧客進行標記。圖7是顯示了交易監(jiān)控器32所執(zhí)行的提供店員/顧客對象區(qū)分的處理步驟 流程圖,。在步驟(204),輸入圖像200和背景基底圖像202被比較以產(chǎn)生在圖像 中顯示所有非背景對象的所有對象二進制圖。進行此類比較的常規(guī)方法是相 減,然后是取閾值,然后是形態(tài)學運算以清洗噪聲二進制圖。在歩驟206, 二進制對象圖被核查是否存在任何對象。若否,則步驟208使視頻前進到下一幀并且進程從循環(huán)起點再次繼續(xù)。在步驟206,若在二進制對象圖中存在對象,則它們進行步驟210中的標記操作。然后在步驟212中, 第一個被標記的對象被選取。在步驟214,若發(fā)現(xiàn)對象僅落在店員感興趣區(qū)域 302-4,則在步驟218中將對象添加到僅有店員的二進制圖中。店員感興趣區(qū)域 302-4通常為只出現(xiàn)一個店員或其它操作員(相對于顧客或柜臺上的物品)的 柜臺近側。在步驟216,若發(fā)現(xiàn)對象僅落在顧客感興趣區(qū)域302-5,則在步驟228中將 對象添加到只有顧客的二進制圖中。顧客感興趣區(qū)域302-5通常在圖像中柜臺 臺面的頂邊上方,顧客如果站在柜臺邊會出現(xiàn)的位置。然后,在步驟220,若發(fā)現(xiàn)對象落在柜臺感興趣區(qū)域(例如302-1、 302-2 或302-3)(柜臺頂部),則對象可能為柜臺上的物品,并且在步驟222中被 添加到僅有柜臺的二進制圖。在步驟224,若對象出現(xiàn)在店員和柜臺感興趣區(qū) 域302-4與302-1、 302-2和302-3中的一個或多個,而不是出現(xiàn)在顧客感興趣 區(qū)域302-5,則對象被確定為店員或操作員,并且在步驟218中被添加到僅有 店員的二進制圖中。在步驟226,若對象同時在顧客和柜臺感興趣區(qū)域304-5以及304-1、 302-2 或302-3中的一個或多個內,但不在店員感興趣區(qū)域302-4內,則認為對象是 顧客并且在步驟228中將其添加到僅有顧客的二進制圖中。在步驟230,若對象在所有三個區(qū)域內(店員302-4、顧客302-5以及柜臺 -302-1、 302-2和302-3中的一個或多個),則其可能是店員圖像與顧客圖像部 分重疊的合并對象。因此,在步驟232中該對象被添加到店員和顧客二進制圖 中。對象已被處理后,在步驟234,其被從所有對象二進制圖移出,以便于可 處理下一個被標記對象。在步驟206,若仍有對象存在于所有對象二進制圖中,則在步驟210繼續(xù) 處理下一對象。否則,若圖像內的所有對象已經(jīng)被處理,則繼續(xù)處理步驟208 中的下一視頻幀。這樣,系統(tǒng)可識別操作員或顧客對象,從而在視頻分析中能夠從物品對象 識別此對象。在此說明和描述設置相關聯(lián)的系統(tǒng)和方法,以使熟知本領域技術的人員可 做出形式和細節(jié)的各種變化,在附屬權利要求所述的發(fā)明范圍內。因此本發(fā)明 不限于以上提供的實施例設置。
      權利要求
      1.一種檢測可疑活動的方法,所述方法包括獲得來自對交易區(qū)進行監(jiān)控的至少一個攝像機的視頻數(shù)據(jù);分析所述視頻數(shù)據(jù)以跟蹤所述交易區(qū)內的交易中涉及的物品;將所述被跟蹤物品的所述視頻分析與交易終端產(chǎn)生的交易數(shù)據(jù)相比較,以識別可疑活動。
      2. 如權利要求1所述的方法,其中分析所述視頻數(shù)據(jù)以跟蹤交易中涉及的 物品包括自動識別所述交易中涉及的物品的存在;以及其中將所述被跟蹤物品的所述視頻分析與交易數(shù)據(jù)相比較包括 對于所述視頻數(shù)據(jù)分析中識別的所述物品的存在,確定其在所述交易數(shù)據(jù) 中是否有對應的存在;若沒有,則識別所述可疑活動。
      3. 如權利要求2所述的方法,其中自動識別所述交易中涉及的物品的存在,包括以下中的至少一個檢測在所述交易區(qū)內的物品活動;以及 檢測在所述交易區(qū)內的操作員活動。
      4. 如權利要求2所述的方法,其中自動識別所述交易中涉及的物品的存在,包括以下中的至少一個-檢測物品從所述交易區(qū)內的感興趣區(qū)域移出; 檢測物品引入到所述交易區(qū)內的感興趣區(qū)域。
      5. —種檢測交易結果的方法,所述方法包括 獲得與交易區(qū)相關聯(lián)的視頻數(shù)據(jù);分析至少一部分所述視頻數(shù)據(jù)以獲得至少一個視頻參數(shù),所述視頻參數(shù)涉及與所述交易區(qū)相關聯(lián)的至少一部分交易;獲得來自于與所述交易區(qū)相關聯(lián)的交易終端的至少一個交易參數(shù);以及 自動將所述至少一個視頻參數(shù)與所述至少一個交易參數(shù)相比較,以識別交易結果。
      6. 如權利要求5所述的方法,其中獲得視頻數(shù)據(jù)包括獲得來自對交易區(qū)進行監(jiān)控的至少一個高位攝像機的視頻數(shù)據(jù);以及 其中分析至少一部分所述視頻數(shù)據(jù)包括分析所述視頻數(shù)據(jù)以跟蹤所述交易區(qū)內的所述交易中涉及的物品;以及 其中自動將所述至少一個視頻參數(shù)與所述至少一個交易參數(shù)相比較,以識別交易結果,包括將所述被跟蹤物品的所述視頻分析與交易終端產(chǎn)生的交易數(shù)據(jù)相比較,以識別可疑活動。
      7. 如權利要求5所述的方法,其中分析至少一部分所述視頻數(shù)據(jù)包括產(chǎn)生一組檢測事件,其指明由至少一部分所述視頻數(shù)據(jù)的至少一個感興趣區(qū)域內的至少一個檢測器進行的物品檢測;其中自動將所述至少一個視頻參數(shù)與所述至少一個交易參數(shù)相比較包括對于各檢測器,將該檢測器的該組檢測事件與至少一部分交易數(shù)據(jù)相比 較,從而識別被該檢測器檢測到的大量物品與所述至少一部分交易數(shù)據(jù)所指明 的大量物品之間的至少一個明顯差異;以及基于由所述至少一個檢測器識別出的明顯差異,識別所述交易的總可疑度。
      8. 如權利要求7所述的方法,其中各檢測器是應用于所述交易區(qū)的所述視 頻數(shù)據(jù)的感興趣區(qū)域的視頻處理算法,以及其中比較該組檢測事件包括同時將來自至少一個檢測器的至少一組檢測事件與所述至少一部分交易 數(shù)據(jù)相比較,以識別所述交易區(qū)內處理的大量物品中的差異。
      9. 如權利要求5所述的方法,其中分析至少一部分所述視頻數(shù)據(jù)包括應用基于機器的自動視頻分析技術以檢測與所述交易區(qū)相關聯(lián)的物品視頻事件;其中獲得涉及所述交易區(qū)內所發(fā)生交易的至少一個交易參數(shù)包括識別指明與所述交易區(qū)相關聯(lián)的物品交易事件的交易數(shù)據(jù);以及 其中自動將所述至少一個視頻參數(shù)與所述至少一個交易參數(shù)相比較包括確定所述視頻事件是否沒有被識別為所述交易數(shù)據(jù)中的交易事件,并且作 為響應,識別所述視頻數(shù)據(jù)的特定片斷,其指明有未被識別為交易事件的所述 視頻事件存在。
      10. 如權利要求9所述的方法,其中識別所述視頻數(shù)據(jù)的特定片斷包括將指明有未被識別為交易事件的所述視頻事件存在的所述視頻事件的特 定片斷傳送給檢驗者,以檢驗所述視頻數(shù)據(jù)片斷,從而檢驗與物品交易有關的 操作員在交易過程中的所述可疑活動。
      11. 如權利要求io所述的方法,其中自動將所述至少一個視頻參數(shù)與所述至少一個交易參數(shù)相比較包括對所述視頻片斷賦予可疑度,所述可疑度指明與交易數(shù)據(jù)相比,視頻數(shù)據(jù) 的自動視頻分析產(chǎn)生的可疑程度。
      12. 如權利要求5所述的方法,其中分析至少一部分所述視頻數(shù)據(jù)包括 界定所述交易區(qū)內的感興趣區(qū)域;自動識別出指明所述感興趣區(qū)域內的第一組物品的視頻數(shù)據(jù)的第一幀;自動識別出指明所述感興趣區(qū)域內的第二組物品的視頻數(shù)據(jù)的第二幀,所述第一組物品與所述第二組物品有視覺差異;以及自動將所述第一組物品與所述第二組物品的視覺差異指明為表明物品存 在于所述視頻數(shù)據(jù)的所述感興趣區(qū)域內的事件;以及其中獲得至少一個交易參數(shù)包括獲得與涉及所述交易區(qū)的所述交易終端相關聯(lián)的交易數(shù)據(jù),所述交易數(shù)據(jù) 指明所述物品是否登記為所述交易終端的交易物品;以及其中自動將所述至少一個視頻參數(shù)與所述至少一個交易參數(shù)相比較,包括當所述交易數(shù)據(jù)缺少某一物品的交易數(shù)據(jù),而有事件指明所述物品存在于 所述感興趣區(qū)域內時,識別可疑活動。
      13. 如權利要求5所述的方法,其中分析至少一部分所述視頻數(shù)據(jù)包括 界定所述交易區(qū)內的感興趣區(qū)域;在第一時間自動識別所述感興趣區(qū)域內的第一組物品;在第二時間自動識別所述感興趣區(qū)域內的第二組物品,所述第一組物品與 所述第二組物品有視覺差異,以及自動將所述第一組物品與所述第二組物品的視覺差異指明為表明物品存 在于所述視頻數(shù)據(jù)的所述感興趣區(qū)域內的事件;以及其中獲得至少一個交易參數(shù),包括.-獲得與涉及所述交易區(qū)的所述交易終端相關聯(lián)的交易數(shù)據(jù),所述交易數(shù)據(jù) 指明所述物品是否登記為所述交易終端的交易物品;以及其中自動將所述至少一個視頻參數(shù)與所述至少一個交易參數(shù)相比較,包括當所述交易數(shù)據(jù)缺少某一物品的交易數(shù)據(jù),而有事件指明該物品存在于所 述感興趣區(qū)域內時,識別可疑活動。
      14. 如權利要求5所述的方法,其中分析至少一部分所述視頻數(shù)據(jù)包括 對所述交易區(qū)捕獲的視頻進行視頻分析,對以下中的至少一個進行自動檢測并產(chǎn)生視頻計數(shù)通過所述交易區(qū)的對象的活動;所述交易區(qū)內的特定感興趣區(qū)域內的對象的活動; 所述交易區(qū)內的多個特定感興趣區(qū)域內的對象的活動; 進入所述交易區(qū)內的特定感興趣區(qū)域內的對象的活動;以及 離開所述交易區(qū)內的所述特定感興趣區(qū)域內的對象的活動。
      15. 如權利要求14所述的方法,其中獲得視頻數(shù)據(jù)包括 從所述交易區(qū)的至少一個感興趣區(qū)域獲得視頻數(shù)據(jù),該區(qū)域和所述交易區(qū)的掃描器區(qū)域大體是齊平的,所述視頻數(shù)據(jù)包括所述交易區(qū)內交易物品的標志;其中對所述交易區(qū)捕獲的視頻進行視頻分析以自動檢測和產(chǎn)生對象活動 的計數(shù),包括以下中的至少一個檢測與對象相關聯(lián)的活動,所述對象包括所述交易區(qū)內的顧客,操作員及 物品中的至少一個,所述活動指明在所述交易區(qū)內用于交易的物品的存在,并 且在檢測到所述活動后,保留在所述交易區(qū)內所檢測的物品的存在的記錄。
      16. 如權利要求5所述的方法,其中分析至少一部分所述視頻數(shù)據(jù)包括 自動分析來自至少一部分所述視頻數(shù)據(jù)的至少一個感興趣區(qū)域的視頻幀,以識別指明與所述交易相關聯(lián)的物品的存在的相應事件;以及其中獲得涉及所述交易區(qū)內發(fā)生的預期交易的至少一個預期交易參數(shù),包括分析至少一部分來自交易終端的交易數(shù)據(jù),以識別在所述交易內正在進行 交易的物品的次序;以及其中自動將所述至少一個視頻參數(shù)與所述至少一個交易參數(shù)相比較,包括與所述視頻數(shù)據(jù)分析產(chǎn)生的所述事件相比較,分析來自所述交易數(shù)據(jù)中被 識別為在所述交易內正在進行交易的物品的次序,從而確定由所述視頻數(shù)據(jù)分 析產(chǎn)生的至少一個事件所代表的所述物品是否被指明為在所述至少一部分交 易數(shù)據(jù)內用于交易的物品。
      17. 如權利要求16所述的方法,其中自動將所述至少一個視頻參數(shù)與所述 至少一個交易參數(shù)相比較包括使來自所述視頻數(shù)據(jù)分析的事件的視頻時戳與所述交易數(shù)據(jù)內所反映的 已被交易的物品交易時戳相關聯(lián),以識別指明所述視頻數(shù)據(jù)中的物品在所述交 易數(shù)據(jù)內沒有對應記錄的事件。
      18. 如權利要求5所述的方法,其中分析至少一部分所述視頻數(shù)據(jù)包括 采用自動視頻分析對所述交易區(qū)內被檢測物品進行圖像辨認,從而產(chǎn)生物品的視頻標識;以及其中獲得至少一個交易參數(shù)包括識別所述交易區(qū)內被檢測物品的預期物品標識;以及其中自動將所述至少一個視頻參數(shù)與所述至少一個交易參數(shù)相比較包括 將所述物品的視頻標識與所述物品的預期標識相比較,并且若所述視頻標 識與所述預期標識不同,則指明交易結果表示可疑活動。
      19. 如權利要求5所述的方法,其中自動將所述至少一個視頻參數(shù)與所述至少一個交易參數(shù)相比較包括以下中的至少一個檢測指明與所述交易區(qū)相關聯(lián)的欺詐活動的交易結果;檢測指明與所述交易區(qū)相關聯(lián)的操作員差錯的交易結果。
      20. 如權利要求5所述的方法,其中分析至少一部分所述視頻數(shù)據(jù)包括 識別操作員在所述交易區(qū)的感興趣區(qū)域內的、指明所述感興趣區(qū)域內用于交易的物品的存在的動作;以及其中獲得至少一個交易參數(shù)包括指明是否在交易數(shù)據(jù)中存在對應于識別所述操作員動作的物品記錄;以及 其中自動將所述至少一個視頻參數(shù)與所述至少一個交易參數(shù)相比較包括 識別這樣的情形,當操作員在所述交易區(qū)的感興趣區(qū)域內的動作指明用于交易的物品的存在,但所述物品記錄并沒有出現(xiàn)在所述交易數(shù)據(jù)中,則相應地指明為可疑活動。
      21. 如權利要求5所述的方法,其中分析至少一部分所述視頻數(shù)據(jù)包括 采用視頻分析識別所述交易區(qū)內被檢測物品的視頻計數(shù);以及其中獲得至少一個涉及所述交易區(qū)內發(fā)生的至少一部分交易的交易參數(shù)包括通過分析與至少一部分所述交易相關聯(lián)的交易數(shù)據(jù),識別所述交易區(qū)內物 品的交易計數(shù);以及其中自動將所述至少一個視頻參數(shù)與所述至少一個交易參數(shù)相比較包括將所述視頻計數(shù)與所述交易計數(shù)相比較,并且若所述視頻計數(shù)與所述交易 計數(shù)不同,則指明交易結果代表欺詐交易和操作員差錯中的至少一個。
      22. 如權利要求21所述的方法,其中自動將所述至少一個視頻參數(shù)與所述至少一個交易參數(shù)相比較包括調整與所述交易結果相關聯(lián)的可疑度,所述可疑度在以下至少一個的基礎上調整i) 所述交易計數(shù)和所述視頻計數(shù)之間的差異量;ii) 操作員處理所述交易的歷史記錄指明對于該操作員,至少一個先前交易已經(jīng)在所述歷史記錄中被識別為可疑的; i i i) 所述視頻數(shù)據(jù)內其中物品被檢測到的多個感興趣區(qū)域;iv) 所述交易區(qū)的不同感興趣區(qū)域內所述視頻數(shù)據(jù)中的物品檢測次序;v) 與從所述交易數(shù)據(jù)獲得的所述物品交易標識相比,所述視頻數(shù)據(jù)內 物品視頻標識與之的差異,所述交易標識至少是所述物品價格和所 述物品標識中的一個;vi) 終端執(zhí)行所述交易的歷史記錄;以及vii) 所述交易中被識別的其它物品歷史記錄,可指明并不需要交易數(shù)據(jù) 的交易中的物品;viii) 交易數(shù)據(jù)中包括的該組物品。
      23. 如權利要求5所述的方法,其中分析至少一部分所述視頻數(shù)據(jù)包括 檢測物品從所述視頻數(shù)據(jù)內的第一感興趣區(qū)域移出;在檢測物品從所述第一感興趣區(qū)域移出后,檢測物品引入到所述視頻數(shù)據(jù)的第二感興趣區(qū)域;其中獲得至少一個交易參數(shù)包括獲得由交易終端產(chǎn)生的交易數(shù)據(jù);以及其中自動將所述至少一個視頻參數(shù)與所述至少一個交易參數(shù)相比較包括 比較所述交易數(shù)據(jù),以識別被檢測到移出和引入的所述物品是否在所述交易數(shù)據(jù)中作為交易物品的存在,若否,則指明與所述物品相關聯(lián)的活動是可疑的。
      24. 如權利要求23所述的方法,其中分析至少一部分所述視頻數(shù)據(jù)包括對應于物品移出的檢測和物品引入的檢測,遞增視頻計數(shù)以指明與所述交易相關聯(lián)的物品的存在;以及 其中所述方法包括重復檢測物品移出、檢測物品引入和遞增視頻計數(shù),直到交易完成,完成 的所述交易視頻計數(shù)指明由所述視頻數(shù)據(jù)分析得到所述交易內所識別的物品 總數(shù)。
      25. 如權利要求5所述的方法,其中分析至少一部分所述視頻數(shù)據(jù)包括 界定所述視頻數(shù)據(jù)內的至少一個感興趣區(qū)域;計算對象圖,其識別所述至少一個感興趣區(qū)域的當前圖像與所述至少一個 感興趣區(qū)域更新的背景圖像之間的變化;分離所述至少一個感興趣區(qū)域內的至少一個操作員對象;以及 檢測所述對象圖和所述操作員對象的分析是否識別出所述至少一個感興 趣區(qū)域中的對象具有所述移出和引入行為中的至少一個。
      26. 如權利要求25所述的方法,其中分析所述視頻數(shù)據(jù)包括 應用圖像調整處理于所述視頻數(shù)據(jù)從而補償遍及所述視頻數(shù)據(jù)整個區(qū)域的自動增益特性,所述圖像調整處理的應用限制在所述視頻數(shù)據(jù)內捕獲的一部 分感興趣區(qū)域內。
      27. 如權利要求26所述的方法,其中應用圖像調整處理包括 限制聚焦于所述交易區(qū)內保持靜止并且呈現(xiàn)色差和亮差中的至少一個的對象。
      28. 如權利要求25所述的方法,其中界定至少一個感興趣區(qū)域包括 界定對象輸入?yún)^(qū)為第一感興趣區(qū)域; 界定對象輸出區(qū)為第二感興趣區(qū)域;以及 其中檢測對象移出事件和對象引入事件中至少 -個包括檢測當操作員從所述對象輸入?yún)^(qū)移出對象時的對象移出事件; 檢測當操作員在所述對象輸出區(qū)內放置對象時的對象弓I入事件 ,以及 對于檢測到緊接有引入事件的移出事件,遞增視頻計數(shù)作為所述至少一個 視頻交易參數(shù)。
      29. 如權利要求25所述的方法,其中所述至少一個感興趣區(qū)域中的至少一 個包括傳送帶,其使得被當前和先前的視頻數(shù)據(jù)幀所捕獲時的對象在傳送帶上 的位置隨時間平移;以及其中分析至少一部分所述視頻數(shù)據(jù)包括將所述感興趣區(qū)域內先前和當前的視頻數(shù)據(jù)幀相關聯(lián),從而確定所述傳送 帶上所述對象位置的平移量;以及當檢測對象移出事件和對象引入事件中的至少一個時,將所述傳送帶上對 象的所述位置的所述平移量考慮在內。
      30. 如權利要求25所述的方法,其中分析至少一部分所述視頻數(shù)據(jù)包括 進行圖像比較以確定與所述引入事件和所述移出事件中的至少一個相關聯(lián)的物品圖像是否基本匹配先前存儲的物品圖像;若所述圖像基本不相匹配,將所述交易識別為潛在包括標簽調換事件在內 的指明潛在可疑活動和潛在操作差錯中的一個。
      31. 如權利要求5所述的方法,其中分析至少一部分所述視頻數(shù)據(jù)包括 將所述交易區(qū)劃分為多個區(qū)域,在至少一部分交易期間對象依次移動通過這些區(qū)域;當所述物品依次移動通過所述多個區(qū)域時,對物品進行自動視頻檢測,以 獲得由所述至少一個視頻參數(shù)代表的模式,所述模式代表在至少一部分所述交 易期間移動通過所述多個區(qū)域的物品視頻事件;其中獲得至少一個交易參數(shù)包括獲得在至少一部分所述交易期間、識別被交易終端檢測到的物品的交易數(shù) 據(jù);以及其中自動將所述至少一個視頻參數(shù)和所述至少一個交易參數(shù)相比較包括 確定在所述至少一部分交易期間,代表來自至少一部分所述交易的物品視頻事件的所述模式是否指明出與識別所述交易終端所檢測物品的所述交易數(shù)據(jù)之間有差異,若是,則識別所述交易結果為可疑交易。
      32. 如權利要求31所述的方法,其對所述物品進行自動視頻檢測包括 識另Ij物品輸入?yún)^(qū)內的移出事件,其指明操作員已經(jīng)從所述物品輸入?yún)^(qū)移出物品;以及識別物品輸出區(qū)內的引入事件,其指明操作員已經(jīng)將物品放置于所述物品 輸出區(qū)內。
      33. —種識別可疑零售交易活動的方法,所述方法包括從包括交易期間顧客交易物品的交易終端在內的交易區(qū)收集高位視頻數(shù)據(jù);將自動視頻分析應用于至少一部分所述高位視頻數(shù)據(jù),以檢測與所述交易相關聯(lián)的至少一個物品的存在;將從所述視頻數(shù)據(jù)獲得的與所述交易相關聯(lián)的至少一個物品的存在與指 明在所述交易終端所述顧客實際交易的物品的交易數(shù)據(jù)相比較,以識別所述顧 客擁有但沒有在所述交易終端交易的物品。
      34. —種識別可疑零售交易活動的系統(tǒng),所述系統(tǒng)包括 至少一個可操作的高位視頻源,用于捕獲交易區(qū)的視頻數(shù)據(jù);至少一個可操作的交易終端,用于當交易期間物品被放置于所述交易終端附近時,從物品獲得交易數(shù)據(jù);以及交易監(jiān)控器,可操作其獲得來自至少一個高位攝像機的所述視頻數(shù)據(jù),以 及自動分析所述視頻數(shù)據(jù)以跟蹤所述交易區(qū)內的交易所涉及的物品,以及將所 述被跟蹤物品的所述視頻分析與交易終端產(chǎn)生的交易數(shù)據(jù)相比較,以識別與物 品相關聯(lián)的可疑活動。
      全文摘要
      系統(tǒng)通過獲得與交易區(qū)相關聯(lián)的視頻數(shù)據(jù)并分析該視頻數(shù)據(jù),來檢測交易結果,以獲得涉及與交易區(qū)相關聯(lián)的交易的至少一個視頻交易參數(shù)。交易區(qū)在視頻數(shù)據(jù)中可被指明為由應用于視頻數(shù)據(jù)的自動物品檢測算法檢測到的物品的視頻計數(shù)。系統(tǒng)獲得涉及發(fā)生在交易區(qū)內的預期交易的至少一個預期交易參數(shù),諸如在銷售點終端被掃描的物品的掃描計數(shù)。系統(tǒng)自動將視頻交易參數(shù)與預期交易參數(shù)相比較,以識別指明零售店中出現(xiàn)的諸如舞弊的欺詐活動的交易結果。
      文檔編號G06K15/00GK101268478SQ200680018688
      公開日2008年9月17日 申請日期2006年3月29日 優(yōu)先權日2005年3月29日
      發(fā)明者喬舒亞·米格代爾, 瑪萊·庫杜, 瓦克拉姆·斯瑞尼維桑, 陳曉偉 申請人:斯達普力特有限公司
      網(wǎng)友詢問留言 已有0條留言
      • 還沒有人留言評論。精彩留言會獲得點贊!
      1