用于通路交叉口上靜態(tài)對(duì)象的檢測(cè)的系統(tǒng)和方法
【專利摘要】本發(fā)明是用于通路交叉口上靜態(tài)對(duì)象的檢測(cè)的系統(tǒng)和方法。通過背景減除遮罩的應(yīng)用從輸入視頻提取前景對(duì)象圖像特征，并且來自輸入視頻圖像數(shù)據(jù)的區(qū)域的光流圖像特征由提取的前景對(duì)象圖像特征定義。如果評(píng)估的移動(dòng)特征表明基礎(chǔ)對(duì)象在運(yùn)動(dòng)中，那么確定基礎(chǔ)對(duì)象的主導(dǎo)移動(dòng)方向。如果主導(dǎo)移動(dòng)方向平行于第二、交叉的通路的取向，那么不生成表明靜態(tài)對(duì)象阻擋交叉口第二通路上的行進(jìn)的事件警報(bào)。如果評(píng)估的移動(dòng)特征表明基礎(chǔ)對(duì)象是靜態(tài)的或者其確定的主導(dǎo)移動(dòng)方向不平行于第二通路，那么確定前景對(duì)象區(qū)域的外觀并且當(dāng)前景對(duì)象區(qū)域包括提取的前景對(duì)象圖像特征時(shí)靜態(tài)計(jì)時(shí)器運(yùn)行。
【專利說明】用于通路交叉口上靜態(tài)對(duì)象的檢測(cè)的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明的實(shí)施例涉及應(yīng)用計(jì)算機(jī)視覺技術(shù)以自動(dòng)檢測(cè)通路交叉口內(nèi)靜態(tài)對(duì)象的存在，所述通路交叉口包括鐵路軌道上的平坡度鐵路交叉口。
【背景技術(shù)】
[0002]平坡度交叉口(鐵道鐵路與車輛道路和步行道路的交叉)存在安全問題。移動(dòng)的鐵路列車具有大的慣性并且通常需要大量的行進(jìn)距離來使它停止。鐵路軌道上廢棄的車輛和拋棄在平面交叉口上的其它靜止對(duì)象帶來了嚴(yán)重的交通安全威脅，并且由移動(dòng)的鐵路列車與這種對(duì)象碰撞造成的事故頻繁導(dǎo)致生命和財(cái)產(chǎn)的重大損失。通常，到列車司機(jī)意識(shí)到平面交叉口上的對(duì)象是靜止的并且將與移動(dòng)的列車相撞時(shí)，已經(jīng)來不及采取措施并且使列車停止以避免相撞。
[0003]相應(yīng)地，為了確定由位于這種平坡度交叉口內(nèi)的靜止對(duì)象導(dǎo)致的碰撞危害，提出或者實(shí)現(xiàn)了各種自動(dòng)報(bào)警系統(tǒng)。這種系統(tǒng)可以向列車操作員或者遠(yuǎn)離交叉口的其它當(dāng)事人提供警告，所述警告足夠早地啟用避免措施，例如派遣人員到交叉口移除對(duì)象，或者通知列車司機(jī)盡早開始停止列車使得列車將在進(jìn)入交叉口之前停下。然而，這種預(yù)先警報(bào)系統(tǒng)受到各種限制。例如，這種系統(tǒng)的性能可能受到審閱交叉口視頻饋送并且做出必要判定以發(fā)現(xiàn)和減少問題的人類感知依賴的限制。能夠從巨大的攝影機(jī)陣列觀看視頻連續(xù)鏡頭的人員的數(shù)量通常受限于預(yù)算資源限制和其它資源限制(如任何一個(gè)人類監(jiān)控者在給定視頻饋送中感知威脅的能力)。觀看監(jiān)控視頻的過程是資源消耗(遭受雇傭安全人員的高成本)，并且在這種系統(tǒng)中用以檢測(cè)感興趣的事件的效率也受到人類理解力制約的限制。
[0004]智能視覺監(jiān)控的【技術(shù)領(lǐng)域】設(shè)法通過應(yīng)用計(jì)算機(jī)視覺技術(shù)以自動(dòng)檢測(cè)存在于鐵路上并且在視頻流中可見的特定靜態(tài)對(duì)象來解決這一問題。然而，這種系統(tǒng)在現(xiàn)實(shí)世界條件中的功效是有限的，并且在檢測(cè)真實(shí)事件中假陽性檢測(cè)的高比率或者準(zhǔn)確性的低比率可能限制這種系統(tǒng)的有效性和可信度。

【發(fā)明內(nèi)容】

[0005]在本發(fā)明的一個(gè)實(shí)施例中，一種方法對(duì)來自第二通路與第一通路的平坡度交叉口的場(chǎng)景的輸入視頻圖像數(shù)據(jù)應(yīng)用計(jì)算機(jī)視覺技術(shù)以自動(dòng)檢測(cè)第二通路的第一通路交叉口內(nèi)的靜態(tài)對(duì)象的存在。更具體地，處理單元通過應(yīng)用背景減除遮罩提取前景對(duì)象圖像特征和提取由所提取的前景對(duì)象圖像特征定義的來自所述輸入視頻圖像數(shù)據(jù)的區(qū)域的光流圖像特征并且將所述前景對(duì)象圖像特征和光流圖像特征記錄到有形數(shù)據(jù)存儲(chǔ)介質(zhì)中。所述處理單元通過評(píng)估所述前景對(duì)象圖像特征的移動(dòng)特征來確定所提取的前景對(duì)象圖像特征的基礎(chǔ)對(duì)象是在運(yùn)動(dòng)中還是靜態(tài)的。如果評(píng)估的移動(dòng)特征表明基礎(chǔ)對(duì)象是在運(yùn)動(dòng)中，那么處理單元根據(jù)提取的光流圖像特征確定基礎(chǔ)對(duì)象的主導(dǎo)移動(dòng)方向。如果基礎(chǔ)對(duì)象的確定的主導(dǎo)移動(dòng)方向平行于被第一通路穿過的第二通路的取向，那么重置方法并且不生成表明靜態(tài)對(duì)象阻擋交叉口第二通路上的行進(jìn)的事件警報(bào)。如果評(píng)估的移動(dòng)特征表明基礎(chǔ)對(duì)象是靜態(tài)的，或者對(duì)象在運(yùn)動(dòng)中并且具有不平行于第二通路的取向的基礎(chǔ)對(duì)象的確定的主導(dǎo)移動(dòng)方向，那么確定前景對(duì)象區(qū)域的初始外觀并且啟動(dòng)和運(yùn)行靜態(tài)計(jì)時(shí)器，其中當(dāng)前景對(duì)象區(qū)域包括提取的前景對(duì)象圖像特征時(shí)，計(jì)時(shí)器運(yùn)行。相應(yīng)地，當(dāng)前景對(duì)象區(qū)域的確定外觀包括提取的前景對(duì)象圖像特征時(shí)，如果啟動(dòng)的靜態(tài)計(jì)時(shí)器達(dá)到閾值，那么生成事件警報(bào)。
[0006]在另一個(gè)實(shí)施例中，系統(tǒng)具有具有程序指令的處理單元、計(jì)算機(jī)可讀存儲(chǔ)器和有形計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中當(dāng)執(zhí)行存儲(chǔ)的程序指令時(shí)，處理單元對(duì)來自第二通路與第一通路的平坡度交叉口的場(chǎng)景的輸入視頻圖像數(shù)據(jù)應(yīng)用計(jì)算機(jī)視覺技術(shù)以自動(dòng)檢測(cè)第二通路的第一通路交叉口內(nèi)的靜態(tài)對(duì)象的存在。更具體地，處理單元通過應(yīng)用背景減除遮罩提取前景對(duì)象圖像特征和提取由所提取的前景對(duì)象圖像特征定義的來自所述輸入視頻圖像數(shù)據(jù)的區(qū)域的光流圖像特征并且將所述前景對(duì)象圖像特征和光流圖像特征記錄到有形數(shù)據(jù)存儲(chǔ)介質(zhì)中。所述處理單元通過評(píng)估所述前景對(duì)象圖像特征的移動(dòng)特征來確定所提取的前景對(duì)象圖像特征的基礎(chǔ)對(duì)象是在運(yùn)動(dòng)中還是靜態(tài)的。如果評(píng)估的移動(dòng)特征表明基礎(chǔ)對(duì)象是在運(yùn)動(dòng)中，那么處理單元根據(jù)提取的光流圖像特征確定基礎(chǔ)對(duì)象的主導(dǎo)移動(dòng)方向。如果基礎(chǔ)對(duì)象的確定的主導(dǎo)移動(dòng)方向平行于被第一通路穿過的第二通路的取向，那么重置方法并且不生成表明靜態(tài)對(duì)象阻擋交叉口第二通路上的行進(jìn)的事件警報(bào)。如果評(píng)估的移動(dòng)特征表明基礎(chǔ)對(duì)象是靜態(tài)的，或者對(duì)象在運(yùn)動(dòng)中并且具有不平行于第二通路的取向的基礎(chǔ)對(duì)象的確定的主導(dǎo)移動(dòng)方向，那么確定前景對(duì)象區(qū)域的初始外觀并且啟動(dòng)和運(yùn)行靜態(tài)計(jì)時(shí)器，其中當(dāng)前景對(duì)象區(qū)域包括提取的前景對(duì)象圖像特征時(shí)，計(jì)時(shí)器運(yùn)行。相應(yīng)地，當(dāng)前景對(duì)象區(qū)域的確定外觀包括提取的前景對(duì)象圖像特征時(shí)，如果啟動(dòng)的靜態(tài)計(jì)時(shí)器達(dá)到閾值，那么生成事件警報(bào)。
[0007]在另一個(gè)實(shí)施例中，一種制品具有其中帶有計(jì)算機(jī)可讀程序代碼的有形計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀程序代碼包括指令，當(dāng)所述指令由計(jì)算機(jī)處理單元執(zhí)行時(shí)使得計(jì)算機(jī)處理單元對(duì)來自第二通路與第一通路的平坡度交叉口的場(chǎng)景的輸入視頻圖像數(shù)據(jù)應(yīng)用計(jì)算機(jī)視覺技術(shù)以自動(dòng)檢測(cè)第二通路的第一通路交叉口內(nèi)的靜態(tài)對(duì)象的存在。更具體地，處理單元通過應(yīng)用背景減除遮罩提取前景對(duì)象圖像特征和提取由所提取的前景對(duì)象圖像特征定義的來自所述輸入視頻圖像數(shù)據(jù)的區(qū)域的光流圖像特征并且將所述前景對(duì)象圖像特征和光流圖像特征記錄到有形數(shù)據(jù)存儲(chǔ)介質(zhì)中。所述處理單元通過評(píng)估所述前景對(duì)象圖像特征的移動(dòng)特征來確定所提取的前景對(duì)象圖像特征的基礎(chǔ)對(duì)象是在運(yùn)動(dòng)中還是靜態(tài)的。如果評(píng)估的移動(dòng)特征表明基礎(chǔ)對(duì)象是在運(yùn)動(dòng)中，那么處理單元根據(jù)提取的光流圖像特征確定基礎(chǔ)對(duì)象的主導(dǎo)移動(dòng)方向。如果基礎(chǔ)對(duì)象的確定的主導(dǎo)移動(dòng)方向平行于被第一通路穿過的第二通路的取向，那么重置方法并且不生成表明靜態(tài)對(duì)象阻擋交叉口第二通路上的行進(jìn)的事件警報(bào)。如果評(píng)估的移動(dòng)特征表明基礎(chǔ)對(duì)象是靜態(tài)的，或者對(duì)象在運(yùn)動(dòng)中并且具有不平行于第二通路的取向的基礎(chǔ)對(duì)象的確定的主導(dǎo)移動(dòng)方向，那么確定前景對(duì)象區(qū)域的初始外觀并且啟動(dòng)和運(yùn)行靜態(tài)計(jì)時(shí)器，其中當(dāng)前景對(duì)象區(qū)域包括提取的前景對(duì)象圖像特征時(shí)，計(jì)時(shí)器運(yùn)行。相應(yīng)地，當(dāng)前景對(duì)象區(qū)域的確定外觀包括提取的前景對(duì)象圖像特征時(shí)，如果啟動(dòng)的靜態(tài)計(jì)時(shí)器達(dá)到閾值，那么生成事件警報(bào)。
【專利附圖】

【附圖說明】
[0008]通過以下對(duì)本發(fā)明的各個(gè)方面結(jié)合附圖進(jìn)行的詳細(xì)說明，本發(fā)明的這些和其他特征將更容易理解，其中:
[0009]圖1示出了本發(fā)明的實(shí)施例的框圖說明，所述實(shí)施例應(yīng)用計(jì)算機(jī)視覺技術(shù)以自動(dòng)檢測(cè)通路交叉口內(nèi)靜態(tài)對(duì)象的存在。
[0010]圖2示出了根據(jù)本發(fā)明的實(shí)施例描述來自通路交叉口場(chǎng)景的圖像數(shù)據(jù)的計(jì)算機(jī)視覺技術(shù)分析的攝影和圖解說明。
[0011]圖3示出了根據(jù)本發(fā)明為在檢測(cè)的對(duì)象范圍的可能行程的2D旋轉(zhuǎn)取向周圍分布的對(duì)應(yīng)的、編號(hào)的方向箭頭提供的方向直方圖的圖解說明。
[0012]圖4示出了根據(jù)本發(fā)明的實(shí)施例描述來自通路交叉口場(chǎng)景的圖像數(shù)據(jù)的計(jì)算機(jī)視覺技術(shù)分析的攝影和圖解說明。
[0013]圖5示出了根據(jù)本發(fā)明對(duì)象狀態(tài)與提取的數(shù)據(jù)值的關(guān)系的圖解說明。
[0014]圖6示出了根據(jù)本發(fā)明的實(shí)施例的計(jì)算機(jī)系統(tǒng)實(shí)現(xiàn)的框圖說明。
[0015]附圖不一定是按比例描繪的。所述附圖只是示意性的表示，并非旨在描述本發(fā)明的詳細(xì)參數(shù)。附圖將只是表示本發(fā)明的典型實(shí)施例，因此并不用于限制本發(fā)明的范圍。在附圖中，相同的標(biāo)號(hào)表示相同的單元。
【具體實(shí)施方式】
[0016]所屬【技術(shù)領(lǐng)域】的技術(shù)人員知道，本發(fā)明的各個(gè)方面可以實(shí)現(xiàn)為系統(tǒng)、方法或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明的各個(gè)方面可以具體實(shí)現(xiàn)為以下形式，即:完全的硬件實(shí)施方式、完全的軟件實(shí)施方式(包括固件、駐留軟件、微代碼等)，或硬件和軟件方面結(jié)合的實(shí)施方式，這里可以統(tǒng)稱為“電路”、“模塊”或“系統(tǒng)”。此外，在一些實(shí)施例中，本發(fā)明的各個(gè)方面還可以實(shí)現(xiàn)為在一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)程序產(chǎn)品的形式，該計(jì)算機(jī)可讀介質(zhì)中包含計(jì)算機(jī)可讀的程序代碼。
[0017]可以采用一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)的任意組合。計(jì)算機(jī)可讀介質(zhì)可以是計(jì)算機(jī)可讀信號(hào)介質(zhì)或者計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)例如可以是一但不限于——電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件，或者任意以上的組合。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的更具體的例子(非窮舉的列表)包括:具有一個(gè)或多個(gè)導(dǎo)線的電連接、便攜式計(jì)算機(jī)盤、硬盤、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、可擦式可編程只讀存儲(chǔ)器(EPR0M或閃存)、光纖、便攜式緊湊盤只讀存儲(chǔ)器(CD-ROM)、光存儲(chǔ)器件、磁存儲(chǔ)器件、或者上述的任意合適的組合。在本文件中，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是任何包含或存儲(chǔ)程序的有形介質(zhì)，該程序可以被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用。
[0018]計(jì)算機(jī)可讀的信號(hào)介質(zhì)可以包括在基帶中或者作為載波一部分傳播的數(shù)據(jù)信號(hào)，其中承載了計(jì)算機(jī)可讀的程序代碼。這種傳播的數(shù)據(jù)信號(hào)可以采用多種形式，包括——但不限于——電磁信號(hào)、光信號(hào)或上述的任意合適的組合。計(jì)算機(jī)可讀的信號(hào)介質(zhì)還可以是計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)以外的任何計(jì)算機(jī)可讀介質(zhì)，該計(jì)算機(jī)可讀介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序。
[0019]計(jì)算機(jī)可讀介質(zhì)上包含的程序代碼可以用任何適當(dāng)?shù)慕橘|(zhì)傳輸，包括一但不限于一無線、有線、光纜、RF等等，或者上述的任意合適的組合。
[0020]可以以一種或多種程序設(shè)計(jì)語言的任意組合來編寫用于執(zhí)行本發(fā)明操作的計(jì)算機(jī)程序代碼，所述程序設(shè)計(jì)語言包括面向?qū)ο蟮某绦蛟O(shè)計(jì)語言一諸如Java、Smalltalk、C++等，還包括常規(guī)的過程式程序設(shè)計(jì)語言一諸如“C”語言或類似的程序設(shè)計(jì)語言。程序代碼可以完全地在用戶計(jì)算機(jī)上執(zhí)行、部分地在用戶計(jì)算機(jī)上執(zhí)行、作為一個(gè)獨(dú)立的軟件包執(zhí)行、部分在用戶計(jì)算機(jī)上部分在遠(yuǎn)程計(jì)算機(jī)上執(zhí)行、或者完全在遠(yuǎn)程計(jì)算機(jī)或服務(wù)器上執(zhí)行。在涉及遠(yuǎn)程計(jì)算機(jī)的情形中，遠(yuǎn)程計(jì)算機(jī)可以通過任意種類的網(wǎng)絡(luò)一包括局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)—連接到用戶計(jì)算機(jī)，或者，可以連接到外部計(jì)算機(jī)(例如利用因特網(wǎng)服務(wù)提供商來通過因特網(wǎng)連接)。
[0021]下面將參照根據(jù)本發(fā)明實(shí)施例的方法、裝置(系統(tǒng))和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或框圖描述本發(fā)明。應(yīng)當(dāng)理解，流程圖和/或框圖的每個(gè)方框以及流程圖和/或框圖中各方框的組合，都可以由計(jì)算機(jī)程序指令實(shí)現(xiàn)。這些計(jì)算機(jī)程序指令可以提供給通用計(jì)算機(jī)、專用計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器，從而生產(chǎn)出一種機(jī)器，使得這些計(jì)算機(jī)程序指令在通過計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器執(zhí)行時(shí)，產(chǎn)生了實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作的裝置。
[0022]也可以把這些計(jì)算機(jī)程序指令存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中，這些指令使得計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置、或其他設(shè)備以特定方式工作，從而，存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中的指令就產(chǎn)生出包括實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作的指令的制造品(article of manufacture)0
[0023]智能視覺監(jiān)控包括應(yīng)用計(jì)算機(jī)視覺技術(shù)以在視頻流數(shù)據(jù)中自動(dòng)檢測(cè)特定事件，例如檢測(cè)在平坡度交叉口場(chǎng)景中穿過鐵路的移動(dòng)對(duì)象或者靜態(tài)對(duì)象。然而，鐵路交叉口環(huán)境給自動(dòng)化視頻監(jiān)視的實(shí)現(xiàn)提出了許多挑戰(zhàn)。例如，一些現(xiàn)有技術(shù)方法使用背景建模用于直接對(duì)象檢測(cè)和跟蹤處理，例如通過建立運(yùn)動(dòng)檢測(cè)警報(bào)或者絆網(wǎng)警報(bào)以捕獲移動(dòng)對(duì)象。由于在后續(xù)圖像幀中感興趣的場(chǎng)景(例如由前燈穿過場(chǎng)景導(dǎo)致的照明變化，通過臨時(shí)遮蔽幀與幀之間前燈或者其它光源的列車車廂或者其它移動(dòng)對(duì)象的間歇干擾)和改變環(huán)境條件(例如下雨、反射、陰影，等等)所經(jīng)歷的可變照明條件，這些背景建模技術(shù)的性能可能是不可靠的或者易于出錯(cuò)的。
[0024]具有與經(jīng)過的列車引擎或者汽車類似的大小或者外觀的穿過軌道的大型車輛也可能為自動(dòng)化處理以成功地將穿越車輛與列車車廂和引擎區(qū)別開來帶來了困難。雖然一些方法建立對(duì)象分類器來直接定位場(chǎng)景中的穿越車輛或者列車，但是這些方法面臨可伸縮性問題，在這個(gè)意義上它們可能不能覆蓋所有可能的汽車車廂或者列車車廂的類型和模型。二維(2D)背景建模方法也是受到限制的并且通常不能可靠地區(qū)分列車與大型車輛(例如18輪卡車和/或公共汽車)。
[0025]圖1示出了根據(jù)本發(fā)明的方法、系統(tǒng)或者過程的一個(gè)實(shí)施例，用于應(yīng)用計(jì)算機(jī)視覺技術(shù)以自動(dòng)檢測(cè)通路交叉口內(nèi)靜態(tài)對(duì)象的存在。在104處，響應(yīng)于來自的第二通路(例如，鐵路)與第一通路的平坡度交叉口的場(chǎng)景的輸入視頻圖像數(shù)據(jù)，從輸入視頻幀102提取兩種類型的特征數(shù)據(jù)并且將其記錄到有形數(shù)據(jù)存儲(chǔ)介質(zhì)103中。首先，通過背景減除遮罩(有時(shí)稱為BGS遮罩)的應(yīng)用提取前景對(duì)象圖像特征；在一些實(shí)施例中，盡管可以實(shí)施其它方法，但是這基于高斯混合模型方法來確定。這種BGS遮罩表明場(chǎng)景感興趣的區(qū)域(ROI)內(nèi)部的像素是否屬于背景設(shè)置(并且從而由零來標(biāo)記)或者作為前景對(duì)象(由一來標(biāo)記)。由于它覆蓋對(duì)象以及對(duì)象的陰影和一些周圍區(qū)域，因此這種遮罩通常將對(duì)象范圍定義為實(shí)際的、基礎(chǔ)對(duì)象的超集。[0026]在104處提取的第二特征是光流，所述光流是針對(duì)連續(xù)幀之間每個(gè)像素的移動(dòng)的稠密流譜，所述稠密流譜通常僅從輸入視頻圖像數(shù)據(jù)的與提取的前景范圍數(shù)據(jù)同延或者由提取的前景范圍數(shù)據(jù)定義的那些部分或者區(qū)域提取。圖2示出了從定義視頻幀圖像場(chǎng)景206感興趣的區(qū)域范圍的范圍204提取的稠密光流場(chǎng)202的一個(gè)示例，所述視頻幀圖像場(chǎng)景206被指示為包括基礎(chǔ)對(duì)象(車輛205)。像素“P”的光流通?？梢员硎緸檫\(yùn)動(dòng)矢量(u_p，v_P)，其中“u_p”表示“P”的光流矢量的X軸分量(或者水平分量)，以及“v_p”通常表示流矢量的y軸分量(或者垂直分量)。如果像素在連續(xù)幀上是靜止的，那么它的光流將為(0，0)，如稠密光流場(chǎng)202中的照明區(qū)域208表示的；如果不是靜止的，那么(u_p，v_p)將具有非零值，由暗區(qū)210表示。盡管可以實(shí)施各種方法來計(jì)算光流特征，但是一些實(shí)施例使用變流方法(Variational Flow)計(jì)算光流。
[0027]在104處，通過BGS遮罩處理提取的前景數(shù)據(jù)特征通常在定義區(qū)域內(nèi)定義具有大小和長(zhǎng)寬比的前景范圍。在106處，根據(jù)用戶指定的偏好在預(yù)濾波階段中濾除其大小和長(zhǎng)寬比與感興趣的靜態(tài)對(duì)象的大小或者長(zhǎng)寬比不匹配的對(duì)象范圍，在一個(gè)示例中，移除范圍太小而不能與視頻圖像場(chǎng)景的比例內(nèi)的交叉口行人或者車輛匹配，或者太大而不能是最大的可能的卡車或者公共汽車等。在106處的長(zhǎng)寬比預(yù)濾波還除去作為異常的具有奇怪形狀的范圍，例如具有大于三的長(zhǎng)寬比或者具有一些其它形狀屬性的那些范圍，其表明由檢測(cè)的范圍表示的對(duì)象不可能是車輛、行人或者感興趣的其它交叉口對(duì)象。因此，預(yù)濾波步驟106在數(shù)據(jù)分析中的任何早期點(diǎn)處除去可能在其它現(xiàn)有技術(shù)處理中觸發(fā)錯(cuò)誤警報(bào)的偽數(shù)據(jù)和明顯錯(cuò)誤的檢測(cè)輸入，從而提供提聞的效率。
[0028]因此，如果在106處檢測(cè)到使其通過預(yù)濾波器的前景范圍，那么過程確定基礎(chǔ)對(duì)象存在于檢測(cè)的前景范圍內(nèi)并且在110處通過評(píng)估的前景范圍的移動(dòng)特征來確定基礎(chǔ)對(duì)象是否在運(yùn)動(dòng)中。在本實(shí)施例中，在Iio處，從針對(duì)光流的直方圖中的前景范圍的幀數(shù)據(jù)收集累積的光流統(tǒng)計(jì)，所述光流的直方圖包括包括第一柱，表示具有零光流幅值的像素的頻率，表示包括對(duì)象的BGS前景區(qū)域的“靜態(tài)”面積，并且多個(gè)其它柱表示在它們各自的方向中的每一個(gè)中具有光流指向的像素的頻率。
[0029]圖3示出了其中為以45度增量分布在檢測(cè)對(duì)象范圍的可能行程的2D旋轉(zhuǎn)取向周圍的對(duì)應(yīng)的、編號(hào)的方向箭頭提供的一到八個(gè)方向直方圖(八個(gè)方向箭頭通常各自平行于對(duì)象行進(jìn)于其上的表面)的一個(gè)實(shí)施例。應(yīng)當(dāng)理解，其它實(shí)施例可以利用或多或少的方向直方圖。通常，在110處，僅在BGS遮罩區(qū)域204上(圖2)收集直方圖數(shù)據(jù)，在一個(gè)方面最小化由對(duì)象的相鄰區(qū)域引入的噪聲。如果對(duì)象的靜態(tài)面積接近由BGS前景遮罩貢獻(xiàn)的總面積(大約相同大小或者更大)，那么在110處對(duì)象被聲明為處于靜態(tài)狀態(tài)，并且否則(如果第一柱面積小于其它柱的總面積)，由前景范圍表示的對(duì)象被認(rèn)為在運(yùn)動(dòng)中。
[0030]移動(dòng)對(duì)象。如果在110處確定對(duì)象在運(yùn)動(dòng)中，那么在112處確定其主導(dǎo)移動(dòng)方向。在一個(gè)示例中，主導(dǎo)移動(dòng)方向被計(jì)算為所有它的光流(也就是不同方向的柱中的每一個(gè)的方向柱頻率)的算術(shù)平均數(shù)，其產(chǎn)生圖4中所示的平均流箭頭確定402。其它實(shí)施例可以使用其它技術(shù)或者加權(quán)方式。在114處，將確定的主導(dǎo)移動(dòng)方向402與交叉口通路(在本示例中為鐵路軌道404)的取向相比較以確定對(duì)象是否在平行方向上移動(dòng)。如果402平行于404，那么這將表明基礎(chǔ)檢測(cè)對(duì)象沒有橫跨通路(列車軌道)，而相反可能是在交叉口通路上行進(jìn)的對(duì)象，實(shí)際上是沿著軌道移動(dòng)的列車車廂或者其它鐵路車輛。因此，這種對(duì)象在橫跨時(shí)變成靜態(tài)不值得關(guān)注，并且可以終止對(duì)這種對(duì)象的進(jìn)一步考慮或者分析，并且過程在115處重置并且返回至開始以便在104處對(duì)輸入視頻圖像102進(jìn)一步分析。
[0031]然而，如果在114處確定目標(biāo)對(duì)象的主導(dǎo)移動(dòng)方向402不平行于列車軌道取向404，那么為了跟蹤對(duì)象并且確定對(duì)象是否保持移動(dòng)(為了前進(jìn)通過并且從而清空交叉口)或者相反在平面交叉口區(qū)域中變?yōu)橥Ｖ?靜態(tài))，范圍的分析在116處繼續(xù)。
[0032]靜杰對(duì)象。在116處，確定前景對(duì)象感興趣的區(qū)域的外觀，并且觸發(fā)靜態(tài)計(jì)時(shí)器以確定提取的前景對(duì)象圖像特征的基礎(chǔ)對(duì)象范圍是否保持靜態(tài)并且固定在前景對(duì)象區(qū)域的確定的外觀中(更具體地，在交叉口區(qū)域內(nèi)并且因此可能導(dǎo)致碰撞危險(xiǎn))。該過程響應(yīng)于在110處確定交叉口中靜態(tài)對(duì)象的存在，并且還可以當(dāng)在108處表明沒有對(duì)象存在(移動(dòng)或者相反)時(shí)被觸發(fā)。在一個(gè)實(shí)現(xiàn)中，在116處在對(duì)象的靜態(tài)區(qū)域上使用和應(yīng)用彩色直方圖。另夕卜，在116處更新對(duì)象的靜態(tài)區(qū)域以包括最新的靜態(tài)像素。如果這是當(dāng)前靜態(tài)的對(duì)象的第一觀察(在更新像素?cái)?shù)據(jù)之后)，那么啟動(dòng)計(jì)時(shí)器；否則，如果在上一個(gè)(當(dāng)前)像素?cái)?shù)據(jù)更新之前進(jìn)行了靜態(tài)的先前靜態(tài)觀察，那么繼續(xù)已經(jīng)啟動(dòng)的計(jì)時(shí)器。當(dāng)前景對(duì)象區(qū)域的確定外觀包括提取的前景對(duì)象圖像特征時(shí)，計(jì)時(shí)器運(yùn)行，直到計(jì)時(shí)器的值達(dá)到118處用戶定義的時(shí)間閾值，其中基礎(chǔ)對(duì)象已經(jīng)在交叉口區(qū)域中保持靜態(tài)至少閾值時(shí)間，所述閾值時(shí)間被選擇用于指示應(yīng)當(dāng)采取糾正措施。相應(yīng)地，在119處觸發(fā)事件以指示平面交叉口區(qū)域中停止/廢棄的對(duì)象。
[0033]混合對(duì)象?！盎旌蠈?duì)象”指的是長(zhǎng)時(shí)間靜態(tài)并且從而被BGS模塊確定為背景的一部分(或者“被修復(fù)到”背景中)的那些前景對(duì)象，這是BGS方法的普遍和不可避免的問題并且其可以導(dǎo)致在交叉口區(qū)域中不存在對(duì)象的錯(cuò)誤判斷。如圖5中所示，在對(duì)象進(jìn)入視頻圖像數(shù)據(jù)中的場(chǎng)景之前，來自特征提取處理的輸出(例如，圖1的104處)發(fā)現(xiàn)沒有前景對(duì)象數(shù)據(jù)(“沒有FG”)并且沒有光流數(shù)據(jù)的顯著水平或者閾值水平(“沒有0F”)。當(dāng)對(duì)象進(jìn)入場(chǎng)景時(shí)，在104處，過程接著通過由范圍數(shù)據(jù)生成的FG和OF數(shù)據(jù)來確定對(duì)象的存在。當(dāng)BGS過程繼續(xù)“觀察”對(duì)象時(shí)(FG數(shù)據(jù)仍然存在)，如果對(duì)象停止并且保持靜態(tài)，那么OF數(shù)據(jù)轉(zhuǎn)換到靜態(tài)狀態(tài)，基本上為“沒有0F”。然而，在滿足118處的計(jì)時(shí)器判斷和在119處觸發(fā)事件警報(bào)之前，在場(chǎng)景內(nèi)保持靜態(tài)足夠時(shí)間以在118處觸發(fā)靜態(tài)計(jì)時(shí)器閾值的對(duì)象還可以被“修復(fù)”或者獲知到背景中。在現(xiàn)有技術(shù)方法下，如果FG數(shù)據(jù)被修復(fù)到背景中，那么在計(jì)時(shí)器達(dá)到靜態(tài)閾值之前提取的數(shù)據(jù)不再指示在某一點(diǎn)處對(duì)象的存在，并且因此計(jì)時(shí)器將停止運(yùn)行并且不滿足閾值時(shí)間，從而在119處不會(huì)觸發(fā)事件警報(bào)。
[0034]當(dāng)在118處觸發(fā)的計(jì)時(shí)器正在運(yùn)行時(shí)，本發(fā)明的實(shí)施例在120處通過提取預(yù)先記錄的靜態(tài)區(qū)域外觀數(shù)據(jù)并且使用提取的數(shù)據(jù)來計(jì)算圖像的當(dāng)前區(qū)域外觀來解決這一問題。如果這兩個(gè)外觀是相似的(在122處，它們?cè)谝欢ň嚯x測(cè)量閾值內(nèi)匹配)并且靜態(tài)對(duì)象的存在之前已經(jīng)在108處確定，那么即使對(duì)象數(shù)據(jù)已經(jīng)在當(dāng)前區(qū)域外觀判斷時(shí)在間隔時(shí)間周期中被修復(fù)到背景中，過程也確定在116處初始確定的外觀內(nèi)的前景對(duì)象仍然存在。如圖5中所示，BGS數(shù)據(jù)沒有從FG轉(zhuǎn)換成背景，而是轉(zhuǎn)換成“靜態(tài)”，即使FG數(shù)據(jù)另行被修復(fù)到背景中，這也保持計(jì)時(shí)器進(jìn)行到事件警報(bào)觸發(fā)閾值。
[0035]在120處提取預(yù)先記錄的靜態(tài)區(qū)域外觀數(shù)據(jù)以確定圖像的當(dāng)前區(qū)域外觀以及在122處與初始外觀相匹配的步驟可以發(fā)生在啟動(dòng)的靜態(tài)計(jì)時(shí)器運(yùn)行時(shí)的任何時(shí)間，包括在迭代或者重復(fù)的周期性基礎(chǔ)上。在120處通過使用預(yù)先記錄的數(shù)據(jù)103，在116處的初始外觀確定中的前景對(duì)象確定在過程中持續(xù)超出現(xiàn)有技術(shù)中普遍的修復(fù)點(diǎn)，從而通過使用在120處確定的當(dāng)前圖像作為前面記錄的靜態(tài)對(duì)象的延續(xù)，計(jì)時(shí)器可以在118處繼續(xù)運(yùn)行并且在119處觸發(fā)事件警報(bào)(如果滿足的話)。
[0036]相對(duì)于與僅基于背景減除結(jié)果的現(xiàn)有技術(shù)方法，本發(fā)明的實(shí)施例由此提供提高的性能用于可靠地檢測(cè)鐵路平面交叉口上停止的對(duì)象。還可以在各種其它通路交叉口背景中實(shí)現(xiàn)實(shí)施例，例如公路交叉口、上坡道和下坡道的高速公路和其它區(qū)域(其中在其它對(duì)象的行進(jìn)的期望或者預(yù)計(jì)路徑中識(shí)別靜態(tài)對(duì)象是有用的)。
[0037]根據(jù)本發(fā)明的靜態(tài)分析提供證據(jù)證明目標(biāo)對(duì)象不僅是真實(shí)的前景對(duì)象而且它實(shí)際上在關(guān)注的平面交叉口或者其它區(qū)域上為靜態(tài)的。這與對(duì)象是否在運(yùn)動(dòng)的任何判斷無關(guān)地檢測(cè)前景對(duì)象的現(xiàn)有技術(shù)方法形成對(duì)比。相反，對(duì)象的行進(jìn)方向幫助本發(fā)明的實(shí)施例確定對(duì)象是否為被穿過的通路的一部分(例如，經(jīng)過的列車車廂沿著鐵路軌道行進(jìn))或者是為了避免與被穿過的通路的移動(dòng)對(duì)象相撞而應(yīng)當(dāng)被跟蹤的其它車輛、行人等。靜態(tài)和運(yùn)動(dòng)方向分析還可以通過計(jì)算來自實(shí)時(shí)場(chǎng)景數(shù)據(jù)和歷史場(chǎng)景數(shù)據(jù)的當(dāng)前區(qū)域外觀并且由此防止通過修復(fù)跟蹤的對(duì)象的損失或者對(duì)象存在檢測(cè)的其它意外丟失，來有效地處理可能在觸發(fā)靜態(tài)對(duì)象事件判斷所需的時(shí)間周期上影響對(duì)象判斷的周期性前燈干擾、其它照明變化以及圖像數(shù)據(jù)質(zhì)量。
[0038]現(xiàn)參照?qǐng)D6，本發(fā)明的實(shí)施例的示例性計(jì)算機(jī)化實(shí)施方式包括與視頻數(shù)據(jù)輸入設(shè)備102 (攝像機(jī)、硬盤驅(qū)動(dòng)器、網(wǎng)絡(luò)端口等)通信的計(jì)算機(jī)系統(tǒng)或者其它可編程設(shè)備522，用于提供用于應(yīng)用計(jì)算機(jī)視覺技術(shù)以自動(dòng)檢測(cè)如上參照?qǐng)D1-5所述的通路交叉口內(nèi)靜態(tài)對(duì)象的存在的視頻數(shù)據(jù)輸入。指令542駐留于計(jì)算機(jī)可讀存儲(chǔ)器516中或者計(jì)算機(jī)可讀存儲(chǔ)系統(tǒng)532或者由中央處理單元(CPU) 538通過計(jì)算機(jī)網(wǎng)絡(luò)架構(gòu)526存取的其它有形計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中的計(jì)算機(jī)可讀代碼內(nèi)。因此，當(dāng)由處理單元538實(shí)現(xiàn)時(shí)，指令使得處理單元538執(zhí)行圖像數(shù)據(jù)的計(jì)算機(jī)視覺技術(shù)分析用于檢測(cè)如上所述的通路交叉口內(nèi)靜態(tài)對(duì)象的存在。
[0039]本發(fā)明的實(shí)施例還可以在訂閱、廣告和/或付費(fèi)基礎(chǔ)上執(zhí)行本發(fā)明的處理步驟。也就是說，服務(wù)提供商可以提議將計(jì)算機(jī)可讀程序代碼集成到計(jì)算機(jī)系統(tǒng)522中以使得計(jì)算機(jī)系統(tǒng)522能夠執(zhí)行圖像數(shù)據(jù)的計(jì)算機(jī)視覺技術(shù)分析，用于檢測(cè)如上所述通路交叉口內(nèi)靜態(tài)對(duì)象的存在。服務(wù)提供商可以對(duì)計(jì)算機(jī)架構(gòu)(例如計(jì)算機(jī)系統(tǒng)522、網(wǎng)絡(luò)環(huán)境526或者其部分)進(jìn)行創(chuàng)建、維護(hù)和支持等，所述計(jì)算機(jī)架構(gòu)為一個(gè)或者多個(gè)顧客執(zhí)行本發(fā)明的處理步驟。作為回報(bào)，服務(wù)提供商可以在訂閱和/或收費(fèi)協(xié)議下從一個(gè)或者多個(gè)顧客接收付款和/或服務(wù)提供商可以從向一個(gè)或者多個(gè)第三方銷售的廣告內(nèi)容接收支付。服務(wù)可以包括以下中的一個(gè)或者多個(gè):(I)通過有形計(jì)算機(jī)可讀介質(zhì)設(shè)備520或者532在計(jì)算設(shè)備(計(jì)算機(jī)設(shè)備522)上安裝程序代碼；(2)將一個(gè)或者多個(gè)計(jì)算設(shè)備添加至計(jì)算機(jī)架構(gòu)；以及(3)合并或者修改計(jì)算機(jī)架構(gòu)的一個(gè)或者多個(gè)現(xiàn)有系統(tǒng)以使得計(jì)算機(jī)架構(gòu)能夠執(zhí)行本發(fā)明的處理步驟。
[0040]在這里使用的術(shù)語僅僅是為了描述具體實(shí)施例而不意圖限制本發(fā)明。如此處使用的，除非上下文清楚地另作說明，單數(shù)形式〃 一個(gè)〃(〃a〃)、〃 一種〃(〃an〃)和〃所述〃("the")意圖是也包括復(fù)數(shù)形式。此外還應(yīng)理解，當(dāng)本說明書使用術(shù)語〃包括〃(comprise和/或comprise)時(shí)，是說明存在指定的特性、整數(shù)、步驟、操作、元件和/或組件，但并不排除一個(gè)或多個(gè)其他特征、整數(shù)、步驟、操作、元件、組件和/或其組合的存在或增加。在本發(fā)明中描述的包括在權(quán)利要求中和如圖所示的某些例子和元件，可以通過獨(dú)特的形容詞(例如〃第一 〃元件不同于多個(gè)元件中的另外的〃第二 〃或者〃第三〃元件、〃主要的〃不同于〃次要的〃或者〃另一個(gè)〃項(xiàng)目等等)與其他進(jìn)行區(qū)別或者標(biāo)識(shí)。這種標(biāo)識(shí)形容詞通常地用于減少混淆或者不可靠，并且不應(yīng)被解釋為限制權(quán)利要求至任何特定說明的元件或?qū)嵤├蛘咧涟凳救魏螜?quán)利要求元件、限制或工序的優(yōu)先、順序或者等級(jí)。
[0041]在以下權(quán)利要求書中的相應(yīng)的結(jié)構(gòu)、材料、動(dòng)作和所有裝置或步驟加功能性元素的等價(jià)物意圖包括用于執(zhí)行如具體要求的與其他要求的元素組合的所述功能的任何結(jié)構(gòu)、材料或者動(dòng)作。已經(jīng)出于示例但是說明的目的給出了本發(fā)明的說明書，并且其不是窮舉的或者局限于所公開的本發(fā)明。在不背離本發(fā)明的保護(hù)范圍和精神的情況下，本領(lǐng)域普通技術(shù)人員將明白多種改型和變化。為了最佳地闡明本發(fā)明和實(shí)際應(yīng)用的原理并且為了能夠使得本領(lǐng)域普通技術(shù)人員理解具有適于所設(shè)想的特定使用的各種改型的各種實(shí)施例的本發(fā)明，選擇并且描述了實(shí)施例。
【權(quán)利要求】
1.一種用于應(yīng)用計(jì)算機(jī)視覺技術(shù)以自動(dòng)檢測(cè)第二通路的第一通路交叉口內(nèi)靜態(tài)對(duì)象的存在的方法，所述方法包括: 響應(yīng)于來自第二通路與第一通路的平坡度交叉口的場(chǎng)景的輸入視頻圖像數(shù)據(jù)，處理單元通過應(yīng)用背景減除遮罩提取前景對(duì)象圖像特征和提取由所提取的前景對(duì)象圖像特征定義的來自所述輸入視頻圖像數(shù)據(jù)的區(qū)域的光流圖像特征，并且將所述前景對(duì)象圖像特征和光流圖像特征記錄到有形數(shù)據(jù)存儲(chǔ)介質(zhì)中； 所述處理單元通過評(píng)估所述前景對(duì)象圖像特征的移動(dòng)特征來確定所提取的前景對(duì)象圖像特征的基礎(chǔ)對(duì)象是在運(yùn)動(dòng)中還是靜態(tài)的； 如果所評(píng)估的移動(dòng)特征表明所述基礎(chǔ)對(duì)象是在運(yùn)動(dòng)中，那么所述處理單元根據(jù)所提取的光流圖像特征確定所述基礎(chǔ)對(duì)象的主導(dǎo)移動(dòng)方向； 如果所述基礎(chǔ)對(duì)象的所確定的主導(dǎo)移動(dòng)方向平行于與所述第一通路交叉的所述第二通路的取向，那么所述處理單元重置所述方法并且不生成事件警報(bào)；以及 如果所評(píng)估的移動(dòng)特征表明所述基礎(chǔ)對(duì)象是靜態(tài)的，或者所述對(duì)象在運(yùn)動(dòng)中并且所述基礎(chǔ)對(duì)象的所確定的主導(dǎo)移動(dòng)方向不平行于與所述第一通路交叉的所述第二通路的取向，那么所述處理單元: 確定所述前景對(duì)象區(qū)域的初始外觀； 啟動(dòng)并且運(yùn)行靜態(tài)計(jì)時(shí)器，所述靜態(tài)計(jì)時(shí)器在所述前景對(duì)象區(qū)域包括所提取的前景對(duì)象圖像特征時(shí)運(yùn)行； 當(dāng)所述前景對(duì)象區(qū)域的所確定的外觀包括所提取的前景對(duì)象圖像特征時(shí)，如果所啟動(dòng)的靜態(tài)計(jì)時(shí)器達(dá)到閾值，那么生成事件報(bào)警；以及 其中所述事件報(bào)警表明靜態(tài)對(duì)象正在阻擋所述交叉口第二通路上的行進(jìn)。
2.根據(jù)權(quán)利要求1所述的方法，其中所述處理單元確定所述前景對(duì)象區(qū)域的所述外觀并且啟動(dòng)和運(yùn)行所述靜態(tài)計(jì)時(shí)器的步驟進(jìn)一步包括: 從記錄到所述有形數(shù)據(jù)存儲(chǔ)介質(zhì)中的所述前景對(duì)象圖像特征和光流圖像特征，為由所提取的前景對(duì)象圖像特征定義的輸入視頻圖像數(shù)據(jù)的區(qū)域提取預(yù)先記錄的靜態(tài)區(qū)域外觀數(shù)據(jù)； 使用所提取的預(yù)先記錄的靜態(tài)區(qū)域外觀數(shù)據(jù)來確定由所提取的前景對(duì)象圖像特征定義的輸入視頻圖像數(shù)據(jù)的所述區(qū)域的當(dāng)前外觀；以及 當(dāng)所述計(jì)時(shí)器正在運(yùn)行并且所述當(dāng)前區(qū)域外觀在距離測(cè)量閾值內(nèi)與所述初始區(qū)域外觀匹配時(shí)，如果所提取的前景對(duì)象圖像特征被獲知到背景中，那么使所啟動(dòng)的計(jì)時(shí)器保持運(yùn)行。
3.根據(jù)權(quán)利要求2所述的方法，其中所述處理單元評(píng)估所述前景對(duì)象圖像特征的移動(dòng)特征的步驟包括: 從直方圖中所述前景對(duì)象圖像特征的幀數(shù)據(jù)收集光流統(tǒng)計(jì)，所述直方圖包括累積具有零光流幅值的像素的頻率的第一柱，所述第一柱表示所述基礎(chǔ)對(duì)象的靜態(tài)面積，以及多個(gè)其它柱，所述多個(gè)其它柱各自累積在多個(gè)不同的、相應(yīng)方向中的每一個(gè)中具有光流指向的像素的頻率； 如果由所述第一柱累積頻率表示的包括所述對(duì)象的所述前景區(qū)域的面積至少大約與由多個(gè)其它不同的、相應(yīng)方向的柱的累積頻率表示的面積的總數(shù)相同，那么確定所提取的前景對(duì)象圖像特征的所述基礎(chǔ)對(duì)象是靜態(tài)的；以及 如果由第一柱累積頻率表示的前景區(qū)域的面積小于由多個(gè)其它不同的、相應(yīng)方向的柱的累積頻率表示的面積的總數(shù)，那么確定所提取的前景對(duì)象圖像特征的所述基礎(chǔ)對(duì)象在運(yùn)動(dòng)中。
4.根據(jù)權(quán)利要求3所述的方法，其中所述基礎(chǔ)對(duì)象的主導(dǎo)移動(dòng)方向被確定為所述多個(gè)其它不同的、相應(yīng)方向的柱的累積頻率的算術(shù)平均數(shù)。
5.根據(jù)權(quán)利要求4所述的方法，其中確定由所提取的前景數(shù)據(jù)定義的輸入視頻圖像數(shù)據(jù)的所述區(qū)域的外觀包括在由所述第一柱的累積靜態(tài)頻率表示的所述前景區(qū)域的所述面積上實(shí)現(xiàn)和應(yīng)用彩色直方圖。
6.根據(jù)權(quán)利要求5所述的方法，其中所述處理單元通過應(yīng)用背景減除遮罩提取所述前景范圍區(qū)域?qū)ο髨D像特征的步驟包括基于高斯混合模型方法確定背景減除遮罩特征。
7.根據(jù)權(quán)利要求5所述的方法，其中所述處理單元提取所述光流圖像特征包括針對(duì)由所提取的前景對(duì)象圖像特征定義的輸入視頻圖像數(shù)據(jù)的所述區(qū)域內(nèi)的像素確定變流光流特征。
8.根據(jù)權(quán)利要求5所述的方法，進(jìn)一步包括，在所述處理單元通過評(píng)估所述前景對(duì)象圖像特征的移動(dòng)特征來確定所提取的前景對(duì)象圖像特征的基礎(chǔ)對(duì)象是在運(yùn)動(dòng)中還是靜態(tài)的步驟之前，如果從通過所述背景減除遮罩提取的所述前景對(duì)象圖像特征定義的前景范圍具有與預(yù)定大小或者長(zhǎng)寬比的值不匹配的大小或者長(zhǎng)寬比，那么: 濾出所述前景對(duì)象圖像特征； 重置所述方法；以及 不生成所述事件警報(bào)。
9.一種用于應(yīng)用計(jì)算機(jī)視覺技術(shù)以自動(dòng)檢測(cè)第二通路的第一通路交叉口內(nèi)靜態(tài)對(duì)象的存在的系統(tǒng)，包括: 被配置為響應(yīng)于來自第二通路與第一通路的平坡度交叉口的場(chǎng)景的輸入視頻圖像數(shù)據(jù)，通過應(yīng)用背景減除遮罩提取前景對(duì)象圖像特征并且將所述前景對(duì)象圖像特征記錄到有形數(shù)據(jù)存儲(chǔ)介質(zhì)中和由所提取的前景對(duì)象圖像特征定義的來自所述輸入視頻圖像數(shù)據(jù)的區(qū)域的光流圖像特征的裝置； 被配置為通過評(píng)估所述前景對(duì)象圖像特征的移動(dòng)特征來確定所提取的前景對(duì)象圖像特征的基礎(chǔ)對(duì)象是在運(yùn)動(dòng)中還是靜態(tài)的裝置； 被配置為如果所評(píng)估的移動(dòng)特征表明所述基礎(chǔ)對(duì)象是在運(yùn)動(dòng)中，那么根據(jù)所提取的光流圖像特征確定所述基礎(chǔ)對(duì)象的主導(dǎo)移動(dòng)方向的裝置； 被配置為如果所述基礎(chǔ)對(duì)象的所確定的主導(dǎo)移動(dòng)方向平行于與所述第一通路交叉的所述第二通路的取向，那么重置所述方法并且不生成事件警報(bào)的裝置；以及 被配置為所評(píng)估的移動(dòng)特征表明所述基礎(chǔ)對(duì)象是靜態(tài)的，或者所述對(duì)象在運(yùn)動(dòng)中并且所述基礎(chǔ)對(duì)象的所確定的主導(dǎo)移動(dòng)方向不平行于與所述第一通路交叉的所述第二通路的取向，那么執(zhí)行如下功能的裝置: 確定所述前景對(duì)象區(qū)域的初始外觀； 啟動(dòng)并且運(yùn)行靜態(tài)計(jì)時(shí)器，所述靜態(tài)計(jì)時(shí)器在所述前景對(duì)象區(qū)域包括所提取的前景對(duì)象圖像特征時(shí)運(yùn)行；當(dāng)所述前景對(duì)象區(qū)域的所確定的外觀包括所提取的前景對(duì)象圖像特征時(shí)，如果所啟動(dòng)的靜態(tài)計(jì)時(shí)器達(dá)到閾值，那么生成事件報(bào)警；以及 其中所述事件報(bào)警表明靜態(tài)對(duì)象正在阻擋所述交叉口第二通路上的行進(jìn)。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中被配置為確定所述前景對(duì)象區(qū)域的外觀并且啟動(dòng)和運(yùn)行所述靜態(tài)計(jì)時(shí)器的裝置進(jìn)一步被配置為: 從記錄到所述有形數(shù)據(jù)存儲(chǔ)介質(zhì)中的所述前景對(duì)象圖像特征和光流圖像特征，為由所提取的前景對(duì)象圖像特征定義的輸入視頻圖像數(shù)據(jù)的區(qū)域提取預(yù)先記錄的靜態(tài)區(qū)域外觀數(shù)據(jù)； 使用所提取的預(yù)先記錄的靜態(tài)區(qū)域外觀數(shù)據(jù)來確定由所提取的前景對(duì)象圖像特征定義的輸入視頻圖像數(shù)據(jù)的所述區(qū)域的當(dāng)前外觀；以及 當(dāng)所述計(jì)時(shí)器正在運(yùn)行并且所述當(dāng)前區(qū)域外觀在距離測(cè)量閾值內(nèi)與所述初始區(qū)域外觀匹配時(shí)，如果所提取的前景對(duì)象圖像特征被獲知到背景中，那么使所啟動(dòng)的計(jì)時(shí)器保持運(yùn)行。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中被配置為評(píng)估所述前景對(duì)象圖像特征的移動(dòng)特征的裝置被配置為: 從直方圖中所述前景對(duì)象圖像特征的幀數(shù)據(jù)收集光流統(tǒng)計(jì)，所述直方圖包括累積具有零光流幅值的像素的頻率的第一柱，所述第一柱表示所述基礎(chǔ)對(duì)象的靜態(tài)面積，以及多個(gè)其它柱，所述多個(gè)其它柱各自累積在多個(gè)不同的、相應(yīng)方向中的每一個(gè)中具有光流指向的像素的頻率； 如果由所述第一柱累積頻率表示的包括所述對(duì)象的所述前景區(qū)域的面積至少大約與由多個(gè)其它不同的、相應(yīng)方向的柱的累積頻率表示的面積的總數(shù)相同，那么確定所提取的前景對(duì)象圖像特征的所述基礎(chǔ)對(duì)象是靜態(tài)的；以及 如果由第一柱累積頻率表示的前景區(qū)域的面積小于由多個(gè)其它不同的、相應(yīng)方向的柱的累積頻率表示的面積的總數(shù)，那么確定所提取的前景對(duì)象圖像特征的所述基礎(chǔ)對(duì)象在運(yùn)動(dòng)中。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述基礎(chǔ)對(duì)象的主導(dǎo)移動(dòng)方向被確定為所述多個(gè)其它不同的、相應(yīng)方向的柱的累積頻率的算術(shù)平均數(shù)。
13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中確定由所提取的前景數(shù)據(jù)定義的輸入視頻圖像數(shù)據(jù)的所述區(qū)域的外觀包括在由所述第一柱的累積靜態(tài)頻率表示的所述前景區(qū)域的所述面積上實(shí)現(xiàn)和應(yīng)用彩色直方圖。
14.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中被配置為通過應(yīng)用所述背景減除遮罩提取所述前景范圍區(qū)域?qū)ο髨D像特征的裝置被配置為基于高斯混合模型方法確定背景減除遮罩特征。
15.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中被配置為提取所述光流圖像特征的裝置被配置為針對(duì)由所提取的前景對(duì)象圖像特征定義的輸入視頻圖像數(shù)據(jù)的所述區(qū)域內(nèi)的像素確定變流光流特征。
16.根據(jù)權(quán)利要求13所述的系統(tǒng)，進(jìn)一步包括，在所述處理單元通過評(píng)估所述前景對(duì)象圖像特征的移動(dòng)特征來確定所提取的前景對(duì)象圖像特征的基礎(chǔ)對(duì)象是在運(yùn)動(dòng)中還是靜態(tài)的步驟之前，如果從通過所述背景減除遮罩提取的所述前景對(duì)象圖像特征定義的前景范圍具有與預(yù)定大小或者長(zhǎng)寬比的值不匹配的大小或者長(zhǎng)寬比，那么被配置為執(zhí)行如下功能的裝置: 濾出所述前景對(duì)象圖像特征； 重置所述方法；以及 不生成所述事件警報(bào)。`
【文檔編號(hào)】G06K9/46GK103530632SQ201310264479
【公開日】2014年1月22日 申請(qǐng)日期:2013年6月28日 優(yōu)先權(quán)日:2012年6月28日
【發(fā)明者】R·S·弗里斯, 翟昀 申請(qǐng)人:國(guó)際商業(yè)機(jī)器公司