專利名稱：狀況判定裝置、狀況判定方法、狀況判定程序、異常判定裝置、異常判定方法、異常判定程 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種狀況判定裝置、狀況判定方法、狀況判定程 序、異常判定裝置、異常判定方法和異常判定程序，能夠?qū)υ谥T如車 站或機場這樣的其中有多人移動的公共空間中拍攝的圖像進行分析， 以檢測人的擁塞度或移動狀況。
此外，本發(fā)明涉及一種擁塞推定裝置，其基于圖像來推定人的擁 塞度，并且更具體地，涉及一種對人的滯留狀態(tài)或移動狀態(tài)的種類進 行判定以檢測異常狀態(tài)的擁塞推定裝置。
背景技術(shù)：
近年來，隨著對安全保障性的需求增加，在諸如車站或機場 這樣的公共空間以及重要設(shè)施中，已安裝有監(jiān)視相機。在現(xiàn)有技術(shù)中， 監(jiān)視員一直監(jiān)視著監(jiān)視相機。因此，為了防止由于監(jiān)視相機數(shù)增加和 監(jiān)視員疲勞而使得監(jiān)視員漏看監(jiān)視相機，嘗試利用圖像辨識來實現(xiàn)省 力而高效的監(jiān)視。專利文獻1和專利文獻2公開了用于對監(jiān)視場所中的人數(shù)計 數(shù)的技術(shù)。專利文獻1公開了一種技術(shù)，該技術(shù)利用背景差分來提取 背景并對在與人的通道正交的監(jiān)視區(qū)域內(nèi)移動的人數(shù)計數(shù)。準備多個 監(jiān)視區(qū)域并利用監(jiān)視區(qū)域之間的計數(shù)值的變化，這樣，即使出現(xiàn)干擾 也能夠準確地計數(shù)。專利文獻2公開了一種技術(shù)，其中，相機被設(shè)置在通道上方， 使得光軸與垂直方向?qū)?，在圖像上所設(shè)置的邊界線處提取運動向量，以便對人數(shù)計數(shù)，并對該運動向量關(guān)于邊界線的垂直分量進行積分， 以對經(jīng)過通道的人的數(shù)目計數(shù)。專利文獻3公開了一種技術(shù)，該技術(shù)從圖像中提取對應(yīng)于人
數(shù)的特征而不對人數(shù)計數(shù)以計算擁塞度。在專利文獻3中，假定"當
存在大量行人時，不同時刻拍攝的圖像之間的變化數(shù)目增加"，在此 前提下，對每個像素或每個局部區(qū)域在預(yù)定時間內(nèi)的變化的數(shù)目進行 計算，并基于該變化的數(shù)目來計算擁塞度。此外，在現(xiàn)有技術(shù)中，已提出各種推定圖像中的人的擁塞度 的技術(shù)。例如，已提出下述技術(shù)，該技術(shù)計算運動向量、計算運動向 量的積分值并以積分值的單位對人數(shù)計數(shù)(例如，參見專利文獻4)。
已提出一種技術(shù)，該技術(shù)檢測人的頭部、測量頭部數(shù)并推定擁塞 度(例如，參見專利文獻2)。
已提出一種技術(shù)，該技術(shù)利用通過幀間差分或背景差分處理而提 取的背景的面積來推定擁塞度(例如，參見專利文獻3或?qū)＠墨I5)。專利文獻1: JP-A-2002-074371 專利文獻2: JP-A-2005-135339 專利文獻3: JP-A-2004-102380 專利文獻4: JP-A-2005-128619 專利文獻5: JP-A-11-282999

發(fā)明內(nèi)容
本發(fā)明要解決的問題然而，上面提及的根據(jù)現(xiàn)有技術(shù)的技術(shù)存在下列問題。即是 說，專利文獻1所公開的技術(shù)利用背景差分。因此，難以將該技術(shù)應(yīng) 用于照明有大變化的場所，并且難以在擁塞期間逐個對人計數(shù)。同樣，在專利文獻2所公開的技術(shù)中，難以在擁塞期間逐個對人計數(shù)。在專利文獻3中，因為以人移動為前提，所以難以對其中存在移動中的人和站立的人的狀況中的擁塞度進行計算。根據(jù)現(xiàn)有技術(shù)的方法對運動向量積分并以積分值的單位測
量人數(shù)，是將每個人分立開來的方法。在該方法中，當存在少量人時，能夠較為準確地推定擁塞度。然而，在擁塞狀況中，人彼此重疊。因此，難以將該技術(shù)應(yīng)用于擁塞狀況，并且推定的準確度降低。在提取運動向量時，正常移動的運動向量和由例如噪聲生成的微小運動向量由于相機的視角而具有不同大小。因此，必須預(yù)先設(shè)定運動向量的大小的閾值。檢測人的頭部的方法存在的問題在于，當存在少量人時，難以較為準確地推定擁塞度，并且當存在大量人時，頭部的檢測準確度降低。
在利用通過幀間差分處理提取的背景的面積來推定擁塞度的方法中，當人保持靜止時，不提取背景。在利用通過背景差分處理提取的背景的面積來推定擁塞度的方法中，當大部分畫面中有人存在時，難以準確地得到背景區(qū)域。該方法容易受相機抖動影響。此外，在該方法中，未公開計算擁塞度的指標(滯留區(qū)域、移動區(qū)域、正常區(qū)域、滯留開始狀態(tài)、滯留消除狀態(tài)和正常狀態(tài))的方法，且難以檢驗部分擁塞狀況。為了解決上面提及的問題而做出本發(fā)明，并且本發(fā)明的目的是提供能夠容易地判定監(jiān)視場所的狀況和擁塞度的狀況判定裝置、狀況判定方法、狀況判定程序、異常判定裝置、異常判定方法和異常判定程序。為了解決上面提及的問題而做出本發(fā)明，并且本發(fā)明的目的是提供一種能夠基于圖像而容易且準確地推定人的擁塞度的擁塞推定裝置。
解決問題的方法為了達到目的，本發(fā)明提供了一種狀況判定裝置，其用于對所拍攝的運動圖像或多個所拍攝的靜止圖像進行分析，以判定人的移動狀況和/或擁塞度，所述狀況判定裝置包括局部圖像變化率計算單元，所述局部圖像變化率計算單元對所拍攝的圖像的局部區(qū)域中的亮度值的時間變化率進行計算；和狀況判定單元，所述狀況判定單元對由所述局部圖像變化率計算單元計算的多個局部區(qū)域的時間變化率的直方圖進行分析，并且判定人的移動狀況和/或人的擁塞度。根據(jù)上面提及的結(jié)構(gòu)，計算所拍攝的圖像中的多個局部區(qū)域
的局部變化率，計算所述多個區(qū)域的局部變化率的直方圖并且對該直方圖進行分析。因此，能夠檢測與物體的移動的發(fā)生率相對應(yīng)的空間特性(例如，移動偏移到一側(cè))，并且能夠綜合地判定監(jiān)視場所的狀況和擁塞度。本發(fā)明提供了一種狀況判定裝置，其用于對所拍攝的運動圖
像或多個所拍攝的靜止圖像進行分析，以判定人的移動狀況和/或擁塞
度，所述狀況判定裝置包括圖像輸入單元，所述圖像輸入單元輸入在成像對象場所中拍攝的人的運動圖像或多個靜止圖像；圖像蓄積單元，所述圖像蓄積單元蓄積由所述圖像輸入單元輸入的圖像；局部圖像變化檢測單元，所述局部圖像變化檢測單元從蓄積在所述圖像蓄積單元中的圖像中選擇按照第一時間間隔拍攝的兩個圖像，并且使用表示將所述圖像分割成多個局部區(qū)域的分割方法的區(qū)域分割信息來在每個局部區(qū)域中檢測所述兩個圖像之間的變化；局部圖像變化信息蓄積單元，所述局部圖像變化信息蓄積單元蓄積由所述局部圖像變化檢測單元檢測到的所述兩個圖像之間的變化，作為圖像變化信息；局部圖像變化率計算單元，所述局部圖像變化率計算單元基于蓄積在所述局部圖像變化信息蓄積單元中的圖像變化信息，對每個局部區(qū)域中按照 第二時間間隔給出的圖像之間的變化數(shù)目計數(shù)，并且計算每個局部區(qū)
域的圖像變化率；局部圖像變化率蓄積單元，所述局部圖像變化率蓄 積單元蓄積由所述局部圖像變化率計算單元計算的多個局部區(qū)域的圖
像變化率；局部圖像變化率直方圖計算單元，所述局部圖像變化率直 方圖計算單元對由所述局部圖像變化率蓄積單元蓄積的所述多個局部
區(qū)域的圖像變化率的直方圖進行計算；狀況判定單元，所述狀況判定 單元對由所述局部圖像變化率直方圖計算單元計算的直方圖進行分 析，以判定所述成像對象場所中的人的移動狀況和/或擁塞度。根據(jù)上面提及的結(jié)構(gòu)，計算所拍攝的圖像中的多個局部區(qū)域 的局部變化率，計算所述多個區(qū)域的局部變化率的直方圖并且對該直 方圖進行分析。因此，能夠檢測與物體的移動的發(fā)生率相對應(yīng)的空間 特性(例如，移動偏移到一側(cè))，并且能夠綜合地判定監(jiān)視場所的狀 況和擁塞度。在上面提及的結(jié)構(gòu)中，所述狀況判定單元包括參照直方圖儲 存單元和直方圖比較單元。在上面提及的結(jié)構(gòu)中，所述狀況判定單元包括特征提取單 元、識別基準儲存單元和識別單元。在上面提及的結(jié)構(gòu)中，所述移動狀況至少包括其中人的移動 路徑偏移到一側(cè)的狀況。根據(jù)上面提及的結(jié)構(gòu)，能夠利用簡單的處理來對移動路徑偏 移到一側(cè)進行檢測。因此，能夠推定是否存在等候列車的隊列以及在 車站等存在等候列車的隊列的場所中的人的擁塞級別。顯然，在其中 移動路徑?jīng)]有偏移到一側(cè)的狀況中，也能夠推定狀況和擁塞級別。當 在人通常未排成隊列的通道中檢測到移動路徑偏移到一側(cè)時，可推定存在妨礙人自由移動的障礙。本發(fā)明提供了一種異常判定裝置，其用于對由設(shè)置在車站站 臺處的成像單元拍攝的運動圖像或多個靜止圖像進行分析，以判定異 常狀況，所述異常判定裝置包括所述狀況判定裝置；列車到達檢測 單元，所述列車到達檢測單元檢測列車到達所述站臺；和異常判定單 元，所述異常判定單元基于所述狀況判定裝置的狀況判定結(jié)果和通過 所述列車到達檢測單元得到的列車到達信息，當自所述列車到達檢測
單元取得列車到達信息起經(jīng)過預(yù)定時間之后判定人的移動路徑偏移到 一側(cè)作為所述狀況判定結(jié)果時，判定發(fā)生異常。根據(jù)上面提及的結(jié)構(gòu)，能夠基于通過狀況判定裝置得到的狀 況種類或擁塞度來判定不同于正常狀態(tài)的異常擁塞狀態(tài)。在上面提及的結(jié)構(gòu)中，所述異常判定裝置還包括通報單元， 當所述異常判定單元判定發(fā)生異常時，所述通報單元將所述異常判定 單元的判定結(jié)果發(fā)送給預(yù)定聯(lián)絡(luò)地址。根據(jù)上面提及的結(jié)構(gòu)，能夠給監(jiān)視員提供輔助信息或迅速將
其傳送到預(yù)定聯(lián)絡(luò)地址。本發(fā)明提供了一種狀況判定方法，其用于對所拍攝的運動圖 像或多個所拍攝的靜止圖像進行分析，以判定人的移動狀況和/或擁塞
度，所述狀況判定方法包括局部圖像變化率計算步驟，所述局部圖
像變化率計算步驟用于對所拍攝的圖像的局部區(qū)域中的亮度值的時間
變化率進行計算；和狀況判定步驟，所述狀況判定步驟用于對由所述 局部圖像變化率計算單元計算的多個局部區(qū)域的時間變化率的直方圖 進行分析，并且判定人的移動狀況和/或人的擁塞度。根據(jù)上面提及的方法，計算所拍攝的圖像中的多個局部區(qū)域的局部變化率，計算所述多個區(qū)域的局部變化率的直方圖并且對該直 方圖進行分析。因此，能夠檢測與物體的移動的發(fā)生率相對應(yīng)的空間 特性(例如，移動偏移到一側(cè))，并且能夠綜合地判定監(jiān)視場所的狀 況和擁塞度。在所述狀況判定方法中，所述移動狀況至少包括其中人的移 動路徑偏移到一側(cè)的狀況。根據(jù)上面提及的方法，能夠利用簡單的處理來對移動路徑偏 移到一側(cè)進行檢測。因此，能夠推定是否存在等候列車的隊列以及在 車站等存在等候列車的隊列的場所中的人的擁塞級別。顯然，在其中 移動路徑?jīng)]有偏移到一側(cè)的狀況中，也能夠推定狀況和擁塞級別。當 在人通常未排成隊列的通道中檢測到移動路徑偏移到一側(cè)時，可能會 推定存在妨礙人自由移動的障礙。本發(fā)明提供了一種異常判定方法，其用于對由設(shè)置在車站站 臺處的成像單元拍攝的運動圖像或多個靜止圖像進行分析，以判定異 常狀況，所述異常判定方法包括狀況判定步驟，所述狀況判定步驟 用于執(zhí)行狀況判定方法；列車到達檢測步驟，所述列車到達檢測步驟 用于檢測列車到達所述站臺；和異常判定步驟，所述異常判定步驟用
于基于狀況判定裝置的狀況判定結(jié)果和通過列車到達檢測單元得到的 列車到達信息，當自所述列車到達檢測單元取得所述列車到達信息起 經(jīng)過預(yù)定時間之后判定人的移動路徑偏移到一側(cè)作為所述狀況判定結(jié) 果時，判定發(fā)生異常。根據(jù)上面提及的方法，能夠基于通過狀況判定裝置得到的狀 況種類或擁塞度來判定不同于正常狀態(tài)的異常擁塞狀態(tài)。本發(fā)明提供了一種狀況判定程序，其對所拍攝的運動圖像或 多個所拍攝的靜止圖像進行分析，以判定人的移動狀況和/或擁塞度，所述狀況判定程序允許計算機執(zhí)行局部圖像變化率計算步驟，所述 局部圖像變化率計算步驟用于對所拍攝的圖像的局部區(qū)域中的亮度值 的時間變化率進行計算；和狀況判定步驟，所述狀況判定步驟用于對 由所述局部圖像變化率計算單元計算的多個局部區(qū)域的時間變化率的 直方圖進行分析，并且判定人的移動狀況和/或人的擁塞度。根據(jù)上面提及的程序，計算所拍攝的圖像中的多個局部區(qū)域 的局部變化率，計算所述多個區(qū)域的局部變化率的直方圖并且對該直 方圖進行分析。因此，能夠檢測與物體的移動的發(fā)生率相對應(yīng)的空間 特性(例如，移動偏移到一側(cè))，并且能夠綜合地判定監(jiān)視場所的狀 況和擁塞度。在所述狀況判定程序中，所述移動狀況至少包括其中人的移 動路徑偏移到一側(cè)的狀況。根據(jù)上面提及的程序，能夠利用簡單的處理來對移動路徑偏 移到-一側(cè)進行檢測。因此，能夠推定是否存在等候列車的隊列以及在 車站等存在等候列車的隊列的場所中的人的擁塞級別。顯然，在其中 移動路徑?jīng)]有偏移到一側(cè)的狀況中，也能夠推定狀況和擁塞級別。當 在人通常未排成隊列的通道中檢測到移動路徑偏移到一側(cè)時，可推定 存在妨礙人自由移動的障礙。本發(fā)明提供了一種異常判定程序，其對由設(shè)置在車站站臺處 的成像單元拍攝的運動圖像或多個靜止圖像進行分析，以判定異常狀
況，所述異常判定程序允許計算機執(zhí)行狀況判定步驟，所述狀況判 定步驟用于執(zhí)行狀況判定方法；列車到達檢測步驟，所述列車到達檢 測步驟用于檢測到所述站臺的列車的到達；和異常判定步驟，所述異 常判定步驟用于基于所述狀況判定裝置的狀況判定結(jié)果和通過所述列 車到達檢測單元得到的列車到達信息，當自所述列車到達檢測單元取 得列車到達信息起經(jīng)過預(yù)定時間之后判定人的移動路徑偏移到一側(cè)作為所述狀況判定結(jié)果時，判定發(fā)生異常。根據(jù)上面提及的程序，能夠基于通過狀況判定裝置得到的狀 況種類或擁塞度來判定不同于正常狀態(tài)的異常擁塞狀態(tài)。本發(fā)明提供了一種擁塞推定裝置，包括圖像生成單元，所
述圖像生成單元將通過相機拍攝的圖像或各種場景的圖像轉(zhuǎn)換成數(shù)字
圖像，并且輸出所述數(shù)字圖像；區(qū)域分割單元，所述區(qū)域分割單元將 輸入圖像分割成部分區(qū)域；移動信息生成單元，所述移動信息生成單 元由從所述圖像生成單元輸出的圖像生成移動信息；紋理信息生成單 元，所述紋理信息生成單元生成從所述圖像生成單元輸出的圖像的紋 理信息；基準移動信息生成單元，所述基準移動信息生成單元儲存并 更新基準移動信息，所述基準移動信息是每個部分區(qū)域中的移動基準 的基準；基準紋理信息生成單元，所述基準紋理信息生成單元儲存并 更新基準紋理信息，所述基準紋理信息用于判定每個部分區(qū)域中有無 人存在；儲存單元，所述儲存單元儲存所述基準移動信息和所述基準 紋理信息；移動信息判定單元，所述移動信息判定單元將從所述移動 信息生成單元輸出的所述移動信息與由所述基準移動信息生成單元生 成的所述基準移動信息進行比較，以判定每個部分區(qū)域中有無移動； 紋理信息判定單元，所述紋理信息判定單元將從所述紋理信息生成單 元輸出的所述紋理信息與由所述基準紋理信息生成單元生成的所述基 準紋理信息進行比較，以判定每個部分區(qū)域中是否存在與人相同的紋 理信息；和滯留判定單元，所述滯留判定單元接收來自所述移動信息 判定單元和所述紋理信息判定單元的的判定結(jié)果，以判定每個區(qū)域中
有無人存在。根據(jù)上面提及的結(jié)構(gòu)，移動信息判定單元判定每個區(qū)域中有 無移動。即使在無移動時，紋理信息判定單元也能夠依據(jù)紋理相似度 來判定有無人存在。因此，能夠推定諸如移動區(qū)域、滯留區(qū)域、靜止 區(qū)域和無人的區(qū)域這樣的每個區(qū)域的狀態(tài)。于是，滯留判定單元能夠基于每個信息項來判定擁塞度。在上面提及的結(jié)構(gòu)中，所述擁塞推定裝置還包括時序生成 單元，所述時序生成單元接收由所述圖像生成單元生成的圖像，并且 由移動信息判定有無人存在，其中，僅在判定有人時，所述時序生成 單元將更新時序發(fā)送給所述基準移動信息生成單元以及所述基準紋理 信息生成單元。根據(jù)上面提及的結(jié)構(gòu)，按照每個更新時序?qū)鶞室苿有畔⑸?br> 成單元的基準移動信息和基準紋理信息生成單元的基準紋理信息進行 更新。因此，即使在環(huán)境改變時，也能夠依據(jù)環(huán)境的變化來判定有無 移動或紋理。結(jié)果，能夠一直準確地進行判定。在上面提及的結(jié)構(gòu)中，所述時序生成單元檢測車輛的進入時
序，并且按照每個進入時序?qū)⒏聲r序發(fā)送給所述基準移動信息生成 單元以及所述基準紋理信息生成單元。根據(jù)上面提及的結(jié)構(gòu)，按照每個車輛進入時序?qū)鶞室苿有?息生成單元的基準移動信息和基準紋理信息生成單元的基準紋理信息 進行更新。因此，能夠基于車輛進入前后的人的移動或人的紋理來判 定有無移動或紋理。在上面提及的結(jié)構(gòu)中，所述基準移動信息生成單元按照由所 述時序生成單元所通報的時序?qū)鶞室苿有畔⑦M行采樣，以設(shè)定所述 基準移動信息的閾值，當所述基準移動信息超過所述基準移動信息的 閾值時，所述移動信息判定單元判定有移動；而當所述基準移動信息 未超過所述基準移動信息的閾值時，所述移動信息判定單元判定無移 動。根據(jù)上面提及的結(jié)構(gòu)，按照每個更新時序?qū)鶞室苿有畔⑸蓡卧幕鶞室苿有畔⑦M行更新，并且按照每個更新時序?qū)鶞室苿?信息的閾值進行設(shè)定。因此，能夠基于按照更新時序的移動來判定移 動信息。在上面提及的結(jié)構(gòu)中，所述紋理信息判定單元對輸入信息執(zhí) 行頻率轉(zhuǎn)換處理，以判定頻域中的相似度。根據(jù)上面提及的結(jié)構(gòu)，能夠基于人的輪廓或側(cè)影來推定相似度。在上面提及的結(jié)構(gòu)中，所述基準紋理信息生成單元按照由所 述時序生成單元所生成的時序?qū)鶞始y理信息進行采樣，以設(shè)定所述 基準紋理信息，并且所述紋理信息判定單元對由所述紋理信息生成單 元生成的紋理信息和由所述基準紋理信息生成單元生成的基準紋理信 息之間的相似度進行判定，并且當判定所述紋理信息與所述基準紋理 信息相似時，所述紋理信息判定單元判定有人。根據(jù)上面提及的結(jié)構(gòu)，按照每個更新時序?qū)鶞始y理信息生 成單元的基準紋理信息進行更新，并且能夠基于按照更新時序的紋理 來判定相似度。在上面提及的結(jié)構(gòu)中，所述滯留判定單元接收所述移動信息 判定單元的判定結(jié)果和所述紋理信息判定單元的判定結(jié)果，以輸出滯 留區(qū)域、移動區(qū)域、噪聲區(qū)域和背景區(qū)域的任一個的狀態(tài)，作為每個 區(qū)域的狀態(tài)。根據(jù)上面提及的結(jié)構(gòu)，能夠?qū)魠^(qū)域、移動區(qū)域、噪聲區(qū) 域和背景區(qū)域輸出作為每個區(qū)域的狀態(tài)。因此，當進行擁塞推定處理 時，擁塞判定單元能夠測量每種區(qū)域的擁塞度。此外，僅通過對全體 擁塞度計數(shù)來進行計算。
在上面提及的結(jié)構(gòu)中，所述擁塞推定裝置還包括異常判定 單元，所述異常判定單元接收從所述滯留判定單元輸出的信息，并且 對每個輸入狀態(tài)進行分析，以判定是否發(fā)生異常擁塞。根據(jù)上面提及的結(jié)構(gòu)，能夠基于每個區(qū)域的狀態(tài)來判定整個 成像環(huán)境的擁塞度是正常還是異常。在上面提及的結(jié)構(gòu)中，所述異常判定單元對從所述滯留判定
單元輸出的每個區(qū)域的各種狀態(tài)滯留區(qū)域、移動區(qū)域、噪聲區(qū)域和
背景區(qū)域計數(shù)，并且當在通過所述時序生成單元得到的車輛的進入時 序之后，擁塞指標，即，滯留區(qū)域數(shù)和移動區(qū)域數(shù)的和，沒有減少預(yù) 定閾值或更多時，所述異常判定單元判定發(fā)生異常。根據(jù)上面提及的結(jié)構(gòu)，在車輛進入之后對每個區(qū)域的狀態(tài)計 數(shù)，以計算擁塞指標。因此，能夠判定擁塞狀態(tài)時正常還是異常。在上面提及的結(jié)構(gòu)中，所述異常判定單元對從所述滯留判定 單元輸出的每個區(qū)域的各種狀態(tài)滯留區(qū)域、移動區(qū)域、噪聲區(qū)域和 背景區(qū)域計數(shù)，并且當所述滯留區(qū)域的比率超過預(yù)定值時，所述異常 判定單元判定發(fā)生異常。根據(jù)上面提及的結(jié)構(gòu)， 一直對每個區(qū)域的狀態(tài)計數(shù)，以計算 擁塞指標，從而計算滯留區(qū)域的比率。因此，能夠基于滯留區(qū)域的比 率來檢測異常。在上面提及的結(jié)構(gòu)中，所述異常判定單元對從所述滯留判定 單元輸出的每個區(qū)域的各種狀態(tài)滯留區(qū)域、移動區(qū)域、噪聲區(qū)域和 背景區(qū)域計數(shù)，并且所述異常判定單元依據(jù)滯留區(qū)域和移動區(qū)域在時 間系列中的比率，判定諸如滯留開始、滯留消除和正常狀態(tài)這樣的人的移動趨勢。根據(jù)上面提及的結(jié)構(gòu)，一直對每個區(qū)域的狀態(tài)和時間系列變 化計數(shù)，以計算擁塞指標。因此，能夠判定諸如滯留開始、滯留消除 和正常狀態(tài)這樣的人移動的趨勢。此外，能夠在發(fā)生異常擁塞之前發(fā) 出警告，并通報開始消除異常擁塞。
本發(fā)明的優(yōu)點根據(jù)本發(fā)明，計算所拍攝的圖像中的多個局部區(qū)域的局部變 化率，計算所述多個區(qū)域的局部變化率的直方圖并且對該直方圖進行 分析。因此，能夠檢測與物體的移動的發(fā)生率相對應(yīng)的空間特性(例 如，移動偏移到一側(cè))，并且能夠綜合地判定監(jiān)視場所的狀況和擁塞度。即使當人的移動在自列車到達時起經(jīng)過預(yù)定時間之后偏移 到一側(cè)的時候，也能夠基于所判定的綜合狀況或擁塞度以及列車的到 達信息這兩者來判定發(fā)生異常。能夠給監(jiān)視員提供輔助信息或迅速將 其傳送到預(yù)定聯(lián)絡(luò)地址。根據(jù)本發(fā)明，自動地設(shè)定移動信息的基準移動量。因此，能 夠判別有移動的狀態(tài)與沒有移動的狀態(tài)。此外，能夠判定有無移動并 利用紋理來判定相似度，從而判別每個區(qū)域的各種狀態(tài)滯留區(qū)域、 移動區(qū)域、噪聲區(qū)域和背景區(qū)域。而且，能夠利用每個區(qū)域的狀態(tài)來 推定擁塞度，并提供擁塞狀況的指標(滯留區(qū)域、移動區(qū)域、正常區(qū) 域、滯留開始狀態(tài)、滯留消除狀態(tài)和正常狀態(tài))以及關(guān)于異常狀態(tài)的 信息。因此，能夠利用圖像容易且準確地推定人的擁塞度。


圖1是示意性示出了根據(jù)本發(fā)明第一實施例的狀況判定裝 置的結(jié)構(gòu)的框圖。圖2是示出了將根據(jù)本發(fā)明第一實施例的狀況判定裝置安裝在鐵 道車站處的情況的圖示。
圖3是示出了根據(jù)本發(fā)明第一實施例的用相機CM拍攝的圖像的 圖示。
圖4是示出了由根據(jù)本發(fā)明第一實施例的狀況判定裝置所執(zhí)行的
狀況判定方法的流程圖。
圖5是示出了在根據(jù)本發(fā)明第一實施例的狀況判定裝置中圖像蓄
積單元中所蓄積的幀圖像和局部圖像變化信息蓄積單元中所蓄積的局 部變化信息之間的時間系列關(guān)系的圖示。
圖6是示出了根據(jù)本發(fā)明第一實施例的將用相機CM拍攝的圖像 分割成局部區(qū)域的情況的圖示。
圖7是示出了由根據(jù)本發(fā)明第一實施例的狀況判定裝置中的局部 圖像變化檢測單元所提取的運動向量的示例的圖示。
圖8是示出了在根據(jù)本發(fā)明第一實施例的狀況判定裝置中由局部 圖像變化檢測單元檢測然后蓄積在局部圖像變化信息蓄積單元中的局 部變化信息的元素的圖示。
圖9是示出了在根據(jù)本發(fā)明第一實施例的狀況判定裝置中由局部 圖像變化率計算單元計算然后蓄積在局部圖像變化率蓄積單元中的局
部變化率的元素的圖示。
圖10是示出了在根據(jù)本發(fā)明第一實施例的狀況判定裝置中圖像 蓄積單元中所蓄積的幀圖像、局部圖像變化信息蓄積單元中所蓄積的 局部變化信息、局部圖像變化率蓄積單元中所蓄積的局部變化率和時 刻之間的關(guān)系的圖示。
圖11是示出了由根據(jù)本發(fā)明第一實施例的狀況判定裝置的局部 圖像變化率直方圖計算單元所計算的局部圖像變化率直方圖的示例的 圖示。
圖12是示出了在根據(jù)本發(fā)明第一實施例的狀況判定裝置的操作 中包括多人數(shù)移動狀況的圖像的示例的圖示。
圖13是示出了在根據(jù)本發(fā)明第一實施例的狀況判定裝置的操作 中包括少人數(shù)移動狀況的圖像的示例的圖示。圖14是示出了在根據(jù)本發(fā)明第一實施例的狀況判定裝置的操作 中包括在存在等候列車的隊列的場所中的人的移動狀況的圖像的示例 的圖示。
圖15是示出了在根據(jù)本發(fā)明第一實施例的狀況判定裝置的操作 中在三種狀況下的發(fā)生變化的區(qū)域數(shù)和局部圖像變化率的表格。
圖16是示出了在根據(jù)本發(fā)明第一實施例的狀況判定裝置的操作 中多人數(shù)移動時的局部圖像變化率直方圖的特性的圖示。
圖17是示出了在根據(jù)本發(fā)明第一實施例的狀況判定裝置的操作
中少人數(shù)移動時的局部圖像變化率直方圖的特性的圖示。
圖18是示出了在根據(jù)本發(fā)明第一實施例的狀況判定裝置的操作
中人的移動路徑偏移到一側(cè)時的局部圖像變化率直方圖的特性的圖
示o
圖19是示出了在根據(jù)本發(fā)明第一實施例的狀況判定裝置的操作 中將包括多人數(shù)移動狀況的圖像分割成局部區(qū)域的情況的圖示。
圖20是示出了在根據(jù)本發(fā)明第一實施例的狀況判定裝置的操作 中將包括少人數(shù)移動狀況的圖像分割成局部區(qū)域的情況的圖示。
圖21是示出了在根據(jù)本發(fā)明第一實施例的狀況判定裝置的操作 中將包括其中人的移動路徑偏移到一側(cè)的狀況的圖像分割成局部區(qū)域 的情況的圖示。
圖22是示出了在根據(jù)本發(fā)明第一實施例的狀況判定裝置的操作 中從實際運動圖像算出的局部圖像變化率直方圖的示例的圖示。
圖23是示出了根據(jù)本發(fā)明第一實施例的狀況判定裝置中的狀況 判定單元的內(nèi)部結(jié)構(gòu)的框圖。
圖24是示出了根據(jù)本發(fā)明第一實施例的狀況判定裝置中的局部 圖像變化檢測單元的處理的另一示例的圖示。
圖25是示出了根據(jù)本發(fā)明第一實施例的狀況判定裝置中的局部 圖像變化檢測單元的處理的又一示例的圖示。
圖26是示出了根據(jù)本發(fā)明第一實施例的狀況判定裝置中的局部 圖像變化檢測單元的處理的再 一 示例的圖示。
圖27是示出了根據(jù)本發(fā)明第二實施例的狀況判定裝置中的狀況判定單元的內(nèi)部結(jié)構(gòu)的框圖。
圖28是示出了在由根據(jù)本發(fā)明第二實施例的狀況判定裝置中的 特征提取單元進行的特征量的提取中算出的指標的值的圖示。
圖29是示出了由根據(jù)本發(fā)明第二實施例的狀況判定裝置中的特
征提取單元所提取的特征量的圖示。
圖30是示出了由根據(jù)本發(fā)明第二實施例的狀況判定裝置中的特
征提取單元從三個場景的圖像中所提取的二維特征量的分布的圖示。
圖31是示出了由根據(jù)本發(fā)明第二實施例的狀況判定裝置中的特 征提取單元所提取的特征量和二維特征量的分布之間的關(guān)系的圖示。
圖32是示出了用于說明根據(jù)本發(fā)明第二實施例的狀況判定裝置 的擁塞判定處理的、在車站的站臺處拍攝的六個場景的圖像的圖示。
圖33是示出了用于說明根據(jù)本發(fā)明第二實施例的狀況判定裝置 的擁塞判定處理的、與六個場景相對應(yīng)的特征量在二維特征量空間中 的分布的圖示。
圖34是示出了用于說明根據(jù)本發(fā)明第二實施例的狀況判定裝置 的擁塞判定處理的、在三種狀況下的特征量的分布和在三種狀況下獲 得的分布的子空間的圖示。
圖35是示出了用于說明根據(jù)本發(fā)明第二實施例的狀況判定裝置 的擁塞判定處理的子空間方法的圖示。
圖36是示出了用于說明根據(jù)本發(fā)明第二實施例的狀況判定裝置 的擁塞判定處理的、子空間中的位置和表示擁塞度的指標之間的關(guān)聯(lián) 的圖示。
圖37是示出了用于說明根據(jù)本發(fā)明第二實施例的狀況判定裝置 的擁塞判定處理的、在四種狀況下的特征量的分布和在四種狀況下獲 得的分布的子空間的圖示。
圖38是示意性示出了根據(jù)本發(fā)明第三實施例的異常判定裝置的 結(jié)構(gòu)的框圖。
圖39是示出了根據(jù)本發(fā)明第三實施例的異常判定裝置的異常判 定處理的流程圖。
圖40是示出了從根據(jù)本發(fā)明第三實施例的異常判定裝置中的狀況判定裝置輸出的擁塞度和在正常狀態(tài)下狀況種類隨時間推移的變化 的曲線圖。
圖41是示出了示意性示出了根據(jù)本發(fā)明第四實施例的擁塞推定 裝置的結(jié)構(gòu)的框圖D
圖42是示出了圖41所示的擁塞推定裝置中的處理區(qū)域的計算方 法的圖示。
圖43是示出了通過圖41所示的擁塞推定裝置將處理區(qū)域分割成
移動處理區(qū)域的示例的圖示。
圖44是示出了通過圖41所示的擁塞推定裝置將處理區(qū)域分割成 紋理處理區(qū)域的示例的圖示。
圖45是示出了圖41所示的擁塞推定裝置中的移動信息生成單元、 基準移動信息生成單元和移動信息判定單元的詳細結(jié)構(gòu)的框圖。
圖46是示出了圖45所示的基準移動信息生成單元中的基準運動 向量映射參照單元中所儲存的基準運動向量映射的示例的圖示。
圖47是示出了圖45所示的基準移動信息生成單元中的基準差分 區(qū)域映射參照單元中所儲存的基準差分區(qū)域映射的示例的圖示。
圖48是示出了用于圖41所示的擁塞推定裝置的紋理信息判定處 理的輸入圖像的圖示。
圖49是示出了用于對用于圖41所示的擁塞推定裝置的紋理信息 判定處理的輸入圖像進行轉(zhuǎn)換的紋理特征提取處理的結(jié)果的圖示。
圖50是示出了用于圖41所示的擁塞推定裝置的紋理信息判定處 理的、有人場景中的基準紋理特征量的計算處理的流程的圖示。
圖51是示出了用于圖41所示的擁塞推定裝置的紋理信息判定處 理的、無人場景中的基準紋理特征量的計算處理的流程的圖示。
圖52是示出了用于圖41所示的擁塞推定裝置的紋理信息判定處 理的相似度計算處理的圖示。
圖53是示出了圖41所示的擁塞推定裝置中的區(qū)域狀態(tài)的判定方 法的圖示。
圖54是示出了通過圖41所示的擁塞推定裝置的區(qū)域狀態(tài)的判定 結(jié)果的示例的圖示。圖55是示意性示出了根據(jù)本發(fā)明第五實施例的擁塞推定裝置的結(jié)構(gòu)的圖示。
圖56是示出了與圖55所示的擁塞推定裝置相連的相機的安裝的
示例的圖示。
圖57是示出了圖55所示的擁塞推定裝置中的列車進入、停止和出發(fā)時序的取得處理的流程圖。
圖58是示出了車輛進入時的車站站臺場景組的圖示。
圖59是示出了車輛停止時的通過圖55所示的擁塞推定裝置的車站站臺的運動向量的處理結(jié)果的圖示。
圖60是示意性示出了根據(jù)本發(fā)明第六實施例的擁塞推定裝置的結(jié)構(gòu)的圖示。
圖61是示出了通過圖60所示的擁塞推定裝置的區(qū)域狀態(tài)的判定結(jié)果的示例的圖示。
圖62是示出了圖60所示的擁塞推定裝置的擁塞指標的時間序列曲線圖。
圖63是示出了圖60所示的擁塞推定裝置中的列車的進入、停止和出發(fā)時序之間的重疊的擁塞指標時間序列曲線圖。
圖64是示出了圖60所示的擁塞推定裝置中的人的移動趨勢的判定處理的流程圖。
圖65是示出了圖60所示的擁塞推定裝置中的人的移動趨勢的判定處理的圖示。
附圖標記和符號的說明
100:圖像輸入單元
110:圖像蓄積單元
120:局部圖像變化檢測單元
130:局部圖像變化信息蓄積單元
140:局部圖像變化率計算單元
150:局部圖像變化率蓄積單元
160:局部圖像變化率直方圖計算單元170:狀況判定單元200:參照直方圖儲存單元210:直方圖比較單元300:特征提取單元310:識別基準儲存單元320:識別單元500:狀況判定裝置510:列車到達檢測單元520:異常判定單元530:通報單元
610A、 610B、 610C:擁塞推定裝置
611:圖像生成單元
612:區(qū)域分割單元
613:移動信息生成單元
614:基準移動信息生成單元
615:紋理信息生成單元
616:基準紋理信息生成單元
617:儲存單元
618:移動信息判定單元
619:紋理信息判定單元
620:滯留判定單元
621:時序生成單元
622:異常判定單元630:矩形區(qū)域l
631:矩形區(qū)域2
640:圖像緩存單元641:光流計算單元
642:流代表方向和大小計算單元643:邊緣提取單元644:邊緣幀間差分單元645:基準運動向量映射參照單元
646:基準差分區(qū)域映射參照單元
647:運動向量狀態(tài)判定單元
648:差分區(qū)域狀態(tài)判定單元
649:移動區(qū)域狀態(tài)判定單元
650:基準運動向量映射
660:基準差分區(qū)域映射
670:輸入圖像
680:紋理特征提取處理結(jié)果
6卯有人的場景1
691、701:紋理處理區(qū)域
700:無人的場景1
706:相似度計算
710:移動信息判定單元判定有移動
711:移動信息判定單元判定無移動
712:紋理信息判定單元判定有人
713:紋理信息判定單元判定無人
714、720、 762:移動區(qū)域
715、723、 764:噪聲區(qū)域
716、721、 763:滯留區(qū)域
717、722:背景區(qū)域
730:相機
760:擁塞指標時間系列曲線圖
795:基準滯留區(qū)域
796:滯留開始
PH..車站的站臺
WL:站臺的側(cè)壁
ST:人去站臺通過的樓梯
RL:鐵道線
CM:相機SD:狀況判定裝置
AR1T0AR3:表示人的移動路徑的箭頭
WP:等候列車的人 MP:移動中的人
具體實施例方式下文中，將參照附圖來詳細地說明本發(fā)明的示例性實施例。
(第一實施例)
圖1是示意性示出了根據(jù)本發(fā)明第一實施例的狀況判定裝置的結(jié) 構(gòu)的框圖。在圖1中，根據(jù)本實施例的狀況判定裝置包括圖像輸入單 元100、圖像蓄積單元110、局部圖像變化檢測單元120、局部圖像變 化信息蓄積單元130、局部圖像變化率計算單元140、局部圖像變化率 蓄積單元150、局部圖像變化率直方圖計算單元160和狀況判定單元 170。圖2是示出了其中將圖1所示的狀況判定裝置安裝在鐵道車 站的站臺處的示例的圖示。鐵道車站包括站臺PH、站臺的側(cè)壁WL、 設(shè)置在站臺的入口處的樓梯ST和鐵道線RL。拍攝站臺PH處的人的圖 像的相機CM被設(shè)置成使得軸線方向與站臺PH的長度方向?qū)剩⑶?被連接到狀況判定裝置SD。圖3是示出了相機CM所拍攝的圖像的示 例。相機CM的視角、位置和光軸方向被確定成使得所拍攝的圖像包 括站臺PH、樓梯ST的入口和側(cè)壁WL。狀況判定裝置SD對應(yīng)于圖1 所示的狀況判定裝置。接下來，將參照圖4所示的流程圖來說明根據(jù)本實施例的狀 況判定裝置的操作。首先，由圖像輸入單元100執(zhí)行圖像輸入步驟S100。 在步驟S100中，將相機CM所拍攝的一幀圖像轉(zhuǎn)變成能夠進行數(shù)字處 理的格式，并且將該圖像蓄積在圖像蓄積單元110中。當相機CM為 模擬相機時，將模擬圖像轉(zhuǎn)換成數(shù)字圖像，并且如果必要的話，則對該數(shù)字圖像執(zhí)行諸如編碼處理這樣的壓縮處理。處理后的圖像被蓄積 在圖像蓄積單元110中。當相機CM為數(shù)字相機時，將圖像通過數(shù)字 線路輸入并且蓄積在圖像蓄積單元110中。在本實施例中，假定輸入
10 fps數(shù)字運動圖像并且順次蓄積當前時刻的幀圖像。當相機CM為模 擬相機時，圖像蓄積單元110例如可以是蓄積模擬圖像的VTR，并且 可以在模擬圖像即將被輸出到局部圖像變化檢測單元120之前執(zhí)行AD 轉(zhuǎn)換。然后，由局部圖像變化檢測單元120執(zhí)行局部圖像變化檢測 步驟SllO。在該步驟中，如圖5所示，第一時間間隔TS被設(shè)定為0.1 (秒)，這與成像周期相等，從蓄積在圖像蓄積單元110中的幀圖像 之中提取出兩幀圖像，即，當前時刻tk的圖像和TS!時間前的圖像tw， 并且檢測出局部區(qū)域中的變化。根據(jù)相機CM的安裝預(yù)先確定局部區(qū) 域的分割方法，如圖6所示。在本實施例中，假定局部區(qū)域的總數(shù)為 NR。為了修正透視投影的影響，局部區(qū)域的大小被設(shè)定成使得其在靠 近相機的地點(畫面下方)大而在遠離相機的地點(畫面上方)小。 下面，將說明使用運動向量來檢測變化的方法。 (1)兩幀圖像中的每個像素的運動向量的計算 例如，可以使用諸如非專利文獻1中所公開的Lucus-Kanade法這 樣的梯度法或塊匹配法(block matching method)來計算運動向量。在 本實施例中，優(yōu)選的是，使用非專利文獻2中所公開的GoodFeatures to Track法，或者通過匹配過程中的估計值(例如，SAD和SSD)而在后 續(xù)處理中僅使用具有高可靠性的運動向量。圖7示出了在從兩幀圖像 對整個畫面計算的運動向量當中的具有高可靠性的運動向量的示例。非專利文獻1: B.D. Lucas and T. Kanade. "An iterative image registration technique with an application to stereo vision", IJCAI, 1981.
非專禾U文獻2: Jianbo Shi, Carlo Tomasi, "Good Features to Track", IEEE Conference on Computer Vision and Pattern Recognition, pp.593-600， 1994 (CVPR，94)
(2)每個局部區(qū)域中的運動向量的綜合下文中，對從兩幀圖像，即，當前時刻tk的圖像和TS,時間前的 圖像t^中提取的運動向量添加下標"k"，對第i局部區(qū)域(l^i^NR) 中所包括的運動向量添加下標"i"，并且對第i局部區(qū)域中所包括的 NVk，i運動向量當中的第j運動向量(lSj￡NVk，i)添加下標"j"，從而使用這些來表示運動向量(Uk,i,j， Vk,ij)。
(等式1)和(等式2)被用來計算運動向量的平均值，從 而計算局部區(qū)域i的代表運動向量(muk,i， mvk，i)。運動向量在圖像上 的長度受透視投影的影響，并且其越靠近畫面的上方則越比人的實際 移動速度小。因此，如在(等式3)和(等式4)中那樣，在修正透視 投影的影響之后，可以對運動向量進行平均以計算代表運動向量。這 里，W&j是用于修正時刻tk的第i局部區(qū)域中的第j運動向量的大小的 權(quán)重系數(shù)。運動向量的大小被設(shè)定成當該運動向量的起點更靠近畫面 的上方時增加。
[等式1〗<formula>formula see original document page 31</formula>移動 將第i局部區(qū)域的代表運動向量(muk,i， nwk,i)的大小與預(yù)定閾值 進行比較，確定有無移動。當代表運動向量的大小大于或等于該閾值 時，確定有移動。當代表運動向量的大小小于該閾值時，確定沒有移 動。此時，得到用二值表示局部區(qū)域i中有無變化(運動)的局部變化 信息Mk,i。當確定有移動時，Mk,i=l，否則，Mk，i=0。圖8示出了表示 局部區(qū)域局部變化信息的圖像。在圖8中，有變化的局部區(qū)域被畫上 了陰影。如圖5所示，局部變化信息Mk被蓄積在局部圖像變化信息蓄 積單元130中，作為表示每個局部區(qū)域中有無變化的與局部區(qū)域數(shù)相 對應(yīng)的二值向量信息，如(等式5)所表示的。在圖5中，在時刻tk 蓄積幀圖像Ik和局部圖像變化信息Mk，并且在時刻tw蓄積幀圖像Ik-, 和局部圖像變化信息Mw。
[等式5]M,[Mw,Mw，…，巧,wJ
回到圖4，由局部圖像變化率計算單元140執(zhí)行局部圖像變 化率計算步驟S120。在該步驟中，第二時間間隔TS2被設(shè)定為IO(秒)。 計算每個局部區(qū)域在先前TS2 (秒)時間的變化(移動)率。因為變化 信息是以第 一 時間間隔T S,求得的，所以使用T S 2/ T S,個變化信息項來 計算變化率。當TS產(chǎn)O.l (秒)且TS尸IO (秒)時，使用IOO個變化信 息項。在圖9中，在第i局部區(qū)域中，對從時刻tk的局部變化信息Mk,, 開始到時刻tk -TS2/TS1 + 1的局部變化信息Mk-TS2/TS1 + U當中的值為i (即， 有變化)的局部變化信息項進行計數(shù)。計數(shù)值被稱為Ck,i。將該計數(shù)值 除以總數(shù)TS2/TS,以計算局部變化率RTk,i。局部變化率RTk，i可以取的 值為[O,l]。如圖10所示，局部變化率RTk被蓄積在局部圖像率蓄積單 元150中，作為與局部區(qū)域數(shù)相對應(yīng)的表示每個局部區(qū)域的變化率的向量信息，如[等式6]所表示的。在圖10中，在時刻tk蓄積局部圖像 變化率RTk，并且在時刻蓄積局部圖像變化率RTw。[等式6]然后，由局部圖像變化率直方圖計算單元160執(zhí)行局部圖像 變化率直方圖計算步驟S130。在該步驟中，計算當前時刻tk的Nr個局 部變化率RTk,i的直方圖。因為局部變化率RTk，i能取的值為[O,l]，所以 當直方圖的階級的寬度為BW時，階級數(shù)為1/BW。在此情況下，階級 的寬度BW為O.l，并且階級數(shù)為10。圖11示出了所計算的局部圖像 變化率直方圖的示例。橫軸表示局部圖像變化率，縱軸表示頻率(區(qū) 域數(shù))。頻率的總和(直方圖的積分值)為區(qū)域總數(shù)nr。在本實施例中，考慮圖2中所示的車站站臺處的人的移動狀 況。作為移動狀況，考慮下列三種模式。 (1)多人數(shù)自由移動
例如，存在其中在列車到達之后許多乘客下車并向樓梯ST移動的 狀況(圖12)。多人數(shù)移動通過多個移動路徑AR1至AR3。 (2)少人數(shù)自由移動
例如，存在其中下車的乘客經(jīng)過樓梯ST并移動通過沒有等候下一 趟列車的乘客的站臺的狀況(圖13)。因為少人數(shù)移動通過空站臺， 所以人的移動路徑改變。結(jié)果，與多人數(shù)移動時相同，少人數(shù)移動通 過多個移動路徑AR1至AR3。 (3)移動路徑偏移到一側(cè)
例如，存在其中等候列車的乘客排成隊列并且已通過樓梯ST移動 到站臺的新乘客通過站臺的空場地移動到站臺的畫面的前方的狀況(圖14)。因為存在等候列車的人WP，所以移動中的人MP的移動路
徑被限定在箭頭AR1附近。圖15示出了這三種移動狀況模式的發(fā)生變化(具有大于或 等于預(yù)定值的變化率)的區(qū)域數(shù)和局部圖像變化率的大小。圖16、 17 和18分別示出了這三種移動模式的圖11中所示的局部圖像變化率直 方圖的典型示例，諸如(1)多人數(shù)移動、(2)少人數(shù)移動和(3)移
動路徑偏移到一側(cè)。首先，將使用圖9中所示的圖像來補充說明多人數(shù)移動的狀 況，其中，所述圖像是通過對圖12中所示的圖像執(zhí)行局部區(qū)域分割處 理而得到的。當多人數(shù)移動時，圖像中很多區(qū)域被改變(移動)。因 為人的密度高，所以移動中的人逐個經(jīng)過某個局部區(qū)域。因此，多數(shù) 局部區(qū)域中局部圖像變化率增加，如圖15的第一列所示。同樣，在圖 16所示的局部圖像變化率直方圖中，存在大量具有中等到大的局部圖 像變化率的局部區(qū)域。將使用圖20中所示的圖像來補充說明少人數(shù)自由移動的狀 況，其中，所述圖像是通過對圖13中所示的圖像執(zhí)行局部區(qū)域分割處 理而得到的。與多人數(shù)移動時相同，即使在少人數(shù)移動時，人也經(jīng)過 空站臺上的各種路徑。因此，圖像的多數(shù)區(qū)域中都存在變化(運動)。 然而，因為人的密度低，所以經(jīng)過某個局部區(qū)域的移動中的人數(shù)小。 因此，如圖15的第二列所示，局部圖像變化率低。同樣，在圖17所 示的局部圖像變化率直方圖中，具有中等局部圖像變化率的局部區(qū)域 的數(shù)大，而具有大的局部圖像變化率的局部區(qū)域的數(shù)小。將使用圖21中所示的圖像來補充說明移動路徑偏移到一側(cè) 的狀況，其中，所述圖像是通過對圖14中所示的圖像執(zhí)行局部區(qū)域分 割處理而得到的。當存在等候列車的隊列時，人的移動路徑被限定在 箭頭AR1附近。因為等候列車的人在那些位置稍微移動而非移動大，所以發(fā)生變化(運動)的區(qū)域基本上被限制在存在移動中的人MP的區(qū)
域，并且發(fā)生變化的區(qū)域數(shù)小。當通過樓梯ST移動到站臺PH的人數(shù) 等于少人數(shù)移動時(圖12)的并且移動路徑受限時，每局部區(qū)域經(jīng)過 移動路徑的人數(shù)大于少人數(shù)移動時的，如圖15的第三列所示。同樣， 在圖18所示的局部圖像變化率直方圖中，具有中等到大的局部圖像變 化率的局部區(qū)域的數(shù)小于如圖16所示的多人數(shù)移動時的。然而，與如 圖17所示的少人數(shù)移動時不同，至少存在具有大的局部圖像變化率的 局部區(qū)域。如上所述，在局部圖像變化率直方圖計算步驟S130 (局部 圖像變化率直方圖計算單元160)中計算局部圖像變化率直方圖。圖22示出了從實際運動圖像的三個場景(多人數(shù)移動、少 人數(shù)移動和移動路徑偏移到一側(cè))中提取出的局部圖像變化率直方圖。 局部圖像變化率直方圖中的每一個都對應(yīng)于時刻tk，的局部變化率RTk， 的直方圖(在此情況下，在時刻tk，計算局部變化率，但如參照圖10所 說明的，從先前的TS2/TS!個局部變化信息項來計算某個時刻的局部變 化率)。圖22示出了當局部區(qū)域的總數(shù)NR=162、 TS產(chǎn)O.l (秒)、TS2=10 (秒)并且直方圖的階級的寬度BW^0.1時的結(jié)果。從圖22中可以看 出，趨勢與圖16、 17和18中所示的相同。然后，由狀況判定單元170執(zhí)行狀況判定步驟S140。在諸 如多人數(shù)移動、少人數(shù)移動和移動路徑偏移到一側(cè)這樣的三種狀況中， 局部圖像變化率直方圖具有圖16、 17和18中所示的各個形狀，如上 所述。在本實施例中，預(yù)先在上面提及的三種狀況中計算局部圖像變 化率直方圖，然后將其儲存作為參照直方圖，并且將這些參照直方圖 與所判定的狀況中的局部圖像變化率直方圖進行比較，從而判定三種 狀況中的一種。圖23是示出了根據(jù)本實施例的狀況判定單元170的內(nèi)部結(jié)構(gòu)的圖示。狀況判定單元170包括參照直方圖儲存單元200和直方圖 比較單元210。將先前計算的、對應(yīng)于每種狀況的至少一個參照局部圖 像變化率直方圖儲存在參照直方圖儲存單元200中，以便與相應(yīng)的狀 況(多人數(shù)移動、少人數(shù)移動和移動路徑偏移到一側(cè)中的任一種狀況) 相關(guān)聯(lián)。直方圖比較單元210將由局部圖像變化率直方圖計算單元160 計算的在將判定的狀況中的局部圖像變化率直方圖與參照直方圖儲存 單元200中所儲存的參照直方圖進行比較。然后，判定在將判定的狀 況中的局部圖像變化率直方圖與參照直方圖中的哪一個最為相似，并 且輸出與最為相似的直方圖相關(guān)聯(lián)的狀況，作為狀況的判定結(jié)果。例 如，使用(等式7)的直方圖交叉、(等式8)的Bhattaccharyya系數(shù) 和(等式9)的標準化相關(guān)作為直方圖之間的相似度的計算方法。[等式7]
[等式8]
<formula>formula see original document page 36</formula>[等式9]
<formula>formula see original document page 36</formula>回到圖4，最后，由控制單元(圖1中未示出)執(zhí)行步驟S150。 當裝置的操作者使用輸入單元(圖1中未示出)輸入處理結(jié)束指示時， 處理返回到圖像輸入步驟SIOO，處理下一幀圖像。當未輸入處理結(jié)束 指示時，處理結(jié)束。在本實施例中，在由局部圖像變化檢測單元120執(zhí)行的局部圖像變化檢測步驟S110中，使用運動向量，以便對圖像蓄積單元110 中所蓄積的幀圖像當中的分隔了時間間隔TS,的兩幀圖像之間的局部 區(qū)域中的變化進行檢測。然而，可以使用其他方法。當使用運動向量 時，能夠得到移動方向或速度。結(jié)果，能夠更準確地判定狀況或擁塞 度。可以使用幀之間的差分來簡單地檢測有無變化。如圖24所示，當 計算在時刻tw和時刻tk拍攝的兩幀之間的差分時，得到其中每個像素
的值都由亮度差(多值)構(gòu)成的圖像Dk(X，y)?？梢曰诰植繀^(qū)域i中 的亮度差的平均值dk,i是否大于或等于預(yù)定閾值來判定每個局部區(qū)域中 有無變化。在圖24中，Si表示形成區(qū)域i的像素的集合并且NPi表示 該集合的元素數(shù)。如圖25所示，在得到其中每個像素的值都由亮度差構(gòu)成的 差分圖像Dk(x,y)之后，可以執(zhí)行表示有無變化的二值化，以得到二值 化差分圖像BDk(x,y)，并且可以基于局部區(qū)域中有變化的像素的數(shù) bdlk,i來判定每個局部區(qū)域中有無變化。當局部區(qū)域具有不同的面積時， 可以基于通過利用局部區(qū)域的面積除(標準化)有變化的像素的數(shù)而 得到的bd2k,i來判定每個局部區(qū)域中有無變化。當基于亮度值而得到幀之間的差分時，圖像受到照明變化的 影響。因此，如圖26所示，可以對通過對輸入圖像進行邊緣提取和二 值化而得到的圖像之間的差分(對每個像素的XOR運算)進行計算， 以得到邊緣處的幀間差分圖像EDk(x，y)，并且可以基于局部區(qū)域中有變 化的像素的數(shù)edlk,i來判定每個局部區(qū)域中有無變化。當局部區(qū)域具有 不同的面積時，可以基于通過利用局部區(qū)域的面積除(標準化)有變 化的像素的數(shù)而得到的ed2k,i來判定每個局部區(qū)域中有無變化。如上所述，根據(jù)本實施例的狀況判定裝置，對所拍攝的圖像 的局部區(qū)域中的亮度值的時間變化率和多個局部區(qū)域的時間變化率的 直方圖進行分析，以判定人的移動狀況。具體地，可簡單地檢測到移 動路徑偏移到一側(cè)。因此，例如，在諸如車站這樣的存在等候列車的隊列的場所，可推定存在等候列車的隊列。當在人通常未排成隊列的 通道中檢測到移動路徑偏移到一側(cè)時，可推定存在妨礙人自由移動的 障礙。(第二實施例)
根據(jù)本發(fā)明第二實施例的狀況判定裝置的結(jié)構(gòu)與根據(jù)本發(fā)明第一 實施例的狀況判定裝置的結(jié)構(gòu)相同，如圖1中所示。因此，將省略對
其的說明。在第一實施例中，狀況判定單元170具有圖23中所示的內(nèi) 部結(jié)構(gòu)，而根據(jù)本實施例的狀況判定裝置具有圖27中所示的內(nèi)部結(jié)構(gòu)。 即是說，狀況判定單元170包括特征提取單元300、識別基準儲存單元 310和識別單元320。特征提取單元300從由局部圖像變化率直方圖計 算單元160計算的直方圖中提取用于判定狀況或擁塞度的特征量。在 識別基準儲存單元310中，預(yù)先儲存用于判定狀況或擁塞度的、由特 征提取單元300提取的特征量與狀況種類或擁塞指標之間的關(guān)系。識 別單元320基于由特征提取單元300提取的特征量和儲存在識別基準 儲存單元310中的識別基準來識別狀況種類或擁塞度。根據(jù)本實施例的狀況判定方法的流程與圖4中所示的根據(jù) 第一實施例的相同。在本實施例中，直至局部圖像變化率直方圖計算 步驟S130為止的處理和步驟S150的處理與第一實施例中的相同，并 且將省略對其的描述。接下來，將參照附圖27中的框圖來說明狀況判定步驟S140 中的操作。首先，特征提取單元300從由局部圖像變化率直方圖計算 單元160計算的直方圖中提取用于判定狀況或擁塞度的特征量。在此 情況下，特征提取單元300從局部圖像變化率直方圖中提取二維特征 量。通過下列方法來提取特征量。 (1)在局部圖像變化率直方圖中，對具有中等變化率(閾 值TH》或以上的區(qū)域的數(shù)計數(shù)，并且該區(qū)域數(shù)為RN,。(2) 在局部圖像變化率直方圖中，對具有更大的變化率(大于或
等于閾值TH2; TH2〉TH。的區(qū)域的數(shù)計數(shù)，并且該區(qū)域的數(shù)為RN2。
(3) 如果RN,不等于0，貝lJ(fbf2)-(RN!/NR, RN2/RN0是特征量， 并且如果RNi等于0，貝iJ(fi,f2)氣RN!/NR, O)為特征量。當TH產(chǎn)0.4且TH2=0.7時，圖22所示的三種狀況(多人數(shù) 移動、少人數(shù)移動和移動路徑偏移到一側(cè))中的每一種狀況中的RNj 和RN2都具有圖28所示的表格中的值，并且三種狀況中的每一種狀況 中的&和f2都具有圖29所示的表格中的值。此外，預(yù)先計算用于判定狀況或擁塞度的、由特征提取單元 300提取的特征量與狀況種類或擁塞指標之間的關(guān)系，然后將其儲存在 識別基準儲存單元310中。圖30示出了從三個場景的圖像中預(yù)先提取 的二維特征量(fj,f2)的分布。在該分布中，每個點都是從某個時刻的局 部變化率直方圖中提取的。即是說，特征是從在多個時刻的三個場景 中的每一個場景中提取的。圖30中所示的分布被作為是儲存在識別基 準儲存單元310中的信息。識別單元320基于由特征提取單元300提取的特征量和儲存 在識別基準儲存單元310中的識別基準來識別狀況種類或擁塞度。接下來，將說明狀況種類的識別方法。假定圖30所示的信 息被儲存在識別基準儲存單元310中。假定由局部圖像變化率直方圖 計算單元160計算的直方圖中的每一個都是圖22所示的直方圖中的任 一個并且其狀況種類未知。在此情況下，由特征提取單元300提取的 特征量是圖29所示的表格中的任一行中的值的集合。對儲存在識別基 準儲存單元310中的特征量中與特征提取單元300所提取的特征量最 為接近的特征點進行搜索(最鄰近法)，并且輸出與該特征點相關(guān)聯(lián) 的狀況種類。這樣，能夠判定與由特征提取單元300提取的特征量相 對應(yīng)的場景的狀況。圖31示出了圖29的表格中所示的每個值與圖30所示的二維特征量(fi，f2)的分布之間的關(guān)系。使用最鄰近法能夠準確地 判定狀況。上面已經(jīng)說明了最鄰近法，但本發(fā)明并不限于此。可以使用 任何利用多個被監(jiān)視的訓(xùn)練樣本來對未知樣本進行識別的方法。例如， 可以使用支持向量機(SVM)、判別分析法(線性判別分析法或二次 判別分析法)或者神經(jīng)網(wǎng)絡(luò)。因為各種文獻中公開了這些方法，所以
省略對它們的說明。例如，非專利文獻3中公開了 SVM，非專利文獻 4中公開了判別分析法。非專利文獻3: Nello Cristianini， John Shawe-Taylor， "An introduction to Support Vector Machine", 大;]匕剛i畢，Kyoritsu Shuppan Co.， Ltd, 2005/03。
非專利文獻4:柳井晴夫等，"Multivariate Analysis, Modern Statistics 2", Asakura Publishing Co., Ltd., 1979/01 。接下來，將說明擁塞度的判定方法。首先，將在自由移動的 情況下(移動路徑未受限時)和移動路徑偏移到一側(cè)時說明擁塞期間 指標RN!和RN2中的變化和特征量f,和f2中的變化。<在自由移動的情況下(當移動路徑未受限時)> 當圖32中的狀態(tài)[1]轉(zhuǎn)變成狀態(tài)[2](在圖32中，數(shù)值在圓圈中， 這對于數(shù)值3至6也相同)時，具有中等或中等以上的局部圖像變化 率的區(qū)域的數(shù)RN,增加，而具有大的局部圖像變化率的區(qū)域的數(shù)RN2 未大量增加。原因在于，在移動路徑未受限的狀況中，當人數(shù)增加時， 人經(jīng)過各種路徑(人不太可能經(jīng)過相同的路徑)。因此，由于特征量 &的增加而使得在二維特征量空間(&,f2)中位置從圖33中的[l]轉(zhuǎn)變成 [2]。在圖32中，狀態(tài)[3]表示人的移動路徑基本上分布在車站站臺的整個區(qū)域上。在圖32中，當狀態(tài)從[2]轉(zhuǎn)變成[3]時，與從[1]到[2]
的轉(zhuǎn)變相同，由于特征量&的增加而使得在二維特征量空間(&,&)中位
置從圖33中的[2]轉(zhuǎn)變成[3]。在圖32的狀態(tài)[4]中，因為人的密度增加，所以具有大的局 部圖像變化率的區(qū)域的數(shù)增加。具有中等或以上的局部圖像變化率的 區(qū)域的數(shù)RN,的增加率比具有大的局部圖像變化率的區(qū)域的數(shù)RN2的 大。在二維特征量空間(&,f2)中，位置從圖33中的[3]轉(zhuǎn)變成[4](特征
量的所繪制的點更可能移動)。當狀態(tài)按照在圖32中的[4] —[3] —[2] —[l]的次序轉(zhuǎn)變時， 特征量在圖33的特征量空間中按照[4] —[3] —[2]—[l]的相反次序移動。<移動路徑偏移到一側(cè)時>
當狀態(tài)從圖32中的[1]轉(zhuǎn)變成[2]時圖33的特征量空間中的所繪制 的點的移動與自由移動期間的相同。等候列車的隊列開始由狀態(tài)[2]形 成。在隊列開始形成的圖32的狀態(tài)[5]中，人的移動路徑受隊列限制。 移動路徑一旦受隊列限制，具有中等或以上的局部圖像變化率的區(qū)域 的數(shù)RN,就達到峰值。當排成隊列的人的數(shù)增加且移動路徑進一步受 到限制時，指標RNi減少。對于另一指標RN2，當人以恒定速率經(jīng)過 區(qū)域時，每單位時間經(jīng)過該區(qū)域的人的數(shù)由于人的移動路徑受到限制 而增加，這導(dǎo)致指標RN2增加。在圖33的二維特征量空間(&,f2)中，位 置從[2]轉(zhuǎn)變成[5]。在圖32的狀態(tài)[6]中，排成隊列的人數(shù)進一步增加，并且人
的移動路徑進一步受到限制。因此，具有中等或以上的局部圖像變化 率的區(qū)域的數(shù)RN減少，并且具有大的局部圖像變化率的區(qū)域的數(shù)RN2
增加。在圖33的二維特征量空間(fuf2)中，位置從[5]轉(zhuǎn)變成[6]。
接下來，將說明擁塞度的計算方法。這里，將說明利用子空
間法的示例。非專利文獻5的第14章中公開了子空間法的細節(jié)。這里， 將僅說明子空間法的概要。首先，執(zhí)行處理(1)和(2)。 (1)對多人數(shù)移動、少人數(shù)移動和移動路徑偏移到一側(cè)這 三種狀況中的每一種狀況提取多個特征量，從而算出圖30中所示的分 布。 (2)對每種狀況的二維分布執(zhí)行主分量分析，并且將第一 主分量(主軸)的直線作為一維子空間。圖34示出了三種狀況的子空 間。將在(3)中說明包括將由其計算擁塞度的從場景中提取的 特征量的狀況判定方法和擁塞度的計算方法。 (3)確定包括其狀況未知的的特征量的子空間。如圖35 所示，當輸入的特征量向量f被投影到子空間時，選擇具有最大投影分 量II Pf II的子空間作為識別結(jié)果。這對應(yīng)于識別狀況種類的另一實施 例。如圖36所示，預(yù)先使子空間(直線)上的位置和表示擁塞度的指 標互相關(guān)聯(lián)，并且能夠基于當特征量向量f被投影到子空間時的向量的 終點位置(圖35中的箭頭POS的位置)來計算表示擁塞度的指標?？?以選擇圖36中最接近的擁塞級別(整數(shù))作為表示擁塞度的指標，并 且可以在終點位置處進行插值，以計算小數(shù)的擁塞級別。非專禾U文獻5: "Technical Review and View in Computer Vision"("計算機視覺中的技術(shù)展望與觀點")，松山隆司，久野義 德，井宮淳，(New Technology) Communications (新技術(shù)通訊)，1998/06在本實施例中，基于投影到子空間的特征向量的位置來計算 擁塞度。然而，替代主分量分析法，可以使用諸如多元回歸分析這樣的其他方法。非專利文獻4中公開了多元回歸分析法的詳細內(nèi)容，因 而省略對其的說明。在本實施例中，將三種狀況(多人數(shù)移動、少人數(shù)移動和移 動路徑偏移到一側(cè))定義為狀況種類。然而，可以識別兩種狀況，即， 對應(yīng)于多人數(shù)移動和少人數(shù)移動的"正常移動"和"移動路徑偏移到
一側(cè)"。這些狀況可以被分為四種或更多種狀況。例如，可以如圖37 所示將狀況分為四種狀況，以便在子空間中進行近似時減少近似誤差。如上所述，根據(jù)本實施例的狀況判定裝置，對所拍攝的圖像 的局部區(qū)域中的亮度值的時間變化率和多個局部區(qū)域的時間變化率的 直方圖進行分析，以判定人的移動狀況并且計算擁塞級別。具體地， 可簡單地檢測到移動路徑偏移到一側(cè)。因此，例如，在諸如車站這樣 的存在等候列車的隊列的場所，可推定存在等候列車的隊列及其擁塞
級別。此外，在移動路徑?jīng)]有偏移到一側(cè)的狀況中，能夠推定狀況和 擁塞度。當在人通常未排成隊列的通道中檢測到移動路徑偏移到一側(cè) 時，可推定存在妨礙人自由移動的障礙。(第三實施例)
圖38是示意性地示出了根據(jù)本發(fā)明第三實施例的異常判定裝置 的結(jié)構(gòu)的框圖。在圖38中，根據(jù)本實施例的異常判定裝置包括狀況判 定裝置500、列車到達檢測單元510、異常判定單元520和通報單元530。 與第一實施例相同，異常判定裝置被安裝在圖2所示的鐵道車站的站 臺處。狀況判定裝置500具有圖1的框圖中所示的結(jié)構(gòu)，并且將所 判定的狀況種類或擁塞度傳送到異常判定單元520。狀況判定裝置500 的詳細操作與根據(jù)第一實施例或第二實施例的相同。假定將要判定的 狀況種類至少包括其中人的移動路徑偏移到一側(cè)的狀況。
列車到達檢測單元510檢測列車的到達站臺?？梢允褂萌魏?方法，只要其能夠檢測列車的到達即可。例如，可以使用識別圖像的 方法、利用傳感器的方法以及利用列車運行數(shù)據(jù)的方法。在識別圖像 的方法中，可以預(yù)先注冊諸如列車的顏色和形狀這樣的外觀信息，并 且可以執(zhí)行關(guān)于注冊信息的模板匹配，以判定列車的到達。還可以使 用第一實施例中所說明的運動向量的方法。當具有相似的方向和強度 的多個運動向量出現(xiàn)在圖像的預(yù)定區(qū)域(鐵道線附近)中時，可以檢 測到剛體的移動，以判定列車的到達。在利用傳感器的方法中，例如， 負載傳感器被設(shè)置在鐵道下面，并且能夠基于負載值來判定列車的到 達。此外，可以使用激光發(fā)射設(shè)備和光接收設(shè)備來檢測從列車反射的 激光，或者檢測從激光發(fā)光單元射出的光被列車遮擋住，從而判定列 車的到達。作為利用列車運行數(shù)據(jù)的方法的示例，能夠通過接收來自 列車或列車控制中心的通信數(shù)據(jù)來檢測列車的到達。異常判定單元520基于來自狀況判定裝置500的狀況判定結(jié) 果和擁塞度判定結(jié)果以及來自列車到達檢測單元510的列車到達信息 這兩者來判定有無異常。下面，將說明該處理的細節(jié)。當異常判定單 元520判定存在異常時，通報單元530將該事實發(fā)送到預(yù)定聯(lián)絡(luò)地址。接下來，將參照圖39中的流程圖來說明根據(jù)本實施例的異 常判定裝置的操作。圖像輸入步驟S100至狀況判定步驟S140由狀況 判定裝置500執(zhí)行。狀況判定裝置500的結(jié)構(gòu)示于圖1中，并且執(zhí)行 步驟S100至S140的單元及其操作與根據(jù)第一實施例或第二實施例的 相同。因此，將省略對其的詳細說朋。這里，將參照圖40來說明從狀 況判定裝置500輸出的狀況判定結(jié)果和擁塞指標在正常操作期間的時 間系列變化。圖40是示意性地示出了從根據(jù)第二實施例的狀況判定裝 置輸出的狀況判定結(jié)果和擁塞度中的時間系列變化的圖示。<擁塞指標>
橫軸表示時間，并且列車在時刻13和時刻16到達。因為前一趟列車已在時刻^到達，所以站臺上沒人并且擁塞度為0。因為直到列車到 達的時刻t3人移動到站臺以便上車，所以擁塞度逐漸增加。在列車到 達的時刻ts，等候列車的乘客上車，并且乘客從列車下來到站臺上并移
動到圖2所示的樓梯ST。在所有乘客都移動到樓梯ST的時刻t4，擁塞
度返回到0。之后，重復(fù)從時刻^到時刻t4的狀況。<狀況判定結(jié)果>
在從時刻^到時刻t2的時間段中，沒有等候列車的隊列。該狀況 被判定為"狀況l:少人數(shù)移動"。因為從時刻t2開始形成等候列車的 隊列t2,所以該狀況被判定為"狀況2:移動路徑偏移到一側(cè)"。當列
車在時刻t3到達時，所有乘客移動到圖2中所示的樓梯ST。因此，該
狀況被判定為"狀況3:多人數(shù)移動"。然后，由列車到達檢測單元510執(zhí)行列車到達檢測步驟 S200。該處理與列車到達檢測單元510的操作相同。然后，由控制單元(圖38中未示出)執(zhí)行步驟S210。在當 前時刻有列車到達信息(是的情況)時，處理前進到異常判定步驟S220。 當沒有列車到達信息(否的情況)時，處理前進到步驟S150。然后，由異常判定單元520執(zhí)行異常判定步驟S220。該步 驟如下執(zhí)行。預(yù)先測量從列車到達到擁塞度返回到0的時間(例如， 從時刻t3到時刻U的時間段)，并且基于測量值來確定閾值DT。當 自列車到達檢測單元510檢測到列車到達起經(jīng)過時間DT之后擁塞指標 不小于預(yù)定閾值或者狀況沒有被判定為"狀況1:少人數(shù)移動"時，判 定有異常。異常的示例包括由于列車中沒有空間而使得在站臺上等候 列車的乘客未乘上到達的列車，并且一些乘客留在了站臺；樓梯ST發(fā) 生擁塞，并且即使在經(jīng)過時間DT之后，下車的乘客也未能移動到樓梯ST。擁塞消除的時間受等候列車的人數(shù)和下車的人數(shù)的影響。因此， 優(yōu)選根據(jù)日期和時間將閾值DT設(shè)定為適當?shù)闹?。然后，由控制單?圖38中未示出)執(zhí)行步驟S230。如果 在異常判定步驟中判定存在異常(是的情況)，則處理前進到通報步 驟S240。如果沒有異常(否的情況)，則處理前進到步驟S150。由通 報單元530執(zhí)行通報步驟S240。通報處理與通報單元530的操作相同。 最后，由控制單元(圖38中未示出)執(zhí)行步驟S150。在圖38中，當 裝置的操作者使用輸入單元(圖38中未示出)輸入處理結(jié)束指示(是 的情況)時，處理返回到圖像輸入步驟SIOO以處理下一幀圖像。當未 輸入處理結(jié)束指示(否的情況)時，處理結(jié)束。如上所述，根據(jù)本實施例的異常判定裝置，能夠基于通過狀 況判定裝置得到的狀況種類或擁塞度來判定不同于正常狀態(tài)的異常擁 塞狀態(tài)。(第四實施例)
圖41是示意性地示出了根據(jù)本發(fā)明第四實施例的擁塞推定裝置 的結(jié)構(gòu)的框圖。在圖41中，根據(jù)本實施例的擁塞推定裝置610A包括 圖像生成單元611，其將用相機拍攝的圖像或各種場景的圖像轉(zhuǎn)換成數(shù) 字圖像，并且輸出該數(shù)字圖像；區(qū)域分割單元612，其將輸入圖像分割 成部分區(qū)域；移動信息生成單元613，其由從圖像生成單元611的圖像 序列生成移動信息；基準移動信息生成單元614，其儲存并更新作為每 個部分區(qū)域中的運動的基準的基準移動信息；紋理信息生成單元615， 其生成從圖像生成單元611輸出的圖像的紋理信息；基準紋理信息生 成單元616，其儲存并更新基準紋理信息，所述基準紋理信息用于判定 每個部分區(qū)域中有無人存在；儲存單元617，其儲存基準移動信息和基 準紋理信息；移動信息判定單元618，其將從移動信息生成單元613輸 出的移動信息與由基準移動信息生成單元614生成的基準移動信息進 行比較，以基于比較結(jié)果判定每個部分區(qū)域中有無移動；紋理信息判定單元619，其將從紋理信息生成單元615輸出的紋理信息與由基準紋
理信息生成單元616生成的基準紋理信息進行比較，以判定每個部分 區(qū)域中是否存在與人相同的紋理信息；和滯留判定單元620，其接收來 自移動信息判定單元618和紋理信息判定單元619的判定結(jié)果，并且 基于接收到的判定結(jié)果而判定每個區(qū)域中有無人存在。將參照圖42、43和44來說明具有上面提及的結(jié)構(gòu)的擁塞推 定裝置610A的操作。首先，將通過圖像生成單元611得到的圖像數(shù)據(jù) 傳送給移動信息生成單元613和紋理信息生成單元615。這里，將參照 圖42來說明圖像分割單元612的功能。首先，區(qū)域分割單元612執(zhí)行 用于移動信息生成單元613和基準移動信息生成單元614的區(qū)域分割。 基于作為對象的物體的尺寸來確定區(qū)域。對具有與前后位置相對應(yīng)的 物體尺寸的矩形區(qū)域(1) 630和矩形區(qū)域(2) 631進行設(shè)定?；谒?設(shè)定的兩個矩形區(qū)域，通過線性插值來確定任意位置處的移動處理區(qū) 域。圖43示出了移動處理區(qū)域的分割的示例。然后，基于用于所確定的移動信息的區(qū)域的分割結(jié)果，來確 定用于紋理信息生成單元615和基準紋理信息生成單元616的紋理處 理區(qū)域。在用于紋理的紋理處理區(qū)域的分割中，用于移動信息的多個 區(qū)域分割結(jié)果的集合為一個紋理處理區(qū)域。圖44示出了其中二乘二總 計四個用于移動信息的移動處理區(qū)域結(jié)果屬于一個紋理處理區(qū)域的示 例。在本實施例中，使用了四個移動處理區(qū)域結(jié)果，但其數(shù)目可以隨 設(shè)計自由改變。接下來，將參照圖45來說明移動信息生成單元613、基準 移動信息生成單元614和移動信息判定單元618的操作。從圖像生成 單元611輸入的圖像被儲存在圖像緩存單元640中。然后，將圖像輸 入到光流計算單元641和邊緣提取單元643。光流計算單元641從圖像 中提取特征點并且對與所提取的特征點相對應(yīng)的下一幀上的點進行搜 索。連接對應(yīng)的特征點與初始圖像的特征點的向量是運動向量。流代表方向/大小計算單元642對每個移動處理區(qū)域的代表流和代表大小進
行計算。每個移動處理區(qū)域都包括多個運動向量。然而，計算多個運 動向量的平均值作為代表大小，并且當存在具有多個方向的移動向量 時，計算最高頻率的方向向量作為流代表方向。當計算該方向時，僅 由具有大于或等于預(yù)定值的大小的流來構(gòu)建頻率分布，以消除噪聲流。每個移動處理區(qū)域的流的代表方向信息(單位弧度)和流
的代表大小(單位像素)都被儲存并且然后傳送給運動向量狀態(tài)判
定單元647。基準移動信息生成單元614包括基準運動向量映射參照單 元645和基準差分區(qū)域映射參照單元646。圖46所示的基準運動向量 映射650被儲存在基準運動向量映射參照單元645中，并且每個移動 處理區(qū)域都具有作為有無移動的基準值的閾值。例如，區(qū)域(1) 651、 區(qū)域(2) 652和區(qū)域(3) 653 (在圖46中，省略了其中具有數(shù)值的圓 括號"()"，這與下列說明相同)的閾值為10。當流的大小超過閾值時， 判定有移動。當流的大小小于閾值時，判定無運動。同樣，區(qū)域(8) 654和區(qū)域(9) 655的閾值為9。所有移動處理區(qū)域都有閾值?；氐綀D45，邊緣提取單元643使用諸如索貝爾濾波器這樣 的現(xiàn)有邊緣提取程序來提取輸入圖像的邊緣，并且將所提取的結(jié)果傳 送給邊緣幀間差分單元644。邊緣幀間差分單元644計算前一邊緣幀與 當前輸入的邊緣幀之間的差分，提取與前一幀中的像素不同的當前幀 中的像素，并且將它們傳送給差分區(qū)域狀態(tài)判定單元648?；鶞室苿有?息生成單元614包括基準差分區(qū)域映射參照單元646，并且映射包括用 于當像素在若干百分點的移動處理區(qū)域中被移動時判定有無移動的映 射。圖47示出了基準差分區(qū)域映射660的示例。在基準差分區(qū)域映射660中，當諸如區(qū)域(1) 661、區(qū)域(2) 662或區(qū)域(3) 663 (在圖47中，省略了其中具有數(shù)值的圓括號"()"，這與下列說明相同)這樣的處理區(qū)域的10%有移動時，判定該區(qū)域為 移動區(qū)域。當移動量小于10%時，判定該區(qū)域為非移動區(qū)域。例如，
當移動了 15%的區(qū)域時，區(qū)域(8) 664和區(qū)域(9) 665被判定為移動 區(qū)域。這樣，差分區(qū)域狀態(tài)判定單元648對所有移動處理區(qū)域執(zhí)行上 面提及的判定處理。移動區(qū)域狀態(tài)判定單元649基于運動向量狀態(tài)判 定單元647的判定結(jié)果和差分區(qū)域狀態(tài)判定單元648的判定結(jié)果這兩 者來判定已被判定為移動區(qū)域的移動處理區(qū)域中有移動存在，并且將 判定結(jié)果傳送給滯留判定單元620 (參見圖41)。將已基于運動向量 狀態(tài)判定單元647的判定結(jié)果和差分區(qū)域狀態(tài)判定單元648的判定結(jié) 果這兩者而被判定為非移動區(qū)域的移動處理區(qū)域作為非移動區(qū)域傳送 給滯留判定單元620。接下來，將參照圖48和49來說明紋理信息生成單元615、 基準紋理信息生成單元616和紋理信息判定單元619的操作。紋理信 息生成單元615從通過區(qū)域分割單元612分割的每個紋理處理區(qū)域中 提取紋理特征量。使用傅里葉變換對紋理特征量執(zhí)行頻率轉(zhuǎn)換處理。 圖48示出了輸入圖像670的示例。對區(qū)域(tl) 671、區(qū)域(t2) 672、 區(qū)域(t3) 673、…(在圖48中，省略了其中具有數(shù)值的圓括號"()"， 這與下列說明相同)順次執(zhí)行頻率轉(zhuǎn)換處理。圖49示出了紋理特征量 提取處理的結(jié)果的示例。通過對區(qū)域(tl) 671、區(qū)域(t2) 672、區(qū)域 (t3) 673、…(在圖49中，省略了其中具有數(shù)值的圓括號"()"，這 與下列說明相同)執(zhí)行頻率轉(zhuǎn)換處理，得到紋理特征量提取結(jié)果680 作為輸入。紋理特征量提取結(jié)果680包括區(qū)域tl紋理特征量681、區(qū) 域t2紋理特征量682和區(qū)域3紋理特征量683?；鶞始y理信息生成單元616從有人的場景組和無人的場景 組中的每個紋理處理區(qū)域中提取紋理特征量。圖50示出了有人的場景 (1) 690 (在圖50中，省略了其中具有數(shù)值的圓括號"()"，這與下 列說明相同)。從諸如區(qū)域(tl) 692、、區(qū)域(tl7) 693、…的紋
理處理區(qū)域691中的每個區(qū)域中提取紋理特征量。這樣，從有人的場景1的區(qū)域tl中提取紋理特征量694，并且從有人的場景1的區(qū)域tl7
中提取紋理特征量695。同樣，圖51示出了無人的場景(1) 700 (在
圖51中，省略了其中具有數(shù)值的圓括號"()"，這與下列說明相同)。從諸如區(qū)域(tl) 702、…、區(qū)域(tl7) 703、…這樣的紋理處理區(qū)域701中的每個區(qū)域中提取紋理特征量。這樣，從無人的場景1的區(qū)域tl中提取紋理特征量704，并且從無人的場景1的區(qū)域tl7中提取紋理特征量705。將參照圖52來說明紋理信息判定單元619的處理。紋理信息判定單元619輸出從紋理信息生成單元615輸入的圖像670中的每個紋理處理區(qū)域的區(qū)域(tl) 671、…的區(qū)域(tl)紋理特征量681、…(在圖52中，省略了其中具有數(shù)值的圓括號"()"，這與下列說明相同》。此外，因為基準紋理信息生成單元616具有與每個紋理區(qū)域相對應(yīng)的基準紋理特征量，例如，從無人的場景1的區(qū)域tl中提取紋理特征量704，并且從有人的場景1的區(qū)域tl中提取紋理特征量694。紋理特征量694和704對應(yīng)于輸入圖像的區(qū)域(tl) 692和區(qū)域(tl) 702。然后，執(zhí)行與區(qū)域tl紋理特征量681的相似度計算706。當與無人的場景的區(qū)域的相似度高時，紋理信息判定單元619判定該區(qū)域中無人。當與有人的場景的區(qū)域的相似度高時，紋理信息判定單元619判定該
區(qū)域中有人。在相似度計算中，可以使用SAD (絕對差分和)來計算具有最小相似度的紋理，或者可以使用標準化的相關(guān)指標。接下來，將參照圖53來說明滯留判定單元620的操作。在基于移動信息判定單元的判定結(jié)果而被判定為有移動710的區(qū)域中，將基于紋理信息判定單元的判定結(jié)果而被判定為其中有人712的區(qū)域判定為移動區(qū)域714。在基于移動信息判定單元的判定結(jié)果而被判定為有移動710的區(qū)域中，將基于紋理信息判定單元的判定結(jié)果而被判定為其中無人713的區(qū)域判定為噪聲區(qū)域715。在基于移動信息判定單元的判定結(jié)果而被判定為無移動711的區(qū)域中，將基于紋理信息判定單元的判定結(jié)果而被判定為其中有人712的區(qū)域判定為滯留區(qū)域716。在基于移動信息判定單元的判定結(jié)果而被判定為無移動711的區(qū)域中，將基于紋理信息判定單元的判定結(jié)果而被判定為其中無人713的區(qū)域
判定為背景區(qū)域717。這樣，能夠如圖54所示地輸出每個區(qū)域的狀態(tài)。圖54示出了移動區(qū)域720、滯留區(qū)域721、背景區(qū)域723和噪聲區(qū)域724的狀態(tài)。如上所述，移動信息判定單元618判定區(qū)域有無移動，并且紋理信息判定單元619利用紋理判定相似度，從而判定有人的區(qū)域或無人的區(qū)域。滯留判定單元620能夠判別每個區(qū)域的各種狀態(tài)滯留區(qū)域、移動區(qū)域、噪聲區(qū)域和背景區(qū)域。根據(jù)本實施例的擁塞推定裝置610A的紋理信息生成單元615和基準紋理信息生成單元616使用通過傅里葉變換的頻率轉(zhuǎn)換處理來提取紋理特征量，但本發(fā)明不限于此。例如，可以使用邊緣信息或伽柏特征來提取特征量。根據(jù)本實施例的擁塞推定裝置610A的基準紋理信息生成單元616生成無人的場景和有人的場景作為基準紋理的一個圖案，但本發(fā)明不限于此。例如，可以使用多個有人的場景和多個無人的場景來生成多個基準紋理?；鶞始y理可以從諸如多人數(shù)場景、正常人數(shù)場景、少人數(shù)場景和無人場景這樣的多個場景中生成，并且紋理信息判定單元619可以利用它們來判定有人的區(qū)域或無人的區(qū)域。此外，可以通過諸如支持向量機(SVM)或Boosting算法的學(xué)習(xí)算法來學(xué)習(xí)多個場景，并且可以使用有人的場景的代表基準紋理和無人的場景的代表特征量來判定有人的區(qū)域或無人的區(qū)域。(第五實施例)
圖55是示意性地示出了根據(jù)本發(fā)明第五實施例的擁塞推定裝置的結(jié)構(gòu)的框圖。根據(jù)本實施例的擁塞推定裝置610B與根據(jù)第四實施例的擁塞推定裝置610A的不同之處在于其還包括時序生成單元621，所述時序生成單元621將所輸入的基準信息的更新時序輸入到基準移動
信息生成單元614和基準紋理信息生成單元616。其他結(jié)構(gòu)與根據(jù)第四實施例的相同，并且將省賂對其的說明。將參照圖56和57來說明時序生成單元621的下述處理，在所述處理中，時序生成單元621按照列車進入、停止和出發(fā)的時序?qū)⒏聲r序發(fā)送給基準移動信息生成單元614和基準紋理信息生成單元616。如圖56所示，相機730被安裝在車站站臺處使其能夠監(jiān)視鐵道。當列車進入鐵道上的車站時，利用諸如幀間差分和背景差分處理這樣的圖像處理技術(shù)來檢測列車進入期間鐵道中的變化，并且將進入時序傳送給基準移動信息生成單元614和基準紋理信息生成單元616。在列車即將進入之前，存在等候列車的隊列。因此，紋理信息判定單元619使用有人的模板來更新紋理信息。然后，當列車停止時，乘客上下車。因此，基準移動信息生成單元614使用列車的停止時序來更新基準移動信息。圖57示出了該處理的步驟安排。在車輛進入檢測步驟S141中，通過圖像處理來檢測列車的進入，并且將檢測結(jié)果傳送給更新時序通報步驟S145。在車輛停止檢測步驟S142中，在于車輛進入檢測步驟S141中檢測到車輛進入之后，當鐵道上沒有移動時，判定車輛停止，并將車輛停止時刻通報給更新時序通報步驟S145。在車輛出發(fā)檢測步驟S143中，在于車輛停止檢測步驟S142中檢測到車輛停止之后，當鐵道上有移動時，判定車輛出發(fā)，并且將車輛的出發(fā)通報給更新時序通報步驟S145。在該處理中，連續(xù)對車輛的進入、停止和出發(fā)進行檢測，直到發(fā)出處理結(jié)束指示(步驟S144)。圖58示出了在車輛進入時序的車站站臺的圖像的示例。如圖58所示，將在進入時序得到的多個場景傳送給基準紋理信息生成單元616，并且從該場景組中生成基準紋理。這樣，能夠使有人存在時的基準紋理適應(yīng)于場景。此外，儲存用于每個日期和時間的基準紋理。這樣，能夠與例如日期和時間同步地判定紋理信息。圖59示出了在列車停止時序的從車站站臺提取運動向量的處理之后的運動向量的獲取結(jié)果的序列的示例。如圖59所示，在列車停止時序得到的多個場景被傳送給基準移動信息生成單元614，并且從那時的場景組中提取每個移動處理區(qū)域中的移動的大小或方向向量。然后，將那時的移動作為基準移動量，以獲取每個移動處理區(qū)域的方向向量。此外，儲存用于每個日期和時間的基準移動信息。這樣，能夠與例如日期和時間同步地判定移動信息。如上所述，時序生成單元621基于列車的進入、停止和出發(fā)時序，自動地設(shè)定移動信息的基準移動量或有人的紋理信息。這樣，能夠判別有移動的狀態(tài)與沒有移動的狀態(tài)。此外，能夠判定有無人存在。根據(jù)本實施例的擁塞推定裝置610B的時序生成單元621利用圖像處理技術(shù)生成車輛的進入時序，但本發(fā)明不限于此。例如，可以將檢測傳感器設(shè)置在鐵道上，并且可以從傳感器的信息得到與車輛的進入、停止和出發(fā)相關(guān)的信息。此外，可以與列車時刻表中的到達時刻同步地通報列車的進入時序。時序生成單元621利用車輛的進入、停止和出發(fā)時序，但不限于此。時序生成單元621可以按照任意時間間隔生成更新時序。(第六實施例)
圖60是示意性地示出了根據(jù)本發(fā)明的第六實施例的擁塞推定裝置的結(jié)構(gòu)的框圖。根據(jù)本實施例的擁塞推定裝置601C與根據(jù)第四實施例的擁塞推定裝置610A的不同之處在于其還包括時序生成單元621，所述時序生成單元621將所輸入的基準信息的更新時序輸入到基準移動信息生成單元614和基準紋理信息生成單元616以及異常判定單元622，所述異常判定單元622對處理區(qū)域的時間系列比率進行分析并判定有無異常擁塞。其他結(jié)構(gòu)與根據(jù)第四實施例的擁塞推定裝置610A的相同，并且將省略對其的詳細說明。圖61示出了從滯留判定單元620輸出的處理區(qū)域狀態(tài)判定結(jié)果序列150。區(qū)域狀態(tài)判定結(jié)果序列750具有作為t (0) 751、 t(l)752、 t (2) 753、…、t (n) 756 (在圖61中，省略了其中具有數(shù)值的圓括號"()"，這與下列說明相同)的時間系列數(shù)據(jù)的區(qū)域判定結(jié)果。圖62示出了通過繪制區(qū)域狀態(tài)判定結(jié)果序列750而得到的擁塞指標時間系列曲線圖760。該曲線圖是通過在時間系列中繪制滯留區(qū)域763、移動區(qū)域762、噪聲區(qū)域764、總擁塞度761而得到的。總擁塞度761表示移動區(qū)域762的數(shù)目和滯留區(qū)域763的數(shù)目之和。異常擁塞判定單元622在總擁塞度761超過預(yù)定的閾值時判定發(fā)生異常擁塞。例如，當閾值被設(shè)定成使得如果總擁塞度761超過80%則判定擁塞異常時，在t(5)754和t(30)755時判定發(fā)生異常擁塞，并通報該事實。在本實施例中，基于總擁塞度761的比率來判定異常擁塞。然而，可以基于滯留區(qū)域763的比率來判定異常擁塞。在本實施例中，基于總擁塞度761的比率來判定異常擁塞。然而，可以基于移動區(qū)域762的比率來判定異常擁塞。圖63示出了通過使tlO:車輛進入765、 t20:車輛進入768、tll:車輛停止766、 t21:車輛停止769、 tl2:車輛出發(fā)767和t22:車輛出發(fā)770的時序在擁塞指標時間系列曲線圖上重疊而得到的擁塞指標時間系列曲線圖，其中所述時序從時間生成單元621得到。當總擁塞度761在自tl0:車輛進入765和t20:車輛進入768時起經(jīng)過預(yù)定時間之后沒有減少預(yù)定閾值時，異常判定單元622判定存在異常。例如，在自tlO:車輛進入765起的預(yù)定判定時間段771的范圍中，當總擁塞度761沒有減少60%或更多時，異常判定單元622判定發(fā)生異常擁塞，并通報該事實。
在圖63所示的示例中，在自10:車輛進入765和t20:車 輛進入768時起的判定時間段771中，總擁塞度761減少60%或更少 時，不判定發(fā)生異常擁塞。在本實施例中，基于車輛進入時的總擁塞 度761的比率來判定異常擁塞。然而，可以基于滯留區(qū)域763的比率 來判定異常擁塞。在本實施例中，基于總擁塞度761的比率來判定異 常擁塞。然而，可以基于移動區(qū)域762的比率來判定異常擁塞。接下來，將參照圖64來說明人的移動趨勢的判定處理，在 該處理中，依據(jù)通過滯留判定單元620判定的每個處理區(qū)域的狀態(tài)來 判定諸如滯留開始狀態(tài)、滯留消除狀態(tài)和正常狀態(tài)這樣的人的移動趨 勢。在滯留區(qū)域檢測步驟S180中，對滯留區(qū)域進行檢測。在搜索滯留 區(qū)域的鄰近區(qū)域的搜索步驟S181中，判定在包括滯留區(qū)域的鄰近區(qū)域 中是生成了新的滯留區(qū)域還是消除了滯留區(qū)域，并將表示判定結(jié)果的 信息傳送給滯留區(qū)域連續(xù)增加判定步驟S182和滯留區(qū)域連續(xù)減少判定 步驟S185。在滯留區(qū)域連續(xù)增加判定步驟S182中，判定滯留區(qū)域是否 連續(xù)單調(diào)地增加，并且判定連續(xù)增加的滯留區(qū)域數(shù)是否大于或等于閾 值(步驟S183)。如果滯留區(qū)域數(shù)大于或等于預(yù)定閾值，則在滯留開 始判定通報步驟S184中，在由于滯留區(qū)域的增加而發(fā)生異常擁塞之前 發(fā)出警告。同樣，在滯留區(qū)域連續(xù)減少判定步驟S185中，判定滯留區(qū) 域是否連續(xù)單調(diào)地減少，并且判定連續(xù)減少的滯留區(qū)域數(shù)是否大于或 等于閾值(步驟S186)。如果滯留區(qū)域數(shù)大于或等于預(yù)定閾值，則在 滯留消除判定通報步驟S187中，通報已消除擁塞狀況。圖65示出了上面提及的處理的示例。在時刻(t-4)7卯和時刻 (t-3) 791 (在圖65中，省略了其中具有數(shù)值的圓括號"()"，這與下 列說明相同)，僅檢測到移動區(qū)域。在時刻(t-2)792，生成滯留區(qū)域， 并且將該滯留區(qū)域作為基準滯留區(qū)域795。在時刻(t-l)793，在基準滯 留區(qū)域795附近生成新的滯留區(qū)域，并且將滯留區(qū)域組作為基準滯留區(qū)域組。在時刻(t)794，在基準滯留區(qū)域組中生成三個新的滯留區(qū)域。
當用于判定滯留區(qū)域的閾值為三個滯留區(qū)域時，判定滯留開始796發(fā)
生，并通報該事實。對滯留消除執(zhí)行如上所述的相同步驟。除滯留開 始判定和滯留消除判定之外的情況被判定為正常狀態(tài)。因此，能夠通 報正常狀態(tài)。如上所述，能夠基于每個區(qū)域的各種狀態(tài)，即滯留區(qū)域、移 動區(qū)域、噪聲區(qū)域和背景區(qū)域來判定擁塞狀況的指標(滯留開始狀態(tài)、 滯留消除狀態(tài)和正常狀態(tài))和異常狀態(tài)。雖然上面已經(jīng)說明了本發(fā)明的示例性實施例，但是本發(fā)明并 不限于此，而是本領(lǐng)域技術(shù)人員基于說明書和公知技術(shù)而做出的改變 和應(yīng)用也都包括在本發(fā)明的保護范圍內(nèi)。本申請基于在2007年10月26日提交的日本專利申請 No. 2007-278625和在2007年10月29日提交的日本專利申請 No. 2007-280205，其內(nèi)容通過引用結(jié)合于此。
工業(yè)適用性根據(jù)本發(fā)明的狀況判定裝置、狀況判定方法和狀況判定程序
能夠提供這樣一種裝置、方法和程序，所述裝置、方法和程序，在諸 如車站或機場這樣的其中有多人移動的公共空間中進行圖像監(jiān)視時，
能夠判定與人的移動有關(guān)的狀況種類或擁塞度，并且實現(xiàn)省力和高效。 此外，根據(jù)本發(fā)明的異常判定裝置、異常判定方法和異常判定程序能 夠提供這樣一種裝置、方法和程序，所述裝置、方法和程序，在正如 車站或機場這樣的其中有多人移動的公共空間中進行圖像監(jiān)視時，能 夠判定與人的移動有關(guān)的異常擁塞狀況、實現(xiàn)省力和高效，并且預(yù)先 檢測異常，以便防止由異常擁塞而引起的事故。根據(jù)本發(fā)明的擁塞推定裝置自動地設(shè)定移動信息的基準移動量，以判別有移動的狀態(tài)和無移動的狀態(tài)。此外，該擁塞推定裝置 判定有無移動并利用紋理來判定相似度，從而判別每個區(qū)域的各種狀 態(tài)滯留區(qū)域、移動區(qū)域、噪聲區(qū)域和背景區(qū)域。而且，該擁塞推定 裝置利用每個區(qū)域的狀態(tài)來推定擁塞度，并且能夠提供擁塞狀況的指 標(滯留區(qū)域、移動區(qū)域、正常區(qū)域、滯留幵始狀態(tài)、滯留消除狀態(tài) 和正常狀態(tài))以及關(guān)于異常狀態(tài)的信息。因此，根據(jù)本發(fā)明的擁塞推 定裝置能夠被應(yīng)用于通報異常擁塞狀態(tài)的裝置。
權(quán)利要求
1.一種狀況判定裝置，用于對所拍攝的運動圖像或多個所拍攝的靜止圖像進行分析，以判定人的移動狀況和/或擁塞度，所述狀況判定裝置包括局部圖像變化率計算單元，所述局部圖像變化率計算單元對所拍攝的圖像的局部區(qū)域中的亮度值的時間變化率進行計算；和狀況判定單元，所述狀況判定單元對由所述局部圖像變化率計算單元計算的多個局部區(qū)域的時間變化率的直方圖進行分析，并且判定人的移動狀況和/或人的擁塞度。
2. —種狀況判定裝置，用于對所拍攝的運動圖像或多個所拍攝的 靜止圖像進行分析，以判定人的移動狀況和/或擁塞度，所述狀況判定 裝置包括圖像輸入單元，所述圖像輸入單元輸入在成像對象場所中拍攝的 人的運動圖像或多個靜止圖像；圖像蓄積單元，所述圖像蓄積單元蓄積由所述圖像輸入單元輸入 的圖像；局部圖像變化檢測單元，所述局部圖像變化檢測單元從蓄積在所 述圖像蓄積單元中的圖像中選擇按照第一時間間隔拍攝的兩個圖像， 并且使用表示將所述圖像分割成多個局部區(qū)域的分割方法的區(qū)域分割信息來在每個局部區(qū)域中檢測所述兩個圖像之間的變化；局部圖像變化信息蓄積單元，所述局部圖像變化信息蓄積單元蓄積由所述局部圖像變化檢測單元檢測到的所述兩個圖像之間的變化，作為圖像變化信息；局部圖像變化率計算單元，所述局部圖像變化率計算單元基于蓄積在所述局部圖像變化信息蓄積單元中的圖像變化信息，對每個局部區(qū)域中按照第二時間間隔給出的圖像之間的變化數(shù)目計數(shù)，并且計算每個局部區(qū)域的圖像變化率；局部圖像變化率蓄積單元，所述局部圖像變化率蓄積單元蓄積由所述局部圖像變化率計算單元計算的多個局部區(qū)域的圖像變化率；局部圖像變化率直方圖計算單元，所述局部圖像變化率直方圖計算單元對由所述局部圖像變化率蓄積單元蓄積的所述多個局部區(qū)域的圖像變化率的直方圖進行計算；狀況判定單元，所述狀況判定單元對由所述局部圖像變化率直方圖計算單元計算的直方圖進行分析，以判定所述成像對象場所中的人的移動狀況和/或擁塞度。
3. 根據(jù)權(quán)利要求1或2所述的狀況判定裝置，其中，所述狀況判 定單元包括參照直方圖儲存單元和直方圖比較單元。
4. 根據(jù)權(quán)利要求1或2所述的狀況判定裝置，其中，所述狀況判 定單元包括特征提取單元、識別基準儲存單元和識別單元。
5. 根據(jù)權(quán)利要求1至4中任一項所述的狀況判定裝置，其中，所述移動狀況至少包括其中人的移動路徑偏移到一側(cè)的狀況。
6. —種異常判定裝置，用于對由設(shè)置在車站站臺處的成像單元拍攝的運動圖像或多個靜止圖像進行分析，以判定異常狀況，所述異常判定裝置包括根據(jù)權(quán)利要求5所述的狀況判定裝置；列車到達檢測單元，所述列車到達檢測單元檢測列車到達所述站臺；禾口異常判定單元，所述異常判定單元基于所述狀況判定裝置的狀況 判定結(jié)果和通過所述列車到達檢測單元得到的列車到達信息，當自所 述列車到達檢測單元取得所述列車到達信息起經(jīng)過預(yù)定時間之后判定 人的移動路徑偏移到一側(cè)作為所述狀況判定結(jié)果時，判定發(fā)生異常。
7. 根據(jù)權(quán)利要求6所述的異常判定裝置，還包括通報單元，當所述異常判定單元判定發(fā)生異常時，所述通報單元將所述異常判定單元的判定結(jié)果發(fā)送給預(yù)定聯(lián)絡(luò)地址。
8. —種狀況判定方法，用于對所拍攝的運動圖像或多個所拍攝的 靜止圖像進行分析，以判定人的移動狀況和/或擁塞度，所述狀況判定 方法包括局部圖像變化率計算步驟，所述局部圖像變化率計算步驟用于對 所拍攝的圖像的局部區(qū)域中的亮度值的時間變化率進行計算；和狀況判定步驟，所述狀況判定步驟用于對由所述局部圖像變化率 計算單元計算的多個局部區(qū)域的時間變化率的直方圖進行分析，并且判定人的移動狀況和/或人的擁塞度。
9. 根據(jù)權(quán)利要求8所述的狀況判定方法，其中，所述移動狀況至少包括其中人的移動路徑偏移到一側(cè)的狀況。
10. —種異常判定方法，用于對由設(shè)置在車站站臺處的成像單元拍攝的運動圖像或多個靜止圖像進行分析，以判定異常狀況，所述異常判定方法包括狀況判定步驟，所述狀況判定步驟用于執(zhí)行權(quán)利要求9的狀況判 定方法；列車到達檢測步驟，所述列車到達檢測步驟用于檢測列車到達所述站臺；和異常判定步驟，所述異常判定步驟用于基于狀況判定裝置的狀況 判定結(jié)果和通過列車到達檢測單元得到的列車到達信息，當自所述列 車到達檢測單元取得所述列車到達信息起經(jīng)過預(yù)定時間之后判定人的 移動路徑偏移到一側(cè)作為所述狀況判定結(jié)果時，判定發(fā)生異常。
11. 一種狀況判定程序，對所拍攝的運動圖像或多個所拍攝的靜 止圖像進行分析，以判定人的移動狀況和/或擁塞度，所述狀況判定程 序允許計算機執(zhí)行局部圖像變化率計算步驟，所述局部圖像變化率計算步驟用于對所拍攝的圖像的局部區(qū)域中的亮度值的時間變化率進行計算；和狀況判定步驟，所述狀況判定步驟用于對由所述局部圖像變化率 計算單元計算的多個局部區(qū)域的時間變化率的直方圖進行分析，并且 判定人的移動狀況和/或人的擁塞度。
12. 根據(jù)權(quán)利要求ll所述的狀況判定程序，其中，所述移動狀況 至少包括其中人的移動路徑偏移到一側(cè)的狀況。
13. —種異常判定程序，對由設(shè)置在車站站臺處的成像單元拍攝 的運動圖像或多個靜止圖像進行分析，以判定異常狀況，所述異常判 定程序允許計算機執(zhí)行狀況判定步驟，所述狀況判定步驟用于執(zhí)行權(quán)利要求9的狀況判 定方法；列車到達檢測步驟，所述列車到達檢測步驟用于檢測列車到達所 述站臺；和異常判定步驟，所述異常判定步驟用于基于狀況判定裝置的狀況 判定結(jié)果和通過列車到達檢測單元得到的列車到達信息，當自所述列 車到達檢測單元取得所述列車到達信息起經(jīng)過預(yù)定時間之后判定人的 移動路徑偏移到一側(cè)作為所述狀況判定結(jié)果時，判定發(fā)生異常。
14. 一種擁塞推定裝置，包括-圖像生成單元，所述圖像生成單元將通過相機拍攝的圖像或各種 場景的圖像轉(zhuǎn)換成數(shù)字圖像，并且輸出所述數(shù)字圖像；區(qū)域分割單元，所述區(qū)域分割單元將輸入圖像分割成部分區(qū)域；移動信息生成單元，所述移動信息生成單元由從所述圖像生成單 元輸出的圖像生成移動信息；紋理信息生成單元，所述紋理信息生成單元生成從所述圖像生成 單元輸出的圖像的紋理信息；基準移動信息生成單元，所述基準移動信息生成單元儲存并更新 基準移動信息，所述基準移動信息是每個部分區(qū)域中的移動的基準；基準紋理信息生成單元，所述基準紋理信息生成單元儲存并更新 基準紋理信息，所述基準紋理信息用于判定每個部分區(qū)域中有無人存 在；儲存單元，所述儲存單元儲存所述基準移動信息和所述基準紋理4曰息5移動信息判定單元，所述移動信息判定單元將從所述移動信息生 成單元輸出的所述移動信息與由所述基準移動信息生成單元生成的所述基準移動信息進行比較，以判定每個部分區(qū)域中有無移動；紋理信息判定單元，所述紋理信息判定單元將從所述紋理信息生 成單元輸出的所述紋理信息與由所述基準紋理信息生成單元生成的所述基準紋理信息進行比較，以判定每個部分區(qū)域中是否存在與人相同 的紋理信息；和滯留判定單元，所述滯留判定單元接收來自所述移動信息判定單 元和所述紋理信息判定單元的的判定結(jié)果，以判定每個區(qū)域中有無人 存在。
15. 根據(jù)權(quán)利要求14所述的擁塞推定裝置，還包括-時序生成單元，所述時序生成單元接收由所述圖像生成單元生成的圖像，并且由移動信息判定有無人存在，其中，僅在判定有人時，所述時序生成單元將更新時序發(fā)送給所述基準移動信息生成單元以及所述基準紋理信息生成單元。
16. 根據(jù)權(quán)利要求15所述的擁塞推定裝置，其中，所述時序生成 單元檢測車輛的進入時序，并且按照每個進入時序?qū)⑺龈聲r序發(fā) 送給所述基準移動信息生成單元以及所述基準紋理信息生成單元。
17. 根據(jù)權(quán)利要求15或16所述的擁塞推定裝置，其中，所述基準移動信息生成單元按照由所述時序生成單元所通 報的時序?qū)鶞室苿有畔⑦M行采樣，以設(shè)定所述基準移動信息的閾值， 當所述基準移動信息超過所述基準移動信息的閾值時，所述移動信息判定單元判定有移動；而當所述基準移動信息未超過所述基準移 動信息的閾值時，所述移動信息判定單元判定無移動。
18. 根據(jù)權(quán)利要求14至16中任一項所述的擁塞推定裝置，其中， 所述紋理信息判定單元對輸入信息執(zhí)行頻率轉(zhuǎn)換處理，以判定頻域中 的相似度。
19. 根據(jù)權(quán)利要求14至18中任一項所述的擁塞推定裝置， 其中，所述基準紋理信息生成單元按照由所述時序生成單元所生成的時序?qū)鶞始y理信息進行采樣，以設(shè)定所述基準紋理信息，并且 所述紋理信息判定單元對由所述紋理信息生成單元生成的紋理信 息和由所述基準紋理信息生成單元生成的基準紋理信息之間的相似度 進行判定，并且當判定所述紋理信息與所述基準紋理信息相似時，所 述紋理信息判定單元判定有人。
20. 根據(jù)權(quán)利要求14至19中任一項所述的擁塞推定裝置，其中， 所述滯留判定單元接收所述移動信息判定單元的判定結(jié)果和所述紋理 信息判定單元的判定結(jié)果，以輸出滯留區(qū)域、移動區(qū)域、噪聲區(qū)域和 背景區(qū)域的任一個的狀態(tài)，作為每個區(qū)域的狀態(tài)。
21. 根據(jù)權(quán)利要求14至20中任一項所述的擁塞推定裝置，還包括異常判定單元，所述異常判定單元接收從所述滯留判定單元輸出 的信息，并且對每個輸入狀態(tài)進行分析，以判定是否發(fā)生異常擁塞。
22. 根據(jù)權(quán)利要求14至21中任一項所述的擁塞推定裝置，其中，所述異常判定單元對從所述滯留判定單元輸出的每個區(qū)域 的各種狀態(tài)滯留區(qū)域、移動區(qū)域、噪聲區(qū)域和背景區(qū)域計數(shù)，并且當在通過所述時序生成單元得到的車輛的進入時序之后，擁塞指 標，即，滯留區(qū)域數(shù)和移動區(qū)域數(shù)的和，沒有減少預(yù)定閾值或更多時，所述異常判定單元判定發(fā)生異常。
23. 根據(jù)權(quán)利要求14至21中任一項所述的擁塞推定裝置， 其中，所述異常判定單元對從所述滯留判定單元輸出的每個區(qū)域的各種狀態(tài)滯留區(qū)域、移動區(qū)域、噪聲區(qū)域和背景區(qū)域計數(shù)，并且當所述滯留區(qū)域的比率超過預(yù)定值時，所述異常判定單元判定發(fā) 生異常。
24. 根據(jù)權(quán)利要求14至23中任一項所述的擁塞推定裝置， 其中，所述異常判定單元對從所述滯留判定單元輸出的每個區(qū)域的各種狀態(tài)滯留區(qū)域、移動區(qū)域、噪聲區(qū)域和背景區(qū)域計數(shù)，并且所述異常判定單元依據(jù)所述滯留區(qū)域和所述移動區(qū)域在時間系列 中的比率，判定諸如滯留開始、滯留消除和正常狀態(tài)這樣的人的移動 趨勢。
全文摘要
一種狀況判定裝置，包括局部圖像變化率計算單元，用于對所拍攝的圖像的局部區(qū)域中的亮度值的時間變化率進行計算；和狀況判定單元，用于對局部區(qū)域的時間變化率的直方圖進行分析，從而判定人的移動狀況和/或人的擁塞度。該狀況判定裝置判定人的移動狀況和/或擁塞度。一種擁塞推定裝置，包括移動信息生成單元，用于由圖像生成單元的圖像序列算出移動信息；紋理信息生成單元，用于生成圖像紋理信息；和基準移動信息生成單元，用于保持/更新作為基準的基準移動信息。該擁塞推定裝置依據(jù)基于移動和紋理的有無而做出的相似度判定來判定各個區(qū)域的各種狀況、推定擁塞度并提供關(guān)于擁塞狀況的指標和狀況是否異常的信息。
文檔編號H04N7/18GK101681555SQ20088001831
公開日2010年3月24日 申請日期2008年10月20日 優(yōu)先權(quán)日2007年10月26日
發(fā)明者橫光澄男, 荒木昭一, 近藤堅司 申請人:松下電器產(chǎn)業(yè)株式會社