專利名稱：一種基于軌跡序列分析和規(guī)則歸納的視頻行為識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明屬于人工智能、計(jì)算機(jī)視覺(jué)、模式識(shí)別、機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，特別涉及視頻中行為識(shí)別方法。

背景技術(shù)：
隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，新型的高性能中央處理器為計(jì)算機(jī)提供了強(qiáng)大運(yùn)算能力，大容量?jī)?nèi)存和硬盤為計(jì)算機(jī)提供了超強(qiáng)的數(shù)據(jù)存儲(chǔ)、讀取能力。然而許多涉及人類感知活動(dòng)的方面，例如視覺(jué)功能，聽(tīng)覺(jué)功能，嗅覺(jué)功能，自然語(yǔ)言理解功能等，計(jì)算機(jī)還遠(yuǎn)遠(yuǎn)沒(méi)有接近人腦的水平。這一現(xiàn)狀無(wú)法滿足一些高級(jí)應(yīng)用的需求，例如我們希望計(jì)算機(jī)能夠進(jìn)行視覺(jué)監(jiān)控場(chǎng)景下人的行為分析，當(dāng)發(fā)生有人翻越圍欄、丟包、打架等異常行為后，可以自動(dòng)進(jìn)行報(bào)警。為滿足這些高級(jí)應(yīng)用，許多涉及人工智能的相關(guān)研究如計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)聽(tīng)覺(jué)，計(jì)算機(jī)嗅覺(jué)、自然語(yǔ)言處理等研究領(lǐng)域應(yīng)運(yùn)而生。視頻中的行為理解是當(dāng)前計(jì)算機(jī)視覺(jué)領(lǐng)域中一個(gè)很活躍的研究主題，它旨在用計(jì)算機(jī)自動(dòng)處理攝像頭捕捉到的視頻，檢測(cè)其中的感興趣運(yùn)動(dòng)目標(biāo)，跟蹤其運(yùn)動(dòng)狀態(tài)，識(shí)別其運(yùn)動(dòng)行為。其研究成果在智能視覺(jué)監(jiān)控，高級(jí)人機(jī)交互，視頻信息壓縮等領(lǐng)域有廣闊的應(yīng)用前景。
在固定攝像頭的拍攝場(chǎng)景中，運(yùn)動(dòng)物體的軌跡數(shù)據(jù)記錄了該物體從進(jìn)入攝像機(jī)視野到離開(kāi)攝像機(jī)視野的位置信息，是隱含運(yùn)動(dòng)物體語(yǔ)義行為最有用的信息之一。目前基于軌跡分析的行為理解方法主要利用軌跡聚類技術(shù)對(duì)單條軌跡的空間分布建模。所獲取的軌跡類可以被看作是運(yùn)動(dòng)物體在場(chǎng)景中經(jīng)常經(jīng)過(guò)的路徑?；谶@些自動(dòng)學(xué)習(xí)出的路徑，一些簡(jiǎn)單的單物體行為，例如“車輛1沿路徑X經(jīng)過(guò)場(chǎng)景”可以被識(shí)別出來(lái)。然而這些軌跡聚類工作沒(méi)有考慮隱含在連續(xù)軌跡序列中的上下文信息，因此很多在更大時(shí)間尺度中的更為復(fù)雜的行為無(wú)法被識(shí)別，例如在交通路口的紅綠燈規(guī)則“紅燈停綠燈行”表示為多個(gè)車輛在一個(gè)紅綠燈周期內(nèi)不同車道的相繼通行過(guò)程，因此簡(jiǎn)單的單個(gè)車輛軌跡聚類是無(wú)法獲取這樣復(fù)雜規(guī)則的。本發(fā)明通過(guò)對(duì)連續(xù)軌跡序列進(jìn)行分析，從中發(fā)現(xiàn)一些頻繁發(fā)生的運(yùn)動(dòng)模式，并使用規(guī)則歸納算法得到一系列的事件規(guī)則。
目前對(duì)于更為復(fù)雜的行為識(shí)別，概率圖模型和規(guī)則推理是兩個(gè)被廣泛使用的主要方法，概率圖模型諸如隱馬爾科夫模型(HMM)、動(dòng)態(tài)貝葉斯網(wǎng)(DBN)包括參數(shù)學(xué)習(xí)過(guò)程，可以很好的處理底層圖像處理所帶來(lái)的觀測(cè)噪聲，但隨著時(shí)間尺度的增大和事件復(fù)雜性的增加(運(yùn)動(dòng)物體的個(gè)數(shù)，隱含規(guī)則的復(fù)雜程度)，圖模型的結(jié)構(gòu)學(xué)習(xí)會(huì)非常困難。并且概率圖模型的方法是一種黑箱子式的分類方法，即首先需要人為標(biāo)定訓(xùn)練樣本，之后進(jìn)行模型參數(shù)或結(jié)構(gòu)的訓(xùn)練，其訓(xùn)練得到的結(jié)構(gòu)及參數(shù)的語(yǔ)義含義不易被人理解，導(dǎo)致一些先驗(yàn)知識(shí)不易嵌入模型之中來(lái)提高行為識(shí)別準(zhǔn)確率。與此相比，在基于規(guī)則推理的方法中，事件規(guī)則作為行為模型更易被人所理解并且可以很方便的嵌套先驗(yàn)知識(shí)，因此基于規(guī)則推理的方法是讓計(jì)算機(jī)達(dá)到行為識(shí)別目的的另一個(gè)可行選擇。目前該方法所面臨的主要問(wèn)題是事件規(guī)則無(wú)法自動(dòng)獲取，在大部分基于規(guī)則推理的工作中，事件規(guī)則是由人為指定的，領(lǐng)域?qū)＜倚枰獮橐粋€(gè)場(chǎng)景內(nèi)的所有可能的感興趣事件設(shè)定規(guī)則，人工耗費(fèi)很大。很難想象一個(gè)沒(méi)有自動(dòng)學(xué)習(xí)能力，全部依靠手工輸入事件規(guī)則的系統(tǒng)能被稱為是智能的，因此本發(fā)明的出發(fā)點(diǎn)就是利用其他領(lǐng)域，如自然語(yǔ)言處理，已有的規(guī)則歸納算法，自動(dòng)學(xué)習(xí)視頻中的事件規(guī)則，并利用這些規(guī)則對(duì)感興趣的事件進(jìn)行識(shí)別。
文法規(guī)則歸納在人工智能，自然語(yǔ)言處理研究領(lǐng)域被研究了多年，它旨在從訓(xùn)練句子中自動(dòng)歸納出一系列的能有效代表訓(xùn)練數(shù)據(jù)的文法規(guī)則。本發(fā)明采用了一個(gè)通用文法規(guī)則歸納框架產(chǎn)生事件規(guī)則(文獻(xiàn)1 P.Grunwald.“A minimum description length approach to grammarinference”Connectionist，Statistical and Symbolic Approaches toLearning for NaturalLanguage Processing，volume 1004 of LectureNotes in AI，pp 203-16 Berl inSpringer Verlag，1996)，同時(shí)為了提高規(guī)則學(xué)習(xí)的時(shí)間效率以及保障所學(xué)得到的規(guī)則有語(yǔ)義含義，頻繁約束條件和多層規(guī)則歸納策略被應(yīng)用在這個(gè)一般性框架之中。
基于所學(xué)習(xí)到的事件規(guī)則，行為識(shí)別過(guò)程可以被看作為一個(gè)文法分析過(guò)程，基于一個(gè)文法分析算法(文獻(xiàn)2 A.Stolcke，“An efficientprobabilistic context-free parsing algorithm that computes prefixprobabilities”，Computational Linguistics，v.21no.2，pp.165-201，June 1995)，我們擴(kuò)展了其原有算法以適應(yīng)視頻中行為的特殊性。


發(fā)明內(nèi)容
現(xiàn)有的基于規(guī)則的行為識(shí)別系統(tǒng)需要專家為場(chǎng)景中每個(gè)感興趣行為制定其事件規(guī)則，因此在實(shí)際應(yīng)用中大大增加了人工耗費(fèi)，就此問(wèn)題，本發(fā)明的目的是在固定攝像機(jī)條件下，對(duì)檢測(cè)得到的運(yùn)動(dòng)物體軌跡進(jìn)行分析，自動(dòng)學(xué)習(xí)其中蘊(yùn)含的事件規(guī)則，并利用這些規(guī)則進(jìn)行行為識(shí)別，為此，本發(fā)明提供一種基于軌跡序列分析和規(guī)則歸納的視頻行為識(shí)別方法。
為了實(shí)現(xiàn)所述的目的，本發(fā)明基于軌跡序列分析和規(guī)則歸納的視頻行為識(shí)別方法的技術(shù)方案如下 軌跡分割步驟S1對(duì)有底層跟蹤算法得到的軌跡根據(jù)事先定義好的語(yǔ)義區(qū)域進(jìn)行分割，用于獲得有最基本語(yǔ)義含義的軌跡段； 軌跡聚類步驟S2在每一個(gè)語(yǔ)義區(qū)域中的軌跡段進(jìn)行聚類，用于得到最基本的運(yùn)動(dòng)模式； 獲得原子事件序列步驟S3為屬于同一個(gè)基本運(yùn)動(dòng)模式的軌跡段建立隱馬爾科夫模型，作為原子事件模型；之后針對(duì)原始軌跡序列的每一軌跡段，計(jì)算其符合原子事件模型的似然概率來(lái)判別事件類別，得到原子事件序列； 規(guī)則歸納步驟S4對(duì)獲得的原子事件序列，利用一個(gè)基于最小描述長(zhǎng)度的多層規(guī)則歸算法以獲取帶有更高層語(yǔ)義含義的事件規(guī)則； 基于文法分析的行為識(shí)別步驟S5根據(jù)學(xué)習(xí)得到的事件規(guī)則，利用文法分析器識(shí)別給定原子事件序列中蘊(yùn)含的帶有更高層語(yǔ)義含義的事件類別。
根據(jù)本發(fā)明的實(shí)施例，其軌跡分割包括如下步驟 步驟S11在圖像場(chǎng)景中，設(shè)定幾個(gè)語(yǔ)義區(qū)域； 步驟S12每條軌跡被它所經(jīng)過(guò)的語(yǔ)義區(qū)域分割為若干子段，每段有一個(gè)最基本的語(yǔ)義含義，即沿某一運(yùn)動(dòng)模式經(jīng)過(guò)某一區(qū)域。
根據(jù)本發(fā)明的實(shí)施例，其軌跡聚類包括如下步驟 步驟S21所有軌跡段經(jīng)重采樣后，得到長(zhǎng)度相同的軌跡段； 步驟S22對(duì)獲得的長(zhǎng)度相同的軌跡段集合，進(jìn)行主成份分析，得到軌跡段的主分量表示； 步驟S23計(jì)算兩兩軌跡段之間的歐式距離，得到該軌跡集合的相似性矩陣； 步驟S24根據(jù)該相似性矩陣，利用一個(gè)譜聚類算法將軌跡段集合分為若干子集。
根據(jù)本發(fā)明的實(shí)施例，其獲取原子事件序列包括如下步驟 步驟S31對(duì)聚類得到的每一類軌跡段，訓(xùn)練一個(gè)隱馬爾科夫模型，作為該原子事件的檢測(cè)模型； 步驟S32對(duì)于要識(shí)別的軌跡段，計(jì)算其符合各個(gè)隱馬爾科夫模型的似然概率，選擇似然概率最大的那個(gè)模型作為其分類結(jié)果； 步驟S33提取每個(gè)原子事件的時(shí)空屬性，根據(jù)事件結(jié)束時(shí)刻升序排列形成一個(gè)原子事件序列。
根據(jù)本發(fā)明的實(shí)施例，其多層規(guī)則歸納策略，包括初始化后，循環(huán)執(zhí)行如下步驟 步驟S41對(duì)當(dāng)前事件序列中出現(xiàn)的事件類別集，根據(jù)事件類別間的時(shí)空距離，利用聚類算法得到若干事件類別組； 步驟S42在所有事件類別組中，利用基于最小描述長(zhǎng)度準(zhǔn)則的規(guī)則歸納算法，產(chǎn)生事件規(guī)則，將其加入當(dāng)前事件規(guī)則集；之后判斷若事件類別組的個(gè)數(shù)大于1，則執(zhí)行步驟S43，反之如果只有一個(gè)事件類別組，則跳出循環(huán)，返回當(dāng)前規(guī)則集作為規(guī)則歸納結(jié)果； 步驟S43利用獲取得到的事件規(guī)則對(duì)原有事件序列進(jìn)行替換。
根據(jù)本發(fā)明的實(shí)施例，所述的多層規(guī)則歸納策略，基于最小描述長(zhǎng)度的規(guī)則歸納算法，包括初始化后，循環(huán)執(zhí)行如下步驟 步驟S421根據(jù)當(dāng)前規(guī)則集和事件序列，產(chǎn)生候選規(guī)則集合。判斷若候選規(guī)則集合不為空或者循環(huán)次數(shù)沒(méi)有超過(guò)預(yù)設(shè)的閾值，則執(zhí)行步驟S422；反之，則跳出循環(huán)，返回規(guī)則集； 步驟S422根據(jù)最小描述長(zhǎng)度準(zhǔn)則，獲取可以最大限度壓縮當(dāng)前事件序列的事件規(guī)則，加入規(guī)則集； 步驟S423用當(dāng)前事件規(guī)則進(jìn)行實(shí)例替代，更新事件序列。
根據(jù)本發(fā)明的實(shí)施例，基于文法分析的行為識(shí)別包括初始化分析狀態(tài)集后，循環(huán)執(zhí)行如下步驟 步驟S51判斷將要掃描的原子事件是否超出了事件序列的總長(zhǎng)度，若沒(méi)有超出，從當(dāng)前分析狀態(tài)集中找到與這原子事件相關(guān)的狀態(tài)進(jìn)行掃描操作，生成新的狀態(tài)；反之，說(shuō)明原子事件序列的所有事件均已被處理，跳出循環(huán)，并在分析狀態(tài)集中檢查要識(shí)別的事件是否已經(jīng)存在； 步驟S52利用上一步驟中產(chǎn)生的新?tīng)顟B(tài)，在當(dāng)前分析狀態(tài)集中進(jìn)行完成操作，進(jìn)行時(shí)間關(guān)系推理； 步驟S53根據(jù)當(dāng)前狀態(tài)集，進(jìn)行預(yù)測(cè)操作，產(chǎn)生有可能和下一被掃描的原子事件相關(guān)的狀態(tài)。
本方法分為訓(xùn)練和識(shí)別兩個(gè)過(guò)程，所述訓(xùn)練過(guò)程包括 1.運(yùn)動(dòng)物體的軌跡分割； 2.軌跡段聚類； 3.用隱馬爾科夫模型(HMM)建立原子事件模型； 4.基于最小描述長(zhǎng)度(MDL)準(zhǔn)則的事件規(guī)則歸納； 所述的識(shí)別過(guò)程包括 1.對(duì)測(cè)試的軌跡序列分割； 2.軌跡段映射為原子事件； 3.所得事件串通過(guò)文法分析器識(shí)別是何種行為； 視頻中的行為理解在智能視覺(jué)監(jiān)控、高級(jí)人機(jī)交互等領(lǐng)域有廣闊的研究應(yīng)用價(jià)值?；谲壽E分析和規(guī)則歸納，本發(fā)明提供了一個(gè)完整的視頻行為理解框架首先，預(yù)處理階段將軌跡分割為若干有基本語(yǔ)義的基本軌跡段，這一步驟使沒(méi)有語(yǔ)義的軌跡信號(hào)轉(zhuǎn)化為一系列含有最基本語(yǔ)義含義的軌跡段。之后通過(guò)有效的軌跡特征提取和軌跡段聚類分析，軌跡段被分為若干基本運(yùn)動(dòng)模式，這些模式被認(rèn)為是該場(chǎng)景中的各種原子事件類別，并用隱馬爾科夫模型(HMM)對(duì)其進(jìn)行建模以識(shí)別新來(lái)的軌跡段所屬的原子事件類別。這一步驟完成了從沒(méi)有確切語(yǔ)義的軌跡段信號(hào)向基本原子事件符號(hào)的轉(zhuǎn)化。最后，用一個(gè)基于最小描述長(zhǎng)度準(zhǔn)則的規(guī)則歸納算法獲取蘊(yùn)含在軌跡序列中的事件規(guī)則，并在規(guī)則歸納過(guò)程中考慮到了視頻事件的空時(shí)屬性，采用一種多層的規(guī)則歸納策略，從而大大提高了規(guī)則學(xué)習(xí)的有效性，并對(duì)感興趣事件利用一個(gè)擴(kuò)展的文法分析器加以識(shí)別，這一步驟自動(dòng)獲取了更高層事件的組成規(guī)則，可完成底層原子事件向高層更為復(fù)雜事件的轉(zhuǎn)化。
因此本發(fā)明解決了在固定攝像機(jī)場(chǎng)景中利用計(jì)算機(jī)自動(dòng)學(xué)習(xí)頻繁發(fā)生的運(yùn)動(dòng)事件規(guī)則，并對(duì)感興趣行為進(jìn)行自動(dòng)識(shí)別的問(wèn)題。該技術(shù)可用于基于規(guī)則的智能視覺(jué)監(jiān)控、高級(jí)人機(jī)交互等具體應(yīng)用，自動(dòng)學(xué)習(xí)事件規(guī)則極大的節(jié)省了以往需要專家制定場(chǎng)景內(nèi)所有事件規(guī)則的人力耗費(fèi)，從而能用計(jì)算機(jī)協(xié)助人、甚至代替人完成事件識(shí)別的任務(wù)，在一定程度上推進(jìn)了模式識(shí)別理論在視頻信息處理中的應(yīng)用。



圖1是本發(fā)明行為識(shí)別方法的系統(tǒng)框圖； 圖2是本發(fā)明軌跡聚類及建立原子事件模型的流程圖； 圖3是本發(fā)明子事件之間時(shí)間關(guān)系的示意圖； 圖4是本發(fā)明一個(gè)事件規(guī)則實(shí)例的示意圖； 圖5是本發(fā)明中事件規(guī)則歸納的基本流程圖； 圖6是該發(fā)明中的多層規(guī)則歸納策略圖； 圖7是本發(fā)明復(fù)雜行為識(shí)別的文法分析流程圖； 圖8是本發(fā)明一個(gè)交通監(jiān)控場(chǎng)景中車輛通行狀態(tài)變換示意圖； 圖9是本發(fā)明一個(gè)交通監(jiān)控場(chǎng)景中軌跡分割的示意圖； 圖10是本發(fā)明一個(gè)交通監(jiān)控場(chǎng)景中軌跡聚類的結(jié)果示意圖； 圖11是本發(fā)明一個(gè)交通監(jiān)控場(chǎng)景中行為識(shí)別的示意圖；
具體實(shí)施例方式 下面結(jié)合附圖詳細(xì)說(shuō)明本發(fā)明技術(shù)方案所涉及的各個(gè)細(xì)節(jié)問(wèn)題。
圖1為本發(fā)明行為識(shí)別方法的系統(tǒng)框圖，包括訓(xùn)練和識(shí)別兩個(gè)部分； 識(shí)別過(guò)程包括軌跡分割單元S1、原子事件檢測(cè)器S32和文法分析器S5； 訓(xùn)練過(guò)程包括軌跡段聚類單元S2、原子事件建模單元S31和事件規(guī)則歸納單元S4； 原始軌跡數(shù)據(jù)0進(jìn)入軌跡分割單元S1生成原子軌跡段數(shù)據(jù)1，原子軌跡段數(shù)據(jù)1分別給入軌跡段聚類單元S2和原子事件檢測(cè)器S32； 原子事件檢測(cè)器S32接收原子軌跡段數(shù)據(jù)1生成原子事件序列數(shù)據(jù)4，原子事件序列數(shù)據(jù)4分別給入文法分析器S5和事件規(guī)則歸納單元S4； 文法分析器S5接收原子事件序列數(shù)據(jù)4生成事件識(shí)別結(jié)果6； 軌跡段聚類單元S2接收原子軌跡段數(shù)據(jù)1生成軌跡段類數(shù)據(jù)2； 原子事件建模單元S31接收軌跡段類數(shù)據(jù)2，并生成原子事件模型數(shù)據(jù)3給入原子事件檢測(cè)器S32； 事件規(guī)則歸納單元S4接收原子事件序列數(shù)據(jù)4生成事件規(guī)則數(shù)據(jù)5，事件規(guī)則數(shù)據(jù)5也給輸入文法分析器S5以分析輸入原子事件序列是否含有要識(shí)別的事件。
軌跡獲取與軌跡分割 我們利用一個(gè)視頻跟蹤算法(文獻(xiàn)[3]Tao Yang，Stan Z.Li，QuanPan and Jing Li，“Real Time Multiple Objects Tracking withOcclusion Handling in Dynamic Scenes”，In Proc.Conf.CVPR vol.1，pp.970-975，2005)獲取運(yùn)動(dòng)物體的原始軌跡并保存其在數(shù)據(jù)庫(kù)中。根據(jù)軌跡表示，最基本的原子事件所能表示的語(yǔ)義含義是“物體從何處來(lái)到何處去”。因此我們?nèi)藶樵O(shè)定幾個(gè)語(yǔ)義區(qū)域。每條軌跡被它所經(jīng)過(guò)的語(yǔ)義區(qū)域分割為若干子段，每段有一個(gè)最基本的語(yǔ)義含義，即“運(yùn)動(dòng)物體在區(qū)域a中沿路徑x從邊界1到邊界2”。以上的軌跡分割過(guò)程將沒(méi)有語(yǔ)義的軌跡信號(hào)轉(zhuǎn)化為一系列含有最基本語(yǔ)義含義的軌跡段。
軌跡段聚類與原子事件建模 軌跡分割后，每一語(yǔ)義區(qū)域內(nèi)的每一軌跡段都可以映射為一個(gè)原子事件，原子事件類別由該區(qū)域內(nèi)軌跡段聚類確定。軌跡段聚類與原子事件建模的流程圖如附圖2所示，在本發(fā)明中一種基于相似性度量的聚類算法被采用。軌跡段之間的距離由PCA+Euclidean距離計(jì)算，其計(jì)算過(guò)程如下首先把原始軌跡集合DO中長(zhǎng)度不一的軌跡段重采樣為相同長(zhǎng)度的軌跡段，得到軌跡集合D1。軌跡長(zhǎng)度可為該軌跡集中所有軌跡長(zhǎng)度的平均值。之后把軌跡段的y軸坐標(biāo)接在x軸坐標(biāo)之后，如此每條軌跡段被表示為一個(gè)長(zhǎng)度為2*n(n為軌跡長(zhǎng)度)的向量，接著利用主成分分析(PCA)，一條軌跡被前N個(gè)(N＜n)最有效的主特征分量D2表示。之后計(jì)算兩兩軌跡段間的歐式距離，建立一個(gè)距離矩陣即相似性矩陣D3?；谠摼嚯x矩陣，利用譜聚類算法(文獻(xiàn)4 M.Maila，J.Shi，“A Random Walks Viewof Spectral Segmentation”AI and STATISTICS(AISTATS’01)，2001)得到若干軌跡段類C1、C2......Cn，此軌跡段的類經(jīng)隱馬模型的訓(xùn)練，得到n個(gè)原子事件模型M1、M2.......Mn。
場(chǎng)景中這些語(yǔ)義含義單一的運(yùn)動(dòng)模式被認(rèn)為是該場(chǎng)景中最基本的原子事件，針對(duì)每一軌跡段類，我們訓(xùn)練一個(gè)隱馬爾科夫模型(HMM)。對(duì)新來(lái)的軌跡段通過(guò)計(jì)算其符合各個(gè)事件模型的似然概率，選擇似然概率最大的那個(gè)模型作為其分類結(jié)果。
經(jīng)過(guò)軌跡聚類并建立原子事件模型，我們可以將一條軌跡段轉(zhuǎn)化為一個(gè)原子事件。然而在以后的事件規(guī)則歸納中，僅一個(gè)表明事件類別的符號(hào)還不足以提供足夠多的信息。因此我們還計(jì)算了其他的一些信息用以表征事件，在此一個(gè)事件被表示成一個(gè)5元組{e_type，id，t_range，s_range，likelihood}，其中“e_type”表示事件類別；“id”表示該事件的執(zhí)行者編號(hào)；用t位置和s位置表示該事件的時(shí)空屬性，“t_range”表示該事件在整個(gè)事件序列中的時(shí)間存在區(qū)間，即該事件發(fā)生的起始時(shí)刻和終止時(shí)刻(start_point，end_point)；“s_range”表示該事件在圖像坐標(biāo)系下所占的空間位置信息，表示為在圖像坐標(biāo)的x軸，y軸，以及運(yùn)動(dòng)方向軸上的存在區(qū)間{x_min，x_max)，(y_min，y_max)，(o_min，o_max}；“l(fā)ikelihood”表示該事件符合事件模型的似然概率。由此，經(jīng)過(guò)軌跡向原子事件的轉(zhuǎn)變后，軌跡序列被表示為一個(gè)原子事件序列，根據(jù)各個(gè)原子事件的終止時(shí)刻end_point，原子事件被由小到大的排列起來(lái)?？傊陨系能壽E段聚類與原子事件建模過(guò)程完成了從沒(méi)有確切語(yǔ)義的軌跡段信號(hào)向基本原子事件符號(hào)的轉(zhuǎn)化。
基于最小描述長(zhǎng)度準(zhǔn)則的事件規(guī)則的歸納 事件規(guī)則由兩部分組成規(guī)則結(jié)構(gòu)和規(guī)則屬性。結(jié)構(gòu)表示是基于文法產(chǎn)生式。然而為了表示子事件之間更為復(fù)雜的時(shí)序關(guān)系，一個(gè)附加的時(shí)間關(guān)系矩陣被引入。因此一個(gè)長(zhǎng)度為n的事件規(guī)則可表示為 E→s{R}[P] E表示為左側(cè)的非終結(jié)符，s為一個(gè)長(zhǎng)度為n的符號(hào)串，其中的每一個(gè)符號(hào)表示一個(gè)事件。R代表時(shí)間關(guān)系矩陣，其中的元素r[i][j]表示第i個(gè)事件與第j個(gè)事件之間的時(shí)間關(guān)系，時(shí)間關(guān)系的定義如附圖3所示，其中A，B兩個(gè)事件的發(fā)生時(shí)間段分別由黑色實(shí)線及黑色虛線表示，A與B的時(shí)間關(guān)系依圖示會(huì)有七種，分別為“b”表示“A在B之前”，“m”表示“A與B相繼”，“o”表示“A與B交疊”，“e”表示“A與B同時(shí)”，“d”表示“A在B之間”，“s”表示“A于B開(kāi)始”，“f”表示“A以B終止”；與之相反，B與A的時(shí)間關(guān)系可表示上述時(shí)間關(guān)系的逆關(guān)系。所以實(shí)際上兩個(gè)事件之間的時(shí)間關(guān)系共有十三種(“e”和它的逆是相同的)。P表示給定事件E后，該規(guī)則被選中的概率。如附圖4所示，圖上方表示了一個(gè)事件規(guī)則的表示示例，大體由兩部分組成，左側(cè)為規(guī)則的文法產(chǎn)生式，表明事件“P”由子事件“A”，“B”，“C”組成，其間的順序是依據(jù)三個(gè)事件的終止時(shí)刻由小到大排列。下方的坐標(biāo)系中的每條黑線代表了一個(gè)事件的發(fā)生，橫軸表明時(shí)間，縱軸表明事件，多條黑線就表示了事件序列。虛線框內(nèi)三個(gè)事件，由于其事件類別和時(shí)間關(guān)系符合上方規(guī)則的定義，這三個(gè)事件組合在一起就是該事件規(guī)則的一個(gè)實(shí)例。
除了規(guī)則結(jié)構(gòu)之外，兩個(gè)實(shí)數(shù)的屬性值被用于進(jìn)一步描述規(guī)則中出現(xiàn)的每一個(gè)事件

和


表示規(guī)則中每個(gè)事件實(shí)例時(shí)間長(zhǎng)度的平均值，

表示規(guī)則實(shí)例的空間屬性的平均值。
定義了事件規(guī)則之后，一個(gè)基于最小描述長(zhǎng)度準(zhǔn)則的規(guī)則歸納算法被用于進(jìn)行規(guī)則的提取。該算法可看作是一個(gè)優(yōu)化問(wèn)題的求解過(guò)程，其思想是找到一系列的事件規(guī)則，使得這些事件規(guī)則被用于對(duì)原有事件序列進(jìn)行壓縮時(shí)的壓縮能力最強(qiáng)。該算法的基本流程如附圖5所示，該算法首先進(jìn)入初始化，設(shè)定返回的規(guī)則集合為空，之后進(jìn)入產(chǎn)生候選規(guī)則集合單元S421，在該單元中根據(jù)當(dāng)前的事件規(guī)則集和當(dāng)前被壓縮的事件序列，通過(guò)對(duì)各種事件類別的“建造”和“合并”操作得到新的候選規(guī)則集。若候選規(guī)則集不為空，則利用最小描述長(zhǎng)度評(píng)估單元S422對(duì)候選規(guī)則集中的每一個(gè)事件規(guī)則進(jìn)行評(píng)估。在此利用每一規(guī)則對(duì)當(dāng)前的事件序列進(jìn)行壓縮，壓縮程度的衡量由描述長(zhǎng)度表示，選擇壓縮能力最強(qiáng)的事件規(guī)則作為新產(chǎn)生的事件規(guī)則，其規(guī)則屬性

和

在進(jìn)行壓縮時(shí)經(jīng)過(guò)統(tǒng)計(jì)該規(guī)則在事件序列中的實(shí)例得到。之后進(jìn)入事件序列更新單元S423，完成新規(guī)則對(duì)其實(shí)例的替代，更新事件序列。之后進(jìn)入下一輪循環(huán)，尋找下一個(gè)事件規(guī)則。當(dāng)不再產(chǎn)生任何事件規(guī)則，或者循環(huán)次數(shù)超過(guò)之前給定的閾值后，停止規(guī)則歸納過(guò)程，返回所學(xué)習(xí)得到的事件規(guī)則集在此，我們可以應(yīng)用集束搜索(beam search)以避免算法收斂于局部最優(yōu)。
以上所述為事件歸納的基本算法，在此，我們利用“建造”和“合并”兩個(gè)操作子產(chǎn)生候選規(guī)則。
“建造”操作可表示如下對(duì)兩個(gè)事件類別“A”和“B”，可生成新的候選規(guī)則P→AB，其中“A”與“B”之間的關(guān)系可以為八種可能的時(shí)間關(guān)系{b，m，o，s，d，f，e，i-f}(時(shí)間關(guān)系如附圖3所示，i-f關(guān)系表示f關(guān)系的逆關(guān)系)中的任何一種。
“合并”操作可表示如下對(duì)兩個(gè)事件類別“A”和“B”，可生成新的候選規(guī)則P→A|B，其中“A”與“B”之間的關(guān)系并不表示時(shí)間關(guān)系，而是邏輯關(guān)系“或”，表示A或者B的發(fā)生都表明了P發(fā)生。
然而只利用這個(gè)基本算法會(huì)產(chǎn)生太多的候選規(guī)則，從而加重以后的評(píng)估過(guò)程的工作量，并且有些沒(méi)有語(yǔ)義的但是確實(shí)可以壓縮事件序列的候選規(guī)則也有可能被選中成為新的事件規(guī)則，這些無(wú)關(guān)規(guī)則會(huì)干擾接下來(lái)的規(guī)則歸納過(guò)程。為了解決這些問(wèn)題，并考慮到視頻事件的空時(shí)屬性，一個(gè)多層的規(guī)則歸納策略被提出，其思想來(lái)自于一個(gè)啟發(fā)式的規(guī)則人總是更愿意通過(guò)“建造”或者“合并”兩個(gè)相鄰比較近的物體形成一個(gè)更一般的概念。在這里兩個(gè)視頻事件的近鄰關(guān)系由其間的時(shí)空距離決定。首先定義兩個(gè)視頻事件的時(shí)空距離如下(在此處，事件不是指某一次事件發(fā)生的實(shí)例，而是事件類別) s-t_D(A，B)＝α*s_D(A，B)+(1-α)*t_D(A，B) 這是一個(gè)空間距離s_D(A，B)和時(shí)間距離t_D(A，B)的加權(quán)和。權(quán)值α由經(jīng)驗(yàn)決定。s_D(A，B)定義如下
其中

表示事件A的所有實(shí)例的s_range屬性(見(jiàn)上面原子事件的表示)的平均值，在此s_range被表示為一個(gè)立方體，三維分別是x軸，y軸和方向軸；

是立方體cubeA的體積；

為包含

和

最小立方體；該距離取值為0到2，且尺度無(wú)關(guān)，這個(gè)性質(zhì)非常重要，因?yàn)殡S著歸納過(guò)程的進(jìn)行，事件序列中的事件的平均時(shí)間空間尺度會(huì)越來(lái)越大。
t_D(A，B)被計(jì)算為兩個(gè)事件實(shí)例之間時(shí)間距離的平均值 其中nA是事件A的實(shí)例數(shù)目， 為事件ai的存在時(shí)間間隔，

表明時(shí)間間隔的長(zhǎng)度，

為包含

和

的最小時(shí)間間隔。
基于這個(gè)時(shí)空距離，多層的事件規(guī)則歸納策略如附圖6所示的如下過(guò)程在初始化中設(shè)定規(guī)則集為空后，在單元S41中，為事件序列中頻繁發(fā)生的事件類別間兩兩計(jì)算時(shí)空距離，并利用簡(jiǎn)單的聚類算法，如層級(jí)聚類算法得到若干事件類別組，這個(gè)過(guò)程稱之為“分割”過(guò)程；之后進(jìn)入處理單元S42，在每一事件類別組中進(jìn)行基于最小描述長(zhǎng)度準(zhǔn)則的規(guī)則歸納算法，即同一個(gè)事件組中事件類別才可以被“建造(construct)”和“合并(merge)”，得到一系列的事件規(guī)則，將其加入當(dāng)前事件規(guī)則集；之后在單元S43中利用新學(xué)習(xí)到的規(guī)則對(duì)原有事件序列進(jìn)行實(shí)例替換得到新的事件序列，單元S42的操作稱之為“歸納”過(guò)程。此后在新的事件序列上，重復(fù)進(jìn)行如上操作，直到最后經(jīng)過(guò)“分割”后只有一個(gè)事件類別組，此時(shí)進(jìn)行最后一次規(guī)則歸納(單元S42)后跳出循環(huán)，返回最終的事件規(guī)則集合。以上多層的規(guī)則歸納策略利用了視頻事件的時(shí)空屬性，能保證規(guī)則歸納算法得到更多的具有明確語(yǔ)義含義的事件規(guī)則，從而提高了規(guī)則學(xué)習(xí)的有效性。
除應(yīng)用多層規(guī)則歸納策略以保證產(chǎn)生規(guī)則的快速有效以外，一個(gè)頻繁模式挖掘算法也被應(yīng)用于尋找頻繁發(fā)生的候選規(guī)則，只有那些支持度(support)超過(guò)給定閾值的候選規(guī)則才被允許進(jìn)入下一步的評(píng)估過(guò)程。每個(gè)規(guī)則的支持度(support)同時(shí)用于計(jì)算各個(gè)規(guī)則的條件概率。假定有n個(gè)規(guī)則共享同一個(gè)最左側(cè)非終結(jié)符，那么第i個(gè)規(guī)則的條件概率計(jì)算如下 用最小描述長(zhǎng)度準(zhǔn)則對(duì)一組規(guī)則候選進(jìn)行評(píng)估時(shí)，其目標(biāo)函數(shù)可由下式表示 L(G，S)＝L(S/G)+L(G) 此處L(S/G)表示利用規(guī)則集G對(duì)原有事件序列5進(jìn)行壓縮后的事件序列的編碼長(zhǎng)度，L(G)則代表對(duì)規(guī)則集G的編碼長(zhǎng)度。優(yōu)化目標(biāo)是尋找一個(gè)合適的規(guī)則集G使L(S，G)最小。因此最主要的問(wèn)題就是如何對(duì)事件序列進(jìn)行編碼以計(jì)算描述長(zhǎng)度。從上述事件規(guī)則的定義中可知一個(gè)事件規(guī)則可以表示為一個(gè)符號(hào)串附加一個(gè)時(shí)間關(guān)系矩陣，同樣的我們也可以把事件序列也表示為一個(gè)符號(hào)串附加一個(gè)時(shí)間關(guān)系矩陣，此時(shí)的符號(hào)串的長(zhǎng)度和矩陣的維數(shù)等于事件序列的長(zhǎng)度。因此對(duì)事件序列的編碼可以分為以下兩個(gè)步驟 首先對(duì)符號(hào)串進(jìn)行編碼，假定當(dāng)前的符號(hào)串為e1e2...en，其中每個(gè)符號(hào)都來(lái)自集合{E1，E2，...Ec}，并且ei＝Ek為原始事件序列中子序列sub_S經(jīng)過(guò)被當(dāng)前規(guī)則集進(jìn)行壓縮替代后的結(jié)果。因此，對(duì)這個(gè)字符串進(jìn)行編碼的碼長(zhǎng)計(jì)算如下 此處P(ei)＝P(Ek)是事件序列中事件Ek正規(guī)化后的支持度(support)；lik_ei為事件序列中第i個(gè)事件ei的似然概率。假設(shè)子串e′1e′2...e′m被規(guī)則E→E′1E′2...E′m替代為e，事件e的似然概率是在其剛剛產(chǎn)生時(shí)即被計(jì)算 此處P(E→E′1E′2...E′m)是規(guī)則的條件概率，e′j是事件E′j的實(shí)例。
對(duì)符號(hào)串進(jìn)行編碼后，下一步驟是對(duì)時(shí)間關(guān)系矩陣進(jìn)行編碼。考慮到時(shí)間關(guān)系矩陣是一個(gè)類反對(duì)稱矩陣，因此只需對(duì)上三角陣進(jìn)行編碼，其中每一個(gè)元素有8種可能的取值{before，meet，overlap，start，during，finish，equal，i-finish}。然而對(duì)于事件序列的時(shí)間關(guān)系矩陣而言，每一行元素的絕大多數(shù)取值都會(huì)為before。
因此對(duì)于矩陣第i行元素，給定其中七種時(shí)間關(guān)系的數(shù)量(除before關(guān)系)vj，j∈{1，2，...，7}后，有 種放置方式。
假設(shè)各種放置的概率相同，則為當(dāng)前第i行元素進(jìn)行編碼需要碼長(zhǎng)為 之后還需對(duì)vj和i值進(jìn)行編碼，共需要(7logui+logN)位，其中ui＝maxj{vj}，N為事件序列的長(zhǎng)度。因此對(duì)時(shí)間關(guān)系矩陣進(jìn)行編碼所需的總碼長(zhǎng)為 最終給定當(dāng)前規(guī)則集G后，我們需要L(S|G)＝Sbits+Rbits位為時(shí)間序列進(jìn)行編碼。相似的編碼策略也可以用于為每一條規(guī)則進(jìn)行編碼。最后，L(G)為每條規(guī)則碼長(zhǎng)的總和。
基于文法分析的事件識(shí)別 通過(guò)以上過(guò)程，本發(fā)明通過(guò)規(guī)則歸納自動(dòng)學(xué)習(xí)得到一個(gè)場(chǎng)景中的頻繁發(fā)生的事件規(guī)則，極大的節(jié)省了以往需要專家制定場(chǎng)景內(nèi)所有事件規(guī)則的人力耗費(fèi)，。接下來(lái)在正確學(xué)習(xí)的事件規(guī)則中，對(duì)于使用者感興趣的事件，我們利用文法分析方法自動(dòng)識(shí)別其是否發(fā)生在給定的一段視頻之中。
首先，利用跟蹤技術(shù)自動(dòng)獲取視頻中感興趣運(yùn)動(dòng)物體的軌跡，并根據(jù)語(yǔ)義區(qū)域?qū)壽E段進(jìn)行分割，利用學(xué)習(xí)過(guò)程中所學(xué)到的HMM原子事件模型，識(shí)別軌跡序列中的原子事件形成事件序列。以上過(guò)程和學(xué)習(xí)過(guò)程中軌跡信號(hào)到事件符號(hào)的轉(zhuǎn)換過(guò)程一致。
文法分析器被用來(lái)識(shí)別符號(hào)串中蘊(yùn)含的更復(fù)雜的行為。在此我們基于原有的Earley-Stolcke分析器，將時(shí)序推理模塊加入其中，從而可以識(shí)別子事件之間更為復(fù)雜的時(shí)序關(guān)系。整個(gè)文法分析流程如附圖7所示，在初始化單元1進(jìn)行初始分析狀態(tài)的設(shè)定，之后文法分析主要分為三個(gè)模塊的循環(huán)執(zhí)行掃描單元S51，完成單元S52和預(yù)測(cè)單元S53。掃描單元S51的任務(wù)是觀測(cè)當(dāng)前的原子事件，并在分析狀態(tài)集中尋找和當(dāng)前原子事件直接相關(guān)的狀態(tài)進(jìn)行掃描操作，并改變其狀態(tài)，此過(guò)程中加入了時(shí)間關(guān)系推理。之后的完成單元S52的任務(wù)是尋找和當(dāng)前原子事件間接相關(guān)的其它狀態(tài)，完成狀態(tài)和狀態(tài)間的推理，在此過(guò)程中同樣需要加入了時(shí)間關(guān)系推理。最后預(yù)測(cè)單元S53根據(jù)當(dāng)前的各個(gè)狀態(tài)，預(yù)測(cè)下一個(gè)可能會(huì)被掃描到的原子事件。此三個(gè)模塊循環(huán)執(zhí)行，直到事件序列中的所有事件均被處理。最后在分析狀態(tài)集中檢查事件是否發(fā)生，若事件被識(shí)別，可以通過(guò)在以往狀態(tài)集中的回溯以便得到該事件的構(gòu)成結(jié)構(gòu)。
實(shí)施例 以上介紹了該行為理解方法的整個(gè)學(xué)習(xí)和識(shí)別過(guò)程。下面結(jié)合一個(gè)具體實(shí)例說(shuō)明本發(fā)明的具體實(shí)施過(guò)程與效果。在附圖8所示的交通場(chǎng)景中，我們記錄了一段長(zhǎng)度為90分鐘的交通視頻，其中包括了45個(gè)紅綠燈變換周期，我們希望能通過(guò)對(duì)車輛軌跡流的自動(dòng)分析，學(xué)習(xí)得到正常軌跡流中由紅綠燈規(guī)則所控制的車輛通行變換模式。該通行模式由附圖8所示，三張圖中帶箭頭的黑色線表示了丁字路口的三種通行狀態(tài)，分別為“輔路向主路的左轉(zhuǎn)彎通行狀態(tài)”，“主路向輔路的左轉(zhuǎn)彎通行狀態(tài)”以及“主路通行狀態(tài)”，圖之間的透明的大箭頭標(biāo)明了三種狀態(tài)之間的前后承啟關(guān)系。
利用已有的底層跟蹤系統(tǒng)，視頻中的車輛軌跡被獲取得到，每條軌跡在視頻中的時(shí)間信息也被保存下來(lái)。首先選擇一部分軌跡經(jīng)過(guò)軌跡分割，一個(gè)原始軌跡的分割過(guò)程如附圖9所示，圖中黑色線代表一條軌跡，箭頭表示運(yùn)動(dòng)方向，圖中的兩條虛線代表了這個(gè)交通路口兩條人行橫道，整個(gè)路口也被分為三個(gè)語(yǔ)義區(qū)域1、2和3，之后通過(guò)軌跡段聚類，15個(gè)主要的軌跡模式被得到。一些軌跡類的示意如附圖10所示，圖中所示，綠色線表示軌跡類中所有的軌跡，紅色箭頭線表示軌跡的方向。這些基本的軌跡類均可看作是車輛沿某一車道在該場(chǎng)景中各個(gè)語(yǔ)義區(qū)域的通行行為。圖中v1代表車輛沿主路左側(cè)最內(nèi)側(cè)車道經(jīng)過(guò)區(qū)域1，v3代表車輛沿主路右側(cè)中間車道經(jīng)過(guò)區(qū)域1，v7代表車輛從輔路左轉(zhuǎn)向通過(guò)區(qū)域2，v5表示車輛從主路右側(cè)左轉(zhuǎn)向經(jīng)過(guò)區(qū)域3。和這四個(gè)軌跡類相似，其他的軌跡類都可以看做是車輛在該交通路口的基本通過(guò)模式。
之后通過(guò)對(duì)這些軌跡類訓(xùn)練HMM，分別建立原子事件模型。對(duì)所有車輛進(jìn)行原子事件檢測(cè)和異常軌跡及噪聲去除(不屬于任何主要軌跡模式的軌跡為異常軌跡)之后，得到的原子事件序列被用于學(xué)習(xí)交通事件規(guī)則，一些學(xué)習(xí)得到的規(guī)則如下附表所示
其中小寫字母v1至v15表示15個(gè)原子事件。可看出不僅單個(gè)車輛在場(chǎng)景中通行的主要模式被正確的表示，而且一些遞歸規(guī)則也學(xué)習(xí)得到，用以描述在綠燈期間連續(xù)通行的事件。例如組成事件“A”的一個(gè)規(guī)則，A-＞v11 v3，表示A事件可由v11和v3組成，其中v11和v3之間的時(shí)間關(guān)系為“m”，表示v3與v11是相繼關(guān)系當(dāng)已知A發(fā)生的條件下，這條規(guī)則被應(yīng)用的條件概率為0.482.通過(guò)查看原子事件v11和v3的語(yǔ)義含義，我們可以知道這條規(guī)則實(shí)際上代表了一輛車從主路右側(cè)中間車道通過(guò)該丁字路口的行為。規(guī)則A-＞A A則表示A還可以由多個(gè)A嵌套組成，此時(shí)A與A之間的時(shí)間關(guān)系為“b”，表明第二個(gè)A應(yīng)發(fā)生在第一個(gè)A之后。其條件概率為0.002。這條規(guī)則表示了主路右側(cè)車道車輛連續(xù)穿行的行為。以此類推，其他事件B，C，D，E分別表示了在該丁字路口各種車輛通行行為。
然而由于輔路到主路的右轉(zhuǎn)彎軌跡的頻繁出現(xiàn)使得整個(gè)場(chǎng)景的紅綠燈通行規(guī)則沒(méi)有被正確表示。而此軌跡和紅綠燈規(guī)則沒(méi)有任何關(guān)系，應(yīng)該算作噪聲，但目前的技術(shù)還無(wú)法自動(dòng)從軌跡流中將其去除。因此我們?nèi)藶榈膹氖录蛄兄袑⑵淙コ蠹t綠燈規(guī)則被正確學(xué)習(xí)表示。附圖11中“*”在前面的規(guī)則就是人為去除“輔路到主路右轉(zhuǎn)彎通行”軌跡后，通過(guò)規(guī)則學(xué)習(xí)得到的有關(guān)整個(gè)場(chǎng)景的交通規(guī)則。
事件識(shí)別的一個(gè)實(shí)例示意如附圖11所示，要識(shí)別的事件是在該丁字路口的一個(gè)交通周期內(nèi)車輛交替通過(guò)事件。此圖上面部分表明了在此周期內(nèi)主要的五種子事件在時(shí)間上的存在情況，縱軸表示各種事件，橫軸表示時(shí)間，黑色的粗線表明在這段時(shí)間內(nèi)某種事件正在發(fā)生。符號(hào)含義見(jiàn)附圖11所示?！癈”事件和規(guī)則無(wú)關(guān)，然而并不影響事件的識(shí)別。下面的圖表示文法分析器對(duì)如上圖所示輸入事件序列的分析結(jié)果，圖中的事件B和事件D分別標(biāo)明主路向輔路左轉(zhuǎn)彎，和輔路向主路左轉(zhuǎn)彎事件，“B”與“D”之間的“b”表明他們之間的時(shí)間關(guān)系為“B”在“D”之前發(fā)生，根據(jù)附圖11內(nèi)的規(guī)則，“B”“D”組合在一起成為事件“H”。而事件E與事件A分別表示“左側(cè)主路通行”和“右側(cè)主路通行”，這兩者的同時(shí)發(fā)生激發(fā)了“主路通行”事件“F”。最后，“H”與“F”最終組成了事件“I”，即在一個(gè)周期內(nèi)丁字路口的車輛正常通行。
上面描述是用于實(shí)現(xiàn)本發(fā)明的實(shí)施例，本領(lǐng)域的技術(shù)人員應(yīng)該理解，在不脫離本發(fā)明的范圍的任何修改或局部替換，均屬于本發(fā)明權(quán)利要求來(lái)限定的范圍。
權(quán)利要求
1.一種基于軌跡序列分析和規(guī)則歸納的視頻行為識(shí)別方法，其特征在于
軌跡分割步驟S1對(duì)有底層跟蹤算法得到的軌跡根據(jù)事先定義好的語(yǔ)義區(qū)域進(jìn)行分割，用于獲得有最基本語(yǔ)義含義的軌跡段；
軌跡聚類步驟S2在每一個(gè)語(yǔ)義區(qū)域中的軌跡段進(jìn)行聚類，用于得到最基本的運(yùn)動(dòng)模式；
獲得原子事件序列步驟S3為屬于同一個(gè)基本運(yùn)動(dòng)模式的軌跡段建立隱馬爾科夫模型，作為原子事件模型；之后針對(duì)原始軌跡序列的每一軌跡段，計(jì)算其符合原子事件模型的似然概率來(lái)判別事件類別，得到原子事件序列；
規(guī)則歸納步驟S4對(duì)獲得的原子事件序列，利用一個(gè)基于最小描述長(zhǎng)度的多層規(guī)則歸算法以獲取帶有更高層語(yǔ)義含義的事件規(guī)則；
基于文法分析的行為識(shí)別步驟S5根據(jù)學(xué)習(xí)得到的事件規(guī)則，利用文法分析器識(shí)別給定原子事件序列中蘊(yùn)含的帶有更高層語(yǔ)義含義的事件類別。
2.根據(jù)權(quán)利要求1所述的行為識(shí)別方法，其特征在于，其軌跡分割包括如下步驟
步驟S11在圖像場(chǎng)景中，設(shè)定幾個(gè)語(yǔ)義區(qū)域；
步驟S12每條軌跡被它所經(jīng)過(guò)的語(yǔ)義區(qū)域分割為若干子段，每段有一個(gè)最基本的語(yǔ)義含義，即沿某一運(yùn)動(dòng)模式經(jīng)過(guò)某一區(qū)域。
3.根據(jù)權(quán)利要求1所述的行為識(shí)別方法，其特征在于，其軌跡聚類包括如下步驟
步驟S21所有軌跡段經(jīng)重采樣后，得到長(zhǎng)度相同的軌跡段；
步驟S22對(duì)獲得的長(zhǎng)度相同的軌跡段集合，進(jìn)行主成份分析，得到軌跡段的主分量表示；
步驟S23計(jì)算兩兩軌跡段之間的歐式距離，得到該軌跡集合的相似性矩陣；
步驟S24根據(jù)該相似性矩陣，利用一個(gè)譜聚類算法將軌跡段集合分為若干軌跡段類。
4.根據(jù)權(quán)利要求1所述的行為識(shí)別方法，其特征在于，其獲取原子事件序列包括如下步驟
步驟S31對(duì)聚類得到的每一類軌跡段，訓(xùn)練一個(gè)隱馬爾科夫模型，作為該原子事件的檢測(cè)模型；
步驟S32對(duì)于要識(shí)別的軌跡段，計(jì)算其符合各個(gè)隱馬爾科夫模型的似然概率，選擇似然概率最大的那個(gè)模型作為其分類結(jié)果；
步驟S33提取每個(gè)原子事件的時(shí)空屬性，根據(jù)事件結(jié)束時(shí)刻升序排列形成一個(gè)原子事件序列。
5.根據(jù)權(quán)利要求1所述的行為識(shí)別方法，其特征在于，其多層規(guī)則歸納策略，包括初始化后，循環(huán)執(zhí)行如下步驟
步驟S41對(duì)當(dāng)前事件序列中出現(xiàn)的事件類別集，根據(jù)事件類別間的時(shí)空距離，利用聚類算法得到若干事件類別組；
步驟S42在所有事件類別組中，利用基于最小描述長(zhǎng)度準(zhǔn)則的規(guī)則歸納算法，產(chǎn)生事件規(guī)則，將其加入當(dāng)前事件規(guī)則集；之后判斷若事件類別組的個(gè)數(shù)大于1，則執(zhí)行步驟S43，反之如果只有一個(gè)事件類別組，則跳出循環(huán)，返回當(dāng)前規(guī)則集作為規(guī)則歸納結(jié)果；
步驟S43利用獲取得到的事件規(guī)則對(duì)原有事件序列進(jìn)行替換。
6.根據(jù)權(quán)利要求5所述的行為識(shí)別方法，其特征在于，所述的多層規(guī)則歸納策略，基于最小描述長(zhǎng)度準(zhǔn)則的規(guī)則歸納算法，包括初始化后，循環(huán)執(zhí)行如下步驟
步驟S421根據(jù)當(dāng)前規(guī)則集和事件序列，產(chǎn)生候選規(guī)則集合；判斷若候選規(guī)則集合不為空或者循環(huán)次數(shù)沒(méi)有超過(guò)預(yù)設(shè)的閾值，則執(zhí)行步驟S422；反之，則跳出循環(huán)，返回規(guī)則集；
步驟S422根據(jù)最小描述長(zhǎng)度準(zhǔn)則，獲取可以最大限度壓縮當(dāng)前事件序列的事件規(guī)則，加入規(guī)則集；
步驟S423用當(dāng)前事件規(guī)則進(jìn)行實(shí)例替代，更新事件序列。
7.根據(jù)權(quán)利要求1所述的行為識(shí)別方法，其特征在于，基于文法分析的行為識(shí)別包括初始化分析狀態(tài)集后，循環(huán)執(zhí)行如下步驟
步驟S51判斷將要掃描的原子事件是否超出了事件序列的總長(zhǎng)度，若沒(méi)有超出，從當(dāng)前分析狀態(tài)集中找到與這原子事件相關(guān)的狀態(tài)進(jìn)行掃描操作，生成新的狀態(tài)；反之，跳出循環(huán)，并在分析狀態(tài)集中檢查要識(shí)別的事件是否已經(jīng)存在；
步驟S52利用上一步驟中產(chǎn)生的新?tīng)顟B(tài)，在當(dāng)前分析狀態(tài)集中進(jìn)行完成操作，進(jìn)行時(shí)間關(guān)系推理；
步驟S53根據(jù)當(dāng)前狀態(tài)集，進(jìn)行預(yù)測(cè)操作，產(chǎn)生有可能和下一被掃描的原子事件相關(guān)的狀態(tài)。
全文摘要
本發(fā)明公開(kāi)一種基于軌跡序列分析和規(guī)則歸納的視頻行為識(shí)別方法，解決人工耗費(fèi)大的問(wèn)題，采用將場(chǎng)景中的完整軌跡分割為若干有基本語(yǔ)義的軌跡段，通過(guò)軌跡聚類得到若干基本運(yùn)動(dòng)模式為原子事件，并用隱馬爾科夫模型建模，通過(guò)基于最小描述長(zhǎng)度準(zhǔn)則的規(guī)則歸納算法，獲取蘊(yùn)含在軌跡序列中的事件規(guī)則，基于事件規(guī)則，用擴(kuò)展的文法分析器對(duì)感興趣事件加以識(shí)別。本發(fā)明提供完整的視頻行為識(shí)別框架，在規(guī)則歸納過(guò)程中考慮視頻事件的空時(shí)屬性，提出了一種多層規(guī)則歸納策略，大大提高了規(guī)則學(xué)習(xí)的有效性，推進(jìn)模式識(shí)別在視頻行為識(shí)別的應(yīng)用。本發(fā)明應(yīng)用于智能視頻監(jiān)控，自動(dòng)分析當(dāng)前監(jiān)控場(chǎng)景下汽車或行人的運(yùn)動(dòng)行為，使計(jì)算機(jī)協(xié)助人或代替人完成監(jiān)控任務(wù)。
文檔編號(hào)G06K9/62GK101334845SQ20071011799
公開(kāi)日2008年12月31日 申請(qǐng)日期2007年6月27日 優(yōu)先權(quán)日2007年6月27日
發(fā)明者譚鐵牛, 黃凱奇, 彰 張, 王亮生 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所