專利名稱：用計(jì)算機(jī)對(duì)運(yùn)動(dòng)目標(biāo)的場景圖像建立語義場景模型的方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種用于對(duì)視頻監(jiān)控中的事件進(jìn)行分析的語 義場景模型學(xué)習(xí)方法。
背景技術(shù)：
隨著城市的發(fā)展和攝像頭的普及，基于視頻分析的智能交通管理系統(tǒng)越來越受到 重視。這種智能交通管理系統(tǒng)能夠通過對(duì)視頻數(shù)據(jù)處理分析，得到交通場景的運(yùn)動(dòng)模式，從 而對(duì)一些違反交通規(guī)則等異常事件進(jìn)行自動(dòng)報(bào)警，避免大量人工處理。然而由于交通場景 中運(yùn)動(dòng)目標(biāo)種類較多和運(yùn)動(dòng)模式的復(fù)雜，自動(dòng)的學(xué)習(xí)一個(gè)魯棒的語義場景模型仍然是一個(gè) 很有挑戰(zhàn)的問題。傳統(tǒng)的語義場景模型的學(xué)習(xí)方法都是基于軌跡分析。一種是用目標(biāo)分類的方法進(jìn) 行軌跡分析；這種方法利用場景上下文信息，如目標(biāo)的位置，目標(biāo)的面積大小，目標(biāo)的運(yùn)動(dòng) 速度等，但是，在視頻監(jiān)控的場景中，由于低分辨率，陰影，遮擋，不同視角等的影響，僅僅用 這些信息得到的目標(biāo)分類效果仍然不好。另外一種是用軌跡聚類的方法；這種方法可以總 結(jié)為兩類，一類是基于空間距離的方法，另外一種是基于空間分布的方法?；诳臻g距離的 方法僅僅考慮了軌跡間的相似度，這種方法有以下缺點(diǎn)對(duì)異常事件缺少概率解釋，需要知 道聚類個(gè)數(shù)，計(jì)算量大和這些相似度可能并不能反應(yīng)真實(shí)的度量。為解決這些問題，提出了 基于空間分布的方法，但是存在的方法沒有考慮軌跡的完整性。

發(fā)明內(nèi)容
為了解決公開技術(shù)方案存在的目標(biāo)跟蹤存在的誤差、計(jì)算量大、相似度并不能反 應(yīng)真實(shí)的度量等技術(shù)問題，本發(fā)明的目的是能夠避免目標(biāo)跟蹤帶來的誤差、計(jì)算速度快、能 提高視頻監(jiān)控系統(tǒng)在交通場景中管理的智能性的語義場景模型學(xué)習(xí)方法，為此本發(fā)明提供 一種基于目標(biāo)分類和軌跡聚類的語義場景模型學(xué)習(xí)方法。為達(dá)成所述目的，本發(fā)明提供的用計(jì)算機(jī)對(duì)運(yùn)動(dòng)目標(biāo)的場景圖像建立語義場景模 型的方法，該方法包括以下步驟步驟Sl 利用圖像處理設(shè)備輸入的視頻數(shù)據(jù)，得到待處理的運(yùn)動(dòng)目標(biāo)圖像數(shù)據(jù)， 對(duì)目標(biāo)進(jìn)行檢測和跟蹤；步驟S2 基于協(xié)同訓(xùn)練方法學(xué)習(xí)行人和車的分類器，減少訓(xùn)練標(biāo)注樣本和充分利 用目標(biāo)的多種特征；根據(jù)學(xué)習(xí)得到的分類器，將目標(biāo)分為行人和車輛；步驟S3 對(duì)于每類目標(biāo)的軌跡進(jìn)行軌跡聚類，得到目標(biāo)的軌跡聚類結(jié)果；步驟S4:根據(jù)目標(biāo)的軌跡聚類，得到每種軌跡的分布區(qū)域，并且利用均值漂移算 法得到每種軌跡分布區(qū)域的主要軌跡和軌跡的入點(diǎn)和出點(diǎn)，從而得到有一定語義的區(qū)域和 實(shí)現(xiàn)應(yīng)用。其中，所述目標(biāo)的多種特征是場景上下文信息和目標(biāo)的表象信息。其中，所述場景上下文信息為目標(biāo)的大小，面積，長寬比。
其中，所述目標(biāo)的表象信息為局部二值模型特征。其中，根據(jù)分類器的分類結(jié)果，將目標(biāo)分為行人和車輛。其中，所述的分類器是利用基于線性判別分析的分類器和基于提升算法的分類器 的協(xié)同學(xué)習(xí)得到最終的分類器；該分類器利用輸入的樣本Xt，分別用線性判別分析的分類 器和提升算法的分類器給標(biāo)簽yt，λ ；然后，基于這些標(biāo)注的訓(xùn)練樣本更新分類器。其中，所述軌跡聚類的步驟是步驟S31 利用二次曲線參數(shù)化描述軌跡的完整性，基于軌跡的完整性特征，利用 高斯混合模型學(xué)習(xí)每類目標(biāo)的所有運(yùn)動(dòng)模式；步驟S32 通過采取在線更新的方式，根據(jù)高斯的權(quán)重濾除掉異常的軌跡，并且學(xué) 習(xí)得到交通場景中的運(yùn)動(dòng)模式；步驟S33 利用圖切割算法，對(duì)學(xué)習(xí)得到的運(yùn)動(dòng)模式進(jìn)行聚類。其中，所述的協(xié)同學(xué)習(xí)(Co-training)算法能利用特征1的分類器和特征2的分類器對(duì)樣本\進(jìn)行自動(dòng)標(biāo)注類標(biāo)yt，，從而減少人工標(biāo)注樣本的數(shù)量，并且能利用多種特 征的性能提升分類器的分類性能。本發(fā)明的有益效果本發(fā)明通過學(xué)習(xí)一個(gè)魯棒的語義場景模型來進(jìn)行視頻監(jiān)控系 統(tǒng)中的事件分析。在智能監(jiān)控系統(tǒng)中，事件分析是一個(gè)基本的任務(wù)，由于運(yùn)動(dòng)目標(biāo)有不同的 類別和不同的運(yùn)動(dòng)模式，因此，通過學(xué)習(xí)一個(gè)有效的語義場景模型對(duì)事件進(jìn)行分析仍然是 一個(gè)很困難的問題?；谶@些困難，本發(fā)明為事件分析提出了一個(gè)新穎的基于語義場景模 型學(xué)習(xí)的框架。在這個(gè)框架里，檢測得到的運(yùn)動(dòng)目標(biāo)首先通過協(xié)同訓(xùn)練的分類器分為行人 和車輛；這種分類器考慮了目標(biāo)的多種特征，并且訓(xùn)練時(shí)需要的標(biāo)簽樣本數(shù)量較少?；谶@ 個(gè)分類結(jié)果，本發(fā)明能夠自動(dòng)的分別學(xué)習(xí)行人和車輛的運(yùn)動(dòng)模式。為了有效的學(xué)習(xí)和聚類 這些運(yùn)動(dòng)模式，本發(fā)明提出了基于圖的方法。首先，目標(biāo)的軌跡被參數(shù)化，監(jiān)控場景的圖片 被分為多個(gè)方塊，每個(gè)方塊被認(rèn)為是圖的一個(gè)節(jié)點(diǎn)。基于軌跡的這些參數(shù)，高斯混合模型被 采用來學(xué)習(xí)每個(gè)方塊的運(yùn)動(dòng)模式。最后，通過圖切割算法，這些相同的運(yùn)動(dòng)模式被聚類，從 而，相同的軌跡被聚類然后得到語義場景模型。在交通場景中，實(shí)驗(yàn)結(jié)果表明本發(fā)明提出的 方法是有效的。基于協(xié)同訓(xùn)練學(xué)習(xí)分類器，能利用運(yùn)動(dòng)目標(biāo)的多種特征，能減少標(biāo)簽樣本的 數(shù)量，從而減少了大量的人力獲取訓(xùn)練樣本?；趨f(xié)同訓(xùn)練方法學(xué)習(xí)行人和車的分類器，其特點(diǎn)之一在于能利用目標(biāo)的多種特 征。其特點(diǎn)之二在于能減少標(biāo)簽樣本的數(shù)量，從而減少了大量的人力獲取訓(xùn)練樣本。利用二次曲線參數(shù)化描述的軌跡特征，這種軌跡特征描述了軌跡的完整性，在一 定程度上能夠避免目標(biāo)跟蹤帶來的誤差；高斯混合模型能有效的描述多種運(yùn)動(dòng)模式，通 過在線的更新方式并根據(jù)高斯混合模型的權(quán)重濾除掉異常的軌跡，另外每個(gè)高斯的權(quán)重 可以看著是每種運(yùn)動(dòng)模式的重要性度量，并且計(jì)算速度快。圖切割方法與基本聚類算法 (K-means)相比能夠利用運(yùn)動(dòng)模式的領(lǐng)域信息，從而得到更好的聚類結(jié)果?；趯W(xué)習(xí)得到的語義場景模型，可以用于交通場景中異常違規(guī)事件檢測和混疊目 標(biāo)分割，從而能提高視頻監(jiān)控系統(tǒng)在交通場景中管理的智能性。


圖IA是本發(fā)明的語義場景模型學(xué)習(xí)框圖
圖IB是本發(fā)明圖IA中的分類器的流程圖；圖IC是本發(fā)明圖IA中的軌跡聚類的流程圖；圖2是協(xié)同學(xué)習(xí)(Co-training)算法框圖；圖3a、圖北是圖切割算法原理；圖4是場景Sl中運(yùn)動(dòng)模式聚類結(jié)果；圖5是場景S2中運(yùn)動(dòng)模式聚類結(jié)果；圖6是在場景S2中，方法I、II、III的軌跡聚類結(jié)果；圖7是場景Sl中語義模型學(xué)習(xí)結(jié)果；圖8是場景S2中語義模型學(xué)習(xí)結(jié)果；圖9a至圖9f是基于學(xué)習(xí)得到的語義場景模型；
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照 附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。專利通過學(xué)習(xí)一個(gè)魯棒的語義場景模型來進(jìn)行視頻監(jiān)控系統(tǒng)中的事件分析。在智 能監(jiān)控系統(tǒng)中，事件分析是一個(gè)基本的任務(wù)，并且變成一個(gè)熱點(diǎn)研究領(lǐng)域。但是，運(yùn)動(dòng)目標(biāo) 由于有不同的類別和不同的運(yùn)動(dòng)模式，因此，通過學(xué)習(xí)一個(gè)有效的語義場景模型來進(jìn)行事 件分析仍然是一個(gè)很困難的問題?；谶@些困難，我們?yōu)槭录治鎏岢隽艘粋€(gè)新穎的基于 語義場景模型學(xué)習(xí)的框架。在這個(gè)框架里，檢測得到的運(yùn)動(dòng)目標(biāo)首先通過協(xié)同訓(xùn)練的分類 器分為行人和車輛；這種分類器考慮了目標(biāo)的多種特征，并且訓(xùn)練時(shí)需要的標(biāo)簽樣本數(shù)量 較少?；谶@個(gè)分類結(jié)果，我們的系統(tǒng)能夠自動(dòng)的分別學(xué)習(xí)行人和車輛的運(yùn)動(dòng)模式。為了 有效的學(xué)習(xí)和聚類這些運(yùn)動(dòng)模式，我們提出了基于圖的方法。首先，目標(biāo)的軌跡被參數(shù)化， 監(jiān)控場景的圖片被分為多個(gè)方塊，每個(gè)方塊被認(rèn)為是圖的一個(gè)節(jié)點(diǎn)。基于軌跡的這些參數(shù)， 高斯混合模型被采用來學(xué)習(xí)每個(gè)方塊的運(yùn)動(dòng)模式。最后，通過圖切割算法，這些相同的運(yùn)動(dòng) 模式被聚類，從而，相同的軌跡被聚類然后得到語義場景模型。在交通場景中，實(shí)驗(yàn)結(jié)果表 明我們提出的算法是有效的。技術(shù)方案包括(1)基于協(xié)同訓(xùn)練方法學(xué)習(xí)分類器；( 軌跡聚類；C3)語義場景 模型的學(xué)習(xí)和應(yīng)用。利用圖像處理設(shè)備檢測輸入的視頻數(shù)據(jù)，得到待處理的運(yùn)動(dòng)目標(biāo)圖像 數(shù)據(jù)；然后基于協(xié)同訓(xùn)練方法學(xué)習(xí)行人和車的分類器，其特點(diǎn)之一在于能利用目標(biāo)的多種 特征，如場景上下文信息和目標(biāo)的表象信息。其中場景上下文信息為目標(biāo)的大小，面積，長 寬比等，目標(biāo)的表象信息為局部二值模型特征。其特點(diǎn)之二在于能減少標(biāo)簽樣本的數(shù)量，從 而減少了大量的人力獲取訓(xùn)練樣本。根據(jù)分類器的分類結(jié)果，可以將目標(biāo)分為行人和車輛。 然后對(duì)于每類目標(biāo)的軌跡進(jìn)行軌跡聚類。軌跡聚類主要分為三個(gè)步驟首先利用二次曲線 參數(shù)化描述軌跡的完整性，基于軌跡的完整性特征，利用高斯混合模型學(xué)習(xí)每類目標(biāo)的所 有運(yùn)動(dòng)模式；通過采取在線更新的方式，根據(jù)高斯的權(quán)重濾除掉異常的軌跡。最后利用圖切 割算法，對(duì)學(xué)習(xí)得到的運(yùn)動(dòng)模式進(jìn)行聚類。根據(jù)軌跡聚類的結(jié)果，可以得到每種軌跡的分布 區(qū)域，并且利用均值漂移算法得到每種軌跡分布區(qū)域的主要軌跡和軌跡的入點(diǎn)和出點(diǎn)，從 而得到有一定語義的區(qū)域。本發(fā)明是利用計(jì)算機(jī)實(shí)現(xiàn)了目標(biāo)分類和軌跡聚類，提出了一個(gè)魯棒的對(duì)運(yùn)動(dòng)目標(biāo)的場景圖像建立語義場景模型學(xué)習(xí)方法，從而能方便智能交通監(jiān)控系統(tǒng)的管理。本發(fā)明的 系統(tǒng)框架如圖IA示出本發(fā)明語義場景模型學(xué)習(xí)框圖，包括步驟如下步驟Sl 利用圖像處理設(shè)備輸入的視頻數(shù)據(jù)，得到待處理的運(yùn)動(dòng)目標(biāo)圖像數(shù)據(jù)， 對(duì)目標(biāo)進(jìn)行檢測和跟蹤；步驟S2 基于協(xié)同訓(xùn)練方法學(xué)習(xí)行人和車的分類器，減少訓(xùn)練標(biāo)注樣本和充分利 用目標(biāo)的多種特征；根據(jù)學(xué)習(xí)得到的分類器，將目標(biāo)分為行人和車輛；步驟S3 對(duì)于每類目標(biāo)的軌跡進(jìn)行軌跡聚類，得到目標(biāo)的軌跡聚類；步驟S4:根據(jù)目標(biāo)的軌跡聚類，得到每種軌跡的分布區(qū)域，并且利用均值漂移算 法得到每種軌跡分布區(qū)域的主要軌跡和軌跡的入點(diǎn)和出點(diǎn)，從而得到有一定語義的區(qū)域和 實(shí)現(xiàn)應(yīng)用。(一)、如圖IB示出分類器的子流程圖目標(biāo)分類部分我們利用協(xié)同訓(xùn)練的方法得到行人和車輛的分類器。圖2描述了協(xié) 同訓(xùn)練算法的思想，這種方法考慮了第t個(gè)目標(biāo)^的多種特征，對(duì)于每種特征，根據(jù)初始標(biāo) 簽樣本，訓(xùn)練一個(gè)分類器，然后每個(gè)分類器給無標(biāo)簽樣本標(biāo)簽yt，j)f，將分?jǐn)?shù)高的無標(biāo)簽樣 本加入訓(xùn)練集中，然后訓(xùn)練新的分類器。通過兩個(gè)分類器互相反復(fù)推薦的學(xué)習(xí)過程，從而可 以利用目標(biāo)的多種特征和無標(biāo)簽樣本訓(xùn)練分類器。這種訓(xùn)練方法訓(xùn)練時(shí)需要的標(biāo)簽樣本數(shù) 量較少，從而減少了大量的人力，通過反復(fù)訓(xùn)練，分類器的分類性能大大提高，超出了原有 方法的分類結(jié)果。本發(fā)明中，采用基于線性判別分析的分類器(LDA-Based Classifier)和基于提升 算法的分類器(AdaBoost Classifier)相互協(xié)同學(xué)習(xí)訓(xùn)練分類器。線性判別分析的分類器 采用場景上下文信息，如目標(biāo)的位置坐標(biāo)，目標(biāo)的大小，目標(biāo)的運(yùn)動(dòng)速度，運(yùn)動(dòng)方向，長寬 比等。然后利用線性判別分析(LDA)得到一個(gè)最優(yōu)的投影方向來分開正樣本和負(fù)樣本。線 性判別分析(LDA)個(gè)g定義為g = w' r(1)w = (S^S2)-HU1-U2)是投影方向，r是新的樣本特征，U1和U2分別是行人和車輛 的均值，Si和S2是協(xié)方差矩陣；其中
權(quán)利要求
1.用計(jì)算機(jī)對(duì)運(yùn)動(dòng)目標(biāo)的場景圖像建立語義場景模型的方法，其特征在于，該方法包 括以下步驟步驟Sl 利用圖像處理設(shè)備輸入的視頻數(shù)據(jù)，得到待處理的運(yùn)動(dòng)目標(biāo)圖像數(shù)據(jù)，對(duì)目 標(biāo)進(jìn)行目標(biāo)檢測和跟蹤；步驟S2 基于協(xié)同訓(xùn)練方法學(xué)習(xí)行人和車的分類器，減少訓(xùn)練標(biāo)注樣本和充分利用目 標(biāo)的多種特征；根據(jù)學(xué)習(xí)得到的分類器，將目標(biāo)分為行人和車輛；步驟S3 對(duì)于每類目標(biāo)的軌跡進(jìn)行軌跡聚類，得到目標(biāo)的軌跡聚類結(jié)果；步驟S4 根據(jù)目標(biāo)的軌跡聚類，得到每種軌跡的分布區(qū)域，并且利用均值漂移算法得 到每種軌跡分布區(qū)域的主要軌跡和軌跡的入點(diǎn)和出點(diǎn)，從而得到有一定語義的區(qū)域和實(shí)現(xiàn) 應(yīng)用。
2.如權(quán)利要求1所述的用計(jì)算機(jī)對(duì)運(yùn)動(dòng)目標(biāo)的場景圖像建立語義場景模型的方法，其 特征在于，所述目標(biāo)的多種特征是場景上下文信息和目標(biāo)的表象信息。
3.如權(quán)利要求2所述的用計(jì)算機(jī)對(duì)運(yùn)動(dòng)目標(biāo)的場景圖像建立語義場景模型的方法，其 特征在于，所述場景上下文信息為目標(biāo)的大小，面積，長寬比。
4.如權(quán)利要求2所述的用計(jì)算機(jī)對(duì)運(yùn)動(dòng)目標(biāo)的場景圖像建立語義場景模型的方法，其 特征在于，所述目標(biāo)的表象信息為局部二值模型特征。
5.如權(quán)利要求2所述的用計(jì)算機(jī)對(duì)運(yùn)動(dòng)目標(biāo)的場景圖像建立語義場景模型的方法，其 特征在于，根據(jù)分類器的分類結(jié)果，將目標(biāo)分為行人和車輛。
6.如權(quán)利要求1所述的用計(jì)算機(jī)對(duì)運(yùn)動(dòng)目標(biāo)的場景圖像建立語義場景模型的方法，其 特征在于，所述的分類器是利用基于線性判別分析的分類器和基于提升算法的分類器的協(xié) 同學(xué)習(xí)得到最終的分類器；該分類器利用輸入的第t個(gè)樣本Xt，分別用線性判別分析的分 類器和提升算法的分類器給標(biāo)簽yt，λ ；然后，基于這些標(biāo)注的訓(xùn)練樣本更新分類器。
7.如權(quán)利要求1所述的用計(jì)算機(jī)對(duì)運(yùn)動(dòng)目標(biāo)的場景圖像建立語義場景模型的方法，其 特征在于，所述軌跡聚類的步驟如下步驟S31 利用二次曲線參數(shù)化描述軌跡的完整性，基于軌跡的完整性特征，利用高斯 混合模型學(xué)習(xí)每類目標(biāo)的所有運(yùn)動(dòng)模式；步驟S32 通過采取在線更新的方式，根據(jù)高斯的權(quán)重濾除掉異常的軌跡，并且學(xué)習(xí)得 到交通場景中的運(yùn)動(dòng)模式；步驟S33 利用圖切割算法，對(duì)學(xué)習(xí)得到的運(yùn)動(dòng)模式進(jìn)行聚類。
8.如權(quán)利要求1所述的用計(jì)算機(jī)對(duì)運(yùn)動(dòng)目標(biāo)的場景圖像建立語義場景模型的方法，其 特征在于，所述的協(xié)同學(xué)習(xí)(Co-training)算法能利用特征1的分類器和特征2的分類器對(duì)樣本Xt進(jìn)行自動(dòng)標(biāo)注類標(biāo)yt，λ，從而減少人工標(biāo)注樣本的數(shù)量，并且能利用多種特征的性能提升分類器的分類性能。
全文摘要
本發(fā)明用計(jì)算機(jī)對(duì)運(yùn)動(dòng)目標(biāo)的場景圖像建立語義場景模型的方法，包括步驟S1利用圖像處理設(shè)備輸入的視頻數(shù)據(jù)，得到待處理的運(yùn)動(dòng)目標(biāo)圖像數(shù)據(jù)，進(jìn)行目標(biāo)檢測和跟蹤；步驟S2基于協(xié)同訓(xùn)練方法學(xué)習(xí)行人和車的分類器，減少訓(xùn)練標(biāo)注樣本和充分利用目標(biāo)的多種特征；根據(jù)學(xué)習(xí)得到的分類器，將目標(biāo)分為行人和車輛；步驟S3對(duì)于每類目標(biāo)的軌跡進(jìn)行軌跡聚類，得到目標(biāo)的軌跡聚類；步驟S4根據(jù)目標(biāo)的軌跡聚類，得到每種軌跡的分布區(qū)域，并且利用均值漂移算法得到每種軌跡分布區(qū)域的主要軌跡和軌跡的入點(diǎn)和出點(diǎn)，從而得到有一定語義的區(qū)域和實(shí)現(xiàn)應(yīng)用。
文檔編號(hào)G06K9/00GK102054176SQ201010603240
公開日2011年5月11日 申請(qǐng)日期2010年12月23日 優(yōu)先權(quán)日2010年12月23日
發(fā)明者盧漢清, 張?zhí)熘? 王金橋 申請(qǐng)人:中國科學(xué)院自動(dòng)化研究所