專利名稱：一種基于在線學(xué)習(xí)的運(yùn)動(dòng)目標(biāo)分類方法
技術(shù)領(lǐng)域：
本發(fā)明屬于模式識(shí)別領(lǐng)域，涉及圖像處理和計(jì)算機(jī)視覺等技術(shù)，特 別是涉及智能視覺監(jiān)控的運(yùn)動(dòng)目標(biāo)分類方法。
背景技術(shù)：
隨著技術(shù)的發(fā)展以及硬件設(shè)備價(jià)格的逐漸降低，大量的監(jiān)控?cái)z像頭 被安裝到各種場(chǎng)合，特別是那些對(duì)安全要求敏感的場(chǎng)合，如機(jī)場(chǎng)、社區(qū)、 銀行、停車場(chǎng)、軍事基地等。動(dòng)態(tài)場(chǎng)景的視覺監(jiān)控是近年來備受關(guān)注的 前沿研究方向，它從攝像機(jī)捕捉的圖像序列中檢測(cè)、識(shí)別、跟蹤目標(biāo)并 對(duì)其行為進(jìn)行理解。盡管目前作為人類視覺延伸的監(jiān)控?cái)z像機(jī)在商業(yè)應(yīng) 用中已經(jīng)普遍存在，但目前的監(jiān)控系統(tǒng)一般只能錄相用于事后取證，而 不能實(shí)時(shí)地分析視頻數(shù)據(jù)并實(shí)時(shí)報(bào)警。因此，開發(fā)出具有實(shí)際意義的自 動(dòng)性、智能性的視覺監(jiān)控系統(tǒng)日益變得迫切和必要。這就要求不僅能用 攝像機(jī)代替人眼，而且能用計(jì)算機(jī)協(xié)助人、代替人，以完成監(jiān)視或控制 任務(wù)。
類別是世間萬物的一個(gè)基本屬性，同一類別的事物在形狀，行為等 方面具有相似的特性，而不同類別的物體則往往具有較大的差異。對(duì)于 計(jì)算機(jī)而言，如何自動(dòng)地從監(jiān)控視頻中判斷出運(yùn)動(dòng)目標(biāo)的類別是一個(gè)很 具挑戰(zhàn)性的問題。
目前已經(jīng)有很多算法對(duì)監(jiān)控場(chǎng)景內(nèi)的運(yùn)動(dòng)目標(biāo)分類進(jìn)行了研究，但 是往往都存在著一定的缺點(diǎn)。由于不同的監(jiān)控場(chǎng)景視角差異很大， 一些 分類算法在某些特定的視角下可以取得很好的性能，卻往往在其他的視
角條件下無法適用。通過大樣本訓(xùn)練分類器的方法在一定程度上可以彌 補(bǔ)這一缺陷。然而，這類算法往往需要建立包括不同條件，不同場(chǎng)景的 大樣本數(shù)據(jù)庫(kù)，同時(shí)需要對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行手工標(biāo)記，從而帶來了 巨大的工作量和諸多不便。

發(fā)明內(nèi)容
現(xiàn)有技術(shù)在進(jìn)行運(yùn)動(dòng)目標(biāo)分類問題上往往有需要手動(dòng)建立大數(shù)據(jù) 庫(kù)，對(duì)這些數(shù)據(jù)進(jìn)行離線訓(xùn)練，單數(shù)據(jù)庫(kù)樣本受視角，環(huán)境等因素的影 響比較大的問題，本發(fā)明的目的是能夠有效、便捷、自動(dòng)地判斷運(yùn)動(dòng)目 標(biāo)的類別，為此，提供一種基于在線學(xué)習(xí)的運(yùn)動(dòng)目標(biāo)分類方法。
為了實(shí)現(xiàn)所述的目的，本發(fā)明提供一種基于在線學(xué)習(xí)的運(yùn)動(dòng)目標(biāo)分 類方法，可以避免大樣本數(shù)據(jù)庫(kù)的離線訓(xùn)練，實(shí)時(shí)有效地判斷出運(yùn)動(dòng)目 標(biāo)的類別，基于視頻通過在線學(xué)習(xí)訓(xùn)練分類器，包括如下步驟
步驟S1:對(duì)讀入的一段時(shí)間的圖像序列，進(jìn)行背景建模和運(yùn)動(dòng)目標(biāo) 檢測(cè)；
步驟S2:檢測(cè)運(yùn)動(dòng)目標(biāo)所在場(chǎng)景是否變化，如果運(yùn)動(dòng)目標(biāo)所在場(chǎng)景 發(fā)生變化，執(zhí)行步驟S3;如果運(yùn)動(dòng)目標(biāo)所在場(chǎng)景沒有發(fā)生變化，執(zhí)行步 驟S7;
步驟S3:根據(jù)運(yùn)動(dòng)目標(biāo)所在場(chǎng)景覆蓋視角大小，將整個(gè)運(yùn)動(dòng)目標(biāo)所
在場(chǎng)景分割成若干個(gè)子區(qū)域；
步驟S4:對(duì)每個(gè)子區(qū)域中的運(yùn)動(dòng)目標(biāo)區(qū)域提取特征向量； 步驟S5:通過對(duì)特征向量的聚類算法對(duì)每個(gè)運(yùn)動(dòng)目標(biāo)區(qū)域的類別進(jìn)
行粗略標(biāo)注；
步驟S6:每個(gè)子區(qū)域的運(yùn)動(dòng)目標(biāo)個(gè)數(shù)達(dá)到某個(gè)閾值時(shí)，根據(jù)已經(jīng)經(jīng) 過該子區(qū)域的所有運(yùn)動(dòng)目標(biāo)區(qū)域的特征向量，初始化高斯分布和先驗(yàn)概 率，完成該子區(qū)域?qū)?yīng)分類器初始化；
步驟S7:對(duì)經(jīng)過該子區(qū)域的運(yùn)動(dòng)目標(biāo)進(jìn)行分類，并在在線分類基礎(chǔ) 上不斷迭代優(yōu)化分類器參數(shù)；
步驟S8:將運(yùn)動(dòng)目標(biāo)跟蹤過程中的分類結(jié)果融合，輸出在線學(xué)習(xí)的 運(yùn)動(dòng)目標(biāo)分類結(jié)果。
根據(jù)本發(fā)明的實(shí)施例，所述檢測(cè)步驟包括如下對(duì)圖像序列背景建 模獲取相對(duì)于光照變化魯棒的背景模型與前一時(shí)刻獲得的背景模型進(jìn) 行比較來判斷是否發(fā)生場(chǎng)景變化。
根據(jù)本發(fā)明的實(shí)施例，所述背景建模是提取運(yùn)動(dòng)目標(biāo)圖像序列的每 一幀的反射分量，對(duì)反射分量進(jìn)行混合高斯背景建模來去除光照產(chǎn)生陰 影對(duì)運(yùn)動(dòng)目標(biāo)形狀的影響和去除光照劇烈變化對(duì)運(yùn)動(dòng)目標(biāo)區(qū)域形狀的 影響。
根據(jù)本發(fā)明的實(shí)施例，所述通過求取圖像序列當(dāng)前幀獲得的背景模 型和以前獲得背景模型的差異值來判斷場(chǎng)景是否發(fā)生變化。
根據(jù)本發(fā)明的實(shí)施例，所述特征向量提取包括提取每一個(gè)運(yùn)動(dòng)目 標(biāo)區(qū)域的速度、面積、緊密度，即緊密度指面積和運(yùn)動(dòng)目標(biāo)區(qū)域輪廓周 長(zhǎng)平方的比值，面積隨時(shí)間的導(dǎo)數(shù)，速度方向與運(yùn)動(dòng)目標(biāo)區(qū)域輪廓主軸 方向的夾角特征；在聚類階段使用緊密度、面積隨時(shí)間的導(dǎo)數(shù)、速度 方向與運(yùn)動(dòng)目標(biāo)區(qū)域輪廓主軸方向夾角這三個(gè)特征；在初始和迭代優(yōu)化 分類器階段使用速度、面積、緊密度這三個(gè)特征。
根據(jù)本發(fā)明的實(shí)施例，根據(jù)運(yùn)動(dòng)目標(biāo)所在場(chǎng)景中運(yùn)動(dòng)目標(biāo)區(qū)域的平 均面積大小和整個(gè)場(chǎng)景面積大小的比值，對(duì)所述運(yùn)動(dòng)目標(biāo)所在場(chǎng)景進(jìn)行 分割，使分類在每個(gè)子區(qū)域中獨(dú)立操作，用于彌補(bǔ)大場(chǎng)景廣視角投影變 形。
根據(jù)本發(fā)明的實(shí)施例，所述標(biāo)注使用K均值聚類和規(guī)則融合對(duì)運(yùn)動(dòng) 目標(biāo)區(qū)域的類別進(jìn)行自動(dòng)標(biāo)注。
根據(jù)本發(fā)明的實(shí)施例，根據(jù)所述每個(gè)子區(qū)域內(nèi)運(yùn)動(dòng)區(qū)域內(nèi)的自動(dòng)標(biāo) 注值，假設(shè)高斯分布，估計(jì)每個(gè)類別對(duì)應(yīng)的高斯分布的參數(shù)；根據(jù)所述
子區(qū)域內(nèi)經(jīng)過的被標(biāo)注為同一類別的運(yùn)動(dòng)目標(biāo)個(gè)數(shù)和經(jīng)過該子區(qū)域的 所有運(yùn)動(dòng)目標(biāo)個(gè)數(shù)的比值，求取每一類別的先驗(yàn)概率。
根據(jù)本發(fā)明的實(shí)施例，所述分類分兩種情況，如果通過子區(qū)域的運(yùn) 動(dòng)目標(biāo)個(gè)數(shù)達(dá)到閾值，已初始化高斯分布和先驗(yàn)概率，則利用貝葉斯準(zhǔn) 則對(duì)運(yùn)動(dòng)目標(biāo)區(qū)域進(jìn)行精細(xì)分類，如果沒有達(dá)到閾值，則比較該區(qū)域的 特征到三個(gè)聚類中心的距離，將其分類為最近的那個(gè)類別。
根據(jù)本發(fā)明的實(shí)施例，所述分類是用新分類的運(yùn)動(dòng)目標(biāo)區(qū)域?qū)υ瓉?的高斯分布和先驗(yàn)概率進(jìn)行更新。
根據(jù)本發(fā)明的實(shí)施例，所述運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤，通過對(duì)不同幀，同 一運(yùn)動(dòng)目標(biāo)的分類結(jié)果進(jìn)行融合，用于準(zhǔn)確分類。
本發(fā)明的方法不需要進(jìn)行數(shù)據(jù)庫(kù)的采集標(biāo)注，通過在線學(xué)習(xí)的方法 實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的自動(dòng)分類。本發(fā)明的方法對(duì)光照魯棒，算法高效，實(shí)時(shí)。 解決了現(xiàn)有技術(shù)運(yùn)動(dòng)目標(biāo)分類需要手工建立大數(shù)據(jù)庫(kù)，對(duì)數(shù)據(jù)離線訓(xùn) 練，單數(shù)據(jù)庫(kù)樣本受視角，環(huán)境等因素影響的問題，本發(fā)明能夠有效、 便捷、自動(dòng)地判斷運(yùn)動(dòng)目標(biāo)的類別，本發(fā)明對(duì)運(yùn)動(dòng)目標(biāo)的分類可以應(yīng)用 在如下方面
(1) 用于智能監(jiān)控系統(tǒng)中的異常行為檢測(cè)，幫助監(jiān)控系統(tǒng)判斷運(yùn) 動(dòng)目標(biāo)的類別，通過制定相應(yīng)類別的規(guī)則，檢測(cè)異常行為。
(2) 用于計(jì)算機(jī)視覺領(lǐng)域的物體識(shí)別，首先對(duì)目標(biāo)進(jìn)行粗分類， 縮小搜索空間，提高識(shí)別效率和準(zhǔn)確率。
(3) 用于智能監(jiān)控系統(tǒng)中的語義化理解，提供其語義化中的主體 類別，幫助系統(tǒng)理解場(chǎng)景中發(fā)生的事件。


圖l示出本發(fā)明基于在線學(xué)習(xí)方法的運(yùn)動(dòng)目標(biāo)分類的流程框圖。
圖2a示出本發(fā)明運(yùn)動(dòng)視頻中的一幀實(shí)例示意圖。
圖2b示出本發(fā)明背景建模方法實(shí)例獲得背景圖。
圖2c示出本發(fā)明前景檢測(cè)實(shí)例獲得的運(yùn)動(dòng)區(qū)域。 圖3a、圖3b示出本發(fā)明在線分類的結(jié)果實(shí)例示意圖。
具體實(shí)施例方式
下面結(jié)合附圖詳細(xì)說明本發(fā)明技術(shù)方案中所涉及的各個(gè)細(xì)節(jié)問題。 應(yīng)指出的是，所描述的實(shí)施例僅旨在便于對(duì)本發(fā)明的理解，而對(duì)其不起 任何限定作用。
基于在線學(xué)習(xí)的運(yùn)動(dòng)目標(biāo)分類方法對(duì)于提高監(jiān)控系統(tǒng)對(duì)監(jiān)控場(chǎng)景 的理解能力，提高物體識(shí)別的識(shí)別性能具有重要意義。利用在線學(xué)習(xí)方 法，本發(fā)明實(shí)現(xiàn)了一個(gè)交通場(chǎng)景下的運(yùn)動(dòng)目標(biāo)自動(dòng)分類系統(tǒng)，將場(chǎng)景中 的運(yùn)動(dòng)目標(biāo)分類為人，車，自行車。如圖1示出基于在線學(xué)習(xí)方法的目 標(biāo)分類方法的流程框圖。
本發(fā)明的方法需要的硬件最低配置為P4 3.0GCPU， 512M內(nèi)存的 計(jì)算機(jī)；最低分辨率為320x240的監(jiān)控?cái)z像頭；幀率為25幀每秒的視 頻采集卡。在此配置水平的硬件上，采用0++語言編程實(shí)現(xiàn)本方法，可 以達(dá)到實(shí)時(shí)識(shí)別的效果。
下面對(duì)本發(fā)明的方法涉及的關(guān)鍵步驟進(jìn)行逐一詳細(xì)說明，具體形式 如下所述
首先，是場(chǎng)景建模和運(yùn)動(dòng)目標(biāo)的提取
要對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行自動(dòng)分類，第一步就需要將運(yùn)動(dòng)目標(biāo)從背景中分 離出來，這是很關(guān)鍵的一步。這里由于運(yùn)動(dòng)目標(biāo)的分類往往是用于室外 場(chǎng)景，所以需要其檢測(cè)算法對(duì)光照的劇烈變化魯棒，同時(shí)能夠有效地去 除陰影。這里本發(fā)明改進(jìn)了傳統(tǒng)的混合高斯建模方法，對(duì)運(yùn)動(dòng)目標(biāo)的所 在的每個(gè)象素值首先進(jìn)行同態(tài)濾波，背景建模是提取出運(yùn)動(dòng)目標(biāo)圖像序 列的每一幀的反射分量，并對(duì)反射分量進(jìn)行混合高斯背景建模。通過這
樣的改進(jìn)，可以去除光照產(chǎn)生陰影區(qū)域?qū)\(yùn)動(dòng)目標(biāo)形狀的影響和去除光 照劇烈變化對(duì)運(yùn)動(dòng)目標(biāo)區(qū)域形狀的影響，獲得準(zhǔn)確的前景目標(biāo)。
通過混合高斯模型方法得到的前景圖像中，往往有一些噪聲點(diǎn)以及 一些空洞。使用形態(tài)學(xué)操作來過濾噪聲點(diǎn)，通過一次腐蝕操作和一次膨
脹操作，可以消除噪聲點(diǎn)和小的空洞。如附圖2a示出本發(fā)明運(yùn)動(dòng)視頻中 的一幀場(chǎng)景圖像實(shí)例示意圖，如圖2b示出本發(fā)明背景建模方法實(shí)例的獲 得的背景，如圖2c示出本發(fā)明用混合高斯模型檢測(cè)的前景實(shí)例獲得的運(yùn) 動(dòng)區(qū)域。如圖2a示出為運(yùn)動(dòng)視頻中的某一幀圖像；通過對(duì)視頻序列利用
本發(fā)明方法進(jìn)行背景建模，可以求出干凈背景圖片，即沒有任何運(yùn)動(dòng)目 標(biāo)出現(xiàn)的圖片，通過對(duì)每個(gè)象素的高斯模型進(jìn)行判斷，可以求出該象素 在當(dāng)前幀中是屬于前景，還是屬于背景，屬于前景的象素點(diǎn)設(shè)其象素值
為255，屬于背景的象素點(diǎn)設(shè)其象素值為O，這樣就可以得出提取前景結(jié) 果如圖2c所示。對(duì)于當(dāng)前幀每個(gè)象素點(diǎn)提取其權(quán)重最大的那個(gè)高斯的均 值作為該象素點(diǎn)的象素值，就可以得到干凈的背景圖片如圖2b所示。 其二，是場(chǎng)景變化檢測(cè)
攝像機(jī)的運(yùn)動(dòng)，變焦，或者視頻切換往往會(huì)導(dǎo)致場(chǎng)景發(fā)生較大程度 的變化。在這種情況下，以前訓(xùn)練的分類器往往對(duì)于該場(chǎng)景就不再有效。 所以，有必要檢測(cè)這種場(chǎng)景變化，從而重置算法流程，重新進(jìn)行在線學(xué) 習(xí)。對(duì)圖像序列背景建模獲取相對(duì)于光照變化魯棒的背景模型與前一時(shí) 刻獲得的背景模型進(jìn)行比較來判斷是否發(fā)生場(chǎng)景變化。即對(duì)于每一幀利 用前述背景建模方法獲得的背景AOc,力，將其與前一幀的背景&，(x,力進(jìn)
行差分，當(dāng)兩者之間的差分結(jié)果大于某個(gè)閾值r時(shí)，認(rèn)為場(chǎng)景變化發(fā)生: J^(l5,(x,力—5卜,"力i)〉r (l)
其三，是場(chǎng)景分割
由于監(jiān)控場(chǎng)景中的攝像頭都安放在較高位置，整個(gè)場(chǎng)景覆蓋的視角 范圍比較大，從而使得運(yùn)動(dòng)目標(biāo)的速度，面積等特征發(fā)生較為顯著的投
影變形，使得這些特征不能夠有效地應(yīng)用于目標(biāo)分類。通過將整個(gè)場(chǎng)景 分割成若干子區(qū)域，我們可以對(duì)每個(gè)子區(qū)域中的運(yùn)動(dòng)目標(biāo)分別進(jìn)行分 類，并利用不同子區(qū)域之間分類結(jié)果的融合，提高分類準(zhǔn)確率。這里， 我們采用運(yùn)動(dòng)目標(biāo)的平均大小與場(chǎng)景大小之間的比值作為指標(biāo)進(jìn)行場(chǎng) 景劃分。如比值在0.05左右，可將場(chǎng)景分成2x2的子區(qū)域；比值在O.Ol 左右，可以將場(chǎng)景分成4x4的子區(qū)域。如圖3a所示的場(chǎng)景，根據(jù)比值， 需將場(chǎng)景劃分成4x4的子區(qū)域，圖片中的虛藍(lán)線將整個(gè)場(chǎng)景劃分成16 個(gè)子區(qū)域，然后針對(duì)每個(gè)子區(qū)域求取分類器。同樣如圖3b所示場(chǎng)景， 根據(jù)比值，只需要將場(chǎng)景分成2x2的子區(qū)域。 其四，是基于K均值的運(yùn)動(dòng)目標(biāo)自動(dòng)標(biāo)記
這里我們使用特征向量中的緊密度，面積隨時(shí)間的導(dǎo)數(shù)和運(yùn)動(dòng)方向 和運(yùn)動(dòng)目標(biāo)區(qū)域輪廓主軸方向角度三個(gè)特征利用K均值算法聚成3類。 這是因?yàn)檫@三個(gè)特征相對(duì)對(duì)視角變化具有一定的魯棒性。由于人，車， 自行車對(duì)于這三個(gè)特征都有其較為直觀的意義。如，緊密度從大到小分 別為車，自行車，人；面積隨時(shí)間的導(dǎo)數(shù)從大到小分別是車，自行車， 人；運(yùn)動(dòng)方向和運(yùn)動(dòng)目標(biāo)區(qū)域輪廓主軸方向的夾角則可以較好地區(qū)分人 和車。這樣，我們利用決策級(jí)融合的方法將這三個(gè)聚類和類別對(duì)應(yīng)起來。 其融合規(guī)則如下
(1) 緊密度可以有效地將車從人和自行車中區(qū)分出來。
(2) 面積隨時(shí)間的導(dǎo)數(shù)可以有效地將人從自行車和車中區(qū)分出來。
(3) 運(yùn)動(dòng)方向與運(yùn)動(dòng)目標(biāo)區(qū)域輪廓主軸方向的夾角可以有效地將 人和車區(qū)分出來。
標(biāo)注使用對(duì)這三個(gè)特征所對(duì)應(yīng)的特征向量的K均值聚類和規(guī)則融 合對(duì)運(yùn)動(dòng)目標(biāo)區(qū)域進(jìn)行自動(dòng)標(biāo)注。根據(jù)所述運(yùn)動(dòng)區(qū)域內(nèi)的自動(dòng)標(biāo)注值， 假設(shè)高斯分布，估計(jì)高斯分布的參數(shù)；根據(jù)所述運(yùn)動(dòng)區(qū)域內(nèi)自動(dòng)標(biāo)注值 個(gè)數(shù)，求取每一類別的先驗(yàn)概率。' 其五，是分類器初始化和優(yōu)化
當(dāng)經(jīng)過子區(qū)域的樣本個(gè)數(shù)達(dá)到閾值W時(shí)，對(duì)于每個(gè)子區(qū)域中已經(jīng)聚 類出來的標(biāo)記樣本，對(duì)每一類的面積，速度和緊密度三個(gè)特征分別估計(jì) 一個(gè)高斯分布i^7(v,A,W和先驗(yàn)出現(xiàn)概率W)， / = 1,2,3為對(duì)應(yīng)的類 別，v為面積，速度和緊密度三個(gè)特征所構(gòu)成的特征向量
《=(v'、' 一 ""'x"v 一 a》'，y=L 2'3 (3)
這樣就奇以通過貝葉斯準(zhǔn)則對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行分類 尸(o7^gr 廠y = /1V) 0C《(V) ./ = 1,2,3 (4)
在利用貝葉斯準(zhǔn)則對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行分類的同時(shí)，我們利用新的個(gè)體 特征值對(duì)分類器進(jìn)行優(yōu)化，用新分類的樣本對(duì)原來的高斯分布和先驗(yàn)概
率進(jìn)行更新；對(duì)于出現(xiàn)在子區(qū)域中的新的運(yùn)動(dòng)目標(biāo)，假設(shè)其特征向量為
v,，則分類器按照如下規(guī)則進(jìn)行更新
A,, =(1 —/ )A,。w+Z (^.,) "1,2,3 (5) /"腳=(!1,2,3 (6)
《，=K。w+"H)0v-A) "I" (7) 這里的/ 和;r為更新率參數(shù)，M、,在該目標(biāo)被判斷為第;t類情況下為l， 其他情況下為0。
其六，是跟蹤過程中的分類結(jié)果優(yōu)化
對(duì)于同一個(gè)運(yùn)動(dòng)目標(biāo)隨著時(shí)間貫序進(jìn)行跟蹤，通過對(duì)同一運(yùn)動(dòng)目標(biāo) 的分類后驗(yàn)概率求和的方式進(jìn)行融合，提高分類正確率。所述運(yùn)動(dòng)目標(biāo) 進(jìn)行跟蹤，通過對(duì)不同幀，同一運(yùn)動(dòng)目標(biāo)的分類結(jié)果進(jìn)行融合，用于準(zhǔn) 確分類。這里為將跟蹤過程中每一幀所判別的相應(yīng)類別的后驗(yàn)概率值求 和，如果該時(shí)刻所對(duì)應(yīng)運(yùn)動(dòng)目標(biāo)區(qū)域的子區(qū)域已經(jīng)完成分類器初始化， 后驗(yàn)概率則通過貝葉斯準(zhǔn)則獲得，如果該時(shí)刻所對(duì)應(yīng)運(yùn)動(dòng)目標(biāo)區(qū)域的子 區(qū)域還沒有完成分類器初始化，則根據(jù)其特征到三個(gè)聚類中心的距離求
取后驗(yàn)概率，使后驗(yàn)概率與其到三個(gè)聚類中心的距離成反比，以后驗(yàn)概 率和最大的那個(gè)類別作為運(yùn)動(dòng)目標(biāo)區(qū)域的類別。
實(shí)例如下
為了詳細(xì)說明該發(fā)明的具體實(shí)施方式
，以交通場(chǎng)景下的運(yùn)動(dòng)目標(biāo)分 類為例進(jìn)行說明，將交通場(chǎng)景里的運(yùn)動(dòng)目標(biāo)分為人，車，自行車，并在 每個(gè)目標(biāo)附近位置自動(dòng)顯示其類別，這里p表示人，c表示車，b表示自行車。
由于交通場(chǎng)景中的攝像頭平時(shí)是固定不動(dòng)的，但是在特殊情況下， 需要移動(dòng)或者變焦。這樣場(chǎng)景變化檢測(cè)步驟就是用來檢測(cè)這個(gè)場(chǎng)景的變 化。在這種變化被檢測(cè)到時(shí)，即重置系統(tǒng)，進(jìn)行新一輪的在線學(xué)習(xí)。其 具體步驟如下
步驟S1:讀入一段時(shí)間的圖像序列，利用對(duì)象素值的反射分量進(jìn)行 背景建模的方法有效去除陰影，光照突然變化對(duì)運(yùn)動(dòng)目標(biāo)區(qū)域形狀的影 響。
步驟S2:利用步驟S1所述背景建模方法獲得對(duì)陰影，光照變化魯 棒的背景，將其與前一幀的背景進(jìn)行比較，如果差異小于閾值，則認(rèn)為 沒有發(fā)生變化，如果差異大于閾值，則認(rèn)為發(fā)生變化。如果發(fā)生變化， 則進(jìn)行步驟S3，如果沒有發(fā)生變化，則進(jìn)行步驟S7。
場(chǎng)景分割步驟S3:根據(jù)場(chǎng)景整個(gè)圖像的面積和場(chǎng)景中前景運(yùn)動(dòng)區(qū)域
平均面積的比值判斷場(chǎng)景覆蓋視角大小，將整個(gè)運(yùn)動(dòng)目標(biāo)場(chǎng)景分割成若 干子區(qū)域。對(duì)所述運(yùn)動(dòng)目標(biāo)所在場(chǎng)景的分割，使分類可以在每個(gè)子區(qū)域 中獨(dú)立操作，用于彌補(bǔ)大場(chǎng)景廣視角投影變形。
步驟S4:對(duì)每個(gè)子區(qū)域中的運(yùn)動(dòng)目標(biāo)區(qū)域提取特征向量，包括面積，
速度，緊密度，即緊密度指面積和運(yùn)動(dòng)目標(biāo)區(qū)域輪廓周長(zhǎng)平方的比值， 面積隨時(shí)間的導(dǎo)數(shù)，運(yùn)動(dòng)速度方向與運(yùn)動(dòng)目標(biāo)區(qū)域輪廓主軸方向的夾
角；
自動(dòng)標(biāo)注步驟S5:對(duì)一段時(shí)間場(chǎng)景中所有的運(yùn)動(dòng)目標(biāo)區(qū)域的緊密 度，面積隨時(shí)間的導(dǎo)數(shù)，運(yùn)動(dòng)速度方向與運(yùn)動(dòng)目標(biāo)區(qū)域輪廓主軸方向的 夾角，這三個(gè)特征進(jìn)行K均值聚為三類，并根據(jù)以下三條融合準(zhǔn)則得出 每一個(gè)聚類和每一個(gè)類別之間的對(duì)應(yīng)
1. 緊密度可以有效地將車從人和自行車中區(qū)分出來。
2. 面積隨時(shí)間的導(dǎo)數(shù)可以有效地將人從自行車和車中區(qū)分出來。
3. 運(yùn)動(dòng)方向與運(yùn)動(dòng)目標(biāo)區(qū)域輪廓主軸方向的夾角可以有效地將人
和車區(qū)分出來。
步驟S6:根據(jù)步驟S5中的自動(dòng)標(biāo)注方法，每個(gè)子區(qū)域的運(yùn)動(dòng)目標(biāo)
個(gè)數(shù)達(dá)到某個(gè)閾值時(shí)，對(duì)每個(gè)子區(qū)域中分別對(duì)被粗分類為同一類別的所 有運(yùn)動(dòng)目標(biāo)區(qū)域的速度，面積，緊密度這三個(gè)特征初始化高斯分布和先
驗(yàn)概率，初始化分類器；
步驟S7:如果通過子區(qū)域的運(yùn)動(dòng)目標(biāo)個(gè)數(shù)達(dá)到閾值，己初始化高斯
分布和先驗(yàn)概率，則利用貝葉斯準(zhǔn)則對(duì)運(yùn)動(dòng)目標(biāo)區(qū)域進(jìn)行精細(xì)分類，如 果沒有達(dá)到閾值，則比較該區(qū)域的特征到三個(gè)聚類中心的距離，將其分 類為最近的那個(gè)類別。
步驟S8:將運(yùn)動(dòng)目標(biāo)跟蹤過程中的分類結(jié)果融合，輸出在線學(xué)習(xí)的
運(yùn)動(dòng)目標(biāo)分類結(jié)果。這里為將跟蹤過程中每一幀所判別的相應(yīng)類別的后 驗(yàn)概率值求和，如果該時(shí)刻所對(duì)應(yīng)運(yùn)動(dòng)目標(biāo)區(qū)域的子區(qū)域己經(jīng)完成分類 器初始化，后驗(yàn)概率則通過貝葉斯準(zhǔn)則獲得，如果該時(shí)刻所對(duì)應(yīng)運(yùn)動(dòng)目 標(biāo)區(qū)域的子區(qū)域還沒有完成分類器初始化，則根據(jù)其特征到三個(gè)聚類中 心的距離求取后驗(yàn)概率，使后驗(yàn)概率與其到三個(gè)聚類中心的距離成反 比，以后驗(yàn)概率和最大的那個(gè)類別作為運(yùn)動(dòng)目標(biāo)區(qū)域的類別。
總之，本發(fā)明提出了一種簡(jiǎn)單有效的基于在線學(xué)習(xí)和場(chǎng)景分割的運(yùn) 動(dòng)目標(biāo)自動(dòng)分類方法。在自動(dòng)化大廈門前的交通場(chǎng)景應(yīng)用中，其人的分
類正確率為98.2%，自行車的分類正確率為90.4%，車的分類正確率為 97.3%。本發(fā)明易于實(shí)現(xiàn)、性能穩(wěn)定。本發(fā)明能夠提高智能監(jiān)控系統(tǒng)對(duì) 監(jiān)控場(chǎng)景的理解能力，是下一代智能監(jiān)控系統(tǒng)里的關(guān)鍵技術(shù)。
以上所述，僅為本發(fā)明中的具體實(shí)施方式
，但本發(fā)明的保護(hù)范圍并 不局限于此，任何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可理 解想到的變換或替換，都應(yīng)涵蓋在本發(fā)明的包含范圍之內(nèi)，因此，本發(fā) 明的保護(hù)范圍應(yīng)該以權(quán)利要求書的保護(hù)范圍為準(zhǔn)。
權(quán)利要求
1. 一種基于在線學(xué)習(xí)的運(yùn)動(dòng)目標(biāo)自動(dòng)分類方法，其特征在于基于視頻通過在線學(xué)習(xí)訓(xùn)練分類器，包括如下步驟步驟S1對(duì)讀入的一段時(shí)間的圖像序列，進(jìn)行背景建模和運(yùn)動(dòng)目標(biāo)檢測(cè)；步驟S2檢測(cè)運(yùn)動(dòng)目標(biāo)所在場(chǎng)景是否變化，如果運(yùn)動(dòng)目標(biāo)所在場(chǎng)景發(fā)生變化，執(zhí)行步驟S3；如果運(yùn)動(dòng)目標(biāo)所在場(chǎng)景沒有發(fā)生變化，執(zhí)行步驟S7；步驟S3根據(jù)運(yùn)動(dòng)目標(biāo)所在場(chǎng)景覆蓋視角大小，將整個(gè)運(yùn)動(dòng)目標(biāo)所在場(chǎng)景分割成若干個(gè)子區(qū)域；步驟S4對(duì)每個(gè)子區(qū)域中的運(yùn)動(dòng)目標(biāo)區(qū)域提取特征向量；步驟S5通過對(duì)特征向量的聚類算法對(duì)每個(gè)運(yùn)動(dòng)目標(biāo)區(qū)域的類別進(jìn)行粗略標(biāo)注；步驟S6每個(gè)子區(qū)域的運(yùn)動(dòng)目標(biāo)個(gè)數(shù)達(dá)到某個(gè)閾值時(shí)，根據(jù)已經(jīng)經(jīng)過該子區(qū)域的所有運(yùn)動(dòng)目標(biāo)區(qū)域的特征向量，初始化高斯分布和先驗(yàn)概率，完成該子區(qū)域?qū)?yīng)分類器初始化；步驟S7對(duì)經(jīng)過該子區(qū)域的運(yùn)動(dòng)目標(biāo)進(jìn)行分類，并在在線分類基礎(chǔ)上不斷迭代優(yōu)化分類器參數(shù)；步驟S8將運(yùn)動(dòng)目標(biāo)跟蹤過程中的分類結(jié)果融合，輸出在線學(xué)習(xí)的運(yùn)動(dòng)目標(biāo)分類結(jié)果。
2. 按權(quán)利要求1所述的基于在線學(xué)習(xí)的運(yùn)動(dòng)目標(biāo)自動(dòng)分類方法，其特征在于所述檢測(cè)步驟包括如下對(duì)圖像序列背景建模獲取相對(duì)于光照變化魯棒的背景模型與前一時(shí)刻獲得的背景模型進(jìn)行比較來判斷是否發(fā)生場(chǎng)景變化。
3. 按權(quán)利要求1所述的運(yùn)動(dòng)目標(biāo)自動(dòng)分類方法，其特征在于所述背景建模是提取運(yùn)動(dòng)目標(biāo)圖像序列的每一幀的反射分量，對(duì)反射分量 進(jìn)行混合高斯背景建模來去除光照產(chǎn)生陰影對(duì)運(yùn)動(dòng)目標(biāo)形狀的影響和 去除光照劇烈變化對(duì)運(yùn)動(dòng)目標(biāo)區(qū)域形狀的影響。
4. 按權(quán)利要求1所述的運(yùn)動(dòng)目標(biāo)自動(dòng)分類方法，其特征在于，所 述特征向量提取包括:提取每一個(gè)運(yùn)動(dòng)目標(biāo)區(qū)域的速度、面積、緊密度， 即緊密度指面積和運(yùn)動(dòng)目標(biāo)區(qū)域輪廓周長(zhǎng)平方的比值，面積隨時(shí)間的導(dǎo) 數(shù)，速度方向與運(yùn)動(dòng)目標(biāo)區(qū)域輪廓主軸方向的夾角特征；在聚類階段使 用緊密度、面積隨時(shí)間的導(dǎo)數(shù)、速度方向與運(yùn)動(dòng)目標(biāo)區(qū)域輪廓主軸方 向夾角這三個(gè)特征；在初始和迭代優(yōu)化分類器階段使用速度、面積、 緊密度這三個(gè)特征。
5. 按權(quán)利要求1所述的運(yùn)動(dòng)目標(biāo)自動(dòng)分類方法，其特征在于根 據(jù)運(yùn)動(dòng)目標(biāo)所在場(chǎng)景中運(yùn)動(dòng)目標(biāo)區(qū)域的平均面積大小和運(yùn)動(dòng)目標(biāo)所在 場(chǎng)景面積大小的比值，對(duì)所述運(yùn)動(dòng)目標(biāo)所在場(chǎng)景進(jìn)行分割，使分類在每 個(gè)子區(qū)域中獨(dú)立操作，用于彌補(bǔ)大場(chǎng)景廣視角投影變形。
6. 按權(quán)利要求1所述的運(yùn)動(dòng)目標(biāo)自動(dòng)分類方法，其特征在于所 述標(biāo)注使用對(duì)特征向量的K均值聚類和規(guī)則融合對(duì)運(yùn)動(dòng)目標(biāo)區(qū)域的類 別進(jìn)行自動(dòng)標(biāo)注。
7. 按權(quán)利要求1所述的運(yùn)動(dòng)目標(biāo)自動(dòng)分類方法，其特征在于根 據(jù)所述運(yùn)動(dòng)區(qū)域內(nèi)的自動(dòng)標(biāo)注值，假設(shè)高斯分布，估計(jì)每一個(gè)類別對(duì)應(yīng)的高斯分布的參數(shù)；根據(jù)所述子區(qū)域內(nèi)經(jīng)過的被自動(dòng)標(biāo)注為同一類別的運(yùn)動(dòng)目標(biāo)個(gè)數(shù)和經(jīng)過該子區(qū)域的所有運(yùn)動(dòng)目標(biāo)個(gè)數(shù)的比值，求取每一類 別的先驗(yàn)概率。
8. 按權(quán)利要求l所述的運(yùn)動(dòng)目標(biāo)自動(dòng)分類方法，其特征在于在所 述分類是用新分類的運(yùn)動(dòng)目標(biāo)區(qū)域?qū)υ瓉淼母咚狗植己拖闰?yàn)概率進(jìn)行 更新。
9. 按權(quán)利要求1所述的運(yùn)動(dòng)目標(biāo)自動(dòng)分類方法，其特征在于所述分類分兩種情況，如果通過子區(qū)域的運(yùn)動(dòng)目標(biāo)個(gè)數(shù)達(dá)到閾值，己初始 化高斯分布和先驗(yàn)概率，則利用貝葉斯準(zhǔn)則對(duì)運(yùn)動(dòng)目標(biāo)區(qū)域進(jìn)行精細(xì)分 類，如果沒有達(dá)到閾值，則比較該區(qū)域的特征到三個(gè)聚類中心的距離， 將其分類為最近的那個(gè)類別。
10.按權(quán)利要求l所述的運(yùn)動(dòng)目標(biāo)自動(dòng)分類方法，其特征在于所 述運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤，通過對(duì)不同幀，同一運(yùn)動(dòng)目標(biāo)的分類結(jié)果進(jìn)行融 合，用于準(zhǔn)確分類。
全文摘要
本發(fā)明基于在線學(xué)習(xí)的運(yùn)動(dòng)目標(biāo)自動(dòng)分類方法，對(duì)圖像序列背景建模和運(yùn)動(dòng)目標(biāo)檢測(cè)，檢測(cè)場(chǎng)景變化、覆蓋視角、分割場(chǎng)景，提取并聚類特征向量，對(duì)區(qū)域類別標(biāo)注；子區(qū)域的運(yùn)動(dòng)目標(biāo)個(gè)數(shù)到某個(gè)閾值，根據(jù)經(jīng)過該子區(qū)域的所有運(yùn)動(dòng)目標(biāo)區(qū)域的特征向量，初始化高斯分布和先驗(yàn)概率，完成分類器初始化；對(duì)該子區(qū)域的運(yùn)動(dòng)目標(biāo)分類，在線迭代優(yōu)化分類器參數(shù)；將運(yùn)動(dòng)目標(biāo)跟蹤過程中的分類結(jié)果融合，輸出在線學(xué)習(xí)的運(yùn)動(dòng)目標(biāo)分類結(jié)果。用于監(jiān)控場(chǎng)景中異常檢測(cè)，對(duì)不同類別目標(biāo)建立規(guī)則，提高監(jiān)控系統(tǒng)安全性能。用于監(jiān)控場(chǎng)景物體識(shí)別，降低識(shí)別算法復(fù)雜度，提高識(shí)別率。用于監(jiān)控場(chǎng)景語義化理解，識(shí)別運(yùn)動(dòng)目標(biāo)的類別，幫助理解場(chǎng)景中發(fā)生的行為事件。
文檔編號(hào)H04N7/18GK101389004SQ200710121728
公開日2009年3月18日 申請(qǐng)日期2007年9月13日 優(yōu)先權(quán)日2007年9月13日
發(fā)明者張兆翔, 譚鐵牛, 黃凱奇 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所