本發(fā)明涉及模式識別和視頻分析領(lǐng)域，更具體地說，涉及一種基于低秩逼近結(jié)構(gòu)化稀疏表示的異常事件檢測方法。

背景技術(shù)：

視頻序列異常事件檢測是計算機視覺中的一個活躍的研究課題，已被廣泛使用在許多應(yīng)用中，如人群監(jiān)控，公共場所檢測，交通安全和個人行為異常。面對海量的視頻數(shù)據(jù)，傳統(tǒng)的人工標(biāo)記異常事件費時、低效。因此，自動化和快速的視頻序列異常檢測方法是迫切需要的。

雖然關(guān)于異常事件檢測的研究在特征提取、行為建模和異常測量等方面已經(jīng)取得了很大的進展，但是視頻序列異常事件檢測仍然是一個非常具有挑戰(zhàn)性的任務(wù)。首先，對于視頻中的異常事件沒有精確的定義。一種常見的異常行為識別方法是異常行為模式聚類，另一種是把那些發(fā)生率低的檢測樣本作為異常。第一種方法的困難之處在于沒有足夠的先驗知識來描述異常行為模式；第二種方法需要建立概率模型，異常檢測依賴于正常模式的定義和特征的多尺度變化。其次，密集場景中的異常檢測要求行為模型可以處理高密度的運動目標(biāo)，這需要考慮多個目標(biāo)之間遮掩和相互作用的影響。

從特征提取的角度看，異常事件檢測方法可以分為基于目標(biāo)軌跡的方法和基于低層次特征的方法?；谀繕?biāo)軌跡的方法首先進行運動目標(biāo)跟蹤，然后利用目標(biāo)軌跡來檢測異常事件?；谀繕?biāo)軌跡的方法可以清晰地表示各時刻目標(biāo)的空間狀態(tài)，但是這一類方法對噪聲、遮掩和跟蹤錯誤敏感，不能對密集場景進行異常檢測?；诘蛯哟翁卣鞯姆椒ㄍㄟ^提取視頻序列中像素級別的運動特征和形態(tài)特征，可以克服目標(biāo)軌跡法的缺點。

目前，異常事件檢測的主流方法包括動態(tài)貝葉斯網(wǎng)絡(luò)(DBNs)，概率主題模型(PTMs)和稀疏表示模型。在DBNs中，隱藏馬爾可夫模型(HMM)和馬爾可夫隨機場(MRF)隨著檢測目標(biāo)的增加會成幾何級數(shù)地提高建模代價，導(dǎo)致這些模型不足以處理密集的場景。與DBNs相比，PTMs，如PLSA和LDA，只關(guān)注空間上共生的視覺單詞，卻忽略了特征的時序信息，使得概率主題模型不能在時空上定位異常事件。近年來，針對異常檢測的稀疏表示模型引起了人們的關(guān)注。大多數(shù)的稀疏表示模型通過訓(xùn)練得到一個過完備字典，但是沒有充分挖掘視頻數(shù)據(jù)的低秩特性和內(nèi)在結(jié)構(gòu)冗余。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于，針對上述異常檢測技術(shù)中未充分挖掘視頻數(shù)據(jù)的低秩特性和檢測速率較慢的缺點，提出一種基于低秩逼近結(jié)構(gòu)化稀疏表示的異常事件檢測方法。

實現(xiàn)本發(fā)明目的的技術(shù)解決方案為：一種基于低秩逼近結(jié)構(gòu)化稀疏表示的異常事件檢測方法，包括特征提取、訓(xùn)練和測試三個過程：

特征提取過程包括以下步驟：

1)提取視頻序列的多尺度三維梯度特征；

2)對多尺度三維梯度特征進行降維，形成訓(xùn)練特征集和測試特征集。

訓(xùn)練過程包括以下步驟：

3)初始化剩余訓(xùn)練特征和相關(guān)參數(shù)；

4)對剩余訓(xùn)練特征進行迭代學(xué)習(xí)組稀疏字典，獲得正常模式字典集。

測試過程包括以下步驟：

5)利用由訓(xùn)練過程獲取的組稀疏字典集，對測試特征進行稀疏重建；

6)根據(jù)重建誤差，判斷測試特征是否為異常特征。

上述方法中，所述步驟1)包括以下具體步驟：

1.1)對視頻序列的每一幀圖像進行不同尺度的縮放，形成一個三層圖像金字塔。

1.2)對每一層圖像進行時空立方體采樣，提取空間上不重疊區(qū)域的三維梯度特征。

1.3)針對每一層視頻序列，將同一空間區(qū)域上連續(xù)5幀的三維梯度特征疊加在一起，組成一個時空特征。

上述方法中，所述步驟2)包括以下具體步驟：

2.1)利用主成分分析(PCA)，對上述提取的每一個時空特征進行降維。

2.2)利用上述方法，將訓(xùn)練視頻序列和測試視頻序列轉(zhuǎn)換為訓(xùn)練特征集和測試特征集。

上述方法中，所述步驟3)包括以下具體步驟：

3.1)將步驟2.2)獲取的訓(xùn)練特征集初始化為剩余訓(xùn)練特征集；

3.2)初始化正則化參數(shù)、誤差閾值、迭代次數(shù)和正常模式字典集；

上述方法中，所述步驟4)包括以下具體步驟：

4.1)如果剩余特征集為空，訓(xùn)練過程結(jié)束；如果剩余特征集不為空，確定聚類數(shù)目，對剩余特征集進行K均值聚類。

4.2)分別對每一個特征聚類進行字典學(xué)習(xí)，得到組稀疏字典。

4.3)挑選合適字典去表示剩余特征。如果字典可以表示剩余特征，則將該字典加入正常模式字典集，并將可以用該字典表示的特征從剩余訓(xùn)練特征集中移除；如果字典不可以表示任意一個剩余特征，則丟棄該字典。

4.4)迭代次數(shù)加1，跳到步驟4.1)；

上述方法中，所述步驟5)包括以下具體步驟：

5.1)對于每一個測試特征，遍歷由訓(xùn)練過程獲取的正常模式字典集，估算字典對應(yīng)的稀疏系數(shù)；

5.2)根據(jù)特定字典及其對應(yīng)的稀疏系數(shù)，計算該測試特征對應(yīng)于該組稀疏字典的重建誤差；

上述方法中，所述步驟6)包括以下具體步驟：

6.1)對于某一測試特征，如果找到一個對應(yīng)重建誤差小于重建閾值的字典，則判斷該測試特征為正常特征；

6.2)對于某一測試特征，如果其對應(yīng)的任意字典集的重建誤差均大于重建閾值，則判斷該測試特征為異常特征；

本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點：其一，因為每個視頻特征聚類的低秩特性，通過利用高效的低秩解決算法，如SVD閾值算法，該方法可以學(xué)習(xí)正常行為模式的組稀疏字典；其二，該方法自適應(yīng)地決定每個正常行為模式的字典基數(shù)目，可以更準(zhǔn)確地進行動態(tài)場景語義理解；其三，不同于傳統(tǒng)的稀疏表示方法，該方法通過在一個字典集中挑選一個合適的字典，來表示測試樣本，使得視頻事件的稀疏重建更精準(zhǔn)，顯著提高了檢測速度，保證實時性。

附圖說明

圖1為自適應(yīng)異常事件檢測方法概覽圖。

圖2為三維時空梯度特征提取流程圖。

圖3為多尺度視頻幀。

圖4為三維梯度特征。

圖5為空間區(qū)域上重疊的時空立方體。

圖6為組稀疏字典學(xué)習(xí)流程圖。

圖7為異常事件檢測流程圖。

具體實施方式

下面結(jié)合附圖對本發(fā)明作進一步詳細(xì)的說明。

本發(fā)明的異常事件檢測方法包括特征提取過程、訓(xùn)練過程和測試過程三個主要過程，如圖1所示。

特征提取過程如圖2所示，包括以下具體步驟：

視頻序列圖像幀轉(zhuǎn)換為三維圖像金字塔過程21。將視頻序列的每一幀圖像轉(zhuǎn)換為灰度圖像，并將每一幀灰度圖像縮放為三種不同尺度：20×20,30×40和120×160，形成一個三層圖像金字塔。對于圖像金字塔的每個尺度，每一幀被劃分為同樣空間大小(10×10)的不重疊區(qū)域，如圖3所示。

提取視頻序列三維梯度特征過程22。為了兼顧密集場景中目標(biāo)的形態(tài)特征和運動特征，采用三維時空梯度作為特征提取的目標(biāo)，如圖4所示。假設(shè)x,y和t分別表示視頻序列中的水平、垂直和時間方向，G是一個像素的三維梯度，它對應(yīng)的三維投影分別是G_x、G_y和G_t。

利用時空立方體采樣形成時空特征過程23。連續(xù)5幀上的同一空間區(qū)域組成時空立方體，每一個時空立方體由一個大小為10×10×5的立方體中的所有像素構(gòu)成，l_x×l_y＝10×10和l_t＝5分別表示時空立方體的空間大小和時序長度。一個時空立方體中的所有像素的三維梯度構(gòu)成一個三維時空梯度特征。為了保持場景事件的時序信息，在每一個空間區(qū)域上采樣時序上重疊的時空立方體，如圖5所示。假設(shè)一個時空立方體的體心為(S_x,S_y,S_t)，那么其時序上相鄰的時空立方體位于(S_x,S_y,S_t-l_t/2)和(S_x,S_y,S_t+l_t/2)。

利用時空特征降維形成訓(xùn)練特征集和測試特征集過程24。由于上述三維梯度特征的維數(shù)(10×10×5×3＝1500)過高，會導(dǎo)致訓(xùn)練過程和測試過程計算量過大，影響檢測的實時性，所以使用PCA將時空特征降到100維。最后，得到訓(xùn)練特征集和測試特征集。

需要注意的是，訓(xùn)練視頻序列中只包含正常事件；測試視頻序列既包含正常事件，也包含異常事件。

訓(xùn)練過程是指通過已知的正常行為樣本集，學(xué)習(xí)正常行為模式的過程。包括以下具體步驟：

本發(fā)明采用迭代的方式，分別對每個空間位置上的所有特征進行訓(xùn)練，得到每個空間位置上的一個組稀疏字典集，用來表示該空間位置上的所有訓(xùn)練特征。對于每個空間位置上的所有特征，利用K均值得到相似特征聚類，然后對每個相似特征聚類采用低秩逼近算法進行字典學(xué)習(xí)。每次迭代將可以用字典表示的特征去除，然后對剩余特征繼續(xù)下一次迭代的字典學(xué)習(xí)，直到所有特征都可以被訓(xùn)練得到的字典表示。

初始化訓(xùn)練參數(shù)過程61。剩余訓(xùn)練特征集初始化為由特征提取過程得到的訓(xùn)練特征集，即X＝[x₁,x₂,...,x_n]，其中n為特征數(shù)目，m為每個特征的維數(shù)，正則化參數(shù)τ＝0.015、誤差閾值T＝0.01、迭代次數(shù)j＝1和正常模式字典集

利用K均值進行剩余訓(xùn)練特征集聚類過程62。根據(jù)剩余訓(xùn)練特征的數(shù)目，首先自適應(yīng)地選擇聚類數(shù)目，再對剩余特征集進行K均值聚類。假設(shè)第j^th次迭代中第c^th個聚類的特征表示為其中j＝1,2,...,N，表示第c^th個聚類的特征數(shù)目，函數(shù)f(·)把聚類中的特征序號映射到該特征在初始特征集中的序號。

如圖6，利用低秩逼近算法學(xué)習(xí)組稀疏字典過程63。不同于傳統(tǒng)的稀疏表示模型，本發(fā)明利用視頻特征聚類的低秩結(jié)構(gòu)，采用低秩逼近算法，學(xué)習(xí)包含高度相關(guān)字典基的組稀疏字典，從而拋棄視頻數(shù)據(jù)中的冗余信息。組稀疏字典學(xué)習(xí)的目標(biāo)函數(shù)如下：

其中，采用奇異值分解，τ是正則化參數(shù)，ω_i是第i個奇異值λ_i的權(quán)重。上述加權(quán)低秩優(yōu)化問題采用奇異值閾值化算法，公式(1)的閉合解如下：

其中，r是通過軟閾值操作估算的秩。軟閾值操作作用于每個奇異值，小于τ·ω_i的奇異值被置為0，大于τ·ω_i的奇異值仍保持原值。

選擇組稀疏字典過程64。一旦確定對于任一特征目標(biāo)函數(shù)如下：

其中，表示的稀疏系數(shù)向量，表示特征是否能夠被字典表示，約束項∑γ_i,j＝1和γ_i,j＝{0,1}用于保證只能挑選一個字典來表示表示用字典表示特征聚類的系數(shù)向量，T表示誤差閾值。γ的閉合解如下：

如果可以表示則把字典加入字典集合D，保留該字典對應(yīng)的奇異值信息，使得迭代次數(shù)j＝j(luò)+1，并把稀疏系數(shù)的特征從剩余特征集X^j中移除；如果不可以表示任意一個剩余特征則丟棄字典

迭代進行過程63和64，直到剩余特征集為空集。

最后，取得正常特征的組稀疏字典集，每個字典用于表示正常行為模式。注意，由于訓(xùn)練特征集對應(yīng)的視頻序列只包含正常事件，所以學(xué)習(xí)到的字典均表示正常行為模式。

如圖7，測試過程是指通過訓(xùn)練過程學(xué)習(xí)到的正常模式字典集，檢測測試樣本是否為異常樣本的過程。包括以下具體步驟：

初始化測試參數(shù)過程71。初始化正常行為模式字典集為由訓(xùn)練過程得到的字典集，即D＝[D₁,D₂,...D_N]，重建誤差閾值為。

計算測試特征的重建誤差過程72。針對任意一個測試特征x，對每個字典D_k計算重建誤差，計算方法如下：

公式(5)中β_k的最優(yōu)解為:

此時重建誤差為：

判斷測試特征是否為異常特征過程73。通過搜索一個合適的字典來表示該測試樣本，進而利用重建誤差來判斷該測試樣本是否為異常事件。如果重建誤差小于重建誤差閾值，則表明測試特征x可以被字典D_k表示，即測試特征x屬于正常事件；否則，測試特征x不能被字典D_k表示。如果正常模式字典集中的所有字典均不能表示測試特征x，則測試特征x屬于異常事件。

這里需要著重指出，相比于目前最先進的算法，本發(fā)明采用迭代低秩逼近方法，取得了至少2％的檢測正確率提升。通過檢索正常模式字典集的方法，本發(fā)明的檢測速度可以較傳統(tǒng)異常檢測方法提升20倍以上。另外，相比于傳統(tǒng)稀疏表示方法，本發(fā)明采用SVD閾值算法可以減少至少10倍的訓(xùn)練時間。