專利名稱：人群流分割及人群流異常行為識別方法
技術領域：
本發(fā)明屬于視頻圖像處理技術領域，具體地說，是涉及對視頻中的人群流進行處理的技術，更具體地說，是涉及人群流分割及人群流異常行為識別方法。
背景技術：
視頻監(jiān)控場景一類是針對遠距離的、人流密度比較大的場所，如城市廣場、車站、繁華步行街等；另一類監(jiān)控重點區(qū)域是較為偏僻的街道、已發(fā)生打架、搶劫等刑事案件的人流稀少的區(qū)域，可以較近距離監(jiān)控。針對第一種低分辨率視頻監(jiān)控環(huán)境下的群體異常行為識別較為復雜，主要原因是人群往往不是單一的，而是自發(fā)結成的多組人群流區(qū)域，它們的行為屬性各不相同。因此，要將視頻監(jiān)控中的異常行為識別出來，首先需要將不同的人群流定位分割出來，以便跟蹤每個人群流，實現異常行為的檢測和識別。目前，針對復雜視頻監(jiān)控場景中不同運動行為的人群分割，有人提出了下述方法:將高密度性的群體目標運動認作流體，用混沌動力學的方法處理，即基于視頻粒子流和有限時間李亞普諾夫指數場(FTLE場)，實現人群運動分割。有限時間李亞普諾夫指數表示相近粒子間的混合和分離性，反映運動粒子間的分離程度，計算所有粒子的有限時間李亞普諾夫指數，則形成有限時間李亞普諾夫指數圖像，根據拉格朗日相干結構(LCS)，設定閾值將該FTLE場圖像進行二值化處理，實現人群流的分割。但是，該方法存在兩方面的缺陷:一方面，該方法應用范圍有限，更適合于求解諸如“圍繞麥加克爾白天房朝圣的環(huán)流人群”，而對于非渦流的“直行道路”人群流，其分割時在FTLE場圖像進行二值化處理中會出現多個“空洞”，使得分割結果“支離破碎”，導致分割結果過于零碎；另一方面，計算每個粒子的FTLE和LCS拉格朗日相干結構的運算量大，分割過程復雜，耗時長
發(fā)明內容
本發(fā)明的目的之一是提供一種人群流分割方法，該方法將人群流作為特殊的流體，采用脈線和傾向流作為人群流的底層特征作為聚類基礎，實現人群流的分割，提高了人群流分割的精確度。為實現上述發(fā)明目的，本發(fā)明的人群流分割采用下述技術方案予以實現:
一種人群流分割方法，所述方法包括下述步驟:
al、獲取視頻流,采用Lucas-Kanade算法獲得所述視頻流中每一視頻巾貞內運動粒子的二維速度場；
a2、根據所述二維速度場及流體力學中的脈線計算方法獲得所述視頻幀中的所有脈線及每條脈線的傾向流，將所述脈線及所述傾向流作為所述視頻幀中人群流的底層特征；a3、采用聚類算法對所述脈線及所述傾向流進行聚類，形成若干子人群流，實現人群流的分割。如上所述的人群流分割方法，為進一步提高分割速度，所述步驟a3包括下述子步驟:a31、按照下述算法計算所有相鄰的1、J兩條脈線Si和Si的相似度:
按照下述算法計算妒的傾向流和#的傾向流的相似度:
H <^oL)— <zqi) I,
其中，為脈線妒的起始點與經過該起始點的第■個運動粒子所形成的向量，χ 為脈線妒的起始點與經過該起始點的第》 個運動粒子所形成的向量，<§為<和的夾角；< 是脈線妒在第^個運動粒子處的傾向流角度，< 是脈線於在第㈣個運動粒子處的傾向流角度，, 為脈線中的運動粒子數；
a32、計算上述步驟獲得的脈線相似度足( ，力和傾向流相似度黽仏力加權求和值
Hm力’作為相鄰兩條脈線^!和#的總相似度，a和yj為權值，
#(0是第I.條脈線所有相鄰脈線的集合；
a33、根據所述總相似度進行聚類，相似度大于設定閾值的脈線聚為一類，形成若干子人群流，實現人群流的分割。優(yōu)選的，所辻α取值為0.8，所述歲取值為0.2。如上所述的人群流分割方法，所述聚類算法優(yōu)選為分水嶺分割算法。本發(fā)明的目的之二是提供一種人群流異常行為識別方法，該方法基于上述人群流分割方法，對分割后的子人群流提取特征向量，利用SVM分類器進行異常行為識別，提高了識別準確性。為實現上述技術目的，本發(fā)明的人群流異常行為識別采用 下述技術方案予以實現:
一種人群流異常行為識別方法，所述方法包括下述步驟:
bl、獲取待識別的視頻流，根據上述權利要求1至4中任一項所述的人群流分割方法對所述視頻流中的每一視頻幀內的人群流進行分割，獲得若干子人群流；
b2、針對每個子人群流,根據Helmholtz分解算法計算其所含的每條脈線的勢函數中的速度勢及流函數；
b3、對所述速度勢和所述流函數分別進行 奇異值分解，獲得兩個奇異值特征向量，將所述兩個奇異值特征向量合并為一個向量，作為相對應的子人群流在當前幀中的勢函數特征向量，該子人群流在所述視頻流所有視頻幀中的勢函數特征向量構成識別樣本特征向量；b4、采用訓練好的人群流異常行為分類器識別所述識別樣本特征向量，實現子人群流異常行為的識別，進而實現人群流異常行為的識別。如上所述的人群流異常行為識別方法，為簡化識別過程，先對所述步驟b3獲得的識別樣本特征向量降維，再執(zhí)行所述步驟b4，采用訓練好的人群流異常行為分類器識別降維后的識別樣本特征向量。如上所述的人群流異常行為識別方法，所述人群流異常行為分類器采用下述步驟訓練:
Cl、獲取正常行為若干視頻流和包含異常行為的若干視頻流，分別作為正樣本集和負樣本集；
c2、根據流體力學中的脈線計算方法計算所述正樣本集中每個正樣本所包含的每一視頻幀及所述負樣本集中每個負樣本所包含的每一視頻幀的脈線；
c3、根據Helmholtz分解算法計算每條脈線的勢函數中的速度勢及流函數；c4、對所述速度勢和所述流函數分別進行奇異值分解，獲得兩個奇異值特征向量，將所述兩個奇異值特征向量合并為一個向量，作為當前幀中的勢函數特征向量，每個正樣本或負樣本所有視頻幀中的勢函數特征向量構成訓練樣本特征向量；
c5、多個所述訓練樣本特征向量及其對應的正常行為或異常行為構成訓練樣本特征向量集，訓練分類器參數，生成人群流異常行為SVM分類器。如上的人群流異常行為識別方法，先對所述步驟c4獲得的訓練樣本特征向量降維，再執(zhí)行所述步驟c5，將降維后的訓練樣本特征向量及其對應的正常行為或異常行為構成訓練樣本特征向量集，訓練分類器參數，獲得人群流異常行為分類器。優(yōu)選的，所述人群流異常行為分類器為SVM分類器。與現有技術相比，本發(fā)明的優(yōu)點和積極效果是:
1、在進行人群流分割時，將人群流作為特殊的流體，采用人群流的脈線和傾向流作為人群流的底層特征，采用聚類算法對脈線及傾向流進行聚類來實現人群流的分割，分割準確性高，分割速度快，能夠適應各種復雜監(jiān)控視頻的分割需求。

2、將脈線和 傾向流作為底層特征，計算脈線及傾向流在時空鄰域內的相似度，利用兩者相似度的加權求和值作為總相似度進行聚類，使得不同人群的特征更濃縮、更明顯，進一步提高了人群流分割的準確性。3、對于每個分割出的子人群流，通過計算其速度勢和流函數，并進行奇異值提取后構成子人群流的特征向量，利用SVM分類器進行異常行為識別，不僅可以準確、快速識別出視頻幀中是否存在異常行為，還可以實現對異常行為在視頻監(jiān)控范圍內的局部定位和跟
足示O結合附圖閱讀本發(fā)明的具體實施方式
后，本發(fā)明的其他特點和優(yōu)點將變得更加清
λ.Μ
/E.ο


圖1是本發(fā)明人群流分割第一個實施例的流程 圖2是本發(fā)明人群流分割第二個實施例的流程 圖3和圖4是圖2實施例中計算脈線相似度的示意 圖5是本發(fā)明人群流異常行為識別方法一個實施例的流程 圖6是圖5中獲得SVM分類器的流程圖。
具體實施例方式下面結合附圖和具體實施方式
對本發(fā)明的技術方案作進一步詳細的說明。首先，簡要介紹本發(fā)明的設計思路:為了對低分辨率視頻監(jiān)控環(huán)境中的人群流進行有效、準確地分割，可以將人群流作為一種特殊的流體，利用流體的處理方法對人群流進行分割。而且，在進行人群流分割時，考慮將人群流的脈線及其傾向流作為表征人群流的底層特征，可以獲得明顯、濃縮的人群特征，有利于對人群流的分割。在完成人群流分割之后，可以通過對每個子人群流進行識別來判斷人群流是否發(fā)生異常行為，并能對特定子人群流進行定位和跟蹤，提高了異常行為識別的速度和精確度。請參考圖1，該圖所示為本發(fā)明人群流分割第一個實施例的流程圖。如圖1所示，該實施例分割人群流的具體步驟如下:
步驟11:流程開始。步驟12:獲取視頻流,采用Lucas-Kanade算法獲得視頻流中每一視頻巾貞內運動粒子的二維速度場。獲取需要處理的視頻流,對視頻流采用Lucas-Kanade算法(金字塔光流算法)計算光流，并根據光流計算出每一視頻巾貞內運動粒子的二維速度場(即運動光流場)。該計算過程為現有技術，在此不作詳述。步驟13:計算視頻幀中的所有脈線及每條脈線的傾向流，將脈線及傾向流作為視頻幀中人群流的底層特征。獲得運動粒子的二維速度場就得到了運動粒子的位置和速度，這些運動粒子構成脈線的基本組成單元，即延伸粒子。一定時間內流經同一像素空間位置的所有運動粒子的連線構成了以該像素空間位置為起始點的一條脈線，所以，利用這些運動粒子即可計算出視頻幀中的所有脈線。脈線的具體計算過程如下:
假設點(<(4為運動粒子(i , Jff )在時`間1、初始位置在P點、在第q視頻幀中的位置。在^點重復的初始化就意味著:
((辦上伽)=(伽，伽)
粒子平移可以通過下述公式完成:
辦+1) = 4(0+ (4(0, < 00,0
其中，是從光流中得到的速度場。運動粒子的定義如下:
八 111, Usr(O, (0,0 , V9 二O而脈線則是一定時間10GplA]內流經同一空間點的所有擴展粒子的集合，即PEiuJ。其中，, n內視頻幀的數量。為了捕捉場景內容和群體動態(tài)在一個長的范圍內變化,不能太短，但太長也會使脈線失真，該實施例優(yōu)選取4為20視頻幀的時間間隔，也即n = 30。
傾向流是脈線中每個粒子乓的速度場在時間上的積分，定義為!C^其中，A = j": 聲，& 二 (vIffic,其中^f -1k , 是兩幀之間的時間間隔，即&是該脈線時
間段ft為中的第§視頻幀中粒子的時間點。傾向流封裝的信息近似為觀察窗口 ■%內的光流速度的均值信息，由于％時間較短，它也反映了這群粒子的局部信息，為分割提供基礎數據。獲得脈線及脈線的傾向流之后，將其作為視頻幀中人群流的底層特征。由于脈線表征了群體運動在時間和空間上的變化，而傾向流更清晰地表征了群體運動在時間上的變化，所以，脈線和傾向流反映了不同人群流的特性，可以作為人群流聚類分割的基礎數據。步驟14:采用聚類算法對脈線及傾向流進行聚類，形成若干子人群流，從而實現對人群流的分割。獲得表征不同人群流特性的脈線和傾向流之后，采用聚類算法進行聚類，可以將具有相同脈線及傾向流的人群聚為一類，形成一個子人群流，不同脈線及傾向流的組合即可獲得若干子人群流，進而實現 對視頻范圍內以運動行為為分割依據的人群流分割。聚類時，可以采用現有技術中常用的聚類方法，在此不作繁述。步驟15:分割流程結束。直接采用脈線及傾向流雖然能夠實現人群流的分割，但是，聚類過程比較復雜，計算量大，聚類速度慢。為克服這些缺點，可以采用圖2實施例的方法來執(zhí)行。請參考圖2，該圖示出了本發(fā)明人群流分割第二個實施例的流程圖。如圖2所示，該實施例分割人群流的具體步驟如下:
步驟21:流程開始。步驟22:獲取視頻流,采用Lucas-Kanade算法獲得視頻流中每一視頻巾貞內運動粒子的二維速度場。步驟23:計算視頻幀中的所有脈線及每條脈線的傾向流，將脈線及傾向流作為視頻幀中人群流的底層特征。上述步驟22及步驟23的具體處理過程與圖1實施例相同，可參考上面對圖1實施例的描述。步驟24:計算所有相鄰的兩條脈線的相似度及其傾向流的相似度。為簡化聚類過程，該實施例采用脈線的相似度將相似的脈線進行聚類。在步驟23獲得脈線及傾向流之后，計算所有相鄰的兩條脈線的相似度以及兩條脈線所對應的傾向流的相似度。具體過程如下:
參考圖3和圖4的脈線相似度計算示意圖所示意，設Sf和於是相鄰的第i條和第』條脈線，每個附圖中的圓圈代表運動粒子，長方形代表起始點，這些運動粒子的連線構成了該起始點處的脈線。以圖3的脈線貧為例，起始點為JPi,在一定時間內經過起始點的運動粒
子分別為2η_2, Xil (與起始點只-重合)。而如圖4所示，脈線p.的起始點為Pj ,在一定時間內經過該起始點的運動粒子分別為，…，XU , , xL, χ (與起始點P』-重合)。每個經過起始點的運動粒子都會與起始點形成一個向量，兩條相鄰脈線#和5〗的相似度定義為足( ，./)，該相似度是通過計算兩條脈線中處于同一視頻幀中的運動粒子與起始點形成的向量投影再求和得到。計算公式如下:
式中，為脈線女的起始點爲與經過該起始點的第》個運動粒子所形成的向量，為脈線少的起始點Pj與經過該起始點的第JB個運動粒子所形成的向量，m =OX J l, I為脈線中的運動粒子數,|!為和g的夾角。脈線妒的傾向流和脈線於的傾向流的相似度定義為式》&7)，該相似度用角度來表示，計算公八為:RaiUl H-ms(ZO^)I。上式中，是脈線Sf在第j 個運動粒子處的傾向流角度，是脈線少在第m個運動粒子處的傾向流角度。步驟25:將步驟24所獲得的脈線相似度尾和傾向流相似度加權求和:將該加權求和值作為相鄰兩條脈線#和#的總相似
度，α和於為權值，為預先設定的值。在該實施例中，α取值為0.8於取值為0.2。在該實施例中，相鄰兩條脈線的含義為:脈線妒的相鄰脈線是指以該脈線妒的起始點P,為中心的8個鄰域位置為起始點所形成的8條脈線。應該理解，這里的8條脈線可能是實際各不相同的8條脈線；也可能會存在相互重合的脈線；也可能是少于8條脈線，也即起始點Pi的個別鄰域位置未構成脈線。步驟26:根據總相似度進行聚類，將相似度大于設定閾值的脈線聚為一類，構成一個子人群流，最終形成若干子人群流，實現人群流的分割。聚類時可以采用·現有技術中的聚類算法，該實施例優(yōu)選采用分水嶺分割算法來聚類。采用分水嶺分割算法進行聚類的過程為現有技術，在此不作復述。步驟27:流程結束。對視頻監(jiān)控范圍內的人群流根據運動特征劃分為若干個子人群流之后，可以對特定子人群流進行定位、跟蹤、監(jiān)控異常行為等。請參考圖5，該圖示出了本發(fā)明人群流異常行為識別方法一個實施例的流程圖。該實施例在對人群流異常行為識別時，基于圖1或圖2人群流分割的實施例，也即是對應用圖1或圖2方法進行分割后的子人群流進行異常行為識別。如圖5所示，該實施例對人群流異常行為進行識別的過程如下:
步驟51:流程開始。步驟52:獲取待識別的視頻流，對視頻流中的每一視頻幀進行人群流分割，獲得若干子人群流。對于待識別的視頻流，確切來說是一段視頻流分解為長度一般為2-3秒(約為80幀)的子視頻段，將子視頻段作為待識別的視頻流識別單元分別識別，目的是確定其在哪個具體時間點上出現群體異常行為。而且，為了防止漏檢，前后兩個子段視頻可以有30幀的重疊。該步驟的具體實現過程可參考圖1或圖2及上述相應附圖的描述。步驟53:針對每個子人群流，根據Helmholtz分解算法計算其所含的每條脈線的勢函數中的速度勢及流函數。由于對人群流進行分割的依據是人群流的脈線，所以，每個子人群流分割后，其所含有的脈線也是已知的。與傾向流類似，勢函數也是脈線的一個屬性，是表征群體運動在空間上變化的一個特征描述。勢函數及其速度勢和流函數的計算過程如下:
根據Helmholtz分解理論(霍爾姆茲分解理論)，勢函數可以分解為不可壓縮
部分α和不可旋轉部分 ，即 =α +ft。其中， ,a。對氣、\、!^及％分別沿著該脈線做空間積分，可以獲得該勢函數的速度勢 和流函數:
權利要求
1.一種人群流分割方法，其特征在于，所述方法包括下述步驟: al、獲取視頻流,采用Lucas-Kanade算法獲得所述視頻流中每一視頻巾貞內運動粒子的二維速度場； a2、根據所述二維速度場及流體力學中的脈線計算方法獲得所述視頻幀中的所有脈線及每條脈線的傾向流，將所述脈線及所述傾向流作為所述視頻幀中人群流的底層特征；a3、采用聚類算法對所述脈線及所述傾向流進行聚類，形成若干子人群流，實現人群流的分割。
2.根據權利要求1所述的人群流分割方法，其特征在于，所述步驟a3包括下述子步驟: a31、按照下述算法計算所有相鄰的1、J兩條脈線Si和Si的相似度:
3.根據權利要求2所述的人群流分割方法，其特征在于，所述α取值為0.8，所述於取值為0.2。
4.根據權利要求1至3中任一項所述的人群流分割方法，其特征在于，所述聚類算法為分水嶺分割算法。
5.一種人群流異常行為識別方法，其特征在于，所述方法包括下述步驟: bl、獲取待識別的視頻流，根據上述權利要求1至4中任一項所述的人群流分割方法對所述視頻流中的每一視頻幀內的人群流進行分割，獲得若干子人群流； b2、針對每個子人群流,根據Helmholtz分解算法計算其所含的每條脈線的勢函數中的速度勢及流函數； b3、對所述速度勢和所述流函數分別進行奇異值分解，獲得兩個奇異值特征向量，將所述兩個奇異值特征向量合并為一個向量，作為相對應的子人群流在當前幀中的勢函數特征向量，該子人群流在所述視頻流所有視頻幀中的勢函數特征向量構成識別樣本特征向量；b4、采用訓練好的人群流異常行為分類器識別所述識別樣本特征向量，實現子人群流異常行為的識別，進而實現人群流異常行為的識別。
6.根據權利要求5所述的人群流異常行為識別方法，其特征在于，先對所述步驟b3獲得的識別樣本特征向量降維，再執(zhí)行所述步驟b4，采用訓練好的人群流異常行為分類器識別降維后的識別樣本特征向量。
7.根據權利要求5所述的人群流異常行為識別方法，其特征在于，所述人群流異常行為分類器采用下述步驟訓練: Cl、獲取正常行為若干視頻流和包含異常行為的若干視頻流，分別作為正樣本集和負樣本集； c2、根據流體力學中的脈線計算方法計算所述正樣本集中每個正樣本所包含的每一視頻幀及所述負樣本集中每個負樣本所包含的每一視頻幀的脈線； c3、根據Helmholtz分解算法計算每條脈線的勢函數中的速度勢及流函數；c4、對所述速度勢和所述流函數分別進行奇異值分解，獲得兩個奇異值特征向量，將所述兩個奇異值特征向量合并為一個向量，作為當前幀中的勢函數特征向量，每個正樣本或負樣本所有視頻幀中的勢函數特征向量構成訓練樣本特征向量； c5、多個所述訓練樣本特征向量及其對應的正常行為或異常行為構成訓練樣本特征向量集，訓練分類器參數，生成人群流異常行為SVM分類器。
8.根據權利要求7所述的人群流異常行為識別方法，其特征在于，先對所述步驟c4獲得的訓練樣本特征向量降維，再執(zhí)行所述步驟c5，將降維后的訓練樣本特征向量及其對應的正常行為或異常行為構成訓練樣本特征向量集，訓練分類器參數，獲得人群流異常行為分類器。
9.根據權利要求5至8中任一項所述的人群流異常行為識別方法，其特征在于，所述人群流異常行為分類器為SVM分類器。
全文摘要
本發(fā)明公開了一種人群流分割方法及人群流異常行為識別方法，所述人群流分割方法包括下述步驟獲取視頻流，計算視頻流中每一視頻幀內運動粒子的二維速度場；根據二維速度場及流體力學中的脈線計算方法獲得視頻幀中的所有脈線及每條脈線的傾向流，將脈線及傾向流作為所述視頻幀中人群流的底層特征；采用聚類算法對脈線及傾向流進行聚類，形成若干子人群流，實現人群流的分割?；谌巳毫鞣指罘椒▽θ巳毫鞣指钪螅梢詫Ψ指詈蟮淖尤巳毫鬟M行異常行為識別。本發(fā)明在對人群流進行分割時，將人群流作為特殊的流體，采用脈線和傾向流作為人群流的底層特征作為聚類基礎，實現人群流的分割，提高了人群流分割的精確度。
文檔編號G06K9/00GK103235944SQ201310178080
公開日2013年8月7日 申請日期2013年5月15日 優(yōu)先權日2013年5月15日
發(fā)明者劉云, 王傳旭, 閆春娟 申請人:青島科技大學