本發(fā)明涉及一種公共安全領域中基于視頻的人群密度與異常行為檢測系統(tǒng)的分析方法，尤其涉及改進的基于像素點統(tǒng)計和紋理統(tǒng)計相結合的人群密度分級方法、基于像素點統(tǒng)計和角點檢測結合的人數(shù)估計方法、提出并實現(xiàn)了一種基于平均動能變化倍率的人群異常行為檢測算法，屬于機器視覺與智能信息處理領域。
背景技術：
：近年來，隨著經(jīng)濟的快速發(fā)展及人們社會活動的不斷增加，交通樞紐、大型活動現(xiàn)場及大型商場等公共場所發(fā)生人流擁堵的現(xiàn)象越來越頻繁，考慮人群過度擁擠造成的安全隱患越來越嚴重。因此，為了維護公共秩序，保障人群安全，越來越多的監(jiān)控系統(tǒng)被投入使用。歐盟的advisor系統(tǒng)就是一個應用于公共交通的安全管理系統(tǒng)；它涵蓋了個體行為分析，也包括群體行為分析，還對人機交互方面有了部分涉及。隨著市場上對視頻監(jiān)控系統(tǒng)需求的爆炸性增大，開發(fā)出一套穩(wěn)定、快速、多功能的智能監(jiān)控系統(tǒng)迫在眉睫?；谝曨l的人群密度與異常行為檢測系統(tǒng)的分析方法在技術實現(xiàn)上主要包括人群密度分級、人數(shù)估計與異常行為檢測三個部分。首先，對視頻中的人群密度分級?；谝曨l的人群密度分級方法大體可分為以下幾類：基于像素點統(tǒng)計的人群密度分級方法，基于紋理特征的人群密度分級方法和基于個體特征的人群密度分級方法?；谙袼攸c統(tǒng)計的分級方法實現(xiàn)簡單，計算量較小，但由于人群之間相互遮擋而造成最后密度分級結果誤差較大，該方法只適用于人群流量密度較低場景?；诩y理特征的分級方法能較好地處理人群之間存在相互重疊、遮擋現(xiàn)象，能取得較好的人群密度分級，但該方法由于提取的特征數(shù)量較多，計算量較大，對中低密度場景中人群密度分級誤差較大，該方法只適用于人群流量密度較高場景?；趥€體特征的方法因其計算復雜度較高，在實際應用場景中很難實現(xiàn)實時監(jiān)控。其次，對視頻中的人數(shù)估計。人數(shù)檢測算法主要分為兩類，一類是通過檢測或者識別人群目標進行直接計算人數(shù)的算法，一類是通過提取人群的特征進行間接計算人數(shù)的算法。直接計算法又可以分為基于模型和基于軌跡聚類兩種類型，基于模型的主要思路是將人分割出來，然后用人的模型或者形狀進行匹配以便進行計數(shù)，基于軌跡聚類的算法是通過檢測人群中相互獨立的運動模式，根據(jù)運動模式分別進行計數(shù)。間接計算法主要包括基于像素特征的算法和基于特征點的算法。davie等人在1995年第一次提出運用圖像處理技術來檢測人群人數(shù)，其主要思路是，首先提取出視頻圖像的前景邊緣圖像并得到其總的像素數(shù)，然后將得到的像素數(shù)輸入訓練得到的線性回歸方程計算人數(shù)，該方法算法復雜度較低，但是算法準確度不高。在人群密度較高的情況下，人群的擁擠會導致目標的重疊或者遮擋，這時基于像素特征的方法其準確性將大打折扣，故基于像素特征的算法只能在人群密度較低的情況下使用?；谔卣鼽c的算法主要思路是，首先提取特征點，如harris角點、sift角點、surf角點等，然后對角點進行跟蹤，經(jīng)過算法篩選得到隨目標移動的點，根據(jù)環(huán)境訓練系統(tǒng)需要的參數(shù)并獲得回歸方程，最后根據(jù)前景特征點的數(shù)目以及訓練好的回歸方程，得到總的人群人數(shù)。最后，對視頻中的人群進行異常行為檢測。人群異常行為檢測屬于群體行為識別的范疇，目前主要通過人群的運動速度和方向來判斷是否有異常行為，不少學者也提出了一些針對人群異常行為檢測的算法。andrade等人首先定義一種“正常群體運動”，然后采用隱馬爾科夫模型(hiddenmarkovmodel,hmm)進行人群行為分析，但是該算法所采用的人群行為描述特征性能較差，故檢測準確度較低。wang等人通過采用改進的時空體特征對群體行為進行描述，但該方法計算復雜度太高難以滿足實時性要求。另外，hassner等人提出了一種基于全局光流信息的人群暴力行為檢測算法，該算法檢測準確度較高。liu等人提出用一系列基于主體運動的模型來發(fā)現(xiàn)群體運動軌跡，從而識別群體運動，該方法識別效果較好，但是處理速度過慢，不利于實際應用。技術實現(xiàn)要素：本發(fā)明的目的就在于為了解決上述問題而提供一種基于視頻的人群密度與異常行為檢測系統(tǒng)的方法。本發(fā)明通過以下技術方案來實現(xiàn)上述目的：(1)人群密度分級：將像素點統(tǒng)計和紋理特征相結合，首先用像素點統(tǒng)計法對人群進行預估計，當判斷當前的人群密度過高時就采用紋理特征進行人群密度估計，該方法既利用了像素點統(tǒng)計法實現(xiàn)簡單、速度快的優(yōu)點，又能在高密度人群時利用紋理特征法進行進一步的密度分級?；谙袼攸c統(tǒng)計的人群密度分級：(a)先對待處理圖像轉(zhuǎn)化為灰度圖像，采用文獻canny邊緣檢測算法對相鄰兩幀灰度圖像進行邊緣提取，得到邊緣圖像；(b)將兩幀得到的邊緣圖像進行差分，并通過形態(tài)學膨脹和腐蝕操作消除干擾噪聲，得到優(yōu)化后的差分邊緣圖像；(c)再將當前幀的邊緣圖像和優(yōu)化后的差分邊緣圖像進行與操作，得到運動前景邊緣圖像；(d)將前景邊緣像劃分很多個矩形框，計算出每個矩形框中的邊緣像素點數(shù)，計算出邊緣最終的總像素點數(shù)；(e)采用線性擬合的方法擬合出人群數(shù)量與人群前景邊緣總像素點數(shù)之間的關系，估計出人群數(shù)量，進而估計出大概的人群密度。(f)當前人數(shù)是否大于閾值thr1，若否，則輸出密度等級，低密度和中密度；若是，則采用基于紋理特征的人群密度等級分級，并輸出高密度和極高密度?；诩y理特征的人群密度分級，由于圖像中的紋理沒有規(guī)律，大多服從統(tǒng)計分布規(guī)律，因此本文選取基于灰度共生矩陣(glcm)的紋理特征對高密度人群進行分析，并實現(xiàn)不同人群密度的分級。設i(x,y)為原圖像，m×n為圖像像尺寸為，m,n分別表示圖像的寬度和高度，l表示圖像灰度級別，根據(jù)一定空間關系，得出的灰度共生矩陣為：f(i,j)＝#{(x1,y1),(x2,y2)∈m×n|i(x1,y1)＝i,i(x2,y2)＝j}(1)式(1)中，i和j表示圖像灰度值，#表示集合中的元素個數(shù)，f為l×l的矩陣，像素點(x1,y1)和(x2,y2)之間的距離為d，兩像素點的連線與水平方向的夾角為θ，則生成的灰度共生矩陣為f(i,j|d,θ)，其意義是滿足圖像中出現(xiàn)灰度值分別為i、j，相距距離為d，方向為θ的兩個像素點的次數(shù)，一般θ＝0°,45°,90°,135°。由灰度共生矩陣得到5種紋理參數(shù)：對比度、均勻性、能量、熵、相關性。對比度均勻性能量熵相關性其中，(2)人數(shù)估計：將像素點統(tǒng)計和前景角點檢測相結合，首先用像素點統(tǒng)計法對視頻中的人數(shù)預估計，當判斷當前的人數(shù)高于閾值thr1時就采用前景角點檢測對視頻中的人數(shù)進行估計，具體步驟如下：基于像素點統(tǒng)計的人數(shù)估計如上(1)中所述?；谇熬包c角點檢測的人數(shù)估計：(a)初始化參數(shù)，主要是初始化α、β的值，角點之間的最小距離dmin等。(b)角點檢測，采用shi-tomasi算法獲得視頻圖像的所有角點。(c)光流跟蹤，采用金字塔lk光流法對獲取的角點進行有效跟蹤。(d)提取前景角點，通過計算每個角點處光流幅值剔除背景點，該處光流幅值大于閾值thr2時，即為前景點。(e)檢測人群人數(shù)，根據(jù)前景角點數(shù)目，按照初始值和式(11)計算得到人群人數(shù)估計值nest。nest＝(αn+βn)/2(11)其中，視頻圖像中檢測到的前景角點的數(shù)目為n，人群目標人數(shù)為n，為了減少圖像中角度造成的影響，定義人群人數(shù)的下限值為αn,上限值為βn，α、β為適當正數(shù)，且α≤β根據(jù)大量數(shù)據(jù)統(tǒng)計發(fā)現(xiàn)，人群人數(shù)n一般不大于前景角點數(shù)目n,故有β≤1。α的大小與人群個體所占圖像面積比重大小有關，所以一般地0.5＜α≤1。(3)異常行為檢測一般來說，當人群出現(xiàn)異常行為時，人的運動動能的變化將比正常情況下劇烈得多，因此可以通過分析人體的運動動能的變化來判斷人群的行為狀態(tài)。而人的運動動能一般與其光流的幅值量呈正相關，因此可以用光流幅值來表征人的運動動能，根據(jù)某點的光流可以得到光流幅值，結合幀間的運動信息可以得到光流幅值變化量，于是我們可以計算人群的平均光流幅值，再根據(jù)幀間信息進而可以得到平均光流幅值變化的情況。假定視頻圖像中的某個像素點px,y在t時刻的光流向量為(ux,y,t,vx,y,t)，其中，ux,y,t、vx,y,t分別為t時刻px,y在x和y方向的光流分量，該點t時刻的光流幅值表示如下：求px,y處相鄰幀間的光流幅值變化量，然后依據(jù)設定的閾值mean將其二值化，設二值化后的光流幅值變化量為bx,y,t，二值化規(guī)則表示如下：閾值mean為幀間光流幅值變化量的平均值，mean依據(jù)式(14)得到。其中，row、cols分別代表視頻圖像的行數(shù)和列數(shù)。接著計算同一像素點在不同時刻的二值化后的光流幅值變化量平均值，假定該像素點的二值化后的光流幅值平均變化量為依據(jù)式(15)得到。由以上論述可知，通過光流信息計算得到每一個像素點的光流幅值，進而可以計算每幀的光流幅值平均值。在這里設定當前幀的光流幅值平均值、動能平均值分別為為前一幀光流幅值平均值、動能平均值分別為用式(16)表示動能變化與光流幅值量變化的關系。其中，k為一般正數(shù)，λ表示平均動能變化的倍率，當λ超過閾值thr2時，當前人群運動有異常行為。綜上，我們可以通過計算圖像中每群人的平均動能變化倍率，再根據(jù)閾值thr2來判斷當前人群是否有異常行為。如果有異常行為，保存第一幀異常幀的前一幀的平均光流幅值，以便求后續(xù)幀與該幀的平均動能變化倍率，從而判斷后續(xù)幀是否有異常。本發(fā)明的有益效果在于：本發(fā)明設計了一種基于視頻的人群密度與異常行為檢測系統(tǒng)，針對較為突出的大型公共場所中聚集人群的視頻，該系統(tǒng)能夠檢測出人群密度等級、估計出人數(shù)、檢測人群狀態(tài)正常與否，具有檢測準確的優(yōu)點，并且對于異常人群能實施報警，本發(fā)明方法易于在軟件平臺上實現(xiàn)且運算量小，實時性高。附圖說明圖1是本發(fā)明所述基于視頻的人群密度與異常行為檢測系統(tǒng)的整體流程圖。具體實施方式下面結合附圖對本發(fā)明作進一步說明：如圖1所示，圖中的流程是以下方法的主要過程簡述，采用以下步驟對用于監(jiān)測的視頻圖像進行分析：(1)人群密度分級：將像素點統(tǒng)計和紋理特征相結合，首先用像素點統(tǒng)計法對人群進行預估計，當判斷當前的人群密度過高時就采用紋理特征進行人群密度估計，該方法既利用了像素點統(tǒng)計法實現(xiàn)簡單、速度快的優(yōu)點，又能在高密度人群時利用紋理特征法進行進一步的密度分級?；谙袼攸c統(tǒng)計的人群密度分級：(a)先對待處理圖像轉(zhuǎn)化為灰度圖像，采用文獻canny邊緣檢測算法對相鄰兩幀灰度圖像進行邊緣提取，得到邊緣圖像；(b)將兩幀得到的邊緣圖像進行差分，并通過形態(tài)學膨脹和腐蝕操作消除干擾噪聲，得到優(yōu)化后的差分邊緣圖像；(c)再將當前幀的邊緣圖像和優(yōu)化后的差分邊緣圖像進行與操作，得到運動前景邊緣圖像；(d)將前景邊緣像劃分很多個矩形框，計算出每個矩形框中的邊緣像素點數(shù)，計算出邊緣最終的總像素點數(shù)；(e)采用線性擬合的方法擬合出人群數(shù)量與人群前景邊緣總像素點數(shù)之間的關系，估計出人群數(shù)量，進而估計出大概的人群密度。(f)當前人數(shù)是否大于閾值thr1，若否，則輸出密度等級，低密度和中密度；若是，則采用基于紋理特征的人群密度等級分級，并輸出高密度和極高密度?；诩y理特征的人群密度分級，由于圖像中的紋理沒有規(guī)律，大多服從統(tǒng)計分布規(guī)律，因此本文選取基于灰度共生矩陣(glcm)的紋理特征對高密度人群進行分析，并實現(xiàn)不同人群密度的分級。設i(x,y)為原圖像，m×n為圖像像尺寸為，m,n分別表示圖像的寬度和高度，l表示圖像灰度級別，根據(jù)一定空間關系，得出的灰度共生矩陣為：f(i,j)＝#{(x1,y1),(x2,y2)∈m×n|i(x1,y1)＝i,i(x2,y2)＝j}(1)式(1)中，i和j表示圖像灰度值，#表示集合中的元素個數(shù)，f為l×l的矩陣，像素點(x1,y1)和(x2,y2)之間的距離為d，兩像素點的連線與水平方向的夾角為θ，則生成的灰度共生矩陣為f(i,j|d,θ)，其意義是滿足圖像中出現(xiàn)灰度值分別為i、j，相距距離為d，方向為θ的兩個像素點的次數(shù)，一般θ＝0°,45°,90°,135°。由灰度共生矩陣得到5種紋理參數(shù)：對比度、均勻性、能量、熵、相關性。對比度均勻性能量熵相關性其中，(2)人數(shù)估計：將像素點統(tǒng)計和前景角點檢測相結合，首先用像素點統(tǒng)計法對視頻中的人數(shù)預估計，當判斷當前的人數(shù)高于閾值thr1時就采用前景角點檢測對視頻中的人數(shù)進行估計，具體步驟如下：基于像素點統(tǒng)計的人數(shù)估計如上(1)中所述?；谇熬包c角點檢測的人數(shù)估計：(a)初始化參數(shù)，主要是初始化α、β的值，角點之間的最小距離dmin等。(b)角點檢測，采用shi-tomasi算法獲得視頻圖像的所有角點。(c)光流跟蹤，采用金字塔lk光流法對獲取的角點進行有效跟蹤。(d)提取前景角點，通過計算每個角點處光流幅值剔除背景點，該處光流幅值大于閾值thr2時，即為前景點。(e)檢測人群人數(shù)，根據(jù)前景角點數(shù)目，按照初始值和式(11)計算得到人群人數(shù)估計值nest。nest＝(αn+βn)/2(11)其中，視頻圖像中檢測到的前景角點的數(shù)目為n，人群目標人數(shù)為n，為了減少圖像中角度造成的影響，定義人群人數(shù)的下限值為αn,上限值為βn，α、β為適當正數(shù)，且α≤β根據(jù)大量數(shù)據(jù)統(tǒng)計發(fā)現(xiàn)，人群人數(shù)n一般不大于前景角點數(shù)目n,故有β≤1。α的大小與人群個體所占圖像面積比重大小有關，所以一般地0.5＜α≤1。(3)異常行為檢測假定視頻圖像中的某個像素點px,y在t時刻的光流向量為(ux,y,t,vx,y,t)，其中，ux,y,t、vx,y,t分別為t時刻px,y在x和y方向的光流分量，該點t時刻的光流幅值表示如下：求px,y處相鄰幀間的光流幅值變化量，然后依據(jù)設定的閾值mean將其二值化，設二值化后的光流幅值變化量為bx,y,t，二值化規(guī)則表示如下：閾值mean為幀間光流幅值變化量的平均值，mean依據(jù)式(14)得到。其中，row、cols分別代表視頻圖像的行數(shù)和列數(shù)。接著計算同一像素點在不同時刻的二值化后的光流幅值變化量平均值，假定該像素點的二值化后的光流幅值平均變化量為依據(jù)式(15)得到。由以上論述可知，通過光流信息計算得到每一個像素點的光流幅值，進而可以計算每幀的光流幅值平均值。在這里設定當前幀的光流幅值平均值、動能平均值分別為為前一幀光流幅值平均值、動能平均值分別為用式(16)表示動能變化與光流幅值量變化的關系。其中，k為一般正數(shù)，λ表示平均動能變化的倍率，當λ超過閾值thr2時，當前人群運動有異常行為。綜上，我們可以通過計算圖像中每群人的平均動能變化倍率，再根據(jù)閾值thr2來判斷當前人群是否有異常行為。如果有異常行為，保存第一幀異常幀的前一幀的平均光流幅值，以便求后續(xù)幀與該幀的平均動能變化倍率，從而判斷后續(xù)幀是否有異常。為了驗證本發(fā)明提出的基于視頻的人群密度與異常行為檢測系統(tǒng)的有效性和可行性，下面通過實驗進行詳細的分析比較：由表1定義人群密度與人數(shù)的關系。本實驗在公共視頻grandcentral及自行拍攝的視頻上進行了測試，密度等級分級準確性如表2所示，人數(shù)估計的平均相對誤差如表3所示，異常行為檢測的正檢率、漏檢率、虛警率如表4所示，本發(fā)明視頻分析算法處理每幀視頻的平均耗時如表5所示，從表2、表3、表4、表5可以看出采用本發(fā)明所提出分析方法能得到較好的結果，同時實驗結果也驗證了本發(fā)明所述分析方法的有效性和可行性。表1人群密度等級定義密度等級低密度中密度高密度極高密度人數(shù)0-2021-5051-150>150表2人群密度等級分級準確率密度等級本發(fā)明算法密度分級準確率低密度91.1％中密度90.2％高密度79.6％極高密度86.5％表3人數(shù)估計平均相對誤差算法平均相對誤差本發(fā)明人數(shù)估計算法16.82％表4異常行為檢測正檢率、漏檢率與虛警率算法異常行為正檢率異常行為漏檢率異常行為虛警率本發(fā)明異常行為檢測算法92.12％7.88％3.18％表5系統(tǒng)平均耗時(處理每幀)算法系統(tǒng)平均耗時本發(fā)明的視頻分析方法101.84ms/frame當前第1頁12