一種實(shí)時(shí)高精度人流計(jì)數(shù)方法
【專利摘要】本發(fā)明提出了一種實(shí)時(shí)高精度人流計(jì)數(shù)方法，所述方法包含動(dòng)目標(biāo)前景提取和前景區(qū)域行人檢測(cè)兩個(gè)步驟；所述動(dòng)目標(biāo)前景提取步驟對(duì)獲取的視頻幀序列進(jìn)行前景檢測(cè)，獲得包含行人、車輛等動(dòng)目標(biāo)的前景區(qū)域；所述前景區(qū)域行人檢測(cè)步驟利用離線訓(xùn)練的可變形部件模型對(duì)前景區(qū)域進(jìn)行行人檢測(cè)，確定前景區(qū)域的行人數(shù)量和位置；以當(dāng)前幀檢測(cè)結(jié)果為起始，對(duì)行人目標(biāo)后續(xù)運(yùn)動(dòng)進(jìn)行跟蹤，實(shí)現(xiàn)人流進(jìn)出卡口的判斷和記錄。本發(fā)明方法基于背景差方法提取出包含目標(biāo)的前景區(qū)域，使得算法滿足實(shí)時(shí)計(jì)算的條件，基于可變形部件模型的行人檢測(cè)確保了人流計(jì)數(shù)的高精度，提供了一種實(shí)時(shí)、高精度、抗遮擋性能良好的人流計(jì)數(shù)方法，具有很高的實(shí)用價(jià)值和發(fā)展前景。
【專利說明】一種實(shí)時(shí)高精度人流計(jì)數(shù)方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理【技術(shù)領(lǐng)域】，特別涉及一種實(shí)時(shí)高精度人流計(jì)數(shù)方法。

【背景技術(shù)】
[0002]在現(xiàn)代社會(huì)，安防是一個(gè)非常重要的領(lǐng)域，而視頻監(jiān)控技術(shù)正是安防技術(shù)的核心組成部分之一，視頻監(jiān)控的應(yīng)用范圍很廣，包括運(yùn)動(dòng)檢測(cè)、目標(biāo)跟蹤、人臉識(shí)別、車輛識(shí)別、遺留物/移走物檢測(cè)、異常行為檢測(cè)及識(shí)別、人數(shù)統(tǒng)計(jì)、人群密度估計(jì)、公共場(chǎng)所的人流控制、交通路口車輛流量控制等。
[0003]由于在理論研究與實(shí)際應(yīng)用都具備重要研究意義的課題，行人流量計(jì)數(shù)一直吸引著大量研究者的興趣。在應(yīng)用層面上，人流統(tǒng)計(jì)在不同的應(yīng)用場(chǎng)合可以發(fā)揮不同的作用，可為商場(chǎng)獲取商場(chǎng)內(nèi)部按不同時(shí)段分布的人數(shù)統(tǒng)計(jì)、人群流動(dòng)方向等信息；商場(chǎng)外人行道上的人群流動(dòng)量統(tǒng)計(jì)信息，有利于評(píng)估商場(chǎng)選址是否適當(dāng)。在技術(shù)層面上，為了實(shí)現(xiàn)人流計(jì)數(shù)，要涉及運(yùn)動(dòng)檢測(cè)與跟蹤、目標(biāo)識(shí)別等內(nèi)容，它們代表了計(jì)算機(jī)視覺領(lǐng)域的前沿研究方向；同時(shí)，由于運(yùn)動(dòng)檢測(cè)、目標(biāo)跟蹤、識(shí)別等的研究具有相當(dāng)?shù)碾y度，相應(yīng)的研究具有重要的學(xué)術(shù)意義。
[0004]最近十年來，有很多人流計(jì)數(shù)方法被提出來，其中大多數(shù)方法都是基于前景檢測(cè)及圖像分塊來進(jìn)行計(jì)數(shù)的，還有基于“AdaBoost+Haar”用于行人檢測(cè)和“方向梯度直方圖(HOG) +支持向量機(jī)(SVM)”等主流方法。其中引發(fā)出了很多難題，如前景檢測(cè)不穩(wěn)定，出現(xiàn)鬼影、分塊、漏檢等問題，這些主要是由環(huán)境中光照、陰影等因素導(dǎo)致；所謂鬼影就是將前幾幀運(yùn)動(dòng)物體所覆蓋的區(qū)域錯(cuò)誤的檢測(cè)為運(yùn)動(dòng)目標(biāo)。而在人群擁擠出現(xiàn)個(gè)體遮擋的情況下，“H0G+SVM”等方法則存在漏檢的問題。同時(shí)，人員出現(xiàn)量大的場(chǎng)景，如地鐵站、汽車站、火車站等，計(jì)算度成量級(jí)上升的情況下，需要保證實(shí)時(shí)性的問題。


【發(fā)明內(nèi)容】

[0005]本發(fā)明所要解決的技術(shù)問題在于克服現(xiàn)有技術(shù)的不足，針對(duì)因環(huán)境和人為因素干擾造成目標(biāo)識(shí)別率低和目標(biāo)檢測(cè)實(shí)時(shí)性差而導(dǎo)致的人流計(jì)數(shù)精度不高的問題，提供一種實(shí)時(shí)高精度人流計(jì)數(shù)方法。
[0006]為解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案是:
一種實(shí)時(shí)高精度人流計(jì)數(shù)方法，具體步驟如下:
步驟1:采集實(shí)時(shí)視頻序列；
步驟2:訓(xùn)練行人可變形部件模型；
步驟3:運(yùn)動(dòng)目標(biāo)前景提取:對(duì)每幀視頻圖像進(jìn)行處理，采用ViBe背景建模方法，提取出每幀圖像的前景圖像，得到該前景圖像的最小外接矩形；
步驟4:前景區(qū)域行人檢測(cè):取出步驟3中前景圖像的最小外接矩形所對(duì)應(yīng)的視頻圖像幀中的圖像區(qū)域，對(duì)該區(qū)域進(jìn)行行人檢測(cè)，使用已經(jīng)訓(xùn)練好的行人可變形部件模型進(jìn)行匹配，獲得該區(qū)域中行人的數(shù)量和位置坐標(biāo)； 步驟5:使用卡爾曼濾波方法對(duì)步驟4檢測(cè)得到的行人結(jié)果進(jìn)行跟蹤，判斷行人是否存在穿越卡口的行為，獲取人流進(jìn)出卡口的人數(shù)；
步驟6:對(duì)人流進(jìn)出卡口的數(shù)據(jù)進(jìn)行輸出。
[0007]步驟2中，所述訓(xùn)練行人可變形部件模型，采用Latent SVM方法，采用的訓(xùn)練數(shù)據(jù)包含PASCAL行人圖像數(shù)據(jù)庫、INRIA行人圖像數(shù)據(jù)庫。
[0008]所述訓(xùn)練數(shù)據(jù)包含9000張正樣本和5000張負(fù)樣本，所述正樣本包含行人圖像數(shù)據(jù)庫中的9000張行人圖像，所述負(fù)樣本包含行人圖像數(shù)據(jù)庫中的5000張不含行人的圖片。
[0009]步驟4中，所述前景區(qū)域行人檢測(cè)，其具體步驟如下:
步驟4-1，計(jì)算前景區(qū)域圖像的HOG特征圖，建立10個(gè)尺度的圖像特征金字塔；
步驟4-2，分別用訓(xùn)練好的三個(gè)方向的可變形部件模型掃描特征圖像，獲得不同尺度下的得分；
步驟4-3，將圖像不同尺度下的得分相加得到模型匹配的分?jǐn)?shù)，當(dāng)三個(gè)模型得分最大值大于檢測(cè)閾值時(shí)，判斷為行人，進(jìn)而得到行人的準(zhǔn)確位置。
[0010]步驟5中，所述獲取人流進(jìn)出卡口的人數(shù)，其具體步驟是:分別設(shè)定進(jìn)計(jì)數(shù)器和出計(jì)數(shù)器，若前后兩幀目標(biāo)位移相比較為進(jìn)的方向，則進(jìn)計(jì)數(shù)器加I ;否則出計(jì)數(shù)器加I;一直到目標(biāo)離開卡口監(jiān)控區(qū)域時(shí)，根據(jù)進(jìn)計(jì)數(shù)器和出計(jì)數(shù)器的值，統(tǒng)計(jì)人流進(jìn)出卡口的人數(shù)。
[0011]本發(fā)明的有益效果:
本發(fā)明提出了一種實(shí)時(shí)高精度人流計(jì)數(shù)方法，該方法包含動(dòng)目標(biāo)前景提取和前景區(qū)域行人檢測(cè)兩個(gè)步驟；所述動(dòng)目標(biāo)前景提取步驟對(duì)獲取的視頻幀序列進(jìn)行前景檢測(cè)，獲得包含行人、車輛等動(dòng)目標(biāo)的前景區(qū)域；所述前景區(qū)域行人檢測(cè)步驟利用離線訓(xùn)練的可變形部件模型對(duì)前景區(qū)域進(jìn)行行人檢測(cè)，確定前景區(qū)域的行人數(shù)量和位置；以當(dāng)前幀檢測(cè)結(jié)果為起始，對(duì)行人目標(biāo)后續(xù)運(yùn)動(dòng)進(jìn)行跟蹤，實(shí)現(xiàn)人流進(jìn)出卡口的判斷和記錄。本發(fā)明方法基于背景差方法提取出包含目標(biāo)的前景區(qū)域，使得算法滿足實(shí)時(shí)計(jì)算的條件，基于可變形部件模型的行人檢測(cè)確保了人流計(jì)數(shù)的高精度，提供了一種實(shí)時(shí)、高精度、抗遮擋性能良好的人流計(jì)數(shù)方法，具有很高的實(shí)用價(jià)值和發(fā)展前景。

【專利附圖】

【附圖說明】
[0012]圖1:本發(fā)明實(shí)時(shí)高精度人流計(jì)數(shù)方法的整體流程圖。

【具體實(shí)施方式】
[0013]下面結(jié)合附圖所示流程對(duì)本發(fā)明提出的一種實(shí)時(shí)高精度人流計(jì)數(shù)方法的實(shí)施例包括以下幾個(gè)步驟。
[0014]如圖1所示的實(shí)施例，本發(fā)明一種實(shí)時(shí)高精度人流計(jì)數(shù)方法，其步驟如下:
步驟1:采集校園的行人比較密集的校門的視頻圖像；
步驟 2:米用 Latent SVM 方法(詳見 Pedro F.Felzenszwalb, Ross B.Girshick,David McAllester and Deva Ramanan.0bject Detect1n with DiscriminativelyTrained Part-Based Models.1EEE Transact1ns on Pattern Analysis and MachineIntelligence, 32 (9): 1627-1645, 2010)，訓(xùn)練行人可變形部件模型，訓(xùn)練數(shù)據(jù)采用國際通用的行人圖像數(shù)據(jù)庫，包括PASCAL數(shù)據(jù)庫、INRIA數(shù)據(jù)庫等，從行人圖像數(shù)據(jù)庫中選取9000張行人圖像作為正樣本，從行人圖像數(shù)據(jù)庫中選取5000張沒有行人的圖像作為負(fù)樣本訓(xùn)練得到行人的混合模型，包括行人的具有一定俯角的正面、側(cè)面和頂部三個(gè)方向的可變形部件模型(Deformable Part Models, DPM)；
步驟3:提取動(dòng)目標(biāo)前景區(qū)域:首先需要對(duì)圖像進(jìn)行背景建模，對(duì)比混合高斯法、核密度估計(jì)法、均值法、碼本法和ViBe法等幾種背景建模檢測(cè)算法，綜合考慮算法對(duì)硬件內(nèi)存，魯棒性，實(shí)時(shí)性的要求，本專利選擇ViBe算法來對(duì)圖像建立背景模型。
[0015]具體步驟:首先為每個(gè)像素存儲(chǔ)一個(gè)含20個(gè)樣本值的背景樣本集，樣本集中采樣值就是該像素鄰居點(diǎn)的像素值，然后將下一幀該像素的新像素值和樣本集進(jìn)行比較來判斷是否是前景點(diǎn)，然后對(duì)背景樣本集進(jìn)行更新再進(jìn)行下一幀的比較和判斷，提取出每幀圖像的前景圖像，以最小外接矩形的形式給出；
步驟4:利用可變形部件模型檢測(cè)前景圖像中的行人:取出步驟3中前景圖像的最小外接矩形所對(duì)應(yīng)的視頻圖像幀中的圖像區(qū)域，對(duì)該區(qū)域用訓(xùn)練好的可變形部件模型進(jìn)行行人檢測(cè)，避免了因在整張圖像中滑框檢測(cè)花費(fèi)大量的檢測(cè)時(shí)間，確保了實(shí)時(shí)性。具體檢測(cè)的過程如下:
4-1:計(jì)算特征金字塔具體步驟為:計(jì)算各個(gè)尺度的特征圖。將整個(gè)尺度空間劃分成間隔為10的組來計(jì)算,每組有10個(gè)尺度。在每個(gè)尺度上,都用sbin/2和sbin (sbin=8)這樣的單元大小來分別計(jì)算兩張HOG特征圖，第一張?zhí)卣鲌D相當(dāng)于上采樣的特征圖，然后對(duì)圖像下采樣到二倍分辨率，用sbin進(jìn)行特征圖的計(jì)算；其中，sbin表示標(biāo)準(zhǔn)單元大小。這里的特征圖每個(gè)點(diǎn)是一個(gè)32維向量，此處32維向量就是HOG特征。
[0016]4-2:計(jì)算每點(diǎn)的分?jǐn)?shù):在動(dòng)目標(biāo)圖像中檢測(cè)行人時(shí)，根據(jù)各個(gè)部件最佳位置計(jì)算每個(gè)根位置的綜合得分，即檢測(cè)窗口在指定根位置的得分，每一級(jí)的全局根濾波器分?jǐn)?shù)可由各級(jí)根濾波器分?jǐn)?shù)的和加上偏移的經(jīng)過轉(zhuǎn)換和下采樣的部分濾波器響應(yīng)來進(jìn)行表達(dá)，使用動(dòng)態(tài)規(guī)劃和廣義距離變換來計(jì)算部件的最優(yōu)位置并獲取最終在此位置的分?jǐn)?shù)。
[0017]4-3:計(jì)算三個(gè)模型的得分，當(dāng)三個(gè)模型得分最大值大于檢測(cè)閾值時(shí)，判斷為行人，進(jìn)而得到行人的準(zhǔn)確位置。
[0018]步驟5:使用卡爾曼濾波方法對(duì)上述檢測(cè)得到的行人結(jié)果進(jìn)行跟蹤，判斷行人是否存在穿越卡口的行為，獲取人流進(jìn)出卡口的準(zhǔn)確數(shù)據(jù)。判斷行人進(jìn)出卡口的具體步驟:分別設(shè)定進(jìn)計(jì)數(shù)器和出計(jì)數(shù)器，若前后兩幀目標(biāo)位移相比較為進(jìn)的方向，則進(jìn)計(jì)數(shù)器加1，否則出計(jì)數(shù)器加1，一直到目標(biāo)離開監(jiān)控區(qū)域時(shí)，比較進(jìn)計(jì)數(shù)器和出計(jì)數(shù)器的值，若進(jìn)計(jì)數(shù)器的值減去出計(jì)數(shù)器的值為正，則判斷為進(jìn)，反之，則為出。統(tǒng)計(jì)進(jìn)出的總數(shù)目。
[0019]步驟6:對(duì)人流進(jìn)出卡口的數(shù)據(jù)進(jìn)行輸出。使用具有一定俯角的正面、側(cè)面和頂部混合模型，使得攝像頭在俯角較小的情況下也能夠準(zhǔn)確檢測(cè)出行人并計(jì)數(shù)。使用的模型是可變形部件模型，避免了當(dāng)行人有遮擋、行人密集的情況下檢測(cè)效果差，提高了識(shí)別的準(zhǔn)確率，可以實(shí)現(xiàn)實(shí)時(shí)高精度的人流計(jì)數(shù)。
[0020]顯然，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，對(duì)上述本發(fā)明所公開的一種實(shí)時(shí)高精度人流計(jì)數(shù)方法，還可以在不脫離本
【發(fā)明內(nèi)容】
的基礎(chǔ)上做出各種改進(jìn)。因此，本發(fā)明的保護(hù)范圍應(yīng)當(dāng)由所附的權(quán)利要求書的內(nèi)容確定。
【權(quán)利要求】
1.一種實(shí)時(shí)高精度人流計(jì)數(shù)方法，其特征在于，包括以下步驟: 步驟A:采集實(shí)時(shí)視頻序列； 步驟B:訓(xùn)練行人可變形部件模型； 步驟C:運(yùn)動(dòng)目標(biāo)前景提取:對(duì)每幀視頻圖像進(jìn)行處理，采用ViBe背景建模方法，提取出每幀圖像的前景圖像，得到該前景圖像的最小外接矩形； 步驟D:前景區(qū)域行人檢測(cè):取出步驟C中前景圖像的最小外接矩形所對(duì)應(yīng)的視頻圖像幀中的圖像區(qū)域，對(duì)該區(qū)域進(jìn)行行人檢測(cè)，使用已經(jīng)訓(xùn)練好的行人可變形部件模型進(jìn)行匹配，獲得該區(qū)域中行人的數(shù)量和位置坐標(biāo)； 步驟E:使用卡爾曼濾波方法對(duì)步驟D檢測(cè)得到的行人結(jié)果進(jìn)行跟蹤，判斷行人是否存在穿越卡口的行為，獲取人流進(jìn)出卡口的人數(shù)； 步驟F:對(duì)人流進(jìn)出卡口的數(shù)據(jù)進(jìn)行輸出。
2.根據(jù)權(quán)利要求1所述的一種實(shí)時(shí)高精度人流計(jì)數(shù)方法，其特征在于，步驟B中，所述行人可變形部件模型的訓(xùn)練采用Latent SVM方法，采用的訓(xùn)練數(shù)據(jù)包含PASCAL行人圖像數(shù)據(jù)庫、INRIA行人圖像數(shù)據(jù)庫。
3.根據(jù)權(quán)利要求2所述的一種實(shí)時(shí)高精度人流計(jì)數(shù)方法，其特征在于:所述訓(xùn)練數(shù)據(jù)包含9000張正樣本和5000張負(fù)樣本，所述正樣本包含行人圖像數(shù)據(jù)庫中的9000張行人圖像，所述負(fù)樣本包含行人圖像數(shù)據(jù)庫中的5000張不含行人的圖片。
4.根據(jù)權(quán)利要求1所述的一種實(shí)時(shí)高精度人流計(jì)數(shù)方法，其特征在于:步驟D中，所述前景區(qū)域行人檢測(cè)的具體步驟是: 步驟D-1，計(jì)算前景區(qū)域圖像的HOG特征圖，建立10個(gè)尺度的圖像特征金字塔； 步驟D-2，分別用訓(xùn)練好的三個(gè)方向的可變形部件模型掃描特征圖像獲得不同尺度下的得分； 步驟D-3，將圖像不同尺度下的得分相加得到模型匹配的分?jǐn)?shù)，當(dāng)三個(gè)模型得分最大值大于檢測(cè)閾值時(shí)，判斷為行人，進(jìn)而得到行人的準(zhǔn)確位置。
5.根據(jù)權(quán)利要求1所述的一種實(shí)時(shí)高精度人流計(jì)數(shù)方法，其特征在于:步驟E中，所述獲取人流進(jìn)出卡口的人數(shù)，其具體步驟是:分別設(shè)定進(jìn)計(jì)數(shù)器和出計(jì)數(shù)器，若前后兩幀目標(biāo)位移相比較為進(jìn)的方向，則進(jìn)計(jì)數(shù)器加I ;否則出計(jì)數(shù)器加I;一直到目標(biāo)離開卡口監(jiān)控區(qū)域時(shí)，根據(jù)進(jìn)計(jì)數(shù)器和出計(jì)數(shù)器的值，統(tǒng)計(jì)人流進(jìn)出卡口的人數(shù)。
【文檔編號(hào)】G06K9/66GK104318263SQ201410490095
【公開日】2015年1月28日 申請(qǐng)日期:2014年9月24日 優(yōu)先權(quán)日:2014年9月24日
【發(fā)明者】陳泳瑾, 孫寧, 李曉飛 申請(qǐng)人:南京郵電大學(xué)