專利名稱：基于超像素和圖模型的粘連人群分割與跟蹤方法
技術領域：
本發(fā)明屬于圖像數(shù)字處理技術領域，特別地涉及一種基于超像素和圖模型的粘連人群分割與跟蹤方法。
背景技術：
近年來，隨著國民經(jīng)濟的快速增長、社會的迅速進步和綜合國力的不斷增強，銀行、電力、交通、安檢以及軍事設施等領域?qū)Π踩婪逗同F(xiàn)場記錄報警系統(tǒng)的需求與日俱增，要求越來越高，視頻監(jiān)控在生產(chǎn)生活各方面得到了非常廣泛的應用。需要人工值守的視頻監(jiān)控系統(tǒng)在許多方面已經(jīng)顯示出它的不適應性，如果想要在海量的視頻數(shù)據(jù)中快速找出想要的內(nèi)容，需要浪費大量的人力資源，而且當操作人員連續(xù)監(jiān)視屏幕超過20分鐘時，他的注意力將會下降到一個很低的水平，容易遺漏大部分的視頻信息。因此，視頻監(jiān)控的“智能化”就顯得尤為重要。智能視頻監(jiān)控是在數(shù)字化、網(wǎng)絡化基礎上發(fā)展起來的一種更高端的監(jiān)控技術，它利用計算機視覺技術對視頻信號進行處理、分析和理解，在不需要人為干預的情況下，通過對序列圖像自動分析對監(jiān)控場景中的變化進行定位、識別和跟蹤，并在此基礎上分析和判斷目標的行為，實現(xiàn)內(nèi)容分析、事件偵測，能在異常情況發(fā)生時及時產(chǎn)生警報或控制信號，同時系統(tǒng)也能記錄視頻數(shù)據(jù)，并對記錄進行智能搜索，生成結果分析報告。例如對于一個監(jiān)控行人的智能系統(tǒng)，其任務是分析被監(jiān)控對象的行為信息或是身份信息。通常該類系統(tǒng)采用的方案是:首先將目標從背景中提取出來；然后根據(jù)目標的四肢、軀干、紋理等特征綜合地分析人的行為。將目標從背景中提取出來就是一個分割的過程。視頻對象分割是圖像處理技術的難題之一，也是圖像分析、模式識別和計算機視覺等高級圖像操作的關鍵步驟，圖像分割的結果在很大程度上影響著后期圖像處理效果和質(zhì)量。在實際場景中，由于拍攝角度、陰影、以及人體目標之間的相互接觸，會造成一個運動塊對應多個人，這對于單個目標的準確分割是一個嚴峻的挑戰(zhàn)。近年來，學者們對此進行了大量的研究并提出許多可行的方法，但都存在著一些弊端。常見的粘連人群分割方法有以下幾種:(I)基于投影的分割方法該方法將運動前景向垂直方向投影，根據(jù)人體的形狀特征，分割人體目標，但該方法將人體當成一個矩形來分割，無法有效獲得目標的完整輪廓，而且當多個人處在同一垂直線上時，由于投影的峰谷特征不明顯，難以實現(xiàn)準確分割。(2)基于人體模型的分割方法該方法一般要先構造多個人體姿態(tài)模型模擬人的行走姿態(tài)，通過對身體部分進行分級匹配獲得較精確的目標姿態(tài)模型。該方法設計的目標模型個數(shù)多，導致模型匹配的計算量大，算法復雜。而且僅能依據(jù)所匹配的目標姿態(tài)模型對人體目標進行粗略的分割，無法提取精確的目標輪廓。(3)基于多攝像機協(xié)作拍攝的分割方法
該方法使用多個相互遠離的同步監(jiān)控攝像機，采用寬基線區(qū)域立體視覺算法和區(qū)域特征匹配算法，從多個二維圖像中恢復出目標的姿態(tài)信息。這種方法在實際應用中存在費用高、安裝調(diào)試繁瑣等缺點。故，針對目前現(xiàn)有技術中存在的上述缺陷，實有必要進行研究，以提供一種方案，解決現(xiàn)有技術中存在的缺陷，避免造成人體目標無法準確分割，對后續(xù)數(shù)據(jù)處理提供的數(shù)據(jù)不準確。

發(fā)明內(nèi)容
為解決上述問題，本發(fā)明的目的在于提供一種基于超像素和圖模型的粘連人群分割與跟蹤方法，該方法用于擁擠人群的目標分割和跟蹤，魯棒性好，適應性強，能夠精準地提取每個目標的輪廓，能為后續(xù)數(shù)據(jù)處理提供干凈的數(shù)據(jù)。為實現(xiàn)上述目的，本發(fā)明的技術方案為:一種基于超像素和圖模型的粘連人群分割與跟蹤方法，包括以下步驟:S11，對原始輸入視頻圖像進行目標檢測和跟蹤得到各個目標的頭部位置信息，其中包括運動前景；S12，對運動前景進行超像素預分割獲取前景超像素分割圖；S13，根據(jù)人體先驗形狀信息和顏色信息在前景超像素分割圖上構建一個加權圖模型，通過尋找最優(yōu)路徑的方法找到粘連目標之間的最佳分割邊界，具體步驟為:S131，構建一個人體形狀模型，并對人體目標進行模板匹配；S132，根據(jù)前景超像素分割圖上的邊與目標模型的形狀差異性構建邊界的形狀權重；S133，根據(jù)前景超像素分割圖上每條邊相鄰區(qū)域像素塊之間的顏色差異構建邊界的顏色權重；S134，確定一個分割起始點和結束點，在加權圖上找到代價最小的路徑，即為粘連人體的最佳分割邊界。優(yōu)選地，步驟Sll具體包括以下步驟:S111，對原始輸入視頻序列圖像進行背景建模，通過背景差分法，獲得運動目標，此時得到目標前景為I背景為O的二值圖像，對二值圖像進行區(qū)域投影，并對投影進行平滑處理，篩選出符合條件的波峰點，并將這些波峰點與前一幀的目標頭頂預測點的位置進行匹配，獲得當前圖像新出現(xiàn)的頭頂候選點；S112，對新出現(xiàn)的頭頂候選點周圍區(qū)域進行頭部檢測，剔除誤檢測點，獲得真實的頭頂點；S113，對目標頭部進行跟蹤，并對目標頭部頂點在下一幀的位置進行預測。優(yōu)選地，步驟S132，根據(jù)前景超像素分割圖上的邊與目標模型的形狀差異性構建邊界的形狀權重具體包括以下步驟:S1321，根據(jù)頭頂點的位置，尋找目標的腳底點的位置，當腳底點被遮擋時，對目標的身高進行估計，從而獲得目標腳底點的估計位置，通過腳底點的位置估計目標間的前后位置關系；S1322，對目標進行模板匹配；S1323，計算超像素分割圖上的每條邊和目標先驗形狀的差異程度，具體算法實現(xiàn)采用了基于形狀上下文方法對兩段曲線進行差異性度量，并加入歐氏距離算法對分割圖上的邊和目標先驗形狀的空間距離進行衡量。優(yōu)選地，步驟S133，根據(jù)前景超像素分割圖上每條邊相鄰區(qū)域像素塊之間的顏色差異構建邊界的顏色權重具體包括以下步驟:S1331，將RGB三個顏色通道的每個顏色通道均勻量化為η個等級，三個通道總共可以量化為η3個區(qū)間；S1332，計算每個區(qū)間的直方圖；S1333，采用巴氏系數(shù)測量相鄰區(qū)域的相似度。
與現(xiàn)有技術相比，本發(fā)明的有益效果如下:(I)本發(fā)明實施例將檢測和跟蹤聯(lián)合起來，可以避免漏檢、錯檢等情況，提高頭部檢測的準確性，可以檢測出每個目標的頭部區(qū)域，實現(xiàn)目標的精確定位；(2)本發(fā)明實施例利用人體先驗形狀和相鄰區(qū)域的顏色信息，在超像素分割圖上找到粘連目標的最優(yōu)分割邊界，在超像素分割圖上每一條邊都有兩塊與之相鄰的像素塊，這兩塊區(qū)域的顏色越相似那么它們之間的共同邊界越不可能成為分割邊界，同時，邊的形狀和人體先驗模型越接近越有可能成為分割邊界。根據(jù)上述的顏色信息和形狀信息對每條邊進行權重計算，構建一個加權圖模型，通過最短路徑算法，得到粘連目標的最佳分割邊界。使用該方法找到的分割線貼合人體輪廓，具有較好的分割結果，能為后續(xù)處理提供干凈的數(shù)據(jù)。


圖1為本發(fā)明實施例的基于超像素和圖模型的粘連人群分割與跟蹤方法的流程圖；圖2為本發(fā)明實施例的基于超像素和圖模型的粘連人群分割與跟蹤方法的S13的子流程圖；圖3為一具體應用實例中的原始圖像；圖4為圖3經(jīng)檢測后得到的運動前景圖像；圖5為圖4所示的目標頭部檢測的結果圖；圖6為運動前景超像素分割結果圖；圖7為人體模型圖；圖8為目標頭頂點、分割起始點以及結束點的位置示意圖；圖9為模板匹配的結果圖；圖10為圖4所示的粘連人體分割線的結果圖；圖11為圖4的最終分割結果圖；圖12a為現(xiàn)有技術中的投影法的分割效果圖；圖12b為現(xiàn)有技術中的基于人體模型的分割效果圖；圖12c為利用本發(fā)明實施例的方法的分割效果圖。
具體實施例方式為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。相反，本發(fā)明涵蓋任何由權利要求定義的在本發(fā)明的精髓和范圍上做的替代、修改、等效方法以及方案。進一步，為了使公眾對本發(fā)明有更好的了解，在下文對本發(fā)明的細節(jié)描述中，詳盡描述了一些特定的細節(jié)部分。對本領域技術人員來說沒有這些細節(jié)部分的描述也可以完全理解本發(fā)明。參考圖1，所示為本發(fā)明實施例的基于超像素和圖模型的粘連人群分割與跟蹤方法的流程圖，其包括以下步驟:
S11，對原始輸入視頻圖像進行目標檢測和跟蹤得到各個目標的頭部位置信息，其中包括運動前景，其中圖3所示為一具體應用實例中的原始圖像，圖4所示為經(jīng)檢測后得到的運動前景圖像；其中步驟Sll具體包括以下步驟:S111，對原始輸入視頻序列圖像進行背景建模，通過背景差分法，獲得運動目標，此時得到目標前景為I背景為O的二值圖像，對二值圖像進行區(qū)域投影，并對投影進行平滑處理，篩選出符合條件的波峰點，將大于閾值Tl的點選擇為波峰點，并將這些波峰點與前一幀的目標頭頂預測點的位置進行匹配，獲得當前圖像新出現(xiàn)的頭頂候選點；在具體應該實例中，在背景建模中可選用高斯背景建模法。S112，對新出現(xiàn)的頭頂候選點周圍區(qū)域進行頭部檢測，剔除誤檢測點，獲得真實的頭頂點，在具體應用實例中，頭部檢測的方法可以選用Hough霍夫圓檢測法。S113，對目標頭部進行跟蹤，并對目標頭部頂點在下一幀的位置進行預測，具體應用實例中，采用卡爾曼濾波算法，圖5所示為圖4所示的目標頭部檢測的結果圖。S12，對運動前景進行超像素預分割獲取前景超像素分割圖，效果如圖6所示；具體應用實例中，采用Turbopixels超像素分割算法對目標前景進行預分割，目標前景圖像被分割為多個顏色相近，大小均勻，邊緣描述性較好的區(qū)域。圖6所示為對運動前景進行預分割后得到的超像素分割圖。S13，根據(jù)人體先驗形狀信息和顏色信息在前景超像素分割圖上構建一個加權圖模型，通過尋找最優(yōu)路徑的方法找到粘連目標之間的最佳分割邊界。參見圖2，其中S13進一步包括以下步驟，S131，構建一個人體形狀模型，并對人體目標進行模板匹配；(I)構建人體形狀模型(也可稱為先驗形狀模型)利用三個橢圓分別代表頭、軀干和腿來描述人體的粗略形狀，如圖7所示，本發(fā)明實施例模型中三個橢圓各部分的比例如表I所示，若已知目標的頭頂點和身高，即可確定模型中各個橢圓的尺寸。表I人體模型各部分比例
權利要求
1.一種基于超像素和圖模型的粘連人群分割與跟蹤方法，其特征在于，包括以下步驟: S11，對原始輸入視頻圖像進行目標檢測和跟蹤得到各個目標的頭部位置信息，其中包括運動前景； S12，對運動前景進行超像素預分割獲取前景超像素分割圖； S13，根據(jù)人體先驗形狀信息和顏色信息在前景超像素分割圖上構建一個加權圖模型，通過尋找最優(yōu)路徑的方法找到粘連目標之間的最佳分割邊界，具體步驟為:S131，構建一個人體形狀模型，并對人體目標進行模板匹配；S132，根據(jù)前景超像素分割圖上的邊與目標模型的形狀差異性構建邊界的形狀權重；S133，根據(jù)前景超像素分割圖上每條邊相鄰區(qū)域像素塊之間的顏色差異構建邊界的顏色權重；S134，確定一個分割起始點和結束點，在加權圖上找到代價最小的路徑，即為粘連人體的最佳分割邊界。
2.根據(jù)權利要求1所述的基于超像素和圖模型的粘連人群分割與跟蹤方法，其特征在于，步驟Sll具體包括以下步驟:S111，對原始輸入視頻序列圖像進行背景建模，通過背景差分法，獲得運動目標，此時得到目標前景為I背景為O的二值圖像，對二值圖像進行區(qū)域投影，并對投影進行平滑處理，篩選出符合條件的波峰點，并將這些波峰點與前一幀的目標頭頂預測點的位置進行匹配，獲得當前圖像新出現(xiàn)的頭頂候選點；S112，對新出現(xiàn)的頭頂候選點周圍區(qū)域進行頭部檢測，剔除誤檢測點，獲得真實的頭頂點；S113，對目標頭部進行跟蹤，并對目標頭部頂點在下一幀的位置進行預測。
3.根據(jù)權利要求1或2所述的基于超像素和圖模型的粘連人群分割與跟蹤方法，其特征在于，S132，根據(jù)前景超像素分割圖上的邊與目標模型的形狀差異性構建邊界的形狀權重具體包括以下步驟:S1321，根據(jù)頭頂點的位置，尋找目標的腳底點的位置，當腳底點被遮擋時，對目標的身高進行估計，從而獲得目標腳底點的估計位置，通過腳底點的位置估計目標間的前后位置關系；S1322，對目標進行模板匹配；S1323，計算超像素分割圖上的每條邊和目標先驗形狀的差異程度，具體算法實現(xiàn)采用了基于形狀上下文方法對兩段曲線進行差異性度量，并加入歐氏距離算法對分割圖上的邊和目標先驗形狀的空間距離進行衡量。
4.根據(jù)權利要求1或2所述的基于超像素和圖模型的粘連人群分割與跟蹤方法，其特征在于，S133，根據(jù)前景超像素分割圖上每條邊相鄰區(qū)域像素塊之間的顏色差異構建邊界的顏色權重具體包括以下步驟:S1331，將RGB三個顏色通道的每個顏色通道均勻量化為η個等級，三個通道總共可以量化為η3個區(qū)間；S1332，計算每個區(qū)間的直方圖；S1333，采用巴氏系數(shù)測量相鄰區(qū)域的相似度。
全文摘要
本發(fā)明實施例公開了一種基于超像素和圖模型的粘連人群分割與跟蹤方法，用于擁擠人群的目標分割和跟蹤，魯棒性好，適應性強，能夠精準地提取每個目標的輪廓，能為后續(xù)數(shù)據(jù)處理提供干凈的數(shù)據(jù)。其包括以下步驟對原始輸入視頻圖像進行目標檢測和跟蹤得到各個目標的頭部位置信息，其中包括運動前景；對運動前景進行超像素預分割獲取前景超像素分割圖；根據(jù)人體先驗形狀信息和顏色信息在前景超像素分割圖上構建一個加權圖模型，通過尋找最優(yōu)路徑的方法找到粘連目標之間的最佳分割邊界。
文檔編號G06T7/20GK103164858SQ20131009008
公開日2013年6月19日 申請日期2013年3月20日 優(yōu)先權日2013年3月20日
發(fā)明者于慧敏, 蔡丹平 申請人:浙江大學