專利名稱：一種在公交客流統(tǒng)計系統(tǒng)中使用的運動目標提取及多目標分割方法
技術領域：
本發(fā)明涉及一種新的運動目標提取及多目標分割方法，特別涉及一種在公交客流 統(tǒng)計中應用的運動乘客提取及圖像分割方法。
背景技術：
應用于客流統(tǒng)計的目標檢測及圖像分割方法有很多，根據(jù)客流統(tǒng)計系統(tǒng)中攝像頭安裝的角度可以分為兩類。一類為俯視拍攝，可以在一定程度上避免圖像中人體的相互遮 擋。另一類為平視拍攝，目的是在圖像中獲得運動人體的面部信息。公交客流統(tǒng)計運動目 標提取及目標分割中攝像頭采用俯視拍攝的情況較多。于海濱等提出基于頭部特征提取的 人體檢測與跟蹤方法，采用基于改進Hough變換的頭部輪廓特征提取和基于目標視差獲取 頭部深度和透視特征，將它們用于實現(xiàn)具有較高準確率要求的實時人體檢測與跟蹤系統(tǒng)。 高枝寶提出基于“最小灰度差”的背景幀差法，有效的提取了整體行人運動目標。根據(jù)人頭 部分變形最小的特性，提取可能的人頭曲線并進行模板匹配，采用人頭特征的對稱性、頭部 顏色概率分布以及運動軌跡等對目標曲線進行排除。李志剛采用基于人臉的圖像外形特征 提取算法，以目標區(qū)域的中心坐標作為特征點，然后利用統(tǒng)計識別的方法對客流量進行統(tǒng) 計。S. Harasse等提出了一種利用統(tǒng)計學模型在視頻序列中找到運動人體的方法，分別通 過膚色建模、概率形狀建模以及貝葉斯檢測與跟蹤來實現(xiàn)人流計數(shù)。Tarek Yahiaoui等研 究了一種可以在人群密度較大的公交車上進行運動目標檢測，進而完成公交客流統(tǒng)計的方 法。但上述目標提取及多目標分割方法普遍存在現(xiàn)場準確率低，目標提取及分割不穩(wěn)定等 缺點，且有些算法復雜，影響系統(tǒng)的實時性。

發(fā)明內容
本發(fā)明在已有運動目標提取及目標分割方法的基礎上，針對公交客流統(tǒng)計系統(tǒng)的 現(xiàn)場環(huán)境，提出一種基于邊緣信息的幀間差分運動目標提取和基于投影法的多目標分割方 法。本發(fā)明的技術方案為公交客流統(tǒng)計系統(tǒng)中攝像頭安裝的角度采用俯視拍攝，采 集的視頻圖像取相鄰幀轉換為灰度圖像，經過中值濾波，然后采用Carmy算法進行邊緣檢 測。將得到的邊緣圖像進行相鄰幀間差分，對差分圖像進行二值化處理，膨脹處理以連接斷 開的距離較近的邊界線條。將邊界用掃描算法進行填充，以連接斷開的距離較遠(15個像 素距離)的邊界，得到封閉的邊緣輪廓。然后利用填充算法填充封閉輪廓內的孔洞，標記連 通域并計算連通域的面積，根據(jù)面積大小去掉小的干擾目標。在公交客流統(tǒng)計系統(tǒng)中，由于 乘客遮擋、擁擠等情況，通過幀間差分檢測出的多個運動目標經常連通在一起，需要進行圖 像分割。本發(fā)明采用基于投影法的多目標分割，將填充后的圖像在水平，垂直及對角線方向 進行投影，得到像素數(shù)在χ軸，y軸及主次對角線上的投影分布曲線，根據(jù)曲線的峰谷值對 圖像進行分割。分割后的圖像采用四叉樹算法計算各分割區(qū)域面積及各分割區(qū)域的質心坐標，根據(jù)計算得出的目標中心位置，建立運動目標的目標鏈，記錄目標運動軌跡。將采集到 的320X240像素圖像的視場分為三個區(qū)域上車區(qū)，下車區(qū)和跟蹤區(qū)。檢測到目標運動至 跟蹤區(qū)域則啟動目標跟蹤鏈，為每一個出現(xiàn)的目標建立跟蹤鏈，并更新目標個數(shù)狀態(tài)標識。 對檢測到的新的運動目標，新建一條跟蹤鏈，同時更新目標個數(shù)狀態(tài)標識。當目標中心y坐 標的相鄰三幀均值逐漸增大，越過計數(shù)線，表明乘客下車；反之，當y坐標的相鄰三幀均值 逐漸增小，反向越過計數(shù)線，表明乘客上車，更新上車下車計數(shù)器。本發(fā)明的有益效果在于本發(fā)明提出的基于邊緣信息的幀間差分提取運動目標的方法可以保留運動目標輪廓，可以使后續(xù)的孔洞填充和求取目標中心位置等處理更準確， 更方便。采用投影法對多運動目標進行分割，分割結果準確，方法簡便，實時性好。


圖1是客流統(tǒng)計系統(tǒng)結構框圖。圖2是客流統(tǒng)計系統(tǒng)圖像處理流程圖。圖3是運動目標檢測與提取算法流程圖。圖4a是公交客流圖像序列中相鄰兩幀圖像中的第一幀圖像。圖4b是公交客流圖像序列中相鄰兩幀圖像中的第二幀圖像。圖4c是采用基于邊緣信息的幀間差分得到的運動目標圖像。圖4d是采用傳統(tǒng)幀間差分得到的運動目標圖像。圖5是對邊緣幀間差分后圖像進行濾波得到的運動目標圖像。圖6是邊界連接后得到的運動目標圖像。圖7是運動目標跟蹤與計數(shù)算法流程圖。
具體實施例方式在公交客流統(tǒng)計中應用本發(fā)明提出的運動目標提取及多目標分割方法，通過分析 實時圖像數(shù)據(jù)，可以獲得各站點各時段上下車人數(shù)，并將此結果反饋給監(jiān)控中心，實現(xiàn)公交 資源的最優(yōu)調度。具體實現(xiàn)方式為在公交車上下車門處安裝攝像頭，獲取乘客上下車的影 像信息。對采集到的連續(xù)幀圖像序列進行處理，分離出乘客目標，得到其詳細信息(個數(shù)、 面積、位置等)，對每個進入視場的乘客建立目標跟蹤鏈，跟蹤此乘客，直至走出攝像視場范 圍，最終完成乘客自動計數(shù)。如圖1所示，公交客流統(tǒng)計系統(tǒng)硬件包括攝像頭，車載硬件處理平臺，無線發(fā)送器 和監(jiān)控中心接收器等幾部分。固定在公交車內前門及后門頂部的CCD攝像頭獲取圖像信 息。攝像頭的啟動由車門開關信號控制，采集到的乘客上下車圖像序列經車載硬件處理平 臺進行處理，處理結果為某一站點上下車的人數(shù)。然后，將計算得出的乘客流量信息通過無 線發(fā)送器傳回監(jiān)控中心。監(jiān)控中心對接收到的數(shù)據(jù)進行分析，最終實現(xiàn)資源合理調度。攝像頭圖像采集速率為每秒15幀，數(shù)字圖像大小為320X240像素。車載硬件處 理平臺主要完成運動乘客目標提取和跟蹤計數(shù)，輸入為實時客流圖像數(shù)據(jù)，輸出為上下車 人數(shù)。TMS320DM6446處理器采用雙核架構ARM+DSP，其中ARM處理器采用ARM926EJ-S核， 工作主頻為297MHz，DSP處理器采用TI的高端DSP核C64x+，工作主頻為594MHz，可以滿足 實時圖像處理的要求。TMS320DM6446具有片上內存，包括一個2級高速緩存和豐富的視頻處理外設，并包含一個視頻/影像協(xié)處理器(VICP)，特別適合于開發(fā)圖像處理產品，適合作 為客流統(tǒng)計系統(tǒng)車載硬件平臺中央處理器。如圖2所示，公交客流統(tǒng)計系統(tǒng)軟件處理流程包括圖像采集，圖像預處理，運動目 標檢測與圖像分割，運動目標跟蹤與計數(shù)，實時客流輸出等幾部分。在獲取到連續(xù)幀序列圖 像后，首先進行圖像預處理，去除噪聲，改善圖像質量。運動目標檢測采用基于邊緣信息的 幀間差分法，即在進行幀間差分之前對預處理后的圖像進行Canny邊緣檢測，然后將僅帶 有邊緣信息的圖像進行幀間差分，得到運動目標的輪廓。然后，對得到的輪廓曲線進行邊 界連接。對邊界連接后的運動目標圖像進行孔洞填充。對多運動目標的圖像采用投影法進 行圖像分割，分離出多個運動目標，然后計算出目標的特征值(面積，質心)，建立目標跟蹤 鏈。判斷乘客的運動方向及上下車人數(shù)，實時輸出上下車客流量。如圖3所示，運動目標檢測與提取的算法流程圖，輸入為采集到的連續(xù)幀序列圖 像，首先進行圖像預處理，包括平滑濾波、圖像增強。進行預處理的圖像需要進行圖像類型 轉換，從彩色RGB位圖轉換為256級灰度圖像，以減小存儲及運算處理時間。平滑濾波采用 中值濾波，在去除噪聲的同時又能使圖像的邊緣信息不受破壞，可以達到比較滿意的去噪 效果。采用的圖像增強方法為對比度展寬技術。邊緣檢測采用Canny算法，很好的保留了 圖像中的邊緣信息，尤其是運動的人體輪廓。邊緣檢測之后，將灰度圖像變?yōu)槎祱D像?；?于邊緣信息的幀間差分處理公交乘客圖像的結果如圖4a-4d所示。如圖4a_4d所示，為基于邊緣信息幀間差分與傳統(tǒng)幀間差分的對比情況。采用基 于邊緣信息的幀間差分，對經過圖像預處理的相鄰兩幀公交乘客圖像圖4a和圖4b分別進 行Canny邊緣檢測，得到的邊緣檢測圖像進行幀間差分，差分結果如圖4c所示，得到的運動 目標保留了邊緣信息，便于后續(xù)進行孔洞填充處理及確定運動目標位置。而傳統(tǒng)幀間差分 法的差分結果如圖4d所示，直接將相鄰的兩幀圖像做簡單的預處理后就進行相減，很容易 將運動目標的邊緣信息減掉，缺少邊緣信息的運動目標難以準確得到其中心位置。如圖5所示，幀間差分后進行濾波操作，采用中值濾波方法，可濾除大部分噪聲。 如圖6所示，對濾波后的圖像進行邊界連接，可以把斷開的邊緣線連接起來，形成一個封閉 的輪廓。本發(fā)明中邊界連接主要采用兩種方法。形態(tài)學膨脹處理方法用來連接距離較近 (3-5個像素)的點，第二種方法用來連接水平或垂直方向上間隔大于5像素，小于15個像 素的點。第二種方法具體步驟如下(1)按照從左向右，從上向下的順序遍歷二值圖像，若 發(fā)現(xiàn)兩個相鄰“ 1，，像素之間的零像素值小于15個，則將這兩個相鄰“ 1，，像素之間的值都賦 為零。(2)按照從上向下，從左向右的順序再次遍歷二值圖像，像素值賦值方法同步驟(1)。如圖7所示，運動目標跟蹤計數(shù)流程圖，首先對檢測出的運動目標進行孔洞填充， 以便獲得運動目標的面積、質心等屬性值。采用基于邊界信息的孔洞填充算法，首先利用邊 界跟蹤得到圖像中所有邊界的幾何位置信息，再利用內邊界與外邊界的幾何位置關系判斷 出孔洞位置，最后對原圖像中的孔洞區(qū)域進行掃描線填充。進行分割后的圖像中會存在多 個連通分量，找出圖中所有的連通分量，分別標記每個連通分量，即每一連通分量都有不同 的標記值。基于投影法的多目標分割，根據(jù)圖像在特定方向上的投影分布特征來進行圖像分 割，其本質是一種統(tǒng)計方法。采用水平、垂直及對角線方向三種分割方法。將形態(tài)學處理后 的二值圖像作水平方向的投影，H表示其水平投影的結果，是數(shù)組長度等于二值圖像寬度的一維數(shù)組。
N (1)其中M、N分別表示二值圖像的寬度和高度，g(x，y)表示二值圖像中坐標為(x，y) 處的像素值。垂直投影法是對二值圖像在垂直方向上的投影，L表示其垂直投影的結果，是數(shù)組 長度等于二值圖像長度的一維數(shù)組。
(2)對在水平投影及垂直投影情況下均不易分割的情況，還可以對二值圖像做主對角 線及副對角線方向上的投影。在這里定義主對角線方向上的投影Z為 其中，T為過副對角線上的第i個像素并與主對角線方向平行的一組像素的總數(shù)。同理，定義副對角線上的投影C為 (4)其中，S為過主對角線上的第i個像素并與副對角線方向平行的一組像素的總數(shù)。在進行多目標分割時，針對公交乘客上下車的一般情況，首先對圖像進行水平投 影。若沒有明顯的峰谷值，再對其進行對角線投影，若仍無法分割，最后進行垂直投影。在 獲得投影后，找出投影峰值與谷值處坐標，確定圖像分割點，分為多個運動目標。對于分割 出的各運動目標，分別計算其特征量(面積和質心)。然后標記連通域并計算連通域的面 積，根據(jù)面積大小排除掉一些雜散干擾目標。將采集到的320X240像素圖像的視場分為三個區(qū)域上車區(qū)，下車區(qū)和跟蹤區(qū)。 跟蹤區(qū)像素點的y坐標為40 200，y坐標小于40的為下車區(qū)，大于200為上車區(qū)。得到 運動目標的質心坐標后，對運動目標進行跟蹤。跟蹤算法包括跟蹤啟動、數(shù)據(jù)關聯(lián)計數(shù)兩部 分。在跟蹤啟動前首先要設置兩個計數(shù)器，以及一個狀態(tài)標識(flag)。狀態(tài)標識用來存儲 當前跟蹤區(qū)域的目標個數(shù)，其初始值為零。規(guī)定運動目標質心y坐標變化方向從大到小為 上車，反之為下車。一旦檢測到目標運動至跟蹤區(qū)域則啟動目標跟蹤鏈，記錄運動目標質心 坐標值。為每一個出現(xiàn)的目標建立跟蹤鏈，并更新目標個數(shù)狀態(tài)標識。若跟蹤區(qū)域中已有運 動目標，當前又檢測到新的運動目標，則新建一條跟蹤鏈，同時更新目標個數(shù)狀態(tài)標識。數(shù) 據(jù)關聯(lián)與計數(shù)部分，接收后續(xù)相鄰幀圖像，比較該幀圖像中目標個數(shù)n與當前跟蹤區(qū)域中 目標個數(shù)狀態(tài)標識flag的大小，分以下兩種情況(1)若 |n-flag| = 0表明沒有新目標出現(xiàn)。單目標情況下可直接將新的目標中心位置更新到目標鏈中；對多目標情況，則分別計算當前幀中目標中心位置與上一幀中目標中心位置的距離 dijG，j分別為當前幀與上一幀中運動目標標號)。a)若大于某一閾值，則判定為計算錯誤，用預測值代替計算值，更新跟蹤鏈；b)若在允許范圍內，則根據(jù)分別將新的目標中心位置更新到對應的目標鏈 中。(2)若 |n-flag| = 1表明有新目標進入跟蹤區(qū)域或者目標離開跟蹤區(qū)域。a)若n > flag,則表明有新目標出現(xiàn)，為新目標新建一條跟蹤鏈，更新原有目標 鏈；b)若n < flag,目標離開跟蹤區(qū)域，表明目標上車或下車。判定有乘客上下車的 條件為目標鏈的長度超過15，然后判斷乘客通過上車線(y坐標為200)還是下車線(y坐標 為40)，更新相應上車或下車方向的計數(shù)器的值。
權利要求
一種在公交客流統(tǒng)計系統(tǒng)中使用的運動目標提取及多目標分割方法，其特征在于包括以下步驟(1)將攝像頭拍攝到的視頻圖像取相鄰幀進行圖像預處理；(2)對預處理后圖像進行邊緣檢測，然后進行相鄰幀間差分，對差分圖像進行去噪、邊界連接和孔洞填充等處理，得到運動目標；(3)將填充后的圖像采用投影法進行多目標分割，計算各分割區(qū)域面積及各分割區(qū)域的質心坐標，根據(jù)計算得出的目標中心位置，建立運動目標的目標鏈，記錄目標運動軌跡。
2.根據(jù)權利要求1所述的在公交客流統(tǒng)計系統(tǒng)中使用的運動目標提取及多目標分割 方法，其特征在于所述步驟(3)后檢測到目標運動至跟蹤區(qū)域則啟動目標跟蹤鏈，為每一 個出現(xiàn)的目標建立跟蹤鏈，并更新目標個數(shù)狀態(tài)標識。
3.根據(jù)權利要求1或2所述的在公交客流統(tǒng)計系統(tǒng)中使用的運動目標提取及多目標分 割方法，其特征在于所述步驟(1)中攝像頭采用俯視拍攝獲得視頻圖像。
4.根據(jù)權利要求1或2所述的在公交客流統(tǒng)計系統(tǒng)中使用的運動目標提取及多目標分 割方法，其特征在于所述攝像頭圖像采集速率為每秒15幀，數(shù)字圖像大小為320 X 240像素。
5.根據(jù)權利要求1或2所述的在公交客流統(tǒng)計系統(tǒng)中使用的運動目標提取及多目標分 割方法，其特征在于所述步驟(2)中邊緣檢測采用Carmy算法。
6.根據(jù)權利要求1或2所述的在公交客流統(tǒng)計系統(tǒng)中使用的運動目標提取及多目標分 割方法，其特征在于所述步驟(3)中分割后的圖像采用四叉樹算法計算各分割區(qū)域面積 及各分割區(qū)域的質心坐標。
全文摘要
本發(fā)明涉及一種新的運動目標提取及多目標分割方法，特別涉及一種在公交客流統(tǒng)計中應用的運動乘客提取及圖像分割方法。本發(fā)明方法經過圖像采集、圖像預處理、運動目標檢測與分割、運動目標跟蹤與計算等步驟，采用基于邊緣信息的幀間差分提取運動目標的方法可以保留運動目標輪廓，可以使后續(xù)的孔洞填充和求取目標中心位置等處理更準確，更方便，采用投影法對多運動目標進行分割，分割結果準確，方法簡便，實時性好。
文檔編號H04N7/18GK101847265SQ20101015207
公開日2010年9月29日 申請日期2010年4月20日 優(yōu)先權日2010年4月20日
發(fā)明者應捷, 田牛, 邵娜 申請人:上海理工大學