專利名稱：一種魯棒的運動目標檢測與跟蹤圖像處理系統(tǒng)的制作方法
技術領域：
本發(fā)明屬于數(shù)字圖像處理技術領域，具體涉及一種魯棒的運動目標檢測與跟蹤圖 像處理系統(tǒng)，實現(xiàn)對輸入的視頻信號中異常運動目標進行檢測和跟蹤。
背景技術：
DSP (Digital Signal Processor)是一種微處理器，處理大量數(shù)字信號的器件。它 不僅具有可編程性，而且其實時運行速度可達每秒數(shù)以千萬條復雜指令程序，遠遠超過通 用微處理器，是數(shù)字化電子世界中日益重要的芯片。由于DSP易于滿足圖像處理中運算量 大、實時性強、數(shù)據(jù)傳輸速率高等要求，兼之計算機強大的多媒體交互能力，因而DSP被廣 泛地應用于圖像處理領域。運動目標檢測是指從序列圖像中將變化區(qū)域從背景中分割出來。它是數(shù)字圖像處 理技術的一個主要部分，是計算機視覺、目標識別與跟蹤、模式識別、運動圖像編碼、基于內(nèi) 容的檢索、安全監(jiān)控等研究領域的重點與難點，在交通、國防和工業(yè)等領域有著廣泛的應用 前景。然而，由于天氣和光照的變化、背景混亂運動的干擾、運動目標的影子以及攝像機的 運動等原因的存在，給運動目標的正確檢測帶來極大挑戰(zhàn)。由于運動目標的正確檢測與分 割影響著運動目標能否被正確跟蹤與分類，因此成為視頻監(jiān)控系統(tǒng)研究中的一項重要的課 題。它的基本任務是從圖像序列中檢測出運動信息，簡化圖像處理過程，得到所需的運動矢 量，從而能夠識別與跟蹤物體。目前常用的運動目標檢測方法有三種光流法，相鄰幀差法，背景減法。本發(fā)明是 針對計算機智能視頻監(jiān)控系統(tǒng)中運動目標檢測。一個典型的視頻監(jiān)控系統(tǒng)是用一個靜態(tài)的 攝像機實時監(jiān)控固定區(qū)域，其目的是從靜態(tài)背景中分割出動態(tài)目標，并對其進行分類、跟蹤 等操作。所以，從視頻流中實時分割動態(tài)目標是視頻監(jiān)控系統(tǒng)一個基本環(huán)節(jié)。運動目標檢測 處于整個計算機智能視頻監(jiān)視系統(tǒng)的最底層，是各種后續(xù)高級處理如目標跟蹤、目標分類、 行為理解的基礎。對于靜態(tài)攝像機，背景建模是解決實時分割動態(tài)目標的有效方法。一個有效的背景模型應能克服以下幾種在實際應用中常常存在的問題(1)背景模型的提取背景圖像的獲取最簡單的方法是在場景沒有運動目標的情 況下進行，但在某些應用場合無法滿足這種要求。(2)背景的擾動背景中可以含有輕微擾動的對象，如樹枝、樹葉的搖動，擾動部 分不應該被看作是前景運動目標。(3)外界光線的變化一天中不同時間段光線、天氣等的變化以及室內(nèi)開燈、關燈 等都會對檢測結果產(chǎn)生影響。(4)背景的更新由于光照或其它條件的變化會使背景圖像發(fā)生變化，需要及時 對背景模型進行更新，以適應這種變化。(5)陰影的影響通常前景目標的陰影也被檢測為運動目標的一部分，這樣將影 響對運動目標的進一步處理和分析。本發(fā)明總結已有算法的特點的基礎上，對其進行改進，最終給出了一個能夠適應背景場景輕微擾動、克服噪聲和環(huán)境光照影響的、實時更新的、魯棒的目標檢測系統(tǒng)。在計算機視覺的研究領域里，序列圖像運動目標跟蹤是一個古老而仍未很好解決 的、具有挑戰(zhàn)性的重要課題。目標跟蹤由于有著廣泛的應用和需求，引起了人們的極大關 注。它在民用方面的應用主要有工業(yè)過程控制，醫(yī)學研究，工業(yè)產(chǎn)品監(jiān)督，交通監(jiān)控，圖像檢 索和恢復，基于目標的視頻編碼、壓縮及合成等等。與之相比，多目標跟蹤在軍事上的應用 更加受到各國學者的重視。目標跟蹤在軍事方面的應用主要有戰(zhàn)場監(jiān)視，軍事目標跟蹤，海 域監(jiān)視，空中預警等。在不同的應用領域，對運動目標跟蹤的要求是不同的。如在基于目標 的視頻編碼和視頻合成中，精度是非常重要的；而在視頻監(jiān)控中要求自動實時地跟蹤，能夠 容忍一定的誤差。本發(fā)明是典型視頻監(jiān)控系統(tǒng)中的多運動目標跟蹤，目標跟蹤的工作是建立在運動 目標檢測的基礎上完成的。

發(fā)明內(nèi)容
本發(fā)明主要應用場合為室外運動目標檢測與室內(nèi)異常行為檢測與跟蹤。該系統(tǒng)采 用了魯棒的軟件編碼方法，設計靈活，算法的修改和優(yōu)化更加方便，使用方便，采用較為靈 活的人機操作界面，具有廣泛的工程應用范圍。實現(xiàn)本發(fā)明目的的技術方案是一種魯棒的運動目標檢測與跟蹤圖像處理系統(tǒng)， 包括以DSP為核心的數(shù)字信號處理器、CXD攝像機和PC機，數(shù)字信號處理器的一端連接CXD 攝像機，另一端連接PC機，所述圖像處理系統(tǒng)執(zhí)行以下步驟步驟1視頻數(shù)據(jù)的采集數(shù)字信號處理器從攝像頭CXD輸入的模擬視頻信號經(jīng)模 數(shù)轉(zhuǎn)換器數(shù)字化采集后，傳輸?shù)街付ǖ膬?nèi)存緩沖空間中，等待處理；步驟2數(shù)字信號處理器逐幀讀入采集到的數(shù)字視頻序列，采用改進混合高斯背景 模型對步驟2中的幀序列進行運動目標檢測；步驟3將步驟2中的檢測結果進行去噪和陰影去除；步驟4在步驟3的基礎上對檢測到的運動目標進行跟蹤；步驟5將處理結果傳送并顯示給用戶，以待處理；其中，所述采用改進的混合高斯背景模型包括下列步驟步驟21對輸入的視頻幀進行背景模型的初始化，建立背景模型；步驟22當前幀跟背景圖相減；步驟23 二值化前景圖；步驟24進行形態(tài)學濾波，去掉噪音；步驟25引入加速因子和平滑方程來更新背景模型；步驟26將背景轉(zhuǎn)化為圖像格式，用以顯示。所述步驟21中初始化背景模型，具體包括對每一個像素建立其一段時間內(nèi)采樣的直方圖并對直方圖進行濾波處理，通過直 方圖的一階差分獲取尖峰所在的位置，對每個尖峰所對應高斯分布的參數(shù)進行初始化。所述步驟25中背景模型的更新具體包括定義θχ,^α) = t2為加速因子，其中x，y代表圖像中像素點的坐標，t表示位于 該位置的像素點落在第i個分布上的持續(xù)時間，當新得到的像素和高斯模型中的第j個分布匹配時，則第j個分布的權重按如下方程更新 Wvj^ =；1Q 二 其中α為某一個固定的常數(shù)。在背景模型更新過程中引入加速因子和合理性判斷，可以加速模型更新的效率， 有效解決靜止目標發(fā)生運動時產(chǎn)生拖影現(xiàn)象。如很長時間沒有改變時，只要場景光照有細微變化就被檢測出來。對于這個問題， 本發(fā)明采用平滑方程對K個高斯分布進行更新。
ln+1 = 255其中wv,k,n，fn，In分別為η時刻像素χ處第η個模型的權值、重現(xiàn)頻率和生存時間。


圖1視頻數(shù)據(jù)采集流程。圖2運動目標檢測流程圖。圖3陰影去除流程圖。圖4運動目標跟蹤流程圖。圖5是本發(fā)明實施例圖像處理系統(tǒng)執(zhí)行流程示意圖
具體實施例方式下面結合實施例和附圖進行進一步說明。一種魯棒的運動目標檢測與跟蹤圖像處理系統(tǒng)，包括以DSP為核心的數(shù)字信號處 理器、CXD攝像機和PC機，數(shù)字信號處理器的一端連接CXD攝像機，另一端連接PC機，圖像 處理系統(tǒng)執(zhí)行以下步驟步驟1視頻數(shù)據(jù)的采集數(shù)字信號處理器從攝像頭CXD輸入的模擬視頻信號經(jīng)模 數(shù)轉(zhuǎn)換器數(shù)字化采集后，傳輸?shù)街付ǖ膬?nèi)存緩沖空間中，等待處理；步驟2數(shù)字信號處理器逐幀讀入采集到的數(shù)字視頻序列，采用改進混合高斯背景 模型對步驟2中的幀序列進行運動目標檢測；步驟3將步驟2中的檢測結果進行去噪和陰影去除；步驟4在步驟3的基礎上對檢測到的運動目標進行跟蹤；步驟5將處理結果傳送并顯示給用戶，以待處理。如圖1所示，步驟1視頻數(shù)據(jù)的采集流程包括下列步驟步驟SlOl通過CXD攝像頭開始視頻采集；步驟S102打開CXD攝像頭；步驟S103將視頻數(shù)據(jù)進行模數(shù)轉(zhuǎn)換(A/D)；步驟S104轉(zhuǎn)換好的視頻幀數(shù)據(jù)向DSP處理器申請幀緩沖空間；
步驟S105將申請到的幀緩沖視頻全部如隊列；步驟S106開始視頻幀的采集。如圖2所示，步驟2采用改進的混合高斯背景模型進行運動目標檢測包括下列步 驟步驟S201對輸入的視頻幀進行背景模型的初始化，建立背景模型；步驟S202當前幀跟背景圖相減；步驟S203 二值化前景圖；步驟S204進行中值濾波和形態(tài)學濾波，去掉噪音；步驟S205引入加速因子和平滑方程來更新背景模型；步驟S206將背景轉(zhuǎn)化為圖像格式，用以顯示。其中步驟S201中初始化背景模型，具體包括對每一個像素建立其一段時間內(nèi)采樣的直方圖并對直方圖進行濾波處理，通過直 方圖的一階差分獲取尖峰所在的位置，對每個尖峰所對應高斯分布的參數(shù)進行初始化。其中步驟S205中背景模型的更新具體包括定義θχ,^α) = t2為加速因子，其中x，y代表圖像中像素點的坐標，t表示位于 該位置的像素點落在第i個分布上的持續(xù)時間，當新得到的像素和高斯模型中的第j個分 布匹配時，則第j個分布的權重按如下方程更新 =^；1Q其中α為某一個固定的常數(shù)。在背景模型更新過程中引入加速因子和合理性判斷，可以加速模型更新的效率， 有效解決靜止目標發(fā)生運動時產(chǎn)生拖影現(xiàn)象。如很長時間沒有改變時，只要場景光照有細微變化就被檢測出來。對于這個問題， 本發(fā)明采用平滑方程對K個高斯分布進行更新。
ln+1 = 255其中wv,k,n，fn，In分別為η時刻像素χ處第η個模型的權值、重現(xiàn)頻率和生存時間。如圖3所示，對檢測結果進行去噪和陰影去除包括下列步驟步驟S301讀取前景幀；步驟S302計算SK、Sg和SB，并取最大值記為S ；步驟S303計算背景中與前景像素分量最大值相對應的像素分量值，記為S’，判斷 S(i，j)_S' (i，j) <T，其中T為閾值，如果成立執(zhí)行步驟S304，如果不成立執(zhí)行步驟S305 ；步驟S304，檢測陰影并去除；步驟S305，得到去除陰影后的前景幀。如圖4所示，根據(jù)檢測結果進行運動目標跟蹤包括下列步驟步驟S401根據(jù)檢測結果取出運動區(qū)域；步驟S402初始化搜索次數(shù)閾值；
步驟S403根據(jù)卡爾曼濾波法預測目標的當前位置；步驟S404根據(jù)Mean-Shift搜索目標區(qū)域，搜索次數(shù)閾值減一；步驟S405判斷搜索次數(shù)是否成功，成功轉(zhuǎn)至步驟46，失敗轉(zhuǎn)至步驟47 ；步驟S406使用搜索成功的結果，轉(zhuǎn)至步驟43 ；步驟S407判斷是否達到搜索閾值，如果達到轉(zhuǎn)至步驟48，如果沒有轉(zhuǎn)至步驟43 ；步驟S408目標出界，接受搜索。如圖5所示，圖像處理系統(tǒng)在硬件中的具體實現(xiàn)流程。Bl 從攝像頭采集的數(shù)據(jù)存入輸入緩沖之后，從輸入緩沖中讀入攝像頭采集的圖 像；B2 對圖像編解碼，并進行預處理；B3 將預處理后的圖像信息緩存至DSP芯片中，進行運動目標檢測和跟蹤的處理；B4 將DSP芯片處理后的圖像信息通過Internet進行傳輸；B5 將DSP芯片處理的結果顯示至用戶桌面。
權利要求
一種魯棒的運動目標檢測與跟蹤圖像處理系統(tǒng)，包括以DSP為核心的數(shù)字信號處理器、CCD攝像機和PC機，數(shù)字信號處理器的一端連接CCD攝像機，另一端連接PC機，圖像處理系統(tǒng)執(zhí)行以下步驟步驟1視頻數(shù)據(jù)的采集數(shù)字信號處理器從攝像頭CCD輸入的模擬視頻信號經(jīng)模數(shù)轉(zhuǎn)換器數(shù)字化采集后，傳輸?shù)街付ǖ膬?nèi)存緩沖空間中，等待處理；步驟2數(shù)字信號處理器逐幀讀入采集到的數(shù)字視頻序列，采用改進混合高斯背景模型對采集到的幀序列進行運動目標檢測；步驟3將步驟2中的檢測結果進行去噪和陰影去除；步驟4在步驟3的基礎上對檢測到的運動目標進行跟蹤；步驟5將處理結果傳送并顯示給用戶，以待處理；其特征是，所述采用改進的混合高斯背景模型包括下列步驟步驟21對輸入的視頻幀進行背景模型的初始化，建立背景模型；步驟22當前幀跟背景圖相減；步驟23二值化前景圖；步驟24進行形態(tài)學濾波，去掉噪音；步驟25引入加速因子和平滑方程來更新背景模型；步驟26將背景轉(zhuǎn)化為圖像格式，用以顯示。
2.根據(jù)權利要求1所述的魯棒的運動目標檢測與跟蹤圖像處理系統(tǒng)，其特征是，步驟 21中初始化背景模型，具體包括對每一個像素建立其一段時間內(nèi)采樣的直方圖并對直方 圖進行濾波處理，通過直方圖的一階差分獲取尖峰所在的位置，對每個尖峰所對應高斯分 布的參數(shù)進行初始化。
3.根據(jù)權利要求1所述的魯棒的運動目標檢測與跟蹤圖像處理系統(tǒng)，其特征是，步驟 25中背景模型的更新具體包括定義L.y.Jt) =t2為加速因子，其中x，y代表圖像中像素點的坐標，t表示位于該位 置的像素點落在第i個分布上的持續(xù)時間，當新得到的像素和高斯模型中的第j個分布匹\ + wvjnal0 At)配時，則第j個分布的權重按如下方程更新％，Λ +1=一""；η (t； "其中 為某一個固定的常數(shù)；采用平滑方程對K個高斯分布進行更新，w _ι+ ’ α/υ)‘從“+1— a/^yJ(t) + lf = / +1^^255 "Im= 2551η+ι = 255其中wv,k,n，4，In分別為η時刻像素χ處第η個模型的權值、重現(xiàn)頻率和生存時間。
4.根據(jù)權利要求1所述的魯棒的運動目標檢測與跟蹤圖像處理系統(tǒng)，其特征是，所述 步驟3對檢測結果進行去噪和陰影去除包括下列步驟步驟S301讀取前景幀；步驟S302計算SK、Sg和SB，并取最大值記為S ；步驟S303計算背景中與前景像素分量最大值相對應的像素分量值，記為S’，判斷S (i， j)-S' (i，j) <T，其中T為閾值，如果成立執(zhí)行步驟S304，如果不成立執(zhí)行步驟S305; 步驟S304，檢測陰影并去除； 步驟S305，得到去除陰影后的前景幀。
5.根據(jù)權利要求1所述的魯棒的運動目標檢測與跟蹤圖像處理系統(tǒng)，其特征是，所述 步驟4根據(jù)檢測結果進行運動目標跟蹤包括下列步驟 步驟S401根據(jù)檢測結果取出運動區(qū)域； 步驟S402初始化搜索次數(shù)閾值； 步驟S403根據(jù)卡爾曼濾波法預測目標的當前位置； 步驟S404根據(jù)Mean-Shift搜索目標區(qū)域，搜索次數(shù)閾值減一； 步驟S405判斷搜索次數(shù)是否成功，成功轉(zhuǎn)至步驟46，失敗轉(zhuǎn)至步驟47 ； 步驟S406使用搜索成功的結果，轉(zhuǎn)至步驟43 ；步驟S407判斷是否達到搜索閾值，如果達到轉(zhuǎn)至步驟48，如果沒有轉(zhuǎn)至步驟43 ； 步驟S408目標出界，接受搜索。
全文摘要
一種魯棒的運動目標檢測與跟蹤圖像處理系統(tǒng)，包括以DSP為核心的數(shù)字信號處理器、CCD攝像機和PC機，所述圖像處理系統(tǒng)執(zhí)行以下步驟視頻數(shù)據(jù)的采集；數(shù)字信號處理器逐幀讀入采集到的數(shù)字視頻序列，采用改進混合高斯背景模型對上步驟中的幀序列進行運動目標檢測；將上步驟中的檢測結果進行去噪和陰影去除；對檢測到的運動目標進行跟蹤；將處理結果傳送并顯示給用戶，以待處理；其中，所述采用改進的混合高斯背景模型包括下列步驟對輸入的視頻幀進行背景模型的初始化，建立背景模型；當前幀跟背景圖相減；二值化前景圖；進行形態(tài)學濾波，去掉噪音；引入加速因子和平滑方程來更新背景模型；將背景轉(zhuǎn)化為圖像格式，用以顯示。
文檔編號G06T5/00GK101916447SQ201010240570
公開日2010年12月15日 申請日期2010年7月29日 優(yōu)先權日2010年7月29日
發(fā)明者夏鵬, 宋雪樺, 陳麗蓮, 陳景駐 申請人:江蘇大學