專利名稱：智能視頻監(jiān)控用結構化背景重建方法
技術領域：
本發(fā)明涉及視頻監(jiān)控領域，特別是涉及一種智能視頻監(jiān)控用結構化背景重建方法。
背景技術：
隨著我國民用監(jiān)控安全系統(tǒng)網(wǎng)絡的不斷增大，對采集到得視頻進行自動化的智能化分析，可提高海量監(jiān)控錄像數(shù)據(jù)量的有效利用率。智能監(jiān)控視頻分析中，都畫面的運動目標提取、追蹤、軌跡分析，以及目標搜索、快速定位等，都依賴于監(jiān)控場景的背景畫面。有效準確地重建場景的背景，是基于差分圖像的目標提取的基礎，當前幀圖像與背景圖像差分后，運動的目標區(qū)域由于差異較大，在差分后的圖像中像素值較高，而靜態(tài)背景區(qū)域，由于其畫面跟背景畫面基本一致，差分后的像素值很小。 一般的基于幀圖像均值進行背景重建方法，一直對幀圖像按時間進行均值積累，均值積累的背景圖像其邊緣模糊，畫面對比度較小，不利于有效準確地提取到目標的輪廓。一般的基于相領幀間差分分割靜態(tài)背景和動態(tài)前景來重構場景背景，在于兩幀的間隔較大，運動目標在兩幀之間幾乎不存在交疊，或交疊很小。基于這種時間間隔較遠幀的差分，差分圖像中不存在因運動目標本身交疊，同時交疊區(qū)域灰度變化較小的情況下，將目標區(qū)域也當做背景區(qū)域，導致學習速度慢、特別是運動目標較大、運動速度較慢的情況下，如果運動目標區(qū)域的灰度變化比較平緩，學習的背景出現(xiàn)較大的錯誤。這種錯誤同時也會積累隨著時間而不斷積累進背景圖像，導致背景重建失敗。

發(fā)明內(nèi)容
本發(fā)明主要解決的技術問題是提供一種智能視頻監(jiān)控用結構化背景重建方法，能夠結合幀平均圖像時間積累和背景區(qū)域分割兩種方法相結合的背景學習方法，可快速、有效、清晰地重建監(jiān)控場景的靜態(tài)背景畫面。為解決上述技術問題，本發(fā)明采用的一個技術方案是提供一種智能視頻監(jiān)控用結構化背景重建方法，包括圖像幀獲取與更新模塊、畫面運動光流估計模塊、畫面分割模塊、圖像均值模塊、背景局部重建模塊、背景重建狀態(tài)檢測模塊、輸出背景模塊；
通過所述圖像幀獲取與更新模塊獲取與更新圖像；
所述畫面運動光流估計模塊檢測所述圖像的全畫面運動光流，記入緩存中的運動光流隊列，并判斷運動狀態(tài)；
所述畫面分割模塊進一步對動態(tài)的幀間畫面進行分割，區(qū)分出靜態(tài)、動態(tài)、由靜態(tài)到動態(tài)、由動態(tài)到靜態(tài)四類區(qū)域；
所述圖像均值模塊以靜態(tài)區(qū)域為掩膜模板，根據(jù)不同的畫面狀態(tài)，更新兩幅圖像中靜態(tài)趣面部分；
所述背景局部重建模塊將靜態(tài)區(qū)域的像素均值填補到背景圖相對應位置；
所述背景重建狀態(tài)檢測模塊計算背景畫面重建的百分比，是否完成重建，如果沒有完成，回到第一步獲取新的圖像幀，繼續(xù)畫面分割，進行幀畫面分割和背景重建，如果完成，則將背景通過輸出背景模塊輸出。在本發(fā)明一個較佳實施例中，所述圖像幀獲取與更新模塊在更新幀圖像時，每次在更新當前幀圖像時，都與前一幀圖像的時間間隔間隔2 30秒。在本發(fā)明一個較佳實施例中，所述畫面運動光流估計模塊將全畫面分成大小相等的小區(qū)域，每個小區(qū)域內(nèi)進行運動估計，計算各小畫面的運動矢量，記入緩存中的運動光流隊列；從第三幀開始，每次估計完成，都根據(jù)前后幀運動間的關系，判斷各類運動狀態(tài)持續(xù)靜止、持續(xù)運動、從靜止到開始運動、從運動到開始靜止。在本發(fā)明一個較佳實施例中，所述畫面分割模塊進一步對動態(tài)幀畫面分割進行確認，確定區(qū)分出靜態(tài)和動態(tài)區(qū)域的正確性；首先需要進一步判定上一步更新幀的圖像是否是有效幀，如果是無效圖像，需要重新抓圖；需要進行以下兩種判斷1)計算差分圖像的灰度均值Avglliff,如果灰度均值過大，說明兩幀間存在背景亮度變化，可能是某些物體的反光、陽光變化、夜間車燈等，預設一亮度閾值LThMS，如果AvgDiff>LThres，則認為出現(xiàn)了亮度變 化，則放棄該幀，略過10幀，回到上一步，重新抓一幀；2)計算相鄰圖像差分后的圖像中運動部分的面積占整個畫面面積的百分比，如果運動部分超過畫面的50%，則放棄該幀，略過10幀，回到上一步，重新抓一幀。在本發(fā)明一個較佳實施例中，所述圖像均值模塊以持續(xù)保持靜態(tài)的區(qū)域為掩膜模板，將兩幅圖像中靜態(tài)畫面部分求均值；上一步差分的圖像，先使用平滑濾波，濾掉噪聲，然后進行二值化，以上一步計算得到的灰度均值Avglliff作為二值化的閾值BTh_，由于目標區(qū)域差分后的亮度較亮，二值化前，所以需要對Bltoes進行修正，BThres=AvgDiff*l. 1+5，使用修正后的閾值再二值化，進一步有效消除掩膜中的小運動噪聲。在本發(fā)明一個較佳實施例中，所述背景局部重建模塊根據(jù)畫面分割模塊中的四種區(qū)域情況分別作不同的處理1)將持續(xù)保持靜態(tài)區(qū)域，將像素均值填補到背景圖相對應位置；2)持續(xù)動態(tài)區(qū)域，畫面不能更新，畫面保持不變；3)從動態(tài)到靜止的區(qū)域，由于運動物體停止運動造成，該區(qū)域內(nèi)運動物體覆蓋住背景，所以當前區(qū)域的畫面為運動物體，區(qū)域不能更新，只進行亮度調(diào)整；4)從靜止轉(zhuǎn)為運動的區(qū)域，由于靜止物體開始運動造成，如果區(qū)域從未沒有更新過，即從背景學習圖像直接拷貝新像素覆蓋原來由物體遮擋的部分；如果以前有過更新，則調(diào)用均值算法進行像素更新。在本發(fā)明一個較佳實施例中，所述背景重建狀態(tài)檢測模塊計算背景畫面重建的百分比，是否完成重建，如果沒有完成，回到第一步獲取新的幀圖像，繼續(xù)畫面分割，進行幀畫面分割和背景重建；畫面分割模塊在分割出背景區(qū)域后，將背景掩膜圖和背景更新區(qū)域模板圖進行或運算，每次被更新的背景區(qū)域記入已更新區(qū)域模板圖，更新完畢后，計算未被更新的部分，如果仍然后未被更新的部分，則回到起始，進行下一次背景更新；如果已經(jīng)全部更新完畢，則結束背景重建，從輸出背景模塊輸出。本發(fā)明的有益效果是本發(fā)明在采集幀圖像數(shù)據(jù)的時候，不是采集相鄰幀，而是間隔一段時間采集，采集到得圖像中，運動目標沒有交疊部分，雖然這種方法每次重建的背景區(qū)域較小，但是重建的準確度很高，不會出現(xiàn)重建錯誤；
本發(fā)明結合了幀平均圖像時間積累和背景區(qū)域分割兩種方法相結合的背景學習方法，可快速、有效、清晰地重建監(jiān)控場景的靜態(tài)背景畫面；本發(fā)明采用運動估計的前后景分割算法，可以有效區(qū)分圖像中的真實與虛假運動，有效檢測出從靜止到運動和從運動到靜止的區(qū)別，從而消除復雜運動情景下的背景更新。


圖I是本發(fā)明智能視頻監(jiān)控用結構化背景重建方法一較佳實施例的結構示意圖。
具體實施例方式下面結合附圖對本發(fā)明的較佳實施例進行詳細闡述，以使本發(fā)明的優(yōu)點和特征能更易于被本領域技術人員理解，從而對本發(fā)明的保護范圍做出更為清楚明確的界定。請參閱圖I，本發(fā)明實施例包括
一種智能視頻監(jiān)控用結構化背景重建方法，包括圖像幀獲取與更新模塊、畫面運動光流估計模塊、畫面分割模塊、圖像均值模塊、背景局部重建模塊、背景重建狀態(tài)檢測模塊、輸出背景模塊。 通過所述圖像幀獲取與更新模塊獲取與更新圖像；所述畫面運動光流估計模塊檢測所述圖像的全畫面運動光流，記入緩存中的運動光流隊列，并判斷運動狀態(tài)；所述畫面分割模塊進一步對動態(tài)的幀間畫面進行分割，區(qū)分出靜態(tài)、動態(tài)、由靜態(tài)到動態(tài)、由動態(tài)到靜態(tài)四類區(qū)域；所述圖像均值模塊以靜態(tài)區(qū)域為掩膜模板，根據(jù)不同的畫面狀態(tài)，更新兩幅圖像中靜態(tài)畫面部分；所述背景局部重建模塊將靜態(tài)區(qū)域的像素均值填補到背景圖相對應位置；所述背景重建狀態(tài)檢測模塊計算背景畫面重建的百分比，是否完成重建，如果沒有完成，回到第一步獲取新的圖像幀，繼續(xù)畫面分割，進行幀畫面分割和背景重建，如果完成，則將背景通過輸出背景模塊輸出。所述圖像幀獲取與更新模塊在更新幀圖像時，每次在更新當前幀圖像時，都與前一幀圖像的時間間隔間隔2 30秒。本發(fā)明優(yōu)選間隔2 3秒，考慮到場景的背景亮度可能因為天氣原因而緩慢變化，所以不要超過30秒。所述畫面運動光流估計模塊將全畫面分成大小相等的小區(qū)域，每個小區(qū)域內(nèi)進行運動估計，計算各小畫面的運動矢量，記入緩存中的運動光流隊列；從第三幀開始，每次估計完成，都根據(jù)前后幀運動間的關系，判斷各類運動狀態(tài)持續(xù)靜止、持續(xù)運動、從靜止到開始運動、從運動到開始靜止。所述畫面分割模塊進一步對動態(tài)幀畫面分割進行確認，確定區(qū)分出靜態(tài)和動態(tài)區(qū)域的正確性；首先需要進一步判定上一步更新幀的圖像是否是有效幀，如果是無效圖像，需要重新抓圖；需要進行以下兩種判斷1)計算差分圖像的灰度均值Avglliff，如果灰度均值過大，說明兩幀間存在背景亮度變化，可能是某些物體的反光、陽光變化、夜間車燈等，預設一亮度閾值LThMS，如果AvgDiff>LThres，則認為出現(xiàn)了亮度變化，則放棄該幀，略過10巾貞，回到上一步，重新抓一幀；2)計算相鄰圖像差分后的圖像中運動部分的面積占整個畫面面積的百分比，如果運動部分超過畫面的50%，則放棄該幀，略過10幀，回到上一步，重新抓一幀。所述圖像均值模塊以持續(xù)保持靜態(tài)的區(qū)域為掩膜模板，將兩幅圖像中靜態(tài)畫面部分求均值；上一步差分的圖像，先使用平滑濾波，濾掉噪聲，然后進行二值化，以上一步計算得到的灰度均值Avglliff作為二值化的閾值BTh_，由于目標區(qū)域差分后的亮度較亮，二值化前，所以需要對BThres進行修正，BThres=AvgDiff*l. 1+5，使用修正后的閾值再二值化，進一步有效消除掩膜中的小運動噪聲。所述背景局部重建模塊根據(jù)畫面分割模塊中的四種區(qū)域情況分別作不同的處理I)將持續(xù)保持靜態(tài)區(qū)域，將像素均值填補到背景圖相對應位置。由于上一步比較準確分割到背景區(qū)域，可直接將當前幀圖像的被認為是背景的區(qū)域，拷貝到背景圖像中，以更新背景區(qū)域。更新后的背景圖像中，可能仍然存在運動目標，需要對其他幾種狀態(tài)對背景進行更新狀態(tài)判斷處理。2)持續(xù)動態(tài)區(qū)域，這是由于運動物體較大，運動物體在相鄰幀畫面由本身遮擋噪聲，故這部份畫面不能更新，而是保持不變。3)從動態(tài)到靜止區(qū)域，這種狀態(tài)是由運動物體停止運動造成，因此，該區(qū)域位運動物體覆蓋住背景，所以當前該區(qū)域的畫面為運動物體，故該區(qū)域不能更新，但是由于全圖像亮度可能變化，所以該區(qū)域根據(jù)領域畫面亮度變化，只進行亮度調(diào)整。4)從靜止到動態(tài)區(qū)域。這時由于靜止物體開始運動造成，這種情況比較復雜，分為兩種a)如果該區(qū)域一直沒有更新過，即從背景學習圖像直接拷貝新像素覆蓋原來由物體遮擋的部分山)如果以前有過更新，則調(diào)用均值算法進行像素更新。所述背景重建狀態(tài)檢測模塊計算背景畫面重建的百分比，是否完成重建，如果沒有完成，回到第一步獲取新的幀圖像，繼續(xù)畫面分割，進行幀畫面分割和背景重建；畫面分 割模塊在分割出背景區(qū)域后，將背景掩膜圖和背景更新區(qū)域模板圖進行或運算，每次被更新的背景區(qū)域記入已更新區(qū)域模板圖，更新完畢后，計算未被更新的部分，如果仍然后未被更新的部分，則回到起始，進行下一次背景更新；如果已經(jīng)全部更新完畢，則結束背景重建，從輸出背景模塊輸出。本發(fā)明的具體工作過程為
由于監(jiān)控相機絕大多數(shù)都固定不動，背景圖像比較穩(wěn)定，序列圖像的變化主要來源于運動物體，最簡單的分割方法為先估計每個像素的光流，然后應用靜態(tài)矢量圖像分割方法對像素進行分類。基于光流的運動分析可以從時間相鄰幀的像素梯度最小的方向獲得，靜止區(qū)域像素的梯度方向顯然與圖像平面法線平行，其它方向則為運動區(qū)域，定義幀間時間間隔為1，運動目標在時空圖像體中的速度V=(u，v, 1)，其中u、v分別為x、y方向的速度，時間軸方向的速度為I。像素灰度值在
速度V方向上變化為0，即&v#g=0。顯然，對應靜止物體，其運動方向跟圖像平面的法線平行u=v=0。在時間體圖像中計算運動方向，跟基于平面圖像進行運動估計相似，以(x，y，t)像素為中心，取鄰域像素，包括空間相鄰和時間相鄰的像素，共3X3X3=27個像素集合。為簡化起見，可在x-t圖像中以小窗口為基準進行運動估計，計算其最匹配位置，即計算下式最小值
e“tt) = J w{x - . ,1 - 1#)||7叫-令2地通過對窗函數(shù)進一步簡化，上式可記為矩陣形式
e(i,s) = ^FWMg^MST￥= V1GV其中G = ^^7,是一個在圖像體中的3維張量
權利要求
1.一種智能視頻監(jiān)控用結構化背景重建方法，其特征在于，包括圖像幀獲取與更新模塊、畫面運動光流估計模塊、畫面分割模塊、圖像均值模塊、背景局部重建模塊、背景重建狀態(tài)檢測模塊、輸出背景模塊； 通過所述圖像幀獲取與更新模塊獲取與更新圖像； 所述畫面運動光流估計模塊檢測所述圖像的全畫面運動光流，記入緩存中的運動光流隊列，并判斷運動狀態(tài)； 所述畫面分割模塊進一步對動態(tài)的幀間畫面進行分割，區(qū)分出靜態(tài)、動態(tài)、由靜態(tài)到動態(tài)、由動態(tài)到靜態(tài)四類區(qū)域； 所述圖像均值模塊以靜態(tài)區(qū)域為掩膜模板，根據(jù)不同的畫面狀態(tài)，更新兩幅圖像中靜態(tài)趣面部分； 所述背景局部重建模塊將靜態(tài)區(qū)域的像素均值填補到背景圖相對應位置； 所述背景重建狀態(tài)檢測模塊計算背景畫面重建的百分比，是否完成重建，如果沒有完成，回到第一步獲取新的圖像幀，繼續(xù)畫面分割，進行幀畫面分割和背景重建，如果完成，則將背景通過輸出背景模塊輸出。
2.根據(jù)權利要求I所述的智能視頻監(jiān)控用結構化背景重建方法，其特征在于，所述圖像幀獲取與更新模塊在更新幀圖像時，每次在更新當前幀圖像時，都與前一幀圖像的時間間隔間隔2 30秒。
3.根據(jù)權利要求I所述的智能視頻監(jiān)控用結構化背景重建方法，其特征在于，所述畫面運動光流估計模塊將全畫面分成大小相等的小區(qū)域，每個小區(qū)域內(nèi)進行運動估計，計算各小畫面的運動矢量，記入緩存中的運動光流隊列；從第三幀開始，每次估計完成，都根據(jù)前后幀運動間的關系，判斷各類運動狀態(tài)持續(xù)靜止、持續(xù)運動、從靜止到開始運動、從運動到開始靜止。
4.根據(jù)權利要求I所述的智能視頻監(jiān)控用結構化背景重建方法，其特征在于，所述畫面分割模塊進一步對動態(tài)幀畫面分割進行確認，確定區(qū)分出靜態(tài)和動態(tài)區(qū)域的正確性；首先需要進一步判定上一步更新幀的圖像是否是有效幀，如果是無效圖像，需要重新抓圖；需要進行以下兩種判斷1)計算差分圖像的灰度均值Avglliff，如果灰度均值過大，說明兩幀間存在背景亮度變化，可能是某些物體的反光、陽光變化、夜間車燈等，預設一亮度閾值LThMS，如果AvgDiff>LTtoes，則認為出現(xiàn)了亮度變化，則放棄該幀，略過10幀，回到上一步，重新抓一幀；2)計算相鄰圖像差分后的圖像中運動部分的面積占整個畫面面積的百分比，如果運動部分超過畫面的50%，則放棄該幀，略過10幀，回到上一步，重新抓一幀。
5.根據(jù)權利要求I所述的智能視頻監(jiān)控用結構化背景重建方法，其特征在于，所述圖像均值模塊以持續(xù)保持靜態(tài)的區(qū)域為掩膜模板，將兩幅圖像中靜態(tài)畫面部分求均值；上一步差分的圖像，先使用平滑濾波，濾掉噪聲，然后進行二值化，以上一步計算得到的灰度均值Avglliff作為二值化的閾值，由于目標區(qū)域差分后的亮度較亮，二值化前，所以需要對Blhres進行修正，BTtoes=AVgDiff*l. 1+5，使用修正后的閾值再二值化，進一步有效消除掩膜中的小運動噪聲。
6.根據(jù)權利要求I所述的智能視頻監(jiān)控用結構化背景重建方法，其特征在于，所述背景局部重建模塊根據(jù)畫面分割模塊中的四種區(qū)域情況分別作不同的處理I)將持續(xù)保持靜態(tài)區(qū)域，將像素均值填補到背景圖相對應位置；2)持續(xù)動態(tài)區(qū)域，畫面不能更新，畫面保持不變；3)從動態(tài)到靜止的區(qū)域，由于運動物體停止運動造成，該區(qū)域內(nèi)運動物體覆蓋住背景，所以當前區(qū)域的畫面為運動物體，區(qū)域不能更新，只進行亮度調(diào)整；4)從靜止轉(zhuǎn)為運動的區(qū)域，由于靜止物體開始運動造成，如果區(qū)域從未沒有更新過，即從背景學習圖像直接拷貝新像素覆蓋原來由物體遮擋的部分；如果以前有過更新，則調(diào)用均值算法進行像素更新。
7.根據(jù)權利要求I所述的智能視頻監(jiān)控用結構化背景重建方法，其特征在于，所述背景重建狀態(tài)檢測模塊計算背景畫面重建的百分比，是否完成重建，如果沒有完成，回到第一步獲取新的幀圖像，繼續(xù)畫面分割，進行幀畫面分割和背景重建；畫面分割模塊在分割出背景區(qū)域后，將背景掩膜圖和背景更新區(qū)域模板圖進行或運算，每次被更新的背景區(qū)域記入已更新區(qū)域模板圖，更新完畢后，計算未被更新的部分，如果仍然后未被更新的部分，則回到起始，進行下一次背景更新；如果已經(jīng)全部更新完畢，則結束背景重建，從輸出背景模塊輸出。
全文摘要
本發(fā)明公開了一種智能視頻監(jiān)控用結構化背景重建方法，包括通過所述圖像幀獲取與更新模塊獲取與更新圖像，所述畫面運動光流估計模塊檢測所述圖像的全畫面運動光流，所述畫面分割模塊進一步對動態(tài)的幀間畫面進行分割，所述圖像均值模塊以靜態(tài)區(qū)域為掩膜模板，所述背景局部重建模塊將靜態(tài)區(qū)域的像素均值填補到背景圖相對應位置；所述背景重建狀態(tài)檢測模塊計算背景畫面重建的百分比，是否完成重建，如果沒有完成，回到第一步獲取新的圖像幀，如果完成，則將背景通過輸出背景模塊輸出。通過上述方式，本發(fā)明采集幀圖像數(shù)據(jù)的時候，間隔一段時間采集到得圖像中，重建的準確度很高，不會出現(xiàn)重建錯誤，快速、有效、清晰地重建監(jiān)控場景的靜態(tài)背景畫面。
文檔編號H04N7/18GK102833464SQ20121025672
公開日2012年12月19日 申請日期2012年7月24日 優(yōu)先權日2012年7月24日
發(fā)明者傅裕 申請人:常州泰宇信息科技有限公司