專(zhuān)利名稱(chēng)：動(dòng)態(tài)場(chǎng)景下的運(yùn)動(dòng)物體檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種動(dòng)態(tài)場(chǎng)景下的運(yùn)動(dòng)物體檢測(cè)方法，主要用于視頻監(jiān)控系統(tǒng)運(yùn)動(dòng)目標(biāo)分類(lèi)、跟蹤等更高層次的視頻分析，屬于視頻處理技術(shù)領(lǐng)域。
背景技術(shù)：
運(yùn)動(dòng)物體檢測(cè)是視頻監(jiān)視、人機(jī)交互，交通監(jiān)控等系統(tǒng)視頻分析的一個(gè)關(guān)鍵問(wèn)題，其結(jié)果通常用于目標(biāo)跟蹤、分類(lèi)等更高層次的分析與處理。檢測(cè)方法的有效性與魯棒性對(duì)整個(gè)視頻系統(tǒng)非常關(guān)鍵。作為運(yùn)動(dòng)檢測(cè)的一種有效方法，背景幀差值法(Background Subtraction)將場(chǎng)景背景從當(dāng)前圖像中減去以得到運(yùn)動(dòng)前景，具有準(zhǔn)確定位與不擴(kuò)大運(yùn)動(dòng)區(qū)域等優(yōu)點(diǎn)。通常假設(shè)背景完全靜止不動(dòng)或背景可通過(guò)拍攝沒(méi)有運(yùn)動(dòng)物體的所謂空背景得到。而事實(shí)上，在實(shí)際應(yīng)用系統(tǒng)如交通監(jiān)控中，不包括運(yùn)動(dòng)物體或完全靜止不變的背景圖像無(wú)法得到。因此，背景幀差值法檢測(cè)運(yùn)動(dòng)物體需要首先從包含運(yùn)動(dòng)物體的場(chǎng)景復(fù)雜的序列圖像中動(dòng)態(tài)地提取背景模型，而且該模型必須具有對(duì)環(huán)境變化的魯棒性和對(duì)運(yùn)動(dòng)物體的高靈敏性。
傳統(tǒng)的參數(shù)模型法通過(guò)事先假定待估計(jì)背景的某種特性服從一定的統(tǒng)計(jì)模型，如高斯分布或混合高斯分布，然后計(jì)算模型參數(shù)得到背景模型。這必將涉及到模型參數(shù)估計(jì)以及參數(shù)優(yōu)化等問(wèn)題，而這些問(wèn)題通常涉及計(jì)算復(fù)雜的期望極大值化算法。另外，由于實(shí)際場(chǎng)景復(fù)雜，如存在樹(shù)枝葉搖動(dòng)等因素，實(shí)際背景模型分布未知且不能事先假定，根本無(wú)法得到待估計(jì)背景象素過(guò)程的先驗(yàn)知識(shí)。因此，參數(shù)方法不適合于視頻監(jiān)控系統(tǒng)。近年來(lái)，由Elgammal等人提出的非參數(shù)模型法(Elgammal A.，Harwood D.，and Davis L.，Non-parametric model for backgroundsubtraction，The 6th European Conference on Computer Vision，Dublin，Ireland，2000，page 751-767)直接從數(shù)據(jù)中估計(jì)未知密度函數(shù)，避免了模型形式假定以及分布參數(shù)的估計(jì)優(yōu)化等問(wèn)題。然而，Elgammal提出的非參數(shù)模型法采用全部樣本集中的數(shù)據(jù)用于模型估計(jì)，需要在檢測(cè)過(guò)程中保存所有樣本數(shù)據(jù)。而且，該方法對(duì)不同的樣本進(jìn)行相同的處理，將每一樣本對(duì)密度估計(jì)的作用視為完全相同，在密度計(jì)算中采用均一權(quán)值，這樣在背景提取過(guò)程中需要重復(fù)計(jì)算許多相同或者相似的樣本。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)上述技術(shù)的不足及視頻監(jiān)控系統(tǒng)的實(shí)際需要，提供一種動(dòng)態(tài)場(chǎng)景下的運(yùn)動(dòng)物體檢測(cè)方法，不需要事先假設(shè)背景的分布形式，避免在背景密度估計(jì)中的信息冗余和重復(fù)計(jì)算，所建立的多樣性樣本非參數(shù)多模態(tài)模型可以處理場(chǎng)景復(fù)雜及不完全靜止的情況，為更高層次視頻分析如跟蹤、分類(lèi)等系統(tǒng)奠定堅(jiān)實(shí)的技術(shù)基礎(chǔ)。
為實(shí)現(xiàn)這個(gè)目的，針對(duì)場(chǎng)景不完全靜止而存在小運(yùn)動(dòng)的情形，本發(fā)明首先通過(guò)多樣性原理，從原始訓(xùn)練序列中提取出樣本集中具有較高出現(xiàn)頻度以及具有多樣性的樣本，保留訓(xùn)練圖像序列中的重要信息。然后根據(jù)非參數(shù)概率密度估計(jì)理論，采用核密度估計(jì)(KDE，kernel density estination)函數(shù)對(duì)象素過(guò)程進(jìn)行建模估計(jì)視頻圖像象素灰度的分布。最后通過(guò)閾值化來(lái)得到運(yùn)動(dòng)物體的二值掩碼，得到運(yùn)動(dòng)物體的位置和形狀。
本發(fā)明所提出的動(dòng)態(tài)場(chǎng)景運(yùn)動(dòng)物體檢測(cè)方法主要包括四個(gè)部分多樣性樣本集的提取、核估計(jì)窗寬計(jì)算、核密度估計(jì)和運(yùn)動(dòng)物體二值掩碼計(jì)算。具體步驟如下1)多樣性樣本集選取。采集一組連續(xù)拍攝包含運(yùn)動(dòng)物體的視頻序列圖像(N幀)作為原始訓(xùn)練樣本集，從每一象素的N個(gè)時(shí)域取值直方圖中交替選取具有最高出現(xiàn)頻度以及與所選樣本在歐氏距離下具有最大差異性的樣本組成新的樣本集，同時(shí)以新樣本為中心計(jì)算正負(fù)單位灰度取值區(qū)間內(nèi)的原樣本數(shù)，得到新樣本的不同權(quán)值用于核密度估計(jì)；2)核估計(jì)窗寬計(jì)算。在得到新樣本集及對(duì)應(yīng)權(quán)值后，還需要得到核估計(jì)中每一象素對(duì)應(yīng)的窗寬。在背景模型估計(jì)中，窗寬主要要反映象素灰度由于圖像模糊等產(chǎn)生的局部變化而不是灰度的跳躍變化。利用原始樣本集中每一象素在相鄰幀中的樣本絕對(duì)差中位數(shù)(MAD)來(lái)計(jì)算，得到該象素窗寬與樣本絕對(duì)差中位數(shù)的關(guān)系，從而求得不同象素點(diǎn)的窗寬值。
3)核密度估計(jì)。利用所得到的多樣性樣本、權(quán)值以及窗寬后，可以對(duì)當(dāng)前幀圖像進(jìn)行核密度估計(jì)。將當(dāng)前圖像每一象素的灰度取值代入核密度估計(jì)函數(shù)，計(jì)算得到當(dāng)前圖像象素的估計(jì)密度。
4)運(yùn)動(dòng)物體二值掩碼計(jì)算。對(duì)于不同的圖像序列，通過(guò)實(shí)驗(yàn)選定的某一閾值，對(duì)步驟3中計(jì)算得到的估計(jì)密度進(jìn)行閾值化處理。當(dāng)估計(jì)密度大于閾值時(shí)，將對(duì)應(yīng)象素點(diǎn)視為背景點(diǎn)并賦1，否則視為前景運(yùn)動(dòng)物體點(diǎn)，賦為0。由此得到的二值掩碼可以很好地表征當(dāng)前時(shí)刻運(yùn)動(dòng)物體的位置及其形狀。
本發(fā)明方法不需要事先假設(shè)背景的任何形式，避免了復(fù)雜的參數(shù)計(jì)算和優(yōu)化。背景提取和運(yùn)動(dòng)物體檢測(cè)過(guò)程中不再需要保存和使用原始訓(xùn)練序列的全部數(shù)據(jù)，節(jié)省了存儲(chǔ)空間，避免了耗時(shí)的重復(fù)計(jì)算。本發(fā)明方法的實(shí)現(xiàn)簡(jiǎn)單有效，具有很好的通用性和針對(duì)性。


圖1為本發(fā)明動(dòng)態(tài)場(chǎng)景下的運(yùn)動(dòng)物體檢測(cè)方法的流程框圖。
圖2為本發(fā)明多樣性樣本集提取流程框圖。
圖3為本發(fā)明實(shí)施例所采用的交通場(chǎng)景原始圖像。
圖4為本發(fā)明實(shí)施例從原始圖像得到的運(yùn)動(dòng)物體檢測(cè)結(jié)果。
具體實(shí)施例方式
為了更好地理解本發(fā)明的技術(shù)方案，以下結(jié)合附圖和實(shí)施例作進(jìn)一步詳細(xì)敘述。
圖1為本發(fā)明方法的流程框圖。為了建立運(yùn)動(dòng)物體檢測(cè)的動(dòng)態(tài)背景模型，需要N幀連續(xù)的圖像序列作為樣本用于模型訓(xùn)練。對(duì)于某一象素(x，y)，需要提取新的多樣性樣本(Mx，y個(gè))，并同時(shí)得到窗寬σx，y。然后對(duì)當(dāng)前幀圖像進(jìn)行核密度估計(jì)，并對(duì)估計(jì)結(jié)果進(jìn)行閾值化處理，最后得到運(yùn)動(dòng)物體檢測(cè)結(jié)果。圖2是圖1中多樣性樣本集提取的流程框圖。從原始訓(xùn)練樣本的直方圖中首先得到具有最大出現(xiàn)頻度的灰度值，接著從原樣本集剩下的樣本中選取與所選得的灰度值在歐氏距離下最遠(yuǎn)的灰度值，然后再?gòu)奈催x取樣本中得到最大頻度灰度和與已選樣本距離最遠(yuǎn)灰度值，如此反復(fù)直到得到所需樣本數(shù)。
本發(fā)明實(shí)施例采用的某一交通場(chǎng)景的當(dāng)前時(shí)刻原始圖像如圖3所示，運(yùn)動(dòng)物體檢測(cè)按以下步驟具體進(jìn)行1)多樣性樣本集的提取采集一組連續(xù)拍攝并包含運(yùn)動(dòng)物體的視頻序列圖像(N幀)作為原始訓(xùn)練樣本集，某一象素(x，y)在N幀中的灰度取值為S1＝{y1，y2，…，yN}。由于S1中存在一些相似甚至相同的值，所以可用M個(gè)在S1中具有最高出現(xiàn)頻度以及具有最大變化性的值來(lái)表示。具體做法為首先，計(jì)算S1中出現(xiàn)頻率最高的灰度值g1g1=yq1=argmaxq1(ny1,ny2,···,nyp)]]>式中nyi表示灰度取值為yi的樣本總數(shù)，P為N個(gè)樣本的不同灰度取值數(shù)。其次，選取與g1在歐氏距離下相差最遠(yuǎn)的灰度值g2g2=yq2=argmaxq2(|g1-yk|)---k=1,2,···,P]]>然后，從S1未被選取的值中得到頻度最高的灰度值g3g3=yq3=argmaxq3≠q1,q2(ny1,ny2,···,nyp)]]>接著選取與已得到的新樣本{g1，g2，g3)相距最遠(yuǎn)的值g4g4=yq4=argmaxq4≠q1,q2,q3(minl=q1,q2,q3(|yk-g1|))k=1,2,···,P]]>如此反復(fù)，交替選取未選取樣本集中頻度最大及與已選得樣本相差最遠(yuǎn)的值，直至得到Mx，y個(gè)樣本的新樣本集S2={g1,···,gMx,y}.]]>顯然，當(dāng)Mx，y＝N時(shí)即為選取S1中的全部灰度取值。
對(duì)于新樣本gi，由下式來(lái)計(jì)算其權(quán)值αi
αi=NiN,i=1,···,Mx,y]]>式中Ni是在[gi-Δg，gi+Δg]的原樣本數(shù)，Mx，y可由象素(x，y)的在N幀中的灰度取值數(shù)P來(lái)得到 式中[P/(2Δg+1)]為不大于P/(2Δg+1)的最小整數(shù)。K1，K2為實(shí)驗(yàn)給定參數(shù)，Mmax為新樣本集的最大樣本數(shù)。
2)核估計(jì)窗寬計(jì)算在背景密度核估計(jì)中，窗寬σ主要反映象素灰度由于圖像模糊等產(chǎn)生的局部變化而不是灰度的跳躍變化。時(shí)域上相鄰的象素對(duì)(yi，yi+1)通常來(lái)源于相同的局部分布而只有很少情況來(lái)源于交叉分布。假設(shè)其局部分布服從N(μ，σ2)的高斯分布，那么差值(yi-yi+1)的分布為高斯分布N(μ，2σ2)。由高斯分布的對(duì)稱(chēng)性以及樣本中位數(shù)的定義可以得到樣本絕對(duì)差值|yi-yi+1|的中值m滿(mǎn)足∫-∞m12π2σ2eu22σ2du=0.25]]>由標(biāo)準(zhǔn)正態(tài)分布表可查得其上側(cè)0.25分位數(shù)Φ(u0.25)為0.68，那么m=0+u0.25(2σ)=0.682σ]]>窗寬σx，y可由樣本中位數(shù)mx，y得到σx,y=mx,y/(0.682).]]>3)核密度估計(jì)核密度估計(jì)通過(guò)加權(quán)平均中心點(diǎn)位于采樣值的局部函數(shù)來(lái)估計(jì)未知的密度分布。由1)2)步驟得到象素特征空間的多樣性新樣本集{g1，g2，…，gMx，y}，權(quán)值αi以及窗寬σx，y，當(dāng)前圖像(附圖3)中象素(x，y)的灰度取值為yt的密度分布為p(yt)p(yt)=Σi=1Mx,yαiKσx,y(yt-gi)]]>式中Kσ為窗寬為σ的核函數(shù)且滿(mǎn)足Kσ(x)=1σK(xσ),]]>αi為歸一化權(quán)值系數(shù)Σi=1Nαi=1.]]>如果采用標(biāo)準(zhǔn)正態(tài)分布核來(lái)計(jì)算，則圖像灰度分布的公式為p(yt)=Σi=1Mx,yαi12πσx,y2e(yt-gi)22σx,y2]]>4)運(yùn)動(dòng)物體二值掩碼計(jì)算計(jì)算得到圖3中每一象素的密度估計(jì)后，可以通過(guò)閾值化得到的二值掩碼獲得運(yùn)動(dòng)物體的位置與形狀。對(duì)于某一象素灰度值yt，如果核密度估計(jì)結(jié)果小于某一閾值th，則該象素點(diǎn)被歸為前景點(diǎn)，否則歸為背景點(diǎn)。運(yùn)動(dòng)物體檢測(cè)結(jié)果可由二值掩碼來(lái)表示 圖4是由圖3得到的運(yùn)動(dòng)物體檢測(cè)結(jié)果。雖然高架下圖像的對(duì)比度很低，但是運(yùn)動(dòng)車(chē)輛仍然得到了較好的檢測(cè)。圖3右邊的行人雖然被樹(shù)木遮擋而且樹(shù)葉存在小范圍的運(yùn)動(dòng)，但是行人的位置與形狀也得到了很好的檢測(cè)。檢測(cè)結(jié)果中的噪聲主要是由于背景的某些狀態(tài)不包含在所建立的背景模型中，可以通過(guò)噪聲濾波技術(shù)將其去除以得到更好的檢測(cè)結(jié)果。
權(quán)利要求
1.一種動(dòng)態(tài)場(chǎng)景下的運(yùn)動(dòng)物體檢測(cè)方法，其特征在于包括如下步驟1)多樣性樣本集選取采集一組連續(xù)拍攝包含運(yùn)動(dòng)物體的視頻序列圖像作為原始訓(xùn)練樣本集，從每一象素的時(shí)域取值直方圖中交替選取具有最高出現(xiàn)頻度以及與所選樣本在歐氏距離下具有最大差異性的樣本組成新的樣本集，同時(shí)以新樣本為中心計(jì)算正負(fù)單位灰度取值區(qū)間內(nèi)的原樣本數(shù)，得到新樣本的不同權(quán)值用于核密度估計(jì)；2)核估計(jì)窗寬計(jì)算利用原始樣本集中每一象素在相鄰幀中的樣本絕對(duì)差中位數(shù)，得到該象素窗寬與樣本絕對(duì)差中位數(shù)的關(guān)系，從而求得不同象素點(diǎn)的窗寬值；3)核密度估計(jì)利用所得到的多樣性樣本、權(quán)值以及窗寬，對(duì)當(dāng)前幀圖像進(jìn)行核密度估計(jì)，將當(dāng)前圖像每一象素的灰度取值代入核密度估計(jì)函數(shù)，計(jì)算得到當(dāng)前圖像象素的估計(jì)密度；4)運(yùn)動(dòng)物體二值掩碼計(jì)算對(duì)核估計(jì)密度進(jìn)行閾值化處理，當(dāng)估計(jì)密度大于選定的某一閾值時(shí)，將對(duì)應(yīng)象素點(diǎn)視為背景點(diǎn)并賦1，否則視為前景運(yùn)動(dòng)物體點(diǎn)，賦為0，由此得到的二值掩碼表征當(dāng)前時(shí)刻運(yùn)動(dòng)物體的位置及其形狀。
全文摘要
本發(fā)明提供一種動(dòng)態(tài)場(chǎng)景下的運(yùn)動(dòng)物體檢測(cè)方法，針對(duì)場(chǎng)景不完全靜止而存在小運(yùn)動(dòng)的情形，采用核密度估計(jì)函數(shù)(KDE)對(duì)象素過(guò)程進(jìn)行建模，利用非參數(shù)概率密度估計(jì)理論計(jì)算視頻圖像象素灰度的分布。本發(fā)明方法從原始訓(xùn)練序列中得到時(shí)域多樣性樣本集用于模型訓(xùn)練。在背景提取和運(yùn)動(dòng)物體檢測(cè)過(guò)程中不需要保存和使用原始訓(xùn)練數(shù)據(jù)，節(jié)省了存儲(chǔ)空間，避免了耗時(shí)的重復(fù)計(jì)算，能夠得到運(yùn)動(dòng)物體的實(shí)時(shí)位置和形狀。本發(fā)明方法的實(shí)現(xiàn)簡(jiǎn)單有效，具有很好的通用性和針對(duì)性。
文檔編號(hào)G06T7/20GK1564600SQ20041001785
公開(kāi)日2005年1月12日 申請(qǐng)日期2004年4月22日 優(yōu)先權(quán)日2004年4月22日
發(fā)明者毛燕芬, 施鵬飛 申請(qǐng)人:上海交通大學(xué)