本發(fā)明涉及視頻分析
技術(shù)領(lǐng)域：
，尤其涉及一種基于圖像塊、高斯混合模型、隨機(jī)過(guò)程的背景去除方法。
背景技術(shù)：
：視頻的背景去除指將視頻中的前景與背景物體分別開(kāi)來(lái)。目前視頻主要分為兩類(lèi)：一類(lèi)是固定畫(huà)面背景的視頻，一類(lèi)是背景不斷變化的視頻。固定畫(huà)面的視頻主要包括監(jiān)控視頻等攝像頭固定的視頻。背景不斷變化的視頻主要包括電視節(jié)目、DVR錄像等等。本發(fā)明主要針對(duì)第一類(lèi)視頻，即固定畫(huà)面背景的視頻。這一類(lèi)視頻最大的應(yīng)用是廣泛分布于大街小巷、電梯路口的監(jiān)控視頻。因?yàn)槠?4小時(shí)攝錄的原因，導(dǎo)致數(shù)據(jù)量極大，但是有用的信息卻少之又少。因而一直以來(lái)是視頻分析領(lǐng)域非常關(guān)鍵的一個(gè)步驟?，F(xiàn)有的技術(shù)主要包含以下幾種：一、基于幀差法的方法。這是最簡(jiǎn)單的方式，通過(guò)比較前后幀畫(huà)面的差異，判斷前景物體的出現(xiàn)。因此幀差法最大的問(wèn)題在于背景的更新方法，與前后幀差異的差別，僅利用幀差法鮮有達(dá)到很好效果的算法。二、基于高斯混合模型的方法。這是上世紀(jì)90年代提出的方法，通過(guò)高斯混合模型對(duì)每一個(gè)像素點(diǎn)進(jìn)行建模，并利用期望最大化算法對(duì)模型在線更新，最后通過(guò)比較當(dāng)前像素與模型的差異來(lái)決定該像素是否為前景。該方法由于對(duì)每個(gè)像素的三通道分別進(jìn)行建模，造成較大的計(jì)算量，難以應(yīng)對(duì)當(dāng)前越來(lái)越大的圖像尺寸。三、基于隨機(jī)過(guò)程的方法。21世紀(jì)初，有學(xué)者提出了基于隨機(jī)采樣的方法。對(duì)每一幀圖像像素隨機(jī)的采樣作為背景，并隨機(jī)的更新背景，這種算法利用隨機(jī)過(guò)程的思想，可以得到較好的效果，但這種算法依然有可提高的余地。技術(shù)實(shí)現(xiàn)要素：為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供一種新的視頻背景去除方法，基于圖像塊、高斯混合模型、隨機(jī)過(guò)程，實(shí)現(xiàn)視頻背景去除。本發(fā)明方法可應(yīng)用于固定畫(huà)面的視頻前處理，以此得到前景畫(huà)面，便于后續(xù)進(jìn)行視頻分析。本發(fā)明的原理是：本發(fā)明方法融合了幀差法思想、高斯混合模型和隨機(jī)過(guò)程，利用傳統(tǒng)的幀差法的思想，通過(guò)幀之間的不同來(lái)得到前景背景，不同之處在于，之前的方法都是通過(guò)比較像素之間的不同。而本發(fā)明方法是采用像素和，即圖像塊之間的不同。我們采用高斯混合模型對(duì)每一個(gè)圖像塊進(jìn)行建模，并自動(dòng)產(chǎn)生閾值。我們采用隨機(jī)過(guò)程的思想，對(duì)圖像的背景進(jìn)行隨機(jī)更新，這樣可以消除掉小的噪聲。本發(fā)明主要采用基于圖像塊的幀差法，并利用高斯混合模型對(duì)幀差的閾值進(jìn)行自動(dòng)調(diào)節(jié)，利用隨機(jī)過(guò)程的方式對(duì)背景進(jìn)行更新。本發(fā)明方法在BMC(BackgroundModelingChallenge)數(shù)據(jù)集的真實(shí)視頻上做測(cè)試，其效果超出了當(dāng)前大多數(shù)方法。本發(fā)明提供的技術(shù)方案是：一種視頻背景的去除方法，將圖像分為相同大小的塊，塊的值為塊內(nèi)像素值的加和；通過(guò)視頻中塊的歷史來(lái)進(jìn)行高斯混合模型建模，并利用其標(biāo)準(zhǔn)差自動(dòng)調(diào)節(jié)閾值；利用閾值比較塊之間的差別，以此得到前景和背景；除此之外，還對(duì)背景進(jìn)行隨機(jī)的更新，以此來(lái)消除誤檢的前景物體；具體包括如下步驟：1)設(shè)定塊的大小為w*h，然后對(duì)每一幀圖像進(jìn)行灰度化，圖像大小為W*H，這樣灰度化的圖像可分為m*n塊。每一塊的值定義為塊內(nèi)像素的加和；2)將連續(xù)幀中同一位置的塊看做是塊的歷史{ν1，ν2，…，νn}，以下所有討論僅限于塊及塊的歷史；用高斯混合模型對(duì)塊的歷史進(jìn)行建模，對(duì)混合模型中的各個(gè)模型，用各個(gè)模型的ω/σ對(duì)模型進(jìn)行排序，采用排名最高的模型的三倍標(biāo)準(zhǔn)差3σ1為閾值，保持閾值的不斷更新；3)更新背景：可采用三種方式來(lái)更新背景；首先用第一幀圖像來(lái)初始化背景；這里的背景及下文中提到背景指一個(gè)塊的值；第一種方式是，采用相鄰前后塊之間差值小于閾值且長(zhǎng)度超過(guò)的塊的均值為背景，其中，為值相近的連續(xù)塊序列的長(zhǎng)度的設(shè)定值，在本發(fā)明中設(shè)定為5，表示值相近的塊的長(zhǎng)度；第二種方式是，采用連續(xù)超過(guò)的塊的均值為背景；第三種方式是，采用背景周?chē)S機(jī)的一塊，若這一塊為前景，且連續(xù)超過(guò)則將該塊的歷史中連續(xù)的前景的均值表示為背景；4)更新前景：首先設(shè)置潛在前景，再更新為最終前景；可采用兩種方式來(lái)更新前景；第一種方式是，通過(guò)比較相鄰前后塊的差異，若差值大于步驟2)所述閾值，則當(dāng)前塊為潛在前景，這里潛在前景指不一定是前景，需要進(jìn)一步判斷；第二種方式，通過(guò)比較當(dāng)前塊與背景的差異，若差值大于閾值，則當(dāng)前塊為潛在前景；然后，平均化所有處理過(guò)的塊內(nèi)的像素，將得到的值與潛在前景塊內(nèi)的像素做減法，得到的差值為ψ，將差值通過(guò)低通濾波(LPF)，若可通過(guò)的值少于一半的像素，即即為前景F。與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：本發(fā)明提供了一種新穎的背景去除方法，可以自由設(shè)置塊的大小，尤其在視頻尺寸較大時(shí)加速效果非常明顯，除此之外，對(duì)于不同形狀的感興趣物體，可以設(shè)置不同的矩形，這樣更好的適應(yīng)了感興趣物體。本發(fā)明采用高斯混合模型可以自動(dòng)生成閾值，這樣更新的閾值可以更好的適應(yīng)環(huán)境的變化。我們還利用隨機(jī)過(guò)程的思想，更新背景，這樣背景會(huì)不斷的侵蝕前景物體，直到前景物體消失，對(duì)于小的噪聲前景可以很快的將其消除。本發(fā)明可應(yīng)用于固定畫(huà)面的視頻前處理，以此得到前景畫(huà)面，為以后的視頻分析工作打下一個(gè)好的基礎(chǔ)。與現(xiàn)有技術(shù)相比，本發(fā)明在BMC數(shù)據(jù)集的真實(shí)數(shù)據(jù)部分，取得了目前方法所能夠達(dá)到的最好效果。真實(shí)數(shù)據(jù)包含了停車(chē)場(chǎng)、高速公路、公路、鐵路、地鐵、家庭院落等，包含白天夜晚、下雨下雪大風(fēng)等天氣。這就說(shuō)明了本發(fā)明具有廣泛的適用性，并且取得了非常高的準(zhǔn)確度。附圖說(shuō)明圖1是本發(fā)明提供的視頻背景去除方法的流程框圖；其中，1—使用塊快速建立背景；2—使用前景更新背景；3—使用背景更新前景。圖2是本發(fā)明實(shí)施例中的由原視頻去除背景后的的示例圖。具體實(shí)施方式下面結(jié)合附圖，通過(guò)實(shí)施例進(jìn)一步描述本發(fā)明，但不以任何方式限制本發(fā)明的范圍。背景減除在視頻分析領(lǐng)域具有非常重要的應(yīng)用，尤其是視頻監(jiān)控。相比其他視頻資源，監(jiān)控視頻具有一些獨(dú)特的特征，比如畫(huà)面穩(wěn)定，紋理相似等?；诖?，本發(fā)明提出了一種新穎的背景去除方法。首先定義了塊的概念，將圖像分為相同大小的塊，塊的值為塊內(nèi)像素值的加和；通過(guò)比較塊之間的不同來(lái)確定前景與背景；使用高斯混合模型來(lái)自動(dòng)的調(diào)整閾值，同時(shí)采用隨機(jī)過(guò)程的思想來(lái)更新背景；最后在BMC(BackgroundModelsChallenge)數(shù)據(jù)集上做實(shí)驗(yàn)，結(jié)果顯示我們的方法超越了目前大多數(shù)先進(jìn)算法。本發(fā)明提供了一種新穎的背景去除方法，可以自由設(shè)置塊的大小，尤其在視頻尺寸較大時(shí)加速效果非常明顯，除此之外，對(duì)于不同形狀的感興趣物體，可以設(shè)置不同的矩形，這樣更好的適應(yīng)了感興趣物體。本發(fā)明采用高斯混合模型可以自動(dòng)生成閾值，這樣更新的閾值可以更好的適應(yīng)環(huán)境的變化。我們還利用隨機(jī)過(guò)程的思想，更新背景，這樣背景會(huì)不斷的侵蝕前景物體，直到前景物體消失，對(duì)于小的噪聲前景可以很快的將其消除。圖1是本發(fā)明提供的視頻背景去除方法的流程框圖；包括將圖像分為相同大小的塊，塊的值為塊內(nèi)像素值的加和；通過(guò)視頻中塊的歷史來(lái)進(jìn)行高斯混合模型建模，并利用其標(biāo)準(zhǔn)差自動(dòng)調(diào)節(jié)閾值；利用閾值比較塊之間的差別，以此得到前景背景。除此之外，還對(duì)背景進(jìn)行隨機(jī)的更新，以此來(lái)消除誤檢的前景物體；具體包括如下步驟：第一，我們將每一幀圖像都轉(zhuǎn)化為灰度圖。我們假定每一個(gè)塊的大小為w*h，每一幀圖像的大小為W*H，那么每一幀由m*n塊組成，其中m＝W/w，n＝H/h。我們使用一個(gè)矩陣表示每一幀，矩陣的每一個(gè)元素表示一個(gè)塊的值。我們定義塊的值ν為塊內(nèi)像素pi,j的加和，表示為式1:第二，建立高斯混合模型。我們使用一系列的塊{ν1，ν2，…，νn}建立K個(gè)高斯模型的混合。K個(gè)高斯模型的加權(quán)得到混合高斯模型。以高斯混合模型表示當(dāng)前塊值的概率，記為P(vt)，用式2表示：這里，ωi,t表示第i個(gè)高斯模型在時(shí)間t的估計(jì)權(quán)重；μi,t是均值，即模型的中心；σi,t是標(biāo)準(zhǔn)差。我們對(duì)混合模型中的各個(gè)模型以ω/σ進(jìn)行排序。每一個(gè)值vt都會(huì)用來(lái)與混合模型進(jìn)行匹配；匹配是將每一個(gè)值vt與各模型的中心即均值進(jìn)行比較，當(dāng)模型得到更多匹配時(shí)權(quán)重會(huì)增大；而越匹配，方差就會(huì)越小，這樣排的就會(huì)越靠前。我們以混合模型中的某個(gè)模型的3σ作為閾值，來(lái)判斷是否匹配成功，即當(dāng)|vt-μi,t|＜3σ時(shí)表示vt與該模型匹配成功。若與所有模型都匹配不成功，則刪除排名最后的模型，并新建以vt為中心的模型，添加到混合模型的最后面。當(dāng)匹配成功時(shí)，更新以下三個(gè)參數(shù)：權(quán)重ωi,t、均值μ和標(biāo)準(zhǔn)差σ。對(duì)于權(quán)重ωi,t，我們用如下等式(式3)進(jìn)行更新其中，α是學(xué)習(xí)率，當(dāng)匹配成功時(shí)Vk,t為1，否則為0。經(jīng)過(guò)更新后的權(quán)重需要重新規(guī)則化，以保證全部權(quán)重的加和為1。對(duì)于沒(méi)有匹配到的模型，參數(shù)μ，σ都保持不變。若匹配到，則兩個(gè)參數(shù)需要按如下方式進(jìn)行更新：其中這里采用式6這種近似的方法，而沒(méi)有采用ρt＝P(vt)，可以簡(jiǎn)化計(jì)算，同時(shí)獲得了與之前相近的性能。這種方法最大的優(yōu)勢(shì)在于，當(dāng)一個(gè)新的事物出現(xiàn)時(shí)，原有高斯混合模型并不會(huì)被破壞而僅僅是被更新。除此之外，最前面的模型往往具有較高的權(quán)重和較低的方差，我們使用第一個(gè)高斯模型的標(biāo)準(zhǔn)差的三倍(3σ1)作為閾值。這樣就保證了我們的算法對(duì)新的事物具有較高的敏感度。第三，更新背景。我們首先用第一幀圖像初始化背景。這里的背景以及下面所討論的背景均指一個(gè)圖像塊的值。我們可通過(guò)下面這三種方式來(lái)更新背景。31)快速的建立背景。通過(guò)塊序列中，長(zhǎng)度超過(guò)的連續(xù)子序列(連續(xù)的塊序列)，且前后塊之間的差值小于閾值，則用這些塊的均值來(lái)更新背景。如式7所示：這里，di-1,i＝|vi-vi-1|。這樣更新之后，我們將變?yōu)榈?0倍，即這就意味著，我們?cè)俅胃滦枰^(guò)個(gè)相近的連續(xù)塊。我們這樣做的目的是為了在得到背景后保持一個(gè)較低的更新速度。32)使用前景更新背景。這里的前景Ft同背景一樣，僅指一個(gè)塊值。我們更新前景均值如式8所示：這里，l指連接前景塊的長(zhǎng)度。如果這里有超過(guò)的連續(xù)前景塊，我們就用前景均值更新背景。在實(shí)際的場(chǎng)景中，會(huì)有一些物體運(yùn)動(dòng)之后停下來(lái)，比如汽車(chē)、動(dòng)物、人等，我們的算法會(huì)把停下來(lái)的這些物體當(dāng)做背景處理。33)使用背景更新背景。我們采用隨機(jī)過(guò)程的思想。對(duì)于每一個(gè)背景塊，隨機(jī)選擇其中的一個(gè)相鄰塊，如圖所示。假設(shè)這個(gè)相鄰塊是前景塊，并且長(zhǎng)度已經(jīng)超過(guò)這里是的4倍大小。那么使用前景均值更新背景。這就是意味著們可以更快的更新背景。一些小的噪聲就可以被背景逐漸吃掉。因此這個(gè)方法可以保留大的物體，而放棄小的。第四，更新前景。我們采用與幀差法類(lèi)似的思想，如果相鄰前后塊的差異di-1，i＞3σ1，則將當(dāng)前塊視為潛在前景Fc。除此之外，如果當(dāng)前塊與背景之間的差異超過(guò)3σ1，則同樣將當(dāng)前塊視為潛在前景Fc。這里潛在前景指可能不被認(rèn)定為前景。出現(xiàn)這種情況的原因是視頻中突變的光照，比如汽車(chē)車(chē)燈的開(kāi)啟，路燈的亮起，這樣塊內(nèi)的每個(gè)像素值都會(huì)增大，塊的值一下增大很多，而光并不是前景物體。為解決這個(gè)問(wèn)題，我們采用基于像素級(jí)別的運(yùn)算。對(duì)于所有運(yùn)算過(guò)的像素，我們將他們塊的像素平均化，然后得到當(dāng)前塊內(nèi)像素與這些平均像素的差值ψ，將這個(gè)差值通過(guò)低通濾波器LPF，如果有少于一半的像素通過(guò)，我們就認(rèn)為當(dāng)前塊是前景。通過(guò)調(diào)整LPF，我們可以改變算法對(duì)光照的敏感度。比如，通過(guò)LPF甚至可以過(guò)濾掉行人腳下的影子。圖2是本發(fā)明實(shí)施例中的由原視頻去除背景后的示例圖，其中上圖為原視頻圖像，下圖為采用本發(fā)明方法去除背景后得到的前景圖。表1不同方法在BMC數(shù)據(jù)集上的測(cè)試結(jié)果123456789FSDPBAS[1]0.87590.87620.94910.93570.84820.91600.88240.82040.88390.8676MultiLayer[2]0.87490.88490.94320.93240.85390.92280.86040.82330.88440.8701LBAdaptiveSOM[3]0.82310.71420.92330.79710.79000.85470.83350.69240.87930.8306DPWrenGABGS[4]0.85830.85630.93060.91910.85400.88720.87620.77760.86700.8606MOGV1BGS[5]0.86620.86180.90700.89250.86400.87940.83180.80740.86680.8654FTSG[6]0.89320.92680.90340.92990.76730.90600.85600.70790.92050.8485ourBoBS0.86850.88360.95080.93380.86710.90910.85450.78640.88060.8734最后，本方法在BMC數(shù)據(jù)集的9個(gè)實(shí)際視頻中做實(shí)驗(yàn)，表1是本發(fā)明方法和與之對(duì)比的其他六個(gè)比較先進(jìn)的算法在BMC數(shù)據(jù)集上的測(cè)試結(jié)果。其中，表格最左側(cè)單元格為文獻(xiàn)[7](AndrewsSobralandAntoineVacavant.“Acomprehensivereviewofbackgroundsubtractionalgorithmsevaluatedwithsyntheticandrealvideos，”ComputerVisionandImageUnderstanding，vol.122，pp.4-21，2014)中提到的六種方法(包括在BMC數(shù)據(jù)集上Top5的五種方法和在ChangeDetectionChallenge2014上Top1的一種方法)及本發(fā)明提出的方法，最上一行單元格為BMC數(shù)據(jù)集中的9個(gè)真實(shí)場(chǎng)景監(jiān)控視頻的編號(hào)1-9和平均FSD。這里所有的分值都是FSD計(jì)分，F(xiàn)SD是表示背景去除算法中的評(píng)估方法，表示FSD的加權(quán)均值。結(jié)果表明，本發(fā)明方法的效果超過(guò)了絕大多數(shù)最佳方法。在BMC數(shù)據(jù)集上Top5的五種方法和在ChangeDetectionChallenge2014上Top1的一種方法分別記載在以下相應(yīng)文獻(xiàn)中：[1]MartinHofmann,PhilippTiefenbacher,andGerhardRigoll,“Backgroundsegmentationwithfeedback:Thepixel-basedadaptivesegmenter,”in2012IEEEComputerSocietyConferenceonComputerVisionandPatternRecognitionWorkshops.IEEE,2012,pp.38–43.[2]JianYaoandJean-MarcOdobez,“Multi-layerbackgroundsubtractionbasedoncolorandtexture,”in2007IEEEConferenceonComputerVisionandPatternRecognition.IEEE,2007,pp.1–8.[3]LuciaMaddalenaandAlfredoPetrosino,“Aselforganizingapproachtobackgroundsubtractionforvisualsurveillanceapplications,”IEEETransactionsonImageProcessing,vol.17,no.7,pp.1168–1177,2008.[4]ChristopherRichardWren,AliAzarbayejani,TrevorDarrell,andAlexPaulPentland,“Pfinder:Real-timetrackingofthehumanbody,”IEEETransactionsonpatternanalysisandmachineintelligence,vol.19,no.7,pp.780–785,1997.[5]PakornKaewTraKulPongandRichardBowden,“Animprovedadaptivebackgroundmixturemodelforrealtimetrackingwithshadowdetection,”inVideo-basedsurveillancesystems,pp.135–144.Springer,2002.[6]RuiWang,FilizBunyak,GunaSeetharaman,andKannappanPalaniappan,“Staticandmovingobjectdetectionusingfluxtensorwithsplitgaussianmodels,”inProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognitionWorkshops,2014,pp.414–418.需要注意的是，公布實(shí)施例的目的在于幫助進(jìn)一步理解本發(fā)明，但是本領(lǐng)域的技術(shù)人員可以理解：在不脫離本發(fā)明及所附權(quán)利要求的精神和范圍內(nèi)，各種替換和修改都是可能的。因此，本發(fā)明不應(yīng)局限于實(shí)施例所公開(kāi)的內(nèi)容，本發(fā)明要求保護(hù)的范圍以權(quán)利要求書(shū)界定的范圍為準(zhǔn)。當(dāng)前第1頁(yè)1 2 3