本發(fā)明屬于計算機視覺
技術(shù)領(lǐng)域：
，尤其涉及一種在準(zhǔn)確高效的背景差分和前景檢測建模的方法。
背景技術(shù)：
：在計算機視覺應(yīng)用中，準(zhǔn)確的背景差分模型是前景提取的一個基本且重要的步驟。通常情況下，在觀察和評估一個待分類的圖像之前，通過集合和研究一系列連續(xù)的圖像即可生成初始化的背景模型。但是這種選取一個固定參考窗口的方法對靜態(tài)背景可能奏效，卻忽視了對具有動態(tài)性變化范圍的動態(tài)背景的研究。對于固定參考窗口的大小，設(shè)定一個上限值可以避免對動態(tài)背景的遺漏，但是會增加計算負擔(dān)尤其是有復(fù)雜計算成分的(如高斯)。通過對有動態(tài)性的背景進行分析發(fā)現(xiàn)，動態(tài)部分往往占據(jù)整個背景的一部分，或者說，整個背景可利用動態(tài)性分成不同的級別。根據(jù)區(qū)域所屬的動靜級別的不同而設(shè)定不同的閾值，動態(tài)區(qū)域，比如搖擺的樹葉，蕩漾的水波等，在面對一個新的像素要決定其是否為背景時，具有一個比較寬的容忍度，可以接納的范圍比較大，從而可以設(shè)定為較大的閾值；而靜態(tài)區(qū)域(也稱之為穩(wěn)定區(qū)域)的變化范圍較窄，在是否接受一個新的像素為背景時顯得比較謹慎，通常只有非常靠近它的主體范圍時才會被考慮，否則被歸類為前景。因此，此時的閾值在充分考慮到實際的情形，即有時超出一個小的范圍也是可以的，應(yīng)該設(shè)為較小的值，以滿足穩(wěn)定的背景區(qū)域偶爾的波動。在過去的十年里，如何保持一個穩(wěn)定的背景模型，準(zhǔn)確建立表征靜態(tài)或動態(tài)場景中對象的外觀(通常指背景差分)吸引了眾多研究者的關(guān)注。最初，背景差分模型的原理是簡單的計算兩個圖像幀之間的差別(文獻1)，其中一個幀是單純的背景圖像，另一個則是當(dāng)前幀。但是這種簡單的計算在遇到背景變化時會發(fā)生錯誤。因此，面對數(shù)據(jù)集的不確定性，研究者們提出了基于統(tǒng)計學(xué)的技術(shù)來分析背景模型。Wren等人使用了一個單一高斯來對背景建模(文獻2)，假設(shè)場景對Pfinder是相對靜止的。但Stauffer和Grimson等人發(fā)現(xiàn)Pfinder對于室外場景并不起效(文獻3)，他們使用混合高斯來對像素值建模，該方法對后來的諸多改進方法是具有里程碑式意義的(文獻4-8)。這些改進的方法在很多場景中取得了很多進展。然而，研究者往往無法通過參數(shù)化的方法來對自然場景的特征建模。Elgammal等人選擇一個正態(tài)函數(shù)作為核函數(shù)(文獻9)，然后通過假設(shè)帶寬為對角矩陣來降低計算概率密度Pr的復(fù)雜度，并且通過平均絕對偏差來評估樣本像素的連續(xù)灰度值。對于一個在t時刻的像素，他們給Pr(xt)設(shè)置了一個全局閾值th。如果Pr(xt)<th，該像素被認為是前景否則為背景。Elgammal等人結(jié)合了兩種更新機制(選擇更新和盲更新)用于更新模型，并且計算檢測結(jié)果的交集來消除錯誤的前景。Mittall和Paragios(文獻10)等人定義了一個由球形估計算子和樣本點估計算子(文獻11)組成的混合密度估計量。在分類過程中，他們使用了一種統(tǒng)計近似方法(如采樣方法)來獲得一個增量的自適應(yīng)閾值從而實現(xiàn)較低的錯誤警示和高的檢測率。YaserSheikh和MubarakShah等人認為(文獻12)，空間上鄰近像素的相關(guān)性是很重要，他們顯式地對背景和前景建模，該方法對動態(tài)元素如相機振動，水波等取得了高質(zhì)量的檢測結(jié)果。除了這些統(tǒng)計方法，研究者還提出了很多其他方法，如光流法(文獻13)，超像素法(文獻14)，動態(tài)紋理發(fā)(文獻15、16)，二進制模型(文獻17、18)，套索法(文獻19)等。文獻1：R.JainandH.Nagel,“OntheAnalysisofAccumulativeDifferencePicturesfromImageSequencesofRealWorldScenes,”IEEETrans.PatternAnalysisandMachineIntelligence,1979.N.Oliver,B.Rosario,andA.Pentland,“ABayesianComputerVisionSystemforModelingHumanInteractions,”IEEETrans.PatternAnalysisandMachineIntelligence,2000.文獻2：WrenC.,AzarbayejaniA.,Darrelllt.,PentlandA.Pfinder:Real-TimeTrackingoftheHumanBody,IEEETransactionsonPatternAnalysisandMachineIntelligence,Volume19,No.7,pages780-785,July1997.文獻3：StaufferC.,GrimsonW.Adaptivebackgroundmixturemodelsforreal-timerracking,CVPR1999,pages246-252,1999.文獻4：Z.ZivkovicandF.vanderHeijden"Efficientadaptivedensityestimationperimagepixelforthetaskofbackgroundsubtraction",PatternRecognitionLetters,vol.27,no.7,pages773-780,2006.文獻5：M.HeikkilaandM.Pietikainen.Atexture-basedmethodformodelingthebackgroundanddetectinmovingobjects.IEEETransactionsonPatternAnalysisandMachineIntelligence,28(4):657-662,2006.文獻6：H.Lin,J.Chuang,T.Liu.Regularizedbackgroundadaptation:anovellearningratecontrolschemeforGaussianmixturemodeling.IEEETrans.ImageProcess.20(2011)822-836.文獻7：X.LiuandC.Qi.Future-datadrivenmodelingofcomplexbackgroundsusingmixtureofgausians.Neurocomputing,119:439-453,2013.文獻8：Shimada,A.,Nagahara,H.,Taniguchi,R.:Backgroundmodelingbasedonbidirectionalanalysis.In:CVPR,pp.1979–1986(2013).文獻9：ElgammalA.,HarwoodD.,DavisL.Non-parametricModelforBackgroundSubtraction,ECCV2000,pages751-767,Dublin,Ireland,June2000.文獻10：A.MittalandN.Paragios.Motion-basedbackgroundsubtractionusingadaptivekerneldensityestimation.InIEEEInternationalConferenceonComputerVisionandPatternRecognition,2004.文獻11：M.P.WandandM.C.Jones.KernelSmoothing.ChapmanandHall,1995.文獻12：SheikhYaser,andMubarakShah."Bayesianmodelingofdynamicscenesforobjectdetection."IEEEtransactionsonpatternanalysisandmachineintelligence27.11(2005):1778-1792.文獻13：SpatiotemporalBackgroundSubtractionUsingMinimumSpanningTreeandOpticalFlow.Eccv.2014.文獻14：Wand,MattP.,andM.ChrisJones.Kernelsmoothing.CrcPress,1994.,Feldman-HaberS,KellerY.Aprobabilisticgraph-basedframeworkforplug-and-playmulti-cuevisualtracking.IEEETransactionsonImageProcessing.2014May；23(5):2291-301.文獻15：MumtazA,ZhangW,ChanAB.Jointmotionsegmentationandbackgroundestimationindynamicscenes.InProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition2014(pp.368-375).文獻16：A.B.ChanandN.Vasconcelos,“Modeling,clustering,andsegmentingvideowithmixturesofdynamictextures,”IEEETPAMI,2008.文獻17：P.-L.St-Charles,G.-A.Bilodeau,andR.Bergevin.SuBSENSE:Auniversalchangedetectionmethodwithlocaladaptivesensitivity.IEEETransactionsonImageProcessing,24(1):359–373,2015.文獻18：Guo,Lili,DanXu,andZhenpingQiang."BackgroundSubtractionUsingLocalSVDBinaryPattern."InProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognitionWorkshops,pp.86-94.2016.文獻19：backgroundsubtractionviageneralizedfusedlassoforegroundmodeling.Cvpr.2015.技術(shù)實現(xiàn)要素：針對現(xiàn)有基于統(tǒng)計學(xué)方法的模型在準(zhǔn)確性上不高的問題，本發(fā)明從參考數(shù)據(jù)的質(zhì)量，最優(yōu)帶寬的計算，自適應(yīng)閾值的選擇和更新策略四點出發(fā)，提出了一種新的背景差分和前景探測的方法。本發(fā)明所采用的技術(shù)方案是：一種背景差分和前景探測的方法，其特征在于：構(gòu)建米諾向量，用于保存每個像素的參考數(shù)據(jù)和統(tǒng)計信息；定義背景圖像的每一個位置的動態(tài)性，設(shè)定動態(tài)等級級數(shù)，根據(jù)動態(tài)等級劃分規(guī)則，將動態(tài)性歸屬為某一動態(tài)等級；采用動態(tài)KDE算法獲取最優(yōu)帶寬；給每一個像素設(shè)計一個自適應(yīng)的閾值，閾值的取值與像素的動態(tài)性相關(guān)；利用俄羅斯方塊更新方案，對米諾向量中的參考數(shù)據(jù)最底層進行消除操作，從而消除噪聲干擾。與現(xiàn)有技術(shù)相比，本發(fā)明具有以下的創(chuàng)新與優(yōu)勢：本發(fā)明提出了一個新的基于核密度估計的背景差分建模方法。設(shè)計了一個獨創(chuàng)性的數(shù)據(jù)結(jié)構(gòu)--米諾向量(MV)，用于保存每個像素的參考數(shù)據(jù)和統(tǒng)計信息，該數(shù)據(jù)結(jié)構(gòu)提升了計算效率。提出了動態(tài)性的定義并依據(jù)灰度值的變化程度給每個像素賦予這一屬性。在概率密度計算時，首次采用和實現(xiàn)了動態(tài)KDE算法，這使得準(zhǔn)確性得到了提高。不同于其他文獻的設(shè)定一個全局閾值算法，給每一個像素設(shè)計了一個自適應(yīng)的閾值，閾值的取值與像素的動態(tài)性相關(guān)。提出了一個全新的背景模型的更新策略，對米諾向量中的參考數(shù)據(jù)最底層進行消除操作，從而消除噪聲干擾。與當(dāng)前的方法相比，此方法有效地提高了背景差分模型的效率和準(zhǔn)確率。附圖說明圖1是本發(fā)明實施例的流程示意圖。圖2本發(fā)明實施例中提出的米諾向量構(gòu)成的方陣示意圖。圖3本發(fā)明實施例中分離動態(tài)背景和靜態(tài)背景的示意圖。圖4本發(fā)明實施例中閾值計算示意圖。圖5本發(fā)明實施例中背景模型更新算法示意圖。圖6本發(fā)明實施例中六種類別中抽取的一個具有代表性的子場景視頻示意圖。具體實施方式為了便于本領(lǐng)域普通技術(shù)人員理解和實施本發(fā)明，下面結(jié)合附圖及實施例對本發(fā)明作進一步的詳細描述，應(yīng)當(dāng)理解，此處所描述的實施示例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。請見圖1，本發(fā)明提供的一種背景差分和前景探測的方法，構(gòu)建米諾向量，用于保存每個像素的參考數(shù)據(jù)和統(tǒng)計信息；定義背景圖像的每一個位置的動態(tài)性，設(shè)定動態(tài)等級級數(shù)，根據(jù)動態(tài)等級劃分規(guī)則，將動態(tài)性歸屬為某一動態(tài)等級；采用動態(tài)KDE算法獲取最優(yōu)帶寬；給每一個像素設(shè)計一個自適應(yīng)的閾值，閾值的取值與像素的動態(tài)性相關(guān)；利用俄羅斯方塊更新方案，對米諾向量中的參考數(shù)據(jù)最底層進行消除操作，從而消除噪聲干擾。本實施中構(gòu)建米諾向量，其具體實現(xiàn)包括以下步驟：步驟A1：構(gòu)建長度為263的一維向量作為米諾向量；步驟A2：針對背景圖像的每一個位置，將米諾向量從下標(biāo)0至255的單元設(shè)計為存儲灰度值為相應(yīng)下標(biāo)的數(shù)量；步驟A3：將米諾向量從下標(biāo)256至262的單元設(shè)計為存儲背景圖像每個位置的統(tǒng)計信息，其中256單元存儲灰度值的總數(shù)(total位)，257單元存儲灰度值的變化幅值(span位)，258和259單元分別存儲最小和最大灰度值(min位和max位)，260單元存儲灰度所形成的聚類的個數(shù)(cluster位)，261單元存儲灰度所形成的峰態(tài)的個數(shù)(kurtosis位)，262單元存儲最底層灰度值的總數(shù)(base位)(如圖2所示)。本實施例中定義背景圖像的每個位置的動態(tài)性，是在一個時間段內(nèi)，像素的灰度值的變化范圍。然后設(shè)定動態(tài)等級級數(shù)，根據(jù)劃分規(guī)則，如均勻劃分，將動態(tài)性歸屬為某一動態(tài)等級，分級后的效果如圖3所示。本實施中計算最優(yōu)帶寬，其具體實現(xiàn)包括以下步驟：步驟B1：選取一個正態(tài)分布作為試點估計并使用觀察數(shù)據(jù)I＝I1,I2,...,IN計算方差σ2，其中N是觀察數(shù)據(jù)的數(shù)量；步驟B2：使用如下公式計算局部帶寬hloc：其中，iqr是四分位數(shù)區(qū)間；步驟B3：定義動態(tài)因子ηi：其中，geom是的幾何平均數(shù)，α是敏感度參數(shù)，α∈[-1,0]；步驟B4：得到最優(yōu)帶寬為：Hopt＝ηihloc(3)請見圖4，本實施例中給每一個像素設(shè)計一個自適應(yīng)的閾值，其具體實現(xiàn)包括以下步驟：步驟C1：根據(jù)公式計算每一個觀察數(shù)據(jù)(I1,I2,...,Im)在其他數(shù)據(jù)上的概率密度(其中，m是觀察數(shù)據(jù)中不重復(fù)灰度值的個數(shù)，K(·)表示核函數(shù))；步驟C2：對進行升序排序并去除重復(fù)項，即m'<m×(m-1)，得到長度為m'的閾值數(shù)組Thresholds[m']；其中I＝I1,I2,...,Im；步驟C3：根據(jù)動態(tài)等級劃分時得到的動態(tài)級別dr設(shè)定其初始閾值為Thresholds[dr]。本實施例中俄羅斯方塊更新方案，其具體實現(xiàn)包括以下步驟：步驟D1：設(shè)定更新條件(如當(dāng)被估計的圖像幀的數(shù)目等于背景圖像中最大動態(tài)性值)；步驟D2：當(dāng)滿足更新條件時，將米諾向量從下標(biāo)0到255中非零單元的值減1；步驟D3：更新統(tǒng)計標(biāo)志位信息(圖5展示了三種情形：(a)是靜態(tài)區(qū)域，(b)是動態(tài)區(qū)域，(c)是對環(huán)境變化的適應(yīng)性)。以下通過定性和定量的實驗驗證本發(fā)明方法的有效性，并與最新的方法進行比較。本發(fā)明除了和基于統(tǒng)計學(xué)框架的經(jīng)典方法進行對比(KDE(ElgammalA.,HarwoodD.,DavisL.Non-parametricModelforBackgroundSubtraction,ECCV2000,pages751-767,Dublin,Ireland,June2000.)、GMM(ZivkovicZ.ImprovedadaptiveGaussianmixturemodelforbackgroundsubtraction[C]//PatternRecognition,2004.ICPR2004.Proceedingsofthe17thInternationalConferenceon.IEEE,2004,2:28-31.)和PBAS(M.Hofmann,P.Tiefenbacher,andG.Rigoll.Backgroundsegmentationwithfeedback:Thepixel-basedadaptivesegmenter.InIEEEComputerSocietyConferenceonComputerVisionandPatternRecognitionWorkshops,pages38–43,Providence,RI,Unitedstates,2012))外，同時和目前最新的且表現(xiàn)最出色的兩種方法進行比較實驗，分別為SuBSENSE(P.-L.St-Charles,G.-A.Bilodeau,andR.Bergevin.SuBSENSE:Auniversalchangedetectionmethodwithlocaladaptivesensitivity.IEEETransactionsonImageProcessing,24(1):359–373,2015.)和IUTIS-5(S.Bianco,G.Ciocca,R.Schettini"Howfarcanyougetbycombiningchangedetectionalgorithms？".SubmittedtoIEEETransactionsonImageProcessing,2015.)。本方法的硬件環(huán)境為PC機，處理器是IntelXeonE3-1230V23.3GHz，內(nèi)存是24G，軟件運行環(huán)境為Matlab2016。數(shù)據(jù)集是著名的ChangeDetection.net2012(GoyetteN,JodoinPM,PorikliF,etal.Changedetection.net:Anewchangedetectionbenchmarkdataset[C]//2012IEEEComputerSocietyConferenceonComputerVisionandPatternRecognitionWorkshops.IEEE,2012:1-8.)，共有六個場景類別，分別為：baseline，dynamicBackground，cameraJitter，intermittentObjectMotion，shadow和thermal，每一個場景類別中又含有4到6個子場景視頻。定性分析中，圖6顯示的是分別從這六個類別中抽取的一個具有代表性的子場景視頻，即第一行的a列到f列分別為office、boats、sidewalk、sofa、peopleInShade和library。第二行到最后一行分別是KDE、GMM、PBAS、SuBSENSE、IUTIS-5、本文方法和GroundTruth。從圖中可以看出，本文方法在前景特測的準(zhǔn)確性上比同樣基于統(tǒng)計學(xué)的KDE、GMM和PBAS要好很多，同時比最新的方法SuBSENSE和IUTIS-5也略好一些，并和GroundTruth非常接近。定量分析中，表1給出了本方法和用于比較的5種方法在數(shù)據(jù)集中全部場景視頻上的三種指標(biāo)的對比，分別為Recall、Precision和F-Measure。從表中可以看出，本方法在Recall指標(biāo)上優(yōu)于所有的方法，在F-Measure和Precision指標(biāo)上分別是第二和第三好。表1六種方法在全部場景視頻上關(guān)于Recall、Precision和F-Measure指標(biāo)的對比結(jié)果；數(shù)字的粗體表示最優(yōu)結(jié)果，帶星號的表示第二優(yōu)的結(jié)果MethodRecallPrecisionF-MeasureKDE0.74420.68430.6719GMM0.69640.70790.6596PBAS0.78400.81600.7532SuBSENSE0.82810:8576*0.8260IUTIS-50.8471*0.89130.8542Ours0.85220.84210:8343*本發(fā)明提出的一種新的用于背景差分和前景探測的方法可以有效提高模型的準(zhǔn)確性。應(yīng)當(dāng)理解的是，本說明書未詳細闡述的部分均屬于現(xiàn)有技術(shù)。應(yīng)當(dāng)理解的是，上述針對較佳實施例的描述較為詳細，并不能因此而認為是對本發(fā)明專利保護范圍的限制，本領(lǐng)域的普通技術(shù)人員在本發(fā)明的啟示下，在不脫離本發(fā)明權(quán)利要求所保護的范圍情況下，還可以做出替換或變形，均落入本發(fā)明的保護范圍之內(nèi)，本發(fā)明的請求保護范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。當(dāng)前第1頁1 2 3