專(zhuān)利名稱(chēng)：：一種視頻目標(biāo)跟蹤中的可變掩蔽模板匹配算法的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明屬于計(jì)算機(jī)視覺(jué)與模式分析
技術(shù)領(lǐng)域：
，具體涉及一種視頻目標(biāo)跟蹤中的可變掩蔽模板匹配算法。技術(shù)背景目標(biāo)跟蹤在人機(jī)交互、自動(dòng)監(jiān)視、視頻檢索、交通監(jiān)測(cè)以及車(chē)輛導(dǎo)航中有著廣泛的應(yīng)用。目標(biāo)跟蹤的任務(wù)是確定目標(biāo)在視頻流各幀中的幾何狀態(tài)，包括位置、尺寸以及取向等。由于不限定被跟蹤目標(biāo)的外觀，而且目標(biāo)的外觀在跟蹤過(guò)程中可以變化，再加上復(fù)雜前景與背景的干擾，目標(biāo)跟蹤算法面臨著諸多挑戰(zhàn)，是計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)之一。目標(biāo)跟蹤算法可分為三類(lèi)，一類(lèi)是點(diǎn)跟蹤(pointtraCking)[1'2]，第二類(lèi)是核跟蹤(kemeltracking)[3~7'1()]，第三類(lèi)是側(cè)影跟蹤(silhouettetracking)[8'9]。本發(fā)明提出的目標(biāo)跟蹤算法屬于核跟蹤算法。該算法用外觀模型(亦即模板)來(lái)表征目標(biāo)，目標(biāo)在每一幀中的幾何信息通常用仿射變換參數(shù)來(lái)描述[1()]。對(duì)于核跟蹤算法，最大的挑戰(zhàn)之一就是如何處理目標(biāo)被遮擋這一問(wèn)題[3>7]。這一問(wèn)題之所以難以解決是因?yàn)槟繕?biāo)與遮擋物都可以是任意外觀，且遮擋時(shí)間也可以是任意的。文獻(xiàn)[11]給出了一種有效的遮擋分析算法，可以在得到目標(biāo)的精確位置的情況下有效地分析當(dāng)前目標(biāo)被遮擋的情況，以便生成下一幀中進(jìn)行模板匹配所用的模板掩蔽。然而，還有一個(gè)關(guān)鍵的問(wèn)題沒(méi)有解決由于目標(biāo)的遮擋情況在不斷變化，根據(jù)上一幀中目標(biāo)的遮擋情況得到的模板掩蔽在許多情況下并不適用于當(dāng)前幀的目標(biāo)遮擋情況，因而用該模板掩蔽進(jìn)行模板匹配會(huì)造成目標(biāo)定位的誤差，尤其當(dāng)目標(biāo)的遮擋比較嚴(yán)重或者遮擋的變換情況比較顯著時(shí)，這個(gè)誤差會(huì)很大，甚至造成跟蹤失敗。要在未知當(dāng)前幀目標(biāo)遮擋情況下實(shí)現(xiàn)精確目標(biāo)定位實(shí)際上需要解決一個(gè)互為前提的悖論精確地定位目標(biāo)需要首先知道當(dāng)前幀的目標(biāo)遮擋情況，而當(dāng)前幀的目標(biāo)遮擋情況只有在得到了目標(biāo)的精確位置后才能夠通過(guò)與目標(biāo)模板進(jìn)行比較來(lái)確定。到目前為止，還沒(méi)有文獻(xiàn)提出解決這個(gè)悖論的方法。參考文獻(xiàn)[1]C.Rasmussen,andG.Hager.Probabilisticdataassociationmethodsfortrackingcomplexvisualobjects.IEEETrans,onPatternAnalysisandMachineIntelligence,23(6):560—576,2001.[2]C.Hue,J丄.Cadre,P.Prez.SequentialMonteCarlomethodsformultipletargettrackinganddatafosion.IEEETrans,onSignalProcessing,50(2):309—325,2002.[3]A.D.Jepson，D.J.Fleet,andT.F.EI陽(yáng)Maraghi.Robustonlineappearancemodelforvisualtracking.IEEE.Trans,onPatternAnalysisandMachineIntelligence,25(10):1296陽(yáng)1311,2003.[4]D.Comaniciu,V.Ramesh,andP.Meer.Kernel-basedobjecttracking,IEEETrans,onPatternAnalysisandMachineIntelligence,25(5):564-577,2003[5]S.K.Zhou,R.Chellappa,andB.Moghaddam.Visualtrackingandrecognitionusingappearance-adaptivemodelsforparticlefilters.IEEETrans,onImageProcessing,13(11):1491國(guó)1506，2004.[6]H.T.Nguyen，M.Worring,andR.vandenBoomgaard.Occlusionrobustadaptivetemplatetracking.Proc.IEEEInt，lConf.ComputerVision,1:678-683,2001.[7]H.T.Nguyen,andA.W.M.Smeulders.Fastoccludedobjecttrackingbyarobustappearancefilter.IEEETrans,onPatternAnalysisandMachineIntelligence,26(8):1099-1104,2004.[8]Y.Chen,Y.Rui,andT.Huang.JpdafbasedHMMforreal-timecontourtracking.Proc.IEEEConf.onComputerVisionandPatternRecognition,1:543—550，2001.[9]A.Yilmaz,X.Li,andM.Shan.Contourbasedobjecttrackingwithocclusionhandlinginvideoacquiredusingmobilecameras.IEEETrans,onPatternAnalysisandMachineIntelligence,26(11):1531—1536,2004.[10]S.Baker,andI.Matthews.Lucas-Kanade20yearson:aunifyingframework.Int'lJournalComputerVision,53(3):221—255，2004.[ll]潘吉彥，胡波，張建秋，"一種內(nèi)容自適應(yīng)漸進(jìn)式遮擋分析目標(biāo)跟蹤算法"，專(zhuān)利申請(qǐng)?zhí)?00710045941.7.
發(fā)明內(nèi)容本發(fā)明的目的在于提出一種視頻目標(biāo)跟蹤中的可變掩蔽模板匹配算法，用以解決在目標(biāo)被部分遮擋的情況下實(shí)現(xiàn)精確的目標(biāo)定位。本發(fā)明的關(guān)鍵在于如何在獲得目標(biāo)的非精確位置后，利用遮擋分析[11]的結(jié)果，設(shè)計(jì)一種新的模板匹配算法，校正目標(biāo)的位置。由于當(dāng)前幀中目標(biāo)的遮擋情況可能發(fā)生了變化，通過(guò)前一幀的遮擋情況生成的模板掩蔽往往無(wú)法使得當(dāng)前幀中的模板匹配算法找到精確的目標(biāo)位置。因而，在當(dāng)前幀中進(jìn)行固定掩蔽模板匹配后，所得到的目標(biāo)區(qū)域(即文斷l(xiāng)l]中的感興趣區(qū)域，ROI)往往與目標(biāo)真正所在的位置有一些偏差。部分目標(biāo)會(huì)處于ROI之外。這個(gè)情況如圖1中左下角的子圖所示。因而，禾偶文獻(xiàn)[ll]的遮擋分析算法得到的干擾圖C/會(huì)產(chǎn)生錯(cuò)誤。但是，位于ROI之內(nèi)的圖像的遮擋分析結(jié)果還是可靠的。因此可以利用這部分信息通過(guò)可變掩蔽模板匹配來(lái)校正目標(biāo)的位置。因此，本發(fā)明的方法是，通過(guò)固定掩蔽模板匹配得到目標(biāo)非精確位置，然后根據(jù)遮擋分析的結(jié)果改變模板匹配時(shí)的模板掩蔽，以實(shí)現(xiàn)在目標(biāo)被部分遮擋的情況下對(duì)其進(jìn)行精確定位，從而得到目標(biāo)的精確位置?？勺冄诒文０迤ヅ涞钠ヅ渑c搜索方式與常規(guī)的固定掩蔽模板匹配[5—7]相同，但是其模板掩蔽在搜索過(guò)程中并非是固定不變的，而是隨著候選坐標(biāo)變換參數(shù)的變化而改變。具體來(lái)說(shuō)，可變模板掩蔽根據(jù)候選坐標(biāo)變換通過(guò)對(duì)干擾圖U釆樣得到<formula>formulaseeoriginaldocumentpage5</formula>(1)其中M乂a:;")是可變模板掩蔽在模板匹配候選坐標(biāo)變換參數(shù)為fl時(shí)在模板坐標(biāo)點(diǎn)x的取值;,《x;fl)表示通過(guò)變換參數(shù)為fl的坐標(biāo)變換^將模板坐標(biāo)點(diǎn)jc映射到視頻幀坐標(biāo)中；round操作符表示取整；f/是在固定掩蔽模板匹配后經(jīng)過(guò)遮擋分析得到的干擾圖，它的像素只能取值0或1，所以M力的取值也只能是0或1。[/的某個(gè)像素取1表示該處不是目標(biāo)點(diǎn)，M力的某個(gè)像素取1表示該點(diǎn)在模板匹配時(shí)被掩蔽。在圖1中，C/和M^的白色部分表明取值為1，黑色部分表明取值為0。釆用(l)式定義的可變模板掩蔽，常規(guī)的固定掩蔽模板匹配就轉(zhuǎn)變?yōu)榭勺冄诒文０迤ヅ淞?lt;formula>formulaseeoriginaldocumentpage5</formula>(2)其中fl^是經(jīng)過(guò)可變掩蔽模板匹配后得到的反映當(dāng)前幀目標(biāo)精確位置的坐標(biāo)變換參數(shù)；sim^,5)表示圖像j與B之間的任意一種相似度度量；/[《fl)]是通過(guò)變換參數(shù)為《的坐標(biāo)變換"每模板映射到視頻幀坐標(biāo)中所得到的部分視頻幀圖像；M/a)是在模板匹配候選坐標(biāo)變換參數(shù)為fl時(shí)的整個(gè)可變模板掩蔽；r是當(dāng)前的目標(biāo)模板；(8)運(yùn)算符表示將兩幅圖像之間相應(yīng)的點(diǎn)的像素值相乘；sum(M》表示將Mj的所有像素值求和。圖l給出了(2)式定義的可變掩蔽模板匹配的示意圖。被跟蹤目標(biāo)上標(biāo)有字母"A","B","C","D"以區(qū)分目標(biāo)的不同區(qū)域。在當(dāng)前幀中，通過(guò)常規(guī)的固定掩蔽模板匹配得到的ROI用虛線框表示，通過(guò)可變掩蔽模板匹配得到的ROI用實(shí)線框表示。注意可變模板掩蔽隨著候選目標(biāo)區(qū)域的改變而變化，因而產(chǎn)生了不同的經(jīng)過(guò)可變掩蔽處理后的模板與目標(biāo)區(qū)域之間的相似度度量。由圖1可見(jiàn)，可變掩蔽模板匹配之所以能夠校正目標(biāo)位置，是因?yàn)樵?2)式的坐標(biāo)變換參數(shù)搜索過(guò)程中，在真正的目標(biāo)與候選目標(biāo)區(qū)域不重疊時(shí)，未被掩蔽的模板與未被掩蔽的候選目標(biāo)區(qū)域總是不相同的，而經(jīng)過(guò)可變掩蔽處理后的圖像相似度度量只有在精確的坐標(biāo)變換參數(shù)處才能取得最大值，從而使得(2)式搜索到精確的目標(biāo)位置。圖l:可變掩蔽模板匹配示意圖。圖2:可變掩蔽模板匹配算法添加前后跟蹤性能比較示例。跟蹤結(jié)果用中心帶十字的白色矩形框表示。(ai)-(a4):沒(méi)有添加可變掩蔽模板匹配算法時(shí)，文獻(xiàn)[ll]的跟蹤算法跟丟了目標(biāo)；(th)-(b4):添加可變掩蔽模板匹配算法后，文獻(xiàn)[ll]的跟蹤算法很好地跟上了目標(biāo)；(Cl)-(C4):沒(méi)有添加可變掩蔽模板匹配算法時(shí)，文獻(xiàn)[ll]的跟蹤算法的跟蹤精度較低；(d,)-(cU):添加可變掩蔽模板匹配算法后，文獻(xiàn)[ll]的跟蹤算法取得了較高的跟蹤精度。在第一與第二行中，顯示的圖像取自視頻流的第765,877,983,與1004幀；在第三與第四行中，顯示的圖像取自視頻流的第1202，1295，1344，與1399幀。具體實(shí)施方式在本發(fā)明的具體實(shí)施中，采用文獻(xiàn)[ll]提出的跟蹤算法作為基礎(chǔ)，比較加上本發(fā)明提出的可變掩蔽模板匹配算法前后的跟蹤性能。我們首先在大量實(shí)景視頻流上作了上述比較。這些實(shí)景視頻流包含不同種類(lèi)的目標(biāo)以及各種遮擋場(chǎng)景，此外，攝像頭的運(yùn)動(dòng)是任意的。我們把30個(gè)測(cè)試視頻流的遮擋場(chǎng)景分為兩種類(lèi)型短期遮擋與長(zhǎng)期遮擋。如果一個(gè)遮擋的持續(xù)時(shí)間超過(guò)25幀，則被認(rèn)為是長(zhǎng)期遮擋。實(shí)驗(yàn)結(jié)果如表l所示。表l<table>tableseeoriginaldocumentpage6</column></row><table>由表1可見(jiàn)，加上可變掩蔽模板匹配算法后，跟蹤性能有了進(jìn)一步的提高。上述實(shí)景視頻流中的兩個(gè)典型的例子如圖2所示。由圖2可見(jiàn)，加上可變掩蔽模板匹配算法后，跟蹤的穩(wěn)定性與精確度都顯著提高。權(quán)利要求1、一種視頻目標(biāo)跟蹤中的可變掩蔽模板匹配算法，其特征在于通過(guò)固定掩蔽模板匹配得到目標(biāo)非精確位置，然后根據(jù)遮擋分析的結(jié)果改變模板匹配時(shí)的模板掩蔽，以實(shí)現(xiàn)在目標(biāo)被部分遮擋的情況下對(duì)其進(jìn)行精確定位，從而得到目標(biāo)的精確位置。2、根據(jù)權(quán)利要求1所述的視頻目標(biāo)跟蹤中的可變掩蔽模板匹配算法，其特征在于可變模板掩蔽的方式如下M」a)=1-{rounJc;at)]}其中M乂a:;")是可變模板掩蔽在模板匹配候選坐標(biāo)變換參數(shù)為a時(shí)在模板坐標(biāo)點(diǎn)jc的取值;《a:;fl)表示通過(guò)變換參數(shù)為fl的坐標(biāo)變換^將模板坐標(biāo)點(diǎn)a:映射到視頻幀坐標(biāo)中；round操作符表示取整；C/是在固定掩蔽模板匹配后經(jīng)過(guò)遮擋分析得到的干擾圖。3、根據(jù)權(quán)利要求1或2所述的視頻目標(biāo)跟蹤中的可變掩蔽模板匹配算法，其特征在于利用可變模板掩蔽進(jìn)行模板匹配的方式如下^=a—n~~^sim{/,M,rM}其中^是經(jīng)過(guò)可變掩蔽模板匹配后得到的反映當(dāng)前幀目標(biāo)精確位置的坐標(biāo)變換參數(shù)；simM,W表示圖像X與S之間的任意一種相似度度量；/[《fl)]是通過(guò)變換參數(shù)為"的坐標(biāo)變換(M每模板映射到視頻幀坐標(biāo)中所得到的部分視頻幀圖像；M/fl)是在模板匹配候選坐標(biāo)變換參數(shù)為fl時(shí)的整個(gè)可變模板掩蔽；r是當(dāng)前的目標(biāo)模板；②運(yùn)算符表示將兩幅圖像之間相應(yīng)的點(diǎn)的像素值相乘；sum(i^)表示將的所有像素值求和。全文摘要本發(fā)明屬于計(jì)算機(jī)視覺(jué)和模式識(shí)別
技術(shù)領(lǐng)域：
，具體為一種視頻目標(biāo)跟蹤中的可變掩蔽模板匹配算法。在視頻目標(biāo)跟蹤中，目標(biāo)經(jīng)常會(huì)被其它物體部分遮擋。在這種情況下，用傳統(tǒng)的固定掩蔽模板匹配確定目標(biāo)的位置會(huì)造成精確度的顯著下降。為了在目標(biāo)被部分遮擋的情況下仍然能夠精確地定位目標(biāo)，本發(fā)明結(jié)合遮擋分析技術(shù)，在首次非精確的匹配結(jié)果的基礎(chǔ)上采用可變掩蔽模板匹配算法進(jìn)行校正，校正過(guò)程中的模板掩蔽動(dòng)態(tài)地隨著候選目標(biāo)位置的變化而改變，使得目標(biāo)未被遮擋的部分始終能夠有效引導(dǎo)匹配算法找到精確的目標(biāo)位置?；诖罅繉?shí)景視頻流的實(shí)驗(yàn)結(jié)果證實(shí)了本發(fā)明算法的有效性。文檔編號(hào)G06T7/20GK101246546SQ200810034548公開(kāi)日2008年8月20日申請(qǐng)日期2008年3月13日優(yōu)先權(quán)日2008年3月13日發(fā)明者張建秋,潘吉彥,波胡申請(qǐng)人:復(fù)旦大學(xué)