專利名稱：利用魯棒信息融合來(lái)基于多模組成部分地跟蹤對(duì)象的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于跟蹤對(duì)象運(yùn)動(dòng)的系統(tǒng)和方法，并且更特別地涉及一種用于利用魯棒(robust)信息融合來(lái)基于多模組成部分地跟蹤對(duì)象的系統(tǒng)和方法。
背景技術(shù)：
在視覺(jué)上跟蹤對(duì)象中遇到的一個(gè)問(wèn)題是維持表達(dá)目標(biāo)外形的能力，這種表達(dá)目標(biāo)外形必須足夠穩(wěn)定以處理由于目標(biāo)移動(dòng)和/或攝像機(jī)移動(dòng)所引起的固有變化?；谀０迤ヅ涞姆椒ū仨氝m配模型模板，以便成功地跟蹤目標(biāo)。在沒(méi)有適配的情況下，當(dāng)所述外形沒(méi)發(fā)生明顯改變時(shí)，跟蹤只在非常短的時(shí)期內(nèi)是可靠的。
但是，在大多數(shù)應(yīng)用中，由于觀察點(diǎn)、照明或障礙的變化，所述目標(biāo)外形在長(zhǎng)時(shí)間內(nèi)經(jīng)歷結(jié)構(gòu)方面的顯著變化?；谶\(yùn)動(dòng)跟蹤的方法能處理這種外形變化，在該方法中，所述模型適于先前幀。但是，所累積的運(yùn)動(dòng)誤差和快速視覺(jué)變化會(huì)使所述模型漂離所跟蹤的目標(biāo)。通過(guò)強(qiáng)加對(duì)象特定的子空間約束條件或維持所述模型的統(tǒng)計(jì)學(xué)表達(dá)能改善跟蹤性能。這種表達(dá)能事先確定或在線計(jì)算。所述外形的可變性能被建模為概率分布函數(shù)，理想的是在線學(xué)習(xí)這種概率分布函數(shù)。
基于視覺(jué)的跟蹤的本征特性在于，跟蹤目標(biāo)的外形和背景雖然是逐漸地但仍是不可避免地變化。由于用于魯棒跟蹤的一般不變特征很難發(fā)現(xiàn)，所以大多數(shù)現(xiàn)有方法需要處理跟蹤目標(biāo)的外形變化和/或背景。即使不明確說(shuō)明，每個(gè)跟蹤方案也包括所述對(duì)象的二維(2D)圖像外形的某種表達(dá)。
一種公知的利用生成模型(generative model)的方法包括三個(gè)組成部分穩(wěn)定的組成部分、漂移的組成部分和障礙組成部分。所述穩(wěn)定的組成部分標(biāo)識(shí)運(yùn)動(dòng)估計(jì)的最可靠的結(jié)構(gòu)，而漂移的組成部分表示所述外形的變化。二者均被示為高斯分布。是離群數(shù)據(jù)(dataoutlier)的原因的所述障礙組成部分在可能的強(qiáng)度水平上均勻分布。該方法將這種可操縱小波系數(shù)的相位部分用作特征。
對(duì)象跟蹤有許多應(yīng)用，諸如監(jiān)視應(yīng)用或生產(chǎn)線應(yīng)用。對(duì)象跟蹤還在醫(yī)學(xué)應(yīng)用中被用于分析心臟的心肌壁運(yùn)動(dòng)。對(duì)左心室的心肌壁運(yùn)動(dòng)的準(zhǔn)確分析對(duì)于心臟功能的評(píng)價(jià)至關(guān)重要。由于心臟肌肉的快速運(yùn)動(dòng)和呼吸的干擾，這項(xiàng)任務(wù)是困難的。當(dāng)使用超聲圖像序列時(shí)甚至更糟。
已經(jīng)提出了幾種用于心肌壁跟蹤的方法?；谀Ｐ偷目勺冃文０?、馬爾可夫(Markov)隨機(jī)場(chǎng)、光流法和這些方法的組合已經(jīng)被用于根據(jù)二維圖像序列來(lái)跟蹤左心室。通常的做法是在形狀跟蹤框架中強(qiáng)加模型約束條件。在多數(shù)情況下，由于捕獲主要形狀變化的模式的數(shù)量有限且通常比用于描述該形狀的特征組成部分的初始數(shù)量少得多，所以子空間模型適用于形狀跟蹤。直接的處理方法是將所跟蹤的形狀投影到主成分分析(PCA)子空間中。但是，這種方法不能利用所述測(cè)量結(jié)果的不確定性，并且因此是不完整的。在許多實(shí)例中，測(cè)量噪聲本身就是異方差的(即既各向異性又不均勻)。需要一種能夠融合來(lái)自多個(gè)外形模型的運(yùn)動(dòng)估計(jì)的對(duì)象跟蹤法，且這種方法能有效地考慮不確定性。

發(fā)明內(nèi)容
本發(fā)明涉及一種用于跟蹤對(duì)象的系統(tǒng)和方法。接收包括多個(gè)圖像幀的視頻序列。維持基于樣本的對(duì)象外形分布的表達(dá)。對(duì)象被劃分為一個(gè)或多個(gè)組成部分。對(duì)于每個(gè)組成部分，其相對(duì)于所述基于樣本的表達(dá)的位置和不確定性被估計(jì)。將基于可變帶寬密度的融合(VBDF，Variable-Bandwidth Density Based Fusion)用于每個(gè)組成部分，以確定最主要的運(yùn)動(dòng)。該運(yùn)動(dòng)估計(jì)被用于確定該對(duì)象的軌跡。
本發(fā)明還涉及一種用于在包括多個(gè)圖像幀的醫(yī)學(xué)視頻序列中跟蹤候選對(duì)象的方法。所述對(duì)象通過(guò)多個(gè)被標(biāo)記的控制點(diǎn)來(lái)表示。估計(jì)出每個(gè)控制點(diǎn)的位置和不確定性。維持多個(gè)外形模型。將每個(gè)控制點(diǎn)與一個(gè)或多個(gè)模型進(jìn)行比較。VBDF估計(jì)器被用來(lái)確定每個(gè)控制點(diǎn)的最有可能的當(dāng)前位置。對(duì)于所有這些控制點(diǎn)，坐標(biāo)被連接在一起。該控制點(diǎn)的集合與最類似于該控制點(diǎn)集合的模型進(jìn)行融合。
附圖簡(jiǎn)述以下將參照附圖更詳細(xì)地描述本發(fā)明的優(yōu)選實(shí)施方案，其中相同的參考編號(hào)表示相同的元件

圖1是根據(jù)本發(fā)明的用于跟蹤對(duì)象運(yùn)動(dòng)的系統(tǒng)的系統(tǒng)框圖；圖2圖解說(shuō)明根據(jù)本發(fā)明的用于利用基于多模型組成部分的跟蹤器來(lái)跟蹤對(duì)象的方法；圖3是闡述根據(jù)本發(fā)明的用于跟蹤對(duì)象的方法的流程圖；圖4示出其中根據(jù)本發(fā)明的方法來(lái)跟蹤人臉的圖像幀序列；圖5圖解說(shuō)明示出圖4的人臉跟蹤圖像的中值殘差的曲線圖；圖6示出其中根據(jù)本發(fā)明正在跟蹤人體的圖像幀序列；圖7圖解說(shuō)明示出圖6的身體跟蹤圖像的中值殘差的曲線圖；圖8圖解說(shuō)明應(yīng)用根據(jù)本發(fā)明的測(cè)量和濾波處理的魯棒跟蹤器的框圖；圖9圖解說(shuō)明論證應(yīng)用單個(gè)模型與多個(gè)模型跟蹤方法的結(jié)果的多個(gè)圖像幀；圖10是圖解說(shuō)明本發(fā)明的融合方法與正交投影方法的比較結(jié)果的一系列圖像幀；圖11圖解說(shuō)明示例應(yīng)用根據(jù)本發(fā)明的融合方法所得到的兩組圖像序列的一系列圖像幀；以及圖12是圖解說(shuō)明根據(jù)本發(fā)明的所跟蹤的點(diǎn)和標(biāo)準(zhǔn)分割圖像(ground truth)之間的平均距離的曲線圖。
詳細(xì)描述本發(fā)明涉及一種用于跟蹤對(duì)象運(yùn)動(dòng)的系統(tǒng)和方法。圖1圖解說(shuō)明了根據(jù)本發(fā)明的用于利用魯棒信息融合來(lái)基于多模型組成部分地跟蹤對(duì)象的系統(tǒng)的示例性高級(jí)框圖。例如，這種系統(tǒng)可被用于諸如跟蹤人或臉部特征的移動(dòng)的監(jiān)視應(yīng)用。本發(fā)明還能被用于跟蹤裝配線上的對(duì)象。還能創(chuàng)建用于為了醫(yī)學(xué)應(yīng)用而跟蹤人體器官的其它應(yīng)用。本領(lǐng)域的技術(shù)人員應(yīng)理解，本發(fā)明也可被用于其它環(huán)境。
本發(fā)明使用一臺(tái)或多臺(tái)攝像機(jī)102、104來(lái)獲得圖像幀的視頻序列。每臺(tái)攝像機(jī)被放置在不同的位置，以獲得來(lái)自不同透視的圖像以最大化目標(biāo)區(qū)域的覆蓋。目標(biāo)對(duì)象被識(shí)別且其屬性被存儲(chǔ)在與處理器106相關(guān)聯(lián)的數(shù)據(jù)庫(kù)110中。例如，如果目標(biāo)(例如人)直接面向攝像機(jī)102，那么此人將以正面視圖出現(xiàn)。但是，攝像機(jī)104所拍到的同一個(gè)人的圖像可能以側(cè)面視圖出現(xiàn)。這個(gè)數(shù)據(jù)能被進(jìn)一步分析，以確定是否需要采取進(jìn)一步動(dòng)作。所述數(shù)據(jù)庫(kù)110可以包括與該目標(biāo)相關(guān)聯(lián)的組成部分的實(shí)例，以幫助跟蹤該對(duì)象的運(yùn)動(dòng)。處理器106可采用諸如加速(boosting)的學(xué)習(xí)技術(shù)來(lái)構(gòu)建能從反例中分辨出正例的分類器。
根據(jù)本發(fā)明的一個(gè)實(shí)施方案，通過(guò)隨著時(shí)間變化維持幾個(gè)模型來(lái)對(duì)外形可變性進(jìn)行建模。通過(guò)隨著時(shí)間變化監(jiān)控像素的強(qiáng)度能完成外形建模。對(duì)象的外形(例如其強(qiáng)度)隨著時(shí)間發(fā)生變化。這些強(qiáng)度的變化能被用于跟蹤控制點(diǎn)，諸如跟蹤與心肌壁相關(guān)聯(lián)的控制點(diǎn)。這提供了一種表征所述對(duì)象外形的概率密度函數(shù)的非參數(shù)表達(dá)。
所使用的基于組成部分的方法是將所述目標(biāo)對(duì)象化分成幾個(gè)區(qū)域，這些區(qū)域獨(dú)立地被處理。通過(guò)從每個(gè)模型中獨(dú)立地獲得運(yùn)動(dòng)估計(jì)和其通過(guò)光流的不確定性來(lái)執(zhí)行跟蹤。被稱為可變帶寬密度融合(VBDF)的魯棒融合技術(shù)被用來(lái)計(jì)算每個(gè)組成部分的最終估計(jì)。當(dāng)考慮其不確定性時(shí)，VBDF計(jì)算出最重要的模式的所述位移密度函數(shù)。
所述VBDF方法管理運(yùn)動(dòng)估計(jì)中的多個(gè)數(shù)據(jù)源和離群點(diǎn)。在這個(gè)框架中，通過(guò)大殘差的估計(jì)不確定性來(lái)自然地處理障礙。所述對(duì)準(zhǔn)誤差被用于計(jì)算所述估計(jì)的協(xié)方差矩陣的標(biāo)度(scale)，因此降低不可靠位移的影響。
圖2圖解說(shuō)明了根據(jù)本發(fā)明的用于利用基于多模型組成部分的跟蹤器來(lái)跟蹤對(duì)象的方法。為了對(duì)跟蹤期間的變化進(jìn)行建模，隨著時(shí)間變化維持對(duì)象外形的幾個(gè)樣本。每個(gè)圖像中的每個(gè)像素的強(qiáng)度被維持，這等價(jià)于所述外形分布的非參數(shù)表達(dá)。
圖2中的頂行圖解說(shuō)明了所述模型集合中的當(dāng)前樣本208、210、212，每個(gè)樣本都有一組重疊組成部分?；诮M成部分的方法比整體表達(dá)更穩(wěn)定，對(duì)照明變化和姿勢(shì)更不敏感。另一個(gè)優(yōu)點(diǎn)是通過(guò)分析匹配似然在組成部分級(jí)別處能處理部分障礙。
每個(gè)組成部分獨(dú)立地被處理；在當(dāng)前圖像中相對(duì)于所有模型模板估計(jì)出其位置和協(xié)方差矩陣。例如，在I新中示出組成部分之一202，該組成部分如通過(guò)圖像幀202的灰色矩形以及其相對(duì)于每個(gè)模型的位置和不確定性來(lái)圖解說(shuō)明。所述VBDF魯棒融合過(guò)程被用于利用相關(guān)聯(lián)的不確定性來(lái)確定最主要的運(yùn)動(dòng)(即模式)，如在矩形204中所示出的那樣。注意由于障礙或外形變化而引起的每個(gè)組成部分的所估計(jì)的位置中的變化。這些組成部分在當(dāng)前幀206中的位置進(jìn)一步受整體參數(shù)運(yùn)動(dòng)模型的約束。利用每個(gè)組成部分位置的置信分?jǐn)?shù)來(lái)對(duì)相似變換模型和其參數(shù)進(jìn)行估計(jì)。因此，這些可靠的組成部分更有助于所述整體運(yùn)動(dòng)估計(jì)。
如果所述參考外形的殘差相對(duì)低，則將所述當(dāng)前幀206添加到模型集合208、210、212。選擇閾值，以致不添加具有明顯障礙的圖像。所述模型中的模板數(shù)量是固定的，因此最老的模板被去掉。但本領(lǐng)域的技術(shù)人員應(yīng)理解，其他方案也能被用來(lái)確定在該模型集合中要保留哪些圖像。
所述VBDF估計(jì)器基于具有自適應(yīng)核帶寬的非參數(shù)性密度估計(jì)。因?yàn)楫?dāng)探測(cè)其不確定性時(shí)初始數(shù)據(jù)分布的非參數(shù)性估計(jì)，所以在存在輸入數(shù)據(jù)的離群點(diǎn)的情況下，所述VBDF估計(jì)器工作良好。該VBDF估計(jì)器按照所述密度函數(shù)的最重要模式的位置來(lái)限定。該模式計(jì)算是基于在多種標(biāo)度優(yōu)化框架中應(yīng)用可變帶寬平均移位技術(shù)。
假設(shè)xi∈Rd(i＝1...n)是可得到的d-維估計(jì)值，每個(gè)估計(jì)值具有由所述協(xié)方差矩陣Ci給出的相關(guān)聯(lián)的不確定性。所述密度函數(shù)的最重要的模式以多種標(biāo)度的形式迭代地確定出。帶寬矩陣Hi＝Ci+α2I與每個(gè)點(diǎn)xi相關(guān)聯(lián)，其中I是密度矩陣，而參數(shù)α確定分析的標(biāo)度。位置x處的所述樣本點(diǎn)密度估計(jì)器由下式來(lái)確定f^(x)=1n(2π)d/2Σi=1nexp(-12D2(x1xi-1Hi))---(1)]]>其中D代表x和xi之間的馬哈蘭諾比斯(Mahalanobis)距離D2(x1xi-1Hi)=(x-xi)THi-1(x-xi)---(2)]]>位置x處的所述可變帶寬平均移位向量由下式給出m(x)=Hh(x)Σi=1nωi(x)Hi-1xi-x---(3)]]>其中Hη代表由數(shù)據(jù)相關(guān)權(quán)重ωi(x)加權(quán)的帶寬矩陣的調(diào)和平均值Hh(x)=(∑i=1nωi(x)Hi-1)-1.---(4)]]>在所述當(dāng)前位置x處計(jì)算出的數(shù)據(jù)相關(guān)權(quán)重具有以下表達(dá)式
ωi(x)=1|Hi|1/2exp(-12D2(x,xi,Hi),)Σi=1n1|Hi|1/2exp(-12D2(x,xi,Hi))---(5)]]>并且注意該式滿足∑i=1nωt(x)=1.]]>能夠證明，對(duì)應(yīng)于點(diǎn)x+m(x)的密度總大于或等于對(duì)應(yīng)于x的那個(gè)密度。因此，利用所述平均移位向量對(duì)當(dāng)前位置進(jìn)行迭代更新便產(chǎn)生爬山過(guò)程，該過(guò)程收斂于所述基本密度的平穩(wěn)點(diǎn)。
通過(guò)以幾種標(biāo)度迭代地應(yīng)用所述自適應(yīng)平均移位過(guò)程，所述VBDF估計(jì)器找出最重要的模式。通過(guò)選擇相對(duì)于所述點(diǎn)xi的展開(kāi)大的參數(shù)α來(lái)從大標(biāo)度開(kāi)始。在這種情況下，該密度表面是單模的，因此，所確定的模式將對(duì)應(yīng)于在整體上最密集的區(qū)域。當(dāng)將所述參數(shù)α的值減小以及從以先前標(biāo)度所確定的模式開(kāi)始所述平均移位迭代時(shí)，重復(fù)該過(guò)程。對(duì)于最后的步驟，與每個(gè)點(diǎn)相關(guān)聯(lián)的所述帶寬矩陣等于所述協(xié)方差矩陣，即Hi＝Ci。
所述VBDF估計(jì)器是具有處理多個(gè)源模型的能力的信息融合的有力工具。由于局部臨近的點(diǎn)可以呈現(xiàn)多種運(yùn)動(dòng)，所以這對(duì)運(yùn)動(dòng)估計(jì)是重要的。所述最重要的模式對(duì)應(yīng)于最相關(guān)的運(yùn)動(dòng)。
根據(jù)本發(fā)明，所述多個(gè)組成部分模型同時(shí)被跟蹤?，F(xiàn)在將描述如何跟蹤這種多個(gè)組成部分模型的實(shí)例。假設(shè)有n個(gè)模型M0、M1、...、Mn。對(duì)于每個(gè)圖像，維持c組成部分的位置，這些位置由xi，j表示，i＝1...c，j＝1...n。當(dāng)新圖像可得到時(shí)，估計(jì)出每個(gè)組成部分和每個(gè)模型的位置和不確定性。利用幾種技術(shù)能完成該步驟，這些技術(shù)諸如根據(jù)圖像相關(guān)、空間梯度或時(shí)空能量正則化的技術(shù)。根據(jù)本發(fā)明，使用魯棒光流技術(shù)，該魯棒光流技術(shù)在D.Comaniciu的“Nonparametricinformation fusion for motion estimation(用于運(yùn)動(dòng)估計(jì)的非參數(shù)化信息融合)”(CVPR 2003，第一卷第59-66頁(yè))中被描述，該文獻(xiàn)被引入作為參考。
結(jié)果是每個(gè)組成部分的運(yùn)動(dòng)估計(jì)xi，j和其不確定性ci，j。因此，xi，j代表組成部分j相對(duì)于模型i的位置估計(jì)。所述協(xié)方差矩陣的標(biāo)度也根據(jù)該匹配殘差估計(jì)得出。當(dāng)相應(yīng)的組成部分受到阻礙時(shí)，會(huì)增加所述協(xié)方差矩陣的大?。灰虼嗽谒鼋M成部分級(jí)別，障礙會(huì)得到處理。
所述VBDF魯棒融合技術(shù)被用于確定出當(dāng)前幀中的組成部分j的最相關(guān)的位置xj。這種跨越多種標(biāo)度的模式跟蹤的結(jié)果是
xj^=C(xj^)∑i-1nωi(x^j)C^ij-1x^ij]]>C(x^j)=(Σi=1nωi(x^j)C^ij-1)-1.---(6)]]>其中，權(quán)重ωi如在(5)中被定義。
在每個(gè)組成部分的位置計(jì)算之后，利用由所估計(jì)的協(xié)方差矩陣給出的權(quán)重來(lái)執(zhí)行加權(quán)的矩形擬合。假設(shè)，所述圖像補(bǔ)丁通過(guò)由四個(gè)參數(shù)所限定的相似變換T相關(guān)聯(lián)。所述動(dòng)態(tài)組成部分位置x的這種相似變換的特征在于以下等式T(x)=a-bbax+txty---(7)]]>其中，tx、ty是平移參數(shù)，而a、b對(duì)2D旋轉(zhuǎn)和縮放進(jìn)行參數(shù)化。
所述最小化判據(jù)是參考位置x0j和所估計(jì)的位置xj(當(dāng)前幀中的第j個(gè)組成部分位置)之間的馬哈蘭諾比斯距離之和。
J=Σj=1n(x^j-T(xj0))TC(x^j)-1(x^j-T(xj0)).---(8)]]>最小化通過(guò)標(biāo)準(zhǔn)加權(quán)最小二乘法來(lái)完成。因?yàn)槭褂昧嗣總€(gè)組成部分的所述協(xié)方差矩陣，所以降低了具有高不確定性的那些點(diǎn)的影響。
在所述矩形被擬合到所跟蹤的組成部分之后，在該矩形內(nèi)對(duì)所述動(dòng)態(tài)組成部分候選者均勻地進(jìn)行重采樣。假設(shè)，每個(gè)組成部分相對(duì)于該矩形的相對(duì)位置沒(méi)有多大變化。如果所述重采樣位置和通過(guò)某一組成部分的所述光流所計(jì)算出的軌跡位置之間的距離大于可容忍的閾值，則該軌跡位置被認(rèn)為是離群點(diǎn)且用所述重采樣的點(diǎn)來(lái)代替。如果有足夠的組成部分具有低殘差，則將該當(dāng)前圖像添加到所述模型集合。所述模型和當(dāng)前幀之間的中值殘差與預(yù)定的閾值Th進(jìn)行比較。
現(xiàn)在將參考圖3概括說(shuō)明這種用于對(duì)象跟蹤的方法。如上所述，針對(duì)新圖像If獲得組成部分i的模型集合M0、M1、...、Mn(步驟302)。組成部分i處在圖像幀j中的位置xi，j中。針對(duì)新圖像If，在圖像幀j中的位置xi，j(f)處使用光流技術(shù)計(jì)算出組成部分i的位置。計(jì)算從xj(f-1)開(kāi)始，該xj(f-1)是在先前幀中所估計(jì)出的組成部分i的位置(步驟304)。針對(duì)圖像幀序列(j＝1...n)，組成部分i的位置xj(f)用所述VBDF估計(jì)器估計(jì)得出(步驟306)。使用通過(guò)最小化等式(8)計(jì)算出的所述變換，對(duì)該組成部分位置進(jìn)行約束(步驟308)。如果其中值殘差小于所述預(yù)定閾值Th，那么將這個(gè)新外形添加到所述模型集合(步驟310)。
本發(fā)明的這種多模板框架能直接被用于形狀跟蹤的環(huán)境中。如果所跟蹤的點(diǎn)代表通過(guò)樣條所建模的形狀的控制點(diǎn)，那么使用多個(gè)位置估計(jì)的魯棒融合將提高所述形狀的位置估計(jì)的可靠性。當(dāng)所述形狀空間受到所學(xué)習(xí)的子空間約束條件的限制時(shí)，這還會(huì)產(chǎn)生更小的校正。如果所述輪廓是可得到的，那么被用于跟蹤的這些模型能夠根據(jù)形狀之間的距離從所述模型集合中在線地選擇。
應(yīng)用本發(fā)明的方法的實(shí)例現(xiàn)在將參考圖4進(jìn)行描述。圖4示出了多個(gè)圖像幀上的臉部跟蹤結(jié)果，其中存在著明顯的雜波和障礙。在本實(shí)例中，使用了20個(gè)模型模板，且這些組成部分至少間隔5個(gè)像素，其數(shù)量c由所述邊界矩形來(lái)確定。將被添加到所述模型集合的新圖像的閾值Th是所述強(qiáng)度范圍的八分之一。從該數(shù)據(jù)中學(xué)習(xí)到該值，以致檢測(cè)到障礙。
正如從圖4中的圖像幀所能看到的那樣，通過(guò)幾張臉的存在而有顯著雜波。另外，還存在多個(gè)障礙(例如紙張)，這些障礙截取了被跟蹤的區(qū)域。圖5示出了表示被用于模型更新的隨時(shí)間變化的中值殘差的曲線圖。該曲線圖中的峰值對(duì)應(yīng)于其中所述目標(biāo)被完全阻擋的那些圖像幀。當(dāng)所述誤差穿過(guò)由該水平線所表示的閾值Th＝32時(shí)，對(duì)所述模型進(jìn)行更新。
圖6示出了根據(jù)本發(fā)明的被用來(lái)跟蹤人體的多個(gè)圖像幀。本發(fā)明能處理諸如人手臂移動(dòng)的外形變化，且在被樹(shù)阻擋后能恢復(fù)該跟蹤目標(biāo)(即身體)。圖7是示出了隨時(shí)間變化的中值殘差的曲線圖。尖峰702對(duì)應(yīng)于所述身體被樹(shù)擋住的時(shí)候，而尖峰704表示所述身體轉(zhuǎn)動(dòng)且其圖像大小相對(duì)于固定的組成部分尺寸變得更小的時(shí)候。
本發(fā)明的這種方法還能被用于醫(yī)學(xué)應(yīng)用，諸如用于在一系列圖像幀中跟蹤心肌壁的運(yùn)動(dòng)。圖8圖解說(shuō)明了如何跟蹤心肌壁。本發(fā)明的這種方法在以下兩個(gè)方面是穩(wěn)定的在測(cè)量過(guò)程中，VBDF融合被用于組合多個(gè)外形模型的匹配結(jié)果；且在濾波過(guò)程中，當(dāng)利用噪聲的異方差特性時(shí)，在所述形狀空間中執(zhí)行融合，以根據(jù)測(cè)量結(jié)果、現(xiàn)有技術(shù)和模型來(lái)組合信息。
為了在跟蹤期間對(duì)所述變化進(jìn)行建模，隨時(shí)間變化維持對(duì)象外形的幾個(gè)樣本，這等效于所述外形分布的非參數(shù)性表達(dá)。圖8圖解說(shuō)明了所述外形模型，即所述模型集合中的當(dāng)前樣本，每個(gè)樣本都相關(guān)聯(lián)地有一組重疊的組成部分。諸如心肌壁的形狀的一些形狀用控制或標(biāo)志點(diǎn)(即組成部分)來(lái)表式。這些點(diǎn)在向用戶顯示前用樣條進(jìn)行擬合。基于組成部分的方法比整體表達(dá)更穩(wěn)定，對(duì)結(jié)構(gòu)變化更不敏感，因此能處理非剛性形狀變形。
每個(gè)組成部分獨(dú)立地被處理，在相對(duì)于所有的模型模板的當(dāng)前圖像中估計(jì)出其位置和協(xié)方差矩陣。例如，所述組成部分之一由矩形810來(lái)示出，并且其相對(duì)于每個(gè)模型的位置以及不確定性在運(yùn)動(dòng)估計(jì)階段中被示為回路812和814。所述VBDF魯棒融合過(guò)程被用于確定具有相關(guān)聯(lián)的不確定性的最重要的運(yùn)動(dòng)(模式)。
通過(guò)強(qiáng)加使用預(yù)訓(xùn)練的形狀模型的子空間形狀約束條件來(lái)對(duì)所述組成部分在當(dāng)前幀中的位置作進(jìn)一步調(diào)整。通過(guò)最優(yōu)地解析所述系統(tǒng)動(dòng)態(tài)性的不確定性、異方差測(cè)量噪聲和子空間形狀模型來(lái)實(shí)現(xiàn)魯棒形狀跟蹤。通過(guò)在每個(gè)組成部分位置中使用所估計(jì)的置信度，可靠的組成部分對(duì)所述整體形狀運(yùn)動(dòng)估計(jì)貢獻(xiàn)更多。如果所述參考外形的殘差相對(duì)低，那么就將所述當(dāng)前幀添加到所述模型集合。
圖9示出了使用多個(gè)外形模型的優(yōu)點(diǎn)。具有相關(guān)聯(lián)的輪廓的初始幀在圖9a中示出。使用單個(gè)模型產(chǎn)生不正確的跟蹤結(jié)果(圖9b)，以及所述多個(gè)模型方法正確地解決了所述外形變化(圖9c)。
所述濾波過(guò)程基于通過(guò)將圖像中所有控制點(diǎn)坐標(biāo)連在一起所形成的矢量。典型的跟蹤框架將來(lái)自動(dòng)態(tài)過(guò)程所限定的預(yù)測(cè)和來(lái)自噪聲測(cè)量的信息進(jìn)行融合。對(duì)于形狀跟蹤，附加的整體約束條件對(duì)在可行范圍內(nèi)穩(wěn)定所述整體形狀是必要的。
對(duì)于心內(nèi)膜跟蹤，需要當(dāng)前心臟的統(tǒng)計(jì)學(xué)形狀模型而不是一般的心臟。通過(guò)假設(shè)所述PCA模型和初始的輪廓聯(lián)合地表示當(dāng)前情況的變化，應(yīng)用強(qiáng)適配的主控制分析(SA-PCA)模型。利用SA-PCA，所述框架并入了四種信息源所述系統(tǒng)動(dòng)態(tài)、測(cè)量、子空間模型和初始輪廓。
在圖10中示出了本發(fā)明的這種融合方法和正交投影法之間的比較的實(shí)例。所述融合法并不完全校正所述誤差，但因?yàn)樵撔Ｕ襟E是累積的，所以在長(zhǎng)序列中對(duì)最近圖像幀的總體影響可能非常明顯。
以下將描述被用于利用非常雜亂的超聲心動(dòng)描記數(shù)據(jù)來(lái)跟蹤心臟輪廓的本發(fā)明的實(shí)例。在本實(shí)例中所使用的數(shù)據(jù)代表正常的心肌病以及變化類型的心肌病，其中，序列在長(zhǎng)度上從18幀變化到90幀。用于訓(xùn)練和測(cè)試的兩或四腔室頂視圖(具有17個(gè)控制點(diǎn)的開(kāi)放輪廓)和胸骨旁短軸視圖(具有18個(gè)控制點(diǎn)的閉合輪廓)均被使用。執(zhí)行了PCA，并且34和36的最初維度分別被降至7和8。對(duì)于這些外形模型，維持了20個(gè)模板，以捕獲所述外形變化性。對(duì)于系統(tǒng)評(píng)價(jià)，除了用于測(cè)試的訓(xùn)練數(shù)據(jù)之外的一組32個(gè)超聲心動(dòng)圖序列(其中有18個(gè)胸骨旁短軸視圖和14個(gè)兩或四腔室頂視圖)，所有這些都具有專門(mén)的帶注釋的標(biāo)準(zhǔn)分割圖像輪廓。
圖11示出了兩個(gè)被跟蹤序列的瞬態(tài)圖。能夠看出，心內(nèi)膜不總是在最強(qiáng)壯的邊緣。有時(shí)，該心內(nèi)膜只表現(xiàn)為模糊的一條線；有時(shí)完全看不見(jiàn)或被強(qiáng)噪聲所掩蓋；有時(shí)又會(huì)在其中不存在邊緣的乳頭肌的根部穿過(guò)。為了比較不同方法的性能，使用了平方距離的平均和(MSSD)和平均絕對(duì)距離(MAD)。本發(fā)明的方法與不帶形狀約束的跟蹤算法(被稱為流)和具有正交PCA形狀空間約束條件的跟蹤算法(被稱為流形狀空間)進(jìn)行比較。圖12示出了使用這兩種距離測(cè)量的比較結(jié)果。本發(fā)明明顯優(yōu)于其它兩種方法，本發(fā)明具有更小的平均距離且對(duì)于這個(gè)距離具有更小的標(biāo)準(zhǔn)偏差。
已說(shuō)明了用于使用魯棒信息融合來(lái)跟蹤對(duì)象的方法的實(shí)施方案，應(yīng)注意，本領(lǐng)域的技術(shù)人員能根據(jù)上述教導(dǎo)做出修改和改變。因此，應(yīng)理解能在本發(fā)明的特定實(shí)施方案中做出改變，這些改變均在如所附的權(quán)利要求所限定的本發(fā)明的范圍和精神內(nèi)。因此，已詳細(xì)描述了本發(fā)明并且特別是按專利法要求描述了本發(fā)明，所要求保護(hù)且需要受到專利證書(shū)保護(hù)的內(nèi)容在所附的權(quán)利要求中闡述。
權(quán)利要求
1.一種用于跟蹤對(duì)象的方法，該方法包括以下步驟接收包括多個(gè)圖像幀的視頻序列；維持基于樣本的對(duì)象外形分布的表達(dá)；將對(duì)象劃分成一個(gè)或多個(gè)組成部分；針對(duì)每個(gè)組成部分，估計(jì)其相對(duì)于基于樣本的表達(dá)的位置和不確定性；將基于可變帶寬密度的融合(VBDF)用于每個(gè)組成部分，以確定最主要的運(yùn)動(dòng)；以及利用所述運(yùn)動(dòng)估計(jì)來(lái)確定該對(duì)象的軌跡。
2.如權(quán)利要求1所述的方法，其中，在包含所述對(duì)象的每個(gè)子序列圖像幀上執(zhí)行所述對(duì)象的跟蹤。
3.如權(quán)利要求1所述的方法，其中，所述組成部分的相對(duì)位置能夠用整體參數(shù)運(yùn)動(dòng)來(lái)約束。
4.如權(quán)利要求1所述的方法，其中，相對(duì)于模型模板來(lái)測(cè)量與所述組成部分位置相關(guān)聯(lián)的殘差。
5.如權(quán)利要求4所述的方法，其中，如果所述殘差低于預(yù)定閾值，則將該當(dāng)前幀添加到所述模型模板。
6.如權(quán)利要求5所述的方法，其中，高殘差表示，所述對(duì)象至少部分地被阻擋。
7.如權(quán)利要求5所述的方法，其中，高殘差表示，所述對(duì)象受到照明條件變化的影響。
8.如權(quán)利要求1所述的方法，其中，被跟蹤的對(duì)象是臉部。
9.如權(quán)利要求1所述的方法，其中，被跟蹤的對(duì)象是人體。
10.如權(quán)利要求1所述的方法，其中，所述基于樣本的對(duì)象外形分布的表達(dá)包括從所述圖像幀離線獲得的模型模板。
11.如權(quán)利要求1所述的方法，其中，所述基于樣本的對(duì)象外形分布的表達(dá)包括從所述圖像幀在線獲得的模型模板。
12.如權(quán)利要求1所述的方法，其中，所述組成部分的相對(duì)位置能夠用形狀模型來(lái)約束。
13.一種用于在包括多個(gè)圖像幀的醫(yī)學(xué)視頻序列中跟蹤候選對(duì)象的方法，所述對(duì)象用多個(gè)被標(biāo)記的控制點(diǎn)來(lái)表示，該方法包括以下步驟估計(jì)出每個(gè)控制點(diǎn)的位置和不確定性；維持多個(gè)外形模型；將每個(gè)控制點(diǎn)與一個(gè)或多個(gè)模型進(jìn)行比較；利用VBDF估計(jì)器來(lái)確定每個(gè)控制點(diǎn)的最可能的當(dāng)前位置；將所有所述控制點(diǎn)的坐標(biāo)連接在一起；以及將所述控制點(diǎn)的集合與最類似于該控制點(diǎn)的集合的模型進(jìn)行融合。
14.如權(quán)利要求13所述的方法，其中，所述控制點(diǎn)與心肌壁的輪廓相關(guān)聯(lián)。
15.如權(quán)利要求14所述的方法，其中，所述方法跟蹤所述心肌壁的變形運(yùn)動(dòng)。
16.一種用于跟蹤對(duì)象的系統(tǒng)，其包括至少一臺(tái)攝像機(jī)，用于捕獲圖像幀的視頻序列；與所述至少一臺(tái)攝像機(jī)相關(guān)聯(lián)的處理器，該處理器執(zhí)行以下步驟i)維持基于樣本的對(duì)象外形分布的表達(dá)；ii)將對(duì)象劃分成一個(gè)或多個(gè)組成部分；iii)針對(duì)每個(gè)組成部分，估計(jì)其相對(duì)于基于樣本的表達(dá)的位置和不確定性；iv)將基于可變帶寬密度的融合(VBDF)用于每個(gè)組成部分，以確定最主要的運(yùn)動(dòng)；以及v)利用所述運(yùn)動(dòng)估計(jì)來(lái)確定該對(duì)象的軌跡。
17.如權(quán)利要求16所述的系統(tǒng)，其中，在包含所述對(duì)象的每個(gè)子序列圖像幀上執(zhí)行所述對(duì)象的跟蹤。
18.如權(quán)利要求16所述的系統(tǒng)，其中，所述組成部分的相對(duì)位置能夠用整體參數(shù)運(yùn)動(dòng)來(lái)約束。
19.如權(quán)利要求16所述的系統(tǒng)，其中，相對(duì)于模型模板來(lái)測(cè)量與所述組成部分位置相關(guān)聯(lián)的殘差。
20.如權(quán)利要求19所述的系統(tǒng)，其中，如果所述殘差低于預(yù)定閾值，則將所述當(dāng)前幀添加到所述模型模板。
21.如權(quán)利要求20所述的系統(tǒng)，其中，高殘差表示，所述對(duì)象至少部分地被阻擋。
22.如權(quán)利要求20所述的系統(tǒng)，其中，高殘差表示，所述對(duì)象受到照明條件變化的影響。
23.如權(quán)利要求16所述的系統(tǒng)，其中，被跟蹤的對(duì)象是臉部。
24.如權(quán)利要求16所述的系統(tǒng)，其中，被跟蹤的對(duì)象是人體。
25.如權(quán)利要求16所述的系統(tǒng)，其中，所述基于樣本的對(duì)象外形分布的表達(dá)包括從所述圖像幀離線獲得的模型模板。
26.如權(quán)利要求16所述的系統(tǒng)，其中，所述基于樣本的對(duì)象外形分布的表達(dá)包括從所述圖像幀在線獲得的模型模板。
27.如權(quán)利要求16所述的系統(tǒng)，其中，所述組成部分的相對(duì)位置能夠用形狀模型來(lái)約束。
全文摘要
所公開(kāi)的是一種用于跟蹤對(duì)象的系統(tǒng)和方法。接收包括多個(gè)圖像幀的視頻序列。維持基于樣本的對(duì)象外形分布的表達(dá)。將對(duì)象劃分成一個(gè)或多個(gè)組成部分。針對(duì)每個(gè)組成部分，估計(jì)其相對(duì)于基于樣本的表達(dá)的位置和不確定性。將基于可變帶寬密度的融合(VBDF)用于每個(gè)組成部分，以確定最主要的運(yùn)動(dòng)。利用所述運(yùn)動(dòng)估計(jì)來(lái)確定該對(duì)象的軌跡。
文檔編號(hào)G06T7/20GK1965332SQ200580012428
公開(kāi)日2007年5月16日 申請(qǐng)日期2005年2月18日 優(yōu)先權(quán)日2004年2月20日
發(fā)明者B·喬治斯庫(kù), X·S·周, D·科馬尼丘, R·B·勞 申請(qǐng)人:西門(mén)子共同研究公司