專利名稱：圖像中對象的視覺跟蹤以及圖像分割的制作方法
圖像中對象的視覺跟蹤以及圖像分割本發(fā)明涉及捕獲的數(shù)字圖像中對象的視覺跟蹤以及圖像分割，以及這種跟蹤的用途，包括(但不限于)當(dāng)對象和/或攝像機移動時控制攝像機跟蹤對象。在一系列捕獲的2維圖像(例如，來自數(shù)字攝像機的圖像或從模擬攝像機產(chǎn)生的數(shù)字化圖像)中跟蹤對象或目標(biāo)就其本身來說是已知的技術(shù)領(lǐng)域。此外，許多其它領(lǐng)域使用這種能力來根據(jù)給定的可獲得的東西來跟蹤移動的圖像。例如，在監(jiān)控攝像機的面部識別區(qū)域中，很多人簡單地假設(shè)能夠根據(jù)輸入到識別算法的相關(guān)圖像數(shù)據(jù)在幀與幀之間跟蹤人臉。但是，自動跟蹤圖像中在幀與幀之間移動的目標(biāo)不是那么容易的。一個已知的問題是在幀與幀之間確定每個圖像幀中的哪些像素是對象/目標(biāo)(有時被稱為前景)的一部分， 哪些是背景(即“非目標(biāo)”)。一些方法建立了分離每一幀中目標(biāo)與背景的邊界。然后一些方法使用該邊界來限定形狀并跟蹤形狀的中心。然而，對象/目標(biāo)中心可相對于獲取圖像的攝像機改變方向，和/或攝像機可相對于目標(biāo)移動。相對于攝像機，目標(biāo)可更加接近或進一步遠離，并且它可以改變姿勢或方向。 因此，捕獲的圖像中通過目標(biāo)邊界判定的目標(biāo)有時看起來有很大的差別。因此，對于目標(biāo)邊界形狀，不期望具有固定、單一、預(yù)測的形狀。有人曾嘗試使用具有從一個捕獲的幀到另一個捕獲的幀的隨時間演變的邊界的模型，以使目標(biāo)被如此識別且被跟蹤?？焖偾铱煽康囊曈X跟蹤是計算機視覺中大量應(yīng)用的前提。雖然在過去二十年它已經(jīng)是強烈努力的課題，但是由于多種原因它仍然是個難題。特別地，當(dāng)以前跟蹤看不見的對象時，為其它跟蹤系統(tǒng)提供可靠性的許多限制-如關(guān)于形狀、表觀或運動的強大的先驗信息-是不可用的。相當(dāng)有希望在統(tǒng)一的框架內(nèi)執(zhí)行跟蹤和分割的一種技術(shù)是使用隱含的輪廓、或水平集(level set)來表示目標(biāo)的邊界。除了無縫地處理拓撲變化之外，使用水平集的跟蹤可由相當(dāng)標(biāo)準的概率公式表達，因此可借助貝葉斯方法的力量。一個技術(shù)難點是在圖像中尋找對象所在的位置。第二個技術(shù)難點是處理由對象和獲取圖像的攝像機的相對位置和方向的改變而引起的對象表觀形狀的改變。過去的解決方案包括在美國第6394557號專利(Leroi)和美國第6590999號專利 (Comaniciu)中所討論的內(nèi)容。還有參考文獻W](見參考文獻列表)。由此本專利的讀者可閱讀這三個文件。我們認為這將有助于理解本發(fā)明。我們不認為這三個文件是十分需要的。根據(jù)第一方面，本發(fā)明包括跟蹤一系列η維圖像中的對象的方法，圖像中的對象出現(xiàn)在背景中，所述方法包括使用在圖像中對象的表觀和背景的表觀的概率模型，并且使用圖像中的具體像素是對象的一部分或還是背景的一部分的估算，所述估算包括確定具體像素屬于對象或?qū)儆诒尘暗暮篁災(zāi)Ｐ透怕?，并且所述方法進一步包括在這些對象/背景隸屬概率上邊緣化以產(chǎn)生對象的姿勢參數(shù)的函數(shù)，此處至少對象/背景隸屬被判斷為多余參數(shù)并且被邊緣化。已經(jīng)發(fā)現(xiàn)這種方法提供更可靠的能力來跟蹤對象。與其它方法相比，被求解的目標(biāo)函數(shù)具有較少的虛假局部極小/極大值，并且這導(dǎo)致更少的、跟蹤器系統(tǒng)丟失對象的情
7況。根據(jù)第二方面，本發(fā)明包括分割一系列η維圖像中的對象的方法，圖像中的對象出現(xiàn)在背景中，所述方法包括使用在圖像中對象的表觀和背景的表觀的概率模型，并且使用圖像中的具體像素是對象的一部分還是背景的一部分的估算，所述估算包括確定具體像素屬于對象或?qū)儆诒尘暗暮篁災(zāi)Ｐ透怕?，并且所述方法進一步包括在這些對象/背景隸屬概率上邊緣化，以產(chǎn)生對象的形狀的函數(shù)，此處至少對象/背景隸屬被判斷為多余的參數(shù)并且被邊緣化。本發(fā)明的概念可用于分割圖像以及跟蹤。由于改進的目標(biāo)函數(shù)，所以分割方法是更好的，因此與很多已知方法相比它犯更少的錯誤。根據(jù)第三方面，本發(fā)明包括跟蹤和分割一系列η維圖像中的對象的方法，圖像中的對象出現(xiàn)在背景中，所述方法包括使用在圖像中對象的表觀和背景的表觀的概率模型， 并且使用圖像中的具體像素是對象的一部分還是背景的一部分的估算，所述估算包括確定具體像素屬于對象或?qū)儆诒尘暗暮篁災(zāi)Ｐ透怕?，并且所述方法進一步包括在這些對象/ 背景隸屬概率上邊緣化，以產(chǎn)生對象的形狀和姿勢參數(shù)的函數(shù)，此處至少對象/背景隸屬被判斷為多余的參數(shù)并且被邊緣化。本發(fā)明的概念可用于同時跟蹤和分割圖像。這是優(yōu)選的解決方案，因為跟蹤解決 (account for)圖像之間的剛性/投影運動，而分割解決任何殘余的形狀變形。目標(biāo)函數(shù)改進的質(zhì)量意味著結(jié)果是產(chǎn)生能夠跟蹤以前在現(xiàn)有技術(shù)條件下看不見的目標(biāo)的魯棒性、實時足艮S宗胃會充。在許多實施方式中，多個對象或一個對象的表觀的模型、和/或背景的表觀的模型將或者可以隨時間演變。在本發(fā)明的一些實施方式中，我們使用了圖像中特定像素是對象的一部分還是背景的一部分的像素方面(pixel-wise)的估算。在其它實施方式中，我們沒有這樣做。像素方面的估算是單獨估算圖像中的每個像素?？梢栽O(shè)想非像素方面的后驗估算(只是像素后驗估算對每個像素進行估算，但不一定單獨估算每個像素)。例如，可以對像素對、或像素群進行估算，而不是單獨獨立地估算每個像素。也應(yīng)該理解的是，在許多實施例中，為了產(chǎn)生對象的形狀和姿勢參數(shù)的函數(shù)而在對象/背景隸屬概率上的邊緣化具有從對象坐標(biāo)系變換到圖像坐標(biāo)系的“姿勢”，如對象的圖像位置、或位置旋轉(zhuǎn)和縮放。在以上實施例中，跟蹤和分割過程是通過最小化或最大化這個函數(shù)以找出最佳姿勢和形狀參數(shù)而完成的。優(yōu)選地，所述方法(上述方法中的任意一個)在進行等式(3)的估算后進行等式 ⑷的估算，其中等式(3)是
權(quán)利要求
1.一種跟蹤一系列η維圖像中的對象的方法，圖像中的對象出現(xiàn)在背景中，所述方法包括使用在所述圖像中所述對象的表觀的概率模型和所述背景的表觀的概率模型；以及 使用所述圖像中的具體像素是對象的一部分還是所述背景的一部分的估算，所述估算包括確定具體像素或像素群屬于對象或?qū)儆谒霰尘暗暮篁災(zāi)Ｐ透怕剩龇椒ㄟM一步包括在這些對象/背景隸屬概率上邊緣化，以產(chǎn)生所述對象的姿勢參數(shù)的函數(shù)，此處，至少所述對象/背景隸屬被判斷為多余參數(shù)并且被邊緣化。
2.一種分割一系列η維圖像中的對象的方法，圖像中的對象出現(xiàn)在背景中，所述方法包括使用在所述圖像中所述對象的表觀的概率模型和所述背景的表觀的概率模型；以及使用所述圖像中的具體像素是對象的一部分還是所述背景的一部分的估算，所述估算包括確定具體像素或像素群屬于對象或?qū)儆谒霰尘暗暮篁災(zāi)Ｐ透怕?，所述方法進一步包括在這些對象/背景隸屬概率上邊緣化，以產(chǎn)生所述對象的形狀的函數(shù)，此處，至少所述對象/背景隸屬被判斷為多余參數(shù)并且被邊緣化。
3.—種跟蹤和分割一系列η維圖像中的對象的方法，圖像中的對象出現(xiàn)在背景中，所述方法包括使用在所述圖像中所述對象的表觀的概率模型和所述背景的表觀的概率模型；以及使用所述圖像中的具體像素是對象的一部分還是所述背景的一部分的估算，所述估算包括確定具體像素或像素群屬于對象或?qū)儆谒霰尘暗暮篁災(zāi)Ｐ透怕剩龇椒ㄟM一步包括在這些對象/背景隸屬概率上邊緣化，以產(chǎn)生所述對象的形狀和姿勢參數(shù)的函數(shù)，此處，至少所述對象/背景隸屬被判斷為多余參數(shù)并且被邊緣化。
4.如權(quán)利要求1、或權(quán)利要求2、或權(quán)利要求3所述的方法，其中，在進行等式(3)的估算后進行等式的估算，其中等式⑶是
5.如權(quán)利要求1至4中任一項所述的方法，其中，所述圖像是使用像素包模型建模的。
6.如任一前述權(quán)利要求所述的方法，其中，使用圖像值的概率表觀模型，例如非參數(shù)分布。
7.如權(quán)利要求6所述的方法，其中，所述非參數(shù)分布包括(i)出現(xiàn)在所述對象中的具體顏色的顏色直方圖或其它相關(guān)概率，和/或( )出現(xiàn)在所述背景中的具體顏色的顏色直方圖或其它相關(guān)概率。
8.如權(quán)利要求1至7中任一項所述的方法，包括使用不同圖像之間對象的可逆參數(shù)配準、可能可逆線性變換(如剛性、仿射或透視變換)，隨后從所述背景分割所述對象，以解決所述對象邊界的非剛性形狀變形。
9.如任一前述權(quán)利要求所述的方法，包括確定第一圖像中所述對象的姿勢，并且確定第二圖像中所述對象的姿勢。
10.如任一前述權(quán)利要求所述的方法，其中，嵌入函數(shù)的水平集用于表示對象形狀，并且可選地或優(yōu)選地，將先驗條件施加到所述嵌入函數(shù)上以將其限制為近似的有符號的距離函數(shù)。
11.一種圖像跟蹤系統(tǒng)，包括(i)處理器，適于運行圖像跟蹤算法；(ii)所述處理器的輸入，適于接收數(shù)字像素數(shù)據(jù)信號，所述數(shù)字像素數(shù)據(jù)信號表示一系列具有目標(biāo)和背景的圖像的像素；(iii)所述處理器的輸出，適于輸出已處理的信號，所述已處理的信號是用所述跟蹤算法對輸入信號進行運算得到的，其中，所述圖像跟蹤算法使用具體像素或像素群是所述對象的像素或所述背景的像素的后驗概率的概率估算，所述跟蹤算法適于在已處理的像素數(shù)據(jù)上從所述對象的模型邊緣化至少一個多余參數(shù)。
12.—種圖像分割系統(tǒng)，包括(i)處理器，適于運行圖像分割算法；( )所述處理器的輸入，適于接收數(shù)字像素數(shù)據(jù)信號，所述數(shù)字像素數(shù)據(jù)信號表示一系列具有目標(biāo)和背景的圖像的像素；(iii)所述處理器的輸出，適于輸出已處理的信號，所述已處理的信號是用所述圖像分割算法對輸入信號進行運算得到的，其中，所述圖像分割算法使用具體像素或像素群是所述對象的像素或所述背景的像素的后驗概率的概率估算，并且所述分割算法適于在已處理的像素數(shù)據(jù)上從所述對象的模型邊緣化至少一個多余參數(shù)。
13.如權(quán)利要求11或12所述的系統(tǒng)，其中，存在上一幀存儲器和當(dāng)前幀存儲器，所述上一幀存儲器適于保存表示上一幀的像素的數(shù)據(jù)，所述當(dāng)前幀存儲器適于保存表示當(dāng)前幀的像素的數(shù)據(jù)，并且所述跟蹤算法適于使用從所述上一幀存儲器和所述當(dāng)前幀存儲器得到的數(shù)據(jù)來估算目標(biāo)與背景之間的邊界并更新存儲在對象模型存儲器中的對象模型，優(yōu)選地，表示來自上一幀的像素的數(shù)據(jù)包括所述對象和背景的顏色直方圖概率模型。
14.如權(quán)利要求11至13中任一項所述的系統(tǒng)，其中，所述系統(tǒng)包括攝像機，所述攝像機具有偏轉(zhuǎn)、或俯仰、或變焦能力中的一個或多個，并且所述處理器的輸出被攝像機控制機制使用以在沒有人為干涉的情況下，響應(yīng)于所述處理器跟蹤所述圖像中的對象而自動地控制所述攝像機的偏轉(zhuǎn)、或俯仰、或變焦中的一個或多個。
15.如權(quán)利要求1、或權(quán)利要求2、或權(quán)利要求3所述的方法，所述方法跟蹤一系列圖像中的非剛性前景對象，圖像中的前景對象位于背景中，其中，該跟蹤方法使用了優(yōu)化，所述優(yōu)化通過找出所述圖像中所述對象的最佳姿勢(即從對象坐標(biāo)系到圖像坐標(biāo)系的變換，如所述對象的圖像位置，或位置、旋轉(zhuǎn)和縮放)最大化所述前景與所述背景之間的區(qū)別來找出圖像中的前景對象區(qū)域，并且在每幀中，所述優(yōu)化的結(jié)果是所述前景和背景之間的概率邊界(例如，2維中的一個輪廓或多個輪廓)、相對于所述對象坐標(biāo)系的所述邊界的姿勢參數(shù)、以及所述前景對象和背景的表觀模型。
16.如權(quán)利要求9或15所述的方法，進一步包括找出通過所述姿勢變換未解決的局部形狀變形。
17.如任一前述方法權(quán)利要求所述的方法，進一步包括更新前景和背景的表觀模型。
18.一種實時跟蹤一系列圖像中非剛性前景對象的方法，包括(i)在所述一系列圖像的第一圖像中，識別由所述前景對象覆蓋的圖像區(qū)域以及在所述對象以外的背景區(qū)域，并且為所述前景對象區(qū)域和所述背景區(qū)域開發(fā)概率表觀模型；( )對于所述一系列圖像中的下一圖像，在給定像素值y的情況下，為所述圖像中的每個像素“i”計算它是前景或背景像素(變量“M”)的概率，即P(M|y(i))；這些值代表了在沒有任何姿勢或形狀信息的情況下每個像素的后驗前景/背景隸屬；(iii)使用所述對象姿勢的預(yù)測，關(guān)于姿勢參數(shù)P最大化概率分布P (P，Φ I x，y)，這個分布表示在給定像素位置χ和像素值y的情況下對所述前景對象的姿勢P及其形狀Φ的確定，概率分布P (P，Φ I x，y)的最大化是通過在所述圖像中每個像素的后驗前景/背景隸屬概率上邊緣化而計算得到的。
19.如權(quán)利要求18所述的方法，進一步包括步驟(iv)關(guān)于Φ優(yōu)化P(ρ，Φ|χ，γ)，以確定新的對象形狀。
20.如權(quán)利要求18或19所述的方法，進一步包括步驟(ν)通過將預(yù)先存在的前景和背景表觀分布與當(dāng)前圖像的表觀分布相融合來更新所述表觀模型。
21.如權(quán)利要求18至20中任一項所述的方法，進一步包括對所述一系列圖像中的后續(xù)圖像重復(fù)步驟( )至(ν).
22.如任一前述方法權(quán)利要求所述的方法，其中，如果所述對象和初始對象位置、所述背景是通過考慮用戶限定的區(qū)域以外的區(qū)域獲取的，那么對象位置通過用戶限定的前景區(qū)域來初始化，以限定所述表觀模型，所述用戶限定的前景區(qū)域可選地如環(huán)形或橢圓區(qū)域的閉環(huán)，并且步驟(iv)和(V)被迭代以提取通過最大化ρ(ρ，φ|χ,γ)確定的最佳分離背景與前景的形狀。
23.如任一前述方法權(quán)利要求所述的方法，其中，所述對象位置通過自動機檢測/識別模塊(例如，面部檢測器)來初始化。
24.如任一前述方法權(quán)利要求所述的方法，其中，隨后圖像幀中的對象位置是基于其先前位置及其預(yù)期運動的模型進行預(yù)測的。
25.如任一前述方法權(quán)利要求所述的方法，其中，所述姿勢ρ的優(yōu)化步驟是使用 Newton-Raphson技術(shù)實現(xiàn)的。
26.如任一前述方法權(quán)利要求所述的方法，其中，所述形狀Φ的優(yōu)化步驟是使用變分學(xué)實現(xiàn)的。
27.如任一前述方法權(quán)利要求所述的方法，其中，只有在分離對象與背景的預(yù)測的邊界輪廓周圍的窄帶中的那些像素被考慮。
28.如任一前述方法權(quán)利要求所述的方法，其中，姿勢參數(shù)通過使用閉環(huán)控制進行調(diào)節(jié)，以通過解決由形狀變化引起的漂移以使對象在其原始坐標(biāo)系中保持居中。
29.如任一前述方法權(quán)利要求所述的方法，其中，所述表觀模型是通過所述先前模型和所述當(dāng)前表觀的加權(quán)移動平均而更新的。
30.如任一前述方法權(quán)利要求所述的方法，進一步包括使用最佳位置參數(shù)ρ開發(fā)控制信號以控制機器人設(shè)備的姿勢參數(shù)。
31.如權(quán)利要求30所述的方法，其中，所述機器人設(shè)備是偏轉(zhuǎn)-俯仰-變焦攝像機設(shè)備，所述控制信號旨在將所述對象保持在所述攝像機的視野中。
32.如任一前述方法權(quán)利要求所述的方法，其中，所述最佳姿勢參數(shù)ρ用于將控制信號提供給虛擬世界或增強的現(xiàn)實子系統(tǒng)。
33.如任一前述方法權(quán)利要求所述的方法，其中，所述最佳姿勢參數(shù)ρ用于提取所述前景對象的穩(wěn)定視野。
34.如任一前述方法權(quán)利要求所述的方法，其中，所述圖像是3維的，如MRI或CT，并且背景與前景之間以概率方式確定的邊界是表面。
35.如任一前述方法權(quán)利要求所述的方法，其中，所述圖像是3維的，如MRI或CT，并且所述邊界劃定了一些感興趣對象的內(nèi)部和外部。
36.如任一前述方法權(quán)利要求所述的方法，其中，所述概率表觀模型通過以下給出(i)參數(shù)的顏色或紋理分布；或者( )直方圖。
37.如任一前述方法權(quán)利要求所述的方法，具有所述背景的表觀的模型和/或所述對象的表觀的模型，其中，所述對象的表觀的模型和/或所述背景的表觀的模型能夠隨時間演變。
38.一種用于跟蹤一系列圖像中前景對象的視覺跟蹤系統(tǒng)，所述系統(tǒng)通過使用圖像像素的前景/背景隸屬的后驗概率以在前景/背景分割上邊緣化，并且優(yōu)化所述對象的姿勢參數(shù)。
39. 一種編碼在計算機可讀數(shù)據(jù)載體上的計算機程序，當(dāng)所述計算機程序運行在計算機處理器上時，所述計算機程序執(zhí)行任一前述方法權(quán)利要求所述的方法。
全文摘要
一種跟蹤一系列n維圖像(102)中的對象的方法，圖像(102)中的對象(106、108)出現(xiàn)在背景(110、112)中，所述方法包括使用在圖像中對象的表觀的概率模型和背景的表觀的概率模型，并且使用圖像(102)中的具體像素是對象(106、108)的一部分還是背景(110、112)的一部分的估算，所述估算包括確定具體像素(x)或像素群屬于對象或?qū)儆诒尘暗暮篁災(zāi)Ｐ透怕?，并且所述方法進一步包括對這些對象/背景隸屬概率邊緣化，以產(chǎn)生對象的姿勢參數(shù)的函數(shù)，此處至少對象/背景隸屬被判斷為多余參數(shù)并且被邊緣化。
文檔編號G06T7/00GK102216957SQ200980146343
公開日2011年10月12日 申請日期2009年10月9日 優(yōu)先權(quán)日2008年10月9日
發(fā)明者伊恩·大衛(wèi)·里德, 查爾斯·科林·比拜 申請人:埃西斯創(chuàng)新有限公司