專利名稱：目標(biāo)跟蹤方法和目標(biāo)跟蹤設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及ー種目標(biāo)跟蹤方法和目標(biāo)跟蹤設(shè)備。
背景技術(shù)：
目標(biāo)跟蹤是圖像分析和機(jī)器視覺(jué)領(lǐng)域中最重要的技術(shù)之一，在目標(biāo)跟蹤中最主要的難點(diǎn)在干，如何在連續(xù)的視頻幀中關(guān)聯(lián)目標(biāo)，特別是，在目標(biāo)對(duì)象的移動(dòng)相對(duì)于幀速更快的情況下，目標(biāo)跟蹤更為困難，而且，如果在運(yùn)動(dòng)期間被跟蹤的目標(biāo)更改了朝向以致產(chǎn)生一定程度的形變，則更加增大這個(gè)問(wèn)題的復(fù)雜度。
非專利文件I-Mathias Kolsch,Doctoral Dissertation^Vision Based Hand
Gesture Interfaces for Wearable Computing and Virtual Environments，，,UNIVERSITYOF CALIFORNIA, Santa Barbara，2004，提出了ー種在 2D (2 維)圖像上采用塊特征(Flocksof Features)的手跟蹤方法。該方法在光流矢量計(jì)算的基礎(chǔ)上采用了 KLT跟蹤器來(lái)跟蹤多個(gè)特征點(diǎn)，同時(shí)使用了一種寬松的全局聚合限制來(lái)聚類光流矢量，以估算目標(biāo)位置。在該方法中，膚色在特征聚合中起重要的作用，其將膚色概率密度函數(shù)用于特征點(diǎn)的補(bǔ)充。因此，如果手在運(yùn)動(dòng)中掠過(guò)與膚色相似的區(qū)域，例如臉，則其跟蹤結(jié)果通常會(huì)偏離目標(biāo)。實(shí)際上，傳統(tǒng)的2D跟蹤技術(shù)不能很好地解決特征的穩(wěn)定性差的問(wèn)題以及解決特征間容易錯(cuò)誤匹配等問(wèn)題。與基于2D的目標(biāo)跟蹤技術(shù)相比，3D (3維)照相機(jī)可以為3D世界里的每個(gè)對(duì)象進(jìn)ー步提供深度信息，該深度信息能用來(lái)區(qū)別坐標(biāo)系中Z軸方向上不同的對(duì)象，即使它們具有相似的色彩或形狀。圖I包括圖IA-圖1D，示出了 3D照相機(jī)的圖像處理過(guò)程示意圖。其中，以PrimeSense 3D照相機(jī)為例進(jìn)行說(shuō)明。圖IA示出示例的場(chǎng)景，圖IB所示的Prime Sense 3D照相機(jī)采集圖IA的場(chǎng)景，得到圖IC所示的深度圖像。深度圖像的每個(gè)像素點(diǎn)均包含該像素點(diǎn)所對(duì)應(yīng)的實(shí)際對(duì)象的深度坐標(biāo)數(shù)據(jù)(深度值)，例如，如圖ID所示的像素矩陣，該矩陣中的每個(gè)元素對(duì)應(yīng)于深度圖像中一個(gè)像素點(diǎn)，該元素的值代表世界坐標(biāo)中與該像素點(diǎn)相對(duì)應(yīng)的對(duì)象表面到照相機(jī)的距離，距離單位例如可以是毫米。Prime Sense 3D照相機(jī)的測(cè)量深度值的技術(shù)原理在于，首先，圖IB所示照相機(jī)通過(guò)紅外光源投射出一組非可視的紅外線組成的模式點(diǎn)到圖IA所示場(chǎng)景的對(duì)象表面上，并通過(guò)CMOS傳感器捕捉投射后的模式圖像，然后處理器基于模式光中點(diǎn)的偏移，運(yùn)用三角測(cè)量技術(shù)計(jì)算出對(duì)象表面上每個(gè)點(diǎn)的深度值。深度圖像無(wú)顔色信息，但可以通過(guò)不同的方式可視化，例如灰度化，如圖IC所示?；旌仙疃葦?shù)據(jù)流和圖像流就可以產(chǎn)生彩色的3D圖像，3D照相機(jī)可以同步地輸出RGB圖像流和相應(yīng)的深度值流。專利文件I——US 20100194741 Al，給出了ー種在深度圖像上利用光流來(lái)跟蹤目標(biāo)的方法。在該方法中，孤立區(qū)域中的每個(gè)像素點(diǎn)根據(jù)其對(duì)應(yīng)的深度而被賦予灰度值，從而以灰度化的方式來(lái)產(chǎn)生“斑馬(zebra) ”模式，然后用光流算法來(lái)確定各個(gè)區(qū)域中每個(gè)像素點(diǎn)的新位置。雖然該方法使用了速度預(yù)測(cè)來(lái)平滑跟蹤，但這種只依賴于單點(diǎn)跟蹤結(jié)果自底向上的處理方法缺乏阻止誤差傳播的策略，因此該方法不能達(dá)到良好的平穩(wěn)跟蹤的結(jié)果，特別是在長(zhǎng)時(shí)間進(jìn)行復(fù)雜運(yùn)動(dòng)跟蹤的情況下。此外，上述現(xiàn)有技術(shù)也沒(méi)有考慮到在跟蹤目標(biāo)期間如何確定目標(biāo)在成像平面內(nèi)的尺度縮放變化情況。即使有現(xiàn)有技術(shù)考慮到成像尺度的確定，其采用的估計(jì)縮放尺度變化的手段通常是概率塊匹配，例如，在粒子濾波跟蹤中通常產(chǎn)生ー個(gè)隨機(jī)擾動(dòng)到當(dāng)前狀態(tài)(包括目標(biāo)的尺度)，然后基于擾動(dòng)后的塊與擾動(dòng)前的塊間的相關(guān)系數(shù)計(jì)算擾動(dòng)后的塊的權(quán)重，最后用計(jì)算出的平均狀態(tài)來(lái)確定其尺度大小。然而，這樣的尺度處理方法不具有很高的可靠性，以致影響到最終的跟蹤結(jié)果的準(zhǔn)確性。特別是在人機(jī)交互系統(tǒng)的情況下，其背景通常是任意且復(fù)雜的，并且對(duì)象的運(yùn)動(dòng) 也是比較復(fù)雜的，不單有運(yùn)動(dòng)的方向和速度的變化，也存在運(yùn)動(dòng)對(duì)象自身形狀的調(diào)整。特別是對(duì)長(zhǎng)時(shí)間連續(xù)跟蹤而言，如何在如此的環(huán)境下仍能夠獲得可靠并平穩(wěn)的跟蹤結(jié)果是非常重要并且有挑戰(zhàn)性的事情。

發(fā)明內(nèi)容
鑒于現(xiàn)有技術(shù)中存在的上述問(wèn)題而做出本發(fā)明。本發(fā)明的實(shí)施例能夠?qū)崿F(xiàn)在深度圖像的序列中跟蹤目標(biāo)以獲取目標(biāo)的位置，進(jìn)ー步優(yōu)選地，本發(fā)明的實(shí)施例還能夠獲得成像平面內(nèi)目標(biāo)尺度的縮放大小。為解決上述問(wèn)題，本發(fā)明的實(shí)施例通過(guò)在深度圖像上運(yùn)用3DCCA(Three-Dimension Connected Component Analysis,三維連通域分析)技術(shù)來(lái)獲得所有連通域的列表并從列表中最終確定出與跟蹤目標(biāo)相關(guān)聯(lián)的目標(biāo)連通域。3DCCA根據(jù)像素的連通性，通過(guò)分配相同的標(biāo)識(shí)給近鄰的像素點(diǎn)，從而把圖像聚類為多個(gè)不同的連通域，在同一連通域內(nèi)任意兩個(gè)像素點(diǎn)在它們之間至少存在一條D-連通路徑。通過(guò)深度圖像上進(jìn)行的3DCCA，能夠從復(fù)雜的背景環(huán)境中區(qū)別出具有不同深度值的對(duì)象，并獲得目標(biāo)的掩碼圖像。利用3DCCA技術(shù)，不僅能夠有效地從復(fù)雜的背景中分離出對(duì)象，同時(shí)也能有助于通過(guò)利用目標(biāo)的移動(dòng)歷史信息來(lái)估計(jì)目標(biāo)的大致位置?；谀繕?biāo)所在連通域的預(yù)測(cè)結(jié)果，進(jìn)ー步在目標(biāo)所在的連通域采用光流的方法來(lái)跟蹤特征點(diǎn)以獲得光流矢量，并從多個(gè)特征點(diǎn)的光流矢量中提取出最終的目標(biāo)位置所在。進(jìn)ー步地，3DCCA和深度信息還能夠有助于確定目標(biāo)在成像平面上的縮放尺度變化，即成像尺度?；诔跏紶顟B(tài)時(shí)目標(biāo)的尺寸大小、初始狀態(tài)時(shí)的深度信息、及當(dāng)前深度信息，借助相似三角形理論，能夠估計(jì)出當(dāng)前目標(biāo)的成像尺度。根據(jù)本發(fā)明實(shí)施例的ー個(gè)方面，提出了ー種目標(biāo)跟蹤方法，包括連通域獲取步驟，對(duì)輸入的初始深度圖像執(zhí)行三維連通域分析，獲取初始深度圖像的連通域的列表；初始目標(biāo)確定步驟，在初始深度圖像中根據(jù)目標(biāo)的已知的當(dāng)前位置確定目標(biāo)所在的目標(biāo)連通域，并在該連通域?qū)?yīng)的圖像部分中確定n個(gè)特征點(diǎn)，n為自然數(shù)；跟蹤步驟，在所述初始深度圖像之后輸入的后續(xù)深度圖像中，執(zhí)行三維連通域分析，在獲取所述后續(xù)深度圖像的連通域列表的各個(gè)候選連通域中，識(shí)別所述目標(biāo)所在的目標(biāo)連通域；以及目標(biāo)位置確定步驟，在所述跟蹤步驟識(shí)別的目標(biāo)連通域中跟蹤所述n個(gè)特征點(diǎn)以更新所述目標(biāo)的當(dāng)前位置。根據(jù)本發(fā)明實(shí)施例的另ー個(gè)方面，提出了ー種目標(biāo)跟蹤設(shè)備，包括連通域獲取裝置，用于對(duì)輸入的初始深度圖像執(zhí)行三維連通域分析，獲取初始深度圖像的連通域的列表；初始目標(biāo)確定裝置，用于在初始深度圖像中根據(jù)目標(biāo)的已知的當(dāng)前位置確定目標(biāo)所在的目標(biāo)連通域，并在該連通域?qū)?yīng)的圖像部分中確定n個(gè)特征點(diǎn)，n為自然數(shù)；跟蹤裝置，用于在所述初始深度圖像之后輸入的后續(xù)深度圖像中，執(zhí)行三維連通域分析，在獲取所述后續(xù)深度圖像的連通域列表的各個(gè)候選連通域中，識(shí)別所述目標(biāo)所在的目標(biāo)連通域；以及目標(biāo)位置確定裝置，用于在所述跟蹤裝置所識(shí)別的目標(biāo)連通域中跟蹤所述n個(gè)特征點(diǎn)以更新所述目標(biāo)的當(dāng)前位置。本發(fā)明實(shí)施例通過(guò)使用3DCCA(三維連通域分析)技術(shù)來(lái)分割出被跟蹤目標(biāo)對(duì)象所在的連通域，以之作為評(píng)估每個(gè)特征點(diǎn)光流跟蹤結(jié)果的參考依據(jù)。本發(fā)明的實(shí)施例可以應(yīng)用于各種人機(jī)交互應(yīng)用系統(tǒng)，例如可以應(yīng)用于諸如人機(jī)交互游戲、遠(yuǎn)程控制虛擬現(xiàn)實(shí)等等的技術(shù)方向。通過(guò)本發(fā)明的實(shí)施例，能夠解決基于深度照相機(jī)的人機(jī)交互應(yīng)用中的目標(biāo)跟蹤問(wèn) 題，本發(fā)明實(shí)施例的實(shí)施對(duì)被跟蹤的目標(biāo)無(wú)特別要求，不需特殊標(biāo)記或手套、既適用于顯著確定外形的對(duì)象、也適用于非剛性對(duì)象，井能夠?qū)崿F(xiàn)實(shí)時(shí)處理并獲得平穩(wěn)及可靠的跟蹤結(jié)果。通過(guò)閱讀結(jié)合附圖考慮的以下本發(fā)明的優(yōu)選實(shí)施例的詳細(xì)描述，將更好地理解本發(fā)明的以上和其他目標(biāo)、特征、優(yōu)點(diǎn)和技術(shù)及エ業(yè)重要性。


圖I包括圖IA-圖1D，示出了 3D照相機(jī)的圖像處理過(guò)程示意圖，其中，圖IA示出示例的場(chǎng)景，圖IB示出采集圖IA的場(chǎng)景的3D照相機(jī)，圖IC示出圖IA的場(chǎng)景的深度圖像，圖ID示出深度圖像的像素矩陣。圖2示出根據(jù)本發(fā)明實(shí)施例的目標(biāo)跟蹤方法的總體流程圖。圖3包括圖3A和圖3B，示出對(duì)示例深度圖像執(zhí)行3DCCA的示意性結(jié)果，其中，圖3A示出示例性的深度圖像，圖3B示出對(duì)圖3A所示深度圖像執(zhí)行3DCCA的示意性結(jié)果。圖4示出在示例圖像中確定目標(biāo)對(duì)象的示意性結(jié)果。圖5示出在跟蹤階段目標(biāo)成像平面上縮放尺度計(jì)算的基本原理示意圖。圖6包括圖6A和圖6B，示例性地示出在跟蹤頭部目標(biāo)時(shí)頭部目標(biāo)成像尺度變化的示意結(jié)果。圖7示出按照本發(fā)明實(shí)施例的目標(biāo)精確位置確定步驟的示意流程圖。圖8包括圖8A和圖8B,示例性地示出跟蹤目標(biāo)為手時(shí)的跟蹤結(jié)果示意圖。圖9示出按照本發(fā)明實(shí)施例的目標(biāo)跟蹤設(shè)備的示意框圖。
具體實(shí)施例方式下面結(jié)合附圖描述本發(fā)明實(shí)施例。圖2示出根據(jù)本發(fā)明實(shí)施例的目標(biāo)跟蹤方法的總體流程圖。如圖2所示，該目標(biāo)跟蹤方法包括連通域獲取步驟S100，可以對(duì)輸入的初始深度圖像執(zhí)行三維連通域分析，獲取初始深度圖像的連通域的列表；初始目標(biāo)確定步驟S200，可以在初始深度圖像中根據(jù)目標(biāo)的已知的當(dāng)前位置確定目標(biāo)所在的目標(biāo)連通域，并在該連通域?qū)?yīng)的圖像部分中確定η個(gè)特征點(diǎn)，η為自然數(shù)；跟蹤步驟S300，可以在所述初始深度圖像之后輸入的后續(xù)深度圖像中，執(zhí)行三維連通域分析，在獲取所述后續(xù)深度圖像的連通域列表的各個(gè)候選連通域中，識(shí)別所述目標(biāo)所在的目標(biāo)連通域；以及目標(biāo)位置確定步驟S400，可以在所述跟蹤步驟識(shí)別的目標(biāo)連通域中跟蹤所述η個(gè)特征點(diǎn)以更新所述目標(biāo)的當(dāng)前位置。本發(fā)明實(shí)施例所處理的深度圖像可以通過(guò)各種已知輸入技術(shù)來(lái)輸入，諸如從各種深度圖像采集設(shè)備或存儲(chǔ)設(shè)備讀入、或通過(guò)網(wǎng)絡(luò)獲取等等，經(jīng)過(guò)處理所得到的結(jié)果可以通過(guò)各種已知輸出技術(shù)來(lái)輸出，諸如直接轉(zhuǎn)換為控制信息，或存儲(chǔ)到各種存儲(chǔ)設(shè)備、經(jīng)由網(wǎng)絡(luò)輸出、或利用打印機(jī)打印出等等。上述的連通域獲取步驟SlOO和初始目標(biāo)確定步驟S200可以大體上視為初始化階段，初始化階段可以選擇深度圖像序列中的起始的第一個(gè)深度圖像進(jìn)行處理，然而，不論選擇針對(duì)哪個(gè)深度圖像進(jìn)行初始化階段操作，初始化階段操作所針對(duì)的深度圖像可以稱為初始深度圖像。
上述的跟蹤步驟S300和目標(biāo)位置確定步驟S400可以大體上視為跟蹤階段，可以針對(duì)上述初始深度圖像之后的作為后續(xù)深度圖像的各個(gè)深度圖像依次或按照一定間隔來(lái)進(jìn)行循環(huán)處理，毎次所處理的深度圖像都可以視為當(dāng)前的深度圖像，所利用到的上一次處理的結(jié)果可以稱為前次的結(jié)果，上一次的處理可能針對(duì)后續(xù)深度圖像，也可能針對(duì)初始深度圖像(在當(dāng)前處理第一個(gè)后續(xù)深度圖像的情況下)。連通域獲取步驟SlOO可以采用3DCCA手段來(lái)獲取該深度圖像中包含的CC(連通域)的列表。不論在初始化階段還是跟蹤階段，都需要在深度圖像上首先執(zhí)行3DCCA操作以獲取包含圖中所有連通域信息的列表。3DCCA即三維連通域分析，針對(duì)輸入的深度圖像，從圖像坐標(biāo)系中的X軸、Y軸方向檢測(cè)鄰近點(diǎn)并將在Z軸上距離在一定范圍內(nèi)的鄰近點(diǎn)像素分配給ー個(gè)相同的數(shù)字編號(hào)，同樣數(shù)字編號(hào)的像素將構(gòu)成ー連通域，因此3DCCA的輸出可以是連通的形狀組件的集合。通過(guò)在深度圖像上的3DCCA操作，從3D照相機(jī)中得到的像素級(jí)的深度信息歸并到較少數(shù)量的對(duì)象集，這些對(duì)象集能夠用于標(biāo)定出處于Z軸上不同深度的對(duì)象，并且能夠用于執(zhí)行其它的場(chǎng)景內(nèi)容分析?？梢杂糜诒景l(fā)明實(shí)施例的ー個(gè)具體的3DCCA實(shí)現(xiàn)算法如下所示，此算法通過(guò)在普遍應(yīng)用的2DCCA基礎(chǔ)上為適應(yīng)3D圖像數(shù)據(jù)而進(jìn)行適應(yīng)性更改而得到。首先，3DCC (三維連通域)的定義如下如果2個(gè)3D點(diǎn)在XY平面上的投影相互鄰近，且其深度變化不大于一定的閾值D_TH,則稱該兩點(diǎn)互為D-連通；對(duì)于給定的2個(gè)3D點(diǎn)P和Q，如果存在ー組3D點(diǎn)列表(P，pl，p2，· · · pN, Q)，該列表中任意兩個(gè)相鄰的點(diǎn)互為D-連通，則稱該兩點(diǎn)間存在D-連通路徑；如果ー組3D點(diǎn)列表中任意兩點(diǎn)均存在D-連通路徑，則稱該點(diǎn)列表為D-連通集；對(duì)于ー個(gè)3D點(diǎn)的D-連通集，如果對(duì)該集中每個(gè)點(diǎn)p，在XY平面上不存在P的近鄰點(diǎn)能夠在不破壞該集連通的條件的情況下加入到該連通集中，則稱該D-連通集為最大D-連通集，即D-連通域。 找尋D-連通域，也就是最大程度找尋CC的3DCCA方法如下I.為每個(gè)點(diǎn)(X，y)賦予ー個(gè)所屬連通域(CC)的編號(hào)值，記為L(zhǎng)ABEL (X，y)；2.定義深度差的閾值D_TH;
3.定義ー個(gè)隊(duì)列數(shù)據(jù)結(jié)構(gòu)(先進(jìn)先出)，記為QUEUE ；4.把所有的點(diǎn)LABEL (X，y)初始化為-I ；5.把當(dāng)前連通域的編號(hào)cur_label設(shè)置為I ;6.開始找尋■下ー個(gè)LABEL為-I的CC的起點(diǎn)p_start,如果不存在這樣的點(diǎn)則停止循環(huán)；7.把 LABEL (p_start)設(shè)為 cur_label ；8.將點(diǎn)p_start放到隊(duì)列QUEUE中； 9.如果QUEUE不為空，則重復(fù)執(zhí)行下列步驟a.從隊(duì)列中去除頭結(jié)點(diǎn)p_head(x, y)；b.對(duì)p_head的m個(gè)近鄰點(diǎn)，依次i.如果LABEL(k) > O,則跳到下ー近鄰點(diǎn)，k為m個(gè)近鄰點(diǎn)的索引值； 如果第k個(gè)近鄰點(diǎn)的深度與p_head深度差不大于D_TH，則將第k近鄰點(diǎn)放到隊(duì)列中并置LABEL(k)為curl_abel ；10.將cur_label遞增1，從步驟6重復(fù)執(zhí)行。在上述算法中，點(diǎn)(X，y)的近鄰點(diǎn)定義為坐標(biāo)如下的點(diǎn)(x-1，y_l)、(χ-l, y)、(x-1, y+1)、(x, y-1)、(x, y+1)、(x+1, y-1)、(x+1, y)、(x+1, y+1)。如果近鄰點(diǎn)的坐標(biāo)位置超出圖像范圍之外(為負(fù)值或大于圖像的分辨率)，則不進(jìn)行處理。圖3包括圖3A和圖3B，示出對(duì)示例深度圖像執(zhí)行3DCCA的示意性結(jié)果。圖3A示出示例性的深度圖像，圖中各像素點(diǎn)不同深淺灰度值代表不同的深度遠(yuǎn)近信息。圖3B示出對(duì)圖3A所示深度圖像執(zhí)行3DCCA的示意性結(jié)果，所得到的不同的連通域以不同的灰度(顏色)區(qū)分。由此可見，如果手伸出，則3DCCA能夠成功地從身體和環(huán)境中分割出手的區(qū)域，如圖3B中矩形框Ql所示。3DCCA可通過(guò)算法優(yōu)化來(lái)改進(jìn)其執(zhí)行效率，此外還可以根據(jù)實(shí)際的應(yīng)用需求將3DCCA應(yīng)用到局部區(qū)域以獲取更高的效率。在初始目標(biāo)確定步驟S200中，由于處于初始化階段，因此可通過(guò)外部輸入來(lái)指定目標(biāo)位置，簡(jiǎn)單地可以通過(guò)拉出方框來(lái)框住目標(biāo)，或者，也可以通過(guò)一些實(shí)時(shí)的檢測(cè)算子來(lái)檢測(cè)識(shí)別出目標(biāo)。由于此階段中目標(biāo)對(duì)象的位置是已知的，因此確定與目標(biāo)相關(guān)聯(lián)的CC可以通過(guò)簡(jiǎn)單地從CC列表里找到目標(biāo)對(duì)象所在的那個(gè)CC。此外，也可以通過(guò)一些啟發(fā)式的準(zhǔn)則來(lái)自動(dòng)確定目標(biāo)所在的CC，例如最近最大連通域原則。圖4示出在示例圖像中確定目標(biāo)對(duì)象的示意性結(jié)果。在圖4中，矩形框Q2的白色區(qū)域表示目標(biāo)是手的情況下與目標(biāo)相關(guān)聯(lián)的連通域。由于是初始階段，因此如果目的是分割出圖4中的手目標(biāo)，則也可以通過(guò)在圖4中劃出所示的矩形框Q2，在矩形框Q2的區(qū)域內(nèi)執(zhí)行局部3DCCA操作即可。在圖4中的矩形框Q2內(nèi)，經(jīng)過(guò)3DCCA后共有2個(gè)CC區(qū)域——手CC和背景CC，最近并具有較大面積的手CC是需要跟蹤的目標(biāo)所在的CC。目標(biāo)所在的CC確定后，可以得到目標(biāo)的掩碼圖像。可以在與掩碼圖像相對(duì)應(yīng)的灰度圖像上(此處的灰度圖像指深度圖像通過(guò)可視化后得到的圖像，該灰度圖像使得能夠用光流跟蹤)，或者，從與掩碼圖像相對(duì)應(yīng)的與深度圖像同步的RGB彩色圖中，選出η個(gè)特征點(diǎn)，以用于此后的光流跟蹤。即，從所述對(duì)應(yīng)的圖像部分處于深度圖像中或者與深度圖像同步的彩色圖像中中提取所述η個(gè)特征點(diǎn)。在此的特征點(diǎn)可以指在灰度圖(RGB彩色圖也可通過(guò)去色操作轉(zhuǎn)換為灰度圖)上具有較大響應(yīng)值的角點(diǎn)，諸如harris角點(diǎn)。η個(gè)特征點(diǎn)相互間隔不低于一定閾值(稱為第ー預(yù)定閾值)，相互間間隔最小距離限制用來(lái)確保任意兩個(gè)特征點(diǎn)在空間上不至于過(guò)于靠近，從而確保各自跟蹤結(jié)果有效。也就是，所述η個(gè)特征點(diǎn)相互間隔距離不低于第一預(yù)定閾值，并且所述η個(gè)特征點(diǎn)的每個(gè)是對(duì)于特定的跟蹤算子區(qū)別于近鄰像素點(diǎn)的角點(diǎn)?？梢岳瞄_源項(xiàng)目OpenCV中的函數(shù)GoodFeaturesToTrack來(lái)選出符合要求的特征點(diǎn)。此后，目標(biāo)跟蹤過(guò)程進(jìn)入到跟蹤階段。在跟蹤階段中，針對(duì)在初始深度圖像之后輸入的各個(gè)深度圖像(后續(xù)深度圖像)，首先執(zhí)行3DCCA操作以獲取各個(gè)深度圖像的CC列表，然后確定目標(biāo)CC。具體是，在所述跟蹤步驟S300中，在后續(xù)深度圖像的連通域列表的各個(gè)候選連通域中，尋找與目標(biāo)的前次所確定位置加上運(yùn)動(dòng)預(yù)測(cè)后的狀態(tài)變化結(jié)果相似度最高的候選連通域，作為所述目標(biāo)當(dāng)前所在的目標(biāo)連通域。在對(duì)于后續(xù)深度圖像的序列中的當(dāng)前所處理的深度圖像，可以采用與針對(duì)初始深度圖像所采用的手段相同的手段來(lái)執(zhí)行3DCCA操作，以獲取該當(dāng)前深度圖像的CC列表。然而，在確定目標(biāo)CC的過(guò)程中，與初始化階段不同，此時(shí)并不知道目標(biāo)CC的位置，CC列表中的所有連通域均是目標(biāo)候選連通域。在跟蹤步驟S300中確定目標(biāo)所在的CC是從CC列表中尋找到ー個(gè)CC，該CC應(yīng)當(dāng)與被跟蹤目標(biāo)前次所在位置的基礎(chǔ)上加上運(yùn)動(dòng)預(yù)測(cè)后的其狀態(tài)變化的結(jié)果具有最相似的特征，即相似度最高。所述相似度可以基于候選連通域的位置與目標(biāo)的前次所確定位置加上在X軸、y軸、z軸方向的預(yù)測(cè)運(yùn)動(dòng)位移后所得的預(yù)測(cè)位置的位置差(與之對(duì)等是運(yùn)動(dòng)速度矢量差)、及候選連通域與前次所確定的目標(biāo)連通域的面積差來(lái)確定。在此的尋找目標(biāo)CC可以視為目標(biāo)CC的識(shí)別或目標(biāo)CC的粗定位估計(jì)。由于深度圖像上3DCCA將像素級(jí)的深度信息濃縮集中到了對(duì)象CC的列表，使得處理比目標(biāo)在像素級(jí)上獨(dú)立識(shí)別更為容易?？梢圆捎煤?jiǎn)單的手段來(lái)尋找目標(biāo)所在的CC，例如，可以通過(guò)如下的距離計(jì)算公式(I)來(lái)找到距前次的目標(biāo)CC位置最相似的那個(gè)CC。Di = a* I I Vi (n)-V (n_l) I I + (l_a) * I Ai (n)-A (n_l) I. . . (I)其中，I I · I I表示歐幾里得范數(shù)算子，η為深度圖像序列中的各幀深度圖像的索引值，假定當(dāng)前處理第η幀深度圖像，i為當(dāng)前第η幀深度圖像中所獲取的候選連通域的索弓丨值，V(n-l)是前次第(n-Ι)幀深度圖像的目標(biāo)跟蹤結(jié)果在X軸、y軸、z軸方向的速度矢量，Vi (η)是當(dāng)前第η幀深度圖像時(shí)假定第i個(gè)候選連通域?yàn)槟繕?biāo)連通域時(shí)在X軸、y軸、z軸方向的運(yùn)動(dòng)速度矢量，A(n-l)是前次第(η-I)幀深度圖像中目標(biāo)連通域的面積，Ai (η)是當(dāng)前第η幀第i個(gè)候選連通域的面積，a是權(quán)重，可以根據(jù)用戶的體驗(yàn)或者實(shí)驗(yàn)統(tǒng)計(jì)分析的結(jié)果來(lái)確定，Di為當(dāng)前第i個(gè)的候選CC與前次的目標(biāo)CC之間的相似度度量距離。可以認(rèn)為，Di的值越小，則該候選連通域與前次的目標(biāo)連通域之間的相似度越高，獲得最小的Di值的第i個(gè)候選連通域?yàn)楫?dāng)前的目標(biāo)連通域。在尋找目標(biāo)連通域的過(guò)程中，所考慮的目標(biāo)狀態(tài)不僅僅可以包括X軸、y軸、z軸方向的運(yùn)動(dòng)速度矢量及與目標(biāo)相關(guān)聯(lián)的CC面積，而且還可以包括其它與CC相對(duì)應(yīng)的灰度或彩色圖的特征量，例如，顔色直方圖。除此之外，來(lái)可以采用其它手段來(lái)確定目標(biāo)CC，例如，可以采用機(jī)器學(xué)習(xí)方法來(lái)實(shí)現(xiàn)，具體地，可以通過(guò)訓(xùn)練分類器來(lái)識(shí)別出目標(biāo)Ce。在訓(xùn)練分類器的過(guò)程中，可以把速度矢量和連通域面積或其它特征量用作訓(xùn)練分類器時(shí)的輸入。在跟蹤步驟S300之后，目標(biāo)CC已經(jīng)從對(duì)象級(jí)的列表中給出了目標(biāo)位置的大致估計(jì)，優(yōu)選地可進(jìn)ー步選擇執(zhí)行成像尺度確定步驟，以確定在所述跟蹤步驟中識(shí)別的目標(biāo)相對(duì)于在初始深度圖像中的目標(biāo)的成像尺度。當(dāng)前跟蹤目標(biāo)成像尺度的計(jì)算，有助于更精確的描述目標(biāo)的當(dāng)前狀態(tài)，特別是當(dāng)跟蹤的目標(biāo)運(yùn)動(dòng)到和背景同等深度的位置時(shí)目標(biāo)將是ー個(gè)大范圍CC中的局部部分，而不能完全孤立于四周從而與四周顯著區(qū)分，此情況下更需目標(biāo)成像尺度的計(jì)算以從大的CC中界定出目標(biāo)所在的部分CC。如果選擇計(jì)算在跟蹤階段目標(biāo)在成像平面上的尺度縮放變化，則需要計(jì)算出目標(biāo)CC的平均深度值，并記錄其初始狀態(tài)下的平均深度及初始狀態(tài)下的目標(biāo)的成像尺寸。
圖5示出在跟蹤階段目標(biāo)成像平面上縮放尺度計(jì)算的基本原理示意圖。如圖5所示，目標(biāo)對(duì)象Obj放置在照相機(jī)Camera的左側(cè)，在起始幀深度圖像中的平均深度是d0，在后續(xù)的某幀第η幀(η是不為I的自然數(shù))深度圖像中的平均深度是dn。照相機(jī)Camera的右側(cè)為成像平面Plan，當(dāng)目標(biāo)對(duì)象Obj距離照相機(jī)Camera的距離為d0 (平均深度d0)時(shí)，在成像平面上的成像大小為S0，當(dāng)目標(biāo)對(duì)象Obj距離照相機(jī)Camera的距離為dn(平均深度dn)時(shí)，在成像平面上的成像大小為Sn。目標(biāo)對(duì)象Obj的實(shí)際大小為H，當(dāng)目標(biāo)對(duì)象Obj距離照相機(jī)Camera的距離為d0時(shí)，其在dn處的投影大小為L(zhǎng)(以相機(jī)所在位置為點(diǎn)光源進(jìn)行的投影)。從而，根據(jù)相似三角形原理，S0/Sn = L/H，而L/H = dn/d0,因此從S0/Sn = dn/d0可以導(dǎo)出計(jì)算目標(biāo)在其所在位置的成像平面上的成像縮放尺度的公式⑵。Sn = S0*d0/dn... (2)所述成像尺度確定步驟包括通過(guò)公式(2), Sn = d0/dn*S0,來(lái)計(jì)算成像尺度,其中，dn為在所述跟蹤步驟中識(shí)別的所述目標(biāo)所在的目標(biāo)連通域的平均深度，d0為初始深度圖像中確定目標(biāo)所在的目標(biāo)連通域的平均深度，SO為初始深度圖像中目標(biāo)的成像大小，Sn為所述目標(biāo)在該后續(xù)深度圖像中的成像大小。根據(jù)公式⑵計(jì)算圖5所示的情況，如果圖5中dn是d0的兩倍，則dn位置上目標(biāo)對(duì)象的成像大小Sn為在d0位置處時(shí)的成像大小SO的一半。顯然該公式(2)的計(jì)算結(jié)果與人們的直觀感受是一致的。圖6包括圖6A和圖6B，示例性地示出在跟蹤頭部目標(biāo)時(shí)頭部目標(biāo)成像尺度變化的示意結(jié)果，圖6A和圖6B分別代表不同的幀，在圖6A中用矩形框Q3示出跟蹤目標(biāo)，在圖6B中用矩形框Q4示出跟蹤目標(biāo)，圖6A所示的跟蹤目標(biāo)在圖6B中成像尺度有所變化。目標(biāo)連通域的預(yù)測(cè)不僅給出了目標(biāo)的大致位置及成像平面內(nèi)的成像縮放尺度估計(jì)，而且也通過(guò)目標(biāo)連通域給出了目標(biāo)大致的形狀描述，便于跟蹤非剛性對(duì)象。然后，在目標(biāo)位置確定步驟S400，可以采取例如光流方法來(lái)獲得更精確的目標(biāo)定位點(diǎn)估計(jì)(在圖像坐標(biāo)中把目標(biāo)略去尺寸大小而抽象為ー個(gè)定位點(diǎn)，該點(diǎn)的位置用于表征目標(biāo)在圖像中的位置)。在本發(fā)明實(shí)施例中，目標(biāo)對(duì)象級(jí)上的信息被用于目標(biāo)位置的精確估計(jì)，這些信息不僅僅包括目標(biāo)連通域的形狀，而且還包括目標(biāo)連通域內(nèi)多點(diǎn)光流跟蹤及中值特征的提取所共同表征出來(lái)的對(duì)象級(jí)的信息。圖7示出按照本發(fā)明實(shí)施例的目標(biāo)精確位置確定步驟的示意流程圖。如圖7所示，目標(biāo)位置確定步驟S400可以包括特征點(diǎn)跟蹤步驟S420，可以在所述后續(xù)深度圖像中，采用KLT跟蹤器跟蹤所述η個(gè)特征點(diǎn)；等級(jí)量化步驟S440，基于目標(biāo)連通域的掩碼圖像信息來(lái)等級(jí)量化各個(gè)跟蹤到的特征點(diǎn)，為各個(gè)跟蹤到的特征點(diǎn)賦予權(quán)重；聚類步驟S460，聚類跟蹤到的特征點(diǎn)并計(jì)算出聚類中心點(diǎn)以更新所述目標(biāo)的當(dāng)前位置。在特征點(diǎn)跟蹤步驟S420，可以采用KLT跟蹤器來(lái)跟蹤每個(gè)特征點(diǎn)以獲取每個(gè)特征點(diǎn)在當(dāng)前所處理的后續(xù)深度圖像上的新的位置點(diǎn)，例如可以采用OpenCV的函數(shù)cvCalcOpticalFlowPyrLK來(lái)計(jì)算特征點(diǎn)的光流矢量，以獲取特征點(diǎn)在該后續(xù)深度圖像上所對(duì)應(yīng)的新的位置。在特征點(diǎn)跟蹤步驟S420之后、等級(jí)量化步驟S440之前，還可以包括第一去除步 驟，在跟蹤到的特征點(diǎn)中，去除特征點(diǎn)跟蹤中誤差程度高于第二預(yù)定閾值的特征點(diǎn)。具體地，例如，在采用OpenCV的函數(shù)cvCalcOpticalFlowPyrLK來(lái)計(jì)算特征點(diǎn)的光流矢量的情況下，可以將最大誤差參數(shù)(第二預(yù)定閾值)取值為1150，誤差參數(shù)大于該值的跟蹤結(jié)果(跟蹤到的特征點(diǎn))則去除掉，從而可以首先去除特征點(diǎn)光流跟蹤中誤差程度較高或者說(shuō)相關(guān)性較低的跟蹤到的特征點(diǎn)。本領(lǐng)域技術(shù)人員可以認(rèn)識(shí)到，1150僅僅為第二預(yù)定閾值的ー個(gè)例子，第二預(yù)定閾值還可以是諸如1100、1200的其它值。在等級(jí)量化步驟S440，基于目標(biāo)連通域的掩碼圖像信息，等級(jí)量化各個(gè)跟蹤到的特征點(diǎn)，在進(jìn)行了上述第一去除步驟的情況下，則是對(duì)經(jīng)過(guò)第一去除而余下的各個(gè)跟蹤到的特征點(diǎn)進(jìn)行權(quán)重計(jì)算?？梢圆捎玫囊环N簡(jiǎn)單的處理方式為，如果跟蹤到的特征點(diǎn)的新位置位于目標(biāo)連通域的預(yù)測(cè)區(qū)域內(nèi)，則賦權(quán)重為1，否則為O。在等級(jí)量化步驟S440之后、聚類步驟S460之前，還可以包括第二去除步驟，在跟蹤到的特征點(diǎn)中，去除與跟蹤到的特征點(diǎn)的重心距離最大的預(yù)定比例數(shù)目的特征點(diǎn)。具體地，對(duì)當(dāng)時(shí)存在的跟蹤到的特征點(diǎn)，依據(jù)其各自權(quán)重，按重心位置計(jì)算方式計(jì)算出所余下的跟蹤到的特征點(diǎn)的重心位置。然后，去除權(quán)重為O的特征點(diǎn)，然后，在剩下的跟蹤到的特征點(diǎn)中，去除與重心距離較大的預(yù)定比例(比如15% )的特征點(diǎn)。本領(lǐng)域技術(shù)人員可以認(rèn)識(shí)至IJ，15%僅僅為預(yù)定比例的ー個(gè)例子，預(yù)定比例還可以是諸如10%、20%的其它值。在聚類步驟S460，根據(jù)存在的跟蹤到的特征點(diǎn)(如果進(jìn)行了上述第二去除步驟，則是經(jīng)過(guò)上述第二去除操作而剩下的跟蹤到的特征點(diǎn))，計(jì)算出其聚類的中心點(diǎn)，該中心點(diǎn)到各個(gè)特征點(diǎn)具有最短的總長(zhǎng)距離，將該聚類的中心點(diǎn)可以比較精確地作為目標(biāo)跟蹤的目標(biāo)定位點(diǎn)。ー個(gè)可用的聚類實(shí)施方式為為余下的m個(gè)(m為自然數(shù))跟蹤到的特征點(diǎn)編號(hào)，
比如Pl，P2，P3，...，Pm，假定第i個(gè)點(diǎn)為聚類的中心點(diǎn)，i為索引值，為I......m，計(jì)算出
該第i個(gè)特征點(diǎn)到其余各特征點(diǎn)的距離總長(zhǎng)Dti = Σ j, =i Pi Pj，最后，在i = I......m
之中，找到Dti為最小值時(shí)的特征點(diǎn)位置，作為最終聚類的中心點(diǎn)。以此時(shí)最終聚類的中心點(diǎn)位置作為所述目標(biāo)的當(dāng)前位置。在毎次的跟蹤循環(huán)中，在上述操作之后，跟蹤到的特征點(diǎn)數(shù)量可能會(huì)減少，因此在此可以補(bǔ)充新的特征點(diǎn)到特征點(diǎn)集合中，以滿足下ー幀深度圖像跟蹤所需數(shù)目的特征點(diǎn)。也就是，在所述聚類步驟S460之后還可以包括補(bǔ)充步驟，用來(lái)補(bǔ)充新的特征點(diǎn)以使目標(biāo)的特征點(diǎn)總數(shù)仍然為n，新的特征點(diǎn)位于所述目標(biāo)內(nèi)并且補(bǔ)充之后的η個(gè)特征點(diǎn)相互間隔距離不低于前述的第一預(yù)定閾值。上述的具體的光流跟蹤實(shí)現(xiàn)方法充分利用了預(yù)測(cè)到的目標(biāo)連通域的形狀信息，采用了從底層得到的像素點(diǎn)光流信息并結(jié)合上層的對(duì)象級(jí)信息，確保了跟蹤結(jié)果的正確特別是對(duì)于非剛性目標(biāo)跟蹤結(jié)果的可信性。圖8包括圖8A和圖8B,示例性地示出跟蹤目標(biāo)為手時(shí)的跟蹤結(jié)果示意圖。在圖8A中，矩形框Q5表示跟蹤目標(biāo)手，以el為例的多個(gè)較小點(diǎn)表示跟蹤到的特征點(diǎn)，較大的點(diǎn)Tl表示目標(biāo)定位點(diǎn)的估計(jì)結(jié)果。在圖8B中,矩形框Q6表示跟蹤目標(biāo)手，以e2為例的較小點(diǎn)表示跟蹤到的特征點(diǎn)，較大的點(diǎn)T2表示目標(biāo)定位點(diǎn)的估計(jì)結(jié)果。本發(fā)明還可以實(shí)施為ー種目標(biāo)跟蹤設(shè)備，可以用來(lái)執(zhí)行前述的目標(biāo)跟蹤方法。圖9示出按照本發(fā)明實(shí)施例的目標(biāo)跟蹤設(shè)備的示意框圖。如圖9所示，按照本發(fā)明實(shí)施例的目標(biāo)跟蹤設(shè)備包括連通域獲取裝置100，可以 用來(lái)執(zhí)行前述的連通域獲取步驟S100，用以對(duì)輸入的初始深度圖像執(zhí)行三維連通域分析，獲取初始深度圖像的連通域的列表；初始目標(biāo)確定裝置200，可以用來(lái)執(zhí)行前述的初始目標(biāo)確定步驟S200，用以在初始深度圖像中根據(jù)目標(biāo)的已知的當(dāng)前位置確定目標(biāo)所在的目標(biāo)連通域，并在該連通域?qū)?yīng)的圖像部分中確定η個(gè)特征點(diǎn)，η為自然數(shù)；跟蹤裝置300，可以用來(lái)執(zhí)行前述的跟蹤步驟S300，用以在所述初始深度圖像之后輸入的后續(xù)深度圖像中，執(zhí)行三維連通域分析，在獲取所述后續(xù)深度圖像的連通域列表的各個(gè)候選連通域中，識(shí)別所述目標(biāo)所在的目標(biāo)連通域；以及目標(biāo)位置確定裝置400，可以用來(lái)執(zhí)行前述的目標(biāo)位置確定步驟S400，用以在所述跟蹤裝置300識(shí)別的目標(biāo)連通域中跟蹤所述η個(gè)特征點(diǎn)以更新所述目標(biāo)的當(dāng)前位置。其中，所述η個(gè)特征點(diǎn)相互間隔距離不低于第一預(yù)定閾值，并且所述η個(gè)特征點(diǎn)的每個(gè)是對(duì)于特定的跟蹤算子區(qū)別于近鄰像素點(diǎn)的角點(diǎn)。并且其中，從中提取所述η個(gè)特征點(diǎn)的所述對(duì)應(yīng)的圖像部分處于深度圖像中或者與深度圖像同步的彩色圖像中。所述跟蹤裝置300可以在后續(xù)深度圖像的連通域列表的各個(gè)候選連通域中，尋找與目標(biāo)的前次所確定位置加上運(yùn)動(dòng)預(yù)測(cè)后的狀態(tài)變化結(jié)果相似度最高的候選連通域，作為所述目標(biāo)當(dāng)前所在的目標(biāo)連通域。按照本發(fā)明實(shí)施例的目標(biāo)跟蹤設(shè)備還可以包括成像尺度確定裝置，可以用于執(zhí)行前述的成像尺度確定步驟，用于確定所述跟蹤裝置300識(shí)別的目標(biāo)連通域相對(duì)于在初始深度圖像中的目標(biāo)的成像尺度。其中，所述成像尺度確定裝置可以通過(guò)Sn = d0/dn*S0來(lái)計(jì)算成像尺度,其中，dn為所述跟蹤裝置300識(shí)別的所述目標(biāo)所在的目標(biāo)連通域的平均深度，d0為初始深度圖像中確定目標(biāo)所在的目標(biāo)連通域的平均深度，SO為初始深度圖像中目標(biāo)的成像尺度，Sn為所述目標(biāo)在該后續(xù)深度圖像中的成像尺度。其中，所述目標(biāo)位置確定裝置400可以包括特征點(diǎn)跟蹤裝置，可以用于執(zhí)行前述的特征點(diǎn)跟蹤步驟S420，用以在所述后續(xù)深度圖像中，采用KLT跟蹤器跟蹤所述η個(gè)特征點(diǎn)；等級(jí)量化裝置，可以用于執(zhí)行前述的等級(jí)量化步驟S440，用以基于目標(biāo)連通域的掩碼圖像信息來(lái)等級(jí)量化各個(gè)跟蹤到的特征點(diǎn)，為各個(gè)跟蹤到的特征點(diǎn)賦予權(quán)重；聚類裝置，可以用于執(zhí)行前述的聚類步驟S460，用以聚類跟蹤到的特征點(diǎn)并計(jì)算出聚類中心點(diǎn)以更新所述目標(biāo)的當(dāng)前位置。其中，在所述特征點(diǎn)跟蹤裝置和所述等級(jí)量化裝置之間，還可以包括第一去除裝置，其可以用于執(zhí)行前述的第一去除步驟，用以在跟蹤到的特征點(diǎn)中，去除特征點(diǎn)跟蹤中誤差程度高于第二預(yù)定閾值的特征點(diǎn)；在所述等級(jí)量化裝置和所述聚類裝置之間，還可以包括第二去除裝置，其可以用于執(zhí)行前述的第二去除步驟，用以在跟蹤到的特征點(diǎn)中，去除與跟蹤到的特征點(diǎn)的重心距離最大的預(yù)定比例數(shù)目的特征點(diǎn)。按照本發(fā)明實(shí)施例的目標(biāo)跟蹤設(shè)備還可以在所述聚類裝置之后包括補(bǔ)充裝置，可以用于執(zhí)行前述的補(bǔ)充步驟，用以補(bǔ)充新的特征點(diǎn)以使目標(biāo)的特征點(diǎn)總數(shù)仍然為n，新的特征點(diǎn)位于所述目標(biāo)內(nèi)并且補(bǔ)充之后的η個(gè)特征點(diǎn)相互間隔距離不低于第一預(yù)定閾值。
按照本發(fā)明實(shí)施例的目標(biāo)跟蹤方法及目標(biāo)跟蹤設(shè)備，在深度圖像上執(zhí)行三維連通域分析以獲取所有連通域列表，進(jìn)行連通域運(yùn)動(dòng)預(yù)測(cè)，從連通域列表里識(shí)別出目標(biāo)所在的連通域，并且還可以進(jìn)行目標(biāo)在成像平面上的成像尺度估計(jì)，提供了可靠的對(duì)象級(jí)的信息(目標(biāo)連通域)，從而為在特征聚類處理中評(píng)估各個(gè)跟蹤到的特征點(diǎn)提供了重要的參考信息，并且有助于在多特征點(diǎn)光流跟蹤中實(shí)現(xiàn)對(duì)特征點(diǎn)的補(bǔ)充。通過(guò)連通域分割與多點(diǎn)跟蹤的相互補(bǔ)充，有效地防止誤差的傳播，從而達(dá)到穩(wěn)定跟蹤的效果。與非專利文件I相比，在本發(fā)明實(shí)施例中，目標(biāo)對(duì)象的分割基于在深度圖上進(jìn)行的3DCCA操作及運(yùn)動(dòng)的連續(xù)性，從而避免在2D跟蹤中受顏色干擾的問(wèn)題，因此獲得更加魯棒的跟蹤結(jié)果。與專利文件I相比，本發(fā)明實(shí)施例通過(guò)確定與目標(biāo)相關(guān)聯(lián)的連通域，先粗估計(jì)出大致位置，在粗估計(jì)的基礎(chǔ)上，應(yīng)用光流的方法來(lái)獲得更精確的位置。本發(fā)明的實(shí)施例結(jié)合了全局和局部的信息，應(yīng)用了從上到下以及自底向上的處理，因此能夠能比專利文件I中介紹的方法更容易地實(shí)現(xiàn)平穩(wěn)跟蹤。另外，由于連通域提供了形狀邊界信息，并且由于在連通域掩碼對(duì)應(yīng)的圖像上采用了相互間隔不低于預(yù)定值的多特征點(diǎn)跟蹤，反映出跟蹤過(guò)程中目標(biāo)的形狀變化，因此，本發(fā)明實(shí)施例能夠更容易地處理非剛性對(duì)象的跟蹤。而且，本發(fā)明實(shí)施例還可以基于深度信息和相似三角形理論而計(jì)算成像平面上目標(biāo)的成像尺度，從而直接有利于更精確的目標(biāo)表示及特征提取，更有利于平穩(wěn)跟蹤。在說(shuō)明書中說(shuō)明的一系列操作能夠通過(guò)硬件、軟件、或者硬件與軟件的組合來(lái)執(zhí)行。當(dāng)由軟件執(zhí)行該一系列操作時(shí)，可以把其中的計(jì)算機(jī)程序安裝到內(nèi)置于專用硬件的計(jì)算機(jī)中的存儲(chǔ)器中，使得計(jì)算機(jī)執(zhí)行該計(jì)算機(jī)程序?；蛘?，可以把計(jì)算機(jī)程序安裝到能夠執(zhí)行各種類型的處理的通用計(jì)算機(jī)中，使得計(jì)算機(jī)執(zhí)行該計(jì)算機(jī)程序。例如，可以把計(jì)算機(jī)程序預(yù)先存儲(chǔ)到作為記錄介質(zhì)的硬盤或者R0M(只讀存儲(chǔ)器)中。或者，可以臨時(shí)或者永久地存儲(chǔ)(記錄)計(jì)算機(jī)程序到可移動(dòng)記錄介質(zhì)中，諸如軟盤、⑶-ROM (光盤只讀存儲(chǔ)器)、MO (磁光)盤、DVD (數(shù)字多功能盤)、磁盤、或半導(dǎo)體存儲(chǔ)器?？梢园堰@樣的可移動(dòng)記錄介質(zhì)作為封裝軟件提供。本發(fā)明已經(jīng)參考具體實(shí)施例進(jìn)行了詳細(xì)說(shuō)明。然而，很明顯，在不背離本發(fā)明的精神的情況下，本領(lǐng)域技術(shù)人員能夠?qū)?shí)施例執(zhí)行更改和替換。換句話說(shuō)，本發(fā)明用說(shuō)明的形式公開，而不是被限制地解釋。要判斷本發(fā)明的要_，應(yīng)該考慮所附的權(quán)利要求。
權(quán)利要求
1.ー種目標(biāo)跟蹤方法，包括 連通域獲取步驟，對(duì)輸入的初始深度圖像執(zhí)行三維連通域分析，獲取初始深度圖像的連通域的列表； 初始目標(biāo)確定步驟，在初始深度圖像中根據(jù)目標(biāo)的已知的當(dāng)前位置確定目標(biāo)所在的目標(biāo)連通域，并在該連通域?qū)?yīng)的圖像部分中確定n個(gè)特征點(diǎn)，n為自然數(shù)； 跟蹤步驟，在所述初始深度圖像之后輸入的后續(xù)深度圖像中，執(zhí)行三維連通域分析，在獲取所述后續(xù)深度圖像的連通域列表的各個(gè)候選連通域中，識(shí)別所述目標(biāo)所在的目標(biāo)連通域；以及 目標(biāo)位置確定步驟，在所述跟蹤步驟識(shí)別的目標(biāo)連通域中跟蹤所述n個(gè)特征點(diǎn)以更新所述目標(biāo)的當(dāng)前位置。
2.按照權(quán)利要求I所述的目標(biāo)跟蹤方法，其中， 所述n個(gè)特征點(diǎn)相互間隔距離不低于第一預(yù)定閾值，并且所述n個(gè)特征點(diǎn)的每個(gè)是對(duì)于特定的跟蹤算子區(qū)別于近鄰像素點(diǎn)的角點(diǎn)。
3.按照權(quán)利要求2所述的目標(biāo)跟蹤方法，其中， 從中提取所述n個(gè)特征點(diǎn)的所述對(duì)應(yīng)的圖像部分處于深度圖像中或者與深度圖像同步的彩色圖像中。
4.按照權(quán)利要求I所述的目標(biāo)跟蹤方法，其中， 在所述跟蹤步驟中，在后續(xù)深度圖像的連通域列表的各個(gè)候選連通域中，尋找與目標(biāo)的前次所確定位置加上運(yùn)動(dòng)預(yù)測(cè)后的狀態(tài)變化結(jié)果相似度最高的候選連通域，作為所述目標(biāo)當(dāng)前所在的目標(biāo)連通域。
5.按照權(quán)利要求I所述的目標(biāo)跟蹤方法，其中，在所述跟蹤步驟之后還包括 成像尺度確定步驟，確定在所述跟蹤步驟中識(shí)別的目標(biāo)連通域相對(duì)于在初始深度圖像中的目標(biāo)的成像尺度。
6.按照權(quán)利要求5所述的目標(biāo)跟蹤方法，其中，所述成像尺度確定步驟包括 通過(guò)Sn = dO/dn*SO來(lái)計(jì)算成像尺度，其中，dn為在所述跟蹤步驟中識(shí)別的所述目標(biāo)所在的目標(biāo)連通域的平均深度，dO為初始深度圖像中確定目標(biāo)所在的目標(biāo)連通域的平均深度，SO為初始深度圖像中目標(biāo)的成像尺度，Sn為所述目標(biāo)在該后續(xù)深度圖像中的成像尺度。
7.按照權(quán)利要求I所述的目標(biāo)跟蹤方法，其中，所述目標(biāo)位置確定步驟包括 特征點(diǎn)跟蹤步驟，在所述后續(xù)深度圖像中，采用KLT跟蹤器跟蹤所述n個(gè)特征點(diǎn)； 等級(jí)量化步驟，基于目標(biāo)連通域的掩碼圖像信息來(lái)等級(jí)量化各個(gè)跟蹤到的特征點(diǎn)，為各個(gè)跟蹤到的特征點(diǎn)賦予權(quán)重； 聚類步驟，聚類跟蹤到的特征點(diǎn)并計(jì)算出聚類中心點(diǎn)以更新所述目標(biāo)的當(dāng)前位置。
8.按照權(quán)利要求7所述的目標(biāo)跟蹤方法，其中， 在所述特征點(diǎn)跟蹤步驟之后所述等級(jí)量化步驟之前，還包括第一去除步驟，在跟蹤到的特征點(diǎn)中，去除特征點(diǎn)跟蹤中誤差程度高于第二預(yù)定閾值的特征點(diǎn)； 在所述等級(jí)量化步驟之后所述聚類步驟之前，還包括第二去除步驟，在跟蹤到的特征點(diǎn)中，去除與跟蹤到的特征點(diǎn)的重心距離最大的預(yù)定比例數(shù)目的特征點(diǎn)。
9.按照權(quán)利要求7所述的目標(biāo)跟蹤方法，其中，在所述聚類步驟之后還包括補(bǔ)充步驟，補(bǔ)充新的特征點(diǎn)以使目標(biāo)的特征點(diǎn)總數(shù)仍然為n，新的特征點(diǎn)位于所述目標(biāo)內(nèi)并且補(bǔ)充之后的n個(gè)特征點(diǎn)相互間隔距離不低于第一預(yù)定閾值。
10.ー種目標(biāo)跟蹤設(shè)備，包括 連通域獲取裝置，用于對(duì)輸入的初始深度圖像執(zhí)行三維連通域分析，獲取初始深度圖像的連通域的列表； 初始目標(biāo)確定裝置，用于在初始深度圖像中根據(jù)目標(biāo)的已知的當(dāng)前位置確定目標(biāo)所在的目標(biāo)連通域，并在該連通域?qū)?yīng)的圖像部分中確定n個(gè)特征點(diǎn)，n為自然數(shù)； 跟蹤裝置，用于在所述初始深度圖像之后輸入的后續(xù)深度圖像中，執(zhí)行三維連通域分析，在獲取所述后續(xù)深度圖像的連通域列表的各個(gè)候選連通域中，識(shí)別所述目標(biāo)所在的目標(biāo)連通域；以及 目標(biāo)位置確定裝置，用于在所述跟蹤裝置所識(shí)別的目標(biāo)連通域中跟蹤所述n個(gè)特征點(diǎn)以更新所述目標(biāo)的當(dāng)前位置。
全文摘要
提供一種目標(biāo)跟蹤方法，包括連通域獲取步驟，對(duì)輸入的初始深度圖像執(zhí)行三維連通域分析，獲取初始深度圖像的連通域的列表；初始目標(biāo)確定步驟，在初始深度圖像中根據(jù)目標(biāo)的已知的當(dāng)前位置確定目標(biāo)所在的目標(biāo)連通域，并在該連通域?qū)?yīng)的圖像部分中確定n個(gè)特征點(diǎn)，n為自然數(shù)；跟蹤步驟，在所述初始深度圖像之后輸入的后續(xù)深度圖像中，執(zhí)行三維連通域分析，在獲取所述后續(xù)深度圖像的連通域列表的各個(gè)候選連通域中，識(shí)別所述目標(biāo)所在的目標(biāo)連通域；以及目標(biāo)位置確定步驟，在所述跟蹤步驟識(shí)別的目標(biāo)連通域中跟蹤所述n個(gè)特征點(diǎn)以更新所述目標(biāo)的當(dāng)前位置。還相應(yīng)地提供一種目標(biāo)跟蹤設(shè)備。
文檔編號(hào)G06K9/00GK102867311SQ201110190299
公開日2013年1月9日 申請(qǐng)日期2011年7月7日 優(yōu)先權(quán)日2011年7月7日
發(fā)明者熊懷欣 申請(qǐng)人:株式會(huì)社理光