跟蹤對(duì)象的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及跟蹤對(duì)象的方法和裝置，更具體地，本發(fā)明涉及利用關(guān)于對(duì)象的三維模型來(lái)確定進(jìn)行對(duì)象跟蹤的方法和裝置。
【背景技術(shù)】
[0002]視頻圖像中的特定對(duì)象的跟蹤在很多領(lǐng)域具有重要的意義。根據(jù)跟蹤結(jié)果，可獲得特定對(duì)象的行為特征。例如近年來(lái)，駕駛輔助系統(tǒng)的應(yīng)用日漸普及。這樣的駕駛輔助系統(tǒng)通常在車輛上安裝有攝像設(shè)備，以便拍攝關(guān)于前方道路的圖像，并通過(guò)分析所拍攝的圖像來(lái)進(jìn)行例如對(duì)象識(shí)別、跟蹤前方車輛等處理，從而給出有助于駕駛員駕駛的信息。
[0003]傳統(tǒng)的視頻對(duì)象跟蹤方法利用二維圖像特征來(lái)表征對(duì)象，在視頻圖像的不同幀之間進(jìn)行特征匹配，從而實(shí)現(xiàn)跟蹤。然而對(duì)象的三維特征在映射到二維圖像特征時(shí)丟失了大量有用的信息。例如在對(duì)象發(fā)生旋轉(zhuǎn)(即，對(duì)象的朝向發(fā)生改變)時(shí)，對(duì)象的二維圖像特征發(fā)生較大的改變，從而影響特征匹配的結(jié)果和最終對(duì)象跟蹤的性能。

【發(fā)明內(nèi)容】

[0004]本發(fā)明實(shí)施例的目的在于提供一種跟蹤對(duì)象的方法和裝置，以解決上述問(wèn)題。
[0005]本發(fā)明的一個(gè)實(shí)施例提供了一種追蹤跟蹤對(duì)象的方法，包括:從視頻圖像獲得對(duì)象的三維結(jié)構(gòu)特征和平面圖像特征；根據(jù)三維結(jié)構(gòu)特征生成對(duì)象的三維空間模型；根據(jù)平面圖像特征和所構(gòu)建的三維空間模型生成對(duì)象的增強(qiáng)三維模型；以及根據(jù)所生成的增強(qiáng)三維模型進(jìn)行對(duì)象跟蹤。
[0006]本發(fā)明的另一實(shí)施例提供了一種追蹤跟蹤對(duì)象的裝置，包括:特征獲取單元，配置來(lái)從視頻圖像獲得對(duì)象的三維結(jié)構(gòu)特征和平面圖像特征；空間模型構(gòu)建單元，配置來(lái)根據(jù)三維結(jié)構(gòu)特征生成對(duì)象的三維空間模型；增強(qiáng)模型生成單元，配置來(lái)根據(jù)平面圖像特征和所構(gòu)建的三維空間模型生成對(duì)象的增強(qiáng)三維模型；以及對(duì)象跟蹤單元，配置來(lái)根據(jù)所生成的增強(qiáng)三維模型進(jìn)行對(duì)象跟蹤。
[0007]在根據(jù)本發(fā)明實(shí)施例提供的跟蹤對(duì)象的方法和裝置中，從采集的視頻圖像獲得的對(duì)象的三維結(jié)構(gòu)特征和平面圖像特征兩者來(lái)生成對(duì)象的增強(qiáng)三維模型，使得通過(guò)所生成的增強(qiáng)三維模型能夠更加魯棒并且有效地實(shí)現(xiàn)在視頻圖像中對(duì)于對(duì)象的跟蹤。
【附圖說(shuō)明】
[0008]圖1是描述了根據(jù)本發(fā)明一個(gè)實(shí)施例的跟蹤對(duì)象的方法的流程圖。
[0009]圖2a是示出了根據(jù)本發(fā)明的一個(gè)示例根據(jù)深度信息獲得的特征點(diǎn)的示意圖。
[0010]圖2b是示出了根據(jù)本發(fā)明的一個(gè)示例根據(jù)多個(gè)特征點(diǎn)同時(shí)提取對(duì)象在三維空間中的特征線和特征面的示意圖。
[0011]圖3a是示出了根據(jù)本發(fā)明的示例獲得的一個(gè)平面圖像特征的示意圖。
[0012]圖3b是示出了根據(jù)本發(fā)明的示例獲得的另一平面圖像特征的示意圖。
[0013]圖4是描述了根據(jù)本發(fā)明一個(gè)示例的根據(jù)所生成的增強(qiáng)三維模型進(jìn)行對(duì)象跟蹤的方法的流程圖。
[0014]圖5是示出了所采集的視頻圖像的圖像幀的一個(gè)示例的說(shuō)明圖。
[0015]圖6是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的跟蹤對(duì)象的裝置的示范性結(jié)構(gòu)框圖。
[0016]圖7是示出根據(jù)本發(fā)明的一個(gè)示例的特征獲取單元的示范性結(jié)構(gòu)框圖。
[0017]圖8是示出了根據(jù)本發(fā)明的一個(gè)示例的對(duì)象跟蹤單元的示范性結(jié)構(gòu)框圖。
[0018]圖9是示出了根據(jù)本發(fā)明的一個(gè)示例的預(yù)測(cè)特征選擇模塊的示范性結(jié)構(gòu)框圖。
[0019]圖10是示出按照本發(fā)明實(shí)施例的跟蹤對(duì)象的硬件系統(tǒng)的總體硬件框圖。
【具體實(shí)施方式】
[0020]為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，將參考附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。注意，在本說(shuō)明書(shū)和附圖中，具有基本上相同步驟和元素用相同的附圖標(biāo)記來(lái)表示，且對(duì)這些步驟和元素的重復(fù)解釋將被省略。
[0021]圖1是描述了根據(jù)本發(fā)明一個(gè)實(shí)施例的跟蹤對(duì)象的方法100的流程圖。下面，將參照?qǐng)D1來(lái)描述根據(jù)本發(fā)明實(shí)施例的跟蹤對(duì)象的方法。在根據(jù)本發(fā)明的實(shí)施例中，視頻圖像為立體相機(jī)所采集的三維視頻圖像，并且立體相機(jī)的具體形式包括但不限于雙目相機(jī)。此夕卜，在根據(jù)本發(fā)明的實(shí)施例中，視頻圖像中的對(duì)象包括在視頻圖像的場(chǎng)景中出現(xiàn)的機(jī)動(dòng)車、自行車、行人、動(dòng)物等活動(dòng)或行進(jìn)的對(duì)象。
[0022]如圖1所示，在步驟S101中，從視頻圖像獲得對(duì)象的三維結(jié)構(gòu)特征和平面圖像特征。根據(jù)本發(fā)明的一個(gè)示例，在步驟S101中，可從視頻圖像獲得例如視差值之類的深度信息，并且從深度信息獲得對(duì)象的三維結(jié)構(gòu)特征。例如，三維結(jié)構(gòu)特征可包括對(duì)象的特征點(diǎn)、特征線、特征面和/或特征體。
[0023]根據(jù)本發(fā)明的一個(gè)示例，可以依次獲得特征點(diǎn)、特征線、特征面和特征體。具體地，根據(jù)深度信息獲得在三維空間中位于對(duì)象各個(gè)表面上的多個(gè)點(diǎn)(即，對(duì)象的三維點(diǎn)云數(shù)據(jù))作為特征點(diǎn)。然后，可從所獲得的多個(gè)特征點(diǎn)提取在三維空間中物體的各個(gè)表面之間的邊界線作為特征線。在提取了多條特征線的情況下，可根據(jù)所確定的特征線在三維空間中構(gòu)建代表對(duì)象的表面特征面，并且可根據(jù)所構(gòu)建的特征面進(jìn)一步在三維空間中構(gòu)建代表對(duì)象的形狀的特征體。
[0024]然而，本發(fā)明不限于此。根據(jù)本發(fā)明另一示例，在根據(jù)深度信息獲得的特征點(diǎn)足夠多的情況下，可從所獲得的多個(gè)特征點(diǎn)同時(shí)提取對(duì)象在三維空間中的特征線、特征面和特征體。圖2a是示出了根據(jù)本發(fā)明的一個(gè)示例根據(jù)深度信息獲得的特征點(diǎn)的示意圖。圖2b是示出了根據(jù)本發(fā)明的一個(gè)示例根據(jù)多個(gè)特征點(diǎn)同時(shí)提取對(duì)象在三維空間中的特征線和特征面的示意圖。如圖2a所示，對(duì)象表面上的大量特征點(diǎn)構(gòu)成虛線框210中的不是黑色的區(qū)域。并且如圖2b所示，從圖2a所示的特征點(diǎn)，提取對(duì)象在三維空間中的特征線221-227以及特征面231。此外，還可根據(jù)深度信息同時(shí)提取對(duì)象的特征點(diǎn)、特征線、特征面和特征體。
[0025]根據(jù)本發(fā)明的又一示例，可從視頻圖像獲得在特定朝向下對(duì)象呈現(xiàn)的表面的紋理和/或整體的輪廓作為平面圖像特征。圖3a是示出了根據(jù)本發(fā)明的示例獲得的一個(gè)平面圖像特征的示意圖。圖3b是示出了根據(jù)本發(fā)明的示例獲得的另一平面圖像特征的示意圖。在圖3a和圖3b所示的示例中，拍攝視頻圖像的立體相機(jī)位于對(duì)象300的正前方。在此情況下，如圖3a所示，在根據(jù)所拍攝的視頻圖像獲得的對(duì)象300的正視圖中，可將對(duì)象300所呈現(xiàn)的表面310的紋理作為一個(gè)平面圖像特征，例如表面310的紋理可包括汽車格柵311在表面310上的設(shè)置位置和形狀，車燈321a和車燈321b在表面310上的設(shè)置位置和形狀等。此外，可將如圖3b所示，可將對(duì)象300在正視圖中呈現(xiàn)的整體的輪廓330作為另一個(gè)平面圖像特征。此外，根據(jù)本發(fā)明示例的平面圖像特征不限于此，例如，當(dāng)位于對(duì)象的正后方時(shí)，在根據(jù)所拍攝的視頻圖像獲得的對(duì)象的后視圖中，可將對(duì)象所呈現(xiàn)的表面的紋理和/或整體的輪廓作為平面圖像特征；以及當(dāng)位于對(duì)象的旁邊時(shí)，在根據(jù)所拍攝的視頻圖像獲得的對(duì)象的側(cè)視圖中，可將對(duì)象所呈現(xiàn)的表面的紋理和/或整體的輪廓作為平面圖像特征。
[0026]返回圖1，在步驟S102中，可在根據(jù)所述三維結(jié)構(gòu)特征生成對(duì)象的三維空間模型。例如，可結(jié)合對(duì)象的特征點(diǎn)、特征線、特征面和/或特征體中的至少一部分生成對(duì)象的三維空間模型。
[0027]然后，在步驟S103中，可根據(jù)平面圖像特征和所構(gòu)建的三維空間模型生成對(duì)象的增強(qiáng)三維模型。并且在步驟S104中，可根據(jù)所生成的增強(qiáng)三維模型進(jìn)行對(duì)象跟蹤。以下將結(jié)合圖4描述根據(jù)所生成的增強(qiáng)三維模型進(jìn)行對(duì)象跟蹤的一個(gè)示例。
[0028]圖4是描述了根據(jù)本發(fā)明一個(gè)示例的根據(jù)所生成的增強(qiáng)三維模型進(jìn)行對(duì)象跟蹤的方法400的流程圖。如圖4所示，在步驟S401中，根據(jù)先前對(duì)于對(duì)象的跟蹤結(jié)果，預(yù)測(cè)對(duì)象在視頻圖像的下一幀中將呈現(xiàn)的朝向。例如，可采用卡爾