對象跟蹤方法和裝置、對象識別方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明總體地涉及圖像處理，具體地，涉及對象跟蹤方法和裝置，以及對象識別方 法和裝置。
【背景技術(shù)】
[0002] 可視對象的實(shí)時(shí)跟蹤可以用于很多計(jì)算機(jī)視覺應(yīng)用中，例如遠(yuǎn)程感測、監(jiān)控、安全 領(lǐng)域、醫(yī)護(hù)領(lǐng)域等。
[0003]目前已知一些通過對攝像機(jī)拍攝的圖像或者視頻流進(jìn)行圖像處理，來對物體進(jìn)行 定位或跟蹤的方法。
[0004] 其中一類方法是基于顏色圖像的跟蹤方法，例如，tracking by detection (通過 檢測來跟蹤）的方法使用訓(xùn)練的方法，學(xué)習(xí)目標(biāo)和背景之間具有區(qū)別性的特征，分類器在跟 蹤中匹配目標(biāo)。該方法對于復(fù)雜的場景具有魯棒性，但是缺點(diǎn)是外觀模型對目標(biāo)的朝向敏 感，如果朝向改變，分類器常常會失效。有關(guān)介紹可參考Z. Kalal等人在PAMI2011年發(fā)表的 題為"Tracking-Learning-Detection"的文章 ，IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 6,NO. 1，JANUARY2010。
[0005] 另一類方法是隨著立體相機(jī)的普及而提出的基于深度圖像的跟蹤方法。Michael Harville 在 2003 發(fā)表的文章 〃Stereo Person Tracking with Adaptive Plan-View Templates of Height and Occupancy Statistics〃中提出了如何使用雙目相機(jī)進(jìn)行人的 檢測和定位，在投影圖上使用了 Kalman濾波的跟蹤方法。該方法計(jì)算速度快，不過在嚴(yán)重 遮擋下容易跟蹤失敗，這是因?yàn)椴煌娜嗽谕队皥D上的外觀是很相似的。
[0006] 專利文獻(xiàn)US7536030B2提出了一種實(shí)時(shí)的基于貝葉斯的3D姿勢的跟蹤系統(tǒng)。該系 統(tǒng)包括：采集的視頻作為輸入，圖像處理單元對視頻進(jìn)行實(shí)時(shí)的3D姿勢跟蹤；同時(shí)在幀和 幀之間利用貝葉斯的方法進(jìn)行在線的點(diǎn)的匹配和姿勢估計(jì)；然后在線的貝葉斯融合方法根 據(jù)歷史數(shù)據(jù)判斷當(dāng)前的姿勢，從而提供穩(wěn)定的跟蹤質(zhì)量并可在姿勢改變過程中保持跟蹤。
[0007] 專利文獻(xiàn)US8315432提出了一種虛擬現(xiàn)實(shí)的方法和設(shè)備，該方法實(shí)時(shí)的自動的在 視頻中跟蹤一個(gè)立體的對象，不需要在對象表面打標(biāo)記。該方法主要包括：視頻的第一幀含 有需要跟蹤的對象，利用該幀中指定的圖像塊確定對象的位置和朝向，指定的圖像塊由先 驗(yàn)知識獲得。圖像塊與被跟蹤對象的曝光值相關(guān)。
[0008] 專利文獻(xiàn)US8335348B2提出了一種對尺度和方向自適應(yīng)的機(jī)器視覺的跟蹤方法。 該發(fā)明提出的方法描述了如何在多幀圖像中跟蹤一個(gè)對象，包括：1)將識別出的對象分成 多個(gè)小的對象區(qū)域；2)對每一塊小的對象區(qū)域進(jìn)行跟蹤；3)使用每一塊對象區(qū)域的位置估 計(jì)整個(gè)對象的尺度和方向；4)根據(jù)估計(jì)的尺度和方向計(jì)算對象的位置。

【發(fā)明內(nèi)容】

[0009] 本發(fā)明的一個(gè)目的在于減少對象朝向?qū)Ω櫟挠绊?，及時(shí)發(fā)現(xiàn)和預(yù)警跟蹤失敗， 提1?跟蹤的質(zhì)量。
[0010] 根據(jù)本發(fā)明的一個(gè)方面，提供了一種在至少一個(gè)視頻流的圖像中跟蹤對象的對象 跟蹤方法，可以包括：圖像接收步驟，從該至少一個(gè)視頻流接收第一圖像，第一圖像中包括 要跟蹤的至少一個(gè)對象；第一跟蹤方法跟蹤步驟，利用第一跟蹤方法跟蹤第一圖像中的、 要跟蹤的至少一個(gè)對象中的第一對象，并得到初始跟蹤結(jié)果，該初始跟蹤結(jié)果包括該第一 對象與已被賦予標(biāo)識符的對象之間的匹配程度或該第一對象是已被賦予標(biāo)識符的對象的 概率；朝向檢測步驟，檢測該第一對象的朝向；跟蹤結(jié)果可信度評估步驟，評估該第一對象 的初始跟蹤結(jié)果的可信度；可信分支模型建立或更新步驟，如果該第一對象的初始跟蹤結(jié) 果的可信度不低于預(yù)定閾值，則基于檢測到的該第一對象的朝向，提取跟蹤到的第一圖像 中的該第一對象的特征，以及建立或更新該第一對象的與該朝向相關(guān)聯(lián)的朝向?qū)?yīng)特征模 型，對象的朝向?qū)?yīng)特征模型基于在不同朝向下的對象的各個(gè)特征的取值來表征對象，在 對象的朝向不同的情況下，對象的各個(gè)特征中的至少一個(gè)取值會不同；以及不可信分支對 象識別和模型建立更新步驟，如果該第一對象的初始跟蹤結(jié)果的可信度低于預(yù)定閾值，則 基于檢測到的該第一對象的朝向，獲取與該第一對象的朝向?qū)?yīng)的各個(gè)候選對象的朝向?qū)?應(yīng)特征模型，基于如此獲取到的與該第一對象的朝向?qū)?yīng)的各個(gè)候選對象的朝向?qū)?yīng)特征 模型和該第一對象的特征來識別該第一對象，并根據(jù)識別結(jié)果來更新或建立第一對象的第 一跟蹤方法的模型，以及更新或建立第一對象的朝向?qū)?yīng)特征模型。
[0011] 根據(jù)本發(fā)明的另一方面，提供了一種在至少一個(gè)視頻流的圖像中跟蹤對象的對象 跟蹤裝置，可以包括：圖像接收部件，從該至少一個(gè)視頻流接收第一圖像，第一圖像中包括 要跟蹤的至少一個(gè)對象；第一跟蹤方法跟蹤部件，利用第一跟蹤方法跟蹤第一圖像中的、 要跟蹤的至少一個(gè)對象中的第一對象，并得到初始跟蹤結(jié)果，該初始跟蹤結(jié)果包括該第一 對象與已被賦予標(biāo)識符的對象之間的匹配程度或該第一對象是已被賦予標(biāo)識符的對象的 概率；朝向檢測部件，檢測該第一對象的朝向；跟蹤結(jié)果可信度評估部件，評估該第一對象 的初始跟蹤結(jié)果的可信度；可信分支模型建立或更新部件，如果該第一對象的初始跟蹤結(jié) 果的可信度不低于預(yù)定閾值，則基于檢測到的該第一對象的朝向，提取跟蹤到的第一圖像 中的該第一對象的特征，以及建立或更新該第一對象的與該朝向相關(guān)聯(lián)的朝向?qū)?yīng)特征模 型，其中對象的朝向?qū)?yīng)特征模型基于在不同朝向下的對象的各個(gè)特征的取值來表征對 象，在對象的朝向不同的情況下，對象的各個(gè)特征中的至少一個(gè)取值不同；以及不可信分支 對象識別和模型建立更新部件，如果該第一對象的初始跟蹤結(jié)果的可信度低于預(yù)定閾值， 則基于檢測到的該第一對象的朝向，獲取與該第一對象的朝向?qū)?yīng)的各個(gè)候選對象的朝向 對應(yīng)特征模型，基于如此獲取到的與該第一對象的朝向?qū)?yīng)的各個(gè)候選對象的朝向?qū)?yīng)特 征模型和該第一對象的特征來識別該第一對象，并根據(jù)識別結(jié)果來更新或建立第一對象的 第一跟蹤方法的模型，以及更新或建立第一對象的朝向?qū)?yīng)特征模型。
[0012] 利用本發(fā)明實(shí)施例的對象跟蹤方法和對象跟蹤裝置，在對象跟蹤過程中，檢測對 象的朝向，將對象的模型應(yīng)該與對象的朝向相關(guān)聯(lián)；并隨時(shí)評估跟蹤質(zhì)量，并在跟蹤質(zhì)量較 高時(shí)維護(hù)與朝向?qū)?yīng)的對象的朝向?qū)?yīng)特征模型，而在發(fā)現(xiàn)跟蹤質(zhì)量不高時(shí)，基于在先前 跟蹤質(zhì)量較高的情況下所維護(hù)的對象的朝向?qū)?yīng)特征模型，而啟動更復(fù)雜和精確的對象識 別方法來進(jìn)行對象識別，從而能夠及時(shí)發(fā)現(xiàn)甚至提前預(yù)測跟蹤失敗的發(fā)生，很好地將對象 跟蹤和對象識別融合在一起，維持較高的跟蹤質(zhì)量。
[0013] 根據(jù)本發(fā)明的再一方面，提供了一種識別圖像中的對象的對象識別方法，可以包 括：圖像接收步驟，接收第一圖像，該第一圖像包括至少一個(gè)待識別對象；朝向檢測步驟， 檢測待識別對象的朝向；特征值提取步驟，對于預(yù)定的各個(gè)特征，提取待識別對象的特征 值；朝向?qū)?yīng)特征模型獲得步驟，基于檢測到的待識別對象的朝向，獲得與該朝向?qū)?yīng)的候 選對象的朝向?qū)?yīng)特征模型，其中對象的朝向?qū)?yīng)特征模型基于在不同朝向下的對象的各 個(gè)特征的取值來表征對象，在對象的朝向不同的情況下，對象的各個(gè)特征中的至少一個(gè)取 值會不同；以及對象識別步驟，基于提取的待識別對象的特征和所獲得的與對象的朝向?qū)?應(yīng)的朝向?qū)?yīng)特征模型，識別對象。
[0014] 根據(jù)本發(fā)明的再一方面，提供了一種識別圖像中的對象的對象識別裝置，可以包 括：圖像接收部件，接收第一圖像，該第一圖像包括至少一個(gè)待識別對象；朝向檢測部件， 檢測待識別對象的朝向；特征值提取部件，對于預(yù)定的各個(gè)特征，提取待識別對象的特征 值；朝向?qū)?yīng)特征模型獲得部件，基于檢測到的待識別對象的朝向，獲得與該朝向?qū)?yīng)的候 選對象的朝向?qū)?yīng)特征模型，其中對象的朝向?qū)?yīng)特征模型基于在不同朝向下的對象的各 個(gè)特征的取值來表征對象，在對象的朝向不同的情況下，對象的各個(gè)特征中的至少一個(gè)取 值會不同；以及對象識別部件，基于提取的待識別對象的特征和所獲得的與對象的朝向?qū)?應(yīng)的朝向?qū)?yīng)特征模型，識別對象。
[0015] 利用本發(fā)明實(shí)施例的對象識別方法和對象識別裝置，先檢測待識別對象的朝向， 然后基于檢測的朝向來采用與朝向相應(yīng)的朝向?qū)?yīng)特征模型來識別對象，能夠提高對象識 別的準(zhǔn)確度。
【附圖說明】
[0016] 從下面結(jié)合附圖對本發(fā)明實(shí)施例的詳細(xì)描述中，本發(fā)明的這些和/或其它方面和 優(yōu)點(diǎn)將變得更加清楚并更容易理解，其中：
[0017] 圖1示出了視頻流中對象跟蹤失敗的示例圖。
[0018] 圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的系統(tǒng)輸入輸出示意圖。
[0019] 圖3示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的對象跟蹤裝置的配置框圖。
[0020] 圖4示出了