目標(biāo)識別方法和目標(biāo)識別裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)字圖像處理領(lǐng)域，更具體地，本發(fā)明涉及一種目標(biāo)識別方法和目標(biāo) 識別裝置。
【背景技術(shù)】
[0002] 近年來，目標(biāo)識別逐漸成為計(jì)算機(jī)視覺的活躍研究領(lǐng)域，這是因?yàn)樗鼮橛?jì)算機(jī)提 供了核心的處理能力，以自動感知目標(biāo)的類別、維護(hù)一個跟蹤過程、以及在跟蹤丟失之后進(jìn) 行自動恢復(fù)等，從而為高層級的應(yīng)用提供服務(wù)，例如人體活動(行為）分析等。
[0003] 盡管目前對目標(biāo)識別存在活躍的研究，但是仍然存在一些公知的問題有待克服。 例如，由于真實(shí)場景中的目標(biāo)識別對局部特征的要求較高，所以這就要求這些特征不能夠 受到附近物體的干擾和遮擋等因素的影響等。具體地，用于目標(biāo)識別的特征通常會容易受 如下因素的影響：光照變化、視角改變、遮擋和形變等。
[0004] 雖然人們已經(jīng)意識到了上述問題，但是許多現(xiàn)有的研究仍然要么專注于過于特定 的應(yīng)用場景，要么專注于過于寬泛的算法研究。例如，一方面，雖然人們在諸如人臉識別、 手勢識別、步態(tài)識別等具體應(yīng)用上對于影響特征的上述因素有著大量的研究，但是，這些具 體應(yīng)用往往需要一些依據(jù)應(yīng)用場景而定的先驗(yàn)知識(例如，在人臉識別應(yīng)用中，需要已知鼻 子、眼睛等器官在人臉中的相對位置等)，這可能會損害這些方法的通用性和推廣能力。另 一方面，雖然也存在一些研究偏向于通用的機(jī)器學(xué)習(xí)算法，但是其主要關(guān)注高維數(shù)據(jù)和分 類器之間的復(fù)雜組合和重構(gòu)，而在一定程度上忽略了上述挑戰(zhàn)（即，識別算法對于光照變 化、視角改變、遮擋、形變等因素十分敏感)。綜上所述，與圖像處理相關(guān)的目標(biāo)識別算法的 性能仍然不夠理想，這無疑也進(jìn)一步影響了需要基于目標(biāo)識別結(jié)果來執(zhí)行的后續(xù)過程(例 如，跟蹤恢復(fù)等）的準(zhǔn)確性。
[0005] 例如，目前，在以目標(biāo)識別（即，目標(biāo)類別的判定）和跟蹤恢復(fù)為最終目的的技術(shù)方 案之中，特征點(diǎn)檢測和匹配方案是有代表性的一種。該方案主要包括：使用特征點(diǎn)檢測算法 (例如，尺度不變特征轉(zhuǎn)換（SIFT)算法）來檢測已知類別的樣本圖像區(qū)域中的特征點(diǎn)和未知 類別的目標(biāo)圖像區(qū)域中的特征點(diǎn)，并且通過特征點(diǎn)匹配來對目標(biāo)圖像區(qū)域進(jìn)行識別。
[0006] 然而，該技術(shù)方案存在以下問題：由于特征點(diǎn)是通過檢測算法來檢出的，所以特征 點(diǎn)的數(shù)量往往很少。由此，如果只有很少的特征點(diǎn)被檢測到，則對于目標(biāo)圖像區(qū)域(也可以 稱為拍攝目標(biāo)）的表達(dá)將會受到限制，從而導(dǎo)致匹配結(jié)果的置信度也會相應(yīng)地變低。

【發(fā)明內(nèi)容】

[0007] 為了解決上述技術(shù)問題，根據(jù)本發(fā)明的一個方面，提供了一種目標(biāo)識別方法，所述 方法用于根據(jù)已知類別的至少一個樣本圖像區(qū)域來識別未知類別的目標(biāo)圖像區(qū)域，所述方 法包括：通過預(yù)定的采樣方式來對所述目標(biāo)圖像區(qū)域進(jìn)行采樣，以獲得多個目標(biāo)采樣點(diǎn)； 計(jì)算所述目標(biāo)采樣點(diǎn)的穩(wěn)定性權(quán)重，所述穩(wěn)定性權(quán)重用于表達(dá)所述目標(biāo)采樣點(diǎn)在特征空間 中的穩(wěn)定程度；根據(jù)具有穩(wěn)定性權(quán)重的目標(biāo)采樣點(diǎn)來獲得所述目標(biāo)圖像區(qū)域的加權(quán)特征描 述；以及根據(jù)所述目標(biāo)圖像區(qū)域的加權(quán)特征描述和所述樣本圖像區(qū)域的加權(quán)特征描述模型 來對所述目標(biāo)圖像區(qū)域進(jìn)行識別，其中所述樣本圖像區(qū)域的加權(quán)特征描述模型是根據(jù)具有 穩(wěn)定性權(quán)重的樣本采樣點(diǎn)來獲得的。
[0008] 此外，根據(jù)本發(fā)明的另一方面，提供了一種目標(biāo)識別裝置，所述裝置用于根據(jù)已知 類別的至少一個樣本圖像區(qū)域來識別未知類別的目標(biāo)圖像區(qū)域，所述裝置包括：目標(biāo)采樣 單元，用于通過預(yù)定的采樣方式來對所述目標(biāo)圖像區(qū)域進(jìn)行采樣，以獲得多個目標(biāo)采樣點(diǎn)； 權(quán)重計(jì)算單元，用于計(jì)算所述目標(biāo)采樣點(diǎn)的穩(wěn)定性權(quán)重，所述穩(wěn)定性權(quán)重用于表達(dá)所述目 標(biāo)采樣點(diǎn)在特征空間中的穩(wěn)定程度；描述獲得單元，用于根據(jù)具有穩(wěn)定性權(quán)重的目標(biāo)采樣 點(diǎn)來獲得所述目標(biāo)圖像區(qū)域的加權(quán)特征描述；以及目標(biāo)識別單元，用于根據(jù)所述目標(biāo)圖像 區(qū)域的加權(quán)特征描述和所述樣本圖像區(qū)域的加權(quán)特征描述模型來對所述目標(biāo)圖像區(qū)域進(jìn) 行識別，其中所述樣本圖像區(qū)域的加權(quán)特征描述模型是根據(jù)具有穩(wěn)定性權(quán)重的樣本采樣點(diǎn) 來獲得的。
[0009] 本發(fā)明的實(shí)施例提供了一種基于加權(quán)特征點(diǎn)的目標(biāo)識別方法，其具備通過足夠的 特征點(diǎn)來充分表達(dá)對象的能力，同時(shí)能夠更加關(guān)注其中重要的點(diǎn)，從而通過一種能夠用于 處理帶有權(quán)重的特征點(diǎn)的識別算法來使得基于加權(quán)特征點(diǎn)的識別過程成為可能。此外，由 于在本發(fā)明的實(shí)施例中還可以使用雙目相機(jī)來捕捉視差信息，所以可以充分地使用3D空 間信息。因此，與現(xiàn)有技術(shù)相比，本發(fā)明的實(shí)施例將會有較高的識別精度，并且對于由于真 實(shí)場景中的各種因素(例如，光照和遮擋等）而導(dǎo)致的特征點(diǎn)的各種劣化也更加魯棒。
[0010] 本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變 得顯而易見，或者通過實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過在說明書、權(quán)利 要求書以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。
【附圖說明】
[0011] 附圖用來提供對本發(fā)明的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實(shí) 施例一起用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。在附圖中：
[0012] 圖1圖示了根據(jù)本發(fā)明實(shí)施例的目標(biāo)識別方法的總體流程圖。
[0013] 圖2A圖示了根據(jù)現(xiàn)有技術(shù)的在樣本圖像區(qū)域中獲取特征點(diǎn)的示意圖。
[0014] 圖2B圖示了根據(jù)現(xiàn)有技術(shù)的在目標(biāo)圖像區(qū)域中獲取特征點(diǎn)的示意圖。
[0015] 圖3A圖示了根據(jù)現(xiàn)有技術(shù)的在目標(biāo)圖像區(qū)域中獲取特征點(diǎn)的示意圖。
[0016] 圖3B圖示了根據(jù)本發(fā)明實(shí)施例的在目標(biāo)圖像區(qū)域中獲取特征點(diǎn)的示意圖。
[0017] 圖4A圖示了根據(jù)本發(fā)明第一實(shí)施例的計(jì)算目標(biāo)采樣點(diǎn)的尺度穩(wěn)定性權(quán)重的步驟 的具體流程圖。
[0018] 圖4B圖示了根據(jù)本發(fā)明第二實(shí)施例的計(jì)算目標(biāo)采樣點(diǎn)的空間穩(wěn)定性權(quán)重的步驟 的具體流程圖。
[0019] 圖4C圖示了根據(jù)本發(fā)明第三實(shí)施例的計(jì)算目標(biāo)采樣點(diǎn)的組合穩(wěn)定性權(quán)重的步驟 的具體流程圖。
[0020] 圖5圖示了根據(jù)本發(fā)明第一實(shí)施例的對目標(biāo)采樣點(diǎn)執(zhí)行尺度不變特征描述和尺 度穩(wěn)定性測量的原理示意圖。
[0021] 圖6圖示了根據(jù)本發(fā)明第二實(shí)施例的對目標(biāo)采樣點(diǎn)執(zhí)行空間穩(wěn)定性測量的原理 示意圖。
[0022] 圖7A圖示了立體相機(jī)設(shè)置的示意圖。
[0023] 圖7B圖示了在水平投影圖中計(jì)算目標(biāo)采樣點(diǎn)高度的示意圖。
[0024] 圖8圖示了根據(jù)本發(fā)明實(shí)施例的獲取樣本圖像區(qū)域的加權(quán)特征描述模型的步驟 的具體流程示例。
[0025] 圖9圖示了根據(jù)本發(fā)明實(shí)施例的對樣本采樣點(diǎn)執(zhí)行尺度不變特征描述的原理示 意圖。
[0026] 圖IOA圖示了根據(jù)現(xiàn)有技術(shù)的K均值聚類的原理示意圖。
[0027] 圖IOB圖示了根據(jù)本發(fā)明實(shí)施例的加權(quán)K均值聚類的原理示意圖。
[0028] 圖11圖示了根據(jù)本發(fā)明實(shí)施例的特征空間中最小距離投票的原理示意圖。
[0029] 圖12圖示了根據(jù)本發(fā)明實(shí)施例的獲得目標(biāo)圖像區(qū)域的加權(quán)特征描述的步驟的具 體流程示例。
[0030] 圖13圖示了根據(jù)本發(fā)明實(shí)施例的對目標(biāo)圖像區(qū)域進(jìn)行識別的步驟的原理示意 圖。
[0031] 圖14A圖示了將根據(jù)現(xiàn)有技術(shù)的特征點(diǎn)檢測和匹配方法應(yīng)用于跟蹤恢復(fù)過程時(shí) 的跟蹤效果示意圖。
[0032] 圖14B圖示了將根據(jù)本發(fā)明實(shí)施例的目標(biāo)識別方法應(yīng)用于跟蹤恢復(fù)過程時(shí)的跟 蹤效果不意圖。
[0033] 圖15圖示了根據(jù)本發(fā)明實(shí)施例的目標(biāo)識別裝置的功能配置框圖。
[0034] 圖16圖示了根據(jù)本發(fā)明實(shí)施例的用于識別目標(biāo)的系統(tǒng)的功能結(jié)構(gòu)圖。
[0035] 圖17圖示了根據(jù)本發(fā)明實(shí)施例的用于識別目標(biāo)的硬件系統(tǒng)的總體硬件框圖。
【具體實(shí)施方式】
[0036] 將參照附圖詳細(xì)描述根據(jù)本發(fā)明的各個實(shí)施例。這里，需要注意的是，在附圖中， 將相同的附圖標(biāo)記賦予基本上具有相同或類似結(jié)構(gòu)和功能的組成部分，并且將省略關(guān)于它 們的重復(fù)描述。
[0037] 下面，將簡要地描述本申請的主要思想。
[0038] 為了解決現(xiàn)有技術(shù)中的技術(shù)問題，即針對只有少量的特征點(diǎn)可被檢測到的情形， 在本申請中提出了一種新型的目標(biāo)識別方法，其能夠按照預(yù)定的采樣方式來直接增加特征 點(diǎn)的數(shù)目。這樣，由于特征點(diǎn)的數(shù)量增加，所以對于目標(biāo)圖像區(qū)域的表達(dá)變得更加豐富，從 而在一定程度上提高了匹配結(jié)果的置信度。
[0039] 然而，本發(fā)明人通過進(jìn)一步的研究發(fā)現(xiàn)，通過直接增加被采樣的位置來增加特征 點(diǎn)的上述方法仍然存在一定的副作用，即由于這些采樣點(diǎn)是被采樣的、而不是使用關(guān)鍵點(diǎn) 檢測算法被檢查出的，所以某些采樣點(diǎn)的質(zhì)量(這里，質(zhì)量是指該采樣點(diǎn)在特征空間中的穩(wěn) 定性）很難有保證，也就是說，這些特征點(diǎn)容易受到諸如光照變化、視角改變、遮擋和形變等 現(xiàn)實(shí)因素的影響而導(dǎo)致它們在特征空間中的穩(wěn)定性各不相同，從而最終導(dǎo)致仍然無法獲得 滿意的識別結(jié)果。
[0040] 為此，在本申請中進(jìn)一步提出，可以確定每個特征點(diǎn)在特征空間中的穩(wěn)定性，并且 使用權(quán)重的概念來不均等地處理這些穩(wěn)定性不同的特征點(diǎn)，以反映這些特征點(diǎn)的穩(wěn)定性差 異，使得穩(wěn)定性強(qiáng)的特征點(diǎn)對于識別過程具有更大的影響，而穩(wěn)定性差的特征點(diǎn)對于識別 過程具有更小的影響，以最大可能地保證識別過程的正確性。
[0041] 換言之，在本申請中，為了刻畫這些特征點(diǎn)在穩(wěn)定性上的差異，可以對每個特征點(diǎn) 引入權(quán)重概念，該權(quán)重隨著該特征點(diǎn)在特征空間中的穩(wěn)定性(或稱為可靠性）而變化。相應(yīng) 地，在本申請中還提出了一種算法，其能夠有區(qū)別地處理帶有權(quán)重的特征點(diǎn)，以便將具有較 高質(zhì)量（即，在特征空間中具有較高穩(wěn)定性）的特征點(diǎn)（而非具有較低質(zhì)量的特征點(diǎn)）更多 地應(yīng)用于真實(shí)場景中的目標(biāo)識別過程中，從而使得基于加權(quán)特征點(diǎn)的目標(biāo)識別過程成為可 能。
[0042] 在下文中，將參考圖1到圖13來描述根據(jù)本發(fā)明實(shí)施例的用于根據(jù)已知類別的樣 本圖像區(qū)域來識別未知類別的目標(biāo)圖像區(qū)域的目標(biāo)識別方法的總體流程示例。
[0043] 圖1圖示了根據(jù)本發(fā)明實(shí)施例的目標(biāo)識別方法的總體流程圖。
[0044] 如圖1所示，該目標(biāo)識別方法可以包括：
[0045] 在步驟SllO中，通過預(yù)定的采樣方式來對目標(biāo)圖像區(qū)域進(jìn)行采樣。
[0046] 首先，當(dāng)用戶希望使用計(jì)算設(shè)備來實(shí)現(xiàn)對于目標(biāo)圖像區(qū)域的識別操作時(shí)，可以獲 得感興趣的圖像或圖像序列，作為輸入數(shù)據(jù)。在該感興趣的圖像或圖像序列中可以包括未 知類別的目標(biāo)圖像區(qū)域。替換地，該感興趣的圖像或圖像序列也可以本身就是未知類別的 目標(biāo)圖像區(qū)域。
[0047] 例如，該感興趣的圖像或圖像序列可以是從圖像捕捉裝置(例如，攝像機(jī)）處接收 的由灰度圖像和對應(yīng)的深度圖像(或稱為視差圖像或視差圖）組成的圖像對的序列。具體 地，該視差圖可以是基于雙目測距原理、利用確定的攝像機(jī)所采集的。
[0048] 顯然的是，任何現(xiàn)有的獲取視差圖的方法均可以用于本發(fā)明。例如，該視差圖可以 是由專門的視差攝像機(jī)直接拍攝而成的。替換地，也可以通過雙目相機(jī)、多目相機(jī)、立體相 機(jī)拍攝灰度圖，并然后根據(jù)所述灰度圖來計(jì)算得到對應(yīng)的視差圖。具體地，例如，在檢測的 對象(或稱為目標(biāo)）是道路上的對象如車輛或行人的情況下，可以通過車載雙目相機(jī)來拍得 左圖像和右圖像，其中以左圖像(或右圖像）作為這里的灰度圖，并且基于左圖像和右圖像 來計(jì)算得到這里的視差圖。
[0049] 這里，在一個實(shí)施例中，可以例如通過位于本地的照相機(jī)來實(shí)現(xiàn)灰度圖和視差圖 的獲取。或者在另一個實(shí)施例中，也可以利用例如有線網(wǎng)絡(luò)或者無線網(wǎng)絡(luò)來從位于遠(yuǎn)程的 照相機(jī)獲得灰度圖和對應(yīng)的視差圖。另外，有關(guān)圖像拍攝裝置(例如，照相機(jī))不是必需安裝 在車輛上，而是，例如，也可以根據(jù)需要而安裝在路邊建筑物上，或者適于拍攝待檢測對象 的其他位置等。
[0050] 需要說明的是，這里的視差圖并不限于必需由多個相機(jī)才能得到，而是也可以由 一個相機(jī)基于時(shí)域得到。例如，可以由一個相機(jī)在一個時(shí)刻拍攝得到一幅圖像作為左圖像， 然后在下一時(shí)刻，將該相機(jī)稍稍移動位置后拍攝得到另一幅圖像作為右圖像，基于如此得 到的左圖像和右圖像也可以計(jì)算得