之后，將會(huì)圍繞聚類中心（即，上述的加權(quán)特征點(diǎn)的加權(quán)質(zhì)心)而產(chǎn)生一 些點(diǎn)的群聚。例如，這些點(diǎn)的群聚，在圖9中，可以如右側(cè)表示特征空間的大圓圈中的三個(gè) 小圓圈1、2、3所示，同樣地，在圖11中，可以如左側(cè)的三個(gè)矩形1、2、3所示。其中，圓圈和 矩形都僅僅代表不同的群聚(或稱為集合)，而與其具體形狀無關(guān)。
[0208] 在BoF算法中，聚類中心也可以稱為視覺字，并且點(diǎn)的群聚也可以稱為碼書，該碼 書可以包括所有的視覺字。從圖像處理的角度上講，視覺字的涵義可以被大體理解為特定 的微小的"局部紋理"。當(dāng)然，屬于不同類別的對(duì)象可能會(huì)擁有同一個(gè)微小的"局部紋理"， 只要這樣的局部紋理對(duì)于不同類別的對(duì)象有不同的空間分布或統(tǒng)計(jì)特征。
[0209] 此外，由于根據(jù)BoF算法的框架，一個(gè)聚類中心可以很好地代表圍繞在這個(gè)中心 點(diǎn)周圍的點(diǎn)的群聚，所以可以使用在特征空間中與一個(gè)樣本采樣點(diǎn)的特征描述具有最小距 離的聚類中心來對(duì)所述樣本采樣點(diǎn)進(jìn)行編碼。
[0210] 因此，基于碼書，在樣本圖像區(qū)域中每一個(gè)被采樣的位置將會(huì)通過特征空間中的 最小距離被判定為屬于某一個(gè)特定的視覺字。例如，如圖11的右側(cè)所示，在已知類別的樣 本圖像區(qū)域中，每個(gè)樣本采樣點(diǎn)均可以通過最小距離投票決定屬于哪一個(gè)視覺字。也就是 說，可以根據(jù)所述聚類中心1、2、3與對(duì)應(yīng)于每一個(gè)樣本采樣點(diǎn)的特征描述在所述特征空間 中的距離來對(duì)該樣本采樣點(diǎn)進(jìn)行編碼，從而形成一個(gè)新的樣本圖像區(qū)域，其中與每一個(gè)樣 本采樣點(diǎn)對(duì)應(yīng)的像素重新從可能的值1、2、3之中進(jìn)行取值。
[0211] 在子步驟4中，通過對(duì)每一個(gè)樣本圖像區(qū)域的編碼結(jié)果進(jìn)行向量化來生成所述樣 本圖像區(qū)域的所述加權(quán)特征描述模型。
[0212] 例如，當(dāng)每一個(gè)樣本圖像區(qū)域的被采樣點(diǎn)都被進(jìn)行上述編碼以后，這幅圖像應(yīng)該 被進(jìn)一步編碼成適合于分類的一維（ID)向量。這種從2D碼轉(zhuǎn)換成ID碼的過程應(yīng)該最大 程度地挖掘原2D碼的類別可分性，并且該過程可以被稱為向量化。
[0213] 在本發(fā)明的實(shí)施例中，存在各種可能的向量化方案，其包括但不限于：統(tǒng)計(jì)碼書的 直方圖、水平掃描級(jí)聯(lián)、以及保持視覺字的空間分布信息的空域編碼方案等。
[0214] 在步驟S140中，根據(jù)具有穩(wěn)定性權(quán)重的目標(biāo)采樣點(diǎn)來獲得目標(biāo)圖像區(qū)域的加權(quán) 特征描述。
[0215] 例如，可以根據(jù)在步驟S130中形成的樣本圖像區(qū)域的加權(quán)特征描述模型來在步 驟S120中獲得的目標(biāo)采樣點(diǎn)穩(wěn)定性權(quán)重，來獲得目標(biāo)圖像區(qū)域的加權(quán)特征描述。
[0216] 下面，將參考圖12來描述根據(jù)本發(fā)明實(shí)施例的獲得目標(biāo)圖像區(qū)域的加權(quán)特征描 述的步驟的具體流程示例。
[0217] 圖12圖示了根據(jù)本發(fā)明實(shí)施例的獲得目標(biāo)圖像區(qū)域的加權(quán)特征描述的步驟的具 體流程示例。
[0218] 參考圖12,該獲得目標(biāo)圖像區(qū)域的加權(quán)特征描述的步驟包括：
[0219] 在步驟S1410中，通過向所述目標(biāo)圖像區(qū)域中的所有目標(biāo)采樣點(diǎn)施加尺度不變特 征描述來產(chǎn)生與所述目標(biāo)圖像區(qū)域?qū)?yīng)的在同一尺度中的特征描述集合，并且將所述目標(biāo) 圖像區(qū)域的特征描述集合中的特征描述添加到所述特征空間中。
[0220] 例如，首先，可以向所述目標(biāo)圖像區(qū)域中的所有目標(biāo)采樣點(diǎn)施加尺度不變特征描 述，以產(chǎn)生與所述目標(biāo)圖像區(qū)域?qū)?yīng)的在同一尺度中的特征描述集合，其中所述特征描述 集合中的每一個(gè)特征描述與所述目標(biāo)圖像區(qū)域中的每一個(gè)目標(biāo)采樣點(diǎn)對(duì)應(yīng)并且具有所述 目標(biāo)采樣點(diǎn)的穩(wěn)定性權(quán)重。
[0221] 具體地，如步驟S1330中的子步驟1中一樣地，針對(duì)未知類別的目標(biāo)圖像區(qū)域，可 以對(duì)其中的每一個(gè)目標(biāo)采樣點(diǎn)執(zhí)行尺度不變特征描述，以產(chǎn)生與所述目標(biāo)圖像區(qū)域?qū)?yīng)的 在同一尺度中的特征描述集合。
[0222] 然后，可以將所述目標(biāo)圖像區(qū)域的特征描述集合中的特征描述添加到所述特征空 間中，如圖9所示。
[0223] 在步驟S1420中，針對(duì)所述目標(biāo)圖像區(qū)域中的每一個(gè)目標(biāo)采樣點(diǎn)，根據(jù)所述聚類 中心與對(duì)應(yīng)于所述目標(biāo)采樣點(diǎn)的特征描述在所述特征空間中的距離來對(duì)所述目標(biāo)采樣點(diǎn) 進(jìn)行編碼。
[0224] 具體地，在例如通過步驟S1330中的子步驟2獲得了聚類中心（即，視覺字）之后， 如步驟S1330中的子步驟3中一樣地，每個(gè)目標(biāo)采樣點(diǎn)均可以通過特征空間中最小距離的 投票來決定其屬于哪個(gè)視覺字。最終，所有的圖像的被采樣的位置都會(huì)被編碼。如圖11所 /Jn 〇
[0225] 在步驟S1430中，通過對(duì)所述目標(biāo)圖像區(qū)域的編碼結(jié)果進(jìn)行向量化來生成所述目 標(biāo)圖像區(qū)域的所述加權(quán)特征描述。
[0226] 具體地，可以如步驟S1330中的子步驟4中一樣地，例如，可以對(duì)目標(biāo)圖像區(qū)域進(jìn) 一步編碼成適合于分類的一維（ID)向量。
[0227] 在步驟S150中，根據(jù)目標(biāo)圖像區(qū)域的加權(quán)特征描述和樣本圖像區(qū)域的加權(quán)特征 描述模型來對(duì)目標(biāo)圖像區(qū)域進(jìn)行識(shí)別。
[0228] 在獲得了目標(biāo)圖像區(qū)域的加權(quán)特征描述和樣本圖像區(qū)域的加權(quán)特征描述模型之 后，可以執(zhí)行用于處理加權(quán)（即，綜合權(quán)重W)特征點(diǎn)的識(shí)別技術(shù)，以確定目標(biāo)圖像區(qū)域到底 屬于哪一個(gè)樣本圖像區(qū)域。
[0229] 如上所述，這種加權(quán)的識(shí)別過程可以采樣加權(quán)詞袋法（BoF)、加權(quán)距離測(cè)量法、加 權(quán)K最近鄰（KNN)算法等，基于加權(quán)特征描述和樣本圖像區(qū)域的加權(quán)特征描述模型之間的 特征向量距離來實(shí)現(xiàn)。
[0230] 下面，將參考圖13來描述根據(jù)本發(fā)明實(shí)施例的對(duì)目標(biāo)圖像區(qū)域進(jìn)行識(shí)別的步驟 的具體操作示例。
[0231] 圖13圖示了根據(jù)本發(fā)明實(shí)施例的對(duì)目標(biāo)圖像區(qū)域進(jìn)行識(shí)別的步驟的原理示意 圖。
[0232] 為了便于理解，下面，將繼續(xù)以加權(quán)詞袋法為例進(jìn)行描述。在加權(quán)詞袋法中，在通 過對(duì)每一個(gè)樣本圖像區(qū)域的編碼結(jié)果進(jìn)行向量化來生成所述樣本圖像區(qū)域的所述加權(quán)特 征描述模型之后，并且在通過對(duì)所述目標(biāo)圖像區(qū)域的編碼結(jié)果進(jìn)行向量化來生成所述目標(biāo) 圖像區(qū)域的所述加權(quán)特征描述之后，可以使用樣本圖像模型來訓(xùn)練分類器，并且將目標(biāo)圖 像區(qū)域的所述加權(quán)特征描述輸入訓(xùn)練完畢的分類器，從而獲得最終的識(shí)別結(jié)果。
[0233] 具體地，可以通過使用訓(xùn)練樣本建立決策模型，并用該模型對(duì)測(cè)試圖像做判別式 決策。決策模型包括但不限于各種分類器(例如隨機(jī)森林、支持向量機(jī)（SVM)、AdaB 〇〇st等） 以及各種距離測(cè)度。
[0234] 例如，如圖13所示，當(dāng)在步驟S1330中的子步驟4中對(duì)于在步驟S1330中的子步 驟3中獲得的樣本特征空間中的最小距離投票結(jié)果進(jìn)行向量化之后，可以將樣本的類別標(biāo) 簽(例如，如圖9中的類別A和類別B)恢復(fù)回去，并且使用具有類別標(biāo)簽的向量化結(jié)果作為 輸入，來訓(xùn)練分類器。然后，將在步驟S140中獲得的未知類別的目標(biāo)圖像區(qū)域的加權(quán)特征 描述輸入訓(xùn)練好的分類器中，從而獲得最終的識(shí)別結(jié)果。
[0235] 由此可見，本發(fā)明的實(shí)施例提供了一種基于加權(quán)特征點(diǎn)的目標(biāo)識(shí)別方法，其具備 通過足夠的特征點(diǎn)來充分表達(dá)對(duì)象的能力，同時(shí)能夠更加關(guān)注其中重要的點(diǎn)，從而通過一 種能夠用于處理帶有權(quán)重的特征點(diǎn)的識(shí)別算法來使得基于加權(quán)特征點(diǎn)的識(shí)別過程成為可 能。此外，由于在本發(fā)明的實(shí)施例中還可以使用雙目相機(jī)來捕捉視差信息，所以可以充分地 使用3D空間信息。因此，與現(xiàn)有技術(shù)相比，本發(fā)明的實(shí)施例將會(huì)有較高的識(shí)別精度，并且對(duì) 于由于真實(shí)場(chǎng)景中的各種因素(例如，光照和遮擋等）而導(dǎo)致的特征點(diǎn)的各種劣化也更加魯 棒。
[0236] 此外，需要說明的是，盡管在上文中僅僅描述了將根據(jù)本發(fā)明實(shí)施例的目標(biāo)識(shí)別 方法應(yīng)用于單純的目標(biāo)識(shí)別場(chǎng)景（即用于根據(jù)已知類別的至少一個(gè)樣本圖像區(qū)域來識(shí)別未 知類別的目標(biāo)圖像區(qū)域)的情況，但是，需要說明的是，本發(fā)明不限于此。例如，優(yōu)選地，該目 標(biāo)識(shí)別方法也可以應(yīng)用于目標(biāo)跟蹤的過程(尤其是，跟蹤恢復(fù)過程）中。
[0237] 下面，將參考圖14A和圖14B來描述將根據(jù)本發(fā)明實(shí)施例的目標(biāo)識(shí)別方法應(yīng)用于 跟蹤恢復(fù)過程中時(shí)、與現(xiàn)有技術(shù)相比所帶的性能提升。
[0238] 圖14A圖示了將根據(jù)現(xiàn)有技術(shù)的特征點(diǎn)檢測(cè)和匹配方法應(yīng)用于跟蹤恢復(fù)過程時(shí) 的跟蹤效果示意圖，而圖14B圖示了將根據(jù)本發(fā)明實(shí)施例的目標(biāo)識(shí)別方法應(yīng)用于跟蹤恢復(fù) 過程時(shí)的跟蹤效果示意圖。
[0239] 如圖14A所示，在該圖像序列中共存在4個(gè)被跟蹤對(duì)象(其包括但不僅限于人)。具 體地，在第516幀中，按照從左到右的順序，這4個(gè)被跟蹤對(duì)象分別被賦予標(biāo)識(shí)符（ID) 57、 53、78、和 73。
[0240] 具體地，在圖14A中可以看出，一個(gè)在深色邊界框中的對(duì)象（ID=78)在第516幀和 第517幀處于被跟蹤的狀態(tài)，然而在第518幀它被跟蹤器丟失了。這種跟蹤丟失可能是由 于跟蹤器自身的算法原因而導(dǎo)致的，也可能是由于該對(duì)象受到諸如光照變化、視角改變、遮 擋和形變等因素的影響而導(dǎo)致的。
[0241] 這時(shí)，如果在該跟蹤器中存在一個(gè)檢測(cè)器或一個(gè)檢測(cè)機(jī)制，那么很有可能在接下 來的若干幀中，在跟蹤丟失發(fā)生的附近區(qū)域，這個(gè)對(duì)象被重新檢測(cè)到。
[0242] 如上所述，在特征點(diǎn)檢測(cè)和匹配方法中，由于受到特征點(diǎn)少、可能存在錯(cuò)誤的特征 匹配等技術(shù)問題的限制，如圖14A所示，在跟蹤丟失發(fā)生之后，重新檢測(cè)到的對(duì)象不能與以 前跟蹤到的對(duì)象建立其關(guān)聯(lián)，即使它們事實(shí)上是同一個(gè)對(duì)象。這時(shí)，一個(gè)用以標(biāo)記對(duì)象唯一 性的新的身份（比如新的ID=85 )將會(huì)被賦予這個(gè)"新"檢測(cè)出的對(duì)象，如同這是一個(gè)全新的 出現(xiàn)在場(chǎng)景中的對(duì)象一樣，如第520幀的淺色邊界框所示。在這種情形下，對(duì)象身份的一致 性被損害了，也就是說，相同對(duì)象的身份被改變了。
[0243] 因此，為了維護(hù)對(duì)象的身份(其目的包括推進(jìn)一些復(fù)雜的應(yīng)用，包括多個(gè)對(duì)象跟蹤 和人的行為分析)，可以使用根據(jù)本發(fā)明實(shí)施例的目標(biāo)識(shí)別方法。
[0244] 如圖14B所示，在該圖像序列中仍然存在4個(gè)被跟蹤對(duì)象，其ID分別是57、53、 78、和73。具體地，與圖14A中一樣地，在圖14B中可以看出，一個(gè)在深色邊界框中的對(duì)象 (ID=78)在第516幀和第517幀處于被跟蹤的狀態(tài)，然而在第518幀它被跟蹤器丟失了。
[0245] 然而，與現(xiàn)有技術(shù)不同地，通過使用根據(jù)本發(fā)明實(shí)施例的目標(biāo)識(shí)別方法，可以在跟 蹤丟失發(fā)生之后，針對(duì)重新檢測(cè)到的對(duì)象，高效快速地對(duì)新檢測(cè)到的對(duì)象(仍然示出在深色 邊框中）的身份進(jìn)行恢復(fù)，也就是說，對(duì)于該跟蹤丟失的對(duì)象重新分配其原始ID=78,好像跟 蹤器有某種短期記憶一樣，使得即使在短暫的中斷下，仍然可以回憶起新檢測(cè)的對(duì)象事實(shí) 上與前面跟蹤的對(duì)象是一致的。在這種情況下，對(duì)象的一致性得到了維護(hù)，使得一些進(jìn)一步 的復(fù)雜應(yīng)用（如多個(gè)對(duì)象的跟蹤以及人的行為分析等）成為可能。
[0246] 因此，通過對(duì)比圖14A中的跟蹤丟失示意圖和圖14B中的跟蹤恢復(fù)示意圖，可以充 分地說明根據(jù)本發(fā)明實(shí)施例的目標(biāo)識(shí)別方法的必要性、以及將其應(yīng)用于跟蹤恢復(fù)方法中的 有益效果。
[0247] 此外，根據(jù)本發(fā)明實(shí)施例的目標(biāo)識(shí)別方法與以下替代方法相比也具有明顯的有益 效果，該替代方法包括：在不同的尺度空間中直接獲取訓(xùn)練樣本，然后直接將這些訓(xùn)練樣本 輸入分類器進(jìn)行訓(xùn)練。盡管在這種情況下可以認(rèn)為，由于訓(xùn)練樣本已經(jīng)包括了足夠的用于 識(shí)別對(duì)象/跟蹤對(duì)象的在不同尺度上的信息，并且這些信息可以由分類器自動(dòng)且內(nèi)在地學(xué) 習(xí)，所以沒有必要在尺度空間中測(cè)度每個(gè)點(diǎn)的質(zhì)量，然而，需要說明的是，上述替代方法僅 僅在理想的實(shí)驗(yàn)條件下才能成立，但是在實(shí)際應(yīng)用中，由于訓(xùn)練樣本往往是實(shí)時(shí)地在線獲 得的，所以很難包括不同的尺度，因此上述替代方法在現(xiàn)實(shí)場(chǎng)景中幾乎無法實(shí)現(xiàn)。一個(gè)典型 的例子正是跟蹤恢復(fù)過程。
[0248] 此外，還應(yīng)該注意到，如上所述，通過使用根據(jù)本發(fā)明實(shí)施例的目標(biāo)識(shí)別方法，僅 僅需要在跟蹤丟失處的有限時(shí)間和空間區(qū)域中采集訓(xùn)練樣本即可，從而充分節(jié)約了系統(tǒng)資 源，并且提高了跟蹤恢復(fù)的效率。
[0249] 本發(fā)明的實(shí)施例還可以通過一種目標(biāo)識(shí)別裝置來實(shí)施。在下文中，將參考圖15來 描述根據(jù)本發(fā)明實(shí)施例的基于加權(quán)特征點(diǎn)的目標(biāo)識(shí)別裝置的功能配置框圖。
[0250] 圖15圖示了根據(jù)本發(fā)明實(shí)施例的目標(biāo)識(shí)別裝置的功能配置框圖。
[02