專(zhuān)利名稱(chēng)：一種目標(biāo)人體識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種目標(biāo)對(duì)象識(shí)別技術(shù)，尤其是涉及一種目標(biāo)人體識(shí)別方法。
背景技術(shù)：
隨著人們安全意識(shí)的增強(qiáng)以及安全形勢(shì)的需要，越來(lái)越多的公共場(chǎng)所安裝了視頻監(jiān)控系統(tǒng)。在這些視頻監(jiān)控系統(tǒng)中都有這樣一類(lèi)功能需求，即判別當(dāng)前視頻中出現(xiàn)的人是否與其它視頻中我們感興趣的人為同一個(gè)人。該功能需求為非重疊的多攝像系統(tǒng)中的人體重現(xiàn)(Person Re-identification)問(wèn)題,或稱(chēng)之為目標(biāo)人體識(shí)別。與人體檢測(cè)、跟蹤等視頻監(jiān)控中常見(jiàn)的任務(wù)相比，目標(biāo)人體識(shí)別(人體重現(xiàn))屬于事件檢測(cè)的內(nèi)容，屬于智能視頻監(jiān)控中更高層的目標(biāo)，其實(shí)現(xiàn)的難度更大。在大多數(shù)視頻監(jiān)控系統(tǒng)中，由于視頻質(zhì)量方面的問(wèn)題，包括分辨率低、光線(xiàn)變化大 以及姿態(tài)、著裝的影響，使得目標(biāo)人體識(shí)別無(wú)法應(yīng)用基于生物特征的識(shí)別方法來(lái)完成。因此，研究人員提出了一種基于表觀特征(如顏色、紋理統(tǒng)計(jì)特征以及局部特征)的目標(biāo)人體識(shí)別方法。這種基于表觀特征的目標(biāo)人體識(shí)別方法來(lái)自以下考慮首先，在眾多視頻或圖像序列中，包括來(lái)自公共場(chǎng)所的監(jiān)控視頻，無(wú)法獲得人臉的正面圖像，或者圖像的質(zhì)量無(wú)法為人臉識(shí)別、步態(tài)識(shí)別等等提供可靠的保障，該環(huán)境下也無(wú)法有效地進(jìn)行指紋、虹膜識(shí)別；其次，應(yīng)用是在已知目標(biāo)對(duì)象的前提下，希望通過(guò)視頻分析與識(shí)別，為人們查找該目標(biāo)對(duì)象在相近的一段時(shí)間內(nèi)(著裝不發(fā)生改變)出現(xiàn)在其他場(chǎng)所提供線(xiàn)索；最后，在非重疊的多攝像系統(tǒng)中，在系統(tǒng)覆蓋的區(qū)域內(nèi)跨越多個(gè)攝像機(jī)間的人體跟蹤也需要同樣的人體識(shí)別技術(shù)。在基于表觀特征的目標(biāo)人體識(shí)別方法中被使用較多的一類(lèi)特征是全局表觀特征，如各種顏色直方圖、基于特定濾波器的各種紋理特征等。為消除光線(xiàn)的影響，0. Javed等人(0. Javed,et al. Appearance modeling for tracking in multiple non-overlappingcameras. In IEEE Conference on Computer Vision and Pattern Recognition,2005,多重非重疊攝像中的基于表觀模型的追蹤，計(jì)算機(jī)視覺(jué)與模式識(shí)別國(guó)際會(huì)議，2005)提出了一種亮度轉(zhuǎn)換函數(shù)方法消除不同攝像機(jī)間由于光線(xiàn)變化帶來(lái)的差異，但需要通過(guò)校正的目標(biāo)對(duì)象進(jìn)行學(xué)習(xí)。由于缺乏空間結(jié)構(gòu)信息，因此顏色/紋理特征對(duì)姿態(tài)變化以及部分遮擋等問(wèn)題缺乏魯棒性。隨著各種局部不變特征的提出，能編碼空間結(jié)構(gòu)信息以及對(duì)部分遮擋具有魯棒性的局部不變特征被應(yīng)用在了目標(biāo)人體識(shí)別中。0. Hamdoun等人(0 Hamdoun,et al. Person re-identification in multi-camera system by signature based oninterest point descriptors collected on short video sequences. ICDSC-08，基于視頻序列中興趣點(diǎn)特征的多攝像系統(tǒng)中的人體識(shí)別，國(guó)際科學(xué)史會(huì)議，2008)提出了一種改進(jìn)SURF(Speeded-Up Robust Feature)的局部描述子特征，并通過(guò)建立局部描述子的K維樹(shù)進(jìn)行特征匹配。L. F. Teixeira 等人(L. F. Teixeira, et al. Video object matching acrossmultiple independent views using local descriptors and adaptive learning.Pattern Recognition Letters，2009，基于局部描述和自適應(yīng)學(xué)習(xí)的多重獨(dú)立視角下的視頻對(duì)象的匹配，模式識(shí)別雜志，2009)通過(guò)層次K均值聚類(lèi)方法建立基于局部描述子的視覺(jué)詞匯樹(shù)，并對(duì)比了基于局部描述子的視覺(jué)詞匯法(bag-of-features)與基于主要顏色直方圖方法的識(shí)別效果。0. Hamdoun等人與L. F. Teixeira等人提出的方法都通過(guò)預(yù)先建立并存儲(chǔ)大量要查詢(xún)的人體對(duì)象，進(jìn)而完成快速人體對(duì)象識(shí)別，但只依靠局部特征的方法，并沒(méi)有明顯提高目標(biāo)人體識(shí)別效果。D. Gray等人(D. Gray, H. Tao. Viewpoint InvariantPedestrian Recognition with an Ensemble of Localized Features, . ECCV 2008,基于局部特征整合的視角不變的人體識(shí)別，歐洲計(jì)算機(jī)視覺(jué)國(guó)際會(huì)議，2008)通過(guò)在圖像局部區(qū)域上提取一組底層特征(包括顏色與紋理特征)，再利用Adaboost從中選擇出最具視覺(jué)不變性的描述，結(jié)果顯示顏色信息在最終的視覺(jué)不變性的描述中占有最大的比重。局部特征一般都建立在興趣點(diǎn)檢測(cè)基礎(chǔ)上，而在較低分辨率的圖像或視頻中只能提取很少的興趣點(diǎn)，在粗糙的分割情況下會(huì)影響匹配的可靠性。上海交通大學(xué)的劉坤、楊杰等人(Kun Liu, Jie Yang. Recognition ofpeople reoccurrences using bag-of-featuresrepresentation and support vector machine, CCPR2009,使用特征詞袋法和支持向量機(jī)的人體識(shí)別，中國(guó)模式識(shí)別會(huì)議，2009)將上述兩種特征合并構(gòu)成更高維的特征，在一定程度上改進(jìn)了識(shí)別效果。中科院自動(dòng)化所的蔡瑩皓、黃凱奇等人(Yinghao Cai, KaiqiHuang and Tieniu Tan. Human Appearance Matching Across Multiple Non-overlappingCameras. ICPR2008，多重非重疊攝像條件下的人體表觀特征的匹配，國(guó)際模式識(shí)別會(huì)議， 2008)則使用canny算子提取人體邊緣，結(jié)合基于邊緣上采樣點(diǎn)周?chē)木植刻卣髋c幾何約束信息建立對(duì)象描述，該方法在人體輪廓清晰，背景較簡(jiǎn)單的圖像序列上能夠取得一定的識(shí)別效果。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種計(jì)算復(fù)雜度低，且能夠有效提高識(shí)別率的基于空間顏色特征和局部特征的目標(biāo)人體識(shí)別方法。本發(fā)明解決上述技術(shù)問(wèn)題所采用的技術(shù)方案為一種目標(biāo)人體識(shí)別方法，其特征在于包括以下步驟①?gòu)姆侵丿B的多攝像系統(tǒng)中采集兩個(gè)包含人體對(duì)象的圖像序列，每個(gè)圖像序列包括多幀圖像，兩個(gè)圖像序列中的圖像的幀數(shù)相同；②對(duì)兩個(gè)圖像序列中的每幀圖像進(jìn)行分割處理，得到每幀圖像中的人體對(duì)象區(qū)域；③根據(jù)兩個(gè)圖像序列中的每幀圖像中的人體對(duì)象區(qū)域，計(jì)算兩個(gè)圖像序列的空間顏色特征相似度，具體過(guò)程為③-I、計(jì)算兩個(gè)圖像序列中的每幀圖像中的人體對(duì)象區(qū)域的R、G、B三個(gè)顏色通道的顏色均值，將每幀圖像中的人體對(duì)象區(qū)域的R顏色通道的顏色均值記為mean (R)，將每幀圖像中的人體對(duì)象區(qū)域的G顏色通道的顏色均值記為mean (G)，將每幀圖像中的人體對(duì)象區(qū)域的B顏色通道的顏色均值記為mean (B)；③_2、對(duì)兩個(gè)圖像序列中的每幀圖像中的人體對(duì)象區(qū)域進(jìn)行水平劃分，平均劃分為N個(gè)子區(qū)域，然后計(jì)算每幀圖像中的人體對(duì)象區(qū)域的各個(gè)子區(qū)域的R、G、B三個(gè)顏色通道的顏色均值，將每幀圖像中的人體對(duì)象區(qū)域的各個(gè)子區(qū)域的R顏色通道的顏色均值記為R，將每幀圖像中的人體對(duì)象區(qū)域的各個(gè)子區(qū)域的G顏色通道的顏色均值記為G，將每幀圖像中的人體對(duì)象區(qū)域的各個(gè)子區(qū)域的B顏色通道的顏色均值記為B ；③_3、采用基于各個(gè)顏色通道的灰度歸一化方法對(duì)兩個(gè)圖像序列中的每幀圖像中的人體對(duì)象區(qū)域的各個(gè)子區(qū)域的R、G、B三個(gè)顏色通道的顏色均值進(jìn)行歸一化處理，得
到R、G和B對(duì)應(yīng)的歸一化處理后的顏色均值，分別記為R'、G'和B' ,
權(quán)利要求
1. 一種目標(biāo)人體識(shí)別方法，其特征在于包括以下步驟 ①?gòu)姆侵丿B的多攝像系統(tǒng)中采集兩個(gè)包含人體對(duì)象的圖像序列，每個(gè)圖像序列包括多幀圖像，兩個(gè)圖像序列中的圖像的幀數(shù)相同； ②對(duì)兩個(gè)圖像序列中的每幀圖像進(jìn)行分割處理，得到每幀圖像中的人體對(duì)象區(qū)域； ③根據(jù)兩個(gè)圖像序列中的每幀圖像中的人體對(duì)象區(qū)域，計(jì)算兩個(gè)圖像序列的空間顏色特征相似度，具體過(guò)程為 ③-I、計(jì)算兩個(gè)圖像序列中的每幀圖像中的人體對(duì)象區(qū)域的R、G、B三個(gè)顏色通道的顏色均值，將每幀圖像中的人體對(duì)象區(qū)域的R顏色通道的顏色均值記為mean (R)，將每幀圖像中的人體對(duì)象區(qū)域的G顏色通道的顏色均值記為mean (G)，將每幀圖像中的人體對(duì)象區(qū)域的B顏色通道的顏色均值記為mean (B)； ③_2、對(duì)兩個(gè)圖像序列中的每幀圖像中的人體對(duì)象區(qū)域進(jìn)行水平劃分，平均劃分為N個(gè)子區(qū)域，然后計(jì)算每幀圖像中的人體對(duì)象區(qū)域的各個(gè)子區(qū)域的R、G、B三個(gè)顏色通道的顏色均值，將每幀圖像中的人體對(duì)象區(qū)域的各個(gè)子區(qū)域的R顏色通道的顏色均值記為R，將每幀圖像中的人體對(duì)象區(qū)域的各個(gè)子區(qū)域的G顏色通道的顏色均值記為G，將每幀圖像中的人體對(duì)象區(qū)域的各個(gè)子區(qū)域的B顏色通道的顏色均值記為B ； ③-3、采用基于各個(gè)顏色通道的灰度歸一化方法對(duì)兩個(gè)圖像序列中的每幀圖像中的人體對(duì)象區(qū)域的各個(gè)子區(qū)域的R、G、B三個(gè)顏色通道的顏色均值進(jìn)行歸一化處理，得到R、G和B對(duì)應(yīng)的歸一化處理后的顏色均值，分別記為R'、G'和B'，R' = ~^，G' = ~mean(K) mean{U)B' = ~^，然后將由每幀圖像中的人體對(duì)象區(qū)域的各個(gè)子區(qū)域的R、G、B三個(gè)顏色通道 mean{B)的顏色均值進(jìn)行歸一化處理后的顏色均值V > Gi , Bi形成的一個(gè)長(zhǎng)度為3XN的向量作為該幀圖像的空間顏色特征； ③-4、根據(jù)兩個(gè)圖像序列中的任意兩幀圖像的空間顏色特征的歐氏距離，構(gòu)造一個(gè)大小為2mX2m的關(guān)系矩陣W，將關(guān)系矩陣W中第i行第j列的元素記為Wij,i dt χ γλWlj = exp，其中，m表示每個(gè)圖像序列中的圖像的幀數(shù)，I彡i彡2m，l彡j彡2m， σ VJexp O表示以自然對(duì)數(shù)e為底的指數(shù)函數(shù)，d(Xi，Xj)表示兩個(gè)圖像序列中的任意兩幀圖像 IIn的空間顏色特征的歐氏距離，J(XA) = Σ(&-χ#)2，Xik表示空間顏色特征Xi的第k個(gè)V k=\ I 2m 2m分量，Xjk表不空間顏色特征Xj的第k個(gè)分量,Cr = — 一77; ;=1 j=1 ③-5、對(duì)關(guān)系矩陣W進(jìn)行歸一化處理，得到規(guī)范化譜矩陣P，將規(guī)范化譜矩陣P中第i行第j列的元素記為PijAij = WijZDii，其中，Dii =E Jffij-;然后采用譜分解方法對(duì)規(guī)范化譜矩陣P進(jìn)行譜分解，得到規(guī)范化譜矩陣P的2m個(gè)維數(shù)為2m的特征向量及對(duì)應(yīng)的特征值； ③_6、對(duì)規(guī)范化譜矩陣P的2m個(gè)特征值進(jìn)行排序，選擇值次大的兩個(gè)特征值對(duì)應(yīng)的特征向量構(gòu)造兩個(gè)圖像序列中的每幀圖像在二維空間的可視化描述，具體過(guò)程為a、將值次大的兩個(gè)特征值對(duì)應(yīng)的特征向量分別記為％和％ ;b、將由％和％中對(duì)應(yīng)位置的前m個(gè)分量構(gòu)成的m個(gè)坐標(biāo)位置作為第一個(gè)圖像序列中的m幀圖像在二維空間的可視化描述，將由％和％中對(duì)應(yīng)位置的后m個(gè)分量構(gòu)成的m個(gè)坐標(biāo)位置作為第二個(gè)圖像序列中的m幀圖像在二維空間的可視化描述；③-7、根據(jù)兩個(gè)圖像序列中的每幀圖像在二維空間的可視化描述，計(jì)算兩個(gè)圖像序列 的空間顏色特征相似度，記為
2.根據(jù)權(quán)利要求I所述的一種目標(biāo)人體識(shí)別方法，其特征在于所述的步驟②中分割處理采用GrabCut方法。
3.根據(jù)權(quán)利要求I或2所述的一種目標(biāo)人體識(shí)別方法，其特征在于所述的步驟③-2中N > I。
全文摘要
本發(fā)明公開(kāi)了一種目標(biāo)人體識(shí)別方法，首先通過(guò)對(duì)兩個(gè)包含同一人體對(duì)象的圖像序列進(jìn)行分割處理，獲得每幀圖像中的人體對(duì)象區(qū)域，然后根據(jù)兩個(gè)圖像序列中的每幀圖像中的人體對(duì)象區(qū)域，分別計(jì)算兩個(gè)圖像序列的空間顏色特征相似度和局部特征相似度，再利用顏色特征相似度和局部特征相似度訓(xùn)練SVM分類(lèi)器，最后利用SVM分類(lèi)器對(duì)待識(shí)別的兩個(gè)圖像序列進(jìn)行目標(biāo)人體識(shí)別，由于本發(fā)明方法充分利用空間顏色特征和局部特征來(lái)識(shí)別目標(biāo)人體，因此能夠有效提高識(shí)別率，且本發(fā)明方法的計(jì)算復(fù)雜度較低。
文檔編號(hào)G06K9/62GK102663411SQ20121005062
公開(kāi)日2012年9月12日 申請(qǐng)日期2012年2月29日 優(yōu)先權(quán)日2012年2月29日
發(fā)明者張 榮, 肖波, 胡一嗔, 郭立君 申請(qǐng)人:寧波大學(xué)