一種多模態(tài)行人再辨識(shí)技術(shù)的制作方法
【專(zhuān)利摘要】本申請(qǐng)公開(kāi)了一種多模態(tài)行人再辨識(shí)技術(shù)，包括以下步驟：步驟1、從第一攝像機(jī)和第二攝像機(jī)各自拍攝的第一圖像和第二圖像中分別截取包含目標(biāo)的前景圖像，其中，第二圖像對(duì)應(yīng)于已知目標(biāo)；步驟2、從所截取的前景圖像中分別提取顏色特征和紋理特征，并將顏色特征和紋理特征級(jí)聯(lián)，形成圖像特征；步驟3、將所述圖像特征輸入到Hash投影模型，計(jì)算第一圖像和第二圖像中的目標(biāo)的相似度；步驟4、如果所計(jì)算的相似度大于預(yù)定閾值，則將第一圖像的目標(biāo)判定為第二圖像所對(duì)應(yīng)的已知目標(biāo)。
【專(zhuān)利說(shuō)明】一種多模態(tài)行人再辨識(shí)技術(shù)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像模式識(shí)別領(lǐng)域，尤其涉及基于錨節(jié)點(diǎn)和多模態(tài)Hash投影的行人再辨識(shí)技術(shù)。
【背景技術(shù)】
[0002]隨著計(jì)算機(jī)視覺(jué)技術(shù)的出現(xiàn)以及計(jì)算機(jī)計(jì)算能力的迅速增長(zhǎng)，新型監(jiān)控視頻系統(tǒng)得到了迅猛的發(fā)展。同時(shí)隨著視頻監(jiān)控應(yīng)用的多樣化，在監(jiān)控大范圍場(chǎng)景時(shí)，單個(gè)攝像機(jī)因?yàn)橐晥?chǎng)有限而難以滿(mǎn)足監(jiān)控要求，因此，使用多個(gè)攝像機(jī)監(jiān)控大范圍場(chǎng)景成為視頻監(jiān)控的重要發(fā)展趨勢(shì)。當(dāng)多個(gè)攝像機(jī)的視場(chǎng)之間存在重疊，可以使用水平攝像機(jī)校準(zhǔn)并結(jié)合目標(biāo)的時(shí)空信息。但是當(dāng)多個(gè)攝像機(jī)的視場(chǎng)之間不存在重疊，即行人運(yùn)動(dòng)在攝像機(jī)視場(chǎng)中存在“時(shí)間盲區(qū)域”和“空間盲區(qū)域”時(shí)，為保證行人跟蹤的連續(xù)性，需要對(duì)不同視場(chǎng)中的目標(biāo)進(jìn)行身份一致性判定。
[0003]在大范圍視頻監(jiān)控系統(tǒng)中，不同攝像機(jī)視場(chǎng)下不同時(shí)間內(nèi)行人身份的一致性判定或者同一攝像機(jī)視場(chǎng)不同 時(shí)間內(nèi)行人身份的一致性判定成為需要解決的重要問(wèn)題。我們將上述問(wèn)題稱(chēng)為監(jiān)控視頻中的行人再辨識(shí)問(wèn)題。當(dāng)前行人再辨識(shí)技術(shù)將行人的衣著外觀作為判定依據(jù)，并假定行人在監(jiān)控過(guò)程中衣著沒(méi)有發(fā)生變化，再辨識(shí)技術(shù)通過(guò)外觀相似性匹配進(jìn)行行人身份的識(shí)別。
[0004]目前，行人再辨識(shí)主要有以下幾類(lèi)技術(shù)方案:
[0005]技術(shù)方案(I)
[0006]該方案試圖從原始圖像中提取出比較穩(wěn)定(具有穩(wěn)定性)同時(shí)又具有區(qū)分性的特征，穩(wěn)定性是指同一個(gè)人在不同時(shí)刻的該特征應(yīng)該是一樣的(穩(wěn)定的)，區(qū)分性是指不同的人(在不同時(shí)刻或同一時(shí)刻)的該特征應(yīng)該是不一樣的。在這種技術(shù)方案中，從原始圖像出發(fā)，設(shè)計(jì)出符合上述要求的特征是關(guān)鍵的問(wèn)題。其中典型的例子是Symmetry DrivenAccumulation of Local Feature【參考文獻(xiàn)I】(局部特征對(duì)稱(chēng)累積方法)，此方法將行人在圖像中的身體檢測(cè)出來(lái)，然后將身體從垂直方向分成頭部、軀干和下肢，水平方向分為左右半身。去除頭部之后，整個(gè)身體分成了左軀干，右軀干，左腿，右腿四個(gè)部分。然后針對(duì)每一部分我們提取“HSV顏色直方圖”、“最大穩(wěn)定顏色區(qū)域(MSCR)”和“重復(fù)出現(xiàn)圖像塊”作為圖像特征。最終將所有塊的上述3種圖像特征向量進(jìn)行串聯(lián)拼接，構(gòu)成整個(gè)身體的特征向量。這種特征提取方法結(jié)合了空間信息。
[0007]技術(shù)方案(I)的缺點(diǎn)
[0008]第一:為了保證所提取特征具有穩(wěn)定性和區(qū)分性，特征的設(shè)計(jì)需要人工經(jīng)驗(yàn)和反
復(fù)的嘗試。
[0009]第二:在實(shí)際的行人再辨識(shí)問(wèn)題中，不同的攝像機(jī)的參數(shù)配置不同，攝像機(jī)的視場(chǎng)的光照條件不同，同一個(gè)人在不同的視場(chǎng)下的拍攝角度不同，以及可能受到的遮擋干擾也不相同。在這種復(fù)雜的拍攝條件下，很難設(shè)計(jì)出一種上述具有穩(wěn)定性且區(qū)分性的特征。
[0010]技術(shù)方案(2)[0011]該技術(shù)方案不再將重點(diǎn)放在圖像原始特征的設(shè)計(jì)上，而是借助度量學(xué)習(xí)的方法對(duì)圖像原始特征進(jìn)行投影，使投影出來(lái)的特征滿(mǎn)足穩(wěn)定性和區(qū)分性。假設(shè)兩張圖片的原始特征分別表示為X e #和y e Rd，兩個(gè)原始特征的直接距離(歐氏距離)為
[0012]
【權(quán)利要求】
1.一種多模態(tài)目標(biāo)再辨識(shí)方法，包括以下步驟: 步驟1、從第一攝像機(jī)和第二攝像機(jī)各自拍攝的第一圖像和第二圖像中分別截取包含目標(biāo)的前景圖像，其中，第二圖像對(duì)應(yīng)于已知目標(biāo)； 步驟2、從所截取的前景圖像中分別提取顏色特征和紋理特征，并將顏色特征和紋理特征級(jí)聯(lián)，形成圖像特征； 步驟3、將所述圖像特征輸入到Hash投影模型，計(jì)算第一圖像和第二圖像中的目標(biāo)的相似度； 步驟4、如果所計(jì)算的相似度大于預(yù)定閾值，則將第一圖像的目標(biāo)判定為第二圖像所對(duì)應(yīng)的已知目標(biāo)。
2.根據(jù)權(quán)利要求1所述的目標(biāo)再辨識(shí)方法，其中，所述包含目標(biāo)的前景圖像由目標(biāo)的外接矩形框限定。
3.根據(jù)權(quán)利要求2所述的目標(biāo)再辨識(shí)方法，其中，所述顏色特征包括與RGB、HSV和YCbCr這9個(gè)通道對(duì)應(yīng)的9個(gè)顏色直方圖，其表示所述前景圖像中的每個(gè)像素在每個(gè)通道下的數(shù)值分布， 其中，每個(gè)通道下的數(shù)值范圍被量化為8值，從而形成9個(gè)8維顏色直方圖，作為所述顏色特征， 其中，使用局部二值模式，對(duì)前景圖像進(jìn)行計(jì)算，得到59維的紋理直方圖，作為所述紋理特征。
4.根據(jù)權(quán)利要求3所述的目標(biāo)再辨識(shí)方法，其中，在所述步驟2之后，還包括: 步驟21、使用錨節(jié)點(diǎn)投影，對(duì)所述顏色特征和所述紋理特征進(jìn)行降維，其公式如下:
5.根據(jù)權(quán)利要求4所述的目標(biāo)再辨識(shí)方法，其中，所述步驟3包括: 步驟31、通過(guò)以下公式，計(jì)算第一和第二攝像機(jī)各自的目標(biāo)的相似度s U，y):
6.根據(jù)權(quán)利要求4所述的目標(biāo)再辨識(shí)方法，其中，所述步驟3包括: 步驟31、通過(guò)以下公式，計(jì)算第一和第二攝像機(jī)各自的目標(biāo)的相似度s U，y):
7.根據(jù)權(quán)利要求5或6所述的目標(biāo)再辨識(shí)方法，其中，所述第二攝像機(jī)是一個(gè)或多個(gè)第二攝像機(jī)，所述第二圖像是所述第二攝像機(jī)各自拍攝的多個(gè)第二圖像，所述多個(gè)第二圖像中的每個(gè)對(duì)應(yīng)于不同的目標(biāo)， 其中，在步驟3中，計(jì)算第一圖像和第二圖像中的目標(biāo)的相似度包括:分別計(jì)算第一圖像中的目標(biāo)和每個(gè)第二圖像中的目標(biāo)的相似度，得到多個(gè)相似度， 所述步驟4包括: 步驟41、如果所述多個(gè)相似度中最大的相似度大于所述預(yù)定閾值，則將所述最大的相似度對(duì)應(yīng)的第二圖像所對(duì)應(yīng)的已知目標(biāo)確定為第一圖像所對(duì)應(yīng)的目標(biāo)。
8.根據(jù)權(quán)利要求6所述的目標(biāo)再辨識(shí)方法，其中，所述Hash投影模型是通過(guò)如下步驟訓(xùn)練得到的: 步驟51、通過(guò)以下公式，訓(xùn)練得到{巧#}=:

【文檔編號(hào)】G06K9/62GK103942563SQ201410125981
【公開(kāi)日】2014年7月23日 申請(qǐng)日期:2014年3月31日 優(yōu)先權(quán)日:2014年3月31日
【發(fā)明者】趙志誠(chéng), 劉凱, 蘇菲, 趙衍運(yùn), 莊伯金 申請(qǐng)人:北京郵電大學(xué)