一種多攝像機(jī)監(jiān)控網(wǎng)絡(luò)中目標(biāo)再識別的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于機(jī)器視覺技術(shù)領(lǐng)域，涉及一種多攝像機(jī)監(jiān)控網(wǎng)絡(luò)中目標(biāo)再識別的方 法。
【背景技術(shù)】
[0002] 在多攝像機(jī)監(jiān)控跟蹤網(wǎng)絡(luò)中，由于被跟蹤目標(biāo)的不確定性因素過多，如監(jiān)控視角、 環(huán)境光照、目標(biāo)姿態(tài)變化等，如何對目標(biāo)進(jìn)行再識別是一個(gè)難點(diǎn)。近年來，針對跨視野目標(biāo) 跟蹤問題，提出了眾多方法，在進(jìn)行跨視野目標(biāo)跟蹤時(shí)，攝像機(jī)間的非重疊區(qū)域?qū)е铝烁?的不連續(xù)性，在被跟蹤目標(biāo)跨越攝像機(jī)間的"盲區(qū)"后對其進(jìn)行準(zhǔn)確的再識別，即如何建立 一種魯棒性的外觀特征模型，是具有挑戰(zhàn)性的問題。而提取一種穩(wěn)健的外觀統(tǒng)計(jì)特征是目 標(biāo)再識別問題的核心。
[0003] 因此，有人提出一種基于邊緣特征點(diǎn)的外觀模型用于目標(biāo)跨視野跟蹤，但因其需 要選擇特征點(diǎn)耗時(shí)，無法保證對目標(biāo)的實(shí)時(shí)跟蹤，有人又提出利用攝像機(jī)間的拓?fù)浣Y(jié)構(gòu)關(guān) 系，即攝像機(jī)間的連接關(guān)系來對目標(biāo)進(jìn)行識別，基于目標(biāo)運(yùn)動(dòng)路徑結(jié)合外觀特征的匹配算 法，可以提高目標(biāo)識別的準(zhǔn)確性，但其要求攝像機(jī)間的視野要有少量重合或不可見區(qū)域較 小，適用性有一定局限，當(dāng)攝像機(jī)間的"盲區(qū)"較小時(shí)，可以根據(jù)上一攝像機(jī)中目標(biāo)的運(yùn)動(dòng) 狀態(tài)，來預(yù)測下一攝像機(jī)中的目標(biāo)狀態(tài)。有人使用Kalman濾波器來進(jìn)行目標(biāo)預(yù)測，首先使 用亮度轉(zhuǎn)移函數(shù)將攝像機(jī)間的成像校正，然后使用攝像機(jī)間的時(shí)空（spatio-temporal)關(guān) 系，利用最大后驗(yàn)概率進(jìn)行目標(biāo)的匹配。此類方法對攝像機(jī)間的拓?fù)浣Y(jié)構(gòu)變化較為敏感，一 旦攝像機(jī)分布發(fā)生變化，便要重新學(xué)習(xí)。
[0004] 不同于依靠攝像機(jī)間的結(jié)構(gòu)信息輔助的識別方法，有人提出一種魯棒性較高統(tǒng)計(jì) 性的目標(biāo)描述。利用行人目標(biāo)圖像的對稱，獲得了良好不變性的視圖，提出將目標(biāo)分為頭 部、軀干、腿部三個(gè)部分，結(jié)合每個(gè)部分的彩色直方圖（HSV)、最大穩(wěn)定顏色區(qū)域（MSCR)、高 復(fù)發(fā)型結(jié)構(gòu)塊（RHSP)對目標(biāo)進(jìn)行識別。也有人提出一種結(jié)合了 Gabor濾波器和協(xié)方差的 描述算子，可以在一定程度上抑制場景光照變化和背景的差異對目標(biāo)識別造成的影響。
[0005] 于是，有人提出通過訓(xùn)練使目標(biāo)以區(qū)分度最高的特征進(jìn)行表示。例如使用 Adaboost方法，結(jié)合目標(biāo)的顏色與空間特征信息進(jìn)行識別。使用單一的特征進(jìn)行訓(xùn)練不能 適應(yīng)目標(biāo)變化的多樣性，提取了包括顏色、梯度、紋理等目標(biāo)信息，并通過局部最小二乘法 (PLS)進(jìn)行降維?；?qū)⒛繕?biāo)圖像按照場景信息、目標(biāo)姿態(tài)分成不同的種類，對每一類使用 Adaboost方法選擇不同特征、度量方法進(jìn)行識別。
[0006] 但是，上述方法都是通過選擇一種或多種特征來對待識別目標(biāo)進(jìn)行描述，沒有充 分利用圖像數(shù)據(jù)集內(nèi)各個(gè)圖像的關(guān)聯(lián)關(guān)系，因此，對于目標(biāo)的識別率均比較低。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的是提供一種多攝像機(jī)監(jiān)控網(wǎng)絡(luò)中目標(biāo)再識別的方法，解決了現(xiàn)有技 術(shù)中存在的由于未充分利用圖像數(shù)據(jù)集內(nèi)各個(gè)圖像的關(guān)聯(lián)關(guān)系使得目標(biāo)識別率低的問題。
[0008] 本發(fā)明所采用的技術(shù)方案是，一種多攝像機(jī)監(jiān)控網(wǎng)絡(luò)中目標(biāo)再識別的方法，具體 按照以下步驟實(shí)施：
[0009] 步驟1，選取多攝像機(jī)監(jiān)控網(wǎng)絡(luò)中一對攝像機(jī)i、j間N對目標(biāo)的圖像序列，分別記 為測試圖像序列和參考圖像序列，N>0 ;
[0010] 步驟2，求取攝像機(jī)i和攝像機(jī)j之間N對目標(biāo)的BTF曲線，并計(jì)算N對BTF曲線 的均值，即得到攝像機(jī)i和攝像機(jī)j之間的亮度轉(zhuǎn)移函數(shù)；
[0011] 步驟3,采用步驟2中得到的亮度轉(zhuǎn)移函數(shù)將待識別測試圖像的顏色校正至與參 考圖像序列顏色為同一級別；
[0012] 步驟4,分別提取待識別測試圖像和參考圖像序列中每一幅圖像的ColorSIFT特 征；
[0013] 步驟5,將步驟4中待識別測試圖像中提取到的包含有ColorSIFT特征的圖像塊和 參考圖像序列中每一幅圖像進(jìn)行特征搜索匹配，計(jì)算待識別測試圖像中包含有ColorSIFT 特征的圖像塊和參考圖像序列中每一幅圖像中相同位置上下間距為1的范圍內(nèi)的圖像塊 之間的相似度，待識別測試圖像中每一個(gè)圖像塊均得到N個(gè)最優(yōu)匹配結(jié)果，根據(jù)KNN準(zhǔn)則對 N個(gè)最優(yōu)匹配結(jié)果排列計(jì)算得到待識別測試圖像中圖像塊的顯著程度，結(jié)合所有圖像塊的 顯著程度得到待識別測試圖像的注意力顯著圖；
[0014] 步驟6,根據(jù)步驟5中得到的注意力顯著圖和步驟4中提取的ColorSIFT特征對待 識別測試圖像與參考圖像序列中每一幅圖像逐一進(jìn)行雙向的相似度計(jì)算，將得到的最大相 似度所對應(yīng)的參考圖像作為待識別測試圖像的匹配目標(biāo)，則將攝像機(jī)i中待識別測試圖像 中的目標(biāo)在攝像機(jī)j中識別出來。
[0015] 本發(fā)明的特點(diǎn)還在于，
[0016] 步驟2具體按照以下方法實(shí)施：
[0017] 步驟2. 1，分別寫出攝像機(jī)i和攝像機(jī)j中的亮度轉(zhuǎn)移函數(shù)；
[0018] 攝像機(jī)i中的亮度轉(zhuǎn)移函數(shù)表達(dá)式為：
[0019] Bjp，h) = gjGjtjM (p) YiUi) XiUi)) (1)
[0020] 式中，Bi(PJi)為目標(biāo)表面一點(diǎn)p，ti時(shí)刻在攝像機(jī)i上的成像亮度，G iUi)為攝 像機(jī)i在h時(shí)刻的光照、M(p)為目標(biāo)表面p點(diǎn)反射屬性、Y , (tj為攝像機(jī)i的鏡頭參數(shù)， XiUi)為攝像機(jī)i的曝光時(shí)間，gj ·)為攝像機(jī)i的成像函數(shù)；
[0021] 攝像機(jī)j中的亮度轉(zhuǎn)移函數(shù)的表達(dá)式為：
[0022] Bj (p，t』）=gj (Gj (t』）M (p) Yj (t』）Xj (t』）） (2)
[0023] 式中，Bj (p，tp為目標(biāo)表面一點(diǎn)p，tj時(shí)刻在攝像機(jī)j上的成像亮度，GjUj)為攝 像機(jī)j的光照、M (p)為目標(biāo)表面p點(diǎn)反射屬性、為攝像機(jī)j的鏡頭參數(shù)，為攝 像機(jī)j的曝光時(shí)間，gj ·)為攝像機(jī)j的成像函數(shù)；
[0024] 步驟2. 2,將步驟2. 1中得到的攝像機(jī)i的亮度轉(zhuǎn)移函數(shù)經(jīng)過轉(zhuǎn)換，得到目標(biāo)表面 像素點(diǎn)P的第一屬性表達(dá)式為：
【主權(quán)項(xiàng)】
1. 一種多攝像機(jī)監(jiān)控網(wǎng)絡(luò)中目標(biāo)再識別的方法，其特征在于，具體按照w下步驟實(shí) 施： 步驟1，選取多攝像機(jī)監(jiān)控網(wǎng)絡(luò)中一對攝像機(jī)i、j間N對目標(biāo)的圖像序列，分別記為測 試圖像序列和參考圖像序列，N〉0 ; 步驟2,求取攝像機(jī)i和攝像機(jī)j之間N對目標(biāo)的BTF曲線，并計(jì)算N對BTF曲線的均 值，即得到攝像機(jī)i和攝像機(jī)j之間的亮度轉(zhuǎn)移函數(shù)； 步驟3,采用步驟2中得到的亮度轉(zhuǎn)移函數(shù)將待識別測試圖像的顏色校正至與參考圖 像序列顏色為同一級別； 步驟4,分別提取待識別測試圖像和參考圖像序列中每一幅圖像的ColorSIFT特征； 步驟5,將步驟4中待識別測試圖像中提取到的包含有ColorSIFT特征的圖像塊和參考 圖像序列中每一幅圖像逐一進(jìn)行特征捜索匹配，計(jì)算待識別測試圖像中包含有ColorSIFT 特征的圖像塊和參考圖像序列中每一幅圖像中相同位置上下間距為1的范圍內(nèi)的圖像塊 之間的相似度，待識別測試圖像中每一個(gè)圖像塊均得到N個(gè)最優(yōu)匹配結(jié)果，根據(jù)K順準(zhǔn)則對 N個(gè)最優(yōu)匹配結(jié)果排列計(jì)算得到待識別測試圖像中圖像塊的顯著程度，結(jié)合所有圖像塊的 顯著程度得到待識別測試圖像的注意力顯著圖； 步驟6,根據(jù)步驟5中得到的注意力顯著圖和步驟4中提取的ColorSIFT特征對待識別 測試圖像與參考圖像序列中每一幅圖像逐一進(jìn)行雙向的相似度計(jì)算，將得到的最大相似度 所對應(yīng)的參考圖像作為待識別測試圖像的匹配目標(biāo)，則將攝像機(jī)i中待識別測試圖像中的 目標(biāo)在攝像機(jī)j中識別出來。
2. 根據(jù)權(quán)利要求1所述的一種多攝像機(jī)監(jiān)控網(wǎng)絡(luò)中目標(biāo)再識別的方法，其特征在于， 步驟2具體按照W下方法實(shí)施： 步驟2. 1，分別寫出攝像機(jī)i和攝像機(jī)j中的亮度轉(zhuǎn)移函數(shù)； 攝像機(jī)i中的亮度轉(zhuǎn)移函數(shù)表達(dá)式為： Bi (p, ti) = gi (Gi (ti) M (p) Yi (ti) Xi (ti)) (1) 式中，Bi (p，ti)為目標(biāo)表面一點(diǎn)p，ti時(shí)刻在攝像機(jī)i上的成像亮度，G i (ti)為攝像機(jī)i 在ti時(shí)刻的光照、M(p)為目標(biāo)表面p點(diǎn)反射屬性、Yi(ti)為攝像機(jī)i的鏡頭參數(shù)，Xi(ti)為 攝像機(jī)i的曝光時(shí)間，& (?)為攝像機(jī)i的成像函數(shù)； 攝像機(jī)j中的亮度轉(zhuǎn)移函數(shù)的表達(dá)式為： Bj (p, tj) = gj (