基于行人局部和整體融合匹配的無(wú)交疊視域攝像頭之間的不完整行人匹配方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及視頻監(jiān)控領(lǐng)域不同攝像頭之間的行人匹配方法，尤其設(shè)及一種基于行 人局部和整體融合匹配的無(wú)交疊視域攝像頭之間的不完整行人匹配方法。
【背景技術(shù)】
[0002] 當(dāng)前公共場(chǎng)合，常使用無(wú)交疊視域攝像頭進(jìn)行視頻監(jiān)控W擴(kuò)大監(jiān)控范圍和記錄行 人軌跡。運(yùn)其中的關(guān)鍵是實(shí)現(xiàn)不同攝像頭檢測(cè)到的行人之間的準(zhǔn)確匹配。然而在現(xiàn)實(shí)中行 人在運(yùn)動(dòng)過(guò)程中身體存在被遮擋的情況，行人常常是不完整的，導(dǎo)致了不完整行人匹配問(wèn) 題的出現(xiàn)，即一個(gè)攝像頭檢測(cè)到的由于遮擋等因素導(dǎo)致的不完整行人和另一個(gè)攝像頭檢測(cè) 到的完整行人之間的匹配問(wèn)題。
[0003] 近五年來(lái)出現(xiàn)了很多行人匹配的方法，如基于支持向量排序模型的匹配、基于相 對(duì)距離比較學(xué)習(xí)的統(tǒng)計(jì)方法、基于等價(jià)約束模型的貝葉斯距離、基于自適應(yīng)決策函數(shù)的匹 配、基于局部線性判別分析的匹配等方法。但是現(xiàn)有方法都基于能夠檢測(cè)到完整行人運(yùn)個(gè) 假設(shè)，忽略了不完整行人的存在，直接將所有行人手動(dòng)規(guī)整對(duì)齊到相同尺度后進(jìn)行匹配，導(dǎo) 致不完整行人失真嚴(yán)重，導(dǎo)致匹配準(zhǔn)確率嚴(yán)重低下。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種實(shí)用性強(qiáng)、可明顯提高不完整 行人匹配準(zhǔn)確率的基于行人局部和整體融合匹配的不同攝像機(jī)之間的行人匹配方法。本方 法允許不對(duì)行人進(jìn)行手動(dòng)規(guī)整對(duì)齊，從而保持不完整行人的原始信息。本方法融合了行人 局部和整體的信息進(jìn)行匹配，與現(xiàn)有方法相比，尤其針對(duì)大幅度遮擋的情形的不完整行人 匹配，大幅提高了不完整行人的匹配準(zhǔn)確率。
[000引為了達(dá)到上述目的，本發(fā)明采用W下技術(shù)方案：
[0006] -種基于行人局部和整體融合匹配的無(wú)交疊視域攝像頭之間的不完整行人匹配 方法，該方法包括下述步驟：
[0007] (1)建立行人局部匹配模型；
[0008] (2)建立行人整體匹配模型；
[0009] (3)融合局部模型和整體模型實(shí)現(xiàn)不完整行人的匹配。
[0010] 作為優(yōu)選的，所述步驟（1)中，行人局部匹配模型是在允許無(wú)手動(dòng)對(duì)齊的情況下， 對(duì)不完整行人和完整行人在局部信息上的匹配關(guān)系進(jìn)行建模得到的，根據(jù)行人局部匹配模 型可W計(jì)算得到不完整行人和完整行人之間的局部匹配的相似度信息。
[0011] 作為優(yōu)選的，所述步驟(1)中，建立行人局部匹配模型的具體方法為：
[0012] 對(duì)于攝像頭camA中檢測(cè)到的不完整行人Pa，其特征矩陣被表示為Y=[yi，y2，···， yn ]，其中Y的每一列是Pa的一個(gè)局部特征向量，η是Pa局部特征向量的數(shù)量，對(duì)于攝像頭camB 中檢測(cè)到的C個(gè)完整行人巧，ce[l間，其特征矩陣被表示為D。二扣,，《1&，，"，(1&。]，八[1，巧，. 其中Dc的每一列是的一個(gè)局部特征向量，k。是Pge局部特征向量的數(shù)量，首先組合C個(gè)完 整行人的特征矩陣得至化=[Di，化，…，Dc]，再利用特征矩陣D為Pa的η個(gè)局部特征向量yi，ie [l，n]分別計(jì)算一個(gè)重構(gòu)表達(dá)系數(shù)XI，使其滿足yi =化1，最后利用巧?的特征矩陣Dc對(duì)于Pa的 每個(gè)局部特征向量的重構(gòu)誤差之和來(lái)確定Pa和之間的局部距離：
I其中，δ。用來(lái)從xi中選擇與Dc對(duì)應(yīng)的重 構(gòu)系數(shù)。
[0013] 作為優(yōu)選的，所述步驟(2)中，行人整體匹配模型是在允許無(wú)手動(dòng)對(duì)齊的情況下， 對(duì)不完整行人和完整行人在整體信息上的匹配關(guān)系進(jìn)行建模得到的，根據(jù)行人整體匹配模 型可W計(jì)算得到不完整行人和完整行人之間的整體匹配的相似度信息。
[0014] 作為優(yōu)選的，所述步驟(2)中，建立行人整體匹配模型具體為：
[0015] 對(duì)于所有的行人圖像，我們?cè)试S不進(jìn)行手動(dòng)對(duì)齊，而是根據(jù)攝像頭camA中檢測(cè)到 的不完整行人Pa的大小設(shè)置一個(gè)窗口，在攝像頭came中檢測(cè)到的完整行人if上進(jìn)行滑動(dòng)捜 索，每次滑動(dòng)后計(jì)算一次當(dāng)前窗口中的行人與Pa的距離，最后取最小的距離作為Pa和的 整體距離聲/。扣/(化4,錢）。
[0016] 作為優(yōu)選的，所述步驟(3)中，是對(duì)攝像頭camA中檢測(cè)到的不完整行人Pa，在攝像頭 came中檢測(cè)到的C個(gè)完整行人巧，('E[1，C]中找到與其匹配的行人，與Pa匹配的行人可由 公
確定，其中，戶;^ )是將步驟（1)中得到的局部信息（比 如距離dlDcal)和步驟(2)中得到的整體信息（比如距離dglDbal)結(jié)合計(jì)算得到的不完整行人Pa 和完整行人之間的最終距離。
[0017] 本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點(diǎn)和有益效果：
[0018] 1、本發(fā)明允許對(duì)行人進(jìn)行無(wú)手動(dòng)對(duì)齊的建模，與現(xiàn)有的行人匹配技術(shù)直接將所有 行人手動(dòng)對(duì)齊到相同圖像尺度的做法相比，有效地保持了不完整行人表觀信息的真實(shí)性。
[0019] 2、本發(fā)明建立的不完整行人局部匹配模型，利用行人局部信息的匹配關(guān)系進(jìn)行建 模，能夠較好的減少由于攝像頭角度變換和行人姿勢(shì)變化等因素導(dǎo)致行人形變帶來(lái)的影 響。
[0020] 3、本發(fā)明建立的不完整行人整體匹配模型，利用行人整體信息的匹配關(guān)系進(jìn)行建 模，增強(qiáng)了行人圖像在整體空間布局上的穩(wěn)定性。
[0021] 4、本發(fā)明融合局部匹配模型和整體匹配模型進(jìn)行最終的行人匹配，充分利用了兩 種匹配模型各自的優(yōu)點(diǎn)，實(shí)現(xiàn)了優(yōu)勢(shì)互補(bǔ)，與現(xiàn)有行人匹配技術(shù)相比，顯著地改善了無(wú)交疊 視域攝像頭之間不完整行人的匹配效果。
【附圖說(shuō)明】
[0022] 圖1為本發(fā)明的操作流程圖示(實(shí)例）。
[0023] 圖2為本發(fā)明方法的思想描述。
[0024] 圖3為不完整行人匹配數(shù)據(jù)集的行人圖像示例（第一行是由于遮擋等因素導(dǎo)致的 不完整行人圖像，第二行是對(duì)應(yīng)的完整行人圖像）。
[0025] 圖4為本發(fā)明與現(xiàn)有行人匹配方法在不完整行人匹配數(shù)據(jù)集上的CMC曲線結(jié)果對(duì) 比圖。
[0026] 圖5為本發(fā)明在不完整行人匹配數(shù)據(jù)集上的匹配結(jié)果示例圖。
【具體實(shí)施方式】
[0027] 下面結(jié)合實(shí)施例及附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)的描述，但本發(fā)明的實(shí)施方式不限 于此。
[002引實(shí)施例
[0029] 圖1示出了本發(fā)明的操作過(guò)程，由圖1可見(jiàn)，基于行人局部和整體融合匹配的無(wú)交 疊視域攝像頭之間的不完整行人匹配方法，包括下述步驟：
[0030] (1)建立無(wú)手動(dòng)對(duì)齊的行人局部匹配模型，計(jì)算不同行人之間的局部距離。在本實(shí) 施例中，行人被劃分為多個(gè)規(guī)則網(wǎng)格狀的圖像塊，并分塊提取顏色、LBP和冊(cè)G的組合特征。 具體地，對(duì)于攝像頭camA中檢測(cè)到的不完整行人Pa，提取其每一個(gè)圖像塊的特征向量構(gòu)成特 征矩陣Y=[yi，y2,…，yn]。對(duì)于攝像頭ca郵中檢測(cè)到的C個(gè)完整巧人巧，。￡[1，（：]，分別提 取其每一個(gè)圖像塊的特征向量構(gòu)成C個(gè)特征矩陣
并 組合得至化二帕瓜，…，Dc]。為了利用特征矩陣D為Pa的η個(gè)局部特征向量714￡[1，11]分別 計(jì)算一個(gè)滿足yi =化1的重構(gòu)系數(shù)XI，在本實(shí)施例中，首先構(gòu)造優(yōu)化模型如下：
[0031]
[0032] 為了提高XI的重構(gòu)質(zhì)量，我們?cè)诠舰僦屑尤雰蓚€(gè)約束項(xiàng)：第一個(gè)約束項(xiàng)引入相 似性約束，通過(guò)最小化Sfx^，增大D中相關(guān)特征向量對(duì)重構(gòu)yi的貢獻(xiàn)。其中，Si是由yi分別和 D中每一列特征向量d非勺相似度（根據(jù)公式
計(jì)算得 到)組成的相似度向量。第二個(gè)約束項(xiàng)引入稀疏約束，通過(guò)最小化llxi Ml,減少D中無(wú)關(guān)特征 向量對(duì)重構(gòu)yi的干擾。因此公式②可W轉(zhuǎn)化為：
[0033]
[0034 ]其中，α和β分別是控制對(duì)應(yīng)約束項(xiàng)的影響幅度的參數(shù)，在本實(shí)施例中α和β的取值 分別是5和0.3。在求解公式③得到最優(yōu)的重構(gòu)系數(shù)XI后，即可利用if的特征矩陣Dc對(duì)于Pa 每個(gè)局部特征向量的重構(gòu)誤差之和來(lái)確定Pa和G；'的局部距離：
其中，Sc用來(lái)從Xi中選擇與Dc對(duì)應(yīng)的重 構(gòu)系數(shù)。
[0035] (2)建立允許無(wú)手動(dòng)對(duì)齊的行人整體匹配模型，計(jì)算不同行人之間的整體距離。具 體地，在本實(shí)施例中，我們根據(jù)攝像頭camA中檢測(cè)到的不完整行人Pa的大小設(shè)置一個(gè)窗口， 在攝像頭came中檢測(cè)到的完整行人上進(jìn)行滑動(dòng)捜索。每次滑動(dòng)后計(jì)算一次當(dāng)前窗口中 的行人與Pa的距離。該距離通過(guò)計(jì)算當(dāng)前窗口中的行人圖像特征和Pa的圖像特征之差的一 范數(shù)得到。最后我們?nèi)∽钚〉木嚯x作為Pa和if的整體距離P廬;j)。在本實(shí)施例 中，顏色、LBP和HOG的組合特征被作為行人圖像特征，滑動(dòng)窗口步長(zhǎng)為5個(gè)像素點(diǎn)。
[0036] (3)融合局部模型和整體模型實(shí)現(xiàn)不完整行人的匹配(見(jiàn)圖5)。具體地，在本實(shí)施 例中，對(duì)于攝像頭camA中檢測(cè)到的不完整行人Pa和攝像頭came中檢測(cè)到的C個(gè)完整行人 if，C E [1, C]，其最終距離由局部距離和整體距離的加權(quán)和得到，即：
[0037]
[003引其中，丫用來(lái)調(diào)節(jié)局部距離和整體距離影響，在本實(shí)施例中丫取0.7。最后根據(jù)公 式
找出攝像頭ca郵下與Pa匹配的行人。
[0039] 本發(fā)明通過(guò)W下實(shí)驗(yàn)對(duì)本