基于人體部件位置約束的細(xì)粒度語(yǔ)義色彩行人重識(shí)別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于監(jiān)控視頻檢索技術(shù)領(lǐng)域，尤其設(shè)及一種基于人體部件位置約束的細(xì)粒 度語(yǔ)義色彩行人重識(shí)別方法。
【背景技術(shù)】
[0002] 行人重識(shí)別是指判斷不同監(jiān)控?cái)z像頭下出現(xiàn)的行人圖像是否屬于同一行人的技 術(shù)。由于多攝像頭下的行人圖像往往存在視角變化、光照變化、姿態(tài)變化和尺寸變化等，使 得相同行人之間的差異甚至比不同行人之間的還要大?，F(xiàn)有行人重識(shí)別技術(shù)大致可W分為 兩類：基于特征表示的行人重識(shí)別技術(shù)、基于尺度學(xué)習(xí)的行人重識(shí)別技術(shù)。而基于尺度學(xué)習(xí) 的行人重識(shí)別技術(shù)依賴大量人工標(biāo)記樣本，基于特征表示的行人重識(shí)別技術(shù)因此得到大量 關(guān)注。
[0003] 現(xiàn)有基于特征表示的行人重識(shí)別技術(shù)根據(jù)特征的類型可分為基于視覺特征和基 于語(yǔ)義特征的行人重識(shí)別技術(shù)兩類。
[0004] 基于視覺特征的行人重識(shí)別技術(shù)主要是指應(yīng)用視覺紋理特征和視覺顏色特征來 描述行人的外貌特征，例如[文獻(xiàn)1]的LBP特征和小波特征，[文獻(xiàn)2]的傳統(tǒng)視覺顏色直 方圖表示方法，但是基于視覺特征行人表示方法對(duì)環(huán)境魯棒性不夠強(qiáng)。
[0005] 基于語(yǔ)義特征行人重識(shí)別技術(shù)包括應(yīng)用語(yǔ)義色彩名來描述行人外貌特征，色彩名 是人類對(duì)視覺特征的形象表達(dá)（如"紅"，"綠"，"藍(lán)"等等），多種不同程度的紅色都會(huì)被映 射到紅色區(qū)間，因此對(duì)光照等環(huán)境變化具有更強(qiáng)的魯棒性。然而，現(xiàn)有基于顏色的特征描述 方法只用有限的顏色種類（11或者16種）來描述行人（稱之為粗粒度色彩名，如[文獻(xiàn) 3]，[文獻(xiàn)4]，[文獻(xiàn)引），一些具有判別能力的信息因此丟失。
[0006] 【文獻(xiàn)l】GrayD,TaoH.Viewpointinvariantpedestrianrecognition withanensembleoflocalizedfeatures.In:EuropeanConferenceonComputer Vision(ECCV). 262-275(2008).
[0007] 【文 南犬 2】KviatkovskyI,AdamA,RivlinE.Colorinvariantsforperson reidentification.In:TransactionsonPatternAnalysisandMachineIntelligence( TPAMI). 1622-1634(2013).
[0008]【文獻(xiàn) 3】KuoCH,趾amisS,化etV.Personre-identificationusing semanticcolornamesandrankboost.In:WorkshoponApplicationsofComputer Vision(WACV). 281-287(2013).
[000引 【文獻(xiàn) 4】YangY,YangJ'YanJ,etal.Salientcolornames forpersonre-identification.In:EuropeanConferenceonComputer Vision(ECCV). 536-551(2014).
[0010]【文獻(xiàn) 5】LiuY,ZhangD,LuG,etal.Region-basedimageretrieval withhigh-levelsemanticcolornames.In:Mu11imediaModelling Conference(MMM). 180-187 (200f5).

【發(fā)明內(nèi)容】

[0011] 為了解決上述技術(shù)問題，本發(fā)明提出了一種基于人體部件位置約束的細(xì)粒度語(yǔ)義 色彩行人重識(shí)別方法。
[0012] 本發(fā)明所采用的技術(shù)方案是：一種基于人體部件位置約束的細(xì)粒度語(yǔ)義色彩行人 重識(shí)別方法，其特征在于：包括離線處理過程、在線處理過程兩個(gè)階段；
[0013] 步驟1 :離線處理過程，即在訓(xùn)練數(shù)據(jù)集上進(jìn)行訓(xùn)練，是將所有圖像分成無(wú)數(shù)個(gè)無(wú) 序的nXn的局部塊，每塊提取其顏色特征，并用K近鄰方法對(duì)其聚類，類別總數(shù)K即是碼本 的尺寸，每一類稱之為一個(gè)碼詞，那么每個(gè)圖像塊便可W用若干個(gè)運(yùn)樣的碼詞表示；
[0014] 步驟2 :在線處理過程，包括行人特征表示和行人距離度量?jī)蓚€(gè)步驟；所述行人特 征表示又包括行人細(xì)粒度語(yǔ)義色彩表示和基于人體部件位置約束的行人細(xì)粒度語(yǔ)義色彩 表示兩個(gè)子步驟；
[0015] 所述行人細(xì)粒度語(yǔ)義色彩表示的實(shí)現(xiàn)過程，是計(jì)算每個(gè)行人圖像塊的顏色特征與 碼本中每個(gè)碼詞的歐式距離，其中距離的倒數(shù)表示為該碼詞的發(fā)生概率，即碼詞系數(shù)，運(yùn)樣 每個(gè)顏色塊就能用K個(gè)碼詞去表示，從而得到細(xì)粒度語(yǔ)義色彩模型；
[0016] 所述基于人體部件位置約束的行人細(xì)粒度語(yǔ)義色彩表示的實(shí)現(xiàn)，包括W下子步 驟：
[0017] 步驟2. 1 :確定位置權(quán)重，按照?qǐng)D像塊位于圖像中的位置給W其不同的權(quán)重；
[0018] 通過給2D行人圖像特征附加基于距離的高斯模板，給每個(gè)局部塊特征賦予不同 的高斯權(quán)重，高斯模板形式為：NUy，〇、，iiy，Oy)，x，y分別表示行人圖像的橫縱坐標(biāo)， Wx，Wy分別表示行人圖像水平和垂直的高斯均值，0X，Oy分別表示行人圖像水平和垂直 的局斯標(biāo)準(zhǔn)差；
[0019] 步驟2.2:進(jìn)行上下約束；
[0020] 通過將行人圖像按條分割、按條度量特征間距離，將行人圖像等分成M個(gè)水平條 紋，運(yùn)些水平條紋由若干個(gè)不同的局部塊組成，基于步驟1和步驟2. 1，每個(gè)圖像局部塊能 表示為h=化i，h2,…，hMA，…，hk)，h代表局部塊中所有碼詞的發(fā)生率，也即帶權(quán)重的距離的 倒數(shù)，k是碼本總數(shù)；檢測(cè)每段條紋中所有水平位置塊，并將對(duì)應(yīng)水平塊中對(duì)應(yīng)碼詞系數(shù)相 加，那么第m個(gè)條紋的特征直方圖能表示為cT行人圖像的顏色特征表示為f=(山，d2,… ，cT，…，(f)T，cT第m個(gè)條紋的特征直方圖，f為所有水平條紋特征的集合；
[0021] 步驟2. 3 :進(jìn)行漂移矯正，通過同時(shí)匹配對(duì)應(yīng)位置周圍的行人特征從而減少因位 置漂移引起的特征誤匹配；
[0022] 每個(gè)行人圖像的顏色特征表示為f，此時(shí)，選擇窗口，其長(zhǎng)度U為圖像長(zhǎng)度，寬 度V為t個(gè)水平條紋的寬度，1，窗口步長(zhǎng)為1，行人顏色特征能表示為（1 + ^^ ) 個(gè)重疊的水平條紋，即行人顏色特征直方圖進(jìn)一步由f= (di，d2,…，cT，…，(f)T，表示為
，《?^表示水平條紋中碼詞對(duì)應(yīng)發(fā)生率相加的結(jié)果，其中# 和所對(duì)應(yīng)條紋間存在特征重疊.
[0023] 作為優(yōu)選，所述在訓(xùn)練數(shù)據(jù)集上訓(xùn)練，是在獨(dú)立的TUD-Brrussels數(shù)據(jù)集上進(jìn)行 訓(xùn)練。
[0024] 作為優(yōu)選，所述行人細(xì)粒度語(yǔ)義色彩表示的實(shí)現(xiàn)過程中，在每個(gè)顏色塊的K個(gè)碼 詞中選取M個(gè)距離最小的碼詞系數(shù)用來表示每個(gè)圖像塊，即將每個(gè)圖像局部塊量化為M個(gè)碼詞表示。
[00巧]與現(xiàn)有特征表示方法相比，本發(fā)明具有一下有點(diǎn)和有益效果
[0026] ①與現(xiàn)有專利相比，本發(fā)明著眼于基于語(yǔ)義色彩特征為行人圖像找到一種合適的 特征表述；
[0027] ②與現(xiàn)有專利相比，本發(fā)明著眼于細(xì)粒度的語(yǔ)義色彩表示，即用訓(xùn)練出的碼本來 表示顏色特征，從而使得行人特征具有更強(qiáng)的辨別能力；
[0028] ③與現(xiàn)有專利相比，本發(fā)明從=個(gè)方面細(xì)化特征間的人體部件位置約束關(guān)系。分 別是位置權(quán)重，上下約束W及漂移矯正，從而使得特征間具有更強(qiáng)的約束和依賴關(guān)系，從特 征位置約束的角度看，使得方法的拓展性和適用性很強(qiáng)。
【附圖說明】
[002引圖1 :本發(fā)明實(shí)施例的流程圖；
[0030] 圖2 :本發(fā)明實(shí)施例的行人的細(xì)粒度語(yǔ)義色彩表示示意圖；
[0031] 圖3 :本發(fā)明實(shí)施例在VIPeR上的平均CMC值示意圖。
【具體實(shí)施方式】
[0032] 為了便于本領(lǐng)域普通技術(shù)人員理解和實(shí)施本發(fā)明，下面結(jié)合附圖及實(shí)施例對(duì)本發(fā) 明作進(jìn)一步的詳細(xì)描述，應(yīng)當(dāng)理解，此處所描述的實(shí)施示例僅用于說明和解釋本發(fā)明，并不 用于限定本發(fā)明。
[0033] 本發(fā)明基于語(yǔ)義色彩特征對(duì)變化的環(huán)境具有更強(qiáng)的魯棒性，是對(duì)視覺特征的一種 很好的補(bǔ)充的想法，考慮用語(yǔ)義顏色特征來表示行人，并將圖像檢索中的詞袋模型與語(yǔ)義 顏色特征表示方法結(jié)合，從而細(xì)化色彩區(qū)間，增加色彩種類，本發(fā)明稱之為細(xì)粒度語(yǔ)義色彩 模型，同時(shí)，本發(fā)明認(rèn)為圖像不同區(qū)域具有不同的重要程度，圖像區(qū)域上下漂移范圍小，具 有上下特征不變性，因此，在該模型中進(jìn)一步引入人體部件位置約束，稱之為基于人體部件 位置約束的細(xì)粒度語(yǔ)義色彩行人重識(shí)別。
[0034] 本實(shí)例采用MATLAB7作為仿真實(shí)驗(yàn)平臺(tái)，在數(shù)據(jù)集VIPeR上進(jìn)行行人重識(shí)別測(cè)試。 VIPeR數(shù)據(jù)集有兩個(gè)攝像頭下的632個(gè)行人圖像對(duì)，兩個(gè)攝像頭之間存在明顯的視角、光照 等差異。在TUD-化ussels數(shù)據(jù)集上訓(xùn)練碼本，n= 4,k= 500,M= 10,M= 32, 1 = 2， t= 5,W下針對(duì)上述實(shí)施例對(duì)本發(fā)明做進(jìn)一步的闡述，請(qǐng)見圖1，本發(fā)明提供一種基于人體 部件位置約束的細(xì)粒度語(yǔ)義色彩行人重識(shí)別方法，包括離線處理過程、在線處理過程兩階 段；
[0035] 步驟1 :離線處理過程，即在TUD-Brussels數(shù)據(jù)集上進(jìn)行訓(xùn)練；
[0036] 首先將所有圖像變成統(tǒng)一的128*48的尺寸，TUD-Brussels數(shù)據(jù)集用來訓(xùn)練顏色 碼本，VIPeR數(shù)據(jù)集用來做算法測(cè)試，將VIPeR數(shù)據(jù)集中所有行人圖像均分成兩部分，一部 分用于訓(xùn)練度量距離矩陣，另一部分用于測(cè)試，再提取數(shù)據(jù)集中每個(gè)行人圖像的簡(jiǎn)單顏色 特征；
[0037] 然后將所有圖像分成無(wú)數(shù)個(gè)無(wú)序的nXn的局部塊，每塊提取其顏色特征，并用K 近鄰方法對(duì)其聚類，類別總數(shù)K即是碼本的尺寸，每一類稱之為一個(gè)碼詞，那么每個(gè)圖像塊 便可W用若干個(gè)運(yùn)樣的碼詞表示；
[0038] 步驟2 :在線處理過程，包括行人特征表示和行人距離度量?jī)蓚€(gè)步驟；行人特征表 示又包括行人細(xì)粒度語(yǔ)義色彩表示和基于人體部件位置約束的行人細(xì)粒度語(yǔ)義色彩表示 兩個(gè)子步驟；
[0039] (1)行人細(xì)粒度語(yǔ)義色彩表示；
[0040] 將測(cè)試集中圖片分成nXn的局部塊，計(jì)算每個(gè)行人圖像塊的顏色特征與碼本中 每個(gè)碼詞的歐式距離，其中距離的倒數(shù)為碼詞表示該碼詞發(fā)生率，運(yùn)樣每個(gè)顏色塊就可W 用K個(gè)碼詞去表示，本專利稱之為細(xì)粒度語(yǔ)義色彩模型。請(qǐng)見圖2,基于魯棒性考慮，本專利 選取其中M個(gè)距離最小的碼詞用來表示每個(gè)圖像塊，即將每個(gè)圖像局部塊量化為M個(gè)碼 詞，。
[0041] 似基于人體部件位置約束的行人細(xì)粒度語(yǔ)義色彩表示；
[0042] ①確定位置權(quán)重；
[0043] 基于位于行人中央的特征具有更強(qiáng)的更可靠，而位于圖像邊緣的特征容易受背景 等干擾的先驗(yàn)知識(shí)，因此可W按照?qǐng)D像塊位于圖像中的位置給W其不同的權(quán)重，也即賦予 基于位置的特征W不同的可靠程度。
[0044] 通過給行人圖像特征附加基于距離的高斯模板，本發(fā)明將每個(gè)局部塊特征賦予不 同的高斯權(quán)重，高斯模板形式為：N(iiy，〇、，iiy，Oy)，x，y分別表示行人圖像的橫縱坐標(biāo)， Wx，Wy分別表示行人圖像水平和垂直的高斯均值，0X，Oy分別表示行人圖像水平和垂直 的高斯標(biāo)準(zhǔn)差，y、，y,被設(shè)置為圖像中屯、，0、，Oy均賦值為1。
[0045] ②進(jìn)行上下約束；
[0046] 行人特征具有上下特征總體一致性，相對(duì)而言，因視頻圖像中，90度等視角的變化 時(shí)有發(fā)生，行