本發(fā)明涉及計算機視覺與圖像處理技術(shù)，尤其涉及一種用于行人重識別的圖像魯棒性特征的提取方法。
背景技術(shù)：
：近年來，隨著人們對社會公共安全的要求日漸提升，視頻監(jiān)控系統(tǒng)大量普及，如何利用計算機視覺分析技術(shù)，自動化監(jiān)控及分析視頻信息，成為關(guān)注的熱點。行人重識別是計算機視覺研究中關(guān)鍵的任務(wù)。一般來說，給定關(guān)于行人的一張圖片或者一段視頻，行人重識別就是在其它不重合拍攝場景下的圖片或者視頻中，將同一個人識別出來的過程。盡管相關(guān)的研究越來越受到重視，行人重識別的準(zhǔn)確率也已經(jīng)提高了不少，但仍有許多困難需要解決，比如姿態(tài)的變化、光照和無關(guān)背景的影響等等?，F(xiàn)有傳統(tǒng)的行人重識別框架主要由特征提取和度量學(xué)習(xí)兩部分構(gòu)成。不過，目前大多數(shù)方法在提取圖像特征的過程中，都忽略了無關(guān)背景信息的影響，使得提取好的圖像特征帶有較多的噪聲；其次，為了解決由于拍攝角度不一以及行人姿態(tài)的變化問題，大多數(shù)方法采取了非精確匹配的策略，使用特定的方式將不同圖像塊之間的特征進(jìn)行融合，效果頗為顯著，但同時也損失了一部分圖像內(nèi)部的空間信息，使得在分辨一些具有相對位置差異的圖像上，能力大大降低。技術(shù)實現(xiàn)要素：為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供一種用于行人重識別的圖像特征的提取方法，，基于圖像顏色和紋理特征，在精確匹配的策略下提出新的對齊局部描述子，并設(shè)計分級全局特征與之互補，解決由于行人姿態(tài)變化等帶來的特征不對齊等問題，提高行人重識別的精確度。本發(fā)明的原理是：提出了應(yīng)用于行人重識別的對齊局部描述子和分級全局特征提取算法。本發(fā)明針對現(xiàn)有特征提取方法中非精確匹配策略帶來的缺陷，提出基于精確匹配策略下的對齊局部描述子，以及為了消除無關(guān)背景的影響，提出了分級全局特征，通過對齊局部描述子與分級全局特征提取，提高行人重識別的性能。對齊局部描述子保留了圖像內(nèi)部塊與塊之間的空間信息，同時為了解決圖像之間的不對齊問題，采用了仿射變換對原圖像進(jìn)行處理，得到包括原圖在內(nèi)的水平翻轉(zhuǎn)和切變的四張圖像，通過疊加，僅對相鄰區(qū)域的圖像塊特征進(jìn)行求和池化操作，得到對齊局部描述子。為了豐富圖像特征的表達(dá)以及消除背景信息的影響，對原圖像中行人的整體輪廓區(qū)域及其頭部、上半身和下半身分別計算全局特征，最后整合成分級全局特征。實驗證明，對齊局部描述子和分級全局特征有助于解決姿態(tài)變化問題和弱化背景的影響，保留的圖像內(nèi)部空間信息也有助于行人匹配精度的提高。對齊局部描述子是基于精確匹配策略所提出來的一種特征，即對于圖像內(nèi)部的塊，提取其相應(yīng)的顏色和紋理特征，保留該圖像塊的位置信息，不與圖像內(nèi)其它塊的特征融合。為了解決行人姿態(tài)變化帶來兩張圖像之間的不對齊問題，采用了仿射變換方法對原始圖像進(jìn)行了處理，如水平翻轉(zhuǎn)和水平切變，得到關(guān)于同一張圖像的四種不同角度的圖像擴(kuò)充。緊接著，在空間上將四張圖像疊加在一起，以圖像塊的特征為基礎(chǔ)，對相同圖像區(qū)域的圖像塊特征進(jìn)行求和池化操作，作為該圖像塊最終的描述子。分級全局特征是基于與局部特征互補的作用而提出來的。傳統(tǒng)的全局特征是對整幅圖像統(tǒng)計相應(yīng)的顏色和紋理信息，提取的全局特征往往包含大量的背景信息，而且空間信息紊亂，對于結(jié)構(gòu)差異大但統(tǒng)計信息一致的圖像，極易造成誤差。分級全局特征不僅考慮到背景的影響，還把屬于行人的區(qū)域的圖像塊按照頭部、上半身和下半身的人體結(jié)構(gòu)進(jìn)行分組，并對涵蓋重要信息的上半身進(jìn)一步分組，總共三級劃分，增強了全局特征的辨識力。本發(fā)明提供的技術(shù)方案是：一種圖像特征提取方法，通過對齊局部描述子提取和分級全局特征提取，進(jìn)行行人重識別；所述對齊局部描述子提取采用仿射變換對原圖像進(jìn)行處理，僅對相鄰區(qū)域的圖像塊特征進(jìn)行求和池化操作而得到對齊局部描述子；所述對齊局部描述子保留圖像內(nèi)部塊與塊之間的空間信息；所述分級全局特征提取對定位的行人區(qū)域塊進(jìn)行分級，通過求取相應(yīng)特征均值得到全局特征；包括如下步驟：1)對圖像進(jìn)行了預(yù)處理，以消除光照對圖像的影響；為了消除光照對圖像的影響，本發(fā)明采用了多尺度retinex算法對圖像進(jìn)行了預(yù)處理；在去除背景信息時，借助了通過元胞自動機進(jìn)行顯著性檢測的前景提取方法；關(guān)于圖像塊的表達(dá)，顏色信息使用了nrgb、lab和hsv三種顏色空間直方圖，紋理信息使用了尺度不變局部三值模式(siltp)統(tǒng)計直方圖。2)提取對齊局部描述子，主要包括以下步驟：21)對圖像進(jìn)行仿射變換，得到多張圖像(包括原圖及變換后的圖像)；22)分別對上一步得到的每張圖像進(jìn)行圖像塊分割，提取特征，生成相應(yīng)的特征圖；23)在空間上疊加所有特征圖，對相鄰位置的圖像塊特征進(jìn)行求和池化操作，得到相應(yīng)局部描述子；24)根據(jù)局部描述子在圖像中所在的位置，將它們按從左上到右下的順序連接起來，得到對齊局部描述子；3)提取分級全局特征，主要分為以下步驟：31)使用前景提取方法對圖像進(jìn)行顯著性檢測，得到相應(yīng)的顯著圖；32)將上一步得到的顯著圖進(jìn)行對比增強；33)定位屬于行人區(qū)域的圖像塊；34)針對人體的特殊結(jié)構(gòu)，將屬于行人的圖像塊按照三個不同層級進(jìn)行歸類；35)對每一級圖像塊進(jìn)行平均池化操化，得到該級特征；36)對三級特征首尾連接起來，得到分級全局特征；4)根據(jù)步驟2)提取得到的對齊局部描述子和步驟3)提取得到的分級全局特征，使用現(xiàn)有的xqda(cross-viewquadraticdiscriminantanalysis，交叉視覺二次判別分析)方法作為度量學(xué)習(xí)方法，計算圖像的相似性，由此進(jìn)行行人重識別。與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：本發(fā)明提供一種行人重識別方法，通過對齊局部描述子的提取，保留了圖像局部塊之間的空間信息，并解決由于行人姿態(tài)變化等帶來的特征不對齊問題；通過分級全局特征提取，消除無關(guān)背景帶來的影響；通過結(jié)合提取的對齊局部描述子和分級全局特征，提高行人重識別的精度和魯棒性。具體地，本發(fā)明具有以下優(yōu)點：(一)本發(fā)明方法保留不相關(guān)圖像塊的相對位置信息?，F(xiàn)有行人重識別方法在特征提取過程中經(jīng)常忽略，而本發(fā)明通過增加不相關(guān)圖像塊的相對位置信息，可讓后續(xù)匹配的準(zhǔn)確率更高；(二)本發(fā)明方法使用仿射變換對輸入圖片進(jìn)行處理，可以一定程度上解決由于行人姿態(tài)變化或拍攝角度不一帶來的特征不對齊問題；(三)本發(fā)明方法使用多個層級的行人區(qū)域圖像塊提取全局特征，可以提高全局特征的魯棒性。附圖說明圖1是對齊局部描述子提取過程示意圖；其中，(a)為對原圖像進(jìn)行仿射變換(水平剪切和水平翻轉(zhuǎn))，分別得到四張變換后的圖像；(b)為分別對每一張圖像進(jìn)行圖像塊的特征提取過程；(c)為將四張?zhí)卣鲌D在空間上疊加在一起；(d)為對相鄰圖像塊的特征進(jìn)行求和池化操作，得到多個局部描述子；(e)為將每個局描部描述子向量相連，得到最終的對齊局部描述子。圖2是分級全局特征提取過程示意圖；其中，(a)為通過顯著性檢測到顯著圖；(b)為對顯著圖進(jìn)行對比度增強；(c)為對屬于行人區(qū)域圖像塊進(jìn)行定位；(d)為對所有屬于行人的圖像塊特征進(jìn)行第一級全局特征提?。?e)為對所有屬于行人的圖像塊分成頭部、上半身和下半身三個部分，提取第二級全局特征；(f)為對所有屬于行人上半身的圖像塊分成三個部分，提取第三級全局特征；圖3是本發(fā)明實施例在viper數(shù)據(jù)集上與使用lomo特征匹配效果對比。圖4是本發(fā)明實施例在viper數(shù)據(jù)集上的cmc結(jié)果。圖5是本發(fā)明實施例在qmulgrid數(shù)據(jù)集上與使用lomo特征匹配效果對比。圖6是本發(fā)明實施例在qmulgrid數(shù)據(jù)集上的cmc結(jié)果。具體實施方式下面結(jié)合附圖，通過實施例進(jìn)一步描述本發(fā)明，但不以任何方式限制本發(fā)明的范圍。本發(fā)明針對現(xiàn)有圖像特征提取方法中非精確匹配策略帶來的缺陷，提出基于精確匹配策略下的對齊局部描述子和分級全局特征。對齊局部描述子保留了圖像內(nèi)部塊與塊之間的空間信息，同時為了解決圖像之間的不對齊問題，采用了仿射變換對原圖像進(jìn)行處理，得到包括原圖在內(nèi)的水平翻轉(zhuǎn)和切變的四張圖像，通過疊加，對相同區(qū)域的圖像塊特征進(jìn)行求和池化操作，得到對齊局部描述子。為了豐富圖像特征的表達(dá)，對原圖像中行人的整體輪廓區(qū)域及其頭部、上半身和下半身分別計算全局特征，最后整合成分級全局特征。實驗證明，對齊局部描述子和分級全局特征有助于解決姿態(tài)變化問題，保留的圖像內(nèi)部空間信息有助于行人匹配精度的提高。圖1示意了對齊局部描述子的提取流程，首先是仿射變換，然后是圖像塊的特征提取，接著對相鄰圖像塊的特征向量進(jìn)行求和池化操作，最后把不同的局部描述子連接到一起作為圖片的對齊局部描述子。具體實施中，提取對齊局部描述子的過程具體包括如下步驟：1.把圖片統(tǒng)一縮放到128*48大小，并使用文獻(xiàn)[1](d.j.jobson,z.-u.rahman,andg.a.woodell.amultiscaleretinexforbridgingthegapbetweencolorimagesandthehumanobservationofscenes.imageprocessing,ieeetransactionson,6(7):965–976,1997)記載的多尺度retinex算法消除光照影響，得到預(yù)處理后的圖片i，其中尺度參數(shù)分別為σ＝5和σ＝20。2.仿射變換。對預(yù)處理后的圖片i進(jìn)行水平翻轉(zhuǎn)，得到圖片ii，分別對圖片i和ii進(jìn)行水平剪切變換，產(chǎn)生相應(yīng)圖片iii和iv，水平剪切變換具體如式1所示：其中，λ為剪切變換參數(shù)，方法中使用λ＝0.2。3.分別對上一步得到的四張圖片(i、ii、iii和iv)求圖像塊的特征。具體采用滑動窗口方法，對窗口內(nèi)的圖像塊提取8*8*8維的nrgb和hsv顏色直方圖、32維的lab顏色直方圖以及兩個閾值為0.3的尺度不變局部三值模式(siltp)統(tǒng)計直方圖，兩個siltp的比較半徑r分別為3和5個像素，其中滑動窗口大小為8*8，步長為4*4，每張圖像在同一水平方向上通過滑動窗口可以得到n個圖像塊，在同一垂直方向上得到m個圖像塊，提取相應(yīng)的特征后得到一張?zhí)卣鲌D，其中有m*n個點，每個點對應(yīng)一個圖像塊的特征向量，記作上述滑動窗口方法中，nrgb是將原來的rgb三通道彩色圖片中的每一通道的像素值(原來是0-255)變到指定的0-8的范圍，8*8*8是將每一通道都縮放到0-8之間，再進(jìn)一步求相應(yīng)顏色直方圖。比較半徑r是指目標(biāo)元素點與離自己r個像素遠(yuǎn)的像素比較大小。4.在空間上疊加四個特征向量圖，對相鄰位置的圖像塊特征進(jìn)行求和池化操作，得到相應(yīng)局部描述子，如式2所示：其中：其中，代表了第i張?zhí)卣鲌D中第m行第n列的圖像塊特征向量，將相鄰的16個圖像塊特征向量相加，得到的表示一個局部描述子，其中p和q為正整數(shù)，分別表示為局部描述子所在的位置；5.最后，根據(jù)所有局部描述子在特征圖的位置，按從左上到右下的順序首尾連接成一個特征向量，作為整幅圖片的對齊局部描述子。圖2示意了分級全局特征的提取流程，首先對圖片進(jìn)行顯著性檢測，然后對相同水平方向上的元素值進(jìn)行對比度增強，接著對圖片進(jìn)行二值化處理，通過滑動窗口的方法定位行人區(qū)域塊，對行人區(qū)域塊進(jìn)行分級求取相應(yīng)特征均值。提取分級全局特征的過程具體包括如下步驟：1.把圖片統(tǒng)一縮放到128*48大小，并使用文獻(xiàn)[1](d.j.jobson,z.-u.rahman,andg.a.woodell.amultiscaleretinexforbridgingthegapbetweencolorimagesandthehumanobservationofscenes.imageprocessing,ieeetransactionson,6(7):965–976,1997)所述的多尺度retinex算法消除光照影響，其中尺度參數(shù)分別為σ＝5和σ＝20。2.使用文獻(xiàn)[2](y.qin,h.lu,y.xu,andh.wang,"saliencydetectionviacellularautomata,"incomputervisionandpatternrecognition(cvpr),2015,pp.110-119)記載的方法對預(yù)處理后的圖片進(jìn)行前景提取,得到相應(yīng)的顯著圖。3.采用式3對提取得到的顯著圖作對比增強：其中，分子pr,i為第r行第i列的元素值，分母為該行元素的極差。得到該行每列元素的p′r,i值后，統(tǒng)一對該行元素進(jìn)行更新。4.使用文獻(xiàn)[3](n.otsu,"thresholdselectionmethodfromgray-levelhistograms,ieeetransactionsonsystemsmanandcybernetics,"systemsman&cyberneticsieeetransactionson,vol.9,no.1,pp.62-66,1979)中記載的otsu算法自適應(yīng)選取閾值，對上一步得到的結(jié)果進(jìn)行二值化處理，得到相應(yīng)的二值圖。5.采用滑動窗口的方法對二值圖進(jìn)行掃描，其中窗口大小為10*10，步長為5*5，對窗口內(nèi)的元素值求和，其中把大于設(shè)定閾值(如50)的窗口定義為行人區(qū)域，其它則為無關(guān)區(qū)域。6.按照提取對齊局部描述子圖像塊特征的方法，對行人區(qū)域的圖像塊提取顏色和紋理特征。7.可將得到的行人區(qū)域的圖像塊劃分為3個層級。第一級為人的整體(即全部圖像塊)，第二級是按人體的頭、上身、下身分，第三級是按人體上身的重要性來細(xì)分三塊。本實施例中，層級1為所有行人區(qū)域圖像塊；層級2按照圖像塊所在垂直方向上的位置分為頭部區(qū)、上半身和下關(guān)身區(qū)域，其中行數(shù)小于等于15為頭部區(qū)，行數(shù)大于等于60為下半身區(qū)、中間為上半身區(qū)；層級3按照上半身圖像塊的垂直位置再細(xì)分為3個區(qū)，分界條件為：圖像塊所屬位置在15到30行之間為一區(qū)、在30到45行之間為一區(qū)、在15到60行為一區(qū)。對不同層級里的圖像塊特征向分別作平均池化操作，分別得到7個特征向量，然后連接在一起，作為最終的分級全局特征。8.最后，通過采取xqda作為度量學(xué)習(xí)方法，通過式4計算兩張圖像之間的相似性，值越小即說明特征之間距離越小，對應(yīng)的兩張圖片越相似：其中，d(x,z)是指兩張圖像(x和z)之間的距離，越小則表明越相似；dw(f1,f2)是xqda距離函數(shù)，分別為圖像x的對齊局部描述子和分級全局特征，其中β表示全局特征的權(quán)重，在這里β＝1.3。本發(fā)明具體實施中，將本發(fā)明方法與現(xiàn)有其他方法進(jìn)行對比分析，以驗證本發(fā)明方法的有效性。表1和表2中，lomo(localmaximumoccurrence，局部直方圖最大頻數(shù)特征)在文獻(xiàn)(s.liao,y.hu,x.zhu,ands.z.li,personre-identi_cationbylocalmaximaloccurrencerepresentationandmetriclearning,"incomputervisionandpatternrecognition(cvpr),2015,pp.2197-2206.)中記載。scncd(salientcolornamesbasedcolordescriptor，基于顏色描述子的顯著顏色名)在文獻(xiàn)(y.yang,salientcolornamesforpersonre-identification,"ineuropeanconferenceoncomputervision(eccv),2014,pp.536-551.)中記載。kbicov(covariancedescriptorbasedonbio-inspiredfeatures,基于生物啟發(fā)特征的協(xié)方差描述子)在文獻(xiàn)(b.ma,y.su,andf.jurie,covariancedescriptorbasedonbio-inspiredfeaturesforpersonre-identificationandfaceverification,"image&visioncomputing,vol.32,no.6-7,pp.379-390,2014.)中記載。ldfv(localdescriptorsencodedbyfishervectors,使用fisher向量編碼的局部描述子)在文獻(xiàn)(b.ma,y.su,andf.jurie,localdescriptorsencodedbyfishervectorsforpersonre-identification,"ineuropeanconferenceoncomputervision(eccv),2012,pp.413-422.)中記載。scsp(spatiallyconstrainedsimilarityfunctiononpolynomialfeaturemap，基于多項式特征圖的部分約束相似函數(shù))在文獻(xiàn)(d.chen,z.yuan,b.chen,andn.zheng,similaritylearningwithspatialconstraintsforpersonre-identification,"incomputervisionandpatternrecognition(cvpr),2016,pp.1268-1277.)中記載。dr-kiss(dual-regularizedkiss，雙正則化kiss算法)在文獻(xiàn)(d.tao,y.guo,m.song,andy.li,personre-identificationbydual-regularizedkissmetriclearning,"ieeetransactionsonimageprocessing,vol.25,no.6,pp.2726-2738,2016.)中記載。ssdal(semi-superviseddeepattributelearning，半監(jiān)督深度屬性學(xué)習(xí))在文獻(xiàn)(c.su,s.zhang,j.xing,w.gao,andq.tian,deepattributesdrivenmulti-camerapersonre-identification,"ineuropeanconferenceoncomputervision(eccv),2016,pp.475-491.)中記載。nlml(nonlinearlocalmetriclearning，非線性局部度量學(xué)習(xí))在文獻(xiàn)(s.huang,j.lu,j.zhou,anda.k.jain,nonlinearlocalmetriclearningforpersonre-identification,"arxivpreprintarxiv:1511.05169v1,2015.)中記載。lomo(localmaximumoccurrence，局部直方圖最大頻數(shù)特征)在文獻(xiàn)(s.liao,y.hu,x.zhu,ands.z.li,\personre-identi_cationbylocalmaximaloccurrencerepresentationandmetriclearning,"incomputervisionandpatternrecognition(cvpr),2015,pp.2197-2206.)中記載。圖3和圖5分別對比了使用本發(fā)明所提出的方法和使用lomo特征在viper和qmulgrid數(shù)據(jù)集上的表現(xiàn)，可以看出，我們的方法都取得了較好的效果。圖4和圖6對本發(fā)明所提出的方法進(jìn)行了不同情況下的對比實驗,分別為使用了結(jié)合對齊局部描述子和分級全局特征的完整方法、只使用了對齊局部描述子作為特征、只使用了分級全局特征作為特征和使用了不做仿射變換的對齊局部描述子和分級全局特征結(jié)合的方法，結(jié)果展示了局部描述子和全局特征在不同數(shù)據(jù)集上的不同表現(xiàn)，并且結(jié)合的效果達(dá)到最優(yōu)，說明本專利所提出方法的有效性。表1本發(fā)明方法和現(xiàn)有方法在viper數(shù)據(jù)上的cmc結(jié)果方法rank＝1rank＝10rank＝20參考來源本發(fā)明方法46.285.394.4/lomo40.080.591.1cppr2015scncd37.881.290.4eccv2014kbicov31.170.782.5ivc2014ldfv26.570.984.6eccvw2012表2本發(fā)明方法和現(xiàn)有方法在qmulgrid數(shù)據(jù)上的cmc結(jié)果表1列出了其它一些方法在viper數(shù)據(jù)上的cmc(cumulativematchcharacteristic，累計匹配特性)結(jié)果，與之對比，使用本發(fā)明方法識別性能有較好的提升。表2列出了其它一些方法在qmulgrid數(shù)據(jù)上的cmc結(jié)果，與之對比，本發(fā)明方法的準(zhǔn)確率最高，說明了本發(fā)明方法的有效性。需要注意的是，公布實施例的目的在于幫助進(jìn)一步理解本發(fā)明，但是本領(lǐng)域的技術(shù)人員可以理解：在不脫離本發(fā)明及所附權(quán)利要求的精神和范圍內(nèi)，各種替換和修改都是可能的。因此，本發(fā)明不應(yīng)局限于實施例所公開的內(nèi)容，本發(fā)明要求保護(hù)的范圍以權(quán)利要求書界定的范圍為準(zhǔn)。當(dāng)前第1頁12