本發(fā)明涉及視頻分析技術(shù),特別涉及行人重識別數(shù)據(jù)標(biāo)注方法和裝置。
背景技術(shù):
行人重識別技術(shù)旨在識別不同視角的非重疊監(jiān)控場景下的行人身份,特別在監(jiān)控視頻的應(yīng)用中,有較大的應(yīng)用前景。由于不同監(jiān)控場景下行人圖像受背景,光照,朝向等影響較大,因此行人重識別一直是圖像識別中難度較大的一方面。
目前,行人標(biāo)識一般通過人手工標(biāo)注。人手工標(biāo)注的流程是:從不同視角的非重疊場景中找出同一個(gè)人,并把包含該行人的坐標(biāo)限定框?qū)?yīng)的像素截取出來,并且為每個(gè)人分配不同的id。從不同視角的非重疊場景中找出同一個(gè)人,找的過程會耗費(fèi)很多精力,并且出錯(cuò)概率大。
也有一些基于人臉檢測、多目標(biāo)分類技術(shù)來標(biāo)注的。但是此類標(biāo)注方法只能應(yīng)用于單目攝像頭場景。而行人重識別需要匹配多攝像頭下的人,目前沒有這種類型的自動標(biāo)注方法。
技術(shù)實(shí)現(xiàn)要素:
為了克服現(xiàn)有技術(shù)的不足,本發(fā)明的目的在于提供行人重識別數(shù)據(jù)標(biāo)注方法和裝置,其能解決現(xiàn)有的人手工標(biāo)注過程會耗費(fèi)很多精力,并且出錯(cuò)概率大,基于人臉檢測、多目標(biāo)分類技術(shù)來標(biāo)注只能應(yīng)用于單目攝像頭場景的問題。
本發(fā)明的目的采用以下技術(shù)方案實(shí)現(xiàn):
行人重識別數(shù)據(jù)標(biāo)注方法,包括以下步驟:
獲取待標(biāo)注的圖片序列,所述圖片序列包括待標(biāo)圖片;
從所述待標(biāo)圖片獲取行人圖片;
抽取所述行人圖片的特征;
根據(jù)所述特征對所述行人圖片進(jìn)行聚類,得到結(jié)果類;
計(jì)算所述結(jié)果類與目標(biāo)類的距離;
將與所述目標(biāo)類的距離符合匹配條件的結(jié)果類作為匹配類。
進(jìn)一步地,在所述獲取待標(biāo)注的圖片序列時(shí),還包括以下子步驟:
獲取所述待標(biāo)圖片的標(biāo)識號,所述標(biāo)識號包括視角碼和順序碼;
在所述從所述待標(biāo)圖片獲取行人圖片時(shí),還包括以下子步驟:
分別將所述行人圖片與一編碼號相關(guān)聯(lián),所述編碼號包括相應(yīng)的所述待標(biāo)圖片的標(biāo)識號和所述行人圖片的序號。
進(jìn)一步地,在所述計(jì)算所述結(jié)果類與目標(biāo)類的距離之前,還包括以下步驟:
根據(jù)相應(yīng)的所述編碼號中的標(biāo)識號對所述結(jié)果類進(jìn)行篩選;
或者,在所述將與所述目標(biāo)類的距離符合匹配條件的結(jié)果類作為匹配類之后,還包括以下步驟:
根據(jù)相應(yīng)的所述編碼號中的標(biāo)識號對所述匹配類進(jìn)行篩選。
進(jìn)一步地,所述抽取所述行人圖片的特征,具體為通過行人重識別深度神經(jīng)網(wǎng)絡(luò)抽取所述行人圖片的特征。
進(jìn)一步地,所述行人重識別數(shù)據(jù)標(biāo)注方法還包括以下步驟:
根據(jù)所述匹配類對所述行人重識別深度神經(jīng)網(wǎng)絡(luò)進(jìn)行再訓(xùn)練。
進(jìn)一步地,所述行人重識別深度神經(jīng)網(wǎng)絡(luò)包括:輸入層、卷積層、規(guī)范化層、非線性映射層、池化層、全連接層和分類層;其中,所述輸入層用于對所述行人圖片預(yù)處理,增加樣本數(shù)量。
進(jìn)一步地,在所述抽取所述行人圖片的特征之前,還包括以下步驟:
計(jì)算所述行人圖片的前景比例或高寬比;
刪去所述前景比例或高寬比不滿足閾值條件的行人圖片。
進(jìn)一步地,所述獲取待標(biāo)注的圖片序列,具體為獲取根據(jù)視頻位置、視頻時(shí)間、人流量或行人相似度中的至少一種篩選后的視頻數(shù)據(jù)。
行人重識別數(shù)據(jù)標(biāo)注裝置,包括:
第一獲取模塊,用于獲取待標(biāo)注的圖片序列,所述圖片序列包括待標(biāo)圖片;
第二獲取模塊,用于從所述待標(biāo)圖片獲取行人圖片;
特征模塊,用于抽取所述行人圖片的特征;
聚類模塊,用于根據(jù)所述特征對所述行人圖片進(jìn)行聚類,得到結(jié)果類;
計(jì)算模塊,用于計(jì)算所述結(jié)果類與目標(biāo)類的距離;
匹配模塊,用于將與所述目標(biāo)類的距離符合匹配條件的結(jié)果類作為匹配類。
進(jìn)一步地,所述特征模塊包括:
行人重識別深度神經(jīng)網(wǎng)絡(luò)單元,用于抽取所述行人圖片的特征;
再訓(xùn)練網(wǎng)絡(luò)單元,用于根據(jù)所述匹配類對所述行人重識別深度神經(jīng)網(wǎng)絡(luò)進(jìn)行再訓(xùn)練。
行人重識別數(shù)據(jù)標(biāo)注裝置,包括:
處理器以及用于存儲處理器可執(zhí)行的指令的存儲器;
所述處理器被配置為:
獲取待標(biāo)注的圖片序列,所述圖片序列包括待標(biāo)圖片;
從所述待標(biāo)圖片獲取行人圖片;
抽取所述行人圖片的特征;
根據(jù)所述特征對所述行人圖片進(jìn)行聚類,得到結(jié)果類;
計(jì)算所述結(jié)果類與目標(biāo)類的距離;
將與所述目標(biāo)類的距離符合匹配條件的結(jié)果類作為匹配類。
相比現(xiàn)有技術(shù),本發(fā)明的有益效果在于:通過首先從待標(biāo)圖片獲取行人圖片,然后抽取行人圖片的特征,再根據(jù)特征對行人圖片進(jìn)行聚類,得到結(jié)果類;然后根據(jù)結(jié)果類與目標(biāo)類的距離篩選出匹配類。匹配類中的行人圖片與目標(biāo)類中的行人圖片有較大可能是同一個(gè)人,至此完成行人重識別數(shù)據(jù)的標(biāo)注。行人重識別準(zhǔn)確率較高,可以用于多攝像頭的多視角影像的行人重識別。
附圖說明
圖1是本發(fā)明實(shí)施例一提供的行人重識別數(shù)據(jù)標(biāo)注方法的流程示意圖。
圖2是本發(fā)明實(shí)施例二提供的行人重識別數(shù)據(jù)標(biāo)注方法的流程示意圖。
圖3是本發(fā)明實(shí)施例三提供的行人重識別數(shù)據(jù)標(biāo)注裝置的結(jié)構(gòu)示意圖。
圖4是本發(fā)明實(shí)施例四提供的行人重識別數(shù)據(jù)標(biāo)注裝置的結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面,結(jié)合附圖以及具體實(shí)施方式,對本發(fā)明做進(jìn)一步描述,需要說明的是,在不相沖突的前提下,以下描述的各實(shí)施例之間或各技術(shù)特征之間可以任意組合形成新的實(shí)施例:
實(shí)施例一:
如圖1所示的行人重識別數(shù)據(jù)標(biāo)注方法,包括以下步驟:
步驟s110,獲取待標(biāo)注的圖片序列,所述圖片序列包括待標(biāo)圖片;在另一實(shí)施例中,圖片序列包含不同攝像機(jī)在不同視角下拍攝的影像。
步驟s120,從所述待標(biāo)圖片獲取行人圖片;
進(jìn)一步地,所述從所述待標(biāo)圖片獲取行人圖片,具體為通過行人檢測深度神經(jīng)網(wǎng)絡(luò),根據(jù)行人檢測深度神經(jīng)網(wǎng)絡(luò)輸出的包含行人的坐標(biāo)信息分別摳出對應(yīng)的所有行人圖片。行人檢測深度神經(jīng)網(wǎng)絡(luò)是專門用于找出檢測圖片中的行人坐標(biāo)位置的一種深度神經(jīng)網(wǎng)絡(luò)模型,其搭建、訓(xùn)練和使用均屬于現(xiàn)有技術(shù),不再贅述。
步驟s130,抽取所述行人圖片的特征;
具體的,行人圖片特征的抽取可以通過現(xiàn)有的圖像識別算法實(shí)現(xiàn),屬于現(xiàn)有技術(shù)。
作為本發(fā)明的進(jìn)一步改進(jìn),所述抽取所述行人圖片的特征,具體為通過行人重識別深度神經(jīng)網(wǎng)絡(luò)抽取所述行人圖片的特征。
優(yōu)選的,所述行人重識別深度神經(jīng)網(wǎng)絡(luò)包括:輸入層、卷積層、規(guī)范化層、非線性映射層、池化層、全連接層和分類層。
行人重識別深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過程如下:
1、準(zhǔn)備訓(xùn)練數(shù)據(jù);行人重識別的訓(xùn)練數(shù)據(jù)是同一個(gè)人的不同形態(tài)的行人圖片。
2、構(gòu)建行人重識別的深度神經(jīng)網(wǎng)絡(luò);該深度神經(jīng)網(wǎng)絡(luò)包括輸入層,卷積層,規(guī)范化層,非線性映射層,池化層,全連接層以及分類層。
其中,輸入層輸入為行人圖片,輸入層可以用于對行人圖片進(jìn)行預(yù)處理,如鏡像,隨機(jī)剪裁等操作,旨在增加訓(xùn)練樣本數(shù)量。該深度神經(jīng)網(wǎng)絡(luò)包括多個(gè)卷積層,第一個(gè)卷積層的輸入是經(jīng)過輸入層處理過的行人圖片,輸出為圖像特征;后面的卷積層輸入與輸出都是圖像特征。每個(gè)卷積層輸出都帶了一個(gè)規(guī)范化層,規(guī)范化層優(yōu)化了訓(xùn)練,在非線性映射層之前對數(shù)據(jù)做了規(guī)范化,易化網(wǎng)絡(luò)訓(xùn)練,加快收斂速度。最后一個(gè)規(guī)范化層的輸出作為非線性映射層的輸入,非線性映射層通過非線性函數(shù),對卷積層輸出的特征進(jìn)行非線性變換,使得其輸出的特征有較強(qiáng)的表達(dá)能力。池化層可以進(jìn)行多對一的映射操作,該層可進(jìn)一步強(qiáng)化所學(xué)習(xí)特征的非線性,同時(shí)還可以減小輸出特征的大小,降低網(wǎng)絡(luò)參數(shù)。全連接層是對輸入的特征做線性變換,將學(xué)習(xí)的特征投影到更利于預(yù)測的子空間。最后為分類層,可以采用softmax損耗層,用于計(jì)算預(yù)測類別和標(biāo)簽類別的誤差。
3、利用梯度下降法,迭代更新上一步中所述各層的參數(shù),使得模型的預(yù)測類別和標(biāo)簽類別的誤差小于設(shè)定好的閾值。
步驟s140,根據(jù)所述特征對所述行人圖片進(jìn)行聚類,得到結(jié)果類;
進(jìn)一步地,所述根據(jù)所述特征對所述行人圖片進(jìn)行聚類,具體為采用dbscan(density-basedspatialclusteringofapplicationswithnoise)等聚類算法,把所述行人圖片的特征作為輸入,為行人圖片聚類,某一結(jié)果類里可以包含一個(gè)或多個(gè)相似的行人圖片。
dbscan聚類算法是一種基于密度的空間聚類算法。該算法將具有足夠密度的區(qū)域劃分為簇,并在具有噪聲的空間數(shù)據(jù)庫中發(fā)現(xiàn)任意形狀的簇,它將簇定義為密度相連的點(diǎn)的最大集合。
步驟s150,計(jì)算所述結(jié)果類與目標(biāo)類的距離;
目標(biāo)類可以為某一個(gè)結(jié)果類,也可以是一張或多張指定的行人圖片構(gòu)成的類。具體的,所述結(jié)果類與目標(biāo)類的距離為來自于結(jié)果類與目標(biāo)類中的圖片相互之間行人重識別特征距離的最小值。如果某結(jié)果類中有10張行人圖片,目標(biāo)類中有6張行人圖片,則該結(jié)果類與目標(biāo)類中的圖片相互之間行人重識別特征距離有10*6=60個(gè),這60個(gè)距離里的最小值為結(jié)果類與目標(biāo)類的距離。
距離可以是歐氏距離、余弦距離等,通過現(xiàn)有技術(shù)可以計(jì)算。
步驟s160,將與所述目標(biāo)類的距離符合匹配條件的結(jié)果類作為匹配類。
如果某結(jié)果類與目標(biāo)類之間的距離小于預(yù)設(shè)值,即認(rèn)為該結(jié)果類符合匹配條件,可以作為匹配類。預(yù)設(shè)值可以根據(jù)經(jīng)驗(yàn)和有限次的實(shí)驗(yàn)確定。匹配類中的行人圖片與目標(biāo)類中的行人圖片有較大可能是同一個(gè)人,至此完成行人重識別數(shù)據(jù)的標(biāo)注。
本發(fā)明通過首先從待標(biāo)圖片獲取行人圖片,然后抽取行人圖片的特征,再根據(jù)特征對行人圖片進(jìn)行聚類,得到結(jié)果類;然后根據(jù)結(jié)果類與目標(biāo)類的距離篩選出匹配類。匹配類中的行人圖片與目標(biāo)類中的行人圖片有較大可能是同一個(gè)人,至此完成行人重識別數(shù)據(jù)的標(biāo)注。行人重識別準(zhǔn)確率較高,可以用于多攝像頭的多視角影像的行人重識別,在用于多視角行人重識別數(shù)據(jù)標(biāo)注時(shí),只需要分別對不同視角下的圖片序列執(zhí)行上述步驟即可。
在另一實(shí)施例中,作為本發(fā)明的進(jìn)一步改進(jìn),所述行人重識別數(shù)據(jù)標(biāo)注方法中,在步驟s130抽取所述行人圖片的特征之前,還包括以下步驟:
步驟s121,計(jì)算所述行人圖片的前景比例或高寬比;
行人圖片的前景可以表示人體;人體占行人圖片的比例或行人圖片的高寬比也需要落在閾值區(qū)間才能更好地抽取特征,提高準(zhǔn)確率。
步驟s122,刪去所述前景比例或高寬比不滿足閾值條件的行人圖片。
閾值條件具體為前景比例或高寬比位于一定的閾值區(qū)間,該閾值區(qū)間可以通過經(jīng)驗(yàn)或者有限次的試驗(yàn)得到。
在攝像機(jī)采集待標(biāo)圖片時(shí),難免有一些圖片中背景占比過大,或有物體遮擋行人,此時(shí)行人圖片可能沒有利用價(jià)值。通過刪去這部分不符合要求的行人圖片以減小計(jì)算量,防止誤標(biāo)注。
具體的,行人圖片的前景可以通過現(xiàn)有的算法分割出來。在本實(shí)施例中,使用背景分割深度神經(jīng)網(wǎng)絡(luò)模型來實(shí)現(xiàn),背景分割深度神經(jīng)網(wǎng)絡(luò)模型是專門用于去除輸入圖片中的背景的一種深度神經(jīng)網(wǎng)絡(luò)模型。計(jì)算每張行人圖片的前景面積占整張行人圖片面積的比例,如果該比例小于預(yù)設(shè)閾值,就刪去該行人圖片或者不對該行人圖片進(jìn)行下一步處理。預(yù)設(shè)閾值可以通過經(jīng)驗(yàn)或者有限次的實(shí)驗(yàn)得到。
在本實(shí)施例中,背景分割深度神經(jīng)網(wǎng)絡(luò)模型構(gòu)建和訓(xùn)練過程如下:
1、準(zhǔn)備訓(xùn)練數(shù)據(jù);該模型的訓(xùn)練數(shù)據(jù)是行人圖片以及對應(yīng)的去除過背景后的行人圖片。
2、構(gòu)建深度神經(jīng)網(wǎng)絡(luò)模型;在現(xiàn)有技術(shù)公開的深度神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上做了如下改進(jìn):在池化層后沒有接全連接層,而是接了反卷積層,在反卷積層后接的是交叉熵?fù)p失函數(shù)層(sigmoidcrossentropylosslayer)。反卷積層的操作和卷積層的操作剛好相反,目的在于得到更大的特征圖;交叉熵?fù)p失函數(shù)層用于計(jì)算模型輸出的特征圖與標(biāo)簽圖的誤差。
3、利用梯度下降法,迭代更新深度神經(jīng)網(wǎng)絡(luò)模型各層參數(shù),使得深度神經(jīng)網(wǎng)絡(luò)模型輸出的特征圖與標(biāo)簽圖的誤差小于設(shè)定好的閾值。
在另一實(shí)施例中,還過濾掉了高寬比大于某個(gè)閾值的行人圖片,這個(gè)閾值可以通過行人身高與體寬的比值計(jì)算得到,可以進(jìn)一步縮小標(biāo)注數(shù)據(jù)的規(guī)模,節(jié)省標(biāo)注時(shí)間。
實(shí)施例二:
如圖2所示的行人重識別數(shù)據(jù)標(biāo)注方法,包括以下步驟:
步驟s210,獲取待標(biāo)注的圖片序列,所述圖片序列包括待標(biāo)圖片;
步驟s210還包括子步驟s211,獲取所述待標(biāo)圖片的標(biāo)識號,所述標(biāo)識號包括視角碼和順序碼;
步驟s210獲取的圖片序列v中,包括若干待標(biāo)圖片vi,j;其中,下標(biāo)i為視角碼,表示待標(biāo)圖片vi,j來自第i個(gè)視角;j為順序碼,表示待標(biāo)圖片vi,j為這個(gè)視角下的j號圖片;視角碼和順序碼組成了待標(biāo)圖片的標(biāo)識號。標(biāo)識號與待標(biāo)圖片一一對應(yīng),通過待標(biāo)圖片的標(biāo)識號可以得知該待標(biāo)圖片采集的地點(diǎn)、時(shí)間等信息。
步驟s220,從所述待標(biāo)圖片獲取行人圖片;
步驟s220還包括子步驟s221,分別將所述行人圖片與一編碼號相關(guān)聯(lián),所述編碼號包括相應(yīng)的所述待標(biāo)圖片的標(biāo)識號和所述行人圖片的序號。
步驟s220中從所述待標(biāo)圖片vi,j獲取的行人圖片可能有多個(gè),相應(yīng)的給行人圖片也標(biāo)上號。如行人圖片pi,j,k,表示該行人圖片來自待標(biāo)圖片vi,j,為待標(biāo)圖片vi,j中的第k個(gè)行人。即行人圖片與一編碼號相關(guān)聯(lián)。
步驟s230,抽取所述行人圖片的特征;
步驟s240,根據(jù)所述特征對所述行人圖片進(jìn)行聚類,得到結(jié)果類;
步驟s250,計(jì)算所述結(jié)果類與目標(biāo)類的距離;
步驟s260,將與所述目標(biāo)類的距離符合匹配條件的結(jié)果類作為匹配類。
步驟s210-s260,分別對應(yīng)實(shí)施例一中的s110-s160,不再贅述。
在本實(shí)施例中,經(jīng)過步驟s240對i視角下的行人圖片進(jìn)行聚類,聚類出的結(jié)果包括結(jié)果類ci,s,其中i代表第幾個(gè)視角,s代表第幾個(gè)結(jié)果類。
如果選中m視角下的第n個(gè)結(jié)果類cm,n為目標(biāo)類,依次計(jì)算i視角下的各結(jié)果類與結(jié)果類cm,n之間的距離,并判斷距離是否符合匹配條件。在本實(shí)施例中,匹配條件可以是i視角下該結(jié)果類與結(jié)果類cm,n之間的距離最近;在另一實(shí)施例中,可以是i視角下所有結(jié)果類與結(jié)果類cm,n之間的距離由近至遠(yuǎn)排列的前幾個(gè)結(jié)果類,然后進(jìn)一步篩選出這幾個(gè)結(jié)果類中哪個(gè)結(jié)果類與目標(biāo)類最匹配,最匹配的結(jié)果類作為匹配類。例如,可以目視判斷結(jié)果類中的行人圖片與目標(biāo)類中行人圖片的相似程度,然后確定匹配類。
匹配類中包含有行人圖片,由于行人圖片與編碼號相關(guān)聯(lián),通過該編碼號即可得到與目標(biāo)類匹配的行人于何時(shí)何地出現(xiàn)在哪一個(gè)視角中,達(dá)到視頻點(diǎn)位配對的目的。
依次對不同視角下的圖片序列執(zhí)行步驟s210-步驟s221,即可得到所有視角下的匹配類,實(shí)現(xiàn)多視角情景下的行人重識別數(shù)據(jù)標(biāo)注。
依次設(shè)置i視角下各結(jié)果類為目標(biāo)類,即可實(shí)現(xiàn)針對于i視角下行人的多視角行人重識別數(shù)據(jù)標(biāo)注。
進(jìn)一步地,在步驟s260將與所述目標(biāo)類的距離符合匹配條件的結(jié)果類作為匹配類之后,還包括以下步驟:
步驟s261,根據(jù)相應(yīng)的所述編碼號中的標(biāo)識號對所述匹配類進(jìn)行篩選。
在另一實(shí)施例中,行人重識別數(shù)據(jù)標(biāo)注方法在步驟s250計(jì)算所述結(jié)果類與目標(biāo)類的距離之前,還包括以下步驟:
步驟s241,根據(jù)相應(yīng)的所述編碼號中的標(biāo)識號對所述結(jié)果類進(jìn)行篩選。
由于一個(gè)人不可能在同一張圖片里出現(xiàn)在不同的位置,可以根據(jù)行人圖片的編碼號把沒有正確聚類的結(jié)果類或匹配類去掉。如果某個(gè)結(jié)果類中兩個(gè)行人圖片的編碼號的標(biāo)識號部分相同,即表示該結(jié)果類沒有正確聚類。
作為本發(fā)明的進(jìn)一步改進(jìn),行人重識別數(shù)據(jù)標(biāo)注方法還包括:
步驟s270,根據(jù)所述匹配類對所述行人重識別深度神經(jīng)網(wǎng)絡(luò)進(jìn)行再訓(xùn)練。
本發(fā)明得到的行人重識別標(biāo)注數(shù)據(jù)可以用來再訓(xùn)練行人重識別深度神經(jīng)網(wǎng)絡(luò)。訓(xùn)練數(shù)據(jù)包括匹配類和/或目標(biāo)類中的行人圖片,深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的方法屬于現(xiàn)有技術(shù),不再贅述。由于訓(xùn)練數(shù)據(jù)增多,樣本準(zhǔn)確度提高,新的行人重識別深度神經(jīng)網(wǎng)絡(luò)模型在抽取行人圖片的特征和行人重識別上的能力增強(qiáng)。再訓(xùn)練后的的模型替換步驟s230中的行人重識別深度神經(jīng)網(wǎng)絡(luò)模型,可以進(jìn)一步得到更好的標(biāo)注效果。
作為本發(fā)明的進(jìn)一步改進(jìn),步驟s210所述獲取待標(biāo)注的圖片序列,具體為獲取根據(jù)視頻位置或視頻時(shí)間或人流量篩選后的視頻數(shù)據(jù)。
一般情況下,用于行人重識別的視頻數(shù)據(jù)是海量的視頻,如果能對海量視頻進(jìn)行篩選,根據(jù)視頻位置或視頻時(shí)間或人流量選出有針對性的視頻數(shù)據(jù)作為待標(biāo)注的圖片序列,可以大大減少工作量,提高標(biāo)注準(zhǔn)確率。具體的,篩選可以包括以下四種手段中的至少一種:
1.基于位置的篩選。在大部分公安視頻監(jiān)控系統(tǒng)以及大規(guī)模,寬領(lǐng)域的監(jiān)控系統(tǒng)中,都提供了視頻點(diǎn)位的經(jīng)緯度或者經(jīng)過轉(zhuǎn)換的坐標(biāo)信息。由于距離遠(yuǎn)的視頻不滿足篩選條件,故可剔除距離在設(shè)定閾值之外的視頻數(shù)據(jù)。
2.根據(jù)時(shí)間的篩選。只有在時(shí)間段符合要求的情況下進(jìn)行標(biāo)注才有意義。一般所采集的視頻都有時(shí)間信息,可以根據(jù)時(shí)間信息去除不滿足時(shí)間段條件的視頻數(shù)據(jù)。
3.基于人流量的篩選。在海量的視頻中,位于工業(yè)區(qū),荒郊等地方的點(diǎn)位人流量稀少,這類視頻對行人數(shù)據(jù)的貢獻(xiàn)率低,性價(jià)比低,故可以剔除這類視頻。具體的,通過預(yù)先訓(xùn)練好的行人檢測模型對視頻進(jìn)行人流量檢測,當(dāng)一定時(shí)間段內(nèi)檢測到的行人數(shù)量小于設(shè)定閾值時(shí),剔除該視頻數(shù)據(jù),留下滿足人流量條件的視頻數(shù)據(jù)。
4.基于行人相似度的篩選。根據(jù)預(yù)先訓(xùn)練好的行人重識別深度神經(jīng)網(wǎng)絡(luò)對海量視頻進(jìn)行篩選,將從不同視角的視頻中檢測到的行人進(jìn)行比對,當(dāng)比對的行人的相似度達(dá)到設(shè)定閾值并且相似度達(dá)到設(shè)定閾值的行人的數(shù)量超過一定數(shù)量的時(shí)候,認(rèn)為該視頻數(shù)據(jù)可以作為待標(biāo)注的圖片序列。
實(shí)施例三:
如圖3所示的行人重識別數(shù)據(jù)標(biāo)注裝置,包括:
第一獲取模塊110,用于獲取待標(biāo)注的圖片序列,所述圖片序列包括待標(biāo)圖片;
第二獲取模塊120,用于從所述待標(biāo)圖片獲取行人圖片;
特征模塊130,用于抽取所述行人圖片的特征;
聚類模塊140,用于根據(jù)所述特征對所述行人圖片進(jìn)行聚類,得到結(jié)果類;
計(jì)算模塊150,用于計(jì)算所述結(jié)果類與目標(biāo)類的距離;
匹配模塊160,用于將與所述目標(biāo)類的距離符合匹配條件的結(jié)果類作為匹配類。
進(jìn)一步地,所述特征模塊130包括:
行人重識別深度神經(jīng)網(wǎng)絡(luò)單元,用于抽取所述行人圖片的特征;
再訓(xùn)練單元,用于根據(jù)所述匹配類對所述行人重識別深度神經(jīng)網(wǎng)絡(luò)進(jìn)行再訓(xùn)練。
本實(shí)施例中的裝置與前述實(shí)施例中的方法是基于同一發(fā)明構(gòu)思下的兩個(gè)方面,在前面已經(jīng)對方法實(shí)施過程作了詳細(xì)的描述,所以本領(lǐng)域技術(shù)人員可根據(jù)前述描述清楚地了解本實(shí)施中的系統(tǒng)的結(jié)構(gòu)及實(shí)施過程,為了說明書的簡潔,在此就不再贅述。
為了描述的方便,描述以上裝置時(shí)以功能分為各種模塊分別描述。當(dāng)然,在實(shí)施本發(fā)明時(shí)可以把各模塊的功能在同一個(gè)或多個(gè)軟件和/或硬件中實(shí)現(xiàn)。
通過以上的實(shí)施方式的描述可知,本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借助軟件加必需的通用硬件平臺的方式來實(shí)現(xiàn)?;谶@樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計(jì)算機(jī)軟件產(chǎn)品可以存儲在存儲介質(zhì)中,如rom/ram、磁碟、光盤等,包括若干指令用以使得一臺計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。
描述的裝置實(shí)施例僅僅是示意性的,其中所述作為分離部件說明的模塊或單元可以是或者也可以不是物理上分開的,作為模塊或單元示意的部件可以是或者也可以不是物理模塊,既可以位于一個(gè)地方,或者也可以分布到多個(gè)網(wǎng)絡(luò)模塊上??梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性勞動的情況下,即可以理解并實(shí)施。
本發(fā)明可用于眾多通用或?qū)S玫挠?jì)算系統(tǒng)環(huán)境或配置中。例如:個(gè)人計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、手持設(shè)備或便攜式設(shè)備、平板型設(shè)備、多處理器系統(tǒng)、基于微處理器的系統(tǒng)、機(jī)頂盒、可編程的消費(fèi)電子設(shè)備、網(wǎng)絡(luò)pc、小型計(jì)算機(jī)、大型計(jì)算機(jī)、包括以上任何系統(tǒng)或設(shè)備的分布式計(jì)算環(huán)境等等,如實(shí)施例四。
實(shí)施例四:
如圖4所示的行人重識別數(shù)據(jù)標(biāo)注裝置,包括:處理器200以及用于存儲處理器200可執(zhí)行的指令的存儲器300;
所述處理器200被配置為:
獲取待標(biāo)注的圖片序列,所述圖片序列包括待標(biāo)圖片;
從所述待標(biāo)圖片獲取行人圖片;
抽取所述行人圖片的特征;
根據(jù)所述特征對所述行人圖片進(jìn)行聚類,得到結(jié)果類;
計(jì)算所述結(jié)果類與目標(biāo)類的距離;
將與所述目標(biāo)類的距離符合匹配條件的結(jié)果類作為匹配類。
本實(shí)施例中的裝置與前述實(shí)施例中的方法是基于同一發(fā)明構(gòu)思下的兩個(gè)方面,在前面已經(jīng)對方法實(shí)施過程作了詳細(xì)的描述,所以本領(lǐng)域技術(shù)人員可根據(jù)前述描述清楚地了解本實(shí)施中的系統(tǒng)的結(jié)構(gòu)及實(shí)施過程,為了說明書的簡潔,在此就不再贅述。
本發(fā)明實(shí)施例提供的行人重識別數(shù)據(jù)標(biāo)注裝置,通過首先從待標(biāo)圖片獲取行人圖片,然后抽取行人圖片的特征,再根據(jù)特征對行人圖片進(jìn)行聚類,得到結(jié)果類;然后根據(jù)結(jié)果類與目標(biāo)類的距離篩選出匹配類。匹配類中的行人圖片與目標(biāo)類中的行人圖片有較大可能是同一個(gè)人,至此完成行人重識別數(shù)據(jù)的標(biāo)注。行人重識別準(zhǔn)確率較高,可以用于多攝像頭的多視角影像的行人重識別。
對于本領(lǐng)域的技術(shù)人員來說,可根據(jù)以上描述的技術(shù)方案以及構(gòu)思,做出其它各種相應(yīng)的改變以及變形,而所有的這些改變以及變形都應(yīng)該屬于本發(fā)明權(quán)利要求的保護(hù)范圍之內(nèi)。