本公開(kāi)涉及計(jì)算機(jī)視覺(jué),具體而言,涉及一種行人重識(shí)別方法、計(jì)算機(jī)設(shè)備和程序產(chǎn)品。
背景技術(shù):
1、行人重識(shí)別(person?re-identification,簡(jiǎn)稱(chēng)re-id)也稱(chēng)行人再識(shí)別,是利用計(jì)算機(jī)視覺(jué)技術(shù)判斷異構(gòu)相機(jī)分別采集的圖像是否存在相同行人的技術(shù)。由于異構(gòu)相機(jī)中不同攝像設(shè)備之間的參數(shù)差異,同時(shí)行人外觀易受穿著、尺度、遮擋、姿態(tài)和視角等影響,使得行人重識(shí)別成為計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)研究熱點(diǎn)。
2、針對(duì)車(chē)載異構(gòu)相機(jī)拍攝的圖像進(jìn)行行人重識(shí)別,作為自動(dòng)駕駛?cè)蝿?wù)中一個(gè)重要問(wèn)題,識(shí)別的精度將影響著自動(dòng)駕駛的決策和安全性。但是一些常見(jiàn)的行人重識(shí)別方式,在車(chē)載異構(gòu)相機(jī)下的重識(shí)別的精度較低,效果較差,影響了自動(dòng)駕駛的安全性。
技術(shù)實(shí)現(xiàn)思路
1、本公開(kāi)實(shí)施例至少提供一種行人重識(shí)別方法、計(jì)算機(jī)設(shè)備和程序產(chǎn)品。
2、第一方面,本公開(kāi)實(shí)施例提供了一種行人重識(shí)別方法,包括:
3、獲取車(chē)載異構(gòu)相機(jī)分別采集的包括行人的圖像,并對(duì)所述圖像進(jìn)行行人檢測(cè),根據(jù)行人檢測(cè)框?qū)λ鰣D像裁剪得到多個(gè)行人檢測(cè)框圖;
4、利用預(yù)先訓(xùn)練好的第一模型,確定每個(gè)所述行人檢測(cè)框圖對(duì)應(yīng)的圖像特征,并將所述圖像特征輸入預(yù)先訓(xùn)練好的第二模型進(jìn)行人體關(guān)鍵點(diǎn)提取,確定每個(gè)所述行人檢測(cè)框圖中各個(gè)人體關(guān)鍵點(diǎn)區(qū)域的關(guān)鍵點(diǎn)特征以及所述關(guān)鍵點(diǎn)特征對(duì)應(yīng)的置信度;
5、對(duì)所述關(guān)鍵點(diǎn)特征、所述置信度和所述圖像特征進(jìn)行特征融合,得到每個(gè)所述行人檢測(cè)框圖中各個(gè)人體關(guān)鍵點(diǎn)區(qū)域分別對(duì)應(yīng)的融合特征;
6、根據(jù)所述異構(gòu)相機(jī)分別對(duì)應(yīng)的所述行人檢測(cè)框圖中各個(gè)所述人體關(guān)鍵點(diǎn)區(qū)域的所述融合特征,確定每個(gè)所述行人檢測(cè)框圖對(duì)應(yīng)的行人識(shí)別結(jié)果。
7、該實(shí)施方式,由于異構(gòu)相機(jī)的內(nèi)參、聚焦、視角均不同,所以異構(gòu)相機(jī)拍攝的圖像屬于不同風(fēng)格的圖像,而通過(guò)從行人檢測(cè)框圖中提取圖像特征,可以實(shí)現(xiàn)對(duì)第一模型在不同圖像風(fēng)格下的圖像的特征提取能力的充分利用,從行人檢測(cè)框圖中提取到更加豐富的圖像細(xì)節(jié)和特征。然后,通過(guò)圖像特征進(jìn)行關(guān)鍵點(diǎn)提取,可以提取出粒度更精細(xì)的關(guān)鍵點(diǎn)特征,并減少異構(gòu)相機(jī)的內(nèi)外參不同導(dǎo)致的局部特征被遮擋、以及異構(gòu)相機(jī)的鏡頭畸變導(dǎo)致同一行人的紋理細(xì)節(jié)變化等問(wèn)題,給行人重識(shí)別帶來(lái)的影響。再通過(guò)將關(guān)鍵點(diǎn)特征和圖像特征的融合,可以實(shí)現(xiàn)對(duì)行人檢測(cè)框圖的全局特征和局部特征(即局部的關(guān)鍵點(diǎn)特征)的兼顧,避免錯(cuò)誤的局部信息以及異構(gòu)相機(jī)拍攝的圖像的分辨率不同對(duì)行人重識(shí)別的干擾,從而得到能夠準(zhǔn)確表征行人的每個(gè)關(guān)鍵點(diǎn)區(qū)域的融合特征。進(jìn)而,利用異構(gòu)相機(jī)拍攝的不同圖像對(duì)應(yīng)的關(guān)鍵點(diǎn)區(qū)域的融合特征進(jìn)行行人重識(shí)別,可以提高在異構(gòu)相機(jī)下的行人重識(shí)別精度,進(jìn)而增加自動(dòng)駕駛的安全性。
8、在一種可能的實(shí)施方式中,所述圖像特征包括所述行人檢測(cè)框圖對(duì)應(yīng)的多個(gè)區(qū)域圖像各自的區(qū)域特征;
9、所述利用預(yù)先訓(xùn)練好的第一模型,確定每個(gè)所述行人檢測(cè)框圖對(duì)應(yīng)的圖像特征,并將所述圖像特征輸入預(yù)先訓(xùn)練好的第二模型進(jìn)行人體關(guān)鍵點(diǎn)提取,確定每個(gè)所述行人檢測(cè)框圖中各個(gè)人體關(guān)鍵點(diǎn)區(qū)域的關(guān)鍵點(diǎn)特征以及所述關(guān)鍵點(diǎn)特征對(duì)應(yīng)的置信度,包括:
10、利用所述第一模型,確定每個(gè)所述行人檢測(cè)框圖對(duì)應(yīng)的多個(gè)區(qū)域圖像各自的區(qū)域特征;
11、將每個(gè)所述行人檢測(cè)框圖的多個(gè)區(qū)域圖像的區(qū)域特征輸入所述第二模型進(jìn)行人體關(guān)鍵點(diǎn)提取,確定每個(gè)所述行人檢測(cè)框圖的多個(gè)區(qū)域圖像中各個(gè)人體關(guān)鍵點(diǎn)區(qū)域的關(guān)鍵點(diǎn)特征以及所述關(guān)鍵點(diǎn)特征對(duì)應(yīng)的置信度;
12、所述對(duì)所述關(guān)鍵點(diǎn)特征、所述置信度和所述圖像特征進(jìn)行特征融合,得到每個(gè)所述行人檢測(cè)框圖中各個(gè)人體關(guān)鍵點(diǎn)區(qū)域分別對(duì)應(yīng)的融合特征,包括:
13、對(duì)所述關(guān)鍵點(diǎn)特征、所述置信度和所述區(qū)域特征進(jìn)行特征融合,得到每個(gè)所述行人檢測(cè)框圖的多個(gè)所述區(qū)域圖像中各個(gè)人體關(guān)鍵點(diǎn)區(qū)域分別對(duì)應(yīng)的融合特征。
14、該實(shí)施方式,通過(guò)從行人檢測(cè)框圖中提取不同區(qū)域圖像的區(qū)域特征,可以實(shí)現(xiàn)對(duì)第一模型在不同圖像風(fēng)格下的圖像的特征提取能力的充分利用,在小范圍的圖像區(qū)域中提取到更加豐富的圖像細(xì)節(jié)和特征。然后,通過(guò)利用區(qū)域圖像的區(qū)域特征進(jìn)行關(guān)鍵點(diǎn)提取,可以實(shí)現(xiàn)在小范圍圖像中提取出粒度更精細(xì)的關(guān)鍵點(diǎn)特征。再通過(guò)將關(guān)鍵點(diǎn)特征和區(qū)域特征的融合,可以實(shí)現(xiàn)對(duì)區(qū)域圖像的全局特征和局部特征(即局部的關(guān)鍵點(diǎn)特征)的兼顧,避免錯(cuò)誤的局部信息以及異構(gòu)相機(jī)拍攝的圖像的分辨率不同對(duì)行人重識(shí)別的干擾,從而得到能夠準(zhǔn)確表征行人的每個(gè)關(guān)鍵點(diǎn)區(qū)域的融合特征。
15、在一種可能的實(shí)施方式中,所述利用所述第一模型,確定每個(gè)所述行人檢測(cè)框圖對(duì)應(yīng)的多個(gè)區(qū)域圖像各自的區(qū)域特征,包括:
16、利用所述第一模型,將所述行人檢測(cè)框圖劃分為多個(gè)區(qū)域圖像,并從每個(gè)所述區(qū)域圖像中截取目標(biāo)子區(qū)域圖像;
17、對(duì)多個(gè)所述目標(biāo)子區(qū)域圖像進(jìn)行特征提取,得到所述多個(gè)區(qū)域圖像對(duì)應(yīng)的區(qū)域特征。
18、該實(shí)施方式,通過(guò)對(duì)行人檢測(cè)框圖進(jìn)行區(qū)域劃分,可以實(shí)現(xiàn)對(duì)劃分出的各個(gè)區(qū)域圖像的針對(duì)性識(shí)別處理,從而避免從不同區(qū)域圖像中提取的特征之間的相互影響。通過(guò)對(duì)區(qū)域圖像進(jìn)行進(jìn)一步的截取,可以有效消除區(qū)域圖像中的冗余信息對(duì)行人重識(shí)別的影響,使得特征提取過(guò)程更專(zhuān)注于行人自身的特征,從而提高提取出的區(qū)域特征的準(zhǔn)確性。
19、在一種可能的實(shí)施方式中,所述將每個(gè)所述行人檢測(cè)框圖的多個(gè)區(qū)域圖像的區(qū)域特征輸入所述第二模型進(jìn)行人體關(guān)鍵點(diǎn)提取,確定每個(gè)所述行人檢測(cè)框圖的多個(gè)區(qū)域圖像中各個(gè)人體關(guān)鍵點(diǎn)區(qū)域的關(guān)鍵點(diǎn)特征以及所述關(guān)鍵點(diǎn)特征對(duì)應(yīng)的置信度,包括:
20、將每個(gè)所述行人檢測(cè)框圖的多個(gè)區(qū)域圖像的區(qū)域特征所述第二模型,對(duì)每個(gè)所述區(qū)域特征進(jìn)行至少一次卷積處理,得到卷積特征,并利用所述卷積特征進(jìn)行人體關(guān)鍵點(diǎn)提取,得到每個(gè)所述區(qū)域圖像對(duì)應(yīng)的各個(gè)人體關(guān)鍵點(diǎn)區(qū)域的關(guān)鍵點(diǎn)特征;
21、對(duì)每個(gè)所述關(guān)鍵點(diǎn)特征進(jìn)行至少一次卷積處理,并對(duì)處理后特征進(jìn)行歸一化處理,得到每個(gè)所述關(guān)鍵點(diǎn)特征對(duì)應(yīng)的置信度。
22、該實(shí)施方式,訓(xùn)練好的第二模型具有可靠的識(shí)別精度,所以利用訓(xùn)練好的第二模型,基于區(qū)域特征進(jìn)行關(guān)鍵點(diǎn)提取和置信度確定,可以得到區(qū)域圖像中準(zhǔn)確的關(guān)鍵點(diǎn)特征以及關(guān)鍵點(diǎn)特征對(duì)應(yīng)的準(zhǔn)確的置信度。
23、在一種可能的實(shí)施方式中,所述對(duì)所述關(guān)鍵點(diǎn)特征、所述置信度和所述區(qū)域特征進(jìn)行特征融合,得到每個(gè)所述行人檢測(cè)框圖的多個(gè)所述區(qū)域圖像中各個(gè)人體關(guān)鍵點(diǎn)區(qū)域分別對(duì)應(yīng)的融合特征,包括:
24、針對(duì)每個(gè)所述區(qū)域圖像中的每個(gè)所述人體關(guān)鍵點(diǎn)區(qū)域,對(duì)所述人體關(guān)鍵點(diǎn)區(qū)域的所述關(guān)鍵點(diǎn)特征和所述置信度進(jìn)行加權(quán)處理,并將加權(quán)結(jié)果和所述關(guān)鍵點(diǎn)特征進(jìn)行特征融合,得到第一特征;
25、對(duì)所述區(qū)域特征和所述第一特征進(jìn)行特征連接處理,得到第二特征;
26、利用卷積注意力模塊,對(duì)所述第二特征和所述區(qū)域特征進(jìn)行特征融合,得到所述人體關(guān)鍵點(diǎn)區(qū)域的所述融合特征。
27、該實(shí)施方式,通過(guò)將每個(gè)關(guān)鍵點(diǎn)區(qū)域?qū)?yīng)的關(guān)鍵點(diǎn)特征和置信度進(jìn)行加權(quán)處理,可以實(shí)現(xiàn)對(duì)被遮擋的關(guān)鍵點(diǎn)區(qū)域?qū)?yīng)的關(guān)鍵點(diǎn)特征進(jìn)行懲罰,避免遮擋位置對(duì)識(shí)別精度的影響。此外,通過(guò)將加權(quán)處理后得到的第一特征與區(qū)域圖像對(duì)應(yīng)的區(qū)域特征進(jìn)行融合,再利用融合后的特征進(jìn)行行人重識(shí)別,可以實(shí)現(xiàn)同時(shí)兼顧不同相機(jī)對(duì)應(yīng)的區(qū)域圖像的全局特征相似性和局部特征相似性,從而提高識(shí)別精度。
28、在一種可能的實(shí)施方式中,所述行人識(shí)別結(jié)果包括行人的識(shí)別標(biāo)識(shí);
29、所述根據(jù)所述異構(gòu)相機(jī)分別對(duì)應(yīng)的所述行人檢測(cè)框圖中各個(gè)所述人體關(guān)鍵點(diǎn)區(qū)域的所述融合特征,確定每個(gè)所述行人檢測(cè)框圖對(duì)應(yīng)的行人識(shí)別結(jié)果,包括:
30、確定所述異構(gòu)相機(jī)中的基準(zhǔn)相機(jī)和匹配相機(jī);
31、針對(duì)所述基準(zhǔn)相機(jī)對(duì)應(yīng)的任一第一行人檢測(cè)框圖,根據(jù)所述第一行人檢測(cè)框圖中各個(gè)所述人體關(guān)鍵點(diǎn)區(qū)域?qū)?yīng)的所述融合特征,和所述匹配相機(jī)對(duì)應(yīng)的各個(gè)第二行人檢測(cè)框圖中的各個(gè)所述人體關(guān)鍵點(diǎn)區(qū)域的所述融合特征,確定所述第一行人檢測(cè)框圖中的第一行人與每個(gè)所述第二行人檢測(cè)框圖中的第二行人之間的相似度;
32、根據(jù)所述相似度,確定所述第一行人和各個(gè)所述第二行人之間的匹配結(jié)果;所述匹配結(jié)果用于指示所述第二行人與所述第一行人是否相同;
33、根據(jù)基準(zhǔn)相機(jī)對(duì)應(yīng)的每個(gè)第一行人檢測(cè)框圖中的第一行人的匹配結(jié)果,確定每個(gè)所述第一行人的識(shí)別標(biāo)識(shí)和每個(gè)所述第二行人的識(shí)別標(biāo)識(shí)。
34、該實(shí)施方式,在異構(gòu)相機(jī)拍攝的不同圖像之間,通過(guò)使用各個(gè)關(guān)鍵點(diǎn)區(qū)域?qū)?yīng)的融合有區(qū)域特征和關(guān)鍵點(diǎn)特征的融合特征,進(jìn)行對(duì)應(yīng)位置關(guān)鍵點(diǎn)的匹配,可以得到不同圖像中的多個(gè)關(guān)鍵點(diǎn)區(qū)域之間的匹配結(jié)果,再利用多個(gè)關(guān)鍵點(diǎn)區(qū)域的匹配結(jié)果進(jìn)行行人的匹配,可以提高得到的匹配結(jié)果的準(zhǔn)確性,進(jìn)而得到每個(gè)行人對(duì)應(yīng)的準(zhǔn)確的識(shí)別標(biāo)識(shí)。
35、在一種可能的實(shí)施方式中,所述異構(gòu)相機(jī)包括廣角相機(jī)和魚(yú)眼相機(jī);
36、在所述獲取車(chē)載異構(gòu)相機(jī)分別采集的包括行人的圖像之前,還包括:
37、獲取所述廣角相機(jī)拍攝的包括行人的第一圖像和所述魚(yú)眼相機(jī)拍攝的包括行人的第二圖像;
38、對(duì)所述第二圖像進(jìn)行去畸變處理,得到所述魚(yú)眼相機(jī)對(duì)應(yīng)的第三圖像;
39、所述對(duì)所述圖像進(jìn)行行人檢測(cè),根據(jù)行人檢測(cè)框?qū)λ鰣D像裁剪得到多個(gè)行人檢測(cè)框圖,包括:
40、對(duì)所述第一圖像和所述第三圖像分別進(jìn)行行人檢測(cè),根據(jù)行人檢測(cè)框?qū)Φ谝粓D像和第三圖像分別進(jìn)行裁剪,得到多個(gè)行人檢測(cè)框圖。
41、該實(shí)施方式,由于魚(yú)眼相機(jī)拍攝的圖像具有較嚴(yán)重的畸變,所以通過(guò)對(duì)魚(yú)眼相機(jī)拍攝的第二圖像進(jìn)行去畸變處理,可以在一定程度上消除畸變帶來(lái)的影響,再利用消除畸變的圖像進(jìn)行行人檢測(cè),可以提高確定的行人檢測(cè)框圖的準(zhǔn)確性。
42、在一種可能的實(shí)施方式中,所述第一模型根據(jù)以下步驟訓(xùn)練得到:
43、獲取樣本圖像數(shù)據(jù)集;所述樣本圖像數(shù)據(jù)集包括多個(gè)樣本圖像對(duì),所述樣本圖像對(duì)中包括利用所述異構(gòu)相機(jī)分別拍攝的樣本圖像;
44、針對(duì)任一所述樣本圖像對(duì),將所述樣本圖像對(duì)包括的各個(gè)樣本圖像中的樣本行人檢測(cè)框圖,輸入至待訓(xùn)練的第一模型,得到所述樣本行人檢測(cè)框圖中的多個(gè)樣本區(qū)域圖像分別對(duì)應(yīng)的預(yù)測(cè)區(qū)域特征;
45、將所述樣本區(qū)域圖像對(duì)應(yīng)的所述預(yù)測(cè)區(qū)域特征和人工構(gòu)建的共享特征合并,并將合并后特征輸入到待訓(xùn)練的第一模型中的解碼模塊,得到所述樣本區(qū)域圖像對(duì)應(yīng)的還原區(qū)域圖像;
46、根據(jù)各個(gè)所述樣本圖像對(duì)分別對(duì)應(yīng)的各個(gè)所述樣本區(qū)域圖像、以及每個(gè)所述樣本區(qū)域圖像對(duì)應(yīng)的所述還原區(qū)域圖像,確定待訓(xùn)練的第一模型的第一損失;
47、利用所述第一損失對(duì)待訓(xùn)練的第一模型進(jìn)行迭代訓(xùn)練,直至滿(mǎn)足訓(xùn)練截止條件,得到訓(xùn)練好的第一模型。
48、該實(shí)施方式,利用解碼模塊對(duì)編碼模型提取出的預(yù)測(cè)區(qū)域特征進(jìn)行解碼處理,可以還原出編碼模型提取出的預(yù)測(cè)區(qū)域特征對(duì)應(yīng)的還原區(qū)域圖像。然后通過(guò)還原區(qū)域圖像和原本的樣本區(qū)域圖像構(gòu)建第一損失,可以實(shí)現(xiàn)利用第一損失準(zhǔn)確表征編碼模型在提取區(qū)域特征時(shí)的提取誤差。最后利用第一損失對(duì)待訓(xùn)練的第一模型進(jìn)行迭代訓(xùn)練,可以有效提高第一模型區(qū)域特征提取能力。并且,利用異構(gòu)相機(jī)采集的樣本圖像進(jìn)行訓(xùn)練,可以使得第一模型專(zhuān)注于不同風(fēng)格圖像下的行人識(shí)別,提高第一模型在異構(gòu)相機(jī)下的特征提取能力。
49、在一種可能的實(shí)施方式中,所述方法還包括訓(xùn)練所述第二模型的步驟:
50、獲取多個(gè)樣本行人檢測(cè)框圖中各個(gè)樣本區(qū)域圖像的樣本區(qū)域特征;所述樣本區(qū)域特征為訓(xùn)練好的第一模型,對(duì)樣本圖像中的所述樣本行人檢測(cè)框圖進(jìn)行特征提取得到的;所述樣本圖像為樣本圖像對(duì)中的圖像;所述樣本圖像對(duì)包括利用所述異構(gòu)相機(jī)分別拍攝的樣本圖像;
51、將所述樣本區(qū)域特征輸入至待訓(xùn)練的第二模型進(jìn)行人體關(guān)鍵點(diǎn)提取,確定每個(gè)樣本行人檢測(cè)框圖中各個(gè)所述樣本區(qū)域圖像對(duì)應(yīng)的各個(gè)人體關(guān)鍵點(diǎn)區(qū)域的預(yù)測(cè)關(guān)鍵點(diǎn)特征以及所述預(yù)測(cè)關(guān)鍵點(diǎn)特征對(duì)應(yīng)的預(yù)測(cè)置信度;
52、利用所述預(yù)測(cè)關(guān)鍵點(diǎn)特征和所述預(yù)測(cè)置信度,確定各個(gè)所述樣本區(qū)域圖像中的各個(gè)像素點(diǎn)的預(yù)測(cè)類(lèi)別;
53、對(duì)所述預(yù)測(cè)關(guān)鍵點(diǎn)特征、所述預(yù)測(cè)置信度和所述樣本區(qū)域特征進(jìn)行特征融合,得到每個(gè)所述樣本行人檢測(cè)框圖中各個(gè)所述樣本區(qū)域圖像中的各個(gè)人體關(guān)鍵點(diǎn)區(qū)域分別對(duì)應(yīng)的預(yù)測(cè)融合特征,并根據(jù)所述預(yù)測(cè)融合特征,確定每個(gè)所述樣本行人檢測(cè)框圖中的行人的預(yù)測(cè)標(biāo)識(shí);
54、根據(jù)所述樣本行人檢測(cè)框圖中的各個(gè)像素點(diǎn)的預(yù)測(cè)類(lèi)別和標(biāo)簽類(lèi)別,所述樣本行人檢測(cè)框圖中的行人的預(yù)測(cè)標(biāo)識(shí)和標(biāo)簽標(biāo)識(shí)、以及所述預(yù)測(cè)融合特征,確定待訓(xùn)練的第二模型的第二損失,并利用所述第二損失對(duì)待訓(xùn)練的第二模型進(jìn)行迭代訓(xùn)練,直至滿(mǎn)足訓(xùn)練截止條件,得到訓(xùn)練好的第二模型。
55、該實(shí)施方式,利用像素點(diǎn)的預(yù)測(cè)類(lèi)別和標(biāo)簽類(lèi)別、以及行人的預(yù)測(cè)標(biāo)識(shí)和標(biāo)簽標(biāo)識(shí)確定出的第二損失,能夠準(zhǔn)確表征第二模型的關(guān)鍵點(diǎn)特征提取損失和標(biāo)識(shí)預(yù)測(cè)損失。利用第二損失對(duì)第二模型進(jìn)行迭代訓(xùn)練,可以有效提高第二模型的關(guān)鍵點(diǎn)特征提取能力和標(biāo)識(shí)預(yù)測(cè)能力。
56、在一種可能的實(shí)施方式中,所述根據(jù)所述樣本行人檢測(cè)框圖中的各個(gè)像素點(diǎn)的預(yù)測(cè)類(lèi)別和標(biāo)簽類(lèi)別,所述樣本行人檢測(cè)框圖中的行人的預(yù)測(cè)標(biāo)識(shí)和標(biāo)簽標(biāo)識(shí)、以及所述預(yù)測(cè)融合特征,確定待訓(xùn)練的第二模型的第二損失,包括:
57、根據(jù)所述樣本行人檢測(cè)框圖中的各個(gè)像素點(diǎn)的預(yù)測(cè)類(lèi)別和標(biāo)簽類(lèi)別,確定關(guān)鍵點(diǎn)預(yù)測(cè)損失;
58、根據(jù)所述樣本行人檢測(cè)框圖中的行人的預(yù)測(cè)標(biāo)識(shí)和標(biāo)簽標(biāo)識(shí)、以及所述預(yù)測(cè)融合特征,確定識(shí)別損失;
59、根據(jù)所述關(guān)鍵點(diǎn)預(yù)測(cè)損失和所述識(shí)別損失,確定所述第二損失。
60、該實(shí)施方式,利用預(yù)測(cè)類(lèi)別和標(biāo)簽類(lèi)別,可以準(zhǔn)確確定出第二模型在進(jìn)行關(guān)鍵點(diǎn)提取時(shí)的損失(即關(guān)鍵點(diǎn)預(yù)測(cè)損失)。利用預(yù)測(cè)標(biāo)識(shí)和標(biāo)簽標(biāo)識(shí)、以及預(yù)測(cè)融合特征,可以準(zhǔn)確確定出第二模型在進(jìn)行行人匹配和識(shí)別時(shí)的識(shí)別損失。
61、在一種可能的實(shí)施方式中,所述根據(jù)所述樣本行人檢測(cè)框圖中的行人的預(yù)測(cè)標(biāo)識(shí)和標(biāo)簽標(biāo)識(shí)、以及所述預(yù)測(cè)融合特征,確定識(shí)別損失,包括:
62、根據(jù)各個(gè)所述樣本行人檢測(cè)框圖中的行人的預(yù)測(cè)標(biāo)識(shí)、每個(gè)所述行人的標(biāo)簽標(biāo)識(shí)、以及所述行人的第一數(shù)量,確定標(biāo)識(shí)預(yù)測(cè)損失;
63、針對(duì)各個(gè)所述樣本行人檢測(cè)框圖中的任一第一樣本行人檢測(cè)框圖,根據(jù)所述第一樣本行人檢測(cè)框圖中的行人的第一標(biāo)簽標(biāo)識(shí),和除所述第一樣本行人檢測(cè)框圖外的各個(gè)第二樣本行人檢測(cè)框圖中的行人的第二標(biāo)簽標(biāo)識(shí),從所述第二樣本行人檢測(cè)框圖中確定所述第一樣本行人檢測(cè)框圖對(duì)應(yīng)的正樣本集合和負(fù)樣本集合;
64、利用所述第一樣本行人檢測(cè)框圖對(duì)應(yīng)的各個(gè)人體關(guān)鍵點(diǎn)區(qū)域的預(yù)測(cè)融合特征、所述正樣本集合中各個(gè)第二樣本行人檢測(cè)框圖對(duì)應(yīng)的各個(gè)人體關(guān)鍵點(diǎn)區(qū)域的預(yù)測(cè)融合特征、所述負(fù)樣本集合中各個(gè)第二樣本行人檢測(cè)框圖對(duì)應(yīng)的各個(gè)人體關(guān)鍵點(diǎn)區(qū)域的預(yù)測(cè)融合特征,確定三元組損失;
65、根據(jù)所述標(biāo)識(shí)預(yù)測(cè)損失和所述三元組損失,確定所述識(shí)別損失。
66、該實(shí)施方式,標(biāo)識(shí)預(yù)測(cè)損失能夠準(zhǔn)確表征第二模型在進(jìn)行標(biāo)識(shí)預(yù)測(cè)時(shí)的差異,三元組損失能夠表征第二模型輸出的預(yù)測(cè)融合特征,與正樣本和負(fù)樣本分別對(duì)應(yīng)的預(yù)測(cè)融合特征之間的差異。因此,利用標(biāo)識(shí)預(yù)測(cè)損失和三元組損失一起作為識(shí)別損失,對(duì)第二模型進(jìn)行訓(xùn)練,可以提高第二模型在進(jìn)行特征融合和標(biāo)識(shí)輸出時(shí)的處理能力。
67、在一種可能的實(shí)施方式中,所述根據(jù)所述第一樣本行人檢測(cè)框圖中的行人的第一標(biāo)簽標(biāo)識(shí),和除所述第一樣本行人檢測(cè)框圖外的各個(gè)第二樣本行人檢測(cè)框圖中的行人的第二標(biāo)簽標(biāo)識(shí),從所述第二樣本行人檢測(cè)框圖中確定所述第一樣本行人檢測(cè)框圖對(duì)應(yīng)的正樣本集合和負(fù)樣本集合,包括:
68、從所述第一數(shù)量的行人中選取第二數(shù)量的目標(biāo)行人;
69、針對(duì)每個(gè)所述目標(biāo)行人,根據(jù)所述目標(biāo)行人的第三標(biāo)簽標(biāo)識(shí)和各個(gè)所述第二標(biāo)簽標(biāo)識(shí),從各個(gè)第二樣本行人檢測(cè)框圖中,篩選出每個(gè)所述目標(biāo)行人對(duì)應(yīng)的第三數(shù)量的第三樣本行人檢測(cè)框圖;
70、根據(jù)所述第一標(biāo)簽標(biāo)識(shí),以及各個(gè)所述目標(biāo)行人的第三標(biāo)簽標(biāo)識(shí),從各個(gè)目標(biāo)行人對(duì)應(yīng)的第三樣本行人檢測(cè)框圖中,確定與第一樣本行人檢測(cè)框圖對(duì)應(yīng)相同標(biāo)識(shí)的正樣本集合、以及與第一樣本行人檢測(cè)框圖對(duì)應(yīng)不同標(biāo)識(shí)的負(fù)樣本集合。
71、該實(shí)施方式,通過(guò)限定目標(biāo)行人的數(shù)量,以及每個(gè)目標(biāo)行人的樣本行人檢測(cè)框圖的數(shù)量,可以限定在一個(gè)批次batch下的訓(xùn)練樣本的數(shù)量,避免批次尺寸batch_size過(guò)大對(duì)資源要求高、以及模型泛化能力下降的問(wèn)題,以及避免batch_size過(guò)小導(dǎo)致訓(xùn)練速度過(guò)慢以及收斂速度慢的問(wèn)題。
72、在一種可能的實(shí)施方式中,所述利用所述第一樣本行人檢測(cè)框圖對(duì)應(yīng)的各個(gè)人體關(guān)鍵點(diǎn)區(qū)域的預(yù)測(cè)融合特征、所述正樣本集合中各個(gè)第二樣本行人檢測(cè)框圖對(duì)應(yīng)的各個(gè)人體關(guān)鍵點(diǎn)區(qū)域的預(yù)測(cè)融合特征、所述負(fù)樣本集合中各個(gè)第二樣本行人檢測(cè)框圖對(duì)應(yīng)的各個(gè)人體關(guān)鍵點(diǎn)區(qū)域的預(yù)測(cè)融合特征,確定三元組損失,包括:
73、針對(duì)所述正樣本集合中任一第二樣本行人檢測(cè)框圖,從該第二樣本行人檢測(cè)框圖對(duì)應(yīng)的各個(gè)人體關(guān)鍵點(diǎn)區(qū)域的預(yù)測(cè)融合特征中,選取多個(gè)第一目標(biāo)特征;
74、針對(duì)所述負(fù)樣本集合中任一第二樣本行人檢測(cè)框圖,從該第二樣本行人檢測(cè)框圖對(duì)應(yīng)的各個(gè)人體關(guān)鍵點(diǎn)區(qū)域的預(yù)測(cè)融合特征中,選取多個(gè)第二目標(biāo)特征;
75、從所述第一樣本行人檢測(cè)框圖對(duì)應(yīng)的各個(gè)人體關(guān)鍵點(diǎn)區(qū)域的預(yù)測(cè)融合特征中,篩選與每個(gè)所述第一目標(biāo)特征匹配的第三目標(biāo)特征,以及與每個(gè)所述第二目標(biāo)特征匹配的第四目標(biāo)特征;
76、根據(jù)每個(gè)所述第一目標(biāo)特征與匹配的第三目標(biāo)特征之間的歐式距離,以及每個(gè)所述第二目標(biāo)特征與匹配的第四目標(biāo)特征之間的歐式距離,確定所述三元組損失。
77、該實(shí)施方式,利用部分關(guān)鍵點(diǎn)區(qū)域?qū)?yīng)的預(yù)測(cè)關(guān)鍵點(diǎn)特征(即第一目標(biāo)特征、第二目標(biāo)特征和第三目標(biāo)特征)進(jìn)行損失確定,可以避免使用的關(guān)鍵點(diǎn)數(shù)量過(guò)多導(dǎo)致對(duì)于計(jì)算資源要求高、處理速度慢的問(wèn)題。并且,通過(guò)身體部分級(jí)別(即關(guān)鍵點(diǎn)區(qū)域級(jí)別)的特征進(jìn)行三元組損失的確定,可以使得第二模型能夠更加關(guān)注不同風(fēng)格圖像之間不變的標(biāo)識(shí)辨別特征,再結(jié)合標(biāo)識(shí)預(yù)測(cè)損失,可以使得第二模型能夠在全局視角下對(duì)行人的身份進(jìn)行識(shí)別。
78、第三方面,本公開(kāi)可選實(shí)現(xiàn)方式還提供一種計(jì)算機(jī)設(shè)備,處理器、存儲(chǔ)器,所述存儲(chǔ)器存儲(chǔ)有所述處理器可執(zhí)行的機(jī)器可讀指令,所述處理器用于執(zhí)行所述存儲(chǔ)器中存儲(chǔ)的機(jī)器可讀指令,所述機(jī)器可讀指令被所述處理器執(zhí)行時(shí)執(zhí)行上述第一方面,或第一方面中任一種可能的實(shí)施方式中的步驟。
79、第四方面,本公開(kāi)可選實(shí)現(xiàn)方式還提供一種計(jì)算機(jī)程序產(chǎn)品,該計(jì)算機(jī)程序產(chǎn)品被運(yùn)行時(shí)執(zhí)行上述第一方面,或第一方面中任一種可能的實(shí)施方式中的步驟。
80、關(guān)于上述計(jì)算機(jī)設(shè)備、及計(jì)算機(jī)程序產(chǎn)品的效果描述參見(jiàn)上述行人重識(shí)別方法的說(shuō)明,這里不再贅述。
81、為使本公開(kāi)的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂,下文特舉較佳實(shí)施例,并配合所附附圖,作詳細(xì)說(shuō)明如下。