一種基于無(wú)人機(jī)動(dòng)平臺(tái)的人體檢測(cè)與跟蹤方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]發(fā)明屬于計(jì)算機(jī)視覺(jué)領(lǐng)域，是一種實(shí)時(shí)的目標(biāo)跟蹤方法，尤其是一種無(wú)人機(jī)平臺(tái)下的復(fù)雜背景下的長(zhǎng)時(shí)間、穩(wěn)定的人體跟蹤方法。
【背景技術(shù)】
[0002]無(wú)人駕駛飛機(jī)簡(jiǎn)稱(chēng)“無(wú)人機(jī)”，英文縮寫(xiě)為“UAV”，是一種由無(wú)線(xiàn)電遙控設(shè)備或自身程序控制裝置操縱的無(wú)人駕駛飛行器。在無(wú)人機(jī)的眾多應(yīng)用領(lǐng)域中，目標(biāo)跟蹤尤其是對(duì)人體的跟蹤一直以來(lái)都是一個(gè)亟待解決的難題。這是因?yàn)槿梭w在無(wú)人機(jī)的光學(xué)成像設(shè)備視場(chǎng)內(nèi)通常成像較小，分辨率不高，且呈非剛性的不規(guī)則運(yùn)動(dòng)，其外觀(guān)和輪廓隨時(shí)發(fā)生改變；而且跟蹤目標(biāo)處于復(fù)雜的地面景物背景中，存在對(duì)比度差、遮擋、立體視覺(jué)效應(yīng)等難題；加之無(wú)人機(jī)在飛行過(guò)程中存在抖動(dòng)，使得穩(wěn)定跟蹤變得更加困難。
[0003]中國(guó)專(zhuān)利《對(duì)地面移動(dòng)目標(biāo)動(dòng)態(tài)定位的無(wú)人機(jī)系統(tǒng)和方法》(申請(qǐng)?zhí)?201310666989.5)公開(kāi)了一種對(duì)地面移動(dòng)目標(biāo)動(dòng)態(tài)定位的無(wú)人機(jī)系統(tǒng)和方法，能實(shí)時(shí)輸出被跟蹤的地面移動(dòng)目標(biāo)的經(jīng)瑋度等地理坐標(biāo)信息。該方法通過(guò)綜合考慮穩(wěn)瞄平臺(tái)的高低角和方位角，結(jié)合獲取裝置的姿態(tài)角、經(jīng)度、瑋度和高度信息，通過(guò)一系列坐標(biāo)轉(zhuǎn)換來(lái)得到地面移動(dòng)目標(biāo)的位置信息，從而實(shí)現(xiàn)定位和跟蹤的目的。該方法仍然屬于傳統(tǒng)的定位方法，用于實(shí)施的軟硬件都較為復(fù)雜，不利于在小型尤其是消費(fèi)級(jí)無(wú)人機(jī)上應(yīng)用和推廣。中國(guó)專(zhuān)利《一種基于視覺(jué)的無(wú)人機(jī)動(dòng)態(tài)目標(biāo)跟蹤與定位》(申請(qǐng)?zhí)?01310059457.5)公開(kāi)了一種基于視覺(jué)的無(wú)人機(jī)動(dòng)態(tài)目標(biāo)跟蹤與定位方法，可自行完成對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)與圖像跟蹤。該方法采用傳統(tǒng)的MeanShift算法和Kalman濾波方法實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤，當(dāng)目標(biāo)出現(xiàn)遮攔、跳躍等情況時(shí)，該方法不能保證長(zhǎng)期穩(wěn)定的跟蹤。
[0004]綜上，在無(wú)人機(jī)的應(yīng)用中，目前還沒(méi)有一種針對(duì)移動(dòng)目標(biāo)尤其是非剛性的人體目標(biāo)進(jìn)行長(zhǎng)時(shí)間、穩(wěn)定、且抗遮攔的跟蹤方法。

【發(fā)明內(nèi)容】

[0005]本發(fā)明所要解決的技術(shù)問(wèn)題首先是針對(duì)移動(dòng)目標(biāo)人體，提供一種目標(biāo)人體檢測(cè)以及長(zhǎng)時(shí)間、穩(wěn)定跟蹤方法。
[0006]本發(fā)明提供的基于無(wú)人機(jī)動(dòng)平臺(tái)的人體檢測(cè)及跟蹤方法，包括:
人體檢測(cè)器訓(xùn)練步驟，使用人體的特征值訓(xùn)練第一識(shí)別模型，得到人體檢測(cè)器；
目標(biāo)人體識(shí)別器離線(xiàn)訓(xùn)練步驟，使用目標(biāo)人體的特征值訓(xùn)練第二識(shí)別模型，得到目標(biāo)人體識(shí)別器；其中目標(biāo)人體的特征值對(duì)應(yīng)的分類(lèi)標(biāo)簽值為真，非目標(biāo)人體的特征值對(duì)應(yīng)的分類(lèi)標(biāo)簽值為假；
目標(biāo)人體檢測(cè)步驟，接收無(wú)人機(jī)拍攝的當(dāng)前視頻幀，提取當(dāng)前視頻幀中的物體的特征值，將所述物體的特征值送入人體檢測(cè)器，人體檢測(cè)器根據(jù)所述特征值判斷是否檢測(cè)到人體，若是則進(jìn)一步將所述特征值送入目標(biāo)人體識(shí)別器，目標(biāo)人體識(shí)別器根據(jù)所述特征值判斷是否檢測(cè)到目標(biāo)人體；若是則將所述特征值進(jìn)行標(biāo)注并添加到跟蹤列表； 人體跟蹤步驟，根據(jù)目標(biāo)人體在當(dāng)前視頻幀的坐標(biāo)位置預(yù)測(cè)目標(biāo)人體在下一視頻幀中的位置。
[0007]進(jìn)一步，還包括目標(biāo)人體識(shí)別器在線(xiàn)學(xué)習(xí)步驟:
當(dāng)目標(biāo)人體識(shí)別器檢測(cè)到目標(biāo)人體時(shí)，則將當(dāng)前視頻幀的目標(biāo)人體特征值送入在線(xiàn)學(xué)習(xí)模塊；
在線(xiàn)學(xué)習(xí)模塊利用所述特征值在線(xiàn)訓(xùn)練目標(biāo)人體識(shí)別器。
[0008]進(jìn)一步，在目標(biāo)人體檢測(cè)步驟中還包括目標(biāo)人體找回步驟:當(dāng)無(wú)人機(jī)拍攝的視頻幀中沒(méi)有目標(biāo)人體時(shí)，利用卡爾曼濾波器根據(jù)丟失目標(biāo)人體前拍攝到的視頻幀預(yù)測(cè)目標(biāo)人體可能出現(xiàn)在下一幀視頻幀中的區(qū)域；當(dāng)下一視頻幀拍攝到以后，優(yōu)先提取所述區(qū)域中物體的特征值，再將特征值送入人體檢測(cè)器，人體檢測(cè)器根據(jù)所述特征值判斷是否檢測(cè)到人體，若是則進(jìn)一步將所述特征值送入目標(biāo)人體識(shí)別器，目標(biāo)人體識(shí)別器根據(jù)所述特征值判斷是否檢測(cè)到目標(biāo)人體。
[0009]所述人體跟蹤步驟進(jìn)一步包括，利用光流法預(yù)測(cè)目標(biāo)人體在下一視頻幀中的位置。
[0010]進(jìn)一步，所述特征值包括外形特征值及運(yùn)動(dòng)特征值。
[0011]本發(fā)明還提供了一種基于無(wú)人機(jī)動(dòng)平臺(tái)的人體檢測(cè)及跟蹤裝置，包括:
目標(biāo)人體檢測(cè)模塊，用于接收無(wú)人機(jī)拍攝的當(dāng)前視頻幀，提取當(dāng)前視頻幀中的物體的特征值，將所述物體的特征值送入人體檢測(cè)器，人體檢測(cè)器根據(jù)所述特征值判斷是否檢測(cè)到人體，若是則進(jìn)一步將所述特征值送入目標(biāo)人體識(shí)別器，目標(biāo)人體識(shí)別器根據(jù)所述特征值判斷是否檢測(cè)到目標(biāo)人體；若是則將所述特征值進(jìn)行標(biāo)注并添加到跟蹤列表；
人體跟蹤模塊，用于根據(jù)目標(biāo)人體在當(dāng)前視頻幀的坐標(biāo)位置預(yù)測(cè)目標(biāo)人體在下一視頻幀中的位置。
[0012]進(jìn)一步，所述人體檢測(cè)器是這樣訓(xùn)練得到的:使用人體特征值訓(xùn)練第一識(shí)別模型，得到人體檢測(cè)器；
所述目標(biāo)人體識(shí)別器是這樣訓(xùn)練得到的:使用目標(biāo)人體的特征值訓(xùn)練第二識(shí)別模型，得到目標(biāo)人體識(shí)別器。
[0013]進(jìn)一步，還包括目標(biāo)人體識(shí)別器在線(xiàn)學(xué)習(xí)模塊，用于當(dāng)目標(biāo)人體識(shí)別器檢測(cè)到目標(biāo)人體時(shí)，則利用當(dāng)前視頻幀的目標(biāo)人體特征值在線(xiàn)訓(xùn)練目標(biāo)人體識(shí)別器。
[0014]進(jìn)一步，在目標(biāo)人體檢測(cè)模塊中還包括目標(biāo)人體找回子模塊，用于當(dāng)無(wú)人機(jī)拍攝的視頻幀中沒(méi)有目標(biāo)人體時(shí)，利用卡爾曼濾波器根據(jù)丟失目標(biāo)人體前拍攝到的視頻幀預(yù)測(cè)目標(biāo)人體可能出現(xiàn)在下一幀視頻幀中的區(qū)域；當(dāng)下一視頻幀拍攝到以后，優(yōu)先提取所述區(qū)域中物體的特征值，將特征值送入人體檢測(cè)器，人體檢測(cè)器根據(jù)所述特征值判斷是否檢測(cè)到人體，若是則進(jìn)一步將所述特征值送入目標(biāo)人體識(shí)別器，目標(biāo)人體識(shí)別器根據(jù)所述特征值判斷是否檢測(cè)到目標(biāo)人體。
[0015]所述人體跟蹤模塊進(jìn)一步用于利用光流法預(yù)測(cè)目標(biāo)人體在下一視頻幀中的位置。
[0016]綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是:
1.本發(fā)明通過(guò)離線(xiàn)訓(xùn)練人體檢測(cè)器及目標(biāo)人體識(shí)別器，實(shí)現(xiàn)了目標(biāo)人體的識(shí)別。在跟蹤目標(biāo)人體的同時(shí)，每當(dāng)檢測(cè)到目標(biāo)人體時(shí)，則將其特征值及其標(biāo)簽作為新的樣本訓(xùn)練并更新目標(biāo)人體識(shí)別器，不斷在線(xiàn)完善目標(biāo)人體識(shí)別器的訓(xùn)練樣本，進(jìn)一步提高人體識(shí)別的準(zhǔn)確性，使人體跟蹤更加穩(wěn)定。
[0017]2.當(dāng)目標(biāo)人體在無(wú)人機(jī)拍攝到的視頻幀中被遮擋或者跟蹤丟失后，本發(fā)明采用卡爾曼濾波器來(lái)預(yù)測(cè)目標(biāo)人體在下一視頻幀中可能出現(xiàn)的位置，并優(yōu)先檢測(cè)該位置是否有目標(biāo)人體，當(dāng)目標(biāo)人體重新出現(xiàn)后，可快速確定目標(biāo)人體的位置，從而克服了無(wú)人機(jī)動(dòng)平臺(tái)帶來(lái)的抖動(dòng)和遮擋等問(wèn)題，實(shí)現(xiàn)長(zhǎng)時(shí)間、穩(wěn)定與有效跟蹤。
【附圖說(shuō)明】
[0018]本發(fā)明將通過(guò)例子并參照附圖的方式說(shuō)明，其中:
圖1為本發(fā)明第一實(shí)施例的流程圖。
[0019]圖2為本發(fā)明第二實(shí)施例的流程圖。
【具體實(shí)施方式】
[0020]本說(shuō)明書(shū)中公開(kāi)的所有特征，或公開(kāi)的所有方法或過(guò)程中的步驟，除了互相排斥的特征和/或步驟以外，均可以以任何方式組合。
[0021]本說(shuō)明書(shū)中公開(kāi)的任一特征，除非特別敘述，均可被其他等效或具有類(lèi)似目的的替代特征加以替換。即，除非特別敘述，每個(gè)特征只是一系列等效或類(lèi)似特征中的一個(gè)例子而已。
[0022]如圖1，本發(fā)明第一實(shí)施例包括以下步驟:
目標(biāo)選取:跟蹤開(kāi)始前，需要對(duì)目標(biāo)人體進(jìn)行選取。選取方式可以是手動(dòng)選取或自動(dòng)選取。手動(dòng)選取是針對(duì)無(wú)人機(jī)回傳視頻圖像采用人工圈點(diǎn)的方式確定待跟蹤目標(biāo)；自動(dòng)選取無(wú)需人工干預(yù)，可通過(guò)人體檢測(cè)、識(shí)別算法和設(shè)定的規(guī)則由機(jī)器自動(dòng)選取，選取操作可在無(wú)人機(jī)上實(shí)現(xiàn)，也可在遙控終端實(shí)現(xiàn)。需要說(shuō)明的是，目標(biāo)選取并非目標(biāo)檢測(cè)與跟蹤的必要步驟，還可以通過(guò)其他方式實(shí)現(xiàn)目標(biāo)選取。
[0023]人體檢測(cè)器訓(xùn)練:使用人體的特征值訓(xùn)練第一識(shí)別模型，得到人體檢測(cè)器。
[0024]在本實(shí)施例中，人體的特征值是從無(wú)人機(jī)拍攝到的大量視頻幀中提取出來(lái)的。人體特征值可以使用由Dalal等人提出的梯度方向直方圖(H O G )方法提取。該方法通過(guò)對(duì)局部圖像的梯度和方向分布情況的描述，提取圖像局部區(qū)域的梯度方向直方圖作為檢測(cè)特征。特征值可以包括外形特征值(如尺寸、輪廓、顏色