本發(fā)明涉及計(jì)算機(jī)視覺(jué)，尤其涉及一種無(wú)人機(jī)關(guān)鍵點(diǎn)檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、近年來(lái)，隨著無(wú)人機(jī)技術(shù)的日趨成熟以及無(wú)人機(jī)應(yīng)用市場(chǎng)的快速增長(zhǎng)，無(wú)人機(jī)廣泛應(yīng)用于生產(chǎn)生活的各個(gè)領(lǐng)域，例如農(nóng)業(yè)上精準(zhǔn)灌溉和農(nóng)藥噴灑、物流上極端地理環(huán)境的末端配送、消防上火場(chǎng)勘測(cè)和高空滅火等。雖然無(wú)人機(jī)的應(yīng)用給生產(chǎn)生活帶來(lái)了很多便利，但同時(shí)也帶來(lái)了極大的安全隱患，例如非法侵入、非法投遞、非法飛行等現(xiàn)象頻頻發(fā)生，給公共安全帶來(lái)了威脅。因此對(duì)無(wú)人機(jī)目標(biāo)的監(jiān)控和管理十分必要。

2、無(wú)人機(jī)關(guān)鍵點(diǎn)檢測(cè)任務(wù)，即檢測(cè)出視頻或圖像中代表無(wú)人機(jī)目標(biāo)關(guān)鍵部位或薄弱部位的像素坐標(biāo)點(diǎn)，一般為關(guān)鍵部位的形心點(diǎn)。該任務(wù)可以幫助無(wú)人機(jī)防衛(wèi)系統(tǒng)定位目標(biāo)的具體部位以完成精確打擊任務(wù)，也可以提供關(guān)鍵點(diǎn)之間位置關(guān)系輔助無(wú)人機(jī)目標(biāo)的姿態(tài)估計(jì)和軌跡預(yù)測(cè)任務(wù)，因此具有重要意義。

3、關(guān)鍵點(diǎn)檢測(cè)最早發(fā)源于人體關(guān)鍵點(diǎn)檢測(cè)任務(wù)，即在圖像中檢測(cè)出人體目標(biāo)的關(guān)鍵節(jié)點(diǎn)的位置坐標(biāo)，比如頭部、肩部、手臂、膝蓋等。隨著深度神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的興起，當(dāng)前人體關(guān)鍵點(diǎn)檢測(cè)主要由深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)，其原理為利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像特征提取，再利用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行關(guān)鍵點(diǎn)坐標(biāo)回歸或者關(guān)鍵點(diǎn)熱力圖預(yù)測(cè)。關(guān)鍵點(diǎn)坐標(biāo)回歸方法通過(guò)網(wǎng)絡(luò)直接回歸出關(guān)鍵點(diǎn)的坐標(biāo)值；熱力圖預(yù)測(cè)的方法通過(guò)網(wǎng)絡(luò)生成關(guān)鍵點(diǎn)對(duì)應(yīng)的熱力圖，熱力圖中每個(gè)位置的像素值表示該位置成為關(guān)鍵點(diǎn)的概率，將概率最大的位置作為關(guān)鍵點(diǎn)的預(yù)測(cè)坐標(biāo)。

4、針對(duì)無(wú)人機(jī)關(guān)鍵點(diǎn)檢測(cè)問(wèn)題，傳統(tǒng)方法主要利用目標(biāo)檢測(cè)網(wǎng)絡(luò)得到包含無(wú)人機(jī)目標(biāo)的圖像區(qū)域，其次從原始圖像中裁減出目標(biāo)區(qū)域并輸入基于跨層級(jí)連接和深度可分離卷積的關(guān)鍵點(diǎn)回歸網(wǎng)絡(luò)輸出關(guān)鍵點(diǎn)坐標(biāo)的回歸值；或者將包含紅外目標(biāo)的圖像輸入改進(jìn)maskrcnn網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)關(guān)鍵點(diǎn)的回歸預(yù)測(cè)；或者以openpose網(wǎng)絡(luò)作為關(guān)鍵點(diǎn)檢測(cè)的基礎(chǔ)網(wǎng)絡(luò)模型，通過(guò)修改卷積網(wǎng)絡(luò)結(jié)構(gòu)提高多尺度特征提取能力?，F(xiàn)有相關(guān)方法基本上都是以二維圖像為輸入、利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)關(guān)鍵點(diǎn)檢測(cè)。然而無(wú)人機(jī)目標(biāo)的成像往往因無(wú)人機(jī)目標(biāo)的機(jī)動(dòng)而表現(xiàn)出成像模糊、部分關(guān)鍵部位被遮擋的情況，導(dǎo)致卷積網(wǎng)絡(luò)模型無(wú)法提取有效的關(guān)鍵點(diǎn)圖像特征。如圖1所示，在某段連續(xù)的視頻幀中因左前翼被無(wú)人機(jī)自身遮擋，卷積關(guān)鍵點(diǎn)檢測(cè)模型輸出的左前翼關(guān)鍵點(diǎn)位置紊亂、偏差較大。因此，以圖像作為單一輸入的關(guān)鍵點(diǎn)檢測(cè)方法難以應(yīng)對(duì)圖像中存在遮擋、模糊等問(wèn)題，致使關(guān)鍵點(diǎn)檢測(cè)性能不佳。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供一種無(wú)人機(jī)關(guān)鍵點(diǎn)檢測(cè)方法，可以引入該無(wú)人機(jī)的三維體素模型作為先驗(yàn)知識(shí)并通過(guò)特征提取融入關(guān)鍵點(diǎn)檢測(cè)神經(jīng)網(wǎng)絡(luò)的推理預(yù)測(cè)過(guò)程中，旨在借助無(wú)人機(jī)的三維體素模型對(duì)關(guān)鍵點(diǎn)檢測(cè)結(jié)果進(jìn)行輔助或矯正，尤其是針對(duì)關(guān)鍵點(diǎn)被遮擋、圖像模糊等情況，提升關(guān)鍵點(diǎn)檢測(cè)性能，進(jìn)而提高無(wú)人機(jī)關(guān)鍵點(diǎn)檢測(cè)準(zhǔn)確率。

2、本發(fā)明實(shí)施例提供一種無(wú)人機(jī)關(guān)鍵點(diǎn)檢測(cè)方法，所述無(wú)人機(jī)關(guān)鍵點(diǎn)檢測(cè)方法包括：

3、獲取無(wú)人機(jī)的待檢測(cè)圖像，以及獲取所述無(wú)人機(jī)的三維體素模型，所述三維體素模型根據(jù)所述無(wú)人機(jī)的三維模型進(jìn)行體素化處理得到；

4、將所述待檢測(cè)圖像與所述三維體素模型輸入到訓(xùn)練好的關(guān)鍵點(diǎn)檢測(cè)模型中進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，得到所述無(wú)人機(jī)的關(guān)鍵點(diǎn)檢測(cè)結(jié)果，所述關(guān)鍵點(diǎn)檢測(cè)結(jié)果包括所述無(wú)人機(jī)的關(guān)鍵點(diǎn)。

5、可選的，所述獲取無(wú)人機(jī)的待檢測(cè)圖像的步驟包括：

6、獲取無(wú)人機(jī)的原始圖像；

7、將所述原始圖像輸入到訓(xùn)練好的目標(biāo)檢測(cè)模型中進(jìn)行無(wú)人機(jī)目標(biāo)檢測(cè)，得到無(wú)人機(jī)目標(biāo)框；

8、基于所述無(wú)人機(jī)目標(biāo)框在所述原始圖像中提取出包含無(wú)人機(jī)目標(biāo)的圖像區(qū)域，得到無(wú)人機(jī)的待檢測(cè)圖像。

9、可選的，在將所述原始圖像輸入到訓(xùn)練好的目標(biāo)檢測(cè)模型中進(jìn)行無(wú)人機(jī)目標(biāo)檢測(cè)，得到無(wú)人機(jī)目標(biāo)框之前，所述方法還包括：

10、將引入特征融合機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)作為目標(biāo)檢測(cè)模型，所述目標(biāo)檢測(cè)模型的輸入為全尺寸圖像，輸出為無(wú)人機(jī)的目標(biāo)框信息(x,y,w,h)，其中(x,y)為目標(biāo)框的中心在圖像中的坐標(biāo)，w和h為目標(biāo)框的寬和高；

11、對(duì)所述目標(biāo)檢測(cè)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的目標(biāo)檢測(cè)模型，其中，訓(xùn)練過(guò)程中的第一損失函數(shù)如下所示：

12、l(w)＝bbox(w)+conf(w)

13、

14、

15、

16、其中，l(w)為損失函數(shù)，w為目標(biāo)檢測(cè)網(wǎng)絡(luò)模型參數(shù)，f為網(wǎng)絡(luò)模型，i為輸入圖像；損失函數(shù)由兩部分組成：定位損失bbox(w)和置信度損失conf(w)。在定位損失bbox(w)中，為模型預(yù)測(cè)的目標(biāo)框，b為真實(shí)目標(biāo)框，a為包含和b的最小區(qū)域框；在置信度損失conf(w)中，k*k為輸出特征圖大小，m為先驗(yàn)框數(shù)量，和為指示變量，當(dāng)輸入特征圖的第i個(gè)網(wǎng)格的第j個(gè)先驗(yàn)框中包含無(wú)人機(jī)目標(biāo)時(shí)，并且反之，并且λnoobj為超參數(shù)，表示負(fù)樣本的權(quán)重，為模型預(yù)測(cè)的置信度，c為真實(shí)置信度。

17、可選的，所述獲取所述無(wú)人機(jī)的三維體素模型的步驟包括：

18、獲取所述無(wú)人機(jī)的三維幾何模型；

19、對(duì)所述三維幾何模型進(jìn)行點(diǎn)云解析處理，得到三維點(diǎn)云模型；

20、以預(yù)設(shè)的分辨率將所述三維點(diǎn)云模型轉(zhuǎn)換為三維體素模型。

21、可選的，所述以預(yù)設(shè)的分辨率將所述三維點(diǎn)云模型轉(zhuǎn)換為三維體素模型的步驟包括：

22、確定單個(gè)體素的長(zhǎng)寬高為lx×ly×lz；

23、確定分辨率為n；

24、將三維立方體劃分為n*n*n個(gè)lx×ly×lz的三維網(wǎng)格；

25、將所述三維點(diǎn)云模型與所述三維網(wǎng)格進(jìn)行映射，將包含所述三維點(diǎn)云模型中至少一個(gè)三維坐標(biāo)點(diǎn)的所述三維網(wǎng)格賦值為1，則得到第一體素單元，將不包含任何所述三維點(diǎn)云模型中三維坐標(biāo)點(diǎn)的所述三維網(wǎng)格賦值為0，得到第二體素單元；

26、基于所述第一體素單元與所述第二體素單元，得到三維體素模型。

27、可選的，所述關(guān)鍵點(diǎn)模型包括圖像編碼網(wǎng)絡(luò)、姿態(tài)預(yù)測(cè)網(wǎng)絡(luò)、體素編碼網(wǎng)絡(luò)、特征融合網(wǎng)絡(luò)以及解碼網(wǎng)絡(luò)，所述將所述待檢測(cè)圖像與所述三維體素模型輸入到訓(xùn)練好的關(guān)鍵點(diǎn)檢測(cè)模型中進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，得到所述無(wú)人機(jī)的關(guān)鍵點(diǎn)檢測(cè)結(jié)果的步驟包括：

28、通過(guò)所述圖像編碼網(wǎng)絡(luò)對(duì)所述待檢測(cè)圖像進(jìn)行圖像特征提取，得到圖像多通道特征圖；

29、通過(guò)所述姿態(tài)預(yù)測(cè)網(wǎng)絡(luò)對(duì)所述圖像多通道特征圖進(jìn)行姿態(tài)預(yù)測(cè)處理，得到仿射變換矩陣；

30、通過(guò)所述仿射變換矩陣對(duì)所述三維體素模型進(jìn)行仿射變換處理，得到仿射變換后的所述三維體素模型；

31、通過(guò)所述體素編碼網(wǎng)絡(luò)對(duì)仿射變換后的所述三維體素模型進(jìn)行體素特征提取，得到體素多通道特征圖；

32、通過(guò)特征融合網(wǎng)絡(luò)將所述圖像多通道特征圖與所述體素多通道特征圖進(jìn)行特征圖融合處理，得到融合多通道特征圖；

33、通過(guò)所述解碼網(wǎng)絡(luò)對(duì)所述融合多通道特征圖進(jìn)行解碼處理，得到所述無(wú)人機(jī)的關(guān)鍵點(diǎn)檢測(cè)結(jié)果。

34、可選的，在所述將所述待檢測(cè)圖像與所述三維體素模型輸入到訓(xùn)練好的關(guān)鍵點(diǎn)檢測(cè)模型中進(jìn)行關(guān)鍵點(diǎn)檢測(cè)之前，所述方法還包括：

35、對(duì)所述關(guān)鍵點(diǎn)檢測(cè)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的目標(biāo)檢測(cè)模型，其中，訓(xùn)練過(guò)程中的第二損失函數(shù)如下所示：

36、

37、其中θ代表網(wǎng)絡(luò)模型所有可學(xué)習(xí)參數(shù)，為網(wǎng)絡(luò)模型的預(yù)測(cè)輸出的關(guān)鍵點(diǎn)熱力圖，heatmap為真實(shí)熱力圖，真實(shí)熱力圖基于實(shí)拍數(shù)據(jù)的關(guān)鍵點(diǎn)人工標(biāo)注和高斯函數(shù)生成得到，具體公式如下：

38、

39、其中heatmapi表示第i個(gè)真實(shí)關(guān)鍵點(diǎn)對(duì)應(yīng)的熱力圖，(x,y)表示熱力圖中的任意坐標(biāo)，(xi,yi)為第i個(gè)真實(shí)關(guān)鍵點(diǎn)在對(duì)應(yīng)熱力圖中的坐標(biāo)，超參數(shù)σ為高斯核的標(biāo)準(zhǔn)差，e為自然對(duì)數(shù)。

40、本發(fā)明實(shí)施例還提供一種無(wú)人機(jī)關(guān)鍵點(diǎn)檢測(cè)裝置，所述無(wú)人機(jī)關(guān)鍵點(diǎn)檢測(cè)裝置包括：

41、獲取模塊，用于獲取無(wú)人機(jī)的待檢測(cè)圖像，以及獲取所述無(wú)人機(jī)的三維體素模型，所述三維體素模型根據(jù)所述無(wú)人機(jī)的三維模型進(jìn)行體素化處理得到；

42、處理模塊，用于將所述待檢測(cè)圖像與所述三維體素模型輸入到訓(xùn)練好的關(guān)鍵點(diǎn)檢測(cè)模型中進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，得到所述無(wú)人機(jī)的關(guān)鍵點(diǎn)檢測(cè)結(jié)果，所述關(guān)鍵點(diǎn)檢測(cè)結(jié)果包括所述無(wú)人機(jī)的關(guān)鍵點(diǎn)。

43、本發(fā)明還提供一種電子設(shè)備，包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如本發(fā)明實(shí)施例中任一項(xiàng)所述的無(wú)人機(jī)關(guān)鍵點(diǎn)檢測(cè)方法中的步驟。

44、本發(fā)明還提供一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本發(fā)明實(shí)施例中任一項(xiàng)所述的無(wú)人機(jī)關(guān)鍵點(diǎn)檢測(cè)方法中的步驟。

45、采用本發(fā)明的無(wú)人機(jī)關(guān)鍵點(diǎn)檢測(cè)方法，可以引入該無(wú)人機(jī)的三維體素模型作為先驗(yàn)知識(shí)并通過(guò)特征提取融入關(guān)鍵點(diǎn)檢測(cè)神經(jīng)網(wǎng)絡(luò)的推理預(yù)測(cè)過(guò)程中，旨在借助無(wú)人機(jī)的三維體素模型對(duì)關(guān)鍵點(diǎn)檢測(cè)結(jié)果進(jìn)行輔助或矯正，尤其是針對(duì)關(guān)鍵點(diǎn)被遮擋、圖像模糊等情況，提升關(guān)鍵點(diǎn)檢測(cè)性能，進(jìn)而提高無(wú)人機(jī)關(guān)鍵點(diǎn)檢測(cè)準(zhǔn)確率。