本發(fā)明屬于多傳感器融合與深度學(xué)習(xí)領(lǐng)域，更具體地說(shuō)是一種基于re-lstm網(wǎng)絡(luò)的四旋翼無(wú)人機(jī)位姿估計(jì)方法。

背景技術(shù)：

1、無(wú)人機(jī)已經(jīng)在世界范圍內(nèi)的各個(gè)領(lǐng)域有了廣泛的應(yīng)用，特別是應(yīng)用在農(nóng)業(yè)，如農(nóng)作物種植、藥物噴灑；工業(yè)，如危險(xiǎn)場(chǎng)景中的設(shè)備維修與檢測(cè)、軍事，如場(chǎng)地偵察。然而，當(dāng)前基于深度學(xué)習(xí)的無(wú)人機(jī)位姿估計(jì)方法往往需要集成多個(gè)傳感器的數(shù)據(jù)，如何有效地整合異源數(shù)據(jù)始終是一個(gè)痛點(diǎn)問(wèn)題，且在復(fù)雜環(huán)境，如城市、林區(qū)等密集場(chǎng)景，光照變化等情況下傳感器數(shù)據(jù)可能缺乏足夠的精度和魯棒性，故在融合數(shù)據(jù)后仍然需要更好的算法和數(shù)據(jù)支持來(lái)提高位姿估計(jì)的準(zhǔn)確性和穩(wěn)定性，故如何在集成多源數(shù)據(jù)后仍能提高無(wú)人機(jī)位姿估計(jì)的精度是一個(gè)挑戰(zhàn)。

2、而現(xiàn)有的位姿估計(jì)方法所依賴的神經(jīng)網(wǎng)絡(luò)模型在室外場(chǎng)景中對(duì)四旋翼無(wú)人機(jī)的姿態(tài)估計(jì)精度較低，導(dǎo)致遠(yuǎn)程控制室誤判無(wú)人機(jī)當(dāng)前的飛行狀態(tài)，從而下達(dá)不適合的指令造成無(wú)人機(jī)機(jī)體的損傷。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明是為了解決上述現(xiàn)有技術(shù)存在的不足之處，提出一種re-lstm網(wǎng)絡(luò)的四旋翼無(wú)人機(jī)位姿估計(jì)方法，以期通過(guò)優(yōu)化lstm網(wǎng)絡(luò)結(jié)構(gòu)，并對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到對(duì)四旋翼無(wú)人機(jī)位姿估計(jì)結(jié)果更精確的模型，從而能實(shí)時(shí)且準(zhǔn)確的輸出四旋翼無(wú)人機(jī)當(dāng)前的姿態(tài)，使得遠(yuǎn)程工作站能實(shí)時(shí)且精準(zhǔn)的判斷四旋翼無(wú)人機(jī)的姿態(tài)并及時(shí)發(fā)布指令，輔助無(wú)人機(jī)高效完成任務(wù)。

2、本發(fā)明為達(dá)到上述發(fā)明目的，采用如下技術(shù)方案：

3、本發(fā)明一種基于re-lstm網(wǎng)絡(luò)的四旋翼無(wú)人機(jī)位姿估計(jì)方法的特點(diǎn)在于，包括如下步驟：

4、步驟1、采集四旋翼無(wú)人機(jī)在當(dāng)前時(shí)刻t的數(shù)據(jù)并進(jìn)行預(yù)處理，得到到四旋翼無(wú)人機(jī)在當(dāng)前時(shí)刻t的位姿特征et_cur；

5、步驟2、建立re-lstm網(wǎng)絡(luò)，并對(duì)et_cur進(jìn)行處理，得到第r個(gè)輸出單元輸出的當(dāng)前時(shí)刻t的預(yù)測(cè)位姿特征poser,t_pred；

6、步驟3、構(gòu)建損失函數(shù)losst_pose并訓(xùn)練re-lstm網(wǎng)絡(luò)，從而得到訓(xùn)練好的四旋翼無(wú)人機(jī)位姿估計(jì)模型，用于實(shí)時(shí)估計(jì)四旋翼無(wú)人機(jī)的當(dāng)前位姿。

7、本發(fā)明所述的一種基于re-lstm網(wǎng)絡(luò)的四旋翼無(wú)人機(jī)位姿估計(jì)方法的特點(diǎn)也在于，所述步驟1包括如下步驟：

8、步驟1.1、采集四旋翼無(wú)人機(jī)在當(dāng)前時(shí)刻t的姿態(tài)[q0_t,q1_t,q2_t,q3_t]t和位置坐標(biāo)[x1_t,y1_t,z1_t]t以及四旋翼無(wú)人機(jī)在當(dāng)前時(shí)刻t所觀測(cè)到的物體深度圖像[dep0_t,img0_t]t；其中，t表示轉(zhuǎn)置，dep0_t表示物體深度圖像在當(dāng)前時(shí)刻t的深度像素值，img0_t表示物體深度圖像在當(dāng)前時(shí)刻t的彩色像素值；

9、步驟1.2、利用式(1-1)對(duì)[q0_t,q1_t,q2_t,q3_t]t進(jìn)行數(shù)據(jù)預(yù)處理，得到四旋翼無(wú)人機(jī)在當(dāng)前時(shí)刻t預(yù)處理后的姿態(tài)[q0_t_pro,q1_t_pro,q2_t_pro,q3_t_pro]t

10、

11、式(1-1)中：α1,β1,γ1分別四旋翼無(wú)人機(jī)在當(dāng)前時(shí)刻t的偏航角、俯仰角、翻滾角，△t表示時(shí)間差，且△t∈[0,1]；

12、步驟1.3、利用式(1-2)對(duì)[dep0_t,img0_t]t進(jìn)行數(shù)據(jù)預(yù)處理，得到當(dāng)前時(shí)刻t預(yù)處理后的物體深度圖像[dep0_t_pro,img0_t_pro]t：

13、

14、在式(1-2)中：f表示深度相機(jī)的焦距值，為深度相機(jī)沿著x軸方向的深度圖像分辨率，為深度相機(jī)沿著y軸方向的深度圖像分辨率，c1、c2為互不相等的常數(shù)，且均不為零；

15、步驟1.4、利用式(1-3)得到四旋翼無(wú)人機(jī)在當(dāng)前時(shí)刻t的位姿特征et_cur：

16、

17、式(1-3)中：ε為觀測(cè)過(guò)程的零偏誤差，τ為觀測(cè)噪聲，g為狀態(tài)轉(zhuǎn)移矩陣，并有：

18、

19、所述步驟2中的re-lstm網(wǎng)絡(luò)，依次包括：輸入模塊input、特征提取模塊exact、遺忘模塊forget、更新模塊update、隱藏層模塊hidden、輸出模塊output；

20、步驟2.1、輸入模塊input由并聯(lián)的p個(gè)基礎(chǔ)單元構(gòu)成；

21、將位姿特征et_cur分別輸入輸入模塊input的每個(gè)基礎(chǔ)單元中進(jìn)行處理，得到當(dāng)前時(shí)刻t的基礎(chǔ)位姿特征集合et_pre＝{ep,t_pre|p＝1,2,..p}，其中，ep,t_pre表示第p個(gè)基礎(chǔ)單元輸出的當(dāng)前時(shí)刻t的基礎(chǔ)位姿特征；

22、步驟2.2、特征提取模塊exact由并聯(lián)的u個(gè)提取單元構(gòu)成，其中，任意第u個(gè)提取單元由k1個(gè)卷積層conv、k2個(gè)池化層pool依次構(gòu)成；

23、將et_pre輸入特征提取模塊exact中，先分別經(jīng)過(guò)u個(gè)提取單元的k1個(gè)卷積層conv的處理，得到當(dāng)前時(shí)刻t的粗位姿特征集合et_exact＝{eu,t_exact|u＝1,2,..u}，其中，eu,t_exact表示第u個(gè)提取單元輸出的當(dāng)前時(shí)刻t的粗位姿特征；

24、et_exact再分別經(jīng)過(guò)u個(gè)提取單元的k2個(gè)池化層pool的處理，得到當(dāng)前時(shí)刻t的標(biāo)準(zhǔn)位姿特征集合et_exact＝{eu,t_pool|u＝1,2,..u}，其中，eu,t_pool表示第u個(gè)提取單元輸出的當(dāng)前時(shí)刻t的標(biāo)準(zhǔn)位姿特征；

25、步驟2.3、遺忘模塊forget由k3個(gè)特征補(bǔ)償支路并聯(lián)組成；

26、將eu,t_pool輸入到k3個(gè)特征補(bǔ)償支路中，并利用式(2-1)生成當(dāng)前時(shí)刻t的第u個(gè)補(bǔ)償位姿特征eu,t_fus，從而得到當(dāng)前時(shí)刻t的補(bǔ)償位姿特征集合et_fus＝{eu,t_fus|u＝1,2,..u}：

27、

28、式(2-1)中，eu,i,t_fus表示第i個(gè)特征補(bǔ)償支路輸出的當(dāng)前時(shí)刻t的第u個(gè)補(bǔ)償位姿特征，wi是第i個(gè)特征補(bǔ)償支路的權(quán)重，bi是第i個(gè)特征補(bǔ)償支路的偏置，且wi，bi均不為0；k表示特征補(bǔ)償支路的編號(hào)，k3表示特征補(bǔ)償支路的總數(shù)；

29、步驟2.4、更新模塊update由并聯(lián)的o個(gè)更新單元構(gòu)成，其中，任意第o個(gè)更新單元由g3個(gè)上采樣層依次組成；

30、將et_fus分別輸入到更新模塊update中的o個(gè)更新單元中進(jìn)行上采樣的處理，得到當(dāng)前時(shí)刻t的精位姿特征集合et_pci＝{eo,t_pci|o＝1,2..o}，其中，eo,t_pci表示第o個(gè)更新單元輸出的當(dāng)前時(shí)刻t的精位姿特征；

31、步驟2.5、隱藏層模塊hidden由并聯(lián)的o個(gè)隱藏單元構(gòu)成，其中，任意第o個(gè)隱藏單元由一個(gè)激活層構(gòu)成；

32、將et_pci分別輸入到隱藏層模塊hidden中的o個(gè)隱藏單元中進(jìn)行處理，并利用式(2-2)得到當(dāng)前時(shí)刻t的激活位姿特征集合et_act＝{eo,t_act|o＝1,2..o}：

33、

34、式(2-2)中，eo,t_act表示第o個(gè)隱藏單元輸出的當(dāng)前時(shí)刻t的激活位姿特征；

35、步驟2.6、輸出模塊output由并聯(lián)的r個(gè)輸出單元構(gòu)成，其中，任意第r個(gè)輸出單元由g4個(gè)上采樣層和1個(gè)全連接層依次構(gòu)成；

36、將et_act分別輸入到輸出模塊output中r個(gè)輸出單元進(jìn)行處理后，得到當(dāng)前時(shí)刻t的預(yù)測(cè)位姿特征集合poset_pred＝{poser,t_pred|r＝1,2..r}，其中，poser,t_pred表示第r個(gè)輸出單元輸出的當(dāng)前時(shí)刻t的預(yù)測(cè)位姿特征。

37、所述步驟3包括如下步驟：

38、步驟3.1、利用式(3-1)構(gòu)建四旋翼無(wú)人機(jī)在當(dāng)前時(shí)刻t的位姿預(yù)測(cè)損失函數(shù)losst_pose：

39、

40、式(3-1)中：表示預(yù)處理后的物體深度圖像在當(dāng)前時(shí)刻t的深度像素值dep0_t_pro的標(biāo)準(zhǔn)差，表示預(yù)處理后的物體深度圖像在當(dāng)前時(shí)刻t的彩色像素值img0_t_pro的標(biāo)準(zhǔn)差，σdep0_t_pro表示預(yù)處理后的物體深度圖像在當(dāng)前時(shí)刻t的深度像素值dep0_t_pro的方差，σimg0_t_pro表示預(yù)處理后的物體深度圖像在當(dāng)前時(shí)刻t的深度像素值img0_t_pro的方差，||||為二范數(shù)；d1、d2分別表示預(yù)處理后的物體深度圖像中的深度像素在當(dāng)前時(shí)刻t的包含的測(cè)量噪聲，預(yù)處理后的物體深度圖像中的彩色像素在當(dāng)前時(shí)刻t的包含的測(cè)量噪聲。

41、步驟3.2、通過(guò)sgd優(yōu)化器對(duì)re-lstm網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，并計(jì)算總損失函數(shù)losst_pose以調(diào)整網(wǎng)絡(luò)參數(shù)，直到總損失函數(shù)losst_pose收斂為止，從而得到訓(xùn)練好的四旋翼無(wú)人機(jī)位姿估計(jì)模型，用于實(shí)時(shí)估計(jì)四旋翼無(wú)人機(jī)的當(dāng)前位姿。

42、本發(fā)明一種電子設(shè)備，包括存儲(chǔ)器以及處理器的特點(diǎn)在于，所述存儲(chǔ)器用于存儲(chǔ)支持處理器執(zhí)行所述四旋翼無(wú)人機(jī)位姿估計(jì)方法的程序，所述處理器被配置為用于執(zhí)行所述存儲(chǔ)器中存儲(chǔ)的程序。

43、本發(fā)明一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序的特點(diǎn)在于，所述計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行所述四旋翼無(wú)人機(jī)位姿估計(jì)方法的步驟。

44、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：

45、1、本發(fā)明re-lstm網(wǎng)絡(luò)中的特征提取模塊exact依次由并聯(lián)的u個(gè)基礎(chǔ)單元構(gòu)成，其中，任意第u個(gè)基礎(chǔ)單元由k1個(gè)卷積層conv、k2個(gè)池化層pool依次構(gòu)成，克服了lstm網(wǎng)絡(luò)中的輸入門提取特征不充分的缺陷，減輕遺忘模塊forget進(jìn)行特征篩選時(shí)的計(jì)算壓力，提升了整個(gè)網(wǎng)絡(luò)的運(yùn)行效率。在實(shí)際場(chǎng)景中，無(wú)人機(jī)可能面臨各種動(dòng)態(tài)環(huán)境，如風(fēng)速變化、氣流擾動(dòng)等。特征提取模塊exact能夠通過(guò)學(xué)習(xí)歷史位姿數(shù)據(jù)的變化模式，提取出適應(yīng)動(dòng)態(tài)環(huán)境的特征，從而提高了位姿估計(jì)的魯棒性。

46、2、本發(fā)明re-lstm網(wǎng)絡(luò)中的遺忘模塊forget由并聯(lián)的g3個(gè)特征補(bǔ)償支路組成，該模塊可以動(dòng)態(tài)地決定對(duì)哪一支路的特征進(jìn)行結(jié)合或消融，防止過(guò)多舊信息的干擾，減輕了數(shù)據(jù)計(jì)算負(fù)擔(dān)，克服了原lstm網(wǎng)絡(luò)中只消除特征而不結(jié)合特征以及算法消耗過(guò)大的缺陷，避免了重要特征的損失，從而對(duì)能夠更加專注于提取有利于估計(jì)無(wú)人機(jī)位姿的傳感器數(shù)據(jù)，提高了對(duì)無(wú)人機(jī)位姿估計(jì)的準(zhǔn)確性。

47、3、本發(fā)明re-lstm網(wǎng)絡(luò)中的隱藏層模塊hidden由并聯(lián)的o個(gè)激活層構(gòu)成，該模塊可以靈活地選擇帶有時(shí)間戳的傳感器數(shù)據(jù)序列所包含的特征，同時(shí)克服各種動(dòng)態(tài)環(huán)境的影響，例如氣流、風(fēng)速變化、傳感器噪聲等，捕捉不同傳感器之間的時(shí)序關(guān)系，丟棄不重要的特征或保留并加強(qiáng)對(duì)關(guān)聯(lián)特征的提取，從而更好地理解無(wú)人機(jī)的姿態(tài)變化，并更精準(zhǔn)地預(yù)測(cè)無(wú)人機(jī)未來(lái)的姿態(tài)特征，從而提高了無(wú)人機(jī)的自主導(dǎo)航和自主避障的成功率。