本技術(shù)涉及視覺控制，尤其涉及飛行器控制方法、裝置、設(shè)備、存儲介質(zhì)及產(chǎn)品。

背景技術(shù)：

1、無人機是一種由無線電遙控設(shè)備或自身程序控制裝置操縱的無人駕駛飛行器，隨著無人機相關(guān)技術(shù)的發(fā)展，無人機應(yīng)用場景越來越豐富，應(yīng)用環(huán)境也隨之越來越復(fù)雜，對無人機感知周邊環(huán)境，躲避障礙物的要求也越來越高。

2、由于無人機飛行環(huán)境是未知的，在無人機自主飛機時，需要通過實時感知自身的運動狀態(tài)和周圍的環(huán)境，并結(jié)合路徑規(guī)劃算法，在有障礙物的環(huán)境中安全的、無碰撞地達(dá)到目標(biāo)點，避免發(fā)生碰撞及炸機情況。

3、而目前無人機的障礙物檢測均依賴于傳統(tǒng)的視覺匹配算法（如雙目視覺匹配算法），計算效率和準(zhǔn)確度缺乏保障，會影響實際的避障效果，且路徑規(guī)劃較大程度依賴單個方向的障礙物檢測信息，對四周的信息感知不明顯，若遇到特殊環(huán)境（如半封閉環(huán)境），很難進(jìn)行避障。

技術(shù)實現(xiàn)思路

1、本技術(shù)的主要目的在于提供一種飛行器控制方法、裝置、設(shè)備、存儲介質(zhì)及產(chǎn)品，旨在解決相關(guān)技術(shù)無人機避障缺乏保障，且因檢測方向單一，在部分環(huán)境中很難進(jìn)行避障的技術(shù)問題。

2、為實現(xiàn)上述目的，本技術(shù)提出一種飛行器控制方法，所述方法包括：

3、獲取飛行器的主飛行方向以及非主方向?qū)?yīng)的圖像數(shù)據(jù)，所述圖像數(shù)據(jù)通過多目攝像裝置采集，所述主飛行方向為飛行器當(dāng)前的航向，所述非主方向為預(yù)設(shè)方向中除主飛行方向之外的其他方向；

4、通過障礙物識別模型對所述主飛行方向?qū)?yīng)的圖像數(shù)據(jù)進(jìn)行障礙物識別，獲得所述主飛行方向?qū)?yīng)的障礙物信息，通過視覺匹配算法對非主方向?qū)?yīng)的圖像數(shù)據(jù)進(jìn)行障礙物識別，獲得各非主方向?qū)?yīng)的障礙物信息，所述障礙物識別模型為預(yù)先訓(xùn)練的深度學(xué)習(xí)模型；

5、根據(jù)所述主飛行方向?qū)?yīng)的障礙物信息，以及各非主方向?qū)?yīng)的障礙物信息構(gòu)建三維地圖；

6、基于所述三維地圖控制所述飛行器運行。

7、在本技術(shù)一種可能的實現(xiàn)方式中，所述障礙物識別模型的運行綁定所述飛行器的硬核，所述視覺匹配算法的運行綁定所述飛行器的軟核；所述障礙物識別模型以第一實現(xiàn)頻率周期性進(jìn)行障礙物識別，所述視覺匹配算法以第二實現(xiàn)頻率周期性進(jìn)行障礙物識別，所述第一實現(xiàn)頻率大于所述第二實現(xiàn)頻率。

8、在本技術(shù)一種可能的實現(xiàn)方式中，所述根據(jù)所述主飛行方向?qū)?yīng)的障礙物信息，以及各非主方向?qū)?yīng)的障礙物信息構(gòu)建三維地圖，包括：

9、根據(jù)所述主飛行方向?qū)?yīng)的障礙物信息構(gòu)建所述主飛行方向?qū)?yīng)的二維柵格地圖，并根據(jù)各非主方向?qū)?yīng)的障礙物信息分別構(gòu)建各非主方向?qū)?yīng)的二維柵格地圖，所述二維柵格地圖中柵格表示一個區(qū)域，柵格中的數(shù)值表示存在障礙物的概率以及障礙物距所述飛行器的距離；

10、將所述主飛行方向?qū)?yīng)的二維柵格地圖，以及各非主方向?qū)?yīng)的二維柵格地圖進(jìn)行拼接，獲得三維地圖。

11、在本技術(shù)一種可能的實現(xiàn)方式中，所述將所述主飛行方向?qū)?yīng)的二維柵格地圖，以及各非主方向?qū)?yīng)的二維柵格地圖進(jìn)行拼接，獲得三維地圖，包括：

12、將所述主飛行方向?qū)?yīng)的二維柵格地圖，以及各非主方向?qū)?yīng)的二維柵格地圖進(jìn)行拼接，獲得拼接地圖；

13、將所述拼接地圖中邊緣重合區(qū)域?qū)?yīng)的障礙物概率進(jìn)行疊加，所述邊緣重合區(qū)域為所述拼接地圖中空間位置相鄰的兩個方向?qū)?yīng)的二維柵格地圖中的重合區(qū)域；

14、將進(jìn)行過疊加處理的拼接地圖作為三維地圖。

15、在本技術(shù)一種可能的實現(xiàn)方式中，所述通過障礙物識別模型對所述主飛行方向?qū)?yīng)的圖像數(shù)據(jù)進(jìn)行障礙物識別，獲得所述主飛行方向?qū)?yīng)的障礙物信息，通過視覺匹配算法對非主方向?qū)?yīng)的圖像數(shù)據(jù)進(jìn)行障礙物識別，獲得各非主方向?qū)?yīng)的障礙物信息之前，還包括：

16、獲取樣本圖像集，所述樣本圖像集包括多個樣本圖像，所述樣本圖像為采集的多目圖像，且在所述樣本圖像中標(biāo)注有激光測距信息；

17、對所述樣本圖像集進(jìn)行遍歷，獲得當(dāng)前樣本圖像；

18、對所述當(dāng)前樣本圖像進(jìn)行真值膨脹處理，獲得當(dāng)前處理圖像；

19、將所述當(dāng)前處理圖像作為模型訓(xùn)練樣本；

20、在遍歷結(jié)束時，根據(jù)獲得的至少一個模型訓(xùn)練樣本構(gòu)建訓(xùn)練樣本集；

21、通過所述訓(xùn)練樣本集對初始識別模型進(jìn)行訓(xùn)練，獲得障礙物識別模型。

22、在本技術(shù)一種可能的實現(xiàn)方式中，所述對所述當(dāng)前樣本圖像進(jìn)行真值膨脹處理，獲得當(dāng)前處理圖像，包括：

23、以預(yù)設(shè)規(guī)格的窗口對所述當(dāng)前樣本圖像進(jìn)行拆分，獲得窗口圖像，所述窗口圖像中根據(jù)所述預(yù)設(shè)規(guī)格劃分有多個圖像子區(qū)域；

24、獲取窗口圖像內(nèi)的激光測距真值的真值平均值，所述真值平均值為窗口圖像內(nèi)各圖像子區(qū)域?qū)?yīng)的激光測距真值的總和與圖像子區(qū)域的總數(shù)的比值；

25、將所述窗口圖像內(nèi)空值區(qū)域?qū)?yīng)的激光測距真值填充為所述真值平均值，窗口處理圖像，所述空值區(qū)域為窗口圖像中對應(yīng)的激光測距真值為空的圖像子區(qū)域；

26、將各窗口處理圖像進(jìn)行拼接，獲得當(dāng)前處理圖像。

27、在本技術(shù)一種可能的實現(xiàn)方式中，所述將所述當(dāng)前處理圖像作為模型訓(xùn)練樣本，包括：

28、對所述當(dāng)前處理圖像進(jìn)行空洞區(qū)域掃描，獲得空洞區(qū)域分布信息，所述空洞區(qū)域為當(dāng)前處理圖像中對應(yīng)的激光測距真值為空的區(qū)域；

29、若所述空洞值分布信息中的連續(xù)空洞區(qū)域大小處于空洞閾值區(qū)間內(nèi)，則獲取所述連續(xù)空洞區(qū)域的相鄰區(qū)域；

30、根據(jù)所述相鄰區(qū)域?qū)?yīng)的激光測距真值對所述連續(xù)空洞區(qū)域進(jìn)行真值填充，獲得當(dāng)前填充圖像；

31、將所述當(dāng)前填充圖像作為模型訓(xùn)練樣本。

32、在本技術(shù)一種可能的實現(xiàn)方式中，所述將所述當(dāng)前填充圖像作為模型訓(xùn)練樣本，包括：

33、將所述當(dāng)前填充圖像劃分為預(yù)設(shè)網(wǎng)格規(guī)格的網(wǎng)格；

34、統(tǒng)計所述網(wǎng)格中激光測距真值為空的點在所述網(wǎng)格中所占比例，獲得空點比例；

35、若所述空點比例小于預(yù)設(shè)占比閾值，則將所述當(dāng)前填充圖像標(biāo)記為無障礙物天空圖像；

36、將標(biāo)記后的當(dāng)前填充圖像作為模型訓(xùn)練樣本。

37、在本技術(shù)一種可能的實現(xiàn)方式中，所述基于所述三維地圖控制所述飛行器運行，包括：

38、控制所述飛行器以直線飛行至飛行目的地；

39、根據(jù)所述三維地圖確定飛行過程中所述飛行器與障礙物之間的間隔距離；

40、在所述間隔距離小于預(yù)設(shè)間隔閾值時，控制所述飛行器懸停，并根據(jù)所述三維地圖規(guī)劃繞過障礙物的飛行路線；

41、在根據(jù)所示飛行路線飛行繞過障礙物后，返回所述控制所述飛行器以直線飛行至飛行目的地的步驟。

42、在本技術(shù)一種可能的實現(xiàn)方式中，所述基于所述三維地圖控制所述飛行器運行，包括：

43、根據(jù)所述三維地圖在飛行路徑中選取第一飛行點及第二飛行點；

44、控制所述飛行器向所述第一飛行點飛行；

45、在飛行至所述第一飛行點時，將所述第二飛行點作為新的第一飛行點，并根據(jù)所述三維地圖在飛行路徑中選取新的第二飛行點，并返回所述控制所述飛行器向所述第一飛行點飛行的步驟。

46、此外，為實現(xiàn)上述目的，本技術(shù)還提出一種飛行器控制裝置，所述裝置包括：

47、獲取模塊，用于獲取飛行器的主飛行方向以及非主方向?qū)?yīng)的圖像數(shù)據(jù)，所述圖像數(shù)據(jù)通過多目攝像裝置采集，所述主飛行方向為飛行器當(dāng)前的航向，所述非主方向為預(yù)設(shè)方向中除主飛行方向之外的其他方向；

48、識別模塊，用于通過障礙物識別模型對所述主飛行方向?qū)?yīng)的圖像數(shù)據(jù)進(jìn)行障礙物識別，獲得所述主飛行方向?qū)?yīng)的障礙物信息，通過視覺匹配算法對非主方向?qū)?yīng)的圖像數(shù)據(jù)進(jìn)行障礙物識別，獲得各非主方向?qū)?yīng)的障礙物信息，所述障礙物識別模型為預(yù)先訓(xùn)練的深度學(xué)習(xí)模型；

49、構(gòu)建模塊，用于根據(jù)所述主飛行方向?qū)?yīng)的障礙物信息，以及各非主方向?qū)?yīng)的障礙物信息構(gòu)建三維地圖；

50、控制模塊，用于基于所述三維地圖控制所述飛行器運行。

51、此外，為實現(xiàn)上述目的，本技術(shù)還提出一種飛行器控制設(shè)備，所述設(shè)備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序配置為實現(xiàn)如上所述的飛行器控制方法的步驟。

52、此外，為實現(xiàn)上述目的，本技術(shù)還提出一種存儲介質(zhì)，所述存儲介質(zhì)為計算機可讀存儲介質(zhì)，所述存儲介質(zhì)上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上所述的飛行器控制方法的步驟。

53、此外，為實現(xiàn)上述目的，本技術(shù)還提出一種計算機程序產(chǎn)品，所述計算機程序產(chǎn)品包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上所述的飛行器控制方法的步驟。

54、本技術(shù)提出的一個或多個技術(shù)方案，至少具有以下技術(shù)效果：

55、由于是使用預(yù)先訓(xùn)練的模型檢測主飛行方向的障礙物，使用算法檢測非主方向的障礙物，充分利用了飛行器有限的資源，保證了障礙物檢測的效率與準(zhǔn)確率，且在控制飛行器運行時，是根據(jù)構(gòu)建的三維地圖進(jìn)行控制，保證在各種環(huán)境中均可進(jìn)行避障。