本發(fā)明屬于航空安全，尤其涉及一種基于深度強(qiáng)化學(xué)習(xí)與時(shí)間約束的低空航空器沖突解脫方法。

背景技術(shù)：

1、隨著無人機(jī)技術(shù)的快速發(fā)展，無人機(jī)在物流配送、巡查監(jiān)控、環(huán)境監(jiān)測(cè)、救援等多個(gè)領(lǐng)域得到了廣泛的應(yīng)用。然而，隨著不斷增加的無人機(jī)數(shù)量和城市環(huán)境中復(fù)雜多變的運(yùn)行條件，低空無人機(jī)面臨的空中沖突問題越來越嚴(yán)峻。

2、沖突解脫方法在航空安全運(yùn)行中扮演著關(guān)鍵角色，尤其是在高密度的低空無人駕駛運(yùn)行。低空無人駕駛運(yùn)行指在狹小的城市空域內(nèi)有大量的無人駕駛航空器同時(shí)進(jìn)行人或物的轉(zhuǎn)移。高密度降低了航空器之間的間隔和沖突解脫的反應(yīng)時(shí)間，增加了多無人駕駛航空器之間的相互影響。

3、戰(zhàn)術(shù)沖突解脫指在無人機(jī)飛行過程中，實(shí)時(shí)監(jiān)測(cè)無人機(jī)與其周圍環(huán)境的相對(duì)位置，并通過動(dòng)態(tài)調(diào)整飛行路徑以規(guī)避可能的沖突。傳統(tǒng)的航空器戰(zhàn)術(shù)沖突解脫方法是以管制員和駕駛員溝通決策進(jìn)行沖突解脫，但這種方式溝通決策效率太低，無法應(yīng)用于低空運(yùn)輸場(chǎng)景。而現(xiàn)有的基于強(qiáng)化學(xué)習(xí)進(jìn)行沖突解脫的方法側(cè)重于最大化避免碰撞的成功率，卻沒有考慮達(dá)到目標(biāo)位置的時(shí)間約束，到達(dá)準(zhǔn)點(diǎn)率很低。若航空器不能按時(shí)到達(dá)目標(biāo)位置，則會(huì)為運(yùn)行計(jì)劃調(diào)度帶來影響，并且會(huì)與空中其他運(yùn)行的航空器產(chǎn)生二次影響，大大增加空域管理的復(fù)雜性。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)中的上述不足，本發(fā)明提供的一種基于深度強(qiáng)化學(xué)習(xí)與時(shí)間約束的低空航空器沖突解脫方法，通過在低空高密度的運(yùn)行場(chǎng)景下，實(shí)現(xiàn)本體航空器與靜態(tài)障礙物和非合作目標(biāo)航空器間的戰(zhàn)術(shù)沖突解脫，解決了低空航空器的沖突解脫能力和準(zhǔn)點(diǎn)率不足的問題。

2、為了達(dá)到上述發(fā)明目的，本發(fā)明采用的技術(shù)方案為：

3、本發(fā)明提供的一種基于深度強(qiáng)化學(xué)習(xí)與時(shí)間約束的低空航空器沖突解脫方法，包括如下步驟：

4、s1、設(shè)置靜態(tài)障礙物和非合作目標(biāo)航空器，以構(gòu)建低空運(yùn)行環(huán)境；

5、s2、構(gòu)建低空運(yùn)行環(huán)境中航空器的狀態(tài)空間和動(dòng)作空間；

6、s3、根據(jù)本機(jī)航空器與靜態(tài)障礙物或非合作目標(biāo)航空器間距離，以及本機(jī)航空器到達(dá)目標(biāo)位置的準(zhǔn)點(diǎn)時(shí)間，構(gòu)建帶有時(shí)間約束的獎(jiǎng)勵(lì)函數(shù)；

7、s4、根據(jù)帶有時(shí)間約束的獎(jiǎng)勵(lì)函數(shù)、低空運(yùn)行環(huán)境中航空器的狀態(tài)空間和動(dòng)作空間，基于深度強(qiáng)化學(xué)習(xí)模型在低空運(yùn)行環(huán)境中進(jìn)行低空航空器沖突解脫訓(xùn)練，得到訓(xùn)練好深度強(qiáng)化學(xué)習(xí)模型；

8、s5、獲取本體航空器在執(zhí)行實(shí)際沖突解脫任務(wù)中的當(dāng)前狀態(tài)，并利用訓(xùn)練好的深度強(qiáng)化學(xué)習(xí)模型輸出獎(jiǎng)勵(lì)值最高時(shí)對(duì)應(yīng)的動(dòng)作，以避免沖突的同時(shí)及時(shí)達(dá)到目標(biāo)位置。

9、本發(fā)明的有益效果為：本發(fā)明提供的一種基于深度強(qiáng)化學(xué)習(xí)與時(shí)間約束的低空航空器沖突解脫方法，通過構(gòu)建低空運(yùn)行環(huán)境，以及航空器的狀態(tài)空間和動(dòng)作空間，為對(duì)航空器進(jìn)行沖突解脫訓(xùn)練提供了智能體模擬行動(dòng)基礎(chǔ)；通過構(gòu)建帶有時(shí)間約束的獎(jiǎng)勵(lì)函數(shù)，為訓(xùn)練航空器及時(shí)準(zhǔn)確到達(dá)目標(biāo)位置提供了基礎(chǔ)；基于深度強(qiáng)化學(xué)習(xí)模型對(duì)航空器進(jìn)行沖突解脫訓(xùn)練，提升了航空器沖突解脫訓(xùn)練的效率和準(zhǔn)確性，也實(shí)現(xiàn)了航空器有效避障情況下，大幅提升到達(dá)目標(biāo)位置的準(zhǔn)點(diǎn)率。

10、進(jìn)一步地，所述s2包括如下步驟：

11、s21、根據(jù)航空器的探測(cè)距離，以本機(jī)航空器為中心將探測(cè)區(qū)域平均劃分為6個(gè)扇形探測(cè)子區(qū)域；

12、s22、分別選擇每個(gè)扇形探測(cè)子區(qū)域內(nèi)離本機(jī)航空器距離最近的靜態(tài)障礙物或非合作目標(biāo)航空器的信息作為狀態(tài)輸入，得到航空器的狀態(tài)空間；

13、所述狀態(tài)空間的計(jì)算表達(dá)式如下：

14、，

15、其中，s表示航空器的狀態(tài)空間，表示目標(biāo)位置，表示本機(jī)航空器的位置，表示本機(jī)航空器的速度，表示第i個(gè)扇形探測(cè)子區(qū)域內(nèi)距離本機(jī)航空器最近的靜態(tài)障礙物或非合作目標(biāo)航空器的相對(duì)位置，表示第i個(gè)扇形探測(cè)子區(qū)域內(nèi)距離本機(jī)航空器最近的靜態(tài)障礙物或非合作目標(biāo)航空器的相對(duì)速度，其中，i=1,2,3,4,5,6；

16、s23、根據(jù)航空器戰(zhàn)術(shù)沖突解脫任務(wù)，構(gòu)建航空器的動(dòng)作空間；

17、所述動(dòng)作空間的計(jì)算表達(dá)式如下：

18、，

19、其中，a表示航空器的動(dòng)作空間，表示航空器的航向角變化量，表示航空器的速度變化量。

20、采用上述進(jìn)一步方案的有益效果為：本發(fā)明提供構(gòu)建低空運(yùn)行環(huán)境中航空器的狀態(tài)空間和動(dòng)作空間，為航空器在低空運(yùn)行環(huán)境中執(zhí)行沖突解脫任務(wù)訓(xùn)練時(shí)的狀態(tài)變化和動(dòng)作變化進(jìn)行約束，保障了低空運(yùn)行環(huán)境的穩(wěn)定性，為航空器避障準(zhǔn)點(diǎn)到達(dá)目標(biāo)位置提供行動(dòng)約束基礎(chǔ)。

21、進(jìn)一步地，所述s3包括如下步驟：

22、s31、根據(jù)目標(biāo)航空器與靜態(tài)障礙物或非合作目標(biāo)航空器間的距離關(guān)系，構(gòu)建沖突解脫獎(jiǎng)勵(lì)；

23、所述沖突解脫獎(jiǎng)勵(lì)的計(jì)算表達(dá)式如下：

24、，

25、，

26、，

27、其中，表示沖突解脫獎(jiǎng)勵(lì)，表示距離變化獎(jiǎng)勵(lì)，表示距離最近獎(jiǎng)勵(lì)，表示距離變化獎(jiǎng)勵(lì)值，表示本機(jī)航空器與靜態(tài)障礙物或非合作目標(biāo)航空器間的距離變化值，表示當(dāng)前時(shí)刻本機(jī)航空器與靜態(tài)障礙物或非合作目標(biāo)航空器間的距離，表示上一時(shí)刻本機(jī)航空器與靜態(tài)障礙物或非合作目標(biāo)航空器間的距離，表示距離最近獎(jiǎng)勵(lì)縮放因子，log表示對(duì)數(shù)運(yùn)算，表示本機(jī)航空器與靜態(tài)障礙物或非合作目標(biāo)航空器間最近的距離，表示航空器的探測(cè)距離；

28、s32、根據(jù)本機(jī)航空器到達(dá)目標(biāo)位置的準(zhǔn)點(diǎn)時(shí)間和實(shí)際時(shí)間，構(gòu)建準(zhǔn)點(diǎn)時(shí)間約束獎(jiǎng)勵(lì)；

29、所述時(shí)間約束獎(jiǎng)勵(lì)的計(jì)算表達(dá)式如下：

30、，

31、其中，表示時(shí)間約束獎(jiǎng)勵(lì)，表示時(shí)間約束獎(jiǎng)勵(lì)縮放因子，e表示指數(shù)基底常數(shù)，t表示本機(jī)航空器到達(dá)目標(biāo)位置時(shí)的實(shí)際時(shí)間，表示本機(jī)航空器到達(dá)目標(biāo)位置的準(zhǔn)點(diǎn)時(shí)間，表示獎(jiǎng)勵(lì)寬度分布控制因子；

32、s33、基于沖突解脫獎(jiǎng)勵(lì)和時(shí)間約束獎(jiǎng)勵(lì)，得到帶有時(shí)間約束的獎(jiǎng)勵(lì)函數(shù)；

33、所述帶有時(shí)間約束的獎(jiǎng)勵(lì)函數(shù)的計(jì)算表達(dá)式如下：

34、，

35、其中，r表示帶有時(shí)間約束的獎(jiǎng)勵(lì)函數(shù)。

36、采用上述進(jìn)一步方案的有益效果為：本發(fā)明根據(jù)本機(jī)航空器與靜態(tài)障礙物或非合作目標(biāo)航空器間距離，以及本機(jī)航空器到達(dá)目標(biāo)位置的準(zhǔn)點(diǎn)時(shí)間，構(gòu)建了帶有時(shí)間約束的獎(jiǎng)勵(lì)函數(shù)，基于有時(shí)間約束的獎(jiǎng)勵(lì)函數(shù)，能夠?yàn)橛行嵘龥_突解脫訓(xùn)練后航空器到達(dá)目標(biāo)位置的準(zhǔn)點(diǎn)率提供基礎(chǔ)。

37、進(jìn)一步地，所述s4包括如下步驟：

38、s41、構(gòu)建用于存儲(chǔ)運(yùn)行數(shù)據(jù)的經(jīng)驗(yàn)回放池；

39、s42、設(shè)置模型訓(xùn)練參數(shù)；

40、s43、構(gòu)建基于rainbow?dqn的深度強(qiáng)化學(xué)習(xí)模型，其中，深度強(qiáng)化學(xué)習(xí)模型包括用于預(yù)測(cè)下一時(shí)刻本體無人機(jī)動(dòng)作的第一神經(jīng)網(wǎng)絡(luò)和用于更新目標(biāo)q值的第二神經(jīng)網(wǎng)絡(luò)；

41、s44、將深度強(qiáng)化學(xué)習(xí)模型接入低空運(yùn)行環(huán)境和經(jīng)驗(yàn)回放池；

42、s45、根據(jù)低空運(yùn)行環(huán)境中航空器的狀態(tài)空間和動(dòng)作空間、帶有時(shí)間約束的獎(jiǎng)勵(lì)函數(shù)和第二神經(jīng)網(wǎng)絡(luò)，令本機(jī)航空器作為智能體重復(fù)在低空運(yùn)行環(huán)境中進(jìn)行沖突解脫訓(xùn)練，得到每次沖突解脫訓(xùn)練對(duì)應(yīng)的運(yùn)行數(shù)據(jù)和目標(biāo)q值；

43、s46、將第一神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)同步到第二神經(jīng)網(wǎng)絡(luò)；

44、s47、根據(jù)帶有時(shí)間約束的獎(jiǎng)勵(lì)函數(shù)，通過訓(xùn)練后的第一神經(jīng)網(wǎng)絡(luò)優(yōu)化本體無人機(jī)在沖突訓(xùn)練過程中的動(dòng)作，從而使得第二神經(jīng)網(wǎng)絡(luò)更新的目標(biāo)q值不斷增大，直至穩(wěn)定趨近于期望的目標(biāo)q值，得到訓(xùn)練好的深度強(qiáng)化學(xué)習(xí)模型。

45、采用上述進(jìn)一步方案的有益效果為：本發(fā)明采用深度強(qiáng)化學(xué)習(xí)結(jié)合帶有時(shí)間約束的方法，對(duì)低空航空器進(jìn)行沖突解脫訓(xùn)練，能夠使得訓(xùn)練好的航空器高效地完成高密度環(huán)境下戰(zhàn)術(shù)沖突解脫，同時(shí)，還能夠有效地提高航空在進(jìn)行了沖突解脫后的準(zhǔn)點(diǎn)率。

46、進(jìn)一步地，所述s45包括如下步驟：

47、s451、設(shè)置沖突解脫訓(xùn)練的訓(xùn)練次數(shù)閾值和單次沖突解脫訓(xùn)練的訓(xùn)練時(shí)長；

48、s452、將本體航空器作為智能體設(shè)置于低空運(yùn)行環(huán)境中的任意位置，并將該位置作為當(dāng)次沖突解脫訓(xùn)練時(shí)的初始位置，并初始化本體無人機(jī)的狀態(tài)；

49、s453、根據(jù)低空運(yùn)行環(huán)境中航空器的狀態(tài)空間和動(dòng)作空間，基于當(dāng)前時(shí)刻本體無人機(jī)的狀態(tài)和動(dòng)作，得到下一時(shí)刻本體無人機(jī)的狀態(tài)，并根據(jù)帶有時(shí)間約束的獎(jiǎng)勵(lì)函數(shù)和第二神經(jīng)網(wǎng)絡(luò)，對(duì)應(yīng)得到當(dāng)前時(shí)刻本體無人機(jī)的獎(jiǎng)勵(lì)值以及下一時(shí)刻本體無人機(jī)的狀態(tài)對(duì)應(yīng)的目標(biāo)q值，直至本體無人機(jī)到達(dá)目標(biāo)位置或達(dá)到單次沖突解脫訓(xùn)練的訓(xùn)練時(shí)長，完成單次沖突解脫訓(xùn)練；

50、s454、每輪次沖突解脫訓(xùn)練后，將單次沖突解脫訓(xùn)練中每一時(shí)刻的運(yùn)行數(shù)據(jù)存儲(chǔ)到經(jīng)驗(yàn)回放池中，并從經(jīng)驗(yàn)回放池中隨機(jī)抽取若干運(yùn)行數(shù)據(jù)，結(jié)合各運(yùn)行數(shù)據(jù)對(duì)應(yīng)時(shí)刻的目標(biāo)q值，以最小化第一神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)輸出與實(shí)際輸出間誤差為目標(biāo)訓(xùn)練第一神經(jīng)網(wǎng)絡(luò)；

51、s455、判斷本體無人機(jī)進(jìn)行沖突解脫訓(xùn)練的次數(shù)是否達(dá)到訓(xùn)練次數(shù)閾值，若是則進(jìn)入s46，否則返回s452。

52、采用上述進(jìn)一步方案的有益效果為：本發(fā)明提供基于深度強(qiáng)化學(xué)習(xí)結(jié)合帶有時(shí)間約束的獎(jiǎng)勵(lì)函數(shù)，對(duì)本體無人機(jī)進(jìn)行沖突解脫訓(xùn)練方法，通過rainbow?dqn強(qiáng)化學(xué)習(xí)模型進(jìn)行決策，大大提升了穩(wěn)定地有效避障并準(zhǔn)點(diǎn)到達(dá)目標(biāo)位置的能力。

53、進(jìn)一步地，所述運(yùn)行數(shù)據(jù)包括當(dāng)前時(shí)刻下本體無人機(jī)的動(dòng)作、狀態(tài)、對(duì)應(yīng)的獎(jiǎng)勵(lì)值和下一時(shí)刻本體無人機(jī)的狀態(tài)，其中，智能體根據(jù)當(dāng)前時(shí)刻的狀態(tài)和動(dòng)作，在執(zhí)行完成當(dāng)前時(shí)刻的動(dòng)作后，得到當(dāng)前時(shí)刻對(duì)應(yīng)的獎(jiǎng)勵(lì)值和下一時(shí)刻智能體的狀態(tài)。

54、采用上述進(jìn)一步方案的有益效果為：本發(fā)明提供運(yùn)行數(shù)據(jù)的具體組成，運(yùn)行數(shù)據(jù)體現(xiàn)了航空器作為智能體在低空運(yùn)行環(huán)境下的避障行為，能夠?yàn)橛?xùn)練深度強(qiáng)化學(xué)習(xí)模型以提升航空器的避障能力和準(zhǔn)點(diǎn)率提供基礎(chǔ)。

55、針對(duì)于本發(fā)明還具有的其他優(yōu)勢(shì)將在后續(xù)的實(shí)施例中進(jìn)行更細(xì)致的分析。