本發(fā)明屬于多無人機突圍，具體涉及面向三維城市環(huán)境的分布式多無人機智能突圍決策方法。

背景技術(shù)：

1、四旋翼無人機(unmannedaerial?vehicle,uav)具有出色的機動性，并且由于其體積小、成本低等優(yōu)勢，在森林防火、城市安防以及電網(wǎng)維護等領(lǐng)域，得到了廣泛應(yīng)用，然而，單一的四旋翼無人機在處理復(fù)雜任務(wù)時的效用有限，因此，“無人機集群”的概念應(yīng)運而生，成為了一種更為有效的應(yīng)用模式，隨著無人機集群協(xié)同控制技術(shù)的發(fā)展，多無人機追逃博弈在城市安全背景下成為一個重要的研究領(lǐng)域；

2、深度強化學(xué)習(xí)(deep?reinforcement?learning?drl)在過去十年里得到了充分發(fā)展，自從在atari電子游戲中擊敗人類開始，deepmind的alphago和alphasta先后在圍棋和星際爭霸等復(fù)雜游戲中擊敗了頂級玩家，可以看出，深度強化學(xué)習(xí)具有強大的學(xué)習(xí)和決策能力，在解決無人機群系統(tǒng)的防御突防問題上極具潛力；

3、目前，許多優(yōu)秀的單智能體深度強化學(xué)習(xí)算法，如深度q網(wǎng)絡(luò)(dqn)、深度確定性策略梯度(ddpg)、雙延遲深度確定性策略梯度(td3)和軟演員-評論家(sac)，已廣泛應(yīng)用于連續(xù)控制中，進一步地，隨著智能體數(shù)量的增加，在多智能體強化學(xué)習(xí)領(lǐng)域中，集中訓(xùn)練和分布式執(zhí)行框架解決了由于多個學(xué)習(xí)智能體聯(lián)合訓(xùn)練引起的非平穩(wěn)性問題。針對三維城市環(huán)境下的多無人機突防問題，現(xiàn)有的研究方法存在以下難點：

4、(1)現(xiàn)有的多無人機突圍控制方法較少考慮三維城市環(huán)境下的虛擬仿真交互平臺設(shè)計問題，缺乏可提供實時訓(xùn)練數(shù)據(jù)的數(shù)字孿生城市仿真平臺；

5、(2)現(xiàn)有的大多數(shù)傳統(tǒng)多無人機協(xié)同控制方法采用空間離散化、粒子群優(yōu)化和人工勢場等方法處理狀態(tài)點集以實現(xiàn)避障和控制器設(shè)計，同時，由于多對多無人機追逃博弈在三維空間中的復(fù)雜性，基于hamilton-jacobi-isaacs(hji)微分方程傳統(tǒng)方法難以快速獲得可行的解析解；

6、(3)現(xiàn)有的多智能體強化學(xué)習(xí)算法在解決多智能體的追逃博弈問題時，幾乎沒有考慮對抗目標(biāo)未來軌跡對自身控制策略的影響；

7、因此，提出一種新型的面向三維城市環(huán)境的分布式多無人機智能突圍決策方法是有必要的。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供面向三維城市環(huán)境的分布式多無人機智能突圍決策方法，其首先通過設(shè)計目標(biāo)軌跡預(yù)測網(wǎng)絡(luò)，獲得對方圍捕無人機的未來軌跡，然后通過考慮三維城市環(huán)境的復(fù)雜性、避碰、避障等因素，研究基于最大熵的分布式多無人機突圍協(xié)同控制方法，實現(xiàn)三維城市環(huán)境下的快速、有效突防。

2、本發(fā)明采取的技術(shù)方案具體如下：

3、面向三維城市環(huán)境的分布式多無人機智能突圍決策方法，包括以下步驟：

4、s1：搭建數(shù)字孿生城市仿真環(huán)境，通過該仿真環(huán)境模擬多無人機突圍與無人機圍捕過程，獲取實時仿真數(shù)據(jù)；

5、s2：設(shè)計基于全局-個體的多無人機軌跡預(yù)測網(wǎng)絡(luò)，實現(xiàn)目標(biāo)的未來軌跡預(yù)測，為后續(xù)決策提供依據(jù)；

6、s3：建立面向突圍任務(wù)的多無人機隨機博弈模型，進而設(shè)計基于最大熵的多無人機突圍決策算法，并完成算法的離線訓(xùn)練；

7、s4：在線決策，利用訓(xùn)練好的多無人機突圍決策網(wǎng)絡(luò)實現(xiàn)多無人機在三維城市環(huán)境下的實時決策。

8、本發(fā)明取得的技術(shù)效果為：

9、(1)本發(fā)明針對三維城市環(huán)境下多無人機突圍決策問題，現(xiàn)有的仿真環(huán)境難以模擬真實的城市環(huán)境同時缺少無人機突圍仿真場景，本專利設(shè)計了基于unity3d的數(shù)字孿生城市仿真環(huán)境，采用renderdoc、blender與unity3d等圖形處理軟件與游戲引擎軟件構(gòu)建數(shù)字孿生三維城市，模擬多無人機突圍與無人機圍捕過程，同時基于實時交互技術(shù)，獲取實時仿真數(shù)據(jù)。

10、(2)本發(fā)明將群體軌跡預(yù)測方法與多智能體強化學(xué)習(xí)算法結(jié)合起來，提出一種基于群體軌跡預(yù)測的多無人機最大熵突圍智能決策算法，基于面向突圍任務(wù)的多無人機隨機博弈模型，實現(xiàn)對突圍態(tài)勢的實時表達，通過考慮目標(biāo)運動的未來軌跡、避碰、避撞等因素，基于最大熵的多無人機突圍智能決策算法，實時決策多無人機突圍策略，仿真結(jié)果表明，相比于單一的多智能體強化學(xué)習(xí)算法，本專利提出的算法在訓(xùn)練過程中具有更高的突圍收益，具有更快的收斂速度。

11、(3)本發(fā)明首先通過設(shè)計目標(biāo)軌跡預(yù)測網(wǎng)絡(luò)，獲得對方圍捕無人機的未來軌跡，然后通過考慮三維城市環(huán)境的復(fù)雜性、避碰、避障等因素，研究基于最大熵的分布式多無人機突圍協(xié)同控制方法，實現(xiàn)三維城市環(huán)境下的快速、有效突防。

技術(shù)特征：

1.面向三維城市環(huán)境的分布式多無人機智能突圍決策方法，其特征在于：包括以下步驟：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于：所述s1包括以下步驟：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于：所述s12中的實時仿真過程包括以下步驟：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于：所述s2包括以下步驟：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于：所述s21中的全局網(wǎng)絡(luò)負(fù)責(zé)提取突圍無人機與圍捕無人機之間的交互的全局表示信息，其中，全局表示信息rt的計算方式為：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于：所述s3包括以下步驟：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于：所述s31中的狀態(tài)集包括以下內(nèi)容：

8.根據(jù)權(quán)利要求7所述的方法，其特征在于：通過s2和s3的離線訓(xùn)練過程，確定預(yù)測網(wǎng)絡(luò)與突圍決策網(wǎng)絡(luò)的參數(shù)，此時預(yù)測網(wǎng)絡(luò)負(fù)責(zé)實現(xiàn)對多個目標(biāo)的軌跡預(yù)測，突圍決策網(wǎng)絡(luò)負(fù)責(zé)實時計算我方多個無人機的突圍策略。

技術(shù)總結(jié)
本發(fā)明屬于多無人機突圍技術(shù)領(lǐng)域，具體涉及面向三維城市環(huán)境的分布式多無人機智能突圍決策方法，包括搭建數(shù)字孿生城市仿真環(huán)境，通過該仿真環(huán)境模擬多無人機突圍與無人機圍捕過程，獲取實時仿真數(shù)據(jù)，設(shè)計基于全局?個體的多無人機軌跡預(yù)測網(wǎng)絡(luò)，實現(xiàn)目標(biāo)的未來軌跡預(yù)測，為后續(xù)決策提供依據(jù)，建立面向突圍任務(wù)的多無人機隨機博弈模型，進而設(shè)計基于最大熵的多無人機突圍決策算法，并完成算法的離線訓(xùn)練，在線決策，利用訓(xùn)練好的多無人機突圍決策網(wǎng)絡(luò)實現(xiàn)多無人機在三維城市環(huán)境下的實時決策。本發(fā)明通過獲得對方圍捕無人機的未來軌跡，研究基于最大熵的分布式多無人機突圍協(xié)同控制方法，實現(xiàn)三維城市環(huán)境下的快速、有效突防。

技術(shù)研發(fā)人員：張秀云,劉達,宗群,張睿隆,宋平
受保護的技術(shù)使用者：天津大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/12