本發(fā)明屬于移動邊緣計算，尤其涉及一種邊緣網(wǎng)絡資源調(diào)度與無人機運動控制協(xié)同優(yōu)化方法。

背景技術：

1、近年來，隨著信息化產(chǎn)業(yè)快速發(fā)展，人們迎來萬物互聯(lián)的6g時代。各種服務與應用出不窮，例如增強現(xiàn)實、在線游戲、視頻流分析等。這些服務與應用對數(shù)據(jù)處理時延有著嚴格的要求，傳統(tǒng)的云計算無法滿足。為了滿足時延要求，大量計算任務需要在用戶本地設備中執(zhí)行。然而，用戶設備的電池容量與計算能力有限，無法持續(xù)進行高性能計算，使得完全在本地執(zhí)行計算任務非常具有挑戰(zhàn)性。無人機輔助邊緣計算是一種新型計算范式，其能夠利用無人機移動性強、快速部署的特點，在無線網(wǎng)絡中靠近用戶的邊緣側靈活地為用戶提供任務卸載與計算服務。與云計算相比，無人機輔助邊緣計算通過邊緣網(wǎng)絡資源調(diào)度優(yōu)化，能夠同時降低數(shù)據(jù)處理時延并節(jié)省用戶設備能耗。

2、隨著無人機輔助移動邊緣計算技術的快速發(fā)展，計算系統(tǒng)架構更加靈活、傳輸環(huán)境更為復雜、實時性要求更高、業(yè)務需求也更加多樣化。這些發(fā)展趨勢導致服務的用戶通常是動態(tài)移動的，用戶的任務卸載需求也是動態(tài)時變的。這在很大程度上加劇了邊緣網(wǎng)絡資源調(diào)度以及無人機飛行軌跡實時控制的難度。然而，傳統(tǒng)的優(yōu)化設計通常著眼于靜態(tài)或準靜態(tài)應用場景，只依據(jù)當前用戶和環(huán)境狀態(tài)，就完成了邊緣網(wǎng)絡資源調(diào)度和無人機飛行軌跡的整體規(guī)劃。此外，當前研究中缺乏對無人機飛行動力學限制的考慮，即無人機的速度和加速度不能任意變化。因此，在動態(tài)時變的應用場景下，現(xiàn)有基于無人機輔助邊緣計算的邊緣網(wǎng)絡資源調(diào)度和無人機運動軌跡控制優(yōu)化方法的動態(tài)實時性不足，對環(huán)境適應性較差，難以滿足未來無人機輔助邊緣計算的發(fā)展需求。

3、因此亟需研究一種能夠?qū)崟r動態(tài)地協(xié)同優(yōu)化邊緣網(wǎng)絡資源調(diào)度與無人機運動控制的無人機輔助邊緣計算方法。

技術實現(xiàn)思路

1、針對現(xiàn)有技術存在的問題，本發(fā)明的目的是提供一種適用于無人機輔助邊緣計算的邊緣網(wǎng)絡資源調(diào)度與無人機運動控制智能協(xié)同優(yōu)化方法，一方面，優(yōu)化邊緣網(wǎng)絡資源調(diào)度能夠提升邊緣網(wǎng)絡能效和改進通信時延等性能，另一方面，能夠?qū)崟r調(diào)整無人機飛行軌跡，適應用戶任務卸載需求的動態(tài)時變性，同時應對用戶動態(tài)移動引起的隨機時延、時變系統(tǒng)參數(shù)等問題。因此，通過邊緣網(wǎng)絡資源調(diào)度和運動軌跡動態(tài)控制的協(xié)同優(yōu)化，可以有效提升無人機輔助移動邊緣計算系統(tǒng)的整體性能。此外，協(xié)同優(yōu)化網(wǎng)絡資源調(diào)度與運動控制時，智能體輸出的動作包括連續(xù)動作和離散動作，連續(xù)動作包括加速度和計算頻率，離散動作包括用戶關聯(lián)和任務卸載比例。因此，本發(fā)明所提的智能方法中智能體能夠同時輸出連續(xù)與離散混合動作。

2、針對現(xiàn)有技術存在的問題，本發(fā)明提供一種邊緣網(wǎng)絡資源調(diào)度與無人機運動控制協(xié)同優(yōu)化方法，包括：

3、步驟s1：建立無人機輔助移動邊緣計算模型；首先定義環(huán)境信息，計算無人機輔助移動邊緣計算時延及能耗指標；然后考慮移動性，建立用戶移動性模型，以及建立無人機動力學模型，并且計算無人機飛行能耗指標；

4、步驟s2：基于步驟s1的無人機輔助移動邊緣計算模型，構建邊緣網(wǎng)絡資源調(diào)度與無人機運動控制相結合的協(xié)同優(yōu)化問題模型；

5、步驟s3：基于邊緣網(wǎng)絡資源調(diào)度與無人機運動控制協(xié)同優(yōu)化問題模型，建立相應的馬爾可夫決策過程mdp模型；

6、步驟s4，根據(jù)步驟s3所建立的mdp模型，采用深度強化學習獲得適用于無人機輔助移動邊緣計算的網(wǎng)絡資源調(diào)度與無人機運動控制協(xié)同優(yōu)化策略。

7、本發(fā)明的有益效果如下：

8、本方法中綜合考慮無人機的機動性和飛行動力學方程限制，提出了一種資源分配與軌跡實時控制協(xié)同優(yōu)化方法。由于增加了飛行動力學方程限制，基于所提方法輸出的無人機動態(tài)軌跡更符合實際情況下的飛行軌跡，這是目前已有方法未考慮的。

9、本方法對drl算法中神經(jīng)網(wǎng)絡的損失函數(shù)更新方式進行了修改，以適用于輸出連續(xù)離散混合動作。改進后的算法能夠訓練收斂并穩(wěn)定輸出連續(xù)離散混合動作，從而，能夠有效解決資源分配與軌跡實時控制問題中存在的連續(xù)離散混合動作空間問題。

技術特征：

1.一種邊緣網(wǎng)絡資源調(diào)度與無人機運動控制協(xié)同優(yōu)化方法，其特征在于，包括以下步驟：

2.根據(jù)權利要求1所述的一種邊緣網(wǎng)絡資源調(diào)度與無人機運動控制協(xié)同優(yōu)化方法，其特征在于，所述無人機輔助移動邊緣計算模型的建立具體流程如下：

3.根據(jù)權利要求2所述的一種邊緣網(wǎng)絡資源調(diào)度與無人機運動控制協(xié)同優(yōu)化方法，其特征在于，所述優(yōu)化問題模型具體建立為：

4.根據(jù)權利要求3所述的一種邊緣網(wǎng)絡資源調(diào)度與無人機運動控制協(xié)同優(yōu)化方法，其特征在于，所述mdp模型為mdp<s,a,r,p>，其中，s、a、r分別表示系統(tǒng)狀態(tài)集、系統(tǒng)動作集、獎勵函數(shù)集，p為狀態(tài)轉(zhuǎn)移函數(shù)；

5.根據(jù)權利要求4所述的一種邊緣網(wǎng)絡資源調(diào)度與無人機運動控制協(xié)同優(yōu)化方法，其特征在于，所述協(xié)同優(yōu)化策略包括兩個神經(jīng)網(wǎng)絡，演員actor網(wǎng)絡和評論家critic網(wǎng)絡。

6.根據(jù)權利要求5所述的一種邊緣網(wǎng)絡資源調(diào)度與無人機運動控制協(xié)同優(yōu)化方法，其特征在于，所述演員actor網(wǎng)絡和評論家critic網(wǎng)絡的一次學習訓練過程具體為：

7.根據(jù)權利要求6所述的一種邊緣網(wǎng)絡資源調(diào)度與無人機運動控制協(xié)同優(yōu)化方法，其特征在于，所述通信與計算總時延計算如下：

8.根據(jù)權利要求7所述的一種邊緣網(wǎng)絡資源調(diào)度與無人機運動控制協(xié)同優(yōu)化方法，其特征在于，所述通信與計算總時延計算如下：

技術總結
本發(fā)明提供一種邊緣網(wǎng)絡資源調(diào)度與無人機運動控制協(xié)同優(yōu)化方法，屬于移動邊緣計算技術領域，通過建立無人機輔助移動邊緣計算模型，用戶移動性模型以及無人機動力學模型，從而構建協(xié)同優(yōu)化問題模型；基于問題模型構建MDP模型，并使用深度強化學習與環(huán)境持續(xù)不斷地交互，最終得到邊緣網(wǎng)絡資源調(diào)度與無人機運動控制的智能協(xié)同優(yōu)化策略?；谠搩?yōu)化策略，智能體直接輸出連續(xù)與離散混合動作，使無人機協(xié)同優(yōu)化邊緣網(wǎng)絡資源調(diào)度與運動軌跡動態(tài)控制，提高了動態(tài)環(huán)境下無人機輔助邊緣計算系統(tǒng)的自學習能力、環(huán)境適應性以及動態(tài)實時性，以適應未來無人機輔助邊緣計算場景中復雜多樣且動態(tài)實時的業(yè)務請求。

技術研發(fā)人員：王立博,張翔引,王朱偉,周家夷,秦開宇
受保護的技術使用者：電子科技大學
技術研發(fā)日：
技術公布日：2024/11/14