本發(fā)明涉及智能交通系統(tǒng)及車聯(lián)網(wǎng)通信，具體而言，涉及一種車聯(lián)網(wǎng)數(shù)據(jù)分配信息年齡最小化方法。

背景技術(shù)：

1、在智能交通系統(tǒng)中，車輛通過(guò)無(wú)線通信網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)傳輸，基站收集并處理車輛的信息。然而，當(dāng)基站處于城市中較為偏遠(yuǎn)的位置時(shí)，城市中基站和車輛之間的長(zhǎng)距離傳輸會(huì)影響數(shù)據(jù)包的質(zhì)量，進(jìn)而影響基站對(duì)數(shù)據(jù)的解碼和恢復(fù)能力，最終影響城市交通管理系統(tǒng)的決策。

2、無(wú)人機(jī)(uav)的靈活性和可靠的視距特性使其能夠作為移動(dòng)中繼節(jié)點(diǎn)，輔助基站收集車輛信息。無(wú)人機(jī)在移動(dòng)過(guò)程中可以動(dòng)態(tài)地調(diào)整其位置和通信策略，以優(yōu)化數(shù)據(jù)傳輸?shù)男?。然而，在這種場(chǎng)景中，數(shù)據(jù)包信息的新鮮度(即信息年齡，aoi)是一個(gè)關(guān)鍵指標(biāo)，因?yàn)樗苯雨P(guān)系到城市交通決策的及時(shí)性和準(zhǔn)確性。

3、那么，在車聯(lián)網(wǎng)環(huán)境下使用無(wú)人機(jī)作為移動(dòng)中繼節(jié)點(diǎn)時(shí)，行走車輛的數(shù)據(jù)包該如何調(diào)度才能保證其信息年齡最??？當(dāng)信息年齡最小時(shí)，無(wú)人機(jī)軌跡該如何規(guī)劃？針對(duì)該問(wèn)題，現(xiàn)有技術(shù)中并沒(méi)有直接答案。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問(wèn)題是如何在車聯(lián)網(wǎng)環(huán)境下實(shí)現(xiàn)無(wú)人機(jī)輔助的車輛數(shù)據(jù)包調(diào)度和無(wú)人機(jī)軌跡規(guī)劃的最優(yōu)解，為克服以上現(xiàn)有技術(shù)的缺陷，本發(fā)明提供一種車聯(lián)網(wǎng)數(shù)據(jù)分配信息年齡最小化方法。

2、本發(fā)明提供的一種車聯(lián)網(wǎng)數(shù)據(jù)分配信息年齡最小化方法，包括如下步驟：

3、s1：基于以無(wú)人機(jī)為移動(dòng)中繼節(jié)點(diǎn)的車聯(lián)網(wǎng)建立以最小化所述車聯(lián)網(wǎng)中所有車輛的平均信息年齡和所述無(wú)人機(jī)的能耗為目標(biāo)的最優(yōu)化模型；

4、s2：基于所述最優(yōu)化模型獲得通過(guò)所述無(wú)人機(jī)與所述車聯(lián)網(wǎng)所在約束環(huán)境交互的馬爾可夫過(guò)程，并規(guī)定所述馬爾可夫過(guò)程的循環(huán)次數(shù)；

5、s3：基于所述馬爾科夫過(guò)程，通過(guò)近端策略優(yōu)化算法訓(xùn)練所述無(wú)人機(jī)并達(dá)到所述循環(huán)次數(shù)，獲得近端優(yōu)化模型；

6、s4：在所述基站中以所述近端優(yōu)化模型駕馭所述無(wú)人機(jī)運(yùn)行以最小化所有車輛的平均信息年齡和所述無(wú)人機(jī)的能耗。

7、本發(fā)明所公開(kāi)的車聯(lián)網(wǎng)數(shù)據(jù)分配信息年齡最小化方法，通過(guò)提前訓(xùn)練獲得近端優(yōu)化模型，并以該模型執(zhí)行信息年齡更新和無(wú)人機(jī)軌道選擇，可以減輕無(wú)人機(jī)的計(jì)算和決策負(fù)擔(dān)，使其主要專注于物理移動(dòng)和通信任務(wù)，從而提高無(wú)人機(jī)的能源效率和任務(wù)執(zhí)行效果，而且基站作為中央控制節(jié)點(diǎn)，可以收集并處理整個(gè)網(wǎng)絡(luò)的狀態(tài)信息，從而做出全局最優(yōu)決策。此外，通過(guò)近端優(yōu)化模型優(yōu)化信息年齡更新和無(wú)人機(jī)移動(dòng)路徑，能夠有效利用網(wǎng)絡(luò)資源和能源，減少不必要的通信和移動(dòng)開(kāi)銷，提高系統(tǒng)的能效。不僅適用于智能交通系統(tǒng)中的車輛網(wǎng)絡(luò)數(shù)據(jù)分配，還可以應(yīng)用于無(wú)人機(jī)群協(xié)作任務(wù)、應(yīng)急救援和災(zāi)害管理等多個(gè)領(lǐng)域，具有廣泛的應(yīng)用前景和商業(yè)價(jià)值。

8、在一種可能的實(shí)施方式中，所述步驟s1包括如下步驟：

9、s11：建立一個(gè)基站關(guān)聯(lián)一架無(wú)人機(jī)、一架所述無(wú)人機(jī)關(guān)聯(lián)多個(gè)車輛的通信網(wǎng)結(jié)構(gòu)，據(jù)此獲得所述車聯(lián)網(wǎng)；

10、s12：將指定時(shí)間劃分為多個(gè)時(shí)隙，并基于所述無(wú)人機(jī)位置變化將導(dǎo)致其覆蓋范圍變化的通信事實(shí)獲得各時(shí)隙所述無(wú)人機(jī)與各車輛間的連接約束；

11、s13：基于所述車聯(lián)網(wǎng)的通信信道特征獲得各時(shí)隙所述無(wú)人機(jī)與各車輛間的信道增益；

12、s14：基于所述步驟s13所獲各時(shí)隙所述無(wú)人機(jī)與各車輛間的信道增益獲得各時(shí)隙二者間的數(shù)據(jù)傳輸速率；

13、s15：根據(jù)所述無(wú)人機(jī)推進(jìn)過(guò)程的能耗算法獲得各時(shí)隙所述無(wú)人機(jī)的推進(jìn)能耗，并根據(jù)所述無(wú)人機(jī)以調(diào)度操作進(jìn)行懸停的事實(shí)獲得所述無(wú)人機(jī)的總能耗；

14、s16：將所有所述車輛的信息采樣行為設(shè)置為遵循所有所述時(shí)隙均進(jìn)行采樣更新，并以狀態(tài)更新最小數(shù)據(jù)量代表各所述車輛一次成功狀態(tài)更新的最低數(shù)據(jù)量需要，然后基于所述步驟s14所獲數(shù)據(jù)傳輸速率獲得各所述車輛在各時(shí)隙的狀態(tài)更新的數(shù)據(jù)量，根據(jù)各所述車輛在各時(shí)隙的狀態(tài)更新的數(shù)據(jù)量與所述狀態(tài)更新最小數(shù)據(jù)量的比較情況獲得各所述車輛的信息年齡更新算法；

15、s17：基于所述步驟s15所獲的各時(shí)隙所述無(wú)人機(jī)的總能耗獲得所述無(wú)人機(jī)在所述指定時(shí)間的平均能量消耗，基于所述步驟s16所獲信息年齡更新算法獲得所有所述車輛在所述指定時(shí)間的平均信息年齡，并將所述平均能量消耗與所述平均信息年齡之和的最小值作為所述目標(biāo)；

16、s18：規(guī)定所述無(wú)人機(jī)的工作區(qū)域，以所述工作區(qū)域和所述步驟s12所獲連接約束作為所述目標(biāo)對(duì)應(yīng)的約束，據(jù)此獲得所述最優(yōu)化模型；

17、與現(xiàn)有技術(shù)相比，采用上述技術(shù)方案能夠基于車聯(lián)網(wǎng)的顯示約束為最優(yōu)化信息年齡和能耗降低提供約束和目標(biāo)，從而為馬爾科夫過(guò)程的建立和據(jù)此訓(xùn)練獲得近端優(yōu)化模型提供了保障依據(jù)。

18、在一種可能的實(shí)施方式中，所述步驟s12所獲的所述無(wú)人機(jī)與各車輛間的連接約束的算式為：

19、

20、式中，

21、i＝0,1,2,…i-1代表所述無(wú)人機(jī)和車輛之間通信，i為車輛總數(shù)；

22、所述指定定時(shí)間劃分為n個(gè)時(shí)隙，n＝1,2,…,n代表時(shí)隙數(shù)；

23、是一個(gè)二元變量，代表第i個(gè)車輛被所述無(wú)人機(jī)調(diào)度，否則

24、與現(xiàn)有技術(shù)相比，采用上述技術(shù)方案能夠考了無(wú)人機(jī)的移動(dòng)性，根據(jù)無(wú)人機(jī)位置變化會(huì)導(dǎo)致其覆蓋范圍的變化的事實(shí)，進(jìn)而提供了一種無(wú)人機(jī)車輛調(diào)度的約束。

25、在一種可能的實(shí)施方式中，所述步驟s13所獲信道增益的算式為：

26、

27、式中，

28、代表時(shí)隙n所述無(wú)人機(jī)與車輛i間的信道增益；

29、代表車輛i在n時(shí)刻的位置；

30、代表所述無(wú)人機(jī)的二維坐標(biāo)；

31、qbs＝(xbs,ybs)代表所述基站的位置；

32、h0代表參考距離d0＝1m時(shí)的信道增益；

33、h代表所述無(wú)人機(jī)的飛行高度；

34、di,u(n)代表車輛i在時(shí)隙n與所述無(wú)人機(jī)之間的距離；

35、此方案為各時(shí)隙無(wú)人機(jī)與車輛i間的信道增益的計(jì)算提供了快速和準(zhǔn)確方式，從而實(shí)現(xiàn)信息增益的準(zhǔn)確獲得。

36、在一種可能的實(shí)施方式中，所述步驟s14所獲數(shù)據(jù)傳輸速率的算式為：

37、

38、式中，

39、代表時(shí)隙n所述無(wú)人機(jī)與車輛i間的數(shù)據(jù)傳輸速率；

40、b代表通信帶寬；

41、σ2代表加性高斯白噪聲；

42、p代表所述車輛的發(fā)送功率；

43、此方案能夠?qū)崿F(xiàn)對(duì)各時(shí)隙無(wú)人機(jī)與車輛i間的數(shù)據(jù)傳輸速率的準(zhǔn)確獲取，從而為各車輛在各時(shí)隙的狀態(tài)更新的數(shù)據(jù)量的計(jì)算提供保障依據(jù)。

44、在一種可能的實(shí)施方式中，所述步驟s15中，所述無(wú)人機(jī)推進(jìn)過(guò)程的能耗算法的算式為：

45、

46、式中，

47、p(vn)代表時(shí)隙n所述無(wú)人機(jī)的推進(jìn)能耗；

48、p0代表所述無(wú)人機(jī)懸停時(shí)的葉型功率；

49、p1代表所述無(wú)人機(jī)懸停時(shí)的誘導(dǎo)功率；

50、vn代表所述無(wú)人機(jī)在時(shí)隙n的速度；

51、utip代表所述無(wú)人機(jī)的旋翼葉片葉尖速度；

52、v0代表所述無(wú)人機(jī)懸停時(shí)的平均旋翼誘導(dǎo)速度；

53、d代表所述無(wú)人機(jī)的機(jī)身阻力比；

54、ρ代表空氣密度；

55、s代表所述無(wú)人機(jī)的旋翼實(shí)體度；

56、a代表所述無(wú)人機(jī)的旋翼盤面積；

57、所述無(wú)人機(jī)的總能耗的算式為：

58、

59、ph＝p0+p1，

60、式中，

61、ts代表所述無(wú)人機(jī)飛行時(shí)間；

62、tc代表所述無(wú)人機(jī)懸浮時(shí)間；

63、ph代表所述無(wú)人機(jī)懸停狀態(tài)下的功耗；

64、此方案基于無(wú)人機(jī)主要能耗由推進(jìn)，懸停和通信所組成，結(jié)合通信所消耗的能量是最小的事實(shí)忽略了通信能耗，從而在確保精確度的同時(shí)降低對(duì)于能耗計(jì)算的復(fù)雜度。

65、在一種可能的實(shí)施方式中，所述步驟s16中，各所述車輛在各時(shí)隙的狀態(tài)更新的數(shù)據(jù)量的算式為：

66、

67、式中，

68、車輛i在時(shí)隙n的狀態(tài)更新的數(shù)據(jù)量；

69、δn代表時(shí)隙n的時(shí)長(zhǎng)；

70、各所述車輛的信息年齡更新算法的算式為：

71、

72、式中，

73、代表車輛i在時(shí)隙n的信息年齡；

74、代表車輛i的所述狀態(tài)更新最小數(shù)據(jù)量；

75、代表車輛的集合；

76、此方案引入車輛i的所述狀態(tài)更新最小數(shù)據(jù)量，并據(jù)此提供更新策略，從而確保信息年齡的有序更新。

77、在一種可能的實(shí)施方式中，所述步驟s2中的所獲馬爾可夫過(guò)程表述如下：

78、將所述無(wú)人機(jī)作為智能體，所述智能體與所述車聯(lián)網(wǎng)所在的約束環(huán)境循環(huán)交互，循環(huán)交互次數(shù)為所述步驟s2所規(guī)定的所述馬爾可夫過(guò)程的循環(huán)次數(shù)，每次循環(huán)所進(jìn)行的步數(shù)相同；

79、對(duì)于每一步，所述智能體在本步始觀測(cè)所述約束環(huán)境，獲取當(dāng)前步的觀測(cè)狀態(tài)，基于此觀測(cè)狀態(tài)和所述智能體自身的策略，所述智能體在本步中從混合動(dòng)作空間中選擇一個(gè)混合動(dòng)作；

80、所述混合動(dòng)作空間由離散動(dòng)作空間和連續(xù)動(dòng)作空間組成；

81、所述智能體在本步中從所述混合動(dòng)作空間中選擇一個(gè)混合動(dòng)作是指所述智能體從所述離散動(dòng)作空間中為當(dāng)前需要更新信息年齡的所述車輛選擇一個(gè)離散動(dòng)作，且在所述連續(xù)動(dòng)作空間中為所述無(wú)人機(jī)移動(dòng)速度和方向選擇兩個(gè)連續(xù)動(dòng)作；

82、所述智能體在本步中執(zhí)行所述混合動(dòng)作后，所述約束環(huán)境的狀態(tài)發(fā)生變化，且所述智能體獲得相應(yīng)的獎(jiǎng)勵(lì)值，至此本步結(jié)束并進(jìn)入下一步；

83、此方案實(shí)現(xiàn)了將最優(yōu)化模型轉(zhuǎn)化為馬爾科夫過(guò)程，且提供了訓(xùn)練無(wú)人機(jī)的模型雛形，能夠直到近端優(yōu)化算法對(duì)智能體的訓(xùn)練，從而為獲得近端優(yōu)化模型提供前提保障。

84、在一種可能的實(shí)施方式中，所述步驟s3包括如下步驟：

85、s31：根據(jù)所述近端策略優(yōu)化算法需求，采用含有表演家網(wǎng)絡(luò)和批判者網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)，將所述神經(jīng)網(wǎng)絡(luò)的所有參數(shù)進(jìn)行初始化處理，并將所述智能體的經(jīng)驗(yàn)回放池進(jìn)行初始化，同時(shí)設(shè)定訓(xùn)練階段的循環(huán)個(gè)數(shù)為所述馬爾可夫過(guò)程的循環(huán)次數(shù)，并規(guī)定訓(xùn)練階段的每次循環(huán)所進(jìn)行的步數(shù)與所述馬爾科夫過(guò)程所設(shè)定的步數(shù)相同；

86、所述表演家網(wǎng)絡(luò)由用于輸出離散動(dòng)作的離散動(dòng)作網(wǎng)絡(luò)模塊和用于輸出連續(xù)動(dòng)作的連續(xù)動(dòng)作網(wǎng)絡(luò)模塊構(gòu)成；

87、s32：在當(dāng)前步中，所述智能體在當(dāng)前步始觀測(cè)所述約束環(huán)境，獲得各時(shí)隙的當(dāng)前觀測(cè)狀態(tài)，所述當(dāng)前觀測(cè)狀態(tài)表述為：

88、

89、式中，

90、state代表當(dāng)前觀測(cè)狀態(tài)；

91、代表時(shí)隙集合；

92、s33：將所述當(dāng)前觀測(cè)狀態(tài)同時(shí)輸入所述表演家網(wǎng)絡(luò)和所述批判者網(wǎng)絡(luò)；

93、通過(guò)所述表演家網(wǎng)絡(luò)的離散動(dòng)作網(wǎng)絡(luò)模塊輸出各時(shí)隙的所述智能體調(diào)度車輛索引，根據(jù)各時(shí)隙的調(diào)度車輛索引依次為索引代表車輛發(fā)送狀態(tài)更新報(bào)文，所述狀態(tài)更新報(bào)文包含所涉車輛的信息年齡，并將所涉車輛在所述智能體處的信息年齡重置為δn，而未發(fā)送狀態(tài)更新報(bào)文車輛的信息年齡增加δn，本步的離散動(dòng)作至此獲得更新；

94、通過(guò)所述表演家網(wǎng)絡(luò)的連續(xù)動(dòng)作網(wǎng)絡(luò)模塊計(jì)算各時(shí)隙連續(xù)動(dòng)作的當(dāng)前輸出值，該當(dāng)前輸出值包含所述智能體的移動(dòng)方向和所述智能體的移動(dòng)速度，所述智能體按該當(dāng)前輸出值依次執(zhí)行，本步的連續(xù)動(dòng)作至此獲得更新；

95、本步的離散動(dòng)作和連續(xù)動(dòng)作獲得更新后，所述智能體基于本步的所述約束環(huán)境更新獲得獎(jiǎng)勵(lì)值并基于該獎(jiǎng)勵(lì)和所述批判者網(wǎng)絡(luò)的輸出獲得各時(shí)隙的下一步觀測(cè)狀態(tài)；

96、s34：將當(dāng)前步的狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)、各時(shí)隙的下一步觀測(cè)狀態(tài)存儲(chǔ)在所述經(jīng)驗(yàn)回放池中；

97、s35：判斷當(dāng)前是否執(zhí)行完一個(gè)循環(huán)，若否，則以各時(shí)隙的下一步觀測(cè)狀態(tài)作為各時(shí)隙的當(dāng)前觀測(cè)狀態(tài)且回轉(zhuǎn)執(zhí)行所述步驟s32；

98、若是，則執(zhí)行下一步；

99、s36：判斷當(dāng)前已循環(huán)次數(shù)是否達(dá)到所述循環(huán)次數(shù)或達(dá)到經(jīng)驗(yàn)回放池存儲(chǔ)極限，若至少滿足其中之一，則通過(guò)基于所述經(jīng)驗(yàn)回放池收集的所有數(shù)據(jù)進(jìn)行若干次歷時(shí)迭代的方式獲得所述近端優(yōu)化模型且將所述近端優(yōu)化模型嵌入所述基站，否則，以各時(shí)隙的下一步觀測(cè)狀態(tài)作為各時(shí)隙的當(dāng)前觀測(cè)狀態(tài)且回轉(zhuǎn)執(zhí)行所述步驟s32；

100、此方案能夠在離散動(dòng)作空間和連續(xù)動(dòng)作空間中同時(shí)進(jìn)行優(yōu)化，使得信息更新和無(wú)人機(jī)的移動(dòng)路徑規(guī)劃更加高效和精準(zhǔn)。這種雙空間優(yōu)化的方法能夠顯著降低信息年齡和能耗，提高整體系統(tǒng)性能。

101、在一種可能的實(shí)施方式中，所述步驟s33中，獎(jiǎng)勵(lì)值的計(jì)算式為：

102、

103、式中，

104、第1項(xiàng)為時(shí)隙n末端所有車輛的平均時(shí)間年齡；

105、第2項(xiàng)為時(shí)隙n無(wú)人機(jī)的能耗；

106、ξ和ψ分別為非負(fù)加權(quán)信息年齡和能耗分量；

107、此方案通過(guò)對(duì)智能體基于目標(biāo)的更新獎(jiǎng)勵(lì)，且提供了明確的獎(jiǎng)勵(lì)機(jī)制，為提高模型構(gòu)建效率提供保障，而且確保了對(duì)于最優(yōu)化模型的目標(biāo)的實(shí)現(xiàn)精度可靠。