本發(fā)明屬于船舶航行路線規(guī)劃領(lǐng)域，尤其涉及一種基于增強現(xiàn)實的實時船舶航行路線規(guī)劃方法。

背景技術(shù)：

1、隨著全球海運業(yè)的快速發(fā)展，船舶航行安全性和效率的重要性日益突出。傳統(tǒng)的船舶導(dǎo)航系統(tǒng)主要依賴于人工觀察、電子海圖和自動識別系統(tǒng)(ais)等手段。然而，這些方法存在明顯的局限性。首先，人工觀察容易受到天氣、能見度和人為因素的影響，難以提供實時、準確的環(huán)境感知信息。其次，電子海圖雖然可以提供航行路徑的基本信息，但缺乏實時動態(tài)數(shù)據(jù)的支持，無法應(yīng)對突發(fā)的環(huán)境變化和風(fēng)險。此外，ais系統(tǒng)雖然能夠提供其他船舶的位置和運動信息，但在高密度航區(qū)和復(fù)雜海況下，單靠ais信息難以保證航行的安全性。

2、現(xiàn)有的一些先進導(dǎo)航系統(tǒng)嘗試引入雷達和視頻監(jiān)控技術(shù)，以提高環(huán)境感知的準確性。然而，這些系統(tǒng)通常是獨立運行的，缺乏對多模態(tài)數(shù)據(jù)的有效融合和綜合分析，導(dǎo)致信息孤島問題，難以提供全面的環(huán)境感知和風(fēng)險評估。此外，雖然一些系統(tǒng)引入了人工智能技術(shù)，如機器學(xué)習(xí)和深度學(xué)習(xí)，用于航線優(yōu)化和風(fēng)險預(yù)測，但其應(yīng)用場景有限，缺乏對實時環(huán)境數(shù)據(jù)的動態(tài)調(diào)整能力。尤其是在遠洋航行和復(fù)雜海況下，這些系統(tǒng)往往無法實時響應(yīng)和調(diào)整，影響了航行的安全性和效率。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提出一種基于增強現(xiàn)實的實時船舶航行路線規(guī)劃方法，通過融合船載視頻、ais信息、雷達數(shù)據(jù)和氣象數(shù)據(jù)，應(yīng)用深度學(xué)習(xí)和生成對抗網(wǎng)絡(luò)(gan)技術(shù)，實現(xiàn)對船舶航線的實時優(yōu)化和風(fēng)險評估。增強現(xiàn)實技術(shù)則將優(yōu)化后的航線和風(fēng)險提示直觀地展示在船員視野中，極大地提升了導(dǎo)航?jīng)Q策的直觀性和準確性。這種方法不僅克服了傳統(tǒng)導(dǎo)航系統(tǒng)的信息孤島問題，還彌補了現(xiàn)有智能導(dǎo)航系統(tǒng)在實時動態(tài)調(diào)整和綜合風(fēng)險評估方面的不足，為船舶航行提供了一種全新的解決方案。

2、為了達到上述目的，在本發(fā)明提供了一種基于增強現(xiàn)實的實時船舶航行路線規(guī)劃方法，所述方法包括：

3、s1、實時采集船舶周圍的多種環(huán)境數(shù)據(jù)，并對多種環(huán)境數(shù)據(jù)進行預(yù)處理；所述多種環(huán)境數(shù)據(jù)包括視頻數(shù)據(jù)、ais數(shù)據(jù)、雷達數(shù)據(jù)和氣象數(shù)據(jù)；

4、s2、通過卷積神經(jīng)網(wǎng)絡(luò)處理視頻數(shù)據(jù)，提取環(huán)境特征，通過長短期記憶網(wǎng)絡(luò)處理ais數(shù)據(jù)，提取動態(tài)特征，通過卷積神經(jīng)網(wǎng)絡(luò)處理雷達數(shù)據(jù)，提取其空間特征，使用兩層多層感知機處理氣象數(shù)據(jù)，提取氣象特征，使用注意力機制對齊不同模態(tài)的特征并融合得到融合特征，再使用雙向長短期記憶網(wǎng)絡(luò)對融合特征進行時序建模，生成最終的環(huán)境感知結(jié)果；

5、s3、根據(jù)最終的環(huán)境感知結(jié)果，利用生成對抗網(wǎng)絡(luò)生成多種海況和氣象情景，進行風(fēng)險評估并生成風(fēng)險地圖，根據(jù)風(fēng)險評估的結(jié)果和風(fēng)險地圖，生成規(guī)避策略，調(diào)整航線避開高風(fēng)險區(qū)域；

6、s4、根據(jù)風(fēng)險評估的結(jié)果，并結(jié)合實時環(huán)境感知數(shù)據(jù)和歷史航行數(shù)據(jù)，采用強化學(xué)習(xí)算法對航行路線進行動態(tài)調(diào)整，得到優(yōu)化后的航行路線；

7、s5、將優(yōu)化后的航行路線、高風(fēng)險區(qū)域和重要提示信息，通過ar顯示與導(dǎo)航系統(tǒng)的實時同步，結(jié)合增強現(xiàn)實技術(shù)疊加進行展示；

8、其中，根據(jù)風(fēng)險評估的結(jié)果和風(fēng)險地圖，生成規(guī)避策略，調(diào)整航線避開高風(fēng)險區(qū)域，具體包括：

9、根據(jù)風(fēng)險評估的結(jié)果和風(fēng)險地圖引入路徑平滑項αsmooth和路徑調(diào)整代價項βcost，生產(chǎn)規(guī)避策略，表示如下：

10、

11、其中，pnew表示新的規(guī)避策略，rtotal(p)表示舊規(guī)避策略的風(fēng)險評分，smoothness(p)表示路徑平滑度度量，adjustmentcost表示從當(dāng)前路徑調(diào)整到新路徑的成本；

12、其中，所述路徑平滑度度量，表示如下：

13、

14、其中，θj表示路徑p上第j個航點的航向角，m表示航點總數(shù)；

15、所述從當(dāng)前路徑調(diào)整到新路徑的成本，表示如下：

16、adjustmentcost(p)＝δfuel·fuelcost(p)+δtime·timedelay(p)

17、其中，fuelcost(p)表示調(diào)整路徑導(dǎo)致的額外燃料消耗，timedelay(p)表示路徑調(diào)整導(dǎo)致的時間延遲，δfuel和δtime表示相應(yīng)的權(quán)重系數(shù)。

18、優(yōu)選的，所述預(yù)處理包括多模態(tài)數(shù)據(jù)時間同步處理、視頻數(shù)據(jù)預(yù)處理、ais數(shù)據(jù)預(yù)處理、雷達數(shù)據(jù)預(yù)處理和氣象數(shù)據(jù)預(yù)處理；其中，所述頻數(shù)據(jù)預(yù)處理包括去噪處理和幀提??；所述ais數(shù)據(jù)預(yù)處理包括去重和過濾處理和數(shù)據(jù)插值處理；所述雷達數(shù)據(jù)預(yù)處理包括回波去噪和數(shù)據(jù)網(wǎng)格化處理；所述氣象數(shù)據(jù)預(yù)處理包括數(shù)據(jù)平滑處理和數(shù)據(jù)標準化處理。

19、優(yōu)選的，所通過卷積神經(jīng)網(wǎng)絡(luò)處理視頻數(shù)據(jù)，提取環(huán)境特征，表示如下：

20、fconv(t)＝relu(conv(i(t),w)+b)

21、其中，i(t)表示輸入視頻幀，w表示卷積核權(quán)重，b表示偏置，conv表示卷積操作，relu表示激活函數(shù)，fconv(t)表示當(dāng)前卷積層輸出特征；

22、所述卷積神經(jīng)網(wǎng)絡(luò)的池化計算公式，表示如下：

23、fpool(t)＝maxpool(fconv(t))

24、其中，fpool(t)為池化后的特征圖，maxpool表示最大池化操作；

25、所述通過長短期記憶網(wǎng)絡(luò)處理ais數(shù)據(jù)，提取動態(tài)特征，表示如下：

26、it＝σ(wi·[ht-1,a(t)]+bi)

27、ft＝σ(wf·[ht-1,a(t)]+bf)

28、ot＝σ(wo·[ht-1,a(t)]+bo)

29、

30、ht＝ot*tanh(ct)

31、其中，a(t)表示輸入的ais數(shù)據(jù)，ct表示細胞狀態(tài)，ht表示隱藏狀態(tài)，bi,bf,bo,bc表示偏置向量，σ表示sigmoid激活函數(shù)，tanh表示tanh激活函數(shù)，ht-1表示t-1時的隱藏狀態(tài)，ct-1表示t-1時的細胞狀態(tài)，表示當(dāng)前時間步的候選細胞狀態(tài)，it表示時間t時刻的輸入門激活值，wi,wf,wo,wc表示權(quán)重矩陣，ot表示時間t時刻的輸出門激活值，ft表示時間t時刻的遺忘門激活值；

32、所述通過卷積神經(jīng)網(wǎng)絡(luò)處理雷達數(shù)據(jù)，提取其空間特征，表示如下：

33、fconv_rad(t)＝relu(conv(r(t),wrad)+brad)

34、其中，r(t)表示輸入雷達數(shù)據(jù)，wrad表示卷積核權(quán)重，brad表示偏置，relu表示激活函數(shù)，fconv_rad(t)表示當(dāng)前卷積神經(jīng)網(wǎng)絡(luò)的輸出；

35、池化計算公式為：

36、fpool_rad(t)＝maxpool(fconv_rad(t))

37、其中，fpool_rad(t)表示池化后的特征圖，maxpool表示最大池化操作；

38、所述使用兩層多層感知機處理氣象數(shù)據(jù)，提取氣象特征，表示如下：

39、第一層全連接：

40、ffc1(t)＝relu(wfc1·w(t)+bfc1)

41、其中，w(t)表示輸入氣象數(shù)據(jù)，wfc1表示權(quán)重，bfc1表示偏置，ffc1(t)表示第一層全連接層的輸出；

42、第二層全連接：

43、fmet(t)＝relu(wfc2·ffc1(t)+bfc2))

44、其中，ffc1(t)表示第一層輸出特征，wfc2表示第二層權(quán)重，bfc2表示偏置，fmet(t)表示第二層全連接層的輸出。

45、優(yōu)選的，所述使用注意力機制對齊不同模態(tài)的特征并融合得到融合特征，再使用雙向長短期記憶網(wǎng)絡(luò)對融合特征進行時序建模，生成最終的環(huán)境感知結(jié)果，表示如下：

46、設(shè)注意力權(quán)重為α，對齊后的特征為faligned(t)，則注意力權(quán)重計算：

47、αvid＝softmax(wa1·fvid(t))

48、其中，αvid表示視頻注意力權(quán)重，wa1為視頻特征的注意力權(quán)重矩陣，softmax為softmax函數(shù)；

49、αais＝softmax(wa2·fais(t))

50、其中，αais表示ais注意力權(quán)重，wa2為ais特征的注意力權(quán)重矩陣；

51、αrad＝softmax(wa3·frad(t))

52、其中，αrad表示雷達注意力權(quán)重，wa3為雷達特征的注意力權(quán)重矩陣；

53、αmet＝softmax(wa4·fmet(t)))

54、其中，αmet表示氣象注意力權(quán)重，wa4為氣象特征的注意力權(quán)重矩陣；

55、特征對齊與融合：

56、faligned(t)＝αvid·fvid(t)+αais·fais(t)+αrad·frad(t)+αmet·fmet(t)

57、其中，fvid(t)表示視頻特征圖，fais(t)表示ais特征，frad(t)表示雷達特征圖，fmet(t)表示氣象特征，faligned(t)為對齊后的多模態(tài)特征；

58、使用雙向長短期記憶網(wǎng)絡(luò)對融合特征進行時序建模，提取時間動態(tài)信息，生成最終的環(huán)境感知結(jié)果e(tv，表示如下：

59、e(t)＝bilstm(faligned(t))

60、其中，bilstm表示雙向長短期記憶網(wǎng)絡(luò)操作，e(t)為時間t的環(huán)境感知結(jié)果。

61、優(yōu)選的，所述生成對抗網(wǎng)絡(luò)的結(jié)構(gòu)，構(gòu)建如下：

62、生成器g的輸入為噪聲向量z和多模態(tài)融合特征faligned(t)，輸出為生成的模擬情景g(z,faligned(t))，其中，生成器g的網(wǎng)絡(luò)結(jié)構(gòu)為多層感知機網(wǎng)絡(luò)；

63、判別器d的輸入為真實情景xreal和生成情景g(z,faligned(t))，輸出為判斷結(jié)果d(xreal,g(z,faligned(t)))，其中，判別器d的網(wǎng)絡(luò)結(jié)構(gòu)為：卷積神經(jīng)網(wǎng)絡(luò)；

64、使用交替訓(xùn)練方法，分別訓(xùn)練生成器g和判別器d；其中，生成器g的損失函數(shù)，表示如下：

65、

66、其中，pz(z)表示噪聲分布，pdata(faligned)表示多模態(tài)融合特征的分布，z表示噪聲向量，e表示期望；

67、判別器d的損失函數(shù)，表示如下

68、

69、其中，pdata(xreal)表示真實情景的分布；

70、根據(jù)輸入不同的噪聲向量z和多模態(tài)融合特征faligned(t)，生成多個模擬情景g(zi,faligned(t))。

71、優(yōu)選的，引入了基于歷史數(shù)據(jù)的動態(tài)風(fēng)險因子λdynamic和基于環(huán)境復(fù)雜性的非線性項γenv對每個生成的模擬情景g(zi,faligned(t))進行風(fēng)險評估，表示如下：

72、ri＝mrisk(g(zi,faligned(t)))+λdynamic·historyfactor(g(zi,faligned(t)))+γenv·envcomplexity(g(zi,faligned(t)))

73、其中，mrisk表示基礎(chǔ)風(fēng)險評估模型；λdynamic表示歷史動態(tài)風(fēng)險因子；γenv表示環(huán)境復(fù)雜性非線性項；historyfactor表示歷史數(shù)據(jù)中的風(fēng)險模式權(quán)重；其中，所述historyfactor反映在相似航行條件下的歷史風(fēng)險，計算時需要在歷史數(shù)據(jù)庫中與當(dāng)前情景g(zi,faligned(t))最匹配的歷史情景，并根據(jù)這些情景的平均風(fēng)險值進行加權(quán)，表示如下：

74、

75、其中，k表示選出的歷史情景數(shù)，wj表示與當(dāng)前情景匹配的第j個歷史情景的權(quán)重，rhist(j)表示歷史情景j的風(fēng)險評分；

76、對所有生成情景的風(fēng)險評分進行綜合分析，得到整體航行環(huán)境下的綜合風(fēng)險評分rtotal，表示如下：

77、

78、其中，ωi表示動態(tài)加權(quán)因子，n表示生成的情景數(shù)量。

79、優(yōu)選的，所述s4，具體包括：

80、s401、定義狀態(tài)st，表示船舶在時間t的環(huán)境狀態(tài)；定義動作at，表示船舶在時間t的航行決策；

81、s402、獎勵函數(shù)r(st,at)用于評估每個狀態(tài)-動作對的效果，其中，所述獎勵函數(shù)r(st,at)包括安全獎勵rsafety、效率獎勵refficiency和風(fēng)險懲罰rrisk；

82、s403、使用策略梯度方法，設(shè)計一個策略網(wǎng)絡(luò)π(at|st；θ)，其中θ為策略網(wǎng)絡(luò)的參數(shù)，策略網(wǎng)絡(luò)的輸入為狀態(tài)st，輸出為動作at的概率分布；

83、s404、設(shè)計一個價值網(wǎng)絡(luò)v(st；φ)，其中φ為價值網(wǎng)絡(luò)的參數(shù)，用于估計狀態(tài)st的價值，其中，價值網(wǎng)絡(luò)的輸入為狀態(tài)st，輸出為狀態(tài)的價值v(st)；

84、s405、使用策略梯度方法優(yōu)化策略網(wǎng)絡(luò)π(at|st；θ)的參數(shù)θ，使用價值網(wǎng)絡(luò)v(st；φ)優(yōu)化策略網(wǎng)絡(luò)π(at|st；θ)的參數(shù)φ；

85、s406、使用優(yōu)化后的策略網(wǎng)絡(luò)π(at|st；θ)進行實時路徑優(yōu)化，并根據(jù)實時環(huán)境感知結(jié)果e(t)和當(dāng)前狀態(tài)st，從策略網(wǎng)絡(luò)中采樣動作at，調(diào)整船舶航線。

86、優(yōu)選的，所述獎勵函數(shù)r(st,at)包括安全獎勵rsafety、效率獎勵refficiency和風(fēng)險懲罰rrisk，具有表示如下：

87、安全獎勵rsafety(st,at)：

88、

89、其中，di表示與第i艘周圍船只的距離，∈表示防止分母為零的小常數(shù)，n表示周圍船只的數(shù)量；

90、效率獎勵refficiency(st,at)：

91、

92、其中，veldesired表示期望速度，velt表示實際速度；

93、風(fēng)險懲罰rrisk(st,at)：

94、rrisk(st,at)＝rtotal(st)

95、其中，rtotal(st)表示綜合風(fēng)險評分；

96、總獎勵函數(shù)r(st,at)：

97、r(st,at)＝λ1·rsafety(st,at)+λ2·refficiency(st,at)-λ3·rrisk(st,at)

98、其中，λ1,λ2,λ3表示權(quán)重系數(shù)。

99、優(yōu)選的，在ar顯示與導(dǎo)航系統(tǒng)的實時同步中，引入聯(lián)合優(yōu)化公式，結(jié)合環(huán)境復(fù)雜性和綜合風(fēng)險評分，動態(tài)調(diào)整路徑顯示的視覺效果，表示如下：

100、

101、其中，λdisplay1和λdisplay2分別表示路徑平滑度和信息透明度的調(diào)節(jié)參數(shù)，θj表示路徑p上第j個航點的航向角；transparency(ri)表示風(fēng)險區(qū)域ri的透明度，依據(jù)風(fēng)險等級動態(tài)調(diào)整。

102、優(yōu)選的，針對特定航海場景，設(shè)計風(fēng)險累計項δrisk，用于記錄歷史上在相似環(huán)境下發(fā)生的累計風(fēng)險值，幫助船員提前預(yù)判潛在的危險區(qū)域，表示如下：

103、

104、其中，γenv是風(fēng)險累計系數(shù)。

105、本發(fā)明的有益技術(shù)效果至少在于以下：

106、(1)本發(fā)明通過深度學(xué)習(xí)算法，融合船載視頻、ais、雷達和氣象數(shù)據(jù)，提供更全面和準確的環(huán)境感知。相比于現(xiàn)有技術(shù)，本發(fā)明能夠克服信息孤島問題，實現(xiàn)不同數(shù)據(jù)源的綜合分析，提供實時的環(huán)境感知信息。

107、(2)本發(fā)明利用gan技術(shù)生成多種可能的海況和氣象情景，進行全面的風(fēng)險評估?，F(xiàn)有系統(tǒng)在風(fēng)險評估方面多依賴于靜態(tài)和單一的數(shù)據(jù)源，而本發(fā)明通過gan技術(shù)實現(xiàn)了動態(tài)和多樣化的風(fēng)險預(yù)測，極大提高了風(fēng)險評估的準確性和可靠性。

108、(3)本發(fā)明采用強化學(xué)習(xí)算法，根據(jù)實時環(huán)境數(shù)據(jù)和歷史航行數(shù)據(jù)，動態(tài)調(diào)整和優(yōu)化航線。相比于傳統(tǒng)和現(xiàn)有系統(tǒng)的靜態(tài)路徑規(guī)劃，本發(fā)明能夠?qū)崟r響應(yīng)環(huán)境變化，提供動態(tài)的路徑優(yōu)化方案，確保航行的高效和安全。

109、(4)通過增強現(xiàn)實技術(shù)，將優(yōu)化后的航線、風(fēng)險區(qū)域和重要提示信息疊加顯示在船員的視野中，提供直觀的導(dǎo)航和決策支持。傳統(tǒng)導(dǎo)航系統(tǒng)的信息顯示較為單一和抽象，而本發(fā)明的ar顯示能夠提高信息的直觀性和可操作性，幫助船員更好地理解和響應(yīng)航行環(huán)境。