本發(fā)明涉及對流層四維風(fēng)場預(yù)測領(lǐng)域，特別是涉及一種基于注意力機制的對流層四維風(fēng)場預(yù)測方法。

背景技術(shù)：

1、由于對流層風(fēng)場存在不確定性和時間突變性，對流層風(fēng)場的預(yù)測存在以下特點：首先，隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展，對流層風(fēng)場預(yù)測在進(jìn)行短時預(yù)測任務(wù)時具備較好的效果，但是難以進(jìn)行長序列的預(yù)測，難以對中低空浮空器的長期作業(yè)進(jìn)行指導(dǎo)；其次，風(fēng)場預(yù)測多用于風(fēng)電系統(tǒng)的電能預(yù)測，所預(yù)測的風(fēng)場范圍較小，中低空浮空器所執(zhí)行的任務(wù)往往范圍較大，因此如何對大范圍時空進(jìn)行預(yù)測同樣是風(fēng)場預(yù)測的瓶頸之一。為了實現(xiàn)大范圍風(fēng)場長序列預(yù)測，需要對風(fēng)場進(jìn)行感知與建模，并通過超級計算機進(jìn)行物理模型推演，然而該方法需要耗費大量的計算成本，對于民用探測與工業(yè)監(jiān)視等任務(wù)來說，不具備足夠的推廣價值。基于上述風(fēng)場預(yù)測的問題，生成式長短記憶網(wǎng)絡(luò)以及通過共享權(quán)重的長短記憶網(wǎng)絡(luò)從有限的可用數(shù)據(jù)樣本中挖掘長期依賴關(guān)系和趨勢，均可有效的提升長時間序列風(fēng)場預(yù)測的精度，但隨之帶來的是不可避免的計算量的提升。與傳統(tǒng)時間序列預(yù)測任務(wù)不同，面向中低空浮空器的對流層風(fēng)場預(yù)測所進(jìn)行的是一個四維預(yù)測任務(wù)，即對三維空間的風(fēng)場同時進(jìn)行時間序列預(yù)測。預(yù)測的訓(xùn)練樣本也不是循環(huán)往復(fù)的時間周期，而是在浮空器任務(wù)前，進(jìn)行風(fēng)場數(shù)據(jù)采集，并通過預(yù)測未來幾天的風(fēng)場情況指導(dǎo)浮空器的作業(yè)。因此對流層風(fēng)場預(yù)測是一個面向強相關(guān)數(shù)據(jù)的多元時間序列預(yù)測任務(wù)。粒子群優(yōu)化算法是一種行之有效的尋找最優(yōu)相關(guān)性的方法，有效地避免了局部最優(yōu)場景，在面向臨近空間低速飛行器任務(wù)的快速預(yù)報風(fēng)場提供了解決途徑。粒子群優(yōu)化算法雖然提供了全局搜索的可能，但是由于粒子群優(yōu)化算法在迭代過程中，僅利用了群體最優(yōu)和個體最優(yōu)的信息，并不能保證收斂到全局最優(yōu)點上。

2、綜上所述，現(xiàn)有技術(shù)存在預(yù)測精度差、風(fēng)信息依賴程度獲取困難以及模型收斂速度較慢的問題。

技術(shù)實現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的是提供一種基于注意力機制的對流層四維風(fēng)場預(yù)測方法，通過多頭稀疏注意力計算方法，構(gòu)建一種四維風(fēng)場預(yù)測模型，以實現(xiàn)高精度、特征提取簡單、模型計算快速的預(yù)測方法。

2、為實現(xiàn)上述目的，本發(fā)明提供了如下方案：

3、一種基于注意力機制的對流層四維風(fēng)場預(yù)測方法，包括：

4、利用初始化矩陣和歸一化函數(shù)分別對數(shù)據(jù)庫中的預(yù)設(shè)風(fēng)信息進(jìn)行初始化和標(biāo)準(zhǔn)化，得到編碼輸入和圖注意力權(quán)重；

5、利用正弦函數(shù)，計算所述預(yù)設(shè)風(fēng)信息的第一時間位置編碼；

6、利用稀疏注意力計算公式，根據(jù)所述第一時間位置編碼按照時間順序依次對所述編碼輸入進(jìn)行注意力計算，得到特征圖；

7、收集待預(yù)測坐標(biāo)點的歷史風(fēng)信息；

8、計算所述歷史風(fēng)信息和所述圖注意力權(quán)重的乘積，得到加權(quán)風(fēng)信息；

9、利用正弦函數(shù)，計算所述加權(quán)風(fēng)信息的第二時間位置編碼；

10、利用稀疏注意力計算公式，根據(jù)所述第二時間位置編碼按照時間順序依次對所述加權(quán)風(fēng)信息進(jìn)行注意力計算，得到注意力矩陣；

11、將所述注意力矩陣和所述特征圖輸入到預(yù)設(shè)的多頭注意力層進(jìn)行全連接計算，得到目標(biāo)預(yù)測結(jié)果。

12、優(yōu)選地，所述稀疏注意力計算公式為eij為節(jié)點j的特征對節(jié)點i的重要性；αij為節(jié)點j的特征對節(jié)點i的注意系數(shù)；ni為節(jié)點總數(shù)；leakyrelu為激活函數(shù)。

13、優(yōu)選地，所述特征圖的計算公式為：c為注意力機制頭的數(shù)量；為節(jié)點j的特征對節(jié)點i的注意系數(shù)；為在時間維度上的注意力權(quán)重矩陣；為時間維度上的權(quán)重矩陣。

14、優(yōu)選地，所述圖注意力權(quán)重的計算公式為：q為問詢矩陣；k為鑰匙矩陣；v為實際值矩陣；d為向量長度；a(q,k,v)為所述圖注意力權(quán)重；softmax()為所述歸一化指數(shù)函數(shù)。

15、本發(fā)明公開了以下技術(shù)效果：

16、本發(fā)明提供了一種基于注意力機制的對流層四維風(fēng)場預(yù)測方法，通過多頭稀疏注意力計算方法，解決了模型預(yù)測精度差、特征提取困難、收斂速度慢的問題，實現(xiàn)了對四維風(fēng)場的高精度、快速預(yù)測。

技術(shù)特征：

1.一種基于注意力機制的對流層四維風(fēng)場預(yù)測方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種基于注意力機制的對流層四維風(fēng)場預(yù)測方法，其特征在于，所述稀疏注意力計算公式為eij為節(jié)點j的特征對節(jié)點i的重要性；αij為節(jié)點j的特征對節(jié)點i的注意系數(shù)；ni為節(jié)點總數(shù)；leakyrelu為激活函數(shù)。

3.根據(jù)權(quán)利要求1所述的一種基于注意力機制的對流層四維風(fēng)場預(yù)測方法，其特征在于，所述特征圖的計算公式為：c為注意力機制頭的數(shù)量；為節(jié)點j的特征對節(jié)點i的注意系數(shù)；wdc為在時間維度上的注意力權(quán)重矩陣；為時間維度上的權(quán)重矩陣。

4.根據(jù)權(quán)利要求1所述的一種基于注意力機制的對流層四維風(fēng)場預(yù)測方法，其特征在于，所述圖注意力權(quán)重的計算公式為：q為問詢矩陣；k為鑰匙矩陣；v為實際值矩陣；d為向量長度；a(q,k,v)為所述圖注意力權(quán)重；softmax(?)為所述歸一化指數(shù)函數(shù)。

技術(shù)總結(jié)
本發(fā)明屬于對流層四維風(fēng)場預(yù)測領(lǐng)域，提供了一種基于注意力機制的對流層四維風(fēng)場預(yù)測方法，包括：預(yù)設(shè)風(fēng)信息初始化和標(biāo)準(zhǔn)化、第一時間位置編碼提取、特征圖計算、歷史風(fēng)信息收集、歷史風(fēng)信息加權(quán)、第二時間位置編碼提取、注意力矩陣計算以及全連接計算。本發(fā)明通過多頭稀疏注意力計算方法，構(gòu)建了一種四維風(fēng)場預(yù)測模型，實現(xiàn)了高精度、特征提取簡單、模型計算快速的預(yù)測方法。

技術(shù)研發(fā)人員：唐繼偉,孫昊宇,蒲書敏
受保護(hù)的技術(shù)使用者：上海交通大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/11/28