本發(fā)明涉及數(shù)據(jù)處理，尤其涉及基于邊緣計算的分布式氣象數(shù)據(jù)處理方法。

背景技術(shù)：

1、隨著氣候變化的關(guān)注度的提高，氣象數(shù)據(jù)成為了天氣預(yù)報、氣候研究、農(nóng)業(yè)生產(chǎn)、城市規(guī)劃、交通管理、環(huán)境保護以及科學(xué)研究等多個領(lǐng)域的重要基礎(chǔ)和關(guān)鍵資源，這些領(lǐng)域需要大量的計算資源和數(shù)據(jù)處理能力。傳統(tǒng)上，這些任務(wù)通常在中心化的超級計算機上進行。然而，隨著邊緣計算技術(shù)的發(fā)展，這些任務(wù)可以在邊緣設(shè)備上進行，從而提高計算效率和降低成本。氣象數(shù)據(jù)是通過各種氣象觀測站、衛(wèi)星、雷達等設(shè)備采集到的各種氣象要素的數(shù)據(jù)，包括溫度、濕度、氣壓、風(fēng)速、降水量等，氣象數(shù)據(jù)不僅為我們的生活和工作提供了便利和保障，還為科學(xué)研究和技術(shù)創(chuàng)新提供了重要的支持和推動力量。

2、現(xiàn)有的氣象數(shù)據(jù)處理系統(tǒng)通過集成先進的觀測設(shè)備、高速數(shù)據(jù)傳輸、高效數(shù)據(jù)庫管理、復(fù)雜數(shù)據(jù)處理算法及實時可視化技術(shù)，實現(xiàn)了對海量氣象數(shù)據(jù)的自動化、高效化采集、存儲、處理、分析及展示，為多個領(lǐng)域提供及時、準確的氣象信息服務(wù)。

3、例如公開號為：cn113032212a的專利申請公開的氣象數(shù)據(jù)的全網(wǎng)監(jiān)視方法、系統(tǒng)、計算機設(shè)備及存儲介質(zhì)，包括：根據(jù)雷達數(shù)據(jù)標(biāo)識和雷達鏈路標(biāo)識，建立觀測數(shù)據(jù)與網(wǎng)絡(luò)鏈路的對應(yīng)關(guān)系，將觀測數(shù)據(jù)與傳輸過程中的關(guān)鍵節(jié)點進行關(guān)聯(lián)以建立傳輸模型；通過信息處理及入庫模型獲取觀測數(shù)據(jù)的數(shù)據(jù)信息，通過對數(shù)據(jù)信息進行統(tǒng)計分析，得到觀測數(shù)據(jù)的監(jiān)視信息；通過主機及文件狀態(tài)信息收集模型實時獲取觀測數(shù)據(jù)在傳輸過程中所有關(guān)鍵主機節(jié)點的狀態(tài)信息；通過網(wǎng)絡(luò)設(shè)備狀態(tài)信息采集模型實時獲取網(wǎng)絡(luò)設(shè)備的運行狀態(tài)信息；通過網(wǎng)絡(luò)連通性探測模型實時獲取網(wǎng)絡(luò)連通性信息，并對傳輸模型中的每一條網(wǎng)絡(luò)鏈路進行標(biāo)記。

4、例如公告號為：cn112686001?b的發(fā)明專利公告的氣象數(shù)據(jù)的變換方法、傳輸方法、服務(wù)器及數(shù)據(jù)傳輸系統(tǒng)，包括：從原始氣象數(shù)據(jù)中查找出最大值和最小值；選取一個閉區(qū)間；閉區(qū)間的長度小于所述最大值與最小值之差；根據(jù)最大值、最小值、閉區(qū)間的右端點值和閉區(qū)間的左端點值，計算縮放系數(shù)和偏移量；利用計算出的縮放系數(shù)和偏移量，對原始氣象數(shù)據(jù)進行變換，得到變換數(shù)據(jù)。

5、但本技術(shù)在實現(xiàn)本技術(shù)實施例中發(fā)明技術(shù)方案的過程中，發(fā)現(xiàn)上述技術(shù)至少存在如下技術(shù)問題：

6、現(xiàn)有技術(shù)中，基于邊緣計算的分布式氣象數(shù)據(jù)處理，通過邊緣設(shè)備的初步處理與壓縮，結(jié)合數(shù)據(jù)傳輸機制和實時同步技術(shù)，完成氣象數(shù)據(jù)從邊緣計算層到云中心層的流動，存在氣象數(shù)據(jù)傳輸與同步過程中數(shù)據(jù)準確性低的問題。

技術(shù)實現(xiàn)思路

1、本技術(shù)實施例通過提供基于邊緣計算的分布式氣象數(shù)據(jù)處理方法，解決了現(xiàn)有技術(shù)中氣象數(shù)據(jù)傳輸與同步過程中數(shù)據(jù)準確性低的問題，實現(xiàn)了實時監(jiān)測氣象數(shù)據(jù)的傳輸與同步情況。

2、本技術(shù)實施例提供了基于邊緣計算的分布式氣象數(shù)據(jù)處理方法，包括以下步驟：s1，通過邊緣設(shè)備對待評估氣象數(shù)據(jù)進行預(yù)處理得到待傳輸氣象數(shù)據(jù)，實時收集由邊緣設(shè)備傳輸并同步至中心節(jié)點過程中的待傳輸氣象數(shù)據(jù)的氣象數(shù)據(jù)信息，所述氣象數(shù)據(jù)信息包括第一氣象數(shù)據(jù)信息和第二氣象數(shù)據(jù)信息，所述第一氣象數(shù)據(jù)信息用于描述待傳輸氣象數(shù)據(jù)的數(shù)據(jù)傳輸過程，所述第二氣象數(shù)據(jù)信息用于描述待傳輸氣象數(shù)據(jù)的數(shù)據(jù)同步過程；s2，通過對氣象數(shù)據(jù)傳輸與同步過程進行數(shù)據(jù)評估得到數(shù)據(jù)評估指數(shù)，所述數(shù)據(jù)評估用于評估氣象數(shù)據(jù)傳輸與同步過程的整體質(zhì)量和效率，所述數(shù)據(jù)評估指數(shù)用于量化數(shù)據(jù)評估結(jié)果以反映氣象數(shù)據(jù)傳輸與同步過程的性能；s3，根據(jù)數(shù)據(jù)評估指數(shù)對待傳輸氣象數(shù)據(jù)進行綜合評估得到綜合氣象數(shù)據(jù)評估指數(shù)，當(dāng)綜合氣象數(shù)據(jù)評估指數(shù)低于預(yù)設(shè)綜合氣象數(shù)據(jù)預(yù)警閾值時，觸發(fā)預(yù)警機制，否則不進行處理，所述綜合氣象數(shù)據(jù)評估指數(shù)用于衡量待傳輸氣象數(shù)據(jù)的整體表現(xiàn)并判斷是否需要觸發(fā)機制。

3、進一步的，所述預(yù)處理的具體方法如下：通過對待評估氣象數(shù)據(jù)進行第一預(yù)處理得到初始第一氣象數(shù)據(jù)，所述第一預(yù)處理表示去除待評估氣象數(shù)據(jù)中的異常數(shù)據(jù)；通過對初始第一氣象數(shù)據(jù)進行第二預(yù)處理得到初始第二氣象數(shù)據(jù)，所述第二預(yù)處理表示對初始第一氣象數(shù)據(jù)進行格式化處理；通過對初始第二氣象數(shù)據(jù)進行第三預(yù)處理得到待傳輸氣象數(shù)據(jù)，所述第三預(yù)處理表示對初始第二氣象數(shù)據(jù)進行數(shù)據(jù)壓縮處理。

4、進一步的，所述數(shù)據(jù)評估包括數(shù)據(jù)傳輸評估和數(shù)據(jù)同步評估；所述數(shù)據(jù)傳輸評估表示根據(jù)第一氣象數(shù)據(jù)信息對數(shù)據(jù)傳輸過程進行評估得到數(shù)據(jù)傳輸指數(shù)，所述數(shù)據(jù)傳輸指數(shù)用于評估氣象數(shù)據(jù)信息在數(shù)據(jù)傳輸過程中的整體效率；所述數(shù)據(jù)同步評估表示根據(jù)第二氣象數(shù)據(jù)信息對數(shù)據(jù)同步過程進行評估得到數(shù)據(jù)同步指數(shù)，所述數(shù)據(jù)同步指數(shù)用于評估氣象數(shù)據(jù)信息在數(shù)據(jù)同步過程中的整體質(zhì)量。

5、進一步的，所述數(shù)據(jù)傳輸指數(shù)的獲取方法如下：獲取待傳輸氣象數(shù)據(jù)在數(shù)據(jù)傳輸過程中的第一氣象數(shù)據(jù)信息，所述第一氣象數(shù)據(jù)信息包括數(shù)據(jù)吞吐量、數(shù)據(jù)丟包率、數(shù)據(jù)延遲時間和數(shù)據(jù)更新頻率系數(shù)，所述數(shù)據(jù)更新頻率系數(shù)表示中心節(jié)點中待傳輸數(shù)據(jù)的更新頻率與邊緣設(shè)備中待評估氣象數(shù)據(jù)的更新頻率的比值的平均值；從預(yù)設(shè)數(shù)據(jù)庫中獲取數(shù)據(jù)傳輸評估權(quán)重，所述數(shù)據(jù)傳輸評估權(quán)重包括第一傳輸權(quán)重、第二傳輸權(quán)重和第三傳輸權(quán)重；結(jié)合第一氣象數(shù)據(jù)信息和數(shù)據(jù)傳輸評估權(quán)重計算待傳輸氣象數(shù)據(jù)的數(shù)據(jù)傳輸指數(shù)，所述數(shù)據(jù)傳輸指數(shù)采用以下公式計算：

6、

7、式中，dti為數(shù)據(jù)傳輸指數(shù)，i表示邊緣設(shè)備的編號，i＝1,2...,n，n為邊緣設(shè)備的總數(shù)量，表示第i個邊緣設(shè)備的第一傳輸權(quán)重，e表示自然常數(shù)，ti為預(yù)設(shè)時間間隔內(nèi)第i個邊緣設(shè)備的數(shù)據(jù)吞吐量，c為第一修正因子，表示第i個邊緣設(shè)備的第二傳輸權(quán)重，pli為預(yù)設(shè)時間間隔內(nèi)第i個邊緣設(shè)備的數(shù)據(jù)丟包率，為第i個邊緣設(shè)備的第三傳輸權(quán)重，di表示第i個邊緣設(shè)備的數(shù)據(jù)延遲時間，dmax,i為第i個邊緣設(shè)備的參考最大數(shù)據(jù)延遲時間，gx表示數(shù)據(jù)更新頻率系數(shù)。

8、進一步的，所述數(shù)據(jù)同步指數(shù)的獲取方法如下：獲取待傳輸氣象數(shù)據(jù)在數(shù)據(jù)同步過程中的第二氣象數(shù)據(jù)信息，所述第二氣象數(shù)據(jù)信息包括數(shù)據(jù)丟包率、數(shù)據(jù)重傳次數(shù)、數(shù)據(jù)錯誤率和數(shù)據(jù)采集頻率系數(shù)，所述數(shù)據(jù)采集頻率系數(shù)表示邊緣設(shè)備中待評估氣象數(shù)據(jù)的實際采集頻率與預(yù)設(shè)采集頻率的比值的平均值；從預(yù)設(shè)數(shù)據(jù)庫中獲取數(shù)據(jù)同步評估權(quán)重，所述數(shù)據(jù)同步評估權(quán)重包括第一同步權(quán)重、第二同步權(quán)重和第三同步權(quán)重；結(jié)合第二氣象數(shù)據(jù)信息和數(shù)據(jù)同步評估權(quán)重計算待傳輸氣象數(shù)據(jù)的數(shù)據(jù)同步指數(shù)，所述數(shù)據(jù)同步指數(shù)采用以下公式計算：

9、

10、式中，dsi為數(shù)據(jù)同步指數(shù)，i表示邊緣設(shè)備的編號，i＝1,2...,n，n為邊緣設(shè)備的總數(shù)量，表示第i個邊緣設(shè)備的第一同步權(quán)重，e表示自然常數(shù)，pli為預(yù)設(shè)時間間隔內(nèi)第i個邊緣設(shè)備的數(shù)據(jù)丟包率，表示第i個邊緣設(shè)備的第二同步權(quán)重，mi表示預(yù)設(shè)時間間隔內(nèi)第i個邊緣設(shè)備的數(shù)據(jù)重傳次數(shù)，n為預(yù)設(shè)時間間隔內(nèi)邊緣設(shè)備傳輸?shù)臄?shù)據(jù)包總數(shù)，為第i個邊緣設(shè)備的第三同步權(quán)重，eri表示預(yù)設(shè)時間間隔內(nèi)第i個邊緣設(shè)備的數(shù)據(jù)錯誤率，cx表示數(shù)據(jù)采集頻率系數(shù)。

11、進一步的，所述根據(jù)數(shù)據(jù)評估指數(shù)對待傳輸氣象數(shù)據(jù)進行綜合評估得到綜合氣象數(shù)據(jù)評估指數(shù)的具體步驟如下：從預(yù)設(shè)數(shù)據(jù)庫中獲取預(yù)設(shè)數(shù)據(jù)評估指數(shù)閾值和預(yù)設(shè)綜合氣象數(shù)據(jù)預(yù)警閾值；如果數(shù)據(jù)傳輸指數(shù)和數(shù)據(jù)同步指數(shù)均大于預(yù)設(shè)數(shù)據(jù)評估指數(shù)閾值，則持續(xù)監(jiān)測數(shù)據(jù)傳輸指數(shù)和數(shù)據(jù)同步指數(shù)的變化情況；如果數(shù)據(jù)傳輸指數(shù)和數(shù)據(jù)同步指數(shù)至少有一個不大于預(yù)設(shè)數(shù)據(jù)評估指數(shù)閾值，則根據(jù)數(shù)據(jù)評估指數(shù)得到待傳輸氣象數(shù)據(jù)的綜合氣象數(shù)據(jù)評估指數(shù)，并根據(jù)綜合氣象數(shù)據(jù)評估指數(shù)與預(yù)設(shè)綜合氣象數(shù)據(jù)預(yù)警閾值之間的關(guān)系判斷是否觸發(fā)預(yù)警機制。

12、進一步的，所述綜合氣象數(shù)據(jù)評估指數(shù)的獲取方法如下：從預(yù)設(shè)數(shù)據(jù)庫中獲取權(quán)重評估因子，所述權(quán)重評估因子包括數(shù)據(jù)傳輸權(quán)重和數(shù)據(jù)同步權(quán)重；根據(jù)權(quán)重評估因子、數(shù)據(jù)傳輸指數(shù)和數(shù)據(jù)同步指數(shù)得到綜合氣象數(shù)據(jù)評估指數(shù)，所述綜合氣象數(shù)據(jù)評估指數(shù)采用如下公式計算：

13、

14、式中，iqx為綜合氣象數(shù)據(jù)評估指數(shù)，e表示自然常數(shù)，ωt為數(shù)據(jù)傳輸權(quán)重，dti為數(shù)據(jù)傳輸指數(shù)，ωs為數(shù)據(jù)同步權(quán)重，dsi為數(shù)據(jù)同步指數(shù)。

15、進一步的，所述觸發(fā)預(yù)警機制的具體步驟如下：將綜合氣象數(shù)據(jù)評估指數(shù)與預(yù)設(shè)綜合氣象數(shù)據(jù)預(yù)警閾值進行比較；當(dāng)綜合氣象數(shù)據(jù)評估指數(shù)低于預(yù)設(shè)綜合氣象數(shù)據(jù)預(yù)警閾值時，則觸發(fā)預(yù)警機制并將生成的預(yù)警信息發(fā)送至預(yù)設(shè)的維護人員，并持續(xù)監(jiān)測綜合氣象數(shù)據(jù)評估指數(shù)與預(yù)設(shè)綜合氣象數(shù)據(jù)預(yù)警閾值之間的關(guān)系，所述預(yù)警信息包括綜合氣象數(shù)據(jù)評估指數(shù)、數(shù)據(jù)評估指數(shù)和對應(yīng)的氣象數(shù)據(jù)信息；當(dāng)綜合氣象數(shù)據(jù)評估指數(shù)不低于預(yù)設(shè)綜合氣象數(shù)據(jù)預(yù)警閾值時，解除預(yù)警機制。

16、本技術(shù)實施例提供了基于邊緣計算的分布式氣象數(shù)據(jù)處理系統(tǒng)，包括：數(shù)據(jù)收集模塊、數(shù)據(jù)評估模塊和綜合評估模塊；其中，所述數(shù)據(jù)收集模塊用于通過邊緣設(shè)備對待評估氣象數(shù)據(jù)進行預(yù)處理得到待傳輸氣象數(shù)據(jù)，實時收集由邊緣設(shè)備傳輸并同步至中心節(jié)點過程中的待傳輸氣象數(shù)據(jù)的氣象數(shù)據(jù)信息，所述氣象數(shù)據(jù)信息包括第一氣象數(shù)據(jù)信息和第二氣象數(shù)據(jù)信息，所述第一氣象數(shù)據(jù)信息用于描述待傳輸氣象數(shù)據(jù)的數(shù)據(jù)傳輸過程，所述第二氣象數(shù)據(jù)信息用于描述待傳輸氣象數(shù)據(jù)的數(shù)據(jù)同步過程；所述數(shù)據(jù)評估模塊用于通過對氣象數(shù)據(jù)傳輸與同步過程進行數(shù)據(jù)評估得到數(shù)據(jù)評估指數(shù)，所述數(shù)據(jù)評估用于評估氣象數(shù)據(jù)傳輸與同步過程的整體質(zhì)量和效率，所述數(shù)據(jù)評估指數(shù)用于量化數(shù)據(jù)評估結(jié)果以反映氣象數(shù)據(jù)傳輸與同步過程的性能；所述綜合評估模塊用于根據(jù)數(shù)據(jù)評估指數(shù)對待傳輸氣象數(shù)據(jù)進行綜合評估得到綜合氣象數(shù)據(jù)評估指數(shù)，當(dāng)綜合氣象數(shù)據(jù)評估指數(shù)低于預(yù)設(shè)綜合氣象數(shù)據(jù)預(yù)警閾值時，觸發(fā)預(yù)警機制，否則不進行處理，所述綜合氣象數(shù)據(jù)評估指數(shù)用于衡量待傳輸氣象數(shù)據(jù)的整體表現(xiàn)并判斷是否需要觸發(fā)機制。

17、本技術(shù)實施例提供了一種電子設(shè)備，其特征在于，所述電子設(shè)備包括用于存儲計算機程序指令的存儲器和用于執(zhí)行程序指令的處理器，其中，當(dāng)所述計算機程序指令被所述處理器執(zhí)行時，觸發(fā)所述電子設(shè)備執(zhí)行所述基于邊緣計算的分布式氣象數(shù)據(jù)方法。

18、本技術(shù)實施例中提供的一個或多個技術(shù)方案，至少具有如下技術(shù)效果或優(yōu)點：

19、1、通過邊緣設(shè)備對待評估氣象數(shù)據(jù)進行預(yù)處理得到待傳輸氣象數(shù)據(jù)，接著收集由邊緣設(shè)備發(fā)送至中心節(jié)點過程中的氣象數(shù)據(jù)信息，再對氣象數(shù)據(jù)傳輸與同步過程進行數(shù)據(jù)評估得到數(shù)據(jù)評估指數(shù)，然后根據(jù)數(shù)據(jù)評估指數(shù)對待傳輸氣象數(shù)據(jù)進行綜合評估得到綜合氣象數(shù)據(jù)評估指數(shù)，最后當(dāng)綜合氣象數(shù)據(jù)評估指數(shù)低于預(yù)設(shè)綜合氣象數(shù)據(jù)預(yù)警閾值時，觸發(fā)預(yù)警機制并將生成的預(yù)警信息發(fā)送至預(yù)設(shè)的維護人員進行處理，從而提高氣象數(shù)據(jù)的準確性，進而實現(xiàn)了實時監(jiān)測氣象數(shù)據(jù)的傳輸與同步情況，有效解決了現(xiàn)有技術(shù)中氣象數(shù)據(jù)傳輸與同步過程中數(shù)據(jù)準確性低的問題。

20、2、通過獲取待傳輸氣象數(shù)據(jù)在數(shù)據(jù)傳輸過程中的第一氣象數(shù)據(jù)信息，再從預(yù)設(shè)數(shù)據(jù)庫中獲取數(shù)據(jù)傳輸評估權(quán)重，最后結(jié)合第一氣象數(shù)據(jù)信息和數(shù)據(jù)傳輸評估權(quán)重計算待傳輸氣象數(shù)據(jù)的數(shù)據(jù)傳輸指數(shù)，從而實現(xiàn)了對氣象數(shù)據(jù)由邊緣設(shè)備發(fā)送至中心節(jié)點的傳輸效率的評估，進而實現(xiàn)了數(shù)值化氣象數(shù)據(jù)的數(shù)據(jù)傳輸效率。

21、3、通過獲取待傳輸氣象數(shù)據(jù)在數(shù)據(jù)同步過程中的第二氣象數(shù)據(jù)信息，再從預(yù)設(shè)數(shù)據(jù)庫中獲取數(shù)據(jù)同步評估權(quán)重，最后結(jié)合第二氣象數(shù)據(jù)信息和數(shù)據(jù)同步評估權(quán)重計算待傳輸氣象數(shù)據(jù)的數(shù)據(jù)同步指數(shù)，從而實現(xiàn)了對氣象數(shù)據(jù)由邊緣設(shè)備發(fā)送至中心節(jié)點的同步質(zhì)量的評估，進而實現(xiàn)了數(shù)值化氣象數(shù)據(jù)的數(shù)據(jù)同步質(zhì)量。