本發(fā)明涉及一種圖像數(shù)據(jù)處理，尤其涉及一種面向大規(guī)模林業(yè)資源的多模態(tài)專家協(xié)同火災(zāi)風(fēng)險監(jiān)測方法。

背景技術(shù)：

1、為了有效保護(hù)和監(jiān)測森林資源，精準(zhǔn)的火災(zāi)風(fēng)險評估與預(yù)警已成為關(guān)鍵手段。然而，傳統(tǒng)的監(jiān)測方法往往依賴單一的數(shù)據(jù)來源，難以全面且實時地捕捉森林生態(tài)的動態(tài)變化，尤其在復(fù)雜地形或極端氣候條件下，傳統(tǒng)方法的效果往往受限。這是因為：（1）衛(wèi)星遙感的圖像質(zhì)量容易受到多云天氣或復(fù)雜地形影響，無法及時監(jiān)測火災(zāi)等突發(fā)情況，特別是火災(zāi)發(fā)生的初期難以捕捉。（2）地面監(jiān)控和人工巡邏受限于覆蓋范圍小、盲區(qū)多，尤其在復(fù)雜地形（如山地、森林密集區(qū)）中，難以進(jìn)行全面的監(jiān)控。（3）氣象站的數(shù)據(jù)點分布稀疏，代表性較弱，無法反映整個森林區(qū)域的動態(tài)變化，尤其在高山或丘陵等復(fù)雜地形下，數(shù)據(jù)的局部性使得火災(zāi)風(fēng)險評估不夠精準(zhǔn)。（4）傳統(tǒng)依賴歷史數(shù)據(jù)的統(tǒng)計模型對氣候變化、生態(tài)變化的反應(yīng)較慢，缺乏對當(dāng)前突發(fā)事件的靈活性，無法有效應(yīng)對快速變化的火災(zāi)風(fēng)險。

2、lstm（long?short-term?memory，長短時記憶網(wǎng)絡(luò)）是rnn（recurrent?neuralnetwork，循環(huán)神經(jīng)網(wǎng)絡(luò)）的一種。lstm由于其設(shè)計的特點，非常適合用于對時序數(shù)據(jù)的建模，如文本數(shù)據(jù)。

3、bilstm(directional?long?short-term?memory，雙向長短期記憶網(wǎng)絡(luò))是一種循環(huán)神經(jīng)網(wǎng)絡(luò)的變體，是由前向lstm與后向lstm組合而成。兩者在自然語言處理任務(wù)中都常被用來建模上下文信息。

4、vit模型(vision?transformer，視覺transformer)是一種基于transformer架構(gòu)的視覺任務(wù)模型。主要包括三部分：圖像特征嵌入模塊、transformer編碼器模塊和mlp分類模塊（multilayer?perceptron，多層感知器）。圖像特征嵌入模塊將圖像分割成固定大小的圖像塊，并將這些圖像塊轉(zhuǎn)化為向量送入transformer編碼器，transformer編碼器用于基于注意力機(jī)制來捕捉不同圖像塊之間的關(guān)系，再由mlp分類模塊進(jìn)行分類。假設(shè)圖像塊為n個，輸入transformer編碼器的向量為n+1個，這是因為vit算法提出了一個可學(xué)習(xí)的嵌入向量class?token(類別令牌)，它位于n個圖像塊對應(yīng)的向量的最前端，與n個向量一起送入transformer編碼器中編碼，輸出n+1個編碼向量，第1個則是class?token，用于后續(xù)的分類預(yù)測。

5、由于vit的自注意力計算復(fù)雜度與輸入圖像大小的平方成正比，當(dāng)處理高分辨率圖像時，計算成本非常高，故提出了一種新的網(wǎng)絡(luò)架構(gòu)swin?transformer（shifted?windowtransformer，平移窗口transformer），該架構(gòu)引入層次化特征映射和窗口注意力轉(zhuǎn)換來解決上述問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的就在于提供一種解決上述問題，能在復(fù)雜地形或極端氣候條件下對林區(qū)火災(zāi)風(fēng)險進(jìn)行精確監(jiān)測的，面向大規(guī)模林業(yè)資源的多模態(tài)專家協(xié)同火災(zāi)風(fēng)險監(jiān)測方法。

2、為了實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是這樣的：一種面向大規(guī)模林業(yè)資源的多模態(tài)專家協(xié)同火災(zāi)風(fēng)險監(jiān)測方法，包括以下步驟；

3、s1，構(gòu)造包含多模態(tài)樣本的多模態(tài)火災(zāi)風(fēng)險監(jiān)測數(shù)據(jù)集，其中一多模態(tài)樣本x的構(gòu)造方法包括步驟s11~s13；

4、s11，將火災(zāi)風(fēng)險分為c個類別，每一類對應(yīng)一目標(biāo)標(biāo)簽y，；

5、s12，確定一區(qū)域及時間段，獲取該區(qū)域該時間段內(nèi)的氣象時序數(shù)據(jù)，植被圖像、人類活動圖數(shù)據(jù)、地形圖像，確認(rèn)火災(zāi)風(fēng)險的目標(biāo)標(biāo)簽y；

6、，t為將時間段包含的時間步總數(shù)，為氣象特征維度總數(shù)，氣象特征維度包括溫度、濕度和風(fēng)速；

7、包括節(jié)點特征矩陣和鄰接矩陣，，，為節(jié)點總數(shù)、為節(jié)點特征維度總數(shù)，所述節(jié)點為預(yù)設(shè)的人類活動集中點，節(jié)點特征維度包括人流量特征、交通流量特征、節(jié)點位置溫度，節(jié)點位置濕度、節(jié)點位置降水量和日照強(qiáng)度；

8、s13，生成多模態(tài)樣本；

9、s2，構(gòu)造四個專家模型，包括氣象專家模型、植被專家模型、人類活動專家模型和地形專家模型；

10、所述氣象專家模型包括依次設(shè)置的線性變換層、bilstm網(wǎng)絡(luò)、transformer層和全局池化層，用于輸入氣象時序數(shù)據(jù)，得到氣象專家模型的輸出；

11、所述植被專家模型包括依次設(shè)置的圖像分塊層、線性變換層、transformer層，用于輸入植被圖像，依次經(jīng)圖像分塊層分塊、線性變換層映射至高維度、transformer層編碼后，獲取其嵌入向量，作為植被專家模型的輸出；

12、所述人類活動專家模型包括第一節(jié)點信息傳播層、第二節(jié)點信息傳播層、全局池化層；所述第一節(jié)點信息傳播層、第二節(jié)點信息傳播層用于根據(jù)下式得到第一傳播信息、第二傳播信息，所述全局池化層用于對進(jìn)行全局池化，得到人類活動專家模型的輸出；

13、，

14、，

15、式中，、分別為第一節(jié)點信息傳播層、第二節(jié)點信息傳播層的權(quán)重矩陣，為激活函數(shù)；

16、所述地形專家模型包括滑動窗口層、swintransformer網(wǎng)絡(luò)和全局池化層；用于輸入地形圖像，得到地形專家模型的輸出；

17、s3，構(gòu)造多模態(tài)監(jiān)測網(wǎng)絡(luò)，包括氣四個專家模型、concat層、第一線性層、歸一化層、加權(quán)層、第二線性層；

18、所述concat層用于根據(jù)公式得到拼接特征，為拼接操作；

19、所述第一線性層用于根據(jù)公式生成權(quán)重z，式中、分別為第一線性層的權(quán)重和偏置；

20、所述歸一化層用于對權(quán)重z歸一化處理得到歸一化權(quán)重，，其中αw、αv、αh、αt分別為hw、hv、hh、ht的歸一化權(quán)重；

21、所述加權(quán)層用于根據(jù)公式生成加權(quán)特征；

22、所述第二線性層用于對分類，輸出預(yù)測目標(biāo)標(biāo)簽；

23、s4，用多模態(tài)火災(zāi)風(fēng)險監(jiān)測數(shù)據(jù)集訓(xùn)練多模態(tài)監(jiān)測網(wǎng)絡(luò)至收斂，得到多模態(tài)監(jiān)測模型；

24、s5，模型預(yù)測；

25、對待識別區(qū)域，獲取氣象時序數(shù)據(jù)，植被圖像、人類活動圖數(shù)據(jù)、地形圖像，構(gòu)成待監(jiān)測多模態(tài)樣本，送入多模態(tài)監(jiān)測模型，得到預(yù)測目標(biāo)標(biāo)簽。

26、作為優(yōu)選：所述植被圖像為多模態(tài)樣本x對應(yīng)區(qū)域和時間段內(nèi)的一張包含植被rgb圖像；所述地形圖像為多模態(tài)樣本x對應(yīng)區(qū)域和時間段內(nèi)的一張dem圖像。

27、作為優(yōu)選：構(gòu)造人類活動圖數(shù)據(jù)的方法包括sa1~sa2；

28、sa1，預(yù)設(shè)節(jié)點和節(jié)點維度，所述節(jié)點為人類活動集中點，包括出入口、露營地、觀景臺、道路交叉點，預(yù)設(shè)距離閾值；

29、sa2，獲取多模態(tài)樣本x對應(yīng)區(qū)域和時間段內(nèi)的人類活動集中點分布圖，根據(jù)其中節(jié)點和節(jié)點維度，構(gòu)造節(jié)點特征矩陣和鄰接矩陣，節(jié)點共個；

30、構(gòu)造節(jié)點特征矩陣時，第i行第j列元素表示第i個節(jié)點第j個維度的特征值，1≤i≤，1≤j≤；

31、構(gòu)造鄰接矩陣時，第i行第k列元素表示第i個節(jié)點與第k個節(jié)點的連接關(guān)系，若兩節(jié)點距離小于距離閾值，則，否則，1≤i≤，1≤k≤。

32、作為優(yōu)選：所述氣象專家模型中；

33、線性變換層用于根據(jù)公式，將轉(zhuǎn)換為高維度數(shù)據(jù)，式中，、分別為線性變換層的權(quán)重和偏置；、、，為線性變換層的輸出維度；

34、所述bilstm網(wǎng)絡(luò)用于輸入，捕捉時間步之間的依賴關(guān)系后輸出數(shù)據(jù)，，為bilstm網(wǎng)絡(luò)的輸出維度；

35、所述transformer層用于對進(jìn)行特征提取，輸出數(shù)據(jù)，，為transformer層的輸出維度；

36、所述全局池化層用于對進(jìn)行全局池化，輸出，，為預(yù)設(shè)的固定維度。

37、作為優(yōu)選：所述地形專家模型中；

38、所述滑動窗口層用于對輸入地形圖像進(jìn)行滑動串口采樣，每次采樣得到一圖像塊；

39、所述swintransformer網(wǎng)絡(luò)用于對每個圖像塊編碼后再拼接在一起，得到數(shù)據(jù)，，其中，為預(yù)設(shè)的固定維度，hdem、wdem分別為地形圖像的高度和寬度；

40、所述全局池化層用于對進(jìn)行全局池化，輸出，。

41、作為優(yōu)選：步驟s4訓(xùn)練多模態(tài)監(jiān)測網(wǎng)絡(luò)時，一次訓(xùn)練具體為；

42、s41，預(yù)設(shè)批次大小b，選取b個多模態(tài)樣本送入多模態(tài)監(jiān)測網(wǎng)絡(luò)，并根據(jù)下式計算損失函數(shù)l；

43、，

44、式中，b為一批次多模態(tài)樣本中第b個多模態(tài)樣本，c為第c個類別，、分別為第b個多模態(tài)樣本的目標(biāo)標(biāo)簽和預(yù)測目標(biāo)標(biāo)簽；

45、s42，用反向傳播算法更新多模態(tài)監(jiān)測網(wǎng)絡(luò)的參數(shù)。

46、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點在于：

47、（1）本發(fā)明引入了一種基于專家混合網(wǎng)絡(luò)結(jié)構(gòu)的多模態(tài)數(shù)據(jù)融合新方法用于火災(zāi)風(fēng)險預(yù)測。本發(fā)明整合了氣象數(shù)據(jù)、植被圖像、地形特征以及人類活動等四種信息源，通過四個獨立且針對性的專家模型分別處理不同模態(tài)的信息源。每個專家模型針對不同的數(shù)據(jù)類型進(jìn)行了優(yōu)化，確保不同領(lǐng)域的數(shù)據(jù)能夠得到最有效的特征提取。這使得多模態(tài)監(jiān)測模型能夠從多模態(tài)數(shù)據(jù)中提取更多的信息，提高對復(fù)雜環(huán)境中火災(zāi)風(fēng)險的預(yù)測能力。相比單一依賴衛(wèi)星圖像，本發(fā)明不僅可以通過氣象和人類活動數(shù)據(jù)更早預(yù)測潛在的火災(zāi)風(fēng)險，還可以減少衛(wèi)星圖像受天氣干擾的影響。相比單一的氣象站監(jiān)測，本發(fā)明能夠通過更多位置的氣象數(shù)據(jù)結(jié)合地形變化，提供更加全局化的風(fēng)險預(yù)測。

48、（2）設(shè)計了門控網(wǎng)絡(luò)，由多模態(tài)監(jiān)測網(wǎng)絡(luò)中的第一線性層和歸一化層構(gòu)成，不同區(qū)域或場景可能對火災(zāi)風(fēng)險的影響因素不同，例如在某些地區(qū)氣象因素可能更重要，而在另一些地區(qū)植被或地形因素可能占主導(dǎo)作用。門控網(wǎng)絡(luò)通過softmax機(jī)制動態(tài)調(diào)整權(quán)重，使得模型能夠更快速、靈活地適應(yīng)不同場景下的數(shù)據(jù)特性，提升預(yù)測的精確度。這種創(chuàng)新的方法不僅提升了對多源數(shù)據(jù)的綜合處理能力，還增強(qiáng)了模型在復(fù)雜環(huán)境中的魯棒性。

49、（3）該模型采用端到端的訓(xùn)練方式，各個專家模型、門控網(wǎng)絡(luò)和最終的分類層在同一框架下共同優(yōu)化。模型的所有參數(shù)都可以通過反向傳播進(jìn)行優(yōu)化，保證了整體模型的協(xié)調(diào)性和性能。不同于分階段訓(xùn)練的模型，該方法更高效，并且能夠最大化地利用訓(xùn)練數(shù)據(jù)。

50、（4）本方法在火災(zāi)風(fēng)險預(yù)測中的應(yīng)用顯著提升了預(yù)測的準(zhǔn)確性和實時性，為林業(yè)資源管理者提供了可靠的決策支持。通過綜合分析多模態(tài)數(shù)據(jù)，專家混合網(wǎng)絡(luò)結(jié)構(gòu)能夠更全面地評估火災(zāi)風(fēng)險，及時預(yù)警潛在威脅，幫助制定更加有效的防護(hù)措施。這不僅有助于提高森林生態(tài)保護(hù)的效率，還為災(zāi)害管理提供了強(qiáng)有力的技術(shù)保障，推動現(xiàn)代林業(yè)管理向更加智能化和精細(xì)化的方向發(fā)展。