本發(fā)明屬于人工智能技術(shù)與環(huán)境學(xué)科交叉領(lǐng)域，涉及遙感監(jiān)測(cè)技術(shù)，具體涉及一種水質(zhì)遙感圖像數(shù)據(jù)擴(kuò)充及大氣-水質(zhì)多模態(tài)融合的水體富營(yíng)養(yǎng)化預(yù)測(cè)方法。

背景技術(shù)：

1、水體富營(yíng)養(yǎng)化是指水體內(nèi)循環(huán)程度較低，且氮、磷營(yíng)養(yǎng)鹽和有機(jī)物等營(yíng)養(yǎng)物質(zhì)含量過(guò)高所引起的水體污染現(xiàn)象，通常發(fā)生在陸地生態(tài)系統(tǒng)與水生態(tài)系統(tǒng)的交錯(cuò)地帶，如湖泊、河流等受人類活動(dòng)影響強(qiáng)烈且水體交換能力不佳的區(qū)域。近年來(lái)，由于城市化工業(yè)化進(jìn)程加快，導(dǎo)致越來(lái)越多的污染物排放，水體富營(yíng)養(yǎng)化問(wèn)題已經(jīng)成為當(dāng)今世界各地水生態(tài)治理面臨的主要難題。在上世紀(jì)80年代的水體富營(yíng)養(yǎng)化調(diào)查結(jié)果中顯示：長(zhǎng)江以南的多數(shù)湖泊已經(jīng)出現(xiàn)輕度富營(yíng)養(yǎng)化和中度富營(yíng)養(yǎng)化狀態(tài)，還發(fā)生多次藻類爆發(fā)事件。據(jù)最新的《中國(guó)生態(tài)環(huán)境狀況公報(bào)》顯示，湖泊富營(yíng)養(yǎng)化程度不僅沒(méi)有減輕，而且各個(gè)地區(qū)湖泊受到污染范圍更加擴(kuò)大，在經(jīng)濟(jì)發(fā)達(dá)的東部地區(qū)及東南沿海地區(qū)，經(jīng)濟(jì)欠發(fā)達(dá)的東北地區(qū)和西南地區(qū)，多數(shù)湖泊均呈現(xiàn)出不同的分布現(xiàn)象和較為嚴(yán)重的富營(yíng)養(yǎng)化，水質(zhì)狀況均不容樂(lè)觀。因此對(duì)水體富營(yíng)養(yǎng)化預(yù)測(cè)非常有必要。

2、水體富營(yíng)養(yǎng)化預(yù)測(cè)研究集中在應(yīng)用數(shù)學(xué)模型及遙感技術(shù)以預(yù)見其發(fā)生與發(fā)展趨勢(shì)，這些模型依據(jù)水體物理化學(xué)特性、生物指標(biāo)和大氣條件構(gòu)建，遙感技術(shù)的進(jìn)步則促進(jìn)了大范圍水體監(jiān)控及預(yù)警的效率。預(yù)測(cè)方法按是否揭露水體內(nèi)在機(jī)制分為兩類：機(jī)理驅(qū)動(dòng)預(yù)測(cè)側(cè)重于直接及間接影響因素，通過(guò)數(shù)學(xué)方程描述它們與富營(yíng)養(yǎng)化的關(guān)系，從單項(xiàng)營(yíng)養(yǎng)素限制模型演進(jìn)到綜合考慮浮游生物生態(tài)及生態(tài)系統(tǒng)與水文動(dòng)力學(xué)的復(fù)雜模型，加深了對(duì)富營(yíng)養(yǎng)化多維度理解并提高了預(yù)測(cè)精確度。另一方面，數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型運(yùn)用大數(shù)據(jù)、數(shù)據(jù)挖掘技術(shù)分析觀測(cè)信息，結(jié)合地面站和遙感數(shù)據(jù)，既涵蓋具體點(diǎn)位的水質(zhì)細(xì)節(jié)也囊括廣域水體特征，通過(guò)數(shù)據(jù)分析揭示關(guān)鍵影響因子及規(guī)律，為水環(huán)境管理提供重要的決策支持。兩類方法互補(bǔ)，共同推進(jìn)了對(duì)水體富營(yíng)養(yǎng)化的科學(xué)預(yù)測(cè)與管理。

3、卷積神經(jīng)網(wǎng)絡(luò)作為一種經(jīng)典的深度學(xué)習(xí)算法，克服了高維數(shù)據(jù)分析的維數(shù)災(zāi)難，特別適用于圖像的處理及識(shí)別，卷積處理使圖片特征值提取更為高效，為之后的非線性變化操作提供更加輕便簡(jiǎn)練的輸入集，從而提高其訓(xùn)練效果及預(yù)測(cè)效果。生成對(duì)抗網(wǎng)絡(luò)作為生成圖像數(shù)據(jù)的優(yōu)秀模型，由生成器和判別器兩個(gè)部分組成，生成器學(xué)習(xí)并生成與真實(shí)遙感圖像分布相近的樣本，判別器來(lái)區(qū)分圖像來(lái)自于真實(shí)遙感圖像樣本還是生成器生成的，使得網(wǎng)絡(luò)模型能夠有效地提取水體遙感圖像中的關(guān)鍵特征，并生成高質(zhì)量的水體遙感圖像數(shù)據(jù)。

技術(shù)實(shí)現(xiàn)思路

1、但目前基于水體遙感圖像進(jìn)行水體富營(yíng)養(yǎng)化監(jiān)測(cè)的技術(shù)中存在以下兩個(gè)問(wèn)題：第一，原始水質(zhì)遙感圖像數(shù)據(jù)的采樣長(zhǎng)度不等、采樣頻率較低，導(dǎo)致數(shù)據(jù)樣本的時(shí)間間隔不等、數(shù)據(jù)體量較少，致使原始數(shù)據(jù)樣本無(wú)法直接用于水體富營(yíng)養(yǎng)化的建模預(yù)測(cè)；第二，大氣污染物的干濕沉降和目標(biāo)水域的富營(yíng)養(yǎng)化等級(jí)間存在強(qiáng)關(guān)聯(lián)性，當(dāng)前技術(shù)未將大氣污染物因素考慮進(jìn)水體富營(yíng)養(yǎng)化預(yù)測(cè)中。本發(fā)明的目的是提供一種大氣-水質(zhì)多模態(tài)信息的水體遙感圖像擴(kuò)充及富營(yíng)養(yǎng)化預(yù)測(cè)方法，解決了原始水質(zhì)遙感圖像數(shù)據(jù)缺失無(wú)法直接用于預(yù)測(cè)建模和傳統(tǒng)的水質(zhì)遙感圖像擴(kuò)充及預(yù)測(cè)均未考慮大氣污染物因素的問(wèn)題，為人工智能技術(shù)與環(huán)境學(xué)科交叉領(lǐng)域的遙感圖像擴(kuò)充及預(yù)測(cè)提供一種新思路。

2、本發(fā)明提供的一種大氣-水質(zhì)多模態(tài)信息的水體遙感圖像擴(kuò)充及富營(yíng)養(yǎng)化預(yù)測(cè)方法，通過(guò)下面步驟一至三構(gòu)建遷移學(xué)習(xí)-多通道注意力級(jí)聯(lián)語(yǔ)義選擇網(wǎng)絡(luò)模型，包含級(jí)聯(lián)語(yǔ)義生成模塊、多尺度空間池化模塊、多通道注意力模塊以及知識(shí)遷移模塊，對(duì)水質(zhì)遙感圖像進(jìn)行擴(kuò)充，通過(guò)下面步驟四和五構(gòu)建交叉注意力卷積長(zhǎng)短期記憶生成對(duì)抗網(wǎng)絡(luò)模型，包含時(shí)空特征提取模塊、單模態(tài)特征編碼器、交叉模態(tài)特征編碼器和生成判別模塊，進(jìn)行水體富營(yíng)養(yǎng)化預(yù)測(cè)。遷移學(xué)習(xí)-多通道注意力級(jí)聯(lián)語(yǔ)義選擇網(wǎng)絡(luò)模型表示為transfer?learningmultin-channel?attention?selection?generative?adversarial?networks?withcascaded?semantic?guidance，簡(jiǎn)記為tl_mcas_csg_gan。交叉注意力卷積長(zhǎng)短期記憶生成對(duì)抗網(wǎng)絡(luò)模型表示為attentional?two-dimensional?convolutional?long?and?shortterm?memory?cross?generative?adversarial?networks，簡(jiǎn)記為att_conv2d_lstm_cross_gan。

3、本發(fā)明方法首先獲取目標(biāo)水域的遙感圖像時(shí)序、目標(biāo)水域的語(yǔ)義圖以及目標(biāo)水域的大氣污染物圖像時(shí)序，然后執(zhí)行以下步驟：

4、步驟一，構(gòu)建級(jí)聯(lián)語(yǔ)義生成模塊。針對(duì)每個(gè)缺失時(shí)刻的水質(zhì)遙感圖像，獲取該時(shí)刻的目標(biāo)水域的大氣污染物圖像，將大氣污染物圖像和目標(biāo)水域語(yǔ)義圖輸入級(jí)聯(lián)語(yǔ)義生成模塊；級(jí)聯(lián)語(yǔ)義生成模塊將大氣污染物圖像和目標(biāo)水域的語(yǔ)義圖進(jìn)行通道疊加后，通過(guò)圖像生成器gi生成粗粒度的目標(biāo)水域遙感圖像，并輸入語(yǔ)義圖生成器gs，得到新的目標(biāo)水域語(yǔ)義圖sg1；提取gi最后一個(gè)卷積層的輸出作為目標(biāo)水域的粗粒度圖像特征fi，提取gs最后一個(gè)卷積層的輸出作為粗粒度語(yǔ)義圖特征fs；將大氣污染物圖像、粗粒度水質(zhì)遙感圖像、新目標(biāo)水域語(yǔ)義圖sg1、特征fi和特征fs進(jìn)行級(jí)聯(lián)得到特征fc；

5、步驟二，構(gòu)建多尺度空間池化模塊和多通道注意力模塊；將步驟一得到的粗粒度目標(biāo)水域遙感圖像進(jìn)行不同尺度的平均池化和多個(gè)尺度的特征進(jìn)行卷積計(jì)算并結(jié)合注意力機(jī)制來(lái)生成細(xì)粒度目標(biāo)水域遙感圖像；構(gòu)建多尺度空間池化模塊和多通道注意力模塊；將特征fc通過(guò)多尺度空間池化模塊進(jìn)行不同尺度的平均池化，將池化結(jié)果進(jìn)行通道疊加后經(jīng)卷積提取多尺度特征fc1；多通道注意力模塊對(duì)輸入的多尺度特征fc1分別使用兩組不同的卷積濾波器生成一組中間變量圖像和一組注意力圖，然后將中間變量圖像結(jié)合注意力圖進(jìn)行按通道選擇，生成目標(biāo)水域的細(xì)粒度水質(zhì)遙感圖像；

6、步驟三，構(gòu)建知識(shí)遷移模塊，由步驟一和二生成缺失時(shí)刻的細(xì)粒度水質(zhì)遙感圖像，和原始的目標(biāo)水域水質(zhì)遙感圖像整合擴(kuò)充成連續(xù)時(shí)刻的遙感圖像序列送入知識(shí)遷移模塊，利用原始遙感圖像對(duì)生成的遙感圖像進(jìn)行調(diào)整，使得擴(kuò)充后的遙感圖像數(shù)據(jù)集平滑融合；

7、步驟四，構(gòu)建時(shí)空特征提取模塊和單模態(tài)特征編碼器，使用四維有向圖卷積神經(jīng)網(wǎng)絡(luò)模塊(four-dimensional?digraph?convolutional?neural?network,4d-dgcn)來(lái)提取多城市多種大氣污染物圖時(shí)空數(shù)據(jù)的空間特征，再將4d-dgcn模塊嵌入長(zhǎng)短期記憶網(wǎng)絡(luò)模塊(long?and?short?term?memory,lstm)實(shí)現(xiàn)大氣污染物圖數(shù)據(jù)的時(shí)空特征同步提取。使用注意力卷積長(zhǎng)短期記憶網(wǎng)絡(luò)模型(attentional?two-dimensional?convolutional?longand?short?term?memory,att_conv2d_lstm)提取步驟三中擴(kuò)充后的目標(biāo)水域遙感圖像數(shù)據(jù)的時(shí)空特征，然后將大氣污染物圖數(shù)據(jù)和目標(biāo)水域遙感圖像的時(shí)空特征輸入分別送入單模態(tài)特征編碼器進(jìn)行特征維度大小的對(duì)齊；

8、步驟五，構(gòu)建交叉模態(tài)特征編碼器和生成判別模塊，使用交叉模態(tài)特征編碼器將步驟四中對(duì)齊模態(tài)后的大氣污染物圖數(shù)據(jù)時(shí)空特征和目標(biāo)水域遙感圖像時(shí)空特征進(jìn)行信息交換，再將融合大氣污染物時(shí)空特征的目標(biāo)水域遙感圖像特征送入由patchgan和特征解碼器構(gòu)成的生成判別模塊，給出未來(lái)時(shí)刻目標(biāo)水域遙感圖像，并通過(guò)卡爾森營(yíng)養(yǎng)評(píng)價(jià)指數(shù)公式給出水體富營(yíng)養(yǎng)化等級(jí)評(píng)估。

9、相比現(xiàn)有技術(shù)，本發(fā)明的優(yōu)點(diǎn)在于：

10、(1)本發(fā)明方法通過(guò)遷移學(xué)習(xí)-多通道注意力級(jí)聯(lián)語(yǔ)義選擇網(wǎng)絡(luò)模型，在考慮大氣污染物、目標(biāo)水域語(yǔ)義圖信息的基礎(chǔ)上，補(bǔ)充了缺失的遙感圖像，圖像生成效果更優(yōu)。本發(fā)明構(gòu)建級(jí)聯(lián)語(yǔ)義生成模塊，能夠逐步構(gòu)建和豐富語(yǔ)義信息，通過(guò)級(jí)聯(lián)多個(gè)語(yǔ)義生成單元，每個(gè)單元都可以基于前一個(gè)單元的輸出進(jìn)行進(jìn)一步的處理和優(yōu)化，可以學(xué)習(xí)并融合多種不同的語(yǔ)義信息和生成策略，從而提高整體的圖像生成質(zhì)量。本發(fā)明方法通過(guò)多尺度空間池化單元能夠在不同尺度的空間范圍內(nèi)進(jìn)行池化操作，從而提取到不同尺度的特征信息，有助于模型更好地捕捉圖像或數(shù)據(jù)中的細(xì)節(jié)和全局信息。多通道注意力模塊可以根據(jù)不同通道的特征重要性進(jìn)行加權(quán)，使得模型更加關(guān)注對(duì)任務(wù)有貢獻(xiàn)的關(guān)鍵特征，有助于增強(qiáng)模型對(duì)關(guān)鍵信息的捕捉能力，以此來(lái)提高特征的豐富性和準(zhǔn)確性。本發(fā)明方法通過(guò)構(gòu)建知識(shí)遷移模塊，在圖像生成模型中具有顯著的作用和優(yōu)勢(shì)，能夠幫助研究者更有效地利用已有模型和數(shù)據(jù)，提高生成質(zhì)量，降低計(jì)算成本，并在有限數(shù)據(jù)和計(jì)算資源的情況下實(shí)現(xiàn)高質(zhì)量的圖像生成。

11、(2)本發(fā)明方法通過(guò)交叉注意力卷積長(zhǎng)短期記憶生成對(duì)抗網(wǎng)絡(luò)模型，考慮了大氣污染物的影響來(lái)實(shí)現(xiàn)遙感圖像預(yù)測(cè)和水體富營(yíng)養(yǎng)化預(yù)測(cè)，預(yù)測(cè)更加準(zhǔn)確。本發(fā)明通過(guò)構(gòu)建時(shí)空特征提取和單模態(tài)特征編碼器，引入注意力機(jī)制允許模型在生成圖像時(shí)專注于更重要的區(qū)域或特征，忽略不重要的部分。這有助于模型更好地捕捉數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，從而提高圖像生成質(zhì)量，在conv2d_lstm模塊的基礎(chǔ)上加入注意力機(jī)制，可以進(jìn)一步提升模型對(duì)重要信息的捕捉和處理能力。本發(fā)明實(shí)驗(yàn)證明，本發(fā)明方法通過(guò)交叉注意力機(jī)制融合環(huán)太湖城市群大氣六參因素預(yù)測(cè)太湖葉綠素遙感圖像會(huì)顯著提升模型預(yù)測(cè)精度。