本發(fā)明涉及水文環(huán)境監(jiān)測和多模態(tài)信息融合領(lǐng)域，尤其涉及一種基于格拉姆角場多模態(tài)時序數(shù)據(jù)融合的河源溪流水位監(jiān)測方法。

背景技術(shù)：

1、在水文環(huán)境監(jiān)測研究領(lǐng)域，一個高時空分辨率的自動化河源溪流水位監(jiān)測網(wǎng)絡(luò)對整個流域的水文過程的理解與分析、自然災(zāi)害的建模與預(yù)測、水資源的管理與決策、水生生態(tài)系統(tǒng)的富營養(yǎng)化緩解等方面都發(fā)揮著至關(guān)重要的作用。河源溪流作為河流網(wǎng)絡(luò)中豐富而獨特的重要組成部分，廣泛分布于河流的發(fā)源區(qū)域，為當(dāng)?shù)氐膭又参锾峁┲粋€獨立的生態(tài)系統(tǒng)，具備相對恒定的物理條件、無天敵的生存空間以及河源溪流區(qū)域獨有的有機物資源。除此之外，河源溪流對下游河流網(wǎng)絡(luò)在水質(zhì)、沉積物的遷移和有機物的供應(yīng)等水文特征方面產(chǎn)生著重要影響，其長度占比高達(dá)河流網(wǎng)絡(luò)總長度的約80％左右。然而，由于傳統(tǒng)水文監(jiān)測站的設(shè)備部署難度大、維護成本高，導(dǎo)致大部分位于山區(qū)或森林的河源溪流仍處于未被充分監(jiān)測的狀態(tài)。時空分辨率極度稀疏甚至缺失的河源溪流水位監(jiān)測數(shù)據(jù)將給整個流域的水文過程的理解與分析以及極端水文事件的建模與預(yù)測等方面帶來極大的困難和挑戰(zhàn)。

2、近年來，隨著數(shù)字圖像處理、機器學(xué)習(xí)和信息融合技術(shù)的快速發(fā)展，基于圖像的河流監(jiān)測方法引起了水文學(xué)領(lǐng)域的廣泛關(guān)注。這類方法能夠在不對河流的水文生態(tài)過程造成干擾的前提下，實現(xiàn)對河流水位的自動化、非侵入式、連續(xù)的定性或定量地測量，為決策者提供實時的現(xiàn)場圖像畫面，并為進一步監(jiān)測流速、流量、沉積物等其它水文參數(shù)提供了潛在的可能性。這類基于圖像的河流監(jiān)測方法可以根據(jù)圖像數(shù)據(jù)的獲取方式分為五大類：基于遙感衛(wèi)星的、基于直升機的、基于無人機的、基于監(jiān)控系統(tǒng)的和基于地面相機的監(jiān)測方法?；谶b感衛(wèi)星的監(jiān)測方法已經(jīng)在大型流域的洪水監(jiān)測任務(wù)中得到了廣泛應(yīng)用。然而，這類方法在提取小區(qū)域內(nèi)的特定信息時存在較大困難，且易受到云層和植被遮擋的影響，不適用于分布在山區(qū)或森林內(nèi)的河源溪流監(jiān)測任務(wù)?；谥鄙龣C的或無人機的監(jiān)測方法屬于新興的遙測技術(shù)，可以實現(xiàn)對特定的小型區(qū)域進行觀測，被越來越多地應(yīng)用于河源溪流的監(jiān)測任務(wù)中。然而，這兩類方法的部署和使用受到了民航法規(guī)的限制，不適用于長時間的觀測任務(wù)，數(shù)據(jù)的準(zhǔn)確性和分辨率也會受到惡劣天氣的干擾。同時，有些方法利用城市監(jiān)控系統(tǒng)去獲取圖像數(shù)據(jù)，從而實現(xiàn)了對城市洪水的定性或定量地監(jiān)測。然而，這類方法不適用于對分布在野外場景的河源溪流進行監(jiān)測。因此，水文學(xué)家開始采用靈活且低成本的地面相機來定期采集河流的圖像數(shù)據(jù)，以便監(jiān)測關(guān)鍵的河流水位信息。然而，有一類基于地面相機的監(jiān)測方法是需要捕捉包含水位標(biāo)尺等結(jié)構(gòu)高度已知參照物的河流圖像數(shù)據(jù)，給相機和參照物的部署與校準(zhǔn)帶來大量人工干預(yù)工作。另一個類無需參照物的方法則借助了深度學(xué)習(xí)的圖像分割技術(shù)，對圖像中的水體區(qū)域進行識別劃分，帶來了大量人工的像素級圖像數(shù)據(jù)標(biāo)注工作。綜上所述，現(xiàn)有基于圖像的水位監(jiān)測方法存在的問題可總結(jié)為：1)不適用于對分布于野外環(huán)境的極小型河源溪流進行長周期、連續(xù)性的監(jiān)測；2)需要大量的人工干預(yù)，包括定期對相機設(shè)備和水位標(biāo)尺等參照物進行復(fù)雜的位置校準(zhǔn)；3)需要大量的像素級圖像數(shù)據(jù)標(biāo)注工作，且缺乏夜間水位監(jiān)測能力。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是解決現(xiàn)有基于圖像的水位監(jiān)測方法在河源溪流監(jiān)測任務(wù)中的不足，提出一種基于格拉姆角場多模態(tài)時序數(shù)據(jù)融合的河源溪流水位監(jiān)測方法，即利用具備紅外夜視功能的野外相機等遙測設(shè)備采集河源溪流的多模態(tài)時間序列數(shù)據(jù)，通過格拉姆角場技術(shù)將多個一維的氣象模態(tài)時間序列數(shù)據(jù)編碼為二維的特征表示，將二維氣象模態(tài)的特征表示與河流圖像數(shù)據(jù)進行通道級的堆疊，從而實現(xiàn)多模態(tài)數(shù)據(jù)的輸入級信息融合，再將融合的多模態(tài)信息時間序列先后經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)進行時空特征的充分融合與提取，最后經(jīng)過線性層輸出最終的河源溪流水位監(jiān)測結(jié)果。

2、為實現(xiàn)以上目的，本發(fā)明采用的技術(shù)方案是，一種基于格拉姆角場多模態(tài)時序數(shù)據(jù)融合的河源溪流水位監(jiān)測方法，包括以下步驟：

3、1)采集河源溪流的多模態(tài)時間序列數(shù)據(jù)。利用具備紅外夜視功能的野外相機，按照每小時拍攝一次的采樣頻率，日夜采集河流表面的高分辨率圖像，獲得河流的原始圖像時間序列其中，表示第m個采樣時刻所拍攝采集的三通道高分辨率圖像，m表示觀測值的總數(shù)量。通過公開的daymet氣象數(shù)據(jù)集，獲得該河源溪流監(jiān)測點所對應(yīng)區(qū)域的原始?xì)庀髸r間序列其中，表示第m個時刻所采集的8維氣象數(shù)據(jù)向量，包括：日照時長、降水量、短波輻射值、雪水當(dāng)量、最高氣溫、最低氣溫、蒸汽壓力和所屬日期序號。利用錨定在河床上的水壓傳感器采集河流的原始水位標(biāo)簽時間序列其中，表示第m個采樣時刻所采集的河源溪流水位真值。

4、2)對1)步驟所采集的多模態(tài)時間序列原始數(shù)據(jù)進行預(yù)處理操作，構(gòu)建訓(xùn)練數(shù)據(jù)集。具體為：

5、a)對氣象模態(tài)原始數(shù)據(jù)采用最大最小歸一化操作，以消除不同維度的量綱差異所帶給模型訓(xùn)練的影響。原始?xì)庀髸r間序列數(shù)據(jù)可視為具有8個屬性的m個觀測樣本，可進一步表示為：

6、

7、然后，對每個維度分別進行全局最大最小歸一化操作：

8、

9、其中，表示第i個維度在第m時刻歸一化后的值，min(ci)和max(ci)分別表示第i個維度的全局最小值和最大值。最終得到歸一化后的氣象時間序列數(shù)據(jù)其中

10、b)對原始圖像數(shù)據(jù)采用雙線性插值法調(diào)整為480×360×3的分辨率，并將像素的取值范圍從[0,255]歸一化至[0,1]，以保證計算成本的可接受性以及模型訓(xùn)練的穩(wěn)定性。最終得到經(jīng)過預(yù)處理操作后的圖像時間序列數(shù)據(jù)其中

11、c)從多模態(tài)時間序列和yraw中生成n個長度為30的小樣本時間序列，構(gòu)建為訓(xùn)練數(shù)據(jù)集

12、

13、其中，n表示生成的小樣本總數(shù)量，并選取每個小樣本時間序列最后一個時刻的水位真值作為相應(yīng)的標(biāo)簽。

14、3)對訓(xùn)練數(shù)據(jù)集中n個多模態(tài)小樣本時間序列數(shù)據(jù)，分別進行基于格拉姆角場的多模態(tài)時序數(shù)據(jù)輸入級融合操作。具體為：

15、a)將8維的多模態(tài)氣象時間序列數(shù)據(jù)cn轉(zhuǎn)換為一維時間序列，并將取值范圍從[0,1]縮放至[-1,1]：

16、

17、b）將長度為240的一維多模態(tài)氣象時間序列映射至極坐標(biāo)系中，把幅值編碼為極坐標(biāo)的余弦角大小，把時間點t(n-1)+i編碼為半徑大?。?/p>

18、其中，表示第n個氣象小樣本時間序列的第i個時刻所對應(yīng)的余弦角大小，下角標(biāo)<1:8>表示氣象數(shù)據(jù)的維度序號。

19、c）將不同時間點之間的時序相關(guān)性使用三角和函數(shù)表示為格拉姆角場的特征表示矩陣：

20、其中，格拉姆角場的特征表示矩陣大小是240×240。換句話說，?一維的多模態(tài)氣象時間序列的長度決定了最終編碼的特征表示矩陣大小。d）將c）步驟中得到的格拉姆角場特征表示矩陣采用雙線性插值法調(diào)整為480×360×1的分辨率，與圖像數(shù)據(jù)的分辨率相匹配，并依次與圖像時間序列數(shù)據(jù)中的圖像數(shù)據(jù)進行通道級的堆疊，從而實現(xiàn)多模態(tài)時序數(shù)據(jù)的輸入級信息融合，?得到融合的多模態(tài)信息時間序列

21、4）用3）步驟生成融合的多模態(tài)信息時間序列數(shù)據(jù)集去訓(xùn)練時空特征融合模型，?具體為：

22、a）利用卷積神經(jīng)網(wǎng)絡(luò)依次對融合的多模態(tài)信息時間序列內(nèi)的每一個時刻數(shù)據(jù)進一步提取空間特征，?得到空間特征表示序列

23、b)利用循環(huán)神經(jīng)網(wǎng)絡(luò)對a)步驟中得到的空間特征表示序列進一步提取整個序列內(nèi)的時間依賴關(guān)系信息，得到時序特征表示序列

24、c)選取時序特征表示序列的最后一個時刻特征表示將其通過線性層進行線性變化與映射，得到第n個多模態(tài)小樣本序列對應(yīng)的河源溪流水位監(jiān)測值

25、d)根據(jù)模型預(yù)測的n個多模態(tài)小樣本訓(xùn)練序列對應(yīng)的水位監(jiān)測值和訓(xùn)練集中的水位真值計算均方損失函數(shù)，記為并進行端到端的模型訓(xùn)練，其計算公式為：

26、

27、其中，θ為整個時空特征融合模型的權(quán)重參數(shù)集合，n表示小樣本訓(xùn)練序列的總數(shù)量。

28、5)采集待監(jiān)測時段的河源溪流多模態(tài)時間序列數(shù)據(jù)和進行2)步驟的相應(yīng)預(yù)處理操作，再進行3)步驟的基于格拉姆角場的多模態(tài)時序數(shù)據(jù)輸入級融合之后，將融合的多模態(tài)信息時間序列輸入到4)步驟訓(xùn)練好的時空特征融合模型中，得到待監(jiān)測時段的河流水位監(jiān)測至此，完成了基于格拉姆角場多模態(tài)時序數(shù)據(jù)融合的河源溪流水位監(jiān)測過程。

29、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點在于：首先，在卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)提取圖像時間序列數(shù)據(jù)時空特征表示的基礎(chǔ)上，基于格拉姆角場的多模態(tài)時序數(shù)據(jù)融合技術(shù)可實現(xiàn)任意長度的氣象時間序列數(shù)據(jù)的全局多模態(tài)信息融合，大幅提升了水位監(jiān)測的準(zhǔn)確性；其次，同時考慮并融合了特定河源溪流的多模態(tài)圖像與氣象時間序列數(shù)據(jù)，無需捕捉水位標(biāo)尺等其它結(jié)構(gòu)高度已知參照物所提供的信息，大幅減少了需要人工干預(yù)的設(shè)備維護校準(zhǔn)與圖像像素級標(biāo)注工作；最后，采用的是具備紅外夜視功能的野外相機等遙測設(shè)備，部署簡單，維護成本低，可在非侵入的前提下實現(xiàn)對野外環(huán)境中的極小型河源溪流長周期、連續(xù)性、不分晝夜的水位監(jiān)測任務(wù)，保證了水位監(jiān)測數(shù)據(jù)的高時空分辨率需要，并為決策者提供實時的現(xiàn)場圖像畫面。