本發(fā)明屬于圖像補全，特別涉及基于異常注意力和fno的葉綠素濃度補全方法及系統(tǒng)。

背景技術(shù)：

1、海表面葉綠素濃度時空數(shù)據(jù)場補全是近年來海洋科學(xué)重要方向，傳統(tǒng)方法通?；谏赡Ｐ停缟蓪咕W(wǎng)絡(luò)、重構(gòu)模型，如編碼器-解碼器等神經(jīng)網(wǎng)絡(luò)模型利用歷史數(shù)據(jù)直接對葉綠素濃度場進行估計和補全。傳統(tǒng)方法存在以下問題：補全不穩(wěn)定、不準確，造成的原因是：一方面，傳統(tǒng)方法通常采用一次補全的方式直接對缺失區(qū)域開展補全，另一方面，葉綠素濃度場的數(shù)值范圍通常很大，而直接對這么大的數(shù)值范圍進行估計會導(dǎo)致補全過程非常不穩(wěn)定，同時又難以準確的估計每個點的數(shù)值。相較于傳統(tǒng)方法，基于深度神經(jīng)網(wǎng)絡(luò)的葉綠素濃度場補全方法借助大量歷史海洋數(shù)據(jù)進行估計的方式來學(xué)習(xí)葉綠素濃度時空數(shù)據(jù)的分布。

2、目前，基于深度學(xué)習(xí)的海洋葉綠素濃度補全的前沿方法是基于異常修復(fù)網(wǎng)絡(luò)的海洋圖像的補全方法，采用“由粗到細“的圖像補全機制，大多采用兩階段的補全方法，階段一采用海洋葉綠素濃度月均值估計周均值，階段二借助待補全的海洋葉綠素濃度日數(shù)據(jù)中未缺失的部分和周均值的間的偏差值去估計缺失部分的偏差，后再與周平均值進行疊加得到補全的日葉綠素濃度場。

3、但是，以上方法存在以下問題：第一，僅開展顯著性信息的表征學(xué)習(xí)，對非顯著性（異常）信息的挖掘不充分，限制了補全的準確度。例如，大多方法借助卷積、注意力機制等傳統(tǒng)顯著性表征策略開展葉綠素濃度補全，忽略了這些表征策略會對非顯著性信息（如不滿足周期內(nèi)均值情況的局部異常等情況）進行平滑化，從而限制了最終補全的準確度。第二，依賴語義、視覺任務(wù)中的空間域表征策略，難以充分表征不具備清晰語義信息的海洋數(shù)據(jù)，導(dǎo)致表征質(zhì)量差。例如，大多方法使用的表征學(xué)習(xí)策略大多受到了傳統(tǒng)圖像補全領(lǐng)域的啟發(fā)，均依賴圖像中清晰的語義、視覺信息來開展表征學(xué)習(xí)工作。然而，葉綠素濃度圖像屬于海洋科學(xué)數(shù)據(jù)，其組成不僅缺少清晰的語義信息，同時又表現(xiàn)為一個復(fù)雜的混沌系統(tǒng)，此類空間域表征策略難以對其進行充分表征，限制了表征結(jié)果的質(zhì)量。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)存在的不足，本發(fā)明提供基于異常注意力和fno的葉綠素濃度補全方法及系統(tǒng)，（1）設(shè)計了針對葉綠素濃度補全任務(wù)的空間域雙流注意力網(wǎng)絡(luò)，解決了現(xiàn)有方法在僅開展顯著性信息的表征學(xué)習(xí)，對非顯著性（異常）信息的挖掘不充分，限制了補全的準確度的問題。（2）在葉綠素濃度補全任務(wù)中，引入傅里葉神經(jīng)算子并與設(shè)計的空間域雙流注意力網(wǎng)絡(luò)進行結(jié)合，解決了原方法依賴語義、視覺任務(wù)中的空間域表征策略，難以充分表征不具備清晰語義信息的海洋數(shù)據(jù)，導(dǎo)致表征質(zhì)量差的問題。

2、為了解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案是：

3、首先，本發(fā)明提供基于異常注意力和fno的葉綠素濃度補全方法，包括以下步驟：

4、步驟s1、輸入數(shù)據(jù)：

5、輸入數(shù)據(jù)包括破損的葉綠素濃度場sstcor、周均值葉綠素濃度場sstave：

6、步驟s2、空間域雙流注意力處理：

7、首先通過不同的卷積提取sstcor的空間表征向量embsta、embano，提取sstave的空間表征向量embave，然后通過穩(wěn)定注意力加強embsta中與embave具有相似相關(guān)性的潛在數(shù)據(jù)模式，得到空間域上的穩(wěn)定特征向量；同時，通過異常反注意力加強embano中與embave具有負相關(guān)性的潛在數(shù)據(jù)模式，得到空間域上的異常特征向量；

8、步驟s3、頻率域融合補全：

9、對于、，在頻率域上使用傅里葉神經(jīng)算子fno，經(jīng)過融合補全后輸出補全的葉綠素濃度場sstrec，并伴隨得到重構(gòu)的周均值葉綠素濃度場、破損的葉綠素濃度場；sstrec和真實葉綠素濃度場sstgro用判別器d2進行判別訓(xùn)練，和sstave用判別器d1進行判別訓(xùn)練，和sstcor用判別器d3進行判別訓(xùn)練。

10、進一步的，步驟s2中，空間域上的穩(wěn)定特征向量的計算如下：

11、（1）；

12、（2）；

13、（3）；

14、其中，表示多頭注意力機制中的第1，2，...，...i，...，h個頭，h表示頭部的總數(shù)量，表示用于拼接操作的權(quán)重矩陣，、和分別代表查詢、鍵和值，、和是對應(yīng)的權(quán)重矩陣，是中向量的維度；其中這里的和來自于embsta，而則來自于embave，softmax函數(shù)用于計算和之間的相似相關(guān)性；

15、空間域上的異常特征向量的計算如下：

16、（4）；

17、（5）；

18、其中和來自于embano，而則來自于embave；

19、公式（5）表示使用了異常反注意力reverseattention，其公式如下：

20、（6）；

21、通過進行相似相關(guān)性取反操作。

22、進一步的，傅里葉神經(jīng)算子fno包括傅里葉變換、過濾層、傅里葉逆變換，步驟s3具體如下：

23、步驟s31、獲取頻率域信息：

24、輸入特征向量、，首先應(yīng)用傅里葉變換將其轉(zhuǎn)換到傅里葉頻率域上，隨后使用2個相應(yīng)的過濾層、進行過濾，分別得到穩(wěn)定的頻率域信息signsta、異常的頻率域信息signano；

25、步驟s32、頻率域信息融合：

26、將穩(wěn)定的頻率域信息signsta、異常的頻率域信息signano同時輸入一層復(fù)數(shù)通道卷積，實現(xiàn)兩者信息在頻率域的融合，并輸出得到融合后的頻率域信息signfus；

27、步驟s33、葉綠素濃度場融合補全：

28、融合后的頻率域信息signfus經(jīng)過傅里葉逆變換，從頻率域還原回空間域上，得到表征向量embrec，然后使用2維卷積對embrec進行非線性增強，輸出補全的葉綠素濃度場sstrec；

29、步驟s34、重構(gòu)周均值葉綠素濃度場和破損的葉綠素濃度場：

30、穩(wěn)定的頻率域信息signsta、異常的頻率域信息signano分別經(jīng)過傅里葉逆變換和2維卷積，輸出重構(gòu)的周均值葉綠素濃度場和破損的葉綠素濃度場；

31、步驟s35、判別器訓(xùn)練：

32、sstrec和真實葉綠素濃度場sstgro用判別器d2進行判別訓(xùn)練，和sstave用判別器d1進行判別訓(xùn)練，和sstcor用判別器d3進行判別訓(xùn)練。

33、進一步的，步驟3中的公式如下：

34、（7）；

35、（8）；

36、其中，、分別是過濾層、中需要訓(xùn)練學(xué)習(xí)的全連接層參數(shù)，表示傅里葉變換，其過程如下：

37、（9）；

38、其中，j是虛數(shù)單位，f(x,y)代表輸入的原圖中像素點，x，y分別為橫縱坐標數(shù)值，m，n分別是原圖長寬尺寸，f(u,v)是頻域信號。

39、進一步的，訓(xùn)練時，損失函數(shù)如下：

40、（17）；

41、分為兩個部分：其中①表示本模型的重構(gòu)損失，②表示本模型的判別損失，下面分別展開介紹：

42、①重構(gòu)損失lossrecons具體計算如下：

43、(18)；

44、其中，為l2范數(shù)，mask為sstcor的二進制掩碼：

45、（19）；

46、②判別損失lossdiscri具體計算如下：

47、（20）；

48、（21）；

49、（22）；

50、（23）；

51、其中，d1、d2、d3表示判別器，、、分別為其所需學(xué)習(xí)的參數(shù)，sstave為周均值葉綠素濃度場，為重構(gòu)的周均值葉綠素濃度場，sstrec為補全的葉綠素濃度場，sstgro為真實葉綠素濃度場，sstcor為破損的葉綠素濃度場，為重構(gòu)的破損的葉綠素濃度場。

52、其次，本發(fā)明提供基于異常注意力和fno的葉綠素濃度補全系統(tǒng)，用于實現(xiàn)如前所述的基于異常注意力和fno的葉綠素濃度補全方法，包括空間域雙流注意力網(wǎng)絡(luò)和頻率域融合補全網(wǎng)絡(luò)，所述空間域雙流注意力網(wǎng)絡(luò)將周均值葉綠素濃度場sstave、破損的葉綠素濃度場sstcor作為輸入，經(jīng)過空間穩(wěn)定注意力模塊和空間異常注意力模塊同時輸出空間域上的穩(wěn)定特征向量、異常特征向量；

53、所述頻率域融合補全網(wǎng)絡(luò)將特征向量、作為輸入，在頻率域上經(jīng)過融合補全后輸出補全的葉綠素濃度場sstrec，并伴隨得到重構(gòu)的周均值葉綠素濃度場、破損的葉綠素濃度場；sstrec和真實葉綠素濃度場sstgro用判別器d2進行判別訓(xùn)練，和sstave用判別器d1進行判別訓(xùn)練，和sstcor用判別器d3進行判別訓(xùn)練。

54、與現(xiàn)有技術(shù)相比，本發(fā)明優(yōu)點在于：

55、（1）設(shè)計了針對葉綠素濃度補全任務(wù)的空間域雙流注意力網(wǎng)絡(luò)，充分開展非顯著性（異常）信息的挖掘，提高了補全準確性。本發(fā)明通過輸入周均值葉綠素濃度場、破損的葉綠素濃度場，在空間域雙流注意力網(wǎng)絡(luò)中既利用穩(wěn)定注意力加強了破損的葉綠素濃度場中與周均值葉綠素濃度場具有相似相關(guān)性的潛在數(shù)據(jù)模式，得到空間域上的穩(wěn)定特征向量。又利用了異常反注意力加強了破損的葉綠素濃度場中與周均值葉綠素濃度場具有負相關(guān)性的潛在數(shù)據(jù)模式，得到空間域上的異常特征向量。該設(shè)計既充分保證顯著性信息的挖掘，又充分保證了非顯著信息（異常）信息的挖掘，提高了模型的補全準確度。

56、（2）在葉綠素濃度補全任務(wù)中，引入傅里葉神經(jīng)算子并與設(shè)計的空間域雙流注意力網(wǎng)絡(luò)進行結(jié)合，充分利用頻率域開展海洋數(shù)據(jù)的表征學(xué)習(xí)，提高了表征質(zhì)量。本發(fā)明通過將傅里葉神經(jīng)算子延伸至葉綠素濃度補全領(lǐng)域，與所提出的空間域雙流注意力網(wǎng)絡(luò)進行結(jié)合，并針對該領(lǐng)域問題對傅里葉神經(jīng)算子中的卷子算子使用神經(jīng)網(wǎng)絡(luò)實現(xiàn)的低通濾波器進行了調(diào)整，改為全連接層實現(xiàn)自適應(yīng)濾波器，從頻率域上充分表征學(xué)習(xí)空間域上的穩(wěn)定特征向量、異常特征向量并得到穩(wěn)定的頻率域信息、異常的頻率域信息，隨后將穩(wěn)定的頻率域信息、異常的頻率域信息同時輸入一層復(fù)數(shù)通道卷積，實現(xiàn)兩者信息在頻率域的融合，得到融合后的頻率域信息，在頻率域上充分地對海洋數(shù)據(jù)開展有效、充分地表征學(xué)習(xí)，得到完成補全任務(wù)的有效頻率信息，提高了海洋數(shù)據(jù)的表征質(zhì)量。