本發(fā)明涉及遙感影像處理，尤其涉及一種高精度的空地遙感影像自動(dòng)匹配方法。

背景技術(shù)：

1、在面對(duì)空地影像匹配場(chǎng)景時(shí)，現(xiàn)有的圖像特征匹配算法大致分為兩大類：基于人工設(shè)計(jì)特征的匹配算法和基于深度學(xué)習(xí)的匹配算法。其中，基于人工設(shè)計(jì)特征的匹配算法又可細(xì)分為三類：第一類是直接匹配方法，即直接在空地影像上計(jì)算特征描述符，如尺度不變特征變換(sift)?(lowe，2004)、梯度定位和方向直方圖(gloh)、加速魯棒特征(surf)等。雖然這些描述符對(duì)于一般基線場(chǎng)景是有效和魯棒的，但它們對(duì)于處理涉及極寬基線場(chǎng)景中顯著視角失真的地空?qǐng)D像匹配任務(wù)性能較低。第二類是基于幾何糾正的匹配方法，即先利用先驗(yàn)信息對(duì)空地影像進(jìn)行幾何糾正，如利用先驗(yàn)幾何信息或表面結(jié)構(gòu)將空中和地面圖像校正到同一基準(zhǔn)面。然而，該類方法具有二次的時(shí)間復(fù)雜度，因?yàn)樾枰獜男Ｕ蟮膱D像中提取描述符，并且圖像成對(duì)校正的質(zhì)量也會(huì)影響空地匹配的魯棒性。第三類是基于三維渲染的方法，實(shí)現(xiàn)這類方法的先決條件是使用具有航空?qǐng)D像和地面視圖的3d模型生成逼真的合成地面視圖圖像，但是這種合成的視圖圖像往往存在局部幾何變形、孔洞和紋理混疊等問(wèn)題，難以保持魯棒匹配性能。

2、基于深度學(xué)習(xí)的匹配算法可以從大量訓(xùn)練數(shù)據(jù)中利用“學(xué)習(xí)—反饋—調(diào)整”的策略抽取出高層次的語(yǔ)義信息，因此，深度學(xué)習(xí)在遙感圖像匹配領(lǐng)域中引起了廣泛的研究關(guān)注。與傳統(tǒng)的手工設(shè)計(jì)的描述符相比，卷積神經(jīng)網(wǎng)絡(luò)能夠更容易地挖掘圖像的深層信息特征。早期基于學(xué)習(xí)的方法主要集中在設(shè)計(jì)強(qiáng)大的局部特征，其中一些圍繞著具有深層架構(gòu)的局部特征檢測(cè)器的改進(jìn)（keynet、affnet和quad-networks），還有一些研究專注于利用學(xué)習(xí)到的表示來(lái)增強(qiáng)局部特征描述符（l2net、hardnet和contextdesc）。

3、隨著深度學(xué)習(xí)的進(jìn)步，圖像特征的檢測(cè)和描述已融入同一網(wǎng)絡(luò)架構(gòu)。在算法r2d2中，不僅在特征提取過(guò)程中聯(lián)合評(píng)估可靠性和可重復(fù)性，還同時(shí)進(jìn)行特征檢測(cè)與描述的聯(lián)合學(xué)習(xí)。此外，不同的學(xué)習(xí)機(jī)制也被應(yīng)用于圖像特征的提取和描述。superpoint利用自我監(jiān)督機(jī)制建立數(shù)據(jù)集，避免了對(duì)大量樣本的標(biāo)注，同時(shí)通過(guò)對(duì)訓(xùn)練集中圖像進(jìn)行隨機(jī)的單應(yīng)性變換來(lái)增強(qiáng)特征點(diǎn)描述符的魯棒性，實(shí)現(xiàn)了圖像特征的自我監(jiān)督提取。disk則將強(qiáng)化學(xué)習(xí)引入局部特征提取框架，使概率模型的訓(xùn)練與推理更加密切，進(jìn)而提高圖像特征的精細(xì)程度。

4、盡管隨著研究的發(fā)展，局部描述符的魯棒性逐漸提高，但是對(duì)于具有顯著的視角、光照和尺度變化的空地影像場(chǎng)景，僅依靠局部描述符仍然無(wú)法得到可靠的匹配關(guān)系，現(xiàn)有的基于深度學(xué)習(xí)的特征匹配方法仍然存在一些問(wèn)題需要進(jìn)一步解決。

技術(shù)實(shí)現(xiàn)思路

1、為了解決背景技術(shù)中的問(wèn)題，本發(fā)明提供一種誤差小、魯棒性強(qiáng)、匹配準(zhǔn)確的空地遙感影像自動(dòng)匹配方法。

2、一種空地遙感影像自動(dòng)匹配方法，包括如下步驟：

3、s1，構(gòu)建空地圖像對(duì)數(shù)據(jù)集：

4、獲取包含相同區(qū)域的航空影像集和地面影像集，并將其中對(duì)應(yīng)的航空影像和地面影像組成空地圖像對(duì)；將獲取的所有空地圖像對(duì)組成空地圖像對(duì)數(shù)據(jù)集，把所述空地圖像對(duì)數(shù)據(jù)集劃分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集；

5、s2，提取深層特征表達(dá)圖：

6、使用殘差網(wǎng)絡(luò)編碼器提取s1中訓(xùn)練數(shù)據(jù)集的特征，得到不同尺度的深層特征表達(dá)圖；

7、s3，獲取具有弱邊界屬性的結(jié)構(gòu)特征注意力圖：

8、首先，把s2得到的不同尺度的深層特征表達(dá)圖進(jìn)行拼接后得到特征圖；然后，在所述特征圖的通道維度上對(duì)多尺度的深層特征進(jìn)行平均，得到通道均值化的特征圖；最后，對(duì)所述通道均值化的特征圖進(jìn)行卷積層和激活函數(shù)運(yùn)算，輸出具有弱邊界屬性的結(jié)構(gòu)特征注意力圖；

9、s4，進(jìn)行全局和局部的上下文信息增強(qiáng)，具體為：

10、s41，進(jìn)行全局上下文信息增強(qiáng)：

11、在所述深層特征表達(dá)圖中提取全局上下文的特征描述符；

12、s42，進(jìn)行局部上下文信息增強(qiáng)：

13、在所述深層特征表達(dá)圖中提取局部上下文的特征描述符；

14、s43，將所述與所述融合得到具有全局和局部信息的特征描述符；

15、s5，訓(xùn)練圖像匹配網(wǎng)絡(luò)：

16、將所述和s3得到的結(jié)構(gòu)特征注意力圖送入圖像匹配網(wǎng)絡(luò)，再使用sinkhorn算法與其中的垃圾箱通道，得到匹配矩陣；

17、使用所述匹配矩陣構(gòu)建基于圖結(jié)構(gòu)的損失函數(shù)，有下式：

18、

19、其中，為所述匹配矩陣的最大行數(shù)，為所述匹配矩陣的最大列數(shù)，為矩陣的行數(shù)，為矩陣的列數(shù)；垃圾箱通道為；

20、訓(xùn)練所述圖像匹配網(wǎng)絡(luò)直到所述損失函數(shù)收斂，得到訓(xùn)練好的空地匹配網(wǎng)絡(luò)模型；

21、s6，輸出匹配結(jié)果：

22、利用s5中訓(xùn)練好的空地匹配網(wǎng)絡(luò)模型對(duì)s1中的測(cè)試數(shù)據(jù)集進(jìn)行同名點(diǎn)預(yù)測(cè)，并輸出匹配結(jié)果。

23、s1中空地圖像對(duì)中的所述航空影像和所述地面影像的旋轉(zhuǎn)角度差在20°以內(nèi)。

24、s2中不同尺度的深層特征表達(dá)圖包括。

25、s2中的深層特征表達(dá)圖具體為和；其中為高度，為寬度，為通道數(shù)，。

26、s41包括以下步驟：

27、s411，在所有所述深層特征表達(dá)圖中，通過(guò)自適應(yīng)平均池化將維度較高的深層特征表達(dá)圖切分成若干固定大小的特征圖塊；

28、s412，將每個(gè)所述特征圖塊特征切分成為若干平坦的矢量化二維補(bǔ)丁，每個(gè)所述矢量化二維補(bǔ)丁的大小為；為所述矢量化二維補(bǔ)丁的編號(hào)；

29、s413，位置編碼：

30、使用下式計(jì)算得到包含位置編碼的特征；

31、

32、其中，為所述矢量化二維補(bǔ)丁在所述特征圖塊中的位置信息，為矢量化二維補(bǔ)丁的總數(shù)量，為可訓(xùn)練的線性投影；

33、s414，獲取全局上下文的隱藏特征：

34、首先，構(gòu)建transformer運(yùn)算，有下兩式，

35、

36、

37、其中，msa表示多頭自注意，mlp表示多層感知器，ln表示層歸一化算子，表示transformer運(yùn)算的迭代次數(shù)，為第次transformer運(yùn)算結(jié)果，為第次transformer運(yùn)算結(jié)果，為transformer運(yùn)算中間量，時(shí)則表示未進(jìn)行transformer運(yùn)算；

38、然后，將s413得到的包含位置編碼的特征進(jìn)行次transformer運(yùn)算，得到全局上下文的特征描述符。

39、s413中具體為使用可訓(xùn)練的線性投影將矢量化二維補(bǔ)丁映射到潛在的128維嵌入空間中，再將其添加到嵌入中；用于在所述中保留矢量化二維補(bǔ)丁在對(duì)應(yīng)的特征圖塊中的位置信息。

40、優(yōu)選的是，s414中。

41、s42具體包括以下步驟：

42、s421，將s2得到的所有深層特征表達(dá)圖插值到相同的空間大小，然后將它們聚合得到插值特征圖；

43、s422，使用卷積層和3個(gè)擴(kuò)展卷積層對(duì)插值特征圖進(jìn)行特征感受野的提升，得到局部上下文的特征描述符。

44、優(yōu)選的是，s422中所述3個(gè)擴(kuò)展卷積層的擴(kuò)展率分別為6、12和18。

45、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

46、1.?本發(fā)明的方法能夠?qū)盏赜跋裰械亩喑叨刃畔⑦M(jìn)行有效提取，生成對(duì)應(yīng)的多尺度深層特征描述；同時(shí)本發(fā)明還能從不同空地影像的相同區(qū)域誘導(dǎo)有一致性的注意力響應(yīng)，用于構(gòu)建特征描述符。

47、2.?本發(fā)明得到的具有弱邊界屬性的結(jié)構(gòu)特征注意力圖，能夠避免在深層共性特征差異較大的區(qū)域陷入錯(cuò)誤的局部最優(yōu)匹配。

48、3.?本發(fā)明中，通過(guò)局部上下文的特征描述符能夠獲得從大到全局、小到特征點(diǎn)周圍的上下文感知，有效增強(qiáng)了描述符對(duì)弱紋理和重復(fù)紋理區(qū)域匹配的魯棒性。