專利名稱：基于仿射不變特征與單應矩陣的線匹配方法
技術領域：
本發(fā)明涉及一種遙感影像的匹配方法，特別是涉及一種基于仿射不變特征與單應矩陣的線匹配方法。
背景技術：
采用線特征作為匹配基元，在一些特定應用中具有明顯的優(yōu)勢，如在建筑物三維重建中(Habib 1998)。這是因為影像上建筑物包含大量直線段；直線段容易被檢測且多具有明確物理意義；線特征相對點特征具有更多可描述的幾何約束，更為可靠。
然而，相對點匹配，線段匹配技術上更為困難，主要原因在于(Schmid and Zisserman 1997; Baillard and Zisserman 2000) :(I)從影像上提取線段，線段大多斷裂， 且線段之間的拓撲關系已經丟失；(2)點匹配有核線幾何這樣很強的約束關系，而線匹配缺乏這樣的約束關系。
目前國際上的數字攝影測量系統(tǒng)大多是通過核線幾何約束進行同名點搜索，然而核線約束也不能提供特征點的一一對應關系。有研究人員提出利用同名像點構成三角網約束同名直線搜索范圍，該方法需要預先三角網化，效率不高。
在多視幾何中，單應矩陣表示兩個平面之間的可逆齊次變換，已廣泛應用于視覺測量、攝像機標定、三維重建、圖像拼接等領域，并在其中扮演了極其重要的角色。在計算機視覺領域，理論上單應矩陣只能應用于兩個平面之間的特征傳遞，但在攝影測量與遙感領域，對于航空影像或衛(wèi)星影像而言，由于地形的起伏或者地物的高差相對于航高非常小，單應矩陣也是適用的(Schmid and Zisserman 1997)。發(fā)明內容
本發(fā)明解決的技術問題是提出一種可以提高線段匹配準確率的基于仿射不變特征與單應矩陣的線匹配方法，實現(xiàn)遙感影像對的線段自動匹配。
為了解決上述技術問題，本發(fā)明提出的技術方案是一種基于仿射不變特征與單應矩陣的線匹配方法，包括以下步驟
步驟I、獲取遙感影像對間的最優(yōu)單應矩陣——基于仿射不變特征匹配的RANSAC 迭代算法，獲取遙感影像對間的最優(yōu)單應矩陣；
步驟2、傳遞遙感影像對之間的線段——分別提取遙感影像對中的線段獲得線段圖，并以步驟I得到的最優(yōu)單應矩陣為約束，以其中一個線段圖為主片，另一線段圖為從片，將從片上的線段傳遞到主片上，其中主片上的原有線段為主片線段，從片傳遞到主片的線段為從片線段；
步驟3、確定主片線段對應的疑似同名線段組——遍歷所有主片線段，根據主、從片線段之間的方向、距離和重疊度，找到從片線段中與主片線段對應的所有疑似同名線段， 構成該主片線段的疑似同名線段組；
步驟4、確定從片線段對應的疑似同名線段組——遍歷所有從片線段，根據主、從片線段之間的方向、距離和重疊度，找到主片線段中與從片線段對應的所有疑似同名線段， 構成該從片線段的疑似同名線段組；
步驟5、剔除誤匹配——將步驟3獲得的主片線段與其疑似同名線段之間的對應關系和步驟4中從片線段與其疑似同名線段之間的對應關系進行比較，當主片線段L與從片線段L'在步驟3、步驟4中均存在對應關系，則所述的主片線段L與從片線段L '匹配成功，否則剔除主片線段L與從片線段L'的匹配關系。
本發(fā)明的創(chuàng)新點在于針對線匹配中缺乏如同點匹配中核線幾何那樣的有效幾何約束的問題，引入單應矩陣約束作為線段匹配的幾何約束，以彌補線段匹配中缺乏強有力幾何約束的情況，并提出了一種基于單應矩陣約束的線段自動匹配方法，通過單應矩陣的約束實現(xiàn)了影像間線段的傳遞與套合，降低了同名線段搜索難度，提高了匹配準確率；并在初步匹配完成后，反向搜索同名線段，從而能夠剔除誤匹配，進一步提高了匹配準確率。
本發(fā)明以單應矩陣為約束進行線段匹配，那么準確的單應矩陣是后續(xù)處理的關鍵。一對遙感影像間要獲得準確的單應矩陣，需要確保在匹配過程中沒有錯誤匹配，并盡可能的保留正確匹配。利用本專利發(fā)明人提出的ED-MSER算法(Cheng et al. (2008), robust affine invariant feature extraction for image matching, IEEE Geoscience and Remote Sensing Letters, 5 (2)),對遙感影像進行仿射不變特征提取,進而特征匹配,對于視角變化不大、紋理良好、重疊大的影像可以取得相當好的效果，匹配成功率很高。然而，當面臨視點角度變化大、重疊度小、紋理困難影像時，匹配成功率依然不夠理想，一些誤匹配依然存在。因此遙感影像間單應矩陣的估計是本發(fā)明中線段匹配的關鍵，本發(fā)明在步驟I 中提出了一種基于仿射不變特征匹配的RANSAC迭代算法，實現(xiàn)了單應矩陣的準確、可靠獲取，具體方法如下
I、使用MSER作為仿射不變特征提取算子、SIFT作為特征描述算子，進行兩幅影像的特征提取，生成特征向量；
II、對兩副影像的特征向量之間做距離運算，獲得匹配的SIFT特征向量對；
III、使用RANSAC方法對匹配的SIFT特征向量對進行處理，RANSAC方法的輸入參數為距離閾值、輸入的幾何模型為參數未知的單應矩陣，處理后獲得局內SIFT特征向量對及單應矩陣的具體參數，首次執(zhí)行本步驟時RANSAC方法的距離閾值取值范圍為(0，I]；
IV、根據估計出的單應矩陣對遙感影像對進行匹配，計算匹配準確率，所述匹配準確率為正確匹配對數目與匹配對總數的比；
V、逐步增大RANSAC方法的距離閾值，并重復第3)步至第4步直到匹配準確率從 100%開始下降，匹配準確率為100%的最大距離閾值對應的單應矩陣就是最優(yōu)單應矩陣。
其中，在步驟II中，匹配SIFT特征點時，當最小特征向量距離與次最小特征向量距離的比值大于0. 6時，特征向量距離最小的那一對SIFT特征點作為匹配的SIFT特征點對。
在步驟IV步中，如果遙感影像對的同名特征區(qū)域的重疊度大于50%，則認為兩者一一對應，即此匹配為正確匹配。
上述基于仿射不變特征匹配的RANSAC迭代算法的核心思想是在ED-MSER進行仿射不變特征提取的基礎上，利用RANSAC算法優(yōu)化仿射不變特征匹配，根據遙感影像的特點，以單應矩陣作為RANSAC算法的幾何約束模型，針對仿射不變特征提取技術所獲取特征通常為面域的情況，利用單應矩陣將RANSAC魯棒估計后的疑似匹配正確(inliers)的同名特征對進行套合，計算同名特征區(qū)域的重疊度并再此基礎上計算特征組的匹配正確率，以匹配正確率為迭代處理效果的定量評價指標，自動調整距離閾值，指導RANSAC優(yōu)化處理的迭代過程，得到最優(yōu)的單應矩陣。
對遙感影像提取的線段常常會呈呈斷裂狀，為了提高線段匹配的準確性、減少線段匹配的干擾，可以在完成步驟2傳遞遙感影像對間線段之后，對這些斷裂的線段進行預處理。因此本發(fā)明還提供了一種對遙感影像線段預處理的方法，具體如下
當兩條線段角度小于4°、垂直距離不大于5個像素，且兩條線段有重疊部分線段長度差異超過50%時，保留較長的線段，去除較短的線段；否則做線段融合，取距離兩線段相等的直線，并以兩線段最遠兩端點作為融合后的線段端點。
本發(fā)明在步驟3中提供了一種生成主片線段候選同名線段集的方法，當某一從片線段同時滿足以下三個條件時，該從片線段為相應主片線段的疑似同名線段
a、與主片線段夾角小于5° ；
b、與主片線段重疊長度占主片線段長度的20%以上；
C、到主片線段的垂直距離不大于10個像素。
本發(fā)明還提供了對主片線段對應的疑似同名線段組進行優(yōu)化的方法，包括利用線段重疊部分灰度的相似性和利用線段左右灰度信號比。
其中，利用線段重疊部分灰度的相似性縮小疑似同名線段組范圍的具體方法如下
沿垂直主片線段方向左右對稱外擴，形成外擴矩形，計算所述外擴矩形覆蓋區(qū)域的遙感影像灰度平均值M ;在該主片線段對應的疑似同名線段組中，以同樣的方法計算每條疑似同名線段外擴矩形覆蓋區(qū)域的遙感影像的灰度平均值M'大于2或小于 1/2時，將該疑似同名線段從疑似同名線段組中剔除，否則保留該疑似同名線段。
其中，利用線段左右灰度信號比縮小疑似同名線段組范圍的具體方法如下
沿垂直主片線段方向左右對稱外擴，形成兩個矩形，根據兩個矩形覆蓋區(qū)域的遙感影像的灰度，記錄下灰度值高的一側；在該主片線段對應的疑似同名線段組中，以同樣的方法計算每條疑似同名線段的兩個矩形覆蓋區(qū)域的遙感影像左右灰度，如果疑似同名線段灰度值高的一側與主片線段灰度值高的一側位置不同，將該疑似同名線段從疑似同名線段組中剔除，否則保留該疑似同名線段。
本發(fā)明在步驟3中還可以利用Kmeans聚類算法對主片線段對應的疑似同名線段組進一步優(yōu)化，具體方法為
計算主片線段到其疑似同名線段的垂直距離，根據所述垂直距離利用Kmeans聚類算法對疑似同名線段分成兩類，垂直距離較大的疑似同名線段自動歸為一類，垂直距離值較小的疑似同名線段自動歸為另一類，剔除垂直距離大的一類中所有的疑似同名線段。
需要說明的是在步驟3中提供的優(yōu)化主片線段對應的疑似同名線段組的方法， 均可以相應地應用到步驟4中，用來優(yōu)化從片線段對應的疑似同名線段組。對疑似同名線段組進行優(yōu)化，可減少計算量，提高準確率。
本發(fā)明的有益效果是(I)本發(fā)明針對線匹配中缺乏如同點匹配中核線幾何那樣的有效幾何約束的問題，引入單應矩陣約束作為線段匹配的幾何約束，彌補了線段匹配中缺乏強有力幾何約束的情況；(2)本發(fā)明提使用基于單應矩陣約束的線段自動匹配方法，通過單應矩陣的約束實現(xiàn)了影像間線段的傳遞與套合，可以實現(xiàn)線段跨影像的準確傳遞，降低了同名線段搜索難度，提高了匹配準確率；(3)本發(fā)明在初步匹配完成后，通過反向搜索同名線段，能夠剔除誤匹配，從而進一步提高了匹配準確率。


下面結合附圖對本發(fā)明的基于仿射不變特征與單應矩陣 的線匹配方法作進一步說明。圖I是本發(fā)明實施例的遙感影像圖之一。圖2是本發(fā)明實施例的遙感影像圖之二。圖3是圖I所提取的線段圖。圖4是圖2所提取的線段圖。圖5是圖4的線段傳遞到圖3的結果圖。圖6是圖3的線段匹配結果圖。圖7是圖4的線段匹配結果圖。
具體實施例方式實施例本實施例的實驗數據如圖I和圖2所示，空間分辨率較高，覆蓋范圍相對大，涵蓋了建筑、道路、植被、裸地等地物類型。本實施例的基于仿射不變特征與單應矩陣的線匹配方法，包括以下步驟步驟I、獲取遙感影像對間的最優(yōu)單應矩陣。本實施例使用基于仿射不變特征匹配的RANSAC迭代算法獲取遙感影像對間的最優(yōu)單應矩陣，具體算法如下I、使用MSER作為仿射不變特征提取算子、SIFT作為特征描述算子，進行兩幅影像的特征提取，生成特征向量；II、對兩副影像的特征向量之間做距離運算，獲得匹配的SIFT特征向量對；匹配SIFT特征點時，當最小特征向量距離與次最小特征向量距離的比值大于O. 6時，特征向量距離最小的那一對SIFT特征點作為匹配的SIFT特征點對；III、使用RANSAC方法對匹配的SIFT特征向量對進行處理，RANSAC方法的輸入參數為距離閾值、輸入的幾何模型為參數未知的單應矩陣，處理后獲得局內SIFT特征向量對及單應矩陣的具體參數，首次執(zhí)行本步驟時RANSAC方法的距離閾值為1E-6 ；IV、根據估計出的單應矩陣對遙感影像對進行匹配，如果遙感影像對的同名特征區(qū)域的重疊度大于50%，則認為兩者一一對應，即此匹配為正確匹配；計算匹配準確率，其中匹配準確率為正確匹配對數目與匹配對總數的比；
V、根據公式
權利要求
1.一種基于仿射不變特征與單應矩陣的線匹配方法，包括以下步驟 步驟I、獲取遙感影像對間的最優(yōu)單應矩陣——基于仿射不變特征匹配的RANSAC迭代算法，獲取遙感影像對間的最優(yōu)單應矩陣； 步驟2、傳遞遙感影像對之間的線段——分別提取遙感影像對中的線段獲得線段圖，并以步驟I得到的最優(yōu)單應矩陣為約束，以其中一個線段圖為主片，另一線段圖為從片，將從片上的線段傳遞到主片上，其中主片上的原有線段為主片線段，從片傳遞到主片的線段為從片線段； 步驟3、確定主片線段對應的疑似同名線段組一遍歷所有主片線段，根據主、從片線段之間的方向、距離和重疊度，找到從片線段中與主片線段對應的所有疑似同名線段，構成該主片線段的疑似同名線段組； 步驟4、確定從片線段對應的疑似同名線段組——遍歷所有從片線段，根據主、從片線段之間的方向、距離和重疊度，找到主片線段中與從片線段對應的所有疑似同名線段，構成該從片線段的疑似同名線段組； 步驟5、剔除誤匹配——將步驟3獲得的主片線段與其疑似同名線段之間的對應關系和步驟4中從片線段與其疑似同名線段之間的對應關系進行比較，當主片線段L與從片線段L'在步驟3、步驟4中均存在對應關系，則所述的主片線段L與從片線段L'匹配成功，否則剔除主片線段L與從片線段L丨的匹配關系。
2.根據權利要求I所述的基于仿射不變特征與單應矩陣的線匹配方法，其特征在于，所述步驟I中基于仿射不變特征匹配的RANSAC迭代算法，具體方法如下 I、使用MSER作為仿射不變特征提取算子、SIFT作為特征描述算子，進行兩幅影像的特征提取，生成特征向量； II、對兩副影像的特征向量之間做距離運算，獲得匹配的SIFT特征向量對； III、使用RANSAC方法對匹配的SIFT特征向量對進行處理，RANSAC方法的輸入參數為距離閾值、輸入的幾何模型為參數未知的單應矩陣，處理后獲得局內SIFT特征向量對及單應矩陣的具體參數，首次執(zhí)行本步驟時RANSAC方法的距離閾值取值范圍為(O，I]； IV、根據估計出的單應矩陣對遙感影像對進行匹配，計算匹配準確率，所述匹配準確率為正確匹配對數目與匹配對總數的比； V、逐步增大RANSAC方法的距離閾值，并重復第3)步至第4步直到匹配準確率從100%開始下降，匹配準確率為100%的最大距離閾值對應的單應矩陣就是最優(yōu)單應矩陣。
3.根據權利要求2所述的基于仿射不變特征與單應矩陣的線匹配方法，其特征在于在步驟IV中，如果遙感影像對的同名特征區(qū)域的重疊度大于50%，則認為兩者一一對應，SP此匹配為正確匹配。
4.根據權利要求2所述的基于仿射不變特征與單應矩陣的線匹配方法，其特征在于所述步驟II中，匹配SIFT特征點時，當最小特征向量距離與次最小特征向量距離的比值大于O. 6時,特征向量距離最小的那一對特征向量作為匹配的特征向量對。
5.根據權利要求I所述的基于仿射不變特征與單應矩陣的線匹配方法，其特征在于，在步驟2完成以后、步驟3執(zhí)行之前對遙感影像的線段進行預處理，具體方法如下 當兩條線段角度小于4°、垂直距離不大于5個像素，且兩條線段有重疊部分線段長度差異超過50%時，保留較長的線段，去除較短的線段；否則做線段融合，取距離兩線段相等的直線，并以兩線段最遠兩端點作為融合后的線段端點。
6.根據權利要求I所述的基于仿射不變特征與單應矩陣的線匹配方法，其特征在于，在步驟3中，當某一從片線段同時滿足以下三個條件時，該從片線段為相應主片線段的疑似同名線段 a、與主片線段夾角小于5°； b、與主片線段重疊長度占主片線段長度的20%以上； C、到主片線段的垂直距離不大于10個像素。
7.根據權利要求6所述的基于仿射不變特征與單應矩陣的線匹配方法，其特征在于利用線段重疊部分灰度的相似性縮小主片線段對應的疑似同名線段組的范圍，具體方法如下 沿垂直主片線段方向左右對稱外擴，形成外擴矩形，計算所述外擴矩形覆蓋區(qū)域的遙 感影像灰度平均值M ;在該主片線段對應的疑似同名線段組中，以同樣的方法計算每條疑似同名線段外擴矩形覆蓋區(qū)域的遙感影像的灰度平均值M'大于2或小于1/2時，將該疑似同名線段從疑似同名線段組中剔除，否則保留該疑似同名線段。
8.根據權利要求6所述的基于仿射不變特征與單應矩陣的線匹配方法，其特征在于，利用線段左右灰度信號比縮小主片線段對應的疑似同名線段組的范圍，具體方法如下 沿垂直主片線段方向左右對稱外擴，形成兩個矩形，根據兩個矩形覆蓋區(qū)域的遙感影像的灰度，記錄下灰度值高的一側；在該主片線段對應的疑似同名線段組中，以同樣的方法計算每條疑似同名線段的兩個矩形覆蓋區(qū)域的遙感影像左右灰度，如果疑似同名線段灰度值高的一側與主片線段灰度值高的一側位置不同，將該疑似同名線段從疑似同名線段組中剔除，否則保留該疑似同名線段。
9.根據權利要求6、7或8所述的基于仿射不變特征與單應矩陣的線匹配方法，其特征在于，在步驟3中，利用Kmeans聚類算法對主片線段對應的疑似同名線段組進一步優(yōu)化，具體方法為 計算主片線段到其疑似同名線段的垂直距離，根據所述垂直距離利用Kmeans聚類算法對疑似同名線段分成兩類，垂直距離較大的疑似同名線段自動歸為一類，垂直距離值較小的疑似同名線段自動歸為另一類，剔除垂直距離大的一類中所有的疑似同名線段。
全文摘要
本發(fā)明涉及一種基于仿射不變特征與單應矩陣的線匹配方法。該方法針對線匹配中缺乏如同點匹配中核線幾何那樣的有效幾何約束的問題，引入單應矩陣約束作為線段匹配的幾何約束，以彌補線段匹配中缺乏強有力幾何約束的情況，并提出了一種基于單應矩陣約束的線段自動匹配方法，通過單應矩陣的約束實現(xiàn)了影像間線段的傳遞與套合，降低了同名線段搜索難度，提高了匹配準確率；并在初步匹配完成后，反向搜索同名線段，從而能夠剔除誤匹配，進一步提高了匹配準確率。該方法實現(xiàn)遙感影像對的線段自動匹配。
文檔編號G06T7/00GK102930525SQ20121034256
公開日2013年2月13日 申請日期2012年9月14日 優(yōu)先權日2012年9月14日
發(fā)明者龔健雅, 程亮, 李滿春, 胡靈, 劉永學, 陳振杰, 王結臣 申請人:武漢大學, 南京大學