一種仿射不變的寬基線圖像密集匹配方法
【專利摘要】本發(fā)明涉及一種仿射不變的寬基線圖像密集匹配方法，該方法用可靠匹配對作為參考建立新匹配對，逐步計算出待匹配圖像中點和點的對應(yīng)關(guān)系，所述方法具體包括以下步驟：1)讀取待匹配的寬基線立體圖像對：基準(zhǔn)圖像I和參考圖像I′，對這兩幅圖像進(jìn)行初始稀疏匹配；2)利用初始稀疏匹配得到擴展稀疏匹配；3)以擴展匹配結(jié)果作為種子，在它們的相鄰像素建立新匹配，采用區(qū)域增長策略逐漸傳播到整幅圖像，實現(xiàn)密集匹配；4)輸出匹配結(jié)果。與現(xiàn)有技術(shù)相比，本發(fā)明具有匹配結(jié)果更密集，精度更高等優(yōu)點。
【專利說明】一種仿射不變的寬基線圖像密集匹配方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像處理技術(shù)，尤其是涉及一種仿射不變的寬基線圖像密集匹配方法。

【背景技術(shù)】
[0002]圖像匹配是計算機視覺領(lǐng)域的基本問題，也是三維重建、圖像拼接、目標(biāo)跟蹤、運動估計等應(yīng)用的核心技術(shù)。圖像匹配的目的是在兩幅或者多幅圖像中建立點和點的對應(yīng)關(guān)系。D.Scharstein和R.Szeliski總結(jié)了傳統(tǒng)的雙目視覺密集匹配算法(D.Scharstein,R.Szelisk1.66k Taxonomy and Evaluat1n of Dense Two-Frame Stereo CorrespondenceAlgorithms.”IJCV，2002，pp.7_42.)，這些算法主要針對窄基線圖像，即輸入圖像對大致相同，通常只存在一個方向的微小視差(如Middlebury數(shù)據(jù)庫中的圖像)。當(dāng)圖像視角變化較大時，待匹配圖像中存在明顯的幾何形變，這給匹配帶來了困難。傳統(tǒng)的寬基線圖像匹配算法主要基于魯棒的局部圖像特征，可分為三步:首先檢測關(guān)鍵點，然后在關(guān)鍵點鄰域內(nèi)提取特征描述子，最后通過比較特征描述子的相似度建立匹配關(guān)系。T.Tuytelaars和K.Mikolajczyk 比較了具有局部不變性的檢測子(T.Tuytelaars, K.Mikolajczyk.“LocalInvariant Feature Detectors:A Survey.，，F(xiàn)oundat1ns and Trends in ComputerGraphics and Vis1n, 2008, 3 (3):pp.177-280.)，認(rèn)為 DoG 和 SURF 檢測子計算效率較高，而Harris-Affine、Hessian-Affine和MSER檢測子適用于存在明顯幾何形變的圖像，因為它們具有仿射不變性。在匹配中，SIFT特征描述子被廣泛應(yīng)用，該特征的可區(qū)分性強，并且具有尺度和旋轉(zhuǎn)不變性，能夠魯棒地表達(dá)圖像中的局部結(jié)構(gòu)。雖然基于局部不變性特征的匹配方法取得了巨大的成功，但是這類方法只能建立可靠的稀疏匹配，卻無法實現(xiàn)密集匹配，因為在圖像的低紋理區(qū)域很難提取出關(guān)鍵點，而且對于重復(fù)紋理區(qū)域，匹配存在較大的不確定性，因此無法獲得準(zhǔn)確而稠密的匹配。
[0003]Kannala J.和fcandt S.S.提出了一種基于“匹配傳播”策略的匹配方法(Kannala J., Brandt S.S..“Quas1-dense wide baseline matching using matchpropagat1n.” CVPR，2007pp.2126-2133.)。其思想是先利用局部不變性特征進(jìn)行稀疏匹配，然后以它們?yōu)閰⒖荚谙噜徬袼攸c建立新的匹配，循環(huán)往復(fù)直到遍歷整幅圖像。這類算法能夠獲得較為稠密的匹配結(jié)果，精度較高，然而有些區(qū)域依然無法找到匹配，因為這些區(qū)域的稀疏匹配對數(shù)量稀少，而且傳播在物體邊緣難以繼續(xù)。
[0004]寬基線圖像的匹配技術(shù)還很不成熟，發(fā)明一種具有仿射不變性的寬基線密集匹配方法具有十分重要的意義，有利于把圖像匹配技術(shù)更好地應(yīng)用到實際問題中去。


【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種仿射不變的寬基線圖像密集匹配方法。
[0006]本發(fā)明的目的可以通過以下技術(shù)方案來實現(xiàn):
[0007]—種仿射不變的寬基線圖像密集匹配方法，該方法用可靠匹配作為參考建立新匹配，逐步計算出待匹配圖像中點和點的對應(yīng)關(guān)系，所述方法具體包括以下步驟:
[0008]I)讀取待匹配的寬基線立體圖像對:基準(zhǔn)圖像I和參考圖像，對這兩幅圖像進(jìn)行初始稀疏匹配；
[0009]2)利用初始稀疏匹配結(jié)果得到擴展稀疏匹配結(jié)果；
[0010]3)以擴展匹配結(jié)果作為種子，在它們的相鄰像素建立新匹配，采用區(qū)域增長策略逐漸傳播到整幅圖像，實現(xiàn)密集匹配；
[0011]4)輸出匹配結(jié)果。
[0012]所述步驟I)具體包括步驟:
[0013]101)讀取待匹配的寬基線立體圖像對:基準(zhǔn)圖像I和參考圖像，分別提取兩幅圖像的仿射不變特征，構(gòu)建仿射不變的特征描述子，所述特征描述子包括Hessian-Affine關(guān)鍵點的坐標(biāo)、類SIFT特征向量和二階矩矩陣M ；
[0014]102)比較特征向量之間的歐氏距離，采用最近鄰方法進(jìn)行初始關(guān)鍵點匹配得到初始稀疏匹配結(jié)果。
[0015]所述步驟2)具體包括步驟:
[0016]201)對每一對初始稀疏匹配，計算與相關(guān)聯(lián)的仿射變換矩陣，利用仿射變換矩陣A歸一化鄰域窗口，計算歸一化窗口圖像的匹配代價，將初始稀疏匹配結(jié)果中匹配代價低于閾值T1的匹配對加入種子點集合S ；
[0017]202)對集合S中的匹配按匹配代價進(jìn)行排序，取出匹配代價最小的匹配作為種子匹配，在該匹配周圍尋找新的匹配；
[0018]203)確定新的匹配的傳播范圍，該范圍是以種子為中心的橢圓內(nèi)部，具體為:
[0019]xTCx < D
[0020]其中:傳播范圍中的點的坐標(biāo)，橢圓參數(shù)C由二階矩矩陣M求得，橢圓大小由閾值D確定；
[0021]204)對傳播范圍內(nèi)所有Hessian-Affine關(guān)鍵點進(jìn)行匹配，關(guān)鍵點匹配代價綜合考慮特征向量的相似度和關(guān)鍵點空間位置的一致性，具體為:
[0022]Cost (P1, p/ ) = spacial_err.*feature_err
[0023]其中:Cost (P1, p/ )為傳播范圍內(nèi)一對候選匹配的匹配代價，feature_err為特征向量的歐式距離，spacial_err為空間不一致性,具體為:
[0024]

【權(quán)利要求】
1.一種仿射不變的寬基線圖像密集匹配方法，其特征在于，該方法用可靠匹配作為參考建立新匹配，逐步計算出待匹配圖像中點和點的對應(yīng)關(guān)系，所述方法具體包括以下步驟: 1)讀取待匹配的寬基線立體圖像對:基準(zhǔn)圖像I和參考圖像I,，對這兩幅圖像進(jìn)行初始稀疏匹配； 2)利用初始稀疏匹配結(jié)果得到擴展稀疏匹配結(jié)果； 3)以擴展匹配結(jié)果作為種子，在它們的相鄰像素建立新匹配，采用區(qū)域增長策略逐漸傳播到整幅圖像，實現(xiàn)密集匹配； 4)輸出匹配結(jié)果。
2.根據(jù)權(quán)利要求1所述的一種仿射不變的寬基線圖像密集匹配方法，其特征在于，所述步驟I)具體包括步驟: 101)讀取待匹配的寬基線立體圖像對:基準(zhǔn)圖像I和參考圖像，分別提取兩幅圖像的仿射不變特征，構(gòu)建仿射不變的特征描述子，所述特征描述子包括Hessian-Affine關(guān)鍵點的坐標(biāo)、類SIFT特征向量和二階矩矩陣M ； 102)比較特征向量之間的歐氏距離，采用最近鄰方法進(jìn)行初始關(guān)鍵點匹配得到初始稀疏匹配結(jié)果。
3.根據(jù)權(quán)利要求1所述的一種仿射不變的寬基線圖像密集匹配方法，其特征在于，所述步驟2)具體包括步驟: 201)對每一對初始稀疏匹配，計算與之相關(guān)聯(lián)的仿射變換矩陣，利用仿射變換矩陣A歸一化鄰域窗口，計算歸一化窗口圖像的匹配代價，將初始稀疏匹配結(jié)果中匹配代價低于閾值T1的匹配對加入種子點集合S ； 202)對集合S中的匹配按匹配代價進(jìn)行排序，取出匹配代價最小的匹配作為種子匹配，在該匹配周圍尋找新的匹配； 203)確定新的匹配的傳播范圍，該范圍是以種子為中心的橢圓內(nèi)部，具體為: xTCx < D 其中:傳播范圍中的點的坐標(biāo)，橢圓參數(shù)C由二階矩矩陣M求得，橢圓大小由閾值D確定; 204)對傳播范圍內(nèi)所有Hessian-Affine關(guān)鍵點進(jìn)行匹配，關(guān)鍵點匹配代價綜合考慮特征向量的相似度和關(guān)鍵點空間位置的一致性，具體為:
Cost(P1, P1' ) = spacial_err.*feature_err 其中Kosi^ppp/ )為傳播范圍內(nèi)一對候選匹配的匹配代價，feature_err為特征向量的歐式距離，spacial_err為空間不一致性,具體為:
其中:p/為候選匹配在參考圖像中的點，
其中:P。ePo'是種子匹配，P。和Pc/分別為基準(zhǔn)圖像I和參考圖像V中的點，Atl是與種子匹配關(guān)聯(lián)的仿射變換矩陣； 205)對每一個基準(zhǔn)圖像I中傳播范圍內(nèi)的關(guān)鍵點P，在參考圖像中尋找對應(yīng)的關(guān)鍵點P’，P’為使匹配代價最小的關(guān)鍵點，如果Cost(p，p' ) < T2，則把妒加入種子點集合S，并計算與這對匹配關(guān)聯(lián)的仿射變換矩陣，閾值T2控制匹配對的數(shù)量和匹配的準(zhǔn)確性； 206)判斷S是否為空集，若不是空集，則執(zhí)行步驟202)，若為空集，則執(zhí)行步驟3)。
4.根據(jù)權(quán)利要求1所述的一種仿射不變的寬基線圖像密集匹配方法，其特征在于，所述步驟3)具體包括步驟: 301)將步驟2)中得到的所有稀疏匹配加入種子點集合； 302)計算種子點集合中所有匹配的可靠性，取出可靠性最高的匹配凡/V，提取以它為中心的圖像塊，并用仿射變換矩陣歸一化； 303)對基準(zhǔn)圖像I中每一個與Ptl相鄰的像素點P1，根據(jù)仿射變換矩陣得到它在參考圖像Γ中的中心對應(yīng)點p/ ,記p/附近的點為P1的可能對應(yīng)點，計算P1與所有對應(yīng)點的匹配代價； 304)選擇匹配代價最小的可能對應(yīng)點，判斷其對應(yīng)匹配代價是否小于閾值T，若為是，則接受為新的匹配對P1 Ο/V，加入種子點集合，同時加入密集匹配結(jié)果，若為否，則不加A ； 305)計算與新匹配對相關(guān)聯(lián)的仿射變換矩陣，并計算該新匹配的可靠性； 306)判斷種子點集合是否為空集，若為否，則執(zhí)行步驟302)，若為是，執(zhí)行步驟4)。
5.根據(jù)權(quán)利要求4所述的一種仿射不變的寬基線圖像密集匹配方法，其特征在于，所述可靠性R具體為:
R(p) = 0.5X [s(p)+s(p/ ) ] X [1-Cost (p, p')] 其中:R(P)為匹配pop.的可靠性，Cost(p，p')為匹配pep’酌匹配代價，s(p)=mean {n(p, q), q e N2 (ρ)},其中:Ν2(ρ)為與ρ距離為2以內(nèi)的像素,N2 (p')為與ρ’距離為2的像素，n (p, q)=0..299 I rp-rq | +0.587 | gp-gq | +1 bp-bq |, 其中，rp，gp，bp為像素P的顏色。
6.根據(jù)權(quán)利要求4所述的一種仿射不變的寬基線圖像密集匹配方法，其特征在于，所述步驟303)中P1為與Ptl距離為2以內(nèi)的像素點，所述可能對應(yīng)點為與p/距離為2以內(nèi)的像素點。
7.根據(jù)權(quán)利要求4所述的一種仿射不變的寬基線圖像密集匹配方法，其特征在于，所述步驟304)中，所述p/若已存在與稀疏匹配或密集匹配中，則此處灼O/V:不加入種子點集合，也不加入密集匹配結(jié)果。
8.根據(jù)權(quán)利要求1所述的一種仿射不變的寬基線圖像密集匹配方法，其特征在于，所述匹配結(jié)果包括稀疏匹配和密集匹配。
【文檔編號】G06T7/00GK104167000SQ201410421828
【公開日】2014年11月26日 申請日期:2014年8月25日 優(yōu)先權(quán)日:2014年8月25日
【發(fā)明者】石繁槐, 高健 申請人:同濟大學(xué)