一種基于形狀交互矩陣的圖像錯(cuò)誤匹配檢驗(yàn)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像匹配與圖像檢索領(lǐng)域，尤其涉及一種基于形狀交互矩陣（Shape Interaction Matrix，簡(jiǎn)稱SIM)的圖像錯(cuò)誤匹配檢驗(yàn)方法，該方法具有仿射變換不變性，用 于檢測(cè)一對(duì)圖像之間局部特征點(diǎn)的錯(cuò)誤匹配對(duì)。
【背景技術(shù)】
[0002] 從給定的兩個(gè)匹配點(diǎn)集中去除錯(cuò)誤匹配對(duì)是計(jì)算機(jī)視覺(jué)、模式識(shí)別、多媒體領(lǐng)域 中的一項(xiàng)基本問(wèn)題，其應(yīng)用廣泛，例如從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)、圖像配準(zhǔn)、立體匹配、跟蹤、目標(biāo)識(shí) 別以及部分重復(fù)圖像檢索等。在各種應(yīng)用場(chǎng)景中，首先要做的就是得到點(diǎn)集之間的兩兩對(duì) 應(yīng)匹配關(guān)系。這里的點(diǎn)集既可以是由二維圖像中提取到的局部特征點(diǎn)，也可以是三維點(diǎn)云 數(shù)據(jù)中的提取到的三維關(guān)鍵點(diǎn)。候選點(diǎn)之間的匹配關(guān)系，通常需要通過(guò)兩個(gè)假設(shè)條件作為 約束來(lái)確定，一個(gè)是相似性假設(shè)，另一個(gè)則是空間一致性假設(shè)。相似性假設(shè)要求匹配對(duì)中的 兩個(gè)點(diǎn)的描述子彼此之間應(yīng)該盡量相似，而空間一致性假設(shè)則要求所有正確匹配對(duì)之間應(yīng) 該滿足一個(gè)統(tǒng)一的幾何變換關(guān)系。通常我們用相似性假設(shè)作為一個(gè)充分條件來(lái)選取候選匹 配對(duì)的范圍，而用空間一致性假設(shè)作為一個(gè)必要條件來(lái)過(guò)濾候選匹配對(duì)中的錯(cuò)誤匹配。造 成錯(cuò)誤匹配對(duì)的原因，主要包括以下三點(diǎn)：
[0003] (1)兩個(gè)點(diǎn)集間通常存在未知的幾何變換，這些變換可能包括平移變換、旋轉(zhuǎn)變 換、尺度變換、錯(cuò)切變換及投影變換等。
[0004] (2)由于受到如二維圖像或三維場(chǎng)景中物體色調(diào)、光照、材質(zhì)、紋理等客觀條件的 影響，相應(yīng)的二維或三維特征檢測(cè)器檢測(cè)到的特征，其位置通常存在精度偏差。
[0005] (3)二維圖像或三維場(chǎng)景中的內(nèi)容可能存在相互遮擋，由此引入了許多本身沒(méi)有 匹配點(diǎn)的干擾特征點(diǎn)。
[0006] 由于錯(cuò)誤匹配對(duì)的存在，匹配精度有所下降，這成為了制約其諸多應(yīng)用場(chǎng)景性能 的一個(gè)瓶頸。去除錯(cuò)誤匹配方法因此需要克服由上述原因帶來(lái)的強(qiáng)噪聲、大量離群點(diǎn)以及 強(qiáng)幾何變換以適應(yīng)復(fù)雜的應(yīng)用場(chǎng)景。為了解決這一問(wèn)題，人們提出了很多使用空間一致性 假設(shè)來(lái)檢測(cè)和去除錯(cuò)誤匹配的方法，我們將這些方法歸為以下兩類:迭代逼近方法與非迭 代過(guò)濾方法。
[0007] 第一類方法希望通過(guò)交替迭代的方式來(lái)同時(shí)估計(jì)幾何變換模型與正確匹配對(duì)的 集合。由于估計(jì)得到的幾何變換模型受離群點(diǎn)所占比例的影響很大，這類方法所面臨的主 要困難時(shí)如何在離群點(diǎn)比例較高的情況下魯棒地去除錯(cuò)誤匹配點(diǎn)。經(jīng)典的隨機(jī)抽樣一致性 方法(RANSAC，參見(jiàn)引用文獻(xiàn)[1])以及其變種方法最大似然估計(jì)抽樣一致性方法(MLESAC， 參見(jiàn)引用文獻(xiàn)[2])可以在離群點(diǎn)比例相對(duì)不高的情況下估計(jì)仿射或投影變換模型并去除 錯(cuò)誤匹配。一致性函數(shù)鑒別法（ICF，參見(jiàn)引用文獻(xiàn)[3])以及基于矢量場(chǎng)一致性的三種方法 VFC、Fast-VFC、Spars e-VFC(參見(jiàn)引用文獻(xiàn)[4])甚至可以在離群點(diǎn)比例較高的情況下估計(jì) 非剛體變換模型并去除錯(cuò)誤匹配。這類方法通過(guò)迭代的方式能夠估計(jì)較為復(fù)雜的幾何變換 模型，卻也因此會(huì)在計(jì)算上較為耗時(shí)。
[0008]第二類方法則考慮用一種非迭代的方式，直接利用幾何先驗(yàn)知識(shí)來(lái)過(guò)濾錯(cuò)誤匹配 點(diǎn)，而無(wú)需精確估計(jì)幾何變換模型。該類方法由于耗時(shí)較少，一直以來(lái)廣泛運(yùn)用于大規(guī)模圖 像檢索領(lǐng)域來(lái)提升檢索精度，該領(lǐng)域的研究者也為此提出了很多有效的方法。其中，基于相 似幾何變換先驗(yàn)假設(shè)的方法有:弱幾何一致性法(WGC，參見(jiàn)引用文獻(xiàn)[5])、強(qiáng)化弱幾何一致 性法(EWGC，參見(jiàn)引用文獻(xiàn)[6])、強(qiáng)幾何一致性法(SGC，參見(jiàn)引用文獻(xiàn)[7])以及成對(duì)幾何匹 配法(PGM，參見(jiàn)引用文獻(xiàn)[8])。上述方法均使用了特征點(diǎn)的主方向及主尺度信息來(lái)有效地 過(guò)濾錯(cuò)誤匹配，但都是從孤立的特征匹配對(duì)的角度出發(fā)設(shè)計(jì)的過(guò)濾方法。還有一些基于較 強(qiáng)相似變換模型的方法包括:幾何編碼法(GC，參見(jiàn)引用文獻(xiàn)[9])、低秩全局幾何一致性法 (LRGGC，參見(jiàn)引用文獻(xiàn)[10])以及一范數(shù)全局幾何一致性法(L1GGC，參見(jiàn)引用文獻(xiàn)[11])可 有效利用孤立特征點(diǎn)之間的全局空間信息，利用全局幾何信息統(tǒng)一地快速地過(guò)濾錯(cuò)誤匹 配，但是，當(dāng)點(diǎn)集之間的幾何變換(仿射變換或投影變換)較復(fù)雜時(shí)，往往達(dá)不到良好效果。 [0009]引用文獻(xiàn)：
[0010] [1]Μ·Α·Fischler and R.C·Bolles，"Random sample consensus : a paradigm for model fitting with applications to image analysis and automated cartography，'，Communications of the ACM, vol. 24,no. 6 ,pp. 381-395,1981.
[0011] [2]P.H.Torr and A·Zisserman，"MLESAC:A new robust estimator with application to estimating image geometry，''Computer Vision and Image Understanding,vo1.78,no.1,pp.138-156,2000.
[0012] [3]X.Li and Z.Hu，"Rejecting mismatches by correspondence function，'， International Journal of Computer Vision,vol,89,no.1,pp.1-17,2010.
[0013] [4]J.Ma，J.Zhao,J.Tian，A.Yuille，and Z.Tu，"Robust point matching via vector field consensus，'，IEEE Transactions on Image Processing,vol.23, no .4, pp.1706-1721,2014.
[0014] [5]Herve Jegou,Matthijs Douze,and Cordelia Schmid，"Hamming embedding and weak geometric consistency for large scale image search，'，in European Conference on Computer Vision,2008,vol.5302,pp.304-317.
[0015] [6]Wan_Lei Zhao，Xiao Wu，and Chong-Wah Ngo，"On the annotation of web videos by efficient near-duplicate search，'，IEEE Transactions on Multimedia, vol·12，no·5，pp·448-461，2010·
[0016] [7]Junqiang ffang,Jinhui Tang,and Yu-Gang Jiang，"Strong geometrical consistency in large scale partialduplicate image search，'，in Proceedings of the 21st ACM International Conference on Multimedia，2013，pp.633-636.
[0017] [8]X·Li，M·Larson，and A·Hanjalic，"Pairwise geometric matching for large-scale object retrieval，'，in Computer Vision and Pattern Recognition, 2015.
[0018] [9]ffengang Zhou，Houqiang Li，Yijuan Lu,and Qi Tian，"SIFT match verification by geometric coding for large scale partial-duplicate web image search，'，ACM Trans.on Multimedia Comput.Commun.Appl.,vol.9,ηο.1,pp.4:1-4:18, 2013.
[0019] [ 10 ] L · Yang，Y · Lin，Z · Lin，and H.Zha，"Low rank global geometric consistency for partial-duplicate image search，'，in International Conference on Pattern Recognition，2014，pp.3939-3944.
[0020] [11]Y·Lin，C·Xu，L·Yang，Z·Lin，and H·Zha，"11-norm global geometric consistency for part