專利名稱：一種基于特征檢測(cè)的圖像匹配方法
技術(shù)領(lǐng)域：
本發(fā)明屬于模式識(shí)別領(lǐng)域，涉及圖像處理和計(jì)算機(jī)視覺等技術(shù)，特別是涉及特征
檢測(cè)，圖像匹配，圖像拼接，圖像檢索，三維重建和增強(qiáng)現(xiàn)實(shí)。
背景技術(shù)：
圖像匹配是計(jì)算機(jī)視覺中的基本問題，精確高效的圖像匹配算法為其他問題的解 決提供堅(jiān)實(shí)的底層基礎(chǔ)。隨著技術(shù)的發(fā)展以及硬件設(shè)備價(jià)格的逐漸降低，照相機(jī)和攝像機(jī) 已經(jīng)成為人們?nèi)粘Ｉ钪袕V泛應(yīng)用的器材之一。人們對(duì)場(chǎng)景感知的要求從原來的二維感知 轉(zhuǎn)化為三維感知，即感知真實(shí)世界中物體的三維形態(tài)和場(chǎng)景的三維姿態(tài)。由于真實(shí)世界中 物體的變化多樣，對(duì)實(shí)際物體直接進(jìn)行三維建?；?qū)?chǎng)景進(jìn)行空間標(biāo)定消耗了大量的人力 物力資源。通過圖像對(duì)三維物體建模或?qū)θS場(chǎng)景進(jìn)行重建是近年來備受關(guān)注的前沿研究 方向之一，它從照相機(jī)或攝像機(jī)捕捉的圖像中檢測(cè)、識(shí)別、跟蹤物體和場(chǎng)景并對(duì)其行為三維 空間中的姿態(tài)進(jìn)行估計(jì)。盡管目前已有的計(jì)算機(jī)三維重建技術(shù)已經(jīng)被廣泛的使用，但其中 幾個(gè)重要的問題仍然值得探討。這些問題是準(zhǔn)確性，穩(wěn)定性和高效性。因此，作為計(jì)算機(jī)視 覺中的底層問題，圖像匹配在這三個(gè)問題上的研究尤為重要。針對(duì)這三個(gè)問題，開發(fā)出一套 準(zhǔn)確性高，穩(wěn)定性好，能夠?qū)崟r(shí)進(jìn)行圖像匹配的算法，對(duì)實(shí)際的應(yīng)用做好鋪墊。
圖像中存在具有良好定位能力和區(qū)分能力的點(diǎn)。人們可以輕易的從圖像中找出具 有代表性的這些點(diǎn)，并和另一幅圖像進(jìn)行匹配。但是，對(duì)計(jì)算機(jī)來說，圖像中特征點(diǎn)的檢測(cè) 和匹配是一個(gè)十分困難的問題。 這些困難的問題一般可以歸結(jié)為以下幾個(gè)方面光照的變換，視角的表換，攝像機(jī) 引起的模糊，物體姿態(tài)引起的變化等等。近年來，針對(duì)視角變化的方法被人們廣發(fā)的關(guān)注。 已有的圖像特征檢測(cè)和匹配方法大都是針對(duì)尺度空間中的穩(wěn)定特征點(diǎn)進(jìn)行的。

發(fā)明內(nèi)容
現(xiàn)有的基于圖像特征不變性的方法在圖像差異較小的情況下使用。對(duì)于差異較 大，尤其是圖像中物體姿態(tài)的變化較大時(shí)的圖像匹配，精度和穩(wěn)定性較低。為了解決現(xiàn)有的 技術(shù)問題，本發(fā)明的目的是提供一種基于圖像姿態(tài)估計(jì)的特征提取和圖像匹配算法。
為了實(shí)現(xiàn)上述目的，本發(fā)明提供的基于特征的提取和匹配算法，包括姿態(tài)估計(jì)和 變換，光照估計(jì)和變換和圖像匹配三個(gè)過程，該方法包括步驟如下 步驟Sl :利用基準(zhǔn)圖像通過基于Harris函數(shù)的特征檢測(cè)算法(HLSIFD)和最近鄰
匹配算法對(duì)測(cè)試圖像進(jìn)行匹配，獲得測(cè)試圖像相對(duì)于基準(zhǔn)圖像的姿態(tài)估計(jì)； 步驟S2 :利用基準(zhǔn)圖像對(duì)已姿態(tài)估計(jì)的測(cè)試圖像中的目標(biāo)的光照進(jìn)行估計(jì)，通過
計(jì)算測(cè)試圖像中目標(biāo)包含于基準(zhǔn)圖像部分的光照變化，將此光照變化函數(shù)與已估計(jì)姿態(tài)的
測(cè)試圖像進(jìn)行光照變換和修正，得到光照修正的測(cè)試圖像； 步驟S3 :將光照修正的測(cè)試圖像和基準(zhǔn)圖像進(jìn)行基于特征點(diǎn)檢測(cè)與描述，得到光 照修正后的測(cè)試圖像特征點(diǎn)匹配，結(jié)合測(cè)試圖像的姿態(tài)估計(jì)，得到光照修正后測(cè)試圖像的姿態(tài)匹配。
其中，姿態(tài)估計(jì)具體步驟如下 步驟Sll :通過基于Harris函數(shù)的的特征檢測(cè)算法對(duì)基準(zhǔn)圖像與測(cè)試圖像分別提 取尺度不變的特征點(diǎn)； 步驟S12 :對(duì)基準(zhǔn)圖像與測(cè)試圖像上所有的特征點(diǎn)進(jìn)行尺度不變的特征描述算法 (SIFT)特征描述以每個(gè)特征點(diǎn)為中心截取固定大小的正方形窗口，對(duì)在窗口內(nèi)的圖像， 計(jì)算每個(gè)像素相關(guān)的梯度、梯度方向及其梯度的權(quán)值，得到每個(gè)的特征點(diǎn)描述，用多維的直
方圖來統(tǒng)計(jì)特征點(diǎn)的描述，最終形成每個(gè)特征點(diǎn)的多維特征向量； 步驟S13 :用最近鄰方法將基準(zhǔn)圖像與測(cè)試圖像中所提取出的特征點(diǎn)的特征向量 進(jìn)行匹配； 步驟S14 :用隨機(jī)抽樣一致性算法(RANSAC)得到所有匹配點(diǎn)對(duì)中的一致集； 步驟S15 :通過一致集求得基準(zhǔn)圖像與測(cè)試圖像的投影映射矩陣& ; 步驟S16 :通過投影映射矩陣Hp對(duì)測(cè)試圖像進(jìn)行投影變換，得到測(cè)試圖像的粗略
姿態(tài)估計(jì)。
其中，光照估計(jì)具體步驟如下 步驟S21 :求基準(zhǔn)圖像與測(cè)試圖像的灰度直方圖； 步驟S22 :利用直方圖規(guī)定化方法，計(jì)算基準(zhǔn)圖像與測(cè)試圖像之間的直方圖變換 函數(shù)L ; 步驟S23 :根據(jù)基準(zhǔn)圖像與測(cè)試圖像直方圖的變換函數(shù)L，對(duì)測(cè)試圖像進(jìn)行直方圖
規(guī)定化，從而對(duì)姿態(tài)修正后的圖像進(jìn)行光照修正。
其中，光照修正后的測(cè)試圖像的姿態(tài)匹配具體步驟如下 步驟S31 :求取變換后的光照修正后的測(cè)試圖像的尺度不變的特征點(diǎn)； 步驟S32 :求取特征點(diǎn)描述子的特征向量； 步驟S33 :將這些特征向量和基準(zhǔn)圖像的所有特征點(diǎn)進(jìn)行最近鄰匹配；
步驟S34 :通過隨機(jī)抽樣一致性算法(RANSAC)尋找所有匹配對(duì)中的一致集；
步驟S35 :通過一致集求得變換后的光照修正后的測(cè)試圖像和基準(zhǔn)圖像之間的投 影映射關(guān)系H ; 步驟S36 :求光照修正后的測(cè)試圖像與基準(zhǔn)圖像之間的投影映射關(guān)系H :H = &&， 式中投影映射矩陣Hp投影映射矩陣H" 所述的基于特征的圖像匹配方法，還包括，在姿態(tài)估計(jì)之后加入對(duì)圖像進(jìn)行光照 的估計(jì)。 本發(fā)明的方法，匹配圖像在姿態(tài)和光照變換均較大的情況下仍然能保持較高的精 度和穩(wěn)定性。圖像匹配是計(jì)算機(jī)視覺問題中的底層問題，一般作為其他方法的底層引擎，支 撐上層算法，為上層算法提供高質(zhì)量的匹配結(jié)果。本發(fā)明與其他的基于不變特征提取的方 法不同，本發(fā)明不直接使用不變的特征點(diǎn)作為匹配依據(jù)，而是首先估計(jì)圖像間的姿態(tài)和光 照關(guān)系，從而對(duì)其中一幅圖像進(jìn)行修正，最終在修正的圖像上做匹配，本發(fā)明的方法是易于 實(shí)現(xiàn)和應(yīng)用，主要可以應(yīng)用于如下幾個(gè)方面 (1)基于特征跟蹤的監(jiān)控跟蹤系統(tǒng)，幫助系統(tǒng)對(duì)場(chǎng)景中的目標(biāo)進(jìn)行跟蹤。獲得場(chǎng)景 中感興趣目標(biāo)的行為語義，從而對(duì)場(chǎng)景中的事件進(jìn)行理解。
(2)基于圖像特征點(diǎn)匹配的三維物體建模系統(tǒng)，用于對(duì)復(fù)雜的三維物體進(jìn)行形態(tài) 分析和三維重建，對(duì)虛擬現(xiàn)實(shí)有重大的作用 (3)基于特征跟蹤的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，用于通過對(duì)圖像中靜態(tài)特征點(diǎn)的跟蹤獲得場(chǎng) 景的三維空間信息，從而通過虛擬的物體在增強(qiáng)場(chǎng)景的內(nèi)容。


圖1示出基于圖像姿態(tài)和光照的圖像匹配算法的流程框圖，包括姿態(tài)估計(jì)和修
正，光照估計(jì)和修正，圖像匹配三個(gè)部分。
圖2示出姿態(tài)估計(jì)結(jié)果和修正結(jié)果示意圖。 圖3示出光照估計(jì)結(jié)果和修正結(jié)果示意圖。 圖4示出圖像匹配結(jié)果實(shí)例。
具體實(shí)施例方式
下面結(jié)合附圖詳細(xì)說明本發(fā)明技術(shù)方法中所涉及的各個(gè)細(xì)節(jié)問題。應(yīng)指出的是，
所描述的實(shí)施例僅旨在便于對(duì)本發(fā)明的理解，而對(duì)其不起任何限定作用。 基于圖像姿態(tài)和光照估計(jì)的圖像匹配算法提高了圖像匹配的精確度，穩(wěn)定性和實(shí)
時(shí)性。利用對(duì)姿態(tài)和光照的估計(jì)，本發(fā)明實(shí)現(xiàn)了一個(gè)圖像匹配系統(tǒng)，如圖l示出基于圖像姿
態(tài)和光照的圖像匹配算法流程圖，本方法分為姿態(tài)估計(jì)和修正，光照估計(jì)和修正，圖像匹配
三個(gè)部分 所述的姿態(tài)估計(jì)和修正部分包括步驟對(duì)基準(zhǔn)圖像和第一幅測(cè)試圖像分別提取 尺度不變的特征點(diǎn)；對(duì)所有的特征點(diǎn)進(jìn)行描述，求取特征向量；用最近鄰方法將基準(zhǔn)圖 像和第一幅測(cè)試圖像中所提取出的特征點(diǎn)的特征向量進(jìn)行匹配；用隨機(jī)抽樣一致性算法 (RANSAC)得到所有匹配點(diǎn)對(duì)中的一致集；通過一致集求得基準(zhǔn)圖像和第一幅測(cè)試圖像的 投影映射矩陣關(guān)系；通過投影映射矩陣關(guān)系，對(duì)其中第二幅測(cè)試圖像進(jìn)行姿態(tài)修正。
所述的光照估計(jì)和修正部分包括步驟求第一幅匹配測(cè)試圖像包含于基準(zhǔn)圖像中 的灰度直方圖；利用直方圖規(guī)定化方法，以包含于基準(zhǔn)圖像中的灰度直方圖為標(biāo)準(zhǔn)，計(jì)算基 準(zhǔn)圖像與第二幅測(cè)試圖像之間的直方圖變換函數(shù)L ;根據(jù)基準(zhǔn)圖像與第二幅測(cè)試圖像直方 圖的變換函數(shù)L，對(duì)第二幅測(cè)試圖像進(jìn)行直方圖規(guī)定化，從而對(duì)姿態(tài)修正后的圖像進(jìn)行光照 修正。 所述的圖像匹配部分包括步驟求取修正后的圖像的尺度不變的特征點(diǎn)；求取特 征點(diǎn)描述子的特征向量；將這些特征向量和基準(zhǔn)圖像的所有特征向量進(jìn)行最近鄰匹配；通 過隨機(jī)抽樣一致性算法(RANSAC)算法尋找所有匹配對(duì)中的一致集；通過一致集求得修正 后的匹配圖像和基準(zhǔn)圖像之間的投影映射矩陣關(guān)系H ;求得第二幅測(cè)試圖像與基準(zhǔn)圖像之 間的投影映射矩陣關(guān)系H :H = ^H"式中投影映射矩陣Hp投影映射矩陣H2。
本發(fā)明的方法需要的硬件最低配置為P4 3. 0G CPU，512M內(nèi)存的計(jì)算機(jī)。在此配 置水平的硬件上，采用0++語言編程實(shí)現(xiàn)本方法。下面對(duì)本發(fā)明的方法涉及的關(guān)鍵步驟進(jìn) 行逐一詳細(xì)說明，本發(fā)明的方法中的基本步驟相同，具體形式如下所述
首先，是進(jìn)行姿態(tài)估計(jì)和修正 圖像的姿態(tài)關(guān)系可以通過基準(zhǔn)圖像與測(cè)試圖像之間的特征點(diǎn)的空間位置關(guān)系獲得。所謂的特征點(diǎn)，就是能夠被穩(wěn)定檢測(cè)到的有區(qū)分能力的點(diǎn)。特征點(diǎn)的檢測(cè)采用尺度不變 的特征點(diǎn)檢測(cè)方法SIFT。尺度不變的特征點(diǎn)檢測(cè)算法目前被廣泛應(yīng)用于圖像拼接，跟蹤等 算法中，有比較高的穩(wěn)定性和適應(yīng)能力。對(duì)基準(zhǔn)圖像與測(cè)試圖像分別進(jìn)行SIFT特征檢測(cè)， 假設(shè)檢測(cè)到的特征點(diǎn)坐標(biāo)集合為(4，Ut): ^ = {uri， urt， urt，， um}，參考圖像的特征點(diǎn)坐標(biāo)集合，um為該集合中的元素， n為基準(zhǔn)圖像特征點(diǎn)的個(gè)數(shù)，n = 1，2，3…n; Ut = {utl， ut2， ut3，， utm}，測(cè)試圖像的特征坐標(biāo)點(diǎn)集合，u 為該集合中的元素， m為測(cè)試圖像特征點(diǎn)的個(gè)數(shù)，m二 1，2，3…m。 使用SIFT描述子對(duì)每一個(gè)特征點(diǎn)進(jìn)行描述，得到每個(gè)特征點(diǎn)描述子的特征向量 集合為(Vr， Vt): i = {Vrf， Vrf， Vri，， vm}，基準(zhǔn)圖像的特征點(diǎn)描述子的特征向量集合，vm為該集
合中的元素，n為基準(zhǔn)圖像特征點(diǎn)描述子的特征向量的個(gè)數(shù)，等于基準(zhǔn)圖像特征點(diǎn)的個(gè)數(shù)，n =1，2，3…n ; Vt = {Vti， Vt2， Vt3，， Vtm}，測(cè)試圖像的特征點(diǎn)描述子的特征向量集合，Vtm為該集 合中的元素，m為測(cè)試圖像特征點(diǎn)描述子的特征向量的個(gè)數(shù)，等于測(cè)試圖像特征點(diǎn)的個(gè)數(shù)，m =1，2，3".m。 對(duì)測(cè)試圖像的所有特征點(diǎn)元素與特征向量對(duì)的集合，表示為{uti， vti}， uti為測(cè)
試圖像特征點(diǎn)坐標(biāo)集合中的任意元素和其對(duì)應(yīng)的特征描述子特征向量Vti，其中i = 1，
2，3…m，計(jì)算其與基準(zhǔn)圖像中每一個(gè)特征點(diǎn)描述子的特征向量的特征距離di,j:di,j = ki-、jl 1，其中^為基準(zhǔn)圖像中任意一個(gè)特征點(diǎn)描述子的特征向量，j = 1，2，3…n，測(cè) 試圖像特征點(diǎn)坐標(biāo)與特征向量對(duì)仏ti，VtJ，與參考圖像中的特征點(diǎn)坐標(biāo)與特征向量對(duì){u .，
、j}的匹配定義為當(dāng)且僅當(dāng)最短特征距離《=^^《。，且與次短特征距離"2=忍^《咱勺比
J 1《 '
值小于一定的常數(shù)t， d/d2 < t，其中0 < t《1。
這樣得到的一組匹配點(diǎn)為圖像的匹配對(duì)P : P = Kuu，Ur,》，(ut,2，ur,2)， (ut,3，rr,3)，... ， (ut,k， ur,k)}，共k個(gè)，其中ur,k G Ur， ut,k G Ut。假設(shè)這些匹配特征點(diǎn)之間的正確關(guān)系為投影投射關(guān)系，可以使用投影映射矩陣關(guān) 系H來表示其中每個(gè)元素對(duì)之間的空間對(duì)應(yīng)關(guān)系，如 Ur,k = Hut,k，通過隨機(jī)抽樣一致性算法(RANSAC)獲得圖像的匹配對(duì)P中的正確匹 配對(duì)，并求得正確的投影映射矩陣關(guān)系H。 使用圖像投影變換技術(shù)，將測(cè)試圖像It進(jìn)行投影投射變換，求得的經(jīng)過姿態(tài)修正 后的圖像I" Iw(x， y) = It(H(x， y)T)。 It測(cè)試圖像，(x， y)為圖像中的任意像素點(diǎn)坐標(biāo)，其中 H(x， y)T為對(duì)其像素點(diǎn)坐標(biāo)進(jìn)行投影映射的逆變換。
其二，是光照的估計(jì)和修正 圖像的光照信息可以部分的通過灰度的直方圖反映出來。通過圖像的姿態(tài)估計(jì)和 修正，得到的匹配點(diǎn)對(duì)P: Kuu，Ur,》，(ut,2，ur,2)， (ut,3，rr,3)，...， (ut,k，ur,k)}和其附近 的區(qū)域作為兩幅圖像共同可見的區(qū)域，對(duì)姿態(tài)修正后的圖像Iw和參考圖像相應(yīng)的區(qū)域求取
灰度直方圖分別記為hr， ht，根據(jù)直方圖規(guī)定化方法，求得一個(gè)圖像間顏色的變換關(guān)系i =f(j)，其中i， j為變換后和變換前的圖像灰度值。對(duì)Iw進(jìn)行圖像的光照變換，得到圖像的 光照修正圖像Iu。 其三，是圖像匹配 對(duì)姿態(tài)和光照修正后的測(cè)試圖像和參考圖像進(jìn)行匹配。姿態(tài)和光照修正后的圖像
視角和光照情況與參考圖像相似，能夠更容易的獲得高的匹配率和匹配精度。 對(duì)提取尺度不變的(HLSIFD)特征點(diǎn)，并使用SIFT特征描述子進(jìn)行特征的描述。然
后對(duì)參考圖像和光照修正圖像Iw, x這兩幅圖像的特征點(diǎn)進(jìn)行匹配，計(jì)算參考圖像和光照修
正圖像這兩幅圖像之間的投影映射關(guān)系Hwa。 圖像匹配所求的最終的圖像之間的關(guān)系則為々=/^,,。請(qǐng)給出參數(shù)A的含義。
圖2示出姿態(tài)估計(jì)結(jié)果和修正結(jié)果， 圖2中上左圖為基準(zhǔn)圖像、上右圖為測(cè)試圖像，下圖為測(cè)試圖像經(jīng)過姿態(tài)修正后 的圖像。上右圖中的矩形框表示為匹配的結(jié)果，通過姿態(tài)修正將其姿態(tài)修正為下圖，矩形框 表示為將已匹配的目標(biāo)修正為基準(zhǔn)圖像的姿態(tài)的結(jié)果。 圖3示出光照估計(jì)結(jié)果和修正結(jié)果，圖3中左圖為基準(zhǔn)圖像、中圖為測(cè)試圖像、右 圖是對(duì)中圖進(jìn)行光照修正的結(jié)果。 圖4示出最終的圖像經(jīng)過光照修正的匹配結(jié)果，圖4上圖為基準(zhǔn)圖像，下圖經(jīng)過光 照修正后得到的匹配結(jié)果。下圖的矩形框代表已匹配上基準(zhǔn)圖像的目標(biāo)，并可將其進(jìn)行姿 態(tài)校正。
具體實(shí)施例子如下 基于圖像姿態(tài)估計(jì)的圖像特征提取和匹配算法，包括姿態(tài)估計(jì)和變換，光照估計(jì) 和變換和圖像匹配三個(gè)過程，步驟如下 圖像姿態(tài)估計(jì)和修正步驟是為降低圖像匹配中由于姿態(tài)變化帶來的困難，通過姿 態(tài)修正的步驟，圖像的視角得到近似的統(tǒng)一，使得圖像在大的視角變化的情況下能夠得到 穩(wěn)定的匹配率和匹配精度。
姿態(tài)估計(jì)步驟如下 步驟Sll :對(duì)基準(zhǔn)圖像和測(cè)試圖像分別提取尺度不變的(HLSIFD)特征點(diǎn)； 步驟S12 :對(duì)所有的特征點(diǎn)采取提取尺度不變的特征點(diǎn)算法(SIFT)進(jìn)行特征描
述，求取特征向量； 步驟S13 :用最近鄰方法將基準(zhǔn)圖像和第一幅測(cè)試圖像中所提取出的特征點(diǎn)進(jìn)行 匹配； 步驟S14 :用隨機(jī)抽樣一致性算法(RANSAC)得到所有匹配點(diǎn)對(duì)中的一致集；
步驟S15 :通過一致集求得基準(zhǔn)圖像和測(cè)試圖像的粗略的投影映射矩陣Hl。
步驟S16 :通過投影映射矩陣H"對(duì)測(cè)試圖像進(jìn)行姿態(tài)修正。 圖像光照估計(jì)和修正時(shí)為在大光照變化的情況下人能獲得穩(wěn)定和精確的匹配。光 照信息可以部分的通過第一幅已匹配的測(cè)試圖像有效區(qū)域的灰度直方圖之間的關(guān)系來表 示。具體步驟如下 步驟S21 :求基準(zhǔn)圖像和姿態(tài)修正后的測(cè)試圖像的灰度直方圖，其中基準(zhǔn)圖像的 灰度直方圖為測(cè)試圖像的有效區(qū)域； 步驟S22 :利用直方圖規(guī)定化方法，計(jì)算基準(zhǔn)圖像和測(cè)試圖像的直方圖變換函數(shù)L ; 步驟S23 :根據(jù)圖像直方圖的變換函數(shù)L，對(duì)姿態(tài)修正后的圖像進(jìn)行直方圖規(guī)定 化，從而對(duì)姿態(tài)修正后的圖像進(jìn)行光照修正。 圖像的姿態(tài)和光照修正的目的是為了降低圖像匹配的難度。對(duì)修正后的圖像進(jìn)行
匹配便可獲得較高的匹配率和精度。具體步驟如下 步驟S31 :求取姿態(tài)和光照修正后的圖像的HLSIFD的特征點(diǎn)； 步驟S32 :求取特征點(diǎn)的SIFT特征向量； 步驟S33 :將上述特征向量和基準(zhǔn)圖像的所有特征點(diǎn)進(jìn)行最近鄰匹配；
步驟S34 :通過隨機(jī)采樣一致性算法(RANSAC)尋找所有匹配對(duì)中的一致集；
步驟S35 :通過一致集求得姿態(tài)和光照修正后的圖像和基準(zhǔn)圖像之間的投影映射 矩陣H2關(guān)系； 步驟S36 :求基準(zhǔn)圖像與測(cè)試圖像之間的投影映射關(guān)系H = H2H1Q 總之，本發(fā)明提出了一種簡單有效的基于圖像姿態(tài)光照估計(jì)的圖像匹配方法。在
國際上的一些數(shù)據(jù)庫上進(jìn)行了大量的實(shí)驗(yàn)驗(yàn)證了我們的方法的有效性和穩(wěn)定性。本發(fā)明易
于實(shí)現(xiàn)、性能穩(wěn)定。本發(fā)明能夠提高圖像匹配的精度，對(duì)圖像拼接，跟蹤等計(jì)算機(jī)視覺高層
方法有好的保障。 以上所述，僅為本發(fā)明中的具體實(shí)施方式
，但本發(fā)明的保護(hù)范圍并不局限于此，任 何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可理解想到的變換或替換，都應(yīng)涵蓋在 本發(fā)明的包含范圍 內(nèi)，因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書的保護(hù)范圍為準(zhǔn)。
權(quán)利要求
一種基于特征的圖像匹配方法，其特征在于該方法包括步驟如下步驟S1利用基準(zhǔn)圖像基于Harris函數(shù)的特征檢測(cè)算法(HLSIFD)和最近鄰匹配算法對(duì)測(cè)試圖像進(jìn)行匹配，獲得測(cè)試圖像相對(duì)于基準(zhǔn)圖像的姿態(tài)估計(jì)；步驟S2利用基準(zhǔn)圖像對(duì)已姿態(tài)估計(jì)的測(cè)試圖像中的目標(biāo)的光照進(jìn)行估計(jì)，通過計(jì)算測(cè)試圖像中目標(biāo)包含于基準(zhǔn)圖像部分的光照變化，將此光照變化函數(shù)與已估計(jì)姿態(tài)的測(cè)試圖像進(jìn)行光照變換和修正，得到光照修正的測(cè)試圖像；步驟S3將光照修正的測(cè)試圖像和基準(zhǔn)圖像進(jìn)行基于特征點(diǎn)檢測(cè)與描述，得到光照修正后的測(cè)試圖像特征點(diǎn)匹配，結(jié)合測(cè)試圖像的姿態(tài)估計(jì)，得到光照修正后測(cè)試圖像的姿態(tài)匹配。
2. 按權(quán)利要求1所述的基于特征的圖像匹配方法，其特征在于所述姿態(tài)估計(jì)具體步 驟如下步驟Sll :通過基于Harris函數(shù)的尺度不變的特征檢測(cè)算法對(duì)基準(zhǔn)圖像與測(cè)試圖像分 別提取尺度不變的特征點(diǎn)；步驟S12 :對(duì)基準(zhǔn)圖像與測(cè)試圖像上所有的特征點(diǎn)進(jìn)行尺度不變的特征描述算法 (SIFT)特征描述以每個(gè)特征點(diǎn)為中心截取固定大小的正方形窗口，對(duì)在窗口內(nèi)的圖像， 計(jì)算每個(gè)像素相關(guān)的梯度、梯度方向及其梯度的權(quán)值，得到每個(gè)的特征點(diǎn)描述，用多維的直方圖來統(tǒng)計(jì)特征點(diǎn)的描述，最終形成每個(gè)特征點(diǎn)的多維特征向量；步驟S13 :用最近鄰方法將基準(zhǔn)圖像與測(cè)試圖像中所提取出的特征點(diǎn)的特征向量進(jìn)行 匹配；步驟S14 :用隨機(jī)抽樣一致性算法(RANSAC)得到所有匹配點(diǎn)對(duì)中的一致集；步驟S15 :通過一致集求得基準(zhǔn)圖像與測(cè)試圖像的投影映射矩陣^ ;步驟S16 :通過投影映射矩陣H"對(duì)測(cè)試圖像進(jìn)行投影變換，得到測(cè)試圖像的粗略姿態(tài)估計(jì)。
3. 按權(quán)利要求1所述的基于特征的圖像匹配方法，其特征在于所述光照估計(jì)具體步 驟如下步驟S21 :求基準(zhǔn)圖像與測(cè)試圖像的灰度直方圖；步驟S22 :利用直方圖規(guī)定化方法，計(jì)算基準(zhǔn)圖像與測(cè)試圖像之間的直方圖變換函數(shù)L ;步驟S23 :根據(jù)基準(zhǔn)圖像與測(cè)試圖像直方圖的變換函數(shù)L，對(duì)測(cè)試圖像進(jìn)行直方圖規(guī)定化，從而對(duì)姿態(tài)修正后的圖像進(jìn)行光照修正。
4. 按權(quán)利要求1所述的基于特征的圖像匹配方法，其特征在于所述光照修正后的測(cè) 試圖像的姿態(tài)匹配具體步驟如下步驟S31 :求取變換后的光照修正后的測(cè)試圖像的尺度不變的特征點(diǎn)； 步驟S32 :求取特征點(diǎn)描述子的特征向量；步驟S33 :將這些特征向量和基準(zhǔn)圖像的所有特征點(diǎn)進(jìn)行最近鄰匹配；步驟S34 :通過隨機(jī)抽樣一致性算法(RANSAC)尋找所有匹配對(duì)中的一致集；步驟S35 :通過一致集求得變換后的光照修正后的測(cè)試圖像和基準(zhǔn)圖像之間的投影映射關(guān)系H ;步驟S36 :求光照修正后的測(cè)試圖像與基準(zhǔn)圖像之間的投影映射關(guān)系H :H = 式中投影映射矩陣Hp投影映射矩陣H2。
5.按權(quán)利要求1所述的基于特征的圖像匹配方法，其特征在于還包括，在姿態(tài)估計(jì)之 后加入對(duì)圖像進(jìn)行光照的估計(jì)。
全文摘要
本發(fā)明是一種基于特征的圖像匹配算法，步驟如下利用基準(zhǔn)圖像基于Harris函數(shù)的的特征檢測(cè)算法和最近鄰匹配算法對(duì)測(cè)試圖像進(jìn)行匹配，獲得并利用測(cè)試圖像相對(duì)于基準(zhǔn)圖像的姿態(tài)估計(jì)的目標(biāo)的光照進(jìn)行估計(jì)，通過計(jì)算測(cè)試圖像中目標(biāo)包含于基準(zhǔn)圖像部分的光照變化，將此光照變化函數(shù)與已估計(jì)姿態(tài)的測(cè)試圖像進(jìn)行光照變換和修正，得到光照修正的測(cè)試圖像；將光照修正的測(cè)試圖像和基準(zhǔn)圖像進(jìn)行基于特征點(diǎn)檢測(cè)與描述，得到光照修正后的測(cè)試圖像特征點(diǎn)匹配，結(jié)合測(cè)試圖像的姿態(tài)估計(jì)，得到光照修正后測(cè)試圖像的姿態(tài)匹配。圖像匹配是計(jì)算機(jī)視覺中的底層問題，對(duì)目標(biāo)跟蹤，場(chǎng)景建模，圖像拼接，圖像檢索等計(jì)算機(jī)視覺中的經(jīng)典問題有著重要的意義。
文檔編號(hào)G06K9/64GK101777129SQ20091024154
公開日2010年7月14日 申請(qǐng)日期2009年11月25日 優(yōu)先權(quán)日2009年11月25日
發(fā)明者余軼南, 譚鐵牛, 黃凱奇 申請(qǐng)人:中國科學(xué)院自動(dòng)化研究所