專利名稱：基于相關(guān)性度量的特征點(diǎn)匹配方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)輔助自動(dòng)圖像處理技術(shù)領(lǐng)域，具體地涉及一種 圖像特征的匹配技術(shù)。
背景技術(shù)：
在我們?nèi)粘Ｉ詈驮S多領(lǐng)域中，處理電子圖像，特別是提取和檢 索圖像中的特定信息是必不可少的，比如圖像檢索、物體分割和識別、 三維重建以及增強(qiáng)現(xiàn)實(shí)等方面都不可避免的要涉及到圖像特征的匹 配問題，尤其是特征點(diǎn)的匹配問題。傳統(tǒng)方法是基于圖像像素灰度值 的方法，此方法雖然簡單易行，但由于利用的信息不充分，匹配效果 并不理想。
近年來，隨著計(jì)算機(jī)視覺的發(fā)展和應(yīng)用，人們開始探索新的方法， 這其中比較典型的有基于圖像梯度的方法以及基于圖像微分的方法。 在基于圖像梯度的方法中，比較簡單的描述子匹配性能不好，而匹配
性能比較出色的描述子計(jì)算的時(shí)間復(fù)雜度和空間復(fù)雜度都比較高；基 于圖像微分的描述子，構(gòu)造比較復(fù)雜，而且突出的不足是對于圖像噪 聲很不魯棒，而現(xiàn)實(shí)的圖像往往存在噪聲，因此難以令人滿意。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種較為簡單、實(shí)用并且匹配性能好精度 高的圖像特征點(diǎn)匹配方法。
為實(shí)現(xiàn)上述目的，基于相關(guān)性度量的特征點(diǎn)匹配方法，包括步驟: 步驟1:拍攝兩幅或多幅待匹配場景的圖像并輸入計(jì)算機(jī)； 步驟2:計(jì)算圖像各像素的梯度，提取圖像的特征點(diǎn)信息； 步驟3:對步驟2中提取的每個(gè)特征點(diǎn)，把以特征點(diǎn)為中心的圓形鄰域進(jìn)行分塊，計(jì)算分塊得到的每個(gè)子區(qū)域的梯度均值；
步驟4:利用步驟3中得到的子區(qū)域各像素點(diǎn)梯度以及子區(qū)域的
梯度均值，構(gòu)造子區(qū)域的Harris自相關(guān)矩陣以及相鄰子區(qū)域之間 Harris互相關(guān)矩陣；
步驟5:利用步驟4中得到的計(jì)算子區(qū)域的Harris自相關(guān)矩陣以 及相鄰子區(qū)域之間的Harris互相關(guān)矩陣的行列式與跡，并用計(jì)算得到 的行列式與跡構(gòu)造子區(qū)域的自相關(guān)性度量以及相鄰子區(qū)域之間的互 相關(guān)性度量；
步驟6:利用步驟5中得到的子區(qū)域的自相關(guān)性度量以及相鄰子 區(qū)域之間的互相關(guān)性度量，構(gòu)造Harri s相關(guān)性描述子；
步驟7:計(jì)算不同圖像特征點(diǎn)描述子之間的歐氏距離，應(yīng)用度量 準(zhǔn)則，進(jìn)行匹配。
優(yōu)選地，所述分塊是以特征點(diǎn)為中心對其圓形鄰域進(jìn)行分塊。
優(yōu)選地，所述子區(qū)域劃分步驟是
步驟31:以特征點(diǎn)為中心，r為半徑，獲得N個(gè)像素的圓形鄰域；
步驟32:沿圓形鄰域的徑向方向把特征點(diǎn)鄰域半徑劃分為n等 份，得到多個(gè)以特征點(diǎn)為圓心的同心圓；
步驟33:以特征點(diǎn)鄰域的主方向?yàn)槠鹗歼?，將特征點(diǎn)鄰域劃分為 多個(gè)相等的扇形。
優(yōu)選地，所述特征點(diǎn)鄰域的子區(qū)域R的Harris自相關(guān)矩陣SC(ZO
為，
:厶(A)-^)(諷)-附；)(諷)-<)2 ,
式中，V/(X) = (/, (X)， 、 (X)f為圖像/上像素點(diǎn)Z = (x, #的梯度，
是子區(qū)域R的梯度均值。 優(yōu)選地，所述自相關(guān)性度量是通過計(jì)算子區(qū)域i 的Harris自相
6關(guān)矩陣SC(/ )的行列式與跡，得到子區(qū)域R的自相關(guān)性度量歷"i )為:
式中detCSC(i ))為Harris自相關(guān)矩陣SC(i )的行列式，trCSC(i )) 為Harris自相關(guān)矩陣SC(/ )的跡。
優(yōu)選地，所述Harris互相關(guān)矩陣是特征點(diǎn)鄰域的兩個(gè)相鄰子區(qū)域 R,，R2之間的Harris互相關(guān)矩陣MC(i ,，&)由下式得到
式中/,_/ = 1，2，"7'。
優(yōu)選地，所述互相關(guān)性度量是通過計(jì)算Harris互相關(guān)矩陣的行列 式與跡，得到兩個(gè)相鄰子區(qū)域的互相關(guān)性度量/^c(i )為 //wc(i ) = (Vdet(MC(i ',i 2)) + Vdet(MC(/ 2，i ')),fr(MC(i ,，i 2)) + "(MC(i 2,i ,)))。 優(yōu)選地，所述Harris相關(guān)性描述子是
步驟61:將自相關(guān)性度量與互相關(guān)性度量合在一起，得到一個(gè) 相關(guān)性度量向量；
步驟62:根據(jù)相關(guān)性度量所在子區(qū)域中心與特征點(diǎn)的距離，用 高斯函數(shù)對相關(guān)性度量向量加權(quán)；
步驟63:對加權(quán)后的相關(guān)性度量向量進(jìn)行歐氏范數(shù)歸一化處理， 最終得到Harris相關(guān)性描述子。
優(yōu)選地，所述特征點(diǎn)匹配是分別計(jì)算不同圖像之間特征點(diǎn)描述 子之間的歐氏距離，應(yīng)用匹配準(zhǔn)則對特征點(diǎn)的描述子進(jìn)行匹配，得到 最終的匹配結(jié)果。
本發(fā)明提供的特征點(diǎn)匹配方法不需要對攝像機(jī)參數(shù)進(jìn)行標(biāo)定，匹 配過程中不需要人的參與，完全自動(dòng)完成，而且具有簡單、實(shí)用、匹 配點(diǎn)稠密、匹配精度高、魯棒性好等特點(diǎn)。本發(fā)明采用在極坐標(biāo)下對特征點(diǎn)的圓形鄰域進(jìn)行劃分，此種劃分策略可以避免在圖像旋轉(zhuǎn)中的 像素的插值運(yùn)算，從而降低了計(jì)算的復(fù)雜度。


圖1是本發(fā)明特征點(diǎn)鄰域的劃分策略
圖2是本發(fā)明描述子構(gòu)造和匹配的流程圖 圖3是本發(fā)明相鄰區(qū)域分類示意圖 圖4是本發(fā)明相關(guān)性度量分類示意圖 圖5是本發(fā)明實(shí)例1的匹配圖像對 圖6是本發(fā)明實(shí)例2的匹配圖像對
具體實(shí)施例方式
下面結(jié)合附圖詳細(xì)說明本發(fā)明技術(shù)方案中所涉及的各個(gè)細(xì)節(jié)問 題。應(yīng)指出的是，所描述的實(shí)施例僅旨在便于對本發(fā)明的理解，而對 其不起任何限定作用。
本發(fā)明采用在極坐標(biāo)下對特征點(diǎn)的圓形鄰域進(jìn)行劃分，此種劃分 策略可以避免在圖像旋轉(zhuǎn)中的像素的插值運(yùn)算，從而降低了計(jì)算的復(fù) 雜度。附圖1給出了一種特征點(diǎn)鄰域的劃分策略。對每個(gè)特征點(diǎn)鄰域 劃分后得到的子區(qū)域求梯度均值，并將求得的梯度均值應(yīng)用到子區(qū)域 的Harris自相關(guān)矩陣以及相鄰子區(qū)域之間的Harris互相關(guān)矩陣的構(gòu)造 中去，從而可以得到相鄰子區(qū)域之間的信息；用Harris自相關(guān)矩陣以 及互相關(guān)矩陣的行列式和跡運(yùn)算代替求Harris相關(guān)矩陣特征值的運(yùn) 算，簡化了計(jì)算過程。
該方法中，描述子的構(gòu)造簡單，計(jì)算量比較小。該方法主要包括 圖像獲取、提取特征點(diǎn)、構(gòu)造描述子以及匹配等步驟，如圖2所示為 本發(fā)明描述子構(gòu)造和匹配的流程圖，各步的具體說明如下
l.獲取圖像
用普通照相機(jī)或者數(shù)碼相機(jī)拍攝兩幅或多幅同一場景的不同圖 像，并借助掃描儀或某些專用接口設(shè)備將圖像輸入計(jì)算機(jī)。
82.特征點(diǎn)提取
首先，用高斯模板對獲取的數(shù)字圖像進(jìn)行濾波，以達(dá)到抑制噪聲
的目的；然后用Canny算子、Harris算子或者LoG算子等成熟特征 檢測算子檢測圖像特征點(diǎn)，記錄圖像特征點(diǎn)在圖像上的精確位置，也 可以通過人機(jī)交互的方式手工標(biāo)注需要的特征點(diǎn)。 3.描述子構(gòu)造
基于Harris相關(guān)性度量的圖像梯度的特征點(diǎn)匹配方法是以特征 點(diǎn)為中心對特征點(diǎn)的圓形鄰域進(jìn)行分塊，獲得分塊各子區(qū)域。具體分 塊方法如圖l所示特征點(diǎn)鄰域取以特征點(diǎn)為中心，半徑為16個(gè)像 素的圓形鄰域。延徑向方向把特征點(diǎn)鄰域半徑劃分為5等份，如此可 以得到5個(gè)以特征點(diǎn)為圓心的同心圓；以特征點(diǎn)鄰域的主方向?yàn)槠鹗?邊，將特征點(diǎn)鄰域劃分為4個(gè)等大的扇形，每個(gè)扇形的圓心角為直角 (最小的圓沒有被分割)，這樣便把特征點(diǎn)鄰域劃分為17個(gè)子區(qū)域。 圖1中，G。o表示最小的圓，Gy表示第i個(gè)圓環(huán)上以主方向?yàn)閰⒄眨?br> 逆時(shí)針方向的第j個(gè)子區(qū)域；^ain表示特征點(diǎn)的主方向。
通過對特征點(diǎn)鄰域進(jìn)行劃分，得到了特征點(diǎn)鄰域的子區(qū)域，統(tǒng)計(jì) 每個(gè)子區(qū)域所包含的像素點(diǎn)的梯度和，然后與此子區(qū)域的像素點(diǎn)數(shù)作 除法，得到每個(gè)子區(qū)域的梯度均值。
對每個(gè)特征點(diǎn)鄰域的子區(qū)域W，計(jì)算它的Harris自相關(guān)矩陣
WW
<) w: )(/, (A ) - m;)
其中，V/(X) = (4 (X),; (X)f為圖像/上像素點(diǎn)Z = (;c,力r的梯度，
(<，/<:^是子區(qū)域R的梯度均值。通過計(jì)算子區(qū)域^的自相關(guān)矩陣
SC(i )的行列式與跡，得到子區(qū)域R的自相關(guān)度量扭c(/ )為，
9式中detOSC(i ))為Harris自相關(guān)矩陣SC(7 )的行列式，tr(5T(i )) 為Harris自相關(guān)矩陣SC(/ )的跡。
特征點(diǎn)鄰域的兩個(gè)相鄰子區(qū)域R,，R2之間的Harris互相關(guān)矩陣 MC(i ,，i ,)由下式得到，
/,/ = 1,2,"/。通過計(jì)算Harris互相關(guān)矩陣的行列式與跡，得到兩個(gè)相
鄰子區(qū)域的互相關(guān)性度量Z/mc(i )為
//mc(i ) = (^/det(MC(《，/ 2)) + Jdet(MC(i 2，《)),/K職A, A)) + "(MC(i 2,《)))。
由于特征點(diǎn)鄰域被分為17個(gè)子區(qū)域，這樣得到34維的自相關(guān)性 度量，圖4a所示類型的相鄰子區(qū)域有32對，圖4b所示類型的相鄰 子區(qū)域有24對，因此可以得到32*2+24*2=112維的互相關(guān)性度量。 把自相關(guān)性度量與互相關(guān)性度量合在一起，可以得到一個(gè)146維的相 關(guān)性度量向量。
最后，根據(jù)相關(guān)性度量所在子區(qū)域中心與特征點(diǎn)的距離，用零均 值，標(biāo)準(zhǔn)差為8的高斯函數(shù)對相關(guān)性度量向量加權(quán)，再對加權(quán)后的相 關(guān)性度量向量進(jìn)行歐氏范數(shù)歸一化處理，最終得到146維的Harris 相關(guān)性描述子。
如果從146維的Harris相關(guān)性描述子中去掉圖4右圖所示類型對 應(yīng)的互相關(guān)性度量，又可以得到一個(gè)98維的低維Harris相關(guān)性描述子。
4.特征點(diǎn)匹配
分別計(jì)算不同圖像之間特征點(diǎn)描述子之間的歐氏距離，應(yīng)用匹配 準(zhǔn)則如距離最小準(zhǔn)則、最近鄰距離比準(zhǔn)則(NNDR， Nearest Neighbor Distance Ratio)等對特征點(diǎn)的描述子進(jìn)行匹配，得到最終的匹配結(jié)果。
圖3所示為相關(guān)性度量的分類，其中圖3a是自相關(guān)性度量，
MC(i ,,^)= Z
("A)-附，)(諷)-附，)
諷)—肌
10圖3c是相鄰圓環(huán)的互相關(guān)性度量；
圖4所示為對相鄰區(qū)域類型的說明，其中，圖4a具有一個(gè)公共 邊界的相鄰區(qū)域；圖4b具有一個(gè)公共點(diǎn)的相鄰區(qū)域；
圖5為佛像的匹配結(jié)果，兩幅圖像有比較大的相對旋轉(zhuǎn)，圖中的"+" 表示特征點(diǎn)所在位置，特征點(diǎn)所在位置的像素灰度值大于128，特征 點(diǎn)用黑色"+"表示，如果像素灰度值小于128，特征點(diǎn)用白色"+"表示； 圖6為亂石場景的匹配結(jié)果，兩幅圖像有較大的視角變化，圖中 的"+"表示特征點(diǎn)所在位置，特征點(diǎn)所在位置的像素灰度值大于128， 特征點(diǎn)用黑色"+"表示，如果像素灰度值小于128，特征點(diǎn)用白色"+"
表不o
實(shí)例1為兩個(gè)佛像場景的匹配結(jié)果，如圖5所示，從這一對佛像 圖像的匹配結(jié)果看，兩圖有比較大的相對旋轉(zhuǎn)，即拍攝圖像時(shí)，通過 對攝像機(jī)進(jìn)行旋轉(zhuǎn)得到，在匹配中采用了 NNDR準(zhǔn)則，根據(jù)經(jīng)驗(yàn) NNDR取值0.75，把匹配點(diǎn)對的NNDR值大于0.75的候選匹配對去 掉后，得到214個(gè)匹配對，錯(cuò)誤匹配對為0，匹配正確率為100%。
實(shí)例2的亂石場景的匹配結(jié)果，如圖6所示，從這一對亂石場景 圖像看，兩圖有相對比較大的視角變化，匹配準(zhǔn)則采用NNDR準(zhǔn)則， NNDR值取0.75，匹配對數(shù)為449，錯(cuò)誤匹配對數(shù)為4，匹配正確率 為98.89%。
以上所述，僅為本發(fā)明中的具體實(shí)施方式
，但本發(fā)明的保護(hù)范圍 并不局限于此，任何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)， 可理解想到的變換或替換，都應(yīng)涵蓋在本發(fā)明的包含范圍之內(nèi)，因此， 本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書的保護(hù)范圍為準(zhǔn)。
ii
權(quán)利要求
1. 一種基于相關(guān)性度量的特征點(diǎn)匹配方法包括步驟步驟1拍攝待匹配場景的多幅圖像并輸入計(jì)算機(jī)；步驟2計(jì)算圖像各像素的梯度，提取圖像的特征點(diǎn)信息；步驟3對特征點(diǎn)鄰域進(jìn)行分塊，獲得子區(qū)域的梯度均值；步驟4應(yīng)用子區(qū)域的各像素點(diǎn)的梯度以及梯度均值，構(gòu)造子區(qū)域的Harris自相關(guān)矩陣以及相鄰子區(qū)域之間Harris互相關(guān)矩陣；步驟5計(jì)算子區(qū)域的Harris自相關(guān)矩陣以及相鄰子區(qū)域之間的Harris互相關(guān)矩陣的行列式與跡，并用行列式與跡構(gòu)造子區(qū)域的自相關(guān)性度量以及相鄰子區(qū)域之間的互相關(guān)性度量；步驟6用子區(qū)域的自相關(guān)性度量以及相鄰子區(qū)域之間的互相關(guān)性度量構(gòu)造Harris相關(guān)性描述子；步驟7計(jì)算不同圖像特征點(diǎn)之間的歐氏距離，根據(jù)度量準(zhǔn)則，對特征點(diǎn)進(jìn)行匹配。
2. 按權(quán)利要求1所述的基于相關(guān)性度量的特征點(diǎn)匹配方法，其特 征在于所述分塊是以特征點(diǎn)為中心對其圓形鄰域進(jìn)行分塊。
3. 按權(quán)利要求1、 2所述的相關(guān)性度量特征點(diǎn)的匹配方法，其特 征在于所述子區(qū)域劃分步驟是步驟31:以特征點(diǎn)為中心，r為半徑，獲得N個(gè)像素的圓形鄰域; 步驟32:沿圓形鄰域的徑向方向把特征點(diǎn)鄰域半徑劃分為n等 份，得到多個(gè)以特征點(diǎn)為圓心的同心圓；步驟33:以特征點(diǎn)鄰域的主方向?yàn)槠鹗歼叄瑢⑻卣鼽c(diǎn)鄰域劃分為多個(gè)相等的扇形。
4. 按權(quán)利要求1所述的基于相關(guān)性度量的特征點(diǎn)匹配方法，其特 征在于所述特征點(diǎn)鄰域的子區(qū)域R的Harris自相關(guān)矩陣SC(i )為，<formula>formula see original document page 2</formula>式中，V/(義)=(/,(義),(X)f為圖像/上像素點(diǎn)X = (x, y)r的梯度，是子區(qū)域R的梯度均值。
5.按權(quán)利要求1所述的基于相關(guān)性度量的特征點(diǎn)的匹配方法，其特征在于所述自相關(guān)性度量是通過計(jì)算子區(qū)域i 的Harris自相關(guān) 矩陣SC(A)的行列式與跡，得到子區(qū)域R的自相關(guān)性度量歷c(/ )為=(如CSC(i )),/KSC(W)))， 式中detGSC(i ))為Harris自相關(guān)矩陣SC(i )的行列式，trOSC(A)) 為Harris自相關(guān)矩陣5T(i )的跡。
6. 按權(quán)利要求1所述的基于相關(guān)性度量的特征點(diǎn)匹配方法，其特 征在于所述Harris互相關(guān)矩陣是特征點(diǎn)鄰域的兩個(gè)相鄰子區(qū)域 R,，R2之間的Harris互相關(guān)矩陣MC(i ,，/ ,)由下式得到<formula>formula see original document page 3</formula>式中z'J = l,2,"/。
7. 按權(quán)利要求1所述的基于相關(guān)性度量的特征點(diǎn)匹配方法，其特 征在于所述互相關(guān)性度量是通過計(jì)算Harris互相關(guān)矩陣的行列式與 跡，得到兩個(gè)相鄰子區(qū)域的互相關(guān)性度量/Z,(i )為//mc(i ) = (^/det(MC(《，i 2)) + 一(("2,《)),/"MC(i ,,/ 2)) + A，《)))。
8. 按權(quán)利要求1所述的基于相關(guān)性度量的特征點(diǎn)匹配方法，其特 征在于所述Harris相關(guān)性描述子是步驟61:將自相關(guān)性度量與互相關(guān)性度量合在一起，得到一個(gè) 相關(guān)性度量向量；步驟62:根據(jù)相關(guān)性度量所在子區(qū)域中心與特征點(diǎn)的距離，用高斯函數(shù)對相關(guān)性度量向量加權(quán)；步驟63:對加權(quán)后的相關(guān)性度量向量進(jìn)行歐氏范數(shù)歸一化處理，最終得到Harris相關(guān)性描述子。
9.按權(quán)利要求1所述的相關(guān)性度量特征點(diǎn)的匹配方法，其特征在 于所述特征點(diǎn)匹配是分別計(jì)算不同圖像之間特征點(diǎn)描述子之間的歐 氏距離，應(yīng)用匹配準(zhǔn)則對特征點(diǎn)的描述子進(jìn)行匹配，得到最終的匹配 結(jié)果。
全文摘要
本發(fā)明是基于相關(guān)性度量的特征點(diǎn)匹配方法，拍攝多幅待匹配場景圖像并輸入計(jì)算機(jī)；計(jì)算圖像各像素的梯度，提取圖像特征點(diǎn)信息；對提取的每個(gè)特征點(diǎn)，把以特征點(diǎn)為中心的圓形鄰域進(jìn)行分塊，計(jì)算分塊得到的每個(gè)子區(qū)域的梯度均值；利用子區(qū)域各像素點(diǎn)的梯度以及子區(qū)域的梯度均值，建立子區(qū)域的Harris相關(guān)矩陣并計(jì)算Harris相關(guān)矩陣的行列式和跡；利用Harris相關(guān)矩陣的行列式和跡，構(gòu)造Harris相關(guān)性度量并用Harris相關(guān)性度量構(gòu)造Harris相關(guān)性描述子；計(jì)算特征點(diǎn)描述子之間的歐氏距離，應(yīng)用度量準(zhǔn)則進(jìn)行匹配。本發(fā)明不需要對攝像機(jī)參數(shù)進(jìn)行標(biāo)定，匹配過程中不需要人的參與，自動(dòng)完成匹配，而且具有簡單、實(shí)用、匹配點(diǎn)稠密、匹配精度高、魯棒性好等特點(diǎn)。
文檔編號G06T7/00GK101488224SQ20081005626
公開日2009年7月22日 申請日期2008年1月16日 優(yōu)先權(quán)日2008年1月16日
發(fā)明者吳福朝, 王旭光, 胡占義 申請人:中國科學(xué)院自動(dòng)化研究所