一種帶旋轉(zhuǎn)、縮放的快速高精度幾何模板匹配方法
【專利摘要】本發(fā)明提供了一種帶旋轉(zhuǎn)、縮放的快速高精度幾何模板匹配方法，該方法基于圖像邊緣信息，利用模板圖像的亞像素邊緣點作為特征點、目標圖像的梯度方向的切線方向作為特征線以及相似度量值的局部極值點，根據(jù)相似度函數(shù)由金字塔從粗到精計算模板和目標圖像的相似度及候選位置；在金字塔最底層得到的像素級定位精度，利用最小二乘平差進行微調(diào)整，獲得亞像素級定位精度，及更高精度的角度、尺度縮放精度。本發(fā)明的方法能針對目標圖像出現(xiàn)位移、旋轉(zhuǎn)、縮放、部分遮擋、光照明暗變化，光照不均勻、雜亂背景等都能實現(xiàn)快速、穩(wěn)定、高精度的定位和識別，可應用于需要通過機器視覺進行目標定位和識別的場合。
【專利說明】
一種帶旋轉(zhuǎn)、縮放的快速高精度幾何模板匹配方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及圖像識別技術(shù)領(lǐng)域，尤其涉及一種快速高精度幾何模板匹配方法。
【背景技術(shù)】
[0002] 現(xiàn)有的模板匹配一般采用基于灰度相關(guān)的算法，以圖像灰度作為匹配信息，通過 計算模板圖像與目標圖像子區(qū)域的灰度相關(guān)系數(shù)來度量匹配度;部分算法利用邊緣特征或 采用廣義霍夫變換進行匹配;還有一類是計算圖像的不變矩，利用矩的信息進行匹配。
[0003] 專利文獻1 (中國專利公開號CN10556695A)公開了一種基于NCC(Normalized Cross Correlation)的灰度模板匹配算法;專利文獻2(中國專利公開號CN100483283C)公 開了一種基于機器視覺的二維定位裝置，將數(shù)字相機安裝在機床上，通過工件上的幾何特 征進行定位，實現(xiàn)自動對刀；專利文獻3(中國專利公開號CN103235939A)公開了一種基于基 準點的定位方法；專利文獻4(中國專利公開號CN102034114A)公開了一種基于特征點檢測 的模板匹配跟蹤方法;專利文獻5(中國專利公開號CN102654902B)公開了一種基于輪廓向 量特征的嵌入式圖像匹配方法，該專利對國外相關(guān)文獻和專利也做了總結(jié)和分析;專利文 獻6(中國專利公開號CN103793712A)公開了一種基于邊緣幾何特征的圖像識別方法;專利 文獻7(中國專利公開號CN103559704A)公開了針對鐵路油罐車口的視覺定位方法，通過提 取罐口的橢圓邊緣特征信息利用歸一化梯度互相關(guān)作為相似度度量函數(shù)進行灌口定位，并 利用金字塔策略加速;專利文獻8(中國專利公開號CN104123542A)公開了一種輪轂工件定 位的裝置和方法，提出了一種基于SIFT特征及圓心特征的輪轂工件定位方法，主要利用 SIFT特征的平移、旋轉(zhuǎn)和尺度不變性實現(xiàn)模板和目標圖像的匹配。
[0004] 聶垣等提出了一種利用角度直方圖粗定位，再利用NCC精匹配的算法。許順、胡旭 光、劉錦峰提出了基于NCC、圓投影和金子塔分層策略的目標定位算法，實現(xiàn)了帶有旋轉(zhuǎn)角 度的目標定位算法(許順，機器視覺高性能模板匹配算法的研究，哈爾濱工業(yè)大學，碩士學 位論文，2010;胡旭光，視覺快速定位算法的工程實現(xiàn)，哈爾濱工業(yè)大學，碩士學位論文， 2010;劉錦峰，圖像模板匹配快速算法研究，中南大學碩士學位論文，2007)。周晴提出了一 種基于圓弧特征的工件定位方法，通過最長圓弧基于實現(xiàn)粗定位，再利用剩余基元間的相 對距離完成最終的匹配(周晴，基于幾何基元的實時匹配與定位技術(shù)的研究與開發(fā)，江南大 學碩士學位論文，2013)。王珂提出了一種基于有向點和有向線段的圖像匹配方法，通過定 義有向點和有向線段及相似度度量函數(shù)，并通過像素級的粗匹配、亞像素的精匹配實現(xiàn)準 確定位(王珂，基于有向點和有向線段的圖像匹配算法研究，華中科技大學博士學位論文， 2013)。倪健提出了一種基于輪廓梯度方向和強度的目標定位識別算法，也采用金字塔策略 加速。本發(fā)明人在論文《基于幾何特征的快速模板匹配算法》及《基于邊緣幾何特征的高性 能模板匹配算法》中給出了基于幾何特征的目標定位算法的基本思想。國外的機器視覺軟 件例如康耐視的VisionPro、MVtec的Halcon、Hexsight、MIL等都具有幾何特征目標定位算 法，但這些技術(shù)都掌握在國外企業(yè)手中，隨著我國智能制造及機器人技術(shù)的發(fā)展，亟需掌握 高性能的機器視覺核心算法。
[0005] 基于灰度相關(guān)的模板匹配算法以圖像灰度信息直接進行匹配，如專利文獻1和聶 垣、許順、胡旭光、劉錦峰等方法，原理簡單、實現(xiàn)容易，處理速度快，但抗干擾性差、對于非 線性關(guān)照和部分遮擋不能很好地處理;部分基于邊緣特征的方法處理速度慢，無法處理目 標存在縮放的情況，精度也不夠高；利用圖像不變矩的方法，處理速度慢，且提取的不變矩 有限，穩(wěn)定性不高，對應圖像出現(xiàn)部分遮擋時匹配不夠理想，抗干擾性差。專利文獻2、專利 文獻3、專利文獻7、專利文獻8等利用圖像中的幾何特征點進行特定行業(yè)或特定應用中的目 標定位，技術(shù)的通用性較差，且專利文獻8采用的SIFT特征對于無紋理物體的識別率會大幅 降低，SIFT特征也很難達到檢測的實時性。專利文獻6公開的方法邊緣特征在二值圖像上提 取，無法得到亞像素的邊緣，通過能量值進行目標定位，都造成定位的精度較差，算法也無 法給出目標的尺度變化參數(shù)。周晴的方法只使用特征明顯的圓弧作為匹配對象具有一定的 局限性。王珂提出的方法雖然精度較高，但處理大旋轉(zhuǎn)角度目標定位時耗時過長。其它公開 的基于幾何特征的目標定位方法大部分只能給出像素精度的位置信息，部分方法能給出旋 轉(zhuǎn)角度參數(shù)，對于如何計算亞像素精度的位置坐標及縮放因子，在上述資料中均未公開。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于提供一種基于圖像邊緣信息的高速、高精度模板匹配定位方 法，該方法能同時輸出模板圖像在目標圖像中亞像素精度的位置、旋轉(zhuǎn)角度和縮放比例因 子，針對目標圖像出現(xiàn)位移、旋轉(zhuǎn)、縮放、部分遮擋、光照明暗變化，光照不均勻、雜亂背景等 都能實現(xiàn)快速、穩(wěn)定、高精度的定位和識別。本發(fā)明可以應用于需要通過機器視覺進行目標 定位和識別的場合:如機器人引導、半導體封裝、電子制造、自動化裝配、產(chǎn)品視覺檢測、視 覺測量、視頻跟蹤等領(lǐng)域。
[0007] 為達上述目的，本發(fā)明通過以下技術(shù)方案實現(xiàn)：
[0008] -種帶旋轉(zhuǎn)、縮放的快速高精度幾何模板匹配方法，包括以下步驟:步驟1:輸入圖 像，包括模板圖像和目標圖像;步驟2:對圖像進行預處理;步驟3:圖像金字塔分層;步驟4: 模板圖像金字塔各層亞像素邊緣點及梯度方向提取，目標圖像金字塔各層梯度方向提??； 步驟5:根據(jù)上述梯度方向計算模板圖像和目標圖像相似度量值，逐步求精得到相似度量值 的局部極值點；步驟6:利用模板圖像的亞像素邊緣點作為特征點、目標圖像的梯度方向的 切線方向作為特征線以及相似度量值的局部極值點，根據(jù)相似度函數(shù)由金字塔從粗到精計 算模板和目標圖像的相似度及候選位置;步驟7:在金字塔最底層得到的像素級定位精度， 利用最小二乘平差進行微調(diào)整，獲得亞像素級定位精度，及更高精度的角度、尺度縮放精 度;步驟8:得到目標圖像中模板的坐標、角度和縮放因子。
[0009] 作為本發(fā)明的進一步改進，使用旋轉(zhuǎn)矩形、圓形、橢圓、圓環(huán)、多邊形中任一種工具 來選擇圖像中幾何特征較為明顯的區(qū)域作為模板圖像。
[0010] 作為本發(fā)明的進一步改進，輸入圖像時，所述預處理為采用均值濾波或中值濾波 對目標圖像中的噪聲進行去噪。
[0011] 作為本發(fā)明的進一步改進，所述預處理包括對模板圖像進行預處理，其中預處理 算法為邊緣保持的圖像濾波算法，即在去噪的同時保持原始特征邊緣位置，將濾波造成的 匹配精度影響減小。
[0012] 作為本發(fā)明的進一步改進，所述步驟4具體為:在金字塔每層進行利用曲面擬合的 方式進行邊緣梯度計算，計算出圖像的梯度后，再對圖像進行閾值判斷和極大值抑制得到 像素級的邊緣位置，然后在邊緣點3X3鄰域內(nèi)的梯度值進行曲面擬合，根據(jù)梯度方向建立 一個垂直于圖像的平面，利用該平面與擬合曲面的交線計算出亞像素精度的邊緣點。
[0013] 作為本發(fā)明的進一步改進，所述利用最小二乘平差進行微調(diào)整具體為:邊緣點梯 度方向的垂直方向即為邊緣在該點的切線方向，將模板圖像得到的亞像素邊緣點作為特征 點，將過目標圖像邊緣點的切線作為特征線，通過圖像金字塔算法逐步求精的過程特征點 和特征線的對應關(guān)系已基本確定，則模板匹配求亞像素坐標、角度、縮放的微調(diào)整問題可轉(zhuǎn) 化為一個非線性最小二乘平差的問題來求解。
[0014] 作為本發(fā)明的進一步改進，為加速目標定位的速度，所述方法采用計算相似度量 值終止條件策略:將模板圖像提取出邊緣信息后，將邊緣點分為兩部分;設(shè)模板邊緣點為n， mm分別為兩部分的邊緣點個數(shù)，且n i+n2 = n，n彡m，n彡m;第一部分為最零散的點，通過以 下措施得到，即先選擇離模板左上角距離最遠的邊緣點作為第一點，再在剩余的邊緣點中 挑選出第二點，使得第二點到第一點的距離最遠;在剩余的邊緣點中，選擇到前面兩點距離 和最大的點作為第三點，依次而得到m個點作為第一部分的點，剩余的邊緣點作為第二部 分;分兩次計算相似度量值，先計算第一部分m個點的部分相似度量值，計算完后與設(shè)定的 閾值判斷若s nl < smin，smin為設(shè)定的相似度閾值，則停止計算本次相似度量值，否則在snl的 基礎(chǔ)上，繼續(xù)計算第二部分仍個點的部分相似度量值，從而得到完整的相似度量值。
[0015] 作為本發(fā)明的進一步改進，當定位方法需要進一步加速時，所述方法采用候選目 標點的篩選策略，即在目標圖像的頂層金字塔圖像內(nèi)，每個位置都要執(zhí)行一次與模板圖像 對應的匹配操作；為進一步縮減匹配消耗時間，在匹配運算計算之前判斷該位置是否為目 標所在可能位置。
[0016] 作為本發(fā)明的進一步改進，所述步驟6包括在金字塔最頂層的遍歷整幅圖像進行 搜索，得到一定數(shù)量的候選目標區(qū)域并進行排序;再剔除部分候選點，在保證穩(wěn)定性的前提 下以加快處理速度;然后將剩下的候選點映射到金字塔下一層的目標圖像坐標系中，繼續(xù) 搜索；由于在上一層的搜索中已經(jīng)得到目標區(qū)域的大致位置，因此在本層的搜索只需在映 射后位姿的小鄰域內(nèi)進一步搜索即可，同樣當前層搜索完后需要根據(jù)一定準則剔除掉部分 冗余候選點；依次類推，直到搜索到原始分辨率層;從金字塔頂層到原始分辨率層目標圖像 的分辨率越來越高，精度也越來越高，因此目標的定位也越來越精確。
【附圖說明】
[0017] 圖1是本發(fā)明的方法流程圖；
[0018] 圖2是在目標圖像上設(shè)置搜索范圍的示意圖；
[0019] 圖3是在模板上指定參考位置的示意圖；
[0020]圖4是模板圖像進行金字塔縮放的示意圖；
[0021] 圖5是目標圖像進行相同的層數(shù)的金字塔縮放的示意圖；
[0022] 圖6是以邊緣梯度向量為信息的相似度量示意圖；
[0023]圖7是最小二乘平差不意圖；
[0024]圖8是模板圖像亞像素邊緣及梯度方向的示意圖；
[0025]圖9是目標圖像的特征性提取、梯度方向及梯度方向切線的示意圖；
[0026] 圖10是金字塔搜索策略示意圖。 具體實施方案
[0027] 下面通過【具體實施方式】結(jié)合附圖對本發(fā)明作進一步詳細說明。
[0028] 本發(fā)明的帶旋轉(zhuǎn)、縮放的快速高精度幾何模板匹配方法，如附圖1所示，包括以下 步驟:步驟1:輸入圖像，包括模板圖像和目標圖像;步驟2:對圖像進行預處理;步驟3:圖像 金字塔分層;步驟4:模板圖像金字塔各層亞像素邊緣點及梯度方向提取，目標圖像金字塔 各層梯度方向提取;步驟5:根據(jù)上述梯度方向計算模板圖像和目標圖像相似度量值，逐步 求精得到相似度量值的局部極值點；步驟6:利用模板圖像的亞像素邊緣點作為特征點、目 標圖像的梯度方向的切線方向作為特征線以及相似度量值的局部極值點，根據(jù)相似度函數(shù) 由金字塔從粗到精計算模板和目標圖像的相似度及候選位置;步驟7:在金字塔最底層得到 的像素級定位精度，利用最小二乘平差進行微調(diào)整，獲得亞像素級定位精度，及更高精度的 角度、尺度縮放精度;步驟8:得到目標圖像中模板的坐標、角度和縮放因子。
[0029]下面對各步驟進行具體說明。
[0030] 1 ?圖像輸入
[0031] 本發(fā)明的圖像輸入來自于機器視覺系統(tǒng)的CCD或CMOS圖像傳感器，在輸入圖像中 選擇邊緣較為清晰的圖像作為模板圖像選擇對象，在選擇模板時可以使用(旋轉(zhuǎn))矩形、圓 形、橢圓、圓環(huán)、多邊形等工具選擇圖像中幾何特征較為明顯的區(qū)域作為模板圖像①，后續(xù) 的輸入圖像作為目標圖像②。
[0032] 2?目標圖像預處理
[0033]目標圖像中存在較大噪聲時，而且對速度要求不嚴苛的應用中，可以對目標圖像 進行預處理，采用均值濾波或中值濾波等操作對圖像中的噪聲進行去噪。如果目標只在圖 像的特定區(qū)域出現(xiàn)，可以在圖像中劃定一個區(qū)域作為搜索范圍，這樣可以加快搜索的速度， 如附圖2所示。步驟③在流程中是可選的，根據(jù)具體應用需求可采用不濾波和設(shè)置搜索范圍 的方式加速搜索過程。之后在步驟⑩中將圖像使用2x2的均值濾波方法創(chuàng)建金字塔分層和 曲面擬合的方式計算圖像中的邊緣梯度方向。
[0034] 3.模板圖像預處理
[0035] 步驟④為對模板圖像的預處理，對于圖像質(zhì)量較好的模板圖像，可以采用與目標 圖像預處理相同的濾波方法。但在工業(yè)機器視覺中，由于產(chǎn)品對象包含強紋理，或者由于光 照變化、生產(chǎn)環(huán)境等因素在圖像中會包含大量噪聲，普通的濾波算法并不能很好地去除噪 聲，在邊緣特征提取時將大量增加邊緣點的數(shù)量，對整體算法的效率造成影響。對速度響應 要求不高的應用中也可以使用雙邊濾波器對模板圖像進行濾波去除噪聲。本發(fā)明提出一種 高效的邊緣保持的圖像濾波算法，即流程中的步驟⑤，在去噪的同時保持原始特征邊緣位 置，將濾波造成的匹配精度影響減小。
[0036] 給定圖像g，邊緣保持濾波方法得到一張新的圖像，一方面該圖像需要和源圖像盡 量接近，另一方面，該圖像需要在非大梯度的地方盡量平滑。基于此，構(gòu)建出基于加權(quán)最小 二乘(Weighted Least Square，WLS)邊緣保持濾波的能量表達式： (1)
[0038]其中，u表示目標邊緣保持圖像，g表示輸入源圖像。p表示空間像素的位置。數(shù)據(jù)項 (uP_gP)2是讓目標邊緣保持圖像與輸入源圖像盡量接近。二次項知.辦)(|說1.%^)(舞)爹為 邊緣的平滑與保持項A為零次項和二次項的權(quán)重，A越大，圖像就越平滑，ax,p(g)和 ay,p(p) 是和源圖像梯度成反比的兩個系數(shù)。Lischinski給出的形式定義如下：
(2)
[0040]其中，1為源圖像g的對數(shù)，a表示該項對于梯度的敏感程度，G為一個很小的值，防 止分母為0。將能量函數(shù)改寫成矩陣形式：
[0041 ] '--§) 4- Aj-Djr?；；： 4- tiTDy A^Dp-u) (.3.)
[0042] 其中，Ax和Ay為包含平滑權(quán)重ax,P(g)和a y,P(p)的對角矩陣，而Dx和Dy為離散型微分 算子。使目標函數(shù)一階微分為〇,可以通過求解基于大型稀疏矩陣的線性方程(4)來得到u:
[0043] (I+ALg)u = g (4)
[0044] 其中％ = Dp』* + 相當于4鄰域非齊次拉普拉斯矩陣。
[0045] 在二維情況下，需要求解一個大型稀疏矩陣的線性方程來獲得解，而該線性系統(tǒng) 為一個4鄰域非齊次拉普拉斯矩陣和一個單位矩陣的加權(quán)和。該類方程的求解一般通過 Conjugate Gradient(CG)或者Preconditioned Conjugate Gradient(PCG)求解。直接在二 維圖像上計算，其運算效率較低，對于1維信號，該算法具有更高的效率。根據(jù)這個特點，本 發(fā)明中提出如下的加速算法方案：
[0046] 首先，對于輸入一維信號，原能量表達式(1)變?yōu)椋?br>(5)
[0048] 將其改寫成矩陣形式：????其解可以通過求解方式 (5)形式的方程獲得，而此時，.s::句.'('4.:，.這樣令A= I+ALg，這相當于求解Ax = b形式的線 性方程，而A變?yōu)槿蔷仃嚒Ｈ蔷仃嚨镁€性方程可以通過高斯消元法求解，其時間復雜度 為〇(N)，相對于CG和PCG這將大大提高運算效率。
[0049] 其次，通過對圖像的每一列與每一行運用一維WLS，分別獲得x方向和y方向的邊緣 保持濾波結(jié)果。本發(fā)明中提出一個模擬二維WLS結(jié)果的方式，運用一維WLS，獲得x方向和y方 向的邊緣保持濾波結(jié)果，通過對這兩個方向求梯度，得到期望的邊緣保持濾波x方向和y方 向的梯度。利用能量函數(shù)(6)實現(xiàn)由這兩個期望的梯度恢復出期望的結(jié)果。
[0050] 4' (.6:).
[0051] 其中，f表示目標邊緣保持圖像，u表示輸入源圖像，辦。（卷滅)為希望得到的輪廓 邊緣信息。P表示空間像素的位置。數(shù)據(jù)項(f P_uP)2是讓目標邊緣保持圖像與輸入源圖像盡 量接近。二次項-浐) 2十(各4 -滬)2使目標梯度與期望梯度盡量接近。入為零次項和二 次項的權(quán)重。通過目標函數(shù)求解得到的結(jié)果即為與源圖像的差和梯度信息圖像的差的加權(quán) 和最接近的圖像。
[0052] Pravin Bhat等對于梯度域方程提出了快速且方便的傅里葉分析方法，首先把目 標函數(shù)(6)改寫成連續(xù)形式(7)
[0053] mm jJ(A(/ - uf t (7)
[0054] 運用歐拉-拉格朗日方程，并重新組織得到
[0055] n) - %i) - Vgh-,y) (8)
[0056] 其方法把方程(8)重寫為離散形式，
[0057] Xf (4* * 4；； * /4'^dy % /} ? Ate ^ 4-* (}§) (9.):.
[0058] 其中，dx= [-1，1]，dy= [-1，1]T分別為x和y的一階微分算子?？沼蚓矸e相當于頻域 的乘積，通過傅里葉變換和反傅里葉變換，可以得到：
(10)
[0060]上述的計算方法綜合后的新表達方式如式（11)所示。求解能量表達式（1)是一項 極消耗運算資源的計算，我們將能量表達式（1)分解成一系列求解更為快速或者帶快速算 法的能量表達式來模擬能量表達式(1)的結(jié)果，該算法在加速的同時不影響濾波的結(jié)果。
[0062] 算法流程中的步驟⑤為可選項，根據(jù)目標圖像的具體情況選擇。在截取模板圖像 后，只能得到模板的中心位置坐標，在一些應用中模板中心并不是所需的位置，根據(jù)需要設(shè) 置新的參考位置，在模板上指定任意位置作為參考位置，如附圖3所示，通過計算參考位置 與模板中心的位置關(guān)系，在目標圖像中找到模板后直接輸出參考位置的坐標(步驟⑥）。
[0063] 然后對步驟⑦中經(jīng)過濾波的模板圖像進行金字塔分層，金字塔層數(shù)L根據(jù)圖像的 大小確定，如附圖4和附圖5所示為模板和目標圖像的金字塔示意圖。然后在金字塔每層進 行利用曲面擬合的方式進行邊緣梯度計算⑨。計算出圖像的梯度后，再對圖像進行閾值判 斷和極大值抑制得到像素級的邊緣位置，然后在邊緣點3X3鄰域內(nèi)的梯度值進行曲面擬 合，根據(jù)梯度方向建立一個垂直于圖像的平面，利用該平面與擬合曲面的交線計算出亞像 素精度的邊緣點。
[0064] 4.模板與目標的相似度量
[0065] 本發(fā)明中的第?步計算相似度量值時以邊緣點梯度向量作為匹配信息。模板經(jīng)邊 緣檢測算法處理后，轉(zhuǎn)化成由一系列點Pi=(xi，yi) T，i = l，2,…，n構(gòu)成，對應于每個點有一 個梯度方向向量di=(ti，m)T。
[0066] 目標圖像經(jīng)相同處理轉(zhuǎn)化成由點（x，y)和與之對應的方向向量ex,y= (vx,y，wx,y)T 來表示。匹配過程中，經(jīng)變換的模板與目標圖像某一位置的子圖像計算相似度量值。模板中 邊緣點P(x，y)梯度向量經(jīng)變換后為則在目標圖像某位置q=[x，y] T子圖像處， 如附圖6所示。當一對對應邊緣點梯度方向相同時，點積取得最大值;梯度方向正交時，點積 值為零;梯度方向相反時，點積值為負的最大值，模板與目標圖像的經(jīng)過歸一化向量后的相 似度計算公式為〃二>，上式中3和&分別為d和e的歸一化表示，兩個單位 向量方向一致時，向量的點積取得最大值1;兩個向量正交時，點積值為〇;兩個向量方向相 反時；點積值為負的最大-1;當兩個向量為其他夾角時，向量的點積為COS0，0為兩個向量之 間的夾角。通過計算模板與子圖像對應邊緣點的梯度向量點積平均值來評價模板圖像與目 標子圖像的相似程度。根據(jù)計算得到的相似度量值的取值范圍理論上是整個實數(shù)域，不方 便用于判斷子圖像是否為符合要求的結(jié)果，即很難確定一個閾值來篩選所需要的結(jié)果，因 而對梯度向量進行歸一化為單位向量，即進行歸一化處理，此時，相似度量函數(shù)對任意光照 變化具有不變性，若目標圖像中有噪聲，由于噪聲引起的梯度方向向量是隨機的，平均起來 對以上求和公式的貢獻約等于零，因為具有很好的抗干擾性.歸一化后，相似度值的取值范 圍為[-1，1]，當度量值為1時，表示模板與目標圖像完全匹配;當度量值為-1時，說明模板與 目標子圖像明暗對比顛倒;此相似度量對部分遮擋和混雜的情況也能處理，相似度量值大 致與可見部分成比例。
[0067] 為加速目標定位的速度，本發(fā)明提出了一種計算相似度量值終止條件策略。將模 板圖像提取出邊緣信息后，將邊緣點分為兩部分。設(shè)模板邊緣點為n，nin 2分別為兩部分的邊 緣點個數(shù)。且m+n2=n，n多m，n多m。第一部分為最零散的點，可以通過以下措施得到，即先 選擇離模板左上角距離最遠的邊緣點作為第一點，再在剩余的邊緣點中挑選出第二點，使 得第二點到第一點的距離最遠;在剩余的邊緣點中，選擇到前面兩點距離和最大的點作為 第三點，依次而得到m個點作為第一部分的點。剩余的邊緣點作為第二部分。分兩次計算相 似度量值，先計算第一部分m個點的部分相似度量值，計算完后與設(shè)定的閾值判斷若s nl< Smin，Smin為設(shè)定的相似度閾值，貝停止計算本次相似度量值，否則在Snl的基礎(chǔ)上，繼續(xù)計算 第二部分m個點的部分相似度量值，從而得到完整的相似度量值。
[0068] 5.獲得高精度的方法
[0069] 在采用圖像金字塔的逐步求精的搜索策略后，得到的匹配位置，坐標精度為像素 級，且旋轉(zhuǎn)和縮放精度有限，需要經(jīng)一步提高匹配精度，以滿足高精度的要求。此時，利用非 線性最小二乘平差理論提高模板匹配算法的精度，其原理如附圖7所示。
[0070] 在步驟?和中，邊緣點梯度方向的垂直方向即為邊緣在該點的切線方向，將模 板圖像得到的亞像素邊緣點作為特征點，將過目標圖像邊緣點的切線作為特征線，如附圖 8、附圖9所示。通過圖像金字塔算法逐步求精的過程特征點和特征線的對應關(guān)系已基本確 定，則模板匹配求亞像素坐標、角度、縮放的微調(diào)整問題可轉(zhuǎn)化為一個非線性最小二乘平差 的問題來求解。
[0071]給定點p(x，y)齊次坐標為p(x，y，l)和對應的特征線v=(a，b，c)，滿足ax+by = c且 a2+b2 = 1貝lj點p到特征線v的最小距離為：
[0072] dmin = ax+by-c = (a，b，_c) ? (x，y，l)T (II)
[OO73 ]設(shè)特征點的平移量為(x，y)，旋轉(zhuǎn)量為9，縮放比例為s = so+ A s (SQ為初始的縮放比 例，即最小二乘平差之前粗略的縮放比例），則變換矩陣的齊次坐標表達式為：
[0074] 良容）'二 | 料知沒 ^ COS V (12)
[0 0 1 ^
[0075] 則所有特征點到與之對應的特征線最小距離的平方和為： n
[0076] ^C；S', 0, s) -? ^2 |K?| C13 )
[0077] 其中，tf為特征線向量的齊次表達式，為特征點齊次坐標.由圖像金字塔逐步 求精可以得到像素級位置精度和0.5度誤差的旋轉(zhuǎn)角度精度，根據(jù)泰勒展開近似得到sin0 ~0，cos0~1，式(13)簡化為：
[0078] 與屯趴沒,辦）：.{. &設(shè).f 細....( 14) J：ccc i
[0079] 其中ai = biXi_aiYi，0i = aiXi+biYi。式（14)分別對x，y，9，s求偏導數(shù)，并令其等于 零，通過非線性最小二乘的方法求得最優(yōu)解，即可計算得到目標的亞像素精度的位置、旋轉(zhuǎn) 角及縮放尺度參數(shù)。
[0080] 6.搜索策略
[0081] 本發(fā)明的目的是要找到目標圖像中與模板圖像中符合相似度要求(單目標時為全 局相似度最大，多目標時為局部相似度最大）的子區(qū)域位姿。因此，在金字塔最頂層的遍歷 整幅圖像進行搜索，得到一定數(shù)量的候選目標區(qū)域并依據(jù)一定準則進行排序;再根據(jù)一定 原則剔除部分候選點，在保證穩(wěn)定性的前提下以加快處理速度。然后將剩下的候選點映射 到金字塔下一層的目標圖像坐標系中，繼續(xù)搜索；由于在上一層的搜索中已經(jīng)得到目標區(qū) 域的大致位置，因此在本層的搜索只需在映射后位姿的小鄰域內(nèi)進一步搜索即可，同樣當 前層搜索完后需要根據(jù)一定準則剔除掉部分冗余候選點。依次類推，直到搜索到原始分辨 率層;從金字塔頂層到原始分辨率層目標圖像的分辨率越來越高，精度也越來越高，因此目 標的定位也越來越精確，搜索過程如附圖10所示。最后在原始分辨率下通過第?步得到亞 像素級精度的目標區(qū)域的位姿。
[0082] 7.基于候選目標點篩選的加速策略
[0083] 當定位方法需要進一步加速時，本發(fā)明中采用了一種候選目標點的篩選策略，即 步驟?，在目標圖像的頂層金字塔圖像內(nèi)，每個位置都要執(zhí)行一次與模板圖像對應的匹配 操作。為進一步縮減匹配消耗時間，在匹配運算計算之前判斷該位置是否為目標所在可能 位置(候選點）。以向量形式表現(xiàn)單點模板匹配的度量函數(shù)s = di ? ex,y，所有模板點都參與 匹配運算操作時，匹配度量函數(shù)表現(xiàn)為s= | |D ? E| |，其中D={di| (dhcb，…，dn)}，E={ei (ei，e2,…，en)} 〇
[0084] 7.1減少運算量
[0085] 根據(jù)柯西-施瓦茨(Cauchy-Schwarz)不等式 | |D.E||<||D|| ? ||E| |。等式左側(cè) 即是模板匹配度量函數(shù)分值，式中含有大量的乘積運算及加法運算；右側(cè)的運算量可以分 為在線運算及線下運算，相交左側(cè)極大減少運算量。當右側(cè)等式不滿足外設(shè)條件的情況下， 即判斷左側(cè)度量函數(shù)不符合候選點要求，節(jié)省在該位置的相應計算工作，提高了匹配速度。 [0086] 7.2判斷條件轉(zhuǎn)換
[0087] 設(shè)定a，b分別為模板點單位向量集合及對應目標圖像點單位向量集合，根據(jù)柯西-施瓦茨不等式及誤差項關(guān)系，有下等式：
[0088] |a| |2 ? | |b| |2-(a ? b)2 = | | a | |2 ? | | c | |2 (15)
[0089]上述等式中（a* b)2分解為虛部與實部：
[0090] (a. ^)2 ^ 4-1~ ^ kR- < n2 - ^ < (I - .s21 > n > (16)
[0091] 其中R表示實部，I表示虛部，smin表示最小匹配度量值，n模板邊緣點個數(shù)。假設(shè)| |c |2 = 1| |b| |2，（le[0，l])得如下等式：
(17)
[0093]最后需要計算的| |b| |2表示目標圖像中某個匹配位置上模板范圍內(nèi)的邊緣點個 數(shù)。不同區(qū)域的數(shù)值可以使用積分圖像快速計算得到。當I |b| |2符合等式（17)時，目標圖像 上該點位置是一個候選點，否則度量函數(shù)計算過程直接跳過當前位置，以加速計算過程。 [0094]本發(fā)明的方法具有以下優(yōu)點：
[0095] 穩(wěn)定可靠一一由于選取的度量函數(shù)具有很好的抗干擾性(噪聲對度量函數(shù)的貢獻 近似為零），且對非線性光照和明暗變化不敏感，因此具有良好的魯棒性；
[0096] 匹配速度快一一度量函數(shù)需要計算的參數(shù)簡單，且采用圖像金字塔，通過逐步求 精的搜索策略，保證了匹配的快速性，能夠保證處理的實時性；
[0097]尚精度 在逐步求精的過程中，最后一步通過最小二乘平差理論，進一步提尚 匹配結(jié)果的精度，不僅使坐標精度達到亞像素級，且旋轉(zhuǎn)角度的精度達到±0.01°，縮放比 例的精度達到±0.02 %。
[0098]以上內(nèi)容是結(jié)合具體的優(yōu)選實施方式對本發(fā)明所作的進一步詳細說明，不能認定 本發(fā)明的具體實施只局限于這些說明。對于本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員來說，在 不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡單推演或替換，都應當視為屬于本發(fā)明的 保護范圍。
【主權(quán)項】
1. 一種帶旋轉(zhuǎn)、縮放的快速高精度幾何模板匹配方法，其特征在于:所述方法包括以下 步驟： 步驟1:輸入圖像，包括模板圖像和目標圖像； 步驟2:對圖像進行預處理； 步驟3:圖像金字塔分層； 步驟4:模板圖像金字塔各層亞像素邊緣點及梯度方向提取，目標圖像金字塔各層梯度 方向提??； 步驟5:根據(jù)上述梯度方向計算模板圖像和目標圖像相似度量值，逐步求精得到相似度 量值的局部極值點； 步驟6:利用模板圖像的亞像素邊緣點作為特征點、目標圖像的梯度方向的切線方向作 為特征線以及相似度量值的局部極值點，根據(jù)相似度函數(shù)由金字塔從粗到精計算模板和目 標圖像的相似度及候選位置； 步驟7:在金字塔最底層得到的像素級定位精度，利用最小二乘平差進行微調(diào)整，獲得 亞像素級定位精度，及更高精度的角度、尺度縮放精度； 步驟8:得到目標圖像中模板的坐標、角度和縮放因子。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于:使用旋轉(zhuǎn)矩形、圓形、橢圓、圓環(huán)、多邊形中 任一種工具來選擇圖像中幾何特征較為明顯的區(qū)域作為模板圖像。3. 根據(jù)權(quán)利要求1所述的方法，其特征在于:輸入圖像時，所述預處理為采用均值濾波 或中值濾波對目標圖像中的噪聲進行去噪。4. 根據(jù)權(quán)利要求1所述的方法，其特征在于:所述預處理包括對模板圖像進行預處理， 其中預處理算法為邊緣保持的圖像濾波算法，即在去噪的同時保持原始特征邊緣位置，將 濾波造成的匹配精度影響減小。5. 根據(jù)權(quán)利要求1所述的方法，其特征在于:所述步驟4具體為:在金字塔每層進行利用 曲面擬合的方式進行邊緣梯度計算，計算出圖像的梯度后，再對圖像進行閾值判斷和極大 值抑制得到像素級的邊緣位置，然后在邊緣點3X3鄰域內(nèi)的梯度值進行曲面擬合，根據(jù)梯 度方向建立一個垂直于圖像的平面，利用該平面與擬合曲面的交線計算出亞像素精度的邊 緣點。6. 根據(jù)權(quán)利要求1所述的方法，其特征在于：所述利用最小二乘平差進行微調(diào)整具體 為:邊緣點梯度方向的垂直方向即為邊緣在該點的切線方向，將模板圖像得到的亞像素邊 緣點作為特征點，將過目標圖像邊緣點的切線作為特征線，通過圖像金字塔算法逐步求精 的過程特征點和特征線的對應關(guān)系已基本確定，則模板匹配求亞像素坐標、角度、縮放的微 調(diào)整問題可轉(zhuǎn)化為一個非線性最小二乘平差的問題來求解。7. 根據(jù)權(quán)利要求1所述的方法，其特征在于:為加速目標定位的速度，所述方法采用計 算相似度量值終止條件策略:將模板圖像提取出邊緣信息后，將邊緣點分為兩部分;設(shè)模板 邊緣點為η，η?，Π2分別為兩部分的邊緣點個數(shù)，且111+112 = 11，11多111，11多112;第一部分為最零散 的點，通過以下措施得到，即先選擇離模板左上角距離最遠的邊緣點作為第一點，再在剩余 的邊緣點中挑選出第二點，使得第二點到第一點的距離最遠;在剩余的邊緣點中，選擇到前 面兩點距離和最大的點作為第三點，依次而得到m個點作為第一部分的點，剩余的邊緣點 作為第二部分;分兩次計算相似度量值，先計算第一部分m個點的部分相似度量值，計算完 后與設(shè)定的閾值判斷若snl<s_，s_為設(shè)定的相似度閾值，則停止計算本次相似度量值，否 則在Snl的基礎(chǔ)上，繼續(xù)計算第二部分1!2個點的部分相似度量值，從而得到完整的相似度量 值。8. 根據(jù)權(quán)利要求1所述的方法，其特征在于：當定位方法需要進一步加速時，所述方法 采用候選目標點的篩選策略，即在目標圖像的頂層金字塔圖像內(nèi)，每個位置都要執(zhí)行一次 與模板圖像對應的匹配操作;為進一步縮減匹配消耗時間，在匹配運算計算之前判斷該位 置是否為目標所在可能位置。9. 根據(jù)權(quán)利要求1所述的方法，其特征在于:所述步驟6包括在金字塔最頂層的遍歷整 幅圖像進行搜索，得到一定數(shù)量的候選目標區(qū)域并進行排序;再剔除部分候選點，在保證穩(wěn) 定性的前提下以加快處理速度;然后將剩下的候選點映射到金字塔下一層的目標圖像坐標 系中，繼續(xù)搜索；由于在上一層的搜索中已經(jīng)得到目標區(qū)域的大致位置，因此在本層的搜索 只需在映射后位姿的小鄰域內(nèi)進一步搜索即可，同樣當前層搜索完后需要根據(jù)一定準則剔 除掉部分冗余候選點；依次類推，直到搜索到原始分辨率層;從金字塔頂層到原始分辨率層 目標圖像的分辨率越來越高，精度也越來越高，因此目標的定位也越來越精確。
【文檔編號】G06K9/62GK105930858SQ201610209308
【公開日】2016年9月7日
【申請日】2016年4月6日
【發(fā)明人】吳曉軍, 鄒廣華, 王鑫歡
【申請人】吳曉軍