圖像核對方法及裝置、模型模板生成方法及裝置以及程序的制作方法
【專利摘要】本發(fā)明提供一種圖像核對方法及裝置、模型模板生成方法及裝置以及程序，是對于變動具有魯棒性的模板匹配技術(shù)。作為解決手段，圖像核對方法包括：取得模型圖像的取得步驟；對所述模型圖像分別施加不同的變動而生成多個變動圖像的變動圖像生成步驟；從所述多個變動圖像中分別提取特征量的特征量提取步驟；根據(jù)所述特征量生成模型模板的模板生成步驟；以及使用輸入圖像和所述模型模板進(jìn)行模板匹配的核對步驟。優(yōu)選針對每個區(qū)域使用在特征量步驟中提取出的比例較多的特征量生成模型模板，或者優(yōu)先使用所提取的特征量數(shù)量較多的區(qū)域或特征量分布峰態(tài)高的區(qū)域的特征量生成模型模板。
【專利說明】圖像核對方法及裝置、模型模板生成方法及裝置以及程序

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及通過模板匹配（template matching)進(jìn)行圖像核對的技術(shù)。

【背景技術(shù)】
[0002] 在通過模板匹配進(jìn)行物體檢測的情況下，若所登記的模型圖像與核對對象的圖像 之間產(chǎn)生變動，則檢測精度降低。此處所謂的變動是指例如位置偏移或旋轉(zhuǎn)、放大/縮小、 物體的細(xì)微變形、照明的變化和圖像噪聲的附加等。
[0003] 作為針對該問題的應(yīng)對方法，可考慮準(zhǔn)備與各種變動對應(yīng)的多個模型模板（mode template)。例如，根據(jù)從不同角度拍攝到的模型圖像、變更照明拍攝到的模型圖像、施加了 噪聲的模型圖像，分別生成模型模板。由此，在施加了變動的情況下也能夠進(jìn)行檢測。
[0004] 作為另一種應(yīng)對方法，在非專利文獻(xiàn)1中提出了被稱之為Geometric Blur (幾何 模糊）的方法。在該方法中，考慮特征量的位置，應(yīng)用距離原點(diǎn)越遠(yuǎn)則方差越大的高斯濾波 器，由此能夠?qū)崿F(xiàn)對于變動具有魯棒性的模板匹配。
[0005] 在先技術(shù)文獻(xiàn) [0006] 非專利文獻(xiàn)
[0007] 非專利文獻(xiàn) 1 :Berg, Alexander C.，and Jitendra Malik.''Geometric blur for template matching. "Computer Vision and Pattern Recognition, 2001. CVPR2001. Proceedings of the2001IEEE Computer Society Conference on.Vol. 1. IEEE, 2001.
[0008] 作為生成多個模型模板加以使用的方法，由于需要按照模型模板的數(shù)量進(jìn)行搜索 處理，存在處理時間根據(jù)模型模板的數(shù)量而線性增加的問題。
[0009] 另外，在非專利文獻(xiàn)1所述的方法中，由于應(yīng)用了高斯濾波器，因而僅能針對作為 連續(xù)量的取得單峰型分布的特征量（例如亮度特征量）加以應(yīng)用。在將對亮度梯度的方向 進(jìn)行量化后的內(nèi)容用作特征量時等不滿足上述條件的情況下，無法應(yīng)用非專利文獻(xiàn)1所述 的方法。


【發(fā)明內(nèi)容】

[0010] 本發(fā)明的目的在于提供一種對于變動具有魯棒性的模板匹配技術(shù)。
[0011] 為了解決上述課題，本發(fā)明第一方面的圖像核對方法對模型圖像施加所預(yù)測的各 種變動，根據(jù)這些變動圖像進(jìn)行特征提取，使用在各種變動情況下穩(wěn)定顯現(xiàn)的特征量生成 模板。
[0012] 更具體而言，本發(fā)明第一方面的圖像核對方法是由圖像核對裝置執(zhí)行的圖像核對 方法，包括：取得步驟，取得模型圖像；變動圖像生成步驟，對所述模型圖像分別施加不同 的變動而生成多個變動圖像；特征量提取步驟，從所述多個變動圖像中分別提取出特征量； 模板生成步驟，根據(jù)所述特征量生成模型模板；以及核對步驟，使用核對圖像和所述模型模 板，進(jìn)行模板匹配。
[0013] 此外，對模型圖像施加的變動可為任意變動，例如優(yōu)選施加旋轉(zhuǎn)、放大/縮小、變 形、照明的變化、圖像噪聲的附加中的至少任一個。
[0014] 通過這樣處理，即使在核對時產(chǎn)生變動的情況下，只要在模板生成時考慮到該變 動，就能正確地檢測物體。另外，雖然對模型圖像施加多種變動，然而所生成的模板僅為1 個，因而在核對時不會導(dǎo)致處理速度降低。
[0015] 在本發(fā)明中，優(yōu)選在特征量提取步驟中，將各個變動圖像分割為多個區(qū)域，提取出 每個區(qū)域的特征量。這種情況下，既可以從1個區(qū)域提取出1個特征量，也可以從構(gòu)成1個 區(qū)域的多個子區(qū)域中分別提取特征量。無論何種情況，通過從多個變動圖像中按照每個區(qū) 域提取特征量，都能獲得各區(qū)域的特征量的分布。作為特征量，例如可使用將亮度的梯度方 向量化后得到的內(nèi)容。
[0016] 在本發(fā)明的模板生成步驟中，優(yōu)選使用在所述特征量提取步驟中針對所述每個區(qū) 域提取出的特征量的分布，生成模型模板。此時，即可以使用特征量分布本身生成模型模 板，也可以使用對特征量的分布賦予特征的參數(shù)（最頻值或平均值等）生成模型模板。
[0017] 或者，優(yōu)選使用在各區(qū)域中提取出的比例高的特征量生成模型模板。其中，提取 出的比例高的特征量既可以指從出現(xiàn)頻度高的特征量起規(guī)定數(shù)量的特征量，也可以指出現(xiàn) 概率在規(guī)定值以上的特征量。例如，可以考慮使用特征量的最頻值或使用出現(xiàn)概率在閾值 (例如20%)以上的特征量，生成模型模板。
[0018] 另外，在本發(fā)明的模板生成步驟中，優(yōu)選使用在特征量提取步驟中提取出特征量 的數(shù)量多的區(qū)域的特征量，生成模型模板。此時，假定的是有時能夠從區(qū)域取得特征量而有 時無法從區(qū)域取得特征量的情況。作為這種特征量的例子，可舉出與亮度梯度相關(guān)的特征 量。能夠從存在邊緣的區(qū)域獲得亮度梯度特征量，而無法從不存在邊緣的區(qū)域獲得亮度梯 度特征量。因此，若從多個變動圖像提取出這種特征量，則由于區(qū)域不同提取出的特征量的 數(shù)量（提取頻度）不同。如上所述，通過使用提取出的特征量數(shù)量多的區(qū)域的特征量生成模 板模型，能夠?qū)⒃诟鞣N變動情況下很有可能共同顯現(xiàn)的特征量反映于模型模板，因此變動 情況下的核對精度得以提升。另外，由于特征量的數(shù)量可以很少，因而核對處理實現(xiàn)高速。 此外，提取出的特征量數(shù)量多的區(qū)域既可以是指從該區(qū)域提取出的特征量的數(shù)量在規(guī)定閾 值以上的區(qū)域，也可以指提取出的特征量的數(shù)量屬于上位規(guī)定比例的區(qū)域。
[0019] 另外，在本發(fā)明的模板生成步驟中，優(yōu)選使用特征量分布的峰態(tài)高的區(qū)域的特征 量，生成模型模板。特征量分布的峰態(tài)高是指能夠獲得在各種變動情況下共同的特征量。因 此，通過使用這種特征量生成模型模板，既能夠提升變動情況下的核對精度，又能使得核對 處理實現(xiàn)高速化。
[0020] 上述內(nèi)容中僅使用特征量的出現(xiàn)頻度高的區(qū)域或特征量分布的峰態(tài)高的區(qū)域的 特征量生成模型模板，但是也可以將出現(xiàn)頻度和峰態(tài)用作核對時的權(quán)重。也就是說，優(yōu)選還 根據(jù)特征量在各區(qū)域的出現(xiàn)頻度和特征量分布的峰態(tài)來求出該區(qū)域的指標(biāo)值并進(jìn)行分配， 在核對步驟中實施基于對各區(qū)域分配的指標(biāo)值的加權(quán)，以進(jìn)行輸入圖像與模型模板的模板 匹配。此時，出現(xiàn)頻度和峰態(tài)越大，則越增大權(quán)重。換言之，對特征量的出現(xiàn)頻度越高的區(qū) 域以及特征量分布的峰態(tài)越高的區(qū)域，越增大其對于核對評分的影響度。通過這樣處理，在 被施加了變動的情況下也能提高核對精度。
[0021] 此外，本發(fā)明還可以實現(xiàn)為包含上述處理中至少一部分的圖像核對方法。另外，本 發(fā)明還可以實現(xiàn)為用于生成在所述圖像核對方法中使用的模型模板的模型模板生成方法。 另外，本發(fā)明還可以實現(xiàn)為具備用于實施所述圖像核對方法和模型模板生成方法的手段的 圖像核對裝置和模型模板生成裝置。另外，本發(fā)明還可以實現(xiàn)為用于使計算機(jī)執(zhí)行所述圖 像核對方法和模型模板生成方法的計算機(jī)程序。所述各手段和各處理在可能的情況下可以 彼此組合而構(gòu)成本發(fā)明。
[0022] 根據(jù)本發(fā)明，能夠?qū)崿F(xiàn)對于變動具有魯棒性的模板匹配。

【專利附圖】

【附圖說明】
[0023] 圖1是示出本實施方式的圖像核對裝置的功能塊的圖。
[0024] 圖2是示出本實施方式的圖像核對裝置的硬件構(gòu)成的圖。
[0025] 圖3是示出模型模板生成處理的流程的流程圖。
[0026] 圖4是用于說明特征量提取的圖，（A)表示模型圖像的區(qū)域分割，（B)表示分割后 的區(qū)域，（C)表示根據(jù)區(qū)域的特征量計算，（D)表示亮度梯度方向特征量的量化。
[0027] 圖5是說明特征量分布的制作處理的圖，（A)表示模型圖像，（B)表示變動圖像， (C) 表示從各變動圖像提取出的亮度梯度方向特征量，（D)表示亮度梯度方向特征量的分 布。
[0028] 圖6是說明基于特征量分布的模型模板生成處理的圖，（A)表示模型圖像，（B)? (D) 分別表示各區(qū)域的特征量分布。
[0029] 圖7是表不圖像核對處理的流程的流程圖。
[0030] 標(biāo)號說明
[0031] 100圖像核對裝置；110模型模板生成處理部；111模型圖像取得部；112變動圖像 生成部；113特征量提取部；114模型模板生成部；120模板匹配部；121核對圖像取得部； 122特征量提取部；123圖像核對部；130模型模板存儲部

【具體實施方式】
[0032] 下面參照附圖，根據(jù)實施例示例性詳細(xì)說明用于實施本發(fā)明的方式。其中，在沒有 特別描述的情況下，本發(fā)明的范圍局不限于實施例所述的構(gòu)成部件的尺寸、材質(zhì)、形狀及其 相對配置等。
[0033] 本實施方式的圖像核對裝置100取得在生產(chǎn)線等中被組裝且在傳送帶上被輸 送的工件的圖像，使用預(yù)先登記的模型（模型模板）對該圖像進(jìn)行模式匹配（pattern matching)處理。
[0034] 圖2是本發(fā)明實施方式的圖像核對裝置100的概要構(gòu)成圖。參照圖2,圖像核對 裝置100具有：作為運(yùn)算處理部的CPU(Central Processing Unit,中央處理單元）101、 作為存儲器部的主存儲器102和硬盤103、相機(jī)接口 104、輸入接口 105、顯示控制器106、 PLC(Programmable Logic Controller)接口 107、通信接口 108、數(shù)據(jù)讀寫器 109。這些各 部分通過總線B以彼此能夠進(jìn)行數(shù)據(jù)通信的方式連接。
[0035] CPU101將存儲于硬盤103的程序（code，代碼）擴(kuò)展到主存儲器102,以規(guī)定順序 執(zhí)行這些程序，由此進(jìn)行各種運(yùn)算。典型地，主存儲器102為DRAM (Dynamic Random Access Memory，動態(tài)隨機(jī)存取存儲器）等易失性存儲裝置，除了從硬盤103讀取的程序之外，主存 儲器102還保存由攝像裝置8取得的圖像數(shù)據(jù)、工件數(shù)據(jù)、與模型有關(guān)的信息等。進(jìn)而，硬 盤103還可以存儲各種設(shè)定值等。此外，還可以采用閃速存儲器等半導(dǎo)體存儲裝置來代替 硬盤103或與硬盤103 -起使用。
[0036] 相機(jī)接口 104對CPU101與攝像裝置8之間的數(shù)據(jù)傳輸進(jìn)行中介。即，相機(jī)接口 104與用于拍攝工件而生成圖像數(shù)據(jù)的攝像裝置8連接。更具體而言，相機(jī)接口 104具有 能夠與1個以上攝像裝置8連接且用于暫時蓄積來自攝像裝置8的圖像數(shù)據(jù)的圖像緩存器 104a。而且，相機(jī)接口 104在圖像緩存器104a中蓄積了規(guī)定幀數(shù)的圖像數(shù)據(jù)時，將該蓄積 的數(shù)據(jù)轉(zhuǎn)送到主存儲器102。另外，相機(jī)接口 104按照CPU101產(chǎn)生的內(nèi)部指令，向攝像裝置 8賦予拍攝指令。
[0037] 輸入接口 105對CPU101與鼠標(biāo)4、鍵盤、觸摸面板等輸入部之間的數(shù)據(jù)傳輸進(jìn)行中 介。即，輸入接口 105受理用戶操作輸入部而賦予的操作指令。
[0038] 顯示控制器106與作為顯示裝置的典型例的顯示器2連接，將CPU101中的圖像處 理結(jié)果通知給用戶。即，顯示控制器106與顯示器2連接，控制該顯示器2的顯示。
[0039] PCL接口 107對CPU101與控制工件傳送機(jī)構(gòu)的PLC5之間的數(shù)據(jù)傳輸進(jìn)行中介。 更具體而言，PLC接口 107將與由PLC5控制的生產(chǎn)線的狀態(tài)有關(guān)的信息和與工件有關(guān)的信 息傳輸給CPU101。
[0040] 通信接口 108對CPU101與控制臺（或個人計算機(jī)和服務(wù)器裝置）等之間的數(shù)據(jù)傳 輸進(jìn)行中介。典型地，通信接口 108由以太網(wǎng)（注冊商標(biāo)）或USB (Universal Serial Bus) 等構(gòu)成。此外，如后所述，還可以通過通信接口 108將從發(fā)布服務(wù)器等下載的程序安裝到圖 像核對裝置100,以取代將存儲于存儲卡6的程序安裝到圖像核對裝置100的方式。
[0041] 數(shù)據(jù)讀寫器109對CPU101與作為存儲介質(zhì)的存儲卡6之間的數(shù)據(jù)傳輸進(jìn)行中 介。即，圖像核對裝置100執(zhí)行的程序等在存儲于存儲卡6的狀態(tài)下流通，數(shù)據(jù)讀寫器109 從該存儲卡6讀出程序。另外，數(shù)據(jù)讀寫器109響應(yīng)CPU101的內(nèi)部指令，將攝像裝置8 取得的圖像數(shù)據(jù)和/或圖像核對裝置100中的處理結(jié)果等寫入存儲卡6。此外，存儲卡6 由 CF(Compact Flash)、SD(Secure Digital)等通用的半導(dǎo)體存儲設(shè)備、軟盤（Flexible Disk)等磁存儲介質(zhì)、⑶-ROM(Compact Disk Read Only Memory)等光學(xué)存儲介質(zhì)等構(gòu)成。
[0042] 另外，還可以根據(jù)需要將圖像核對裝置100與打印機(jī)等其他輸出裝置連接。
[0043] 圖1示出本實施方式的圖像核對裝置100的功能塊。如上所述，圖像核對裝置100 的CPU101通過執(zhí)行預(yù)先安裝的程序（0S和應(yīng)用程序等）而實現(xiàn)圖1所示的功能。此外，還 可以將圖1所示的功能的一部分或全部實現(xiàn)為專用的硬件。
[0044] 如圖1所示，圖像核對裝置100大致具有模型模板生成處理部110和模板匹配部 120。模型模板生成處理部110是根據(jù)模型圖像生成模型模板的功能部。通過模型模板生 成處理部110生成的模型模板存儲于模型模板存儲部130中。模板匹配部120是如下功能 部，其受理核對對象的圖像（核對圖像）作為輸入，使用存儲在模型模板存儲部130中的模 型模板，判定核對圖像與模型模板是否一致。
[0045] 模型模板生成處理部110具有模型圖像取得部111、變動圖像生成部112、特征量 提取部113、模型模板生成部114。圖3是示出由模型模板生成處理部110執(zhí)行的模型模板 生成處理的流程的流程圖。另外，模板匹配部120具有核對圖像取得部121、特征量提取部 122、圖像核對部123。圖7是表示由模板匹配部120執(zhí)行的圖像核對處理（模板匹配處理） 的流程的流程圖。參照附圖如下依次說明各功能部的詳細(xì)情況。
[0046] 〈模型模板生成處理〉
[0047] 首先說明由模型模板生成處理部110執(zhí)行的模型模板生成處理。在本實施方式 中，生成如下模型模板，即，即使在模型模板生成時使用的模型圖像的拍攝環(huán)境和核對對象 的圖像的拍攝環(huán)境發(fā)生變化的情況下也能夠魯棒性地進(jìn)行物體檢測的模型模板。作為環(huán)境 的差異，存在例如明亮度、圖像噪聲、物體的旋轉(zhuǎn)或大小的變化、變形等。為了能夠?qū)崿F(xiàn)魯棒 性的圖像核對，模型模板生成處理部110生成對所輸入的模型圖像施加了設(shè)想的各種變動 的多個變動圖像，基于根據(jù)多個變動圖像獲得的特征量的分布，生成1個模型模板。
[0048] [模型圖像取得]
[0049] 為了生成模型模板，首先由模型圖像取得部111取得模型圖像（S11)。模型圖像 是拍攝應(yīng)通過模板匹配檢測的物體而得到的圖像?；谀Ｐ蛨D像取得部111的模型圖像取 得方法可為任意方法。例如，既可以讀入存儲在存儲介質(zhì)中的模型圖像數(shù)據(jù)，也可以經(jīng)由網(wǎng) 絡(luò)取得模型圖像數(shù)據(jù)。另外，還可以在圖像核對裝置100組裝攝像裝置，由模型圖像取得部 111取得由攝像裝置拍攝的數(shù)據(jù)。
[0050] [變動圖像生成]
[0051] 接著，變動圖像生成部112對模型圖像施加彼此不同的多種變動，生成多個變動 圖像（S12)。作為變動的例子，可舉出旋轉(zhuǎn)、放大/縮小、變形、照明的變化、圖像噪聲的附加 等。變動圖像生成部112將組合了以上變動之一或多個后得到的變動施加到模型圖像而生 成變動圖像。關(guān)于賦予何種變動以及使各種變動為何種程度，優(yōu)選實際進(jìn)行物體檢測時考 慮所設(shè)想的變動加以確定。變動圖像生成部112所生成的變動圖像的數(shù)量可為任意，例如 可考慮生成幾千到幾萬張左右的變動圖像。
[0052] [特征量提取]
[0053] 接著，特征量提取部113從多個變動圖像中分別提取出特征量（S13)。在本實施 方式中，采用亮度梯度方向特征量作為要提取的特征量。以下參照圖4說明亮度梯度方向 特征量。如圖4(A)所示，特征量提取部113將變動圖像30分割為多個區(qū)域。在本實施方 式中，分割為具有3像素X3像素的大小的區(qū)域。圖4(B)是將圖4(A)中的區(qū)域31放大后 示出的圖。如圖4(B)所示，區(qū)域31由3X3的9個像素31A?311構(gòu)成。此外，各區(qū)域的 大小可為3X3以外的任意大小。另外，還可以按照使得各區(qū)域彼此重復(fù)的方式進(jìn)行區(qū)域分 割。
[0054] 特征量提取部113針對分割區(qū)域內(nèi)的各像素求出亮度梯度的方向和大?。◤?qiáng)度）。 亮度梯度可以根據(jù)對象像素及其周圍的像素來求取。圖4(C)表示針對區(qū)域31內(nèi)的各像素 求出的亮度梯度。其中，箭頭的方向表示亮度梯度的方向，箭頭的長度表示亮度梯度的大 小。圖4(C)中，粗線所示的箭頭表示亮度梯度強(qiáng)度在規(guī)定的閾值以上。在本實施方式中， 在某像素的亮度梯度強(qiáng)度小于規(guī)定的閾值的情況下，視為未從該像素檢測到亮度梯度。在 圖4(C)的例子中，視為僅從3個像素31C、31E、31G檢測到亮度梯度。
[0055] 如圖4(D)所示，將亮度梯度方向量化后進(jìn)行表示。本實施方式中，將亮度梯度方 向分類為8個方向。因此，從圖4(C)所示的區(qū)域31中提取出方向1的1個亮度梯度和方 向2的2個特征量。此外，對亮度梯度方向進(jìn)行量化時的量化方法可為任意方法。
[0056] 對模型圖像30內(nèi)的所有區(qū)域?qū)嵤┤缟咸幚恚瑥亩瓿蓪τ?個變動圖像的亮度梯 度方向特征量的提取。
[0057] 特征量提取部113對所有變動圖像實施上述處理，統(tǒng)合各區(qū)域的亮度梯度方向特 征量的分布，由此制作出各區(qū)域的特征量分布（S14)。參照圖5說明根據(jù)多個變動圖像制 作特征量分布的處理。圖5(A)是示出模型圖像40的圖。模型圖像40顯現(xiàn)出檢測對象物 體42。此外，圖中用陰影示出檢測對象物體42的內(nèi)部，但是內(nèi)部與邊界線具有相同的亮度。 以下以模型圖像40的區(qū)域41為例說明特征量分布制作處理。
[0058] 圖5(B)示出在對模型圖像40施加了各種變動（其中，此處限定為旋轉(zhuǎn)和放大/ 縮?。┑那闆r下區(qū)域41中的圖像。沒有變動的情況下，區(qū)域41包含物體42的角部（縱向 邊緣和橫向邊緣），通過變動，邊緣的朝向發(fā)生變動，或者任一方的邊緣或雙方的邊緣從區(qū) 域41錯開。圖5(C)表示從圖5(B)所示的各變動圖像的區(qū)域41提取了亮度梯度方向特征 量的結(jié)果。能夠根據(jù)各變動圖像獲得1個或多個亮度梯度方向特征量。雖然通過所施加的 變動提取出的亮度梯度不同，但求平均后獲得與模型圖像的亮度梯度類似的亮度梯度的概 率較高。
[0059] 在圖5的例子中說明了將旋轉(zhuǎn)和放大/縮小作為對模型圖像施加的變動，然而在 施加諸如改變照明或附加圖像噪聲等變動的情況下也能進(jìn)行同樣的處理，這是不言自明 的。
[0060] 特征量提取部113如上所述生成根據(jù)多個變動圖像獲得的與1個區(qū)域有關(guān)的亮度 梯度方向特征量的分布。圖5(D)是示出模型圖像40的區(qū)域41的特征量分布的圖。在圖 5(D)中，橫軸表示量化后的亮度梯度方向特征量，縱軸表示各亮度梯度方向特征量的出現(xiàn) 概率。出現(xiàn)概率指的是某方向的特征量在從某區(qū)域提取出的特征量整體所占的比例。在該 例子中，示出作為從區(qū)域41提取的亮度梯度方向特征量中出現(xiàn)頻度較高的是方向1和8。
[0061] 特征量提取部113根據(jù)在步驟S14制作的亮度梯度方向特征量的分布，按照模型 圖像的每個區(qū)域計算模型模板生成時使用的特征量（S15)。在本實施方式中，按照每個區(qū)域 將該區(qū)域內(nèi)的出現(xiàn)概率（出現(xiàn)比例）較高的亮度梯度方向特征量作為模型模板生成時使用 的特征量。其中，出現(xiàn)概率（出現(xiàn)比例）較高的亮度梯度方向特征量指的是在該區(qū)域中出 現(xiàn)概率（出現(xiàn)比例）處于規(guī)定閾值以上的亮度梯度方向特征量。在采用20%作為閾值的情 況下，根據(jù)圖5(D)所示的分布，將方向1和8的亮度梯度方向特征量決定為模型模板生成 時使用的特征量。
[0062] 此外，也可以利用上述以外的基準(zhǔn)來選擇模型模板生成時使用的特征量。例如，可 以將步驟S14中生成的亮度梯度方向特征量的分布本身用作模型模板生成時的特征量。此 夕卜，還可以將分布中的最頻值、或用0或1表現(xiàn)特征量的有無的值、出現(xiàn)概率本身用作特征 量。
[0063][模型模板生成]
[0064] 模型模板生成部114根據(jù)特征量計算部113計算出的特征量生成模型模板（S16)。 此時，優(yōu)先從特征量的出現(xiàn)數(shù)較多的區(qū)域或分布峰態(tài)較大的區(qū)域生成模型模板。
[0065] 例如，在優(yōu)先從特征量的出現(xiàn)數(shù)較多的區(qū)域生成模型模板的情況下，使用特征 量的出現(xiàn)數(shù)在規(guī)定閾值以上的區(qū)域或特征量的出現(xiàn)數(shù)屬于規(guī)定的上位比例（例如，上位 25%)的區(qū)域的特征量，生成模型模板。以圖6為例進(jìn)行說明。圖6(A)示出模型圖像50 和其中的3個區(qū)域51、52、53。圖6(B)?（D)分別表示區(qū)域51?53的亮度梯度方向特征 量的分布。在圖6(B)?（D)中，縱軸表示在步驟S13中提取出的特征量的數(shù)量。在該例子 中，例如將區(qū)域51和52中特征量的出現(xiàn)數(shù)（整體的合計）判斷為閾值以上，將區(qū)域53中 特征量的出現(xiàn)數(shù)判斷為不足閾值。如上進(jìn)行判斷的情況下，模型模板生成部114使用從區(qū) 域51和52獲得的特征，生成模型模板。
[0066] 根據(jù)特征量的分布峰態(tài)較大的區(qū)域來生成模型模板的情況與上述情況相同。艮P， 使用特征量分布峰態(tài)在規(guī)定閾值以上的區(qū)域的特征量來生成模型模板。此外，這里所謂的 峰態(tài)表示頻度分布的峰值的陡度，只要是峰值越陡則越取高值的指標(biāo)，則可使用任意指標(biāo)， 并不限于統(tǒng)計學(xué)領(lǐng)域定義的峰態(tài)。
[0067]另外，作為優(yōu)先根據(jù)特征量的出現(xiàn)數(shù)較多的區(qū)域或分布峰態(tài)較大的區(qū)域來生成模 型模板的手法，優(yōu)選使這種區(qū)域的權(quán)重增大。這種情況下，按照每個區(qū)域根據(jù)特征量的出現(xiàn) 數(shù)和分布峰態(tài)來計算對于該區(qū)域的指標(biāo)值，將該指標(biāo)值作為該區(qū)域的核對時的權(quán)重，生成 模型模板。
[0068] 模型模板生成處理部114生成的模型模板被儲存于模型模板存儲部130。
[0069] 〈模板匹配處理〉
[0070] 接著，參照圖7的流程圖說明通過模型模板生成處理部120執(zhí)行的模板匹配處理 (圖像核對處理）。首先，核對圖像取得部121取得核對圖像（S21)。核對圖像是作為使用 模型模板從該圖像中檢測物體的對象的圖像?；诤藢D像取得部121的核對圖像的取得 方法可以與使用模型圖像取得部111時同樣地為任意方法。
[0071] 特征量提取部122從核對圖像提取出亮度梯度方向特征量（S22)。該特征量提取 處理與基于特征量提取部113的處理（步驟S13和圖4)相同。特征量提取部113從核對 圖像的各區(qū)域取得亮度梯度方向特征量。
[0072] 接著，圖像核對部123比較特征量提取部122所取得的特征量與模型模板，由此判 定核對圖像中是否包含核對對象的物體。在該處理中，根據(jù)模型模板與從核對圖像取得的 特征量的類似度來進(jìn)行判定。此外，在模型模板包含權(quán)重（基于特征量的出現(xiàn)數(shù)或分布峰 態(tài)的每個區(qū)域的指標(biāo)值）的情況下，在計算圖像整體的類似度（核對評分）時，按照每個區(qū) 域進(jìn)行基于該指標(biāo)值的加權(quán)，計算類似度。
[0073] 〈本實施方式的作用/效果〉
[0074] 根據(jù)本實施方式，由于對向模型圖像施加各種變動后得到的圖像進(jìn)行特征量提取 而生成模型模板，因此能夠?qū)崿F(xiàn)對于核對時的環(huán)境和物體的變動具有魯棒性的檢測。
[0075] 由于僅使用出現(xiàn)頻度較高的特征量生成模型模板，因此核對處理速度成為高速。 另外，出現(xiàn)頻度較低的特征量對于核對評分的貢獻(xiàn)度較小，因此對于預(yù)料之外的變動也能 實現(xiàn)具有魯棒性的檢測。
[0076] 在僅使用對物體賦予特征的圖像區(qū)域（出現(xiàn)數(shù)較多的區(qū)域和峰態(tài)較高的區(qū)域）的 特征量的情況下，處理速度成為高速。進(jìn)而，由于不使用相對于各種變動不穩(wěn)定的區(qū)域，因 而對于預(yù)料之外的變動也能進(jìn)行具有魯棒性的檢測。此外，在根據(jù)出現(xiàn)次數(shù)的多少或峰態(tài) 的高低采用針對每個區(qū)域的權(quán)重的情況下，能夠進(jìn)行更準(zhǔn)確的檢測。
[0077] 本實施方式還能應(yīng)用于使用無法獲得連續(xù)量的特征量的情況。另外，還能應(yīng)用于 特征量分布具備多個峰值的情況。非專利文獻(xiàn)1所述的Geometric Blur僅能應(yīng)用于取連 續(xù)量且取單峰型分布的特征量。因此，本實施方式能夠用于更多種類的特征量。
[0078] 〈變形例〉
[0079] 本實施方式中采用的是亮度梯度方向特征量，但是只要是量化的值，則可以采用 任意的特征量。例如，可采用亮度值（例：〇?255)、亮度值比較（按照每種相對位置關(guān)系 用〇、1來表現(xiàn)大小關(guān)系）、小波轉(zhuǎn)換特征量等。
[0080] 上述說明中，說明的是模型圖像和核對圖像為靜態(tài)圖像的情況，然而模型圖像和 核對圖像也可以是靜態(tài)圖像組（動態(tài)圖像）。對于動態(tài)圖像的模型模板的生成和核對處理 能夠與上述說明的對靜態(tài)圖像的處理同樣實現(xiàn)，因此本實施方式還能夠用于動態(tài)圖像。此 夕卜，對動態(tài)圖像施加變動的情況下，除了對各靜態(tài)圖像施加上述說明的變動之外，還可以新 追加使明亮度逐漸變化的變動、使各圖像的時序間隔隨機(jī)變化等變動。
[0081] 在上述說明中，通過1個裝置執(zhí)行模型模板生成的和圖像核對處理，也可以通過 不同的裝置來進(jìn)行模型模板的生成和圖像核對。
【權(quán)利要求】
1. 一種由圖像核對裝置執(zhí)行的圖像核對方法，其中，所述圖像核對方法包括： 取得步驟，取得模型圖像； 變動圖像生成步驟，對所述模型圖像分別施加不同的變動而生成多個變動圖像； 特征量提取步驟，從所述多個變動圖像中分別提取出特征量； 模板生成步驟，根據(jù)所述特征量生成模型模板；以及 核對步驟，使用核對圖像和所述模型模板，進(jìn)行模板匹配。
2. 根據(jù)權(quán)利要求1所述的圖像核對方法，其中，在所述特征量提取步驟中，將變動圖像 分割為多個區(qū)域，提取每個區(qū)域的特征量。
3. 根據(jù)權(quán)利要求2所述的圖像核對方法，其中，在所述模板生成步驟中，針對所述每個 區(qū)域，使用在所述特征量提取步驟中提取出的特征量的分布，生成所述模型模板。
4. 根據(jù)權(quán)利要求2所述的圖像核對方法，其中，在所述模板生成步驟中，針對所述每個 區(qū)域，使用在所述特征量提取步驟中提取出的比例多的特征量，生成所述模型模板。
5. 根據(jù)權(quán)利要求2至4中任一項所述的圖像核對方法，其中，在所述模板生成步驟中， 使用在所述特征量提取步驟中提取出特征量的數(shù)量多的區(qū)域的特征量，生成所述模型模 板。
6. 根據(jù)權(quán)利要求2至4中任一項所述的圖像核對方法，其中，在所述模板生成步驟中， 使用所述特征量的分布峰態(tài)高的區(qū)域的特征量，生成所述模型模板。
7. 根據(jù)權(quán)利要求2至4中任一項所述的圖像核對方法，其中， 在所述模板生成步驟中，針對所述每個區(qū)域，根據(jù)在所述特征量提取步驟中提取出特 征量的數(shù)量，分配該區(qū)域的指標(biāo)值， 在所述核對步驟中，將分配給各區(qū)域的指標(biāo)值用作權(quán)重。
8. 根據(jù)權(quán)利要求2至4中任一項所述的圖像核對方法，其中， 在所述模板生成步驟中，針對所述每個區(qū)域，根據(jù)在所述特征量提取步驟中提取出的 特征量的分布峰態(tài)，分配該區(qū)域的指標(biāo)值， 在所述核對步驟中，將分配給各區(qū)域的指標(biāo)值用作權(quán)重。
9. 根據(jù)權(quán)利要求1至8中任一項所述的圖像核對方法，其中，在所述變動圖像生成步驟 中對所述模型圖像施加的變動是旋轉(zhuǎn)、放大/縮小、變形、照明的變化、圖像噪聲的附加中 的至少任一個。
10. 根據(jù)權(quán)利要求1至9中任一項所述的圖像核對方法，其中，所述特征量是亮度梯度 的方向。
11. 根據(jù)權(quán)利要求1至9中任一項所述的圖像核對方法，其中，所述特征量是亮度值。
12. -種圖像核對裝置，其中，該圖像核對裝置具有： 取得部，其取得模型圖像； 變動圖像生成部，其對所述模型圖像分別施加不同的變動而生成多個變動圖像； 特征量提取部，其從所述多個變動圖像中分別提取出特征量； 模板生成部，其根據(jù)所述特征量生成模型模板；以及 核對部，其使用核對圖像和所述模型模板，進(jìn)行模板匹配。
13. -種用于使計算機(jī)執(zhí)行如權(quán)利要求1至11中任一項所述方法中的各步驟的計算機(jī) 程序。
14. 一種由模型模板生成裝置執(zhí)行的模型模板生成方法，其中，所述模型模板生成方法 包括： 取得步驟，取得模型圖像； 變動圖像生成步驟，對所述模型圖像分別施加不同的變動而生成多個變動圖像； 特征量提取步驟，從所述多個變動圖像中分別提取出特征量；以及 模板生成步驟，根據(jù)所述特征量生成模型模板。
15. -種模型模板生成裝置，其中，該模型模板生成裝置具有： 取得部，其取得模型圖像； 變動圖像生成部，其對所述模型圖像分別施加不同的變動而生成多個變動圖像； 特征量提取部，其從所述多個變動圖像中分別提取出特征量；以及 模板生成部，其根據(jù)所述特征量生成模型模板。
16. -種用于使計算機(jī)執(zhí)行如權(quán)利要求14所述方法的各步驟的計算機(jī)程序。
【文檔編號】G06K9/00GK104217194SQ201410195547
【公開日】2014年12月17日 申請日期:2014年5月9日 優(yōu)先權(quán)日:2013年5月31日
【發(fā)明者】小西嘉典 申請人:歐姆龍株式會社