專利名稱：圖像查詢方法及圖像查詢?cè)O(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像查詢方法及圖像查詢?cè)O(shè)備。
背景技術(shù)：
隨著數(shù)字圖像技術(shù)的發(fā)展和普及，已經(jīng)產(chǎn)生了大量的視覺媒體文件，包括圖像和視頻。大量視覺媒體文件的出現(xiàn)為人們生動(dòng)地記錄和保存各種信息帶來了便利。但是，隨著這種媒體文件的大量產(chǎn)生，用戶如何迅速地從這些大量的媒體文件中找到自己所需的文件成為一個(gè)問題，從而圖像查詢及檢索的技術(shù)和發(fā)展在近十幾年來成為廣泛受人關(guān)注的研究熱點(diǎn)。在視覺媒體文件相關(guān)的研究領(lǐng)域，諸如SIFT (Scale-1nvariant featuretransform，變換尺度不變特征)的點(diǎn)特征是相對(duì)魯棒和有效的特征描述手段。然而，因?yàn)閳D像中經(jīng)常存在有大量關(guān)鍵點(diǎn)，導(dǎo)致傳統(tǒng)的點(diǎn)特征的計(jì)算量很大。除此之外，傳統(tǒng)的點(diǎn)特征忽略了關(guān)鍵點(diǎn)的幾何位置關(guān)系，造成關(guān)鍵點(diǎn)誤匹配的現(xiàn)象比較常見。為了解決關(guān)鍵點(diǎn)誤匹配的現(xiàn)象，當(dāng)前大部分的研究工作可以利用非專利文件 I(Martin A. Fischler and Robert C. Bolles, " Random Sample Consensus AParadigm for Model Fitting with Applications to Image Analysis and AutomatedCartography"，Comm, of the ACM 24(6) :381-395, June 1981.)提出的 RANSAC(RANdomSAmple Consensus,隨機(jī)抽樣一致)算法。例如，專利文件I (US 20090175538 Al)提出一種視頻內(nèi)容的表征和匹配方法，其中視頻序列的時(shí)空匹配方法利用了上述RANSAC算法。RANSAC算法的輸入是一組觀測(cè)數(shù)據(jù)，輸出一個(gè)可以解釋或者適應(yīng)于觀測(cè)數(shù)據(jù)的參數(shù)化模型，包括一些可信的參數(shù)。RANSAC算法通過反復(fù)選擇觀測(cè)數(shù)據(jù)中的一組隨機(jī)子集來達(dá)成目標(biāo)。所選取的子集稱之為局內(nèi)點(diǎn)，并通過下述步驟進(jìn)行驗(yàn)證步驟1，估計(jì)一個(gè)模型以適應(yīng)于假設(shè)的局內(nèi)點(diǎn)，即所有的未知參數(shù)都能從假設(shè)的局內(nèi)點(diǎn)計(jì)算得出；步驟2，用在步驟I估計(jì)的模型去測(cè)試所有的其它數(shù)據(jù)，如果某個(gè)點(diǎn)適用于估計(jì)的模型，則認(rèn)為該點(diǎn)也是局內(nèi)點(diǎn)；步驟3，如果有足夠多的點(diǎn)被歸類為假設(shè)的局內(nèi)點(diǎn)，則認(rèn)為估計(jì)的模型足夠合理；步驟4，因?yàn)樵撃Ｐ蛢H僅通過初始的假設(shè)局內(nèi)點(diǎn)估計(jì)得出，因此在此用所有假設(shè)的局內(nèi)點(diǎn)去重新估計(jì)模型；步驟5，最后，通過估計(jì)局內(nèi)點(diǎn)與模型的錯(cuò)誤率來評(píng)估模型。上述過程重復(fù)執(zhí)行固定的次數(shù)，每次產(chǎn)生的模型或者由于局內(nèi)點(diǎn)太少而被舍棄，或者由于比現(xiàn)有的模型更好而被選用。RANSAC手段的優(yōu)點(diǎn)是能魯棒地估計(jì)模型參數(shù)。例如，RANSAC手段能從包含大量局外點(diǎn)的數(shù)據(jù)集估計(jì)出高精度的參數(shù)；然而，RANSAC的缺點(diǎn)是其計(jì)算參數(shù)的迭代次數(shù)沒有上限，此外，RANSAC手段的另一個(gè)缺點(diǎn)是其要求設(shè)置與實(shí)際應(yīng)用相關(guān)的閾值。
RANSAC算法盡管結(jié)果比較有效，但是其計(jì)算參數(shù)的迭代次數(shù)沒有上限。如果設(shè)置迭代次數(shù)的上限，則得到的結(jié)果可能不是最優(yōu)的結(jié)果，甚至可能得到錯(cuò)誤的結(jié)果。RANSAC手段只有一定的概率可以得到可信的模型，該概率與迭代次數(shù)成正比。因此，如果迭代次數(shù)的上限設(shè)置得很高，并且圖像關(guān)鍵點(diǎn)數(shù)目眾多，則計(jì)算復(fù)雜度就會(huì)很大，實(shí)際很難針對(duì)大規(guī)模的圖像集使用，另一方面，RANSAC算法往往都作為后處理步驟，以致于忽略了與圖像查詢應(yīng)用的關(guān)聯(lián)性。為了能在大規(guī)模的數(shù)據(jù)集上使用，非專利文件2(Herv6J6gou, Matthijs Douzeand Cordelia Schmid, " Hamming Embedding and Weak Geometric consistency forlarge-scale image search" , Proc.ECCV' 08, October, 2008)提出了一種嵌入 Hamming和弱幾何一致性方法。這種方法的主要思路是檢查感興趣區(qū)域之間的量化角度和尺度差另O，從而過濾在角度和尺度方面不一致的誤匹配。這種方法能夠大大提高RANSAC的效率，但是也需要同時(shí)使用所有的關(guān)鍵點(diǎn)。也就是說所有匹配的關(guān)鍵點(diǎn)都需要兩兩檢查和確認(rèn)，最小的差別作為最終的角度和尺度差別，因此仍然存在運(yùn)算量過大，處理任務(wù)重等等的問題。

發(fā)明內(nèi)容
鑒于現(xiàn)有技術(shù)中存在的上述問題而做出本發(fā)明，本發(fā)明提出了一種利用點(diǎn)特征、輪廓特征、及聯(lián)合特征的圖像查詢方法及圖像查詢?cè)O(shè)備，以從圖像數(shù)據(jù)庫中搜索與給定查詢示例圖像相似的圖像。按照本發(fā)明實(shí)施例的圖像查詢方法及圖像查詢?cè)O(shè)備主要可以解決點(diǎn)特征的傳統(tǒng)上存在的問題，包括大量關(guān)鍵點(diǎn)導(dǎo)致高計(jì)算復(fù)雜度，以及忽略了輪廓對(duì)關(guān)鍵點(diǎn)的約束關(guān)系
坐坐寸寸ο按照本發(fā)明實(shí)施例的圖像查詢手段可以首先提取作為查詢示例圖像的輸入圖像和數(shù)據(jù)庫中每幅庫圖像的關(guān)鍵點(diǎn)和輪廓，圖像關(guān)鍵點(diǎn)在圖像特征描述的過程中已經(jīng)被研究證實(shí)為有效。總體上，圖像的關(guān)鍵點(diǎn)通常清晰，且在數(shù)學(xué)上能夠很完備得定義。在關(guān)鍵點(diǎn)附近的圖像局部?jī)?nèi)容豐富，從而利用關(guān)鍵點(diǎn)描述圖像內(nèi)容在視覺信息系統(tǒng)中能夠廣泛應(yīng)用。圖像輪廓同樣也是在包括圖像分割、物體識(shí)別、目標(biāo)跟蹤等等的圖像相關(guān)應(yīng)用中比較基礎(chǔ)的信息。基于關(guān)鍵點(diǎn)和輪廓，分別提取查詢圖像(輸入圖像)和數(shù)據(jù)庫圖像的點(diǎn)特征和輪廓特征，在提取點(diǎn)特征和輪廓特征以后，利用圖像輪廓約束點(diǎn)特征，來構(gòu)成聯(lián)合特征。聯(lián)合特征可以認(rèn)為是一種綜合描述圖像區(qū)域和關(guān)鍵點(diǎn)的描述子，其基本思想是利用圖像輪廓對(duì)圖像關(guān)鍵點(diǎn)進(jìn)行分組。通過靈活運(yùn)用點(diǎn)特征、輪廓特征、及聯(lián)合特征，計(jì)算查詢圖像和多個(gè)數(shù)據(jù)庫圖像分另Ij的相似度。最后，根據(jù)相似度對(duì)數(shù)據(jù)庫中的庫圖像進(jìn)行排序。根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提出了一種圖像查詢方法，用于從圖像庫中查詢與輸入圖像相似的庫圖像，所述圖像查詢方法包括關(guān)鍵點(diǎn)及輪廓提取步驟，針對(duì)圖像庫中的多個(gè)庫圖像及輸入圖像，分別提取其中的關(guān)鍵點(diǎn)和輪廓；特征提取步驟，針對(duì)圖像庫中的多個(gè)庫圖像及輸入圖像，分別基于關(guān)鍵點(diǎn)提取點(diǎn)特征，基于輪廓提取輪廓特征；聯(lián)合特征確定步驟，針對(duì)圖像庫中的多個(gè)庫圖像及輸入圖像，分別基于關(guān)鍵點(diǎn)的點(diǎn)特征及輪廓，確定輪廓的聯(lián)合特征；圖像相似度確定步驟，根據(jù)輸入圖像的輪廓的輪廓特征、聯(lián)合特征及關(guān)鍵點(diǎn)位置與圖像庫中的多個(gè)庫圖像的輪廓的輪廓特征、聯(lián)合特征及關(guān)鍵點(diǎn)位置，來確定輸入圖像與圖像庫中的多個(gè)庫圖像分別的圖像相似度；排序步驟，根據(jù)圖像庫中的多個(gè)庫圖像與輸入圖像的圖像相似度大小來對(duì)圖像庫中的多個(gè)庫圖像排序。根據(jù)本發(fā)明實(shí)施例的另一個(gè)方面，提出了一種圖像查詢?cè)O(shè)備，用于從圖像庫中查詢與輸入圖像相似的庫圖像，所述圖像查詢?cè)O(shè)備包括關(guān)鍵點(diǎn)及輪廓提取裝置，針對(duì)圖像庫中的多個(gè)庫圖像及輸入圖像，分別提取其中的關(guān)鍵點(diǎn)和輪廓；特征提取裝置，針對(duì)圖像庫中的多個(gè)庫圖像及輸入圖像，分別基于關(guān)鍵點(diǎn)提取點(diǎn)特征，基于輪廓提取輪廓特征；聯(lián)合特征確定裝置，針對(duì)圖像庫中的多個(gè)庫圖像及輸入圖像，分別基于關(guān)鍵點(diǎn)的點(diǎn)特征及輪廓，確定輪廓的聯(lián)合特征；圖像相似度確定裝置，根據(jù)輸入圖像的輪廓的輪廓特征、聯(lián)合特征及關(guān)鍵點(diǎn)位置與圖像庫中的多個(gè)庫圖像的輪廓的輪廓特征、聯(lián)合特征及關(guān)鍵點(diǎn)位置，來確定輸入圖像與圖像庫中的多個(gè)庫圖像分別的圖像相似度；排序裝置，根據(jù)圖像庫中的多個(gè)庫圖像與輸入圖像的圖像相似度大小來對(duì)圖像庫中的多個(gè)庫圖像排序。通過閱讀結(jié)合附圖考慮的以下本發(fā)明的優(yōu)選實(shí)施例的詳細(xì)描述，將更好地理解本發(fā)明的以上和其他目標(biāo)、特征、優(yōu)點(diǎn)和技術(shù)及工業(yè)重要性。


圖1示意性地示出按照本發(fā)明實(shí)施例的圖像查詢方法及實(shí)施該圖像查詢方法的圖像查詢?cè)O(shè)備的應(yīng)用環(huán)境及功能。圖2示出按照本發(fā)明實(shí)施例的圖像查詢方法的總體流程圖。圖3示意性地表示特征提取步驟對(duì)圖像關(guān)鍵點(diǎn)的點(diǎn)特征的提取。圖4示意性地表示特征提取步驟對(duì)圖像輪廓的輪廓特征的提取。圖5包括圖5A至圖示意性地示出特征提取步驟提取圖像輪廓的輪廓特征的過程。圖6示意性地表示根據(jù)輪廓對(duì)點(diǎn)特征進(jìn)行分配以獲得聯(lián)合特征。圖7示出按照本發(fā)明實(shí)施例的圖像相似度確定步驟的流程圖。圖8示出按照本發(fā)明實(shí)施例的輪廓相似度計(jì)算步驟的流程圖。圖9包括圖9A至圖9C,分別示意性地示出檢測(cè)相對(duì)應(yīng)的兩點(diǎn)組之間的位置一致性的情況。圖10包括圖1OA和圖10B，分別示意性地示出檢測(cè)相對(duì)應(yīng)的三點(diǎn)組之間的比例一致性的情況。圖11示出按照本發(fā)明實(shí)施例的圖像查詢?cè)O(shè)備的總體框圖。圖12是示出按照本發(fā)明實(shí)施例的圖像查詢系統(tǒng)的總體框圖。
具體實(shí)施例方式下面結(jié)合附圖描述本發(fā)明實(shí)施例。圖1示意性地示出按照本發(fā)明實(shí)施例的圖像查詢方法及實(shí)施該圖像查詢方法的圖像查詢?cè)O(shè)備的應(yīng)用環(huán)境及功能。
如圖1所示，按照本發(fā)明實(shí)施例的圖像查詢方法可以用來執(zhí)行圖像查詢過程10，實(shí)施該圖像查詢方法的圖像查詢?cè)O(shè)備也可以用來執(zhí)行該圖像查詢過程10。對(duì)于輸入的查詢圖像20，即輸入圖像20，通過執(zhí)行該圖像查詢過程10，從圖像數(shù)據(jù)庫的庫圖像40中，查詢與輸入圖像20相似的圖像，將該庫圖像40按照與輸入圖像20的圖像相似度由高到低的順序排序，得到排序結(jié)果60，排序結(jié)果60可以以任意手段輸出。圖2示出按照本發(fā)明實(shí)施例的圖像查詢方法的總體流程圖，該圖像查詢方法用于從圖像庫中查詢與輸入圖像相似的庫圖像。如圖2所示，按照本發(fā)明實(shí)施例的圖像查詢方法可以包括關(guān)鍵點(diǎn)及輪廓提取步驟S100，可以針對(duì)圖像庫中的多個(gè)庫圖像及輸入圖像，分別提取其中的關(guān)鍵點(diǎn)和輪廓；特征提取步驟S200，可以針對(duì)圖像庫中的多個(gè)庫圖像及輸入圖像，分別基于關(guān)鍵點(diǎn)提取點(diǎn)特征，基于輪廓提取輪廓特征；聯(lián)合特征確定步驟S300，可以針對(duì)圖像庫中的多個(gè)庫圖像及輸入圖像，分別基于關(guān)鍵點(diǎn)的點(diǎn)特征及輪廓，確定輪廓的聯(lián)合特征；圖像相似度確定步驟S400，可以根據(jù)輸入圖像的輪廓的輪廓特征、聯(lián)合特征及關(guān)鍵點(diǎn)位置與圖像庫中的多個(gè)庫圖像的輪廓的輪廓特征、聯(lián)合特征及關(guān)鍵點(diǎn)位置，來確定輸入圖像與圖像庫中的多個(gè)庫圖像分別的圖像相似度；排序步驟S500，可以根據(jù)圖像庫中的多個(gè)庫圖像與輸入圖像的圖像相似度大小來對(duì)圖像庫中的多個(gè)庫圖像排序。關(guān)鍵點(diǎn)及輪廓提取步驟SlOO針對(duì)輸入圖像和圖像數(shù)據(jù)庫中的各個(gè)庫圖像來進(jìn)行，針對(duì)每幅圖像分別提取圖像關(guān)鍵點(diǎn)和輪廓。提取的關(guān)鍵點(diǎn)可以是在不同尺度空間的圖像中具有方向信息的局部極值點(diǎn)?？梢酝ㄟ^構(gòu)建尺度空間和關(guān)鍵點(diǎn)檢測(cè)來提取關(guān)鍵點(diǎn)。圖像的尺度有多種表示方法，例如金字塔、八叉樹等等，可以根據(jù)非專利文件 3 (Lowe, D. , “Distinctive Image Features from Scale-1nvariant Keypoints”，International Journal of Computer Vision,60, 2,pp. 91-110,2004.)提出的手段，其米用尺度空間理論，主要通過對(duì)原始圖像進(jìn)行尺度變換，獲得圖像多尺度下的尺度空間表示序列，檢測(cè)這個(gè)序列中的關(guān)鍵點(diǎn)。這樣，圖像可以映射為多個(gè)尺度上的關(guān)鍵點(diǎn)信息，即使假定兩幅圖像處于不同的尺度，但是，仍然可以提取出在尺度變換中沒有改變的關(guān)鍵點(diǎn)，從而允許此后可能進(jìn)行的關(guān)鍵點(diǎn)匹配，進(jìn)而識(shí)別出物體。

實(shí)際上，在尺度空間理論中，通過對(duì)圖像進(jìn)行模糊來模擬多尺度下的圖像。高斯核是唯一可以產(chǎn)生多尺度空間的核(其它核會(huì)對(duì)圖像造成模糊之外的其它影響)。一個(gè)圖像的尺度空間定義為原始圖像與一個(gè)可變尺度的二維高斯函數(shù)的卷積運(yùn)算。圖像關(guān)鍵點(diǎn)檢測(cè)采用高斯差分算子(DoG, Difference of Gaussians), DoG算子在計(jì)算上只需相鄰尺度高斯平滑后將圖像相減。關(guān)鍵點(diǎn)由DoG空間的局部極值點(diǎn)組成。為了尋找DoG函數(shù)的極值點(diǎn)，每一個(gè)像素點(diǎn)和它所有的相鄰點(diǎn)比較，判斷其是否比它的圖像域和尺度域的相鄰點(diǎn)大或者小。具體來說，中間的檢測(cè)點(diǎn)與和該點(diǎn)同尺度的8個(gè)相鄰點(diǎn)及和上下相鄰尺度相對(duì)應(yīng)的9X2個(gè)點(diǎn)，即共26個(gè)點(diǎn)相比較，以確保在尺度空間和二維圖像空間都能夠檢測(cè)到極值點(diǎn)。由此，可以檢測(cè)出圖像中尺度不變的關(guān)鍵點(diǎn)。另一方面，檢測(cè)圖像輪廓并對(duì)其進(jìn)行標(biāo)識(shí)可以使數(shù)字圖像中區(qū)域亮度變化明顯，且能閉合成一個(gè)整體的點(diǎn)集。作為一個(gè)示例，可以采用非專利文件4(0sher S, SethianJ·, “Fronts propagating with curvature dependent speed !algorithms based on thehamiIton-Jacobi formulation，，，Journal of Computational Physics, 79 (I) :12-49,1988.)提出的水平集(Level Set)方法來檢測(cè)圖像中的輪廓。
然后，在特征提取步驟S200，關(guān)于輸入圖像和庫圖像中的每幅圖像，分別針對(duì)關(guān)鍵點(diǎn)及輪廓提取步驟SlOO提取出的關(guān)鍵點(diǎn)，提取與各個(gè)關(guān)鍵點(diǎn)相對(duì)應(yīng)的點(diǎn)特征。圖3示意性地表示特征提取步驟S200對(duì)圖像關(guān)鍵點(diǎn)的點(diǎn)特征的提取。在圖3的圖像中，標(biāo)識(shí)出多個(gè)關(guān)鍵點(diǎn)，其中作為示例標(biāo)注出點(diǎn)KP，可以通過利用上述非專利文件3提出的處理技術(shù)，先將關(guān)鍵點(diǎn)周圍區(qū)域提取出來，例如關(guān)鍵點(diǎn)KP的周圍區(qū)域Rkp，然后每個(gè)關(guān)鍵點(diǎn)可以產(chǎn)生一個(gè)128維的點(diǎn)特征向量，在此的點(diǎn)特征例如可以是SIFT特征、PCA-SIFT特征、或SURF特征，本發(fā)明可以采用的點(diǎn)特征不限于此，而是可以采用任何能夠通過向量表示的點(diǎn)特征。圖3中各個(gè)關(guān)鍵點(diǎn)周圍區(qū)域的尺度大小不同，示意性地體現(xiàn)出圖像原始尺度的大小對(duì)提取關(guān)鍵點(diǎn)周圍區(qū)域的尺度大小的影響，然而，不論圖像原始尺度如何，由各個(gè)關(guān)鍵點(diǎn)提取的諸如上述SIFT特征、PCA-SIFT特征、SURF特征等等的點(diǎn)特征均不受圖像原始尺度的影響。在特征提取步驟S200，可以在提取關(guān)鍵點(diǎn)的點(diǎn)特征之前或之后，或者與提取點(diǎn)特征同時(shí)并行地，關(guān)于輸入圖像和庫圖像中的每幅圖像，分別針對(duì)關(guān)鍵點(diǎn)及輪廓提取步驟SlOO提取出的輪廓，提取與各個(gè)輪廓相對(duì)應(yīng)的輪廓特征。圖4示意性地表示特征提取步驟S200對(duì)圖像輪廓的輪廓特征的提取。圖4中標(biāo)識(shí)出多個(gè)輪廓，其中作為示例標(biāo)注出輪廓CTR,針對(duì)諸如CTR所示的輪廓來提取輪廓特征，本發(fā)明實(shí)施例可以采用的輪廓特征諸如FD (Fourier Description,傅里葉描述)特征，也可以是各種形狀矩特征，例如Zernike矩、Hu矩等。圖5包括圖5A至圖示意性地示出特征提取步驟S200提取圖像輪廓的輪廓特征的過程。下面具體地，借助圖5說明提取圖像輪廓的輪廓特征的過程。圖5A示意性地示出一個(gè)原始圖像的示例,在此,為了說明方便,僅僅示出一個(gè)物體，本領(lǐng)域技術(shù)人員可以認(rèn)識(shí)到，如果圖像中存在多個(gè)物體，則分別提取圖像輪廓及其相應(yīng)的輪廓特征，在此僅僅以一個(gè)物體為例進(jìn)行說明。圖5B示意性地示出所述關(guān)鍵點(diǎn)及輪廓提取步驟SlOO對(duì)圖5A所示原始圖像提取輪廓的結(jié)果。然后，在特征 提取步驟S200，針對(duì)圖5B所示的輪廓提取其諸如FD、Zernike矩、Hu矩等的輪廓特征，本發(fā)明實(shí)施例可以采用任何能夠通過向量描述的輪廓特征。在此，首先對(duì)輪廓執(zhí)行歸一化操作。具體來說，將輪廓變換到一個(gè)固定的尺度中，例如128*128。圖5C示意性地示出對(duì)圖5B所示輪廓執(zhí)行歸一化操作的結(jié)果。作為一個(gè)示例，如提取的輪廓特征是Hu矩，可利用下述處理求出輪廓的Hu矩特征步驟1:通過以下公式⑴和公式⑵分別計(jì)算固定尺度的輪廓的(P，q)普通矩!!^和中心矩:
權(quán)利要求
1.一種圖像查詢方法，用于從圖像庫中查詢與輸入圖像相似的庫圖像，所述圖像查詢方法包括 關(guān)鍵點(diǎn)及輪廓提取步驟，針對(duì)圖像庫中的多個(gè)庫圖像及輸入圖像，分別提取其中的關(guān)鍵點(diǎn)和輪廓； 特征提取步驟，針對(duì)圖像庫中的多個(gè)庫圖像及輸入圖像，分別基于關(guān)鍵點(diǎn)提取點(diǎn)特征，基于輪廓提取輪廓特征； 聯(lián)合特征確定步驟，針對(duì)圖像庫中的多個(gè)庫圖像及輸入圖像，分別基于關(guān)鍵點(diǎn)的點(diǎn)特征及輪廓，確定輪廓的聯(lián)合特征； 圖像相似度確定步驟，根據(jù)輸入圖像的輪廓的輪廓特征、聯(lián)合特征及關(guān)鍵點(diǎn)位置與圖像庫中的多個(gè)庫圖像的輪廓的輪廓特征、聯(lián)合特征及關(guān)鍵點(diǎn)位置，來確定輸入圖像與圖像庫中的多個(gè)庫圖像分別的圖像相似度； 排序步驟，根據(jù)圖像庫中的多個(gè)庫圖像與輸入圖像的圖像相似度大小來對(duì)圖像庫中的多個(gè)庫圖像排序。
2.按照權(quán)利要求1所述的圖像查詢方法，其中，在所述聯(lián)合特征確定步驟中，針對(duì)圖像庫中的多個(gè)庫圖像及輸入圖像，將位于輪廓內(nèi)部及輪廓上的關(guān)鍵點(diǎn)與該輪廓相關(guān)聯(lián)，同一輪廓的關(guān)鍵點(diǎn)的點(diǎn)特征構(gòu)成該輪廓的聯(lián)合特征，排除不位于任何輪廓內(nèi)部也不位于任何輪廓上的關(guān)鍵點(diǎn)。
3.按照權(quán)利要求1所述的圖像查詢方法，其中，所述圖像相似度確定步驟包括 輪廓匹配步驟，針對(duì)輸入圖像與圖像庫中的多個(gè)庫圖像中的各個(gè)庫圖像，分別地根據(jù)輸入圖像的輪廓的輪廓特征與該庫圖像的輪廓的輪廓特征，來匹配輸入圖像的輪廓和該庫圖像的輪廓； 輪廓相似度計(jì)算步驟，根據(jù)輸入圖像的輪廓的聯(lián)合特征及關(guān)鍵點(diǎn)位置與庫圖像的相匹配的輪廓的聯(lián)合特征及關(guān)鍵點(diǎn)位置，計(jì)算該輸入圖像的輪廓與該庫圖像的輪廓之間的輪廓相似度； 圖像相似度計(jì)算步驟，根據(jù)輸入圖像與庫圖像之間所有相匹配的輪廓之間的輪廓相似度，來計(jì)算輸入圖像與該庫圖像之間的圖像相似度。
4.按照權(quán)利要求3所述的圖像查詢方法，其中，在所述輪廓匹配步驟中，執(zhí)行以下輪廓匹配過程計(jì)算輸入圖像的輪廓的輪廓特征分別與該庫圖像的各個(gè)輪廓的輪廓特征之間的輪廓特征相似度，將其中的最大輪廓特征相似度與預(yù)定閾值相比較，如果該最大輪廓特征相似度大于該預(yù)定閾值，則輸入圖像的該輪廓與該庫圖像的獲得最大輪廓特征相似度的該輪廓相匹配，在該最大輪廓特征相似度不大于該預(yù)定閾值的情況下，排除輸入圖像的該輪廓。
5.按照權(quán)利要求4所述的圖像查詢方法，其中，在所述輪廓匹配步驟中，執(zhí)行所述輪廓匹配過程還包括在該最大輪廓特征相似度不大于該預(yù)定閾值的情況下，排除庫圖像中與輸入圖像的該輪廓獲得最大輪廓特征相似度的輪廓。
6.按照權(quán)利要求4或5所述的圖像查詢方法，其中，所述輪廓匹配步驟還包括在未獲得匹配并且也未被排除的輸入圖像的輪廓與該庫圖像的輪廓之間執(zhí)行所述輪廓匹配過程，至輸入圖像與該庫圖像中至少一方?jīng)]有輪廓未獲得匹配并且也未被排除為止。
7.按照權(quán)利要求3所述的圖像查詢方法，其中，所述輪廓相似度計(jì)算步驟包括數(shù)值相似度計(jì)算步驟，根據(jù)輸入圖像的輪廓中包含的位于庫圖像的相匹配的輪廓的關(guān)鍵點(diǎn)的鄰域的關(guān)鍵點(diǎn)數(shù)目，確定輸入圖像的該輪廓與該庫圖像的相匹配的輪廓的數(shù)值相似度； 關(guān)鍵點(diǎn)匹配步驟，根據(jù)輸入圖像的該輪廓的關(guān)鍵點(diǎn)的點(diǎn)特征與該庫圖像的相匹配的輪廓的關(guān)鍵點(diǎn)的點(diǎn)特征的點(diǎn)特征相似度，將輸入圖像的該輪廓的關(guān)鍵點(diǎn)與該庫圖像的相匹配的輪廓的關(guān)鍵點(diǎn)相匹配； 空間相似度計(jì)算步驟，在輸入圖像的該輪廓的關(guān)鍵點(diǎn)與該庫圖像的相匹配的輪廓的相匹配的關(guān)鍵點(diǎn)之間，分別建立相對(duì)應(yīng)的點(diǎn)組，并計(jì)算輸入圖像的該輪廓的關(guān)鍵點(diǎn)的點(diǎn)組和該庫圖像的相匹配的輪廓的相匹配的關(guān)鍵點(diǎn)的相對(duì)應(yīng)的點(diǎn)組之間的空間相似度； 輪廓相似度綜合步驟，根據(jù)輸入圖像的輪廓和該庫圖像的相匹配的輪廓之間的數(shù)值相似度及相對(duì)應(yīng)的點(diǎn)組之間的空間相似度，綜合計(jì)算輸入圖像的輪廓和該庫圖像的相匹配的輪廓之間的輪廓相似度。
8.按照權(quán)利要求7所述的圖像查詢方法， 其中，在所述關(guān)鍵點(diǎn)匹配步驟中，執(zhí)行以下關(guān)鍵點(diǎn)匹配過程計(jì)算輸入圖像的輪廓的關(guān)鍵點(diǎn)的點(diǎn)特征分別與該庫圖像的相匹配的輪廓的關(guān)鍵點(diǎn)的點(diǎn)特征之間的點(diǎn)特征相似度，輸入圖像的該輪廓的關(guān)鍵點(diǎn)與該庫圖像的相匹配的輪廓的獲得最大點(diǎn)特征相似度的關(guān)鍵點(diǎn)相匹配； 并且其中，所述關(guān)鍵點(diǎn)匹配步驟還包括在輸入圖像的該輪廓的未獲得匹配的關(guān)鍵點(diǎn)與該庫圖像的相匹配的輪廓的未獲得匹配的關(guān)鍵點(diǎn)之間進(jìn)行所述關(guān)鍵點(diǎn)匹配過程，至輸入圖像的該輪廓與該庫圖像的相匹配的輪廓中至少一方?jīng)]有關(guān)鍵點(diǎn)未獲得匹配為止。
9.按照權(quán)利要求7所述的圖像查詢方法，其中，在所述空間相似度計(jì)算步驟中，在輸入圖像的該輪廓的關(guān)鍵點(diǎn)與該庫圖像的相匹配的輪廓的相匹配的關(guān)鍵點(diǎn)之間，分別建立相對(duì)應(yīng)的兩點(diǎn)組，根據(jù)相對(duì)應(yīng)的兩點(diǎn)組之間的兩點(diǎn)相對(duì)位置的一致性，確定相對(duì)應(yīng)的兩點(diǎn)組之間的兩點(diǎn)組匹配度，并且分別建立相對(duì)應(yīng)的三點(diǎn)組，根據(jù)相對(duì)應(yīng)的三點(diǎn)組之間的三點(diǎn)相對(duì)比例的比例一致性，確定相對(duì)應(yīng)的三點(diǎn)組之間的三點(diǎn)組匹配度，根據(jù)在輸入圖像的該輪廓的關(guān)鍵點(diǎn)與該庫圖像的相匹配的輪廓的相匹配的關(guān)鍵點(diǎn)之間相對(duì)應(yīng)的兩點(diǎn)組之間的兩點(diǎn)組匹配度及相對(duì)應(yīng)的三點(diǎn)組之間的三點(diǎn)組匹配度，計(jì)算輸入圖像的該輪廓的關(guān)鍵點(diǎn)的點(diǎn)組和該庫圖像的相匹配的輪廓的相匹配的關(guān)鍵點(diǎn)的點(diǎn)組之間的空間相似度。
10.一種圖像查詢?cè)O(shè)備，用于從圖像庫中查詢與輸入圖像相似的庫圖像，所述圖像查詢?cè)O(shè)備包括 關(guān)鍵點(diǎn)及輪廓提取裝置，針對(duì)圖像庫中的多個(gè)庫圖像及輸入圖像，分別提取其中的關(guān)鍵點(diǎn)和輪廓； 特征提取裝置，針對(duì)圖像庫中的多個(gè)庫圖像及輸入圖像，分別基于關(guān)鍵點(diǎn)提取點(diǎn)特征，基于輪廓提取輪廓特征； 聯(lián)合特征確定裝置，針對(duì)圖像庫中的多個(gè)庫圖像及輸入圖像，分別基于關(guān)鍵點(diǎn)的點(diǎn)特征及輪廓，確定輪廓的聯(lián)合特征； 圖像相似度確定裝置，根據(jù)輸入圖像的輪廓的輪廓特征、聯(lián)合特征及關(guān)鍵點(diǎn)位置與圖像庫中的多個(gè)庫圖像的輪廓的輪廓特征、聯(lián)合特征及關(guān)鍵點(diǎn)位置，來確定輸入圖像與圖像庫中的多個(gè)庫圖像分別的圖像相似度；排序裝置，根據(jù)圖像庫中的多個(gè)庫圖像與輸入圖像的圖像相似度大小來對(duì)圖像庫中的多個(gè)庫圖像排序。
全文摘要
提供一種圖像查詢方法，從圖像庫中查詢與輸入圖像相似的庫圖像，包括關(guān)鍵點(diǎn)及輪廓提取步驟，針對(duì)圖像庫中的多個(gè)庫圖像及輸入圖像，分別提取關(guān)鍵點(diǎn)和輪廓；特征提取步驟，針對(duì)多個(gè)庫圖像及輸入圖像，分別基于關(guān)鍵點(diǎn)提取點(diǎn)特征，基于輪廓提取輪廓特征；聯(lián)合特征確定步驟，針對(duì)多個(gè)庫圖像及輸入圖像，分別基于關(guān)鍵點(diǎn)的點(diǎn)特征及輪廓，確定輪廓的聯(lián)合特征；圖像相似度確定步驟，根據(jù)輸入圖像的輪廓的輪廓特征、聯(lián)合特征及關(guān)鍵點(diǎn)位置與多個(gè)庫圖像的輪廓的輪廓特征、聯(lián)合特征及關(guān)鍵點(diǎn)位置，來確定輸入圖像與多個(gè)庫圖像分別的圖像相似度；排序步驟，根據(jù)多個(gè)庫圖像與輸入圖像的圖像相似度大小來對(duì)多個(gè)庫圖像排序。還相應(yīng)地提供一種圖像查詢?cè)O(shè)備。
文檔編號(hào)G06F17/30GK103064857SQ20111032246
公開日2013年4月24日 申請(qǐng)日期2011年10月21日 優(yōu)先權(quán)日2011年10月21日
發(fā)明者劉媛, 陳義, 李滔, I.喬 申請(qǐng)人:株式會(huì)社理光