圖像檢索裝置、圖像檢索方法、程序以及計算機可讀取的存儲介質(zhì)的制作方法
【專利摘要】在成為檢索對象的圖像具有的局部的特征的數(shù)目與查詢圖像具有的局部的特征的數(shù)目大不相同的情況下，抑制成為該檢索對象的圖像被選擇的可能性。圖像檢索裝置取得分別表示成為查詢的圖像的局部的特征的多個查詢特征量；從圖像特征量中，對于所述多個查詢特征量之中的一個，以對成為檢索對象的每個圖像各選擇一個圖像特征量的方式，選擇對應(yīng)于所述各查詢特征量的圖像特征量，其中，所述圖像特征量按成為所述檢索對象的多個圖像的每一個而預(yù)先存儲至存儲部件，且表示各圖像的局部的特征；基于對應(yīng)于所述多個查詢特征量而選擇出的圖像特征量，關(guān)于成為檢索對象的多個圖像分別生成表示與成為所述查詢的圖像類似的程度的得分；基于關(guān)于所述圖像而生成的得分，從成為所述檢索對象的多個圖像中選擇至少一個圖像。
【專利說明】圖像檢索裝置、圖像檢索方法、程序以及計算機可讀取的存儲介質(zhì)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像檢索裝置、圖像檢索方法、程序以及計算機可讀取的存儲介質(zhì)。
【背景技術(shù)】
[0002]由于網(wǎng)絡(luò)技術(shù)等的發(fā)達，龐大的量的圖像文件被管理。存在以下圖像檢索技術(shù):從該大量的圖像之中，選出類似于成為查詢(query)的圖像(查詢圖像)的圖像。作為圖像檢索技術(shù)之一，使用表示圖像的局部的特征的局部特征量，此外，為了從大量的圖像中以短的響應(yīng)時間檢索類似圖像，在一般的方法中簡略地計算表示與查詢圖像的類似的程度的得分(score)。
[0003]上述的方法之一被稱為BoF (Bag of Features)法。該方法應(yīng)用了被稱為BoW(Bagof Words)法的文檔檢索的方法。在BoF法中，使得從成為檢索對象的圖像中提取的局部特征量(以下寫做“圖像特征量”)的每一個與相當(dāng)于BoW法中的單詞的Visual Word對應(yīng)而存儲。并且，在進行檢索時從成為查詢的圖像中提取多個局部特征量(以下記為“查詢特征量”)，取得與該局部特征量的每一個對應(yīng)的Visual Word。并且,將該Visual Word的出現(xiàn)頻度統(tǒng)計地進行處理，從而生成表示查詢圖像與成為檢索對象的圖像的類似的程度的得分，檢索類似的圖像。
[0004]在專利文獻I中，公開了使用Visual Word來檢索圖像的方法的概要，以及使得從圖像中提取的圖像特征量矢量與從關(guān)聯(lián)于該圖像的文章中提取的媒體(media)特征量矢量結(jié)合而檢索圖像的技術(shù)。
[0005]在專利文獻2中，記載了決定類似于查詢圖像的城市景觀圖像的技術(shù)。在該技術(shù)中，在查詢圖像和城市景觀圖像的其中一個之間，基于幾何約束條件而取得局部特征量的對應(yīng)關(guān)系?；谠搶?yīng)關(guān)系來決定成為檢索結(jié)果的圖像。
[0006]現(xiàn)有技術(shù)文獻
[0007]專利文獻
[0008]專利文獻1:特開2011 - 103082號公報
[0009]專利文獻2:特開2011 — 113197號公報
【發(fā)明內(nèi)容】
[0010]發(fā)明要解決的課題
[0011]在BoF法中，一般來說，將與查詢特征量接近的圖像特征量的出現(xiàn)頻度通過TF/IDF進行統(tǒng)計處理，從而檢索類似的圖像。于是，在成為檢索對象的圖像中與某查詢特征量接近的特征量的出現(xiàn)頻度(TF)高，且該出現(xiàn)頻度為IDF的項沒有充分地發(fā)揮作用的程度的情況下，導(dǎo)致成為該圖像的類似的尺度的得分變高。例如，若檢索與包含一個星標(biāo)記的土耳其國旗類似的圖像，則存在大量包含星標(biāo)記的美國星條旗的圖像而不是包含土耳其國旗的圖像作為檢索結(jié)果而輸出的情況。
[0012]本發(fā)明是鑒于上述課題而完成的，其目的在于，提供在從查詢圖像中提取的局部特征量的數(shù)目與成為接近于該局部特征量的檢索對象的圖像的局部特征量的數(shù)目不同的情況下，抑制這樣的圖像作為類似的圖像而被檢索的現(xiàn)象，提高檢索的精度的技術(shù)。
[0013]用于解決課題的手段
[0014]為了解決上述課題，本發(fā)明所涉及的圖像檢索裝置的特征在于，包括:查詢特征量取得部件，取得分別表示成為查詢的圖像的局部的特征的多個查詢特征量；圖像特征量選擇部件，從圖像特征量中，對于所述多個查詢特征量之中的一個，以對成為檢索對象的每個圖像各選擇一個圖像特征量的方式，選擇與所述多個查詢特征量的每一個對應(yīng)的圖像特征量，其中，所述圖像特征量按成為所述檢索對象的多個圖像的每一個而預(yù)先存儲至存儲部件，且表示成為檢索對象的各圖像的局部的特征；得分生成部件，基于對應(yīng)于所述多個查詢特征量而選擇出的圖像特征量，關(guān)于成為所述檢索對象的多個圖像分別生成表示與成為所述查詢的圖像類似的程度的得分；以及圖像選擇部件，基于關(guān)于所述圖像而生成的得分，從成為所述檢索對象的多個圖像中選擇至少一個圖像。
[0015]此外，本發(fā)明所涉及的程序使計算機作為以下部件而發(fā)揮作用:查詢特征量取得部件，取得分別表示成為查詢的圖像的局部的特征的多個查詢特征量；圖像特征量選擇部件，從圖像特征量中，對于所述多個查詢特征量之中的一個，以對成為檢索對象的每個圖像各選擇一個圖像特征量的方式，選擇與所述多個查詢特征量的每一個對應(yīng)的圖像特征量，其中，所述圖像特征量按成為所述檢索對象的多個圖像的每一個而預(yù)先存儲至存儲部件，且表示各圖像的局部的特征；得分生成部件，基于對應(yīng)于所述多個查詢特征量而選擇出的圖像特征量，關(guān)于成為所述檢索對象的多個圖像分別生成表示與成為所述查詢的圖像類似的程度的得分；以及圖像選擇部件，基于關(guān)于所述圖像而生成的得分，從成為所述檢索對象的多個圖像中選擇至少一個圖像。
[0016]此外，本發(fā)明所涉及的圖像檢索方法的特征在于，包括:取得分別表示成為查詢的圖像的局部的特征的多個查詢特征量的步驟；從圖像特征量中，對于所述多個查詢特征量之中的一個，以對成為檢索對象的每個圖像各選擇一個圖像特征量的方式，選擇與所述多個查詢特征量的每一個對應(yīng)的圖像特征量的步驟，其中，所述圖像特征量按成為所述檢索對象的多個圖像的每一個而預(yù)先存儲至存儲部件，且表示各圖像的局部的特征；基于對應(yīng)于所述多個查詢特征量而選擇出的圖像特征量，關(guān)于成為所述檢索對象的多個圖像分別生成表示與成為所述查詢的圖像類似的程度的得分的步驟；以及基于關(guān)于所述圖像而生成的得分，從成為所述檢索對象的多個圖像中選擇至少一個圖像的步驟。
[0017]此外，本發(fā)明所涉及的計算機能夠讀取的存儲介質(zhì)存儲用于使計算機作為以下部件而發(fā)揮作用的程序:查詢特征量取得部件，取得分別表示成為查詢的圖像的局部的特征的多個查詢特征量；圖像特征量選擇部件，從圖像特征量中，對于所述多個查詢特征量之中的一個，以對成為檢索對象的每個圖像各選擇一個圖像特征量的方式，選擇與所述多個查詢特征量的每一個對應(yīng)的圖像特征量，其中，所述圖像特征量按成為所述檢索對象的多個圖像的每一個而預(yù)先存儲至存儲部件，且表示各圖像的局部的特征；得分生成部件，基于對應(yīng)于所述多個查詢特征量而選擇出的圖像特征量，關(guān)于成為所述檢索對象的多個圖像分別生成表示與成為所述查詢的圖像類似的程度的得分；以及圖像選擇部件，基于關(guān)于所述圖像而生成的得分，從成為所述檢索對象的多個圖像中選擇至少一個圖像。
[0018]根據(jù)本發(fā)明，在相對于從查詢圖像中提取的局部特征量，成為與該局部特征量接近的檢索對象的圖像的局部特征量多的情況下，能夠抑制成為該檢索對象的圖像被檢索為類似的圖像的現(xiàn)象。
[0019]也可以是在本發(fā)明的一個方式中，圖像檢索裝置還包括:簇選擇部件，從表示成為所述檢索對象的多個圖像的特征的多個圖像特征量被分類的多個簇之中，選擇與所述多個查詢特征量的每一個對應(yīng)的簇，所述圖像特征量選擇部件從被分類為與所述多個查詢特征量的每一個對應(yīng)的簇的多個圖像特征量中，選擇對應(yīng)于該查詢特征量的圖像特征量。
[0020]根據(jù)本方式，能夠提高圖像的檢索速度。
[0021]也可以是在本發(fā)明的一個方式中，所述簇選擇部件基于分別代表所述多個簇的多個代表特征量與所述查詢特征量的距離，選擇對應(yīng)于所述查詢特征量的簇，所述圖像特征量選擇部件基于所述多個查詢特征量與屬于對應(yīng)于所述查詢特征量的簇的圖像特征量的距離，從被分類為所述選擇的簇的多個圖像特征量中，選擇與所述多個查詢特征量的每一個對應(yīng)的圖像特征量。
[0022]也可以是在本發(fā)明的一個方式中，所述圖像特征量選擇部件以對所述多個查詢特征量的任一個選擇的圖像特征量與對其他查詢特征量選擇的圖像特征量不重復(fù)的方式，選擇與所述多個查詢特征量的每一個對應(yīng)的圖像特征量。
[0023]根據(jù)本方式，在相對于成為檢索對象的圖像的局部特征量，與該局部特征量接近的查詢圖像的局部特征量多的情況下，可抑制成為該檢索對象的圖像被檢索為類似的圖像的現(xiàn)象。
[0024]也可以是在本發(fā)明的一個方式中，所述圖像特征量選擇部件將滿足以下條件的全部圖像特征量選擇為對應(yīng)于該查詢特征量的圖像特征量:從屬于與所述查詢特征量的每一個對應(yīng)的簇的多個圖像特征量中選擇的圖像特征量的數(shù)目對于成為所述檢索對象的每個圖像成為一個，且對所述多個查詢特征量的任一個選擇的圖像特征量與對其他查詢特征量選擇的圖像特征量不重復(fù)。
[0025]也可以是在本發(fā)明的一個方式中，圖像檢索裝置還包括:圖像特征量提取部件，從成為所述檢索對象的圖像的每一個中，提取圖像特征量；以及簇生成部件，生成所述提取到的圖像特征量的至少一部分被分類的所述多個簇，所述簇生成部件以屬于某簇的圖像特征量之中與成為所述檢索對象的多個圖像的其中一個對應(yīng)的圖像特征量的數(shù)目不超過規(guī)定的值的方式，生成所述多個簇。
[0026]根據(jù)本方式，能夠更高速地進行圖像的檢索。
【專利附圖】
【附圖說明】
[0027]圖1是表示第一實施方式所涉及的圖像檢索系統(tǒng)的結(jié)構(gòu)的一例的圖。
[0028]圖2是表示第一實施方式所涉及的圖像檢索裝置的結(jié)構(gòu)的一例的圖。
[0029]圖3是表示并行計算裝置的結(jié)構(gòu)的一例的圖。
[0030]圖4是表示第一實施方式所涉及的圖像檢索裝置的功能的功能框圖。
[0031]圖5是表示第一實施方式所涉及的索引生成部的功能結(jié)構(gòu)的功能框圖。
[0032]圖6是表示成為檢索對象的圖像的一例的圖。
[0033]圖7是表示從圖像中提取的圖像特征矢量的概念的圖。
[0034]圖8是表不代表矢量的樹結(jié)構(gòu)的一例的圖。
[0035]圖9是表示第一實施方式所涉及的圖像檢索部的功能結(jié)構(gòu)的功能框圖。
[0036]圖10是表示第一實施方式所涉及的圖像檢索部的處理的概略的處理流程的一例的圖。
[0037]圖11是表示裝置內(nèi)存儲器中的數(shù)據(jù)配置的一例的圖。
[0038]圖12是表示裝置內(nèi)存儲器中的代表矢量的配置的一例的圖。
[0039]圖13是表示輸入成為查詢的圖像的畫面的一例的圖。
[0040]圖14是表示距離計算的處理流程的一例的圖。
[0041]圖15是表示從查詢圖像中提取的查詢特征矢量與從成為檢索對象的多個圖像中提取的圖像特征矢量之間的對應(yīng)的一例的圖。
[0042]圖16是表示圖像特征矢量選擇部的處理流程的一例的圖。
[0043]圖17是表示對查詢特征矢量選擇圖像特征矢量的情況的例子的圖。
[0044]圖18是表示查詢圖像中的局部的特征與成為檢索對象的圖像中的局部的特征之間的對應(yīng)的一例的圖。
[0045]圖19是表示查詢圖像中的局部的特征與成為檢索對象的圖像中的局部的特征之間的對應(yīng)的比較例的圖。
[0046]圖20是表示查詢特征矢量與圖像特征矢量的距離的偏差的一例的圖。
[0047]圖21是表示對對應(yīng)于查詢特征矢量的圖像進行統(tǒng)計處理的結(jié)果的一例的圖。
[0048]圖22是表示簇圖像特征量存儲部中存儲的數(shù)據(jù)的一例的圖。
[0049]圖23是表示第二實施方式所涉及的圖像檢索部的功能結(jié)構(gòu)的功能框圖。
[0050]圖24是示出表示第二實施方式所涉及的圖像檢索部的處理的概要的處理流程的一例的圖。
[0051]圖25是說明第3個圖像特征簇中的圖像特征矢量的分布和基于查詢特征矢量的選擇的圖。
[0052]圖26是表示為了生成圖像得分而使用的轉(zhuǎn)置矩陣的一例的圖。
[0053]圖27是示出表示第三實施方式所涉及的圖像檢索部的處理的概要的處理流程的一例的圖。
【具體實施方式】
[0054]以下，基于【專利附圖】
【附圖說明】本發(fā)明的實施方式。對所出現(xiàn)的結(jié)構(gòu)要素之中具有相同功能的結(jié)構(gòu)要素賦予相同的符號，省略其說明。
[0055][第一實施方式]
[0056]圖1是表示本發(fā)明的第一實施方式所涉及的圖像檢索系統(tǒng)的結(jié)構(gòu)的一例的圖。圖像檢索系統(tǒng)包含圖像檢索裝置l、Web服務(wù)器2、客戶端裝置3。Web服務(wù)器2例如是Web服務(wù)器程序工作的服務(wù)器硬件，客戶端裝置3例如是Web瀏覽器的程序工作的個人計算機或智能手機。圖像檢索系統(tǒng)進行圖像檢索時的工作的概要如以下。首先，Web服務(wù)器2經(jīng)由互聯(lián)網(wǎng)等網(wǎng)絡(luò)從客戶端裝置3取得成為用于圖像檢索的查詢的圖像(以下，記述為“查詢圖像”)，將該查詢圖像輸入至圖像檢索裝置I。接著，圖像檢索裝置I檢索類似于所輸入的圖像的一個或多個圖像，輸出至Web服務(wù)器2。Web服務(wù)器2輸出使客戶端裝置3顯示圖像檢索裝置I檢索到的圖像的數(shù)據(jù)。
[0057]圖2是表示第一實施方式所涉及的圖像檢索裝置I的結(jié)構(gòu)的一例的圖。圖像檢索裝置I包含CPU11、存儲部12、通信部13、并行計算裝置14、以及總線15。
[0058]CPUll按照存儲部12中存儲的程序而工作。此外，CPUll控制通信部13、并行計算裝置14。另外，上述程序也可以是經(jīng)由互聯(lián)網(wǎng)等網(wǎng)絡(luò)而被提供的程序，也可以是被存儲在DVD - ROM或USB存儲器等能夠通過計算機讀取的信息存儲介質(zhì)中而提供的程序。
[0059]存儲部12由RAM、ROM等存儲器元件和硬盤驅(qū)動等構(gòu)成。存儲部12存儲上述程序。此外，存儲部12存儲從各部輸入的信息和運算結(jié)果。
[0060]通信部13是實現(xiàn)與Web服務(wù)器2等的其他裝置進行通信的功能的部件，例如由網(wǎng)卡那樣的通信部件構(gòu)成。網(wǎng)卡包含通信用的集成電路和通信端子。通信部13基于CPUll的控制，將從其他裝置接收到的信息輸入至CPUll和存儲部12，向其他裝置發(fā)送信息。
[0061]總線15構(gòu)成與在CPU11、存儲部12、通信部13以及并行計算裝置14之間交換數(shù)據(jù)的路徑。例如，CPU11、存儲部12與并行計算裝置14經(jīng)由總線15中的擴展總線而連接。
[0062]并行計算裝置14是擅長通過并行計算來大量進行同種的計算的硬件。并行計算裝置14例如是GPU (圖形處理單元,Graphics Processing Unit)。圖3是表示并行計算裝置14的結(jié)構(gòu)的一例的圖。并行計算裝置14包含多個并行執(zhí)行部40、裝置內(nèi)存儲器45。此夕卜，各并行執(zhí)行部40包含多個處理器41、命令單元42、高速存儲器43。
[0063]多個處理器41的每一個進行浮動小數(shù)點計算、以及與裝置內(nèi)存儲器45和高速存儲器43之間的數(shù)據(jù)的讀入和寫入等的處理。命令單元42基于裝置內(nèi)存儲器45等中存儲的程序，使得包含該命令單元42的并行執(zhí)行部40中包含的多個處理器41進行處理。某并行執(zhí)行部40中包含的多個處理器41根據(jù)來自該并行執(zhí)行部40中包含的一個命令單元42的指示而處理相同的命令。這樣，由于能夠?qū)⒍鄠€處理器41以一個命令單元42來控制，所以能夠抑制命令單元42的電路的規(guī)模的增加。相比于CPUlI，能夠增加并行計算裝置14中包含的處理器41的數(shù)目，在后述那樣的特定的計算處理中，比使用多個獨立性高的處理器的情況更容易進行高速化。
[0064]裝置內(nèi)存儲器45由DRAM構(gòu)成，該DRAM能夠比存儲部12中使用的RAM更高速地進行存取。裝置內(nèi)存儲器45經(jīng)由總線15而連接到CPUll和存儲部12。另外，并行計算裝置14還具有通過DMA轉(zhuǎn)發(fā)而在裝置內(nèi)存儲器45和存儲部12之間轉(zhuǎn)發(fā)數(shù)據(jù)的電路。高速存儲器43由能夠比裝置內(nèi)存儲器45更高速地進行存取的SRAM等構(gòu)成。處理器41對高速存儲器43進行存取時的等待時間(latency)與處理器41對其內(nèi)部寄存器進行存取時的等待時間基本不變。在此，裝置內(nèi)存儲器45和高速存儲器43都是能夠從多個處理器41公共地進行存取的公共存儲器。
[0065]圖4是表示第一實施方式所涉及的圖像檢索裝置I的功能的功能框圖。圖像檢索裝置I在功能上包含索引生成部51、以及圖像檢索部52。這些功能通過CPUll執(zhí)行存儲部12中存儲的程序，控制通信部13和并行計算裝置14，并且并行計算裝置14執(zhí)行面向該并行計算裝置14的程序而實現(xiàn)。
[0066][索引的生成]
[0067]以下，說明將圖像特征矢量22分類為簇，生成索引的處理。
[0068]索引生成部51根據(jù)成為檢索對象的多個圖像，生成在圖像檢索時使用的圖像特征矢量22、和使得該圖像特征矢量22的選擇變得容易的索引。圖像檢索部52使用索引和圖像特征矢量22，檢索類似于查詢圖像的圖像。
[0069]圖5是表示索引生成部51的功能結(jié)構(gòu)的功能框圖。索引生成部51在功能上包含圖像特征矢量提取部61、簇生成部62。簇生成部62生成成為簇的索引的代表矢量的樹結(jié)構(gòu)，在樹結(jié)構(gòu)代表矢量存儲部72中存儲與索引關(guān)聯(lián)的信息。此外，簇矢量存儲部71存儲屬于成為該樹結(jié)構(gòu)的葉的簇(代表矢量代表的簇)的圖像特征矢量22的信息。簇矢量存儲部71、樹結(jié)構(gòu)代表矢量存儲部72具體而言由存儲部12構(gòu)成。
[0070]圖像特征矢量提取部61主要通過CPU11、存儲部12、以及并行計算裝置14來實現(xiàn)。圖像特征矢量提取部61從存儲部12中存儲的、成為檢索對象的多個圖像的每一個中，提取一個或多個圖像特征矢量22。此外，圖像特征矢量提取部61將所提取到的圖像特征矢量22與提取到該圖像特征矢量22的圖像建立關(guān)聯(lián)而存儲至存儲部12。
[0071]圖6是表不成為檢索對象的圖像的一例的圖。圖7是表不從圖像中提取的圖像特征矢量22的概念的圖。從圖像中提取的圖像特征矢量22的每一個是表示該圖像的局部的特征的局部特征量。圖像特征矢量22的每一個例如是具有128個要素(維)的矢量。為了從圖像中提取圖像特征矢量22,也可以使用SIFT (尺度不變特征轉(zhuǎn)換,Scale-1nvariantFeature transform)、SURF(加速魯棒特征，Speeded Up Robust Features)等的公知的方法。圖像特征矢量22的每一個具有的要素的數(shù)目也可以根據(jù)從圖像提取的方法等而變化。此外，從一個圖像中提取的圖像特征矢量22的數(shù)目也可以是預(yù)先決定的數(shù)目(例如300)，從單純的圖像中提取的圖像特征矢量22的數(shù)目也可以比該預(yù)先決定的數(shù)目少。
[0072]簇生成部62主要通過CPU11、存儲部12以及并行計算裝置14來實現(xiàn)。簇生成部62通過聚類，將由圖像特征矢量提取部61提取到的多個圖像特征矢量22的至少一部分分類為多個簇。換言之，生成所提取到的圖像特征矢量22的至少一部分被分類的多個簇。此夕卜，生成代表這些簇的每一個的代表矢量。圖像特征矢量22被分類的簇也可以是多級。對應(yīng)于此，分類為簇的處理不限于I級的處理，也可以是多級的處理。以下，說明通過遞歸調(diào)用該多級的處理而實現(xiàn)的處理的例子。另外，在具體的例子中進行2級的處理，在第I級中將由圖像特征矢量提取部61提取到的多個圖像特征矢量22分類為1024個簇，進而在第2級中將該1024個簇的每一個分類為512個簇。
[0073]在簇生成部62的各級的處理中，通過聚類而將被給予的多個圖像特征矢量22分類為被給予的個數(shù)的簇，生成多個簇，進而生成該生成的簇的代表矢量，將所生成的代表矢量作為該級的代表矢量而存儲至樹結(jié)構(gòu)代表矢量存儲部72。在處理中的級不是最下級的情況下，簇生成部62將屬于處理中的級中生成的簇的每一個的多個圖像特征矢量22作為輸入信息，遞歸調(diào)用下一級的處理。代表矢量例如是屬于該被分類的簇的圖像特征矢量22的重心，是代表該簇的矢量。此外，簇生成部62按最下級的處理中生成的每個簇，將屬于該簇的圖像特征矢量22存儲至簇矢量存儲部71。
[0074]在上述的例子的情況下，在第I級的處理中，簇生成部62將被給予的圖像特征矢量22分類為1024個簇，生成該被分類的第I級的各簇的代表矢量，將所生成的第I級的代表矢量存儲至樹結(jié)構(gòu)代表矢量存儲部72。在第2級的處理中，簇生成部62將屬于第I級中生成的1024個簇的每一個的多個圖像特征矢量22作為輸入信息，進而分類為512個簇，生成該被分類的第2級的各簇的代表矢量，將所生成的下位的級的代表矢量存儲至樹結(jié)構(gòu)代表矢量存儲部72。若生成全部第2級的簇，則該第2級的簇的總數(shù)成為(1024X512)個。進而簇生成部62按照第2級中生成的每個簇，將屬于該簇的圖像特征矢量22存儲至簇矢量存儲部71。以下，為了易于說明，將代表第I級的簇的代表矢量記為上位代表矢量，將代表最下級(在上述的例子中為第2級)的簇的代表矢量記為代表特征矢量。此外，將最終生成的簇(在上述的例子中為第2級的簇)也記為圖像特征簇。
[0075]在將圖像特征矢量22分類為簇時，使用k - means法等的公知的聚類方法即可。簇的數(shù)目由于與后述的圖像檢索部52的處理的關(guān)系，優(yōu)選2的冪，但也可以不是2的冪。此夕卜，若分類全部圖像中包含的圖像特征矢量22，則多個圖像特征矢量22屬于各自的圖像特征簇。通過2級地進行簇生成部62的遞歸處理，能夠在樹結(jié)構(gòu)代表矢量存儲部72中存儲2層的信息。另外，圖像特征矢量提取部61和簇生成部62的計算也可以不使用并行計算裝置14而進行。但是優(yōu)選這些計算使用并行計算裝置14。這是因為根據(jù)比較實驗，在使用并行計算裝置14的情況下的計算速度成為不使用的情況的20至200倍。
[0076]圖8是表示代表矢量的樹結(jié)構(gòu)的一例的圖。在簇生成部62進行上述的2級的處理的情況下，與2級的簇對應(yīng)的2級的代表矢量構(gòu)成樹結(jié)構(gòu)。上位代表矢量的數(shù)目為1024個，上位代表矢量的每一個成為512個代表特征矢量的父。在這樣使用基于多級的簇的樹結(jié)構(gòu)的情況下，圖像檢索部52能夠利用與該樹結(jié)構(gòu)相應(yīng)的代表矢量中存在父子關(guān)系的情況而進行檢索。
[0077][檢索圖像的處理]
[0078]圖9是表示圖像檢索部52的功能結(jié)構(gòu)的功能框圖。圖像檢索部52在功能上包含代表矢量轉(zhuǎn)發(fā)部81、查詢特征矢量取得部82、上位代表矢量距離計算部83、代表簇選擇部
84、代表特征矢量距離計算部85、圖像特征簇選擇部86、圖像特征矢量轉(zhuǎn)發(fā)部87、圖像特征矢量距離計算部88、圖像特征矢量選擇部89、圖像得分生成部90、以及檢索結(jié)果圖像選擇部91。
[0079]圖10是表示第一實施方式所涉及的圖像檢索部52的處理的概要的圖。以下，按照圖10所示的處理流程，說明圖像檢索部52中包含的各功能。
[0080][并行計算裝置的初始化]
[0081]代表矢量轉(zhuǎn)發(fā)部81主要通過并行計算裝置14、存儲部12來實現(xiàn)。代表矢量轉(zhuǎn)發(fā)部81作為初始化并行計算裝置14的處理(步驟S101)，將樹結(jié)構(gòu)代表矢量存儲部72中存儲的、多個上位代表矢量以及多個代表特征矢量，轉(zhuǎn)發(fā)至能夠從多個處理器41公共地進行存取的裝置內(nèi)存儲器45。
[0082]在代表矢量轉(zhuǎn)發(fā)部81將上述數(shù)據(jù)從存儲部12轉(zhuǎn)發(fā)至裝置內(nèi)存儲器45時，使用并行計算裝置14和總線15的DMA(直接存儲器存取，Direct Memory Access)功能。
[0083]圖11是表示裝置內(nèi)存儲器45中的數(shù)據(jù)配置的一例的圖。在裝置內(nèi)存儲器45中，設(shè)置存儲代表特征矢量的區(qū)域、存儲上位代表矢量的區(qū)域、存儲一個圖像特征簇中包含的圖像特征矢量22的區(qū)域。代表矢量轉(zhuǎn)發(fā)部81將存儲部12中存儲的多個代表矢量的信息存儲至預(yù)先分配的裝置內(nèi)存儲器45的存儲器區(qū)域。向存儲圖像特征簇的區(qū)域的數(shù)據(jù)的存儲在后面敘述。
[0084]在此，若設(shè)為代表特征矢量的要素數(shù)為128維，代表特征矢量的數(shù)目為與圖像特征簇的數(shù)目相同的(1024X512)個，各要素為I字節(jié)的整數(shù)型，則該多個代表特征矢量的全部數(shù)據(jù)量成為(1024X512X128)字節(jié)(B)、即64MB。此外，此時，由于多個上位代表矢量的數(shù)目為1024，所以同樣地，多個上位代表矢量的數(shù)據(jù)量成為(1024 X 128)字節(jié)、即128KB。若例如被搭載在現(xiàn)行的GPU的裝置內(nèi)存儲器45的存儲器容量為IGB左右，且裝置內(nèi)存儲器45的容量也為1GB，則多個代表矢量的數(shù)據(jù)量比裝置內(nèi)存儲器45的容量小。
[0085]另一方面，若設(shè)為圖像的數(shù)目為100萬，從一個圖像中提取的圖像特征矢量22的數(shù)目為300，則多個圖像特征簇中包含的圖像特征矢量22的數(shù)據(jù)量成為(100萬X300X128)字節(jié)、即約36GB，不能存儲至裝置內(nèi)存儲器45。另一方面，由于每一個圖像特征簇的平均的圖像特征矢量22的數(shù)目為(100萬X300+(1024X512))、即約600，所以數(shù)據(jù)量為75KB左右。即使通過聚類而圖像特征簇中包含的圖像特征矢量22的數(shù)目稍微變動，多個代表特征矢量的數(shù)據(jù)量、多個上位代表矢量的數(shù)據(jù)量、一個圖像特征簇中包含的圖像特征矢量22的數(shù)據(jù)量之和也比裝置內(nèi)存儲器45的容量小。
[0086]圖12是表示裝置內(nèi)存儲器45中的代表矢量的配置的一例的圖。裝置內(nèi)存儲器45中存儲的代表矢量的各要素的大小為4字節(jié)，按要素的順序排列。此外，某代表矢量的數(shù)據(jù)的開頭地址成為能夠從裝置內(nèi)存儲器45—并讀出的數(shù)據(jù)的字節(jié)數(shù)(例如32或64)的倍數(shù)。該數(shù)據(jù)結(jié)構(gòu)是用于在后述的距離計算的處理中，將裝置內(nèi)存儲器45中存儲的數(shù)據(jù)一并讀入多個處理器41的數(shù)據(jù)結(jié)構(gòu)。即使代表矢量的各要素的大小為I字節(jié)，為了一并讀入，代表矢量轉(zhuǎn)發(fā)部81也對裝置內(nèi)存儲器45轉(zhuǎn)發(fā)將各要素的大小變換為4字節(jié)后的數(shù)據(jù)。另夕卜，上位代表矢量、一個圖像特征簇內(nèi)的圖像特征矢量22也以同樣的數(shù)據(jù)結(jié)構(gòu)而存儲至裝置內(nèi)存儲器45。裝置內(nèi)存儲器45內(nèi)的多個代表特征矢量、多個上位代表矢量、以及一個圖像特征簇中包含的圖像特征矢量22的數(shù)據(jù)量成為4倍，但在該例中，這些數(shù)據(jù)量之和比裝置內(nèi)存儲器45的容量小的點不變。在本實施方式中，調(diào)整圖像特征簇或代表矢量的數(shù)目，以使至少裝置內(nèi)存儲器45內(nèi)的多個代表特征矢量、以及多個上位代表矢量的數(shù)據(jù)量之和收納于裝置內(nèi)存儲器45的容量即可。
[0087][查詢特征矢量的取得]
[0088]查詢特征矢量取得部82主要通過CPUl1、存儲部12、以及并行計算裝置14來實現(xiàn)。查詢特征矢量取得部82在并行計算裝置14的初始化之后，從查詢圖像中取得一個或多個查詢特征矢量(步驟S102)。此外，查詢特征矢量取得部82將從查詢圖像中提取的一個或多個查詢特征矢量存儲至作為公共存儲器的裝置內(nèi)存儲器45。
[0089]查詢特征矢量取得部82首先從客戶端裝置3經(jīng)由Web服務(wù)器2取得查詢圖像。圖13是表示輸入查詢圖像的畫面的一例的圖?？蛻舳搜b置3通過Web服務(wù)器2所生成的數(shù)據(jù)來顯示本畫面。查詢圖像也可以通過用戶上傳客戶端裝置3內(nèi)的圖像文件而取得，也可以通過發(fā)送某些Web頁面中顯示的圖像的URL而取得，也可以通過從照片共享服務(wù)等中存儲的圖像中選擇查詢圖像而取得。接著，查詢特征矢量取得部82從Web服務(wù)器2取得所取得的查詢圖像，從該查詢圖像中提取并取得一個或多個查詢特征矢量。查詢特征矢量使用與圖像特征矢量提取部61提取圖像特征矢量22的方法相同的方法而生成。接著，查詢特征矢量取得部82將查詢特征矢量存儲至裝置內(nèi)存儲器45。在此，也可以是CPUl I提取查詢特征矢量，并行計算裝置14將查詢特征矢量加載至裝置內(nèi)存儲器45，也可以是將查詢圖像加載至并行計算裝置14，并行計算裝置14提取查詢特征矢量而存儲至裝置內(nèi)存儲器45。
[0090][圖像特征簇的選擇]
[0091]接著，圖像檢索部52選擇與多個查詢特征矢量的每一個對應(yīng)的圖像特征簇(步驟S103)。該處理由上位代表矢量距離計算部83、代表簇選擇部84、代表特征矢量距離計算部
85、以及圖像特征簇選擇部86進行。
[0092]上位代表矢量距離計算部83以并行計算裝置14為中心而實現(xiàn)。上位代表矢量距離計算部83使用多個并行的處理器41，計算多個上位代表矢量的每一個與查詢特征矢量的距離。以下，說明上位代表矢量距離計算部83中的距離計算的細節(jié)。另外，上位代表矢量距離計算部83、代表簇選擇部84、代表特征矢量距離計算部85、圖像特征簇選擇部86、圖像特征矢量距離計算部88、以及圖像特征矢量選擇部89的處理關(guān)于從查詢圖像中提取到的查詢特征矢量的每一個而進行。
[0093]圖14是表示距離計算的處理流程的一例的圖。首先，上位代表矢量距離計算部83將查詢特征矢量從裝置內(nèi)存儲器45加載到進行距離計算的并行執(zhí)行部40的高速存儲器43(步驟S201)。接著，將成為計算對象的矢量(在此為上位代表矢量)的各要素從裝置內(nèi)存儲器45加載到進行該要素的計算的處理器41的寄存器(步驟S202)。此時，多個處理器41從裝置內(nèi)存儲器45 —并讀入計算對象矢量的數(shù)據(jù)。由于成為計算對象的矢量的數(shù)據(jù)通過代表矢量轉(zhuǎn)發(fā)部81等預(yù)先以能夠進行該一并的讀入的方式被存儲至裝置內(nèi)存儲器45，所以多個處理器41能夠進行該讀入。接著，上位代表矢量距離計算部83對寄存器中存儲的成為計算對象的矢量的要素、和對應(yīng)于該要素的查詢特征矢量的要素進行減法，進而將該減法結(jié)果平方(步驟S203)。在距離計算中，也可以代替將減法結(jié)果平方而使用利用減法結(jié)果的絕對值等的其他距離函數(shù)。距離函數(shù)所使用的距離不限于如步驟S203那樣的歐幾里得(Euclid)距離(L2),也可以是余弦(Cosine)、曼哈頓(Manhattan)距離(LI)等。
[0094]接著，合計關(guān)于成為計算對象的矢量的各要素的步驟S103的計算結(jié)果(步驟S204)。并且，上位代表矢量距離計算部83將合計結(jié)果存儲至裝置內(nèi)存儲器45 (步驟S205)。另外，若某并行執(zhí)行部40中包含的、執(zhí)行相同的命令的處理器41的數(shù)目比查詢特征矢量或成為計算對象的矢量的要素的數(shù)目少，則步驟S202至步驟S204的處理配合處理器41的數(shù)目而被分割，多次被執(zhí)行。此外，在存在多個并行執(zhí)行部40的情況下，上位代表矢量距離計算部83使其他的并行執(zhí)行部40關(guān)于其他的成為計算對象的矢量執(zhí)行步驟S201至S205的處理。此外，關(guān)于從查詢圖像中提取到的其他查詢特征矢量，也可以并行地進行計算。通過這樣，查詢特征矢量與其他多個計算對象的矢量的距離計算配合GPU那樣的并行計算裝置14的并行計算能力而并行地被計算。由該距離計算的處理內(nèi)容可知，被適當(dāng)?shù)嘏渲迷谘b置內(nèi)存儲器45中的多個矢量與查詢特征矢量的距離計算與GPU那樣的硬件兼容性高，非常高速地被處理。
[0095]代表簇選擇部84以并行計算裝置14為中心而實現(xiàn)。代表簇選擇部84基于上位代表矢量距離計算部83中計算出的查詢特征矢量與多個上位代表矢量的每一個的距離，從多個代表特征矢量的集合中選擇一個集合。更詳細地說，例如選擇成為與查詢特征矢量的距離最短的上位代表矢量的子的多個代表特征矢量的集合。該代表特征矢量的集合的每一個對應(yīng)于第I級的簇(代表簇)。代表特征矢量的集合的選擇也相當(dāng)于與此對應(yīng)的代表簇的選擇。另外，能夠看作上位代表矢量的每一個代表多個代表特征矢量。更具體而言，代表簇選擇部84通過計算存儲該代表矢量的集合的存儲器內(nèi)的區(qū)域的開頭地址來選擇該集合。例如，若成為某上位代表矢量的子的代表特征矢量的數(shù)目與上位代表矢量無關(guān)而為一定，則若知道距離最短的上位代表矢量是第幾個，則能夠以乘法等單純的計算來求得開頭地址。這樣，不使用需要分支或追加的存儲器存取的運算即可，所以能夠進行將GPU那樣的硬件的性能更活用的處理。
[0096]代表特征矢量距離計算部85以并行計算裝置14為中心而實現(xiàn)。代表特征矢量距離計算部85使用多個并行的處理器41計算多個代表特征矢量的至少一部分的每一個與查詢特征矢量的距離。在此，成為計算對象的代表特征矢量是屬于由代表簇選擇部84選擇出的集合的代表特征矢量。代表特征矢量距離計算部85與上位代表矢量距離計算部83計算距離相同地，按照圖14的流程計算距離。其中，計算對象矢量是上述的代表特征矢量。與上位代表矢量距離計算部83相同地，該處理內(nèi)容與GPU那樣的硬件兼容性高，非常高速地被處理。
[0097]圖像特征簇選擇部86以并行計算裝置14為中心而實現(xiàn)。圖像特征簇選擇部86基于由代表特征矢量距離計算部85計算出的查詢特征矢量與多個代表特征矢量的每一個的距離，從多個圖像特征簇中選擇圖像特征簇。更詳細地說，例如選擇與查詢特征矢量的距離最短的代表特征矢量代表的圖像特征簇。
[0098]另外，在本實施方式中，如上位代表矢量和代表特征矢量那樣，代表矢量成為2級的樹結(jié)構(gòu)的結(jié)構(gòu)，但也可以是不設(shè)置上位代表矢量的I級的結(jié)構(gòu)。此時，不需要上位代表矢量距離計算部83以及代表簇選擇部84的處理，代表特征矢量距離計算部85關(guān)于全部代表特征矢量進行距離計算。此外，也可以是3級以上的結(jié)構(gòu)。
[0099][圖像特征矢量的選擇]
[0100]在選擇出圖像特征簇后，圖像檢索部52計算多個查詢特征矢量的每一個與屬于所選擇出的圖像特征簇的圖像特征矢量22的距離，基于該距離選擇與該查詢特征矢量對應(yīng)的一個或多個圖像特征矢量22 (步驟S104)。該處理由圖像特征矢量轉(zhuǎn)發(fā)部87、圖像特征矢量距離計算部88、以及圖像特征矢量選擇部89進行。
[0101]圖像特征矢量轉(zhuǎn)發(fā)部87以存儲部12以及并行計算裝置14為中心而實現(xiàn)。圖像特征矢量轉(zhuǎn)發(fā)部87將屬于由圖像特征簇選擇部86選擇出的圖像特征簇的多個圖像特征矢量22，從簇矢量存儲部71轉(zhuǎn)發(fā)至能夠從多個處理器41公共地進行存取的裝置內(nèi)存儲器45。圖像特征矢量轉(zhuǎn)發(fā)部87與代表矢量轉(zhuǎn)發(fā)部81轉(zhuǎn)發(fā)代表特征矢量等相同地，配置圖像特征矢量22的數(shù)據(jù)，以便將裝置內(nèi)存儲器45中存儲的數(shù)據(jù)一并讀入多個處理器41。
[0102]圖像特征矢量距離計算部88以并行計算裝置14為中心而實現(xiàn)。圖像特征矢量距離計算部88使用多個并行的處理器41，計算多個圖像特征矢量22的每一個與查詢特征矢量的距離。在此，用于計算的圖像特征矢量22是屬于由圖像特征簇選擇部86選擇出的圖像特征簇的圖像特征矢量22。該數(shù)據(jù)通過圖像特征矢量轉(zhuǎn)發(fā)部87被轉(zhuǎn)發(fā)至裝置內(nèi)存儲器45。圖像特征矢量距離計算部88與上位代表矢量距離計算部83計算距離相同地，關(guān)于查詢特征矢量的每一個，按照圖14的流程而計算距離。其中，計算對象矢量是圖像特征矢量22。與上位代表矢量距離計算部83相同，該處理內(nèi)容與GPU那樣的硬件兼容性高，非常高速地被處理。
[0103]圖像特征矢量選擇部89以并行計算裝置14為中心而實現(xiàn)。圖像特征矢量選擇部89基于多個查詢特征矢量與屬于所選擇出的圖像特征簇的多個圖像特征矢量22的接近度，選擇與多個查詢特征矢量的每一個對應(yīng)的多個圖像特征矢量22。作為接近度，在該例中使用距離。在此，圖像特征矢量選擇部89選擇滿足以下的條件的多個圖像特征矢量22。該條件是對于某查詢特征量，對成為檢索對象的多個圖像的每一個選擇一個圖像特征矢量22。通過該條件，防止從某一個圖像中提取到的多個圖像特征矢量22對應(yīng)于一個查詢特征矢量。
[0104]圖15是表示從查詢圖像中提取的查詢特征矢量與從成為檢索對象的多個圖像中提取的圖像特征矢量22之間的對應(yīng)的一例的圖。處于圖15的左側(cè)的一個矩形表示查詢圖像，在其中的X標(biāo)記表示從該查詢圖像中提取到的查詢特征矢量。在圖15的右側(cè)在上下方向上排列的矩形分別表示成為檢索對象的圖像，在該矩形的各自之中的X標(biāo)記表示從該圖像中提取的圖像特征矢量22。如圖15所示，在某查詢圖像和成為檢索對象的圖像之中的一個之間，一個查詢特征矢量僅對應(yīng)于一個圖像特征矢量22。另一方面，對于該查詢特征矢量，可存在從成為檢索對象的其他圖像中提取的圖像特征矢量22。當(dāng)然，還可存在不包含對應(yīng)于該查詢特征矢量的圖像特征矢量22圖像，所以對應(yīng)于某查詢特征矢量而從某一個圖像中提取的圖像特征矢量22的數(shù)目成為I或者O。
[0105]圖16是表示圖像特征矢量選擇部89的處理流程的一例的圖。圖像特征矢量選擇部89對每個查詢特征矢量進行如圖16所示的處理。此外，后述的已選擇特征列表在對于某查詢圖像的全部查詢特征矢量之間公共使用，已選擇特征列表在對第I個查詢特征矢量開始處理前被初始化。以下說明關(guān)于某查詢特征矢量的處理。
[0106]首先，圖像特征矢量選擇部89從屬于所選擇出的簇的圖像特征矢量22中，取得與查詢特征矢量的距離比預(yù)先決定的閾值小的圖像特征矢量，通過距離揀選(sort)這些圖像特征矢量(步驟S301)。
[0107]圖17是表示對查詢特征矢量選擇圖像特征矢量22的情況下的例子的圖。本圖的實線的圓表示所選擇出的簇，處于該圓的中心的黑點表示該簇的代表矢量241 (準(zhǔn)確地說為矢量的坐標(biāo))，白點表示該簇中包含的圖像特征矢量22。加號記號表示查詢特征矢量。在圖17的例子中，對應(yīng)于查詢特征矢量321而取得并揀選離查詢特征矢量321的距離成為閾值的范圍內(nèi)的、處于以查詢特征矢量321的白點為中心的虛線內(nèi)的圖像特征矢量221、223。此外，對于查詢特征矢量322，取得并揀選圖像特征矢量222、223。在此，能夠通過使閾值變化，從而控制檢索精度。具體而言，閾值越小則能夠?qū)⑸贁?shù)的圖像特征矢量22作為檢索結(jié)果而輸出，閾值越大則能夠?qū)挿秶膱D像特征矢量22作為檢索結(jié)果而輸出。另外，在將閾值設(shè)為最大的情況下，選擇簇中包含的全部圖像特征矢量。另外，也可以按距離近的順序而不是距離是否處于范圍內(nèi)來取得預(yù)先決定的數(shù)目的查詢特征矢量。另外，在圖17中，為了易于理解，使用2維附圖圖示了簇的代表矢量、該簇中包含的圖像特征矢量、以及查詢特征矢量，但實際上，這些矢量不是2維而是128維。
[0108]接著，圖像特征矢量選擇部89清除并初始化屬于已選擇圖像列表的圖像(步驟S302)。接著，將所揀選出的圖像特征矢量22之中的第I個圖像特征矢量22作為處理對象而取得(步驟S303)。并且，在該處理對象的圖像特征矢量22沒有從處于已選擇圖像列表的圖像中被提取(步驟S304的“否”)，且在已選擇特征列表中不存在(步驟S305的“否”)的情況下，將成為處理對象的圖像特征矢量22選擇為對應(yīng)于該查詢特征矢量的圖像特征矢量(步驟S306)。并且，將所選擇出的圖像特征矢量22追加到已選擇特征列表(步驟S307)，此外，將提取到所選擇出的圖像特征矢量22的圖像追加到已選擇圖像列表(步驟S308)。處理對象的圖像特征矢量22從處于已選擇圖像列表的圖像中被提取(步驟S304的“是”)，或者，在已選擇特征列表中存在(步驟S305的“是”)的情況下，跳過步驟S306至步驟S308的處理。
[0109]并且，若成為處理對象的圖像特征矢量22是最后的圖像特征矢量22(步驟S309的“是”)，則對于該查詢特征矢量的處理結(jié)束，若成為處理對象的圖像特征矢量22不是最后的圖像特征矢量22(步驟S309的“否”)，則將下一個圖像特征矢量22作為處理對象而取得(步驟S310)，從步驟S304起重復(fù)。
[0110]通過步驟S304等的處理，抑制對于某查詢特征矢量選擇從一個圖像提取到的多個圖像特征矢量22的現(xiàn)象。通過步驟S305等的處理，抑制例如圖17中的圖像特征矢量223通過多個查詢特征矢量多次被選擇的現(xiàn)象。換言之，對某查詢特征矢量選擇的圖像特征矢量22與對其他查詢特征矢量選擇的圖像特征矢量22不重復(fù)。其結(jié)果，從查詢圖像中提取的查詢特征矢量與從成為檢索對象的圖像的其中一個中提取到的圖像特征矢量22之中所選擇的圖像特征矢量以I對I的方式對應(yīng)。
[0111]圖18是表示查詢圖像中的局部的特征(對應(yīng)于查詢特征矢量)與成為檢索對象的圖像中的局部的特征(對應(yīng)于圖像特征矢量22)之間的對應(yīng)的一例的圖。在圖18之中上側(cè)的矩形表示查詢圖像，下側(cè)的矩形表示成為檢索對象的圖像。這些圖像中包含的多個三角形表示相互類似的局部的特征。像這樣，查詢圖像中的局部的特征與成為檢索對象的圖像中的局部的特征以I對I的方式對應(yīng)。
[0112]圖19是表示查詢圖像中的局部的特征與成為檢索對象的圖像中的局部的特征之間的對應(yīng)的比較例的圖。本圖是在不進行步驟S304以及S305的處理的情況下的例子。此時，成為多對多的對應(yīng)關(guān)系，導(dǎo)致所選擇的圖像特征矢量22的數(shù)目飛躍性地增大。
[0113]比較圖18和圖19也可知，通過上述的處理，能夠防止在查詢圖像和成為檢索對象的圖像之一中，局部的特征量的數(shù)目不同的圖像提取比數(shù)目相同的圖像更多的圖像特征矢量22。由此，通過后述的得分生成處理，能夠抑制成為檢索對象的圖像具有的局部的特征的數(shù)目與查詢圖像具有的局部的特征的數(shù)目大不相同的圖像被選擇為檢索結(jié)果的可能性。
[0114][每個圖像的得分的生成]
[0115]若圖像特征矢量22被選擇，則圖像檢索部52中包含的圖像得分生成部90按成為檢索對象的每個圖像生成得分(步驟S105)。圖像得分生成部90以并行計算裝置14為中心而實現(xiàn)。圖像得分生成部90關(guān)于多個圖像的每一個，基于表示該圖像的特征且所選擇出的多個圖像特征矢量22與對應(yīng)于該選擇出的圖像特征矢量22的查詢特征矢量的接近度來計算得分要素，進而基于該得分要素的合計，生成該圖像的圖像得分。
[0116]圖像得分生成部90使用以下的式，關(guān)于所選擇出的圖像特征矢量22的每一個，計算得分要素Se。
[0117][數(shù)I]
1
[0118]貨二;........77:.....JTl
+ 0)
[0119]在此，dist是圖像特征矢量22與對應(yīng)于該圖像特征矢量22的查詢特征矢量的距離，In表示自然對數(shù)，e表示自然對數(shù)的底。由此，具有對應(yīng)的查詢特征矢量的圖像特征矢量22的得分要素se根據(jù)距離而發(fā)生變化。接著，圖像得分生成部90關(guān)于圖像的每一個，使用從該圖像中提取的、圖像特征矢量選擇部89選擇出的圖像特征矢量22的得分要素s的合計，如以下的式那樣計算圖像得分Si。
[0120][數(shù)2]
y]se
[0121]
4kn
[0122]在此，kn是從該圖像中提取到的圖像特征矢量22的數(shù)目。由這些式生成的圖像得分Si關(guān)于圖像的每一個，成為不僅考慮圖像特征矢量22被選擇的頻度，還考慮了查詢特征矢量的每一個與對應(yīng)的圖像特征矢量22的接近度的得分，所以能夠進一步提高檢索精度。
[0123]圖20是表示查詢特征矢量與圖像特征矢量22的距離的偏差的一例的圖。例如，如本圖那樣，在查詢特征矢量324與對應(yīng)而選擇的圖像特征矢量224接近，查詢特征矢量325與對應(yīng)而選擇的圖像特征矢量225接近的情況下，以往以相同的權(quán)重計算得分，但通過上述的處理，計算反映了這樣的差異的得分，能夠進行更反映了局部的特征的類似性的檢索。
[0124][圖像的選擇]
[0125]若圖像得分被生成，則圖像檢索部52中包含的檢索結(jié)果圖像選擇部91選擇成為檢索結(jié)果的圖像(步驟S106)。檢索結(jié)果圖像選擇部91以并行計算裝置14為中心而實現(xiàn)。檢索結(jié)果圖像選擇部91基于圖像得分生成部90計算出的圖像得分，選擇成為檢索對象的多個圖像之中的至少一個作為檢索結(jié)果。具體而言，將圖像得分根據(jù)其值而降序排序，從其圖像得分高的圖像中選擇幾個，或選擇圖像得分比規(guī)定的值高的圖像。
[0126]圖21是表示圖像得分的排序結(jié)果的一例的圖。如本圖所示，在將包含一個星標(biāo)記的土耳其國旗設(shè)為查詢圖像的情況下，抑制對于包含大量星標(biāo)記的美國星條旗的圖像的圖像得分上升的現(xiàn)象。若檢索結(jié)果圖像選擇部91選擇圖像，則向Web服務(wù)器2輸出所選擇出的圖像的信息。Web服務(wù)器2輸出使客戶端裝置3顯示檢索結(jié)果的圖像的信息。
[0127]另外，上位代表矢量距離計算部83至圖像特征矢量距離計算部88的處理與GPU等的進行并行計算的硬件的兼容性高，能夠完全活用GPU的并行計算能力。此外，這以后的處理也能夠在一定程度上進行并行處理，能夠通過還使用CPUll而更高速地進行處理。因此，能夠充分具有基于GPU的處理時間的縮短效果。此外，也可以使CPUll執(zhí)行這些處理之中的一部分。
[0128][第二實施方式]
[0129]本發(fā)明的第二實施方式所涉及的圖像檢索系統(tǒng)與第一實施方式不同，在選擇了圖像特征簇后不判斷圖像特征矢量22與查詢特征矢量的距離。該方法是與BoF法一部分類似的檢索方法。以下，以與第一實施方式的不同點為中心進行說明。另外，構(gòu)成圖1所示的圖像檢索系統(tǒng)的設(shè)備的結(jié)構(gòu)、圖像檢索裝置I具有索引生成部51以及圖像檢索部52的點與第一實施方式相同。
[0130][索引的生成]
[0131]與第一實施方式相同，索引生成部51包含圖像特征矢量提取部61、簇生成部62。圖像特征矢量提取部61從成為檢索對象的多個圖像的每一個中提取多個圖像特征矢量22。簇生成部62將該提取到的圖像特征矢量22分類為多個圖像特征簇。此外，簇生成部62將這些圖像特征簇的代表矢量存儲至代表矢量存儲部172，將與屬于圖像特征簇的圖像特征矢量22相關(guān)的信息存儲至簇圖像特征量存儲部171。至圖像特征簇的分類使用與第一實施方式相同的方法即可。其中，簇生成部62在簇圖像特征量存儲部171中，代替圖像特征矢量22的各要素而存儲相當(dāng)于該圖像特征矢量22的索引的信息，更具體而言存儲提取到該圖像特征矢量的圖像的識別信息。簇圖像特征量存儲部171、代表矢量存儲部172具體而言由存儲部12構(gòu)成。
[0132]圖22是表示簇圖像特征量存儲部171中存儲的數(shù)據(jù)的一例的圖。在簇圖像特征量存儲部171中，存儲了將作為圖像特征簇的識別信息的簇序號和作為圖像的識別信息的圖像序號設(shè)為要素的多個記錄。在此，一個記錄對應(yīng)于一個圖像特征矢量22。在從某圖像提取到的多個圖像特征矢量在相同的圖像特征簇中存在的情況下，具有相同的簇序號和圖像序號的記錄的數(shù)目成為該圖像特征矢量22的數(shù)目。
[0133][檢索圖像的處理]
[0134]圖23是表示第二實施方式所涉及的圖像檢索部52的功能結(jié)構(gòu)的功能框圖。圖像檢索部52在功能上包含查詢特征矢量取得部181、圖像特征簇選擇部182、圖像特征矢量選擇部183、圖像得分生成部184、以及檢索結(jié)果圖像選擇部185。
[0135]圖24是表示第二實施方式所涉及的圖像檢索部52的處理的概要的圖。以下，按照圖24所示的處理流程，說明圖像檢索部52中包含的各功能。
[0136][查詢特征矢量的取得]
[0137]查詢特征矢量取得部181主要通過CPU11、存儲部12、以及并行計算裝置14來實現(xiàn)。首先，查詢特征矢量取得部181從查詢圖像中取得一個或多個查詢特征矢量(步驟S1101)。該處理是與第一實施方式中的查詢特征矢量取得部82相同的處理。
[0138][圖像特征簇的選擇]
[0139]圖像特征簇選擇部182主要通過CPU11、存儲部12、以及并行計算裝置14來實現(xiàn)。若查詢特征矢量被取得，則圖像特征簇選擇部182選擇分別對應(yīng)于多個查詢特征矢量的多個圖像特征簇(步驟S1102)。更具體而言，關(guān)于查詢特征矢量的每一個，選擇具有與該查詢特征矢量最接近的代表矢量的圖像特征簇。作為更詳細的計算方法，也可以使用CPUll進行距離計算，也可以如第一實施方式所示那樣，使用并行計算裝置14和代表矢量的樹結(jié)構(gòu)來選擇圖像特征簇。另外，也可以認為所選擇出的圖像特征簇相當(dāng)于BoF法中的VisualWord。
[0140][圖像特征矢量的選擇]
[0141]圖像特征矢量選擇部183以CPUll以及存儲部12為中心而實現(xiàn)。圖像特征矢量選擇部183從屬于對查詢特征矢量的每一個所選擇出的圖像特征簇的圖像特征矢量22中，選擇對應(yīng)于該查詢特征矢量的圖像特征矢量22(步驟S1103)。在此，圖像特征矢量選擇部89選擇滿足以下的條件的多個圖像特征矢量22。一個條件是，關(guān)于成為檢索對象的多個圖像的每一個，從該圖像提取到的多個圖像特征矢量22之中，對應(yīng)于某一個查詢特征矢量而選擇出的圖像特征矢量22的數(shù)目成為I。另一個條件是，對任一個查詢特征矢量選擇的圖像特征矢量22、與對其他查詢特征矢量選擇的圖像特征矢量22不重復(fù)。圖像特征矢量選擇部183關(guān)于查詢特征矢量的每一個，將滿足上述的條件的全部圖像特征矢量22選擇為對應(yīng)于該查詢特征矢量的圖像特征矢量22。
[0142]作為具體的處理方法，例如在第一實施方式中由圖16說明的處理之中，將步驟S301的處理變更為取得對應(yīng)于查詢特征矢量而選擇出的圖像特征簇中包含的全部圖像特征矢量22即可。另外，在本實施方式中在簇圖像特征量存儲部171中不存儲圖像特征矢量22本身，不進行距離計算和基于距離的揀選。
[0143]圖25是說明第3個圖像特征簇中的圖像特征矢量22的分布和基于查詢特征矢量的選擇的圖。圖25表示某圖像特征簇(在此是簇序號為3的圖像特征簇)中的每個圖像的圖像特征矢量22的數(shù)目。圖25中橫軸是圖像序號，縱軸是圖像特征矢量22的數(shù)目。在通過某查詢特征矢量而第I次簇序號3的圖像特征簇被選擇出的情況下，從圖像序號3、4、
5、7、16的圖像中提取到的圖像特征矢量22分別被逐個地選擇。此外，在通過其他查詢特征矢量第2次簇序號3的圖像特征簇被選擇出的情況下，從剩余的圖像特征矢量22之中，從圖像序號4、16的圖像中提取到的圖像特征矢量22分別被逐個地選擇。
[0144][每個圖像的得分的生成]
[0145]圖像得分生成部184以CPUll以及存儲部12為中心而實現(xiàn)。圖像得分生成部184關(guān)于多個圖像的至少一部分的每一個，基于該圖像中的所選擇出的圖像特征矢量22的出現(xiàn)頻度而生成該圖像的圖像得分(步驟S1104)。例如，圖像得分生成部184按每個圖像，對從該圖像中被提取且與查詢特征矢量對應(yīng)而選擇出的圖像特征矢量22的數(shù)目進行計數(shù)，生成圖像得分。
[0146][圖像的選擇]
[0147]檢索結(jié)果圖像選擇部185以CPUll以及存儲部12為中心而實現(xiàn)。檢索結(jié)果圖像選擇部185選擇成為檢索結(jié)果的圖像(步驟S1105)。具體而言，檢索結(jié)果圖像選擇部185與第一實施方式中的檢索結(jié)果圖像選擇部91相同地，基于圖像得分而將成為檢索對象的多個圖像之中的至少一個選擇為檢索結(jié)果。
[0148]如上述那樣，產(chǎn)生以下效果:即使在選擇了圖像特征簇后不計算圖像特征矢量22與查詢特征矢量的距離，也使得從查詢圖像中提取的查詢特征矢量、與從成為檢索對象的圖像的其中一個中提取到的圖像特征矢量22之中所選擇出的圖像特征矢量22以I對I的方式對應(yīng)，抑制成為檢索對象的圖像具有的局部的特征的數(shù)目與查詢圖像具有的局部的特征的數(shù)目大不相同的圖像被選擇為檢索結(jié)果的可能性。
[0149][第三實施方式]
[0150]本發(fā)明的第三實施方式所涉及的圖像檢索系統(tǒng)與第二實施方式相同，在選擇了圖像特征簇后不判斷圖像特征矢量22與查詢特征矢量的距離。在本實施方式中使用BoF法中使用的已有的全文檢索引擎且得到與第二實施方式相同的效果。以下，以與第二實施方式的不同點為中心進行說明。另外，構(gòu)成圖1所示的圖像檢索系統(tǒng)的設(shè)備的結(jié)構(gòu)、圖2和圖23所示的功能結(jié)構(gòu)與第二實施方式相同。
[0151][索引的生成]
[0152]在第三實施方式中，簇生成部62將BoF法中一般使用的轉(zhuǎn)置矩陣存儲至簇圖像特征量存儲部171。BoF法中的轉(zhuǎn)置矩陣是由對應(yīng)于圖像的列和對應(yīng)于Visual Word的行構(gòu)成的矩陣。在本實施方式中，將確定矩陣的行的字符串稱為視覺單詞識別符。在此，視覺單詞識別符是對相當(dāng)于Visual Word的圖像特征簇的識別號附加了表示關(guān)于該圖像特征簇提取到對應(yīng)于某圖像的圖像特征矢量22的位次的信息的識別符。
[0153]圖26是表示為了生成圖像得分而使用的轉(zhuǎn)置矩陣的一例的圖。沒有連字符(hyphen)的視覺單詞識別符與圖像特征簇的簇序號相同。在基于該視覺單詞的行和某圖像序號的列而決定的單元有“I”的情況下，表示存在從該圖像序號所示的圖像中被提取，且屬于該圖像特征簇的第I個圖像特征矢量22。此外，關(guān)于有連字符的視覺單詞識別符，連字符之前的序號表示圖像特征簇的簇序號，連字符之后的序號表示圖像中的圖像特征矢量22的順序序號。例如，在由視覺單詞識別符為“3 - 2”的行和圖像序號“4”的列決定的單元中有“I”的情況下，表示在第3個圖像特征簇中，關(guān)于第4個圖像存在第2個圖像特征矢量
22。存在該“I”的單元相當(dāng)于圖像特征矢量22。當(dāng)然，視覺單詞識別符的表現(xiàn)中也可以不使用連字符。只要能夠識別屬于相同的簇且從相同的圖像中提取的圖像特征矢量22則視覺單詞識別符也可以是任意表現(xiàn)。
[0154]此外，視覺單詞識別符“3 - many”的“many”表示預(yù)先決定的簇內(nèi)閾值(在此為3)以后的順序序號。在由視覺單詞識別符為“3 — many”的行和圖像序號“4”的列而決定的單元中存在“I”的情況下，表示在第3個圖像特征簇中存在規(guī)定的位次(第3個)以后的圖像特征矢量22。在本實施方式中使得“3 — 4”以后的視覺單詞不存在。這表示刪除關(guān)于第4個以后的圖像特征矢量22的信息。進一步說，與以下情況等價:屬于某圖像特征簇的圖像特征矢量22之中與成為檢索對象的多個圖像的其中一個對應(yīng)的圖像特征量的數(shù)目不超過該簇內(nèi)閾值。簇生成部62將屬于某圖像特征簇，且與成為檢索對象的多個圖像的其中一個對應(yīng)的圖像特征矢量22之中超過簇內(nèi)閾值的圖像特征矢量從圖像特征簇中刪除，將其結(jié)果存儲至簇圖像特征量存儲部171。
[0155][檢索圖像的處理]
[0156]圖27是表示第三實施方式所涉及的圖像檢索部52的處理的概要的圖。以下，按照圖27所示的處理流程，主要說明與第二實施方式的不同點。
[0157]首先，查詢特征矢量取得部181從查詢圖像中取得一個或多個查詢特征矢量(步驟S2101)。接著，圖像特征簇選擇部182選擇分別對應(yīng)于多個查詢特征矢量的多個圖像特征簇(步驟S2102)。由于這些處理與第二實施方式相同所以省略說明。
[0158]接著，圖像特征矢量選擇部183基于所選擇出的圖像特征簇的簇序號和選擇出該圖像特征簇的位次，生成視覺單詞識別符(步驟S2103)。該生成規(guī)則與轉(zhuǎn)置矩陣中的視覺單詞識別符的生成規(guī)則相同。具體而言，在選擇出圖像特征簇的位次為I的情況下將圖像特征簇的簇序號設(shè)為視覺單詞識別符，從該位次為2至(特征閾值一 I)為止，將對簇序號附加了連字符和位次后的識別符設(shè)為視覺單詞識別符，在該位次為特征閾值的情況下，將對簇序號附加了 “一 many”的識別符設(shè)為視覺單詞識別符。
[0159]接著，圖像特征矢量選擇部183使用轉(zhuǎn)置矩陣，選擇對應(yīng)于視覺單詞識別符的圖像特征矢量22(步驟S2104)。具體而言，圖像特征矢量22的選擇通過取得有“I”的單元和該單元的圖像序號而進行。此外，圖像特征矢量選擇部183使用所選擇出的圖像序號以及單元的數(shù)值，生成圖像的得分(步驟S2105)。并且，基于該得分，選擇成為檢索結(jié)果的圖像(步驟 S2106)。
[0160]步驟S2104至步驟S2106的處理也可以通過公知的全文檢索引擎來處理。作為該處理引擎的例子，有“Solr”。通過生成上述的轉(zhuǎn)置矩陣，對某查詢特征矢量從某圖像中選擇的單元的值被限定為I。由此，能夠使得從查詢圖像中提取的查詢特征矢量、與關(guān)于某圖像選擇的圖像特征矢量22以I對I的方式對應(yīng)。因此，產(chǎn)生以下效果:抑制成為檢索對象的圖像具有的局部的特征的數(shù)目、與查詢圖像具有的局部的特征的數(shù)目大不相同的圖像被選擇為檢索結(jié)果的可能性。
[0161]標(biāo)號說明
[0162]I圖像檢索裝置，2 Web服務(wù)器，3客戶端裝置，11 CPU、12存儲部，13通信部，14并行計算裝置，15總線，22、221、222、223、224、225圖像特征矢量，40并行執(zhí)行部，41處理器，42命令單元，43高速存儲器，45裝置內(nèi)存儲器，51索引生成部，52圖像檢索部，61圖像特征矢量提取部，62簇生成部，71簇矢量存儲部，72樹結(jié)構(gòu)代表矢量存儲部，81代表矢量轉(zhuǎn)發(fā)部，82、181查詢特征矢量取得部，83上位代表矢量距離計算部，84代表簇選擇部，85代表特征矢量距離計算部，86、182圖像特征簇選擇部，87圖像特征矢量轉(zhuǎn)發(fā)部，88圖像特征矢量距離計算部，89、183圖像特征矢量選擇部，90、184圖像得分生成部，91、185檢索結(jié)果圖像選擇部，171簇圖像特征量存儲部，172代表矢量存儲部，241代表矢量，321、322、324、325查詢特征矢量。
【權(quán)利要求】
1.一種圖像檢索裝置，其特征在于，包括: 查詢特征量取得部件，取得分別表示成為查詢的圖像的局部的特征的多個查詢特征量; 圖像特征量選擇部件，從圖像特征量中，對于所述多個查詢特征量之中的一個，以對成為檢索對象的每個圖像各選擇一個圖像特征量的方式，選擇與所述多個查詢特征量的每一個對應(yīng)的圖像特征量，其中，所述圖像特征量按成為所述檢索對象的多個圖像的每一個而預(yù)先存儲至存儲部件，且表示各圖像的局部的特征； 得分生成部件，基于對應(yīng)于所述多個查詢特征量而選擇出的圖像特征量，關(guān)于成為所述檢索對象的多個圖像分別生成表示與成為所述查詢的圖像類似的程度的得分；以及圖像選擇部件，基于關(guān)于所述圖像而生成的得分，從成為所述檢索對象的多個圖像中選擇至少一個圖像。
2.如權(quán)利要求1所述的圖像檢索裝置，其特征在于，還包括: 簇選擇部件，從表示成為所述檢索對象的多個圖像的特征的多個圖像特征量被分類的多個簇之中，選擇與所述多個查詢特征量的每一個對應(yīng)的簇， 所述圖像特征量選擇部件從被分類為與所述多個查詢特征量的每一個對應(yīng)的簇的多個圖像特征量中，選擇對應(yīng)于該查詢特征量的圖像特征量。
3.如權(quán)利要求2所述的圖像檢索裝置，其特征在于， 所述簇選擇部件基于分別代表所述多個簇的多個代表特征量與所述查詢特征量的距離,選擇對應(yīng)于所述查詢特征量的簇， 所述圖像特征量選擇部件基于所述多個查詢特征量與屬于對應(yīng)于所述查詢特征量的簇的圖像特征量的距離，從被分類為所述選擇的簇的多個圖像特征量中，選擇與所述多個查詢特征量的每一個對應(yīng)的圖像特征量。
4.如權(quán)利要求1至3的任一項所述的圖像檢索裝置，其特征在于， 所述圖像特征量選擇部件以對所述多個查詢特征量的任一個選擇的圖像特征量與對其他查詢特征量選擇的圖像特征量不重復(fù)的方式，選擇與所述多個查詢特征量的每一個對應(yīng)的圖像特征量。
5.如權(quán)利要求2所述的圖像檢索裝置，其特征在于， 所述圖像特征量選擇部件將滿足以下條件的全部圖像特征量選擇為對應(yīng)于該查詢特征量的圖像特征量:從屬于與所述查詢特征量的每一個對應(yīng)的簇的多個圖像特征量中選擇的圖像特征量的數(shù)目對于成為所述檢索對象的每個圖像成為一個，且對所述多個查詢特征量的任一個選擇的圖像特征量與對其他查詢特征量選擇的圖像特征量不重復(fù)。
6.如權(quán)利要求5所述的圖像檢索裝置，其特征在于，還包括: 圖像特征量提取部件，從成為所述檢索對象的圖像的每一個中，提取圖像特征量；以及簇生成部件，生成所述提取到的圖像特征量的至少一部分被分類的所述多個簇，所述簇生成部件以屬于某簇的圖像特征量之中與成為所述檢索對象的多個圖像的其中一個對應(yīng)的圖像特征量的數(shù)目不超過規(guī)定的值的方式，生成所述多個簇。
7.一種程序，使計算機作為以下部件而發(fā)揮作用: 查詢特征量取得部件，取得分別表示成為查詢的圖像的局部的特征的多個查詢特征量; 圖像特征量選擇部件，從圖像特征量中，對于所述多個查詢特征量之中的一個，以對成為檢索對象的每個圖像各選擇一個圖像特征量的方式，選擇與所述多個查詢特征量的每一個對應(yīng)的圖像特征量，其中，所述圖像特征量按成為所述檢索對象的多個圖像的每一個而預(yù)先存儲至存儲部件，且表示各圖像的局部的特征； 得分生成部件，基于對應(yīng)于所述多個查詢特征量而選擇出的圖像特征量，關(guān)于成為所述檢索對象的多個圖像分別生成表示與成為所述查詢的圖像類似的程度的得分；以及圖像選擇部件，基于關(guān)于所述圖像而生成的得分，從成為所述檢索對象的多個圖像中選擇至少一個圖像。
8.一種圖像檢索方法，其特征在于，包括: 取得分別表示成為查詢的圖像的局部的特征的多個查詢特征量的步驟； 從圖像特征量中，對于所述多個查詢特征量之中的一個，以對成為檢索對象的每個圖像各選擇一個圖像特征量的方式，選擇與所述多個查詢特征量的每一個對應(yīng)的圖像特征量的步驟，其中，所述圖像特征量按成為所述檢索對象的多個圖像的每一個而預(yù)先存儲至存儲部件，且表示各圖像的局部的特征； 基于對應(yīng)于所述多個查詢特征量而選擇出的圖像特征量，關(guān)于成為所述檢索對象的多個圖像分別生成表示與成為所述查詢的圖像類似的程度的得分的步驟；以及 基于關(guān)于所述圖像而生成的得分，從成為所述檢索對象的多個圖像中選擇至少一個圖像的步驟。
9.一種計算機可讀取的信息存儲介質(zhì)，存儲用于使計算機作為以下部件而發(fā)揮作用的程序: 查詢特征量取得部件，取得分別表示成為查詢的圖像的局部的特征的多個查詢特征量; 圖像特征量選擇部件，從圖像特征量中，對于所述多個查詢特征量之中的一個，以對成為檢索對象的每個圖像各選擇一個圖像特征量的方式，選擇與所述多個查詢特征量的每一個對應(yīng)的圖像特征量，其中，所述圖像特征量按成為所述檢索對象的多個圖像的每一個而預(yù)先存儲至存儲部件，且表示各圖像的局部的特征； 得分生成部件，基于對應(yīng)于所述多個查詢特征量而選擇出的圖像特征量，關(guān)于成為所述檢索對象的多個圖像分別生成表示與成為所述查詢的圖像類似的程度的得分；以及圖像選擇部件，基于關(guān)于所述圖像而生成的得分，從成為所述檢索對象的多個圖像中選擇至少一個圖像。
【文檔編號】G06T1/00GK104246765SQ201380018009
【公開日】2014年12月24日 申請日期:2013年3月29日 優(yōu)先權(quán)日:2012年3月29日
【發(fā)明者】A.賽瓦希爾, 鳥居順次 申請人:樂天株式會社