本公開涉及圖像處理領(lǐng)域，更具體地，涉及一種基于超圖像進行索引和檢索的圖像檢索方法和圖像檢索設備。

背景技術(shù)：

圖像檢索包含三個主要步驟：特征提取、離線索引以及在線檢索。其中，離線索引把相關(guān)圖像組織在一起以方便在線檢索。因此，索引策略很大程度上影響了檢索正確率、時耗、以及存儲代價。然而，大部分已有的索引策略都是只針對考慮到部分相關(guān)(例如，視覺或者語義相關(guān)性)的單幅圖像。

為了設計更好的索引策略，需要減少參加索引的圖像數(shù)目，這樣會節(jié)省檢索時間和存儲代價；同時還需要考慮基于局部特征和全局特征的圖像相似性，這樣檢索結(jié)果不僅能找到具有局部相似性的候選圖像，而且還能保持它們在語義相似性上的一致性。

技術(shù)實現(xiàn)要素：

在下文中給出了關(guān)于本公開的簡要概述，以便提供關(guān)于本公開的某些方面的基本理解。但是，應當理解，這個概述并不是關(guān)于本公開的窮舉性概述。它并不是意圖用來確定本公開的關(guān)鍵性部分或重要部分，也不是意圖用來限定本公開的范圍。其目的僅僅是以簡化的形式給出關(guān)于本公開的某些概念，以此作為稍后給出的更詳細描述的前序。

鑒于以上問題，本公開的目的是提供一種圖像檢索方法和圖像檢索設備，其基于超圖像來進行索引和檢索，從而節(jié)省檢索時間和存儲代價，并且還考慮基于局部特征和全局特征的圖像相似性，這樣檢索結(jié)果不僅能找到具有局部相似性的候選圖像，而且還能保持它們在語義相似性上的一致性。

根據(jù)本公開的一方面，提供了一種圖像檢索方法，包括：提取查詢圖 像特征步驟，用于從查詢圖像中提取圖像特征；以及特征比較和匹配步驟，用于通過對從查詢圖像中所提取的圖像特征和由其中每兩個圖像均互為k近鄰的多個圖像構(gòu)成的超圖像的相應圖像特征進行比較，輸出具有與從查詢圖像中所提取的圖像特征相匹配的圖像特征的超圖像。

根據(jù)本公開的另一方面，還提供了一種圖像檢索設備，包括：提取查詢圖像特征單元，被配置成從查詢圖像中提取圖像特征；以及特征比較和匹配單元，被配置成通過對從查詢圖像中所提取的圖像特征和由其中每兩個圖像均互為k近鄰的多個圖像構(gòu)成的超圖像的相應圖像特征進行比較，輸出具有與從查詢圖像中所提取的圖像特征相匹配的圖像特征的超圖像。

根據(jù)本公開的其它方面，還提供了用于實現(xiàn)上述根據(jù)本公開的方法的計算機程序代碼和計算機程序產(chǎn)品以及其上記錄有該用于實現(xiàn)上述根據(jù)本公開的方法的計算機程序代碼的計算機可讀存儲介質(zhì)。

在下面的說明書部分中給出本公開實施例的其它方面，其中，詳細說明用于充分地公開本公開實施例的優(yōu)選實施例，而不對其施加限定。

附圖說明

本公開可以通過參考下文中結(jié)合附圖所給出的詳細描述而得到更好的理解，其中在所有附圖中使用了相同或相似的附圖標記來表示相同或者相似的部件。所述附圖連同下面的詳細說明一起包含在本說明書中并形成說明書的一部分，用來進一步舉例說明本公開的優(yōu)選實施例和解釋本公開的原理和優(yōu)點。其中：

圖1是示出根據(jù)本公開的實施例的圖像檢索方法的流程示例的流程圖；

圖2是示出超圖像候選生成的示例的圖；

圖3是示出根據(jù)本公開的實施例的超圖像索引結(jié)構(gòu)的示例的圖；

圖4是示出根據(jù)本公開的實施例的圖像檢索設備的功能配置示例的框圖；以及

圖5是示出作為本公開的實施例中可采用的信息處理設備的個人計算機的示例結(jié)構(gòu)的框圖。

具體實施方式

在下文中將結(jié)合附圖對本公開的示范性實施例進行描述。為了清楚和簡明起見，在說明書中并未描述實際實施方式的所有特征。然而，應該了解，在開發(fā)任何這種實際實施例的過程中必須做出很多特定于實施方式的決定，以便實現(xiàn)開發(fā)人員的具體目標，例如，符合與系統(tǒng)及業(yè)務相關(guān)的那些限制條件，并且這些限制條件可能會隨著實施方式的不同而有所改變。此外，還應該了解，雖然開發(fā)工作有可能是非常復雜和費時的，但對得益于本公開內(nèi)容的本領(lǐng)域技術(shù)人員來說，這種開發(fā)工作僅僅是例行的任務。

在此，還需要說明的一點是，為了避免因不必要的細節(jié)而模糊了本公開，在附圖中僅僅示出了與根據(jù)本公開的方案密切相關(guān)的設備結(jié)構(gòu)和/或處理步驟，而省略了與本公開關(guān)系不大的其它細節(jié)。

下面結(jié)合附圖詳細說明根據(jù)本公開的實施例。

首先，將參照圖1描述根據(jù)本公開的實施例的圖像檢索方法的流程示例。圖1是示出根據(jù)本公開的實施例的圖像檢索方法的流程示例的流程圖。

如圖1所示，根據(jù)本公開的實施例的圖像檢索方法可包括提取查詢圖像特征步驟S102以及特征比較和匹配步驟S104。以下將分別詳細描述各個步驟中的處理。

首先，在提取查詢圖像特征步驟S102中，可以從查詢圖像中提取圖像特征。在該步驟中，可以利用本領(lǐng)域公知技術(shù)，從查詢圖像中提取圖像特征。

在特征比較和匹配步驟S104中，可以通過對從查詢圖像中所提取的圖像特征和由其中每兩個圖像均互為k近鄰的多個圖像構(gòu)成的超圖像的相應圖像特征進行比較，輸出具有與從查詢圖像中所提取的圖像特征相匹配的圖像特征的超圖像。

為了設計更好的索引策略，我們提出了把相關(guān)圖像打包成一個新的單元，將其定義為由其中每兩個圖像均互為k近鄰的多個圖像構(gòu)成的“超圖像”。

具體地，在根據(jù)本公開的實施例中，在離線索引過程中，從數(shù)據(jù)庫中尋找超圖像，并且對超圖像構(gòu)建索引。超圖像指語義和圖像特征都很相似的圖像集合。對于超圖像中圖像數(shù)目沒有限制，所以對于圖像數(shù)目為一的超圖像，實際上等同于單個圖像。而對于圖像數(shù)目超過一的超圖像，則把 這些超圖像看成表示統(tǒng)一語義的基本單元進行索引。也就是說，不同于傳統(tǒng)索引方法，在根據(jù)本公開的實施例中，對超圖像而不是單個圖像建立索引。在在線檢索過程中，對于待查詢圖像，檢索結(jié)果根據(jù)相關(guān)性大小返回一個超圖像列表。

優(yōu)選地，在特征比較和匹配步驟S104中，可以通過以下子步驟來獲得超圖像：提取特征子步驟，可以從數(shù)據(jù)庫中的每個圖像中提取一個或多個特征；確定互為k近鄰關(guān)系子步驟，可以基于所述一個或多個特征，確定數(shù)據(jù)庫中的每兩個圖像之間的互為k近鄰關(guān)系；以及選擇超圖像子步驟，可以基于所述一個或多個特征以及互為k近鄰關(guān)系，選擇超圖像。

在根據(jù)本公開的實施例中，在超圖像生成階段會利用多個搜索尺度，比如基于局部特征和全局特征的圖像相似性，因此檢索結(jié)果不僅找到具有局部相似性的候選圖像，而且還能保持它們在語義相似性上的一致性。

優(yōu)選地，在提取特征子步驟中，為了得到超圖像的不同線索，可以提取多個圖像屬性作為圖像特征。例如，基于SIFT特征描述以及BoW表示的倒查表圖像檢索體系，由于對SIFT特征的過分信賴而忽略其它圖像特征(比如顏色等)。同時，特征量化帶來的信息丟失都會引起錯誤的圖像匹配。為了提高SIFT視覺單詞的分辨力，本公開結(jié)合針對每個圖像像素的11維顏色描述向量。具體地，在每個檢測的特征點，考慮與特征點尺度成比例的局部子區(qū)域，在該子區(qū)域內(nèi)計算每個像素的顏色向量并且采用中值顏色向量作為顏色特征描述。

在屬性提取結(jié)束之后，可以計算圖像之間的相似度。利用歐式距離計算BoW描述子的圖像相似度。具有較小歐式距離的圖像認為具有高相關(guān)性。而對于顏色特征，因為顏色特征的每個維度具有明顯的語義意義，因此引入二值化方案來產(chǎn)生二值化特征，并且使用漢明距離來測量圖像相似度。

優(yōu)選地，在確定互為k近鄰關(guān)系子步驟中，如果在一個或多個特征中的一個特征的測度下，一個圖像為另一圖像的k近鄰并且所述另一圖像也為所述一個圖像的k近鄰，則可以確定這兩個圖像互為k近鄰。

優(yōu)選地，在提取特征子步驟中提取了多個特征的情況下，在確定互為k近鄰關(guān)系子步驟中，如果在多個特征中的一個特征的測度下一個圖像為另一圖像的k近鄰，而在另一特征的測度下所述另一圖像為所述一個圖像的k近鄰，則也可以確定這兩個圖像互為k近鄰。

具體地，為了通過選取一組種子圖像并且尋找它們的k近鄰來產(chǎn)生超圖像候選集合，我們提出一種搜尋互k近鄰圖像來生成超圖像的方法。

采用I_i和I_j分別表示兩幅圖像，用kNN(.)表示圖像的k近鄰，則如果圖像I_i和圖像I_j滿足I_i∈kNN(I_j),I_j∈kNN(I_i)，即圖像I_i是圖像I_j的k近鄰并且圖像I_j是也圖像I_i的k近鄰，則可以確定圖像I_i和圖像I_j互為k近鄰。

在根據(jù)本公開的實施例中，在提取特征子步驟中提取了多個特征的情況下，根據(jù)上面的多個圖像相似度測度，可以得到多個對應的相似性結(jié)果。對于某個圖像，用kNN₁(.)表示在第一特征的測度下計算得到的k近鄰圖像集合，用kNN₂(.)表示在第二特征的測度下得到的k近鄰圖像集合。

在根據(jù)本公開的實施例中，我們定義互為k近鄰關(guān)系為I_i∈kNN_m(I_j),I_j∈kNN_n(I_i),m,n＝1,2，該互近鄰關(guān)系是一種補充關(guān)系。

具體地，如果滿足I_i∈kNN₁(I_j),I_j∈kNN₁(I_i)，即在第一特征的測度下，圖像I_i為圖像I_j的k近鄰并且圖像I_j也為圖像I_i的k近鄰，則可以確定圖像I_i和圖像I_j互為k近鄰。類似地，如果滿足I_i∈kNN₂(I_j),I_j∈kNN₂(I_i)，即在第二特征的測度下，圖像I_i為圖像I_j的k近鄰并且圖像I_j也為圖像I_i的k近鄰，則也可以確定圖像I_i和圖像I_j互為k近鄰。

此外，盡管圖像I_i和圖像I_j在同一特征的測度下不是互為k近鄰，但是如果在一個特征的測度下圖像I_i為圖像I_j的k近鄰，而在另一特征的測度下圖像I_j為圖像I_i的k近鄰，那么我們也確定圖像I_i和圖像I_j互為k近鄰。例如，若圖像I_i是圖像I_j的kNN₁，而圖像I_j不是圖像I_i的kNN₁，但是圖像I_j是圖像I_i的kNN₂，那么我們?nèi)匀徽J為圖像I_j和圖像I_i具有高度相似性，則也可以確定圖像I_i和圖像I_j互為k近鄰。類似地，若圖像I_i是圖像I_j的kNN₂，而圖像I_j不是圖像I_i的kNN₂，但是圖像I_j是圖像I_i的kNN₁，我們?nèi)匀徽J為圖像I_j和圖像I_i具有高度相似性，則也可以確定圖像I_i和圖像I_j互為k近鄰。

圖2是示出超圖像候選生成的示例的圖。如圖2所示，雙向箭頭表示互k近鄰關(guān)系，該互k近鄰關(guān)系是一種比較可信的語義相關(guān)關(guān)系?；诨ソ応P(guān)系，可以構(gòu)建一個圖Gr＝(V,E)，其中V是頂點集合，表示數(shù)據(jù)集合中的圖像，E存儲連接頂點的邊，比如兩幅圖像互為k近鄰，那么它們之間是連接的。如圖2所示，在示例圖中，因為F和G是互為k近鄰，因此這兩者是連接的；而因為F和I不是互為k近鄰，因此這兩者是不連 接的。

在構(gòu)建完圖Gr后，尋找候選超圖像也就在圖中找最大環(huán)。最大環(huán)定義為環(huán)中不能再擴展加入一條邊的環(huán)，其中環(huán)定義為一個無向子圖，任意兩個子圖節(jié)點之間都是連接的。最大環(huán)包含最多節(jié)點數(shù)。圖中單個獨立的節(jié)點自己本身構(gòu)成一個最大環(huán)，例如，圖2中E、I、H和L為單個獨立的節(jié)點。在圖2中，節(jié)點B和C可以分別與A和D形成具有三個節(jié)點的兩個最大環(huán)，因此，一個節(jié)點可能同時屬于幾個最大環(huán)。為了減少超圖像數(shù)目而節(jié)約存儲空間，本公開提出一種重疊最小化的超圖像選擇方法。

為了選擇超圖像，我們首先計算視覺緊致度，該視覺緊致度能夠度量局部和全局描述子的一致性；然后對候選超圖像進行排序來選擇最終的超圖像。

優(yōu)選地，在選擇超圖像子步驟中，對于數(shù)據(jù)庫中的其中每兩個圖像均互為k近鄰的每一組圖像，可以基于所述每兩個圖像在一個或多個特征中的至少一個特征之間的距離的加權(quán)平均，計算每一組圖像的視覺緊致度。

優(yōu)選地，所述每兩個圖像在至少一個特征之間的距離的加權(quán)系數(shù)可以取決于所述每兩個圖像在該特征的測度下的互為k近鄰關(guān)系。

優(yōu)選地，若所述每兩個圖像在該特征的測度下互為k近鄰，則加權(quán)系數(shù)最大，若所述每兩個圖像在該特征的測度下彼此均不是k近鄰，則加權(quán)系數(shù)最小。

具體地，假設從圖像中提取了兩個特征并且第一特征為BoW而第二特征為顏色CN，則一個超圖像候選集合的視覺緊致度VC可以通過基于第一特征BoW和第二特征CN的距離加權(quán)得到:

在公式(1)中，VC表示視覺緊致度；和是圖像VC中任意兩幅圖像I_i和I_j的BoW向量；和是圖像I_i和I_j的顏色二值化向量；dist()表示距離函數(shù)；是圖像I_i和I_j在第一特征BoW之間的距離；是圖像I_i和I_j在第二特征CN之間的距離。

w₁是圖像I_i和I_j在第一特征BoW之間的距離的加權(quán)系數(shù)，該加權(quán)系數(shù)w₁取決于圖像I_i和I_j在第一特征BoW的測度下的互為k近鄰關(guān)系。具體地，在第一特征BoW的測度下，如果圖像I_i和I_j是互為k近鄰，那么w₁＝1；如果圖像I_i和I_j只是單方向的k近鄰關(guān)系(即，圖像I_i是圖像I_j的kNN₁，而圖像I_j是圖像I_i的kNN₂；或者圖像I_i是圖像I_j的kNN₂，而圖像I_j是圖像I_i的kNN₁)，那么w₁＝0.5；如果圖像I_i和I_j都不是對方的k近鄰，那么w₁＝0。

w₂是圖像I_i和I_j在第二特征CN之間的距離的加權(quán)系數(shù)，該加權(quán)系數(shù)w₂取決于圖像I_i和I_j在第二特征CN的測度下的互為k近鄰關(guān)系。具體地，在第二特征CN的測度下，如果圖像I_i和I_j是互為k近鄰，那么w₂＝1；如果圖像I_i和I_j只是單方向的k近鄰關(guān)系(即，圖像I_i是圖像I_j的kNN₁，而圖像I_j是圖像I_i的kNN₂；或者圖像I_i是圖像I_j的kNN₂，而圖像I_j是圖像I_i的kNN₁)，那么w₂＝0.5；如果圖像I_i和I_j都不是對方的k近鄰，那么w₂＝0。

優(yōu)選地，可以選擇視覺緊致度最大的一組圖像作為一個超圖像，并且可以基于貪婪搜索算法，依次對于數(shù)據(jù)庫中的除了被選擇作為超圖像之外的每組圖像，按視覺緊致度的降序選擇超圖像，直到將數(shù)據(jù)庫中的所有圖像均選擇為超圖像為止。

具體地，基于公式(1)計算的視覺緊致度，使用貪婪搜索算法來對候選超圖像進行排序和選擇。首先依據(jù)視覺緊致度下降的順序進行排序，選出視覺緊致度最大的一組圖像作為一個超圖像，同時將圖Gr中的與所選擇的超圖像對應的最大環(huán)刪除，然后更新圖Gr，重復上述操作(即再按視覺緊致度的降序依次選擇超圖像并將圖Gr中的與所選擇的超圖像對應的環(huán)刪除)，直到圖Gr為空為止(即，直到將數(shù)據(jù)庫中的所有圖像均選擇為超圖像為止)。

以上描述了基于視覺緊致度來選擇超圖像的方法，然而選擇超圖像的方法并不限于此。

優(yōu)選地，還可以基于圖Gr中環(huán)的大小來選擇超圖像。

優(yōu)選地，還可以隨機選擇超圖像。

優(yōu)選地，超圖像的圖像特征包括多個特征分量，對于每個特征分量，選擇超圖像所包括的多個圖像中的每個圖像的該特征分量的最大值作為超圖像的特征分量。

在如上所述獲得了超圖像之后，可以對超圖像進行索引。

對超圖像進行索引的策略類似于傳統(tǒng)的BoW索引機制，不同的是，使用超圖像而不是單個圖像作為索引單元。對于只包含一幅圖像的超圖像，提取特征和特征編碼與傳統(tǒng)步驟相同，例如，可以利用聚類方法產(chǎn)生視覺詞典，提取圖像SIFT描述，把特征描述映射到最近的視覺單詞，最終得到視覺直方圖向量。對于包含多個圖像的超圖像，可以使用最大化方法來計算它們的Bow向量。假設超圖像為SI，那么超圖像SI的向量計算公式為：Vect_SI(v)＝max(Vect_i(v))，i∈SI (2)

在公式(2)中，Vect_SI(v)表示超圖像SI中視覺單詞v的出現(xiàn)頻率，Vect_i(v)表示圖像i中視覺單詞v的出現(xiàn)頻率。

得到所有超圖像的BoW表示后，對它們進行索引。圖3是示出根據(jù)本公開的實施例的超圖像索引結(jié)構(gòu)的示例的圖。如圖3所示，倒查表中每個單元記錄了一個視覺單詞和它對應的超圖像ID。在根據(jù)本公開的實施例中，與傳統(tǒng)倒查表索引不同，需要另外一個表來記錄超圖像包含的單個圖像ID。

對超圖像的在線檢索過程基本等同于BoW檢索過程。例如，提取查詢圖像的例如SIFT特征的特征，對視覺單詞進行量化，根據(jù)視覺單詞掃描倒查表，然后，根據(jù)相似程度得到與查詢圖像具有相似特征的超圖像列表。

需要注意的是，為了方便，以上描述中使用BoW特征來對超圖像進行索引和檢索，然而，本領(lǐng)域技術(shù)人員將明白的是，還可以采用其他特征來對超圖像進行索引和檢索。此外，用于對超圖像進行索引和檢索的特征可以獨立于在選擇超圖像中所使用的特征。

根據(jù)以上描述可知，根據(jù)本公開的實施例的圖像檢索方法基于超圖像來進行索引和檢索，從而節(jié)省檢索時間和存儲代價，并且還考慮了基于局部特征和全局特征的圖像相似性，這樣檢索結(jié)果不僅能找到具有局部相似性的候選圖像，而且還能保持它們在語義相似性上的一致性。

與上述方法實施例相對應地，本公開還提供了以下設備實施例。

圖4是示出根據(jù)本公開的實施例的圖像檢索設備400的功能配置示例的框圖。

如圖4所示，根據(jù)本公開的實施例的圖像檢索設備400可包括提取查詢圖像特征單元402以及特征比較和匹配單元404。接下來將描述各個單元的功能配置示例。

提取查詢圖像特征單元402可以被配置成從查詢圖像中提取圖像特征。在該單元中，可以利用本領(lǐng)域公知技術(shù)，從查詢圖像中提取圖像特征。

特征比較和匹配單元404可以被配置成通過對從查詢圖像中所提取的圖像特征和由其中每兩個圖像均互為k近鄰的多個圖像構(gòu)成的超圖像的相應圖像特征進行比較，輸出具有與從查詢圖像中所提取的圖像特征相匹配的圖像特征的超圖像。

優(yōu)選地，在特征比較和匹配單元404中，可以通過以下子單元來獲得超圖像：提取特征子單元，可以被配置成從數(shù)據(jù)庫中的每個圖像中提取一個或多個特征；確定互為k近鄰關(guān)系子單元，可以被配置成基于所述一個或多個特征，確定數(shù)據(jù)庫中的每兩個圖像之間的互為k近鄰關(guān)系；以及選擇超圖像子單元，可以被配置成基于所述一個或多個特征以及互為k近鄰關(guān)系，選擇超圖像。

在根據(jù)本公開的實施例中，在超圖像生成階段會利用多個搜索尺度，比如基于局部特征和全局特征的圖像相似性，因此檢索結(jié)果不僅找到具有局部相似性的候選圖像，而且還能保持它們在語義相似性上的一致性。

優(yōu)選地，在提取特征子單元中，為了得到超圖像的不同線索，可以提取多個圖像屬性作為圖像特征。具體的提取圖像特征的方法可參見以上方法實施例中相應位置的描述，在此不再重復。

優(yōu)選地，在確定互為k近鄰關(guān)系子單元中，如果在一個或多個特征中的一個特征的測度下，一個圖像為另一圖像的k近鄰并且所述另一圖像也為所述一個圖像的k近鄰，則可以確定這兩個圖像互為k近鄰。

優(yōu)選地，在提取特征子單元中提取了多個特征的情況下，在確定互為k近鄰關(guān)系子單元中，如果在多個特征中的一個特征的測度下一個圖像為另一圖像的k近鄰，而在另一特征的測度下所述另一圖像為所述一個圖像的k近鄰，則也可以確定這兩個圖像互為k近鄰。

具體的確定互為k近鄰的方法可參見以上方法實施例中相應位置的描述，在此不再重復。

為了選擇超圖像，我們首先計算視覺緊致度，該視覺緊致度能夠度量局部和全局描述子的一致性；然后對候選超圖像進行排序來選擇最終的超圖像。

優(yōu)選地，在選擇超圖像子單元中，對于數(shù)據(jù)庫中的其中每兩個圖像均互為k近鄰的每一組圖像，可以基于所述每兩個圖像在一個或多個特征中的至少一個特征之間的距離的加權(quán)平均，計算每一組圖像的視覺緊致度。

優(yōu)選地，所述每兩個圖像在至少一個特征之間的距離的加權(quán)系數(shù)可以取決于所述每兩個圖像在該特征的測度下的互為k近鄰關(guān)系。

優(yōu)選地，若所述每兩個圖像在該特征的測度下互為k近鄰，則加權(quán)系數(shù)最大，若所述每兩個圖像在該特征的測度下彼此均不是k近鄰，則加權(quán)系數(shù)最小。

具體的計算視覺緊致度的方法可參見以上方法實施例中相應位置的描述，在此不再重復。

優(yōu)選地，可以選擇視覺緊致度最大的一組圖像作為一個超圖像，并且可以基于貪婪搜索算法，依次對于數(shù)據(jù)庫中的除了被選擇作為超圖像之外的每組圖像，按視覺緊致度的降序選擇超圖像，直到將數(shù)據(jù)庫中的所有圖像均選擇為超圖像為止。

具體的基于視覺緊致度來選擇超圖像的方法可參見以上方法實施例中相應位置的描述，在此不再重復。

以上描述了基于視覺緊致度來選擇超圖像的方法，然而選擇超圖像的方法并不限于此。

優(yōu)選地，還可以基于環(huán)的大小來選擇超圖像。

優(yōu)選地，還可以隨機選擇超圖像。

優(yōu)選地，超圖像的圖像特征包括多個特征分量，對于每個特征分量，選擇超圖像所包括的多個圖像中的每個圖像的該特征分量的最大值作為超圖像的特征分量。

在如上所述獲得了超圖像之后，可以對超圖像進行索引和檢索。

具體的對超圖像進行索引和檢索的方法可參見以上方法實施例中相應位置的描述，在此不再重復。

根據(jù)以上描述可知，根據(jù)本公開的實施例的圖像檢索設備基于超圖像 來進行索引和檢索，從而節(jié)省檢索時間和存儲代價，并且還考慮了基于局部特征和全局特征的圖像相似性，這樣檢索結(jié)果不僅能找到具有局部相似性的候選圖像，而且還能保持它們在語義相似性上的一致性。

應指出，盡管以上描述了根據(jù)本公開的實施例的圖像檢索設備的功能配置，但是這僅是示例而非限制，并且本領(lǐng)域技術(shù)人員可根據(jù)本公開的原理對以上實施例進行修改，例如可對各個實施例中的功能模塊進行添加、刪除或者組合等，并且這樣的修改均落入本公開的范圍內(nèi)。

此外，還應指出，這里的裝置實施例是與上述方法實施例相對應的，因此在裝置實施例中未詳細描述的內(nèi)容可參見方法實施例中相應位置的描述，在此不再重復描述。

應理解，根據(jù)本公開的實施例的存儲介質(zhì)和程序產(chǎn)品中的機器可執(zhí)行的指令還可以被配置成執(zhí)行上述圖像檢索方法，因此在此未詳細描述的內(nèi)容可參考先前相應位置的描述，在此不再重復進行描述。

相應地，用于承載上述包括機器可執(zhí)行的指令的程序產(chǎn)品的存儲介質(zhì)也包括在本發(fā)明的公開中。該存儲介質(zhì)包括但不限于軟盤、光盤、磁光盤、存儲卡、存儲棒等等。

另外，還應該指出的是，上述系列處理和裝置也可以通過軟件和/或固件實現(xiàn)。在通過軟件和/或固件實現(xiàn)的情況下，從存儲介質(zhì)或網(wǎng)絡向具有專用硬件結(jié)構(gòu)的計算機，例如圖5所示的通用個人計算機500安裝構(gòu)成該軟件的程序，該計算機在安裝有各種程序時，能夠執(zhí)行各種功能等等。

在圖5中，中央處理單元(CPU)501根據(jù)只讀存儲器(ROM)502中存儲的程序或從存儲部分508加載到隨機存取存儲器(RAM)503的程序執(zhí)行各種處理。在RAM 503中，也根據(jù)需要存儲當CPU 501執(zhí)行各種處理等時所需的數(shù)據(jù)。

CPU 501、ROM 502和RAM 503經(jīng)由總線504彼此連接。輸入/輸出接口505也連接到總線504。

下述部件連接到輸入/輸出接口505：輸入部分506，包括鍵盤、鼠標等；輸出部分507，包括顯示器，比如陰極射線管(CRT)、液晶顯示器(LCD)等，和揚聲器等；存儲部分508，包括硬盤等；和通信部分509，包括網(wǎng)絡接口卡比如LAN卡、調(diào)制解調(diào)器等。通信部分509經(jīng)由網(wǎng)絡比如因特網(wǎng)執(zhí)行通信處理。

根據(jù)需要，驅(qū)動器510也連接到輸入/輸出接口505?？刹鹦督橘|(zhì)511 比如磁盤、光盤、磁光盤、半導體存儲器等等根據(jù)需要被安裝在驅(qū)動器510上，使得從中讀出的計算機程序根據(jù)需要被安裝到存儲部分508中。

在通過軟件實現(xiàn)上述系列處理的情況下，從網(wǎng)絡比如因特網(wǎng)或存儲介質(zhì)比如可拆卸介質(zhì)511安裝構(gòu)成軟件的程序。

本領(lǐng)域的技術(shù)人員應當理解，這種存儲介質(zhì)不局限于圖5所示的其中存儲有程序、與設備相分離地分發(fā)以向用戶提供程序的可拆卸介質(zhì)511?？刹鹦督橘|(zhì)511的例子包含磁盤(包含軟盤(注冊商標))、光盤(包含光盤只讀存儲器(CD-ROM)和數(shù)字通用盤(DVD))、磁光盤(包含迷你盤(MD)(注冊商標))和半導體存儲器?；蛘?，存儲介質(zhì)可以是ROM 502、存儲部分508中包含的硬盤等等，其中存有程序，并且與包含它們的設備一起被分發(fā)給用戶。

以上參照附圖描述了本公開的優(yōu)選實施例，但是本公開當然不限于以上示例。本領(lǐng)域技術(shù)人員可在所附權(quán)利要求的范圍內(nèi)得到各種變更和修改，并且應理解這些變更和修改自然將落入本公開的技術(shù)范圍內(nèi)。

例如，在以上實施例中包括在一個單元中的多個功能可以由分開的裝置來實現(xiàn)。替選地，在以上實施例中由多個單元實現(xiàn)的多個功能可分別由分開的裝置來實現(xiàn)。另外，以上功能之一可由多個單元來實現(xiàn)。無需說，這樣的配置包括在本公開的技術(shù)范圍內(nèi)。

在該說明書中，流程圖中所描述的步驟不僅包括以所述順序按時間序列執(zhí)行的處理，而且包括并行地或單獨地而不是必須按時間序列執(zhí)行的處理。此外，甚至在按時間序列處理的步驟中，無需說，也可以適當?shù)馗淖冊擁樞颉?/p>

另外，根據(jù)本公開的技術(shù)還可以如下進行配置。

附記1.一種圖像檢索方法，包括：

提取查詢圖像特征步驟，用于從查詢圖像中提取圖像特征；以及

特征比較和匹配步驟，用于通過對從所述查詢圖像中所提取的圖像特征和由其中每兩個圖像均互為k近鄰的多個圖像構(gòu)成的超圖像的相應圖像特征進行比較，輸出具有與從所述查詢圖像中所提取的圖像特征相匹配的圖像特征的超圖像。

附記2.根據(jù)附記1所述的圖像檢索方法，其中，在所述特征比較和匹配步驟中，通過以下子步驟來獲得所述超圖像：

提取特征子步驟，用于從數(shù)據(jù)庫中的每個圖像中提取一個或多個特征；

確定互為k近鄰關(guān)系子步驟，用于基于所述一個或多個特征，確定所述數(shù)據(jù)庫中的每兩個圖像之間的互為k近鄰關(guān)系；以及

選擇超圖像子步驟，用于基于所述一個或多個特征以及所述互為k近鄰關(guān)系，選擇所述超圖像。

附記3.根據(jù)附記2所述的圖像檢索方法，其中，在所述確定互為k近鄰關(guān)系子步驟中，如果在所述一個或多個特征中的一個特征的測度下，一個圖像為另一圖像的k近鄰并且所述另一圖像也為所述一個圖像的k近鄰，則確定這兩個圖像互為k近鄰。

附記4.根據(jù)附記3所述的圖像檢索方法，其中，在所述提取特征子步驟中提取了多個特征的情況下，在所述確定互為k近鄰關(guān)系子步驟中，如果在所述多個特征中的一個特征的測度下一個圖像為另一圖像的k近鄰，而在另一特征的測度下所述另一圖像為所述一個圖像的k近鄰，則也確定這兩個圖像互為k近鄰。

附記5.根據(jù)附記2所述的圖像檢索方法，其中，在所述選擇超圖像子步驟中，對于所述數(shù)據(jù)庫中的其中每兩個圖像均互為k近鄰的每一組圖像，基于所述每兩個圖像在所述一個或多個特征中的至少一個特征之間的距離的加權(quán)平均，計算所述每一組圖像的視覺緊致度。

附記6.根據(jù)附記5所述的圖像檢索方法，其中，所述每兩個圖像在所述至少一個特征之間的距離的加權(quán)系數(shù)取決于所述每兩個圖像在該特征的測度下的互為k近鄰關(guān)系。

附記7.根據(jù)附記6所述的圖像檢索方法，其中，若所述每兩個圖像在該特征的測度下互為k近鄰，則所述加權(quán)系數(shù)最大，若所述每兩個圖像在該特征的測度下彼此均不是k近鄰，則所述加權(quán)系數(shù)最小。

附記8.根據(jù)附記5所述的圖像檢索方法，其中，選擇所述視覺緊致度最大的一組圖像作為一個超圖像，并且基于貪婪搜索算法，依次對于所述數(shù)據(jù)庫中的除了被選擇作為超圖像之外的每組圖像，按所述視覺緊致度的降序選擇超圖像，直到將所述數(shù)據(jù)庫中的所有圖像均選擇為超圖像為止。

附記9.根據(jù)附記1所述的圖像檢索方法，其中，超圖像的圖像特征包括多個特征分量，對于每個特征分量，選擇所述超圖像所包括的多個圖 像中的每個圖像的該特征分量的最大值作為所述超圖像的特征分量。

附記10.一種圖像檢索設備，包括：

提取查詢圖像特征單元，被配置成從查詢圖像中提取圖像特征；以及

特征比較和匹配單元，被配置成通過對從所述查詢圖像中所提取的圖像特征和由其中每兩個圖像均互為k近鄰的多個圖像構(gòu)成的超圖像的相應圖像特征進行比較，輸出具有與從所述查詢圖像中所提取的圖像特征相匹配的圖像特征的超圖像。

附記11.根據(jù)附記10所述的圖像檢索設備，其中，在所述特征比較和匹配單元中，通過以下子單元來獲得所述超圖像：

提取特征子單元，被配置成從數(shù)據(jù)庫中的每個圖像中提取一個或多個特征；

確定互為k近鄰關(guān)系子單元，被配置成基于所述一個或多個特征，確定所述數(shù)據(jù)庫中的每兩個圖像之間的互為k近鄰關(guān)系；以及

選擇超圖像子單元，被配置成基于所述一個或多個特征以及所述互為k近鄰關(guān)系，選擇所述超圖像。

附記12.根據(jù)附記11所述的圖像檢索設備，其中，在所述確定互為k近鄰關(guān)系子單元中，如果在所述一個或多個特征中的一個特征的測度下，一個圖像為另一圖像的k近鄰并且所述另一圖像也為所述一個圖像的k近鄰，則確定這兩個圖像互為k近鄰。

附記13.根據(jù)附記12所述的圖像檢索設備，其中，在所述提取特征子單元中提取了多個特征的情況下，在所述確定互為k近鄰關(guān)系子單元中，如果在所述多個特征中的一個特征的測度下一個圖像為另一圖像的k近鄰，而在另一特征的測度下所述另一圖像為所述一個圖像的k近鄰，則也確定這兩個圖像互為k近鄰。

附記14.根據(jù)附記11所述的圖像檢索設備，其中，在所述選擇超圖像子單元中，對于所述數(shù)據(jù)庫中的其中每兩個圖像均互為k近鄰的每一組圖像，基于所述每兩個圖像在所述一個或多個特征中的至少一個特征之間的距離的加權(quán)平均，計算所述每一組圖像的視覺緊致度。

附記15.根據(jù)附記14所述的圖像檢索設備，其中，所述每兩個圖像在所述至少一個特征之間的距離的加權(quán)系數(shù)取決于所述每兩個圖像在該特征的測度下的互為k近鄰關(guān)系。

附記16.根據(jù)附記15所述的圖像檢索設備，其中，若所述每兩個圖像在該特征的測度下互為k近鄰，則所述加權(quán)系數(shù)最大，若所述每兩個圖像在該特征的測度下彼此均不是k近鄰，則所述加權(quán)系數(shù)最小。

附記17.根據(jù)附記14所述的圖像檢索設備，其中，選擇所述視覺緊致度最大的一組圖像作為一個超圖像，并且基于貪婪搜索算法，依次對于所述數(shù)據(jù)庫中的除了被選擇作為超圖像之外的每組圖像，按所述視覺緊致度的降序選擇超圖像，直到將所述數(shù)據(jù)庫中的所有圖像均選擇為超圖像為止。

附記18.根據(jù)附記10所述的圖像檢索設備，其中，超圖像的圖像特征包括多個特征分量，對于每個特征分量，選擇所述超圖像所包括的多個圖像中的每個圖像的該特征分量的最大值作為所述超圖像的特征分量。