URL。
[0027]圖像搜索結(jié)果基于與被圖像搜索結(jié)果識(shí)別的圖像資源相關(guān)的分?jǐn)?shù)，諸如信息檢索(“IR”)分?jǐn)?shù)，以及可選地每個(gè)圖像資源相對(duì)于其他圖像資源的單獨(dú)排名(例如，權(quán)威分?jǐn)?shù))，而被排名。圖像搜索結(jié)果可根據(jù)這些分?jǐn)?shù)被排序并根據(jù)該排序被提供至用戶設(shè)備。對(duì)于各種查詢連同對(duì)應(yīng)的被索引和/或被緩存的圖像資源，圖像資源的分?jǐn)?shù)和/或排名還可被存儲(chǔ)在圖像索引110中。
[0028]圖像搜索系統(tǒng)108還能夠接收在圖像內(nèi)搜索的請(qǐng)求。例如，用戶設(shè)備106可提交搜索查詢和查詢圖像至圖像搜索系統(tǒng)108。該圖像搜索系統(tǒng)108使用搜索查詢以識(shí)別響應(yīng)于該查詢的圖像，例如，圖像搜索系統(tǒng)108可從圖像索引110獲得對(duì)于該搜索查詢排名最高的圖像資源。圖像搜索系統(tǒng)108接著確定查詢圖像的部分是否類似于被識(shí)別為響應(yīng)于搜索查詢的圖像，并且，如果是這樣，將注釋提供給請(qǐng)求用戶設(shè)備，所述注釋突出顯示了類似于被識(shí)別的圖像的查詢圖像的部分。
[0029]圖2是用于在圖像內(nèi)搜索的示例過程200的圖示說明。用戶設(shè)備202提供查詢204和查詢圖像206至圖像搜索系統(tǒng)108。例如，用戶可能正在裝滿糖果棒的雜貨店的走廊中尋找特定糖果棒。用戶可以拍一張可能包括感興趣的糖果棒的雜貨店架子的照片，并將該照片與例如糖果棒的名字的文本或音頻查詢一起提交，而不是為了單個(gè)糖果棒搜索整個(gè)走廊。
[0030]圖像搜索系統(tǒng)108接收查詢204和查詢圖像206，并識(shí)別響應(yīng)于查詢204的圖像。例如，該查詢204是文本查詢，或可被轉(zhuǎn)換為文本的語音輸入，或不是圖像的一些其它類型的查詢。在一些實(shí)現(xiàn)中，圖像搜索系統(tǒng)從圖像索引110獲得結(jié)果圖像208 ο例如，搜索“CrunchyDelight”品牌的糖果棒的用戶可提交查詢圖像206連同查詢204“Crunchy Delight”。圖像搜索系統(tǒng)108可以接著從圖像索引110對(duì)查詢“Crunchy De light"檢索排名最高的圖像。
[0031]在一些實(shí)現(xiàn)中，圖像搜索系統(tǒng)108識(shí)別響應(yīng)于查詢204的圖像資源。例如，圖像搜索系統(tǒng)108可使用多種圖像搜索算法中的一個(gè)來在圖像索引110中搜索響應(yīng)于該查詢的圖像。每個(gè)被識(shí)別的圖像資源具有圖像相關(guān)性分?jǐn)?shù)，所述圖像相關(guān)性分?jǐn)?shù)指示圖像資源與查詢204的相關(guān)性度量。結(jié)果圖像208可以是對(duì)于查詢204具有最高相關(guān)性分?jǐn)?shù)的圖像資源。在一些實(shí)現(xiàn)中，多個(gè)結(jié)果圖像208可以從圖像索引110被獲得。例如，圖像搜索系統(tǒng)108可以從圖像索引110獲得對(duì)于“Crunchy Delight”查詢排名前三的圖像。作為另一個(gè)示例，圖像搜索系統(tǒng)108可以從圖像索引獲得具有高于特定閾值的排名和/或IR分?jǐn)?shù)的圖像。
[0032 ]在一些實(shí)現(xiàn)中，圖像搜索系統(tǒng)108從被存儲(chǔ)在圖像索引110中的特定的圖像語料庫(kù)獲得結(jié)果圖像208，或從被存儲(chǔ)在指定了結(jié)果圖像的位置的索引110中的數(shù)據(jù)訪問結(jié)果圖像。例如，被存儲(chǔ)在圖像索引110中的一個(gè)圖像語料庫(kù)對(duì)于特定查詢可以被機(jī)器和/或用戶手動(dòng)排名和/或評(píng)分。手動(dòng)評(píng)分和排名可以取決于用戶輸入。例如，用戶可被要求選擇識(shí)別了特定對(duì)象的圖像，諸如“Crunchy Delight”糖果棒。反過來，用戶可以排名和/或選擇表示產(chǎn)品或查詢“Crunchy Delight”的一個(gè)或多個(gè)圖像。示例圖像可能包括“Crunchy Delight”標(biāo)志的圖像，被包裝了的“Crunchy Delight”糖果棒的圖像，以及未被包裝的糖果棒的圖像。為了識(shí)別零售產(chǎn)品的目的，當(dāng)圖像被作為零售產(chǎn)品查看時(shí)，用戶可特別地被要求識(shí)別最好地表示“Crunchy Del ight”糖果棒的圖像。這些被手動(dòng)評(píng)分/選擇的圖像中的一個(gè)或多個(gè)可被存儲(chǔ)在圖像索引110中并與查詢“Crunchy Del ight”相關(guān)聯(lián)，并稍后被檢索為響應(yīng)于查詢 “Crunchy Delight” 的結(jié)果圖像208。
[0033]在一些實(shí)現(xiàn)中，圖像索引110可在查詢-圖像對(duì)的語料庫(kù)中存儲(chǔ)查詢-圖像關(guān)聯(lián)。例如，對(duì)于特定查詢排名最高的或最高得分的圖像可被與圖像索引110中的該查詢配對(duì)，使得查詢-圖像對(duì)的語料庫(kù)中的每個(gè)查詢具有與之相關(guān)聯(lián)的單個(gè)圖像。在一些實(shí)現(xiàn)中，查詢圖像對(duì)可包括與單個(gè)查詢配對(duì)的多個(gè)圖像。當(dāng)查詢204被圖像搜索系統(tǒng)108接收時(shí)，與該查詢配對(duì)的每個(gè)圖像可被從圖像索引110檢索為結(jié)果圖像208。
[0034]圖像搜索系統(tǒng)108確定在查詢圖像206的子部分212中被描繪的對(duì)象210是否類似于結(jié)果圖像208。例如，如果結(jié)果圖像208是“Crunchy De I ight”標(biāo)志的圖像，圖像搜索系統(tǒng)確定用戶設(shè)備202提交的查詢圖像206是否包括類似于“Crunchy Del ight”標(biāo)志的一些東西。如本說明書中被使用的，圖像的“子部分”是小于完整圖像的該圖像的部分。例如，如果圖像是1000*1000像素的，小于1000*1000像素的圖像的任何部分被認(rèn)為圖像的子部分，例如，100*100的圖像的部分。
[0035]在一些實(shí)現(xiàn)中，通過比較結(jié)果圖像208的視覺特征與查詢圖像206的視覺特征，圖像搜索系統(tǒng)108確定在查詢圖像206的子部分中被描繪的對(duì)象是否類似于結(jié)果圖像208。多種合適的圖像比較算法可被使用以實(shí)現(xiàn)該確定。例如，顏色、對(duì)比度、點(diǎn)、文本和/或邊緣檢測(cè)過程可被使用以識(shí)別每個(gè)圖像的視覺特征，并且從這些過程獲得的數(shù)據(jù)可被比較以確定結(jié)果圖像208的視覺特征與查詢圖像206的子部分中被描繪的對(duì)象的視覺特征之間的相似度度量。對(duì)象辨認(rèn)過程可被使用以在圖像中識(shí)別對(duì)象并執(zhí)行對(duì)特定對(duì)象所位于的圖像的子部分的局部特征分析。如果相似度度量滿足預(yù)確定的閾值，圖像搜索系統(tǒng)108確定查詢圖像206的子部分中被描繪的對(duì)象類似于結(jié)果圖像208。預(yù)確定的閾值可以被系統(tǒng)管理員設(shè)定或可以是機(jī)器學(xué)習(xí)的閾值。如果沒有查詢圖像206的子部分包括類似于結(jié)果圖像208的對(duì)象，另一個(gè)結(jié)果圖像可被選擇用于比較。
[0036]在一些實(shí)現(xiàn)中，結(jié)果圖像208可被預(yù)處理，并且指定了結(jié)果圖像208的視覺特征的數(shù)據(jù)也可被存儲(chǔ)在圖像索引110中。這會(huì)減少圖像搜索系統(tǒng)108比較圖像所需的處理。多種圖像比較方法、過程以及技術(shù)可被使用以比較圖像。例如，光學(xué)字符辨識(shí)可被使用以識(shí)別每個(gè)圖像中被描繪的文本，所以如果結(jié)果圖像208包括帶有文本“Crunchy Delight”的糖果棒標(biāo)志，該文本可以被識(shí)別并與查詢圖像206中被識(shí)別的文本比較。
[0037]作為另一個(gè)示例，圖像搜索系統(tǒng)108可使用特征檢測(cè)和匹配過程比較圖像，以識(shí)別圖像的類似子部分。例如，局部特征檢測(cè)過程，諸如比例不變特征轉(zhuǎn)換，可被使用以識(shí)別和描述結(jié)果圖像208的特征，并且這些特征可被與查詢圖像206中被檢測(cè)到的特征比較以確定是否存在類似的查詢圖像206的子部分。例如，當(dāng)預(yù)確定數(shù)目或百分比的被比較的特征在與彼此的閾值相似度度量之內(nèi)時(shí)，匹配或相似度可被確定。
[0038]響應(yīng)于確定在查詢圖像206的子部分212中被描繪的對(duì)象210類似于結(jié)果圖像208，圖像搜索系統(tǒng)108提供注釋數(shù)據(jù)214至用戶設(shè)備202。注釋數(shù)據(jù)214使得用戶設(shè)備與查詢圖像206—起顯示注釋，并且注釋指定了包括類似于結(jié)果圖像208的對(duì)象210的查詢圖像206的子部分212。例如，如果圖像搜索系統(tǒng)108確定包括在雜貨店架子的圖像中的對(duì)象類似于對(duì)于查詢“Crunchy Delight”的結(jié)果圖像中被找到的標(biāo)志，圖像搜索系統(tǒng)將發(fā)送在圖像內(nèi)指示對(duì)象的位置的注釋數(shù)據(jù)至用戶設(shè)備。示例注釋參照?qǐng)D3被進(jìn)一步描述。
[0039]在可替代的實(shí)現(xiàn)中，搜索系統(tǒng)108可修改帶有注釋數(shù)據(jù)的查詢圖像206并且查詢圖像206可被發(fā)送回至用戶設(shè)備，如被搜索系統(tǒng)110注釋的。例如，圖像搜索系統(tǒng)108可注釋查詢圖像206并提供查詢圖像206加上注釋的結(jié)果的組合至用戶設(shè)備202。在一些實(shí)現(xiàn)中，注釋數(shù)據(jù)214不包括查詢圖像206，但包括使得用戶設(shè)備202與查詢圖像206—起顯示注釋的指令。
[0040]在一些實(shí)現(xiàn)中，多個(gè)類似