在圖像內(nèi)搜索和注釋的制作方法
【技術(shù)領(lǐng)域】
[0001 ]本說明書涉及在圖像內(nèi)搜索。
【背景技術(shù)】
[0002]特征檢測算法使得計算設(shè)備能夠識別在圖像中被描繪的視覺特征。視覺特征的檢測已引起用于識別包括特定特征的圖像的部分的技術(shù)的發(fā)展。例如，光學(xué)字符辨識技術(shù)允許圖像被處理以識別包括在圖像中的字母數(shù)字的字符。

【發(fā)明內(nèi)容】

[0003]本說明書描述了涉及在圖像內(nèi)搜索的技術(shù)。
[0004]—般地，本說明書中描述的主題的一個創(chuàng)造性的方面可以被體現(xiàn)在包括以下動作的方法中:從用戶設(shè)備接收查詢;從所述用戶設(shè)備接收查詢圖像;識別響應(yīng)于所述查詢的結(jié)果圖像;確定所述查詢圖像的子部分中被描繪的對象類似于所述結(jié)果圖像；以及響應(yīng)于確定所述查詢圖像的所述子部分中被描繪的對象類似于所述結(jié)果圖像:提供注釋數(shù)據(jù)至所述用戶設(shè)備，所述注釋數(shù)據(jù)使得所述用戶設(shè)備與所述查詢圖像一起顯示注釋，所述注釋指定包括類似于所述結(jié)果圖像的所述對象的所述查詢圖像的所述子部分。該方面的其他實施例包括對應(yīng)的系統(tǒng)、裝置和計算機程序，其被配置為執(zhí)行被編碼在計算機存儲設(shè)備上的所述方法的動作。
[0005]這些和其他實施例可各自選擇性地包括以下特征中的一個或多個。識別響應(yīng)于所述查詢的結(jié)果圖像包括:識別響應(yīng)于所述查詢的多個圖像搜索結(jié)果，其中，每個圖像搜索結(jié)果引用圖像資源并具有圖像相關(guān)性分?jǐn)?shù)，所述圖像相關(guān)性分?jǐn)?shù)指示所述圖像資源與所述查詢的相關(guān)性度量;從所述多個圖像搜索結(jié)果識別排名最高的圖像搜索結(jié)果，所述排名最高的圖像搜索結(jié)果具有超過所述多個圖像搜索結(jié)果中的每個其他圖像搜索結(jié)果的圖像相關(guān)性分?jǐn)?shù)的圖像相關(guān)性分?jǐn)?shù)；以及識別被所述排名最高的圖像搜索結(jié)果引用的所述圖像資源作為所述結(jié)果圖像。
[0006]識別響應(yīng)于所述查詢的結(jié)果圖像可以包括:訪問存儲查詢-圖像對的數(shù)據(jù)存儲，每個查詢-圖像對包括被配對的查詢和被配對的圖像;識別特定的查詢-圖像對，所述特定的查詢-圖像對包括對應(yīng)于被接收的查詢的被配對的查詢；以及識別包括在所述特定的查詢-圖像對中的被配對的圖像作為所述結(jié)果圖像。
[0007]確定所述查詢圖像的子部分中被描繪的對象類似于所述結(jié)果圖像可以包括:比較所述結(jié)果圖像的視覺特征與所述查詢圖像的視覺特征;基于所述比較，確定所述結(jié)果圖像的所述視覺特征與所述查詢圖像的所述子部分中被描繪的對象的所述視覺特征之間的相似度度量;確定所述相似度度量滿足預(yù)確定的相似度閾值；以及響應(yīng)于確定所述相似度度量滿足所述預(yù)確定的相似度閾值，確定所述查詢圖像的所述子部分中被描繪的所述對象類似于所述結(jié)果圖像。
[0008]所述注釋數(shù)據(jù)可以指定邊界框的坐標(biāo)，所述邊界框環(huán)繞在包括類似于所述結(jié)果圖像的所述對象的所述查詢圖像的所述子部分周圍，并且，所述注釋可以包括所述邊界框的視覺描繪。
[0009]所述注釋可以包括所述查詢圖像的所述子部分的視覺突出顯示，所述查詢圖像的所述子部分包括類似于所述結(jié)果圖像的所述對象。所述注釋可以包括所述結(jié)果圖像的至少一部分。
[0010]本說明書中描述的主題的特定實施例可被實現(xiàn)，從而實現(xiàn)以下好處中的一個或多個。由于多種原因，用戶可能喜歡在圖像或視頻內(nèi)識別對象時協(xié)助。例如，本文中描述的主題可促進(jìn)對對象的用戶識別快于用戶用其他方式能夠定位或識別對象。此外，對象可為用戶被識別或定位，即使用戶沒有意識到對象長什么樣子。
[0011]本說明書中所描述的主題的一個或多個實施例的細(xì)節(jié)將在下面的附圖和描述中被闡明。主題的其他特征、方面和優(yōu)勢將通過描述、附圖和權(quán)利要求變得顯而易見。
【附圖說明】
[0012]圖1是用于在圖像內(nèi)搜索的示例環(huán)境的框圖。
[0013]圖2是用于在圖像內(nèi)搜索的示例過程的圖示說明。
[00M]圖3是與圖像一起被顯示的示例注釋的圖示說明。
[0015]圖4是用于在圖像內(nèi)搜索的示例過程的流程圖。
[0016]圖5是示例數(shù)據(jù)處理裝置的框圖。
[0017]各種附圖中的相同的參考數(shù)字和命名指示相同的元素。
【具體實施方式】
[0018]圖像搜索系統(tǒng)促進(jìn)在圖像內(nèi)對對象的識別和注釋。例如，如果用戶希望在包括多個對象的圖像中找到特定對象，圖像搜索系統(tǒng)可以在圖像中找到該特定對象并使得其對于用戶被突出顯示。本文中公開的系統(tǒng)和方法促進(jìn)在圖像內(nèi)對對象的識別和注釋。
[0019]圖像搜索系統(tǒng)從用戶設(shè)備接收查詢和圖像。例如，想要在充滿裝滿不同糖果棒的雜貨架子上找到特定糖果棒的用戶可以拍下架子的照片并向圖像搜索系統(tǒng)提交照片和查詢，所述查詢指定用戶正在圖像搜索系統(tǒng)中尋找的特定糖果棒。在接收到了查詢和圖像之后，圖像搜索系統(tǒng)識別響應(yīng)于所接收的查詢的至少一個結(jié)果圖像。例如，圖像搜索系統(tǒng)可查詢圖像數(shù)據(jù)庫以找到與用戶的查詢指定的特定糖果棒高度相關(guān)的圖像。示例高度相關(guān)結(jié)果圖像可以是，例如，它的以其與眾不同的包裝中的特定糖果棒的圖像。
[0020]圖像搜索系統(tǒng)確定查詢圖像的部分是否匹配或類似于被圖像搜索系統(tǒng)識別的結(jié)果圖像。例如，被識別為與用戶對特定糖果棒的查詢相關(guān)的圖像可以被與用戶設(shè)備提供的圖像相比較，以確定用戶設(shè)備提供的圖像的部分是否類似于所述相關(guān)的圖像。響應(yīng)于確定圖像的部分類似于所識別的圖像，圖像搜索系統(tǒng)將使得用戶設(shè)備在該用戶設(shè)備原始提交的圖像中顯示注釋的注釋數(shù)據(jù)提供給該用戶設(shè)備。該注釋指定類似于圖像搜索系統(tǒng)識別的結(jié)果圖像的用戶提交的圖像的部分。例如，如果雜貨店架子的照片的部分類似于特定糖果棒的圖像，圖像搜索系統(tǒng)將突出顯示圖像的該部分的指令提供給用戶設(shè)備，指示用戶雜貨店架子的圖像包括類似于用戶的查詢指定的特定糖果棒的一些東西。
[0021]圖1是用于在圖像內(nèi)搜索的示例環(huán)境100的框圖。計算機網(wǎng)絡(luò)102，諸如局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、互聯(lián)網(wǎng)或者其組合，連接發(fā)布者網(wǎng)站104、用戶設(shè)備106以及圖像搜索系統(tǒng)108。在線環(huán)境100可包括上千的發(fā)布者網(wǎng)站104和用戶設(shè)備106。
[0022]網(wǎng)站104包括與域名相關(guān)聯(lián)的并被一個或多個服務(wù)器托管的一個或多個資源105。示例網(wǎng)站是以超文本標(biāo)記語言(HTML)為格式的網(wǎng)頁的集合，所述超文本標(biāo)記語言(HTML)可以包括文本、圖像、多媒體內(nèi)容以及編程元素，諸如腳本。每個網(wǎng)站104被內(nèi)容發(fā)布者維護(hù)，該內(nèi)容發(fā)布者是控制、管理和/或擁有網(wǎng)站104的實體。
[0023]資源105是可被發(fā)布者104通過網(wǎng)絡(luò)102提供的并且與資源地址相關(guān)聯(lián)的數(shù)據(jù)。資源包括HTML頁面、文字處理文檔和可移植文件格式(PDF)文檔、圖像、視頻和饋源，僅舉幾例。資源可包括內(nèi)容，諸如文字、短語、照片等等，并且可包括嵌入式信息(諸如，元信息和超鏈接)和/或嵌入式指令(諸如，腳本)。
[0024]用戶設(shè)備106是能夠通過網(wǎng)絡(luò)102請求和接收資源以及其他數(shù)據(jù)的電子設(shè)備。示例用戶設(shè)備106包括個人計算機、移動通信設(shè)備、以及可以通過網(wǎng)絡(luò)102發(fā)送和接收數(shù)據(jù)的其他設(shè)備。用戶設(shè)備106—般包括用戶應(yīng)用，諸如web瀏覽器，以促進(jìn)通過網(wǎng)絡(luò)102發(fā)送和接收數(shù)據(jù)。web瀏覽器可以使得用戶能夠顯示一般位于萬維網(wǎng)或局域網(wǎng)上的網(wǎng)站的網(wǎng)頁上的文本、圖像、視頻、音樂和其他信息，并與其交互。
[0025]為促進(jìn)對圖像資源105的搜索，圖像搜索引擎108通過爬取發(fā)布者網(wǎng)站104并索引發(fā)布者網(wǎng)站104提供的圖像資源來識別圖像。被索引的并且選擇性地被緩存的圖像資源的副本被存儲在數(shù)據(jù)存儲設(shè)備中，諸如圖像索引110。
[0026]用戶設(shè)備106提交搜索查詢至圖像搜索系統(tǒng)108。響應(yīng)于該搜索查詢，圖像搜索系統(tǒng)108使用圖像索引110以識別與查詢相關(guān)的圖像資源。圖像搜索系統(tǒng)108以圖像搜索結(jié)果的形式識別圖像資源并在圖像搜索結(jié)果頁面資源中返回圖像搜索結(jié)果至用戶設(shè)備106。示例圖像搜索結(jié)果可包括圖像資源的縮略圖、從托管了圖像資源的網(wǎng)頁被提取的文本的片段、以及網(wǎng)頁的