專利名稱：在網(wǎng)絡(luò)中執(zhí)行視覺搜索的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理系統(tǒng)，且更特定來說涉及用圖像處理系統(tǒng)執(zhí)行視覺搜索。
背景技術(shù)：
在計(jì)算裝置或計(jì)算機(jī)的情境中的視覺搜索指的是使計(jì)算機(jī)或其它裝置能夠執(zhí)行針對(duì)一個(gè)或一個(gè)以上圖像內(nèi)的若干對(duì)象和/或特征當(dāng)中的對(duì)象和/或特征的搜索的技術(shù)。視覺搜索中的最近關(guān)注已帶來使得計(jì)算機(jī)能夠在廣泛多種變化的圖像條件下識(shí)別部分被遮擋的對(duì)象和/或特征的算法，所述變化的圖像條件包含圖像比例、噪聲、照明和局部幾何失真的改變。在此同時(shí)，以相機(jī)為特征的移動(dòng)裝置已出現(xiàn)，但其可能具有用于輸入文本或以其它方式與移動(dòng)裝置介接的有限用戶接口。移動(dòng)裝置和移動(dòng)裝置應(yīng)用程序的開發(fā)者已尋求利用移動(dòng)裝置的相機(jī)來增強(qiáng)用戶與移動(dòng)裝置的交互。為了說明一種增強(qiáng)，移動(dòng)裝置的用戶可采用移動(dòng)裝置的相機(jī)來在商店購物的同時(shí)俘獲任一給定產(chǎn)品的圖像。移動(dòng)裝置可隨后在用于各種圖像的一組歸檔特征描述符內(nèi)起始視覺搜索算法以基于匹配圖像識(shí)別產(chǎn)品。在識(shí)別出產(chǎn)品之后，移動(dòng)裝置可隨后起始因特網(wǎng)搜索并呈現(xiàn)含有關(guān)于所識(shí)別產(chǎn)品的信息的網(wǎng)頁，包含可從附近的商人和/或在線商人購得所述產(chǎn)品的最低價(jià)格。雖然存在配備相機(jī)和能夠進(jìn)行視覺搜索的移動(dòng)裝置可采用的許多應(yīng)用，但視覺搜索算法經(jīng)常涉及大量的處理資源，其通常消耗大量的電力。用依賴于電池供電的電力寶貴的裝置(例如上述移動(dòng)便攜式和手持式裝置)執(zhí)行視覺搜索可能受限，尤其是在其電池接近耗盡其電量時(shí)。因此，已開發(fā)若干架構(gòu)來避免這些電力寶貴的裝置完全地實(shí)施視覺搜索。而是，與電力寶貴的裝置分開來提供執(zhí)行視覺搜索的視覺搜索裝置。電力寶貴的裝置起始與視覺搜索裝置的會(huì)話，且在一些實(shí)例中，在搜索請(qǐng)求中將圖像提供到視覺搜索裝置。視覺搜索裝置執(zhí)行視覺搜索且返回搜索響應(yīng)，該搜索響應(yīng)指定由視覺搜索識(shí)別的對(duì)象和/或特征。以此方式，電力寶貴的裝置能夠進(jìn)行視覺搜索，但不必執(zhí)行消耗大量電力的處理器集約型視覺搜索。

發(fā)明內(nèi)容
大體上，本發(fā)明描述用于在網(wǎng)絡(luò)環(huán)境中執(zhí)行視覺搜索的技術(shù)，所述網(wǎng)絡(luò)環(huán)境包含可稱為“客戶端裝置”的移動(dòng)、便攜式或其它電力寶貴的裝置以及視覺搜索服務(wù)器。并非將圖像完整地發(fā)送到視覺搜索服務(wù)器，客戶端裝置局部地執(zhí)行特征提取以用所謂的“特征描述符”的形式從存儲(chǔ)在客戶端裝置上的圖像提取特征。在若干實(shí)例中，這些特征描述符包括直方圖。根據(jù)本發(fā)明中描述的技術(shù)，客戶端裝置可以連續(xù)可精煉方式量化這些直方圖特征描述符。以此方式，客戶端裝置可基于以第一粗略量化等級(jí)量化的特征描述符而起始視覺搜索，同時(shí)如果視覺搜索需要關(guān)于此特征描述符的額外信息則精煉特征描述符的量化。因此，可能發(fā)生某一量的并行處理，因?yàn)榭蛻舳搜b置和服務(wù)器可能同時(shí)工作以執(zhí)行視覺搜索。在一個(gè)實(shí)例中，描述一種用于在網(wǎng)絡(luò)系統(tǒng)中執(zhí)行視覺搜索的方法，其中客戶端裝置將查詢數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)發(fā)射到視覺搜索裝置。所述方法包括用客戶端裝置存儲(chǔ)界定查詢圖像的數(shù)據(jù)，以及用客戶端裝置從所述查詢圖像提取一組圖像特征描述符，其中所述圖像特征描述符界定所述查詢圖像的至少一個(gè)特征。所述方法還包括用所述客戶端裝置以第一量化等級(jí)量化所述組圖像特征描述符以產(chǎn)生表示以所述第一量化等級(jí)量化的所述組圖像特征描述符的第一查詢數(shù)據(jù)；用所述客戶端裝置將所述第一查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置；確定加強(qiáng)所述第一查詢數(shù)據(jù)的第二查詢數(shù)據(jù)，使得當(dāng)以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)時(shí)，所述經(jīng)更新第一查詢數(shù)據(jù)表示以第二量化等級(jí)量化的所述組圖像特征描述符，其中所述第二量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第一量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形更準(zhǔn)確的對(duì)所述組圖像特征描述符的表示；以及用所述客戶端裝置將所述第二查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置以精煉所述第一查詢數(shù)據(jù)。在另一實(shí)例中，描述一種用于在網(wǎng)絡(luò)系統(tǒng)中執(zhí)行視覺搜索的方法，其中客戶端裝置將查詢數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)發(fā)射到視覺搜索裝置。所述方法包括:用所述視覺搜索裝置經(jīng)由所述網(wǎng)絡(luò)從所述客戶端裝置接收第一查詢數(shù)據(jù)，其中所述第一查詢數(shù)據(jù)表示從圖像提取且通過以第一量化等級(jí)量化而壓縮的一組圖像特征描述符；用所述視覺搜索裝置使用第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索；以及經(jīng)由所述網(wǎng)絡(luò)從所述客戶端裝置接收第二查詢數(shù)據(jù)，其中所述第二查詢數(shù)據(jù)加強(qiáng)所述第一數(shù)據(jù)，使得當(dāng)以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)時(shí)，所述經(jīng)更新第一查詢數(shù)據(jù)表示以第二量化等級(jí)量化的所述組圖像特征描述符，其中所述第二量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第一量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形更精細(xì)更準(zhǔn)確的對(duì)所述圖像特征描述符的表示。所述方法還包括用所述視覺搜索裝置以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)以產(chǎn)生表示以所述第二量化等級(jí)量化的所述圖像特征描述符的經(jīng)更新第一查詢數(shù)據(jù)；以及用所述視覺搜索裝置使用所述經(jīng)更新第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索。在另一實(shí)例中，描述一種客戶端裝置，其將查詢數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)發(fā)射到視覺搜索裝置以便執(zhí)行視覺搜索。所述客戶端裝置包括:存儲(chǔ)器，其存儲(chǔ)界定圖像的數(shù)據(jù)；特征提取單元，其從所述圖像提取一組圖像特征描述符，其中所述圖像特征描述符界定所述圖像的至少一個(gè)特征；特征壓縮單元，其以第一量化等級(jí)量化所述圖像特征描述符以產(chǎn)生表示以所述第一量化等級(jí)量化的所述圖像特征描述符的第一查詢數(shù)據(jù)；以及接口，其將所述第一查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置。所述特征壓縮單元確定加強(qiáng)所述第一查詢數(shù)據(jù)的第二查詢數(shù)據(jù)，使得當(dāng)以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)時(shí)，所述經(jīng)更新第一查詢數(shù)據(jù)表示以第二量化等級(jí)量化的所述圖像特征描述符，其中所述第二量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第一量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形更精細(xì)更準(zhǔn)確的對(duì)所述圖像特征描述符的表示。所述接口將所述第二查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置以連續(xù)精煉所述第一查詢數(shù)據(jù)。在另一實(shí)例中，描述一種用于在網(wǎng)絡(luò)系統(tǒng)中執(zhí)行視覺搜索的視覺搜索裝置，其中客戶端裝置將查詢數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置。所述視覺搜索裝置包括:接口，其經(jīng)由所述網(wǎng)絡(luò)從所述客戶端裝置接收第一查詢數(shù)據(jù)，其中所述第一查詢數(shù)據(jù)表示從圖像提取且通過以第一量化等級(jí)量化而壓縮的一組圖像特征描述符；以及特征匹配單元，其使用所述第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索。所述接口進(jìn)一步經(jīng)由所述網(wǎng)絡(luò)從所述客戶端裝置接收第二查詢數(shù)據(jù)，其中所述第二查詢數(shù)據(jù)加強(qiáng)所述第一數(shù)據(jù)，使得當(dāng)以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)時(shí)，所述經(jīng)更新第一查詢數(shù)據(jù)表示以第二量化等級(jí)量化的所述圖像特征描述符，其中所述第二量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第一量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形更精細(xì)更準(zhǔn)確的對(duì)所述圖像特征描述符的表示。所述視覺搜索裝置還包括特征重構(gòu)單元，其以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)以產(chǎn)生表示以第二量化等級(jí)量化的所述圖像特征描述符的經(jīng)更新第一查詢數(shù)據(jù)。所述特征匹配單元使用所述經(jīng)更新第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索。在另一實(shí)例中，描述一種裝置，其將查詢數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)發(fā)射到視覺搜索裝置。所述裝置包括:用于存儲(chǔ)界定查詢圖像的數(shù)據(jù)的裝置；用于從所述查詢圖像提取一組圖像特征描述符的裝置，其中所述圖像特征描述符界定所述查詢圖像的至少一個(gè)特征；用于以第一量化等級(jí)量化所述組圖像特征描述符以產(chǎn)生表示以所述第一量化等級(jí)量化的所述組圖像特征描述符的第一查詢數(shù)據(jù)的裝置。所述裝置還包括:用于將所述第一查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置的裝置；用于確定加強(qiáng)所述第一查詢數(shù)據(jù)的第二查詢數(shù)據(jù)，使得當(dāng)以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)時(shí)，所述經(jīng)更新第一查詢數(shù)據(jù)表示以第二量化等級(jí)量化的所述組圖像特征描述符的裝置，其中所述第二量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第一量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形更準(zhǔn)確的對(duì)所述組圖像特征描述符的表示；以及用于將所述第二查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置以精煉所述第一查詢數(shù)據(jù)的裝置。在另一實(shí)例中，描述一種用于在網(wǎng)絡(luò)系統(tǒng)中執(zhí)行視覺搜索的裝置，其中客戶端裝置將查詢數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)發(fā)射到視覺搜索裝置。所述裝置包括:用于經(jīng)由所述網(wǎng)絡(luò)從所述客戶端裝置接收第一查詢數(shù)據(jù)的裝置，其中所述第一查詢數(shù)據(jù)表示從圖像提取且通過以第一量化等級(jí)量化而壓縮的一組圖像特征描述符；用于使用所述第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索的裝置；以及用于經(jīng)由所述網(wǎng)絡(luò)從所述客戶端裝置接收第二查詢數(shù)據(jù)的裝置，其中所述第二查詢數(shù)據(jù)加強(qiáng)所述第一數(shù)據(jù)，使得當(dāng)以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)時(shí)，所述經(jīng)更新第一查詢數(shù)據(jù)表示以第二量化等級(jí)量化的所述組圖像特征描述符，其中所述第二量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第一量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形更準(zhǔn)確的對(duì)所述圖像特征描述符的表示。所述裝置還包括:用于以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)以產(chǎn)生表示以所述第二量化等級(jí)量化的所述圖像特征描述符的經(jīng)更新第一查詢數(shù)據(jù)的裝置；以及用于使用所述經(jīng)更新第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索的裝置。在另一實(shí)例中，一種包括指令的非暫時(shí)性計(jì)算機(jī)可讀媒體，所述指令在被執(zhí)行時(shí)致使一個(gè)或一個(gè)以上處理器:存儲(chǔ)界定查詢圖像的數(shù)據(jù)；從所述查詢圖像提取圖像特征描述符，其中所述圖像特征描述符界定所述查詢圖像的特征；以第一量化等級(jí)量化所述圖像特征描述符以產(chǎn)生表示以所述第一量化等級(jí)量化的所述圖像特征描述符的第一查詢數(shù)據(jù)；將所述第一查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置；確定加強(qiáng)所述第一查詢數(shù)據(jù)的第二查詢數(shù)據(jù)，使得當(dāng)以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)時(shí)，所述經(jīng)更新第一查詢數(shù)據(jù)表示以第二量化等級(jí)量化的所述圖像特征描述符，其中所述第二量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第一量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形更準(zhǔn)確的對(duì)所述圖像特征描述符數(shù)據(jù)的表示；以及將所述第二查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置以連續(xù)精煉所述第一查詢數(shù)據(jù)。在另一實(shí)例中，一種包括指令的非暫時(shí)性計(jì)算機(jī)可讀媒體，所述指令在被執(zhí)行時(shí)致使一個(gè)或一個(gè)以上處理器:經(jīng)由所述網(wǎng)絡(luò)從所述客戶端裝置接收第一查詢數(shù)據(jù)，其中所述第一查詢數(shù)據(jù)表示從圖像提取且通過以第一量化等級(jí)量化而壓縮的圖像特征描述符；使用所述第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索；經(jīng)由所述網(wǎng)絡(luò)從所述客戶端裝置接收第二查詢數(shù)據(jù)，其中所述第二查詢數(shù)據(jù)加強(qiáng)所述第一數(shù)據(jù)，使得當(dāng)以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)時(shí)，所述經(jīng)更新第一查詢數(shù)據(jù)表示以第二量化等級(jí)量化的所述圖像特征描述符，其中所述第二量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第一量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形更準(zhǔn)確的對(duì)所述圖像特征描述符的表示；以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)以產(chǎn)生表示以第二量化等級(jí)量化的所述圖像特征描述符的經(jīng)更新第一查詢數(shù)據(jù)；以及使用所述經(jīng)更新第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索。在另一實(shí)例中，描述一種用于執(zhí)行視覺搜索的網(wǎng)絡(luò)系統(tǒng)。所述網(wǎng)絡(luò)系統(tǒng)包括:客戶端裝置；視覺搜索裝置；以及網(wǎng)絡(luò)，所述客戶端裝置和視覺搜索裝置介接到所述網(wǎng)絡(luò)以彼此通信以執(zhí)行所述視覺搜索。所述客戶端裝置包含:非暫時(shí)性計(jì)算機(jī)可讀媒體，其存儲(chǔ)界定圖像的數(shù)據(jù)；客戶端處理器，其從所述圖像提取圖像特征描述符，其中所述圖像特征描述符界定所述圖像的特征且以第一量化等級(jí)量化所述圖像特征描述符以產(chǎn)生表示以所述第一量化等級(jí)量化的所述圖像特征描述符的第一查詢數(shù)據(jù)；以及第一網(wǎng)絡(luò)接口，其將所述第一查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置。所述視覺搜索裝置包含:第二網(wǎng)絡(luò)接口，其經(jīng)由所述網(wǎng)絡(luò)從所述客戶端裝置接收所述第一查詢數(shù)據(jù)；以及服務(wù)器處理器，其使用所述第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索。所述客戶端處理器確定加強(qiáng)所述第一查詢數(shù)據(jù)的第二查詢數(shù)據(jù)，使得當(dāng)以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)時(shí)，所述經(jīng)更新第一查詢數(shù)據(jù)表示以第二量化等級(jí)量化的所述圖像特征描述符，其中所述第二量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第一量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形更準(zhǔn)確的對(duì)所述圖像特征描述符的表示。所述第一網(wǎng)絡(luò)接口將所述第二查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置以連續(xù)精煉所述第一查詢數(shù)據(jù)。所述第二網(wǎng)絡(luò)接口經(jīng)由所述網(wǎng)絡(luò)從所述客戶端裝置接收所述第二查詢數(shù)據(jù)。所述服務(wù)器以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)以產(chǎn)生表示以第二量化等級(jí)量化的所述圖像特征描述符的經(jīng)更新第一查詢數(shù)據(jù)，且使用所述經(jīng)更新第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索。


圖1是說明實(shí)施本發(fā)明中描述的連續(xù)可精煉特征描述符量化技術(shù)的圖像處理系統(tǒng)的框圖。圖2是更詳細(xì)說明圖1的特征壓縮單元的框圖。圖3是更詳細(xì)說明圖1的特征重構(gòu)單元的框圖。圖4是說明視覺搜索客戶端裝置在實(shí)施本發(fā)明中描述的連續(xù)可精煉特征描述符量化技術(shù)時(shí)的示范性操作的流程圖。圖5是說明視覺搜索服務(wù)器在實(shí)施本發(fā)明中描述的連續(xù)可精煉特征描述符量化技術(shù)時(shí)的示范性操作的流程圖。圖6是說明特征提取單元確定用于執(zhí)行關(guān)鍵點(diǎn)提取的高斯差(DoG)金字塔的過程的圖。圖7是說明在確定高斯差(DoG)金字塔之后的關(guān)鍵點(diǎn)的檢測(cè)的圖。圖8是說明特征提取單元確定梯度分布和定向直方圖的過程的圖。圖9A、9B是描繪特征描述符以及根據(jù)本發(fā)明中描述的技術(shù)確定的重構(gòu)點(diǎn)的圖。
圖10是說明關(guān)于實(shí)施本發(fā)明中描述的技術(shù)的系統(tǒng)的等待時(shí)間的時(shí)間圖。
具體實(shí)施例方式大體上，本發(fā)明描述用于在可稱為“客戶端裝置”和視覺搜索服務(wù)器的包含移動(dòng)便攜式或其它電力寶貴的裝置的網(wǎng)絡(luò)環(huán)境中執(zhí)行視覺搜索的技術(shù)。并非將圖像完整地發(fā)送到視覺搜索服務(wù)器，客戶端裝置局部地執(zhí)行特征提取以從存儲(chǔ)在客戶端裝置上的圖像以所謂的“特征描述符”的形式提取特征。在若干實(shí)例中，這些特征描述符包括直方圖。根據(jù)本發(fā)明中描述的技術(shù)，客戶端裝置可以連續(xù)可精煉方式量化這些特征描述符(其也經(jīng)常是以直方圖的形式)。以此方式，客戶端裝置可基于在第一粗略量化等級(jí)下量化的特征描述符而起始視覺搜索，同時(shí)如果視覺搜索需要關(guān)于此特征描述符的額外信息則精煉特征描述符的量化。因此，可能發(fā)生某一量的并行處理，因?yàn)榭蛻舳搜b置和服務(wù)器可能兩者同時(shí)工作以執(zhí)行視覺搜索。舉例來說，客戶端裝置可首先以第一粗略量化等級(jí)量化特征描述符。隨后將此粗略量化的特征描述符發(fā)送到視覺搜索服務(wù)器作為第一查詢數(shù)據(jù)，可繼續(xù)基于此第一查詢數(shù)據(jù)而執(zhí)行視覺搜索。在以粗略量化的特征描述符執(zhí)行此視覺搜索的同時(shí)，客戶端裝置可確定加強(qiáng)第一查詢數(shù)據(jù)的額外或第二查詢數(shù)據(jù)，使得當(dāng)以第二查詢數(shù)據(jù)更新第一查詢數(shù)據(jù)時(shí)，經(jīng)更新的第一查詢數(shù)據(jù)代表在第二量化等級(jí)下量化的直方圖特征描述符。以此方式，所述技術(shù)可減少與執(zhí)行視覺搜索相關(guān)聯(lián)的等待時(shí)間，因?yàn)椴樵償?shù)據(jù)是反復(fù)確定的且與視覺搜索服務(wù)器執(zhí)行視覺搜索同時(shí)地由客戶端裝置提供到視覺搜索服務(wù)器。因此，并非發(fā)射整個(gè)圖像(可消耗大量帶寬)且接著等待視覺搜索服務(wù)器完成視覺搜索，所述技術(shù)可發(fā)送特征描述符且進(jìn)而節(jié)省帶寬。而且，所述技術(shù)可避免完整地發(fā)送圖像特征描述符，且提供以減少等待時(shí)間的方式連續(xù)精煉圖像特征描述符的方法。所述技術(shù)可通過以促進(jìn)對(duì)先前發(fā)送的查詢數(shù)據(jù)的更新以使得經(jīng)更新查詢數(shù)據(jù)提供以更精細(xì)、更完整或更準(zhǔn)確量化水平量化的圖像特征描述符的方式謹(jǐn)慎地使位流或查詢數(shù)據(jù)結(jié)構(gòu)化來實(shí)現(xiàn)此等待時(shí)間減少。圖1是說明實(shí)施本發(fā)明中描述的連續(xù)可精煉量化技術(shù)的圖像處理系統(tǒng)10的框圖。在圖1的實(shí)例中，圖像處理系統(tǒng)10包含客戶端裝置12、視覺搜索服務(wù)器14和網(wǎng)絡(luò)16。客戶端裝置12在此實(shí)例中表示移動(dòng)裝置，例如膝上型計(jì)算機(jī)、所謂的迷你筆記本、個(gè)人數(shù)字助理(PDA)、蜂窩式或移動(dòng)電話或手持機(jī)(包含所謂的“智能電話”)、全球定位系統(tǒng)(GPS)裝置、數(shù)碼相機(jī)、數(shù)字媒體播放器、游戲裝置或能夠與視覺搜索服務(wù)器14通信的任一其它移動(dòng)裝置。雖然在本發(fā)明中相對(duì)于移動(dòng)客戶端裝置12來描述，但本發(fā)明中描述的技術(shù)在此方面不應(yīng)限于移動(dòng)客戶端裝置。而是，所述技術(shù)可由能夠經(jīng)由網(wǎng)絡(luò)16或任一其它通信媒體與視覺搜索服務(wù)器14通信的任一裝置實(shí)施。視覺搜索服務(wù)器14表示通常以傳輸控制協(xié)議(TCP)連接的形式接受連接且以其自己的TCP連接進(jìn)行響應(yīng)以形成用以接收查詢數(shù)據(jù)并提供識(shí)別數(shù)據(jù)的TCP會(huì)話的服務(wù)器裝置。視覺搜索服務(wù)器14可表示視覺搜索服務(wù)器裝置，因?yàn)橐曈X搜索服務(wù)器14執(zhí)行或以其它方式實(shí)施視覺搜索算法以識(shí)別圖像內(nèi)的一個(gè)或一個(gè)以上特征或?qū)ο?。在一些?shí)例中，視覺搜索服務(wù)器14可位于將移動(dòng)客戶端裝置互連到包交換或數(shù)據(jù)網(wǎng)絡(luò)的蜂窩式接入網(wǎng)絡(luò)的基站中。
網(wǎng)絡(luò)16表示使客戶端裝置12和視覺搜索服務(wù)器14互連的公用網(wǎng)絡(luò)，例如因特網(wǎng)。通常，網(wǎng)絡(luò)16實(shí)施開放系統(tǒng)互連(OSI)模型的各個(gè)層以促進(jìn)客戶端裝置12與視覺搜索服務(wù)器14之間的通信或數(shù)據(jù)的傳送。網(wǎng)絡(luò)16通常包含任一數(shù)目的網(wǎng)絡(luò)裝置，例如交換機(jī)、集線器、路由器、服務(wù)器，以實(shí)現(xiàn)客戶端裝置12與視覺搜索服務(wù)器14之間的數(shù)據(jù)傳送。雖然展示為單個(gè)網(wǎng)絡(luò)，但網(wǎng)絡(luò)16可包括經(jīng)互連以形成網(wǎng)絡(luò)16的一個(gè)或一個(gè)以上子網(wǎng)絡(luò)。這些子網(wǎng)絡(luò)可包括服務(wù)提供者網(wǎng)絡(luò)、接入網(wǎng)絡(luò)、后端網(wǎng)絡(luò)或在公用網(wǎng)絡(luò)中通常采用以提供通過網(wǎng)絡(luò)16的數(shù)據(jù)傳送的任一其它類型的網(wǎng)絡(luò)。雖然在此實(shí)例中描述為公用網(wǎng)絡(luò)，但網(wǎng)絡(luò)16可包括通常不可被公眾接入的專用網(wǎng)絡(luò)。如圖1的實(shí)例中所示，客戶端裝置12包含特征提取單元18、特征壓縮單元20、接口 22和顯示器24。特征提取單元18表示根據(jù)特征提取算法執(zhí)行特征提取的單元，所述算法例如是經(jīng)壓縮梯度直方圖(CHoG)算法或以直方圖形式提取特征且將這些直方圖量化為類型的任一其它特征描述提取算法。通常，特征提取單元18對(duì)圖像數(shù)據(jù)26進(jìn)行操作，所述圖像數(shù)據(jù)可使用包含在客戶端裝置12內(nèi)的相機(jī)或其它圖像俘獲裝置(圖1的實(shí)例中未圖示)局部地俘獲?；蛘?，客戶端裝置12可借助于局部地經(jīng)由與另一計(jì)算裝置的有線連接或經(jīng)由任一其它有線或無線通信形式從網(wǎng)絡(luò)16下載此圖像數(shù)據(jù)26來存儲(chǔ)圖像數(shù)據(jù)26而不自己俘獲此圖像數(shù)據(jù)。雖然下文更詳細(xì)描述，但特征提取單元18概括來說可通過對(duì)圖像數(shù)據(jù)26進(jìn)行高斯模糊以產(chǎn)生兩個(gè)連續(xù)的高斯模糊圖像來提取特征描述符28。高斯模糊通常涉及在經(jīng)界定尺度下將圖像數(shù)據(jù)26與高斯模糊函數(shù)進(jìn)行卷積。特征提取單元18可遞增地卷積圖像數(shù)據(jù)26，其中所得的高斯模糊圖像通過尺度空間中的常數(shù)彼此分離。特征提取單元18隨后堆疊這些高斯模糊圖像以形成可稱為“高斯金字塔”或“高斯差金字塔”的事物。特征提取單元18隨后比較兩個(gè)連續(xù)堆疊的高斯模糊圖像以產(chǎn)生高斯差(DoG)圖像。DoG圖像可形成稱為“DoG空間”的事物?；诖薉oG空間，特征提取單元18可檢測(cè)關(guān)鍵點(diǎn)，其中關(guān)鍵點(diǎn)指代圍繞圖像數(shù)據(jù)26中的特定樣本點(diǎn)或像素的從幾何角度來看受到潛在關(guān)注的像素區(qū)或像素片。通常，特征提取單元18將關(guān)鍵點(diǎn)識(shí)別為經(jīng)構(gòu)造DoG空間中的局部最大值和/或局部最小值。特征提取單元18隨后基于其中檢測(cè)到關(guān)鍵點(diǎn)的片的局部圖像梯度的方向?yàn)檫@些關(guān)鍵點(diǎn)指派一個(gè)或一個(gè)以上定向或方向。為了表征這些定向，特征提取單元18可依據(jù)梯度定向直方圖來界定定向。特征提取單元18隨后將特征描述符28界定為位置和定向(例如，借助于梯度定向直方圖)。在界定特征描述符28之后，特征提取單元18將此特征描述符28輸出到特征壓縮單元20。特征提取單元18可使用此過程輸出一組特征描述符28。特征壓縮單元20表示相對(duì)于由特征提取單元18用以界定這些特征描述符的數(shù)據(jù)量來說壓縮或以其它方式減少用以界定特征描述符(例如特征描述符28)的數(shù)據(jù)量的單元。為了壓縮特征描述符，特征壓縮單元20可執(zhí)行稱為類型量化的形式的量化以壓縮特征描述符28。在此方面，并非完整地發(fā)送由特征描述符28界定的直方圖，特征壓縮單元20執(zhí)行類型量化以將直方圖表示為所謂的“類型”。通常，類型是直方圖的經(jīng)壓縮表示(例如，其中類型表示直方圖的形狀而非完整直方圖)。類型通常表示符號(hào)的一組頻率，且在直方圖的上下文中可表示直方圖的梯度分布的頻率。換句話說，類型可表示產(chǎn)生了特征描述符28中的對(duì)應(yīng)一者的源的真實(shí)分布的估計(jì)。在此方面，對(duì)于類型的編碼和發(fā)射可視為等效于對(duì)于分布的形狀的編碼和發(fā)射，因?yàn)槠淇苫谔囟颖?例如，在此實(shí)例中其為由特征描述符28中的對(duì)應(yīng)一者界定的直方圖)來估計(jì)。給定特征描述符28和量化等級(jí)(此處可在數(shù)學(xué)上表示為“η” )，特征壓縮單元20針對(duì)特征描述符28中的每一者計(jì)算具有參數(shù)k1;...km (其中m表示維度的數(shù)目)的類型。每一類型可表示具有給定公分母的一組有理數(shù)，其中所述有理數(shù)總和為I。特征描述符28可隨后使用詞典枚舉將此類型編碼為索引。換句話說，對(duì)于具有給定公分母的所有可能類型，特征壓縮單元28基于這些類型的詞典排序而有效地將索引指派給這些類型中的每一者。特征壓縮單元28進(jìn)而將特征描述符28壓縮為單一詞典排列的索引，且以查詢數(shù)據(jù)30A、30B的形式將這些經(jīng)壓縮特征描述符輸出到接口 22。雖然關(guān)于詞典排列來描述，但可關(guān)于任一其它類型的排列來使用所述技術(shù)，只要為客戶端裝置和視覺搜索服務(wù)器兩者提供此排列即可。在一些實(shí)例中，客戶端裝置可將排列模式以信號(hào)發(fā)送到視覺搜索服務(wù)器，其中客戶端裝置和視覺搜索服務(wù)器可協(xié)商排列模式。在其它實(shí)例中，此排列模式可在客戶端裝置和視覺搜索服務(wù)器兩者中靜態(tài)地配置，以避免與執(zhí)行視覺搜索相關(guān)聯(lián)的信令和其它開銷。接口 22表示能夠經(jīng)由網(wǎng)絡(luò)16與視覺搜索服務(wù)器14通信的任一類型的接口，包含無線接口和有線接口。接口 22可表示無線蜂窩式接口，且包含經(jīng)由無線蜂窩式網(wǎng)絡(luò)與網(wǎng)絡(luò)16以及經(jīng)由網(wǎng)絡(luò)16與視覺搜索服務(wù)器14進(jìn)行通信所必要的硬件或其它組件，例如天線、調(diào)制器和類似物。在此實(shí)例中，雖然在圖1的實(shí)例中未圖示，但網(wǎng)絡(luò)16包含無線蜂窩式接入網(wǎng)絡(luò)，無線蜂窩式接口 22通過所述網(wǎng)絡(luò)與網(wǎng)絡(luò)16通信。顯示器24表示能夠顯示例如圖像數(shù)據(jù)26的圖像或任一其它類型數(shù)據(jù)的任一類型的顯示單元。顯示器24可例如表示發(fā)光二極管(LED)顯示裝置、有機(jī)LED(OLED)顯示裝置、液晶顯示器(IXD)裝置、等離子顯示裝置或任一其它類型的顯示裝置。視覺搜索服務(wù)器14包含接口 32、特征重構(gòu)單元34、特征匹配單元36以及特征描述符數(shù)據(jù)庫38。接口 32可類似于接口 22，因?yàn)榻涌?32可表示能夠與例如網(wǎng)絡(luò)16的網(wǎng)絡(luò)通信的任一類型的接口。特征重構(gòu)單元34表示對(duì)經(jīng)壓縮特征描述符進(jìn)行解壓縮以從經(jīng)壓縮特征描述符重構(gòu)特征描述符的單元。特征重構(gòu)單元34可執(zhí)行與由特征壓縮單元20執(zhí)行的操作相反的操作，因?yàn)樘卣髦貥?gòu)單元34執(zhí)行逆量化(經(jīng)常稱為重構(gòu))以從經(jīng)壓縮特征描述符重構(gòu)特征描述符。特征匹配單元36表示執(zhí)行特征匹配以基于經(jīng)重構(gòu)特征描述符識(shí)別圖像數(shù)據(jù)26中的一個(gè)或一個(gè)以上特征或?qū)ο蟮膯卧?。特征匹配單?6可存取特征描述符數(shù)據(jù)庫38以執(zhí)行此特征識(shí)別，其中特征描述符數(shù)據(jù)庫38存儲(chǔ)界定特征描述符且使這些特征描述符中的至少一些與識(shí)別數(shù)據(jù)相關(guān)聯(lián)的數(shù)據(jù)，所述識(shí)別數(shù)據(jù)識(shí)別從圖像數(shù)據(jù)26提取的對(duì)應(yīng)特征或?qū)ο?。在基于例如?jīng)重構(gòu)特征描述符40A(此處也可稱為“查詢數(shù)據(jù)40A”，因?yàn)榇藬?shù)據(jù)表示用以執(zhí)行視覺搜索或查詢的視覺搜索查詢數(shù)據(jù))的經(jīng)重構(gòu)特征描述符成功識(shí)別從圖像數(shù)據(jù)26提取的特征或?qū)ο蠛?，特征匹配單?6即刻返回此識(shí)別數(shù)據(jù)作為識(shí)別數(shù)據(jù)42。
起初，客戶端裝置12的用戶與客戶端裝置12介接以起始視覺搜索。用戶可與由顯示器24呈現(xiàn)的用戶接口或其它類型的接口介接以選擇圖像數(shù)據(jù)26，且隨后起始視覺搜索以識(shí)別作為存儲(chǔ)為圖像數(shù)據(jù)26的圖像的焦點(diǎn)的一個(gè)或一個(gè)以上特征或?qū)ο?。舉例來說，圖像數(shù)據(jù)26可指定一件著名藝術(shù)品的圖像。用戶可能已使用客戶端裝置12的圖像俘獲單元(例如，相機(jī))俘獲此圖像，或者從網(wǎng)絡(luò)16或經(jīng)由與另一計(jì)算裝置的有線或無線連接本地地下載此圖像。在任一情況下，在選擇圖像數(shù)據(jù)26之后，在此實(shí)例中，用戶起始視覺搜索以通過例如名稱、藝術(shù)家和完成日期來識(shí)別所述件著名藝術(shù)品。響應(yīng)于起始視覺搜索，客戶端裝置12調(diào)用特征提取單元18來提取描述通過對(duì)圖像數(shù)據(jù)26的分析發(fā)現(xiàn)的所謂的“關(guān)鍵點(diǎn)”中的一者的至少一個(gè)特征描述符28。特征提取單元18將此特征描述符28轉(zhuǎn)發(fā)到特征壓縮單元20，特征壓縮單元20繼續(xù)壓縮特征描述符28且產(chǎn)生查詢數(shù)據(jù)30A。特征壓縮單元20將查詢數(shù)據(jù)30A輸出到接口 22，接口 22將查詢數(shù)據(jù)30A經(jīng)由網(wǎng)絡(luò)16轉(zhuǎn)發(fā)到視覺搜索服務(wù)器14。視覺搜索服務(wù)器14的接口 32接收查詢數(shù)據(jù)30A。響應(yīng)于接收到查詢數(shù)據(jù)30A，視覺搜索服務(wù)器14調(diào)用特征重構(gòu)單元34。特征重構(gòu)單元34嘗試基于查詢數(shù)據(jù)30A重構(gòu)特征描述符28且輸出經(jīng)重構(gòu)特征描述符40A。特征匹配單元36接收經(jīng)重構(gòu)特征描述符40A且基于特征描述符40A執(zhí)行特征匹配。特征匹配單元36通過存取特征描述符數(shù)據(jù)庫38且遍歷由特征描述符數(shù)據(jù)庫38存儲(chǔ)為數(shù)據(jù)的特征描述符以識(shí)別大體上匹配的特征描述符而執(zhí)行特征匹配。在基于經(jīng)重構(gòu)特征描述符40A成功識(shí)別從圖像數(shù)據(jù)26提取的特征后，特征匹配單元36即刻輸出與存儲(chǔ)在特征描述符數(shù)據(jù)庫38中的在某種程度上匹配(經(jīng)常表達(dá)為閾值)經(jīng)重構(gòu)特征描述符40A的特征描述符相關(guān)聯(lián)的識(shí)別數(shù)據(jù)42。接口 32接收此識(shí)別數(shù)據(jù)42且將識(shí)別數(shù)據(jù)42經(jīng)由網(wǎng)絡(luò)16轉(zhuǎn)發(fā)到客戶端裝置12?？蛻舳搜b置12的接口 22接收此識(shí)別數(shù)據(jù)42且經(jīng)由顯示器24呈現(xiàn)此識(shí)別數(shù)據(jù)
42。也就是說，接口 22將識(shí)別數(shù)據(jù)42轉(zhuǎn)發(fā)到顯示器24，顯示器24隨后經(jīng)由用戶接口呈現(xiàn)或顯示此識(shí)別數(shù)據(jù)42，所述用戶接口例如為用以起始針對(duì)圖像數(shù)據(jù)26的視覺搜索的用戶接口。在此實(shí)例中，識(shí)別數(shù)據(jù)42可包括所述件藝術(shù)品的名稱、藝術(shù)家的名字、所述件藝術(shù)品的完成日期以及與此件藝術(shù)品有關(guān)的任何其它信息。在一些實(shí)例中，接口 22將識(shí)別數(shù)據(jù)轉(zhuǎn)發(fā)到在客戶端裝置12內(nèi)執(zhí)行的視覺搜索應(yīng)用程序，所述應(yīng)用程序隨后使用此識(shí)別數(shù)據(jù)(例如，通過經(jīng)由顯示器24呈現(xiàn)此識(shí)別數(shù)據(jù))。雖然本發(fā)明中描述各種組件、模塊或單元以強(qiáng)調(diào)經(jīng)配置以執(zhí)行所揭示技術(shù)的裝置的功能方面，但這些單元不一定需要通過不同硬件單元來實(shí)現(xiàn)。而是，各種單元可在硬件單元中組合或由互操作硬件單元(包含如上所述的一個(gè)或一個(gè)以上處理器)的集合結(jié)合存儲(chǔ)到計(jì)算機(jī)可讀媒體的合適軟件和/或固件來提供。在此方面中，本發(fā)明中對(duì)單元的參考既定表示可能或可能不實(shí)施為單獨(dú)硬件單元和/或硬件與軟件單元的不同功能單元。在執(zhí)行這種形式的聯(lián)網(wǎng)視覺搜索時(shí)，客戶端裝置12消耗電力或能量來提取特征描述符28且隨后壓縮這些特征描述符28以產(chǎn)生查詢數(shù)據(jù)30A，所述電力或能量在移動(dòng)或便攜式裝置情境中在這些裝置采用電池或其它能量儲(chǔ)存裝置來實(shí)現(xiàn)便攜性的意義上經(jīng)常是有限的。在一些實(shí)例中，可不調(diào)用特征壓縮單元20來壓縮特征描述符28。舉例來說，客戶端裝置12在檢測(cè)到可用電力或能量低于可用電力的某一閾值(例如可用電力的20%)時(shí)可不調(diào)用特征壓縮單元20。客戶端裝置12可提供這些閾值以平衡帶寬消耗與電力消耗。通常，帶寬消耗是與無線蜂窩式接入網(wǎng)絡(luò)介接的移動(dòng)裝置要關(guān)注的一個(gè)問題，因?yàn)檫@些無線蜂窩式接入網(wǎng)絡(luò)可能針對(duì)固定費(fèi)用僅提供有限量的帶寬或在一些實(shí)例中針對(duì)消耗的每千字節(jié)帶寬進(jìn)行收費(fèi)。如果未啟用壓縮，例如當(dāng)超過上述閾值時(shí)，客戶端裝置12發(fā)送特征描述符28作為查詢數(shù)據(jù)30A而不會(huì)首先壓縮特征描述符28。雖然避免壓縮可節(jié)省電力，但發(fā)送未經(jīng)壓縮特征描述符28作為查詢數(shù)據(jù)30A可增加消耗的帶寬量，這又可增加與執(zhí)行視覺搜索相關(guān)聯(lián)的成本。在這個(gè)意義上，當(dāng)執(zhí)行聯(lián)網(wǎng)視覺搜索時(shí)，電力和帶寬消耗兩者都是問題。與聯(lián)網(wǎng)視覺搜索相關(guān)聯(lián)的另一要關(guān)注的問題是等待時(shí)間。通常，特征描述符28經(jīng)界定為已從16個(gè)直方圖導(dǎo)出的128個(gè)元素的向量，這些直方圖中的每一者具有8個(gè)區(qū)間(bin)。特征描述符28的壓縮可減少等待時(shí)間，因?yàn)閭魉洼^少數(shù)據(jù)通常比傳送相對(duì)較多數(shù)據(jù)花費(fèi)更少時(shí)間。雖然壓縮可在發(fā)送特征描述符28的總時(shí)間方面減少等待時(shí)間，但網(wǎng)絡(luò)16在網(wǎng)絡(luò)16將特征描述符28從客戶端裝置12發(fā)射到視覺搜索服務(wù)器14所花費(fèi)的時(shí)間量方面引入了等待時(shí)間。此等待時(shí)間可減少或以其它方式不利地影響用戶體驗(yàn)，尤其是引入大量等待時(shí)間的情況下，例如當(dāng)需要若干特征描述符來肯定地識(shí)別圖像的一個(gè)或一個(gè)以上對(duì)象時(shí)。在一些實(shí)例中，并非通過要求插入額外延遲的額外特征描述符來繼續(xù)執(zhí)行視覺搜索，視覺搜索服務(wù)器14可停止或以其它方式暫停視覺搜索且返回指示所述搜索已失敗的信息數(shù)據(jù)42。根據(jù)本發(fā)明中描述的技術(shù)，客戶端裝置12的特征壓縮單元20執(zhí)行一種形式的特征描述符壓縮，其涉及特征描述符28的連續(xù)可精煉量化。換句話說，并非完整地發(fā)送圖像數(shù)據(jù)26、未經(jīng)壓縮特征描述符28或甚至在給定預(yù)定量化等級(jí)(通常借助于實(shí)驗(yàn)來得到)下量化的特征描述符28，所述技術(shù)產(chǎn)生表示在第一量化等級(jí)下量化的特征描述符28的查詢數(shù)據(jù)30A。此第一量化等級(jí)通常沒有常規(guī)上用以量化例如特征描述符28的特征描述符的給定預(yù)定量化等級(jí)那樣精細(xì)或完整。特征壓縮單元20可隨后以加強(qiáng)查詢數(shù)據(jù)30A的方式確定查詢數(shù)據(jù)30B，使得當(dāng)以查詢數(shù)據(jù)30B更新查詢數(shù)據(jù)30A時(shí)，經(jīng)更新第一查詢數(shù)據(jù)30A表示在第二量化等級(jí)下量化的特征描述符28，所述第二量化等級(jí)實(shí)現(xiàn)比當(dāng)以第一量化等級(jí)量化時(shí)實(shí)現(xiàn)的情況更完整的對(duì)特征描述符28的表示(即，較低量化程度)。在此意義上，特征壓縮單元20可連續(xù)地精煉特征描述符28的量化，因?yàn)榈谝徊樵償?shù)據(jù)30A可產(chǎn)生且隨后以第二查詢數(shù)據(jù)30B連續(xù)更新以實(shí)現(xiàn)對(duì)特征描述符28的更完整的表示?？紤]查詢數(shù)據(jù)30A表示以通常不如用以常規(guī)地量化特征描述符的量化等級(jí)精細(xì)的第一量化等級(jí)量化的特征描述符28，根據(jù)所述技術(shù)得出的查詢數(shù)據(jù)30A可在大小上小于經(jīng)常規(guī)量化的特征描述符，這可減少帶寬消耗，同時(shí)也改善等待時(shí)間。而且，客戶端裝置12可在確定查詢數(shù)據(jù)30B的同時(shí)發(fā)射加強(qiáng)查詢數(shù)據(jù)30B的查詢數(shù)據(jù)30A。視覺搜索服務(wù)器16可隨后接收查詢數(shù)據(jù)30A且還與客戶端裝置12確定查詢數(shù)據(jù)30B同時(shí)地開始視覺搜索。以此方式，由于在確定加強(qiáng)查詢數(shù)據(jù)30A的查詢數(shù)據(jù)30B的同時(shí)執(zhí)行視覺搜索的同時(shí)特征，可大大減少等待時(shí)間。在操作中，客戶端裝置12存儲(chǔ)界定查詢圖像的圖像數(shù)據(jù)26，如上所述。特征提取單元18從界定查詢圖像的特征的圖像數(shù)據(jù)26提取圖像特征描述符28。特征壓縮單元20隨后實(shí)施本發(fā)明中描述的技術(shù)以在第一量化等級(jí)下量化特征描述符28以產(chǎn)生表示以第一量化等級(jí)量化的特征描述符28的第一查詢數(shù)據(jù)30A。第一查詢數(shù)據(jù)30A是以用實(shí)現(xiàn)在由第二查詢數(shù)據(jù)30B更新時(shí)對(duì)第一查詢數(shù)據(jù)30A的連續(xù)加強(qiáng)的方式界定。特征壓縮單元20將此查詢數(shù)據(jù)30A轉(zhuǎn)發(fā)到接口 22，接口 22將查詢數(shù)據(jù)30A發(fā)射到視覺搜索服務(wù)器14。視覺搜索服務(wù)器14的接口 32接收查詢數(shù)據(jù)30A，借此視覺搜索服務(wù)器14調(diào)用特征重構(gòu)單元34來重構(gòu)特征描述符28。特征重構(gòu)單元34隨后輸出經(jīng)重構(gòu)特征描述符40A。特征匹配單元36隨后基于經(jīng)重構(gòu)特征描述符40A通過存取特征描述符數(shù)據(jù)庫38來執(zhí)行視覺搜索。與特征匹配單元36使用經(jīng)重構(gòu)特征描述符40A執(zhí)行視覺搜索同時(shí)，特征壓縮單元20確定加強(qiáng)第一查詢數(shù)據(jù)30A的第二查詢數(shù)據(jù)30B，使得當(dāng)以第二查詢數(shù)據(jù)30B更新第一查詢數(shù)據(jù)30A時(shí)，經(jīng)更新第一查詢數(shù)據(jù)30A表示以第二量化等級(jí)量化的特征描述符28。又，此第二量化等級(jí)實(shí)現(xiàn)比當(dāng)以第一量化等級(jí)量化時(shí)實(shí)現(xiàn)的情況更精細(xì)或更完整的對(duì)特征描述符28的表示。特征壓縮單元20隨后將查詢數(shù)據(jù)30B輸出到接口 22，接口 22將第二查詢數(shù)據(jù)30B經(jīng)由網(wǎng)絡(luò)16發(fā)射到視覺搜索服務(wù)器14以連續(xù)精煉第一查詢數(shù)據(jù)30A。視覺搜索服務(wù)器14的接口 32接收第二查詢數(shù)據(jù)30B，然后視覺搜索服務(wù)器14調(diào)用特征重構(gòu)單元34。特征重構(gòu)單元34可隨后通過以第二查詢數(shù)據(jù)30B更新第一查詢數(shù)據(jù)30A以產(chǎn)生經(jīng)重構(gòu)特征描述符40B (又可稱為“經(jīng)更新查詢數(shù)據(jù)40B”，因?yàn)榇藬?shù)據(jù)涉及用以執(zhí)行視覺搜索或查詢的視覺搜索或查詢數(shù)據(jù))而以較精細(xì)等級(jí)重構(gòu)特征描述符28。特征匹配單元36可隨后使用經(jīng)更新查詢數(shù)據(jù)40B而非查詢數(shù)據(jù)40A來重新起始視覺搜索。雖然圖1的實(shí)例中未圖示，但使用越來越精細(xì)的量化等級(jí)連續(xù)精煉特征描述符28且隨后重新起始視覺搜索的此過程可繼續(xù)，直到特征匹配單元36肯定地識(shí)別從圖像數(shù)據(jù)26提取的一個(gè)或一個(gè)以上對(duì)象和特征、確定此特征或?qū)ο鬅o法識(shí)別或以其它方式到達(dá)可終止視覺搜索過程的消耗電力、等待時(shí)間或其它閾值為止。舉例來說，客戶端裝置12可例如通過將當(dāng)前確定的電力量與電力閾值進(jìn)行比較來確定其具有足夠電力來再次精煉特征描述符28。響應(yīng)于此確定，客戶端裝置12可調(diào)用特征壓縮單元20以與此重新起始的視覺搜索同時(shí)地確定加強(qiáng)第二查詢數(shù)據(jù)30B的第三查詢數(shù)據(jù)，使得當(dāng)以此第三查詢數(shù)據(jù)更新查詢數(shù)據(jù)40B時(shí)，此經(jīng)更新第二查詢數(shù)據(jù)產(chǎn)生已以比第二量化等級(jí)甚至更精細(xì)的第三量化等級(jí)量化的經(jīng)重構(gòu)特征描述符。視覺搜索服務(wù)器14可接收此第三查詢數(shù)據(jù)且相對(duì)于此相同但以第三量化等級(jí)量化的特征描述符重新起始視覺搜索。因此，不同于基于第一組特征描述符且隨后基于連續(xù)不同特征描述符(因?yàn)槠渫ǔ２煌诘谝惶卣髅枋龇蚴菑耐耆煌瑘D像提取且因此描述完全不同圖像)執(zhí)行視覺搜索的常規(guī)系統(tǒng)，本發(fā)明中描述的技術(shù)起始針對(duì)以第一量化等級(jí)量化的特征描述符的視覺搜索，且隨后重新起始針對(duì)相同但以第二不同且通常更精細(xì)或更完整的量化等級(jí)量化的特征描述符的視覺搜索。此過程可如上論述基于反復(fù)而繼續(xù)，使得相同特征描述符的連續(xù)版本以連續(xù)變小的程度量化，即從粗略特征描述符數(shù)據(jù)到較精細(xì)特征描述符數(shù)據(jù)。通過在一些實(shí)例中以足夠細(xì)節(jié)發(fā)射查詢數(shù)據(jù)30A以起始視覺搜索，同時(shí)確定實(shí)現(xiàn)視覺搜索的重新起始(但是相對(duì)于比第一查詢數(shù)據(jù)40A更精細(xì)或更完整量化的查詢數(shù)據(jù)40B)的第二查詢數(shù)據(jù)30B，考慮到視覺搜索是與量化同時(shí)執(zhí)行，所述技術(shù)可改善等待時(shí)間。在一些實(shí)例中，所述技術(shù)可在僅將粗略量化的第一查詢數(shù)據(jù)提供到視覺搜索服務(wù)器之后終止，假定視覺搜索服務(wù)器能夠在某個(gè)可接受程度上基于此粗略量化的第一查詢數(shù)據(jù)識(shí)別特征。在此實(shí)例中，客戶端裝置無需連續(xù)量化特征描述符以提供界定足夠數(shù)據(jù)以使視覺搜索服務(wù)器能夠以第二更精細(xì)量化程度重構(gòu)特征描述符的第二查詢數(shù)據(jù)。以此方式，所述技術(shù)可相比于常規(guī)技術(shù)改善等待時(shí)間，因?yàn)樗黾夹g(shù)提供較粗略量化的特征描述符，其可比常規(guī)系統(tǒng)中通常的較精細(xì)量化的特征描述符需要更少的時(shí)間來確定。因此，視覺搜索服務(wù)器可相比于常規(guī)系統(tǒng)更快地識(shí)別特征。而且，查詢數(shù)據(jù)30B并不重復(fù)來自查詢數(shù)據(jù)30A的任何數(shù)據(jù)，所述數(shù)據(jù)隨后用作執(zhí)行視覺搜索的基礎(chǔ)。換句話說，查詢數(shù)據(jù)30B加強(qiáng)查詢數(shù)據(jù)30A且不代替查詢數(shù)據(jù)30A的任何部分。在此方面中，所述技術(shù)可不會(huì)比發(fā)送常規(guī)量化的特征描述符28消耗網(wǎng)絡(luò)16中的更多帶寬(假定所述技術(shù)采用的第二量化等級(jí)大約等于常規(guī)上采用的量化等級(jí))。帶寬消耗的僅有增加的發(fā)生是因?yàn)椴樵償?shù)據(jù)30A、30B兩者需要包標(biāo)頭來遍歷網(wǎng)絡(luò)12并且需要其它非實(shí)質(zhì)量的元數(shù)據(jù)，這常規(guī)上不需要，因?yàn)槿我唤o定特征描述符僅被量化和發(fā)送一次。又，此帶寬增加與通過應(yīng)用本發(fā)明中描述的技術(shù)實(shí)現(xiàn)的等待時(shí)間減少相比通常是微小的。圖2是更詳細(xì)說明圖1的特征壓縮單元20的框圖。如圖2的實(shí)例中所示，特征壓縮單元20包含可精煉晶格量化單元50和索引映射單元52。可精煉晶格量化單元50表示實(shí)施本發(fā)明中描述的技術(shù)以提供特征描述符的連續(xù)精煉的單元?？删珶捑Ц窳炕瘑卧?0除了實(shí)施本發(fā)明中描述的技術(shù)之外還執(zhí)行確定上文所述的類型的一種形式的晶格量化。當(dāng)執(zhí)行晶格量化時(shí)，可精煉晶格量化單元50首先基于基本量化等級(jí)54 (可在數(shù)學(xué)上稱為η)和特征描述符28計(jì)算晶格點(diǎn)k' 1； , k/ m?？删珶捑Ц窳炕瘑卧?0隨后對(duì)這些點(diǎn)進(jìn)行求和以確定Y且將η與η進(jìn)行比較。如果n'等于n，則可精煉晶格量化單元50將Iii(其中i = I,...，m)設(shè)定為k' i。如果n'不等于η,那么可精煉晶格量化單元50將誤差計(jì)算為k' 1、n和特征描述符28的函數(shù)且隨后對(duì)這些誤差進(jìn)行分類。可精煉晶格量化單元50隨后確定n'減η是否大于O。如果n'減η大于O,那么可精煉晶格量化單元50將具有最大誤差的那些k' i值遞減I。如果n'減η大于0，那么可精煉晶格量化單元50將具有最小誤差的那些k, i值遞增I。如果以此方式遞增或遞減，則可精煉晶格量化單元50將Iii設(shè)定為經(jīng)調(diào)整k' i值?？删珶捑Ц窳炕瘑卧?0隨后將這些Iii值作為類型56輸出到索引映射單元52。

索引映射單元52表示將 類型56唯一地映射到索引的單元。索引映射單元52可在數(shù)學(xué)上將此索引計(jì)算為識(shí)別針對(duì)具有與確定類型56的維度相同的維度的特征描述符計(jì)算的所有可能類型的詞典排列(又以直方圖的形式表達(dá)為概率分布)中的類型56的索引。索引映射單元52可計(jì)算類型56的此索引且輸出此索引作為查詢數(shù)據(jù)30A。在操作中，可精煉晶格量化單元50接收特征描述符28且計(jì)算具有k1;...，km參數(shù)的類型56?？删珶捑Ц窳炕瘑卧?0隨后將類型56輸出到索引映射單元52。索引映射單元52將類型56映射到唯一地識(shí)別具有維度m的特征描述符可能的所有類型的集合中的類型56的索引。索引映射單元52隨后輸出此索引作為查詢數(shù)據(jù)30A。此索引可視為表示位于在概率分布上均勻界定的Voronoi單元的中心的重構(gòu)點(diǎn)的晶格，如關(guān)于圖9A、9B更詳細(xì)展示和描述。如上所述，視覺搜索服務(wù)器14接收查詢數(shù)據(jù)30A、確定經(jīng)重構(gòu)特征描述符40A且基于經(jīng)重構(gòu)特征描述符40A執(zhí)行視覺搜索。雖然關(guān)于Voronoi單元來描述，但所述技術(shù)可關(guān)于能夠促進(jìn)空間的分段以實(shí)現(xiàn)索引映射的類似分類的任一其它類型的均勻或不均勻單元來實(shí)施。通常，雖然查詢數(shù)據(jù)30A在客戶端與服務(wù)器14之間通行和/或雖然視覺搜索服務(wù)器14確定經(jīng)重構(gòu)特征描述符40A和/或基于經(jīng)重構(gòu)特征描述符40A執(zhí)行視覺搜索，但可精煉晶格量化單元50實(shí)施本發(fā)明中描述的技術(shù)以用一方式確定查詢數(shù)據(jù)30B，以使得當(dāng)由查詢數(shù)據(jù)30B加強(qiáng)查詢數(shù)據(jù)30A時(shí)，經(jīng)加強(qiáng)或經(jīng)更新查詢數(shù)據(jù)30A表示以比基本或第一量化等級(jí)更精細(xì)的量化等級(jí)量化的特征描述符28。可精煉晶格量化單元50將查詢數(shù)據(jù)30B確定為一個(gè)或一個(gè)以上偏移向量，其識(shí)別從重構(gòu)點(diǎn)的偏移ql，...，qm，它們是類型參數(shù)k1;...，
km的函數(shù)(即，￠= KkM )。
L η η _可精煉晶格量化單元50以兩種方式中的一種確定查詢數(shù)據(jù)30Β。以第一方式，可精煉晶格量化單元50通過用查詢數(shù)據(jù)30Α將用以表示特征描述符28的重構(gòu)點(diǎn)的數(shù)目加倍來確定查詢數(shù)據(jù)30Β。在此方面中，第二量化等級(jí)可視為第一或基本量化等級(jí)54的兩倍。關(guān)于圖9Α的實(shí)例中所不的實(shí)例晶格,這些偏移向量可將額外重構(gòu)點(diǎn)識(shí)別為每一 Voronoi單元的面的中心。如下文更詳細(xì)描述，雖然將重構(gòu)點(diǎn)的數(shù)目加倍且進(jìn)而以較大粒度界定特征描述符28，但連續(xù)量化特征描述符28的此第一方式可需要界定基本量化等級(jí)54以使得其充分大于在此實(shí)例中表達(dá)為直方圖的概率分布的維度(即，η界定為大于m)以避免與僅以第二較高量化等級(jí)發(fā)送重構(gòu)點(diǎn)的晶格相比在發(fā)送這些向量所需的位數(shù)目方面引起過多開銷(且進(jìn)而過多帶寬消耗)。雖然在大多數(shù)或至少一些實(shí)例中，基本量化等級(jí)54可界定為大于概率分布(或在此實(shí)例中為直方圖)的維度，但在一些實(shí)例中，基本量化等級(jí)54無法界定為充分大于概率分布的維度。在這些實(shí)例中，可精煉晶格量化單元50可替代地根據(jù)使用雙晶格的第二方式來計(jì)算偏移向量。也就是說，并非將由查詢數(shù)據(jù)30A界定的重構(gòu)點(diǎn)的數(shù)目加倍，可精煉晶格量化單元50借助于由索引映射單元52映射的索引來確定偏移向量以便填充表達(dá)為查詢數(shù)據(jù)30A的重構(gòu)點(diǎn)晶格中的 空穴。又，關(guān)于圖9B的實(shí)例更詳細(xì)展示和描述此加強(qiáng)?？紤]這些偏移向量界定落在Voronoi單元的相交點(diǎn)或頂點(diǎn)處的重構(gòu)點(diǎn)的額外晶格，表達(dá)為查詢數(shù)據(jù)30B的這些偏移向量可視為除了由查詢數(shù)據(jù)30A表達(dá)的重構(gòu)點(diǎn)晶格之外還界定重構(gòu)點(diǎn)的又一晶格；因此，這引起此第二方式采用雙晶格的特征化。雖然連續(xù)精煉特征描述符28的量化等級(jí)的此第二方式不需要基本量化等級(jí)54界定為大體上大于下伏概率分布的維度，但此第二方式在計(jì)算偏移向量所需的操作數(shù)目方面可能較復(fù)雜?？紤]到執(zhí)行額外操作可增加電力消耗，在一些實(shí)例中，可僅在可獲得足夠電力時(shí)使用連續(xù)精煉特征描述符28的量化的此第二方式。電力充足性可相對(duì)于用戶界定的、應(yīng)用界定的或靜態(tài)界定的電力閾值來確定，使得可精煉晶格量化單元50僅在當(dāng)前電力超過此閾值時(shí)采用此第二方式。在其它實(shí)例中，可精煉晶格量化單元50可總是采用此第二方式來避免在基本量化等級(jí)無法界定為與概率分布的維度相比充分足夠大的那些實(shí)例中引入開銷?；蛘撸删珶捑Ц窳炕瘑卧?0可總是采用第一方式來避免與第二方式相關(guān)聯(lián)的實(shí)施方案復(fù)雜性和所得電力消耗。圖3是更詳細(xì)說明圖1的特征重構(gòu)單元34的框圖。如圖3的實(shí)例中所示，特征重構(gòu)單元34包含類型映射單元60、特征恢復(fù)單元62和特征加強(qiáng)單元64。類型映射單元60表示執(zhí)行索引映射單元52的逆過程以將查詢數(shù)據(jù)30A的索引映射回到類型56的單元。特征恢復(fù)單元62表示基于類型56恢復(fù)特征描述符28以輸出經(jīng)重構(gòu)特征描述符40A的單元。特征恢復(fù)單元62在將特征描述符28精簡到類型56時(shí)執(zhí)行上文關(guān)于可精煉晶格量化單元50描述的操作的逆操作。特征加強(qiáng)單元64表示接收查詢數(shù)據(jù)30B的偏移向量且通過基于偏移向量將重構(gòu)添加到由類型56界定的重構(gòu)點(diǎn)晶格而加強(qiáng)類型56的單元。特征加強(qiáng)單元64將查詢數(shù)據(jù)30B的偏移向量應(yīng)用于由類型56界定的重構(gòu)點(diǎn)晶格以確定額外重構(gòu)點(diǎn)。特征加強(qiáng)單元64隨后以這些確定的額外重構(gòu)點(diǎn)更新類型56，將經(jīng)更新類型58輸出到特征恢復(fù)單元62。特征恢復(fù)單元62隨后從經(jīng)更新類型58恢復(fù)特征描述符28以輸出經(jīng)重構(gòu)特征描述符40B。圖4是說明視覺搜索客戶端裝置(例如圖1的實(shí)例中所示的客戶端裝置12)在實(shí)施本發(fā)明中描述的連續(xù)可精煉量化技術(shù)時(shí)的示范性操作的流程圖。雖然關(guān)于特定裝置(即，客戶端裝置12)來描述，但所述技術(shù)可由能夠關(guān)于概率分布執(zhí)行數(shù)學(xué)運(yùn)算的任一裝置實(shí)施，以便減少此概率分布的另外使用中的等待時(shí)間，例如針對(duì)執(zhí)行視覺搜索。另外，雖然在視覺搜索的情境中描述，但所述技術(shù)可在其它情境中實(shí)施以促進(jìn)概率分布的連續(xù)精煉。起初，客戶端裝置12可存儲(chǔ)圖像數(shù)據(jù)26?？蛻舳搜b置12可包含用以俘獲圖像數(shù)據(jù)26的俘獲裝置，例如照相機(jī)或攝像機(jī)?；蛘撸蛻舳搜b置12可下載或以其它方式接收?qǐng)D像數(shù)據(jù)26。客戶端裝置12的用戶或其它操作者可與由客戶端裝置12提供的用戶接口(但為了容易說明而在圖1的實(shí)例中未圖示)交互以起始相對(duì)于圖像數(shù)據(jù)26的視覺搜索。此用戶接口可包括圖形用戶接口(GUI)、命令行接口(CLI)或用于與裝置的用戶或操作者介接而采用的任一其它類型的用戶接口。響應(yīng)于視覺搜索的起始，客戶端裝置12調(diào)用特征提取單元18。一旦被調(diào)用，則特征提取單元18以本發(fā)明中描述的方式從圖像數(shù)據(jù)26提取特征描述符28 (70)。特征提取單元18將特征描述符28轉(zhuǎn)發(fā)到特征壓縮單元20。在圖2A的實(shí)例中更詳細(xì)展示的特征壓縮單元20調(diào)用可精煉晶格量化單元50。可精煉晶格量化單元50通過以基本量化等級(jí)54量化特征描述符28來將特征描述符28精簡到類型56。如上所述，此特征描述符28表示梯度直方圖，其為較一般的概率分布的特定實(shí)例。特征描述符28可在數(shù)學(xué)上表示為變量p。特征壓縮單元20執(zhí)行一種形式的類型晶格量化以確定經(jīng)提取特征描述符28的類型(72)。此類型可表示在數(shù)學(xué)上由變量Q表示的一可再生分布集合中的重構(gòu)點(diǎn)或中心集合，其中Q可視為在離散事件集合(A)上的概率分布集合(Qni)的子集。又，變量m指代概率分布的維度。Q可視為重構(gòu)點(diǎn)晶格。變量Q可用變量η修改以得到Qn，其表示具有參數(shù)η的晶格，參數(shù)η界定所述晶格中的點(diǎn)密度(在某種程度上可視為量化等級(jí))?？赏ㄟ^以下等式⑴在數(shù)學(xué)上界定Qn:
權(quán)利要求
1.一種用于在網(wǎng)絡(luò)系統(tǒng)中執(zhí)行視覺搜索的方法，其中客戶端裝置將查詢數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)發(fā)射到視覺搜索裝置，所述方法包括: 用所述客戶端裝置從查詢圖像提取一組圖像特征描述符，其中所述圖像特征描述符界定所述查詢圖像的至少一個(gè)特征； 用所述客戶端裝置以第一量化等級(jí)量化所述組圖像特征描述符以產(chǎn)生表示以所述第一量化等級(jí)量化的所述組圖像特征描述符的第一查詢數(shù)據(jù)；用所述客戶端裝置將所述第一查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置；用所述客戶端裝置確定加強(qiáng)所述第一查詢數(shù)據(jù)的第二查詢數(shù)據(jù)，使得當(dāng)以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)時(shí)，所述經(jīng)更新第一查詢數(shù)據(jù)表示以第二量化等級(jí)量化的所述組圖像特征描述符，其中所述第二量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第一量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形更準(zhǔn)確的對(duì)所述組圖像特征描述符的表示；以及 用所述客戶端裝置將所述第二查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置以精煉所述第一查詢數(shù)據(jù)。
2.根據(jù)權(quán)利要 求1所述的方法，其中發(fā)射所述第二查詢數(shù)據(jù)包括與所述視覺搜索裝置使用表示以所述第一量化等級(jí)量化的所述圖像特征描述符的所述第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索同時(shí)地發(fā)射所述第二查詢數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的方法， 其中以第一量化等級(jí)量化所述圖像特征描述符包含確定重構(gòu)點(diǎn)以使得所述重構(gòu)點(diǎn)各自位于針對(duì)所述圖像特征描述符界定的VOTonoi單元中的不同者的中心，其中所述Voronoi單元包含若干面,所述面界定所述Voronoi單元與所述面中的兩者或兩者以上相交的頂點(diǎn)之間的邊界， 其中確定第二查詢數(shù)據(jù)包含: 確定額外重構(gòu)點(diǎn)以使得所述額外重構(gòu)點(diǎn)各自位于所述面中的每一者的中心； 將所述額外重構(gòu)點(diǎn)指定為從先前確定的重構(gòu)點(diǎn)中的每一者的偏移向量；以及 產(chǎn)生所述第二查詢數(shù)據(jù)以包含所述偏移向量。
4.根據(jù)權(quán)利要求1所述的方法， 其中以第一量化等級(jí)量化所述圖像特征描述符包含確定重構(gòu)點(diǎn)以使得所述重構(gòu)點(diǎn)各自位于針對(duì)所述圖像特征描述符界定的Voronoi單元中的不同者的中心，其中所述Voronoi單元包含若干面,所述面界定所述Voronoi單元與所述面中的兩者或兩者以上相交的頂點(diǎn)之間的邊界， 其中確定第二查詢數(shù)據(jù)包含: 確定額外重構(gòu)點(diǎn)以使得所述額外重構(gòu)點(diǎn)各自位于所述Voronoi單元的所述頂點(diǎn)； 將所述額外重構(gòu)點(diǎn)指定為從所述先前確定的重構(gòu)點(diǎn)中的每一者的偏移向量； 產(chǎn)生所述第二查詢數(shù)據(jù)以包含所述偏移向量。
5.根據(jù)權(quán)利要求1所述的方法， 其中所述圖像特征描述符中的每一者包括圍繞所述圖像中的特征位置取樣的梯度直方圖， 其中以第一量化等級(jí)量化所述圖像特征描述符包含: 確定所述梯度直方圖的最近類型，其中所述類型是具有給定公分母的一組有理數(shù)，且其中所述組有理數(shù)的總和等于I;以及 將所述確定的類型映射到相對(duì)于具有所述給定公分母的所有可能類型唯一地識(shí)別所述確定的類型的詞典排列的索引，且 其中所述第一查詢數(shù)據(jù)包含所述類型索引。
6.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括: 在發(fā)射所述第二查詢數(shù)據(jù)之前，從所述視覺搜索裝置接收作為在由所述視覺搜索裝置維持的數(shù)據(jù)庫中的搜索的結(jié)果而獲得的識(shí)別數(shù)據(jù)； 在不發(fā)送所述第二查詢數(shù)據(jù)的情況下終止所述視覺搜索；以及 在視覺搜索應(yīng)用中使用所述識(shí)別數(shù)據(jù)。
7.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括: 確定進(jìn)一步加強(qiáng)所述第一和第二查詢數(shù)據(jù)的第三查詢數(shù)據(jù)，使得當(dāng)以所述第三查詢數(shù)據(jù)更新在由所述第二查詢數(shù)據(jù)加強(qiáng)之后的所述第一查詢數(shù)據(jù)時(shí)，所述連續(xù)經(jīng)更新第一查詢數(shù)據(jù)表示以第三量化等級(jí)量化的所述圖像特征描述符，其中所述第三量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第二量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形甚至更準(zhǔn)確的對(duì)所述圖像特征描述符數(shù)據(jù)的表示；以及 將所述第三查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置以連續(xù)精煉在由所述第二查詢數(shù)據(jù)加強(qiáng)之后的所述第一查詢數(shù)據(jù)。
8.一種用于在網(wǎng)絡(luò)系統(tǒng)中執(zhí)行視覺搜索的方法，其中客戶端裝置將查詢數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)發(fā)射到視覺搜索裝置，所述方法包括: 用所述視覺搜索裝置使用第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索，其中所述第一查詢數(shù)據(jù)表示從圖像提取且通過以第一量化等級(jí)量化而壓縮的一組圖像特征描述符； 用所述視覺搜索裝置經(jīng)由所述網(wǎng)絡(luò)從所述客戶端裝置接收第二查詢數(shù)據(jù)，其中所述第二查詢數(shù)據(jù)加強(qiáng)所述第一數(shù)據(jù)，使得當(dāng)以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)時(shí)，所述經(jīng)更新第一查詢數(shù)據(jù)表示以第二量化等級(jí)量化的所述組圖像特征描述符，其中所述第二量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第一量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形更準(zhǔn)確的對(duì)所述圖像特征描述符的表示； 用所述視覺搜索裝置以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)以產(chǎn)生表示以所述第二量化等級(jí)量化的所述圖像特征描述符的經(jīng)更新第一查詢數(shù)據(jù)；以及用所述視覺搜索裝置使用所述經(jīng)更新第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索。
9.根據(jù)權(quán)利要求8所述的方法，其中使用所述第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索包括與將所述第二查詢數(shù)據(jù)從所述客戶端裝置經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置同時(shí)地使用所述第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索。
10.根據(jù)權(quán)利要求8所述的方法， 其中所述第一查詢數(shù)據(jù)界定重構(gòu)點(diǎn)以使得所述重構(gòu)點(diǎn)各自位于針對(duì)所述圖像特征描述符界定的Voronoi單元中的不同者的中心,其中所述Voronoi單元包含若干面,所述面界定所述Voronoi單元與所述面中的兩者或兩者以上相交的頂點(diǎn)之間的邊界， 其中所述第二查詢數(shù)據(jù)包含指定額外重構(gòu)點(diǎn)相對(duì)于先前界定的重構(gòu)點(diǎn)中的每一者的位置的偏移向量，其中所述額外重構(gòu)點(diǎn)各自位于所述面中的每一者的中心，且其中以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)以產(chǎn)生所述經(jīng)更新第一查詢數(shù)據(jù)包含基于所述偏移向量將所述額外重構(gòu)點(diǎn)添加到所述先前界定的重構(gòu)點(diǎn)。
11.根據(jù)權(quán)利要求8所述的方法， 其中所述第一查詢數(shù)據(jù)界定重構(gòu)點(diǎn)以使得所述重構(gòu)點(diǎn)各自位于針對(duì)所述圖像特征描述符界定的Voronoi單元中的不同者的中心,其中所述Voronoi單元包含若干面,所述面界定所述Voronoi單元與所述面中的兩者或兩者以上相交的頂點(diǎn)之間的邊界， 其中所述第二查詢數(shù)據(jù)包含指定額外重構(gòu)點(diǎn)相對(duì)于先前界定的重構(gòu)點(diǎn)中的每一者的位置的偏移向量，其中所述額外重構(gòu)點(diǎn)各自位于所述Voronoi單元的所述頂點(diǎn)，且 其中以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)以產(chǎn)生所述經(jīng)更新第一查詢數(shù)據(jù)包含基于所述偏移向量將所述額外重構(gòu)點(diǎn)添加到所述先前界定的重構(gòu)點(diǎn)。
12.根據(jù)權(quán)利要求8所述的方法， 其中所述圖像特征描述符中的每一者包括圍繞所述圖像中的特征位置取樣的梯度直方圖， 其中所述第一查詢數(shù)據(jù)包含類型索引，其中所述類型索引唯一地識(shí)別具有給定公分母的若干類型的詞典排列中的一類型，其中所述類型中的每一者包括具有所述給定公分母的一組有理數(shù)，且其中每一類型的所述組有理數(shù)總和為1， 其中所述方法進(jìn)一步包 括: 將所述類型索引映射到所述類型；以及 從所述類型重構(gòu)所述梯度直方圖，且 其中使用所述第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索包含使用所述經(jīng)重構(gòu)梯度直方圖執(zhí)行所述視覺搜索。
13.根據(jù)權(quán)利要求12所述的方法，其中更新所述第一查詢數(shù)據(jù)包括: 以所述第二查詢數(shù)據(jù)更新所述類型以產(chǎn)生經(jīng)更新類型；以及 基于所述經(jīng)更新類型以所述第二量化等級(jí)重構(gòu)所述圖像特征描述符。
14.根據(jù)權(quán)利要求8所述的方法，其進(jìn)一步包括: 在接收所述第二查詢數(shù)據(jù)之前，使用所述第一查詢數(shù)據(jù)確定作為在由所述視覺搜索裝置維持的數(shù)據(jù)庫中執(zhí)行所述視覺搜索的結(jié)果的識(shí)別數(shù)據(jù)；以及 在接收所述第二查詢數(shù)據(jù)之前發(fā)射所述識(shí)別數(shù)據(jù)以有效地終止所述視覺搜索。
15.根據(jù)權(quán)利要求8所述的方法，其進(jìn)一步包括: 接收進(jìn)一步加強(qiáng)所述第一和第二查詢數(shù)據(jù)的第三查詢數(shù)據(jù)，使得當(dāng)以所述第三查詢數(shù)據(jù)更新在由所述第二查詢數(shù)據(jù)加強(qiáng)之后的所述第一查詢數(shù)據(jù)時(shí)，所述連續(xù)經(jīng)更新第一查詢數(shù)據(jù)表示以第三量化等級(jí)量化的所述圖像特征描述符，其中所述第三量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第二量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形更準(zhǔn)確的對(duì)所述圖像特征描述符數(shù)據(jù)的表示； 以所述第三查詢數(shù)據(jù)更新所述經(jīng)更新第一查詢數(shù)據(jù)以產(chǎn)生表示以所述第三量化等級(jí)量化的所述圖像特征描述符的經(jīng)二次更新第一查詢數(shù)據(jù)；以及使用所述經(jīng)二次更新第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索。
16.一種客戶端裝置，其將查詢數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)發(fā)射到視覺搜索裝置以便執(zhí)行視覺搜索，所述客戶端裝置包括: 存儲(chǔ)器，其存儲(chǔ)界定圖像的數(shù)據(jù)；特征提取單元，其從所述圖像提取一組圖像特征描述符，其中所述圖像特征描述符界定所述圖像的至少一個(gè)特征； 特征壓縮單元，其以第一量化等級(jí)量化所述圖像特征描述符以產(chǎn)生表示以所述第一量化等級(jí)量化的所述圖像特征描述符的第一查詢數(shù)據(jù)；以及 接口，其將所述第一查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置， 其中所述特征壓縮單元確定加強(qiáng)所述第一查詢數(shù)據(jù)的第二查詢數(shù)據(jù)，使得當(dāng)以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)時(shí)，所述經(jīng)更新第一查詢數(shù)據(jù)表示以第二量化等級(jí)量化的所述圖像特征描述符，其中所述第二量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第一量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形更準(zhǔn)確的對(duì)所述圖像特征描述符的表示，且 其中所述接口將所述第二查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置以連續(xù)精煉所述第一查詢數(shù)據(jù)。
17.根據(jù)權(quán)利要求16所述的客戶端裝置，其中所述接口與所述視覺搜索裝置使用表示以所述第一量化等級(jí)量化的所述圖像特征描述符的所述第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索同時(shí)地發(fā)射所述第二查詢數(shù)據(jù)。
18.根據(jù)權(quán)利要求16所述的客戶端裝置， 其中所述特征壓縮單元確定重構(gòu)點(diǎn)以使得所述重構(gòu)點(diǎn)各自位于針對(duì)所述圖像特征描述符界定的Voronoi單元中的不同者的中心,其中所述Voronoi單元包含若干面,所述面界定所述Voronoi單元與所述面中的兩者或兩者以上相交的頂點(diǎn)之間的邊界，且 其中所述特征壓縮單元確定額外重構(gòu)點(diǎn)以使得所述額外重構(gòu)點(diǎn)各自位于所述面中的每一者的中心，將所述額外重構(gòu)點(diǎn)指定為從先前確定的重構(gòu)點(diǎn)中的每一者的偏移向量，且產(chǎn)生所述第二查詢數(shù)據(jù)以包含所述偏移向量。
19.根據(jù)權(quán)利要求16所述的客戶端裝置， 其中所述特征壓縮單元確定重構(gòu)點(diǎn)以使得所述重構(gòu)點(diǎn)各自位于針對(duì)所述圖像特征描述符界定的Voronoi單元中的不同者的中心,其中所述Voronoi單元包含若干面,所述面界定所述Voronoi單元與所述面中的兩者或兩者以上相交的頂點(diǎn)之間的邊界，且 其中所述特征壓縮單元進(jìn)一步確定額外重構(gòu)點(diǎn)以使得所述額外重構(gòu)點(diǎn)各自位于所述Voronoi單元的所述頂點(diǎn),將所述額外重構(gòu)點(diǎn)指定為從所述先前確定的重構(gòu)點(diǎn)中的每一者的偏移向量，且產(chǎn)生所述第二查詢數(shù)據(jù)以包含所述偏移向量。
20.根據(jù)權(quán)利要求16所述的客戶端裝置， 其中所述圖像特征描述符中的每一者包括圍繞所述圖像中的特征位置取樣的梯度直方圖， 其中所述特征壓縮單元進(jìn)一步確定所述梯度直方圖的最近類型，其中所述類型是具有給定公分母的一組有理數(shù)，且其中所述組有理數(shù)的總和等于1，且將所述確定的類型映射到相對(duì)于具有所述給定公分母的所有可能類型唯一地識(shí)別所述確定的類型的詞典排列的類型索引，且 其中所述第一查詢數(shù)據(jù)包含所述類型索引。
21.根據(jù)權(quán)利要求16所述的客戶端裝置， 其中所述接口在發(fā)射所述第二查詢數(shù)據(jù)之前，從所述視覺搜索裝置接收作為在由所述視覺搜索裝置維持的數(shù)據(jù)庫中的搜索的結(jié)果而獲得的識(shí)別數(shù)據(jù)，其中所述客戶端裝置響應(yīng)于接收到所述識(shí)別數(shù)據(jù)而在不發(fā)送所述第二查詢數(shù)據(jù)的情況下終止所述視覺搜索，且 其中所述客戶端裝置包含使用所述識(shí)別數(shù)據(jù)執(zhí)行視覺搜索應(yīng)用的處理器。
22.根據(jù)權(quán)利要求16所述的客戶端裝置， 其中所述特征壓縮單元確定進(jìn)一步加強(qiáng)所述第一和第二查詢數(shù)據(jù)的第三查詢數(shù)據(jù)，使得當(dāng)以所述第三查詢數(shù)據(jù)更新在由所述第二查詢數(shù)據(jù)加強(qiáng)之后的所述第一查詢數(shù)據(jù)時(shí)，所述連續(xù)經(jīng)更新第一查詢數(shù)據(jù)表示以第三量化等級(jí)量化的所述圖像特征描述符，其中所述第三量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第二量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形甚至更準(zhǔn)確的對(duì)所述圖像特征描述符數(shù)據(jù)的表示，且 其中所述接口將所述第三查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置以連續(xù)精煉在由所述第二查詢數(shù)據(jù)加強(qiáng)之后的所述第一查詢數(shù)據(jù)。
23.一種用于在網(wǎng)絡(luò)系統(tǒng)中執(zhí)行視覺搜索的視覺搜索裝置，其中客戶端裝置將查詢數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置，所述視覺搜索裝置包括: 接口，其經(jīng)由所述網(wǎng)絡(luò)從所述客戶端裝置接收第一查詢數(shù)據(jù)，其中所述第一查詢數(shù)據(jù)表示從圖像提取且通過以第一量化等級(jí)量化而壓縮的一組圖像特征描述符；以及 特征匹配單元，其使用所述第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索， 其中所述接口進(jìn)一步經(jīng)由所述網(wǎng)絡(luò)從所述客戶端裝置接收第二查詢數(shù)據(jù)，其中所述第二查詢數(shù)據(jù)加強(qiáng)所述第一數(shù)據(jù)，使得當(dāng)以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)時(shí)，所述經(jīng)更新第一查詢數(shù)據(jù)表示以第二量化等級(jí)量化的所述圖像特征描述符，其中所述第二量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第一量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形更準(zhǔn)確的對(duì)所述圖像特征描述符的表示；以及 特征重構(gòu)單元，其以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)以產(chǎn)生表示以第二量化等級(jí)量化的所述圖像特征描述符的經(jīng)更新第一查詢數(shù)據(jù)， 其中所述特征匹配單元使用所述經(jīng)更新第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索。
24.根據(jù)權(quán)利要求23所述的視覺搜索裝置，其中所述特征匹配單元與將所述第二查詢數(shù)據(jù)從所述客戶端裝置經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置同時(shí)地使用所述第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索。
25.根據(jù)權(quán)利要求23所述的視覺搜索裝置， 其中所述第一查詢數(shù)據(jù)界定重構(gòu)點(diǎn)以使得所述重構(gòu)點(diǎn)各自位于針對(duì)所述圖像特征描述符界定的Voronoi單元中的不同者的中心,其中所述Voronoi單元包含若干面,所述面界定所述Voronoi單元與所述面中的兩者或兩者以上相交的頂點(diǎn)之間的邊界， 其中所述第二查詢數(shù)據(jù)包含指定額外重構(gòu)點(diǎn)相對(duì)于先前界定的重構(gòu)點(diǎn)中的每一者的位置的偏移向量，其中所述額外重構(gòu)點(diǎn)各自位于所述面中的每一者的中心，且 其中所述特征重構(gòu)單元基于所述偏移向量將所述額外重構(gòu)點(diǎn)添加到所述先前界定的重構(gòu)點(diǎn)。
26.根據(jù)權(quán)利要求23所述的視覺搜索裝置， 其中所述第一查詢數(shù)據(jù)界定重構(gòu)點(diǎn)以使得所述重構(gòu)點(diǎn)各自位于針對(duì)所述圖像特征描述符界定的Voronoi單元中的不同者的中心,其中所述Voronoi單元包含若干面,所述面界定所述Voronoi單元與所述面中的兩者或兩者以上相交的頂點(diǎn)之間的邊界，其中所述第二查詢數(shù)據(jù)包含指定額外重構(gòu)點(diǎn)相對(duì)于先前界定的重構(gòu)點(diǎn)中的每一者的位置的偏移向量，其中所述額外重構(gòu)點(diǎn)各自位于所述Voronoi單元的所述頂點(diǎn)，且 其中所述特征重構(gòu)單元基于所述偏移向量將所述額外重構(gòu)點(diǎn)添加到所述先前界定的重構(gòu)點(diǎn)。
27.根據(jù)權(quán)利要求23所述的視覺搜索裝置， 其中所述圖像特征描述符中的每一者包括圍繞所述圖像中的特征位置取樣的梯度直方圖， 其中所述第一查詢數(shù)據(jù)包含類型索引，其中所述類型索引唯一地識(shí)別具有給定公分母的若干類型的詞典排列中的一類型，其中所述類型中的每一者包括具有所述給定公分母的一組有理數(shù)，且其中每一類型的所述組有理數(shù)總和為1， 其中所述特征重構(gòu) 單元將所述類型索引映射到所述類型且從所述類型重構(gòu)所述梯度直方圖，且 其中所述特征匹配單元使用所述經(jīng)重構(gòu)梯度直方圖執(zhí)行所述視覺搜索。
28.根據(jù)權(quán)利要求27所述的視覺搜索裝置，其中所述特征重構(gòu)單元進(jìn)一步以所述第二查詢數(shù)據(jù)更新所述類型以產(chǎn)生經(jīng)更新類型，且基于所述經(jīng)更新類型以所述第二量化等級(jí)重構(gòu)所述圖像特征描述符。
29.根據(jù)權(quán)利要求23所述的視覺搜索裝置， 其中所述特征匹配單元在接收所述第二查詢數(shù)據(jù)之前，使用所述第一查詢數(shù)據(jù)確定作為在由所述視覺搜索裝置維持的數(shù)據(jù)庫中執(zhí)行所述視覺搜索的結(jié)果的識(shí)別數(shù)據(jù)，且 其中所述接口在接收所述第二查詢數(shù)據(jù)之前發(fā)射所述識(shí)別數(shù)據(jù)以有效地終止所述視覺搜索。
30.根據(jù)權(quán)利要求23所述的視覺搜索裝置， 其中所述接口接收進(jìn)一步加強(qiáng)所述第一和第二查詢數(shù)據(jù)的第三查詢數(shù)據(jù)，使得當(dāng)以所述第三查詢數(shù)據(jù)更新在由所述第二查詢數(shù)據(jù)加強(qiáng)之后的所述第一查詢數(shù)據(jù)時(shí)，所述連續(xù)經(jīng)更新第一查詢數(shù)據(jù)表示以第三量化等級(jí)量化的所述圖像特征描述符，其中所述第三量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第二量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形更準(zhǔn)確的對(duì)所述圖像特征描述符數(shù)據(jù)的表示， 其中所述特征重構(gòu)單元以所述第三查詢數(shù)據(jù)更新所述經(jīng)更新第一查詢數(shù)據(jù)以產(chǎn)生表示以所述第三量化等級(jí)量化的所述圖像特征描述符的經(jīng)二次更新第一查詢數(shù)據(jù)，且其中所述特征匹配單元使用所述經(jīng)二次更新第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索。
31.一種裝置，其將查詢數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)發(fā)射到視覺搜索裝置，所述裝置包括: 用于存儲(chǔ)界定查詢圖像的數(shù)據(jù)的裝置； 用于從所述查詢圖像提取一組圖像特征描述符的裝置，其中所述圖像特征描述符界定所述查詢圖像的至少一個(gè)特征； 用于以第一量化等級(jí)量化所述組圖像特征描述符以產(chǎn)生表示以所述第一量化等級(jí)量化的所述組圖像特征描述符的第一查詢數(shù)據(jù)的裝置； 用于將所述第一查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置的裝置； 用于確定加強(qiáng)所述第一查詢數(shù)據(jù)的第二查詢數(shù)據(jù)，使得當(dāng)以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)時(shí)，所述經(jīng)更新第一查詢數(shù)據(jù)表示以第二量化等級(jí)量化的所述組圖像特征描述符的裝置，其中所述第二量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第一量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形更準(zhǔn)確的對(duì)所述組圖像特征描述符的表示；以及 用于將所述第二查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置以精煉所述第一查詢數(shù)據(jù)的裝置。
32.根據(jù)權(quán)利要求31所述的裝置，其中所述用于發(fā)射所述第二查詢數(shù)據(jù)的裝置包括用于與所述視覺搜索裝置使用表示以所述第一量化等級(jí)量化的所述圖像特征描述符的所述第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索同時(shí)地發(fā)射所述第二查詢數(shù)據(jù)的裝置。
33.根據(jù)權(quán)利要求31所述的裝置， 其中所述用于以第一量化等級(jí)量化所述圖像特征描述符的裝置包含用于確定重構(gòu)點(diǎn)以使得所述重構(gòu)點(diǎn)各自位于針對(duì)所述圖像特征描述符界定的VOTonoi單元中的不同者的中心的裝置，其中所述Voronoi單元包含若干面,所述面界定所述Voronoi單元與所述面中的兩者或兩者以上相交的頂點(diǎn)之間的邊界， 其中所述用于確定第二查詢數(shù)據(jù)的裝置包含: 用于確定額外重 構(gòu)點(diǎn)以使得所述額外重構(gòu)點(diǎn)各自位于所述面中的每一者的中心的裝置； 用于將所述額外重構(gòu)點(diǎn)指定為從先前確定的重構(gòu)點(diǎn)中的每一者的偏移向量的裝置；以及 用于產(chǎn)生所述第二查詢數(shù)據(jù)以包含所述偏移向量的裝置。
34.根據(jù)權(quán)利要求31所述的裝置， 其中所述用于以第一量化等級(jí)量化所述圖像特征描述符的裝置包含用于確定重構(gòu)點(diǎn)以使得所述重構(gòu)點(diǎn)各自位于針對(duì)所述圖像特征描述符界定的VOTonoi單元中的不同者的中心的裝置，其中所述Voronoi單元包含若干面,所述面界定所述Voronoi單元與所述面中的兩者或兩者以上相交的頂點(diǎn)之間的邊界， 其中所述用于確定第二查詢數(shù)據(jù)的裝置包含: 用于確定額外重構(gòu)點(diǎn)以使得所述額外重構(gòu)點(diǎn)各自位于所述Voronoi單元的所述頂點(diǎn)的裝置； 用于將所述額外重構(gòu)點(diǎn)指定為從先前確定的重構(gòu)點(diǎn)中的每一者的偏移向量的裝置； 用于產(chǎn)生所述第二查詢數(shù)據(jù)以包含所述偏移向量的裝置。
35.根據(jù)權(quán)利要求31所述的裝置， 其中所述圖像特征描述符中的每一者包括圍繞所述圖像中的特征位置取樣的梯度直方圖， 其中所述用于以第一量化等級(jí)量化所述圖像特征描述符的裝置包含: 用于確定所述梯度直方圖的最近類型的裝置，其中所述類型是具有給定公分母的一組有理數(shù)，且其中所述組有理數(shù)的總和等于I ;以及 用于將所述確定的類型映射到相對(duì)于具有所述給定公分母的所有可能類型唯一地識(shí)別所述確定的類型的詞典排列的類型索引的裝置，且其中所述第一查詢數(shù)據(jù)包含所述類型索引。
36.根據(jù)權(quán)利要求31所述的裝置，其進(jìn)一步包括: 用于在發(fā)射所述第二查詢數(shù)據(jù)之前從所述視覺搜索裝置接收作為在由所述視覺搜索裝置維持的數(shù)據(jù)庫中的搜索的結(jié)果而獲得的識(shí)別數(shù)據(jù)的裝置； 用于在不發(fā)送所述第二查詢數(shù)據(jù)的情況下終止所述視覺搜索的裝置；以及 用于在視覺搜索應(yīng)用中使用所述識(shí)別數(shù)據(jù)的裝置。
37.根據(jù)權(quán)利要求31所述的裝置，其進(jìn)一步包括: 用于確定進(jìn)一步加強(qiáng) 所述第一和第二查詢數(shù)據(jù)的第三查詢數(shù)據(jù)，使得當(dāng)以所述第三查詢數(shù)據(jù)更新在由所述第二查詢數(shù)據(jù)加強(qiáng)之后的所述第一查詢數(shù)據(jù)時(shí)，所述連續(xù)經(jīng)更新第一查詢數(shù)據(jù)表示以第三量化等級(jí)量化的所述圖像特征描述符的裝置，其中所述第三量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第二量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形甚至更準(zhǔn)確的對(duì)所述圖像特征描述符數(shù)據(jù)的表示；以及 用于將所述第三查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置以連續(xù)精煉在由所述第二查詢數(shù)據(jù)加強(qiáng)之后的所述第一查詢數(shù)據(jù)的裝置。
38.一種用于在網(wǎng)絡(luò)系統(tǒng)中執(zhí)行視覺搜索的裝置，其中客戶端裝置將查詢數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)發(fā)射到視覺搜索裝置，所述裝置包括: 用于經(jīng)由所述網(wǎng)絡(luò)從所述客戶端裝置接收第一查詢數(shù)據(jù)的裝置，其中所述第一查詢數(shù)據(jù)表示從圖像提取且通過以第一量化等級(jí)量化而壓縮的一組圖像特征描述符； 用于使用所述第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索的裝置； 用于經(jīng)由所述網(wǎng)絡(luò)從所述客戶端裝置接收第二查詢數(shù)據(jù)的裝置，其中所述第二查詢數(shù)據(jù)加強(qiáng)所述第一數(shù)據(jù)，使得當(dāng)以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)時(shí)，所述經(jīng)更新第一查詢數(shù)據(jù)表示以第二量化等級(jí)量化的所述組圖像特征描述符，其中所述第二量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第一量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形更準(zhǔn)確的對(duì)所述圖像特征描述符的表示； 用于以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)以產(chǎn)生表示以所述第二量化等級(jí)量化的所述圖像特征描述符的經(jīng)更新第一查詢數(shù)據(jù)的裝置；以及 用于使用所述經(jīng)更新第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索的裝置。
39.根據(jù)權(quán)利要求38所述的裝置，其中所述用于使用所述第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索的裝置包括用于與將所述第二查詢數(shù)據(jù)從所述客戶端裝置經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置同時(shí)地使用所述第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索的裝置。
40.根據(jù)權(quán)利要求38所述的裝置， 其中所述第一查詢數(shù)據(jù)界定重構(gòu)點(diǎn)以使得所述重構(gòu)點(diǎn)各自位于針對(duì)所述圖像特征描述符界定的Voronoi單元中的不同者的中心,其中所述Voronoi單元包含若干面,所述面界定所述Voronoi單元與所述面中的兩者或兩者以上相交的頂點(diǎn)之間的邊界， 其中所述第二查詢數(shù)據(jù)包含指定額外重構(gòu)點(diǎn)相對(duì)于先前界定的重構(gòu)點(diǎn)中的每一者的位置的偏移向量，其中所述額外重構(gòu)點(diǎn)各自位于所述面中的每一者的中心，且 其中所述用于以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)以產(chǎn)生所述經(jīng)更新第一查詢數(shù)據(jù)的裝置包含用于基于所述偏移向量將所述額外重構(gòu)點(diǎn)添加到所述先前界定的重構(gòu)點(diǎn)的裝置。
41.根據(jù)權(quán)利要求38所述的裝置， 其中所述第一查詢數(shù)據(jù)界定重構(gòu)點(diǎn)以使得所述重構(gòu)點(diǎn)各自位于針對(duì)所述圖像特征描述符界定的Voronoi單元中的不同者的中心,其中所述Voronoi單元包含若干面,所述面界定所述Voronoi單元與所述面中的兩者或兩者以上相交的頂點(diǎn)之間的邊界， 其中所述第二查詢數(shù)據(jù)包含指定額外重構(gòu)點(diǎn)相對(duì)于先前界定的重構(gòu)點(diǎn)中的每一者的位置的偏移向量，其中所述額外重構(gòu)點(diǎn)各自位于所述Voronoi單元的所述頂點(diǎn)，且 其中所述用于以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)以產(chǎn)生所述經(jīng)更新第一查詢數(shù)據(jù)的裝置包含用于基于所述偏移向量將所述額外重構(gòu)點(diǎn)添加到所述先前界定的重構(gòu)點(diǎn)的裝置。
42.根據(jù)權(quán)利要求38所述的裝置， 其中所述圖像特征描述符中的每一者包括圍繞所述圖像中的特征位置取樣的梯度直方圖， 其中所述第一查詢數(shù)據(jù)包含類型索引，其中所述類型索引唯一地識(shí)別具有給定公分母的若干類型的詞典排列中的一類型，其中所述類型中的每一者包括具有所述給定公分母的一組有理數(shù)，且其中每一類型的所述組有理數(shù)總和為1， 其中所述裝置進(jìn)一步包括: 用于將所述類型索引映射到所述類型的裝置；以及 用于從所述類型重構(gòu)所述梯度直方圖的裝置，且 其中所述用于使用所述第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索的裝置包含用于使用所述經(jīng)重構(gòu)梯度直方圖執(zhí)行所述視覺搜索的裝置。
43.根據(jù)權(quán)利要求42所述的裝置，其中所述用于更新所述第一查詢數(shù)據(jù)的裝置包括: 用于以所述第二查詢數(shù)據(jù)更新所述類型以產(chǎn)生經(jīng)更新類型的裝置；以及 用于基于所述經(jīng)更新類型以所述第二量化等級(jí)重構(gòu)所述圖像特征描述符的裝置。
44.根據(jù)權(quán)利要求38所述的裝置，其進(jìn)一步包括: 用于在接收所述第二查詢數(shù)據(jù)之前使用所述第一查詢數(shù)據(jù)確定作為在由所述視覺搜索裝置維持的數(shù)據(jù)庫中執(zhí)行所述視覺搜索的結(jié)果的識(shí)別數(shù)據(jù)的裝置；以及 用于在接收所述第二查詢數(shù)據(jù)之前發(fā)射所述識(shí)別數(shù)據(jù)以有效地終止所述視覺搜索的裝置。
45.根據(jù)權(quán)利要求38所述的裝置，其進(jìn)一步包括: 用于接收進(jìn)一步加強(qiáng)所述第一和第二查詢數(shù)據(jù)的第三查詢數(shù)據(jù)，使得當(dāng)以所述第三查詢數(shù)據(jù)更新在由所述第二查詢數(shù)據(jù)加強(qiáng)之后的所述第一查詢數(shù)據(jù)時(shí)，所述連續(xù)經(jīng)更新第一查詢數(shù)據(jù)表示以第三量化等級(jí)量化的所述圖像特征描述符的裝置，其中所述第三量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第二量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形更準(zhǔn)確的對(duì)所述圖像特征描述符數(shù)據(jù)的表不; 用于以所述第三查詢數(shù)據(jù)更新所述經(jīng)更新第一查詢數(shù)據(jù)以產(chǎn)生表示以所述第三量化等級(jí)量化的所述圖像特征描述符的經(jīng)二次更新第一查詢數(shù)據(jù)的裝置；以及用于使用所述經(jīng)二次更新第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索的裝置。
46.一種包括指令的非暫時(shí)性計(jì)算機(jī)可讀媒體，所述指令在被執(zhí)行時(shí)致使一個(gè)或一個(gè)以上處理器: 存儲(chǔ)界定查詢圖像的數(shù)據(jù)； 從所述查詢圖像提取圖像特征描述符，其中所述圖像特征描述符界定所述查詢圖像的特征；以第一量化等級(jí)量化所述圖像特征描述符以產(chǎn)生表示以所述第一量化等級(jí)量化的所述圖像特征描述符的第一查詢數(shù)據(jù)； 將所述第一查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置； 確定加強(qiáng)所述第一查詢數(shù)據(jù)的第二查詢數(shù)據(jù)，使得當(dāng)以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)時(shí)，所述經(jīng)更新第一查詢數(shù)據(jù)表示以第二量化等級(jí)量化的所述圖像特征描述符，其中所述第二量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第一量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形更準(zhǔn)確的對(duì)所述圖像特征描述符數(shù)據(jù)的表示；以及 將所述第二查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置以連續(xù)精煉所述第一查詢數(shù)據(jù)。
47.一種包括指令的非暫時(shí)性計(jì)算機(jī)可讀媒體，所述指令在被執(zhí)行時(shí)致使一個(gè)或一個(gè)以上處理器: 經(jīng)由所述網(wǎng)絡(luò)從所述客戶端裝置接收第一查詢數(shù)據(jù)，其中所述第一查詢數(shù)據(jù)表示從圖像提取且通過以第一量化等級(jí)量化而壓縮的圖像特征描述符； 使用所述第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索； 經(jīng)由所述網(wǎng)絡(luò)從所述客戶端裝置接收第二查詢數(shù)據(jù)，其中所述第二查詢數(shù)據(jù)加強(qiáng)所述第一數(shù)據(jù)，使得當(dāng)以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)時(shí)，所述經(jīng)更新第一查詢數(shù)據(jù)表示以第二量化等級(jí)量化的所述圖像特征描述符，其中所述第二量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第一量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形更準(zhǔn)確的對(duì)所述圖像特征描述符的表示； 以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)以產(chǎn)生表示以第二量化等級(jí)量化的所述圖像特征描述符的經(jīng)更新第一查詢數(shù)據(jù)；以及 使用所述經(jīng)更新第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索。
48.一種用于執(zhí)行視覺搜索的網(wǎng)絡(luò)系統(tǒng)，其中所述網(wǎng)絡(luò)系統(tǒng)包括: 客戶端裝置； 視覺搜索裝置；以及 網(wǎng)絡(luò)，所述客戶端裝置和視覺搜索裝置介接到所述網(wǎng)絡(luò)以彼此通信以執(zhí)行所述視覺搜索， 其中所述客戶端裝置包含: 非暫時(shí)性計(jì)算機(jī)可讀媒體，其存儲(chǔ)界定圖像的數(shù)據(jù)； 客戶端處理器，其從所述圖像提取圖像特征描述符，其中所述圖像特征描述符界定所述圖像的特征且以第一量化等級(jí)量化所述圖像特征描述符以產(chǎn)生表示以所述第一量化等級(jí)量化的所述圖像特征描述符的第一查詢數(shù)據(jù)；以及 第一網(wǎng)絡(luò)接口，其將所述第一查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置；其中所述視覺搜索裝置包含: 第二網(wǎng)絡(luò)接口，其經(jīng)由所述網(wǎng)絡(luò)從所述客戶端裝置接收所述第一查詢數(shù)據(jù)；以及服務(wù)器處理器，其使用所述第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索， 其中所述客戶端處理器確定加強(qiáng)所述第一查詢數(shù)據(jù)的第二查詢數(shù)據(jù)，使得當(dāng)以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)時(shí)，所述經(jīng)更新第一查詢數(shù)據(jù)表示以第二量化等級(jí)量化的所述圖像特征描述符，其中所述第二量化等級(jí)實(shí)現(xiàn)比當(dāng)以所述第一量化等級(jí)量化時(shí)實(shí)現(xiàn)的情形更準(zhǔn)確的對(duì)所述圖像特征描述符的表示，其中所述第一網(wǎng)絡(luò)接口將所述第二查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置以連續(xù)精煉所述第一查詢數(shù)據(jù)， 其中所述第二網(wǎng)絡(luò)接口經(jīng)由所述網(wǎng)絡(luò)從所述客戶端裝置接收所述第二查詢數(shù)據(jù)，其中所述服務(wù)器處理器以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)以產(chǎn)生表示以第二量化等級(jí)量化的所述圖像特征描述符的經(jīng)更新第一查詢數(shù)據(jù)，且使用所述經(jīng)更新第一查詢數(shù)據(jù)執(zhí)行所述視覺搜索。 ·
全文摘要
總體來說，本發(fā)明描述用于在網(wǎng)絡(luò)中執(zhí)行視覺搜索的技術(shù)。包括接口、特征提取單元和特征壓縮單元的客戶端裝置可實(shí)施所述技術(shù)的各種方面。所述特征提取單元從圖像提取特征描述符。所述特征壓縮單元以第一量化等級(jí)量化所述圖像特征描述符。所述接口將第一查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到視覺搜索裝置。所述特征壓縮單元確定加強(qiáng)所述第一查詢數(shù)據(jù)的第二查詢數(shù)據(jù)，使得當(dāng)以所述第二查詢數(shù)據(jù)更新所述第一查詢數(shù)據(jù)時(shí)，所述經(jīng)更新第一查詢數(shù)據(jù)表示以第二量化等級(jí)量化的所述圖像特征描述符。所述接口將所述第二查詢數(shù)據(jù)經(jīng)由所述網(wǎng)絡(luò)發(fā)射到所述視覺搜索裝置以連續(xù)精煉所述第一查詢數(shù)據(jù)。
文檔編號(hào)G06K9/46GK103221954SQ201180056337
公開日2013年7月24日 申請(qǐng)日期2011年10月4日 優(yōu)先權(quán)日2010年10月28日
發(fā)明者尤里婭·列茲尼克 申請(qǐng)人:高通股份有限公司