專利名稱：圖像搜索方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及到一種基于內(nèi)容的多媒體搜索系統(tǒng)，尤其是一種圖像搜索方法和裝置，用于對(duì)基于內(nèi)容的圖像搜索系統(tǒng)順序地應(yīng)用不同的查詢方法，來更有效地進(jìn)行基于圖像的搜索操作。
大多數(shù)這樣的圖像搜索器為了獲得想要的圖像，需要用戶首先選擇一個(gè)查詢圖像來搜索。這樣的圖像搜索器根據(jù)圖像特征信息把用戶選擇的圖像與儲(chǔ)存在一個(gè)圖像數(shù)據(jù)庫中的圖像進(jìn)行比較，數(shù)據(jù)庫包括要查找的圖像，然后作為搜索結(jié)果，從儲(chǔ)存的圖像中，給用戶顯示與想要的圖像最相近的圖像。
然而，當(dāng)前的現(xiàn)實(shí)是，搜索結(jié)果滿足用戶的程度不是十分地高，因?yàn)榇蠖鄶?shù)儲(chǔ)存在圖像數(shù)據(jù)庫中的圖像的展示出與要找圖像的相似度的重要特征信息是不同的。
為了解決以上的問題，提出了一種方法，其中用戶提供關(guān)于與要找的特定圖像相似的圖像的信息，根據(jù)初步的搜索結(jié)果回到搜索系統(tǒng)(這就是所謂的相關(guān)反饋功能)，由系統(tǒng)自動(dòng)計(jì)算哪個(gè)特征信息對(duì)搜索特定圖像更重要。已有報(bào)道，這種方法顯著地改進(jìn)了圖像搜索性能。
在所有以上提到的技術(shù)中，用戶必須首先選擇一個(gè)與特定圖像相似的查詢圖像來搜索特定圖像。通常的查詢圖像選擇方法隨機(jī)排列圖像并允許用戶選擇排列圖像中的一個(gè)作為查詢圖像。在這種方法中，用戶難以從隨機(jī)排列的圖像中選出一個(gè)合適的查詢圖像。另外，為了從中選擇出合適的查詢圖像，用戶不得不多次進(jìn)行搜索。
為了解決這樣的問題，已經(jīng)提出了一種方法，用戶自己建立一個(gè)查詢圖像而不是選擇一個(gè)，以建立的查詢圖像為基礎(chǔ)搜索想要的圖像。在這個(gè)方法中，通過使用一個(gè)簡單的圖形創(chuàng)建工具，用戶建立一個(gè)圖像，它反映了要查找的特定圖像的特征信息，然后使用建立的圖像作為查詢圖像搜索特定的圖像。
然而在這種方法中，用戶不得不建立一個(gè)簡單的查詢圖像，因?yàn)樗?她很難建立這樣一個(gè)詳細(xì)的查詢圖像以充分反映要查找的特定圖像的特征信息。另外，僅有有限的圖像特征信息能被用來搜索這樣一個(gè)查詢圖像。例如，紋理信息對(duì)用戶來說很難創(chuàng)建和表達(dá)。因?yàn)檫@個(gè)原因，這樣的特征信息不但很難被用戶反映在查詢圖像中，而且很難被使用。在這方面，上述方法有缺點(diǎn)，因?yàn)樗阉餍阅懿皇呛芰钊藵M意，這是因?yàn)樗阉鞑僮鲀H僅是基于有限的特征信息進(jìn)行的。
另一方面，基于關(guān)鍵詞的搜索方法是一種代表性的、很容易的由用戶進(jìn)行搜索圖像的查詢方法。在基于關(guān)鍵詞的搜索方法中，每個(gè)圖像的特征以文本(關(guān)鍵詞)來描述，如果用戶輸入一個(gè)關(guān)鍵詞表達(dá)了要找的圖像或與其有聯(lián)系，則與輸入的關(guān)鍵詞匹配的圖像被搜索出來并作為搜索結(jié)果顯示給用戶。
然而，僅僅當(dāng)用戶認(rèn)為的關(guān)鍵詞被正確的輸入作為要查找的圖像的關(guān)鍵詞時(shí)，基于關(guān)鍵詞的搜索方法，才能提供合適的搜索表現(xiàn)。就此而論，僅以關(guān)鍵詞為基礎(chǔ)很難找到一個(gè)想要的圖像。換句話說，甚至在不同的人想要搜索相同內(nèi)容的多媒體數(shù)據(jù)的情況下，他們可能各自用與多媒體數(shù)據(jù)相關(guān)的或能表達(dá)多媒體數(shù)據(jù)的不同的詞、句子、描述等等，從而用僅僅一個(gè)關(guān)鍵詞很難找出想要的圖像。此外，因?yàn)槌艘恍┨囟ǖ膽?yīng)用，一個(gè)關(guān)鍵詞在不同的國家用不同的語言表達(dá)，基于關(guān)鍵詞的搜索方法受到嚴(yán)格的限制，除非它支持多語言系統(tǒng)，這導(dǎo)致它在實(shí)際應(yīng)用中的退步。
本發(fā)明的另一個(gè)目的是提供一個(gè)集成基于內(nèi)容的多媒體搜索系統(tǒng)中，尤其是基于互聯(lián)網(wǎng)的視頻搜索系統(tǒng)中不同的查詢搜索模塊的基礎(chǔ)。
本發(fā)明的另一個(gè)目的是提供一種圖像搜索系統(tǒng)，通過分級(jí)地和連續(xù)地組合和應(yīng)用不同類型的查詢數(shù)據(jù)，例如通用查詢圖像、由用戶建立的查詢圖像和關(guān)鍵詞，來進(jìn)行圖像搜索操作。
根據(jù)本發(fā)明，圖像搜索系統(tǒng)使用一種查詢方法，它基于由用戶選擇的草圖、文字信息或草圖和文字信息的組合。
在本發(fā)明的一個(gè)實(shí)施例中，圖像搜索系統(tǒng)允許用戶建立一個(gè)查詢圖像，在建立的查詢圖像的基礎(chǔ)上進(jìn)行一個(gè)粗略的搜索，從粗略搜索的結(jié)果中選擇一個(gè)或多個(gè)查詢圖像，以選擇的查詢圖像為基礎(chǔ)進(jìn)行再搜索。
在本發(fā)明的另一個(gè)實(shí)施例中，圖像搜索系統(tǒng)在關(guān)鍵詞的基礎(chǔ)上進(jìn)行一個(gè)粗略的搜索，允許用戶從粗略搜索的結(jié)果中選擇一個(gè)或多個(gè)查詢圖像，以選擇的查詢圖像為基礎(chǔ)進(jìn)行再搜索。
在本發(fā)明的另一個(gè)實(shí)施例中，圖像搜索系統(tǒng)在關(guān)鍵詞的基礎(chǔ)上進(jìn)行一個(gè)粗略的搜索，在用戶建立的查詢圖像的基礎(chǔ)上在粗略搜索的結(jié)果中進(jìn)行一個(gè)中間搜索，允許用戶從中間搜索的結(jié)果中選擇一個(gè)或多個(gè)查詢圖像，以選擇的查詢圖像為基礎(chǔ)進(jìn)行再搜索。
在本發(fā)明的另一個(gè)實(shí)施例中，圖像搜索系統(tǒng)在用戶建立的查詢圖像的基礎(chǔ)上進(jìn)行一個(gè)粗略的搜索，在關(guān)鍵詞的基礎(chǔ)上在粗略搜索的結(jié)果中進(jìn)行一個(gè)中間搜索，允許用戶從中間搜索的結(jié)果中選擇一個(gè)或多個(gè)查詢圖像，以選擇的查詢圖像為基礎(chǔ)進(jìn)行再搜索。
在本發(fā)明的另一個(gè)實(shí)施例中，圖像搜索系統(tǒng)在用戶建立的查詢圖像和描述要找圖像的文字信息(例如，關(guān)鍵詞)的基礎(chǔ)上進(jìn)行一個(gè)粗略的搜索，允許用戶從粗略搜索的結(jié)果中選擇一個(gè)或多個(gè)查詢圖像，以選擇的查詢圖像為基礎(chǔ)進(jìn)行再搜索。
在本發(fā)明的主要特征中，為了組合不同類型的查詢和使用不同類型信息的搜索方法，搜索結(jié)果組合方法和順序是很重要的。這是因?yàn)椋托У慕M合方法要獲得想要的性能是不可能的。
根據(jù)查詢順序，本發(fā)明提出的圖像搜索方法大致分為三種類型。第一種類型的圖像搜索方法是首先以用戶使用草圖創(chuàng)建的查詢圖像為基礎(chǔ)進(jìn)行搜索操作，然后以通常的查詢圖像為基礎(chǔ)進(jìn)行搜索。第二種類型的圖像搜索方法是首先以文字信息(例如，關(guān)鍵詞)為基礎(chǔ)進(jìn)行搜索操作，然后以通常的查詢圖像為基礎(chǔ)進(jìn)行搜索。第三種類型的圖像搜索方法是首先以使用由用戶創(chuàng)建的查詢圖像進(jìn)行粗略的搜索和使用文字信息(例如關(guān)鍵詞)進(jìn)行粗略的搜索的組合為基礎(chǔ)，進(jìn)行一個(gè)搜索操作，然后以通常的查詢圖像為基礎(chǔ)進(jìn)行搜索。
根據(jù)本發(fā)明所給出的不同類型的圖像搜索方法的更詳細(xì)的描述將在下文給出。
1)首先基于使用草圖的查詢，然后基于使用查詢圖像的查詢進(jìn)行搜索這種圖像搜索方法包含以用戶建立的圖像為查詢圖像搜索想要找的圖像，允許用戶從搜索結(jié)果中選擇一個(gè)或多個(gè)與要找圖像相似的圖像，指定選擇的相似圖像作為查詢圖像并以指定的查詢圖像為基礎(chǔ)再次搜索要找的圖像。這種圖像搜索方法以下面的方式進(jìn)行圖像搜索。
用戶首先建立一個(gè)圖像，然后以建立的圖像作為查詢圖像進(jìn)行一個(gè)初步的搜索(粗略搜索)。

圖1表明了一個(gè)用戶界面的例子，通過它用戶能建立一個(gè)查詢圖像。如圖所示，由顏色作為特征信息的查詢圖像可以通過把圖板1分為N*M個(gè)方格2，然后用所選的顏色填充分塊的方格來實(shí)現(xiàn)。
圖2表明了另一個(gè)建立查詢圖像的例子。用戶可在圖板3上通過使用由他/她選擇的具有寬度和顏色的筆畫出圖像的草圖，例如圖4。另外，通過以前畫好的基本圖形例如圓或矩形，用戶可以更容易地畫一個(gè)圖像。
以上文提到的圖像創(chuàng)建工具建立的查詢圖像為基礎(chǔ)，進(jìn)行初步搜索(粗略搜索)后，從初步搜索的結(jié)果中(這些搜索結(jié)果是一些為了搜索想要的圖像，以用戶建立的查詢圖像為基礎(chǔ)，被搜索系統(tǒng)找到并顯示在界面窗口中的與要找圖像相匹配的圖像)，用戶選擇一個(gè)認(rèn)為是與要找圖像相似的圖像，把選擇的圖像反饋到搜索系統(tǒng)。然后，搜索系統(tǒng)以反饋的圖像為查詢圖像進(jìn)行第二次搜索。也就是，從二次搜索中，以用戶反饋的查詢圖像為基礎(chǔ)的查詢過程被實(shí)現(xiàn)。用戶以查詢圖像為基礎(chǔ)通過查詢過程進(jìn)行搜索，直到找到想要的圖像。在一些實(shí)例中，用戶可能從粗略搜索結(jié)果中選擇多個(gè)查詢圖像。當(dāng)多個(gè)查詢圖像被選擇后，圖像搜索可按以下方式進(jìn)行。
1.1)使用特征信息權(quán)重和一個(gè)查詢圖像進(jìn)行搜索這種圖像搜索方法使用由用戶反饋回來的查詢圖像的任何一個(gè)進(jìn)行再次搜索。
如上所述，從以他/她創(chuàng)建的查詢圖像為基礎(chǔ)的粗略搜索結(jié)果中，用戶選擇多個(gè)認(rèn)為是與要找圖像相似的圖像。利用這些信息，搜索系統(tǒng)會(huì)自動(dòng)給用于搜索的特征信息設(shè)置權(quán)重。這里定義，在描述圖像的信息中，特征信息僅指低級(jí)的特征信息，例如顏色分布圖。換句話說，高級(jí)的信息，例如關(guān)鍵詞，不屬于本發(fā)明談到的特征信息，在下文將給它一個(gè)獨(dú)立的名字，稱為“文字信息”。
例如，假定使用了兩個(gè)特征信息，或一個(gè)顏色分布圖和一個(gè)文字信息。所選圖像的相似度以所選圖像各自的特征信息為基礎(chǔ)來計(jì)算，在所選圖像各自的特征信息中，相對(duì)高的權(quán)重賦給使計(jì)算出的相似度具有較高值的特征信息。相對(duì)較高權(quán)重的應(yīng)用意味著，通過對(duì)基于相應(yīng)的特征信息的搜索結(jié)果應(yīng)用權(quán)重，可計(jì)算出全部的相似度。權(quán)重可通過下面的公式1計(jì)算
公式1Weight(k)＝Cont(k)/Cont(All)Cont(k)=Σi=1n-1Σj=i+1nSim(i,j,k)]]>Cont(All)=Σk=1mCont(k)]]>(其中，n是參考對(duì)象的數(shù)目，m是用于相似度衡量的特征信息的數(shù)目，Weight(k)是第k個(gè)特征元素的權(quán)重，Sim(i，j，k)是第i個(gè)參考對(duì)象和第j個(gè)參考對(duì)象之間基于第k個(gè)特征元素的相似度，Cont(k)是第k個(gè)特征元素的貢獻(xiàn))相似度Sim(i，j，k)在兩個(gè)對(duì)象之間計(jì)算。對(duì)圖像搜索，最相似于查詢圖像的圖像可以通過連續(xù)選擇要被搜索的目標(biāo)圖像并計(jì)算每個(gè)選擇的目標(biāo)圖像和查詢圖像之間的相似度來得到。在這方面，第i個(gè)參考對(duì)象和第j個(gè)參考對(duì)象的之間的相似度意味著兩個(gè)圖像i和j之間的相似度。
通常，通過比較兩個(gè)圖像的特征元素值來得到他們之間的差別而計(jì)算相似度。一個(gè)圖像包括多個(gè)特征元素，他們是一些信息，例如顏色分布圖。例如，圖像可以包括顏色分布圖和紋理分布圖。在這種情況下，相似度利用各自的顏色分布圖和紋理分布圖來計(jì)算得到，全部的相似度通過計(jì)算出的相似度的總和來計(jì)算得到。換句話說，在圖像包括N個(gè)特征元素的情況下，相似度僅以各自特征元素為基礎(chǔ)被連續(xù)地算出，最終的相似度通過總計(jì)算出的相似度來算出。在這方面，利用第k個(gè)特征元素的相似度的計(jì)算意味著在兩個(gè)圖像i和j之間利用N個(gè)特征元素中的第k個(gè)計(jì)算相似度。
根據(jù)特征元素的類型，使用一個(gè)特征元素的相似度的計(jì)算可以用不同的方式進(jìn)行。然而，通常相似度可以作為一個(gè)值(最大距離-測(cè)量距離)，測(cè)量距離可以是兩個(gè)特征元素各自數(shù)值的絕對(duì)值間的差異總和。例如，顏色分布圖可以是圖像中像素的顏色分布，這個(gè)分布可以通過一定的數(shù)值來表達(dá)。通過對(duì)各數(shù)值在相同位置的差異取絕對(duì)值并累加所取的絕對(duì)值，可以得到兩個(gè)分布圖的距離。最大距離意味著按照它的特性所給的特征元素的一個(gè)可能的最長距離。通常慣例，分布圖的最大距離是“1”。
如果按上面的公式1計(jì)算出權(quán)重，那么根據(jù)算出的權(quán)重來進(jìn)行實(shí)際搜索。被選擇的多個(gè)圖像中的任何一個(gè)可被指定為一個(gè)查詢圖像來進(jìn)行搜索。從所選的多個(gè)圖像中選擇一個(gè)查詢圖像可通過以下方法得到，在多個(gè)圖像中指定最先選擇的一個(gè)作為查詢圖像，或計(jì)算每個(gè)選擇的圖像和由用戶建立的初始查詢圖像之間的相似度并在所選的圖像中指定一個(gè)最高相似度的圖像作為查詢圖像。反映權(quán)重的兩個(gè)圖像之間的相似度可由下面的公式2計(jì)算公式2Similarity=Σi=1nwiSimi]]>(其中，n是特征信息的數(shù)目，wi是特征信息i的權(quán)重，Simi是在特征信息1基礎(chǔ)上的相似度)1.2)使用特征信息權(quán)重和多個(gè)查詢圖像進(jìn)行搜索這種圖像搜索方法利用用戶反饋回來的多個(gè)查詢圖像來進(jìn)行再次搜索操作。
如果多個(gè)圖像被用戶選擇，如上所述，那么所選圖像的特征信息權(quán)重以相同的方式按以上描述的權(quán)重設(shè)定方法來設(shè)定。這時(shí)，所有的這組選擇的圖像被用作查詢圖像，以所設(shè)的權(quán)重為基礎(chǔ)進(jìn)行圖像搜索。在使用一個(gè)查詢圖像的搜索中，如上所述，每個(gè)目標(biāo)圖像和查詢圖像之間的相似度被計(jì)算出。在這個(gè)使用所有選擇的圖像作為查詢圖像的搜索中，通過按順序比較每個(gè)目標(biāo)圖像和各個(gè)所選圖像來算出相似度，最終的相似度通過總計(jì)算出的相似度來得到。在這種情況下，相似度計(jì)算可通過下面的公式3來得到公式3Similarity=Σj=1n-1Σk=1m(j,k)]]>(其中，n是查詢圖像的數(shù)目，m是用于相似度衡量的特征元素的數(shù)目，Sim(j，k)是利用第k個(gè)特征元素的參考對(duì)象和第j個(gè)查詢圖像的相似度)圖3是一個(gè)流程圖，表明了從以用戶建立的查詢圖像為基礎(chǔ)得到的粗略搜索結(jié)果中選擇一個(gè)或多個(gè)查詢圖像的方法(1.1或1.2)，并利用所選擇的查詢圖像和特征信息權(quán)重進(jìn)行再次搜索操作。
參考圖3，用戶通過使用如圖1或2所示的圖像創(chuàng)建工具建立一個(gè)查詢圖像，以建立的查詢圖像為基礎(chǔ)來搜索想要的圖像。用戶從搜索結(jié)果中選擇一個(gè)或多個(gè)他認(rèn)為是與想要圖像相似的圖像，然后把所選的圖像反饋回搜索系統(tǒng)。以所選的圖像為基礎(chǔ)提取出特征信息權(quán)重，所選圖像中的任何一個(gè)被指定為用于下一個(gè)查詢的圖像。此后，在指定的查詢圖像和提取出的特征信息權(quán)重的基礎(chǔ)上，進(jìn)行再次搜索操作來找出想要的圖像。
1.3)有選擇地使用文字信息和特征信息進(jìn)行搜索以上描述的方法(1.1和1.2)是僅僅利用特征信息例如顏色分布圖來進(jìn)行再次搜索操作的典型方法。但是，圖像描述信息通常同時(shí)包括文字信息，如關(guān)鍵詞，和特征信息，如顏色分布圖。在這種情況下，不是僅僅使用特征信息，可以更有效地確定哪個(gè)文字信息和特征信息更適宜于每個(gè)查詢的再次搜索操作，并根據(jù)確定的結(jié)果進(jìn)行再次搜索操作。在當(dāng)前查詢中，包括包含率狀態(tài)(IncludingRate)的關(guān)鍵詞可被用于這樣一種確定。
圖4表明了使用文字信息和特征信息選擇性地進(jìn)行搜索的一個(gè)例子。
首先，用戶建立一個(gè)查詢圖像，利用建立的查詢圖像進(jìn)行一個(gè)粗略的搜索，然后從粗略搜索的結(jié)果中選出一個(gè)或多個(gè)與想要圖像相似的圖像。此后，用戶選擇基于關(guān)鍵詞的搜索和基于特征信息的搜索中的任何一種。在有文字信息或在所選的相似圖像中共同描述的關(guān)鍵詞的情況下，以共同描述的關(guān)鍵詞為基礎(chǔ)為當(dāng)前查詢進(jìn)行搜索。這個(gè)例子意味著用戶想要從關(guān)鍵詞的角度來進(jìn)行搜索。例如，在有超過預(yù)定閾值Th，70％的所選圖像共同地包括特定關(guān)鍵詞的情況下，可以預(yù)先定義在該特定關(guān)鍵詞的基礎(chǔ)上進(jìn)行再搜索操作。
這里，閾值70％代表一個(gè)特定關(guān)鍵詞共同的包含率是通過一個(gè)關(guān)鍵詞K的共同包含率來計(jì)算的，IncludingRate(K)＝n/m*100(％)，其中n是在用戶選擇的圖像中含有關(guān)鍵詞K的圖像的數(shù)目，m是用戶選擇的圖像的數(shù)目。
因此，假定多個(gè)關(guān)鍵詞被共同地包含，搜索操作就能以這組關(guān)鍵詞為基礎(chǔ)來進(jìn)行。如果超過70％選擇的圖像沒有共同的關(guān)鍵詞，則再次搜索操作僅以特征信息為基礎(chǔ)來進(jìn)行。在這種情況下，以上提到的方法(見公式1和公式2)被用于計(jì)算權(quán)重，指定所選圖像中的任何一個(gè)作為查詢圖像并用這個(gè)指定的查詢圖像進(jìn)行搜索。也就是說在沒有當(dāng)前的一個(gè)或多個(gè)關(guān)鍵詞K滿足IncludingRate(K)＞Th的條件的情況下，特征信息權(quán)重以所選的圖像為基礎(chǔ)來提取，所選圖像的任一個(gè)被指定作為用于下一個(gè)查詢的圖像。此后，再次搜索操作以指定的查詢圖像和提取出的特征信息權(quán)重為基礎(chǔ)來找出想要的圖像。
以上的說明給出了一種作為用戶選擇的相似圖像的分析結(jié)果，選擇性地使用關(guān)鍵詞和特征信息中的任何一個(gè)來進(jìn)行再次搜索操作的方法示例。沿著這個(gè)概念，再次搜索操作能以關(guān)鍵詞和特征信息的組合為基礎(chǔ)來進(jìn)行。這樣的基于關(guān)鍵詞和特征信息的組合的再次搜索操作可以結(jié)合下面的三種情況來進(jìn)行。
1.3.1)關(guān)鍵詞—特征信息搜索在有一個(gè)關(guān)鍵詞的共同包含率IncludingRate大于預(yù)定閾值Th1的情況下，基于關(guān)鍵詞和特征信息組合的搜索按下面的方式進(jìn)行。
也就是，僅僅進(jìn)行基于關(guān)鍵詞的搜索操作，在搜索的結(jié)果中，僅僅那些具有大于預(yù)定閾值T1的匹配點(diǎn)的圖像被指定作為候選結(jié)果。每個(gè)指定的候選結(jié)果和由用戶建立的查詢圖像之間的相似度以特征信息為基礎(chǔ)來計(jì)算，按照計(jì)算出的相似度遞減的順序提取出搜索結(jié)果。
1.3.2)特征信息—關(guān)鍵詞搜索在沒有一個(gè)關(guān)鍵詞的共同包含率IncludingRate大于預(yù)定閾值Th1的情況下，基于關(guān)鍵詞和特征信息組合的搜索按下面的方式進(jìn)行。
也就是，每個(gè)目標(biāo)圖像和指定的查詢圖像之間的相似度以特征信息為基礎(chǔ)來計(jì)算，在目標(biāo)圖像中，僅僅那些相似度大于預(yù)定閾值的圖像被指定作為候選結(jié)果。在指定的候選結(jié)果中有一個(gè)關(guān)鍵詞的共同包含率IncludingRate小于預(yù)定的閾值Th1并大于一個(gè)小的閾值Th2的情況下(Th2＜Th1)，搜索操作以關(guān)鍵詞為基礎(chǔ)來進(jìn)行，按照匹配點(diǎn)遞減的順序提取出搜索結(jié)果。
圖5顯示了按照以上方式，根據(jù)共同包含率IncludingRate，按照關(guān)鍵詞—特征信息搜索或特征信息—關(guān)鍵詞搜索順序來進(jìn)行再次搜索操作的方法。
以上提到的搜索方法(1.3.1和1.3.2)將在下文參考圖5詳細(xì)描述。
首先，用戶建立一個(gè)查詢圖像，在建立好的查詢圖像的基礎(chǔ)上進(jìn)行搜索，從搜索的結(jié)果中選擇一個(gè)或多個(gè)認(rèn)為是與要找圖像相似的圖像。確定在用戶選擇的圖像包含的關(guān)鍵詞中是否有滿足IncludingRate(K)＞Th1條件的關(guān)鍵詞出現(xiàn)，所選圖像中的任何一個(gè)被指定作為查詢圖像。此后，確定是否還有一個(gè)或多個(gè)關(guān)鍵詞K滿足IncludingRate(K)＞Th1的條件。
在確定還有一個(gè)或多個(gè)關(guān)鍵詞K滿足上述條件的情況下，在所選的圖像的基礎(chǔ)上提取出特征信息權(quán)重，在關(guān)鍵詞K的基礎(chǔ)上進(jìn)行再次搜索操作，在搜索結(jié)果中，僅僅那些匹配點(diǎn)大于預(yù)定閾值T1的圖象被指定作為候選結(jié)果。接著，通過計(jì)算每個(gè)指定的候選結(jié)果和指定的查詢圖像之間的相似度并按照算出的相似度降序地提取搜索結(jié)果而得到要找的圖像。然而，在確定沒有關(guān)鍵詞K滿足上述條件的情況下，在所選圖像的基礎(chǔ)上提取出特征信息權(quán)重，在提取出的特征信息權(quán)重的基礎(chǔ)上計(jì)算出每個(gè)目標(biāo)圖像和指定的查詢圖像之間的相似度，在目標(biāo)圖像中，僅僅那些相似度大于預(yù)定閾值的圖象被指定作為候選結(jié)果。此后，通過用滿足IncludingRate(K)＞Th2(Th2＜Th1)條件的關(guān)鍵詞K計(jì)算出指定候選結(jié)果的匹配點(diǎn)，按照算出的匹配點(diǎn)遞減的順序提取出搜索結(jié)果，最后得到要找的圖像。
1.3.3)基于特征信息/關(guān)鍵詞組合的搜索這個(gè)搜索方法基于組合的特征信息和關(guān)鍵詞來進(jìn)行搜索操作。在這個(gè)搜索方法中，在所選的多個(gè)相似圖像的基礎(chǔ)上提取出特征信息權(quán)重，關(guān)鍵詞權(quán)重由IncludingRate*α的值來定義。通過基于特征信息反映權(quán)重+關(guān)鍵詞權(quán)重*關(guān)鍵詞匹配點(diǎn)的相似度而得到每個(gè)目標(biāo)圖像的整體相似度，以算出的整體相似度為基礎(chǔ)提取出搜索結(jié)果。
圖6表明了一種利用它們的權(quán)重來組合特征信息和關(guān)鍵詞，并在組合結(jié)果的基礎(chǔ)上進(jìn)行再次搜索操作的方法。
以上提到的搜索方法(1.3.3)將在下文結(jié)合圖6詳細(xì)地描述。
首先，用戶進(jìn)行一個(gè)以他/她建立的查詢圖像為基礎(chǔ)的搜索，從搜索結(jié)果中選擇一個(gè)或多個(gè)相似圖像。然后，在所選圖像的基礎(chǔ)上提取出特征信息權(quán)重，滿足IncludingRate(K)＞Th1條件的關(guān)鍵詞K在所選圖像的基礎(chǔ)上依次被提取出。關(guān)鍵詞K的權(quán)重在IncludingRate(K)的基礎(chǔ)上也被提取出。接著，所選圖像中的任何一個(gè)被指定作為下一個(gè)查詢圖像，每個(gè)目標(biāo)圖像和指定的查詢圖像之間的相似度以提取出的權(quán)重為基礎(chǔ)被計(jì)算出，根據(jù)關(guān)鍵詞K算出每個(gè)目標(biāo)圖像的匹配點(diǎn)。此后，通過在算出的相似度和匹配點(diǎn)中反映關(guān)鍵詞K的權(quán)重，并累加所得到的值，從而得到每個(gè)目標(biāo)圖像的整體相似度。
也就是，整體相似度＝基于特征信息反映權(quán)重的相似度+關(guān)鍵詞權(quán)重*關(guān)鍵詞匹配點(diǎn)。通過在按上述方式算出的相似度的基礎(chǔ)上進(jìn)行搜索并按照算出的整體相似度遞減的順序提取搜索結(jié)果，可以得到想要的圖像。
以上描述的方法(1.3，1.3.1，1.3.2或1.3.3)可以利用用戶選擇的相似圖像，自動(dòng)選擇或組合文字信息和低級(jí)的特征信息，在選擇或組合結(jié)果的基礎(chǔ)上進(jìn)行搜索操作，它可以延伸地應(yīng)用到已有圖像搜索而不是基于草圖的圖像搜索。
例如，以上描述的搜索方法可以應(yīng)用到現(xiàn)有的方法中用來選擇一個(gè)特征圖像作為查詢圖像并利用選擇的查詢圖像來搜索相似圖像。
在一些情況下，當(dāng)以上描述的搜索方法被應(yīng)用到這些現(xiàn)有的方法中時(shí)，用戶可以從中間搜索結(jié)果中選擇相似的圖像，搜索系統(tǒng)可以確定哪個(gè)低級(jí)的特征信息和文字信息可被用于下一個(gè)搜索，按照上文提到的相同的搜索方法(基于IncludingRate(K)的條件等的搜索順序和查詢?cè)剡x擇)，直到用戶找到想要的圖像為止。
這樣的延伸應(yīng)用的例子如流程圖7所示。也就是，圖7表明了圖4概念(1.3)的延伸版本。
換句話說，用戶從已存在的圖像中選擇一個(gè)查詢圖像(不是建立)，在選擇的查詢圖像的基礎(chǔ)上進(jìn)行搜索，從搜索結(jié)果中選擇一個(gè)或多個(gè)相似圖像，把所選擇的相似圖像反饋回搜索系統(tǒng)。接著，搜索系統(tǒng)確定包含在由用戶選擇的相似圖像中的關(guān)鍵詞，是否有一個(gè)或多個(gè)滿足IncludingRate(K)＞Th1條件的關(guān)鍵詞K出現(xiàn)。如果有一個(gè)或多個(gè)關(guān)鍵詞K滿足以上條件，通過在關(guān)鍵詞K的基礎(chǔ)上進(jìn)行再次搜索，搜索系統(tǒng)可以找出想要的圖像。否則，搜索系統(tǒng)可以通過連續(xù)進(jìn)行以下幾步找出想要的圖像在用戶選擇的相似圖像的基礎(chǔ)上提取出特征信息；指定所選圖像中的任何一個(gè)(例如，所選圖像中最早選擇的)作為下一個(gè)查詢圖像；以指定的查詢圖像和提取出的特征信息權(quán)重為基礎(chǔ)進(jìn)行再次搜索操作。
另一方面，再次搜索方法不是基于選擇文字信息和特征信息中的任何一個(gè)，而是基于它們(1.3.1，1.3.2或1.3.3)的組合，它也可以延伸地應(yīng)用到已有圖像的搜索。
2)首先基于利用文字信息的查詢?nèi)缓蠡诶貌樵儓D像的查詢進(jìn)行搜索在1)部分，用戶首先使用一個(gè)由他/她建立的查詢圖像來找出合適的查詢圖像，在找到的查詢圖像的基礎(chǔ)上進(jìn)行再次搜索操作。在這個(gè)部分，詳細(xì)說明利用文字信息如關(guān)鍵詞代替由用戶建立的查詢圖像的方法。圖8表明了一種方法，從基于文字信息(例如，關(guān)鍵詞)的粗略搜索結(jié)果中選擇一個(gè)查詢圖像，以選擇的查詢圖像為基礎(chǔ)進(jìn)行再次搜索操作。
首先，用戶利用關(guān)鍵詞得到粗略的搜索結(jié)果。也就是，用戶通過輸入一個(gè)關(guān)鍵詞并在輸入的關(guān)鍵詞的基礎(chǔ)上進(jìn)行圖像搜索來得到搜索結(jié)果。然后，用戶從粗略的搜索結(jié)果中選擇一個(gè)或多個(gè)相似圖像。在以這種方式選擇了多個(gè)相似圖像后，通過利用以上提到的使用特征信息權(quán)重和一個(gè)查詢圖像的搜索方法或使用特征信息權(quán)重和多個(gè)查詢圖像的搜索方法，搜索系統(tǒng)可以進(jìn)行再次搜索操作。也就是，通過提取用戶選擇的多個(gè)相似圖像的權(quán)重，指定所選圖像中的任何一個(gè)作為下一個(gè)查詢圖像并以指定的查詢圖像和反映提取出的權(quán)重的特征信息為基礎(chǔ)進(jìn)行再次搜索操作，搜索系統(tǒng)可找到想要的圖像。
3)首先基于利用草圖/文字信息的查詢?nèi)缓蠡诶貌樵儓D像的查詢進(jìn)行搜索在這個(gè)部分，以利用用戶建立的查詢圖像而進(jìn)行的粗略搜索和利用文字信息如關(guān)鍵詞而進(jìn)行的粗略搜索的組合為基礎(chǔ)而進(jìn)行的粗略搜索操作的方法將被詳細(xì)描述。
在這個(gè)方法中，關(guān)鍵詞被用作文字信息的一個(gè)例子。首先，用戶建立一個(gè)查詢圖像，輸入合適的關(guān)鍵詞，利用建立的查詢圖像和輸入的關(guān)鍵詞進(jìn)行粗略的搜索。這樣的一個(gè)基于兩種不同查詢?cè)?在本實(shí)施例中是一個(gè)建立的查詢圖像和一個(gè)關(guān)鍵詞)組合的搜索操作可以結(jié)合下面的三個(gè)情況來進(jìn)行。
3.1)關(guān)鍵詞—草圖搜索這個(gè)關(guān)鍵詞—草圖搜索方法是在僅僅基于關(guān)鍵詞的基礎(chǔ)上進(jìn)行搜索操作，從搜索結(jié)果中指定那些匹配點(diǎn)大于預(yù)定閾值的圖像作為候選結(jié)果，在特征信息的基礎(chǔ)上，算出每個(gè)指定候選結(jié)果和建立的查詢圖像之間的相似度，按照計(jì)算出的相似度遞減的順序提取出搜索結(jié)果。
這個(gè)關(guān)鍵詞—草圖搜索方法如圖9所示。
首先，建立一個(gè)查詢圖像。然后，在用戶輸入的關(guān)鍵詞的基礎(chǔ)上進(jìn)行圖像搜索操作。那些匹配點(diǎn)大于預(yù)定閾值的圖像從搜索結(jié)果中被提取出作為候選結(jié)果，每個(gè)提取出的候選結(jié)果和用戶建立的查詢圖像之間的相似度被計(jì)算出。然后，搜索結(jié)果按照計(jì)算出的相似度遞減的順序被提取出。用戶從搜索結(jié)果圖像中選擇一個(gè)或多個(gè)認(rèn)為與要找圖像相似的圖像。在所選圖像的基礎(chǔ)上提取出權(quán)重，并且指定所選圖像中的任何一個(gè)或多個(gè)作為查詢圖像。
以指定的查詢圖像和提取出的權(quán)重為基礎(chǔ)進(jìn)行再次搜索操作來找到想要的圖像。
3.2)草圖—關(guān)鍵詞搜索這個(gè)草圖—關(guān)鍵詞搜索方法是在特征信息的基礎(chǔ)上計(jì)算每個(gè)目標(biāo)圖像和建立的查詢圖像之間的相似度，在目標(biāo)圖像中指定那些相似度大于預(yù)定閾值的圖像作為候選結(jié)果，對(duì)指定的候選結(jié)果以查詢關(guān)鍵詞為基礎(chǔ)進(jìn)行搜索操作，并按照匹配點(diǎn)遞減的順序提取出搜索結(jié)果。這個(gè)草圖—關(guān)鍵詞搜索方法如圖10所示。
首先，建立一個(gè)查詢圖像。然后，在用戶建立的查詢圖像的基礎(chǔ)上進(jìn)行圖像搜索操作來提取出候選結(jié)果。每個(gè)提取出的候選結(jié)果和用戶建立的查詢圖像之間的相似度被計(jì)算出，然后按照算出的相似度遞減的順序提取出搜索結(jié)果。此后，計(jì)算出基于與輸入關(guān)鍵詞的相似度的搜索候選結(jié)果的匹配點(diǎn)，按照算出的匹配點(diǎn)遞減的順序，搜索結(jié)果被提取出。用戶從基于關(guān)鍵詞匹配點(diǎn)的搜索結(jié)果圖像中選擇一個(gè)或多個(gè)認(rèn)為與想要圖像相似的圖像。在所選圖像的基礎(chǔ)上，權(quán)重被提取出，并且所選圖像中的任何一個(gè)或多個(gè)被指定作為查詢圖像。
以指定的查詢圖像和提取出的權(quán)重為基礎(chǔ)進(jìn)行再次搜索操作來找到想要的圖像。
3.3)草圖/關(guān)鍵詞組合搜索這個(gè)草圖/關(guān)鍵詞組合搜索方法是在特征信息的基礎(chǔ)上計(jì)算出每個(gè)目標(biāo)圖像和建立的查詢圖像之間的相似度和具有查詢關(guān)鍵詞的每個(gè)目標(biāo)圖像的匹配點(diǎn)，通過組合算出的相似度和關(guān)鍵詞匹配點(diǎn)來得出每個(gè)目標(biāo)圖像的整體相似度，然后，以得到的整體相似度為基礎(chǔ)提取出搜索結(jié)果。在每個(gè)相似度和每個(gè)關(guān)鍵詞匹配點(diǎn)的累加中可以應(yīng)用由實(shí)驗(yàn)得到的權(quán)重。
圖11表明了草圖/關(guān)鍵詞組合搜索方法。
考慮兩種圖像搜索結(jié)果—基于輸入的關(guān)鍵詞的搜索結(jié)果和基于用戶建立的查詢圖像的搜索結(jié)果。也就是，通過組合每個(gè)具有輸入關(guān)鍵詞的目標(biāo)圖像的匹配點(diǎn)和每個(gè)目標(biāo)圖像與查詢圖像之間的相似度，可以得出每個(gè)目標(biāo)圖像的最終相似度，在得到的最終相似度的基礎(chǔ)上，可提取出搜索結(jié)果。用戶從基于最終相似度的搜索結(jié)果的圖像中選擇一個(gè)或多個(gè)認(rèn)為與要找的圖像相似的圖像。在所選圖像的基礎(chǔ)上，權(quán)重被提取出，并且所選圖像中的任何一個(gè)或多個(gè)被指定作為查詢圖像。
以指定的查詢圖像和提取出的權(quán)重為基礎(chǔ)進(jìn)行再次搜索操作來找到想要的圖像。
以上說明了三種類型的查詢—搜索方法。
接下來，在以上描述的本發(fā)明的圖像搜索方法的基礎(chǔ)上，將給出一種圖像搜索裝置的描述，參考圖3-11。
4.圖像搜索裝置的實(shí)施例1圖12是一個(gè)框圖，表明了按照本發(fā)明的圖像搜索裝置的第一個(gè)為了應(yīng)用如上所述的利用查詢圖像(由用戶建立的查詢圖像和由用戶選擇的查詢圖像)和特征信息/權(quán)重的圖像搜索方法，本發(fā)明的圖像搜索裝置包含一個(gè)用戶界面5，一個(gè)基于特征信息的搜索器6，一個(gè)在權(quán)重應(yīng)用的基礎(chǔ)上進(jìn)行搜索操作的權(quán)重應(yīng)用搜索器7，和一個(gè)在用戶選擇的相似圖像的基礎(chǔ)上計(jì)算權(quán)重的權(quán)重提取8，用以學(xué)習(xí)和應(yīng)用權(quán)重。用戶界面5包含一個(gè)查詢圖像生成器5a，允許用戶建立查詢圖像，一個(gè)查詢圖像選擇器5b，允許用戶選擇認(rèn)為與要找圖像相似的圖像作為查詢圖像，和一個(gè)搜索結(jié)果窗口5c，用來顯示搜索結(jié)果。
圖12的圖像搜索裝置在上述的用戶建立的查詢圖像、由用戶選擇的查詢圖像、特征信息和權(quán)重的基礎(chǔ)上進(jìn)行圖像查詢方法。
也就是，查詢圖像生成器5a的功能允許用戶建立查詢圖像并使用建立的查詢圖像作為粗略搜索的查詢?cè)亍２樵儓D像選擇器5b的功能允許用戶選擇并使用一個(gè)或多個(gè)查詢圖像作為粗略搜索或再次搜索的查詢?cè)?。搜索結(jié)果窗口5c的作用是顯示搜索結(jié)果。基于特征信息的搜索器6結(jié)合特征信息進(jìn)行一個(gè)圖像搜索操作。權(quán)重應(yīng)用搜索器7在應(yīng)用權(quán)重提取器8計(jì)算出的權(quán)重的基礎(chǔ)上進(jìn)行搜索操作。權(quán)重提取器8在用戶選擇的相似圖像的基礎(chǔ)上計(jì)算權(quán)重以學(xué)習(xí)和應(yīng)用權(quán)重。
5.圖像搜索裝置的實(shí)施例1圖13是一個(gè)框圖，表明了按照本發(fā)明的圖像搜索裝置的第二個(gè)圖13的第二個(gè)實(shí)施例與圖12的第一個(gè)實(shí)施例在結(jié)構(gòu)上是基本相同的，除了包含關(guān)鍵詞查詢單元9a，用戶界面9和基于關(guān)鍵詞的搜索器10分別代替了包含查詢圖像的器5a，用戶界面5和基于特征信息的搜索器6，以使用關(guān)鍵詞代替建立的查詢圖像來執(zhí)行的圖像搜索方法。
查詢圖像選擇器9b，搜索結(jié)果窗口9c，權(quán)重應(yīng)用搜索器11和權(quán)重提取器12和圖12中的那些相同。
因此，圖13中的圖像搜索裝置可以執(zhí)行本發(fā)明的圖像搜索方法，其中使用一個(gè)關(guān)鍵詞作為查詢?cè)亍?br> 6.圖像搜索裝置的實(shí)施例3圖14是一個(gè)框圖，表明了按照本發(fā)明的圖像搜索裝置的第三個(gè)這個(gè)圖像搜索裝置執(zhí)行以上提到的第三種圖像搜索方法(3，3.1，3.2或3.3)，在組合利用用戶建立的查詢圖像進(jìn)行的粗略搜索和利用用戶輸入的關(guān)鍵詞進(jìn)行的粗略搜索的基礎(chǔ)上，進(jìn)行粗略的搜索操作。
在圖14的圖像搜索裝置中，用戶界面13包含一個(gè)查詢圖像生成器13a，關(guān)鍵詞查詢單元13b，查詢圖像選擇器13c和搜索結(jié)果窗口13d。在這種情況下，搜索單元14包含基于特征信息的搜索器14a，用來計(jì)算目標(biāo)圖像和查詢圖像之間的相似度并在算出的相似度的基礎(chǔ)上進(jìn)行搜索操作；基于關(guān)鍵詞的搜索器14b，用來在輸入的關(guān)鍵詞的基礎(chǔ)上進(jìn)行搜索操作；和搜索器14c，用來在組合基于圖像的查詢的搜索結(jié)果和基于關(guān)鍵詞的搜索結(jié)果的基礎(chǔ)上，計(jì)算出最終的相似度，并以算出的相似度為基礎(chǔ)提取出搜索結(jié)果。因此，圖14所示的圖像搜索裝置，可以通過利用基于用戶建立的查詢圖像的搜索和基于輸入的關(guān)鍵詞的搜索這兩者來進(jìn)行圖像搜索操作。
這里，權(quán)重應(yīng)用搜索器15和權(quán)重提取器16與以上提到的相同。
從以上的描述可以看出，本發(fā)明提供了一種圖像搜索方法，可以在用戶建立的查詢圖像或關(guān)鍵詞的基礎(chǔ)上進(jìn)行初步的搜索，允許用戶容易地找出多個(gè)查詢圖像，然后在由用戶找出的多個(gè)查詢圖像的基礎(chǔ)上進(jìn)行二次搜索。因此，按照實(shí)際圖像搜索應(yīng)用，本圖像搜索方法與傳統(tǒng)的圖像搜索方法相比更有實(shí)際的使用價(jià)值。
也就是，在傳統(tǒng)的圖像搜索方法中，為得到高的性能而進(jìn)行基于圖像的查詢搜索操作，導(dǎo)致要找到一個(gè)合適的初始查詢圖像很困難。而且，在使用關(guān)鍵詞或建立的查詢圖像來進(jìn)行初步搜索時(shí)，很難找出想要的圖像。然而，本發(fā)明解決了這些問題。
本發(fā)明順序地組合和有效地利用查詢方法。為此，以建立的圖像或關(guān)鍵詞為基礎(chǔ)進(jìn)行初步搜索，然后以從搜索結(jié)果中選擇的查詢圖像為基礎(chǔ)進(jìn)行再次搜索。為最優(yōu)化研究，多個(gè)查詢圖像被選擇，在選擇的查詢圖像的基礎(chǔ)上，適宜于當(dāng)前查詢的權(quán)重可自動(dòng)地計(jì)算出。結(jié)果是，本發(fā)明給用戶提供了方便和高的搜索性能。
尤其是，本發(fā)明可實(shí)際應(yīng)用于互聯(lián)網(wǎng)上的網(wǎng)頁搜索，并可以非常有效地應(yīng)用于多媒體數(shù)據(jù)庫，或最近廣泛研究的多服務(wù)器圖像搜索中。
盡管以上出于說明的目的公布了本發(fā)明的優(yōu)選實(shí)施例，但是可以理解，在不脫離由所附權(quán)利要求書限定的本發(fā)明范圍和實(shí)旨的情況下，各種修改、增加和替換都是可能的。
權(quán)利要求
1.一種圖像搜索方法，包含步驟a)在用戶建立的作為查詢圖像的圖像的基礎(chǔ)上，搜索想要找的圖像；b)允許用戶從所述的想要的圖像的搜索結(jié)果中選擇一個(gè)或多個(gè)與所述的想要的圖像相似的圖像；以及c)指定選擇的相似圖像作為查詢圖像并在指定的查詢圖像的基礎(chǔ)上再次搜索所述的想要的圖像。
2.如權(quán)利要求1所述的圖像搜索方法，其中所述的步驟c)包含以下步驟在用戶選擇的所述相似圖像的基礎(chǔ)上計(jì)算特征信息權(quán)重，并在算出的特征信息權(quán)重的基礎(chǔ)上進(jìn)行再次搜索。
3.如權(quán)利要求1所述的圖像搜索方法，其中所述的步驟c)包含步驟d)在選擇共同包含在用戶選擇的所述相似圖像中的文字信息和低級(jí)特征信息中的任何一個(gè)或其組合、所述文字信息和低級(jí)特征信息的順序組合、和所述文字信息的可用性的基礎(chǔ)上，進(jìn)行再次搜索。
4.如權(quán)利要求3所述的圖像搜索方法，其中所述的步驟d)包括通過計(jì)算用戶選擇的所述相似圖像中共同包含的特定關(guān)鍵詞的出現(xiàn)率來得到所述的文字信息的可用性的步驟。
5.如權(quán)利要求3所述的圖像搜索方法，其中所述的步驟d)包括如果所述的文字信息可用性大于預(yù)定的閾值，則以共同包含在用戶選擇的所述相似圖像中的文字信息為基礎(chǔ)，以及如果所述的文字信息可用性不大于預(yù)定的閾值，則以所述的低級(jí)特征信息為基礎(chǔ)，進(jìn)行再次搜索的步驟。
6.如權(quán)利要求3所述的圖像搜索方法，其中為了在順序組合所述文字信息和低級(jí)特征信息的基礎(chǔ)上進(jìn)行再次搜索，所述的步驟d)包含以下步驟計(jì)算所述文字信息的可用性；計(jì)算所述特征信息的權(quán)重；依照所述文字信息可用性按比例計(jì)算所述文字信息的權(quán)重；通過相加基于所述反映算出的特征信息權(quán)重和文字信息權(quán)重的特征信息的每個(gè)目標(biāo)圖像的相似度和每個(gè)目標(biāo)圖像的文字匹配點(diǎn)，得到每個(gè)目標(biāo)圖像的最終相似度；以及按照算出的最終相似度遞減的順序，輸出搜索結(jié)果。
7.一種圖像搜索方法，包含步驟a)響應(yīng)于用戶的查詢輸出候選的相似圖像；b)允許用戶從所述的候選相似圖像中選擇認(rèn)為與要找的圖像相似的圖像；以及c)計(jì)算包含在所選的相似圖像中的文字信息的可用性，確定作為計(jì)算結(jié)果的下一個(gè)查詢?cè)?，并在確定的查詢?cè)氐幕A(chǔ)上進(jìn)行再次搜索操作。
8.如權(quán)利要求7所述的圖像搜索方法，其中所述的根據(jù)所述文字信息可用性而確定的下一個(gè)查詢?cè)厥撬鑫淖中畔⒑偷图?jí)特征信息中的任何一個(gè)或它們的組合，或所述文字信息和低級(jí)特征信息的順序組合。
9.一種圖像搜索方法，包含步驟a)以關(guān)鍵詞為基礎(chǔ)，搜索想要找的圖像；b)從所述想要的圖像的搜索結(jié)果中選擇與所述想要的圖像相似的圖像；以及c)指定所選擇的相似圖像作為查詢圖像，并在指定的查詢圖像的基礎(chǔ)上再次搜索所述的想要的圖像。
10.如權(quán)利要求9所述的圖像搜索方法，其中所述的步驟c)包含以下步驟在用戶選擇的所述相似圖像的基礎(chǔ)上計(jì)算特征信息權(quán)重，并在算出的特征信息權(quán)重的基礎(chǔ)上進(jìn)行再次搜索。
11.一種圖像搜索方法，包含步驟a)允許用戶創(chuàng)建查詢圖像和輸入關(guān)鍵詞；b)以創(chuàng)建的查詢圖像和輸入的關(guān)鍵詞為基礎(chǔ)，進(jìn)行粗略搜索；c)從粗略搜索的結(jié)果中選擇與想要找的圖像相似的圖像；以及d)指定一個(gè)或多個(gè)所選的相似圖像作為查詢圖像，并以指定的查詢圖像為基礎(chǔ)進(jìn)行再次搜索。
12.如權(quán)利要求11所述的圖像搜索方法，其中所述的步驟b)包含步驟以所述的用戶輸入的關(guān)鍵詞為基礎(chǔ)進(jìn)行搜索操作；以及在用戶建立的所述查詢圖像的基礎(chǔ)上，對(duì)基于所述用戶輸入的關(guān)鍵詞的搜索結(jié)果進(jìn)行搜索操作，以輸出粗略搜索的結(jié)果。
13.如權(quán)利要求11所述的圖像搜索方法，其中所述的步驟b)包含步驟以所述的用戶建立的查詢圖像為基礎(chǔ)進(jìn)行搜索操作；以及在所述的用戶輸入的關(guān)鍵詞的基礎(chǔ)上，對(duì)基于所述的用戶建立的查詢圖像的搜索結(jié)果進(jìn)行搜索操作，以輸出粗略搜索的結(jié)果。
14.如權(quán)利要求11所述的圖像搜索方法，其中所述的步驟b)包含步驟同時(shí)進(jìn)行基于用戶建立的所述查詢圖像和基于用戶輸入的所述關(guān)鍵詞的搜索操作；以及在所述的建立的查詢圖像和關(guān)鍵詞信息匹配點(diǎn)的基礎(chǔ)上，組合相似度來輸出粗略搜索結(jié)果。
15.如權(quán)利要求11所述的圖像搜索方法，其中所述的步驟c)包含，在所述的用戶選擇的相似圖像的基礎(chǔ)上計(jì)算特征信息權(quán)重，并在算出的特征信息權(quán)重的基礎(chǔ)上進(jìn)行再次搜索的步驟。
16.一種圖像搜索裝置，包含用戶界面裝置，用于在查詢?cè)氐幕A(chǔ)上順序地和分級(jí)地組合和輸入不同類型的用于圖像搜索的查詢?cè)?；以及搜索裝置，以所述的由用戶界面裝置輸入的查詢?cè)貫榛A(chǔ)進(jìn)行圖像搜索，以輸出相應(yīng)于所述查詢?cè)氐捻樞虻暮头旨?jí)的組合的搜索結(jié)果。
17.如權(quán)利要求16所述的圖像搜索裝置，其中所述的查詢?cè)厥怯捎脩艚⒌牟樵儓D像、由用戶而來的查詢圖像和圖像描述文字中的兩種。
18.如權(quán)利要求17所述的圖像搜索裝置，其中所述的用戶界面裝置選擇性地包括查詢圖像生成器、查詢圖像選擇器和對(duì)應(yīng)于所述查詢?cè)氐年P(guān)鍵詞查詢單元。
19.如權(quán)利要求17所述的圖像搜索裝置，進(jìn)一步包含權(quán)重提取裝置，以所述用戶界面裝置選擇的多個(gè)相似圖像為基礎(chǔ)，計(jì)算特征信息權(quán)重；權(quán)重應(yīng)用搜索裝置，以所述權(quán)重提取裝置計(jì)算出的所述特征信息權(quán)重的應(yīng)用為基礎(chǔ)，進(jìn)行搜索操作。
20.如權(quán)利要求17所述的圖像搜索裝置，進(jìn)一步包含搜索信息確定裝置，以所述的用戶界面裝置選擇的多個(gè)相似圖像為基礎(chǔ)，確定文字信息和低級(jí)特征信息中的哪一個(gè)將被用于作為下一步搜索的查詢?cè)亍?br> 21.一種圖像搜索方法，包含以下步驟a)輸入一個(gè)用于粗略搜索的查詢；b)以輸入的查詢?yōu)榛A(chǔ)，進(jìn)行粗略搜索；c)從所述粗略搜索的結(jié)果中選擇與想要找的圖像相似的圖像；以及d)指定一個(gè)或多個(gè)所選的相似圖像作為查詢圖像，并以指定的查詢圖像為基礎(chǔ)進(jìn)行再次搜索。
22.如權(quán)利要求21所述的圖像搜索方法，其中所述的用于粗略搜索的查詢是基于用戶輸入的關(guān)鍵詞或用戶創(chuàng)建的查詢圖像。
23.如權(quán)利要求21所述的圖像搜索方法，其中所述的步驟d)包含以從用戶選出的相似圖像中提取出的特征信息權(quán)重或共同包含在用戶選擇的相似圖像中的文字信息的可用性為基礎(chǔ)進(jìn)行再次搜索的步驟。
全文摘要
一種圖像搜索方法,包含:以用戶建立的作為查詢圖像的圖像為基礎(chǔ),搜索要找的圖像的步驟,允許用戶從搜索結(jié)果中選擇一個(gè)或多個(gè)與想要的圖像相似的圖像的步驟,和指定選擇的相似圖像作為查詢圖像并以指定的查詢圖像為基礎(chǔ)進(jìn)行想要圖像的再次搜索的步驟。
文檔編號(hào)G06F17/30GK1378159SQ02107880
公開日2002年11月6日 申請(qǐng)日期2002年3月26日 優(yōu)先權(quán)日2001年3月26日
發(fā)明者李振秀, 金賢俊 申請(qǐng)人:Lg電子株式會(huì)社