一種圖像視覺和文本語義融合商品檢索方法
【專利摘要】本發(fā)明公開了一種基于圖像視覺和文本語義融合商品圖像檢索方法，該方法首先對檢索商品圖通過分割，在圖像庫中根據(jù)視覺匹配進行相似度度量檢索，得到一系列的視覺相似結(jié)果集，根據(jù)檢索商品的文本信息通過文本相似度檢索，得到一系列的文本相似商品結(jié)果集，然后對視覺檢索的相似結(jié)果集進行文本相似度度量，合并視覺和文本相似結(jié)果集，得到綜合相似商品集，使用視覺特征統(tǒng)一進行視覺相似分度量，最后對綜合商品集中的商品進行質(zhì)量分度量，在展示輸出時，對文本相似分和視覺相似分、商品質(zhì)量分三個因子進行加權(quán)計算，優(yōu)化排序結(jié)果。本發(fā)明提高了檢索的商品相似性，進一步滿足了對用戶推薦商品的需求，具有很強的擴展性，對于任何商品類目均可兼容。
【專利說明】一種圖像視覺和文本語義融合商品檢索方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像搜索【技術(shù)領(lǐng)域】，尤其涉及一種圖像視覺和文本語義融合商品檢索 方法。

【背景技術(shù)】
[0002]隨著多媒體信息技術(shù)和互聯(lián)網(wǎng)技術(shù)的發(fā)展，特別是大規(guī)模數(shù)字圖像庫的出現(xiàn)，圖 像信息越來越得到重視。而如何管理飛速增長的圖像信息，并從海量的圖像集合中快速有 效的查找出人們感興趣的圖像成為了具有廣泛實際意義的工作。
[0003]目前主流的圖像檢索方法大致可以分為兩大類，即基于關(guān)鍵詞的圖像檢索（TBIR) 和基于內(nèi)容的圖像檢索（CBIR)，圖像主要包含兩種類型的信息，一種是圖像本身所包含的 豐雖的視覺/[目息，另一種是圖像所在網(wǎng)頁包含的豐富的文本信息。TBIR僅僅使用從文本信 息中抽取的文本特征索引和檢索圖像，而CBIR僅僅使用從圖像視覺信息中抽取的低層視 覺特征索引和檢索用戶。顯然，要較好地滿足用戶檢索商品圖像的需求，在圖像檢索過程中 必須充分利用并融合上述兩種不同類型的信息。
[00^4]對商品檢索來講，用戶上傳或是點擊一個商品圖，期望能找到與其相同或是相似 的高質(zhì)量的商品推薦。所以在相似的基礎(chǔ)上，還要考慮到推薦商品的優(yōu)劣，提高推薦服務(wù)意 義。


【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的利用文本信息和圖像視覺特征信息，提供一種圖像視覺和文本語義 融合商品檢索方法。
[0006] 本發(fā)明的目的是通過以下技術(shù)方案來實現(xiàn)的，
[0007] 1· -種圖像視覺和文本語義融合商品檢索方法，包括如下步驟：
[0008] ⑴視覺相似圖像集的篩選，具體為：
[0009] 1. 1通過分水嶺圖像分割的方法，提取待檢索商品圖像和商品圖像庫中的圖像的 前景（商品主體），然后針對商品主體圖像，提取視覺特征；所述視覺特征包括顏色特征和 紋理特征，其中顏色特征米用顏色直方圖描述符CHD、顏色結(jié)構(gòu)描述符CSD、顏色布局描述 符CLD ;紋理特征米用了 MPEG_7的邊緣直方圖描述符EHD、GIST特征、梯度直方圖H0G特征； 將以上6種視覺特征對商品進行特征提取，并保存到特征庫； ^
[0010] 1. 2使用加權(quán)度量方法，對待檢索的圖像特征向量與圖像庫中的任一圖像的特征 向量進行視覺相似度度量，相似度距離DSim通過以下公式得到：
[0011 ] DSim - wGSD*DCSD+wGLD*DaD+w腦其中，D Sim是相似度距 尚' D〇id' Dcsd' Dcld，D腦，DGIST, DHQG分別疋彳寸檢索商品圖像和商品圖像庫中的任一圖像的對應(yīng) 的6個視覺特征歸一化后的距離，Wcs D，wCLD，wEffl)，weiST，WCHD，W HQ。分別是對應(yīng)的視覺特征的權(quán) 重；
[0012] 1· 3將待檢索的圖像與圖像庫中的所有圖像的視覺特征向量進行視覺相似度度 量，得到一系列相似度距離的集合{DSim};將集合{DSim}中的相似度距離按照從小到大排 序，將排名靠前的前1〇〇個圖像結(jié)果，選定為從商品圖像庫中篩選出視覺相似圖像集，對應(yīng) 的商品集為視覺相似商品集；
[0013] 1. 4根據(jù)步驟1. 3篩選出的視覺相似商品集，從商品庫中獲取各個商品圖像對應(yīng) 的有效文本信息詞匯（word)作為文本信息特征；所述有效文本信息詞匯來源于屬性描述；
[0014] 1· 5對步驟1. 4提取的視覺相似商品集中文本信息特征與待檢索商品圖像的文本 信息進行文本相似度量，得到文本相似分；
[0015] 根據(jù)實際應(yīng)用場景，文本相似分TextSimilarity通過以下公式得到：
[0016] TextSimilarity = QueryNorm(Q)*Coord(Q, D)*VSM(Q, D)
[0017] 其中，Q為待檢索圖像的文本信息特征，D為任意一條商品庫索引中的文本信息特 征，Q和D均表不為屬性詞（word)的集合；
[0018]

【權(quán)利要求】
1. 一種圖像視覺和文本語義融合商品檢索方法，其特征在于，包括如下步驟： (1) 視覺相似圖像集的篩選，具體為： 1. 1通過分水嶺圖像分割的方法，提取待檢索商品圖像和商品圖像庫中的圖像的前 景（商品主體），然后針對商品主體圖像，提取視覺特征；所述視覺特征包括顏色特征和紋 理特征，其中顏色特征采用顏色直方圖描述符CHD、顏色結(jié)構(gòu)描述符CSD、顏色布局描述符 CLD ;紋理特征采用了 MPEG-7的邊緣直方圖描述符EHD、GIST特征、梯度直方圖HOG特征； 將以上6種視覺特征對商品進行特征提取，并保存到特征庫； 1.2使用加權(quán)度量方法，對待檢索的圖像特征向量與圖像庫中的任一圖像的特征向量 進行視覺相似度度量，相似度距離DSim通過以下公式得到： Dsim - ^SD^DcSD^CLD^DcLD^EHD^DeHD^GIST^Dg ist+wchd*Dchd+wH(X*D hog 其中，DSim是相似度距離， Doro，Dcsd，DaD，D_，DeiST，DH(K分別是待檢索商品圖像和商品圖像庫中的任一圖像的對應(yīng)的6 個視覺特征歸一化后的距離，W esD，WaD，WEHD，WeIST，Won), wH(X；分別是對應(yīng)的視覺特征的權(quán)重； 1.3將待檢索的圖像與圖像庫中的所有圖像的視覺特征向量進行視覺相似度度量，得 到一系列相似度距離的集合{D Sim};將集合{DSim}中的相似度距離按照從小到大排序，將排 名靠前的前100個圖像結(jié)果，選定為從商品圖像庫中篩選出視覺相似圖像集，對應(yīng)的商品 集為視覺相似商品集； 1. 4根據(jù)步驟1. 3篩選出的視覺相似商品集，從商品庫中獲取各個商品圖像對應(yīng)的有 效文本信息詞匯（word)作為文本信息特征；所述有效文本信息詞匯來源于屬性描述； 1. 5對步驟1. 4提取的視覺相似商品集中文本信息特征與待檢索商品圖像的文本信息 進行文本相似度量，得到文本相似分； 根據(jù)實際應(yīng)用場景，文本相似分TextSimilarity通過以下公式得到： TextSimilarity = QueryNorm(Q)*Coord(Q, D)*VSM(Q, D) 其中，Q為待檢索圖像的文本信息特征，D為任意一條商品庫索引中的文本信息特征，Q 和D均表示為屬性詞（word)的集合；
J檢索條件的度量分，表征單次檢索的復(fù)雜 度；idf (word) = In(索引中的文檔數(shù)/索引中word出現(xiàn)的次數(shù)），為逆向文本頻率； Coord(Q，D) = |Q Π D|/|Q|，表示商品庫中索引文本和待檢索圖像的文本信息特征的重合
度；^用于表達重合詞的權(quán)重； Μ (2) 文本相似商品集的篩選，具體為： 2. 1對待檢索商品圖像的文本信息作為檢索語義信息，通過文本相似性，對商品庫中的 所有商品進行文本相似分度量，文本相似分的計算同步驟1. 5 ; 將文本相似分TextSimilarity按照從大到小排序，取排名靠前的前100個結(jié)果，選定 為從商品庫中篩選出文本相似商品集； 2. 2對步驟2. 1篩選出文本相似商品集中的商品圖像提取圖像集視覺特征信息；視覺 特征信息方法同步驟1. 1 ; (3) 合并步驟1. 3篩選的視覺相似商品集和步驟2. 1篩選的文本相似商品集，得到相似 商品集，并對相似商品集進行視覺相似度計算，視覺相似度計算方法同步驟1 ; (4)將相似商品集中的文本相似分Ts和視覺相似分Vs分別進行歸一化處理，然后計算 商品集的ts和vs的平均分Tm和vm，篩選出高相似商品集{t s彡Tm n vs彡vm}，對高相似商 品集{ts彡τπ n vs彡vm}中的商品進行商品質(zhì)量分從高到低排序，排序方法為： 根據(jù)高相似商品集{ts彡τπ n vs彡vm}中每個商品的信息描述，對價格、銷量、評論數(shù) 量、店鋪等級進行度量，統(tǒng)一得到商品質(zhì)量分；分別對各個因子采用歸一化處理，處理方法 同步驟3 ;得到商品質(zhì)量分ps :ps = pa+pa+p^+pa ; Pi為價格歸一化后的分?jǐn)?shù)，價格越高，分?jǐn)?shù)越小，Wi為價格的權(quán)重；p2為銷量歸一化后 的分?jǐn)?shù)，銷量越高，分?jǐn)?shù)越大，w2為銷量的權(quán)重；P3為評論數(shù)量歸一化后的分?jǐn)?shù)，評論數(shù)量越 高，分?jǐn)?shù)越大，w 3為評論數(shù)量的權(quán)重；P4為店鋪等級歸一化后的分?jǐn)?shù)，店鋪等級越高，分?jǐn)?shù)越 大，w4為店鋪等級的權(quán)重。
【文檔編號】G06F17/30GK104298749SQ201410541875
【公開日】2015年1月21日 申請日期:2014年10月14日 優(yōu)先權(quán)日:2014年10月14日
【發(fā)明者】張繼霞, 陳永健, 黃琦 申請人:杭州淘淘搜科技有限公司