專利名稱：一種圖像檢索中視覺單詞的提取方法
技術(shù)領(lǐng)域：
本發(fā)明屬于多媒體信息檢索、數(shù)據(jù)挖掘和模式識別等信息檢索領(lǐng)域，具體涉及一種圖像檢索中視覺單詞的提取方法。
背景技術(shù)：
基于內(nèi)容的圖像檢索技術(shù)通過對圖像顏色、紋理、形狀等特征進行分析進行檢索，檢索結(jié)果在視覺上體現(xiàn)出與查詢圖像的相關(guān)性。圖像的視覺特征可以分為全局特征和局部特征向量。全局圖像特征表達了圖像整體特征的全局統(tǒng)計，對圖像中物體的位置和尺度變化等較為敏感，如顏色直方圖、圖像紋理分布或者圖像區(qū)域的形狀特征等。圖像的局部特征向量一般是基于圖像中具有豐富的紋理的點或者區(qū)域的位置、方向、尺度等參數(shù)，對每個特征點或區(qū)域的周圍提取圖像塊中所有像素的統(tǒng)計量的描述。常用的局部特征向量描述包括基于梯度直方圖的SIFT (尺度不變特征變換)、GLOH (梯度位置及方向直方圖)等，它們不但具有很強的可區(qū)分性，可以區(qū)分不同的圖像內(nèi)容，同時也能容忍一定程度的圖像噪聲與特征檢測帶來的誤差。目前多數(shù)前沿的基于局部特征向量的圖像檢索或分類利用圖像的視覺詞袋模型來實現(xiàn)系統(tǒng)的可擴展性。視覺詞袋模型預(yù)先利用訓(xùn)練圖像的局部特征向量形成“視覺詞表”，并利用該“視覺詞表”對圖像局部特征向量進行量化，將相似的圖像局部特征向量近似的表示為它們的聚類中心-“視覺單詞”。由此，圖像被表示為一組“視覺單詞”的集合。隨后，人們利用倒排索引表存儲圖像的“視覺單詞”，并利用文本檢索中的TF-1DF模型對圖像進行檢索?？梢钥吹皆诨诰植刻卣鞯膱D像檢索中，視覺單詞量化結(jié)果對于最終的檢索結(jié)果有著重大的影響。通常的視覺單詞·表示方法采用k-means算法對特征樣本訓(xùn)練集進行聚類，每一個聚類中心對應(yīng)于一個視覺單詞，所有視覺單詞組成視覺詞典。Jurie等人結(jié)合在線聚類和Mean-Shift兩種方法的有點,產(chǎn)生更加均勻的視覺單詞；Nister等人通過層級k-means方法構(gòu)造視覺單詞樹，在圖像表示過程中使用更多的視覺單詞成為可能;M00smann等人考慮隨機森林算法，能有效的提聞視覺詞典的生成效率。圖像的局部特征向量維數(shù)較高，在進行向量之間的相似性比較時承受著維數(shù)災(zāi)難:隨著維數(shù)的增加，局部特征的向量分布變得稀疏，并且大部分向量產(chǎn)生高相關(guān)距離。這就降低了視覺模式的比較性和普適性。二值化后的局部特征增強了局部特征向量的空間利用率，并保持了局部特征向量的穩(wěn)定性和信息量。但之前的研究中沒有對二值化后的局部特征向量進行視覺單詞提取的。參考文獻1.J.Philbin, 0.Chum, M.1sard, J.Sivic, and A.Zisserman.0bject retrievalwith large vocabularies and fast spatial matching.1n Proc.CVPR,2007.
2.J.Sivic and A.Zisserman, Video Google:A Text Retrieval Approachto Object Matching in Videos, Proc.Ninth Int’ I Conf.Computer Vision,2003,pp.1470-1478.

發(fā)明內(nèi)容
本發(fā)明的目的在于提出一種基于二值化后的局部特征向量視覺單詞提取的方法，通過對圖像庫中的局部特征向量集合進行二值化，得到特征獨特性和信息量保持的二值局部特征向量，在向量空間上提高特征的空間利用率，有利于提高視覺單詞的獨特性，并通過快速計算二值特征的漢明距離在之后的檢索或分類應(yīng)用中提高計算的速度和減小存儲的代價。本發(fā)明的總體思想如下:首先提取圖像庫中所有圖像的局部特征向量，進行抽樣得到局部特征向量向量集合，對特征向量集合中的特征進行統(tǒng)計分析，得到局部特征向量每個維度上的中值，保存中值并將中值作為閾值對所有局部特征向量進行二值化，之后對圖像庫的局部特征向量向量集合進行聚類，將聚類中心作為視覺詞表。利用之前保存的特征維度上中值作為閾值，將視覺詞表對應(yīng)的局部特征向量向量進行二值化。在提取每幅圖像的視覺單詞時，首先利用維度中值將單幅圖像上的局部特征向量向量集合進行二值化，然后將二值局部特征向量向量在二值視覺詞表中查找最近鄰，將最近鄰的視覺單詞作為該局部特征向量向量最終對應(yīng)的視覺單詞。具體創(chuàng)新點:本方法將利用二值化特征提高向量空間利用率來增強局部特征向量向量的獨特性，保持了局部特征向量的信息量和獨特性，進而提高視覺單詞的獨特性，又提高了特征的計算效率和存儲效率。本發(fā)明的具體 方法步驟為:I提取圖像庫中所有圖像的局部特征，得到特征樣本訓(xùn)練集F = {f:, f2，...，fffl}，m表示圖形的數(shù)目，fi表示圖像i的局部特征向量集合，fi可以表示為fi = {tn, ti2,...,tiffl}，m表示圖像的局部特征向量數(shù)目，tiffl表示圖像i的第m個特征；2對特征樣本訓(xùn)練集中局部特征向量在每個維度上進行統(tǒng)計，得到每個維度上的中值B = {b1； b2,...bn}, n代表局部特征的維度，ht表示維度i上的中值；3對特征樣本訓(xùn)練集進行聚類訓(xùn)練，得到聚類中心作為“視覺詞表I = {Vl, V2,..，vk}，k表示聚類的數(shù)目，即視覺詞表的大小。Vi表示視覺單詞i對應(yīng)的局部特征向量表示；4利用步驟2中得到的維度中值作為閾值，將視覺詞表V中的向量進行二值化，得到二值化的視覺詞表尸={vf,v26，...,<}；5對單幅圖像，提取其局部特征向量集合f，并利用步驟2中的維度中值作為閾值，對每個特征向量進行二值化，得到二值化的特征向量集合fb ;6取出單幅圖像的二值化特征向量集合fb中的每個二值化特征向量，與4中的二值化視覺詞表中的二值化向量進行比較，將距離最近或最相似的二值化向量對應(yīng)的視覺單詞作為該二值化特征對應(yīng)的視覺單詞。上述方法中，步驟I所述的圖像局部特征向量，包括SIFT、SURF、GL0H、MSER、角點特征這些能夠表達圖像局部顯著區(qū)域的特征。


附圖為圖像的視覺單詞提取過程圖。
具體實施例方式本實施例的技術(shù)方案如下:如附圖所示，首先提取圖像庫中所有圖像的局部特征向量，得到特征樣本訓(xùn)練集，例如提取圖像的SIFT特征。再對特征訓(xùn)練樣本集中的特征向量每一維度上的特征分量進行統(tǒng)計，得到每一維度上的中值。SIFT特征有128維，且每一維度上的取值為0，1，...，255統(tǒng)計每一維度上的中值bpi表示維度，得到維度中值B = Ib1,
bg， ，bn} o之后對特征樣本訓(xùn)練集進行k均值聚類，得到k個聚類中心，每個聚類中心對應(yīng)一個具有獨特性的視覺單詞，這些視覺單詞就構(gòu)成了視覺詞表V = Iv1, V2, , vj之后將視覺詞表中視覺單詞對應(yīng)的特征向量，即聚類中心特征向量，利用之前的
維度中值作為閾值，將其轉(zhuǎn)化成為二值化的視覺詞表V26轉(zhuǎn)化公式為:
權(quán)利要求
1.一種圖像檢索中視覺單詞的提取方法，其特征在于，包括以下步驟: 1.1提取圖像庫中所有圖像的局部特征，得到特征樣本訓(xùn)練集F= {f\，f2，...，fm}，m表示圖形的數(shù)目，fi表示圖像i的局部特征向量集合，fi可以表示為fi = Itil, ti2,..., tim},m表示圖像的局部特征向量數(shù)目，tim表示圖像i的第m個特征； 1.2對特征樣本訓(xùn)練集中局部特征向量在每個維度上進行統(tǒng)計，得到每個維度上的中值B = {b1； b2,...bj , n代表局部特征的維度，ht表示維度i上的中值； 1.3對特征樣本訓(xùn)練集進行聚類訓(xùn)練，得到聚類中心作為“視覺詞表” V = {Vl，V2,...,vj , k表示聚類的數(shù)目，即視覺詞表的大小。Vi表示視覺單詞i對應(yīng)的局部特征向量表示；1.4利用1.2中得到的維度中值作為閾值，將視覺詞表V中的向量進行二值化，得到二值化的視覺詞表P ={v>2\...,心； 1.5對單幅圖像，提取其局部特征向量集合f，并利用1.2中的維度中值作為閾值，對每個特征向量進行二值化，得到二值化的特征向量集合fb ; 1.6取出單幅圖像的二值化特征向量集合fb中的每個二值化特征向量，與1.4中的二值化視覺詞表中的二值化向量進行比較，將距離最近或最相似的二值化向量對應(yīng)的視覺單詞作為該二值化特征對應(yīng)的視覺單詞。
2.一種圖像檢索中視覺單詞的提取方法，其特征在于:步驟1.1所述的圖像局部特征，包括SIFT、SURF、GLOH、MSER、角點 特征這些能夠表達圖像局部顯著區(qū)域的特征。
全文摘要
本發(fā)明公開了一種圖像檢索中視覺單詞的提取方法，屬于多媒體信息檢索、模式識別等智能信息處理領(lǐng)域。本發(fā)明通過對圖像庫中的局部特征集合進行二值化，得到特征獨特性和信息量保持的二值局部特征，在向量空間上提高特征的空間利用率，有利于提高視覺單詞的獨特性，并通過快速計算二值特征的漢明距離在之后的檢索或分類應(yīng)用中提高計算的速度和減小存儲的代價。
文檔編號G06K9/62GK103235955SQ20131015918
公開日2013年8月7日 申請日期2013年5月3日 優(yōu)先權(quán)日2013年5月3日
發(fā)明者黃祥林, 呂慧, 陳明祥, 楊麗芳, 范瑛, 張璐, 邢承磊 申請人:中國傳媒大學(xué), 新華通訊社