點Ck的主方向特征:β(1〇= | 0k-0i|,量化為
B為量化因子;量化用于對該特征進行壓縮,減少存儲空間;主方向特征中 減去特征點i的主方向可保證該特征具有旋轉(zhuǎn)不變性;
[0031] 2-3-3.根據(jù)&的方位特征、主方向特征和視覺詞匯生成上下文描述子為:{qd(k), qa(k),VW k,ke[l,N]},并序列化為上下文描述子用于構(gòu)建圖像索引;序列化就是將N個上 下文中特征點的特征按一定的規(guī)則排列,并用字節(jié)序列進行表示和存儲。
[0032] (3)上下文描述子相似性計算部分主要根據(jù)上下文描述子中局部特征點的方位特 征、主方向特征和視覺詞匯一致性來驗證兩個上下文描述子中的局部特征點是否匹配,并 通過匹配的視覺詞匯的反文檔頻率(IDF)的和來評價兩個上下文描述子的相似性。視覺詞 匯的匹配通過視覺詞匯的擴展來增加匹配的可能性,提高上下文描述子的魯棒性。具體包 括以下步驟:
[0033] 3-1.對上下文中局部特征點的特征描述子進行視覺詞匯的擴展,也就是將其量化 為Μ個視覺詞匯;該視覺詞匯擴展通過獨立的在每個分組的詞典中選擇距離最近的Μ個量化 結(jié)果,然后通過排列組合,選擇排列組合中距離最小的Μ個量化結(jié)果的組合作為其擴展的視 覺詞匯集合;
[0034] 3-2.在給定兩個上下文描述子Context 1和Context2的情況下,基于視覺詞匯擴展 和視覺詞匯的反文檔頻率計算上下文相似性:具體的,遍歷上下文描述子Context 1和 C〇ntext2中的局部特征點,然后進行兩兩匹配,匹配過程中方位特征、主方向特征一致性通 過閾值來判斷;視覺詞匯的一致性通過視覺詞匯擴展來實現(xiàn);設上下文描述子的相似值為 MatchValue,存在一個局部特征點匹配就在MatchValue加上該特征點匹配視覺詞匯的反文 檔頻率。在進行上下文中特征點的視覺詞匯擴展時,可以選擇對兩個上下文描述子中視覺 詞匯都進行擴展,也可以僅僅對一個上下文描述子中視覺詞匯進行擴展;在上下文描述子 用于圖像檢索時,考慮到索引的空間需求,對索引的上下文描述子不進行擴展,僅存儲一個 視覺詞匯,但對查詢的上下文描述子進行擴展。具體執(zhí)行過程的偽代碼如下:
[0035:
[0036] 3-3 ·驗證 MatchValue,若 MatchValue 大于閾值 Th_MachedValue,則判定兩個上下 文描述子匹配,否則不匹配;
[0037] 本發(fā)明相對于現(xiàn)有技術(shù)具有以下有益效果:
[0038]本發(fā)明可以用于大規(guī)模圖像檢索,提高檢索的效率和準確率;同時通過該方法生 成的上下文描述子對圖像的縮放、旋轉(zhuǎn)、裁剪等圖像變換具有魯棒性。
【附圖說明】
[0039]圖1表示本發(fā)明的流程圖;
[0040]圖2(a)和2(b)上下文選擇樣例圖;
[0041 ]圖3選擇局部特征點的上下文結(jié)果示意圖;
[0042] 圖4上下文中局部特征點的方位和主方向特征示意圖;
[0043] 圖5上下文描述子的字節(jié)序列結(jié)構(gòu);
[0044] 圖6(a)和6(b)為上下文相似性驗證的視覺詞匯匹配效果圖。
【具體實施方式】
[0045]下面將結(jié)合附圖對本發(fā)明加以詳細說明,應指出的是,所描述的實施例僅便于對 本發(fā)明的理解,而對其不起任何限定作用。
[0046] 在本發(fā)明中,處理的局部特征點可以采用各種描述子進行表示,比如:SIFT (Scale-invariant feature transform,尺度不變特征轉(zhuǎn)換)、SURF、PCA-SIFT等;但是需要 局部特征點描述子具有位置、主方向、尺度、特征描述子四個信息。在此實施例中,處理的局 部特征描述子采用SIFT描述子。在以下的敘述中,局部特征點的描述子就是指SIFT,不再具 體指明。本實施例中主要介紹局部特征點的上下文描述子生成方法,并用上下文描述子驗 證來過濾不準確的視覺詞匯匹配。其可用于圖像檢索和基于局部特征點的圖像識別和檢測 方法中。
[0047] 下面將參考附圖進一步介紹本發(fā)明的實施例。
[0048]圖1是一個流程框圖,表示了本發(fā)明各個部分關(guān)系及其流程。一種視覺詞匯的上下 文描述子生成方法,具體包括如下部分:
[0049]離線學習部分、上下文描述子生成部分和上下文描述子相似性計算部分。離線學 習部分用于視覺詞匯詞典的構(gòu)建和視覺詞匯的評價。上下文描述子生成部分主要三個基本 步驟:(1)局部特征點的提取和特征描述子的量化;(2)局部特征點的上下文選擇;(3)上下 文中局部特征點的特征(方位、主方向、視覺詞匯)提取和上下文描述子的生成。上下文描述 子相似性計算部分依據(jù)上下文描述子中局部特征點的方位、主方向和視覺詞匯一致性來驗 證兩個上下文描述子中的局部特征點是否匹配,并通過匹配的視覺詞匯的反文檔頻率 (IDF)的和來評價兩個上下文描述子的相似性。
[0050] (1)圖1中離線學習部分主要包括:視覺詞匯詞典的構(gòu)建和視覺詞匯的評價。
[0051] 對于視覺詞匯詞典的構(gòu)建,本方法首先構(gòu)建一個圖像庫,圖像庫盡量涵蓋各種類 型的圖片,比如人物、風景、建筑等;然后提取圖像庫中圖像的局部特征點及其特征描述子, 將提取的特征描述子構(gòu)建成樣本庫;樣本庫的數(shù)量越多越能反映真實的局部特征點描述子 的分布情況。在本實施例中,提取的SIFT的特征描述子為32維的特征向量。
[0052] 然后,對特征描述子樣本庫中特征描述子的特征向量進行分組;在每個特征組上 通過K均值聚類得到K個類中心,每個類中心為一個特征向量即代表視覺詞匯中的一個詞 根,K個類中心為該特征組的詞根集合;從每個特征組的詞根集合中選擇一個詞根就生成了 一個視覺詞匯。在每個特征組上構(gòu)建的詞根集合進行組合得到視覺詞匯詞典。在本實施例 中,局部特征點的特征描述子被分為4個組,每組8個特征值,通過K均值聚類構(gòu)建64個類中 心,每個類中心就為該組的詞根;4個類中心就為本方法的視覺詞典;每組的類中心都保存 在一個數(shù)組中,并存儲到文件中;在進行量化局部特征描述子時方法需要裝載該數(shù)組到內(nèi) 存中。
[0053]最后,對樣本庫中的局部特征描述子根據(jù)視覺詞匯詞典采用分組量化方法得到視 覺詞匯,再通過統(tǒng)計獲得視覺詞匯的反文檔頻率;
[0054] 視覺詞匯VWi的反文檔頻率IDF (VWi)是通過統(tǒng)計樣本庫中視覺詞匯的文檔頻率的 倒數(shù)得到,其作為視覺詞匯重要性的指標;由于一些視覺詞匯在樣本庫中并不一定存在,對 不存在的視覺詞匯用樣本庫中視覺詞匯反文檔頻率的最大值進行填充;該填充方法表達了 視覺詞匯的出現(xiàn)頻率越低帶有的信息量越大這一特性。在本實施例中,訓練反文檔頻率的 圖像庫為10,000張圖像,包含:風景、人物、建筑、會話、事件等內(nèi)容。統(tǒng)計的結(jié)果顯示部分視 覺詞匯在各種圖像中出現(xiàn)的頻率非常高,而有些視覺詞匯出現(xiàn)的概率非常少;由于本方法 的視覺詞匯編碼是從0到(64 4-1),所以該視覺詞匯的反文檔頻率被保存為一個數(shù)組,數(shù)組 的下標為對應的視覺詞匯,值為反文檔頻率。
[0055] (2)圖1中上下文描述子生成部分的具體步驟如下:
[0056] 圖1中步驟S1對圖像提取局部特征點集合5=0146[0,9]},9為圖像中局部特征 點的個數(shù);并通過依據(jù)視覺詞匯詞典的分組量化方法將局部特征點Ρ:的特征描述子量化為 視覺詞匯VWi。具體步驟如下:
[0057] 圖1步驟S1中的提取局部特征點211,主要包括檢測局部特征點和描述局部特征點 兩個部分。當前在局部區(qū)域檢測方面,主要采用:DoG極大值、哈里斯角點檢測、Harris-Hessian等。在本實施例中,采用DoG極大值檢測局部特征點,通過DoG極大值檢測方法可以 檢測圖像在不同尺度下的局部特征點,從而保證局部特征點具有尺度不變性;在局部特征 點描述方面,當前主要采用: 率直方圖。在本實施例中,對檢測得到的局部特征點采用SIFT描述子進行描述;一個局部特 征點(Pi)通過SIFT描述子可表示為:[Fi,,0i,pXi,pyi];其中Fi為特征描述子向量,用梯度 直方圖表示A為主方向; 〇1為局部特征點的尺度,(pXl,pyi)為局部特征點沾)在圖像中的 空間位置。在本實施例中,F(xiàn)i被設置為一個32維的特征向量。通過局部特征點提取與描述, 圖像被表示為SIFT描述子的集合。為了增強局部特征的描述能力,本方法為圖像中的每個 局部特征點增加一個上下文描述子。
[0058]圖1步驟S1中的特征描述子量化212對每個局部特征點的特征描述子(F〇采用依 據(jù)視覺詞匯的分組量化方法得到視覺詞匯;分組量化