一種基于增強(qiáng)微結(jié)構(gòu)和上下文相似度的圖像檢索方法
【專利摘要】本發(fā)明公開了一種基于增強(qiáng)微結(jié)構(gòu)和上下文相似度的圖像檢索方法。將圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間并進(jìn)行量化，得到顏色量化映射圖；對對應(yīng)的灰度圖進(jìn)行局部模式量化，基于量化后的局部模式映射得到增強(qiáng)微結(jié)構(gòu)映射圖，用此映射圖對顏色量化映射圖進(jìn)行過濾，對過濾后的映射圖采用基于顏色量化值的共生關(guān)系描述圖像；對庫中的圖像按與檢索圖像的標(biāo)準(zhǔn)距離進(jìn)行排序，再利用上下文相似度傳播的方法對所有參考集中圖像進(jìn)行重新排序，完成圖像檢索。該方法通過引入局部模式映射和距離的最短路徑傳播方法，能得到很好的圖像檢索效果，在一定程度上提高了檢索查準(zhǔn)率和查全率。
【專利說明】-種基于增強(qiáng)微結(jié)構(gòu)和上下文相似度的圖像檢索方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計算機(jī)圖像處理與信息檢索領(lǐng)域。涉及一種基于增強(qiáng)微結(jié)構(gòu)和上下文 相似度的圖像檢索方法。

【背景技術(shù)】
[0002] 隨著多媒體和互聯(lián)網(wǎng)技術(shù)的發(fā)展，越來越多的圖像信息被生產(chǎn)出來。如何有效的 檢索它們就成為一個難題。圖像檢索方法可以分為三類：基于文本的檢索（TBIR)、基于內(nèi) 容的檢索（CBIR)和基于語義的檢索（SBIR)?；谖谋镜臋z索需要大量人工對圖像進(jìn)行標(biāo) 注，主觀性強(qiáng)，成本很高，現(xiàn)在已基本不被采用?；谡Z義的檢索使用機(jī)器學(xué)習(xí)的方法對圖 像進(jìn)行標(biāo)注，由于受技術(shù)限制，目前還很不成熟。因此目前應(yīng)用較多的是基于內(nèi)容的圖像檢 索。
[0003] 基于內(nèi)容的圖像檢索根據(jù)用戶提供的查詢例圖在數(shù)據(jù)庫中搜索與之最相關(guān)的 圖像并返回給用戶。普通基于內(nèi)容的圖像檢索方法可以分為半監(jiān)督的方法和無監(jiān)督的 方法兩類。無監(jiān)督的方法抽取圖像的低層特征并直接使用這些特征計算相似度；而半 監(jiān)督的方法一般通過對測試圖像的局部視覺特征進(jìn)行聚類得到視覺碼書，然后用量化向 量表示圖像和計算相似度以對圖像進(jìn)行排序。IEEE圖像處理匯刊（IEEE Transactions on Image Processingl5(6) (2006) 1443 - 1453)公布的方法就是使用無監(jiān)督的方法，而 歐洲計算機(jī)視覺國際會計（In Proceedings of9th European Conferenceon Computer Vision (ECCV) 2012，）提出的方法是一種半監(jiān)督的方法。無監(jiān)督的方法一般提取圖像的顏 色、紋理、形狀等特征進(jìn)行檢索。在圖像檢索中，單個特征一般無法獲得令人滿意的效果，而 聯(lián)合多個特征進(jìn)行圖像檢索又存在權(quán)重難以確定和因為要處理多種特征而導(dǎo)致的時間效 率急劇下降的問題。另一方面，半監(jiān)督方法由于涉及學(xué)習(xí)問題，而在多數(shù)應(yīng)用場合并沒有足 夠數(shù)量且內(nèi)容合適的圖像作為訓(xùn)練/學(xué)習(xí)圖像，所以其適用范圍受到很大限制。
[0004] 模式識別（Pattern Recognition2011 :2123-2133)提出基于圖像微結(jié)構(gòu)的描述 子，這種描述子使用微結(jié)構(gòu)來集成圖像的多種特征，算法時間效率較高。但該算法距離度量 不合理，且沒有充分利用上下文信息，因此檢索準(zhǔn)確率不高。


【發(fā)明內(nèi)容】

[0005] 為了克服現(xiàn)有圖像檢索技術(shù)的不足，本發(fā)明的目的是提供一種基于增強(qiáng)微結(jié)構(gòu)和 上下文相似度的圖像檢索方法，該方法采用簡單的方式提取一種集成圖像多種視覺特征的 描述子，另外使用上下文信息引入非用戶參與的監(jiān)督信息，在不降低算法時間效率的同時 能提高圖像檢索準(zhǔn)確率。
[0006] 本發(fā)明的目的通過以下技術(shù)方案實現(xiàn)：
[0007] 基于增強(qiáng)微結(jié)構(gòu)和上下文相似度的圖像檢索方法，其特征在于它的步驟如下：
[0008] 1)將圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間并進(jìn)行量化，得到顏色量化映射 圖；
[0009] 2)對對應(yīng)的灰度圖進(jìn)行局部模式量化，基于量化后的局部模式映射得到增強(qiáng)微結(jié) 構(gòu)映射圖，用此映射圖對顏色量化映射圖進(jìn)行過濾，對過濾后的映射圖采用基于顏色量化 值的共生關(guān)系描述圖像；
[0010] 3)對庫中的圖像按與檢索圖像的標(biāo)準(zhǔn)距離進(jìn)行排序，再利用上下文相似度傳播的 方法對所有參考集中圖像進(jìn)行重新排序；
[0011] 所述的將圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間并進(jìn)行量化，得到顏色量化映 射圖步驟為：對于一幅大小為MXN的彩色圖像g(x，y)，首先將它從RGB顏色空間變換到 HSV顏色空間。然后將H，S，V分量分別量化成8, 3, 3級。因此顏色直方圖有72柄。將量化 后的顏色圖像表示成C(x，y)，其中

【權(quán)利要求】
1. 一種基于增強(qiáng)微結(jié)構(gòu)和上下文相似度的圖像檢索方法，其特征在于它的步驟如下： 1) 將圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間并進(jìn)行量化，得到顏色量化映射圖； 2) 對對應(yīng)的灰度圖進(jìn)行局部模式量化，基于量化后的局部模式映射得到增強(qiáng)微結(jié)構(gòu)映 射圖，用此映射圖對顏色量化映射圖進(jìn)行過濾，對過濾后的映射圖采用基于顏色量化值的 共生關(guān)系描述圖像； 3) 對庫中的圖像按與檢索圖像的標(biāo)準(zhǔn)距離進(jìn)行排序，再利用上下文相似度傳播的方法 對所有參考集中圖像進(jìn)行重新排序，完成圖像檢索。
2. 根據(jù)權(quán)利要求1所述的基于增強(qiáng)微結(jié)構(gòu)和上下文相似度的圖像檢索方法，其特征在 于：步驟1)具體為：對于一幅大小為MXN的彩色圖像g(x，y)，首先將它從RGB顏色空間變 換到HSV顏色空間；然后將H，S，V分量分別量化成8, 3, 3級；因此顏色直方圖有72柄；將 量化后的顏色圖像表示成
其中
3. 根據(jù)權(quán)利要求1所述的基于增強(qiáng)微結(jié)構(gòu)和上下文相似度的圖像檢索方法，其特征在 于：步驟2)具體為： (1) 局部模式量化 彩色圖像首先轉(zhuǎn)換成灰度圖，然后灰度圖量化成L柄，此處L = 32 ;量化的圖像表示為 G(x，y)其中
定義局部模式映射1pm，其計算方法如下式：
1 其中
2 也即任一像素處映射值設(shè)置為在其3X3鄰域中量化灰度值小于或等于當(dāng)前像素灰度 值的像素個數(shù)；Lpm取值范圍從0到8 ; (2) 增強(qiáng)微結(jié)構(gòu)映射抽取 用字母Μ表示增強(qiáng)微結(jié)構(gòu)映射圖，Μ中所有元素首先初始化為0,然后Μ中任意一點p 的取值由下式得到：
3 上式中Nei8(p)指點ρ的8鄰域，也即3X3鄰域；對映射圖lpm按從上到下，從左到右 的順序掃描，對于當(dāng)前掃描的點P，如果其8鄰域中至少有一點的值和它的值相等，則局部 微結(jié)構(gòu)映射圖Μ中點ρ對應(yīng)位置處的值設(shè)為1，否則為0 ; (3) 圖像描述 用下式建立顏色量化微結(jié)構(gòu)圖f(x，y);
4 然后將f表示成一個72維（與C的維數(shù)一樣）的向量H，作為原圖的描述子；Η由下式 確定： 5 其中Pci是圖像f當(dāng)前掃描點，
表示Pi是P〇3X3鄰域中的一個點；N{*}表 示滿足條件*的點的個數(shù)；N{f (pjzwj表示映射圖f中值為％的點的個數(shù)，而N{f (Pd)=
表示在映射圖f中滿足值為％且該點的3X3鄰域至少有一 個點值也為％的點的個數(shù)。
4.根據(jù)權(quán)利要求1所述的基于增強(qiáng)微結(jié)構(gòu)和上下文相似度的圖像檢索方法，其特征在 于：步驟3)具體為： (1) 標(biāo)準(zhǔn)距離計算 兩圖像對應(yīng)的描述子P，Q間距離計算如下：
6 其中Pi，Qi分別為P，Q對應(yīng)的第i個分量； 使用上式的距離測度，所有隨機(jī)圖像對間的距離取值范圍在〇到1之間，稱為標(biāo)準(zhǔn)距 離； (2) 基于最短路徑的參考集計算 給定一組對象
一個距離函數(shù)
和一個相似度函數(shù)
是查詢圖像而
是圖像庫中一組已知的對象，
SP (Xl，xt)表示從Xl到xt的一條最短路徑，該路徑上每一結(jié)點表示圖像集中一幅圖像，對應(yīng) 的RSP(xt)稱為最短路徑引用對象集，表示如下：
令cPUi, xp表示結(jié)點Xi和\間的最短路徑距離；結(jié)點Xi和結(jié)點集間的最短路徑 距離定義如下：
8 參考集X，(xt)定義如下：
設(shè)置
然后" r-擴(kuò)展最短路徑參考對象集"定義如下：
(3) 基于上下文相似度的圖像序列重排序 設(shè)查詢圖像為Xl，迭代次數(shù)T取值為50,取初始排序序列的前N幅圖像進(jìn)行重排序，此 處N = 100，另距離矩陣
其中x2, x3, . . . xN+i是初始 排序序列的如N幅圖像；則重排序的步驟如下： 1)使用下式轉(zhuǎn)換距離矩陣到權(quán)重矩陣 其中核大小
定義如下： 再將權(quán)重矩陣轉(zhuǎn)換成概率矩陣： 12 14 13 3)根據(jù)新的相似度Re-rank前面N幅圖像，并輸出Re-rank后的序列x ' 2， X 3， · · · X N+1 12式中mean (X)指集合X中所有元素的均值，knnd(x)指元素 X的K個最近鄰居組成 的集合，K取值為2,而α取值為0.2。13式中r取值為4,而14式中初始迭代值

【文檔編號】G06K9/62GK104063522SQ201410344580
【公開日】2014年9月24日 申請日期:2014年7月18日 優(yōu)先權(quán)日:2014年7月18日
【發(fā)明者】王成現(xiàn), 程偉華, 袁杰 申請人:國家電網(wǎng)公司, 江蘇省電力公司, 江蘇電力信息技術(shù)有限公司