一種基于集成哈希編碼的快速圖像檢索方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及基于內(nèi)容的圖像檢索方法，特別涉及一種基于集成哈希編碼的快速圖 像檢索方法，屬于數(shù)字圖像檢索技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 隨著多媒體網(wǎng)絡(luò)技術(shù)的發(fā)展，互聯(lián)網(wǎng)上的圖像資源呈爆炸式增長(zhǎng)，使得用戶很難 在浩如煙海的數(shù)據(jù)中找到真正感興趣的信息。因此，如何對(duì)海量的圖像進(jìn)行快速有效的分 析和檢索成了一個(gè)非常具有挑戰(zhàn)性的任務(wù)。傳統(tǒng)的基于內(nèi)容的圖像檢索技術(shù)往往都是通過 提取圖像的底層特征進(jìn)行窮舉比對(duì)，但因其比較過程的時(shí)間復(fù)雜度是線性的，無(wú)法在大規(guī) 模網(wǎng)絡(luò)圖像數(shù)據(jù)上進(jìn)行擴(kuò)展和應(yīng)用，并且由于圖像的底層視覺特征動(dòng)輒成千上萬(wàn)維，許多 圖像檢索應(yīng)用還會(huì)遇到維數(shù)災(zāi)難的問題，如何對(duì)如此龐大的原始數(shù)據(jù)進(jìn)行存儲(chǔ)也是一個(gè)巨 大瓶頸。
[0003] 過去的十年中，研宄者們對(duì)圖像的快速檢索技術(shù)進(jìn)行了詳細(xì)研宄。其中，基于哈希 編碼的圖像搜索方法取得了巨大成功。該類算法通過將圖像表示成低維的二進(jìn)制編碼向量 來完成近似近鄰搜索。利用二進(jìn)制編碼進(jìn)行圖像的近似近鄰搜索是極其快速的，其原因在 于：（1)圖像的編碼向量是高度壓縮的，可以將其全部載入內(nèi)存之中；（2)編碼之間的漢明 (Hamming)距離通過按位的異或操作便可得到，因此該計(jì)算過程是非常高效的（如今，一臺(tái) 普通的臺(tái)式機(jī)在幾毫秒之內(nèi)就可以完成數(shù)百萬(wàn)漢明距離的計(jì)算）。
[0004] 目前，傳統(tǒng)的圖像哈希編碼算法主要分為非數(shù)據(jù)依賴和數(shù)據(jù)依賴兩種方案。 其中一種非常著名的非數(shù)據(jù)依賴哈希算法便是局部敏感哈希（LocalitySensitive Hashing，LSH)，但是其投影向量的隨機(jī)性導(dǎo)致其編碼效率并不高，它往往需要構(gòu)建具有 很長(zhǎng)編碼長(zhǎng)度的多個(gè)哈希表才能獲得較為理想的效果。近年來，研宄者們將研宄重點(diǎn) 轉(zhuǎn)移到數(shù)據(jù)依賴的哈希算法上來，試圖通過機(jī)器學(xué)習(xí)的方法代替隨機(jī)投影來尋找更好 的數(shù)據(jù)依賴哈希函數(shù)，如基于深度學(xué)習(xí)網(wǎng)絡(luò)的限制玻爾茲曼機(jī)（RestrictedBoltzmann Machines,RBMs)和基于譜圖分割的譜哈希（SpectralHashing,SH)算法等。RBMs算法通 過神經(jīng)網(wǎng)絡(luò)模型逐層對(duì)圖像的原始特征進(jìn)行降維和學(xué)習(xí)，并最終得到一個(gè)緊致的二進(jìn)制編 碼。SH算法則通過構(gòu)建拉普拉斯特征圖并利用主成分分析（PCA)方法提取其特征向量對(duì) 原始圖像進(jìn)行哈希編碼。但是上述方法都是基于單一的圖像底層視覺特征信息進(jìn)行哈希 編碼，無(wú)法全面地表達(dá)圖像豐富的內(nèi)容信息。后續(xù)的研宄，如多特征哈希算法（Multiple FeatureHashing,MFH)和多源信息合成哈希算法（CompositeHashingwithMultiple InformationSources,CHMIS)等，又在多種特征信息的融合等方面對(duì)數(shù)據(jù)依賴哈希算法進(jìn) 行了相關(guān)的拓展。雖然上述哈希算法是針對(duì)問題的不同角度提出，都具有各自的一些特點(diǎn) 和優(yōu)越性，但它們往往只在某些特定的設(shè)置條件或者數(shù)據(jù)庫(kù)上有效，范圍擴(kuò)展性較差。此 外，鑒于網(wǎng)絡(luò)圖像數(shù)據(jù)特征的多樣性和結(jié)構(gòu)的復(fù)雜性，目前傳統(tǒng)的基于單一哈希編碼的圖 像檢索方法已無(wú)法滿足實(shí)際應(yīng)用中對(duì)于快速圖像檢索的準(zhǔn)確率的需求。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提出一種基于集成哈希編碼的快速圖像 檢索方法。本發(fā)明的特點(diǎn)在于能夠充分利用不同哈希算法的特點(diǎn)，融合不同哈希算法的編 碼優(yōu)勢(shì)，通過一致性約束準(zhǔn)則更有效地進(jìn)行集成哈希編碼的學(xué)習(xí)，從而提高快速圖像檢索 方法的準(zhǔn)確率和普適性。
[0006] 本發(fā)明的技術(shù)方案是：一種基于集成哈希編碼的快速圖像檢索方法，對(duì)數(shù)據(jù)庫(kù)中 的訓(xùn)練圖像和查詢圖像分別提取其SIFT特征并利用K-均值聚類將其量化表示成特征向量 的形式，利用不同的圖像哈希編碼算法對(duì)訓(xùn)練圖像的特征向量進(jìn)行初始哈希編碼，然后在 不同算法得到的初始哈希編碼基礎(chǔ)上分別計(jì)算訓(xùn)練圖像之間的相似度矩陣，并通過集成學(xué) 習(xí)算法的一致性約束準(zhǔn)則學(xué)習(xí)得到新的集成哈希映射矩陣，最后利用集成哈希映射矩陣對(duì) 所有訓(xùn)練圖像和查詢圖像的特征向量重新進(jìn)行集成哈希編碼，并在集成哈希編碼的基礎(chǔ)上 通過計(jì)算查詢圖像與訓(xùn)練圖像之間的漢明距離來進(jìn)行快速檢索。其具體步驟如下：
[0007] (1)給定數(shù)據(jù)庫(kù)，將其分為訓(xùn)練圖像數(shù)據(jù)庫(kù)和查詢圖像數(shù)據(jù)庫(kù)，對(duì)每一幅訓(xùn)練圖像 ti(1彡i彡n)和查詢圖像Uj (1彡j彡q)分別提取SIFT特征并利用K-均值聚類將其量 化表示為d維的特征向量，其中n和q分別為訓(xùn)練圖像和查詢圖像的數(shù)量，則所有訓(xùn)練圖像 的特征向量可以組成一個(gè)訓(xùn)練圖像特征向量庫(kù)X= [Xl，x2, . . .，xn]T，其中X為nXd維的矩 陣，X的每一行Xi分別為相應(yīng)訓(xùn)練圖像ti的特征向量，所有查詢圖像的特征向量可以組成 一個(gè)查詢圖像特征向量庫(kù)Y=Iiy1,y2, . . .，yq]T，其中Y為qXd維的矩陣，Y的每一行yj分 別為相應(yīng)查詢圖像Uj的特征向量。
[0008] (2)選取現(xiàn)有的M種不同圖像哈希算法對(duì)訓(xùn)練圖像的特征向量庫(kù)X分別進(jìn)行初始 哈希編碼，得到的初始哈希編碼矩陣分別記為HfflOn= 1，…，M)，其中是 一個(gè)維度為IiXrm、元素取值為-1或者1的矩陣，每一行代表一幅訓(xùn)練圖像的初始哈希編 碼，n為訓(xùn)練圖像總數(shù)，為第m種哈希算法的編碼長(zhǎng)度。
[0009] ⑶從訓(xùn)練圖像的特征向量庫(kù)X中隨機(jī)按行挑選k幅圖像得到一個(gè)子矩陣X'，維 度是kXd，同時(shí)對(duì)應(yīng)地從每一個(gè)初始哈希編碼矩陣Hm中分別按行隨機(jī)選取一個(gè)子矩陣H' m， 維度是kXrm，在每一種哈希算法的初始哈希編碼子矩陣H'm基礎(chǔ)上，通過向量的內(nèi)積來計(jì) 算兩幅訓(xùn)練圖像的初始哈希編碼之間的相似度，其中第m種哈希算法下的訓(xùn)練圖像的初始 哈希編碼之間的相似度計(jì)算公式為：
【主權(quán)項(xiàng)】
1. 一種基于集成哈希編碼的快速圖像檢索方法，其特征在于：具體包括以下步驟： (1) 給定數(shù)據(jù)庫(kù)，將其分為訓(xùn)練圖像數(shù)據(jù)庫(kù)和查詢圖像數(shù)據(jù)庫(kù)，對(duì)每一幅訓(xùn)練圖像 ti (1彡i彡η)和查詢圖像Uj (1彡j彡q)分別提取SIFT特征并利用K-均值聚類將其量 化表示為d維的特征向量，其中η和q分別為訓(xùn)練圖像和查詢圖像的數(shù)量，則所有訓(xùn)練圖像 的特征向量可以組成一個(gè)訓(xùn)練圖像特征向量庫(kù)X= [Xl，x2, ...，xn]T，其中X為nXd維的 矩陣，X的每一行Xi分別為相應(yīng)訓(xùn)練圖像t i的特征向量，所有查詢圖像的特征向量可以組 成一個(gè)查詢圖像特征向量庫(kù)Y = [yp y2, . . .，yq]T，其中Y為qXd維的矩陣，Y的每一行yj 分別為相應(yīng)查詢圖像U j的特征向量； (2) 選取現(xiàn)有的M種不同圖像哈希算法對(duì)訓(xùn)練圖像的特征向量庫(kù)X分別進(jìn)行初始哈希 編碼，得到的初始哈希編碼矩陣分別記為Η>= 1，*··，Μ)，其中…，ICf是一 個(gè)維度為nXrm、元素取值為-1或者1的矩陣，每一行代表一幅訓(xùn)練圖像的初始哈希編碼， η為訓(xùn)練圖像總數(shù)，rm為第m種哈希算法的編碼長(zhǎng)度； (3) 從訓(xùn)練圖像的特征向量庫(kù)X中隨機(jī)按行挑選k幅圖像得到一個(gè)子矩陣X'，維度是 kX d，同時(shí)對(duì)應(yīng)地從每一個(gè)初始哈希編碼矩陣Hm中分別按行隨機(jī)選取一個(gè)子矩陣H' m，維度 是kXrm，在每一種哈希算法的初始哈希編碼子矩陣H' m基礎(chǔ)上，通過向量的內(nèi)積來計(jì)算兩 幅訓(xùn)練圖像的初始哈希編碼之間的相似度，其中第m種哈希算法下的訓(xùn)練圖像的初始哈希 編碼之間的相似度計(jì)算公式為：
(1) 式中，Sm為第m種哈希算法下的訓(xùn)練圖像的初始哈希編碼相似度矩陣，維度是kXk，S m 中的每一個(gè)元素紀(jì)表示第i幅訓(xùn)練圖像與第j幅訓(xùn)練圖像在第m種哈希算法下的相似度 數(shù)值（1 < i < k，1 < j < k)，并且-1 ^ X ^ 1，Sf的值越大表示兩幅圖像的初始哈希編碼 越相似，反之則越不相似，Hm"代表矩陣H' _"的轉(zhuǎn)置； (4) 按照下面的公式計(jì)算M種不同哈希算法下的訓(xùn)練圖像的初始哈希編碼之間的平均 相似度：
(2) 式中，S為融合了 M種不同哈希算法的初始哈希編碼相似度的平均相似度矩陣，維度是 kXk ； (5) 在平均相似度矩陣S的基礎(chǔ)上，利用集成學(xué)習(xí)算法中的一致性約束準(zhǔn)則進(jìn)行圖像 哈希編碼的再學(xué)習(xí)，所述一致性約束準(zhǔn)則是指由再學(xué)習(xí)得到的集成哈希編碼計(jì)算得出的相 似度要與M種不同哈希算法的平均相似度矩陣S相一致，具體過程通過最小化下面的目標(biāo) 函數(shù)實(shí)現(xiàn)：
(3) 式中，從為學(xué)習(xí)得到的集成哈希編碼矩陣，每一行代表一幅訓(xùn)練圖像的集 成哈希編碼，^為集成哈希編碼的長(zhǎng)度，若集成哈希編碼采用線性映射的形式，則上述目標(biāo) 函數(shù)可以寫為：
(4) 式中，表為集成哈希映射矩陣，維度是dXiv作用是將圖像從特征空間映射到漢明空 間，sign (·)為取符號(hào)函數(shù)； (6)對(duì)于查詢圖像特征向量庫(kù)中的任意一幅查詢圖像的特征向量yj(l < j < q)，利用 集成哈希映射矩陣&將其映射到漢明空間，得到其集成哈希編碼hy，同時(shí)對(duì)訓(xùn)練圖像的特 征向量庫(kù)X重新進(jìn)行集成哈希編碼，計(jì)算hy與每一幅訓(xùn)練圖像的集成哈希編碼之間的漢明 距離，如果漢明距離的值小于閾值β，則把該幅訓(xùn)練圖像作為對(duì)應(yīng)查詢圖像+的相似圖像 返回給用戶。
【專利摘要】本發(fā)明公開了一種基于集成哈希編碼的快速圖像檢索方法，屬于數(shù)字圖像檢索技術(shù)領(lǐng)域，步驟如下：首先提取訓(xùn)練圖像和查詢圖像的SIFT特征，并利用M種哈希算法對(duì)訓(xùn)練圖像進(jìn)行初始哈希編碼；然后利用集成學(xué)習(xí)中的一致性約束準(zhǔn)則對(duì)初始哈希編碼結(jié)果進(jìn)行再學(xué)習(xí)，得到集成哈希映射矩陣；最后重新對(duì)訓(xùn)練圖像和查詢圖像進(jìn)行集成哈希編碼，并在集成哈希編碼的基礎(chǔ)上通過計(jì)算查詢圖像與訓(xùn)練圖像之間的漢明距離來進(jìn)行快速檢索。本發(fā)明中的集成哈希編碼能夠同時(shí)融合不同哈希算法的特點(diǎn)和優(yōu)勢(shì)，解決了單一哈希算法判別力不足和適用范圍的局限性問題，從而使得圖像的快速檢索更加準(zhǔn)確和高效。
【IPC分類】G06F17-30
【公開號(hào)】CN104765872
【申請(qǐng)?zhí)枴緾N201510200864
【發(fā)明人】李鵬, 盧寶周, 任鵬
【申請(qǐng)人】中國(guó)石油大學(xué)(華東)
【公開日】2015年7月8日
【申請(qǐng)日】2015年4月23日
【公告號(hào)】CN104298791A