基于sift特征的海量圖像實(shí)時(shí)檢索方法
【專利摘要】基于SIFT特征的海量圖像實(shí)時(shí)檢索方法，包括圖像SIFT特征抽取、SIFT基因生成、特征匹配，SIFT基因生成分為三步，依次為特征KEY生成、特征重要信息VALUE生成、特征點(diǎn)壓縮。在從SIFT特征到SIFT基因映射過(guò)程中采用了特征降維方法，將128維的特征向量降至26維，同時(shí)在SIFT基因形成的過(guò)程中進(jìn)行特征點(diǎn)壓縮處理，大大降低了特征存儲(chǔ)空間，特征匹配時(shí)合理地利用特征重要性程度信息進(jìn)行簡(jiǎn)單的對(duì)比相加運(yùn)算，將特征匹配計(jì)算復(fù)雜度降至O(n)級(jí)別，實(shí)現(xiàn)了海量圖像實(shí)時(shí)檢索需求。
【專利說(shuō)明】基于SIFT特征的海量圖像實(shí)時(shí)檢索方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及多媒體信息處理領(lǐng)域，具體地說(shuō)，是涉及一種基于SIFT特征的海量圖像實(shí)時(shí)檢索方法。

【背景技術(shù)】
[0002]圖像檢索技術(shù)從基于文本的檢索發(fā)展到基于內(nèi)容的檢索技術(shù)，取得了較大進(jìn)展，尤其是SIFT特征的提出，可以說(shuō)是21世紀(jì)以來(lái)計(jì)算機(jī)視覺領(lǐng)域特征研究的最重要成果。但是基于內(nèi)容的圖像檢索技術(shù)，面對(duì)巨大的、實(shí)時(shí)擴(kuò)展、時(shí)刻變化的圖像數(shù)據(jù)庫(kù)，受到存儲(chǔ)空間和計(jì)算復(fù)雜度的限制。海量圖像的實(shí)時(shí)檢索在當(dāng)下存在較大的困難和挑戰(zhàn)。
[0003]目前在海量圖像檢索方面，主要通過(guò)兩種方式來(lái)提高檢索效率，第一種在搜索方法和索引方法上面做改進(jìn)，對(duì)檢索算法、特征存儲(chǔ)數(shù)據(jù)結(jié)構(gòu)、索引存儲(chǔ)結(jié)構(gòu)及方式進(jìn)行改進(jìn)和優(yōu)化；第二種采用時(shí)興的分布式處理模式，將特征抽取、存儲(chǔ)和索引等任務(wù)分配給一個(gè)超大集群處理。這些為海量圖像檢索效率帶來(lái)了一定程度的提升，但是依然需要龐大的硬件條件支撐，并未能從本質(zhì)上優(yōu)化海量圖像特征存儲(chǔ)空間，改進(jìn)圖像實(shí)時(shí)檢索的計(jì)算復(fù)雜度。
[0004]為此，針對(duì)目前多媒體技術(shù)、傳感技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，對(duì)海量圖像檢索的時(shí)效性需求，本發(fā)明提出一種基于SIFT特征的海量圖像實(shí)時(shí)檢索方法，將SIFT特征進(jìn)行壓縮存儲(chǔ)，并設(shè)計(jì)基于SIFT基因的高效特征匹配算法，以解決當(dāng)前海量圖像檢索時(shí)特征存儲(chǔ)空間災(zāi)難和計(jì)算復(fù)雜度高的問題。


【發(fā)明內(nèi)容】

[0005]本發(fā)明要解決的技術(shù)問題是提供一種基于SIFT特征的優(yōu)化特征存儲(chǔ)、高效特征匹配的海量圖像實(shí)時(shí)檢索方法。
[0006]為解決目前海量圖像檢索時(shí)圖像特征存儲(chǔ)空間大、特征計(jì)算復(fù)雜度高、檢索速度慢的問題，本發(fā)明提供一種基于SIFT特征的海量圖像實(shí)時(shí)檢索方法，該方法包括如下。
[0007]步驟A圖像的SIFT特征抽取
從圖像檢索的目標(biāo)出發(fā)，微觀上的相似并不能引發(fā)人眼視覺上的認(rèn)同，因此為不影響圖像檢索性能，可以將圖像作一定比例的縮放再進(jìn)行SIFT特征抽取，例如將圖像面積縮放至25000像素，由此可以減少低層次特征點(diǎn)的個(gè)數(shù)；
采用SIFT算法的特征抽取4步曲，抽取圖像穩(wěn)定特征點(diǎn)，并將每一個(gè)特征點(diǎn)采用128維的特征向量表示。
[0008]步驟B SIFT基因生成
由SIFT算法抽取的圖像特征，每幅圖像大概包含500個(gè)左右的特征點(diǎn)，每個(gè)特征點(diǎn)128維的向量，由此從存儲(chǔ)的角度看，每幅圖像的SIFT特征達(dá)到了500*128*sizeof (double) =500K字節(jié)，當(dāng)前硬件條件下，無(wú)法滿足海量圖像檢索需求。
[0009]為此，本發(fā)明提出SIFT基因的概念，從存儲(chǔ)上看，SIFT基因是一個(gè)32位的無(wú)符號(hào)整型數(shù)據(jù)，其高26位存儲(chǔ)的是特征點(diǎn)的特征信息(簡(jiǎn)稱KEY，對(duì)應(yīng)的是特征點(diǎn)128維向量)，低6位存儲(chǔ)的是特征點(diǎn)的重要性程度(簡(jiǎn)稱VALUE，由特征點(diǎn)的尺度和相同KEY的出現(xiàn)次數(shù)決定)。
[0010]BOl 生成 KEY
采用采用特征降維方法，如主成分分析(簡(jiǎn)稱PCA)，將SIFT特征的高維向量轉(zhuǎn)換到低維空間。通過(guò)大量的SIFT特征向量訓(xùn)練，得到(PCA)降維參數(shù)，將128維的向量，降低到26維。
[0011]對(duì)26維向量的每一維進(jìn)行O、I置標(biāo)。依次掃描26維向量,對(duì)于每一維，如果其值大于0，則置SIFT基因中對(duì)應(yīng)位為1，否則置為O。
[0012]B02 生成 VALUE
SIFT特征點(diǎn)尺度是指該特征點(diǎn)是在哪個(gè)圖像尺度下計(jì)算出來(lái)的，尺度不同，特征對(duì)于圖像檢索的重要程度就存在差異，本發(fā)明假設(shè)，特征點(diǎn)從原圖計(jì)算出來(lái)的，其尺度為0，從半圖(長(zhǎng)和寬都為原圖一半的圖像)，其尺度為1，依次類推。在分辨率為25000像素的情況下，SIFT特征點(diǎn)的尺度取值為0、1、2、3、4、5，對(duì)應(yīng)SIFT基因中后6位存儲(chǔ)位，于是VALUE位對(duì)應(yīng)的取值即反應(yīng)了該尺度在圖像檢索時(shí)的重要程度，例如定義各尺度的VALUE值依次為1、
2、4、8、16、32。
[0013]B03特征點(diǎn)壓縮
合并KEY相同的特征點(diǎn)，KEY不變，VALUE相加，由此減少了圖像特征點(diǎn)的數(shù)量。
[0014]步驟C圖像特征匹配
將每一幅圖像特征按照SIFT基因中KEY值升序排列，SIFT基因中KEY值相同的特征稱為有效特征，其特征匹配算法的核心思想是兩幅圖像中所有相同KEY對(duì)應(yīng)最小的VALUE值相加即為圖像的相似度，其算法如下所示:
記任意兩幅圖像P1、Pj的有效特征依次為P1M (Kil, Vil), (Ki2, Vi2),…，(Kin, Vin) >，Pj=< (Kjl, Vjl), (KJ2, Vj2),…，(KJn, Vjn) >，則其重要性信息 VijGO=Iiiin (Vik, Vjk),圖像相似度 D= Σ J5Vij (k)。
[0015]由此可見，圖像相似度計(jì)算時(shí)間復(fù)雜度為0(n)，大大降低了特征匹配的計(jì)算復(fù)雜度。
[0016]本發(fā)明技術(shù)方案提供的基于SIFT特征的海量圖像實(shí)時(shí)檢索方法，根據(jù)微觀特征對(duì)圖像檢索的弱需求性，借助HASH思想，壓縮SIFT特征點(diǎn)個(gè)數(shù)，并將SIFT特征向量映射成一個(gè)整型數(shù)據(jù)，即SIFT基因，設(shè)計(jì)高性能匹配算法，解決了 SIFT特征存儲(chǔ)量大、特征匹配計(jì)算復(fù)雜度高的，導(dǎo)致海量圖像檢索相應(yīng)時(shí)間長(zhǎng)的問題。

【專利附圖】

【附圖說(shuō)明】
[0017]圖1為本發(fā)明實(shí)施例提供的基于SIFT特征的海量圖像實(shí)時(shí)檢索方法流程圖。具體實(shí)施方案
[0018]為使本發(fā)明實(shí)施例的目的、技術(shù)方法、及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖對(duì)本發(fā)明實(shí)施例提供的技術(shù)方案進(jìn)行詳細(xì)說(shuō)明。
[0019]步驟A圖像的SIFT特征抽取
將圖像面積縮放至25000像素，對(duì)圖像所有尺度和位置進(jìn)行掃描，識(shí)別具有穩(wěn)定尺度和旋轉(zhuǎn)不變形的特征點(diǎn)，采用DifTerence-Of-Gaussian函數(shù)檢測(cè)；采用細(xì)節(jié)模型，計(jì)算每個(gè)特征點(diǎn)的位置、尺度、主曲率比例等參數(shù)，去除移動(dòng)不穩(wěn)定的特征點(diǎn)(如低對(duì)比度點(diǎn)和圖像邊緣點(diǎn)等)。
[0020]根據(jù)局部圖像梯度，計(jì)算每一個(gè)關(guān)鍵點(diǎn)的方向，關(guān)鍵點(diǎn)方向參數(shù)由關(guān)鍵點(diǎn)梯度大小和方向來(lái)描述，關(guān)鍵點(diǎn)的方向設(shè)定:在關(guān)鍵點(diǎn)的領(lǐng)域內(nèi)采樣構(gòu)成一個(gè)方向直方圖(梯度直方圖)，梯度直方圖的統(tǒng)計(jì)范圍是(Γ360，每10度為一個(gè)方向，總共36個(gè)方向，統(tǒng)計(jì)得到的直方圖的峰值所在的方向代表關(guān)鍵點(diǎn)的主方向。
[0021]確認(rèn)關(guān)鍵點(diǎn)位置、尺度、方向等參數(shù)后，每個(gè)關(guān)鍵點(diǎn)由128維特征向量描述。由此完成圖像特征點(diǎn)抽取，以及對(duì)應(yīng)特征點(diǎn)的描述。
[0022]步驟B SIFT基因生成
構(gòu)建一個(gè)32位無(wú)符號(hào)整型數(shù)組，其高26位作為SIFT基因的KEY，低6位作為SIFT基因的VALUE，描述SIFT基因的重要性。
[0023]用大量SIFT特征訓(xùn)練，獲得PCA降維參數(shù)，將128維向量降低到26維。掃描26維向量，如果第i維的值大于零，則設(shè)置KEY的第i位為1，否則值為O。
[0024]SIFT特征點(diǎn)的尺度表明了該特征點(diǎn)是在何種圖像尺度下計(jì)算獲得的，特征點(diǎn)的尺度越大，表達(dá)的信息就越宏觀，越適合用來(lái)做圖像檢索，為此用特征點(diǎn)尺度來(lái)反應(yīng)特征點(diǎn)重要性。例如，規(guī)定特征點(diǎn)從原圖計(jì)算獲得的，則其尺度是0，從半圖(長(zhǎng)、寬為原圖一半的圖像)計(jì)算獲得的，則其尺度是1，依此類推。將特征點(diǎn)的尺度值依次與SIFT基因中VALUE的0、1、2、3、4、5位對(duì)應(yīng)，VALUE對(duì)應(yīng)位的取值反應(yīng)了尺度值在圖像檢索中的重要性程度，如VALUE位的取值依次為1、2、4、8、16、32。
[0025]至此，將SIFT特征轉(zhuǎn)換成SIFT基因存儲(chǔ)，大大降低了特征存儲(chǔ)空間，但在向SIFT基因映射過(guò)程中，會(huì)存在大量KEY值相同的特征點(diǎn)，對(duì)這些特征點(diǎn)按照“相同KEY，KEY不變，對(duì)應(yīng)VALUE位相加”的規(guī)則處理，在一定程度上降低了特征點(diǎn)的數(shù)量。
[0026]步驟C特征匹配
將圖像特征按照SIFT基因中KEY值升序排列，SIFT基因中KEY值相同的特征稱為有效特征，其匹配算法如下所示:
記任意兩幅圖像P1、Pj的有效特征依次為P1M (Kil, Vil), (Ki2, Vi2),…，(Kin, Vin) >，Pj=< (Kjl, Vjl), (KJ2, Vj2),…，(KJn, Vjn) >，則其重要性信息 VijGO=Iiiin (Vik, Vjk),圖像相似度 D= Σ J5Vij (k)。
[0027]由此不僅在特征存儲(chǔ)空間上降低了圖像特征存儲(chǔ)，在特征匹配的計(jì)算復(fù)雜度方面也達(dá)到了 O (η)級(jí)的優(yōu)化。
【權(quán)利要求】
1.基于SIFT特征的海量圖像實(shí)時(shí)檢索方法，其特征在于，包括如下步驟: 步驟A:圖像SIFT特征抽??； 步驟B:SIFT基因生成；B01，生成KEY ;B02，生成VALUE ;B03，特征點(diǎn)壓縮； 步驟C:圖像特征匹配。
2.根據(jù)權(quán)利要求1所述的基于SIFT特征的海量圖像實(shí)時(shí)檢索方法，其特征在于，為減少低層次特征點(diǎn)的個(gè)數(shù)，將圖像進(jìn)行一定比例的縮放后再進(jìn)行特征抽取，例如將圖像面積縮放至25000像素；采用SIFT特征抽取4步曲，抽取圖像的穩(wěn)定特征點(diǎn)，并將這些特征點(diǎn)采用128維的特征向量表示。
3.根據(jù)權(quán)利要求1所述的基于SIFT特征的海量圖像實(shí)時(shí)檢索方法，其特征在于，為降低海量圖像SIFT特征存儲(chǔ)壓力，提出SIFT基因結(jié)構(gòu)，用于存儲(chǔ)128維特征向量；SIFT基因是一種設(shè)計(jì)結(jié)構(gòu)，不僅體現(xiàn)了圖像內(nèi)容的區(qū)分性，并且可以反應(yīng)出每個(gè)特征點(diǎn)對(duì)圖像的重要性程度，其從存儲(chǔ)上看是一個(gè)32位的無(wú)符號(hào)整型數(shù)據(jù)，其高26位用于存儲(chǔ)SIFT特征，低6位用于存儲(chǔ)特征的重要性信息。
4.根據(jù)權(quán)利要求1和權(quán)利要求2所述的基于SIFT特征的海量圖像實(shí)時(shí)檢索方法，其特征在于，采用特征降維方法，將128維的特征向量降至26維。
5.根據(jù)權(quán)利要求3和權(quán)利要求4所述的基于SIFT特征的海量圖像實(shí)時(shí)檢索方法，其特征在于，將降維后的SIFT特征按位映射到SIFT基因的高26位中。
6.根據(jù)權(quán)利要求5所述的基于SIFT特征的海量圖像實(shí)時(shí)檢索方法，其特征在于，降維后的SIFT特征到SIFT基因高26位的映射，其映射規(guī)則是，對(duì)26維SIFT特征向量的每一維進(jìn)行O、I置標(biāo)；對(duì)于每一維，如果值大于0，則置SIFT基因?qū)?yīng)位為1，否則置為O。
7.根據(jù)權(quán)利要求1和權(quán)利要求5所述的基于SIFT特征的海量圖像實(shí)時(shí)檢索方法，其特征在于，采用特征點(diǎn)尺度來(lái)描述特征對(duì)圖像檢索的重要性程度，將特征點(diǎn)尺度劃分6個(gè)層次，依次對(duì)應(yīng)SIFT基因的低6位。
8.根據(jù)權(quán)利要求7所述的基于SIFT特征的海量圖像實(shí)時(shí)檢索方法，其特征在于，為每一個(gè)特征點(diǎn)尺度賦予不同的權(quán)重值，這些權(quán)重值存儲(chǔ)在所對(duì)應(yīng)位VALUE值內(nèi)。
9.根據(jù)權(quán)利要求1所述的基于SIFT特征的海量圖像實(shí)時(shí)檢索方法，其特征在于，對(duì)特征點(diǎn)進(jìn)行壓縮處理，合并KEY相同的特征點(diǎn)，VALUE相加。
10.根據(jù)權(quán)利要求1所述的基于SIFT特征的海量圖像實(shí)時(shí)檢索方法，其特征在于，根據(jù)特征的VALUE值計(jì)算特征的相似度，將圖像左右相同KEY的最小VALUE值相加得到圖像的相似度。
【文檔編號(hào)】G06F17/30GK104375990SQ201310346542
【公開日】2015年2月25日 申請(qǐng)日期:2013年8月12日 優(yōu)先權(quán)日:2013年8月12日
【發(fā)明者】程濤 申請(qǐng)人:北京拓爾思信息技術(shù)股份有限公司