一種基于譜圖分析的圖像檢索方法
【專利摘要】本發(fā)明提供一種基于譜圖分析的圖像檢索方法，包括五個(gè)步驟：基于線性迭代的層次化超像素分割，通過層次化超像素分割提取和去除圖像的冗余，減少圖像處理的復(fù)雜性；二維圖像上的雙調(diào)和距離定義，通過統(tǒng)計(jì)圖像的雙調(diào)和距離分布來描述圖像的局部結(jié)構(gòu)特征；基于譜聚類的圖像子塊劃分，通過譜聚類方法可融入更多的圖像內(nèi)蘊(yùn)結(jié)構(gòu)特征信息，得到的圖像子塊劃分比單純的超像素更具視覺意義；基于詞袋模型的圖像描述子設(shè)計(jì)，通過對圖像特征出現(xiàn)的頻率進(jìn)行統(tǒng)計(jì)分析來描述圖像的組成成分及其整體結(jié)構(gòu)?；谧V圖分析圖像描述子的檢索，通過實(shí)際的圖像檢索結(jié)果來驗(yàn)證本發(fā)明的有效性。本發(fā)明設(shè)計(jì)的圖像檢索方法，具有區(qū)分能力好，靈活性強(qiáng)的特點(diǎn)。
【專利說明】一種基于譜圖分析的圖像檢索方法【技術(shù)領(lǐng)域】
[0001]本發(fā)明通過將局部特征度量與圖像的全局譜圖分析相結(jié)合，設(shè)計(jì)一種融合物體信息和圖像全局信息圖像描述子的圖像檢索方法，并使得該描述子具有尺度不變性和非剛性形變不變性，以滿足圖像檢索和匹配的需求。
【背景技術(shù)】
[0002]人類獲取的信息有83%來自視覺，11%來自聽覺，其他來自嗅覺、觸覺和味覺，并且人們對圖像所傳達(dá)的豐富信息接受的最為充分、保持的記憶時(shí)間也最長。雖然圖像包羅萬象、種類繁多，但是人們一般可以本能地分析出圖像的內(nèi)容結(jié)構(gòu)并對其加以利用，在生物醫(yī)學(xué)、安保、刑事偵查、平面設(shè)計(jì)和媒體娛樂等領(lǐng)域，人們已經(jīng)在潛移默化地利用蘊(yùn)含在圖像集間的內(nèi)容相關(guān)性，來輔助圖像分割、病灶匹配、視頻監(jiān)控、對象跟蹤識別和圖像檢索等“讀圖”分析工作。
[0003]特別地，隨著X光、CT、MR1、PET等醫(yī)學(xué)成像技術(shù)的快速發(fā)展，在日常的臨床診斷中，每天都會(huì)產(chǎn)生和涉及大量的醫(yī)學(xué)圖像。例如:醫(yī)生在根據(jù)醫(yī)學(xué)圖像進(jìn)行病情研究時(shí)，往往需要檢索出相關(guān)病因的臨床醫(yī)學(xué)圖像進(jìn)行比對分析；同一病人在不同時(shí)期所產(chǎn)生臨床影像也需要進(jìn)行配準(zhǔn)，以便醫(yī)生能更直觀、準(zhǔn)確的判斷病情的發(fā)展變化；不同病人同類病灶的成因和特點(diǎn)分析需要能自動(dòng)從醫(yī)學(xué)圖像中檢測出相關(guān)的病灶區(qū)域。
[0004]但是在目前的醫(yī)療診斷中，病原體主要通過醫(yī)生的經(jīng)驗(yàn)來發(fā)現(xiàn)，工作量大，且診斷結(jié)果與醫(yī)生的臨床經(jīng)驗(yàn)密切相關(guān)。而借助計(jì)算機(jī)的輔助，對這些醫(yī)學(xué)影像進(jìn)行處理，可以為醫(yī)生的診斷和治療工作提供很大的幫助。在計(jì)算機(jī)輔助手術(shù)中，外科醫(yī)生可以根據(jù)配準(zhǔn)的CT/MR/DSA圖像精確定位病灶及周圍相關(guān)的解剖結(jié)構(gòu)信息，設(shè)計(jì)出縝密的手術(shù)計(jì)劃。因而，從計(jì)算機(jī)輔助診斷角度而言，這在圖像檢索、圖像配準(zhǔn)及病灶的計(jì)算機(jī)輔助診斷等領(lǐng)域?qū)ξ锢硪饬x明確且具有強(qiáng)區(qū)分能力的圖像描述子的設(shè)計(jì)提出了迫切的需求。
[0005]然而，從圖像描述子的設(shè)計(jì)角度來看，盡管以SIFT (Scale Invariant FeatureTransform)、SURF (Speeded Up Robust Features)、HOG (Histograms of OrientedGradients)為代表的圖像局部特征描述子已經(jīng)可以取得較為精確的特征配準(zhǔn)和匹配效果，但是這類描述子大都是針對圖像的像素特征進(jìn)行設(shè)計(jì)的，描述子中只編碼了圖像的局部信息分布，因而很難直接用于描述病灶、甚至整張圖像這類大尺度對象。同時(shí)，由于采集設(shè)備、物體非剛性形變、尺度差異、局部遮擋和噪聲干擾等因素的影響，這要求描述子必須能夠?qū)D像中物體的非剛性形變進(jìn)行支持。因此，這勢必要求在對圖像描述子的設(shè)計(jì)過程中，要能夠?qū)D像的局部特征和全局特征進(jìn)行融合，并將其以一種不變量的形式定量編碼到圖像描述子中。
[0006] 在此背景下，結(jié)合課題組已有的相關(guān)技術(shù)基礎(chǔ)，本發(fā)明以設(shè)計(jì)緊湊、魯棒、信息量豐富的圖像描述子為目標(biāo)，并以自然圖像集的檢索應(yīng)用作為描述子的驗(yàn)證手段，通過算法集成來設(shè)計(jì)并實(shí)現(xiàn)一個(gè)自然圖像檢索工具，可為將來先驗(yàn)知識融合的醫(yī)學(xué)圖像描述子設(shè)計(jì)提供總體算法思路的前期驗(yàn)證。同時(shí)，本發(fā)明的研究與實(shí)現(xiàn)，對以更加智能化的方式，輔助人們實(shí)現(xiàn)對圖像信息的感知、分析、探索和洞悉具有重要的實(shí)際意義。

【發(fā)明內(nèi)容】

[0007]本發(fā)明解決的技術(shù)問題是:克服了現(xiàn)有的局部描述子特征描述能力的不足，并通過結(jié)合使用詞袋模型的方法，設(shè)計(jì)一種特征描述子，并提供了一種基于譜圖分析的圖像檢索方法。滿足了對圖像檢索的需要。
[0008]本發(fā)明采用的技術(shù)方案為:一種基于譜圖分析的圖像檢索方法，包括以下五個(gè)步驟:
[0009]步驟(I)、基于線性迭代聚類的層次化超像素分割:超像素分割將在顏色和空間上相似的點(diǎn)聚集在一起。在本發(fā)明中使用兩種分割數(shù)目的超像素。一種超像素分割為物體級別分割，用來為譜聚類的構(gòu)建相似度矩陣，另一種為細(xì)節(jié)級別分割，用來計(jì)算雙調(diào)和距離構(gòu)成每一部分的特征描述；
[0010]步驟(2)、基于雙調(diào)和距離度量的圖像特征描述:與常用的測地距離、擴(kuò)散距離等相比，雙調(diào)和距離不僅可以獲取局部的拓?fù)浣Y(jié)構(gòu)，而且可以得到全局的形狀。因此我們使用超像素之間的雙調(diào)和距離作為特征的度量；
[0011]步驟(3)、基于譜聚類的圖像特征分析:基于之前物體級別的超像素，使用譜聚類來對超像素進(jìn)行聚類，得到更加具有語義級別的分類；
[0012]步驟(4)、基于詞袋模型的圖像描述子設(shè)計(jì):將圖像作為“文檔”，圖像中的每一部分作為一個(gè)“詞”，通過對許多圖像中的“詞”進(jìn)行分類，構(gòu)建“詞典”，其中每個(gè)“詞”都屬于一個(gè)詞典。對每一幅圖像進(jìn)行詞頻的統(tǒng)計(jì)，得到圖像描述子；
[0013]步驟(5)、圖像檢索實(shí)驗(yàn):對圖像庫中的圖像進(jìn)行計(jì)算，每一幅圖像都獲得一個(gè)圖像描述子。給定一張新的圖像，通過上述方法對圖像進(jìn)行計(jì)算，得到新的描述子。然后將描述子與圖像庫中的描述子進(jìn)行距離度量，來檢索與新圖像最為匹配的圖像。
[0014]本發(fā)明的原理在于:
[0015](I)為了提取和去除圖像的冗余，大幅度地減少隨后圖像處理任務(wù)的復(fù)雜性，本發(fā)明通過線性迭代聚類的層次化超像素分割來從圖像中物體的整體特征和圖像的細(xì)節(jié)特征描述圖像，同時(shí)為下面圖像的處理打好基礎(chǔ)。
[0016](2)為了描述物體級別的圖像特征，本發(fā)明通過使用雙調(diào)和距離來衡量超像素之間的相似性，并使用譜聚類的方法將相似的超像素聚集在一起，形成描述的整體，并構(gòu)成圖像內(nèi)部的描述子。
[0017](3)為了對圖像的整體進(jìn)行描述，本發(fā)明通過使用詞袋模型的方法，將文章檢索的思路應(yīng)用到圖像檢索中，通過對圖像局部特征的統(tǒng)計(jì)，設(shè)計(jì)出一種更加緊湊和有意義的描述子，利用描述子進(jìn)行圖像之間的比較。
[0018]本發(fā)明與現(xiàn)有技術(shù)相比的有點(diǎn)在于:
[0019]1、本發(fā)明提出的基于線性迭代聚類的譜聚類層次化方法，一方面實(shí)現(xiàn)簡單，速度快，并且能夠控制分割超像素的數(shù)目，另一方面也為后續(xù)圖像處理步驟打下了基礎(chǔ)。
[0020]2、對比已有的圖像檢索方法，本發(fā)明提出的基于譜圖分析的圖像檢索方法，通過定義具有等距形變不變性和魯棒性的雙調(diào)和距離度量，并將其與詞袋模型相結(jié)合，設(shè)計(jì)并實(shí)現(xiàn)了一種緊湊的圖像描述子，該描述子可將圖像的局部結(jié)構(gòu)信息及其全局概率分布進(jìn)行充分融合，描述圖像的內(nèi)容分布。
[0021]3、本發(fā)明提出的基于雙調(diào)和距離的譜聚類分析，通過描繪局部和全局信息的雙調(diào)和距離，分析超像素之間的相似性，譜聚類將相鄰且相似的超像素聚集在一起，形成更具視覺意義的圖像分塊。
【專利附圖】

【附圖說明】
[0022]圖1為基于譜圖分析的圖像檢索方法的處理流程圖；
[0023]圖2為超像素分割的流程圖；
[0024]圖3為超像素分割的效果示意圖；
[0025]圖4為三角化效果示意圖；
[0026]圖5為雙調(diào)和距離效果示意圖；
[0027]圖6為譜聚類效果示意圖；
[0028]圖7為基于詞袋模型的算法處理流程圖；
[0029]圖 8為圖像詞頻統(tǒng)計(jì)示意圖；
[0030]圖9為最終圖像檢索結(jié)果的不意圖。
【具體實(shí)施方式】
[0031]圖1給出了基于譜圖分析的圖像檢索方法的總體處理流程，下面結(jié)合其他附圖及【具體實(shí)施方式】進(jìn)一步說明本發(fā)明。
[0032]本發(fā)明提供一種基于譜圖分析的圖像檢索方法，主要步驟介紹如下:
[0033]1、基于線性迭代聚類的層次化超像素分割
[0034]基于線性迭代的超像素分割，根據(jù)顏色的相似性和圖像平面位置的相近性，不斷通過簡單的線性聚類，將圖像劃分為多個(gè)子區(qū)域，構(gòu)成超像素。
[0035]為了考慮圖像顏色和平面位置的相似性，使用五維空間(Labxy)來進(jìn)行線性迭代聚類。其中Lab為像素點(diǎn)在CIELAB色彩空間的顏色向量，它的特點(diǎn)是在顏色接近的情況下數(shù)值能夠均勻變化，而xy為像素所在的平面位置。在此基礎(chǔ)之上，根據(jù)Labxy的五維向量空間，通過不斷聚集顏色和空間相似的像素點(diǎn)來達(dá)到劃分超像素的目的。
[0036]首先，在基于線性迭代聚類的超像素分割方法中，我們需要指定劃分超像素的大致數(shù)目K，對于一幅有N個(gè)像素點(diǎn)的圖像，每個(gè)超像素大致包含N/K個(gè)像素點(diǎn)。對于大致相
等大小的超像素，在每個(gè)網(wǎng)格間隔上放置一個(gè)中心點(diǎn)。初始情況下，根據(jù)網(wǎng)格間隔S.:腳,在圖像中平均放置指定個(gè)數(shù)的中心點(diǎn)。將中心點(diǎn)移動(dòng)到一個(gè)3X3領(lǐng)域內(nèi)最低
梯度的位置，這樣可以避免將中心點(diǎn)放在邊界或者噪聲點(diǎn)的位置。圖像梯度可以通過如下公式計(jì)算。其中I(x，y)為位于平面位置(x，y)相應(yīng)的像素點(diǎn)的Lab向量。
[0037]G (x, y) = Il I (x+1, y) -1 (χ-1, y) || 2+ || (I (χ, y+1)-1 (χ, y_l) || 2
[0038]其中G(x，y)為x，y坐標(biāo)位置下圖像的梯度，I (x，y)為在x，y坐標(biāo)位置下圖像的Iab色彩空間的向量。
[0039]我們以計(jì)算出的中心點(diǎn)位置作為初始中心點(diǎn)X、y的值，以中心點(diǎn)位置對應(yīng)像素點(diǎn)的顏色作為初始中心點(diǎn)的L、a、b值。[0040]由于空間中任意超像素的范圍大致為S2，因此我們可以放心地假設(shè)跟中心點(diǎn)相關(guān)的像素點(diǎn)都在一個(gè)2S X 2S的xy平面區(qū)域內(nèi)。在之后我們進(jìn)行超像素聚類的過程中，2S X 2S的xy平面區(qū)域?qū)⒊蔀樽羁拷恳粋€(gè)中心點(diǎn)的相似點(diǎn)的搜索區(qū)域。
[0041]在基于線性迭代聚類的超像素分割方法中，我們通過五維空間的歐拉距離來度量像素點(diǎn)之間的距離，距離Ds可以通過如下公式得到:
[0042]
【權(quán)利要求】
1.一種基于譜圖分析的圖像檢索方法，其特征在于包括以下五個(gè)步驟: 步驟(I)、基于線性迭代聚類的層次化超像素分割:超像素分割將在顏色和空間上相似的點(diǎn)聚集在一起；使用兩種分割數(shù)目的超像素；一種超像素分割為物體級別分割，用來為譜聚類的構(gòu)建相似度矩陣，另一種為細(xì)節(jié)級別分割，用來計(jì)算雙調(diào)和距離構(gòu)成每一部分的特征描述； 步驟(2)、基于雙調(diào)和距離度量的圖像特征描述:雙調(diào)和距離可通過下面公式進(jìn)行計(jì)算: 其中dB(x，y)為x，y之間的雙調(diào)和距離，Φ, (x)為x處第k個(gè)特征向量，λ k為第k個(gè)特征值，得到圖像的局部和全局拓?fù)浣Y(jié)構(gòu)；接下來使用超像素之間的雙調(diào)和距離作為特征的度量； 步驟(3)、基于譜聚類的圖像特征分析:基于之前物體級別的超像素，使用譜聚類來對超像素進(jìn)行聚類，得到更加具有語義級別的分類； 步驟(4)、基于詞袋模型的圖像描述子設(shè)計(jì):將圖像作為“文檔”，圖像中的每一部分作為一個(gè)“詞”，通過對許多圖像中的“詞”進(jìn)行分類，構(gòu)建“詞典”，其中每個(gè)“詞”都屬于一個(gè)詞典；對每一幅圖像進(jìn)行詞頻的統(tǒng)計(jì)，得到圖像描述子； 步驟(5)、圖像檢索測試:對圖像庫中的圖像進(jìn)行計(jì)算，每一幅圖像都獲得一個(gè)圖像描述子；給定一張新的圖像，通過步驟(I)- (3)對圖像進(jìn)行計(jì)算，得到新的描述子；然后將新的描述子與圖像庫中的描述子進(jìn)行距離度量，來檢索與新圖像最為匹配的圖像。
2.根據(jù)權(quán)利要求1所述的基于譜圖分析的圖像檢索方法，其特征在于:步驟(I)中所述基于線性迭代聚類的層次化超像素分割方法，根據(jù)圖像顏色的相似性和圖像平面位置的相近性，使用線性迭代聚類方法利用五維空間，即Iab色彩空間和xy的代表的平面位置來聚集相似的像素點(diǎn)，使用不同數(shù)目對圖像進(jìn)行超像素分割，通過層次化的超像素分割實(shí)現(xiàn)對圖像物體級別和細(xì)節(jié)級別的特征描述；即將圖像分割為數(shù)目較少的超像素描述圖像物體級別的特征，與此同時(shí)，將圖像分割為數(shù)目較多的超像素描述圖像的細(xì)節(jié)級別特征。
3.根據(jù)權(quán)利要求1所述的基于譜圖分析的圖像檢索方法，其特征在于:步驟(2)中所述的基于雙調(diào)和距離的圖像特征描述，對圖像超像素之間進(jìn)行雙調(diào)和距離度量，用于描述圖像超像素之間的結(jié)構(gòu)關(guān)系，不僅可以表示出局部的拓?fù)浣Y(jié)構(gòu)，而且可以獲取全局形狀感知；因此，使用超像素之間的雙調(diào)和距離作為圖像特征的度量。
4.根據(jù)權(quán)利要求1所述的基于譜圖分析的圖像檢索方法，其特征在于:步驟(3)中所述的基于譜聚類的圖像特征分析，首先將圖像看作一個(gè)圖的結(jié)構(gòu)，超像素看作圖的結(jié)點(diǎn)，根據(jù)雙調(diào)和距離構(gòu)建圖的相似度矩陣，從而將聚類問題轉(zhuǎn)化為圖分割的問題；根據(jù)相似度矩陣建立拉普拉斯矩陣進(jìn)行特征向量分解，對特征向量進(jìn)行k-means聚類得到分類結(jié)果。
5.根據(jù)權(quán)利要求1所述的基于譜圖分析的圖像檢索方法，其特征在于:步驟(4)中所述的基于詞袋模型的圖像描述子設(shè)計(jì)，將圖像看作一個(gè)文檔，圖像中的每一部分看作一個(gè)單詞，通過統(tǒng)計(jì)每一部分出現(xiàn)詞的頻率來推測圖像的內(nèi)容，并得到圖像的描述子。
【文檔編號】G06T7/00GK103699578SQ201310632571
【公開日】2014年4月2日 申請日期:2013年12月1日 優(yōu)先權(quán)日:2013年12月1日
【發(fā)明者】郝愛民, 安心怡, 李帥, 王莉莉 申請人:北京航空航天大學(xué)