一種圖像顯著性物體檢測方法和裝置制造方法
【專利摘要】本發(fā)明公開了一種圖像顯著性物體檢測方法和裝置，屬于計算機視覺領域。所述方法包括：根據(jù)圖像構建一個隨機森林，根據(jù)所述隨機森林用全局的圖像塊稀有性捕捉顯著物體的近似輪廓，將圖像分為輪廓內(nèi)和輪廓外兩部分；通過度量內(nèi)外部圖像塊的對比度來壓制與輪廓外部相似的內(nèi)部圖像塊，凸顯與輪廓內(nèi)部相似的外部圖像塊；最后使用基于圖切割的圖像分割修飾局部圖。采用本發(fā)明提供的圖像顯著性物體檢測方法可以檢測圖像中任何大小的物體，并且能夠?qū)崿F(xiàn)物體的完整精確檢測，同時，采用本發(fā)明提供的圖像顯著性物體檢測方法可以檢測出單幅圖像中的多個顯著物體。
【專利說明】一種圖像顯著性物體檢測方法和裝置
【技術領域】
[0001]本發(fā)明涉及計算機視覺領域，特別涉及一種圖像顯著性物體檢測方法和裝置。
【背景技術】
[0002]視覺顯著性是一個來自于神經(jīng)科學和生理學的概念，它使吸引人的注意力的區(qū)域從人的視場中凸顯出來。
[0003]傳統(tǒng)的視覺顯著性檢測方法通?；诰植炕蛘呷值膶Ρ确治鰜碛嬎泔@著性?；诰植康姆椒舾杏趫D像中高對比度的邊緣和噪聲，從而弱化了物體內(nèi)的平滑區(qū)域，這使得它們更適合檢測小物體。在基于全局對比的方法中，基于圖像塊的方法也趨向于凸出物體的邊界而非整個物體區(qū)域。雖然基于分割的方法有效地克服了“物體弱化”問題(物體內(nèi)部被壓制)，當物體的內(nèi)部不均勻時，它們?nèi)匀缓茈y凸出整個物體。大部分情況下，基于局部的方法和基于全局對比的方法只能檢測出物體的某些部分。
[0004]文 獻“Exploiting local and global patch rarities for saliencydetection”(A.Borji and L.1tt1.1n CVPR，2012)提出用全局的圖像塊稀有性(圖像塊在整幅圖像中出現(xiàn)的頻率)去填充物體的內(nèi)部區(qū)域。然而對大的物體來說，稀有的圖像塊通常出現(xiàn)在物體和背景的交界處。
[0005]上述的大部分模型是本著檢測單個顯著性物體而被提出。這些模型的局限使得它們有一定的難度去檢測一幅圖像中的多個物體。
[0006]與本發(fā)明最近似的方法是論文“Automaticsalient object segmentation basedon context and shape prior(H.Jiang, J.Wang, Z.Yuan, T.Liu, and N.Zheng, in Proc.BMVC, 2011)。這篇文獻的作者把顯著性圖和物體的形狀先驗(顯著物體有很明顯的封閉邊界)整合到一個模型中去分割顯著物體。這個形狀先驗是依靠結合顯著性和通過邊緣檢測器得到的物體邊界信息而被提取出來的。
[0007]在實現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術至少存在以下問題:
[0008]1.現(xiàn)有顯著性檢測技術不適合檢測小物體；2.當物體內(nèi)部不均勻時，現(xiàn)有顯著性檢測技術只能檢測出物體的一些部分；3.現(xiàn)有顯著性檢測技術難以檢測一幅圖像中的多個顯著性物體。

【發(fā)明內(nèi)容】

[0009]為了解決現(xiàn)有技術存在的問題，本發(fā)明實施例提供了一種圖像顯著性物體檢測方法和裝置。所述技術方案如下:
[0010]一方面，本發(fā)明提供了一種圖像顯著性物體檢測方法，所述方法包括:
[0011]將圖像進行拉伸，提取拉伸后的圖像中的圖像塊構成圖像塊集合，以遞歸的方式從所述圖像塊集合中構建出一個隨機森林；
[0012]根據(jù)所述隨機森林對所述圖像塊集合中的所有圖像塊進行稀有性分析，得到稀有性圖，采用主動輪廓模型提取所述稀有性圖中的顯著物體輪廓，得到輪廓性圖；[0013]根據(jù)所述隨機森林計算所述輪廓圖中顯著物體輪廓內(nèi)部的圖像塊和外部的圖像塊間的相似度，得到精確到物體級別的顯著性圖；
[0014]將所述精確到物體級別的顯著性圖重新拉伸到原始圖像的大小，對重新拉伸后的圖像進行基于圖切割的圖像分割，得到一個由均勻的圖像區(qū)域組成的集合，均化每個區(qū)域的顯著性值，得到最終的顯著性圖。
[0015]具體地，所述將圖像進行拉伸，提取拉伸后的圖像中的圖像塊構成圖像塊集合具體包括:將圖像拉伸到HXH的大小，將拉伸后的圖像劃分為(H/r) X (H/r)個大小為rXr的圖像塊，將這些圖像塊按照從左向右，自上而下的順序，以無重疊的方式從拉伸的圖像中被提取出來，構成圖像塊集合P= (P1, P2, “.，ρη}，其中H對r可除。
[0016]具體地，所述以遞歸的方式從所述圖像塊集合中構建出一個隨機森林具體包括:以遞歸的方式從所述圖像塊集合中構建一個由T棵樹組成的隨機森林F= IT1, -Ττ}，隨機森林中的每棵樹均由分割結點和葉子結點構成，其中，葉子結點具體為不能被繼續(xù)分割的分表1]結點；
[0017]進一步地，以遞歸的方式從所述圖像塊集合中構建一棵樹Tk具體包括:
[0018]Al:在樹Tk的分割結點η處，產(chǎn)生兩個隨機數(shù)Ii1和h2，定義
(IiOi1, h2) =Pi Oi1)-PiOi2)；
[0019]A2:構造η處的分割函數(shù)，將到達η的圖像塊集合Sn分割為包含在η的左孩子結點內(nèi)的圖像塊集合S1和包含在η的右孩子結點內(nèi)的圖像塊集合Sr ；
[0020]A3:將η的孩子結點作為當前結點繼續(xù)進行分割，直至當前結點的深度達到預定義的最大深度或者達到當前結點的圖像塊集合中只包含一個圖像塊時，執(zhí)行Α4;
[0021]Α4:選擇一個新的分割結點進行分割，直至不存在可以分割的結點為止，停止增長樹Tk ；
[0022]更進一步地，所述Α2具體包括:構造η處的分割函數(shù)為
【權利要求】
1.一種圖像顯著性物體檢測方法，其特征在于，所述方法包括: 將圖像進行拉伸，提取拉伸后的圖像中的圖像塊構成圖像塊集合，以遞歸的方式從所述圖像塊集合中構建出一個隨機森林； 根據(jù)所述隨機森林對所述圖像塊集合中的所有圖像塊進行稀有性分析，得到稀有性圖，采用主動輪廓模型提取所述稀有性圖中的顯著物體輪廓，得到輪廓性圖； 根據(jù)所述隨機森林計算所述輪廓圖中顯著物體輪廓內(nèi)部的圖像塊和外部的圖像塊間的相似度，得到精確到物體級別的顯著性圖； 將所述精確到物體級別的顯著性圖重新拉伸到原始圖像的大小，對重新拉伸后的圖像進行基于圖切割的圖像分割，得到一個由均勻的圖像區(qū)域組成的集合，均化每個區(qū)域的顯著性值，得到最終的顯著性圖。
2.根據(jù)權利要求1所述的方法，其特征在于，所述將圖像進行拉伸，提取拉伸后的圖像中的圖像塊構成圖像塊集合具體包括:將圖像拉伸到HXH的大小，將拉伸后的圖像劃分為(H/r)X(H/r)個大小為rXr的圖像塊，將這些圖像塊按照從左向右，自上而下的順序，以無重疊的方式從拉伸的圖像中被提取出來，構成圖像塊集合P= {Pl，P2，…，P1J，其中H對r可除。
3.根據(jù)權利要求1所述的方法，其特征在于，所述以遞歸的方式從所述圖像塊集合中構建出一個隨機森林具體包括:以遞歸的方式從所述圖像塊集合中構建一個由T棵樹組成的隨機森林F=IT1,…Ττ}，隨機森林中的每棵樹均由分割結點和葉子結點構成，其中，葉子結點具體為不 能被繼續(xù)分割的分割結點。
4.根據(jù)權利要求3所述的方法，其特征在于，以遞歸的方式從所述圖像塊集合中構建一棵樹Tk具體包括: Al:在樹Tk的分割結點η處，產(chǎn)生兩個隨機數(shù)Ii1和h2,定義(Ii (h” h2) =Pi Oi1) -Pi (h2)；A2:構造η處的分割函數(shù)，將到達η的圖像塊集合Sn分割為包含在η的左孩子結點內(nèi)的圖像塊集合S1和包含在η的右孩子結點內(nèi)的圖像塊集合Sr ； A3:將η的孩子結點作為當前結點繼續(xù)進行分割，直至當前結點的深度達到預定義的最大深度或者達到當前結點的圖像塊集合中只包含一個圖像塊時，執(zhí)行Α4; Α4:選擇一個新的分割結點進行分割，直至不存在可以分割的結點為止，停止增長樹Tk。
5.根據(jù)權利要求4所述的方法，其特征在于，所述Α2具體包括:構造η處的分割函數(shù)
? Di e S1.1ff dik,L.) <θ,,,.,% K(Sa-JhJh) = 1:,Λ，其中，S1為包含在η的左孩子結點內(nèi)的圖像

[jf^f € 5 f.， ι ? Al；






I塊集合包含在η的右孩子結點內(nèi)的圖像塊集合，Sj表示圖像塊集合大小。
6.根據(jù)權利要求5所述的方法，其特征在于，所述隨機數(shù)Ii1和匕滿足公式(K ’ /h ) = arS max fc j,: 1^1 Σ ^: s? ⑷(;?丨為)―0Ih J, )2 *
7.根據(jù)權利要求1所述的方法，其特征在于，所述根據(jù)所述隨機森林對所述圖像塊集合中的所有圖像塊進行稀有性分析具體包括:根據(jù)公式
8.根據(jù)權利要求7所述的方法，其特征在于，根據(jù)公式
9.根據(jù)權利要求1所述的方法，其特征在于，所述根據(jù)所述隨機森林計算所述輪廓圖中顯著物體輪廓內(nèi)部的圖像塊和外部的圖像塊間的相似度具體包括: B1:將所有的圖像塊分成顯著性物體輪廓內(nèi)部圖像塊集合Sin和顯著性物體輪廓外部圖像塊集合Stjut ； B2:計算顯著性物體輪廓外部圖像塊集合Stjut中的圖像塊Pi和顯著性物體輪廓內(nèi)部圖像塊集合Sin中的圖像塊P」在隨機森林的同一顆樹中的相似性； B3:整合Pi和P」在隨機森林的每一棵樹中的相似性，得到Pi和P」間的相似性； B4:計算Pi與Sin間的相似性,并根據(jù)Pi與Sin間的相似性計算Pi的顯著性值； B5:計算Pj與Stjut間的相似性,并根據(jù)Pj與Srat間的相似性計算P」的顯著性值。
10.根據(jù)權利要求9所述的方法，其特征在于，所述B2具體包括:根據(jù)公式
11.一種圖像顯著性物體檢測裝置，其特征在于，所述裝置包括:構建隨機森林模塊、顯著物體輪廓提取模塊、顯著物體檢測模塊和顯著物體修飾模塊；其中: 所述構建隨機森林模塊，包括圖像塊提取單元和遞歸單元，所述圖像塊提取單元用于將圖像進行拉伸，提取拉伸后的圖像中的圖像塊構成圖像塊集合，所述遞歸單元用于以遞歸的方式從所述圖像塊集合中構建出一個隨機森林； 所述顯著物體輪廓提取模塊，包括稀有性分析單元和顯著物體輪廓提取單元，所述稀有性分析單元用于根據(jù)所述隨機森林對所述圖像塊集合中的所有圖像塊進行稀有性分析，得到稀有性圖，所述顯著物體輪廓提取單元用于采用主動輪廓模型提取所述稀有性圖中的顯著物體輪廓，得到輪廓性圖； 所述顯著物體檢測模塊，用于根據(jù)所述隨機森林計算所述輪廓圖中顯著物體輪廓內(nèi)部的圖像塊和外部的圖像塊間的相似度，得到精確到物體級別的顯著性圖； 所述顯著物體修飾模塊，用于將所述精確到物體級別的顯著性圖重新拉伸到原始圖像的大小，對重新拉伸后的圖像進行基于圖切割的圖像分割，得到一個由均勻的圖像區(qū)域組成的集合，均化每個區(qū)域的顯著性值，得到最終的顯著性圖。
12.根據(jù)權利要求11所述的裝置，其特征在于，所述圖像塊提取單元具體用于將圖像拉伸到HXH的大小，將拉伸后的圖像劃分為(H/r) X (H/r)個大小為rXr的圖像塊，將這些圖像塊按照從左向右，自上而下的順序，以無重疊的方式從拉伸的圖像中被提取出來，構成圖像塊集合P=Ip1, P2,…，P1J，其中H對r可除。
13.根據(jù)權利要求11所述的裝置，其特征在于，所述遞歸單元具體用于以遞歸的方式從所述圖像塊集合中構建一個由T棵樹組成的隨機森林F= IT1,…Ττ}，隨機森林中的每棵樹均由分割結點和葉子結點構成，其中，葉子結點具體為不能被繼續(xù)分割的分割結點。
14.根據(jù)權利要求13所述的裝置，其特征在于，所述遞歸單元具體包括:` 構造分割函數(shù)子單元，用于在樹Tk的分割結點η處，產(chǎn)生兩個隨機數(shù)Ii1和h2，定義(IiOi1, h2) =Pi Oi1)-Pi (h2),構造 η 處的分割函數(shù)； 分割圖像塊集合子單元，用于根據(jù)所述構造分割函數(shù)子單元構造的分割函數(shù)將到達η的圖像塊集合Sn分割為包含在η的左孩子結點內(nèi)的圖像塊集合S1和包含在η的右孩子結點內(nèi)的圖像塊集合& ;還用于將η的孩子結點作為當前結點繼續(xù)進行分割，直至當前結點的深度達到預定義的最大深度或者達到當前結點的圖像塊集合中只包含一個圖像塊時，選擇一個新的分割結點進行分割，直至不存在可以分割的結點為止，停止增長樹Tk。
15.根據(jù)權利要求14所述的裝置，其特征在于，所述構造分割函數(shù)子單元具體用于在樹Tk的分割結點η處，產(chǎn)生兩個隨機數(shù)Ii1和h2,定義(Ii Qi1, h2) =Pi Oi1) -Pi (h2),構造η處的

? P,- e Si, -- Jh) < 0h h ,分割函數(shù)為4(?AlsIi2) = ^" 1,2，其中，S1為包含在n的左孩子結

[P, e Sr, --ΙΙ,點內(nèi)的圖像塊集合，Sr包含在η的右孩子結點內(nèi)的圖像塊集合，Jh 二 j^|ZVAeS; )，Sn表示圖像塊集合Sn的大小。
16.根據(jù)權利要求15所述的裝置，其特征在于，所述構造分割函數(shù)子單元生成的所述1隨機數(shù) Ii1 和 h2 滿足公式(K)=?*8規(guī)》秘(d,f?
17.根據(jù)權利要求11所述的方法，其特征在于，所述稀有性分析單元具體用于根據(jù)公式
18.根據(jù)權利要求17所述的裝置，其特征在于，所述稀有性分析單元根據(jù)公式
19.根據(jù)權利要求11所述的裝置，其特征在于，所述顯著物體檢測模塊具體包括: 圖像塊劃分單元，用于將所有的圖像塊分成顯著性物體輪廓內(nèi)部圖像塊集合Sin和顯著性物體輪廓外部圖像塊集合Stjut ； 第一相似性計算單元，用于計算顯著性物體輪廓外部圖像塊集合Swt中的圖像塊Pi和顯著性物體輪廓內(nèi)部圖像塊集合Sin中的圖像塊P」在隨機森林的同一顆樹中的相似性； 整合單元，用于整合所述第一相似性計算單元計算得到的Pi和P」在隨機森林的每一棵樹中的相似性，得到Pi和P」間的相似性； 第二相似性計算單元，用于計算Pi與Sin間的相似性，并根據(jù)Pi與Sin間的相似性計算Pi的顯著性值； 第三相似性計算單元，用于計算P」與Srat間的相似性，并根據(jù)P」與Swt間的相似性計算h的顯著性值。
20.根據(jù)權利要求19所述的裝置，其特征在于，所述第一相似性計算單元具體用于根 據(jù)公式
【文檔編號】G06T7/00GK103793710SQ201310686930
【公開日】2014年5月14日 申請日期:2013年12月12日 優(yōu)先權日:2013年12月12日
【發(fā)明者】陳世峰, 杜書澤 申請人:中國科學院深圳先進技術研究院