一種融合顏色和深度信息的圖像分割方法
【專利摘要】本發(fā)明公開了一種融合顏色和深度信息的圖像分割方法，本發(fā)明首先利用meanshift算法對輸入彩色圖像作分割，得到過分割區(qū)域集合，然后計(jì)算各區(qū)域之間的相似度，包括顏色相似度和深度相似度，以及兩者的融合；接著根據(jù)深度圖像自動(dòng)選取目標(biāo)和背景種子區(qū)域；最后利用MSRM算法進(jìn)行區(qū)域合并，得到最終的分割結(jié)果。本發(fā)明在計(jì)算區(qū)域之間相似度時(shí)，不僅僅利用顏色信息，還動(dòng)態(tài)融合了深度信息，解決了當(dāng)目標(biāo)和背景顏色相近，即物體與物體之間為低對比度邊緣時(shí)，無法正確分割的問題；本發(fā)明利用圖像深度信息自動(dòng)選取種子區(qū)域，無需人工交互地標(biāo)注目標(biāo)和背景的種子區(qū)域，直接利用深度圖像的區(qū)域特性，而不是邊緣特性來確定種子區(qū)域，具有較好的魯棒性。
【專利說明】一種融合顏色和深度信息的圖像分割方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，具體涉及一種融合顏色和深度信息的圖像分割方 法。

【背景技術(shù)】
[0002] 圖像分割是將圖像分成若干個(gè)特定的、具有獨(dú)特性質(zhì)的區(qū)域并提出感興趣目標(biāo)的 技術(shù)和過程。它是圖像處理到圖像分析的關(guān)鍵步驟。圖像分割后提取出的目標(biāo)可以用于圖 像語義識(shí)別，圖像檢索等領(lǐng)域。傳統(tǒng)圖像分割方法一般基于圖像的外觀特征，如顏色、亮度、 紋理、形狀、結(jié)構(gòu)等。而真實(shí)的物體存在三維世界中，物體應(yīng)該由物理上的連通性來定義，結(jié) 合圖像的深度信息來分割圖像，可以有效地克服過分割和欠分割問題，獲取具有一定語義 的圖像分割結(jié)果。
[0003] 目前，圖像分割方法不計(jì)其數(shù)，其中[文獻(xiàn)1]提出的基于最大相似度的區(qū)域合并 的方法（以下簡稱MSRM算法）比較簡單，對圖像內(nèi)容自適應(yīng)，無需事先設(shè)置相似度閾值，能 夠從復(fù)雜背景中提取目標(biāo)輪廓。MSRM算法的優(yōu)勢在于：與人工交互的經(jīng)典算法圖割（graph cut)相比，在相同的人工交互條件下，分割效果更好。局限性在于：需要標(biāo)記覆蓋主要的特 征區(qū)域，當(dāng)出現(xiàn)陰影、低對比度邊緣和模糊區(qū)域時(shí)，分割是失敗的。
[0004] 近年來有很多文獻(xiàn)將深度圖像引入圖像分割領(lǐng)域，[文獻(xiàn)2]提出一種基于深度和 顏色信息的圖像物體分割算法，首先利用meanshift分割算法對目標(biāo)圖像進(jìn)行過分割，同 時(shí)借助雙目立體視覺算法獲取立體圖對的稠密深度圖，依據(jù)深度不連續(xù)性從過分割結(jié)果中 選取繼續(xù)進(jìn)行"精致"分割的種子點(diǎn)集，對未分配種子標(biāo)簽的區(qū)域用圖割算法分配標(biāo)簽，并 對彼此之間沒有深度不連續(xù)邊界但具有不同標(biāo)簽的相鄰區(qū)域進(jìn)行融合。該算法的局限性在 于：（1)用圖割算法（graph cut)進(jìn)行全局優(yōu)化時(shí)，僅僅用到了顏色信息；（2)獲得的圖像二 值化深度不連續(xù)邊緣強(qiáng)烈依賴于實(shí)驗(yàn)閾值，且邊緣線本身是間斷、不連續(xù)的，這將影響種子 點(diǎn)選取的可靠性。[文獻(xiàn)3]提出一種基于顏色和深度信息的多模語義分割方法，該算法將 紋理、顏色描述子和3D描述子通過馬爾科夫隨機(jī)場模型融合到一起，為超像素分配標(biāo)簽。 該方法需要訓(xùn)練，計(jì)算量大。[文獻(xiàn)4]提出的在機(jī)器人視覺導(dǎo)航系統(tǒng)中利用彩色和深度圖 像定位物體，只適用于圖像中幾個(gè)物體顏色單一且完全一致時(shí)，利用深度的不同來區(qū)分。
[0005] 文獻(xiàn) 1 :Ning J.，Zhang L.，Zhang D.，et al. Interactive image segmentation by maximal similarity based region merging. Pattern Recognition, 2010, 43 (2) : 445-456 ；
[0006] 文獻(xiàn)2 :皮志明，汪增福.融合深度和顏色信息的圖像物體分割算法.模式識(shí)別與 人工智能，2013, 26 (2) : 151-158 ;
[0007] 文獻(xiàn) 3 :Islem Jebari, David Filliat. Color and depth-based superpixels for background and object segmentation. Procedia Engineering, 2012,41:1307-1315 ；
[0008] 文獻(xiàn) 4 ： Jose-Juan, Hernandez-Lopez, Ana-Linnet, et al. Detecting objects using color and depth segmentation with Kinect sensor. Procedia Technology, 2012, 3:196-204。


【發(fā)明內(nèi)容】

[0009] 本發(fā)明的目的在于提供一種當(dāng)目標(biāo)和背景顏色復(fù)雜且相近時(shí)能夠更準(zhǔn)確地加以 區(qū)分、且能夠利用深度圖像的區(qū)域特性自動(dòng)選取種子區(qū)域的圖像分割方法。
[0010] 本發(fā)明所采用的技術(shù)方案是：一種融合顏色和深度信息的圖像分割方法，其特征 在于，包括以下步驟：
[0011] 步驟1 :利用meanshift算法對輸入彩色圖像作分割，得到過分割區(qū)域集合G = 泣} i = ι ...，KN，其中，上標(biāo)i代表區(qū)域序號(hào)，RN為區(qū)域總數(shù)目；
[0012] 步驟2 :計(jì)算G中各區(qū)域之間的相似度，包括顏色相似度S。和深度相似度Sd，以及 顏色相似度S。和深度相似度s d的融合；
[0013] 步驟3 :根據(jù)深度圖像自動(dòng)選取目標(biāo)和背景種子區(qū)域；
[0014] 步驟4 :利用MSRM算法進(jìn)行區(qū)域合并，得到最終的分割結(jié)果。
[0015] 作為優(yōu)選，步驟2中所述的計(jì)算G中各區(qū)域之間的顏色相似度，其具體實(shí)現(xiàn)過程是 采用Bhattacharyya系數(shù)定義G中任意兩個(gè)區(qū)域R和Q的顏色相似度S c :
[0016]

【權(quán)利要求】
1. 一種融合顏色和深度信息的圖像分割方法，其特征在于，包括以下步驟： 步驟1 :利用meanshift算法對輸入彩色圖像作分割，得到過分割區(qū)域集合G=沁1 = ，其中，上標(biāo)i代表區(qū)域序號(hào)，RN為區(qū)域總數(shù)目； 步驟2 :計(jì)算G中各區(qū)域之間的相似度，包括顏色相似度S。和深度相似度Sd，以及顏色 相似度S。和深度相似度Sd的融合； 步驟3 :根據(jù)深度圖像自動(dòng)選取目標(biāo)和背景種子區(qū)域； 步驟4 :利用MSRM算法進(jìn)行區(qū)域合并，得到最終的分割結(jié)果。
2. 根據(jù)權(quán)利要求1所述的融合顏色和深度信息的圖像分割方法，其特征在于： 步驟2中所述的計(jì)算G中各區(qū)域之間的顏色相似度，其具體實(shí)現(xiàn)過程是采用 Bhattacharyya系數(shù)定義G中任意兩個(gè)區(qū)域R和Q的顏色相似度Sc :
其中，Hist!^PHistQ分別為區(qū)域R和Q的歸一化顏色直方圖，上標(biāo)u表示直方圖的第 u個(gè)元素，U為直方圖的總柄數(shù)。
3. 根據(jù)權(quán)利要求1所述的融合顏色和深度信息的圖像分割方法，其特征在于： 步驟2中所述的計(jì)算G中各區(qū)域之間的深度相似度，其具體實(shí)現(xiàn)過程是將G中每個(gè)區(qū) 域的像素的深度值取算術(shù)平均作為該區(qū)域的深度值，構(gòu)成區(qū)域深度集合D = = 上標(biāo)i代表區(qū)域序號(hào)，定義G中任意兩個(gè)區(qū)域R和Q的深度相似度Sd :
其中，max {D1} i = 1; ...，KN表示所有區(qū)域深度取最大值，min {D1} i = 1;...，KN為所有區(qū)域深度除 了 〇以外的最小值。
4. 根據(jù)權(quán)利要求3所述的融合顏色和深度信息的圖像分割方法，其特征在于：所述的 將G中每個(gè)區(qū)域的像素的深度值取算術(shù)平均作為該區(qū)域的深度值，針對圖像中部分像素的 深度由于遮擋等原因不能確定，而給出的深度圖像中是以〇作為深度值進(jìn)行填補(bǔ)的情況， 具體處理方法為：將過分割區(qū)域集合G映射到深度圖像中，若過分割區(qū)域i中元素的深度值 全為0,表明該區(qū)域物體的深度信息不確定，那么只考慮該區(qū)域與相鄰區(qū)域的顏色相似度； 若過分割區(qū)域i中有部分元素的深度值為0,那么計(jì)算該區(qū)域深度值Di時(shí)，只對區(qū)域i中深 度不為零的那些像素點(diǎn)取算術(shù)平均。
5. 根據(jù)權(quán)利要求1所述的融合顏色和深度信息的圖像分割方法，其特征在于：步驟2 中所述的顏色相似度S。和深度相似度Sd的融合，S。和S d融合后總的相似度為： S = Sc+w · Sd 其中，S。和Sd融合的權(quán)值W采用非線性的Sigmod曲線來描述：
其中A確定了 Sigmod曲線的最大逼近值，B和C分別確定了 Sigmod曲線的位移和陡 峭程度。
6.根據(jù)權(quán)利要求1所述的融合顏色和深度信息的圖像分割方法，其特征在于：步驟3 所述的根據(jù)深度圖像自動(dòng)選取目標(biāo)和背景種子區(qū)域，其具體實(shí)現(xiàn)過程是首先利用K-means 算法對區(qū)域深度集合D中的元素進(jìn)行聚類，類別個(gè)數(shù)取K = 2,自動(dòng)聚成兩大類，即目標(biāo)和背 景，然后分別從這兩大類中隨機(jī)挑選若干區(qū)域作為目標(biāo)和背景的種子區(qū)域。
【文檔編號(hào)】G06T7/00GK104050682SQ201410324569
【公開日】2014年9月17日 申請日期:2014年7月9日 優(yōu)先權(quán)日:2014年7月9日
【發(fā)明者】鄭慶慶, 吳謹(jǐn), 劉勁, 鄧慧萍, 廖宇峰 申請人:武漢科技大學(xué)