基于深度信息和圖切割的立體圖像中顯著對象分割方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及通信技術(shù)領(lǐng)域，尤其涉及一種基于深度信息和圖切割的立體圖像中顯 著對象分割方法。此方法主要是從合理利用深度信息和顯著性圖以改善顯著對象分割結(jié)果 這一角度來考慮，旨在于利用深度、顏色和空域信息來生成顯著性圖，再結(jié)合深度圖和顯著 性加權(quán)的直方圖來構(gòu)建圖并設(shè)計代價函數(shù)，用圖切割方法改善顯著對象分割的結(jié)果。
【背景技術(shù)】
[0002] 顯著對象分割技術(shù)是指將視頻或者圖像中用戶感興趣的對象在像素級上與背景 實現(xiàn)分離?，F(xiàn)有的分割技術(shù)中，主要可利用顏色、方向、紋理等信息來構(gòu)建顯著性模型，并利 用生成的顯著性圖通過圖切割方法進行顯著對象分割。但研宄結(jié)果還存在不少缺點，算法 的通用性和準確性有待提高。
[0003] 隨著立體成像和顯示技術(shù)的不斷發(fā)展和普及，利用立體攝像機或者是Kinect傳 感器獲得的深度信息可以在一定程度上提升顯著性模型和顯著對象分割方法的性能。Fan 等人于2014年在香港舉行的第19屆Digital Signal Processing(DSP)會議上發(fā)表的"立 體圖像的顯著區(qū)域檢測"中提出了一個結(jié)合深度信息的顯著性模型，該模型有效地利用了 深度信息，大大提高了顯著性性能，本發(fā)明即采用該模型生成的顯著性圖作為分割方法的 輸入圖像之一。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于合理利用深度信息和顯著性圖，進而改善顯著對象分割結(jié)果， 提出一種基于深度信息和圖切割的立體圖像中顯著對象分割方法，該方法與傳統(tǒng)的僅利用 顏色和顯著性圖的顯著對象方法相比，引入了深度信息，提高了顯著對象分割性能。
[0005] 為了達到上述目的，本發(fā)明采用的方案如下：
[0006] -種基于深度信息和圖切割的立體圖像中顯著對象分割方法，其具體步驟如下：
[0007] 步驟一、輸入原始圖像和深度圖，對原始圖像及深度圖進行預(yù)分割，并生成顯著性 圖；
[0008] 步驟二、對步驟一得到的顯著性圖取定一個閾值，得到對象/背景種子點，以完成 原始圖像的初始分割；
[0009] 步驟三、將顯著性圖、深度圖和原始圖像作為圖切割的輸入，利用顯著性圖，結(jié)合 深度圖和顯著性加權(quán)的直方圖來構(gòu)建圖，并設(shè)計代價函數(shù)；
[0010] 步驟四、利用最大流最小割算法一次性完成顯著對象的分割。
[0011] 優(yōu)選地，所述步驟一結(jié)合區(qū)域級的深度、顏色和空域信息利用Fan提供的顯著性 模型生成區(qū)域級顯著性圖。
[0012] 優(yōu)選地，所述步驟二通過對顯著性圖取閾值的方法將圖像分成兩個部分，顯著性 值大于閾值的那部分像素作為對象種子點，標記為〃 〇bj〃，顯著性值小于閾值的那部分像素 作為背景種子點，標記為〃 bkg〃。
[0013] 優(yōu)選地，所述步驟三結(jié)合深度圖和顯著性加權(quán)的直方圖以構(gòu)建圖并設(shè)計代價函 數(shù)，其表達式如下：
[0014] E(L) = R(L) + λ · B(L) + β · E( Θ 0bJ，Θ bkg)
[0015] 其中，L表示像素點標記的二元向量，標記包括對象標記和背景標記，記為〃obj〃 和〃bkg〃 ；R(L)為數(shù)據(jù)項，反應(yīng)每個像素被標記為對象或背景的懲罰程度；B(L)為平滑項， 主要用來懲罰獲得不同標記的相鄰像素，本方法主要考慮相鄰像素之間顏色的差異性； Ε(θ_，9bkg)為外觀重疊項，反應(yīng)對象區(qū)域和背景區(qū)域在顏色直方圖上的差異性；λ和β 為平衡因子。
[0016] 優(yōu)選地，所述步驟四所述的最大流最小割算法采用最大流最小割算法割圖實際上 是對上述步驟三中公式的代價函數(shù)求解最小值的過程。
[0017] 本發(fā)明與現(xiàn)有技術(shù)相比，具有如下顯而易見的實質(zhì)性特點和優(yōu)點：本發(fā)明提供一 種基于深度信息和圖切割的立體圖像中顯著對象分割方法，該方法首先輸入原始圖像和深 度圖，對所述原始圖像和深度圖進行圖像分割，獲得若干個區(qū)域，然后結(jié)合區(qū)域級的深度、 顏色和空域信息生成原始圖像的顯著性圖；再對顯著性圖取定一個閾值，得到對象/背景 種子點，以完成原始圖像的初始分割；之后利用深度圖和所述計算得到的顯著性圖，以及顯 著性加權(quán)的直方圖來構(gòu)建圖并設(shè)計代價函數(shù)；最后用圖切割的方法對原始圖像進行自動化 分割。該方法合理利用深度信息，對立體圖像能更加準確地自動分割出顯著性對象。與現(xiàn) 有的技術(shù)相比，本發(fā)明分割方法具有如下優(yōu)點：合理利用深度信息和圖像的顯著性，為圖切 割提供了良好的種子點；在圖切割的過程中，再次引入深度信息，與顯著性圖、顯著性加權(quán) 的直方圖相結(jié)合來構(gòu)建圖并設(shè)計代價函數(shù)，利用最大流最小割算法完成分割，得到了更好 的分割結(jié)果。
【附圖說明】
[0018] 圖1為本發(fā)明的基于深度信息和圖切割的立體圖像中顯著對象分割方法的流程 圖；
[0019] 圖2(a)為原始圖像的示意圖，圖2(b)為深度圖的示意圖，圖2(c)為顯著性圖的 示意圖，圖2(d)為初始分割結(jié)果的示意圖，圖2(e)為最終的分割結(jié)果的示意圖，圖2(f)為 人工分割的顯著對象模板的示意圖。
【具體實施方式】
[0020] 下面結(jié)合附圖對本發(fā)明的實例作進一步詳細說明。
[0021] 本發(fā)明進行的實驗是在CPU為2. 39GHz、內(nèi)存為2G的PC測試平臺上編程實現(xiàn)。
[0022] 如圖1所示，本發(fā)明基于深度信息和圖切割的立體圖像中顯著對象分割方法所采 用的技術(shù)方案是：首先輸入原始圖像和深度圖，對所述原始圖像和深度圖進行圖像分割，然 后由顯著性模型生成顯著性圖；再對顯著性圖取定一個閾值，得到對象/背景種子點，以完 成原始圖像的初始分割；之后利用深度圖和生成的顯著性圖，以及顯著性加權(quán)的直方圖來 構(gòu)建圖并設(shè)計代價函數(shù)，用圖切割的方法對原始圖像進行自動化分割。其具體步驟如下：
[0023] 步驟一、輸入原始圖像和深度圖，對原始圖像及深度