本發(fā)明屬于視頻圖像修復(fù)技術(shù)領(lǐng)域，具體一種基于梯度融合與聚類的三維視頻圖像修復(fù)方法。

背景技術(shù)：

基于深度圖像繪制(dibr)的視圖合成是三維(3d)視頻中常用的重要技術(shù)。該技術(shù)的核心思想就是通過3d轉(zhuǎn)換處理對參考視圖的紋理圖和深度圖進(jìn)行虛擬視圖的合成。由于dibr技術(shù)在生成的虛擬視點(diǎn)圖像時(shí)，存在暴露區(qū)域(即空洞)，嚴(yán)重影響了圖像質(zhì)量。因此，如何消除空洞的效果成為人們研究的熱點(diǎn)。

為實(shí)現(xiàn)空洞的修復(fù)填充，大量的文獻(xiàn)提出了不同的方法。一類是通過低通濾波器實(shí)現(xiàn)，常用的有高斯濾波器，雙邊濾波器等，但是這類方法主要通過平滑深度圖像的梯度來減少空洞的面積，容易造成圖像的結(jié)構(gòu)信息的改變，引起幾何扭曲。另一類方法是利用圖像的紋理信息對空洞進(jìn)行填充，主要利用各種圖像修復(fù)技術(shù)來實(shí)，如各向同(異)性擴(kuò)散、整體變分、偏微分方程(pde)、光流場、紋理合成等方法。其中，pde方法對平滑區(qū)域的恢復(fù)效果較好，但會模糊紋理細(xì)節(jié)。紋理合成技術(shù)則綜合考慮了缺損區(qū)域邊緣的結(jié)構(gòu)和紋理，可以獲得一個(gè)相對較好的效果，并且對于分別屬于前景和背景區(qū)域的空洞，產(chǎn)生的原因不同，有針對性的采取不同的填充方式就能獲得更好的效果。

為了從原始圖像中獲得可用于填充空洞的背景信息，需對圖像進(jìn)行分割，提取感興趣的信息用于空洞填充。分水嶺變換是近幾年發(fā)展起來的形態(tài)學(xué)分割方法，它保留了傳統(tǒng)分割方法的優(yōu)點(diǎn)，能夠準(zhǔn)確地獲得前景物體的邊緣信息，為后期提供了較好的預(yù)分割圖像的操作。然而，由于大多數(shù)自然彩色分布圖像具有較多的細(xì)致紋理特征，若直接采用分水嶺變換進(jìn)行分割，將導(dǎo)致其局部最小值過多，對那些對比度不高的圖像很可能造成重要的分割線丟失。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是針對三維視頻圖像的空洞填充中的前景背景分割時(shí)，容易造成前景對象提取不準(zhǔn)確而影響修復(fù)效果的不足，采用深度圖的深度梯度結(jié)構(gòu)信息對原有梯度圖進(jìn)行改進(jìn)，并對深度圖進(jìn)行k均值聚類，獲得標(biāo)記圖進(jìn)行標(biāo)記修正，提出了一種基于梯度融合與聚類的三維視頻圖像修復(fù)方法。

本發(fā)明解決其技術(shù)問題所采取以下技術(shù)方案：

一種基于梯度融合與聚類的三維視頻圖像修復(fù)方法，其針對三維視頻圖像的空洞填充中的前景背景分割時(shí)，容易造成前景對象提取不準(zhǔn)確而影響修復(fù)效果的不足，本發(fā)明采用分水嶺算法與標(biāo)記相結(jié)合的辦法，對圖像進(jìn)行分割；充分利用深度圖像的深度梯度結(jié)構(gòu)信息，采用k均值聚類對梯度圖像進(jìn)行標(biāo)記修正，以增強(qiáng)對前景對象的辨別能力。具體的：結(jié)合彩色圖像和深度圖像的梯度提取，充分考慮彩色圖像的顏色特性和融合深度圖像的幾何特征，引入融合梯度，有效地表達(dá)圖像的梯度，更好地衡量富含結(jié)構(gòu)及紋理部分區(qū)域樣本塊之間的特征差別；為了有效抑制分水嶺過分割現(xiàn)象和提取圖像的前/背景，采用標(biāo)記圖像進(jìn)行梯度重構(gòu)優(yōu)化，較好地克服了分水嶺算法的過分割現(xiàn)象。

與彩色圖相比，由于深度圖不受光源照射方向及物體表面的反射特性的影響，而且不存在陰影。所以，深度圖可以更準(zhǔn)確地表現(xiàn)物體目標(biāo)表面的三維深度信息，故結(jié)合彩色圖和深度圖的梯度信息來獲得融合梯度圖，更好地衡量富含結(jié)構(gòu)及紋理部分區(qū)域樣本塊之間的特征差別。由于在分水嶺變換時(shí)，因?yàn)榫植繕O小值對分割的影響，容易產(chǎn)生嚴(yán)重的過分割現(xiàn)象，為此，采用k均值聚類方法對深度圖進(jìn)行前景標(biāo)記，并對融合梯度圖進(jìn)行修改優(yōu)化。具體實(shí)現(xiàn)步驟如下：

步驟1、梯度圖像的構(gòu)建

分水嶺計(jì)算方法的基本思想是把圖像看作是測地學(xué)上的拓?fù)涞孛?，圖像中每一像素的灰度值表示該點(diǎn)的海拔高度，每一個(gè)局部極小值及其影響區(qū)域稱為集水盆地，而集水盆地的邊界則形成分水嶺。分水嶺變換得到的是輸入圖像的集水盆圖像，集水盆之間的邊界點(diǎn)(即為分水嶺)。

結(jié)合彩色梯度和深度梯度來描繪圖像的結(jié)構(gòu)幾何信息：

梯度圖像通常作為分水嶺變換的直接處理對象。然而，對彩色圖像的處理并不總是等于直接在顏色向量空間中的處理，分別計(jì)算圖像梯度然后形成彩色圖像可能得到與人眼視覺特性不一致的結(jié)果。因此，在彩色向量空間直接計(jì)算梯度比以單獨(dú)的分量圖像為基礎(chǔ)計(jì)算梯度具有更高的準(zhǔn)確度。本發(fā)明采用彩色向量空間梯度算法，直接在rgb向量空間計(jì)算梯度。設(shè)是rgb彩色空間沿r、g、b軸的單位向量，像素沿水平方向和垂直方向的彩色梯度可用向量來表述:

根據(jù)這些矢量的點(diǎn)積，分別定義gxx、gyy和gxy如下：

由此可得彩色圖像的梯度圖(簡稱彩色梯度圖)為：

其中，變量θ的大小為：

與彩色圖像相比，深度圖像具有物體三維特征信息。由于深度圖像不受光源照射方向及物體表面的反射特性的影響，而且不存在陰影。所以，深度圖可以更準(zhǔn)確地表現(xiàn)物體目標(biāo)表面的三維深度信息。為了更好地衡量富含結(jié)構(gòu)及紋理部分區(qū)域樣本塊之間的特征差別，本發(fā)明引入深度圖的深度梯度信息。

對深度圖進(jìn)行梯度處理。令gdepth為深度圖像i的深度梯度圖，其中任意像素點(diǎn)的梯度值為：

其中，gx，gy為水平方向梯度與垂直方向梯度，其大小分別利用模板sobel算子與圖像i進(jìn)行卷積計(jì)算而得。結(jié)合彩色梯度圖gcolor與深度梯度圖gdepth，本發(fā)明對彩色圖像的梯度圖重新定義(簡稱融合梯度圖)為：

g＝αgcolor+βgdepth(9)

其中，α+β＝1，在本發(fā)明中取α＝0.4，β＝0.6。

步驟2、利用k均值聚類獲得前景標(biāo)記，具體如下：

為了克服分水嶺變換時(shí)，因?yàn)榫植繕O小值對分割的影響，產(chǎn)生嚴(yán)重的過分割現(xiàn)象，還需進(jìn)一步優(yōu)化梯度圖像。為此，本發(fā)明采用前景標(biāo)記來解決這一問題。

前景標(biāo)記是指對梯度圖像中感興趣目標(biāo)的區(qū)域最小值進(jìn)行標(biāo)記，屏蔽去除其他最小值，以達(dá)到分割感興趣區(qū)域的目的。為了能準(zhǔn)確地提取標(biāo)記，本發(fā)明采用k均值聚類方法對深度圖進(jìn)行初步提取前景，獲取感興趣的目標(biāo)對象。

k均值聚類算法采用迭代式的過程對像素點(diǎn)分配到k類簇中，使每個(gè)像素點(diǎn)所在的類具有最接近的均值，具有良好的簡捷性和較強(qiáng)的適應(yīng)性。利用k均值聚類(k＝2)，將深度圖粗糙的分為兩類，白色區(qū)域?yàn)榍熬?，黑色區(qū)域?yàn)楸尘?。通過檢測連續(xù)幀之間的前景區(qū)域的變化，對被遮擋的背景進(jìn)行更新。當(dāng)利用k均值聚類對第n幀的深度圖像進(jìn)行處理時(shí)，可獲得第一個(gè)前景模板。對第n+1幀進(jìn)行相同處理，獲得第二個(gè)前景模板。比較第一個(gè)和第二個(gè)前景模板之間的差別，就可獲得第n幀與第n+1幀之間的前景對象的移動區(qū)域，記為以此類推，用相同的方法處理第n幀與其它剩余幀之間的前景對象移動區(qū)域(j≠n)，最后將獲得的所有前景對象移動區(qū)域進(jìn)行疊加，最終獲得第n幀在整個(gè)視頻序列中的前景對象移動區(qū)域(即)。在本發(fā)明中將所提取的前景對象移動區(qū)域簡稱為第n幀的標(biāo)記圖。

在獲取第n幀的標(biāo)記圖后，對融合梯度圖g進(jìn)行修改優(yōu)化。首先，根據(jù)標(biāo)記圖中的前景對象移動區(qū)域逐一找到融合梯度圖g中對應(yīng)的區(qū)域，并將該區(qū)域的梯度值強(qiáng)制標(biāo)定為局部極小值，最后得到修改優(yōu)化后的梯度圖(簡稱為優(yōu)化梯度圖，記為g′)。利用標(biāo)記圖進(jìn)行修改后的優(yōu)化梯度圖減少了融合梯度圖中的前景區(qū)域的偽局部極小值的數(shù)量，從而消除由這些偽局部極小值產(chǎn)生的過分割現(xiàn)象。

步驟3、前景提取和空洞修復(fù)填充

當(dāng)完成對梯度圖優(yōu)化后，利用分水嶺變換，對優(yōu)化梯度圖進(jìn)行分割，提取前景。令iws分水嶺變換結(jié)果，即

iws＝watershed(g′)(10)

其中，watershed(·)表示分水嶺。

在此基礎(chǔ)上，為了有效提取動態(tài)前景對象的區(qū)域，再次利用前景標(biāo)記對分水嶺變換后的圖像iws進(jìn)行前景提取。若將分水嶺變換后的圖像iws中的區(qū)域定義為γi(i≥1)，利用前景標(biāo)記γk對區(qū)域γi中的像素點(diǎn)p進(jìn)行前景判斷，并計(jì)算區(qū)域γi內(nèi)的前景像素點(diǎn)所占百分比：

然后，根據(jù)α的大小，按以下原則判斷該區(qū)域是否為前景區(qū)域：當(dāng)α≥0.5時(shí)，該區(qū)域?yàn)榍熬皡^(qū)域；當(dāng)α<0.5時(shí)，該區(qū)域?yàn)楸尘皡^(qū)域。

由于前景的移動，會對背景產(chǎn)生遮擋，因此，僅利用某一幀來完成背景的提取難度較大。為此，本發(fā)明采用幀差法獲取背景圖，具體步驟如下：

(1)對視頻序列中的每一幀進(jìn)行分水嶺變換，獲得每一幀的前景區(qū)域和背景區(qū)域；

(2)選取其中一幀，逐一將該幀的前景區(qū)域與其他幀的前景區(qū)域進(jìn)行比較，獲得遮擋區(qū)域；

(3)利用其他幀的背景區(qū)域?qū)φ趽鯀^(qū)域進(jìn)行填充，最后獲得整個(gè)視頻的背景圖像。

利用式(11)對梯度圖進(jìn)行前景區(qū)域的提取，用同樣的處理方法得到第n+j幀(j＝1,2,…,j≠n)前景區(qū)域。然后，對這兩幀的前景區(qū)域進(jìn)行比較，由此得到因前景對象的移動產(chǎn)生的對背景的遮擋區(qū)域。該遮擋區(qū)域給出了從第n幀的前景區(qū)域轉(zhuǎn)變成為第n+j幀的背景區(qū)域，故可利用第n+j幀的背景區(qū)域?qū)υ撜趽鯀^(qū)域進(jìn)行填充。用類似處理方法，利用剩余其他幀j的背景區(qū)域?qū)Φ趎幀的前景區(qū)域進(jìn)行填充后，最后獲得該視頻的背景圖像。

在對空洞進(jìn)行修復(fù)填充時(shí)，對于分別屬于前景和背景區(qū)域的空洞，由于產(chǎn)生的原因不同，有針對性的采取不同的填充方式就能獲得更好的效果。本發(fā)明對空洞的修復(fù)填充原則是，對由前景移動產(chǎn)生的空洞，利用背景圖像進(jìn)行填充；對非前景移動產(chǎn)生的空洞，則利用criminisi算法進(jìn)行填充。

由于因前景移動產(chǎn)生的空洞主要出現(xiàn)前景和背景的交界處，即深度值產(chǎn)生大幅度跳變的區(qū)域，因此，可對深度圖像中的深度值進(jìn)行檢測，確定出現(xiàn)空洞的位置，利用背景圖像中的相應(yīng)區(qū)域?qū)斩催M(jìn)行填充。檢測深度值突變的公式如下所示：

其中，d(i,j)為點(diǎn)(i,j)處的深度值。對于dmask＝1,2的像素點(diǎn)，利用背景圖像進(jìn)行填充；對于dmask＝0的像素點(diǎn)，利用criminisi算法進(jìn)行填充。

本發(fā)明有益效果如下：

在傳統(tǒng)的分水嶺算法中，由于偽局部極小值對分割的影響，容易產(chǎn)生嚴(yán)重的過分割現(xiàn)象。本發(fā)明基于分水嶺算法，標(biāo)記提取、梯度圖構(gòu)建、前/背景提取等角度，提供一種基于梯度融合與聚類的三維視頻圖像空洞填充方法。結(jié)合彩色圖和深度圖的梯度信息能較好地考慮彩色圖像的顏色特性和融合深度圖像的幾何特征，能夠有效地表達(dá)圖像的梯度；采用k均值聚類對深度圖進(jìn)行前景標(biāo)記，以抑制分水嶺過分割現(xiàn)象。

附圖說明

圖1為本發(fā)明的流程圖。

圖2不同梯度圖像的比較。

圖3前景標(biāo)記的獲取。

圖4優(yōu)化前后的梯度圖比較。

圖5分水嶺變換分割結(jié)果的比較。

圖6本發(fā)明算法的背景圖像的生成。

圖7ballet序列第1幀的前景區(qū)域。

圖8breakdancer序列第10幀的前景區(qū)域。

圖9修復(fù)算法[2]和本發(fā)明算法所提取的背景圖像的比較。

圖10ballet序列和breakdancer序列中被動態(tài)前景遮擋的區(qū)域(紅色部分)。

圖11修復(fù)算法[1]、修復(fù)算法[2]和本發(fā)明算法對空洞填充修復(fù)效果的比較。

注：在本發(fā)明實(shí)施例中，為了比較本發(fā)明算法的優(yōu)越性，與下列相關(guān)修復(fù)算法進(jìn)行了比較。

修復(fù)算法[1]：a.criminisi,p.perezandk.toyama,"regionfillingandobjectremovalbyexemplar-basedimageinpainting,"inieeetransactionsonimageprocessing,vol.13,no.9,pp.1200-1212,sept.2004.

修復(fù)算法[2]：c.yao,t.tillo,y.zhao,j.xiao,h.baiandc.lin,"depthmapdrivenholefillingalgorithmexploitingtemporalcorrelationinformation,"inieeetransactionsonbroadcasting,vol.60,no.2,pp.394-404,june2014.

具體實(shí)施說明

下面結(jié)合附圖對本發(fā)明實(shí)施例作詳細(xì)說明。

本發(fā)明基于梯度融合與聚類的三維視頻圖像修復(fù)方法，針對三維視頻圖像的空洞填充中的前景背景分割時(shí)，容易造成前景對象提取不準(zhǔn)確而影響修復(fù)效果的不足，本發(fā)明采用分水嶺算法與標(biāo)記相結(jié)合的辦法，對圖像進(jìn)行分割。首先，結(jié)合彩色圖像的顏色梯度幾何信息和深度圖像的深度梯度結(jié)構(gòu)信息獲取視頻圖像的融合梯度圖；接著，為了增強(qiáng)對前景對象的辨別能力，采用k均值聚類對融合梯度圖進(jìn)行標(biāo)記修正，獲得優(yōu)化梯度圖；然后，根據(jù)標(biāo)記修正后的優(yōu)化梯度圖，利用分水嶺變換對圖像進(jìn)行分割，并結(jié)合標(biāo)記圖提取前景；最后，根據(jù)鄰幀間前景對象的移動區(qū)域獲取背景圖，結(jié)合背景圖和criminisi算法對空洞進(jìn)行填充，獲得最終的新視點(diǎn)圖像。本發(fā)明較好地克服了原有分水嶺算法在圖像分割過程中易發(fā)生的過分割現(xiàn)象，完整提取了前景對象的紋理信息，使修復(fù)具有更好的視覺效果，證了相對較高的結(jié)構(gòu)相似性(ssim)，峰值信噪比(psnr)相比于其他修復(fù)方法提高了1～3db。下面對本發(fā)明的優(yōu)選實(shí)施例作詳細(xì)說明。

在本實(shí)施例中，圖1給出了本發(fā)明的流程圖。

第一步：梯度圖像的構(gòu)建。

分水嶺計(jì)算方法的基本思想是把圖像看作是測地學(xué)上的拓?fù)涞孛?，圖像中每一像素的灰度值表示該點(diǎn)的海拔高度，每一個(gè)局部極小值及其影響區(qū)域稱為集水盆地，而集水盆地的邊界則形成分水嶺。分水嶺變換得到的是輸入圖像的集水盆圖像，集水盆之間的邊界點(diǎn)(即為分水嶺)。

梯度圖像通常作為分水嶺變換的直接處理對象。然而，對彩色圖像的處理并不總是等于直接在顏色向量空間中的處理，分別計(jì)算圖像梯度然后形成彩色圖像可能得到與人眼視覺特性不一致的結(jié)果。因此，在彩色向量空間直接計(jì)算梯度比以單獨(dú)的分量圖像為基礎(chǔ)計(jì)算梯度具有更高的準(zhǔn)確度。本發(fā)明采用彩色向量空間梯度算法，直接在rgb向量空間計(jì)算梯度。設(shè)是rgb彩色空間沿r、g、b軸的單位向量，像素沿水平方向和垂直方向的彩色梯度可用向量來表述:

根據(jù)這些矢量的點(diǎn)積，分別定義gxx、gyy和gxy如下：

由此可得彩色圖像的梯度圖(簡稱彩色梯度圖)為：

其中，變量θ的大小為：

與彩色圖像相比，深度圖像具有物體三維特征信息。由于深度圖像不受光源照射方向及物體表面的反射特性的影響，而且不存在陰影。所以，深度圖可以更準(zhǔn)確地表現(xiàn)物體目標(biāo)表面的三維深度信息。為了更好地衡量富含結(jié)構(gòu)及紋理部分區(qū)域樣本塊之間的特征差別，本發(fā)明引入深度圖的深度梯度信息。

對深度圖進(jìn)行梯度處理。令gdepth為深度圖像i的深度梯度圖，其中任意像素點(diǎn)的梯度值為：

其中，gx，gy為水平方向梯度與垂直方向梯度，其大小分別利用模板sobel算子與圖像i進(jìn)行卷積計(jì)算而得。結(jié)合彩色梯度圖gcolor與深度梯度圖gdepth，本發(fā)明對彩色圖像的梯度圖重新定義(簡稱融合梯度圖)為：

g＝αgcolor+βgdepth(9)

其中，α+β＝1，在本發(fā)明中取α＝0.4，β＝0.6。

圖2分別給出了改進(jìn)前后提取彩色圖像的梯度圖，圖2(a)是ballet視頻序列中第n幀的原始彩色圖，圖2(b)是該幀的深度圖。從圖2(c)和圖(d)中可以看出，雖然在利用式(6)獲取的彩色梯度圖gcolor中，較好地給出了彩色圖像的細(xì)節(jié)信息，但是由于前景對象與背景的顏色相近，沒有給出前景對象的邊緣特征信息。而采用式(9)獲得的融合梯度圖g，不僅給出了彩色圖像的細(xì)節(jié)信息，同時(shí)也較好地突出了前景對象。

步驟2：利用k均值聚類獲得前景標(biāo)記。

為了克服分水嶺變換時(shí)，因?yàn)榫植繕O小值對分割的影響，產(chǎn)生嚴(yán)重的過分割現(xiàn)象，還需進(jìn)一步優(yōu)化梯度圖像。為此，本發(fā)明采用前景標(biāo)記來解決這一問題。

前景標(biāo)記是指對梯度圖像中感興趣目標(biāo)的區(qū)域最小值進(jìn)行標(biāo)記，屏蔽去除其他最小值，以達(dá)到分割感興趣區(qū)域的目的。為了能準(zhǔn)確地提取標(biāo)記，本發(fā)明采用k均值聚類方法對深度圖進(jìn)行初步提取前景，獲取感興趣的目標(biāo)對象。

k均值聚類算法采用迭代式的過程對像素點(diǎn)分配到k類簇中，使每個(gè)像素點(diǎn)所在的類具有最接近的均值，具有良好的簡捷性和較強(qiáng)的適應(yīng)性。圖3給出了采用k均值聚類算法對圖2(b)深度圖的分類結(jié)果。利用k均值聚類(k＝2)，將深度圖粗糙的分為兩類，白色區(qū)域?yàn)榍熬?，黑色區(qū)域?yàn)楸尘?。通過檢測連續(xù)幀之間的前景區(qū)域的變化，對被遮擋的背景進(jìn)行更新。當(dāng)利用k均值聚類對第n幀的深度圖像進(jìn)行處理時(shí)，可獲得第一個(gè)前景模板，如圖3(a)所示(白色區(qū)域)。對第n+1幀進(jìn)行相同處理，獲得第二個(gè)前景模板，如圖3(b)所示(白色區(qū)域)。比較第一個(gè)和第二個(gè)前景模板之間的差別，就可獲得第n幀與第n+1幀之間的前景對象的移動區(qū)域，記為如圖3(c)所示(白色區(qū)域)。以此類推，用相同的方法處理第n幀與其它剩余幀之間的前景對象移動區(qū)域(j≠n)，最后將獲得的所有前景對象移動區(qū)域進(jìn)行疊加，最終獲得第n幀在整個(gè)視頻序列中的前景對象移動區(qū)域(即)，如圖3(d)所示(白色區(qū)域)。在本發(fā)明中將所提取的前景對象移動區(qū)域簡稱為第n幀的標(biāo)記圖。

在獲取第n幀的標(biāo)記圖后，對融合梯度圖g(如圖2(d)所示)進(jìn)行修改優(yōu)化。首先，根據(jù)標(biāo)記圖中的前景對象移動區(qū)域(白色區(qū)域，說明：為了便于觀察，圖中改變了相應(yīng)像素點(diǎn)的灰度級)，逐一找到融合梯度圖g中對應(yīng)的區(qū)域，并將該區(qū)域的梯度值強(qiáng)制標(biāo)定為局部極小值，最后得到修改優(yōu)化后的梯度圖(簡稱為優(yōu)化梯度圖，記為g′)，如圖4(b)所示。利用標(biāo)記圖進(jìn)行修改后的優(yōu)化梯度圖減少了融合梯度圖中的前景區(qū)域的偽局部極小值的數(shù)量，從而消除由這些偽局部極小值產(chǎn)生的過分割現(xiàn)象。

步驟3、前景提取和空洞修復(fù)填充。

當(dāng)完成對梯度圖優(yōu)化后，利用分水嶺變換，對優(yōu)化梯度圖進(jìn)行分割，提取前景。令iws分水嶺變換結(jié)果，即

iws＝watershed(g′)(10)

其中，watershed(·)表示分水嶺。圖5分別給出了融合梯度圖和優(yōu)化梯度圖進(jìn)行分水嶺變換后獲得的圖像分割效果。

在此基礎(chǔ)上，為了有效提取動態(tài)前景對象的區(qū)域，再次利用前景標(biāo)記對分水嶺變換后的圖像iws進(jìn)行前景提取。若將分水嶺變換后的圖像iws中的區(qū)域定義為γi(i≥1)，利用前景標(biāo)記γk對區(qū)域γi中的像素點(diǎn)p進(jìn)行前景判斷，并計(jì)算區(qū)域γi內(nèi)的前景像素點(diǎn)所占百分比：

然后，根據(jù)α的大小，按以下原則判斷該區(qū)域是否為前景區(qū)域：當(dāng)α≥0.5時(shí)，該區(qū)域?yàn)榍熬皡^(qū)域；當(dāng)α<0.5時(shí)，該區(qū)域?yàn)楸尘皡^(qū)域。

由于前景的移動，會對背景產(chǎn)生遮擋，因此，僅利用某一幀來完成背景的提取難度較大。為此，本發(fā)明采用幀差法獲取背景圖，具體步驟如下：

(1)對視頻序列中的每一幀進(jìn)行分水嶺變換，獲得每一幀的前景區(qū)域和背景區(qū)域；

(2)選取其中一幀，逐一將該幀的前景區(qū)域與其他幀的前景區(qū)域進(jìn)行比較，獲得遮擋區(qū)域；

(3)利用其他幀的背景區(qū)域?qū)φ趽鯀^(qū)域進(jìn)行填充，最后獲得整個(gè)視頻的背景圖像。

利用式(11)對梯度圖進(jìn)行前景區(qū)域的提取，用同樣的處理方法得到第n+j幀(j＝1,2,…,j≠n)前景區(qū)域。然后，對這兩幀的前景區(qū)域進(jìn)行比較，由此得到因前景對象的移動產(chǎn)生的對背景的遮擋區(qū)域。該遮擋區(qū)域給出了從第n幀的前景區(qū)域轉(zhuǎn)變成為第n+j幀的背景區(qū)域，故可利用第n+j幀的背景區(qū)域?qū)υ撜趽鯀^(qū)域進(jìn)行填充。用類似處理方法，利用剩余其他幀j的背景區(qū)域?qū)Φ趎幀的前景區(qū)域進(jìn)行填充后，最后獲得該視頻的背景圖像。

在對空洞進(jìn)行修復(fù)填充時(shí)，對于分別屬于前景和背景區(qū)域的空洞，由于產(chǎn)生的原因不同，有針對性的采取不同的填充方式就能獲得更好的效果。本發(fā)明對空洞的修復(fù)填充原則是，對由前景移動產(chǎn)生的空洞，利用背景圖像進(jìn)行填充；對非前景移動產(chǎn)生的空洞，則利用criminisi算法進(jìn)行填充。

由于因前景移動產(chǎn)生的空洞主要出現(xiàn)前景和背景的交界處，即深度值產(chǎn)生大幅度跳變的區(qū)域，因此，可對深度圖像中的深度值進(jìn)行檢測，確定出現(xiàn)空洞的位置，利用背景圖像中的相應(yīng)區(qū)域?qū)斩催M(jìn)行填充。檢測深度值突變的公式如下所示：

其中，d(i,j)為點(diǎn)(i,j)處的深度值。對于dmask＝1,2的像素點(diǎn)，利用背景圖像進(jìn)行填充；對于dmask＝0的像素點(diǎn)，利用criminisi算法進(jìn)行填充。

為了檢驗(yàn)本發(fā)明算法的修復(fù)效果，對圖像進(jìn)行了模擬仿真，并與其他算法進(jìn)行了對比實(shí)驗(yàn)。仿真實(shí)驗(yàn)在matlab環(huán)境下進(jìn)行。在對圖像修復(fù)效果進(jìn)行評價(jià)時(shí)，除了采用主觀評價(jià)外，同時(shí)也采用峰值信噪比(psnr)和結(jié)構(gòu)相似性(ssim)進(jìn)行客觀評價(jià)。

圖7、8分別給出了兩個(gè)序列中的某一幀利用本發(fā)明算法提取的前景。圖7(a)和8(a)是經(jīng)過k均值聚類(k＝2)后獲得的前景標(biāo)記，圖7(b)和8(b)是利用優(yōu)化梯度圖進(jìn)行分水嶺變換得到的圖像分割結(jié)果，圖7(c)和8(c)是為了使分割結(jié)果可視化，將圖7(b)和8(b)中的分割圖像作為彩色圖像進(jìn)行顯示，圖7(d)和8(d)則為利用前景標(biāo)記對分割圖像進(jìn)行前景提取獲得前景區(qū)域。從圖中可以看出，結(jié)合彩色圖像和深度圖像的梯度提取，能較好地考慮彩色圖像的顏色特性和融合深度圖像的幾何特征，有效地表達(dá)圖像的梯度；利用標(biāo)記圖像進(jìn)行梯度修改優(yōu)化，能較好地抑制分水嶺過分割現(xiàn)象和有效提取圖像的前景。

圖9分別給出了利用本發(fā)明算法提取的背景圖像和修復(fù)算法[2]提取的背景圖像。從圖9(a)和9(c)中可以看出，修復(fù)算法[2]的背景圖像仍存在多余的前景信息，而且也遺留了部分前景邊緣，而利用本發(fā)明算法所獲得的背景圖像更加清晰，如圖7(b)和7(d)所示，前景對象所遮擋的背景區(qū)域被還原得比較完整，且前景對象的邊緣紋理也消除得比較完整。

圖10給出了由前景移動產(chǎn)生的空洞(紅色標(biāo)記部分)，圖11給出了不同算法對該空洞修復(fù)填充的效果。從圖11(a)和11(b)的修復(fù)算法[1]的空洞填充效果看，僅利用圖像中相鄰的像素進(jìn)行填充，容易產(chǎn)生模糊的效果；修復(fù)算法[2]利用提取的背景圖像進(jìn)行空洞填充，卻存在較多的前景邊緣像素，如圖11(c)、(d)所示。從圖11(e)和11(f)可以看出，相比于前兩種空洞填充修復(fù)方法，本發(fā)明算法填充修復(fù)的空洞區(qū)域被還原得比較完整，且前景對象的邊緣紋理也消除得比較完整。

表1修復(fù)算法[1]、修復(fù)算法[2]和本發(fā)明算法的psnr和ssim的比較。

表1psnr和ssim的比較結(jié)果

表1分別給出了三種算法對兩個(gè)視頻序列填充修復(fù)進(jìn)行新視點(diǎn)圖像合成的客觀評價(jià)結(jié)果(統(tǒng)計(jì)平均值)。從表中數(shù)據(jù)可知，相較于其他兩種空洞填充方法，本發(fā)明算法在psnr上，有著較大改善，提高了1～3db；在結(jié)構(gòu)相似性(ssim)上，本發(fā)明算法也與真正的視點(diǎn)圖像有著較大的相似度。由此可以看出，對于由前景移動產(chǎn)生的空洞區(qū)域，本發(fā)明算法的填充修復(fù)能獲得較好視覺效果，具有較高的信噪比(psnr)和結(jié)構(gòu)相似性(ssim)。

從以上實(shí)驗(yàn)仿真數(shù)據(jù)可以看出，本發(fā)明能較好地考慮彩色圖像的顏色特性和融合深度圖像的幾何特征，能夠有效地表達(dá)圖像的梯度；利用優(yōu)化梯度，能較好地抑制分水嶺過分割現(xiàn)象；對于由前景移動產(chǎn)生的空洞區(qū)域，本發(fā)明算法的填充修復(fù)能獲得較好視覺效果，保證了較高的結(jié)構(gòu)相似性(ssim)，峰值信噪比(psnr)改善了1-3db。

以上對本發(fā)明的優(yōu)選實(shí)施例及原理進(jìn)行了詳細(xì)說明，對本領(lǐng)域的普通技術(shù)人員而言，依據(jù)本發(fā)明提供的思想，在具體實(shí)施方式上會有改變之處，而這些改變也應(yīng)視為本發(fā)明的保護(hù)范圍。