專利名稱：一種基于視覺模型的深度提取方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，特別涉及一種基于視覺模型的深度提取方法。
背景技術(shù)：
與觀看2D視頻相比，觀眾觀看3D視頻能產(chǎn)生身臨其境的真實(shí)感受，因此，3D技術(shù)的發(fā)展受到越來越多的重視。但是，目前3D視頻的制作費(fèi)用昂貴，致使3D片源不足，有一種解決方案是通過2D視頻轉(zhuǎn)換成3D視頻。由于3D視頻格式通常采用“視頻+深度”的模式，在將2D視頻轉(zhuǎn)換成3D視頻的過程中，需要進(jìn)行深度提取，目前現(xiàn)有的深度提取方法是從圖片的強(qiáng)度、顏色和紋理信息中提取深度，這種提取方法沒有考慮人類的視覺模型，提取的深度信息不夠準(zhǔn)確。

發(fā)明內(nèi)容
本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題，特別創(chuàng)新地提出了一種基于視覺模型的深度提取方法。為了實(shí)現(xiàn)本發(fā)明的上述目的，本發(fā)明提供了一種基于視覺模型的深度提取方法，其包括如下步驟:第一步:將視頻圖像的彩色信號(hào)轉(zhuǎn)化為灰度信號(hào)；第二步:計(jì)算相鄰兩像素點(diǎn)處于同一深度的概率；第三步:計(jì)算所有像素點(diǎn)的深度值；第四步:對(duì)計(jì)算的所有像素點(diǎn)的深度值進(jìn)行濾波平滑以及歸一化處理。在本發(fā)明的一個(gè)優(yōu)選實(shí)施例中，根據(jù)HMAX視覺模型計(jì)算相鄰兩像素點(diǎn)處于同一深度的概率，該HMAX視覺模型計(jì)算相鄰兩像素點(diǎn)處于同一深度的概率包括如下步驟:a:在SI層對(duì)視頻圖像進(jìn)行濾波處理；b:在Cl層，綜合所述SI層的輸出進(jìn)行濾波和歸一化操作；c:在S2層對(duì)圖像進(jìn)行濾波處理；d:在C2層，綜合所述S2層的輸出并進(jìn)行濾波和歸一化操作。本發(fā)明的基于視覺模型的深度提取方法將視覺模型引入深度提取，使深度計(jì)算結(jié)果更加準(zhǔn)確。本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。


本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中:圖1是本發(fā)明基于視覺模型的深度提取方法的流程圖。
具體實(shí)施例方式下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。圖1是本發(fā)明基于視覺模型的深度提取方法的流程圖，從圖中可見，該深度提取方法包括如下步驟:第一步:將視頻圖像的彩色信號(hào)轉(zhuǎn)化為灰度信號(hào)；第二步:計(jì)算相鄰兩像素點(diǎn)處于同一深度的概率；第三步:計(jì)算所有像素點(diǎn)的深度值；第四步:對(duì)計(jì)算的所有像素點(diǎn)的深度值進(jìn)行濾波平滑以及歸一化處理。

在本發(fā)明的一個(gè)優(yōu)選實(shí)施方式中，具體步驟為:首先，將視頻圖像的彩色信號(hào)轉(zhuǎn)化為灰度信號(hào)，對(duì)每一個(gè)像素點(diǎn)，灰度信號(hào)取為I (u, v) = (R(u, V) +G (u, V) +B (u, v))/3,其中，R、G、B為視頻圖像第u行第v列的像素點(diǎn)為彩色信號(hào)時(shí)的三通道值。然后，根據(jù)HMAX視覺模型計(jì)算相鄰兩像素點(diǎn)處于同一深度的概率，該HMAX視覺模型計(jì)算相鄰兩像素點(diǎn)處于同一深度的概率包括如下步驟:a:在SI層對(duì)視頻圖像進(jìn)行濾波處理；b:在Cl層，綜合所述SI層的輸出進(jìn)行濾波和歸一化操作；c:在S2層對(duì)圖像進(jìn)行濾波處理；d:在C2層，綜合所述S2層的輸出并進(jìn)行濾波和歸一化操作。其中，在步驟a中，對(duì)Θ =0，Θ = Ji /4, Θ = ji /2, Θ =3 Ji /4四個(gè)方向在兩個(gè)角度Φ=0和 φ =- Ji /2 這 8 種組合分別用公式 f I ο，φ=θχρ (-(xcos Θ +ysin Θ ) "2+(-xsin Θ +ycos θ )"2/10) XcosO (xcos θ+ysin θ )/2+Φ)定義的矩形窗和原圖像矩陣I進(jìn)行二維卷積運(yùn)算I*fl e, Φ，得到8個(gè)矩陣SI $，該矩形窗fI 的大小為5*5，中心點(diǎn)的坐標(biāo)為(0，O)。在本實(shí)施方式中，X、y為矩形窗形成的濾波窗口的坐標(biāo)。在步驟b中，分別對(duì)步驟a中四個(gè)方向的兩個(gè)角度的8個(gè)矩陣SUj進(jìn)行平方加權(quán)組合，公式為 gl 0=sqrt (SI 0，Q+S10，_π/2)然后,用公式 f2=g2 (exp (-(x~2+y~2)/10)/10_exP (- (x~2+y~2) /5) /5)定義的矩形窗和矩陣gl θ分別進(jìn)行二維卷積運(yùn)算gl e *f2,濾波后得到4個(gè)矩陣Cle，其中當(dāng)x>0時(shí)，g2 (X) =x;當(dāng)X≤O時(shí)，g2 (x)=0，f2選取大小為15*15，中心點(diǎn)的坐標(biāo)為(O, O) ο在步驟c中，分別對(duì)Θ =0，Θ =ji/4, Θ =ji/2, θ =3 Ji/4四個(gè)方向在兩個(gè)角度φ =- ji /4, Φ =-3 π /4 這 8 種組合分別用公式 f3 0，φ=θχρ (-(xcos Θ +ysin θ ) ~2+(_xsin θ +ycos θ ) "2/10) XcosO (xcos θ +ysin θ )/2+Φ)定義的矩形窗和步驟b處理后的圖像矩陣Cl θ分別進(jìn)行二維卷積運(yùn)算Cl e *f3 e, ，得到8個(gè)矩陣S2 e，，矩形窗f3 e, 的大小為5*5，中心點(diǎn)的坐標(biāo)為(O, O) ο在步驟d中，首先，分別對(duì)步驟c中四個(gè)方向的兩個(gè)角度的結(jié)果進(jìn)行平方加權(quán)組合，公式為 g3 e =sqrt (S2 θ，0+S2 0，π/2),然后，用公式 f4=g4 (exp (- (x~2+y~2) /10) / 10-exp (-(x~2+y~2)/5)/5)定義的矩形窗和矩陣gle分別進(jìn)行二維卷積運(yùn)算g3e*f4進(jìn)行濾波，得到4個(gè)矩陣C20。其中當(dāng)x>0時(shí)，g4 (x) =x;當(dāng)X ≤ O時(shí)，g4 (x)=0，f4選取大小為15*15,中心點(diǎn)的坐標(biāo)為(O, O) O在步驟d得到的4個(gè)矩陣C2e進(jìn)行歸一化操作，將矩陣C2e轉(zhuǎn)化為概率，即取值范圍限定在(0，I)之間，每一個(gè)矩陣C20有1!* 個(gè)像素，將矩陣C20從大到小排列，取
0.大的像素值PO，對(duì)每一個(gè)元素按如下公式計(jì)算:Pe (X，y) = (C2e (x, y)/P0)~2，其中，I彡X彡h, I彡y彡w,h為圖像像素點(diǎn)的行數(shù)，w為圖像像素點(diǎn)的列數(shù),如果P0 (x, y)>l,取
P0 (X，y)=l。在利用HMAX視覺模型計(jì)算相鄰兩像素點(diǎn)處于同一深度的概率后，計(jì)算所有像素點(diǎn)的深度值的方法為:首先，計(jì)算第一列和第一行中像素點(diǎn)的深度值；然后，計(jì)算除第一列和第一行以外各行和各列的像素點(diǎn)的深度值。計(jì)算第一列和第一行中像素點(diǎn)的深度值的方法為:設(shè)左上角像素點(diǎn)的深度為0，即d印th(l，1)=0 ;第一列的像素點(diǎn)的深度值為:depth (kl, I) =depth (kl_l, I) + λ I (kl, I) -1 (kl_l, I) |,第一行的像素點(diǎn)的深度值為:depth (I, k2) =depth (I, k2~l) + λ 11 (1，k2)-1 (1，k2_l) |，其中，I < kl彡h, I < k2彡w, h為圖像像素點(diǎn)的行數(shù)，w為圖像像素點(diǎn)的列數(shù)，
I(x, y)表示第X行第y列的灰度值，λ為深度系數(shù)，在本實(shí)施方式中，深度系數(shù)λ的取值為 0.5。在第一行和第一列以外的點(diǎn)(x，y)，都有左上點(diǎn)(x-1，y_l)，上點(diǎn)(x，y_l)，右上點(diǎn)(x+1, y_l)，左點(diǎn)(x-1，y)，計(jì)算除第一列和第一行以外各行和各列的像素點(diǎn)的深度值的方法為:depth (x, y) = (depth (χ-l, y-1) +P3 π /4 (χ, y) X I (χ, y) -1 (χ-1, y-1) )/4+ (depth(χ, y-1)+P Ji /2 (χ, y) X 11 (χ, y)-1 (χ, y-1) )/4+(depth (x+1, y-1)+P π /4(x, y) X 11 (x, y)-1(x+1, y-1) 1)/4+ (depth(x_l, y) +PO (x, y) X 11 (x, y)-1 (χ-l, y) )/4,其中，I <x^h,l<y^w, h為圖像像素點(diǎn)的行數(shù),w為圖像像素點(diǎn)的列數(shù)。在計(jì)算所有像素點(diǎn)的深度值后，對(duì)計(jì)算的所有像素點(diǎn)的深度值進(jìn)行濾波平滑以及歸一化處理，具體為:首先，用公式f5=exp(_(x~2+y~2)/5)/5的矩形窗和所有像素點(diǎn)的深度值矩陣depth進(jìn)行二維卷積運(yùn)算得到g5=depth*f5,矩形f5選取大小為15*15,中心點(diǎn)的坐標(biāo)為(0，0);然后，將將得到的結(jié)果g5規(guī)范到區(qū)間
內(nèi)，即尋找g5中所有元素的最大值max和最小值min,按公式result= (g5_min) / (max-min),得到的結(jié)果是最終的深度圖。本發(fā)明的基于視覺模型的深度提取方法將視覺模型引入深度提取，使深度計(jì)算結(jié)果更加準(zhǔn)確。在本說明書的描述中，參考術(shù)語“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說明書中，對(duì)上述術(shù)語的示意性表述不一定指的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任何的一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。

盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，本領(lǐng)域的普通技術(shù)人員可以理解:在不脫離本發(fā)明的原理和宗旨的情況下可以對(duì)這些實(shí)施例進(jìn)行多種變化、修改、替換和變型，本發(fā)明的范圍由權(quán)利要求及其等同物限定。
權(quán)利要求
1.一種基于視覺模型的深度提取方法，其特征在于，包括如下步驟: 第一步:將視頻圖像的彩色信號(hào)轉(zhuǎn)化為灰度信號(hào)； 第二步:計(jì)算相鄰兩像素點(diǎn)處于同一深度的概率； 第三步:計(jì)算所有像素點(diǎn)的深度值； 第四步:對(duì)計(jì)算的所有像素點(diǎn)的深度值進(jìn)行濾波平滑以及歸一化處理。
2.按權(quán)利要求1所述的基于視覺模型的深度提取方法，其特征在于，將所述視頻圖像的彩色信號(hào)轉(zhuǎn)化為灰度信號(hào)的方法為:將視頻圖像的每一個(gè)像素點(diǎn)的灰度信號(hào)取為Ku，v) = (R(u, V) +G(u, V) +B(u, v))/3，其中，R、G、B為視頻圖像第u行第v列的像素點(diǎn)為彩色信號(hào)時(shí)的三通道值。
3.按權(quán)利要求1所述的基于視覺模型的深度提取方法，其特征在于，根據(jù)HMAX視覺模型計(jì)算相鄰兩像素點(diǎn)處于同一深度的概率，所述HMAX視覺模型計(jì)算相鄰兩像素點(diǎn)處于同一深度的概率包括如下步驟: a:在SI層對(duì)視頻圖像進(jìn)行濾波處理； b:在Cl層，綜合所述SI層的輸出進(jìn)行濾波和歸一化操作； c:在S2層對(duì)圖像進(jìn)行濾波處理； d:在C2層，綜合所述S2層的輸出并進(jìn)行濾波和歸一化操作。
4.按權(quán)利要求3所述的基于視覺模型的深度提取方法，其特征在于，在所述步驟a中，對(duì)視頻圖像進(jìn)行濾波處理的 方法為:對(duì)Θ =0，Θ = Ji /4，Θ =Ji /2，Θ =3 Ji /4四個(gè)方向在兩個(gè)角度 Φ=0 和 Φ=-π/2 分別用公式 0，φ=θχρ(-(χ(3θ8 Θ +ysin Θ ) "2+(-xsin Θ +ycosθ ) ~2/10) XcosO (xcos Θ +ysin θ )/2+Φ)定義的矩形窗和原圖像矩陣進(jìn)行二維卷積運(yùn)算Ι*Π Θ;Φ,得到8個(gè)矩陣SI e，，所述矩形窗fI e的大小為5*5，中心點(diǎn)的坐標(biāo)為(0，O)。
5.按權(quán)利要求3或4所述的基于視覺模型的深度提取方法，其特征在于，在所述步驟b中，進(jìn)行濾波和歸一化操作的方法為:首先，分別對(duì)步驟a中四個(gè)方向的兩個(gè)角度的結(jié)果進(jìn)行平方加權(quán)組合，公式為 gl θ =sqrt (SI θ j0+Sl θ；_π/2),然后,用公式 f2=g2 (exp (- (x~2+y~2) /10)/10-eXp(-(X~2+y~2)/5)/5)定義的矩形窗和矩陣gl e分別進(jìn)行二維卷積運(yùn)算gle*f2，濾波后得到4個(gè)矩陣Cl e，其中當(dāng)x>0時(shí)，g2(x)=x;當(dāng)X彡O時(shí),g2 (X)=O, f2選取大小為15*15，中心點(diǎn)的坐標(biāo)為(O, O) ο
6.按權(quán)利要求3所述的基于視覺模型的深度提取方法，其特征在于，在所述步驟c中，對(duì)圖像進(jìn)行濾波處理的方法為:分別對(duì)Θ =0，Θ = Ji /4，Θ =Ji /2，Θ =3 Ji /4四個(gè)方向在兩個(gè)角度 Φ=-π/4, Φ =-3 /4 用公式 f3 0，φ=θχρ (- (xcos Θ +ysin θ ) '2+ (_xsin θ +ycos θ ) "2/10) XcosO (xcos θ +ysin θ )/2+Φ)定義的矩形窗和步驟b處理后的圖像矩陣Cl ο分別進(jìn)行二維卷積運(yùn)算Cl e *f3 e, ，得到8個(gè)矩陣S2 e, ，所述矩形窗f3 e，的大小為5*5，中心點(diǎn)的坐標(biāo)為(O, O) O
7.按權(quán)利要求3或6所述的基于視覺模型的深度提取方法，其特征在于，在所述步驟d中，進(jìn)行濾波的方法為:首先，分別對(duì)步驟c中四個(gè)方向的兩個(gè)角度的結(jié)果進(jìn)行平方加權(quán)組合，公式為 g3o = sqrt(S2ej0+S2e； π/2),然后,用公式 f4=g4 (exp (-(x~2+y~2)/10)/10-exp (-(x~2+y~2)/5)/5)定義的矩形窗和矩陣gle分別進(jìn)行二維卷積運(yùn)算g3e*f4進(jìn)行濾波，得到4個(gè)矩陣C20。其中當(dāng)x>0時(shí)，g4 (x) =x;當(dāng)X < O時(shí)，g4 (x)=0，f4選取大小為15*15,中心點(diǎn)的坐標(biāo)為(0,0)。
8.按權(quán)利要求3或7所述的基于視覺模型的深度提取方法，其特征在于，在所述步驟d得到的4個(gè)矩陣C2e進(jìn)行歸一化操作，將矩陣C2e轉(zhuǎn)化為概率，即取值范圍限定在(O，I)之間，每一個(gè)矩陣C20有h*w個(gè)像素，將矩陣C20從大到小排列，取0.l*h*w大的像素值PO，對(duì)每一個(gè)元素按如下公式計(jì)算:ρθ (X，y) = (C2 e (X，y) /PO) ~2，其中，l^x^h,l^y^w,h為圖像像素點(diǎn)的行數(shù)，w為圖像像素點(diǎn)的列數(shù)，如果Pe (X，7)>1，??？0(1，y)=l。
9.按權(quán)利要求1所述的基于視覺模型的深度提取方法，其特征在于，計(jì)算所有像素點(diǎn)的深度值的方法為:首先，計(jì)算第一列和第一行中像素點(diǎn)的深度值；然后，計(jì)算除所述第一列和第一行以外各行和各列的像素點(diǎn)的深度值。
10.按權(quán)利要求9所述的基于視覺模型的深度提取方法，其特征在于，計(jì)算第一列和第一行中像素點(diǎn)的深度值的方法為: 設(shè)左上角像素點(diǎn)的深度為0，即depth (I, 1)=0 ； 第一列的像素點(diǎn)的深度值為: depth (kl, I) =depth (kl_l, I) + λ I (kl, I) —I (kl_l, I) |, 第一行的像素點(diǎn)的深度值為: depth (I, k2) =depth (I, k2_l) + λ I (I, k2) -1 (I, k2_l) |, 其中，I < kl≤h, I < k2≤w,h為圖像像素點(diǎn)的行數(shù)，w為圖像像素點(diǎn)的列數(shù),I (x, y)表示第X行第y列的灰度值，λ為深度系數(shù)。
11.按權(quán)利要求10所述的基于視覺模型的深度提取方法，其特征在于，所述深度系數(shù)λ的取值為0.5。
12.按權(quán)利要求9所述的基于視覺模型的深度提取方法，其特征在于，計(jì)算除所述第一列和第一行以外各行和各列的像素點(diǎn)的深度值的方法為:depth (X，y) = (depth (χ-l, y-l)+P3 π /4(x, y) X I (x, y)-1 (x_l, y-1) )/4+(depth (x, y-1)+P ^ /2(x, y) X 11 (x, y)-1 (x, y-1) )/4+(depth (x+1, y-1)+P π /4(x, y) X 11 (x, y)-1 (x+I, y-1) 1)/4+ (depth(x_l, y) +PO (x, y) X 11 (x, y)-1 (x_l, y) )/4, 其中，I < X≤h, I < y≤w, h為圖像像素點(diǎn)的行數(shù)，w為圖像像素點(diǎn)的列數(shù)。
13.按權(quán)利要求1所述的基于視覺模型的深度提取方法，其特征在于，對(duì)計(jì)算的所有像素點(diǎn)的深度值進(jìn)行濾波平滑以及歸一化處理的方法為: 首先，用公式f5=exp (- (X~2+y~2) /5) /5的矩形窗和所有像素點(diǎn)的深度值矩陣cbpth進(jìn)行二維卷積運(yùn)算得到g5=cbpth*f5，f5選取大小為15*15，中心點(diǎn)的坐標(biāo)為(0，O)； 然后，將g5規(guī)范到區(qū)間
內(nèi)，即尋找g5中所有元素的最大值max和最小值min,按公式result= (g5-min)/ (max-min),得到最終的深度圖。
全文摘要
本發(fā)明提出了一種基于視覺模型的深度提取方法，其包括如下步驟首先，將視頻圖像的彩色信號(hào)轉(zhuǎn)化為灰度信號(hào)；然后，計(jì)算相鄰兩像素點(diǎn)處于同一深度的概率；再后，計(jì)算所有像素點(diǎn)的深度值；最后，對(duì)計(jì)算的所有像素點(diǎn)的深度值進(jìn)行濾波平滑以及歸一化處理。本發(fā)明的基于視覺模型的深度提取方法將視覺模型引入深度提取，使深度計(jì)算結(jié)果更加準(zhǔn)確。
文檔編號(hào)G06T5/00GK103093469SQ201310023799
公開日2013年5月8日 申請(qǐng)日期2013年1月22日 優(yōu)先權(quán)日2013年1月22日
發(fā)明者戴瓊海, 張洋 申請(qǐng)人:清華大學(xué)