專(zhuān)利名稱(chēng)：一種基于深度圖像的繪制的視圖合成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及立體電視技術(shù)領(lǐng)域，具體來(lái)講，涉及一種基于深度圖像的繪制 的視圖合成方法。
背景技術(shù)：
繼高清晰度電視(High-Definition TV)以后，立體電視(3DTV)將成為下一代電 視技術(shù)的發(fā)展方向。傳統(tǒng)的立體視頻是將左右兩臺(tái)攝像機(jī)固定在場(chǎng)景中模擬人 的雙眼從兩個(gè)不同角度拍攝得到的。這就造成在傳輸節(jié)目時(shí)需要傳輸兩路視頻。 為了減少數(shù)據(jù)的傳輸，聯(lián)合視頻小組JVT和歐洲的ATTEST項(xiàng)目都建議采用"視 頻+深度"的數(shù)據(jù)格式。這樣，左右視頻可以由中間視頻及其對(duì)應(yīng)的深度圖像 (depth image)來(lái)合成，這便是3DTV中的基于深度圖像的繪制(Depth Image Based Rendering, DIBR)技術(shù)。DIBR能利用參考圖像(reference image)及其對(duì)應(yīng)的深度圖 像(depth image)合成任意視點(diǎn)的視圖，是一種比較有前途的方法。然而由于可見(jiàn)性變化等原因，采用DIBR合成的視圖往往存在空洞(holes)。 空洞消除的效果決定著基于DIBR的視圖合成技術(shù)能否被進(jìn)一步推廣。1993年， 蘋(píng)果公司的Shenchang Eric Chen和Lance Williams提出可以通過(guò)插值相鄰像素的 顏色或偏移向量來(lái)填充空洞。這類(lèi)方法不一定精確但復(fù)雜性較低，通常用于消 除的較小空洞。2003年，Christoph Fehn提出用高斯濾波器平滑深度圖，以消除 合成的視圖中較大的空洞或者使之變小。2005年，Liang Zhang等人在濾波器的 選擇以及濾波的區(qū)域確定、參考圖像的處理等方面做了改進(jìn)。然而這些方法在 消除空洞的同時(shí)往往會(huì)降低圖像的質(zhì)量，或者由于需要多幅參考圖像而不適合 3DTV的傳輸。不但如此，由平滑后的深度圖像合成的圖像與真正想要生成的視 點(diǎn)的圖像相比，發(fā)生了位移和扭曲，即合成的視圖已經(jīng)不是想要視點(diǎn)的視圖。 如何解決這一問(wèn)題是3DTV應(yīng)用中要攻克的重要問(wèn)題。發(fā)明內(nèi)容本發(fā)明的目的在于克服現(xiàn)有視圖合成方法的不足，提供一種能在消除空洞 的同時(shí)精確繪制非空洞區(qū)域的圖像，并且不會(huì)降低非空洞區(qū)域圖像質(zhì)量，盡可 能地保留視圖真實(shí)性的基于深度圖像的繪制的視圖合成方法。為了達(dá)到上述發(fā)明目的，本發(fā)明基于深度圖像的繪制的視圖合成方法包括 以下步驟(1) 、對(duì)參考圖像的原始深度圖像進(jìn)行平滑，得到平滑后的深度圖像；(2) 、根據(jù)參考圖像和平滑后的深度圖像進(jìn)行三維圖像變換，生成含有較 小空洞的目標(biāo)圖像，同時(shí)得到一個(gè)與該目標(biāo)圖像相對(duì)應(yīng)的O-l矩陣，0-1矩陣中 的每一個(gè)元素指示該目標(biāo)圖像中某點(diǎn)是否為空洞點(diǎn)，元素值為0表示該點(diǎn)是空 洞點(diǎn)，元素值為1表示該點(diǎn)不是空洞點(diǎn)；(3) 、根據(jù)參考圖像和原始深度圖像進(jìn)行三維圖像變換，生成含有較大空 洞的目標(biāo)圖像，同時(shí)得到一個(gè)與該NI標(biāo)圖像相對(duì)應(yīng)的0-1矩陣，矩陣中的每一個(gè) 元素指示目標(biāo)圖像中某點(diǎn)是否為空洞點(diǎn)，元素值為0表示該點(diǎn)是空洞點(diǎn)，元素 值為1表示該點(diǎn)不是空洞點(diǎn)；(4) 、根據(jù)步驟(3)得到的0-l矩陣，遍歷歩驟(3)得到的較大空洞的 目標(biāo)圖像的空洞點(diǎn)，如果某一空洞點(diǎn)，根據(jù)步驟(2)得到的0-l矩陣判斷該空 洞點(diǎn)在歩驟(2)得到的較小空洞的H標(biāo)圖像中對(duì)應(yīng)點(diǎn)不是空洞點(diǎn)，則將較小空 洞的目標(biāo)圖像中對(duì)應(yīng)點(diǎn)的像素值拷貝到較大空洞的目標(biāo)圖像中的該空洞點(diǎn)，這 樣，較大空洞的目標(biāo)圖像中的空洞變?。?5) 、對(duì)步驟(4)得到的空洞變小后的較大空洞的目標(biāo)圖像中剩余的空 洞進(jìn)行填充，合成最終的目標(biāo)圖像。本發(fā)明的特點(diǎn)是在視圖合成過(guò)程中，始終維持一個(gè)與目標(biāo)圖像相對(duì)應(yīng)的0-1 矩陣，用于指示目標(biāo)圖像中某點(diǎn)是否為空洞點(diǎn)，這樣做的好處是可以準(zhǔn)確辨別 哪些像素是真正的空洞，節(jié)省了計(jì)算量；并且視圖合成過(guò)程中進(jìn)行了兩次三維圖像變換，第一次三維圖像變換采用參考圖像以及平滑后的深度圖像，得到含 有較小空洞的目標(biāo)圖像，第二次三維圖像變換采用參考圖像及其深度圖像直接進(jìn)行變換，得到含有較大空洞的目標(biāo)圖像，然后將兩幅目標(biāo)圖像進(jìn)行融合，即 將第二次三維圖像變換合成的較大空洞的目標(biāo)圖像中的空洞從第一次三維圖像 變換合成的目標(biāo)圖像中采樣填充，這樣由于第二次三維圖像變換合成最終目標(biāo) 圖像的非空洞區(qū)域的精確圖像，同時(shí)采用第一次三維圖像變換合成的目標(biāo)圖像 來(lái)采樣填充第二次三維圖像變換合成的較大空洞的目標(biāo)圖像的空洞部分，使其 縮小，從而能在減小空洞的同時(shí)保證不會(huì)降低非空洞區(qū)域圖像的質(zhì)量，并盡可 能地保留視圖的真實(shí)性。最后通過(guò)對(duì)剩余的空洞進(jìn)行填充，得到最終的目標(biāo)圖 像，完成視圖的合成。


圖1是現(xiàn)有技術(shù)中一個(gè)典型的基于圖像深度的繪制的視圖合成流程圖；' 圖2是本發(fā)明一種具體實(shí)施方式
的具體流程圖。
具體實(shí)施方式
為更好地理解本發(fā)明，下面結(jié)合具體實(shí)施方式
對(duì)本發(fā)明進(jìn)行更為詳細(xì)描述。 在以下的描述中，當(dāng)已有的現(xiàn)有技術(shù)的詳細(xì)描述也許會(huì)淡化本發(fā)明的主題內(nèi)容 時(shí)，這些描述在這兒將被忽略。圖1是現(xiàn)有技術(shù)中一個(gè)典型的基于深度圖像的繪制的視圖合成流程圖。圖 中，對(duì)深度圖像進(jìn)行預(yù)處理后，直接進(jìn)行三維圖像變換，最后進(jìn)行空洞填充， 在消除空洞的同時(shí)降低非空洞區(qū)域圖像質(zhì)量，并且不能很好地保留視圖真實(shí)性。圖2是本發(fā)明一種具體實(shí)施方式
的具體流程圖。在本實(shí)施例中，具體流程為 (1 )、利用高斯低通濾波器對(duì)參考圖像^的原始的深度圖像D進(jìn)行濾波， 得到平滑后的深度圖像D,，即對(duì)深度圖像D進(jìn)行預(yù)處理；在本實(shí)施例中，高斯低通濾波器中的高斯曲線(xiàn)的標(biāo)準(zhǔn)偏差d為15，即可以 得到較為滿(mǎn)意的平滑效果；(2)、根據(jù)參考圖像^和平滑后的深度圖像D,進(jìn)行三維圖像變換，生成含 有較小空洞的目標(biāo)圖像I,及其對(duì)應(yīng)的0-1矩陣M,。 0-1矩陣M,中的每一個(gè)元素指示目標(biāo)圖像I,中某點(diǎn)是否為空洞點(diǎn)，元素值為0表示該點(diǎn)是空洞點(diǎn)，元素值 為1表示該點(diǎn)不是空洞點(diǎn)；(3) 、根據(jù)參考圖像^和原始的深度圖像D進(jìn)行三維圖像變換，生成含有較大空洞的目標(biāo)圖像I2及其對(duì)應(yīng)的0-1矩陣M2。0-1矩陣M2屮的每一個(gè)元素指示目標(biāo)圖像12中某點(diǎn)是否為空洞點(diǎn)，元素值為O表示該點(diǎn)是空洞點(diǎn)，元素值為l表示該 點(diǎn)不是空洞點(diǎn)；(4) 、將步驟(2)、 (3)得到的含有較小空洞的目標(biāo)圖像I,以含有較大空 洞的目標(biāo)圖像12進(jìn)行融合，具體為根據(jù)0-l矩陣M2遍歷由歩驟(3)得到的目標(biāo)圖 像12中的空洞點(diǎn)，如果某一空洞點(diǎn)，根據(jù)步驟(2)得到的O-l矩陣M,判斷該空洞 點(diǎn)在步驟(2)得到的較小空洞的目標(biāo)圖像I,中對(duì)應(yīng)點(diǎn)不是空洞點(diǎn)，則將較小空洞的目標(biāo)圖像I,中對(duì)應(yīng)點(diǎn)的像素值拷貝到較大空洞的目標(biāo)圖像l2中的該空洞點(diǎn)， 并置0-l矩陣M2中對(duì)應(yīng)位置的元素為l，這樣，較大空洞的目標(biāo)圖像12中的空洞變 小，在本實(shí)施例中，經(jīng)過(guò)融合后，空洞變小后的較大空洞的目標(biāo)圖像為目標(biāo)圖 像I ， 0-1矩陣M2變成目標(biāo)圖像I對(duì)應(yīng)的0-1矩陣M;在本實(shí)施例中，步驟(5)，即對(duì)步驟(4)得到的空洞變小后的較大空洞 的目標(biāo)圖像I中剩余的空洞進(jìn)行填充，合成最終的目標(biāo)圖像的具體步驟為.(51) 、按行遍歷目標(biāo)圖像I中的空洞點(diǎn)，根據(jù)0-l矩陣M填充上下左右4鄰 域像素集中所有像素都不空的空洞點(diǎn)，同時(shí)更新O-l矩陣M;(52) 、按行遍歷目標(biāo)圖像I中的空洞點(diǎn)，根據(jù)0-l矩陣M填充上下左右4鄰 域像素集中有3個(gè)及3個(gè)以上像素不空的空洞點(diǎn)，同時(shí)更新O-l矩陣M;若還存在 上下左右4鄰域像素集中有3個(gè)及3個(gè)以上像素不空的空洞點(diǎn)，則轉(zhuǎn)到步驟(51)， 否則轉(zhuǎn)到步驟(53);(53) 、按行遍歷目標(biāo)圖像I中的空洞點(diǎn)，根據(jù)0-l矩陣M填充上下左右4鄰 域像素集中有2個(gè)及2個(gè)以上像素不空的空洞點(diǎn)，同時(shí)更新O-l矩陣M;若還存在 上下左右4鄰域像素集中有2個(gè)及2個(gè)以上像素不空的空洞點(diǎn)，則轉(zhuǎn)步驟(51)， 否則轉(zhuǎn)到歩驟(54);(54) 、按行遍歷目標(biāo)圖像I中的空洞點(diǎn)，根據(jù)0-l矩陣M填充上下左右4鄰 域像素集中有l(wèi)個(gè)及l(fā)個(gè)以上像素不空的空洞點(diǎn)，同時(shí)更新O-l矩陣M;若還存在上下左右4鄰域像素集中有1個(gè)及1個(gè)以上像素不空的空洞點(diǎn)，則轉(zhuǎn)步驟(51)， 否則停止。本實(shí)施例的填充方法與現(xiàn)有技術(shù)，即蘋(píng)果公司的Shenchang Eric Chen和 Lance Williams提出的通過(guò)插值相鄰像素的顏色或偏移向量來(lái)填充空洞的方法相 比，盡管都是用于消除的較小空洞，但本實(shí)施例的填充方法每一輪的填充過(guò)程 中總是先插值那些周?chē)强斩袋c(diǎn)較多的空洞點(diǎn)，從而保證了用于填充的像素值 更接近真實(shí)值。盡管上面對(duì)本發(fā)明說(shuō)明性的具體實(shí)施方式
進(jìn)行了描述，但應(yīng)當(dāng)清楚，本發(fā) 明不限于具體實(shí)施方式
的范圍，對(duì)本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)講，只要各種 變化在所附的權(quán)利要求限定和確定的本發(fā)明的精神和范圍內(nèi)，這些變化是顯而 易見(jiàn)的， 一切利用本發(fā)明構(gòu)思的發(fā)明創(chuàng)造均在保護(hù)之列。
權(quán)利要求
1、一種基于深度圖像的繪制的視圖合成方法，包括以下步驟(1)、對(duì)參考圖像的原始深度圖像進(jìn)行平滑，得到平滑后的深度圖像；(2)、根據(jù)參考圖像和平滑后的深度圖像進(jìn)行三維圖像變換，生成含有較小空洞的目標(biāo)圖像，同時(shí)得到一個(gè)與該目標(biāo)圖像相對(duì)應(yīng)的0-1矩陣，0-1矩陣中的每一個(gè)元素指示該目標(biāo)圖像中某點(diǎn)是否為空洞點(diǎn)，元素值為0表示該點(diǎn)是空洞點(diǎn)，元素值為1表示該點(diǎn)不是空洞點(diǎn)；(3)、根據(jù)參考圖像和原始深度圖像進(jìn)行三維圖像變換，生成含有較大空洞的目標(biāo)圖像，同時(shí)得到一個(gè)與該目標(biāo)圖像相對(duì)應(yīng)的0-1矩陣，矩陣中的每一個(gè)元素指示目標(biāo)圖像中某點(diǎn)是否為空洞點(diǎn)，元素值為0表示該點(diǎn)是空洞點(diǎn)，元素值為1表示該點(diǎn)不是空洞點(diǎn)；(4)、根據(jù)步驟(3)得到的0-1矩陣，遍歷步驟(3)得到的較大空洞的目標(biāo)圖像的空洞點(diǎn)，如果某一空洞點(diǎn)，根據(jù)步驟(2)得到的0-1矩陣判斷該空洞點(diǎn)在步驟(2)得到的較小空洞的目標(biāo)圖像中對(duì)應(yīng)點(diǎn)不是空洞點(diǎn)，則將較小空洞的目標(biāo)圖像中對(duì)應(yīng)點(diǎn)的像素值拷貝到較大空洞的目標(biāo)圖像中的該空洞點(diǎn)，這樣，較大空洞的目標(biāo)圖像中的空洞變??；(5)、對(duì)步驟(4)得到的空洞變小后的較大空洞的目標(biāo)圖像中剩余的空洞進(jìn)行填充，合成最終的目標(biāo)圖像。
2、 根據(jù)權(quán)利要求l所述的基于深度圖像的繪制的視圖合成方法，其特征在 于，步驟(1)所述的對(duì)參考圖像的深度圖像進(jìn)行平滑，采用的是高斯低通濾波 器。
3、 根據(jù)權(quán)利要求2所述的基于深度圖像的繪制的視圖合成方法，其特征在 于，所述的高斯低通濾波器的高斯曲線(xiàn)的標(biāo)準(zhǔn)偏差a為15。
4、 根據(jù)權(quán)利要求l所述的基于深度圖像的繪制的視圖合成方法，其特征在于步驟(4)中，將較小空洞的目標(biāo)圖像中對(duì)應(yīng)點(diǎn)的像素值拷貝到較大空洞的 目標(biāo)圖像中的該空洞點(diǎn)的同時(shí)，還將步驟(3)得到的O-l矩陣中對(duì)應(yīng)位置的元素置為l，得到新的0-l矩陣；步驟(5)所述的對(duì)步驟(4)得到的空洞變小后的較大空洞的目標(biāo)圖像中剩余的空洞進(jìn)行填充，合成最終的目標(biāo)圖像，包括以下步驟(51) 、按行遍歷步驟(4)得到的空洞變小后的較大空洞的目標(biāo)圖像中的 空洞點(diǎn)，根據(jù)對(duì)應(yīng)的0-l矩陣填充上下左右4鄰域像素集中所有像素都不空的空洞 點(diǎn)，并更新O-l矩陣；(52) 、按行遍歷步驟(51)得到的目標(biāo)圖像中的空洞點(diǎn)，根據(jù)對(duì)應(yīng)的O-l 矩陣填充上下左右4鄰域像素集中有3個(gè)及3個(gè)以上像素不空的空洞點(diǎn)，并更新0-l 矩陣；若還存在上下左右4鄰域像素集中有3個(gè)及3個(gè)以上像素不空的空洞點(diǎn)，則 轉(zhuǎn)到步驟(51)，否則轉(zhuǎn)到步驟(53);(53) 、按行遍歷步驟(52)得到的目標(biāo)圖像中的空洞點(diǎn)，根據(jù)對(duì)應(yīng)的O-l 矩陣填充上下左右4鄰域像素集中有2個(gè)及2個(gè)以上像素不空的空洞點(diǎn)，并更新0-l 矩陣；若還存在上下左右4鄰域像素集中有2個(gè)及2個(gè)以上像素不空的空洞點(diǎn)，則 轉(zhuǎn)步驟(51)，否則轉(zhuǎn)到步驟(54);(54) 、按行遍歷步驟(53)得到的目標(biāo)圖像中的空洞點(diǎn)，根據(jù)對(duì)應(yīng)的O-l 矩陣填充上下左右4鄰域像素集中有1個(gè)及1個(gè)以上像素不空的空洞點(diǎn)，并更新0-1 矩陣；若還存在上下左右4鄰域像素集中有1個(gè)及1個(gè)以上像素不空的空洞點(diǎn)，則 轉(zhuǎn)步驟(51)，否則停止。
全文摘要
本發(fā)明公開(kāi)了一種基于深度圖像的繪制的視圖合成方法，首先對(duì)深度圖像進(jìn)行平滑，然后執(zhí)行兩次三維圖像變換第一次變換采用平滑后的深度圖像，得到含有較小空洞的目標(biāo)圖像；第二次變換采用原始的深度圖像，得到含有較大空洞的目標(biāo)圖像，接著以第二次變換得到的目標(biāo)圖像為基準(zhǔn)將兩幅目標(biāo)圖像融合，最后對(duì)融合得到的目標(biāo)圖像進(jìn)行空洞填充。本發(fā)明的特點(diǎn)是在視圖合成過(guò)程中，始終維持一個(gè)與目標(biāo)圖像相對(duì)應(yīng)的0-1矩陣，用于指示目標(biāo)圖像中某點(diǎn)是否為空洞點(diǎn)，并且視圖合成過(guò)程中進(jìn)行了兩次三維圖像變換，從而能在消除空洞的同時(shí)保證不會(huì)降低非空洞區(qū)域圖像的質(zhì)量，并盡可能地保留視圖的真實(shí)性。
文檔編號(hào)H04N15/00GK101404777SQ200810046470
公開(kāi)日2009年4月8日 申請(qǐng)日期2008年11月6日 優(yōu)先權(quán)日2008年11月6日
發(fā)明者然 劉, 張小云, 剛 楊 申請(qǐng)人:四川虹微技術(shù)有限公司