基于圖像重投影的空洞填充方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于三維圖像技術(shù)領(lǐng)域，更為具體地講，涉及一種基于圖像重投影的空洞 填充方法。
【背景技術(shù)】
[0002] 基于深度圖像繪制（depth-image-basedrendering,DIBR)技術(shù)是一種根據(jù)參考 圖像（referenceimage)及其對應(yīng)的深度圖像（depthimage)來生成一幅新視點圖像（即 目標(biāo)圖像）的技術(shù)。與傳統(tǒng)的需要傳遞左右眼兩路視頻的3D視頻相比，采用DIBR技術(shù)之 后僅需要傳送一路視頻及其深度圖像就可生成立體圖像對，而且可以很方便的實現(xiàn)二維和 三維的切換。因此DIBR技術(shù)在3D電視立體圖像對（stereopair)的生成中得到了廣泛應(yīng) 用。
[0003] 空洞是因為視點變化而產(chǎn)生的。由于視點變化導(dǎo)致場景中物體前后遮擋關(guān)系發(fā)生 了變化，原來不可見的物體變得可見，物體表面也會發(fā)生縮放，因而會產(chǎn)生空洞。特別是基 線較長時，會產(chǎn)生很大的空洞。盡管隨著所提供攝像機數(shù)的增加，有些空洞因為變得可見而 被填充，但是由于不可能在所有位置都放上一個攝像機，因而在合成任意視點視圖時空洞 是不可避免的。在空洞填充方面，國內(nèi)外學(xué)術(shù)界基本上沿著深度圖像預(yù)處理和合成視圖后 處理相結(jié)合的方向發(fā)展。
[0004] 在預(yù)處理方面，2004年Fehn提出了采用高斯濾波器對深度圖像進行預(yù)處理，平滑 深度圖像，減少深度值的不連續(xù)以避免在目標(biāo)圖像中出現(xiàn)較大的空洞。Chen等人采用依賴 邊緣深度濾波器（edgedependentdepthfilter)來進行預(yù)處理。這幾種方法都會使背景 中的垂直邊緣產(chǎn)生幾何扭曲。Zhang等人提出非對稱高斯濾波器，以減弱背景中垂直紋理信 息產(chǎn)生的幾何扭曲現(xiàn)象。He等人提出用加權(quán)迭代的方法處理深度圖像，不利于實時處理。 Hong提出方向高斯濾波（directionalgaussianfilter,DAF)，在預(yù)處理深度圖時，先膨脹 深度圖，然后根據(jù)方向角對可能產(chǎn)生空洞的區(qū)域進行非對稱高斯濾波，雖然迭代多次可以 得到比較好的圖像質(zhì)量，但不能完全消除幾何扭曲，且這種算法太復(fù)雜，硬件實現(xiàn)困難、實 時性不好。
[0005] 在后處理方面，戴瓊海等人采用了背景優(yōu)先填充的思想，在合成的左視圖中用從 左到右從上到下的順序填充，右視圖中用從右到左，從上到下的順序填充，當(dāng)空洞兩邊都為 前景時，且空洞區(qū)域本應(yīng)該為背景像素時，這種填充算法就會失效。2009年，Kwan-JungOh 等人從后處理的角度提出了基于深度的圖像修復(fù)技術(shù)來進行空洞填充。
[0006] 張倩、安平等人則采用深度預(yù)處理圖像和圖像修復(fù)后處理相結(jié)合的方法來填充空 洞。2010年，駱凱、張明等人將形態(tài)學(xué)處理引入到深度圖像預(yù)處理中，并結(jié)合Criminisi的 基于樣本的修復(fù)方法來修復(fù)空洞。V'azquez、Azzari等人對深度圖像預(yù)處理算法與圖像 修復(fù)算法后處理的效果和性能做了對比探討，他們的結(jié)果顯示采用Criminisi算法修復(fù)效 果較好但計算復(fù)雜性高，并指出利用深度信息是提高合成視圖的重要手段。一般來說預(yù)處 理深度圖像，會降低整幅圖像的質(zhì)量，而圖像修復(fù)又太復(fù)雜。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于圖像重投影的空洞填充方 法，對原始參考圖像進行圖像重投影生成與目標(biāo)圖像平行的參考圖像，根據(jù)該平行參考圖 像對目標(biāo)圖像進行空洞填充，提高填充結(jié)果圖像的質(zhì)量。
[0008] 為實現(xiàn)上述發(fā)明目的，本發(fā)明基于圖像重投影的空洞填充方法，具體包括以下步 驟：
[0009] S1 :根據(jù)參考圖像I,采用三維變換生成目標(biāo)圖像Is，并得到目標(biāo)圖像對應(yīng)的非空 洞矩陣M，非空洞矩陣M的生成方法為：如果目標(biāo)圖像13中像素點（x，y)為空洞，非空洞矩 陣M對應(yīng)的元素值M(x，y)置0,如果為非空洞點，對應(yīng)元素值置為該像素點的深度值；
[0010] S2 :采用圖像重投影算法分別對參考圖像L及其深度圖像D進行重投影生成與目 標(biāo)圖像13平行的參考圖像I' ^及其深度圖像D';
[0011] S3 :當(dāng)目標(biāo)圖像13為右視圖/左視圖，對非空洞矩陣M進行從左到右/從右到左、 從上到下的遍歷，尋找得到除圖像邊緣空洞以外的所有空洞，將每個空洞右/左邊的非空 洞像素點作為右/左邊緣us，該空洞含有的像素點數(shù)記為N;
[0012] S4 :依次對于步驟S3得到的每個空洞的右/左邊緣us，判斷是否為前景像素點， 如果是，不作任何操作，否則將像素點us通過三維圖像逆變換，投影到參考圖像I' ^中的 像素點U'p記像素點u' ^的坐標(biāo)為（m，n);如果像素點u' ^斤在行的序號n大于等于/ 小于等于W/2時，將像素點u'j?右/左邊最近的N個像素點復(fù)制到像素點us左/右邊的 空洞中進行填充，否則進一步判斷圖像重投影時參考圖像I'j目對于原始參考圖像I是 否為順時針旋轉(zhuǎn)，如果是，則將像素點u' ^重置為像素點（m+aX，n)，其中a表示視圖標(biāo) 識，當(dāng)目標(biāo)圖像Is為右視圖時，a=1，當(dāng)目標(biāo)圖像Is為左視圖時，a=-1，A表示預(yù)設(shè)的 偏移量，取值范圍A彡1;如果是逆時針，則將像素點u' ^重置為像素點（m-aX，n)，然后 將像素點u'j?右/左邊最近的N個像素點復(fù)制到像素點us左/右邊的空洞中進彳丁填充；
[0013] S5 :采用圖像修復(fù)算法對目標(biāo)圖像L中的剩余空洞進行填充。
[0014] 本發(fā)明基于圖像重投影的空洞填充方法，首先根據(jù)參考圖像生成目標(biāo)圖像及非空 洞矩陣，然后對原始的參考圖像進行圖像重投影生成與目標(biāo)圖像平行的參考圖像；確定目 標(biāo)圖像中除邊緣空洞以外的所有空洞的邊緣，采用三維圖像逆變換方法將邊緣像素點投影 到平行參考圖像中，然后根據(jù)邊緣點在目標(biāo)圖像中的位置和平行參考圖像相對于原始參考 圖像的旋轉(zhuǎn)方向，復(fù)制像素點對該邊緣點對應(yīng)的空洞進行填充；最后，利用圖像修復(fù)算法修 復(fù)剩余空洞。
[0015] 相對于傳統(tǒng)的空洞填充方法，本發(fā)明不需要預(yù)處理深度圖像，從而最大限度地保 證了非空洞區(qū)域的真實性，得到高質(zhì)量的新視圖。實驗表明，在基線比較小，背景紋理不是 非常復(fù)雜的情況下，本發(fā)明可以取得比較好的視覺效果。并且本發(fā)明算法的時間復(fù)雜度較 低，可以有效提高空洞填充的效率。
【附圖說明】
[0016] 圖1是本發(fā)明基于圖像重投影的空洞填充方法的實施方式流程圖；
[0017] 圖2是三維圖像變換示意圖；
[0018] 圖3是去除匹配誤差的效果示意圖；如圖3所示，圖3 (a)是經(jīng)過三維變換后的目 標(biāo)圖像及局部放大圖，圖3(b)是未經(jīng)去除匹配誤差采用本發(fā)明進行空洞填充后的目標(biāo)圖 像及局部放大圖，圖3(c)是去除匹配誤差后采用本發(fā)明進行空洞填充后的目標(biāo)圖像及局 部放大圖；
[0019] 圖4是圖像重投影的示意圖；
[0020] 圖5是圖像重投影的結(jié)果示例圖；
[0021] 圖6是填充偏移不例圖；
[0022] 圖7是原始參考圖像為右視圖時的像素點復(fù)制填充不意圖；
[0023] 圖8是直接從原始參考圖像復(fù)制像素點進行空洞填充的示例圖；
[0024] 圖9是從圖像重投影得到的平行參考圖像復(fù)制像素點進行空洞填充的示例圖；
[0025] 圖10是Ballet序列圖像的填充結(jié)果對比圖；
[0026] 圖11是Breakdancers序列圖像的填充結(jié)果對比圖；
[0027] 圖12是Ballet序列前20幀的三種算法PSNR對比曲線圖；
[0028] 圖13是Breakdancers序列前20幀的三種算法PSNR對比曲線圖。
【具體實施方式】
[0029] 下面結(jié)合附圖對本發(fā)明的【具體實施方式】進行描述，以便本領(lǐng)域的技術(shù)人員更好地 理解本發(fā)明。需要特別提醒注意的是，在以下的描述中，當(dāng)已知功能和設(shè)計的詳細描述也許 會淡化本發(fā)明的主要內(nèi)容時，這些描述在這里將被忽略。
[0030] 圖1是本發(fā)明基于圖像重投影的空洞填充方法的實施方式流程圖。如圖1所示， 本發(fā)明基于圖像重投影的空洞填充方法包括以下步驟：
[0031] S101:生成目標(biāo)圖像：
[0032] 根據(jù)參考圖像I,采用三維變換生成目標(biāo)圖像Is，并得到目標(biāo)圖像對應(yīng)的非空洞矩 陣M，非空洞矩陣M的生成方法為：如果目標(biāo)圖像13中像素點（x，y)為空洞，非空洞矩陣M 對應(yīng)的元素值M(x，y)置0,如果為非空洞點，對應(yīng)元素值置為該像素點的深度值。
[0033] 圖2是三維圖像變換示意圖。如圖2所示，三維圖像變換包括兩個步驟：首先，將 參考圖像仁中的像素點h運用其在深度圖D中對應(yīng)的深度信息投影到三維空間中一點U; 然后，將這個點U重新投影到需要得到的某個位置的目標(biāo)圖像Is中去，得到變換后的像素 點113。三維圖像變換的可逆矩陣為：
【主權(quán)項】
1. 一種基于圖像重投影的空洞填充方法，其特征在于，包括w下步驟： 51 ;根據(jù)參考圖像If采用S維變換生成目標(biāo)圖像I ,，并得到目標(biāo)圖像對應(yīng)的非空洞矩 陣M，非空洞矩陣M的生成方法為；如果目標(biāo)圖像L中像素點（X，y)為空洞，非空洞矩陣M 對應(yīng)的元素值M(x，y)置0,如果為非空洞點，對應(yīng)元素值置為該像素點的深度值； 52 ;采用圖像重投影算法分別對參考圖像If及其深度圖像D進行重投影生成與目標(biāo)圖 像L平行的參考圖像I' t及其深度圖像D'; 53 ;當(dāng)目標(biāo)圖像L為右視圖/左視圖，對非空洞矩陣M進行從左到右/從右到左、從上 到下的遍化尋找得到除圖像邊緣空洞W外的所有空洞，將每個空洞右/左邊的非空洞像 素點作為右/左邊緣U,，該空洞含有的像素點數(shù)記為N ; 54 ;依次對于步驟S3得到的每個空洞的右/左邊緣U,，判斷是否為前景像素點，如果 是，不作任何操作，否則將像素點11,通過=維圖像逆變換，投影到參考圖像I' t中的像素點 U',，記像素點U' t的坐標(biāo)為（m，n);如果像素點U' t所在行的序號n大于等于/小于等 于W/2時，將像素點U' t右/左邊最近的N個像素點復(fù)制到像素點U ,左/右邊的空洞中 進行填充，否則進一步判斷圖像重投影時參考圖像I' t相對于原始參考圖像I t是否為順 時針旋轉(zhuǎn)，如果是，則將像素點U' t重置為像素點（m+a A，n)，其中a表示視圖標(biāo)識，當(dāng) 目標(biāo)圖像L為右視圖時，a = 1，當(dāng)目標(biāo)圖像I S為左視圖時，a =-1，A表示預(yù)設(shè)的偏移 量，取值范圍A ;如果是逆時針，則將像素點U' t重置為像素點（m-a A，n)，然后將像 素點U' t右/左邊最近的N個像素點復(fù)制到像素點U ,左/右邊的空洞中進行填充； 55 ;采用圖像修復(fù)算法對目標(biāo)圖像If中的剩余空洞進行填充。
2. 根據(jù)權(quán)利要求1所述的=相鎖相環(huán)，其特征在于，所述步驟S1中的目標(biāo)圖像采用膨 脹空洞的方法進行預(yù)處理。
【專利摘要】本發(fā)明公開了一種基于圖像重投影的空洞填充方法，首先根據(jù)參考圖像生成目標(biāo)圖像及非空洞矩陣，然后對原始的參考圖像進行圖像重投影生成與目標(biāo)圖像平行的參考圖像；確定目標(biāo)圖像中除邊緣空洞以外的所有空洞的邊緣，采用三維圖像逆變換方法將邊緣像素點投影到平行參考圖像中，然后根據(jù)邊緣點在目標(biāo)圖像中的位置和平行參考圖像相對于原始參考圖像的旋轉(zhuǎn)方向，復(fù)制像素點對該邊緣點對應(yīng)的空洞進行填充；最后，利用圖像修復(fù)算法修復(fù)剩余空洞。相比于傳統(tǒng)空洞填充方法，本發(fā)明可以提高填充結(jié)果圖像的質(zhì)量，并且時間復(fù)雜度也較低。
【IPC分類】H04N13-00
【公開號】CN104683788
【申請?zhí)枴緾N201510113189
【發(fā)明人】劉然, 賈瑞雙, 黃振偉, 鄧澤坤, 曹東華, 徐苗, 李博樂
【申請人】四川虹微技術(shù)有限公司, 重慶大學(xué)
【公開日】2015年6月3日
【申請日】2015年3月16日