三維圖像空洞填充方法
【專利摘要】本發(fā)明公開了一種三維圖像空洞填充方法，對(duì)于根據(jù)參考圖像生成的目標(biāo)圖像中的空洞，采用圖像序列中其他幀參考圖像或?qū)?yīng)目標(biāo)圖像進(jìn)行填充，對(duì)于利用參考圖像的方法，在參考圖像中得到空洞邊緣像素點(diǎn)對(duì)應(yīng)的像素點(diǎn)，以該像素點(diǎn)為中心選取當(dāng)前塊，在其他幀參考圖像中搜索得到匹配塊，用該匹配塊中的像素點(diǎn)對(duì)空洞點(diǎn)進(jìn)行填充；對(duì)于利用目標(biāo)圖像的方法，在得到其他幀參考圖像中的匹配塊后，計(jì)算參考圖像間塊的運(yùn)動(dòng)矢量，再計(jì)算目標(biāo)圖像間塊的運(yùn)動(dòng)矢量，以空洞邊緣像素點(diǎn)為中心選取當(dāng)前塊，根據(jù)目標(biāo)圖像運(yùn)動(dòng)矢量得到其他幀目標(biāo)圖像的匹配塊，再用該匹配塊中的像素點(diǎn)對(duì)空洞點(diǎn)進(jìn)行填充。本發(fā)明利用圖像序列中其他圖像信息進(jìn)行空洞填充，填充效果較好。
【專利說明】三維圖像空洞填充方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于三維圖像變換【技術(shù)領(lǐng)域】，更為具體地講，涉及一種三維圖像空洞填充方法。
【背景技術(shù)】
[0002]基于深度圖像繪制(Depth Image Based Rendering, DIBR)技術(shù)根據(jù)參考圖像(Reference Image)及其對(duì)應(yīng)的深度圖像(Depth Image)來生成一幅新視點(diǎn)圖像，即目標(biāo)圖像。與傳統(tǒng)的需要傳遞左右眼兩路視頻的3D視頻相比，采用DIBR技術(shù)之后僅需要傳送一路視頻及其深度圖像就可生成立體圖像對(duì)，而且可以很方便的實(shí)現(xiàn)二維和三維的切換。正因?yàn)槿绱耍珼IBR技術(shù)在3D電視立體圖像對(duì)(StereoPair)的生成中得到了廣泛應(yīng)用。
[0003]通常，人們把需要采用DIBR技術(shù)的3D視頻稱為基于深度圖像的3D視頻(DepthImage Based3D video)。DIBR技術(shù)可以很容易的由一幅參考圖像、深度圖像以及攝像機(jī)的標(biāo)定參數(shù)(Calibrat1n Parameter)來生成目標(biāo)圖像，避免了由傳統(tǒng)視圖生成方法所帶來的計(jì)算復(fù)雜性。目前基于DIBR的視圖合成算法多數(shù)采用的流程是:深度圖像預(yù)處理(Pre-Processing of Depth Image)、三維圖像變換(3D Image Warping)、空洞填充(HoleFilling)。要實(shí)現(xiàn)3D電視的可編輯功能，必須采用視圖合成技術(shù)實(shí)現(xiàn)3D內(nèi)容的實(shí)時(shí)改變。
[0004]目前的三維圖像變換方法有很大的局限性:處理的元素是像素點(diǎn)，只能將參考圖像的像素點(diǎn)的位置信息映射到目標(biāo)圖像；而參考圖像的其它信息，例如運(yùn)動(dòng)矢量/運(yùn)動(dòng)矢量場(chǎng)、Delaunay三角剖分結(jié)構(gòu)、多尺度幾何分析結(jié)果(如Bandlets變換結(jié)果)都無法映射到目標(biāo)圖像，從而無法利用這些信息來進(jìn)行空洞填充。
[0005]現(xiàn)有的空洞填充方法一般分為兩大類:基于空域的空洞填充和基于時(shí)空結(jié)合的空洞填充算法。其中，基于空域的空洞填充算法缺乏空洞區(qū)域的場(chǎng)景信息，用來填充的像素不是真實(shí)場(chǎng)景的像素，而是通過一定的規(guī)則模擬出來的，填充后會(huì)降低圖像的逼真度；而基于時(shí)空結(jié)合的空洞填充算法雖然可以利用更多的場(chǎng)景信息，用多個(gè)視點(diǎn)的參考圖像來繪制虛擬視點(diǎn)的視圖，從而得到較好的目標(biāo)圖像，但需要較高的帶寬來傳輸多路視頻信息。迭代算法時(shí)間復(fù)雜度高，不利于硬件實(shí)現(xiàn)。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種三維圖像空洞填充方法，利用圖像序列中其他圖像的信息，對(duì)三維圖像變換后的空洞進(jìn)行填充，從而獲得更好的填充效果O
[0007]為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明三維圖像空洞填充方法，包括以下步驟:
[0008]S1:根據(jù)參考圖像序列中的第k幀參考圖像及其深度圖，通過三維圖像變換得到目標(biāo)圖像及其深度圖；
[0009]S2:選取用于空洞填充的第k'幀參考圖像；
[0010]S3:依次對(duì)第k幀目標(biāo)圖像的各個(gè)空洞進(jìn)行填充，填充方法為:[0011]S3.1:當(dāng)?shù)趉幀目標(biāo)圖像為右視圖，則選取空洞右邊緣的非空洞像素點(diǎn)，當(dāng)?shù)趉幀目標(biāo)圖像為左視圖，則選取空洞左邊緣的非空洞像素點(diǎn)，將該像素點(diǎn)記為(U，V)，運(yùn)用逆三維圖像變換得到第k幀參考圖像中的對(duì)應(yīng)像素點(diǎn)(u' ,y')；
[0012]S3.2:在第k幀參考圖像中以像素點(diǎn)(u' ,Y')為中心，選取大小為NXN的塊作為當(dāng)前塊，其中N = 2η+1, η為正整數(shù)；
[0013]S3.3:在第V幀參考圖像中以像素點(diǎn)(u' ,Y')為中心，在大小為MXM的搜索窗中搜索得到最佳匹配塊，其中M > N，最佳匹配塊的中心像素點(diǎn)記為(么幻:
[0014]S3.4:當(dāng)?shù)趉幀目標(biāo)圖像中的像素點(diǎn)(u+i，v+j)為空洞點(diǎn)時(shí)，將第I幀參考圖像中的像素點(diǎn)(δ + ι^ + /)及其深度值復(fù)制到該空洞點(diǎn)，其中1、j的取值范圍分別為-n < i < n、-n < j < η。
[0015]本發(fā)明還提供另外一種利用其他幀目標(biāo)圖像的三維圖像空洞填充方法，包括以下步驟:
[0016]S1:根據(jù)參考圖像序列中的第k幀參考圖像及其深度圖，通過三維圖像變換得到目標(biāo)圖像及其深度圖；
[0017]S2:選取用于空洞填充的第k'幀參考圖像，根據(jù)該參考圖像及其深度圖，同樣通過三維圖像變換得到目標(biāo)圖像及其深度圖；
[0018]S3:依次對(duì)第k幀目標(biāo)圖像的各個(gè)空洞進(jìn)行填充，填充方法為:
[0019]S3.1:當(dāng)?shù)趉幀目標(biāo)圖像為右視圖，則選取空洞右邊緣的非空洞像素點(diǎn)，當(dāng)?shù)趉幀目標(biāo)圖像為左視圖，則選取空洞左邊緣的非空洞像素點(diǎn)，將該像素點(diǎn)記為(U，V)，運(yùn)用逆三維圖像變換得到第k幀參考圖像中的對(duì)應(yīng)像素點(diǎn)(u' ,y')；
[0020]S3.2:在第k幀參考圖像中以像素點(diǎn)(u' ,Y')為中心，選取大小為NXN的塊作為當(dāng)前塊，其中N = 2η+1, η為正整數(shù)；
[0021]S3.3:在第V幀參考圖像中以像素點(diǎn)(u' ,Y')為中心，在大小為MXM的搜索窗中搜索得到最佳匹配塊，其中M > N，最佳匹配塊的中心像素點(diǎn)記為(u"，v")；
[0022]S3.4:計(jì)算當(dāng)前塊與匹配塊之間的運(yùn)動(dòng)矢量mvr,再根據(jù)運(yùn)動(dòng)矢量mVr計(jì)算第k中貞目標(biāo)圖像與第k'幀目標(biāo)圖像的運(yùn)動(dòng)矢量mvs，計(jì)算公式為:
[0023]
【權(quán)利要求】
1.一種三維圖像的空洞填充方法，其特征在于，包括以下步驟: S1:根據(jù)參考圖像序列中的第k幀參考圖像及其深度圖，通過三維圖像變換得到目標(biāo)圖像及其深度圖； S2:選取用于空洞填充的第k'幀參考圖像； S3:依次對(duì)第k幀目標(biāo)圖像的各個(gè)空洞進(jìn)行填充，填充方法為: S3.1:當(dāng)?shù)趉幀目標(biāo)圖像為右視圖，則選取空洞右邊緣的非空洞像素點(diǎn)，當(dāng)?shù)趉幀目標(biāo)圖像為左視圖，則選取空洞左邊緣的非空洞像素點(diǎn)，將該像素點(diǎn)記為(U，V)，運(yùn)用逆三維圖像變換得到第k幀參考圖像中的對(duì)應(yīng)像素點(diǎn)(u' ,N')； S3.2:在第k幀參考目標(biāo)圖像中以像素點(diǎn)(u' ,N')為中心，選取大小為NXN的塊作為當(dāng)前塊，其中N = 2η+1, η為正整數(shù)； S3.3:在第V幀參考圖像中以像素點(diǎn)(u' ,Y')為中心，在大小為MXM的搜索窗中搜索得到最佳匹配塊，其中M > N，最佳匹配塊的中心像素點(diǎn)記為(K): S3.4:當(dāng)?shù)趉幀目標(biāo)圖像中的像素點(diǎn)(u+i，v+j)為空洞點(diǎn)時(shí)，將第k '幀參考圖像中的像素點(diǎn)(5 + 1',P + /)及其深度值復(fù)制到該空洞點(diǎn)，其中1、j的取值范圍分別為-n < i < n、-n < j < η。
2.根據(jù)權(quán)利要求1所述的三維圖像空洞填充方法，其特征在于，所述步驟SI中對(duì)得到的目標(biāo)圖像及其深度圖進(jìn)行中值濾波處理。
3.—種三維圖像空洞填充方法，其特征在于，包括以下步驟: 51:根據(jù)參考圖像序列中的第k幀參考圖像及其深度圖，通過三維圖像變換得到目標(biāo)圖像及其深度圖； 52:選取用于空洞填充的第k'幀參考圖像，根據(jù)該參考圖像及其深度圖，通過三維圖像變換得到目標(biāo)圖像及其深度圖； 53:依次對(duì)第k幀目標(biāo)圖像的各個(gè)空洞進(jìn)行填充，填充方法為: S3.1:當(dāng)?shù)趉幀目標(biāo)圖像為右視圖，則選取空洞右邊緣的非空洞像素點(diǎn)，當(dāng)?shù)趉幀目標(biāo)圖像為左視圖，則選取空洞左邊緣的非空洞像素點(diǎn)，將該像素點(diǎn)記為(U，V)，運(yùn)用逆三維圖像變換得到第k幀參考圖像中的對(duì)應(yīng)像素點(diǎn)(u' ,N')； S3.2:在第k幀參考圖像中以像素點(diǎn)(u' ,N')為中心，選取大小為NXN的塊作為當(dāng)前塊，其中N = 2η+1，η為正整數(shù)； S3.3:在第V幀參考圖像中以像素點(diǎn)(u' ,y')為中心，在大小為MXM的搜索窗中搜索得到最佳匹配塊，其中M > N，最佳匹配塊的中心像素點(diǎn)記為(u"，v")； S3.4:計(jì)算當(dāng)前塊與匹配塊之間的運(yùn)動(dòng)矢量m\，再根據(jù)運(yùn)動(dòng)矢量計(jì)算第k幀目標(biāo)圖像與第k'幀目標(biāo)圖像的運(yùn)動(dòng)矢量mvs，計(jì)算公式為:
4.根據(jù)權(quán)利要求3所述的三維圖像空洞填充方法，其特征在于，所述步驟SI中對(duì)得到的目標(biāo)圖像及其深度圖進(jìn)行中值濾波處理。
【文檔編號(hào)】H04N13/00GK104038753SQ201410269539
【公開日】2014年9月10日 申請(qǐng)日期:2014年6月17日 優(yōu)先權(quán)日:2014年6月17日
【發(fā)明者】劉然, 曹東華, 田逢春, 李博樂, 黃振偉, 鄧澤坤, 賈瑞雙, 徐苗, 譚迎春, 譚偉敏 申請(qǐng)人:四川虹微技術(shù)有限公司, 重慶大學(xué)