專利名稱：虛擬視點(diǎn)視頻序列的生成方法及生成裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，特別涉及一種虛擬視點(diǎn)視頻序列的生成方法及生成裝置。
背景技術(shù)：
自由視點(diǎn)視頻序列處理是立體視頻處理技術(shù)中非常關(guān)鍵的組成部分，并且擁有非常廣泛的應(yīng)用，可應(yīng)用于立體視頻欣賞、自由視點(diǎn)多角度觀賞、虛擬現(xiàn)實(shí)以及立體游戲等場(chǎng)景，在提高傳統(tǒng)平面視頻視覺體驗(yàn)的基礎(chǔ)上，也能夠給觀眾提供更多的信息。對(duì)于自由視點(diǎn)視頻序列顯示而言，如果所有的角度都采用攝像機(jī)采集的方式，能夠保證良好的視頻質(zhì)量，但是會(huì)產(chǎn)生很大的計(jì)算量。因此，在采集視頻的基礎(chǔ)上，通過立體視頻生成的方式，在保證視頻質(zhì)量的基礎(chǔ)上也提高了計(jì)算速度——這也是生成虛擬視點(diǎn)的意義所在。傳統(tǒng)的自由視點(diǎn)視頻序列繪制的過程中，通過原視頻和深度圖，然后進(jìn)行像素偏移、空洞填充和錯(cuò)誤修復(fù)等步驟，能夠得到虛擬視點(diǎn)的視頻。但是這種方式對(duì)于虛擬視點(diǎn)中的空洞像素沒有很好的處理方法，一般常用的空洞填充方法有插值、濾波等，他們往往都會(huì)在虛擬視點(diǎn)中出現(xiàn)或多或少的不自然感，減少這種失真一直是學(xué)者們努力的方向。

發(fā)明內(nèi)容
本發(fā)明旨在至少解決上述技術(shù)問題之一。為此，本發(fā)明的一個(gè)目的在于提出一種失真較少、效率較高的虛擬視點(diǎn)視頻序列的生成方法。本發(fā)明的另一目的在于提出一種失真較少、效率較高的虛擬視點(diǎn)視頻序列的生成裝置。為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明第一方面的虛擬視點(diǎn)視頻序列的生成方法包括步驟A.輸入N個(gè)原始視點(diǎn)的時(shí)長(zhǎng)為T的視頻序列和對(duì)應(yīng)的深度圖序列，其中N為正整數(shù)，T為正數(shù)；B.獲取t時(shí)刻的第n個(gè)原始視點(diǎn)彩色圖Pi^和對(duì)應(yīng)的深度圖Di^以及所述第n個(gè)原始視點(diǎn)與所述虛擬視點(diǎn)的相對(duì)位置，其中t e (0, T], n G (0，N]且n為整數(shù)；C.對(duì)所述第n個(gè)原始視點(diǎn)深度圖中各個(gè)像素按深度值大小進(jìn)行排序，得到排序結(jié)果；D.根據(jù)所述排序結(jié)果，對(duì)所述第n個(gè)原始視點(diǎn)彩色圖P1^從小到大依次進(jìn)行像素偏移，得到第n個(gè)原始視點(diǎn)偏移彩色圖P' _，并對(duì)未偏移的像素進(jìn)行標(biāo)記；E.對(duì)所述第n個(gè)原始視點(diǎn)偏移彩色圖P' ,0進(jìn)行空洞填充處理，得到與所述第n個(gè)原始視點(diǎn)對(duì)應(yīng)的所述虛擬視點(diǎn)的第n個(gè)初始彩色圖P' n,v;F.提取所述虛擬視點(diǎn)的第n個(gè)初始彩色圖P' n，v的邊緣信息，記為Iv’n，同時(shí)提取所述第n個(gè)原始視點(diǎn)的深度圖D1^的邊緣信息，記為Id’n ；G.根據(jù)所述Tn和Id’n，計(jì)算所述虛擬視點(diǎn)的第n個(gè)初始彩色圖P' n,v的邊緣評(píng)價(jià)值，將所述邊緣評(píng)價(jià)值與預(yù)定閾值作比較，若所述邊緣評(píng)價(jià)值大于所述預(yù)定閾值，則對(duì)所述虛擬視點(diǎn)的第n個(gè)初始彩色圖P' n，v進(jìn)行邊緣修正，直到若所述邊緣評(píng)價(jià)值小于閾值為止，得到虛擬視點(diǎn)的第n個(gè)平滑彩色圖Pn，v ；H.重復(fù)步驟B-G，得到t時(shí)刻下所述N個(gè)原始視點(diǎn)對(duì)應(yīng)的所述虛擬視點(diǎn)的N個(gè)平滑彩色圖Pn,v，并將所述N個(gè)平滑彩色圖Pn，v合成為一個(gè)t時(shí)刻的虛擬視點(diǎn)最終彩色圖Pv ；以及I.重復(fù)步驟H，以得到各個(gè)時(shí)刻的所述虛擬視點(diǎn)最終彩色圖Pv并最終得到所述虛擬視點(diǎn)視頻序列。在本發(fā)明的方法的一個(gè)實(shí)施例中，所述第n個(gè)原始視點(diǎn)與所述虛擬視點(diǎn)的相對(duì)位置包括所述第n個(gè)原始視點(diǎn)在所述虛擬視點(diǎn)的相對(duì)左右位置，和所述第n個(gè)原始視點(diǎn)與所述虛擬視點(diǎn)的平行距離。在本發(fā)明的方法的一個(gè)實(shí)施例中，所述排序的方法為快速排序法。在本發(fā)明的方法的一個(gè)實(shí)施例中，對(duì)所述第n個(gè)原始視點(diǎn)彩色圖P1^依次進(jìn)行像素偏移的步驟包括按照下述公式計(jì)算偏移距離d :d=土 a (Zdepth-ZPP),其中土表示所述第n個(gè)原始視點(diǎn)與所述虛擬視點(diǎn)的相對(duì)位置，a為正系數(shù)，Zdepth為第n個(gè)原始視點(diǎn)彩色圖中像素的深度值，ZPP為零視差平面深度值。
在本發(fā)明的方法的一個(gè)實(shí)施例中，所述空洞填充處理包括搜尋未偏移像素相鄰位置的第一個(gè)偏移像素，通過差值或?yàn)V波的方式得到所述未偏移像素的值。在本發(fā)明的方法的一個(gè)實(shí)施例中，所述邊緣信息通過使用索貝爾邊緣提取算子或拉普拉斯邊緣提取算子得到。在本發(fā)明的方法的一個(gè)實(shí)施例中，所述步驟G中，所述第n個(gè)虛擬視點(diǎn)初始彩色圖P' n,v的邊緣評(píng)價(jià)值的計(jì)算公式為Tvnalue = I(Xiy)eE( Ifxny) - 1 )，其中1^_為邊緣評(píng)價(jià)值，E是所述第n個(gè)原始視點(diǎn)深度圖Dy邊緣信息的像素集合，r’ n是所述虛擬視點(diǎn)的第n個(gè)初始彩色圖P' n；v的邊緣信息，Id’n是第n個(gè)原始視點(diǎn)深度圖Dn, 0的邊緣信息，I (x, y)的計(jì)算公式為當(dāng)對(duì)應(yīng)像素(X，y)邊緣信息存在時(shí)，I (Xjy) = I,否則I (x,y)= O。在本發(fā)明的方法的一個(gè)實(shí)施例中，所述邊緣修正包括在所述第n個(gè)虛擬視點(diǎn)初始彩色圖P' n,v的邊緣信息Iv’n中，找到與第n個(gè)原始視點(diǎn)深度圖的邊緣信息Id’n不一致的位置，在所述不一致位置附近尋找第n個(gè)原始視點(diǎn)深度圖的邊緣，然后進(jìn)行替換和濾波處理。在本發(fā)明的方法的一個(gè)實(shí)施例中，將所述虛擬視點(diǎn)的N個(gè)平滑彩色圖Pn, v合成為一個(gè)虛擬視點(diǎn)最終彩色圖Pv的合成公式為PV= E an.pn,V)其中Pn，v為所述步驟G求得的第n個(gè)原始視點(diǎn)對(duì)應(yīng)的第n個(gè)虛擬視點(diǎn)平滑彩色圖，a n為權(quán)重乘系數(shù)，計(jì)算公式為
n = ￡N_i1fV1n/v,)，財(cái)vn ^ Pn’V巾―讀制象麵腿Jt撕見點(diǎn)、議獅胃。根據(jù)本發(fā)明實(shí)施例的的虛擬視點(diǎn)視頻序列的生成方法，具有如下優(yōu)點(diǎn)I.可以較好的繪制虛擬視點(diǎn)視頻序列，同時(shí)不增加過多的計(jì)算量；2.它并不限于原始視點(diǎn)的數(shù)量，只需要提供原始視點(diǎn)相對(duì)于虛擬視點(diǎn)的位置即可；3.使用了反饋控制的方式進(jìn)行邊緣質(zhì)量評(píng)價(jià)，通過評(píng)價(jià)反饋可得到邊緣清晰平滑的虛擬視點(diǎn)視頻序列，失真較小。為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明第二方面的虛擬視點(diǎn)視頻序列的生成裝置包括輸入模塊，用于將N個(gè)原始視點(diǎn)的時(shí)長(zhǎng)為T的視頻序列和對(duì)應(yīng)的深度圖序列讀入內(nèi)存中，并獲取所述N個(gè)原始視點(diǎn)與所述虛擬視點(diǎn)的相對(duì)位置；排序模塊，用于從所述內(nèi)存中提取t時(shí)刻的第n個(gè)原始視點(diǎn)深度圖中各個(gè)像素按深度值大小進(jìn)行排序，得到排序結(jié)果，其中t G (0, T], n G (0，N]且n為整數(shù)；像素偏移模塊，用于根據(jù)所述排序結(jié)果，對(duì)所述第n個(gè)原始視點(diǎn)彩色圖P1^從小到大依次進(jìn)行像素偏移，得到第n個(gè)原始視點(diǎn)偏移彩色圖P' n,0 ；標(biāo)記模塊，用于對(duì)所述像素偏移過程中未偏移的像素進(jìn)行標(biāo)記；空洞填充模塊，用于對(duì)所述第n個(gè)原始視點(diǎn)偏移彩色圖P' n,0進(jìn)行空洞填充處理，得到與所述第n個(gè)原始視點(diǎn)對(duì)應(yīng)的虛擬視點(diǎn)的第n個(gè)初始彩色圖P' n,v ;原始視點(diǎn)邊緣提取模塊，用于提取所述虛擬視點(diǎn)的第n個(gè)初始彩色圖P' n,v的邊緣信息，記為Tn ;虛擬視點(diǎn)邊緣提取模塊，用于提取所述第n個(gè)原始視點(diǎn)深度圖Di^的邊緣信息，記為Id’n ;邊緣評(píng)價(jià)模塊，用于根據(jù)所述Iv’n和所述Id’n，計(jì)算所述虛擬視點(diǎn)的第n個(gè)初始彩色圖P' n，v的邊緣評(píng)價(jià)值；預(yù)定閾值比較模塊，用于將所述邊緣評(píng)價(jià)值與預(yù)定閾值作比較，若所述邊緣評(píng)價(jià)值小于或等于所述預(yù)定閾值，則將虛擬視點(diǎn)的第n個(gè)初始彩色圖P' n,v輸出給虛擬圖像合成模塊，若所述邊緣評(píng)價(jià)值大于所述閾值，則將虛擬視點(diǎn)的第n個(gè)初始彩色圖P' n,v輸出給邊緣修正模塊；所述邊緣修正模塊，用于對(duì)所述虛擬視點(diǎn)的第n個(gè)初始彩色圖P' n,v并進(jìn)行邊緣修正，并將所述邊緣修正后的虛擬視點(diǎn)的第n個(gè)平滑彩色圖Pn，v返回至所述邊緣評(píng)價(jià)模塊，重復(fù)所述計(jì)算邊緣評(píng)價(jià)值和所述預(yù)定閾值比較的操作，直到所述邊緣評(píng)價(jià)值小于或等于所述預(yù)定閾值為止；所述虛擬圖像合成模塊，用于將t時(shí)刻下的所述虛擬視點(diǎn)的N個(gè)平滑彩色圖Pn, v，合成為一個(gè)t時(shí)刻的 虛擬視點(diǎn)最終彩色圖Pv ；以及虛擬視點(diǎn)視頻序列輸出模塊，用于將各個(gè)時(shí)刻下的虛擬視點(diǎn)最終彩色圖Pv整合成所述虛擬視點(diǎn)視頻序列對(duì)外輸出。在本發(fā)明的裝置的一個(gè)實(shí)施例中，所述輸入模塊中，所述第n個(gè)原始視點(diǎn)與所述虛擬視點(diǎn)的相對(duì)位置包括所述第n個(gè)原始視點(diǎn)在所述虛擬視點(diǎn)的相對(duì)左右位置，和所述第n個(gè)原始視點(diǎn)與所述虛擬視點(diǎn)的平行距離。在本發(fā)明的裝置的一個(gè)實(shí)施例中，所述排序模塊中，所述排序的方法為快速排序法。在本發(fā)明的裝置的一個(gè)實(shí)施例中，所述像素偏移模塊中，對(duì)所述第n個(gè)原始視點(diǎn)彩色圖Pn，Q依次進(jìn)行像素偏移的步驟包括按照下述公式計(jì)算偏移距離d :d=土 a(Zdepth-ZPP),其中土表示所述第n個(gè)原始視點(diǎn)與所述虛擬視點(diǎn)的相對(duì)位置，a為正系數(shù)，Zdepth為第n個(gè)原始視點(diǎn)彩色圖中像素的深度值，ZPP為零視差平面深度值。在本發(fā)明的裝置的一個(gè)實(shí)施例中，所述空洞填充模塊中，所述空洞填充處理包括搜尋未偏移像素相鄰位置的第一個(gè)偏移像素，通過差值或?yàn)V波的方式得到所述未偏移像素的值。在本發(fā)明的裝置的一個(gè)實(shí)施例中，所述原始視點(diǎn)邊緣提取模塊和所述虛擬視點(diǎn)邊緣提取模塊中，所述邊緣信息通過使用索貝爾邊緣提取算子或拉普拉斯邊緣提取算子得到。在本發(fā)明的裝置的一個(gè)實(shí)施例中，所述邊緣評(píng)價(jià)模塊中，所述第n個(gè)虛擬視點(diǎn)初始彩色圖P' n,v的邊緣評(píng)價(jià)值的計(jì)算公式為Tvnalue = Z(x,y)GE()，其中TvnaIue為邊緣評(píng)價(jià)值，E是所述第n個(gè)原始視點(diǎn)深度圖Du邊緣信息的像素集合，Tn是所述虛擬視點(diǎn)的第n個(gè)初始彩色圖P' n,v的邊緣信息，Id’n是第n個(gè)原始視點(diǎn)深度圖D1^的邊緣信息，I (x,y)的計(jì)算公式為當(dāng)對(duì)應(yīng)像素(X，y)邊緣信息存在時(shí)，I (Xjy) = I,否則I (x,y)= O。在本發(fā)明的裝置的一個(gè)實(shí)施例中，所述邊緣修正模塊中，所述邊緣修正包括在所述第n個(gè)虛擬視點(diǎn)初始彩色圖P' n,v的邊緣信息Tn中，找到與第n個(gè)原始視點(diǎn)深度圖Dn，。的邊緣信息Id’n不一致的位置，在所述不一致位置附近尋找第n個(gè)原始視點(diǎn)深度圖Dn，Q的邊緣，然后進(jìn)行替換和濾波處理。在本發(fā)明的裝置的一個(gè)實(shí)施例中，所述虛擬圖像合成模塊中，將所述虛擬視點(diǎn)的N個(gè)平滑彩色圖Pn，v合成為一個(gè)虛擬視點(diǎn)最終彩色圖Pv的合成公式為PV = E an. Pn,v，其中Pn，v為所述步驟G求得的第n個(gè)原始視點(diǎn)對(duì)應(yīng)的第n個(gè)虛擬視點(diǎn)平滑彩色圖，a n為權(quán)重
乘系數(shù)，計(jì)算公式為
權(quán)利要求
1. 一種虛擬視點(diǎn)視頻序列的生成方法，包括以下步驟 A.輸入N個(gè)原始視點(diǎn)的時(shí)長(zhǎng)為T的視頻序列和對(duì)應(yīng)的深度圖序列，其中N為正整數(shù)，T為正數(shù)； B.獲取t時(shí)刻的第n個(gè)原始視點(diǎn)彩色圖P1^和對(duì)應(yīng)的深度圖Dn,0，以及所述第n個(gè)原始視點(diǎn)與所述虛擬視點(diǎn)的相對(duì)位置，其中t G (O，T]，n G (O，N]且n為整數(shù)； C.對(duì)所述第n個(gè)原始視點(diǎn)深度圖中各個(gè)像素按深度值大小進(jìn)行排序，得到排序結(jié)果; D.根據(jù)所述排序結(jié)果，對(duì)所述第n個(gè)原始視點(diǎn)彩色圖P1^從小到大依次進(jìn)行像素偏移，得到第n個(gè)原始視點(diǎn)偏移彩色圖P' n,0,并對(duì)未偏移的像素進(jìn)行標(biāo)記； E.對(duì)所述第n個(gè)原始視點(diǎn)偏移彩色圖P'_進(jìn)行空洞填充處理，得到與所述第n個(gè)原始視點(diǎn)對(duì)應(yīng)的所述虛擬視點(diǎn)的第n個(gè)初始彩色圖P' n；v ； F.提取所述虛擬視點(diǎn)的第n個(gè)初始彩色圖P'n，v的邊緣信息，記STn，同時(shí)提取所述第n個(gè)原始視點(diǎn)的深度圖Du的邊緣信息，記為Id’n ； G.根據(jù)所述廣11和Id’n，計(jì)算所述虛擬視點(diǎn)的第n個(gè)初始彩色圖P'…的邊緣評(píng)價(jià)值，將所述邊緣評(píng)價(jià)值與預(yù)定閾值作比較，若所述邊緣評(píng)價(jià)值大于所述預(yù)定閾值，則對(duì)所述虛擬視點(diǎn)的第n個(gè)初始彩色圖P，n，v進(jìn)行邊緣修正，直到若所述邊緣評(píng)價(jià)值小于閾值為止，得到虛擬視點(diǎn)的第n個(gè)平滑彩色圖Pn，v ； H.重復(fù)步驟B-G，得到t時(shí)刻下所述N個(gè)原始視點(diǎn)對(duì)應(yīng)的所述虛擬視點(diǎn)的N個(gè)平滑彩色圖Pn,v，并將所述N個(gè)平滑彩色圖Pn，v合成為一個(gè)t時(shí)刻的虛擬視點(diǎn)最終彩色圖Pv ；以及 I.重復(fù)步驟H，以得到各個(gè)時(shí)刻的所述虛擬視點(diǎn)最終彩色圖Pv并最終得到所述虛擬視點(diǎn)視頻序列。
2.根據(jù)權(quán)利要求I所述的虛擬視點(diǎn)視頻序列的生成方法，其特征在于所述第n個(gè)原始視點(diǎn)與所述虛擬視點(diǎn)的相對(duì)位置包括所述第n個(gè)原始視點(diǎn)在所述虛擬視點(diǎn)的相對(duì)左右位置，和所述第n個(gè)原始視點(diǎn)與所述虛擬視點(diǎn)的平行距離。
3.根據(jù)權(quán)利要求I所述的虛擬視點(diǎn)視頻序列的生成方法，其特征在于所述排序的方法為快速排序法。
4.根據(jù)權(quán)利要求I所述的虛擬視點(diǎn)視頻序列的生成方法，其特征在于對(duì)所述第n個(gè)原始視點(diǎn)彩色圖Pn，Q依次進(jìn)行像素偏移的步驟包括按照下述公式計(jì)算偏移距離d :d=土 a(Zdepth-ZPP),其中土表示所述第n個(gè)原始視點(diǎn)與所述虛擬視點(diǎn)的相對(duì)位置，a為正系數(shù)，Zdepth為第n個(gè)原始視點(diǎn)彩色圖中像素的深度值，ZPP為零視差平面深度值。
5.根據(jù)權(quán)利要求I所述的虛擬視點(diǎn)視頻序列的生成方法，其特征在于所述空洞填充處理包括搜尋未偏移像素相鄰位置的第一個(gè)偏移像素，通過差值或?yàn)V波的方式得到所述未偏移像素的值。
6.根據(jù)權(quán)利要求I所述的虛擬視點(diǎn)視頻序列的生成方法，其特征在于所述邊緣信息通過使用索貝爾邊緣提取算子或拉普拉斯邊緣提取算子得到。
7.根據(jù)權(quán)利要求I所述的虛擬視點(diǎn)視頻序列的生成方法，其特征在于所述步驟G中，所述第n個(gè)虛擬視點(diǎn)初始彩色圖P' n,v的邊緣評(píng)價(jià)值的計(jì)算公式為:TVnalue =E(x,y)eE( - lHy))，其中1；_6為邊緣評(píng)價(jià)值，E是所述第n個(gè)原始視點(diǎn)深度圖Dn, 0邊緣信息的像素集合，Iv’n是所述虛擬視點(diǎn)的第n個(gè)初始彩色圖P' n，v的邊緣信息，Id’n是第n個(gè)原始視點(diǎn)深度圖的邊緣信息，I (x,y)的計(jì)算公式為當(dāng)對(duì)應(yīng)像素(x，y)邊緣信息存在時(shí)，I (x,y) = I，否則 I (x, y) = O。
8.根據(jù)權(quán)利要求I所述的虛擬視點(diǎn)視頻序列的生成方法，其特征在于所述邊緣修正包括在所述第n個(gè)虛擬視點(diǎn)初始彩色圖P' n，v的邊緣信息Tn中，找到與第n個(gè)原始視點(diǎn)深度圖的邊緣信息Id’n不一致的位置，在所述不一致位置附近尋找第n個(gè)原始視點(diǎn)深度圖D1^的邊緣，然后進(jìn)行替換和濾波處理。
9.根據(jù)權(quán)利要求I所述的虛擬視點(diǎn)視頻序列的生成方法，其特征在于將所述虛擬視點(diǎn)的N個(gè)平滑彩色圖Pn，v合成為一個(gè)虛擬視點(diǎn)最終彩色圖Pv的合成公式為PV = E a n -Pn,v,其中Pn，v為所述步驟G求得的第n個(gè)原始視點(diǎn)對(duì)應(yīng)的第n個(gè)虛擬視點(diǎn)平滑彩色圖，a n為權(quán)重乘系數(shù)，計(jì)算公式力
10.一種虛擬視點(diǎn)視頻序列的生成裝置，包括 輸入模塊，用于將N個(gè)原始視點(diǎn)的時(shí)長(zhǎng)為T的視頻序列和對(duì)應(yīng)的深度圖序列讀入內(nèi)存中，并獲取所述N個(gè)原始視點(diǎn)與所述虛擬視點(diǎn)的相對(duì)位置； 排序模塊，用于從所述內(nèi)存中提取t時(shí)刻的第n個(gè)原始視點(diǎn)深度圖Dn,。中各個(gè)像素按深度值大小進(jìn)行排序，得到排序結(jié)果，其中t G (0，T]，n G (0, N]且n為整數(shù)； 像素偏移模塊，用于根據(jù)所述排序結(jié)果，對(duì)所述第n個(gè)原始視點(diǎn)彩色圖P1^從小到大依次進(jìn)行像素偏移，得到第n個(gè)原始視點(diǎn)偏移彩色圖P' n,0 ； 標(biāo)記模塊，用于對(duì)所述像素偏移過程中未偏移的像素進(jìn)行標(biāo)記； 空洞填充模塊，用于對(duì)所述第n個(gè)原始視點(diǎn)偏移彩色圖P' _進(jìn)行空洞填充處理，得到與所述第n個(gè)原始視點(diǎn)對(duì)應(yīng)的虛擬視點(diǎn)的第n個(gè)初始彩色圖P' n,v； 原始視點(diǎn)邊緣提取模塊，用于提取所述虛擬視點(diǎn)的第n個(gè)初始彩色圖P' n,v的邊緣信息，記為Iv’n;虛擬視點(diǎn)邊緣提取模塊，用于提取所述第n個(gè)原始視點(diǎn)深度圖的邊緣信息，記為Id'n 邊緣評(píng)價(jià)模塊，用于根據(jù)所述Iv’n和所述Id’n，計(jì)算所述虛擬視點(diǎn)的第n個(gè)初始彩色圖p' n,v的邊緣評(píng)價(jià)值； 預(yù)定閾值比較模塊，用于將所述邊緣評(píng)價(jià)值與預(yù)定閾值作比較，若所述邊緣評(píng)價(jià)值小于或等于所述預(yù)定閾值，則將虛擬視點(diǎn)的第n個(gè)初始彩色圖P' n,v輸出給虛擬圖像合成模塊，若所述邊緣評(píng)價(jià)值大于所述閾值，則將虛擬視點(diǎn)的第n個(gè)初始彩色圖P' n,v輸出給邊緣修正模塊； 所述邊緣修正模塊，用于對(duì)所述虛擬視點(diǎn)的第n個(gè)初始彩色圖P' n,v并進(jìn)行邊緣修正，并將所述邊緣修正后的虛擬視點(diǎn)的第n個(gè)平滑彩色圖Pn, v返回至所述邊緣評(píng)價(jià)模塊，重復(fù)所述計(jì)算邊緣評(píng)價(jià)值和所述預(yù)定閾值比較的操作，直到所述邊緣評(píng)價(jià)值小于或等于所述預(yù)定閾值為止； 所述虛擬圖像合成模塊，用于將t時(shí)刻下的所述虛擬視點(diǎn)的N個(gè)平滑彩色圖Pn,v，合成為一個(gè)t時(shí)刻的虛擬視點(diǎn)最終彩色圖Pv ;以及虛擬視點(diǎn)視頻序列輸出模塊，用于將各個(gè)時(shí)刻下的虛擬視點(diǎn)最終彩色圖Pv整合成所述虛擬視點(diǎn)視頻序列對(duì)外輸出。
11.根據(jù)權(quán)利要求10所述的虛擬視點(diǎn)視頻序列的生成裝置，其特征在于所述輸入模塊中，所述第n個(gè)原始視點(diǎn)與所述虛擬視點(diǎn)的相對(duì)位置包括所述第n個(gè)原始視點(diǎn)在所述虛擬視點(diǎn)的相對(duì)左右位置，和所述第n個(gè)原始視點(diǎn)與所述虛擬視點(diǎn)的平行距離。
12.根據(jù)權(quán)利要求10所述的虛擬視點(diǎn)視頻序列的生成裝置，其特征在于所述排序模塊中，所述排序的方法為快速排序法。
13.根據(jù)權(quán)利要求10所述的虛擬視點(diǎn)視頻序列的生成裝置，其特征在于所述像素偏移模塊中，對(duì)所述第n個(gè)原始視點(diǎn)彩色圖Pn, O依次進(jìn)行像素偏移的步驟包括按照下述公式計(jì)算偏移距離d :d=土 a (Zdepth-ZPP),其中土表示所述第n個(gè)原始視點(diǎn)與所述虛擬視點(diǎn)的相對(duì)位置，a為正系數(shù)，Zdepth為第n個(gè)原始視點(diǎn)彩色圖中像素的深度值，ZPP為零視差平面 深度值。
14.根據(jù)權(quán)利要求10所述的虛擬視點(diǎn)視頻序列的生成裝置，其特征在于所述空洞填充模塊中，所述空洞填充處理包括搜尋未偏移像素相鄰位置的第一個(gè)偏移像素，通過差值或?yàn)V波的方式得到所述未偏移像素的值。
15.根據(jù)權(quán)利要求10所述的虛擬視點(diǎn)視頻序列的生成裝置，其特征在于所述原始視點(diǎn)邊緣提取模塊和所述虛擬視點(diǎn)邊緣提取模塊中，所述邊緣信息通過使用索貝爾邊緣提取算子或拉普拉斯邊緣提取算子得到。
16.根據(jù)權(quán)利要求10所述的虛擬視點(diǎn)視頻序列的生成裝置，其特征在于所述邊緣評(píng)價(jià)模塊中，所述第n個(gè)虛擬視點(diǎn)初始彩色圖P' n,v的邊緣評(píng)價(jià)值的計(jì)算公式為Tvnalue = Z(x,y)EE(lfxny) - 1 )，其中T/alue>邊緣評(píng)價(jià)值，E是所述第n個(gè)原始視點(diǎn)深度圖Dn,。邊緣信息的像素集合，Iv’n是所述虛擬視點(diǎn)的第n個(gè)初始彩色圖P' n,v的邊緣信息，Id'n是第n個(gè)原始視點(diǎn)深度圖Di^的邊緣信息，I (x,y)的計(jì)算公式為當(dāng)對(duì)應(yīng)像素(x，y)邊緣信息存在時(shí)，I (X, y) = I，否則 I (x,y) =0。
17.根據(jù)權(quán)利要求10所述的虛擬視點(diǎn)視頻序列的生成裝置，其特征在于所述邊緣修正模塊中，所述邊緣修正包括在所述第n個(gè)虛擬視點(diǎn)初始彩色圖P' n,v的邊緣信息Tn中，找到與第n個(gè)原始視點(diǎn)深度圖Dm的邊緣信息Id’n不一致的位置，在所述不一致位置附近尋找第n個(gè)原始視點(diǎn)深度圖Du的邊緣，然后進(jìn)行替換和濾波處理。
18.根據(jù)權(quán)利要求10所述的虛擬視點(diǎn)視頻序列的生成裝置，其特征在于所述虛擬圖像合成模塊中，將所述虛擬視點(diǎn)的N個(gè)平滑彩色圖Pn, v合成為一個(gè)虛擬視點(diǎn)最終彩色圖Pv的合成公式為PV = E a n.Pn,V)其中Pn，v為所述步驟G求得的第n個(gè)原始視點(diǎn)對(duì)應(yīng)的第n個(gè)虛擬視點(diǎn)平滑彩色圖，a n為權(quán)重乘系數(shù)，計(jì)算公式為知=^fv0，其中vn是Pn，v中最大深度像素到所述虛擬視點(diǎn)的偏移距離。
全文摘要
本發(fā)明提出一種虛擬視點(diǎn)視頻序列的生成方法及裝置，該方法包括以下步驟輸入若干個(gè)原始視點(diǎn)的視頻序列及其深度圖序列；記錄各個(gè)原始視點(diǎn)與虛擬視點(diǎn)的相對(duì)位置；對(duì)原始視點(diǎn)的深度圖進(jìn)行深度值排序；根據(jù)排序結(jié)果對(duì)原始視點(diǎn)的彩色圖進(jìn)行遷移和空洞填充處理，得到虛擬視點(diǎn)初始彩色圖；利用原始視點(diǎn)深度圖的邊緣信息和虛擬視點(diǎn)初始彩色圖的邊緣信息計(jì)算邊緣評(píng)價(jià)值；若邊緣評(píng)價(jià)值大于預(yù)定閾值則進(jìn)行修正，得到的虛擬視點(diǎn)平滑彩色圖；將各個(gè)原始視點(diǎn)對(duì)應(yīng)的虛擬視點(diǎn)平滑彩色圖合成為一張最終彩色圖，并進(jìn)一步得到虛擬視點(diǎn)視頻序列。本發(fā)明的方法可以在提供任意數(shù)目原始視點(diǎn)視頻序列的情況下，以較高效率生成失真較小的虛擬視點(diǎn)視頻序列。
文檔編號(hào)H04N13/02GK102724529SQ20121017006
公開日2012年10月10日 申請(qǐng)日期2012年5月28日 優(yōu)先權(quán)日2012年5月28日
發(fā)明者徐琨, 戴瓊海, 曹汛, 王好謙 申請(qǐng)人:清華大學(xué)