專利名稱：自由視點視頻中視點的重建方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，特別涉及到一種自由視點視頻中視點的重建方法。
背景技術(shù)：
自由視點視頻處理是立體視頻處理技術(shù)中的一個關(guān)鍵問題。目前廣泛應(yīng)用的立體視頻觀賞方式只能對特定角度的立體視頻進行觀賞，而自由視點視頻處理技術(shù)能夠提供更多的觀賞角度，用戶可以交互式設(shè)定感興趣的觀賞角度的立體視頻，利用自由視點視頻處理方法就能夠得到對應(yīng)角度的立體視頻。這種處理技術(shù)能夠為用戶提供更為靈活的觀賞方式，目前是該領(lǐng)域的研究熱點。在自由視點視頻的重建中，原視頻與深度圖是必需的兩個原始介質(zhì)。原視頻通常是使用一組平行攝像機拍攝的多視點視頻序列，而深度圖一般是通過這一組視頻序列進行計算得到的。目前通過多視點視頻進行深度圖計算的方法有很多，一些算法已經(jīng)比較成熟， 能夠得到非常精確的深度圖，因此本發(fā)明中不討論深度圖的求取過程。在自由視點的重建過程中，一般都需要目標(biāo)視點相鄰的兩路或多路視頻序列。對于使用兩路視頻序列的算法， 通過深度圖求取算法計算得到中間視點深度，然后利用立體視頻繪制算法計算目標(biāo)視點的圖像，這種算法計算準(zhǔn)確程度不夠，實際應(yīng)用中使用范圍較??；而對于使用多路視頻序列的算法，首先需要通過兩次計算得到特定序列相鄰兩路視頻序列的深度圖，然后將這兩路序列作為參考視點視頻序列，利用參考視點及其深度圖進行中間視點的重建，可以看到這種方法計算復(fù)雜度較高，但得到的視頻質(zhì)量較好。在自由視點視頻重建的過程中，會遇到已經(jīng)得到目標(biāo)視點深度圖來進行視點重建的情況。此時，使用上面兩種情況都不能直接進行深度圖計算，都需要相應(yīng)的其他計算才能夠得到目標(biāo)視點，這無疑增加了運算的復(fù)雜度。

發(fā)明內(nèi)容
本發(fā)明的目的旨在提供一種自由視點視頻中視點的重建方法，其能夠得到較好的重建視頻質(zhì)量，同時計算的復(fù)雜度低。本發(fā)明是通過以下方案實現(xiàn)的—種自由視點視頻中特定視點的重建方法，包括以下步驟輸入多視點視頻中任意兩路參考視頻序列和目標(biāo)視點的深度圖序列，提取兩路參考視頻序列的運動匹配信息， 并根據(jù)運動匹配信息確定兩路參考視頻序列的最大視差范圍，分別計算兩路參考視頻序列的邊緣信息，以及目標(biāo)視點的深度圖序列的邊緣信息，使用邊緣匹配的方法分別將兩路參考視頻序列的邊緣信息與目標(biāo)視點的深度圖序列的邊緣信息比較，以獲取兩部分運動匹配信息，根據(jù)運動匹配信息，分別從兩路參考視頻序列中將其與深度圖序列匹配的區(qū)域中的像素值填充到新的視頻區(qū)域中，以形成兩個新的視點視頻序列，利用加權(quán)計算將兩路新的視點視頻序列合并為初始目標(biāo)視點視頻序列，并對初始目標(biāo)視點視頻序列進行補償處理，對初始目標(biāo)視點視頻序列進行雙邊濾波處理。提取兩路參考視頻序列的運動匹配信息的步驟是通過塊匹配或光流的方法得到。根據(jù)運動匹配信息確定兩路參考視頻序列的最大視差范圍的步驟是通過對運動匹配信息進行直方圖統(tǒng)計以找到最大值的方法得到。分別計算兩路參考視頻序列的邊緣信息，以及目標(biāo)視點的深度圖序列的邊緣信息的步驟是通過索貝爾算法得到。使用邊緣匹配的方法分別將兩路參考視頻序列的邊緣信息與目標(biāo)視點的深度圖序列的邊緣信息比較，以獲取兩部分運動匹配信息的步驟是采用輪廓矩匹配的方法得到。本發(fā)明的方法還包括采用線性偏移方法將兩路參考視頻序列中與深度圖序列不匹配的區(qū)域中的像素值填充到新的視頻區(qū)域中的步驟。采用線性偏移方法將兩路參考視頻序列中與深度圖序列不匹配的區(qū)域中的像素值填充到新的視頻區(qū)域中的步驟包括設(shè)定偏移方程Lshift = aD+b，其中Lshift是偏移距離， D為深度值，a和b為方程參數(shù)，在兩路參考視頻序列中與深度圖序列匹配的區(qū)域中選擇兩個不同深度的像素點，將像素點的深度值和偏移距離代入偏移方程得到a和b，通過偏移方程計算兩路參考視頻序列中與深度圖序列不匹配的區(qū)域的偏移距離，取兩路參考視頻序列中與深度圖序列不匹配的區(qū)域中的像素點，根據(jù)不匹配的區(qū)域的偏移距離進行坐標(biāo)偏移， 并將其填充至新的視頻區(qū)域中。利用加權(quán)計算將兩路新的視點視頻序列合并為初始目標(biāo)視點視頻序列的步驟是通過公式f= α Ρι+β P2實現(xiàn)，其中PdP P2是兩路新的視點視頻序列中的像素信息，α和
β是加權(quán)參數(shù)，它們的值介于0和1之間，且計算公式為《 = J^ ,β = J^，其中L1和
L2分別為兩路參考視頻序列與深度圖序列中對應(yīng)圖像的最大視差范圍。對初始目標(biāo)視點視頻序列進行補償處理的步驟包括對兩路參考視頻序列的運動匹配信息中靜止的區(qū)域進行加權(quán)補償，補償公式為P = 0. 5pnew+0. 5p。ld，其中Pnew為初始目標(biāo)視點視頻序列的背景像素值，Pold為參考視頻序列的背景像素值，P為補償后的目標(biāo)視點視頻序列的像素值。本發(fā)明包括以下優(yōu)點(1)本發(fā)明通過視點重建之后，得到的目標(biāo)視點視頻質(zhì)量較高，并且對輸入沒有嚴(yán)格的要求，能夠更好的符合用戶的應(yīng)用需求；( 根據(jù)深度圖進行的視點重建計算，視頻場景中的立體信息得到了完全保留。通過計算最大視差范圍，有效的限定了后面的邊緣匹配范圍，從而更好地保證了視圖重建的準(zhǔn)確性；(3)使用雙邊濾波進行目標(biāo)視點視圖的后處理，有效降低了噪聲對視頻質(zhì)量的影響。


圖1為本發(fā)明自由視點視頻中視點的重建方法的流程圖。
具體實施方式
如圖1所示，本發(fā)明自由視點視頻中視點的重建方法包括如下步驟(1)輸入多視點視頻中任意兩路參考視頻序列和目標(biāo)視點的深度圖序列具體而言，從內(nèi)存中輸入任意兩個視點的視頻序列圖像，對這兩幅圖像進行運動信息計算，具體可以采用塊匹配或者光流的方法得到兩張視圖的運動信息。使用塊匹配擁有較高的計算速度，而使用光流能夠得到更精確的運算精度；(2)提取兩路參考視頻序列的運動匹配信息，并根據(jù)運動匹配信息確定兩路參考視頻序列的最大視差范圍；最大視差反映的是兩個圖像中運動的程度。在本步驟中，對運動信息進行直方圖統(tǒng)計，去除其中孤立的最大值點，尋找概率密度較大的最大值點作為可能的最大視差范圍。 這里去除孤立點主要是為了防止噪聲等因素對結(jié)果的干擾。對于立體視頻而言，一般前景物體的視差最大，因此通過運動信息匹配的方法能夠初步確定兩視頻的最大視差范圍，同時也可以初步確定場景的前景和背景區(qū)域范圍。這一步中，由于目標(biāo)視點是在兩視點視頻之間的，因此它與兩參考視點的視差范圍小于最大視差。(3)分別計算兩路參考視頻序列的邊緣信息，以及目標(biāo)視點的深度圖序列的邊緣 fn息；在本實施方式中，邊緣信息的計算是使用Sobel邊緣提取算法。(4)使用邊緣匹配的方法分別將兩路參考視頻序列的邊緣信息與目標(biāo)視點的深度圖序列的邊緣信息比較，以獲取兩部分運動匹配信息；邊緣匹配的方法為輪廓矩匹配法，首先通過邊緣信息建立輪廓，然后計算輪廓矩來進行輪廓矩匹配，找到兩張視圖中輪廓矩相差最小的兩個輪廓認為是一個輪廓區(qū)域。這里輪廓矩匹配的最大距離受到上面第1步中運動匹配得到的最大視差范圍的限制。使用輪廓矩匹配法進行邊緣匹配，可以有效的降低邊緣變化造成的匹配不準(zhǔn)確的現(xiàn)象，矩作為輪廓的一個特征量，對于局部的噪聲不敏感，并且能夠很好的消除輪廓的放縮、扭曲和變形對匹配結(jié)果的影響。(5)根據(jù)運動匹配信息，分別從兩路參考視頻序列中將其與深度圖序列匹配的區(qū)域中的像素值填充到新的視頻區(qū)域中，以形成兩個新的視點視頻序列；(6)采用線性偏移方法將兩路參考視頻序列中與深度圖序列不匹配的區(qū)域中的像素值填充到新的視頻區(qū)域中；具體而言，首先設(shè)定偏移方程Lshift = aD+b，其中Lshift是偏移距離，D為深度值， a和b為方程參數(shù)，然后，在兩路參考視頻序列中與深度圖序列匹配的區(qū)域中選擇兩個不同深度的像素點，將像素點的深度值和偏移距離代入偏移方程得到a和b，隨后，通過偏移方程計算兩路參考視頻序列中與深度圖序列不匹配的區(qū)域的偏移距離，最后，取兩路參考視頻序列中與深度圖序列不匹配的區(qū)域中的像素點，根據(jù)不匹配的區(qū)域的偏移距離進行坐標(biāo)偏移，并將其填充至新的視頻區(qū)域中。(7)利用加權(quán)計算將兩路新的視點視頻序列合并為初始目標(biāo)視點視頻序列，并對初始目標(biāo)視點視頻序列進行補償處理；具體而言，加權(quán)計算是通過公式f = α ρ1+β p2實現(xiàn)，其中P1和ρ2是兩路新的視點視頻序列中的像素信息，α和β是加權(quán)參數(shù)，它們的值介于0和1之間，且計算公式為
權(quán)利要求
1.一種自由視點視頻中特定視點的重建方法，包括以下步驟輸入多視點視頻中任意兩路參考視頻序列和目標(biāo)視點的深度圖序列； 提取所述兩路參考視頻序列的運動匹配信息，并根據(jù)所述運動匹配信息確定所述兩路參考視頻序列的最大視差范圍；分別計算所述兩路參考視頻序列的邊緣信息，以及所述目標(biāo)視點的深度圖序列的邊緣 fn息；使用邊緣匹配的方法分別將所述兩路參考視頻序列的邊緣信息與所述目標(biāo)視點的深度圖序列的邊緣信息比較，以獲取兩部分運動匹配信息；根據(jù)所述運動匹配信息，分別從所述兩路參考視頻序列中將其與所述深度圖序列匹配的區(qū)域中的像素值填充到新的視頻區(qū)域中，以形成兩個新的視點視頻序列；利用加權(quán)計算將所述兩路新的視點視頻序列合并為初始目標(biāo)視點視頻序列，并對所述初始目標(biāo)視點視頻序列進行補償處理；對所述初始目標(biāo)視點視頻序列進行雙邊濾波處理。
2.如權(quán)利要求1所述的重建方法，其特征在于，所述提取所述兩路參考視頻序列的運動匹配信息的步驟是通過塊匹配或光流的方法得到。
3.如權(quán)利要求1所述的重建方法，其特征在于，所述根據(jù)所述運動匹配信息確定所述兩路參考視頻序列的最大視差范圍的步驟是通過對所述運動匹配信息進行直方圖統(tǒng)計以找到最大值的方法得到。
4.如權(quán)利要求1所述的重建方法，其特征在于，所述分別計算所述兩路參考視頻序列的邊緣信息，以及所述目標(biāo)視點的深度圖序列的邊緣信息的步驟是通過索貝爾算法得到。
5.如權(quán)利要求1所述的重建方法，其特征在于，所述使用邊緣匹配的方法分別將所述兩路參考視頻序列的邊緣信息與所述目標(biāo)視點的深度圖序列的邊緣信息比較，以獲取兩部分運動匹配信息的步驟是采用輪廓矩匹配的方法得到。
6.如權(quán)利要求1所述的重建方法，其特征在于，還包括采用線性偏移方法將所述兩路參考視頻序列中與所述深度圖序列不匹配的區(qū)域中的像素值填充到所述新的視頻區(qū)域中的步驟。
7.如權(quán)利要求6所述的重建方法，其特征在于，所述采用線性偏移方法將所述兩路參考視頻序列中與所述深度圖序列不匹配的區(qū)域中的像素值填充到所述新的視頻區(qū)域中的步驟包括設(shè)定偏移方程Lshift = aD+b，其中Lshift是偏移距離，D為深度值，a和b為方程參數(shù)； 在所述兩路參考視頻序列中與所述深度圖序列匹配的區(qū)域中選擇兩個不同深度的像素點，將所述像素點的深度值和偏移距離代入所述偏移方程得到a和b ；通過所述偏移方程計算所述兩路參考視頻序列中與所述深度圖序列不匹配的區(qū)域的偏移距離；取所述兩路參考視頻序列中與所述深度圖序列不匹配的區(qū)域中的像素點，根據(jù)所述不匹配的區(qū)域的偏移距離進行坐標(biāo)偏移，并將其填充至所述新的視頻區(qū)域中。
8.如權(quán)利要求1所述的重建方法，其特征在于，所述利用加權(quán)計算將所述兩路新的視點視頻序列合并為初始目標(biāo)視點視頻序列的步驟是通過公式f = α P1+ β P2實現(xiàn)，其中P1和 P2是所述兩路新的視點視頻序列中的像素信息，α和β是加權(quán)參數(shù)，它們的值介于0和1之間，且計算公式為《 =Φ = J^，其中L1和L2分別為所述兩路參考視頻序列與所述深度圖序列中對應(yīng)圖像的最大視差范圍。
9.如權(quán)利要求1所述的重建方法，其特征在于，所述對所述初始目標(biāo)視點視頻序列進行補償處理的步驟包括對所述兩路參考視頻序列的運動匹配信息中靜止的區(qū)域進行加權(quán)補償，補償公式為P = 0. 5pnew+0. 5p。ld，其中Pnew為初始目標(biāo)視點視頻序列的背景像素值，p。ld 為所述參考視頻序列的背景像素值，P為補償后的目標(biāo)視點視頻序列的像素值。
全文摘要
本發(fā)明公開了一種自由視點視頻中特定視點的重建方法，包括以下步驟輸入任意兩路參考視頻序列和目標(biāo)視點的深度圖序列，提取兩路參考視頻序列的運動匹配信息，并根據(jù)運動匹配信息確定兩路參考視頻序列的最大視差范圍，分別計算兩路參考視頻序列、以及目標(biāo)視點的深度圖序列的邊緣信息，分別將兩路參考視頻序列的邊緣信息與目標(biāo)視點的深度圖序列的邊緣信息比較，以獲取兩部分運動匹配信息，根據(jù)運動匹配信息，分別從兩路參考視頻序列中將其與深度圖序列匹配的區(qū)域中的像素值填充到新的視頻區(qū)域中，以形成兩個新的視點視頻序列，將兩路新的視點視頻序列合并為初始目標(biāo)視點視頻序列，并對初始目標(biāo)視點視頻序列進行補償處理，對初始目標(biāo)視點視頻序列進行雙邊濾波處理。
文檔編號H04N13/00GK102447932SQ20111033840
公開日2012年5月9日 申請日期2011年10月31日 優(yōu)先權(quán)日2011年10月31日
發(fā)明者劉瓊, 喻莉, 張軍濤 申請人:華中科技大學(xué)