專利名稱：一種深度圖像的后處理方法
技術領域：
本發(fā)明涉及ー種圖像處理方法，尤其是涉及ー種深度圖像的后處理方法。
背景技術：
三維視頻(Three-Dimensional Video, 3DV)是ー種先進的視覺模式，它使人們在屏幕上觀看圖像時富有立體感和沉浸感，可以滿足人們從不同角度觀看三維(3D)場景的需求。典型的三維視頻系統(tǒng)如圖I所示，其主要包括視頻捕獲、視頻編碼、傳輸解碼、虛擬視點繪制和交互顯示等模塊。多視點視頻加深度(multi-viewvideo plus depth, MVD)是目前 IS0/MPEG 推薦采用的3D場景信息表示方式。MVD數據在多視點彩色圖像基礎上增加了對應視點的深度信息，深度信息的獲取目前主要有兩種基本途徑1)通過深度相機獲??；2)通過生成方法從普通的ニ維(2D)視頻中生成深度信息?；谏疃葓D像的繪制(Depth Image BasedRendering, DIBR)是ー種利用參考視點的彩色圖像所對應的深度圖像繪制生成虛擬視點圖像的方法，其通過利用參考視點的彩色圖像及該參考視點的彩色圖像中的每個像素點對應的深度信息來合成三維場景的虛擬視點圖像。然而，與彩色圖像相比，深度圖像的紋理簡單，其包括較多的平坦區(qū)域，但由于深度圖像獲取方法的局限性，因此深度圖像普遍存在時間連續(xù)性差、深度不連續(xù)等問題，更重要是深度圖像并非直接用于觀看，而是用于輔助DIBR和3D顯示。目前，相關研究人員已提出了一些針對深度圖像的預處理方法，如對稱高斯濾波和非対稱高斯濾波等方法，然而這些預處理方法考慮更多的是如何提升編碼的性能，編碼性能的提升必然會犧牲虛擬視點繪制性能，因此，在保持深度圖像的壓縮效率的基礎上，如何通過對深度圖像進行后處理操作，以提高虛擬視點繪制性能是ー個亟需解決的問題。

發(fā)明內容
本發(fā)明所要解決的技術問題是提供ー種在保持深度圖像的壓縮效率的基礎上，能夠有效提高虛擬視點圖像繪制性能的深度圖像后處理方法。本發(fā)明解決上述技術問題所采用的技術方案為ー種深度圖像的后處理方法，其特征在于它的處理過程為首先對獲取的彩色圖像及其對應的深度圖像進行編碼，得到編碼碼流；然后獲取深度圖像的編碼失真補償參數，對深度圖像的編碼失真補償參數進行編碼，得到參數碼流；接著對編碼碼流和參數碼流進行解碼，得到解碼后的彩色圖像和深度圖像及深度圖像的編碼失真補償參數；再利用深度圖像的編碼失真補償參數對解碼后的深度圖像進行補償，得到深度補償圖像，對深度補償圖像進行濾波處理，得到深度濾波圖像，該深度濾波圖像用于虛擬視點圖像繪制。該后處理方法包括以下具體步驟①獲取t時刻的K個參考視點的K幅顏色空間為YUV的彩色圖像及其對應的K幅深度圖像，將t時刻的第k個參考視點的彩色圖像記為，將t時刻的第k個參考視點的深度圖像記為，其中，I≤k≤K，k的初始值為1，i = 1，2，3分別表示YUV
顏色空間的三個分量，YUV顏色空間的第I個分量為亮度分量并記為Y、第2個分量為第一色度分量并記為U及第3個分量為第二色度分量并記為V，(x, y)表示彩色圖像和深度圖像中的像素點的坐標位置，I≤X≤W，I≤y≤H，W表示彩色圖像和深度圖像的寬度，H表示
彩色圖像和深度圖像的高度，表示t時刻的第k個參考視點的彩色圖像f/し,(x，v)l
中坐標位置為(X，y)的像素點的第i個分量的值，表示t時刻的第k個參考視點的
深度圖像中坐標位置為(x，y)的像素點的深度值；②根據設定的編碼預測結構分別對t時刻的K個參考視點的K幅顔色空間為YUV的彩色圖像及其對應的K幅深度圖像進行編碼，然后逐幀輸出彩色圖像碼流及深度圖像碼流得到編碼碼流，再由服務端通過網絡將編碼碼流傳輸給用戶端；③根據t時刻的K個參考視點的K幅深度圖像和編碼后再解碼得到的t時刻的K個參考視點的K幅深度圖像，采用維納濾波器預測得到t時刻的K個參考視點的K幅深度圖像的編碼失真補償參數，然后采用CABAC無損壓縮方法分別對t時刻的K個參考視點的K幅深度圖像的編碼失真補償參數進行編碼，再逐幀輸出參數碼流，最后由服務端通過網絡將參數碼流傳輸給用戶端；④用戶端對服務端發(fā)送來的編碼碼流進行解碼，分別獲得解碼后的t時刻的K個參考視點的K幅彩色圖像和對應的K幅深度圖像，將解碼后的t時刻的第k個參考視點的
彩色圖像和對應的深度圖像分別對應記為丨1,認ァ)丨和兄)丨，其中，圪私>，)表示解
碼后的t時刻的第k個參考視點的彩色圖像丨ひ，)I中坐標位置為(X，y)的像素點的第
i個分量的值，爯々,)0表示解碼后的t時刻的第k個參考視點的深度圖像丨私(x,_v)丨中坐標位置為(X，y)的像素點的深度值；⑤用戶端對服務端發(fā)送來的參數碼流進行解碼，獲得t時刻的K個參考視點的K幅深度圖像的編碼失真補償參數，然后利用t時刻的K個參考視點的K幅深度圖像的編碼失真補償參數對解碼后的t時刻的K個參考視點的K幅深度圖像進行補償，獲得解碼后的t時刻的K個參考視點的K幅深度補償圖像，將解碼后的t時刻的第k個參考視點的深度補
償圖像記為■[乃Lひ,JOj，其中，> )表示解碼后的t時刻的第k個參考視點的深度補償圖像ふT，J；)j中坐標位置為(x，y)的像素點的深度值；⑥采用雙向濾波器分別對解碼后的t時刻的K個參考視點的K幅深度補償圖像進行雙向濾波處理，獲得解碼后的t時刻的K個參考視點的K幅深度濾波圖像，將解碼后的t
時刻的第k個參考視點的深度濾波圖像記為丨，其中，戌辦,表示解碼后的t時刻
的第k個參考視點的深度濾波圖像中坐標位置為(X，y)的像素點的深度值。所述的步驟③中獲取t時刻的K個參考視點的K幅深度圖像的編碼失真補償參數的具體過程為③-I、將t時刻的K個參考視點的K幅深度圖像中當前正在處理的第k個參考視點的深度圖像丨定義為當前深度圖像；
③-2、對當前深度圖像ルU實施3級小波變換，得到每級小波變換的3個方向子帶的小波系數矩陣，3個方向子帶包括水平方向子帶、垂直方向子帶和對角方向子帯，將IDif(Xj)I實施第m級小波變換后得到的第n個方向子帶的小波系數矩陣記為{Oズ，>’小其中，I く m < 3，I < n く 3，0,ァ)表示{0,ァ)}中坐標位置為(x, y)處的小波系數；③_3、對編碼后再解碼得到的t時刻的第k個參考視點的深度圖像I實施3級小波變換，得到每級小波變換的3個方向子帶的小波系數矩陣，3個方向子帶包括水平方向子帶、垂直方向子帶和對角方向子帶，將レ,實施第m級小波變換后得到的第n個方向子帶的小波系數矩陣記為ァ)丨，其中，I彡m彡3，I彡n彡3，ごこ&，>，；)表示
中坐標位置為(x，y)處的小波系數；③-4、采用維納濾波器預測得到解碼后的t時刻的第k個參考視點的深度圖像的每級小波變換的各個方向子帶的小波系數矩陣的編碼失真補償參數，將的編碼失真補償參數記為(P=，
權利要求
1.一種深度圖像的后處理方法，其特征在于它的處理過程為首先對獲取的彩色圖像及其對應的深度圖像進行編碼，得到編碼碼流；然后獲取深度圖像的編碼失真補償參數，對深度圖像的編碼失真補償參數進行編碼，得到參數碼流；接著對編碼碼流和參數碼流進行解碼，得到解碼后的彩色圖像和深度圖像及深度圖像的編碼失真補償參數；再利用深度圖像的編碼失真補償參數對解碼后的深度圖像進行補償，得到深度補償圖像，對深度補償圖像進行濾波處理，得到深度濾波圖像，該深度濾波圖像用于虛擬視點圖像繪制。
2.根據權利要求I所述的一種深度圖像的后處理方法，其特征在于包括以下具體步驟 ①獲取t時刻的K個參考視點的K幅顏色空間為YUV的彩色圖像及其對應的K幅深度圖像，將t時刻的第k個參考視點的彩色圖像記為將t時刻的第k個參考視點的深度圖像記為，其中，I彡k彡K，k的初始值為1，i = 1，2，3分別表示YUV顏色空間的三個分量，YUV顏色空間的第I個分量為亮度分量并記為Y、第2個分量為第一色度分量并記為U及第3個分量為第二色度分量并記為V，(x, y)表示彩色圖像和深度圖像中的像素點的坐標位置，l^x^ff,l^y^H,ff表示彩色圖像和深度圖像的寬度，H表示彩色圖像和深度圖像的高度，/L(U)表示t時刻的第k個參考視點的彩色圖像中坐標位置為(x，y)的像素點的第i個分量的值表示t時刻的第k個參考視點的深度圖像中坐標位置為(x，y)的像素點的深度值； ②根據設定的編碼預測結構分別對t時刻的K個參考視點的K幅顏色空間為YUV的彩色圖像及其對應的K幅深度圖像進行編碼，然后逐幀輸出彩色圖像碼流及深度圖像碼流得到編碼碼流，再由服務端通過網絡將編碼碼流傳輸給用戶端； ③根據t時刻的K個參考視點的K幅深度圖像和編碼后再解碼得到的t時刻的K個參考視點的K幅深度圖像，采用維納濾波器預測得到t時刻的K個參考視點的K幅深度圖像的編碼失真補償參數，然后采用CABAC無損壓縮方法分別對t時刻的K個參考視點的K幅深度圖像的編碼失真補償參數進行編碼，再逐幀輸出參數碼流，最后由服務端通過網絡將參數碼流傳輸給用戶端； ④用戶端對服務端發(fā)送來的編碼碼流進行解碼，分別獲得解碼后的t時刻的K個參考視點的K幅彩色圖像和對應的K幅深度圖像，將解碼后的t時刻的第k個參考視點的彩色圖像和對應的深度圖像分別對應記為'[I,(X,4和，其中，表示解碼后的t時刻的第k個參考視點的彩色圖像H',中坐標位置為(x，y)的像素點的第i個分量的值，表示解碼后的t時刻的第k個參考視點的深度圖像丨與>%>0丨中坐標位置為(X，y)的像素點的深度值； ⑤用戶端對服務端發(fā)送來的參數碼流進行解碼，獲得t時刻的K個參考視點的K幅深度圖像的編碼失真補償參數，然后利用t時刻的K個參考視點的K幅深度圖像的編碼失真補償參數對解碼后的t時刻的K個參考視點的K幅深度圖像進行補償，獲得解碼后的t時刻的K個參考視點的K幅深度補償圖像，將解碼后的t時刻的第k個參考視點的深度補償圖像記為[^辦，>01，其中，#,(XJ)表示解碼后的t時刻的第k個參考視點的深度補償圖像丨中坐標位置為(x，y)的像素點的深度值； ⑥采用雙向濾波器分別對解碼后的t時刻的K個參考視點的K幅深度補償圖像進行雙向濾波處理，獲得解碼后的t時刻的K個參考視點的K幅深度濾波圖像，將解碼后的t時刻的第k個參考視點的深度濾波圖像記為^L(U)丨,其中，故辦，JO表示解碼后的t時刻的第k個參考視點的深度濾波圖像中坐標位置為(X，y)的像素點的深度值。
3.根據權利要求2所述的一種深度圖像的后處理方法，其特征在于所述的步驟③中獲取t時刻的K個參考視點的K幅深度圖像的編碼失真補償參數的具體過程為③-I、將t時刻的K個參考視點的K幅深度圖像中當前正在處理的第k個參考視點的深度圖像定義為當前深度圖像； ③_2、對當前深度圖像實施3級小波變換，得到每級小波變換的3個方向子帶的小波系數矩陣，3個方向子帶包括水平方向子帶、垂直方向子帶和對角方向子帶，將{迖，辦，>，)丨實施第m級小波變換后得到的第n個方向子帶的小波系數矩陣記為丨0，4，其中，I彡m彡3，I彡n彡3，0』)表示{0,.>’)}中坐標位置為(x，y)處的小波系數；③_3、對編碼后再解碼得到的t時刻的第k個參考視點的深度圖像實施3級小波變換，得到每級小波變換的3個方向子帶的小波系數矩陣，3個方向子帶包括水平方向子帶、垂直方向子帶和對角方向子帶，將實施第m級小波變換后得到的第n個方向子帶的小波系數矩陣記為其中，I彡m彡3，I彡n彡3，G jx,乂)表示{dv)}中坐標位置為(x，y)處的小波系數； ③-4、采用維納濾波器預測得到解碼后的t時刻的第k個參考視點的深度圖像I送>,> )}的每級小波變換的各個方向子帶的小波系數矩陣的編碼失真補償參數，將{cU^y)}的編碼失真補償參數記為C ，<r=argmin￡ (CL(x,>')- E ^ ^ {x +p,y+ q)f ,其中，L 表示維納濾波器的濾波長度范圍，￡ (C(x,v)- Jd ^/^{x + p^ + q))2表示求_Ip 亦 L_(c(w)-玉*說的數學期望值表示，洵中坐標位置為(x+p，y+q)處的小波系數，argmin(X)表示使得函數X最小的參數； ③_5、根據解碼后的t時刻的第k個參考視點的深度圖像[5',(^)1的每級小波變換的各個方向子帶的小波系數矩陣的編碼失真補償參數，得到當前深度圖像的編碼失真補償參數，記為{<7 |1< <3,1< <3}; ③-6、令k’ =k+l, k=k’，將t時刻的K個參考視點的K幅深度圖像中下一個待處理的參考視點的深度圖像作為當前深度圖像，然后返回步驟③-2繼續(xù)執(zhí)行，直至t時刻的K個參考視點的K幅深度圖像中的所有參考視點的深度圖像處理完畢，其中，k’的初始值為O。
4.根據權利要求2或3所述的一種深度圖像的后處理方法，其特征在于所述的步驟⑤中獲取解碼后的t時刻的第k個參考視點的深度補償圖的具體過程為 ⑤-I、對解碼后的t時刻的第k個參考視點的深度圖像實施3級小波變換，得到每級小波變換的3個方向子帶的小波系數矩陣，3個方向子帶包括水平方向子帶、垂直方向子帶和對角方向子帶，將實施第m級小波變換后得到的第n個方向子帶的小波系數矩陣記為{0,.v)},其中，I < m < 3，I < n < 3，表示中坐標位置為(x，y)處的小波系數； ⑤-2、計算解碼后的t時刻的第k個參考視點的深度圖的每級小波變換的各個方向子帶的小波系數矩陣各自經過補償后的小波系數矩陣，將經過補償后的小波系數矩陣記為
5.根據權利要求4所述的一種深度圖像的后處理方法，其特征在于所述的步驟⑥中對解碼后的t時刻的第k個參考視點的深度補償圖像進行雙向濾波處理的具體過程為 ⑥-I、定義解碼后的t時刻的第k個參考視點的深度補償圖像中當前正在處理的像素點為當前像素點； ⑥_2、將當前像素點的坐標位置記為p’，將當前像素點的鄰域像素點的坐標位置記為q’，然后采用梯度模板G1對當前像素點的深度值進行卷積操作，得到當前像素點的梯度值gx(P，)，爐(P’) = GT*^f(p’)，再判斷|gx(p，)I ST是否成立，如果成立，則執(zhí)行步驟
6.根據權利要求5所述的一種深度圖像的后處理方法，其特征在于所述的步驟②中設定的編碼預測結構為HBP編碼預測結構。
全文摘要
本發(fā)明公開了一種深度圖像的后處理方法，其首先對獲取的彩色圖像及對應的深度圖像進行編碼，得到編碼碼流；然后獲取深度圖像的編碼失真補償參數，對深度圖像的編碼失真補償參數進行編碼，得到參數碼流；接著對編碼碼流和參數碼流進行解碼，得到解碼后的彩色圖像和深度圖像及編碼失真補償參數；再利用深度圖像的編碼失真補償參數對解碼后的深度圖像進行補償，得到深度補償圖像，對深度補償圖像進行濾波處理，得到深度濾波圖像，該深度濾波圖像用于繪制虛擬視點圖像，優(yōu)點在于在保持深度圖像的壓縮效率的基礎上，降低了編碼失真對虛擬視點圖像繪制的影響，大大提高了虛擬視點圖像繪制性能。
文檔編號H04N13/00GK102769749SQ201210226018
公開日2012年11月7日 申請日期2012年6月29日 優(yōu)先權日2012年6月29日
發(fā)明者彭宗舉, 李福翠, 蔣剛毅, 邵楓, 郁梅 申請人:寧波大學