專利名稱：一種深度圖像的預(yù)處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理方法，尤其是涉及一種深度圖像的預(yù)處理方法。
背景技術(shù)：
三維視頻(Three-Dimensional Video, 3DV)是一種先進的視覺模式，它使人們在屏幕上觀看圖像時富有立體感和沉浸感，可以滿足人們從不同角度觀看三維(3D)場景的需求。典型的三維視頻系統(tǒng)如

圖1所示，其主要包括視頻捕獲、視頻編碼、傳輸解碼、虛擬視點繪制和交互顯示等模塊。多視點視頻加深度(multi-viewvideo plus depth, MVD)是目前 ISO/MPEG 推薦采用的3D場景信息表示方式。MVD數(shù)據(jù)在多視點彩色圖像基礎(chǔ)上增加了對應(yīng)視點的深度信息，深度信息的獲取目前主要有兩種基本途徑1)通過深度相機獲?。换猛ㄟ^算法從普通的二維QD)視頻中生成深度信息?；谏疃葓D像的繪制(D印th Image Based Rendering, DIBR)是一種利用參考視點的彩色圖像所對應(yīng)的深度圖像繪制生成虛擬視點圖像的方法， 其通過利用參考視點的彩色圖像及該參考視點的彩色圖像中的每個像素點對應(yīng)的深度信息來合成三維場景的虛擬視點圖像。由于DIBR將場景的深度信息引入到虛擬視點圖像繪制中，從而大大減少了虛擬視點圖像繪制所需的參考視點的數(shù)目。與彩色圖像相比，深度圖像的紋理簡單，其包括較多的平坦區(qū)域，但由于深度圖像獲取算法的局限性，因此深度圖像普遍存在時間連續(xù)性差、深度不連續(xù)等問題。目前已提出了一些針對深度圖像的預(yù)處理方法，如對稱高斯濾波和非對稱高斯濾波等算法，然而這些預(yù)處理方法考慮更多的是如何提升編碼的性能，而深度圖像用于輔助DIBR和3D顯示，并非直接用于觀看，因此，如何對深度圖像進行預(yù)處理，在保證編碼效率的前提下使得深度失真對虛擬視點圖像繪制的影響以及對3D顯示的主觀感知質(zhì)量的影響最小，是目前對深度圖像進行預(yù)處理需要解決的問題。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種在保持虛擬視點圖像繪制性能的基礎(chǔ)上， 能夠大大提高深度圖像的壓縮效率的深度圖像預(yù)處理方法。本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為一種深度圖像的預(yù)處理方法，其特征在于包括以下步驟①獲取t時刻的K個參考視點的K幅顏色空間為YUV的彩色圖像及其對應(yīng)的K幅
深度圖像，將t時刻的第k個參考視點的彩色圖像記為PUxj+將t時刻的第k個參考
視點的深度圖像記為·(極辦,>01，其中，1≤k≤K，k的初始值為1，i = 1，2，3分別表示YUV
顏色空間的三個分量，YUV顏色空間的第1個分量為亮度分量并記為Y、第2個分量為第一色度分量并記為U及第3個分量為第二色度分量并記為V，(x,y)表示彩色圖像或深度圖像中像素點的坐標位置，表示彩色圖像或深度圖像的寬度，H表示彩色圖像或深度圖像的高度，/^x,少)表示t時刻的第k個參考視點的彩色圖像j/^x,M中坐標位置為(X，y)的像素點的第i個分量的值，Z^i(U)表示t時刻的第k個參考視點的深度圖像{極辦，>01中坐標位置為(x，y)的像素點的深度值；②利用人類視覺對背景光照和紋理的視覺掩蔽效應(yīng)，提取出t時刻的第k個參考視點的彩色圖像K。(χ，4的最小可察覺變化步長圖像，記為W (x，>0)‘③根據(jù)t時刻的第k個參考視點的彩色圖像PUx,的最小可察覺變化步長圖像{4(x，>0}，提取出t時刻的第k個參考視點的深度圖像{極私>0丨的最大可容忍失真分布圖像，記為{^(1>0};④根據(jù)t時刻的第k個參考視點的深度圖像
，<(1>0 = ^^,>0 + (&，>0-&\1^11{7^,>0,7^,>0}，其中，(^表示控制背景光照和紋理的視覺掩蔽效應(yīng)重疊影響的參數(shù)，0 < C1,, < 1，min{}為取最小值函數(shù)。
3.根據(jù)權(quán)利要求1或2所述的一種深度圖像的預(yù)處理方法，其特征在于所述的步驟③ 包括以下具體步驟③-1、定義t時刻的第k個參考視點的深度圖像丨鴿，辦，力丨中當前正在處理的像素點為當前像素點；③-2、將當前像素點的坐標位置記為(Xl，yi)，將與當前像素點水平相鄰的像素點的坐標位置記為(Χι+Δχ，yi)，計算當前像素點和與其水平相鄰的像素點之間的顏色距離，記為 Ψ(Χι+Δχ，Υι), + Δχ,) = \lkR tl(X1,)-(X1 + Δχ,γ,)|, 計算當前像素點和與其水平相鄰的像素點之間的深度距離，記為Φ(Χι+Δχ，Yl), Φ(χ, +Λχ,γ,) = \DkRt (X1, ) - D^t (χ, + Δχ, )| φ, Δχ 表示水平偏移量，-W' ( Δχ<0 或 0<δχ彡w'，r為最大水平偏移量，“I I”為絕對值符號，/^1(U1)表示t時刻的第k個參考視點的彩色圖像{/^(χ，>0}中坐標位置為(U1)的像素點的Υ分量的值，Ux1 +知，>0 表示t時刻的第k個參考視點的彩色圖像j/^x，>0j中坐標位置為(Xi+Δχ，Y1)的像素點的Y分量的值，Z^i(X1J1)表示t時刻的第k個參考視點的深度圖像樹，辦,>0丨中坐標位置為(Xl，Y1)的像素點的深度值，鴿，Λα+ΔΧ』)表示t時刻的第k個參考視點的深度圖像 {極找力}中坐標位置為(Xl+Ax，yi)的像素點的深度值；③-3、從當前像素點的左方向水平偏移量集合 同時成立，則認為Axl'為當前像素點的一個左方向可容忍失真值；采用相同的方法計算當前像素點的左方向水平偏移量集合中的所有左方向可容忍失真值，再從所有左方向可容忍失真值中找出絕對值最大的左方向可容忍失真值，將絕對值最大的左方向可容忍失真值作為當前像素點的左方向最大可容忍失真值，記為Δ JXl，yi)，其中，Ψ(Χι+Δ&'，yi)表示當前像素點和坐標 位置為(Χι+Δ&' ,Yl)的像素點之間的顏色距離，<(Χι+Δν,>0表示[^(χ，>0}中坐標位置為(Χι+Δ&'，Yl)的像素點的最小可察覺變化步長值，Φ(Χι+Δ&'，Yl)表示當前像素點和坐標位置為(Χι+Δ&' ,Yl)的像素點之間的深度距離，T1為深度敏感性閾值；③-4、從當前像素點的右方向水平偏移量集合< Axe^W' }中任取一個 ΔχΕ'，如果平(^1+ ’,>0《4(^+ ’，>0且(1)“1+八如'‘Yi) ST1同時成立，則認為 Δ χΕ'為當前像素點的一個右方向可容忍失真值；采用相同的方法計算當前像素點的右方向水平偏移量集合中的所有右方向可容忍失真值，再從所有右方向可容忍失真值中找出絕對值最大的右方向可容忍失真值，將絕對值最大的右方向可容忍失真值作為當前像素點的右方向最大可容忍失真值，記為AK(Xl，yi)，其中，Ψ(Χι+Δ^'，yi)表示當前像素點和坐標位置為(Χι+Δ ' ,Yl)的像素點之間的顏色距離，々h+AVA)表示{<(χ，>0}中坐標位置為(Χι+Δ '，Yl)的像素點的最小可察覺變化步長值，Φ(Χι+Δ '，Yl)表示當前像素點和坐標位置為(Χι+Δα' ,Υι)的像素點之間的深度距離；③_5、找出當前像素點的左方向最大可容忍失真值A(chǔ)Jx1, yi)和右方向最大可容忍失真值Δκ(Χι，Υι)中絕對值最小的可容忍失真值，作為當前像素點的最大可容忍失真值，記為 Skt (W1)，義(xI^i) = HiinflAi(X1^1)I,IAji(X1^1)D，rnin {}為取最小值函數(shù)；③-6、將t時刻的第k個參考視點的深度圖像[^>,>01中下一個待處理的像素點作為當前像素點，然后執(zhí)行步驟③-2至③-6，直至t時刻的第k個參考視點的深度圖像 {極找力丨中的所有像素點處理完畢，得到t時刻的第k個參考視點的深度圖像丨砹,(χ,>0} 的最大可容忍失真分布圖像，記為[^(x，>0j。
4.根據(jù)權(quán)利要求3所述的一種深度圖像的預(yù)處理方法，其特征在于所述的步驟④中置信內(nèi)容區(qū)域和非置信內(nèi)容區(qū)域的分割過程為④-1、定義t時刻的第k個參考視點的深度圖像丨鴿，辦，力丨中當前正在處理的像素點為當前像素點；④-2、將當前像素點的坐標位置記為p，將當前像素點的鄰域像素點的坐標位置記為 q，判斷當前像素點是否滿足4 Σ I⑷1壞，如果是，則確定當前像素點為置信內(nèi)容，否I^N(V) J則，確定當前像素點為非置信內(nèi)容，其中，Ε{}為取平均值函數(shù)，N(P)表示以坐標位置為P的像素點為中心的7 X 7鄰域窗口，Gm (q) = exp|-^M-J，exp {}表示以e為底的指數(shù)函數(shù)，e = 2. 71^8183，$(q)表示坐標位置為ρ的像素點的最大可容忍失真值，ο。表示高斯函數(shù)的標準差，0彡T2彡1 ；④-3、將t時刻的第k個參考視點的深度圖像[^>,>01中下一個待處理的像素點作為當前像素點，然后執(zhí)行步驟④-2至④_3，直至t時刻的第k個參考視點的深度圖像
5.根據(jù)權(quán)利要求4所述的一種深度圖像的預(yù)處理方法，其特征在于所述的步驟⑤的具體過程為⑤-1、定義t時刻的第k個參考視點的深度圖像
6.根據(jù)權(quán)利要求5所述的一種深度圖像的預(yù)處理方法，其特征在于所述的步驟⑤-4中 (osl，orl) = (5,0. 1)，所述的步驟⑤-5 中(os2, or2) = (10，20)。
7.根據(jù)權(quán)利要求1所述的一種深度圖像的預(yù)處理方法，其特征在于所述的步驟⑦中設(shè)定的編碼預(yù)測結(jié)構(gòu)為HBP編碼預(yù)測結(jié)構(gòu)。
全文摘要
本發(fā)明公開了一種深度圖像的預(yù)處理方法，其根據(jù)深度失真對虛擬視點圖像繪制的影響，并結(jié)合人眼的視覺特性得到深度圖像的最大可容忍失真分布圖像，再根據(jù)可容忍失真分布圖像將深度圖像分成置信內(nèi)容區(qū)域和非置信內(nèi)容區(qū)域，并設(shè)計兩組不同濾波強度的雙向濾波器分別對置信內(nèi)容和非置信內(nèi)容區(qū)域的各個像素點的深度值進行濾波處理，優(yōu)點在于根據(jù)深度圖像的最大可容忍失真分布圖像來選擇濾波的強度，這樣在保證虛擬視點圖像繪制性能的基礎(chǔ)上，大大提高了深度圖像的壓縮效率。
文檔編號H04N7/32GK102271254SQ20111020643
公開日2011年12月7日 申請日期2011年7月22日 優(yōu)先權(quán)日2011年7月22日
發(fā)明者蔣剛毅, 邵楓, 郁梅 申請人:寧波大學