一種自適應深度圖濾波方法
【技術領域】
[0001] 本發(fā)明屬于三維視頻處理技術領域，特別涉及基于深度的三維視頻中深度圖的濾 波方法。
【背景技術】
[0002] 基于深度的三維視頻內(nèi)容由紋理圖和深度圖組成，紋理圖直觀的呈現(xiàn)了物體的紋 理特征，深度圖反映了物體與相機之間的距離，利用基于深度圖像的繪制技術可以合成指 定的虛擬視紋理圖像。其中作為虛擬視合成的重要信息，深度圖在采集、壓縮和傳輸過程中 往往會引入大量噪聲，這些噪聲會在合成過程中引起嚴重的幾何失真。深度圖濾波方法能 夠有效去除深度圖中的噪聲，進而提高虛擬視合成質(zhì)量。
[0003] 基于深度的三維視頻中，深度圖的濾波方法有多種。S.J.Liu等提出了三邊濾波 器，此種濾波方法通過對待濾波像素周圍的參考像素信息進行加權平均來計算濾波結(jié)果。 在權值的計算方面，考慮了深度像素相似性、紋理像素相似性和像素位置鄰近性三方面內(nèi) 容，此方法能夠在去除噪聲的同時，保護深度圖的物體邊緣。在三邊濾波器的基礎上，為了 提高濾波后深度圖在時域方向上的連續(xù)性，C.M.Cheng將相鄰幀中包含的像素作為參考像 素，共同參與加權平均過程。并在三邊濾波器權值計算的基礎上考慮了像素點間時域的臨 近性，提高了濾波后深度圖在時域的連續(xù)性。然而，上述加權平均的方法容易造成深度圖中 物體邊界的模糊，進而降低合成視質(zhì)量。因此，魯棒性更強的中值濾波方法被人們廣泛接 受，且取得了較好的濾波效果。F.Jager等在三邊濾波器的基礎上選取與待濾波像素位置距 離較近、深度值較相似、紋理值較相似的像素參與中值濾波過程，保持了物體邊界的清晰。
[0004] 在基于深度的三維視頻中，像素點包含深度值和紋理值了兩方面含義。但現(xiàn)有技 術在考慮像素點相關性時都是單獨考慮這兩方面因素?，F(xiàn)有技術在進行像素運動估計的過 程中通常只參考紋理信息，但深度信息也反應了物體的運動狀態(tài)，從而導致運動估計的不 準確。此外，現(xiàn)有技術在選擇參與濾波像素的過程中，對所有像素點采用同樣方法。然而， 深度圖濾波的目的是使平滑區(qū)域更加平滑，同時使物體邊界更加清晰。因此，對平滑區(qū)域和 邊界區(qū)域應采用不同的方法對參與濾波的像素進行選擇。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明在現(xiàn)有技術的基礎上，利用空域和時域像素作為參考像素，并用中值計算 濾波結(jié)果，提出了一種自適應深度圖濾波方法。本發(fā)明定義了像素向量的概念，此概念聯(lián)合 運用了像素包含的紋理和深度信息，在計算像素之間相關性的過程中，自適應的調(diào)節(jié)紋理 值和深度值對計算結(jié)果的影響。在像素向量定義的基礎上，本發(fā)明首先在待濾波深度圖和 鄰域深度圖中找到參考像素點，在時域參考像素點的選擇過程中，利用像素向量對待濾波 像素點的運動進行預測，并根據(jù)預測結(jié)果進行參考像素點的選擇。然后，在參考像素點中篩 選出與待濾波像素非常相關的像素點。本發(fā)明對平滑區(qū)域和邊界區(qū)域在篩選與待濾波像素 非常相關的像素點的過程中采用了不同的方法，能更加準確的篩選出最終參與濾波的像素 點。最后，利用這些像素點的深度值計算中值，獲得濾波結(jié)果。
[0006] 本發(fā)明提出了一種自適應深度圖濾波方法，為便于本發(fā)明敘述，下面給出本發(fā)明 中幾個名詞的定義：
[0007] 像素向量：對于像素點p，所述像素點p的像素向量為巧=(UA)，其中，Tp為所 述像素點P對應的紋理像素值，Dp為所述像素點p的深度像素值，Ap為所述像素點p的深 度像素值的權重。
[0008] 像素向量距離：對于像素點a和像素點b，所述像素點a和所述像素點b的像素向 量距離為
【主權項】
1. 一種自適應深度圖濾波方法，其特征在于，包括如下步驟： 51、 定義空域參考深度圖和時域參考深度圖，具體步驟如下： 定義當前時刻t對應的深度圖為空域參考深度圖，定義時刻m對應的深度圖為時域參 考深度圖，其中，m = t-n, t+1,…，t+n，η為正整數(shù)； 52、 對SI所述空域參考深度圖、時域參考深度圖、空域參考深度圖對應的紋理圖和時 域參考深度圖對應的紋理圖進行個像素的鏡像擴展，在擴展后的空域參考深度圖 中確定空域參考像素窗口，在擴展后的時域參考深度圖中確定時域參考像素窗口，具體如 下： 521、 以Sl所述空域參考深度圖中當前待濾波像素點ρ為中心,確定一個大小為f Xf 的矩形窗口 Wt，所述Wt為空域參考像素窗口； 522、 在Sl所述時域參考深度圖中找出與p對應位置的像素點記作pm,以所述像素點pm 為中心確定一個r Xr的矩形運動搜索范圍C，其中，r > f ; 523、 在S22所述運動搜索范圍C中找出與S21所述當前待濾波像素點p像素向量距離 最近的點冗，具體如下： 5231、 對S22所述運動搜索范圍C中的像素點建立像素向量，對于C中的像素點i，記 像素向量為R = (ΚΛ)，其中，Ti為所述像素點i對應的紋理像素值，Di為所述像素點i的 深度像素值，為所述像素點i的深度像素值的權重，利用所述，對當前待濾波像素 p建 立像素向量5 = (%，，Tp為所述像素點p對應的紋理像素值，D p為所述像素點p的深 度像素值； 5232、 計算S22所述運動搜索范圍C中各像素點與S21所述當前待濾波像素 p的像素 向量距離，選出與S21所述當前待濾波像素 p的像素向量距離最小的像素點，記作K ; 524、 以S232所述像素點K為中心確定一個大小為f X f的矩形窗口，記作Wm，所述化為 時域參考像素窗口； 53、 在S21所述空域參考像素窗口 Wt和S24所述時域參考像素窗口 ^中選出滿足閾值 的像素點，所述閾值包括最大紋理像素閾值、最小紋理像素閾值、最大深度像素閾值和最小 深度像素閾值，具體如下： 531、 利用邊界檢測方法判斷S21所述空域參考像素窗口 Wt是否包含邊界，若包含邊界 則轉(zhuǎn)到S32,若不包含邊界則轉(zhuǎn)到S33 ; 532、 利用S21所述空域參考像素窗口 Wt確定最大紋理像素閾值、最小紋理像素閾值、 最大深度像素閾值和最小深度像素閾值，具體如下： 5321、 對S21所述空域參考像素窗口 Wt中的各像素點建立像素向量，對于Wt中的像素 點j，記像素向量為5 = ，其中，Tj為所述像素點j對應的紋理像素值，Dj為所述像 素點j的深度像素值，λ t為所述像素點j的深度像素值的權重； 5322、 在S21所述空域參考像素窗口 Wt中，比較兩兩像素點之間的像素向量距離，找到 像素向量距離最大的兩個像素點A1和W ; 5323、 對S21所述空域參考像素窗口 Wt中的像素點進行分類， 對于S21所述空域參考像素窗口 Wt中的像素點1，若像素點1與像素點A1的像素向量 距離小于像素點1和像素點P,2的像素向量距離，則1與P,1分為一類，否則，與W分為一類； 選擇與S21所述待濾波像素點p為同一類的像素點，記為集合Φ，所述集合Φ包含像 素點的數(shù)量記為k ; 5324、 提取S323所述集合Φ中各像素的紋理像素值，記作集合Φτ，對所述集合Φτ* 的紋理像素值按由大到小的順序進行排序，選擇排序后的第p/((/-i)/2)q個值作為最大紋 理像素閾值選擇排序后的第卜_&/((/-1)/2):||個值作為最小紋理像素閾值 5325、 提取S323所述集合Φ中各像素的深度像素值，記作集合ΦΒ，對所述集合 的深度像素值按由大到小的順序進行排序，選擇排序后的第個值作為最大深 度像素閾值『C,，選擇排序后的第^-^/((/-1)/2)2|1個值作為最小深度像素閾值Γ/4; 533、 在S21所述空域參考像素窗口 Wt中確定最大深度像素閾值？= +Λ和最小深 度像素閾值17C ，其中為Wt中最大深度像素值，為Wt中最小深度像素值，h為 自定義閾值且1彡h彡5,最大紋理像素閾值Γ/4, e[d255]，最小紋理像素閾值174" e[0,d]， 其中為Wt中最大紋理像素值，7I為Wt中最小紋理像素值； 534、 在S21所述空域參考像素窗口 Wt和S24所述時域參考像素窗口 W m中選出滿足閾 值的像素點，記作集合Ω，所述滿足閾值的像素點紋理像素值在最小紋理像素閾值和最大 紋理像素閾值之間且深度像素值在最小深度像素閾值和最大深度像素閾值之間； S4、計算S34所述集合Ω中深度像素值的中值作為濾波結(jié)果。
2. 根據(jù)權利要求1所述一種自適應深度圖濾波方法，其特征在于：S1所述1 < η < 3。
3. 根據(jù)權利要求1所述一種自適應深度圖濾波方法，其特征在于：S2所述f為奇數(shù)且 7彡f彡15, r為奇數(shù)且f彡r彡3f。
4. 根據(jù)權利要求1所述一種自適應深度圖濾波方法，其特征在于：S231所述 巧為町中最大紋理像素值，巧為w中最小紋理像素值，處為 C 1中最大深度像素值，地為C中最小深度像素值,若☆ =γλ5或說=地，則疋=1。
5. 根據(jù)權利要求1所述一種自適應深度圖濾波方法，其特征在于：若S232所述距離最 小的像素點有多個，記作集合〇,則在集合〇中選擇與S22所述像素點P ni歐式距離最小的像 素點作為運動搜索結(jié)果，若所述集合0中與S22所述像素點Pni歐式距離最小的像素點有多 個，記作集合Q，則在『:中對集合Q中像素點按照從上到下、從左到右的順序進行搜索，選擇 最先搜索到的像素點作為運動搜索結(jié)果。
6. 根據(jù)權利要求1所述一種自適應深度圖濾波方法，其特征在于：S31所述邊界檢測方 法為Canny邊界檢測方法。
7. 根據(jù)權利要求1所述一種自適應深度圖濾波方法，其特征在于：若S322所述像素向 量距離最大的兩個像素點有多組，記作集合E，則在集合E中選擇歐氏距離最大的一組像素 點，若所述集合E中存在多組歐氏距離最大的像素點，記作集合F，則在Wt中對集合F中包 含的像素點按照從上到下、從左到右的順序進行搜索，選擇最先搜索到的像素點所在組作 為結(jié)果。
8.根據(jù)權利要求1所述一種自適應深度圖濾波方法，其特征在于：S4所述計算集合Ω 中深度像素值的中值作為濾波結(jié)果，若集合Ω中像素數(shù)量為偶數(shù)時，則選擇中間兩個像素 值中較大的一個值作為中值計算結(jié)果。
【專利摘要】本發(fā)明屬于三維視頻處理技術領域，特別涉及基于深度的三維視頻中深度圖的濾波方法。本發(fā)明在待濾波深度圖和鄰域深度圖中找到參考像素點，利用像素向量對待濾波像素點的運動進行預測，根據(jù)預測結(jié)果進行參考像素點的選擇。在參考像素點中篩選出與待濾波像素非常相關的像素點。對平滑區(qū)域和邊界區(qū)域在篩選與待濾波像素非常相關的像素點的過程中采用了不同的方法，能更加準確的篩選出最終參與濾波的像素點。本發(fā)明提高了濾波后各時刻的深度圖在時域方向的連續(xù)性。對平滑區(qū)域和邊界區(qū)域采用不同的方法，可以使平滑區(qū)域更加平滑，同時保持了深度圖的邊界特征，并有一定的深度圖邊界修正能力，使得合成圖像的邊緣區(qū)域失真明顯減少，質(zhì)量得到了明顯提高。
【IPC分類】H04N13-00
【公開號】CN104683783
【申請?zhí)枴緾N201510007440
【發(fā)明人】朱策, 王昕 , 周益民, 付聞浩, 程洪
【申請人】電子科技大學
【公開日】2015年6月3日
【申請日】2015年1月8日