專利名稱：一種三維視頻編碼的深度和彩色碼率分配方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻信號的編碼壓縮方法，尤其是涉及ー種三維視頻編碼的深度和彩色碼率分配方法。
背景技術(shù)：
三維視頻系統(tǒng)由于能夠提供立體感、視點交互性的全新視覺體驗而越來越受到人們的歡迎，在無線視頻通信、影視娛樂、數(shù)字動漫、虛擬戰(zhàn)場、旅游觀光、遠程教學(xué)等領(lǐng)域有著廣泛的應(yīng)用前景。多視點彩色加深度(multi-view video plus depth,MVD)是目前ISO/MPEG推薦采用的3D場景信息表示方式。MVD數(shù)據(jù)為在多視點彩色圖像的基礎(chǔ)上增加了對應(yīng)視點的深度信息，其通過利用參考視點的彩色圖像及該參考視點的彩色圖像中的每個像 素點對應(yīng)的深度信息，采用基于深度圖像的繪制(Depth Image Based Rendering,DIBR)技術(shù)來合成三維場景的虛擬視點圖像。然而，現(xiàn)有的三維視頻編碼的研究并沒有充分考慮彩色視頻與深度視頻的最優(yōu)碼率分配問題，這是因為一方面，由于彩色視頻的編碼失真和深度視頻的編碼失真都會對虛擬視點繪制產(chǎn)生影響；另一方面，各個視頻序列都有自身的特點，不同測試視頻序列的彩色視頻的編碼失真和深度視頻的編碼失真對虛擬視點繪制的影響是各不相同的。因此，如何在彩色視頻與深度視頻之間進行合理的碼率分配，以及在總碼率給定的情況下通過關(guān)系模型來確立對彩色視頻和深度視頻進行編碼的編碼量化參數(shù)，以保證獲得最優(yōu)的虛擬視點繪制質(zhì)量，是對MVD數(shù)據(jù)的編碼過程中需要研究解決的問題。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種能夠有效地提高虛擬視點視頻的率失真性能，并能夠簡化碼率分配操作過程的三維視頻編碼的深度和彩色碼率分配方法。本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為ー種三維視頻編碼的深度和彩色碼率分配方法，其特征在于包括以下步驟①將外部三維視頻捕獲工具捕獲得到的未經(jīng)處理的且顏色空間為YUV的彩色視頻及其對應(yīng)的深度視頻定義為原始三維視頻，在空域上該原始三維視頻包括原始左視點三維視頻和原始右視點三維視頻，原始左視點三維視頻包括原始左視點彩色視頻和原始左視點深度視頻，原始左視點彩色視頻主要由若干個幀組的原始左視點彩色圖像組成，原始左視點深度視頻主要由若干個幀組的原始左視點深度圖像組成，原始右視點三維視頻包括原始右視點彩色視頻和原始右視點深度視頻，原始右視點彩色視頻主要由若干個幀組的原始右視點彩色圖像組成，原始右視點深度視頻主要由若干個幀組的原始右視點深度圖像組成，其中，YUV顏色空間的三個顏色分量的第I個分量為亮度分量并記為Y、第2個分量為第一色度分量并記為U及第3個分量為第二色度分量并記為V ；將介于左視點與右視點之間的視點作為虛擬視點；將利用原始左視點彩色視頻、原始右視點彩色視頻經(jīng)過編碼、解碼后對應(yīng)得到的左視點彩色視頻、右視點彩色視頻與原始左視點深度視頻、原始右視點深度視頻經(jīng)過編碼、解碼后對應(yīng)得到的左視點深度視頻、右視點深度視頻進行虛擬視點繪制得到的虛擬視點視頻的峰值信噪比的最大值作為最優(yōu)的虛擬視點繪制質(zhì)量；②建立對原始左視點彩色視頻、原始右視點彩色視頻與原始左視點深度視頻、原
始右視點深度視頻進行編碼的碼率分配模型，記為minPv(K(G)A(A))I ’以保證獲得最
優(yōu)的虛擬視點繪制質(zhì)量，其中，min{}為取最小值函數(shù)，R。表示預(yù)先設(shè)定的對原始左視點彩色視頻、原始右視點彩色視頻與原始左視點深度視頻、原始右視點深度視頻進行編碼的總碼率，Rt(Qt)表示采用彩色視頻量化步長Qt對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的碼率，Rd(Qd)表示采用深度視頻量化步長Qd對原始左視點深度視頻、原始右視點深度視頻進行編碼的碼率，Dv (Rt (Qt)，Rd(Qd))表示采用彩色視頻量化步長Qt對原始左視點彩色視頻、原始右視點彩色視頻進行編碼得到的解碼左視點彩色視頻、解碼右視點彩色 視頻和采用深度視頻量化步長Qd對對應(yīng)的原始左視點深度視頻、原始右視點深度視頻進行編碼得到的解碼左視點深度視頻、解碼右視點深度視頻進行虛擬視點繪制的繪制失真；③在最優(yōu)的虛擬視點繪制質(zhì)量下，通過二次擬合方法建立用來編碼原始左視點彩色視頻、原始右視點彩色視頻的彩色視頻量化步長Qt與用來編碼原始左視點深度視頻、原始右視點深度視頻的深度視頻量化步長Qd的二次關(guān)系模型，記為=aQ2t +bQt +c，其中，a、b和c均為仏=aQf +bQt +c中的模型參數(shù)；④通過線性擬合方法建立對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的碼率Rt與l/Qt的關(guān)系模型，記為及=Xt/Qt+Lt，通過線性擬合方法建立對原始左視點深度視頻、原始右視點深度視頻進行編碼的碼率Rd與1/Qd的關(guān)系模型，記為A = Xd IQd +Ld，其中，Xt和Lt均為及=JTi/ +A中的模型參數(shù)，Xd和Ld均為& /^+ん中的模型參數(shù)；⑤根據(jù)Qt與Qd的二次關(guān)系模型込=aQ2t +bQt +c、Rt與1/Qt的關(guān)系模型RgXtIQt +Lt、Rd與i/Qd的關(guān)系模型Rd三XJQd +Ld及碼率分配模型
min{Z)v(^(aX^(a))} ’計算得到在最小的虛擬視點失真下的Qt與τ。的關(guān)系
s^t- (Qt )+ (Qd
甘+ Lt + n2 Jn , +Ld <'，然后對甘+ Lt + Π2 In +Ld 的兩邊取等Qt aQt +bQt+CQt aQt +bQt+c
號并化成標準一元三次方程，得到在最小的虛擬視點失真下的Qt與R。的關(guān)系模型為
a(Rc ~Lt ~Ld) n3 (b(Rc-Lt-Ld)2 C(Rc-Lt-Ld)-Xd
---Qt + (----a)Qt +、----b)Qt -c = 0 ；
xt xt xt⑥在給定ー個總碼率R。的情況下，根據(jù)在最小的虛擬視點失真下的Qt與R。的關(guān)系模型 a(Rc ~lt~Ld)Q] + (b{Rc~^~Ld)-ci)Qf + (C{Rc~LtxLd)~Xd -b)Qt -c = 0，獲取對
原始左視點彩色視頻、原始右視點彩色視頻進行編碼的最佳初始編碼量化步長，記為Qt°pt，然后根據(jù)Qt與Qd的~■次關(guān)系ホ吳型Gd = aQf +c，獲取對原始左視點深度視頻、原始右視點深度視頻進行編碼的最佳初始編碼量化步長，記為；⑦根據(jù)對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的最佳初始編碼量化步長2廣，計算對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的最佳初始編碼量化參數(shù)，記為ρρ, = [6 X Iog2^i+4]，然后根據(jù)設(shè)定的多視點視頻編碼結(jié)構(gòu)采用
對原始左視點彩色視頻、原始右視點彩色視頻進行編碼，其中，“「I”為向上取整數(shù)符號；根據(jù)對原始左視點深度視頻、原始右視點深度視頻進行編碼的最佳初始編碼量化步長2Γ，計算對原始左視點深度視頻、原始右視點深度視頻進行編碼的最佳初始編碼量化參數(shù)，記為,^r=[6 X Iog2^r+4]，然后根據(jù)設(shè)定的多視點視頻編碼結(jié)構(gòu)采用ぽ/對
原始左視點深度視頻、原始右視點深度視頻進行編碼，其中，“「 ”為向上取整數(shù)符號。所述的步驟③的具體過程為③-I、任取一個多視點視頻序列，任取ー個不大于64的編碼量化步長作為原始左視點彩色視頻、原始右視點彩色視頻的編碼量化步長，記為Qttl,對于Qttl選取N個各不相、同的編碼量化步長作為原始左視點深度視頻、原始右視點深度視頻的編碼量化步長，分別記為Qdtl, Qdl,…，Qdi,…，Qd(N-D，將對采用Qttl分別對原始左視點彩色視頻、原始右視點彩色視頻進行編碼得到的解碼左視點彩色視頻、解碼右視點彩色視頻和采用Qdi分別對原始左視點深度視頻、原始右視點深度視頻進行編碼得到的解碼左視點深度視頻、解碼右視點深度視頻進行虛擬視點繪制得到的虛擬視點視頻記為Ivi (Qto)，將原始左視點彩色視頻與原始右視點彩色視頻之間存在的中間彩色視頻記為IOTg，分別計算Ivtl(Qtci), Ivi (Qto) …，Ivi (Qto)，…，Iv(N-I) (Qto)與し8 的峰值信噪比，分別記為 PSNRtl (Qto)，PSNR1 (Qto)，…，PSNRi (Qto), ...,PSNIV1 (Qttl),然后從 PSNRtl (Qttl) ,PSNR1 (Qto), ...,PSNRi(Qto), -,PSNR^1 (Qto)中選取數(shù)值最大的峰值信噪比，記為PSNRmax(Qttl)，再將PSNRmax(Qttl)作為最優(yōu)的虛擬視點繪制質(zhì)量，獲得此最優(yōu)的虛擬視點繪制質(zhì)量的彩色視頻和深度視頻編碼量化步長對，記為(0iO，0r)^.，KN<51，O<i<N-l ；③-2、選取M個大于Qttl且各不相同的編碼量化步長,分別記為Qtl,…，Qtj, ···,QtM，對于任意ー個Qu選取N個各不相同的編碼量化步長作為原始左視點深度視頻、原始右視點深度視頻的編碼量化步長，分別記為QdCi，QdI …，Qdi …，Qd -i)，計算得到對米用該M個不同的編碼量化步長分別對原始左視點彩色視頻、原始右視點彩色視頻進行編碼得到的解碼左視點彩色視頻、解碼右視點彩色視頻和對應(yīng)的原始左視點深度視頻、原始右視點深度視頻進行編碼得到的解碼左視點深度視頻、解碼右視點深度視頻進行虛擬視點繪制的最優(yōu)的虛擬視點繪制質(zhì)量，對應(yīng)的分別記為PSNRmax(Qtl), PSNRmax(Qt2),…，PSNRmax(Qtj),…，PSNRfflax (Qa)，獲得此組最優(yōu)的虛擬視點繪制質(zhì)量的彩色視頻和深度視頻編碼量化步長對，分別記為(Qn，QT)，((L·Q°JD，…，(Q,，…，(QtM，QZ)，其中，I 彡 j 彡 μ，I 彡 μ 彡 51;③-3、選取L個多視點視頻序列，對于每一個視頻序列分別執(zhí)行步驟③-I至步驟
③_2，得到L組最優(yōu)的虛擬視點繪制質(zhì)量的彩色視頻和深度視頻編碼量化步長對，然后采用二次擬合方法對總共的(L+1)組最優(yōu)的虛擬視點繪制質(zhì)量的彩色視頻和深度視頻編碼量化步長對進行擬合，得到在最優(yōu)的虛擬視點繪制質(zhì)量下，對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的彩色視頻量化步長Qt與對原始左視點深度視頻、原始右視點深度視頻進行編碼的深度視頻量化步長Qd的二次關(guān)系模型&其中，a、b和c均為仏=aQf +bQt +c中的模型參數(shù)，L彡I。所述的步驟④的具體過程為
④-I、根據(jù)對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的平均碼率集合{Rtk I O ≤k ≤T-1}和對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的編碼量化步長集合{Qtk|0 ≤k ≤T-1}，采用線性擬合方法建立對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的編碼量化步長集合{Qtk|0≤k≤T-l}中的任意ー個量化步長Qt與對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的平均碼率集合{Rtk|0≤k≤T-l}中的任意一個碼率Rt的關(guān)系模型，記為=XtIQt +A，其中，Xt和Lt均為尺t =XtIQt + A中的模型參數(shù)，τ表示對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的編碼次數(shù)；④_2、根據(jù)對原始左視點深度視頻、原始右視點深度視頻進行編碼的平均碼率集合{Rdk I O ≤ k≤D-1}和對原始左視點深度視頻、原始右視點深度視頻進行編碼的編碼量化步長集合{Qdk|0 ≤k ≤D-1}，采用線性擬合方法建立對原始左視點深度視頻、原始右視點深度視頻進行編碼的編碼量化步長集合{Qdk|0≤k≤D-1}中的任意ー個量化步長Qt與對原始左視點深度視頻、原始右視點深度視頻進行編碼的平均碼率集合{Rdk|0≤k≤D-1}中的任意一個碼率Rd的關(guān)系模型，記為A三XJQd +Ld，其中，Xd和Ld均為&三XJQd +Ld中的模型參數(shù)，D表示對原始左視點深度視頻、原始右視點深度視頻進行編碼的編碼次數(shù)。與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點在于I)本發(fā)明方法通過在獲得最優(yōu)的虛擬視點繪制質(zhì)量情況下，通過二次擬合方法建立對原始左視點彩色視頻、原始右視點彩色視頻編碼量化步長與原始左視點深度視頻、原始右視點深度視頻編碼量化步長的關(guān)系模型，進而將彩色和深度比特分配問題描述為ー個標準一元三次方程，通過求解方程分別獲得在一定碼率下對原始左視點彩色視頻、原始右視點彩色視頻和原始左視點深度視頻、原始右視點深度視頻進行編碼的最佳初始編碼量化參數(shù)，最后采用最佳初始編碼量化參數(shù)分別對原始左視點彩色視頻、原始右視點彩色視頻與原始左視點深度視頻、原始右視點深度視頻進行編碼，這ー編碼流程有別于傳統(tǒng)的三維視頻編碼方法，不僅有效提高了虛擬視點視頻的率失真性能，而且簡化了碼率分配操作過程。2)本發(fā)明方法根據(jù)彩色視頻的編碼失真和深度視頻的編碼失真對虛擬視點圖像繪制的影響，建立對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的編碼量化步長與對原始左視點深度視頻、原始右視點深度視頻進行編碼的編碼量化步長之間的二次關(guān)系模型，避免了在編碼過程中進行復(fù)雜的虛擬視點繪制操作，降低了計算復(fù)雜度。


圖I為本發(fā)明方法的總體實現(xiàn)框圖；圖2a為“Newspaper”三維視頻測試序列的第4個參考視點的一幅彩色圖像；圖2b為“Newspaper”三維視頻測試序列的第6個參考視點的一幅彩色圖像；圖2c為圖2a所示的彩色圖像對應(yīng)的深度圖像；圖2d為圖2b所示的彩色圖像對應(yīng)的深度圖像；圖3a為“BookArrival ”三維視頻測試序列的第9個參考視點的一幅彩色圖像；
圖3b為“BookArrival ”三維視頻測試序列的第11個參考視點的一幅彩色圖像；圖3c為圖3a所示的彩色圖像對應(yīng)的深度圖像；圖3d為圖3b所示的彩色圖像對應(yīng)的深度圖像；
圖4a為“DoorFlowers”三維視頻測試序列的第9個參考視點的一幅彩色圖像；圖4b為“DoorFlowers”三維視頻測試序列的第11個參考視點的一幅彩色圖像；圖4c為圖4a所示的彩色圖像對應(yīng)的深度圖像；圖4d為圖4b所示的彩色圖像對應(yīng)的深度圖像；圖5a為“LeavingLaptop”三維視頻測試序列的第9個參考視點的一幅彩色圖像；圖5b為“LeavingLaptop”三維視頻測試序列的第11個參考視點的一幅彩色圖像；圖5c為圖5a所示的彩色圖像對應(yīng)的深度圖像；圖5d為圖5b所示的彩色圖像對應(yīng)的深度圖像； 圖6為“Newspaper”三維視頻測試序列采用本發(fā)明方法的二次原始左右視點彩色視頻的編碼量化步長與原始左右視點深度視頻的編碼量化步長模型的效果示意圖；圖7為“BookArrival”三維視頻測試序列采用本發(fā)明方法的二次原始左右視點彩色視頻的編碼量化步長與原始左右視點深度視頻的編碼量化步長模型的效果示意圖；圖8為“DoorFlowers”三維視頻測試序列采用本發(fā)明方法的二次原始左右視點彩色視頻的編碼量化步長與原始左右視點深度視頻的編碼量化步長模型的效果示意圖；圖9為“LeavingLaptop”三維視頻測試序列采用本發(fā)明方法的二次原始左右視點彩色視頻的編碼量化步長與原始左右視點深度視頻的編碼量化步長模型的效果示意圖；圖10為對原始左右視點彩色視頻的編碼量化步長與碼率的關(guān)系模型進行線性擬合的曲線示意圖；圖11為對原始左右視點深度視頻的編碼量化步長與碼率的關(guān)系模型進行線性擬合的曲線示意圖；圖12為“Newspaper”三維視頻測試序列采用本發(fā)明方法與采用固定碼率比重方法得到的虛擬視點彩色圖像的亮度分量Y的率失真性能曲線比較示意圖；圖13為“BookArrival”三維視頻測試序列采用本發(fā)明方法與采用固定碼率比重方法得到的虛擬視點彩色圖像的亮度分量Y的率失真性能曲線比較示意圖；圖14為“DoorFlowers”三維視頻測試序列采用本發(fā)明方法與采用固定碼率比重方法得到的虛擬視點彩色圖像的亮度分量Y的率失真性能曲線比較示意圖；圖15為“LeavingLaptop”三維視頻測試序列采用本發(fā)明方法與采用固定碼率比重方法得到的虛擬視點彩色圖像的亮度分量Y的率失真性能曲線比較示意圖。
具體實施例方式以下結(jié)合附圖實施例對本發(fā)明作進ー步詳細描述。本發(fā)明提出的ー種三維視頻編碼的深度和彩色碼率分配方法，其總體實現(xiàn)框圖如圖I所示，其包括以下步驟①將外部三維視頻捕獲工具捕獲得到的未經(jīng)處理的且顏色空間為YUV的彩色視頻及其對應(yīng)的深度視頻定義為原始三維視頻，在空域上該原始三維視頻包括原始左視點三維視頻和原始右視點三維視頻，原始左視點三維視頻包括原始左視點彩色視頻和原始左視點深度視頻，原始左視點彩色視頻主要由若干個幀組的原始左視點彩色圖像組成，原始左視點深度視頻主要由若干個幀組的原始左視點深度圖像組成，原始右視點三維視頻包括原始右視點彩色視頻和原始右視點深度視頻，原始右視點彩色視頻主要由若干個幀組的原始右視點彩色圖像組成，原始右視點深度視頻主要由若干個幀組的原始右視點深度圖像組成，其中，YUV顏色空間的三個顏色分量的第I個分量為亮度分量并記為Y、第2個分量為第一色度分量并記為U及第3個分量為第二色度分量并記為V ;將介于左視點與右視點之間的視點作為虛擬視點；將利用原始左視點彩色視頻、原始右視點彩色視頻經(jīng)過編碼、解碼后對應(yīng)得到的左視點彩色視頻、右視點彩色視頻與原始左視點深度視頻、原始右視點深度視頻經(jīng)過編碼、解碼后對應(yīng)得到的左視點深度視頻、右視點深度視頻進行虛擬視點繪制得到的虛擬視點視頻的峰值信噪比(PSNR，Peak Signal to Noise Ratio)的最大值作為最優(yōu)的虛擬視點繪制質(zhì)量。在本實施中，采用德國HHI實驗室提供的三維視頻測試序列“ BookArrival”、“DoorFlowers，，、“LeavingLaptop” 和韓國 Gwangiu Institute of Science andTechnology (GIST)提供的三維視頻測試序列“Newspaper”作為原始三維視頻，這四個三維視頻測試序列的各幅彩色圖像和各幅深度圖像的分辨率均為1024X768。對于“BookArrival”、“DoorFlowers”、“LeavingLaptop”三維視頻測試序列，將第9個參考視點 作為原始三維視頻的左視點，將第11個參考視點作為原始三維視頻的右視點，將第10個視點作為原始三維視頻的虛擬視點；對于“Newspaper”三維視頻測試序列，將第4個參考視點作為原始三維視頻的左視點，將第6個參考視點作為原始三維視頻的右視點，將第5個視點作為原始三維視頻的虛擬視點。圖2a和圖2b分別給出了“Newspaper”的第4個和第6個參考視點的彩色圖像；圖2c和圖2d分別給出了“ Newspaper”的第4個和第6個參考視點的深度圖像；圖3a和圖3b分別給出了“BookArrival”的第9個和第11個參考視點的彩色圖像；圖3c和圖3d分別給出了“ BookArrival”的第9個和第11個參考視點的深度圖像；圖4a和圖4b分別給出了 “DoorFlowers”的第9個和第11個參考視點的彩色圖像；圖4c和圖4d分別給出了“DoorFlowers”的第9個和第11個參考視點的深度圖像；圖5a和圖5b分別給出了“LeavingLaptop”的第9個和第11個參考視點的彩色圖像；圖5c和圖5d分別給出了 “LeavingLaptop”的第9個和第11個參考視點的深度圖像。②由于深度是用來表征場景幾何的負載信息，因此深度信息的編碼質(zhì)量會對后期虛擬視點圖像的繪制產(chǎn)生影響，并且由于人眼感知是對彩色視頻圖像進行的，因此彩色視頻圖像的編碼質(zhì)量也會直接對后期虛擬視點圖像的繪制質(zhì)量產(chǎn)生影響。由于原始左右視點彩色視頻的編碼失真和原始左右視點深度視頻的編碼失真都會對虛擬視點圖像繪制產(chǎn)生影響，因此本發(fā)明建立對原始左視點彩色視頻、原始右視點彩色視頻與原始左視點深度
視頻、原始右視點深度視頻進行編碼的碼率分配模型，記為mmPv (ぺ(α)，&(仏)》’以保證
獲得最優(yōu)的虛擬視點繪制質(zhì)量，其中，min{}為取最小值函數(shù)，R。表示預(yù)先設(shè)定的對原始左視點彩色視頻、原始右視點彩色視頻與原始左視點深度視頻、原始右視點深度視頻進行編碼的總碼率，Rt(Qt)表示采用彩色視頻量化步長Qt對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的碼率，Rd(Qd)表示采用深度視頻量化步長Qd對原始左視點深度視頻、原始右視點深度視頻進行編碼的碼率，Dv (Rt (Qt)，Rd(Qd))表示采用彩色視頻量化步長Qt對原始左視點彩色視頻、原始右視點彩色視頻進行編碼得到的解碼左視點彩色視頻、解碼右視點彩色視頻和采用深度視頻量化步長Qd對對應(yīng)的原始左視點深度視頻、原始右視點深度視頻進行編碼得到的解碼左視點深度視頻、解碼右視點深度視頻進行虛擬視點繪制的繪制失真。③在最優(yōu)的虛擬視點繪制質(zhì)量下，通過二次擬合方法建立用來編碼原始左視點彩色視頻、原始右視點彩色視頻的彩色視頻量化步長Qt與用來編碼原始左視點深度視頻、原始右視點深度視頻的深度視頻量化步長Qd的二次關(guān)系模型，記為=aQ2t +bQt +c，其中，a、b和c均為込=aQ2t +bQt +c中的模型參數(shù)。在此具體實施例中，步驟③的具體過程為③-I、任取一個多視點視頻序列，任取ー個不大于64的編碼量化步長作為原始左視點彩色視頻、原始右視點彩色視頻的編碼量化步長，記為Qttl,對于Qttl選取N個各不相同的編碼量化步長作為原始左視點深度視頻、原始右視點深度視頻的編碼量化步長，分別記為Qdtl, Qdl,…，Qdi,…，Qd(N-D，將對采用Qttl分別對原始左視點彩色視頻、原始右視點彩色視頻進行編碼得到的解碼左視點彩色視頻、解碼右視點彩色視頻和采用Qdi分別對原始 左視點深度視頻、原始右視點深度視頻進行編碼得到的解碼左視點深度視頻、解碼右視點深度視頻進行虛擬視點繪制得到的虛擬視點視頻記為Ivi (Qto)，將原始左視點彩色視頻與原始右視點彩色視頻之間存在的中間彩色視頻記為IOTg，分別計算Ivtl(Qtci), Ivi(Qto) …，Ivi (Qto)，…，Iv(N-I) (Qto)與し8 的峰值信噪比，分別記為 PSNRtl (Qto)，PSNR1 (Qto)，…，PSNRi (Qto), ...,PSNIV1 (Qttl),然后從 PSNRtl (Qttl) ,PSNR1 (Qto), ...,PSNRi(Qto), -,PSNR^1 (Qto)中選取數(shù)值最大的峰值信噪比，記為PSNRmax(Qttl)，再將PSNRmax(Qttl)作為最優(yōu)的虛擬視點繪制質(zhì)量，獲得此最優(yōu)的虛擬視點繪制質(zhì)量的彩色視頻和深度視頻編碼量化步長對，記為(0 Ο，0Γ)^.，ΚΝ<51，Ο< <Ν-1。在此，取Qto = 6. 5, N = 15, Qdo = 8, Qdl = 10, Qd2 = 13, Qd3 = 16, Qd4 = 20, Qd5 =26，Qd6 — 32，Qd7 — 40，Qd8 — 52，Qd9 — 64，Qdlo — 80，Qdll — 104，Qdl2 — 128，Qdl3 — 160，Qdl4=208。③-2、選取M個大于Qttl且各不相同的編碼量化步長,分別記為Qtl,…，Qtj, ···,QtM，對于任意ー個Qu選取N個各不相同的編碼量化步長作為原始左視點深度視頻、原始右視點深度視頻的編碼量化步長，分別記為QdCi，QdI …，Qdi …，Qd -i)，計算得到對米用該M個不同的編碼量化步長分別對原始左視點彩色視頻、原始右視點彩色視頻進行編碼得到的解碼左視點彩色視頻、解碼右視點彩色視頻和對應(yīng)的原始左視點深度視頻、原始右視點深度視頻進行編碼得到的解碼左視點深度視頻、解碼右視點深度視頻進行虛擬視點繪制的最優(yōu)的虛擬視點繪制質(zhì)量，對應(yīng)的分別記為PSNRmax(Qtl), PSNRmac(Qt2),…，PSNRmax(Qtj),…，PSNRfflax (Qa)，獲得此組最優(yōu)的虛擬視點繪制質(zhì)量的彩色視頻和深度視頻編碼量化步長對，分別記為(Qn，QT)，((L·Q°JD，…，(Q,，…，(QtM，QZ)，其中，I 彡 j 彡 m，1 彡 μ 彡 51。在此,取M = 5, Qtl = 10, Qt2 = 16, Qt3 = 26, Qt4 = 40, Qt5 = 64, N = 15, Qdo = 8,Qdi — 10，Qd2 — 13，Qd3 — 16，Qd4 — 20，Qd5 — 26，Qd6 — 32，Qd7 — 40，Qd8 — 52，Qd9 — 64，Qdlo=80, Qdll = 104, Qdl2 = 128, Qdl3 = 160, Qdl4 = 208。③-3、選取L個多視點視頻序列，對于每一個視頻序列分別執(zhí)行步驟③-I至步驟
③_2，得到L組最優(yōu)的虛擬視點繪制質(zhì)量的彩色視頻和深度視頻編碼量化步長對，然后采用二次擬合方法對總共的(L+1)組最優(yōu)的虛擬視點繪制質(zhì)量的彩色視頻和深度視頻編碼量化步長對進行擬合，得到在最優(yōu)的虛擬視點繪制質(zhì)量下，對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的彩色視頻量化步長Qt與對原始左視點深度視頻、原始右視點深度視頻進行編碼的深度視頻量化步長Qd的二次關(guān)系模型&其中，a、b和c均
為仏=aQf +bQt +c中的模型參數(shù)，L彡I。在此，取L = 3，Qt與Qd的 ニ 次關(guān)系模型Qd = aQ^ +bQt+c = 0.00665 x Q1t - 0.1099x ^ + 32.14，即取 a = 0· 00665, b = _0· 1099, c =
32. 14。圖6給出了 “Newspaper”三維視頻測試序 列采用本發(fā)明方法的二次原始左右視點彩色視頻的編碼量化步長與原始左右視點深度視頻的編碼量化步長模型的效果示意圖，圖7給出了“ BookArrival”三維視頻測試序列采用本發(fā)明方法的二次原始左右視點彩色視頻的編碼量化步長與原始左右視點深度視頻的編碼量化步長模型的效果示意圖，圖8給出了 “DoorFlowers”三維視頻測試序列采用本發(fā)明方法的二次原始左右視點彩色視頻的編碼量化步長與原始左右視點深度視頻的編碼量化步長模型的效果示意圖，圖9給出了“LeavingLaptop”三維視頻測試序列采用本發(fā)明方法的二次原始左右視點彩色視頻的編碼量化步長與原始左右視點深度視頻的編碼量化步長模型的效果示意圖，從圖6、圖7、圖8和圖9中可以看出由Qt與Qd的二次關(guān)系模型得到的最優(yōu)編碼(Qt，Qd)對經(jīng)過編碼傳輸后，能夠在解碼端得到最優(yōu)的虛擬視點繪制質(zhì)量。④在總碼率限制下，要考慮降低復(fù)雜度，并且需要合理地控制對原始左視點彩色視頻、原始右視點彩色視頻與原始左視點深度視頻、原始右視點深度視頻進行編碼的編碼量化步長，使得彩色視頻和深度視頻輸出的碼率滿足目標總碼率要求，因此本發(fā)明通過線性擬合方法建立對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的碼率Rt與1/Qt的關(guān)系模型，記為及Ξ毛/ft+Zi，通過線性擬合方法建立對原始左視點深度視頻、原始右視點深度視頻進行編碼的碼率Rd與1/Qd的關(guān)系模型，記為Rd = Xd IQd +Ld，其中，Xt和Lt均為Rt = Xt IQt +A中的模型參數(shù)，Xd和Ld均為& Ξ Xd IQd +ん中的模型參數(shù)。在此具體實施例中，步驟④的具體過程為④-I、根據(jù)對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的平均碼率集合{Rtk I O < k < T-1}和對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的編碼量化步長集合{Qtk|0 < k ^ T-1}，采用線性擬合方法建立對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的編碼量化步長集合{Qtk|0<k<T-l}中的任意ー個量化步長Qt與對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的平均碼率集合{Rtk|0<k<T-l}中的任意一個碼率Rt的關(guān)系模型，記為=XtIQt +A，其中，Xt和Lt均為尺t =XtIQt + A中的模型參數(shù)，τ表示對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的編碼次數(shù)。④_2、根據(jù)對原始左視點深度視頻、原始右視點深度視頻進行編碼的平均碼率集合{Rdk I O < k彡D-1}和對原始左視點深度視頻、原始右視點深度視頻進行編碼的編碼量化步長集合{Qdk|0 < k ^ D-1}，采用線性擬合方法建立對原始左視點深度視頻、原始右視點深度視頻進行編碼的編碼量化步長集合{Qdk|0彡k彡D-1}中的任意ー個量化步長Qt與對原始左視點深度視頻、原始右視點深度視頻進行編碼的平均碼率集合{Rdk|0彡k彡D-1}中的任意一個碼率Rd的關(guān)系模型，記為A ξ L /仏+ん，其中，Xd和Ld均為& =XJQd^Ld中的模型參數(shù)，D表示對原始左視點深度視頻、原始右視點深度視頻進行編碼的編碼次數(shù)。圖10 給出了對“Newspaper”、“BookAr;rival'“DoorFlowers”和“LeavingLaptop”的原始左右視點彩色視頻的編碼量化步長Qt與碼率Rt的關(guān)系模型進行線性擬合的曲線示意圖，圖 11 給出了對“Newspaper，，、“BookAr;rival'“DoorFlowers，，和“LeavingLaptop” 的原始左右視點深度視頻的編碼量化步長Qd與碼率Rd的關(guān)系模型進行線性擬合的曲線示意圖，從圖10和圖11中可以看出線性擬合能很好地反映編碼量化步長與碼率之間的關(guān)系。⑤根據(jù)Qt與Qd的二次關(guān)系模型込=aQf +bQt +c、Rt與1/Qt的關(guān)系模型RgXtIQt +Lt、Rd與l/Qd的關(guān)系模型RdIXJQd +Ld及碼率分配模型
min{Z)v(^(gf),i d(gd))} ’即將 之 和 代
Rt(Q,>Rd (Qd)^RcQd = aQt + bQt + c^ Rt =Xt/Qt+Lt Rd =XdI Qd +Ld
Amm{Dv(Rt(QtlRd(Qd))}^^計算得到在最小的虛擬視點失真下的^與R。的關(guān)系:TT + ^i + n2, +Ld <凡，然后對+ A + n2 In +Ld <凡的兩邊取等
Qt aQt +bQt+cQt aQt +bQt+c
號并化成標準一元三次方程，得到在最小的虛擬視點失真下的Qt與R。的關(guān)系模型為
a(Rc ~Lt ~Ld) n3 (b(Rc-Lt-Ld)2 C(Rc-Lt-Ld)-Xd
---Qt + (----a)Qt +、----b)Qt-C = Oo
xt xt xt⑥在給定ー個總碼率R。的情況下，根據(jù)在最小的虛擬視點失真下的Qt與R。的關(guān)
系模型 a(A1「L + (hr^ _Lハ _a)Qf + {<Rc-Lt-Ld)-Xd _m _c = 0，可獲
取對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的最佳初始編碼量化步長，記為QT，然后根據(jù)Qt與Qd的二次關(guān)系模型Gd =aQf +bQt +C，可獲取對原始左視點深度視頻、原始右視點深度視頻進行編碼的最佳初始編碼量化步長，記為。在本實施例中，表I給出了本發(fā)明方法采用線性擬合得到的彩色視頻與深度視頻的編碼量化步長與碼率的關(guān)系模型的模型參數(shù)。采用本發(fā)明方法來確立對彩色視頻和深度視頻編碼的最佳初始編碼量化參數(shù)，采用四組不同的總碼率Rc進行編碼實驗，如表2所列。表I彩色視頻與深度視頻的編碼量化步長與碼率的關(guān)系模型的模型參數(shù)列表
權(quán)利要求
1.ー種三維視頻編碼的深度和彩色碼率分配方法，其特征在于包括以下步驟 ①將外部三維視頻捕獲工具捕獲得到的未經(jīng)處理的且顏色空間為YUV的彩色視頻及其對應(yīng)的深度視頻定義為原始三維視頻，在空域上該原始三維視頻包括原始左視點三維視頻和原始右視點三維視頻，原始左視點三維視頻包括原始左視點彩色視頻和原始左視點深度視頻，原始左視點彩色視頻主要由若干個幀組的原始左視點彩色圖像組成，原始左視點深度視頻主要由若干個幀組的原始左視點深度圖像組成，原始右視點三維視頻包括原始右視點彩色視頻和原始右視點深度視頻，原始右視點彩色視頻主要由若干個幀組的原始右視點彩色圖像組成，原始右視點深度視頻主要由若干個幀組的原始右視點深度圖像組成，其中，YUV顏色空間的三個顏色分量的第I個分 量為亮度分量并記為Y、第2個分量為第一色度分量并記為U及第3個分量為第二色度分量并記為V ； 將介于左視點與右視點之間的視點作為虛擬視點； 將利用原始左視點彩色視頻、原始右視點彩色視頻經(jīng)過編碼、解碼后對應(yīng)得到的左視點彩色視頻、右視點彩色視頻與原始左視點深度視頻、原始右視點深度視頻經(jīng)過編碼、解碼后對應(yīng)得到的左視點深度視頻、右視點深度視頻進行虛擬視點繪制得到的虛擬視點視頻的峰值信噪比的最大值作為最優(yōu)的虛擬視點繪制質(zhì)量； ②建立對原始左視點彩色視頻、原始右視點彩色視頻與原始左視點深度視頻、原始右視點深度視頻進行編碼的碼率分配模型，記為mm{代(《(の，&(仏))j ’以保證獲得最優(yōu)的虛擬視點繪制質(zhì)量，其中，min{}為取最小值函數(shù)，R。表示預(yù)先設(shè)定的對原始左視點彩色視頻、原始右視點彩色視頻與原始左視點深度視頻、原始右視點深度視頻進行編碼的總碼率，Rt(Qt)表示采用彩色視頻量化步長Qt對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的碼率，Rd(Qd)表示采用深度視頻量化步長Qd對原始左視點深度視頻、原始右視點深度視頻進行編碼的碼率，Dv(Rt (Qt)，Rd(Qd))表示采用彩色視頻量化步長Qt對原始左視點彩色視頻、原始右視點彩色視頻進行編碼得到的解碼左視點彩色視頻、解碼右視點彩色視頻和采用深度視頻量化步長Qd對對應(yīng)的原始左視點深度視頻、原始右視點深度視頻進行編碼得到的解碼左視點深度視頻、解碼右視點深度視頻進行虛擬視點繪制的繪制失真； ③在最優(yōu)的虛擬視點繪制質(zhì)量下，通過二次擬合方法建立用來編碼原始左視點彩色視頻、原始右視點彩色視頻的彩色視頻量化步長Qt與用來編碼原始左視點深度視頻、原始右視點深度視頻的深度視頻量化步長Qd的二次關(guān)系模型，記為=aQ2t +bQt +c，其中，a、b和c均為仏=aQf +bQt +c中的模型參數(shù)； ④通過線性擬合方法建立對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的碼率Rt與1/Qt的關(guān)系模型，記為及=Xt/Qt+Lt，通過線性擬合方法建立對原始左視點深度視頻、原始右視點深度視頻進行編碼的碼率Rd與1/Qd的關(guān)系模型，記為A = Xd IQd +Ld，其中，Xt和Lt均為及ξ Xi IQt +A中的模型參數(shù)，Xd和Ld均為& ^ Xd IQd +ん中的模型參數(shù)； ⑤根據(jù)Qt與Qd的二次關(guān)系模型=aQ2t+bQt +c、Rt與1/Qt的關(guān)系模型RfXtIQt+Lt、Rd與i/Rd的關(guān)系模型Rd三XJQd+Ld及碼率分配模型min{Z)v(^(aX^(a))} ’計算得到在最小的虛擬視點失真下的Qt與R。的關(guān)系
2.根據(jù)權(quán)利要求I所述的ー種三維視頻編碼的深度和彩色碼率分配方法，其特征在于所述的步驟③的具體過程為 ③-I、任取一個多視點視頻序列，任取ー個不大于64的編碼量化步長作為原始左視點彩色視頻、原始右視點彩色視頻的編碼量化步長，記為Qttl,對于Qttl選取N個各不相同的編碼量化步長作為原始左視點深度視頻、原始右視點深度視頻的編碼量化步長，分別記為Qdtl,Qdl…，Qdi，…，Qdfrl),將對采用Qttl分別對原始左視點彩色視頻、原始右視點彩色視頻進行編碼得到的解碼左視點彩色視頻、解碼右視點彩色視頻和采用Qdi分別對原始左視點深度視頻、原始右視點深度視頻進行編碼得到的解碼左視點深度視頻、解碼右視點深度視頻進行虛擬視點繪制得到的虛擬視點視頻記為Ivi (Qto)，將原始左視點彩色視頻與原始右視點彩色視頻之間存在的中間彩色視頻記為IOTg，分別計算Iv0(Qt0)，Ivl(Qto),…，Ivi(Qto),…，Iv(n-d (Qto)與 IOTg 的峰值信噪比，分別記為 PSNRtl(Qttl)，PSNR1 (Qto)，…，PSNRi (Qto)，…，PSNIV1 (Qto)，然后從 PSNRtl (Qto)，PSNR1 (Qto)，…，PSNRi (Qto)，…，PSNRn^1 (Qto)中選取數(shù)值最大的峰值信噪比，記為PSNRmax (Qto)，再將PSNRmax (Qto)作為最優(yōu)的虛擬視點繪制質(zhì)量，獲得此最優(yōu)的虛擬視點繪制質(zhì)量的彩色視頻和深度視頻編碼量化步長對，記為(β㈦2Γ)，其中，I彡N彡51,0彡i彡N-I ; ③-2、選取M個大于Qttl且各不相同的編碼量化步長,分別記為Qtl, ···, Qtj, ···, QtM,對于任意ー個Qw選取N個各不相同的編碼量化步長作為原始左視點深度視頻、原始右視點深度視頻的編碼量化步長，分別記為QdCi，QdI …，Qdi …，Qdm-I)，計算得到對米用該M個不同的編碼量化步長分別對原始左視點彩色視頻、原始右視點彩色視頻進行編碼得到的解碼左視點彩色視頻、解碼右視點彩色視頻和對應(yīng)的原始左視點深度視頻、原始右視點深度視頻進行編碼得到的解碼左視點深度視頻、解碼右視點深度視頻進行虛擬視點繪制的最優(yōu)的虛擬視點繪制質(zhì)量，對應(yīng)的分別記為PSNRmax(Qtl), PSNRmax(Qt2),…，PSNRmax(Qtj),…，PSNRfflax (Qa)，獲得此組最優(yōu)的虛擬視點繪制質(zhì)量的彩色視頻和深度視頻編碼量化步長對，分別記為(Qn，QT)，((L·Q°JD，…，(Q,，…，(QtM，QZ)，其中，I 彡 j 彡 m，1 彡 μ 彡 51; ③-3、選取L個多視點視頻序列，對于每一個視頻序列分別執(zhí)行步驟③-I至步驟③-2，得到L組最優(yōu)的虛擬視點繪制質(zhì)量的彩色視頻和深度視頻編碼量化步長對，然后采用二次擬合方法對總共的(L+1)組最優(yōu)的虛擬視點繪制質(zhì)量的彩色視頻和深度視頻編碼量化步長對進行擬合，得到在最優(yōu)的虛擬視點繪制質(zhì)量下，對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的彩色視頻量化步長Qt與對原始左視點深度·視頻、原始右視點深度視頻進行編碼的深度視頻量化步長Qd的二次關(guān)系模型&其中，a、b和c均為仏=aQf +bQt +c中的模型參數(shù)，L彡I。
3.根據(jù)權(quán)利要求I或2所述的ー種三維視頻編碼的深度和彩色碼率分配方法，其特征在于所述的步驟④的具體過程為 ④-I、根據(jù)對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的平均碼率集合(RtJO^ k彡T-1}和對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的編碼量化步長集合{Qtk|0 < k ^ T-1}，采用線性擬合方法建立對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的編碼量化步長集合{Qtk|0<k<T-l}中的任意ー個量化步長Qt與對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的平均碼率集合{Rtk|0<k<T-l}中的任意一個碼率Rt的關(guān)系模型，記為Rt = Xt IQt + A，其中，Xt和Lt均為及Ξ Xt IQt +4中的模型參數(shù)，T表示對原始左視點彩色視頻、原始右視點彩色視頻進行編碼的編碼次數(shù)； ④-2、根據(jù)對原始左視點深度視頻、原始右視點深度視頻進行編碼的平均碼率集合(RdJO^ k彡D-1}和對原始左視點深度視頻、原始右視點深度視頻進行編碼的編碼量化步長集合{Qdk|0 < k ^ D-1}，采用線性擬合方法建立對原始左視點深度視頻、原始右視點深度視頻進行編碼的編碼量化步長集合{Qdk|0彡k彡D-1}中的任意ー個量化步長Qt與對原始左視點深度視頻、原始右視點深度視頻進行編碼的平均碼率集合{Rdk|0彡k彡D-1}中的任意一個碼率Rd的關(guān)系模型，記為只d =XdIQd +Ld，其中，Xd和し均為Ki三XJQd +ん中的模型參數(shù)，D表示對原始左視點深度視頻、原始右視點深度視頻進行編碼的編碼次數(shù)。
全文摘要
本發(fā)明公開了一種三維視頻編碼的深度和彩色碼率分配方法，其在獲得最優(yōu)的虛擬視點繪制質(zhì)量情況下，通過二次擬合方法建立對原始左視點彩色視頻、原始右視點彩色視頻編碼量化步長與原始左視點深度視頻、原始右視點深度視頻編碼量化步長的關(guān)系模型，進而將彩色和深度比特分配問題描述為一個標準一元三次方程，再獲得在一定碼率下對原始左視點彩色視頻、原始右視點彩色視頻和原始左視點深度視頻、原始右視點深度視頻進行編碼的最佳初始編碼量化參數(shù)，最后采用最佳初始編碼量化參數(shù)分別對原始左視點彩色視頻、原始右視點彩色視頻與原始左視點深度視頻、原始右視點深度視頻進行編碼，不僅提高了虛擬視點視頻的率失真性能，而且簡化了碼率分配操作過程。
文檔編號H04N15/00GK102685531SQ20121012201
公開日2012年9月19日 申請日期2012年4月24日 優(yōu)先權(quán)日2012年4月24日
發(fā)明者彭宗舉, 朱高鋒, 李福翠, 王曉東, 蔣剛毅, 邵楓, 郁梅 申請人:寧波大學(xué)