本發(fā)明屬于視頻編解碼技術(shù)領(lǐng)域，具體涉及一種基于貝葉斯準則的3D視頻深度圖幀內(nèi)預測模式選擇方法。
背景技術(shù)：
新興的多視點加深度圖的視頻格式是下一代3D視頻系統(tǒng)的最主要的格式。它采用少量視點的紋理圖信息和附加的相應(yīng)視點的深度圖信息來表示一個3D視頻場景，而更多的視點信息可由基于深度圖像的3D渲染技術(shù)來合成出來。由于在當前的3D視頻系統(tǒng)中，深度圖對于提供視差信息并引導合成過程起著關(guān)鍵性的作用，所以編碼深度圖應(yīng)當極為嚴謹。因此，在3D-HEVC中為深度幀內(nèi)編碼產(chǎn)生了一些新的技術(shù)，如單深度模式(SDM)、深度建模模式(DMM)、分段直流編碼(SDC)和視圖合成優(yōu)化(VSO)。而這些工具與HEVC幀內(nèi)編碼模塊一起協(xié)作編碼時，深度圖幀內(nèi)編碼的的復雜度急劇增加?；谶@個現(xiàn)狀，一種有效的深度圖幀內(nèi)預測模式的選擇算法變得尤為重要。
文獻“Park,C.S.:‘Edge-based intra mode selection for depth-map coding in 3D-HEVC’,IEEE Trans.on Imag.Proc.,2015,24(1),pp.155-162”提出了一種基于邊緣的DMM跳過算法，有效地去除了傳統(tǒng)HEVC幀內(nèi)預測模式和DMMs之間的冗余。而在文獻“Miok,K.,Nam,L.,and Li,S.:‘Fast single depth intra mode decision for depth map coding in 3D-HEVC’,Int.Conf.on ICMEW,Turin,Italian,June 2015,pp.1-6”中，Mirk M等人設(shè)計了一種快速算法，這種算法通過考慮方差和估計失真來提前確定四叉樹編碼結(jié)構(gòu)。盡管如此，在現(xiàn)有的3D-HEVC技術(shù)里，深度圖幀內(nèi)預測編碼所消耗的時間依舊很高。
現(xiàn)有的包含單深度模式(SDM)的深度圖幀內(nèi)模式選擇算法有三個步驟：
步驟一：對于SDM，預測塊通過直接復制相鄰塊(左中或上中)的模式到當前塊中。編碼器通過比較兩個候選塊的率失真(RD)代價來確定所選模式。
步驟二：傳統(tǒng)最優(yōu)模式(CIM)通過比較所有其他的候選模式的率失真(RD)代價來確定所選模式。這里的所有模式包括傳統(tǒng)的HEVC幀內(nèi)模式和DMMs模式。值得注意的是，所有候選模式在這一步都會被編碼兩次，并用來表示SDC殘差信號和非SDC殘差信號。
步驟三：步驟二中得到的最優(yōu)模式將和步驟一中的SDM比較率失真(RD)代價，并由此得到最終的最佳幀內(nèi)模式。
這里我們定義步驟一、二中的最小率失真代價(RD-Cost)為SDMcost和CIMcost，它們的計算方式如公式(3)所示。
由于SDM僅有兩個候選模式，如表1所示，SDM相對于傳統(tǒng)的幀內(nèi)編碼模式所耗時間約占2.55％。
表1選擇SDM的PU的百分比以及SDM消耗的時間
通常，在深度圖的平滑區(qū)域內(nèi)，編碼塊CU選擇SDM預測模式的占比極高。表1顯示了在不同的量化參數(shù)下，約有36％，50％，60％和70％的PU選擇SDM作為最佳幀內(nèi)模式。而現(xiàn)有的編碼技術(shù)并沒有考慮到深度圖幀內(nèi)模式中SDM的高占比和低時耗的特點，換言之，現(xiàn)有的深度圖幀內(nèi)模式選擇算法的復雜程度仍可以進一步地降低。
技術(shù)實現(xiàn)要素：
本發(fā)明的目的在于提出一種基于貝葉斯準則的3D視頻深度圖幀內(nèi)預測模式選擇方法，在保證合成視角中視頻質(zhì)量的前提下，簡化深度圖像幀內(nèi)預測模式選擇的計算過程。
實現(xiàn)本發(fā)明目的的技術(shù)解決方案為：一種基于貝葉斯準則的3D視頻深度圖幀內(nèi)預測模式選擇方法，包括如下步驟：
步驟1：對于輸入視頻序列，判斷當前編碼幀是否為學習幀，如果是，則進行步驟2，如果不是，則跳至步驟3；
步驟2：進行模型學習過程，即用訓練集數(shù)據(jù)訓練貝葉斯分類模型，最后返回步驟1；
步驟3：將給定預測單元PU的SDMcost作為輸入數(shù)據(jù)輸入到訓練好的分類模型中，并得到模型輸出分類結(jié)果S0和S1，SDMcost表示單深度即SDM模式選擇的最小率失真代價，S0和S1分別表示SDM模式和其他傳統(tǒng)幀內(nèi)模式；
步驟4：對S0類，幀內(nèi)模式選擇過程只進行SDM模式選擇；而對S1類，幀內(nèi)模式選擇過程進行傳統(tǒng)的幀內(nèi)模式預測即CIM模式選擇；
步驟5：判斷當前編碼塊即CU是否為最后編碼塊，若是，則結(jié)束當前幀編碼，若不是，則返回步驟3。
進一步地，步驟1中所述當前編碼幀若為學習幀，則為步驟2提供的訓練數(shù)據(jù)包括P(S0)，P(S1)，P(x|S1)，P(x|S0)，SDMcost和CIMcost；
P(S0)、P(S1)分別表示類別S0、S1的先驗概率；x＝SDMcost，P(x|S1)、P(x|S0)表示兩種類別下的似然函數(shù)，計算方式如下：
其中i＝0或1，參數(shù)ui和σi的計算方式如公式(2)，xki表示樣本中Si類的k個CU的SDMcost：
而SDMcost和CIMcost表示SDM模式選擇和傳統(tǒng)模式選擇的最小率失真代價；
SDMcost和CIMcost的計算方式如下：
Mcost＝DISVSO+λ×Rate(M) (3)
其中，Mcost表示SDMcost或CIMcost；DISVSO是模式M的VSO的值，Rate(M)是模式M的比特率代價，λ是拉格朗日乘子。
進一步地，步驟2中所述用訓練集數(shù)據(jù)訓練貝葉斯分類模型，所要訓練的貝葉斯分類模型Ψ是一個含懲罰因子的二分類模型，數(shù)學表達式如下：
其中，p(x|S0)/p(x|S1)為似然比，T為分類閾值；
針對上述二分類模型，采用步驟1中得到的訓練集進行監(jiān)督學習。
進一步地，所述分類閾值T由如下公式確定：
其中，懲罰因子F0,1是針對錯誤分類情況S1→S0對模型進行的糾正，F(xiàn)1,0是針對錯誤分類情況S0→S1對模型進行的糾正，計算方式如下：
其中，F(xiàn)1,0的取值能夠調(diào)整，取值越大，編碼速度越快。
進一步地，步驟4所述對S0類，幀內(nèi)模式選擇過程只進行SDM模式選擇；而對S1類，幀內(nèi)模式選擇過程進行傳統(tǒng)的幀內(nèi)模式預測即CIM模式選擇，其中：
所述SDM模式選擇，預測塊通過直接復制相鄰塊的模式到當前塊中，編碼器通過比較左中或上中兩個候選塊的率失真RD代價來確定所選模式；
所述傳統(tǒng)幀內(nèi)模式預測即CIM模式選擇，通過比較所有其他的候選模式的率失真RD代價來確定所選模式；這里所有其他的候選模式包括傳統(tǒng)的HEVC幀內(nèi)模式和DMMs模式，所有候選模式都會被編碼兩次，并用來表示SDC殘差信號和非SDC殘差信號。
本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點在于：(1)利用SDM深度模式計算復雜度低和在深度圖幀內(nèi)編碼占比高的特點，創(chuàng)造性的將所有編碼預測塊分為SDM塊和其他塊，并對SDM塊提前結(jié)束深度圖像幀內(nèi)預測模式選擇過程，大大降低了編碼復雜度；(2)從系統(tǒng)角度出發(fā)優(yōu)化貝葉斯風險來處理深度幀內(nèi)編碼模式?jīng)Q策問題；(3)利用對錯誤決策的RD性能表現(xiàn)和編碼時間的懲罰因子設(shè)定分類器閾值，在降低復雜度的同時，保證了良好的編碼性能。
附圖說明
圖1是本發(fā)明基于貝葉斯準則的3D視頻深度圖幀內(nèi)預測模式選擇方法的流程圖。
具體實施方式
本發(fā)明基于貝葉斯準則的3D視頻深度圖幀內(nèi)預測模式選擇方法，PU的幀內(nèi)模式選擇被考慮為一個二分類器問題Ψ:S＝{S0,S1},其中Ψ是一個分類器，S0和S1分別表示SDM模式和其他傳統(tǒng)幀內(nèi)模式。而Ψ的動作集{α0,α1}也同樣被定義了。如果一個給定的預測單元(PU)屬于S0，則執(zhí)行α0，即跳過步驟二的傳統(tǒng)幀內(nèi)模式選擇。否則，執(zhí)行α1，即包括所有步驟的候選模式選擇。
結(jié)合圖1，上述方法具體包括如下步驟：
步驟1：對于輸入視頻序列，判斷當前編碼幀是否為學習幀(用為訓練集)，如果是，則進行步驟2，如果不是，則跳至步驟3；
步驟2：進行模型學習過程，即用訓練集數(shù)據(jù)訓練貝葉斯分類模型，最后返回步驟1；
步驟3：將給定預測單元PU的SDMcost作為輸入數(shù)據(jù)輸入到訓練好的分類模型中，并得到模型輸出分類結(jié)果S0和S1，SDMcost表示單深度即SDM模式選擇的最小率失真代價，S0和S1分別表示SDM模式和其他傳統(tǒng)幀內(nèi)模式；
步驟4：對S0類，幀內(nèi)模式選擇過程只進行SDM模式選擇。而對S1類，幀內(nèi)模式選擇過程進行傳統(tǒng)的幀內(nèi)模式預測即CIM模式選擇；
步驟5：判斷當前編碼塊即CU是否為最后編碼塊，若是，則結(jié)束當前幀編碼，若不是，則返回步驟3。
在上述步驟中，步驟1中所述當前編碼幀若為學習幀，則為步驟2提供的訓練數(shù)據(jù)包括P(S0)，P(S1)，P(x|S1)，P(x|S0)，SDMcost和CIMcost；
P(S0)、P(S1)分別表示類別S0、S1的先驗概率；x＝SDMcost，P(x|S1)、P(x|S0)表示兩種類別下的似然函數(shù)，計算方式如下：
其中i＝0或1，參數(shù)ui和σi的計算方式如公式(2)，xki表示樣本中Si類的k個CU的SDMcost：
而SDMcost和CIMcost表示SDM模式選擇和傳統(tǒng)模式選擇的最小率失真代價；
SDMcost和CIMcost的計算方式如下：
Mcost＝DISVSO+λ×Rate(M) (3)
其中，Mcost表示SDMcost或CIMcost；DISVSO是模式M的VSO的值，Rate(M)是模式M的比特率代價，λ是拉格朗日乘子。
在上述步驟中，步驟2中所述用訓練集數(shù)據(jù)訓練貝葉斯分類模型，所要訓練的貝葉斯分類模型Ψ是一個含懲罰因子的二分類模型，數(shù)學表達式如下：
其中，p(x|S0)/p(x|S1)為似然比，T為分類閾值；
所述分類閾值T由如下公式確定：
其中，懲罰因子F0,1是針對錯誤分類情況S1→S0對模型進行的糾正，F(xiàn)1,0是針對錯誤分類情況S0→S1對模型進行的糾正，計算方式如下：
其中，F(xiàn)1,0的取值能夠調(diào)整，取值越大，編碼速度越快。
針對上述二分類模型，采用步驟1中得到的訓練集進行監(jiān)督學習(模型訓練)。
在上述步驟中，步驟4中：
所述SDM模式選擇，預測塊通過直接復制相鄰塊的模式到當前塊中，編碼器通過比較左中或上中兩個候選塊的率失真RD代價來確定所選模式；
所述傳統(tǒng)幀內(nèi)模式預測即CIM模式選擇，通過比較所有其他的候選模式的率失真RD代價來確定所選模式；這里所有其他的候選模式包括傳統(tǒng)的HEVC幀內(nèi)模式和DMMs模式，所有候選模式都會被編碼兩次，并用來表示SDC殘差信號和非SDC殘差信號。
下面通過實施例，對本發(fā)明的技術(shù)方案作進一步具體的說明。
實施例
本實施例基于貝葉斯分類器的3D視頻深度圖像幀內(nèi)預測模式快速選擇算法流程如圖1所示，其步驟包括：
步驟1：對于輸入視頻序列，判斷當前編碼幀是否為學習幀(用為訓練集)，如果是，則進行步驟2，如果不是，則跳至步驟3；
步驟2：進行模型學習過程，即用訓練集數(shù)據(jù)訓練貝葉斯分類模型。最后返回步驟1；
訓練數(shù)據(jù)包括P(S0)，P(S1)，P(x|S1)，P(x|S0)，SDMcost和CIMcost。P(S0)、P(S1)分別表示類別S0、S1的先驗概率。x＝SDMcost，P(x|S1)、P(x|S0)表示兩種類別的似然函數(shù)，其計算方式如公式(1)。而SDMcost和CIMcost表示SDM模式選擇和CIM傳統(tǒng)模式選擇的最小率失真代價，SDMcost和CIMcost的計算方式如公式(3)。
所述貝葉斯分類模型是一個含懲罰因子的二分類模型，它的模型數(shù)學表達式如公式(4)。所述分類數(shù)學模型中，閾值T的計算方式如公式(5)，其中懲罰因子F0,1和F1,0分別是針對錯誤分類情況S1→S0和S0→S1而對模型進行的糾正。它們的計算方式如公式(6)。F1,0由習慣決定，它的值越大，編碼越快。針對這個二分類模型，我們用步驟一中得到的訓練集進行監(jiān)督學習(模型訓練)。
步驟3：將給定PU的SDMcost作為輸入數(shù)據(jù)輸入到訓練好的分類模型中，并得到模型輸出分類結(jié)果S0和S1；
步驟4：對S0類，幀內(nèi)模式選擇過程只進行SDM模式選擇。而對S1類，幀內(nèi)模式選擇過程進行傳統(tǒng)的最優(yōu)幀內(nèi)預測模式(CIM)選擇；
所述SDM模式選擇，預測塊通過直接復制相鄰塊(左中或上中)的模式到當前塊中。編碼器通過比較兩個候選塊的率失真(RD)代價來確定所選模式。所述傳統(tǒng)最優(yōu)模式(CIM)，通過比較所有其他的候選模式的率失真(RD)代價來確定所選模式。這里的所有模式包括傳統(tǒng)的HEVC幀內(nèi)模式和DMMs模式。所有候選模式在這一步都會被編碼兩次，并用來表示SDC殘差信號和非SDC殘差信號。
步驟5：判斷當前編碼塊(CU)是否為最后編碼塊，若是，則結(jié)束當前幀編碼，若不是，則返回步驟3。
上述算法被集成到3D-HEVC測試模型(HTM13.0)編碼器中。測試序列和參數(shù)配置參考文獻“Mller,K.,and Vetro,A.:‘Common test conditions of 3DV core experiments’,ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11JCT3V-G1100,January 2014”中提出的標準。所有3個視點的幀都作為I幀被編碼。文獻“Park,C.S.:‘Edge-based intra mode selection for depth-map coding in 3D-HEVC’,IEEE Trans.on Imag.Proc.,2015,24(1),pp.155-162”和文獻“Miok,K.,Nam,L.,and Li,S.:‘Fast single depth intra mode decision for depth map coding in 3D-HEVC’,Int.Conf.on ICMEW,Turin,Italian,June 2015,pp.1-6”提出的快速算法將與本發(fā)明算法在同樣的平臺上進行比較。對于每個視頻序列，前10幀將用來進行離線的分類器訓練過程。
表2本發(fā)明算法和兩文獻中算法的結(jié)果對比
其具體實施步驟如下：
步驟1：對前10幀視頻序列進行傳統(tǒng)編碼方式，并將編碼預測模式數(shù)據(jù)(包括P(S0)、P(S1)、P(x|S1)、P(x|S0)、SDMcost和CIMcost)記錄下來用于后續(xù)模型訓練；
步驟2：用前10幀已編碼訓練集數(shù)據(jù)學習訓練貝葉斯分類模型。所述貝葉斯模型表達式如公式(2)所示。
步驟3：將10幀以后的待編碼幀中給定PU的SDMcost作為輸入數(shù)據(jù)輸入到訓練好的分類模型中，并得到模型輸出分類結(jié)果S0和S1；
步驟4：對S0類，幀內(nèi)模式選擇過程只進行SDM模式選擇。而對S1類，幀內(nèi)模式選擇過程進行傳統(tǒng)的最優(yōu)幀內(nèi)預測模式(CIM)選擇；
步驟5：返回步驟3；
表2給出了鑒于編碼時間和BDBR(合成視點總比特率的BD-Rate，以及合成視點的PSNR)的編碼性能比較。
本發(fā)明的算法可以節(jié)省約53％的時間，而相應(yīng)的前兩種對比快速算法僅僅能節(jié)省5％和30％的時間。這是因為第一個算法只關(guān)注降低DMM決策的復雜性。在第二個算法中，它使用方差和預估失真作為特征來提前決定編碼樹結(jié)構(gòu)。而實際上，方差是一個不穩(wěn)定的特征，尤其是在高QP的情況下，此時一些復雜的區(qū)域被直接當作單深度模式(SDM)來編碼了。由于SDM只占用可以忽略的時間消耗，它是沒有必要通過不準確的特征來提前確定編碼結(jié)構(gòu)的。此外，所有算法都稍有增加BDBR，而由于本發(fā)明加入了懲罰項，本發(fā)明提出的算法可以收獲一個好一些的BD性能表現(xiàn)。因此，本文提出的算法明顯優(yōu)于現(xiàn)有的算法。
本發(fā)明不局限于權(quán)利要求和上述實施例所涉及的內(nèi)容，只要是根據(jù)本發(fā)明的構(gòu)思所創(chuàng)造出來的任何發(fā)明，都應(yīng)歸屬于本發(fā)明的保護范圍之內(nèi)。