三維視頻編碼中降低復(fù)雜性的視圖間殘差預(yù)測的方法
【專利說明】三維視頻編碼中降低復(fù)雜性的視圖間殘差預(yù)測的方法
[0001]【相關(guān)申請的交叉引用】
[0002] 本發(fā)明主張申請于2013年6月11日，序列號為61/833,747,標(biāo)題為"A Scheme for Inter-view Residual Prediction Supporting Identical Motion Checking for 3D Video Coding"的美國臨時專利申請，以及申請于2013年12月27日，序列號為 61/921，147,標(biāo)題為 "A Scheme for Inter-view Residual Prediction for 3D Video Coding"的美國臨時專利申請的優(yōu)先權(quán)。將以上美國臨時專利申請以參考的方式并入本文 中。 【技術(shù)領(lǐng)域】
[0003] 本發(fā)明涉及三維以及多維視頻編碼。特別地，本發(fā)明涉及使用高級殘差預(yù)測的視 頻編碼。 【【背景技術(shù)】】
[0004] 三維電視技術(shù)是近年來的技術(shù)發(fā)展趨勢，其試圖給觀看者帶來轟動的觀看體 驗（viewing experience)。各種技術(shù)都被開發(fā)出來以使三維觀看成為可能。其中，多 視圖視頻（multi-view video)是三維電視應(yīng)用中的一個關(guān)鍵技術(shù)?，F(xiàn)有的視頻是二維 (two-dimensional)介質(zhì)，二維介質(zhì)只能給觀看者提供來自照相機視角的一個場景的單個 視圖。然而，多視圖視頻可以提供動態(tài)場景的任意視角，并為觀看者提供真實的感覺。三維 視頻格式還可包括與對應(yīng)紋理（texture)圖片相關(guān)的深度圖（depth map)。深度圖也必須 被編碼以呈現(xiàn)出三維視圖或多維視圖。
[0005] 在本領(lǐng)域中，已經(jīng)揭露了各種用于提高三維視頻編碼的編碼效率的技術(shù)。也有一 些開發(fā)活動對編碼技術(shù)進(jìn)行標(biāo)準(zhǔn)化。例如，國際標(biāo)準(zhǔn)化組織（International Organization for Standardization，ISO)中的 IS0/IEC JTC1/SC29/WG11 工作組開發(fā)了基于三維視頻編 碼標(biāo)準(zhǔn)的高效視頻編碼（High Efficiency Video Coding，HEVC)(命名為3D-HEVC)。于 3D編碼中，因為所有相機是從不同的視角來捕捉相同的場景，所以多視圖視頻包含了大量 的視圖間冗余。為了共享鄰近視圖的先前已編碼殘差信息，視圖間圖片中的當(dāng)前塊（PU) 的殘差信號可以通過對應(yīng)塊的殘差信號來預(yù)測，其中，對應(yīng)塊是由視差向量（disparity vector，DV)來定位的。
[0006] 圖1所示為根據(jù)3D-HEVC (HTM-9. 0)的當(dāng)前設(shè)計的高級殘差預(yù)測（advanced residual prediction，ARP)的示例，其中，使用時間預(yù)測的當(dāng)前視圖中的殘差信號是 通過參考視圖中的殘差預(yù)測信號來預(yù)測。ARP的主要過程如下所述，用于當(dāng)前預(yù)測單元 (prediction unit，PU)使用時間預(yù)測（即，參考圖片為時間參考圖片）的情形：
[0007] 1.當(dāng)前視圖Vc的參考圖片140的時間參考塊CurrRef 142是通過使用運動向量 (被稱為mvLX，X = 0或1)的當(dāng)前塊Curr 112的位置以及當(dāng)前視圖Vc的當(dāng)前圖片110中 當(dāng)前塊的參考索引來定位。
[0008] 2.對應(yīng)于當(dāng)前塊Curr 112的參考視圖的參考圖片120中的對應(yīng)塊Base 122是通 過使用當(dāng)前塊Curr 112的已推導(dǎo)DV的當(dāng)前塊Curr 112的位置來定位。
[0009] 3.用于參考視圖Vr中對應(yīng)塊Base 122的時間參考塊BaseRef 152是通過重使用 (re-using)當(dāng)前塊Curr 112的時間運動信息（即，mvLX以及參考索引）來定位。
[0010] 4.為了減少存儲器存取的帶寬，根據(jù)當(dāng)前3D-HEVC(HTM-9.0)標(biāo)準(zhǔn)，當(dāng)權(quán)重因 子（weighting factor)不為0時，于執(zhí)行運動補償之前，來自當(dāng)前塊的運動向量mvLX朝 (toward)固定參考圖片縮放。具體地，固定參考圖片被定義為每個參考圖片列表的第一時 間參考圖片。
[0011] 5.當(dāng)前PU/塊的時間殘差信號的殘差預(yù)測因子可被計算以作為參考視圖中這兩 個塊之間的差值（即，Base - BaseRef)。換句話說，當(dāng)前殘差（Curr - CurrRef)是通過殘差 預(yù)測因子（Base-BaseRef)來預(yù)測。
[0012] 圖2所示為用于使用時間預(yù)測的PU/塊編碼的ARP推導(dǎo)的示例。
[0013] 1.當(dāng)前時間預(yù)測殘差（圖中標(biāo)示為：當(dāng)前殘差）210形成于當(dāng)前塊Curr 112以及 對應(yīng)時間參考塊CurrRef 142之間。
[0014] 2.殘差預(yù)測信號（圖中標(biāo)示為：基礎(chǔ)殘差）220形成于參考視圖的對應(yīng)信號Base 122以及對應(yīng)時間參考塊BaseRef 152之間。
[0015] 3.最終殘差（final residual)是從當(dāng)前殘差與殘差預(yù)測信號之間的差值來推 導(dǎo)。
[0016] 在當(dāng)前PU使用視圖間預(yù)測（即，參考圖片為視圖間參考圖片），而不是使用時間預(yù) 測時，ARP的主要過程可如圖3所示來描述。
[0017] 1.參考視圖Vr中參考視圖圖片320的視圖間參考塊Base 322是由當(dāng)前視圖Vc 中當(dāng)前圖片310的當(dāng)前塊Curr312的視差運動向量330來定位。
[0018] 2.參考視圖中視圖間參考塊Base 322的時間參考塊BaseRef 352是使用時間運 動向量mvLX以及參考索引來定位，其中，LO運動信息首先被使用；如果LO運動信息不可 用，則使用Ll運動信息。
[0019] 3.當(dāng)前視圖中的對應(yīng)參考塊CurrRef 342通過重新使用當(dāng)前塊312的視差運動向 量330從參考視圖中視圖間參考塊Base 322的時間參考塊BaseRef 352的位置來定位。
[0020] 4.為了減小存儲器存取的帶寬，于當(dāng)前3D-HEVC(HTM_9.0)中，當(dāng)權(quán)重因子不為0 時，于執(zhí)行運動補償之前，來自視圖間參考塊Base 322的運動向量mvLO (或mvLl)朝固定 參考圖片縮放。固定圖片被定義為每個參考圖片列表的第一時間參考圖片。然而，當(dāng)來自 Base的mvLO是無效的，則來自Base的mvLl將被使用。如果來自Base的的mvLO以及mvLl 都是無效的，零向量將被使用，且參考圖片將被設(shè)置為當(dāng)前塊的預(yù)測方向的第一時間參考 圖片（列表O(LO)或列表1(Ll))。如果視圖間參考塊Base 322沒有LO MV，或用于視圖間 參考塊Base 322的列表0預(yù)測是視圖間視差補償預(yù)測，來自視圖間參考塊Base 322的運 動向量可能是無效的。
[0021] 5.當(dāng)前PU/塊的視圖間殘差信號的殘差預(yù)測因子可以計算為參考時間內(nèi)，即，另 一存取單元，這兩個塊之間的差值（CurrRef - BaseRef)。
[0022] 圖4所示為使用視圖間預(yù)測用于PU/塊的ARP推導(dǎo)的示例。
[0023] 1.當(dāng)前視圖間預(yù)測殘差（圖中標(biāo)示為：當(dāng)前殘差）410形成于當(dāng)前塊Curr 312以 及視圖間參考塊Base 322之間。
[0024] 2.殘差預(yù)測信號（圖中標(biāo)示為：殘差預(yù)測）420形成于當(dāng)前視圖的對應(yīng)參考塊 CurrRef 342以及參考視圖中視圖間參考塊Base 322的時間參考塊BaseRef 352之間。
[0025] 3.最終殘差是從當(dāng)前殘差以及殘差預(yù)測信號之間的差值來推導(dǎo)。
[0026] 圖5示出了使用時間預(yù)測的用于PU/塊ARP推導(dǎo)的圖示示例。塊510表示當(dāng)前視 圖（即，視圖1)的當(dāng)前塊，塊520以及塊530分別指于時間Tj的參考視圖（視圖0)中當(dāng) 前塊510的表示，以及時間Ti的來自相同視圖（視圖1)的當(dāng)前塊510的時間預(yù)測。運動 向量550是指相同視圖中時間Ti時從當(dāng)前塊510到塊530的運動。因為視圖1的當(dāng)前塊 510以及視圖0的對應(yīng)塊520表示兩個不同視圖中相同對象的投影，這兩個塊會共享相同運 動信息。因此，通過應(yīng)用運動向量550( 即，MV 560 =MV 550)的運動信息，時間Tj的視圖 0的對應(yīng)塊520的時間Ti的視圖0的時間預(yù)測塊540可以從視圖0的對應(yīng)塊520來定位。 接著，對應(yīng)塊520的殘差（即，540)由一個權(quán)重因子相乘，且與對應(yīng)塊（即，520) -起使用 以形成當(dāng)前塊（即，510)的預(yù)測因子。
[0027] 圖6所示為用于當(dāng)前視圖Vl中當(dāng)前圖片610的當(dāng)前塊612的具有兩個不同運動 向量（L0 MV 640以及LI MV 650)的ARP雙向預(yù)測模式的示例。當(dāng)前視圖的當(dāng)前圖片的當(dāng) 前HJ 612的運動信息被應(yīng)用于參考視圖VO的參考圖片660中的對應(yīng)塊662。接著，根據(jù)當(dāng) 前PU的LO以及Ll運動信息通過執(zhí)行運動補償產(chǎn)生預(yù)測殘差信號。第一殘差產(chǎn)生于對應(yīng) 塊662以及使用LO MV的參考視圖VO中參考圖片670的LO參考塊672之間。第二殘差產(chǎn) 生于對應(yīng)塊662以及使用LI MV的參考視圖VO中參考圖片680的LO參考塊682之間。于 LO以及Ll預(yù)測信號產(chǎn)生期間，只執(zhí)行一個修剪操作（clipping operation)。LO以及Ll運 動補償預(yù)測信號分別通過內(nèi)插過程產(chǎn)生，而不需要任何修剪操作。接著，將已內(nèi)插的信號與 通過ARP產(chǎn)生的預(yù)測殘差信號相加。于最后的階段，LO以及Ll預(yù)測信號被相加后再執(zhí)行 一個修剪操作，并作為最終結(jié)果被輸出。根據(jù)當(dāng)前3D-HEVC(即，HTM-9.0)的ARP方案，在 當(dāng)前PU為單向預(yù)測（uni-prediction) PU時，于LO或列表預(yù)測信號產(chǎn)生期間，兩個修剪操 作被應(yīng)用。LO或Ll運動補償預(yù)測信號首先通過內(nèi)插過程并接著通過修剪操作（修剪為輸 入比特深度的有限范圍）來產(chǎn)生。接著，將已修剪信號