視頻編碼裝置及方法以及視頻解碼裝置及方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及視頻編碼裝置、視頻解碼裝置、視頻編碼方法、以及視頻解碼方法。
[0002]本申請基于在2013年10月17日申請的特愿2013-216525號要求優(yōu)先權(quán)，并將其內(nèi)容引用于此。
【背景技術(shù)】
[0003]在通常的視頻編碼中，利用被攝物的空間上/時間上的連續(xù)性將視頻的各幀分割為處理單位的塊，按照每個塊在空間上/時間上對其視頻信號進行預(yù)測，對示出其預(yù)測方法的預(yù)測信息和預(yù)測殘差信號進行編碼，由此，與對視頻信號本身進行編碼的情況相比，謀求大幅度的編碼效率的提高。此外，在通常的二維視頻編碼中，進行參照相同的幀內(nèi)的已經(jīng)編碼完畢的塊來對編碼對象信號進行預(yù)測的幀內(nèi)預(yù)測以及參照已經(jīng)編碼完畢的其他的幀基于運動補償?shù)葋韺幋a對象信號進行預(yù)測的幀間預(yù)測。
[0004]在此，對多視點視頻編碼進行說明。多視點視頻編碼是指對使用多個攝像機拍攝了相同的場景的多個視頻利用該視頻間的冗余性以高的效率進行編碼。關(guān)于多視點視頻編碼，熟悉非專利文獻I。
[0005]在多視點視頻編碼中，除了在通常的視頻編碼中使用的預(yù)測方法之外，還使用參照已經(jīng)編碼完畢的另外的視點的視頻基于視差補償對編碼對象信號進行預(yù)測的視點間預(yù)測以及通過幀間預(yù)測對編碼對象信號進行預(yù)測并對其殘差信號參照已經(jīng)編碼完畢的另外的視點的視頻的編碼時的殘差信號進行預(yù)測的視點間殘差預(yù)測等方法。關(guān)于視點間預(yù)測，在MVC(Multiview Video Coding，多視點視頻編碼)等多視點視頻編碼中，統(tǒng)一為幀間預(yù)測而被處理為幀間預(yù)測(inter predict1n)，能夠在B圖片中對2個以上的預(yù)測圖像進行插值來做成預(yù)測圖像而也用于雙向預(yù)測。像這樣，在多視點視頻編碼中，對于能夠進行幀間預(yù)測和視點間預(yù)測雙方的圖片，能夠進行利用幀間預(yù)測和視點間預(yù)測的雙向預(yù)測。
[0006]在進行幀間預(yù)測的情況下，具有得到示出其參照目的地的參照圖片索引或運動矢量等參照信息的需要。通常地，參照信息作為預(yù)測信息而進行編碼并且與視頻一起復(fù)用，但是，為了削減其碼量，有時以某些方法預(yù)測參照信息。
[0007]在通常的方法中，存在取得已經(jīng)編碼完畢的編碼對象圖像的周邊塊在編碼時使用的預(yù)測信息來作為用于編碼對象圖像的預(yù)測的參照信息的直接方式、將周邊塊的預(yù)測信息名單化為候補名單(Candidate List)并且對識別從名單中取得預(yù)測信息的對象塊的標(biāo)識符進行編碼的合并方式等。
[0008]此外，在多視點視頻編碼中，存在共有與編碼對象圖像對應(yīng)的另外的視點的圖片上的區(qū)域和參照信息的視點間運動預(yù)測這樣的方法。關(guān)于視點間運動預(yù)測，熟悉非專利文獻2。
[0009]此外，作為其他的方法，存在殘差預(yù)測。殘差預(yù)測是在對具有高的相關(guān)性的2個圖像分別進行預(yù)測編碼的情況下利用了其預(yù)測殘差也彼此具有相關(guān)性的情況的用于抑制預(yù)測殘差的碼量的方法。關(guān)于殘差預(yù)測，熟悉非專利文獻3。
[0010]在多視點視頻編碼中使用的視點間殘差預(yù)測中，從編碼對象的預(yù)測殘差信號減去不同的視點的視頻中的與編碼對象圖像對應(yīng)的區(qū)域的編碼時的預(yù)測殘差信號，由此，能夠降低殘差信號的能量，提高編碼效率。
[0011]關(guān)于視點間的對應(yīng)關(guān)系，在例如通過視差補償預(yù)測對已經(jīng)編碼完畢的周邊塊進行編碼的情況下，通過其視差矢量，使用設(shè)定與編碼對象塊對應(yīng)的另外的視點的區(qū)域等方法來求取。通過該方法求取的視差矢量被稱為“neighboring block based disparityvector(NBDV)，基于相鄰塊的視差矢量”。
[0012]視點間殘差預(yù)測在B圖片中使用幀間預(yù)測的情況下，除了該預(yù)測之外還用作針對殘差的進一步的處理。
[0013]在此，對自由視點視頻編碼進行說明。自由視點視頻是指通過使用許多拍攝裝置等從各種位置、角度對對象場景進行拍攝來取得場景的光線信息并以此為基礎(chǔ)對任意視點中的光線信息進行恢復(fù)、由此生成從任意視點觀察的視頻的視頻。
[0014]場景的光線信息由各種數(shù)據(jù)形式表現(xiàn)，但是，作為最通常的形式，存在使用視頻和該視頻的各幀中的被稱為深度圖(depth map)的進深圖像的方式(非專利文獻4)。
[0015]深度圖是指按照每個像素來記述從攝像機到被攝物的距離(進深、深度)的圖，是被攝物所具有的三維信息的簡單的表現(xiàn)。
[0016]在從兩個攝像機對同一被攝物進行觀測時，被攝物的深度值與攝像機間的視差的倒數(shù)成比例，因此，深度圖有時也被稱為視差圖(disparity map)(視差圖像)。與此相對地，有時將深度圖所對應(yīng)的攝像機的視頻稱為紋理(texture)。
[0017]由于深度圖是針對圖像的各像素的每一個具有一個值的表現(xiàn)，所以，能夠看作灰度(gray scale)圖像來進行記述。
[0018]此外，作為深度圖的時間上連續(xù)的記述的深度圖視頻(在以下無圖像/視頻的區(qū)別地稱為深度圖)與視頻信號同樣地，由于被攝物的空間上/時間上的連續(xù)性，所以可以說具有空間上、時間上的相關(guān)性。因此，通過為了對通常的視頻信號進行編碼而使用的視頻編碼方式，能夠一邊去掉空間上/時間上的冗余性一邊高效地對深度圖進行編碼。關(guān)于這樣的視頻和利用深度圖的視頻方式，不僅在自由視點視頻中而且在三維視頻的表現(xiàn)/編碼或多視點視頻中為了碼量削減而用于編碼。
[0019]在對這樣的視頻和利用深度圖的視頻方式進行編碼的情況下，能夠利用視頻和深度圖之間的相關(guān)性或深度圖具有視頻的各像素的進深來提高編碼效率。
[0020]作為代表的例子，在視頻的編碼中，存在以下這樣的方法:將與編碼對象圖像對應(yīng)的深度圖的深度值變換為視差，由此，得到用于在編碼對象圖像中進行視差補償預(yù)測的視差矢量。此外，作為另外的方法，也存在使用深度圖來合成編碼對象視點的圖像而用于預(yù)測圖像的視點合成預(yù)測這樣的方法(非專利文獻5)。
[0021]再有，在本說明書中，圖像是指活動圖像的一個幀或靜止圖像，將聚集有多個幀(圖像)的圖像(活動圖像)稱為視頻。
[0022]現(xiàn)有技術(shù)文獻非專利文獻
非專利文南犬 1:M.Flierl and B.Girod，“Multiview video compress1n”，SignalProcessing Magazine, IEEE, pp.66-76, 2007年11月；非專利文南犬2: Yang，H., Chang , Y., & Huo , J., “Fine-Granular Mot1nMatching for Inter-View Mot1n Skip Mode in Multiview Video Coding”, IEEETransact1ns on Circuits and Systems for Video Technology, Vol.19，N0.6，pp.887-892，2009年6月;
非專利文南犬3:Χ.Wang and J.Ridge，“Improved video coding with residualpredict1n for extended spatial scalability”， ISCCSP 2008, pp.1041-1046，2008年3月；
非專利文南犬 4:Υ.Mori , N.Fukusima, T.Fuji , and M.Tanimoto , “ViewGenerat1n with 3D Warping Using Depth Informat1n for FTV”, Proceedings of3DTV-C0NO8, pp.229-232, 2008年5月；
非專利文南犬5:Yea, S., & Vetro, A.“View synthesis predict1n for multiviewvideo coding”， Signal Processing:1mage Communicat1n 24, pp.89-100， 2009年。

【發(fā)明內(nèi)容】

[0023]發(fā)明要解決的課題
在多視點視頻編碼中，視點間運動預(yù)測為有效的碼量削減方法，但是，在由于攝像機配置的問題等而在視點間不能共有運動矢量的情況下不會得到效果。
[0024]此外，在視點間運動預(yù)測或殘差預(yù)測中，通常采用使用NBDV來決定與編碼對象圖像對應(yīng)的另外的視點的圖片上的區(qū)域這樣的方法。這樣的方法在編碼對象圖像具有與周邊塊相同的運動/視差的情況下為有效，但是，在不是這樣的情況下完全不會得到效果。此外，該方法不能在周邊塊中沒有通過視差補償預(yù)測編碼后的信息的情況下使用。
[0025]在這樣的情況下，為了進行視點間運動預(yù)測或殘差預(yù)測而需要追加的視差矢量等的用于得到視點間對應(yīng)的信息，存在增加碼量這樣的問題。
[0026]此外，在三維視頻或自由視點視頻編碼中能夠進行使用了深度圖的視頻的編碼，但是，在解碼裝置中需要參照與在編碼裝置中參照的深度圖相同的深度圖，因此，需要在編碼對象圖像之前解碼所使用的深度圖。但是，通常地，采用許多按照各視點、各幀的每一個對視頻進行編碼而接著編碼相同的視點、幀的深度圖這樣的方法。在這樣的情況下，存在使用了深度圖的視頻編碼的方法不能使用這樣的問題。
[0027]本發(fā)明是鑒于這樣的情況而完成的，其目的在于提供能夠通過提高預(yù)測圖像的精度來削減預(yù)測殘差編碼所需要的碼量的視頻編碼裝置、視頻解碼裝置、視頻編碼方法以及視頻解碼方法。
[0028]用于解決課題的方案
本發(fā)明提供一種視頻編碼裝置，對編碼對象視頻所包含的編碼對象圖像進行預(yù)測編碼，其特征在于，具有:預(yù)測單元，將已經(jīng)編碼完畢的圖像作為參照圖片來預(yù)測編碼對象圖像，決定示出作為參照目的地的第一參照區(qū)域的第一參照信息;第二參照信息決定單元，根據(jù)與所述第一參照區(qū)域?qū)?yīng)的深度圖來決定示出作為針對編碼對象圖像的另外的參照目的地的第二參照區(qū)域的第二參照信息；以及預(yù)測圖像生成單元，基于所述第二參照信息或者所述第一參照信息和所述第二參照信息雙方來生成預(yù)測圖像。
[0029]作為典型例，所述第一參照信息示出與編碼對象圖像不同的幀的圖像上的參照目的地，所述第二參照信息示出與編碼對象圖像不同的視點的圖像上的參照目的地。
[0030]作為優(yōu)選例，所述預(yù)測圖像生成單元使用所述第一參照信息來生成第一一次預(yù)測圖像，使用所述第二參照信息來生成第二一次預(yù)測圖像，混合所述第一一次預(yù)測圖像和所述第二一次預(yù)測圖像，由此，生成所述預(yù)測圖像。
[0031]所述預(yù)測圖像生成單元按照編碼對象圖像的部分區(qū)域的每一個使用所述第一參照信息和所述第二參照信息之中的任一個或者雙方來生成所述預(yù)測圖像也可。
[0032]在該情況下，還具有:判定單元，所述判定單元基于由與所述第一參照區(qū)域?qū)?yīng)的深度圖決定的所述第一參照區(qū)域所對應(yīng)的另外的參照圖片上的參照目的地即第三參照區(qū)域，按照編碼對象圖像的部分區(qū)域的每一個，判定使用所述第一參照信息和所述第二參照信息的任一個或雙方，所述預(yù)測圖像生成單元基于所述判定單元的判定結(jié)果按照編碼對象圖像的部分區(qū)域的每