視頻編碼裝置和方法、視頻解碼裝置和方法、以及其程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻編碼裝置、視頻解碼裝置、視頻編碼方法、視頻解碼方法、視頻編 碼程序以及視頻解碼程序，特別地涉及時間方向和視差方向的幀間預測編碼和解碼。
【背景技術(shù)】
[0002] 在通常的視頻編碼中，利用被攝物的空間上/時間上的連續(xù)性，將視頻的各幀分 割為多個處理單元塊，按照每個塊對其視頻信號在空間上/時間上進行預測，對示出其預 測方法的預測信息和預測殘差信號進行編碼，由此，與對視頻信號本身進行編碼的情況相 比，謀求大幅度的編碼效率的提高。此外，在通常的二維視頻編碼中，進行參照相同的幀內(nèi) 的已經(jīng)編碼完畢的塊來對編碼對象信號進行預測的幀內(nèi)預測以及參照已經(jīng)編碼完畢的其 他的幀基于運動補償?shù)葋韺幋a對象信號進行預測的幀間預測。
[0003] 在此，對多視點視頻編碼進行說明。多視點視頻編碼是指對使用多個攝像機拍攝 了相同的場景的多個視頻利用該視頻間的冗余性以高的效率進行編碼。關(guān)于多視點視頻編 碼，熟悉非專利文獻1。
[0004] 此外，在多視點視頻編碼中，除了在通常的視頻編碼中使用的預測方法之外，還 使用參照已經(jīng)編碼完畢的另外的視點的視頻基于視差補償對編碼對象信號進行預測的視 點間預測以及通過幀間預測對編碼對象信號進行預測并對其殘差信號參照已經(jīng)編碼完 畢的另外的視點的視頻的編碼時的殘差信號進行預測的視點間殘差預測等方法。關(guān)于 視點間預測，在MVC等多視點視頻編碼中，統(tǒng)一為幀間預測而被處理為幀間預測（inter prediction)，能夠在B圖片中對2個以上的預測圖像進行插值來做成預測圖像。
[0005] 像這樣，在多視點視頻編碼中，在能夠進行幀間預測和視點間預測雙方的圖片中， 能夠進行利用它們雙方的預測。
[0006] 現(xiàn)有技術(shù)文獻 非專利文獻 非專利文南犬 1 :M.Flier1andB.Girod,"Multiviewvideocompression,'，Signal ProcessingMagazine，IEEE,no.November2007，pp. 66-76， 2007〇

【發(fā)明內(nèi)容】

[0007] 發(fā)明要解決的課題 然而，在運動補償預測和視差補償預測中，誤差的性質(zhì)不同，由于（圖像信號的）順序的 性質(zhì)，與僅進行幀間預測的情況相比，難以得到彼此抵消誤差的效果。
[0008] 在這樣的誤差中，存在例如在運動補償預測中由于被攝物的變形等造成的誤差、 由于搖晃造成的誤差、在視差補償預測中由于攝像機的性質(zhì)的不同造成的誤差、由于遮擋 的發(fā)生造成的誤差等。在這樣的情況下，偏向選擇精度更高的預測方法，使用雙方的預測幾 乎不被使用。
[0009] 因此，在例如能夠進行前向預測和視點間預測的種類的B圖片中，存在如下這樣 的問題：無論構(gòu)造上能夠進行使用雙方的預測，實際上只能使用單向預測，因此，存在針對 預測殘差的減少不會得到充分的效果的情況。
[0010] 本發(fā)明是鑒于這樣的情況而完成的，其目的在于提供能夠減少預測殘差來削減預 測殘差編碼所需要的碼量的視頻編碼裝置、視頻解碼裝置、視頻編碼方法、視頻解碼方法、 視頻編碼程序和視頻解碼程序。
[0011] 用于解決課題的方案 本發(fā)明提供一種視頻編碼裝置，進行時間方向和視差方向的幀間預測，生成對誤差進 行校正后的預測圖像來對編碼對象視頻進行預測編碼，所述視頻編碼裝置的特征在于，具 備： 預測單元，在所述時間方向和所述視差方向的每一個上將已經(jīng)解碼完畢的圖像作為參 照圖片來對編碼對象圖像進行預測，決定示出各個參照目的地的幀間參照信息和視點間參 照信息； 一次預測圖像生成單元，根據(jù)所述視點間參照信息來生成視差預測圖像，根據(jù)所述幀 間參照信息來生成運動預測圖像；校正預測圖像生成單元，根據(jù)所述視點間參照信息和所 述幀間參照信息來生成校正預測圖像；以及預測圖像生成單元，根據(jù)所述視差預測圖像、所 述運動預測圖像和所述校正預測圖像來生成所述預測圖像。
[0012] 作為典型例，所述預測圖像生成單元將所述運動預測圖像和所述視差預測圖像相 加并從其減去所述校正預測圖像來生成所述預測圖像。
[0013] 作為優(yōu)選例，所述視點間參照信息和所述幀間參照信息包含對所述參照圖片進行 特別指定的信息，所述校正預測圖像生成單元將與所述視點間參照信息示出的所述參照圖 片相同的視點的參照圖片之中的與所述幀間參照信息示出的所述參照圖片相同的幀的參 照圖片作為校正參照圖片進行參照來生成所述校正預測圖像。
[0014] 在該情況下，所述視點間參照信息和所述幀間參照信息還包含對位于所述參照圖 片上的參照位置進行特別指定的信息，所述校正預測圖像生成單元基于所述幀間參照信息 和所述視點間參照信息來決定所述校正參照圖片上的參照位置，生成所述校正預測圖像也 可。
[0015] 作為另一優(yōu)選例，還具有：預測信息編碼單元，所述預測信息編碼單元編碼對所述 視點間參照信息和所述幀間參照信息進行特別指定的信息來作為預測信息。
[0016]所述預測單元基于所述視點間參照信息和所述幀間參照信息之中的任一個示出 的參照目的地的編碼時的預測信息來生成另一個參照信息也可。
[0017] 本發(fā)明還提供一種視頻解碼裝置，進行時間方向和視差方向的幀間預測，生成對 誤差進行校正后的預測圖像來對預測編碼后的碼數(shù)據(jù)進行解碼，所述視頻解碼裝置的特征 在于，具備：預測單元，在所述時間方向和所述視差方向的每一個上將已經(jīng)解碼完畢的圖像 作為參照圖片來對解碼對象圖像進行預測，決定示出各個參照目的地的幀間參照信息和視 點間參照信息；一次預測圖像生成單元，根據(jù)所述視點間參照信息來生成視差預測圖像，根 據(jù)所述幀間參照信息來生成運動預測圖像；校正預測圖像生成單元，根據(jù)所述視點間參照 信息和所述幀間參照信息來生成校正預測圖像；以及預測圖像生成單元，根據(jù)視差預測圖 像、運動預測圖像和校正預測圖像來生成預測圖像。
[0018] 作為典型例，在所述預測圖像生成單元中，將所述運動預測圖像和所述視差預測 圖像相加并從其減去所述校正預測圖像來生成所述預測圖像。
[0019] 作為優(yōu)選例，所述視點間參照信息和所述幀間參照信息包含對所述參照圖片進行 特別指定的信息，在所述校正預測圖像生成單元中，將與所述視點間參照信息示出的所述 參照圖片相同的視點的參照圖片之中的與所述幀間參照信息示出的所述參照圖片相同的 幀的參照圖片作為校正參照圖片進行參照來生成所述校正預測圖像。
[0020] 在該情況下，所述視點間參照信息和所述幀間參照信息還包含對位于所述參照圖 片上的參照位置進行特別指定的信息，在所述校正預測圖像生成單元中，基于所述幀間參 照信息和所述視點間參照信息來決定所述校正圖片上的參照位置，生成所述校正預測圖像 也可。
[0021] 作為另一優(yōu)選例，還具有：預測信息解碼單元，所述預測信息解碼單元根據(jù)所述碼 數(shù)據(jù)解碼預測信息來生成對所述幀間參照信息和所述視點間參照信息進行特別指定的預 測信息，所述預測單元基于所生成的所述預測信息來決定所述幀間參照信息和所述視點間 參照信息。
[0022] 所述預測單元根據(jù)所述碼數(shù)據(jù)對所述視點間參照信息和所述幀間參照信息之中 的任一個進行解碼，基于解碼后的參照信息示出的參照目的地的解碼化時的預測信息來生 成另一個參照信息也可。
[0023] 本發(fā)明此外還提供一種視頻編碼方法，所述視頻編碼方法是視頻編碼裝置進行的 視頻編碼方法，所述視頻編碼裝置進行時間方向和視差方向的幀間預測而生成對誤差進行 校正后的預測圖像來對編碼對象視頻進行預測編碼，所述視頻編碼方法的特征在于，具有： 在所述時間方向和所述視差方向的每一個上將已經(jīng)解碼完畢的圖像作為參照圖片來對編 碼對象圖像進行預測而決定示出各個參照目的地的幀間參照信息和視點間參照信息的預 測步驟；根據(jù)所述視點間參照信息來生成視差預測圖像并且根據(jù)所述幀間參照信息來生成 運動預測圖像的預測圖像生成步驟；根據(jù)所述視點間參照信息和所述幀間參照信息來生成 校正預測圖像