圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、以及圖像解 ...的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及對(duì)多視點(diǎn)圖像進(jìn)行編碼和解碼的圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、以及圖像解碼程序。
[0002]本申請(qǐng)針對(duì)在2012年12月27日向日本申請(qǐng)的特愿2012-284616號(hào)要求優(yōu)先權(quán)，將其內(nèi)容援引于此。
【背景技術(shù)】
[0003]歷來(lái)，已知有由用多個(gè)攝像機(jī)對(duì)相同的被攝體和背景進(jìn)行拍攝的多個(gè)圖像構(gòu)成的多視點(diǎn)圖像(Multiview images:多視點(diǎn)圖像)。將該用多個(gè)攝像機(jī)拍攝的活動(dòng)圖像稱(chēng)為多視點(diǎn)活動(dòng)圖像(或多視點(diǎn)視頻)。在以下的說(shuō)明中，將用一個(gè)攝像機(jī)拍攝的圖像(活動(dòng)圖像)稱(chēng)為“二維圖像(活動(dòng)圖像)”，將用位置、方向(以下，稱(chēng)為視點(diǎn))不同的多個(gè)攝像機(jī)對(duì)相同的被攝體和背景進(jìn)行拍攝的二維圖像(二維活動(dòng)圖像)組稱(chēng)為“多視點(diǎn)圖像(多視點(diǎn)活動(dòng)圖像)”。
[0004]二維活動(dòng)圖像關(guān)于時(shí)間方向存在強(qiáng)的相關(guān)性，能夠通過(guò)利用該相關(guān)性來(lái)提高編碼效率。另一方面，在多視點(diǎn)圖像、多視點(diǎn)活動(dòng)圖像中，在各攝像機(jī)同步的情況下，與各攝像機(jī)的視頻的相同時(shí)刻對(duì)應(yīng)的幀(圖像)為從其他的位置對(duì)完全相同狀態(tài)的被攝體和背景進(jìn)行拍攝的幀(圖像)，因此，在攝像機(jī)之間(相同時(shí)刻的不同的二維圖像之間)存在強(qiáng)的相關(guān)性。在多視點(diǎn)圖像、多視點(diǎn)活動(dòng)圖像的編碼中，能夠通過(guò)利用該相關(guān)性來(lái)提高編碼效率。
[0005]在此，對(duì)二維活動(dòng)圖像的編碼技術(shù)相關(guān)的現(xiàn)有技術(shù)進(jìn)行說(shuō)明。在包括作為國(guó)際編碼標(biāo)準(zhǔn)的H.264、MPEG-2、MPEG-4的現(xiàn)有的許多的二維活動(dòng)圖像編碼方式中，利用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)、正交變換、量化、熵編碼這樣的技術(shù)來(lái)進(jìn)行高效率的編碼。例如，在H.264中，能夠?qū)崿F(xiàn)利用與過(guò)去或未來(lái)的多個(gè)幀的時(shí)間相關(guān)性的編碼。
[0006]例如，在非專(zhuān)利文獻(xiàn)I中記載了在H.264中使用的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)技術(shù)的細(xì)節(jié)。對(duì)在H.264中使用的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)技術(shù)的概要進(jìn)行說(shuō)明。H.264的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)許可將編碼對(duì)象幀分割為各種尺寸的塊而具有按照各塊不同的運(yùn)動(dòng)矢量和不同的參照幀。通過(guò)使用按照各塊不同的運(yùn)動(dòng)矢量來(lái)實(shí)現(xiàn)對(duì)按照每個(gè)被攝體不同的運(yùn)動(dòng)進(jìn)行了補(bǔ)償?shù)木雀叩念A(yù)測(cè)。另一方面，通過(guò)使用按照各塊不同的參照幀來(lái)實(shí)現(xiàn)考慮了由于時(shí)間變化而產(chǎn)生的遮擋的精度高的預(yù)測(cè)。
[0007]接著，對(duì)歷來(lái)的多視點(diǎn)圖像、多視點(diǎn)活動(dòng)圖像的編碼方式進(jìn)行說(shuō)明。多視點(diǎn)圖像的編碼方法和多視點(diǎn)活動(dòng)圖像的編碼方法的不同在于，在多視點(diǎn)活動(dòng)圖像中，除了攝像機(jī)之間的相關(guān)性之外，還同時(shí)存在時(shí)間方向的相關(guān)性。但是，無(wú)論在哪種情況下，都能夠通過(guò)相同的方法利用攝像機(jī)之間的相關(guān)性。因此，在此，對(duì)在多視點(diǎn)活動(dòng)圖像的編碼中使用的方法進(jìn)行說(shuō)明。
[0008]關(guān)于多視點(diǎn)活動(dòng)圖像的編碼，歷來(lái)存在通過(guò)為了利用攝像機(jī)之間的相關(guān)性而將運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)應(yīng)用于相同時(shí)刻的用不同的攝像機(jī)拍攝的圖像的“視差補(bǔ)償預(yù)測(cè)”來(lái)高效率地對(duì)多視點(diǎn)活動(dòng)圖像進(jìn)行編碼的方式。在此，視差是指在配置于不同位置的攝像機(jī)的圖像平面上被攝體上的相同部分存在的位置之差。圖15是示出在攝像機(jī)之間產(chǎn)生的視差的概念圖。在圖15所示的概念圖中，為垂直地俯視光軸平行的攝像機(jī)的圖像平面的圖。像這樣，被攝體上的相同部分投影在不同的攝像機(jī)的圖像平面上的位置一般被稱(chēng)為對(duì)應(yīng)點(diǎn)。
[0009]在視差補(bǔ)償預(yù)測(cè)中，基于該對(duì)應(yīng)關(guān)系根據(jù)參照幀來(lái)預(yù)測(cè)編碼對(duì)象幀的各像素值，對(duì)其預(yù)測(cè)殘差和示出對(duì)應(yīng)關(guān)系的視差信息進(jìn)行編碼。視差按照成為對(duì)象的每個(gè)攝像機(jī)對(duì)、每個(gè)位置而變化，因此，需要按照進(jìn)行視差補(bǔ)償預(yù)測(cè)的每個(gè)區(qū)域?qū)σ暡钚畔⑦M(jìn)行編碼。實(shí)際上，在H.264的多視點(diǎn)活動(dòng)圖像編碼方式中，按照使用視差補(bǔ)償預(yù)測(cè)的每個(gè)塊對(duì)表示視差信息的矢量進(jìn)行編碼。
[0010]由視差信息提供的對(duì)應(yīng)關(guān)系能夠通過(guò)使用攝像機(jī)參數(shù)基于對(duì)極幾何約束不是由二維矢量而是由示出被攝體的三維位置的一維量來(lái)表示。作為示出被攝體的三維位置的信息存在各種表現(xiàn)，但是使用從成為基準(zhǔn)的攝像機(jī)到被攝體的距離、與攝像機(jī)的圖像平面不平行的軸上的坐標(biāo)值的情況較多。再有，還存在不是使用距離而是使用距離的倒數(shù)的情況。此外，距離的倒數(shù)為與視差成比例的信息，因此，還存在設(shè)定兩個(gè)成為基準(zhǔn)的攝像機(jī)而表現(xiàn)為用這些攝像機(jī)拍攝的圖像之間的視差量的情況。無(wú)論使用怎樣的表現(xiàn)，都沒(méi)有本質(zhì)上的不同，因此，在以下，不進(jìn)行根據(jù)表現(xiàn)的區(qū)別而將這些示出三維位置的信息表現(xiàn)為深度。
[0011]圖16是對(duì)極幾何約束的概念圖。根據(jù)對(duì)極幾何約束，與某一攝像機(jī)的圖像上的點(diǎn)對(duì)應(yīng)的其他的攝像機(jī)的圖像上的點(diǎn)被約束在對(duì)極線(xiàn)這樣的直線(xiàn)上。此時(shí)，在得到了針對(duì)其像素的深度的情況下，對(duì)應(yīng)點(diǎn)在對(duì)極線(xiàn)上唯一地確定。例如，如圖16所示，關(guān)于針對(duì)在第一攝像機(jī)圖像中投影在m的位置的被攝體的第二攝像機(jī)圖像中的對(duì)應(yīng)點(diǎn)，在實(shí)空間的被攝體的位置為M’的情況下投影在對(duì)極線(xiàn)上的位置m’，在實(shí)空間的被攝體的位置為M’ ’的情況下投影在對(duì)極線(xiàn)上的位置m’’。
[0012]在非專(zhuān)利文獻(xiàn)2中，利用該性質(zhì)依照由針對(duì)參照幀的深度圖(距離圖像)提供的各被攝體的三維信息根據(jù)參照幀來(lái)合成針對(duì)編碼對(duì)象幀的預(yù)測(cè)圖像，由此，生成精度高的預(yù)測(cè)圖像，實(shí)現(xiàn)高效的多視點(diǎn)活動(dòng)圖像的編碼。再有，基于該深度而生成的預(yù)測(cè)圖像被稱(chēng)為視點(diǎn)合成圖像、視點(diǎn)內(nèi)插圖像或視差補(bǔ)償圖像。
[0013]進(jìn)而，在專(zhuān)利文獻(xiàn)I中，最初將針對(duì)參照幀的深度圖變換為針對(duì)編碼對(duì)象幀的深度圖，使用該變換后的深度圖來(lái)求取對(duì)應(yīng)點(diǎn)，由此，能夠僅針對(duì)需要的區(qū)域生成視點(diǎn)合成圖像。由此，在按照成為編碼對(duì)象或解碼對(duì)象的幀的每個(gè)區(qū)域一邊切換生成預(yù)測(cè)圖像的方法一邊對(duì)圖像或活動(dòng)圖像進(jìn)行編碼或解碼的情況下，實(shí)現(xiàn)了用于生成視點(diǎn)合成圖像的處理量、用于臨時(shí)積累視點(diǎn)合成圖像的存儲(chǔ)器量的削減。
[0014]現(xiàn)有技術(shù)文獻(xiàn)專(zhuān)利文獻(xiàn)
專(zhuān)利文獻(xiàn)1:日本特開(kāi)2010-21844號(hào)公報(bào)；
非專(zhuān)利文獻(xiàn)非專(zhuān)利文獻(xiàn) 1:1TU-T Recommendat1n H.264 (03/2009), “Advanced video codingfor generic aud1visual services，，，March, 2009.非專(zhuān)利文獻(xiàn)2:Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and YoshiyukiYASHIMA, “Mult1-view Video Coding based on 3-D Warping with Depth Map”， InProceedings of Picture Coding Symposium 2006， SS3-6， April, 2006o

【發(fā)明內(nèi)容】

[0015]發(fā)明要解決的課題
根據(jù)專(zhuān)利文獻(xiàn)I所記載的方法，由于針對(duì)編碼對(duì)象幀得到深度，所以能夠根據(jù)碼對(duì)象幀的像素求取參照幀上的對(duì)應(yīng)的像素。由此，在通過(guò)僅針對(duì)編碼對(duì)象幀的指定的區(qū)域生成視點(diǎn)合成圖像而僅在編碼對(duì)象幀的一部分的區(qū)域中需要視點(diǎn)合成圖像的情況下，與總是生成I幀量的視點(diǎn)合成圖像的情況相比，能夠削減處理量、要求的存儲(chǔ)器的量。
[0016]然而，在針對(duì)編碼對(duì)象幀的全部需要視點(diǎn)合成圖像的情況下，存在如下問(wèn)題:由于產(chǎn)生根據(jù)針對(duì)參照幀的深度圖來(lái)合成針對(duì)編碼對(duì)象幀的深度圖的需要，所以與根據(jù)針對(duì)參照幀的深度圖直接生成視點(diǎn)合成圖像的情況相比，其處理量增加。
[0017]本發(fā)明鑒于這樣的情況而完成，其目的在于提供一種能夠在生成處理對(duì)象幀的視點(diǎn)合成圖像時(shí)抑制視點(diǎn)合成圖像的品質(zhì)降低并以少的運(yùn)算量生成視點(diǎn)合成圖像的圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、以及圖像解碼程序。
[0018]用于解決課題的方案
本發(fā)明是一種圖像解碼裝置，在根據(jù)由多個(gè)不同的視點(diǎn)的圖像構(gòu)成的多視點(diǎn)圖像的碼數(shù)據(jù)對(duì)解碼對(duì)象圖像進(jìn)行解碼時(shí)，使用針對(duì)與解碼對(duì)象圖像不同的視點(diǎn)的解碼完畢的參照?qǐng)D像和作為針對(duì)所述參照?qǐng)D像中的被攝體的深度圖的參照深度圖來(lái)一邊在不同的視點(diǎn)之間對(duì)圖像進(jìn)行預(yù)測(cè)一邊進(jìn)行解碼，所述圖像解碼裝置具備:參照深度區(qū)域設(shè)定部，針對(duì)分割了所述解碼對(duì)象圖像的解碼對(duì)象區(qū)域設(shè)定作為所述參照深度圖上的對(duì)應(yīng)區(qū)域的參照深度區(qū)域；以及視點(diǎn)間預(yù)測(cè)部，將所述參照深度區(qū)域中的深度信息作為針對(duì)所述解碼對(duì)象區(qū)域的深度信息，根據(jù)所述參照?qǐng)D像來(lái)生成針對(duì)所述解碼對(duì)象區(qū)域的視點(diǎn)間預(yù)測(cè)圖像。
[0019]本發(fā)明的圖像解碼裝置可以還具有:深度參照視差矢量設(shè)定部，所述深度參照視差矢量設(shè)定部針對(duì)所述解碼對(duì)象區(qū)域設(shè)定作為針對(duì)參照深度圖的視差矢量的深度參照視差矢量，在所述參照深度設(shè)定部中，可以將由所述深度參照視差矢量所示的區(qū)域設(shè)定為所述參照深度區(qū)域。
[0020]在本發(fā)明的圖像解碼裝置中，在所述深度參照視差矢量設(shè)定部中，可以使用對(duì)與所述解碼對(duì)象區(qū)域相鄰的區(qū)域進(jìn)行解碼時(shí)使用的視差矢量來(lái)設(shè)定所述深度參照視差矢量。
[0021]在本發(fā)明的圖像解碼裝置中，在所述深度參照視差矢量設(shè)定部中，可以使用針對(duì)與所述解碼對(duì)象區(qū)域相同位置的所述參照深度圖上的區(qū)域的深度信息來(lái)設(shè)定所述深度參照視差矢量。
[0022]在本發(fā)明的圖像解碼裝置中，在所述視點(diǎn)間預(yù)測(cè)部中，可以按照分割了所述解碼對(duì)象區(qū)域的每個(gè)預(yù)測(cè)區(qū)域使用對(duì)應(yīng)的所述參照深度區(qū)域內(nèi)的深度信息來(lái)設(shè)定代表深度，也可以根據(jù)該代表深度和所述參照?qǐng)D像來(lái)生成視點(diǎn)合成圖像，由此，生成針對(duì)所述解碼對(duì)象區(qū)域的視點(diǎn)間預(yù)測(cè)圖像。
[0023]在本發(fā)明的圖像解碼裝置中，在所述視點(diǎn)間預(yù)測(cè)部中，可以按照分割了所述解碼對(duì)象區(qū)域的每個(gè)預(yù)測(cè)區(qū)域使用對(duì)應(yīng)的所述參照深度區(qū)域內(nèi)的深度信息來(lái)設(shè)定作為針對(duì)所述參照?qǐng)D像的視差矢量的圖像參照視差矢量，也可以使用該圖像參照視差矢量和所述參照?qǐng)D像來(lái)生成視差補(bǔ)償圖像，由此，生成針對(duì)所述解碼對(duì)象區(qū)域的視點(diǎn)間預(yù)測(cè)圖像。
[0024]本發(fā)明的圖像解碼裝置可以還具有:圖像參照視差矢量積累部，對(duì)所述圖像參照視差矢量進(jìn)行積累；以及視差預(yù)測(cè)部，使用所述積累的圖像參照視差矢量來(lái)生成針對(duì)與所述解碼對(duì)象區(qū)域相鄰的區(qū)域的預(yù)測(cè)視差信息。
[0025]在本發(fā)明的圖像解碼裝置中，在所述視差預(yù)測(cè)部中，可以生成針對(duì)與所述解碼對(duì)象區(qū)域相鄰的區(qū)域的深度參照視差矢量。
[0026]在本發(fā)明的圖像解碼裝置中，可以還具有:補(bǔ)正視差矢量部，所述補(bǔ)正視差矢量部設(shè)定作為對(duì)所述圖像參照視差矢量進(jìn)行補(bǔ)正的矢量的補(bǔ)正視差矢量，在所述視點(diǎn)間預(yù)測(cè)部中，可以使用通過(guò)所述補(bǔ)正視差矢量對(duì)所述圖像參照視差矢量進(jìn)行補(bǔ)正后的矢量和所述參照?qǐng)D像來(lái)生成視差補(bǔ)償圖像，由此，生成所述視點(diǎn)間預(yù)測(cè)圖像。
[0027]在本發(fā)明的圖像解碼裝置中，在所述補(bǔ)正視差矢量設(shè)定部中，可以針對(duì)所述解碼對(duì)象區(qū)域?qū)⒁粋€(gè)矢量設(shè)定為所述補(bǔ)正視差矢量。
[0028]在