立體影像編碼裝置、立體影像解碼裝置、立體影像編碼方法、立體影像解碼方法、立體影像 ...的制作方法
【專利摘要】立體影像編碼裝置(1)被輸入基準視點影像(C)和左視點影像(L)、以及作為附隨于它們的深度值的圖的基準視點深度圖(Cd)和左視點深度圖(Ld)。立體影像編碼裝置(1)通過深度圖合成單元(12)基于兩個深度圖生成中間視點的左合成深度圖(Md)，通過投影影像預測單元(15)從左視點影像(L)提取出將基準視點影像投影至其它視點時成為遮蔽孔的像素區(qū)域的像素來生成左殘差影像(Lv)，對基準視點影像(C)、左合成深度圖(Md)以及左殘差影像(Lv)分別進行編碼并傳輸。
【專利說明】立體影像編碼裝置、立體影像解碼裝置、立體影像編碼方
法、立體影像解碼方法、立體影像編碼程序以及立體影像解
碼程序
【技術領域】
[0001]本發(fā)明涉及一種對立體影像進行編碼的立體影像編碼裝置、立體影像編碼方法和立體影像編碼程序、以及對編碼后的立體影像進行解碼的立體影像解碼裝置、立體影像解碼方法和立體影像解碼程序。
【背景技術】 [0002]近年來，雙眼式立體電視、雙眼式立體電影正在普及，但是僅實現了一部分立體視覺要素，由于沒有運動視差而不自然，或因戴眼鏡而引起眼睛疲勞等。因此，期望更加自然的裸眼立體影像的實用化。
[0003]裸眼立體影像是以多視點影像實現的，需要傳輸/存儲大量的視點影像，數據量多而難以實用化。因此，已知如下一種方法:對于多視點影像，對其視點影像附加深度圖、即與其它視點影像之間的各像素的視差(相同的被攝體點在影像內的像素位置的偏移量)作為被攝體的深度信息，來間隔剔除視點數地進行傳輸/存儲，用深度圖對所得的少量的視點影像進行投影，由此對進行間隔剔除所得到的視點影像進行插值來恢復多視點影像。
[0004]這種使用少量的視點影像和深度圖來恢復多視點影像的方法例如在專利文獻I中被公開。在專利文獻I中，記載了對多視點影像(圖像信號)及其深度圖(深度信號)進行編碼/解碼的方法。參照圖35來說明專利文獻I所記載的圖像編碼裝置。如圖35所示，專利文獻I所記載的圖像編碼裝置構成為具備編碼管理部101、圖像信號編碼部107、深度信號編碼部108、單元化部109以及參數信息編碼部110。在該圖像編碼裝置中，對于各視點影像(圖像信號)，在圖像信號編碼部107中進行視點影像間的預測編碼，對于一個以上的視點的深度圖(深度信號)，在深度信號編碼部108中同樣地進行視點間預測編碼。
[0005]專利文獻1:日本特開2010-157821號公報

【發(fā)明內容】

_6] 發(fā)明要解決的問題
[0007]在專利文獻I所記載的方法中，所有編碼后的視點影像都具有與原影像相同的尺寸。然而，當前已實用化的多視點立體顯示器為了抑制其制造成本而使用像素數與以往普及的顯示器的像素數相同的顯示器，對于各視點影像，像素數被間隔剔除為(視點數)分之一來進行顯示，因此會舍棄被編碼/傳輸的像素數據的大部分，編碼效率低。另外，在專利文獻I記載了一種使用附隨于所傳輸的視點影像的深度圖來對進行間隔剔除所得到的視點影像進行合成的方法，但是需要對與視點數相同數量的深度圖進行編碼/傳輸，從而存在編碼效率低的問題。
[0008]另外，在專利文獻I所記載的方法中，對多視點影像和深度圖分別個別地進行視點間預測編碼。然而，以往的視點間預測編碼方法是在視點影像間搜索相對應的像素位置，提取該像素位置的偏移量作為視差向量，使用所提取出的視差向量來進行視點間預測編碼/解碼。因此，存在以下問題:視差向量的搜索耗費時間，并且預測精度差，編碼/解碼速度慢。
[0009]本發(fā)明是鑒于這種問題而完成的，其課題在于提供一種高效地對立體影像進行編碼并傳輸的立體影像編碼裝置、立體影像編碼方法和立體影像編碼程序、以及對該編碼后的立體影像進行解碼的立體影像解碼裝置、立體影像解碼方法和立體影像解碼程序。
[0010]用于解決問題的方案
[0011]為了解決上述課題，第一發(fā)明所記載的立體影像編碼裝置對多視點影像以及深度圖進行編碼，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，該立體影像編碼裝置構成為具備基準視點影像編碼單元、中間視點深度圖合成單元、深度圖編碼單元、深度圖解碼單元、投影影像預測單元以及殘差影像編碼單元，上述投影影像預測單元具有遮蔽孔檢測單元和殘差影像切出單元。
[0012]根據所述結構，立體影像編碼裝置通過基準視點影像編碼單元對上述多視點影像中的基準視點的影像即基準視點影像進行編碼，以基準視點影像位流來輸出。另外，立體影像編碼裝置通過中間視點深度圖合成單元，使用基準視點深度圖和副視點深度圖來生成中間視點深度圖，該基準視點深度圖是上述基準視點的深度圖，該副視點深度圖是副視點的深度圖，該副視點是上述多視點影像中的上述基準視點以外的視點，該中間視點深度圖是上述基準視點與上述副視點的中間視點的深度圖。然后，立體影像編碼裝置通過深度圖編碼單元，對上述中間視點深度圖進行編碼，以深度圖位流來輸出。
[0013]由此，在原本的深度圖為兩個的情況下，進行編碼的深度圖的數據量被削減為一半。
[0014]另外，立體影像編碼裝置通過深度圖解碼單元，對編碼后的上述中間視點深度圖進行解碼，生成解碼中間視點深度圖。接著，立體影像編碼裝置通過投影影像預測單元，從上述副視點的影像切出使用上述解碼中間視點深度圖將上述基準視點影像投影至其它視點時成為無法投影的像素區(qū)域即遮蔽孔的像素來生成殘差影像。此時，立體影像編碼裝置為了生成殘差影像，通過遮蔽孔檢測單元檢測使用上述解碼中間視點深度圖將上述基準視點影像投影至上述副視點時成為遮蔽孔的像素，通過殘差影像切出單元從上述副視點的影像切出上述成為遮蔽孔的像素來生成上述殘差影像。在此，立體影像編碼裝置不是使用編碼前的中間視點深度圖而是使用經編碼/解碼的中間視點深度圖。特別是在以高壓縮率進行編碼的情況下，解碼后的深度圖相對于原本的深度圖會包含很多誤差。因此，在立體影像解碼裝置中通過使用與對上述位流進行解碼來生成多視點影像時所使用的中間視點的深度圖相同的深度圖，能夠正確地檢測成為遮蔽孔的像素。然后，立體影像編碼裝置通過殘差影像編碼單元，對上述殘差影像進行編碼，以殘差影像位流來輸出。
[0015]由此，在副視點影像的數據中，僅作為殘差影像而被切出的部分成為編碼對象，進行編碼的數據量被削減。
[0016]第二發(fā)明所記載的立體影像編碼裝置構成為，在第一發(fā)明所記載的立體影像編碼裝置中，上述遮蔽孔檢測單元具有副視點投影單元和孔像素檢測單元。
[0017]根據所述結構，立體影像編碼裝置通過副視點投影單元，將上述解碼中間視點深度圖投影至上述副視點，生成作為上述副視點的深度圖的副視點投影深度圖。另外，立體影像編碼裝置通過孔像素檢測單元，在上述副視點投影深度圖中，針對每個像素進行以下檢測:對作為是否為上述成為遮蔽孔的像素的判定對象而被關注的像素即關注像素，在從該關注像素起向上述基準視點側離開規(guī)定的像素數的像素的深度值比上述關注像素的深度值大規(guī)定的值以上的情況下，將上述關注像素檢測為上述成為遮蔽孔的像素。即，立體影像編碼裝置使用遠離基準視點的副視點的深度圖來檢測成為遮蔽孔的像素。
[0018]由此，立體影像編碼裝置遺漏少地檢測預測會成為遮蔽孔的像素區(qū)域。
[0019]第三發(fā)明所記載的立體影像編碼裝置構成為，在第二發(fā)明所記載的立體影像編碼裝置中，上述遮蔽孔檢測單元具有使表示遮蔽孔的像素位置的孔掩模膨脹的孔掩模膨脹單
J Li ο
[0020]根據所述結構，上述遮蔽孔檢測單元通過孔掩模膨脹單元，使孔掩模膨脹規(guī)定的像素數，該孔掩模由上述孔像素檢測單元的檢測結果即檢測出的像素構成。然后，立體影像編碼裝置通過上述殘差影像切出單元，從上述副視點的影像切出由上述孔掩模膨脹單元膨脹后的孔掩模(第一孔掩模)所包含的像素來生成上述殘差影像。
[0021]由此，立體影像編碼裝置特別是能夠吸收由在使用壓縮率高的編碼方式對深度圖進行編碼的情況下大量包含的解碼后的深度圖相對于原本的深度圖的誤差所導致的成為遮蔽孔的像素的漏檢測。
[0022]第四發(fā)明所記載的立體影像編碼裝置構成為，在第二或第三發(fā)明所記載的立體影像編碼裝置中，上述遮蔽孔檢測單元還具有第二孔像素檢測單元、將檢測出的孔位置投影至副視點的第二副視點投影單元以及對生成的多個孔掩模進行整合的孔掩模合成單元。
[0023]根據所述結構，立體影像編碼裝置通過第二孔像素檢測單元，在上述解碼中間視點深度圖中，針對每個像素進行以下檢測:對作為是否為上述成為遮蔽孔的像素的判定對象而被關注的像素即關注像素，在從該關注像素起向上述基準視點側離開規(guī)定的像素數的像素的深度值比上述關注像素的深度值大規(guī)定的值以上的情況下，將上述關注像素檢測為上述成為遮蔽孔的像素，從而生成空掩模。接著，立體影像編碼裝置通過第二副視點投影單元，生成將由第二孔像素檢測單元生成的孔掩模投影至副視點所得的孔掩模(第二孔掩模)。然后，立體影像編碼裝置通過孔掩模合成單元，將作為上述孔像素檢測單元的檢測結果的第一孔掩模以及將上述第二孔像素檢測單元的檢測結果投影至副視點所得的第二孔掩模的邏輯或作為上述遮蔽孔檢測單元的檢測結果。
[0024]S卩，立體影像編碼裝置除了使用副視點的深度圖檢測遮蔽孔以外，還使用中間視點的深度圖即中間視點深度圖來檢測遮蔽孔，從而更適當地檢測成為遮蔽孔的像素。
[0025]第五發(fā)明所記載的立體影像編碼裝置構成為，在第四發(fā)明所記載的立體影像編碼裝置中，上述遮蔽孔檢測單元還具有指定視點投影單元、第三孔像素檢測單元以及第三副視點投影單元。
[0026]根據所述結構，立體影像編碼裝置通過指定視點投影單元，將上述解碼中間視點深度圖投影至任意的指定視點位置，生成上述指定視點的深度圖即指定視點深度圖。另夕卜，立體影像編碼裝置通過第三孔像素檢測單元，在上述指定視點深度圖中，針對每個像素進行以下檢測:對作為是否為上述成為遮蔽孔的像素的判定對象而被關注的像素即關注像素，在從該關注像素起向上述基準視點側離開規(guī)定的像素數的像素的深度值比上述關注像素的深度值大規(guī)定的值以上的情況下，將上述關注像素檢測為上述成為遮蔽孔的像素，從而生成孔掩模。接著，立體影像編碼裝置通過第三副視點投影單元，生成將由第三孔像素檢測單元生成的孔掩模投影至副視點所得的孔掩模(第三孔掩模)。然后，立體影像編碼裝置通過上述孔掩模合成單元，將作為上述孔像素檢測單元的檢測結果的第一孔掩模、將上述第二孔像素檢測單元的檢測結果投影至副視點所得的第二孔掩模以及將上述第三孔像素檢測單元的檢測結果投影至副視點所得的第三孔掩模的邏輯或作為上述遮蔽孔檢測單元的檢測結果。
[0027]S卩，立體影像編碼裝置除了使用副視點的深度圖檢測遮蔽孔以外，還使用在解碼側對編碼數據進行解碼來生成多視點影像時的指定視點的深度圖來檢測遮蔽孔，從而更適當地檢測遮蔽孔。
[0028]第六發(fā)明所記載的立體影像編碼裝置構成為，在第一至第五發(fā)明中的任一項所記載的立體影像編碼裝置中，還具備深度圖框化單元、深度圖分離單元以及殘差影像框化單
J Li ο
[0029]根據所述結構，立體影像編碼裝置通過深度圖框化單元，生成框化深度圖，該框化深度圖是在上述多視點影像中將上述基準視點與多個上述副視點的多個上述中間視點深度圖縮小并結合、框化成一個框圖像而得到的。另外，立體影像編碼裝置通過深度圖分離單元，從上述框化深度圖分離出被框化的多個縮小的上述中間視點深度圖，生成與上述基準視點影像大小相同的多個上述中間視點深度圖。另外，立體影像編碼裝置通過殘差影像框化單元，生成框化殘差影像，該框化殘差影像是在上述多視點影像中將上述基準視點與多個上述副視點的多個上述殘差影像縮小并結合、框化成一個框圖像而得到的。
[0030]在此，立體影像編碼裝置通過上述中間視點深度圖合成單元，生成上述基準視點與多個上述副視點中的各個副視點之間的中間視點的多個上述中間視點深度圖。立體影像編碼裝置通過上述深度圖框化單元，將由上述深度圖合成單元生成的多個中間視點深度圖縮小并結合，由此生成上述框化深度圖。然后，立體影像編碼裝置通過上述深度圖編碼單元，對上述框化深度圖進行編碼，以上述深度圖位流來輸出。
[0031]由此，立體影像編碼裝置減少在多組視點間生成的多個中間視點深度圖的數據量來進行編碼。
[0032]另外，立體影像編碼裝置通過上述深度圖解碼單元，對由上述深度圖編碼單元編碼的框化深度圖進行解碼來生成解碼框化深度圖。立體影像編碼裝置通過上述深度圖分離單元，從上述解碼框化深度圖分離出縮小的多個上述中間視點深度圖，生成與上述基準視點影像大小相同的上述解碼中間視點深度圖。接著，立體影像編碼裝置通過上述投影影像預測單元，使用由上述深度圖分離單元分離的解碼中間視點深度圖，從與各個上述解碼中間視點深度圖對應的上述副視點的上述副視點的影像生成上述殘差影像。接著，立體影像編碼裝置通過上述殘差影像框化單元，通過將由上述投影影像預測單元生成的多個上述殘差影像縮小并結合，來生成上述框化殘差影像。然后，立體影像編碼裝置通過上述殘差影像編碼單元，對上述框化殘差影像進行編碼，以上述殘差影像位流來輸出。
[0033]由此，立體影像編碼裝置能夠減少在多組視點間生成的多個殘差影像的數據量來進行編碼。
[0034]第七發(fā)明所記載的立體影像解碼裝置將對多視點影像以及深度圖進行編碼所得的位流解碼來生成多視點影像，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，該立體影像解碼裝置構成為具備基準視點影像解碼單元、深度圖解碼單元、殘差影像解碼單元、深度圖投影單元以及投影影像合成單元，上述投影影像合成單元具有基準視點影像投影單元和殘差影像投影單元。
[0035]根據所述結構，立體影像解碼裝置通過基準視點影像解碼單元，將對上述多視點影像中的基準視點的影像即基準視點影像進行編碼所得的基準視點影像位流解碼，生成解碼基準視點影像。另外，立體影像解碼裝置通過深度圖解碼單元，將對中間視點深度圖進行編碼所得的深度圖位流解碼，生成解碼合成深度圖，該中間視點深度圖是上述基準視點與從上述基準視點離開的其它視點即副視點的中間的視點的深度圖。另外，立體影像解碼裝置通過殘差影像解碼單元，將對殘差影像進行編碼所得的殘差影像位流解碼，生成解碼殘差影像，該殘差影像是從上述副視點的影像切出將上述基準視點影像投影至其它視點時成為無法投影的像素區(qū)域即遮蔽孔的像素所得的影像。接著，立體影像解碼裝置通過深度圖投影單元，將上述解碼中間視點深度圖投影至指定視點，生成上述指定視點的深度圖即指定視點深度圖，該指定視點是從外部指定的作為上述多視點影像的視點的視點。然后，立體影像解碼裝置通過投影影像合成單元，對使用上述指定視點深度圖將上述解碼基準視點影像和上述解碼殘差影像投影至上述指定視點所得的影像進行合成，生成上述指定視點的影像即指定視點影像。此時，立體影像解碼裝置通過基準視點影像投影單元，檢測在使用上述指定視點深度圖將上述解碼基準視點影像投影至上述指定視點時成為無法投影的像素區(qū)域即遮蔽孔的像素，對于不成為上述遮蔽孔的像素，使用上述指定視點深度圖將上述解碼基準視點影像投影至上述指定視點來設為上述指定視點影像的像素。然后，立體影像解碼裝置通過殘差影像投影單元，對于成為上述遮蔽孔的像素，使用上述指定視點深度圖將上述解碼殘差影像投影至上述指定視點來設為上述指定視點影像的像素。
[0036]由此，立體影像解碼裝置使用基準視點影像、基準視點與副視點的中間視點的深度圖以及從副視點影像切出的殘差影像，來生成任意的視點的影像。
[0037]第八發(fā)明所記載的立體影像解碼裝置構成為，在第七發(fā)明所記載的立體影像解碼裝置中，上述基準視點影像投影單元具有孔像素檢測單元。
[0038]根據所述結構，立體影像解碼裝置通過孔像素檢測單元，在上述指定視點深度圖中，針對每個像素進行以下檢測:對作為是否為成為遮蔽孔的像素的判定對象而被關注的像素即關注像素，在從該關注像素起向上述基準視點側離開規(guī)定的像素數的像素的深度值比上述關注像素的深度值大規(guī)定的值以上的情況下，將上述關注像素檢測為成為遮蔽孔的像素。即，立體影像解碼裝置使用生成影像的視點即指定視點的深度圖，因此會適當地檢測出成為遮蔽孔的像素。然后，立體影像解碼裝置根據其檢測結果，從將基準視點影像投影至指定視點所得的影像和將殘差影像投影至指定視點所得的影像中選擇像素來生成指定視點影像，因此會選擇適當的像素來生成指定視點影像。
[0039]S卩，立體影像解碼裝置利用使用實際生成影像的視點即指定視點的深度圖來檢測成為遮蔽孔的像素所得的結果，從將基準視點影像投影至指定視點所得的影像和將殘差影像投影至指定視點所得的影像中選擇適當的像素來生成指定視點影像。
[0040]第九發(fā)明所記載的立體影像解碼裝置構成為，在第八發(fā)明所記載的立體影像解碼裝置中，上述基準視點影像投影單元具有使表示遮蔽孔的像素位置的孔掩模膨脹的孔掩模膨脹單元。[0041]根據所述結構，立體影像解碼裝置通過孔掩模膨脹單元使表示由上述孔像素檢測單元檢測出的像素位置的孔掩模膨脹規(guī)定的像素數。然后，立體影像解碼裝置通過上述殘差影像投影單元，對于由上述孔掩模膨脹單元膨脹后的遮蔽孔的像素，將上述解碼殘差影像投影至上述指定視點來設為上述指定視點影像的像素。然后，立體影像解碼裝置根據將使用指定視點的深度圖檢測出的孔掩模膨脹后的結果，從將基準視點影像投影至指定視點所得的影像和將殘差影像投影至指定視點所得的影像中選擇像素來生成指定視點影像。
[0042]由此，特別是在以高壓縮率對解碼中間視點深度圖進行了編碼的情況下，立體影像解碼裝置會吸收因解碼后的中間視點深度圖所包含的誤差而導致的遮蔽孔的漏檢測。
[0043]第十發(fā)明所記載的立體影像解碼裝置構成為，在第九發(fā)明所記載的立體影像解碼裝置中，上述殘差影像投影單元具有填孔處理單元。
[0044]根據所述結構，立體影像解碼裝置通過填孔處理單元，在上述指定視點影像中檢測沒有包含在上述殘差影像的像素，以沒有包含的該像素的周圍的像素值對沒有包含的該像素的像素值進行插值。
[0045]由此，立體影像解碼裝置生成沒有孔的指定視點影像。
[0046]第十一發(fā)明所記載的立體影像解碼裝置構成為，在第七至第十發(fā)明中的任一項所記載的立體影像解碼裝置中，還具備深度圖分離單元和殘差影像分離單元。
[0047]根據所述結構，立體影像解碼裝置通過深度圖分離單元，對將上述基準視點與多個上述副視點中的各個副視點之間的中間視點的多個上述中間視點深度圖縮小并結合所得的一個框圖像即框化深度圖，按多個上述中間視點的每個中間視點進行分離，生成與上述基準視點影像大小相同的中間視點深度圖。另外，立體影像解碼裝置通過殘差影像分離單元，對將多個上述副視點的多個上述殘差影像縮小并結合所得的一個框圖像即框化殘差影像進行分離，生成與上述基準視點影像大小相同的上述解碼殘差影像。
[0048]在此，立體影像解碼裝置通過上述深度圖解碼單元，將對上述框化深度圖進行編碼所得的上述深度圖位流解碼，生成解碼框化深度圖。另外，立體影像解碼裝置通過上述殘差影像解碼單元，將對上述框化殘差影像進行編碼所得的上述殘差影像位流解碼，生成解碼框化殘差影像。另外，立體影像解碼裝置通過上述深度圖分離單元，從上述解碼框化深度圖分離出多個縮小的上述中間視點深度圖，生成與上述基準視點影像大小相同的多個上述解碼中間視點深度圖。另外，立體影像解碼裝置通過上述殘差影像分離單元，從上述解碼框化殘差影像分離出多個縮小的上述殘差影像，生成與上述基準視點影像大小相同的多個上述解碼殘差影像。另外，立體影像解碼裝置通過上述深度圖投影單元，按多個上述指定視點中的每個指定視點，將分別對應的上述解碼中間視點深度圖投影至上述指定視點，生成上述指定視點的深度圖即指定視點深度圖。另外，立體影像解碼裝置通過上述投影影像合成單元，按多個上述指定視點中的每個指定視點，對使用分別對應的上述指定視點深度圖將分別對應的上述解碼基準視點影像和上述解碼殘差影像投影至上述指定視點所得的影像進行合成，生成上述指定視點的影像即指定視點影像。
[0049]由此，立體影像解碼裝置使用基準視點影像、將多個中間視點深度圖框化所得的深度圖以及將多個殘差影像框化所得的殘差影像，來生成任意的視點的影像。
[0050]第十二發(fā)明所記載的立體影像編碼方法對多視點影像以及深度圖進行編碼，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，該立體影像編碼方法包括基準視點影像編碼處理步驟、中間視點深度圖合成處理步驟、深度圖編碼處理步驟、深度圖解碼處理步驟、投影影像預測處理步驟以及殘差影像編碼處理步驟，上述投影影像預測處理步驟包括遮蔽孔檢測處理步驟和殘差影像切出處理步驟作為其過程。
[0051]根據所述過程的立體影像編碼方法，在基準視點影像編碼處理步驟中，對上述多視點影像中的基準視點的影像即基準視點影像進行編碼，以基準視點影像位流來輸出。另夕卜，在中間視點深度圖合成處理步驟中，使用基準視點深度圖和副視點深度圖來生成中間視點深度圖，該基準視點深度圖是上述基準視點的深度圖，該副視點深度圖是副視點的深度圖，該副視點是上述多視點影像中的上述基準視點以外的視點，該中間視點深度圖是上述基準視點與上述副視點的中間視點的深度圖。然后，在深度圖編碼處理步驟中，對上述中間視點深度圖進行編碼，以深度圖位流來輸出。
[0052]由此，在原本的深度圖為兩個的情況下，進行編碼的深度圖的數據量被削減為一半。
[0053]另外，在深度圖解碼處理步驟中，對編碼后的上述中間視點深度圖進行解碼，生成解碼中間視點深度圖。接著，在投影影像預測處理步驟中，從上述副視點的影像切出使用上述解碼中間視點深度圖將上述基準視點影像投影至其它視點時成為無法投影的像素區(qū)域即遮蔽孔的像素來生成殘差影像。此時，為了生成殘差影像，在遮蔽孔檢測處理步驟中，檢測使用上述解碼中間視點深度圖將上述基準視點影像投影至上述副視點時成為遮蔽孔的像素，在殘差影像切出處理步驟中，從上述副視點的影像切出上述成為遮蔽孔的像素來生成上述殘差影像。在此，不是使用編碼前的中間視點深度圖而是使用經編碼/解碼的中間視點深度圖。特別是在以高壓縮率進行編碼的情況下，解碼后的深度圖相對于原本的深度圖會包含很多誤差。因此，通過使用與對上述位流進行解碼來生成多視點影像時所使用的中間視點的深度圖相同的深度圖，能夠正確地檢測成為遮蔽孔的像素。然后，在殘差影像編碼處理步驟中，對上述殘差影像進行編碼，以殘差影像位流來輸出。
[0054]由此，在副視點影像的數據中，僅作為殘差影像而被切出的部分成為編碼對象，進行編碼的數據量被削減。
[0055]第十三發(fā)明所記載的立體影像解碼方法將對多視點影像以及深度圖進行編碼所得的位流解碼來生成多視點影像，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，該立體影像解碼方法包括基準視點影像解碼處理步驟、深度圖解碼處理步驟、殘差影像解碼處理步驟、深度圖投影處理步驟以及投影影像合成處理步驟，上述投影影像合成處理步驟包括基準視點影像投影處理步驟和殘差影像投影處理步驟作為其過程。
[0056]根據所述過程的立體影像解碼方法，在基準視點影像解碼處理步驟中，將對上述多視點影像中的基準視點的影像即基準視點影像進行編碼所得的基準視點影像位流解碼，生成解碼基準視點影像。另外，在深度圖解碼處理步驟中，將對中間視點深度圖進行編碼所得的深度圖位流解碼，生成解碼合成深度圖，該中間視點深度圖是上述基準視點與從上述基準視點離開的其它視點即副視點的中間的視點的深度圖。另外，在殘差影像解碼處理步驟中，將對殘差影像進行編碼所得的殘差影像位流解碼，生成解碼殘差影像，該殘差影像是從上述副視點的影像切出將上述基準視點影像投影至其它視點時成為無法投影的像素區(qū)域即遮蔽孔的像素所得的影像。接著，在深度圖投影處理步驟中，將上述解碼中間視點深度圖投影至指定視點，生成上述指定視點的深度圖即指定視點深度圖，該指定視點是從外部指定的作為上述多視點影像的視點的視點。然后，在投影影像合成處理步驟中，對使用上述指定視點深度圖將上述解碼基準視點影像和上述解碼殘差影像投影至上述指定視點所得的影像進行合成，生成上述指定視點的影像即指定視點影像。此時，在基準視點影像投影處理步驟中，檢測在使用上述指定視點深度圖將上述解碼基準視點影像投影至上述指定視點時成為無法投影的像素區(qū)域即遮蔽孔的像素，對于不成為上述遮蔽孔的像素，使用上述指定視點深度圖將上述解碼基準視點影像投影至上述指定視點來設為上述指定視點影像的像素。接著，在殘差影像投影處理步驟中，對于成為上述遮蔽孔的像素，使用上述指定視點深度圖將上述解碼殘差影像投影至上述指定視點來設為上述指定視點影像的像素。
[0057]由此，使用基準視點影像、基準視點與副視點的中間視點的深度圖以及從副視點影像切出的殘差影像，來生成任意的視點的影像。
[0058]第十四發(fā)明所記載的立體影像編碼程序為了對多視點影像以及深度圖進行編碼，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，使計算機作為基準視點影像編碼單元、中間視點深度圖合成單元、深度圖編碼單元、深度圖解碼單元、投影影像預測單元、殘差影像編碼單元、遮蔽孔檢測單元、殘差影像切出單元而發(fā)揮功能。
[0059]根據所述結構，立體影像編碼程序通過基準視點影像編碼單元，對上述多視點影像中的基準視點的影像即基準視點影像進行編碼，以基準視點影像位流來輸出。另外，立體影像編碼程序通過中間視點深度圖合成單元，使用基準視點深度圖和副視點深度圖來生成中間視點深度圖，該基準視點深度圖是上述基準視點的深度圖，該副視點深度圖是副視點的深度圖，該副視點是上述多視點影像中的上述基準視點以外的視點，該中間視點深度圖是上述基準視點與上述副視點的中間視點的深度圖。然后，立體影像編碼程序通過深度圖編碼單元，對上述中間視點深度圖進行編碼，以深度圖位流來輸出。
[0060]由此，在原本的深度圖為兩個的情況下，進行編碼的深度圖的數據量被削減為一半。
[0061]另外，立體影像編碼程序通過深度圖解碼單元，對編碼后的上述中間視點深度圖進行解碼，生成解碼中間視點深度圖。接著，立體影像編碼程序通過投影影像預測單元，從上述副視點的影像切出使用上述解碼中間視點深度圖將上述基準視點影像投影至其它視點時成為無法投影的像素區(qū)域即遮蔽孔的像素來生成殘差影像。此時，立體影像編碼程序為了生成殘差影像，通過遮蔽孔檢測單元檢測使用上述解碼中間視點深度圖將上述基準視點影像投影至上述副視點時成為遮蔽孔的像素，通過殘差影像切出單元從上述副視點的影像切出上述成為遮蔽孔的像素來生成上述殘差影像。在此，立體影像編碼程序不是使用編碼前的中間視點深度圖而是使用經編碼/解碼的中間視點深度圖。特別是在以高壓縮率進行編碼的情況下，解碼后的深度圖相對于原本的深度圖會包含很多誤差。因此，通過使用與對上述位流進行解碼來生成多視點影像時所使用的中間視點的深度圖相同的深度圖，能夠正確地檢測成為遮蔽孔的像素。然后，立體影像編碼程序通過殘差影像編碼單元，對上述殘差影像進行編碼，以殘差影像位流來輸出。
[0062]由此，在副視點影像的數據中，僅作為殘差影像而被切出的部分成為編碼對象，進行編碼的數據量被削減。
[0063]第十五發(fā)明所記載的立體影像解碼程序為了將對多視點影像以及深度圖進行編碼所得的位流解碼來生成多視點影像，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，使計算機作為基準視點影像解碼單元、深度圖解碼單元、殘差影像解碼單元、深度圖投影單元、投影影像合成單元、基準視點影像投影單元、殘差影像投影單元而發(fā)揮功能。
[0064]根據所述結構，立體影像解碼程序通過基準視點影像解碼單元，將對上述多視點影像中的基準視點的影像即基準視點影像進行編碼所得的基準視點影像位流解碼，生成解碼基準視點影像。另外，立體影像解碼程序通過深度圖解碼單元，將對中間視點深度圖進行編碼所得的深度圖位流解碼，生成解碼合成深度圖，該中間視點深度圖是上述基準視點與從上述基準視點離開的其它視點即副視點的中間的視點的深度圖。另外，立體影像解碼程序通過殘差影像解碼單元，將對殘差影像進行編碼所得的殘差影像位流解碼，生成解碼殘差影像，該殘差影像是從上述副視點的影像切出將上述基準視點影像投影至其它視點時成為無法投影的像素區(qū)域即遮蔽孔的像素所得的影像。接著，立體影像解碼程序通過深度圖投影單元，將上述解碼中間視點深度圖投影至指定視點，生成上述指定視點的深度圖即指定視點深度圖，該指定視點是從外部指定的作為上述多視點影像的視點的視點。然后，立體影像解碼程序通過投影影像合成單元，對使用上述指定視點深度圖將上述解碼基準視點影像和上述解碼殘差影像投影至上述指定視點所得的影像進行合成，生成上述指定視點的影像即指定視點影像。此時，立體影像解碼程序通過基準視點影像投影單元，檢測在使用上述指定視點深度圖將上述解碼基準視點影像投影至上述指定視點時成為無法投影的像素區(qū)域即遮蔽孔的像素，對于不成為上述遮蔽孔的像素，使用上述指定視點深度圖將上述解碼基準視點影像投影至上述指定視點來設為上述指定視點影像的像素。然后，立體影像解碼程序通過殘差影像投影單元，對于成為上述遮蔽孔的像素，使用上述指定視點深度圖將上述解碼殘差影像投影至上述指定視點來設為上述指定視點影像的像素。
[0065]由此，立體影像解碼程序使用基準視點影像、基準視點與副視點的中間視點的深度圖以及從副視點影像切出的殘差影像，來生成任意的視點的影像。
[0066]第十六發(fā)明所記載的立體影像編碼裝置對多視點影像以及深度圖進行編碼，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，該立體影像編碼裝置構成為具備基準視點影像編碼單元、深度圖合成單元、深度圖編碼單元、深度圖解碼單元、投影影像預測單元以及殘差影像編碼單元。
[0067]根據所述結構，立體影像編碼裝置通過基準視點影像編碼單元，對上述多視點影像中的基準視點的影像即基準視點影像進行編碼，以基準視點影像位流來輸出。另外，立體影像編碼裝置通過深度圖合成單元，將基準視點深度圖和副視點深度圖投影至規(guī)定的視點來進行合成，生成合成深度圖，該基準視點深度圖是上述基準視點的深度圖，該副視點深度圖是副視點的深度圖，該副視點是上述多視點影像的從上述基準視點離開的其它視點，該合成深度圖是上述規(guī)定的視點的深度圖。
[0068]由此，減少進行編碼的深度圖的數據量。
[0069]另外，立體影像編碼裝置通過深度圖編碼單元，對上述合成深度圖進行編碼，以深度圖位流來輸出。接著，立體影像編碼裝置通過深度圖解碼單元，對編碼后的上述合成深度圖進行解碼，生成解碼合成深度圖。接著，立體影像編碼裝置通過投影影像預測單元生成殘差影像，該殘差影像是使用上述解碼合成深度圖從上述基準視點影像預測其它視點的影像時的預測殘差。然后，立體影像編碼裝置通過殘差影像編碼單元，對上述殘差影像進行編碼，以殘差影像位流來輸出。
[0070]由此，減少其它視點的影像的數據量。
[0071]第十七發(fā)明所記載的立體影像編碼裝置構成為，在第十六發(fā)明所記載的立體影像編碼裝置中，上述深度圖合成單元通過將上述基準視點深度圖和多個上述副視點深度圖投影至共同視點并進行合成來生成上述共同視點的一個合成深度圖，該立體影像編碼裝置還具備殘差影像框化單元。
[0072]根據所述結構，立體影像編碼裝置通過深度圖合成單元，將包含基準視點深度圖在內的3個以上的深度圖合成為共同視點的一個合成深度圖。
[0073]由此，深度圖的數據量被減少到1/3以下。
[0074]另外，立體影像編碼裝置通過殘差影像框化單元生成框化殘差影像，該框化殘差影像是將上述基準視點與多個上述副視點的多個上述殘差影像縮小并結合、框化成一個框圖像而得到的。然后，立體影像編碼裝置通過上述殘差影像編碼單元，對上述框化殘差影像進行編碼，以上述殘差影像位流來輸出。
[0075]由此，殘差影像的數據量被減少到1/2以下。
[0076]第十八發(fā)明所記載的立體影像編碼裝置構成為，在第十六或第十七發(fā)明所記載的立體影像編碼裝置中，上述投影影像預測單元從上述副視點的影像切出在使用上述解碼合成深度圖將上述基準視點影像投影至其它視點時成為無法投影的像素區(qū)域即遮蔽孔的像素，生成殘差影像。
[0077]根據所述結構，立體影像編碼裝置通過投影影像預測單元，進行僅切出成為遮蔽孔的像素的數據這樣的邏輯運算來生成殘差影像。
[0078]由此，大幅減少殘差影像的數據量。
[0079]第十九發(fā)明所記載的立體影像編碼裝置為，在第十六或第十七發(fā)明所記載的立體影像編碼裝置中，上述投影影像預測單元計算使用上述解碼合成深度圖將上述基準視點影像投影至上述副視點所得的影像與上述副視點的影像之間的每個像素的差來生成殘差影像。
[0080]根據所述結構，立體影像編碼裝置通過投影影像預測單元，針對整個影像進行兩個影像間的減法運算來生成殘差影像。
[0081]由此，在立體影像解碼裝置側，能夠使用該殘差影像來合成高品質的立體影像。
[0082]第二十發(fā)明所記載的立體影像編碼裝置構成為，在第十六發(fā)明所記載的立體影像編碼裝置中，上述基準視點影像位流、上述深度圖位流以及上述殘差影像位流分別具有依次包含規(guī)定的開始碼以及第一識別信息的報頭，該第一識別信息用于識別位流是單視點影像，該立體影像編碼裝置還具備位流多路復用單元，該位流多路復用單元對輔助信息、上述基準視點影像位流、上述深度圖位流以及上述殘差影像位流進行多路復用，以多路復用位流來輸出，其中，上述輔助信息包含表示上述基準視點和上述副視點的各位置的信息。
[0083]根據所述結構，立體影像編碼裝置通過位流多路復用單元，對于上述基準視點影像位流，直接輸出；對于上述深度圖位流，在上述開始碼與上述第一識別信息之間依次插入第二識別信息和第三識別信息后輸出，該第二識別信息用于識別位流是與立體影像有關的數據，該第三識別信息用于識別位流是上述深度圖位流；對于上述殘差影像位流，在上述開始碼與上述第一識別信息之間依次插入上述第二識別信息和第四識別信息后輸出，該第四識別信息用于識別位流是上述殘差影像位流；對于上述輔助信息，將依次包含上述開始碼、上述第二識別信息以及第五識別信息的報頭附加到上述輔助信息后輸出，該第五識別信息用于識別位流是上述輔助信息。
[0084]由此，立體影像的位流被多路復用后傳輸至立體影像解碼裝置。此時，基準視點影像作為單視點影像的位流被傳輸，其它信息作為與不同于單視點影像的立體影像有關的位流被傳輸。
[0085]第二十一發(fā)明所記載的立體影像解碼裝置將對多視點影像以及深度圖進行編碼所得的位流解碼來生成多視點影像，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，該立體影像解碼裝置構成為具備基準視點影像解碼單元、深度圖解碼單元、殘差影像解碼單元、深度圖投影單元以及投影影像合成單元。
[0086]根據所述結構，立體影像解碼裝置通過基準視點影像解碼單元，將對上述多視點影像中的基準視點的影像即基準視點影像進行編碼所得的基準視點影像位流解碼，生成解碼基準視點影像。另外，立體影像解碼裝置通過深度圖解碼單元，將對合成深度圖進行編碼所得的深度圖位流解碼，生成解碼合成深度圖，該合成深度圖是將基準視點深度圖和副視點深度圖合成而生成的規(guī)定的視點的深度圖，該基準視點深度圖是上述基準視點的深度圖，該副視點深度圖是副視點的深度圖，該副視點是上述多視點影像中的從上述基準視點離開的其它視點。另外，立體影像解碼裝置通過殘差影像解碼單元，將對殘差影像進行編碼所得的殘差影像位流解碼，生成解碼殘差影像，該殘差影像是使用上述解碼合成深度圖從上述基準視點影像預測從上述基準視點離開的其它視點的影像時的預測殘差。接著，立體影像解碼裝置通過深度圖投影單元，將上述解碼合成深度圖投影至指定視點，生成上述指定視點的深度圖即指定視點深度圖，該指定視點是從外部指定的作為上述多視點影像的視點的視點。然后，立體影像解碼裝置通過投影影像合成單元，對使用上述指定視點深度圖將上述解碼基準視點影像和上述解碼殘差影像投影至上述指定視點所得的影像進行合成，生成上述指定視點的影像即指定視點影像。
[0087]由此，生成由基準視點和指定視點的影像構成的多視點影像。
[0088]第二十二發(fā)明所記載的立體影像解碼裝置構成為，在第二十一發(fā)明所記載的立體影像解碼裝置中，上述合成深度圖是將上述基準視點深度圖和多個上述副視點深度圖投影至共同視點來進行合成所得的上述共同視點的一個深度圖，該立體影像解碼裝置還具備殘差影像分離單元，該殘差影像分離單元對框化殘差影像進行分離，生成與上述基準視點影像大小相同的上述解碼殘差影像，該框化殘差影像是將上述多個副視點的多個上述殘差影像縮小并結合所得的一個框圖像。
[0089]根據所述結構，立體影像解碼裝置通過上述殘差影像解碼單元，將對上述框化殘差影像進行編碼所得的上述殘差影像位流解碼，生成解碼框化殘差影像，通過上述殘差影像分離單元，從上述解碼框化殘差影像分離出多個縮小的上述殘差影像，生成與上述基準視點影像大小相同的多個上述解碼殘差影像。然后，立體影像解碼裝置通過上述投影影像合成單元，對使用上述指定視點深度圖將多個上述解碼殘差影像中的某一個解碼殘差影像和上述解碼基準視點影像投影至上述指定視點所得的影像進行合成，生成上述指定視點的影像即指定視點影像。[0090]由此，使用通過框化而數據量減少的殘差影像來生成多視點影像。
[0091]第二十三發(fā)明所記載的立體影像解碼裝置構成為，在第二十一或第二十二發(fā)明所記載的立體影像解碼裝置中，上述殘差影像位流是對殘差影像進行編碼所得的，該殘差影像是通過從上述副視點的影像切出將上述基準視點影像投影至從上述基準視點離開的其它視點時成為無法投影的像素區(qū)域即遮蔽孔的像素而生成的，上述投影影像合成單元具有基準視點影像投影單元和殘差影像投影單元。
[0092]根據所述結構，立體影像解碼裝置通過基準視點影像投影單元，檢測在使用上述指定視點深度圖將上述解碼基準視點影像投影至上述指定視點時成為無法投影的像素區(qū)域即遮蔽孔的像素，對于不成為上述遮蔽孔的像素，使用上述指定視點深度圖將上述解碼基準視點影像投影至上述指定視點來設為上述指定視點影像的像素。另外，立體影像解碼裝置通過殘差影像投影單元，對于成為上述遮蔽孔的像素，使用上述指定視點深度圖將上述解碼殘差影像投影至上述指定視點來設為上述指定視點影像的像素。
[0093]由此，生成將基準視點的影像和副視點的影像即殘差影像合成所得的指定視點影像。
[0094]第二十四發(fā)明所記載的立體影像解碼裝置構成為，在第二十一或第二十二發(fā)明所記載的立體影像解碼裝置中，上述殘差影像位流是對殘差影像進行編碼所得的，該殘差影像是通過計算使用上述解碼合成深度圖將上述基準視點影像投影至上述副視點所得的影像與上述副視點的影像之間的每個像素的差而生成的，上述投影影像合成單元具有殘差相加單元。
[0095]根據所述結構 ，立體影像解碼裝置通過殘差相加單元，按每個像素對使用上述指定視點深度圖將上述解碼基準視點影像投影至上述指定視點所得的影像加上使用上述指定視點深度圖將上述解碼殘差影像投影至上述指定視點所得的影像，來生成上述指定視點影像。
[0096]由此，生成將基準視點的影像和副視點的影像即殘差影像合成所得的指定視點影像。
[0097]第二十五發(fā)明所記載的立體影像解碼裝置構成為，在第二十一發(fā)明所記載的立體影像解碼裝置中，上述基準視點影像位流具有依次包含規(guī)定的開始碼以及第一識別信息的報頭，該第一識別信息用于識別位流是單視點影像，上述深度圖位流具有在上述開始碼與上述第一識別信息之間依次包含第二識別信息和第三識別信息的報頭，該第二識別信息用于識別位流是與立體影像有關的數據，該第三識別信息用于識別位流是上述深度圖位流，上述殘差影像位流具有在上述開始碼與上述第一識別信息之間依次包含上述第二識別信息和第四識別信息的報頭，該第四識別信息用于識別位流是上述殘差影像位流，上述輔助信息位流具有依次包含上述開始碼、上述第二識別信息以及第五識別信息的報頭，該第五識別信息用于識別位流是上述輔助信息位流，該立體影像解碼裝置還具備位流分離單元，上述位流分離單元具有基準視點影像位流分離單元、深度圖位流分離單元、殘差影像位流分離單元以及輔助信息分離單元。
[0098]根據所述結構，立體影像解碼裝置通過進行分離的位流分離單元，將對上述基準視點影像位流、上述深度圖位流、上述殘差影像位流以及包括包含表示上述基準視點和上述副視點的各位置的信息的輔助信息的位流進行多路復用所得的多路復用位流分離成上述基準視點影像位流、上述深度圖位流、上述殘差影像位流以及上述輔助信息。
[0099]此時，立體影像解碼裝置通過基準視點影像位流分離單元，從上述多路復用位流中分離出緊接在上述開始碼之后具有上述第一識別信息的位流作為上述基準視點影像位流，將分離出的基準視點影像位流輸出至上述基準視點影像解碼單元。另外，立體影像解碼裝置通過深度圖位流分離單元，從上述多路復用位流中分離出緊接在上述開始碼之后依次具有上述第二識別信息和上述第三識別信息的位流作為上述深度圖位流，將從該位流中去除上述第二識別信息和上述第三識別信息后的位流輸出至上述深度圖解碼單元。另外，立體影像解碼裝置通過殘差影像位流分離單元，從上述多路復用位流中分離出緊接在上述開始碼之后依次具有上述第二識別信息和上述第四識別信息的位流作為上述殘差影像位流，將從該位流中去除上述第二識別信息和上述第四識別信息后的位流輸出至上述殘差影像解碼單元。然后，立體影像解碼裝置通過輔助信息分離單元，從上述多路復用位流中分離出緊接在上述開始碼之后依次具有上述第二識別信息和上述第五識別信息的位流作為上述輔助信息位流，將從該位流中去除上述第二識別信息和上述第五識別信息后的位流作為輔助信息輸出至上述投影影像合成單元。
[0100]由此，立體影像解碼裝置接收多路復用位流來生成多視點影像。
[0101]第二十六發(fā)明所記載的立體影像編碼方法對多視點影像以及深度圖進行編碼，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，該立體影像編碼方法包括基準視點影像編碼處理步驟、深度圖合成處理步驟、深度圖編碼處理步驟、深度圖解碼處理步驟、投影影像預測處理步驟以及殘差影像編碼處理步驟作為其過程。
[0102]根據所述過程的立體影像編碼方法，在基準視點影像編碼處理步驟中，對上述多視點影像中的基準視點的影像即基準視點影像進行編碼，以基準視點影像位流來輸出。另夕卜，在深度圖合成處理步驟中，將基準視點深度圖和副視點深度圖投影至規(guī)定的視點來進行合成，生成合成深度圖，該基準視點深度圖是上述基準視點的深度圖，該副視點深度圖是副視點的深度圖，該副視點是上述多視點影像的從上述基準視點離開的其它視點，該合成深度圖是上述規(guī)定的視點的深度圖。
[0103]由此，減少進行編碼的深度圖的數據量。
[0104]接著，在深度圖編碼處理步驟中，對上述合成深度圖進行編碼，以深度圖位流來輸出。接著，在深度圖解碼處理步驟中，對編碼后的上述合成深度圖進行解碼，生成解碼合成深度圖。接著，在投影影像預測處理步驟中，生成殘差影像，該殘差影像是使用上述解碼合成深度圖從上述基準視點影像預測其它視點的影像時的預測殘差。然后，在殘差影像編碼處理步驟中，對上述殘差影像進行編碼，以殘差影像位流來輸出。
[0105]由此，減少其它視點的影像的數據量。
[0106]第二十七發(fā)明所記載的立體影像編碼方法為，在第二十六發(fā)明所記載的立體影像編碼方法中，上述基準視點影像位流、上述深度圖位流以及上述殘差影像位流分別具有依次包含規(guī)定的開始碼以及第一識別信息的報頭，該第一識別信息用于識別位流是單視點影像，該立體影像編碼方法還包括位流多路復用處理步驟，在該位流多路復用處理步驟中，對輔助信息、上述基準視點影像位流、上述深度圖位流以及上述殘差影像位流進行多路復用，以多路復用位流來輸出，其中，上述輔助信息包含表示上述基準視點和上述副視點的各位置的信息。[0107]根據所述過程的立體影像編碼方法，在上述位流多路復用處理步驟中，對于上述基準視點影像位流，直接輸出；對于上述深度圖位流，在上述開始碼與上述第一識別信息之間依次插入第二識別信息和第三識別信息后輸出，該第二識別信息用于識別位流是與立體影像有關的數據，該第三識別信息用于識別位流是上述深度圖位流；對于上述殘差影像位流，在上述開始碼與上述第一識別信息之間依次插入上述第二識別信息和第四識別信息后輸出，該第四識別信息用于識別位流是上述殘差影像位流；對于上述輔助信息，將依次包含上述開始碼、上述第二識別信息以及第五識別信息的報頭附加到上述輔助信息后輸出，該第五識別信息用于識別位流是上述輔助信息。
[0108]由此，立體影像的位流被多路復用后傳輸至立體影像解碼裝置。此時，基準視點影像作為單視點影像的位流被傳輸，其它信息作為與不同于單視點影像的立體影像有關的位流被傳輸。
[0109]第二十八發(fā)明所記載的立體影像解碼方法將對多視點影像以及深度圖進行編碼所得的位流解碼來生成多視點影像，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，該立體影像解碼方法包括基準視點影像解碼處理步驟、深度圖解碼處理步驟、殘差影像解碼處理步驟、深度圖投影處理步驟以及投影影像合成處理步驟作為其過程。
[0110]根據所述過程的立體影像解碼方法，在基準視點影像解碼處理步驟中，將對上述多視點影像中的基準視點的影像即基準視點影像進行編碼所得的基準視點影像位流解碼，生成解碼基準視點影像。另外，在深度圖解碼處理步驟中，將對合成深度圖進行編碼所得的深度圖位流解碼，生成解碼合成深度圖，該合成深度圖是將基準視點深度圖和副視點深度圖合成而生成的規(guī)定的視點的深度圖，該基準視點深度圖是上述基準視點的深度圖，該副視點深度圖是副視點的深度圖，該副視點是上述多視點影像中的從上述基準視點離開的其它視點。另外，在殘差影像解碼處理步驟中，將對殘差影像進行編碼所得的殘差影像位流解碼，生成解碼殘差影像，該殘差影像是使用上述解碼合成深度圖從上述基準視點影像預測從上述基準視點離開的其它視點的影像時的預測殘差。另外，在深度圖投影處理步驟中，將上述解碼合成深度圖投影至指定視點，生成上述指定視點的深度圖即指定視點深度圖，該指定視點是從外部指定的作為上述多視點影像的視點的視點。然后，在投影影像合成處理步驟中，對使用上述指定視點深度圖將上述解碼基準視點影像和上述解碼殘差影像投影至上述指定視點所得的影像進行合成，生成上述指定視點的影像即指定視點影像。
[0111]由此，生成由基準視點和指定視點的影像構成的多視點影像。
[0112]第二十九發(fā)明所記載的立體影像解碼方法為，在第二十八發(fā)明所記載的立體影像解碼方法中，上述基準視點影像位流具有依次包含規(guī)定的開始碼以及第一識別信息的報頭，該第一識別信息用于識別位流是單視點影像，上述深度圖位流具有在上述開始碼與上述第一識別信息之間依次包含第二識別信息和第三識別信息的報頭，該第二識別信息用于識別位流是與立體影像有關的數據，該第三識別信息用于識別位流是上述深度圖位流，上述殘差影像位流具有在上述開始碼與上述第一識別信息之間依次包含上述第二識別信息和第四識別信息的報頭，該第四識別信息用于識別位流是上述殘差影像位流，上述輔助信息位流具有依次包含上述開始碼、上述第二識別信息以及第五識別信息的報頭，該第五識別信息用于識別位流是上述輔助信息位流，立體影像解碼方法還包括位流分離處理步驟作為其過程。
[0113]根據所述過程的立體影像解碼方法，在上述位流分離步驟中，將對上述基準視點影像位流、上述深度圖位流、上述殘差影像位流以及包括包含表示上述基準視點和上述副視點的各位置的信息的輔助信息的位流進行多路復用所得的多路復用位流分離成上述基準視點影像位流、上述深度圖位流、上述殘差影像位流以及上述輔助信息。
[0114]在此，從上述多路復用位流中分離出緊接在上述開始碼之后具有上述第一識別信息的位流作為上述基準視點影像位流，將分離出的基準視點影像位流在上述基準視點影像解碼處理步驟中使用；從上述多路復用位流中分離出緊接在上述開始碼之后依次具有上述第二識別信息和上述第三識別信息的位流作為上述深度圖位流，將從該位流中去除上述第二識別信息和上述第三識別信息后的位流在上述深度圖解碼處理步驟中使用；從上述多路復用位流中分離出緊接在上述開始碼之后依次具有上述第二識別信息和上述第四識別信息的位流作為上述殘差影像位流，將從該位流中去除上述第二識別信息和上述第四識別信息后的位流在上述殘差影像解碼處理步驟中使用；從上述多路復用位流中分離出緊接在上述開始碼之后依次具有上述第二識別信息和上述第五識別信息的位流作為上述輔助信息位流，將從該位流中去除上述第二識別信息和上述第五識別信息后的位流作為輔助信息在上述投影影像合成處理步驟中使用。
[0115]由此，使用多路復用位流來生成立體影像。
[0116]另外，也能夠通過用于使一般計算機所具備的CPU (中央運算裝置)、存儲器等硬件資源作為基準視點影像編碼單元、深度圖合成單元、深度圖編碼單元、深度圖解碼單元、投影影像預測單元、殘差影像編碼單元而發(fā)揮功能的第三十發(fā)明所記載的立體影像編碼程序來實現第十六發(fā)明所記載的立體影像編碼裝置。
[0117]另外，也能夠通過用于使一般計算機還作為位流多路復用單元而發(fā)揮功能的第三十一發(fā)明所記載的立體影像編碼程序來實現第二十發(fā)明所記載的立體影像編碼裝置。
[0118]另外，也能夠通過用于使一般計算機所具備的CPU、存儲器等硬件資源作為基準視點影像解碼單元、深度圖解碼單元、殘差影像解碼單元、深度圖投影單元、投影影像合成單元而發(fā)揮功能的第三十二發(fā)明所記載的立體影像解碼程序來實現第二十一發(fā)明所記載的立體影像解碼裝置。
[0119]另外，也能夠通過用于使一般計算機所具備的CPU、存儲器等硬件資源還作為位流分離單元而發(fā)揮功能的第三十三發(fā)明所記載的立體影像解碼程序來實現第二十五發(fā)明所記載的立體影像解碼裝置。
[0120]發(fā)明的效果
[0121]根據第一發(fā)明、第十二發(fā)明或第十四發(fā)明，對于基準視點影像、副視點影像以及附隨于這些影像的各影像的深度圖，作為進行編碼的對象數據，深度圖的數據為基準視點與副視點的中間視點的深度圖，副視點影像的數據僅為提取無法從基準視點影像投影而成為遮蔽孔的像素所得的殘差影像，從而分別減少了數據量，因此能夠相對原本的數據量以高效率來進行編碼。
[0122]根據第二發(fā)明，遺漏少地檢測成為遮蔽孔的像素，因此在使用該檢測結果切出副視點影像的像素來生成殘差影像時，能夠適當地切出在立體影像解碼裝置中生成任意的視點的影像時所需的像素。[0123]根據第三發(fā)明，通過表示遮蔽孔的像素位置的孔掩模的膨脹處理，能夠減少成為遮蔽孔的像素的漏檢測，因此在使用該檢測結果切出副視點影像的像素來生成殘差影像時，能夠適當地切出在立體影像解碼裝置中生成任意的視點的影像時所需的像素。
[0124]根據第四發(fā)明，除了使用副視點的深度圖檢測遮蔽孔以外，還使用中間視點的深度圖即中間視點深度圖來檢測遮蔽孔，從而更適當地檢測成為遮蔽孔的像素，因此能夠使用其檢測結果來生成更適當的殘差影像。
[0125]根據第五發(fā)明，除了使用副視點的深度圖檢測遮蔽孔以外，還使用在解碼側對編碼數據進行解碼來生成多視點影像時的指定視點的深度圖來檢測遮蔽孔，因此能夠使用其檢測結果來生成更適當的殘差影像。
[0126]根據第六發(fā)明，通過將多個視點間的中間視點深度圖和殘差影像分別框化來減少數據量，因此立體影像編碼裝置能夠以高效率對這些數據進行編碼。
[0127]根據第七發(fā)明、第十三發(fā)明或第十五發(fā)明，深度圖和副視點影像的數據量減少，能夠以高效率對編碼后的數據進行解碼來生成多視點影像。另外，作為深度圖，能夠使用作為基準視點與副視點的中間視點的深度圖的合成深度圖，與僅使用基準視點或副視點的深度圖的情況相比，所生成的影像的視點的位置變得接近，因此能夠生成良好畫質的指定視點影像。
[0128]根據第八發(fā)明，利用使用作為實際生成影像的視點的指定視點的深度圖來檢測成為遮蔽孔的像素所得的結果，從將基準視點影像投影至指定視點所得的影像和將殘差影像投影至指定視點所得的影像中選擇適當的像素來生成指定視點影像，因此能夠生成良好畫質的指定視點影像。
[0129]根據第九發(fā)明，使用吸收了因解碼后的中間視點深度圖所包含的誤差而導致的遮蔽孔的漏檢測的檢測結果，從將基準視點影像投影至指定視點所得的影像和將殘差影像投影至指定視點所得的影像中選擇像素來生成指定視點影像，因此能夠生成良好畫質的指定視點影像。
[0130]根據第十發(fā)明，生成沒有孔的影像，因此能夠生成良好畫質的指定視點影像。
[0131]根據第十一發(fā)明，能夠對框化的深度圖和殘差影像進行分離來生成原本尺寸的深度圖和殘差影像，因此能夠將在對多個系統的多視點影像進行編碼時將多個系統中的深度圖和殘差影像縮小并框化成各個框圖像以減少數據量而以高效率進行編碼所得的數據解碼來生成多視點影像。
[0132]根據第十六發(fā)明，第二十六發(fā)明或第三十發(fā)明，對于深度圖，將基準視點深度圖與副視點深度圖進行合成來減少數據量，并且對于副視點影像，生成殘差影像而減少數據量，因此能夠以高效率對多視點影像進行編碼。
[0133]根據第十七發(fā)明，將3個以上的深度圖合成為一個來進一步減少數據量，并且將2個以上的殘差影像縮小并框化來進一步減少數據量，因此能夠進一步提高編碼效率。
[0134]根據第十八發(fā)明，對于副視點影像，僅切出成為遮蔽孔的像素來減少數據，因此能夠提高編碼效率。
[0135]根據第十九發(fā)明，對于副視點影像，通過計算其與將基準視點影像投影至副視點所得的影像的影像整體的差來生成殘差影像，因此在立體影像解碼裝置側能夠使用該殘差影像來合成高品質的多視點影像。[0136]根據第二十發(fā)明，第二十七發(fā)明或第三十一發(fā)明，在將立體影像以多路復用位流來輸出時，對于基準視點的影像，作為單視點影像的位流被傳輸，其它信息作為與立體影像有關的位流被傳輸，因此在對單視點影像進行解碼的現有的立體影像解碼裝置中，能夠不進行錯誤動作地將多路復用位流解碼為單視點影像。
[0137]根據第二十一發(fā)明、第二十八發(fā)明或第三十二發(fā)明，能夠對深度圖和副視點影像的數據量減少而以高效率進行編碼所得的數據進行解碼來生成多視點影像。
[0138]根據第二十二發(fā)明，能夠對深度圖和副視點影像的數據量進一步減少而以更高的效率進行編碼所得的數據進行解碼來生成多視點影像。
[0139]根據第二十三發(fā)明，能夠對副視點影像的數據量進一步減少而以更高的效率進行編碼所得的數據進行解碼來生成多視點影像。
[0140]根據第二十四發(fā)明，能夠將對副視點影像的高品質的殘差影像進行編碼所得的數據解碼來高品質地生成多視點影像。
[0141]根據第二十五發(fā)明、第二十九發(fā)明或第三十三發(fā)明，能夠將對多路復用位流進行分離所得的位流解碼來生成多視點影像。
【專利附圖】

【附圖說明】
[0142]圖1是表示本發(fā)明的第一實施方式和第二實施方式所涉及的包括立體影像編碼裝置和立體影像解碼裝置的立體影像傳輸系統的結構的框圖。
[0143]圖2是表示本發(fā)明的第一實施方式所涉及的立體影像編碼裝置的結構的框圖。
[0144]圖3是表示本發(fā)明的第一實施方式所涉及的立體影像編碼裝置的詳細結構的框圖，(a)表示深度圖合成單元的結構，(b)表示遮蔽孔檢測單元的結構。
[0145]圖4是用于說明本發(fā)明的第一實施方式所涉及的立體影像編碼裝置中的編碼處理的概要的說明圖。
[0146]圖5是用于說明本發(fā)明中的深度圖的合成過程的說明圖，(a)表示使用基準視點和左視點的深度圖的情況，(b)表不使用基準視點和右視點的深度圖的情況。
[0147]圖6是用于說明本發(fā)明中的遮蔽孔檢測過程的說明圖。
[0148]圖7是表示本發(fā)明的第一實施方式所涉及的立體影像解碼裝置的結構的框圖。
[0149]圖8是表示本發(fā)明的第一實施方式所涉及的立體影像解碼裝置中的投影影像合成單元的結構的框圖。
[0150]圖9是用于說明本發(fā)明的第一實施方式所涉及的立體影像解碼裝置中的解碼處理的概要的說明圖。
[0151]圖10是表示本發(fā)明的第一實施方式所涉及的立體影像編碼裝置的動作的流程圖。
[0152]圖11是表示本發(fā)明的第一實施方式所涉及的立體影像解碼裝置的動作的流程圖。
[0153]圖12是表示本發(fā)明的第二實施方式所涉及的立體影像編碼裝置的結構的框圖。
[0154]圖13是用于說明本發(fā)明的第二實施方式所涉及的立體影像編碼裝置中的編碼處理的概要的說明圖。
[0155]圖14是表示本發(fā)明的第二實施方式所涉及的立體影像解碼裝置的結構的框圖。[0156]圖15是用于說明本發(fā)明的第二實施方式所涉及的立體影像解碼裝置中的解碼處理的概要的說明圖。
[0157]圖16是表示本發(fā)明的第二實施方式所涉及的立體影像編碼裝置的動作的流程圖。
[0158]圖17是表示本發(fā)明的第二實施方式所涉及的立體影像解碼裝置的動作的流程圖。
[0159]圖18是用于說明本發(fā)明的第二實施方式的變形例所涉及的立體影像編碼裝置中的框化處理的概要的說明圖，(a)表示深度圖的框化，(b)表示殘差影像的框化。
[0160]圖19是表示本發(fā)明的第三實施方式所涉及的立體影像編碼裝置的結構的框圖。
[0161]圖20是用于說明本發(fā)明的第三實施方式所涉及的立體影像編碼裝置中的編碼處理的概要的說明圖。
[0162]圖21的(a)是表示本發(fā)明的第三實施方式所涉及的立體影像編碼裝置中的投影影像預測單元的詳細結構的框圖，(b)是表示其變形例中的投影影像預測單元的結構的框圖。
[0163]圖22是表示本發(fā)明的第三實施方式所涉及的立體影像解碼裝置的結構的框圖。
[0164]圖23是用于說明本發(fā)明的第三實施方式所涉及的立體影像解碼裝置中的解碼處理的概要的說明圖。
[0165]圖24的(a)是表示本發(fā)明的第三實施方式所涉及的立體影像解碼裝置中的投影影像預測單元的詳細結構的框圖，(b)是表示其變形例中的投影影像預測單元的結構的框圖。
[0166]圖25是表示本發(fā)明的第三實施方式所涉及的立體影像編碼裝置的動作的流程圖。
[0167]圖26是表示本發(fā)明的第三實施方式所涉及的立體影像解碼裝置的動作的流程圖。
[0168]圖27是表示本發(fā)明的第四實施方式所涉及的立體影像編碼裝置的結構的框圖。
[0169]圖28是表示本發(fā)明的第四實施方式所涉及的立體影像編碼裝置中的位流多路復用單元的詳細結構的框圖。
[0170]圖29是表示本發(fā)明的第四實施方式中的數據結構的圖，(a)表示以往的位流，(b)表示基準視點影像位流，(C)表示深度圖位流，(d)表示殘差影像位流，(e)表示輔助信息。
[0171]圖30是用于說明本發(fā)明的第四實施方式中的輔助信息的內容的圖。
[0172]圖31是表示本發(fā)明的第四實施方式所涉及的立體影像解碼裝置的結構的框圖。
[0173]圖32是表示本發(fā)明的第四實施方式所涉及的立體影像解碼裝置中的位流分離單元的詳細結構的框圖。
[0174]圖33是表示本發(fā)明的第四實施方式所涉及的立體影像編碼裝置的動作的流程圖。
[0175]圖34是表示本發(fā)明的第四實施方式所涉及的立體影像解碼裝置的動作的流程圖。
[0176]圖35是表示以往的立體影像編碼裝置的結構的框圖。【具體實施方式】
[0177]下面參照附圖來說明本發(fā)明的實施方式。
[0178]<第一實施方式>
[0179][立體影像傳輸系統]
[0180]首先，參照圖1說明本發(fā)明的第一實施方式所涉及的包括立體影像編碼裝置和立體影像解碼裝置的立體影像傳輸系統S。
[0181]立體影像傳輸系統S用于將由攝影機等拍攝到的立體影像與深度圖一起進行編碼并傳輸，在傳輸目的地生成多視點影像。在此，立體影像傳輸系統S具備立體影像編碼裝置1、立體影像解碼裝置2、立體影像制作裝置3以及立體影像顯示裝置4。
[0182]立體影像編碼裝置I對由立體影像制作裝置3制作的立體影像進行編碼，以位流輸出至傳輸路，發(fā)送至立體影像解碼裝置2。另外，立體影像解碼裝置2對從立體影像編碼裝置I發(fā)送的位流進行解碼，生成多視點影像，輸出至立體影像顯示裝置4，使立體影像顯示裝置4顯示立體影像。
[0183]此外，關于從立體影像編碼裝置I傳輸至立體影像解碼裝置2的位流，例如可以與多種信號分別對應地形成為多個位流。另外，也可以如后述第四實施方式那樣，對這些信號進行多路復用來做為一個位流傳輸。后述的其它實施方式也同樣。
[0184]另外，立體影像制作裝置3是能夠拍攝立體影像的攝影機、CG(computer graphic:計算機圖形)制作裝置等，生成立體影像(多視點影像)以及附隨于立體影像的深度圖，輸出至立體影像編碼裝置I。立體影像顯示裝置4被輸入由立體影像解碼裝置2生成的多視點影像，顯不立體影像。
[0185][立體影像編碼裝置的結構]
[0186]接著，參照圖2至圖4(適當參照圖1)來說明第一實施方式所涉及的立體影像編碼裝置I的結構。
[0187]如圖2所示，第一實施方式所涉及的立體影像編碼裝置I (以下適當稱為“編碼裝置”)具備基準視點影像編碼單元11、深度圖合成單元12、深度圖編碼單元13、深度圖解碼單元14、投影影像預測單元15以及殘差影像編碼單元16。另外，投影影像預測單元15構成為具有遮蔽孔(occlus1n hole)檢測單元151和殘差影像切出單元152。
[0188]對編碼裝置I輸入立體影像，作為立體影像，輸入基準視點影像C、左視點影像(副視點影像)L、與這些影像分別對應的基準視點深度圖Cd和左視點深度圖(副視點深度圖)Ld以及左指定視點I?η (指定視點)，其中，該基準視點影像C是從作為基準的視點觀看到的影像，該左視點影像(副視點影像)L是從左視點(副視點)、即水平向左方遠離基準視點的視點觀看到的影像，該左指定視點I?η (指定視點)是在立體影像解碼裝置2所生成的多視點影像中被指定生成影像的視點。
[0189]此外，在本實施方式中，將面向被攝體位于右側的視點設為基準視點，將左側的視點設為左視點(副視點)，但是并不限定于此。例如，也可以將左側的視點設為基準視點，將右側的視點設為副視點。另外，基準視點與副視點并不限定于沿水平方向分離的情況，也可以沿垂直方向、斜向等，沿從視點觀察被攝體的角度會發(fā)生改變那樣的任意方向分離。
[0190]然后，編碼裝置I根據這些輸入數據，將對基準視點影像C進行編碼所得的編碼基準視點影像c以基準視點影像位流輸出，將對左合成深度圖(中間視點深度圖)Md進行編碼所得的編碼深度圖md以深度圖位流輸出，該左合成深度圖(中間視點深度圖)Md是作為基準視點與左視點的中間視點的左合成視點(中間視點)的深度圖，將對作為基準視點影像C與左視點影像L之差的左殘差影像(殘差影像)Lv進行編碼所得的編碼殘差影像Iv以殘差影像位流輸出。
[0191]另外，從編碼裝置I輸出的各位流經由傳輸路被傳輸至立體影像解碼裝置2 (參照圖1)。
[0192]下面，參照圖4所示的影像和深度圖的例子來說明各結構要素。此外，為了使說明簡單，在圖4中，如基準視點影像C和左視點影像L等所示那樣，設各影像由圓形的位于前景的被攝體和其它的成為背景的被攝體構成。
[0193]另外，如圖4的基準視點深度圖Cd、左視點深度圖Ld所示那樣，在各深度圖中，與位于前景的被攝體對應的像素(圓形區(qū)域)的深度值具有大的值，在圖中表現得亮。另外，與位于背景的被攝體對應的像素的深度值具有小的值，在圖中表現得暗。
[0194]此外，將附隨于各視點的影像的深度圖設為對每個像素決定了深度值的圖，是對各個視點影像的每個像素預先賦予的，該深度值是與映在基準視點影像C和左視點影像L中的相同被攝體點所對應的像素位置的偏移量對應的值。
[0195]從外部對基準視點影像編碼單元11輸入基準視點影像C，基準視點影像編碼單元11通過規(guī)定的編碼方式對該基準視點影像C進行編碼來生成編碼基準視點影像C，以基準視點影像位流輸出至傳輸路。
[0196]作為此處使用的編碼方式，優(yōu)選的是使用作為2D(二維)影像編碼方式而普及的編碼方式。具體地說，能夠列舉出:目前廣播所使用的MPEG-2 (MovingPicture Experts Group (運動圖像專家組)_2)標準的編碼方式、光盤記錄器所使用的H.264 IMPEG-4AVC(Moving Picture Experts Group (運動圖像專家組)-4Advanced VideoCoding(高級視頻編碼))標準的編碼方式。由此，具有以下優(yōu)點:即使是已普及的以往的僅具備2D解碼器的解碼裝置，也能夠將作為立體影像的一部分的基準視點影像C轉換為平面影像來觀看。
[0197]從外部對深度圖合成單元(中間視點深度圖合成單元)12輸入基準視點深度圖Cd和左視點深度圖Ld，深度圖合成單元(中間視點深度圖合成單元)12將它們分別投影至基準視點與左視點的中間的視點即中間視點，生成中間視點的深度圖。然后，深度圖合成單元12對所生成的中間視點的兩個深度圖進行合成，生成左合成深度圖(中間視點深度圖)Md，輸出至深度圖編碼單元13。
[0198]此外，關于本實施方式中使用的深度圖，對任何深度圖都作為與基準視點影像C等影像形式相同的圖像數據來處理。例如，在使用H1-Vis1n (高清)標準的形式的情況下，將深度值設定為亮度分量(Y)，而作為色差分量(Pb，Pr)分別設定規(guī)定值(在平均每I分量為8位信號的情況下，例如“128”)。由此，在深度圖編碼單元13使用與影像的編碼方式相同的編碼方式對左合成深度圖Md進行編碼的情況下，也能夠防止以深度圖來看不具有有效信息的色差分量(Pb，Pr)導致編碼效率降低。
[0199]另外，深度圖合成單元12如圖3的(a)所示那樣，構成為具有中間視點投影單元121,122和圖合成單元123。
[0200]中間視點投影單元121針對基準視點深度圖Cd生成中間視點的深度圖Med，通過使基準視點深度圖Cd的各像素向從基準視點來看處于中間視點方向相反側的右方向移動與其像素值即深度值的1/2對應的像素數來生成中間視點的深度圖McCL其結果，在深度圖Med內產生由于移動像素而產生的沒有深度值(像素值)的像素，將其稱為遮蔽孔。針對沒有深度值的像素，將該像素位置附近的規(guī)定范圍的有效像素的深度值設為該像素的深度值。在這種情況下，優(yōu)選的是將附近的規(guī)定范圍的像素的深度值中最小的深度值設為該像素的深度值。由此，能夠大致正確地對由于遮蔽而隱蔽于前景的被攝體之后的后景(背景)的被攝體所對應的像素的深度值進行插值。
[0201]中間視點投影單元121將所生成的深度圖Med輸出至圖合成單元123。
[0202]在此，參照圖5的(a)來說明深度圖的投影。
[0203]如圖5的(a)所示，將從基準視點到左視點的距離設為b，將從基準視點到作為任意視點的左指定視點的距尚設為c,將從左中間視點到左指定視點的距尚設為a,將從左指定視點到左視點的距離設為d。另外，從基準視點到左中間視點的距離和從左中間視點到左視點的距離均為b/2。
[0204]對于深度值，在將深度圖或影像投影至相距基準視點與左視點之間的距離即距離b的視點時，與使其像素向視點移動方向相反側的右方向移動的像素數(視差量)對應，通常使影像中的最大視差量與最大深度值對應來使用。另外，該像素數的移動量與視點的移動量成正比。因而，在將基準視點的深度圖投影至與基準視點相離c的指定視點的情況下，使各像素向右側移動與其深度值的(c/b)倍對應的像素數。此外，若視點的移動方向為右方向，則使像素向相反側即右方 向移動。
[0205]因而，當在中間視點投影單元121中將基準視點的深度圖投影至中間視點的情況下，如前所述，向右方向移動與深度值的((b/2)/b) = 1/2倍對應的像素數。
[0206]另外，如接著說明的中間視點投影單元122所示的那樣，在將左視點的深度圖投影至從左視點來看位于右方向的中間視點的情況下，使左視點的深度圖的各像素向左方向移動與該像素的深度值的((b/2)/b) = 1/2倍對應的像素數。
[0207]返回到圖3的(a)來繼續(xù)說明。
[0208]中間視點投影單元122針對左視點深度圖Ld生成中間視點的深度圖ΜΜ，通過使左視點深度圖Ld的各像素向從左視點來看處于中間視點方向相反側的左方向移動與其像素值即深度值的1/2對應的像素數來生成中間視點的深度圖MM。其結果，在深度圖MM內產生遮蔽孔，因此與上述中間視點投影單元121同樣地，用其像素周圍的有效像素的像素值來填充該遮蔽孔。
[0209]中間視點投影單元122將所生成的深度圖MM輸出至圖合成單元123。
[0210]此外，在各中間視點投影單元121、122生成中間視點的深度圖Med、MM時，由于各深度圖中的各像素的深度值的不同，有時在原深度圖(基準視點深度圖Cd、左視點深度圖Ld)中位置不同的像素在移動后位置相同。在移動像素位置之后多個像素在相同位置重疊的情況下，將其中具有最大深度值的像素作為該像素處的深度值。由此，在投影后的深度圖(中間視點的深度圖#(1、1^(1)中，會留下前景的被攝體的深度值，并能夠正確保持被攝體的重置關系即遮蔽關系。
[0211]圖合成單元123將從中間視點投影單元121、122輸入的兩個中間視點的深度圖Mcd, MLd合成為一個，生成左合成深度圖Md，輸出至深度圖編碼單元13。[0212]圖合成單元123在將兩個深度圖MGd、MLd合成為一個來生成左合成深度圖Md時，將雙方的深度圖MecUMLd中的相同像素位置的深度值的平均值設為該像素的深度值。
[0213]接著，圖合成單元123對左合成深度圖Md依序實施3X3、5X5、7X7、9X9、11X11、13X13、15X15以及17X17的像素尺寸的中值濾波處理。由此，即使是濾波處理前的深度圖的品質差、含有很多錯誤的深度值的不平滑的深度圖，通過以周圍的像素區(qū)域內的各像素的深度值的中央值進行置換，也可以得到更平滑的深度圖，改善在立體影像解碼裝置2中合成的指定視點影像的品質。此外，即使實施中值濾波處理，深度值大幅變化的部分也會被保存，因此不會產生前景與背景的深度值相混合的情形。
[0214]深度圖編碼單元13以規(guī)定的編碼方式對從深度圖合成單元12輸入的左合成深度圖Md進行編碼來生成編碼深度圖md，以深度圖位流輸出至傳輸路。
[0215]此處使用的編碼方式既可以與上述的對基準視點影像進行編碼的編碼方式相同，也可以使用例如HEVC (High Efficiency Video Coding:高效視頻編碼)這種編碼效率更高的編碼方式。
[0216]深度圖解碼單元14將由深度圖編碼單元13生成的編碼深度圖md即深度圖位流根據其編碼方式進行解碼，生成作為中間視點的深度圖的解碼左合成深度圖(解碼中間視點深度圖)M’d。深度圖解碼單元14將所生成的解碼左合成深度圖M’d輸出至遮蔽孔檢測單元151。
[0217]投影影像預測單元15如圖2所示，被從外部輸入基準視點影像C、左視點影像L以及左指定視點Pt1~Ptn，被從深度圖解碼單元14輸入解碼左合成深度圖M，d，生成左殘差影像Lv并輸出至殘差影像編碼單元16。另外，投影影像預測單元15構成為具有遮蔽孔檢測單元151和殘差影像切出 單元152。
[0218]遮蔽孔檢測單元151被從外部輸入基準視點影像C和左指定視點Pt1~Ptn^W深度圖解碼單元14輸入解碼左合成深度圖M，d，檢測將基準視點影像C投影至左視點、中間視點以及左指定視點Pt1~Ptn時預測會產生的成為遮蔽孔的像素區(qū)域。遮蔽孔檢測單元151生成表示成為遮蔽孔的像素區(qū)域的孔掩模Lh作為檢測結果，輸出至殘差影像切出單元 152。
[0219]此外，本實施方式中的孔掩模Lh是與基準視點影像C等影像尺寸相同的2值數據(0，I)，對于不成為遮蔽孔而能夠將基準視點影像C投影至左視點等的像素，設定值“0”，對于成為遮蔽孔的像素，設定為值“ I ”。
[0220]在此說明遮蔽孔0H。此外，如圖4所示，以使用左視點的深度圖即左視點投影深度圖L’ d將基準視點影像C投影至左視點的情況為例來進行說明。
[0221]成為前景的被攝體、即接近拍攝影像的攝影機的設置場所等視點位置的被攝體的像素由于視點位置的移動而被投影至大幅偏移的位置。另外，遠離視點位置的成為背景的被攝體的像素由于視點位置的移動被投影至幾乎不偏移的位置。因此，如作為圖4的左視點投影影像Le所示出的那樣，在成為前景的圓形被攝體向右方向偏移之后，被前景擋住而在基準視點影像C中不存在對應像素的、表示為黑色的月牙狀區(qū)域作為沒有被像素投影的區(qū)域而殘留下來。該沒有被像素投影的區(qū)域為遮蔽孔0H。
[0222]此外，并不限于說明的該例子，在使用與影像有關的深度圖(視點也可以與影像不同)將該影像投影至任意視點的情況下，一般都會產生遮蔽孔。[0223]另一方面，在前景的被攝體向右方向偏移而拍攝到的左視點影像L中，會拍攝到該遮蔽孔OH的像素。因此，在本實施方式中，通過后述的殘差影像切出單元152，從左視點影像L提取出該遮蔽孔OH的像素區(qū)域的像素來生成左殘差影像Lv。
[0224]由此，并非對左視點影像L的全部進行編碼，而是僅對除了能夠從基準視點影像C進行投影的像素區(qū)域以外的殘差影像進行編碼，因此編碼效率佳，能夠減少所傳輸的數據量。此外，后面敘述遮蔽孔檢測單元151的詳細內容。
[0225]此外，在使用通過編碼和解碼能夠對左合成深度圖Md進行可逆轉換的編碼方式的情況下，也能夠使用左合成深度圖Md代替解碼左合成深度圖M’d來檢測成為遮蔽孔的像素區(qū)域。在這種情況下，不需要深度圖解碼單元14。但是，能夠得到高壓縮率的編碼方式一般是不可逆轉換，因此優(yōu)選的是如本實施方式那樣使用解碼左合成深度圖M’d。由此，在立體影像解碼裝置2(參照圖1)中，能夠使用解碼左合成深度圖M’ d正確地預測生成多視點影像時產生的遮蔽孔。
[0226]殘差影像切出單元152被從外部輸入左視點影像L，被從遮蔽孔檢測單元151輸入孔掩模Lh，從左視點影像L提取出孔掩模Lh所示的成為遮蔽孔的像素區(qū)域的像素來生成左殘差影像Lv。殘差影像切出單元152將所生成的左殘差影像Lv輸出至殘差影像編碼單元16。
[0227]此外，將左殘差影像Lv設為與基準視點影像C、左視點影像L形式相同的圖像數據。此時，對于未成為遮蔽孔的像素區(qū)域的像素，設為規(guī)定的像素值。關于規(guī)定值，例如在平均I分量為8位的像素數據的情況下，優(yōu)選的是亮度分量(Y)、色差分量(Pb，Pr)均為中間的像素值即128。通過這樣，能夠減少有殘差影像的部分與沒有殘差影像的部分之間的變化量，從而減小左殘差影像Lv的編碼處理中的失真。另外，當在立體影像解碼裝置2 (參照圖1)中生成左指定視點Pt的影像時未從左殘差影像Lv得到適當的像素的情況下，能夠在左殘差影像Lv中檢測沒有成為遮蔽孔的部分的像素，以殘差影像的某個有效的周圍像素對該像素進行插值。
[0228]殘差影像編碼單元16被從殘差影像切出單元152輸入左殘差影像Lv，以規(guī)定的編碼方式對左殘差影像Lv進行編碼來生成編碼殘差影像lv，以殘差影像位流輸出至傳輸路。
[0229]此處使用的編碼方式既可以與上述的對基準視點影像C進行編碼的編碼方式相同，也可以使用HEVC這種編碼效率更高的編碼方式。
[0230]接著，參照圖3的(b)(適當參照圖2及圖4)來更詳細說明遮蔽孔檢測單元151。
[0231]遮蔽孔檢測單元151如圖3的(b)所示，構成為具有第一孔掩模生成單元1511、第二孔掩模生成單元1512、第三孔掩模生成單元1513(1513i?1513n)、孔掩模合成單元1514以及孔掩模膨脹單元1515。
[0232]第一孔掩模生成單元1511預測將基準視點影像C投影至左視點時成為遮蔽孔OH的像素區(qū)域，生成表示該像素區(qū)域的孔掩模Lh1并輸出至孔掩模合成單元1514。為此，第一孔掩模生成單元1511構成為具有左視點投影單元1511a和第一孔像素檢測單元1511b。
[0233]左視點投影單元(副視點投影單元)1511a被從深度圖解碼單元14輸入解碼左合成深度圖M’ d，將該解碼左合成深度圖M’ d投影至左視點而生成左視點的深度圖即左視點投影深度圖L’ d，輸出至第一孔像素檢測單元1511b。
[0234]此外，能夠通過使作為中間視點深度圖的解碼左合成深度圖M，d的各像素向右方向移動與該像素的深度值的1/2的值對應的像素數，來生成左視點投影深度圖L’ d。在將所有像素移動之后多個像素重疊于相同像素時，與上述的通過中間視點投影單元121、122(參照圖3的(a))生成中間視點的深度圖的情況同樣地，將多個像素的深度值中最大的深度值設為該像素位置的深度值。另外，在不存在有效像素的情況下，與上述的通過圖合成單元123生成中間視點的深度圖的情況同樣地，將該像素位置附近的規(guī)定范圍的有效像素的深度值設為該像素的深度值。在這種情況下，也可以將附近的規(guī)定范圍的像素的深度值中最小的深度值設為該像素的深度值。
[0235]接著，第一孔像素檢測單元(孔像素檢測單元)1511b被從外部輸入基準視點影像C，被從左視點投影單元1511a輸入左視點投影深度圖L’ d，使用左視點投影深度圖L’ d來預測將基準視點影像C投影至左視點的情況下成為遮蔽孔OH的像素區(qū)域，生成表示該像素區(qū)域的孔掩模Lh1，輸出至孔掩模合成單元1514。
[0236]此外，第一孔像素檢測單元1511b對從左視點投影單元1511a輸入的左視點投影深度圖L’d依次實施3X3和5X5像素的中值濾波處理，來減少由于編碼、解碼以及投影而產生的深度值的誤差。然后，使用實施了中值濾波處理后的左視點投影深度圖L’ d來檢測成為遮蔽孔OH的像素區(qū)域。
[0237]在此，參照圖6來說明使用左視點投影深度圖L’d來預測成為遮蔽孔OH的像素區(qū)域的方法。
[0238]如圖6所示，在深度圖(左視點投影深度圖L’ d)中，作為是否為成為遮蔽孔的像素的判定對象的關注像素(圖中以X記號所示的像素)的右附近像素(圖中以?所示的像素)具有比關注像素的深度值大的深度值，在這種情況下判定為該關注像素是成為遮蔽孔的像素，生成表示該 關注像素是成為遮蔽孔的像素的孔掩模Lh。此外，在圖6所示的孔掩模Lh中，成為遮蔽孔的像素以白色表示，其它像素以黑色表示。
[0239]進一步詳細地說明成為遮蔽孔的像素的檢測方法。將關注像素的深度值設為X，將從關注像素起向右方向離開規(guī)定的像素數Pmax的像素的深度值設為I。在此，向右方向離開的規(guī)定的像素數Pmax例如是指與對應的影像內的最大視差量相當的像素數，即與最大的深度值對應的視差量。接著，將從關注像素起向右方向離開作為與深度值的差g= (y-x)對應的視差量的像素數的像素設為右附近像素。此時，將右附近像素的深度值設為z。然后，在
[0240](z-x) SkXg > (規(guī)定值)…式(I)
[0241]的情況下，將關注像素判定為是成為遮蔽孔的像素。
[0242]此外，在式(I)中，k為規(guī)定的系數，例如能夠設為“0.8”~“0.6”左右的值。通過像這樣乘以不足“I”的系數k，即使在成為前景的被攝體的深度值因被攝體的形狀、深度值的不正確度而少許變動的情況下，也能夠正確地檢測遮蔽孔。
[0243]此外，在通過以上的判定沒有檢測出遮蔽孔的情況下，有看漏了微小的前景被攝體的可能性，因此優(yōu)選的是，進一步使上述Pmax變?yōu)橐话?，來重復上述遮蔽孔檢測。通過將重復次數例如設定為4次，能夠基本上杜絕看漏。
[0244]另外，在式(I)中，“規(guī)定值”例如能夠設為“4”。通過加上關注像素與右附近像素之間的深度值之差大于規(guī)定值這個條件，無需檢測實質上幾乎不會產生遮蔽的小的深度值不連續(xù)部分，能夠抑制作為左殘差影像Lv而提取出的像素數，能夠抑制編碼殘差影像Iv的數據量。
[0245]第二孔掩模生成單元1512如圖3的(b)所示，預測將基準視點影像C投影至中間視點時成為遮蔽孔OH的像素區(qū)域，生成表示該像素區(qū)域的孔掩模Lh2并輸出至孔掩模合成單元1514。為此，第二孔掩模生成單元1512構成為具有第二孔像素檢測單元1512a和左視點投影單元1512b。
[0246]第二孔像素檢測單元1512a被從外部輸入基準視點影像C，被從深度圖解碼單元14輸入解碼左合成深度圖M，d，檢測將基準視點影像C投影至中間視點的情況下成為遮蔽孔的像素區(qū)域，生成表示該像素區(qū)域的中間視點的孔掩模并輸出至左視點投影單元1512b。
[0247]此時，第二孔像素檢測單元1512a對解碼左合成深度圖M’d依次實施3 X 3和5 X 5像素的中值濾波處理，來減少由于編碼、解碼而產生的深度值的誤差，之后檢測成為遮蔽孔的像素區(qū)域。
[0248]此外，第二孔像素檢測單元1512a中的孔掩模的生成僅是所使用的深度圖不同，能夠與上述第一孔像素檢測單元1511b中的孔掩模Lh1的生成同樣地進行。
[0249]左視點投影單元(第二副視點投影單元)1512b被從第二孔像素檢測單元1512a輸入中間視點的孔掩模，生成將該孔掩模投影至左視點的孔掩模Lh2。左視點投影單元1512b將所生成的孔掩模Lh2輸出至孔掩模合成單元1514。
[0250]此外，對于中間視點的孔掩模向左視點的投影，能夠通過使中間視點的孔掩模的各像素向右方向移動與解碼左合成深度圖M’d的對應像素的深度值的1/2倍對應的像素數來生成。
[0251]第三孔掩模生成單元1513i~1513n(1513)如圖3的(b)所示，預測將基準視點影像C分別投影至左指定視點Pt1~Ptn時成為遮蔽孔OH的像素區(qū)域，分別生成表示該像素區(qū)域的孔掩模Lh31~Lh3n并輸出至孔掩模合成單元1514。為此，各第三孔掩模生成單元1513(1513!~1513n)構成為具有指定視點投影單元1513a、第三孔像素檢測單元1513b以及左視點投影單元1513c。
[0252]指定視點投影單元(指定視點投影單元)1513a被從深度圖解碼單元14輸入解碼左合成深度圖M’d，將該解碼左合成深度圖M’d投影至左指定視點Pt (Pt1~Ptn)，生成左指定視點Pt (Pt1~Ptn)的深度圖即左指定視點深度圖并輸出至第三孔像素檢測單元1513b。
[0253]此外，對于左指定視點Pt1~Ptn處的深度圖，在如圖5的(a)所示那樣將從中間視點到左指定視點的距離設為a、將從基準視點到左視點的距離設為b時，能夠通過使中間視點的深度圖即解碼左合成深度圖M，d的各像素向從中間視點來看處于左指定視點相反側的方向(在圖5的(a)的例子中為右方向)移動與該像素的深度值的(a/b)倍的值對應的像素數來生成。
[0254]第三孔像素檢測單元1513b被從外部輸入基準視點影像C，被從指定視點投影單元1513a輸入左指定視點深度圖，檢測將基準視點影像C投影至對應的左指定視點Pt1~Ptn的情況下成為遮蔽孔的像素區(qū)域，生成表示該像素區(qū)域的該左指定視點Pt1~Ptn的孔掩模并輸出至左視點投影單元1513c。
[0255]此外，第三孔像素檢測單元1513b對在從指定視點投影單元1513a輸入的左指定視點投影深度圖中產生的遮蔽孔以周圍的有效像素進行插值，之后依次實施3X3和5X5像素的中值濾波處理，來減少由于編碼、解碼以及投影而產生的深度值的誤差。之后，第三孔像素檢測單元1513b使用左指定視點投影深度圖來檢測成為遮蔽孔的像素區(qū)域。
[0256]此外，第三孔像素檢測單元1513b中的孔掩模的生成僅是所使用的深度圖不同，能夠與上述第一孔像素檢測單元1511b中的孔掩模Lh1的生成同樣地進行。
[0257]左視點投影單元(第三副視點投影單元)1513c被從第三孔像素檢測單元1513b輸入對應的左指定視點Pt1?Ptn的孔掩模，生成將該孔掩模投影至左視點的孔掩模Lh31?Lh3n0左視點投影單元1513c將所生成的孔掩模Lh31?Lh3n輸出至孔掩模合成單元1514。
[0258]此外，對于左視點的孔掩模Lh31?Lh3n,在如圖5的(a)所示那樣將從左指定視點到左視點的距離設為d、將從基準視點到左視點的距離設為b時，能夠通過使左指定視點的孔掩模的各像素向右方向移動與該像素所對應的左指定視點深度圖中的像素的深度值的(d/b)倍的值對應的像素數來生成。
[0259]另外，關于左指定視點Pt1?Ptn，優(yōu)選的是，使用與作為由立體影像解碼裝置2 (參照圖1)生成的多視點影像中的視點而輸入至立體影像解碼裝置2的視點相同的視點，但是在不明的情況下，也可以使用將基準視點位置與副視點(左視點或右視點)位置之間以等間隔分割所得的視點。左指定視點Pt1?Ptn即可以是一個，也可以是兩個以上。通過如本實施方式那樣設置第三孔掩模生成單元1513(1513i?1513J而追加實際投影至由立體影像解碼裝置2(參照圖1)指定的左指定視點Pt1?Ptn時預測的成為遮蔽孔的像素區(qū)域的孔掩模Lh31?Lh3n，能夠生成更適當的左殘差影像Lv，因此優(yōu)選使用。
[0260]孔掩模合成單兀1514被從第一孔掩模生成單兀1511輸入作為成為遮蔽孔的像素區(qū)域的檢測結果的孔掩模Lh1，被從第二孔掩模生成單元1512輸入作為成為遮蔽孔的像素區(qū)域的檢測結果的孔掩模Lh2，被從第三孔掩模生成單元1513i?1513n輸入作為成為遮蔽孔的像素區(qū)域的檢測結果的孔掩模Lh31?Lh3n，對所輸入的這些孔掩模(檢測結果)進行合成，生成一個孔掩模Lhtl并輸出至孔掩模膨脹單元1515。
[0261]此外，孔掩模合成單元1514針對所輸入的多個孔掩模LhpLtvLh31?Lh3n來運算成為遮蔽孔的像素區(qū)域的邏輯或，將在至少一個孔掩模中成為遮蔽孔的像素設為成為遮蔽孔的像素。
[0262]孔掩模膨脹單兀1515被從孔掩模合成單兀1514輸入孔掩模Lhtl,使該孔掩模Lh。中的成為遮蔽孔的像素區(qū)域向所有方向膨脹規(guī)定的像素數?？籽谀Ｅ蛎泦卧?515將膨脹后的孔掩模Lh輸出至殘差影像切出單元152 (參照圖2)。
[0263]在此，膨脹的規(guī)定像素數例如能夠設為16像素。通過將使孔掩模Lhtl膨脹規(guī)定像素數所得的孔掩模Lh使用于左殘差影像Lv的提取，能夠在立體影像解碼裝置2 (參照圖1)中生成多視點影像時覆蓋因視點(指定視點)的不同而導致的遮蔽孔的不同，而從左殘差影像Lv復制適當的像素來使用。
[0264]此外，孔掩模膨脹單元1515也可以位于孔掩模合成單元1514之前。即，在使各個孔掩模膨脹后進行邏輯或運算也能夠得到相同效果。
[0265][立體影像解碼裝置的結構]
[0266]接著，參照圖7至圖9(適當參照圖1)來說明第一實施方式所涉及的立體影像解碼裝置2的結構。立體影像解碼裝置2對從圖2所示的立體影像編碼裝置I經由傳輸路傳輸的位流進行解碼來生成多視點影像。
[0267]如圖7所示，第一實施方式所涉及的立體影像解碼裝置2 (以下適當稱為“解碼裝置”)具備基準視點影像解碼單元21、深度圖解碼單元22、深度圖投影單元23、殘差影像解碼單元24以及投影影像合成單元25。另外，投影影像合成單元25構成為具有基準視點影像投影單元251和殘差影像投影單元252。
[0268]解碼裝置2被從編碼裝置I輸入以基準視點影像位流輸出的編碼基準視點影像C、以深度圖位流輸出的編碼深度圖md以及以殘差影像圖位流輸出的編碼殘差影像lv，對這些輸入數據進行加工來生成基準視點的影像即基準視點影像(解碼基準視點影像)C’以及左指定視點(指定視點)Pt的影像即左指定視點影像(指定視點影像)P，輸出至立體影像顯示裝置4并使其顯示立體影像。此外，解碼裝置2所生成的左指定視點影像P既可以是一個，也可以是兩個以上。
[0269]下面，參照圖9所示的影像和深度圖的例子來說明各結構要素。
[0270]基準視點影像解碼單元21被從編碼裝置I輸入以基準視點影像位流輸出的編碼基準視點影像C，以其編碼方式對編碼基準視點影像c進行解碼來生成基準視點影像(解碼基準視點影像)C’。基準視點影像解碼單元21將所生成的基準視點影像C’輸出至投影影像合成單元25的基準視點影像投影單元251，并且作為多視點影像的一個影像(基準視點影像)輸出至立體影像顯示裝置4。
[0271]深度圖解碼單元22被從編碼裝置I輸入以深度圖位流輸出的編碼深度圖md，以其編碼方式對編碼深度圖md進行解碼來生成作為中間視點的深度圖的解碼左合成深度圖(解碼中間視點深度圖)M’ d0該解碼左合成深度圖M，d與由編碼裝置I的深度圖解碼單元14(參照圖2)生成的解碼左合成深度圖M’d相同。深度圖解碼單元22將所生成的解碼左合成深度圖M，d輸出至深度圖投影單元23。
[0272]深度圖投影單元23被從深度圖解碼單元22輸入作為中間視點的深度圖的解碼左合成深度圖M，d，將所輸入的解碼左合成深度圖M，d投影至左指定視點Pt，來生成左指定視點Pt的深度圖即左指定視點深度圖Pd。深度圖投影單元23對進行投影所得到的左指定視點深度圖Pd的遮蔽孔以周圍的像素值進行插值，之后依次實施3X3和5X5像素的中值濾波處理，來減少由于編碼、解碼以及投影而產生的誤差，之后將所生成的左指定視點深度圖Pd輸出至投影影像合成單元25的基準視點影像投影單元251和殘差影像投影單元252。
[0273]此外，左指定視點Pt是由解碼裝置2生成的多視點影像中的左指定視點Pt，既可以在解碼裝置2中從預先決定的設定單元(未圖示)輸入，也可以從外部由用戶經由鍵盤等輸入單元進行操作來輸入。另外，左指定視點Pt既可以是一個，也可以是兩個以上。在左指定視點Pt為兩個以上的情況下，按每個左指定視點Pt依次生成各個左指定視點Pt的左指定視點深度圖Pd，依次輸出至投影影像合成單元25。
[0274]殘差影像解碼單元24被從編碼裝置I輸入以殘差影像位流輸出的編碼殘差影像Iv,以其編碼方式對編碼殘差影像Iv進行解碼來生成左殘差影像(解碼殘差影像)L’V，輸出至投影影像合成單元25的殘差影像投影單元252。
[0275]投影影像合成單元25被從基準視點影像解碼單元21輸入基準視點影像C’，被從殘差影像解碼單元24輸入左殘差影像L’ V，被從深度圖投影單元23輸入左指定視點深度圖Pd，使用這些輸入數據來生成左指定視點Pt的影像即左指定視點影像P，作為多視點影像的一個影像輸出至立體影像顯示裝置4。為此，投影影像合成單元25構成為具有基準視點影像投影單元251和殘差影像投影單元252。[0276]構成投影影像合成單元25的基準視點影像投影單元251被從基準視點影像解碼單元21輸入基準視點影像C’，被從深度圖投影單元23輸入左指定視點深度圖Pd，作為左指定視點Pt的影像，針對能夠將基準視點影像C’投影至該左指定視點Pt的像素生成左指定視點影像Pe?；鶞室朁c影像投影單元251將所生成的左指定視點影像Pe輸出至殘差影像投影單元252。此外，在后面敘述基準視點影像投影單元251的詳細結構。
[0277]構成投影影像合成單元25的殘差影像投影單元252被從殘差影像解碼單元24輸入左殘差影像L’v，被從深度圖投影單元23輸入左指定視點深度圖Pd，作為左指定視點Pt的影像，將無法投影基準視點影像C’的像素、即成為遮蔽孔的像素補充到左指定視點影像Pc來生成左指定視點影像P。殘差影像投影單元252將所生成的左指定視點影像P輸出至立體影像顯示裝置4(參照圖1)。此外，在后面敘述殘差影像投影單元252的詳細結構。
[0278]接著，說明基準視點影像投影單元251的詳細結構。
[0279]基準視點影像投影單元251如圖8所示，構成為具備孔像素檢測單元251a、指定視點影像投影單元251b、基準視點影像像素復制單元251c、中值濾波器251d以及孔掩模膨脹單元251e。
[0280]孔像素檢測單元251a被從深度圖投影單元23輸入左指定視點深度圖Pd，檢測在使用該左指定視點深度圖Pd將從基準視點影像解碼單元21輸入的基準視點影像C’投影至左指定視點Pt時成為遮蔽孔的像素，生成表示所檢測出的像素區(qū)域的孔掩模PA作為檢測結果，輸出至基準視點影像像素復制單元251c。 [0281]在此，說明使用左指定視點深度圖Pd來檢測成為遮蔽孔的像素的方法。對于孔像素檢測單元251a中檢測成為遮蔽孔的像素的檢測方法，使用左指定視點深度圖Pd來代替上述的編碼裝置I的第一孔像素檢測單元1511b(參照圖3的(a))中的左視點投影深度圖L’ d，在作為是否為成為遮蔽孔的像素的判定對象的關注像素的右附近像素具有比關注像素的深度值大的深度值的情況下，將該關注像素檢測為是成為遮蔽孔的像素。此時，由于各個深度圖的視點位置和投影目的地的視點位置不同，因此需要對其進行調整。
[0282]如圖5的(a)所示，將從基準視點到左視點的距離設為b，將從基準視點到左指定視點的距離設為C。
[0283]另外，將作為是否為成為遮蔽孔的像素的判定對象的關注像素的深度值設為X，將從關注像素起向右方向離開規(guī)定的像素數Pmax的像素的深度值設為I。
[0284]接著,將向右方向離開與深度值的差g= (y-x)的(c/b)倍的“(y-x) X (c/b) ”對應的像素數的像素的深度值設為z，其中，該深度值的差g= (y-x)是離開規(guī)定的像素數Pmax的像素的深度值y與關注像素的深度值x之差。此時，在
[0285](z-x) SkXg > (規(guī)定值)…式(2)
[0286]的情況下，將關注像素判定為是成為遮蔽孔的像素。
[0287]此外，在式⑵中，k為規(guī)定的系數，例如能夠設為“0.8”~“0.6”左右的值。通過像這樣乘以不足“I”的系數k，即使在成為前景的被攝體的深度值因被攝體的形狀、深度值的不正確度而少許變動的情況下，也能夠正確地檢測遮蔽孔。
[0288]另外，在式⑵中，“規(guī)定值”例如能夠設為“4”。通過加上關注像素與右附近像素之間的深度值之差大于規(guī)定值這個條件，無需檢測實質上幾乎不產生遮蔽的小的深度值不連續(xù)部分，能夠通過后述的基準視點影像像素復制單元251c從對基準視點影像C’進行投影所得的影像即左指定視點投影影像Pj復制適當的像素。
[0289]此外，在本實施方式中，將向右方向離開的規(guī)定的像素數設定為4個階段，按各階段進行同樣的判定，在至少一個階段中被判定為是成為遮蔽孔的像素的情況下，將該關注像素判定為是成為遮蔽孔的像素。
[0290]另外，作為設定成4個階段的向右方向離開的規(guī)定的像素數Pmax，例如，作為第一階段，設為與對應的影像內的最大視差量相當的像素數，即設為與最大深度值對應的像素數。作為第二階段，設為在第一階段中設定的像素數的1/2。作為第三階段，設為在第一階段中設定的像素數的1/4。然后，作為第四階段，設為在第一階段中設定的像素數的1/8。
[0291]通過像這樣參照與離開多個階段的像素數的位置的像素之間的深度值之差來檢測成為遮蔽孔的像素，能夠適當地檢測出在設定大的視差量時會看漏遮蔽孔的、由作為寬度小的前景的被攝體產生的遮蔽孔，從而優(yōu)選使用。此外，設定向右方向離開的規(guī)定的像素數Pmax的階段數并不限定于4個階段，也可以設為2?3個階段或5個階段以上。
[0292]此外，上述孔像素檢測單元251a在檢測遮蔽孔時，在左殘差影像(殘差影像)L’v所不包含的區(qū)域即從畫面右端起的規(guī)定的范圍內，作為遮蔽孔不檢測區(qū)域，不進行遮蔽孔檢測而通過填孔處理單元252c對在該部分產生的遮蔽孔進行填充。由此，防止殘差影像所不包含的遮蔽孔被孔掩模膨脹單元251e放大，從而防止合成影像的品質降低。作為遮蔽孔不檢測區(qū)域的規(guī)定的范圍例如圖9所示，為從影像的右端起至相當于最大視差量的像素范圍。
[0293]指定視點影像投影單元251b被從基準視點影像解碼單元21輸入基準視點影像C’，被從深度圖投影單元23輸入左指定視點深度圖Pd，生成將基準視點影像C’投影至左指定視點Pt的影像即左指定視點投影影像ΡΛ輸出至基準視點影像像素復制單元251c。
[0294]如圖5的(a)所示，將從基準視點到左視點的距離設為b，將從基準視點到左指定視點的距離設為C。此時，指定視點影像投影單元251b從基準視點影像C’提取出使左指定視點深度圖Pd的各像素向左方向移動與其像素位置的深度值的(c/b)倍的值對應的像素數后的位置處的像素，將所提取出的像素值設為所參照的深度值的像素位置處的像素值，由此生成左指定視點投影影像ΡΛ
[0295]基準視點影像像素復制單元251c被從指定視點影像投影單元251b輸入左指定視點投影影像ΡΛ被從孔像素檢測單元251a輸入孔掩模PA，基于這些輸入數據復制不成為遮蔽孔而能夠將基準視點影像C’投影至左指定視點Pt的像素，生成左指定視點影像P2e。
[0296]另外，基準視點影像像素復制單元251c將所生成的左指定視點影像P2G以及所輸入的孔掩模PA輸出至中值濾波器251d。
[0297]此外，基準視點影像像素復制單元251c在生成左指定視點影像P2g時，針對左指定視點影像P2e的所有像素值進行設定規(guī)定值的初始化處理。該規(guī)定值與在上述編碼裝置I的殘差影像切出單元152(參照圖2)中對沒有殘差影像的像素設定的像素值相同(例如，在平均I分量為8位的情況下，亮度分量(Y)、色差分量(Pb，Pr)均為“128”)。由此，生成成為遮蔽孔的像素被設定了該規(guī)定值的左指定視點影像P;。
[0298]中值濾波器251d被從基準視點影像像素復制單元251c輸入左指定視點影像P2G和孔掩模Pih，對各個輸入數據實施中值濾波處理，分別生成左指定視點影像Pe和孔掩模P2h，將所生成的左指定視點影像Pe輸出至殘差影像投影單元252的殘差影像像素復制單元252b，將孔掩模P2h輸出至孔掩模膨脹單元251e。
[0299]對左指定視點影像P2e實施的中值濾波處理例如能夠使用3X3的像素尺寸的濾波。由此，對于雖然在左指定視點投影影像Pj中不存在對應的有效像素但是在孔像素檢測單元251a中未被檢測出的成為孤立的遮蔽孔的像素，以其周圍的3X3的像素區(qū)域內的各像素值的中央值進行插值。
[0300]此外，在通過該中值濾波處理會將在處理前為有效像素的像素置換成表示成為遮蔽孔的像素的像素值的情況下，對于該像素不應用中值濾波處理的結果而維持中值濾波處理前的像素值。
[0301]孔掩模膨脹單元251e被從中值濾波器251d輸入孔掩模P2h，生成使孔掩模P2h中的成為遮蔽孔的像素區(qū)域膨脹規(guī)定的像素的孔掩模Ph，將所生成的孔掩模Ph輸出至殘差影像投影單元252的殘差影像像素復制單元252b。
[0302]在此，所膨脹的規(guī)定的像素數例如能夠設為8像素。通過該膨脹處理，能夠將由于左指定視點深度圖Pd的生成誤差而被上述的基準視點影像像素復制單元251c從左指定視點投影影像Pj誤復制的像素恢復成實質為遮蔽孔的像素即“無像素”的狀態(tài)。此外，針對該像素，通過后述的殘差影像投影單元252來復制適當的像素值。
[0303]接著，說明殘差影像投影單元252的詳細結構。
[0304]殘差影像投影單元252如圖8所示，構成為具有指定視點影像投影單元252a、殘差影像像素復制單元252b以及填孔處理單元252c。
[0305]指定視點影像投影單元252a被從殘差影像解碼單元24輸入左殘差影像L’ V,被從深度圖投影單元23輸入左指定視點深度圖Pd，生成將左殘差影像L’ V投影至左指定視點Pt的影像即左指定視點投影殘差影像P'輸出至殘差影像像素復制單元252b。
[0306]如圖5的(a)所示，將從基準視點到左視點的距離設為b，將從左視點至到左指定視點的距離設為d。此時，指定視點影像投影單元252a從左殘差影像L’v提取出使左指定視點深度圖Pd的各像素向右方向移動與其像素位置的深度值的(d/b)倍的值對應的像素數后的位置處的像素，將所提取出的像素值設為所參照的深度值的像素位置處的像素值，由此生成左指定視點投影殘差影像P'
[0307]殘差影像像素復制單元252b被從基準視點影像投影單元251的中值濾波器251d輸入左指定視點影像Pt被從孔掩模膨脹單元251e輸入孔掩模Ph，由指定視點影像投影單元252a輸入左指定視點投影殘差影像P'基于這些輸入數據，對于成為遮蔽孔的像素，從左指定視點投影殘差影像Plv提取像素值，復制到左指定視點影像Pe，生成左指定視點Pt的影像即左指定視點影像P:。殘差影像像素復制單元252b將所生成的左指定視點影像P1輸出至填孔處理單元252c。
[0308]填孔處理單元252c被從殘差影像像素復制單元252b輸入左指定視點影像P1，對該左指定視點影像P1中通過基準視點影像像素復制單元251c和殘差影像像素復制單元252b沒有被復制有效像素的像素設定適當的像素值，由此生成左指定視點影像P，作為多視點影像中的一個影像而輸出至立體影像顯示裝置4(參照圖1)。
[0309]填孔處理單元252c調查左指定視點影像P1的各像素的像素值，檢測與由基準視點影像像素復制單元251c設定為初始值的像素值一致的像素以及像素值在規(guī)定的范圍內與初始值一致的像素，生成表示所述像素區(qū)域的孔掩模。在此，像素值在規(guī)定的范圍內與初始值一致是指:例如在將各分量的初始值設為“128”的情況下，各個分量的值為127至129之間的值。由此，即使在由于編碼處理等而所述像素值從初始值稍微改變的情況下，也能夠適當地檢測。
[0310]填孔處理單元252c使所生成的孔掩模所示的像素區(qū)域膨脹規(guī)定的像素數。在此，規(guī)定的像素數例如能夠設為I像素。填孔處理單元252c對于膨脹后的該像素區(qū)域的像素，以該像素周圍的有效像素的有效的像素值來進行插值，由此設定左指定視點影像P1的成為孔的像素的適當的像素值。
[0311]通過像這樣使孔掩模所示的像素區(qū)域膨脹來進行填孔，對于沒有被左殘差影像L’v包含的像素，能夠以不會產生與周邊的像素的不協調感的方式設定像素值。并且，即使在由于中值濾波器251d的中值濾波處理而孔掩模P1Ii的像素發(fā)生偏移的情況下，也能夠適當地對成為孔掩模的像素區(qū)域的像素進行填孔。
[0312]此外，作為所膨脹的像素數，通過設定大于I像素的像素數，能夠減少與周邊像素的不協調感地進行填孔。在這種情況下，所生成的左指定視點影像P中的分辨率會降低，但是能夠吸收因深度圖的不可逆的編碼/解碼所導致的誤差，減少與周邊像素的不協調感地進行填孔。另外，為了良好地吸收因編碼/解碼所導致的該誤差，也可以根據編碼中的壓縮率的大小，壓縮率越高使所膨脹的像素數越大。
[0313][立體影像編碼裝置的動作]
[0314]接著，參照圖10 (適當參照圖1和圖2)來說明第一實施方式所涉及的立體影像編碼裝置I的動作。
[0315](基準視點影像編碼處理)
[0316]編碼裝置I首先通過基準視點影像編碼單元11，對從外部輸入的基準視點影像C以規(guī)定的編碼方式進行編碼來生成編碼基準視點影像C，以基準視點影像位流輸出(步驟Sn)。
[0317](深度圖合成處理(中間視點深度圖合成處理))
[0318]接著，編碼裝置I通過深度圖合成單元12，使用從外部輸入的基準視點深度圖Cd和左視點深度圖Ld來合成左合成深度圖Md，該左合成深度圖Md是基準視點與左視點的中間的視點即中間視點的深度圖(步驟S12)。
[0319](深度圖編碼處理)
[0320]接著，編碼裝置I通過深度圖編碼單元13，對在步驟S12中合成的左合成深度圖Md以規(guī)定的編碼方式進行編碼來生成編碼深度圖md，以深度圖位流輸出(步驟S13)。
[0321](深度圖解碼處理)
[0322]接著，編碼裝置I通過深度圖解碼單元14，對在步驟S13中生成的編碼深度圖md進行解碼來生成解碼左合成深度圖M，d (步驟S14)。
[0323](投影影像預測處理)
[0324]接著，編碼裝置I通過投影影像預測單元15，使用在步驟S14中生成的解碼左合成深度圖M，d以及從外部輸入的左視點影像L，來生成左殘差影像Lv(步驟S15)。
[0325]此外，在該步驟S15中，編碼裝置I通過遮蔽孔檢測單元151，使用解碼左合成深度圖M’ d來檢測成為遮蔽孔的像素(遮蔽孔檢測處理)。然后，編碼裝置I通過殘差影像切出單元152，從左視點影像L提取出(切出)由遮蔽孔檢測單元151檢測出的像素區(qū)域的像素，生成左殘差影像Lv (殘差影像切出處理)。
[0326](殘差影像編碼處理)
[0327]接著，編碼裝置I通過殘差影像編碼單元16，對在步驟S15中生成的左殘差影像Lv以規(guī)定的編碼方式進行編碼來生成編碼殘差影像lv，以殘差影像位流輸出(步驟S16)。
[0328][立體影像解碼裝置的動作]
[0329]接著，參照圖11 (適當參照圖1和圖7)來說明第一實施方式的立體影像解碼裝置2的動作。
[0330](基準視點影像解碼處理)
[0331]解碼裝置2首先通過基準視點影像解碼單元21，對基準視點影像位流進行解碼，生成基準視點影像C’，作為多視點影像的一個影像來輸出(步驟S21)。
[0332](深度圖解碼處理)
[0333]接著，解碼裝置2通過深度圖解碼單元22，對深度圖位流進行解碼，生成解碼左合成深度圖M’ d (步驟S22)。
[0334](深度圖投影處理)
[0335]接著，解碼裝置2通過深度圖投影單元23，將在步驟S22中生成的解碼左合成深度圖M，d投影至左指定視點Pt，生成左指定視點Pt的深度圖即左指定視點深度圖Pd(步驟S23)。
[0336](殘差影像解碼處理)
[0337]接著，解碼裝置2通過殘差影像解碼單元24，對殘差影像位流進行解碼，生成左殘差影像L’ V (步驟S24)。
[0338](投影影像合成處理)
[0339]接著，解碼裝置2通過投影影像合成單元25，對使用在步驟S23中生成的左指定視點深度圖Pd將在步驟S21中生成的基準視點影像C’以及在步驟S24中生成的左殘差影像L’ V分別投影至左指定視點Pt所得的影像進行合成，來生成左指定視點Pt的影像即左指定視點影像P (步驟S25)。
[0340]此外，在步驟S25中，解碼裝置2首先通過基準視點影像投影單元251，檢測在使用左指定視點深度圖Pd將基準視點影像C’投影至左指定視點Pt時成為無法投影的像素區(qū)域即遮蔽孔的像素，對于不成為遮蔽孔的像素區(qū)域，復制將基準視點影像C’投影至左指定視點Pt所得的影像的像素來作為左指定視點影像的像素。
[0341]接著，解碼裝置2通過殘差影像投影單元252，對于成為遮蔽孔的像素區(qū)域，復制使用左指定視點深度圖Pd將左殘差影像L’v投影至左指定視點Pt所得的影像的像素來作為左指定視點影像的像素。由此，完成左指定視點影像P。
[0342]如以上所說明的那樣，第一實施方式所涉及的編碼裝置I對基準視點影像C、作為基準視點與左視點的中間的視點即中間視點的深度圖的左合成深度圖Md、以及由從基準視點影像C投影至其它視點時成為遮蔽孔的像素區(qū)域構成的左殘差影像Lv進行編碼，并以位流傳輸，因此能夠以高編碼效率來進行編碼。另外，第一實施方式所涉及的解碼裝置2能夠對從該編碼裝置I傳輸來的這些編碼數據進行解碼，生成多視點影像。
[0343]<第二實施方式>
[0344]接著，說明包括本發(fā)明的第二實施方式所涉及的立體影像編碼裝置和立體影像解碼裝置的立體影像傳輸系統的結構。
[0345]包括第二實施方式所涉及的立體影像編碼裝置和立體影像解碼裝置的立體影像傳輸系統與圖1所示的立體影像傳輸系統S相比，代替立體影像編碼裝置I和立體影像解碼裝置2而分別包括立體影像編碼裝置IA(參照圖12)和立體影像解碼裝置2A(參照圖14)，除此以外相同，因此省略詳細說明。
[0346][立體影像編碼裝置的結構]
[0347]接著，參照圖12和圖13來說明第二實施方式所涉及的立體影像編碼裝置IA的結構。
[0348]如圖12所示，第二實施方式所涉及的立體影像編碼裝置1A(以下適當稱為“編碼裝置”)具備基準視點影像編碼單元11、深度圖合成單元12A、深度圖編碼單元13A、深度圖解碼單元14A、投影影像預測單元15A、殘差影像編碼單元16A、深度圖框化單元17、深度圖分離單元18以及殘差影像框化單元19。
[0349]另外，第二實施方式所涉及的編碼裝置IA與第一實施方式所涉及的編碼裝置I (參照圖2)的不同點在于:除了基準視點的影像即基準視點影像C和左視點的影像即左視點影像(副視點影像)L、以及它們所附隨的深度圖即基準視點深度圖Cd和左視點深度圖(副視點深度圖)Ld以外，還輸入右視點的影像即右視點影像(副視點影像)R和附隨于它的深度圖即右視點深度(副視點深度圖)圖Rd。即，第二實施方式所涉及的編碼裝置IA對多個體系(2個體系)的立體影像進行編碼。
[0350]第二實施方式所涉及的編碼裝置IA與第一實施方式所涉及的編碼裝置I (參照圖2)同樣地，使用基準視點影像C、左視點影像L、基準視點深度圖Cd以及左視點深度圖Ld，生成作為基準視點與左視點的中間視點即左中間視點的深度圖的左合成深度圖(中間視點深度圖)Md以及左殘差影像(殘差影像)Lv。編碼裝置IA除此以外，還使用基準視點影像C、右視點影像R、基準視點深度圖Cd以及右視點深度圖(副視點深度圖)Rd,生成作為基準視點與右視點的中間視點即右中間視點的深度圖的右合成深度圖(中間視點深度圖)Nd以及右殘差影像Rv。
[0351]然后，編碼裝置IA將左合成深度圖Md和右合成深度圖Nd以及左殘差影像Lv和右殘差影像Rv分別縮小并結合，由此框化成一個圖像，分別以規(guī)定的編碼方式進行編碼，以深度圖位流和殘差影像位流輸出。此外，對于基準視點影像C，與第一實施方式的編碼裝置I (參照圖2)同樣地，以規(guī)定的編碼方式進行編碼，以基準視點影像位流輸出。
[0352]此外，關于基于基準視點和右視點的影像和深度圖來生成右合成深度圖Nd和右殘差影像Rv的方法，是在基于基準視點和左視點的影像和深度圖來生成左合成深度圖Md和左殘差影像Lv的方法中更換左右位置關系，因此適當省略詳細說明。另外，對與第一實施方式相同的結構要素，適當省略說明。
[0353]下面，參照圖13所示的影像和深度圖的例子來說明編碼裝置IA的結構要素。此夕卜，在第二實施方式中，朝向被攝體，在沿水平方向延伸的直線上等間隔分離的位置設定3個視點。另外，以中央的視點為基準視點，以左側的視點即左視點和右側的視點即右視點為副視點。但是，并不限定于此，也可以以不同的間隔配置成3個視點，另外，基準視點與副視點并不限定于沿水平方向分離的情況，也可以沿垂直方向、斜向等任意方向分離。
[0354]另外，為了使說明簡單，在圖13中，與圖4所示的例子同樣地，如基準視點影像C、左視點影像L以及右視點影像R等所示的那樣，設各影像由圓形的位于前景的被攝體和其它的作為背景的被攝體構成。
[0355]圖12所示的基準視點影像編碼單元11與圖2所示的基準視點影像編碼單元11相同，因此省略說明。
[0356]深度圖合成單元(中間視點深度圖合成單元)12A具備左深度圖合成單元成及右深度圖合成單元12K，分別合成作為基準視點與左視點的中間視點即左中間視點的深度圖的左合成深度圖Md以及作為基準視點與右視點的中間視點即右中間視點的深度圖的右合成深度圖Nd。深度圖合成單元12Α將所合成的左合成深度圖Md和右合成深度圖Nd分別輸出至深度圖框化單元17的縮小單元17a和縮小單元17b。
[0357]此外，左深度圖合成單元12^與圖2所示的深度圖合成單元12為相同的結構。另外，對于右深度圖合成單元12κ，代替左視點深度圖Ld而輸入右視點深度圖Rd，除了如圖5的(b)所示那樣與基準視點深度圖Cd之間的左右位置關系相反以外，其它與左深度圖合成單元12^相同，因此省略詳細說明。
[0358]深度圖框化單元17將從左深度圖合成單元12^和右深度圖合成單元^!^輸入的左合成深度圖Md和右合成深度圖Nd框化成一個圖像，生成框化深度圖Fd，將所生成的框化深度圖Fd輸出至深度圖編碼單元13A。為此，深度圖框化單元17構成為具有縮小單元17a、17b和結合單元17c。
[0359]縮小單元17a和縮小單元17b分別被從左深度圖合成單元12^和右深度圖合成單元12κ分別輸入左合成深度圖Md和右合成深度圖Nd，通過將各自輸入的深度圖沿縱向間隔剔除來縮小，生成高度(縱向的像素數)為1/2的左縮小合成深度圖M2d和右縮小合成深度圖N2d，輸出至結合單元 17c。
[0360]此外，縮小單元17a和縮小單元17b在將分別對應的深度圖的高度設為1/2時，優(yōu)選的是在實施低通濾波器的濾波處理之后隔I條線地間隔剔除數據。由此，能夠防止因間隔剔除而產生高頻分量的折返失真。
[0361]結合單元17c被從縮小單元17a和縮小單元17b分別輸入左縮小合成深度圖M2d和右縮小合成深度圖N2d，將兩個深度圖沿縱向結合，生成高度與縮小前的深度圖高度相同的深度圖即框化深度圖Fd。結合單元17c將所生成的框化深度圖Fd輸出至深度圖編碼單元 13A。
[0362]深度圖編碼單元13A被從深度圖框化單元17的結合單元17c輸入框化深度圖Fd，對該框化深度圖Fd以規(guī)定的編碼方式進行編碼來生成編碼深度圖fd，以深度圖位流輸出至傳輸路。
[0363]深度圖編碼單元13A與圖2所示的深度圖編碼單元13相比，代替單一的深度圖，所編碼的深度圖是被框化的深度圖，除此以外其它相同，因此省略詳細說明。
[0364]深度圖解碼單元14A對作為由深度圖編碼單元13A生成的編碼深度圖fd的深度圖位流，基于其編碼方式進行解碼，生成被框化的深度圖即框化深度圖(解碼框化深度圖)F’ d0深度圖解碼單元14A將所生成的框化深度圖F’ d輸出至深度圖分離單元18的分離單元18a。
[0365]深度圖解碼單元14A與圖2所示的深度圖解碼單元14相比，代替單一的深度圖，所解碼的深度圖是被框化的深度圖，除此以外其它相同，因此省略詳細說明。[0366]深度圖分離單元18被從深度圖解碼單元14A輸入解碼后的框化深度圖F’d，對被框化的兩個縮小深度圖即解碼左縮小合成深度圖M2，d和解碼右縮小合成深度圖N2’ d進行分離，放大為原本的高度來生成解碼左合成深度圖(解碼中間視點深度圖)M’d和解碼右合成深度圖(解碼中間視點深度圖)N’d，分別輸出至投影影像預測單元15A的左投影影像預測單元1?和右投影影像預測單元15κ。為此，深度圖分離單元18構成為具有分離單元18a和放大單元18b、18c。
[0367]分離單元18a被從深度圖解碼單元14A輸入框化深度圖F’ d，對被框化的解碼左縮小合成深度圖M2’ d和解碼右縮小合成深度圖N2’ d進行分離，分別輸出至放大單元18b和放大單元18c。
[0368]放大單元18b和放大單元18c被從分離單元18a分別輸入解碼左縮小合成深度圖M2，d和解碼右縮小合成深度圖N2’ d，將高度分別放大為2倍，生成原本高度的深度圖即解碼左合成深度圖M’d和解碼右合成深度圖N’d。放大單元18b和放大單元18c將所生成的解碼左合成深度圖M’ d和解碼右合成深度圖N’ d分別輸出至左投影影像預測單元1?和右投影影像預測單元15κ。
[0369]此外，關于已縮小的深度圖的放大，可以是對于各線復制相同線數據并插入的單純放大，但是當對于每隔I條線插入的像素的值以對周邊像素的值施加雙三次插值濾波(Bicubic filter)來順暢連接的方式進行插值時，對縮小時的像素間隔剔除效果進行了校正，從而優(yōu)選使用。
[0370]投影影像預測單元15A使用從深度圖分離單元18的放大單元18b和放大單元18c輸入的解碼左合成深度圖M，d和解碼右合成深度圖N’ d，從左視點影像L和右視點影像R提取出將基準視點影像C分別投影至左視點等和右視點等時成為遮蔽孔的像素區(qū)域的像素，生成左殘差影像(殘差影像)Lv和右殘差影像(殘差影像)Rv。投影影像預測單元15A將所生成的左殘差影像Lv和右殘差影像Rv分別輸出至殘差影像框化單元19的縮小單元19a和縮小單元19b。
[0371]左投影影像預測單元1?被從外部輸入基準視點影像C、左視點影像L以及左指定視點Pt，并且被從放大單元18b輸入解碼后的解碼左合成深度圖M’d，生成左殘差影像Lv，將所生成的左殘差影像Lv輸出至殘差影像框化單元19的縮小單元19a。另外，左投影影像預測單元1?與圖2所示的投影影像預測單元15除了數據的輸入輸出目的地不同以外，其它結構相同，因此省略詳細說明。此外，在圖12所示的例子中，將從外部輸入的左指定視點Pt設為一個，但是也可以如圖2所示的例子那樣輸入多個左指定視點Pt。
[0372]另外，右投影影像預測單元15κ與左投影影像預測單元1?相比，代替左視點影像L、解碼左合成深度圖M’d以及左指定視點Pt而被分別輸入右視點影像R、解碼右合成深度圖N’d以及右指定視點Qt，代替左殘差影像Lv而輸出右殘差影像Rv，基準視點影像C等與深度圖的左右位置關系相反，除此以外為相同的結構，因此省略詳細說明。
[0373]殘差影像框化單元19將從左投影影像預測單元1?和右投影影像預測單元15κ輸入的左殘差影像Lv和右殘差影像Rv框化成一個圖像，生成框化殘差影像Fv，將所生成的框化殘差影像Fv輸出至殘差影像編碼單元16A。為此，殘差影像框化單元19構成為具有縮小單兀19a、19b和結合單兀19c。
[0374] 縮小單元19a和縮小單元19b分別被從左投影影像預測單元15l和右投影影像預測單元1?分別輸入左殘差影像Lv和右殘差影像Rv，通過將所輸入的殘差影像沿縱向間隔剔除像素來縮小，生成高度(縱向的像素數)為1/2的左縮小殘差影像L2V和右縮小殘差影像R2V，輸出至結合單元19c。
[0375]此外，縮小單元19a和縮小單元19b與縮小單元17a和縮小單元17b結構相同，因此省略詳細說明。
[0376]結合單元19c被從縮小單元19a和縮小單元19b分別輸入左縮小殘差影像L2V和右縮小殘差影像R2v，將兩個殘差影像沿縱向結合，生成高度與縮小前的一個殘差影像的高度相同的殘差影像即框化殘差影像Fv。結合單元19c將所生成的框化殘差影像Fv輸出至殘差影像編碼單兀16A。
[0377]殘差影像編碼單元16A被從殘差影像框化單元19的結合單元19c輸入框化殘差影像Fv，對該框化殘差影像Fv以規(guī)定的編碼方式進行編碼來生成編碼殘差影像fv，以殘差影像位流輸出至傳輸路。
[0378]殘差影像編碼單元16A與圖2所示的殘差影像編碼單元16相比，代替單一的殘差影像，所編碼的殘差影像是被框化的殘差影像，除此以外其它相同，因此省略詳細說明。
[0379][立體影像解碼裝置的結構]
[0380]接著，參照圖14和圖15來說明第二實施方式所涉及的立體影像解碼裝置2A的結構。立體影像解碼裝置2A對從圖12所示的立體影像編碼裝置IA經由傳輸路傳輸的位流進行解碼來生成多視點影像。
[0381]如圖14所示， 第二實施方式所涉及的立體影像解碼裝置2A(以下適當稱為“解碼裝置”)具備基準視點影像解碼單元21、深度圖解碼單元22A、深度圖投影單元23A、殘差影像解碼單元24A、投影影像合成單元25A、深度圖分離單元26以及殘差影像分離單元27。
[0382]另外，第二實施方式所涉及的解碼裝置2A與第一實施方式所涉及的解碼裝置2(參照圖7)的不同點在于:作為深度圖位流和殘差影像位流，輸入對多個體系(2個體系)的深度圖和殘差影像分別框化所得的編碼深度圖fd和編碼殘差影像fv，對被框化的深度圖和殘差影像進行分離，作為多個體系的指定視點影像，生成左指定視點影像P和右指定視點影像Q。
[0383]基準視點影像解碼單元21與圖7所示的基準視點影像解碼單元21相同，因此省略說明。
[0384]深度圖解碼單元22A對深度圖位流進行解碼，生成框化深度圖(解碼框化深度圖)F’ d，輸出至深度圖分離單元26的分離單元26a。
[0385]深度圖解碼單元22k與編碼裝置IA中的深度圖解碼單元14A(參照圖12)結構相同，因此省略詳細說明。
[0386]深度圖分離單元26被從深度圖解碼單元22A輸入解碼后的框化深度圖F’d，對被框化的兩個縮小深度圖即解碼左縮小合成深度圖M2，d和解碼右縮小合成深度圖N2’ d進行分離，放大為原本的高度來生成解碼左合成深度圖M，d和解碼右合成深度圖N’ d0深度圖分離單元26將所生成的解碼左合成深度圖M，d和解碼右合成深度圖N’d分別輸出至深度圖投影單元23A的左深度圖投影單元2?和右深度圖投影單元23κ。為此，深度圖分離單元26構成為具有分離單元26a和放大單元26b、26c。
[0387]此外，深度圖分離單元26與圖12所示的編碼裝置IA中的深度圖分離單元18結構相同，因此省略詳細說明。此外，分離單元26a、放大單元26b以及放大單元26c分別與圖12所示的分離單元18a、放大單元18b以及放大單元18c對應。
[0388]深度圖投影單元23A構成為具有左深度圖投影單元23^和右深度圖投影單元23κ，將左右2個體系的中間視點的深度圖投影至各自體系的指定視點即左指定視點Pt和右指定視點Qt，生成各自的指定視點的深度圖即左指定視點深度圖Pd和右指定視點深度圖Qd。深度圖投影單元23A將所生成的左指定視點深度圖Pd和右指定視點深度圖Qd分別輸出至投影影像合成單元25A的左投影影像合成單元2?和右投影影像合成單元25κ。
[0389]此外，左指定視點(指定視點)Pt和右指定視點(指定視點)Qt是由解碼裝置2Α生成的多視點影像中的左指定視點和右指定視點，既可以在解碼裝置2Α中從預先決定的設定單元(未圖示)輸入，也可以從外部由用戶經由鍵盤等輸入單元進行操作來輸入。另外，左指定視點Pt和右指定視點Qt既可以分別為一個，也可以分別為兩個以上。在左指定視點Pt和右指定視點Qt為兩個以上的情況下，分別按每個左指定視點Pt和右指定視點Qt依次生成各個指定視點的左指定視點深度圖Pd和右指定視點深度圖Qd，依次輸出至投影影像合成單元25A的左投影影像合成單元2?和右投影影像合成單元25κ。
[0390]左深度圖投影單元23^被從放大單元26b輸入作為解碼后的深度圖的解碼左合成深度圖M，d，將該解碼左合成深度圖M，d投影至左指定視點Pt，生成左指定視點Pt的左指定視點深度圖(指定視點深度圖)Pd。左深度圖投影單元2?將所生成的左指定視點深度圖Pd輸出至左投影影像合成單元25l。
[0391]另外，右深度圖投影單元23κ被從放大單元26c輸入作為解碼后的深度圖的解碼右合成深度圖N’ d，將該解碼右合成深度圖N’ d投影至右指定視點Qt，生成右指定視點Qt的右指定視點深度圖(指定視點深度圖)QcL右深度圖投影單元23κ將所生成的右指定視點深度圖Qd輸出至右投影影像合成單元25κ。
[0392]此外，左深度圖投影單元2?與圖7所示的深度圖投影單元23結構相同，因此省略詳細說明。另外，右深度圖投影單元23κ與左深度圖投影單元23^除了與基準視點的左右位置關系相反以外，其它結構相同，因此省略詳細說明。
[0393]殘差影像解碼單元24Α對殘差影像位流進行解碼，生成框化殘差影像(解碼框化殘差影像)F’ V，輸出至殘差影像分離單元27的分離單元27a。
[0394]殘差影像解碼單元24A與解碼裝置2中的殘差影像解碼單元24 (參照圖7)僅在所解碼的對象是單一的殘差影像還是被框化的殘差影像這一點上不同，結構相同，因此省略詳細說明。
[0395]殘差影像分離單元27被從殘差影像解碼單元24A輸入解碼后的框化殘差影像F’ V，對被框化的兩個縮小殘差影像即左縮小殘差影像L2’ V和右縮小殘差影像R2’ V進行分離并放大為原本的高度，生成左殘差影像(解碼殘差影像)L’v和右殘差影像(解碼殘差影像)R’ V0殘差影像分離單元27將所生成的左殘差影像L’ V和右殘差影像R’ V分別輸出至投影影像合成單元25A的左投影影像合成單元2?和右投影影像合成單元25κ。為此，殘差影像分離單元27構成為具有分離單元27a和放大單元27b、27c。
[0396]此外，殘差影像分離單元27僅在所分離的對象是殘差影像還是深度圖這一點上不同，結構與深度圖分離單元26相同，因此省略詳細說明。此外，分離單元27a、放大單元27b以及放大單元27c分別與分離單元26a、放大單元26b以及放大單元26c對應。[0397]投影影像合成單元25A基于從基準視點影像解碼單元21輸入的基準視點影像C’、從殘差影像分離單元27輸入的左右2個體系的殘差影像即左殘差影像L’ V和右殘差影像R’ V、以及從深度圖投影單元23A輸入的左右2個體系的深度圖即左指定視點深度圖Pd和右指定視點深度圖Qd，來生成左右2個體系的指定視點即左指定視點Pt和右指定視點Qt的指定視點影像、即左指定視點影像P和右指定視點影像Q。為此，投影影像合成單元25A構成為具有左投影影像合成單元和右投影影像合成單元25κ。
[0398]左投影影像合成單元2?被從基準視點影像解碼單元21輸入基準視點影像C’，被從殘差影像分離單元27的放大單元27b輸入左殘差影像L’v，被從深度圖投影單元23A的左深度圖投影單元23^輸入左指定視點深度圖Pd，生成左指定視點影像P。
[0399]另外，右投影影像合成單元25κ被從基準視點影像解碼單元21輸入基準視點影像C’，被從殘差影像分離單元27的放大單元27c輸入右殘差影像R’ V，被從深度圖投影單元23A的右深度圖投影單元23κ輸入右指定視點深度圖Qd，生成右指定視點影像Q。
[0400]此外，左投影影像合成單元2?與圖7所示的解碼裝置2中的投影影像合成單元25結構相同，因此省略詳細說明。
[0401]另外，右投影影像合成單元25κ與左投影影像合成單元25^除了與基準視點的左右位置關系相反以外，其它結構相同，因此省略詳細說明。
[0402]如以上所說明的那樣，第二實施方式所涉及的編碼裝置IA針對多個體系的立體影像，將深度圖和殘差影像分別框化來進行編碼并以位流輸出，因此能夠以高編碼效率對立體影像進行編碼。 [0403]另外，解碼裝置2Α能夠對由該編碼裝置IA編碼的立體影像進行解碼來生成多視點影像。
[0404][立體影像編碼裝置的動作]
[0405]接著，參照圖16 (適當參照圖12和圖13)來說明第二實施方式所涉及的立體影像編碼裝置IA的動作。
[0406](基準視點影像編碼處理)
[0407]編碼裝置IA首先通過基準視點影像編碼單元11，對從外部輸入的基準視點影像C以規(guī)定的編碼方式進行編碼來生成編碼基準視點影像C，以基準視點影像位流輸出(步驟S31)。
[0408](深度圖合成處理(中間視點深度圖合成處理))
[0409]接著，編碼裝置IA通過深度圖合成單元12Α，使用從外部輸入的基準視點深度圖Cd和左視點深度圖Ld來合成作為基準視點與左視點的中間視點即左中間視點的深度圖的左合成深度圖Md，并且使用從外部輸入的基準視點深度圖Cd和右視點深度圖Rd來合成作為基準視點與右視點的中間視點即右中間視點的深度圖的右合成深度圖Nd(步驟S32)。
[0410](深度圖框化處理)
[0411]接著，編碼裝置IA通過深度圖框化單元17，將在步驟S32中合成的兩個深度圖即左合成深度圖Md和右合成深度圖Nd縮小并結合，由此框化成一個圖像而生成框化深度圖Fd (步驟 S33)。
[0412](深度圖編碼處理)
[0413]接著，編碼裝置IA通過深度圖編碼單元13Α，對在步驟S33中生成的框化深度圖Fd以規(guī)定的編碼方式進行編碼來生成編碼深度圖fd，以深度圖位流輸出(步驟S34)。
[0414](深度圖解碼處理)
[0415]接著，編碼裝置IA通過深度圖解碼單元14A，對在步驟S34中生成的編碼深度圖fd進行解碼來生成框化深度圖F’ d(步驟S35)。
[0416](深度圖分離處理)
[0417]接著，編碼裝置IA通過深度圖分離單元18，對在步驟S35中生成的解碼后的框化深度圖F’ d中被結合的兩個深度圖進行分離，分別放大為原本的尺寸來生成解碼左合成深度圖M’ d和解碼右合成深度圖N’ d (步驟S36)。
[0418](投影影像預測處理)
[0419]接著，編碼裝置IA通過投影影像預測單元15A，使用在步驟S36中生成的解碼左合成深度圖M，d以及從外部輸入的左視點影像L來生成左殘差影像Lv，并且使用在步驟S36中生成的解碼右合成深度圖N’d以及從外部輸入的右視點影像R來生成右殘差影像Rv (步驟 S37)。
[0420](殘差影像框化處理)
[0421]接著，編碼裝置IA通過殘差影像框化單元19，將在步驟S37中生成的兩個殘差影像即左殘差影像Lv和右殘差影像Rv縮小并結合，由此框化成一個圖像而生成框化殘差影像Fv (步驟S38)。
[0422](殘差影像編碼處理)
[0423]接著，編碼裝置IA通過殘差影像編碼單元16A，對在步驟S38中生成的框化殘差影像Fv以規(guī)定的編碼方式進行編碼來生成編碼殘差影像fv，以殘差影像位流輸出(步驟S39)。
[0424][立體影像解碼裝置的動作]
[0425]接著，參照圖17 (適當參照圖14和圖15)來說明第二實施方式所涉及的立體影像解碼裝置2A的動作。
[0426](基準視點影像解碼處理)
[0427]解碼裝置2A首先通過基準視點影像解碼單元21，對基準視點影像位流進行解碼，生成基準視點影像C’，作為多視點影像的一個影像而輸出(步驟S51)。
[0428](深度圖解碼處理)
[0429]接著，解碼裝置2A通過深度圖解碼單元22A，對深度圖位流進行解碼，生成框化深度圖F’ d(步驟S52)。
[0430](深度圖分離處理)
[0431]接著，解碼裝置2A通過深度圖分離單元26，對在步驟S52中生成的解碼后的框化深度圖F’ d中被結合的兩個深度圖進行分離，分別放大為原本的尺寸來生成解碼左合成深度圖M’ d和解碼右合成深度圖N’ d (步驟S53)。
[0432](深度圖投影處理)
[0433]接著，解碼裝置2A通過深度圖投影單元23A，將在步驟S53中生成的解碼左合成深度圖M’d投影至左指定視點Pt來生成左指定視點Pt的深度圖即左指定視點深度圖Pd，并且將在步驟S53中生成的解碼右合成深度圖N’ d投影至右指定視點Qt來生成右指定視點Qt的深度圖即右指定視點深度圖Qd (步驟S54)。[0434](殘差影像解碼處理)
[0435]另外，解碼裝置2A通過殘差影像解碼單元24A，對殘差影像位流進行解碼來生成框化殘差影像F’ V (步驟S55)。
[0436](殘差影像分離處理)
[0437]接著，解碼裝置2A通過殘差影像分離單元27，對在步驟S55中生成的解碼后的框化殘差影像F’ V中被結合的兩個殘差影像進行分離，分別放大為原本的尺寸來生成左殘差影像L’ V和右殘差影像R’ V (步驟S56)。
[0438](投影影像合成處理)
[0439]接著，解碼裝置2A通過左投影影像合成單元2?,對使用在步驟S54中生成的左指定視點深度圖Pd將在步驟S51中生成的基準視點影像C’以及在步驟S55中生成的左殘差影像L’ V分別投影至左指定視點Pt所得的影像進行合成，來生成左指定視點Pt的影像即左指定視點影像P，并且通過右投影影像合成單元25κ，對使用在步驟S54中生成的右指定視點深度圖Qd將在步驟S51中生成的基準視點影像C’以及在步驟S55中生成的右殘差影像R’ V分別投影至右指定視點Qt所得的影像進行合成，來生成右指定視點Qt的影像即右指定視點影像Q (步驟S57)。
[0440]<第二實施方式的變形例>
[0441]接著，說明本發(fā)明的第二實施方式的變形例所涉及的立體影像編碼裝置以及立體影像解碼裝置。 [0442]本變形例所涉及的立體影像編碼裝置是在圖12所示的第二實施方式所涉及的編碼裝置IA的深度圖框化單元17和殘差影像框化單元19中，在將深度圖和殘差影像縮小時，如圖18的(a)和圖18的(b)所示，沿橫向間隔剔除像素來縮小為1/2的寬度，沿橫向排列結合來框化成一個圖像。
[0443]因此，變形例所涉及的立體影像編碼裝置構成為在編碼裝置IA的深度圖分離單元18中對沿橫向縮小并結合所得的框化深度圖F’ d進行分離。
[0444]另外，本變形例所涉及的立體影像解碼裝置構成為在圖14所示的第二實施方式所涉及的解碼裝置2A的深度圖分離單元26和殘差影像分離單元27中，對沿橫向縮小并結合所得的框化深度圖F’ d和框化殘差影像F’ V進行分離。
[0445]本變形例所涉及的立體影像編碼裝置以及立體影像解碼裝置的結構和動作除了沿橫向縮小結合或分離放大深度圖和殘差影像以外，其它與第二實施方式的編碼裝置IA和解碼裝置2A相同，因此省略詳細說明。
[0446]另外，對于在第一實施方式、第二實施方式中使用的深度圖，對與基準視點影像C等影像形式相同的圖像數據，將深度值設定為亮度分量(Y)、將規(guī)定值設定為色差分量(Pb,Pr)來進行處理，但是也可以設為僅具有亮度分量(Y)的單色圖像數據來進行處理。由此，能夠使因色差分量(Pb，Pr)而導致的編碼效率降低完全為零。
[0447]<第三實施方式>
[0448]接著，說明包括本發(fā)明的第三實施方式所涉及的立體影像編碼裝置以及立體影像解碼裝置的立體影像傳輸系統的結構。
[0449]包括第三實施方式所涉及的立體影像編碼裝置以及立體影像解碼裝置的立體影像傳輸系統與圖1所示的立體影像傳輸系統S相比，代替立體影像編碼裝置I和立體影像解碼裝置2而分別包括立體影像編碼裝置IB (參照圖19)和立體影像解碼裝置2B(參照圖22)，除此以外相同，因此省略詳細說明。
[0450][立體影像編碼裝置的結構]
[0451]接著，參照圖19和圖20來說明第三實施方式的立體影像編碼裝置IB的結構。
[0452]如圖19所示，第三實施方式所涉及的立體影像編碼裝置1B(以下適當稱為“編碼裝置1B”)具備基準視點影像編碼單元11、深度圖合成單元12B、深度圖編碼單元13B、投影影像預測單元15B、殘差影像編碼單元16B、殘差影像框化單元19B以及深度圖恢復單元30。
[0453]另外，第三實施方式所涉及的編碼裝置IB與圖12所示的第二實施方式所涉及的編碼裝置IA同樣地，輸入基準視點的影像即基準視點影像C、左視點的影像即左視點影像(副視點影像)L和右視點的影像即右視點影像(副視點影像)R、以及附隨于這些影像的深度圖即基準視點深度圖Cd、左視點深度圖(副視點深度圖)Ld和右視點深度圖(副視點深度圖)Rd，將分別以規(guī)定的編碼方式進行編碼所得的編碼基準視點影像c和編碼殘差影像fv分別以基準視點影像位流和殘差影像位流輸出。在此，編碼裝置IB與第二實施方式所涉及的編碼裝置1A(參照圖12)的不同點在于:將所輸入的3個視點的深度圖Cd、Ld、Rd合成為規(guī)定的一個共同視點的深度圖即合成深度圖Gd來進行編碼，以深度圖位流輸出。
[0454]此外，對與第一實施方式或第二實施方式相同的結構要素，標注相同的標記，適當省略說明。
[0455]下面，參照圖20所示的影像和深度圖的例子來說明編碼裝置IB的結構要素。此夕卜，在第三實施方式中，與第二實施方式同樣地，朝向被攝體，在沿水平方向延伸的直線上等間隔分離的位置設定3個視點。另外，以中央的視點為基準視點，以左側的視點即左視點和右側的視點即右視點為副視點。但是，并不限定于此，也可以以不同的間隔配置3個視點，另外，基準視點與副視點并不限定于沿水平方向分離的情況，也可以沿垂直方向、斜向等任意方向分離。
[0456]另外，為了使說明簡單，在圖20中，與圖13所示的例子同樣地，如基準視點影像C、左視點影像L以及右視點影像R等所示的那樣，設各影像由圓形的位于前景的被攝體和其它的作為背景的被攝體構成。
[0457]圖19所示的基準視點影像編碼單元11與圖2所示的基準視點影像編碼單元11相同，因此省略說明。
[0458]深度圖合成單元12B構成為具備左深度圖投影單元121B、右深度圖投影單元122B、圖合成單元123B以及縮小單元124。
[0459]左深度圖投影單元121B和右深度圖投影單元122B分別被輸入左視點深度圖Ld和右視點深度圖Rd，分別生成投影至規(guī)定的一個共同視點的深度圖即共同視點深度圖CM和共同視點深度圖CKd，輸出至圖合成單元123B。
[0460]在本例中，將基準視點設為共同視點，因此左深度圖投影單元121B為了將左視點深度圖Ld投影至基準視點而使各像素向左方向移動與各像素的深度值一致的像素數，由此生成共同視點深度圖cM。
[0461]在左視點深度圖Ld的投影中，在存在被投影了多個像素值的像素的情況下，將所投影的像素值中的最大值設為該像素的深度值。通過將最大值設為共同視點深度圖CM的深度值，保存了前景的被攝體的深度值，因此能夠正確保持遮蔽關系地進行投影。[0462]另外，在存在沒有被投影的像素的情況下，對于該部分，將在該像素的左右接近的被投影的像素中的小的深度值設為該像素的深度值來進行填孔。由此，正確地對在原本的視點位置的情況下被前景擋住而看不到的背景的深度值進行插值。
[0463]右深度圖投影單元122B也同樣地，為了將右視點深度圖Rd投影至基準視點而使各像素向右方向移動與各像素的深度值一致的像素數，由此生成共同視點深度圖CKd。右深度圖投影單元122B也與左深度圖投影單元121B同樣地，在右視點深度圖Rd的投影中，在存在被投影了多個像素值的像素的情況下，將所投影的像素值中的最大值設為該像素的深度值。另外，在存在沒有被投影的像素的情況下，對于該部分，將在該像素的左右接近的被投影的像素中的小的深度值設為該像素的深度值來進行填孔。
[0464]此外，在本例中，將作為從外部輸入的3個視點的重心的基準視點設為共同視點。因此，基準視點深度圖Cd不需要進行投影。
[0465]但是，并不限定于此，能夠將任意視點設為共同視點。在將基準視點以外的視點設為共同視點的情況下，只要構成為代替基準視點深度圖Cd而將使基準視點深度圖Cd投影至該共同視點所得的深度圖輸入至圖合成單元123B即可。另外，關于左深度圖投影單元121B和右深度圖投影單元122B，也只要根據從基準視點到共同視點的距離來適當調整投影時的像素的移動量即可。
[0466]圖合成單元123B被從左深度圖投影單元121B和右深度圖投影單元122B分別輸入共同視點深度圖Cd和共同視點深度圖CKd，并且被從外部(例如立體影像制作裝置3 (參照圖1))輸入基準視點深度圖Cd，將這3個深度圖合成為一個，來生成作為共同視點的基準視點的一個合成深度圖Gd。
[0467]圖合成單元123B將所生成的合成深度圖Gd輸出至縮小單元124。
[0468]在本例中，圖合成單元123B按每個像素將3個深度圖的像素值平滑化來設為合成深度圖Gd的像素值，由此生成合成深度圖Gd。在此，作為像素值的平滑化，能夠列舉出3個像素值的算術平均、使用中值濾波來計算中央值。
[0469]通過像這樣對3個深度圖進行合成，各個深度圖中包含的深度的誤差被平滑化，在解碼裝置側對用于構成立體影像的大量視點影像進行合成時，能夠改善所合成的視點影像的品質。
[0470]縮小單元124被從圖合成單元123B輸入合成深度圖Gd，生成將所輸入的合成深度圖Gd縮小的縮小合成深度圖G2d。然后，縮小單元124將所生成的縮小合成深度圖G2d輸出至深度圖編碼單元13B。
[0471]在此，縮小單元124通過沿縱向和橫向分別隔I個像素地間隔剔除合成深度圖Gd的像素，來生成縱橫分別縮小為1/2的縮小合成深度圖G2d。
[0472]此外，縮小單元124在進行深度圖的間隔剔除處理時，優(yōu)選的是不實施低通濾波器的濾波處理而直接間隔剔除數據。由此，能夠防止因濾波處理而產生原本的深度圖所不具有的水平的深度值，從而確保合成影像的品質。
[0473]另外，縮小率并不限定于1/2，也可以通過反復多次進行1/2間隔剔除處理來以1/4、1/8等縮小率進行縮小，還可以設為1/3、1/5等縮小率。并且，也可以使縱向與橫向縮小率不同。并且，也可以省略縮小單元124而從圖合成單元123B將保持等倍數據的合成深度圖Gd輸出至深度圖編碼單元13B。[0474]深度圖編碼單元13B被從深度圖合成單元12B的縮小單元124輸入縮小合成深度圖G2d，對該縮小合成深度圖G2d以規(guī)定的編碼方式進行編碼來生成編碼深度圖g2d，以深度圖位流輸出至傳輸路。
[0475]在本實施方式中，對于以深度圖位流傳輸的深度圖，由于將3個視點的深度圖合成為一個并進一步進行縮小，因此減少了深度圖的數據量，編碼效率得到改善。
[0476]深度圖編碼單元13B與圖2所示的深度圖編碼單元13相比，代替等倍尺寸的單一深度圖，所編碼的深度圖是已縮小的深度圖，除此以外其它相同，因此省略詳細說明。
[0477]深度圖恢復單元30對由深度圖編碼單元13B生成的編碼深度圖g2d即深度圖位流基于其編碼方式來進行解碼，并且放大而恢復原本尺寸的解碼合成深度圖G’d。為此，深度圖恢復單元30構成為具備深度圖解碼單元30a和放大單元30b。
[0478]另外，深度圖恢復單元30將恢復得到的解碼合成深度圖G’d輸出至投影影像預測單元15B的左投影影像預測單元15B^和右投影影像預測單元15BK。
[0479]深度圖解碼單元30a被從深度圖編碼單元13B輸入編碼深度圖g2d，基于其編碼方式進行解碼來生成解碼縮小合成深度圖G’ 2d。深度圖解碼單元30a將所生成的解碼縮小合成深度圖G’ 2(1輸出至放大單元30b。關于深度圖解碼單元30a，能夠使用與圖2所示的深度圖解碼單元14相同的深度圖解碼單元，因此省略詳細說明。
[0480]放大單元30b被從深度圖解碼單元30a輸入解碼縮小合成深度圖G’ 2d，生成與合成深度圖Gd尺寸相同的解碼合成深度圖G’ d0放大單元30b將所生成的解碼合成深度圖G’ d輸出至左投影影像預測單元15B^和右投影影像預測單元15BK。 [0481]此外，作為放大處理，放大單元30b在對通過縮小單元124的縮小處理而被間隔剔除的像素進行插值時，若該像素附近存在的多個像素的像素值(深度值)的差小，則將該附近像素的像素值的平均值設為該像素的像素值。另外，若該像素附近存在的多個像素的像素值的差大，則將該附近像素的像素值的最大值設為該像素的像素值。由此，在前景與背景的邊界部分恢復前景的深度值，因此能夠保持由解碼裝置2B(參照圖22)合成的多視點影像的品質。
[0482]此外，在放大處理時，對放大后的深度圖實施二維中值濾波。由此，能夠使前景的被攝體的深度值的輪廓部分平滑地連接，能夠提高使用該合成深度圖生成的合成影像的品質。
[0483]投影影像預測單元15B使用從深度圖恢復單元30的放大單元30b輸入的解碼合成深度圖G’ d，從左視點影像L和右視點影像R提取出將基準視點影像C分別投影至左視點等和右視點等時成為遮蔽孔的像素區(qū)域的像素，來生成左殘差影像(殘差影像)Lv和右殘差影像(殘差影像)Rv。投影影像預測單元15B將所生成的左殘差影像Lv和右殘差影像Rv分別輸出至殘差影像框化單元19B的縮小單元19Ba和縮小單元19Bb。
[0484]左投影影像預測單元15Bl被從外部輸入左視點影像L和左指定視點Pt，并且被放大單元30b輸入解碼后的解碼合成深度圖G’d，生成左殘差影像Lv，將所生成的左殘差影像Lv輸出至殘差影像框化單元19B的縮小單元19Ba。
[0485]在此，參照圖21的(a)(適當參照圖19和圖20)來說明本實施方式中的左投影影像預測單元15B^的詳細結構。
[0486]如圖21的(a)所示，本實施方式中的左投影影像預測單元15Bj勾成為具備遮蔽孔檢測單元151B和殘差影像切出單元152。本實施方式中的左投影影像預測單元15B^與圖2所示的第一實施方式中的投影影像預測單元15的不同點在于:代替遮蔽孔檢測單元151而具備遮蔽孔檢測單元151B。
[0487]另外，本實施方式中的遮蔽孔檢測單元151B構成為具有第一孔掩模生成單元1511B、第二孔掩模生成單元1512B、第三孔掩模生成單元15138(15138:~1513Bn)、孔掩模合成單元1514以及孔掩模膨脹單元1515。本實施方式中的遮蔽孔檢測單元151B與圖3的(b)所示的第一實施方式中的遮蔽孔檢測單元151的不同點在于:代替第一孔掩模生成單元1511、第二孔掩模生成單元1512以及第三孔掩模生成單元1513a513i~1513n)而分別具備第一孔掩模生成單元1511B、第二孔掩模生成單元1512B以及第三孔掩模生成單元15136(15136!~1513Bn)。
[0488]此外，對與第一實施方式中的投影影像預測單元15和遮蔽孔檢測單元151相同的結構要素，標注相同的標記，適當省略說明。
[0489]本實施方式中的第一孔掩模生成單元1511B、第二孔掩模生成單元1512B以及第三孔掩模生成單元1513B使用作為共同視點的基準視點的解碼合成深度圖G’d來作為用于檢測遮蔽孔的深度圖。因此，與使用基準視點與左視點的中間視點的深度圖即解碼左合成深度圖M，d的第一實施方式中的第一孔掩模生成單元1511、第二孔掩模生成單元1512以及第三孔掩模生 成單元1513的不同點在于，通過投影單元(1511Ba、1512Ba、1513Ba)對分別輸入至第一孔像素檢測單元1511b、第二孔像素檢測單元1512Bb以及第三孔像素檢測單元1513b的深度圖進行投影時的移動量不同。除了該移動量不同以外，第一孔掩模生成單元1511B、第二孔掩模生成單元1512B以及第三孔掩模生成單元1513B具有與第一實施方式中的第一孔掩模生成單元1511、第二孔掩模生成單元1512以及第三孔掩模生成單元1513相同的功能。
[0490]即，第一孔掩模生成單元1511B、第二孔掩模生成單元1512B以及第三孔掩模生成單元1513B預測在使用所輸入的深度圖將基準視點影像C分別投影至左視點時、投影至左中間視點時以及投影至左指定視點時成為遮蔽孔OH的區(qū)域。然后，將分別預測出的區(qū)域投影至左視點，生成表示所投影的該區(qū)域的孔掩模LhpLtv Lh31~Lh3n，輸出至孔掩模合成單元 1514。
[0491]此外，遮蔽孔OH的檢測能夠僅使用解碼合成深度圖G’ d來進行，因此不需要基準視點影像C。在圖3的(b)所示的第一實施方式中的遮蔽孔檢測單元151也同樣地能夠省略基準視點影像C的輸入。
[0492]第一孔掩模生成單元1511B預測在將基準視點影像C投影至左視點時成為遮蔽孔OH的像素區(qū)域，生成表示該像素區(qū)域的孔掩模Lh1，輸出至孔掩模合成單元1514。為此，第一孔掩模生成單元1511B構成為具有左視點投影單元1511Ba和第一孔像素檢測單元1511b。
[0493]左視點投影單元1511Ba被從深度圖恢復單元30輸入解碼合成深度圖G’ d，將該解碼合成深度圖G’d投影至左視點，生成左視點的深度圖即左視點投影深度圖L’d，輸出至第一孔像素檢測單元1511b。
[0494]左視點投影單元1511Ba與圖3的(b)所示的左視點投影單元1511a僅是將深度圖進行投影時的移動量不同，能夠使用相同的投影單元，因此省略詳細說明。
[0495]第二孔掩模生成單元1512B預測在將基準視點影像C投影至基準視點與左視點的中間的視點即左中間視點時成為遮蔽孔OH的像素區(qū)域，生成表示該像素區(qū)域的孔掩模Lh2,輸出至孔掩模合成單元1514。為此，第二孔掩模生成單元1512B構成為具有左中間視點投影單元1512Ba、第二孔像素檢測單元1512Bb以及左視點投影單元1512Bc。
[0496]左中間視點投影單元1512Ba被從深度圖恢復單元30輸入解碼合成深度圖G’ d，將該解碼合成深度圖G’ d投影至左中間視點，生成左中間視點的深度圖即解碼左合成深度圖M’ d，輸出至第二孔像素檢測單元1512Bb。
[0497]左中間視點投影單元1512Ba與圖3的(b)所示的左視點投影單元1511a僅是對深度圖進行投影時的移動量不同，能夠使用相同的投影單元，因此省略詳細說明。
[0498]另外，第二孔像素檢測單元1512Bb和左視點投影單元1512Bc分別與圖3的(b)所示的第二孔像素檢測單元1512a和左視點投影單元1512b相同，因此省略說明。
[0499]此外，第二孔掩模生成單元1512B也可以省略。
[0500]第三孔掩模生成單元1513Bi~1513Bn(1513B)預測在將基準視點影像C分別投影至左指定視點Pt1~Ptn時成為遮蔽孔OH的像素區(qū)域，分別生成表示該像素區(qū)域的孔掩模Lh31~Lh3n，輸出至孔掩模合成單元1514。為此，各第三孔掩模生成單元1513B(1513Bi~1513BJ構成為具有左指定視點投影單元1513Ba、第三孔像素檢測單元1513b以及左視點投影單元1513c。
[0501]左指定視點投影單元1513Ba被從深度圖恢復單元30輸入解碼合成深度圖G’ d，將該解碼合成深度圖G’d投影至左指定視點Pt (Pt1~Ptn)，生成左指定視點Pt (Pt1~Ptn)的深度圖即左指定視點深度圖P’ d，輸出至第三孔像素檢測單元1513b。
[0502]左指定視點投影單元1513Ba與圖3的(b)所示的左視點投影單元1511a僅是對深度圖投影時的移動量不同，能夠使用相同的投影單元，因此省略詳細說明。
[0503]另外，第三孔掩模生成單元1513B可以如圖21的(a)所示那樣，檢測在投影至一個或多個左指定視點PtTt1~Ptn)時成為遮蔽孔OH的區(qū)域，還可以省略。
[0504]孔掩模合成單元1514、孔掩模膨脹單元1515以及殘差影像切出單元152能夠使用與第一實施方式相同的單兀。
[0505]此外，在殘差影像切出單元152中，作為左視點影像的除以孔掩模Lh所示的成為遮蔽孔OH的區(qū)域以外的像素值，除了設為128等固定值以外，也可以使用左視點影像L的所有像素值的平均值。通過這樣，能夠進一步減少殘差影像的具有有效像素值的部分(即成為遮蔽孔OH的區(qū)域)與不具有有效像素值的部分(其它區(qū)域)之間的變化量而減少殘差影像的編碼處理中的失真。
[0506]另外，在第一實施方式的殘差影像切出單元152中，作為不具有有效像素值的區(qū)域的像素值，也可以使用殘差影像的所有像素值的平均值。
[0507]另外，右投影影像預測單元15BK與左投影影像預測單元15B^相比，除了代替左視點影像L和左指定視點Pt而分別輸入右視點影像R和右指定視點Qt、代替左殘差影像Lv而輸出右殘差影像Rv、以及基準視點與深度圖的視點位置的左右位置關系相反以外，其它結構相同，因此省略說明。
[0508]返回至圖19和圖20來繼續(xù)說明編碼裝置IB的結構。
[0509] 殘差影像框化單元19B將從左投影影像預測單元15Bl和右投影影像預測單元15BK輸入的左殘差影像Lv和右殘差影像Rv框化成一個圖像，生成框化殘差影像Fv，將所生成的框化殘差影像Fv輸出至殘差影像編碼單元16B。為此，殘差影像框化單元19B構成為具有縮小單元19Ba、19Bb和結合單元19Bc。
[0510]縮小單元19Ba和縮小單元19Bb分別被從左投影影像預測單元15Bl和右投影影像預測單元158,輸入左殘差影像Lv和右殘差影像Rv，通過將所輸入的殘差影像沿縱向和橫向間隔剔除像素來縮小，生成高度(縱向的像素數)和寬幅(橫向的像素數)分別成為1/2的左縮小殘差影像L2V和右縮小殘差影像R2V，輸出至結合單元19Bc。
[0511]一般來說，使用殘差影像的區(qū)域是在解碼裝置2B(參照圖22)側合成的多視點影像的一小部分，因此即使進行像素間隔剔除，合成圖像的畫質也不會大幅降低。因而，通過進行殘差影像的間隔剔除(縮小處理)，不會使畫質大幅劣化而能夠提高編碼效率。
[0512]另外，縮小單元19Ba和縮小單元19Bb在對左殘差影像Lv和右殘差影像Rv進行縮小處理時，優(yōu)選的是例如在使用系數(1，2，1)的3抽頭濾波器等進行低通濾波處理之后實施間隔剔除處理。由此，能夠防止因間隔剔除而產生高頻分量的折返失真。
[0513]此外，將低通濾波處理設為在沿縱向和橫向的各個方向進行間隔剔除之前使用上述系數的一維濾波器來進行能夠減少處理量，因而優(yōu)選使用。但是，并不限定于此，也可以在進行二維的低通濾波處理之后進行縱向和橫向的間隔剔除處理。
[0514]另外，優(yōu)選的是，對左縮小殘差影像L2V與右縮小殘差影像R2V的成為遮蔽孔OH的區(qū)域(具有有效像素的區(qū)域)與其它區(qū)域的邊界部實施低通濾波處理。由此，具有有效像素的區(qū)域與不具有有效像素的區(qū)域的邊界處的像素值的變化被平滑化，能夠提高編碼處理的效率。
[0515]另外，縮小單元19Ba和縮小單元19Bb并不限定于縱橫的縮小率為1/2，也可以為1/4、1/3等其它縮小率，還可以使縱向與橫向縮小率不同。另外，也可以將尺寸保持原樣而省略縮小單元19Ba、19Bb。
[0516]結合單元19Bc被從縮小單元19Ba和縮小單元19Bb分別輸入左縮小殘差影像L2V和右縮小殘差影像R2v，將兩個殘差影像沿縱向結合來生成框化殘差影像Fv、即生產相對于縮小前的原本尺寸在縱向上為等倍、在橫向上為1/2的一個影像框。結合單元19Bc將所生成的框化殘差影像Fv輸出至殘差影像編碼單元16B。
[0517]此外，結合單元19Bc也可以沿橫向結合兩個殘差影像。
[0518]殘差影像編碼單元16B被從殘差影像框化單元19B的結合單元19Bc輸入框化殘差影像Fv，對該框化殘差影像Fv以規(guī)定的編碼方式進行編碼來生成編碼殘差影像fv，以殘差影像位流輸出至傳輸路。
[0519]殘差影像編碼單元16B與圖2所示的殘差影像編碼單元16相比，除了代替單一的殘差影像而所編碼的殘差影像為被框化的殘差影像以外，其它相同，因此省略詳細說明。
[0520][立體影像解碼裝置的結構]
[0521]接著，參照圖22和圖23來說明第三實施方式所涉及的立體影像解碼裝置2B的結構。立體影像解碼裝置2B對從圖19所示的立體影像編碼裝置IB經由傳輸路傳輸的位流進行解碼來生成多視點影像。
[0522]如圖22所示，第三實施方式所涉及的立體影像解碼裝置2B(以下適當稱為“解碼裝置2B”)具備基準視點影像解碼單元21、深度圖恢復單元28、深度圖投影單元23B、殘差影像解碼單元24B、投影影像合成單元25B以及殘差影像分離單元27B。[0523]另外，對第三實施方式所涉及的解碼裝置2B，以深度圖位流輸入對I個體系的深度圖進行編碼所得的編碼深度圖g2d，以殘差影像位流輸入將多個體系(2個體系)的殘差影像框化所得的編碼殘差影像fv，該解碼裝置2B對被框化的殘差影像進行分離，生成左指定視點影像P和右指定視點影像Q作為多個體系的指定視點影像。
[0524]本實施方式所涉及的解碼裝置2B與第二實施方式所涉及的解碼裝置2A(參照圖14)的不同點在于:輸入編碼縮小合成深度圖g2d來使用，該編碼縮小合成深度圖g2d是對將3個視點的深度圖Cd、Ld、Rd合成為規(guī)定的一個共同視點的深度圖即合成深度圖Gd而得的I個體系的深度圖進一步進行縮小并編碼所得的。
[0525]基準視點影像解碼單元21與圖7所示的基準視點影像解碼單元21相同，因此省略說明。
[0526]深度圖恢復單元28對深度位流進行解碼，生成解碼縮小合成深度圖G2’ d，進一步生成原本尺寸的解碼合成深度圖G’ d，輸出至深度圖投影單元23B的左深度圖投影單元23B^和右深度圖投影單元23BK。為此，深度圖恢復單元28構成為具有深度圖解碼單元28a和放大單元28b。
[0527]深度圖恢復單元28與編碼裝置IB中的深度圖恢復單元30(參照圖19)結構相同，因此省略詳細說明。此外，深度圖解碼單元28a和放大單元28b分別與圖19所示的深度圖解碼單元30a和放大單元30b對應。
[0528]深度圖投影單元23B構成為具有左深度圖投影單元23B^和右深度圖投影單元23BK，將作為共同視點的基準視點的深度圖投影至各個體系的指定視點即左指定視點Pt和右指定視點Qt，生成各個指定視點的深度圖即左指定視點深度圖Pd和右指定視點深度圖Qd。深度圖投影單元23B將所生成的左指定視點深度圖Pd和右指定視點深度圖Qd分別輸出至投影影像合成單元25B的左投影影像合成單元25Bl和右投影影像合成單元25BK。
[0529]此外，本實施方式中的深度圖投影單元23B與圖14所示的深度圖投影單元23A同樣地，被輸入一個或多個左指定視點(指定視點)Pt和右指定視點(指定視點)Qt，生成與各個指定視點對應的左指定視點深度圖Pd和右指定視點深度圖Qd，輸出至投影影像合成單元25B的左投影影像合成單元25Bl和右投影影像合成單元25BK。
[0530]左深度圖投影單元23BJ皮輸入解碼后的基準視點的深度圖即解碼合成深度圖G’ d，將該解碼合成深度圖G’ d投影至左指定視點Pt，生成左指定視點Pt的左指定視點深度圖(指定視點深度圖)Pd。左深度圖投影單元23Bjf所生成的左指定視點深度圖Pd輸出至左投影影像合成單元25Bl。
[0531]此外，本實施方式中的左深度圖投影單元23B^與圖14所示的第二實施方式中的左深度圖投影單元23BJ余了由于所輸入的深度圖的視點位置不同而投影時的移動量不同以外，其它相同，因此省略詳細說明。
[0532]另外，右深度圖投影單元23BK被輸入解碼后的基準視點的深度圖即解碼合成深度圖G’ d，將該解碼合成深度圖G’ d投影至右指定視點Qt，生成右指定視點Qt的右指定視點深度圖(指定視點深度圖)Qd。右深度圖投影單元23Bjf所生成的右指定視點深度圖Qd輸出至右投影影像合成單元25BK。
[0533]此外，右深度圖投影單元23BK與左深度圖投影單元23B^除了相對于基準視點的左右位置關系相反以外，其它結構相同，因此省略詳細說明。[0534]殘差影像解碼單元24B對殘差影像位流進行解碼，生成框化殘差影像(解碼框化殘差影像)F’ V，輸出至殘差影像分離單元27B的分離單元27Ba。
[0535]殘差影像解碼單元24B與圖14所示的第二實施方式中的殘差影像解碼單元24A除了所解碼的對象的框化殘差影像的尺寸不同以外，其它結構相同，因此省略詳細說明。
[0536]殘差影像分離單元27B被從殘差影像解碼單元24B輸入解碼后的框化殘差影像F’ V，對被框化的兩個縮小殘差影像即左縮小殘差影像L2’ V和右縮小殘差影像R2’ V進行分離，放大為原本的尺寸來生成左殘差影像(解碼殘差影像)L’v和右殘差影像(解碼殘差影像)R’ V0殘差影像分離單元27B將所生成的左殘差影像L’ V和右殘差影像R’ V分別輸出至投影影像合成單元25B的左投影影像合成單元25Bl和右投影影像合成單元25BK。
[0537]此外，殘差影像分離單元27B與圖14所示的第二實施方式中的殘差影像分離單元27除了所分離的對象的框化殘差影像的尺寸不同以外，其它結構相同，因此省略詳細說明。此外，殘差影像分離單元27B中的分離單元27Ba、放大單元27Bb以及放大單元27Bc分別與殘差影像分離單元27中的分離單元27a、放大單元27b以及放大單元27c對應。
[0538]投影影像合成單元25B基于從基準視點影像解碼單元21輸入的基準視點影像C’、從殘差影像分離單元27B輸入的左右2個體系的殘差影像即左殘差影像L’v和右殘差影像R’ V、從深度圖投影單元23B輸入的左右2個體系的深度圖即左指定視點深度圖Pd和右指定視點深度圖Qd,來生成左右2個體系的指定視點即左指定視點Pt和右指定視點Qt的指定視點影像即左指定視點影像P和右指定視點影像Q。為此，投影影像合成單元25B構成為具有左投影影像合成單元25Bl和右投影影像合成單元25BK。
[0539]左投影影像合成單元25Bl被從基準視點影像解碼單元21輸入基準視點影像C’，被從殘差影像分離單元27B的放大單元27Bb輸入左殘差影像L’ V，被從深度圖投影單元23B的左深度圖投影單元23Bl輸入左指定視點深度圖Pd，生成左指定視點影像P。
[0540]另外，右投影影像合成單元25BK被從基準視點影像解碼單元21輸入基準視點影像C’，被從殘差影像分離單元27B的放大單元27Bc輸入右殘差影像R’ V，被從深度圖投影單元23B的右深度圖投影單元23BK輸入右指定視點深度圖Qd，生成右指定視點影像Q。
[0541]在此，參照圖24的(a)(適當參照圖22和圖23)來說明左投影影像合成單元25Bl的詳細結構。
[0542]如圖24的(a)所示，本實施方式中的左投影影像合成單元25Bl構成為具有基準視點影像投影單元251B和殘差影像投影單元252B。
[0543]基準視點影像投影單元251B被從基準視點影像解碼單元21輸入基準視點影像C’，被從深度圖投影單元23B輸入左指定視點深度圖Pd，作為左指定視點Pt的影像，針對能夠將基準視點影像C’投影至該左指定視點Pt的像素生成左指定視點影像Pe?；鶞室朁c影像投影單元251B將所生成的左指定視點影像Pg輸出至殘差影像投影單元252B。
[0544]為此，基準視點影像投影單元251B構成為具備孔像素檢測單元251Ba、指定視點影像投影單元251Bb、基準視點影像像素復制單元251Bc以及孔掩模膨脹單元251Bd。
[0545]孔像素檢測單元25 IBa被從深度圖投影單元23B的左深度圖投影單元23Bl輸入左指定視點深度圖Pd，使用該左指定視點深度圖Pd來檢測在將基準視點影像C’投影至左指定視點Pt時成為遮蔽孔的像素，生成表示檢測出的像素區(qū)域的孔掩模P1Ii作為檢測結果，輸出至孔掩模膨脹單元251Bd。[0546]孔像素檢測單元251Ba對成為遮蔽孔的像素的檢測方法與圖8所示的第一實施方式中的孔像素檢測單元251a相同，因此省略詳細說明。
[0547]指定視點影像投影單元251Bb被從基準視點影像解碼單元21輸入基準視點影像C’，被從深度圖投影單元23B的左深度圖投影單元23B^輸入左指定視點深度圖Pd，生成將基準視點影像C’投影至左指定視點Pt所得的影像即左指定視點投影影像ΡΛ輸出至基準視點影像像素復制單元251Bc。
[0548]此外，指定視點影像投影單元251Bb與圖8所示的第一實施方式中的指定視點影像投影單元251b相同，因此省略詳細說明。
[0549]基準視點影像像素復制單元251Bc被從指定視點影像投影單元251Bb輸入左指定視點投影影像ΡΛ被從孔掩模膨脹單元251Bd輸入孔掩模P2h，基于這些輸入數據復制不會成為遮蔽孔而能夠將基準視點影像C’投影至左指定視點Pt的像素，生成左指定視點影像Pc。
[0550]另外，基準視點影像像素復制單元251Bc將所生成的左指定視點影像Pg輸出至殘差影像投影單兀252B的殘差影像像素復制單兀252Bb。
[0551]此外，基準視點影像像素復制單元251Bc與圖8所示的第一實施方式中的基準視點影像像素復制單元251c相同，因此省略詳細說明。
[0552]孔掩模膨脹單元251Bd被從孔像素檢測單元251Ba輸入孔掩模P1Ii,生成使孔掩模PA中成為遮蔽孔的像素區(qū)域膨脹規(guī)定的像素數的孔掩模P2h，將所生成的孔掩模P2h輸出至基準視點影像像素復 制單元251Bc以及殘差影像投影單元252B的共同孔檢測單元252Be。
[0553]在此，所膨脹的規(guī)定的像素數例如能夠設為2像素。通過該膨脹處理，能夠防止由于左指定視點深度圖Pd的生成誤差而基準視點影像像素復制單元251BC誤從左指定視點
投影影像Pj復制像素。
[0554]殘差影像投影單元252B被從殘差影像解碼單元24B輸入左殘差影像L’v，被從深度圖投影單元23B的左深度圖投影單元23B^輸入左指定視點深度圖Pd，作為左指定視點Pt的影像，將無法投影基準視點影像C’的像素、即成為遮蔽孔的像素補充到左指定視點影像Pc來生成左指定視點影像P。殘差影像投影單元252B將所生成的左指定視點影像P輸出至立體影像顯示裝置4 (參照圖1)。
[0555]為此，殘差影像投影單元252B構成為具有指定視點影像投影單元252Ba、殘差影像像素復制單元252Bb、填孔處理單元252Bc、孔像素檢測單元252Bd以及共同孔檢測單元252Be。
[0556]指定視點影像投影單元252Ba被從殘差影像分離單元27B的放大單元27Bb輸入左殘差影像L’ V，被從深度圖投影單元23B的左深度圖投影單元23B^輸入左指定視點深度圖Pd，生成將左殘差影像L’ V投影至左指定視點Pt所得的影像即左指定視點投影殘差影像P'輸出至殘差影像像素復制單元252Bb。
[0557]殘差影像像素復制單元252Bb被從基準視點影像投影單元251B的基準視點影像像素復制單元251Bc輸入左指定視點影像PG，被從孔掩模膨脹單元251Bd輸入孔掩模P2h，被從指定視點影像投影單元252Ba輸入左指定視點投影殘差影像P'被從孔像素檢測單元252Bd輸入孔掩模P3h。然后，殘差影像像素復制單元252Bb參照孔掩模P2h，對于在左指定視點影像Pe中成為遮蔽孔的像素，從左指定視點投影殘差影像Plv提取像素值并復制到左指定視點影像Pe，生成左指定視點Pt的影像即左指定視點影像Pi。此時，殘差影像像素復制單元252Bb參照孔掩模P3h，對于在孔掩模P3h中成為遮蔽孔的像素，不從左指定視點投影殘差影像Plv復制像素，該孔掩模P3h表示無法使用左指定視點深度圖Pd將左殘差影像L’ V投影為左指定視點Pt的影像的像素區(qū)域(遮蔽孔)。
[0558]殘差影像像素復制單元252Bb將所生成的左指定視點影像P1輸出至填孔處理單元 252Bc。
[0559]填孔處理單元252Bc被從殘差影像像素復制單元252Bb輸入左指定視點影像P1,被從共同孔檢測單元252Be輸入孔掩模P4h。填孔處理單元252Bc參照表示該左指定視點影像P1中既沒有通過基準視點影像像素復制單元251Bc復制有效的像素也沒有通過殘差影像像素復制單元252Bb復制有效的像素的像素的孔掩模P4h，對于這些成為孔的像素，使用該像素周圍的有效的像素值進行填孔來生成左指定視點影像P。填孔處理單元252Bc將所生成的左指定視點影像P作為多視點影像中的一個影像而輸出至立體影像顯示裝置4(參照圖1)。
[0560]孔像素檢測單元252Bd被從深度圖投影單元23B的左深度圖投影單元23Bl輸入左指定視點深度圖Pd，使用該左指定視點深度圖Pd來檢測將左視點的影像即左殘差影像L’v投影至左指定視點Pt時成為遮蔽孔的像素，生成表示檢測出的像素區(qū)域的孔掩模P3h作為檢測結果，輸出至殘差影像像素復制單元252Bb。
[0561]孔像素檢測單元252Bd假設左指定視點位于比左視點靠右側的位置來檢測成為遮蔽孔的像素。因此，孔像素檢測單元252Bd對成為遮蔽孔的像素的檢測方法為:在圖8所示的第一實施方式中的孔像素檢測單元251a中，在位于關注像素的左附近的像素的像素值(深度值)大于關注像素的像素值而滿足規(guī)定條件的情況下，判定為是成為遮蔽孔的像素。
[0562]此外，規(guī)定的條件除了左右關系調換以外，與孔像素檢測單元251a的判定條件相同。
[0563]共同孔檢測單元252Be被從孔掩模膨脹單元251Bd輸入孔掩模P2h，被從孔像素檢測單元252Bd輸入孔掩模P3h。然后，共同孔檢測單元252Be按每個像素計算孔掩模P2h與孔掩模P3h的邏輯與，生成孔掩模P4h，輸出至填孔處理單元252Bc。
[0564]此外，孔掩模P4h如前所述，表示左指定視點影像P1中既沒有通過基準視點影像像素復制單元251Bc復制有效的像素也沒有通過殘差影像像素復制單元252Bb復制有效的像素而成為不具有有效的像素值的孔的像素。
[0565]返回至圖22，右投影影像合成單元25BK與左投影影像合成單元25Bl除了相對于基準視點的左右位置關系相反以外，其它結構相同，因此省略詳細說明。
[0566]如以上所說明的那樣，第三實施方式所涉及的編碼裝置IB對多個體系的立體影像，將深度圖合成為作為共同視點的基準視點處的一個深度圖來進行編碼并且將殘差影像框化來進行編碼，并以位流輸出，因此能夠以高編碼效率對立體影像進行編碼。
[0567]另外，解碼裝置2B能夠對由該編碼裝置IB編碼的立體影像進行解碼來生成多視點影像。
[0568][立體影像編碼裝置的動作][0569]接著，參照圖25(適當參照圖19)來說明第三實施方式所涉及的立體影像編碼裝置IB的動作。
[0570](基準視點影像編碼處理)
[0571]編碼裝置IB首先通過基準視點影像編碼單元11，對從外部輸入的基準視點影像C以規(guī)定的編碼方式進行編碼來生成編碼基準視點影像C，以基準視點影像位流來輸出(步驟 S71)。
[0572](深度圖合成處理)
[0573]接著，編碼裝置IB通過深度圖合成單元12B，對從外部輸入的基準視點深度圖Cd、左視點深度圖Ld以及右視點深度圖Rd進行合成，以基準視點為共同視點來生成共同視點處的一個深度圖(步驟S72)。在本實施方式中，該步驟S72由以下所示的三個子步驟構成。
[0574]首先，編碼裝置IB通過左深度圖投影單元121B和右深度圖投影單元122B，分別將左視點深度圖Ld和右視點深度圖Rd投影至作為共同視點的基準視點，來生成共同視點深度圖Cd和共同視點深度圖CKd。
[0575]接著，編碼裝置IB通過圖合成單元123B，將共同視點(基準視點)處的3個深度圖即基準視點深度圖Cd、共同視點深度圖Cd以及共同視點深度圖CKd合成為一個，來生成合成深度圖Gd。
[0576]最后，編碼裝置IB通過縮小單元124將合成深度圖Gd縮小來生成縮小合成深度圖 G2do
[0577](深度圖編碼處理)
[0578]接著，編碼裝置IB通過深度圖編碼單元13B，對在步驟S72中生成的縮小合成深度圖G2d以規(guī)定的編碼方式進行編碼來生成編碼深度圖g2d，以深度圖位流來輸出(步驟S73)。
[0579](深度圖恢復處理)
[0580]接著，編碼裝置IB通過深度圖恢復單元30，將在步驟S73中生成的編碼深度圖g2d恢復來生成解碼合成深度圖G’ d(步驟S74)。在本實施方式中，該步驟S74由以下所示的兩個子步驟構成。
[0581]首先，編碼裝置IB通過深度圖解碼單元30a，對編碼深度圖g2d進行解碼來生成解碼縮小合成深度圖G2 ’ d。
[0582]接著，編碼裝置IB通過放大單元30b，將解碼縮小合成深度圖G2’ d放大為原本的尺寸來生成解碼合成深度圖G’ d。
[0583](投影影像預測處理)
[0584]接著，編碼裝置IB通過投影影像預測單元15B的左投影影像預測單元15Β?;使用在步驟S74中生成的解碼合成深度圖G’d以及從外部輸入的左視點影像L來生成左殘差影像Lv，并且通過投影影像預測單元15B的右投影影像預測單元15BK，使用解碼合成深度圖G’ d以及從外部輸入的右視點影像R來生成右殘差影像Rv (步驟S75)。
[0585](殘差影像框化處理)
[0586]接著，編碼裝置IB通過殘差影像框化單元19B，將在步驟S75中生成的兩個殘差影像即左殘差影像Lv和右殘差影像Rv縮小并結合，由此框化成一個圖像來生成框化殘差影像Fv (步驟S76)。[0587](殘差影像編碼處理)
[0588]接著，編碼裝置IB通過殘差影像編碼單元16B，對在步驟S76中生成的框化殘差影像Fv以規(guī)定的編碼方式進行編碼來生成編碼殘差影像fv，以殘差影像位流來輸出(步驟S77)。
[0589][立體影像解碼裝置的動作]
[0590]接著，參照圖26(適當參照圖22)來說明第三實施方式所涉及的立體影像解碼裝置2B的動作。
[0591 ](基準視點影像解碼處理)
[0592]解碼裝置2B首先通過基準視點影像解碼單元21，對基準視點影像位流進行解碼，生成基準視點影像C’，作為多視點影像的一個影像來輸出(步驟S91)。
[0593](深度圖恢復處理)
[0594]接著，解碼裝置2B通過深度圖恢復單元28，對深度圖位流進行解碼來生成解碼合成深度圖G’ d(步驟S92)。在本實施方式中，該S92由以下所示的兩個子步驟構成。
[0595]首先，解碼裝置2B通過深度圖解碼單元28a，對以深度圖位流傳輸的編碼深度圖g2d進行解碼來生成解碼縮小合成深度圖G2’ d。
[0596]然后，解碼裝置2B通過放大單元28b，將解碼縮小合成深度圖G2’ d放大為原本的尺寸來生成解碼合成深度圖G’ d。
[0597](深度圖投影處理)
[0598]接著，解碼裝置2B通過深度圖投影單元23B的左深度圖投影單元23By將在步驟S92中生成的解碼合成深度圖G’d投影至左指定視點Pt，生成左指定視點Pt的深度圖即左指定視點深度圖Pd，并且通過右深度圖投影單元23BK，將解碼合成深度圖G’ d投影至右指定視點Qt，生成右指定視點Qt的深度圖即右指定視點深度圖Qd (步驟S93)。
[0599](殘差影像解碼處理)
[0600]另外，解碼裝置2B通過殘差影像解碼單元24B，對殘差影像位流進行解碼來生成框化殘差影像F’ V (步驟S94)。
[0601](殘差影像分離處理)
[0602]接著，解碼裝置2B通過殘差影像分離單元27B的分離單元27Ba，對在步驟S94中生成的解碼后的框化殘差影像F’ V中被結合的兩個殘差影像進行分離，進一步通過放大單元27Bb和放大單元27Bc分別放大為原本的尺寸，來生成左殘差影像L’ v和右殘差影像R，V (步驟 S95)。
[0603](投影影像合成處理)
[0604]然后，解碼裝置2B通過左投影影像合成單元25Bl，對使用在步驟S93中生成的左指定視點深度圖Pd將在步驟S91中生成的基準視點影像C’以及在步驟S95中生成的左殘差影像L’ V分別投影至左指定視點Pt所得的影像進行合成，來生成左指定視點Pt的影像即左指定視點影像P，并且通過右投影影像合成單元25BK，對使用在步驟S93中生成的右指定視點深度圖Qd將在步驟S91中生成的基準視點影像C’以及在步驟S95中生成的右殘差影像R’ V分別投影至右指定視點Qt所得的影像進行合成，來生成右指定視點Qt的影像即右指定視點影像Q (步驟S96)。
[0605]由解碼裝置2B將在步驟S91中生成的基準視點影像C’以及在步驟96中生成的左指定視點影像P和右指定視點影像Q作為多視點影像例如輸出至圖1所示的立體影像顯示裝置4，對多視點立體影像進行顯示。
[0606]<第三實施方式的變形例>
[0607]接著，說明本發(fā)明的第三實施方式的變形例所涉及的立體影像編碼裝置和立體影像解碼裝置。
[0608][立體影像編碼裝置的結構]
[0609]首先，參照圖19和圖21的(b)來說明本變形例所涉及的立體影像編碼裝置的結構。
[0610]本變形例所涉及的立體影像編碼裝置(未圖示整體結構，以下適當地稱為“編碼裝置1C”)與圖19所示的第三實施方式所涉及的編碼裝置IB的投影影像預測單元15B相t匕，代替通過從左視點影像L切出成為遮蔽孔的區(qū)域的像素(邏輯運算型)來生成左殘差影像Lv，通過針對影像整體按每個像素計算左視點影像L與將對編碼基準視點影像c進行解碼所得的解碼基準視點影像C’投影至左視點所得的影像之間的像素值的差(減法運算型)來生成左殘差影像Lv。另外，右殘差影像Rv的生成也同樣地，通過針對影像整體按每個像素計算右視點影像R與將解碼基準視點影像C’投影至右視點所得的影像之間的像素值的差來生成右殘差影像Rv。
[0611]此外，右殘差影像Rv的生成與左殘差影像Lv的生成相比，除了代替左視點影像L而使用右視點影像R、代 替使用將解碼基準視點影像C’投影至左視點所得的影像而使用將解碼基準視點影像C’投影至右視點所得的影像以外，其它相同，因此適當省略說明。
[0612]本變形例所涉及的編碼裝置IC具備圖21的(b)所示的左投影影像預測單元15Q來代替圖21的(a)所示的第三實施方式中的左投影影像預測單元15B^以生成左殘差影像Lv0此外，右投影影像預測單元也同樣。
[0613]另外，編碼裝置IC是在圖19所示的第三實施方式的編碼裝置IB中還具備對基準視點影像編碼單元11所生成的編碼基準視點影像C進行解碼的基準視點影像解碼單元(未圖示)。此外，該基準視點影像解碼單元與圖22所示的基準視點影像解碼單元21相同。
[0614]如圖21(b)所示，本變形例中的左投影影像預測單元15Q構成為具備左視點投影單元153和殘差計算單元154。
[0615]左投影影像預測單元15Q被從未圖示的基準視點影像解碼單元輸入解碼基準視點影像C’，被從深度圖恢復單元30的放大單元30b輸入解碼合成深度圖G’ d，將左殘差影像Lv輸出至殘差影像框化單元19B的縮小單元19Ba。
[0616]左視點投影單元153被從未圖示的基準視點影像解碼單元輸入解碼基準視點影像C’，將解碼基準視點影像C’投影至左視點來生成左視點影像L’ c0左視點投影單元153將所生成的左視點影像L’ c輸出至殘差計算單元154。此時，在左視點影像L’ c中存在沒有從解碼基準視點影像C’投影的像素、即成為遮蔽孔的像素的情況下，設定規(guī)定的值來作為該像素的像素值。關于該規(guī)定的值，優(yōu)選的是，例如在各分量為8位的數據的情況下，將各分量均設為像素值所能夠取的范圍的中央值即“128”。由此，與左視點影像L的像素值之間的差的各分量包含符號在內均為8位以下的數據，因此能夠提高編碼效率。
[0617]殘差計算單元154被從左視點投影單元153輸入左視點影像L’ c,并且被從外部輸入左視點影像L，生成左視點影像L與左視點影像L’ c之間的差即左殘差影像Lv。具體地說，殘差計算單元154如下這樣生成左殘差影像Lv，針對影像整體按各像素的每個分量將左視點影像L的像素值減去左視點影像L’ c的像素值所得的值即差設為像素值。
[0618]殘差計算單元154將所生成的左殘差影像Lv輸出至殘差影像框化單元19B的縮小單元19Ba。
[0619]在本變形例中，在生成殘差影像時使用了解碼基準視點影像C’，因此在解碼裝置側加上殘差影像來恢復指定視點影像時，基準視點影像成為相同條件，從而能夠形成更高品質的多視點影像。
[0620]此外，在生成殘差影像時，也可以代替解碼基準視點影像C’而使用基準視點影像C。由此，能夠省略基準視點影像解碼單元(未圖示)。
[0621]本變形例所涉及的編碼裝置IC的其它結構與第三實施方式所涉及的編碼裝置IB相同，因此省略說明。
[0622][立體影像解碼裝置的結構]
[0623]接著，參照圖22和圖24的(b)來說明本變形例所涉及的立體影像解碼裝置的結構。本變形例所涉及的立體影像解碼裝置對從上述的變形例所涉及的編碼裝置IC經由傳輸路傳輸的位流進行解碼來生成多視點影像。
[0624]即，本變形例所涉及的立體影像解碼裝置(未圖示整體結構，以下適當地稱為“解碼裝置2C”)與圖22所示的第三實施方式所涉及的解碼裝置2B的投影影像合成單元25B相比，代替使用上述通過邏輯運算型而生成的左殘差影像Lv來生成左指定視點影像P而使用上述通過減法運算型而生成的左殘差影像Lv來生成左指定視點影像P。
[0625] 另外，右指定視點影像Q的生成也同樣地，使用通過計算右視點影像R與將解碼基準視點影像C’投影至右視點所得的影像之間的每個像素的像素值之差而生成的右殘差影像Rv來生成。
[0626]此外，右指定視點影像Q的生成與左指定視點影像P的生成相比，除了代替左殘差影像Lv而使用右殘差影像Rv、投影的方向相對于基準視點左右相反以外，其它相同，因此適當省略說明。
[0627]本變形例所涉及的解碼裝置2C具備圖24的(b)所示的左投影影像合成單元25Q來代替圖24的(a)所示的第三實施方式中的左投影影像合成單元25B^以生成左指定視點影像P。此外，右投影影像合成單元也同樣。
[0628]如圖24的(b)所示，本變形例中的左投影影像合成單元25Q與圖24的(a)所示的左投影影像合成單元25B^同樣地，被從基準視點影像解碼單元21輸入基準視點影像C’，被從殘差影像分離單元27B的放大單元27Bb輸入左殘差影像L’ V，被從深度圖投影單元23B的左深度圖投影單元23Bl輸入左指定視點深度圖Pd，生成左指定視點影像P。
[0629]為此，左投影影像合成單元25Q構成為具有基準視點影像投影單元251C和殘差影像投影單元252C。
[0630]基準視點影像投影單元251C與圖24的(a)所示的基準視點影像投影單元251B的不同點在于:不具有孔掩模膨脹單元251Bd，代替基準視點影像像素復制單元251Bc而具有基準視點影像像素復制單元251Cc，以及將孔像素檢測單元251Ba所生成的孔掩模P1I1輸出至基準視點影像像素復制單元251Cc以及共同孔檢測單元252Be。
[0631]此外，對與第三實施方式相同的結構標注相同標記，適當省略說明。[0632]此外，在以減法運算型生成殘差影像的情況下，與以邏輯運算型生成殘差影像的情況不同，殘差影像的所有像素均具有有效的像素值，因此不存在如邏輯運算型那樣將不具有有效像素的部分使用于指定視點影像的合成的擔憂，從而不需要使孔掩模Pih膨脹。
[0633]基準視點影像像素復制單元251Cc被從指定視點影像投影單元251Bb輸入左指定視點投影影像ΡΛ被從孔像素檢測單元251Ba輸入孔掩模PA。然后，基準視點影像像素復制單元251Cc參照孔掩模P1Ii,從左指定視點投影影像Pj復制在左指定視點投影影像Pj中未成為遮蔽孔的區(qū)域的像素，來生成左指定視點影像嚴。
[0634]此時，基準視點影像像素復制單元251Cc對于成為遮蔽孔的區(qū)域的像素，將上述左視點投影單元153(參照圖21的(b))對成為遮蔽孔的像素設定的規(guī)定的值設定為該像素的像素值。由此，對于在左指定視點影像Pe中成為遮蔽孔的像素，通過后述的殘差相加單元252f對該像素加上左指定視點投影殘差影像Plv的像素，也能夠恢復適當的像素值。
[0635]另外，基準視點影像像素復制單元251Cc將所生成的左指定視點影像Pg輸出至殘差影像投影單元252C的殘差相加單元252f。
[0636]殘差影像投影單元252C與圖24的(a)所示的殘差影像投影單元252B的不同點在于:代替指定視點影像投影單元252Ba和殘差影像像素復制單元252Bb而分別具有指定視點影像投影單元252Ca和殘差相加單元252f，以及代替孔掩模P2h而將孔掩模P1Ii輸入至共同孔檢測單元252Be。
[0637]此外，對與第三實施方式相同的結構標注相同標記，適當省略說明。
[0638]本變形例中的指定視點影像投影單元252Ca與第三實施方式中的指定視點影像投影單元252Ba的不同點在于:代替以邏輯運算型生成的作為投影對象的左殘差影像L’ v而是以減法運算型生成的投影對象的左殘差影像L’ V。
[0639]指定視點影像投影單元252Ca通過使用左指定視點深度圖Pd將左殘差影像L’ V投影至左指定視點來生成左指定視點投影殘差影像Pb，將所生成的左指定視點投影殘差影像Plv輸出至殘差相加單元252f。
[0640]另外，指定視點影像投影單元252Ca對于將左殘差影像L’ V投影至左指定視點時成為遮蔽孔的像素設定規(guī)定的值。在此，作為規(guī)定的值，對像素的所有分量設定“O”。由此，即使在通過后述殘差相加單元252f對左指定視點影像Pg的像素加上通過該投影而生成的左指定視點投影殘差影像Plv中成為遮蔽孔的像素的情況下，也由于通常對于在殘差影像內成為遮蔽孔的像素部分，在基準視點影像內存在與該像素對應的有效像素，因此能夠恢復適當的像素值。
[0641]此外，指定視點影像投影單元252Ca的其它結構與第三實施方式中的指定視點影像投影單元252Ba相同，因此省略詳細說明。
[0642]殘差相加單元252f被從基準視點影像像素復制單元251Cc輸入左指定視點影像Pc,被從指定視點影像投影單元252Ca輸入左指定視點投影殘差影像P'然后，殘差相加單元252f將左指定視點投影殘差影像Plv與左指定視點影像Pg的對應的各像素之間相加，生成左指定視點Pt的影像即左指定視點影像P”
[0643]殘差相加單元252f將所生成的左指定視點影像P1輸出至填孔處理單元252Bc。
[0644]共同孔檢測單元252Be被從孔像素檢測單元251Ba輸入針對左指定視點影像Pe的孔掩模PA，被從孔像素檢測單元252Bd輸入針對左指定視點投影殘差影像Plv的孔掩模p3h。然后，共同孔檢測單元252ΒΘ按每個像素計算孔掩模P1Ii與孔掩模P3h的邏輯與來生成作為共同孔掩模的孔掩模P4h，輸出至填孔處理單元252Bc。
[0645]填孔處理單元252Bc參照表示該左指定視點影像P1中沒有通過基準視點影像像素復制單元251Cc復制有效的像素且沒有通過殘差相加單元252f相加有效的殘差的像素的孔掩模匕11，對于這些成為孔的像素，使用該像素周圍的有效的像素值進行填孔來生成左指定視點影像P。填孔處理單元252Bc將所生成的左指定視點影像P作為多視點影像中的一個影像而輸出至立體影像顯示裝置4(參照圖1)。
[0646]本變形例中的共同孔檢測單元252Be被從孔像素檢測單元251Ba輸入孔掩模PA，被從孔像素檢測單元252Bd輸入孔掩模P3h。然后，共同孔檢測單元252Be按每個像素計算孔掩模PA與孔掩模P3h的邏輯與，生成孔掩模P4h，輸出至填孔處理單元252Bc。
[0647]此外，孔掩模P4h如前所述，表示左指定視點影像P1中沒有通過基準視點影像像素復制單元251Cc復制有效的像素且沒有通過殘差相加單元252f加上有效的殘差因此不具有有效的像素值而成為孔的像素。
[0648]本變形例所涉及的編碼裝置IC的動作與圖25所示的第三實施方式所涉及的編碼裝置IB的動作的不同點在于:在基準視點影像編碼處理步驟S71與投影影像預測處理步驟S75之間，進行通過基準視點影像解碼單元(未圖示)對在步驟S71中生成的編碼基準視點影像c進行解碼來生成解碼基準視點影像C’的步驟；以及在投影影像預測處理步驟S75中，通過具備圖21的(b)所示的左投影影像預測單元15Q以及與其具有相同結構的右投影影像預測單元(未圖示)的投影影像預測單元(未圖示)，生成減法運算型的左殘差影像Lv和右殘差影像Rv。其它處理與第三實施方式的編碼裝置IB相同，因此省略說明。
[0649]另外，本變形例所涉及的解碼裝置2C的動作的不同點在于:在圖26所示的第三實施方式所涉及的解碼裝置2B的投影影像合成處理步驟S96中，通過具備圖24的(b)所示的左投影影像合成單元25Q以及與其具有相同結構的右投影影像合成單元(未圖示)的投影影像合成單元(未圖示)，使用減法運算型的左殘差影像Lv和右殘差影像Rv來生成左指定視點影像P和右指定視點影像Q。其它處理與第三實施方式的解碼裝置2B相同，因此省略說明。
[0650]通過如本變形例那樣以減法運算型生成殘差影像，與以邏輯運算型生成殘差影像的情況相比，雖然殘差影像的數據量增加，但是在解碼裝置側，能夠利用殘差信號來校正以基準視點影像的投影不能完全近似的微妙的顏色差異等，因此能夠生成更高品質的多視點影像。
[0651]另外，也能夠將以減法運算型生成殘差影像的投影影像預測單元的本變形例的結構應用于第一實施方式中的投影影像預測單元15和第二實施方式中的投影影像預測單元15A。同樣地，也能夠將使用減法運算型的殘差影像來生成指定視點影像的投影影像合成單元的本變形例的結構應用于第一實施方式中的投影影像合成單元25和第二實施方式中的投影影像合成單元25A。
[0652]〈第四實施方式〉
[0653]接著，說明包括本發(fā)明的第四實施方式所涉及的立體影像編碼裝置以及立體影像解碼裝置的立體影像傳輸系統的結構。
[0654]包括第四實施方式的立體影像編碼裝置以及立體影像解碼裝置的立體影像傳輸系統與圖1所示的立體影像傳輸系統S相比，代替立體影像編碼裝置I和立體影像解碼裝置2而分別包括立體影像編碼裝置5 (參照圖27)和立體影像解碼裝置6 (參照圖31)。另夕卜，從立體影像編碼裝置5向立體影像解碼裝置6傳輸的位流是對基準視點影像位流、深度圖位流、殘差影像位流以及合成指定視點影像時所需的輔助信息進行多路復用所得的多路復用位流。
[0655]此外，除了對位流進行多路復用以外，其它與上述各實施方式中的立體影像傳輸系統相同，因此適當省略對于共同的結構的詳細說明。
[0656][立體影像編碼裝置的結構]
[0657]接著，參照圖27來說明第四實施方式所涉及的立體影像編碼裝置5的結構。
[0658]如圖27所示，第四實施方式所涉及的立體影像編碼裝置5(以下適當稱為“編碼裝置5”)構成為具備位流多路復用單元50和編碼處理部51。
[0659]編碼處理部51與上述第一實施方式、第二實施方式、第三實施方式及其變形例所涉及的編碼裝置1、1A、1B、1C(以下適當稱為“編碼裝置I等”)相當，被從外部(例如圖1所示的立體影像制作裝置3)輸入多個視點影像C、L、R以及附隨于它們的深度圖Cd、Ld、Rd，將基準視點影像位流、深度圖位流以及殘差影像位流輸出至位流多路復用單元50。
[0660]另外，位流多路復用單元50生成對從編碼處理部51輸出的各位流以及從外部輸入的輔助信息h進行多路復用所得的多路復用位流，輸出至解碼裝置6 (參照圖31)。
[0661]編碼處理部51如前所述那樣與編碼裝置I等相當，具備基準視點影像編碼單元511、深度圖合成單元512、深度圖編碼單元513、深度圖恢復單元514、投影影像預測單元515以及殘差影像編碼單元516。
[0662]以下參照圖27 (適當參照圖2、圖12以及圖19)來說明編碼處理部51的各結構要素。此外，編碼處理部51的各結構要素能夠由編碼裝置I等中的一個或兩個以上的結構要素構成，因此示出兩者的結構要素的對應關系而適當省略詳細說明。
[0663]基準視點影像編碼單元511被從外部輸入基準視點影像C，生成對基準視點影像C以規(guī)定的編碼方式進行編碼所得的編碼基準視點影像C，輸出至位流多路復用單元50。
[0664]基準視點影像編碼單元511與編碼裝置I等中的基準視點影像編碼單元11相當。
[0665]深度圖合成單元512被從外部輸入基準視點深度圖Cd、左視點深度圖Ld以及右視點深度圖Rd，將這些深度圖適當合成來生成合成深度圖G2d，輸出至深度圖編碼單元513。從外部輸入的深度圖并不限定于三個，也可以是兩個或四個以上。另外，可以將合成深度圖縮小，還可以將兩個以上的合成深度圖框化并進一步縮小。
[0666]此外，在圖27中，為了便于說明，關于在各結構要素之間輸入輸出的數據的標記，以將圖19所示的第三實施方式所涉及的編碼裝置IB用作編碼處理部51的結構的情況下的標記(G2d、g2d、G2’ d、Fv、fv、c)為例來表示。在使用其它實施方式所涉及的編碼裝置I等的情況下，適當改換標記。后述的圖28也同樣。
[0667]深度圖合成單元512與編碼裝置I的深度圖合成單元12、編碼裝置IA的深度圖合成單元12A和深度圖框化單元17、或者編碼裝置1B、1C的深度圖合成單元12B相當。
[0668]深度圖編碼單元513被從深度圖合成單元512輸入合成深度圖G2d，以規(guī)定的編碼方式進行編碼來生成編碼深度圖g2d，輸出至深度圖恢復單元514和位流多路復用單元50。
[0669]深度圖編碼單元513與編碼裝置I的深度圖編碼單元13、編碼裝置IA的深度圖編碼單元13A、或者編碼裝置1B、1C的深度圖編碼單元13B相當。
[0670]深度圖恢復單元514被從深度圖編碼單元513輸入編碼深度圖g2d，對編碼深度圖g2d進行解碼，生成解碼合成深度圖G’d。深度圖恢復單元514將所生成的解碼合成深度圖G’ d輸出至投影影像預測單元515。
[0671 ] 在此，輸入至深度圖恢復單元514的編碼深度圖并不限于單一的合成深度圖，也可以將多個深度圖框化并進一步縮小。深度圖恢復單元514在所輸入的編碼深度圖被框化的情況下，在解碼后分離成各個合成深度圖，另外，在所輸入的編碼深度圖被縮小的情況下，在解碼后或分離后放大為原本的尺寸來輸出。
[0672]深度圖恢復單元514與編碼裝置I的深度圖解碼單元14、編碼裝置IA的深度圖解碼單元14A和深度圖分離單元18、或者編碼裝置1B、1C的深度圖恢復單元30相當。
[0673]投影影像預測單元515被從深度圖恢復單元514輸入解碼合成深度圖G’ d，被從外部輸入左視點影像L、右視點影像R以及根據需要輸入指定視點Pt、Qt的信息，生成殘差影像Fv。投影影像預測單元515將所生成的殘差影像Fv輸出至殘差影像編碼單元516。
[0674]在此，所生成的殘差影像既可以是一個殘差影像，也可以是將基準視點與多個其它視點之間的殘差影像框化成一個所得的殘差影像，還可以是進一步縮小所得的殘差影像。無論哪種情況，所生成的殘差影像均作為單視點影像輸出至殘差影像編碼單元516。
[0675]投影影像預測單元515與編碼裝置I的投影影像預測單元15、編碼裝置IA的投影影像預測單元15A和殘差影像框化單元19、編碼裝置IB的投影影像預測單元15B和殘差影像框化單元19B、或者編碼裝置IC的投影影像預測單元15C(未圖示)相當。
[0676]此外，在使用第三實施方式的變形例所涉及的編碼裝置IC作為編碼處理部51的情況下，編碼處理部51還具備基準視點影像解碼單元(未圖示)。該基準視點影像解碼單元(未圖示)對從基準視點影像編碼單元511輸出的編碼基準視點影像c進行解碼來生成解碼基準視點影像C’，將所生成的解碼基準視點影像C’輸出至投影影像預測單元515。
[0677]該基準視點影像解碼單元(未圖示)能夠使用與圖7所示的基準視點影像解碼單元21相同的解碼單元。
[0678]此外，也可以不具備基準視點影像解碼單元而對投影影像預測單元515輸入基準視點影像C來使用。
[0679]殘差影像編碼單元516被從投影影像預測單元515輸入殘差影像Fv，通過規(guī)定的編碼方式進行編碼來生成編碼殘差影像fv。殘差影像編碼單元516將所生成的編碼殘差影像fv輸出至位流多路復用單元50。
[0680]殘差影像編碼單元516與編碼裝置I的殘差影像編碼單元16、編碼裝置IA的殘差影像編碼單元16A、或者編碼裝置1B、1C的殘差影像編碼單元16B相當。
[0681]接著，參照圖28和圖29 (適當參照圖27)來說明位流多路復用單元50的結構。
[0682]如圖28所示，位流多路復用單元50構成為具備開關(切換單元)501、輔助信息報頭附加單元502、深度報頭附加單元503以及殘差報頭附加單元504。
[0683]此外，在圖28中，為了便于說明，設想將編碼裝置IB用作編碼處理部51的情況來說明各位流，但是并不限定于此。在使用其它實施方式中的編碼裝置I等的情況下，適當改換殘差影像Fv等的信號名。
[0684]位流多路復用單元50被從編碼處理部51輸入基準視點影像位流、深度圖位流以及殘差影像位流，并且被從外部(例如圖1所示的立體影像制作裝置3)輸入表示這些位流所包含的影像的屬性的輔助信息h，以能夠分別識別這些位流和輔助信息h的方式附加識別信息來生成多路復用位流。
[0685]開關(切換單元)501對4個輸入端子Al?A4與一個輸出端子B之間的連接進行切換，選擇被輸入至輸入端子Al?A4的信號中的一個來從輸出端子B輸出，由此對被輸入至4個輸入端子Al?A4的位流進行多路復用來輸出。
[0686]在此，對輸入端子Al輸入從輔助信息報頭附加單元502附加了規(guī)定的報頭的輔助信息的位流。對輸入端子A2，從編碼處理部51的基準視點影像編碼單元511以基準視點影像位流來輸入編碼基準視點影像C。對輸入端子A3輸入從深度報頭附加單元503附加了規(guī)定的報頭的深度圖位流。對輸入端子A4輸入從殘差報頭附加單元504附加了規(guī)定的報頭的殘差影像位流。
[0687]在此說明位流的數據結構。
[0688]首先，在本實施方式所涉及的編碼裝置5中，基準視點影像編碼單元511、深度圖編碼單元513以及殘差影像編碼單元516所生成的位流均具有表示被編碼成單視點影像的報頭。
[0689]在基準視點影像編碼單元511、深度圖編碼單元513以及殘差影像編碼單元516例如以MPEG-4AVC編碼方式編碼成單視點影像的情況下，如圖29的(a)所示，這些編碼單元所輸出的位流70以該編碼方式的標準書所規(guī)定的“單視點影像”位流構造為標準，均具有相同的報頭。
[0690]具體地說，在它們的開頭存在獨特的開始碼701 (例如3字節(jié)長的數據“001”)，接著存在表示是單視點影像的位流的單視點影像報頭(第一識別信息)702 (例如為I字節(jié)數據，后5位為“00001”)，之后接有單視點影像的位流主體703。關于位流的結束，例如能夠通過檢測3字節(jié)以上的“O”相連續(xù)的結束碼來識別。
[0691]此外，設位流主體703被編碼成不包含與開始碼和結束碼一致的位串。
[0692]此外，在本例的情況下，作為結束碼，可以在位流的最后附加3字節(jié)長的“000”作為標尾，但是也可以附加I字節(jié)的“O”。通過附加I字節(jié)的“0”，與緊接該位流之后的位流中的報頭的開始碼的開頭2字節(jié)的“00”合在一起而出現3字節(jié)的“000”，因此能夠識別出位流的結束。
[0693]另外，將開始碼設為4字節(jié)，將前3字節(jié)設為“000”并將后I字節(jié)設為“1”，由此無需在位流的終端附加“0”，通過緊接其后的位流的報頭的開始碼的開頭3字節(jié)的“000”，能夠識別出之前的位流的結束。
[0694]從編碼處理部51輸入至位流多路復用單元50的3個體系的位流均具有圖29的(a)所示的位流70的構造。因此，位流多路復用單元50對由編碼單元賦予的現有報頭追加報頭及標志，作為用于識別從編碼處理部51輸入的3個體系的位流分別是基準視點影像、深度圖還是殘差影像的識別信息。另外，除了這些位流以外，位流多路復用單元50還針對在本實施方式所涉及的解碼裝置6 (參照圖31)中合成多視點影像所需的輔助信息附加報頭和標志，作為用于識別該信息是與立體影像有關的輔助信息的識別信息并輸出。
[0695]具體地說，位流多路復用單元50對于由基準視點影像編碼單元511輸出的位流，如圖29的(b)所示那樣，不改變位流71的構造而原樣地以基準視點影像位流經由開關501輸出。由此，在接收該位流的是對單視點影像進行解碼的現有的解碼裝置的情況下，能夠將該位流作為單視點影像來按以往那樣進行解碼，能夠保持作為影像的解碼裝置的兼容性。
[0696]深度報頭附加單元503被從編碼處理部51的深度圖編碼單元513以深度位流輸入編碼深度圖g2d，通過對現有的報頭插入規(guī)定的識別信息來生成具有圖29的(C)所示的位流72的構造的位流,輸出至開關501。
[0697]具體地說，深度報頭附加單元503檢測從深度圖編碼單元513輸入的深度圖位流所包含的單視點影像位流的開始碼701，緊接其后插入表示該深度圖位流是與立體影像有關的數據的I字節(jié)的“立體影像報頭(第二識別信息)704”。關于立體影像報頭704的值，將后5位的值例如按照MPEG-4AVC的標準來設為至今未規(guī)定過的報頭值、例如“ 11000”。由此，表示立體影像報頭704以后的位流為本發(fā)明的與立體影像有關的位流。另外，通過像這樣分配獨特的值作為立體影像報頭704，在對單視點影像進行解碼的現有的解碼裝置接收到具有立體影像報頭704的位流的情況下，能夠將以后的位流作為不明數據而忽視。因此，能夠防止現有的解碼裝置的錯誤動作。
[0698]并且，為了表示立體影像報頭704以后的位流是深度圖位流，深度報頭附加單元503在立體影像報頭704之后進一步插入I字節(jié)的深度標志(第三識別信息)705，經由開關501與其它位流進行多路復用來輸出。作為深度標志705，能夠分配例如8位的“ 100000000”的值。
[0699]由此，本發(fā)明的解碼裝置6(參照圖31)能夠識別出該位流是深度圖位流。
[0700]殘差報頭附加單元504被從編碼處理部51的殘差影像編碼單元516以殘差影像位流輸入編碼殘差影像fV，通過對現有的報頭插入規(guī)定的識別信息來生成具有圖29的(d)所示的位流73的構造的位流，輸出至開關501。
[0701]具體地說，殘差報頭附加單元504與深度報頭附加單元503同樣地檢測從殘差影像編碼單元516輸入的殘差影像位流所包含的單視點影像位流的開始碼701，緊接其后插入表示該殘差影像位流是與立體影像有關的數據的I字節(jié)的立體影像報頭704(例如后5位的值為“11000”)以及進一步插入表示是殘差影像的I字節(jié)的殘差標志(第四識別信息)706，經由開關501與其它位流進行多路復用來輸出。
[0702]此外，作為殘差標志706，能夠分配與深度標志705不同的值、例如8位的“10100000” 的值。
[0703]與上述深度圖位流的情況同樣地，通過插入立體影像報頭704，能夠防止對單視點影像進行解碼的現有的解碼裝置的錯誤動作。另外，通過插入殘差標志706，本發(fā)明的解碼裝置6 (參照圖31)能夠識別出該位流是殘差影像位流。
[0704]輔助信息報頭附加單元502被從外部(例如圖1所示的立體影像制作裝置3)輸入解碼裝置6合成多視點影像所需的輔助信息h，附加規(guī)定的報頭來生成具有圖29的(e)所示的位流74的構造的位流，輸出至開關501。
[0705]輔助信息報頭附加單元502對從外部輸入的輔助信息h的開頭附加上述開始碼701 (例如3字節(jié)的數據“001”)，緊接其后附加表示以后的位串是與立體影像有關的數據的立體影像報頭704 (例如后5位的值為“11000”)。進一步，輔助信息報頭附加單元502在立體影像報頭704之后附加表示以后的數據是輔助信息的I字節(jié)的輔助信息標志(第五識別信息)707。[0706]此外，作為輔助信息標志707，能夠分配既不是深度標志705也不是殘差標志706的值、例如8位的“11000000”的值。
[0707]這樣，輔助信息報頭附加單元502在對輔助信息主體附加開始碼701、立體影像報頭704以及輔助信息標志707之后，經由開關501與其它位流進行多路復用來輸出。
[0708]與上述深度圖位流和殘差影像位流的情況相同地，通過插入立體影像報頭704，能夠防止對單視點影像進行解碼的現有的解碼裝置的錯誤動作。另外，通過插入輔助信息標志707，本發(fā)明的解碼裝置6(參照圖31)能夠識別出該位流是合成多視點影像所需的輔助
息位流。
[0709]開關501進行切換以依序選擇輔助信息位流、基準視點影像位流、深度圖位流以及殘差影像位流，由此將這些位流以多路復用位流來輸出。
[0710]接著，參照圖30來說明輔助信息的結構的具體例。
[0711]輔助信息是表示被編碼裝置5編碼并輸出的多視點影像的屬性的信息。輔助信息中例如包含模式、最近距離、最遠距離、焦點距離以及表示基準視點和副視點的各位置的信息，附隨于多視點影像從編碼裝置5輸出至解碼裝置6。
[0712]解碼裝置6在使用對從編碼裝置5輸入的位流進行解碼所得的深度圖、基準視點影像以及殘差影像來將這些影像投影至指定視點來合成指定視點的投影影像時，根據需要來參照輔助信息。
[0713]另外，在上述其它實施方式所涉及的解碼裝置2等中，也在將深度圖或影像投影至其它視點時適當參照輔助信息。
[0714]例如，如圖5所示的表示各視點位置的信息包含于輔助信息，在計算投影深度圖或影像時的移動量時使用。
[0715]對于本發(fā)明的解碼裝置6(參照圖31)合成多視點影像所需的輔助信息，例如將圖30所示的參數名稱及其值以間隔隔開進行排列來構成為圖29的(e)所示的輔助信息主體708。另外，也可以構成為使各參數的順序固定，僅對其值依序以間隔隔開并進行排列。并且，還可以預先決定參數的數據長和排列順序，構成為將參數的值依序排列，以距開頭的字節(jié)數來識別參數的種類。
[0716]以下說明圖30所示的參數。
[0717]“模式”表示被編碼的殘差影像和合成深度圖例如是由第一實施方式所涉及的編碼裝置I生成的“2視野I深度”、還是由第二實施方式所涉及的編碼裝置IA生成的“3視野2深度”、還是由第三實施方式所涉及的編碼裝置IB生成的“3視野I深度”等立體影像數據的生成模式。例如，能夠與上述各實施方式對應地分別分配值“0”、“1”、“2”等來進行區(qū)別。
[0718]此外，在此“視野”表示基準視點影像位流與殘差影像位流所包含的影像的視點數的總和。另外，“深度”表示深度圖位流所包含的合成深度圖的視點數。
[0719]“最近距離”表示到從外部輸入的多視點影像所映出的被攝體中最接近攝影機的被攝體的距離。另外，“最遠距離”表示到從外部輸入的多視點影像所映出的被攝體中離攝影機最遠的被攝體的距離，均在解碼裝置6(參照圖31)中合成指定視點影像時將深度圖的值轉換成視差量時使用，用于決定使像素移動的量。
[0720]“焦點距離”表示對輸入的多視點影像進行拍攝的攝影機的焦點距離，用于決定在解碼裝置6(參照圖31)中合成的指定視點影像的位置。此外，能夠以拍攝多視點影像的攝影機的攝像元件、立體影像顯示裝置的像素尺寸為單位來決定焦點距離。但是并不限定于此。
[0721]“左視點座標值”、“基準視點座標值”以及“右視點座標值”分別表示對左視點影像、中央的基準視點影像以及右視點影像進行拍攝的攝影機的X座標，用于決定在解碼裝置6(參照圖31)中合成的指定視點影像的位置。
[0722]輔助信息不限于以上說明的參數，也可以包含其它參數。例如在攝影機內的攝像元件的中心位置偏離于攝影機的光軸的情況下，也可以還包含表示該偏離量的值。該值能夠用于對合成影像的位置進行校正。
[0723]此外，在輔助信息具有按位流的每一幀而變化的參數的情況下，也可以將變化的參數與不變化的參數作為分別的輔助信息來插入到多路復用位流。例如，對于包含如模式、焦點距離等那樣在一系列立體影像的位流整體中不會發(fā)生變化的參數的輔助信息，在該一系列位流的開頭僅插入一次。而且，有可能按每一幀而發(fā)生變化的最近距離、最遠距離、左視點座標、右視點座標等參數也可以作為另外的輔助信息來按每一幀插入到位流。
[0724]在這種情況下，位流中的開始碼701 (參照圖29)是按每一幀來附加的，為了區(qū)別輔助信息的種類，作為多種輔助信息標志707而例如定義8位的值“11000000”以及值“11000001”，以與上述相同的過程，按每一幀插入包含中途發(fā)生變化的參數的輔助信息。通過這樣，能夠防止輔助信息重復，能夠改善編碼效率。
[0725]此外，在一系列位流中按每一幀插入中途發(fā)生變化的輔助信息的情況下，優(yōu)選的是，在屬于各幀的基準視點影像位流、深度圖位流、殘差影像位流以及輔助信息中，將輔助信息最初輸出至多路復用位流。由此，在解碼裝置6 (參照圖31)中，使用該輔助信息能夠減少生成多視點影像時的延遲時間。
[0726][立體影像解碼裝置的結構]
[0727]接著，參照圖31來說明第四實施方式所涉及的立體影像解碼裝置6的結構。立體影像解碼裝置6對從圖27所示的立體影像編碼裝置5經由傳輸路傳輸的位流進行解碼來生成多視點影像。
[0728]如圖31所示，第四實施方式所涉及的立體影像解碼裝置6(以下適當稱為“解碼裝置6”)構成為具備位流分離單元60和解碼處理部61。
[0729]位流分離單元60被從編碼裝置5(參照圖27)輸入多路復用位流，將所輸入的多路復用位流分離成基準視點影像位流、深度圖位流、殘差影像位流以及輔助信息。位流分離單元60將分離出的基準視點影像位流輸出至基準視點影像解碼單元611，將分離出的深度圖位流輸出至深度圖恢復單元612，將分離出的殘差影像位流輸出至殘差影像恢復單元614，將分離出的輔助信息輸出至深度圖投影單元613和投影影像合成單元615。
[0730]另外，解碼處理部61被從位流分離單元60輸入基準視點影像位流，深度圖位流以及殘差影像位流，被從外部(例如圖1所示的立體影像顯示裝置4)輸入與要合成的多視點有關的指定視點Pt、Qt，對基準視點影像C’進行解碼并且合成左指定視點影像P和右指定視點影像Q，由此生成多視點影像(C’、P、Q)。
[0731]另外，解碼處理部61將所生成的多視點影像例如輸出至圖1所示的立體影像顯示裝置4。然后，立體影像顯示裝置4以能夠視覺識別的方式顯示該多視點影像。[0732]此外，在本實施方式的解碼裝置6中，設所輸入的基準視點影像位流、深度圖位流以及殘差影像位流與上述編碼裝置5對應地以MPEG-4AVC編碼方式進行編碼而具有圖29所示的位流構造，來進行說明。
[0733]首先，說明解碼處理部61。
[0734]解碼處理部61與上述第一實施方式、第二實施方式、第三實施方式及其變形例的解碼裝置2、2A、2B、2C(以下適當稱為“解碼裝置2等”)相當，具備基準視點影像解碼單元611、深度圖恢復單元612、深度圖投影單元613、殘差影像恢復單元614以及投影影像合成單元615。
[0735]以下參照圖31 (適當參照圖7、圖14以及圖22)來說明解碼處理部61的各結構要素。此外，解碼處理部61的各結構要素能夠由解碼裝置2等中的一個或兩個以上的結構要素構成，因此示出兩者的結構要素的對應關系而適當省略詳細說明。
[0736]基準視點影像解碼單元611被從位流分離單元60以基準視點影像位流輸入編碼基準視點影像C，以其編碼方式進行解碼來生成解碼基準視點影像C’，將所生成的解碼基準視點影像C’作為多視點影像的基準視點影像輸出至外部(例如圖1所示的立體影像顯示裝置4)。
[0737]基準視點影像解碼單元611與解碼裝置2等中的基準視點影像解碼單元21相當。
[0738]深度圖恢復單元612被從位流分離單元60以深度圖位流輸入編碼深度圖g2d，以其編碼方式進行解碼來生成解碼合成深度圖G’ d，將所生成的解碼合成深度圖G’ d輸出至深度圖投影單元613。
[0739]此外，深度圖恢復單元612在所輸入的編碼合成深度圖被框化的情況下，在解碼后對被框化的深度圖進行分離，在編碼合成深度圖被縮小的情況下，在解碼后或分離后放大為原本的尺寸，輸出至深度圖投影單元613。
[0740]深度圖恢復單元612相當于解碼裝置2中的深度圖解碼單元22、解碼裝置2A中的深度圖解碼單元22k及深度圖分離單元26、或解碼裝置2B、2C中的深度圖恢復單元28。
[0741]深度圖投影單元613被從深度圖恢復單元612輸入解碼合成深度圖G’ d，被從位流分離單元60輸入輔助信息h，被從外部(例如圖1所示的立體影像顯示裝置4)輸入左指定視點Pt和右指定視點Qt，生成左指定視點Pt和右指定視點Qt的深度圖即左指定視點深度圖Pd和右指定視點深度圖Qd，將所生成的左指定視點深度圖Pd和右指定視點深度圖Qd輸出至投影影像合成單元615。
[0742]此外，從外部向深度圖投影單元613輸入的指定視點不限定于兩個，也可以是一個，還可以是三個以上。另外，從深度圖恢復單元612向深度圖投影單元613輸入的解碼合成深度圖不限定于一個，也可以是兩個以上。另外，深度圖投影單元613與所輸入的各指定視點對應地生成指定視點深度圖，輸出至投影影像合成單元615。
[0743]深度圖投影單元613與解碼裝置2中的深度圖投影單元23、解碼裝置2A中的深度圖投影單元23A、解碼裝置2B、2C中的深度圖投影單元23B相當。
[0744]殘差影像恢復單元614被從位流分離單元60以殘差影像位流輸入編碼殘差影像fv,以其編碼方式進行解碼來生成左殘差影像L’v和右殘差影像R’v，將所生成的左殘差影像L’ V和右殘差影像R’ V輸出至投影影像合成單元615。
[0745]此外，殘差影像恢復單元614在編碼殘差影像被框化的情況下，在解碼后對被框化的殘差影像進行分離，在編碼殘差影像被縮小的情況下，在解碼后或分離后放大為原本的尺寸，輸出至投影影像合成單元615。
[0746]殘差影像恢復單元614與解碼裝置2中的殘差影像解碼單元24、解碼裝置2A中的殘差影像解碼單元24A和殘差影像分離單元27、或解碼裝置2B、2C中的殘差影像解碼單元24B和殘差影像分離單元27B相當。
[0747]投影影像合成單元615被從基準視點影像解碼單元611輸入解碼基準視點影像C’，被從深度圖投影單元613輸入左右的指定視點深度圖Pd、Qd，被從殘差影像恢復單元614輸入左殘差影像L’ V及右殘差影像R’ V，被從位流分離單元輸入輔助信息h，生成左右的指定視點Pt、Qt的指定視點影像P、Q。投影影像合成單元615將所生成的指定視點影像P、Q作為多視點影像的指定視點影像輸出至外部(例如圖1所示的立體影像顯示裝置4)。
[0748]投影影像合成單元615與解碼裝置2中的投影影像合成單元25、解碼裝置2A中的投影影像合成單元25A、解碼裝置2B、2C中的投影影像合成單元25B相當。
[0749]接著，參照圖32 (適當參照圖29和圖31)來說明位流分離單元60。
[0750]位流分離單元60將從編碼裝置5 (參照圖27)輸入的多路復用位流分離成指定視點影像位流、深度圖位流、殘差影像位流以及輔助信息，輸出至解碼處理部61的各部。為此，位流分離單元60如圖32所示，構成為具備基準視點影像位流分離單元601、深度圖位流分離單元602、殘差影像位流分離單元603以及輔助信息分離單元604。
[0751]基準視點影像位流分離單元601被從編碼裝置5 (參照圖27)輸入多路復用位流，從多路復用位流分離出基準視點影像位流，以基準視點影像位流將分離出的編碼基準視點影像c輸出至基準視點影像解碼單元611。
[0752]另外，在所輸入的多路復用位流是基準視點影像位流以外的位流的情況下，基準視點影像位流分離單元601將多路復用位流轉送至深度圖位流分離單元602。
[0753]具體地說，基準視點影像位流分離單元601從所輸入的多路復用位流的開頭起調查其值，尋找3字節(jié)的值“001”、即以MPEG-4AVC編碼方式規(guī)定的開始碼701?；鶞室朁c影像位流分離單元601當檢測出開始碼701時，調查緊接其后的I字節(jié)的報頭的值，確認是否為表示是立體影像報頭704的值(例如后5位為“11000”)。
[0754]在該報頭不是立體影像報頭704的情況下，基準視點影像位流分離單元601將從該開始碼701起到檢測出作為結束碼的3字節(jié)的“000”為止的位串作為基準視點影像位流輸出至基準視點影像解碼單元611。
[0755]另一方面，在緊接開始碼701之后的報頭是立體影像報頭704的情況下，基準視點影像位流分離單元601將也包含該開始碼701在內的以后的位流轉送至深度圖位流分離單元602，直到檢測出結束碼(例如3字節(jié)的“000”)為止。
[0756]深度圖位流分離單元602被從基準視點影像位流分離單元601輸入多路復用位流，從所輸入的多路復用位流分離出深度位圖流，以深度圖位流將分離出的編碼深度圖g2d輸出至深度圖恢復單元612。
[0757]另外，深度圖位流分離單元602在所輸入的多路復用位流是深度圖位流以外的位流的情況下，將多路復用位流轉送至殘差影像位流分離單元603。
[0758]具體地說，深度圖位流分離單元602與上述基準視點影像位流分離單元601同樣地，檢測多路復用位流中的開始碼701，若緊接其后的I字節(jié)的報頭是立體影像報頭704，則確認再之后的I字節(jié)的標志是否為深度標志705。
[0759]在該標志是表示深度標志705的值(例如8位的“ 10000000” )的情況下，深度圖位流分離單元602將開始碼701保持原樣、刪除了 I字節(jié)的立體影像報頭704和I字節(jié)的深度標志705后的位流作為深度圖位流輸出至深度圖恢復單元612，直到檢測出結束碼(例如3字節(jié)的“000”)為止。
[0760]即，深度圖位流分離單元602在從多路復用位流分離出的深度圖位流中將由編碼裝置5 (參照圖27)的位流多路復用單元50插入的立體影像報頭704和深度標志705刪除，恢復成圖29的(a)所示的具有單視點影像的位流構造的位流，輸出至深度圖恢復單元612。
[0761]由此，深度圖恢復單元612能夠將從深度圖位流分離單元602輸入的深度圖位流解碼為單視點影像。
[0762]另一方面，在緊接在立體影像報頭704之后的標志不是深度標志705的情況下，深度圖位流分離單元602將從開始碼701到檢測出結束碼為止的位流包含直到結束碼為止轉送至殘差影像位流分離單元603。
[0763]殘差影像位流分離單元603被從深度圖位流分離單元602輸入多路復用位流，從所輸入的多路復用位流分離出殘差影像位圖流，以殘差影像位流將分離出的編碼殘差影像fv輸出至殘差影像恢復單元614。
[0764]另外，殘差影像位流分離單元603在所輸入的多路復用位流是殘差影像位流以外的位流的情況下，將多路復用位流轉送至輔助信息分離單元604。
[0765]具體地說，殘差影像位流分離單元603與上述基準視點影像位流分離單元601同樣地，檢測多路復用位流中的開始碼701，若緊接其后的I字節(jié)的報頭是立體影像報頭704，則確認再之后的I字節(jié)的標志是否為殘差標志706。
[0766]在該標志是表示殘差標志706的值(例如8位的“ 10100000” )的情況下，殘差影像位流分離單元603將開始碼701保持原樣、刪除了 I字節(jié)的立體影像報頭704和I字節(jié)的殘差標志706后的位流作為殘差影像位流輸出至殘差影像恢復單元614，直到檢測出結束碼(例如3字節(jié)的“000”)為止。
[0767]S卩，殘差影像位流分離單元603在從多路復用位流分離出的殘差影像位流中將由編碼裝置5 (參照圖27)的位流多路復用單元50插入的立體影像報頭704和殘差標志706刪除，恢復成圖29的(a)所示的具有單視點影像的位流構造的位流，輸出至殘差影像恢復單元614。
[0768]由此，殘差影像恢復單元614能夠將從殘差影像位流分離單元603輸入的殘差影像位流解碼為單視點影像。
[0769]另一方面，在緊接在立體影像報頭704之后的標志不是殘差標志706的情況下，殘差影像位流分離單元603將從開始碼701到檢測出結束碼為止的位流包含直到結束碼為止轉送至輔助信息分離單元604。
[0770]輔助信息分離單元604被從殘差影像位流分離單元603輸入多路復用位流，從所輸入的多路復用位流分離出輔助信息h，將所分離出的輔助信息h輸出至深度圖投影單元613和投影影像合成單元615。
[0771]另外，輔助信息分離單元604在所輸入的多路復用位流是輔助信息以外的位流的情況下，作為不明數據而忽略。[0772]具體地說，輔助信息分離單元604與上述基準視點影像位流分離單元601同樣地，檢測多路復用位流中的開始碼701，若緊接其后的I字節(jié)的報頭為立體影像報頭704，則確認再之后的I字節(jié)的標志是否為輔助信息標志707。
[0773]在該標志是表示輔助信息標志707的值(例如8位的“11000000” )的情況下，輔助信息分離單元604將從輔助信息標志707的下一位起到檢測出結束碼為止的位串作為輔助信息h而分離。
[0774]輔助信息分離單元604將所分離出的輔助信息h輸出至深度圖投影單元613和投影影像合成單元615。
[0775]另外，輔助信息分離單元6O4在所輸入的多路復用位流是輔助信息以外的位流時，作為不明數據而忽略。
[0776]此外，在位流分離單元60中，通過基準視點影像位流分離單元601、深度圖位流分離單元602、殘差影像位流分離單元603以及輔助信息分離單元604來分離各位流的順序并不限定于圖32所示的例子，能夠任意變更。另外，也可以并行地進行這些分離處理。
[0777][立體影像編碼裝置的動作]
[0778]接著，參照圖33 (適當參照圖27?圖29)來說明編碼裝置5的動作。
[0779](基準視點影像編碼處理)
[0780]如圖33所示，首先，編碼裝置5的基準視點影像編碼單元511被從外部輸入基準視點影像C，生成對基準視點影像C以規(guī)定的編碼方式進行編碼所得的編碼基準視點影像C，將所生成的編碼基準視點影像c以基準視點影像位流輸出至位流多路復用單元50 (步驟Sm)。
[0781](深度圖合成處理)
[0782]接著，編碼裝置5的深度圖合成單元512被從外部輸入基準視點深度圖Cd、左視點深度圖Ld以及右視點深度圖Rd，將這些深度圖適當地進行合成來生成合成深度圖G2d，輸出至深度圖編碼單元513 (步驟SI 12)。
[0783](深度圖編碼處理)
[0784]接著，編碼裝置5的深度圖編碼單元513被從深度圖合成單元512輸入合成深度圖G2d，以規(guī)定的編碼方式進行編碼來生成編碼深度圖g2d，將所生成的編碼深度圖g2d以深度圖位流輸出至深度圖恢復單元514和位流多路復用單元50(步驟S113)。
[0785](深度圖恢復處理)
[0786]接著，編碼裝置5的深度圖恢復單元514被從深度圖編碼單元513輸入編碼深度圖g2d，對編碼深度圖g2d進行解碼來生成解碼合成深度圖G’ d。深度圖恢復單元514將所生成的解碼合成深度圖G’ d輸出至投影影像預測單元515 (步驟S114)。
[0787](投影影像預測處理)
[0788]接著，編碼裝置5的投影影像預測單元515被從深度圖恢復單元514輸入解碼合成深度圖G’d，被從外部輸入左視點影像L、右視點影像R以及根據需要被輸入指定視點Pt、Qt的信息，生成殘差影像Fv。投影影像預測單元515將所生成的殘差影像Fv輸出至殘差影像編碼單元516 (步驟SI 15)。
[0789](殘差影像編碼處理)
[0790]接著，編碼裝置5的殘差影像編碼單元516被從投影影像預測單元515輸入殘差影像Fv，通過規(guī)定的編碼方式進行編碼來生成編碼殘差影像fv。殘差影像編碼單元516將所生成的編碼殘差影像fv以殘差影像位流輸出至位流多路復用單元50(步驟S116)。
[0791](位流多路復用處理)
[0792]接著，編碼裝置5通過位流多路復用單元50，對在步驟Slll中生成的編碼基準視點影像c即基準視點影像位流、在步驟S113中生成的編碼深度圖g2d即深度圖位流、在步驟S116中生成的編碼殘差影像fv即殘差影像位流以及從外部與基準視點影像C等一起輸入的輔助信息h進行多路復用，以多路復用位流輸出至解碼裝置6 (參照圖31)(步驟S117)。
[0793]此外，位流多路復用單元50對于基準視點影像位流，不改變現有的報頭而原樣進行多路復用。
[0794]另外，位流多路復用單元50通過深度報頭附加單元503，對于深度圖位流，緊接在現有的報頭的開始碼701之后插入立體影像報頭704和深度標志705來進行多路復用。
[0795]另外，位流多路復用單元50通過殘差報頭附加單元504，對于殘差影像位流，緊接在現有的報頭的開始碼701之后插入立體影像報頭704和殘差標志706來進行多路復用。
[0796]另外，位流多路復用單元50通過輔助信息報頭附加單元502，對于輔助信息h，附加開始碼701、立體影像報頭704以及輔助信息標志707作為報頭來進行多路復用。
[0797]如上，編碼裝置5將對基準視點影像位流、深度圖位流、殘差影像位流以及附隨于它們的輔助信息的位流進行多路復用所得的多路復用位流輸出至解碼裝置6 (參照圖31)。
[0798][立體影像解碼裝置的動作]
[0799]接著，參照圖34 (適當參照圖29、圖31以及圖32)來說明解碼裝置6的動作。
[0800](位流分離處理)
[0801]如圖34所示，首先，解碼裝置6的位流分離單元60被從編碼裝置5 (參照圖27)輸入多路復用位流，將所輸入的多路復用位流分離成基準視點影像位流、深度圖位流、殘差影像位流以及輔助信息h。位流分離單元60將分離出的基準視點影像位流輸出至基準視點影像解碼單元611，將分離出的深度圖位流輸出至深度圖恢復單元612，將分離出的殘差影像位流輸出至殘差影像恢復單元614，將分離出的輔助信息h輸出至深度圖投影單元613和投影影像合成單元615 (步驟S121)。
[0802]此外，位流分離單元60通過基準視點影像位流分離單元601，將緊接在開始碼701之后的報頭不是立體影像報頭704的位流作為基準視點影像位流而分離出。
[0803]另外，位流分離單元60通過深度圖位流分離單元602，將緊接在開始碼701之后的報頭是立體影像報頭704且再之后的標志是深度標志705的位流作為深度圖位流而分離出，輸出將立體影像報頭704和深度標志705去除后的位流。
[0804]另外，位流分離單元60通過殘差影像位流分離單元603，將緊接在開始碼701之后的報頭是立體影像報頭704且再之后的標志是殘差標志706的位流作為殘差影像位流而分離出，輸出將立體影像報頭704和殘差標志706去除后的位流。
[0805]另外，位流分離單元60通過輔助信息分離單元604，將緊接在開始碼701之后的報頭是立體影像報頭704且再之后的標志是輔助信息標志707的位流作為輔助信息流而分離出，將輔助信息主體708作為輔助信息h來輸出。
[0806](基準視點影像解碼處理)
[0807]接著，解碼裝置6的基準視點影像解碼單元611被從位流分離單元60以基準視點影像位流輸入編碼基準視點影像C，以其編碼方式進行解碼來生成解碼基準視點影像C’，將所生成的解碼基準視點影像C’作為多視點影像的基準視點影像輸出至外部(步驟S122)。
[0808](深度圖恢復處理)
[0809]接著，解碼裝置6的深度圖恢復單元612被從位流分離單元60以深度圖位流輸入編碼深度圖g2d，以其編碼方式進行解碼來生成解碼合成深度圖G’ d，將所生成的解碼合成深度圖G’ d輸出至深度圖投影單元613 (步驟S123)。
[0810](深度圖投影處理)
[0811]接著，解碼裝置6的深度圖投影單元613被從深度圖恢復單元612輸入解碼合成深度圖G’ d，被從位流分離單元60輸入輔助信息h，被從外部輸入左指定視點Pt及右指定視點Qt，生成左指定視點Pt和右指定視點Qt的深度圖即左指定視點深度圖Pd和右指定視點深度圖Qd，將所生成的左指定視點深度圖Pd和右指定視點深度圖Qd輸出至投影影像合成單元615(步驟S124)。
[0812](殘差影像恢復處理)
[0813]接著，解碼裝置6的殘差影像恢復單元614被從位流分離單元60以殘差影像位流輸入編碼殘差影像fv，以其編碼方式進行解碼來生成左殘差影像L’ V和右殘差影像R’ V,將所生成的左殘差影像L’V和右殘差影像R’V輸出至投影影像合成單元615 (步驟S125)。
[0814](投影影像合成處理)
[0815]接著，解碼裝置6的投影影像合成單元615被從基準視點影像解碼單元611輸入解碼基準視點影像C’，被從深度圖投影單元613輸入左右的指定視點深度圖Pd、Qd，被從殘差影像恢復單元614輸入左殘差影像L’ V和右殘差影像R’ V，被從位流分離單元輸入輔助信息h，生成左右指定視點Pt、Qt的指定視點影像P、Q。投影影像合成單元615將所生成的指定視點影像P、Q作為多視點影像的指定視點影像輸出至外部(步驟S126)。
[0816]如上，解碼裝置6在從編碼裝置5 (參照圖27)輸入的多路復用位流中分離出基準視點影像位流、深度圖位流、殘差影像位流以及輔助信息h，使用這些分離出的數據來生成立體影像。
[0817]以上，關于第一實施方式、第二實施方式、第三實施方式、第四實施方式及它們的變形例所涉及的立體影像編碼裝置1、1A、1B、1C、5以及立體影像解碼裝置2、2A、2B、2C、6，這些裝置能夠使用專用硬件來構成各結構單元，但是并不限定于此。例如，能夠通過使一般的計算機執(zhí)行程序來使計算機內的運算裝置、存儲裝置進行動作，由此實現這些裝置。該程序(立體影像編碼程序和立體影像解碼程序)既能夠經由通信線路來發(fā)布，也能夠寫入CD-ROM等記錄介質來發(fā)布。
[0818]另外，根據本發(fā)明，能夠將需要大量的視點影像的裸眼立體影像以少量的視點影像及其深度圖來高效地進行壓縮編碼并傳輸，從而能夠以低成本提供高效率且高品質的立體影像。因而，對于使用本發(fā)明的立體影像存儲/傳輸裝置、服務，即使是需要大量的視點影像的裸眼立體影像也能夠容易地進行數據的存儲/傳輸，并且能夠提供高品質的立體影像。
[0819]另外，本發(fā)明能夠廣泛用于使用立體電視廣播、立體影像記錄器、立體電影、立體影像的教育設備、展示設備、因特網服務等來發(fā)揮其效果。并且，將本發(fā)明使用于收看者可自由地改變視點位置的自由視點電視、自由視點電影也能夠發(fā)揮其效果。
[0820]另外，對于在本發(fā)明的立體影像編碼裝置中生成的多視點影像，即使是無法對多視點影像進行解碼的現有的解碼裝置，也能夠作為單視點影像來利用。
[0821]附圖標記說明
[0822]UlAUB:立體影像編碼裝置；11:基準視點影像編碼單元；12、12A、12B:深度圖合成單元；121、122:中間視點投影單元；123:圖合成單元；13、13A、13B:深度圖編碼單元；
14、14A、30a:深度圖解碼單元;15、15A、15B、15C:投影影像預測單元;151、151B:遮蔽孔檢測單元；1511:第一孔掩模生成單元；1511a:左視點投影單元(副視點投影單元)；1511b:第一孔像素檢測單元(孔像素檢測單元)；1512:第二孔掩模生成單元；1512a:第二孔像素檢測單元；1512b:左視點投影單元(第二副視點投影單元)；1513:第三孔掩模生成單元；1513a:指定視點投影單元；1513b:第三孔像素檢測單元；1513c:左視點投影單元(第三副視點投影單元)；1514:孔掩模合成單元；1515:孔掩模膨脹單元；152:殘差影像切出單元；153:左視點投影單元(副視點投影單元)；154:殘差計算單元；16、164、168:殘差影像編碼單元；17:深度圖框化單元；18:深度圖分離單元；19、19B:殘差影像框化單元；2、2A、2B:立體影像解碼裝置；21:基準視點影像解碼單元；22、22A、28a:深度圖解碼單元；23、23A、23B:深度圖投影單元；24、24A、24B:殘差影像解碼單元；25、25A、25B、25C:投影影像合成單元；251、251B、251C:基準視點影像投影單元；251a:孔像素檢測單元；251b:指定視點影像投影單元；251c:基準視點影像像素復制單元；251d:中值濾波器；251e:孔掩模膨脹單元；252、252B、252C:殘差影像投影單元；252a:指定視點影像投影單元；252b:殘差影像像素復制單元；252c:填孔處理單元；252f:殘差相加單元；26:深度圖分離單元；27、27B:殘差影像分離單元；28:深度圖恢復單元；30:深度圖恢復單元；5:立體影像編碼裝置；50:位流多路復用單元；501:開關(切換單元)；502:輔助信息報頭附加單元；503:深度報頭附加單元；504:殘差報頭附加單元；51:編碼處理部；511:基準視點影像編碼單元；512:深度圖合成單元；513:深度圖編碼單元；514:深度圖恢復單元；515:投影影像預測單元；516:殘差影像編碼單元；6:立體影像解碼裝置；60:位流分離單元；601:基準視點影像位流分離單元；602:深度圖位流分離單元；603:殘差影像位流分離單元；604:輔助信息分離單元；61:解碼處理部；611:基準視點影像解碼單元；612:深度圖恢復單元；613:深度圖投影單元；614:殘差影像恢復單元；615:投影影像合成單元；701:開始碼；702:單視點影像報頭(第一識別信息)；703:位流主體；704:立體影像報頭(第二識別信息)；705:深度標志(第三識別信息)；706:殘差標志(第四識別信息)；707:輔助信息標志(第五識別信息)；708:輔助信息主體。
【權利要求】
1.一種立體影像編碼裝置，對多視點影像以及深度圖進行編碼，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，該立體影像編碼裝置的特征在于，具備: 基準視點影像編碼單元，其對上述多視點影像中的基準視點的影像即基準視點影像進行編碼，以基準視點影像位流來輸出； 中間視點深度圖合成單元，其使用基準視點深度圖和副視點深度圖來生成中間視點深度圖，該基準視點深度圖是上述基準視點的深度圖，該副視點深度圖是副視點的深度圖，該副視點是上述多視點影像中的上述基準視點以外的視點，該中間視點深度圖是上述基準視點與上述副視點的中間視點的深度圖； 深度圖編碼單元，其對上述中間視點深度圖進行編碼，以深度圖位流來輸出； 深度圖解碼單元，其對編碼后的上述中間視點深度圖進行解碼，生成解碼中間視點深度圖； 投影影像預測單元，其從上述副視點的影像切出使用上述解碼中間視點深度圖將上述基準視點影像投影至其它視點時成為無法投影的像素區(qū)域即遮蔽孔的像素來生成殘差影像；以及 殘差影像編碼單兀，其對上述殘差影像進行編碼，以殘差影像位流來輸出， 其中，上述投影影像預測單元具有: 遮蔽孔檢測單元，其檢測使用上述解碼中間視點深度圖將上述基準視點影像投影至上述副視點時成為遮蔽孔的像素；以及 殘差影像切出單元，其從上述副視點的影像切出上述遮蔽孔檢測單元所檢測出的成為遮蔽孔的像素來生成上述殘差影像。
2.根據權利要求1所述的立體影像編碼裝置，其特征在于， 上述遮蔽孔檢測單元具有: 副視點投影單元，其將上述解碼中間視點深度圖投影至上述副視點，生成作為上述副視點的深度圖的副視點投影深度圖；以及 孔像素檢測單元，其在上述副視點投影深度圖中，針對每個像素進行以下檢測:對作為是否為上述成為遮蔽孔的像素的判定對象而被關注的像素即關注像素，在從該關注像素起向上述基準視點側離開規(guī)定的像素數的像素的深度值比上述關注像素的深度值大規(guī)定的值以上的情況下，將上述關注像素檢測為上述成為遮蔽孔的像素。
3.根據權利要求2所述的立體影像編碼裝置，其特征在于， 上述遮蔽孔檢測單元還具有使孔掩模膨脹規(guī)定的像素數的孔掩模膨脹單元，該孔掩模表示由上述孔像素檢測單元檢測出的像素的位置，上述殘差影像切出單元從上述副視點的影像切出由上述孔掩模膨脹單元膨脹后的孔掩模所包含的像素來生成上述殘差影像。
4.根據權利要求2或3所述的立體影像編碼裝置，其特征在于， 上述遮蔽孔檢測單 元還具有: 第二孔像素檢測單元，其在上述解碼中間視點深度圖中，針對每個像素進行以下檢測:對作為是否為上述成為遮蔽孔的像素的判定對象而被關注的像素即關注像素，在從該關注像素起向上述基準視點側離開規(guī)定的像素數的像素的深度值比上述關注像素的深度值大規(guī)定的值以上的情況下，將上述關注像素檢測為上述成為遮蔽孔的像素；第二副視點投影單元，其將上述第二孔像素檢測單元的檢測結果投影至上述副視點；以及 孔掩模合成單元，其將上述孔像素檢測單元的檢測結果以及由上述第二副視點投影單元投影后的上述第二孔像素檢測單元的檢測結果的邏輯或作為上述遮蔽孔檢測單元的檢測結果。
5.根據權利要求4所述的立體影像編碼裝置，其特征在于， 上述遮蔽孔檢測單元還具有: 指定視點投影單元，其將上述解碼中間視點深度圖投影至任意的指定視點的位置，生成上述指定視點的深度圖即指定視點深度圖； 第三孔像素檢測單元，其在上述指定視點深度圖中，針對每個像素進行以下檢測:對作為是否為上述成為遮蔽孔的像素的判定對象而被關注的像素即關注像素，在從該關注像素起向上述基準視點側離開規(guī)定的像素數的像素的深度值比上述關注像素的深度值大規(guī)定的值以上的情況下，將上述關注像素檢測為上述成為遮蔽孔的像素；以及 第三副視點投影單元，其將上述第三孔像素檢測單元的檢測結果投影至上述副視點，上述孔掩模合成單元將上述孔像素檢測單元的檢測結果、由上述第二副視點投影單元投影后的上述第二孔像素檢測單元的檢測結果以及由上述第三副視點投影單元投影后的上述第三孔像素檢測單元的檢測結果的邏輯或作為上述遮蔽孔檢測單元的檢測結果。
6.根據權利要求1~5中的任一項所述的立體影像編碼裝置，其特征在于，還具備: 深度圖框化單元，其生成框化深度圖，該框化深度圖是在上述多視點影像中將上述基準視點與多個上述副視點的多個上述中間視點深度圖縮小并結合、框化成一個框圖像而得到的； 深度圖分離單元，其從上述框化深度圖分離出被框化的多個縮小的上述中間視點深度圖，生成與上述基準視點影像大小相同的多個上述中間視點深度圖；以及 殘差影像框化單元，其生成框化殘差影像，該框化殘差影像是在上述多視點影像中將上述基準視點與多個上述副視點的多個上述殘差影像縮小并結合、框化成一個框圖像而得到的， 其中，上述中間視點深度圖合成單元生成上述基準視點與多個上述副視點中的各個副視點之間的中間視點的多個上述中間視點深度圖， 上述深度圖框化單元將由上述中間視點深度圖合成單元生成的多個中間視點深度圖縮小并結合，由此生成上述框化深度圖， 上述深度圖編碼單元對上述框化深度圖進行編碼，以上述深度圖位流來輸出， 上述深度圖解碼單元對由上述深度圖編碼單元編碼的框化深度圖進行解碼來生成解碼框化深度圖， 上述深度圖分離單元從上述解碼框化深度圖分離出縮小的多個上述中間視點深度圖，生成與上述基準視點影像大小相同的上述解碼中間視點深度圖， 上述投影影像預測單元使用由上述深度圖分離單元生成的解碼中間視點深度圖，從與各個上述解碼中間視點深度圖對應的上述副視點的影像生成上述殘差影像， 上述殘差影像框化單元通過將由上述投影影像預測單元生成的多個上述殘差影像縮小并結合，來生成上述框化殘差影像，上述殘差影像編碼單元對上述框化殘差影像進行編碼，以上述殘差影像位流來輸出。
7.一種立體影像解碼裝置，將對多視點影像以及深度圖進行編碼所得的位流解碼來生成多視點影像，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，該立體影像解碼裝置的特征在于，具備: 基準視點影像解碼單元，其將對上述多視點影像中的基準視點的影像即基準視點影像進行編碼所得的基準視點影像位流解碼，生成解碼基準視點影像； 深度圖解碼單元，其將對中間視點深度圖進行編碼所得的深度圖位流解碼，生成解碼中間視點深度圖，該中間視點深度圖是上述基準視點與從上述基準視點離開的其它視點即副視點的中間視點的深度圖； 殘差影像解碼單元，其將對殘差影像進行編碼所得 的殘差影像位流解碼，生成解碼殘差影像，該殘差影像是從上述副視點的影像切出將上述基準視點影像投影至其它視點時成為無法投影的像素區(qū)域即遮蔽孔的像素所得的影像； 深度圖投影單元，其將上述解碼中間視點深度圖投影至指定視點，生成上述指定視點的深度圖即指定視點深度圖，該指定視點是從外部指定的作為上述多視點影像的視點的視點；以及 投影影像合成單元，其對使用上述指定視點深度圖將上述解碼基準視點影像和上述解碼殘差影像投影至上述指定視點所得的影像進行合成，生成上述指定視點的影像即指定視點影像， 其中，上述投影影像合成單元具有: 基準視點影像投影單元，其檢測在使用上述指定視點深度圖將上述解碼基準視點影像投影至上述指定視點時成為無法投影的像素區(qū)域即遮蔽孔的像素，對于不成為上述遮蔽孔的像素，使用上述指定視點深度圖將上述解碼基準視點影像投影至上述指定視點來設為上述指定視點影像的像素；以及 殘差影像投影單元，其對于成為上述遮蔽孔的像素，使用上述指定視點深度圖將上述解碼殘差影像投影至上述指定視點來設為上述指定視點影像的像素。
8.根據權利要求7所述的立體影像解碼裝置，其特征在于， 上述基準視點影像投影單元具有孔像素檢測單元，該孔像素檢測單元在上述指定視點深度圖中，針對每個像素進行以下檢測:對作為是否為成為遮蔽孔的像素的判定對象而被關注的像素即關注像素，在從該關注像素起向上述基準視點側離開規(guī)定的像素數的像素的深度值比上述關注像素的深度值大規(guī)定的值以上的情況下，將上述關注像素檢測為成為遮蔽孔的像素。
9.根據權利要求8所述的立體影像解碼裝置，其特征在于， 上述基準視點影像投影單元還具有使由上述孔像素檢測單元所檢測出的像素形成的遮蔽孔膨脹規(guī)定的像素數的孔掩模膨脹單元， 上述殘差影像投影單元對于由上述孔掩模膨脹單元膨脹后的遮蔽孔的像素，將上述解碼殘差影像投影至上述指定視點來設為上述指定視點影像的像素。
10.根據權利要求9所述的立體影像解碼裝置，其特征在于， 上述殘差影像投影單元還具備填孔處理單元，該填孔處理單元在上述指定視點影像中檢測沒有包含在上述殘差影像的像素，以沒有包含的該像素的周圍的像素值對沒有包含的該像素的像素值進行插值。
11.根據權利要求7~10中的任一項所述的立體影像解碼裝置，其特征在于，還具備: 深度圖分離單元，其對將上述基準視點與多個上述副視點中的各個副視點之間的中間視點的多個上述中間視點深度圖縮小并結合所得的一個框圖像即框化深度圖，按多個上述中間視點的每個中間視點進行分離，生成與上述基準視點影像大小相同的中間視點深度圖；以及 殘差影像分離單元，其對將多個上述副視點的多個上述殘差影像縮小并結合所得的一個框圖像即框化殘差影像進行分離，生成與上述基準視點影像大小相同的上述解碼殘差影像， 其中，上述深度圖解碼單元將對上述框化深度圖進行編碼所得的上述深度圖位流解碼，生成解碼框化深度圖， 上述殘差影像解碼單元將對上述框化殘差影像進行編碼所得的上述殘差影像位流解碼，生成解碼框化殘差影像， 上述深度圖分離單元從上述解碼框化深度圖分離出多個縮小的上述中間視點深度圖，生成與上述基準視點影像大小相同的多個上述解碼中間視點深度圖， 上述殘差影像分離單元從上述解碼框化殘差影像分離出多個縮小的上述殘差影像，生成與上述基準視點影像大小相同的多個上述解碼殘差影像， 上述深度圖投影單元按多個上述指定視點中的每個指定視點，將分別對應的上述解碼中間視點深度圖投影至上述指定視點，生成上述指定視點的深度圖即指定視點深度圖，上述投影影像合成單元按多個上述指定視點中的每個指定視點，對使用分別對應的上述指定視點深度圖將分別對應的上述解碼基準視點影像和上述解碼殘差影像投影至上述指定視點所得的影像進行合成，生成上述指定視點的影像即指定視點影像。
12.—種立體影像編碼方法，對多視點影像以及深度圖進行編碼，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，該立體影像編碼方法的特征在于，包括以下步驟: 基準視點影像編碼處理步驟，對上述多視點影像中的基準視點的影像即基準視點影像進行編碼，以基準視點影像位流來輸出； 中間視點深度圖合成處理步驟，使用基準視點深度圖和副視點深度圖來生成中間視點深度圖，該基準視點深度圖是上述基準視點的深度圖，該副視點深度圖是副視點的深度圖，該副視點是上述多視點影像中的上述基準視點以外的視點，該中間視點深度圖是上述基準視點與上述副視點的中間視點的深度圖； 深度圖編碼處理步驟，對上述中間視點深度圖進行編碼，以深度圖位流來輸出； 深度圖解碼處理步驟，對編碼后的上述中間視點深度圖進行解碼，生成解碼中間視點深度圖； 投影影像預測處理步驟，從上述副視點的影像切出使用上述解碼中間視點深度圖將上述基準視點影像投影至其它視點時成為無法投影的像素區(qū)域即遮蔽孔的像素來生成殘差影像；以及 殘差影像編碼處理步驟，對上述殘差影像進行編碼，以殘差影像位流來輸出， 其中，上述投影影像預測處理步驟包括以下步驟:遮蔽孔檢測處理步驟，檢測使用上述解碼中間視點深度圖將上述基準視點影像投影至上述副視點時成為遮蔽孔的像素；以及 殘差影像切出處理步驟，從上述副視點的影像切出在上述遮蔽孔檢測處理步驟中檢測出的成為遮蔽孔的像素來生成上述殘差影像。
13.—種立體影像解碼方法，將對多視點影像以及深度圖進行編碼所得的位流解碼來生成多視點影像，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，該立體影像解碼方法的特征在于，包括以下步驟: 基準視點影像解碼處理步驟，將對上述多視點影像中的基準視點的影像即基準視點影像進行編碼所得的基準視點影像位流解碼，生成解碼基準視點影像； 深度圖解碼處理步驟，將對中間視點深度圖進行編碼所得的深度圖位流解碼，生成解碼中間視點深度圖，該中間視點深度圖是上述基準視點與從上述基準視點離開的其它視點即副視點的中間視點的深度圖； 殘差影像解碼處理步驟，將對殘差影像進行編碼所得的殘差影像位流解碼，生成解碼殘差影像，該殘 差影像是從上述副視點的影像切出將上述基準視點影像投影至其它視點時成為無法投影的像素區(qū)域即遮蔽孔的像素所得的影像； 深度圖投影處理步驟，將上述解碼中間視點深度圖投影至指定視點，生成上述指定視點的深度圖即指定視點深度圖，該指定視點是從外部指定的作為上述多視點影像的視點的視點；以及 投影影像合成處理步驟，對使用上述指定視點深度圖將上述解碼基準視點影像和上述解碼殘差影像投影至上述指定視點所得的影像進行合成，生成上述指定視點的影像即指定視點影像， 其中，上述投影影像合成處理步驟包括以下步驟: 基準視點影像投影處理步驟，檢測在使用上述指定視點深度圖將上述解碼基準視點影像投影至上述指定視點時成為無法投影的像素區(qū)域即遮蔽孔的像素，對于不成為上述遮蔽孔的像素，使用上述指定視點深度圖將上述解碼基準視點影像投影至上述指定視點來設為上述指定視點影像的像素；以及 殘差影像投影處理步驟，對于成為上述遮蔽孔的像素，使用上述指定視點深度圖將上述解碼殘差影像投影至上述指定視點來設為上述指定視點影像的像素。
14.一種立體影像編碼程序，其特征在于，為了對多視點影像以及深度圖進行編碼，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，使計算機作為以下單元發(fā)揮功能: 基準視點影像編碼單元，其對上述多視點影像中的基準視點的影像即基準視點影像進行編碼，以基準視點影像位流來輸出； 中間視點深度圖合成單元，其使用基準視點深度圖和副視點深度圖來生成中間視點深度圖，該基準視點深度圖是上述基準視點的深度圖，該副視點深度圖是副視點的深度圖，該副視點是上述多視點影像中的上述基準視點以外的視點，該中間視點深度圖是上述基準視點與上述副視點的中間視點的深度圖； 深度圖編碼單元，其對上述中間視點深度圖進行編碼，以深度圖位流來輸出； 深度圖解碼單元，其對編碼后的上述中間視點深度圖進行解碼，生成解碼中間視點深度圖； 投影影像預測單元，其從上述副視點的影像切出使用上述解碼中間視點深度圖將上述基準視點影像投影至其它視點時成為無法投影的像素區(qū)域即遮蔽孔的像素來生成殘差影像；以及 殘差影像編碼單兀，其對上述殘差影像進行編碼，以殘差影像位流來輸出； 遮蔽孔檢測單元，其檢測使用上述解碼中間視點深度圖將上述基準視點影像投影至上述副視點時成為無法投影的像素區(qū)域即遮蔽孔的像素；以及 殘差影像切出單元，其從上述副視點的影像切出上述遮蔽孔檢測單元所檢測出的成為遮蔽孔的像素來生成上述殘差影像。
15.一種立體影像解碼程序，其特征在于，為了將對多視點影像以及深度圖進行編碼所得的位流解碼來生成多視點影像，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，使計算機作為以下單元發(fā)揮功能: 基準視點影像解碼單元，其將對上述多視點影像中的基準視點的影像即基準視點影像進行編碼所得的基準視點影像位流解碼，生成解碼基準視點影像； 深度圖解碼單元，其將對中間視點深度圖進行編碼所得的深度圖位流解碼，生成解碼中間視點深度圖，該中間視點深度圖是上述基準視點與從上述基準視點離開的其它視點即副視點的中間視點的深度圖； 殘差影像解碼單元，其將對殘差影像進行編碼所得的殘差影像位流解碼，生成解碼殘差影像，該殘差影像是從上述副視點的影像切出將上述基準視點影像投影至其它視點時成為無法投影的像素區(qū)域即遮蔽孔的像素所得的影像； 深度圖投影單元，其將上述解碼中間視點深度圖投影至指定視點，生成上述指定視點的深度圖即指定視點深度圖，該指定視點是從外部指定的作為上述多視點影像的視點的視點；以及 投影影像合成單元，其對使用上述指定視點深度圖將上述解碼基準視點影像和上述解碼殘差影像投影至上述指定視點所得的影像進行合成，生成上述指定視點的影像即指定視點影像； 基準視點影像投影單元，其檢測在使用上述指定視點深度圖將上述解碼基準視點影像投影至上述指定視點時成為無法投影的像素區(qū)域即遮蔽孔的像素，對于不成為上述遮蔽孔的像素，使用上述指定視點深度圖將上述解碼基準視點影像投影至上述指定視點來設為上述指定視點影像的像素；以及 殘差影像投影單元，其對于成為上述遮蔽孔的像素，使用上述指定視點深度圖將上述解碼殘差影像投影至上述指定視點來設為上述指定視點影像的像素。
16.一種立體影像編碼裝置，對多視點影像以及深度圖進行編碼，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，該立體影像編碼裝置的特征在于，具備: 基準視點影像編碼單元，其對上述多視點影像中的基準視點的影像即基準視點影像進行編碼，以基準視點影像位流來輸出； 深度圖合成單元，其將基準視點深度圖和副視點深度圖投影至規(guī)定的視點來進行合成，生成合成深度圖，該基準視點深度圖是上述基準視點的深度圖，該副視點深度圖是副視點的深度圖，該副視點是上述多視點影像的從上述基準視點離開的其它視點，該合成深度圖是上述規(guī)定的視點的深度圖； 深度圖編碼單元，其對上述合成深度圖進行編碼，以深度圖位流來輸出； 深度圖解碼單元，其對編碼后的上述合成深度圖進行解碼，生成解碼合成深度圖； 投影影像預測單元，其生成殘差影像，該殘差影像是使用上述解碼合成深度圖從上述基準視點影像預測其它視點的影像時的預測殘差；以及 殘差影像編碼單兀，其對上述殘差影像進行編碼，以殘差影像位流來輸出。
17.根據權利要求16所述的立體影像編碼裝置，其特征在于， 上述深度圖合成單元通過將上述基準視點深度圖和多個上述副視點深度圖投影至共同視點并進行合成來生成上述共同視點的一個合成深度圖， 該立體影像編碼裝置還具備生成框化殘差影像的殘差影像框化單元，該框化殘差影像是將上述基準視點與多個上述副視點的多個上述殘差影像縮小并結合、框化成一個框圖像而得到的， 上述殘差影像編碼單元對上述框化殘差影像進行編碼，以上述殘差影像位流來輸出。
18.根據權利要求16或17所述的立體影像編碼裝置，其特征在于， 上述投影影像預測單元從上述副視點的影像切出在使用上述解碼合成深度圖將上述基準視點影像投影至其它視點時成為無法投影的像素區(qū)域即遮蔽孔的像素，生成殘差影像。
19.根據權利要求16或17所述的立體影像編碼裝置，其特征在于， 上述投影影像預測單元計算使用上述解碼合成深度圖將上述基準視點影像投影至上述副視點所得的影像與上述副視點的影像之間的每個像素的差來生成殘差影像。
20.根據權利要求16所述的立體影像編碼裝置，其特征在于， 上述基準視點影像位流、上述深度圖位流以及上述殘差影像位流分別具有依次包含規(guī)定的開始碼以及第一識別信息的報頭，該第一識別信息用于識別位流是單視點影像， 該立體影像編碼裝置還具備位流多路復用單元，該位流多路復用單元對輔助信息、上述基準視點影像位流、上述深度圖位流以及上述殘差影像位流進行多路復用，以多路復用位流來輸出，其中，上述輔助信息包含表示上述基準視點和上述副視點的各位置的信息， 上述位流多路復用單元進行以下動作: 對于上述基準視點影像位流，直接輸出； 對于上述深度圖位流，在上述開始碼與上述第一識別信息之間依次插入第二識別信息和第三識別信息后輸出，該第二識別信息用于識別位流是與立體影像有關的數據，該第三識別信息用于識別位流是上述深度圖位流； 對于上述殘差影像位流，在上述開始碼與上述第一識別信息之間依次插入上述第二識別信息和第四識別信息后輸出，該第四識別信息用于識別位流是上述殘差影像位流； 對于上述輔助信息，將依次包含上述開始碼、上述第二識別信息以及第五識別信息的報頭附加到上述輔助信息后輸出，該第五識別信息用于識別位流是上述輔助信息。
21.—種立體影像解碼裝置，將對多視點影像以及深度圖進行編碼所得的位流解碼來生成多視點影像，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，該立體影像解碼裝置的特征在于，具備:基準視點影像解碼單元，其將對上述多視點影像中的基準視點的影像即基準視點影像進行編碼所得的基準視點影像位流解碼，生成解碼基準視點影像； 深度圖解碼單元，其將對合成深度圖進行編碼所得的深度圖位流解碼，生成解碼合成深度圖，該合成深度圖是將基準視點深度圖和副視點深度圖合成而生成的規(guī)定的視點的深度圖，該基準視點深度圖是上述基準視點的深度圖，該副視點深度圖是副視點的深度圖，該副視點是上述多視點影像中的從上述基準視點離開的其它視點； 殘差影像解碼單元，其將對殘差影像進行編碼所得的殘差影像位流解碼，生成解碼殘差影像，該殘差影像是使用上述解碼合成深度圖從上述基準視點影像預測從上述基準視點離開的其它視點的影像時的預測殘差； 深度圖投影單元，其將上述解碼合成深度圖投影至指定視點，生成上述指定視點的深度圖即指定視點深度圖，該指定視點是從外部指定的作為上述多視點影像的視點的視點；以及 投影影像合成單元，其對使用上述指定視點深度圖將上述解碼基準視點影像和上述解碼殘差影像投影至上述指定視點所得的影像進行合成，生成上述指定視點的影像即指定視點影像。
22.根據權利要 求21所述的立體影像解碼裝置，其特征在于， 上述合成深度圖是將上述基準視點深度圖和多個上述副視點深度圖投影至共同視點來進行合成所得的上述共同視點的一個深度圖， 該立體影像解碼裝置還具備殘差影像分離單元，該殘差影像分離單元對框化殘差影像進行分離，生成與上述基準視點影像大小相同的上述解碼殘差影像，該框化殘差影像是將多個上述副視點的多個上述殘差影像縮小并結合所得的一個框圖像， 上述殘差影像解碼單元將對上述框化殘差影像進行編碼所得的上述殘差影像位流解碼，生成解碼框化殘差影像， 上述殘差影像分離單元從上述解碼框化殘差影像分離出多個縮小的上述殘差影像，生成與上述基準視點影像大小相同的多個上述解碼殘差影像， 上述投影影像合成單元對使用上述指定視點深度圖將多個上述解碼殘差影像中的某一個解碼殘差影像和上述解碼基準視點影像投影至上述指定視點所得的影像進行合成，生成上述指定視點的影像即指定視點影像。
23.根據權利要求21或22所述的立體影像解碼裝置，其特征在于， 上述殘差影像位流是對殘差影像進行編碼所得的，該殘差影像是通過從上述副視點的影像切出將上述基準視點影像投影至從上述基準視點離開的其它視點時成為無法投影的像素區(qū)域即遮蔽孔的像素而生成的， 上述投影影像合成單元具有: 基準視點影像投影單元，其檢測在使用上述指定視點深度圖將上述解碼基準視點影像投影至上述指定視點時成為無法投影的像素區(qū)域即遮蔽孔的像素，對于不成為上述遮蔽孔的像素，使用上述指定視點深度圖將上述解碼基準視點影像投影至上述指定視點來設為上述指定視點影像的像素；以及 殘差影像投影單元，其對于成為上述遮蔽孔的像素，使用上述指定視點深度圖將上述解碼殘差影像投影至上述指定視點來設為上述指定視點影像的像素。
24.根據權利要求21或22所述的立體影像解碼裝置，其特征在于， 上述殘差影像位流是對殘差影像進行編碼所得的，該殘差影像是通過計算使用上述解碼合成深度圖將上述基準視點影像投影至上述副視點所得的影像與上述副視點的影像之間的每個像素的差而生成的， 上述投影影像合成單元具有殘差相加單元，該殘差相加單元按每個像素對使用上述指定視點深度圖將上述解碼基準視點影像投影至上述指定視點所得的影像加上使用上述指定視點深度圖將上述解碼殘差影像投影至上述指定視點所得的影像，來生成上述指定視點影像。
25.根據權利要求21所述的立體影像解碼裝置，其特征在于， 該立體影像解碼裝置還具備位流分離單元，該位流分離單元將對上述基準視點影像位流、上述深度圖位流、上述殘差影像位流以及包括包含表示上述基準視點和上述副視點的各位置的信息的輔助信息的位流進行多路復用所得的多路復用位流分離成上述基準視點影像位流、上述深度圖位流、上述殘差影像位流以及上述輔助信息， 上述基準視點影像位流具有依次包含規(guī)定的開始碼以及第一識別信息的報頭，該第一識別信息用于識別位流是單視點影像， 上述深度圖位流具有在上述開始碼與上述第一識別信息之間依次包含第二識別信息和第三識別信息的報頭，該第二識別信息用于識別位流是與立體影像有關的數據，該第三識別信息用于識別位流是上述深度圖位流， 上述殘差影像位流具有在上述開始碼與上述第一識別信息之間依次包含上述第二識別信息和第四識別信息的報頭，該第四識別信息用于識別位流是上述殘差影像位流， 上述輔助信息的位流具有依次包含上述開始碼、上述第二識別信息以及第五識別信息的報頭，該第五識別信息用于識別位流是上述輔助信息的位流， 上述位流分離單元具有: 基準視點影像位流分離單元，其從上述多路復用位流中分離出緊接在上述開始碼之后具有上述第一識別信息的位流作為上述基準視點影像位流，將分離出的基準視點影像位流輸出至上述基準視點影像解碼單元； 深度圖位流分離單元，其從上述多路復用位流中分離出緊接在上述開始碼之后依次具有上述第二識別信息和上述第三識別信息的位流作為上述深度圖位流，將從該位流中去除上述第二識別信息和上述第三識別信息后的位流輸出至上述深度圖解碼單元； 殘差影像位流分離單元，其從上述多路復用位流中分離出緊接在上述開始碼之后依次具有上述第二識別信息和上述第四識別信息的位流作為上述殘差影像位流，將從該位流中去除上述第二識別信息和上述第四識別信息后的位流輸出至上述殘差影像解碼單元；以及輔助信息分離單元，其從上述多路復用位流中分離出緊接在上述開始碼之后依次具有上述第二識別信息和上述第五識別信息的位流作為上述輔助信息的位流，將從該位流中去除上述第二識別信息和上述第五識別信息后的位流作為輔助信息輸出至上述投影影像合成單元。
26.—種立體影像編碼方法，對多視點影像以及深度圖進行編碼，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，該立體影像編碼方法的特征在于，包括以下步驟:基準視點影像編碼處理步驟，對上述多視點影像中的基準視點的影像即基準視點影像進行編碼，以基準視點影像位流來輸出； 深度圖合成處理步驟，將基準視點深度圖和副視點深度圖投影至規(guī)定的視點來進行合成，生成合成深度圖，該基準視點深度圖是上述基準視點的深度圖，該副視點深度圖是副視點的深度圖，該副視點是上述多視點影像的從上述基準視點離開的其它視點，該合成深度圖是上述規(guī)定的視點的深度圖； 深度圖編碼處理步驟，對上述合成深度圖進行編碼，以深度圖位流來輸出； 深度圖解碼處理步驟，對編碼后的上述合成深度圖進行解碼，生成解碼合成深度圖；投影影像預測處理步驟，生成殘差影像，該殘差影像是使用上述解碼合成深度圖從上述基準視點影像預測 其它視點的影像時的預測殘差；以及 殘差影像編碼處理步驟，對上述殘差影像進行編碼，以殘差影像位流來輸出。
27.根據權利要求26所述的立體影像編碼方法，其特征在于， 上述基準視點影像位流、上述深度圖位流以及上述殘差影像位流分別具有依次包含規(guī)定的開始碼以及第一識別信息的報頭，該第一識別信息用于識別位流是單視點影像， 該立體影像編碼方法還包括位流多路復用處理步驟，在該位流多路復用處理步驟中，對輔助信息、上述基準視點影像位流、上述深度圖位流以及上述殘差影像位流進行多路復用，以多路復用位流來輸出，其中，上述輔助信息包含表示上述基準視點和上述副視點的各位置的信息， 在上述位流多路復用處理步驟中， 對于上述基準視點影像位流，直接輸出； 對于上述深度圖位流，在上述開始碼與上述第一識別信息之間依次插入第二識別信息和第三識別信息后輸出，該第二識別信息用于識別位流是與立體影像有關的數據，該第三識別信息用于識別位流是上述深度圖位流； 對于上述殘差影像位流，在上述開始碼與上述第一識別信息之間依次插入上述第二識別信息和第四識別信息后輸出，該第四識別信息用于識別位流是上述殘差影像位流； 對于上述輔助信息，將依次包含上述開始碼、上述第二識別信息以及第五識別信息的報頭附加到上述輔助信息后輸出，該第五識別信息用于識別位流是上述輔助信息。
28.—種立體影像解碼方法，將對多視點影像以及深度圖進行編碼所得的位流解碼來生成多視點影像，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，該立體影像解碼方法的特征在于，包括以下步驟: 基準視點影像解碼處理步驟，將對上述多視點影像中的基準視點的影像即基準視點影像進行編碼所得的基準視點影像位流解碼，生成解碼基準視點影像； 深度圖解碼處理步驟，將對合成深度圖進行編碼所得的深度圖位流解碼，生成解碼合成深度圖，該合成深度圖是將基準視點深度圖和副視點深度圖合成而生成的規(guī)定的視點的深度圖，該基準視點深度圖是上述基準視點的深度圖，該副視點深度圖是副視點的深度圖，該副視點是上述多視點影像中的從上述基準視點離開的其它視點； 殘差影像解碼處理步驟，將對殘差影像進行編碼所得的殘差影像位流解碼，生成解碼殘差影像，該殘差影像是使用上述解碼合成深度圖從上述基準視點影像預測從上述基準視點離開的其它視點的影像時的預測殘差；深度圖投影處理步驟，將上述解碼合成深度圖投影至指定視點，生成上述指定視點的深度圖即指定視點深度圖，該指定視點是從外部指定的作為上述多視點影像的視點的視點；以及 投影影像合成處理步驟，對使用上述指定視點深度圖將上述解碼基準視點影像和上述解碼殘差影像投影至上述指定視點所得的影像進行合成，生成上述指定視點的影像即指定視點影像。
29.根據權利要求28所述的立體影像解碼方法，其特征在于， 該立體影像解碼方法還包括位流分離處理步驟，在該位流分離處理步驟中，將對上述基準視點影像位流、上述深度圖位流、上述殘差影像位流以及包括包含表示上述基準視點和上述副視點的各位置的信息的輔助信息的位流進行多路復用所得的多路復用位流分離成上述基準視點影像位流、上述深度圖位流、上述殘差影像位流以及上述輔助信息， 上述基準視點影像位流具有依次包含規(guī)定的開始碼以及第一識別信息的報頭，該第一識別信息用于識別位流是單視點影像， 上述深度圖位流具有在上述開始碼與上述第一識別信息之間依次包含第二識別信息和第三識別信息的報頭，該第二識別信息用于識別位流是與立體影像有關的數據，該第三識別信息用于識別位流是上述深度圖位流， 上述殘差影像位流具有在上述開始碼與上述第一識別信息之間依次包含上述第二識別信息和第四識別信息的報頭，該第四識別信息用于識別位流是上述殘差影像位流， 上述輔助信息的位流具有依次包含上述開始碼、上述第二識別信息以及第五識別信息的報頭，該第五識別信息用于識別位流是上述輔助信息的位流， 在上述位流分離處理步驟中， 從上述多路復用位流中分離出緊接在上述開始碼之后具有上述第一識別信息的位流作為上述基準視點影像位流，將分離出的基準視點影像位流在上述基準視點影像解碼處理步驟中使用； 從上述多路復用位流中分離出緊接在上述開始碼之后依次具有上述第二識別信息和上述第三識別信息的位流作為上述深度圖位流，將從該位流中去除上述第二識別信息和上述第三識別信息后的位流在上述深度圖解碼處理步驟中使用； 從上述多路復用位流中分離出緊接在上述開始碼之后依次具有上述第二識別信息和上述第四識別信息的位流作為上述殘差影像位流，將從該位流中去除上述第二識別信息和上述第四識別信息后的位流在上述殘差影像解碼處理步驟中使用； 從上述多路復用位流中分離出緊接在上述開始碼之后依次具有上述第二識別信息和上述第五識別信息的位流作為上述輔助信息的位流，將從該位流中去除上述第二識別信息和上述第五識別信息后的位流作為輔助信息在上述投影影像合成處理步驟中使用。
30.一種立體影像編碼程序，其特征在于，為了對多視點影像以及深度圖進行編碼，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，使計算機作為以下單元發(fā)揮功能: 基準視點影像編碼單元，其對上述多視點影像中的基準視點的影像即基準視點影像進行編碼，以基準視點影像位流來輸出； 深度圖合成單元，其將基準視點深度圖和副視點深度圖投影至規(guī)定的視點來進行合成，生成合成深度圖，該基準視點深度圖是上述基準視點的深度圖，該副視點深度圖是副視點的深度圖，該副視點是上述多視點影像的從上述基準視點離開的其它視點，該合成深度圖是上述規(guī)定的視點的深度圖； 深度圖編碼單元，其對上述合成深度圖進行編碼，以深度圖位流來輸出； 深度圖解碼單元，其對編碼后的上述合成深度圖進行解碼，生成解碼合成深度圖； 投影影像預測單元，其生成殘差影像，該殘差影像是使用上述解碼合成深度圖從上述基準視點影像預測其它視點的影像時的預測殘差；以及 殘差影像編碼單兀，其對上述殘差影像進行編碼，以殘差影像位流來輸出。
31.根據權利要求30所述的立體影像編碼程序，其特征在于， 上述基準視點影像位流、上述深度圖位流以及上述殘差影像位流分別具有依次包含規(guī)定的開始碼以及第一識別信息的報頭，該第一識別信息用于識別位流是單視點影像， 該立體影像編碼程序還使計算機作為位流多路復用單元發(fā)揮功能，該位流多路復用單元對輔助信息、上述基準視點影像位流、上述深度圖位流以及上述殘差影像位流進行多路復用，以多路復用位流來輸出，其中，上述輔助信息包含表示上述基準視點和上述副視點的各位置的信息， 上述位流多路復用單元進行以下動作: 對于上述基準視點影像位流，直接輸出； 對于上述深度圖位流，在上述開始碼與上述第一識別信息之間依次插入第二識別信息和第三識別信息后輸出，該第二識別信息用于識別位流是與立體影像有關的數據，該第三識別信息用于識別位流是上述深度圖位流； 對于上述殘差影像位流，在上述開始碼與上述第一識別信息之間依次插入上述第二識別信息和第四識別信息后輸出，該第四識別信息用于識別位流是上述殘差影像位流； 對于上述輔助信息，將依次包含上述開始碼、上述第二識別信息以及第五識別信息的報頭附加到上述輔助信息后輸出，該第五識別信息用于識別位流是上述輔助信息。
32.—種立體影像解碼程序，其特征在于，為了將對多視點影像以及深度圖進行編碼所得的位流解碼來生成多視點影像，該深度圖是上述多視點影像中的每個像素的視點間視差即深度值的信息的圖，使計算機作為以下單元發(fā)揮功能: 基準視點影像解碼單元，其將對上述多視點影像中的基準視點的影像即基準視點影像進行編碼所得的基準視點影像位流解碼，生成解碼基準視點影像； 深度圖解碼單元，其將對合成深度圖進行編碼所得的深度圖位流解碼，生成解碼合成深度圖，該合成深度圖是將基準視點深度圖和副視點深度圖合成而生成的規(guī)定的視點的深度圖，該基準視點深度圖是上述基準視點的深度圖，該副視點深度圖是副視點的深度圖，該副視點是上述多視點影像中的從上述基準視點離開的其它視點； 殘差影像解碼單元，其將對殘差影像進行編碼所得的殘差影像位流解碼，生成解碼殘差影像，該殘差影像是使用上述解碼合成深度圖從上述基準視點影像預測從上述基準視點離開的其它視點的影像時的預測殘差； 深度圖投影單元，其將上述解碼合成深度圖投影至指定視點，生成上述指定視點的深度圖即指定視點深度圖，該指定視點是從外部指定的作為上述多視點影像的視點的視點；以及投影影像合成單元，其對使用上述指定視點深度圖將上述解碼基準視點影像和上述解碼殘差影像投影至上述指定視點所得的影像進行合成，生成上述指定視點的影像即指定視點影像。
33.根據權利要求32所述的立體影像解碼程序，其特征在于， 該立體影像解碼程序還使計算機作為位流分離單元發(fā)揮功能，該位流分離單元將對上述基準視點影像位流、上述深度圖位流、上述殘差影像位流以及包括包含表示上述基準視點和上述副視點的各位置的信息的輔助信息的位流進行多路復用所得的多路復用位流分離成上述基準視點影像位流、上述深度圖位流、上述殘差影像位流以及上述輔助信息， 上述基準視點影像位流具有依次包含規(guī)定的開始碼以及第一識別信息的報頭，該第一識別信息用于識別位流是單視點影像， 上述深度圖位流具有在上述開始碼與上述第一識別信息之間依次包含第二識別信息和第三識別信息的報頭，該第二識別信息用于識別位流是與立體影像有關的數據，該第三識別信息用于識別位流是上述深度圖位流， 上述殘差影像位流具有在上述開始碼與上述第一識別信息之間依次包含上述第二識別信息和第四識別信息的報頭，該第四識別信息用于識別位流是上述殘差影像位流， 上述輔助信息的位流具有依次包含上述開始碼、上述第二識別信息以及第五識別信息的報頭，該第五識別信息用于識別位流是上述輔助信息的位流， 上述位流分離單元進行以下動作: 從上述多路復用位流中分離出緊接在上述開始碼之后具有上述第一識別信息的位流作為上述基準視點影像位流，將分離出的基準視點影像位流輸出至上述基準視點影像解碼單元； 從上述多路復用位流中分離出緊接在上述開始碼之后依次具有上述第二識別信息和上述第三識別信息的位流作為上述深度圖位流，將從該位流中去除上述第二識別信息和上述第三識別信息后的位流輸出至上述深度圖解碼單元； 從上述多路復用位流中分離出緊接在上述開始碼之后依次具有上述第二識別信息和上述第四識別信息的位流作為上述殘差影像位流，將從該位流中去除上述第二識別信息和上述第四識別信息后的位流輸出至上述殘差影像解碼單元；以及 從上述多路復用位流中分離出緊接在上述開始碼之后依次具有上述第二識別信息和上述第五識別信息的位流作為上述輔助信息的位流，將從該位流中去除上述第二識別信息和上述第五識別信息后的位流作為輔助信息輸出至上述投影影像合成單元。
【文檔編號】H04N19/50GK104041024SQ201280067042
【公開日】2014年9月10日 申請日期:2012年10月5日 優(yōu)先權日:2011年11月14日
【發(fā)明者】妹尾孝憲, 市橋保之, 佐佐木久幸, 山本健詞, 大井隆太朗, 栗田泰市郎 申請人:獨立行政法人情報通信研究機構