專利名稱：編碼裝置和編碼方法以及解碼裝置和解碼方法
技術(shù)領(lǐng)域：
本技術(shù)涉及編碼裝置、編碼方法、解碼裝置以及解碼方法，更具體地，涉及能夠根據(jù)與現(xiàn)有模式兼容的模式對(duì)多視點(diǎn)圖像進(jìn)行編碼和解碼的編碼裝置、編碼方法、解碼裝置以及解碼方法。
背景技術(shù)：
目前，作為3D圖像觀看模式，通常存在其中通過佩戴下述眼鏡來觀看交替顯示的雙視點(diǎn)圖像的模式(下文中，稱為雙視點(diǎn)模式)，其中該眼鏡的左眼快門在顯示雙視點(diǎn)圖像中的一個(gè)圖像時(shí)打開而其右眼快門在顯示雙視點(diǎn)圖像中的另一個(gè)圖像時(shí)打開。然而，在這種雙視點(diǎn)模式中，除3D圖像顯示裝置之外觀看者還需購買眼鏡，因此降低了觀看者的購買意愿。另外，由于觀看者需要佩戴眼鏡才能觀看，這使觀看者感到苦惱。因此，不用佩戴眼鏡也可以觀看3D圖像的觀看模式(在下文中，稱為多視點(diǎn)模式)的需求日益增大。在多視點(diǎn)模式中，顯示多視點(diǎn)圖像使得每個(gè)視點(diǎn)的可視角度都不同，于是，在不佩戴眼鏡的情況下用左眼和右眼來觀看任意兩個(gè)視點(diǎn)的圖像的觀看者可以看到3D圖像。提供多視點(diǎn)模式的觀看的顯示裝置例如基于用于雙視點(diǎn)模式的兩個(gè)視點(diǎn)的圖像生成用于多視點(diǎn)模式的多視點(diǎn)圖像并且顯示所生成的多視點(diǎn)圖像。更具體地，顯示裝置使用圖像視差估計(jì)技術(shù)(深度估計(jì))來獲取用于雙視點(diǎn)模式的雙視點(diǎn)圖像的視差(深度)。然后，顯示裝置使用多視點(diǎn)圖像生成技術(shù)(視圖生成)來生成與用于雙視點(diǎn)模式的兩個(gè)視點(diǎn)的圖像對(duì)應(yīng)的視點(diǎn)相鄰的多視點(diǎn)圖像的合成圖像并且顯示該合成圖像，其中，多視點(diǎn)圖像生成技術(shù)使用合成技術(shù)(視圖合成)以及兩個(gè)視點(diǎn)的圖像之間的視差?，F(xiàn)有編碼模式包括高級(jí)視頻編碼(AVC)模式和多視圖視頻編碼(MVC)模式。圖1是示出以MVC模式對(duì)雙視點(diǎn)圖像進(jìn)行編碼并且對(duì)所編碼的圖像進(jìn)行復(fù)用的編碼裝置的示例的圖。圖1中示出的編碼裝置10由成像單元11A、成像單元11B、MVC編碼器12以及復(fù)用單元13配置而成。成像單元IlA捕捉預(yù)定視點(diǎn)的圖像A并且將所捕捉的圖像提供給MVC編碼器12。另外，成像單元IlB捕捉與圖像A的視點(diǎn)不同的視點(diǎn)的圖像B并且將所捕捉的圖像提供給MVC編碼器12。MVC編碼器12根據(jù)MVC模式在由成像單元IlA提供的圖像A被設(shè)定為基礎(chǔ)圖像并且由成像單元IlB提供的圖像B被設(shè)定為依賴圖像的情況下進(jìn)行編碼。MVC編碼器12將編碼后的圖像A和圖像B提供給復(fù)用單元13。復(fù)用單元13基于編碼后的圖像A生成第一 TS (傳送流)(在下文中，稱為TS1)，基于編碼后的圖像B生成第二 TS (在下文中，稱為TS2)，并且對(duì)TSl和TS2進(jìn)行復(fù)用。由解碼裝置對(duì)復(fù)用后的TSl和TS2進(jìn)行分離，并且根據(jù)與MVC模式對(duì)應(yīng)的模式對(duì)編碼后的圖像A和編碼后的圖像B進(jìn)行解碼。然后，由于解碼而獲取的圖像A和圖像B被交替地顯示。此時(shí)，觀看者例如佩戴上其左眼快門在顯示圖像A時(shí)打開而其右眼快門在顯示圖像B時(shí)打開的眼鏡，只使用左眼來觀看圖像A并只使用右眼來觀看圖像B。這樣，觀看者就可以看到3D圖像。在想要顯示2D圖像的情況下，只顯示圖像A就可以了。與此同時(shí)，還設(shè)計(jì)出了對(duì)多視點(diǎn)圖像進(jìn)行編碼的模式(例如，見專利文件I)。引用列表專利文件專利文件1:日本公開特開第2008-182669號(hào)

發(fā)明內(nèi)容
本發(fā)明將要解決的問題然而，未考慮對(duì)多視點(diǎn)圖像進(jìn)行編碼和解碼的、與用于兩個(gè)或更少的視點(diǎn)的圖像的現(xiàn)有模式有兼容性的模式。鑒于這種情況，構(gòu)思出本技術(shù)，其使得能夠根據(jù)與現(xiàn)有模式兼容的模式對(duì)多視點(diǎn)圖像進(jìn)行編碼和解碼。問題的解決方案根據(jù)本技術(shù)的第一方面的編碼裝置包括:兼容圖像編碼單元，用于通過從多視點(diǎn)圖像中指定兼容圖像并以訪問單元為單位對(duì)所指定的兼容圖像進(jìn)行編碼來生成第一編碼流；輔助圖像編碼單元，用于通過以訪問單元為單位對(duì)當(dāng)根據(jù)兼容圖像生成多視點(diǎn)圖像時(shí)使用的輔助圖像進(jìn)行編碼來生成第二編碼流；設(shè)定單元，用于對(duì)表示單元的邊界的邊界信息進(jìn)行設(shè)定；以及發(fā)送單元，用于發(fā)送由兼容圖像編碼單元生成的第一編碼流、由設(shè)定單元設(shè)定的邊界信息以及由輔助圖像編碼單元編碼的第二編碼流。根據(jù)本技術(shù)的第一方面的編碼方法對(duì)應(yīng)于根據(jù)本技術(shù)的第一方面的編碼裝置。在本技術(shù)的第一方面中，通過從多視點(diǎn)圖像中指定兼容圖像并以訪問單元為單位對(duì)所指定的兼容圖像進(jìn)行編碼來生成第一編碼流；通過以訪問單元為單位對(duì)當(dāng)根據(jù)兼容圖像生成多視點(diǎn)圖像時(shí)使用的輔助圖像進(jìn)行編碼來生成第二編碼流；對(duì)表示單元的邊界的邊界信息進(jìn)行設(shè)定，并且發(fā)送第一編碼流、邊界信息以及第二編碼流。根據(jù)本技術(shù)的第二方面的解碼裝置包括:分離單元，用于接收由于以訪問單元為單位對(duì)從多視點(diǎn)圖像中指定的兼容圖像進(jìn)行編碼而獲取的第一編碼流、表示單元的邊界的邊界信息、以及由于以訪問單元為單位對(duì)當(dāng)根據(jù)兼容圖像生成多視點(diǎn)圖像時(shí)使用的輔助圖像進(jìn)行編碼而獲取的第二編碼流，并且基于邊界信息來分離第一編碼流和第二編碼流；兼容圖像解碼單元，用于對(duì)通過分離單元分離的第一編碼流進(jìn)行解碼；以及輔助圖像解碼單元，用于對(duì)通過分離單元分離的第二編碼流進(jìn)行解碼。根據(jù)本技術(shù)的第二方面的解碼方法對(duì)應(yīng)于根據(jù)本技術(shù)的第二方面的解碼裝置。在本技術(shù)的第二方面中，接收由于以訪問單元為單位對(duì)從多視點(diǎn)圖像中指定的兼容圖像進(jìn)行編碼而獲取的第一編碼流、表示單元的邊界的邊界信息以及由于以訪問單元為單位對(duì)當(dāng)根據(jù)兼容圖像生成多視點(diǎn)圖像時(shí)所使用的輔助圖像進(jìn)行編碼而獲取的第二編碼流，并且基于邊界信息來分離第一編碼流和第二編碼流；對(duì)分離的第一編碼流進(jìn)行解碼，并且對(duì)分離的第二編碼流進(jìn)行解碼。另外，可以通過使計(jì)算機(jī)執(zhí)行程序來實(shí)現(xiàn)根據(jù)第一方面的編碼裝置和根據(jù)第二方面的解碼裝置。
此外，可以提供由計(jì)算機(jī)執(zhí)行以實(shí)現(xiàn)根據(jù)第一方面的編碼裝置和根據(jù)第二方面的解碼裝置的程序，同時(shí)程序可以在通過傳輸介質(zhì)被發(fā)送或被記錄在記錄介質(zhì)上。本發(fā)明的效果根據(jù)本技術(shù)的第一方面，可以用具有與現(xiàn)有模式的兼容性的模式對(duì)多視點(diǎn)圖像進(jìn)行編碼。另外，根據(jù)本技術(shù)的第二方面，可以用具有與現(xiàn)有模式的兼容性的模式對(duì)經(jīng)編碼的多視點(diǎn)圖像進(jìn)行解碼。


圖1是示出傳統(tǒng)的編碼裝置的示例的圖。圖2是示出根據(jù)本技術(shù)的第一實(shí)施例的編碼裝置的配置示例的框圖。圖3是示出由圖2中所示的復(fù)用單元生成的TS的配置示例的圖。圖4是示出圖3中所示的TS2的詳細(xì)的配置示例的圖。圖5是示出對(duì)TSl和TS2進(jìn)行復(fù)用的方法的示例的圖。圖6是示出由圖2中所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖7是示出由圖2中所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖8是示出與圖2中所示的編碼裝置對(duì)應(yīng)的解碼裝置的配置示例的圖。圖9是示出由圖8中所示的解碼裝置執(zhí)行的解碼處理的流程圖。圖10是示出由圖2中所示的復(fù)用單元生成的TS的另一配置示例的圖。圖11是示出圖10中所示的TS2的詳細(xì)的配置示例的圖。圖12是示出圖10中所示的TS3的詳細(xì)示例的圖。圖13是示出由圖8中所示的解碼裝置執(zhí)行的另一解碼處理的流程圖。圖14是示出根據(jù)本技術(shù)的第二實(shí)施例的編碼裝置的配置示例的框圖。圖15是示出由圖14中所示的復(fù)用單元生成的TS的配置示例的圖。圖16是示出由圖14中所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖17是示出由圖14中所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖18是示出與圖14中所示的編碼裝置對(duì)應(yīng)的解碼裝置的配置示例的圖。圖19是示出由圖18中所示的解碼裝置執(zhí)行的解碼處理的流程圖。圖20是示出由圖14中所示的復(fù)用單元生成的TS的另一配置示例的圖。圖21是示出由圖18中所示的解碼裝置執(zhí)行的另一解碼處理的流程圖。圖22是示出根據(jù)本技術(shù)的第三實(shí)施例的編碼裝置的配置示例的框圖。圖23是示出由圖22中所示的復(fù)用單元生成的TS的第一配置示例的圖。圖24是示出由圖22中所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖25是示出由圖22中所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖26是示出與圖22中所示的編碼裝置對(duì)應(yīng)的解碼裝置的配置示例的圖。圖27是示出由圖26中所示的解碼裝置執(zhí)行的解碼處理的流程圖。圖28是示出由圖22中所示的復(fù)用單元生成的TS的第二配置示例的圖。圖29是示出對(duì)圖28中所示的TSl至TS3進(jìn)行復(fù)用的方法的示例的圖。圖30是示出由圖26中所示的解碼裝置執(zhí)行的第二解碼處理的流程圖。
圖31是示出由圖22中所示的復(fù)用單元生成的TS的第三配置示例的圖。圖32是示出由圖26中所示的解碼裝置200執(zhí)行的第三解碼處理的流程圖。圖33是示出根據(jù)本技術(shù)的第四實(shí)施例的編碼裝置的配置示例的框圖。圖34是示出由圖33中所示的復(fù)用單元生成的TS的配置示例的圖。圖35是示出圖34中所示的TS2的詳細(xì)配置示例的圖。圖36是示出與圖33中所示的編碼裝置對(duì)應(yīng)的解碼裝置的配置示例的圖。圖37是示出根據(jù)本技術(shù)的第五實(shí)施例的編碼裝置的配置示例的框圖。圖38是示出圖37中所示的編碼處理單元的配置示例的圖。圖39是示出由圖38中所示的編碼單元執(zhí)行的編碼處理中的參考關(guān)系的圖。圖40是示出NAL (網(wǎng)絡(luò)抽象層)單元的配置示例的圖。圖41是示出比特流的配置示例的圖。圖42是示出根據(jù)3DV (3D視頻)模式的SEI (補(bǔ)充增強(qiáng)信息)的配置示例的圖。圖43是示出視差信息的描述的示例的圖。圖44是示出由圖37中所示的編碼裝置執(zhí)行的多視點(diǎn)編碼處理的流程圖。圖45是示出圖44中表示的步驟S257的詳細(xì)編碼處理的流程圖。圖46是示出與圖37中所示的編碼裝置對(duì)應(yīng)的根據(jù)AVC模式的解碼裝置的配置示例的框圖。圖47是示出由圖46中所示的解碼裝置執(zhí)行的解碼處理的流程圖。圖48是示出與圖37中所示的編碼裝置對(duì)應(yīng)的根據(jù)MVC模式的解碼裝置的配置示例的框圖。圖49是示出由圖48中所示的解碼裝置執(zhí)行的解碼處理的流程圖。圖50是示出與圖37中所示的編碼裝置對(duì)應(yīng)的根據(jù)3DV模式的解碼裝置的配置示例的框圖。圖51是示出由圖50所示的解碼裝置360執(zhí)行的解碼處理的流程圖。圖52是示出作為解碼目標(biāo)的編碼數(shù)據(jù)的圖。圖53是示出根據(jù)本技術(shù)的第六實(shí)施例的編碼裝置的配置示例的框圖。圖54是示出圖53中所示的編碼處理單元的配置示例的框圖。圖55是示出NAL單元的配置示例的圖。圖56是示出比特流的配置示例的圖。圖57是示出由圖53中所示的編碼裝置執(zhí)行的多視點(diǎn)編碼處理的流程圖。圖58是示出圖57中表示的步驟S369的詳細(xì)的編碼處理的流程圖。圖59是示出與圖53中所示的編碼裝置對(duì)應(yīng)的根據(jù)3DV模式的解碼裝置的配置示例的框圖。圖60是示出由圖59中所示的解碼裝置執(zhí)行的解碼處理的流程圖。圖61是示出視差信息的描述的示例的圖。圖62是示出根據(jù)本技術(shù)的第七實(shí)施例的編碼裝置的配置示例的框圖。圖63是示出兼容性信息和視差圖像信息的描述的示例的圖。圖64是示出圖63中所示的視差圖像信息的詳細(xì)描述的示例的圖。圖65是示出包括于輔助流中的兼容性信息和視差圖像信息的描述的示例的圖。
圖66是示出圖65中所示的視差圖像信息的詳細(xì)描述的示例的圖。圖67是示出由圖62中所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖68是示出由圖62中所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖69是示出與圖62中所示的編碼裝置對(duì)應(yīng)的解碼裝置的配置示例的圖。圖70是示出由圖69中所示的解碼裝置執(zhí)行的解碼處理的流程圖。圖71是示出根據(jù)本技術(shù)的第八實(shí)施例的編碼裝置的配置示例的框圖。圖72是示出由圖71中所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖73是示出由圖71中所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖74是示出與圖71中所示的編碼裝置對(duì)應(yīng)的解碼裝置的配置示例的圖。圖75是示出由圖74中所示的解碼裝置執(zhí)行的解碼處理的流程圖。圖76是示出編碼目標(biāo)的復(fù)用模型的示例的圖。圖77是示出復(fù)用的效果的特征的圖。圖78是示出編碼目標(biāo)的復(fù)用模型的另一示例的圖。圖79是示出編碼目標(biāo)的復(fù)用模型的又一示例的圖。圖80是示出根據(jù)本技術(shù)的第九實(shí)施例的編碼裝置的配置示例的框圖。圖81是示出由圖80中所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖82是示出由圖80中所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖83是示出與圖80中所示的編碼裝置對(duì)應(yīng)的解碼裝置的配置示例的圖。圖84是示出由圖83中所示的解碼裝置執(zhí)行的解碼處理的流程圖。圖85是比特流的另一配置示例。圖86是示出根據(jù)用于圖85中所示的視差圖像的3DV模式的子集SPS (序列參數(shù)集)的描述的示例的圖。圖87是示出圖86中所示的視差圖像的擴(kuò)展信息的描述的示例的圖。圖88是示出圖86中所示的視差圖像的VUI (視頻可用性信息)擴(kuò)展信息的描述的示例的圖。圖89是示出根據(jù)3DV模式的編碼數(shù)據(jù)的NAL報(bào)頭的描述的示例的圖。圖90是示出圖89中所示的視差圖像報(bào)頭擴(kuò)展信息的描述的示例的圖。圖91是示出根據(jù)圖85中所示的3DV模式的SEI的描述的示例的圖。圖92是示出比特流的又一配置示例的圖。圖93是示出根據(jù)圖92中所示的圖像的3DV模式的子集SPS的描述的示例的圖。圖94是示出在3DV模式是符合HEVC模式的模式的情況下的比特流的配置示例的圖。圖95是示出圖94中所示的SPS的描述的示例的圖。圖96是示出圖95中所示的子集SPS的描述的示例的圖。圖97是示出圖96中所示的子集SPS的VUI信息的描述的示例的圖。圖98是示出根據(jù)圖94中所示的3DV模式的SEI的描述的示例的圖。圖99是示出根據(jù)實(shí)施例的計(jì)算機(jī)的配置示例的圖。圖100是示出根據(jù)本技術(shù)的電視設(shè)備的示意性配置的圖。圖101是示出根據(jù)本技術(shù)的蜂窩電話的示意性配置的圖。
圖102是示出根據(jù)本技術(shù)的記錄和再現(xiàn)裝置的示意性配置的圖。圖103是示出根據(jù)本技術(shù)的成像設(shè)備的示意性配置的圖。
具體實(shí)施例方式〈第一實(shí)施例〉[根據(jù)實(shí)施例的編碼裝置的配置示例]圖2是示出根據(jù)本技術(shù)的第一實(shí)施例的編碼裝置的配置示例的框圖。圖2中所示的編碼裝置50是由下述單元配置而成:成像單元51A至成像單元51C、圖像轉(zhuǎn)換單元52、視差圖像生成單元53、圖像信息生成單元54、兼容性信息生成單元55、視點(diǎn)間距離信息生成單元56、視差圖像信息生成單元57、編碼器58以及復(fù)用單元59。編碼裝置50根據(jù)現(xiàn)有編碼模式通過對(duì)用作2D圖像的多視點(diǎn)圖像中的一個(gè)視點(diǎn)的圖像進(jìn)行編碼來獨(dú)立地生成各TS，從而確保與對(duì)2D圖像進(jìn)行編碼的現(xiàn)有編碼裝置的兼容性。在下文中，在多視點(diǎn)圖像中，以現(xiàn)有編碼模式被編碼以確保與現(xiàn)有編碼裝置的兼容性的圖像將被稱為兼容圖像，而這樣的圖像將被稱為輔助圖像:其被用于通過使用兼容圖像來生成多于兼容圖像的視點(diǎn)數(shù)目的視點(diǎn)的圖像。在編碼裝置50中，成像單元51A捕捉預(yù)定視點(diǎn)的HD (高清晰度)圖像作為圖像Al并將所捕捉的圖像提供給圖像轉(zhuǎn)換單元52、視差圖像生成單元53以及視點(diǎn)間距離信息生成單元56。成像單元51B在水平方向上與成像單元51A相隔距離Λ dlAB、深度方向上具有距對(duì)象同樣距離的位置處捕 捉與圖像Al的視點(diǎn)不同的視點(diǎn)的HD圖像作為圖像BI，并將所捕捉的圖像提供給圖像轉(zhuǎn)換單元52、視差圖像生成單元53以及視點(diǎn)間距離信息生成單元56。成像單元51C在與成像單元51B相反的水平方向上與成像單元51A相隔距離Λ dlAC的位置處捕捉與圖像Al和圖像BI的視點(diǎn)都不同的視點(diǎn)的HD圖像作為圖像Cl，并將所捕捉的圖像提供給圖像轉(zhuǎn)換單元52、視差圖像生成單元53以及視點(diǎn)間距離信息生成單元56。對(duì)應(yīng)于圖像BI和圖像Cl的視點(diǎn)是位于可以被識(shí)別為3D圖像的圖像的視點(diǎn)中的夕卜側(cè)的視點(diǎn)。這樣，與編碼裝置50對(duì)應(yīng)的解碼裝置可以通過使用圖像Al至圖像Cl對(duì)位于圖像BI的視點(diǎn)和圖像Cl的視點(diǎn)的更內(nèi)側(cè)的視點(diǎn)的圖像進(jìn)行內(nèi)插來生成多視點(diǎn)圖像。因此，可以生成這樣的多視點(diǎn)圖像:其精度高于其中通過使用位于內(nèi)側(cè)的視點(diǎn)的圖像來對(duì)位于外側(cè)的視點(diǎn)的圖像進(jìn)行內(nèi)插的情況下的精度。距離八(1^和Λ dlAC可以被配置為固定的或者每次都改變。圖像轉(zhuǎn)換單元52將在水平方向上的位置位于成像單元51A至成像單元51C中內(nèi)側(cè)的成像單元51A提供的圖像Al確定為兼容圖像。圖像轉(zhuǎn)換單元52將指定圖像Al為兼容圖像的信息提供給兼容性信息生成單元55。然后，圖像轉(zhuǎn)換單元52將作為兼容圖像的圖像Al直接提供給編碼器58。另外，圖像轉(zhuǎn)換單元52將除圖像Al之外的圖像BI和圖像Cl設(shè)定為輔助圖像，并且根據(jù)預(yù)定的復(fù)用模式對(duì)圖像BI和圖像Cl進(jìn)行復(fù)用。更具體地，例如，在復(fù)用模式為并排模式的情況下，圖像轉(zhuǎn)換單元52將圖像BI和圖像Cl中的每個(gè)圖像的分辨率減半。然后，圖像轉(zhuǎn)換單元52對(duì)其分辨率減半的圖像BI (在下文中，稱為半分辨率圖像BI)和其分辨率減半的圖像Cl (在下文中，稱為半分辨率圖像Cl)進(jìn)行復(fù)用，以使得半分辨率圖像BI變?yōu)槠聊坏淖蟀雸D像而半分辨率圖像Cl變?yōu)槠聊坏挠野雸D像。圖像轉(zhuǎn)換單元52將由于復(fù)用處理而獲取的復(fù)用圖像提供給編碼器58并且將表示輔助圖像的復(fù)用模式的信息提供給圖像信息生成單元54。視差圖像生成單元53使用從成像單元51A至成像單元51C提供的圖像Al至圖像Cl來檢測(cè)圖像Al至圖像Cl中的每個(gè)像素的視差。視差圖像生成單元53生成表示作為兼容圖像的圖像Al中的每個(gè)像素的視差的視差圖像Al丨并將所生成的視差圖像直接提供給編碼器58。另外，視差圖像生成單元53生成表示作為輔助圖像的圖像BI中的每個(gè)像素的視差的視差圖像BI丨以及表示作為輔助圖像的圖像Cl中的每個(gè)像素的視差的視差圖像Cl丨，并且根據(jù)預(yù)定的復(fù)用模式對(duì)所生成的視差圖像進(jìn)行復(fù)用。視差圖像生成單元53將由于復(fù)用處理而獲取的復(fù)用圖像提供給編碼器58。另外，視差圖像生成單元53將表示輔助圖像的視差圖像的復(fù)用模式的信息提供給視差圖像信息生成單元57。圖像信息生成單元54基于從圖像轉(zhuǎn)換單元52提供的信息來生成表示輔助圖像的復(fù)用模式等的信息作為圖像信息(其是關(guān)于兼容圖像和輔助圖像的信息)，并且將所生成的圖像信息提供給復(fù)用單元59。兼容性信息生成單元55基于從圖像轉(zhuǎn)換單元52提供的信息來生成指定兼容圖像、兼容模式等的信息作為兼容性信息(其是關(guān)于兼容性的信息的)，并將所生成的兼容性信息提供給復(fù)用單元59。這里，兼容模式是表示對(duì)兼容圖像進(jìn)行編碼的方法的模式。作為兼容模式的示例，有:單模式，該單模式表示根據(jù)AVC模式對(duì)一個(gè)視點(diǎn)的兼容圖像進(jìn)行編碼的編碼方法；幀打包模式(frame packing mode),該巾貞打包模式表示對(duì)兩個(gè)視點(diǎn)的兼容圖像進(jìn)行復(fù)用并且根據(jù)AVC模式對(duì)所述兼容圖像進(jìn)行編碼的編碼方法；以及立體模式，該立體模式表示根據(jù)MVC模式對(duì)兩個(gè)視點(diǎn)的兼容圖像進(jìn)行編碼的編碼方法。視點(diǎn)間距離信息生成單元56通過使用由成像單元51A至成像單元51C提供的圖像Al至圖像Cl來檢測(cè)圖像Al至圖像Cl中之間的每個(gè)視點(diǎn)間距離(在下文中，稱為視點(diǎn)間距離)。例如，視點(diǎn)間距離信息生成單元56檢測(cè)成像單元51A與成像單元51B之間在水平方向上的距離AcIIab以及成像單元51A與成像單元51C之間在水平方向上的距離八(11&作為視點(diǎn)間距離。視點(diǎn)間距離信息生成單元56生成表示視點(diǎn)間距離等的信息作為是視點(diǎn)間距離信息(其是關(guān)于視點(diǎn)間距離信息的信息)，并且將所生成的視點(diǎn)間距離信息提供給復(fù)用單元59。視差圖像信息生成單元57基于從視差圖像生成單元53提供的信息來生成表示輔助圖像的視差圖像的復(fù)用模式等的信息作為是視差圖像信息(其是關(guān)于視差圖像的信息)，并將所生成的視差圖像信息提供給復(fù)用單元59。編碼器58由兼容編碼器61和輔助編碼器62配置而成。兼容編碼器61 (兼容圖像編碼單元)從由圖像轉(zhuǎn)換單元52提供的兼容圖像和輔助圖像的復(fù)用圖像中指定作為兼容圖像的圖像Al，并根據(jù)現(xiàn)有的AVC模式以訪問單元為單位對(duì)圖像Al進(jìn)行編碼。兼容編碼器61將由于編碼而獲取的編碼流提供給復(fù)用單元59作為兼容流(第一編碼流)。輔助編碼器62 (輔助圖像編碼單元)根據(jù)預(yù)定的模式、以訪問單元為單位對(duì)從圖像轉(zhuǎn)換單元52提供的輔助圖像的復(fù)用圖像以及從視差圖像生成單元53提供的兼容圖像的視差圖像Al丨和輔助圖像的視差圖像的復(fù)用圖像進(jìn)行編碼。輔助編碼器62將由于編碼而獲取的編碼流(第二編碼流、第一視差編碼流以及第二視差編碼流)提供給復(fù)用單元59作為輔助流?？梢詫VC模式、MVC模式、MPEG2(運(yùn)動(dòng)圖像專家組第二階段)等用作為由輔助編碼器62采用的編碼模式。復(fù)用單元59 (設(shè)定單元以及發(fā)送單元)使用下述信息來生成TS:從兼容編碼器61提供的兼容流、從輔助編碼器62提供的輔助流、從圖像信息生成單元54提供的圖像信息、從兼容性信息生成單元55提供的兼容性信息、從視點(diǎn)間距離信息生成單元56提供的視點(diǎn)間距離信息、從視差圖像信息生成單元57提供的視差圖像信息等。復(fù)用單元59對(duì)所生成的TS進(jìn)行復(fù)用并且發(fā)送由此而獲取的復(fù)用流。在下文中，圖像信息、兼容性信息、視點(diǎn)間距離信息以及視差圖像信息將被統(tǒng)稱為輔助信息。[TS的配置示例]圖3是示出由圖2中所示的復(fù)用單元59生成的TS的配置示例的圖。在圖3中所示的示例中，由復(fù)用單元59根據(jù)兼容流來生成TS1。另外，根據(jù)包括經(jīng)編碼的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像Al丨以及輔助圖像的視差圖像的復(fù)用圖像的輔助流和輔助信息來生成TS2。在圖3中所示的示例中，因?yàn)榧嫒萘骱统嫒萘髦獾牧鞔鎯?chǔ)在互不相同的TS中，所以不需要減小兼容流的信息量。因此，兼容圖像的圖像質(zhì)量可以配置為與根據(jù)現(xiàn)有的AVC方法被編碼的2D圖像的圖像質(zhì)量相同。圖4是示出圖3中所示的TS2的詳細(xì)的配置示例的圖。如圖4的A至圖4的C中所示，在圖3所示的TS2中，數(shù)據(jù)以單元為單位布置，并且，在每個(gè)單元的頭部處插入了表示單元的分隔(邊界)的定界符(Del)(邊界信息)。在圖4的A中所示的示例中，以訪問單元(其為解碼單元)為單位布置的下述信息被分別布置在每個(gè)單元中作為數(shù)據(jù)，所述信息為:經(jīng)編碼的輔助圖像的復(fù)用圖像(B1+C1)和輔助圖像的復(fù)用圖像的輔助信息(Aux Inf)、經(jīng)編碼的兼容圖像的視差圖像(Al ')和兼容圖像的視差圖像的輔助信息、或經(jīng)編碼的輔助圖像的視差圖像的復(fù)用圖像(BI ' +Cl')和輔助圖像的視差圖像的復(fù)用圖像的輔助信息。這種情況下，接收TS2的解碼裝置可以通過以單元為單位提取數(shù)據(jù)的方式來對(duì)以訪問單元為單位布置的經(jīng)編碼的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像以及輔助圖像的視差圖像的復(fù)用圖像進(jìn)行獨(dú)立地提取。因此，例如在解碼裝置只使用兼容圖像和兼容圖像的視差圖像來生成多視點(diǎn)圖像的情況下，可以容易地提取用于生成多視點(diǎn)圖像的圖像。另外，由于輔助圖像的復(fù)用圖像、兼容圖像的視差圖像以及輔助圖像的視差圖像的復(fù)用圖像中的每個(gè)圖像與其輔助信息布置在同一單元中，因此可以以容易的方式對(duì)每個(gè)單元中布置的圖像進(jìn)行獨(dú)立地處理。在圖4的B中所示的示例中，以訪問單元為單位布置的經(jīng)編碼的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像、輔助圖像的視差圖像的復(fù)用圖像以及輔助信息一起布置在每個(gè)單元中。這種情況下，接收TS2的解碼裝置可以通過以單元為單位提取數(shù)據(jù)的方式對(duì)以訪問單元為單位布置的經(jīng)編碼的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像、輔助圖像的視差圖像的復(fù)用圖像以及輔助信息一起進(jìn)行提取。在圖4的C中所示的示例中，以訪問單元為單位布置的經(jīng)編碼的輔助圖像的復(fù)用圖像和輔助圖像的復(fù)用圖像的輔助信息，或者經(jīng)編碼的兼容圖像的視差圖像、輔助圖像的視差圖像的復(fù)用圖像以及兼容圖像的視差圖像的和輔助圖像的視差圖像的輔助信息被布置在每個(gè)單元中。這種情況下，接收TS2的解碼裝置可以通過以單元為單位提取數(shù)據(jù)的方式對(duì)以訪問單元為單位布置的經(jīng)編碼的輔助圖像的復(fù)用圖像、以及兼容圖像的視差圖像和輔助圖像的視差圖像的復(fù)用圖像進(jìn)行獨(dú)立地提取。因此，例如，在其中用于圖像的解碼器和用于視差圖像的解碼器分離地裝備在解碼裝置中的情況下，可以將數(shù)據(jù)高效地提供給每個(gè)解碼器。此外，可以由解碼裝置以容易的方式獨(dú)立地處理圖像和視差圖像。[復(fù)用方法的描述]圖5是示出對(duì)TSl和TS2進(jìn)行復(fù)用的方法的示例的圖。如圖5中所示，通過以訪問單元為單位從頭部開始按照TS2和TSl的順序布置來對(duì)TSl和TS2進(jìn)行復(fù)用。另外，表示包括除兼容流之外的信息的TS頭部的3DV表示定界符(邊界信息)被設(shè)定并添加至TS2的報(bào)頭。換句話說，3DV表示定界符被布置在特定訪問單元的TS2與前一訪問單元的TSl之間的邊界上。因此，與編碼裝置50對(duì)應(yīng)的解碼裝置可以通過提取從特定3DV表示定界符至下一 3DV表示定界符的數(shù)據(jù)而很容易地識(shí)別兼容流和與兼容流同步的輔助流以及輔助圖像。[編碼裝置的處理的描述]圖6和圖7是示出由圖2中所示的編碼裝置50執(zhí)行的編碼處理的流程圖。此編碼處理例如在圖像Al至圖像Cl從成像單元51A至成像單元51C輸出時(shí)開始。在圖6中所示的步驟Sll中，視點(diǎn)間距離信息生成單元56使用由成像單元51A至成像單元51C提供的圖像Al至圖像Cl來檢測(cè)距離Λ (IIab和Λ dlAC作為視點(diǎn)間距離。在步驟S12中，視點(diǎn)間距離信息生成單元56生成表示在步驟Sll中檢測(cè)到的視點(diǎn)間距離等的信息作為視點(diǎn)間距離信息，并將所生成的視點(diǎn)間距離信息輸入到復(fù)用單元59。在步驟S13中，圖像轉(zhuǎn)換單元52將由成像單元51A提供的圖像Al確定為兼容圖像并且確定輔助圖像的復(fù)用模式，所述成像單元51A在水平方向上的位置位于成像單元51A至成像單元51C中的內(nèi)側(cè)。圖像轉(zhuǎn)換單元52將指定圖像Al為兼容圖像的信息提供給兼容性信息生成單元55并將輔助圖像的復(fù)用模式提供給圖像信息生成單元54。在步驟S14中，兼容性信息生成單元55基于由圖像轉(zhuǎn)換單元52提供的信息生成指定圖像Al為兼容圖像、單模式為兼容模式等的信息作為兼容信息，并將所生成的兼容性信息輸入到復(fù)用單兀59。在步驟S15中，圖像信息生成單元54基于從圖像轉(zhuǎn)換單元52提供的信息生成表示輔助圖像的復(fù)用模式等的信息作為圖像信息，并將所生成的圖像信息輸入到復(fù)用單元59。在步驟S16中，圖像轉(zhuǎn)換單元52將除圖像Al之外的圖像BI和圖像Cl設(shè)定為輔助圖像并且基于在步驟S13中確定的輔助圖像的復(fù)用模式對(duì)輔助圖像進(jìn)行復(fù)用，從而獲取輔助圖像的復(fù)用圖像。在步驟S17中，圖像轉(zhuǎn)換單元52將作為兼容圖像的圖像Al和輔助圖像的復(fù)用圖像輸入到編碼器58。在圖7中所示的步驟S18中，視差圖像生成單元53使用由成像單元51A至成像單元51C提供的圖像Al至圖像Cl來檢測(cè)圖像Al至圖像Cl的每個(gè)像素的視差，并且生成視差圖像Al ’至視差圖像Cl ’。在步驟S19中，視差圖像生成單元53確定輔助圖像的視差圖像的復(fù)用模式并將表示復(fù)用模式的信息提供給視差圖像信息生成單元57。在步驟S20中，視差圖像信息生成單元57基于從視差圖像生成單元53提供的信息生成表示輔助圖像的視差圖像的復(fù)用模式等的信息作為視差圖像信息，并將所生成的視差圖像信息輸入到復(fù)用單元59。在步驟S21中，視差圖像生成單元53基于步驟S19中確定的輔助圖像的視差圖像的復(fù)用模式來對(duì)輔助圖像的視差圖像進(jìn)行復(fù)用，從而獲取輔助圖像的視差圖像的復(fù)用圖像。在步驟S22中，視差圖像生成單元53將兼容圖像的視差圖像Al'和輔助圖像的視差圖像的復(fù)用圖像輸入到編碼器58。在步驟S23中，編碼器58的兼容編碼器61根據(jù)現(xiàn)有的AVC模式對(duì)作為由圖像轉(zhuǎn)換單元52提供的兼容圖像的圖像Al進(jìn)行編碼，并將由于編碼而獲取的編碼流提供給復(fù)用單元59作為兼容流。在步驟S24中，輔助編碼器62根據(jù)預(yù)定的模式對(duì)由圖像轉(zhuǎn)換單元52提供的輔助圖像的復(fù)用圖像以及由視差圖像生成單元53提供的兼容圖像的視差圖像Al丨和輔助圖像的視差圖像的復(fù)用圖像進(jìn)行編碼。輔助編碼器62將由于編碼處理而獲取的編碼流作為輔助流提供給復(fù)用單元59。在步驟S25中，復(fù)用單元59根據(jù)從兼容編碼器61提供的兼容流生成TS1，根據(jù)從輔助編碼器62提供的輔助流和輔助信息生成TS2，執(zhí)行復(fù)用處理并且發(fā)送由于復(fù)用而獲取的復(fù)用流。此復(fù)用流例如被記錄在BD (藍(lán)光(注冊(cè)商標(biāo))盤)等上或作為廣播流進(jìn)行發(fā)送。然后，該處理結(jié)束。如上所述，由于編碼裝置50使用存儲(chǔ)在互不相同的TS中的兼容流以及輔助流和輔助信息來執(zhí)行復(fù)用處理，因此可以確保與在復(fù)用處理中對(duì)現(xiàn)有2D圖像進(jìn)行編碼的編碼裝置的兼容性。換句話說，編碼裝置50可以根據(jù)與現(xiàn)有模式有兼容性的模式對(duì)多視點(diǎn)圖像執(zhí)行復(fù)用處理。另外，由于編碼裝置50根據(jù)現(xiàn)有編碼模式對(duì)多視點(diǎn)圖像中的作為兼容圖像的一個(gè)視點(diǎn)的圖像進(jìn)行編碼，因此可以確保與在編碼處理中對(duì)2D圖像進(jìn)行編碼的現(xiàn)有編碼裝置的兼容性。換句話說，編碼裝置50可以根據(jù)與現(xiàn)有編碼模式有兼容性的模式對(duì)多視點(diǎn)圖像進(jìn)行編碼。此外，由于編碼裝置50對(duì)三個(gè)視點(diǎn)的圖像Al至Cl進(jìn)行編碼，因此與編碼裝置50對(duì)應(yīng)的解碼裝置可以根據(jù)三個(gè)視點(diǎn)的圖像Al至Cl生成多視點(diǎn)圖像。這樣，與根據(jù)兩個(gè)視點(diǎn)的圖像生成多視點(diǎn)圖像的情況相比，根據(jù)該解碼裝置，可以生成的圖像的視點(diǎn)不受限制，并且可以生成具有相對(duì)高的精度的多視點(diǎn)圖像。另外，由于編碼裝置50在輔助圖像的分辨率降低的情況下對(duì)圖像進(jìn)行編碼，所以編碼處理和解碼處理的處理開銷低于在分辨率不降低的情況下進(jìn)行編碼的情況。例如，在不降低其分辨率來對(duì)兩個(gè)視點(diǎn)的輔助圖像進(jìn)行編碼的情況下，雖然編碼處理和解碼處理的處理開銷與對(duì)兩個(gè)HD圖像的編碼處理和解碼處理的處理開銷相同，但是由編碼裝置50執(zhí)行的對(duì)兩個(gè)視點(diǎn)的輔助圖像的編碼處理的處理開銷與對(duì)一個(gè)HD圖像的編碼處理或解碼處理的處理開銷相同。因此，可以防止由解碼裝置執(zhí)行的解碼處理的性能對(duì)多視點(diǎn)圖像的圖像質(zhì)量造成很大的影響。此外，當(dāng)合成多視點(diǎn)圖像時(shí)，如稍后所述的那樣，與編碼裝置50對(duì)應(yīng)的解碼裝置以多視點(diǎn)圖像的視點(diǎn)數(shù)目的倒數(shù)的比率來降低分辨率，由此由編碼裝置50執(zhí)行的使輔助圖像的分辨率降低不會(huì)影響合成后的多視點(diǎn)圖像的圖像質(zhì)量。另外，由于編碼裝置50在輔助圖像的分辨率減半的情況下執(zhí)行編碼，并且在輔助圖像的視差圖像的分辨率減半的同時(shí)對(duì)輔助圖像的視差圖像進(jìn)行編碼，因此可以將編碼目標(biāo)的信息量配置為大約對(duì)應(yīng)于AVC模式下4個(gè)HD圖像(1080ix4)的信息量。這里，綜合考慮顯示多視點(diǎn)圖像的當(dāng)前顯示裝置和根據(jù)其的解碼裝置的處理速度、有關(guān)于電力開銷的處理性能、發(fā)送數(shù)據(jù)速率、發(fā)送帶寬、存儲(chǔ)器的帶寬、存儲(chǔ)器訪問速度等，足夠作為可以由解碼裝置處理的信息量的值被認(rèn)為約是對(duì)應(yīng)于當(dāng)前狀態(tài)下的MVC模式的HD圖像的信息量的兩倍，即，對(duì)應(yīng)于AVC模式下的4個(gè)HD圖像的信息量。因此，可以通過合理的方法以合理的處理開銷來實(shí)現(xiàn)與編碼裝置50對(duì)應(yīng)的解碼裝置(解碼方法)，所述編碼裝置的編碼目標(biāo)的信息量約對(duì)應(yīng)于AVC模式下4個(gè)HD圖像(1080ix4)的信息量。另外，根據(jù)編碼裝置50，編碼目標(biāo)的信息量被減小至對(duì)應(yīng)于AVC模式下約4個(gè)HD圖像(1080ix4)的信息量，因此，可以很容易地將編碼裝置作為具有可用帶寬的限制的BD或廣播應(yīng)用來操作。此外，因?yàn)榫幋a裝置50生成視差圖像并在視差圖像包括在編碼流中的同時(shí)發(fā)送視差圖像，所以與編碼裝置50對(duì)應(yīng)的解碼裝置不需要生成用于生成多視點(diǎn)圖像的視差圖像，因此，可以減小解碼裝置的處理負(fù)荷。從而可以減小解碼裝置的制造開銷。另外，可以防止解碼裝置的視差檢測(cè)性能對(duì)多視點(diǎn)圖像的圖像質(zhì)量造成很大的影響。[解碼裝置的配置示例]圖8是示出對(duì)從圖2中所示的編碼裝置50發(fā)送的復(fù)用流進(jìn)行解碼的解碼裝置的配置示例的圖。圖8中所示的解碼裝置120由下述單元配置而成:分離單元121、解碼器122、圖像信息獲取單元123、視點(diǎn)間距離信息獲取單元124、視差圖像信息獲取單元125、兼容性信息獲取單元126以及圖像生成單元127。解碼裝置120對(duì)從編碼裝置50發(fā)送的復(fù)用流進(jìn)行分離和解碼，生成一個(gè)視點(diǎn)的圖像或多視點(diǎn)圖像，并且將所生成的圖像顯示在顯示裝置(圖中未示出)上。更具體地，解碼裝置120的分離單元121 (分離單元)接收從編碼裝置50發(fā)送的復(fù)用流并且分離每個(gè)TS。分離單元121對(duì)包括于TS中的兼容流和包括于TS中的輔助流進(jìn)行提取并且將所提取的流提供給解碼器122。另外，分離單元121對(duì)包括于TS中的輔助信息進(jìn)行提取，將包括于輔助信息中的圖像信息提供給圖像信息獲取單元123，以及將視點(diǎn)距離信息提供給視點(diǎn)間距離信息獲取單元124。此外，分離單元121將包括于輔助信息中的視差圖像信息提供給視差圖像信息獲取單元125并且將兼容性信息提供給兼容性信息獲取單元126。解碼器122由兼容解碼器131和輔助解碼器132配置而成。解碼器122的兼容解碼器131 (兼容圖像解碼單元)根據(jù)與AVC模式對(duì)應(yīng)的模式對(duì)包括于由分離單元121提供的兼容流中的經(jīng)編碼的兼容圖像進(jìn)行解碼，并將解碼后的兼容圖像提供給圖像生成單元127。輔助解碼器132 (輔助圖像解碼單元)根據(jù)與圖2中所示的輔助編碼器62對(duì)應(yīng)的模式對(duì)下述圖像進(jìn)行解碼:包括于從分離單元121提供的輔助流中的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像以及輔助圖像的視差圖像的復(fù)用圖像。輔助解碼器132將由于解碼處理而獲取的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像A /以及輔助圖像的視差圖像的復(fù)用圖像提供給圖像生成單元127。圖像信息獲取單元123獲取從分離單元121提供的圖像信息并將所獲取的圖像信息提供給圖像生成單元127。視點(diǎn)間距離信息獲取單元124獲取從分離單元121提供的視點(diǎn)間距離信息并將所獲取的視點(diǎn)間距離信息提供給圖像生成單元127。視差圖像信息獲取單元125獲取從分離單元121提供的視差圖像信息并將所獲取的視差圖像信息提供給圖像生成單元127。兼容性信息獲取單元126獲取從分離單元121提供的兼容性信息并將所獲取的兼容性信息提供給圖像生成單元127。圖像生成單元127根據(jù)由觀看者提供的指令輸出圖像并將圖像顯示在顯示裝置(圖中未示出)上。更具體地，圖像生成單元127 (生成單元)根據(jù)觀看者的用于顯示多視點(diǎn)的3D圖像的指令、基于從圖像信息獲取單元123提供的圖像信息、從視點(diǎn)間距離信息獲取單元124提供的視點(diǎn)間距離信息、從視差圖像信息獲取單元125提供的視差圖像信息、從兼容性信息獲取單元126提供的兼容性信息等，通過使用兼容圖像、輔助圖像的復(fù)用圖像、兼容圖像的視差圖像以及輔助圖像的視差圖像的復(fù)用圖像，來生成與顯示裝置(圖中未示出)對(duì)應(yīng)的三個(gè)或更多個(gè)視點(diǎn)的圖像，每個(gè)圖像的分辨率為兼容圖像或輔助圖像的分辨率的一半。更具體地，圖像生成單元127基于下述信息從輔助圖像的視差圖像的復(fù)用圖像中分離每個(gè)輔助圖像的視差圖像，該信息表示從視差圖像信息獲取單元125提供的視差圖像信息中包括的輔助圖像的視差圖像的復(fù)用模式。此外，圖像生成單元127基于下述信息從輔助圖像的復(fù)用圖像中分離每個(gè)輔助圖像，該信息表示從圖像信息獲取單元123提供的圖像信息中包括的輔助圖像的復(fù)用模式。此外，圖像生成單元127基于視點(diǎn)間距離信息和與顯示裝置(圖中未示出)對(duì)應(yīng)的視點(diǎn)的數(shù)目來確定將要生成的多視點(diǎn)圖像的每個(gè)視點(diǎn)的位置。然后，圖像生成單元127通過使用兼容圖像、每個(gè)輔助圖像、兼容圖像的視差圖像以及每個(gè)輔助圖像的視差圖像來生成其位置被確定的每個(gè)視點(diǎn)的圖像。然后，圖像生成單元127將所生成的每個(gè)視點(diǎn)的圖像的分辨率轉(zhuǎn)換成是兼容圖像或輔助圖像的分辨率的“ I/視點(diǎn)的數(shù)目”的分辨率，合成所述圖像，并且將合成的圖像顯示在顯示裝置(圖中未示出)上。此時(shí)，對(duì)合成后的多視點(diǎn)圖像進(jìn)行顯示以使得每個(gè)視點(diǎn)的視角都不同，從而觀看者可以不用佩戴眼鏡而通過使用其左眼和右眼看任意兩個(gè)視點(diǎn)的圖像的方式來觀看3D圖像。另外，圖像生成單元127根據(jù)觀看者的用于顯示2D圖像的指令來輸出作為由解碼器122的兼容解碼器131提供的兼容圖像的圖像Al，從而將圖像顯示在顯示裝置(圖中未示出)上。于是，觀看者可以觀看2D圖像。[解碼裝置的處理的描述]圖9是示出由圖8中所示的解碼裝置120執(zhí)行的解碼處理的流程圖。此解碼處理例如在從圖2中所示的編碼裝置50發(fā)送的復(fù)用流被輸入到解碼裝置120時(shí)開始。在圖9中所示的步驟S31中，解碼裝置120的圖像生成單元127確定觀看者是否已經(jīng)做出用于顯示2D圖像的指令。在其中在步驟S31中確定觀看者沒有做出用于顯示2D圖像的指令的情況下，換句話說，在觀看者做出用于顯示多視點(diǎn)模式的3D圖像的指令的情況下，處理進(jìn)行到步驟S32。在步驟S32中，分離單元121接收從編碼裝置50發(fā)送的復(fù)用流并從復(fù)用流中分離TSl和TS2。分離單元121通過參照定界符等對(duì)包括于TSl中的兼容流和包括于TS2中的輔助流進(jìn)行提取并且將所提取的流提供給解碼器122。而且，分離單元121參照定界符等對(duì)包括于TS2中的輔助信息進(jìn)行提取，將包括于輔助信息中的圖像信息提供給圖像信息獲取單元123并且將視點(diǎn)距離信息提供給視點(diǎn)間距離信息獲取單元124。另外，分離單元121將包括于輔助信息中的視差圖像信息提供給視差圖像獲取單元125并將兼容性信息提供給兼容性信息獲取單元126。在步驟S33中，解碼器122的兼容解碼器131從由分離單元121提供的兼容流中提取經(jīng)編碼的兼容圖像并根據(jù)與AVC模式對(duì)應(yīng)的模式對(duì)兼容圖像進(jìn)行解碼。然后兼容解碼器131將由于解碼處理而獲取的圖像Al提供給圖像生成單元127。在步驟S34中，輔助解碼器132從輔助流中提取經(jīng)編碼的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像A '以及輔助圖像的視差圖像的復(fù)用圖像，并且根據(jù)與圖2中所示的輔助編碼器62對(duì)應(yīng)的模式對(duì)所提取的圖像進(jìn)行解碼。輔助解碼器132將由于解碼處理而獲取的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像A '以及輔助圖像的視差圖像的復(fù)用圖像提供給圖像生成單元127。在步驟S35中，圖像信息獲取單元123獲取從分離單元121提供的圖像信息并將圖像信息輸入到圖像生成單元127。在步驟S36中，視點(diǎn)間距離信息獲取單元124獲取從分離單元121提供的視點(diǎn)間距離信息并將視點(diǎn)間距離信息提供給圖像生成單元127。在步驟S37中，視差圖像信息獲取單元125獲取從分離單元121提供的視差圖像信息并將視差圖像信息輸入到圖像生成單元127。在步驟S38中，兼容性獲取單元126獲取從分離單元121提供的兼容性信息并將兼容性信息提供給圖像生成單元127。在步驟S39中，圖像生成單元127基于從視點(diǎn)間距離信息獲取單元124提供的視點(diǎn)間距離信息以及與顯示裝置(圖中未示出)對(duì)應(yīng)的視點(diǎn)的數(shù)目來確定將要生成的多視點(diǎn)圖像的每個(gè)視點(diǎn)的位置。例如，在其中視點(diǎn)間距離信息中包括的視點(diǎn)間距離短的情況下，圖像生成單元127還將位于圖像BI和Cl的視點(diǎn)的外側(cè)的視點(diǎn)的位置確定為將要生成的多視點(diǎn)3D圖像的視點(diǎn)的位置。另一方面，在視點(diǎn)間距離信息中包括的視點(diǎn)間距離長的情況下，圖像生成單元127只將位于圖像BI的視點(diǎn)和圖像Cl內(nèi)側(cè)的視點(diǎn)的位置確定為將要生成的多視點(diǎn)3D圖像的視點(diǎn)的位置。在步驟S40中，圖像生成單元127基于步驟S39中確定的每個(gè)視點(diǎn)的位置、從圖像信息獲取單元123提供的圖像信息、從視差圖像信息獲取單元125提供的視差圖像信息、從兼容性信息獲取單元126提供的兼容性信息等，通過使用兼容圖像、輔助圖像的復(fù)用圖像、兼容圖像的視差圖像以及輔助圖像的視差圖像的復(fù)用圖像來生成視點(diǎn)的圖像，每個(gè)圖像的分辨率為兼容圖像或輔助圖像的分辨率的一半。在步驟S41中，圖像生成單元127將在步驟S40中生成的每個(gè)視點(diǎn)的圖像的分辨率轉(zhuǎn)換成是兼容圖像或輔助圖像的分辨率的“ I/視點(diǎn)的數(shù)目”的分辨率并且基于視點(diǎn)的位置對(duì)轉(zhuǎn)換后的每個(gè)視點(diǎn)的圖像進(jìn)行合成。在步驟S42中，圖像生成單元127將通過步驟S41的處理而獲取的合成后的多視點(diǎn)圖像輸出到顯示裝置(圖中未示出)，由此顯示多視點(diǎn)圖像以使得每個(gè)視點(diǎn)的視角都不同。然后，解碼處理結(jié)束。另一方面，在其中在步驟S31中確定觀看者已經(jīng)做出了用于顯示2D圖像的指令的情況下，在步驟S43中分離單元121從復(fù)用流中分離TSl。更具體地，分離單元121從復(fù)用流中獲取除TS2之外的TSl，該TSl添加有3DV表示定界符NAL單元。然后，分離單元121通過參照定界符等對(duì)包括于TSl中的兼容流進(jìn)行提取并且將所提取的流提供給解碼器122。在步驟S44中，解碼器122的兼容解碼器131從由分離單元121提供的兼容流中提取經(jīng)編碼的兼容圖像，并且根據(jù)與AVC模式對(duì)應(yīng)的模式對(duì)經(jīng)編碼的兼容圖像進(jìn)行解碼。兼容解碼器131將作為由于解碼處理而獲取的兼容圖像的圖像A提供給圖像生成單元127。在步驟S45中，圖像生成單元127將作為由兼容解碼器131提供的兼容圖像的圖像Al提供給顯示裝置(圖中未示出)，從而顯示圖像。然后處理結(jié)束。在只可以對(duì)與解碼裝置120有兼容性的兼容流進(jìn)行解碼的解碼裝置中，忽略了添加有3DV表示定界符NAL單元的TS2，并且執(zhí)行步驟S44和步驟S45的處理。如上所述，解碼裝置120可以分離由編碼裝置50根據(jù)與現(xiàn)有模式有兼容性的模式所復(fù)用的復(fù)用流。而且，解碼裝置120可以對(duì)由編碼裝置50根據(jù)與現(xiàn)有模式有兼容性而且要求相對(duì)低的處理開銷的模式所編碼的兼容流和輔助流進(jìn)行解碼。此外，因?yàn)榻獯a裝置120使用一個(gè)視點(diǎn)的兼容圖像和兩個(gè)視點(diǎn)的輔助圖像來生成多視點(diǎn)圖像，所以除了捕捉一個(gè)視點(diǎn)的兼容圖像的現(xiàn)有成像單元51A外，編碼裝置50可以只裝備兩個(gè)成像單元51B和51C作為生成多視點(diǎn)圖像的成像單元。因此，用于生成多視點(diǎn)圖像的成像單元的安裝可以以容易的低開銷的方式來進(jìn)行。[TS的另一配置示例]圖10是示出由圖2中所示的復(fù)用單元59生成的TS的另一配置示例的圖。在圖10中所示的示例中，復(fù)用單元59生成了三個(gè)TS，并且輔助流和輔助信息包括于互不相同的TS中。更具體地，根據(jù)兼容流生成TSl，根據(jù)輔助流生成TS2并且根據(jù)輔助信息生成TS3。在圖10中所示的示例中，只根據(jù)信息量相對(duì)小的輔助信息來獨(dú)立地生成TS3。因此，執(zhí)行其中對(duì)可以同時(shí)處理的TS的數(shù)量有限制的應(yīng)用(例如BD應(yīng)用)的解碼裝置可以通過預(yù)加載其信息量相對(duì)小的TS3來彼此同步地再現(xiàn)TSl和TS2。另外，在根據(jù)輔助流形成的TS2的頭部處和根據(jù)輔助信息形成的TS3的頭部處，以與其中輔助流和輔助信息包括于同一 TS的情況類似的方式布置圖5中所示的3DV表示定界符。圖11是示出圖10中所示的TS2的詳細(xì)的配置示例的圖。如圖11的A至圖11的C中所示，數(shù)據(jù)以單元為單位布置在圖10中所示的TS2中，并且，在每個(gè)單元的報(bào)頭處插入表示單元的分隔的定界符。在圖11的A中所示的示例中，經(jīng)編碼的輔助圖像的復(fù)用圖像(B+C)、兼容圖像的視差圖像(A')或輔助圖像的視差圖像的復(fù)用圖像(B ' +C')以訪問單元為單位分別布置在每個(gè)單元中作為數(shù)據(jù)。這種情況下，接收TS2的解碼裝置可以通過以單元為單位提取數(shù)據(jù)的方式對(duì)以訪問單元為單位布置的經(jīng)編碼的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像以及輔助圖像的視差圖像的復(fù)用圖像進(jìn)行獨(dú)立地提取。因此，例如，在解碼裝置只使用兼容圖像和兼容圖像的視差圖像來生成多視點(diǎn)圖像的情況下，可以很容易地提取用于生成多視點(diǎn)圖像的圖像。在圖11的B中所示的示例中，經(jīng)編碼的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像以及輔助圖像的視差圖像的復(fù)用圖像以訪問單元為單位一起布置在每個(gè)單元中。這種情況下，接收TS2的解碼裝置可以通過以單元為單位提取數(shù)據(jù)的方式對(duì)以訪問單元為單位布置的經(jīng)編碼的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像以及輔助圖像的視差圖像的復(fù)用圖像一起進(jìn)行提取。在圖11的C中所示的示例中，經(jīng)編碼的輔助圖像的復(fù)用圖像、或者經(jīng)編碼的兼容圖像的視差圖像和輔助圖像的視差圖像的復(fù)用圖像以訪問單元為單位一起布置在每個(gè)單元中。這種情況下，接收TS2的解碼裝置可以通過以單元為單位提取數(shù)據(jù)的方式對(duì)以訪問單元為單位布置的經(jīng)編碼的輔助圖像的復(fù)用圖像、以及兼容圖像的視差圖像和輔助圖像的視差圖像的復(fù)用圖像進(jìn)行獨(dú)立地提取。因此，例如，在用于圖像的解碼器和用于視差圖像的解碼器分離地裝備在解碼裝置中的情況下，可以將數(shù)據(jù)高效地提供給每個(gè)解碼器。此外，可以由解碼裝置以容易的方式獨(dú)立地處理圖像和視差圖像。圖12是示出圖10中所示的TS3的詳細(xì)的配置示例的圖。如圖12的A至圖12的D中所示，在圖10所示的TS3中，數(shù)據(jù)以單元為單位布置，并且，在每個(gè)單元的頭部處插入表示單元的分隔的定界符。在圖12的A中所示的示例中，輔助圖像的復(fù)用圖像的輔助信息(輔助信息(B+C))、兼容圖像的視差圖像的輔助信息(輔助信息(A丨))或輔助圖像的視差圖像的復(fù)用圖像的輔助信息(輔助信息(B' +C / ))以訪問單元為單位布置在每個(gè)單元中作為數(shù)據(jù)。這種情況下，接收TS2的解碼裝置可以通過以單元為單位提取數(shù)據(jù)的方式對(duì)以訪問單元為單位布置的輔助圖像的復(fù)用圖像的輔助信息、兼容圖像的視差圖像的輔助信息以及輔助圖像的視差圖像的復(fù)用圖像的輔助信息進(jìn)行獨(dú)立地提取。因此，可以以容易的方式對(duì)以訪問單元為單位布置的經(jīng)編碼的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像以及輔助圖像的視差圖像的復(fù)用圖像進(jìn)行獨(dú)立地處理。在圖12的B中所示的示例中，以訪問單元為單位布置的輔助圖像的復(fù)用圖像的、兼容圖像的視差圖像的以及輔助圖像的視差圖像的復(fù)用圖像的輔助信息(輔助信息(B+C，K'，B' +C'))都一起布置在每個(gè)單元中。這種情況下，接收TS2的解碼裝置可以通過以單元為單位提取數(shù)據(jù)的方式將以訪問單元為單位布置的輔助圖像的復(fù)用圖像的、兼容圖像的視差圖像的以及輔助圖像的視差圖像的復(fù)用圖像的輔助信息一起進(jìn)行提取。在圖12的C中所示的示例中，輔助圖像的復(fù)用圖像的輔助信息(輔助信息(B+C))，或者，兼容圖像的視差圖像的和輔助圖像的視差圖像的復(fù)用圖像的輔助信息(輔助信息(A'，B' +C'))以訪問單元為單位布置在每個(gè)單元中。這種情況下，接收TS3的解碼裝置可以通過以單元為單位提取數(shù)據(jù)的方式對(duì)以訪問單元為單位布置的輔助圖像的復(fù)用圖像的輔助信息、兼容圖像的視差圖像的和輔助圖像的視差圖像的復(fù)用圖像的輔助信息進(jìn)行獨(dú)立地提取。因此，例如，在用于圖像的解碼器和用于視差圖像的解碼器分離地裝備在解碼裝置中的情況下，可以以與解碼結(jié)果同步的方式高效地提供輔助信息。在圖12的D中所示的示例中，對(duì)應(yīng)于預(yù)定時(shí)間(例如兩小時(shí))的輔助圖像的復(fù)用圖像的輔助信息(輔助信息(All B+C))、兼容圖像的視差圖像的輔助信息(輔助信息(Allk丨))以及輔助圖像的視差圖像的復(fù)用圖像的輔助信息(輔助信息(All B' +C'))布置在每個(gè)單元中。這種情況下，當(dāng)對(duì)輔助信息進(jìn)行預(yù)加載時(shí)，接收TS3的解碼裝置可以通過以單元為單位提取數(shù)據(jù)的方式將對(duì)應(yīng)于預(yù)定時(shí)間的輔助圖像的復(fù)用圖像的輔助信息、兼容圖像的視差圖像的輔助信息以及輔助圖像的視差圖像的復(fù)用圖像的輔助信息分別進(jìn)行提取并保持。[另一編碼處理的描述]除了在圖7中所示的步驟S25中根據(jù)兼容流生成TS1、根據(jù)輔助流生成TS2、根據(jù)輔助信息生成TS3并且執(zhí)行復(fù)用之外，在其中生成具有參照?qǐng)D10至圖12描述的配置的各TS的情況下由編碼裝置50執(zhí)行的編碼處理與圖6和圖7中所示的編碼處理相同。因而，不再呈現(xiàn)該編碼處理的描述。[另一解碼處理的描述]圖13是示出在復(fù)用流中復(fù)用的TS的配置為參照?qǐng)D10至圖12所描述的配置的情況下由圖8中所示的解碼裝置120執(zhí)行的解碼處理的流程圖。此解碼處理例如在從圖2中所示的編碼裝置50發(fā)送的復(fù)用流被輸入到解碼裝置120時(shí)開始。在圖13中所示的步驟S51中，解碼裝置120的圖像生成單元127確定觀看者是否已經(jīng)做出用于顯示2D圖像的指令。當(dāng)確定在步驟S31中觀看者沒有做出用于顯示2D圖像的指令的情況下，換句話說，在觀看者做出用于顯示多視點(diǎn)模式的3D圖像的指令的情況下，解碼處理行進(jìn)到步驟S52。在步驟S52中，分離單元121獲取從編碼裝置50發(fā)送的復(fù)用流并從復(fù)用流中分離TS3。然后，分離單元121通過參照定界符等來提取包括于TS3中的輔助信息，將包括于輔助信息中的圖像信息提供給圖像信息獲取單元123用于保持該圖像信息，并且將視點(diǎn)距離信息提供給視點(diǎn)間距離信息獲取單元124用于保持視點(diǎn)間距離信息。而且，分離單元121將包括于輔助信息中的視差圖像信息提供給視差圖像信息獲取單元125用于保持視差圖像信息，并且將兼容性信息提供給兼容性信息獲取單元126用于保持兼容性信息。然后，解碼處理行進(jìn)到步驟S53。步驟S53至步驟S66的處理與圖9中所示的步驟S32至步驟S45的處理相似，因而，不再對(duì)這些步驟進(jìn)行描述。在只對(duì)與解碼裝置120有兼容性的兼容流進(jìn)行解碼的解碼裝置中，忽略了 TS2和TS3，并且執(zhí)行步驟S65和步驟S66的處理。<第二實(shí)施例>[根據(jù)第二實(shí)施例的編碼裝置的配置示例]圖14是示出根據(jù)本技術(shù)的第二實(shí)施例的編碼裝置的配置示例的框圖。在圖14中所示的配置中，與圖2中所示的配置相同的配置被分配了相同的附圖標(biāo)記。適當(dāng)?shù)貙⒉辉俪尸F(xiàn)重復(fù)的描述。
圖14中所示的編碼裝置140的配置與圖2中所示的配置的不同之處主要在于:設(shè)置了成像單元141A至成像單元141D、圖像轉(zhuǎn)換單元142、視差圖像生成單元143、視點(diǎn)間距離信息生成單元144以及編碼器145來替代成像單元51A至成像單元51C、圖像轉(zhuǎn)換單元52、視差圖像生成單元53、視點(diǎn)間距離信息生成單元56以及編碼器58。編碼裝置140通過根據(jù)AVC模式對(duì)用作兼容圖像的多視點(diǎn)圖像中的兩個(gè)視點(diǎn)的圖像進(jìn)行編碼來獨(dú)立地生成TS，從而確保與根據(jù)AVC模式對(duì)雙視點(diǎn)模式的3D圖像進(jìn)行編碼的現(xiàn)有編碼裝置的兼容性。更具體地，編碼裝置140的成像單元141A捕捉預(yù)定視點(diǎn)的HD圖像作為圖像A2，并且將所捕捉的圖像提供給圖像轉(zhuǎn)換單元142、視差圖像生成單元143以及視點(diǎn)間距離信息生成單元144。成像單元14·1B在水平方向上與成像單元141A相隔距離Λ d2AB的位置處捕捉與圖像A2的視點(diǎn)不同的視點(diǎn)的HD圖像作為圖像B2，并且將所捕捉的圖像提供給圖像轉(zhuǎn)換單元142、視差圖像生成單元143以及視點(diǎn)間距離信息生成單元144。成像單元141C在與成像單元141A相反的水平方向上與成像單元141B相隔距離Δ d2BC的位置處捕捉與圖像A2和圖像B2的視點(diǎn)都不同的視點(diǎn)的HD圖像作為圖像C2，并且將所捕捉的圖像提供給圖像轉(zhuǎn)換單元142、視差圖像生成單元143以及視點(diǎn)間距離信息生成單元144。成像單元141D在與成像單元141B相反的水平方向上與成像單元141A相隔距離Λ d2AD的位置處捕捉與圖像A2至圖像C2的視點(diǎn)都不同的視點(diǎn)的HD圖像作為圖像D2，并且將所捕捉的圖像提供給圖像轉(zhuǎn)換單元142、視差圖像生成單元143以及視點(diǎn)間距離信息生成單元144。對(duì)應(yīng)于圖像C2和圖像D2的視點(diǎn)是位于可以被識(shí)別為3D圖像的圖像的視點(diǎn)中的外側(cè)的視點(diǎn)。這樣，與編碼裝置140對(duì)應(yīng)的解碼裝置可以通過使用圖像A2至圖像D2對(duì)位于比圖像C2的視點(diǎn)和圖像D2的視點(diǎn)更內(nèi)·側(cè)的視點(diǎn)的圖像進(jìn)行內(nèi)插來生成多視點(diǎn)圖像。因此，可以生成這樣的多視點(diǎn)圖像，該多視點(diǎn)圖像的精度高于其中通過使用位于內(nèi)側(cè)的視點(diǎn)的圖像對(duì)位于外側(cè)的視點(diǎn)的圖像進(jìn)行內(nèi)插的情況下的精度。距離八(12;^、八(12%和八(1241)可以被配置為固定的或者每次都改變。圖像轉(zhuǎn)換單元142將從在水平方向的位置位于成像單元141A至成像單元141D中的內(nèi)側(cè)的成像單元141A提供的圖像A2和成像單元141B提供的圖像B2確定為兼容圖像。然后，圖像轉(zhuǎn)換單元142根據(jù)預(yù)定的復(fù)用模式對(duì)作為兼容圖像的圖像A2和圖像B2進(jìn)行復(fù)用，并將所復(fù)用的圖像提供給編碼器145。而且，圖像轉(zhuǎn)換單元142將指定圖像A2和圖像B2為兼容圖像的信息提供給兼容性信息生成單元55。另外，圖像轉(zhuǎn)換單元142將除圖像A2和圖像B2之外的圖像C2和圖像D2設(shè)定為輔助圖像并且根據(jù)預(yù)定的復(fù)用模式對(duì)圖像C2和圖像D2進(jìn)行復(fù)用。圖像轉(zhuǎn)換單元142將由于復(fù)用處理而獲取的復(fù)用圖像提供給編碼器145。圖像轉(zhuǎn)換單元142將表示兼容圖像的和輔助圖像的復(fù)用模式的信息提供給圖像信息生成單元54。視差圖像生成單元143使用從成像單元141A至成像單元141D提供的圖像A2至圖像D2來檢測(cè)圖像A2至圖像D2中的每個(gè)像素的視差。視差圖像生成單元143生成表示作為兼容圖像的圖像A2中的每個(gè)像素的視差的視差圖像A2 ’和表示圖像B2中的每個(gè)像素的視差的視差圖像B2'，并且根據(jù)預(yù)定的復(fù)用模式對(duì)視差圖像A2'和視差圖像B2'進(jìn)行復(fù)用。視差圖像生成單元143將由于復(fù)用而獲取的復(fù)用圖像提供給編碼器145。
另外，視差圖像生成單元143生成表示作為輔助圖像的圖像C2中的每個(gè)像素的視差的視差圖像C2'和表示作為輔助圖像的圖像D2中的每個(gè)像素的視差的視差圖像D2'，并且根據(jù)預(yù)定的復(fù)用模式對(duì)視差圖像C2 '和視差圖像D2'進(jìn)行復(fù)用。視差圖像生成單元143將由于復(fù)用而獲取的復(fù)用圖像提供給編碼器145。視差圖像生成單元143將表示兼容圖像和輔助圖像的視差圖像的復(fù)用模式的信息提供給視差圖像信息生成單元57。視點(diǎn)間距離信息生成單元144使用由成像單元141A至成像單元141D提供的圖像A2至圖像D2來檢測(cè)圖像A2至圖像D2之間的每個(gè)視點(diǎn)間距離。例如，視點(diǎn)間距離信息生成單元144檢測(cè)成像單元141A與成像單元141B之間在水平方向上的距離Λ C^ab、成像單元141Β與成像單元141C之間在水平方向上的距離Λ d2BC以及成像單元141A與成像單元141D之間在水平方向上的距離Λ C^ad作為視點(diǎn)間距離。視點(diǎn)間距離信息生成單元144生成表示視點(diǎn)間距離等的信息作為視點(diǎn)間距離信息并且將所生成的視點(diǎn)間距離信息提供給復(fù)用單元59。編碼器145由兼容編碼器151和輔助編碼器152配置而成。兼容編碼器151從由圖像轉(zhuǎn)換單元142提供的兼容圖像的復(fù)用圖像和輔助圖像的復(fù)用圖像中指定兼容圖像的復(fù)用圖像，并且根據(jù)現(xiàn)有AVC模式以訪問單元為單位對(duì)兼容圖像的復(fù)用圖像進(jìn)行編碼。編碼器145將由于編碼而獲取的編碼流提供給復(fù)用單元59作為兼容流。輔助編碼器152根據(jù)預(yù)定的模式以訪問單元為單位對(duì)從圖像轉(zhuǎn)換單元142提供的輔助圖像的復(fù)用圖像和從視差圖像生成單元143提供的兼容圖像的視差圖像的復(fù)用圖像以及輔助圖像的視差圖像的復(fù)用圖像進(jìn)行編碼。輔助編碼器152將由于編碼而獲取的編碼流作為輔助流提供給復(fù)用單元59?？梢詫⒗鏏VC模式、MVC模式等用作為由輔助編碼器152采用的編碼模式。[TS的配置示例]圖15是示出由圖14所示的復(fù)用單元59生成的TS的配置示例的圖。在圖15中所示的示例中，在復(fù)用單元59中，根據(jù)兼容流生成TSl并且根據(jù)輔助流和輔助信息生成TS2。雖然在圖中未示出，但是除布置了兼容圖像的視差圖像的復(fù)用圖像而不是兼容圖像的視差圖像之外，圖15中所示的TS2的配置與參照?qǐng)D4描述的配置相同。[編碼裝置的處理的描述]圖16和圖17表示示出由圖14中所示的編碼裝置140執(zhí)行的編碼處理的流程圖。此編碼處理例如在圖像Α2至圖像D2從成像單元141Α至成像單元141D輸出時(shí)開始。在圖16中所示的步驟S71中，視點(diǎn)間距離信息生成單元144使用從成像單元141Α至成像單元141D提供的圖像Α2至圖像D2來檢測(cè)距離Λ d2AB、Δ d2BC和Λ d2AI)作為視點(diǎn)間距離。在步驟S72中，視點(diǎn)間距離信息生成單元144生成表示在步驟S71中檢測(cè)到的視點(diǎn)間距離等的信息作為視點(diǎn)間距離信息，并且將所生成的視點(diǎn)間距離信息輸入到復(fù)用單元59。在步驟S73中，圖像轉(zhuǎn)換單元142將從在水平方向上的位置位于成像單元141A至成像單元141D中的內(nèi)側(cè)的 成像單元141A提供的圖像A2以及由成像單元141B提供的圖像B2確定為兼容圖像，并且確定兼容圖像和輔助圖像的復(fù)用模式。圖像轉(zhuǎn)換單元142將指定圖像A2和圖像B2為兼容圖像的信息提供給兼容性信息生成單元55，并且將兼容圖像的復(fù)用模式和輔助圖像的復(fù)用模式提供給圖像信息生成單元54。在步驟S74中，兼容性信息生成單元55基于從圖像轉(zhuǎn)換單元142提供的信息生成指定圖像A2和圖像B2為兼容圖像、指定幀打包模式為兼容模式等的信息作為兼容性信息，并且將所生成的兼容性信息輸入到復(fù)用單元59。在步驟S75中，圖像轉(zhuǎn)換單元142基于步驟S73中確定的兼容圖像的復(fù)用模式對(duì)作為兼容圖像的圖像A2和圖像B2進(jìn)行復(fù)用并將復(fù)用圖像提供給編碼器145。在步驟S76中，圖像信息生成單元54基于從圖像轉(zhuǎn)換單元142提供的信息來生成表示兼容圖像和輔助圖像的復(fù)用模式等的信息作為圖像信息，并將所生成的圖像信息輸入到復(fù)用單元59。在步驟S77中，圖像轉(zhuǎn)換單元142將除圖像A2和圖像B2之外的圖像C2和圖像D2設(shè)定為輔助圖像，并基于在步驟S73中確定的輔助圖像的復(fù)用模式對(duì)輔助圖像進(jìn)行復(fù)用，從而獲取輔助圖像的復(fù)用圖像。在步驟S78中，圖像轉(zhuǎn)換單元142將兼容圖像的復(fù)用圖像和輔助圖像的復(fù)用圖像輸入到編碼器145。在圖17中所示的步驟S79中，視差圖像生成單元143使用從成像單元141A至成像單元141D提供的圖像A2至圖像D2來檢測(cè)圖像A2至圖像D2中的每個(gè)像素的視差，并且生成視差圖像A2'至視差圖像D2'。在步驟S80中，視差圖像生成單元143確定兼容圖像的視差圖像和輔助圖像的視差圖像的復(fù)用模式，并將表示復(fù)用模式的信息提供給視差圖像信息生成單元57。在步驟S81中，視差圖像信息生成單元57基于由視差圖像生成單元143提供的信息來生成表示兼容圖像的視差圖像和輔助圖像的視差圖像的復(fù)用模式等的信息作為視差圖像信息，并且將所生成的視差圖像信息輸入到復(fù)用單元59。在步驟S82中，視差圖像生成單元143基于步驟S80中確定的兼容圖像的視差圖像的復(fù)用模式對(duì)兼容圖像的視差圖像A2 '和B2'進(jìn)行復(fù)用，并且基于輔助圖像的視差圖像的復(fù)用模式對(duì)輔助圖像的視差圖像C2 '和D2'進(jìn)行復(fù)用。在步驟S83中，視差圖像生成單元143將由于步驟S82中所示的復(fù)用處理而獲取的兼容圖像的視差圖像的復(fù)用圖像和輔助圖像的視差圖像的復(fù)用圖像輸入到編碼器145。在步驟S84中，編碼器145的兼容編碼器151根據(jù)現(xiàn)有的AVC模式對(duì)從圖像轉(zhuǎn)換單元142提供的兼容圖像的復(fù)用圖像進(jìn)行編碼，并將由于編碼而獲取的編碼流提供給復(fù)用單元59作為兼容流。在步驟S85中，輔助編碼器152根據(jù)預(yù)定的模式對(duì)從圖像轉(zhuǎn)換單元142提供的輔助圖像的復(fù)用圖像和從視差圖像生成單元143提供的兼容圖像的視差圖像的復(fù)用圖像以及輔助圖像的視差圖像的復(fù)用圖像進(jìn)行編碼。輔助編碼器152將由于編碼處理而獲取的編碼流作為輔助流提供給復(fù)用單元59。在步驟S86中，復(fù)用單元59根據(jù)從兼容編碼器151提供的兼容流生成TSl，根據(jù)從輔助編碼器152提供的輔助流和輔助信息生成TS2、執(zhí)行復(fù)用處理，并發(fā)送由于復(fù)用而獲取的復(fù)用流。此復(fù)用流例如被記錄在BD等上或作為廣播流進(jìn)行發(fā)送。然后處理結(jié)束。如上所述，由于編碼裝置140使用存儲(chǔ)在互不相同的TS中的兼容流以及輔助流和輔助信息來進(jìn)行復(fù)用處理，從而可以確保與在復(fù)用處理中根據(jù)AVC模式對(duì)雙視點(diǎn)模式的3D圖像進(jìn)行編碼的現(xiàn)有編碼裝置的兼容性。換句話說，編碼裝置140可以根據(jù)與現(xiàn)有模式有兼容性的模式對(duì)多視點(diǎn)圖像執(zhí)行復(fù)用處理。另外，因?yàn)榫幋a裝置140根據(jù)現(xiàn)有編碼模式對(duì)多視點(diǎn)圖像中的作為兼容圖像的兩個(gè)視點(diǎn)的圖像進(jìn)行編碼，所以可以確保與編碼處理中對(duì)雙視點(diǎn)模式的3D圖像進(jìn)行編碼的現(xiàn)有編碼裝置的兼容性。此外，因?yàn)榫幋a裝置140對(duì)四個(gè)視點(diǎn)的圖像A2至D2進(jìn)行編碼，所以與編碼裝置140對(duì)應(yīng)的解碼裝置可以根據(jù)四個(gè)視點(diǎn)的圖像A2至D2來生成多視點(diǎn)圖像。這樣，與其中根據(jù)兩個(gè)視點(diǎn)的圖像生成多視點(diǎn)圖像的情況相比，根據(jù)解碼裝置，可以生成的圖像的視點(diǎn)不受限制，并且可以生成具有相對(duì)高的精度的多視點(diǎn)圖像。[解碼裝置的配置示例]圖18是示出對(duì)從圖14中所示的編碼裝置140發(fā)送的復(fù)用流進(jìn)行解碼的解碼裝置的配置示例的圖。在圖18中所示的配置中，與圖8中所示的配置相同的配置被分配了相同的附圖標(biāo)記。適當(dāng)?shù)貙⒉辉俪尸F(xiàn)重復(fù)的描述圖18中所示的解碼裝置170的配置與圖8中所示的配置的不同之處主要在于:設(shè)置了圖像生成單元171而不是圖像生成單元127。解碼裝置170通過對(duì)從編碼裝置140發(fā)送的復(fù)用流進(jìn)行解碼來生成兩個(gè)視點(diǎn)的圖像或多視點(diǎn)圖像，并將所生成的圖像顯示顯示裝置(圖中未不出)上。更具體地，解碼裝置170的圖像生成單元171根據(jù)由觀看者提供的顯示指令來輸出圖像，從而將圖像顯示在顯示裝置(未示出)上。當(dāng)更詳細(xì)地描述時(shí)，圖像生成單元171根據(jù)觀看者的用于顯示多視點(diǎn)模式的3D圖像的指令，基于從圖像信息獲取單元123提供的圖像信息、從視點(diǎn)間距離信息獲取單元124提供視點(diǎn)間距離信息、從視差圖像信息獲取單元125提供的視差圖像信息、從兼容性信息獲取單元126提供的兼容性信息等，通過使用兼容圖像的復(fù)用圖像、輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像以及輔助圖像的視差圖像的復(fù)用圖像來生成與顯示裝置(未示出)對(duì)應(yīng)的三個(gè)或更多個(gè)視點(diǎn)的圖像，每個(gè)圖像的分辨率為兼容圖像或輔助圖像的分辨率的一半。更具體地，圖像生成單元171基于下述信息從輔助圖像的視差圖像的復(fù)用圖像中分離每個(gè)輔助圖像的視差圖像，該信息表示從視差圖像信息獲取單元125提供的視差圖像信息中包括的輔助圖像的視差圖像的復(fù)用模式。此外，圖像生成單元171基于下述信息從兼容圖像的視差圖像的復(fù)用圖像中分離每個(gè)兼容圖像的視差圖像，該信息表示包括在視差圖像信息中的兼容圖像的視差圖像的復(fù)用模式。此外，圖像生成單元171基于下述信息從輔助圖像的復(fù)用圖像中分離每個(gè)輔助圖像，該信息表示從圖像信息獲取單元123提供的圖像信息中包括的輔助圖像的復(fù)用模式。另外，圖像生成單元171基于下述信息從兼容圖像的復(fù)用圖像中分離每個(gè)兼容圖像，該信息表示圖像信息中包括的兼容圖像的復(fù)用模式。此外，圖像生成單元171基于視點(diǎn)間距離信息和與顯示裝置(圖中未示出)對(duì)應(yīng)的視點(diǎn)數(shù)目來確定將要生成的多視點(diǎn)圖像的每個(gè)視點(diǎn)的位置。然后，圖像生成單元171通過使用每個(gè)兼容圖像、每個(gè)輔助圖像、每個(gè)兼容圖像的視差圖像以及每個(gè)輔助圖像的視差圖像來生成其位置被確定的每個(gè)視點(diǎn)的圖像。然后，圖像生成單元171將所生成的多視點(diǎn)圖像的分辨率轉(zhuǎn)換成是兼容圖像或輔助圖像的分辨率的“ I/視點(diǎn)的數(shù)目”的分辨率，對(duì)圖像進(jìn)行合成并且將所合成的圖像顯示在顯示裝置(圖中未示出)上。此時(shí)，對(duì)合成后的多視點(diǎn)圖像進(jìn)行顯示以使得每個(gè)視點(diǎn)的視角不同，從而觀看者可以不用佩戴眼鏡而通過使用其左眼和右眼看任意兩個(gè)視點(diǎn)的圖像的方式來觀看3D圖像。另外，圖像生成單元171根據(jù)由觀看者提供的用于顯示雙視點(diǎn)模式的3D圖像的指令、基于由圖像信息獲取單元123提供的圖像信息將從解碼器122提供的兼容圖像的復(fù)用圖像分離為其分辨率為兼容圖像的分辨率的一半的圖像A2和圖像B2。然后，圖像生成單元171交替地輸出其分辨率為兼容圖像的分辨率的一半的圖像A2和圖像B2，從而將分離的圖像顯示在顯示裝置(圖中未示出)上。此時(shí)，觀看者可以通過佩戴下述眼鏡并觀看在顯示裝置上交替地顯示的圖像A2和圖像B2來觀看3D圖像，在該眼鏡中在顯示圖像A2時(shí)左眼快門和右眼快門中之一打開而在顯示圖像B2時(shí)另一快門打開。[解碼裝置的處理的描述]圖19是示出由圖18中所示的解碼裝置170執(zhí)行的解碼處理的流程圖。此解碼處理例如在從圖14中所示的編碼裝置140發(fā)送的復(fù)用流被輸入到解碼裝置170時(shí)開始。在圖19中所示的步驟S91中，解碼裝置170的分離單元121接收從編碼裝置50發(fā)送的復(fù)用流，并且從復(fù)用流中分離TSl和TS2。分離單元121通過參照定界符等來提取包括于TSl中的兼容流和包括于TS2中的輔助流，并且將所提取的流提供給解碼器122。而且，分離單元121通過參考定界符等來提取包括于TS2中的輔助信息、將包括于輔助信息中的圖像信息提供給圖像信息獲取單元123并且將視點(diǎn)距離信息提供給視點(diǎn)間距離信息獲取單元124。另外，分離單元121將包括于輔助信息中的視差圖像信息提供給視差圖像信息獲取單元125并且將兼容性信息提供給兼容性信息獲取單元126。在步驟S92中，圖像生成單元171確定觀看者是否已經(jīng)做出用于顯示雙視點(diǎn)模式的3D圖像的指令。在其中在步驟S92中確定觀看者沒有做出用于顯示雙視點(diǎn)模式的3D圖像的指令的情況下，換句話說，在做出用于顯示多視點(diǎn)模式的3D圖像的指令的情況下，處理行進(jìn)到步驟S93。除兼容圖像為兼容圖像的復(fù)用圖像且兼容圖像的視差圖像為兼容圖像的視差圖像的復(fù)用圖像之外，步驟S93至步驟S102的處理與圖9中所示的步驟S33至步驟S42的處理相同，因而不再對(duì)這些步驟進(jìn)行描述。另一方面，在于步驟S92中確定觀看者已經(jīng)做出用于顯示雙視點(diǎn)模式的3D圖像的指令的情況下，處理行進(jìn)到步驟S103。在步驟S103中，解碼器122的兼容解碼器131從由分離單元121提供的兼容流中提取經(jīng)編碼的兼容圖像的復(fù)用圖像并且根據(jù)對(duì)應(yīng)于AVC模式的模式對(duì)經(jīng)編碼的兼容圖像進(jìn)行解碼。兼容解碼器131將由于解碼處理而獲取的兼容圖像的復(fù)用圖像提供給圖像生成單元171。在步驟S104中，圖像信息獲取單元123將從分離單元121提供的圖像信息提供給圖像生成單元171。在步驟S105中，圖像生成單元171基于下述信息對(duì)由于兼容解碼器131執(zhí)行的解碼處理而獲取的兼容圖像的復(fù)用圖像進(jìn)行分離，所述信息表示由圖像信息獲取單元123提供的圖像信息中包括的兼容圖像的復(fù)用模式。在步驟S106中，圖像生成單元171將其分辨率為分離后的兼容圖像的分辨率的一半的圖像A2和圖像B2交替地輸出給顯示裝置(圖中未示出)，由此顯示圖像。然后，處理結(jié)束。另外，在可以只對(duì)與解碼裝置170有兼容性的兼容流進(jìn)行解碼的解碼裝置中，忽略了附有3DV表示定界符NAL單元的TS2，并且執(zhí)行步驟S103、S105和S106的處理。然而，這種情況下，在步驟S105的處理中，基于預(yù)先確定的復(fù)用模式對(duì)兼容圖像的復(fù)用圖像進(jìn)行分離。如上所述，解碼裝置170可以根據(jù)與現(xiàn)有模式有兼容性的模式對(duì)由編碼裝置140所復(fù)用的復(fù)用流進(jìn)行分離。另外，解碼裝置170可以對(duì)由根據(jù)與現(xiàn)有模式有兼容性的、處理開銷相對(duì)低的模式的編碼裝置140編碼的兼容流和輔助流進(jìn)行解碼。另外，因?yàn)榻獯a裝置170使用兩個(gè)視點(diǎn)的兼容圖像和兩個(gè)視點(diǎn)的輔助圖像來生成多視點(diǎn)圖像，所以除捕捉兩個(gè)視點(diǎn)的兼容圖像的現(xiàn)有的成像單元141A和成像單元141B之外編碼裝置可以只裝備兩個(gè)成像單元141C和141D作為用于生成多視點(diǎn)圖像的成像單元。因此，可以容易地以低開銷對(duì)生成多視點(diǎn)圖像的成像單元進(jìn)行安裝。[TS的另一配置示例]圖20是示出由圖14中所示的復(fù)用單元59生成的各TS的另一配置示例的圖。在圖20中所示的示例中，復(fù)用單元59生成了三個(gè)TS，并且輔助流和輔助信息包括于互不相同的TS中。更具體地，根據(jù)兼容流生成TSl，根據(jù)輔助流生成TS2并且根據(jù)輔助信息生成TS3。在圖20中所示的示例中，只根據(jù)其信息量相對(duì)小的輔助信息來獨(dú)立地生成TS3。因此，執(zhí)行其中對(duì)可以同時(shí)處理的TS的數(shù)量有限制的應(yīng)用(例如BD應(yīng)用)的解碼裝置可以通過預(yù)加載其信息量相對(duì)小的TS3來彼此同步地再現(xiàn)TSl和TS2。另外，雖然圖中未示出，但是除了布置了兼容圖像的視差圖像的復(fù)用圖像而不是兼容圖像的視差圖像之外，圖20中所示的TS2的配置與參照?qǐng)D11描述的配置相同。此外，除了對(duì)兼容圖像的視差圖像的復(fù)用圖像的輔助圖像而不是對(duì)兼容圖像的視差圖像的輔助圖像進(jìn)行布置之外，TS3的配置與參照?qǐng)D12描述的配置相同。[另一編碼處理的描述]在其中生成具有參照?qǐng)D20描述的配置的TS的情況下，除了在圖17中所示的步驟S86中根據(jù)兼容流生成TS1、根據(jù)輔助流生成TS2、根據(jù)輔助信息生成TS3并且執(zhí)行復(fù)用之夕卜，由編碼裝置140執(zhí)行的編碼處理與圖16和圖17中所不的編碼處理相同，因而，不再對(duì)該處理進(jìn)行描述。[另一解碼處理的描述]圖21是示出了由圖18中所示的解碼裝置170在被復(fù)用在復(fù)用流中的TS的配置是參照?qǐng)D20所描述的配置的情況下執(zhí)行的解碼處理的流程圖。該解碼處理例如在由圖14中所示的編碼裝置140發(fā)送的復(fù)用流被輸入到解碼裝置170時(shí)開始。在圖21中所示的步驟Slll中，解碼裝置120的分離單元121獲取由編碼裝置50發(fā)送的復(fù)用流并且從復(fù)用流中分離TS3。然后，分離單元121通過參考定界符等提取包括在TS3中的輔助信息。另外，分離單元121將包括在輔助信息中的圖像信息提供給圖像信息獲取單元123用于保持該圖像信息，并且將視點(diǎn)距離信息提供給視點(diǎn)間距離信息獲取單元124用于保持視點(diǎn)間距離信息。此外，分離單元121將包括在輔助信息中的視差圖像信息提供給視差圖像信息獲取單元125用于保持視差圖像信息，并且將兼容性信息提供給兼容性信息獲取單元126用于保持兼容性信息。然后，處理行進(jìn)到步驟S112。在步驟S112中，圖像生成單元127確定觀看者是否已經(jīng)做出用于顯示雙視點(diǎn)模式的3D圖像的指令。在其中在S112中確定了觀看者沒有做出用于顯示雙視點(diǎn)模式的3D圖像的指令的情況下，換句話說，在其中做出用于顯示多視點(diǎn)模式的3D圖像的指令的情況下，處理行進(jìn)到步驟S113。在步驟S113中，分離單元121從復(fù)用流中分離TSl和TS2。分離單元121通過參考定界符等來提取包括在TSl中的兼容流以及包括在TS2中的輔助流，并且將所提取的流提供給解碼器122。然后，處理行進(jìn)到步驟S114。步驟5114至步驟5123的處理與圖19中所示的步驟S93至步驟S102的處理相同，因此將不對(duì)其進(jìn)行描述。另一方面，在其中在S112中確定觀看者已經(jīng)做出了用于顯示雙視點(diǎn)模式的3D圖像的指令的情況下，在步驟S124中分離單元121從復(fù)用流中分離TSl。然后，分離單元121通過參考定界符等將包括在TSl中的兼容流提供給解碼器122，并且處理行進(jìn)到步驟S125。步驟S125至步驟S128的處理與圖19中所示的步驟S103至步驟S106的處理相同，因此將不對(duì)進(jìn)行描述?！吹谌龑?shí)施例〉[根據(jù)第三實(shí)施例的編碼裝置的配置示例]圖22是示出了根據(jù)本技術(shù)的第三實(shí)施例的編碼裝置的配置示例的框圖。在圖22中所示的配置中，與圖2或圖14中所示的配置相同的配置被分配了相同的附圖標(biāo)記。適當(dāng)?shù)貙⒉辉俪尸F(xiàn)重復(fù)的描。圖22中所示的編碼裝置180的配置與圖14中所示的配置的不同之處主要在于:設(shè)置有圖像轉(zhuǎn)換單元181和編碼器182而不是圖像轉(zhuǎn)換單元142和編碼器145。編碼裝置180通過根據(jù)MVC模式對(duì)多視點(diǎn)圖像中作為兼容圖像的兩個(gè)視點(diǎn)的圖像編碼編碼并且將圖像一起存儲(chǔ)在一個(gè)TS中或?qū)D像存儲(chǔ)在針對(duì)每個(gè)視點(diǎn)而不同的TS中，從而確保與根據(jù)MVC模式對(duì)雙視點(diǎn)的3D圖像進(jìn)行編碼的現(xiàn)有編碼裝置的兼容性。更具體地，類似于圖14中所示的圖像轉(zhuǎn)換單元142，編碼裝置180的圖像轉(zhuǎn)換單元181將由其在水平方向上的位置位于成像單元141A至成像單元141D的內(nèi)側(cè)的成像單元141A所提供的圖像A2和由成像單元141B提供的圖像B2確定為兼容圖像。然后圖像轉(zhuǎn)換單元181將作為兼容圖像的圖像A2和圖像B2直接提供給編碼器182。另外，類似于圖像轉(zhuǎn)換單元142，圖像轉(zhuǎn)換單元181將指定圖像A2和圖像B2為兼容圖像的信息提供給兼容性信息生成單元55。另外，類似于圖像轉(zhuǎn)換單元142，圖像轉(zhuǎn)換單元181將除了圖像A2和圖像B2之外的圖像C2和圖像D2設(shè)定為輔助圖像，并且根據(jù)預(yù)定的復(fù)用模式對(duì)輔助圖像進(jìn)行復(fù)用。圖像轉(zhuǎn)換單元181將由于復(fù)用處理而獲取的復(fù)用圖像提供給編碼器182，并且將表示輔助圖像的復(fù)用模式的信息提供給圖像信息生成單元54。
編碼器182由兼容編碼器191和輔助編碼器152配置而成。編碼器182的兼容編碼器191從由圖像轉(zhuǎn)換單元181提供的兼容圖像和輔助圖像的復(fù)用圖像中指定兼容圖像，并且根據(jù)現(xiàn)有的AVC模式以訪問單元為單位將兼容圖像中的圖像A2編碼為基本圖像，并且根據(jù)現(xiàn)有的MVC模式以訪問單元為單位將圖像B2編碼為相關(guān)圖像(dependent image)。兼容編碼器191將由于編碼而獲取的編碼流提供給復(fù)用單元59作為兼容流。[TS的第一配置示例]圖23是示出了由圖22中所示的復(fù)用單元59生成的TS的第一配置示例的圖。在圖23所示出的示例中，在復(fù)用單元59中，TSl是根據(jù)包括在兼容流中的編碼后的圖像A2所生成，并且TS2是根據(jù)編碼后的圖像B2、輔助流以及輔助信息所生成。[編碼裝置的處理的描述]圖24和圖25是示出了由圖22中所示的編碼裝置180執(zhí)行的編碼處理的流程圖。該編碼處理例如在圖像A2至圖像D2從成像單元141A至成像單元141D輸出時(shí)開始。圖24中所示的步驟S131和步驟S132的處理與圖16所示出的步驟S71和步驟S72的處理相同，因此將不對(duì)其進(jìn)行描述。在步驟S132的處理之后，在步驟S133中，圖像轉(zhuǎn)換單元181將從在水平方向上位于成像單元141A至成像單元141D的內(nèi)側(cè)的位置的成像單元141A提供的圖像A2和成像單元141B提供的圖像B2確定為兼容圖像，并且確定輔助圖像的復(fù)用模式。圖像轉(zhuǎn)換單元181將指定圖像A2和圖像B2為兼容圖像的信息提供給兼容性信息生成單元55，并且將輔助圖像的復(fù)用模式提供給圖像信息生成單元54。然后，處理行進(jìn)到步驟S134。步驟S134至步驟S137的處理與圖6中所示的步驟S14至步驟S17的處理相同，因此將不對(duì)其進(jìn)行描述。步驟S138至步驟S142的處理與圖17中所示的步驟S79至步驟S83的處理相同，因此將不對(duì)其進(jìn)行描述。步驟S142的處理之后，在步驟S143中，編碼器182的兼容編碼器191根據(jù)現(xiàn)有的AVC模式將從圖像轉(zhuǎn)換單元181提供的兼容圖像中的圖像A2編碼為基本圖像，并且根據(jù)現(xiàn)有的MVC模式將圖像B2編碼為相關(guān)圖像。兼容編碼器191將由于所述編碼處理而獲取的編碼流提供給復(fù)用單元59作為兼容流。在步驟S144中，輔助編碼器152根據(jù)預(yù)定的模式對(duì)從圖像轉(zhuǎn)換單元142提供的輔助圖像的復(fù)用圖像以及從視差圖像生成單元53提供的兼容圖像的視差圖像的復(fù)用圖像和輔助圖像的視差圖像的復(fù)用圖像進(jìn)行編碼。輔助編碼器152將由于編碼處理而獲取的編碼流提供給復(fù)用單元59作為輔助流。在步驟S145中，復(fù)用單元59根據(jù)包括在兼容流中的編碼后的圖像A來生成TSl，根據(jù)編碼后的圖像B、輔助流以及輔助信息來生成TS2，執(zhí)行復(fù)用處理，并且發(fā)送由于復(fù)用而獲取的復(fù)用流。該復(fù)用流例如被記錄在BD等上或者被作為廣播流發(fā)送。然后，處理結(jié)束。如上，編碼裝置180使用存儲(chǔ)在互不相同的TS中的編碼后的兼容圖像之一和其他圖像執(zhí)行復(fù)用，從而因此，可以確保與在復(fù)用中根據(jù)MVC模式將雙視點(diǎn)模式的3D圖像編碼并且將圖像存儲(chǔ)在兩個(gè)TS中的現(xiàn)有的編碼裝置的兼容性。另外，由于編碼裝置180根據(jù)現(xiàn)有的編碼模式將多視點(diǎn)圖像中的兩個(gè)視點(diǎn)的圖像編碼為兼容圖像，因此可以確保在對(duì)雙視點(diǎn)模式的3D圖像進(jìn)行編碼的編碼中與現(xiàn)有編碼裝置的兼容性。
[解碼裝置的配置示例]圖26是示出了對(duì)由圖22中所示的編碼裝置180發(fā)送的復(fù)用流進(jìn)行解碼的解碼裝置的配置示例的圖。在圖26中所示的配置中，與圖18中所示的配置相同的配置被分配了相同的附圖標(biāo)記。適當(dāng)?shù)貙⒉辉俪尸F(xiàn)重復(fù)的描。圖26中所示的解碼裝置200的配置與圖18中所示的配置的不同之處主要在于:設(shè)置有解碼器201以及圖像生成單元202而不是解碼器122以及圖像生成單元171。解碼裝置200通過對(duì)從編碼裝置180發(fā)送的復(fù)用流進(jìn)行解碼來生成一個(gè)視點(diǎn)的圖像、兩個(gè)視點(diǎn)的圖像或多視點(diǎn)的圖像，并且將所生成的圖像顯示在顯示裝置上(圖中未示出)。更具體地，解碼裝置200的解碼器201由兼容解碼器211和輔助解碼器132配置而成。解碼器201的兼容解碼器211根據(jù)與MVC模式對(duì)應(yīng)的模式對(duì)包括在從分離單元121提供的兼容流中的經(jīng)編碼的兼容圖像進(jìn)行解碼，并且將經(jīng)解碼的兼容圖像提供給圖像生成單元202。圖像生成單元202根據(jù)由觀看者提供的顯示指令對(duì)圖像進(jìn)行輸出，從而將圖像顯示在顯示裝置(圖中未示出)上。更具體地，圖像生成單元202根據(jù)觀看者的用于顯示多視點(diǎn)的3D圖像的指令，基于從圖像信息獲取單元123提供的圖像信息、從視點(diǎn)間距離信息獲取單元124提供的視點(diǎn)間距離信息、從視差圖像信息獲取單元125提供的視差圖像信息以及從兼容性信息獲取單元126提供的兼容性信息等，通過使用兼容圖像、輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像以及輔助圖像的視差圖像的復(fù)用圖像來生成與顯示裝置(圖中未示出)對(duì)應(yīng)的三個(gè)視點(diǎn)或更多個(gè)視點(diǎn)的圖像，每個(gè)圖像的分辨率為兼容圖像或輔助圖像的分辨率的一半。更具體地，圖像生成單元202基于包括在從視差圖像信息獲取單元125提供的視差圖像信息中的表示輔助圖像的視差圖像的復(fù)用模式的信息，從輔助圖像的視差圖像的復(fù)用圖像中分離每個(gè)輔助圖像的視差圖像。另外，圖像生成單元202基于包括在視差圖像信息中的表示兼容圖像的視差圖像的復(fù)用模式的信息，從兼容圖像的視差圖像的復(fù)用圖像中分離出每個(gè)兼容圖像的視差圖像。此外，圖像生成單元202基于包括在從圖像信息獲取單元123提供的圖像信息中的表示輔助圖像的復(fù)用模式的信息，從輔助圖像的復(fù)用圖像中分離出每個(gè)輔助圖像。另外，圖像生成單元202基于視點(diǎn)間距離信息和與顯示裝置(圖中未示出)對(duì)應(yīng)的視點(diǎn)的數(shù)目確定待生成的多視點(diǎn)圖像的視點(diǎn)的位置。然后，圖像生成單元202使用每個(gè)兼容圖像、每個(gè)輔助圖像、每個(gè)兼容圖像的視差圖像以及每個(gè)輔助圖像的視差圖像生成其位置被確定的每個(gè)視點(diǎn)的圖像。然后，類似于圖像生成單元127，圖像生成單元202將所生成的多視點(diǎn)圖像的分辨率轉(zhuǎn)換成兼容圖像或輔助圖像的分辨率的“ I/視點(diǎn)數(shù)目”的分辨率，合成轉(zhuǎn)換后的圖像，從而將合成后的圖像顯示在顯示裝置(圖中未示出)上。此時(shí)，對(duì)合成之后的多視點(diǎn)圖像進(jìn)行顯示以使得每個(gè)視點(diǎn)的視角都不同，從而觀看者可以在不佩戴眼鏡的情況下通過使用他/她的左眼和右眼看任意兩個(gè)視點(diǎn)的圖像來觀看3D圖像。另外，圖像生成單元202根據(jù)由觀看者提供的用于顯示雙視點(diǎn)模式的3D圖像的指令，交替地輸出作為從解碼器122提供的兼容圖像的圖像A2和圖像B2，從而將圖像顯示在顯示裝置(圖中未示出)上。此時(shí)，觀看者可以通過戴下述眼鏡并且觀看交替地顯示在顯示裝置上的圖像A2和圖像B2來觀看3D圖像，該眼鏡中在顯示圖像A2時(shí)左眼快門和右眼快門之一打開而在顯示圖像B2時(shí)左眼快門和右眼快門中的另一個(gè)快門打開。此外，圖像生成單元202根據(jù)由觀看者提供的用于顯示2D圖像的指令輸出從解碼器122提供的兼容圖像中的圖像A2，從而將圖像顯示在顯示裝置(圖中未示出)上。因此，觀看者可以觀看2D圖像。[解碼裝置的處理的描述]圖27是示出了由圖26中所示的解碼裝置200執(zhí)行的解碼處理的流程圖。該解碼處理例如在由圖22中所示的編碼裝置180發(fā)送的復(fù)用流被輸入到解碼裝置200時(shí)開始。在圖27中所示的步驟S151中，解碼裝置200的圖像生成單元202確定觀看者是否已經(jīng)做出用于顯示2D圖像的指令。在于步驟S151中確定觀看者已經(jīng)做出用于顯示2D圖像的指令的情況下，處理行進(jìn)到步驟S152。在步驟S152中，分離單元121接收從編碼裝置180發(fā)送的復(fù)用流，并且從復(fù)用流中分離TSl。然后，分離單元121通過參考定界符等來提取包括在TSl中的一部分兼容流，并且將所提取的流提供給解碼器201。在步驟S153中，解碼器201的兼容解碼器211從由分離單元121提供的一部分兼容流提取作為經(jīng)編碼的兼容圖像中的基本圖像的圖像A2，并且根據(jù)對(duì)應(yīng)于AVC模式的模式來對(duì)所提取的圖像進(jìn)行解碼。兼容解碼器211將由于解碼處理而獲取的圖像A2提供給圖像生成單元202。在步驟S154中，圖像生成單元202將由兼容解碼器211提供的圖像A2輸出給顯示裝置(圖中未示出)，從而顯示該圖像。然后，處理結(jié)束。另一方面，在于步驟S151中確定觀看者沒有做出用于顯示2D圖像的指令的情況下，在步驟S155中，分離單元121從復(fù)用流中分離TSl和TS2。然后，分離單元121通過參考定界符等提取包括在TSl中的一部分兼容流，并且將所提取的流提供給解碼器122。另夕卜，分離單元121提取包括在TS2中的另一部分兼容流和輔助流，并且將所提取的流提供給解碼器122。另外，分離單元121通過參考定界符等提取包括在TS2中的輔助信息，并且將包括在輔助信息中的圖像信息提供給圖像信息獲取單元123，以及將視點(diǎn)距離信息提供給視點(diǎn)間距離信息獲取單元124。此外，分離單元121將包括在輔助信息中的視差圖像信息提供給視差圖像信息獲取單元125，并且將兼容性信息提供給兼容性信息獲取單元126。在步驟S156中，圖像生成單元202確定觀看者是否已經(jīng)做出用于顯示雙視點(diǎn)模式的3D圖像的指令。在于步驟S156中確定觀看者已經(jīng)做出用于顯示雙視點(diǎn)模式的3D圖像的指令的情況下，處理行進(jìn)到步驟S157。在步驟S157中，解碼器122的兼容解碼器211從由分離單元121提供的兼容流中提取經(jīng)編碼的兼容圖像，并且對(duì)所提取的兼容圖像進(jìn)行解碼。更具體地，兼容解碼器211從由分離單元121提供的一部分兼容流提取經(jīng)編碼的圖像A，并且從另一部分兼容流提取經(jīng)編碼的圖像B。然后，兼容解碼器211根據(jù)與AVC模式對(duì)應(yīng)的模式將作為經(jīng)編碼的基本圖像的經(jīng)編碼的圖像A進(jìn)行解碼，并且根據(jù)與MVC模式對(duì)應(yīng)的模式將作為經(jīng)編碼的相關(guān)圖像的經(jīng)編碼的圖像B進(jìn)行解碼。兼容解碼器211將由于解碼處理而獲取的作為兼容圖像的圖像A和圖像B提供給圖像生成單元202。
在步驟S158中，圖像生成單元202交替地輸出從兼容解碼器211提供的兼容圖像中的圖像Al和圖像BI，從而將圖像Al和圖像BI顯示在顯示裝置(圖中未示出)上。然后，
處理結(jié)束。另一方面，在其中在步驟S156中確定觀看者沒有做出用于顯示雙視點(diǎn)模式的3D圖像的指令的情況下，換句話說，在觀看者做出用于顯示多視點(diǎn)模式的3D圖像的指令的情況下，處理行進(jìn)到步驟S159。在步驟S159中，類似于步驟S157的處理，兼容解碼器211從由分離單元121提供的兼容流中提取經(jīng)編碼的兼容圖像，并且根據(jù)與MVC模式對(duì)應(yīng)的模式對(duì)所提取的兼容圖像進(jìn)行解碼。兼容解碼器211將由于解碼處理而獲取的作為兼容圖像的圖像A和圖像B提供給圖像生成單元202。在步驟S160中，輔助解碼器132從輔助流中提取經(jīng)編碼的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像以及輔助圖像的視差圖像的復(fù)用圖像，并且根據(jù)與圖22中所示的輔助編碼器152的模式對(duì)應(yīng)的模式對(duì)所提取的圖像進(jìn)行解碼。輔助解碼器132將由于解碼處理而獲取的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像以及輔助圖像的視差圖像的復(fù)用圖像提供給圖像生成單元202。除了兼容圖像的視差圖像為兼容圖像的視差圖像的復(fù)用圖像之外，步驟S161至步驟S168的處理與圖9中所示的步驟S35至步驟S42的處理相同，因此將不對(duì)其進(jìn)行描述。在可以僅對(duì)與解碼裝置200有兼容性的兼容流進(jìn)行解碼的解碼裝置中，包括在TS2中的輔助流和輔助信息被忽略，并且執(zhí)行步驟S151至步驟S155、步驟S157和步驟S158的處理。如上，解碼裝置200可以對(duì)由編碼裝置180根據(jù)與現(xiàn)有的模式有兼容性的模式所復(fù)用的復(fù)用流進(jìn)行分離。另外，解碼裝置200可以對(duì)由編碼裝置180根據(jù)與現(xiàn)有模式有兼容性的并且需要相對(duì)低的處理開銷的模式進(jìn)行編碼的兼容流和輔助流進(jìn)行解碼。[TS的第二配置示例]圖28是示出了由圖22中所示的復(fù)用單元59所生成的TS的第二配置示例的圖。在圖28中所示的示例中，由復(fù)用單元59生成三個(gè)TS，并且作為包括在兼容流中的經(jīng)編碼的兼容圖像之一的圖像B2以及輔助流和輔助信息來包括在互不相同的TS中。更具體地，根據(jù)作為包括在兼容流中的經(jīng)編碼的兼容圖像中之一的圖像A2生成TS1，根據(jù)另外的圖像B2生成TS2，并且根據(jù)輔助流和輔助信息生成TS3。在圖28中所示的示例中，由于包括在兼容流中的解碼之后的圖像Al和B2中的每個(gè)圖像分別被存儲(chǔ)在一個(gè)TS中，所以不需要減少兼容流的信息的量。因此，兼容圖像的圖像質(zhì)量可以被配置成與根據(jù)現(xiàn)有的MVC模式進(jìn)行編碼的兩個(gè)視點(diǎn)的圖像的圖像質(zhì)量相同。[復(fù)用方法的描述]圖29是對(duì)圖28中所示的TSl至TS3進(jìn)行復(fù)用的方法的示例的圖。如圖29中所示，通過以訪問單元為單位從報(bào)頭開始以TS3、TS1和TS2的順序布置來對(duì)TSI至TS3進(jìn)行復(fù)用。另外，表示包括除了兼容流之外的信息的TS報(bào)頭的3DV表示定界符被添加到TS3的報(bào)頭。換句話說，3DV表示定界符被布置在特定訪問單元的TS3與前一訪問單元的TS2之間的邊界上。因此，解碼裝置200可以通過提取從特定的3DV表示定界符到下一個(gè)3DV表示定界符的數(shù)據(jù)很容易地識(shí)別兼容流以及與其同步的輔助流和輔助圖像。
[第二編碼處理的描述]在其中TS具有參照?qǐng)D28所描述的配置的情況下，除了在圖25中所示的步驟S145中根據(jù)包括在兼容流中的編碼之后的圖像A生成TS1、并且根據(jù)編碼之后的圖像B生成TS2、并且根據(jù)輔助流和輔助信息生成TS3之外，由編碼裝置180執(zhí)行的編碼處理與參照?qǐng)D24與圖25描述的編碼處理相同，因此將不對(duì)其進(jìn)行描述。[第二解碼處理的描述]圖30是示出了其中被復(fù)用在復(fù)用流中的TS的配置是參照?qǐng)D28所描述的配置的情況下由圖26中所示的解碼裝置200執(zhí)行的解碼處理的流程圖。該解碼處理例如在由參照?qǐng)D22所示的編碼裝置180發(fā)送的復(fù)用流被輸入到解碼裝置200時(shí)開始。圖30中所示的步驟S181至步驟S184的處理與圖27所示出的步驟S151至步驟S154的處理相同，因此將不對(duì)其進(jìn)行描述。在于步驟S181中確定觀看者沒有做出用于顯示2D圖像的指令的情況下，類似于圖30中所示的步驟S156的處理，在步驟S185中，圖像生成單元202確定觀看者是否已經(jīng)做出用于顯示雙視點(diǎn)模式的3D圖像的指令。在其中在步驟S185中確定了觀看者已經(jīng)做出用于顯示雙視點(diǎn)模式的3D圖像的指令的情況下，處理行進(jìn)到步驟S186。在步驟S186中，類似于圖27中所示的步驟S155的處理，分離單元121從復(fù)用流中分離TSl和TS2。然后，分離單元121提取包括在TSl中的一部分兼容流以及包括在TS2中的一部分兼容流，并且將所提取的部分提供給解碼器122。然后，處理行進(jìn)到步驟S187。步驟S187和步驟S188的處理與圖27所示出的步驟S157和步驟S158的處理相同，因此將不對(duì)其進(jìn)行描述。另一方面，在于步驟S185中確定觀看者沒有做出用于顯示雙視點(diǎn)模式的3D圖像的指令的情況下，換句話說，在確定觀看者做出用于顯示多視點(diǎn)模式的3D圖像的指令的情況下，處理行進(jìn)到步驟S189。在步驟S189中，分離單元121從復(fù)用流中分離出TS3。然后，分離單元121通過參考定界符等來提取包括在TS3中的輔助信息，將包括在輔助信息中的圖像信息提供給圖像信息獲取單元123用于保持該圖像信息，并且將視點(diǎn)距離信息提供給視點(diǎn)間距離信息獲取單元124用于保持視點(diǎn)距離信息。另外，分離單元121將包括在輔助信息中的視差圖像信息提供給視差圖像信息獲取單元125用于保持視差圖像信息，并且將兼容性信息提供給兼容性信息獲取單元126用于保持兼容性信息。此外，分離單元121通過參考定界符等來提取包括在TS3中的輔助流，并且將所提取的輔助流提供給解碼器122。在步驟S190中，類似于步驟S186的處理，分離單元121從復(fù)用流中分離TSl和TS2。然后，分離單元121提取包括在TSl中的一部分兼容流和包括在TS2中的其他部分兼容流，并且將所提取的部分提供給解碼器122。步驟S191至步驟S200的處理與圖27中所示的步驟S159至步驟S168的處理相同，因此將不對(duì)其進(jìn)行描述。在可以僅對(duì)與解碼裝置200有兼容性的兼容流進(jìn)行解碼的解碼裝置中，TS3被忽略，并且執(zhí)行步驟S181至步驟S188的處理。如上，解碼裝置200可以對(duì)由編碼裝置180根據(jù)與現(xiàn)有的模式有兼容性的模式所復(fù)用的復(fù)用流進(jìn)行分離。
[TS的第三配置示例]圖31是示出了由圖22中所示的復(fù)用單元59生成的TS的第三配置示例的圖。在圖31中所示的示例中，由復(fù)用單元59生成三個(gè)TS，并且兼容流、輔助流和輔助信息包括在互不相同的TS中。更具體地，根據(jù)兼容流生成TSl，根據(jù)輔助流生成TS2，并且根據(jù)輔助信息生成TS3。在圖31中所示的示例中，TS3僅由其信息的量相對(duì)小的輔助信息來獨(dú)立地生成。因此，執(zhí)行其中對(duì)可以被同時(shí)處理的TS的數(shù)目有限制的應(yīng)用(例如BD應(yīng)用)的解碼裝置可以通過預(yù)加載其信息的量相對(duì)小的TS3來彼此同步地再現(xiàn)TSl和TS2。另外,在圖31中所示的示例中，由于兼容流被存儲(chǔ)在與存儲(chǔ)有輔助流和輔助信息的TS不同的TS中，因此編碼裝置可以通過從另外的裝置下載它們來獲取輔助流和輔助信息，并且在兼容流被生成之后生成復(fù)用流。另外，由于兼容流被存儲(chǔ)在一個(gè)TS中，因此編碼裝置180可以確保與下述編碼裝置的兼容性，該編碼裝置在復(fù)用中根據(jù)MVC模式對(duì)現(xiàn)有的雙視點(diǎn)模式的3D圖像進(jìn)行編碼并且將經(jīng)編碼的圖像存儲(chǔ)在一個(gè)TS中。[第三編碼處理的描述]在TS具有參照?qǐng)D31所描述的配置的情況下，除了在圖25所示出的步驟S145中TSl根據(jù)兼容流生成、TS2根據(jù)輔助流生成并且TS3根據(jù)輔助信息生成之外，由編碼裝置180執(zhí)行的編碼處理與參照?qǐng)D24和圖25所描述的編碼處理相同，因此將不對(duì)其進(jìn)行描述。[第三解碼處理的描述]圖32是示出了在被復(fù)用在復(fù)用流中的TS的配置是參照?qǐng)D31所描述的配置的情況下，由圖26所示出的解碼裝置200執(zhí)行的解碼處理的流程圖。該解碼處理例如在由圖22所示的編碼裝置180發(fā)送的復(fù)用流被輸入到解碼裝置200時(shí)開始。在圖32所示出的步驟S211中，類似于圖27所示出的步驟S151的處理，解碼裝置200的圖像生成單元202確定觀看者是否已經(jīng)做出用于顯示2D圖像的指令。在其中在步驟S211中確定觀看者已經(jīng)做出用于顯示2D圖像的指令的情況下，處理進(jìn)行到步驟S212。在步驟S212中，分離單元121接收由編碼裝置180發(fā)送的復(fù)用流，并且從復(fù)用流中分離TSl。然后，分離單元121提取包括在TSl中的兼容流，并且將所提取的兼容流提供給解碼裝置201。在步驟S213中，解碼器201的兼容解碼器211從由分離單元121提供的兼容流中提取經(jīng)編碼的兼容圖像，并且根據(jù)與MVC模式對(duì)應(yīng)的模式對(duì)經(jīng)編碼的兼容圖像進(jìn)行解碼。兼容解碼器211將由于解碼處理而獲取的圖像A2提供給圖像生成單元202。在步驟S214中，類似于圖15中所示步驟S154的處理，圖像生成單元202將由兼容解碼器211提供的圖像A2輸出給顯示裝置(圖中未示出)，從而顯示該圖像。然后，處理結(jié)束。另一方面，在其中在步驟S211中確定觀看者沒有做出用于顯示2D圖像的指令的情況下，在步驟S215中，圖像生成單元202確定觀看者是否已經(jīng)做出用于顯示雙視點(diǎn)模式的3D圖像的指令。在其中在步驟S215中確定了觀看者已經(jīng)做出用于顯示雙視點(diǎn)模式的3D圖像的指令的情況下，處理進(jìn)行到步驟S216。在步驟S216中，分離單元121從復(fù)用流中分離出TS1。然后，分離單元121提取包括在TSl中的兼容流，并且將所提取的兼容流提供給解碼器122。在步驟S217中，解碼裝置122的兼容解碼器211從由分離單元121所提供的兼容流中提取經(jīng)編碼的兼容圖像，并且根據(jù)與MVC模式對(duì)應(yīng)的模式對(duì)經(jīng)編碼的兼容圖像進(jìn)行解碼。兼容解碼器211將由于解碼處理而獲取的作為兼容圖像的圖像A和圖像B提供給圖像生成單元202。在步驟S218中，圖像生成單元202交替地輸出由兼容解碼器211提供的兼容圖像中的圖像Al和圖像BI，從而將圖像Al和圖像BI顯示顯示裝置(圖中未示出)上。然后，處
理結(jié)束。另一方面，在其中在步驟S215中確定觀看者做出用于顯示雙視點(diǎn)模式的3D圖像的指令的情況下，換句話說，在其中觀看者做出用于顯示多視點(diǎn)模式的3D圖像的指令的情況下，處理行進(jìn)到步驟S219。在步驟S219中，分離單元121從由編碼裝置180輸出的復(fù)用流中分離TS3。然后，分離單元121通過參考定界符等來提取包括在TS3中的輔助信息，并且將包括在輔助信息中的圖像信息提供給圖像信息獲取單元123用于保持圖像信息，并且將視點(diǎn)距離信息提供給視點(diǎn)間距離信息獲取單元124用于保持視點(diǎn)距離信息。另外，分離單元121將包括在輔助信息中的視差圖像信息提供給視差圖像信息獲取單元125用于保持視差圖像信息，并且將兼容性信息提供給兼容性信息獲取單元126用于保持兼容性信息。在步驟S220中，分離單元121從由編碼裝置180輸出的復(fù)用流中分離TSl和TS2。然后，分離單元121將包括在TSl中的兼容流以及包括在TS2中的輔助流提供給解碼器122。在步驟S221中，解碼器122的兼容解碼器211從由分離單元121提供的兼容流中提取經(jīng)編碼的兼容圖像，并且根據(jù)與MVC模式對(duì)應(yīng)的模式對(duì)經(jīng)編碼的兼容圖像進(jìn)行解碼。兼容解碼器211將由于解碼處理而獲取的作為兼容圖像的圖像A和圖像B提供給圖像生成單元202。然后，處理行進(jìn)到步驟S222。步驟S222至步驟S230的處理與圖30所示的步驟S192至步驟S200的處理相同，因此將不對(duì)其進(jìn)行描述。在以上的描述中，雖然解碼裝置使用定界符來分離出TS，但在其中每個(gè)TS的PID(進(jìn)程標(biāo)識(shí)符)都具有定值的情況下可以使用PID來對(duì)TS進(jìn)行分離。在這樣的情況下，由于可以僅對(duì)兼容流進(jìn)行解碼的解碼裝置不能識(shí)別除了其中包括兼容流的TS的PID之外的任何PID，因此解碼裝置將除了該TS之外的TS忽略。另外，輔助信息可以被配置成是經(jīng)編碼的?！吹谒膶?shí)施例〉[根據(jù)第四實(shí)施例的編碼裝置的配置示例]圖33是示出了根據(jù)本技術(shù)的第四實(shí)施例的編碼裝置的配置示例的框圖。在圖33中所示的配置中，與圖2中所示的配置相同的配置被分配了相同的附圖標(biāo)記。適當(dāng)?shù)貙⒉辉俪尸F(xiàn)重復(fù)的描。圖33中所示的編碼裝置230的配置與圖2中所示的配置的不同之處主要在于:設(shè)置有成像單元231-1至成像單元231-N (在此，N是二的倍數(shù)，即四個(gè)或更多個(gè))、圖像轉(zhuǎn)換單元232、視差圖像生成單元233以及視點(diǎn)間距離信息生成單元234，而不是成像單元51B和成像單元51C、圖像轉(zhuǎn)換單元52、視差圖像生成單元53以及視點(diǎn)間距離信息生成單元56。編碼裝置230將多視點(diǎn)圖像中的一個(gè)視點(diǎn)的圖像設(shè)定為兼容圖像，將剩余N視點(diǎn)的圖像設(shè)定為輔助圖像，并且對(duì)圖像進(jìn)行編碼。更具體地，在編碼裝置230中，成像單元231-1至成像單元231-N沿水平方向順序地排列，成像單元51A設(shè)置在其中心處。在此，成像單元231-1與成像單元231-2之間的距離、成像單元231-2與成像單元231-3之間的距離、…以及成像單元231- (N-1)與成像單元231-N之間的距離為距離Adl1, Adl2，…，AdlN_10成像單元231-1至成像單元231-N捕捉與圖像Al的視點(diǎn)不同的視點(diǎn)的HD (高清晰度)圖像作為圖像Pl至PN，并且將所捕捉的圖像提供給圖像轉(zhuǎn)換單元232、視差圖像生成單元233以及視點(diǎn)間距離信息生成單元234。在下文中，在成像單元231-1至成像單元231-N不需要特別地彼此區(qū)分的情況下，成像單元將被統(tǒng)稱為成像單元231。類似地，圖像Pl至圖像PN將被稱為圖像P。對(duì)應(yīng)于圖像P的視點(diǎn)是位于可以被識(shí)別為3D圖像的圖像的視點(diǎn)中的外側(cè)的視點(diǎn)。因此，與編碼裝置230對(duì)應(yīng)的解碼裝置可以通過使用圖像Al和圖像P對(duì)位于圖像P的視點(diǎn)的內(nèi)側(cè)的視點(diǎn)的圖像進(jìn)行內(nèi)插來生成多視點(diǎn)圖像。因此，可以生成這樣的多視點(diǎn)圖像:其精度比其中在使用位于內(nèi)側(cè)的視點(diǎn)的圖像來對(duì)位于外側(cè)的視點(diǎn)的圖像進(jìn)行內(nèi)插的情況下的精度高。距離Λ Cll1至距離Adlp1可以為固定的或者每次都改變。圖像轉(zhuǎn)換單元232將在水平方向上的位置位于成像單元51Α以及成像單元231中的內(nèi)側(cè)的成像單元51Α提供的圖像Al確定為兼容圖像。圖像轉(zhuǎn)換單元232將指定圖像Al為兼容圖像的信息提供給兼容性信息生成單元55。然后，圖像轉(zhuǎn)換單元232將作為兼容圖像的圖像Al直接提供給編碼器58。另外，圖像轉(zhuǎn)換單元232將除圖像Al之外的圖像P設(shè)定為輔助圖像，并且根據(jù)預(yù)定的復(fù)用模式對(duì)圖像進(jìn)行復(fù)用。更具體地，例如，在復(fù)用模式為并排模式的情況下，圖像轉(zhuǎn)換單元232將圖像P的分辨率減半 。然后，圖像轉(zhuǎn)換單元232對(duì)其分辨率減半的圖像Ρ1、圖像Ρ3、…、圖像P (N-1)(下文中稱為半分辨率奇圖像)以及其分辨率減半的圖像Ρ2、圖像
Ρ4.....PN (下文中稱為半分辨率偶圖像)進(jìn)行復(fù)用，使得半分辨率奇圖像是屏幕的左半部
的圖像，并且半分辨率偶圖像是屏幕的右半部的圖像。圖像轉(zhuǎn)換單元232將由于復(fù)用處理而獲取的復(fù)用圖像提供給編碼器58，并且將表示輔助圖像的復(fù)用模式的信息提供給圖像信息生成單元54。視差圖像生成單元233使用從成像單元51Α提供的圖像Al以及從成像單元231提供的圖像P來檢測(cè)圖像Al和圖像P的每個(gè)像素的視差。視差圖像生成單元233生成作為兼容圖像的圖像Al的視差圖像Al丨，并且將所生成視差圖像直接提供給編碼器58。另外，視差圖像生成單元233生成作為輔助圖像的圖像Pl至圖像PN的視差圖像Pl '至PN'，并且類似于圖像轉(zhuǎn)換單元232，根據(jù)預(yù)定的復(fù)用模式對(duì)視差圖像進(jìn)行復(fù)用。視差圖像生成單元233將由于復(fù)用而獲取的復(fù)用圖像提供給解碼器58。視差圖像生成單元233將表示輔助圖像的視差圖像的復(fù)用模式的信息提供給視差圖像信息生成單元57。下文中，在視差圖像至視差圖像PN'不需要特別地彼此區(qū)分的情況下，視差圖像將被統(tǒng)稱為視差圖像。視點(diǎn)間距離信息生成單元234使用從成像單元51Α提供的圖像Al以及從成像單元231提供的圖像P對(duì)圖像Al和圖像P之間的視點(diǎn)間距離進(jìn)行檢測(cè)。例如，視點(diǎn)間距離信息生成單元234檢測(cè)成像單元231-1與成像單元231-2之間在水平方向上的距離Λ (Il1,…、以及成像單元231- (N-1)與成像單元231-Ν之間在水平方向上的距離Adl1^1作為視點(diǎn)間距離。視點(diǎn)間距離信息生成單元234生成表示視點(diǎn)間距離等的信息作為視點(diǎn)間距離信息，并且將視點(diǎn)間距離信息提供給復(fù)用單元59。[TS的配置示例]圖34是示出了圖33中所示的由復(fù)用單元59所生成的TS的配置示例的圖。在圖34中所示的示例中，TSl由復(fù)用單元59根據(jù)兼容流生成。另外，TS2根據(jù)包括作為經(jīng)編碼的輔助圖像的圖像P的復(fù)用圖像、兼容圖像的視差圖像A '和輔助圖像的視差圖像的復(fù)用圖像的輔助流以及輔助信息生成。在圖34中所示的示例中，類似于圖3中所示的情況，由于兼容流以及除了兼容流之外的流被存儲(chǔ)在互不相同的TS中，所以不需要減少兼容流的信息的量。因此，兼容圖像的圖像質(zhì)量可以被配置成等同于根據(jù)現(xiàn)有的AVC方法被編碼的2D圖像的圖像質(zhì)量。圖35是示出了圖34中所示的TS2的詳細(xì)的配置示例的圖。如圖35的A至圖35的C中所示，在圖34所示的TS2中，數(shù)據(jù)以單元為單位布置，并且在每個(gè)單元的報(bào)頭處插入了定界符(Del)。在圖35的A中所示的示例中，以訪問單元(其為解碼單元)為單位布置的下述信息分別布置在每個(gè)單元中作為數(shù)據(jù)，所述信息為:經(jīng)編碼的輔助圖像的復(fù)用圖像(P1+P2，…，P(N-1)+PN)和輔助圖像的復(fù)用圖像的輔助信息(Aux Inf)、經(jīng)編碼的兼容圖像的視差圖像(Al丨)和兼容圖像的視差圖像的輔助信息、或經(jīng)編碼的輔助圖像的視差圖像的復(fù)用圖像(Pl' +P2'，…，P(N-1)' +PN')和輔助圖像的視差圖像的復(fù)用圖像的輔助信息。在這樣的情況下，類似于圖4的A中所示的情況，接收TS2的解碼裝置可以通過以單元為單位提取數(shù)據(jù)的方式對(duì)以訪問單元為單位布置的經(jīng)編碼的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像以及輔助圖像的視差圖像的復(fù)用圖像進(jìn)行獨(dú)立地提取。因此，例如在解碼裝置只使用兼容圖像和兼容圖像的視差圖像來生成多視點(diǎn)圖像的情況下，可以容易地提取用于生成多視點(diǎn)圖像的圖像。另外，由于輔助圖像的復(fù)用圖像、兼容圖像的視差圖像和輔助圖像的視差圖像的復(fù)用圖像中的每個(gè)圖像與圖像的輔助信息布置在同一單元中，因此可以以容易的方式對(duì)每個(gè)單元中布置的圖像進(jìn)行獨(dú)立地處理。在圖35的B中所示的示例中，以訪問單元為單位布置的經(jīng)編碼的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像、輔助圖像的視差圖像的復(fù)用圖像以及輔助信息一起布置在每個(gè)單元中。在這樣的情況下，類似于圖4的B的情況，接收TS2的解碼裝置可以通過以單元為單位提取數(shù)據(jù)的方式對(duì)以訪問單元為單位布置的經(jīng)編碼的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像、輔助圖像的視差圖像的復(fù)用圖像以及輔助信息一起進(jìn)行提取。在圖35的C中所示的示例中，以訪問單元為單位布置的經(jīng)編碼的輔助圖像的復(fù)用圖像和輔助圖像的復(fù)用圖像的輔助信息，或者經(jīng)編碼的兼容圖像的視差圖像、輔助圖像的視差圖像的復(fù)用圖像以及兼容圖像的視差圖像的和輔助圖像的視差圖像的輔助信息被布置在每個(gè)單元中。在這樣的情況下， 類似于圖4的C中所示的情況，接收TS2的解碼裝置可以通過以單元為單位提取數(shù)據(jù)的方式對(duì)以訪問單元為單位布置的經(jīng)編碼的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像以及輔助圖像的視差圖像的復(fù)用圖像進(jìn)行獨(dú)立地提取。因此，例如在用于圖像的解碼器和用于視差圖像的解碼器被分離地設(shè)置在解碼裝置中的情況下，可以將數(shù)據(jù)高效地提供給各個(gè)解碼器。另外，在解碼裝置中，可以以容易的方式獨(dú)立地處理圖像和視差圖像。除了輔助圖像的視點(diǎn)的數(shù)目不是兩個(gè)而是N個(gè)，由圖33中所示的編碼裝置230所執(zhí)行的編碼處理與圖6和圖7中所示的編碼處理相同，因此將不對(duì)其進(jìn)行描述。如上，編碼裝置230使用存儲(chǔ)在互不相同的TS中的兼容流、輔助流以及兼容性信息來執(zhí)行復(fù)用，因此可以確保與在復(fù)用中對(duì)2D圖像進(jìn)行編碼的現(xiàn)有編碼裝置的兼容性。另外，由于編碼裝置230根據(jù)現(xiàn)有的編碼模式對(duì)多視點(diǎn)圖像中的作為兼容圖像的一個(gè)視點(diǎn)的圖像進(jìn)行編碼，因此可以確保與在編碼處理中對(duì)2D圖像進(jìn)行編碼的現(xiàn)有的編碼裝置的兼容性。換句話說，編碼裝置230可以根據(jù)與現(xiàn)有的編碼模式有兼容性的模式對(duì)多視點(diǎn)圖像進(jìn)行編碼。此外，由于編碼裝置230對(duì)N+1視點(diǎn)的圖像Al和圖像P進(jìn)行編碼，因此與編碼裝置230對(duì)應(yīng)的解碼裝置可以根據(jù)N+1視點(diǎn)的圖像Al和圖像P生成多視點(diǎn)圖像。以這種方式，根據(jù)解碼裝置，與根據(jù)兩個(gè)視點(diǎn)的圖像來生成多視點(diǎn)圖像的情況相比，可以生成的圖像的視點(diǎn)不受限制，并且可以生成具有相對(duì)高的精度的多視點(diǎn)圖像。另外，由于編碼裝置230在輔助圖像的分辨率降低的情況下對(duì)圖像進(jìn)行編碼，因此編碼處理與解碼處理的處理開銷低于不降低分辨率而執(zhí)行編碼的情況。[解碼裝置的配置示例]圖36是示出了對(duì)由圖33中所示的編碼裝置230所發(fā)送的復(fù)用流進(jìn)行解碼的解碼裝置的配置示例的圖。在圖36中所示的配置中，與圖8中所示的配置相同的配置被分配了相同的附圖標(biāo)記。適當(dāng)?shù)貙⒉辉僦貜?fù)的描述。圖36中所示的解碼裝置260的配置與圖8中所示的配置的不同之處主要在于:設(shè)置有解碼器261以及圖像生成單元262而不是解碼器122以及圖像生成單元127。解碼裝置120通過對(duì)從編碼裝置230發(fā)送的復(fù)用流進(jìn)行分離并且解碼來生成一個(gè)視點(diǎn)的或多視點(diǎn)圖像，并且將圖像顯示在顯示裝置(圖中未示出)上。圖36中所示的解碼裝置260的解碼器261是由兼容解碼器131以及輔助解碼器271配置而成。解碼器261的輔助解碼器271 (輔助圖像解碼單元)根據(jù)與圖33中所示的輔助編碼器62的模式對(duì)應(yīng)的模式，對(duì)包括在從分離單元121所提供的輔助流中的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像以及輔助圖像的視差圖像的復(fù)用圖像進(jìn)行解碼。輔助解碼器271將由于解碼處理而獲取的作為輔助圖像的圖像P的復(fù)用圖像、兼容圖像的視差圖像A'以及作為輔助圖像的視差圖像的視差圖像的復(fù)用圖像提供給圖像生成單元262。圖像生成單元262根據(jù)由觀看者提供的顯示指令來輸出圖像，并且將圖像顯示顯示裝置(圖中未示出)上。更具體地，圖像生成單元262 (生成單元)根據(jù)觀看者用于顯示多視點(diǎn)的3D圖像的指令，基于從圖像信息獲取單元123提供的圖像信息、從視點(diǎn)間距離信息獲取單元124提供的視點(diǎn)間距離信息、從視差圖像信息獲取單元125提供的視差圖像信息、從兼容性信息獲取單元126提供的兼容性信息等，通過使用作為兼容圖像的圖像A、作為輔助圖像的圖像P的復(fù)用圖像、兼容圖像的視差圖像A'以及輔助圖像的視差圖像的復(fù)用圖像來生成與顯示裝置(圖中未示出)對(duì)應(yīng)的三個(gè)或更多個(gè)視點(diǎn)的圖像，每個(gè)圖像的分辨率為兼容圖像或輔助圖像的分辨率的一半。當(dāng)更詳細(xì)地描述時(shí)，圖像生成單元262基于下述信息從輔助圖像的視差圖像Pl ’的復(fù)用圖像中分離出每個(gè)輔助圖像的視差圖像，該信息表示從視差圖像信息獲取單元125提供的視差圖像信息中包括的輔助圖像的視差圖像的復(fù)用模式。另外，圖像生成單元262基于下述信息從作為輔助圖像的圖像P的復(fù)用圖像中分離出每個(gè)圖像P，該信息表示從圖像信息獲取單元123提供的圖像信息中包括的輔助圖像的復(fù)用模式的信息。此外，圖像生成單元262基于視點(diǎn)間距離信息以及與顯示裝置(圖中未示出)對(duì)應(yīng)的視點(diǎn)的數(shù)目來確定將要生成的多視點(diǎn)圖像的每個(gè)視點(diǎn)的位置。然后，圖像生成單元262通過使用兼容圖像、每個(gè)輔助圖像、兼容圖像的視差圖像以及每個(gè)輔助圖像的視差圖像來生成其位置被確定的每個(gè)視點(diǎn)的圖像。然后，圖像生成單元262將所生成的每個(gè)視點(diǎn)的圖像的分辨率轉(zhuǎn)換成是兼容圖像或輔助圖像的分辨率的“ I/視點(diǎn)的數(shù)目”的分辨率，對(duì)圖像進(jìn)行合成，并且將所合成的圖像顯示在顯示裝置(圖中未示出)上。此時(shí)，對(duì)合成后的多視點(diǎn)圖像進(jìn)行顯示以使得每個(gè)視點(diǎn)的視角不同，從而觀看者可以在不佩戴眼鏡的情況下通過使用他的左眼和右眼看任意兩個(gè)視點(diǎn)的圖像來觀看3D圖像。另外，圖像生成單元262根據(jù)觀看者用于顯示2D圖像的指令來輸出由解碼器261的兼容解碼器131提供的作為兼容圖像的圖像Al，從而將圖像顯示在顯示裝置(圖中未示出)上。因此,觀看者可以觀看2D圖像。除了輔助圖像是N視點(diǎn)的圖像P之外，由圖36中所示的解碼裝置260所執(zhí)行的解碼處理與圖9中所示的解碼處理相同，因此將不對(duì)其進(jìn)行描述。如上，解碼裝置260可以將由編碼裝置230根據(jù)與現(xiàn)有模式有兼容性的模式進(jìn)行復(fù)用的復(fù)用流進(jìn)行分離。另外，解碼裝置260可以對(duì)由編碼裝置230根據(jù)與現(xiàn)有模式有兼容性并且需要相對(duì)低的處理開銷的模式所編碼的兼容流和輔助流進(jìn)行解碼。<第五實(shí)施例>[根據(jù)第五實(shí)施例的編碼裝置的配置示例]圖37是示出了根據(jù)本技術(shù)的第五實(shí)施例的編碼裝置的配置示例的框圖。圖37中所示的編碼裝置290由圖像轉(zhuǎn)換處理單元291、視差信息生成單元292、編碼處理單元293以及發(fā)送單元294配置而成。編碼裝置290根據(jù)AVC模式對(duì)兩個(gè)視點(diǎn)的兼容圖像中之一進(jìn)行編碼，根據(jù)MVC模式對(duì)另一個(gè)進(jìn)行編碼，并且根據(jù)3DV模式對(duì)一個(gè)視點(diǎn)的輔助圖像、兼容圖像的視差圖像以及輔助圖像的視差圖像進(jìn)行編碼。在此，3DV模式是用于根據(jù)符合AVC模式或MVC模式的多個(gè)視點(diǎn)的模式對(duì)顯示圖像進(jìn)行編碼的模式。更具體地，由L圖像(其是雙視點(diǎn)模式中作為一個(gè)視點(diǎn)的兼容圖像的左眼圖像)以及L圖像的視差圖像(下文中稱為L視差圖像)形成的L視點(diǎn)圖像被輸入到編碼裝置290。另外，由R圖像(其是雙視點(diǎn)模式中作為另一個(gè)視點(diǎn)的兼容圖像的右眼圖像)以及R圖像的視差圖像(下文中稱為R視差圖像)形成的R視點(diǎn)圖像被輸入到編碼裝置290。此外，由作為輔助圖像的O圖像以及O圖像的視差圖像(下文中稱為O視差圖像)形成的O視點(diǎn)圖像被輸入到編碼裝置290。在此，假定:L視點(diǎn)圖像、R視點(diǎn)圖像以及O視點(diǎn)圖像的分辨率相同。編碼裝置290的圖像轉(zhuǎn)換處理單元291通過對(duì)O圖像以及O視差圖像(其用于配置輸入到編碼裝置290的O視點(diǎn)圖像)執(zhí)行分辨率降低處理、如濾波處理來降低分辨率。圖像轉(zhuǎn)換處理單元291將分辨率降低處理之后的O視點(diǎn)圖像提供給編碼處理單元293。另外，圖像轉(zhuǎn)換處理單元291生成表示在分辨率降低處理等中使用的濾波器的類型等的信息作為輔助圖像低分辨率轉(zhuǎn)換信息(其是與輔助圖像的分辨率降低處理有關(guān)的信息)，并且將所生成的輔助圖像低分辨率轉(zhuǎn)換信息提供給發(fā)送單元294。視差信息生成單元292 (設(shè)定單元)基于在捕捉圖像時(shí)L圖像、R圖像以及O圖像的信息等生成視差信息(其是與L視差圖像、R視差圖像以及O視差圖像有關(guān)的信息)，并且將所生成的視差信息提供給編碼處理單元293。編碼處理單元293根據(jù)AVC模式對(duì)輸入到編碼裝置290的L視點(diǎn)圖像中包括的L圖像進(jìn)行編碼。另外，編碼處理單元293根據(jù)MVC模式在L圖像設(shè)定為基本視圖(基本圖像)和R圖像設(shè)定為非基本視圖(相關(guān)圖像)的情況下對(duì)R視點(diǎn)圖像中包括的R圖像進(jìn)行編碼。另外，編碼處理單元293根據(jù)3DV模式對(duì)L視差圖像、R視點(diǎn)圖像以及由圖像轉(zhuǎn)換處理單元291所提供的分辨力降低處理之后的O視點(diǎn)圖像進(jìn)行編碼。此時(shí)，在其中分辨率降低處理之后的O視點(diǎn)圖像被編碼情況下，編碼處理單元293針對(duì)要被參照的L視點(diǎn)圖像以及R視點(diǎn)圖像執(zhí)行分辨率降低處理如濾波處理，并且使用由于分辨率降低處理而獲取的其分辨率與O視點(diǎn)圖像的分辨率相同的L視點(diǎn)圖像以及R視點(diǎn)圖像作為參考圖像。編碼處理單元293根據(jù)由于編碼處理而獲取的L視點(diǎn)圖像、R視點(diǎn)圖像和O視點(diǎn)圖像的編碼數(shù)據(jù)以及從視差信息生成單元292提供的視差信息來生成比特流，并且將比特流提供給發(fā)送單元294。另外，編碼處理單元293在生成O視點(diǎn)圖像的參考圖像等時(shí)生成表示在分辨率降低處理中使用的濾波器的類型的信息參考圖像低分辨率轉(zhuǎn)換信息(其是與參考圖像的分辨率降低處理有關(guān)的信息)，并且將所生成的參考圖像低分辨率轉(zhuǎn)換信息提供給發(fā)送單元294。發(fā)送單元294根據(jù)從圖像轉(zhuǎn)換處理單元291提供的輔助圖像低分辨率轉(zhuǎn)換信息以及由編碼處理單元293提供的比特流和參考圖像低分辨率轉(zhuǎn)換信息生成TS，并且發(fā)送所生成的TS。[編碼處理單元的配置示例]圖38是示出了圖37中所示的編碼處理單元293的配置示例的圖。圖38中所示的編碼處理單元293由編碼單元301、附加信息生成單元302、添加單元303以及比特流生成單元304配置而成。編碼處理單元293的編碼單元301由兼容編碼單元311以及輔助編碼單元312配置而成。編碼單元301的兼容編碼單元311根據(jù)AVC模式對(duì)作為兼容圖像的L圖像和R圖像中的L圖像進(jìn)行編碼。另外，兼容編碼單元311根據(jù)MVC模式在L圖像被設(shè)定為基本視圖并且R圖像被設(shè)定為非基本視圖的情況下對(duì)R圖像進(jìn)行編碼。兼容編碼單元311將由于編碼處理而獲取的L圖像和R圖像的編碼數(shù)據(jù)提供給添加單元303。輔助編碼單元312根據(jù)3DV模式對(duì)作為兼容圖像的視差圖像的L視差圖像和R視差圖像、作為輔助圖像的O圖像以及作為輔助圖像的視差圖像的O視差圖像進(jìn)行編碼。更具體地，輔助編碼單元312根據(jù)3DV模式在將L圖像和R圖像用作參考圖像的情況下對(duì)O圖像進(jìn)行編碼。此時(shí)，輔助編碼單元312針對(duì)要被參照的L圖像和R圖像執(zhí)行分辨率降低處理，從而將L圖像和R圖像的分辨率降低到與O圖像的分辨率相同。然后，輔助編碼單元312通過參考分辨率降低處理之后的L圖像和R圖像對(duì)O圖像進(jìn)行編碼。另外，輔助編碼單元312根據(jù)3DV模式在不參考除了同一視點(diǎn)的視差圖像之外的任何圖像的情況下對(duì)L視差圖像進(jìn)行編碼，并且根據(jù)3DV模式通過參考L視差圖像對(duì)R視差圖像進(jìn)行編碼。此外，輔助編碼單元312根據(jù)3DV模式通過參考L視差圖像和R視差圖像對(duì)分辨率降低處理之后的O視差圖像進(jìn)行編碼。此時(shí)，輔助編碼單元312通過分辨率降低處理將被參考的L視差圖像和R視差圖像的分辨率降低到與O視差圖像的分辨率相同，并且對(duì)分辨率降低處理之后的L視差圖像和R視差圖像進(jìn)行參考。輔助編碼單元312將由于編碼處理而獲取的L視差圖像、R視差圖像以及O視點(diǎn)圖像的編碼數(shù)據(jù)提供給添加單元303。另外，輔助編碼單元312在生成O視點(diǎn)圖像的參考圖像等時(shí)生成表示在分辨率降低處理中使用的濾波器的類型的信息作為參考圖像低分辨率轉(zhuǎn)換信息，并且將所生成的參考圖像低分辨率轉(zhuǎn)換信息提供給圖37中所示的發(fā)送單元294。附加信息生成單元302生成L圖像的SPS (序列參數(shù)集)的信息以及L視差圖像、R視點(diǎn)圖像和O視點(diǎn)圖像的子集SPS的信息。另外，附加信息生成單元302生成L圖像、R圖像以及O圖像的SEI (補(bǔ)充增強(qiáng)信息)的信息。此外，附加信息生成單元302生成包括由圖37中所示的視差信息生成單元292提供的L視差圖像的視差信息的L視差圖像的SEI信息、包括R視差圖像的視差信息的R視差圖像的SEI的信息、以及包括O視差圖像的視差信息的O視差圖像的SEI的信息。附加信息生成單元302將L圖像的SPS和SEI的信息以及L視差圖像、R視點(diǎn)圖像和O視點(diǎn)圖像的子集SPS和SEI的信息提供給添加單元303。添加單元303將包括表示AVC模式的圖片的類型為NAL (網(wǎng)絡(luò)抽象層)單元的類型的信息的NAL報(bào)頭添加到從兼容編碼單元311提供的L圖像的編碼數(shù)據(jù)，從而生成NAL單元。另外，添加單元303將包括表示MVC模式的編碼數(shù)據(jù)為NAL單元的類型的信息的NAL報(bào)頭添加到從兼容編碼單元311提供的R圖像的編碼數(shù)據(jù)，從而生成NAL單元。另外，添加單元303將包括表示3DV模式的編碼數(shù)據(jù)為NAL單元類型的信息并且包括表示圖像不是視差圖像的視差標(biāo)志的NAL報(bào)頭添加到從輔助編碼單元312提供的O圖像的編碼數(shù)據(jù)，從而生成NAL單元。此外，添加單元303將包括表示3DV模式的編碼數(shù)據(jù)為NAL單元的類型的信息并且包括與表示視差圖像的視差標(biāo)志(視差識(shí)別信息)有關(guān)的信息、與相應(yīng)圖像有關(guān)的信息等的NAL報(bào)頭添加到由輔助編碼單元312提供的L視差圖像、R視差圖像以及O視差圖像的編碼數(shù)據(jù)，從而生成NAL單元。此外，添加單元303將表示信息為NAL單元的類型的NAL報(bào)頭添加到從附加信息生成單元302提供的L圖像的SPS和SEI的信息以及L視差圖像、R視點(diǎn)圖像和O視點(diǎn)圖像的子集SPS和SEI的信息，從而生成NAL單元。添加單元303將如上所述生成的NAL單元提供給比特流生成單元304。比特流生成單元304通過對(duì)從添加單元303提供的NAL單元以預(yù)定的順序進(jìn)行布置來生成比特流，并且將所生成的比特流提供給圖37中所示的發(fā)送單元294。[編碼的描述]圖39是示出了由圖38中所示的編碼單元301執(zhí)行的編碼處理中的參考關(guān)系的圖。如圖39中所示的，兼容編碼單元311根據(jù)AVC模式對(duì)L圖像進(jìn)行編碼。另外，兼容編碼單元311根據(jù)MVC模式在L圖像被設(shè)定為基本視圖并且R圖像被設(shè)定為非基本視圖的情況下來對(duì)R圖像進(jìn)行編碼。此外，輔助編碼單元312根據(jù)3DV模式通過參考分辨率降低處理之后的L圖像和R圖像來對(duì)分辨率降低處理之后的O圖像進(jìn)行編碼。另外，如圖39所示，輔助編碼單元312根據(jù)3DV模式在不參考除了同一視點(diǎn)的視差圖像之外的任何圖像的情況下，對(duì)L視差圖像進(jìn)行編碼，并且根據(jù)3DV模式通過參考L視差圖像來對(duì)R視差圖像進(jìn)行編碼。此外，輔助編碼單元312根據(jù)3DV模式通過參考分辨率降低處理之后的L視差圖像和R視差圖像來對(duì)分辨率降低處理之后的O視差圖像進(jìn)行編碼。[NAL單元的配置示例]圖40是示出了包括在由圖38中所示的編碼處理單元293生成的比特流中的L視點(diǎn)圖像、R視點(diǎn)圖像以及O視點(diǎn)圖像的編碼數(shù)據(jù)的NAL單元的配置示例的圖。如圖40的A中所示，例如在根據(jù)現(xiàn)有的AVC模式對(duì)L圖像進(jìn)行編碼并且根據(jù)MVC模式在L圖像被設(shè)定為基本視圖下對(duì)L視差圖像、R視點(diǎn)圖像以及O視點(diǎn)圖像進(jìn)行編碼的情況下，L圖像的編碼數(shù)據(jù)的NAL單元由包括表示L圖像的AVC模式的圖片的類型為NAL單元的類型的信息的NAL報(bào)頭以及L圖像的編碼數(shù)據(jù)配置而成。另外，R圖像、O圖像、L視差圖像、R視差圖像以及O視差圖像中的每個(gè)的編碼數(shù)據(jù)的NAL單元由包括表示MVC的編碼數(shù)據(jù)為NAL單元的類型(NAL單元類型)的信息的NAL報(bào)頭以及編碼數(shù)據(jù)配置而成。因此，根據(jù)MVC模式編碼的R圖像、O圖像、L視差圖像、R視差圖像以及O視差圖像的編碼數(shù)據(jù)的NAL單元的NAL報(bào)頭是相同的。
因此，對(duì)比特流進(jìn)行解碼的解碼裝置不能識(shí)別R圖像、O圖像、L視差圖像、R視差圖像以及O視差圖像的NAL單元。從而，現(xiàn)有的MVC模式的解碼裝置不能僅對(duì)必要的R圖像的NAL單元進(jìn)行提取并且解碼，而是要執(zhí)行不必要的解碼處理。與此相對(duì)，如圖40的B中所示，在由編碼處理單元293執(zhí)行的編碼處理中，在O圖像、L視差圖像、R視差圖像以及O視差圖像的NAL單兀的NAL報(bào)頭中，表不3DV模式的編碼數(shù)據(jù)的信息被包括以作為NAL單元的類型，并且視差標(biāo)志(is_cbpth)被包括以作為擴(kuò)展信息(nal_unit_header_3dv_extension)。更具體地，在O圖像的NAL單元的NAL報(bào)頭中，包括了表示圖像不是視差圖像的為“O”的視差標(biāo)志。因此，解碼裝置可以識(shí)別O圖像。另外，在L視差圖像、R視差圖像以及O視差圖像的NAL單元的NAL報(bào)頭中，包括了表示視差圖像的為“I”的視差標(biāo)志。因此，解碼裝置可以識(shí)別L視差圖像、R視差圖像以及O視差圖像。此外，在L視差圖像、R視差圖像以及O視差圖像的NAL單元的NAL報(bào)頭中，包括了與相應(yīng)的圖像(兼容圖像和輔助圖像)有關(guān)的信息作為擴(kuò)展信息。作為與相應(yīng)的圖像的有關(guān)信息，有指定相應(yīng)圖像的視點(diǎn)的數(shù)目(num_Cor_view_id)以及相應(yīng)圖像的視點(diǎn)的信息(cor_view_id)(兼容圖像識(shí)別信息或輔助圖像識(shí)別信息)。在此，L視差圖像是一個(gè)視點(diǎn)的L圖像的視差圖像，R視差圖像是一個(gè)視點(diǎn)的R圖像的視差圖像，并且O視差圖像是一個(gè)視點(diǎn)的O圖像的視差圖像。在圖40中所示的示例中，指定L圖像的視點(diǎn)的信息是“0”，指定R圖像的視點(diǎn)的信息是“1”，并且指定O圖像的視點(diǎn)的 目息是“2”。因此，包括在L視差圖像的NAL單元的NAL報(bào)頭中的與相應(yīng)的圖像有關(guān)的信息是作為相應(yīng)的圖像的視點(diǎn)的數(shù)目的“I”以及作為指定相應(yīng)的圖像的視點(diǎn)的信息的“O”。另外，包括在R視差圖像的NAL單元的NAL報(bào)頭中的與相應(yīng)的圖像有關(guān)的信息是作為相應(yīng)的圖像的視點(diǎn)的數(shù)目的“I”以及作為指定相應(yīng)的圖像的視點(diǎn)的信息“I”。此外，包括在O視差圖像的NAL單元的NAL報(bào)頭中的與相應(yīng)的圖像有關(guān)的信息是作為相應(yīng)的圖像的視點(diǎn)的數(shù)目“I”以及作為指定相應(yīng)的圖像的視點(diǎn)的信息“2”。如上，通過包括與相應(yīng)的圖像有關(guān)的信息作為擴(kuò)展信息，可以分別識(shí)別L視差圖像、R視差圖像以及O視差圖像。另外，由于指定與視差圖像對(duì)應(yīng)的圖像的信息(其表示視差圖像與圖像之間的對(duì)應(yīng)關(guān)系)未包括在圖像的NAL報(bào)頭中而是包括在視差圖像的NAL報(bào)頭中，因此可以保持兼容圖像的NAL單元的兼容性。另外，作為兼容圖像的L圖像的NAL單元的類型是表示AVC模式的圖片的信息，并且R圖像的NAL單元的類型是表示MVC模式的編碼數(shù)據(jù)的信息。因此，表示3DV模式的編碼數(shù)據(jù)的NAL單元的類型可以被描述為表示除了兼容圖像之外的信息的報(bào)頭的信息，換句話說，表示除了兼容圖像之外的信息的邊界的邊界信息。[比特流的配置示例]圖41是示出了由圖38中所示的比特流生成單元304生成的比特流的配置示例的圖。如圖41的A中所示，根據(jù)AVC模式編碼的L圖像的比特流由L圖像的AVC模式的SPS的信息的NAL單元、L圖像的AVC模式的SEI的信息的NAL單元以及L圖像的編碼數(shù)據(jù)(L顏色)的NAL單元配置而成。另外，如圖41的B中所示，根據(jù)MVC模式編碼的R圖像的比特流由R圖像的MVC模式的子集SPS (Subset SPS)的信息的NAL單 元、R圖像的MVC模式的SEI的信息的NAL單元以及R圖像的編碼數(shù)據(jù)(R顏色)的NAL單元配置而成。如圖41的C中所示，根據(jù)3DV模式編碼的O圖像的比特流由O圖像的3DV模式的子集SPS的信息的NAL單元、O圖像的3DV模式的SEI的信息的NAL單元以及O圖像的編碼數(shù)據(jù)(O顏色)的NAL單元配置而成。如圖41的D中所示，根據(jù)3DV模式編碼的L視差圖像的比特流由L視差圖像的3DV模式的子集SPS的信息的NAL單元、包括L視差圖像的視差信息(3DV_view_synthesi s_info)的3DV模式的SEI的信息的NAL單元以及L視差圖像的編碼數(shù)據(jù)(L深度)的NAL單元配置而成。如圖41的E中所示，根據(jù)3DV模式編碼的R視差圖像的比特流由R視差圖像的3DV模式的子集SPS的信息的NAL單元、包括R視差圖像的視差信息的3DV模式的SEI的信息的NAL單元、R視差圖像的編碼數(shù)據(jù)(R深度)的NAL單元配置而成。雖然未在圖中示出，但是類似于R視差圖像的比特流，根據(jù)3DV模式編碼的O視差圖像的比特流由O視差圖像的3DV模式的子集SPS的信息的NAL單元、包括O視差圖像的視差信息的3DV模式的SEI的信息的NAL單元以及O視差圖像的編碼數(shù)據(jù)的NAL單元配置。如上，由于視差信息包括在3DV模式的SEI中，所以與3DV模式不對(duì)應(yīng)的解碼裝置不必然需要處理視差信息。[3DV模式的SEI的配置示例]圖42是示出了 3DV模式的SEI的配置示例的圖。如圖42中所示，在3DV模式的SEI中，包括了視差信息(3DV_view_synthesis_info)。圖43是示出了視差信息(3DV_view_synthesis_info)的描述的示例的圖。如圖43中所示，作為視差信息，描述了表示視差圖像的每個(gè)像素值是表示視差的視差值(視差)還是表示與視差對(duì)應(yīng)的對(duì)象的深度(Depth)的深度值的視差類型(depth_type)ο另外，作為視差信息，描述了表示視差圖像的每個(gè)像素值是否在預(yù)定的范圍(例如O至255的范圍)內(nèi)被歸一化的歸一化標(biāo)志(is_normalized)(歸一化識(shí)別信息)。此外，在視差圖像的每個(gè)像素值是深度值的情況下，對(duì)于所有的視點(diǎn)共同的深度值的最大值(z_near)以及深度值的最小值(z_far)被描述為視差信息。另一方面,在視差圖像的每個(gè)像素值是視差值的情況下，描述了針對(duì)每個(gè)視點(diǎn)的視差值的最大值(maX_disp)以及視差值的最小值(min_disp)。另外，作為視差信息，描述了捕捉與視差圖像對(duì)應(yīng)的圖像的相機(jī)的拍攝模式(camera_mode)0作為拍攝模式，有平行拍攝模式(ID平行模式)以及具有輻射的拍攝模式(普通模式)，在平行拍攝模式中執(zhí)行拍攝使得各個(gè)相機(jī)與對(duì)象之間在深度方向上的距離相同，在具有輻射的拍攝模式中，在相機(jī)被布置在從對(duì)象起的輻射方向上的情況下執(zhí)行拍攝。另外,描述了表示圖像的對(duì)應(yīng)關(guān)系信息(interval_view_id)作為視差信息,根據(jù)該對(duì)應(yīng)關(guān)系信息，對(duì)應(yīng)于視差圖像的圖像的視差是由視差圖像表示的視差。此外，描述了對(duì)應(yīng)于視差圖像的圖像的視點(diǎn)的數(shù)目(num_cor_view_id)以及對(duì)圖像進(jìn)行指定的信息(cor_vie_id)作為視差信息。另外，作為視差信息，描述了捕捉對(duì)應(yīng)于視差圖像的圖像的相機(jī)的參數(shù)(camera,parameters)。相機(jī)的參數(shù)由內(nèi)部參數(shù)和外部參數(shù)配置而成。內(nèi)部參數(shù)由相機(jī)在水平方向上的對(duì)于所有視點(diǎn)共同的焦距以及作為圖像中心的主點(diǎn)(換句話說，透鏡在水平方向上的光學(xué)中心的位置)形成。在水平方向上的主點(diǎn)的位置對(duì)于每個(gè)視點(diǎn)可能不同。另外，外部參數(shù)是定義相機(jī)在水平方向上的位置的參數(shù)。[編碼裝置的處理的描述]圖44是示出了由圖37中所示的編碼裝置290執(zhí)行的多視點(diǎn)編碼處理的流程圖。該多視點(diǎn)圖像編碼處理例如在L視點(diǎn)圖像、R視點(diǎn)圖像以及O視點(diǎn)圖像被作為編碼目標(biāo)輸入到編碼裝置290時(shí)開始。在圖44中所示的步驟S251中，編碼裝置290的編碼處理單元293獲取被輸入到編碼裝置290的L視點(diǎn)圖像。在步驟S252中，編碼處理單元293獲取被輸入到編碼裝置290的R視點(diǎn)圖像。在步驟S253中，圖像轉(zhuǎn)換處理單元291獲取被輸入到編碼裝置290的O視點(diǎn)圖像。在步驟S254中，圖像轉(zhuǎn)換處理單元291針對(duì)O視點(diǎn)的圖像中的O圖像以及O視差圖像執(zhí)行分辨率降低處理。圖像轉(zhuǎn)換處理單元291將分辨率降低處理之后的O視點(diǎn)的圖像提供給編碼處理單元293。在步驟S255中，圖像轉(zhuǎn)換處理單元291生成表示在步驟S254的分辨率降低處理中使用的濾波器的類型的信息等作為輔助圖像低分辨率轉(zhuǎn)換信息，并且將所生成的輔助圖像低分辨率轉(zhuǎn)換信息提供給發(fā)送單元294。在步驟S256中，視差信息生成單元292基于在捕捉圖像時(shí)的L圖像、R圖像以及O圖像的信息等生成L視差圖像、R視差圖像以及O視差圖像的視差信息，并且將所生成的視差信息提供給編碼處理單元293。在步驟S257中，編碼處理單元293執(zhí)行編碼處理，其中L視點(diǎn)圖像、R視點(diǎn)圖像以及從圖像轉(zhuǎn)換處理單元291提供的分辨率降低處理之后的O視點(diǎn)圖像被編碼。該編碼處理將參照隨后描述的圖45被詳細(xì)描述。在步驟S258中，發(fā)送單元294根據(jù)從圖像轉(zhuǎn)換處理單元291提供的輔助圖像低分辨率轉(zhuǎn)換信息以及由編碼處理單元293提供的參考圖像低分辨率轉(zhuǎn)換信息和比特流來生成TS，并且將TS發(fā)送。然后，處理結(jié)束。圖45是示出了圖44中所示的步驟S257的詳細(xì)的編碼處理的流程圖。在圖45中所示的步驟S270中，編碼處理單元293的編碼單元301 (圖38)對(duì)L視點(diǎn)圖像、R視點(diǎn)圖像以及分辨率降低處理之后的O視點(diǎn)圖像進(jìn)行編碼。更具體地，編碼單元301的兼容編碼單元311根據(jù)AVC模式對(duì)L圖像進(jìn)行編碼，并且根據(jù)MVC模式對(duì)R圖像進(jìn)行編碼。另外，輔助編碼單元312根據(jù)3DV模式對(duì)L視差圖像、R視差圖像以及分辨率降低處理之后的O視點(diǎn)圖像進(jìn)行編碼。編碼單元301將由于編碼處理而獲取的L視點(diǎn)圖像、R視點(diǎn)圖像以及O視點(diǎn)圖像的編碼數(shù)據(jù)提供給添加單元303。在步驟S271中，輔助編碼單元312生成參考圖像低分辨率轉(zhuǎn)換信息，并且將所生成的參考圖像低分辨率轉(zhuǎn)換信息提供給圖37中所示的發(fā)送單元294。在步驟S272中，附加信息生成單元302使用從圖37中所示的視差信息生成單元292提供的視差彳目息來生成L圖像的SEI和SPS的彳目息以及L視差圖像、R視點(diǎn)圖像和O視點(diǎn)圖像的子集SPS和SEI的信息，并且將所生成的信息提供給添加單元303。在步驟S273中，添加單元303將包括表示AVC模式的圖片類型的NAL單元類型的NAL報(bào)頭添加到從兼容編碼單元311提供的L圖像的編碼數(shù)據(jù)，從而生成NAL單元。添加單元303將所生成的L圖像的編碼數(shù)據(jù)的NAL單元提供給比特流生成單元304。在步驟S274中，添加單元303將包括表示MVC模式的編碼數(shù)據(jù)的NAL單元的類型的NAL報(bào)頭添加到從兼容編碼單元311提供的R圖像的編碼數(shù)據(jù)，從而生成NAL單元。添加單元303將所生成的R圖像的編碼數(shù)據(jù)的NAL單元提供給比特流生成單元304。在步驟S275中，添加單元303將包括表示3DV模式的編碼數(shù)據(jù)的NAL單元的類型以及表示圖像不是視差圖像的視差標(biāo)志的NAL報(bào)頭添加到從輔助編碼單元312提供的O圖像的編碼數(shù)據(jù)，從而生成NAL單元。添加單元303將所生成的O圖像的編碼數(shù)據(jù)的NAL單元提供給比特流生成單元304。在步驟S276中，添加單元303分別將包括表示3DV模式的編碼數(shù)據(jù)的NAL單元的類型、表示視差圖像的視差標(biāo)志以及與相應(yīng)的圖像有關(guān)的信息的NAL報(bào)頭添加到由輔助編碼單元312提供的L視差圖像、R視差圖像以及O視差圖像的編碼數(shù)據(jù)，從而生成NAL單元。添加單元303將所生成的L視差圖像、R視差圖像以及O視差圖像的編碼數(shù)據(jù)的NAL單元提供給比特流生成單元304。在步驟S277中，添加單元303分別將包括表示相應(yīng)信息的NAL單元類型的NAL報(bào)頭添加到從附加信息生成單元302提供的L圖像的SPS和SEI的信息以及L視差圖像、R視點(diǎn)圖像和O視點(diǎn)圖像的子集SPS和SEI的信息，從而生成NAL單元。添加單元303將所生成的L圖像的SPS和SEI的信息和L視差圖像、R視點(diǎn)圖像以及O視點(diǎn)圖像的子集SPS和SEI的信息的NAL單元提供給比特流生成單元304。在步驟S278中，比特流生成單元304通過對(duì)由添加單元303提供的NAL單元以預(yù)定的順序進(jìn)行布置來生成比特流，并且將所生成的比特流提供給圖37中所示的發(fā)送單元294。然后，處理返回到圖44中所示的步驟S257，并且處理行進(jìn)到步驟S258。如上，編碼裝置290根據(jù)現(xiàn)有的編碼模式對(duì)兼容圖像進(jìn)行編碼，并且將包括表示3DV模式的編碼數(shù)據(jù)的NAL單元類型的NAL報(bào)頭添加到作為輔助圖像的O圖像的編碼數(shù)據(jù)。因此，由于僅與現(xiàn)有的編碼模式對(duì)應(yīng)的解碼裝置可以僅提取可以基于NAL報(bào)頭被解碼的兼容圖像的編碼數(shù)據(jù)并且根據(jù)與現(xiàn)有的編碼模式對(duì)應(yīng)的模式對(duì)所提取的數(shù)據(jù)進(jìn)行解碼，可以指出的是:編碼裝置290根據(jù)與現(xiàn)有的模式有兼容性的模式執(zhí)行編碼。因此例如用于與AVC模式、MVC模式以及3DV模式對(duì)應(yīng)的應(yīng)用的數(shù)據(jù)可以被一起編碼并且廣播。[根據(jù)AVC模式的解碼裝置的配置示例]圖46是示出了對(duì)由圖37所示出的編碼裝置290所發(fā)送的比特流進(jìn)行解碼的根據(jù)AVC模式解碼裝置的配置示例的框圖。圖46中所示的解碼裝置320由接收單元321、分離單元322以及AVC解碼單元323配置而成，并且對(duì)包括在由編碼裝置290所發(fā)送的比特流中的L圖像的編碼數(shù)據(jù)進(jìn)行解碼。解碼裝置320的接收單元321接收由圖37中所示的編碼裝置290發(fā)送的TS，并且將包括在TS中的比特流提供給分離單元322。分離單元322基于NAL報(bào)頭從由接收單元321提供的比特流中分離L圖像的SPS和SEI和編碼數(shù)據(jù)的NAL單元以及除了以上所描述的NAL單元之外的NAL單元。更具體地，分離單元322從比特流中提取L圖像的編碼數(shù)據(jù)的NAL單元(包括NAL報(bào)頭中的表示AVC模式的圖片的類型的NAL單元類型)、L圖像的SPS的NAL單元(包括NAL報(bào)頭中的表示AVC模式的SPS的NAL單元類型)、以及L圖像的SEI的NAL單元(包括NAL報(bào)頭中的表示AVC模式的SEI的NAL單元類型)。分離單元322將SPS的信息和SEI的信息以及作為包括在分離的NAL單元中數(shù)據(jù)的L圖像的編碼數(shù)據(jù)與表示數(shù)據(jù)是SPS的信息、SEI的信息以及編碼數(shù)據(jù)中之一的類型信息一起提供給AVC解碼單元323。在此，類型信息基于相應(yīng)的NAL單元的類型被生成。AVC解碼單元323基于由分離單元322提供的類型信息來保持與表示SPS的信息和SEI的信息的類型信息對(duì)應(yīng)地提供的SPS和SEI的信息。AVC解碼單元323根據(jù)與AVC模式對(duì)應(yīng)的模式、基于被保持的SPS和SEI的信息對(duì)與表不編碼數(shù)據(jù)的類型信息一起從分離單元322提供的L圖像的編碼數(shù)據(jù)進(jìn)行解碼。AVC解碼單元323將由于解碼處理而獲取的L圖像輸出到顯示裝置(圖中未示出)上，從而對(duì)L圖像進(jìn)行顯示。因此，觀看者可以觀看2D圖像。[根據(jù)AVC模式的解碼裝置的描述]圖47是示出了由圖46中所示的解碼裝置320所執(zhí)行的解碼處理的流程圖。該解碼處理例如在由圖37中所示的編碼裝置290發(fā)送TS時(shí)開始。在圖47中所示的步驟S291中，解碼裝置320的接收單元321接收從編碼裝置290發(fā)送的TS。接收單元321將包括在TS中的比特流提供給分離單元322。隨后的步驟S292至步驟S297的處理針對(duì)配置比特流的每個(gè)NAL單元來執(zhí)行。在步驟S292中，分離單元322確定包括在NAL單元的NAL報(bào)頭中的NAL的類型是否是AVC模式的類型。換句話說，分離單元322確定NAL單元的類型是否表示根據(jù)AVC模式的圖片的類型、SPS或SEI的信息。在其中在步驟S292中NAL單元的類型被確定為AVC模式的類型的情況下，處理行進(jìn)到步驟S293。在步驟S293中，分離單元322將包括在NAL單元中的L圖像的數(shù)據(jù)(換句話說，SPS的信息、SEI的信息或L圖像的編碼數(shù)據(jù))與類型信息一起輸入到AVC解碼單元323。在步驟S294中，AVC解碼單元323基于與由分離單元322提供的L圖像的數(shù)據(jù)對(duì)應(yīng)的類型信息確定數(shù)據(jù)是否是L圖像的編碼數(shù)據(jù)。在其中在步驟S294中確定是L圖像的編碼數(shù)據(jù)被的情況下，在步驟S295中AVC解碼單元323根據(jù)與AVC模式對(duì)應(yīng)的模式、基于保持的SPS和SEI的信息對(duì)L圖像的編碼數(shù)據(jù)進(jìn)行解碼。在步驟S296中，AVC解碼單元323將由于解碼處理而獲取的L圖像輸出給顯示裝置(圖中未示出)上，從而對(duì)L圖像進(jìn)行顯示。然后，處理結(jié)束。另一方面，在其中在步驟S294中確定了數(shù)據(jù)不是L圖像的編碼數(shù)據(jù)、換句話說由分離單元322所提供的L圖像的數(shù)據(jù)是L圖像的SPS或SEI的信息的情況下，處理行進(jìn)到步驟S297。在步驟S297中，AVC解碼單元323保持由分離單元322提供的L圖像的SEI或SPS的信息，從而處理結(jié)束。另外，在其中在步驟S292中NAL單元的類型確定不是AVC模式的類型的情況下，NAL單元不被提供給AVC解碼單元323，從而處理結(jié)束。如上所述，解碼裝置320基于NAL報(bào)頭從比特流中將作為可以由解碼裝置320解碼的兼容圖像的L圖像的SPS、SEI以及編碼數(shù)據(jù)的NAL單元以及除了上述NAL單元之外的NAL單元分離出來，并且根據(jù)與現(xiàn)有的AVC模式對(duì)應(yīng)的模式僅對(duì)包括在所分離的NAL單元中的編碼數(shù)據(jù)進(jìn)行解碼。因此，解碼裝置320可以對(duì)由于編碼裝置290執(zhí)行的與現(xiàn)有的模式有兼容性的編碼處理而獲取的比特流進(jìn)行解碼。[根據(jù)MVC模式的解碼裝置的配置示例]圖48是示出了對(duì)由圖37中所示的編碼裝置290所發(fā)送的比特流進(jìn)行解碼的根據(jù)MVC模式解碼裝置的配置示例的框圖。在圖48中所示的配置中，與圖46中所示的配置相同的配置被分配了相同的附圖標(biāo)記。適當(dāng)?shù)貙⒉辉僦貜?fù)描述。圖48中所示的解碼裝置320的配置與圖46中所示的配置的不同之處主要在于:設(shè)置有分離單元341和MVC解碼單元343而不是分離單元322和AVC解碼單元323。解碼裝置320對(duì)包括在由編碼裝置290所發(fā)送的比特流中的L圖像以及R圖像的編碼數(shù)據(jù)進(jìn)行解碼。更具體地，解碼裝置320的分離單元341基于NAL報(bào)頭從由接收單元321提供的比特流中對(duì)L圖像的SPS、R圖像的子集SPS以及SEI的NAL單元、L圖像和R圖像的編碼數(shù)據(jù)的NAL單元以及除了以上所描述的NAL單元之外的NAL單元進(jìn)行分離。當(dāng)更詳細(xì)地描述時(shí)，類似于圖46中所示的分離單元322，分離單元341從比特流中提取L圖像的編碼數(shù)據(jù)、SPS以及SEI的NAL單元。另外，分離單元341從比特流中提取R圖像的編碼數(shù)據(jù)的NAL單元(包括NAL報(bào)頭中的表示MVC模式的編碼數(shù)據(jù)的NAL單元類型)、R圖像的子集SPS的NAL單元(包括NAL報(bào)頭中的表示MVC模式的子集SPS的NAL單元類型)、以及R圖像的SEI的NAL單元(包括NAL報(bào)頭中的表示MVC模式的SEI的NAL單元類型)。分離單元341將作為被包括在所分離的NAL單元中的L圖像的SPS、R圖像的子集SPS和SEI以及L圖像和R圖像的編碼數(shù)據(jù)與數(shù)據(jù)的類型信息一起提供給MVC解碼單元342。MVC解碼單元342基于由分離單元341提供的類型信息保持L圖像和R圖像的SEI,L圖像的SPS以及R圖像的子集SPS的信息。類似于圖46中所示的AVC解碼單元323，MVC解碼單元342根據(jù)與AVC模式對(duì)應(yīng)的模式、基于被保持的L圖像的SEI和SPS的信息對(duì)從分離單元341提供的L圖像的編碼數(shù)據(jù)進(jìn)行解碼。MVC解碼單元342根據(jù)與MVC模式對(duì)應(yīng)的模式、基于被保持的R圖像的SEI和子集SPS的信息對(duì)與表示R圖像的編碼數(shù)據(jù)的類型信息一起從分離單元341提供的R圖像的編碼數(shù)據(jù)進(jìn)行解碼，其中L圖像被設(shè)定為基本視圖并且R圖像被設(shè)定為非基本視圖。MVC解碼單元342交替地將由于解碼處理而獲取的L圖像和R圖像輸出到顯示裝置(圖中未示出)上，從而對(duì)L圖像和R圖像進(jìn)行顯示。此時(shí)，觀看者可以通過佩戴其左眼快門在顯示L圖像時(shí)打開、右眼快門在顯示R圖像時(shí)打開的眼鏡并且觀看被交替顯示在顯示裝置上的L圖像和R圖像來觀看3D圖像。[根據(jù)MVC模式的解碼裝置的處理的描述]圖49是示出了由在圖48中所示的解碼裝置340執(zhí)行的解碼處理的流程圖。該解碼處理例如在由圖37中所示的編碼裝置290發(fā)送TS時(shí)開始。在圖49中所示的步驟S311中，解碼裝置340的接收單元321接收從編碼裝置290發(fā)送的TS。接收單元321將包括在TS中的比特流提供給分離單元341。隨后的步驟S312至步驟S317的處理針對(duì)配置比特流的每個(gè)NAL單元來執(zhí)行。在步驟S312中，分離單元341確定包括在NAL單元的NAL報(bào)頭中的NAL單元的類型是否是AVC模式的類型或MVC模式的類型。換句話說，分離單元341確定NAL單元的類型是否是表示根據(jù)AVC模式的圖片、SPS或SEI的信息或者表示根據(jù)MVC模式的編碼數(shù)據(jù)、子集SPS或SEI的信息。在其中在步驟S312中NAL單元的類型被確定為AVC模式的類型或MVC模式的類型的情況下，處理行進(jìn)到步驟S313。在步驟S313中，分離單元341將包括在NAL單元中的L圖像或R圖像的數(shù)據(jù)(換句話說，L圖像的SPS的信息、SEI的信息或編碼數(shù)據(jù)或者R圖像的子集SPS的信息、SEI信息或編碼數(shù)據(jù))與類型信息一起輸入到MVC解碼單元342。在步驟S314中，MVC解碼單元342基于類型信息確定從分離單元341提供的數(shù)據(jù)是否是L圖像的編碼數(shù)據(jù)還是R圖像的編碼數(shù)據(jù)。在其中在步驟S314中確定了是L圖像的編碼數(shù)據(jù)或R圖像的編碼數(shù)據(jù)的情況下，在步驟S315中，MVC解碼單元342基于被保持的SPS或子集SPS和SEI的信息對(duì)L圖像或R圖像的編碼數(shù)據(jù)進(jìn)行解碼。在步驟S316中，MVC解碼單元342將由于解碼處理而獲取的L圖像或R圖像輸出到顯示裝置(圖中未示出)上，以對(duì)圖像進(jìn)行顯示，從而處理結(jié)束。另一方面，在其中在步驟S314中確定了數(shù)據(jù)不是L圖像或R圖像的編碼數(shù)據(jù)(換句話說，從分離單元341提供的數(shù)據(jù)是L圖像的SPS或SEI的信息或是R圖像的子集SPS或SEI的信息)的情況下，該處理行進(jìn)到步驟S317。在步驟S317中，MVC解碼單元342保持從分離單元34所提供的L圖像的SEI或SPS的信息或者R圖像的子集SPS或SEI的信息，從而處理結(jié)束。另外，在其中在步驟S312中確定NAL單元的類型不是AVC模式的類型或MVC模式的類型的情況下，NAL單元不被提供給MVC解碼單元342，從而處理結(jié)束。如上所述，解碼裝置340基于NAL報(bào)頭從比特流中分離作為可以由解碼裝置340解碼的兼容圖像的L圖像的SPS、SEI和編碼數(shù)據(jù)的NAL單元、R圖像的子集SPS、SEI和編碼數(shù)據(jù)的NAL單元、以及除了以上所描述的NAL單元之外的NAL單元，并且根據(jù)與現(xiàn)有的AVC模式或MVC模式對(duì)應(yīng)的模式僅對(duì)包括在所分離的NAL單元中的編碼數(shù)據(jù)進(jìn)行解碼。因此，解碼裝置340可以對(duì)由于由編碼裝置290執(zhí)行的與現(xiàn)有模式有兼容性的編碼處理而獲取的比特流進(jìn)行解碼。[根據(jù)3DV模式的解碼裝置的配置示例]圖50是示出了對(duì)由圖37中所示的編碼裝置290發(fā)送的比特流進(jìn)行解碼的根據(jù)3DV模式的解碼裝置的配置示例的框圖。圖50中所示的解碼裝置360由接收單元361、分離單元362、3DV解碼單元363、低分辨率圖像逆轉(zhuǎn)換處理單元364以及圖像生成單元365配置而成。解碼裝置360對(duì)包括在由編碼裝置290發(fā)送的比特流中的L視點(diǎn)圖像、R視點(diǎn)圖像以及O視點(diǎn)圖像進(jìn)行解碼。更具體地，解碼裝置360的接收單元361接收由圖37中所示的編碼裝置290所發(fā)送的TS。接收單元361將包括在TS中的比特流提供給分離單元362，將參考圖像低分辨率轉(zhuǎn)換信息提供給3DV解碼單元363，并且將輔助圖像低分辨率轉(zhuǎn)換信息提供給低分辨率圖像逆轉(zhuǎn)換處理單元364。分離單元362基于NAL報(bào)頭從由接收單元361提供的比特流中分離出每個(gè)NAL單元。更詳細(xì)地描述，類似于圖48中所示的分離單元341，分離單元362從比特流中提取L圖像的編碼數(shù)據(jù)、SPS以及SEI的NAL單元。另外，類似于分離單元341，分離單元362從比特流中提取R圖像的編碼數(shù)據(jù)、子集SPS以及SEI的NAL單元。而且，分離單元362提取L視差圖像、R視差圖像和O視點(diǎn)圖像的編碼數(shù)據(jù)的的NAL單元、包括NAL報(bào)頭中的表示3DV模式的編碼數(shù)據(jù)的NAL單元類型。另外，分離單元362提取L視差圖像、R視差圖像和O視點(diǎn)圖像的子集SPS以及L視差圖像、R視差圖像和O視點(diǎn)圖像的SEI的NAL單元、包括在NAL報(bào)頭中的表示3DV模式的子集SPS和SEI的NAL單元類型。另外，分離單元362還基于包括在NAL報(bào)頭中的擴(kuò)展信息來分離L視差圖像、R視差圖像和O視點(diǎn)圖像的編碼數(shù)據(jù)的NAL報(bào)頭。更具體地，分離單元362提取這樣的NAL單元作為O視差圖像的編碼數(shù)據(jù)的NAL單元:其作為擴(kuò)展信息的視差標(biāo)志表示圖像不是視差圖像的NAL單元。另外，分離單元362提取這樣的NAL單元作為L視差圖像的編碼數(shù)據(jù)的NAL單元:其作為擴(kuò)展信息的視差標(biāo)志表示圖像是視差圖像并且其信息指定相應(yīng)圖像的視點(diǎn)的數(shù)量為一且指定L圖像作為指定相應(yīng)的圖像的視點(diǎn)的信息。類似地，分離單元362提取R視差圖像的編碼數(shù)據(jù)的NAL單元和O視差圖像的編碼數(shù)據(jù)的NAL單元。分離單元362將作為包括在分離的NAL單元中的數(shù)據(jù)的L圖像的SPS的信息，L視差圖像、R視點(diǎn)圖像和O視點(diǎn)圖像的子集SPS的信息，、以及SEI和L視點(diǎn)圖像、R視點(diǎn)圖像和O視點(diǎn)圖像的編碼數(shù)據(jù)的信息與數(shù)據(jù)的類型信息一起提供給3DV解碼單元363。3DV解碼單元363基于從分離單元362提供的類型信息來保持L圖像的SPS和SEI的信息以及L視差圖像、R視點(diǎn)圖像和O視點(diǎn)圖像的子集SPS和SEI的信息。與圖48示出的MVC解碼單元342類似，3DV解碼單元363根據(jù)與AVC模式對(duì)應(yīng)的模式基于保持的L圖像的SEI和SPS的信息對(duì)從分離單元362提供的L圖像的編碼數(shù)據(jù)進(jìn)行解碼。另外，與MVC解碼單元342類似，3DV解碼單元363根據(jù)與MVC模式對(duì)應(yīng)的模式基于保持的R圖像的SEI和子集SPS的信息對(duì)從分離單元362提供的R圖像的編碼數(shù)據(jù)進(jìn)行解碼。另外，3DV解碼單元363根據(jù)與3DV模式對(duì)應(yīng)的模式，基于保持的O圖像的SEI和子集SPS的信息、通過參考L圖像和R圖像對(duì)與表示O圖像的編碼數(shù)據(jù)的類型信息一起從分離單元362提供的O圖像的編碼數(shù)據(jù)進(jìn)行解碼。此時(shí)，3DV解碼單元363基于從接收單元361提供的參考圖像低分辨率轉(zhuǎn)換信息對(duì)參考的L圖像和R圖像進(jìn)行分辨率降低處理，并參考分辨率降低處理后的L圖像和R圖像。而且，3DV解碼單元363在除了同一視點(diǎn)的視差圖像外不參考任何圖像的情況下，根據(jù)與3DV模式對(duì)應(yīng)的模式并且基于保持的L視差圖像的SEI和子集SPS的信息，對(duì)與表示L視差圖像的編碼數(shù)據(jù)的類型信息一起從分離單元362提供的L視差圖像的編碼數(shù)據(jù)進(jìn)行解碼。另外，3DV解碼單元363根據(jù)與3DV模式對(duì)應(yīng)的模式并且基于保持的R視差圖像的SEI和子集SPS的信息，通過參考L視差圖像對(duì)與表示R視差圖像的編碼數(shù)據(jù)的類型信息一起從分離單元362提供的R視差圖像的編碼數(shù)據(jù)進(jìn)行解碼。而且，3DV解碼單元363根據(jù)與3DV模式對(duì)應(yīng)的模式并且基于保持的O視差圖像的SEI和子集SPS的信息，通過參考L視差圖像和R視差圖像對(duì)與表示O視差圖像的編碼數(shù)據(jù)的類型信息一起從分離單元362提供的O視差圖像的編碼數(shù)據(jù)進(jìn)行解碼。此時(shí)，3DV解碼單元363基于從接收單元361提供的參考圖像低分辨率轉(zhuǎn)換信息對(duì)參考的L視差圖像和R視差圖像進(jìn)行分辨率降低處理，并參考分辨率降低處理后的L視差圖像和R視差圖像。3DV解碼單元363將由于解碼處理而獲取的L視點(diǎn)圖像和R視點(diǎn)圖像提供給圖像生成單元365。另外，3DV解碼單元363將由于解碼處理而獲取的O視點(diǎn)圖像提供給低分辨率圖像逆轉(zhuǎn)換處理單元364。而且，3DV解碼單元363將包括在保持的L視差圖像、R視差圖像和O視差圖像的SEI中的視差信息提供給圖像生成單元365。低分辨率圖像逆轉(zhuǎn)換處理單元364基于從接收單元361提供的輔助圖像低分辨率轉(zhuǎn)換信息來進(jìn)行分辨率提高處理，其例如是與由圖37示出的圖像轉(zhuǎn)換處理單元291對(duì)從3DV解碼單元363提供的配置O視點(diǎn)圖像的O圖像和O視差圖像進(jìn)行的分辨率降低處理對(duì)應(yīng)濾波處理。這樣，O視點(diǎn)圖像的分辨率變得與L視點(diǎn)圖像和R視點(diǎn)圖像的分辨率相同。低分辨率圖像逆轉(zhuǎn)換處理單元364將分辨率提高處理后的O視點(diǎn)圖像提供給圖像生成單元365。圖像生成單元365根據(jù)需要基于從3DV解碼單元363提供的L視差圖像的視差信息對(duì)從3DV解碼單元363提供的L視差圖像進(jìn)行轉(zhuǎn)換。例如，在其中包括在L視差圖像的視差信息中的視差類型表示視差圖像的每個(gè)像素值是深度值且表示可以由圖像生成單元365處理的視差的值是視差值的情況下，圖像生成單元365將L視差圖像的每個(gè)像素值轉(zhuǎn)換成視差值。另外，在其中包括在L視差圖像的視差信息中的歸一化標(biāo)志是表示每個(gè)像素值沒有被歸一化的值且表示可以由圖像生成單元365處理的視差的值是歸一化后的值的情況下，圖像生成單元365將L視差圖像的每個(gè)像素值歸一化，從而將其轉(zhuǎn)化成歸一化后的值。而且，在其中包括在L視差圖像的視差信息中的拍攝模式是輻射拍攝模式且可以由圖像生成單元365處理的視差圖像是在并行拍攝模式中捕捉的圖像的視差圖像的情況下，圖像生成單元365將L視差圖像轉(zhuǎn)換成在并行拍攝模式中捕捉的L圖像的視差圖像。與L視差圖像類似，圖像生成單元365根據(jù)需要基于R視差圖像的視差信息來轉(zhuǎn)換R視差圖像且基于O視差圖像的視差信息來轉(zhuǎn)換O視差圖像。圖像生成單元365基于轉(zhuǎn)換后的L視差圖像、R視差圖像和O視差圖像、包括在L圖像、R圖像、O圖像以及視差信息中的深度值的最大值和最小值或視差值的最大值和最小值、以及對(duì)應(yīng)的相關(guān)信息來生成與顯示裝置(圖中未示出)對(duì)應(yīng)的視點(diǎn)的數(shù)量為三或更多的圖像。然后，圖像生成單元365將所生成的每個(gè)視點(diǎn)的圖像的分辨率轉(zhuǎn)換成兼容圖像或輔助圖像的分辨率的“I/視點(diǎn)的數(shù)量”，合成圖像并將合成的圖像輸出給顯示裝置(圖中未示出)以顯示圖像。此時(shí)，對(duì)合成后的多視點(diǎn)圖像進(jìn)行顯示使得每個(gè)視點(diǎn)的視角是不同的，觀看者可以在不佩戴眼鏡的情況下通過使用他的左眼和右眼看任意兩個(gè)視點(diǎn)的圖像來觀看3D圖像。[根據(jù)3DV模式的解碼裝置的處理的描述]圖51是示出了由圖50示出的解碼裝置360進(jìn)行的解碼處理的流程圖。例如，當(dāng)從圖37示出的編碼裝置290發(fā)送TS時(shí)該解碼處理開始。在圖51示出的S331步驟中，解碼裝置340的接收單元361接收從編碼裝置290發(fā)送的TS。接收單元361將包括在TS中的比特流提供給分離單元362，將參考圖像低分辨率轉(zhuǎn)換信息提供給3DV解碼單元363，以及將輔助圖像低分辨率轉(zhuǎn)換信息提供給低分辨率圖像逆轉(zhuǎn)換處理單元364。后續(xù)步驟S332至步驟S342的處理針對(duì)配置比特流的每個(gè)NAL單元進(jìn)行。在步驟S332中，分離單元362基于NAL單元的NAL報(bào)頭來分離每個(gè)NAL單元，并將包括在NAL單元中的L視點(diǎn)圖像、R視點(diǎn)圖像或分辨率降低處理后的O視點(diǎn)圖像的數(shù)據(jù)與類型信息一起提供給3DV解碼單元363。在步驟S333中，3DV解碼單元363基于類型信息來確定與類型信息一起從分離單元362提供的數(shù)據(jù)是否是L視點(diǎn)圖像、R視點(diǎn)圖像還是分辨率降低處理后的O視點(diǎn)圖像的編碼數(shù)據(jù)。在步驟S333中在確定數(shù)據(jù)是L視點(diǎn)圖像、R視點(diǎn)圖像或O視點(diǎn)圖像的編碼數(shù)據(jù)的情況下，處理進(jìn)行至步驟S334。在步驟S334中，3DV解碼單元363基于保持的SPS、子集SPS或SEI的信息對(duì)L視點(diǎn)圖像、R視點(diǎn)圖像或分辨率降低處理后的O視點(diǎn)圖像的編碼數(shù)據(jù)進(jìn)行解碼。在步驟S335中，3DV解碼單元363基于類型信息來確定由于解碼處理而獲取的圖像是否是分辨率降低處理后的O圖像或O視差圖像。在其中在步驟S335中確定由于解碼處理而獲取的圖像是分辨率降低處理后的O圖像或O視差圖像的情況下，3DV解碼單元363將O圖像或O視差圖像提供給低分辨率圖像逆轉(zhuǎn)換處理單元364。在步驟S336中，低分辨率圖像逆轉(zhuǎn)換處理單元364基于從接收單元361提供的輔助圖像低分辨率轉(zhuǎn)換信息對(duì)從3DV解碼單元363提供的分辨率降低處理后的O圖像或O視差圖像進(jìn)行分辨率提高處理。這樣，O圖像或O視差圖像的分辨率與L視點(diǎn)圖像和R視點(diǎn)圖像的分辨率變得相同。在步驟S337中，低分辨率圖像逆轉(zhuǎn)換處理單元364將分辨率提高處理后的O圖像或O視差圖像輸出到圖像生成單元365，處理結(jié)束。另一方面，在其中在步驟S335中確定由于解碼處理而獲取的圖像不是分辨率降低處理后的O圖像或O視差圖像、換言之由于解碼處理而獲取的圖像是L圖像、L視差圖像、R圖像或R視差圖像的情況下，處理行進(jìn)至步驟S338。在步驟S338中，3DV解碼單元363將由于解碼處理而獲取的L圖像、L視差圖像、R圖像或R視差圖像輸出到圖像生成單元365，處理結(jié)束。另外，在其中在步驟S333中確定數(shù)據(jù)不是L視點(diǎn)圖像、R視點(diǎn)圖像或O視點(diǎn)圖像的編碼數(shù)據(jù)、也就是說從分離單元362提供的數(shù)據(jù)是SPS、子集SPS或SEI的信息的情況下，處理進(jìn)行至步驟S339。在步驟S339中，3DV解碼單元363保持從分離單元362提供的SPS、子集SPS或SEI的信息。在步驟S340中，3DV解碼單元363確定在步驟S339中保持的數(shù)據(jù)是否是SEI的信息。在確定在步驟S340中保持的數(shù)據(jù)是SEI的信息的情況下，處理進(jìn)行至步驟S341。在步驟S341中，3DV解碼單元363確定在步驟S339中保持的SEI的信息中是否有視差信息。在確定在步驟S341、步驟S342中有視差信息的情況下，3DV解碼單元363從SEI的信息提取視差信息，并將提取的視差信息輸出到圖像生成單元365，處理結(jié)束。另一方面，在確定在步驟S340中保持的數(shù)據(jù)不是SEI的信息的情況下或確定在步驟S341中沒有視差信息的情況下，處理結(jié)束。如上所述，解碼裝置360基于NAL報(bào)頭從比特流分離每個(gè)NAL單元。然后，解碼裝置360根據(jù)與現(xiàn)有AVC模式或MVC模式對(duì)應(yīng)的模式對(duì)包括在分離的NAL單元中的兼容圖像的編碼數(shù)據(jù)進(jìn)行解碼，并根據(jù)與3DV模式對(duì)應(yīng)的模式對(duì)輔助圖像和視差圖像的編碼數(shù)據(jù)進(jìn)行解碼。因此，解碼裝置340可以根據(jù)與現(xiàn)有模式有兼容性的模式對(duì)由于由編碼裝置290的編碼處理而獲取的比特流進(jìn)行解碼。[作為解碼目標(biāo)的編碼數(shù)據(jù)的描述]圖52是示出了下述編碼數(shù)據(jù)的圖，該編碼數(shù)據(jù)是圖46示出的解碼裝置320、圖48示出的解碼裝置340和圖50示出的解碼裝置360的解碼目標(biāo)。在圖52示出的示例中，假定以圖39示出的參考關(guān)系來編碼的比特流從編碼裝置290發(fā)送。在這種情況下，如圖52所示，解碼裝置320根據(jù)與AVC模式對(duì)應(yīng)的模式僅對(duì)在其NAL單元類型(nal_unit_type)是表示AVC模式的圖片類型的信息(在圖52示出的示例中，I或5)的L圖像的NAL單元中包括的編碼數(shù)據(jù)(編碼片)進(jìn)行解碼。同時(shí)，如圖52所示，與解碼裝置320類似，解碼裝置340根據(jù)與于AVC模式對(duì)應(yīng)的模式對(duì)在L圖像的NAL單元中包括的編碼數(shù)據(jù)進(jìn)行解碼。另外，解碼裝置340以L圖像作為基本視圖且R圖像作為非基本視圖根據(jù)與MVC模式對(duì)應(yīng)的模式對(duì)在其的NAL單元類型是表示MVC模式的編碼數(shù)據(jù)的信息(在圖52示出的示例中，20)的R圖像的NAL單元中包括的編碼數(shù)據(jù)進(jìn)行解碼。
而且，如圖52所示，與解碼裝置320和解碼裝置340類似，解碼裝置360根據(jù)與AVC模式對(duì)應(yīng)的模式對(duì)在L圖像的NAL單元中包括的編碼數(shù)據(jù)進(jìn)行解碼。另外，與解碼裝置340類似，解碼裝置360以L圖像作為基本視圖且R圖像作為非基本視圖根據(jù)與MVC模式對(duì)應(yīng)的模式對(duì)在R圖像的NAL單元中包括的編碼數(shù)據(jù)進(jìn)行解碼。解碼裝置360通過參考分辨率降低處理后的L圖像和R圖像、根據(jù)與3DV模式對(duì)應(yīng)的模式，對(duì)在其NAL單元類型是表示3DV模式的編碼數(shù)據(jù)的信息(在圖52示出的示例中，21)并且其擴(kuò)展信息(nal_unit_header_3dv_extension)是表示圖像不是視差圖像的視差標(biāo)志(is_cbpth=0)的、分辨率降低處理后的O圖像的NAL單元中包括的編碼數(shù)據(jù)進(jìn)行解碼。另外，解碼裝置360在除了同一視點(diǎn)的視差圖像外不參考任何圖像的情況下，根據(jù)與3DV模式對(duì)應(yīng)的模式，對(duì)在其NAL單元類型是表示3DV模式的編碼數(shù)據(jù)的信息且其擴(kuò)展信息是指定L圖像作為指定與表示視差圖像的視差標(biāo)志(is_cbpth=l)對(duì)應(yīng)的圖像的信息(COr_VieW_id=0)的、L視差圖像的NAL單元中包括的編碼數(shù)據(jù)進(jìn)行解碼。而且，解碼裝置360通過參考L視差圖像根據(jù)與3DV模式對(duì)應(yīng)的模式，對(duì)在其NAL單元類型是表示3DV模式的編碼數(shù)據(jù)的信息且其擴(kuò)展信息是指定R圖像作為指定與表示視差圖像的視差標(biāo)志對(duì)應(yīng)的圖像的信息(cor_view_id=l)的、R視差圖像的NAL單元中包括的編碼數(shù)據(jù)進(jìn)行解碼。另外，解碼裝置360通過參考分辨率降低處理后的L視差圖像和R視差圖像根據(jù)與3DV模式對(duì)應(yīng)的模式、對(duì)在其NAL單元類型是表示3DV模式的編碼數(shù)據(jù)的信息且其擴(kuò)展信息是指定O圖像作為指定與表示視差圖像的視差標(biāo)志對(duì)應(yīng)的圖像的信息(cor_View_id=2)的、分辨率降低處理后的O視差圖像的NAL單元中包括的編碼數(shù)據(jù)進(jìn)行解碼。<第六實(shí)施例>[根據(jù)第六實(shí)施例的編碼裝置的配置示例]圖53是示出了根據(jù)本技術(shù)的第六實(shí)施例的編碼裝置的配置示例的框圖。圖53示出的編碼裝置380由復(fù)用處理單元381、復(fù)用處理單元382、視差信息生成單元383、編碼處理單元384和發(fā)送單元385配置成。在編碼裝置380中，兼容圖像是L圖像和R圖像，輔助圖像是N (這里，N是2的倍數(shù))個(gè)視點(diǎn)的01圖像至ON圖像。編碼裝置380對(duì)兼容圖像的視差圖像、每兩個(gè)視點(diǎn)的輔助圖像和輔助圖像的視差圖像進(jìn)行復(fù)用、然后編碼。更具體地，將輸入到編碼裝置380的L視點(diǎn)圖像中的L視差圖像和R視點(diǎn)圖像中的R視差圖像輸入到編碼裝置380的復(fù)用處理單元381。復(fù)用處理單元381根據(jù)預(yù)定的復(fù)用模式對(duì)L視差圖像和R視差圖像進(jìn)行復(fù)用。更具體地，例如，在復(fù)用模式是并排模式的情況下，復(fù)用處理單元381將L視差圖像和R視差圖像中的每個(gè)的分辨率減半。然后，復(fù)用處理單元381對(duì)其分辨率被減半的L視差圖像和R視差圖像進(jìn)行復(fù)用以使得其分辨率被減半的L視差圖像變成屏幕的左半圖像，且其分辨率被減半的R視差圖像變成屏幕的右半圖像。另外，例如，在復(fù)用模式是頂部和底部模式的情況下，復(fù)用處理單元381對(duì)其分辨率被減半的L視差圖像和R視差圖像進(jìn)行復(fù)用以使得其分辨率被減半的L視差圖像變成屏幕的上半圖像，且其分辨率被減半的R視差圖像變成屏幕的下半圖像。復(fù)用處理單元381將由于復(fù)用處理而獲取的復(fù)用圖像提供給編碼處理單元384作為兼容視差圖像。另外，復(fù)用處理單元381生成表示L視差圖像和R視差圖像(其為兼容圖像的視差圖像)的的復(fù)用模式的兼容復(fù)用信息，并將生成的兼容復(fù)用信息提供給發(fā)送單元385。向復(fù)用處理單元382輸入被輸入到編碼裝置380的由01圖像和作為01圖像的視差圖像的01視差圖像形成的01視點(diǎn)圖像、……、以及由ON圖像和作為ON圖像的視差圖像的ON視差圖像形成的ON視點(diǎn)圖像。復(fù)用處理單元382根據(jù)預(yù)定的復(fù)用模式分別對(duì)01
圖像和02圖像、03圖像和04圖像、......、以及O (N-1)圖像和ON圖像進(jìn)行復(fù)用。然后，
復(fù)用處理單元382將由于該復(fù)用處理而獲取的復(fù)用圖像提供給編碼處理單元384作為輔助復(fù)用圖像。類似地，復(fù)用處理單元382根據(jù)預(yù)定的復(fù)用模式分別對(duì)01視差圖像和02視差圖
像、03視差圖像和04視差圖像、......、以及O (N_l)視差圖像和ON視差圖像進(jìn)行復(fù)用。然
后，復(fù)用處理單元382將由于該復(fù)用處理而獲取的復(fù)用圖像提供給編碼處理單元384作為輔助視差復(fù)用圖像。另外，復(fù)用處理單元382生成信息的輔助復(fù)用信息(其是表示作為輔助圖像的01圖像至ON圖像以及作為輔助圖像的視差圖像的01視差圖像至ON視差圖像的復(fù)用模式)，并將生成的輔助復(fù)用信息提供給發(fā)送單元385。在下文中，在01視點(diǎn)圖像至ON視點(diǎn)圖像不需要特別地彼此區(qū)分的情況下，01視點(diǎn)圖像至ON視點(diǎn)圖像將統(tǒng)稱為O多視點(diǎn)圖像。類似地，01圖像至ON圖像將被稱為O多圖像，01視差圖像至ON視差圖像將被作為O多視差圖像。視差信息生成單元383基于在捕捉L圖像、R圖像和O多圖像時(shí)獲取的信息來生成L視差圖像、R視差圖像和O多視差圖像的視差信息，并將生成的視差信息提供給編碼處理單元384。與圖37示出的編碼處理單元293類似，編碼處理單元384根據(jù)AVC模式對(duì)包括在被輸入到編碼裝置380的L視點(diǎn)圖像中的L圖像進(jìn)行編碼。另外，與編碼處理單元293類似，編碼處理單元384 根據(jù)MVC模式在將L圖像設(shè)定為基本視圖且R圖像設(shè)定為非基本視圖的情況下對(duì)包括在被輸入到編碼裝置380的R視點(diǎn)圖像中的R圖像進(jìn)行編碼。而且，編碼處理單元384根據(jù)3DV模式、通過參考L圖像和R圖像對(duì)從復(fù)用處理單元382提供的輔助復(fù)用圖像進(jìn)行編碼。同時(shí)，編碼處理單元384復(fù)制被參考的L圖像和R圖像，根據(jù)與輔助復(fù)用圖像的復(fù)用模式相同的復(fù)用模式進(jìn)行復(fù)用，并參考由于復(fù)用處理而獲取的復(fù)用圖像。另外，編碼處理單元384在除了同一視點(diǎn)的兼容復(fù)用圖像外不參考任何圖像的情況下，根據(jù)3DV模式對(duì)從復(fù)用處理單元381提供的兼容復(fù)用圖像進(jìn)行編碼。而且，編碼處理單元384根據(jù)3DV模式對(duì)從復(fù)用處理單元382提供的輔助視差復(fù)用圖像進(jìn)行編碼。編碼處理單元384根據(jù)由于編碼處理而獲取的L圖像、R圖像、兼容復(fù)用圖像、輔助復(fù)用圖像和輔助視差復(fù)用圖像的編碼數(shù)據(jù)和從視差信息生成單元383提供的視差信息生成比特流，并將生成的比特流提供給發(fā)送單元385。另外，編碼處理單元384在生成兼容復(fù)用圖像的參考圖像時(shí)生成表示復(fù)用模式的信息的參考圖像復(fù)用信息，并將生成的參考圖像復(fù)用信息提供給發(fā)送單元385。發(fā)送單元385根據(jù)從復(fù)用處理單元381提供的兼容復(fù)用信息、從復(fù)用處理單元382提供的輔助復(fù)用信息和從編碼處理單元384提供的比特流和參考圖像復(fù)用信息生成TS，并對(duì)生成的TS進(jìn)行發(fā)送。[編碼處理單元的配置示例]圖54是示出了圖53示出的編碼處理單元384的配置示例的框圖。在圖54示出的配置中，將相同的附圖標(biāo)記分配給與圖38示出的配置相同的配置。適當(dāng)?shù)貙⒉辉俪尸F(xiàn)重復(fù)的描述。圖54示出的編碼處理單元384的配置與圖38示出的配置的不同之處主要在于:設(shè)置有編碼單元401、附加信息生成單元402和添加單元403，而不是設(shè)置有編碼單元301、附加信息生成單元302和添加單元303。編碼處理單元384的編碼單元401由兼容編碼單元311和輔助編碼單元411配置成。編碼單元401的輔助編碼單元411根據(jù)3DV模式對(duì)兼容復(fù)用圖像、輔助復(fù)用圖像和輔助視差復(fù)用圖像進(jìn)行編碼。輔助編碼單元411將由于編碼處理而獲取的兼容復(fù)用圖像、輔助復(fù)用圖像和輔助視差復(fù)用圖像的編碼數(shù)據(jù)提供給添加單元403。另外，編碼單元401生成參考圖像復(fù)用信息并將生成的參考圖像復(fù)用信息提供給圖53示出的發(fā)送單元385。附加信息生成單元402生成L圖像的SPS的信息和R圖像、兼容復(fù)用圖像、輔助復(fù)用圖像和輔助視差復(fù)用圖像的子集SPS的信息。另外，附加信息生成單元402生成L圖像、R圖像和輔助復(fù)用圖像的SEI的信息。而且，附加信息生成單元402生成包括從圖53示出的視差信息生成單元383提供的L視差圖像和R視差圖像的視差信息的、兼容復(fù)用圖像的SEI的信息。另外，附加信息生成單元402生成包括用于配置從視差信息生成單元383提供的輔助視差復(fù)用圖像的兩個(gè)視點(diǎn)的O多視差圖像的視差信息的、輔助視差復(fù)用圖像的SEI的信息。附加信息生成單元402將L圖像的SPS的信息，R圖像、兼容復(fù)用圖像、輔助復(fù)用圖像和輔助視差復(fù)用圖像的子集SPS的信息、以及L圖像、R圖像、兼容復(fù)用圖像、輔助復(fù)用圖像和輔助視差復(fù)用圖像的SEI的信息提供給添加單元403。與圖38示出的添加單元303類似，添加單元403將包括表示AVC模式的圖片類型為NAL單元類型的信息的NAL報(bào)頭添加至由于由兼容編碼單元311進(jìn)行的編碼處理而獲取的L圖像的編碼數(shù)據(jù)，從而生成NAL單元。另外，與添加單元303類似，添加單元403將包括表示MVC模式的編碼數(shù)據(jù)為NAL單元類型的信息的NAL報(bào)頭添加至由于由兼容編碼單元311進(jìn)行的編碼處理而獲取的R圖像的編碼數(shù)據(jù)，從而生成NAL單元。另外，添加單元403將包括表示3DV模式的編碼數(shù)據(jù)為NAL單元類型的信息且包括表示圖像不是視差圖像的視差標(biāo)志的NAL報(bào)頭添加至從輔助編碼單元411提供的輔助復(fù)用圖像的編碼數(shù)據(jù)，從而生成NAL單元。而且，添加單元403分別將包括表示3DV模式的編碼數(shù)據(jù)為NAL單元類型的信息且包括與與表示視差圖像的視差標(biāo)志對(duì)應(yīng)的圖像有關(guān)的信息的NAL報(bào)頭添加至從輔助編碼單元411提供的兼容復(fù)用圖像和輔助視差復(fù)用圖像的編碼數(shù)據(jù)，從而生成NAL單元。另外，添加單元403將表示信息為NAL單元類型的NAL報(bào)頭分別添加至從附加信息生成單元402提供的L圖像的SPS的信息、R圖像、兼容復(fù)用圖像、輔助復(fù)用圖像和輔助視差復(fù)用圖像的子集SPS的信息、以及L圖像、R圖像、兼容復(fù)用圖像、輔助復(fù)用圖像和輔助視差復(fù)用圖像的SEI的信息，從而生成NAL單元。添加單元403將上述生成的NAL單元提供給比特流生成單元304。
[NAL單元的配置示例]圖55是示出了在由圖53示出的編碼處理單元384生成的比特流中的L圖像、R圖像、輔助復(fù)用圖像、兼容復(fù)用圖像和輔助視差復(fù)用圖像的編碼數(shù)據(jù)的NAL單元的配置示例的圖。如圖55所示，L圖像的編碼數(shù)據(jù)和R圖像的編碼數(shù)據(jù)的NAL單元與圖40示出的示例的NAL單元相同，所以將不對(duì)其進(jìn)行描述。如圖55所示，在由編碼處理單元384進(jìn)行的編碼處理中，在輔助復(fù)用圖像的NAL單元的NAL報(bào)頭中包括有表示3DV模式的編碼數(shù)據(jù)為NAL單元的類型的信息，且還包括有表示圖像不是視差圖像的為“O”的視差標(biāo)志作為擴(kuò)展信息。因此，輔助復(fù)用圖像可以由解碼裝置來識(shí)別。另外，在兼容復(fù)用圖像和每個(gè)輔助視差復(fù)用圖像的NAL單元的NAL報(bào)頭中，包括有表示視差圖像的為“ I ”視差標(biāo)志。因此，兼容復(fù)用圖像和輔助視差復(fù)用圖像可以由解碼裝置來識(shí)別。 而且，在兼容復(fù)用圖像和每個(gè)輔助視差復(fù)用圖像的NAL單元的NAL報(bào)頭中，包括與相應(yīng)的圖像有關(guān)的信息作為擴(kuò)展信息。這里，兼容復(fù)用圖像是兩個(gè)視點(diǎn)的L圖像和R圖像的視差圖像，每個(gè)輔助視差復(fù)用圖像是兩個(gè)視點(diǎn)的O多圖像的視差圖像。在圖55示出的示例中，指定L圖像的視點(diǎn)的信息是0，指定R圖像的視點(diǎn)的信息是1，并且指定與輔助視差復(fù)用圖像對(duì)應(yīng)的兩個(gè)視點(diǎn)的O多圖像的視點(diǎn)的信息是2和3。因此，與相應(yīng)的圖像有關(guān)的包括在兼容復(fù)用圖像的NAL單元的NAL報(bào)頭中的信息是:2，其是相應(yīng)的圖像的視點(diǎn)的數(shù)量；以及O和1，其為指定相應(yīng)的圖像的視點(diǎn)的信息。另夕卜，與相應(yīng)的圖像有關(guān)的包括在輔助視差復(fù)用圖像的NAL單元的NAL報(bào)頭中的信息是:2，其是相應(yīng)的圖像的視點(diǎn)的數(shù)量；以及2和3，其是指定相應(yīng)的圖像的視點(diǎn)的信息。如上所述，由于包括了與相應(yīng)的圖像有關(guān)的信息作為擴(kuò)展信息，因此兼容復(fù)用圖像和每個(gè)輔助視差復(fù)用圖像可以被分別識(shí)別。[比特流的配置示例]圖56是示出了由圖54示出的比特流生成單元304生成的比特流的配置示例的圖。圖56中A示出的L圖像的比特流和圖56中B示出的R圖像的比特流與圖41中A示出的L圖像的比特流和圖41中B示出的R圖像的比特流相同，因此，將不對(duì)其進(jìn)行描述。如圖56中C所示，根據(jù)3DV模式編碼的輔助復(fù)用圖像的比特流由輔助復(fù)用圖像的3DV模式的子集SPS的信息的NAL單元、輔助復(fù)用圖像的3DV模式的SEI的信息的NAL單元以及輔助復(fù)用圖像的編碼數(shù)據(jù)的NAL單元配置成。如圖56中D所示，根據(jù)3DV模式編碼的兼容復(fù)用圖像的比特流由兼容復(fù)用圖像的3DV模式的子集SPS的信息的NAL單元、3DV模式的SEI的信息(其包括兼容復(fù)用圖像的視差信息)的NAL單元和兼容復(fù)用圖像的編碼數(shù)據(jù)的NAL單元配置成。如圖56中E所示，根據(jù)3DV模式編碼的輔助視差復(fù)用圖像的比特流由輔助視差復(fù)用圖像的3DV模式的子集SPS的信息的NAL單元、3DV模式的SEI的信息(包括輔助視差復(fù)用圖像的視差信息)的NAL單元和輔助視差復(fù)用圖像的編碼數(shù)據(jù)的NAL單元配置成。如上所述，由于視差信息包括在3DV模式的SEI中，所以不根據(jù)3DV模式的解碼裝置不必然需要對(duì)視差信息進(jìn)行處理。[編碼裝置的處理的描述]圖57是示出了由圖53示出的編碼裝置380進(jìn)行的多視點(diǎn)編碼處理的流程圖。例如，當(dāng)L視點(diǎn)圖像、R視點(diǎn)圖像和O多視點(diǎn)圖像被輸入到編碼裝置380作為編碼目標(biāo)時(shí)，該多視點(diǎn)圖像編碼處理開始。在圖57示出的步驟S361中，編碼裝置380的編碼處理單元384獲取在被輸入到編碼裝置380的L視點(diǎn)圖像中包括的L圖像，且復(fù)用處理單元382獲取L視差圖像。在步驟S362中，編碼處理單元384獲取在被輸入到編碼裝置380的R視點(diǎn)圖像中包括的R圖像，復(fù)用處理單元382獲取R視差圖像。在步驟S363中，復(fù)用處理單元382獲取被輸入到編碼裝置380的O多視點(diǎn)圖像。在步驟S364中，復(fù)用處理單元381根據(jù)預(yù)定的復(fù)用模式對(duì)在步驟S361中獲取的L視差圖像和在步驟S362中獲取的R視差圖像進(jìn)行復(fù)用，并將由于復(fù)用處理而獲取的復(fù)用圖像提供給編碼處理單元384作為兼容視差圖像。在步驟S365中，復(fù)用處理單元381生成兼容復(fù)用信息，并將生成的兼容復(fù)用信息提供給發(fā)送單元385。在步驟S366中，復(fù)用處理單元382根據(jù)預(yù)定的復(fù)用模式針對(duì)每兩個(gè)視點(diǎn)對(duì)配置O多視點(diǎn)圖像的O多圖像和O多視差圖像進(jìn)行復(fù)用。復(fù)用處理單元382將由于復(fù)用處理而獲取作為輔助復(fù)用圖像的O多圖像的復(fù)用圖像和作為輔助視差復(fù)用圖像的O多視差圖像的復(fù)用圖像提供給編碼處理單元384。在步驟S367中，復(fù)用處理單元382生成輔助復(fù)用信息，并將生成的輔助復(fù)用信息提供給發(fā)送單元385。在步驟S368中，視差信息生成單元383基于在捕捉L圖像、R圖像和O多圖像等時(shí)獲取的信息來生成L視差圖像、R視差圖像和O多視差圖像的視差信息，并將生成的視差信息提供給編碼處理單元384。在步驟S369中，編碼處理單元384進(jìn)行編碼處理，其中，對(duì)L圖像、R圖像和從復(fù)用處理單元381提供的兼容復(fù)用圖像以及從復(fù)用處理單元382提供的輔助復(fù)用圖像和輔助視差復(fù)用圖像進(jìn)行編碼。該編碼處理將參考后續(xù)待描述的圖58而進(jìn)行詳細(xì)描述。在步驟S370中，發(fā)送單元385根據(jù)從復(fù)用處理單元381提供的兼容復(fù)用信息、從復(fù)用處理單元382提供的輔助復(fù)用信息、以及從編碼處理單元384提供的參考圖像復(fù)用信息和比特流生成TS，并發(fā)送生成的TS。然后，處理結(jié)束。圖58是示出了圖57示出的步驟S369的詳細(xì)的編碼處理的流程圖。在圖58示出的步驟S390中，編碼處理單元384的編碼單元401 (圖54)對(duì)L圖像、R圖像、兼容復(fù)用圖像、輔助復(fù)用圖像和輔助視差復(fù)用圖像進(jìn)行編碼。更具體地，編碼單元401的兼容編碼單元311根據(jù)AVC模式對(duì)L圖像進(jìn)行編碼且根據(jù)MVC模式對(duì)R圖像進(jìn)行編碼。另外，輔助編碼單元411根據(jù)3DV模式對(duì)兼容復(fù)用圖像、輔助復(fù)用圖像和輔助視差復(fù)用圖像進(jìn)行編碼。編碼單元401將由于編碼處理而獲取的L圖像、R圖像、兼容復(fù)用圖像、輔助復(fù)用圖像和輔助視差復(fù)用圖像的編碼數(shù)據(jù)提供給添加單元403。在步驟S391中，輔助編碼單元411生成參考圖像復(fù)用信息，并將生成的參考圖像復(fù)用信息提供給圖53示出的發(fā)送單元385。在步驟S392中，附加信息生成單元402通過使用從圖53示出的視差信息生成單元383提供的視差信息來生成L圖像的SPS和SEI的信息、以及R圖像、兼容復(fù)用圖像、輔助復(fù)用圖像和輔助視差復(fù)用圖像的子集SPS和SEI的信息，并將生成的信息提供給添加單元 303。步驟S393和步驟S394的處理與圖45示出的步驟S273和步驟S274的處理相同，因此，將不對(duì)其進(jìn)行描述。在步驟S394的處理后，在步驟S395中，添加單元403將包括表示根據(jù)3DV模式的編碼數(shù)據(jù)的NAL單元類型以及表示圖像不是視差圖像的視差標(biāo)志的NAL報(bào)頭添加至從輔助編碼單元411提供的輔助復(fù)用圖像的編碼數(shù)據(jù)，從而生成NAL單元。添加單元403將生成的輔助復(fù)用圖像的編碼數(shù)據(jù)的NAL單元提供給比特流生成單元304。在步驟S396中，添加單元403將包括表示根據(jù)3DV模式的編碼數(shù)據(jù)的NAL單元類型、表示視差圖像的視差標(biāo)志以及與相應(yīng)的圖像有關(guān)的信息的NAL報(bào)頭分別添加至從輔助編碼單元411提供的兼容復(fù)用圖像的編碼數(shù)據(jù)和輔助視差復(fù)用圖像的編碼數(shù)據(jù)，從而生成NAL單元。添加單元403將生成的兼容復(fù)用圖像和輔助視差復(fù)用圖像的編碼數(shù)據(jù)的NAL單元提供給比特流生成單元304。在步驟S397中，添加單元403將包括表示相應(yīng)的信息的NAL單元類型的NAL報(bào)頭分別添加至從附加信息生成單元402提供的L圖像的SPS和SEI的信息以及R圖像、兼容復(fù)用圖像、輔助復(fù)用圖像和輔助視差復(fù)用圖像的子集SPS和SEI的信息，從而生成NAL單元。添加單元403將生成的L圖像的SPS和SEI以及R圖像、兼容復(fù)用圖像、輔助復(fù)用圖像和輔助視差復(fù)用圖像的子集SPS和SEI的NAL單元提供給比特流生成單元304。在步驟S398中，與圖45示出的步驟S278的處理類似，比特流生成單元304以預(yù)定的順序?qū)奶砑訂卧?03提供的NAL單元進(jìn)行布置，從而生成比特流。然后，比特流生成單元304將比特流提供給圖53示出的發(fā)送單元385，并且處理返回到圖57示出的步驟S369。因此，處理進(jìn)行至步驟S370。如上所述，編碼裝置380根據(jù)現(xiàn)有編碼模式對(duì)兼容圖像進(jìn)行編碼，并將包括表示根據(jù)3DV模式的編碼數(shù)據(jù)的NAL單元類型的NAL報(bào)頭添加至作為輔助圖像的O多圖像的編碼數(shù)據(jù)。因此，由于僅與現(xiàn)有編碼模式對(duì)應(yīng)的解碼裝置可以僅提取可以基于NAL報(bào)頭被解碼的兼容圖像的編碼數(shù)據(jù)，并根據(jù)與現(xiàn)有編碼模式對(duì)應(yīng)的模式對(duì)提取的數(shù)據(jù)進(jìn)行解碼，因此可以說明:編碼裝置380根據(jù)與現(xiàn)有模式有兼容性的模式進(jìn)行編碼。盡管上述的編碼裝置290和編碼裝置380除了相同視點(diǎn)的視差圖像外沒有參考任何圖像而對(duì)兼容圖像的視差圖像進(jìn)行編碼，但可以通過另外地參考相同視點(diǎn)的圖像來進(jìn)行編碼。另外，盡管編碼裝置380被描述為直接對(duì)兼容圖像進(jìn)行編碼，但兼容圖像也可以被復(fù)用然后被編碼。[根據(jù)3DV模式的解碼裝置的配置示例]圖59是示出了根據(jù)3DV模式對(duì)從圖53示出的編碼裝置380發(fā)送的比特流進(jìn)行解碼的解碼裝置的配置示例的框圖。圖59示出的解碼裝置420由接收單元421、分離單元422、3DV解碼單元423、分離單元424、分離單元425和圖像生成單元426配置成。解碼裝置420對(duì)包括在從編碼裝置380發(fā)送的比特流中的L圖像、R圖像、輔助復(fù)用圖像、兼容復(fù)用圖像和輔助視差復(fù)用圖像的編碼數(shù)據(jù)進(jìn)行解碼。更具體地，解碼裝置420的接收單元421接收從圖53示出的編碼裝置380發(fā)送的TS0接收單元421將包括在TS中的比特流提供給分離單元422并將參考圖像復(fù)用信息提供給3DV解碼單元423。另外，接收單元421將包括在TS中的兼容復(fù)用信息提供給分離單元424并將輔助復(fù)用信息提供給分離單元425。分離單元422基于NAL報(bào)頭對(duì)從接收單元421提供的比特流中的每個(gè)NAL單元進(jìn)行分離。當(dāng)更詳細(xì)地描述時(shí)，與圖50示出的分離單元362類似，分離單元422從比特流提取L圖像的編碼數(shù)據(jù)、SPS和SEI的NAL單元。另外，與分離單元362類似，分離單元422從比特流提取R圖像的編碼數(shù)據(jù)、子集SPS和SEI的NAL單元。而且，分離單元422提取兼容復(fù)用圖像、輔助復(fù)用圖像和輔助視差復(fù)用圖像的的編碼數(shù)據(jù)的NAL單元、包括NAL報(bào)頭中的表示根據(jù)3DV的編碼數(shù)據(jù)的的NAL單元類型。另夕卜，分離單元422提取兼容復(fù)用圖像、輔助復(fù)用圖像和輔助視差復(fù)用圖像的子集SPS以及兼容復(fù)用圖像、輔助復(fù)用圖像和輔助視差復(fù)用圖像的SEI的的NAL單元、包括NAL報(bào)頭中的表示根據(jù)3DV的子集SPS和SEI的NAL單元類型。而且，分離單元422還基于包括在NAL報(bào)頭中的擴(kuò)展信息對(duì)輔助復(fù)用圖像、兼容復(fù)用圖像和輔助視差復(fù)用圖像的編碼數(shù)據(jù)的NAL報(bào)頭進(jìn)行分離。更具體地，分離單元422提取其擴(kuò)展信息是表示圖像不是視差圖像的視差標(biāo)志的NAL單元作為輔助復(fù)用圖像的編碼數(shù)據(jù)的NAL單元。另外，分離單元422提取其擴(kuò)展信息是表示視差圖像的視差標(biāo)志、其相應(yīng)圖像的視點(diǎn)的數(shù)目是2且其信息指定L圖像和R圖像作為指定相應(yīng)圖像的視點(diǎn)的信息的NAL單元作為兼容復(fù)用圖像的編碼數(shù)據(jù)的NAL單元。類似地，分離單元422提取輔助視差復(fù)用圖像的編碼數(shù)據(jù)的NAL單元。分離單元422將作為包括在分離的NAL單元中的數(shù)據(jù)的L圖像的SPS的信息、R圖像、兼容復(fù)用圖像、輔助復(fù)用圖像和輔助視差復(fù)用圖像的子集SPS的信息、以及L圖像、R圖像、輔助復(fù)用圖像、兼容復(fù)用圖像和輔助視差復(fù)用圖像的SEI和編碼數(shù)據(jù)的信息與數(shù)據(jù)的類型信息一起提供給3DV解碼單元423。3DV解碼單元423基于從分離單元422提供的類型信息來保持L圖像的SPS、R圖像、兼容復(fù)用圖像、輔助復(fù)用圖像和輔助視差復(fù)用圖像的子集SPS、以及L圖像、R圖像、輔助復(fù)用圖像、兼容復(fù)用圖像和輔助視差復(fù)用圖像的SEI的信息。與圖50示出的3DV解碼單元363類似，3DV解碼單元423根據(jù)與AVC模式對(duì)應(yīng)的模式、基于保持的L圖像的SEI和SPS的信息對(duì)從分離單元422提供的L圖像的編碼數(shù)據(jù)進(jìn)行解碼。另外，與3DV解碼單元363類似，3DV解碼單元423根據(jù)與MVC模式對(duì)應(yīng)的模式、基于保持的R圖像的SEI和子集SPS的信息對(duì)從分離單元422提供的R圖像的編碼數(shù)據(jù)進(jìn)行解碼。而且，3DV解碼單元423根據(jù)與3DV模式對(duì)應(yīng)的模式、基于保持的輔助復(fù)用圖像的SEI和子集SPS的信息，通過參考L圖像和R圖像對(duì)與表示輔助復(fù)用圖像的編碼數(shù)據(jù)的類型信息一起從分離單元422提供的輔助復(fù)用圖像的編碼數(shù)據(jù)進(jìn)行解碼。此時(shí)，3DV解碼單元423基于從接收單元421提供的參考圖像復(fù)用信息對(duì)參考的L圖像和R圖像進(jìn)行復(fù)制和復(fù)用，并參考由于復(fù)用處理而獲取的復(fù)用圖像。而且，3DV解碼單元423在除了同一視點(diǎn)的視差圖像外不參考任何圖像的情況下，根據(jù)與3DV模式對(duì)應(yīng)的模式、基于保持的兼容復(fù)用圖像的SEI和子集SPS的信息，對(duì)與表示兼容復(fù)用圖像的編碼數(shù)據(jù)的類型信息一起從分離單元422提供的兼容復(fù)用圖像的編碼數(shù)據(jù)進(jìn)行解碼。另外，3DV解碼單元423根據(jù)與3DV模式對(duì)應(yīng)的模式、基于保持的輔助視差復(fù)用圖像的SEI和子集SPS的信息，通過參考兼容復(fù)用圖像對(duì)與表示輔助視差復(fù)用圖像的編碼數(shù)據(jù)的類型信息一起從分離單元422提供的輔助視差復(fù)用圖像的編碼數(shù)據(jù)進(jìn)行解碼。3DV解碼單元423將由于解碼處理而獲取的L圖像和R圖像提供給圖像生成單元426，將兼容復(fù)用圖像提供給分離單元424，以及將輔助復(fù)用圖像和輔助視差復(fù)用圖像提供給分離單元425。另外，3DV解碼單元423將包括在保持的兼容復(fù)用圖像和輔助視差復(fù)用圖像中的視差信息提供給圖像生成單元426。分離單元424基于從接收單元421提供的兼容復(fù)用信息對(duì)其分辨率與從3DV解碼單元423提供的來自兼容復(fù)用圖像的L圖像和R圖像的分辨率相同的L視差圖像和R視差圖像進(jìn)行分離。更具體地，分離單元424對(duì)其分辨率被減半的來自兼容復(fù)用圖像的L視差圖像和R視差圖像進(jìn)行分離，并針對(duì)L視差圖像和R視差圖像進(jìn)行分辨率提高處理，從而獲取分辨率與L圖像和R圖像的分辨率相同的L視差圖像和R視差圖像。分離單元424將L視差圖像和R視差圖像提供給圖像生成單元426。與分離單元424類似，分離單元425將O多圖像從由3DV解碼單元423提供的輔助復(fù)用圖像中分離，并基于從接收單元421提供的輔助圖像復(fù)用信息來將O多視差圖像從輔助視差復(fù)用圖像中分離。分離單元425將由于其而獲取的O多視點(diǎn)圖像提供給圖像生成單元426。與圖50示出的圖像生成單元365類似，圖像生成單元426按照需要基于從3DV解碼單元423提供的視差信息對(duì)從分離單元424提供的L視差圖像和R視差圖像以及從分離單元425提供的O多視差圖像進(jìn)行轉(zhuǎn)換。圖像生成單兀426基于轉(zhuǎn)換后的L視差圖像、R視差圖像和O多視差圖像、L圖像、R圖像和O多視點(diǎn)圖像、包括在視差信息中的深度值的最大值和最小值或視差值的最大值和最小值、以及對(duì)應(yīng)關(guān)系信息來生成與顯示裝置(圖中未示出)對(duì)應(yīng)且視點(diǎn)的數(shù)目為三或更多的圖像。然后，圖像生成單元426將所生成的每個(gè)視點(diǎn)的圖像的分辨率轉(zhuǎn)換成兼容圖像或輔助圖像的分辨率的“ I/視點(diǎn)的數(shù)目”，合成圖像并將合成的圖像顯示顯示裝置(圖中未示出)上。此時(shí)，對(duì)合成后的多視點(diǎn)圖像進(jìn)行顯示使得每個(gè)視點(diǎn)的視角是不同的，觀看者可以在不佩戴眼鏡的情況下通過使用他的左眼和右眼看任意兩個(gè)視點(diǎn)的圖像來觀看3D圖像。[根據(jù)3DV模式的解碼裝置的處理的描述]圖60是示出了由圖59示出的解碼裝置420進(jìn)行的解碼處理的流程圖。例如，當(dāng)從圖53示出的編碼裝置380發(fā)送TS時(shí)該解碼處理開始。在圖60示出的S411步驟中，解碼裝置340的接收單元421接收從編碼裝置380發(fā)送的TS。接收單元421將包括在TS中的比特流提供給分離單元422，并且將參考圖像復(fù)用信息提供給3DV解碼單元423。另外，接收單元421將包括在TS中的兼容復(fù)用信息提供給分離單元424，且將輔助復(fù)用信息提供給分離單元425。后續(xù)步驟S412至步驟S428的處理針對(duì)配置比特流的每個(gè)NAL單元進(jìn)行。在步驟S412中，分離單元422基于NAL單元的NAL報(bào)頭來分離每個(gè)NAL單元，并將包括在NAL單元中的L圖像以及R圖像、輔助復(fù)用圖像、兼容復(fù)用圖像或輔助視差復(fù)用圖像的數(shù)據(jù)與類型信息一起輸入到3DV解碼單元423。在步驟S413中，3DV解碼單元423基于從分離單元422提供的類型信息來確定與類型信息一起輸入的數(shù)據(jù)是否是L圖像、R圖像、輔助復(fù)用圖像、兼容復(fù)用圖像或輔助視差復(fù)用圖像的編碼數(shù)據(jù)。在步驟S413中在確定數(shù)據(jù)是L圖像、R圖像、輔助復(fù)用圖像、兼容復(fù)用圖像或輔助視差復(fù)用圖像的編碼數(shù)據(jù)的情況下，處理進(jìn)行至步驟S414。在步驟S414中，3DV解碼單元423基于保持的SPS、子集SPS或SEI的信息對(duì)L圖像、R圖像、輔助復(fù)用圖像、兼容復(fù)用圖像或輔助視差復(fù)用圖像的編碼數(shù)據(jù)進(jìn)行解碼。在步驟S415中，3DV解碼單元423基于類型信息來確定由于解碼處理而獲取的圖像是否是兼容復(fù)用圖像。在步驟S415中在確定由于解碼處理而獲取的圖像是兼容復(fù)用圖像的情況下，3DV解碼單元423將兼容復(fù)用圖像提供給分離單元424。在步驟S416中，分離單元424基于從接收單元421提供的兼容復(fù)用信息將從3DV解碼單元423提供的兼容復(fù)用圖像分離成其分辨率與L圖像和R圖像的分辨率相同的L視差圖像和R視差圖像。分離單元424將L視差圖像和R視差圖像提供給圖像生成單元426。在步驟S417中，分離單元424將L視差圖像和R視差圖像輸出給圖像生成單元426，處理結(jié)束。另一方面，在其中在步驟S415中確定由于解碼處理而獲取的圖像不是兼容復(fù)用圖像的情況下，3DV解碼單元423基于步驟S418中的類型信息來確定由于解碼處理而獲取的圖像是否是輔助復(fù)用圖像。在其中在步驟S418中在確定由于解碼處理而獲取的圖像是輔助復(fù)用圖像的情況下，3DV解碼單元423將輔助復(fù)用圖像提供給分離單元425，處理進(jìn)行至步驟S419。在步驟S419中，分離單元425基于從接收單元421提供的輔助復(fù)用信息將從3DV解碼單元423提供的輔助復(fù)用圖像分離成其分辨率與L圖像和R圖像的分辨率相同的兩個(gè)視點(diǎn)的O多圖像。分離單元425將兩個(gè)視點(diǎn)的O多圖像提供給圖像生成單元426。在步驟S420中，分離單元425將兩個(gè)視點(diǎn)的O多圖像輸出給圖像生成單元426，處理結(jié)束。在其中在步驟S418中在確定由于解碼處理而獲取的圖像不是輔助復(fù)用圖像的情況下，3DV解碼單元423基于步驟S421中的類型信息來確定由于解碼處理而獲取的圖像是否是輔助視差復(fù)用圖像。在其中在步驟S421中確定由于解碼處理而獲取的圖像是輔助視差復(fù)用圖像的情況下，3DV解碼單元423將輔助視差復(fù)用圖像提供給分離單元425，處理進(jìn)行至步驟S422。在步驟S422中，分離單元425基于輔助復(fù)用信息將從3DV解碼單元423提供的輔助視差復(fù)用信息分離成其分辨率與L圖像和R圖像的分辨率相同的兩個(gè)視點(diǎn)的O多視差圖像。分離單元425將兩個(gè)視點(diǎn)的O多視差圖像提供給圖像生成單元426。在步驟S423中，分離單元424將兩個(gè)視點(diǎn)的O多視差圖像輸出給圖像生成單元426，處理結(jié)束。另一方面，在其中在步驟S421中確定由于解碼處理而獲取的圖像不是輔助視差復(fù)用圖像的情況下，就是說，在由于解碼處理而獲取的圖像是L圖像或R圖像的情況下，處理進(jìn)行至步驟S424。在步驟S424中，3DV解碼單元423將由于解碼處理而獲取的L圖像或R圖像輸出給圖像生成單元426，處理結(jié)束。另一方面，在其中在步驟S413中確定數(shù)據(jù)不是L圖像、R圖像、輔助復(fù)用圖像、兼容復(fù)用圖像或輔助視差復(fù)用圖像的編碼數(shù)據(jù)的情況下，換言之，在其中從分離單元422提供的數(shù)據(jù)是SPS、子集SPS或SEI的信息的情況下，處理進(jìn)行至步驟S425。步驟S425至步驟S428的處理與圖51示出的步驟S339至步驟S342的處理相同，因此，將不對(duì)其進(jìn)行描述。如上所述，解碼裝置420基于NAL報(bào)頭將比特流分離成每個(gè)NAL單元。然后，解碼裝置420根據(jù)與現(xiàn)有AVC模式或MVC模式對(duì)應(yīng)的模式對(duì)包括在分離的NAL單元中的兼容圖像的編碼數(shù)據(jù)進(jìn)行解碼，并根據(jù)與3DV模式對(duì)應(yīng)的模式對(duì)輔助圖像和視差圖像的數(shù)據(jù)進(jìn)行解碼。因此，解碼裝置420可以對(duì)由于與使用編碼裝置380的現(xiàn)有模式有兼容性的編碼處理而獲取的比特流進(jìn)行解碼。盡管圖中沒有示出，但對(duì)由圖53示出的編碼裝置380生成的比特流進(jìn)行解碼的根據(jù)AVC模式的解碼裝置和根據(jù)MVC模式的解碼裝置與圖46示出的解碼裝置320和圖48示出的解碼裝置340相同。[視差信息的另一個(gè)布置示例]在上面呈現(xiàn)的描述中，盡管描述了包括在SEI中的視差信息，但視差信息還可以被包括在TS中。例如，在這樣的情況下，以TS內(nèi)的PMT (程序映射表)或SIT (選擇信息表)的描述符來描述視差信息。圖61是示出了在以PMT的描述符來描述視差信息的情況下視差信息的描述示例的圖。如圖61所示，在以PMT的描述符來描述視差信息的情況下，其中布置有視差信息的描述符(3DV_view_synthesis_descriptor)被設(shè)置為PMT的描述符。在該描述符中描述了圖 43 示出的視差信息(3DV_view_synthesis_info)。另外，視差信息可以包括在SEI和TS內(nèi)部的PMT和SIT中。而且，不在NAL報(bào)頭中而在TS內(nèi)部的PMT、SIT、SEI等中描述擴(kuò)展信息。而且，當(dāng)輔助圖像低分辨率轉(zhuǎn)換信息、兼容復(fù)用信息和輔助復(fù)用信息被包括在SEI等中時(shí)，可以發(fā)送這些信息。另外，在上面呈現(xiàn)的描述中，描述了要被添加至編碼數(shù)據(jù)的擴(kuò)展信息，該擴(kuò)展信息可以與圖像數(shù)據(jù)(或比特流)分開發(fā)送(記錄)。而且，擴(kuò)展信息可以連接至圖像數(shù)據(jù)(或比特流)。在本實(shí)施例中，如下所示地定義了 “連接”?！斑B接”表示一種狀態(tài):在該狀態(tài)中圖像數(shù)據(jù)(或比特流)和擴(kuò)展信息相互鏈接。作為連接目標(biāo)的圖像數(shù)據(jù)和擴(kuò)展信息可以通過互不相同的發(fā)送線路進(jìn)行發(fā)送。另外，作為連接目標(biāo)的圖像數(shù)據(jù)(或比特流)和擴(kuò)展信息可以記錄在互不相同的記錄介質(zhì)(或相同記錄介質(zhì)的互不相同的區(qū)域)上。而且，例如，鏈接圖像數(shù)據(jù)(或比特流)和擴(kuò)展信息的單位可以是編碼處理單位(一幀、多幀等)。另外，盡管描述了編碼裝置290和編碼裝置380分別生成一個(gè)TS，但是以除了輔助信息由輔助圖像低分辨率轉(zhuǎn)換信息和參考圖像低分辨率轉(zhuǎn)換信息代替外與圖2示出的編碼裝置50、圖14示出的編碼裝置140、圖22示出的編碼裝置180和圖33示出的編碼裝置230相同的方式可以生成多個(gè)TS。<第七實(shí)施例>[根據(jù)第七實(shí)施例的編碼裝置的配置示例]圖62是示出了根據(jù)本技術(shù)的第七實(shí)施例的編碼裝置的配置示例的框圖。在圖62示出的配置中，將相同的附圖標(biāo)記分配給與圖14示出的配置相同的配置。適當(dāng)?shù)貙⒉辉俪尸F(xiàn)重復(fù)的描述。圖62示出的編碼裝置440的配置與圖14示出的配置的不同之處主要在于:設(shè)置有視差圖像生成單元441和編碼器442而不是視差圖像生成單元143和編碼器145。編碼裝置440在空間方向上不對(duì)兼容圖像的視差圖像進(jìn)行復(fù)用但在時(shí)間方向上對(duì)兼容圖像的視差圖像進(jìn)行復(fù)用，并對(duì)經(jīng)復(fù)用的視差圖像進(jìn)行編碼。更具體地，編碼裝置440的視差圖像生成單元441使用從成像單元141A至成像單元141D提供的圖像A2至圖像D2對(duì)圖像A2至圖像D2的每個(gè)像素的視差進(jìn)行檢測(cè)。視差圖像生成單元441基于檢測(cè)結(jié)果生成圖像A2的視差圖像A2丨和圖像B2的視差圖像B2丨以及C2的視差圖像C2,和圖像D2的視差圖像D2 ^，其中圖像A2和圖像B2是兼容圖像，圖像C2和圖像D2是輔助圖像。另外，與圖14示出的視差圖像生成單元143類似，視差圖像生成單元441根據(jù)預(yù)定的復(fù)用模式在空間方向上對(duì)視差圖像C2 '和D2'進(jìn)行復(fù)用。而且，視差圖像生成單元441在時(shí)間方向上對(duì)視差圖 像A2'和B2'以及輔助圖像的視差圖像的復(fù)用圖像進(jìn)行復(fù)用。視差圖像生成單元441將由于該復(fù)用而獲取的復(fù)用圖像提供給編碼器442作為時(shí)分復(fù)用圖像，在復(fù)用圖像中對(duì)應(yīng)于一幀的視差圖像A2 '和B2'以及輔助圖像的視差圖像的復(fù)用圖像存在于一巾貞時(shí)間內(nèi)。另外，視差圖像生成單元441將表示輔助圖像的視差圖像的復(fù)用模式和在時(shí)間方向上的復(fù)用模式(在下文中，稱為幀序列模式)的信息作為兼容圖像和輔助圖像的視差圖像的復(fù)用模式提供給視差圖像信息生成單元57。編碼器442由兼容編碼器151和輔助編碼器451配置成。編碼器442的輔助編碼器451根據(jù)3DV模式以訪問單元為單位對(duì)從圖像轉(zhuǎn)換單元142提供的輔助圖像的復(fù)用圖像和從視差圖像生成單元441提供的時(shí)分復(fù)用圖像進(jìn)行編碼。輔助編碼器451將由于編碼而獲取的編碼流提供給復(fù)用單元59作為輔助流。[輔助信息的描述的示例]圖63是示出了在以PMT的描述符來描述輔助信息的情況下兼容性信息和視差圖像信息的描述的示例的圖。如圖63所示，在以PMT的描述符來描述輔助信息的情況下，在其中布置兼容性信息的描述符(3DV_view_structure_descriptor)和在其中布置視差圖像信息的描述符(depth_map_structure_descriptor)等被設(shè)置為 PMT 的描述符。在圖64不出的描述符(depth_map_structure_descriptor)中，在描述符標(biāo)志(descriptor_tag)和描述符長度(descriptor_length)后面的視差圖像的數(shù)量(num_of_depth_map)、表示視差圖像是否是經(jīng)復(fù)用的標(biāo)志(i s_frame_packing)、視差圖像的復(fù)用模式(frame_packing_mode)、指定經(jīng)復(fù)用的視差圖像的信息(comb_frame_packing_views)等被描述為視差圖像信息。另外，作為復(fù)用模式的示例，有并排模式(SBS)、頂部和底部模式(TOB)和幀序列模式。在本說明書中，盡管輔助信息被配置成包括在TS中，但輔助信息還可以包括在輔助流中。圖65和圖66是示出了在輔助流包括輔助信息的情況下包括在輔助流中的兼容性信息和視差圖像信息的描述的示例的圖。如圖65所示,例如，兼容性信息(3DV_view_structure)和視差圖像信息(depth_map_structure)被布置在包括于輔助流中的SEI (補(bǔ)充增強(qiáng)信息)中。如圖66所示，，描述了視差圖像(深度圖)的數(shù)量(num_of_depth_map)、表示視差圖像是否是經(jīng)復(fù)用的標(biāo)志(is_frame_packing)、視差圖像的復(fù)用模式(frame_packing_mo de)、指定經(jīng)復(fù)用的視差圖像的信息(comb_frame_pack i ng_v i ews )等作為視差圖像信息(depth_map_structure)。盡管圖中沒有示出，但除了圖像信息不是視差圖像而是兼容圖像和輔助圖像的信息外，圖像信息與視差圖像信息相同。[編碼裝置的處理的描述]圖67和圖68是示出了由圖62示出的編碼裝置440進(jìn)行的編碼處理的流程圖。例如，該編碼過程在從成像單元141A至成像單元141D輸出圖像A2至圖像D2時(shí)開始。圖67和圖68示出的步驟S451至步驟S459的處理與圖16和圖17示出的步驟S71至步驟S79的處理相同，因此，將不對(duì)其進(jìn)行描述。在圖68示出的步驟S460中，視差圖像生成單元441確定輔助圖像的視差圖像的復(fù)用模式以及兼容圖像的視差圖像和輔助圖像的視差圖像的復(fù)用圖像的復(fù)用模式，并將表示復(fù)用模式的信息提供給視差圖像信息生成單元57。在步驟S461中，視差圖像信息生成單元57基于從視差圖像生成單元441提供的信息生成作為視差圖像信息的表示輔助圖像的視差圖像的復(fù)用模式以及兼容圖像的視差圖像和輔助圖像的視差圖像的復(fù)用圖像的復(fù)用模式的信息等，并將生成的視差圖像信息輸入到復(fù)用單元59。在步驟S462中，視差圖像生成單元441基于在步驟S460中確定的復(fù)用模式，在空間方向上對(duì)輔助圖像的視差圖像C2'和D2'進(jìn)行復(fù)用且在時(shí)間方向上對(duì)兼容圖像的視差圖像A2'和B2'以及輔助圖像的視差圖像的復(fù)用圖像進(jìn)行復(fù)用。在步驟S463中，視差圖像生成單元441將由于步驟S462的復(fù)用處理而獲取的時(shí)分復(fù)用圖像輸入到編碼器442。在步驟S464中，編碼器442的兼容編碼器151根據(jù)現(xiàn)有AVC模式對(duì)從圖像轉(zhuǎn)換單元142提供的兼容圖像的復(fù)用圖像進(jìn)行編碼，并將由于編碼而獲取的編碼流提供給復(fù)用單元59作為兼容流。在步驟S465中，輔助編碼器451根據(jù)3DV模式對(duì)從圖像轉(zhuǎn)換單元142提供的輔助圖像的復(fù)用圖像和從視差圖像生成單元441提供的時(shí)分復(fù)用圖像進(jìn)行編碼。輔助編碼器451將由于編碼處理而獲取的編碼流提供給復(fù)用單元59作為輔助流。
在步驟S466中，與圖17示出的步驟S86的處理類似，復(fù)用單元59從兼容解碼器151提供的兼容流生成TSl，從輔助解碼器451提供的輔助流和輔助信息生成TS2，進(jìn)行復(fù)用處理，并發(fā)送由于復(fù)用而獲取的經(jīng)復(fù)用的流。例如，該經(jīng)復(fù)用的流被記錄在BD等中或作為廣播流而被發(fā)送。然后，處理結(jié)束。[解碼裝置的配置示例]圖69是示出了對(duì)從圖62示出的解碼裝置440發(fā)送的經(jīng)復(fù)用的流進(jìn)行解碼的解碼裝置的配置示例的圖。在圖69示出的配置中，將相同的附圖標(biāo)記分配給與圖18示出的配置相同的配置。適當(dāng)?shù)貙⒉辉俪尸F(xiàn)重復(fù)的描述。圖69示出的解碼裝置460的配置與圖18示出的配置的不同之處主要在于:設(shè)置有解碼器461和圖像生成單元462，而不是解碼器122和圖像生成單元171。解碼裝置460通過對(duì)由編碼裝置440發(fā)送的經(jīng)復(fù)用的流進(jìn)行解碼來生成兩個(gè)視點(diǎn)的圖像或多視點(diǎn)圖像，并將生成的圖像顯示在顯示裝置(圖中未示出)上。更具體地，解碼裝置460的解碼器461由兼容解碼器131和輔助解碼器471配置成。解碼器461的輔助解碼器471根據(jù)對(duì)應(yīng)于圖62示出的輔助編碼器451的模式，對(duì)包括在從分離單元121提供的輔助流中的輔助圖像的復(fù)用圖像和時(shí)分復(fù)用圖像進(jìn)行解碼。輔助解碼器471將由于解碼處理而獲取的輔助圖像的復(fù)用圖像和時(shí)分復(fù)用圖像提供給圖像生成單元462。圖像生成單元462根據(jù)觀看者提供的指令輸出圖像，并將圖像顯示在顯示裝置(圖中未示出)上。當(dāng)進(jìn)行更詳細(xì)的描述時(shí)，圖像生成單元462根據(jù)觀看者的用于顯示多視點(diǎn)模式的3D圖像的指令，基于從圖像信息獲取單元123提供的圖像信息、從視點(diǎn)間距離信息獲取單元124提供的視點(diǎn)間距離信息、從視差圖像信息獲取單元125提供的視差圖像信息、從兼容性信息獲取單元126提供的兼容性信息等，通過使用兼容圖像的復(fù)用圖像、輔助圖像的復(fù)用圖像和時(shí)分復(fù)用圖像生成與顯示裝置(圖中未示出)對(duì)應(yīng)的三個(gè)或更多個(gè)視點(diǎn)的圖像，每個(gè)圖像分辨率是兼容圖像或輔助圖像的分辨率的一半。更詳細(xì)地，圖像生成單元462基于將幀序列模式表示為包括在從視差圖像信息獲取單元125提供的視差圖像信息中的、兼容圖像的視差圖像和輔助圖像的視差圖像的復(fù)用圖像的復(fù)用模式的信息，將作為兼容圖像的視差圖像視差圖像A2 '和B2'和輔助圖像的視差圖像的復(fù)用圖像從時(shí)分復(fù)用圖像中分離。然后，圖像生成單元462基于包括在視差圖像信息中的輔助圖像的視差圖像的復(fù)用模式將視差圖像C2'和視差圖像D2'從輔助圖像的視差圖像的復(fù)用圖像分離。另外，與圖18示出的圖像生成單元171類似，圖像生成單元462基于表示包括在從圖像信息獲取單元123提供的圖像信息中的輔助圖像的復(fù)用模式的信息，將每個(gè)輔助圖像從輔助圖像的復(fù)用圖像中分離。而且，與圖像生成單元171類似，圖像生成單元462基于表示包括在圖像信息中的兼容圖像的復(fù)用模式的信息將每個(gè)兼容圖像從兼容圖像的復(fù)用圖像的分離。而且，與圖像生成單元171類似，圖像生成單元462基于視點(diǎn)間距離信息和對(duì)應(yīng)于顯示裝置(圖中未示出)的視點(diǎn)的數(shù)目，確定待生成的多視點(diǎn)圖像的每個(gè)視點(diǎn)的位置。然后，與圖像生成單元171類似，圖像生成單元462通過使用每個(gè)兼容圖像、每個(gè)輔助圖像、每個(gè)兼容圖像的視差圖像和每個(gè)輔助圖像的視差圖像來生成其位置被確定的每個(gè)視點(diǎn)的圖像。然后，與圖像生成單元171類似，圖像生成單元462將生成的多視點(diǎn)圖像的分辨率轉(zhuǎn)換成兼容圖像或輔助圖像的分辨率的“I/視點(diǎn)的數(shù)目”，合成圖像，并將合成的圖像顯示在圖中沒有示出的顯示裝置上。此時(shí)，對(duì)合成后的多視點(diǎn)圖像進(jìn)行顯示使得每個(gè)視點(diǎn)的視角是不同的，觀看者可以在不佩戴眼鏡的情況下通過使用他的左眼和右眼看任意兩個(gè)視點(diǎn)的圖像來觀看3D圖像。另外，與圖像生成單元171類似，圖像生成單元462根據(jù)來自于觀看者的用于顯示雙視點(diǎn)模式的3D圖像的指令、基于從圖像信息獲取單元123提供的圖像信息，將從解碼器461提供的兼容圖像的復(fù)用圖像分離成其分辨率是兼容圖像的分辨率的一半的圖像A2和圖像B2。然后，與圖像生成單元171類似，圖像生成單元462交替地輸出其分辨率是兼容圖像的分辨率的一半的經(jīng)分離的圖像A2和圖像B2，從而，將經(jīng)分離的圖像顯示在顯示裝置(圖中未示出)上。此時(shí)，觀看者可以通過戴下述眼鏡并觀看在顯示裝置上交替顯示的圖像A2和圖像B2來觀看3D圖像，該眼鏡中在顯示圖像A2時(shí)左眼快門和右眼快門中之一打開而在在顯示圖像B2時(shí)另一個(gè)快門打開。[解碼處理的描述]圖70是示出了由圖69示出的解碼裝置460進(jìn)行的解碼處理的流程圖。例如，該解碼處理在從圖62示出的編碼裝置440發(fā)送的經(jīng)復(fù)用的流被輸入到解碼裝置460時(shí)開始。圖70示出的步驟S471至步驟S473的處理類似于圖19示出的步驟S91至步驟S93的處理，因此，將不對(duì)其進(jìn)行描述。在步驟S474中，輔助解碼器471從輔助流提取經(jīng)編碼的輔助圖像的復(fù)用圖像和時(shí)分復(fù)用圖像，并根據(jù)對(duì)應(yīng)于圖2示出的輔助編碼器62的模式對(duì)提取的復(fù)用圖像進(jìn)行解碼。輔助解碼器471將由于解碼處理而獲取的輔助圖像的復(fù)用圖像和時(shí)分復(fù)用圖像提供給圖像生成單元127，處理進(jìn)行至步驟S475。步驟S475至步驟S479的處理類似于圖19示出的步驟S95至步驟S99的處理，因此，其描述將不予呈現(xiàn)。在步驟S480中，圖像生成單元462通過使用兼容圖像的復(fù)用圖像、輔助圖像的復(fù)用圖像和時(shí)分復(fù)用圖像基于步驟S479中確定的每個(gè)視點(diǎn)的位置、從圖像信息獲取單元123提供的圖像信息、從視差圖像信息獲取單元125提供的視差圖像信息、從兼容性信息獲取單元126提供的兼容性信息等生成其分辨率是兼容圖像或輔助圖像的分辨率的一半的每個(gè)視點(diǎn)的圖像。步驟S481至步驟S486的處理類似于圖19示出的步驟SlOl至步驟S106的處理，因此，將不對(duì)其進(jìn)行描述。在只對(duì)與解碼裝置460有兼容性的兼容流進(jìn)行解碼的解碼裝置中，忽略了添加有3DV表示定界符NAL單元的TS2，進(jìn)行步驟S483、步驟S485和步驟S486的處理。然而，在這種情況下，在步驟S485的處理中，基于預(yù)先確定的復(fù)用模式將兼容圖像的復(fù)用圖像分離。<第八實(shí)施例>[根據(jù)第八實(shí)施例的編碼裝置的配置示例]圖71是示出了根據(jù)本技術(shù)的第八實(shí)施例的編碼裝置的配置示例的框圖。
在圖71示出的配置中，將相同的附圖標(biāo)記分配給與圖14示出的配置相同的配置。適當(dāng)?shù)貙⒉粚⒉粚?duì)其進(jìn)行重復(fù)描述。圖71示出的編碼裝置480的配置與圖14示出的配置的不同之處主要在于:設(shè)置有視差圖像生成單兀480、編碼器482和視差圖像彳目息生成單兀483,而不是視差圖像生成單元143、編碼器145和視差圖像信息生成單元57。編碼裝置480對(duì)顯示視差值為兼容圖像共用的公共視差圖像和輔助圖像的公共視差圖像進(jìn)行編碼。更具體地，編碼裝置480的視差圖像生成單元481使用從成像單元141A至成像單元141D提供的圖像A2至圖像D2對(duì)圖像A2和圖像B2之間的每個(gè)像素的視差以及圖像C2和圖像D2之間的每個(gè)像素的視差進(jìn)行檢測(cè)。視差圖像生成單元481生成由表示圖像A2和B2之間的每個(gè)像素的視差值形成的視差圖像作為兼容圖像的公共視差圖像AB2 ’，并將生成的公共視差圖像提供給編碼器482。另外，視差圖像生成單元481生成由表示圖像C2和D2之間的每個(gè)像素的視差值形成的視差圖像作為輔助圖像的公共視差圖像CD2丨，并將生成的公共視差圖像提供給編碼器482。而且，視差圖像生成單元481將表示兼容圖像和輔助圖像的視差圖像是公共視差圖像的信息提供給視差圖像信息生成單元483。編碼器482由兼容編碼器151和輔助編碼器491配置成。輔助編碼器491根據(jù)3DV模式以訪問單元為單位對(duì)從圖像轉(zhuǎn)換單元142提供的輔助圖像的復(fù)用圖像以及從視差圖像生成單元481提供的兼容圖像的公共視差圖像AB2丨和輔助圖像的公共視差圖像⑶2丨進(jìn)行編碼。輔助編碼器491將由于編碼而獲取的編碼流提供給復(fù)用單元59作為輔助流。視差圖像信息生成單元483基于從視差圖像生成單元53提供的信息生成表示兼容圖像和輔助圖像的視差圖像是公共視差圖像等的信息作為視差圖像信息，并將生成的視差圖像信息提供給復(fù)用單元59。[編碼裝置的處理的描述]圖72和圖73是示出了由圖71示出的編碼裝置480進(jìn)行的編碼處理的流程圖。例如，該編碼處理當(dāng)從成像單元141A至成像單元141D輸出圖像A2至圖像D2時(shí)開始。圖72示出的步驟S491至步驟S498的處理類似于圖16示出的步驟S71至步驟S78的處理，因此，將不對(duì)其進(jìn)行描述。在圖73示出的步驟S499中，視差圖像生成單元481使用從成像單元141A至成像單元141D提供的圖像A2至圖像D2對(duì)圖像A2和B2之間的每個(gè)像素的視差以及圖像C2和D2之間的每個(gè)像素的視差進(jìn)行檢測(cè)。然后，視差圖像生成單元481生成公共視差圖像AB2'和公共視差圖像⑶2'，其中公共視差圖像AB2 '由表示圖像A2和B2之間的每個(gè)像素的視差值形成，公共視差圖像⑶2 ’由表示圖像C2和圖像D2之間的每個(gè)像素的視差值形成。在步驟S500中，視差圖像信息生成單元483基于從視差圖像生成單元481提供的信息生成表示兼容圖像和輔助圖像的視差圖像是公共視差圖像的信息等作為視差圖像信息，并將生成的視差圖像信息輸入到復(fù)用單元59。在步驟S501中，視差圖像生成單元481將步驟S499中生成的輔助圖像的公共視差圖像⑶2'和兼容圖像的公共視差圖像AB2 '輸入到編碼器482。在步驟S502中，編碼器482的兼容編碼器151根據(jù)現(xiàn)有AVC模式對(duì)從圖像轉(zhuǎn)換單元142提供的兼容圖像的復(fù)用圖像進(jìn)行編碼，并將由于編碼而獲取的編碼流提供給復(fù)用單元59作為兼容流。在步驟S503中，輔助編碼器491根據(jù)3DV模式對(duì)從圖像轉(zhuǎn)換單元142提供的輔助圖像的復(fù)用圖像以及從視差圖像生成單元481提供的兼容圖像的公共視差圖像和輔助圖像的公共視差圖像進(jìn)行編碼。輔助編碼器491將由于編碼處理而獲取的編碼流提供給復(fù)用單元59作為輔助流。在步驟S504中，復(fù)用單元59根據(jù)從兼容編碼器151提供的兼容流生成TSl，根據(jù)從輔助編碼器491提供的輔助流和輔助信息生成TS2，進(jìn)行復(fù)用處理，以及發(fā)送由于復(fù)用而獲取的經(jīng)復(fù)用的流。例如，該復(fù)用的流被記錄在BD等中或作為廣播流而被發(fā)送。然后，處
理結(jié)束。[解碼裝置的配置示例]圖74是示出了對(duì)從圖71示出的編碼裝置480發(fā)送的經(jīng)復(fù)用的流進(jìn)行解碼的解碼裝置的配置示例的圖。在圖74示出的配置中，將相同的附圖標(biāo)記分配給與圖18示出的配置相同的配置。適當(dāng)?shù)貙⒉辉俪尸F(xiàn)重復(fù)的描述。圖74示出的解碼裝置500的配置與圖18示出的配置的主要的不同之處在于:設(shè)置有解碼器501和圖像生成單元502，而不是解碼器122和圖像生成單元171。解碼裝置500通過對(duì)從編碼裝置480發(fā)送的經(jīng)復(fù)用的流進(jìn)行解碼來生成兩個(gè)視點(diǎn)的圖像或多視點(diǎn)圖像，并將生成的圖像顯示顯示裝置(圖中未示出)上。更具體地，解碼裝置500的解碼器501由兼容解碼器131和輔助解碼器511配置成。解碼器501的輔助解碼器511根據(jù)對(duì)應(yīng)于圖71示出的輔助編碼器491的模式對(duì)包括在從分離單元121提供的輔助流中的輔助圖像的復(fù)用圖像、兼容圖像的公共視差圖像AB2丨和輔助圖像的公共視差圖像CD2 '進(jìn)行解碼。輔助解碼器511將由于解碼處理而獲取的輔助圖像的復(fù)用圖像、公共視差圖像AB2 '和⑶2'提供給圖像生成單元502。圖像生成單元502根據(jù)觀看者提供的指令輸出圖像，并將圖像顯示在顯示裝置(圖中未示出)上。當(dāng)進(jìn)行更詳細(xì)的描述時(shí)，圖像生成單元502根據(jù)觀看者的用于顯示多視點(diǎn)模式的3D圖像的指令，基于從圖像信息獲取單元123提供的圖像信息、從視點(diǎn)間距離信息獲取單元124提供的視點(diǎn)間距離信息、從視差圖像信息獲取單元125提供的視差圖像信息、從兼容性信息獲取單元126提供的兼容性信息等，通過使用兼容圖像的復(fù)用圖像、輔助圖像的復(fù)用圖像、公共視差圖像AB2 '和公共視差圖像⑶2'生成與顯示裝置(圖中未示出)對(duì)應(yīng)的三個(gè)或更多個(gè)視點(diǎn)的圖像，每個(gè)圖像的分辨率為兼容圖像或輔助圖像的分辨率的一半。進(jìn)行更詳細(xì)的描述，圖像生成單元502基于表示兼容圖像和輔助圖像的視差圖像是包括在從視差圖像信息獲取單元125提供的視差圖像信息中的公共視差圖像的信息來保持公共視差圖像AB2'和公共視差圖像⑶2'不被改變。另外，與圖18示出的圖像生成單元171類似，圖像生成單元502基于包括在從圖像信息獲取單元123提供的圖像信息中的輔助圖像的復(fù)用模式的信息將每個(gè)輔助圖像從輔助圖像的復(fù)用圖像中分離。而且，與圖像生成單元171類似，圖像生成單元502基于表示包括在圖像信息中的兼容圖像的復(fù)用模式的信息，將從兼容圖像的復(fù)用圖像中分離。而且，與圖像生成單元171類似，圖像生成單元502基于視點(diǎn)間距離信息和對(duì)應(yīng)于顯示裝置(圖中未示出)的視點(diǎn)的數(shù)量確定待生成的多視點(diǎn)圖像的每個(gè)視點(diǎn)的位置。然后，圖像生成單元502通過使用每個(gè)兼容圖像、每個(gè)輔助圖像、公共視差圖像AB2丨和公共視差圖像⑶2'來生成其位置被確定的每個(gè)視點(diǎn)的圖像。然后，與圖像生成單元171類似，圖像生成單元502將生成的多視點(diǎn)圖像的分辨率轉(zhuǎn)換成兼容圖像或輔助圖像的分辨率的“ I/視點(diǎn)的數(shù)目”，合成圖像并將合成的圖像顯示在顯示裝置(圖中未示出)上。此時(shí)，對(duì)合成后的多視點(diǎn)圖像進(jìn)行顯示使得每個(gè)視點(diǎn)的視角是不同的，觀看者可以在不佩戴眼鏡的情況下通過使用他的左眼和右眼看任意兩個(gè)視點(diǎn)的圖像來觀看3D圖像。另外，與圖像生成單元171類似，圖像生成單元502根據(jù)由觀看者提供的用于顯示雙視點(diǎn)模式的3D圖像的指令、基于從圖像信息獲取單元123提供的圖像信息，將從解碼器501提供的兼容圖像的復(fù)用圖像分離成其分辨率是兼容圖像的分辨率的一半的圖像A2和B2。然后，與圖像生成單元171類似，圖像生成單元502交替輸出其分辨率是兼容圖像的分辨率的一半的經(jīng)分離的圖像A2和B2，從而在顯示裝置(圖中未示出)上顯示經(jīng)分離的圖像。此時(shí)，觀看者可以通過佩戴下述眼鏡并觀看在顯示裝置上交替顯示的圖像A2和圖像B2來觀看3D圖像，在該眼鏡中在顯示圖像A2時(shí)左眼快門和右眼快門中之一打開而在顯示圖像B2時(shí)另一個(gè)快門打開。[解碼裝置的處理的描述]圖75是示出了由圖74示出的解碼裝置500進(jìn)行的解碼處理的流程圖。例如，該解碼處理在從圖71示出的編碼裝置480發(fā)送的經(jīng)復(fù)用的流輸入到解碼裝置500時(shí)開始。圖75示出的步驟S511至步驟S513的處理類似于圖19示出的步驟S91至步驟S93的處理，因此，將不對(duì)其進(jìn)行描述。在步驟S514中，輔助解碼器511提取輔助圖像的經(jīng)編碼的復(fù)用圖像、兼容圖像的公共視差圖像AB2'和輔助圖像的公共視差圖像CD2'，并根據(jù)對(duì)應(yīng)于圖71示出的輔助編碼器491的模式對(duì)提取的圖像進(jìn)行解碼。輔助解碼器511將由于解碼處理而獲取的輔助圖像的復(fù)用圖像、公共視差圖像AB2 '和公共視差圖像⑶2'提供給圖像生成單元502。步驟S515至步驟S519的處理類似于圖19示出的步驟S95至步驟S99的處理，因此，將不對(duì)其進(jìn)行描述。在步驟S519的處理后，在步驟S520中，圖像生成單元502基于在步驟S519中確定的每個(gè)視點(diǎn)的位置、從圖像信息獲取單元123提供的圖像信息、從視差圖像信息獲取單元125提供的視差圖像信息和從兼容性信息獲取單元126提供的兼容性信息等，通過使用兼容圖像、輔助圖像的復(fù)用圖像、公共視差圖像AB2'和公共視差圖像CD2'生成其分辨率是兼容圖像或輔助圖像的分辨率的一半的每個(gè)視點(diǎn)的圖像。步驟S521至步驟S526的處理類似于圖19示出的步驟SlOl至步驟S106的處理，因此，將不對(duì)其進(jìn)行描述。盡管編碼裝置440和編碼裝置480以類似于編碼裝置140的方式對(duì)兩個(gè)視點(diǎn)的兼容圖像進(jìn)行復(fù)用和編碼，但編碼裝置440和480還可以以類似于圖22示出的編碼裝置180的方式對(duì)兩個(gè)視點(diǎn)的兼容圖像進(jìn)行編碼而不對(duì)其進(jìn)行復(fù)用。另外，編碼裝置440和480可以以類似于圖2示出的編碼裝置50的方式對(duì)一個(gè)視點(diǎn)的兼容圖像進(jìn)行編碼。另外，編碼裝置140和180可以對(duì)兼容圖像和輔助圖像的視差圖像進(jìn)行編碼而不對(duì)上述視差圖像進(jìn)行復(fù)用。而且，編碼裝置50可以對(duì)輔助圖像的視差圖像進(jìn)行編碼而不對(duì)上述視差圖像進(jìn)行復(fù)用。<編碼目標(biāo)的復(fù)用模式的示例>圖76是示出了在兼容圖像的視點(diǎn)的數(shù)目是二且輔助圖像的視點(diǎn)的數(shù)目是二的情況下編碼目標(biāo)的復(fù)用模型的示例的圖。如圖76中的(I)所示，圖14示出的編碼裝置140在空間方向上對(duì)作為兼容圖像的圖像A2和圖像B2進(jìn)行復(fù)用，并根據(jù)AVC模式對(duì)復(fù)用圖像進(jìn)行編碼。另外，編碼裝置140在空間方向上對(duì)作為輔助圖像的圖像C2和D2、作為兼容圖像的視差圖像的視差圖像A2丨和B2'、作為輔助圖像的視差圖像的視差圖像C2 '和D2'進(jìn)行復(fù)用，并根據(jù)符合MVC模式的3DV模式對(duì)復(fù)用圖像進(jìn)行編碼。而且，如圖76中的(2)所示，編碼裝置140可以不對(duì)視差圖像A2 ^至D2 ^進(jìn)行復(fù)用的情況下根據(jù)符合MVC模式的3DV模式對(duì)視差圖像A2 '至D2'進(jìn)行編碼。另外，如圖76中的(3)所示，圖71示出的編碼裝置480可以對(duì)公共視差圖像AB2 ’進(jìn)行編碼而不是對(duì)作為兼容圖像的視差圖像的視差圖像A2 '和B2'進(jìn)行編碼，并對(duì)公共視差圖像⑶2 '進(jìn)行編碼而不是對(duì)作為輔助圖像的視差圖像的視差圖像C2 '和D2'進(jìn)行編碼。而且，如圖76中的(4)所示，圖62示出的編碼裝置440不在空間方向上對(duì)作為兼容圖像的視差圖像的視差圖像A2 '和B2'進(jìn)行復(fù)用而根據(jù)幀序列模式對(duì)視差圖像A2 '和B2丨以及輔助圖像的視差圖像的復(fù)用圖像進(jìn)行復(fù)用，并根據(jù)符合MVC模式的3DV模式對(duì)復(fù)用圖像進(jìn)行編碼。如圖76中的(5)所示，圖22示出的編碼裝置180根據(jù)AVC模式對(duì)圖像A2進(jìn)行編碼，并在不對(duì)作為兼容圖像的圖像A2和B2進(jìn)行復(fù)用的情況下根據(jù)MVC模式在將圖像A2設(shè)定為基本視圖的情況下對(duì)圖像B2進(jìn)行編碼。另外，編碼裝置180在空間方向上對(duì)作為輔助圖像的圖像C2和圖像D2 、兼 容圖像的視差圖像A2 ^和B2,、以及輔助圖像的視差圖像C2 /和D2'進(jìn)行編碼，并根據(jù)符合MVC模式的3DV模式對(duì)所得到的復(fù)用圖像進(jìn)行編碼。另外，如圖76中的(6)所示，編碼裝置180可以根據(jù)符合MVC模式的3DV模式對(duì)視差圖像A2'至D2'進(jìn)行編碼而不對(duì)其進(jìn)行復(fù)用。而且，如圖76中的(7)所示，與編碼裝置480類似，編碼裝置180可以對(duì)公共視差圖像AB2丨進(jìn)行編碼而不是對(duì)視差圖像A2丨和B2'進(jìn)行編碼，并對(duì)公共視差圖像⑶2 '進(jìn)行編碼而不是對(duì)視差圖像C2 '和D2'進(jìn)行編碼。而且，如圖76中的(8)所示，與編碼裝置440類似，編碼裝置180可以根據(jù)幀序列模式對(duì)視差圖像A2'、視差圖像B2'以及輔助圖像的視差圖像的復(fù)用圖像進(jìn)行復(fù)用，并在不空間方向上對(duì)視差圖像A2 '和視差圖像B2'在進(jìn)行復(fù)用下根據(jù)符合MVC模式的3DV模式對(duì)所得到的復(fù)用圖像進(jìn)行編碼。圖77是示出了在圖76的(I)至(8)中示出的復(fù)用模型中的復(fù)用的效果特征的圖。在圖77示出的表格中，布置了效果項(xiàng)“兼容性”、“圖像質(zhì)量”和“數(shù)據(jù)量”，并表示了圖76的(I)至(8)中示出的復(fù)用模型的各項(xiàng)的效果的程度。在圖77示出的表格中，圓圈表不有效果，雙圓圈表不有顯著的效果。在使用圖76中的(I)示出的復(fù)用模型進(jìn)行復(fù)用的情況下，兼容圖像的復(fù)用模式和編碼模式與現(xiàn)有模式的相同，因此，確保了兼容性。另外，例如，由于與兼容圖像類似地在空間方向上對(duì)視差圖像進(jìn)行復(fù)用，所以可以使用分離單元對(duì)視差圖像進(jìn)行分離，該分離單元裝備在解碼裝置側(cè)用于對(duì)兼容圖像進(jìn)行分離。從而，確保了可以在解碼裝置側(cè)對(duì)視差圖像進(jìn)行分離。因此，在這種情況下，在兼容性方面有顯著的效果，雙圓圈根據(jù)圖77示出的“兼容性”項(xiàng)來描述。在使用圖76中的(2)中示出的復(fù)用模型執(zhí)行復(fù)用的情況下，兼容圖像的復(fù)用模式和編碼模式與現(xiàn)有模式的相同，因此確保了兼容性。此外，由于視差圖像的分辨率與復(fù)用之前的圖像的分辨率相同，所以精確度高。結(jié)果，在解碼裝置中，提高了使用視差圖像生成的預(yù)定視點(diǎn)的圖像的精確度。因此，在這種情況下，對(duì)使用視差圖像生成的圖像的兼容性和圖像質(zhì)量有影響，相應(yīng)地，描述的圓與在圖77中表示的項(xiàng)目“兼容性”和“圖像質(zhì)量”相一致。在使用圖76中的(3)示出的復(fù)用模型執(zhí)行復(fù)用的情況下，兼容圖像的復(fù)用模式和編碼模式與現(xiàn)有模式中的復(fù)用模式和編碼模式相同，因此確保了兼容性。此外，其每一個(gè)具有與被復(fù)用之前的圖像的分辨率相同分辨率的兼容圖像和輔助圖像的視差圖像的數(shù)據(jù)量減少至兩個(gè)視點(diǎn)的視差圖像的數(shù)據(jù)量。因此，在這種情況下，由于對(duì)兼容性和數(shù)據(jù)量有影響，描述的圓與在圖77中表示的項(xiàng)目“兼容性”和“數(shù)據(jù)量”相一致。在使用圖76中的(4)示出的復(fù)用模型執(zhí)行復(fù)用的情況下，兼容圖像的復(fù)用模式和編碼模式與現(xiàn)有模式的相同，因此確保了兼容性。此外，由于在時(shí)間方向上對(duì)視差圖像進(jìn)行復(fù)用，因此視差圖像的數(shù)據(jù)量在每個(gè)時(shí)刻小于圖76中的(3)的情況下的數(shù)據(jù)量，從而可以發(fā)送的數(shù)據(jù)量增加。因此，即使在用于發(fā)送具有與被復(fù)用前的圖像相同分辨率的視差圖像的發(fā)送帶寬沒有空間的情況下，也可以發(fā)送分辨率與被復(fù)用前的圖像的分辨率相同的視差圖像，因此要使用視差圖像在解碼裝置中生成的預(yù)定視點(diǎn)的圖像的精確度被提高了。因此，在這種情況下，對(duì)使用視差圖像生成的圖像的兼容性和圖像質(zhì)量有影響，并且對(duì)數(shù)據(jù)量有顯著影響。因此，描述的圓與在圖77中表示的項(xiàng)目“兼容性”和“圖像質(zhì)量”相一致，以及描述的圓環(huán)與“數(shù)據(jù)量”相一致。例如當(dāng)圖像用于廣播時(shí)執(zhí)行使用在圖76的(I)至(4)中示出的復(fù)用模型的復(fù)用處理，IP (網(wǎng)際協(xié)議)符合廣播、ATSC (美國高級(jí)電視業(yè)務(wù)顧問委員會(huì))2.0規(guī)范等，作為聚集廣播或互聯(lián)網(wǎng)傳遞的下一代廣播被設(shè)定為編碼目標(biāo)。在使用圖76的(5)中示出的復(fù)用模型執(zhí)行復(fù)用的情況下，兼容圖像的復(fù)用模式和編碼模式與現(xiàn)有模式的相同，因此，確保了兼容性。此外，由于每個(gè)視差圖像的分辨率是所述圖像的分辨率的一半，所以兼容圖像和輔助圖像的視差圖像的數(shù)據(jù)量減少至兩個(gè)視點(diǎn)的視差圖像的數(shù)據(jù)量。因此，在這種情況下，對(duì)兼容性和數(shù)據(jù)量有影響，描述的圓與在圖77中表示的項(xiàng)目“兼容性”和“數(shù)據(jù)量”相一致。在使用圖76中的(6)示出的復(fù)用模型執(zhí)行復(fù)用的情況下，與圖76中(2)的情況相似，確保了兼容性，使用視差圖像在解碼裝置中生成的預(yù)定視點(diǎn)的圖像的精確度被提高了。因此，在這種情況下，對(duì)使用視差圖像生成的圖像的兼容性和圖像質(zhì)量有影響，描述的圓與在圖77中表示的項(xiàng)目“兼容性”和“圖像質(zhì)量”相一致。在使用圖76中的(7)示出的復(fù)用模型執(zhí)行復(fù)用的情況下，與圖76中(3)的情況相似，確保了兼容性，視差圖像的數(shù)據(jù)量減少。因此，在這種情況下，對(duì)兼容性和數(shù)據(jù)量有影響，描述的圓與在圖77中表示的項(xiàng)目“兼容性”和“數(shù)據(jù)量”相一致。
在使用圖76中的(8)示出的復(fù)用模型執(zhí)行復(fù)用的情況下，與圖76中的(4)的情況相似，確保了兼容性。此外，與圖76中(4)的情況相似，視差圖像的數(shù)據(jù)量在每個(gè)時(shí)刻小于在圖76中的(7)的情況下的數(shù)據(jù)量，因此，提高了使用視差圖像生成的預(yù)定視點(diǎn)的圖像的精確度。因此，在這種情況下，對(duì)使用視差圖像生成的圖像的兼容性和圖像質(zhì)量有影響，并且對(duì)數(shù)據(jù)量有顯著影響。因此，描述的圓與在圖77中表示的項(xiàng)目“兼容性”和“圖像質(zhì)量”相一致，以及描述的圓環(huán)與“數(shù)據(jù)量”相一致。例如當(dāng)圖像用于針對(duì)BD的應(yīng)用時(shí)，執(zhí)行使用在圖76中的(5)、(7)和(8)示出的復(fù)用模型的復(fù)用處理，廣播、下一代廣播或互聯(lián)網(wǎng)傳遞被設(shè)定為編碼目標(biāo)。此外，例如當(dāng)圖像用于針對(duì)BD的應(yīng)用時(shí)，執(zhí)行使用在圖76中的(6)示出的復(fù)用模型的復(fù)用處理，下一代廣播或互聯(lián)網(wǎng)傳遞被設(shè)定為編碼目標(biāo)。圖78是示出了在兼容圖像的視點(diǎn)數(shù)量為一個(gè)并且輔助圖像的視點(diǎn)數(shù)量為兩個(gè)的情況下的編碼目標(biāo)的復(fù)用模型的示例的示意圖。如圖78中的(I)所示，在圖2中所示的編碼裝置50根據(jù)AVC模式對(duì)作為兼容圖像的圖像Al進(jìn)行編碼。此外，編碼裝置50對(duì)作為輔助圖像的圖像BI和Cl以及作為輔助圖像的視差圖像的視差圖像BI ’和Cl ’在時(shí)間方向上進(jìn)行復(fù)用。然后，編碼裝置50根據(jù)符合MVC模式的3DV模式對(duì)作為兼容圖像的視差圖像的視差圖像Al丨、輔助圖像的復(fù)用圖像、以及輔助圖像的視差圖像的復(fù)用圖像進(jìn)行編碼。如圖78中的(2)所示，編碼裝置50可以根據(jù)符合MVC模式的3DV模式對(duì)視差圖像Al'至Cl'進(jìn)行編碼而不對(duì)所述視差圖像進(jìn)行復(fù)用。此外，如圖78中的(3)所示，與編碼裝置480相似，編碼裝置50可以對(duì)作為輔助圖像的圖像B和C的公共視差圖像BCl丨而不是輔助圖像的視差圖像的復(fù)用圖像進(jìn)行編碼。此外，如圖78中的(4)所示，與編碼裝置440相似，編碼裝置50可以根據(jù)幀順序模式對(duì)視差圖像Al'至Cl'進(jìn)行復(fù)用，以及根據(jù)符合MVC模式的3DV模式對(duì)由此生成的復(fù)用圖像進(jìn)行編碼而不在空間方向上對(duì)視差圖像BI '和Cl'進(jìn)行復(fù)用。使用在圖78中的(I)至(4)中示出的復(fù)用模型的復(fù)用處理的效果和在執(zhí)行使用復(fù)用模型的復(fù)用處理時(shí)的編碼目標(biāo)與使用在圖76中的(5)至(8)示出的復(fù)用模型的復(fù)用處理的效果和編碼目標(biāo)相同。然而，在使用在圖78的(I)中示出的復(fù)用模型的復(fù)用處理中，兼容圖像的視差圖像的分辨率與兼容圖像的分辨率相同，并且作為該復(fù)用處理的效果的視差圖像的數(shù)據(jù)量的減少是僅針對(duì)輔助圖像的視差圖像的效果。圖79是示出了在兼容圖像的視點(diǎn)數(shù)目為兩個(gè)并且輔助圖像的視點(diǎn)數(shù)目為零的情況下的編碼目標(biāo)的復(fù)用模型的示例的示意圖。如圖79中的(I)所示，在兼容目標(biāo)的視點(diǎn)圖像的數(shù)目為兩個(gè)并且輔助圖像的視點(diǎn)數(shù)目為零的情況下，與在圖14中示出的編碼裝置140的情況相似，作為兼容圖像的圖像A2和B2在空間方向上被復(fù)用并且根據(jù)AVC模式對(duì)其進(jìn)行編碼。此外，作為兼容圖像的視差圖像的視差圖像A2'和B2'在空間方向上被復(fù)用并且根據(jù)符合AVC模式的3DV模式對(duì)其進(jìn)行編碼。如圖79中的(2)所示，視差圖像A2 '和B2 '可以根據(jù)符合MVC模式的3DV模式進(jìn)行編碼而不被復(fù)用。此外，如在圖79中的(3)所示，與編碼裝置480的情況相似，可以對(duì)公共視差圖像AB2'而不是視差圖像A2'和B2'進(jìn)行編碼。
另外，如圖79的(4)所示，與編碼裝置440的情況相似，視差圖像A2丨和B2 ^可以被在幀序列模式下進(jìn)行復(fù)用以及編碼而不在時(shí)間方向上被復(fù)用。此外，如圖79中的(5 )所示，與編碼裝置180相似，可以進(jìn)行配置使得，根據(jù)AVC模式對(duì)圖像A2進(jìn)行編碼，以及使用MVC模式對(duì)圖像B2進(jìn)行編碼而不對(duì)作為兼容圖像的圖像A2和B2進(jìn)行復(fù)用，在MVC模式下圖像A2被設(shè)定作為基本視圖。在這種情況下，如圖79中的(6)所示，與圖79中的(2)的情況相似，視差圖像可以被編碼而不被復(fù)用，或者如圖79中的(7)所示，與圖79中的(3)的情況相似，可以對(duì)公共視差圖像AB2'進(jìn)行編碼。此外，如圖79中的(8)所示，與圖79所示的(4)的情況相似，可以根據(jù)幀序列模型對(duì)兼容圖像的視差圖像進(jìn)行復(fù)用并且編碼。此外，使用在圖78中的(I)至(8)示出的復(fù)用模型的復(fù)用處理的效果和在使用復(fù)用模型執(zhí)行復(fù)用處理時(shí)的編碼目標(biāo)與使用在圖76中的(I)至(8)中示出的復(fù)用模型的復(fù)用處理的效果和編碼目標(biāo)相同。在以上呈現(xiàn)的描述中，盡管根據(jù)幀順序模式被復(fù)用的視差圖像的分辨率已經(jīng)描述為與被復(fù)用處理前圖像的分辨率相同，但是其分辨率也可以低于被復(fù)用處理前圖像的分辨率。此外，與視差圖像相似，也可以根據(jù)幀順序模式對(duì)輔助圖像進(jìn)行復(fù)用。另外，在以上呈現(xiàn)的描述中，盡管已經(jīng)描述了在編碼裝置中發(fā)送表示圖像的復(fù)用模式的信息和表示視差圖像的復(fù)用模式的信息，但是可以發(fā)送用于識(shí)別在圖76、78及79中示出的復(fù)用模型的信息。此外，編碼裝置可以發(fā)送用于識(shí)別對(duì)應(yīng)于作為編碼目標(biāo)的圖像的應(yīng)用的標(biāo)志。<第九實(shí)施例> [根據(jù)第九實(shí)施例的編碼裝置的配置示例]圖80是示出了根據(jù)本技術(shù)的第九實(shí)施例的編碼裝置的配置示例的框圖。在圖80所示的配置中，將相同的附圖標(biāo)記分配給與圖14所示的配置相同的配置。適當(dāng)起見將不再呈現(xiàn)重復(fù)的描述。在圖80中所示的編碼裝置520的配置與在圖14中所示的配置的主要區(qū)別在于設(shè)置了編碼器523和發(fā)送單元524而不是編碼器145和復(fù)用單元59，并新布置了復(fù)用單元521和復(fù)用信息生成單元522。編碼裝置520根據(jù)幀序列模式對(duì)兼容圖像的復(fù)用圖像、輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像以及輔助圖像的視差圖像的復(fù)用圖像進(jìn)行復(fù)用，并且對(duì)由此生成的復(fù)用圖像進(jìn)行編碼。更加具體地，編碼裝置520的復(fù)用單元521根據(jù)幀序列模式對(duì)由于由圖像轉(zhuǎn)換單元142執(zhí)行的復(fù)用處理而獲取的兼容圖像和輔助圖像的復(fù)用圖像以及由于由視差圖像生成單元143執(zhí)行的復(fù)用處理而獲取的兼容圖像和輔助圖像的視差圖像的復(fù)用圖像進(jìn)行復(fù)用。然后，復(fù)用單元521提供如下復(fù)用圖像:其中可以由于復(fù)用處理而獲取的兼容圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像、輔助圖像的復(fù)用圖像以及輔助圖像的視差圖像的復(fù)用圖像被作為時(shí)間方向復(fù)用圖像在一幀時(shí)間內(nèi)按順序呈現(xiàn)給編碼器523。此外，復(fù)用單元521向復(fù)用信息生成單元522和編碼器523提供如下信息:該信息表示根據(jù)幀序列模式被復(fù)用的兼容圖像和輔助圖像的復(fù)用圖像以及兼容圖像和輔助圖像的視差圖像的復(fù)用圖像以及表示時(shí)分復(fù)用圖像中的圖像布置順序。復(fù)用信息生成單元522基于由復(fù)用單元521提供的信息來生成信息等作為與兼容圖像和輔助圖像以及兼容圖像和輔助圖像的視差圖像的復(fù)用相關(guān)的全部復(fù)用信息，并且將所生成的全部復(fù)用信息提供給發(fā)送單元524。通過兼容編碼器531和輔助編碼器532來配置編碼器523。編碼器523基于由復(fù)用單元521提供的信息指定包括在由復(fù)用單元521提供的時(shí)分復(fù)用圖像中的兼容圖像的復(fù)用圖像并將兼容圖像的復(fù)用圖像提供給兼容編碼器531。此外，編碼器523基于由復(fù)用單元521提供的信息向輔助編碼器531提供包括在時(shí)分復(fù)用圖像中的輔助圖像的復(fù)用圖像以及兼容圖像和輔助圖像的視差圖像的復(fù)用圖像。編碼器523的兼容編碼器531根據(jù)現(xiàn)有的AVC模式、以訪問單元為單位對(duì)時(shí)分復(fù)用圖像中包括的兼容圖像的復(fù)用圖像進(jìn)行編碼。輔助編碼器532根據(jù)3DV模式、以訪問單元為單位對(duì)時(shí)分復(fù)用圖像中包括的輔助圖像的復(fù)用圖像以及兼容圖像和輔助圖像的視差圖像的復(fù)用圖像進(jìn)行編碼。在此時(shí)，通過參考兼容圖像的復(fù)用圖像對(duì)輔助圖像的復(fù)用圖像進(jìn)行編碼，通過參考兼容圖像的視差圖像的復(fù)用圖像對(duì)輔助圖像的視差圖像的復(fù)用圖像進(jìn)行編碼。編碼器523向發(fā)送單元524提供如下比特流:其根據(jù)由于由兼容編碼器531或輔助編碼器532執(zhí)行的編碼處理而獲取的時(shí)分復(fù)用圖像的編碼數(shù)據(jù)來形成。發(fā)送單元524使用如下信息生成TS:由編碼器523提供的比特流、由圖像信息生成單元54提供的圖像信息、由兼容性信息生成單元55提供的兼容性信息、由視點(diǎn)間距離信息生成單元144提供的視點(diǎn)間距離信息、由視差圖像信息生成單元57提供的視差圖像信息以及由復(fù)用信息生成單元522提供的全部復(fù)用信息等。復(fù)用單元59發(fā)送所生成的TS。[編碼裝置的處理的描述]圖81和圖82表示示出了由在圖80中所示的編碼裝置520執(zhí)行的編碼處理的流程圖。該編碼處理例如在圖像A2至D2從成像單元141A至141D輸出時(shí)開始。在圖81中示出的步驟S531至S537的處理與在圖16中示出的步驟S71至S77的處理相同，因此將不對(duì)其進(jìn)行描述。在步驟S537的處理之后，在步驟S538中，圖像轉(zhuǎn)換單元142將兼容圖像的復(fù)用圖像和輔助圖像的復(fù)用圖像輸入到復(fù)用單元521，并且處理進(jìn)行到在圖82中示出的步驟S539。在圖82中示出的步驟S539至S542的處理與在圖17中示出的步驟S79至S82的處理相同，因此將不對(duì)其進(jìn)行描述。在步驟S543的處理之后，在步驟S544中，復(fù)用單元521根據(jù)幀序列模式對(duì)由于由圖像轉(zhuǎn)換單元142執(zhí)行的復(fù)用處理而獲取的兼容圖像和輔助圖像的復(fù)用圖像以及由于由視差圖像生成單元143執(zhí)行的復(fù)用處理而獲取的兼容圖像和輔助圖像的視差圖像的復(fù)用圖像進(jìn)行復(fù)用。復(fù)用單元521向編碼器523提供由于復(fù)用處理而獲取的復(fù)用圖像作為時(shí)間方向復(fù)用圖像。此外，復(fù)用單元521向復(fù)用信息生成單元522和編碼器523提供如下信息:其表示根據(jù)幀序列模式被復(fù)用的兼容圖像和輔助圖像的復(fù)用圖像以及視差圖像的復(fù)用圖像并且表示時(shí)分復(fù)用圖像中的圖像布置順序。
在步驟S545中，復(fù)用信息生成單元522基于從復(fù)用單元521提供的信息來生成作為全部復(fù)用信息的信息等并且將所生成的全部復(fù)用信息提供給發(fā)送單元524。在步驟S546中，兼容編碼器531根據(jù)現(xiàn)有的AVC模式、基于由復(fù)用單元521提供的信息，對(duì)包括在輸入到編碼器523的時(shí)分復(fù)用圖像中的兼容圖像的復(fù)用圖像進(jìn)行編碼。在步驟S547中，輔助編碼器532基于由復(fù)用單元521提供的信息根據(jù)3DV模式對(duì)如下圖像進(jìn)行編碼:包括在由編碼器523輸入的時(shí)分復(fù)用圖像中的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像以及輔助圖像的視差圖像的復(fù)用圖像。編碼器523向發(fā)送單元524提供如下比特流:其根據(jù)由于步驟S546和S547編碼處理而獲取的時(shí)分復(fù)用圖像的編碼數(shù)據(jù)來形成。在步驟S548中，發(fā)送單元524根據(jù)由編碼器523提供的比特流、輔助信息以及由復(fù)用信息生成單元522提供的全部復(fù)用信息來生成TS，并發(fā)送所生成的TS。該TS例如被記錄在BD等上或被作為廣播流來發(fā)送。然后，處理結(jié)束。如上，編碼裝置520根據(jù)兼容圖像的復(fù)用圖像的編碼數(shù)據(jù)、輔助圖像的復(fù)用圖像的編碼數(shù)據(jù)、兼容圖像的視差圖像的復(fù)用圖像的編碼數(shù)據(jù)以及輔助圖像的視差圖像的復(fù)用圖像的編碼數(shù)據(jù)來生成一個(gè)比特流。因此，包括僅可以解碼一個(gè)比特流的解碼器的解碼裝置可以對(duì)由編碼裝置520生成的比特流進(jìn)行解碼。在以上呈現(xiàn)的描述中，盡管已經(jīng)描述了根據(jù)符合兼容圖像的編碼模式的3DV模式編碼的兼容圖像的視差圖像、輔助圖像以及輔助圖像的視差圖像，但是也可以根據(jù)不符合兼容圖像的編碼模式的MEPG2 (活動(dòng)圖像專家組階段2)等對(duì)該圖像進(jìn)行編碼。[解碼裝置的配置示例]圖83是示出了對(duì)由在圖80中示出的編碼裝置520發(fā)送的TS進(jìn)行解碼的解碼裝置的配置示例的示意圖。在圖83示出的配置中，將相同的附圖標(biāo)志分配給與在圖18所示的配置相同的配置。適當(dāng)?shù)貙⒉辉俪尸F(xiàn)重復(fù)的描述。在圖83中示出的解碼裝置540的配置與在圖18中示出的配置的主要區(qū)別在于:設(shè)置了接收單元541、解碼器542以及圖像生成單元544而不是分離單元121、解碼器122以及圖像生成單元171，并且新布置了復(fù)用信息獲取單元543。解碼裝置540對(duì)包括在由編碼裝置520發(fā)送的TS中的時(shí)分復(fù)用圖像的比特流進(jìn)行解碼，生成兩個(gè)視點(diǎn)的圖像或多視點(diǎn)圖像，以及在顯示設(shè)備(圖中未示出)上顯示所生成的圖像。更加具體地，解碼裝置540的接收單元541接收由編碼裝置520發(fā)送的TS。接收單元541提取包括在TS中的時(shí)分復(fù)用圖像的比特流并將該比特流提供給解碼器542。此夕卜，接收單元541提取包括在TS中的輔助信息并將包括在輔助信息中的圖像信息提供給圖像信息獲取單元123以及將視點(diǎn)距離信息提供給視點(diǎn)間距離信息獲取單元124。另外，接收單元541將包括在輔助信息中的視差圖像信息提供給視差圖像信息獲取單元125以及將兼容性信息提供給兼容性信息獲取單元126。此外，接收單元541提取包括在TS中的全部復(fù)用信息并且將所提取的全部復(fù)用信息提供給復(fù)用信息獲取單元543。通過兼容解碼器551和輔助解碼器552來配置解碼器542。解碼器542的兼容解碼器551根據(jù)對(duì)應(yīng)于AVC模式的模式對(duì)包括在由接收單元541提供的比特流中的兼容圖像的復(fù)用圖像的編碼數(shù)據(jù)進(jìn)行解碼，并且將解碼數(shù)據(jù)提供給圖像生成單元544。
輔助解碼器552根據(jù)對(duì)應(yīng)于在圖80中所示的輔助編碼器532的解碼模式的模式，對(duì)如下編碼數(shù)據(jù)進(jìn)行解碼:包括在由接收單元541提供的比特流中的輔助圖像的復(fù)用圖像的編碼數(shù)據(jù)、兼容圖像的視差圖像的復(fù)用圖像的編碼數(shù)據(jù)以及輔助圖像的視差圖像的復(fù)用圖像的編碼數(shù)據(jù)。輔助解碼器552向圖像生成單元544提供如下圖像:由于解碼處理而獲取的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像以及輔助圖像的視差圖像的復(fù)用圖像。復(fù)用信息獲取單元543獲取由接收單元541提供的全部復(fù)用信息并將所獲取的全部復(fù)用信息提供給圖像生成單元544。圖像生成單元544根據(jù)觀察者的顯示指令來輸出圖像，從而在顯示設(shè)備(圖中未示出)上顯示圖像。更加具體地，圖像生成單元544根據(jù)觀察者的用于顯示多視點(diǎn)系統(tǒng)的3D圖像的指令，基于由圖像信息獲取單元123提供的圖像信息、由視點(diǎn)間距離信息獲取單元124提供的視點(diǎn)間距離信息、由視差圖像信息獲取單元125提供的視差圖像信息、由兼容性信息獲取單元126提供的兼容性信息以及由復(fù)用信息獲取單元543提供的全部復(fù)用信息等，通過使用如下圖像來生成與顯示設(shè)備(圖中未示出)對(duì)應(yīng)的三個(gè)視點(diǎn)或更多個(gè)視點(diǎn)的圖像:兼容圖像的復(fù)用圖像、輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像以及輔助圖像的視差圖像的復(fù)用圖像，每個(gè)圖像的分辨率是兼容圖像或輔助圖像的分辨率的一半。更加詳細(xì)地描述，圖像生成單元544基于由復(fù)用信息獲取單元543提供的全部復(fù)用信息來識(shí)別由輔助解碼器552提供的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像以及輔助圖像的視差圖像的復(fù)用圖像。此外，與在圖18中所示的圖像生成單元171相似，圖像生成單元544基于表示輔助圖像的視差圖像的復(fù)用模式的信息(其包括在由視差圖像信息獲取單元125提供的視差圖像信息中)，從輔助圖像的視差圖像的復(fù)用圖像中分離每個(gè)輔助圖像的視差圖像。另外，與圖像生成單元171相似，圖像生成單元544基于包括在視差圖像信息中的表示兼容圖像的視差圖像的復(fù)用模式的信息，從兼容圖像的視差圖像的復(fù)用圖像中分離每個(gè)兼容圖像的視差圖像。另外，與圖像生成單元171相似，圖像生成單元544基于表示輔助圖像的復(fù)用模式的信息(其包括在由圖像信息獲取單元123提供的圖像信息中)，從輔助圖像的復(fù)用圖像中分離每個(gè)輔助圖像。此外，與圖像生成單元171相似，圖像生成單元544基于包括在圖像信息中的表示兼容圖像的復(fù)用模式的信息，從兼容圖像的復(fù)用圖像中分離每個(gè)兼容圖像。此外，與圖像生成單元171相似，圖像生成單元544基于視點(diǎn)間距離信息和對(duì)應(yīng)于顯示設(shè)備(圖中未示出)的視點(diǎn)數(shù)目來確定要生成的多視點(diǎn)圖像的每個(gè)視點(diǎn)的位置。然后，與圖像生成單元171相似，圖像生成單元544通過使用每個(gè)兼容圖像、每個(gè)輔助圖像、每個(gè)兼容圖像的視差圖像以及每個(gè)輔助圖像的視差圖像來生成其位置被確定的每個(gè)視點(diǎn)的圖像。然后，圖像生成單元544將所生成的多視點(diǎn)圖像的分辨率轉(zhuǎn)換為兼容圖像或輔助圖像的分辨率的“視點(diǎn)數(shù)目分之一”，合成所轉(zhuǎn)換的圖像以及在顯示設(shè)備(圖中未示出)上顯示所合成的圖像。在此時(shí)，在合成后的多視點(diǎn)圖像被顯示使得針對(duì)每個(gè)視點(diǎn)觀察角度均不同，觀察者可以在不佩戴眼鏡的情況下通過使用他的左眼和右眼看任意兩個(gè)視點(diǎn)的圖像來觀看3D圖像。此外，與圖像生成單元171相似，圖像生成單元544根據(jù)由觀察者提供的用于顯示雙視點(diǎn)模式的3D圖像的指令、基于由圖像信息獲取單元123提供的圖像信息來從由解碼器542提供的兼容圖像的復(fù)用圖像分離分辨率是兼容圖像的分辨率一半的圖像A2和B2。然后，與圖像生成單元171相似，圖像生成單元544交替輸出其分辨率是兼容圖像的分辨率一半的所分離的圖像A2和B2，從而在顯示設(shè)備(圖中未示出)上顯示所分離的圖像。在此時(shí)，觀察者可以通過佩戴眼鏡并觀察在顯示設(shè)備上交替顯示的圖像A2和B2來觀察3D圖像，在所述眼鏡中在顯示圖像A2時(shí)左眼快門和右眼快門之一是打開的而在顯示圖像B2時(shí)另一個(gè)快門是打開的。[解碼裝置的處理的描述]圖84是示出了由在圖83中所示的解碼裝置540執(zhí)行的解碼處理的流程圖。該解碼處理例如當(dāng)由在圖80中所示的編碼裝置520發(fā)送的TS被輸入到解碼裝置540時(shí)開始。在圖84所示的步驟S551中，解碼裝置540的接收單元541接收由解碼裝置520發(fā)送的TS。接收單元541提取包括在TS中的比特流并將所提取的比特流提供給解碼器542。此外，接收單元541提取包括在所述TS中的輔助信息并將包括在所述輔助信息中的圖像信息提供給圖像信息獲取單元123，以及將視點(diǎn)距離信息提供給視點(diǎn)間距離信息獲取單元124。另外，接收單元541將包括在所述輔助信息中的視差圖像信息提供給視差圖像信息獲取單元125以及將兼容性信息提供給兼容性信息獲取單元126。此外，接收單元541提取包括在TS中的全部復(fù)用信息并將所提取的全部復(fù)用信息提供給復(fù)用信息獲取單元543。在步驟S552中，與在圖19中所示的步驟S92的處理相似，圖像生成單元544確定觀察者是否做出了用于顯示雙視點(diǎn)模式的3D圖像的指令。在步驟S552中在確定觀察者未做出用于顯示雙視點(diǎn)模式的3D圖像的指令的情況下，換句話說，在做出了用于顯示多視點(diǎn)的3D圖像的指令的情況下，所述處理行進(jìn)到步驟S553。在步驟S553中，解碼器542的兼容解碼器551從由接收單元541提供的比特流中提取兼容圖像的復(fù)用圖像的編碼數(shù)據(jù)并對(duì)所提取的編碼數(shù)據(jù)在對(duì)應(yīng)于AVC模式的模式下進(jìn)行編碼。然后，兼容解碼器551將由于解碼處理而獲取的兼容圖像的復(fù)用圖像提供給圖像生成單元544。在步驟S554中，輔助解碼器552從由接收單元541提供的比特流中提取輔助圖像的復(fù)用圖像的編碼數(shù)據(jù)、兼容圖像的視差圖像的復(fù)用圖像的編碼數(shù)據(jù)以及輔助圖像的視差圖像的復(fù)用圖像的編碼數(shù)據(jù)，并對(duì)所提取的編碼數(shù)據(jù)在對(duì)應(yīng)于在圖80中示出的輔助解碼器532的模式下進(jìn)行解碼。輔助解碼器552向圖像生成單元544提供如下復(fù)用圖像:由于解碼處理而獲取的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像以及輔助圖像的視差圖像的復(fù)用圖像，所述處理進(jìn)行到步驟S555。步驟S555至S558的處理與在圖19中示出的步驟S95至S98的處理相同，因此將不對(duì)其進(jìn)行描述。在步驟S558的處理后，在步驟S559中，復(fù)用信息獲取單元543獲取由接收單元541提供的全部復(fù)用信息并將所獲取的全部復(fù)用信息輸入到圖像生成單元544中。在步驟S560中，與在圖19中示出的步驟S99的處理相似，圖像生成單元544基于從視點(diǎn)間距離信息獲取單元124提供的視點(diǎn)間距離信息和對(duì)應(yīng)于在顯示設(shè)備(圖中未示出)的視點(diǎn)的數(shù)目來確定要生成的多視點(diǎn)圖像的每個(gè)視點(diǎn)的位置。在步驟S561中，圖像生成單元544基于在步驟S560中確定的每個(gè)視點(diǎn)的位置、由圖像信息獲取單元123提供的圖像信息、由視差圖像信息獲取單元125提供的視差圖像信息、由兼容性信息獲取單元126提供的兼容性信息、由復(fù)用信息獲取單元543提供的全部復(fù)用信息等，通過使用兼容圖像的復(fù)用圖像、輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像以及輔助圖像的視差圖像的復(fù)用圖像來生成每個(gè)視點(diǎn)的圖像，所述每個(gè)視點(diǎn)的圖像的分辨率是兼容圖像或輔助圖像的分辨率的一半。然后，所述處理行進(jìn)到步驟S562。步驟S562至步驟S567的處理與在圖19中示出的步驟SlOl至S106的處理相同，因此將不對(duì)其進(jìn)行描述。然而，在步驟S564的處理中，兼容解碼器551不是從兼容流而是從由接收單元541提供的比特流中來提取兼容圖像的復(fù)用圖像。此外，在僅可以對(duì)與解碼裝置540有兼容性的兼容圖像進(jìn)行解碼的解碼裝置中，除了可以被處理的兼容圖像的編碼數(shù)據(jù)之外的編碼數(shù)據(jù)被忽略，并且執(zhí)行步驟S564、S566及S567的處理。然而，在這樣的情況下，在步驟S566的處理中，根據(jù)提前確定的復(fù)用模式來分離兼容圖像的復(fù)用圖像。如上，解碼裝置540可以對(duì)由兼容圖像的復(fù)用圖像的編碼數(shù)據(jù)、輔助圖像的復(fù)用圖像的編碼數(shù)據(jù)、兼容圖像的視差圖像的復(fù)用圖像的編碼數(shù)據(jù)以及輔助圖像的視差圖像的復(fù)用圖像的編碼數(shù)據(jù)生成的一個(gè)比特流進(jìn)行解碼。<根據(jù)第五實(shí)施例的比特流的另一個(gè)示例>[比特流的另一個(gè)配置示例]圖85是示出了根據(jù)第五實(shí)施例以訪問單元為單位生成的比特流的另一個(gè)配置示例的示意圖。在圖85示出的示例中，兼容圖像為1920 X 1080像素的L圖像和R圖像，輔助圖像為1920X1080像素的O圖像。此外，L視差圖像、R視差圖像以及O視差圖像的尺寸為960 X 1080像素。另外，根據(jù)AVC模式對(duì)L圖像進(jìn)行編碼，根據(jù)MVC模式對(duì)R圖像進(jìn)行編碼，以及根據(jù)3DV模式對(duì)O圖像、L視差圖像、R視差圖像、O視差圖像進(jìn)行編碼。此外，L圖像、R圖像、O圖像、L視差圖像、R視差圖像、O視差圖像的視圖1D分別為O、1、2、3、4和5。在此，視圖1D為唯一對(duì)應(yīng)于每個(gè)視點(diǎn)的圖像和視差圖像的ID。如圖85所示，在以訪問單元為單位的比特流中，例如從頭部按順序設(shè)定根據(jù)MVC模式用于圖像的訪問單元定界符(AUD)、SPS、子集SPS (子集SPS1)，根據(jù)3DV模式用于視差圖像的子集SPS (子集SPS2)，根據(jù)AVC模式的PPS、SEI，根據(jù)MVC模式的SEI，根據(jù)3DV模式的SEI以及編碼數(shù)據(jù)的NAL單元。訪問單元定界符的NAL單元是表示訪問單元邊界的NAL單元。SPS的NAL單元是包括profile_idc(在圖85中示出的示例中的100)的SPS的NAL單元,該profile_idc表示根據(jù)AVC模式定義的屬性中L圖像的屬性。用于圖像的子集SPS的NAL單元是包括prof ile_idc (在圖85中示出的示例中的128)的子集SPS的NAL單元,該profile_idc表示表示根據(jù)MVC模式定義的屬性中R圖像和O圖像的屬性的。用于視差圖像的子集SPS的NAL單元是包括profile_idc (在圖85的示例中的138)的子集SPS的NAL單元,該prof ile_idc表示根據(jù)3DV模式定義的用于視差圖像的屬性中L視差圖像、R視差圖像和O視差圖像的屬性。根據(jù)AVC模式的SEI的NAL單元是L圖像的SEI的NAL單元。根據(jù)MVC模式的SEI的NAL單元是L圖像或R圖像的SEI的NAL單元。3DV模式的SEI的NAL單元是L圖像、R圖像、O圖像、L視差圖像、R視差圖像或O視差圖像的SEI的NAL單兀。作為編碼數(shù)據(jù)的NAL單元，從頭開始按順序布置L圖像的編碼數(shù)據(jù)的NAL單元、定界符(MVC DD)的NAL單元、R圖像的編碼數(shù)據(jù)的NAL單元、定界符(3DV DD)的NAL單元、O圖像的編碼數(shù)據(jù)的NAL單元、定界符(3DV DD)的NAL單元、L視差圖像的編碼數(shù)據(jù)的NAL單元、定界符(3DV DD)的NAL單元、R視差圖像的編碼數(shù)據(jù)的NAL單元、定界符(3DV DD)的NAL單元、O視差圖像的編碼數(shù)據(jù)的NAL單元。在L圖像的編碼數(shù)據(jù)的NAL中，添加包括I或5作為NAL單元類型的NAL報(bào)頭。此夕卜，定界符(MVC DD)的NAL單元是表示MVC模式的編碼數(shù)據(jù)的頭部的NAL單元。在R圖像的編碼數(shù)據(jù)的NAL單元中，添加包括20作為NAL單元類型的NAL報(bào)頭。此外，定界符(3DVDD)的NAL單元是表示3DV模式的編碼數(shù)據(jù)的頭部的NAL單元。另外，在O圖像、L視差圖像、R視差圖像、O視差圖像的編碼數(shù)據(jù)的NAL單元中，添加包括21作為NAL單元類型的NAL報(bào)頭。[根據(jù)3DV模式的用于視差圖像的子集SPS的描述的示例]圖86是示出了在圖85中所示根據(jù)3DV模式用于視差圖像的子集SPS的描述示例的示意圖。如圖86所示，在3DV模式的用于視差圖像的子集SPS中，描述了包括表示L視差圖像、R視差圖像以及O視差圖像的屬性的profile_idc (在圖86中示出的示例中的138)的SPS (seq_parameter_set_data)以及根據(jù)3DV模式定義的關(guān)于每個(gè)profile_idc的信
肩、O更加具體地，在用于視差圖像的3DV的子集SPS中，描述了當(dāng)profile_idc為138時(shí)的信息、用于視差圖像的擴(kuò)展信息(seq_parameter_set_depth_extension)、用于視差圖像的表示是否包括用于視差圖像的VUI擴(kuò)展信息的VUI信息標(biāo)志(depth_vui_parameters_present_flag)等。此外，在用于視差圖像的VUI信息標(biāo)志表示包括用于視差圖像的VUI擴(kuò)展信息的情況下，還描述了用于視差圖像的VUI擴(kuò)展信息(depth_vui_parameters_extension)。此外，在解碼處理中參考用于視差圖像的3DV模式的子集SPS的情況下，換句話說，在L視差圖像、R視差圖像以及O視差圖像被解碼的情況下，與IDR圖像被解碼的情況相似，對(duì)參考圖像進(jìn)行重置。圖87是示出了描述用于在圖86中示出的視差圖像的擴(kuò)展信息的示例的示意圖。如圖87所示,與在MVC模式的子集SPS內(nèi)的擴(kuò)展信息(seq_parameter_set_mvc_extension)相似,根據(jù)描述的信息和對(duì)應(yīng)于每個(gè)視差圖像的圖像的視圖1D (ref_view_id)來形成用于視差圖像的擴(kuò)展信息。在圖87中，與在MVC模式的子集SPS內(nèi)的擴(kuò)展信息相似，所描述的信息被擴(kuò)展并被包括在用于視差圖像的擴(kuò)展信息中。因此，可以針對(duì)每個(gè)視差圖像來對(duì)每個(gè)視差視圖的視圖1D (view_id)和對(duì)應(yīng)于每個(gè)視差圖像的圖像的視圖1D —起進(jìn)行描述。換句話說，描述了表示視差圖像的數(shù)目的信息(num_viewS_minuSl)，可以進(jìn)行與所述數(shù)目相同多次的用于讀出視差圖像的視圖1D和對(duì)應(yīng)于視差圖像的圖像的視圖1D的描述。與此相對(duì)，類似于MVC模式的子集SPS內(nèi)的擴(kuò)展信息，在所描述的信息未被擴(kuò)展并且被包括在用于視差圖像的擴(kuò)展信息中的情況下，除了用于視差圖像的擴(kuò)展信息之外，還描述了表示視差圖像的數(shù)目的信息，需要對(duì)用于讀出對(duì)應(yīng)于視差圖像的圖像的視圖1D進(jìn)行與該數(shù)目相同多次的描述。結(jié)果是，表示視差圖像的數(shù)目的信息的描述與對(duì)用于讀出所述信息所進(jìn)行的與該數(shù)目相同多次的描述彼此交迭。因此，如圖87所示，與在MVC模式的子集SPS內(nèi)的擴(kuò)展信息相似，在所描述的信息被擴(kuò)展并且被包括在用于視差圖像的擴(kuò)展信息中的情況下，用于視差圖像的擴(kuò)展信息的數(shù)據(jù)量可以小于在該信息未被擴(kuò)展并且被包括在用于視差圖像的擴(kuò)展信息中的情況下的數(shù)據(jù)量。圖88是示出了在圖86中所示用于的視差圖像的VUI擴(kuò)展信息的描述示例的示意圖。如圖88所示，除以下點(diǎn)之夕卜，以與MVC模式的VUI擴(kuò)展信息(mvc_vui_parameters_extension)相同的方式來描述用于視差圖像的VUI擴(kuò)展信息。換句話說，在針對(duì)視差圖像的VUI信息中，對(duì)于視差圖像的每個(gè)像素，包括以下信息:用于表示是否包括位置類型(其表示對(duì)應(yīng)于視差圖像的圖像的位置的類型)的位置類型標(biāo)志(cbpth_l0c_inf0_present_flag)以及用于表示是否包括轉(zhuǎn)換前尺寸信息(其表示在分辨率轉(zhuǎn)換前的視差圖像的尺寸)的轉(zhuǎn)換前尺寸信息標(biāo)志(video_src_info_present_flag)。此外,在位置類型標(biāo)志表示包括位置類型的情況下，該位置類型還被包括在用于視差圖像的VUI信息中，在轉(zhuǎn)換前尺寸信息標(biāo)志表示包括轉(zhuǎn)換前尺寸信息的情況下，該轉(zhuǎn)換前尺寸信息還被包括在用于視差圖像的WI信息中。位置類型由頂場(chǎng)位置類型(depth_sampIe_loc_type_top_field)和底場(chǎng)位置類型(depth_sample_loc_type_bottom_field)來形成的。與包括在MVC模式的VUI擴(kuò)展信息中的頂場(chǎng)位置類型(chroma_sample_loc_type_top_field)和底場(chǎng)位置類型(chroma_sample_loc_type_bottom_field)相似地來描述頂場(chǎng)位置類型和底場(chǎng)位置類型。此外，通過如下信息來配置轉(zhuǎn)換前尺寸信息:表示沿水平方向的分辨率轉(zhuǎn)換前的視差圖像的宏塊的數(shù)目的信息(Pic_width_in_mbs_minusl )、表示沿豎直方向的宏塊的數(shù)目的信息(pic_height_in_mbs_minusl)、表示是否包括表示高寬比的高寬信息的高寬比標(biāo)志(aspect_ratio_info_present_flag)等。在包括表示高寬信息的高寬比標(biāo)志的情況下，高寬信息也包括在轉(zhuǎn)換前尺寸信息中。高寬比信息通過作為唯一對(duì)應(yīng)于高寬比的ID的高寬比ID (aspect_ratio_idc)等來形成。高寬比ID不僅被分配給預(yù)先定義的高寬比而且被分配給未定義的所有高寬比。在包括在高寬信息中的高寬比ID是給予未定義的所有高寬比的高寬比ID(ExtendecLSAR)的情況下，沿水平方向和豎直方向的分辨率轉(zhuǎn)換前的視差圖像的高寬比的值(sar_width和sar_height)也包括在高寬信息中。[3DV模式的編碼數(shù)據(jù)的NAL報(bào)頭的描述示例]圖89是示出了根據(jù)3DV模式的編碼數(shù)據(jù)的NAL單元的NAL報(bào)頭的描述示例的示意圖，在3DV模式下包括21作為NAL單元的類型。如圖89所示，在根據(jù)3DV模式的編碼數(shù)據(jù)的NAL報(bào)頭中，描述了表示是否包括視差圖像報(bào)頭擴(kuò)展信息的視差圖像報(bào)頭擴(kuò)展信息標(biāo)志(depth_extension_flag)等作為NAL單元的類型為21時(shí)的信息。在此，在3DV模式的視差圖像的編碼數(shù)據(jù)的NAL報(bào)頭中描述了視差圖像報(bào)頭擴(kuò)展信息，該視差圖像報(bào)頭擴(kuò)展信息標(biāo)志與上述視差標(biāo)志相似。
在視差圖像報(bào)頭擴(kuò)展信息標(biāo)志表示包括了視差圖像報(bào)頭擴(kuò)展信息的情況下，在3DV模式的編碼數(shù)據(jù)的NAL報(bào)頭中，還描述了視差圖像報(bào)頭擴(kuò)展信息(nal_unit_header_depth_extension)。另一方面，在視差圖像報(bào)頭擴(kuò)展信息標(biāo)志表示未包括視差圖像報(bào)頭擴(kuò)展信息的的情況下，在3DV模式的編碼數(shù)據(jù)的NAL報(bào)頭中，還描述了 MVC模式報(bào)頭擴(kuò)展信息(nal_unit_header_mvc_extension)0圖90是示出了在圖89中所示的視差圖像報(bào)頭擴(kuò)展信息的描述示例的示意圖。如圖90所示，除了包括對(duì)應(yīng)于視差圖像的圖像的視圖1D (ref_view_id)之外，視差圖像報(bào)頭擴(kuò)展信息被配置成與MVC模式報(bào)頭擴(kuò)展信息相同。[根據(jù)3DV模式的SEI的描述的示例]圖91是示出了根據(jù)在圖85中所示的3DV模式的SEI的描述示例的示意圖。如圖91所示，在根據(jù)3DV模式的SEI中，與根據(jù)MVC模式的SEI類似，描述了 SEI的消息。換句話說，在根據(jù)3DV模式的SEI中，描述了表示是否指定了操作點(diǎn)的操作點(diǎn)標(biāo)志(operation_point_flag),在操作點(diǎn)標(biāo)志表示未指定操作點(diǎn)的情況下，描述了表示SEI的消息是否適應(yīng)于訪問單元內(nèi)的所有圖像和視差圖像的所有分量標(biāo)志(all_view_components_in_au_flag)。另一方面,在所有分量標(biāo)志表示SEI的消息不適應(yīng)在訪問單元內(nèi)的所有圖像和視差圖像的情況下，描述了 SEI的消息所適應(yīng)的圖像和視差圖像的視圖1D的數(shù)目(num_view_components_minusl)和視圖1D (sei_view_id)。另一方面，在操作點(diǎn)標(biāo)志表示指定了操作點(diǎn)的情況下，除了 SEI的消息適應(yīng)的操作點(diǎn)，還描述了作為適應(yīng)目標(biāo)的圖像和視差圖像的視圖1D (sei_op_view_id)以及操作點(diǎn)的數(shù)目(sei_op_temporal_id)。然后,描述了 SEI的消息(sei_rbsp)。此外,在根據(jù)3DV模式的SEI中，可以描述多個(gè)SEI的消息。描述了上述視差信息等作為SEI的消息。在圖85所示的示例中，盡管假設(shè)R圖像和O圖像的屬性相同，但是R圖像和O圖像的屬性可以互不相同。[比特流的又一個(gè)配置示例]圖92是示出了在圖85中所示的R圖像和O圖像的屬性互不相同的情況下以訪問單元為單位的比特流的配置示例的圖。在圖92中所示的比特流的配置與在圖85中所示的比特流的配置的區(qū)別在于:除了根據(jù)MVC模式用于圖像的子集SPS和根據(jù)3DV模式用于視差圖像的子集SPS之外還設(shè)定了根據(jù)3DV模式用于圖像的子集SPS。根據(jù)MVC模式用于圖像的子集SPS的NAL單元(子集SPS1)是包括profile_idc(圖92所示的示例中的128)的子集SPS的NAL單元，該profile_idc表示在MVC模式下定義的屬性中R圖像的屬性。根據(jù)3DV模式用于圖像的子集SPS (子集SPS2)的NAL單元是包括profile_idc (圖92的示例中所示的148)的子集SPS的NAL單元,該profile_idc表示在3DV模式下定義的用于圖像的屬性的O圖像的屬性。用于視差圖像的子集SPS (子集SPS3)的NAL單元是包括profile_idc (圖92的示例中所示的138)的子集SPS的NAL單元，該profile_idc表示在3DV模式下定義的用于視差圖像的屬性中L視差圖像、R視差圖像以及O視差圖像的屬性。[根據(jù)3DV模式用于圖像的子集SPS的描述的示例]
圖93是示出了根據(jù)3DV模式用于圖92中所示的圖像的子集SPS的描述示例的示意圖。如圖93所示，在根據(jù)3DV模式用于圖像的子集SPS中，描述了包括profile_idc(圖93所示的示例中的148)的SPS (seq_parameter_set_data),其表示在3DV模式下定義的圖像O的屬性和關(guān)于每個(gè)profile_idc的信息。更加具體地，在根據(jù)3DV模式用于圖像的子集SPS中，與作為當(dāng)profile_idc為148時(shí)的信息的根據(jù)MVC模式的子集SPS相似，描述了根據(jù)MVC模式的擴(kuò)展信息(seq_parameter_set_mvc_extension)、拫據(jù)MVC模式的表示是否包括根據(jù)MVC模式的VUI擴(kuò)展信息的VUI信息標(biāo)志(mvc_vui_parameters_present_flag)等。此外，在根據(jù)MVC模式的VUI信息標(biāo)志表示包括根據(jù)MVC模式的VUI擴(kuò)展信息的情況下，還描述了根據(jù)MVC模式的VUI擴(kuò)展信息(mvc_vui_parameters_extension)。另外，描述了與在圖86中所示的信息相似的信息作為當(dāng)profilejdc為138時(shí)的信息。在第五實(shí)施例中,盡管假設(shè)3DV模式是用于對(duì)根據(jù)符合AVC模式或MVC模式的多視點(diǎn)模式的顯示圖像進(jìn)行編碼的模式，但是3DV模式可以是用于對(duì)根據(jù)符合HEVC (高效率視頻編碼)模式的多視點(diǎn)模式的顯示圖像進(jìn)行編碼的模式。以下將描述這種情況下的比特流。在本說明書中，假設(shè)HEVC模式是基于如下HEVC工作草案的:由Thomas Wiegand、Woo-jin Han>Benjamin Bross>Jens-Rainer Ohm>Gary J.Sullivian 在 2011 年 5 月 20 日編寫的 “WD3: Working Draft3of High-Efficiency Video Coding”，JCTVc_E603_d5 (第 5版)。<在3DV模式為符合HEVC模式的模式情況下的比特流>[比特流的配置示例]圖94是示出了在3DV模式為符合HEVC模式的模式的情況下以訪問單元為單位的比特流的配置示例的示意圖。在圖94所示的示例中，假設(shè)如在圖85所示的示例中的L視點(diǎn)圖像、R視點(diǎn)圖像以及O視點(diǎn)圖像是編碼目標(biāo)，根據(jù)AVC模式對(duì)L圖像進(jìn)行編碼，根據(jù)3DV模式對(duì)L視差圖像、R視點(diǎn)圖像以及O視點(diǎn)圖像進(jìn)行編碼。在圖94中所示的比特流與在圖85中所示的比特流的區(qū)別在于可以在SPS內(nèi)描述根據(jù)3DV模式用于圖像的子集SPS (子集SPS1)和根據(jù)3DV模式用于視差圖像的子集SPS(子集SPS2)，并且將包括互不相同類型的NAL單元的NAL報(bào)頭添加至根據(jù)HEVC模式的SEI和根據(jù)3DV模式的SEI的NAL單元中。在圖94所示的比特流中，根據(jù)3DV模式用于圖像的子集SPS和根據(jù)3DV模式用于視差圖像的子集SPS可以僅在SPS內(nèi)進(jìn)行描述，可以與SPS分開進(jìn)行描述，或可以在SPS中進(jìn)行描述以及與SPS分開進(jìn)行描述。在此，與SPS分開的根據(jù)3DV模式用于圖像的子集SPS和根據(jù)3DV模式用于視差圖像的子集SPS的描述符合BD標(biāo)準(zhǔn)并且適于如下情況:根據(jù)HEVC模式的編碼數(shù)據(jù)和根據(jù)3DV模式的編碼數(shù)據(jù)被生成為互不相同的ES (基本流)。在圖94所示的比特流中，由于包括在被添加至根據(jù)HEVC模式的SEI的NAL單元和根據(jù)3DV模式的SEI的NAL單元中的NAL報(bào)頭中的NAL單元類型互不相同，所以在解碼處理中可以容易地提取出根據(jù)HEVC模式的SEI的NAL單元或者根據(jù)3DV模式的SEI的NAL單元。
[SPS的描述的示例]圖95是示出了在圖94中所示的SPS的描述示例的示意圖。在圖95中所示的SPS的描述與根據(jù)HEVC模式的SPS的描述相同，在所示HEVC模式下描述了表示是否包括子集SPS的信息的子集SPS信息標(biāo)志(subset_seq_present_flag),以及在子集SPS信息標(biāo)志表示包括子集SPS信息的情況下描述了子集SPS的信息。如圖95所示，子集SPS的信息包括子集SPS的數(shù)目(num_subset_seq)和表示是否包括子集SPS的子集SPS標(biāo)志(subset_seq_info_present_flag)。此外，在子集SPS標(biāo)志表示包括子集SPS的情況下,子集SPS (subset_seq_parameter_set_data)也包括在子集SPS的信息中。如上，由于將子集SPS的數(shù)目作為子集SPS的信息來描述，可以僅通過在解碼處理中讀出SPS的描述就可以確定是否存在子集SPS。此外，由于描述了子集SPS標(biāo)志，所以可以與SPS分開來描述子集SPS而不需要在所述SPS內(nèi)進(jìn)行描述，從而可以防止子集SPS的重復(fù)描述。[子集SPS的描述的示例]圖96是示出了描述在圖95中所示的子集SPS的示例的示意圖。除了子集SPS適應(yīng)的圖像外，在圖96中所示的子集SPS的描述與根據(jù)HEVC模式的SPS的描述相同，描述了視差圖像的視圖1D的數(shù)目(num_subset_seq_views),表示子集SPS的適應(yīng)對(duì)象是否是視差圖像的視差圖像標(biāo)志(depth_extension_flag)以及當(dāng)適應(yīng)子集SPS時(shí)表示SPS是否無效的無效標(biāo)志(seq_param_override_flag)。在視差圖像標(biāo)志表示子集SPS的適應(yīng)目標(biāo)為視差圖像的情況下，在子集SPS中描述了對(duì)應(yīng)于是適應(yīng)目標(biāo)的視差圖像的圖像的視圖1D (ref_view_id)0此外，在無效標(biāo)志表示當(dāng)適應(yīng)子集SPS時(shí)SPS無效的情況下，與SPS相似，在子集SPS中描述了表示屬性的信息(subset seq profile idc)等。在子集SPS的描述中，作為與所述SPS的描述相似的描述，例如，存在如下信息:表示適應(yīng)圖像和視差圖像是否被裁剪的信息(subset_seq_frame_cropping_flag),表示是否包括 VUI 信息(subset_seq_vui_parameters )的 VUI 信息標(biāo)志(subset_seq_vui_parameters_present_flag)等。在VUI信息標(biāo)志表示包括VUI信息的情況下，與SPS相似，還描述了 VUI信息。另一方面，在VUI信息標(biāo)志表示不包括VUI信息的情況下，與SPS相似，未描述VUI信息。在這種情況下，SPS的VUI信息被適應(yīng)為所述VUI信息。[子集SPS的VUI信息的描述的示例]圖97是示出了在圖96所示的子集SPS的VUI信息的描述示例的示意圖。在圖97中所示的子集SPS的VUI信息的描述除了如下區(qū)別之外與根據(jù)HEVC模式的SPS的VUI信息的描述相同:描述了表示是否包括作為適應(yīng)目標(biāo)的轉(zhuǎn)換前尺寸信息的轉(zhuǎn)換前尺寸信息標(biāo)志(video_src_info_present_flag)。在轉(zhuǎn)換前尺寸信息標(biāo)志表示包括適應(yīng)目標(biāo)的轉(zhuǎn)換前尺寸信息的情況下，在圖97所示的VUI信息中描述了轉(zhuǎn)換前尺寸信息。換句話說，描述了表示沿水平方向的分辨率轉(zhuǎn)換前的適應(yīng)目標(biāo)的宏塊的數(shù)目的信息(src_pic_width_in_mbs_minusl),表示沿豎直方向宏塊的數(shù)目的信息(src_pic_height_in_mbs_minusl)以及表示是否包括表示高寬比的高寬信息的高寬比標(biāo)志(src_aspect_ratio_info_present_f lag)等。
在高寬比標(biāo)志表示包括高寬信息的情況下，在轉(zhuǎn)換前尺寸信息中還包括由高寬比ID (src_aspect_rati0_idc)等形成的高寬信息。在包括在高寬信息中的高寬比ID是給予未定義的所有高寬比的高寬比ID(ExtendecLSAR)的情況下，在所述高寬信息中還包括沿水平方向和豎直方向的分辨率轉(zhuǎn)換前的適應(yīng)目標(biāo)的高寬比的值(sar_width和sar_height)。此外，在圖97所示的子集SPS的VUI信息中，可以描述與SPS的VUI信息中的點(diǎn)不同的點(diǎn)。在這種情況下，針對(duì)在子集SPS的VUI信息中未描述的信息，可以應(yīng)用包括在所述SPS的VUI信息中的信息。[SEI的描述的示例]圖98是示出了在圖94中所示的根據(jù)3DV模式的SEI的描述示例的示意圖。在圖98中所示的根據(jù)3DV模式的SEI的描述除了如下區(qū)別之外與SEI消息類型的SEI消息的描述相同:描述了 SEI消息的類型(nesting_type)、所有分量標(biāo)志(all_view_components_in_au_flag)等。作為SEI消息的類型，有根據(jù)MVC模式的SEI消息、根據(jù)3DV模式的SEI消息以及由用戶定義的SEI消息等。在所有分量標(biāo)志表示未執(zhí)行對(duì)在訪問單元內(nèi)的所有圖像和視差圖像的適應(yīng)的情況下，在根據(jù)3DV模式的SEI中還描述了所述SEI消息適應(yīng)的圖像和視差圖像的視圖1D的數(shù)目(num_view_components_minusl)以及對(duì)應(yīng)于所述數(shù)目的視圖1D(nesting_sei_view_id)。在此，根據(jù)除了第五實(shí)施例之外的實(shí)施例的比特流(編碼流)還可以通過參照?qǐng)D85至圖98所示的比特流來相似地生成。<第十實(shí)施例>[應(yīng)用本技術(shù)的計(jì)算機(jī)的描述]接下來，通過硬件或軟件來執(zhí)行上述的一系列處理。在通過軟件執(zhí)行一系列處理的情況下，將配置該軟件的程序安裝至通用計(jì)算機(jī)等中。圖99示出了根據(jù)實(shí)施例的安裝了用于執(zhí)行上述一系列處理的程序的計(jì)算機(jī)的配
置示例。程序可以提前記錄在作為構(gòu)建在計(jì)算機(jī)上的記錄介質(zhì)的存儲(chǔ)單元608或ROM (只讀存儲(chǔ)器)602中，該存儲(chǔ)單元608?？商鎿Q地，程序可以被存儲(chǔ)(記錄)在可移動(dòng)介質(zhì)611上。這樣的可移動(dòng)介質(zhì)611可以被設(shè)置為所謂的封裝軟件。在此，可移動(dòng)介質(zhì)611的示例包括軟盤、光盤只讀存儲(chǔ)器(⑶-ROM)、磁光(MO)盤、數(shù)字通用光盤(DVD)、磁盤以及半導(dǎo)體存儲(chǔ)器。此外，代替上述通過驅(qū)動(dòng)610從可移動(dòng)介質(zhì)611向計(jì)算機(jī)安裝程序，程序可以通過通信網(wǎng)絡(luò)或廣播網(wǎng)絡(luò)被下載并安裝在構(gòu)建在計(jì)算機(jī)中的存儲(chǔ)單元608中。換句話說，程序可以例如從通過用于數(shù)字衛(wèi)星廣播的衛(wèi)星的下載地點(diǎn)以無線方式發(fā)送至計(jì)算機(jī)，或通過網(wǎng)絡(luò)(例如局域網(wǎng)(LAN)或因特網(wǎng))以有線方式發(fā)送至計(jì)算機(jī)。計(jì)算機(jī)中包括CPU (中央處理單元)601并且輸入/輸出接口 605通過數(shù)據(jù)總線604 連接至 CPU601。當(dāng)用戶通過操作輸入單元606經(jīng)由輸入/輸出接口 605輸入指令時(shí)，CPU601根據(jù)所述指令執(zhí)行存儲(chǔ)在R0M602中的程序?？商鎿Q地，CPU601將存儲(chǔ)在存儲(chǔ)單元608中的程序下載至RAM (隨機(jī)存取存儲(chǔ)器)603中并執(zhí)行所述程序。[1001]因此，CPU601執(zhí)行根據(jù)上述流程圖的處理或通過上述框圖的配置執(zhí)行的處理。然后，CPU601例如通過輸入/輸出接口 605從輸出單元607輸出處理結(jié)果，從通信單元609發(fā)送處理結(jié)果或當(dāng)需要時(shí)將處理結(jié)果記錄在存儲(chǔ)單元608中。在此，通過鍵盤、鼠標(biāo)、麥克風(fēng)等來配置輸入單元606。此外，通過IXD (液晶顯示器)、揚(yáng)聲器等來配置輸出單元607。在此，在本說明書中，由計(jì)算機(jī)根據(jù)程序執(zhí)行的處理不必然需要根據(jù)流程圖中描述的順序按時(shí)間序列來執(zhí)行。換句話說，由計(jì)算機(jī)根據(jù)程序執(zhí)行的處理包括以并行方式或獨(dú)立方式執(zhí)行的處理(例如，并行處理或使用目標(biāo)的處理)。此外，所述程序可以由一個(gè)計(jì)算機(jī)(處理器)來處理或由多個(gè)計(jì)算機(jī)以分布式的方式來處理。另外，所述程序可以被發(fā)送至遠(yuǎn)程計(jì)算機(jī)并被執(zhí)行。本技術(shù)可以應(yīng)用于當(dāng)通過網(wǎng)絡(luò)介質(zhì)(例如衛(wèi)星廣播、電纜TV (電視)、因特網(wǎng)或便攜式電話)接收數(shù)據(jù)或在存儲(chǔ)介質(zhì)(例如光盤、磁盤或閃存)上處理數(shù)據(jù)時(shí)使用的編碼裝置和解碼裝置。此外，上述編碼裝置和解碼裝置可以被應(yīng)用于任何電子設(shè)備。以下，將描述其示例?！吹赹^一實(shí)施例〉[電視設(shè)備的配置示例]圖100示出了根據(jù)本技術(shù)的電視設(shè)備的示意性配置。電視設(shè)備900包括天線901、調(diào)諧器902、解復(fù)用器903、解碼器904、視頻信號(hào)處理單元905、顯示單元906、音頻信號(hào)處理單元907、揚(yáng)聲器908以及外部接口單元909。此外，電視設(shè)備900包括控制單元910、用戶接口單元911等。 調(diào)諧器902根據(jù)通過天線901接收到的廣播信號(hào)中來選擇期望的信道，對(duì)對(duì)應(yīng)的廣播信號(hào)進(jìn)行調(diào)制并將獲取的解碼比特流輸出給解復(fù)用器903。解復(fù)用器903從解碼比特流提取作為查看目標(biāo)的程序的視頻和音頻包，并將所提取的包的數(shù)據(jù)輸出給解碼器904。此外，解復(fù)用器903向控制單元910提供數(shù)據(jù)包、例如EPG(電子節(jié)目菜單)。另外，在執(zhí)行擾頻的情況下，由解復(fù)用器取消擾頻。解碼器904執(zhí)行包的解碼處理，并將由解碼處理生成的視頻數(shù)據(jù)輸出給視頻信號(hào)處理單元905，將音頻數(shù)據(jù)輸出給音頻信號(hào)處理單元907。視頻信號(hào)處理單元905根據(jù)針對(duì)視頻數(shù)據(jù)的用戶設(shè)定來執(zhí)行去噪或視頻處理。視頻信號(hào)處理單元905生成要在顯示單元906上顯示的程序的視頻數(shù)據(jù)、通過基于經(jīng)由網(wǎng)絡(luò)提供的應(yīng)用的處理而獲取的圖像數(shù)據(jù)等。此外，視頻信號(hào)處理單元905生成用于顯示項(xiàng)目選擇的菜單屏幕等的視頻數(shù)據(jù)，并將所生成的視頻數(shù)據(jù)添加到程序的視頻數(shù)據(jù)上。視頻信號(hào)處理單元905基于如上生成的視頻數(shù)據(jù)生成驅(qū)動(dòng)信號(hào)并驅(qū)動(dòng)顯示單元906。顯示單元906基于從視頻信號(hào)處理單元905提供的驅(qū)動(dòng)信號(hào)來驅(qū)動(dòng)顯示設(shè)備(例如液晶顯示設(shè)備等)，從而顯示程序的視頻等。音頻信號(hào)處理單元907執(zhí)行預(yù)定的處理、例如針對(duì)音頻數(shù)據(jù)的去噪，執(zhí)行D/A轉(zhuǎn)換處理或針對(duì)處理后的音頻數(shù)據(jù)的放大處理，以及將由此得到的音頻數(shù)據(jù)提供給揚(yáng)聲器908，從而執(zhí)行音頻輸出處理。外部接口單元909是如下接口:其用于與外部設(shè)備或網(wǎng)絡(luò)連接并執(zhí)行視頻數(shù)據(jù)、音頻數(shù)據(jù)等的數(shù)據(jù)發(fā)送或數(shù)據(jù)接收。用戶接口單元911連接至控制單元910。用戶接口單元911通過操作開關(guān)、遙控信號(hào)接收單元等來配置并根據(jù)用戶操作將操作信號(hào)提供給控制單元910?？刂茊卧?10由CPU (中央處理單元)、存儲(chǔ)器等配置而成。存儲(chǔ)器存儲(chǔ)對(duì)由CPU執(zhí)行的程序或執(zhí)行處理的CPU而言必要的各種數(shù)據(jù)、EPG數(shù)據(jù)、通過網(wǎng)絡(luò)獲取的數(shù)據(jù)等。由CPU在預(yù)定定時(shí)例如啟動(dòng)電視設(shè)備900時(shí)讀出并執(zhí)行存儲(chǔ)在存儲(chǔ)器中的程序。CPU控制每個(gè)單元以使得電視設(shè)備900能夠通過執(zhí)行程序來根據(jù)用戶操作執(zhí)行操作。此外，在電視設(shè)備900中，設(shè)置總線912使得調(diào)諧器902、解復(fù)用器903、視頻信號(hào)處理單元905、音頻信號(hào)處理單元907、外部接口單元909等與控制單元910相互連接。在如上配置的電視設(shè)備中，在解復(fù)用器903和解碼器904中來設(shè)定根據(jù)所述應(yīng)用解碼裝置(解碼方法)的功能。因此，在具有與現(xiàn)有模式的兼容性的模式下被復(fù)用的多視點(diǎn)圖像可以被分離?！吹谑?shí)施例〉[蜂窩電話的配置示例]圖101示出了根據(jù)本技術(shù)的蜂窩電話的示意性配置。蜂窩電話920包括通信單元922、音頻編解碼器923、相機(jī)單元926、圖像處理單元927、解復(fù)用單元928、記錄/再現(xiàn)單元929、顯示單元930以及控制單元931。這些元件通過總線933互聯(lián)。此外，天線921連接至通信單元922，揚(yáng)聲器924和麥克風(fēng)925連接至音頻編解碼器923。另外，操作單元932連接至控制單元931。蜂窩電話920執(zhí)行各種操作，例如發(fā)送和接收音頻信號(hào)、發(fā)送和接收電子郵件或圖像數(shù)據(jù)，捕捉圖像以及以各種方式(例如語音電話模式和數(shù)據(jù)通信模式)來記錄數(shù)據(jù)。在語音電話模式下，由麥克風(fēng)925生成的音頻信號(hào)被轉(zhuǎn)換為音頻數(shù)據(jù)并被音頻編解碼器923進(jìn)行壓縮，并且由此生成的音頻數(shù)據(jù)被提供給通信單元922。通信單元922針對(duì)音頻數(shù)據(jù)執(zhí)行調(diào)制處理、變頻處理等，從而生成發(fā)送信號(hào)。此外，通信單元922將發(fā)送信號(hào)提供給天線921，從而將發(fā)送信號(hào)發(fā)送至基站(圖中未示出)。另外，通信單元922針對(duì)由天線921接收到的接收信號(hào)執(zhí)行放大處理、變頻處理、解調(diào)處理等并將所獲取的音頻數(shù)據(jù)提供給音頻編解碼器923。音頻編解碼器923對(duì)音頻數(shù)據(jù)執(zhí)行數(shù)據(jù)解壓縮，將音頻數(shù)據(jù)轉(zhuǎn)換為模擬音頻信號(hào)，以及將音頻信號(hào)輸出給揚(yáng)聲器924。在數(shù)據(jù)通信模式下，在執(zhí)行郵件發(fā)送的情況下，控制單元931接收由操作單元932的操作輸入的字符數(shù)據(jù)并在顯示單元930上顯示所輸入的字符。此外，控制單元931基于由操作單元932提供的用戶指令等來生成郵件數(shù)據(jù)并將所生成的郵件數(shù)據(jù)提供給通信單元922。通信單元922針對(duì)郵件數(shù)據(jù)執(zhí)行調(diào)制處理、變頻處理等并將所獲取的發(fā)送信號(hào)通過天線921進(jìn)行發(fā)送。此外，通信單元922針對(duì)由天線921接收到的接收信號(hào)執(zhí)行放大處理、變頻處理、解調(diào)制處理等，從而恢復(fù)所述郵件數(shù)據(jù)。郵件數(shù)據(jù)被提供給顯示單元930，從而顯示郵件的內(nèi)容。此外，蜂窩電話920可以通過使用記錄/再現(xiàn)單元929在存儲(chǔ)介質(zhì)上記錄所接收的郵件數(shù)據(jù)。存儲(chǔ)介質(zhì)為任意可重寫的存儲(chǔ)介質(zhì)。例如，存儲(chǔ)介質(zhì)為半導(dǎo)體存儲(chǔ)器(例如RAM或內(nèi)置式閃存)或可移動(dòng)介質(zhì)(例如硬盤、磁盤、磁光盤、光盤、USB存儲(chǔ)器)或存儲(chǔ)卡。在數(shù)據(jù)通信模式下發(fā)送圖像數(shù)據(jù)的情況下，由相機(jī)單元926生成的圖像數(shù)據(jù)被提供給圖像處理單元927。圖像處理單元927對(duì)所述圖像數(shù)據(jù)執(zhí)行編碼處理，從而生成編碼數(shù)據(jù)。解復(fù)用單元928在預(yù)定模式下對(duì)由圖像處理單元927生成的編碼數(shù)據(jù)和由音頻編解碼器923提供的音頻數(shù)據(jù)進(jìn)行復(fù)用并將復(fù)用數(shù)據(jù)提供給通信單元922。通信單元922對(duì)復(fù)用數(shù)據(jù)執(zhí)行調(diào)制處理、變頻處理等并將所獲取的發(fā)送信號(hào)從天線921發(fā)送。此外，通信單元922針對(duì)由天線921接收到的接收信號(hào)執(zhí)行放大處理、變頻處理、解調(diào)制處理等，從而恢復(fù)復(fù)用數(shù)據(jù)。將復(fù)用數(shù)據(jù)提供給解復(fù)用單元928。解復(fù)用單元928對(duì)復(fù)用數(shù)據(jù)進(jìn)行解復(fù)用，將編碼數(shù)據(jù)提供給圖像處理單元927以及將音頻數(shù)據(jù)提供給音頻編解碼器923。圖像處理單元927對(duì)編碼數(shù)據(jù)進(jìn)行解碼，從而生成圖像數(shù)據(jù)。該圖像數(shù)據(jù)被提供給顯示單元930，從而顯示所接收的圖像。音頻編解碼器923將音頻數(shù)據(jù)轉(zhuǎn)換為模擬音頻信號(hào)并將該模擬音頻信號(hào)提供給揚(yáng)聲器924，從而輸出所接收的音頻。在如上配置的蜂窩電話設(shè)備中，在圖像處理單元927和解復(fù)用單元928中設(shè)定根據(jù)所述應(yīng)用的解碼裝置(解碼方法)的功能。因此，在圖像數(shù)據(jù)的通信中，根據(jù)與現(xiàn)有模式具有兼容性的模式被復(fù)用的多視點(diǎn)圖像可以被分離。〈第十三實(shí)施例〉[記錄和再現(xiàn)裝置的配置示例]圖102示出了根據(jù)本技術(shù)的記錄和再現(xiàn)裝置的示意性配置。記錄和再現(xiàn)裝置940例如在記錄介質(zhì)上記錄接收到的廣播程序中的音頻數(shù)據(jù)和視頻數(shù)據(jù)并根據(jù)用戶指令的定時(shí)將所記錄的數(shù)據(jù)提供給用戶。此外，記錄和再現(xiàn)裝置940例如可以從另一裝置獲取音頻數(shù)據(jù)和視頻數(shù)據(jù)并在記錄介質(zhì)上記錄數(shù)據(jù)。另外，記錄和再現(xiàn)裝置940對(duì)記錄在記錄介質(zhì)上的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行解碼并輸出，從而可以在顯示器裝置等中執(zhí)行圖像顯示或音頻輸出。記錄和再現(xiàn)設(shè)備940包括調(diào)諧器941、外部接口單元942、編碼器943、HDD (硬盤驅(qū)動(dòng))單元944、盤驅(qū)動(dòng)器945、選擇器946、解碼器947、OSD (同屏顯示)單元948、控制單元949以及用戶接口單元950。調(diào)諧器941從通過天線(圖中未示出)接收到的廣播信號(hào)中來選擇期望的信道。調(diào)諧器941將通過調(diào)制期望的信道的接收信號(hào)而獲取的編碼比特流輸出給選擇器946。外部接口單元942被配置為IEEE1394接口、網(wǎng)絡(luò)接口單元、USB接口、閃存接口等中的至少之一。外部接口單元942是用于與外部裝置、網(wǎng)絡(luò)、存儲(chǔ)卡等連接的接口并執(zhí)行對(duì)要記錄的視頻數(shù)據(jù)、音頻數(shù)據(jù)等的數(shù)據(jù)接收。當(dāng)從外部接口單元942提供的視頻數(shù)據(jù)和音頻數(shù)據(jù)未被編碼時(shí)，編碼器943根據(jù)預(yù)定模式對(duì)數(shù)據(jù)進(jìn)行編碼，復(fù)用編碼比特流并將復(fù)用的編碼比特流輸出給選擇器946。HDD單元944記錄內(nèi)容數(shù)據(jù)(例如視頻數(shù)據(jù)和音頻數(shù)據(jù))、各種程序以及在內(nèi)置式硬盤上的其他數(shù)據(jù)并當(dāng)再現(xiàn)所述數(shù)據(jù)等時(shí)從硬盤讀出所述數(shù)據(jù)。盤驅(qū)動(dòng)器945針對(duì)安裝的光盤執(zhí)行信號(hào)記錄和信號(hào)再現(xiàn)。光盤的示例包括DVD盤(DVD 視頻、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW 等)、藍(lán)光光盤等。選擇器946在記錄視頻或音頻時(shí)選擇由調(diào)諧器941或編碼器943提供的編碼比特流之一并將該編碼比特流提供給HDD單元944和盤驅(qū)動(dòng)器945之一。此外，選擇器946在再現(xiàn)視頻或音頻時(shí)將由HDD單元944或盤驅(qū)動(dòng)器945輸出的編碼比特流提供給解碼器947。[1042]解碼器947對(duì)編碼比特流執(zhí)行解碼處理。解碼器947將由執(zhí)行解碼處理生成的視頻數(shù)據(jù)提供給OSD單元948。此外，解碼器947輸出由執(zhí)行解碼處理生成的音頻數(shù)據(jù)。OSD單元948生成用于顯示項(xiàng)目選擇等的菜單屏幕的視頻數(shù)據(jù)并在其被添加到在由解碼器947輸出的視頻數(shù)據(jù)上時(shí)輸出所生成的視頻數(shù)據(jù)。用戶接口單元950連接至控制單元949。用戶接口單元950由操作開關(guān)、遙控信號(hào)接收單元等來配置并將根據(jù)用戶操作的操作信號(hào)提供給控制單元949?？刂茊卧?49通過CPU、存儲(chǔ)器等來配置。存儲(chǔ)器存儲(chǔ)對(duì)由CPU執(zhí)行的程序或執(zhí)行處理的CPU而言必要的各種數(shù)據(jù)。由CPU在預(yù)定定時(shí)(例如啟動(dòng)記錄和再現(xiàn)設(shè)備940時(shí))讀出并執(zhí)行存儲(chǔ)在存儲(chǔ)器中的程序。CPU控制每個(gè)單元使得記錄和再現(xiàn)設(shè)備940通過執(zhí)行程序來根據(jù)用戶操作進(jìn)行操作。在如上配置的記錄和再現(xiàn)設(shè)備中，在編碼器943中根據(jù)所述應(yīng)用來設(shè)定編碼裝置(編碼方法)的功能。因此，可以根據(jù)具有與現(xiàn)有模式的兼容性的模式來復(fù)用多視點(diǎn)圖像?！吹谑膶?shí)施例〉[成像設(shè)備的配置示例]圖103示出了根據(jù)本技術(shù)的成像設(shè)備的示意性配置。成像設(shè)備960對(duì)對(duì)象進(jìn)行成像，在顯示單元上顯示對(duì)象的圖像或?qū)⑺鰣D像作為圖像數(shù)據(jù)記錄在記錄介質(zhì)上。成像設(shè)備960包括光學(xué)塊961、成像單元962、相機(jī)信號(hào)處理單元963、圖像數(shù)據(jù)處理單元964、顯示單元965、外部接口單元966、存儲(chǔ)器單元967、介質(zhì)驅(qū)動(dòng)器968、OSD單元969以及控制單元970。此外，用戶接口單元971連接至控制單元970。另外，圖像數(shù)據(jù)處理單元964、外部接口單元966、存儲(chǔ)器單元967、介質(zhì)驅(qū)動(dòng)器968、0SD單元969、控制單元970等通過數(shù)據(jù)總線972進(jìn)行連接。光學(xué)塊961通過使用聚焦透鏡、快門機(jī)構(gòu)等來配置。光學(xué)塊961在成像單元962的成像面上形成對(duì)象的光學(xué)圖像。成像單元962通過使用CXD或CMOS圖像傳感器來配置，根據(jù)光學(xué)圖像通過光電轉(zhuǎn)換生成電信號(hào)，并將該電信號(hào)提供給相機(jī)信號(hào)處理單元963。相機(jī)信號(hào)處理單元963執(zhí)行各種相機(jī)信號(hào)處理，例如針對(duì)由成像單元962提供的電信號(hào)的拐點(diǎn)校正(knee correction)、伽馬校正以及顏色校正。相機(jī)信號(hào)處理單元963將相機(jī)信號(hào)處理后的圖像數(shù)據(jù)提供給圖像數(shù)據(jù)處理單元964。圖像數(shù)據(jù)處理單元964針對(duì)從相機(jī)信號(hào)處理單元963提供的圖像數(shù)據(jù)進(jìn)行編碼處理和復(fù)用處理。圖像數(shù)據(jù)處理單元964將通過執(zhí)行編碼處理和復(fù)用處理而生成的編碼數(shù)據(jù)提供給外部接口單元966或介質(zhì)驅(qū)動(dòng)器968。此外，圖像數(shù)據(jù)處理單元964針對(duì)從外部接口單元966或介質(zhì)驅(qū)動(dòng)器968提供的編碼數(shù)據(jù)執(zhí)行分離處理和解碼處理。圖像數(shù)據(jù)處理單元964將通過執(zhí)行分離處理和解碼處理而生成的圖像數(shù)據(jù)提供給顯示單元965。此外，圖像數(shù)據(jù)處理單元964將通過由相機(jī)信號(hào)處理單元963提供的圖像數(shù)據(jù)提供給顯示單元965的處理而獲取的顯示數(shù)據(jù)或從OSD單元969獲取的顯示數(shù)據(jù)提供給顯示單元965同時(shí)將其疊加到圖像數(shù)據(jù)上。OSD單元969生成由符號(hào)、字符或圖來形成的菜單屏幕、圖標(biāo)等的顯示數(shù)據(jù)并將顯示數(shù)據(jù)輸出到圖像數(shù)據(jù)處理單元964。外部接口單元966例如通過USB輸入/輸出端等來配置并在打印圖像的情況下連接至打印機(jī)。此外，必要時(shí)將驅(qū)動(dòng)器連接至外部接口單元966，在其中適當(dāng)安裝可移動(dòng)介質(zhì)(例如磁盤或光盤)以及必要時(shí)安裝從可移動(dòng)介質(zhì)上讀取的計(jì)算機(jī)程序。此外，外部接口單元966包括連接至預(yù)定網(wǎng)絡(luò)(例如LAN或因特網(wǎng))的網(wǎng)絡(luò)接口?？刂茊卧?70例如可以根據(jù)從用戶接口單元971提供的指令來從存儲(chǔ)器單元967讀取編碼數(shù)據(jù)并將來自外部接口單元966的編碼數(shù)據(jù)提供給通過網(wǎng)絡(luò)連接的另外的設(shè)備。此外，控制單元970可以通過外部接口單元966獲取由另外的設(shè)備通過網(wǎng)絡(luò)提供的編碼數(shù)據(jù)或圖像數(shù)據(jù)并將數(shù)據(jù)提供給圖像數(shù)據(jù)處理單元964。，例如使用任意可讀并可寫的可移動(dòng)介質(zhì)(例如磁盤、磁光盤、光盤)或半導(dǎo)體存儲(chǔ)器作為通過介質(zhì)驅(qū)動(dòng)器968來驅(qū)動(dòng)的記錄介質(zhì)。此外，作為可移動(dòng)介質(zhì)的記錄介質(zhì)的類型是任意的并且可以為磁帶設(shè)備、磁盤設(shè)備或存儲(chǔ)卡。另外，記錄介質(zhì)可以為非接觸式IC卡
坐寸ο此外，介質(zhì)驅(qū)動(dòng)器968和記錄介質(zhì)可以被集成在一起并通過非便攜式記錄介質(zhì)來配置(例如內(nèi)置式硬盤或SSD (固態(tài)硬盤)。控制單元970通過CPU、存儲(chǔ)器等來配置。存儲(chǔ)器存儲(chǔ)對(duì)由CPU執(zhí)行的程序或執(zhí)行處理的CPU而言必要的各種數(shù)據(jù)。由CPU在預(yù)定定時(shí)(例如啟動(dòng)圖像設(shè)備960時(shí))讀出并執(zhí)行存儲(chǔ)在存儲(chǔ)器中的程序。CPU控制每個(gè)單元使得成像設(shè)備960通過執(zhí)行程序來執(zhí)行根據(jù)用戶操作的操作。在如上配置的成像設(shè)備中，在圖像數(shù)據(jù)處理單元964中根據(jù)所述應(yīng)用來設(shè)定解碼裝置(解碼方法)的功能。因此，當(dāng)通過對(duì)記錄在存儲(chǔ)器單元967、記錄介質(zhì)等中的編碼數(shù)據(jù)進(jìn)行解碼來生成解碼圖像數(shù)據(jù)時(shí)，根據(jù)具有與現(xiàn)有模式兼容性的模式被復(fù)用的多視點(diǎn)圖像可以被分離。此外，本技術(shù)的實(shí)施例并不限制于上述實(shí)施例，在不脫離本技術(shù)的構(gòu)思的范圍內(nèi)可以進(jìn)行各種變化。附圖標(biāo)記列表列表50編碼裝置59復(fù)用單元61兼容編碼器62輔助編碼器120解碼裝置121分離單元127圖像生成單元131兼容解碼器132輔助解碼器140編碼裝置151兼容編碼器152輔助編碼器170解碼裝置171圖像生成單元180編碼裝置191兼容編碼器[1078]200解碼裝置202圖像生成單元211兼容解碼器
權(quán)利要求
1.一種編碼裝置，包括: 兼容圖像編碼單元，用于通過從多視點(diǎn)圖像中指定兼容圖像并以訪問單元為單位對(duì)所指定的所述兼容圖像進(jìn)行編碼來生成第一編碼流； 輔助圖像編碼單元，用于通過以訪問單元為單位對(duì)當(dāng)根據(jù)所述兼容圖像生成多視點(diǎn)圖像時(shí)使用的輔助圖像進(jìn)行編碼來生成第二編碼流； 設(shè)定單元，用于對(duì)表示單元的邊界的邊界信息進(jìn)行設(shè)定；以及 發(fā)送單元，用于發(fā)送由所述兼容圖像編碼單元生成的所述第一編碼流、由所述設(shè)定單元設(shè)定的所述邊界信息以及由所述輔助圖像編碼單元編碼的所述第二編碼流。
2.根據(jù)權(quán)利要求1所述的編碼裝置，其中，所述發(fā)送單元將由所述設(shè)定單元設(shè)定的所述邊界信息添加至所述第二編碼流。
3.根據(jù)權(quán)利要求2所述的編碼裝置，其中，所述發(fā)送單元將由所述設(shè)定單元設(shè)定的所述邊界信息添加至所述第二編碼流的訪問單元的頭部。
4.根據(jù)權(quán)利要求3所述的編碼裝置，其中，在所述兼容圖像為雙視點(diǎn)圖像的情況下，所述第一編碼流由經(jīng)編碼的所述兼容圖像中的一個(gè)視點(diǎn)的圖像形成，所述第二編碼流由另一個(gè)視點(diǎn)的圖像和經(jīng)編碼的所述輔助圖像形成。
5.根據(jù)權(quán)利要求1所述的編碼裝置，還包括輔助信息編碼單元，用于通過對(duì)當(dāng)根據(jù)所述兼容圖像和所述輔助圖像 生成多視點(diǎn)圖像時(shí)使用的輔助信息進(jìn)行編碼來生成第三編碼流，其中: 所述設(shè)定單元設(shè)定所述輔助信息；以及 所述發(fā)送單元發(fā)送由所述輔助信息編碼單元生成的所述第三編碼流。
6.根據(jù)權(quán)利要求5所述的編碼裝置，其中，所述發(fā)送單元將由所述設(shè)定單元設(shè)定的所述邊界信息添加至所述第三編碼流。
7.根據(jù)權(quán)利要求6所述的編碼裝置，其中，所述發(fā)送單元將由所述設(shè)定單元設(shè)定的所述邊界信息添加至所述第三編碼流的訪問單元的頭部。
8.根據(jù)權(quán)利要求1所述的編碼裝置，還包括視差編碼單元，用于通過對(duì)表示所述兼容圖像的視差的兼容視差圖像進(jìn)行編碼來生成第一視差編碼流，并且通過對(duì)表示所述輔助圖像的視差的輔助視差圖像進(jìn)行編碼來生成第二視差編碼流，其中: 所述發(fā)送單元發(fā)送由所述視差編碼單元生成的所述第一視差編碼流和所述第二視差編碼流。
9.根據(jù)權(quán)利要求8所述的編碼裝置，其中，所述發(fā)送單元將所述第二編碼流、所述第一視差編碼流以及所述第二視差編碼流分別設(shè)定為所述單元并將所述邊界信息添加至所設(shè)定的所述單元。
10.根據(jù)權(quán)利要求8所述的編碼裝置，其中，所述發(fā)送單元將所述第二編碼流、所述第一視差編碼流以及所述第二視差編碼流一起設(shè)定為所述單元并將所述邊界信息添加至所設(shè)定的所述單元。
11.根據(jù)權(quán)利要求8所述的編碼裝置，其中，所述發(fā)送單元將所述第二編碼流設(shè)定為所述單元以及將第一和第二視差編碼流設(shè)定為所述單元，并將所述邊界信息添加至所設(shè)定的所述單元。
12.根據(jù)權(quán)利要求8所述的編碼裝置，其中:所述設(shè)定單元設(shè)定表示視差圖像的視差識(shí)別信息；以及 所述發(fā)送單元將由所述設(shè)定單元設(shè)定的所述邊界信息和所述視差識(shí)別信息添加至所述第一視差編碼流和所述第二視差編碼流。
13.根據(jù)權(quán)利要求12所述的編碼裝置，其中: 所述設(shè)定單元對(duì)用于識(shí)別所述兼容圖像的兼容圖像識(shí)別信息和用于識(shí)別所述輔助圖像的輔助圖像識(shí)別信息進(jìn)行設(shè)定；以及 所述發(fā)送單元將所述兼容圖像識(shí)別信息添加至所述第一視差編碼流并且將所述輔助圖像識(shí)別信息添加至所述第二視差編碼流。
14.根據(jù)權(quán)利要求12所述的編碼裝置，其中: 所述設(shè)定單元對(duì)表示所述視差圖像的每個(gè)像素的視差值被歸一化的歸一化識(shí)別信息進(jìn)行設(shè)定；以及 所述發(fā)送單元對(duì)通過所述設(shè)定單元設(shè)定的所述歸一化識(shí)別信息進(jìn)行發(fā)送。
15.一種通過編碼裝置執(zhí)行的編碼方法，所述方法包括: 兼容圖像編碼步驟，通過從多視點(diǎn)圖像中指定兼容圖像并以訪問單元為單位對(duì)所指定的所述兼容圖像進(jìn)行編碼來生成第一編碼流； 輔助圖像編碼步驟，通過 以訪問單元為單位對(duì)當(dāng)根據(jù)所述兼容圖像生成多視點(diǎn)圖像時(shí)使用的輔助圖像進(jìn)行編碼來生成第二編碼流； 設(shè)定步驟，對(duì)表示單元的邊界的邊界信息進(jìn)行設(shè)定；以及 發(fā)送步驟，對(duì)通過所述兼容圖像編碼步驟的處理而生成的所述第一編碼流、通過所述設(shè)定步驟的處理而設(shè)定的所述邊界信息以及通過所述輔助圖像編碼步驟的處理而編碼的所述第二編碼流進(jìn)行發(fā)送。
16.一種解碼裝置，包括: 分離單元，用于接收由于以訪問單元為單位對(duì)從多視點(diǎn)圖像中指定的兼容圖像進(jìn)行編碼而獲取的第一編碼流、表示單元的邊界的邊界信息、以及由于以訪問單元為單位對(duì)當(dāng)根據(jù)所述兼容圖像生成多視點(diǎn)圖像時(shí)使用的輔助圖像進(jìn)行編碼而獲取的第二編碼流，并且基于所述邊界信息分離所述第一編碼流和所述第二編碼流； 兼容圖像解碼單元，用于對(duì)通過所述分離單元分離的所述第一編碼流進(jìn)行解碼；以及 輔助圖像解碼單元，用于對(duì)通過所述分離單元分離的所述第二編碼流進(jìn)行解碼。
17.根據(jù)權(quán)利要求16所述的解碼裝置，其中，所述分離單元接收被添加至所述第二編碼流的所述邊界信息。
18.根據(jù)權(quán)利要求17所述的解碼裝置，其中，所述分離單元接收被添加至所述第二編碼流的訪問單元的頭部的所述邊界信息。
19.根據(jù)權(quán)利要求18所述的解碼裝置，其中，在所述兼容圖像是雙視點(diǎn)圖像的情況下，所述第一編碼流由經(jīng)編碼的所述兼容圖像中的一個(gè)視點(diǎn)的圖像形成，并且所述第二編碼流由另一個(gè)視點(diǎn)的圖像和經(jīng)編碼的所述輔助圖像形成。
20.根據(jù)權(quán)利要求16所述的解碼裝置，其中，所述分離單元接收由于對(duì)當(dāng)根據(jù)所述兼容圖像和所述輔助圖像生成所述多視點(diǎn)圖像時(shí)使用的輔助信息進(jìn)行編碼而獲取的第三編碼流，并且基于所述邊界信息分離所述第一編碼流、所述第二編碼流和所述第三編碼流。
21.根據(jù)權(quán)利要求20所述的解碼裝置，其中，所述分離單元接收被添加至所述第三編碼流的所述邊界信息。
22.根據(jù)權(quán)利要求21所述的解碼裝置，其中，所述分離單元接收被添加至所述第三編碼流的訪問單元的頭部的所述邊界信息。
23.根據(jù)權(quán)利要求16所述的解碼裝置，其中，所述分離單元接收由于對(duì)表示所述兼容圖像的視差的兼容視差圖像進(jìn)行編碼而獲取的第一視差編碼流以及由于對(duì)表示所述輔助圖像的視差的輔助視差圖像進(jìn)行編碼而獲取的第二視差編碼流。
24.根據(jù)權(quán)利要求23所述的解碼裝置，其中，所述第二編碼流、所述第一視差編碼流以及所述第二視差編碼流被分別設(shè)定為所述單元，所述分離單元接收被添加至所設(shè)定的所述單元的所述邊界信息，并且基于所述邊界信息分離所述第一編碼流、所述第二編碼流、所述第一視差編碼流和所述第二視差編碼流。
25.根據(jù)權(quán)利要求23所述的解碼裝置，其中，所述第二編碼流、所述第一視差編碼流以及所述第二視差編碼流被一起設(shè)定為所述單元，所述分離單元接收被添加至所設(shè)定的所述單元的邊界信息，并且基于所述邊界信息分離所述第一編碼流、所述第二編碼流、所述第一視差編碼流和所述第二視差編碼流。
26.根據(jù)權(quán)利要求23所述的解碼裝置，其中，所述第二編碼流、以及第一和第二視差編碼流被分別設(shè)定為單元，所述分離單元接收被添加至所設(shè)定的單元的所述邊界信息，并且基于所述邊界信息分離所述第一編碼流、所述第二編碼流、所述第一視差編碼流和所述第二視差編碼流。
27.根據(jù)權(quán)利要求23所述的解碼裝置，其中，所述分離單元接收添加了表示視差圖像的視差識(shí)別信息的所述第一視差編碼流和所述第二視差編碼流。
28.根據(jù)權(quán)利要求27所述的解碼裝置，其中，所述分離單元接收添加了用于識(shí)別所述兼容圖像的兼容圖 像識(shí)別信息的所述第一視差編碼流以及添加了用于識(shí)別所述輔助圖像的輔助圖像識(shí)別信息的所述第二視差編碼流。
29.根據(jù)權(quán)利要求27所述的解碼裝置，其中，所述分離單元接收表示所述視差圖像的每個(gè)像素的視差值被歸一化的歸一化識(shí)別信息。
30.一種解碼裝置，包括: 分離步驟，接收由于以訪問單元為單位對(duì)從多視點(diǎn)圖像中指定的兼容圖像進(jìn)行編碼而獲取的第一編碼流、表示單元的邊界的邊界信息、以及由于以訪問單元為單位對(duì)當(dāng)根據(jù)所述兼容圖像生成多視點(diǎn)圖像時(shí)使用的輔助圖像進(jìn)行編碼而獲取的第二編碼流，并且基于所述邊界信息分離所述第一編碼流和所述第二編碼流； 兼容圖像解碼步驟，對(duì)在所述分離步驟的處理中分離的所述第一編碼流進(jìn)行解碼；以及 輔助圖像解碼步驟，對(duì)在所述分離步驟的處理中分離的所述第二編碼流進(jìn)行解碼。
全文摘要
本發(fā)明涉及一種能夠根據(jù)與現(xiàn)有模式兼容的模式對(duì)多視點(diǎn)圖像進(jìn)行編碼和解碼的編碼裝置和編碼方法以及解碼裝置和解碼方法。兼容編碼器通過以訪問單元為單位對(duì)作為兼容圖像的圖像(A1)進(jìn)行編碼來生成兼容流。輔助編碼器通過以訪問單元為單位對(duì)作為根據(jù)兼容圖像生成多視點(diǎn)圖像時(shí)使用的輔助圖像的圖像(B1，C1)的復(fù)用圖像進(jìn)行編碼來生成輔助圖像的復(fù)用圖像的編碼流。復(fù)用單元對(duì)兼容流、表示單元的邊界的3DV表示定界符以及輔助圖像的復(fù)用圖像的編碼流進(jìn)行發(fā)送。本技術(shù)可以應(yīng)用于例如對(duì)多視點(diǎn)模式的3D圖像進(jìn)行編碼的編碼裝置。
文檔編號(hào)H04N7/32GK103098465SQ20118004090
公開日2013年5月8日 申請(qǐng)日期2011年8月31日 優(yōu)先權(quán)日2010年9月3日
發(fā)明者服部忍, 高橋良知 申請(qǐng)人:索尼公司