專利名稱：圖像數(shù)據(jù)發(fā)送設(shè)備、圖像數(shù)據(jù)發(fā)送方法、圖像數(shù)據(jù)接收設(shè)備以及圖像數(shù)據(jù)接收方法
送要被添加到疊加信息的視差信息?；陲@示疊加信息的第一幀的視差信息初始值和間隔時(shí)段已經(jīng)被乘以倍數(shù)值的預(yù)定定時(shí)處的視差信息值來來更新視差信息。所以，可以根據(jù)立體圖像中的改變動(dòng)態(tài)地改變要在左眼疊加信息和右眼疊加信息之間添加的視差。并且，不是發(fā)送所有每一幀的視差信息，所以可以大大地節(jié)省用于保存視差信息的存儲(chǔ)器的量。注意，對于本發(fā)明，例如，圖像數(shù)據(jù)處理單元可以使得視差信息經(jīng)歷插值處理(interpolation processing),且產(chǎn)生并使用任意巾貞間隔的視差信息。在這種情況下，即使假設(shè)在每一預(yù)定定時(shí)從發(fā)送側(cè)發(fā)送視差信息，也可以用合適的間隔(例如，每一幀)控制向疊加信息提供的視差。在這種情況下，插值處理可以是線性插值，或者可以涉及時(shí)間方向(幀方向)上的低帶濾波處理。所以，即使假設(shè)在每一預(yù)定定時(shí)從發(fā)送側(cè)發(fā)送視差信息，也可以平滑在時(shí)間方向上在插值處理之后的視差信息的變化，并且可以抑制應(yīng)用到疊加信息的視差的轉(zhuǎn)變在每一預(yù)定定時(shí)變得不連續(xù)的不自然的感覺。并且，對于本發(fā)明，可以在視差信息中添加例如增量時(shí)段的信息和增量時(shí)段的數(shù)目的信息，所述增量時(shí)段的信息用來計(jì)算間隔時(shí)段已經(jīng)被乘以倍數(shù)值的預(yù)定定時(shí)，圖像數(shù)據(jù)處理單元用所述疊加信息的顯示起始時(shí)間點(diǎn)作為基準(zhǔn)，基于所述增量時(shí)段的信息和所述數(shù)目的信息，獲得預(yù)定定時(shí)。在這種情況下，圖像數(shù)據(jù)處理單元可以順序地獲得從疊加信息的顯示起始時(shí)間點(diǎn)開始的預(yù)定定時(shí)。例如，從某一預(yù)定定時(shí)開始，通過使用作為下一預(yù)定定時(shí)的信息的增量時(shí)段信息和數(shù)目信息，將增量時(shí)段*數(shù)目的時(shí)間添加到該某一預(yù)定定時(shí)的時(shí)間，可以容易地獲得下一預(yù)定定時(shí)。注意提供疊加信息的顯示起始時(shí)間點(diǎn)，作為插入到包含視差信息的PES流的首部部分的PTS。有益效果根據(jù)本發(fā)明，在發(fā)送側(cè)，不發(fā)送所有每一幀的視差信息，所以可以減少發(fā)送數(shù)據(jù)量，且在接收側(cè)，可以大大的節(jié)省用于保存視差信息的存儲(chǔ)器的量。


圖I是示出作為本發(fā)明實(shí)施例的圖像發(fā)送/接收系統(tǒng)的配置示例的框圖。圖2是示出在廣播站的發(fā)送數(shù)據(jù)生成單元的配置示例的框圖。圖3是示出1920*1080像素格式的圖像數(shù)據(jù)的圖。圖4是用于描述“頂?shù)住备袷?、“并排”格式和“幀順序”格式的圖，所述“頂?shù)住备袷?、“并排”格式和“幀順序”格式是立體圖像數(shù)據(jù)(3D圖像數(shù)據(jù))的發(fā)送格式。圖5是用于描述檢測右眼圖像中關(guān)于左眼圖像的視差矢量的示例的圖。圖6是用于描述通過塊匹配獲得視差矢量的圖。圖7是示出在使用用于每一像素(pixel)的視差矢量的值作為每一像素(eachpixel)的亮度值的情況下的圖像的示例的圖。圖8是示出用于每一塊(Block)的視差矢量的示例的圖。圖9是用于描述在發(fā)送數(shù)據(jù)生成單元的視差信息產(chǎn)生單元執(zhí)行的縮小化處理的圖。 圖10是示出包括視頻基本流、字幕基本流和音頻基本流的傳輸流(位流數(shù)據(jù))的構(gòu)造示例的圖。圖11是示出配置字幕數(shù)據(jù)的PCS (page_composition_segment)的結(jié)構(gòu)的圖。圖12是示出“segment_type”值和片斷類型間的相關(guān)性的圖。圖13是用于描述指示用于3D (Component_type=0xl5, 0x25)的新定義的字幕的格式的信息的圖。圖14是概念性地示出在立體圖像數(shù)據(jù)發(fā)送格式是并排格式的情況下產(chǎn)生用于立體圖像的字幕數(shù)據(jù)的方法的圖。圖15是概念性地示出在立體圖像數(shù)據(jù)發(fā)送格式是頂?shù)赘袷降那闆r下產(chǎn)生用于立體圖像的字幕數(shù)據(jù)的方法的圖。圖16是概念性的示出在立體圖像數(shù)據(jù)發(fā)送格式是幀順序格式的情況下產(chǎn)生用于 立體圖像的字幕數(shù)據(jù)的方法的圖。圖17是示出SCS (子區(qū)域組分片斷)的結(jié)構(gòu)示例(語法)的圖。圖18是示出SCS中包含的“Subregion_payload() ”的結(jié)構(gòu)示例(語法)的圖。圖19是示出SCS的主要數(shù)據(jù)規(guī)定(語義)的圖。圖20是示出更新用于每一基本片斷時(shí)段(BSP)的視差信息的示例的圖。圖21 是不出 “disparity_temporal_extension O ” 的結(jié)構(gòu)不例(語法)的圖。圖22是示出“disparity_temporal_extensionO ”的結(jié)構(gòu)示例中主要的數(shù)據(jù)規(guī)定(語義)的圖。圖23是示出更新用于每一基本片斷時(shí)段(BSP)的視差信息的示例的圖。圖24是示意性地示出從廣播站經(jīng)由機(jī)頂盒到電視接收器，或直接從廣播站到電視接收器的立體圖像數(shù)據(jù)和字幕數(shù)據(jù)(包含顯示控制信息)的流的圖。圖25是示意性地示出從廣播站經(jīng)由機(jī)頂盒到電視接收器，或直接從廣播站到電視接收器的立體圖像數(shù)據(jù)和字幕數(shù)據(jù)(包含顯示控制信息)的流的圖。圖26是示意性地示出從廣播站經(jīng)由機(jī)頂盒到電視接收器，或直接從廣播站到電視接收器的立體圖像數(shù)據(jù)和字幕數(shù)據(jù)(包含顯示控制信息)的流的圖。圖27是示出圖像上的屏幕說明(圖形信息)的顯示示例，及背景、特寫(closeup)觀看對象和屏幕說明的透視的圖。圖28是示出屏幕上的屏幕說明的顯示示例，及用于顯示屏幕說明的左眼屏幕說明LGI和右眼屏幕說明RGI的顯示示例的圖。圖29是示出形成立體圖像顯示系統(tǒng)的機(jī)頂盒的配置示例的框圖。圖30是示出形成機(jī)頂盒的位流處理單元的配置示例的框圖。圖31是示出通過執(zhí)行涉及在形成在屏幕說明顯示時(shí)段內(nèi)順序更新的視差信息的視差信息的多幀上的低通濾波處理的插值處理而生成任意幀之間的視差信息(插值的視差信息)的示例的圖。圖32是示出形成立體圖像顯示系統(tǒng)的電視接收器的配置示例的框圖。圖33是示出在廣播站的發(fā)送數(shù)據(jù)生成單元的配置示例的框圖。圖34是示出屏幕說明數(shù)據(jù)流的配置示例和屏幕說明單元(caption)的顯示示例的圖。圖35是示出在屏幕說明編碼器生成的屏幕說明數(shù)據(jù)流的配置示例和此情況下視差矢量的產(chǎn)生示例的圖。圖36是示出在屏幕說明編碼器生成的屏幕說明數(shù)據(jù)流的另一配置示例和此情況下視差矢量的產(chǎn)生示例的圖。圖37是示出在屏幕說明編碼器生成的屏幕說明數(shù)據(jù)流的配置示例和此情況下視差矢量的產(chǎn)生示例的圖。圖38是示出在屏幕說明編碼器生成的屏幕說明數(shù)據(jù)流的另一配置示例和此情況下視差矢量的產(chǎn)生示例的圖。圖39是用于描述移動(dòng)疊加在第一和第二視圖上的每一屏幕說明單元的位置的情況的圖。圖40是示出在屏幕說明文本數(shù)據(jù)組的PES流中包含的控制碼的包結(jié)構(gòu)的圖。 圖41是示出在屏幕說明管理數(shù)據(jù)組的PES流中包含的屏幕說明碼的包結(jié)構(gòu)的圖。圖42是示出屏幕說明數(shù)據(jù)流(PES流)中的數(shù)據(jù)組的結(jié)構(gòu)的圖。圖43是示意性地示出將視差矢量(視差信息)插進(jìn)屏幕說明管理數(shù)據(jù)組的PES流中的情況下屏幕說明管理數(shù)據(jù)的結(jié)構(gòu)的圖。圖44是示意性地示出將視差矢量(視差信息)插進(jìn)屏幕說明管理數(shù)據(jù)組的PES流中的情況下屏幕說明數(shù)據(jù)的結(jié)構(gòu)的圖。圖45是示意性地示出將視差矢量(視差信息)插進(jìn)屏幕說明文本數(shù)據(jù)組的PES流中的情況下屏幕說明數(shù)據(jù)的結(jié)構(gòu)的圖。圖46是示意性地示出將視差矢量(視差信息)插進(jìn)屏幕說明文本數(shù)據(jù)組的PES流中的情況下屏幕說明管理數(shù)據(jù)的結(jié)構(gòu)的圖。圖47是示出在屏幕說明數(shù)據(jù)流中包含的數(shù)據(jù)單元(data_unit)的結(jié)構(gòu)(語法)的圖。圖48是示出數(shù)據(jù)單元的類型，及數(shù)據(jù)單元參數(shù)及其功能的圖。圖49是示出用于擴(kuò)展的顯示控制的數(shù)據(jù)單元(data_unit)的結(jié)構(gòu)(語法)的圖。圖50是示出屏幕說明管理數(shù)據(jù)組的PES流具有的擴(kuò)展的顯示控制的數(shù)據(jù)單元中的 “Advanced_Rendering_Control” 的結(jié)構(gòu)(語法)的圖。圖51是示出屏幕說明文本數(shù)據(jù)組的PES流具有的擴(kuò)展的顯示控制的數(shù)據(jù)單元中的 “Advanced_Rendering_Control” 的結(jié)構(gòu)(語法)的圖。圖 52 是不出“Advanced_Rendering_Control，，和“disparity_information，，的結(jié)構(gòu)中的主要數(shù)據(jù)規(guī)定的圖。圖53是示出屏幕說明文本數(shù)據(jù)組內(nèi)擴(kuò)展的顯示控制數(shù)據(jù)單元(data_unit)內(nèi)“Advanced_Rendering_Control” 中的 “disparity_information” 的結(jié)構(gòu)(語法)的圖。圖54 是不出 “disparity_information” 的結(jié)構(gòu)的圖。圖55是示出包括視頻基本流、音頻基本流和屏幕說明基本流的總傳輸流(復(fù)用的數(shù)據(jù)流)的配置示例的圖。圖56是示出數(shù)據(jù)內(nèi)容描述符的結(jié)構(gòu)示例(語法)的圖。圖57是示出“arib_caption_info”的結(jié)構(gòu)示例(語法)的圖。圖58是示出在PMT之下插入標(biāo)記信息的情況下傳輸流(復(fù)用的數(shù)據(jù)流)的配置示例的圖。
圖59是示出數(shù)據(jù)編碼格式描述符的結(jié)構(gòu)示例(語法)的圖。圖60 是不出 “additional_arib_caption_info” 的結(jié)構(gòu)不例(語法)的圖。圖61是示出機(jī)頂盒的位流處理單元的配置示例的框圖。圖62是示出在廣播站的發(fā)送數(shù)據(jù)生成單元的配置示例的框圖。圖63是示出包括在序列增量中的參數(shù)的序列首部部分位于視頻基本流的頭部的圖。圖64是示意性地示出CEA表的圖。圖65是示出形成擴(kuò)展的命令的“字節(jié)1”、“字節(jié)2”和“字節(jié)3”的3字節(jié)字段的配置示例的圖。圖66是示出更新用于每一基本片斷時(shí)段(BSP)的視差信息的示例的圖。圖67是示意性地示出CEA表的圖。圖68是示出“首部(字節(jié)I) ”、“字節(jié)2”、“字節(jié)3”和“字節(jié)4”的4字節(jié)字段的配置示例的圖。圖69是示出傳統(tǒng)的隱藏屏幕說明數(shù)據(jù)(CC data)的結(jié)構(gòu)示例(語法)的圖。圖70是示出修正以與視差信息(disparity)兼容的傳統(tǒng)的隱藏屏幕說明數(shù)據(jù)(CCdata)的結(jié)構(gòu)示例(語法)的圖。圖71是用于描述控制“CC_data_l”和“cc_data_2”兩個(gè)字段的2位字段“extended_control” 的圖。圖72是示出“caption_disparity_data() ”的結(jié)構(gòu)示例(語法)的圖。圖73 是不出 “disparity_temporal_extensionO ” 的結(jié)構(gòu)不例(語法)的圖。圖74是示出“caption_disparity_data() ”的結(jié)構(gòu)示例中的主要數(shù)據(jù)規(guī)定(語義)的圖。圖75是示出包括視頻基本流、音頻基本流和屏幕說明基本流的總傳輸流(復(fù)用的數(shù)據(jù)流)的配置示例的圖。圖76是示出形成機(jī)頂盒的位流處理單元的配置示例的框圖。圖77 是示出 “disparity_temporal_extension() ” 的另一結(jié)構(gòu)示例(語法)的圖。圖78是示出“disparity_temporal_extension() ”的結(jié)構(gòu)示例中的主要數(shù)據(jù)規(guī)定(語義)的圖。圖79是示出使用“disparity_temporal_extension() ”的另一結(jié)構(gòu)示例的情況下 更新視差信息的示例的圖。圖80是示出使用“disparity_temporal_extension() ”的另一結(jié)構(gòu)示例的情況下更新視差信息的示例的圖。圖81是示出字幕數(shù)據(jù)流的配置示例的圖。圖82是示出順序地發(fā)送SCS片斷的情況下更新視差信息的示例的圖。圖83是示出更新表示為以更新幀間隔作為增量時(shí)段的間隔時(shí)段(ID:間隔持續(xù)時(shí)間)的倍數(shù)的視差信息(disparity)的示例的圖。圖84是示出包括作為PES有效載荷數(shù)據(jù)的DDS、PCS、RCS、CDS、ODS、DSS和EOS片斷的字幕數(shù)據(jù)流的配置示例的圖。圖85是示出其中作為屏幕說明顯示范圍的兩個(gè)區(qū)域(Region)被包含于頁范圍(AreaforPage_default)中的屏幕說明的顯示示例的圖。圖86是示出在區(qū)域增量的視差信息和在包括所有區(qū)域的頁增量中的視差信息兩者都包含于DSS片斷中作為在屏幕說明顯示時(shí)段期間順序更新的視差信息(Disparity)的情況下，區(qū)域和頁的視差信息曲線的示例的圖。圖87是示出頁和區(qū)域的視差信息以何種結(jié)構(gòu)發(fā)送的圖。圖88是示出DSS的結(jié)構(gòu)示例(語法)的圖(1/4)。圖89是示出DSS的結(jié)構(gòu)示例的圖(2/4)。 圖90是示出DSS的結(jié)構(gòu)示例的圖(3/4)。圖91是示出DSS的結(jié)構(gòu)示例的圖(4/4)。圖92是示出DSS的主要數(shù)據(jù)規(guī)定(語義)的圖(1/2)。圖93是示出DSS的主要數(shù)據(jù)規(guī)定的圖(2/2)。圖94是示出圖像發(fā)送/接收系統(tǒng)的另一配置示例的框圖。圖95是用于描述在使用雙眼視差的立體圖像顯示中，對象的左和右圖像在屏幕上的顯示位置及其立體圖像的顯示位置之間的關(guān)系的圖。
具體實(shí)施例方式現(xiàn)在將描述實(shí)施本發(fā)明的模式(下文稱作“實(shí)施例”)。注意，將按照下面的順序進(jìn)行描述。I.實(shí)施例2.修改〈I.實(shí)施例 >“圖像發(fā)送/接收系統(tǒng)的配置示例”圖I示出了作為實(shí)施例的圖像發(fā)送/接收系統(tǒng)10的配置示例。該圖像發(fā)送/接收系統(tǒng)10包括廣播站100、機(jī)頂盒(STB) 200和電視接收器(TV) 300。機(jī)頂盒200和電視接收器300經(jīng)由HDMI (高清多媒體接口)數(shù)字接口連接。機(jī)頂盒200和電視接收器300使用HDMI線纜400連接。對于機(jī)頂盒200，提供HDMI端子202。對于電視接收器300，提供HDMI端子302。HDMI線纜400的一端連接至機(jī)頂盒200的HDMI端子202，而該HDMI線纜400的另一端連接至電視接收器300的HDMI端子302?！皬V播站的描述”廣播站100通過在廣播波上攜帶位流數(shù)據(jù)BSD來發(fā)送位流數(shù)據(jù)BSD。廣播站100具有生成位流數(shù)據(jù)BSD的發(fā)送數(shù)據(jù)生成單元110。位流數(shù)據(jù)BSD包括圖像數(shù)據(jù)、音頻數(shù)據(jù)、疊加信息數(shù)據(jù)、視差信息等等。現(xiàn)在，圖像數(shù)據(jù)(以下視情況而被稱為“立體圖像數(shù)據(jù)”)包括形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。立體圖像數(shù)據(jù)具有預(yù)定的發(fā)送格式。疊加信息一般包括屏幕說明、圖形信息、文本信息等等，但在此實(shí)施例中是屏幕說明?！鞍l(fā)送數(shù)據(jù)生成單元的配置示例”圖2示出了廣播站100的發(fā)送數(shù)據(jù)生成單元110的配置示例。發(fā)送數(shù)據(jù)生成單元110以一種易于與作為現(xiàn)有的廣播格式的DVB (數(shù)字視頻廣播)格式兼容的數(shù)據(jù)結(jié)構(gòu)發(fā)送視差信息(視差矢量)。發(fā)送數(shù)據(jù)生成單元110包括數(shù)據(jù)提取單元(歸檔單元)111、視頻編碼器112和音頻編碼器113。發(fā)送數(shù)據(jù)生成單元110還具有字幕生成單元114、視差信息產(chǎn)生單元115、字幕處理單元116、字幕編碼器118和多路復(fù)用器119。數(shù)據(jù)記錄介質(zhì)11 Ia被例如可拆卸地安裝到數(shù)據(jù)提取單元111。數(shù)據(jù)記錄介質(zhì)11 Ia以相關(guān)聯(lián)的方式在其中記錄了包括左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的立體圖像數(shù)據(jù)以及音頻數(shù)據(jù)和視差信息。數(shù)據(jù)提取單元111從數(shù)據(jù)記錄介質(zhì)Illa中提取立體圖像數(shù)據(jù)、音頻數(shù)據(jù)、視差信息等，并輸出這些。數(shù)據(jù)記錄介質(zhì)Illa是磁盤形狀的記錄介質(zhì)、半導(dǎo)體存儲(chǔ)器
坐寸ο在數(shù)據(jù)記錄介質(zhì)Illa中記錄的立體圖像數(shù)據(jù)是預(yù)定發(fā)送格式的立體圖像數(shù)據(jù)。將描述立體圖像數(shù)據(jù)(3D圖像數(shù)據(jù))的發(fā) 送格式的示例。雖然給出了下列第一到第三方法作為發(fā)送方法，但是也可以使用除了這些之外的發(fā)送方法。這里，如圖3所示，，將針對其中左眼(L)和右眼(R)的圖像數(shù)據(jù)的每一片是具有確定分辨率(例如1920*1080的像素格式)的圖像數(shù)據(jù)的情況將作出描述，以作為示例。第一發(fā)送方法是頂?shù)?Top&Bottom)格式，且如圖4 (a)所示，是用于在垂直方向上的前一半中發(fā)送左眼圖像數(shù)據(jù)每一行數(shù)據(jù)并在垂直方向上的后一半中發(fā)送右眼圖像數(shù)據(jù)的每一行數(shù)據(jù)的格式。在這種情況下，左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的行被減少至1/2，所以比起原始信號，垂直分辨率減半。第二發(fā)送方法是并排(并排)格式，且如圖4 (b)所示，是用于在水平方向上的前一半中發(fā)送左眼圖像數(shù)據(jù)的像素?cái)?shù)據(jù)并在水平方向上的后一半中發(fā)送右眼圖像數(shù)據(jù)的像素?cái)?shù)據(jù)的格式。在這種情況下，左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)每一個(gè)使其水平方向的像素?cái)?shù)據(jù)減少至1/2，所以比起原始信號，水平分辨率減半。第三發(fā)送方法是幀順序(幀順序)格式，且如圖4 (C)所示，是用于通過對于每一幀順序地切換左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)來發(fā)送左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的格式。此中貞順序格式有時(shí)候也被稱作全巾貞(full frame)或向后兼容(backward compatible)格式。在數(shù)據(jù)記錄介質(zhì)Illa中記錄的視差信息是例如針對構(gòu)成圖像的每一像素(pixel)的視差矢量。將描述視差矢量的檢測示例。這里，將描述檢測右眼圖像關(guān)于左眼圖像的視差矢量的示例。如圖5中所示，將以左眼圖像作為檢測圖像，而將以右眼圖像作為參考圖像。在這個(gè)示例中，將檢測(xi，yi)和(xj，yj)位置上的視差矢量。作為示例，將針對已經(jīng)檢測出(xi，yi)位置上的視差矢量的情況作出描述。在這一情況下，對左眼圖像設(shè)置了以(xi，yi)的像素位置作為左上角的例如4*4、8*8或16*16的像素塊(視差檢測塊)Bi。隨后對于右眼圖像搜索與像素塊Bi匹配的像素塊。在這一情況下，對右眼圖像設(shè)置了以(xi，yi)位置為中心的搜索范圍，且關(guān)于搜索范圍內(nèi)被順序地作為感興趣像素的每一像素，順序地設(shè)置作為與上面的像素塊Bi的例如4*4、8*8或16*16的對比塊。獲得像素塊Bi與順序設(shè)置的對比塊之間每一個(gè)對應(yīng)像素的差的絕對值之和。這里，如圖6所示，如果我們說像素塊Bi的像素值是L(x，y)，而對比塊的像素值是R(x，y)，則將像素塊Bi和該確定的對比塊之間的差絕對值之和表示為S|L(x，y)-R(x, y) |。當(dāng)η個(gè)像素包含在對右眼圖像設(shè)置的搜索范圍內(nèi)時(shí)，最終獲得η個(gè)和S I到Sn，在其中選擇最小的和Smin。隨后，從已經(jīng)從中獲得和Smin的對比塊中獲得左上角像素的位置(xi’，yi’)。如此，檢測到(xi，yi)位置的視差矢量為(xi’-xi，yi’-yi)。雖然將省略關(guān)于在(xj，yj)位置的視差矢量的具體描述，但是對左眼圖像設(shè)置以(xj，yj)像素位置為左上角的例如4*4、8*8或16*16的像素塊Bj，且在相同過程中進(jìn)行檢測。視頻編碼器112對由數(shù)據(jù)提取單元111提取的立體圖像數(shù)據(jù)進(jìn)行諸如MPEG4-AVC、MPEG2、VC-I等的編碼并生成視頻數(shù)據(jù)流(視頻基本流)。音頻編碼器113使由數(shù)據(jù)提取單元111提取的音頻數(shù)據(jù)經(jīng)歷諸如AC3、AAC等的編碼并生成音頻數(shù)據(jù)流(音頻基本流)。字幕生成單元114生成DVB (數(shù)字視頻廣播)格式屏幕說明數(shù)據(jù)的字幕數(shù)據(jù)。此字幕數(shù)據(jù)是用于二維圖像的字幕數(shù)據(jù)。字幕生成單元114形成疊加信息數(shù)據(jù)輸出單元。視差信息產(chǎn)生單元115對用于由數(shù)據(jù)提取單元111提取的每一像素(pixel)的視差矢量(水平方向視差矢量)進(jìn)行縮小化處理，并產(chǎn)生要應(yīng)用到字幕的視差信息(水平方向視差矢量)。此視差信息產(chǎn)生單元115形成視差信息輸出單元。注意要被應(yīng)用到字幕的視
差信息可以被應(yīng)用在頁增量、區(qū)域增量或?qū)ο笤隽?。同樣，視差信息并非必需在視差信息產(chǎn)生單元115產(chǎn)生，可以作出其由外部提供的配置。圖7示出了要給出的在相對深度方向上的數(shù)據(jù)的示例，諸如每一像素(pixel)的亮度值。這里，通過預(yù)定的轉(zhuǎn)換可以將在相對深度方向的數(shù)據(jù)處理為用于每一像素的視差矢量。在此示例中，人形部分的亮度值為高。這意味著人形部分的視差矢量值大，且相應(yīng)地，在立體圖像顯示中，這意味著感覺此人形部分處于更近的狀態(tài)。同樣，在此示例中，背景部分的亮度值低。這意味著背景部分的視差矢量值小，且相應(yīng)地，在立體圖像顯示中，這意味著感覺此背景部分處于較遠(yuǎn)的狀態(tài)。圖8示出了用于每塊(Block)的視差矢量的示例。塊等同于位于最底層的像素(pixel)的上層。此塊由被在水平方向和垂直方向的預(yù)定大小而劃分的圖像(圖片)區(qū)域配置。例如，通過從該塊中存在的所有像素(pixel)的視差矢量中選出的值最大的視差矢量而獲得每一塊的視差矢量。在此示例中，每一塊的視差矢量由箭頭示出，且該箭頭的長度對應(yīng)于視差矢量的大小。圖9示出了要在視差信息產(chǎn)生單元115執(zhí)行的縮小化處理的示例。首先，如圖9中(a)所示，視差信息產(chǎn)生單元115使用用于每一像素(pixel)的視差矢量以獲得用于每一塊的視差矢量。如上所述，塊等同于位于最底層的像素(Pixel)的上層，且由被在水平方向和垂直方向的預(yù)定大小而劃分的圖像(圖片)區(qū)域配置。例如，通過從該塊中存在的所有像素(pixel)的視差矢量中選出的值最大的視差矢量而獲得每塊的視差矢量。其次，如圖9中(b)所示，視差信息產(chǎn)生單元115使用用于每一塊的視差矢量以獲得用于每組(GroupOfBlock)的視差矢量。組等同于塊的上層，且通過共同地編組多個(gè)相鄰塊而獲得。在圖9的(b)中的示例中，每組由用虛線框捆綁的四個(gè)塊組成。隨后，例如通過從該組中的所有塊的視差矢量中選出的值最大的視差矢量而獲得每組的視差矢量。接著，如圖9中(C)所示，視差信息產(chǎn)生單元115使用用于每組的視差矢量以獲得用于每一分區(qū)(Partition)的視差矢量。分區(qū)等同于組的上層，且通過共同編組多個(gè)相鄰組而獲得。在圖9的(c)中的示例中，每一分區(qū)由用虛線框捆綁的兩組組成。隨后，例如通過從該分區(qū)中的所有組的視差矢量中選出的值最大的視差矢量而獲得每一分區(qū)的視差矢量。接著，如圖9中(d)所示，視差信息產(chǎn)生單元115使用用于每一分區(qū)的視差矢量以獲得位于最上層的整個(gè)圖片(整個(gè)圖像)的視差矢量。在圖9的(d)中的示例中，整個(gè)圖片包括用虛線框捆綁的四個(gè)分區(qū)。隨后，例如通過從包含于整個(gè)圖片的所有分區(qū)的視差矢量中選出的具有最大值的視差矢量而獲得整個(gè)圖片的視差矢量。
以這種方式，視差信息產(chǎn)生單元115對位于最底層的每一像素的視差矢量進(jìn)行縮小化處理，由此可以獲得塊、組、分區(qū)和整個(gè)圖片中每一層級的每一區(qū)域的視差矢量。注意至|J，在圖9中所示的縮小化處理的示例中，最終，除了像素(pixel)層級之外，還獲得了塊、組、分區(qū)和整個(gè)圖片四個(gè)層級的視差矢量，但是層級數(shù)目、如何劃分每一層級的區(qū)域及區(qū)域的數(shù)目不限于此例。返回圖2，字幕處理單元116將在字幕生成單元114生成的字幕數(shù)據(jù)轉(zhuǎn)換成對應(yīng)于由數(shù)據(jù)提取單元111提取的立體圖像數(shù)據(jù)的發(fā)送格式的用于立體圖像(用于三維圖像)的字幕數(shù)據(jù)。字幕處理單元116形成疊加信息數(shù)據(jù)處理單元，且轉(zhuǎn)換后的用于立體圖像的字幕數(shù)據(jù)形成用于發(fā)送的疊加信息數(shù)據(jù)。此用于立體圖像的字幕數(shù)據(jù)具有左眼字幕數(shù)據(jù)和右眼字幕數(shù)據(jù)?，F(xiàn)在，左眼字幕數(shù)據(jù)是對應(yīng)于包括在前面提到的立體圖像數(shù)據(jù)中的左眼數(shù)據(jù)的數(shù)據(jù)，并且是用于在接收側(cè)生成要疊加到立體圖像數(shù)據(jù)具有的左眼圖像數(shù)據(jù)的左眼字幕的顯示數(shù)據(jù)的數(shù)據(jù)。同樣，右眼字幕數(shù)據(jù)是對應(yīng)于包括在前面提到的立體圖像數(shù)據(jù)中的右眼圖像數(shù)據(jù)的數(shù)據(jù)，并且是用于在接收側(cè)生成要疊加到立體圖像數(shù)據(jù)具有的右眼圖像數(shù)據(jù)的右眼字幕的顯示數(shù)據(jù)的數(shù)·據(jù)。在這種情況下，字幕處理單元116可以基于來自視差信息產(chǎn)生單元115的、要被應(yīng)用到字幕的視差信息(水平方向視差矢量)移動(dòng)至少左眼字幕或右眼字幕。通過應(yīng)用左眼字幕和右眼字幕之間的視差，即使不執(zhí)行處理以提供視差，當(dāng)在最佳狀態(tài)下顯示字幕(屏幕說明)時(shí)，接收側(cè)也可以保持圖像內(nèi)對象間透視的一致性。字幕處理單元116具有顯示控制信息生成單元117。顯示控制信息生成單元117生成關(guān)于子區(qū)域(subregion)的顯示控制信息?，F(xiàn)在，子區(qū)域是僅在區(qū)域內(nèi)定義的區(qū)域。子區(qū)域包括左眼子區(qū)域(左眼SR)和右眼子區(qū)域(右眼SR)。下文中，左眼子區(qū)域?qū)⒁暻闆r而被稱為左眼SR更合適，而右眼子區(qū)域?qū)⒈环Q為右眼SR。左眼子區(qū)域是在作為用于疊加用于發(fā)送的信息數(shù)據(jù)的顯示范圍的區(qū)域內(nèi)對應(yīng)于左眼字幕的顯示位置而設(shè)置的區(qū)域。同樣，右眼子區(qū)域是在作為用于疊加用于發(fā)送的信息數(shù)據(jù)的顯示范圍的區(qū)域內(nèi)對應(yīng)于右眼字幕的顯示位置而設(shè)置的區(qū)域。例如，左眼子區(qū)域形成第一顯示范圍，而右眼子區(qū)域形成第二顯示范圍。例如基于用戶操作或自動(dòng)地為在字幕處理單元116生成的每一字幕數(shù)據(jù)設(shè)置左眼SR和右眼SR的范圍。注意到在此情況下，設(shè)置左眼SR和右眼SR范圍使得左眼SR內(nèi)的左眼字幕和右眼SR內(nèi)的右眼字幕相對應(yīng)。顯示控制信息包括左眼SR范圍信息和右眼SR范圍信息。同樣，顯示控制信息包括要顯示左眼SR中包含的左眼字幕的目標(biāo)幀信息，以及要顯示右眼SR中包含的右眼字幕的目標(biāo)幀信息。現(xiàn)在，要顯示左眼SR中包含的左眼字幕的目標(biāo)幀信息指示左眼圖像的幀，而要顯示右眼SR中包含的右眼字幕的目標(biāo)幀信息指示右眼圖像的幀。同樣，此顯示控制信息包括用于執(zhí)行包含在左眼SR中的左眼字幕的顯示位置的移動(dòng)調(diào)整的視差信息(disparity)，以及用于執(zhí)行包含在右眼SR中的右眼字幕的顯示位置的移動(dòng)調(diào)整的視差信息。這些視差信息用于提供在左眼SR中包含的左眼字幕與在右眼SR中包含的右眼字幕之間的視差。在此情況下，基于要應(yīng)用到例如在視差信息產(chǎn)生單元115所產(chǎn)生的字幕的視差信息(水平方向視差矢量)，顯示控制信息生成單元117獲得用于將包含于上述顯示控制信息中的移動(dòng)調(diào)整的視差信息?，F(xiàn)在，確定用于左眼SR的視差信息“視差I(lǐng)”和用于右眼SR的視差信息“視差2”具有相等的絕對值，并且此外，這樣的話其差是對應(yīng)于要應(yīng)用到字幕的視差信息(Disparity)的值。例如，如果立體圖像數(shù)據(jù)的發(fā)送格式是并排格式，則對應(yīng)于視差信息(Disparity)的值是“視差/2”。同樣，如果立體圖像數(shù)據(jù)的發(fā)送格式是頂?shù)?Top&Bottom)格式，則對應(yīng)于視差信息(Disparity)的值是“視差”。注意字幕數(shù)據(jù)具有諸如DDS、PCS、RSC、CDS和ODS的片斷。DDS (顯示定義片斷)指示用于HDTV (顯示)的顯示的大小。PCS (頁組分片斷)指示頁(page)內(nèi)區(qū)域(region)的位置。RCS (區(qū)域組分片斷)指示區(qū)域(region)的大小和對象(object)的編碼模式，且也指示對象(object)的開始位置。⑶S (CLUT定義片斷)指示CLUT的內(nèi)容。ODS (對象數(shù)據(jù)片斷)包括已編碼的像素?cái)?shù)據(jù)(pixel data)。在這個(gè)實(shí)施例中，新定義了 SCS (子區(qū)域組分片斷)的片斷。將如上所述在顯示控制信息生成單元117生成的顯示控制信息插入到該SCS片斷中。之后將描述字幕處理單元 116的處理的細(xì)節(jié)。返回圖2，字幕編碼器118生成包含從字幕處理單元116輸出的字幕數(shù)據(jù)和用于顯示立體圖像的顯示控制信息的字幕數(shù)據(jù)流(字幕基本流)。多路復(fù)用器119多路復(fù)用來自視頻編碼器112、音頻編碼器113和字幕編碼器118的數(shù)據(jù)流，并獲得已多路復(fù)用的數(shù)據(jù)流作為位流數(shù)據(jù)(傳輸流)BSD。注意到在此實(shí)施例中，多路復(fù)用器119將標(biāo)識(shí)包含有用于立體圖像顯示的字幕數(shù)據(jù)的標(biāo)識(shí)信息插入到字幕數(shù)據(jù)流中。具體地，在插入在EIT (事件信息表)之下的組分描述符(Component_Descriptor)中描述了 Stream_content (，0x03，=DVB 字幕)&Component_type (用于3D目標(biāo))。新定義Component_type (用于3D目標(biāo))用于指示用于立體圖像的
字.數(shù)據(jù)。將簡要地描述圖2中示出的發(fā)送數(shù)據(jù)生成單元110的操作。將由數(shù)據(jù)提取單元111所提取的立體圖像數(shù)據(jù)提供到視頻編碼器112。在此視頻編碼器112，對立體圖像數(shù)據(jù)上執(zhí)行諸如MPEG4-AVC、MPEG2、VC-I等的編碼，且生成包含已編碼視頻數(shù)據(jù)的視頻數(shù)據(jù)流。將視頻數(shù)據(jù)流提供至多路復(fù)用器119。將在數(shù)據(jù)提取單元111提取的音頻數(shù)據(jù)提供到音頻編碼器113。此音頻編碼器113對音頻數(shù)據(jù)進(jìn)行諸如MPEG-2音頻AAC或MPEG-4AAC等的編碼，生成包含已編碼的音頻數(shù)據(jù)的音頻數(shù)據(jù)流。將音頻數(shù)據(jù)流提供至多路復(fù)用器119。在字幕生成單元114，生成作為DVB屏幕說明數(shù)據(jù)的字幕數(shù)據(jù)(用于二維圖像)。將此字幕數(shù)據(jù)提供給視差信息產(chǎn)生單元115和字幕處理單元116。將由數(shù)據(jù)提取單元111提取的用于每一像素(pixel)的視差矢量提供給視差信息產(chǎn)生單元115。在視差信息產(chǎn)生單元115，對每一像素的視差矢量執(zhí)行縮小化處理，并產(chǎn)生要應(yīng)用到字幕的視差信息(水平方向視差矢量=視差)。將該視差信息提供給字幕處理單元116。在字幕處理單元116，將在字幕生成單元114生成的用于二維圖像的字幕數(shù)據(jù)轉(zhuǎn)換為對應(yīng)于上述由數(shù)據(jù)提取單元111提取的立體圖像數(shù)據(jù)的發(fā)送格式的用于立體圖像顯示的字幕數(shù)據(jù)。該用于立體圖像顯示的字幕數(shù)據(jù)具有用于左眼字幕的數(shù)據(jù)和用于右眼字幕的數(shù)據(jù)。在此情況下，基于來自視差信息產(chǎn)生單元115的要應(yīng)用到字幕的視差信息，字幕處理單元116可以切換至少左眼字幕或右眼字幕以提供左眼字幕和右眼字幕之間的視差。在字幕處理單元116的顯示控制信息生成單元117，生成關(guān)于子區(qū)域(Subregion)的顯示控制信息(范圍信息、目標(biāo)幀信息、視差信息)。如上所述子區(qū)域包括左眼子區(qū)域(左眼SR)和右眼子區(qū)域(右眼SR)。相應(yīng)地，生成用于每一左眼SR和右眼SR的范圍信息、目標(biāo)幀信息和視差信息作為顯示控制信息。如上所述，例如基于用戶操作或自動(dòng)地以對應(yīng)于左眼字幕的顯示位置的方式在作為用于發(fā)送的疊加信息數(shù)據(jù)的顯示范圍的區(qū)域設(shè)置左眼SR。同樣，例如基于用戶操作或自動(dòng)地以對應(yīng)于右眼字幕的顯示位置的方式在作為用于發(fā)送的疊加信息數(shù)據(jù)的顯示范圍的區(qū)域內(nèi)設(shè)置右眼SR。 將在字幕處理單元116獲得的用于立體圖像的字幕數(shù)據(jù)和顯示控制信息提供至字幕編碼器118。字幕編碼器118生成包含用于立體圖像的字幕數(shù)據(jù)和顯示控制信息的字幕數(shù)據(jù)流。字幕數(shù)據(jù)流包括插入了用于立體圖像的字幕數(shù)據(jù)的諸如DDS、PCS、RCSXDS、ODS等的片斷，以及包含顯示控制信息的新定義的SCS片斷。如上所述，將來自視頻編碼器112、音頻編碼器113和字幕編碼器118的數(shù)據(jù)流提供至多路復(fù)用器119，如上所述。在該多路復(fù)用器119，打包并復(fù)用數(shù)據(jù)流，由此獲得作為位流數(shù)據(jù)(傳輸流)BSD的復(fù)用的數(shù)據(jù)流。圖10示出了傳輸流(位流數(shù)據(jù))的構(gòu)造示例。該傳輸流包括通過打包基本流獲得的PES包。在該構(gòu)造示例中，包括了視頻基本流PES包“視頻PES”、音頻基本流PES包“音頻PES”和字幕基本流PES包“字幕PES”。在該實(shí)施例中，用于立體圖像的字幕數(shù)據(jù)和顯示控制信息包含在字幕基本流(字幕數(shù)據(jù)流)中，該字幕基本流包括諸如DDS、PCS、RCS、⑶S、ODS等的傳統(tǒng)已知的片斷，還包括包含顯示控制信息的新定義的SCS片斷。圖11 不出了 PCS (page_composition_segment)的結(jié)構(gòu)。如圖 12 中所不，該P(yáng)CS 片斷的片斷類型是 “0x10”?！皉egion_horizontal_address” 和 “region_vertical_address”指示區(qū)域(region)的開始位置。注意到圖中將省略諸如DDS、RSC、0DS等的其它片斷的結(jié)構(gòu)的圖示。如圖12中所示，DDS的片斷類型是“0x14”，RCS的片斷類型是“0x11”，⑶S的片斷類型是“0x12”而ODS的片斷類型是“0x13”。例如，如圖12中所示，SCS的片斷類型是“0x40”。之后將描述該SCS片斷的具體結(jié)構(gòu)。返回圖10，傳輸流包括PMT (節(jié)目映射表MtSPSI (節(jié)目具體信息)。該P(yáng)SI是描述傳輸流中包含的每一基本流屬于哪一節(jié)目的信息。另外，傳輸流包括EIT (事件信息表)作為SI (服務(wù)信息)，關(guān)于其在時(shí)間的增量中執(zhí)行管理。在EIT中描述節(jié)目的增量中的元數(shù)據(jù)。描述關(guān)于整個(gè)節(jié)目的信息的節(jié)目描述符(Program Descriptor)存在于PMT中。含有關(guān)于每一基本流的信息的基本循環(huán)(loop)也存在于這PMT中。在該結(jié)構(gòu)示例中，存在視頻基本循環(huán)、首頻基本循環(huán)和字.基本循環(huán)。每一基本循環(huán)中布置了用于每一個(gè)流的諸如包標(biāo)識(shí)符(PID)的信息，而且同樣雖然在圖中未示出，還在其中布置了描述關(guān)于基本流的信息的描述符(descriptor)。在EIT下面插入了組成部分描述符(Component_Descriptor)。在該實(shí)施例中，在該組分描述符中描述了 Stream_content (’0x03’=DVB 字幕)&Component_type (用于 3D 目標(biāo))。所以，可以標(biāo)識(shí)出字幕數(shù)據(jù)流包括用于立體圖像的字幕數(shù)據(jù)的事實(shí)。在該實(shí)施例中，如圖13中所不,如果“component_descriptor”的指不分布的內(nèi)容的“stream_content”指示字幕(subtitle),貝U新定義指示3D字幕(Component_type = 0x15,0x25)的格式的信息。“字幕處理單元的處理”將描述在圖2中示出的發(fā)送數(shù)據(jù)生成單元110的字幕處理單元116的處理的細(xì)節(jié)。如上所述，字幕處理單元116將用于二維圖像的字幕數(shù)據(jù)轉(zhuǎn)換為用于立體圖像的字幕數(shù)據(jù)。同樣，如上所述，字幕處理單元116在顯示控制信息生成單元117生成顯示控制信息(包括左眼SR和右眼SR區(qū)域信息、目標(biāo)幀信息和視差信息)。圖14概念性地示出了在立體圖像數(shù)據(jù)的發(fā)送格式是并排格式情況下產(chǎn)生用于立體圖像的字幕數(shù)據(jù)的方法。圖14(a)示出了依據(jù)用于二維圖像的字幕數(shù)據(jù)的區(qū)域(region)。注意到在這個(gè)示例中，在該區(qū)域中包含了三個(gè)對象(object)。
首先，字幕處理單元116將上述依據(jù)用于二維圖像的字幕數(shù)據(jù)的區(qū)域(region)大小轉(zhuǎn)換為適合于并排格式的大小，如圖14(b)中所示，并生成針對該大小的位圖數(shù)據(jù)。接著，如圖14(c)中所示，字幕處理單元116將大小轉(zhuǎn)換之后的位圖數(shù)據(jù)作為用于立體圖像的字幕數(shù)據(jù)中的區(qū)域(region)的組分。也就是說，大小轉(zhuǎn)換之后的位圖數(shù)據(jù)是區(qū)域內(nèi)與左眼字幕對應(yīng)的對象，且也是區(qū)域內(nèi)與右眼字幕對應(yīng)的對象。如上所述，字幕處理單元116將用于二維圖像的字幕數(shù)據(jù)轉(zhuǎn)換為用于立體圖像的字幕數(shù)據(jù)，并產(chǎn)生與該用于立體圖像的字幕數(shù)據(jù)對應(yīng)的諸如DDS、PCS、RCS、raS、OCS等的片斷。接著，基于用戶操作或自動(dòng)地，字幕處理單元116在用于立體圖像的字幕數(shù)據(jù)中的區(qū)域(region)的范圍內(nèi)設(shè)置左眼SR和右眼SR，如圖14(c)中所示。在包含對應(yīng)于左眼字幕的對象的范圍內(nèi)設(shè)置左眼SR。在包含對應(yīng)于右眼字幕的對象的范圍內(nèi)設(shè)置右眼SR。字幕處理單元116產(chǎn)生包含如上述設(shè)置的左眼SR和右眼SR的區(qū)域信息、目標(biāo)幀信息和視差信息的SCS片斷。例如，字幕處理單元116產(chǎn)生共同地包含左眼SR和右眼SR的區(qū)域信息、目標(biāo)幀信息和視差信息的SCS片斷，或產(chǎn)生包含左眼SR和右眼SR的區(qū)域信息、目標(biāo)幀信息和視差信息中每一個(gè)的SCS片斷。圖15概念性地示出了在立體圖像數(shù)據(jù)的發(fā)送格式是頂?shù)赘袷角闆r下產(chǎn)生用于立體圖像的字幕數(shù)據(jù)的方法。圖15(a)示出了依據(jù)用于二維圖像的字幕數(shù)據(jù)的區(qū)域(region)。注意在這個(gè)示例中，在該區(qū)域中包含三個(gè)對象(object)。首先，字幕處理單元116將上述依據(jù)用于二維圖像的字幕數(shù)據(jù)的區(qū)域(region)的大小轉(zhuǎn)換為適合于頂?shù)赘袷降拇笮?，如圖15(b)所示，并生成針對該大小的位圖數(shù)據(jù)。接著，如圖15(c)所示，字幕處理單元116將大小轉(zhuǎn)換之后的位圖數(shù)據(jù)作為用于立體圖像的字幕數(shù)據(jù)中的區(qū)域(region)的組分。也就是說，大小轉(zhuǎn)換之后的位圖數(shù)據(jù)是左眼圖像(左視圖)側(cè)的區(qū)域的對象，且也是右眼圖像(右視圖)側(cè)的區(qū)域的對象。如上所述，字幕處理單元116將用于二維圖像的字幕數(shù)據(jù)轉(zhuǎn)換為用于立體圖像的字幕數(shù)據(jù)，并產(chǎn)生與該用于立體圖像的字幕數(shù)據(jù)對應(yīng)的諸如PCS、RCS、CDS、OCS等的片斷。接著，基于用戶操作或自動(dòng)地，字幕處理單元116在用于立體圖像的字幕數(shù)據(jù)中的區(qū)域(region)的范圍內(nèi)設(shè)置左眼SR和右眼SR，如圖15(c)中所示。在左眼圖像側(cè)的區(qū)域內(nèi)包括對象的范圍內(nèi)設(shè)置左眼SR。在右眼圖像側(cè)的區(qū)域內(nèi)包含對象的范圍內(nèi)設(shè)置右眼SR。字幕處理單元116產(chǎn)生包含如上述設(shè)置的左眼SR和右眼SR的范圍信息、目標(biāo)幀信息和視差信息的SCS片斷。例如，字幕處理單元116產(chǎn)生共同地包含左眼SR和右眼SR的區(qū)域信息、目標(biāo)幀信息和視差信息的SCS片斷，或產(chǎn)生包含左眼SR和右眼SR的區(qū)域信息、目標(biāo)幀信息和視差信息中的每一個(gè)的SCS片斷。圖16概念性的示出了在立體圖像數(shù)據(jù)的發(fā)送格式是幀順序格式的情況下產(chǎn)生用于立體圖像的字幕數(shù)據(jù)的方法。圖16(a)示出了依據(jù)用于二維圖像的字幕數(shù)據(jù)的區(qū)域(region)。注意到在這個(gè)示例中,在該區(qū)域中包含一個(gè)對象(object)。如果立體圖像數(shù)據(jù)的發(fā)送格式是幀順序格式，則用于二維圖像的字幕數(shù)據(jù)原樣用作用于立體圖像的字幕數(shù)據(jù)。在此情況下，與用于二維圖像的字幕數(shù)據(jù)對應(yīng)的諸如DDS、PCS、RCS、0DS等的片斷作為與用于立體圖像的字幕數(shù)據(jù)對應(yīng)的諸如DDS、PCS、RCS、ODS等的片斷，不用改變。接著，基于用戶操作或自動(dòng)地，字幕處理單元116在用于立體圖像的字幕數(shù)據(jù)中 的區(qū)域(region)的范圍內(nèi)設(shè)置左眼SR和右眼SR，如圖16(b)中所示。在包含對應(yīng)于左眼字幕的對象的范圍內(nèi)設(shè)置左眼SR。在包含對應(yīng)于右眼字幕的對象的范圍內(nèi)設(shè)置右眼SR。字幕處理單元116產(chǎn)生包含如上述設(shè)置的左眼SR和右眼SR的范圍信息、目標(biāo)幀信息和視差信息的SCS片斷。例如，字幕處理單元116產(chǎn)生共同地包含左眼SR和右眼SR的區(qū)域信息、目標(biāo)幀信息和視差信息的SCS片斷，或產(chǎn)生包含左眼SR和右眼SR的區(qū)域信息、目標(biāo)幀信息和視差信息中的每一個(gè)的SCS片斷。圖17和圖18示出了 SCS (子區(qū)域組分片斷)的結(jié)構(gòu)示例(語法)。圖19示出了SCS的主要數(shù)據(jù)規(guī)定(語義)。該結(jié)構(gòu)包含“Sync_byte”、“segment_type”、“page_id”和“segment_length”的信息?！皊egment_type”是指示片斷類型的8位數(shù)據(jù)，且是“0x40”則指示SCS (見圖12)?！皊egment_length”是指示片斷長度(大小)的8位數(shù)據(jù)。圖18示出了包含SCS的實(shí)質(zhì)(substantial)信息的部分。在該構(gòu)造示例中，可以發(fā)送左眼SR和右眼SR的顯示控制信息(即左眼SR和右眼SR的范圍信息)、目標(biāo)幀信息、視差信息和顯示開/關(guān)命令信息。注意在該結(jié)構(gòu)示例中，可以保存任意數(shù)目的子區(qū)域的顯示控制信息?！皉egion_id”是示出區(qū)域(region)的標(biāo)識(shí)符的8位信息。“subregion_id”是示出子區(qū)域(Subregion)的標(biāo)識(shí)符的8位信息?！皊ubregion_visible_flag”是控制相應(yīng)子區(qū)域的顯示(疊加)的開/關(guān)的I位標(biāo)記信息(命令信息)?！皊ubregion_visible_flag=l”指示相應(yīng)子區(qū)域的顯示是開，且指示在那之前顯示的相應(yīng)子區(qū)域的顯示是關(guān)。“subregion_extent_flag”是指示子區(qū)域和區(qū)域關(guān)于大小和位置是否相同的I位標(biāo)記信息?！皊ubregion_extent_flag=l”指示子區(qū)域和區(qū)域關(guān)于大小和位置是相同的。“subregion_extent_f Iag=O ”指不子區(qū)域小于區(qū)域?！皊ubregion_position_flag”是指示后續(xù)數(shù)據(jù)是否包含子區(qū)域范圍(位置和大小)信息的I位標(biāo)記信息。“subregion_position_flag=l”指示后續(xù)包含子區(qū)域范圍(位置和大小)信息。另一方面,“subregion_position_flag=0”指示后續(xù)數(shù)據(jù)不包含區(qū)域范圍(位置和大小)信息?！皌arget_stereo_frame”是為相應(yīng)子區(qū)域指定目標(biāo)巾貞(要被顯示的巾貞)的I位信息。該“target_stereo_frame”配置目標(biāo)巾貞信息?！皌arget_stereo_frame=0”指不相應(yīng)子區(qū)域要在巾貞O (例如,左眼巾貞或基本視圖巾貞等)顯示。另一方面，“target_stereo_frame=l”指示相應(yīng)子區(qū)域要在幀I (例如，右眼幀或非基本視圖幀等)顯示?！皉enderingjevel”指示在接收側(cè)(解碼器側(cè))顯示屏幕說明時(shí)必需的視差信息(disparity)?！?0”指示使用視差信息的屏幕說明的三維顯示是可選的(optional)?！?1”指示使用屏幕說明顯示時(shí)段內(nèi)共享的視差信息(defaUlt_diSparity)的屏幕說明的三維顯示是必需的。“10”指示使用屏幕說明顯示時(shí)段內(nèi)順序更新的視差信息(diSparity_Update)的屏幕說明的三維顯示是本質(zhì)的?！皌emporal_extension_flag” 是指不屏幕說明顯不時(shí)段(disparity_update)內(nèi)順序更新的視差信息是否存在的I位標(biāo)記信息。在這情況下，“I”指示存在，而“O”指示不存在?！皊hared_disparity”指示是否對于所有的區(qū)域(region)執(zhí)行共同的視差信息(disparity)控制?！?I”指示要對所有的后續(xù)區(qū)域應(yīng)用一個(gè)共同的視差信息(disparity)。 “O”指示視差信息(disparity)將僅被應(yīng)用到一個(gè)區(qū)域。8位字段“subregior^disparity”指示默認(rèn)的視差信息。此視差信息是如果沒有更新則使用的視差信息，即貫穿屏幕說明顯示時(shí)段共同使用的。當(dāng)“subregi0n_p0Siti0n_flag=l”時(shí)，包含后續(xù)的子區(qū)域范圍(位置和大小)信息?！皊ubregion_horizontal_position”是指示作為矩形范圍的子區(qū)域的左邊緣的位置的16位信息。“subregion_vertical_position”是指示作為矩形范圍的子區(qū)域的上邊緣的位置的16位信息?！皊ubregion_width”是指示作為矩形范圍的子區(qū)域的水平方向大小(像素?cái)?shù)目)的16位信息?！皊ubregionjreight”是指示作為矩形范圍的子區(qū)域的垂直方向大小(像素?cái)?shù)目)的16位信息。這些位置和大小信息組成了子區(qū)域的范圍信息。如果“temporal_extension_flag” 是“I”，這意味著“disparity_temporal_extension O ”存在。基本上每一基本片斷時(shí)段(BSP :Base Segment Period)要被更新的視差信息存儲(chǔ)在此。圖20示出了更新每一基本片斷時(shí)段(BSP)的視差信息的示例。這里，基本片斷時(shí)段意味著更新幀間隔。正如從此圖可以清楚地理解的，在屏幕說明顯示時(shí)段內(nèi)順序更新的視差信息由屏幕說明顯示時(shí)段內(nèi)第一幀的視差信息和每一后續(xù)基本片斷時(shí)段(更新幀間隔)的視差信息組成。注意圖21 不出了“disparity_temporal_extension O ”的結(jié)構(gòu)不例(語法)。圖 22示出了其主要的數(shù)據(jù)規(guī)定(語義)。2位字段“temporal_division_size”指示基本片斷時(shí)段(更新幀間隔)中包括的幀數(shù)目。“00”指示這是16幀。“01”指示這是25幀?！?0”指示這是30中貞。此外，“ 11 ”指不這是32中貞。5位字段“temporal_division_count”指示屏幕說明顯示時(shí)段中包含的基本片斷的數(shù)目?！癲isparity_curve_no_update_flag”是指示是否有視差信息更新的I位標(biāo)記信息?！癐”指示不執(zhí)行在相應(yīng)基本片斷邊緣的視差信息的更新，即要跳過，而“O”指示要執(zhí)行在相應(yīng)基本片斷邊緣的視差信息的更新。圖23示出了用于每一基本片斷時(shí)段(BSP)的視差信息的構(gòu)造示例。在該圖中，不執(zhí)行在附加了“skip”的基本片斷邊緣的視差信息的更新。由于此標(biāo)記信息的存在，如果幀方向上的視差信息的變化相同的時(shí)段持續(xù)了長時(shí)間，則通過不更新視差信息，可以省略該時(shí)段內(nèi)視差信息的發(fā)送，由此使得能夠抑制視差信息的數(shù)據(jù)量。如果“disparity_curve_no _update_flag”是“O”且要執(zhí)行視差信息的更新，則包含相應(yīng)片斷的 “shifting_interval_counts”。另一方面，如果 “disparity_curve_noupdate_flag”是“ I”且不執(zhí)行視差信息的更新，則不包含相應(yīng)片斷的“shifting_interval_counts”。6位字段“shifting_interval_counts”指不用于調(diào)整基本片斷時(shí)段(更新巾貞間隔)的拖拽(draw)因子(Draw factor),即減去的巾貞的數(shù)目。在圖23中用于每一基本片斷時(shí)段(BSP)的視差信息的更新示例中，通過拖拽因子(Draw factor)調(diào)整基本片斷時(shí)段用于在時(shí)間點(diǎn)C到F的視差信息的更新時(shí)刻。由于該調(diào)節(jié)信息的存在，可以調(diào)整基本片斷時(shí)段(更新幀間隔)，且可以更精確地向接收側(cè)通知在視差信息的時(shí)間方向(幀方向)上的變化。注意為了調(diào)整基本片斷時(shí)段(更新幀間隔)，通過增加幀在延長方向調(diào)整，此外通過如上述減去巾貞的數(shù)目在縮短方向調(diào)整。例如，通過使得5位字段“shifting_interval_counts”為帶符號整數(shù)可以執(zhí)行在兩個(gè)方向上的調(diào)整。

8位字段“disparity_update”指示相應(yīng)基本片斷的視差信息。注意k=0的“diSparity_Update ”是在屏幕說明顯示時(shí)段的更新幀間隔被順序更新的視差信息的初始值，即屏幕說明顯示時(shí)段內(nèi)第一幀的視差信息。圖24是示意性地示出從廣播站100經(jīng)由機(jī)頂盒200到電視接收器300，或直接從廣播站100到電視接收器300的立體圖像數(shù)據(jù)和字幕數(shù)據(jù)(包含顯示控制信息)的流的圖。在該情況下，在廣播站100生成用于立體圖像的字幕數(shù)據(jù)用于并排(Side-by-Side)格式。立體圖像包含在視頻數(shù)據(jù)流中發(fā)送，而用于立體圖像的字幕包含在字幕數(shù)據(jù)流中發(fā)送。首先，將描述從廣播站100發(fā)送立體圖像數(shù)據(jù)和字幕數(shù)據(jù)(包含顯示控制信息)到機(jī)頂盒200，且該機(jī)頂盒200是遺留2D兼容設(shè)備(遺留2D STB)的情況。機(jī)頂盒200基于字幕數(shù)據(jù)(不包括子區(qū)域顯示控制信息)生成區(qū)域的顯示數(shù)據(jù)以顯示左眼字幕和右眼字幕、疊加此顯示數(shù)據(jù)到立體圖像數(shù)據(jù)、并獲得輸出的立體圖像數(shù)據(jù)。該情況中的疊加位置是區(qū)域的位置。例如，機(jī)頂盒200經(jīng)由HDMI數(shù)字接口發(fā)送此輸出立體圖像數(shù)據(jù)到電視接收器300。在此情況中，從機(jī)頂盒200到電視接收器300的立體圖像數(shù)據(jù)的發(fā)送格式是例如并排(Side-by-Side)格式。如果電視接收器300是3D兼容設(shè)備(3D TV),則電視接收器300使從機(jī)頂盒200發(fā)送的并排格式立體圖像數(shù)據(jù)經(jīng)歷3D信號處理，并生成在其中疊加字幕的左眼圖像和右眼圖像數(shù)據(jù)。然后電視接收器300在諸如IXD等的顯示面板上顯示雙眼視差圖像(左眼圖像和右眼圖像)，供用戶辨別出立體圖像。接著，將描述從廣播站100發(fā)送立體圖像數(shù)據(jù)和字幕數(shù)據(jù)(包含顯示控制信息)到機(jī)頂盒200且機(jī)頂盒200是3D兼容設(shè)備(3D STB)的情況。機(jī)頂盒200基于字幕數(shù)據(jù)(不包含子區(qū)域顯示控制信息)生成用于區(qū)域的顯示數(shù)據(jù)以顯示左眼字幕和右眼字幕。然后機(jī)頂盒200從該區(qū)域的顯示數(shù)據(jù)中提取與左眼SR對應(yīng)的顯示數(shù)據(jù)和與右眼SR對應(yīng)的顯示數(shù)據(jù)。然后機(jī)頂盒200疊加與左眼SR和右眼SR對應(yīng)的顯示數(shù)據(jù)到立體圖像數(shù)據(jù)，并獲得輸出立體圖像數(shù)據(jù)。在此情況下，與左眼SR對應(yīng)的顯示數(shù)據(jù)被疊加到由作為左眼SR的目標(biāo)幀信息的幀O (左眼圖像幀部分)指示的幀部分。同樣，與右眼SR對應(yīng)的顯示數(shù)據(jù)被疊加到由作為右眼SR的目標(biāo)幀信息的幀I (右眼圖像幀部分)指示的部分。
在此情況下，與左眼SR對應(yīng)的顯示數(shù)據(jù)被疊加到通過將由“位置I”(其是左眼SR的范圍信息)指示的并排格式立體圖像的位置移動(dòng)“視差I(lǐng)”(其是左眼SR的視差信息)的一半而獲得的位置上。同樣，與右眼SR對應(yīng)的顯示數(shù)據(jù)被疊加到通過將由“位置2”(其是右眼SR的范圍信息)指示的并排格式立體圖像的位置移動(dòng)“視差2”(其是右眼SR的視差信息)的一半而獲得的位置上。然后機(jī)頂盒200例如經(jīng)由HDMI數(shù)字接口發(fā)送如此獲得的輸出立體圖像數(shù)據(jù)到電視接收器300。在此情況下，從機(jī)頂盒200到電視接收器300的立體圖像數(shù)據(jù)的發(fā)送格式是例如并排(Side-by-Side)格式。如果電視接收器300是3D兼容設(shè)備(3D TV),則電視接收器300使從機(jī)頂盒200發(fā)送的并排格式立體圖像數(shù)據(jù)經(jīng)歷3D信號處理，并生成在其上疊加字幕的左眼圖像和右眼圖像數(shù)據(jù)。然后電視接收器300在諸如IXD等的顯示面板上顯示雙眼 視差圖像(左眼圖像和右眼圖像)，供用戶辨別出立體圖像。接著，將描述從廣播站100發(fā)送立體圖像數(shù)據(jù)和字幕數(shù)據(jù)(包含顯示控制信息)到電視接收器300且電視接收器300是3D兼容設(shè)備(3D TV)的情況?；谧帜粩?shù)據(jù)(不包含子區(qū)域顯示控制信息)，電視接收器300生成用于區(qū)域的顯示數(shù)據(jù)以顯示左眼字幕和右眼字幕。然后電視接收器300從該區(qū)域的顯示數(shù)據(jù)提取與左眼SR對應(yīng)的顯示數(shù)據(jù)和與右眼SR對應(yīng)的顯示數(shù)據(jù)(右眼顯示數(shù)據(jù))。電視接收器300在水平方向上執(zhí)行與左眼SR對應(yīng)的顯示數(shù)據(jù)的加倍擴(kuò)大(doublescaling)以獲得對應(yīng)于全分辨率的左眼顯示數(shù)據(jù)。然后電視接收器300疊加該全分辨率左眼圖像數(shù)據(jù)到幀0，該幀O是左眼SR的目標(biāo)幀信息。也就是說，電視接收器300疊加左眼顯示數(shù)據(jù)到全分辨率左眼圖像數(shù)據(jù)，該全分辨率左眼圖像數(shù)據(jù)是通過在水平方向上擴(kuò)大并排格式立體圖像數(shù)據(jù)的左眼圖像部分至兩倍而獲得的，由此生成已在其上疊加了字幕的左眼圖像數(shù)據(jù)。電視接收器300在水平方向上執(zhí)行與右眼SR對應(yīng)的顯示數(shù)據(jù)的加倍擴(kuò)大以獲得對應(yīng)于全分辨率的右眼顯示數(shù)據(jù)。然后電視接收器300疊加該全分辨率右眼圖像數(shù)據(jù)到幀1，該幀I是右眼SR的目標(biāo)幀信息。也就是說，電視接收器300疊加右眼顯示數(shù)據(jù)到全分辨率右眼圖像數(shù)據(jù)，該全分辨率右眼圖像數(shù)據(jù)是通過在水平方向上擴(kuò)大并排格式立體圖像數(shù)據(jù)的右眼圖像部分至兩倍而獲得的，由此生成在其上已疊加了字幕的右眼圖像數(shù)據(jù)。在此情況下，左眼顯示數(shù)據(jù)被疊加在通過將其“位置I”(其是左眼SR的區(qū)域信息)被加倍的全分辨率左眼圖像數(shù)據(jù)的位置移動(dòng)“視差I(lǐng)”(其是左眼SR的視差信息)而獲得的位置上。同樣，在此情況下，右眼顯示數(shù)據(jù)被疊加在通過將其“位置2”(其是右眼SR的區(qū)域信息)被減少H/2并被加倍的全分辨率右眼圖像數(shù)據(jù)的位置移動(dòng)“視差2”(右眼SR的視差信息)而獲得的位置上?；谌缟鲜鲆呀?jīng)在其上疊加所生成的字幕的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)，電視接收器300在諸如IXD等的顯示面板上顯示雙眼視差圖像(左眼圖像和右眼圖像數(shù)據(jù))，供用戶辨別出立體圖像。圖25是示意性地示出從廣播站100經(jīng)由機(jī)頂盒200到電視接收器300，或直接從廣播站100到電視接收器300的立體圖像數(shù)據(jù)和字幕數(shù)據(jù)(包含顯示控制信息)流的圖。在此情況下，在廣播站100生成用于立體圖像的字幕數(shù)據(jù)用于MVC (多視圖視頻編碼)格式。在此情況下，立體圖像數(shù)據(jù)被配置為基本視像數(shù)據(jù)(左眼圖像數(shù)據(jù))和非基本視像數(shù)據(jù)(右眼圖像數(shù)據(jù))。立體圖像包含在視頻數(shù)據(jù)流中發(fā)送，而用于立體圖像的字幕包含在字幕數(shù)據(jù)流中發(fā)送。首先，將描述從廣播站100發(fā)送立體圖像數(shù)據(jù)和字幕數(shù)據(jù)(包含顯示控制信息)到機(jī)頂盒200且機(jī)頂盒200是遺留2D兼容設(shè)備(遺留2D STB)的情況。機(jī)頂盒200基于字幕數(shù)據(jù)(不包含子區(qū)域顯示控制信息)生成用于區(qū)域的顯示數(shù)據(jù)以顯示左眼字幕和右眼字幕、疊加該顯示數(shù)據(jù)在基本視圖(左眼圖像數(shù)據(jù))上、并獲得輸出圖像數(shù)據(jù)。此情況中的疊加位置在區(qū)域的位置中。例如，機(jī)頂盒200經(jīng)由HDMI數(shù)字接口發(fā)送該輸出圖像數(shù)據(jù)到電視接收器300。不管是2D兼容設(shè)備(2D TV)還是3D兼容設(shè)備(3D TV),電視接收器300在顯示面板上顯示 2D圖像。接著，將描述從廣播站100發(fā)送立體圖像數(shù)據(jù)和字幕數(shù)據(jù)(包含顯示控制信息)到機(jī)頂盒200且機(jī)頂盒200是3D兼容設(shè)備(3D STB)的情況?；谧帜粩?shù)據(jù)(不包含子區(qū)域顯示控制信息)，機(jī)頂盒200生成用于區(qū)域的顯示數(shù)據(jù)，以顯示左眼字幕和右眼字幕。然后機(jī)頂盒200從該區(qū)域的顯示數(shù)據(jù)中提取與左眼SR對應(yīng)的顯示數(shù)據(jù)和與右眼SR對應(yīng)的顯示數(shù)據(jù)。然后機(jī)頂盒200將與左眼SR對應(yīng)的該顯示數(shù)據(jù)疊加到由幀O (其是左眼SR的目標(biāo)幀信息)指示的基本視圖(左眼圖像)的圖像數(shù)據(jù)，并獲得左眼字幕已疊加在其上的基本視圖(左眼圖像)的輸出圖像數(shù)據(jù)。在此情況下，與左眼SR對應(yīng)的顯示數(shù)據(jù)被疊加在通過將由“位置I”(其是左眼SR的范圍信息)指示的基本視圖(左眼圖像)圖像數(shù)據(jù)的位置移動(dòng)“視差I(lǐng)”(其是左眼SR的視差信息)而獲得的位置。然后機(jī)頂盒200將與右眼SR對應(yīng)的該顯示數(shù)據(jù)疊加到由幀I (其是右眼SR的目標(biāo)幀信息)指示的非基本視圖(右跟圖像)的圖像數(shù)據(jù)，并獲得右眼字幕已疊加在其上的非基本視圖(右眼圖像)的輸出圖像數(shù)據(jù)。在此情況下，與右眼SR對應(yīng)的顯示數(shù)據(jù)被疊加在通過將由“位置2”(其是右眼SR的范圍信息)指示的非基本視圖(右眼圖像)圖像數(shù)據(jù)的位置 移動(dòng)“視差2”(其是右眼SR的視差信息)而獲得的位置。然后機(jī)頂盒200例如經(jīng)由HDMI數(shù)字接口發(fā)送如此獲得的基本視圖(左眼圖像)和非基本視圖(右眼圖像)的圖像數(shù)據(jù)到電視接收器300。在此情況下，從機(jī)頂盒200到電視接收器300的立體圖像數(shù)據(jù)的發(fā)送格式是例如巾貞打包(Frame Packing)格式。如果電視接收器300是3D兼容設(shè)備(3D TV),則電視接收器300使從機(jī)頂盒200發(fā)送的并排格式立體圖像數(shù)據(jù)經(jīng)歷3D信號處理，并生成在其上疊加字幕的左眼圖像和右眼圖像數(shù)據(jù)。然后電視接收器300在諸如IXD等的顯示面板上顯示雙眼視差圖像(左眼圖像和右眼圖像數(shù)據(jù))，供用戶辨別出立體圖像。接著，將描述從廣播站100發(fā)送立體圖像數(shù)據(jù)和字幕數(shù)據(jù)(包含顯示控制信息)到電視接收器300且電視接收器300是3D兼容設(shè)備(3D TV)的情況。基于字幕數(shù)據(jù)(不包含子區(qū)域顯示控制信息)，電視接收器300生成用于區(qū)域的顯示數(shù)據(jù)，以顯示左眼字幕和右眼字幕。然后電視接收器300從此區(qū)域的顯示數(shù)據(jù)中提取與左眼SR對應(yīng)的顯示數(shù)據(jù)和與右眼SR對應(yīng)的顯示數(shù)據(jù)。電視接收器300將與左眼SR對應(yīng)的顯示數(shù)據(jù)疊加到由幀O (其是左眼SR的目標(biāo)幀信息)指示的基本視圖(左眼圖像)圖像數(shù)據(jù)上，并獲得左眼字幕已疊加在其上的基本視圖(左眼圖像)輸出圖像數(shù)據(jù)。在此情況下，與左眼SR對應(yīng)的顯示數(shù)據(jù)被疊加在由“位置I”(其是左眼SR范圍信息)指示的基本視圖(左眼圖像)圖像數(shù)據(jù)的位置被移動(dòng)“視差I(lǐng)”(其是左眼SR的視差信息)的位置上。電視接收器300將與右眼SR對應(yīng)的顯示數(shù)據(jù)疊加到由幀1(其是右眼SR的目標(biāo)幀信息)指示的非基本視圖(右眼圖像)的圖像數(shù)據(jù)上，并獲得右眼字幕已被疊加其上的非基本視圖(右眼圖像)輸出圖像數(shù)據(jù)。在此情況下，與右眼SR對應(yīng)的顯示數(shù)據(jù)被疊加在由“位置2”(其是右眼SR范圍信息)指示的非基本視圖(右眼圖像)圖像數(shù)據(jù)的位置被移動(dòng)“視差2”(其是右眼SR的視差信息)的位置上。基于如上述所生成的字幕已被疊加在其上的基本視圖(左眼圖像)和非基本視圖(右眼圖像)圖像數(shù)據(jù)，電視接收器300在諸如IXD等的顯示面板上顯示雙眼視差圖像(左眼圖像和右眼圖像數(shù)據(jù))，供用戶辨別出立體圖像。注意在以上描述中，已經(jīng)示出了單獨(dú)產(chǎn)生左眼SR和右眼SR的顯示控制信息(范圍信息、目標(biāo)幀信息、視差信息)的示例。然而，可以構(gòu)想產(chǎn)生用于左眼SR和右眼SR之一，例如左眼SR的顯示控制信息。在此情況下，在右眼SR的范圍信息的范圍信息、目標(biāo)幀信息和視差信息中，用于左眼SR的顯示控制信息不包含范圍信息但包含目標(biāo)幀信息和視差信息。圖26是示意性地示出從廣播站100經(jīng)由機(jī)頂盒200到電視接收器300，或直接從廣播站100到電視接收機(jī)300的立體圖像數(shù)據(jù)和字幕數(shù)據(jù)(包含顯示控制信息)流的圖。在此情況中，在廣播站100生成用于立體圖像的字幕數(shù)據(jù)用于并排(Side-by-Side)格式。立體圖像包含在視頻數(shù)據(jù)流中發(fā)送，而用于立體圖像的字幕包含在字幕數(shù)據(jù)流中發(fā)送。首先，將描述從廣播站100發(fā)送立體圖像數(shù)據(jù)和字幕數(shù)據(jù)(包含顯示控制信息)到機(jī)頂盒200且機(jī)頂盒200是遺留2D兼容設(shè)備(遺留2D STB)的情況。機(jī)頂盒200基于字幕數(shù)據(jù)(不包含子區(qū)域顯示控制信息)生成用于區(qū)域的顯示數(shù)據(jù)以顯示左眼字幕和右眼字幕、疊加此顯示數(shù)據(jù)到立體圖像數(shù)據(jù)上、并獲得輸出立體圖像數(shù)據(jù)。此情況中的疊加位置是在區(qū)域的位置中。機(jī)頂盒200例如經(jīng)由HDMI數(shù)字接口發(fā)送此輸出立體圖像數(shù)據(jù)到電視接收器300。在此情況中，從機(jī)頂盒200到電視接收器300的立體圖像數(shù)據(jù)的發(fā)送格式是例如并排(Side-by-Side)格式。如果電視接收器300是3D兼容設(shè)備(3D TV),則電視接收器300使從機(jī)頂盒200發(fā)送的并排格式立體圖像數(shù)據(jù)經(jīng)歷3D信號處理，并生成在其上疊加字幕的左眼圖像和右眼圖像數(shù)據(jù)。然后電視接收器300在諸如IXD等的顯示面板上顯示雙眼視差圖像(左眼圖像和右眼圖像數(shù)據(jù))，供用戶辨別出立體圖像。接著，將描述從廣播站100發(fā)送立體圖像數(shù)據(jù)和字幕數(shù)據(jù)(包含顯示控制信息)到機(jī)頂盒200且機(jī)頂盒200是3D兼容設(shè)備(3D STB)的情況。機(jī)頂盒200基于字幕數(shù)據(jù)(不包含子區(qū)域顯示控制信息)生成用于區(qū)域的顯示數(shù)據(jù)，以顯示左眼字幕和右眼字幕。然后機(jī)頂盒200從該區(qū)域的顯示數(shù)據(jù)中提取與左眼SR對應(yīng)的顯示 然后機(jī)頂盒200將與左眼SR對應(yīng)的該顯示數(shù)據(jù)疊加到立體圖像數(shù)據(jù)，并獲得輸出立體圖像數(shù)據(jù)。在此情況中，與左眼SR對應(yīng)的顯示數(shù)據(jù)被疊加到由幀O指示的幀部分(左眼幀部分)，所述幀O是左眼SR的目標(biāo)幀信息。同樣，與右眼SR對應(yīng)的顯示數(shù)據(jù)被疊加到由幀I指示的幀部分(右眼幀部分)，所述幀I是右眼SR的目標(biāo)幀部分。在此情況中，與左眼SR對應(yīng)的顯示數(shù)據(jù)被疊加到通過將由“位置”(其是左眼SR的范圍信息)指示的并排格式立體圖像數(shù)據(jù)的位置移動(dòng)“視差I(lǐng)”(其是左眼SR的視差信息)的一半而獲得的位置上。同樣，與左眼SR對應(yīng)的顯示數(shù)據(jù)被疊加到通過將由“位置”+H/2(其范圍信息)指示的并排格式立體圖像數(shù)據(jù)的位置移動(dòng)“視差2”(其是右眼SR的視差信息)的一半而獲得的位置上。然后機(jī)頂盒200例如經(jīng)由HDMI數(shù)字接口發(fā)送如此獲得的輸出立體圖像數(shù)據(jù)到電視接收器300。在此情況中，從機(jī)頂盒200到電視接收器300的立體圖像數(shù)據(jù)的發(fā)送格式是例如并排(Side-by-Side)格式。如果電視接收器300是3D兼容設(shè)備(3D TV),則電視接收器300使從機(jī)頂盒200發(fā)送的并排格式立體圖像數(shù)據(jù)經(jīng)歷3D信號處理，并生成字幕已疊加在其上的左眼圖像和 右眼圖像數(shù)據(jù)。然后電視接收器300在諸如IXD等的顯示面板上顯示雙眼視差圖像(左眼圖像和右眼圖像數(shù)據(jù))，供用戶辨別出立體圖像。接著，將描述從廣播站100發(fā)送立體圖像數(shù)據(jù)和字幕數(shù)據(jù)(包含顯示控制信息)到電視接收器300且電視接收器300是3D兼容設(shè)備(3D TV)的情況。基于字幕數(shù)據(jù)(不包含子區(qū)域顯示控制信息)，電視接收器300生成用于區(qū)域的顯示數(shù)據(jù)，以顯示左眼字幕和右眼字幕。然后電視接收器300從此區(qū)域的顯示數(shù)據(jù)中提取與左眼SR對應(yīng)的顯示數(shù)據(jù)。電視接收器300在水平方向上執(zhí)行與左眼SR對應(yīng)的顯示數(shù)據(jù)的加倍擴(kuò)大以獲得對應(yīng)于全分辨率的左眼顯示數(shù)據(jù)。然后電視接收器300疊加該全分辨率左眼圖像數(shù)據(jù)到幀O,該幀O是左眼SR的目標(biāo)幀信息。也就是說，電視接收器300疊加左眼顯示數(shù)據(jù)到全分辨率左眼圖像數(shù)據(jù)，該全分辨率左眼圖像數(shù)據(jù)是通過在水平方向上擴(kuò)大并排格式立體圖像數(shù)據(jù)的左眼圖像部分至兩倍而獲得的，由此生成字幕已疊加在其上的左眼圖像數(shù)據(jù)。電視接收器300還在水平方向上執(zhí)行與左眼SR對應(yīng)的顯示數(shù)據(jù)的加倍擴(kuò)大以獲得對應(yīng)于全分辨率的右眼顯示數(shù)據(jù)。然后電視接收器300疊加該全分辨率右眼圖像數(shù)據(jù)到幀1，該幀I是右眼SR的目標(biāo)幀信息。也就是說，電視接收器300疊加右眼顯示數(shù)據(jù)到全分辨率右眼圖像數(shù)據(jù)，該全分辨率右眼圖像數(shù)據(jù)是通過在水平方向上擴(kuò)大并排格式立體圖像數(shù)據(jù)的右眼圖像部分至兩倍而獲得的，由此生成字幕已被疊加在其上的右眼圖像數(shù)據(jù)。在此情況中，左眼顯示數(shù)據(jù)被疊加在通過將其“位置”(其是范圍信息)被加倍的全分辨率左眼圖像數(shù)據(jù)的位置移動(dòng)“視差I(lǐng)”(其是視差信息)而獲得的位置上。同樣，在此情況中，右眼顯示數(shù)據(jù)被疊加在通過將其“位置”(其是范圍信息)被加倍的全分辨率右眼圖像數(shù)據(jù)的位置移動(dòng)“視差2”(其是視差信息)而獲得的位置上?；谌缟鲜鏊傻淖帜灰询B加在其上的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)，電視接收器300在諸如IXD等的顯示面板上顯示雙眼視差圖像(左眼圖像和右眼圖像數(shù)據(jù))，供用戶辨別出立體圖像。對于圖2中所示的發(fā)送數(shù)據(jù)生成單元110，從多路復(fù)用器119中輸出的位流數(shù)據(jù)BSD是包括視頻數(shù)據(jù)流和字幕數(shù)據(jù)流的已多路復(fù)用的數(shù)據(jù)流。視頻數(shù)據(jù)流包括立體圖像數(shù)據(jù)。同樣，字幕數(shù)據(jù)流包括與立體圖像數(shù)據(jù)的發(fā)送格式對應(yīng)的用于立體圖像(用于三維圖像)的字幕數(shù)據(jù)。此用于立體圖像的字幕數(shù)據(jù)具有左眼字幕數(shù)據(jù)和右眼字幕數(shù)據(jù)。相應(yīng)地，在接收側(cè)可以容易地生成要被疊加到立體圖像數(shù)據(jù)具有的左眼圖像數(shù)據(jù)上的用于左眼字幕的顯示數(shù)據(jù)和要被疊加到立體圖像數(shù)據(jù)具有的右眼圖像數(shù)據(jù)上的用于右眼字幕的顯示數(shù)據(jù)。所以，處理變得更容易。同樣，對于圖2中所示的發(fā)送數(shù)據(jù)生成單元110，除了立體圖像數(shù)據(jù)和用于立體圖像的字幕數(shù)據(jù)之外，從多路復(fù)用器119中輸出的位流數(shù)據(jù)BSD還包括顯示控制信息。此顯示控制信息包括關(guān)于左眼SR和右眼SR的顯示控制信息(范圍信息、目標(biāo)幀信息、視差信息)。相應(yīng)地，在接收側(cè)，僅左眼SR內(nèi)的左眼字幕和右眼SR內(nèi)的字幕在目標(biāo)幀上的疊加顯示是容易的?？梢韵蜃笱跾R內(nèi)的左眼字幕和右眼SR內(nèi)的字幕的顯示位置提供視差，所以可以將圖像中關(guān)于其正顯示字幕(屏幕說明)的對象之間的透視的一致性保持在最佳狀態(tài)。同樣，對于圖2中所示的發(fā)送數(shù)據(jù)生成單元11 0，字幕處理單元116可以發(fā)送包含在字幕顯示時(shí)段內(nèi)順序更新的視差信息的SCS片斷，所以可以動(dòng)態(tài)地控制左眼SR內(nèi)的左眼字幕和右眼SR內(nèi)的右眼字幕的顯示位置。相應(yīng)地，在接收側(cè)，可以結(jié)合圖像內(nèi)容的改變，動(dòng)態(tài)地改變左眼字幕和右眼字幕之間提供的視差。同樣，對于圖2中所示的發(fā)送數(shù)據(jù)生成單元110，在字幕處理單元116產(chǎn)生的SCS片斷中包含的視差信息由字幕顯示時(shí)段中的第一幀的視差信息和之后的每一更新幀間隔處的幀的視差信息組成。所以，可以減少發(fā)送的數(shù)據(jù)量，并可以大大地節(jié)省在接收側(cè)的用于保存視差信息的存儲(chǔ)器容量。同樣，對于圖2中所示的發(fā)送數(shù)據(jù)生成單元110，在字幕處理單元116產(chǎn)生的SCS片斷中包含的在每一更新幀間隔處的幀的視差信息不是偏離先前的視差信息的偏移值而是視差信息本身。所以，即使在接收側(cè)在插值過程中發(fā)生錯(cuò)誤，也可以在某一延遲時(shí)間內(nèi)恢復(fù)該錯(cuò)誤。同樣，對于圖2中所示的發(fā)送數(shù)據(jù)生成單元110，在字幕處理單元116產(chǎn)生的SCS片斷中包含的視差信息是整數(shù)像素精度的。相應(yīng)地，不容易出現(xiàn)從一個(gè)接收器到另一個(gè)接收器的性能差異，所以在不同接收器間沒有隨著時(shí)間的差異。同樣，具有根據(jù)接收器的能力在更新幀之間插值的自由，所以在設(shè)計(jì)接收器時(shí)有自由。“機(jī)頂盒的描述”返回圖I，機(jī)頂盒200從廣播站100接收在廣播波上發(fā)送的位流數(shù)據(jù)(傳輸流)BSD。此位流數(shù)據(jù)BSD包括包含左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的立體圖像數(shù)據(jù)和音頻數(shù)據(jù)。此位流數(shù)據(jù)BSD還包括用于立體圖像的字幕數(shù)據(jù)(包含顯示控制信息)以顯示字幕(屏幕說明)。機(jī)頂盒200包括位流處理單元201。此位流處理單元201從位流數(shù)據(jù)BSD中提取立體圖像數(shù)據(jù)、音頻數(shù)據(jù)和字幕數(shù)據(jù)。此位流處理單元201使用立體圖像數(shù)據(jù)、音頻數(shù)據(jù)和字幕數(shù)據(jù)等來生成疊加在字幕的立體圖像數(shù)據(jù)。在這個(gè)情況中，在要被疊加到左眼圖像上的左眼字幕和要被疊加到右眼圖像上的右眼字幕之間可以提供視差。例如，如上所述，可以生成從廣播站100發(fā)送的用于立體圖像的字幕數(shù)據(jù)，并提供左眼字幕和右眼字幕之間的視差。同樣，如上所述，從廣播站100發(fā)送的添加到用于立體圖像的字幕數(shù)據(jù)的顯示控制信息包含視差信息，且基于此視差信息可以在左眼字幕和右跟字幕之間提供視差。如此，通過提供左眼字幕和右眼字幕間的視差，用戶可以辨別出字幕(屏幕說明)比圖像更近。圖27(a)示出了圖像上的字幕(屏幕說明)的顯示示例。此顯示示例是其中屏幕說明被疊加到由背景和特寫對象所組成的圖像上的示例。圖27(b)示出了背景、特寫對象和屏幕說明的透視，其中辨別出屏幕說明是最近的。圖28(a)示出了圖像上字幕(屏幕說明)的顯示示例，與圖27 (a)中一樣。在圖28(b)中示出了要疊加到左眼圖像上的左眼屏幕說明LGI和要疊加到右眼圖像上的右眼屏幕說明RGI。圖28(c)示出了在左眼屏幕說明LGI和右眼屏幕說明RGI之間給出視差，從而使得將辨別出屏幕說明是最近的?！皺C(jī)頂盒的配置示例” 將描述機(jī)頂盒200的配置示例。圖29示出了機(jī)頂盒200的配置示例。此機(jī)頂盒200包括位流處理單元201、HDMI端子202、天線端子203、數(shù)字調(diào)諧器204、視頻信號處理電路205、HDMI發(fā)送單元206和音頻信號處理電路207。同樣，此機(jī)頂盒200包括CPU 211、快閃R0M212、DRAM 213、內(nèi)部總線214、遠(yuǎn)程控制接收單元215和遠(yuǎn)程控制發(fā)送器216。天線端子203是用于輸入在接收天線(未示出)接收的電視廣播信號的端子。數(shù)字調(diào)諧器204處理輸入到天線端子203的電視廣播信號，并輸出與用戶所選擇的頻道相對應(yīng)的預(yù)定位流數(shù)據(jù)(傳輸流)BSD。位流處理單元201從該位流數(shù)據(jù)BSD中提取立體圖像數(shù)據(jù)、音頻數(shù)據(jù)、用于立體圖像的字幕數(shù)據(jù)(包含顯示控制信息)等。位流處理單元201輸出音頻數(shù)據(jù)。此位流處理單元201還關(guān)于立體圖像數(shù)據(jù)而合成顯示數(shù)據(jù)左眼字幕和右眼字幕，以獲得疊加有字幕的輸出立體圖像數(shù)據(jù)。顯示控制信息包括用于左眼SR和右眼SR的范圍信息、目標(biāo)幀信息和視
差/[目息。在此情況下，基于字幕數(shù)據(jù)(不包括用于子區(qū)域的顯示控制信息)，位流處理單元201生成用于顯示左眼字幕和右眼字幕的區(qū)域的顯示數(shù)據(jù)。然后位流處理單元201基于左眼SR和右眼SR的范圍信息從此區(qū)域的顯示數(shù)據(jù)提取對應(yīng)于左眼SR的顯示數(shù)據(jù)和對應(yīng)于右眼SR的顯示數(shù)據(jù)。然后位流處理單元201疊加對應(yīng)于左眼SR和右眼SR的顯示數(shù)據(jù)到立體圖像數(shù)據(jù)，并獲得輸出立體圖像數(shù)據(jù)(用于顯示的立體圖像數(shù)據(jù))。在此情況中，對應(yīng)于左眼SR的顯示數(shù)據(jù)被疊加到由幀O所指示的幀部分(左眼圖像幀部分)，所述幀O是左眼SR的目標(biāo)幀信息。同樣，對應(yīng)于右眼SR的顯示數(shù)據(jù)被疊加到由幀I所指示的幀部分(右眼圖像幀部分)，所述幀I是右眼SR的目標(biāo)幀信息。這時(shí)候，位流處理單元201執(zhí)行左眼SR內(nèi)的左眼字幕和右眼SR內(nèi)的右眼字幕的字幕顯示位置(疊加位置)的移動(dòng)調(diào)整。視頻信號處理電路205根據(jù)需要使在位流處理單元201獲得的輸出立體圖像數(shù)據(jù)經(jīng)歷圖像質(zhì)量調(diào)整處理，并將其處理之后的輸出立體圖像數(shù)據(jù)提供至HDMI發(fā)送單元206。音頻信號處理電路207根據(jù)需要使從位流處理單元201輸出的音頻數(shù)據(jù)經(jīng)歷音頻質(zhì)量調(diào)整處理，并將其處理之后的音頻數(shù)據(jù)提供至HDMI發(fā)送單元206。HDMI發(fā)送單元206通過遵守HDMI的通信發(fā)送例如未壓縮的圖像數(shù)據(jù)和音頻數(shù)據(jù)到HDMI端子202。在此情況中，由于通過HDMI TMDS信道發(fā)送數(shù)據(jù)，所以圖像數(shù)據(jù)和音頻數(shù)據(jù)經(jīng)歷打包，并從HDMI發(fā)送單元206輸出到HDMI端子202。例如，如果來自廣播站100的立體圖像數(shù)據(jù)的發(fā)送格式是并排格式，則TMDS發(fā)送格式是并排格式(見圖24)。同樣，如果來自廣播站100的立體圖像數(shù)據(jù)的發(fā)送格式是頂?shù)赘袷?，則TMDS發(fā)送格式是頂?shù)赘袷健Ｍ瑯?，如果來自廣播站100的立體圖像數(shù)據(jù)的發(fā)送格式是MVC格式，則TMDS發(fā)送格式是幀打包格式(見圖25)。CPU 211控制機(jī)頂盒200的每一單元的操作?？扉WROM 212執(zhí)行控制軟件的存儲(chǔ)以及數(shù)據(jù)的存儲(chǔ)。DRAM 213配置CPU 211的工作區(qū)。CPU 211將從快閃ROM 212讀出的軟件和數(shù)據(jù)加載到DRAM 213，并啟動(dòng)軟件以控制機(jī)頂盒200的每一單元。遠(yuǎn)程控制接收單元215接收從遠(yuǎn)程控制發(fā)送器216發(fā)送的遠(yuǎn)程控制信號(遠(yuǎn)程控制碼)，并提供至CPU 211。CPU 211基于該遠(yuǎn)程控制碼控制機(jī)頂盒200的每一單元。將CPU211、快閃ROM 212和DRAM 213連接至內(nèi)部總線214。將簡要地描述機(jī)頂盒200的操作。將輸入到天線端子203的電視廣播信號提供至數(shù)字調(diào)諧器204。利用此數(shù)字調(diào)諧器204，處理電視廣播信號，并輸出與用戶所選擇的頻道相對應(yīng)的預(yù)定位流數(shù)據(jù)(傳輸流)BSD。將從數(shù)字調(diào)諧器204輸出的位流數(shù)據(jù)BSD提供至位流處理單元201。利用此位流 處理單元201，從位流數(shù)據(jù)BSC中提取立體圖像數(shù)據(jù)、音頻數(shù)據(jù)、用于立體圖像的字幕數(shù)據(jù)(包含顯示控制信息)等等。在位流處理單元201，關(guān)于立體圖像數(shù)據(jù)而合成左眼字幕和右眼字幕的顯示數(shù)據(jù)，并獲得疊加有字幕的輸出立體圖像數(shù)據(jù)。將在位流處理單元201生成的輸出立體圖像數(shù)據(jù)提供至視頻信號處理電路205。在此視頻信號處理電路205，在需要時(shí)對輸出立體圖像數(shù)據(jù)執(zhí)行圖像質(zhì)量調(diào)整等。將從視頻信號處理電路205輸出的處理后的輸出立體圖像數(shù)據(jù)提供至HDMI發(fā)送單元206。同樣，將在位流處理單元201獲得的音頻數(shù)據(jù)提供至音頻信號處理電路207。在音頻信號處理電路207，根據(jù)需要使音頻數(shù)據(jù)經(jīng)歷音頻質(zhì)量調(diào)整處理。將從音頻信號處理電路207輸出的處理后的音頻數(shù)據(jù)提供至HDMI發(fā)送單元206。提供至HDMI發(fā)送單元206的立體圖像數(shù)據(jù)和音頻數(shù)據(jù)通過HDMITMDS信道從HDMI端子202發(fā)送到HDMI線纜400?！拔涣魈幚韱卧呐渲檬纠眻D30示出了位流處理單元201的配置示例。配置此位流處理單元201對應(yīng)于圖2中所示的上述發(fā)送數(shù)據(jù)生成單元110。此位流處理單元201包括多路分解器221、視頻解碼器222和音頻解碼器229。位流處理單元201還包括字幕解碼器223、立體圖像字幕生成單元224、顯示控制單元225、顯示控制信息獲取單元226、視差信息處理單元227和視頻疊加單元228。多路分解器221從位流數(shù)據(jù)BSD提取視頻、音頻和字幕的包，并發(fā)送至解碼器。注意多路分解器221提取插入到位流數(shù)據(jù)BSD中的諸如PMT、EIT等信息，并發(fā)送至CPU 211。如上所述,在EIT之下的組分描述符中描述了 Stream_content (’0x03’=DVB字幕)&C0mp0nent_type (用于3D目標(biāo))。所以，可以辨別出用于立體圖像的字幕包含在字幕數(shù)據(jù)流中的事實(shí)。所以，CPU 211通過此描述符可以辨別出用于立體圖像的字幕包含在字.數(shù)據(jù)流中。視頻解碼器222執(zhí)行與上述發(fā)送數(shù)據(jù)生成單元110的視頻編碼器112的處理相反的處理。也就是說，從在多路分解器221提取的視頻包重構(gòu)的視頻數(shù)據(jù)流，并執(zhí)行解碼處理以獲得包含左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的立體圖像數(shù)據(jù)。用于此立體圖像數(shù)據(jù)的發(fā)送格式是例如并排格式、頂?shù)赘袷?、幀順序格式、MVC格式等。字幕解碼器223執(zhí)行與上述發(fā)送數(shù)據(jù)生成單元110的字幕編碼器118的處理相反的處理。也就是說，此字幕解碼器223從在多路分解器221提取的字幕包重構(gòu)字幕數(shù)據(jù)流，執(zhí)行解碼操作，并獲得用于立體圖像的字幕數(shù)據(jù)(包含顯示控制信息)?；谟糜诹Ⅲw圖像的字幕數(shù)據(jù)(不包含顯示控制信息)，立體圖像字幕生成單元224生成要疊加到立體圖像數(shù)據(jù)上的左眼字幕和右眼字幕的顯示數(shù)據(jù)(位圖數(shù)據(jù))。此立體圖像字幕生成單元224配置顯示數(shù)據(jù)生成單元。基于顯示控制信息(左眼SR和右眼SR范圍信息、目標(biāo)幀信息和視差信息)，顯示控制單元225控制要疊加到立體圖像數(shù)據(jù)上的顯示數(shù)據(jù)。也就是說，基于左眼SR和右眼SR的范圍信息，顯示控制單元225從要疊加到立體圖像數(shù)據(jù)上的左眼字幕和右眼字幕的顯示數(shù)據(jù)(位圖數(shù)據(jù))中提取對應(yīng)于左眼SR的顯示數(shù)據(jù)和對應(yīng)于右眼SR的顯示數(shù)據(jù)。同樣，顯示控制單元225將對應(yīng)于左眼SR和右眼SR的顯示數(shù)據(jù)提供至視頻疊加單元228，并疊加到立體圖像數(shù)據(jù)上。在這種情況下，對應(yīng)于左眼SR的顯示數(shù)據(jù)被疊加在frameO指示的幀部分(左眼圖像幀部分)中，所述幀O是左眼SR的目標(biāo)幀信息。同樣，對應(yīng)于右眼SR的顯示數(shù)據(jù)被疊加在framel指示的幀部分(右眼圖像幀部分)中，所述幀I是右眼SR的目標(biāo)幀信息。在這時(shí)候，顯示控制單元225基于視差信息來執(zhí)行左眼SR內(nèi)的左眼 字幕和右眼SR內(nèi)的右眼字幕的顯示位置(疊加位置)的移動(dòng)調(diào)整，以便提供左眼字幕和右眼字幕間的視差。顯示控制信息獲取單元226從字幕數(shù)據(jù)流中獲得顯示控制信息(范圍信息、目標(biāo)幀信息和視差信息)。顯示控制信息包含在屏幕說明顯示時(shí)段(見圖18中的“subregion_disparity”)期間共同使用的視差信息。同樣，此顯示控制信息可以包含在屏幕說明顯示時(shí)段(見圖21中的“diSparity_Update”)期間順序更新的視差信息。在屏幕說明顯示時(shí)段期間順序更新的視差信息由字幕顯示時(shí)段中第一幀的視差信息和之后的每一更新幀間隔(updating frame spacing)處的巾貞的視差信息組成。視差信息處理單元227發(fā)送包含在顯示控制信息中的范圍信息和目標(biāo)幀信息，以及此外在屏幕說明顯示時(shí)段期間共同使用的視差信息到顯示控制單元225，而不進(jìn)行任何改變。另一方面，關(guān)于在屏幕說明顯示時(shí)段期間順序更新的視差信息，視差信息處理單元227生成在屏幕說明顯示時(shí)段期間內(nèi)的任意幀間隔，例如一個(gè)幀間隔處的視差信息，并發(fā)送此視差信息到顯示控制單元225。視差信息處理單元227對于該插值處理執(zhí)行涉及在時(shí)間方向(幀方向)上的低通濾波(LIP)處理的插值處理，而不是線性插值處理，從而在時(shí)間方向(幀方向)上插值處理之后的視差信息在預(yù)定幀間隔的變化將是平滑的。圖31示出了在視差信息處理單元227的涉及上述LPF處理的插值處理的示例。此示例對應(yīng)于上述圖23中的視差信息的更新示例。現(xiàn)在，如果從視差信息處理單元227僅發(fā)送在屏幕說明顯示時(shí)段期間共同使用的視差信息(視差矢量)，則顯示控制單元225使用此視差信息。同樣，如果從視差信息處理單元227還進(jìn)一步發(fā)送屏幕說明顯示時(shí)段期間順序更新的視差信息，則視差信息處理單元227使用一個(gè)或另一個(gè)。使用哪一個(gè)受包含在擴(kuò)展的顯示控制數(shù)據(jù)單元中的信息(“rendering_level”指示視差信息(disparity)的相關(guān)性的等級)規(guī)定，所述信息對于在接收側(cè)(解碼器側(cè))顯示屏幕說明是必不可少的。在此情況下，如果例如是“00”，則應(yīng)用用戶設(shè)置。使用在屏幕說明顯示時(shí)段期間順序更新的視差信息使得要應(yīng)用到左眼字幕和右眼字幕的視差能夠結(jié)合圖像內(nèi)容上的改變而動(dòng)態(tài)地改變。
視頻疊加單元228獲得輸出立體圖像數(shù)據(jù)Vout。在此情況下，視頻疊加單元228將已經(jīng)經(jīng)歷過由顯示控制單元225進(jìn)行的移動(dòng)調(diào)整的左眼SR和右眼SR的顯示數(shù)據(jù)(位圖數(shù)據(jù))疊加到在視頻解碼器222獲得的立體圖像數(shù)據(jù)的對應(yīng)目標(biāo)幀部分。然后視頻疊加單元228從位流處理單元201外部地輸出輸出立體圖像數(shù)據(jù)Vout。同樣，音頻解碼器229執(zhí)行與上述發(fā)送數(shù)據(jù)生成單元110的音頻編碼器113的處理相反的處理。也就是說，音頻解碼器229從在多路分解器221提取的音頻包重構(gòu)音頻基本流、執(zhí)行解碼處理、并獲得音頻數(shù)據(jù)Aout。然后音頻解碼器229從位流處理單元201外部地輸出音頻數(shù)據(jù)Aout。將簡要地描述圖30中顯示出的位流處理單元201的操作。將從數(shù)字調(diào)諧器(見圖29)輸出的位流數(shù)據(jù)BSD提供至多路分解器221。在多路分解器221，從位流數(shù)據(jù)BSD提取視頻、音頻和字幕的包，并提供至解碼器。在視頻解碼器222重構(gòu)來自在多路分解器221提取的視頻包的視頻數(shù)據(jù)流，并進(jìn)一步對其進(jìn)行解碼處理，由此獲得包含左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的立體圖像數(shù)據(jù)。提供此立體圖像數(shù)據(jù)至顯示控制信息獲取單元226?！ね瑯?，在字幕解碼器223，從在多路分解器221提取的字幕包重構(gòu)字幕數(shù)據(jù)流，并進(jìn)一步執(zhí)行解碼處理，由此獲得用于立體圖像的字幕數(shù)據(jù)(包含顯示控制信息)。提供此字幕數(shù)據(jù)至立體圖像字幕生成單元224。在立體圖像字幕生成單元224，基于用于立體圖像的字幕數(shù)據(jù)(不包含顯示控制信息)來生成要疊加到立體圖像數(shù)據(jù)上的左眼字幕和右眼字幕的顯示數(shù)據(jù)(位圖數(shù)據(jù))。提供此顯示數(shù)據(jù)至顯示控制單元225。同樣，在顯示控制信息獲取單元226，從字幕數(shù)據(jù)流中獲得顯示控制信息(范圍信息、目標(biāo)幀信息和視差信息)。顯示控制信息經(jīng)由視差信息處理單元227而被提供至顯示控制單元225。在這時(shí)候，視差信息處理單元227關(guān)于在屏幕說明顯示時(shí)段期間順序更新的視差信息執(zhí)行以下處理。也就是說，在視差信息處理單元227執(zhí)行涉及在時(shí)間方向(幀方向)上的LPF處理的插值處理，由此生成在屏幕說明顯示時(shí)段期間的任意幀間隔，例如一個(gè)幀間隔處的視差信息，然后將其發(fā)送至顯示控制單元225。在顯示控制單元225，基于顯示控制信息(左眼SR和右眼SR的范圍信息、目標(biāo)幀信息和視差信息)來控制關(guān)于立體圖像數(shù)據(jù)的顯示數(shù)據(jù)的疊加。也就是說，從在立體圖像字幕生成單元224生成的顯示數(shù)據(jù)中提取左眼SR和右眼SR的顯示數(shù)據(jù)，并且其經(jīng)歷移動(dòng)調(diào)整。接著，將左眼SR和右眼SR的移動(dòng)調(diào)整后的顯示數(shù)據(jù)提供至視頻疊加單元228，以便疊加到立體圖像數(shù)據(jù)的目標(biāo)幀上。在視頻疊加單元228，在顯示控制單元225移動(dòng)調(diào)整后的顯示數(shù)據(jù)被疊加到在視頻解碼器222獲得的立體圖像數(shù)據(jù)上，由此獲得輸出立體圖像數(shù)據(jù)Vout。此輸出立體圖像數(shù)據(jù)Vout從位流處理單元201外部地輸出。同樣，在音頻解碼器229，從在多路分解器221提取的音頻包重建音頻基本流，并執(zhí)行進(jìn)一步的解碼處理，由此獲得與上述用于顯示的立體圖像數(shù)據(jù)Vout對應(yīng)的音頻數(shù)據(jù)Aout。從位流處理單元201外部地輸出此音頻數(shù)據(jù)Aout。關(guān)于圖29中示出的機(jī)頂盒200，從數(shù)字調(diào)諧器204輸出的位流數(shù)據(jù)BSD是具有視頻數(shù)據(jù)流和字幕數(shù)據(jù)流的多路復(fù)用的數(shù)據(jù)流。視頻數(shù)據(jù)流包括立體圖像數(shù)據(jù)。同樣，字幕數(shù)據(jù)流包括用于立體圖像數(shù)據(jù)(用于三維圖像)的、與立體圖像數(shù)據(jù)的發(fā)送格式對應(yīng)的字幕數(shù)據(jù)。該用于立體圖像的字幕數(shù)據(jù)具有用于左眼字幕的數(shù)據(jù)和用于右眼字幕的數(shù)據(jù)。所以，位流處理單元201的立體圖像字幕生成單元224能夠容易地生成要疊加到立體圖像數(shù)據(jù)具有的左眼圖像數(shù)據(jù)上的、用于左眼字幕的顯示數(shù)據(jù)。同樣，位流處理單元201的立體圖像字幕生成單元224能夠容易地生成要疊加到立體圖像數(shù)據(jù)具有的右眼圖像數(shù)據(jù)上的、用于右眼字幕的顯示數(shù)據(jù)。如此，可以使得處理更容易。同樣，對于圖29中示出的機(jī)頂盒200，除了立體圖像數(shù)據(jù)和用于 立體圖像的字幕數(shù)據(jù)之外，從數(shù)字調(diào)諧器204輸出的位流數(shù)據(jù)BSD還包括顯示控制信息。此顯示控制信息包括涉及左眼SR和右眼SR的顯示控制信息(范圍信息、目標(biāo)幀信息和視差信息)。所以，單獨(dú)地在各個(gè)目標(biāo)幀上執(zhí)行左眼SR內(nèi)的左眼字幕和右眼SR內(nèi)的字幕的疊加顯示是容易的。同樣，可以向左眼SR內(nèi)的左眼字幕和右眼SR內(nèi)的字幕的顯示位置提供視差，所以可以將關(guān)于其顯示字幕(屏幕說明)的圖像中對象間的透視的一致性保持在最佳狀態(tài)。同樣，對于圖29中示出的機(jī)頂盒200，如果在屏幕說明顯示時(shí)段內(nèi)順序更新的視差信息包含在位流處理單元201的顯示控制信息獲取單元226獲得的顯示控制信息內(nèi)，則顯示控制單元225可以動(dòng)態(tài)地控制左眼SR內(nèi)左眼字幕和右眼SR內(nèi)右眼字幕的顯示位置。所以，應(yīng)用到左眼字幕和右眼字幕的視差可以結(jié)合圖像內(nèi)容的變化而動(dòng)態(tài)地變化。同樣，對于圖29中示出的機(jī)頂盒200，對形成在屏幕說明顯示時(shí)段(預(yù)定數(shù)目的幀的時(shí)段)內(nèi)順序更新的視差信息的多幀的視差信息執(zhí)行插值處理。在此情況下，即使假如在每一更新幀間隔從發(fā)送側(cè)發(fā)送視差信息，也可以在合適的間隔、例如每一幀，控制要在左眼字幕和右眼字幕之間提供的視差。同樣，對于圖29中示出的機(jī)頂盒200，執(zhí)行在位流處理單元201的視差信息處理單元227的插值處理涉及在時(shí)間方向(幀方向)上的低通濾波處理。所以，即使假如在每一更新幀間隔從發(fā)送側(cè)發(fā)送視差信息，也可以平滑在時(shí)間方向的插值處理之后的視差信息的變化，并可以抑制在左眼字幕和右眼字幕之間應(yīng)用的視差的轉(zhuǎn)變在每一更新幀間隔變得不連接的不自然的感覺?！半娨暯邮掌鞯拿枋觥狈祷貓D1，電視接收器300接收經(jīng)由HDMI線纜400從機(jī)頂盒200發(fā)送的立體圖像數(shù)據(jù)。此電視接收器300包括3D信號處理單元301。此3D信號處理單元301使立體圖像數(shù)據(jù)經(jīng)歷與發(fā)送方法對應(yīng)的處理(解碼處理)以生成左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的。“電視接收器的配置示例”將描述電視接收器300的配置示例。圖32示出了電視接收器300的配置示例。此電視接收器300包括3D信號處理單元301、HDMI端子302、HDMI接收單元303、天線端子304、數(shù)字調(diào)諧器305和位流處理單元306。同樣，此電視接收器300包括視頻和圖形處理電路307、面板驅(qū)動(dòng)電路308、顯示面板309、音頻信號處理電路310、音頻放大電路311和揚(yáng)聲器312。此電視接收器還包括CPU321、快閃ROM 322、DRAM 323、內(nèi)部總線324、遠(yuǎn)程控制接收單元325和遠(yuǎn)程控制發(fā)送器326。天線端子304是用于輸入在接收天線(未示出)接收的電視廣播信號的端子。數(shù)字調(diào)諧器305處理輸入到天線端子304的電視廣播信號，并輸出與用戶所選擇的頻道對應(yīng)的預(yù)定位流數(shù)據(jù)(傳輸流)。位流處理單元306從位流數(shù)據(jù)BSD提取立體圖像數(shù)據(jù)、音頻數(shù)據(jù)、用于立體圖像顯示的字幕數(shù)據(jù)(包含顯示控制信息)等等。同樣，以與機(jī)頂盒200的位流處理單元201相同的方式配置位流處理單元306。該位流處理單元306將左眼字幕和右眼字幕的顯示數(shù)據(jù)合成到立體圖像數(shù)據(jù)，以便生成在其上疊加有字幕的輸出立體圖像數(shù)據(jù)，并輸出。注意如果立體圖像數(shù)據(jù)的發(fā)送格式是例如并排格式或頂?shù)赘袷剑瑒t位流處理單元306執(zhí)行擴(kuò)大處理并輸出全分辨率的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)(見圖24到圖26中的電視接收器300的部分)。同樣，位流處理單元306輸出音頻數(shù)據(jù)。HDMI接收單元303接收經(jīng)由HDMI線纜400通過遵循HDMI的通信提供至HDMI端子302的未壓縮的圖像數(shù)據(jù)和音頻數(shù)據(jù)。版本是例如HDMII. 4a的此HDMI接收單元303處
于可以處理立體圖像數(shù)據(jù)的狀態(tài)。3D信號處理單元301使在HDMI接收單元303接收的立體圖像數(shù)據(jù)經(jīng)歷解碼處理，并生成全分辨率左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。3D信號處理單元301執(zhí)行與TMDS發(fā)送數(shù)據(jù)格式對應(yīng)的解碼處理。注意，3D信號處理單元301對在位流處理單元306獲得的全分辨率左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)不做任何處理。視頻和圖形處理電路307基于在3D信號處理單元301生成的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)來生成用于顯示立體圖像的圖像數(shù)據(jù)。同樣，視頻和圖形處理電路307根據(jù)需要使圖像數(shù)據(jù)經(jīng)歷圖像質(zhì)量調(diào)整處理。同樣，視頻和圖形處理電路307根據(jù)需要關(guān)于圖像數(shù)據(jù)合成諸如菜單、節(jié)目列表等疊加信息的數(shù)據(jù)。面板驅(qū)動(dòng)電路308基于從視頻和圖形處理電路307輸出的圖像數(shù)據(jù)來驅(qū)動(dòng)顯示面板309。顯示面板309配置為例如IXD (液晶顯示器)、rop (等離子顯示面板)等。音頻信號處理電路310使在HDMI接收單元303接收的或在位流處理單元306獲得的音頻數(shù)據(jù)經(jīng)歷諸如D/A轉(zhuǎn)換等的必要處理。音頻放大電路311放大從音頻信號處理電路310輸出的音頻信號，提供至揚(yáng)聲器312。CPU 321控制電視接收器300的每一單元的操作?？扉WROM 322執(zhí)行控制軟件的存儲(chǔ)和數(shù)據(jù)的存儲(chǔ)。DRAM 323形成CPU 321的工作區(qū)。CPU 321將從快閃ROM 322讀取的軟件和數(shù)據(jù)加載到DRAM 323，啟動(dòng)軟件并控制電視接收器300的每一單兀。遠(yuǎn)程控制單兀325接收從遠(yuǎn)程控制發(fā)送器326發(fā)送的遠(yuǎn)程控制信號(遠(yuǎn)程控制碼)，并提供至CPU 321。CPU321基于此遠(yuǎn)程控制碼控制電視接收器300的每一單元。CPU 321、快閃ROM 322和DRAM323連接至內(nèi)部總線324。將簡要地描述圖32中示出的電視接收器300的操作。HDMI接收單元303接收從經(jīng)由HDMI線纜400連接至HDMI端子302的機(jī)頂盒200發(fā)送的立體圖像數(shù)據(jù)和音頻數(shù)據(jù)。在此HDMI接收單元303接收的此立體圖像數(shù)據(jù)被提供至3D信號處理單元301。同樣，在此HDMI接收單元303接收的音頻數(shù)據(jù)被提供至音頻信號處理單元310。輸入至天線端子304的電視廣播信號被提供至數(shù)字調(diào)諧器305。利用此數(shù)字調(diào)諧器305，處理電視廣播信號，并輸出與用戶所選擇的頻道對應(yīng)的預(yù)定位流數(shù)據(jù)(傳輸流)BSD。從數(shù)字調(diào)諧器305輸出的位流數(shù)據(jù)BSD被提供至位流處理單元306。利用此位流處理單元306，從位流數(shù)據(jù)中提取立體圖像數(shù)據(jù)、音頻數(shù)據(jù)、用于立體圖像的字幕數(shù)據(jù)(包含顯示控制信息)等。同樣，利用此位流處理單元306，合成左眼字幕和右眼字幕的顯示數(shù)據(jù)，并生成疊加有字幕的輸出立體圖像數(shù)據(jù)(全分辨率左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù))。此輸出立體圖像數(shù)據(jù)經(jīng)由3D信號處理單元301被提供至視頻和圖形處理電路307。利用3D信號處理單元301，使在HDMI接收單元303接收的立體圖像數(shù)據(jù)經(jīng)歷解碼處理，并生成全分辨率的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)被提供至視頻和圖形處理電路307。利用此視頻和圖形處理電路307，基于左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)來生成用于顯示立體圖像的圖像數(shù)據(jù)，并且還根據(jù)需要執(zhí)行圖像質(zhì)量調(diào)整處理和諸如OSD (屏幕上顯示)的疊加信息數(shù)據(jù)的合成處理。在該視頻和圖形處理電路307獲得的圖像數(shù)據(jù)被提供至面板驅(qū)動(dòng)電路308。所以，在顯示面板309顯示立體圖像。例如，以時(shí)間分享(time-sharing)方式交替地顯示依據(jù)左眼圖像數(shù)據(jù)的左圖像和依據(jù)右眼圖像數(shù)據(jù)的右圖像。觀看者可以用左眼單獨(dú)觀看左眼圖 像，且用右眼單獨(dú)觀看右眼圖像，且從而可以通過戴快門式眼鏡感知立體圖像，在快門式眼鏡中與顯示面板309的顯示不同步地交替打開左眼快門和右眼快門。同樣，在位流處理單元306獲得的音頻數(shù)據(jù)被提供至音頻信號處理電路310。在音頻信號處理電路310，使在HDMI接收單元303接收的或在位流處理單元306獲得的音頻數(shù)據(jù)經(jīng)歷諸如D/A轉(zhuǎn)換等的必要處理。在音頻放大電路311放大此音頻數(shù)據(jù)，并接著將其提供至揚(yáng)聲器312。所以，從揚(yáng)聲器312輸出對應(yīng)于顯示面板309的顯示圖像的音頻。“發(fā)送數(shù)據(jù)生成單元和位流處理單元的其它配置(I)”“發(fā)送數(shù)據(jù)生成單元的配置示例”圖33示出了廣播站100 (見圖I)的發(fā)送數(shù)據(jù)生成單元IlOA的配置示例。此發(fā)送數(shù)據(jù)生成單元IlOA發(fā)送具有易于與現(xiàn)有的廣播標(biāo)準(zhǔn)ARIB (日本無線工業(yè)和商貿(mào)聯(lián)合會(huì))格式兼容的數(shù)據(jù)結(jié)構(gòu)的視差信息(視差矢量)。發(fā)送數(shù)據(jù)生成單元IIOA包括數(shù)據(jù)提取單元(歸檔單元)121、視頻編碼器122、音頻編碼器123、屏幕說明生成單元124、視差信息產(chǎn)生單元125、屏幕說明編碼器126和多路復(fù)用器127。數(shù)據(jù)記錄介質(zhì)121a例如可拆卸地安裝到數(shù)據(jù)提取單元121。以與圖2中所示的發(fā)送數(shù)據(jù)生成單元110的數(shù)據(jù)提取單元111中的數(shù)據(jù)記錄介質(zhì)11 Ia相同的方式，該數(shù)據(jù)記錄介質(zhì)121a已經(jīng)以相關(guān)的方式在其中記錄了音頻數(shù)據(jù)和視差信息，以及包括左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的立體圖像數(shù)據(jù)。數(shù)據(jù)提取單元121從數(shù)據(jù)記錄介質(zhì)121a提取立體圖像數(shù)據(jù)、音頻數(shù)據(jù)、視差信息，等等。數(shù)據(jù)記錄介質(zhì)121a是盤形記錄介質(zhì)、半導(dǎo)體存儲(chǔ)器等等。返回圖33，屏幕說明生成單元124生成屏幕說明數(shù)據(jù)(ARIB格式屏幕說明文本數(shù)據(jù))。屏幕說明編碼器126生成包括在屏幕說明生成單元124生成的屏幕說明數(shù)據(jù)的屏幕說明數(shù)據(jù)流(屏幕說明基本流)。圖34 (a)示出屏幕說明數(shù)據(jù)流的配置示例。這個(gè)示例示出其中在同一個(gè)屏幕上顯示“第一屏幕說明單元”、“第二屏幕說明單元”、“第三屏幕說明單元”這三個(gè)屏幕說明單元(屏幕說明)的示例，如圖34 (b)所示。將每個(gè)屏幕說明單元的屏幕說明數(shù)據(jù)插入屏幕說明流數(shù)據(jù)，作為屏幕說明文本組的屏幕說明文本數(shù)據(jù)(屏幕說明碼)。注意，盡管未在圖中顯示，將諸如屏幕說明單元的顯示范圍等等的設(shè)置數(shù)據(jù)插入屏幕說明數(shù)據(jù)流中，作為屏幕說明管理數(shù)據(jù)組的數(shù)據(jù)?！暗谝黄聊徽f明單元”、“第二屏幕說明單元”、“第三屏幕說明單元”的屏幕說明單元的顯示范圍分別通過(xl, yl)> (x2, y2)以及(x3, y3)指示。
視差信息產(chǎn)生單元125具有觀看者功能。這個(gè)視差信息產(chǎn)生單元125使從數(shù)據(jù)提取單元121輸出的視差信息(即對于每個(gè)像素(pixel)的視差向量)經(jīng)歷縮小化處理，并且生成屬于預(yù)定范圍的視差向量。視差信息產(chǎn)生單元125執(zhí)行與上述圖2中所示的發(fā)送數(shù)據(jù)生成單元110的視差信息產(chǎn)生單元115相同的縮小化處理，但其詳細(xì)描述將會(huì)省略。視差信息產(chǎn)生單元125通過上述縮小化處理的方式，產(chǎn)生對應(yīng)于在同一個(gè)屏幕上顯示的預(yù)定數(shù)目的屏幕說明單元(屏幕說明)的視差矢量。在這種情況下，視差信息產(chǎn)生單元125為每個(gè)屏幕說明單元產(chǎn)生視差矢量(單獨(dú)視差矢量)，或者產(chǎn)生在屏幕說明單元之間共享的視差矢量(公共視差矢量)。其中例如通過用戶設(shè)置進(jìn)行選擇。如果產(chǎn)生單獨(dú)視差矢量，視差信息產(chǎn)生單元125基于每個(gè)屏幕說明單元的顯示區(qū)域，通過上述縮小化處理獲得屬于該顯示區(qū)域的視差矢量。同樣，如果產(chǎn)生公共矢量，視差信息產(chǎn)生單元125通過上述縮小化處理(參見圖9 (d))獲得整個(gè)圖片(整個(gè)圖像)的視差矢量。注意，如果產(chǎn)生公共矢量，可以做出使視差信息產(chǎn)生單元125獲得屬于每個(gè)屏幕說明單元的顯示范圍的視差矢量并且選擇具有最大值的視差矢量的布置。
如上所述，屏幕說明編碼器126屏幕說明數(shù)據(jù)流中包括如上所述在視差信息產(chǎn)生單元125產(chǎn)生的視差矢量(視差信息)。在這種情況下，將在同一個(gè)屏幕上顯示的每個(gè)屏幕說明單元的屏幕說明數(shù)據(jù)插入屏幕說明數(shù)據(jù)流中的屏幕說明文本數(shù)據(jù)組的PES流，作為屏幕說明文本數(shù)據(jù)(屏幕說明碼)。并且，將視差矢量(視差信息)插入這個(gè)屏幕說明數(shù)據(jù)流中的屏幕說明文本數(shù)據(jù)組的PES流的屏幕說明管理數(shù)據(jù)的PES流，作為對于屏幕說明的顯示控制信息。將會(huì)關(guān)于要利用視差信息產(chǎn)生單元125產(chǎn)生單獨(dú)視差矢量、并且要在屏幕說明管理數(shù)據(jù)的PES流中插入視差矢量(視差信息)的情況進(jìn)行描述。這里，我們將考慮在同一個(gè)屏幕上顯示“第一屏幕說明單元”、“第二屏幕說明單元”、以及“第三屏幕說明單元”三個(gè)屏幕說明單元(屏幕說明)的示例。如圖35 (b)中所示，視差信息產(chǎn)生單元125產(chǎn)生對應(yīng)于屏幕說明單元的單獨(dú)視差矢量?！耙暡領(lǐng)”是對應(yīng)于“第一屏幕說明單元”的單獨(dú)視差矢量。“視差2”是對應(yīng)于“第二屏幕說明單元”的單獨(dú)視差矢量。“視差3”是對應(yīng)于“第三屏幕說明單元”的單獨(dú)視差矢量。圖35 Ca)示出在屏幕說明編碼器126生成的屏幕說明數(shù)據(jù)流(PES流)的配置示例。屏幕說明數(shù)據(jù)組的PES流已經(jīng)插入了每個(gè)屏幕說明單元的屏幕說明文本信息、以及與每個(gè)屏幕說明文本信息相關(guān)的擴(kuò)展顯示控制信息(數(shù)據(jù)單元ID)。并且，屏幕說明管理數(shù)據(jù)組的PES流已經(jīng)插入了與每個(gè)屏幕說明單元的屏幕說明文本信息相關(guān)的擴(kuò)展顯示控制信息(視差信息)。屏幕說明文本數(shù)據(jù)組的擴(kuò)展顯示控制信息(數(shù)據(jù)單元ID)對于將屏幕說明管理數(shù)據(jù)組的每個(gè)擴(kuò)展顯示控制信息(視差信息)與屏幕說明文本數(shù)據(jù)組的每個(gè)屏幕說明文本信息相關(guān)聯(lián)是必需的。在這種情況下，充當(dāng)屏幕說明管理數(shù)據(jù)組的每個(gè)擴(kuò)展顯示控制信息的視差信息是對應(yīng)的屏幕說明單元的單獨(dú)視差矢量。注意，盡管未在圖中示出，將每個(gè)屏幕說明單元的顯示范圍的設(shè)置數(shù)據(jù)插入屏幕說明管理數(shù)據(jù)組的PES流中，作為屏幕說明管理數(shù)據(jù)(控制碼)?！暗谝黄聊徽f明單元”、“第二屏幕說明單元”、以及“第三屏幕說明單元”的屏幕說明單元的顯示范圍分別通過(xl，yl)> (x2, y2)以及(x3, y3)指示。圖35 (C)示出已經(jīng)在其上疊加了每個(gè)屏幕說明單元(屏幕說明)的第一視圖(IstView)，例如右眼圖像。并且，圖35 (d)示出已經(jīng)在其上疊加了每個(gè)屏幕說明單元(屏幕說明)的第二視圖(2nd View)，例如左眼圖像。使用對應(yīng)于屏幕說明單元的單獨(dú)視差矢量來提供例如在右眼圖像上疊加的屏幕說明單元和在左眼圖像上疊加的屏幕說明單元之間的視差。將會(huì)關(guān)于要利用視差信息產(chǎn)生單元125產(chǎn)生公共視差矢量、并且要在屏幕說明管理數(shù)據(jù)的PES流中插入視差矢量(視差信息)的情況進(jìn)行描述。這里，我們將考慮在同一個(gè)屏幕上顯示“第一屏幕說明單元”、“第二屏幕說明單元”、以及“第三屏幕說明單元”三個(gè)屏幕說明單元(屏幕說明)的示例。如圖36 (b)中所示，視差信息產(chǎn)生單元125產(chǎn)生由屏幕說明單元共享的公共視差矢量。圖36 Ca)示出在屏幕說明編碼器126產(chǎn)生的屏幕說明數(shù)據(jù)流(PES流)的配置示例。屏幕說明數(shù)據(jù)組的PES流已經(jīng)插入了每個(gè)屏幕說明單元的屏幕說明文本信息。并且， 屏幕說明管理數(shù)據(jù)組的PES流已經(jīng)插入了與每個(gè)屏幕說明單元的屏幕說明文本信息共同相關(guān)的擴(kuò)展顯示控制信息(視差信息)。在這種情況下，充當(dāng)屏幕說明管理數(shù)據(jù)組的擴(kuò)展顯示控制信息的視差信息是每個(gè)屏幕說明單元的共享視差矢量。注意，盡管未在圖中示出，將每個(gè)屏幕說明單元的顯示范圍的設(shè)置數(shù)據(jù)插入屏幕說明管理數(shù)據(jù)組的PES流中，作為屏幕說明管理數(shù)據(jù)(控制碼)?！暗谝黄聊徽f明單元”、“第二屏幕說明單元”、以及“第三屏幕說明單元”的屏幕說明單元的顯示范圍分別通過(xl，yl)、(x2, y2)以及(x3, y3)指示。圖36 (C)示出已經(jīng)在其上疊加了每個(gè)屏幕說明單元(屏幕說明)的第一視圖(IstView)，例如右眼圖像。并且，圖36 (d)示出已經(jīng)在其上疊加了每個(gè)屏幕說明單元(屏幕說明)的第二視圖(2nd View)，例如左眼圖像。使用在屏幕說明單元之間共享的公共視差矢量以提供例如在右眼圖像上疊加的屏幕說明單元和在左眼圖像上疊加的屏幕說明單元之間的視差。下面，將會(huì)關(guān)于要利用視差信息產(chǎn)生單元125產(chǎn)生單獨(dú)視差矢量、并且要在屏幕說明文本數(shù)據(jù)組的PES流中插入視差矢量(視差信息)的情況進(jìn)行描述。這里，我們將考慮在同一個(gè)屏幕上顯示“第一屏幕說明單元”、“第二屏幕說明單元”、以及“第三屏幕說明單元”三個(gè)屏幕說明單元(屏幕說明)的示例。如圖37 (b)中所示，視差信息產(chǎn)生單元125產(chǎn)生對應(yīng)于屏幕說明單元的單獨(dú)視差矢量?！耙暡領(lǐng)”是對應(yīng)于“第一屏幕說明單元”的單獨(dú)視差矢量?！耙暡?”是對應(yīng)于“第二屏幕說明單元”的單獨(dú)視差矢量?！耙暡?”是對應(yīng)于“第三屏幕說明單元”的單獨(dú)視差矢量。圖37 (a)示出來自在屏幕說明編碼器126生成的屏幕說明數(shù)據(jù)流(PES流)的屏幕說明文本數(shù)據(jù)組的PES流的配置示例。屏幕說明文本數(shù)據(jù)組的PES流已經(jīng)插入了每個(gè)屏幕說明單元的屏幕說明文本信息(屏幕說明文本數(shù)據(jù))插入其中。并且，在其中插入對應(yīng)于每個(gè)屏幕說明單元的屏幕說明文本信息的顯示控制信息(視差信息)。在這種情況下，如上所述，充當(dāng)每個(gè)顯示控制信息的視差信息是在視差信息產(chǎn)生單元125產(chǎn)生的單獨(dú)視差矢量。注意，盡管未在圖中示出，將每個(gè)屏幕說明單元的顯示范圍的設(shè)置數(shù)據(jù)等插入屏幕說明管理數(shù)據(jù)組的PES流中，作為屏幕說明管理數(shù)據(jù)(控制碼)?！暗谝黄聊徽f明單元”、“第二屏幕說明單元”、以及“第三屏幕說明單元”的屏幕說明單元的顯示范圍分別通過(xl，yl)> (x2, y2)以及(x3, y3)指示。
圖37 (C)示出已經(jīng)在其上疊加了每個(gè)屏幕說明單元(屏幕說明)的第一視圖(IstView)，例如右眼圖像。并且，圖37 (d)示出已經(jīng)在其上疊加了每個(gè)屏幕說明單元(屏幕說明)的第二視圖(2nd View)，例如左眼圖像。使用對應(yīng)于屏幕說明單元的單獨(dú)視差矢量來提供例如在右眼圖像上疊加的屏幕說明單元和在左眼圖像上疊加的屏幕說明單元之間的視差。將會(huì)關(guān)于要利用視差信息產(chǎn)生單元125產(chǎn)生公共視差矢量、并且要在屏幕說明管理數(shù)據(jù)的PES流中插入視差矢量(視差信息)的情況進(jìn)行描述。這里，我們將考慮在同一個(gè)屏幕上顯示“第一屏幕說明單元”、“第二屏幕說明單元”、以及“第三屏幕說明單元”三個(gè)屏幕說明單元(屏幕說明)的示例。如圖38 (b)中所示，視差信息產(chǎn)生單元125產(chǎn)生由屏幕說明單元共享的公共視差矢量“視差”。圖38 Ca)示出在屏幕說明編碼器126產(chǎn)生的屏幕說明數(shù)據(jù)流(PES流)的配置示例。屏幕說明數(shù)據(jù)組的PES流已經(jīng)插入了每個(gè)屏幕說明單元的屏幕說明文本信息(屏幕說明文本數(shù)據(jù))。并且，屏幕說明文本數(shù)據(jù)組的PES流已經(jīng)插入了與每個(gè)屏幕說明單元的屏幕說明文本信息共同相關(guān)的顯示控制信息(視差信息)。在這種情況下，充當(dāng)顯示控制信息的視差信息是如上所述在視差信息產(chǎn)生單元125產(chǎn)生的共享視差矢量。注意，盡管未在圖中示出，將每個(gè)屏幕說明單元的顯示范圍的設(shè)置數(shù)據(jù)等插入屏幕說明管理數(shù)據(jù)組的PES流中，作為屏幕說明管理信息(控制碼)?！暗谝黄聊徽f明單元”、“第二屏幕說明單元”、以及“第三屏幕說明單元”的屏幕說明單元的顯示范圍分別通過(xl，yl)> (x2, y2)以及(x3, y3)指示。圖38 (C)示出已經(jīng)在其上疊加了每個(gè)屏幕說明單元(屏幕說明)的第一視圖(IstView)，例如右眼圖像。并且，圖38 (d)示出已經(jīng)在其上疊加了每個(gè)屏幕說明單元(屏幕說明)的第二視圖(2nd View)，例如左眼圖像。使用在屏幕說明單元之間共享的公共視差矢量以提供例如在右眼圖像上疊加的屏幕說明單元和在左眼圖像上疊加的屏幕說明單元之間的視差。注意，圖35 (C)和(d)、圖 36 (C)和(d)、圖 37 (C)和(d)、以及圖 38 (C)和(d)中的示例涉及僅移動(dòng)要疊加到第二視圖(例如，左眼圖像)上的屏幕說明單元的位置。然而，可以構(gòu)想僅移動(dòng)要疊加到第一視圖(例如，右眼圖像)上的屏幕說明單元的位置，或者移動(dòng)要疊加到兩個(gè)視圖上的屏幕說明單元的位置。圖39 (a)和(b)示出移動(dòng)要疊加到第一視圖和第二視圖二者上的屏幕說明單元的位置的情況。在這種情況下，如下從對應(yīng)于屏幕說明單元的視差矢量的值“disparity[i] ”獲得在第一視圖和第二視圖處的屏幕說明單元的移動(dòng)值(偏移值)D[i]。 也就是說，如果disparity[i]是偶數(shù)，對于第一視圖獲得“D[i]=-disparity[i]/2”，以及對于第二視圖獲得“0[:1]=(^口31'；^[;[]/2”。因此,要疊加到第一視圖上的屏幕說明單元的位置向左移動(dòng)“diSparity[i]/2”。而且，要疊加到第二視圖上的屏幕說明單元的位置向右移動(dòng)“diSparity[i]/2”。而且，如果disparity[i]是奇數(shù)，對于第一視圖獲得“D[i]=-(disparity[i]+l)/2”，以及對于第二視圖獲得“D[i] = (disparity [i]-I)/2”。因此，要疊加到第一視圖上的屏幕說明單元的位置向左移動(dòng)“(disparity[i]+l)/2”。而且，要疊加到第二視圖上的屏幕說明單元的位置向右移動(dòng)“(disparity[i]-l)/2”。
現(xiàn)在，將簡要描述屏幕說明碼的包(packet)結(jié)構(gòu)以及控制。首先，將描述屏幕說明文本數(shù)據(jù)組的PES流中包括的屏幕說明碼的基本包結(jié)構(gòu)。圖40示出屏幕說明碼的包結(jié)構(gòu)?！癉ata_group_id”指示數(shù)據(jù)組標(biāo)識(shí)(identification),并且這里指示這是屏幕說明文本數(shù)據(jù)組。注意，指示屏幕說明文本數(shù)據(jù)組的“Data_gr0Up_id”還標(biāo)識(shí)語言。例如，“Data_grOUp_id==0X21”指示這是屏幕說明文本數(shù)據(jù)組，并且是屏幕說明文本(第一語言)?！癉ata_gr0Up_SiZe”指示隨后的數(shù)據(jù)組數(shù)據(jù)的字節(jié)數(shù)。如果是屏幕說明文本數(shù)據(jù)組，這個(gè)數(shù)據(jù)組數(shù)據(jù)是屏幕說明文本數(shù)據(jù)(caption_data)。在屏幕說明文本數(shù)據(jù)中布置一個(gè)或多個(gè)數(shù)據(jù)單元。每個(gè)數(shù)據(jù)單元由數(shù)據(jù)單元分隔符碼(unit_parameter)分隔。將屏幕說明碼布置為每個(gè)數(shù)據(jù)單元內(nèi)的數(shù)據(jù)單元數(shù)據(jù)(data_unit_data)。下面，將關(guān)于控制碼的包結(jié)構(gòu)進(jìn)行描述。圖41示出在屏幕說明管理數(shù)據(jù)組的PES流中包括的控制碼的包結(jié)構(gòu)?！癉ata_group_id”指示數(shù)據(jù)組標(biāo)識(shí)。這里,其指示這是屏幕說明管理數(shù)據(jù)組，并且是“Data_group_id==0x20”?！癉ata_group_size”指示隨后的數(shù)據(jù)組數(shù)據(jù)的字節(jié)數(shù)。如果是屏幕說明管理數(shù)據(jù)組，該數(shù)據(jù)組數(shù)據(jù)是屏幕說明管理數(shù)據(jù)(caption_ management_data)。在屏幕說明文本數(shù)據(jù)中布置一個(gè)或多個(gè)單元。每個(gè)數(shù)據(jù)單元由數(shù)據(jù)單元分隔符碼(unit_parameter)分隔。將控制碼布置為每個(gè)數(shù)據(jù)單元內(nèi)的數(shù)據(jù)單元數(shù)據(jù)(data_unit_data)。對于這個(gè)實(shí)施例，視差矢量的值提供為8位代碼?！癟CS”是指示字符編碼格式的2位數(shù)據(jù)。這里，設(shè)置指示8位代碼的“TCS=\”。圖42示出屏幕說明數(shù)據(jù)流(PES流)內(nèi)的數(shù)據(jù)組的結(jié)構(gòu)。6位字段“data_gr0Up_id”指示標(biāo)識(shí)屏幕說明管理數(shù)據(jù)或屏幕說明文本數(shù)據(jù)的類型的數(shù)據(jù)組標(biāo)識(shí)。16位字段“data_gr0Up_SiZe”指示該數(shù)據(jù)組字段中隨后的數(shù)據(jù)組數(shù)據(jù)的字節(jié)數(shù)。數(shù)據(jù)組數(shù)據(jù)存儲(chǔ)于“data_group_data_byte”中?！癈RC_16”是循環(huán)冗余校驗(yàn)碼。該CRC碼的編碼部分從“data_group_id” 的開頭到 “data_group_data_byte” 的結(jié)尾。如果是屏幕說明管理數(shù)據(jù)組，圖42中的數(shù)據(jù)組結(jié)構(gòu)中的“ data_group_data_byte”是屏幕說明管理數(shù)據(jù)(caption_management_data)。并且,如果是屏幕說明文本數(shù)據(jù)組，圖42中的數(shù)據(jù)組結(jié)構(gòu)中的“data_group_data_byte”是屏幕說明管理數(shù)據(jù)(caption_data)。圖43是示意性地示出在將視差矢量(視差信息)插入屏幕說明管理數(shù)據(jù)的PES流中的情況下的屏幕說明管理數(shù)據(jù)的結(jié)構(gòu)的圖?！癮dvanced_rendering_version”是指示是否與屏幕說明的擴(kuò)展顯示兼容的I位標(biāo)記信息，其是在這個(gè)實(shí)施例新定義的。在接收側(cè)，以這種方式基于位于管理信息層的標(biāo)記信息，可以容易地理解是否與屏幕說明的擴(kuò)展顯示兼容。24位字段“data_unit_l00p_length”指示在該屏幕說明管理數(shù)據(jù)字段中隨后的數(shù)據(jù)組數(shù)據(jù)的字節(jié)數(shù)。要與該屏幕說明管理數(shù)據(jù)字段一起發(fā)送的數(shù)據(jù)單元存儲(chǔ)于“data_unit”中。圖44是示意性地示出在將視差矢量(視差信息)插入屏幕說明管理數(shù)據(jù)的PES流中的情況下的屏幕說明數(shù)據(jù)的結(jié)構(gòu)的圖。24位字段“data_unit_loop_length”指示在這個(gè)屏幕說明數(shù)據(jù)字段中隨后的數(shù)據(jù)單元的字節(jié)數(shù)。要與這個(gè)屏幕說明數(shù)據(jù)字段一起發(fā)送的數(shù)據(jù)單元存儲(chǔ)于“data_unit”中。注意,這個(gè)屏幕說明數(shù)據(jù)結(jié)構(gòu)不具有“advanced_rendering_version,> 的標(biāo)記信息。
圖45是示意性地示出在將視差矢量(視差信息)插入屏幕說明文本數(shù)據(jù)組的PES流中的情況下的屏幕說明數(shù)據(jù)的結(jié)構(gòu)的圖?！癮dvanced_rendering_version”是指示是否與屏幕說明的擴(kuò)展顯示兼容的I位標(biāo)記信息，其是在這個(gè)實(shí)施例新定義的。在接收側(cè)，以這種方式基于位于數(shù)據(jù)單元的較高層的標(biāo)記信息，可以容易地理解是否與屏幕說明的擴(kuò)展顯示兼容。24位字段“data_unit_l00p_length”指示在這個(gè)屏幕說明管理數(shù)據(jù)字段中隨后的數(shù)據(jù)單元的字節(jié)數(shù)。要與這個(gè)屏幕說明文本數(shù)據(jù)字段一起發(fā)送的數(shù)據(jù)單元存儲(chǔ)于“data_unit” 中。圖46是示意性地示出在將視差矢量(視差信息)插入屏幕說明文本數(shù)據(jù)組的PES流中的情況下的屏幕說明管理數(shù)據(jù)的結(jié)構(gòu)的圖。24位字段“data_unit_loop_length”指示在這個(gè)屏幕說明數(shù)據(jù)字段中隨后的數(shù)據(jù)單元的字節(jié)數(shù)。要與這個(gè)屏幕說明數(shù)據(jù)字段一起發(fā)送的數(shù)據(jù)單元存儲(chǔ)于“data_unit”中。注意，這個(gè)屏幕說明管理數(shù)據(jù)結(jié)構(gòu)不具有“advanced_rendering_version，，的標(biāo)記信息。
圖47是示出包括在屏幕說明數(shù)據(jù)流中的數(shù)據(jù)單元(data_unit)的結(jié)構(gòu)(語法)的圖。8位字段“unitj^arator”指示數(shù)據(jù)單元分隔符碼，并且被設(shè)置為“OxlF”。8位字段“data_unit_parameter”是用于標(biāo)識(shí)數(shù)據(jù)單元的類型的數(shù)據(jù)單元參數(shù)。圖48是示出數(shù)據(jù)單元的類型、及其數(shù)據(jù)單元參數(shù)和功能的圖。例如，指示主體的數(shù)據(jù)單元的數(shù)據(jù)單元參數(shù)被設(shè)置為“0x20”。并且，例如，指示幾何數(shù)據(jù)單元的數(shù)據(jù)單元參數(shù)被設(shè)置為“0x28”。而且，例如，指示位圖數(shù)據(jù)單元的數(shù)據(jù)單元參數(shù)被設(shè)置為“0x35”。在這個(gè)實(shí)施例中，用于存儲(chǔ)顯示控制信息(擴(kuò)展顯示控制信息)的擴(kuò)展顯示控制的數(shù)據(jù)單元是新定義的，并且指示這個(gè)數(shù)據(jù)單元的數(shù)據(jù)單元參數(shù)例如被設(shè)置為“0x4F”。24位字段“data_unit_siZe”指示這個(gè)數(shù)據(jù)單元字段中隨后的數(shù)據(jù)單元數(shù)據(jù)的字節(jié)數(shù)。數(shù)據(jù)單元數(shù)據(jù)存儲(chǔ)在“data_unit_data_byte”中。圖49是示出用于擴(kuò)展顯示控制的數(shù)據(jù)單元(data_unit)的結(jié)構(gòu)(語法)的圖。在該情況下，數(shù)據(jù)單元參數(shù)是“0x4F”，并且顯不控制信息存儲(chǔ)在充當(dāng) “data_unit_data_byte” 的 “Advanced_Rendering_Control ” 中。圖50是示出在上述圖35和圖36的示例中屏幕說明管理數(shù)據(jù)組的PES流具有的擴(kuò)展顯示控制的數(shù)據(jù)單元中的“Advanced_Rendering_Control ”的結(jié)構(gòu)(語法)的圖。而且，該圖50示出在上述圖37和圖38的示例中屏幕說明文本數(shù)據(jù)組的PES流具有的擴(kuò)展顯示控制的數(shù)據(jù)單元中的“Advanced_Rendering_Control”的結(jié)構(gòu)(語法)的圖。也就是說,該圖50示出在插入立體視頻視差信息作為顯示控制信息的情況下的結(jié)構(gòu)。8 位字段“start_code”指不“Advanced_Rendering_Control” 的開始。16 位字段“data_unit_id”指示數(shù)據(jù)單元ID。16位字段“data_length”指示在該高級呈現(xiàn)控制字段中隨后的數(shù)據(jù)字節(jié)數(shù)。8位字段“Advanced_rendering_type”是指定顯示控制信息的類型的高級呈現(xiàn)類型。這里，其指示數(shù)據(jù)單元參數(shù)例如被設(shè)置為“0x01”，并且顯示控制信息為“立體視頻視差信息”。視差信息存儲(chǔ)于“disparity_information”中。圖51示出在上述圖35的示例中屏幕說明文本數(shù)據(jù)組的PES流具有的擴(kuò)展顯示控制的數(shù)據(jù)單元中的“Advanced_Rendering_Control”的結(jié)構(gòu)(語法)。也就是說，圖51示出在插入數(shù)據(jù)單元ID作為顯示控制信息時(shí)的結(jié)構(gòu)。8 位字段“start_code” 指不“Advanced_Rendering_Control” 的開始。16 位字段“data_unit_id”指示數(shù)據(jù)單元ID。16位字段“data_length”指示在這個(gè)高級呈現(xiàn)控制字段中隨后的數(shù)據(jù)字節(jié)數(shù)。8位字段“Advanced_rendering_type”是指定顯示控制信息的類型的高級呈現(xiàn)類型。這里，數(shù)據(jù)單元參數(shù)例如是“0x00”，指示顯示控制信息是“數(shù)據(jù)單元ID”。注意，圖53不出上述“Advanced_Rendering_Control”結(jié)構(gòu)中、以及在下述圖52中的“disparity_information”結(jié)構(gòu)中的主要數(shù)據(jù)規(guī)定。圖52示出在屏幕說明文本數(shù)據(jù)組中包括的擴(kuò)展顯示控制數(shù)據(jù)單元(data_unit)內(nèi)的“disparity_information” 中的“Advanced_Rendering_Control ” 的結(jié)構(gòu)不例(語法)。8 位字段 “sync_byte” 是 “disparity_information” 的標(biāo)識(shí)信息，并指示該 “disparity_information” 的開始?！癷nterval_PTS[32. · O] ” 以 90KHz 間隔指定視差信息(disparity)的更新幀間隔的幀周期(一個(gè)幀的間隔)。也就是說，“interval_PTS[32. . O] ”表示用90KHz測量的33位長度的幀周期的值。 通過在視差信息中用“interval_PTS[32. . O] ”指示幀周期，在發(fā)送側(cè)打算的視差信息的更新幀間隔可以正確地發(fā)送到接收側(cè)。如果未附加這個(gè)信息，在接收側(cè)例如參考視頻幀周期?！皉enderingjevel”指示接收側(cè)(解碼器端)用于顯示屏幕說明所必需的視差信息(disparity)的一致性水平?！?0”指示使用視差信息的屏幕說明的3維顯示是可選的(optional)?！?1”指示使用在屏幕說明顯示時(shí)段內(nèi)共同使用的視差信息(default_disparity)的屏幕說明的3維顯示是必需的?！?10”指示使用在屏幕說明顯示時(shí)段內(nèi)順序更新的視差信息(disparity_update)的屏幕說明的3維顯示是必需的。 “ temporal_extension_f lag”是指示是否存在在屏幕說明顯示時(shí)段內(nèi)順序更新的視差信息(disparity_update)的I位標(biāo)記信息。在這種情況下，“I”指示其存在，“O”指示其不存在。8位字段“default_diSparity”指示默認(rèn)視差信息。這個(gè)視差信息是在未被更新時(shí)的視差信息，即，在屏幕說明顯示時(shí)段內(nèi)共同使用的視差信息。“shared_disparity”指示是否執(zhí)行對數(shù)據(jù)單元(Data_unit)的公共視差信息(disparity)控制。“ I”指示要將一個(gè)公共視差信息(disparity)應(yīng)用于隨后的多個(gè)數(shù)據(jù)單元(Data_unit)?！癘 ”指示視差信息將被應(yīng)用于一個(gè)數(shù)據(jù)單元(Data_unit)。如果“temporal_extension_f lag，，是 “ I，，，視差信息具有 “disparity_temporal_extension O ”。這個(gè)“disparity_temporal_extension O ”的結(jié)構(gòu)不例(語法)與上述相同，所以這里將省略其描述(見圖21和圖22)。注意，“interval_PTS[32.· 0] ” 被附加到上述圖 52 中的 “disparity_information”的結(jié)構(gòu)示例(語法)。然而,也可以構(gòu)想不向其附加“interval_PTS[32. . 0] ”的“disparity_information” 的結(jié)構(gòu)不例(語法)。在這種情況下，“disparity_information”的結(jié)構(gòu)如圖54中所示。返回圖33，視頻編碼器122使從數(shù)據(jù)提取單元121提供的立體圖像數(shù)據(jù)經(jīng)歷諸如MPEG4-AVC、MPEG2、VC-1等等的編碼，并且生成視頻基本流。音頻編碼器123使從數(shù)據(jù)提取單元121提供的音頻數(shù)據(jù)經(jīng)歷諸如MPEG4-AVC、MPEG2、VC-1等等的編碼，生成音頻基本流。多路復(fù)用器127將從視頻編碼器122、音頻編碼器123、以及屏幕說明編碼器126輸出的基本流多路復(fù)用。該多路復(fù)用器127輸出位流數(shù)據(jù)(傳輸流)BSD，作為發(fā)送數(shù)據(jù)(多路復(fù)用的數(shù)據(jù)流)。
將簡要描述圖33中示出的發(fā)送數(shù)據(jù)生成單元IlOA的操作。從數(shù)據(jù)提取單元121輸出的立體圖像數(shù)據(jù)被應(yīng)用到視頻編碼器122。視頻編碼器122使該立體圖像數(shù)據(jù)經(jīng)歷諸如MPEG4-AVC、MPEG2、VC-1等等的編碼，并且生成包括該編碼的視頻數(shù)據(jù)的視頻基本流。將該視頻基本流提供給多路復(fù)用器127。而且，在屏幕說明生成單元124，生成ARIB格式屏幕說明數(shù)據(jù)。將這個(gè)屏幕說明數(shù)據(jù)提供給屏幕說明編碼器126。在這個(gè)屏幕說明編碼器126，生成包括在屏幕說明生成單元124生成的屏幕說明數(shù)據(jù)(屏幕說明數(shù)據(jù)流)的屏幕說明基本流。將這個(gè)屏幕說明基本流提供給多路復(fù)用器127。將用于從數(shù)據(jù)提取單元121輸出的每個(gè)像素(pixel)的視差矢量提供給視差信息產(chǎn)生單元125。在這個(gè)視差信息產(chǎn)生單元125，通過縮小化處理，產(chǎn)生對應(yīng)于在同一個(gè)屏幕上顯示的預(yù)定數(shù)目的屏幕說明單元(屏幕說明)的視差矢量(水平方向視差矢量)。在這種情況下，視差信息產(chǎn)生單元125產(chǎn)生用于每個(gè)屏幕說明單元的視差矢量(單獨(dú)視差矢量)或者所有屏幕說明單元公共的視差矢量(共享視差矢量)。將在視差信息產(chǎn)生單元125產(chǎn)生的視差矢量提供給屏幕說明編碼器126。在屏幕·說明編碼器126，視差矢量包括在屏幕說明數(shù)據(jù)流中(見圖35到圖38)。對于屏幕說明數(shù)據(jù)流，在同一個(gè)屏幕上顯示的每個(gè)屏幕說明單元的屏幕說明數(shù)據(jù)插入屏幕說明文本數(shù)據(jù)組的PES流中作為屏幕說明文本數(shù)據(jù)(屏幕說明碼)。并且，對于該屏幕說明數(shù)據(jù)流，視差矢量(視差信息)插入屏幕說明管理數(shù)據(jù)組的PES流或者屏幕說明文本數(shù)據(jù)組的PES流中，作為對于屏幕說明的顯示控制信息。在這種情況下，將視差矢量插入擴(kuò)展顯示控制的數(shù)據(jù)單元中，用于發(fā)送已經(jīng)被新定義的顯示控制信息(見圖49)。并且，將從數(shù)據(jù)提取單元121輸出的音頻數(shù)據(jù)提供給音頻編碼器123。在音頻編碼器123，使音頻數(shù)據(jù)經(jīng)歷諸如MPEG2、Audio ACC等等的編碼，生成包括編碼的音頻數(shù)據(jù)的音頻基本流。將這個(gè)音頻基本流提供給多路復(fù)用器127。如上所述，多路復(fù)用器127被提供了來自視頻編碼器122、音頻編碼器123以及屏幕說明編碼器126的基本流。這個(gè)多路復(fù)用器127把從編碼器提供的基本流打包并多路復(fù)用，由此獲得位流數(shù)據(jù)(傳輸流)BSD作為發(fā)送數(shù)據(jù)。圖55是示出包括視頻基本流、音頻基本流以及屏幕說明基本流的總傳輸流(多路復(fù)用數(shù)據(jù)流)的配置示例的圖。這個(gè)傳輸流包括通過將基本流打包獲得的PES包。對于這個(gè)配置示例，包括了視頻基本流的PES包“視頻PES”。并且，對于這個(gè)配置示例，包括了音頻基本流的PES包“音頻PES”以及屏幕說明基本流的PES包“字幕PES”。傳輸流包括PMT (節(jié)目映射表)作為PSI (節(jié)目專用信息)。該P(yáng)SI是描述在傳輸流中包括的每個(gè)基本流屬于哪個(gè)節(jié)目的信息。并且，傳輸流包括EIT (事件信息表)作為SI(服務(wù)信息)，其執(zhí)行事件增量(increment)的管理。描述關(guān)于整體節(jié)目的信息的節(jié)目描述符(ProgramDecriptor)存在于PMT中。并且，具有關(guān)于每個(gè)基本流的信息的基本循環(huán)(loop)存在于這個(gè)PMT中。對于這個(gè)配置示例，存在視頻基本循環(huán)、音頻基本循環(huán)以及字幕基本循環(huán)。每個(gè)基本循環(huán)具有位于其中的對于每個(gè)流的包標(biāo)識(shí)符(PID)以及流類型(StreanuType)等等，并且盡管未在圖中示出，但在其中還放置了描述關(guān)于基本流的信息的標(biāo)識(shí)符。對于這個(gè)實(shí)施例，從多路復(fù)用器127輸出的傳輸流(多路復(fù)用數(shù)據(jù)流)(見圖33)已經(jīng)插入了指示屏幕說明數(shù)據(jù)流是否對應(yīng)于屏幕說明的擴(kuò)展顯示控制的標(biāo)記信息?，F(xiàn)在，屏幕說明的擴(kuò)展顯示控制是例如使用視差信息等等的3維屏幕說明顯示。在這種情況下，在接收側(cè)(機(jī)頂盒200)，可以理解屏幕說明數(shù)據(jù)流是否對應(yīng)于屏幕說明的擴(kuò)展顯示控制，而不用打開屏幕說明數(shù)據(jù)流內(nèi)的數(shù)據(jù)。多路復(fù)用器127例如在上述EIT下面插入這個(gè)標(biāo)記信息。對于圖55中的配置示例，將數(shù)據(jù)內(nèi)容標(biāo)識(shí)符插入EIT下面。這個(gè)數(shù)據(jù)內(nèi)容標(biāo)識(shí)符包括標(biāo)記信息“AdvancecLRendering_support”。圖56是示出數(shù)據(jù)內(nèi)容標(biāo)識(shí)符的結(jié)構(gòu)示例(語法)的圖。“descriptor_tag”是指示標(biāo)識(shí)符(descriptor)類型的8位數(shù)據(jù)，并且這里指示數(shù)據(jù)內(nèi)容標(biāo)識(shí)符?！癲escriptor_length”是指示標(biāo)識(shí)符大小的8位數(shù)據(jù)。該數(shù)據(jù)指示跟隨“descriptor_length”的字節(jié)數(shù)作為標(biāo)識(shí)符的長度。“component_tag”是與屏幕說明的基本流相關(guān)的8位數(shù)據(jù)。在這個(gè)“component_tag” 之后定義 “arib_caption_info”。圖 57 (a)是不出 “arib_caption_info” 的結(jié)構(gòu)不例(語法)的圖。如圖57 (b)所示,“Advanced_Rendering_support”是指示屏幕說明數(shù)據(jù) 流是否對應(yīng)于屏幕說明的擴(kuò)展顯示控制的I位標(biāo)記信息?！癐”指示其對應(yīng)于擴(kuò)展顯示控制?！?O ”指示其不對應(yīng)于擴(kuò)展顯示控制。注意，多路復(fù)用器127可以將上述標(biāo)記信息插入在PMT下面。圖58是示出在這種情況下的傳輸流(多路復(fù)用數(shù)據(jù)流)的配置示例的圖。對于這個(gè)配置示例，將數(shù)據(jù)編碼格式標(biāo)識(shí)符插入在PMT的屏幕說明ES循環(huán)下面。標(biāo)記信息“Advanced_Rendering_support”包括在這個(gè)數(shù)據(jù)編碼格式標(biāo)識(shí)符中。圖59是示出數(shù)據(jù)編碼格式標(biāo)識(shí)符的結(jié)構(gòu)示例(語法)的圖?！癲eSCript0r_tag”是指示標(biāo)識(shí)符(descriptor)的類型的8位數(shù)據(jù)，并且這里指示數(shù)據(jù)內(nèi)容標(biāo)識(shí)符?！癲escriptor_length”是指示標(biāo)識(shí)符的大小的8位數(shù)據(jù)。這個(gè)數(shù)據(jù)指示跟隨“descriptor_length”的字節(jié)數(shù)，作為標(biāo)識(shí)符的長度。 “component_tag”是與屏幕說明的基本流相關(guān)的8位數(shù)據(jù)?！癲ata_component_i d ”被設(shè)置為“ 0x0008 ”，此處指示屏幕說明數(shù)據(jù)。在“ data_C0mp0nent_i d ”之后定義“additional_arib_caption_info，，。圖 60 是不出這個(gè)“additional_arib_caption_info”的結(jié)構(gòu)示例(語法)的圖。如上述圖57 (b)中所示,“Advanced_Rendering_support”是指示屏幕說明數(shù)據(jù)流是否對應(yīng)于屏幕說明的擴(kuò)展顯示控制的I位標(biāo)記信息?！癐”指示其對應(yīng)于屏幕說明的擴(kuò)展顯示控制?！?O ”指示其不對應(yīng)于屏幕說明的擴(kuò)展顯示控制。如上所述，對于圖33中所示的該發(fā)送數(shù)據(jù)生成單元110A，從多路復(fù)用器127輸出的位流數(shù)據(jù)BSD是具有視頻數(shù)據(jù)流和屏幕說明數(shù)據(jù)流的多路復(fù)用數(shù)據(jù)流。該視頻數(shù)據(jù)流包括立體圖像數(shù)據(jù)。并且，屏幕說明數(shù)據(jù)流包括ARIB格式屏幕說明(屏幕說明單元)數(shù)據(jù)和視差矢量(視差/[目息)。而且，視差信息插入在發(fā)送屏幕說明管理數(shù)據(jù)組的PES流或屏幕說明文本數(shù)據(jù)組的PES流內(nèi)的屏幕說明顯示控制信息的數(shù)據(jù)單元中，并且屏幕說明文本數(shù)據(jù)(屏幕說明文本息)和視差息相關(guān)。因此，在接收側(cè)(機(jī)頂盒200),使用對應(yīng)的視差矢量(視差信息)，可以向疊加到左眼圖像和右眼圖像上的屏幕說明單元(屏幕說明)。因此，關(guān)于所顯示的屏幕說明單元(屏幕說明)，在圖像中的對象之間的透視的一致性可以保持在最佳狀態(tài)。并且，對于圖33中所示的發(fā)送數(shù)據(jù)生成單元110A，將在屏幕說明顯示時(shí)段期間共同使用的視差信息(見圖52中的“default_diSparity”)插入新定義的擴(kuò)展顯示控制數(shù)據(jù)單元中。并且，可以將在屏幕說明顯示時(shí)段期間順序更新的視差信息(見圖21中的“diSparity_Update”)插入數(shù)據(jù)單元中。并且，將指示在屏幕說明顯示時(shí)段期間順序更新的視差信息的存在的標(biāo)記信息插入到擴(kuò)展顯示控制數(shù)據(jù)單元中(見圖52中的“temporalextension_flag，，)。因此，可以關(guān)于是只發(fā)送在屏幕說明顯示時(shí)段期間共同使用的視差信息、還是另外發(fā)送在屏幕說明顯示時(shí)段期間順序更新的視差信息做出選擇。通過發(fā)送在屏幕說明顯示時(shí)段期間順序更新的視差信息，可以在接收側(cè)(機(jī)頂盒200)結(jié)合圖像內(nèi)容中的改變，動(dòng)態(tài)地改變應(yīng)用于疊加的信息的視差。 并且，對于圖33中所示的發(fā)送數(shù)據(jù)生成單元110A，擴(kuò)展顯示控制數(shù)據(jù)單元中包括的視差信息由字幕顯示時(shí)段的第一幀的視差信息和在隨后的更新幀間隔處的視差信息組成。因此，可以減少發(fā)送數(shù)據(jù)量，并且可以大大節(jié)省在接收側(cè)用于保存視差信息的存儲(chǔ)器容量。并且，對于圖33中所示的發(fā)送數(shù)據(jù)生成單元110A，要插入擴(kuò)展顯示控制數(shù)據(jù)單兀中的 “disparity_temporal_extension O ” 具有與上述 SCS 片段中包括的 “disparity_temporal_extension O ”(見圖21)相同的結(jié)構(gòu)。因此，盡管將省略詳細(xì)描述，由于該“disparity_temporal_extension O ”結(jié)構(gòu)，圖33中所示的發(fā)送數(shù)據(jù)生成單元IlOA可以獲得與圖2中所示的發(fā)送數(shù)據(jù)生成單元110相同的優(yōu)點(diǎn)?！拔涣魈幚韱卧呐渲檬纠眻D61示出對應(yīng)于上述圖33中所示的發(fā)送數(shù)據(jù)生成單元IlOA的機(jī)頂盒200的位流處理單元201A的配置示例。這個(gè)位流處理單元201A具有對應(yīng)于上述圖33中所示的發(fā)送數(shù)據(jù)生成單元IlOA的配置。位流處理單元201A具有多路分解器231、視頻解碼器232、以及屏幕說明解碼器233。并且，位流處理單元201A包括立體圖像屏幕說明生成單元234、視差信息提取單元235、視差信息處理單元236、視頻疊加單元237、以及音頻解碼器238。多路分解器231從位流數(shù)據(jù)BSD提取視頻、音頻和屏幕說明包，并且將這些發(fā)送到解碼器。視頻解碼器232執(zhí)行與上述發(fā)送數(shù)據(jù)生成單元IlOA的視頻編碼器122的處理相反的處理。也就是說，從在多路分解器231提取的視頻包重構(gòu)視頻基本流、執(zhí)行編碼處理、并且獲得包括左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的立體圖像數(shù)據(jù)。立體圖像數(shù)據(jù)的發(fā)送格式例如是上述第一發(fā)送格式(“頂?shù)住备袷?、第二發(fā)送格式(“并排”格式)、第三發(fā)送格式(“幀順序”格式)、等等(見圖4)。屏幕說明解碼器223執(zhí)行與上述發(fā)送數(shù)據(jù)生成單元110的字幕編碼器118的處理相反的處理。也就是說，屏幕說明解碼器233從在多路分解器231提取的屏幕說明包重構(gòu)屏幕說明基本流(屏幕說明數(shù)據(jù)流)、執(zhí)行解碼處理、并且獲得每個(gè)屏幕說明單元的屏幕說明數(shù)據(jù)(ARIB格式屏幕說明數(shù)據(jù))。視差信息提取單元235從通過屏幕說明解碼器233獲得的屏幕說明流提取對應(yīng)于每個(gè)屏幕說明單元的視差矢量(視差信息)。在這種情況下，獲得對于每個(gè)屏幕說明單元的視差矢量(單獨(dú)視差矢量)或屏幕說明單元公共的視差矢量(共享視差矢量)(見圖35到圖38)。如上所述，屏幕說明數(shù)據(jù)流包括ARIB格式屏幕說明(屏幕說明單元)的數(shù)據(jù)和視差矢量(視差信息)。因此，視差信息提取單元235可以以與屏幕說明單元的屏幕說明數(shù)據(jù)相關(guān)的方式提取視差息(視差矢量)。視差信息提取單元235獲得在屏幕說明顯示時(shí)段期間共同使用的視差信息(見圖52中的“defaUlt_diSparity”)。此外，視差信息提取單元235也可以獲得在屏幕說明顯示時(shí)段期間順序更新的視差信息(見圖21中的“diSparity_Update”)。視差信息提取單元235經(jīng)由視差信息處理單元236將視差信息(視差矢量)發(fā)送到立體圖像屏幕說明生成單元234。在屏幕說明顯示時(shí)段期間順序更新的視差信息由字幕顯示時(shí)段的第一幀的視差信息和在隨后的更新幀間隔處的視差信息組成，如上所述。關(guān)于在屏幕說明顯示時(shí)段期間共同使用的視差信息，視差信息處理單元236將發(fā)送到立體圖像屏幕說明生成單元234，而不進(jìn)行改變。另一方面 ，關(guān)于在屏幕說明顯示時(shí)段期間順序更新的視差信息，視差信息處理單元236執(zhí)行插值處理、生成在屏幕說明顯示時(shí)段期間的任意幀間隔(諸如例如一個(gè)幀間隔)視差信息、并將其發(fā)送到立體圖像屏幕說明生成單元234。視差信息處理單元236對于此插值處理執(zhí)行涉及在時(shí)間方向(幀方向)上的低通濾波(LIP)處理的插值處理，而不是線性插值處理，從而在時(shí)間方向(幀方向)上插值處理之后的視差信息在預(yù)定幀間隔的改變將是平滑的(見圖31)。立體圖像屏幕說明生成單元234生成要分別疊加到左眼圖像和右眼圖像上的左眼屏幕說明和右眼屏幕說明?；谠谄聊徽f明解碼器233獲得的每個(gè)屏幕說明單元的屏幕說明數(shù)據(jù)和經(jīng)由視差信息處理單元236提供的視差信息(視差矢量)，執(zhí)行該生成處理。該立體圖像屏幕說明生成單元234接著輸出左眼屏幕說明和右眼屏幕說明數(shù)據(jù)(位圖數(shù)據(jù))。在這種情況下，左眼屏幕說明和右眼屏幕說明是相同的。然而，左眼屏幕說明和右眼屏幕說明使它們在圖像內(nèi)的疊加位置在水平方向上移動(dòng)例如等價(jià)于視差矢量的量。因此，可以將根據(jù)圖像內(nèi)的對象的透視而經(jīng)歷視差調(diào)整的屏幕說明用作要疊加到左眼圖像和右眼圖像上的同一個(gè)屏幕說明，并且對于圖像中的對象的透視的一致性可以保持在最佳狀態(tài)?，F(xiàn)在，如果僅從視差信息處理單元236發(fā)送屏幕說明顯示時(shí)段期間共同使用的視差信息(視差矢量)，立體圖像屏幕說明生成單元234使用這個(gè)視差信息。并且，如果還從視差信息處理單元236發(fā)送屏幕說明顯示時(shí)段期間順序更新的視差信息，立體圖像字幕生成單元224使用一個(gè)或另一個(gè)。通過指示在接收側(cè)(解碼器)用于顯示屏幕說明所必需的視差信息(disparity)的相關(guān)水平的信息(見圖52中的“rendering_level”)而限制使用哪一個(gè),所述信息包括在擴(kuò)展顯示控制數(shù)據(jù)單元中，例如如上所述。在這種情況下，例如如果是“00”，應(yīng)用用戶設(shè)置。使用在屏幕說明顯示時(shí)段期間順序更新的視差信息使得要應(yīng)用于左眼字幕和右眼字幕的視差能夠結(jié)合圖像內(nèi)容中的改變而動(dòng)態(tài)改變。視頻疊加單元237將在立體圖像屏幕說明生成單元234生成的左眼屏幕說明和右眼屏幕說明的數(shù)據(jù)(位圖數(shù)據(jù))疊加到在視頻解碼器232獲得的立體圖像數(shù)據(jù)(左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù))中，并且獲得顯示立體圖像數(shù)據(jù)V。#視頻疊加單元237接著從位流處理單元201A外部地輸出顯示立體圖像數(shù)據(jù)V-。并且，音頻解碼器238執(zhí)行與發(fā)送數(shù)據(jù)生成單元IlOA的字幕解碼器223的處理相反的處理。也就是說，音頻解碼器238從在多路分解器231提取的音頻包重構(gòu)音頻基本流、執(zhí)行解碼處理并且獲得音頻數(shù)據(jù)Α_。音頻解碼器238接著從位流處理單元201A外部地輸出音頻數(shù)據(jù)Α_。將簡要描述圖61中所示的位流處理單元201A的操作。將從數(shù)字調(diào)諧器(見圖29)輸出的位流數(shù)據(jù)BSD提供給多路分解器231。 在該多路分解器231，從位流數(shù)據(jù)BSD提取視頻、音頻以及屏幕說明包，并將其提供給解碼器。在視頻解碼器232，從在多路分解器231提取的視頻包重構(gòu)視頻基本流，并執(zhí)行進(jìn)一步的解碼處理，由此獲得包括左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的立體圖像數(shù)據(jù)。將該立體圖像數(shù)據(jù)提供給視頻疊加單元237。并且，對于屏幕說明解碼器233，從在多路分解器231提取的屏幕說明包重構(gòu)屏幕說明基本流，并且執(zhí)行進(jìn)一步的解碼處理，由此獲得屏幕說明單元的屏幕說明數(shù)據(jù)(ARIB格式屏幕說明數(shù)據(jù))。將屏幕說明單元的屏幕說明數(shù)據(jù)提供給立體圖像屏幕說明生成單元234。并且，對于視差信息提取單元235，從通過屏幕說明解碼器233獲得的屏幕說明流提取對應(yīng)于屏幕說明單元的視差矢量(視差信息)。在這種情況下，視差信息提取單元235獲得用于每個(gè)屏幕說明單元的視差矢量(單獨(dú)視差矢量)或屏幕說明單元公共的視差矢量(共孚視差矢量)。并且，視差矢量提取單元235獲得屏幕說明顯示時(shí)段期間共同使用的視差信息，或與其一起獲得在屏幕說明顯示時(shí)段期間順序更新的視差信息。將在視差信息提取單元235提取的視差信息(視差矢量)通過視差信息處理單元236發(fā)送到立體圖像屏幕說明生成單元234。在視差信息處理單元236，關(guān)于在屏幕說明顯示時(shí)段期間順序更新的視差信息執(zhí)行隨后的處理。也就是說，在視差信息處理單元236執(zhí)行涉及在時(shí)間方向(幀方向)上的LPF處理的插值處理，由此生成在屏幕說明顯示時(shí)段期間的任意幀間隔(例如一個(gè)幀間隔)處的視差信息，并將其發(fā)送到立體圖像屏幕說明生成單元234。在立體圖像屏幕說明生成單元234，基于屏幕說明單元的屏幕說明數(shù)據(jù)和對應(yīng)于屏幕說明單元的視差矢量，生成分別要疊加到左眼圖像和右眼圖像上的左眼屏幕說明和右眼屏幕說明數(shù)據(jù)(位圖數(shù)據(jù))。在這種情況下，例如右眼的屏幕說明使得在圖像內(nèi)的疊加位置關(guān)于左眼屏幕說明在水平方向上移動(dòng)等價(jià)于視差矢量的量。該左眼屏幕說明和右眼屏幕說明數(shù)據(jù)被提供給視頻疊加單元237。在視頻疊加單元237，將在立體圖像屏幕說明生成單元234生成的左眼屏幕說明和右眼屏幕說明數(shù)據(jù)(位圖數(shù)據(jù))疊加到在視頻解碼器232獲得的立體圖像數(shù)據(jù)，由此獲得顯示立體圖像數(shù)據(jù)V-。該顯示立體圖像數(shù)據(jù)Vwt從位流處理單元201Α外部地輸出。并且，對于音頻解碼器238，從在多路分解器231提取的音頻包重構(gòu)音頻基本流，并執(zhí)行進(jìn)一步的解碼處理，由此獲得對應(yīng)于上述顯示立體圖像數(shù)據(jù)Vwt的音頻數(shù)據(jù)Awt。這個(gè)音頻數(shù)據(jù)Atjut從位流處理單元201A外部地輸出。如上所述，屏幕說明(屏幕說明單元)數(shù)據(jù)和視差矢量(視差信息)包括在提供給位流處理單元201A的位流數(shù)據(jù)BSD中所包括的屏幕說明數(shù)據(jù)流中。視差矢量(視差信息)插入在發(fā)送屏幕說明文本數(shù)據(jù)組中的PES流內(nèi)的屏幕說明顯示控制信息的數(shù)據(jù)單元中，其中屏幕說明數(shù)據(jù)和視差矢量相關(guān)。因而，對于位流處理單元201A，使用對應(yīng)的視差矢量(視差信息)，可以將合適的視差提供給疊加到左眼圖像和右眼圖像上的屏幕說明單元(屏幕說明)。因此，關(guān)于被顯示的屏幕說明單元(屏幕說明)，圖像中的對象之間的透視的一致性可以保持在最佳狀態(tài)。并且，圖61中所示的位流處理單元201A的視差信息提取單元235使用在屏幕說明顯示時(shí)段期間順序更新的視差信息，并且因而可以結(jié)合圖像內(nèi)容中的改變，動(dòng)態(tài)地改變要應(yīng)用于左眼字幕和右眼字幕的視差。并且，對于位流處理單元201A的視差信息處理單元236，通過關(guān)于在屏幕說明顯示時(shí)段期間順序更新的視差信息而執(zhí)行的插值處理，生成在屏幕說明顯示時(shí)段期間的任意幀間隔處的視差信息。在這種情況下，即使在諸如16幀等的每個(gè)基本片段(base segment)時(shí)段(更新幀間隔)從發(fā)送側(cè)(廣播站100)發(fā)送視差信息的情況中，也可以以合適的間隔、例如每一幀來控制要應(yīng)用于左眼和右眼屏幕說明的視差。并且，利用圖61中所示的位流處理單元201A的視差信息處理單元236，執(zhí)行涉及時(shí)間方向(幀方向)上的低通濾波處理的插值處理。因此，即使在每個(gè)基本片段時(shí)段(更新幀間隔)從發(fā)送側(cè)(廣播站100)發(fā)送視差信息的情況中，也可以平滑插值處理之后在時(shí)間方向(幀方向)上的視差信息的改變(見圖31)。因此，可以抑制應(yīng)用于左眼和右眼屏幕說明的視差的轉(zhuǎn)變在每個(gè)更新幀間隔變得不連續(xù)的不自然的感覺。“發(fā)送數(shù)據(jù)生成單元和位流處理單元的其它配置(2)”“發(fā)送數(shù)據(jù)生成單元的配置示例”圖62示出在廣播站100 (見圖I)的發(fā)送數(shù)據(jù)生成單元IlOB的配置示例。該發(fā)送數(shù)據(jù)生成單元IlOB發(fā)送具有易于兼容已經(jīng)存在的廣播標(biāo)準(zhǔn)CEA格式的數(shù)據(jù)結(jié)構(gòu)的視差信息(視差矢量)。該發(fā)送數(shù)據(jù)生成單元IlOB具有數(shù)據(jù)提取單元(歸檔單元)131、視頻編碼器132、以及音頻編碼器133。并且，發(fā)送數(shù)據(jù)生成單元IlOB具有隱藏屏幕說明編碼器(CC編碼器)134、視差信息產(chǎn)生單元135、以及多路復(fù)用器136。數(shù)據(jù)記錄介質(zhì)131a例如可拆卸地安裝到數(shù)據(jù)提取單元131。以與圖2中所示的發(fā)送數(shù)據(jù)生成單元110的數(shù)據(jù)提取單元111中的數(shù)據(jù)記錄介質(zhì)11 Ia相同的方式，該數(shù)據(jù)記錄介質(zhì)131a已經(jīng)以相關(guān)的方式在其中記錄了音頻數(shù)據(jù)和視差信息，以及包括左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的立體圖像數(shù)據(jù)。數(shù)據(jù)提取單元131從數(shù)據(jù)記錄介質(zhì)131a提取立體圖像數(shù)據(jù)、音頻數(shù)據(jù)、視差信息等等，并輸出它們。數(shù)據(jù)記錄介質(zhì)131a是盤形記錄介質(zhì)、半導(dǎo)體存儲(chǔ)器等等。CC編碼器134是符合CEA-708標(biāo)準(zhǔn)的編碼器，并輸出用于隱藏屏幕說明的屏幕說明顯示的CC數(shù)據(jù)(用于隱藏屏幕說明信息的數(shù)據(jù))。在這種情況下，CC編碼器134順序地輸出以時(shí)間順序顯示的每個(gè)隱藏屏幕說明信息的CC數(shù)據(jù)。視差信息產(chǎn)生單元135使從數(shù)據(jù)提取單元131輸出的視差向量(B卩，對于每個(gè)像素的視差向量)經(jīng)歷縮小化處理，并輸出與從上述CC編碼器134輸出的CC數(shù)據(jù)中包括的每個(gè)窗口 ID (WindowID)相關(guān)的視差信息(視差向量)。視差信息產(chǎn)生單元135執(zhí)行與上述圖2中的發(fā)送數(shù)據(jù)生成單元110的視差信息產(chǎn)生單元115相同的縮小化處理，并將省略其詳細(xì)描述。 視差信息產(chǎn)生單元135通過上述縮小化處理，產(chǎn)生對應(yīng)于在同一個(gè)屏幕上顯示的預(yù)定數(shù)目定時(shí)的屏幕說明單元(屏幕說明)的視差矢量。在這種情況下，視差信息產(chǎn)生單元135為每個(gè)屏幕說明單元產(chǎn)生視差矢量(單獨(dú)視差矢量)，或者產(chǎn)生在屏幕說明單元之間共享的視差矢量(公共視差矢量)。其選擇例如通過用戶設(shè)置。該視差信息也包括移動(dòng)對象指定信息，該移動(dòng)對象指定信息指定要疊加到左眼圖像上的隱藏屏幕說明信息以及要疊加到右眼圖像上的隱藏屏幕說明信息中的哪一個(gè)要基于該視差信息而被移動(dòng)。如果產(chǎn)生單獨(dú)視差矢量，視差信息產(chǎn)生單元135基于每個(gè)屏幕說明單元的顯示區(qū)域，通過上述縮小化處理獲得屬于這個(gè)顯示區(qū)域的視差矢量。同樣，如果產(chǎn)生公共矢量，視差信息產(chǎn)生單元135通過上述縮小化處理(見圖9 (d))，獲得整個(gè)圖片(整個(gè)圖像)的視差矢量。注意，如果產(chǎn)生公共矢量，可以做出使視差信息產(chǎn)生單元135獲得屬于每個(gè)屏幕說明單元的顯示范圍的視差矢量并且選擇具有最大值的視差矢量的布置。這個(gè)視差信息例如是在顯示隱藏屏幕說明信息的預(yù)定數(shù)目的幀的時(shí)段(屏幕說明顯示時(shí)段)內(nèi)共同使用的視差信息，或者在這個(gè)屏幕說明顯示時(shí)段期間順序更新的視差信息。在屏幕說明顯示時(shí)段期間順序更新的視差信息由預(yù)定數(shù)目的幀的時(shí)段的第一幀和在隨后的更新幀間隔處的幀的視差信息組成。
視頻編碼器132使從數(shù)據(jù)提取單元131提供的立體圖像數(shù)據(jù)經(jīng)歷諸如MPEG4-AVC、MPEG2、VC-I等等的編碼，獲得編碼視頻數(shù)據(jù)。并且，視頻編碼器132利用下游流流格式化器132a生成在其有效負(fù)載部分包括編碼的視頻數(shù)據(jù)的視頻基本流。將上述從CC編碼器134輸出的CC數(shù)據(jù)和在視差信息產(chǎn)生單元135產(chǎn)生的視差信息提供給視頻編碼器132內(nèi)的流格式化器132a。流格式化器132a將CC數(shù)據(jù)和視差信息嵌入到視頻基本流中作為用戶數(shù)據(jù)。也就是說，立體圖像包括在視頻基本流的有效負(fù)載部分中，并且CC數(shù)據(jù)和視差信息包括在首部部分的用戶數(shù)據(jù)區(qū)域中。如圖63中所示，視頻基本流具有位于其頭部的包括序列增量中的參數(shù)的序列首部部分。跟隨該序列首部部分，布置包括圖片增量中的參數(shù)以及用戶數(shù)據(jù)的圖片首部。跟隨其后的是重復(fù)布置的圖片首部部分和有效負(fù)載部分。將上述CC數(shù)據(jù)和視差信息嵌入圖片首部部分的用戶數(shù)據(jù)區(qū)域中。后面將描述將這個(gè)視差信息嵌入(插入)用戶數(shù)據(jù)區(qū)域中的細(xì)節(jié)。音頻編碼器133對在數(shù)據(jù)提取單元131提取的音頻數(shù)據(jù)執(zhí)行諸如MPEG-2AudioAAC的編碼，并生成音頻基本流。多路復(fù)用器136多路復(fù)用從視頻編碼器132和音頻編碼器133輸出的基本流。多路復(fù)用器136接著輸出位流數(shù)據(jù)(傳輸流)BSD充當(dāng)發(fā)送數(shù)據(jù)(多路復(fù)用數(shù)據(jù)流)。將簡要描述圖62中所示的發(fā)送數(shù)據(jù)生成單元IlOB的操作。將從數(shù)據(jù)提取單元(歸檔單元)131輸出的立體圖像數(shù)據(jù)提供給視頻編碼器132。利用這個(gè)視頻編碼器132，使立體圖像數(shù)據(jù)經(jīng)歷諸如MPEG4-AVC、MPEG2、VC-I等等的編碼，并且生成包括編碼視頻數(shù)據(jù)的視頻基本流。將這個(gè)視頻基本流提供給多路復(fù)用器136。CC編碼器134輸出用于隱藏屏幕說明的屏幕說明顯示的CC數(shù)據(jù)(用于隱藏屏幕說明信息的數(shù)據(jù))。在這種情況下，CC編碼器134順序輸出以時(shí)間順序顯示的每個(gè)隱藏屏幕說明信息的CC數(shù)據(jù)。并且，將從數(shù)據(jù)提取單元131輸出的每個(gè)像素的視差信息提供給使視差向量經(jīng)歷縮小化處理的視差信息產(chǎn)生單元135，并且輸出與從上述CC編碼器134輸出的CC數(shù)據(jù)中包括的每個(gè)窗口 ID (WindowID)相關(guān)的視差信息(視差向量)。將從隱藏屏幕說明編碼器134輸出的CC數(shù)據(jù)以及在視差信息產(chǎn)生單元135產(chǎn)生的視差信息提供給視頻編碼器132的流格式化器132a。在流格式化器132a，將CC數(shù)據(jù)和視差信息插入視頻基本流的首部部分的用戶數(shù)據(jù)區(qū)域中。在這種情況下，例如通過后面將會(huì)描述的(A)已知表(CEA表)范圍內(nèi)的擴(kuò)展的方法、(B)作為填充字節(jié)跳過的字節(jié)的新擴(kuò)展定義的方法，來執(zhí)行視差信息的嵌入或插入。并且，將從數(shù)據(jù)提取單元131輸出的音頻數(shù)據(jù)提供給音頻編碼器133。音頻編碼器133對音頻數(shù)據(jù)執(zhí)行諸如MPEG-2Audio ACC的編碼，并生成包括編碼音頻數(shù)據(jù)的音頻基本流。將這個(gè)音頻基本流提供給多路復(fù)用器136。這個(gè)多路復(fù)用器136多路復(fù)用從編碼器輸出的基本流，獲得位流數(shù)據(jù)BSD充當(dāng)發(fā)送數(shù)據(jù)?！耙暡钚畔⒌接脩舴秶那度?插入)方法”下面將描述將視差信息嵌入到用戶數(shù)據(jù)區(qū)域的方法的細(xì)節(jié)?？梢詷?gòu)想(A)在已知 表(CEA表)范圍內(nèi)擴(kuò)展的方法，(B)作為填充字節(jié)跳過的字節(jié)的新擴(kuò)展定義的方法，等等。方法(A)是由擴(kuò)展命令EXTl和跟隨它的值來指示擴(kuò)展字節(jié)的數(shù)目的方法，其中在所述值的后面插入?yún)?shù)?！?A)在已經(jīng)存在的表(Table)的范圍內(nèi)擴(kuò)展的方法(I)”圖64示意性地示出CEA表。在在這個(gè)CEA表內(nèi)擴(kuò)展的情況中，擴(kuò)展命令的開始用CO表中的0x10 (EXTl)命令聲明，隨后由擴(kuò)展命令的字節(jié)長度指定C2表(C2 Table)、C3表(C3 Table)、G2表(G2 Table)以及G3表(G3 Table)的地址。這里，由于要配置3字節(jié)命令，在C2表中定義隨后的字節(jié)串指示要跟隨三字節(jié)。注意，C2表中指示跟隨的三字節(jié)的0x18到OxlF的地址空間是CEA規(guī)定。在這種情況下總擴(kuò)展命令如下。擴(kuò)展命令=EXTl (0x10) +0x18 (3字節(jié)跟隨)+ (字節(jié)I) + (字節(jié)2) + (字節(jié)3)圖65示出3字節(jié)字段“字節(jié)1”、“字節(jié)2”、以及“字節(jié)3”的結(jié)構(gòu)示例?！皐ind0w_id”位于“字節(jié)I”從第7位到第5位的3位字段中。由于這個(gè)“wind0w_id”，與擴(kuò)展命令的信息要應(yīng)用于的窗口(window)發(fā)生相關(guān)。“temporal_division_count”位于“字節(jié)I”從第4位到第O位的5位字段中。這個(gè)“temporal_division_count”指示在屏幕說明顯示時(shí)段中包括的基本片段的數(shù)目(見圖22)?！皌emporal_division_size”位于“字節(jié)2”的第7位和第6位的2位字段中。這個(gè)“temporaldivisiorusize”指示基本片段時(shí)段(更新幀間隔)中包括的幀的數(shù)目?！?0”指示這是16中貞?！?1”指示這是25中貞?！?0”指示這是30中貞。此外，“ 11”指示這是32中貞(見圖22)。“shared_disparity”位于“字節(jié)2”的第5位的I位字段中。這個(gè)“shared_disparity”指示是否對所有窗口(window)執(zhí)行共享視差信息(disparity)控制?！?I ”指示一個(gè)公共視差信息(disparity)將應(yīng)用于所有隨后的窗口?！癘”指示視差信息(disparity)將被應(yīng)用于僅一個(gè)窗口(圖19)。“shifting_interval_counts”位于“字節(jié)2”從第4位到第O位的5位字段中。這個(gè)“shiftingjntervalcounts”指示用于調(diào)整基本片段時(shí)段(更新幀間隔)的拖拽因子(Draw factor),即，減去的巾貞的數(shù)目(見圖22)。在用于每個(gè)基本片段時(shí)段(BSP)的視差信息的更新示例中，關(guān)于在時(shí)間點(diǎn)C到F的視差信息的更新定時(shí)，通過拖拽因子(Draw factor)來調(diào)整基本片段時(shí)段。由于這個(gè)調(diào)整信息的存在，可以調(diào)整基本片段時(shí)段(更新幀間隔)，并且可以更準(zhǔn)確地將視差信息在時(shí)間方向(幀方向)上的改變通知到接收側(cè)。注意，對于基本片段時(shí)段(更新幀間隔)的調(diào)整，除了如上所述的在縮短方向減去幀的數(shù)目的調(diào)整以外，可以構(gòu)想在延長方向上增加幀的調(diào)整。例如，可以通過使5位字段“shifting_interval_counts”為有符號的整數(shù)來執(zhí)行兩個(gè)方向上的調(diào)整?！癲isparity_update”位于“字節(jié)3”從第7位到第O位的8位字段中。這個(gè)“disparity_update”指示對應(yīng)的基本片段的視差信息。注意，在k=0的“disparity_update”是在屏幕說明顯示時(shí)段期間的更新幀間隔處順序更新的視差信息的初始值，S卩，在屏幕說明顯示時(shí)段期間的第一幀的視差信息。
在用戶數(shù)據(jù)區(qū)域中包括上述5字節(jié)擴(kuò)展命令并重復(fù)發(fā)送允許發(fā)送(transmission)在屏幕說明顯示時(shí)段期間順序更新的視差信息以及向其添加的更新幀間隔的調(diào)整信息?！?A)在已經(jīng)存在的表(Table)的范圍內(nèi)擴(kuò)展的方法(2)”圖67示意性地示出CEA表。在在這個(gè)CEA表內(nèi)擴(kuò)展的情況中，擴(kuò)展命令的開始用CO表中的0x10 (EXTl)命令聲明，隨后由擴(kuò)展命令的字節(jié)長度指定C2表(C2Table)、C3表(C3Table)、G2表(G2Table)以及G3表(G3Table)的地址。這里，由于要配置3字節(jié)命令，在C2表中定義隨后的字節(jié)串指示要跟隨三字節(jié)。注意，C3表中指示跟隨的三字節(jié)的0x90到0x9F的地址空間是CEA規(guī)定。在這種情況下總擴(kuò)展命令如下。擴(kuò)展命令=EXTl(0x10) +EXTCode (0x90) + (首部(字節(jié) 1)) + (字節(jié) 2)+...+(字節(jié)N)圖68示出4字節(jié)字段“首部(字節(jié)I) ”、“字節(jié)2”、“字節(jié)3”、以及“字節(jié)4”的結(jié)構(gòu)示例?！皌ype_field”位于“首部(字節(jié)I) ”的第7位和第6位的2位字段中。這個(gè)“type_field”指示命令類型。“00”指示命令的開始(BOC :Beginning of Command)。“01”指示命令的繼續(xù)(COC !Continuation of Command )?！?I O”指不命令的結(jié)束(EOC End of Command)?！癓ength_field”位于“首部(字節(jié)I) ”的從第4位到第O位的5位字段中。該“Length_field”指示該擴(kuò)展命令之后的命令數(shù)目。一個(gè)服務(wù)塊(service block)中最大允許是28字節(jié)值(worth)?？梢酝ㄟ^在范圍內(nèi)重復(fù)字節(jié)2到字節(jié)4的循環(huán)來更新視差信息(disparity)。在這種情況下，用一個(gè)服務(wù)塊可以更新最多9組視差信息?！皐indow_id”位于“字節(jié)2”從第7位到第5位的3位字段中。由于這個(gè)“window_id”,與擴(kuò)展命令的信息要應(yīng)用于的窗口(window)發(fā)生相關(guān)?！皌emporal_division_count”位于“字節(jié)2”從第4位到第O位的5位字段中。這個(gè)“temporal_division_count”指示屏幕說明顯示時(shí)段中包括的基本片段的數(shù)目(見圖22)?！皌emporal_division_size”位于“字節(jié)3”的第7位和第6位的2位字段中。這個(gè)“temporaldivisiorusize”指示基本片段時(shí)段(更新幀間隔)中包括的幀的數(shù)目。“00”指示這是16中貞?！?1”指示這是25中貞?！?0”指示這是30中貞。此外，“ 11”指示這是32中貞(見圖22)?！皊hared_disparity”位于“字節(jié)3”的第5位的I位字段中。這個(gè)“shared_disparity ”指示是否對所有窗口(window )執(zhí)行共享視差信息(di spar i ty )控制?！?I ”指示一個(gè)公共視差信息(disparity)將應(yīng)用于所有隨后的窗口?！癘”指示視差信息(disparity)將被應(yīng)用于僅一個(gè)窗口(圖19)?！皊hifting_interval_counts”位于“字節(jié)3”從第4位到第O位的5位字段中。這個(gè)“shiftingjntervalcounts”指示用于調(diào)整基本片段時(shí)段(更新幀間隔)的拖拽因子(Draw factor),即，減去的巾貞的數(shù)目(見圖22)?！癲isparity_update”位于“字節(jié)4”從第7位到第O位的8位字段中。這個(gè)“disparity_update”指示對應(yīng)的基本片段的視差信息。注意，在k=0的“disparity_update”是在屏幕說明顯示時(shí)段期間的更新幀間隔處順序更新的視差信息的初始值，S卩，在屏幕說明顯示時(shí)段期間的第一幀的視差信息。在用戶數(shù)據(jù)區(qū)域中包括上述可變長度的擴(kuò)展命令并重復(fù)發(fā)送允許發(fā)送(transmission)在屏幕說明顯示時(shí)段期間順序更新的視差信息以及向其添加的更新幀間隔的調(diào)整信息。 “(B)用于填充字節(jié)的新擴(kuò)展定義的方法”圖69示出常規(guī)隱藏屏幕說明數(shù)據(jù)(CC數(shù)據(jù))的結(jié)構(gòu)示例(語法)。規(guī)定在“cc_valid=。，，和 “cc_type=00” 的情況下，接收側(cè)(解碼器)跳過 “cc_data_l” 和 “cc_data_2”字段的讀取。這里，這個(gè)空間(space)被用來定義發(fā)送視差信息(disparity)的擴(kuò)展。圖70是示出被糾正為與視差信息(disparity)兼容的常規(guī)隱藏屏幕說明數(shù)據(jù)(CC數(shù)據(jù))的結(jié)構(gòu)示例(語法)的圖。2位字段“extended_control”是用于控制“cc_data_l”和“cc_data_2”兩個(gè)字段的信息。如圖71 Ca)中所示,如果“cc_valid=0”和“cc_type=00”，并且如果 2 位字段“ extended_control ” 是“ O I” 或“ 10 ”，則將“ cc_data_l ” 和“ cc_data_2 ”兩個(gè)字段用于視差信息(disparity)的發(fā)送。在這種情況下，如果如圖71 (b)中所示“extended_control=01”，字段“cc_data_l”意味著“擴(kuò)展包的開始”，并且插入第一擴(kuò)展包數(shù)據(jù)(I字節(jié))。并且，在這時(shí)，字段“cc_data_2”意味著“擴(kuò)展包數(shù)據(jù)”，并且插入隨后的擴(kuò)展包數(shù)據(jù)(I字節(jié))。并且，如果如圖71 (b)中所不“extended_control=10”,字段“cc_data_l”和“cc_data_2”意味著“擴(kuò)展包數(shù)據(jù)”，并且插入隨后的擴(kuò)展包數(shù)據(jù)(I字節(jié))。注意，如果如圖71(b)中所不 “extended_control=00”,字段 “cc_data_l ” 和 “cc_data_2” 意味著“填充”?！皵U(kuò)展包數(shù)據(jù)”隨后被定義為“caption_disparity_data() ”的傳送。圖72和圖73不出“caption_disparity_dataO ”的結(jié)構(gòu)不例(語法)。圖74是不出在“caption_disparity_data() ”的結(jié)構(gòu)示例中的主要數(shù)據(jù)規(guī)定(語義)的圖。“service_number”是指示服務(wù)類型的I位信息?！皊hared_windows”指示是否對于所有窗口(window)執(zhí)行共享視差信息(disparity)控制?！?I”指示一個(gè)公共視差信息(disparity)將被應(yīng)用于所有隨后的窗口?！癘”指示視差信息(disparity)將被應(yīng)用于僅
一個(gè)窗口?！癱aption_window_count”是指示屏幕說明窗口數(shù)目的3位信息?！癱aption_window_id”是用于標(biāo)識(shí)屏幕說明窗口的3位信息?！皌emporal_extension_flag”是指示是否存在在屏幕說明顯示時(shí)段期間順序更新的視差信息(diSparity_update)的I位標(biāo)記信息。在這種情況下，“ I”指示存在，并且“O”指示不存在。“renderingjevel”指示在接收側(cè)(解碼器端)用于顯示屏幕說明必需的視差信息(disparity)的對應(yīng)水平。“00”指示使用視差信息的屏幕說明的3維顯示是可選的(optional)?！?1”指示使用在屏幕說明顯示時(shí)段內(nèi)共同使用的視差信息(default_disparity)的屏幕說明的3維顯示是必需的?！?10”指示使用在屏幕說明顯示時(shí)段內(nèi)順序更新的視差信息(disparity_update)的屏幕說明的3維顯示是必需的?！皊elect_view_shift”是組成移動(dòng)對象指定信息的2位信息。這個(gè)“select_view_shift”指定要疊加到左眼圖像上的隱藏屏幕說明信息和要疊加到右眼圖像上的隱藏屏幕說明信息中的要基于視差信息而移動(dòng)的隱藏屏幕說明信息?！癝eleCt_View_Shift=00”被保留。如果“SeleCt_View_Shift=01”，僅要被疊加到右眼圖像上的隱藏屏幕說明信息在水平方向上移動(dòng)等價(jià)于視差信息(disparity)的量。并且，如果“ s e I e c t_v i ew_sh i f t=IO ”，僅要被疊加到右眼圖像上的隱藏屏幕說明信息在水平方向上移動(dòng)等價(jià)于視差信息(disparity)的量。此外,如果“select_view_shift=ll”，要被疊加到左眼圖像上的隱藏屏幕說明信息和要被疊加到右眼圖像上的隱藏屏幕說明信息兩者都在水平方向上沿相反方向移動(dòng)。8位字段“defaUlt_diSparity”指示默認(rèn)視差信息。這個(gè)視差信息是在未更新的情況下的視差信息，即，在屏幕說明顯示時(shí)段內(nèi)共同使用的視差信息。如果“temporalextension_flag=l，，是 “ I，，，“caption_disparity_data O，，具有 “disparity_temporal_extension() 基本上，這里存儲(chǔ)要在每個(gè)基本片段時(shí)段(BSP:Base Segment Period)更新的視差息。如上所述，圖20示出每個(gè)基本片段時(shí)段(BSP)視差信息的更新示例。基本片段時(shí)段意味著更新幀間隔。如從這幅圖中可以發(fā)送的，在屏幕說明顯示時(shí)段期間順序更新的視差信息由預(yù)定數(shù)目的幀的時(shí)段的第一幀、和在隨后的基本片段時(shí)段(更新幀間隔)的幀的視
差息組成。圖73 不出 “disparity_temporal_extension O ” 的結(jié)構(gòu)不例(語法)。2 位字段“temporaldivisiorusize”指示基本片段時(shí)段(更新幀間隔)中包括的幀的數(shù)目?！?0”指示這是16中貞?！?1”指示這是25中貞。“10”指示這是30中貞。此外，“ 11”指示這是32中貞?！癳mporal_division_count”指示在屏幕說明顯示時(shí)段中包括的基本片段的數(shù)目?！癲isparity_curve_no_update_flag”是指示是否存在視差信息的更新的I位標(biāo)記信息?！?I ”指示不執(zhí)行(即，跳過)在對應(yīng)基本片段邊緣處的視差信息的更新，并且“O”指示執(zhí)行在對應(yīng)基本片段邊緣處的視差信息的更新。在上述圖23中的每個(gè)基本片段時(shí)段(BSP)更新視差信息的示例中，在已經(jīng)被附加“跳過”的基本片段邊緣不更新視差信息。由于這個(gè)標(biāo)記的存在，在視差信息在幀方向上的改變相同的時(shí)段持續(xù)長時(shí)間的情況下，在該時(shí)段內(nèi)的視差信息的發(fā)送可以通過不更新視差信息而被省略，因而使得能夠抑制視差信息的數(shù)據(jù)量。如果“disparity_curve_no_update_flag”是“O”并且要執(zhí)行視差信息的更新，則包括對應(yīng)片段的 “shifting_interval_counts”。另一方面，如果 “disparity_curve_no_Update_flag”是“I”并且不執(zhí)行視差信息的更新，則不包括對應(yīng)片段的“disparity_update”。6位字段“shifting_interval_counts”指示用于調(diào)整基本片段時(shí)段(更新巾貞間 隔)的拖拽因子(Draw faCtor)，g卩，減去的幀的數(shù)目。在用于每個(gè)基本片段時(shí)段(BSP)的視差信息的更新示例中，關(guān)于在時(shí)間點(diǎn)C到F對于視差信息的更新定時(shí)，通過拖拽因子(Draw factor)來調(diào)整基本片段時(shí)段。由于這個(gè)調(diào)整信息的存在，可以調(diào)整基本片段時(shí)段(更新幀間隔)，并且可以更準(zhǔn)確地將視差信息的時(shí)間方向(幀方向)上的改變通知到接收側(cè)。注意，對于基本片段時(shí)段(更新幀間隔)的調(diào)整，除了如上所述的在縮短方向減去幀的數(shù)目的調(diào)整以外，可以構(gòu)想在延長方向上增加幀的調(diào)整。例如，可以通過使5位字段“shifting_interval_counts”為有符號的整數(shù)來執(zhí)行兩個(gè)方向上的調(diào)整。如上所述，通過對已經(jīng)在讀取中作為填充字段而被跳過的字段做出新擴(kuò)展定義，可以發(fā)送(transmitted)屏幕說明顯示時(shí)段期間順序更新的視差信息、以及向其添加的更新中貞間隔的調(diào)整彳目息等等。
圖75是示出包括視頻基本流、音頻基本流以及屏幕說明基本流的總傳輸流(多路復(fù)用數(shù)據(jù)流)的配置示例的圖。這個(gè)傳輸流包括通過將基本流打包獲得的PES包。對于這個(gè)配置示例，包括了視頻基本流的PES包“視頻PES”。并且，對于這個(gè)配置示例，包括了音頻基本流的PES包“音頻PES”以及屏幕說明基本流的PES包“字幕PES”。并且，傳輸流包括PMT (節(jié)目映射表MtSPSI (節(jié)目專用信息)。這個(gè)PSI是描述在傳輸流中包括的每個(gè)基本流屬于哪個(gè)節(jié)目的信息。并且，傳輸流包括EIT (事件信息表)作為SI (服務(wù)信息)，關(guān)于其執(zhí)行事件增量的管理。描述關(guān)于整體節(jié)目的信息的節(jié)目描述符(ProgramDescriptor)存在于PMT中。并且具有關(guān)于每個(gè)基本流的信息的基本循環(huán)存在于這個(gè)PMT中。對于這個(gè)配置示例，存在視頻基本循環(huán)、音頻基本循環(huán)、以及屏幕說明基本循環(huán)。每個(gè)基本循環(huán)具有位于其中的對于每個(gè)流的諸如包標(biāo)識(shí)符(PID)、流類型(Stream_Type)等信息，并且盡管未在圖中示出，但在其中還放置了描述關(guān)于基本流的信息的標(biāo)識(shí)符。利用圖62中所示的發(fā)送數(shù)據(jù)生成單元110B，視差信息(disparity)已經(jīng)被嵌入到視頻基本流的視差信息的用戶數(shù)據(jù)區(qū)域中而發(fā)送(transmitted)，如圖75所示。利用圖62中所示的發(fā)送數(shù)據(jù)生成單元110B，包括用于顯示立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的立體圖像包括在視頻基本流的有效負(fù)載部分中并被發(fā)送。并且，用于將視差應(yīng)用于CC數(shù)據(jù)的隱藏屏幕說明信息的CC數(shù)據(jù)和視差信息已經(jīng)被插入到視頻基本流的首部部分的用戶數(shù)據(jù)區(qū)域中而發(fā)送。因此，在接收側(cè)(機(jī)頂盒200)，可以從視頻基本流獲得立體圖像數(shù)據(jù)，并且也可以容易地獲得CC數(shù)據(jù)和視差信息。并且在接收側(cè)，使用視差信息，可以將適當(dāng)?shù)囊暡顟?yīng)用于疊加到左眼圖像和右眼圖像上的同樣的隱藏屏幕說明信息。因此，當(dāng)顯示隱藏屏幕說明信息時(shí)，圖像中的對象的透視的一致性可以保持在最佳狀態(tài)。并且，利用圖62中所示的發(fā)送數(shù)據(jù)生成單元110B，可以插入在屏幕說明顯示時(shí)段期間順序更新的視差信息(見圖65、圖68和圖73中的“disparity_update”)。因此,在接收側(cè)(機(jī)頂盒200)，可以結(jié)合圖像內(nèi)容的改變，動(dòng)態(tài)地改變要應(yīng)用于隱藏屏幕說明信息的視差。并且，利用圖62中所示的發(fā)送數(shù)據(jù)生成單元110B，在屏幕說明顯示時(shí)段期間順序更新的視差信息由預(yù)定數(shù)目的幀的時(shí)段的第一幀、以及在隨后的更新幀間隔處的幀的視差信息組成。因此，可以減少發(fā)送數(shù)據(jù)量，并且可以大大節(jié)省在接收側(cè)用于保存視差信息的存儲(chǔ)器容量。
并且,對于圖62中所示的發(fā)送數(shù)據(jù)生成單元110B,“caption_disparity_data() ”中包括的“disparity_temporal_extension O ”具有與上述SCS片段中包括的“disparity_temporal_extension O ”(見圖21)相同的結(jié)構(gòu)。因此，盡管將省略詳細(xì)描述，由于該“disparity_temporal_extension O ”結(jié)構(gòu)，圖62中所示的發(fā)送數(shù)據(jù)生成單元IlOB可以獲得與圖2中所示的發(fā)送數(shù)據(jù)生成單元110相同的優(yōu)點(diǎn)?！鞍l(fā)送數(shù)據(jù)生成單元的配置示例”圖76是對應(yīng)于上述圖62中所示的發(fā)送數(shù)據(jù)生成單元IlOB的機(jī)頂盒200的位流處理單元201B的配置示例。這個(gè)位流處理單元201B具有對應(yīng)于上述圖62中所示的發(fā)送數(shù)據(jù)生成單元IlOB的配置。這個(gè)位流處理單元201B包括多路分解器241、視頻解碼器242、以及CC解碼器243。并且，位流處理單元201B包括立體圖像CC生成單元244、視差信息提取單元245、視差信息處理單元246、視頻疊加單元247、以及音頻解碼器248。多路分解器241從位流數(shù)據(jù)BSD提取視頻和音頻包，并且將它們發(fā)送到解碼器。視頻解碼器242執(zhí)行與上述發(fā)送數(shù)據(jù)生成單元IlOB的視頻編碼器132相反的處理。也就是說，視頻解碼器242從由多路分解器241提取的視頻包重構(gòu)視頻基本流、執(zhí)行解碼處理、并且獲得包括左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的立體圖像數(shù)據(jù)。立體圖像數(shù)據(jù)的發(fā)送格式例如是上述第一發(fā)送格式(“頂?shù)住备袷?、第二發(fā)送格式(“并排”格式)、第三發(fā)送格式(“幀順序”格式)等等(見圖4 (a)到(C))。視頻解碼器242將這個(gè)立體圖像數(shù)據(jù)發(fā)送到視頻疊加單元247。CC解碼器243從在視頻解碼器242重構(gòu)的視頻基本流提取CC數(shù)據(jù)。CC解碼器243隨后獲得對于每個(gè)屏幕說明窗口(Caption Window)的隱藏屏幕說明信息(用于屏幕說明的字符代碼)，以及疊加位置和顯示時(shí)間的進(jìn)一步的控制數(shù)據(jù)。視差信息提取單元245從通過視頻解碼器242獲得的視頻基本流提取視差信息。這個(gè)視差信息與在上述CC解碼器243獲得的對于每個(gè)屏幕說明窗口(Caption Window)的隱藏屏幕說明數(shù)據(jù)(對于屏幕說明的字符代碼)相關(guān)。這個(gè)視差信息是對于每個(gè)屏幕說明窗口的視差矢量(單獨(dú)視差矢量)或每個(gè)屏幕說明窗口公共的視差矢量(共享視差矢量)。視差信息提取單元245獲得在屏幕說明顯示時(shí)段期間共同使用的視差信息，或者在屏幕說明顯示時(shí)段期間順序更新的視差信息。視差信息提取單元245經(jīng)由視差信息處理單元246將視差信息發(fā)送到立體圖像CC生成單元244。在屏幕說明顯示時(shí)段期間順序更新的視差信息由屏幕說明顯示時(shí)段的第一幀的視差信息、和在此后每個(gè)基本片段時(shí)段(更新幀間隔)的幀的視差信息形成。對于在屏幕說明顯示時(shí)段期間共同使用的視差信息，視差信息處理單元246將其發(fā)送到立體圖像CC生成單元244，而不進(jìn)行改變。另一方面，關(guān)于在屏幕說明顯示時(shí)段期間順序更新的視差信息，視差信息處理單元246執(zhí)行插值處理，并且在屏幕說明顯示時(shí)段的任意幀間隔(例如一個(gè)幀間隔)處生成視差信息，并將其發(fā)送到立體圖像CC生成單元244。對于此插值處理，視差信息處理單元246執(zhí)行涉及在時(shí)間方向(幀方向)上的低通濾波(LIP)處理的插值處理，而不是線性插值處理，從而平滑在時(shí)間方向(幀方向)上插值處理之后的視差信息在預(yù)定幀間隔的改變(見圖31)。
立體圖像CC生成單元244為每個(gè)屏幕說明窗口(Caption Window)生成左眼圖像和右眼圖像的左眼隱藏屏幕說明信息(caption)和右眼隱藏屏幕說明信息(caption)?；谠贑C解碼器243獲得的隱藏屏幕說明信息和疊加處理控制數(shù)據(jù)以及從視差信息提取單元245經(jīng)由視差信息處理單元246發(fā)送的視差信息(視差矢量)，執(zhí)行這個(gè)生成處理。這個(gè)立體圖像CC生成單元244為左眼屏幕說明和右眼屏幕說明輸出數(shù)據(jù)(位圖數(shù)據(jù))。在這種情況下，左眼屏幕說明和右眼屏幕說明是相同的信息。然而，例如，左眼屏幕說明和右眼屏幕說明在圖 形內(nèi)的疊加位置在水平方向上移動(dòng)例如等價(jià)于視差矢量的量。因此，可以使用疊加到左眼圖像和右眼圖像上的同一個(gè)屏幕說明，并根據(jù)圖像內(nèi)的對象的透視在他們之間執(zhí)行視差調(diào)整，并且因此關(guān)于圖像中的對象的透視的一致性可以保持在最佳狀態(tài)?，F(xiàn)在，例如，如果僅從視差信息處理單元246發(fā)送要在屏幕說明顯示時(shí)段期間共同使用的視差信息(視差矢量)，立體圖像CC生成單元244使用這個(gè)視差信息。并且，例如，如果僅從視差信息處理單元246發(fā)送屏幕說明顯示時(shí)段期間順序更新的視差信息(視差矢量)，立體圖像CC生成單元244使用這個(gè)視差信息。此外，例如，如果從視差信息處理單元246發(fā)送要在屏幕說明顯示時(shí)段期間共同使用的視差信息和在屏幕說明顯示時(shí)段期間順序更新的視差信息兩者，立體圖像CC生成單元244使用一個(gè)或另一個(gè)。通過指示在接收側(cè)(解碼器)用于顯示屏幕說明所必需的視差信息(disparity)的相關(guān)水平的信息(“renderingjevel”)而限制使用哪一個(gè)，所述信息包括在擴(kuò)展顯示控制數(shù)據(jù)單元中。在這種情況下，例如如果是“00”，應(yīng)用用戶設(shè)置。使用在屏幕說明顯示時(shí)段期間順序更新的視差信息使得要應(yīng)用于左眼字幕和右眼字幕的視差能夠結(jié)合圖像內(nèi)容中的改變而動(dòng)態(tài)改變。視頻疊加單元247將在立體圖像CC生成單元244生成的左眼和右眼屏幕說明數(shù)據(jù)(位圖數(shù)據(jù))疊加到在視頻解碼器242獲得的立體圖像數(shù)據(jù)(左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù))上，并且獲得顯示立體圖像數(shù)據(jù)Vwt。視頻疊加單元247接著從位流處理單元201B外部地輸出顯示立體圖像數(shù)據(jù)ν_。并且，音頻解碼器248執(zhí)行與上述發(fā)送數(shù)據(jù)生成單元IlOB的音頻解碼器的處理133相反的處理。也就是說，音頻解碼器248從在多路分解器241提取的音頻包重構(gòu)音頻基本流、執(zhí)行解碼處理并且獲得音頻數(shù)據(jù)Aout。這個(gè)音頻解碼器248接著從位流處理單元201B外部地輸出音頻數(shù)據(jù)Α_。將簡要描述圖76中所示的位流處理單元201Β的操作。將從數(shù)字調(diào)諧器204 (見圖29)輸出的位流數(shù)據(jù)BSD提供給多路分解器241。在多路分解器241，從位流數(shù)據(jù)BSD提取視頻和音頻包，并將其提供給解碼器。在視頻解碼器242，從在多路分解器241提取的視頻包重構(gòu)視頻基本流，并進(jìn)一步執(zhí)行解碼處理，并且獲得包括左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的立體圖像數(shù)據(jù)。將這個(gè)立體圖像數(shù)據(jù)提供給視頻疊加單元247。并且，將在視頻解碼器242重構(gòu)的視頻基本流提供給CC解碼器243。在CC解碼器243，從視頻基本流提取CC數(shù)據(jù)。利用這個(gè)CC解碼器243，從CC數(shù)據(jù)獲得對于每個(gè)屏幕說明窗口(Caption Window)的隱藏屏幕說明信息(對于屏幕說明的字符編碼)、以及數(shù)據(jù)疊加位置和顯示時(shí)間的控制。將這個(gè)隱藏屏幕說明信息和數(shù)據(jù)疊加位置和顯示時(shí)間的控制數(shù)據(jù)提供給立體圖像CC生成單元244。并且，將在視頻解碼器242重構(gòu)的視頻基本流提供給視差信息提取單元245。在視差信息提取單元245，從視頻基本流提取視差信息。這個(gè)視差信息與在上述CC解碼器243獲得的對于每個(gè)屏幕說明窗口(Caption Window)的隱藏屏幕說明數(shù)據(jù)(對于屏幕說明的字符編碼)相關(guān)。將這個(gè)視差信息經(jīng)由視差信息處理單元246提供給立體圖像CC生成單元244。在視差信息處理單元246，關(guān)于在屏幕說明顯示時(shí)段期間順序更新的視差信息執(zhí)行下面的處理。也就是說，在視差信息處理單元246，執(zhí)行涉及在時(shí)間方向(幀方向)上的低通濾波(LPF)處理的插值處理，生成在屏幕說明顯示時(shí)段期間的任意幀間隔(例如，一個(gè)幀間隔)處的視差信息，其被發(fā)送到立體圖像CC生成單元244。在立體圖像CC生成單元244,對于每個(gè)屏幕說明窗口(Caption Window)生成左眼隱藏屏幕說明信息(caption)和右眼隱藏屏幕說明信息(caption)的數(shù)據(jù)?；谠贑C解碼器243獲得的隱藏屏幕說明信息和疊加位置控制數(shù)據(jù)、以及經(jīng)由視差信息處理單元246從視差信息提取單元245提供的視差信息(視差矢量)，執(zhí)行這個(gè)生成處理。在立體圖像CC生成單元244，左眼隱藏屏幕說明信息和右眼隱藏屏幕說明信息中 的一個(gè)或兩者經(jīng)歷移動(dòng)處理以應(yīng)用視差。在這種情況下，如果經(jīng)由視差信息處理單元246提供的視差信息是要在幀之間共同使用的視差信息，則基于這個(gè)公共視差信息，將視差應(yīng)用于要疊加到左眼圖像和右眼圖像上的隱藏屏幕說明信息。并且，如果視差信息是要在每個(gè)幀順序更新的視差信息，則將在每個(gè)幀更新的視差信息應(yīng)用于疊加到左眼圖像和右眼圖像上的隱藏屏幕說明信息。因此,在立體圖像CC生成單元244對于每個(gè)屏幕說明窗口(Caption Window)生成的左眼和右眼的隱藏屏幕說明信息的數(shù)據(jù)(位圖數(shù)據(jù))與顯示時(shí)間的控制數(shù)據(jù)一起提供給視頻疊加單元247。在視頻疊加單元247，將從立體圖像CC生成單元244提供的隱藏屏幕說明信息的數(shù)據(jù)疊加到在視頻解碼器242獲得的立體圖像數(shù)據(jù)(左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù))上，并且獲得顯示立體圖像數(shù)據(jù)ν_。并且，在音頻解碼器248，從自多路分解器241提取的音頻包重構(gòu)音頻基本流，并執(zhí)行進(jìn)一步的編碼處理，由此獲得對應(yīng)于上述顯示立體圖像數(shù)據(jù)Vwt的音頻數(shù)據(jù)Awt。這個(gè)音頻數(shù)據(jù)Atjut從位流處理單元201B外部地輸出。利用圖76中所示的位流處理單元201B，可以從視頻基本流的有效負(fù)載部分獲得立體圖像數(shù)據(jù)，并且還可以從首部部分的用戶數(shù)據(jù)區(qū)域獲得CC數(shù)據(jù)和視差信息。因此，使用與這個(gè)隱藏屏幕說明信息匹配的視差信息，可以將合適的視差提供給要疊加到左眼圖像和右眼圖像上的隱藏屏幕說明信息。因此，當(dāng)顯示隱藏屏幕說明信息時(shí)，關(guān)于圖像中的對象的透視一致性可以保持在最佳狀態(tài)。并且，利用圖76中所示的位流處理單元201B的視差信息提取單元245，獲得在屏幕說明顯示時(shí)段期間共同使用的視差信息或者在屏幕說明顯示時(shí)段期間順序更新的視差信息。在立體圖像CC生成單元244使用在屏幕說明顯示時(shí)段期間順序更新的視差信息使得要應(yīng)用于要被疊加到左眼圖像和右眼圖像上的隱藏屏幕說明信息的視差能夠結(jié)合圖像內(nèi)容中的改變而動(dòng)態(tài)地改變。并且，利用圖76中所示的位流處理單元201B的視差信息處理單元246，使在屏幕說明顯示時(shí)段期間順序更新的視差信息經(jīng)歷插值處理，并且生成在屏幕說明顯示時(shí)段期間任意幀間隔的視差信息。在這種情況下，即使在諸如16幀等的每個(gè)基本片段時(shí)段(更新幀間隔)從發(fā)送側(cè)(廣播站100)發(fā)送視差信息的情況中，要應(yīng)用于疊加到左眼圖像和右眼圖像上的隱藏屏幕說明信息的視差葉可以以合適的間隔、例如每一幀來控制。并且，利用圖76中所示的位流處理單元201B的視差信息處理單元246，執(zhí)行涉及時(shí)間方向(幀方向)上的低通濾波處理的插值處理。因此，即使在每個(gè)基本片段時(shí)段(更新幀間隔)從發(fā)送側(cè)(廣播站100)發(fā)送視差信息的情況中，也可以使插值處理之后在時(shí)間方向(幀方向)上的視差信息的改變平滑(見圖31)。因此，可以抑制應(yīng)用于疊加在左眼圖像和右眼上的隱藏屏幕說明信息的視差的轉(zhuǎn)變在每個(gè)更新幀間隔變得不連續(xù)的不自然的感覺。<2.變型 >注意，圖77 示出“disparity_temporal_extension O ”的另一個(gè)結(jié)構(gòu)示例(語法)。并且，圖78示出“disparity_temporal_extension() ”的結(jié)構(gòu)示例中的主要數(shù)據(jù)規(guī)定(語義)。8位字段“disparity_update_count”指示視差信息(disparity)的更新數(shù)目。存在由視差信息的更新次數(shù)所限制的for循環(huán)。
8位字段“ interval_count ”根據(jù)由后面描述的“ interval_PTS ”所指示的間隔時(shí)段(Interval period)的倍數(shù)指示更新時(shí)段。“8位字段disparity-update”指示對應(yīng)的更新時(shí)段的視差信息。注意，當(dāng)k=0時(shí)“diSparity_Update”是在屏幕說明顯示時(shí)段期間的更新幀間隔處順序更新的視差信息的初始值，即，在屏幕說明顯示時(shí)段的第一幀的視差信息。注意，在使用具有圖77中所示結(jié)構(gòu)的“disparity_temporal_extension() ”而不是具有圖21中所示結(jié)構(gòu)的“(118口31'；^7_1611^10以1_61七6118；
以90KHz增量指定間隔時(shí)段(間隔持續(xù)時(shí)間)。也就是說，“interval_time[23. . O] ”表示其中90KHz時(shí)鐘測量該間隔時(shí)段(間隔持續(xù)時(shí)間)的24位長度的值。插入PES首部部分的PTS是33位長度但這是24位長度的原因如下。也就是說，超過24小時(shí)值的時(shí)間可以用33位長度表示，但這對于這個(gè)間隔時(shí)段(間隔持續(xù)時(shí)間)是不必要的長度。并且，使用24位使數(shù)據(jù)大小更小，使得能夠壓縮發(fā)送。此外，24位是8*3位，便于字節(jié)對準(zhǔn)。8位字段“divisioruperiocLcount”指示用于發(fā)送視差信息(視差時(shí)段)的時(shí)段數(shù)目。例如，在圖83中所示的更新示例的情況下，這個(gè)數(shù)目是“7”，對應(yīng)于起始時(shí)間點(diǎn)T1_0和隨后的更新時(shí)間點(diǎn)Tl_l到Tl_6。隨后的for循環(huán)重復(fù)由這個(gè)8位字段“division_period_count”指示的數(shù)目。
8位字段“intervalcount”指示間隔時(shí)段的數(shù)目。例如，對于圖83中所示的更新示例，對應(yīng)于M、N、P、Q、R以及S。8位字段“disparity_page_update”指示視差信息?！癷nterval_count”設(shè)置為“O”對應(yīng)于在起始時(shí)間點(diǎn)的視差信息(視差信息的初始值)。換句話說，如果“ interval_count ”為“ O ”, “ disparity_page_update ”指示在起始時(shí)間點(diǎn)的視差信息(視差信息的初始值)。如果目前為止處理過的數(shù)據(jù)長度(processecLlength)尚未達(dá)到片段數(shù)據(jù)長度(segment_length),則重復(fù)圖89中所示的while循環(huán)。區(qū)域增量或區(qū)域內(nèi)的子區(qū)域增量中的視差信息位于這個(gè)while循環(huán)中?，F(xiàn)在，區(qū)域中包括一個(gè)或多個(gè)子區(qū)域，并且存在子區(qū)域與區(qū)域范圍相同的情況?！皉egion_id”和“subregion_id”信息包括在這個(gè)while循環(huán)中。如果子區(qū)域與區(qū)域范圍相同，將“subregion_id”設(shè)置為“O”。因此，如果“subbregionjd”不是“0”，這個(gè)while 循環(huán)包括位置信息“subregion_horizontal_position” 以及寬度信息“subregion_width”,指示子區(qū)域范圍。 I 位標(biāo)記“disparity_region_update_sequence_flag”指示是否存在在屏幕說明顯示時(shí)段期間順序更新的視差信息作為區(qū)域增量(子區(qū)域增量)視差信息。“I”指示存在，并且“O”指示不存在。8位字段“subregion_disparity_integer_part”是固定區(qū)域增量(子區(qū)域增量)視差信息，即，在屏幕說明顯示時(shí)段期間共同使用，指示視差信息的整數(shù)部分。4位字段“ subregion_disparity_fractional_part”是固定區(qū)域增量(子區(qū)域增量)視差信息，即，在屏幕說明顯示時(shí)段期間共同使用，指示視差信息的小數(shù)部分。如果上述標(biāo)記“disparity_region_update_sequence_flag”是“I”，則讀出 “disparity_page_update_sequence O，，。 圖 91 不出 “disparity_page_update_sequence O ” 的結(jié)構(gòu)不例(語法)?！癲isparity_region_update_sequence_length” 是指不隨后的字節(jié)數(shù)目的8位數(shù)據(jù)?！皊egment_NOT_continued_flag”指示當(dāng)前包內(nèi)是否是完整的?！癐”指示當(dāng)前包內(nèi)是完整的?！癘”指示在當(dāng)前包內(nèi)不是完整的，并且在隨后的包中還有更多。24位字段“interval_time[23. . O] ”以90KHz增量指定間隔時(shí)段(間隔持續(xù)時(shí)間)作為增量時(shí)段。也就是說，“interval_time[23. .0]”表示其中90KHz時(shí)鐘測量該間隔時(shí)段(間隔持續(xù)時(shí)間)的24位長度的值。為什么這是24位長的原因與上面關(guān)于“diSparity_page_update_sequence O ”的結(jié)構(gòu)示例(語法)做出的描述相同。8位字段“divisioruperiocLcount”指示用于發(fā)送視差信息(視差時(shí)段)的時(shí)段數(shù)目。例如，在圖83中所示的更新示例的情況下，這個(gè)數(shù)目是“7”，對應(yīng)于起始時(shí)間點(diǎn)T1_0和隨后的更新時(shí)間點(diǎn)Tl_l到Tl_6。隨后的for循環(huán)重復(fù)由這個(gè)8位字段“division_period_count”指示的數(shù)目。8位字段“intervalcount”指示間隔時(shí)段的數(shù)目。例如，對于圖83中所示的更新不例，對應(yīng)于 M、N、P、Q、R 以及 S。8 位字段“disparity_region_update_integer_part” 指示視差信息的整數(shù)部分。4位字段“disparity_region_update_fractional_part”指示視差信息的小數(shù)部分。根據(jù)起始時(shí)間視差信息(視差信息的初始值)將“interval_count”設(shè)置為“O”。換句話說，如果“ interval_count”為“O”,“disparity_region_update_integer_part”和 “disparity_region_update_fractional_part”指示起始時(shí)間視差信息(視差信息的初始值)。并且，在上面的描述中已經(jīng)示出增量時(shí)段(間隔時(shí)段)的信息是其中以90KHz時(shí)鐘測量的增量時(shí)段的值用24位長度表達(dá)的信息的示例。然而，增量時(shí)段(間隔時(shí)段)的信息不限制于此，并且可以是例如增量時(shí)段表示為幀計(jì)數(shù)的信息。并且，對于上述實(shí)施例，已經(jīng)示出圖像發(fā)送/接收系統(tǒng)10由廣播站100、機(jī)頂盒200和電視接收器300配置而成。然而，電視接收器300具有以與機(jī)頂盒內(nèi)的位流處理單元201 (201A、201B)相同的方式工作的位流處理單元306。因此，也可以構(gòu)思由廣播站100和電視接收器300配置而成的圖像發(fā)送/接收系統(tǒng)10A，如圖94所示。并且，對于上述實(shí)施例，已經(jīng)示出了包括立體圖像數(shù)據(jù)(位流數(shù)據(jù))的數(shù)據(jù)流從廣播站100廣播的示例。然而，本發(fā)明可以類似地應(yīng)用于具有下述配置的系統(tǒng)其中使用諸如因特網(wǎng)等的網(wǎng)絡(luò)將數(shù)據(jù)流發(fā)送到接收終端。并且，對于上述實(shí)施例，已經(jīng)示出了其中機(jī)頂盒200和電視接收器300通過HDMI數(shù)字接口連接的示例。然而，本發(fā)明可以類似地應(yīng)用于通過類似于HDMI數(shù)字接口(除線纜連接以外，包括無線連接)的數(shù)字接口來連接它們的情況。并且，對于上述實(shí)施例，已經(jīng)示出了將字幕(屏幕說明)作為疊加信息處理的示例。然而，本發(fā)明可以類似地應(yīng)用于也處理圖形信息、文本信息等等的布置。本技術(shù)的一個(gè)基本特征是發(fā)送屏幕說明顯示時(shí)段中的第一幀的視差信息值、以及用于每個(gè)隨后更新幀間隔(劃分時(shí)段)的預(yù)定定時(shí)處的視差信息值，由此能夠減少用于視差信息的所發(fā)送的數(shù)據(jù)量。另一個(gè)特征是通過用充當(dāng)增量時(shí)段(見圖83)的間隔時(shí)段(間隔持續(xù)時(shí)間)的倍數(shù)來表示每個(gè)更新幀間隔，使得預(yù)定定時(shí)的間隔能夠根據(jù)視差信息曲線合適地設(shè)置成間隔，而不是固定的。工業(yè)實(shí)用性本發(fā)明適用于能夠在立體圖像上顯示諸如字幕(屏幕說明)的疊加信息的圖像發(fā)送/接收系統(tǒng)。參考標(biāo)記列表10、10A :圖像發(fā)送/接收系統(tǒng)100 :廣播站110、110A、110B :發(fā)送數(shù)據(jù)生成單元111、121、131 :數(shù)據(jù)提取單元112、122、132 :視頻編碼器132a:流格式化器113、123、133 :音頻編碼器114:字幕生成單元115、125、135 :視差信息產(chǎn)生單元 116:字幕處理單元117 :顯示控制信息生成單元118:字幕編碼器119、127、136 :多路復(fù)用器124:屏幕說明生成單元
126:屏幕說明編碼器134 :CC 編碼器126 :多路復(fù)用器200:機(jī)頂盒(STB)201、201A、201B :位流處理單元202 =HDMI 端子
203 :天線端子204 :數(shù)字調(diào)諧器205 :視頻信號處理電路206 =HDMI 發(fā)送單元207:音頻信號處理單元211 CPU215 :遠(yuǎn)程控制接收單元216 :遠(yuǎn)程控制發(fā)送單元221、231、241 :多路分解器222、232、242 :視頻解碼器223 :字幕解碼器224 :立體圖像字幕生成單元225 :顯示控制單元226 :顯示控制信息獲取單元227、236、246 :視差信息處理單元228、237、247 :視頻疊加單元229、238、248 :音頻解碼器233 :屏幕說明解碼器234 :立體圖像屏幕說明生成單元235,245 :視差信息提取單元243 CC 解碼器244 :立體圖像CC生成單元300 電視接收器(TV)301 :3D信號處理單元302 :HDMI 端子303 =HDMI 接收器304 :天線端子305 :數(shù)字調(diào)諧器306 :位流處理單元307 :視頻圖形處理電路308:面板驅(qū)動(dòng)電路309 :顯示面板310 :音頻信號處理電路
311 :音頻放大電路312 :揚(yáng)聲器321 CPU325 :遠(yuǎn)程控制接收單元326 :遠(yuǎn)程控制發(fā)送單元400 =HDMI 線纜
權(quán)利要求
1.一種圖像數(shù)據(jù)發(fā)送設(shè)備，包括 圖像數(shù)據(jù)輸出單元，配置為輸出左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)； 疊加信息數(shù)據(jù)輸出單元，配置為輸出要疊加到所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)上的疊加信息的數(shù)據(jù)； 視差信息輸出單元，配置為輸出要添加到所述疊加信息的視差信息；以及數(shù)據(jù)發(fā)送單元，配置為發(fā)送所述左眼圖像數(shù)據(jù)、所述右眼圖像數(shù)據(jù)、所述疊加信息數(shù)據(jù)、以及所述視差信息； 所述圖像數(shù)據(jù)發(fā)送設(shè)備進(jìn)一步包括視差信息更新單元，配置為基于顯示所述疊加信息的第一幀的視差信息初始值、和在間隔時(shí)段已經(jīng)被乘以倍數(shù)值的預(yù)定定時(shí)處的視差信息值，更新所述視差信息。
2.如權(quán)利要求I所述的圖像數(shù)據(jù)發(fā)送設(shè)備，進(jìn)一步包括配置為改變間隔時(shí)段已經(jīng)被乘以倍數(shù)值的預(yù)定定時(shí)的調(diào)整單元。
3.如權(quán)利要求I所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中關(guān)于與間隔時(shí)段已經(jīng)被乘以倍數(shù)值的預(yù)定定時(shí)相對應(yīng)的每個(gè)幀，將指示是否存在所述視差信息的更新的標(biāo)記信息添加到所述視Hfs 息。
4.如權(quán)利要求I所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中所述視差信息已經(jīng)被添加了用于計(jì)算間隔時(shí)段已經(jīng)被乘以倍數(shù)值的預(yù)定定時(shí)的單位時(shí)段的信息、以及所述單位時(shí)段的數(shù)目的信肩、O
5.如權(quán)利要求I所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中增量時(shí)段的所述信息是其中通過以90KHz時(shí)鐘測量所述增量時(shí)段所獲得的值表達(dá)為24位長度的信息，或者所述增量時(shí)段表達(dá)為幀計(jì)數(shù)的信息。
6.如權(quán)利要求I所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中所述視差信息是對應(yīng)于在相同的屏幕中顯示的特定疊加信息的視差信息，和/或共同地對應(yīng)于在相同的屏幕中顯示的多個(gè)疊加Ih息的視差息。
7.如權(quán)利要求I所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中所述視差信息具有子像素精度。
8.如權(quán)利要求I所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中所述視差信息包括空間獨(dú)立的多個(gè)區(qū)域。
9.如權(quán)利要求I所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中所述視差信息已經(jīng)被添加了用于指定幀周期的信息。
10.如權(quán)利要求I所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中所述視差信息已經(jīng)被添加了指示關(guān)于所述視差信息的一致性水平的信息，所述一致性水平在顯示所述疊加信息時(shí)必需的。
11.如權(quán)利要求I所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中所述數(shù)據(jù)發(fā)送單元在所述顯示時(shí)段開始之前，發(fā)送在所述疊加信息的顯示時(shí)段要添加到所述疊加信息的視差信息。
12.如權(quán)利要求I所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中所述疊加信息的數(shù)據(jù)是DVB格式的字幕數(shù)據(jù)； 并且其中所述數(shù)據(jù)發(fā)送單元執(zhí)行其中包括所述字幕數(shù)據(jù)的字幕數(shù)據(jù)流中所包括的所述視差信息的發(fā)送。
13.如權(quán)利要求12所述的立體圖像數(shù)據(jù)發(fā)送設(shè)備，其中所述視差信息是區(qū)域的增量或所述區(qū)域中包括的子區(qū)域的增量中的視差信息。
14.如權(quán)利要求12所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中所述視差信息是包括所有區(qū)域的頁增量中的視差信息。
15.如權(quán)利要求I所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中所述疊加信息的數(shù)據(jù)是ARIB格式的屏幕說明數(shù)據(jù)； 并且其中所述數(shù)據(jù)發(fā)送單元執(zhí)行其中包括所述屏幕說明數(shù)據(jù)的屏幕說明數(shù)據(jù)流中所包括的所述視差信息的發(fā)送。
16.如權(quán)利要求I所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中所述疊加信息的數(shù)據(jù)是CEA格式的隱藏屏幕說明數(shù)據(jù)； 并且其中所述數(shù)據(jù)發(fā)送單元執(zhí)行其中包括所述隱藏屏幕說明數(shù)據(jù)的視頻數(shù)據(jù)流的用戶數(shù)據(jù)區(qū)域中所包括的所述視差信息的發(fā)送。
17.如權(quán)利要求16所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中將所述疊加信息的數(shù)據(jù)插入基于位于所述用戶數(shù)據(jù)區(qū)域中的CEA表的擴(kuò)展命令中。
18.如權(quán)利要求16所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中所述疊加信息的數(shù)據(jù)插入位于所述用戶數(shù)據(jù)區(qū)域中的所述隱藏屏幕說明數(shù)據(jù)中。
19.一種圖像數(shù)據(jù)發(fā)送方法，包括 圖像數(shù)據(jù)輸出步驟，輸出左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)； 疊加信息數(shù)據(jù)輸出步驟，輸出要疊加到所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)上的疊加信息的數(shù)據(jù)； 視差信息輸出步驟，輸出要添加到所述疊加信息的視差信息；以及 數(shù)據(jù)發(fā)送步驟，發(fā)送所述左眼圖像數(shù)據(jù)、所述右眼圖像數(shù)據(jù)、所述疊加信息數(shù)據(jù)、以及所述視差信息； 所述方法進(jìn)一步包括視差信息更新步驟，其基于顯示所述疊加信息的第一幀的視差信息初始值、和在間隔時(shí)段已經(jīng)被乘以倍數(shù)值的預(yù)定定時(shí)處的視差信息值，更新所述視差信肩、O
20.一種圖像數(shù)據(jù)接收設(shè)備，包括 數(shù)據(jù)接收單元，配置為接收左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)、要疊加到所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)上的疊加信息數(shù)據(jù)、以及要添加到所述疊加信息的視差信息， 所述視差信息是基于顯示所述疊加信息的第一幀的視差信息初始值、和在間隔時(shí)段已經(jīng)被乘以倍數(shù)值的預(yù)定定時(shí)處的視差信息值，更新的；并且所述圖像數(shù)據(jù)接收設(shè)備進(jìn)一步包括 圖像數(shù)據(jù)處理單元，配置為基于所述左眼圖像數(shù)據(jù)、所述右眼圖像數(shù)據(jù)、所述疊加信息數(shù)據(jù)、以及所述視差信息，獲得在其上已經(jīng)疊加所述疊加信息的左眼圖像數(shù)據(jù)以及在其上已經(jīng)疊加所述疊加信息的右眼圖像數(shù)據(jù)。
21.如權(quán)利要求20所述的圖像數(shù)據(jù)接收設(shè)備，其中所述圖像數(shù)據(jù)處理單元使視差信息經(jīng)歷插值處理，并且生成和使用任意幀間距的視差信息。
22.如權(quán)利要求21所述的圖像數(shù)據(jù)接收設(shè)備，其中所述插值處理涉及時(shí)間方向上的低帶濾波處理。
23.如權(quán)利要求20所述的圖像數(shù)據(jù)接收設(shè)備，其中所述視差信息已經(jīng)被添加了用于計(jì)算間隔時(shí)段已經(jīng)被乘以倍數(shù)值的預(yù)定定時(shí)的增量時(shí)段的信息，以及所述增量時(shí)段的數(shù)目的信息； 并且其中所述圖像數(shù)據(jù)處理單元用所述疊加信息的顯示起始時(shí)間點(diǎn)作為基準(zhǔn)，基于所述增量時(shí)段的信息和所述數(shù)目的信息，獲得所述預(yù)定定時(shí)。
24.如權(quán)利要求23所述的立體圖像數(shù)據(jù)接收設(shè)備，其中提供所述疊加信息的所述顯示起始時(shí)間點(diǎn)，作為插入在包括所述視差信息的PES流的首部部分中的PTS (呈現(xiàn)時(shí)間戳)。
25.一種圖像數(shù)據(jù)接收方法，包括 數(shù)據(jù)接收步驟，接收左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)、要疊加到所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)上的疊加信息數(shù)據(jù)、以及要添加到所述疊加信息的視差信息， 所述視差信息是基于顯示所述疊加信息的第一幀的視差信息初始值、和在間隔時(shí)段已經(jīng)被乘以倍數(shù)值的預(yù)定定時(shí)處的視差信息值，更新的；以及所述圖像數(shù)據(jù)接收方法進(jìn)一步包括 圖像數(shù)據(jù)處理步驟，基于所述左眼圖像數(shù)據(jù)、所述右眼圖像數(shù)據(jù)、所述疊加信息數(shù)據(jù)、以及所述視差信息，獲得在其上已經(jīng)疊加所述疊加信息的左眼圖像數(shù)據(jù)以及在其上已經(jīng)疊加所述疊加信息的右眼圖像數(shù)據(jù)。圖像數(shù)據(jù)發(fā)送設(shè)備、圖像數(shù)據(jù)發(fā)送方法、圖像數(shù)據(jù)接收設(shè)備以及圖像數(shù)據(jù)接收方法技術(shù)領(lǐng)域
本發(fā)明涉及圖像數(shù)據(jù)發(fā)送設(shè)備、圖像數(shù)據(jù)發(fā)送方法、圖像數(shù)據(jù)接收設(shè)備以及圖像數(shù)據(jù)接收方法，并且更具體地，涉及與左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)一起發(fā)送諸如屏幕說明(caption)的疊加(superimposed)信息數(shù)據(jù)的圖像數(shù)據(jù)發(fā)送設(shè)備等。
背景技術(shù)：
例如，在PTLl中提出了一種使用電視廣播無線電波的立體圖像數(shù)據(jù)的發(fā)送方法。使用這一發(fā)送方法，發(fā)送具有用于左眼的圖像數(shù)據(jù)和用于右眼的圖像數(shù)據(jù)的立體圖像數(shù)據(jù)，并且執(zhí)行使用雙眼視差(binocular disparity)的立體圖像顯示。
圖95示出對象的左右圖像在屏幕上的顯示位置及其立體圖像的回放位置之間的關(guān)系。例如，關(guān)于如圖所示在屏幕上左圖像La移動(dòng)到右側(cè)并且右圖像Ra移動(dòng)到左側(cè)而顯示的對象A，左右視線在屏幕表面的前方相交，所以其立體圖像的回放位置在屏幕表面前方。DPa表不關(guān)于對象A在水平方向的視差矢量。
同樣，例如，如屏幕上所示，關(guān)于左圖像Lb和右圖像Rb顯示在同一位置的對象B，左右視線在屏幕表面相交，所以其立體圖像的回放位置在屏幕表面上。此外，例如，關(guān)于如圖所示在屏幕上左圖像Lc移動(dòng)到左側(cè)并且右圖像Ra移動(dòng)到右側(cè)的對象C，左右視線在屏幕表面的后面相交，所以立體圖像的回放位置在屏幕表面的后面。DPc表示關(guān)于對象C在水平方向的視差矢量。
引用列表
專利文獻(xiàn)
PTLl :日本未審專利申請公開No. 2005-6114發(fā)明內(nèi)容
技術(shù)問題
立體圖像如上所述顯示，利用雙眼視差觀察者將正常地感覺立體圖像的透視(perspective)。預(yù)期疊加到圖像的例如屏幕說明等的疊加信息將不僅在二維空間中呈現(xiàn)而且進(jìn)一步和具有深度的三維感覺的立體圖像顯示一起來呈現(xiàn)。例如，在圖像上執(zhí)行屏幕說明的疊加顯示(覆蓋顯示)的情況下，觀察者能感覺到透視上的不一致，除非在透視上比起離圖像內(nèi)最近的對象(object),顯示離觀察者更近。
因此，可以設(shè)想與疊加信息的數(shù)據(jù)一起發(fā)送左眼圖像和右眼圖像間的視差信息，并在接收側(cè)應(yīng)用該左眼圖像和右眼圖像間的視差。這時(shí)候，為了允許要被應(yīng)用的左眼圖像和右眼圖像之間的視差隨著疊加圖像的變化而以動(dòng)態(tài)方式變化，需要發(fā)送在要顯示疊加信息的預(yù)定數(shù)目幀的時(shí)段內(nèi)順序更新的視差。
本發(fā)明的目的是在發(fā)送在顯示疊加信息的預(yù)定數(shù)目幀的時(shí)段內(nèi)順序更新的視差信息的時(shí)候減少視差信息的數(shù)據(jù)量。
解決方案
本發(fā)明的思想是圖像數(shù)據(jù)發(fā)送設(shè)備，包括
圖像數(shù)據(jù)輸出單元，配置為輸出左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)；
疊加信息數(shù)據(jù)輸出單元，配置為輸出要疊加到所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)上的疊加信息的數(shù)據(jù)；
視差信息輸出單元，配置為輸出要添加到所述疊加信息的視差信息；以及
數(shù)據(jù)發(fā)送單元，配置為發(fā)送所述左眼圖像數(shù)據(jù)、所述右眼圖像數(shù)據(jù)、所述疊加信息數(shù)據(jù)、以及所述視差信息；
所述圖像數(shù)據(jù)發(fā)送設(shè)備進(jìn)一步包括視差信息更新單元，配置為基于顯示所述疊加信息的第一幀的視差信息初始值、和在間隔時(shí)段已經(jīng)被乘以倍數(shù)值的預(yù)定定時(shí)處的視差信息值，更新所述視差信息。
對于本發(fā)明，從圖像數(shù)據(jù)輸出單元輸出左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。用于左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的發(fā)送格式包括并排(Side by Side)格式、頂?shù)?Top&Bottom)格zpf*坐坐工、o
從疊加信息數(shù)據(jù)輸出單元輸出要被疊加到左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的疊加信息數(shù)據(jù)。現(xiàn)在，疊加信息是要被疊加在圖像上的諸如屏幕說明、圖形、文本等的信息。疊加信息數(shù)據(jù)輸出單元輸出要添加到疊加信息上的視差信息。例如，該視差信息是與顯示在相同屏幕上的特定的疊加信息相對應(yīng)的視差信息，和/或與顯示在相同屏幕上的多個(gè)疊加信息共同地對應(yīng)的視差信息。并且，例如，視差信息可以有子像素精度。并且，例如，該圖像數(shù)據(jù)發(fā)送設(shè)備可以包括空間獨(dú)立的多個(gè)區(qū)域。
視差信息輸出單元輸出左眼圖像數(shù)據(jù)、右眼圖像數(shù)據(jù)、疊加圖像數(shù)據(jù)和視差信息。隨后，視差信息更新單元基于顯示疊加信息的第一幀的視差信息初始值和間隔時(shí)段已經(jīng)被乘以倍數(shù)值的預(yù)定定時(shí)處的視差信息值來更新視差信息。這種情況下，在顯示時(shí)段開始之前發(fā)送疊加信息的顯示時(shí)段期間添加到疊加信息的視差信息。這使得要被添加到疊加信息的視差與其顯示時(shí)段相配。
例如，疊加信息的數(shù)據(jù)是DVD格式字幕數(shù)據(jù)，且在數(shù)據(jù)發(fā)送單元中，將視差信息包含在字幕數(shù)據(jù)流中發(fā)送，該數(shù)據(jù)流包括了字幕數(shù)據(jù)。例如，視差信息是區(qū)域增量或區(qū)域中包括的子區(qū)域增量中的視差信息。并且，例如，視差信息是包含所有區(qū)域的頁增量中的視差信肩、O
并且，例如，疊加信息的數(shù)據(jù)是ARIB格式屏幕說明數(shù)據(jù)，且在數(shù)據(jù)發(fā)送單元，將視差信息包括在屏幕說明數(shù)據(jù)流中發(fā)送，該數(shù)據(jù)流包含了屏幕說明數(shù)據(jù)。并且，例如，疊加信息的數(shù)據(jù)是CEA格式掩藏(closed)屏幕說明數(shù)據(jù)，且在數(shù)據(jù)發(fā)送單元中，將視差信息包括在視頻數(shù)據(jù)流的用戶數(shù)據(jù)區(qū)域中發(fā)送，該數(shù)據(jù)流包括了隱藏的屏幕說明數(shù)據(jù)。
以這種方式，利用該信息，與左眼圖像數(shù)據(jù)、右眼圖像數(shù)據(jù)和疊加信息數(shù)據(jù)一起發(fā)送要被添加到疊加信息的視差信息?；陲@示疊加信息的第一幀的視差信息初始值和間隔時(shí)段已經(jīng)被乘以倍數(shù)值的預(yù)定定時(shí)處的視差信息值來更新視差信息。這使得要在左眼疊加信息和右眼疊加信息之間應(yīng)用的視差能夠結(jié)合立體圖像內(nèi)容的變化而動(dòng)態(tài)地變化。在這種情況下，不是發(fā)送所有每一幀的視差信息，所有可以減少視差信息的數(shù)據(jù)量。
注意，對于本發(fā)明，例如可以提供調(diào)節(jié)單元來改變間隔時(shí)段已經(jīng)被乘以倍數(shù)值的預(yù)定定時(shí)。如此，可以可選地在變得更短或變得更長的方向上調(diào)節(jié)預(yù)定定時(shí)，且可以將視差信息的時(shí)間方向上的變化精確地通知給接收側(cè)。
并且，對于本發(fā)明，可以向視差信息添加單元時(shí)段的信息和單元時(shí)段數(shù)目的信息，其中單元時(shí)段的信息用于計(jì)算間隔時(shí)段已經(jīng)被乘以倍數(shù)的預(yù)定定時(shí)。預(yù)定定時(shí)間隔能夠根據(jù)視差信息曲線設(shè)置成間隔，而不是固定的。并且，在接收側(cè)通過計(jì)算“增量時(shí)段數(shù)目”可以容易地獲得預(yù)定定時(shí)間隔的距離。
例如，這些增量時(shí)段的信息是其中以90KHz時(shí)鐘測量增量時(shí)段而獲得的用24位長度表示的值的信息。插入到PES首部部分的PTS是33位長而這是24位長的原因如下。換句話說，超過24小時(shí)值的時(shí)間可以用33位長度表示，而對于諸如屏幕說明的疊加信息的顯示時(shí)段，這是不必要的長度。并且，使用24位使數(shù)據(jù)大小更小，使得能夠壓縮發(fā)送。此外，24位是8*3位，便于字節(jié)對準(zhǔn)。而且，增量時(shí)段的信息可以是例如用幀計(jì)數(shù)數(shù)目表示增量時(shí)段的息。
并且，對于本發(fā)明，對于與間隔時(shí)段已經(jīng)被乘以倍數(shù)值的預(yù)定定時(shí)相對應(yīng)的每一幀，可以向視差信息添加標(biāo)記信息以指示是否存在所述視差信息的更新。在這種情況下，如果在時(shí)間方向上視差信息的改變相同的時(shí)段將繼續(xù)，則通過使用這個(gè)標(biāo)記信息可以省略這個(gè)時(shí)段內(nèi)視差信息的發(fā)送，且可以抑制視差信息的數(shù)據(jù)量。
并且，對于本發(fā)明，例如，可以在視差信息中插入用于指定幀周期的信息。因此，可以將發(fā)送側(cè)打算的更新幀間隔正確地傳送至接收側(cè)。如果沒有添加所述信息，則例如參考視頻幀周期。
并且，對于本發(fā)明，例如，視差信息可以添加指示在顯示疊加信息時(shí)必須的關(guān)于視差信息的對應(yīng)等級的信息。在這種情況下，這一信息使得能夠在接收側(cè)進(jìn)行與視差信息對應(yīng)的控制。
本發(fā)明的另一思想是一種圖像數(shù)據(jù)接收設(shè)備，包括
數(shù)據(jù)接收單元，配置為接收左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)、要疊加到所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)上的疊加信息數(shù)據(jù)、以及要添加到所述疊加信息的視差信息，
所述視差信息是基于顯示所述疊加信息的第一幀的視差信息初始值、和在間隔時(shí)段已經(jīng)被乘以倍數(shù)值的預(yù)定定時(shí)處的視差信息值更新的；并且所述圖像數(shù)據(jù)接收設(shè)備進(jìn)一步包括
圖像數(shù)據(jù)處理單元，配置為基于所述左眼圖像數(shù)據(jù)、所述右眼圖像數(shù)據(jù)、所述疊加信息數(shù)據(jù)、以及所述視差信息，獲得在其上已經(jīng)疊加所述疊加信息的左眼圖像數(shù)據(jù)以及在其上已經(jīng)疊加所述疊加信息的右眼圖像數(shù)據(jù)。
對于本發(fā)明，接收左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)，要被疊加到左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)上的疊加信息數(shù)據(jù)，以及要被添加到疊加信息上的視差信息。這里，疊加信息是要被疊加到圖像上的諸如屏幕說明、圖形、文本等的信息。基于顯示疊加信息的第一幀的視差信息初始值和間隔時(shí)段已經(jīng)被乘以倍數(shù)值的預(yù)定定時(shí)處的視差信息值來更新視差信息。
然后圖像數(shù)據(jù)處理單元基于左眼圖像數(shù)據(jù)、右眼圖像數(shù)據(jù)、疊加信息數(shù)據(jù)、以及視差信息，獲得在其上已經(jīng)疊加疊加信息的左眼圖像數(shù)據(jù)以及在其上已經(jīng)疊加疊加信息的右眼圖像數(shù)據(jù)。
以這種方式，對于本發(fā)明，與左眼圖像數(shù)據(jù)、右眼圖像數(shù)據(jù)和疊加信息數(shù)據(jù)一起發(fā)
全文摘要
為了在發(fā)送在顯示疊加信息的時(shí)段期間內(nèi)順序更新的視差信息時(shí)，減少視差信息的數(shù)據(jù)量。發(fā)送包括在字幕顯示時(shí)段期間順序更新的視差信息的片段。在接收側(cè)，將在左眼字幕和右眼字幕之間提供的視差可以結(jié)合圖像的內(nèi)容的改變而動(dòng)態(tài)地改變。基于第一幀的視差信息值、以及在間隔時(shí)段已經(jīng)被乘以倍數(shù)值的預(yù)定定時(shí)處的視差信息值，更新該視差信息。發(fā)送的數(shù)據(jù)量可以減少，并且在接收側(cè)，可以大大節(jié)省用于保存視差信息的存儲(chǔ)器的量。
文檔編號H04N13/02GK102714744SQ201180005480
公開日2012年10月3日 申請日期2011年10月27日 優(yōu)先權(quán)日2010年11月10日
發(fā)明者塚越郁夫 申請人:索尼公司