專利名稱：能夠變更立體視覺影像的進(jìn)深的影像處理裝置、系統(tǒng)、影像處理方法、影像處理程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及立體視覺影像的進(jìn)深調(diào)整技術(shù)的技術(shù)領(lǐng)域。
背景技術(shù)：
所謂立體視覺影像的進(jìn)深調(diào)整 技術(shù)是指這樣的技術(shù)，即在要將設(shè)想是在某種尺寸的畫面上進(jìn)行顯示而生成的立體視覺影像顯示在不同尺寸的畫面上并進(jìn)行再現(xiàn)的情況下，對(duì)構(gòu)成立體視覺影像的兩個(gè)以上的多視點(diǎn)影像數(shù)據(jù)中的視差進(jìn)行調(diào)整，由此實(shí)現(xiàn)與該另一種畫面的適應(yīng)性。關(guān)于進(jìn)深調(diào)整有專利文獻(xiàn)1、2記載的現(xiàn)有技術(shù)。專利文獻(xiàn)I公開的進(jìn)深調(diào)整是這樣的技術(shù)通過使左眼和右眼的影像整體在相反方向上沿水平方向進(jìn)行位移，使對(duì)象(object)的進(jìn)深移動(dòng)到近前或退回到里側(cè)。專利文獻(xiàn)2公開的進(jìn)深調(diào)整是這樣的技術(shù)通過生成虛擬視點(diǎn)，使待變更的視差的量因存在于立體影像中的每個(gè)對(duì)象而不同，因而實(shí)際看起來進(jìn)深感好像在增大/減小。在按照該專利文獻(xiàn)2的方法這樣根據(jù)視差映射(map)來變更進(jìn)深的情況下，虛擬地生成的虛擬視點(diǎn)的影像依賴于視差映射的精度?，F(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)I :日本特開2005 - 73049號(hào)公報(bào)專利文獻(xiàn)2 日本特開2003 - 209858號(hào)公報(bào)非專利文獻(xiàn)非專利文獻(xiàn)I :Kurt Konolige “Small Vision Systems:Hardware andImplementation，，Artificial Intelligence Center, SRI International非專利文獻(xiàn)2 :Heiko Hirschm·· uller “Accurate and Ef_cient StereoProcessing by Semi-Global Matching and Mutual Information’’Institute of Roboticsand Mechatronics Oberpfaffenhofen German Aerospace Center (DLR), June,2005非專利文獻(xiàn)3 :Vladimir Kolmogorov “GRAPH BASED ALGORITHMS FOR SCENEREC0NSTRUTION FROM TWO OR MORE VIEWS” the Graduate School of Cornell University,January 2004
發(fā)明概要發(fā)明要解決的問題作為上述技術(shù)領(lǐng)域的近年來的趨勢，具有通過將作為流供給源的設(shè)備、作為顯示主體的設(shè)備相互連接從而來實(shí)現(xiàn)立體視覺影像的設(shè)備間傳輸?shù)内厔?。其目的是?shí)現(xiàn)跨越多臺(tái)設(shè)備來再現(xiàn)立體視覺影像的視聽方式。例如，使錄制在BD記錄器中的內(nèi)容移動(dòng)到家庭的具有大型顯示器的設(shè)備、汽車導(dǎo)航、可攜帶播放器中并進(jìn)行顯示，或者不進(jìn)行移動(dòng)，而是顯示通過進(jìn)行有線或無線的通信來向其它設(shè)備傳輸數(shù)據(jù)的內(nèi)容。當(dāng)在設(shè)備之間進(jìn)行傳輸時(shí)，存在將作為流供給源的設(shè)備和作為顯示主體的設(shè)備相互連接的情況，和需要在進(jìn)行顯示的裝置中調(diào)整立體視覺影像的進(jìn)深的情況。在這種情況下，基本想法是在要進(jìn)行顯示的設(shè)備側(cè)進(jìn)行進(jìn)深調(diào)整。但是，在顯示裝置中，存在具有合適的畫面尺寸而不需要進(jìn)深調(diào)整的顯示裝置、和需要進(jìn)深調(diào)整的顯示裝置。并且，也存在進(jìn)深調(diào)整能力高的顯示裝置與進(jìn)深調(diào)整能力低的顯示裝置之差異。同樣，流供給源也存在進(jìn)深調(diào)整能力高的流供給源、與進(jìn)深調(diào)整能力低的流供給源之差異。該進(jìn)深調(diào)整技術(shù)通常是專利文獻(xiàn)2公開的技術(shù)。在該專利文獻(xiàn)2的進(jìn)深調(diào)整技術(shù)中，虛擬地生成的虛擬視點(diǎn)的影像依賴于視差映射的精度，因而多高精度地生成這種視差映射，較大地影響立體視覺影像的質(zhì)量。即，在適用專利文獻(xiàn)2的進(jìn)深調(diào)整技術(shù)的情況下，根據(jù)能夠以多高的精度生成視差映射，立體視覺的質(zhì)量大幅變化，因而導(dǎo)致設(shè)備中的進(jìn)深調(diào)整性能的差異作為立體視覺顯示性能的差異而被大幅夸大的結(jié)果。至于是否需要進(jìn)深調(diào)整，這根據(jù)設(shè)備的畫面尺寸而不同，并且進(jìn)深調(diào)整性能因每臺(tái)設(shè)備而異，如果是在由顯示側(cè)進(jìn)行進(jìn)深調(diào)整這樣的固定前提下對(duì)進(jìn)深不做調(diào)整即發(fā)送圖
像，則在顯示裝置側(cè)不能適當(dāng)?shù)卣{(diào)整進(jìn)深，導(dǎo)致實(shí)現(xiàn)了不適合的立體視覺顯示。但是，如果一律在作為流發(fā)送側(cè)的裝置側(cè)進(jìn)行進(jìn)深調(diào)整，在數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)是具有較高的進(jìn)深調(diào)整能力的顯示裝置的情況下，存在盡管能夠在顯示裝置側(cè)進(jìn)行適當(dāng)?shù)倪M(jìn)深調(diào)整，但是卻通過不充分的進(jìn)深調(diào)整而實(shí)現(xiàn)了立體視覺再現(xiàn)。另外，在假定所連接的裝置的能力全部比較低，卻要求再現(xiàn)裝置側(cè)具備較高的進(jìn)深調(diào)整能力時(shí)，將導(dǎo)致再現(xiàn)裝置的成本高漲。以上舉出了在假設(shè)將作為流供給源的設(shè)備、作為顯示主體的設(shè)備相互連接時(shí)的技術(shù)課題，但是在說明上述技術(shù)課題時(shí)，這種假設(shè)只不過是選擇了身邊的題材，在本申請(qǐng)中作為對(duì)象的技術(shù)課題不限于將作為流供給源的設(shè)備、作為顯示主體的設(shè)備相互連接的情況。消除在對(duì)構(gòu)成立體視覺影像的兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)進(jìn)行某種處理的影像處理裝置相互連接并執(zhí)行設(shè)備間傳輸時(shí)產(chǎn)生的所有不整合現(xiàn)象，是在本申請(qǐng)中需要解決的技術(shù)課題，在不久的將來，當(dāng)在工業(yè)產(chǎn)品的領(lǐng)域中實(shí)際應(yīng)用上述技術(shù)時(shí)，這些課題將成為本行業(yè)人員必須面對(duì)的技術(shù)壁壘。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提供一種影像處理裝置，即使是所有設(shè)備均不具備較高的進(jìn)深調(diào)整能力，也能夠在兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)的設(shè)備間傳輸中實(shí)現(xiàn)高品質(zhì)的立體視覺影像的顯示。用于解決問題的手段能夠解決這種課題的一種影像處理裝置，進(jìn)行兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)的發(fā)送接收，并且調(diào)整由兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)構(gòu)成的立體視覺影像的進(jìn)深，其特征在于，該影像處理裝置具有設(shè)備間接口，在進(jìn)行兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)的發(fā)送接收時(shí)，進(jìn)行與作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的裝置之間的連接；確定單元，通過在作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的裝置與本裝置之間執(zhí)行規(guī)定的通信序列，確定由哪個(gè)裝置調(diào)整立體視覺影像中的進(jìn)深；以及處理單元，在通過通信序列確定了在本裝置側(cè)進(jìn)行進(jìn)深調(diào)整的情況下，對(duì)從數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)發(fā)送的兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)、或者應(yīng)該發(fā)送給數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)實(shí)施進(jìn)深調(diào)整，所述進(jìn)深調(diào)整包括這樣的處理，即從其它視點(diǎn)影像數(shù)據(jù)中搜索與構(gòu)成一個(gè)視點(diǎn)影像數(shù)據(jù)的像素組匹配的匹配像素組，并檢測構(gòu)成一個(gè)視點(diǎn)影像數(shù)據(jù)的像素組與構(gòu)成其它視點(diǎn)影像數(shù)據(jù)的像素組之間的視差，所述通信序列包括發(fā)送接收階段，在本裝置與數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)之間進(jìn)行表示匹配像素組的搜索性能的性能信息的發(fā)送接收；以及比較階段，進(jìn)行本裝置的匹配像素組的搜索性能與數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的匹配像素組的搜索性能的比較。發(fā)明效果 在影像處理裝置與其它裝置連接時(shí)，確定執(zhí)行通信序列并應(yīng)該進(jìn)行進(jìn)深調(diào)整的裝置，因而能力較高的裝置成為進(jìn)深調(diào)整主體，避免了由匹配像素的搜索性能較低的設(shè)備進(jìn)行進(jìn)深調(diào)整并在其對(duì)方側(cè)的設(shè)備中進(jìn)行進(jìn)深調(diào)整結(jié)果的顯示的不良情況。在兩臺(tái)設(shè)備進(jìn)行連接時(shí)，確定使哪臺(tái)設(shè)備進(jìn)行進(jìn)深調(diào)整并執(zhí)行兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)的傳輸，因而在用戶已購買進(jìn)深調(diào)整能力較高的顯示裝置的情況下，不需要購買進(jìn)深調(diào)整能力較高的再現(xiàn)裝置。根據(jù)作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的裝置來自動(dòng)確定進(jìn)深調(diào)整主體，因而能夠?qū)崿F(xiàn)這樣的裝置選擇，即將再現(xiàn)裝置設(shè)為進(jìn)深調(diào)整能力較高的裝置、將顯示裝置設(shè)為進(jìn)深調(diào)整能力較低的裝置，并且由于將顯示裝置選擇為高能力的裝置，因而能夠?qū)崿F(xiàn)選擇購買低能力的再現(xiàn)裝置這種實(shí)惠的商品選擇。因此，能夠進(jìn)一步實(shí)現(xiàn)立體視覺再現(xiàn)環(huán)境的普及。在確定為進(jìn)行進(jìn)深調(diào)整的情況下，將流原樣傳輸給數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)，因而調(diào)整能力較低的設(shè)備不會(huì)成為主體。雖然是任意的，但是上述進(jìn)深調(diào)整也可以包括這樣的處理根據(jù)檢測到的視差來生成深度圖像，根據(jù)應(yīng)該顯示兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)的畫面進(jìn)行深度圖像的校正，對(duì)一個(gè)視點(diǎn)影像實(shí)施以被實(shí)施校正后的深度圖像為基礎(chǔ)的基于深度圖像的繪制，由此得到具有被修正后的視差的兩個(gè)以上的視點(diǎn)影像。在進(jìn)行基于深度圖像的繪制的軟件處理、硬件處理的延長線上能夠?qū)崿F(xiàn)進(jìn)深調(diào)整處理，能夠促進(jìn)影像處理裝置的產(chǎn)品化。并且，即使是設(shè)定了諸如兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)適合于50英寸顯示畫面的顯示的左眼圖像、右眼圖像間的視差量的情況下，也能夠重新生成適合于更大畫面或者更小畫面的顯示的左眼圖像、右眼圖像。


圖I是由兩臺(tái)以上的影像處理裝置構(gòu)成的家庭影院系統(tǒng)的一個(gè)方式的圖。圖2表示圖I所示的設(shè)備中作為流發(fā)送側(cè)(再現(xiàn)裝置100)的設(shè)備的內(nèi)部結(jié)構(gòu)。圖3表示圖I所示的設(shè)備中作為顯示主體(電視機(jī)200、電視機(jī)300)的設(shè)備的內(nèi)部結(jié)構(gòu)。圖4表示基于飛出、后退的進(jìn)深。圖5表示圖I所示的電視機(jī)200 便攜式終端400各自的進(jìn)深量。
圖6是對(duì)比表示概念上的兩個(gè)畫面的圖。圖7是不意地表不視差映射的圖。圖8是對(duì)具體圖像適用深度生成器10的處理內(nèi)容的圖。圖9是對(duì)具體圖像適用DIBR部12的處理內(nèi)容的圖。圖10表示在進(jìn)行如圖9所示的進(jìn)深調(diào)整時(shí)立體視覺影像的飛出量是何種程度。圖11表示利用深度圖像表示的進(jìn)深根據(jù)匹配點(diǎn)搜索算法如何變化。圖12表示基于塊匹配、半全局匹配、圖切割的匹配點(diǎn)搜索。圖13是表示通信序列的圖。圖14是圖I所示的再現(xiàn)裝置100、電視機(jī)200、電視機(jī)300、便攜式終端的性能信息·的設(shè)定示例。圖15表不應(yīng)答信息的一例。圖16表不應(yīng)答信息的一例。圖17表示設(shè)備的連接變形及其連接時(shí)的顯示影像。圖18表示設(shè)備的連接變形及其連接時(shí)的顯示影像。圖19是進(jìn)深設(shè)備確定的處理步驟的主流程圖。圖20是表示判定是否需要內(nèi)容進(jìn)深調(diào)整以及設(shè)備協(xié)商的處理步驟的流程圖。圖21是表示設(shè)備性能的交換步驟的流程圖。圖22是表示進(jìn)行進(jìn)深調(diào)整的設(shè)備的選擇步驟的流程圖。圖23是表示進(jìn)深調(diào)整處理的處理步驟的流程圖。圖24是表示視差映射生成的處理步驟的流程圖。圖25表示考慮了視頻流以外的其它數(shù)據(jù)的影像處理裝置的內(nèi)部結(jié)構(gòu)。
具體實(shí)施例方式具備上述課題解決手段的影像處理裝置的發(fā)明能夠作為播放器設(shè)備、電視機(jī)設(shè)備、便攜式終端設(shè)備進(jìn)行實(shí)施，集成電路的發(fā)明能夠作為被裝配在這些設(shè)備中的系統(tǒng)LSI進(jìn)行實(shí)施。影像處理方法的發(fā)明能夠作為由這些設(shè)備實(shí)現(xiàn)的時(shí)間序列步驟進(jìn)行實(shí)施。程序的發(fā)明能夠作為被記錄在計(jì)算機(jī)可讀的記錄介質(zhì)中，并被安裝在這些設(shè)備中的執(zhí)行格式的程序進(jìn)行實(shí)施。圖I表示由再現(xiàn)裝置、顯示裝置、眼鏡構(gòu)成的家庭影院系統(tǒng)。如圖I (a)所示，再現(xiàn)裝置、顯示裝置、便攜式終端與眼鏡、遙控器一起構(gòu)成家庭影院系統(tǒng)，提供給用戶使用。再現(xiàn)裝置100在與大型顯示器200、中型電視機(jī)300或者便攜式終端400連接時(shí)，進(jìn)行被記錄在光盤101中的內(nèi)容的再現(xiàn)，并將其再現(xiàn)影像顯示在大型顯示器200、中型電視機(jī)300或者便攜式終端400的顯示畫面上。在從再現(xiàn)裝置100輸出的影像輸出是與立體視覺影像(也稱為3D影像)對(duì)應(yīng)的影像輸出的情況下，立體視覺影像被輸出到與再現(xiàn)裝置100連接的大型顯示器200、中型電視機(jī)300或者便攜式終端400的顯示畫面上。光盤101是BD — ROM、DVD — Video，是裝填在再現(xiàn)裝置中的記錄介質(zhì)的一例。遙控器102接受用戶操作，使再現(xiàn)裝置100、大型顯示器200、中型顯示器300進(jìn)行與該用戶操作對(duì)應(yīng)的動(dòng)作。大型顯示器200是70英寸等大畫面的大型電視機(jī)，具有立體影像進(jìn)深調(diào)整功能。
中型顯示器300是50英寸等常規(guī)畫面的電視機(jī)，是具有立體影像進(jìn)深調(diào)整功能的設(shè)備。便攜式終端400是5英寸等的小型顯示器設(shè)備，包括立體視覺攝影部；寫入部，將通過攝影而得到的兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)存儲(chǔ)在立體視覺照片文件中，并寫入到記錄介質(zhì)中；以及通信部，進(jìn)行兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)的發(fā)送接收。該便攜式終端400具有再現(xiàn)立體視覺影像的功能以及立體影像進(jìn)深調(diào)整功能。圖I所示的設(shè)備(具體地講，指再現(xiàn)裝置100、大型顯示器200、中型電視機(jī)300或者便攜式終端400的顯示畫面)構(gòu)成為全部兼?zhèn)淞Ⅲw影像進(jìn)深調(diào)整功能，但是根據(jù)所連接的設(shè)備，由任意一方設(shè)備實(shí)施立體影像進(jìn)深調(diào)整處理。在該圖I的示例中，大型顯示器200通常被安裝成為硬件性能比較高，對(duì)于從再現(xiàn)裝置100接收到的立體視覺影像，在調(diào)整為與大型顯示器200的畫面顯示對(duì)應(yīng)的進(jìn)深后進(jìn)行立體視覺顯示，因而使大型顯示器200進(jìn)行進(jìn)深調(diào)整處理。
另一方面，便攜式終端400的硬件性能往往不高于大型顯示器200，所以在使便攜式終端400進(jìn)行進(jìn)深調(diào)整處理時(shí)，存在施加給便攜式終端400的負(fù)荷增大的情況，有可能使立體視覺影像顯示產(chǎn)生故障，因而構(gòu)成為在再現(xiàn)裝置100側(cè)調(diào)整為與便攜式終端400的畫面顯示對(duì)應(yīng)的進(jìn)深，然后向便攜式終端400輸出立體視覺影像顯示。圖I所示的這些設(shè)備中的再現(xiàn)裝置100是位于流發(fā)送側(cè)的設(shè)備。電視機(jī)200、電視機(jī)300是有可能成為顯示主體的設(shè)備。便攜式終端400有可能成為流發(fā)送側(cè)和顯示主體雙方。圖2表示圖I所示的設(shè)備中作為流發(fā)送側(cè)(再現(xiàn)裝置100)的設(shè)備的內(nèi)部結(jié)構(gòu)。如圖2所示，作為流發(fā)送側(cè)的設(shè)備由以下部分構(gòu)成網(wǎng)絡(luò)接口 I、盤驅(qū)動(dòng)器2a、本地存儲(chǔ)器2b、廣播接收部3、解復(fù)用器4、左眼圖像解碼器5、右眼圖像解碼器6、左眼平面存儲(chǔ)器7、右眼平面存儲(chǔ)器8、調(diào)整部9、深度生成器10、調(diào)整度計(jì)算部11、深度圖像存儲(chǔ)器12、DIBR部13、開關(guān)14a和14b、內(nèi)容屬性保存模塊15、顯示對(duì)象設(shè)備屬性保存模塊16、進(jìn)深調(diào)整判定模塊17、U0檢測模塊18、設(shè)備接口 19、解析器(parser) 20、通信控制部21、性能信息存儲(chǔ)模塊22、通信信息生成模塊23、性能比較模塊24、應(yīng)答信息生成模塊25。圖3表示圖I所示的設(shè)備中作為顯示主體(電視機(jī)200、電視機(jī)300)的設(shè)備的內(nèi)部結(jié)構(gòu)。該圖是以圖2為基礎(chǔ)而制圖的，與作為其基礎(chǔ)的圖2相比，不同之處在于沒有網(wǎng)絡(luò)接口 I、光盤驅(qū)動(dòng)器2a、本地存儲(chǔ)器2b，追加了顯示部26。在圖2、圖3的內(nèi)部結(jié)構(gòu)中，箭頭表示圖示的圖像數(shù)據(jù)經(jīng)由哪些構(gòu)成要素這樣的途中路徑。下面，對(duì)作為流發(fā)送側(cè)的設(shè)備所特有的構(gòu)成要素進(jìn)行說明。如果按照功能將該共同的構(gòu)成要素進(jìn)行分類，可以分類為“流供給源”、“再現(xiàn)部”、“進(jìn)深調(diào)整部”、“用戶輸入”、“設(shè)備間連接”、“畫面適應(yīng)”這多個(gè)結(jié)構(gòu)組。I.流供給源被分類到“流供給源”這一組中的構(gòu)成要素有網(wǎng)絡(luò)接口 I、光盤驅(qū)動(dòng)器2a、本地存儲(chǔ)器2b、廣播接收部3、解復(fù)用器4。在立體影像是動(dòng)態(tài)圖像的情況下，也可以分別準(zhǔn)備右眼用流、左眼用流，還可以在一個(gè)流文件中嵌入右眼用流、左眼用流。在本實(shí)施方式中，以預(yù)先在一個(gè)流文件中嵌入了右眼用流和左眼用流的結(jié)構(gòu)為例進(jìn)行說明。在這種情況下，在一個(gè)流的頭(header)信息中包含用于分配左眼用流和右眼用流的信息。下面，對(duì)屬于流供給源的構(gòu)成要素進(jìn)行說明。
網(wǎng)絡(luò)接口 I是在進(jìn)行設(shè)備之間的協(xié)商(negotiation)或者再現(xiàn)對(duì)象內(nèi)容的傳輸時(shí)使用的通信接口。作為該網(wǎng)絡(luò)接口 I的物理設(shè)備，例如有在全世界的辦公室和家庭中普遍使用的有線/無線LAN (Local Area Network :局域網(wǎng))或者無線標(biāo)準(zhǔn)的藍(lán)牙BLUETOOTH(TM)等、能夠進(jìn)行使用了 TCP/UDP的包單位的發(fā)送接收的設(shè)備等。盤驅(qū)動(dòng)器2a進(jìn)行BD — R0M100的裝填/彈出，執(zhí)行對(duì)BD — R0M100的訪問。BD —R0M100是與可移動(dòng)介質(zhì)相同地在進(jìn)行再現(xiàn)對(duì)象的內(nèi)容傳遞時(shí)使用的一種手段。如果安裝了其它的進(jìn)行立體影像的傳遞的手段，則不一定需要在本裝置中安裝盤驅(qū)動(dòng)器2a。本地存儲(chǔ)器2b是從外部插槽(未圖示)插入的存儲(chǔ)介質(zhì)，作為記錄介質(zhì)的優(yōu)選的一例有安全的存儲(chǔ)卡、被稱為閃存的半導(dǎo)體存儲(chǔ)器、磁記錄介質(zhì)等。圖2所示的影像處理裝置具有用于插入可移動(dòng)介質(zhì)的外部插槽(未圖示)，在向該外部插槽中插入可移動(dòng)介質(zhì)后，通過用于向可移動(dòng)介質(zhì)進(jìn)行訪問的接口(未圖示)進(jìn)行訪問(讀取、寫入)。廣播接收部3得到廣播中的傳輸流并輸出給解復(fù)用器4。 解復(fù)用器4從通過網(wǎng)絡(luò)接口 I、光盤驅(qū)動(dòng)器2a、本地存儲(chǔ)器2b、廣播接收部3得到的流的頭信息中，進(jìn)行左眼用視頻幀和右眼用視頻幀的分配。解復(fù)用器4交替地進(jìn)行針對(duì)左眼用視頻幀和右眼用視頻幀的解復(fù)用，在左眼用的影像和右眼用的影像雙方結(jié)束的時(shí)刻輸出雙方的影像。按照輸出形式交替地進(jìn)行輸出。另外，當(dāng)在硬件結(jié)構(gòu)上具有兩種輸出的情況下，分別輸出左眼用和右眼用的影像。以上結(jié)束對(duì)屬于流供給源的構(gòu)成要素的說明。2.再現(xiàn)部被分類到“再現(xiàn)部”這一組中的構(gòu)成要素有左眼圖像解碼器5、右眼圖像解碼器6、左眼平面存儲(chǔ)器7、右眼平面存儲(chǔ)器8。下面，對(duì)這些構(gòu)成要素進(jìn)行說明。<左眼圖像解碼器5、右眼圖像解碼器6>左眼圖像解碼器5對(duì)左眼圖像數(shù)據(jù)進(jìn)行解碼。右眼圖像解碼器6對(duì)右眼圖像數(shù)據(jù)進(jìn)行解碼。左眼圖像解碼器5除接受來自解復(fù)用器4的流供給之外，還具有從設(shè)備間接口 19接受壓縮狀態(tài)的左眼圖像數(shù)據(jù)的供給的路徑rtl。該路徑是在假定從其它設(shè)備的流供給源以直通(pass-through)方式進(jìn)行輸入時(shí)的路徑。同樣，右眼圖像解碼器6除接受來自解復(fù)用器4的流供給之外，也具有從設(shè)備間接口 19接受壓縮狀態(tài)的右眼圖像數(shù)據(jù)的供給的路徑rt2。該路徑也是在假定從其它設(shè)備的流供給源以直通方式進(jìn)行輸入時(shí)的路徑。<左眼平面存儲(chǔ)器7>左眼平面存儲(chǔ)器7存儲(chǔ)通過左眼圖像解碼器5的解碼而得到的非壓縮的左眼圖像數(shù)據(jù)。<右眼平面存儲(chǔ)器8>右眼平面存儲(chǔ)器8存儲(chǔ)通過右眼圖像解碼器6的解碼而得到的非壓縮的右眼圖像數(shù)據(jù)。3.進(jìn)深調(diào)整進(jìn)深調(diào)整是實(shí)際處理立體視覺影像的進(jìn)深調(diào)整的部分。被分類到進(jìn)深調(diào)整部這一組中的構(gòu)成要素有調(diào)整部9、深度生成器10、深度平面存儲(chǔ)器11、DIBR部12、開關(guān)13、開關(guān)14、內(nèi)容屬性保存模塊15、顯示對(duì)象設(shè)備屬性保存模塊16、進(jìn)深調(diào)整判定模塊17。下面，對(duì)具體實(shí)現(xiàn)進(jìn)深調(diào)整的構(gòu)成要素進(jìn)行說明。<調(diào)整部9>調(diào)整部9由深度生成器10、深度平面存儲(chǔ)器IUDIBR部12構(gòu)成，用于使左眼圖像、右眼圖像的視差成為合適的視差。在說明深度生成器10、深度平面存儲(chǔ)器IUDIBR部12之前，先說明進(jìn)深調(diào)整是什么樣的處理。包含于左眼用的圖像中的物體A的顯示位置、包含于右眼用的圖像中的物體A的顯示位置是不同的，因而在將物體A顯示于顯示器時(shí)，顯示位置當(dāng)然是不同的。以較短的時(shí)間間隔交替地切換左眼用的圖像和右眼用的圖像來進(jìn)行顯示，并使用閘門眼鏡使佩戴了閘門眼鏡的視聽者的左眼能夠看到左眼用的圖像、使右眼能夠看到右眼用的圖像，作為調(diào)整的對(duì)象的進(jìn)深存在從畫面飛出的情況和從畫面后退的情況。圖4表示基于這種飛出、后退的進(jìn)深。人的眼睛是利用兩只眼睛來對(duì)準(zhǔn)針對(duì)對(duì)象物的焦點(diǎn)位置。圖4 (a)所示的物體A的焦點(diǎn)對(duì)準(zhǔn)的是連接左眼和包含于左眼用的圖像中的物體A的直線、與連接右眼和包含于右眼用的圖像中的物體A的直線這兩條直線的交點(diǎn)的位置。結(jié)果，人的大腦識(shí)別為物體好 像位于顯示器里側(cè)的位置，人產(chǎn)生物體A好像位于顯示器里側(cè)的位置的錯(cuò)覺。相對(duì)于顯示器的飛出量及后退量根據(jù)這種錯(cuò)開量的大小而變化。并且，圖像內(nèi)的被攝體相對(duì)于顯示器是飛出還是后退，根據(jù)左右圖像的錯(cuò)開方向來確定。對(duì)于諸如電影那樣針對(duì)大畫面的內(nèi)容，以使左右圖像的視差較小、即左右圖像的錯(cuò)開量較小的方式進(jìn)行制作，對(duì)于諸如利用攝像裝置或便攜式終端拍攝的針對(duì)小畫面的內(nèi)容，以使左右圖像的視差較大、即左右圖像的錯(cuò)開量較大的方式進(jìn)行制作，由此減輕視聽者的眼睛的疲勞程度，能夠?qū)崿F(xiàn)可以充分感覺到立體感的立體視覺影像、以及立體視覺影像的再現(xiàn)。在圖4 (a)中進(jìn)行有關(guān)看起來向顯示器里側(cè)后退了何種程度的說明。將從視聽位置到顯示器的距離設(shè)為Z，將從視聽位置到物體的距離設(shè)為S，將兩眼之間的寬度(基線長度)設(shè)為IPD，當(dāng)在顯示器上對(duì)看起來后退到顯示器里側(cè)的物體A進(jìn)行投影時(shí)，將在顯示器上進(jìn)行投影的物體A與包含于左眼用的圖像中的物體A之間的距離、而且是顯示器的水平方向的距離設(shè)為左眼用圖像的位移量P時(shí)，存在諸如下面的數(shù)式(I)所示的關(guān)系。P = (IPD/2) X (I — Z/S) ......數(shù)式(I)在圖4中，距顯示器的距離Z與距飛出位置的距離S之比表示進(jìn)深。這種距顯示器的距離Z被設(shè)定為畫面的縱向幅度尺寸的3倍。在圖4 (b)中進(jìn)行有關(guān)看起來從顯示器飛出了何種程度的說明。將從視聽位置到顯示器的距離設(shè)為Z，將從視聽位置到物體的距離設(shè)為S，將兩眼之間的寬度(基線長度)設(shè)為IPD，當(dāng)在顯示器上對(duì)看起來從顯示器飛出的物體B進(jìn)行投影時(shí)，將在顯示器上進(jìn)行投影的物體B與包含于左眼用的圖像中的物體B之間的距離、而且是顯示器的水平方向的距離設(shè)為左眼用圖像的位移量P時(shí)，存在諸如下面的數(shù)式(2)所示的關(guān)系。P = (IPD/2) X (Z/S — I) ……數(shù)式(2)視差是向這些數(shù)式(1)、(2)中的位移量P乘以“2”得到的值。但是，在考慮位移的朝向的情況下，也需要考慮極性。對(duì)于諸如電影那樣的針對(duì)大畫面的內(nèi)容，以使左右圖像的視差較小、即左右圖像的錯(cuò)開量較小的方式進(jìn)行制作，對(duì)于諸如利用攝像裝置或便攜式終端拍攝的針對(duì)小畫面的內(nèi)容，以使左右圖像的視差較大、即左右圖像的錯(cuò)開量較大的方式進(jìn)行制作，由此減輕視聽者的眼睛的疲勞程度，能夠?qū)崿F(xiàn)可以充分感覺到立體感的立體視覺影像、以及立體視覺影像的再現(xiàn)。圖5表示進(jìn)深調(diào)整。在圖I所示的多臺(tái)設(shè)備中，各臺(tái)設(shè)備的畫面的英寸數(shù)不同，因而進(jìn)深量也不同。圖5表示圖I所示的電視機(jī)200 便攜式終端400各自的進(jìn)深量。在該圖中，對(duì)于電視機(jī)200 便攜式終端400的外觀追加記述了用于規(guī)定圖4所示的進(jìn)深量的參數(shù)。電視機(jī)300是內(nèi)容的創(chuàng)作者具有內(nèi)容假定畫面的顯示器。所說內(nèi)容假定畫面表示假定了再現(xiàn)立體視覺內(nèi)容的畫面。在大多數(shù)情況下，假定立體視覺電影內(nèi)容是用50英寸的顯示裝置進(jìn)行再現(xiàn)，因而50英寸成為內(nèi)容假定畫面尺寸。另一方面，假定利用個(gè)人的3D攝像機(jī)拍攝的立體視覺照片被顯示于更小的畫面上，因而這種較小的畫面成為內(nèi)容假定畫面尺寸。內(nèi)容假定畫面在用戶的人臉側(cè)觀察時(shí)位于Z位置，影像根據(jù)立體視覺效果而飛出的位置是S。電視機(jī)200是比內(nèi)容假定畫面大的畫面，畫面是Z (I)位置，影像根據(jù)立體視覺效果而飛出的位置是S (I)。便攜式終端400是比內(nèi)容假定畫面小的畫面，畫面是Z (2)位置，影像根據(jù)立體視覺效果而飛出的位置是S (2)。無論這些畫面的大小如何，如果使畫 面的進(jìn)深位置與飛出位置之比值為一定，則可以確定用于使Z/S = Z (1)/S (I) = Z (2)/S (2)這種關(guān)系成立的畫面上的視差。其中，電視機(jī)300的進(jìn)深量被表示為S/Z。這樣，電視機(jī)200的進(jìn)深量為S (I)/Z
(1)，便攜式終端400的進(jìn)深量為S (2)/Z (2)。電視機(jī)200、便攜式終端400由于尺寸不同，因而進(jìn)深量也不同，但為了使它們能夠在多臺(tái)設(shè)備之間共用，則必須調(diào)整畫面上的位移量即Ps (l)、Ps (2)。對(duì)調(diào)整度Mrate進(jìn)行說明。調(diào)整度Mrate用于計(jì)算適合于顯示對(duì)象的畫面的視差，以使上述Z與S之比值固定。因此，需要使用在內(nèi)容假定畫面中利用原尺寸確定的視差、與在作為顯示對(duì)象的畫面(X)中利用原尺寸確定的視差之比，來確定調(diào)整度Mrate。S卩，調(diào)整度Mrate是指內(nèi)容假定畫面中的位移量Ps與任意尺寸的畫面X的位移量Ps (X)之比。圖6對(duì)比表示概念上的兩個(gè)畫面。概念上的畫面中的一個(gè)畫面是根據(jù)縱像素?cái)?shù)、橫像素?cái)?shù)(w_pix,h_pix)確定的畫面。另一個(gè)畫面是根據(jù)實(shí)際的縱橫原尺寸(Width (mm),Height (mm))確定的畫面。圖6 (a)對(duì)比表示內(nèi)容假定畫面和顯示對(duì)象畫面(X)。上側(cè)表示內(nèi)容假定畫面,將根據(jù)縱像素?cái)?shù)、橫像素?cái)?shù)確定的畫面、和根據(jù)實(shí)際的縱橫原尺寸確定的畫面進(jìn)行重疊顯示。下側(cè)表示顯示對(duì)象畫面(X)，將根據(jù)縱像素?cái)?shù)、橫像素?cái)?shù)確定的畫面、和根據(jù)實(shí)際的縱橫原尺寸確定的畫面進(jìn)行重疊顯示。在該圖(a)中，調(diào)整度Mrate是根據(jù)內(nèi)容假定畫面中的位移量Ps與顯示對(duì)象畫面(X)中的位移量Ps (X)之比而計(jì)算出的。這樣，在顯示對(duì)象畫面(X)中所需要的位移量P (X)是向內(nèi)容假定畫面中的位移量P乘以調(diào)整度Mrate而得到的。通過這樣求出調(diào)整度Mrate，并與根據(jù)縱像素?cái)?shù)、橫像素?cái)?shù)確定的畫面中的位移量P相乘，能夠得到適合于顯示對(duì)象畫面(X)的位移量P (X)，通過將該像素位移量變成2倍，能夠得到視差。圖6 (b)表示如何計(jì)算 Width (寬)、Height (高)。Width、Height 之比為 m :n,如果將該Width的平方與Height的平方之和設(shè)為X的平方，則width可以確定為諸如圖中使用符號(hào)^的數(shù)式。圖6 (c)對(duì)比表示根據(jù)像素?cái)?shù)規(guī)定的視差P (=(IPD/2) X (z/s-1))、和根據(jù)實(shí)際尺寸規(guī)定的視差Ps (= { (IPD/2)/ (width/w_pix)}X (z/s— I))的區(qū)別。如果顯示對(duì)象畫面(X)中的視差是Ps (X)，則用于使內(nèi)容假定畫面中的基于像素?cái)?shù)的視差P適合于顯示對(duì)象畫面(X)的調(diào)整度Mrate為Ps (x)/Ps0由此，計(jì)算出調(diào)整度Mrate是內(nèi)容假定畫面中的畫面上的實(shí)際視差Ps、與作為顯示對(duì)象的畫面(X)中的視差P(X)之比 Ps (X) /Ps0如果使用顯示對(duì)象畫面(X)中的width (X)、w_pix (x)來表示調(diào)整度Mrate,則調(diào)整度Mrate可以表示為如圖6 (d)所示的數(shù)式(w_pix (x) /width (x) · width/w_pix)。說明顯示于50英寸顯示器時(shí)和顯示于5英寸顯示器時(shí)的位移量相差多少。通常，基線長度IPD = 6. 5cm。在50英寸顯示器中，考慮到物體僅飛出10%，例如在50英寸顯示器中的圖像的位移量有6像素即可。與此相對(duì)，在5英寸顯示器中的位移量需要63像素。以上結(jié)束對(duì)有關(guān)調(diào)整度的說明?！瓷疃壬善?0>
深度生成器10從其它視點(diǎn)影像中搜索與構(gòu)成一個(gè)視點(diǎn)影像的像素組匹配的匹配像素組，并檢測構(gòu)成一個(gè)視點(diǎn)影像的像素組與構(gòu)成其它視點(diǎn)影像的像素組之間的視差，使用該視差生成作為進(jìn)深調(diào)整的基礎(chǔ)的映射信息。作為進(jìn)深調(diào)整的基礎(chǔ)的映射信息有視差映射和深度圖像。視差映射是指在左右圖像中錯(cuò)開幾個(gè)像素進(jìn)行排列的映射信息，深度圖像是指通過排列在距離視點(diǎn)多遠(yuǎn)的位置處而得到的圖像。這些信息在上述的數(shù)式(2)中能夠相互變換，因而被視為是相同的。在深度圖像中，利用構(gòu)成圖像的像素的值表示進(jìn)深。通過使該深度圖像中的像素的亮度變亮或者變暗，能夠改變圖像中的對(duì)象的進(jìn)深。圖7是示意地表示視差映射的圖。該圖的視差映射是與表示人物的左眼圖像對(duì)應(yīng)的視差映射，四方框表示該左眼圖像的矩形像素組。四方框中的數(shù)值表示與右眼圖像中的像素組的視差，即與左眼圖像中的像素組的對(duì)應(yīng)像素組的視差。在該圖中，在I 15像素的范圍內(nèi)表示左眼圖像一右眼圖像間的視差，因而可知視差被高精度再現(xiàn)。深度生成器10在搜索到左眼圖像、右眼圖像間的視差后，生成按照每個(gè)像素區(qū)域來表示所搜索到的視差的深度圖像。然后，將與顯示側(cè)的畫面尺寸對(duì)應(yīng)的調(diào)整度與各個(gè)視差相乘，以適合于顯示側(cè)的畫面。將這樣適合處理后的深度圖像中的每個(gè)像素的視差變換為進(jìn)深，由此得到深度圖像。圖8是對(duì)具體圖像適用深度生成器10的處理內(nèi)容的圖。在該圖中將深度生成器10和與其相關(guān)聯(lián)的構(gòu)成要素抽出進(jìn)行描繪，并追加記述了數(shù)據(jù)的流動(dòng)。左上部表示被存儲(chǔ)于左眼平面存儲(chǔ)器中的左眼圖像，右上部表示被存儲(chǔ)于右眼平面存儲(chǔ)器中的右眼圖像。正中間表示深度圖像生成器，下側(cè)表示深度圖像。在此，圖8中的深度圖像是示意性地描畫的，在實(shí)際的深度圖像中，不會(huì)用黑線表示服裝或人臉的輪廓。實(shí)際的深度圖像的內(nèi)容是整體為黑底白色的輪廓，具有立體感的部位的周圍部位帶有灰色。圖8中的斜線象征性地表示深度圖像的性質(zhì)，即利用灰色表示具有立體感的部位的周圍。〈調(diào)整度計(jì)算部11>調(diào)整度計(jì)算部11根據(jù)數(shù)式(w_pix (X)/width (x)IidthZw^pix)計(jì)算調(diào)整度并進(jìn)行保存。此處的調(diào)整度用于與通過匹配點(diǎn)搜索而檢測到的視差進(jìn)行相乘，通過向通過匹配點(diǎn)搜索而檢測到的視差乘以該調(diào)整度，得到新的深度圖像?！瓷疃葓D像存儲(chǔ)器12>深度圖像存儲(chǔ)器12存儲(chǔ)由深度生成器10生成的深度圖像。
〈DIBR 部 13>DIBR部13對(duì)一個(gè)視點(diǎn)影像即左眼圖像實(shí)施基于深度圖像的繪制(DIBR)，由此得到具有被修正后的視差的兩個(gè)以上的視點(diǎn)影像，該基于深度圖像的繪制是以實(shí)施了基于調(diào)整度的校正后的深度圖像為基礎(chǔ)的。圖9是對(duì)具體圖像適用DIBR部12的處理內(nèi)容的圖。左上部表示深度圖像，右上部表示被存儲(chǔ)在平面存儲(chǔ)器中的左眼圖像。正中間表示DIBR，下側(cè)表示3個(gè)立體視覺影像。下側(cè)的左端表示被設(shè)定了較大視差的立體視覺影像，下側(cè)的正中間表示被設(shè)定了中等程度視差的立體視覺影像，下側(cè)的右端表示被設(shè)定了較小視差的立體視覺影像。在被記錄于光盤中的立體視覺內(nèi)容是以50英寸再現(xiàn)為前提的情況下，如果顯示畫面是5英寸，則按照上面所述設(shè)定較大的視差。另外，如果顯示畫面是70英寸，則按照上面所述設(shè)定較小的視差。圖9中的深度圖像與圖8相同地是示意性地描畫的圖像，在實(shí)際的深度圖像中，不會(huì)用黑線表示服裝或人臉的輪廓。深度圖像的內(nèi)容是整體為黑底白色的輪廓，具有立體感的部位的周圍部位帶有灰色。圖10表示在進(jìn)行如圖9所示的進(jìn)深調(diào)整時(shí)立體視覺影像的飛出量是何種程度。圖10 (a)表示被設(shè)定了較大視差的立體視覺影像從畫面中飛出何種程度。圖10 (b)表示被 設(shè)定了中等程度視差的立體視覺影像從畫面中飛出何種程度。圖10 (C)表示被設(shè)定了較小視差的立體視覺影像從畫面中飛出何種程度。以上的說明以通過深度生成器10生成了精巧地再現(xiàn)對(duì)象物的進(jìn)深的深度圖像為前提。但是，深度圖像的生成大大依賴于匹配點(diǎn)的搜索精度，該搜索性能的差異將影響到立體視覺影像的質(zhì)量。在生成這種深度圖像時(shí)，右眼區(qū)域中間隔多遠(yuǎn)存在與左眼區(qū)域最整合的區(qū)域這種匹配點(diǎn)搜索很重要。這種匹配點(diǎn)搜索的基本原理很重要，因而準(zhǔn)備與上述內(nèi)部結(jié)構(gòu)不同的圖11 圖12的說明圖，對(duì)匹配點(diǎn)搜索進(jìn)行詳細(xì)說明。參照這些說明圖進(jìn)行詳細(xì)說明。下面，對(duì)如何進(jìn)行匹配點(diǎn)搜索進(jìn)行說明。圖11表示利用深度圖像表示的進(jìn)深根據(jù)匹配點(diǎn)搜索算法如何變化。圖11 (a)是從精度最低的匹配點(diǎn)搜索中得到的深度圖像。在這種情況下，圖11 (a)中的深度圖像所表示的進(jìn)深是在平面上與背景圖像相比稍微浮起的程度的進(jìn)深。深度圖像的精度較低的原因是因?yàn)榕c整體區(qū)域中的匹配點(diǎn)的視差是基本相同的值。圖11 (b)是通過精度為中間級(jí)別的匹配點(diǎn)搜索而得到的深度圖像。在該圖11(b)中，由于稍微高精度地檢測到與匹配點(diǎn)的視差，因而根據(jù)匹配點(diǎn)搜索的結(jié)果而生成的深度圖像的進(jìn)深是曲面的。與此相對(duì)，在圖11 (c)中忠實(shí)地再現(xiàn)了人物的進(jìn)深。下面，對(duì)這些算法進(jìn)行說明。關(guān)于所生成的深度圖像是接近圖11 (a)、(b)、(c)中哪一方的深度圖像，根據(jù)在調(diào)整中使用的算法是塊匹配(block matching)、半全局匹配(semi-global matching)還是圖切割(graph cut)中的哪一個(gè)、以及搜索范圍多大而變化。因此，將各臺(tái)設(shè)備的搜索算法記述為屬性。在本申請(qǐng)中，作為代表性的搜索算法是假定了塊匹配、半全局匹配、圖切割。下面，對(duì)這些搜索算法進(jìn)行說明a.塊匹配塊匹配是這樣的算法，即將一只眼睛的影像分割為多個(gè)區(qū)域，從另一只眼睛的影像中抽取與分割后的一只眼睛的影像之間的像素值之差為最小的區(qū)域的算法。更具體地講，將與一只眼睛的影像的分割后的區(qū)域相同的區(qū)域設(shè)定于另一只眼睛的影像(稱為整合區(qū)域)。此時(shí)，一只眼睛的影像的分割后的區(qū)域的垂直方向的位置、與對(duì)另一只眼睛的影像設(shè)定的區(qū)域的垂直方向的位置相同。計(jì)算包含于一只眼睛的影像的分割后的區(qū)域中的像素的值、與包含于對(duì)另一只眼睛的影像設(shè)定的整合區(qū)域中的像素的值之差。然后，使整合區(qū)域的水平方向的位置沿水平方向錯(cuò)開，同樣計(jì)算像素之差。這樣，沿水平方向搜索整合區(qū)域，將差值為最小的整合區(qū)域作為最整合區(qū)域，將最整合區(qū)域的水平方向的位置、與一只眼睛的影像的分割后的區(qū)域的水平方向的位置之差作為最整合區(qū)域間的距離，生成將距該最整合區(qū)域的距離表示為進(jìn)深的視差映射(參照非專利文獻(xiàn)I)。圖12 (a)表示基于塊匹配的匹配點(diǎn)搜索。箭頭shl、sh2、sh3表示右眼圖像中的區(qū)域與左眼圖像中的區(qū)域的像素值的對(duì)t匕。水平方向的箭頭scl表示右眼圖像中的水平 方向的掃描。通過這些對(duì)比和掃描來發(fā)現(xiàn)最整合區(qū)域。b.半全局匹配半全局匹配是這樣的算法，即考慮相鄰接的多個(gè)方向的區(qū)域的整合性沿水平方向搜索整合區(qū)域，并使最整合區(qū)域間的距離相匹配(參照非專利文獻(xiàn)2)。圖12 (b)表示基于半全局匹配的搜索。箭頭sh5、sh6表示右眼圖像中的區(qū)域與左眼圖像中的區(qū)域的像素值的對(duì)比。朝向8個(gè)方向的箭頭表示相對(duì)于8個(gè)方向的整合性的參照。水平方向的箭頭sc2表示右眼圖像中的水平方向的掃描。通過這些對(duì)比和掃描來發(fā)現(xiàn)最整合區(qū)域。c.圖切割圖切割是按照每個(gè)對(duì)象來分割影像并使分割區(qū)域間的距離相匹配的算法。圖12 (C)示意地表示基于圖切割的搜索。圖中的obj2、3、4、5表示在圖8中的人物是搜索對(duì)象的情況下，通過圖像識(shí)別而得到的軀體、人臉、手腳這些人體部件被識(shí)別為對(duì)象，按照該對(duì)象單位進(jìn)行匹配點(diǎn)搜索。箭頭cml、cm2、cm3、cm4表示右眼圖像中的區(qū)域與左眼圖像中的區(qū)域的像素值的對(duì)比。在圖切割中，首先進(jìn)行圖像識(shí)別，然后通過圖切割來高精度地進(jìn)行匹配點(diǎn)的搜索。以上是關(guān)于搜索算法的說明。〈開關(guān)14a>開關(guān)14a用于切換應(yīng)該寫入到左眼平面存儲(chǔ)器7中的圖像數(shù)據(jù)的輸入。在切換元件被設(shè)定為接點(diǎn)a側(cè)的情況下，在左眼平面存儲(chǔ)器7中存儲(chǔ)通過左眼圖像解碼器5的解碼而得到的非壓縮的左眼圖像數(shù)據(jù)。在被設(shè)定為接點(diǎn)b側(cè)的情況下，在左眼平面存儲(chǔ)器7中存儲(chǔ)通過設(shè)備間接口 19從其它設(shè)備傳輸來的非壓縮的左眼圖像數(shù)據(jù)。由此，能夠?qū)⑼ㄟ^左眼圖像解碼器5的解碼而得到的非壓縮的左眼圖像、以及從其它設(shè)備傳輸?shù)姆菈嚎s的左眼圖像雙方作為進(jìn)深調(diào)整的對(duì)象。路徑rt3是用于將從其它設(shè)備的流供給源以直通方式輸入的左眼圖像存儲(chǔ)在左眼平面存儲(chǔ)器7中的路徑。〈開關(guān)14b>開關(guān)14b用于切換應(yīng)該寫入到右眼平面存儲(chǔ)器8中的圖像數(shù)據(jù)的輸入。在切換元件被設(shè)定為接點(diǎn)c側(cè)的情況下，在右眼平面存儲(chǔ)器8中存儲(chǔ)通過右眼圖像解碼器6的解碼而得到的非壓縮的右眼圖像數(shù)據(jù)。在被設(shè)定為接點(diǎn)d側(cè)的情況下，在右眼平面存儲(chǔ)器8中存儲(chǔ)通過設(shè)備間接口 19從其它設(shè)備傳輸?shù)姆菈嚎s的右眼圖像數(shù)據(jù)。由此，能夠?qū)⑼ㄟ^右眼圖像解碼器6的解碼而得到的非壓縮的右眼圖像、以及從其它設(shè)備傳輸?shù)姆菈嚎s的右眼圖像雙方作為進(jìn)深調(diào)整的對(duì)象。路徑rt4是用于將從其它設(shè)備的流供給源以直通方式輸入的右眼圖像存儲(chǔ)在右眼平面存儲(chǔ)器8中的路徑。<內(nèi)容屬性保存模塊15>內(nèi)容屬性保存模塊15存儲(chǔ)內(nèi)容的屬性，該內(nèi)容屬性表示作為立體視覺的對(duì)象的圖像數(shù)據(jù)是以多大的畫面尺寸為前提的。內(nèi)容屬性包括例如與內(nèi)容對(duì)應(yīng)的影像的分辨率、與內(nèi)容對(duì)應(yīng)的影像是否是立體視覺影像、與內(nèi)容對(duì)應(yīng)的影像是否是被實(shí)施了進(jìn)深調(diào)整的影像、在被實(shí)施了進(jìn)深調(diào)整時(shí)其調(diào)整程度、內(nèi)容的編碼格式(LR復(fù)用流/并排(side byside)/上下(top bottom))這樣的信息、再現(xiàn)對(duì)象內(nèi)容是否是內(nèi)容已被實(shí)施了進(jìn)深調(diào)整的信息、已被實(shí)施了何種程度的進(jìn)深調(diào)整、內(nèi)容的分辨率、內(nèi)容的再現(xiàn)假定畫面尺寸等。這些Ih息例如是從與內(nèi)容對(duì)應(yīng)的流的頭信息中取得的信息。<顯示設(shè)備屬性保存模塊16>顯示設(shè)備屬性保存模塊16是保存立體視覺映像的顯示對(duì)象的設(shè)備的性能信息的 控制寄存器。顯示設(shè)備的屬性包括顯示設(shè)備的顯示畫面的分辨率、顯示設(shè)備的顯示畫面的尺寸、顯示設(shè)備是否能夠進(jìn)行立體視覺顯示、顯示設(shè)備是否具有進(jìn)深調(diào)整功能、在具有進(jìn)深調(diào)整功能時(shí)當(dāng)前的進(jìn)深調(diào)整的設(shè)定是由用戶如何設(shè)定的、顯示設(shè)備的顯示格式(幀序列/并排/上下)、以及顯示設(shè)備是否是遠(yuǎn)程的信息等。顯示對(duì)象的設(shè)備不限于是自身設(shè)備。例如，當(dāng)然存在進(jìn)行協(xié)商的遠(yuǎn)程設(shè)備是顯示對(duì)象的設(shè)備、或者自身顯示從其它設(shè)備接收到的映像的情況。顯示對(duì)象設(shè)備屬性的取得例如通過設(shè)備間接口 19進(jìn)行。該取得定時(shí)被設(shè)為例如作為客戶端的設(shè)備的起動(dòng)時(shí)、或者作為客戶端的設(shè)備與作為服務(wù)器的設(shè)備的遠(yuǎn)程連接時(shí)等在受理立體視覺影像再現(xiàn)請(qǐng)求之前進(jìn)行。取得屬性的顯示對(duì)象設(shè)備如果是在設(shè)置了立體視覺影像的再現(xiàn)的觸發(fā)器的設(shè)備進(jìn)行顯示，則設(shè)置了立體視覺影像的再現(xiàn)的觸發(fā)器的設(shè)備本身相當(dāng)于顯示對(duì)象設(shè)備。另外，如果不在設(shè)置了立體視覺影像的再現(xiàn)的觸發(fā)器的設(shè)備進(jìn)行顯示，則與設(shè)置了立體視覺影像的再現(xiàn)的觸發(fā)器的設(shè)備連接的設(shè)備、而且是具有顯示功能的設(shè)備相當(dāng)于顯示對(duì)象設(shè)備。在設(shè)置了立體視覺影像的再現(xiàn)的觸發(fā)器的設(shè)備本身是顯示對(duì)象設(shè)備的情況下，使用預(yù)先在自身設(shè)備的硬盤、存儲(chǔ)器等存儲(chǔ)單元(未圖示)等中存儲(chǔ)的信息來設(shè)定屬性，在顯示對(duì)象設(shè)備是遠(yuǎn)程設(shè)備的情況下，保存通過網(wǎng)絡(luò)接口 I或者設(shè)備間接口 19的多媒體線纜接口從顯示對(duì)象設(shè)備取得的屬性。<進(jìn)深調(diào)整判定模塊17>進(jìn)深調(diào)整判定模塊17用于在進(jìn)行內(nèi)容的再現(xiàn)時(shí)，通過判定作為其顯示對(duì)象的畫面尺寸是否與內(nèi)容假定畫面尺寸的畫面尺寸一致，來判定是否需要進(jìn)深調(diào)整。說明為何需要在影像處理裝置中設(shè)置進(jìn)深調(diào)整判定模塊17的必然性。判定是否需要進(jìn)深調(diào)整是根據(jù)以下請(qǐng)求而產(chǎn)生的。在BD - ROM中，構(gòu)成立體視覺影像的左眼圖像、右眼圖像位于BD - ROM內(nèi)的傳輸流中，因而如果對(duì)左眼圖像、右眼圖像進(jìn)行解碼，則導(dǎo)致由創(chuàng)作者(authoring side)進(jìn)行了進(jìn)深調(diào)整的立體視覺影像被再現(xiàn)。在此，假定在左眼圖像、右眼圖像中表現(xiàn)出的視差是在50英寸等的畫面中再現(xiàn)左眼圖像、右眼圖像。因此，在實(shí)際顯示的畫面大于創(chuàng)作者假定的畫面時(shí)導(dǎo)致飛出程度過度，而在小于創(chuàng)作者假定的畫面時(shí)導(dǎo)致飛出程度不足。因此，進(jìn)行使對(duì)于顯示飛出量的顯示器而言成為最佳程度的進(jìn)深調(diào)整。判定是否需要進(jìn)深調(diào)整是通過畫面尺寸的直接比較而進(jìn)行的，但是至于應(yīng)該再現(xiàn)的內(nèi)容是假定以何種畫面尺寸來再現(xiàn)，則不能得到足夠的信息。在這種情況下，將現(xiàn)狀的進(jìn)深調(diào)整的程度用作判定材料。具體而言，有關(guān)被實(shí)施進(jìn)深調(diào)整的左眼圖像、右眼圖像的視差的數(shù)值范圍依賴于內(nèi)容假定畫面尺寸的大小。因此，如果對(duì)假定再現(xiàn)的多個(gè)畫面尺寸分別準(zhǔn)備視差的基準(zhǔn)值并保存在設(shè)備中，并將有關(guān)被實(shí)施進(jìn)深調(diào)整的左眼圖像、右眼圖像的視差與設(shè)備預(yù)先保存的基準(zhǔn)值進(jìn)行比較，則由此能夠判定對(duì)由該左眼圖像、右眼圖像構(gòu)成的內(nèi)容所假定的畫面尺寸是多大尺寸。如果這樣檢測內(nèi)容假定畫面尺寸，并將其與在顯示設(shè)備屬性保存模塊16中保存的顯示畫面尺寸進(jìn)行比較，則能夠判定是否需要進(jìn)深調(diào)整。如上所述，進(jìn)深調(diào)整判定模塊17根據(jù)在顯示設(shè)備屬性保存模塊16中保存的信息和在再現(xiàn)內(nèi)容屬性保存模塊7中保存的信息，進(jìn)行是否需要內(nèi)容的進(jìn)深調(diào)整的判定。4.用戶輸入被分類到用戶輸入這一組中的構(gòu)成要素有UO檢測模塊18?！碪0檢測模塊18>
UO檢測模塊18是接收例如與用戶操作遙控器等進(jìn)行指示的命令對(duì)應(yīng)的信號(hào)的部分。能夠從UO檢測模塊接收例如與基于鍵操作的實(shí)時(shí)的立體視覺影像的進(jìn)深的指示對(duì)應(yīng)的信號(hào)，或者接收與設(shè)備設(shè)定(也包括進(jìn)深程度調(diào)整設(shè)定)的調(diào)整指示對(duì)應(yīng)的信號(hào)。根據(jù)用戶對(duì)遙控器的操作不同，存在UO檢測模塊18檢測到立體視覺影像的再現(xiàn)請(qǐng)求的情況，UO檢測模塊18向相當(dāng)于再現(xiàn)部的構(gòu)成要素組傳輸立體視覺影像的再現(xiàn)請(qǐng)求、或者利用所起動(dòng)的應(yīng)用來傳送立體視覺影像的再現(xiàn)的情況等。從所起動(dòng)的應(yīng)用來請(qǐng)求立體視覺影像的再現(xiàn)的情況是指這樣的情況，例如，利用從應(yīng)用起動(dòng)菜單起動(dòng)Java應(yīng)用等字節(jié)碼應(yīng)用，所起動(dòng)的應(yīng)用根據(jù)來自UO檢測模塊18的用戶操作，向相當(dāng)于再現(xiàn)部的構(gòu)成要素組傳輸立體視覺影像的再現(xiàn)請(qǐng)求等。立體視覺影像的再現(xiàn)請(qǐng)求包括成為再現(xiàn)的對(duì)象的內(nèi)容的取得位置、屬于圖像內(nèi)容平面視覺/立體視覺哪一方的信息。5.設(shè)備間通信對(duì)被分類到“設(shè)備間通信”這一組中的構(gòu)成要素進(jìn)行說明。對(duì)被分類到“設(shè)備間通信”這一組中的構(gòu)成要素有設(shè)備接口 19、解析器20、通信控制部21、性能信息存儲(chǔ)模塊22、通信信息生成模塊23、性能比較模塊24、應(yīng)答信息生成模塊25。下面，對(duì)這些構(gòu)成要素進(jìn)行說明?！丛O(shè)備接口19>設(shè)備接口 19通過例如依據(jù)于HDMI標(biāo)準(zhǔn)的多媒體線纜或復(fù)合線纜、分量線纜進(jìn)行已解碼的影像或聲音的傳輸。尤其是HDMI，除影像外，還能夠附加各種屬性信息。在使用設(shè)備間接口 19中的多媒體線纜接口取代網(wǎng)絡(luò)接口 I的情況下，通過多媒體線纜接口在顯示設(shè)備屬性保存模塊6中保存執(zhí)行顯示處理的設(shè)備的性能信息?！唇馕銎?0>解析器20進(jìn)行設(shè)備間的協(xié)商的數(shù)據(jù)的解析(parsing)，并將由發(fā)送信息生成模塊9或者應(yīng)答信息生成模塊12生成的信息變換為設(shè)備能夠處理的數(shù)據(jù)?！赐ㄐ趴刂撇?1>通信控制部21進(jìn)行影像處理裝置中的通信控制。通信控制部21不是獨(dú)立具有意義的部分，而是在通過與具有相同結(jié)構(gòu)的設(shè)備相互連接來發(fā)送接收消息或數(shù)據(jù)這樣的通信序列中體現(xiàn)價(jià)值。下面，對(duì)設(shè)備間的通信序列進(jìn)行說明。圖13 (a)表示由通信控制部21進(jìn)行的通信序列。左側(cè)表示發(fā)送側(cè)，右側(cè)表示接收側(cè)。在縱向上描畫了多臺(tái)設(shè)備共用的時(shí)間軸。在該圖中，由判定是否需要進(jìn)深調(diào)整的階段PhU協(xié)商階段ph2、使用性能信息判定進(jìn)深調(diào)整主體的階段Ph3、進(jìn)行構(gòu)成立體視覺內(nèi)容的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的傳輸?shù)碾A段ph4構(gòu)成，關(guān)于進(jìn)深調(diào)整主體確定階段Ph3、傳輸階段ph4，根據(jù)搜索算法的性能的不同而存在兩種變形。在圖13中存在(a) (b)這兩種序列，即表示了這種變形的差異。其中，圖(a)表示發(fā)送側(cè)的能力較高的情況，圖(b)表示接收側(cè)的搜索能力較高的情況。圖13 (a)表示接收側(cè)的算法能力(Algo (dst))高于發(fā)送側(cè)的算法能力(Algo(src))的情況，圖13 (b)表示與其相反的情況。這種差異根據(jù)進(jìn)深調(diào)整主體的確定階段的內(nèi)容即可明了。S卩，在圖13 (a)、圖13 (b)中，發(fā)送側(cè)的搜索應(yīng)用的級(jí)別(Algo (src))與接收側(cè)的搜索應(yīng)用的級(jí)別(Algo (dst))的不等號(hào)關(guān)系可以交換。并且，這種差異也體現(xiàn)在 傳輸階段中。在傳輸階段中，橫向排列的平行四邊形表示構(gòu)成立體視覺的左眼圖像、右眼圖像的組。并且，左眼圖像、右眼圖像中平行四邊形彼此的間隔較小的圖像表示未調(diào)整進(jìn)深的圖像，間隔較大的圖像表示已調(diào)整進(jìn)深的圖像。在圖13 (a)中是在發(fā)送側(cè)進(jìn)行進(jìn)深調(diào)整，而在圖13 (b)中是在接收側(cè)進(jìn)行進(jìn)深調(diào)整。產(chǎn)生這種差異是因?yàn)閳D13 (a)假定接收側(cè)的進(jìn)深調(diào)整能力較高，而圖13 (b)假定發(fā)送側(cè)的進(jìn)深調(diào)整能力較高。如上所述可知，在確定階段中，關(guān)于進(jìn)深調(diào)整主體，根據(jù)發(fā)送側(cè)、接收側(cè)哪一方的能力更高，來切換是由發(fā)送側(cè)進(jìn)行進(jìn)深調(diào)整還是由接收側(cè)進(jìn)行進(jìn)深調(diào)整。以上結(jié)束有關(guān)通信控制部21的說明。<性能信息存儲(chǔ)模塊22>性能信息存儲(chǔ)模塊22存儲(chǔ)在本裝置中進(jìn)深調(diào)整的程度如何這樣的性能信息的屬性。性能信息表示在各臺(tái)設(shè)備中進(jìn)行何種程度的進(jìn)深調(diào)整，因而其設(shè)定值因每臺(tái)設(shè)備而異。圖14是圖I所示的再現(xiàn)裝置100、電視機(jī)200、電視機(jī)300、便攜式終端400的性能信息的設(shè)定示例。在這些性能信息中，本圖的性能信息由有無調(diào)整功能、搜索算法、搜索范圍、傳輸速率、再現(xiàn)對(duì)象內(nèi)容的參照目標(biāo)、調(diào)整能力這些信息要素構(gòu)成。下面，對(duì)性能信息的信息要素進(jìn)行說明。并且，也對(duì)設(shè)定的具體示例進(jìn)行說明，即上述的信息要素被設(shè)定為什么數(shù)值?！坝袩o調(diào)整功能”是被預(yù)先嵌入設(shè)備中的屬性，是能夠判定設(shè)備是否具有進(jìn)深變換功能的信息。在圖14示出的例子中，表示再現(xiàn)裝置100、電視機(jī)200、電視機(jī)300、便攜式終端400這些設(shè)備均具有進(jìn)深調(diào)整功能。“搜索算法”是被預(yù)先嵌入設(shè)備中的屬性，被作為與設(shè)備具有的進(jìn)深變換的實(shí)施方法的算法名稱對(duì)應(yīng)的數(shù)值進(jìn)行保存。在圖14中，可知再現(xiàn)裝置100、電視機(jī)300的搜索算法均采用圖切割。另一方面，可知電視機(jī)200采用半全局匹配，便攜式終端400采用塊匹配。本算法不僅保存一種，也存在保存多種的情況。在這種情況下，對(duì)進(jìn)深調(diào)整算法的屬性設(shè)定多個(gè)不同的值?！八阉鞣秶笔潜活A(yù)先嵌入設(shè)備中的屬性，例如是適用在搜索算法中設(shè)定的算法時(shí)的默認(rèn)的參數(shù)。算法的參數(shù)例如是利用像素單位來表示在得到左眼和右眼的視差信息時(shí)沿水平方向進(jìn)行搜索的范圍的參數(shù)。在圖14示出的例子中，可知電視機(jī)300的搜索范圍被設(shè)定為24像素，再現(xiàn)裝置100、電視機(jī)300、電視機(jī)200的搜索范圍均被設(shè)定為16像素?！皞鬏斔俾省笔潜硎驹谂c連接對(duì)象的設(shè)備進(jìn)行連接時(shí)所連接的接口的吞吐量是何種程度的值。進(jìn)深調(diào)整能力屬性中的數(shù)據(jù)傳輸能力用于分辨作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的設(shè)備的傳輸是基于HDMI的有線方式還是基于Wifi的無線方式。傳輸速率可以是被預(yù)先嵌入設(shè)備中的屬性，也可以在進(jìn)行協(xié)商時(shí)測定吞吐量并利用其值。在圖14示出的例子中，圖
14Ca)示出了再現(xiàn)裝置100的傳輸速率被設(shè)定為53. 3 (Mbps),電視機(jī)200、電視機(jī)300被設(shè)定為24 (Mbps)、便攜式終端400被設(shè)定為8 (Mbps)的示例?！霸佻F(xiàn)對(duì)象內(nèi)容的參照目標(biāo)”表示再現(xiàn)對(duì)象的內(nèi)容的保存介質(zhì)、所保存的文件路徑。在圖14示出的例子中，可知圖14 (a)的再現(xiàn)裝置100中的再現(xiàn)對(duì)象的內(nèi)容的參照目標(biāo)被設(shè)定為“E:/local/path/01234.mt2s”，圖14 (d)的便攜式終端400中的再現(xiàn)對(duì)象的內(nèi)容的參照目標(biāo)被設(shè)定為“C:/local/path/01234. mt2s”。“調(diào)整能力”是表示將搜索算法和搜索范圍適用于再現(xiàn)對(duì)象內(nèi)容時(shí)的性能的基準(zhǔn)分?jǐn)?shù)(benchmark score) 0優(yōu)選其值是考慮了再現(xiàn)對(duì)象的內(nèi)容的保存目的地的數(shù)據(jù)吞吐量 的值。例如，被保存在可移動(dòng)介質(zhì)和盤驅(qū)動(dòng)器2a中的數(shù)據(jù)也依賴于設(shè)備的介質(zhì)讀入速度，因而優(yōu)選在嘗試一次進(jìn)深調(diào)整的基礎(chǔ)上去發(fā)現(xiàn)進(jìn)深調(diào)整處理能力。關(guān)于其值，在搜索算法所示出的值有多個(gè)的情況下，存在與每種搜索算法對(duì)應(yīng)的進(jìn)深調(diào)整處理能力的值。在圖14的一例中，可知再現(xiàn)裝置100、電視機(jī)200、電視機(jī)300的調(diào)整能力均是85(Mbps)，達(dá)到了毫不遜色的能力。另一方面，可知便攜式終端400的調(diào)整能力是43 (Mbps)，調(diào)整能力低。綜上所述，在圖14中，對(duì)任何設(shè)備均設(shè)定為“有”調(diào)整能力。關(guān)于算法，再現(xiàn)裝置100、電視機(jī)300均被設(shè)定為圖切割，電視機(jī)200被設(shè)定為半全局匹配,便攜式終端400被設(shè)定為塊匹配。關(guān)于搜索范圍，只有電視機(jī)300被設(shè)定為24像素?？芍缟纤龅母鱾€(gè)體的性能差被體現(xiàn)在各臺(tái)設(shè)備的性能信息中。<通信信息生成模塊23>通信信息生成模塊23在本設(shè)備是發(fā)送側(cè)時(shí)讀出本設(shè)備的性能信息，將其變換為適合于向?qū)Ψ皆O(shè)備傳輸?shù)臄?shù)據(jù)形式，由此生成發(fā)送信息。〈性能比較模塊24>性能比較模塊24是這樣的模塊，將從對(duì)方接收到的性能信息中的搜索級(jí)別和本裝置的搜索級(jí)別進(jìn)行比較，根據(jù)從作為協(xié)商的對(duì)象的對(duì)方設(shè)備接收到的發(fā)送信息，判定由“哪臺(tái)設(shè)備” “如何”進(jìn)行進(jìn)深調(diào)整。性能比較模塊24將在進(jìn)行設(shè)備連接時(shí)從發(fā)送側(cè)發(fā)送過來的性能信息所表示的搜索算法、與自身的性能信息所表示的搜索算法進(jìn)行比較，由此確定將發(fā)送側(cè)、接收側(cè)哪一方作為進(jìn)深調(diào)整主體。根據(jù)搜索算法的高低來確定進(jìn)深調(diào)整主體，這是因?yàn)樗阉魉惴ǖ牟町悓⒋蟠笥绊懫ヅ潼c(diǎn)搜索精度。在兩臺(tái)設(shè)備的搜索算法的級(jí)別相同的情況下，根據(jù)搜索范圍的大小來確定。在兩臺(tái)設(shè)備的搜索范圍相同的情況下，根據(jù)兩臺(tái)設(shè)備的進(jìn)深調(diào)整的快慢來確定。如上所述，將相互連接的兩臺(tái)設(shè)備的搜索算法進(jìn)行比較，在分不出優(yōu)劣的情況下，根據(jù)搜索范圍的大小、進(jìn)深調(diào)整能力的快慢這些不同的下一維的參數(shù)進(jìn)行設(shè)備的比較。這不是單純地比較進(jìn)深調(diào)整的快慢，而是利用質(zhì)量優(yōu)勢來確定進(jìn)深調(diào)整主體的產(chǎn)品概念的體現(xiàn)。<應(yīng)答信息生成模塊25>應(yīng)答信息生成模塊25在由性能信息存儲(chǔ)模塊22進(jìn)行了比較時(shí)，生成表示其比較結(jié)果的應(yīng)答信息并發(fā)送給發(fā)送側(cè)。說明在假定各臺(tái)設(shè)備的性能信息是按照?qǐng)D14所示進(jìn)行設(shè)定的情況下進(jìn)行設(shè)備相互間的連接時(shí)發(fā)送何種應(yīng)答信息。圖15(a)表示在進(jìn)行再現(xiàn)裝置100 —電視機(jī)300的連接時(shí)從電視機(jī)300發(fā)送的應(yīng)答信息，圖15 (b)表示在進(jìn)行便攜式終端400 —電視機(jī)200的連接時(shí)從電視機(jī)200發(fā)送的應(yīng)答信息。圖16 Ca)表示在進(jìn)行便攜式終端400 —再現(xiàn)裝置100的連接時(shí)從便攜式終端400發(fā)送的應(yīng)答信息，圖16 (b)表示在進(jìn)行電視機(jī)200 —再現(xiàn)裝置100的連接時(shí)從電視機(jī)200發(fā)送的應(yīng)答信息。對(duì)在這些附圖中共同的應(yīng)答信息的共同的數(shù)據(jù)構(gòu)造進(jìn)行說明。應(yīng)答信息由調(diào)整設(shè)備、終端功能、調(diào)整級(jí)別、搜索算法、搜索范圍這些信息字段構(gòu)成?！罢{(diào)整設(shè)備”表示發(fā)送側(cè)、接收側(cè)中哪一方成為調(diào)整主體的調(diào)整結(jié)果。在圖15(a)、圖15 (b)、圖16 (a)的連接模式的應(yīng)答信息中，表示接收側(cè)(dst)是調(diào)整主體。調(diào)整設(shè)備被設(shè)定為接收側(cè)是因?yàn)樵诎凑請(qǐng)D15 (a)、圖15 (b)、圖16 (a)的連接模式將性能信息進(jìn)行比較時(shí)，接收側(cè)的性能比較高。在圖16 (b)的連接模式的應(yīng)答信息中，表示發(fā)送側(cè)(src)是調(diào)整主體。調(diào)整設(shè)備被設(shè)定為發(fā)送側(cè)是因?yàn)樵诎凑請(qǐng)D16 (b)的連接模式將性能信息進(jìn)行比較時(shí)，發(fā)送側(cè)的性能比較高?！敖K端功能”表示進(jìn)深調(diào)整是根據(jù)自動(dòng)/手動(dòng)中哪種方式進(jìn)行的。在圖15 (a)、圖 15(b)、圖16 (a)、圖16 (b)的連接模式中，該終端功能均被設(shè)定為自動(dòng)?！罢{(diào)整級(jí)別”表示將飛出程度設(shè)定為高中低中的哪種級(jí)別。在圖15(a)、圖15(b)、圖16 (a)、圖16 (b)的連接模式中，調(diào)整級(jí)別均被設(shè)定為“中”?！八阉魉惴ā北硎具M(jìn)深調(diào)整主體使用的算法?？芍趫D15 Ca)中算法被設(shè)定為圖切割，在圖15 (b)中被設(shè)定為半全局匹配。可知在圖16 (a)、圖16 (b)中被設(shè)定為圖切割?！八阉鞣秶北硎具M(jìn)深調(diào)整主體對(duì)匹配點(diǎn)的搜索范圍。在圖15 (b)、圖16 (a)、圖
16(b)的連接模式的應(yīng)答信息中，表示搜索范圍是16像素。在圖16 (a)的連接模式的應(yīng)答 目息中，表不搜索范圍是24像素。綜上所述可知，在各個(gè)連接模式中，發(fā)送側(cè)一接收側(cè)中具有更高的調(diào)整能力的一方，利用應(yīng)答信息通知對(duì)方。根據(jù)圖15 (a)，雖然算法相同，但是搜索范圍是電視機(jī)300比較大，因而電視機(jī)300被確定為調(diào)整主體。因此，從再現(xiàn)裝置100向電視機(jī)300發(fā)送已調(diào)整進(jìn)深的左眼圖像數(shù)據(jù)、右眼圖像數(shù)據(jù)。并且，在電視機(jī)300側(cè)利用自身的算法進(jìn)行進(jìn)深調(diào)
M
iF. O6.畫面適應(yīng)化被分類到“畫面適應(yīng)化”這一組中的構(gòu)成要素有輸出影像變換器26。下面，對(duì)該構(gòu)成要素進(jìn)行說明。輸出影像變換器26根據(jù)應(yīng)答信息的信息，判定以什么樣的格式來發(fā)送協(xié)商目標(biāo)和立體視覺影像內(nèi)容，將非壓縮的左眼圖像數(shù)據(jù)、右眼圖像數(shù)據(jù)變換為作為判定結(jié)果的格式。例如，可以舉出將實(shí)施進(jìn)深調(diào)整并已進(jìn)行解碼的數(shù)據(jù)變換為協(xié)商目標(biāo)的設(shè)備能夠處理的格式并進(jìn)行發(fā)送，或者接收已進(jìn)行解碼的立體視覺影像數(shù)據(jù)并實(shí)施進(jìn)深調(diào)整，并由自身進(jìn)行顯示等各種模式。說明在從接收側(cè)發(fā)送給發(fā)送側(cè)的應(yīng)答信息是圖15 (a)和(b)、圖16Ca)和(b)所示的內(nèi)容的情況下，通過由輸出影像變換器26進(jìn)行格式變換，電視機(jī)200、電視機(jī)300、便攜式終端400的顯示內(nèi)容是什么。圖17、圖18表示發(fā)送側(cè)一接收側(cè)的多個(gè)模式、和各個(gè)模式時(shí)的立體視覺顯示。圖17 Ca)表示進(jìn)行電視機(jī)300 —再現(xiàn)裝置100的連接時(shí)。在再現(xiàn)裝置100 —電視機(jī)300中，雖然搜索算法相同，但是搜索范圍是電視機(jī)300比較大，因而電視機(jī)300被確定為調(diào)整主體。因此，從再現(xiàn)裝置100向電視機(jī)300發(fā)送未調(diào)整進(jìn)深的左眼圖像數(shù)據(jù)、右眼圖像數(shù)據(jù)。并且，在電視機(jī)300側(cè)根據(jù)自身的算法進(jìn)行進(jìn)深調(diào)整。圖17 (b)表示進(jìn)行便攜式終端400 -電視機(jī)200的連接時(shí)。在進(jìn)行便攜式終端400 —電視機(jī)200的連接時(shí)，能夠按照半全局匹配進(jìn)行匹配點(diǎn)搜索的電視機(jī)200成為進(jìn)深調(diào)整主體。在這種情況下，電視機(jī)200是接收側(cè)，因而左右圖像在未進(jìn)行調(diào)整的狀態(tài)下被輸出給接收側(cè)。通過由電視機(jī)200實(shí)施基于半全局匹配的進(jìn)深調(diào)整，實(shí)現(xiàn)飛出量級(jí)別較小的立體視覺再現(xiàn)。圖18 Ca)表示進(jìn)行便攜式終端400 —再現(xiàn)裝置100的連接時(shí)。在進(jìn)行便攜式終端400 —再現(xiàn)裝置100的連接時(shí)，能夠按照?qǐng)D切割進(jìn)行匹配點(diǎn)搜索的再現(xiàn)裝置100成為進(jìn)深調(diào)整主體。在這種情況下，便攜式終端400是發(fā)送側(cè)，因而左右圖像在由發(fā)送側(cè)進(jìn)行調(diào)整后被輸出給接收側(cè)。因此，通過由再現(xiàn)裝置100實(shí)施基于圖切割的進(jìn)深調(diào)整，實(shí)現(xiàn)飛出量級(jí)別較大的立體視覺再現(xiàn)。
圖18 (b)表示進(jìn)行再現(xiàn)裝置100 —電視機(jī)200的連接時(shí)。在進(jìn)行電視機(jī)200 —再現(xiàn)裝置100的連接時(shí)，能夠按照?qǐng)D切割進(jìn)行匹配點(diǎn)搜索的電視機(jī)200成為進(jìn)深調(diào)整主體。在這種情況下，電視機(jī)200是接收側(cè)，因而左右圖像在未進(jìn)行調(diào)整的狀態(tài)下被輸出給接收偵U。這樣，通過由電視機(jī)200實(shí)施基于圖切割的進(jìn)深調(diào)整，實(shí)現(xiàn)飛出量級(jí)別中等的立體視覺再現(xiàn)。以上結(jié)束有關(guān)畫面適應(yīng)化組的說明。下面，對(duì)顯示裝置特有的構(gòu)成要素進(jìn)行說明。該特有的構(gòu)成要素是顯示部26。〈顯示部26>顯示部26接收由本設(shè)備進(jìn)行了進(jìn)深調(diào)整及格式變換的左眼圖像和右眼圖像，以提供給畫面顯示。不僅如此，也接收由其它設(shè)備進(jìn)行了進(jìn)深調(diào)整及格式變換的左眼圖像和右眼圖像，以備進(jìn)行畫面顯示。本實(shí)施方式的影像處理裝置通過利用ASIC等硬件集成元件具體實(shí)現(xiàn)如上所述的影像處理裝置中的各個(gè)構(gòu)成要素，能夠進(jìn)行工業(yè)生產(chǎn)。在這種硬件集成元件采用CPU、代碼ROM、RAM這樣通用的計(jì)算機(jī)結(jié)構(gòu)的情況下，必須預(yù)先在代碼ROM中安裝利用計(jì)算機(jī)代碼記述了如上所述的各個(gè)構(gòu)成要素的處理步驟的程序，使硬件集成元件內(nèi)的CPU執(zhí)行該程序的處理步驟。說明在采用通用的計(jì)算機(jī)系統(tǒng)的構(gòu)架時(shí)的軟件安裝所需要的處理步驟。圖19是進(jìn)深設(shè)備確定的處理步驟的主流程圖。本流程圖相當(dāng)于最上位的處理即主例程，作為本流程圖的下位的流程圖有圖20 圖24所示的流程圖。下面，對(duì)主例程中的處理步驟進(jìn)行說明。該立體視覺影像的進(jìn)深調(diào)整方法有可能包括兩臺(tái)以上的設(shè)備的處理，圖7所示的處理示出了設(shè)置了立體視覺影像的再現(xiàn)的觸發(fā)器的設(shè)備即作為客戶端的設(shè)備的整體處理。圖19是影像處理裝置的處理步驟的主流程。在該流程圖中，取得顯示設(shè)備的屬性(步驟SI)，開始再現(xiàn)(步驟S2)，取得內(nèi)容的屬性(步驟S3)，進(jìn)入到步驟S6的判定步驟。在用戶請(qǐng)求了開始再現(xiàn)的情況下(步驟S4)，跳過步驟SI，從步驟S2開始處理。在根據(jù)用戶操作(UO)而產(chǎn)生了進(jìn)深調(diào)整請(qǐng)求的情況下(步驟S5)，跳過步驟SI 步驟S3，從步驟S6開始處理。
步驟S6的判定步驟用于判定是否需要進(jìn)行內(nèi)容的進(jìn)深調(diào)整，如果不需要進(jìn)深調(diào)整，則進(jìn)行步驟S7 步驟S9。在步驟S7，判定本裝置是否是顯示設(shè)備，如果是顯示設(shè)備，則顯示立體視覺影像(步驟S8)。如果不是顯示設(shè)備，將立體視覺影像內(nèi)容發(fā)送給作為數(shù)據(jù)發(fā)送接收的對(duì)方的顯示設(shè)備(步驟S9)。在步驟S6，如果判定為需要進(jìn)深調(diào)整，則進(jìn)入到步驟Sll 步驟S17的一系列處理。在這一系列的處理中，進(jìn)行設(shè)備的協(xié)商(步驟SI I )，如果成功則進(jìn)行設(shè)備性能的交換(步驟S12)，在步驟S13判定內(nèi)容的保存位置是否是本裝置。如果保存位置是本裝置，在步驟S14執(zhí)行用于進(jìn)行進(jìn)深調(diào)整的設(shè)備的選擇。如果保存位置不是本裝置，在步驟S17進(jìn)行等待立體視覺影像內(nèi)容的接收，在接收到立體視覺影像內(nèi)容后，在步驟S14執(zhí)行用于進(jìn)行進(jìn)深調(diào)整的設(shè)備的選擇。在步驟S15，判定所選擇的設(shè)備是否是本裝置。如果本裝置是進(jìn)深調(diào)整主體，在步
驟S16執(zhí)行進(jìn)深調(diào)整，并進(jìn)入到步驟S8 步驟S10，如果本裝置是顯示設(shè)備，則顯示立體視覺影像。如果本裝置不是進(jìn)深調(diào)整主體，則跳過步驟S16，進(jìn)入到步驟S8 步驟S10，如果本裝置是顯示設(shè)備，則顯示立體視覺影像。圖20是表示確定是否需要內(nèi)容進(jìn)深調(diào)整以及設(shè)備協(xié)商的處理步驟的流程圖。圖20 (a)是表示確定是否需要內(nèi)容進(jìn)深調(diào)整的處理的圖。本圖的流程圖是子例程，在結(jié)束子例程時(shí)，使返回值返回到進(jìn)行調(diào)用的一側(cè)的流程圖中。該返回值被記述在流程圖的末尾。在步驟S21，判定顯示設(shè)備屬性中的自動(dòng)進(jìn)深調(diào)整功能是否為0N。在步驟S22，通過判定顯示設(shè)備屬性中的畫面尺寸與再現(xiàn)內(nèi)容屬性中的立體視覺對(duì)應(yīng)畫面尺寸是否一致，判定是否需要進(jìn)深調(diào)整。在該步驟S22，考慮當(dāng)前的進(jìn)深調(diào)整的程度。該處理能夠這樣進(jìn)行，例如對(duì)于被實(shí)施進(jìn)深調(diào)整的已調(diào)整匹配點(diǎn)，將通過匹配點(diǎn)搜索而檢測到的視差與設(shè)備預(yù)先保存的基準(zhǔn)值進(jìn)行比較，并判定是否大于基準(zhǔn)值等。如果步驟S21、步驟S22均為Yes (是)，則視為需要進(jìn)深調(diào)整并返回。如果步驟S21、步驟S22均為No (否)，則視為不需要進(jìn)深調(diào)整并返回。圖20 (b)是表示設(shè)備的協(xié)商的詳細(xì)處理的一例的流程圖。在步驟S23，判定是否存在至少一個(gè)能夠進(jìn)行雙向的數(shù)據(jù)發(fā)送接收的接口。所說該接口包括前述的網(wǎng)絡(luò)接口 I。例如，關(guān)于采用網(wǎng)絡(luò)接口 I的方法，有使用Bluetooth或者HTTP協(xié)議進(jìn)行通信的方法、或者將它們相結(jié)合的方法等。關(guān)于接收側(cè)的設(shè)備對(duì)應(yīng)于哪種接口，使用顯示對(duì)象設(shè)備屬性保存模塊6中的信息來判定。在步驟S24，在能夠進(jìn)行雙向的數(shù)據(jù)發(fā)送接收的接口中嘗試進(jìn)行連接。然后，立體視覺影像再現(xiàn)引擎15確認(rèn)與連接對(duì)象的設(shè)備的連接。關(guān)于與設(shè)備的連接，例如在協(xié)商采用網(wǎng)絡(luò)接口 I的情況下，使用Bluetooth或者HTTP協(xié)議進(jìn)行通信來確認(rèn)與對(duì)象設(shè)備的連接是否成功。在協(xié)商采用多媒體線纜接口 4的情況下，確認(rèn)是否進(jìn)行了物理連接。如果步驟S23、步驟S24均為Yes，則進(jìn)入到設(shè)備性能的交換，如果步驟S23、步驟S24任意一方為No，則進(jìn)入到進(jìn)深調(diào)整的執(zhí)行。圖21是表示設(shè)備性能的交換步驟的流程圖。作為發(fā)送側(cè)的處理步驟，生成性能信息(步驟S31)，將性能信息發(fā)送給接收側(cè)(步驟S32)，處于等待來自接收側(cè)的應(yīng)答的狀態(tài)(步驟S33)，如果接收到應(yīng)答信息，則進(jìn)行應(yīng)答信息的解析(步驟S34)。
作為接收側(cè)的處理步驟，在步驟S41等待接收性能信息，如果接收到性能信息，則對(duì)性能信息進(jìn)行解析(步驟S42)，并抽取本設(shè)備的性能信息(步驟S43)，然后將本設(shè)備的性能信息與接收到的性能信息所表示的性能信息進(jìn)行比較(步驟S44)，根據(jù)比較結(jié)果確定進(jìn)深調(diào)整設(shè)備(步驟S45)，生成針對(duì)性能信息的應(yīng)答信息(步驟S46)，并且發(fā)送信息(步驟S47)。<進(jìn)行進(jìn)深調(diào)整的設(shè)備的選擇>圖22是表示進(jìn)行進(jìn)深調(diào)整的設(shè)備的選擇步驟的流程圖。本流程圖由步驟S50 S53的判定步驟組構(gòu)成，在這些判定步驟組中，根據(jù)哪個(gè)判定步驟為Yes，確定結(jié)果將不同。在步驟S50，判定發(fā)送側(cè)、接收側(cè)雙方是否具有進(jìn)深調(diào)整，在步驟S51，判定兩臺(tái)設(shè)備的深度圖像的生成速度是否足夠。在步驟S52，判定兩臺(tái)設(shè)備的搜索算法的性能是否相同，在步驟S52，判定兩臺(tái)設(shè)備的匹配點(diǎn)的搜索范圍是否相同。在發(fā)送側(cè)、接收側(cè)中只有一方具有進(jìn)深調(diào)整的情況下，在步驟S54，由具有該進(jìn)深調(diào)整能力的設(shè)備進(jìn)行進(jìn)深調(diào)整。在雙方設(shè)備具有進(jìn)深調(diào)整的情況下，在步驟S51，進(jìn)行判定雙方設(shè)備的匹配點(diǎn)搜索的處理速度是否 足夠。在一方設(shè)備的處理速度超過規(guī)定的閾值的情況下，在步驟S55，選擇能夠以超過該閾值的處理速度進(jìn)行匹配點(diǎn)搜索的設(shè)備。在雙方設(shè)備的匹配點(diǎn)搜索的處理速度超過閾值的情況下，在步驟S52，進(jìn)行搜索算法的級(jí)別比較。在一方設(shè)備的搜索算法的級(jí)別高的情況下，在步驟S56，選擇具有級(jí)別高的算法的設(shè)備。在雙方設(shè)備的搜索算法是相同級(jí)別的情況下，在步驟S53，進(jìn)行搜索范圍的比較。在一方設(shè)備的搜索范圍大的情況下，在步驟S57，選擇該搜索范圍大的設(shè)備作為進(jìn)深調(diào)整主體。在雙方設(shè)備的搜索范圍相同的情況下，在步驟S58，選擇匹配搜索的處理速度快的設(shè)備作為進(jìn)深調(diào)整主體。在雙方設(shè)備的匹配搜索的處理速度相同的情況下，選擇顯示側(cè)的設(shè)備作為進(jìn)深調(diào)整主體。圖23是表示進(jìn)深調(diào)整處理的處理步驟的流程圖。進(jìn)深調(diào)整處理如前面所述，采用非專利文獻(xiàn)I的塊匹配或非專利文獻(xiàn)2的圖切割等視差計(jì)算處理來生成視差映射，向該視差映射的各個(gè)像素乘以由進(jìn)行進(jìn)深調(diào)整處理的設(shè)備預(yù)先保存的調(diào)整度(例如1/2)，得到新的視差映射后，根據(jù)與該視差映射對(duì)應(yīng)的深度圖像，使左眼圖像和右眼圖像的各個(gè)像素沿水平方向錯(cuò)開。在步驟S61，按照應(yīng)答信息中的進(jìn)深調(diào)整算法和進(jìn)深調(diào)整參數(shù)來生成視差映射，在步驟S62，向視差映射的像素乘以設(shè)備具備的調(diào)整度，得到新的視差映射、深度圖像。在步驟S63，根據(jù)與新的視差映射對(duì)應(yīng)的深度圖像，使左眼圖像和右眼圖像的各個(gè)像素沿水平方向移位。圖24是表示視差映射生成的處理步驟的流程圖。在步驟S71，判定應(yīng)答信息中的調(diào)整算法的內(nèi)容。如果算法是塊匹配，在步驟S72，沿水平方向搜索另一只眼睛的影像中的整合區(qū)域，得到最整合區(qū)域。如果算法是半全局匹配，在步驟S73，考慮與相鄰接的多個(gè)方向上的分割區(qū)域的整合性，搜索另一只眼睛的影像中的整合區(qū)域，得到最整合區(qū)域。如果算法是圖切割，在步驟S74，按照每個(gè)對(duì)象來分割影像，對(duì)各個(gè)分割區(qū)域搜索最整合區(qū)域，得到最整合區(qū)域。在步驟S75，將最整合區(qū)域的水平方向的位置與一只眼睛的分割后的區(qū)域的水平方向的位置的差異作為最整合區(qū)域的距離進(jìn)行映射，由此得到視差映射。(第2實(shí)施方式)在第I實(shí)施方式中，將應(yīng)該作為再現(xiàn)的對(duì)象的流僅限定為視頻流這一種流進(jìn)行了說明，而在本實(shí)施方式中，采用考慮了視頻流以外的其它數(shù)據(jù)的內(nèi)部結(jié)構(gòu)。圖25表示考慮了視頻流以外的其它數(shù)據(jù)的內(nèi)部結(jié)構(gòu)。如該圖所示，在第2實(shí)施方式的影像處理裝置中追加了圖形解碼器30、圖形存儲(chǔ)器31、位移部32、合成部33a和33b、音頻解碼器34。圖形解碼器30對(duì)由解復(fù)用器4進(jìn)行解復(fù)用后的JPG/PNG等圖形數(shù)據(jù)進(jìn)行解碼，得到非壓縮圖形。圖形存儲(chǔ)器31存儲(chǔ)通過解碼而得到的非壓縮的圖形。 位移部32按照預(yù)先設(shè)定的偏置執(zhí)行平面移位，得到左眼圖形、右眼圖形。該平面移位是在專利文獻(xiàn)I中公開的技術(shù)。在平面移位中，使畫面整體進(jìn)行移位，因而影像內(nèi)的所有對(duì)象的進(jìn)深進(jìn)行相同的變化。其結(jié)果是，影像的立體感不變，看起來呈立體的影像的顯示位置被調(diào)整為看起來好像位于近前位置、或者被調(diào)整為看起來好像位于更里側(cè)位置。合成部33a將從左眼圖像解碼器5輸出的左眼圖像、和位移部32生成的左眼圖形合成。合成部33b將從右眼圖像解碼器6輸出的右眼圖像、和位移部32生成的右眼圖形合成。 音頻解碼器34對(duì)從解復(fù)用器4輸出的音頻幀進(jìn)行解碼，并輸出非壓縮形式的音頻數(shù)據(jù)。根據(jù)上述結(jié)構(gòu)，能夠?qū)⒃谧笱蹐D像、右眼圖像中合成了圖形的合成圖像作為進(jìn)深調(diào)整的對(duì)象。如果該圖形是表示GUI的圖形，則也能夠?qū)UI的進(jìn)深成為合適的進(jìn)深。如上所述，位移部32按照預(yù)先設(shè)定的偏置執(zhí)行平面移位。因此，在本實(shí)施方式中，通過增減該偏置來控制圖形的飛出程度。根據(jù)以上所述的本實(shí)施方式，對(duì)于被合成到圖像中的圖形實(shí)施與顯示裝置的畫面尺寸對(duì)應(yīng)的增減，因而能夠?qū)D像、圖形的飛出量進(jìn)行優(yōu)化。< 備注 >以上對(duì)在遞交本申請(qǐng)時(shí)申請(qǐng)人所知道的最佳的實(shí)施方式進(jìn)行了說明，還能夠?qū)σ韵率境龅募夹g(shù)題目實(shí)施更進(jìn)一步的改進(jìn)或變更。需要注意的是至于按照各個(gè)實(shí)施方式所述進(jìn)行實(shí)施、還是實(shí)施這些改進(jìn)/變更，都依據(jù)于實(shí)施者的主觀想法，是可以任意選擇的。(屬性取得)也可以是，在進(jìn)行設(shè)備協(xié)商時(shí)取得顯示裝置的屬性。(由第3設(shè)備進(jìn)行的進(jìn)深調(diào)整)當(dāng)相互連接的兩臺(tái)設(shè)備均不具有進(jìn)深調(diào)整的情況下，優(yōu)選使第3設(shè)備進(jìn)行進(jìn)深調(diào)整。如果存在該第3設(shè)備的唯一候選，則使該設(shè)備進(jìn)行進(jìn)深調(diào)整。另一方面，如果存在第3設(shè)備的多個(gè)候選，優(yōu)選將這些候選設(shè)備中的任意一臺(tái)設(shè)備選擇為進(jìn)深調(diào)整主體。關(guān)于這種進(jìn)深調(diào)整主體的確定，應(yīng)該考慮往復(fù)時(shí)間來確定。此處的往復(fù)時(shí)間包括將未調(diào)整的圖像數(shù)據(jù)傳輸給作為候選的設(shè)備的時(shí)間、從作為候選的設(shè)備接收已調(diào)整的圖像數(shù)據(jù)的時(shí)間。并且，該往復(fù)時(shí)間還根據(jù)傳輸速率來確定。因此，能夠通過比較該傳輸速率，判定能夠更快速地獲取已調(diào)整圖像數(shù)據(jù)的候選設(shè)備是哪臺(tái)設(shè)備。因此，優(yōu)選通過比較傳輸速率，判定候選設(shè)備中的哪臺(tái)設(shè)備應(yīng)該作為第3設(shè)備。(流供給源的變形)為了實(shí)現(xiàn)立體影像進(jìn)深調(diào)整功能，不需要全部具備網(wǎng)絡(luò)接口 I、可移動(dòng)介質(zhì)、BD -ROM驅(qū)動(dòng)器3、以及多媒體線纜接口 4。如果通過連接至少兩臺(tái)設(shè)備，即可進(jìn)行立體視覺影像的再現(xiàn)和顯示，并能夠從本設(shè)備或者接收側(cè)的設(shè)備取得立體視覺影像的相關(guān)信息，則其中一臺(tái)設(shè)備不一定需要具備全部的網(wǎng)絡(luò)接口 I、可移動(dòng)介質(zhì)、BD - ROM驅(qū)動(dòng)器3、以及多媒體線纜接口 4，也可以構(gòu)成為僅具備上述接口中的必要部分作為用于從外部獲取信息的接口。在本實(shí)施方式中說明了這樣的示例，即包括立體視覺影像在內(nèi)的流數(shù)據(jù)的獲取是通過網(wǎng)絡(luò)接口 I、可移動(dòng)介質(zhì)、盤驅(qū)動(dòng)器2a來獲取的，所獲取的流數(shù)據(jù)的傳輸是通過多媒體線纜接口 4進(jìn)行的，設(shè)備之間的協(xié)商是通過網(wǎng)絡(luò)接口進(jìn)行的，但是不限于這種示例。 例如，在采用多媒體線纜接口 4的設(shè)備之間的連接例如是根據(jù)HDMI連接而實(shí)現(xiàn)的情況下，如果使用HDMI的擴(kuò)展區(qū)域進(jìn)行協(xié)商，則不一定需要采用網(wǎng)絡(luò)接口的連接。例如，大型顯示器400、中型電視機(jī)300或者便攜式終端600不一定需要具備BD —ROM驅(qū)動(dòng)器3。(可移動(dòng)介質(zhì)的變形)可移動(dòng)介質(zhì)是在設(shè)備之間進(jìn)行再現(xiàn)對(duì)象的內(nèi)容傳遞時(shí)使用的一種手段。作為假定的用途情況，例如，假定在利用位于遠(yuǎn)程的安裝了小型顯示器的其它設(shè)備來再現(xiàn)被保存于光盤中的大型顯示器用的內(nèi)容時(shí)，作為立體影像的發(fā)送單元是利用可移動(dòng)介質(zhì)。如果搭載了其它的進(jìn)行立體影像的傳遞的單元，則不一定需要在本裝置中安裝可移動(dòng)介質(zhì)。(接口的變形)在立體影像進(jìn)深的協(xié)商方法采用多媒體線纜接口的情況下，不一定需要安裝本網(wǎng)絡(luò)接口 I。(虛擬文件系統(tǒng)的適用)在實(shí)施方式I中，說明了通過網(wǎng)絡(luò)接口 I、可移動(dòng)介質(zhì)、盤驅(qū)動(dòng)器2a來取得流數(shù)據(jù)或者JPG/PNG等立體視覺影像文件的結(jié)構(gòu)，但是不限于這種結(jié)構(gòu)。例如，在采用未圖示的虛擬文件系統(tǒng)的設(shè)備(例如再現(xiàn)裝置200等)中，也能夠通過虛擬文件系統(tǒng)從可移動(dòng)介質(zhì)或者盤驅(qū)動(dòng)器2a取得流數(shù)據(jù)或者JPG/PNG等立體視覺影像文件等的信息。虛擬文件系統(tǒng)發(fā)揮這樣的作用，將BD - R0M100或者硬盤或者可移動(dòng)介質(zhì)進(jìn)行虛擬組合，使在請(qǐng)求信息的請(qǐng)求源看起來好像被記錄在一個(gè)記錄介質(zhì)中。為了實(shí)現(xiàn)這一目的，例如虛擬文件系統(tǒng)保存在立體視覺影像的相關(guān)數(shù)據(jù)之外的如下數(shù)據(jù)與包括向虛擬文件系統(tǒng)請(qǐng)求的文件路徑在內(nèi)的訪問目的地的數(shù)據(jù)信息、以及表示與該訪問目的地對(duì)應(yīng)的數(shù)據(jù)實(shí)際所在的位置的文件路徑相關(guān)的訪問目的地變換信息。在向虛擬文件系統(tǒng)進(jìn)行訪問請(qǐng)求的情況下，虛擬文件系統(tǒng)參照訪問目的地變換信息，將訪問目的地變換為被請(qǐng)求訪問的數(shù)據(jù)所在的文件路徑，進(jìn)行訪問。由此，例如如果將向虛擬文件系統(tǒng)請(qǐng)求的文件路徑設(shè)為好像位于虛擬設(shè)定的一個(gè)記錄介質(zhì)中的文件路徑，則請(qǐng)求源不需意識(shí)到進(jìn)行訪問請(qǐng)求的數(shù)據(jù)是否位于可移動(dòng)介質(zhì)、盤驅(qū)動(dòng)器等不同的設(shè)備中，即可進(jìn)行訪問請(qǐng)求。
并且，進(jìn)行立體度調(diào)整的功能也可以設(shè)于顯示裝置側(cè)。另外，在本實(shí)施方式中，說明了使用眼鏡來實(shí)現(xiàn)立體視覺的裝置，但也可以適用于不使用眼鏡即可實(shí)現(xiàn)立體視覺的裸眼立體視覺。(進(jìn)深調(diào)整主體的變形)實(shí)施方式I中的進(jìn)深調(diào)整主體的確定僅是一個(gè)示例，如果中型電視機(jī)300或者便攜式終端400的硬件性能比較高，即使在中型電視機(jī)300或者便攜式終端400中進(jìn)行進(jìn)深調(diào)整處理也不會(huì)對(duì)立體視覺影像的顯示帶來不便，則也可以在中型電視機(jī)300或者便攜式終端400中進(jìn)行進(jìn)深調(diào)整處理。(作為便攜式終端的實(shí)施)便攜式終端從立體視覺照片文件中取出壓縮左眼圖像數(shù)據(jù)、壓縮右眼圖像數(shù)據(jù)，以供給再現(xiàn)。此處的立體視覺照片文件有MPO文件。MP0(Multi picture object :多圖像對(duì)象)文件是指能夠利用任天堂株式會(huì)社的3DS、富士膠片的FinePix REAL 3D Wl以及W3 攝像機(jī)進(jìn)行拍攝的文件，包括攝影日期、尺寸、壓縮左眼圖像、壓縮右眼圖像，并且包括作為與攝影地相關(guān)的地理信息的地理緯度、經(jīng)度、海拔、方位、傾斜。壓縮左眼圖像、壓縮右眼圖像是以JPEG格式進(jìn)行壓縮的數(shù)據(jù)。因此，便攜式終端400通過進(jìn)行JPEG格式的數(shù)據(jù)的解壓縮而得到右眼圖像、左眼圖像。(作為BD- ROM再現(xiàn)裝置的實(shí)施)讀出部從記錄介質(zhì)讀出立體視覺交織流文件。讀出部在讀出立體視覺交織流文件時(shí)進(jìn)行如下處理使用3D流信息文件中的片段(clip)基本信息內(nèi)的區(qū)段(extent)開始點(diǎn)信息、和片段從屬信息內(nèi)的區(qū)段開始點(diǎn)信息，將立體視覺交織流文件分割為主TS和輔TS，并存儲(chǔ)在不同的讀緩沖器中。該分割是通過反復(fù)如下兩個(gè)處理來進(jìn)行的按照片段從屬信息中的區(qū)段開始點(diǎn)信息所表示的源包號(hào)碼的包數(shù)量，從立體視覺交織流文件中取出源包并追加在主TS中的處理；按照片段基本信息中的區(qū)段開始點(diǎn)信息所表示的源包號(hào)碼的包數(shù)量，從立體視覺交織流文件中取出源包并追加在輔TS中的處理。左眼圖像解碼器5和右眼圖像解碼器6均具有編碼數(shù)據(jù)緩沖器、解碼數(shù)據(jù)緩沖器，將構(gòu)成從屬視(dependent view)視頻流的視分量預(yù)加載到編碼數(shù)據(jù)緩沖器中，對(duì)期望將位于基本視視頻流內(nèi)的封閉GOP(close GOP)的開頭的解碼器刷新的圖片類型(IDR型)的視分量進(jìn)行解碼。在進(jìn)行該解碼時(shí)，將編碼數(shù)據(jù)緩沖器、解碼數(shù)據(jù)緩沖器全部清空。這樣在對(duì)IDR型的視分量進(jìn)行解碼后，左眼圖像解碼器5和右眼圖像解碼器6對(duì)根據(jù)與該視分量的相關(guān)性被實(shí)施了壓縮編碼的基本視視頻流的后續(xù)的視分量以及從屬視視頻流的視分量進(jìn)行解碼。如果通過解碼得到了有關(guān)該視分量的非壓縮的圖片數(shù)據(jù)，則存儲(chǔ)在解碼數(shù)據(jù)緩沖器中，將該圖片數(shù)據(jù)作為參照?qǐng)D片。左眼圖像解碼器5和右眼圖像解碼器6使用該參照?qǐng)D片，對(duì)基本視視頻流的后續(xù)的視分量以及從屬視視頻流的視分量進(jìn)行運(yùn)動(dòng)補(bǔ)償。如果通過運(yùn)動(dòng)補(bǔ)償?shù)玫搅擞嘘P(guān)基本視視頻流的后續(xù)的視分量以及從屬視視頻流的視分量的非壓縮的圖片數(shù)據(jù)，則將這些圖片數(shù)據(jù)存儲(chǔ)在解碼數(shù)據(jù)緩沖器中并作為參照?qǐng)D片。以上的解碼處理是在各個(gè)訪問單元的解碼時(shí)間戳所表示的解碼開始時(shí)刻到來時(shí)進(jìn)行的。(作為電視廣播接收裝置的結(jié)構(gòu))為了使顯示裝置構(gòu)成為電視廣播接收裝置，需要對(duì)顯示裝置追加服務(wù)受理部、接收部、解復(fù)用部和顯示判定部。服務(wù)受理部管理服務(wù)選擇。具體地講，接收基于來自遙控器信號(hào)的用戶指示或來自應(yīng)用的指示的服務(wù)變更請(qǐng)求，并通知接收部。接收部從天線或線纜接收所選擇的服務(wù)被發(fā)布的傳輸流的載波的頻率中的信號(hào)，并進(jìn)行解調(diào)。并且，將解調(diào)后的TS發(fā)送給解復(fù)用部。接收部包括針對(duì)接收到的廣播波進(jìn)行IQ檢波的調(diào)諧器單元，針對(duì)被實(shí)施了 IQ檢波的廣播波進(jìn)行QPSK解調(diào)、VSB解調(diào)、QAM解調(diào)的解調(diào)部，以及傳輸解碼器。解復(fù)用部從接收到的傳輸流中抽取PSI等系統(tǒng)包，從所抽取的系統(tǒng)包中的一個(gè)系統(tǒng)包即 PMT 包中取得 3D_system_info_descripto;r、3D_se;rvice_info_desc;ripto;r、3D_combi_info_descriptor的各個(gè)描述符,并通知顯示判定部。顯示判定部參照由解復(fù)用部通知的各個(gè)3D_system_info_descriptor、3D_ service_info_descriptor>3D_combi_info_descriptor 來掌握傳輸流的流結(jié)構(gòu)。并且，將在當(dāng)前的顯示模式下應(yīng)該成為解復(fù)用的對(duì)象的TS包的PID通知解復(fù)用部。并且，在立體視覺再現(xiàn)方式是幀互換方式的情況下，顯示判定部參照3D_SyStem_info_descriptor 的 2D_view_flag>3D_service_info_descriptor 的 frame_packing_arrangement_type,通知顯示處理部在2D再現(xiàn)中使用左眼用圖像、右眼用圖像中的哪種圖像、以及視頻流是否是Side — by — Side方式等。顯示判定部參照由解復(fù)用部抽取的3D_system_info_descriptor的3D_playback_type,判定接收到的傳輸流的再現(xiàn)方式。在再現(xiàn)方式是服務(wù)互換方式的情況下，參照3D_system_info_descriptor的2D_independent_flag，判定在2D再現(xiàn)中使用的視頻流和在3D再現(xiàn)中使用的視頻流是否共用。在2D_independent_f lag 的值為 O 的情況下，參照 3D_combi_info_descriptor 來確定流結(jié)構(gòu)。在傳輸流的流結(jié)構(gòu)是2D/L + Rl + R2的情況下，對(duì)2D/L + Rl + R2的流進(jìn)行解碼，得到左眼圖像數(shù)據(jù)、右眼圖像數(shù)據(jù)的組。在傳輸流的流結(jié)構(gòu)是2D/L + R的情況下，對(duì)2D/L + R的流進(jìn)行解碼，得到左眼圖像數(shù)據(jù)、右眼圖像數(shù)據(jù)的組。在2D_independent_flag的值為I的情況下，顯示判定部參照3D_combi_info_descriptor來確定流結(jié)構(gòu)。在傳輸流的流結(jié)構(gòu)是MPEG2 + MVC (Base)+ MVC (Dependent)的情況下，對(duì)MPEG2 + MVC (Base) + MVC (D印endent)的流進(jìn)行解碼，得到左眼圖像數(shù)據(jù)、右眼圖像數(shù)據(jù)的組。在傳輸流的流結(jié)構(gòu)是MPEG2 + AVC + AVC的情況下，對(duì)MPEG2 + AVC + AVC的流進(jìn)行解碼，得到左眼圖像數(shù)據(jù)、右眼圖像數(shù)據(jù)的組。在再現(xiàn)方式是巾貞互換方式的情況下，參照3D_system_info_descriptor的2D_independent_f lag,判定在2D再現(xiàn)中使用的視頻流和在3D再現(xiàn)中使用的視頻流是否共用。在2D_ind印endent_flag的值為O的情況下，對(duì)2D/SBS的流進(jìn)行解碼，得到左眼圖像數(shù)據(jù)、右眼圖像數(shù)據(jù)的組。在2D_independent_flag的值為I的情況下，對(duì)2D + SBS的流進(jìn)行解碼,得到左眼圖像數(shù)據(jù)、右眼圖像數(shù)據(jù)的組。在frame_ppacking_arrangement_type是Side — by —Side方式的情況下，通過對(duì)位于左右的左眼用圖像、右眼用圖像進(jìn)行剪切(cropping)進(jìn)行3D 再現(xiàn)。在 frame_packing_arrangement_tpe 不是 Side — by — Side 方式的情況下，確定為Top Bottom方式，通過對(duì)位于上下的左眼用圖像、右眼用圖像進(jìn)行剪切來進(jìn)行3D再現(xiàn)。按照通過以上的判定而確定出的流結(jié)構(gòu)，對(duì)視頻流進(jìn)行解碼，由此得到左眼圖像數(shù)據(jù)、右眼圖像數(shù)據(jù)。(立體視覺影像內(nèi)容的范圍)
在各個(gè)實(shí)施方式中，作為進(jìn)深調(diào)整的對(duì)象的立體視覺影像內(nèi)容是在光盤、半導(dǎo)體存儲(chǔ)卡等所有封裝介質(zhì)(package media)中記錄的內(nèi)容。關(guān)于本實(shí)施方式的記錄介質(zhì)，以預(yù)先記錄有必要的數(shù)據(jù)的光盤(例如BD - ROM,DVD 一 ROM等已有的能夠讀取的光盤)為例進(jìn)行了說明，但不限于此，例如也可以是包括經(jīng)由廣播或者網(wǎng)絡(luò)而發(fā)布的實(shí)施本發(fā)明所需要的數(shù)據(jù)的立體視覺影像內(nèi)容。也可以利用具有向光盤進(jìn)行寫入的功能的終端裝置(例如可以將上述功能安裝在再現(xiàn)裝置中，也可以是與再現(xiàn)裝置不同的裝置)記錄在能寫入的光盤(例如BD - RE,DVD -RAM等已有的能夠?qū)懭氲墓獗P)中，把該記錄后的光盤的內(nèi)容作為進(jìn)深調(diào)整的對(duì)象，則也能夠?qū)嵤┍景l(fā)明。成為進(jìn)深調(diào)整的對(duì)象的數(shù)據(jù)可以是例如利用電子發(fā)布而記錄在記錄介質(zhì)中的數(shù)據(jù)，例如與記錄在記錄介質(zhì)101中的原始內(nèi)容對(duì)應(yīng)的數(shù)據(jù)(例如，視頻流、音頻流、字幕數(shù)據(jù)、字幕數(shù)據(jù)、背景圖像、GUI、應(yīng)用、應(yīng)用管理表等)的全部或者一部分(例如進(jìn)行再現(xiàn)所需要的數(shù)據(jù)的升級(jí)數(shù)據(jù))，或者將追加內(nèi)容作為發(fā)布數(shù)據(jù)。說明將成為進(jìn)深調(diào)整的對(duì)象的數(shù)據(jù)記錄在作為半導(dǎo)體存儲(chǔ)器的SD存儲(chǔ)卡中的方式。在向被插入到再現(xiàn)裝置具有的插槽中的SD存儲(chǔ)卡記錄發(fā)布數(shù)據(jù)的情況下，首先向存儲(chǔ)發(fā)布數(shù)據(jù)的發(fā)布服務(wù)器(未圖示)請(qǐng)求發(fā)送發(fā)布數(shù)據(jù)。此時(shí)，再現(xiàn)裝置從所插入的SD存儲(chǔ)卡讀出用于唯一識(shí)別SD存儲(chǔ)卡的識(shí)別信息(例如各個(gè)SD存儲(chǔ)卡固有的識(shí)別號(hào)碼，更具體地講，例如SD存儲(chǔ)卡的序列號(hào)等)，將所讀出的識(shí)別信息與發(fā)布請(qǐng)求一起發(fā)送給發(fā)布服務(wù)器。這個(gè)用于唯一識(shí)別SD存儲(chǔ)卡的識(shí)別信息，例如相當(dāng)于上述的卷ID。另一方面，在發(fā)布服務(wù)器中，將待發(fā)布的數(shù)據(jù)中的必要數(shù)據(jù)(例如視頻流、音頻流等)進(jìn)行加密后存儲(chǔ)在服務(wù)器中，以便能夠使用加密解讀所需要的密鑰(例如標(biāo)題密鑰)進(jìn)行加密解除。例如，發(fā)布服務(wù)器構(gòu)成為保存私鑰，并能夠動(dòng)態(tài)地生成針對(duì)半導(dǎo)體存儲(chǔ)卡的固有的各個(gè)識(shí)別號(hào)碼而不同的公鑰信息。并且，發(fā)布服務(wù)器構(gòu)成為能夠?qū)庾x被加密的數(shù)據(jù)所需要的密鑰(標(biāo)題密鑰)本身進(jìn)行加密(即，構(gòu)成為能夠生成加密標(biāo)題密鑰)。所生成的公鑰信息例如包括相當(dāng)于上述的MKB、卷ID和加密標(biāo)題密鑰的信息。關(guān)于被加密的數(shù)據(jù)，例如，如果半導(dǎo)體存儲(chǔ)器固有的識(shí)別號(hào)碼、包含于后面敘述的公鑰信息中的公鑰本身、和在再現(xiàn)裝置中預(yù)先記錄的設(shè)備密鑰的組合正確，則能夠得到加密解讀所需要的密鑰(例如，根據(jù)設(shè)備密鑰、MKB和半導(dǎo)體存儲(chǔ)器固有的識(shí)別號(hào)碼對(duì)加密標(biāo)題密鑰進(jìn)行解密而得到的標(biāo)題密鑰)，使用該得到的加密解讀所需要的密鑰(標(biāo)題密鑰)，能夠解讀被加密的數(shù)據(jù)。然后，再現(xiàn)裝置將接收到的公鑰信息和發(fā)布數(shù)據(jù)記錄在插入到插槽中的半導(dǎo)體存儲(chǔ)卡的記錄區(qū)域中。下面，說明對(duì)記錄在半導(dǎo)體存儲(chǔ)卡的記錄區(qū)域中的公鑰信息、和包含于發(fā)布數(shù)據(jù)中的數(shù)據(jù)中被加密的數(shù)據(jù)進(jìn)行解密并再現(xiàn)的方法的一例。所接收到的公鑰信息記錄有例如公鑰本身(例如上述的MKB和加密標(biāo)題密鑰)、簽名信息、半導(dǎo)體存儲(chǔ)卡的固有的識(shí)別號(hào)碼、和表示應(yīng)該設(shè)為無效的設(shè)備的相關(guān)信息的設(shè)備列表。簽名信息例如包括公鑰信息的散列(hash)值。在設(shè)備列表中記述有例如與有可能進(jìn)行不正當(dāng)再現(xiàn)的裝置相關(guān)的信息。該信息例如是預(yù)先記錄在再現(xiàn)裝置中的設(shè)備密鑰、再現(xiàn)裝置的識(shí)別號(hào)碼、或再現(xiàn)裝置具有的解碼器的識(shí)別號(hào)碼這樣的、唯一地確定有可能進(jìn)行不正當(dāng)再現(xiàn)的裝置、裝置中包含的部件或功能(程序)的信息。說明有關(guān)記錄在半導(dǎo)體存儲(chǔ)卡的記錄區(qū)域中的發(fā)布數(shù)據(jù)中被加密的數(shù)據(jù)的再現(xiàn)。首先，在利用公鑰本身對(duì)被加密的數(shù)據(jù)進(jìn)行解碼之前，進(jìn)行有關(guān)是否使解碼密鑰本身發(fā)揮作用的檢查。具體地講，進(jìn)行以下檢查(I)檢查包含于公鑰信息中的半導(dǎo)體存儲(chǔ)器固有的識(shí)別信息和預(yù)先存儲(chǔ)在半導(dǎo)體存儲(chǔ)卡中的固有的識(shí)別號(hào)碼是否一致 (2)檢查在再現(xiàn)裝置內(nèi)計(jì)算的公鑰信息的散列值和包含于簽名信息中的散列值是
否一致(3)根據(jù)包含于公鑰信息中的設(shè)備列表表示的信息，檢查進(jìn)行再現(xiàn)的再現(xiàn)裝置能否進(jìn)行不正當(dāng)?shù)脑佻F(xiàn)(例如，檢查包含于公鑰信息中的設(shè)備列表表示的設(shè)備密鑰、和預(yù)先存儲(chǔ)在再現(xiàn)裝置中的設(shè)備密鑰是否一致)。進(jìn)行這些檢查的順序可以按照任何順序進(jìn)行。在上述的(I) (3)的檢查中，如果滿足下述的任一情況判定為包含于公鑰信息中的半導(dǎo)體存儲(chǔ)器固有的識(shí)別信息和預(yù)先存儲(chǔ)在半導(dǎo)體存儲(chǔ)器中的固有的識(shí)別號(hào)碼不一致、在再現(xiàn)裝置內(nèi)計(jì)算的公鑰信息的散列值和包含于簽名信息中的散列值不一致、或者進(jìn)行再現(xiàn)的再現(xiàn)裝置有可能進(jìn)行不正當(dāng)?shù)脑佻F(xiàn)，則再現(xiàn)裝置進(jìn)行控制以便不能進(jìn)行被加密的數(shù)據(jù)的解讀。并且，如果判定為包含于公鑰信息中的半導(dǎo)體存儲(chǔ)卡固有的識(shí)別信息和預(yù)先存儲(chǔ)在半導(dǎo)體存儲(chǔ)卡中的固有的識(shí)別號(hào)碼一致、而且在再現(xiàn)裝置內(nèi)計(jì)算的公鑰信息的散列值和包含于簽名信息中的散列值一致、而且進(jìn)行再現(xiàn)的再現(xiàn)裝置不可能進(jìn)行不正當(dāng)?shù)脑佻F(xiàn)，則判定為半導(dǎo)體存儲(chǔ)器固有的識(shí)別號(hào)碼、包含于公鑰信息中的公鑰本身、以及預(yù)先記錄在再現(xiàn)裝置中的設(shè)備密鑰的組合正確，并使用加密解讀所需要的密鑰(根據(jù)設(shè)備密鑰、MKB和半導(dǎo)體存儲(chǔ)器固有的識(shí)別號(hào)碼對(duì)加密標(biāo)題密鑰進(jìn)行解密而得到的標(biāo)題密鑰)，進(jìn)行被加密的數(shù)據(jù)的解讀。例如，在被加密的數(shù)據(jù)是視頻流、音頻流的情況下，視頻解碼器使用上述的加密解讀所需要的密鑰(對(duì)加密標(biāo)題密鑰進(jìn)行解密而得到的標(biāo)題密鑰)，對(duì)視頻流進(jìn)行解密(解碼)，音頻解碼器使用上述的加密解讀所需要的密鑰對(duì)音頻流進(jìn)行解密(解碼)。通過形成這種結(jié)構(gòu)，在進(jìn)行電子發(fā)布時(shí)得知是有可能被不正當(dāng)利用的再現(xiàn)裝置、部件、功能(程序)等的情況下，如果將用于識(shí)別它們的信息示于設(shè)備列表中進(jìn)行發(fā)布，則在再現(xiàn)裝置側(cè)包括播放列表中所示的信息的情況下，將能夠抑制使用公鑰信息(公鑰本身)進(jìn)行的解密，所以即使半導(dǎo)體存儲(chǔ)器固有的識(shí)別號(hào)碼、包含于公鑰信息中的公鑰本身、以及預(yù)先記錄在再現(xiàn)裝置中的設(shè)備密鑰的組合正確，也能夠進(jìn)行控制以便不能進(jìn)行被加密的數(shù)據(jù)的解讀，能夠抑制在不正當(dāng)?shù)难b置上利用發(fā)布數(shù)據(jù)。
并且，優(yōu)選采用將預(yù)先記錄在半導(dǎo)體存儲(chǔ)卡中的半導(dǎo)體存儲(chǔ)卡的固有的識(shí)別符存儲(chǔ)在保密性較高的記錄區(qū)域中的結(jié)構(gòu)。因?yàn)樵陬A(yù)先記錄在半導(dǎo)體存儲(chǔ)卡中的固有的識(shí)別號(hào)碼(例如，以SD存儲(chǔ)卡為例，指SD存儲(chǔ)卡的序列號(hào)等)被進(jìn)行了篡改時(shí)，將容易導(dǎo)致被非法復(fù)制。這是因?yàn)殡m然多個(gè)半導(dǎo)體存儲(chǔ)卡分別被分配了不同的固有的識(shí)別號(hào)碼，但如果進(jìn)行了篡改使該固有的識(shí)別號(hào)碼相同，則上述(I)的判定將沒有意義，有可能導(dǎo)致進(jìn)行相當(dāng)于篡改數(shù)量的非法復(fù)制。因此，優(yōu)選采用將半導(dǎo)體存儲(chǔ)卡的固有的識(shí)別號(hào)碼這樣的信息記錄在保密性較高的記錄區(qū)域中的結(jié)構(gòu)。為了實(shí)現(xiàn)這種結(jié)構(gòu)，例如，半導(dǎo)體存儲(chǔ)卡可以構(gòu)成為將用于記錄半導(dǎo)體存儲(chǔ)卡的固有的識(shí)別符這樣的保密性較高的數(shù)據(jù)的記錄區(qū)域，設(shè)定為與存儲(chǔ)普通數(shù)據(jù)的記錄區(qū)域(稱為第I記錄區(qū)域)不同的記錄區(qū)域(稱為第2記錄區(qū)域)，并設(shè)計(jì)用于進(jìn)行向該第2記錄區(qū)域的訪問的控制電路，并且使向第2記錄區(qū)域的訪問只能通過控制電路進(jìn)行訪問。例如，將記錄于第2記錄區(qū)域中的數(shù)據(jù)進(jìn)行加密、記錄，控制電路例如安裝有對(duì)被加密的數(shù)據(jù)進(jìn)行解密的電路。在進(jìn)行向第2記錄區(qū)域的數(shù)據(jù)訪問的情況下，控制電路可以構(gòu)成為對(duì)加密進(jìn)行解密、并返回解密后的數(shù)據(jù)?；蛘撸刂齐娐房梢詷?gòu)成為保存記錄于第2·記錄區(qū)域中的數(shù)據(jù)的存儲(chǔ)位置的信息，如果有數(shù)據(jù)的訪問請(qǐng)求，則確定對(duì)應(yīng)的數(shù)據(jù)的存儲(chǔ)位置，并返回從所確定的存儲(chǔ)位置讀取到的數(shù)據(jù)。作為在再現(xiàn)裝置上進(jìn)行動(dòng)作的應(yīng)用，請(qǐng)求利用電子發(fā)布來向半導(dǎo)體存儲(chǔ)卡記錄的應(yīng)用，在通過存儲(chǔ)卡I/F向控制電路發(fā)出對(duì)記錄在第2記錄區(qū)域中的數(shù)據(jù)(例如半導(dǎo)體存儲(chǔ)器固有的識(shí)別號(hào)碼)的訪問請(qǐng)求后，接收到請(qǐng)求的控制電路讀出記錄在第2記錄區(qū)域中的數(shù)據(jù)，并返回給在再現(xiàn)裝置上進(jìn)行動(dòng)作的應(yīng)用。也可以構(gòu)成為向發(fā)布服務(wù)器請(qǐng)求和該半導(dǎo)體存儲(chǔ)卡的固有的識(shí)別號(hào)碼一起進(jìn)行的、必要的數(shù)據(jù)的發(fā)布請(qǐng)求，將由發(fā)布服務(wù)器發(fā)送的公鑰信息和對(duì)應(yīng)的發(fā)布數(shù)據(jù)記錄在第I記錄區(qū)域中。并且，作為在再現(xiàn)裝置上進(jìn)行動(dòng)作的應(yīng)用，請(qǐng)求利用電子發(fā)布來向半導(dǎo)體存儲(chǔ)卡記錄的應(yīng)用，在通過存儲(chǔ)卡I/F向控制電路發(fā)出對(duì)記錄在第2記錄區(qū)域中的數(shù)據(jù)(例如半導(dǎo)體存儲(chǔ)器固有的識(shí)別號(hào)碼)的訪問請(qǐng)求之前，優(yōu)選事前檢查應(yīng)用有無被篡改。關(guān)于篡改的檢查，例如可以采取利用了依據(jù)于已有的X. 509標(biāo)準(zhǔn)的數(shù)字證書的檢查等。并且，向記錄在半導(dǎo)體存儲(chǔ)卡的第I記錄區(qū)域中的發(fā)布數(shù)據(jù)的訪問，不一定需要通過半導(dǎo)體存儲(chǔ)卡具有的控制電路進(jìn)行訪問。(集成電路的實(shí)施方式)各實(shí)施方式所示的再現(xiàn)裝置的硬件構(gòu)成中，排除記錄介質(zhì)的驅(qū)動(dòng)器部或與外部的連接器等機(jī)構(gòu)部分，相當(dāng)于邏輯電路或存儲(chǔ)元件的部分，即邏輯電路的核心部分也可以形成為系統(tǒng)LSI。所說系統(tǒng)LSI指在高密度基板上安裝裸芯片并封裝得到的產(chǎn)品。通過在高密度基板上安裝多個(gè)裸芯片并封裝，使多個(gè)裸芯片具有像一個(gè)LSI那樣的外形構(gòu)造的產(chǎn)品，被稱為多芯片模塊，這種產(chǎn)品也包含于系統(tǒng)LSI中。在此如果考察封裝的類型，則系統(tǒng)LSI的種類包括QFP (方形扁平封裝)、PGA (插針網(wǎng)格陣列)。QFP是將插針安裝在封裝體的四個(gè)側(cè)面上的系統(tǒng)LSI。PGA是在整個(gè)底面上安裝多個(gè)插針的系統(tǒng)LSI。這些插針作為電源供給或接地、與其他電路的接口來發(fā)揮作用。系統(tǒng)LSI中的插針具有這種接口的作用，所以通過向系統(tǒng)LSI中的這些插針連接其他電路，系統(tǒng)LSI發(fā)揮作為再現(xiàn)裝置的核心的作用。
(程序的實(shí)施方式)各個(gè)實(shí)施方式所示的程序可以按照下面所述生成。首先，軟件開發(fā)人員使用編程語言記述用于實(shí)現(xiàn)各個(gè)流程圖及功能性構(gòu)成要素的源程序。在進(jìn)行該記述時(shí)，軟件開發(fā)人員按照編程語言的語法，使用類構(gòu)造體及變量、排列變量、外部函數(shù)的調(diào)用，記述具體實(shí)現(xiàn)各個(gè)流程圖及功能性構(gòu)成要素的源程序。所記述的源程序作為文件提供給編譯器(compiler)。編譯器翻譯這些源程序并生成目標(biāo)程序。由編譯器進(jìn)行的翻譯包括語法分析、優(yōu)化、資源分配、代碼生成這些過程。在語法分析中，進(jìn)行源程序的詞法分析、語法分析和意思分析，把源程序轉(zhuǎn)換為中間程序。在優(yōu)化時(shí)，對(duì)中間程序進(jìn)行基本塊化、控制流程分析、數(shù)據(jù)流程分析這些作業(yè)。在資源分配時(shí)，為了實(shí)現(xiàn)與作為目標(biāo)的處理器的命令設(shè)定的適應(yīng)性，把中間程序中的變量分配給作為目標(biāo)的處理器具有的寄存器或存儲(chǔ)器。在代碼生成時(shí)，把中間程序中的各個(gè)中間命令轉(zhuǎn)換為程序碼， 得到目標(biāo)程序。此處生成的目標(biāo)程序由一個(gè)以上的程序碼構(gòu)成，這些程序碼用于使計(jì)算機(jī)執(zhí)行各個(gè)實(shí)施方式所示的流程圖的各個(gè)步驟或功能性構(gòu)成要素的各個(gè)步驟。其中，程序碼有處理器的本機(jī)碼、JAVA字節(jié)碼等各種類型。在利用程序碼實(shí)現(xiàn)各個(gè)步驟時(shí)有各種方式。在能夠使用外部函數(shù)來實(shí)現(xiàn)各個(gè)步驟時(shí)，調(diào)用該外部函數(shù)的調(diào)用語句成為程序碼。并且，像實(shí)現(xiàn)一個(gè)步驟那樣的程序碼有時(shí)也歸屬于各個(gè)不同的目標(biāo)程序。在命令種受限制的RISC處理器中，也可以通過組合算術(shù)運(yùn)算命令及邏輯運(yùn)算命令、分支命令等，實(shí)現(xiàn)流程圖的各個(gè)步驟。在生成目標(biāo)程序后，編程器(piOgrammer)針對(duì)這些目標(biāo)程序起動(dòng)連接器(linker)。連接器把這些目標(biāo)程序和相關(guān)聯(lián)的庫程序分配到存儲(chǔ)器空間中，并將它們結(jié)合成為一個(gè)，生成裝載模塊。這樣生成的裝載模塊是以計(jì)算機(jī)的讀取為前提的，用于使計(jì)算機(jī)執(zhí)行各個(gè)流程圖所示的處理步驟或功能性構(gòu)成要素的處理步驟。也可以把這種程序記錄在非臨時(shí)性的計(jì)算機(jī)可讀的記錄介質(zhì)中提供給用戶。(基于行掃描電路的實(shí)現(xiàn)性)另外，能夠利用行掃描(line scan)電路實(shí)現(xiàn)DIBR。行掃描電路是指以每個(gè)橫向1920像素單位讀出被存儲(chǔ)在幀存儲(chǔ)器中的一個(gè)畫面量的像素(1920X 1080)的集合，并變換為數(shù)字影像信號(hào)的硬件元件。這種行掃描電路能夠利用可以存儲(chǔ)I行的量的像素?cái)?shù)據(jù)的行像素存儲(chǔ)器、濾波器電路、進(jìn)行并行/串行變換的變換電路實(shí)現(xiàn)。如上所述的DIBR是將深度圖像的各個(gè)像素的亮度變換為視差來進(jìn)行像素的位移的處理。如果使從行存儲(chǔ)器中讀出的所有周圍圖像的I行的量的像素的坐標(biāo)橫向移動(dòng)與針對(duì)所有周圍圖像的深度圖像中的對(duì)應(yīng)行的進(jìn)深相對(duì)應(yīng)的像素?cái)?shù)，則能夠生成具有深度圖像中的各行所表示的進(jìn)深的、來自另一個(gè)視點(diǎn)的視點(diǎn)影像。產(chǎn)業(yè)上的可利用性本發(fā)明能夠適用于再現(xiàn)立體視覺影像或者再現(xiàn)從流得到的立體視覺影像的再現(xiàn)裝置、或者顯示立體視覺影像或者顯示從流得到的立體視覺影像的顯示裝置。標(biāo)號(hào)說明I網(wǎng)絡(luò)接口 ； 19設(shè)備間接口 ；18U0檢測模塊；16顯示對(duì)象設(shè)備屬性保存模塊；15內(nèi)容屬性保存模塊；17進(jìn)深調(diào)整判定模塊；23通信信息生成模塊；20解析器；24性能比較模塊；25應(yīng)答信息生成模塊；100影 像再現(xiàn)裝置；200大型電視機(jī)；300中型電視機(jī)；400便攜
式終端。
權(quán)利要求
1.一種影像處理裝置，進(jìn)行兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)的發(fā)送接收，并且調(diào)整由兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)構(gòu)成的立體視覺影像的進(jìn)深，其特征在于， 該影像處理裝置具有 設(shè)備間接口，在進(jìn)行兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)的發(fā)送接收時(shí)，進(jìn)行與作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的裝置之間的連接； 確定單元，通過在作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的裝置與本裝置之間執(zhí)行規(guī)定的通信序列，確定由哪個(gè)裝置調(diào)整立體視覺影像中的進(jìn)深；以及 處理單元，在通過通信序列確定了在本裝置側(cè)進(jìn)行進(jìn)深調(diào)整的情況下，對(duì)從數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)發(fā)送的兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)、或者應(yīng)該發(fā)送給數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)實(shí)施進(jìn)深調(diào)整， 所述進(jìn)深調(diào)整包括這樣的處理，即從其它視點(diǎn)影像數(shù)據(jù)中搜索與構(gòu)成一個(gè)視點(diǎn)影像數(shù)據(jù)的像素組匹配的匹配像素組，并檢測構(gòu)成一個(gè)視點(diǎn)影像數(shù)據(jù)的像素組與構(gòu)成其它視點(diǎn)影像數(shù)據(jù)的像素組之間的視差， 所述通信序列包括 發(fā)送接收階段，在本裝置與數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)之間進(jìn)行表示匹配像素組的搜索性能的性能信息的發(fā)送接收；以及 比較階段，進(jìn)行本裝置的匹配像素組的搜索性能與數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的匹配像素組的搜索性能的比較。
2.根據(jù)權(quán)利要求I所述的影像處理裝置，其特征在于， 所述進(jìn)深調(diào)整包括這樣的處理，即根據(jù)檢測到的視差來生成深度圖像，根據(jù)應(yīng)該顯示兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)的畫面進(jìn)行深度圖像的校正，對(duì)一個(gè)視點(diǎn)影像實(shí)施以被實(shí)施校正后的深度圖像為基礎(chǔ)的基于深度圖像的繪制，由此得到具有被修正后的視差的兩個(gè)以上的視點(diǎn)影像。
3.根據(jù)權(quán)利要求I所述的影像處理裝置，其特征在于， 在由各個(gè)設(shè)備進(jìn)行的進(jìn)深調(diào)整中對(duì)匹配像素組的搜索具有多個(gè)級(jí)別， 第I級(jí)別是對(duì)一個(gè)視點(diǎn)影像進(jìn)行圖像識(shí)別，將通過針對(duì)視點(diǎn)影像數(shù)據(jù)的圖像識(shí)別而得到的對(duì)象作為匹配像素組的級(jí)別， 第2級(jí)別是通過掃描一個(gè)視點(diǎn)影像數(shù)據(jù)來搜索匹配像素組的級(jí)別， 所述性能信息表示由作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的裝置或者本裝置進(jìn)行的匹配像素組搜索為第I級(jí)別、第2級(jí)別中的哪種級(jí)別， 在所述通信序列中的確定階段中，判定在作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的裝置和本裝置中對(duì)匹配像素組的搜索級(jí)別是否相同，如果不同，則將作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的裝置和本裝置中搜索級(jí)別高的一方確定為進(jìn)深調(diào)整主體。
4.根據(jù)權(quán)利要求3所述的影像處理裝置，其特征在于， 由作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的裝置以及本裝置進(jìn)行的進(jìn)深調(diào)整中的匹配像素組搜索的搜索范圍不同， 性能信息使用像素?cái)?shù)來表示由作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的裝置或者本裝置進(jìn)行的匹配像素組搜索的搜索范圍， 在所述通信序列中的確定階段中，如果在作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的裝置和本裝置中對(duì)匹配像素組的搜索級(jí)別相同，則將作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的裝置和本裝置中搜索范圍大的一方確定為進(jìn)深調(diào)整主體。
5.根據(jù)權(quán)利要求4所述的影像處理裝置，其特征在于， 第2級(jí)別包括通過塊匹配來進(jìn)行匹配像素組的搜索的級(jí)別、和通過半全局匹配來進(jìn)行匹配像素組的搜索的級(jí)別， 基于所述半全局匹配的匹配像素組的搜索的級(jí)別高于基于塊匹配的匹配像素組的搜索的級(jí)別。
6.根據(jù)權(quán)利要求I所述的影像處理裝置，其特征在于， 所述影像處理裝置是顯示裝置， 所述作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的裝置是具備立體視覺攝影部的便攜式設(shè)備， 所述兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)是通過立體視覺攝影部得到的左眼照片數(shù)據(jù)、右眼照片數(shù)據(jù)。
7.根據(jù)權(quán)利要求I所述的影像處理裝置，其特征在于， 所述影像處理裝置是顯示裝置， 所述作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的裝置是再現(xiàn)被記錄在記錄介質(zhì)中的立體視覺影像內(nèi)容的再現(xiàn)裝置， 所述兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)是通過由再現(xiàn)裝置再現(xiàn)被記錄在記錄介質(zhì)中的立體視覺影像內(nèi)容而得到的。
8.根據(jù)權(quán)利要求I所述的影像處理裝置，其特征在于， 所述影像處理裝置是再現(xiàn)被記錄在記錄介質(zhì)中的立體視覺影像內(nèi)容的再現(xiàn)裝置， 作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的裝置是顯示裝置， 所述兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)是通過由再現(xiàn)裝置再現(xiàn)被記錄在記錄介質(zhì)中的立體視覺影像內(nèi)容而得到的。
9.一種由兩個(gè)以上的影像處理裝置構(gòu)成的系統(tǒng)，其特征在于， 各個(gè)影像處理裝置發(fā)送接收兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)，并且調(diào)整由兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)構(gòu)成的立體視覺影像的進(jìn)深， 各個(gè)影像處理裝置具有 設(shè)備間接口，在進(jìn)行兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)的發(fā)送接收時(shí)，進(jìn)行與作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的裝置之間的連接； 確定單元，通過在作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的裝置與本裝置之間執(zhí)行規(guī)定的通信序列，確定由哪個(gè)裝置調(diào)整立體視覺影像中的進(jìn)深；以及 處理單元，在通過通信序列確定了在本裝置側(cè)進(jìn)行進(jìn)深調(diào)整的情況下，對(duì)從數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)發(fā)送的兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)、或者應(yīng)該發(fā)送給數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)實(shí)施進(jìn)深調(diào)整， 所述進(jìn)深調(diào)整包括這樣的處理，即從其它視點(diǎn)影像數(shù)據(jù)中搜索與構(gòu)成一個(gè)視點(diǎn)影像數(shù)據(jù)的像素組匹配的匹配像素組，并檢測構(gòu)成一個(gè)視點(diǎn)影像數(shù)據(jù)的像素組與構(gòu)成其它視點(diǎn)影像數(shù)據(jù)的像素組之間的視差， 所述通信序列包括 發(fā)送接收階段，在本裝置與數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)之間進(jìn)行表示匹配像素組的搜索性能的性能信息的發(fā)送接收；以及比較階段，進(jìn)行本裝置的匹配像素組的搜索性能與數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的匹配像素組的搜索性能的比較。
10.一種影像處理方法，進(jìn)行兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)的發(fā)送接收，并且調(diào)整由兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)構(gòu)成的立體視覺影像的進(jìn)深，其特征在于， 該影像處理方法包括 設(shè)備間連接步驟，在進(jìn)行兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)的發(fā)送接收時(shí)，進(jìn)行與作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的設(shè)備之間的連接； 確定步驟，通過在作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的設(shè)備與本設(shè)備之間執(zhí)行規(guī)定的通信序列，確定由哪個(gè)設(shè)備調(diào)整立體視覺影像中的進(jìn)深；以及 處理步驟，在通過通信序列確定了在本設(shè)備側(cè)進(jìn)行進(jìn)深調(diào)整的情況下，對(duì)從數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)發(fā)送的兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)、或者應(yīng)該發(fā)送給數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)實(shí)施進(jìn)深調(diào)整， 所述進(jìn)深調(diào)整包括這樣的處理，即從其它視點(diǎn)影像數(shù)據(jù)中搜索與構(gòu)成一個(gè)視點(diǎn)影像數(shù)據(jù)的像素組匹配的匹配像素組，并檢測構(gòu)成一個(gè)視點(diǎn)影像數(shù)據(jù)的像素組與構(gòu)成其它視點(diǎn)影像數(shù)據(jù)的像素組之間的視差， 所述通信序列包括 發(fā)送接收階段，在本設(shè)備與數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)之間進(jìn)行表示匹配像素組的搜索性能的性能信息的發(fā)送接收；以及 比較階段，進(jìn)行本設(shè)備的匹配像素組的搜索性能與數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的匹配像素組的搜索性能的比較。
11.一種影像處理程序，使設(shè)備內(nèi)置的計(jì)算機(jī)執(zhí)行這樣的處理，即進(jìn)行兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)的發(fā)送接收，并且調(diào)整由兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)構(gòu)成的立體視覺影像的進(jìn)深，其特征在于， 該影像處理程序使計(jì)算機(jī)執(zhí)行以下步驟 設(shè)備間連接步驟，在進(jìn)行兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)的發(fā)送接收時(shí)，進(jìn)行與作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的設(shè)備之間的連接； 確定步驟，通過在作為數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的設(shè)備與本設(shè)備之間執(zhí)行規(guī)定的通信序列，確定由哪個(gè)設(shè)備調(diào)整立體視覺影像中的進(jìn)深；以及 處理步驟，在通過通信序列確定了在本設(shè)備側(cè)進(jìn)行進(jìn)深調(diào)整的情況下，對(duì)從數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)發(fā)送的兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)、或者應(yīng)該發(fā)送給數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)實(shí)施進(jìn)深調(diào)整， 所述進(jìn)深調(diào)整包括這樣的處理，即從其它視點(diǎn)影像數(shù)據(jù)中搜索與構(gòu)成一個(gè)視點(diǎn)影像數(shù)據(jù)的像素組匹配的匹配像素組，并檢測構(gòu)成一個(gè)視點(diǎn)影像數(shù)據(jù)的像素組與構(gòu)成其它視點(diǎn)影像數(shù)據(jù)的像素組之間的視差， 所述通信序列包括 發(fā)送接收階段，在本設(shè)備與數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)之間進(jìn)行表示匹配像素組的搜索性能的性能信息的發(fā)送接收；以及 比較階段，進(jìn)行本設(shè)備的匹配像素組的搜索性能與數(shù)據(jù)發(fā)送接收的對(duì)方側(cè)的匹配像素組的搜索性能的比較。
全文摘要
影像處理裝置是構(gòu)成家庭影院系統(tǒng)的多臺(tái)設(shè)備中的一臺(tái)設(shè)備，在與其它設(shè)備連接時(shí)，進(jìn)深調(diào)整判定模塊(17)判定在再現(xiàn)立體視覺影像時(shí)是否需要兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)的進(jìn)深調(diào)整。在需要進(jìn)深調(diào)整的情況下，性能比較模塊(24)執(zhí)行用于確定由哪臺(tái)設(shè)備進(jìn)行進(jìn)深調(diào)整的通信序列。在根據(jù)通信序列判定為在本裝置側(cè)進(jìn)行進(jìn)深調(diào)整的情況下，由本裝置進(jìn)行進(jìn)深調(diào)整，并將作為調(diào)整結(jié)果的兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)發(fā)送給對(duì)方側(cè)，在判定為在對(duì)方側(cè)進(jìn)行調(diào)整的情況下，不對(duì)兩個(gè)以上的視點(diǎn)影像數(shù)據(jù)進(jìn)行進(jìn)深調(diào)整即原樣發(fā)送給對(duì)方側(cè)。
文檔編號(hào)G09G5/00GK102823264SQ201280000990
公開日2012年12月12日 申請(qǐng)日期2012年3月28日 優(yōu)先權(quán)日2011年3月31日
發(fā)明者山下健, 山地治, 大戶英隆 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社