專利名稱：媒體容器文件的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體涉及多視圖視頻數(shù)據(jù)，具體地，涉及包括這種多視圖視頻數(shù)據(jù)的媒體容器文件。
背景技術(shù)：
運動畫面專家組(MPEG) [1]和電信標(biāo)準(zhǔn)化分部(ITU-T)研究組16(SG16)正在進行的多視圖視頻編碼(MVC)標(biāo)準(zhǔn)化是一種對通過多個攝像機或攝像機陣列產(chǎn)生的視頻序列進行編碼的視頻編碼技術(shù)。MVC以高效的方式利用多個視頻視圖之間的冗余，以提供緊湊的編碼視頻流。MVC基于高級視頻編碼(AVC)標(biāo)準(zhǔn)(也稱為ITU-T H. 264)，因此MVC比特流語法和語義保持與AVC比特流語法和語義相似。IS0/IEC 14496-15[2]是國際標(biāo)準(zhǔn)，被設(shè)計為以靈活和可擴展的格式包含高級視頻編碼(AVC)比特流信息，以便于管理AVC比特流。該標(biāo)準(zhǔn)與MP4文件格式[3]和3GPP文件格式[4]兼容。所有這些標(biāo)準(zhǔn)均是從MPEG定義的ISO基本媒體文件格式[5]中導(dǎo)出的。 MVC視頻流的存儲被稱為MVC文件格式。在MVC文件格式中，文件中的一個或多個視頻軌道表示多視圖視頻流。每個軌道表示流的一個或多個視圖。除了編碼的多視圖視頻數(shù)據(jù)本身，MVC文件格式還包括在處理視頻數(shù)據(jù)時要使用的元數(shù)據(jù)。例如，每個視圖具有相關(guān)聯(lián)的視圖標(biāo)識符，這意味著一個視圖內(nèi)的MVC網(wǎng)絡(luò)抽象層(NAL)單元具有完全相同的視圖標(biāo)識符，即具有在MVC NAL單元首部擴展中的view_id字段的相同值。現(xiàn)今，攝像機參數(shù)存儲在多視圖獲取信息補充增強信息(SEI)消息中，該消息包含在非固有攝像機參數(shù)箱和固有攝像機參數(shù)箱中。這些參數(shù)包括提供攝像機位置和攝像機焦距坐標(biāo)的平移向量。

發(fā)明內(nèi)容
基于現(xiàn)今包括在多視圖獲取信息SEI消息中的信息來確定攝像機和攝像機視圖的關(guān)系和總體部署和布局非常困難，有時甚至是不可能的。本實施例克服了現(xiàn)有技術(shù)配置的這些和其他缺點。本發(fā)明的總體目的是提供包括有價值的攝像機視圖部署信息的媒體容器文件的產(chǎn)生。該目的和其他目的是通過所附專利權(quán)利要求限定的實施例來實現(xiàn)的。簡而言之，實施例涉及通過將表示場景的多個攝像機視圖的編碼的視頻數(shù)據(jù)組織在媒體容器文件的至少一個媒體軌道中，來產(chǎn)生媒體容器文件。指示攝像機視圖的備選預(yù)定部署和位置關(guān)系的多個預(yù)定視圖布置表示可用。選擇與多個攝像機視圖的當(dāng)前陣列相關(guān)的視圖布置表示。將多個攝像機視圖的視圖標(biāo)識符包括在所選視圖布置表示中。相對于所述至少一個媒體軌道，將具有視圖標(biāo)識符的該視圖布置表示相關(guān)聯(lián)地組織在媒體容器文件中。
視圖布置表示提供了直接給出以下直觀理解的高級信息用于記錄多視圖數(shù)據(jù)的攝像機是如何相對于彼此來布置的，并且給出了攝像機部署中的任何模式。實施例還涉及一種用于產(chǎn)生媒體容器文件的設(shè)備和這種媒體容器文件。


結(jié)合附圖，參照以下描述，可以最佳地理解實施例及其其他目的和優(yōu)點，附圖中圖1是根據(jù)實施例的用于產(chǎn)生媒體容器文件的方法的流程圖；圖2是多個攝像機和攝像機視圖的陣列的示意示例；圖3是多個攝像機視圖的陣列的另一示意示例；圖4是媒體容器文件的實施例的示意；圖5是可以包括在圖4的媒體容器文件中的多個視圖布置表示的箱的示意；圖6是示意了圖1中的產(chǎn)生方法的選擇和包括步驟的實施例的流程圖；圖7A和7B示意了共線視圖布置表示的示例；圖8是示意了圖1中的產(chǎn)生方法的選擇和包括步驟的另一實施例的流程圖；圖9A和9B示意了平面視圖布置表示的示例；圖10是示意了圖1中的產(chǎn)生方法的選擇步驟的實施例的流程圖；圖11示意了矩形視圖布置表示的示例；圖12是示意了圖1中的產(chǎn)生方法的選擇步驟的另一實施例的流程圖；圖13A和13B示意了球形視圖布置表示的示例；圖14是示意了圖1中的產(chǎn)生方法的選擇步驟的另一實施例的流程圖；圖15示意了立體視圖布置表示的示例；圖16是示意了圖1中的產(chǎn)生方法的可選的附加步驟的流程圖；圖17示意了可以包括在圖4的媒體容器文件中的、重疊攝像機視圖的表示的示例；圖18是根據(jù)實施例的容器文件產(chǎn)生設(shè)備的示意框圖；圖19是可以實現(xiàn)實施例的通信系統(tǒng)的示例的概述；以及圖20示意性示出了重疊的攝像機視圖。
具體實施例方式貫穿附圖，相同的參考字符用于相應(yīng)或相似的元件。本實施例涉及多視圖視頻數(shù)據(jù)以及包括編碼的多視圖視頻數(shù)據(jù)的媒體容器文件。多視圖媒體數(shù)據(jù)意味著內(nèi)容的多個攝像機視圖可用，其中，每個這種攝像機視圖產(chǎn)生表示內(nèi)容但來自多個可用攝像機視圖之一的視頻數(shù)據(jù)。在多視圖視頻中，相對于要記錄的場景，提供了多個攝像機或其他媒體記錄/創(chuàng)建設(shè)備或多個這種攝像機的陣列。由于攝像機具有相對于場景的不同位置和/或不同指向和/或焦距，因此它們提供了內(nèi)容的備選視圖。圖2示意性示出了這種概念，其中，多個攝像機12-18的陣列10位于場景5附近， 場景5例如是要由不同攝像機12-18來記錄足球比賽的足球場。該圖還指示了攝像機12-18 的相應(yīng)攝像機視圖22-28。在該示意示例中，攝像機12-18位于沿足球場長度方向的不同位置，因此記錄場地的不同位置。這意味著攝像機12-18捕捉從其相應(yīng)攝像機視圖22-28看見的媒體內(nèi)容的不同版本。如本領(lǐng)域公知的，視頻數(shù)據(jù)編碼典型地基于相對像素預(yù)測，如在H. 261、H. 263、 MPEG-4和H. 264中。在H. 264中，利用了 3種像素預(yù)測方法，即幀內(nèi)、幀間和雙向預(yù)測。幀內(nèi)預(yù)測提供了根據(jù)當(dāng)前幀的先前解碼像素對當(dāng)前像素塊的空間預(yù)測。幀間預(yù)測使用先前解碼幀中對應(yīng)但是移位的像素塊來給出當(dāng)前像素塊的時間預(yù)測。雙向預(yù)測給出了兩個幀間預(yù)測的加權(quán)平均。因此，幀內(nèi)編碼幀不依賴于視頻流中的任何先前幀，而幀間編碼幀(包括具有雙向預(yù)測的幀間編碼幀)使用來自視頻流中的一個或多個其他參考幀的運動補償。多視圖視頻編碼不僅允許來自單一攝像機視圖的幀之間的預(yù)測，還允許視圖間的預(yù)測，從而使得這種基于預(yù)測的編碼更進一步。因此，與要編碼的當(dāng)前幀相比，參考幀可以是相同相對時刻但屬于另一攝像機視圖的幀。視圖間和視圖內(nèi)預(yù)測的組合也是可能的，從而具有來自不同攝像機視圖的多個參考幀。在本領(lǐng)域中，如MVC標(biāo)準(zhǔn)草案[6]中公開的，在MVC文件格式中，僅包括與相對于所記錄場景的攝像機位置相關(guān)聯(lián)的非常有限量的信息?；旧?，現(xiàn)有技術(shù)的信息限于攝像機焦距的平移向量和坐標(biāo)。然而，該信息本身不能提供與例如如何全局地組織攝像機視圖、 哪些攝像機視圖彼此相鄰或?qū)嶋H上可能重疊相關(guān)的任何直觀指示。明顯不同地，必須從攝像機視圖的媒體容器文件中的相應(yīng)存儲位置取得每個攝像機的向量和坐標(biāo)信息。以計算上較為復(fù)雜的算法來處理所取得的數(shù)據(jù)，以確定任何全局和局部攝像機視圖相互關(guān)系。例如， 基于向量和坐標(biāo)來決定將攝像機組織在平面上還是球形表面上的柵格中是非常困難的，有時甚至是不可能的。實施例通過提供可以直接從媒體容器文件取得而無需任何復(fù)雜計算的視圖布置表示的顯式信息，來解決現(xiàn)有技術(shù)中的這些限制。圖1是示意了根據(jù)實施例的用于產(chǎn)生媒體容器文件的方法的流程圖。該方法從步驟Sl開始，在步驟S 1，提供表示視頻內(nèi)容的多個攝像機視圖的編碼的視頻數(shù)據(jù)。步驟Si的多視圖視頻數(shù)據(jù)的提供可以通過從可訪問媒體存儲器中取得視頻數(shù)據(jù)來實現(xiàn)，其中，先前已經(jīng)將視頻數(shù)據(jù)輸入該可訪問媒體存儲器。備選地，視頻數(shù)據(jù)是從某個其他外部單元接收的，在該外部單元中存儲、記錄或產(chǎn)生該視頻數(shù)據(jù)。另一種可能性是實際創(chuàng)建和編碼視頻數(shù)據(jù)，如記錄視頻序列或合成地產(chǎn)生視頻數(shù)據(jù)。在下一步驟S2中，將所提供的編碼的多視圖視頻數(shù)據(jù)組織為媒體容器文件的至少一個媒體軌道。例如，媒體容器文件可以是所謂MVC文件或優(yōu)選地基于ISO基本媒體文件格式的某種其他文件格式。媒體容器文件可以被認(rèn)為是媒體服務(wù)器在媒體會話期間用于提供視頻內(nèi)容和將視頻數(shù)據(jù)形成為可傳輸數(shù)據(jù)分組的完整輸入包。因此，除了視頻內(nèi)容本身之外，容器文件優(yōu)選地包括媒體服務(wù)器執(zhí)行處理并允許在媒體會話期間傳輸視頻內(nèi)容所需的信息和指令。在實施例中，每個攝像機視圖具有媒體容器文件中單獨分配的媒體軌道，從而提供了多個攝像機視圖與多個媒體軌道之間的一對一關(guān)系。備選地，至少兩個(可能全部) 攝像機視圖的編碼的視頻數(shù)據(jù)可以裝入媒體容器文件的單一媒體軌道。圖4示意性示出了具有承載編碼的多視圖視頻數(shù)據(jù)的一個或多個媒體軌道32的媒體容器文件30的示例。多個攝像機視圖的相應(yīng)媒體數(shù)據(jù)，不論被組織為一個還是多個媒體軌道，優(yōu)選地都分配有與攝像機視圖相關(guān)聯(lián)的相應(yīng)視圖標(biāo)識符。
產(chǎn)生方法的下一步驟S3基于多個攝像機視圖的相對位置，來選擇多視圖視頻數(shù)據(jù)的視圖布置表示。此外，該視圖布置表示是從多個預(yù)定視圖布置表示中選擇的。這些視圖布置表示指示多個攝像機視圖的不同預(yù)定部署和位置關(guān)系。視圖布置表示可以被認(rèn)為是相對于所記錄場景的多個攝像機和攝像機視圖的特定總體部署的標(biāo)識符。因此，視圖布置表示直接提供了如何組織多個攝像機視圖的信息，不需要攝像機向量和坐標(biāo)的任何處理以確定當(dāng)前攝像機視圖部署。步驟S3從多個預(yù)定視圖布置表示的集合中選擇視圖布置。這意味著，存在有限數(shù)目的、預(yù)先指定和允許的部署，在這些部署中，可以關(guān)于要以多視圖設(shè)置進行記錄的場景或?qū)ο髞斫M織攝像機。這些預(yù)定視圖布置表示與在多視頻記錄中使用的最常用攝像機部署規(guī)劃相對應(yīng)。這種可以使用的預(yù)定視圖布置表示的示例包括共線視圖布置表示、平面視圖布置表示、矩形視圖陣列表示、球形視圖陣列布置表示和立體視圖對布置表示。因此，多個預(yù)定視圖布置表示的集合可以包括所有上述視圖布置表示或其子集，只要集合中存在多個 (即至少兩個)預(yù)定視圖布置表示。本實施例不限于這些特定視圖布置表示，而是可以備選地或附加地使用具有除了直線、平面、矩形格柵、球形或立體視圖對之外的不同攝像機視圖部署的其他視圖布置表示。步驟S3的選擇可以通過選擇單一視圖布置表示來執(zhí)行。備選地，實際上可以將多個預(yù)定視圖布置表示的子集應(yīng)用至當(dāng)前攝像機視圖布置，因此可以在步驟S3中選擇多個預(yù)定視圖布置表示的子集。例如，根據(jù)矩形視圖陣列布置表示的定義而部署的攝像機視圖也可以以平面來部署，從而也可以選擇平面視圖布置表示。在步驟S4中，將多個攝像機視圖的視圖標(biāo)識符包括在所選的視圖布置表示中。因此，這些視圖標(biāo)識符指定了根據(jù)所選視圖布置表示所指示的部署規(guī)劃，相對于所記錄場景來部署哪些視圖攝像機。優(yōu)選地，按照所選視圖布置表示所定義的部署和位置關(guān)系中對攝像機視圖的相對位置順序進行描述的順序，將視圖標(biāo)識符包括在視圖布置表示中。因此，優(yōu)選地，按照視圖布置表示所定義的部署規(guī)劃中攝像機視圖相對于場景的位置順序，將攝像機視圖的視圖標(biāo)識符包括在視圖布置中。在步驟S5，相對于步驟S2中組織為文件的至少一個媒體軌道，將包括有視圖標(biāo)識符的所選視圖布置相關(guān)聯(lián)地組織在媒體容器文件中。相關(guān)聯(lián)地組織意味著將視圖布置表示包括在媒體容器文件中，以便提供視圖布置表示與視圖布置表示所應(yīng)用至的攝像機視圖之間的關(guān)聯(lián)。相應(yīng)地，這種關(guān)聯(lián)可以取而代之地是視圖布置表示與組織為至少一個媒體軌道的編碼的多視圖數(shù)據(jù)之間的關(guān)聯(lián)。關(guān)聯(lián)可以具有從媒體容器文件內(nèi)視頻數(shù)據(jù)的存儲位置至視圖布置表示的存儲位置(或者反之)的指針的形式。因此，給定特定視頻數(shù)據(jù)或其在媒體容器文件內(nèi)的位置，該指針或元數(shù)據(jù)實現(xiàn)了對相關(guān)聯(lián)視圖布置表示或視圖布置表示在文件內(nèi)的存儲位置的標(biāo)識。 取代采用指針，元數(shù)據(jù)可以包括視頻數(shù)據(jù)的視頻數(shù)據(jù)標(biāo)識符或承載多視圖視頻數(shù)據(jù)的媒體軌道的軌道標(biāo)識符。其他示例包括視圖布置表示中包括的視圖標(biāo)識符，允許標(biāo)識攝像機視圖，從而允許標(biāo)識視圖布置表示所應(yīng)用至的視頻數(shù)據(jù)和媒體軌道。然后，該方法結(jié)束。產(chǎn)生方法的操作步驟可以如圖1所示按順序依次執(zhí)行。備選地，步驟S3至S5可以在步驟Sl和S2之前或?qū)嶋H上與步驟Sl和S2并行執(zhí)行。
圖4示意性示出了媒體容器文件30的實施例。媒體容器文件30包括承載編碼的多視圖視頻數(shù)據(jù)的一個或多個媒體軌道32。包括攝像機視圖的視圖標(biāo)識符36在內(nèi)的所選視圖布置表示34也被組織為媒體容器文件30中的元數(shù)據(jù)。圖5示意了如何將視圖布置表示組織在媒體容器文件中的示例。在所示示例中， 媒體容器文件包括表示為全局補充視圖位置箱38的箱。箱38記錄常用的攝像機位置。當(dāng)攝像機和攝像機視圖以直觀上簡單的模式(從攝像機位置坐標(biāo)中提取可能較為復(fù)雜)來定向時，這是尤其有用的。內(nèi)容創(chuàng)建者可以使用該箱來突出他或她選擇的攝像機之間的有用關(guān)系。圖5的全局補充視圖位置箱38示意了根據(jù)實施例的多個預(yù)定視圖布置表示34A 至34E。因此，箱38包括共線視圖箱34A、平面視圖箱34B、矩形視圖箱34C、球形視圖箱34D 和立體視圖箱34E。注意，在最實際的實現(xiàn)中，全局補充視圖位置箱38中實際上僅包括視圖布置表示34A至34E之一或子集，因為該視圖布置表示或視圖布置表示子集是針對當(dāng)前攝像機視圖布置而選擇的。在媒體容器文件中提供全局補充視圖位置箱38的非限制性示例可以是箱類型‘gsvp，容器電影箱(‘moov，)強制否數(shù)量精確為1個
aligned(8) class GlobalSupplementary ViewPositionBox extends FullboxCgsvp，’ version = 0, 0) { Inline ViewBoxQ;//可選
PlaneViewBoxO ；"可選
Rectangular ViewBoxQ ； //可選 Sphere ViewBoxQ;// 可選
StereoViewBox() ；//可選
}針對箱類型“gsvp”可用的視圖箱34A至34E是可選的，這意味著，針對給定攝像機視圖布置，不是所有視圖箱都必須包括在媒體容器文件中。在圖5中，箱38被示意為針對每個視圖布置表示類型，具有至多一個箱34A至34E。然而，對于一些攝像機陣列，可以有利地包括給定類型的多個視圖布置表示，如多個共線視圖布置表示34A和/或多個立體視圖布置表示34E。圖6是示意了圖1中的產(chǎn)生方法的選擇步驟S3和包括步驟S4的實施例的流程圖。 該方法從圖1的步驟S2繼續(xù)進行。下一步驟SlO基于多個攝像機視圖或多個攝像機的相對位置，選擇共線視圖布置表示。例如，參照圖2，攝像機視圖22-28均沿直線布置，針對該攝像機視圖部署，應(yīng)當(dāng)選擇共線視圖布置表示。圖3示意了另一組攝像機視圖。在這種情況下，如果攝像機視圖的最小數(shù)目為3，則針對具有16個攝像機視圖22A至28D的陣列，實際上存在共線視圖布置表示的34種可
能條目
22A，22B，22C，22D24A，24B，24C，24D26A，26B，26C，26D
28A，28B，28C，28D22A，24A，26A，28A22B，24B，26B，28B
22C，24C，26C，28C22D，24D，26D，28D22A，24B，26C，28D
28A，26B，24C，22D24A，26B，28C22A，24B，26C
24B，26C，28D22B，24C，26D26A，24B，22C
28A，26B，24C26B，24C，22D28B，26C，24D
22A，22B，22C22B，22C，22D24A，24B，24C
24B，24C，24D26A，26B，26C26B，26C，26D
28A，28B，28C28B，28C，28D22A，24A，26A
24A,26A,28A22B，24B，26B24B，26B，28B
22C，24C，26C24C，26C，28C22D，24D，26D
24D，26D，28D
在優(yōu)選實施例中，攝像機視圖的數(shù)目被認(rèn)為是沿直線至少3個，與上述實施例中一樣。
可選的下一步驟Sll選擇第一共線版本和第二共線版本中的共線版本。這些多個
共線版本定義了對沿直線部署的優(yōu)選地至少3個攝像機視圖的視圖標(biāo)識符進行組織的不同方式。步驟Sll中對共線版本的選擇是基于多個攝像機視圖的相對位置來執(zhí)行的。如果在步驟Sll中選擇第一共線版本VI，則方法繼續(xù)至步驟S12。步驟S12將沿直線部署的攝像機視圖的所有視圖標(biāo)識符包括在共線視圖布置表示中。因此，按照攝像機視圖沿直線部署的正確順序提供攝像機視圖。例如，如果22A至28D表示攝像機視圖的視圖標(biāo)識符，則為圖 3 中的 22A、24B、26C、28D。然而，如果在步驟Sll中選擇第二共線版本V0，則步驟S13將起始視圖標(biāo)識符和可選的標(biāo)識符增量包括在共線視圖布置表示中。在視圖標(biāo)識符的總比特大小方面，這種表示視圖標(biāo)識符的方式更加高效。然而，第二共線版本僅在以如下方式來組織攝像機視圖的情況下可用攝像機視圖的視圖標(biāo)識符為start_view_id，start_view_id+id_increment, start_view_id+2 X id_increment, start_view_id+3 X id_increment,…，其中 start_ view_id是對齊的攝像機視圖序列中具有最低視圖標(biāo)識符的攝像機視圖的視圖標(biāo)識符，id_ increment是標(biāo)識符增量。在一些應(yīng)用中，標(biāo)識符增量可以具有預(yù)定值，如1，從而不需要在共線視圖箱中指定任何標(biāo)識符增量。然后，該方法繼續(xù)至圖1的步驟S5。圖7A示意了在圖6的步驟Sll中選擇第一共線版本的情況下，共線視圖箱34A的第一示例。共線視圖箱34A包括版本標(biāo)識符31，版本標(biāo)識符31具有與第一共線版本相關(guān)聯(lián)的值。共線視圖箱34A中還包括對齊的攝像機視圖的視圖標(biāo)識符36A。圖7B示意了在圖6的步驟Sll中代之以選擇第二共線版本的情況下，對應(yīng)的共線視圖箱34A。共線視圖箱34A包括共線版本標(biāo)識符31、起始視圖標(biāo)識符36B和可選的上述標(biāo)識符增量36C。起始視圖標(biāo)識符36B和標(biāo)識符增量36C是對齊的攝像機視圖的視圖標(biāo)識符的表示，可以用于根據(jù)view_idk = start_view_id+kX id_increment來計算攝像機視圖，其中k = 0，1，2，. . .，view_count-l, view_count是指定了連續(xù)對齊的攝像機視圖的數(shù)目的整數(shù)。盡管在圖7A和7B中未示出，但是共線視圖箱34A還可以包括VieW_COimt，即沿直線對齊的攝像機視圖的總數(shù)。但是這不是必須的，因為箱/完整箱結(jié)構(gòu)中包含的大小字段給出了關(guān)于箱中有多少視圖條目的指示?？偸强梢詫⒃摯笮〕悦總€視圖占用的比特數(shù)來獲得視圖總數(shù)。共線視圖箱34A可以定義為箱類型‘ilvi，容器全局補充視圖位置箱(‘gsvp’ )強制否數(shù)量0或更多
aligned(8) class Inline ViewBox extends Fullbox('ilviversion，0) { if (version == 1) { for (i=0; ； /+ +； { //至箱結(jié)尾語義version是指定共線視圖箱的共線版本的整數(shù)。View_id是文獻[6]中的Viewldentifier箱中指示的攝像機視圖的標(biāo)識符。start_view_id是ViewIdentifierBox中指示的攝像機視圖的視圖標(biāo)識符，是對齊的攝像機視圖序列中最低的View_id。view_count是對連續(xù)對齊的攝像機視圖的數(shù)目進行計數(shù)的整數(shù)。id_increment 是標(biāo)識符增量。注意，如上所述并結(jié)合圖3討論的，單一攝像機視圖布置可以包括多個共線視圖箱。
權(quán)利要求
1.一種用于產(chǎn)生媒體容器文件的方法，包括以下步驟_將表示視頻內(nèi)容的多個攝像機視圖的編碼的視頻數(shù)據(jù)組織在所述媒體容器文件的至少一個媒體軌道中；_基于所述多個攝像機視圖的相對位置，從多個預(yù)定視圖布置表示中選擇視圖布置表示，其中，所述多個預(yù)定視圖布置表示指示所述多個攝像機視圖的不同預(yù)定部署和位置關(guān)系；-將所述多個攝像機視圖的視圖標(biāo)識符包括在所選的視圖布置表示中；以及-相對于所述至少一個媒體軌道，將所選的視圖布置表示相關(guān)聯(lián)地組織在所述媒體容器文件中。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述包括步驟包括按照所選的視圖布置表示所定義的預(yù)定部署和位置關(guān)系中描述所述多個攝像機視圖的相對位置順序的順序，來包括所述視圖標(biāo)識符。
3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述選擇步驟包括基于所述多個攝像機視圖的所述相對位置，從共線視圖布置表示、平面視圖布置表示、矩形視圖陣列布置表示、球形視圖陣列布置表示和立體視圖對布置表示中選擇視圖布置表示。
4.根據(jù)權(quán)利要求1至3中任一項所述的方法，其中，所述選擇步驟包括基于所述多個攝像機視圖的所述相對位置，選擇共線視圖布置表示，所述方法還包括基于所述多個攝像機視圖的所述相對位置，在第一共線版本和第二共線版本之間進行選擇，其中，所述包括步驟包括如果選擇所述第一共線版本，則包括所述視圖標(biāo)識符；如果選擇所述第二共線版本，則包括從所述視圖標(biāo)識符中選擇的起始視圖標(biāo)識符和適用于所述起始視圖標(biāo)識符的標(biāo)識符增量，以獲得所述多個攝像機視圖的至少一部分的視圖標(biāo)識符。
5.根據(jù)權(quán)利要求1至4中任一項所述的方法，其中，所述選擇步驟包括基于所述多個攝像機視圖的所述相對位置，選擇平面視圖布置表示，所述方法還包括基于所述多個攝像機視圖的所述相對位置，在第一平面版本和第二平面版本之間進行選擇，其中，所述包括步驟包括如果選擇所述第一平面版本，則包括所述視圖標(biāo)識符；如果選擇所述第二平面版本，則包括從所述視圖標(biāo)識符中選擇的起始視圖標(biāo)識符和適用于所述起始視圖標(biāo)識符的標(biāo)識符增量，以獲得所述多個攝像機視圖的至少一部分的視圖標(biāo)識符。
6.根據(jù)權(quán)利要求1至5中任一項所述的方法，其中，所述選擇步驟包括基于所述多個攝像機視圖的所述相對位置，選擇矩形視圖陣列布置表示，所述方法還包括_將所述多個攝像機視圖的矩形攝像機視圖陣列的行數(shù)的表示和列數(shù)的表示包括在所述矩形視圖陣列布置表示中；以及-將所述矩形攝像機視圖陣列中連續(xù)行之間的距離的表示和連續(xù)列之間的距離的表示包括在所述矩形視圖陣列布置表示中。
7.根據(jù)權(quán)利要求1至6中任一項所述的方法，其中，所述選擇步驟包括基于所述多個攝像機視圖的所述相對位置，選擇球形視圖陣列布置表示，所述方法還包括將包括所述多個攝像機視圖的球形攝像機視圖陣列的半徑的表示和中心坐標(biāo)的表示包括在所述球形視圖陣列布置表示中。
8.根據(jù)權(quán)利要求1至7中任一項所述的方法，其中，所述選擇步驟包括基于所述多個攝像機視圖的所述相對位置，選擇立體視圖對布置表示，所述包括步驟包括將所述多個攝像機視圖的左眼攝像機視圖的視圖標(biāo)識符和右眼攝像機視圖的視圖標(biāo)識符包括在所述立體視圖對布置表示中。
9.根據(jù)權(quán)利要求1至8中任一項所述的方法，還包括相對于所述至少一個媒體軌道， 將所述多個攝像機視圖中的重疊攝像機視圖的表示相關(guān)聯(lián)地組織在所述媒體容器文件中。
10.根據(jù)權(quán)利要求9所述的方法，還包括-將所述多個攝像機視圖中的基本攝像機視圖的視圖標(biāo)識符包括在所述重疊攝像機視圖的表示中；以及-將所述多個攝像機視圖中與所述基本攝像機視圖重疊的任何攝像機視圖的任何視圖標(biāo)識符包括在所述重疊攝像機視圖的表示中。
11.根據(jù)權(quán)利要求10所述的方法，還包括-將所述基本攝像機視圖和與所述基本攝像機視圖重疊的所述任何攝像機視圖之間的偏移的信息包括在所述重疊攝像機視圖的表示中；以及-將所述基本攝像機視圖和與所述基本攝像機視圖重疊的所述任何攝像機視圖的重疊區(qū)域的大小的信息包括在所述重疊攝像機視圖的表示中。
12.一種用于產(chǎn)生媒體容器文件的設(shè)備，包括-軌道組織器，將表示視頻內(nèi)容的多個攝像機視圖的編碼的視頻數(shù)據(jù)組織在所述媒體容器文件的至少一個媒體軌道中；-表示選擇器，基于所述多個攝像機視圖的相對位置，從多個預(yù)定視圖布置表示中選擇視圖布置表示，其中，所述多個預(yù)定視圖布置表示指示所述多個攝像機視圖的不同預(yù)定部署和位置關(guān)系；-標(biāo)識符選擇器，將所述多個攝像機視圖的視圖標(biāo)識符包括在所述表示選擇器選擇的所述視圖布置表示中；以及-表示組織器，相對于所述至少一個媒體軌道，將所述表示選擇器選擇的所述視圖布置表示相關(guān)聯(lián)地組織在所述媒體容器文件中。
13.根據(jù)權(quán)利要求12所述的設(shè)備，其中，所述標(biāo)識符處理器適于按照所述表示選擇器選擇的所述視圖布置表示所定義的預(yù)定部署和位置關(guān)系中描述所述多個攝像機視圖的相對位置順序的順序，來包括所述視圖標(biāo)識符。
14.根據(jù)權(quán)利要求12或13所述的設(shè)備，其中，所述表示選擇器適于基于所述多個攝像機視圖的所述相對位置，從共線視圖布置表示、平面視圖布置表示、矩形視圖陣列布置表示、球形視圖陣列布置表示和立體視圖對布置表示中選擇視圖布置表示。
15.根據(jù)權(quán)利要求12至14中任一項所述的設(shè)備，其中，所述表示選擇器適于基于所述多個攝像機視圖的所述相對位置，選擇共線視圖布置表示，所述設(shè)備還包括版本處理器，基于所述多個攝像機視圖的所述相對位置，將第一共線版本或第二共線版本的版本標(biāo)識符包括在所述共線視圖布置表示中，其中，所述標(biāo)識符處理器適于如果所述版本處理器包括所述第一共線版本的版本標(biāo)識符，則包括所述視圖標(biāo)識符；如果所述版本處理器包括所述第二共線版本的版本標(biāo)識符，則包括從所述視圖標(biāo)識符中選擇的起始視圖標(biāo)識符和適用于所述起始視圖標(biāo)識符的標(biāo)識符增量，以獲得所述多個攝像機視圖的至少一部分的視圖標(biāo)識符。
16.根據(jù)權(quán)利要求12至15中任一項所述的設(shè)備，其中，所述表示選擇器適于基于所述多個攝像機視圖的所述相對位置，選擇平面視圖布置表示，所述設(shè)備還包括版本處理器，基于所述多個攝像機視圖的所述相對位置，將第一平面版本或第二平面版本的版本標(biāo)識符包括在所述平面視圖布置表示中，其中，所述標(biāo)識符處理器適于如果所述版本處理器包括所述第一平面版本的版本標(biāo)識符，則包括所述視圖標(biāo)識符；如果所述版本處理器包括所述第二平面版本的版本標(biāo)識符，則包括從所述視圖標(biāo)識符中選擇的起始視圖標(biāo)識符和適用于所述起始視圖標(biāo)識符的標(biāo)識符增量，以獲得所述多個攝像機視圖的至少一部分的視圖標(biāo)識符。
17.根據(jù)權(quán)利要求12至16中任一項所述的設(shè)備，其中，所述表示選擇器適于基于所述多個攝像機視圖的所述相對位置，選擇矩形視圖陣列布置表示，所述設(shè)備還包括-數(shù)目處理器，將所述多個攝像機視圖的矩形攝像機視圖陣列的行數(shù)的表示和列數(shù)的表示包括在所述矩形視圖陣列布置表示中；以及-距離處理器，將所述矩形攝像機視圖陣列中連續(xù)行之間的距離的表示和連續(xù)列之間的距離的表示包括在所述矩形視圖陣列布置表示中。
18.根據(jù)權(quán)利要求12至17中任一項所述的設(shè)備，其中，所述表示選擇器適于基于所述多個攝像機視圖的所述相對位置，選擇球形視圖陣列布置表示，所述設(shè)備還包括球形處理器，將包括所述多個攝像機視圖的球形攝像機視圖陣列的半徑的表示和中心坐標(biāo)的表示包括在所述球形視圖陣列布置表示中。
19.根據(jù)權(quán)利要求12至18中任一項所述的設(shè)備，其中，所述表示選擇器適于基于所述多個攝像機視圖的所述相對位置，選擇立體視圖對布置表示，所述標(biāo)識符處理器適于將所述多個攝像機視圖的左眼攝像機視圖的視圖標(biāo)識符和右眼攝像機視圖的視圖標(biāo)識符包括在所述立體視圖對布置表示中。
20.根據(jù)權(quán)利要求12至19中任一項所述的設(shè)備，還包括視圖組織器，相對于所述至少一個媒體軌道，將所述多個攝像機視圖中的重疊攝像機視圖的表示相關(guān)聯(lián)地組織在所述媒體容器文件中。
21.根據(jù)權(quán)利要求20所述的設(shè)備，還包括視圖處理器，將所述多個攝像機視圖中的基本攝像機視圖的視圖標(biāo)識符包括在所述重疊攝像機視圖的表示中，并將所述多個攝像機視圖中與所述基本攝像機視圖重疊的任何攝像機視圖的任何視圖標(biāo)識符包括在所述重疊攝像機視圖的表示中。
22.根據(jù)權(quán)利要求21所述的設(shè)備，還包括-偏移處理器，將所述基本攝像機視圖和與所述基本攝像機視圖重疊的所述任何攝像機視圖之間的偏移的信息包括在所述重疊攝像機視圖的表示中；以及-大小處理器，將所述基本攝像機視圖和與所述基本攝像機視圖重疊的所述任何攝像機視圖的重疊區(qū)域的大小的信息包括在所述重疊攝像機視圖的表示中。
23.一種媒體容器文件，包括-至少一個媒體軌道，包括表示視頻內(nèi)容的多個攝像機視圖的編碼的視頻數(shù)據(jù)；-視圖布置表示，相對于所述至少一個媒體軌道相關(guān)聯(lián)地組織在所述媒體容器文件中， 并指示所述多個攝像機視圖的預(yù)定部署和位置關(guān)系；以及-所述多個攝像機視圖的視圖標(biāo)識符，包括在所述視圖布置表示中。
全文摘要
一種媒體容器文件(30)，通過將表示視頻內(nèi)容的多個攝像機視圖(22-28)的編碼的視頻數(shù)據(jù)組織為媒體容器文件(30)中的一個或多個視頻軌道(32)來產(chǎn)生。從多個不同的預(yù)定視圖布置表示中選擇指示攝像機視圖(22-28)的預(yù)定部署和位置關(guān)系的視圖布置表示(34)。將多個攝像機視圖(22-28)的視圖標(biāo)識符(36)包括在所選視圖布置表示(34)中。相對于所述至少一個視頻軌道(32)，將包括有視圖標(biāo)識符(36)的視圖布置表示(34)組織在媒體容器文件(30)中。
文檔編號H04N7/50GK102177717SQ200880131424
公開日2011年9月7日 申請日期2008年12月15日 優(yōu)先權(quán)日2008年10月7日
發(fā)明者巫壯飛, 珀·福羅德亨 申請人:艾利森電話股份有限公司