本公開涉及信息處理裝置和信息處理方法，并且更具體地，涉及能夠提高在多種類型的音頻數(shù)據(jù)之中獲取預定類型的音頻數(shù)據(jù)的效率的信息處理裝置和信息處理方法。

背景技術(shù)：

最近最流行的流傳輸服務(wù)之一是經(jīng)由互聯(lián)網(wǎng)的互聯(lián)網(wǎng)視頻(OTT-V)。通過HTTP的運動圖像專家組相位動態(tài)自適應(yīng)流傳輸(MPEG-DASH)被廣泛用作其底層技術(shù)(參見，例如非專利文獻1)。

在MPEG-DASH中，傳送服務(wù)器為一個視頻內(nèi)容項準備具有不同屏幕尺寸和編碼率的一組視頻數(shù)據(jù)，并且播放終端根據(jù)傳輸線路條件請求具有最佳屏幕尺寸和編碼率的一組視頻數(shù)據(jù)，因此實現(xiàn)自適應(yīng)流傳送。

引用文獻列表

非專利文獻

非專利文獻1：MPEG-DASH(通過HTTP的動態(tài)自適應(yīng)流傳輸)(URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-de scription-and-segment-formats/text-isoiec-23009-12012-dam-1)

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的問題

然而，沒有考慮到提高在視頻內(nèi)容的多種類型的音頻數(shù)據(jù)之中獲取預定類型的音頻數(shù)據(jù)的效率。

本公開鑒于上述情況而做出并能夠提高在多種類型的音頻數(shù)據(jù)之中獲取預定類型的音頻數(shù)據(jù)的效率。

問題的解決方案

根據(jù)本公開的第一方面的信息處理裝置為包括獲取單元的信息處理裝置，該獲取單元獲取文件的預定軌道中的音頻數(shù)據(jù)，其中，多種類型的音頻數(shù)據(jù)根據(jù)類型被劃分為多個軌道并且該軌道被布置。

根據(jù)本公開的第一方面的信息處理方法對應(yīng)于根據(jù)本公開的第一方面的信息處理裝置。

在本公開的第一方面，獲取文件中的預定軌道的音頻數(shù)據(jù)，其中，多種類型的音頻數(shù)據(jù)根據(jù)被布置的類型和軌道被劃分為多個軌道。

根據(jù)本公開的第二方面的信息處理裝置為包括生成單元的信息處理裝置，該生成單元生成多種類型的音頻數(shù)據(jù)根據(jù)被布置的類型和軌道被劃分為多個軌道的文件。

根據(jù)本公開的第二方面的信息處理方法對應(yīng)于根據(jù)本公開的第二方面的信息處理裝置。

在本公開的第二方面，生成多種類型的音頻數(shù)據(jù)根據(jù)被布置的類型和軌道被劃分為多個軌道的文件。

應(yīng)指出，根據(jù)第一方面和第二方面的信息處理裝置可以通過促使計算機執(zhí)行程序來實施。

此外，為了實現(xiàn)根據(jù)第一方面和第二方面的信息處理裝置，由計算機執(zhí)行的程序可以經(jīng)由傳輸介質(zhì)通過傳送程序或通過在記錄介質(zhì)中記錄程序來提供。

本發(fā)明的效果

根據(jù)本公開的第一方面，可以獲取音頻數(shù)據(jù)。此外，根據(jù)本公開的第一方面，多種類型的音頻數(shù)據(jù)之中的特定類型的音頻數(shù)據(jù)可以被高效獲取。

根據(jù)本公開的第二方面，可以生成文件。此外，根據(jù)本公開的第二方面，可以生成提高獲取多種類型的音頻數(shù)據(jù)之中的特定類型的音頻數(shù)據(jù)的效率的文件。

附圖說明

圖1為示出應(yīng)用本公開的信息處理系統(tǒng)的第一示例的概述的示意圖。

圖2為示出文件的示例的示意圖。

圖3為示出對象的示意圖。

圖4為示出對象位置信息的示意圖。

圖5為示出圖像幀尺寸信息的示意圖。

圖6為示出MPD文件的結(jié)構(gòu)的示意圖。

圖7為示出在“Period”、“Representation”和“Segment”之間的關(guān)系的示意圖。

圖8為示出MPD文件的分層結(jié)構(gòu)的示意圖。

圖9為示出在MPD文件的結(jié)構(gòu)和時間軸之間的關(guān)系的示意圖。

圖10為示出MPD文件的示例性描述的示意圖。

圖11為示出文件生成裝置的配置示例的框圖。

圖12為示出文件生成裝置的文件生成過程的流程圖。

圖13為示出流播放單元的配置示例的框圖。

圖14為示出流播放單元的流播放過程的流程圖。

圖15為示出MPD文件的示例性描述的示意圖。

圖16為示出MPD文件的另一示例性描述的示意圖。

圖17為示出音頻流的布置示例的示意圖。

圖18為示出gsix的示例性描述的示意圖。

圖19為示出指示在樣本組條目和對象ID之間的對應(yīng)關(guān)系的信息的示例的示意圖。

圖20為示出AudioObjectSampleGroupEntry的示例性描述的示意圖。

圖21為示出類型分配盒的示例性描述的示意圖。

圖22為示出應(yīng)用本公開的信息處理系統(tǒng)的第二示例的概述的示意圖。

圖23為示出應(yīng)用本公開的信息處理系統(tǒng)的流播放單元的配置示例的框圖。

圖24為示出確定對象的位置的方法的示意圖。

圖25為示出確定對象的位置的方法的示意圖。

圖26為示出確定對象的位置的方法的示意圖。

圖27為示出在水平角θ_Ai和水平角θ_Ai'之間的關(guān)系的示意圖。

圖28為示出在圖23中示出的流播放單元的流播放過程的流程圖。

圖29為示出在圖28中示出的位置確定過程的細節(jié)的流程圖。

圖30為示出在圖29中示出的水平角θ_Ai'估算過程的細節(jié)的流程圖。

圖31為示出MP4的3D音頻文件格式的軌道的概述的示意圖。

圖32為示出moov盒的結(jié)構(gòu)的示意圖。

圖33為示出根據(jù)應(yīng)用本公開的第一實施例的軌道的概述的示意圖。

圖34為示出在圖33中示出的基本軌道的樣本條目的示例性語法的示意圖。

圖35為示出在圖33中示出的聲道軌道的樣本條目的示例性語法的示意圖。

圖36為示出在圖33中示出的對象音頻軌道的樣本條目的示例性語法的示意圖。

圖37為示出在圖33中示出的HOA音頻軌道的樣本條目的示例性語法的示意圖。

圖38為示出在圖33中示出的對象元數(shù)據(jù)軌道的樣本條目的示例性語法的示意圖。

圖39為示出片段結(jié)構(gòu)的第一示例的示意圖。

圖40為示出片段結(jié)構(gòu)的第二示例的示意圖。

圖41為示出級別分配盒的示例性描述的示意圖。

圖42為示出在應(yīng)用本公開的第一實施例中的MDF文件的示例性描述的示意圖。

圖43為基本屬性的定義的示意圖。

圖44為示出在應(yīng)用本公開的第一實施例中的信息處理系統(tǒng)的概述的示意圖。

圖45為示出在圖44中示出的文件生成裝置的配置示例的框圖。

圖46為示出在圖45中示出的文件生成裝置的文件生成過程的流程圖。

圖47為示出由在圖44中示出的視頻播放終端實施的流播放單元的配置示例的框圖。

圖48為示出在圖47中示出的流播放單元的聲道音頻播放過程的流程圖。

圖49為示出在圖47中示出的流播放單元的對象指定過程的流程圖。

圖50為示出在圖47中示出的流播放單元的指定對象音頻播放過程的流程圖。

圖51為示出在應(yīng)用本公開的第二實施例中的軌道的概述的示意圖。

圖52為示出在圖51中示出的基本軌道的樣本條目的示例性語法的示意圖。

圖53為示出基本樣本的結(jié)構(gòu)的示意圖。

圖54為示出基本樣本的示例性語法的示意圖。

圖55為示出提取器的數(shù)據(jù)的示例的示意圖。

圖56為示出在應(yīng)用本公開的第三實施例中的軌道的概述的示意圖。

圖57為示出在應(yīng)用本公開的第四實施例中的軌道的概述的示意圖。

圖58為示出在應(yīng)用本公開的第四實施例中的MDF文件的示例性描述的示意圖。

圖59為示出在應(yīng)用本公開的第四實施例中的信息處理系統(tǒng)的概述的示意圖。

圖60為示出在圖59中示出的文件生成裝置的配置示例的框圖。

圖61為示出在圖60中示出的文件生成裝置的文件生成過程的流程圖。

圖62為示出由在圖59中示出的視頻播放終端實施的流播放單元的配置示例的框圖。

圖63為示出在圖62中示出的流播放單元的聲道音頻播放過程的示例的流程圖。

圖64為示出在圖62中示出的流播放單元的對象音頻播放過程的第一示例的流程圖。

圖65為示出在圖62中示出的流播放單元的對象音頻播放過程的第二示例的流程圖。

圖66為示出在圖62中示出的流播放單元的對象音頻播放過程的第三示例的流程圖。

圖67為示出基于優(yōu)先級選擇的對象的示例的示意圖。

圖68為示出在應(yīng)用本公開的第五實施例中的軌道的概述的示意圖。

圖69為示出在應(yīng)用本公開的第六實施例中的軌道的概述的示意圖。

圖70為示出3D音頻的分層結(jié)構(gòu)的示意圖。

圖71為示出Web服務(wù)器過程的第一示例的示意圖。

圖72為示出Web服務(wù)器的軌道劃分過程的流程圖。

圖73為示出音頻解碼處理單元的過程的第一示例的示意圖。

圖74為示出音頻解碼處理單元的解碼過程的第一示例的細節(jié)的流程圖。

圖75為示出音頻解碼處理單元的過程的第二示例的示意圖。

圖76為示出音頻解碼處理單元的解碼過程的第二示例的細節(jié)的流程圖。

圖77為示出Web服務(wù)器過程的第二示例的示意圖。

圖78為示出音頻解碼處理單元的過程的第三示例的示意圖。

圖79為示出音頻解碼處理單元的解碼過程的第三示例的細節(jié)的流程圖。

圖80為示出被設(shè)置在基本樣本中的配置信息的語法的第二示例的示意圖。

圖81為用于在圖80中示出的Ext元件的配置信息的示例性語法。

圖82為示出用于在圖81中示出的提取器的配置信息的示例性語法的示意圖。

圖83為示出被設(shè)置在基本樣本中的幀單元的數(shù)據(jù)語法的第二示例的示意圖。

圖84為示出在圖83中示出的提取器的示例性數(shù)據(jù)語法的示意圖。

圖85為示出被設(shè)置在基本樣本中的配置信息的語法的第三示例的示意圖。

圖86為示出被設(shè)置在基本樣本中的幀單元的數(shù)據(jù)語法的第三示例的示意圖。

圖87為示出在應(yīng)用本公開的信息處理系統(tǒng)的第七實施例中的音頻流的配置示例的示意圖。

圖88為示出在第七實施例中的軌道的概述的示意圖。

圖89為示出在第七實施例中的文件生成過程的流程圖。

圖90為示出在第七實施例中的音頻播放過程的流程圖。

圖91為示出應(yīng)用本公開的信息處理系統(tǒng)的第八實施例中的軌道的概述的示意圖。

圖92為示出音頻文件的配置示例的示意圖。

圖93為示出音頻文件的另一配置示例的示意圖。

圖94為示出音頻文件的又一配置示例的示意圖。

圖95為示出計算機的硬件的配置示例的框圖。

具體實施方式

用于實施本公開的模式(在下文中，稱為實施例)將在下面按以下順序描述。

0.本公開的預述(圖1至30)

1.第一實施例(圖31至50)

2.第二實施例(圖51至55)

3.第三實施例(圖56)

4.第四實施例(圖57至67)

5.第五實施例(圖68)

6.第六實施例(圖69)

7.3D音頻的分層結(jié)構(gòu)的說明(圖70)

8.Web服務(wù)器過程的第一示例的說明(圖71和72)

9.音頻解碼處理單元的過程的第一示例的說明(圖73和74)

10.音頻解碼處理單元的過程的第二示例的說明(圖75和76)

11.Web服務(wù)器過程的第二示例的說明(圖77)

12.音頻解碼處理單元的過程的第三示例的說明(圖78和79)

13.基本樣本的語法的第二示例(圖80至84)

14.基本樣本的語法的第三示例(圖85和86)

15.第七實施例(圖87至90)

16.第八實施例(圖91至94)

17.第九實施例(圖95)

<本公開的預述>

(信息處理系統(tǒng)的第一示例的概述)

圖1為示出應(yīng)用本公開的信息處理系統(tǒng)的第一示例的概述的示意圖。

如圖1所示的信息處理系統(tǒng)10具有一配置，其中Web服務(wù)器12(其被連接到文件生成裝置11)以及視頻播放終端14經(jīng)由互聯(lián)網(wǎng)13連接。

在信息處理系統(tǒng)10中，Web服務(wù)器12通過兼容MPEG-DASH的方法向視頻播放終端14傳送以瓦片(tile)為單位的視頻內(nèi)容的圖像數(shù)據(jù)(瓦片流傳輸)。

具體地，文件生成裝置11獲取視頻內(nèi)容的圖像數(shù)據(jù)并以瓦片為單位編碼圖像數(shù)據(jù)以生成視頻流。文件生成裝置11將每個瓦片的視頻流處理為時間間隔從幾秒到約十秒的文件格式，該文件格式被稱為片段。文件生成裝置11向Web服務(wù)器12上傳所得的每個瓦片的圖像文件。

此外，文件生成裝置11獲取每個對象的視頻內(nèi)容的音頻數(shù)據(jù)(后面詳細描述)并以對象為單位編碼圖像數(shù)據(jù)以生成音頻流。文件生成裝置11將每個對象的音頻流處理為以片段為單位的文件格式，并向Web服務(wù)器12上傳所得的每個對象的音頻文件。

應(yīng)指出，每個對象為聲音源。每個對象的音頻數(shù)據(jù)通過附接到該對象的麥克風或類似裝置來獲取。該對象可為諸如固定麥克風支架的物體或可為諸如人的移動體。

文件生成裝置11編碼音頻元數(shù)據(jù)，該音頻元數(shù)據(jù)包含指示每個對象的位置(獲取音頻數(shù)據(jù)的位置)的對象位置信息(音頻位置信息)和作為對象的唯一ID的對象ID。文件生成裝置11將通過編碼音頻元數(shù)據(jù)所獲得的編碼數(shù)據(jù)處理為以片段為單位的文件格式，并向Web服務(wù)器12上傳所得的音頻元文件。

此外，文件生成裝置11生成媒體表示描述(MPD)文件(控制信息)，其管理圖像文件和音頻文件并包含指示視頻內(nèi)容的圖像的幀尺寸的圖像幀尺寸信息和指示圖像上的每個瓦片的位置的位置信息。文件生成裝置11向Web服務(wù)器12上傳MPD文件。

Web服務(wù)器12存儲圖像文件、音頻文件、音頻元文件和從文件生成裝置11上傳的MPD文件。

在如圖1所示的示例中，Web服務(wù)器12存儲由瓦片ID為“1”的瓦片的圖像文件組成的多個片段的片段組和由瓦片ID為“2”的瓦片的圖像文件組成的多個片段的片段組。Web服務(wù)器12也存儲由對象ID為“1”的對象的音頻文件組成的多個片段的片段組和由對象ID為“2”的對象的音頻文件組成的多個片段的片段組。雖然未示出，但是也類似地存儲由音頻元文件組成的片段組。

應(yīng)指出，瓦片ID為i的文件在下文中被稱為“瓦片#i”，以及對象ID為i的對象在下文中被稱為“對象#i”。

Web服務(wù)器12充當發(fā)送器并響應(yīng)于來自視頻播放終端14的請求向視頻播放終端14發(fā)送所存儲的圖像文件、音頻文件、音頻元文件、MPD文件等。

視頻播放終端14執(zhí)行例如用于控制流傳輸數(shù)據(jù)的軟件21(在下文中被稱為控制軟件)、視頻播放軟件22和用于超文本傳輸協(xié)議(HTTP)訪問的客戶端軟件23(在下文中被稱為訪問軟件)。

控制軟件21為控制經(jīng)由流傳輸從Web服務(wù)器12遞送的數(shù)據(jù)的軟件。具體地，控制軟件21允許視頻播放終端14從Web服務(wù)器12獲取MPD文件。

此外，控制軟件21基于顯示區(qū)域和被包含在MPD文件中的瓦片位置信息來指定在顯示區(qū)域中的瓦片，該顯示區(qū)域為在圖像中的區(qū)域，用于顯示由視頻播放軟件22指示的視頻內(nèi)容?？刂栖浖?1命令訪問軟件23發(fā)出發(fā)送指定瓦片的圖像文件的請求。

此外，控制軟件21命令訪問軟件23發(fā)出發(fā)送音頻元文件的請求?？刂栖浖?1基于顯示區(qū)域、被包含在MPD文件中的圖像幀尺寸信息和被包含在音頻元文件中的對象位置信息來指定對應(yīng)于在該顯示區(qū)域中的圖像的對象。控制軟件21命令訪問軟件23發(fā)出發(fā)送指定對象的音頻文件的請求。

視頻播放軟件22為播放從Web服務(wù)器12獲取的圖像文件和音頻文件的軟件。具體地，在使用者指定顯示區(qū)域時，視頻播放軟件22向控制軟件21指示該指定的顯示區(qū)域。視頻播放軟件22響應(yīng)于該指示來解碼從Web服務(wù)器12獲取的圖像文件和音頻文件，并且視頻播放軟件22合成并輸出所解碼的文件。

訪問軟件23為控制使用HTTP經(jīng)由互聯(lián)網(wǎng)13與Web服務(wù)器12通信的軟件。具體地，訪問軟件23允許視頻播放終端14響應(yīng)于控制軟件21的指令發(fā)送請求發(fā)送圖像文件、音頻文件和音頻元文件的請求。此外，訪問軟件23允許視頻播放終端14響應(yīng)于該發(fā)送請求接收從Web服務(wù)器12所發(fā)送的圖像文件、音頻文件和音頻元文件。

(瓦片的示例)

圖2為示出瓦片的示例的示意圖。

如圖2所示，視頻內(nèi)容的圖像被劃分為多個瓦片。作為從1開始的順序號的瓦片ID被分配給每個瓦片。在圖2所示的示例中，視頻內(nèi)容的圖像被劃分為四個瓦片#1至#4。

(對象的解釋)

圖3為示出對象的示意圖。

圖3的示例示出獲取圖像中的八個音頻對象作為視頻內(nèi)容的音頻。作為從1開始的順序號的對象ID被分配給每個對象。對象#1至#5為移動體，以及對象#6至#8為固定物體。此外，在圖3的示例中，視頻內(nèi)容的圖像被劃分為7(寬度)×5(高度)個瓦片。

在此情況下，如圖3所示，在使用者指定由3(寬度)×2(高度)個瓦片組成的顯示區(qū)域31時，顯示區(qū)域31僅包含對象#1、#2和#6。因此，視頻播放終端14僅從Web服務(wù)器12獲取例如對象#1、#2和#6的音頻文件并播放。

在顯示區(qū)域31中的對象可基于圖像幀尺寸信息和對象位置信息來指定，如下所述。

(對象位置信息的解釋)

圖4為示出對象位置信息的示意圖。

如圖4所示，對象位置信息包含對象40的水平角θ_A(-180°≤θ_A≤180°)、垂直角γ_A(-90°≤γ_A≤90°)和距離r_A(0<r_A)。例如在以下設(shè)置時，水平角θA為由連接對象40和原點O的直線與YZ平面形成的在水平方向的角度：圖像的中心的拍攝位置可被設(shè)置為原點(基點)O；圖像的水平方向被設(shè)置為X方向；圖像的垂直方向被設(shè)置為Y方向；以及垂直于XY平面的深度方向被設(shè)置為Z方向。垂直角γ_A為由連接對象40和原點O的直線與XZ平面所形成的在垂直方向的角度。距離r_A為在對象40和原點O之間的距離。

此外，在本文中，假設(shè)向左和上旋轉(zhuǎn)的角度被設(shè)置為正的角度，以及向右和下旋轉(zhuǎn)的角度被設(shè)置為負的角度。

(圖像幀尺寸信息的解釋)

圖5為示出圖像幀尺寸信息的示意圖。

如圖5所示，圖像幀尺寸信息包含在圖像幀中的左端的水平角θ_v1、右端的水平角θ_v2、上端的垂直角γ_v1、下端的垂直角γ_v2以及距離r_v。

例如在圖像的中心的拍攝位置被設(shè)置為原點O；圖像的水平方向被設(shè)置為X方向；圖像的垂直方向被設(shè)置為Y方向；以及垂直于XY平面的深度方向被設(shè)置為Z方向時，水平角θ_v1為連接圖像幀的左端和原點O的直線與YZ平面形成的在水平方向的角度。水平角θ_v2為連接圖像幀的右端和原點O的直線與YZ平面所形成的在水平方向的角度。因此，通過組合水平角θ_v1和水平角θ_v2獲得的角度為水平視角。

垂直角γ_V1為XZ平面與連接圖像幀的上端以及原點O的直線形成的角度，以及垂直角γ_v2為由XZ平面與連接圖像幀的下端以及原點O的直線形成的角度。通過組合垂直角γ_V1和γ_v2獲得的角度變?yōu)榇怪币暯?。距離r_v為在原點O和圖像平面之間的距離。

如上所述，對象位置信息表示對象40和原點O之間的位置關(guān)系，以及圖像幀尺寸信息表示圖像幀和原點O之間的位置關(guān)系。因此，基于對象位置信息和圖像幀尺寸信息檢測(識別)每個對象在圖像上的位置是可能的。因此，指定在顯示區(qū)域31中的對象是可能的。

(MPD文件的結(jié)構(gòu)的說明)

圖6為示出MPD文件的結(jié)構(gòu)的示意圖。

在MPD文件的分析(解析)中，視頻播放終端14從被包含在MPD文件的“Period”(“周期”)中的“Representation”(“表示”)的屬性之中選擇最佳屬性(在圖6中的Media Presentation(“媒體展示”))。

通過參考在所選的“Representation”(表示)的頭部的“Initialization Segment”(“初始化片段”)的統(tǒng)一資源定位符(URL)等，視頻播放終端14獲取文件并處理所獲取的文件。接著，通過參考后續(xù)“Media Segment”(“媒體片段”)的URL等，視頻播放終端14獲取文件并播放所獲取的文件。

應(yīng)指出，在MPD文件中，在Period”(周期)、“Representation”(表示)和“Segment”(“片段”)之間的關(guān)系變?yōu)槿鐖D7所示。換句話說，單個視頻內(nèi)容項可通過Period”(周期)而以比片段更長的時間單位來被管理，并且可以由每個Period”(周期)中通過“Segment”(“片段”)而以片段為單位來被管理。此外，在每個Period”(周期)中，可以通過“Representation”(表示)以流屬性為單位來管理視頻內(nèi)容。

因此，MPD文件具有如圖8所示的從Period”(周期)開始的分層結(jié)構(gòu)。此外，被布置在時間軸上的MPD文件的結(jié)構(gòu)變?yōu)槿鐖D9所示的配置。從圖9可以清楚看出，在相同片段中存在多個“Representation”(表示)元素。視頻播放終端14從這些元素之中自適應(yīng)地選擇任一個，并因此可以在由使用者所選的顯示區(qū)域中獲取圖像文件和音頻文件并播放所獲取的文件。

(MPD文件的描述的解釋)

圖10為示出MPD文件的描述的示意圖。

如上所述，在信息處理系統(tǒng)10中，圖像幀尺寸信息被包含在MPD文件中以允許在顯示區(qū)域中的對象由視頻播放終端14指定。如圖10所示，用于定義新的圖像幀尺寸信息(視度)的方案(urn:mpeg:DASH:viewingAngle:2013)通過利用Viewpoint(視點)的DescriptorType元素來擴展，并因此圖像幀尺寸信息被布置在用于音頻的“Adaptation Set”(“自適應(yīng)集”)中和用于圖像的“Adaptation Set”(“自適應(yīng)集”)中。圖像幀尺寸信息可只被布置在用于圖像的“Adaptation Set”(“自適應(yīng)集”)中。

此外，用于音頻元文件的“Representation”(“表示”)在用于MPD文件的音頻的“Adaptation Set”(“自適應(yīng)集”)中描述。作為用于指定音頻元文件(audiometadata.mp4)的信息的URL等在“Representation”(“表示”)的“Segment”(“片段”)中描述。在此情況下，描述了要在“片段”中指定的文件為利用Role(角色)元素的音頻元文件(objectaudiometadata)。

用于每個對象的音頻元文件的“Representation”(“表示”)也在用于MPD文件的音頻的“Adaptation Set”(“自適應(yīng)集”)中描述。作為用于指定每個對象的音頻文件(audioObje1.mp4，audioObje5.mp4)的信息的URL等在“Representation”(“表示”)的“Segment”(“片段”)中描述。在此情況下，對應(yīng)于音頻文件的對象的對象ID(1和5)也通過擴展的Viewpoint(視點)來描述。

應(yīng)指出，雖然未示出，瓦片位置信息被布置在用于圖像的“Adaptation Set”(“自適應(yīng)集”)中。

(文件生成裝置的配置示例)

圖11為示出在圖1中示出的文件生成裝置11的配置示例的框圖。

如圖11所示的文件生成裝置11包括屏幕拆分處理單元51、圖像編碼處理單元52、圖像文件生成單元53、圖像信息生成單元54、音頻編碼處理單元55、音頻文件生成單元56、MPD生成單元57和服務(wù)器上傳處理單元58。

文件生成裝置11的屏幕拆分處理單元51將從外面輸入的視頻內(nèi)容的圖像數(shù)據(jù)拆分為瓦片單元。屏幕拆分處理單元51向圖像信息生成單元54提供瓦片位置信息。此外，屏幕拆分處理單元51向圖像編碼處理單元提供以瓦片為單位配置的圖像數(shù)據(jù)。

圖像編碼處理單元52針對每個瓦片對(以瓦片為單位來配置并從屏幕拆分處理單元51提供的)圖像數(shù)據(jù)進行編碼以生成視頻流。圖像編碼處理單元52向圖像文件生成單元53提供每個瓦片的視頻流。

圖像文件生成單元53將從圖像編碼處理單元52提供的每個瓦片的視頻流處理為以片段為單位的文件格式并向MPD生成單元57提供所得的每個瓦片的圖像文件。

圖像信息生成單元54向MPD生成單元57提供從屏幕拆分處理單元51所提供的瓦片位置信息和作為圖像信息的從外面輸入的圖像幀尺寸信息。

音頻編碼處理單元55針對每個對象，編碼音頻數(shù)據(jù)并生成音頻流，該音頻數(shù)據(jù)被配置成以從外面輸入的視頻內(nèi)容的對象為單位。此外，音頻編碼處理單元55編碼從外面輸入的每個對象的對象位置信息和包含對象ID等的音頻元數(shù)據(jù)以生成編碼數(shù)據(jù)。音頻編碼處理單元55向音頻文件生成單元56提供每個對象的音頻流和音頻元數(shù)據(jù)的編碼數(shù)據(jù)。

音頻文件生成單元56充當音頻文件生成單元，將從音頻編碼處理單元55提供的每個對象的音頻流處理為以片段為單位的文件格式并向MPD生成單元57提供所得的每個對象的音頻文件。

此外，音頻文件生成單元56充當元文件生成單元，將從音頻編碼處理單元55提供的音頻元數(shù)據(jù)的編碼數(shù)據(jù)處理為以片段為單位的文件格式并向MPD生成單元57提供所得的音頻元文件。

MPD生成單元57確定用于存儲從圖像文件生成單元53提供的每個瓦片的圖像文件的Web服務(wù)器12的URL等。此外，MPD生成單元57確定用于存儲從音頻文件生成單元56提供的每個對象的音頻文件和音頻元文件的Web服務(wù)器12的URL等。

MPD生成單元57在用于MPD文件的圖像的“Adaptation Set”(“自適應(yīng)集”)中布置從圖像信息生成單元54提供的圖像信息。此外，MPD生成單元57在用于MPD文件的音頻的“Adaptation Set”(“自適應(yīng)集”)中布置圖像信息塊之中的圖像幀尺寸信息。MPD生成單元57在用于瓦片的圖像文件的“Representation”(“表示”)的“Segment”(“片段”)中布置每個瓦片的圖像文件的URL等。

MPD生成單元57在用于對象的音頻文件的“Representation”(“表示”)的“Segment”(“片段”)中布置每個對象的音頻文件的URL等。此外，MPD生成單元57充當信息生成單元并在用于音頻元文件的“Representation”(“表示”)的“Segment”(“片段”)中布置URL等作為用于指定音頻元文件的信息。MPD生成單元57向服務(wù)器上傳處理單元58提供MPD文件、圖像文件、音頻文件和音頻元文件，其中在MPD文件中，各種類型的信息如上所述進行布置。

服務(wù)器上傳處理單元58向Web服務(wù)器12上傳從MPD生成單元57提供的每個瓦片的圖像文件、每個對象的音頻文件、音頻元文件和MPD文件。

(文件生成裝置的過程的說明)

圖12為示出在圖11中示出的文件生成裝置11的文件生成過程的流程圖。

在圖12的步驟S11中，文件生成裝置11的屏幕拆分處理單元51將從外面輸入的視頻內(nèi)容的圖像數(shù)據(jù)拆分為瓦片單元。屏幕拆分處理單元51向圖像信息生成單元54提供瓦片位置信息。此外，屏幕拆分處理單元51向圖像編碼處理單元52提供以瓦片為單位配置的圖像數(shù)據(jù)。

在步驟S12中，圖像編碼處理單元52針對每個瓦片對從屏幕拆分處理單元51提供的以瓦片為單位配置的圖像數(shù)據(jù)進行編碼，以生成每個瓦片的視頻流。圖像編碼處理單元52向圖像文件生成單元53提供每個瓦片的視頻流。

在步驟S13中，圖像文件生成單元53將從圖像編碼處理單元52提供的每個瓦片的視頻流處理為以片段為單位的文件格式以生成每個瓦片的圖像文件。圖像文件生成單元53向MPD生成單元57提供每個瓦片的圖像文件。

在步驟S14中，圖像信息生成單元54從外面獲取圖像幀尺寸信息。在步驟S15中，圖像信息生成單元54生成包含從屏幕拆分處理單元51提供的瓦片位置信息和圖像幀尺寸信息的圖像信息，并向MPD生成單元57提供圖像信息。

在步驟S16中，音頻編碼處理單元55針對每個對象編碼音頻數(shù)據(jù)并生成每個對象的音頻流，其中該音頻數(shù)據(jù)以從外面輸入的視頻內(nèi)容的對象為單位配置。此外，音頻編碼處理單元55編碼從外面輸入的每個對象的對象位置信息和包含對象ID的音頻元數(shù)據(jù)以生成編碼數(shù)據(jù)。音頻編碼處理單元55向音頻文件生成單元56提供每個對象的音頻流和音頻元數(shù)據(jù)的編碼數(shù)據(jù)。

在步驟S17中，音頻文件生成單元56將從音頻編碼處理單元55提供的每個對象的音頻流處理為以片段為單位的文件格式以生成每個對象的音頻文件。此外，音頻文件生成單元56將從音頻編碼處理單元55提供的音頻元數(shù)據(jù)的編碼數(shù)據(jù)處理為以片段為單位的文件格式以生成音頻元文件。音頻文件生成單元56向MPD生成單元57提供每個對象的音頻文件和音頻元文件。

在步驟S18中，MPD生成單元57生成包含從圖像信息生成單元54提供的圖像信息、每個文件的URL等的MPD文件。MPD生成單元57向服務(wù)器上傳處理單元58提供MPD文件、每個瓦片的圖像文件、每個對象的音頻文件和音頻元文件。

在步驟S19中，服務(wù)器上傳處理單元58向Web服務(wù)器12上傳從MPD生成單元57提供的每個瓦片的圖像文件、每個對象的音頻文件、音頻元文件和MPD文件。接著該過程終止。

(視頻播放終端的功能配置示例)

圖13為示出流播放單元的配置示例的框圖，該流播放單元以如圖1所示的視頻播放終端14執(zhí)行控制軟件21、視頻播放軟件22和訪問軟件23的方式實施。

如圖13所示的流播放單元90包括MPD獲取單元91、MPD處理單元92、元文件獲取單元93、音頻選擇單元94、音頻文件獲取單元95、音頻解碼處理單元96、音頻合成處理單元97、圖像選擇單元98、圖像文件獲取單元99、圖像解碼處理單元100和圖像合成處理單元101。

流播放單元90的MPD獲取單元91充當接收器、從Web服務(wù)器12獲取MPD文件并向MPD處理單元92提供該MPD文件。

MPD處理單元92從提供自MPD獲取單元91的MPD文件提取信息(諸如在用于音頻元文件的“Segment”(“片段”)中描述的URL)，并向元文件獲取單元93提供所提取的信息。此外，MPD處理單元92從MPD文件提取在用于圖像的“Adaptation Set”(“自適應(yīng)集”)中描述的圖像幀尺寸信息并向音頻選擇單元94提供所提取的信息。MPD處理單元92從MPD文件提取信息(諸如在用于從音頻選擇單元94所請求的對象的音頻文件的Segment”(“片段”)中描述的URL)，并向音頻選擇單元94提供所提取的信息。

MPD處理單元92從MPD文件提取在用于圖像的“Adaptation Set”(“自適應(yīng)集”)中描述的瓦片位置信息并向圖像選擇單元98提供所提取的信息。MPD處理單元92從MPD文件提取信息(諸如在用于從圖像選擇單元98所請求的瓦片的圖像文件的“Segment”(“片段”)中描述的URL)，并向圖像選擇單元98提供所提取的信息。

基于信息(諸如從MPD處理單元92提供的URL)，元文件獲取單元93請求Web服務(wù)器12發(fā)送由該URL指定的音頻元文件，并獲取該音頻元文件。元文件獲取單元93向音頻選擇單元94提供被包含在該音頻元文件中的對象位置信息。

音頻選擇單元94充當位置確定單元并基于從MPD處理單元92提供的圖像幀尺寸信息和從元文件獲取單元93提供的對象位置信息計算在圖像上的每個對象的位置。音頻選擇單元94基于在圖像上的每個對象的位置選擇由使用者指定的顯示區(qū)域中的對象。音頻選擇單元94請求MPD處理單元92發(fā)送信息(諸如所選對象的音頻文件的URL)。音頻選擇單元94響應(yīng)于該請求，向音頻文件獲取單元95提供信息(諸如從MPD處理單元92提供的URL)。

音頻文件獲取單元95充當接收器?；谥T如從音頻選擇單元94提供的URL的信息，音頻文件獲取單元95請求Web服務(wù)器12發(fā)送由URL指定并以對象為單位配置的音頻文件，并獲取該音頻文件。音頻文件獲取單元95向音頻解碼處理單元96提供所獲取的以對象為單位的音頻文件。

音頻解碼處理單元96解碼被包含在從音頻文件獲取單元95提供并以對象為單位配置的音頻文件中的音頻流，以生成以對象為單位的音頻數(shù)據(jù)。音頻解碼處理單元96向音頻合成處理單元97提供以對象為單位的音頻數(shù)據(jù)。

音頻合成處理單元97合成從音頻解碼處理單元96提供并以對象為單位配置的音頻數(shù)據(jù)并輸出該合成數(shù)據(jù)。

圖像選擇單元98基于從MPD處理單元92提供的瓦片位置信息選擇由使用者指定的顯示區(qū)域中的瓦片。圖像選擇單元98請求MPD處理單元92發(fā)送諸如所選瓦片的圖像文件的URL的信息。圖像選擇單元98響應(yīng)于該請求，向圖像文件獲取單元99提供諸如從MPD處理單元92提供的URL的信息。

基于諸如從圖像選擇單元98提供的URL的信息，圖像文件獲取單元99請求Web服務(wù)器12發(fā)送由URL指定并以瓦片為單位配置的圖像文件，并獲取該圖像文件。圖像文件獲取單元99向圖像解碼處理單元100提供所獲取的以瓦片為單位的圖像文件。

圖像解碼處理單元100解碼視頻流(該視頻流被包含在從圖像文件獲取單元99提供并以瓦片為單位配置的圖像文件中)，以生成以瓦片為單位的圖像數(shù)據(jù)。圖像解碼處理單元100向圖像合成處理單元101提供以瓦片為單位的圖像數(shù)據(jù)。

圖像合成處理單元101合成從圖像解碼處理單元100提供并以瓦片為單位配置的圖像數(shù)據(jù)并輸出該合成數(shù)據(jù)。

(運動圖像播放終端的過程的解釋)

圖14為示出視頻播放終端14的流播放單元(圖13)的流播放過程的流程圖。

在圖14的步驟S31中，流播放單元90的MPD獲取單元91從Web服務(wù)器12獲取MPD文件并向MPD處理單元92提供該MPD文件。

在步驟S32中，MPD處理單元92從提供自MPD獲取單元91的MPD文件獲取在用于圖像的“Adaptation Set”(“自適應(yīng)集”)中描述的圖像幀尺寸信息和瓦片位置信息。MPD處理單元92向音頻選擇單元94提供圖像幀尺寸信息并向圖像選擇單元98提供瓦片位置信息。此外，MPD處理單元92提取諸如在用于音頻元文件的“Segment”(“片段”)中描述的URL的信息，并向元文件獲取單元93提供所提取的信息。

在步驟S33中，基于諸如從MPD處理單元92提供的URL的信息，元文件獲取單元93請求Web服務(wù)器12發(fā)送由該URL指定的音頻元文件，并獲取該音頻元文件。元文件獲取單元93向音頻選擇單元94提供被包含在該音頻元文件中的對象位置信息。

在步驟S34中，音頻選擇單元94基于從MPD處理單元92提供的圖像幀尺寸信息和從元文件獲取單元93提供的對象位置信息來選擇由使用者指定的在顯示區(qū)域中的對象。音頻選擇單元94請求MPD處理單元92發(fā)送諸如所選對象的音頻文件的URL的信息。

MPD處理單元92從MPD文件提取諸如在用于從音頻選擇單元94所請求的對象的音頻文件的“Segment”(“片段”)中描述的URL的信息，并向音頻選擇單元94提供所提取的信息。音頻選擇單元94向音頻文件獲取單元95提供諸如從MPD處理單元92提供的URL的信息。

在步驟S35中，基于諸如從音頻選擇單元94提供的URL的信息，音頻文件獲取單元95請求Web服務(wù)器12發(fā)送由該URL指定的所選對象的音頻文件，并獲取該音頻文件。音頻文件獲取單元95向音頻解碼處理單元96提供所獲取的以對象為單位的音頻文件。

在步驟S36中，圖像選擇單元98基于從MPD處理單元92提供的瓦片位置信息選擇由使用者指定的顯示區(qū)域中的瓦片。圖像選擇單元98請求MPD處理單元92發(fā)送諸如所選瓦片的圖像文件的URL的信息。

MPD處理單元92從MPD文件提取諸如在用于從圖像選擇單元98所請求的對象的圖像文件的“Segment”(“片段”)中描述的URL的信息，并向圖像選擇單元98提供所提取的信息。圖像選擇單元98向圖像文件獲取單元99提供諸如從MPD處理單元92提供的URL的信息。

在步驟S37中，基于諸如從圖像選擇單元98提供的URL的信息，圖像文件獲取單元99請求Web服務(wù)器12發(fā)送由該URL指定的所選瓦片的圖像文件，并獲取該圖像文件。圖像文件獲取單元99向圖像解碼處理單元100提供所獲取的以瓦片為單位的圖像文件。

在步驟S38中，音頻解碼處理單元96解碼被包含在從音頻文件獲取單元95提供并以對象為單位配置的音頻文件中的音頻流，以生成以對象為單位的音頻數(shù)據(jù)。音頻解碼處理單元96向音頻合成處理單元97提供以對象為單位的音頻數(shù)據(jù)。

在步驟S39中，圖像解碼處理單元100解碼被包含在從圖像文件獲取單元99提供并以瓦片為單位配置的圖像文件中的視頻流，以生成以瓦片為單位的圖像數(shù)據(jù)。圖像解碼處理單元100向圖像合成處理單元101提供以瓦片為單位的圖像數(shù)據(jù)。

在步驟S40中，音頻合成處理單元97合成從音頻解碼處理單元96提供并以對象為單位配置的音頻數(shù)據(jù)并輸出該合成數(shù)據(jù)。在步驟S41中，圖像合成處理單元101合成從圖像解碼處理單元100提供并以瓦片為單位配置的圖像數(shù)據(jù)并輸出該合成數(shù)據(jù)。接著該過程終止。

如上所述，Web服務(wù)器12發(fā)送圖像幀尺寸信息和對象位置信息。因此，視頻播放終端14可以指定例如在顯示區(qū)域中的對象以選擇性獲取所指定的對象的音頻文件，以便該音頻文件對應(yīng)于在該顯示區(qū)域中的圖像。這允許視頻播放終端14僅獲取必要的音頻文件，這使得傳輸效率提高。

應(yīng)指出，如圖15所示，對象ID(指定信息的對象)可在用于MPD文件的圖像的“Adaptation Set”(“自適應(yīng)集”)中被描述，作為用于指定對應(yīng)于將要與圖像同時播放的音頻的對象的信息。對象ID可通過利用Viewpoint(視點)的DescriptorType(描述符類型)元素來定義新對象ID信息(audioObj)的擴展方案(urn:mpeg:DASH:audioObj:2013)來描述。在此情況下，視頻播放終端14選擇與在用于圖像的“Adaptation Set”(“自適應(yīng)集”)中描述的對象ID對應(yīng)的對象的音頻文件，并獲取該音頻文件以用于播放。

作為生成以對象為單位的音頻文件的替換，所有對象的編碼數(shù)據(jù)可被復用為單個音頻流以生成單個音頻文件。

在此情況下，如圖16所示，用于音頻文件的一個“Representation”(“表示”)被設(shè)置在用于MPD文件的音頻的“Adaptation Set”(“自適應(yīng)集”)中，以及用于包含所有對象的編碼數(shù)據(jù)的音頻文件(audioObje.mp4)的URL等在“Segment”(“片段”)中描述。此時，對應(yīng)于音頻文件的所有對象的對象ID(1、2、3、4和5)通過擴展Viewpoint(視點)來描述。

另外，在此情況下，如圖17所示，每個對象的編碼數(shù)據(jù)(音頻對象)作為子樣本被布置在通過參考MPD文件的“Media Segment”(“媒體片段”)所獲取的音頻文件(在下文中，在適當時，也被稱為音頻媒體文件)的mdat盒(box)中。

具體地，數(shù)據(jù)以子片段為單位被布置在音頻媒體文件中，該子片段在任何時間比片段更短。以子片段為單位的數(shù)據(jù)的位置由sidx盒指定。此外，以子片段為單位的數(shù)據(jù)由moof盒和mdat盒組成。mdat盒由多個樣本組成，以及每個對象的編碼數(shù)據(jù)被布置為該樣本的每個子樣本。

此外，描述關(guān)于樣本的信息的gsix盒被布置在音頻媒體文件的sidx盒之后。描述關(guān)于樣本的信息的gsix盒以此方式與moof盒分開設(shè)置，并因此視頻播放終端14可以快速獲取關(guān)于樣本的信息。

如圖18所示，表示樣本組條目的類型的grouping_type在gsix盒中描述，其中，每個樣本組條目包含由gsix盒管理的一或多個樣本或子樣本。例如，在樣本組條目為以對象為單位的編碼數(shù)據(jù)的子樣本時，樣本組條目的類型為如圖17所示的“obja”。grouping_type的多個gsix盒被布置在音頻媒體文件中。

此外，如圖18所示，每個樣本組條目的索引(entry_index)和作為指示在音頻媒體文件中的位置的數(shù)據(jù)位置信息的字節(jié)范圍(range_size)在gsix盒中描述。應(yīng)指出，在索引(entry_index)為0時，對應(yīng)字節(jié)范圍指示moof盒的字節(jié)范圍(在圖17的示例中的a1)。

指示哪個對象被用于允許每個樣本組條目對應(yīng)于編碼數(shù)據(jù)的子樣本的信息在通過參考MPD文件的“Initialization Segment”(“初始化片段”)所獲取的音頻文件中描述(本文后面適當?shù)匾卜Q為音頻初始化文件)。

具體地，如圖19所示，該信息通過使用mvex盒的類型分配盒(typa)來指示，該類型分配盒(typa)與在音頻初始化文件的sbtl盒中的樣本組描述盒(sgpd)的AudioObjectSampleGroupEntry相關(guān)聯(lián)的。

換句話說，如圖20的A所示，對應(yīng)于被包含在樣本中的編碼數(shù)據(jù)的對象ID(audio_object_id)在每個AudioObjectSampleGroupEntry盒中描述。例如，如圖20B所示，對象ID 1、2、3和4在四個AudioObjectSampleGroupEntry盒中的每者中描述。

另一方面，如圖21所示，在類型分配盒中，作為對應(yīng)于AudioObjectSampleGroupEntry的樣本組條目的參數(shù)(grouping_type_parameter)的索引被描述以用于每個AudioObjectSampleGroupEntry。

音頻媒體文件和音頻初始化文件如上所述進行配置。因此，在視頻播放終端14獲取被選擇為顯示區(qū)域中的對象的對象的編碼數(shù)據(jù)時，在其中描述所選對象的對象ID的AudioObjectSampleGroupEntry被從音頻初始化文件的stbl盒檢索出。接著，對應(yīng)于所檢索的AudioObjectSampleGroupEntry的樣本組條目的索引從mvex盒讀取。接著，以子片段為單位的數(shù)據(jù)的位置從音頻文件的sidx讀取，以及讀取索引的樣本組條目的字節(jié)范圍從gsix讀取。接著，被布置在mdat中的編碼數(shù)據(jù)基于以子片段為單位的數(shù)據(jù)的位置和字節(jié)范圍來獲取。因此，所選對象的編碼數(shù)據(jù)得以獲取。

雖然在上述的描述中，樣本組的索引和AudioObjectSampleGroupEntry的對象ID通過mvex盒彼此相關(guān)聯(lián)，但是它們可彼此直接相關(guān)聯(lián)。在此情況下，樣本組條目的索引在AudioObjectSampleGroupEntry中描述。

此外，在音頻文件由多個軌道組成時，sgpd可以被存儲在mvex中，這允許該sgpd在軌道之間共享。

(信息處理系統(tǒng)的第二示例的概述)

圖22為示出應(yīng)用本公開的信息處理系統(tǒng)的第二示例的概述的示意圖。

應(yīng)指出，在圖22中示出的與圖3所示相同的元素由相同的附圖標號表示。

在圖22所示的如同圖3的情況的示例中，視頻內(nèi)容的圖像被劃分為7(寬度)×5(高度)個瓦片，以及對象#1至#8的音頻如同視頻內(nèi)容的音頻一樣被獲取。

在此情況下，在使用者指示由3(寬度)×2(高度)個瓦片組成的顯示區(qū)域31時，顯示區(qū)域31被轉(zhuǎn)換(擴展)到尺寸與視頻內(nèi)容的圖像的尺寸相同的區(qū)域，從而獲得在如圖22所示的第二示例中的顯示圖像111。對象#1至#8的音頻基于對象#1至#8在顯示圖像111中的位置來合成并與顯示圖像111一起被輸出。換句話說，除了在顯示區(qū)域31內(nèi)的對象#1、#2和#6的音頻之外，在顯示區(qū)域31外面的對象#3至#5、#7和#8的音頻也被輸出。

(流播放單元的配置示例)

應(yīng)用本公開的信息處理系統(tǒng)的第二示例的配置與圖1所示的信息處理系統(tǒng)10的配置相同，除了流播放單元的配置之外，并因此僅在下面描述該流播放單元。

圖23為示出應(yīng)用本公開的信息處理系統(tǒng)的流播放單元的配置示例的框圖。

在圖23中示出的與圖13所示相同的組件由相同的附圖標號表示，并且在適當時，省略重復的解釋。

如圖23所示的流播放單元120的配置不同于如圖13所示的流播放單元90的配置之處在于，新提供以分別取代MPD處理單元92、音頻合成處理單元97和圖像合成處理單元101的MPD處理單元121、音頻合成處理單元123和圖像合成處理單元124以及另外提供的位置確定單元122。

流播放單元120的MPD處理單元121從提供自MPD獲取單元91的MPD文件提取諸如在用于音頻元文件的“Segment”(“片段”)中描述的URL的信息，并向元文件獲取單元93提供所提取的信息。此外，MPD處理單元121從MPD文件提取在用于圖像的“Adaptation Set”(“自適應(yīng)集”)中描述的視頻內(nèi)容的圖像的圖像幀尺寸信息(在下文中，被稱為內(nèi)容圖像幀尺寸信息)并向位置確定單元122提供所提取的信息。MPD處理單元121從MPD文件提取諸如在用于所有對象的音頻文件的“Segment”(“片段”)中描述的URL的信息，并向音頻文件獲取單元95提供所提取的信息。

MPD處理單元121從MPD文件提取在用于圖像的“Adaptation Set”(“自適應(yīng)集”)中描述的瓦片位置信息并向圖像選擇單元98提供所提取的信息。MPD處理單元121從MPD文件提取諸如在用于從圖像選擇單元98所請求的瓦片的圖像文件的“Segment”(“片段”)中描述的URL的信息，并向圖像選擇單元98提供所提取的信息。

位置確定單元122獲取被包含在通過元文件獲取單元93獲得的音頻元文件中的對象位置信息和從MPD處理單元121提供的內(nèi)容圖像幀尺寸信息。此外，位置確定單元122獲取作為由使用者指定的顯示區(qū)域的圖像幀尺寸信息的顯示區(qū)域圖像幀尺寸信息。位置確定單元122基于對象位置信息、內(nèi)容圖像幀尺寸信息和顯示區(qū)域圖像幀尺寸信息來確定(識別)每個對象在顯示區(qū)域中的位置。位置確定單元122向音頻合成處理單元123提供所確定的每個對象的位置。

音頻合成處理單元123基于從位置確定單元122提供的對象位置來合成從音頻解碼處理單元96提供的以對象為單位的音頻數(shù)據(jù)。具體地，音頻合成處理單元123基于對象位置和輸出聲音的每個揚聲器的位置來確定針對每個對象分配給每個揚聲器的音頻數(shù)據(jù)。音頻合成處理單元123針對每個揚聲器合成每個對象的音頻數(shù)據(jù)并輸出作為每個揚聲器的音頻數(shù)據(jù)的合成音頻數(shù)據(jù)。基于對象位置合成每個對象的音頻數(shù)據(jù)的方法的詳細描述在例如1997年的《AES期刊》卷45第6期的第456-466頁的Ville Pulkki的“Virtual Sound Source Positioning Using Vector Base Amplitude Panning(使用矢量基幅值平移的虛擬聲源定位)”中公開。

圖像合成處理單元124合成從圖像解碼處理單元100提供的以瓦片為單位的圖像數(shù)據(jù)。圖像合成處理單元124充當轉(zhuǎn)換器，并將對應(yīng)于合成圖像數(shù)據(jù)的圖像尺寸轉(zhuǎn)換成視頻內(nèi)容的尺寸以生成顯示圖像。圖像合成處理單元124輸出該顯示圖像。

(對象位置確定方法的解釋)

圖24至26中的每者示出如圖23所示的位置確定單元122的對象位置確定方法。

顯示區(qū)域31從視頻內(nèi)容提取以及顯示區(qū)域31的尺寸被轉(zhuǎn)換為該視頻內(nèi)容的尺寸，以便生成顯示圖像111。因此，顯示圖像111的尺寸等同于如圖24所示通過將顯示區(qū)域31的中心C位移到顯示圖像111的中心C′以及如圖25所示通過將顯示區(qū)域31的尺寸轉(zhuǎn)換為視頻內(nèi)容的尺寸所獲得的尺寸。

因此，位置確定單元122通過下面的公式(1)計算在顯示區(qū)域31的中心O被位移到顯示圖像111的中心O′時的在水平方向的位移量θ_shift。

【數(shù)學公式1】

在公式(1)中，θ_v1'表示被包含在顯示區(qū)域圖像幀尺寸信息中的在顯示區(qū)域31的左端的水平角，以及θ_v2'表示被包含在顯示區(qū)域圖像幀尺寸信息中的在顯示區(qū)域31的右端的水平角。此外，θ_v1表示在內(nèi)容圖像幀尺寸信息中的在左端的水平角，以及θ_v2表示在內(nèi)容圖像幀尺寸信息中的在右端的水平角。

接下來，位置確定單元122通過下面的公式(2)計算在通過使用位移量θ_shift將顯示區(qū)域31的中心O位移到顯示圖像111的中心O′之后在顯示區(qū)域31的左端的水平角θ_{v1_shift}'以及在其右端的水平角θ_{v2_shift}'。

【數(shù)學公式2】

θ_{v1_shift}'＝mod(θ_v1'+θ_shift+180°,360°)-180°

θ_{v2_shift}'＝mod(θ_v2'+θ_shift+180°,360°)-180°...(2)

根據(jù)公式(2)，水平角θ_{v1_shift}'和水平角θ_{v2_shift}'被計算以便不超過-180°至180°的范圍。

應(yīng)指出，如上所述，顯示圖像111尺寸等同于通過將顯示區(qū)域31的中心O位移到顯示圖像111的中心O′以及通過將顯示區(qū)域31的尺寸轉(zhuǎn)換為視頻內(nèi)容的尺寸所獲得的尺寸。因此，下面的公式(3)滿足水平角θ_V1和θ_V2。

【數(shù)學公式3】

位置確定單元122以上述的方式計算位移量θ_shift、水平角θ_{v1_shift}'和水平角θ_{v2_shift}'，并接著計算每個對象在顯示圖像111中的水平角。具體地，在通過使用位移量θ_shift將顯示區(qū)域31的中心C被位移到顯示圖像111的中心C′之后，位置確定單元122通過下面的公式(4)計算的對象#i的水平角θ_{Ai_shift}。

【數(shù)學公式4】

θ_{Ai_shift}＝mod(θ_Ai+θ_shift+180°,360°)-180°...(4)

在公式(4)中，θAi表示被包含在對象位置信息中的對象#i的水平角。此外，根據(jù)公式(4)，水平角θ_{Ai_shift}被計算以便不超過-180°至180°的范圍。

接下來，在對象#i存在于顯示區(qū)域31中時，即滿足θ_{v2_shif}'<θ_{Ai_shift}<θ_{v1_shift}'的條件時，位置確定單元122通過下面的公式(5)計算對象#i在顯示圖像111中的水平角θ_A1'。

【數(shù)學公式5】

根據(jù)公式(5)，通過根據(jù)顯示區(qū)域31的尺寸和顯示圖像111的尺寸之間的比率擴展對象#i在顯示圖像11中的位置和顯示圖像111的中心C'之間的距離來計算水平角θ_A1'。

另一方面，在沒有對象#i存在于顯示區(qū)域31中時，即滿足-180°≤θ_{Ai_shift}≤θ_{v2_shift}'或θ_{v1_shift}'≤θ_{Ai_shift}≤180°的條件時，位置確定單元122通過下面的公式(6)計算對象#i在顯示圖像111中的水平角θ_Ai'。

【數(shù)學公式6】

根據(jù)公式(6)，如圖26所示，在對象#i存在于顯示區(qū)域31的右側(cè)的位置151時(-180°≤θ_{Ai_shift}≤θ_{v2_shift}')，通過根據(jù)角度R1和角度R2之間的比率擴展水平角θ_{Ai_shift}來計算水平角θ_Ai'。應(yīng)指出，角度R1為從顯示圖像111的右端到剛好在觀眾153后面的位置154而測量的角度，以及角度R2為從其中心被位移的顯示區(qū)域31的右端到位置154測量的角度。

此外，根據(jù)公式(6)，在對象#i存在于顯示區(qū)域31的左側(cè)的位置155時(θ_{v1_shift}'≤θ_{Ai_shift}≤180°)，通過根據(jù)角度R3和角度R4之間的比率擴展水平角θ_{Ai_shift}來計算水平角θ_Ai'。應(yīng)指出，角度R3為從顯示圖像111的左端到位置154測量的角度，以及角度R4為從其中心被位移的顯示區(qū)域31的左端到位置154測量的角度。

另外，位置確定單元122以類似于水平角θ_Ai'的方式計算垂直角γ_Ai'。具體地，位置確定單元122通過下面的公式(7)計算在顯示區(qū)域31的中心C被位移到顯示圖像111的中心C′時，在垂直方向的位移量γ_shift。

【數(shù)學公式7】

在公式(7)中，γ_v1'表示包含在顯示區(qū)域圖像幀尺寸信息中的顯示區(qū)域31的上端的垂直角，以及γ_v2′表示在其下端的垂直角。此外，γ_v1表示在內(nèi)容圖像幀尺寸信息中的上端的垂直角，以及γ_v2表示在內(nèi)容圖像幀尺寸信息中的下端的垂直角。

接下來，位置確定單元122通過下面的公式(8)使用位移量γ_shift，計算在顯示區(qū)域31的中心C被位移到顯示圖像111的中心C′之后，在顯示區(qū)域31的上端的垂直角γ_{v1_shift}'以及在其下端的垂直角γ_{v2_shift}'。

【數(shù)學公式8】

γ_{v1_shift}'＝mod(γ_v1'+γ_shift+90°,180°)-90°

γ_{v2_shift}'＝mod(γ_v2'+γ_shift+90°,180°)-90°...(8)

根據(jù)公式(8)，垂直角γ_{v1_shift}'和垂直角γ_{v2_shift}'被計算以便不超過-90°至90°的范圍。

位置確定單元122以上述的方式計算位移量γ_shift、垂直角γ_{v1_shift}'和垂直角γ_{v2_shift}'，并接著計算每個對象在顯示圖像111中的位置。具體地，位置確定單元122通過下面的公式(9)使用位移量γ_shift，計算在顯示區(qū)域31的中心C被位移到顯示圖像111的中心C′之后，對象#i的垂直角γ_{Ai_shift}。

【數(shù)學公式9】

γ_{Ai_shift}＝mod(γ_Ai+γ_shift+90°,180°)-90°...(9)

在公式(9)中，γAi表示被包含在對象位置信息中的對象#i的垂直角。此外，根據(jù)公式(9)，垂直角γ_{Ai_shift}被計算以便不超過-90°至90°的范圍。

接下來，位置確定單元122通過下面的公式(10)計算對象#i在顯示圖像111中的垂直角γ_A1'。

【數(shù)學公式10】

此外，位置確定單元122確定對象#i在顯示圖像111中的距離r_A1'為被包含在對象位置信息中的對象#i的距離r_A1。位置確定單元122向音頻合成處理單元123提供如上所述獲得并作為對象#i的位置的水平角θ_Ai'、垂直角γ_A1'和對象#i的距離r_A1，作為對象#i的位置。

圖27為示出在水平角θ_Ai和水平角θ_Ai'之間的關(guān)系的示意圖。

在圖27的曲線圖中，水平軸線表示水平角θ_Ai，以及垂直軸線表示水平角θ_Ai'。

如圖27所示，在滿足條件θ_V2'<θ_Ai<θ_V1'時，水平角θ_Ai以位移量θ_shift位移并被擴展，并接著水平角θ_Ai變得等于水平角θ_Ai'。此外，在滿足條件-180°≤θ_Ai≤θ_v2'orθ_v1'≤θ_Ai≤180°時，水平角θ_Ai以位移量θ_shift位移并被減少，并接著水平角θ_Ai變得等于水平角θ_Ai'。

(流播放單元的過程的說明)

圖28為示出在圖23中示出的流播放單元120的流播放過程的流程圖。

在圖28的步驟S131中，流播放單元120的MPD獲取單元91從Web服務(wù)器12獲取MPD文件并向MPD處理單元121提供該MPD文件。

在步驟S132中，MPD處理單元121從提供自MPD獲取單元91的MPD文件獲取在用于圖像的“Adaptation Set”(“自適應(yīng)集”)中描述的內(nèi)容圖像幀尺寸信息和瓦片位置信息。MPD處理單元121向位置確定單元122提供圖像幀尺寸信息并向圖像選擇單元98提供瓦片位置信息。此外，MPD處理單元121提取諸如在用于音頻元文件的“Segment”(“片段”)中描述的URL的信息，并向元文件獲取單元93提供所提取的信息。

在步驟S133中，元文件獲取單元93基于諸如從MPD處理單元121提供的URL的信息，請求Web服務(wù)器12發(fā)送由該URL指定的音頻元文件并獲取該音頻元文件。元文件獲取單元93向位置確定單元122提供被包含在該音頻元文件中的對象位置信息。

在步驟S134中，位置確定單元122基于對象位置信息、內(nèi)容圖像幀尺寸信息和顯示區(qū)域圖像幀尺寸信息來執(zhí)行用于確定每個對象在顯示圖像中的位置的位置確定過程。該位置確定過程將參考在后面描述的圖29來詳述。

在步驟S135中，MPD處理單元121從MPD文件提取諸如在用于所有對象的音頻文件的“Segment”(“片段”)中描述的URL的信息，并向音頻文件獲取單元95提供所提取的信息。

在步驟S136中，音頻文件獲取單元95基于諸如從MPD處理單元121提供的URL的信息，請求Web服務(wù)器12發(fā)送由該URL指定的所有對象的音頻文件并獲取該音頻文件。音頻文件獲取單元95向音頻解碼處理單元96提供所獲取的以對象為單位的音頻文件。

步驟S137至S140的過程類似于如圖14所示的步驟S36至S39的過程，并因此其描述將被省略。

在步驟S141中，音頻合成處理單元123基于從位置確定單元122提供的每個對象的位置來合成從音頻解碼處理單元96提供的以對象為單位的音頻數(shù)據(jù)并輸出該音頻數(shù)據(jù)。

在步驟S142中，圖像合成處理單元124合成從圖像解碼處理單元100提供的以瓦片為單位的圖像數(shù)據(jù)。

在步驟S143中，圖像合成處理單元124將對應(yīng)于合成圖像數(shù)據(jù)的圖像尺寸轉(zhuǎn)換成視頻內(nèi)容的尺寸并生成顯示圖像。接著，圖像合成處理單元124輸出該顯示圖像，并且該過程終止。

圖29為示出在圖28的步驟S134中的位置確定過程的細節(jié)的流程圖。該位置確定過程被執(zhí)行例如以用于每個對象。

在圖29的步驟S151中，位置確定單元122執(zhí)行用于估算在顯示圖像中的水平角θ_Ai'的水平角θ_Ai'估算過程。水平角θ_Ai'估算過程的細節(jié)將參考在后面描述的圖30來描述。

在步驟S152中，位置確定單元122執(zhí)行用于估算在顯示圖像中的垂直角γ_Ai'的垂直角γ_Ai'估算過程。垂直角γ_Ai'估算過程的細節(jié)類似于在步驟S151中的水平角θ_Ai'估算過程的細節(jié)，除了使用替代水平方向的垂直方向之外，并因此其詳細描述將被省略。

在步驟S153中，過程確定單元122確定在顯示圖像中的距離r_Ai'為被包含在從元文件獲取單元93提供的對象位置信息中的距離r_Ai。

在步驟S154中，位置確定單元122向音頻合成處理單元123輸出作為對象#i的位置的水平角θ_Ai'、垂直角γ_A1'和距離r_A1。接著，該過程返回到圖28的步驟S134并前進至步驟S135。

圖30為示出在圖29的步驟S151中的水平角θ_Ai'估算過程的細節(jié)的流程圖。

在如圖30所示的步驟S171中，位置確定單元122獲取被包含在提供自元文件獲取單元93的對象位置信息中的水平角θ_Ai。

在步驟S172中，位置確定單元122獲取提供自MPD處理單元121的內(nèi)容圖像幀尺寸信息和由使用者指定的顯示區(qū)域圖像幀尺寸信息。

在步驟S173中，位置確定單元122基于該內(nèi)容圖像幀尺寸信息和顯示區(qū)域圖像幀尺寸信息通過上述的公式(1)來計算位移量θ_shift。

在步驟S174中，位置確定單元122使用該位移量θ_shift和顯示區(qū)域圖像幀尺寸通過上述的公式(2)來計算水平角θ_{v1_shift}'和θ_{v2_shift}'。

在步驟S175中，位置確定單元122使用水平角θ_Ai和位移量θ_shift通過上述的公式(4)來計算水平角θ_{Ai_shift}。

在步驟S176中，位置確定單元122確定對象#i是否存在于顯示區(qū)域31中(對象#i的水平角在顯示區(qū)域31的兩端的水平角之間)，即，是否滿足θ_{v2_shift}'<θ_{Ai_shift}<θ_{v1_shift}'的條件。

在步驟S176中確定對象#i存在于顯示區(qū)域31中時，即在滿足條件θ_{v2_shift}'<θ_{Ai_shift}<θ_{v1_shift}'時，該過程前進至步驟S177。在步驟S177中，位置確定單元122基于內(nèi)容圖像幀尺寸信息、水平角θ_{v1_shift}'和θ_{v2_shift}'以及水平角θ_{Ai_shift}通過上述的公式(5)來計算水平角θ_A1'。

另一方面，在步驟S176中確定對象#i不存在于顯示區(qū)域31中時，即在滿足條件-180°≤θ_{Ai_shift}≤θ_{v2_shift}'或θ_{v1_shift}'≤θ_{Ai_shift}≤180°時，該過程前進至步驟S178。在步驟S178中，位置確定單元122基于內(nèi)容圖像幀尺寸信息、水平角θ_{v1_shift}'或θ_{v2_shift}'以及水平角θ_{Ai_shift}通過上述的公式(6)來計算水平角θ_Ai'。

在步驟S177或步驟S178的過程之后，該過程返回到圖29的步驟S151并前進至步驟S152。

應(yīng)指出，在第二示例中，顯示圖像的尺寸與視頻內(nèi)容的尺寸相同，但替代地，顯示圖像的尺寸可與視頻內(nèi)容的尺寸不同。

此外，在第二示例中，所有對象的音頻數(shù)據(jù)未被合成和輸出，而是僅改為合成和輸出一些對象(例如，在顯示區(qū)域中的對象、在顯示區(qū)域的預定范圍內(nèi)的對象等)的音頻數(shù)據(jù)。用于選擇待輸出的音頻數(shù)據(jù)的對象的方法可被事先確定或可由使用者指定。

此外，在上面的描述中，僅使用單位對象的音頻數(shù)據(jù)，但是音頻數(shù)據(jù)可包含聲道音頻的音頻數(shù)據(jù)、高階高保真度(HOA)音頻的音頻數(shù)據(jù)、空間音頻對象編碼(SAOC)的音頻數(shù)據(jù)和音頻數(shù)據(jù)的元數(shù)據(jù)(場景信息、動態(tài)或靜態(tài)元數(shù)據(jù))。在此情況下，例如不僅每個對象的編碼數(shù)據(jù)而且這些數(shù)據(jù)塊的編碼數(shù)據(jù)被布置為子樣本。

<第一實施例>

(3D音頻文件格式的概述)

在描述應(yīng)用本公開的第一實施例之前，MP4的3D音頻文件格式的聲道概述將參考圖31來描述。

在MP4文件中，視頻內(nèi)容的編解碼信息和指示在文件中的位置的位置信息可以針對每個軌道進行管理。在MP4的3D音頻文件格式中，3D音頻(聲道音頻/對象音頻/HOA音頻/元數(shù)據(jù))的所有音頻流(基本流(ES))被記錄為以樣本(幀)為單位的一個軌道。此外，3D的編解碼信息(簡況(profile)/級別(level)/音頻配置(audio configuration))作為樣本條目來存儲。

構(gòu)成3D音頻的聲道音頻為以聲道為單位的音頻數(shù)據(jù)；對象音頻為以對象為單位的音頻數(shù)據(jù)；HOA音頻為球形音頻數(shù)據(jù)；以及元數(shù)據(jù)為聲道音頻/對象音頻/HOA音頻的元數(shù)據(jù)。在此情況下，以對象為單位的音頻數(shù)據(jù)被用作對象音頻，但是替換地可改為使用SAOC的音頻數(shù)據(jù)。

(moov盒的結(jié)構(gòu))

圖32示出MP4文件的moov盒的結(jié)構(gòu)。

如圖32所示，在MP4文件中，圖像數(shù)據(jù)和音頻數(shù)據(jù)被記錄在不同的軌道中。圖32未示出音頻數(shù)據(jù)的軌道的細節(jié)，而是示出類似于圖像數(shù)據(jù)的軌道的音頻數(shù)據(jù)的軌道。樣本條目被包含在被布置在moov盒內(nèi)的stsd盒中的樣本描述中。

附帶地講，在廣播或本地存儲播放中，在解析所有的音頻流并輸出(再現(xiàn))該音頻流時，Web服務(wù)器傳送所有的音頻流，以及視頻播放終端(客戶端)解碼必要的3D音頻的音頻流。在比特率(Bitrate)為高時或本地存儲的讀取速率存在限制時，存在通過僅獲取必要的3D音頻的音頻流來降低解碼過程的負載的需求。

此外，在流播放時，存在以下需求：視頻播放終端(客戶端)僅獲取必要的3D音頻的編碼數(shù)據(jù)，從而獲取對于播放環(huán)境最佳的編碼速率的音頻流。

因此，在本公開中，3D音頻的編碼數(shù)據(jù)被劃分為用于每種類型的數(shù)據(jù)的軌道并且該軌道被布置在音頻文件中，這使得可以有效地僅獲取預定類型的編碼數(shù)據(jù)。因此，在廣播和本地存儲播放時在系統(tǒng)上的負載得以降低。此外，在流播放時，必要的3D音頻的最高質(zhì)量編碼數(shù)據(jù)可以根據(jù)頻帶來播放。此外，由于僅有必要以子片段的軌道為單位在音頻文件內(nèi)記錄3D文件的音頻流的位置信息，因此，與以對象為單位的編碼數(shù)據(jù)被布置在子樣本中的情況相比，可以減少位置信息的量。

(軌道的概述)

圖33為示出在應(yīng)用本公開的第一實施例中的軌道的概述的示意圖。

如圖33所示，在第一實施例中，構(gòu)成3D音頻的聲道音頻/對象音頻/HOA音頻/元數(shù)據(jù)分別被設(shè)置為不同軌道(聲道音頻軌道/對象音頻軌道/HOA音頻軌道/對象元數(shù)據(jù)軌道)的音頻流。音頻元數(shù)據(jù)的音頻流被布置在對象元數(shù)據(jù)軌道中。

此外，提供作為用于布置關(guān)于整個3D音頻的信息的軌道的基本軌道(基本軌道)。在如圖33所示的基本軌道中，在沒有樣本被布置在樣本條目中時，關(guān)于整個3D音頻的信息被布置在樣本條目中。此外，基本軌道、聲道音頻軌道、對象音頻軌道、HOA音頻軌道和對象元數(shù)據(jù)作為相同的音頻文件(3dauio.mp4)來記錄。

軌道參考序號(Track Reference)被布置在例如軌道盒中，并表示在對應(yīng)的軌道和另一軌道之間的參考關(guān)系。具體地，軌道參考序號表示對于在其它被參考軌道中的軌道是唯一的ID(在下文中，被稱為軌道ID)。在圖33所示的示例中，基本軌道、聲道音頻軌道、HOA音頻軌道、對象元數(shù)據(jù)軌道和對象音頻軌道的軌道ID分別為1、2、3、4、10、...?；拒壍赖能壍绤⒖夹蛱枮?、3、4、10、...，以及聲道音頻軌道/HOA音頻軌道/對象元數(shù)據(jù)軌道/對象音頻軌道的軌道參考序號為1，其對應(yīng)于基本軌道的軌道ID。

因此，基本軌道和聲道音頻軌道/HOA音頻軌道/對象元數(shù)據(jù)軌道/對象音頻軌道具有參考關(guān)系。具體地，在播放聲道音頻軌道/HOA音頻軌道/對象元數(shù)據(jù)軌道/對象音頻軌道的過程中，基本軌道被參考。

(基本軌道的樣本條目的示例性語法)

圖34為示出在圖33中示出的基本軌道的樣本條目的示例性語法的示意圖。

作為關(guān)于整個3D音頻的信息，如圖34所示的configurationVersion、MPEGHAudioProfile和MPEGHAudioLevel分別表示3D音頻的整個音頻流的配置信息、簡況(profile)信息和級別(level)信息(正常3D音頻的音頻流)。此外，作為關(guān)于整個3D音頻的信息，如圖34所示的寬度和高度分別表示在視頻內(nèi)容的水平方向的像素的數(shù)量和視頻內(nèi)容的垂直方向的像素的數(shù)量。作為關(guān)于整個3D音頻的信息，θ1、θ2、γ1和γ2分別表示在視頻內(nèi)容的圖像幀尺寸信息中的在圖像幀的左端的水平角θv1、在圖像幀的右端的水平角θv2、在圖像幀的上端的垂直角γv1和在圖像幀的下端的垂直角γv2。

(聲道音頻軌道的樣本條目的示例性語法)

圖35為示出在圖33中示出的聲道音頻軌道(聲道音頻軌道)的樣本條目的示例性語法的示意圖。

圖35示出分別表示聲道音頻的配置信息、簡況信息和級別信息的configurationVersion、MPEGHAudioProfile和MPEGHAudioLevel。

(對象音頻軌道的樣本條目的示例性語法)

圖36為示出在圖33中示出的對象音頻軌道(對象音頻軌道)的樣本條目的示例性語法的示意圖。

在被包含在對象音頻軌道中的一或多個對象音頻中，如圖36所示的ConfigurationVersion、MPEGHAudioProfile和MPEGHAudioLevel分別表示配置信息、簡況信息和級別信息。object_is_fixed指示被包含在對象音頻軌道中的一或多個對象音頻對象是否被固定。在object_is_fixed指示1時，其指示該對象被固定，以及在object_is_fixed指示0時，其指示該對象被位移。mpegh3daConfig表示被包含在對象音頻軌道中的一或多個對象音頻對象的識別信息的配置。

此外，objectTheta1/objectTheta2/objectGamma1/objectGamma2/objectRength表示被包含在對象音頻軌道中的一或多個對象音頻的對象信息。此對象信息為在保持Object_is_fixed＝1時為有效的信息。

maxobjectTheta1、maxobjectTheta2、maxobjectGamma1、maxobjectGamma2/和maxobjectRength表示在被包含在對象音頻軌道中的一或多個對象音頻對象被位移時的對象信息的最大值。

(HOA音頻軌道的樣本條目的示例性語法)

圖37為示出在圖33中示出的HOA音頻軌道的樣本條目的示例性語法的示意圖。

如圖37所示的ConfigurationVersion、MPEGHAudioProfile和MPEGHAudioLevel分別表示HOA音頻的配置信息、簡況信息和級別信息。

(對象元數(shù)據(jù)軌道的樣本條目的示例性語法)

圖38為示出在圖33中示出的對象元數(shù)據(jù)軌道(對象元數(shù)據(jù)軌道)的樣本條目的示例性語法的示意圖。

如圖38所示的ConfigurationVersion表示元數(shù)據(jù)的配置信息。

(3D音頻的音頻文件的片段結(jié)構(gòu)的第一示例)

圖39為示出在應(yīng)用本公開的第一實施例中的3D音頻的音頻文件的片段結(jié)構(gòu)的第一示例的示意圖。

在如圖39所示的片段結(jié)構(gòu)中，初始片段(Initial segment)由ftyp盒和moov盒組成。用于被包含在音頻文件中的每個軌道的trak盒被布置在moov盒中。mvex盒被布置在moov盒中，其中該mvex盒包含指示每個軌道的軌道ID和在媒體片段(media segment)內(nèi)的ssix盒中使用的級別之間的對應(yīng)關(guān)系的信息。

此外，媒體片段由sidx盒、ssix盒以及一或多個子片段組成。指示在每個子片段的音頻文件中的位置的位置信息被布置在sidx盒中。ssix盒包含被布置在mdat盒中的在每個級別的音頻流的位置信息。應(yīng)指出，每個級別對應(yīng)于每個軌道。此外，第一軌道的位置信息為由moof盒的音頻流和第一軌道組成的數(shù)據(jù)的位置信息。

關(guān)于任何時間長度設(shè)置子片段。為所有軌道共用的一對moof盒和mdat盒被設(shè)置在子片段中。在mdat盒中，所有軌道的音頻流關(guān)于任何時間長度而集中布置。在moof盒中，布置音頻流的管理信息。被布置在mdat盒中的每個軌道的音頻流對于每個軌道來說是連續(xù)的。

在圖39的示例中，軌道ID為1的軌道1為基本軌道，以及軌道ID為2至N的軌道2至軌道N分別為聲道音頻軌道、對象音頻軌道、HOA音頻軌道和對象元數(shù)據(jù)軌道。后面描述的圖40的情況同樣如此。

(3D音頻的音頻文件的片段結(jié)構(gòu)的第二示例)

圖40為示出在應(yīng)用本公開的第一實施例中的3D音頻的音頻文件的片段結(jié)構(gòu)的第二示例的示意圖。

如圖40所示的片段結(jié)構(gòu)不同于如圖39所示的片段結(jié)構(gòu)之處在于moof盒和mdat盒被設(shè)置用于每個軌道。

具體地，如圖40所示的初始片段(Initial segment)類似于如圖39所示的初始片段。像如圖39所示的媒體片段，如圖40所示的媒體片段由sidx盒、ssix盒以及一或多個子片段組成。此外，像如圖39所示的sidx盒，每個子片段的位置信息被布置在sidx盒中。ssix盒包含由moof盒和mdat盒組成的每個級別的數(shù)據(jù)的位置信息。

關(guān)于任何時間長度設(shè)置子片段。一對moof盒和mdat盒被設(shè)置用于子片段中的每個軌道。具體地，每個軌道的音頻流以任何時間長度被集中布置(交織并存儲)在每個軌道的mdat盒中，以及音頻流的管理信息被布置在moof盒中。

如圖39和40所示，用于每個軌道的音頻流被以任何時間長度而集中布置，以便與音頻流以樣本為單位集中布置的情況相比，可以提高經(jīng)由HTTP等獲取音頻流的效率。

(mvex盒的示例性描述)

圖41為示出被布置在如圖39和40的mvex盒中的級別分配盒的示例性描述的示意圖。

級別分配盒為用于將每個軌道的軌道ID與用在ssix盒中使用的級別相關(guān)聯(lián)的盒。在圖41的示例中，軌道ID為1的基本軌道與級別0相關(guān)聯(lián)，以及軌道ID為2的聲道音頻軌道與級別1相關(guān)聯(lián)。此外，軌道ID為3的HOA音頻軌道與級別2相關(guān)聯(lián)，以及軌道ID為4的對象元數(shù)據(jù)軌道與級別3相關(guān)聯(lián)。此外，軌道ID為10的對象音頻軌道與級別4相關(guān)聯(lián)。

(MPD文件的示例性描述)

圖42為示出在應(yīng)用本公開的第一實施例中的MDF文件的示例性描述的示意圖。

如圖42所示，用于管理3D音頻的音頻文件(3daudio.mp4)的片段的“Representation”(“表示”)、用于管理被包含在片段中的軌道的“SubRepresentation”(“子表示”)等在MPD文件中描述。

在“Representation”(“表示”)和“SubRepresentation”(“子表示”)中，包含“codecs”(“編解碼器”)，其表示在3D音頻文件格式中定義的代碼中的對應(yīng)片段或軌道的編解碼器的類型。此外，“Representation”(“表示”)中包含“id”、“associationId”和“assciationType”。

“id”表示包含“id”的“Representation”(“表示”)的ID?！癮ssociationId”表示指示對應(yīng)軌道和另一軌道之間的參考關(guān)系的信息并且表示參考軌道的“id”?！癮ssciationType”表示指示關(guān)于參考軌道的參考關(guān)系(相關(guān)性關(guān)系)的含義的代碼。例如，使用與MP4的軌道參考序號的值相同的值。

此外，在“SubRepresentation”(“子表示”)中包含“l(fā)evel”(“級別”)，其為設(shè)置在級別分配盒中的值，作為表示對應(yīng)軌道和對應(yīng)級別的值。在“SubRepresentation”(“子表示”)中包含“dependencyLevel”，其為表示對應(yīng)于具有參考關(guān)系(相關(guān)性)的另一軌道(在下文中，被稱為參考軌道)的級別的值。

此外，“SubRepresentation”(“子表示”)包含作為選擇3D音頻所需的信息的<EssentialProperty schemeIdUri＝"urn:mpeg:DASH:3daudio:2014"value＝"audioType,contentkind,priority">。

此外，在對象音頻軌道中的“SubRepresentation”(“子表示”)包含<EssentialProperty schemeIdUri＝"urn:mpeg:DASH:viewingAngle:2014"value＝"θ,γ,r">。在對應(yīng)于“SubRepresentation”(“子表示”)的對象被固定時，θ、γ和r分別表示在對象位置信息中的水平角、垂直角和距離。另一方面，在對象被位移時，值θ、γ和r分別表示對象位置信息的最大值之中的水平角的最大值、垂直角的最大值和距離的最大值。

圖43為示出在圖42中示出的基本屬性的定義的示意圖。

在圖43的左上側(cè)，定義<EssentialProperty schemeIdUri＝"urn:mpeg:DASH:3daudio:2014"value＝"audioType,contentkind,priority">的audioType(音頻類型)。audioType表示對應(yīng)軌道的3D音頻的類型。

在圖43的示例中，在audioType指示1時，其指示對應(yīng)軌道的音頻數(shù)據(jù)為3D音頻的聲道音頻，以及在audioType指示2時，其指示對應(yīng)軌道的音頻數(shù)據(jù)為HOA音頻。此外，在audioType指示3時，其指示對應(yīng)軌道的音頻數(shù)據(jù)為對象音頻，以及在audioType為4時，其指示對應(yīng)軌道的音頻數(shù)據(jù)為元數(shù)據(jù)。

此外，在圖43的右側(cè)，定義<EssentialProperty schemeIdUri＝"urn:mpeg:DASH:3daudio:2014"value＝"audioType,contentkind,priority">的contentkind(內(nèi)容種類)。contentkind表示對應(yīng)音頻的內(nèi)容。例如，在圖43的示例中，在contentkind指示3時，對應(yīng)音頻為音樂。

如圖43的左下側(cè)所示，priority(優(yōu)先級)由23008-3定義并表示對應(yīng)對象的處理優(yōu)先級。僅當值未在音頻流的過程中改變時，才描述表示對象的處理優(yōu)先級的值，當該值在音頻流的過程中改變時，描述為“0”的值。

(信息處理系統(tǒng)的概述)

圖44為示出根據(jù)應(yīng)用本公開的第一實施例的信息處理系統(tǒng)的概述的示意圖。

在圖44中示出的與圖1所示組件相同的組件由相同的附圖標號表示。在適當時，省略重復的解釋。

如圖44所示的信息處理系統(tǒng)140具有如下配置：(被連接到文件生成裝置141的)Web服務(wù)器142經(jīng)由互聯(lián)網(wǎng)13連接到視頻播放終端144的配置。

在信息處理系統(tǒng)140中，Web服務(wù)器142通過兼容MPEG-DASH的方法以瓦片為單位向視頻播放終端144傳送視頻內(nèi)容的視頻流(瓦片流傳輸)。此外，在信息處理系統(tǒng)140中，Web服務(wù)器142向視頻播放終端144傳送與待播放的瓦片對應(yīng)的對象音頻的音頻流、聲道音頻或的HOA音頻。

信息處理系統(tǒng)140的文件生成裝置141類似于如圖11所示的文件生成裝置11，除了例如音頻文件生成單元56在第一實施例中生成音頻文件以及MPD生成單元57在第一實施例中生成MPD文件之外。

具體地，文件生成裝置141獲取視頻內(nèi)容的圖像數(shù)據(jù)并以瓦片為單位編碼圖像數(shù)據(jù)以生成視頻流。文件生成裝置141將每個瓦片的視頻流處理為文件格式。文件生成裝置141向Web服務(wù)器142上傳作為處理結(jié)果獲得的每個瓦片的圖像文件。

此外，文件生成裝置141獲取視頻內(nèi)容的3D音頻并針對3D音頻的每種類型(聲道音頻/對象音頻/HOA音頻/元數(shù)據(jù))對3D音頻進行編碼以生成音頻流。文件生成裝置141針對每種類型的3D音頻向音頻流分配軌道。文件生成裝置141生成如圖39或40所示的片段結(jié)構(gòu)(其中，每個軌道的音頻流以子片段為單位來布置)的音頻文件并向Web服務(wù)器142上傳該音頻文件，。

文件生成裝置141生成MPD文件，其包含圖像幀尺寸信息、瓦片位置信息和對象位置信息。文件生成裝置141向Web服務(wù)器142上傳MPD文件。

Web服務(wù)器142存儲圖像文件、音頻文件和從文件生成裝置141上傳的MPD文件。

在圖44的示例中，We服務(wù)器142存儲由瓦片#1的多個片段的圖像文件形成的片段組和由瓦片#2的多個片段的圖像文件形成的片段組。Web服務(wù)器142也存儲由3D音頻的音頻文件形成的片段組。

Web服務(wù)器142響應(yīng)于來自視頻播放終端144的請求，向視頻播放終端144發(fā)送存儲在該Web服務(wù)器中的圖像文件、音頻文件、MPD文件等。

視頻播放終端144執(zhí)行控制軟件161、視頻播放軟件162、訪問軟件163等。

控制軟件161為用于控制從Web服務(wù)器142流傳輸?shù)臄?shù)據(jù)的軟件。具體地，控制軟件161促使視頻播放終端144從Web服務(wù)器142獲取MPD文件。

此外，控制軟件161基于從視頻播放軟件162命令的顯示區(qū)域和被包含在MPD文件中的瓦片位置信息來指定在該顯示區(qū)域中的瓦片。接著，控制軟件161命令訪問軟件163發(fā)送該瓦片的圖像文件的請求。

在對象音頻待播放時，控制軟件161命令訪問軟件163發(fā)送音頻文件中圖像幀尺寸信息的請求。此外，控制軟件161命令訪問軟件163發(fā)送元數(shù)據(jù)的音頻流的請求。控制軟件161基于圖像幀尺寸信息和被包含在元數(shù)據(jù)的音頻流中的對象位置信息來指定對應(yīng)于顯示區(qū)域中的圖像的對象，該對象位置信息根據(jù)指令和顯示區(qū)域從Web服務(wù)器142發(fā)送。接著，控制軟件161命令訪問軟件163發(fā)送對該對象的音頻流的請求。

此外，在聲道音頻或HOA音頻待播放時，控制軟件161命令訪問軟件163發(fā)送對該聲道音頻或HOA音頻的音頻流的請求。

視頻播放軟件162為用于播放從Web服務(wù)器142獲取的圖像文件和音頻文件的軟件。具體地，在顯示區(qū)域由使用者指定時，視頻播放軟件162命令控制軟件161發(fā)送該顯示區(qū)域。此外，視頻播放軟件162根據(jù)指令解碼從Web服務(wù)器142獲取的圖像文件和音頻文件。視頻播放軟件162合成作為解碼的結(jié)果所獲得的以瓦片為單位的圖像數(shù)據(jù)并輸出該圖像數(shù)據(jù)。此外，在需要時，視頻播放軟件162合成作為解碼的結(jié)果所獲得的對象音頻、聲道音頻或HOA音頻并輸出該音頻。

訪問軟件163為用于控制使用HTTP經(jīng)由互聯(lián)網(wǎng)13與Web服務(wù)器142通信的軟件。具體地，訪問軟件163促使視頻播放終端144響應(yīng)于控制軟件161的指令發(fā)送關(guān)于圖像文件和音頻文件中的圖像幀尺寸信息或預定的音頻流的請求。此外，訪問軟件163促使視頻播放終端144響應(yīng)于該發(fā)送請求，接收從Web服務(wù)器12所發(fā)送的圖像文件和音頻文件中的圖像幀尺寸信息或預定的音頻流。

(文件生成裝置的配置示例)

圖45為示出在圖44中示出的文件生成裝置141的配置示例的框圖。

在圖45中示出的與圖11所示組件相同的組件由相同的附圖標號表示。在適當時，省略重復的解釋。

如圖45所示的文件生成裝置141的配置不同于如圖11所示的文件生成裝置11的配置之處在于，提供音頻編碼處理單元171、音頻文件生成單元172、MPD生成單元173和服務(wù)器上傳處理單元174以取代音頻編碼處理單元55、音頻文件生成單元56、MPD生成單元57和服務(wù)器上傳處理單元58。

具體地，文件生成裝置141的音頻編碼處理單元171針對每種類型(聲道音頻/對象音頻/HOA音頻/元數(shù)據(jù))對從外面輸入的視頻內(nèi)容的3D音頻進行編碼以生成音頻流。音頻編碼處理單元171向音頻文件生成單元172提供關(guān)于每種類型的3D音頻的音頻流。

音頻文件生成單元172針對每種類型的3D音頻向從音頻編碼處理單元171提供的音頻流分配軌道。音頻文件生成單元172生成如圖39或40所示的片段結(jié)構(gòu)的音頻文件，其中，每個軌道的音頻流以子片段為單位來布置。此時，音頻文件生成單元172將從外面輸入的圖像幀尺寸信息存儲在樣本條目中。音頻文件生成單元172向MPD生成單元173提供所生成的音頻文件。

MPD生成單元173確定存儲從圖像文件生成單元53提供的每個瓦片的圖像文件的Web服務(wù)器142的URL等。此外，MPD生成單元173確定存儲從音頻文件生成單元172提供的音頻文件的Web服務(wù)器142的URL等。

MPD生成單元173在用于MPD文件的圖像的“Adaptation Set”(“自適應(yīng)集”)中布置從圖像信息生成單元54提供的圖像信息。此外，MPD生成單元173在用于瓦片的圖像文件的“Representation”(“表示”)的“Segment”(“片段”)中布置每個瓦片的圖像文件的URL等。

MPD生成單元173在用于音頻文件的“Representation”(“表示”)的“Segment”(“片段”)中布置該音頻文件的URL等。此外，MPD生成單元173在用于對象的對象元數(shù)據(jù)軌道的“SubRepresentation”(“子表示”)中布置從外面輸入的每個對象的對象位置信息等。MPD生成單元173向服務(wù)器上傳處理單元174提供MPD文件(在MPD文件中，各種信息塊如上所述進行布置)以及圖像文件和音頻文件。

服務(wù)器上傳處理單元174向Web服務(wù)器142上傳從MPD生成單元173提供的圖像文件、音頻文件和每個瓦片的MPD文件。

(文件生成裝置的過程的解釋)

圖46為示出在圖141中示出的文件生成裝置45的文件生成過程的流程圖。

如圖46所示的步驟S191至S195的過程類似于如圖12所示的步驟S11至S15的過程，并因此其描述被省略。

在步驟S196中，音頻編碼處理單元171針對每種類型(聲道音頻/對象音頻/HOA音頻/元數(shù)據(jù))將從外面輸入的視頻內(nèi)容的3D音頻進行編碼以生成音頻流。音頻編碼處理單元171針對每種類型的3D音頻向音頻文件生成單元172提供音頻流。

在步驟S197中，音頻文件生成單元172針對每種類型的3D音頻向從音頻編碼處理單元171提供的音頻流分配軌道。

在步驟S198中，音頻文件生成單元172生成如圖39或40所示的片段結(jié)構(gòu)的音頻文件，在所述音頻文件中，每個軌道的音頻流以子片段為單位來布置。此時，音頻文件生成單元172將從外面輸入的圖像幀尺寸信息存儲在樣本條目中。音頻文件生成單元172向MPD生成單元173提供所生成的音頻文件。

在步驟S199中，MPD生成單元173生成包含從圖像信息生成單元54提供的圖像信息的MPD文件、每個文件的URL和對象位置信息。MPD生成單元173向服務(wù)器上傳處理單元174提供圖像文件、音頻文件和MPD文件。

在步驟S200中，服務(wù)器上傳處理單元174向Web服務(wù)器142上傳從MPD生成單元173提供的圖像文件、音頻文件和MPD文件。接著該過程終止。

(視頻播放終端的功能配置示例)

圖47為示出流播放單元的配置示例的框圖，該流播放單元以如圖44所示的視頻播放終端144執(zhí)行控制軟件161、視頻播放軟件162和訪問軟件163的方式實施。

在圖47中示出的與圖13所示組件相同的組件由相同的附圖標號表示。在適當時，省略重復的解釋。

如圖47所示的流播放單元190的配置不同于如圖13所示的流播放單元90的配置在于：提供MPD處理單元191、音頻選擇單元193、音頻文件獲取單元192、音頻解碼處理單元194和音頻合成處理單元195以取代MPD處理單元92、音頻選擇單元94、音頻文件獲取單元95、音頻解碼處理單元96和音頻合成處理單元97以及未提供的元文件獲取單元93。

流播放單元190類似于如圖13所示的流播放單元90，除了例如獲取所選對象的待播放音頻數(shù)據(jù)的方法之外。

具體地，流播放單元190的MPD處理單元191從提供自MPD獲取單元91的MPD文件提取信息(諸如在用于音頻元文件的“Segment”(“片段”)中描述的待播放的片段的音頻文件的URL)，并向音頻文件獲取單元192提供所提取的信息。

MPD處理單元191從MPD文件提取在用于圖像的“Adaptation Set”(“自適應(yīng)集”)中描述的瓦片位置信息，并向圖像選擇單元98提供所提取的信息。MPD處理單元191從MPD文件提取信息(諸如在用于從圖像選擇單元98所請求的瓦片的圖像文件的“Segment”(“片段”)中描述的URL)，并向圖像選擇單元98提供所提取的信息。

在對象音頻待播放時，音頻文件獲取單元192基于諸如從MPD處理單元191提供的URL的信息，請求Web服務(wù)器142發(fā)送由該URL指定的音頻文件中的基本軌道的初始片段(Initial Segment)并獲取該基本軌道的初始片段。

此外，基于諸如音頻文件的URL的信息，音頻文件獲取單元192請求Web服務(wù)器142發(fā)送在由該URL指定的音頻文件中的對象元數(shù)據(jù)軌道的音頻流，并獲取該對象元數(shù)據(jù)軌道的音頻流。音頻文件獲取單元192向音頻選擇單元193提供被包含在對象元數(shù)據(jù)軌道的音頻流中的對象位置信息、被包含在基本軌道的初始片段中的圖像幀尺寸信息和諸如音頻文件的URL的信息。

此外，在聲道音頻待播放時，音頻文件獲取單元192基于諸如該音頻文件的URL的信息，請求Web服務(wù)器142發(fā)送由該URL指定的音頻文件中的聲道音頻軌道的音頻流并獲取聲道音頻軌道的音頻流。音頻文件獲取單元192向音頻解碼處理單元194提供所獲取的聲道音頻軌道的音頻流。

在HOA音頻待播放時，音頻文件獲取單元192執(zhí)行類似于在聲道音頻待播放時執(zhí)行的過程。因此，HOA音頻軌道的音頻流被提供給音頻解碼處理單元194。

應(yīng)指出，確定對象音頻、聲道音頻和HOA音頻中的哪一個例如根據(jù)使用者的指令來播放。

音頻選擇單元193基于圖像幀尺寸信息和從音頻文件獲取單元192提供的對象位置信息計算在圖像上的每個對象的位置。音頻選擇單元193基于在圖像上的每個對象的位置選擇由使用者指定的顯示區(qū)域中的對象?；谥T如從音頻文件獲取單元192提供的音頻文件的URL的信息，音頻選擇單元193請求Web服務(wù)器142發(fā)送在由該URL指定的音頻文件中的所選對象的對象音頻軌道的音頻流，并獲取該對象音頻軌道的音頻流。音頻選擇單元193向音頻解碼處理單元194提供所獲取的對象音頻軌道的音頻流。

音頻解碼處理單元194解碼從音頻文件獲取單元192提供的聲道音頻軌道或HOA音頻軌道的音頻流，或解碼從音頻選擇單元193提供的對象音頻軌道的音頻流。音頻解碼處理單元194向音頻合成處理單元195提供作為解碼的結(jié)果所獲得的聲道音頻、HOA音頻和對象音頻中的一個。

在需要時，音頻合成處理單元195合成對象音頻、聲道音頻或從音頻解碼處理單元194提供的HOA音頻并輸出該音頻。

(視頻播放終端的過程的解釋)

圖48為示出在圖47中示出的流播放單元190的聲道音頻播放過程的流程圖。例如，在使用者將聲道音頻選擇為待播放的對象時，該聲道音頻播放過程被執(zhí)行。

在圖48的步驟S221中，MPD處理單元191分析從MPD獲取單元91提供的MPD文件，并基于基本屬性和在“SubRepresentation”(“子表示”)中描述的編解碼來指定待播放的片段的聲道音頻的“SubRepresentation”(“子表示”)。此外，MPD處理單元191從MPD文件提取諸如在用于待播放的片段的音頻文件的“Segment”(“片段”)中描述的URL的信息，并向音頻文件獲取單元192提供所提取的信息。

在步驟S222中，MPD處理單元191基于在步驟S221中指定的“SubRepresentation”(“子表示”)的dependencyLevel指定作為參考軌道的基本軌道的級別，并向音頻文件獲取單元192提供基本軌道的指定級別。

在步驟S223中，音頻文件獲取單元192基于諸如從MPD處理單元191提供的URL的信息，請求Web服務(wù)器142發(fā)送待播放的片段的初始片段并獲取該初始片段。

在步驟S224中，音頻文件獲取單元192從初始片段中的級別分配盒(Level assignment box)獲取與聲道音頻軌道和作為參考軌道的基本軌道的級別對應(yīng)的軌道ID。

在步驟S225中，音頻文件獲取單元192基于聲道音頻軌道和作為參考軌道的基本軌道的軌道ID獲取對應(yīng)于初始片段的軌道ID的軌道盒(track box)中的初始片段的樣本條目。音頻文件獲取單元192向音頻解碼處理單元194提供包含在所獲取的樣本條目中的編解碼信息。

在步驟S226中，基于諸如從MPD處理單元191提供的URL的信息，音頻文件獲取單元192向Web服務(wù)器142發(fā)送請求并從待播放的片段的音頻文件的頭部獲取sidx盒和ssix盒。

在步驟S227中，音頻文件獲取單元192從在步驟S223中獲取的sidx盒和ssix盒獲取待播放的片段的參考軌道和聲道音頻軌道的位置信息。在此情況下，由于作為參考軌道的基本軌道并不包含任何音頻流，因此不存在參考軌道的位置信息。

在步驟S228中，音頻文件獲取單元192基于聲道音頻軌道的位置信息和諸如待播放的片段的音頻文件的URL的信息，請求Web服務(wù)器142發(fā)送被布置在mdat盒中的聲道音頻軌道的音頻流，并獲取該聲道音頻軌道的音頻流。音頻文件獲取單元192向音頻解碼處理單元194提供所獲取的聲道音頻軌道的音頻流。

在步驟S229中，音頻解碼處理單元194基于從音頻文件獲取單元192提供的編解碼信息，解碼聲道音頻軌道的音頻流。音頻文件獲取單元192向音頻合成處理單元195提供作為解碼的結(jié)果所獲得的聲道音頻。

在步驟S230中，音頻合成處理單元195輸出聲道音頻。接著該過程終止。

應(yīng)指出，雖然未示出，用于通過流播放單元190播放HOA音頻的HOA音頻播放過程以類似于如圖48所示的聲道音頻播放過程的方式來執(zhí)行。

圖49為示出在圖47中示出的流播放單元190的對象指定過程的流程圖。例如，在使用者將對象音頻選擇為待播放的對象并且播放區(qū)域被改變時，該對象指定過程被執(zhí)行。

在圖49的步驟S251中，音頻選擇單元193獲取使用者通過使用者的操作等所指定的顯示區(qū)域。

在步驟S252中，MPD處理單元191分析從MPD獲取單元91提供的MPD文件，并基于基本屬性和在“SubRepresentation”(“子表示”)中描述的編解碼來指定待播放的片段的元數(shù)據(jù)的“SubRepresentation”(“子表示”)。此外，MPD處理單元191從MPD文件提取信息(諸如在用于音頻元文件的“Segment”(“片段”)中描述的待播放的片段的音頻文件的URL)，并向音頻文件獲取單元192提供所提取的信息。

在步驟S253中，MPD處理單元191基于在步驟S252中指定的“SubRepresentation”(“子表示”)的dependencyLevel指定作為參考軌道的基本軌道的級別，并向音頻文件獲取單元192提供基本軌道的指定級別。

在步驟S254中，音頻文件獲取單元192基于諸如從MPD處理單元191提供的URL的信息，請求Web服務(wù)器142發(fā)送待播放的片段的初始片段并獲取該初始片段。

在步驟S255中，音頻文件獲取單元192從初始片段中的級別分配盒(Level assignment box)獲取與對象元數(shù)據(jù)軌道和作為參考軌道的基本軌道的級別對應(yīng)的軌道ID。

在步驟S256中，音頻文件獲取單元192基于對象元數(shù)據(jù)軌道和作為參考軌道的基本軌道的軌道ID獲取與初始片段的軌道ID對應(yīng)的軌道盒中的初始片段的樣本條目。音頻文件獲取單元192向音頻選擇單元193提供被包含在作為參考軌道的基本軌道的樣本條目中的圖像幀尺寸信息。此外，音頻文件獲取單元192向音頻選擇單元193提供初始片段。

在步驟S257中，基于諸如從MPD處理單元191提供的URL的信息，音頻文件獲取單元192向Web服務(wù)器142發(fā)送請求并從待播放的片段的音頻文件的頭部獲取sidx盒和ssix盒。

在步驟S258中，音頻文件獲取單元192從在步驟S257中獲取的sidx盒和ssix盒獲取參考軌道和待播放的子片段的對象元數(shù)據(jù)軌道的位置信息。在此情況下，由于作為參考軌道的基本軌道并不包含任何音頻流，因此不存在參考軌道的位置信息。音頻文件獲取單元192向音頻選擇單元193提供sidx盒和ssix盒。

在步驟S259中，音頻文件獲取單元192基于對象元數(shù)據(jù)軌道的位置信息和諸如待播放的片段的音頻文件的URL的信息請求Web服務(wù)器142發(fā)送被布置在mdat盒中的對象元數(shù)據(jù)軌道的音頻流，并獲取該對象元數(shù)據(jù)軌道的音頻流。

在步驟S260中，音頻文件獲取單元192基于被包含在步驟S256中獲取的樣本條目中的編解碼信息，解碼在步驟S259中獲取的對象元數(shù)據(jù)軌道的音頻流。音頻文件獲取單元192向音頻選擇單元193提供包含在作為解碼的結(jié)果所獲得的元數(shù)據(jù)中的對象位置信息。此外，音頻文件獲取單元192向音頻選擇單元193提供諸如從MPD處理單元191提供的音頻文件的URL的信息。

在步驟S261中，音頻選擇單元193基于圖像幀尺寸信息和從音頻文件獲取單元192提供的對象位置信息并基于由使用者指定的顯示區(qū)域來選擇在該顯示區(qū)域中的對象。接著該過程終止。

圖50為示出在圖49中示出的對象指定過程之后由流播放單元190執(zhí)行的指定對象音頻播放過程的流程圖。

在圖50的步驟S281中，MPD處理單元191分析從MPD獲取單元91提供的MPD文件，并基于基本屬性和在“SubRepresentation”(“子表示”)中描述的編解碼來指定所選對象的對象音頻的“SubRepresentation”(“子表示”)。

在步驟S282中，MPD處理單元191基于在步驟S281中指定的“SubRepresentation”(“子表示”)的dependencyLevel指定作為參考軌道的基本軌道的級別，并向音頻文件獲取單元192提供基本軌道的指定級別。

在步驟S283中，音頻文件獲取單元192從初始片段中的級別分配盒(Level assignment box)獲取與對象音頻軌道和作為參考軌道的基本軌道的級別對應(yīng)的軌道ID，并向音頻選擇單元193提供該軌道ID。

在步驟S284中，音頻選擇單元193基于對象音頻軌道和作為參考軌道的基本軌道的軌道ID獲取與初始片段的軌道ID對應(yīng)的軌道盒中的初始片段的樣本條目。該初始片段從如圖49所示的步驟S256中的音頻文件獲取單元192提供。音頻選擇單元193向音頻解碼處理單元194提供包含在所獲取的樣本條目中的編解碼信息。

在步驟S285中，音頻選擇單元193從步驟S258中從音頻文件獲取單元192提供的sidx盒和ssix盒，獲取參考軌道和待播放的子片段的所選對象的對象音頻軌道的位置信息。在此情況下，由于作為參考軌道的基本軌道并不包含任何音頻流，因此不存在參考軌道的位置信息。

在步驟S286中，音頻選擇單元193基于對象音頻軌道的位置信息和諸如待播放的片段的音頻文件的URL的信息請求Web服務(wù)器142發(fā)送被布置在mdat盒中的所選對象的對象音頻軌道的音頻流，并獲取該對象音頻軌道的音頻流。音頻選擇單元193向音頻解碼處理單元194提供所獲取的對象音頻軌道的音頻流。

在步驟S287中，音頻解碼處理單元194基于從音頻選擇單元193提供的編解碼信息解碼對象音頻軌道的音頻流。音頻選擇單元193向音頻合成處理單元195提供作為解碼的結(jié)果所獲得的對象音頻。

在步驟S288中，音頻合成處理單元195合成從音頻解碼處理單元194提供的對象音頻并輸出該對象音頻。接著該過程終止。

如上所述，在信息處理系統(tǒng)140中，文件生成裝置141生成音頻文件，其中，3D音頻根據(jù)3D音頻的類型被劃分為多個軌道并且布置該軌道。視頻播放終端144在音頻文件中的預定類型的3D音頻的音頻流。因此，視頻播放終端144可以有效獲取預定類型的3D音頻的音頻流。因此，可以說文件生成裝置141生成能夠提高獲取預定類型的3D音頻的音頻流的效率的音頻文件。

<第二實施例>

(軌道的概述)

圖51為示出在應(yīng)用本公開的第二實施例中的軌道的概述的示意圖。

如圖51所示，第二實施例不同于第一實施例之處在于基本樣本被記錄為基本軌道的樣本。基本樣本由被聲道音頻/對象音頻/HOA音頻/元數(shù)據(jù)的樣本參考的信息形成。參考包含在基本樣本中的參考信息的聲道音頻/對象音頻/HOA音頻/元數(shù)據(jù)的樣本以參考信息的布置的順序來布置，從而使得有可能在3D音頻被劃分為軌道之前生成該3D音頻的音頻流。

(基本軌道的樣本條目的示例性語法)

圖52為示出在圖51中示出的基本軌道的樣本條目的示例性語法的示意圖。

如圖52所示的語法與如圖34所示的語法相同，除了描述表示樣本條目為如圖51所示的基本軌道的樣本條目的“mha2”，而不是描述表示樣本條目為如圖33所示的基本軌道的樣本條目的“mha1”之外。

(基本條目的示例性結(jié)構(gòu))

圖53為示出基本樣本的示例性結(jié)構(gòu)的示意圖。

如圖53所示，基本樣本使用以作為子樣本的樣本為單位的聲道音頻/對象音頻/HOA音頻/元數(shù)據(jù)的提取器來配置。聲道音頻/對象音頻/HOA音頻/元數(shù)據(jù)的提取器由提取器的類型和對應(yīng)聲道音頻軌道/對象音頻軌道/HOA音頻軌道/對象元數(shù)據(jù)軌道的子樣本的偏移和大小組成。該偏移為在基本樣本的子樣本的文件中的基本樣本的位置和在該樣本的文件中的聲道音頻軌道/對象音頻軌道/HOA音頻軌道/對象元數(shù)據(jù)軌道的位置之間的差值。換句話說，該偏移為指示與包含該偏移的基本樣本的子樣本對應(yīng)的另一軌道的樣本的文件內(nèi)的位置的信息。

圖54為示出基本樣本的示例性語法的示意圖。

如圖54所示，在基本樣本中，用于在對象音頻軌道的樣本中存儲對象音頻的SCE元素被用于存儲提取器的EXT元素代替。

圖55為示出提取器數(shù)據(jù)的示例的示意圖。

如圖55所示，提取器的類型和對應(yīng)的聲道音頻軌道/對象音頻軌道/HOA音頻軌道/對象元數(shù)據(jù)軌道的子樣本的偏移和大小在該提取器中描述。

應(yīng)指出，提取器可以利用網(wǎng)絡(luò)抽象層(NAL)結(jié)構(gòu)擴展，該NAL結(jié)構(gòu)在高級視頻編碼(AVC)/高效視頻編碼(HEVC)中定義，以便可以存儲音頻元素和配置信息。

在第二實施例中的信息處理系統(tǒng)和由該信息處理系統(tǒng)執(zhí)行的過程類似于第一實施例，并因此省略其描述。

<第三實施例>

(軌道的概述)

圖56為示出在應(yīng)用本公開的第三實施例中的軌道的概述的示意圖。

如圖56所示，第三實施例不同于第一實施例之處在于，基本樣本和元數(shù)據(jù)的樣本被記錄為基本軌道的樣本并且未提供對象元數(shù)據(jù)軌道。

在第三實施例中的信息處理系統(tǒng)和由該信息處理系統(tǒng)執(zhí)行的過程類似于第一實施例，除了基本軌道而不是對象元數(shù)據(jù)軌道的音頻流被獲取，以便獲取對象位置信息。因此，省略其描述。

<第四實施例>

(軌道的概述)

圖57為示出在應(yīng)用本公開的第四實施例中的軌道的概述的示意圖。

如圖57所示，第四實施例不同于第一實施例之處在于，軌道被記錄為不同文件(3da_base.mp4/3da_channel.mp4/3da_object_1.mp4/3da_hoa.mp4/3da_meta.mp4)。在此情況下，只有期望軌道的音頻數(shù)據(jù)可以經(jīng)由HTTP通過獲取期望軌道的文件才獲取。因此，期望軌道的音頻數(shù)據(jù)可以經(jīng)由HTTP有效獲取。

(MPD文件的示例性描述)

圖58為示出根據(jù)應(yīng)用本公開的第四實施例的MDF文件的示例性描述的示意圖。

如圖58所示，管理3D音頻的每個音頻文件(3da_base.mp4/3da_channel.mp4/3da_object_1.mp4/3da_hoa.mp4/3da_meta.mp4)的片段的“Representation”(“表示”)等在MPD文件中描述。

“Representation”(“表示”)包含“codecs”、“id”、“associationId”和“assciationType”。此外，聲道音頻軌道/對象音頻軌道/HOA音頻軌道/對象元數(shù)據(jù)軌道的“Representation”(“表示”)也包含"<EssentialProperty schemeIdUri＝"urn:mpeg:DASH:3daudio:2014"value＝"audioType,contentkind,priority">"。此外，對象音頻軌道的“Representation”(“表示”)包含<EssentialProperty schemeIdUri＝"urn:mpeg:DASH:viewingAngle:2014"value＝"θ,γ,r">。

(信息處理系統(tǒng)的概述)

圖59為示出在應(yīng)用本公開的第四實施例中的信息處理系統(tǒng)的概述的示意圖。

在圖59中示出的與圖1所示組件相同的組件由相同的附圖標號表示。在適當時，省略重復的說明。

如圖59所示的信息處理系統(tǒng)210具有如下配置：其中連接到文件生成裝置211的Web服務(wù)器212以及視頻播放終端214經(jīng)由互聯(lián)網(wǎng)13連接。

在信息處理系統(tǒng)210中，Web服務(wù)器212通過兼容MPEG-DASH的方法向視頻播放終端214以瓦片為單位傳送視頻內(nèi)容的視頻流(瓦片流傳輸)。此外，在信息處理系統(tǒng)210中，Web服務(wù)器212向視頻播放終端214傳送對應(yīng)于待播放文件的對象音頻、聲道音頻或HOA音頻的音頻文件。

具體地，文件生成裝置211獲取視頻內(nèi)容的圖像數(shù)據(jù)并以瓦片為單位編碼圖像數(shù)據(jù)以生成視頻流。文件生成裝置211將每個瓦片的視頻流處理為用于每個片段的文件格式。文件生成裝置211向Web服務(wù)器212上傳作為上述處理結(jié)果獲得的每個文件的圖像文件。

此外，文件生成裝置211獲取視頻內(nèi)容的3D音頻并針對3D音頻的每種類型(聲道音頻/對象音頻/HOA音頻/元數(shù)據(jù))每種類型編碼3D音頻以生成音頻流。文件生成裝置211向每種類型的3D音頻的音頻流分配軌道。文件生成裝置211針對每個軌道生成音頻文件(在該音頻文件中布置有音頻流)并向Web服務(wù)器212上傳所生成的音頻文件。

文件生成裝置211生成MPD文件，其包含圖像幀尺寸信息、瓦片位置信息和對象位置信息。文件生成裝置211向Web服務(wù)器212上傳MPD文件。

Web服務(wù)器212存儲從文件生成裝置211上傳的圖像文件、關(guān)于每種類型的3D音頻的音頻文件和MPD文件。

在圖59的示例中，We服務(wù)器212存儲由瓦片#1的多個片段的圖像文件形成的片段組和由瓦片#2的多個片段的圖像文件形成的片段組。Web服務(wù)器212也存儲由聲道音頻的音頻文件形成的片段組和對象#1的音頻文件的片段組。

Web服務(wù)器212響應(yīng)于來自視頻播放終端214的請求，向視頻播放終端214傳送存儲在該Web服務(wù)器中的圖像文件、預定類型的3D音頻的音頻文件、MPD文件等。

視頻播放終端214執(zhí)行控制軟件221、視頻播放軟件222、訪問軟件223等。

控制軟件221為用于控制從Web服務(wù)器212流傳輸?shù)臄?shù)據(jù)的軟件。具體地，控制軟件221促使視頻播放終端214從Web服務(wù)器212獲取MPD文件。

此外，控制軟件221基于從視頻播放軟件222命令的顯示區(qū)域和被包含在MPD文件中的瓦片位置信息來指定在該MPD文件中的瓦片。接著，控制軟件221命令訪問軟件223發(fā)送用于傳送該瓦片的圖像文件的請求。

在對象音頻待播放時，控制軟件221命令訪問軟件223發(fā)送用于發(fā)送基本軌道的音頻文件的請求。接著，控制軟件221命令訪問軟件223發(fā)送用于發(fā)送對象元數(shù)據(jù)軌道的音頻文件的請求?？刂栖浖?21獲取基本軌道的音頻文件中的圖像幀尺寸信息和被包含在元數(shù)據(jù)的音頻文件中的對象位置信息，該圖像幀尺寸信息根據(jù)指令從Web服務(wù)器142發(fā)送。控制軟件221基于圖像幀尺寸信息、對象位置信息和顯示區(qū)域來指定對應(yīng)于在該顯示區(qū)域中的圖像的對象。此外，控制軟件221命令訪問軟件223發(fā)送用于發(fā)送該對象的音頻文件的請求。

此外，在聲道音頻或HOA音頻待播放時，控制軟件221命令訪問軟件223發(fā)送用于發(fā)送該聲道音頻或HOA音頻的音頻文件的請求。

視頻播放軟件222為用于播放從Web服務(wù)器212獲取的圖像文件和音頻文件的軟件。具體地，在顯示區(qū)域由使用者指定時，視頻播放軟件222將關(guān)于顯示區(qū)域的指令給予控制軟件221。此外，視頻播放軟件222根據(jù)指令解碼從Web服務(wù)器212獲取的圖像文件和音頻文件。視頻播放軟件222合成作為解碼的結(jié)果所獲得的以瓦片為單位的圖像數(shù)據(jù)并輸出該圖像數(shù)據(jù)。此外，在需要時，視頻播放軟件222合成作為解碼的結(jié)果所獲得的對象音頻、聲道音頻或HOA音頻并輸出該音頻。

訪問軟件223為用于使用HTTP經(jīng)由互聯(lián)網(wǎng)13控制與Web服務(wù)器212的通信的軟件。具體地，訪問軟件223促使視頻播放終端214響應(yīng)于來自控制軟件221的指令發(fā)送請求發(fā)送圖像文件和預定的音頻文件的請求。此外，訪問軟件223促使視頻播放終端214根據(jù)該傳送請求接收從Web服務(wù)器212所發(fā)送的圖像文件和預定的音頻文件。

(文件生成裝置的配置示例)

圖60為在圖59中示出的文件生成裝置211的框圖。

在圖60中示出的與圖45所示組件相同的組件由相同的附圖標號表示。在適當時，省略重復的解釋。

如圖60所示的文件生成裝置211的配置不同于如圖45所示的文件生成裝置141的配置之處在于，提供音頻文件生成單元241、MPD生成單元242和服務(wù)器上傳處理單元243以分別取代音頻文件生成單元172、MPD生成單元173和服務(wù)器上傳處理單元174。

具體地，文件生成裝置211的音頻文件生成單元241向音頻流分配軌道以用于每種類型的3D音頻，該音頻流從音頻編碼處理單元171提供。音頻文件生成單元241針對每個軌道生成音頻文件(在該音頻文件中布置有音頻流)。此時，音頻文件生成單元241將從外面輸入的圖像幀尺寸信息存儲在基本軌道的樣本條目中。音頻文件生成單元241向MPD生成單元242提供用于每種類型的3D音頻的音頻文件。

MPD生成單元242確定存儲從圖像文件生成單元53提供的每個瓦片的圖像文件的Web服務(wù)器212的URL等。此外，MPD生成單元242針對每種類型的3D音頻，確定存儲從音頻文件生成單元241提供的音頻文件的Web服務(wù)器212的URL等。

MPD生成單元242在用于MPD文件的圖像的“Adaptation Set”(“自適應(yīng)集”)中布置從圖像信息生成單元54提供的圖像信息。此外，MPD生成單元242在用于瓦片的圖像文件的“Representation”(“表示”)的“Segment”(“片段”)中布置每個瓦片的圖像文件的URL等。

MPD生成單元242針對每種類型的3D音頻，在用于音頻文件的“Representation”(“表示”)的“Segment”(“片段”)中布置該音頻文件的URL等。此外，MPD生成單元242在用于對象的對象元數(shù)據(jù)軌道的“Representation”(“表示”)中布置從外面輸入的每個對象的對象位置信息等。MPD生成單元242向服務(wù)器上傳處理單元243提供其中各種信息塊如上所述進行布置的MPD文件、圖像文件和用于每種類型的3D音頻的音頻文件。

服務(wù)器上傳處理單元243向Web服務(wù)器212上傳從MPD生成單元242提供的每個瓦片的圖像文件、每種類型的3D音頻的音頻文件和MPD文件。

(文件生成裝置的過程的說明)

圖61為示出在圖211中示出的文件生成裝置60的文件生成過程的流程圖。

如圖61所示的步驟S301至S307的過程類似于如圖46所示的步驟S191至S197的過程，并因此其描述被省略。

在步驟S308中，音頻文件生成單元241針對每個軌道生成音頻文件(在音頻文件中布置有音頻流)。此時，音頻文件生成單元241將從外面輸入的圖像幀尺寸信息存儲在基本軌道的音頻文件中的樣本條目中。音頻文件生成單元241向MPD生成單元242提供所生成的用于每種類型的3D音頻的音頻文件。

在步驟S309中，MPD生成單元242生成包含從圖像信息生成單元54提供的圖像信息的MPD文件、每個文件的URL和對象位置信息。MPD生成單元242向服務(wù)器上傳處理單元243提供圖像文件、用于每種類型的3D音頻的音頻文件和MPD文件。

在步驟S310中，服務(wù)器上傳處理單元243向Web服務(wù)器212上傳從MPD生成單元242提供的圖像文件、每種類型的3D音頻的音頻文件和MPD文件。接著該過程終止。

(視頻播放終端的功能配置示例)

圖62為示出流播放單元的配置示例的框圖，該流播放單元以如圖59所示的視頻播放終端214執(zhí)行控制軟件221、視頻播放軟件222和訪問軟件223的方式實施。

在圖62中示出的與圖13和47所示組件相同的組件由相同的附圖標號表示。在適當時，省略重復的說明。

如圖62所示的流播放單元260的配置不同于如圖13所示的流播放單元90的配置在于：提供MPD處理單元261、元文件獲取單元262、音頻選擇單元263、音頻文件獲取單元264、音頻解碼處理單元194和音頻合成處理單元195以分別取代MPD處理單元92、元文件獲取單元93、音頻選擇單元94、音頻文件獲取單元95、音頻解碼處理單元96和音頻合成處理單元97。

具體地，在對象音頻待播放時，流播放單元260的MPD處理單元261從提供自MPD獲取單元91的MPD文件提取信息(諸如在待播放的片段的對象元數(shù)據(jù)軌道的音頻文件的“Segment”(“片段”)中描述的URL)，并向元文件獲取單元262提供所提取的信息。此外，MPD處理單元261從MPD文件提取信息(諸如在從音頻選擇單元263所請求的對象的對象音頻軌道的音頻文件的“Segment”(“片段”)中描述的URL)，并向音頻選擇單元263提供所提取的信息。此外，MPD處理單元261從MPD文件提取信息(諸如在待播放的片段的基本軌道的音頻文件的“Segment”(“片段”)中描述的URL)，并向元文件獲取單元262提供所提取的信息。

此外，在聲道音頻或HOA音頻待播放時，MPD處理單元261從MPD文件提取信息(諸如在待播放的片段的聲道音頻軌道或HOA音頻軌道的音頻文件的“Segment”(“片段”)中描述的URL)。MPD處理單元261經(jīng)由音頻選擇單元263向音頻文件獲取單元264提供諸如URL的信息。

應(yīng)指出，確定對象音頻、聲道音頻和HOA音頻中的哪一個將被播放例如是根據(jù)使用者的指令的。

MPD處理單元261從MPD文件提取在用于圖像的“Adaptation Set”(“自適應(yīng)集”)中描述的瓦片位置信息并向圖像選擇單元98提供所提取的瓦片位置信息。MPD處理單元261從MPD文件提取信息(諸如在用于從圖像選擇單元98所請求的瓦片的圖像文件的“Segment”(“片段”)中描述的URL)，并向圖像選擇單元98提供所提取的信息。

基于諸如從MPD處理單元261提供的URL的信息，元文件獲取單元262請求Web服務(wù)器212發(fā)送由該URL指定的對象元數(shù)據(jù)軌道的音頻文件，并獲取該對象元數(shù)據(jù)軌道的音頻文件。元文件獲取單元93向音頻選擇單元263提供被包含在該對象元數(shù)據(jù)軌道的音頻元文件中的對象位置信息。

此外，基于諸如音頻文件的URL的信息，元文件獲取單元262請求Web服務(wù)器142發(fā)送在由該URL指定的基本軌道的音頻文件的初始片段，并獲取該初始片段。元文件獲取單元262向音頻選擇單元263提供被包含在初始片段的樣本條目中的圖像幀尺寸信息。

音頻選擇單元263基于圖像幀尺寸信息和從元文件獲取單元262提供的對象位置信息計算在圖像上的每個對象的位置。音頻選擇單元263基于在圖像上的每個對象的位置選擇由使用者指定的顯示區(qū)域中的對象。音頻選擇單元263請求MPD處理單元261發(fā)送信息(諸如所選對象的對象音頻軌道的音頻文件的URL)。音頻選擇單元263根據(jù)該請求，向音頻文件獲取單元264提供諸如從MPD處理單元261提供的URL的信息。

基于信息(諸如從音頻選擇單元263提供的對象音頻軌道、聲道音頻軌道或HOA音頻軌道的音頻文件的URL)，音頻文件獲取單元264請求Web服務(wù)器12發(fā)送由該URL指定的音頻文件的音頻流，并獲取該音頻文件的音頻流。音頻文件獲取單元95向音頻解碼處理單元194提供所獲取的以對象為單位的音頻文件。

(視頻播放終端的過程的說明)

圖63為示出在圖62中示出的流播放單元260的聲道音頻播放過程的流程圖。例如，在使用者將聲道音頻選擇為待播放的對象時，該聲道音頻播放過程被執(zhí)行。

在圖63的步驟S331中，MPD處理單元261分析從MPD獲取單元91提供的MPD文件，并基于基本屬性和在“Representation”(“表示”)中描述的編解碼來指定待播放的片段的聲道音頻的“Representation”(“表示”)。此外，MPD處理單元261提取信息(諸如在被包含在“Representation”(“表示”)中的“Segment”(“片段”)中描述的用于待播放的片段的聲道音頻軌道的音頻文件的URL)，并經(jīng)由音頻選擇單元263向音頻文件獲取單元264提供所提取的信息。

在步驟S332中，基于在步驟S331中指定的“Representation”(“表示”)的associationId，MPD處理單元261指定作為參考軌道的基本軌道的“Representation”(“表示”)。MPD處理單元261提取信息(諸如在被包含在“Representation”(“表示”)中的“Segment”(“片段”)中描述的參考軌道的音頻文件的URL)，并經(jīng)由音頻選擇單元263向音頻文件獲取單元264提供所提取的文件。

在步驟S333中，音頻文件獲取單元264基于諸如從音頻選擇單元263提供的URL的信息，請求Web服務(wù)器212發(fā)送待播放的片段的聲道音頻軌道和參考軌道的音頻文件的初始片段并獲取該初始片段。

在步驟S334中，音頻文件獲取單元264獲取在所獲取的初始片段的trak盒中的樣本條目。音頻文件獲取單元264向音頻解碼處理單元194提供包含在所獲取的樣本條目中的編解碼信息。

在步驟S335中，音頻文件獲取單元264基于諸如從音頻選擇單元263提供的URL的信息，向Web服務(wù)器142發(fā)送請求，并從待播放的片段的聲道音頻軌道的音頻文件的頭部獲取sidx盒和ssix盒。

在步驟S336中，音頻文件獲取單元264從在步驟S333中獲取的sidx盒和ssix盒獲取待播放的子片段的位置信息。

在步驟S337中，音頻選擇單元263基于在步驟S337中獲取的位置信息和諸如待播放的片段的聲道音頻軌道的音頻文件的URL的信息，請求Web服務(wù)器142發(fā)送被布置在該音頻文件的mdat盒中的聲道音頻軌道的音頻流，并獲取該聲道音頻軌道的音頻流。音頻選擇單元263向音頻解碼處理單元194提供所獲取的聲道音頻軌道的音頻流。

在步驟S338中，音頻解碼處理單元194基于從音頻文件獲取單元264提供的編解碼信息解碼從音頻選擇單元263提供的聲道音頻軌道的音頻流。音頻選擇單元263向音頻合成處理單元195提供作為解碼的結(jié)果所獲得的聲道音頻。

在步驟S339中，音頻合成處理單元195輸出聲道音頻。接著該過程終止。

雖然未示出，用于通過流播放單元260播放HOA音頻的HOA音頻播放過程以類似于如圖63所示的聲道音頻播放過程的方式來執(zhí)行。

圖64為示出在圖62中示出的流播放單元260的對象音頻播放過程的流程圖。例如，在使用者選擇對象音頻作為待播放的對象并且播放區(qū)域被改變時，該對象音頻播放過程被執(zhí)行。

在圖64的步驟S351中，音頻選擇單元263獲取使用者通過使用者的操作等所指定的顯示區(qū)域。

在步驟S352中，MPD處理單元261分析從MPD獲取單元91提供的MPD文件，并基于基本屬性和在“Representation”(“表示”)中描述的編解碼來指定待播放的片段的元數(shù)據(jù)的“Representation”(“表示”)。此外，MPD處理單元261提取信息(諸如在被包含在“Representation”(“表示”)中的“Segment”(“片段”)中描述的待播放的片段的對象元數(shù)據(jù)軌道的音頻文件的URL)，并向元文件獲取單元262提供所提取的信息。

在步驟S353中，基于在步驟S352中指定的“Representation”(“表示”)的associationId，MPD處理單元261指定作為參考軌道的基本軌道的“Representation”(“表示”)。MPD處理單元261提取信息(諸如在被包含在“Representation”(“表示”)中的“Segment”(“片段”)中描述的參考軌道的音頻文件的URL)，并向元文件獲取單元262提供所提取的信息。

在步驟S354中，元文件獲取單元262基于諸如從MPD處理單元261提供的URL的信息，請求Web服務(wù)器212發(fā)送待播放的片段的對象元數(shù)據(jù)軌道和參考軌道的音頻文件的初始片段并獲取該初始片段。

在步驟S355中，元文件獲取單元262獲取在所獲取的初始片段的trak盒中的樣本條目。元文件獲取單元262向音頻文件獲取單元264提供被包含在為參考軌道的基本軌道的樣本條目中的圖像幀尺寸信息。

在步驟S356中，元文件獲取單元262基于諸如從MPD處理單元261提供的URL的信息，向Web服務(wù)器142發(fā)送請求，并從待播放的片段的對象元數(shù)據(jù)軌道的音頻文件的頭部獲取sidx盒和ssix盒。

在步驟S357中，元文件獲取單元262從在步驟S356中獲取的sidx盒和ssix盒獲取待播放的子片段的位置信息。

在步驟S358中，元文件獲取單元262基于在步驟S357中獲取的位置信息和諸如待播放的片段的對象元數(shù)據(jù)軌道的音頻文件的URL的信息，請求Web服務(wù)器142傳送被布置在該音頻文件的mdat盒中的對象元數(shù)據(jù)軌道的音頻流，并獲取該對象元數(shù)據(jù)軌道的音頻流。

在步驟S359中，元文件獲取單元262基于被包含在步驟S355中獲取的樣本條目中的編解碼信息，解碼在步驟S358中獲取的對象元數(shù)據(jù)軌道的音頻流。元文件獲取單元262向音頻選擇單元263提供作為解碼的結(jié)果所獲得的被包含在元數(shù)據(jù)中的對象位置信息。

在步驟S360中，音頻選擇單元263基于圖像幀尺寸信息和從元文件獲取單元262提供的對象位置信息并基于由使用者指定的顯示區(qū)域來選擇在該顯示區(qū)域中的對象。音頻選擇單元263請求MPD處理單元261發(fā)送諸如所選對象的對象音頻軌道的音頻文件的URL的信息。

在步驟S361中，MPD處理單元261分析從MPD獲取單元91提供的MPD文件，并基于基本屬性和在“Representation”(“表示”)中描述的編解碼來指定所選對象的對象音頻的“Representation”(“表示”)。此外，MPD處理單元261提取信息(諸如在被包含在“Representation”(“表示”)中的“Segment”(“片段”)中描述的待播放的片段的所選對象的對象音頻軌道的音頻文件的URL)，并經(jīng)由音頻選擇單元263向音頻文件獲取單元264提供所提取的信息。

在步驟S362中，基于在步驟S361中指定的“Representation”(“表示”)的associationId，MPD處理單元261指定作為參考軌道的基本軌道的“Representation”(“表示”)。MPD處理單元261提取信息(諸如在被包含在“Representation”(“表示”)中的“Segment”(“片段”)中描述的參考軌道的音頻文件的URL)，并經(jīng)由音頻選擇單元263向音頻文件獲取單元264提供所提取的信息。

在步驟S363中，音頻文件獲取單元264基于諸如從音頻選擇單元263提供的URL的信息，請求Web服務(wù)器212發(fā)送待播放的片段的對象音頻軌道和參考軌道的音頻文件的初始片段，并獲取該初始片段。

在步驟S364中，音頻文件獲取單元264獲取在所獲取的初始片段的trak盒中的樣本條目。音頻文件獲取單元264向音頻解碼處理單元194提供包含在樣本條目中的編解碼信息。

在步驟S365中，音頻文件獲取單元264基于諸如從音頻選擇單元263提供的URL的信息，向Web服務(wù)器142發(fā)送請求，并從待播放的片段的對象音頻軌道的音頻文件的頭部獲取sidx盒和ssix盒。

在步驟S366中，音頻文件獲取單元264從在步驟S365中獲取的sidx盒和ssix盒獲取待播放的子片段的位置信息。

在步驟S367中，音頻文件獲取單元264基于在步驟S366中獲取的位置信息和諸如待播放的片段的對象音頻軌道的音頻文件的URL的信息，請求Web服務(wù)器142發(fā)送被布置在該音頻文件內(nèi)的mdat盒中的對象音頻軌道的音頻流，并獲取該對象音頻軌道的音頻流。音頻文件獲取單元264向音頻解碼處理單元194提供所獲取的對象音頻軌道的音頻流。

步驟S368和S369的過程類似于如圖50所示的步驟S287和S288的過程，并因此其描述被省略。

應(yīng)指出，在上面的描述中，音頻選擇單元263選擇顯示區(qū)域中的所有對象。然而，音頻選擇單元263可只選擇顯示區(qū)域中的具有高處理優(yōu)先級的對象，或可只選擇預定內(nèi)容的音頻對象。

圖65為示出在音頻選擇單元263只選擇顯示區(qū)域中的對象之中具有高處理優(yōu)先級的對象時，對象音頻播放過程的流程圖。

如圖65所示的對象音頻播放過程類似于如圖64所示的對象音頻播放過程，除了如圖65所示的步驟S390的過程被執(zhí)行以取代如圖64所示的步驟S360。具體地，如圖65所示的步驟S381至S389和步驟S391至S399的過程類似于如圖64所示的步驟S351至S359和步驟S361至S369的過程。因此，下面將只描述步驟S390的過程。

在如圖65所示的步驟S390中，音頻文件獲取單元264基于圖像幀尺寸信息、對象位置信息、顯示區(qū)域和每個對象的優(yōu)先級來選擇該顯示區(qū)域中具有高處理優(yōu)先級的對象。具體地，音頻文件獲取單元264基于圖像幀尺寸信息、對象位置信息和顯示區(qū)域來指定該顯示區(qū)域的每個對象。音頻文件獲取單元264從所指定的對象之中選擇優(yōu)先級等于或高于預定值的對象。應(yīng)指出，例如，MPD處理單元261分析MPD文件，從而從指定對象的對象音頻的“Representation”(“表示”)獲取優(yōu)先級。音頻選擇單元263請求MPD處理單元261發(fā)送諸如所選對象的對象音頻軌道的音頻文件的URL的信息。

圖66為示出在音頻選擇單元263在選擇顯示區(qū)域中的對象之中只選擇具有高處理優(yōu)先級的預定內(nèi)容的音頻對象時的對象音頻播放過程的流程圖。

如圖66所示的對象音頻播放過程類似于如圖64所示的對象音頻播放過程，除了如圖66所示的步驟S420的過程被執(zhí)行以取代如圖64所示的步驟S360。具體地，如圖66所示的步驟S381至S389和步驟S391至S399的過程類似于如圖64所示的步驟S411至S419和步驟S421至S429的過程。因此，下面將只描述步驟S420的過程。

在如圖66所示的步驟S420中，音頻文件獲取單元264基于圖像幀尺寸信息、對象位置信息、顯示區(qū)域、每個對象的優(yōu)先級以及每個對象的內(nèi)容種類來選擇該顯示區(qū)域中具有高處理優(yōu)先級的預定內(nèi)容的音頻對象。具體地，音頻文件獲取單元264基于圖像幀尺寸信息、對象位置信息和顯示區(qū)域來指定該顯示區(qū)域中的每個對象。音頻文件獲取單元264從所指定的對象之中選擇優(yōu)先級等于或高于預定值并具有由預定值指示的內(nèi)容種類的對象。

應(yīng)指出，例如，MPD處理單元261分析MPD文件，從而從指定對象的對象音頻的“Representation”(“表示”)獲取優(yōu)先級和內(nèi)容種類。音頻選擇單元263請求MPD處理單元261傳送諸如所選對象的對象音頻軌道的音頻文件的URL的信息。

圖67為示出基于優(yōu)先級選擇的對象的示例的示意圖。

在圖67的示例中，對象#1(對象1)至#4(對象4)為在顯示區(qū)域中的對象，以及優(yōu)先級等于或低于2的對象從顯示區(qū)域中的對象之中選擇。假設(shè)數(shù)值越小，處理優(yōu)先級越高。此外，在圖67中，圓圈中的數(shù)值表示對應(yīng)對象的優(yōu)先級的值。

在如圖67所示的示例中，在對象#1至#4的優(yōu)先級分別為1、2、3和4時，對象#1和對象#2被選擇。此外，在對象#1至#4的優(yōu)先級被分別改變?yōu)?、2、1和4時，對象#2和對象#3被選擇。此外，在對象#1至#4的優(yōu)先級被改變?yōu)?、4、1和2時，對象#3和對象#4被選擇。

如上所述，只有具有高處理優(yōu)先級的對象的對象音頻的音頻流從顯示區(qū)域中的對象之中選擇性獲取，在Web服務(wù)器142(212)和視頻播放終端144(214)之間的頻帶被有效利用。同樣適用于在對象基于該對象的內(nèi)容種類來選擇。

<第五實施例>

(軌道的概述)

圖68為示出在應(yīng)用本公開的第五實施例中的軌道的概述的示意圖。

如圖68所示，第五實施例不同于第二實施例之處在于，軌道被記錄為不同文件(3da_base.mp4/3da_channel.mp4/3da_object_1.mp4/3da_hoa.mp4/3da_meta.mp4)。

根據(jù)第五實施例的信息處理系統(tǒng)和由該信息處理系統(tǒng)執(zhí)行的過程類似于第四實施例，并因此省略其描述。

<第六實施例>

(軌道的概述)

圖69為示出在應(yīng)用本公開的第六實施例中的軌道的概況的示意圖。

如圖69所示，第六實施例不同于第三實施例之處在于，軌道被記錄為不同文件(3da_basemeta.mp4/3da_channel.mp4/3da_object_1.mp4/3da_hoa.mp4)。

根據(jù)第六實施例的信息處理系統(tǒng)和由該信息處理系統(tǒng)執(zhí)行的過程類似于第四實施例，除了基本軌道而不是對象元數(shù)據(jù)軌道的音頻流被獲取，以便獲取對象位置信息。因此，省略其描述。

應(yīng)指出，在第一至第三實施例、第五實施例和第六實施例中，在顯示區(qū)域中的對象也可以基于該對象的優(yōu)先級或內(nèi)容種類來選擇。

此外，在第一至第六實施例中，流播放單元可獲取顯示區(qū)域外面的對象的音頻流并合成該對象的對象音頻且輸出該對象音頻，如同圖23中示出的流播放單元120。

此外，在第一至第六實施例中，對象位置信息從元數(shù)據(jù)獲取，但是替代地，對象位置信息可從MPD文件獲取。

<3D音頻的分層結(jié)構(gòu)的解釋>

圖70為示出3D音頻的分層結(jié)構(gòu)的示意圖。

如圖70所示，對于每個音頻數(shù)據(jù)都不同的音頻元素(元素)被用作3D音頻的音頻數(shù)據(jù)。作為音頻元素的類型，存在單聲道元素(SCE)和聲道對元素(CPE)。用于一個聲道的音頻數(shù)據(jù)的音頻元素的類型為SCE，以及對應(yīng)于兩個聲道的音頻數(shù)據(jù)的音頻元素的類型為CPE。

相同音頻類型(聲道/對象/SAOC對象/HOA)的音頻元素形成組。組類型(GroupType)的示例包含聲道、對象、SAOC對象和HOA。在需要時，兩組或多組可以形成開關(guān)組或組預設(shè)。

開關(guān)組定義待單獨播放的音頻元素的組。具體地，如圖70所示，在存在用于英語(EN)的對象音頻組和用于法語(FR)的對象音頻組時，該組中的一者為待播放。因此，開關(guān)組由組ID為2的用于英語的對象音頻組和組ID為3的用于法語的對象音頻組形成。因此，用于英語的對象音頻和用于法語的對象音頻被單獨播放。

另一方面，組預設(shè)定義由內(nèi)容生產(chǎn)商預定的組的組合。

關(guān)于每個元數(shù)據(jù)都不同的Ext元素(Ext Elements)被用作3D音頻的元數(shù)據(jù)。Ext元素的類型的示例包含對象元數(shù)據(jù)、SAOC 3D元數(shù)據(jù)、HOA元數(shù)據(jù)、DRC元數(shù)據(jù)、SpatialFrame和SaocFrame。對象元數(shù)據(jù)的Ext元素為對象音頻的所有元數(shù)據(jù)，以及SAOC 3D元數(shù)據(jù)的Ext元素為SAOC音頻的所有元數(shù)據(jù)。此外，HOA元數(shù)據(jù)的Ext元素為HOA音頻的所有元數(shù)據(jù)以及動態(tài)范圍控制(DRC)元數(shù)據(jù)的Ext元素為對象音頻、SAOC音頻和HOA音頻的所有元數(shù)據(jù)。

如上所述，3D音頻的音頻數(shù)據(jù)以音頻元素、組類型、組、開關(guān)組和組預設(shè)(group preset)為單位劃分。因此，音頻數(shù)據(jù)可被劃分為音頻元素、組、開關(guān)組或組預設(shè)，以替代如同第一至第六實施例所述的針對每種組類型將音頻數(shù)據(jù)劃分為軌道(然而，在此情況下，對象音頻針對每個對象被劃分)。

此外，3D音頻的元數(shù)據(jù)被劃分為以Ext元素類型(ExtElementType)為單位或以對應(yīng)于元數(shù)據(jù)的音頻元素為單位。因此，元數(shù)據(jù)可針對對應(yīng)于該元數(shù)據(jù)的每個音頻元素而劃分，以取代如同第一至第六實施例所述的針對每種類型的Ext元素來劃分元數(shù)據(jù)。

假設(shè)在下面的描述中，音頻數(shù)據(jù)針對每個音頻元素而劃分；元數(shù)據(jù)針對每種類型的Ext元素而劃分；以及不同軌道的數(shù)據(jù)被布置。使用其它劃分單位時，也同樣適用。

<Web服務(wù)器過程的第一示例的說明>

圖71為示出Web服務(wù)器142(212)的過程的第一示例的示意圖。

在圖71的示例中，對應(yīng)于從文件生成裝置141(211)上傳的音頻文件的3D音頻由五個聲道的聲道音頻、三個對象的對象音頻和對象音頻的元數(shù)據(jù)(對象元數(shù)據(jù))組成。

五個聲道的聲道音頻被劃分為前中心(FC)聲道的聲道音頻、前左/前右(FL,FR)聲道的聲道音頻和后左/后右(RL,RR)聲道的聲道音頻，這些聲道音頻被布置為不同軌道的數(shù)據(jù)。此外，每個對象的對象音頻被布置為不同軌道的數(shù)據(jù)。此外，對象元數(shù)據(jù)被布置為一個軌道的數(shù)據(jù)。

此外，如圖71所示，3D音頻的每個音頻流由配置信息和以幀(樣本)為單位的數(shù)據(jù)組成。在圖71的示例中，在音頻文件的音頻流中，五個聲道的聲道音頻、三個對象的對象音頻和對象元數(shù)據(jù)的配置信息被集中布置，以及每個幀的數(shù)據(jù)項被集中布置。

在此情況下，如圖71所示，Web服務(wù)器142(212)針對每個軌道劃分從文件生成裝置141(211)上傳的音頻文件的音頻流并生成七個軌道的音頻流。具體地，Web服務(wù)器142(212)根據(jù)諸如ssix盒的信息從音頻文件的音頻流提取每個軌道的配置信息和音頻數(shù)據(jù)，并生成每個軌道的音頻流。每個軌道的音頻流由該軌道的配置信息和每個幀的音頻數(shù)據(jù)組成。

圖72為示出Web服務(wù)器142(212)的軌道劃分過程的流程圖。例如，在從文件生成裝置141(211)上傳音頻文件時，開始該軌道劃分過程。

在如圖72所示的步驟S441中，Web服務(wù)器142(212)存儲從文件生成裝置141上傳的音頻文件。

在步驟S442中，Web服務(wù)器142(212)根據(jù)諸如音頻文件的ssix盒的信息針對每個軌道來劃分構(gòu)成音頻文件的音頻流。

在步驟S443中，Web服務(wù)器142(212)保持每個軌道的音頻流。接著該過程終止。在音頻流被從視頻播放終端144(214)的音頻文件獲取單元192(264)請求時，該音頻流從Web服務(wù)器142(212)被傳送至視頻播放終端144(214)。

<音頻解碼處理單元的過程的第一示例的說明>

圖73為示出在Web服務(wù)器142(212)執(zhí)行上述參考圖71和72的過程時的音頻解碼處理單元194的過程的第一示例的示意圖。

在圖73的示例中，Web服務(wù)器142(212)保持如圖71所示的每個軌道的音頻流。待播放的軌道為前左/前右聲道的聲道音頻、后左/后右聲道的聲道音頻、第一對象的對象音頻和對象元數(shù)據(jù)的軌道。后面描述的圖75的情況同樣如此。

在此情況下，音頻文件獲取單元192(264)獲取前左/前右聲道的聲道音頻、后左/右聲道的聲道音頻、第一對象的對象音頻和對象元數(shù)據(jù)的軌道。

音頻解碼處理單元194首先從由音頻文件獲取單元192(264)獲取的對象元數(shù)據(jù)的軌道的音頻流提取第一對象的對象音頻的元數(shù)據(jù)的音頻流。

接下來，如圖73所示，音頻解碼處理單元194合成待播放的音頻軌道的音頻流和所提取的元數(shù)據(jù)的音頻流。具體地，音頻解碼處理單元194生成音頻流，其中，被包含在所有音頻流中的配置信息項被集中布置，以及每個幀的數(shù)據(jù)項被集中布置。此外，音頻解碼處理單元194解碼所生成的音頻流。

如上所述，在待播放音頻流除了一個聲道音頻軌道的音頻流之外還包括音頻流時，兩個或多個軌道的音頻流待播放。因此，音頻流在解碼之前被合成。

另一方面，只有一個聲道音頻的軌道的音頻流待播放時，不需要合成該音頻流。因此，音頻解碼處理單元194直接解碼由音頻文件獲取單元192(264)獲取的音頻流。

圖74為示出在Web服務(wù)器142(212)執(zhí)行上述參考圖71和72的過程時的音頻解碼處理單元194的解碼過程的第一示例的細節(jié)的流程圖。該解碼過程為待播放軌道除了一個聲道音頻軌道之外還包括軌道時所執(zhí)行的如圖48所示的步驟S229和如圖50所示的步驟S287的過程中的至少一者。

在圖74的步驟S461中，音頻解碼處理單元194將表示被包含在所生成的音頻流中的元素數(shù)量的所有元素數(shù)量設(shè)置為“0”。在步驟S462中，音頻解碼處理單元194將指示被包含在所生成的音頻流中的元素類型的所有元素類型信息復位(清除)。

在步驟S463中，音頻解碼處理單元194將待播放軌道之中的未被確定為待處理軌道的軌道設(shè)置為待處理軌道。在步驟S464中，音頻解碼處理單元194從例如待處理的軌道的音頻流獲取被包含在待處理的軌道中的元素的數(shù)量和類型。

在步驟S465中，音頻解碼處理單元194將所獲取的元素的數(shù)量添加至總的元素數(shù)量。在步驟S466中，音頻解碼處理單元194將所獲取的元素的類型添加至所有的元素類型信息。

在步驟S467中，音頻解碼處理單元194確定待播放的所有軌道是否被設(shè)置為待處理的軌道。在步驟S467中確定不是所有的待播放軌道被設(shè)置為待處理的軌道時，該過程返回到步驟S463，并且步驟S463至S467的過程被重復直到所有的待播放軌道被設(shè)置為待處理的軌道。

另一方面，在步驟S467中確定所有的待播放軌道被設(shè)置為待處理的軌道時，該過程前進至步驟S468。在步驟S468中，音頻解碼處理單元194在所生成的音頻流上的預定位置處布置總的元素數(shù)量和所有的元素類型信息。

在步驟S469中，音頻解碼處理單元194將待播放的軌道之中未被確定為待處理軌道的軌道，設(shè)置為待處理的軌道。在步驟S470中，在元素待處理時，音頻解碼處理單元194將被包含在待處理的軌道中的還未被確定為待處理的元素的元素，設(shè)置為待處理的元素。

在步驟S471中，音頻解碼處理單元194從待處理的軌道的音頻流獲取待處理的元素的配置信息并將該配置信息布置在所生成的音頻流上。此時，待播放的所有軌道的所有元素的配置信息項被連續(xù)布置。

在步驟S472中，音頻解碼處理單元194確定被包含在待處理的軌道中的所有元素是否被設(shè)置為待處理的元素。在步驟S472中確定不是所有的元素被設(shè)置為待處理的元素時，該過程返回到步驟S470，并且步驟S470至S472的過程被重復直到所有的元素被設(shè)置為待處理的元素。

另一方面，在步驟S472中確定所有元素被設(shè)置為待處理的元素時，該過程前進至步驟S473。在步驟S473中，音頻解碼處理單元194確定待播放的所有軌道是否被設(shè)置為待處理的軌道。在步驟S473中確定不是所有的待播放軌道被設(shè)置為待處理的軌道時，該過程返回到步驟S469，并且步驟S469至S473的過程被重復直到所有的待播放軌道被設(shè)置為待處理的軌道。

另一方面，在步驟S473中確定所有的待播放軌道被設(shè)置為待處理的軌道時，該過程前進至步驟S474。在步驟S474中，音頻解碼處理單元194確定待處理的幀。在第一時間的步驟S474的過程中，頭幀被確定為待處理的幀。在第二時間和后續(xù)時間的步驟S474的過程中，緊接著待處理的當前幀的幀被確定為待處理的新幀。

在步驟S475中，音頻解碼處理單元194將待播放的軌道之中未被確定為的待處理的軌道的軌道設(shè)置為待處理的軌道。在步驟S476中，音頻解碼處理單元194將被包含在待處理的軌道中的元素之中的還未被確定為待處理的元素的元素，設(shè)置為待處理的元素。

在步驟S477中，音頻解碼處理單元194確定待處理的元素是否為EXT元素。在步驟S477中確定待處理的元素不是EXT元素時，該過程前進到步驟S478。

在步驟S478中，音頻解碼處理單元194從待處理的軌道的音頻流獲取待處理的元素的待處理幀的音頻數(shù)據(jù)并將該音頻數(shù)據(jù)布置在所生成的音頻流上。此時，待播放的所有軌道的所有元素的相同幀中的數(shù)據(jù)被連續(xù)布置。在步驟S478的過程之后，該過程前進到步驟S481。

另一方面，在步驟S477中確定待處理的元素是EXT元素時，該過程前進到步驟S479。在步驟S479中，音頻解碼處理單元194從待處理的軌道的音頻流獲取待處理的元素的待處理幀中的所有對象的元數(shù)據(jù)。

在步驟S480中，音頻解碼處理單元194在所生成的音頻流上布置所獲取的所有對象的元數(shù)據(jù)之中待播放的對象的元數(shù)據(jù)。此時，待播放的所有軌道的所有元素的相同幀中的數(shù)據(jù)項被連續(xù)布置。在步驟S480的過程之后，該過程前進到步驟S481。

在步驟S481中，音頻解碼處理單元194確定被包含在待處理的軌道中的所有元素是否被設(shè)置為待處理的元素。在步驟S481中確定不是所有的元素被設(shè)置為待處理的元素時，該過程返回到步驟S476，并且步驟S476至S481的過程被重復直到所有的元素被設(shè)置為待處理的元素。

另一方面，在步驟S481中確定所有元素被設(shè)置為待處理的元素時，該過程前進至步驟S482。在步驟S482中，音頻解碼處理單元194確定待播放的所有軌道是否被設(shè)置為待處理的軌道。在步驟S482中確定不是所有的待播放軌道被設(shè)置為待處理的軌道時，該過程返回到步驟S475，并且步驟S475至S482的過程被重復直到所有的待播放軌道被設(shè)置為待處理的軌道。

另一方面，在步驟S482中確定所有的待播放軌道被設(shè)置為待處理的軌道時，該過程前進至步驟S483。

在步驟S483中，音頻解碼處理單元194確定所有幀是否被設(shè)置為待處理的幀。在步驟S483中確定不是所有的幀被設(shè)置為待處理的幀時，該過程返回到步驟S474，并且步驟S474至S483的過程被重復直到所有的幀被設(shè)置為待處理的幀。

另一方面，在步驟S483中確定所有幀被設(shè)置為待處理的幀時，該過程前進至步驟S484。在步驟S484中，音頻解碼處理單元194解碼所生成的音頻流。具體地，音頻解碼處理單元194解碼音頻流，在該音頻流中，總的元素數(shù)、所有元素類型信息、配置信息、音頻數(shù)據(jù)和待播放的對象的元數(shù)據(jù)被布置。音頻解碼處理單元194向音頻合成處理單元195提供作為解碼的結(jié)果所獲得的音頻數(shù)據(jù)(對象音頻、聲道音頻、HOA音頻)。接著該過程終止。

<音頻解碼處理單元的過程的第二示例的解釋>

圖75為示出在Web服務(wù)器142(212)執(zhí)行上述參考圖71和72的過程時，音頻解碼處理單元194的過程的第二示例的示意圖。

如圖75所示，音頻解碼處理單元194的過程的第二示例不同于第一示例之處在于，所有軌道的音頻流被布置在所生成的音頻流上以及指示零解碼結(jié)果流或標記(在下文中，被稱為零流)被布置作為不播放的軌道的音頻流。

具體地，音頻文件獲取單元192(264)獲取被包含在保持在Web服務(wù)器142(212)中的所有軌道的音頻流中的配置信息以及被包含在待播放的軌道的音頻流中的每個幀的數(shù)據(jù)。

如圖75所示，音頻解碼處理單元194將所有軌道的配置信息項集中布置在所生成的音頻流上。此外，音頻解碼處理單元194將待播放的軌道的每個幀的數(shù)據(jù)和作為不播放的軌道的每個幀的數(shù)據(jù)的零流布置在所生成的音頻流上。

如上所述，由于音頻解碼處理單元194將作為不播放的軌道的音頻流的零流布置在所生成的音頻流上，所以也存在不播放的對象的音頻流。因此，可在所生成的音頻流中包含不播放的對象的元數(shù)據(jù)。這消除了音頻解碼處理單元194從對象元數(shù)據(jù)的軌道的音頻流提取待播放的對象的元數(shù)據(jù)的音頻流的需要。

應(yīng)指出，零流可被布置作為不播放的軌道的配置信息。

圖76為示出在Web服務(wù)器142(212)執(zhí)行上述參考圖71和72的過程時的音頻解碼處理單元194的解碼過程的第二示例的細節(jié)的流程圖。該解碼過程為在待播放軌道除了一個聲道音頻軌道外還包括軌道時所執(zhí)行的，如圖48所示的步驟S229的過程和如圖50所示的步驟S287的過程中的至少一者。

如圖76所示的步驟S501和S502的過程類似于如圖74所示的步驟S461至S462的過程，并因此其描述被省略。

在步驟S503中，音頻解碼處理單元194將對應(yīng)于在Web服務(wù)器142(212)中保持的音頻流的軌道之中未被確定為待處理的軌道的軌道，設(shè)置為待處理的軌道。

步驟S504至S506的過程類似于步驟S464至S466的過程，并因此其描述將被省略。

在步驟S507中，音頻解碼處理單元194確定對應(yīng)于保持在Web服務(wù)器142(212)中的音頻流的所有軌道是否被設(shè)置為待處理的軌道。在步驟S507中確定不是所有的軌道被設(shè)置為待處理的軌道時，該過程返回到步驟S503，并且步驟S503至S507的過程被重復直到所有的軌道被設(shè)置為待處理的軌道。

另一方面，在步驟S507中確定所有軌道被設(shè)置為待處理的軌道時，該過程前進至步驟S508。在步驟S508中，音頻解碼處理單元194在所生成的音頻流上的預定位置布置總的元素數(shù)量和所有的元素類型信息。

在步驟S509中，音頻解碼處理單元194將對應(yīng)于在Web服務(wù)器142(212)中保持的音頻流的軌道之中未被確定為待處理的軌道的軌道，設(shè)置為待處理的軌道。在步驟S510中，音頻解碼處理單元194將被包含在待處理的軌道中的元素之中未被確定為待處理的元素的元素，設(shè)置為待處理的元素。

在步驟S511中，音頻解碼處理單元194從待處理的軌道的音頻流獲取待處理的元素的配置信息并在所生成的音頻流上生成該配置信息。此時，對應(yīng)于被保持在Web服務(wù)器142(212)中的音頻流的所有軌道的所有元素的配置信息項被連續(xù)布置。

在步驟S512中，音頻解碼處理單元194確定被包含在待處理的軌道中的所有元素是否被設(shè)置為待處理的元素。在步驟S512中確定不是所有的元素被設(shè)置為待處理的元素時，該過程返回到步驟S510，并且步驟S510至S512的過程被重復直到所有的元素被設(shè)置為待處理的元素。

另一方面，在步驟S512中確定所有元素被設(shè)置為待處理的元素時，該過程前進至步驟S513。在步驟S513中，音頻解碼處理單元194確定對應(yīng)于保持在Web服務(wù)器142(212)中的音頻流的所有軌道是否被設(shè)置為待處理的軌道。在步驟S513中確定不是所有的軌道被設(shè)置為待處理的軌道時，該過程返回到步驟S509，并且步驟S509至S513的過程被重復直到所有的軌道被設(shè)置為待處理的軌道。

另一方面，在步驟S513中確定所有軌道被設(shè)置為待處理的軌道時，該過程前進至步驟S514。在步驟S514中，音頻解碼處理單元194確定待處理的幀。在第一時間的步驟S514的過程中，頭幀被確定為待處理的幀。在第二時間和后續(xù)時間的步驟S514的過程中，緊接著待處理的當前幀的幀被確定為待處理的新幀。

在步驟S515中，音頻解碼處理單元194將對應(yīng)于在Web服務(wù)器142(212)中保持的音頻流的軌道之中未被確定為待處理的軌道的軌道設(shè)置為待處理的軌道。

在步驟S516中，音頻解碼處理單元194確定待處理的軌道是否為待播放的軌道。在步驟S516中確定待處理的軌道是待播放的軌道時，該過程前進到步驟S517。

在步驟S517中，音頻解碼處理單元194將被包含在待處理的軌道中的元素之中未被確定為待處理的元素的元素設(shè)置為待處理的元素。

在步驟S518中，音頻解碼處理單元194從待處理的軌道的音頻流獲取待處理的元素的待處理幀的音頻數(shù)據(jù)并將該音頻流布置在所生成的音頻流上。此時，對應(yīng)于被保持在Web服務(wù)器142(212)中的音頻流的所有軌道的所有元素的相同幀中的數(shù)據(jù)項被連續(xù)布置。

在步驟S519中，音頻解碼處理單元194確定被包含在待處理的軌道中的所有元素是否被設(shè)置為待處理的元素。在步驟S519中確定不是所有的元素被設(shè)置為待處理的元素時，該過程返回到步驟S517，并且步驟S517至S519的過程被重復直到所有的元素被設(shè)置為待處理的元素。

另一方面，在步驟S519中確定所有元素被設(shè)置為待處理的元素時，該過程前進至步驟S523。

此外，在步驟S516中確定待處理的軌道不是待播放的軌道時，該過程前進到步驟S520。在步驟S520中，音頻解碼處理單元194將被包含在待處理的軌道中的元素之中未被確定為待處理的元素的元素設(shè)置為待處理的元素。

在步驟S521中，音頻解碼處理單元194將作為待處理的元素的待處理幀的數(shù)據(jù)的零流布置在所生成的音頻流上。此時，對應(yīng)于被保持在Web服務(wù)器142(212)中的音頻流的所有軌道的所有元素的相同幀中的數(shù)據(jù)項被連續(xù)布置。

在步驟S522中，音頻解碼處理單元194確定被包含在待處理的軌道中的所有元素是否被設(shè)置為待處理的元素。在步驟S522中確定不是所有的元素被設(shè)置為待處理的元素時，該過程返回到步驟S520，并且步驟S520至S522的過程被重復直到所有的元素被設(shè)置為待處理的元素。

另一方面，在步驟S522中確定所有元素被設(shè)置為待處理的元素時，該過程前進至步驟S523。

在步驟S523中，音頻解碼處理單元194確定對應(yīng)于保持在Web服務(wù)器142(212)中的音頻流的所有軌道是否被設(shè)置為待處理的軌道。在步驟S522中確定不是所有的軌道被設(shè)置為待處理的軌道時，該過程返回到步驟S515，并且步驟S515至S523的過程被重復直到所有的待播放軌道被設(shè)置為待處理的軌道。

另一方面，在步驟S523中確定所有軌道被設(shè)置為待處理的軌道時，該過程前進至步驟S524。

在步驟S524中，音頻解碼處理單元194確定所有幀是否被設(shè)置為待處理的幀。在步驟S524中確定不是所有的幀被設(shè)置為待處理的幀時，該過程返回到步驟S514，并且步驟S514至S524的過程被重復直到所有的幀被設(shè)置為待處理的幀。

另一方面，在步驟S524中確定所有幀被設(shè)置為待處理的幀時，該過程前進至步驟S525。在步驟S525中，音頻解碼處理單元194解碼所生成的音頻流。具體地，音頻解碼處理單元194解碼音頻流，在音頻流中，總的元素數(shù)、所有元素類型信息和配置信息以及對應(yīng)于被保持在Web服務(wù)器142(212)中的音頻流的所有軌道的數(shù)據(jù)被布置。音頻解碼處理單元194向音頻合成處理單元195提供作為解碼的結(jié)果所獲得的音頻數(shù)據(jù)(對象音頻、聲道音頻、HOA音頻)。接著該過程終止。

<Web服務(wù)器過程的第二示例的解釋>

圖77為示出Web服務(wù)器142(212)的過程的第二示例的示意圖。

如圖77所示的Web服務(wù)器142(212)的過程的第二示例與圖71所示的第一示例相同，除了每個對象的對象元數(shù)據(jù)作為不同軌道的數(shù)據(jù)被布置在音頻文件中之外。

因此，如圖77所示，Web服務(wù)器142(212)針對每個軌道劃分從文件生成裝置141(211)上傳的音頻文件的音頻流并生成九個軌道的音頻流。

在此情況下，Web服務(wù)器142(212)的軌道劃分過程類似于圖72所示的軌道劃分過程，并因此省略其描述。

<音頻解碼處理單元的第三示例的說明>

圖78為示出在Web服務(wù)器142(212)執(zhí)行上述參考圖77的過程時，音頻解碼處理單元194的過程的示意圖。

在圖78的示例中，Web服務(wù)器142(212)保持如圖77所示的每個軌道的音頻流。待播放的軌道為前左/前右聲道的聲道音頻、后左/后右聲道的聲道音頻、第一對象的對象音頻和第一對象的對象元數(shù)據(jù)。

在此情況下，音頻文件獲取單元192(264)獲取前左/前右聲道的聲道音頻、后左/后右聲道的聲道音頻、第一對象的對象音頻和第一對象的對象元數(shù)據(jù)的軌道的音頻流。音頻解碼處理單元194合成所獲取的待播放的軌道的音頻流并解碼所生成的音頻流。

如上所述，在對象元數(shù)據(jù)被布置為用于每個對象的不同軌道的數(shù)據(jù)時，對于音頻解碼處理單元194，不需要提取待播放的對象的對象元數(shù)據(jù)的音頻流。因此，音頻解碼處理單元194可以很容易生成待解碼的音頻流。

圖79為示出在Web服務(wù)器142(212)執(zhí)行上述參考圖77的過程時的音頻解碼處理單元194的解碼過程的細節(jié)的流程圖。該解碼過程為在待播放軌道除了一個聲道音頻軌道外還包含軌道時所執(zhí)行的如圖48所示的步驟S229的過程和如圖50所示的步驟S287的過程中的一者。

如圖79所示的解碼過程類似于如圖74所示的解碼過程，除了步驟S477、S479和S480中的過程未被執(zhí)行以及不僅音頻數(shù)據(jù)而且元數(shù)據(jù)也被布置在步驟S478的過程中之外。具體地，如圖79所示的步驟S541至S556的過程類似于如圖74所示的步驟S461至S476的過程。在如圖79所示的步驟S557的過程中，待處理的元素的待處理幀的數(shù)據(jù)如同步驟S478中的過程進行布置。此外，步驟S558至S561的過程類似于如圖74所示的步驟S481至S484的過程。

應(yīng)指出，在上述過程中，視頻播放終端144(214)生成待解碼的音頻流，但是替代地，Web服務(wù)器142(212)可生成被假設(shè)為待播放的軌道的組合的音頻流的組合。在此情況下，只有通過從Web服務(wù)器142(212)獲取具有待播放的軌道的組合的音頻流并解碼該音頻流，視頻播放終端144(214)才可以播放待播放的軌道的音頻。

此外，音頻解碼處理單元194可針對每個軌道解碼從Web服務(wù)器142(212)獲取的待播放的軌道的音頻流。在此情況下，音頻解碼處理單元194需要合成作為解碼的結(jié)果所獲得的音頻數(shù)據(jù)和元數(shù)據(jù)。

<基本樣本的語法的第二示例>

(被布置在基本樣本中的配置信息的語法的第二示例)

圖80為示出被布置在基本樣本中的配置信息的語法的第二示例的示意圖。

在圖80的示例中，被布置在基本樣本中的元素數(shù)量(numElements)被描述為配置信息。此外，作為被布置在基本樣本中的每種元素的類型(usacElementType)，表示Ext元素的“ID_USAC_EXT”被描述以及用于每個元素的Ext元素的配置信息(mpegh3daExtElementCongfig)也被描述。

圖81為示出用于在圖80中示出的Ext元素的配置信息(mpegh3daExtElementCongfig)的示例性語法的示意圖。

如圖81所示，表示作為Ext元素的類型的提取器的“ID_EXT_ELE_EXTRACTOR”被描述為用于如圖80所示的Ext元素的配置信息(mpegh3daExtElementCongfig)。此外，描述用于提取器的配置信息(ExtractorConfig)。

圖82為示出用于在圖81中示出的提取器的配置信息(ExtractorConfig)的示例性語法的示意圖。

如圖82所示，作為用于如圖81所示的提取器的配置信息(ExtractorConfig)，有待通過該提取器參考的元素的類型(usac Element Type Extractor)被描述。此外，在元素類型(usac Element Type Extractor)為表示Ext元素的“ID_USAC_EXT”時的Ext元素的類型(usacExtElementTypeExtractor)被描述。此外，待參考的元素(子樣本)的配置信息的大小(configLength)和位置(configOffset)被描述。

(被布置在基本樣本中的幀單元的數(shù)據(jù)語法的第二示例)

圖83為示出被布置在基本樣本中的幀單元中的數(shù)據(jù)語法的第二示例的示意圖。

如圖83所示，作為被布置在基本樣本中的幀單元中的數(shù)據(jù)，表示作為Ext元素的類型的提取器的“ID_EXT_ELE_EXTRACTOR”被描述，其中，該Ext元素為數(shù)據(jù)元。提取器數(shù)據(jù)(Extractor Metadata)也被描述。

圖84為示出在圖83中示出的提取器數(shù)據(jù)(Extractor Metadata)的示例性語法的示意圖。

如圖84所示，待通過提取器參考的元素的數(shù)據(jù)的大小(elementLength)和位置(elementOffset)被描述為如圖83所示的提取器數(shù)據(jù)(Extractor Metadata)。

<基本樣本的語法的第三示例>

(被布置在基本樣本中的配置信息的語法的第三示例)

圖85為示出被布置在基本樣本中的配置信息的語法的第三示例的示意圖。

在圖85的示例中，被布置在基本樣本中的元素數(shù)量(numElements)被描述為配置信息。此外，指示提取器的“1”被描述作為提取器標記(flag Extractor)，其指示配置信息被布置在其中的樣本是否為提取器。此外，“1”被描述作為elementLengthPresent。

此外，待通過元素參考的元素類型被描述為被布置在基本樣本中的每個元素的類型(usacElementType)。在元素類型(usacElementType)為表示Ext元素的“ID_USAC_EXT”時，Ext元素的類型(usacExtElementType)被描述。此外，待參考的元素的配置信息的大小(configLength)和位置(configOffset)被描述。

(被布置在基本樣本中的幀單元中的數(shù)據(jù)語法的第三示例)

圖86為示出被布置在基本樣本中的幀單元中的數(shù)據(jù)語法的第三示例的示意圖。

如圖86所示，作為被布置在基本樣本中的幀單元中的數(shù)據(jù)，待通過數(shù)據(jù)參考的元素的數(shù)據(jù)的大小(elementLength)和位置(elementOffset)被描述。

<第七實施例>

(音頻流的配置示例)

圖87為示出被存儲在應(yīng)用本公開的信息處理系統(tǒng)的第七實施例中的音頻文件中的音頻流的配置示例的示意圖。

如圖87所示，在第七實施例中，音頻文件針對每種組類型以3D音頻的樣本為單位存儲編碼數(shù)據(jù)(然而，在此情況下，對象音頻被存儲以用于每個對象)和被布置為子樣本的音頻流(3D音頻流)。

此外，音頻文件存儲線索流(3D音頻提示流)，其中提取器被設(shè)置為子樣本，所述提取器包含以用于每種組類型的3D音頻的樣本為單位的編碼數(shù)據(jù)的大小、位置和組類型。該提取器的配置類似于上述的配置，以及該組類型被描述為提取器的類型。

(軌道的概述)

圖88為示出在第七實施例中的軌道的概述的示意圖。

如圖88所示，在第七實施例中，不同的軌道被分別分配給音頻流和線索流。對應(yīng)線索流的軌道的軌道ID“2”被描述為音頻流的軌道的軌道參考序號。此外，相應(yīng)音頻流的軌道的軌道ID“1”被描述為線索流的軌道的軌道參考序號。

音頻流的軌道的樣本條目的語法為如圖34所示的語法，以及線索流的軌道的樣本條目的語法包含如圖35至38所示的語法。

(文件生成裝置的過程的解釋)

圖89為示出在第七實施例中的文件生成裝置的文件生成過程的流程圖。

應(yīng)指出，根據(jù)第七實施例的文件生成裝置與如圖45所示的文件生成裝置141相同，除了音頻編碼處理單元171和音頻文件生成單元172的過程之外。因此，根據(jù)第七實施例的文件生成裝置、音頻編碼處理單元和音頻文件生成單元在下文中分別被稱為文件生成裝置301、文件編碼處理單元341和音頻文件生成單元342。

如圖89所示的步驟S601至S605的過程類似于如圖46所示的步驟S191至S195的過程，并因此其描述被省略。

在步驟S606中，音頻編碼處理單元341針對每種組類型編碼從外面輸入的視頻內(nèi)容的3D音頻并生成如圖87所示的音頻流。音頻編碼處理單元341向音頻文件生成單元342提供所生成的音頻流。

在步驟S607中，音頻文件生成單元342從提供自音頻編碼處理單元341的音頻流獲取子樣本信息。該子樣本信息指示以每種組類型的3D音頻的樣本為單位的編碼數(shù)據(jù)的大小、位置和組類型。

在步驟S608中，音頻文件生成單元342基于該子樣本信息生成如圖87所示的線索流。在步驟S609中，音頻文件生成單元342將音頻流和線索流復用為不同軌道并生成音頻文件。此時，音頻文件生成單元342將從外面輸入的圖像幀尺寸信息存儲在樣本條目中。音頻文件生成單元342向MPD生成單元173提供所生成的音頻文件。

步驟S610和S611的過程類似于如圖46所示的步驟S199和S200的過程，并因此其描述被省略。

(視頻播放終端的過程的解釋)

圖90為示出在第七實施例中的視頻播放終端的流播放單元的音頻播放過程的流程圖。

應(yīng)指出，根據(jù)第七實施例的流播放單元與如圖47所示的流播放單元190相同，除了MPD處理單元191、音頻文件獲取單元192和音頻解碼處理單元194的過程是不同的并且未提供音頻選擇單元193之外。因此，根據(jù)第七實施例的流播放單元、MPD處理單元、音頻文件獲取單元和音頻解碼處理單元在下文中分別被稱為流播放單元360、MPD處理單元381、音頻文件獲取單元382和音頻解碼處理單元383。

在如圖90所示的步驟S621中，流播放單元360的MPD處理單元381分析從MPD獲取單元91提供的MPD文件、獲取諸如待播放的片段的音頻文件的URL的信息，并向音頻文件獲取單元382提供所獲取的信息。

在步驟S622中，音頻文件獲取單元382基于諸如從MPD處理單元381提供的URL的信息，請求Web服務(wù)器發(fā)送待播放的片段的初始片段并獲取該初始片段。

在步驟S623中，音頻文件獲取單元382從在初始片段中的moov盒的線索流的軌道(在下文中被稱為線索軌道)的樣本條目獲取作為參考軌道的音頻流的軌道的軌道ID。

在步驟S624中，音頻文件獲取單元382基于諸如從MPD處理單元381提供的URL的信息，請求Web服務(wù)器從待播放的片段的媒體片段的頭部發(fā)送sidx盒和ssix盒并獲取該sidx盒和ssix盒。

在步驟S625中，音頻文件獲取單元382從在步驟S624中獲取的sidx盒和ssix盒獲取線索軌道的位置信息。

在步驟S626中，音頻文件獲取單元382基于在步驟S625中獲取的線索軌道的位置信息，請求Web服務(wù)器發(fā)送該線索流并獲取該線索流。此外，音頻文件獲取單元382從該線索流獲取待播放的3D音頻的組類型的提取器。應(yīng)指出，在待播放的3D音頻為對象音頻時，待播放的對象基于圖像幀尺寸信息和對象位置信息來選擇。

在步驟S627中，音頻文件獲取單元382從在步驟S624中獲取的sidx盒和ssix盒獲取參考軌道的位置信息。在步驟S628中，音頻文件獲取單元382基于在步驟S627中獲取的參考軌道的位置信息和被包含在所獲取的提取器中的子樣本信息來確定待播放的3D音頻的組類型的音頻流的位置信息。

在步驟S629中，音頻文件獲取單元382基于在步驟S627確定的位置信息請求Web服務(wù)器發(fā)送待播放的3D音頻的組類型的音頻流并獲取該音頻流。音頻文件獲取單元382向音頻解碼處理單元383提供所獲取的音頻流。

在步驟S630中，音頻解碼處理單元383解碼從音頻文件獲取單元382提供的音頻流，并向音頻合成處理單元195提供作為解碼結(jié)果所獲得的音頻數(shù)據(jù)。

在步驟S631中，音頻合成處理單元195輸出音頻數(shù)據(jù)。接著該過程終止。

應(yīng)指出，在第七實施例中，音頻流的軌道和線索軌道被存儲在相同音頻文件中，但是可被存儲在不同文件中。

<第八實施例>

(軌道的概述)

圖91為示出應(yīng)用本公開的信息處理系統(tǒng)的第八實施例中的軌道的概述的示意圖。

第八實施例的音頻文件不同于第七實施例的音頻文件之處在于所存儲的線索流為用于每種組類型的流。具體地，針對每種組類型生成第八實施例的線索流，并且包含以每種組類型的3D音頻的樣本為單位的編碼數(shù)據(jù)的大小、位置和組類型的提取器被布置為在每個線索流中的樣本。應(yīng)指出，在3D音頻包含多個對象的對象音頻時，提取器被布置為用于每個對象的子樣本。

此外，如圖91所示，在第八實施例中，不同的軌道被分配給音頻流和每個線索流。該音頻流的軌道與如圖88所示的音頻流的軌道相同，并因此省略其描述。

作為組類型為“聲道”、“對象”、“HOA”和“元數(shù)據(jù)”的線索軌道的軌道參考序號，相應(yīng)的音頻流的軌道的軌道ID“1”被描述。

組類型“聲道”、“對象”、“HOA”和“元數(shù)據(jù)”中的每者的線索軌道的樣本條目的語法與如圖35至38所示的語法相同，除了指示樣本條目的類型的信息之外。指示組類型“聲道”、“對象”、“HOA”和“元數(shù)據(jù)”中的每者的線索軌道的樣本條目的類型的信息與如圖35至38所示的信息相同，除該信息的編號“1”被替換成“2”之外。編號“2”表示線索軌道的樣本條目。

(音頻文件的配置示例)

圖92為示出音頻文件的配置示例的示意圖。

如圖92所示，音頻文件存儲如圖91所示的所有軌道。具體地，音頻文件存儲每種組類型的音頻流和線索流。

根據(jù)第八實施例的文件生成裝置的文件生成過程類似于如圖89所示的文件生成過程，除了與如圖87所示的線索流相反，線索流針對每種組類型而被生成之外。

此外，根據(jù)第八實施例的視頻播放終端的流播放單元的音頻播放過程類似于如圖90所示的音頻播放過程，除了待播放的組類型的線索軌道的軌道ID以及在步驟S623中獲取的參考軌道的軌道ID；在步驟S625中的待播放的組類型的線索軌道的位置信息被獲取；以及待播放的組類型的線索流在步驟S626中被獲取之外。

應(yīng)指出，在第八實施例中，音頻流的軌道和線索軌道被存儲在相同音頻文件中，但是可被存儲在不同文件中。

例如，如圖93所示，音頻流的軌道可被存儲在一個音頻文件(3D音頻流MP4文件)中，以及線索軌道可被存儲在一個音頻文件(3D音頻提示流MP4文件)中。此外，如圖94所示，線索軌道可被劃分為待存儲的多個音頻文件。在圖94的示例中，線索軌道被存儲在不同的音頻文件中。

此外，在第八實施例中，針對每種組類型生成線索流，甚至在該組類型指示對象時。然而，在組類型指示對象時，可針對每個對象生成線索流。在此情況下，不同的軌道被分配給每個對象的線索流。

如上所述，在第七和第八實施例的音頻文件中，3D音頻的音頻流被存儲在一個軌道中。因此，視頻播放終端可以通過獲取軌道來播放3D音頻的所有音頻流。

此外，線索流被存儲在第七和第八實施例的音頻文件中。因此，視頻播放終端僅獲取3D音頻的所有音頻流之中的期望組類型的音頻流而不參考moof盒，其中，在該moof盒中描述了使子樣本與該子樣本的大小或位置相關(guān)聯(lián)的表格，從而使得有可能播放該音頻流。

此外，在第七和第八實施例的音頻文件中，視頻播放終端可以被促使僅通過存儲3D音頻的所有音頻流和線索流來獲取每種組類型的音頻流。因此，不需要出于廣播或本地存儲的目的，針對每種組類型與所有生成的3D音頻的音頻流分離地準備3D音頻的音頻流，以便能夠獲取用于每種組類型的音頻流。

應(yīng)指出，在第七和第八實施例中，提取器被生成以用于每種組類型，但是可以音頻元素、組、開關(guān)組或組預設(shè)為單位來生成。

在提取器以組為單位生成時，第八實施例的每個線索軌道的樣本條目包含關(guān)于相應(yīng)組的信息。關(guān)于組的信息例如由指示組的ID的信息和被分類為組的元素的數(shù)據(jù)的內(nèi)容組成。在組形成開關(guān)組時，該組的線索軌道的樣本條目也包含關(guān)于開關(guān)組的信息。關(guān)于開關(guān)組的信息由例如開關(guān)組的ID和形成開關(guān)組的組的ID組成。第七實施例的線索軌道的樣本條目包含被包含在第八實施例的所有線索軌道的樣本條目中的信息。

此外，在第七和第八實施例中的片段結(jié)構(gòu)與如圖39和40所示的片段結(jié)構(gòu)相同。

<第九實施例>

(應(yīng)用本公開的計算機的解釋)

上述的Web服務(wù)器的一系列過程也可以由硬件或軟件執(zhí)行。在該系列過程由軟件執(zhí)行時，構(gòu)成軟件的程序被安裝在計算機中。計算機的示例包含并入專用硬件的計算機和通過安裝各種程序能夠執(zhí)行各種功能的通用個人計算機。

圖95為示出通過使用程序執(zhí)行Web服務(wù)器的一系列過程的計算機的硬件的配置示例的框圖。

在計算機中，中央處理單元(CPU)601、只讀存儲器(ROM)602和隨機存取存儲器(RAM)603經(jīng)由總線604互連。

總線604也被連接到輸入/輸出接口605。輸入/輸出接口605被連接到輸入單元606、輸出單元607、存儲單元608、通信單元609和驅(qū)動器610中的每者。

輸入單元606由鍵盤、鼠標、麥克風等形成。輸出單元607由顯示器、揚聲器等形成。存儲單元608由硬件、非易失性存儲器等形成。通信單元609由網(wǎng)絡(luò)接口等形成。驅(qū)動器610驅(qū)動可移除介質(zhì)611，諸如磁盤、光盤、磁光盤或半導體存儲器。

在如上所述進行配置的計算機中，CPU 601例如經(jīng)由輸入/輸出接口605和總線604加載存儲在存儲單元608在RAM 603中的程序并執(zhí)行該程序，從而執(zhí)行上述的系列過程。

由計算機(CPU 601)執(zhí)行的程序可以被設(shè)置記錄在用作例如包裝介質(zhì)等的可移除介質(zhì)611中。此外，程序可以經(jīng)由有線或無線傳輸介質(zhì)，諸如局域網(wǎng)、互聯(lián)網(wǎng)或數(shù)字衛(wèi)星廣播來提供。

程序可以通過在驅(qū)動器610中加載可移除介質(zhì)611經(jīng)由輸入/輸出接口605被安裝在存儲單元608中。此外，程序可以經(jīng)由有線或無線傳輸介質(zhì)通過通信單元609來接收并被安裝在存儲單元608中。此外，程序可以被事先安裝在ROM 602或存儲單元608中。

應(yīng)指出，由計算機執(zhí)行的程序可為以在本描述中所述的次序的時間序列的方式執(zhí)行該過程的程序，或可為例如并行或在被懇求時在必要的時間執(zhí)行該過程的程序。

上述的視頻播放終端可具有類似于如圖95所示的計算機的硬件配置。在此情況下，例如CPU 601可以執(zhí)行控制軟件161(221)、視頻播放軟件162(222)和訪問軟件163(223)。視頻播放終端144(214)的過程可由硬件執(zhí)行。

在本描述中，系統(tǒng)具有一組多個組件(諸如裝置或模塊(部件))，并且并未考慮所有的組件是否在相同的殼體中。因此，系統(tǒng)可為可被存放在單獨的殼體中并通過網(wǎng)絡(luò)進行連接的多個裝置以及在單個殼體內(nèi)的多個模塊。

應(yīng)指出，本公開的實施例并不局限于上述的實施例，并且在不脫離本公開的要點的情況下可以進行各種更改。

例如，文件生成裝置141(211)可通過復用所有瓦片的編碼數(shù)據(jù)以生成一個圖像文件而不是生成以瓦片為單位的圖像文件來生成視頻流。

本公開不僅可以被應(yīng)用于MPEG-H 3D音頻，而且可以被應(yīng)用于能夠形成每個對象的流的通用音頻編解碼。

此外，本公開也可以被應(yīng)用于執(zhí)行廣播和本地存儲播放以及流播放的信息處理系統(tǒng)。

此外，本公開可具有下列配置。

(1)

信息處理裝置，其包括獲取文件中的預定軌道的音頻數(shù)據(jù)的獲取單元，在該文件中，多種類型的音頻數(shù)據(jù)根據(jù)類型被劃分為多個軌道并且該軌道被布置。

(2)

根據(jù)上述項(1)所述的信息處理裝置，其中，該類型被配置為音頻數(shù)據(jù)的元素、元素的類型或元素被分類的組。

(3)

根據(jù)上述項(1)或(2)所述的信息處理裝置，另外包括解碼由獲取單元獲取的預定軌道的音頻數(shù)據(jù)的解碼單元。

(4)

根據(jù)上述項(3)所述的信息處理裝置，其中，在存在多個預定軌道時，該解碼單元合成由該獲取單元獲取的預定軌道的音頻數(shù)據(jù)并解碼所合成的音頻數(shù)據(jù)。

(5)

根據(jù)上述項(4)所述的信息處理裝置，其中

所述文件以如下方式配置：以多個對象為單位的音頻數(shù)據(jù)被劃分為關(guān)于每個對象而不同的所述軌道并且所述軌道被布置，并且以對象為單位的所有音頻數(shù)據(jù)的元數(shù)據(jù)項被集中布置在與所述軌道不同的軌道中，

所述獲取單元被配置成獲取待播放的所述對象的所述軌道的音頻數(shù)據(jù)以作為所述預定軌道的音頻數(shù)據(jù)并獲取所述元數(shù)據(jù)，以及

所述解碼單元被配置成從由所述獲取單元獲取的所述元數(shù)據(jù)提取待播放的所述對象的元數(shù)據(jù)，并合成所述元數(shù)據(jù)和由所述獲取單元獲取的音頻數(shù)據(jù)。

(6)

根據(jù)上述項(4)所述的信息處理裝置，其中

所述文件以如下方式配置：以多個對象為單位的音頻數(shù)據(jù)被劃分為關(guān)于每個對象而不同的所述軌道并且所述軌道被布置，并且以對象為單位的所有所述音頻數(shù)據(jù)的元數(shù)據(jù)項被集中布置在與所述軌道不同的軌道中，

獲取單元被配置成獲取待播放的對象的軌道的音頻數(shù)據(jù)以作為預定軌道的音頻數(shù)據(jù)并獲取元數(shù)據(jù)，以及

解碼單元被配置成將零數(shù)據(jù)和音頻數(shù)據(jù)以及由獲取單元獲取的元數(shù)據(jù)合成，該零數(shù)據(jù)指示作為未被播放的軌道的音頻數(shù)據(jù)的零的解碼結(jié)果。

(7)

根據(jù)上述項(4)所述的信息處理裝置，其中

所述文件以如下方式配置：以多個對象為單位的音頻數(shù)據(jù)被劃分為關(guān)于每個對象而不同的軌道并且所述軌道被布置，以對象為單位的所述音頻數(shù)據(jù)的元數(shù)據(jù)項被布置在關(guān)于每個對象而不同的軌道中，

獲取單元被配置成獲取待播放的對象的軌道的音頻數(shù)據(jù)以作為預定軌道的音頻數(shù)據(jù)并獲取待播放的對象的元數(shù)據(jù)，以及

解碼單元被配置成合成音頻數(shù)據(jù)和由該獲取單元獲取的元數(shù)據(jù)。

(8)

根據(jù)上述項(1)至(7)中的任一項所述的信息處理裝置，其中，多個軌道的音頻數(shù)據(jù)項被配置成被布置在一個文件中。

(9)

根據(jù)上述項(1)至(7)中的任一項所述的信息處理裝置，其中，多個軌道的音頻數(shù)據(jù)項被配置成被布置在關(guān)于每個軌道而不同的文件中。

(10)

根據(jù)上述項(1)至(9)中的任一項所述的信息處理裝置，其中，所述文件以如下方式配置：關(guān)于所述多種類型的所述音頻數(shù)據(jù)的信息被布置為不同于所述多個軌道的軌道。

(11)

根據(jù)上述項(10)所述的信息處理裝置，其中，關(guān)于多種類型的音頻數(shù)據(jù)的信息被配置成包含指示對應(yīng)于音頻數(shù)據(jù)的圖像數(shù)據(jù)的圖像幀尺寸的圖像幀尺寸信息。

(12)

根據(jù)上述項(1)至(9)中的任一項所述的信息處理裝置，其中，該文件以如下方式配置：作為不同于多個軌道的軌道的音頻數(shù)據(jù)，指示對應(yīng)于音頻數(shù)據(jù)的另一軌道的音頻數(shù)據(jù)的位置的信息被布置。

(13)

根據(jù)上述項(1)至(9)中的任一項所述的信息處理裝置，其中，該文件以如下方式配置：作為不同于多個軌道的軌道的數(shù)據(jù)，指示對應(yīng)于其它軌道的音頻數(shù)據(jù)的數(shù)據(jù)和元數(shù)據(jù)的另一軌道的音頻數(shù)據(jù)的位置的信息被布置。

(14)

根據(jù)上述項(13)所述的信息處理裝置，其中，音頻數(shù)據(jù)的元數(shù)據(jù)被配置成包含指示音頻數(shù)據(jù)被獲取的位置的信息。

(15)

根據(jù)上述項(1)至(14)中的任一項所述的信息處理裝置，其中，該文件被配置成包含指示軌道和其它軌道之間的參考關(guān)系的信息。

(16)

根據(jù)上述項(1)至(15)中的任一項所述的信息處理裝置，其中，該文件被配置成包含每個軌道的音頻數(shù)據(jù)的編解碼信息。

(17)

根據(jù)上述項(1)至(16)中的任一項所述的信息處理裝置，其中，預定類型的音頻數(shù)據(jù)為指示另一類型的音頻數(shù)據(jù)被獲取的位置的信息。

(18)

信息處理方法，其包含通過信息處理裝置獲取文件中的預定軌道的音頻數(shù)據(jù)的獲取步驟，在所述文件中多種類型的音頻數(shù)據(jù)根據(jù)類型被劃分為多個軌道并且所述軌道被布置。

(19)

信息處理裝置，其包括生成文件的生成單元，在所述文件中，多種類型的音頻數(shù)據(jù)根據(jù)所述類型被劃分為多個軌道并且所述軌道被布置。

(20)

信息處理方法，其包含由信息處理裝置生成文件的生成步驟，在所述文件中，多種類型的音頻數(shù)據(jù)根據(jù)所述類型被劃分為多個軌道并且所述軌道被布置。

附圖標記列表

141 文件生成裝置

144 運動圖像播放終端

172 音頻文件生成單元

192 音頻文件獲取單元

193 音頻選擇單元

211 文件生成裝置

214 運動圖像播放終端

241 音頻文件生成單元

264 音頻文件獲取單元