補(bǔ)充處理信息的提供的制作方法
【技術(shù)領(lǐng)域】
[0001]實(shí)施例一般涉及媒體內(nèi)容處理，并且具體地說，涉及提供結(jié)合媒體內(nèi)容處理有用的補(bǔ)充處理信息。
【背景技術(shù)】
[0002]H.264/MPEG-4第10部分或高級(jí)視頻編碼(AVC)是最新技術(shù)發(fā)展視頻編碼標(biāo)準(zhǔn)。它是混合編解碼器，其取得消除幀之間和一個(gè)幀內(nèi)的冗余的優(yōu)點(diǎn)。編碼過程的輸出是視頻編碼層(VCL)數(shù)據(jù)，該數(shù)據(jù)在傳送或存儲(chǔ)前進(jìn)一步封裝到網(wǎng)絡(luò)抽象層(NAL)單元中。
[0003]補(bǔ)充增強(qiáng)信息(SEI)被提供以幫助與諸如顯示等解碼后有關(guān)的過程。SEI消息的示例包括定義濾后提示和色調(diào)映射(tone mapping)。SEI消息以它們對(duì)于解碼過程非強(qiáng)制的此類方式來設(shè)計(jì)。符合的解碼器能夠丟棄它們不理解的SEI消息。SEI消息今天被封裝到NAL單元中，就好像VCL數(shù)據(jù)一樣，但不影響解碼。
[0004]根據(jù)現(xiàn)有技術(shù)，必須借助于媒體終端顯示能力的特定知識(shí)形成文件，以保證正確的回放(playback)。通過增強(qiáng)信息(即，在解碼循環(huán)外)添加的新顯示特征不能以后向兼容的方式進(jìn)行。此方面的一個(gè)示例是已添加到H.264視頻以幫助在三維(3D)顯示裝置上描繪(render)解碼圖片的空間交織幀SEI消息。這些SEI消息派生自使用諸如H.264等現(xiàn)有二維(2D)編解碼器來編碼3D內(nèi)容的工作。此方面的一個(gè)示例是SEI消息描述偶數(shù)幀分配到左視圖、并且奇數(shù)幀分配到右視圖的情況。
[0005]SEI消息在涉及到解碼時(shí)以可丟棄的方式來設(shè)計(jì)。然而，重要的是媒體終端能夠?qū)⒋诵畔⒄_地解釋以用于諸如3D描繪等解碼外的事物。不具有理解這些SEI消息的能力的遺留媒體終端將簡單地忽略它們，并且在2D顯示上描繪解碼圖片，導(dǎo)致顯著的顯示偽像(artifact)，例如，對(duì)于上述示例的每幀在左和右視圖之間的跳躍。
[0006]此外，今天媒體終端需要解碼視頻比特流以便發(fā)現(xiàn)是否及哪些類型的增強(qiáng)信息是必需的。對(duì)于本地重放和傳送，這均是問題。例如，某人可具有不可完全顯示的電影，并且媒體終端將只發(fā)現(xiàn)在涉及未知SEI消息時(shí)它不能正確顯示該電影。在另一情況下，在涉及媒體傳送時(shí)，使比特流變瘦的一種簡單、快速的方法是刪除所有SEI消息，因?yàn)榻獯a不要求這些消息。這能夠?qū)е聦?duì)描繪重要的SEI消息變少。
[0007]因此，在技術(shù)領(lǐng)域內(nèi)，存在對(duì)有效處理諸如SEI數(shù)據(jù)等補(bǔ)充處理信息以便解決或至少減輕現(xiàn)有技術(shù)的問題的一般需要。

【發(fā)明內(nèi)容】

[0008]使得能夠以有效方式提供補(bǔ)充處理信息是一般目的。
[0009]此目的和其它目的通過本文中公開的實(shí)施例而得以滿足。
[0010]簡要地說，實(shí)施例的一方面涉及一種提供與編碼媒體內(nèi)容有關(guān)或相關(guān)聯(lián)的補(bǔ)充處理信息的方法。該方法涉及提供用于將媒體內(nèi)容編碼的媒體編解碼器的偽標(biāo)識(shí)符。還提供補(bǔ)充處理信息。補(bǔ)充處理信息定義用于處理通過將編碼媒體內(nèi)容解碼而可獲得的解碼的媒體內(nèi)容的解碼后指示。偽標(biāo)識(shí)符和補(bǔ)充處理信息被共同組織在文件中，以便觸發(fā)不認(rèn)識(shí)偽標(biāo)識(shí)符的遺留媒體終端中止編碼媒體內(nèi)容的解碼。對(duì)應(yīng)地，文件中偽標(biāo)識(shí)符和補(bǔ)充處理信息的共同組織使得認(rèn)識(shí)偽標(biāo)識(shí)符的媒體終端能夠使用媒體編解碼器將媒體內(nèi)容解碼，并且使得能夠使用補(bǔ)充處理信息進(jìn)行解碼媒體內(nèi)容的解碼后處理。
[0011]另一方面涉及一種用于提供補(bǔ)充處理信息的裝置。該裝置包括用于提供媒體編解碼器的偽標(biāo)識(shí)符的標(biāo)識(shí)符提供器。信息提供器在該裝置中被實(shí)現(xiàn)以提供定義解碼后指示的補(bǔ)充處理信息。該裝置還包括用于在文件中以觸發(fā)不認(rèn)識(shí)偽標(biāo)識(shí)符的遺留媒體終端中止編碼媒體內(nèi)容的解碼的此類方式來共同組織偽標(biāo)識(shí)符和補(bǔ)充處理信息的文件組織器。然而，認(rèn)識(shí)偽標(biāo)識(shí)符的媒體終端將能夠使用媒體編解碼器將編碼媒體內(nèi)容解碼，并且基于補(bǔ)充處理信息進(jìn)一步處理解碼后的媒體內(nèi)容。
[0012]實(shí)施例的又一方面涉及一種處理媒體內(nèi)容的方法。該方法涉及接收包括偽標(biāo)識(shí)符和補(bǔ)充處理信息的文件。如果不認(rèn)識(shí)從文件檢索的偽標(biāo)識(shí)符，則中止編碼媒體內(nèi)容的解碼，因此，將不向用戶呈現(xiàn)媒體內(nèi)容。然而，如果認(rèn)識(shí)偽標(biāo)識(shí)符，則基于在偽標(biāo)識(shí)符的基礎(chǔ)上檢索的媒體編解碼器的編解碼器標(biāo)識(shí)符來選擇用于將編碼媒體內(nèi)容解碼的媒體編解碼器。隨后，使用選定媒體編解碼器將編碼媒體內(nèi)容解碼。從文件檢索的補(bǔ)充處理信息用于處理解碼的媒體內(nèi)容，以獲得適合描繪的形式中的媒體內(nèi)容，從而為用戶提供媒體呈現(xiàn)。
[0013]作為實(shí)施例的又一方面，公開了一種媒體終端。該媒體終端包括用于接收帶有偽標(biāo)識(shí)符和補(bǔ)充處理信息的文件的接收器。媒體終端的解碼控制器配置成調(diào)查偽標(biāo)識(shí)符并確定媒體終端是否可認(rèn)識(shí)偽標(biāo)識(shí)符。如果不認(rèn)識(shí)偽標(biāo)識(shí)符，則解碼控制器控制解碼器中止或停止編碼媒體內(nèi)容的解碼。如果轉(zhuǎn)而認(rèn)識(shí)偽標(biāo)識(shí)符，則解碼控制器基于在偽標(biāo)識(shí)符基礎(chǔ)上檢索的編解碼器標(biāo)識(shí)符，選擇要用于將編碼媒體內(nèi)容解碼的媒體編解碼器。隨后，解碼器配置成使用選定媒體編解碼器將編碼媒體內(nèi)容解碼以產(chǎn)生解碼的媒體內(nèi)容。此解碼的媒體內(nèi)容由內(nèi)容處理器基于從文件檢索的補(bǔ)充處理信息進(jìn)行處理，以獲得適合描繪的形式中的媒體內(nèi)容。
[0014]實(shí)施例因此提供了有效的方式來提供要結(jié)合媒體內(nèi)容的解碼后處理以用于獲得使得能夠向用戶正確描繪和呈現(xiàn)的形式中的媒體內(nèi)容的補(bǔ)充處理信息。不理解并因此不能使用補(bǔ)充處理信息的遺留媒體終端被阻止描繪未經(jīng)任何解碼后處理的媒體內(nèi)容，轉(zhuǎn)而中止解碼。通過使用偽標(biāo)識(shí)符而不是真實(shí)編解碼器標(biāo)識(shí)符作為媒體編解碼器標(biāo)識(shí)符來觸發(fā)解碼的中止。遺留媒體終端因此被禁止描繪媒體內(nèi)容。這是重要的，因?yàn)槊枥L將否則導(dǎo)致用戶可感知的視覺和/或音頻偽像(由于缺乏使用補(bǔ)充處理信息的能力的遺留媒體終端未使用補(bǔ)充處理信息進(jìn)行媒體內(nèi)容的解碼后處理)。
【附圖說明】
[0015]通過參考與附圖一起進(jìn)行的以下描述，可最好地理解本發(fā)明及其另外的目的和優(yōu)點(diǎn)，其中:
圖1是示出根據(jù)一實(shí)施例的提供補(bǔ)充處理信息的方法的流程圖；
圖2是根據(jù)現(xiàn)有技術(shù)和根據(jù)一實(shí)施例的媒體內(nèi)容處理的比較；
圖3是示出圖1中的共同組織步驟的一實(shí)施例的流程圖；
圖4是根據(jù)一實(shí)施例的媒體容器文件的示意概圖； 圖5是根據(jù)一實(shí)施例的樣本條目盒(sample entry box)的示意概圖；
圖6是在媒體軌道的樣本條目盒中組織補(bǔ)充處理信息的一實(shí)施例的示意概圖；
圖7是能夠?qū)崿F(xiàn)實(shí)施例所在的通信網(wǎng)絡(luò)的概圖；
圖8是根據(jù)一實(shí)施例的用于提供補(bǔ)充處理信息的裝置的示意框圖；
圖9是根據(jù)一實(shí)施例的處理媒體內(nèi)容的方法的流程圖；
圖10是根據(jù)一實(shí)施例的圖9中方法的另外步驟的流程圖；
圖11是根據(jù)另一實(shí)施例的圖9中方法的另外步驟的流程圖；
圖12是根據(jù)一實(shí)施例的媒體終端的示意框圖；以及圖13是示出圖1中的共同組織步驟的另一實(shí)施例的流程圖。
【具體實(shí)施方式】
[0016]在圖形各處，相同的引用標(biāo)號(hào)用于類似或?qū)?yīng)的元素。
[0017]實(shí)施例一般涉及媒體內(nèi)容處理，并且具體地說，涉及能夠由媒體終端和播放器用于處理和/或描繪解碼的媒體內(nèi)容的補(bǔ)充處理信息的提供和使用。
[0018]實(shí)施例提供傳遞此類補(bǔ)充處理信息到媒體終端的有效方式。補(bǔ)充處理信息的傳遞允許認(rèn)識(shí)補(bǔ)充處理信息的媒體終端檢索它并在描繪之前或期間將它用于處理媒體內(nèi)容。然而，補(bǔ)充處理信息有利地以不認(rèn)識(shí)補(bǔ)充處理信息的遺留媒體終端將不描繪媒體內(nèi)容的此類方式來傳遞。這是優(yōu)選的，因?yàn)榇祟惷襟w內(nèi)容描繪將導(dǎo)致用戶感知的視覺和/或音頻偽像，而遺留媒體終端將不進(jìn)行基于任何補(bǔ)充處理信息的解碼后處理。
[0019]補(bǔ)充處理信息(SPI)或也如本領(lǐng)域中所稱的補(bǔ)充增強(qiáng)信息(SEI)定義媒體終端和播放器能夠用于處理補(bǔ)充處理信息相關(guān)聯(lián)的解碼媒體內(nèi)容的解碼后指示。這些解碼后指示因此能夠向媒體終端提供有關(guān)它們應(yīng)如何處理數(shù)據(jù)以便在媒體會(huì)話期間提供媒體內(nèi)容的正確描繪的信息和指示。在省略基于補(bǔ)充處理信息的解碼媒體內(nèi)容的處理從而阻止媒體終端描繪媒體內(nèi)容方面，補(bǔ)充處理信息對(duì)于媒體終端是強(qiáng)制的，或者媒體終端能夠描繪媒體內(nèi)容但結(jié)果媒體呈現(xiàn)將具有用戶將感知的幾處或多或少嚴(yán)重的視覺和/或音頻偽像。在不要求描繪媒體內(nèi)容方面，補(bǔ)充處理信息也能夠是可選的，但可能通過增大媒體呈現(xiàn)的視覺和/或音頻效應(yīng)或通過有利于媒體呈現(xiàn)中的定位(seeking)操作而將增強(qiáng)描繪。
[0020]例如，AVC指定能夠用于改進(jìn)AVC比特流的VCL的解碼和描繪的SEI消息。此信息以它對(duì)于解碼過程非強(qiáng)制的此類方式來設(shè)計(jì)，即，SEI包含不是對(duì)解碼VCI所必需的信息，并且能夠被符合的解碼器丟棄。
[0021]雖然SEI對(duì)于解碼過程不是至關(guān)重要的，但它可為隨后描繪過程指定要求動(dòng)作。一個(gè)示例是指示視頻序列的編碼幀/字段由形成立體視圖的圖片對(duì)組成的立體視頻信息SEI消息。更近的示例是空間交織幀“棋盤”SEI消息。它通知解碼器輸出的解碼圖片包含由多個(gè)不同的空間交織幀組成的幀的樣本及如何為顯示目的而將樣本適當(dāng)解交織。
[0022]如果遺留媒體終端嘗試解碼和描繪包含這些SEI消息的AVC比特流而不理解其含意，則它將丟棄它們并將比特流解碼而不知道未經(jīng)進(jìn)一步解交織則解碼的圖片無意義。直接輸出到2D顯示，結(jié)果將充滿偽像，并且肯定不是內(nèi)容提供商所希望的。
[0023]AVC文件格式在基于ISO基本媒體文件格式的例如MP4和3GP的文件格式中定義AVC的存儲(chǔ)。此類文件中包含的AVC比特流可包括可對(duì)解碼過程有用的SEI消息。然而，在能夠包括的SEI消息的類型上沒有約束，并且當(dāng)前沒有通知播放器AVC比特流可包含解碼數(shù)據(jù)的適當(dāng)描繪所要求的SEI的信令機(jī)制。即使播放器解析AVC比特流并且查找SEI消息，它也不能分辨任何檢測(cè)到的SEI消息是否在解碼循環(huán)外強(qiáng)加動(dòng)作(除非它認(rèn)識(shí)它們及它們的含意)。丟棄似乎無害，但未知的SEI因此能夠?qū)е乱馔獾慕Y(jié)果。因此，根據(jù)現(xiàn)有技術(shù)，必須借助于媒體終端顯示能力的特定知識(shí)形成文件，以保證正確的回放。今天，通過諸如在解碼循環(huán)外的SEI消息等補(bǔ)充處理信息添加的新顯示特征不能以后向兼容的方式進(jìn)行。
[0024]如本文中公開的媒體內(nèi)容涉及能夠傳遞到媒體終端以用于其中的解碼和描繪從而向用戶提供媒體呈現(xiàn)的媒體數(shù)據(jù)。媒體內(nèi)容因此能夠是在顯示屏幕上播放和呈現(xiàn)的視頻內(nèi)容或數(shù)據(jù)。備選或附加的是，媒體內(nèi)容能夠是被回放并且能夠由使用揚(yáng)聲器的用戶收聽的音頻內(nèi)容或數(shù)據(jù)。
[0025]圖1是根據(jù)一實(shí)施例的提供與編碼媒體內(nèi)容有關(guān)的補(bǔ)充處理信息的方法的流程圖。該方法從步驟Si開始，在該步驟中，提供媒體編解碼器的偽標(biāo)識(shí)符。媒體編解碼器定義用于將相關(guān)媒體內(nèi)容編碼的媒體編碼器。步驟Si提供編偽標(biāo)識(shí)符而不是解碼器的真實(shí)編解碼器標(biāo)識(shí)符。偽標(biāo)識(shí)符應(yīng)在本文中解釋為用于編解碼器標(biāo)識(shí)符的別