專利名稱：解碼多路復用的視頻分組流的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及三維(3D)視頻處理系統(tǒng)及其方法。更具體的，本發(fā)明涉及基 于MPEG-4(運動圖像專家組-4)處理立體/多視圖三維視頻圖像的設備和方 法。
背景技術(shù)：
MPEG是一種通過視頻圖像壓縮和編碼表示的信息傳送方法，且繼當前 的MPEG-1/2/4之后，^皮發(fā)展到下 一代壓縮方法MPEG-7 。
MPEG-4，即在因特網(wǎng)上的數(shù)字存儲介質(zhì)中自由地存儲包括視頻圖像的 多媒體數(shù)據(jù)的視頻流標準，現(xiàn)在已普遍使用，且MPEG-4可應用于便攜式 萬維網(wǎng)廣播MPEG-4播放器(PWMP),等。
更具體的，MPEG-4是一種通過增加現(xiàn)有視頻和音頻信號的壓縮編碼的 通用多媒體標準，所述通用多媒體包括靜止圖像、計算機圖形(CG)、分解復 合系統(tǒng)的音頻編碼、基于樂器數(shù)據(jù)接口(MIDI)的復合音頻、以及文本。
相應地，屬性相互不同的對象間的同步技術(shù)，以及用于表示各個對象的 屬性的對象描述符表示方法和用于表示對象之間的時間和空間相關(guān)性的場景 描述信息表示方法是極其重要的事情。
在MPEG-4系統(tǒng)中，i某體對象以基本流(elementary stream)的形式被編碼 和傳遞，其由確定網(wǎng)絡最大傳輸率、QoS(服務質(zhì)量)因子和必需的解碼器資源 的變量來表征。單個^某體對象由特定編碼方法的一個基本流組成，且通過包 含壓縮層、同步層和傳輸層的層次結(jié)構(gòu)而被流化處理。
MPEG-4系統(tǒng)對從多個編碼器的每個存取單元輸出的數(shù)據(jù)流進行分組以 處理不同屬性的對象，并使用對象描述符信息和場景描述信息自由地表示數(shù) 據(jù)流。
可是，現(xiàn)有MPEG-4系統(tǒng)只對二維(以下稱"2D")多媒體數(shù)據(jù)進行標準 化，因此極少涉及用于處理立體/多視圖3D視頻數(shù)據(jù)的技術(shù)。

發(fā)明內(nèi)容
本發(fā)明的一個目的是基于現(xiàn)有的MPEG-4標準處理立體/多視圖三維視頻 數(shù)據(jù)。
本發(fā)明的另 一個目的是通過將具有相同時間和空間信息的多通道的基于 場的基本流多路復用為單個基本流，來最小化重疊的分組首標信息。
本發(fā)明的再一個目的是選擇適合于用戶需求和用戶系統(tǒng)環(huán)境的數(shù)據(jù)，從 而簡化數(shù)據(jù)流。
根據(jù)本發(fā)明的一個方面，提供一種基于MPEG-4處理:枧頻圖像的立體/ 多視圖三維視頻處理系統(tǒng)，該系統(tǒng)包括壓縮器，用于處理輸入立體/多視圖 三維視頻數(shù)據(jù)，以生成多個通道的基于場的基本流，并將多通道基本流輸出 到單個集成的基本流中；分組器，用于從壓縮器的每個存取單元接收基本流，
且對所接收的基本流進行分組；以及傳送器，用于處理分組的立體/多視圖三 維視頻數(shù)據(jù)，且傳遞或存儲所處理的視頻數(shù)據(jù)。
壓縮器包括三維對象編碼器，用于編碼輸入立體/多視圖三維視頻數(shù)據(jù)， 以輸出多通道的基于場的基本流；以及三維基本流混合器，用于將多通道的 基于場的基本流集成到單個基本流中。
當輸入數(shù)據(jù)是三維立體視頻數(shù)據(jù)時，三維對象編碼器以4通道場為單位 輸出基本流，4通道場包括左圖像的奇場和偶場以及右圖像的奇場和偶場。 可選的，當輸入數(shù)據(jù)是N-視圖的多視圖視頻數(shù)據(jù)時，三維對象編碼器將Nx2
個基于場的基本流輸出到三維基本流混合器。
三維基本流混合器根據(jù)由用戶選擇的立體/多視圖三維視頻的顯示模式， 通過選擇性地使用經(jīng)多個通道輸入的多個基本流來生成單個基本流。顯示模 式是從二維視頻顯示模式、用于通過基于場的模板來顯示三維視頻圖像的三 維視頻場模板顯示模式、用于通過基于幀的模板來顯示三維視頻圖像的三維 立體視頻幀模板顯示模式、以及用于以所要求的幀頻順序地顯示圖像的多視 圖三維視頻顯示模式中選擇的任意一種模式。
當顯示模式是三維視頻場模板顯示模式時，所述三維基本流混合器以左 '圖奇場基本流和右圖偶場基本流的順序使用2通道基本流，將從三維對象編
碼器輸出的立體三維視頻的4通道的基于場的基本流多路復用為單通道存取 單元流。
當顯示模式是三維視頻幀模板顯示模式時，所述三維基本流混合器以左 圖奇場基本流、左圖偶場基本流、右圖奇場基本流和右圖偶場基本流的順序
使用4通道基本流，將從三維對象編碼器輸出的立體三維視頻的4通道的基 于場的基本流多路復用為單通道存取單元流。
當顯示模式是二維視頻顯示模式時，所述三維基本流混合器以左圖奇場 基本流和左圖偶場基本流的順序使用2通道基本流，將從三維對象編碼器輸 出的立體三維視頻的4通道的基于場的基本流多路復用為單通道存取單元
當顯示模式是三維多視圖視頻顯示模式時，所述三維基本流混合器以視 點的奇場基本流和偶場基本流的順序使用各個視點，將從三維對象編碼器輸 出的N-視圖^L頻的Nx2個基于場的基本流多路復用為單通道存取單元流。
在將基本流處理為單通道存取單元流并將它們發(fā)送到分組器時，壓縮器 通過增加圖像區(qū)分信息、顯示區(qū)分信息和視點信息中的至少一個來將各個基 本流發(fā)送到分組器，所述圖像區(qū)分信息表示基本流是否是二維或三維視頻數(shù) 據(jù)，所述顯示區(qū)分信息表示由用戶所選擇的立體/多視圖三維視頻的顯示模式 的顯示區(qū)分信息，所述視點信息表示作為多視圖視頻圖像的相應視頻圖像的 視點數(shù)。
因此，分組器從壓縮器每個存取單元接收單通道流，對接收的單通道流 進行分組，之后基于附加信息構(gòu)造分組首標。優(yōu)選地，分組首標包括存取單 元開始標志，其表示分組有效載荷的哪個字節(jié)是流的開始；存取單元結(jié)束標 志，其表示分組有效栽荷的哪個字節(jié)是流的結(jié)束；圖像區(qū)分標志，其表示從 壓縮器輸出的基本流是二維還是三維視頻數(shù)據(jù)；解碼時間戳標志；合成時間 戳標志；視點信息標志，其表示視頻圖像的視點數(shù)；以及顯示區(qū)分標志，其 表示顯示模式。
根據(jù)本發(fā)明的另一個方面，提供一種立體/多視圖三維視頻處理方法，該 方法包括(a)接收三維視頻數(shù)據(jù)，確定相應的視頻圖像是立體還是多視圖視 頻圖像，以及根據(jù)確定結(jié)果處理相應視頻數(shù)據(jù)以生成多通道的基于場的基本 流；(b)以由用戶所選擇的顯示模式對多通道的基于場的基本流進行多路復 用，以輸出單通道基本流；(c)對所接收的單通道基本流進行分組；以及(d)處
理分組的立體/多視圖三維視頻圖像，并發(fā)送或存儲所處理的視頻圖像。
生成基本流的步驟(a)包括當輸入數(shù)據(jù)是三維立體視頻數(shù)據(jù)時，以4通 道場為單位輸出基本流，所述4通道場包括左三維立體圖像的奇場和偶場以 及右三維立體圖像的奇場和偶場；以及當輸入數(shù)據(jù)是N-視圖的多視圖視頻數(shù) 據(jù)時，輸出Nx2個基于場的基本流。
多路復用步驟(b)進一步包括當顯示模式是三維視頻場模板顯示模式時， 按照左圖奇場基本流和右圖偶場基本流的順序使用2通道基本流，將立體三 維視頻的4通道的基于場的基本流多路復用為單通道存取單元流。
多路復用步驟(b)進一步包括當顯示模式是三維視頻幀模板顯示模式時， 按照左圖奇場基本流、左圖偶場基本流、右圖奇場基本流和右圖偶場基本流 的順序使用4通道基本流，將立體三維視頻的4通道的基于場的基本流多路 復用為單通道存取單元流。
多路復用步驟(b)進一步包括當顯示模式是二維視頻顯示模式時，按照 左圖奇場基本流和左圖偶場基本流的順序使用2通道基本流，將立體三維視 頻的4通道的基于場的基本流多路復用為單通道存取單元流。
多路復用步驟(b)進一步包括當顯示模式是三維多視圖視頻顯示模式時， 按照視點的奇場基本流和偶場基本流的順序使用各個視點，將N-視圖視頻的 Nx2個基于場的基本流多路復用為單通道存取單元流。
多路復用步驟(b)包括處理多視圖三維視頻圖像以生成多通道基本流， 以及使用從多通道基本流中的一個通道的基本流獲得的時間信息來獲得和其 它視點的基本流的同步，從而獲得三維視頻圖像間的同步。
根據(jù)本發(fā)明的又一個方面，提供一種解碼多路復用的視頻分組流的方法。 該方法包括(a)接收包括有視點信息標志和顯示區(qū)分標志的多路復用的分 組流，所述視點信息標志用于表示運動畫面的視點數(shù)，所述顯示區(qū)分標志用 于表示運動畫面的顯示模式；(b)從多路復用的分組流中檢測視點信息標志 和顯示區(qū)分標志；(c)基于檢測的視點信息標志和檢測的顯示區(qū)分標志確認 多路復用的分組流的流才各式并解碼確認的分組流。


并入并且組成說明書的一部分的附解說明了本發(fā)明的實施例，并與 說明書 一起用來描述本發(fā)明的原理。
圖1是根據(jù)本發(fā)明實施例的立體/多視圖3D視頻處理系統(tǒng)的示意圖； 圖2是ESI發(fā)送的關(guān)于傳統(tǒng)2D多媒體的信息的圖示； 圖3是根據(jù)本發(fā)明實施例的立體3D視頻編碼器的輸入/輸出數(shù)據(jù)的圖示; 圖4是根據(jù)本發(fā)明實施例的3DN-視圖視頻編碼器的輸入/輸出數(shù)據(jù)的圖
示；
圖5是根據(jù)本發(fā)明實施例的用于立體視頻3D ES混合器的輸入/輸出數(shù)據(jù) 的圖示；
圖6是根據(jù)本發(fā)明實施例的多視圖3DES混合器的輸入/輸出數(shù)據(jù)的圖
示；
圖7是根據(jù)本發(fā)明實施例用于場模板顯示的立體3D視頻圖像的基于場 的ES多^^復用器的示意圖8是根據(jù)本發(fā)明實施例用于幀模板顯示的立體3D視頻圖像的基于場 的ES多路復用器的示意圖9是^^艮據(jù)本發(fā)明實施例用于2D顯示的立體3D ^L頻圖像的基于場的 ES多路復用器的示意圖IO是根據(jù)本發(fā)明實施例用于3D顯示的多視圖3D視頻圖像的基于場 的ES多路復用器的示意圖11是根據(jù)本發(fā)明實施例用于2D顯示的多視圖3D視頻圖像的基于場 的ES多路復用器的示意圖12是根據(jù)本發(fā)明實施例的、用于處理立體/多視圖3D視頻圖像的傳統(tǒng) ESI的附加傳送信息的圖示；
圖13是根據(jù)本發(fā)明實施例的、用于處理立體/多視圖3D視頻圖像的同步 分組首標的示意圖14是由MPEG-4系統(tǒng)定義的流類型；以及
圖15是通過解碼器處理立體/多視圖3D視頻圖像的3D視頻圖像流類型。
具體實施例方式
在下面的詳細描述中，簡單地通過圖解說明由完成本發(fā)明的發(fā)明者預期 的最佳才莫式只顯示和描述了本發(fā)明的優(yōu)選實施例。正如將會認識到的那樣， 能夠在各個顯而易見的方面對本發(fā)明作出修改，而都不會偏離本發(fā)明。因此， 附圖和描述本質(zhì)上應被看成是說明性的，而不是限制性的。
在本發(fā)明的實施例中，處理MPEG-4立體/多視圖3D視頻數(shù)據(jù)。特別地，
根據(jù)用戶的系統(tǒng)環(huán)境和用戶所選擇的顯示模式，將通過多個通道在同一時刻 輸出的編碼的、基于場的基本流集成到單通道基本流中，之后多路復用成單
個3D存取單元流(以下稱為3D—AU流)。
更特別地，流式處理可支持所有4種顯示模式二維視頻顯示模式；三 維視頻場模板顯示模式，用于通過基于場的模板來顯示三維視頻圖像；三維 立體視頻幀模板顯示模式，用于通過基于幀的模板來顯示三維視頻圖像；以 及多視圖三維視頻顯示模式，用于通過使用小光學透鏡(lenticula)鏡頭等以所 要求的幀頻來順序地顯示圖像。
為了使能上述用戶定義的4種顯示和立體/多視圖3D視頻圖像的多路復 用，本發(fā)明的實施例生成同步分組首標的新的首標信息，并構(gòu)造具有最小化 的重疊信息的首標。再者，本發(fā)明實施例通過使用從同一時刻的多視圖視頻 圖像的多通道基本流中的一個通道基本流中獲得的時間信息來獲得和其它視 點的基本流同步，以簡化3D視頻圖像間的同步。
圖1是才艮據(jù)本發(fā)明實施例的立體/多視圖3D視頻處理系統(tǒng)(以下稱為"視 頻處理系統(tǒng)")的示意圖。
如圖l所示，根據(jù)本發(fā)明的實施例的、基于MPEG-4系統(tǒng)處理立體/多視 圖3D視頻數(shù)據(jù)的視頻處理系統(tǒng)包含壓縮層10，其支持多個編碼器；同步 層20，其接收存取單元(AU)數(shù)據(jù)并生成適合于同步的分組；以及傳輸層30， 其包括為了多個流的同時發(fā)生的多路復用而可選地給出的FlexMux 31,和用 于構(gòu)造與傳輸環(huán)境和存儲介質(zhì)的接口的傳輸多媒體集成框架(DMIF)32。
壓縮層10包括用于靜止圖像、計算機圖形(CG)、分解復合系統(tǒng)的音頻編 碼、樂器數(shù)據(jù)接口(MIDI)、文本、以及2D視頻和音頻的各種對象編碼器。
更具體地，如圖l所示，壓縮層10包括3D對象編碼器11、 2D對象編 碼器12、場景描述流生成器13、對象描述符流生成器14以及3D基本流混 合器(以下稱為3D—ES混合器)15和16。
2D對象編碼器12對包括靜止圖像、計算機圖形(CG)、分解復合系統(tǒng)的 音頻編碼、樂器數(shù)據(jù)接口 (MIDI)和文本、以及2D視頻和音頻的各種對象進行 編碼。從2D對象編碼器12中的各個編碼器輸出的基本流以AU流形式被輸 出，并^皮傳送到同步層20。
對象描述符流生成器14生成對象描述符流，用于表示多個對象的屬性，
場景配置信息流生成器13生成場景描述流，用于表示對象間的時間和空間相 關(guān)性。
3D對象編碼器11以及3D—ES混合器15和16用于處理立體/多視圖3D 視頻圖像，同時保持和現(xiàn)有MPEG-4系統(tǒng)的兼容性。
3D對象編碼器11是一個用于立體/多視圖3D視頻數(shù)據(jù)的基于對象的編 碼器，且包括多個3D實像編碼器，用于處理由相機等實際獲取的圖像； 以及3D計算機圖形(CG)編碼器，用于處理計算機生成的圖像，即CG。
當輸入數(shù)據(jù)是在不同方向上生成的立體3D視頻圖像時，3D對象編碼器 11分別以左右圖像的奇偶場為單位輸出基本流。相比之下，當輸入數(shù)據(jù)是N-視圖3D視頻圖像時，3D對象編碼器11將Nx2個基于場的基本流輸出到 3D—ES混合器15和16。
3D—ES混合器15和16將從3D對象編碼器11輸出的各個基本流處理為 單個3D—AU流，并將所述單個3D_AU流發(fā)送到同步層20。
經(jīng)由基本流接口 (ESI)將上述從壓縮層10輸出的單個3D一AU流傳送到同 步層。ESI是將i某體數(shù)據(jù)流連接到同步層的接口，其不是由ISO/正C 14496-1 所規(guī)定的，而是為了易于實現(xiàn)而提供的，因此可以在需要的情況下作修改。 ESI傳送同步層(SyncLayer, SL)分組首標信息。在圖2中圖解說明了在現(xiàn) 有MPEG-4系統(tǒng)中通過ESI傳送的SL分組首標信息的一個例子。同步層20 使用SL分組首標信息生成SL分組首標。
為保持基本流之間或基本流中的時間同步，同步層20包括多個對象分組 器21，其接收從壓縮層IO每個AU輸出的各個基本流，將其分成多個SL分 組以生成各個SL分組的有效載荷，且參照經(jīng)由ESI為每個AU接收的信息生 成每個單獨SL分組的首標，從而完成由首標和有效載荷組成的SL分組。
SL分組首標用于在數(shù)據(jù)丟失的情況下檢查連續(xù)性，且包括和時間戳相關(guān) 的4言息。
將從同步層20輸出的分組流發(fā)送到傳輸層30,并在由FlexMux 31多路 復用之后經(jīng)DIMF 32將其處理成適合于至傳輸環(huán)境和存儲介質(zhì)的接口的流。
同步層20和傳輸層30的基本處理和現(xiàn)有MPEG-4系統(tǒng)的基本處理是相 同的，并因此不詳細描述。
現(xiàn)在描述基于上述構(gòu)造的視頻處理系統(tǒng)來多路復用立體/多視圖3D視頻 圖像的方法。
作為例子，將2D圖像和由至少兩個相機獲得的多通道3D圖像(包括靜 止或運動照片)，或計算機生成的3D圖像即CG,分別送入壓縮層10的2D 對象編碼器12和3D對象編碼器11。 2D圖像的多路復用處理對本領(lǐng)域的技 術(shù)人員而言是眾所周知的，因此不詳細描述。
將作為由相機獲取的實像的立體/多視圖3D視頻圖像輸入到3D對象編 碼器11中的3D實像編碼器111,且將作為計算機生成的3D立體/多視圖視 頻圖像的CG輸入到3D對象編碼器11中的3DCG編碼器112。
圖3和圖4分別圖解說明了多個3D實像編碼器和3D CG編碼器的操作。
如圖3所示，當輸入數(shù)據(jù)是在左右方向上生成的立體3D視頻圖像時，3D 實像編碼器111或3D CG編碼器112以場為單位對左右圖像或左右CG數(shù)據(jù) 進行編碼，以便以4通道場為單位輸出基本流。
更具體地，將立體3D實像或CG編碼成左奇場的立體3D基本流 3DES—LO、左偶場的立體3D基本流3DES一LE、右奇場的立體3D基本流 3DES一RO以及右偶場的立體3D基本流3DES一RE。
當輸入數(shù)據(jù)是N-視圖視頻圖像時，3D實像編碼器111或3D CG編碼器 112以場為單位對N-視像或CG數(shù)據(jù)進行編碼，以輸出第1到第N個視 點的奇場基本流，以及第1到第N個視點的偶場基本流。
更具體地，如圖4所示，將N-視圖視頻編碼為Nx2個基本流，所述基本 流包括第1視點的奇場基本流3DES—#1 OddField、第2視點的奇場基本流 3DES_#2 OddField、...第N視點的奇場基本流3DES—#N OddField、第1視點 的偶場基本流3DES—#1 EvenField、第2 ^見點的偶場基本流3DESJ2 EvenField、...第N視點的偶場基本流3DES—#N EvenField。
如上面所描述的，將從立體/多視圖3D對象編碼器11輸出的多通道的基 于場的基本流輸入到3D—ES混合器15和16以進行多路復用。
圖5和圖6圖解說明了 3D—ES混合器的多路復用處理。
3D一ES混合器15和16將多通道的基于場的基本流多路復用為3D—AU 流，以輸出單通道的集成流。這里，取決于顯示模式，將被傳送的基本流數(shù) 據(jù)是可變的。因此，對各個顯示模式而言，進行多路復用僅傳送必要的基本
、、六 //億0
有4種顯示模式2D視頻顯示模式、3D視頻場模板顯示模式、3D視頻 幀模板顯示模式以及多視圖3D視頻顯示模式。
圖7到圖11取決于所涉及的顯示模式，圖解說明多通道的基于場的基本
流的多路復用的例子。圖7、圖8和圖9說明立體3D視頻數(shù)據(jù)的多路復用方 法，圖IO和圖ll說明多視圖3D視頻數(shù)據(jù)的多路復用方法。
當用戶為立體3D視頻凄t據(jù)選擇3D視頻場模板顯示沖莫式時，將從3D對 象編碼器11輸出的4通道基本流中的左奇場的立體3D基本流3DES一LO和 右偶場的立體3D基本流3DES—RE順序地集成到單通道3D—AU流中，如圖 7所示。
當用戶為立體3D視頻數(shù)據(jù)選擇3D視頻幀模板顯示模式時，將4通道基 本流中的左奇場的立體3D基本流3DES—LO、左偶場的立體3D基本流 3DES一LE、右奇場的立體3D基本流3DES—RO和右偶場的立體3D基本流 3DES一RE順序地集成到單通道3D一AU流中，如圖8所示。
當用戶為立體3D視頻數(shù)據(jù)選擇2D視頻顯示模式時，將左奇場的立體3D 基本流3DES一LO和左偶場的立體3D基本流3DES一LE順序地集成到單通道 3D一AU流中，如圖9所示。
當用戶為多視圖3D視頻數(shù)據(jù)選擇3D視頻顯示模式時，對于每個視點按 奇偶場的順序，之后按視點順序?qū)⒒玖骷傻絾瓮ǖ?D—AU流中，如圖 IO所示。即按第1視點的奇場基本流3DES—#1 OddField、第1視點的偶場基 本流3DES—#1 EvenFidd、...第N視點的奇場基本流3DES—#N OddField、和 第N視點的偶場基本流3DES—存NEvenField的順序，將多視圖視頻圖像的基 本流集成到單通道3D一AU流中。
當用戶為多視圖3D視頻數(shù)據(jù)選擇2D視頻顯示模式時，只將一個視點的 奇偶場基本流順序地集成到單通道3D—AU流中，如圖11所示。因此，在多 視圖3D視頻圖像的2D視頻顯示模式下，允許用戶顯示他/她所期望的視點 的圖像。
如上面所描迷的，將從3D—ES混合器15和16輸出的單通道3D—AU流 送入同步層20中。如圖2所示，根據(jù)本發(fā)明的實施例，除從ESI傳送的信息 之外，單通道3D—AU流包括立體/多視圖3D視頻流的可選信息。
圖12中定義了增加到立體/多視圖3D視頻數(shù)據(jù)中的信息的語法和語義。
圖12示出了對于立體/多視圖3D視頻圖像而增加到單個3D一AU流中的 信息的語法和語義，其中只圖解說明經(jīng)由ESI傳送的信息以外的可選信息。
更具體地，另外給出了3個信息集合，如顯示區(qū)分標志2D_3DDispFlag 和^L點信息標志NumViewpoint,如圖12所示。
顯示區(qū)分標志2D—3DDispFlag表示由用戶選擇的立體/多視圖3D視頻的 顯示模式。在該實施例中，如果不明確限定則顯示區(qū)分標志是"00"用于 2D視頻顯示模式、"01"用于3D視頻場模板顯示模式、"10"用于3D視頻 幀模板顯示模式、"11"用于多視圖3D視頻顯示模式。
視點信息標志NumViewpoint表示運動畫面的視點數(shù)。即對于2視點的視 頻圖像的立體3D視頻數(shù)據(jù)，將視點信息標志指定為"2"，對于N視點的視 頻圖像的3DN-視圖視頻數(shù)據(jù)，將視點信息標志指定為"N"。
同步層20接收每個AU的輸入基本流，將它分為多個SL分組，以生成 各個SL分組的有效載荷，并且基于經(jīng)ESI為每個AU傳送的信息以及關(guān)于立 體/多視圖3D視頻圖像的上述附加信息(即顯示區(qū)分標志和視點信息標志)構(gòu) 造同步分組首標。
圖13圖解說明了根據(jù)本發(fā)明的實施例的立體3D視頻數(shù)據(jù)的同步分組首 標的結(jié)構(gòu)，所述同步分組首標是增加到一個3D—AU流中的首標信息。
在圖13所示的同步分組首標中，存取單元開始標志AccessUnitStartFlag 表示同步分組有效載荷的哪個字節(jié)是3D一AU流的開始。例如，標志位"1" 表示SL分組有效載荷的第一個字節(jié)是一個3D一AU流的開始。
存耳又單元結(jié)束標志AccessUnitEndFlag表示同步分組有效載荷的哪個字 節(jié)是3D一AU流的結(jié)束。例如，標志位1表示SL分組有效載荷的最后一個字 節(jié)是當前3D一AU流的結(jié)束字節(jié)。
對象時鐘參照(OCR)標志表示跟隨有多少個對象時鐘參照。例如，標志 位"1"表示跟隨有一個對象時鐘參照。
空閑標志IdleFlag表示3D—AU流的輸出狀態(tài)。例如，標志位"1"表示 對于某個預先確定的時刻不輸出3D—AU數(shù)據(jù)，標志位"0"表示輸出3D一AU 數(shù)據(jù)。
填充標志PaddingFlag表示在SL分組中是否存在填充。例如，標志位"1" 表示在SL分組中存在填充。
填充位PaddingBits表示將用于SL分組的填充模式，且具有缺省值"0"。
分組序列號PacketSequenceNumber有一個對于各個SL分組連續(xù)增加的 模數(shù)值。解碼器中的不連續(xù)說明至少一個SL分組丟失了。
對象時鐘參照(OCR)包括OCR時間戳，且僅當設置了 OCR標志時，才
存在于SL分組首標中。
設置為"I"的存取單元開始標志AccessUnitStartFlag的標志位表示SL 分組有效載荷的第一個字節(jié)是一個3D—AU流的開始，在這種情況下傳送可選 字段的信息。
具有設置為"1"的標志位的隨機存取點標志RandomAccessPointFlag表 示允許隨才幾存取內(nèi)容。
3D—AU序列號3D—AUS叫uenceNumber有一個對于各個3D一AU連續(xù)增 加的模數(shù)值。解碼器中的不連續(xù)說明至少一個3D—AU丟失了 。
解碼時間戳標志DecodingTimeStampFlag表示在SL分組中存在有解碼時 間戳(D丁S)。
合成時間戳標志CompositionTimeStampFlag表示在SL分組中存在有合 成時間戳(CTS)。
即時(instant)比特率標志InstantBitRateFlag表示在SL分組中存在有即時 比特率。
解碼時間戳(DTS)是在相關(guān)的SL配置描述符中存在的DTS,且僅當解碼 時間不同于3D一AU的復合時間時存在。
合成時間戳(CTS)是在相關(guān)的SL配置描述符中存在的CTS。 3D一AU長度表示3D一AU的字節(jié)長度。
即時比特率表示當前3D一AU的比特率，并且是有效的，直到下一個即時 比特率字段出現(xiàn)為止。
降級優(yōu)先級表示SL分組有效載荷的優(yōu)先級。
浮見點信息標志NumViewpoint表示運動畫面的浮見點H即對于2纟見點運動 畫面的立體3D視頻數(shù)據(jù)，將視點信息標志設置為"2"，或?qū)τ?DN-視圖視 頻數(shù)據(jù)，將視點信息標志設置為"N"。
顯示區(qū)分標志2D_3DDispFlag以和立體3D ^見頻lt據(jù)的情況相同的方式 來表示3D視頻數(shù)據(jù)的顯示模式。在該實施例中，顯示區(qū)分標志對于2D視頻 顯示模式被設置為"00"，對于3D視頻場才莫板顯示模式被設置為"01",對 于3D視頻幀模板顯示模式被設置為"10",對于多視圖視頻顯示模式被設置 為"11"。
在建造了上述構(gòu)造的首標之后，同步層20將首標和有效載荷組合在一 起，以生成SL分組并發(fā)送該SL分組到傳輸層30。在FlexMux 31中被多路復用之后，將傳送到傳輸層30的SL分組流處理 為適合于經(jīng)DMIF 32至傳輸環(huán)境的接口的流，并將其發(fā)送到接收方?？蛇x 的，將SL分組流處理為適合于至存儲介質(zhì)的接口的流，并將其存儲在存儲介 質(zhì)中。
接收方解碼來自視頻處理系統(tǒng)的處理的分組流，以再現(xiàn)原始圖像。
在這種情況下，接收方的3D對象解碼器檢測多路復用的3D一AU的流格 式類型，從而以每個多路復用的3D—AU的流格式類型來恢復3D視頻數(shù)據(jù)。 因此，3D對象解碼器在基于在接收的分組的首標中存儲的信息中的視點信息 標志NumViewpoint和顯示區(qū)分標志2D_3DDispFlag中存儲的值，檢測3D—AU 的流格式類型之后，進行解碼。
例如，當所傳送的分組流首標的視點信息標志NumViewpoint是"2"且 顯示區(qū)分標志2D一3DDispFlag是"00"時，將以2D視頻顯示模式顯示立體 3D視頻數(shù)據(jù)，且按左奇場的3D基本流3DES—LO、左偶場的3D基本流 3DES—LE的順序來多路復用3D—AU，如圖10所示。
當視點信息標志NumViewpoint是"2"且顯示區(qū)分標志2D_3DDispFlag 是"01"時，以3D視頻場模板顯示模式顯示立體3D視頻數(shù)據(jù)，且以左奇場 的3D基本流3DES—LO、右偶場的3D基本流3DES—RE的順序多路復用 3D_AU,如圖8所示。
最后，當視點信息標志NumViewpoint是"2 "且顯示區(qū)分標志 2D一3DDispFlag是"10"時，將以3D視頻幀才莫板顯示才莫式顯示立體3D視頻 數(shù)據(jù)，且以左奇場的3D基本流3DES—L0、左偶場的3D基本流3DES—LE和 右偶場的3D基本流3DES一RE的順序多路復用3D一AU，如圖9所示。
另一方面，當視點信息標志NumViewpoint是"2"且顯示區(qū)分標志 2D—3DDispFlag是"11"時，將以多視圖3D 3見頻顯示才莫式來顯示立體3D視 頻凄t據(jù)，該情況不會出現(xiàn)。
當視點信息標志NumViewpoint是"N"且顯示區(qū)分標志2D—3DDispFlag 是"00"時，將以2D視頻顯示模式顯示多視圖3D視頻數(shù)據(jù)，并以第一視點 的奇場基本流3DES—#10、第一視點的偶場基本流3DES—#1E的順序多路復 用3D一AU，如圖12所示。
當視點信息標志NumViewpoint是"N"且顯示區(qū)分標志2D—3DDispFlag 是"11"時，將以多視圖3D視頻顯示模式顯示多視圖3D視頻數(shù)據(jù)，且以第 一到第N視點的所有奇場基本流3DES—#10,...,3DES—#NO和第一到第N視 點的所有偶場基本流3DESJ1E,…,3DES—#NE的順序多路復用3D—AU,如圖 11所示。
當視點信息標志NumViewpoint是"N"且顯示區(qū)分標志2D—3DDispFlag 是"10"或"01"時，將以3D視頻幀/場模板顯示模式顯示多視圖3D視頻 數(shù)據(jù)，該情況不會出現(xiàn)。
如上所述，根據(jù)本發(fā)明的實施例，接收方基于在從^L頻處理系統(tǒng)傳送的 分組流首標的一見點信息標志NumViewpoint和顯示區(qū)分標志2D—3DDispFlag 中存儲的值，檢查分組流中多路復用的3D一AU的流格式類型，之后執(zhí)行解碼 以再現(xiàn)3D碎見頻圖像。
圖14 il明了由MPEG-4系統(tǒng)的DecoderConfigDescriptor所定義的流類 型，圖15說明了一種新的流類型，其用于確定從壓縮層輸出的立體3D視頻 圖像的基本流是2D還是3D視頻圖像數(shù)據(jù)。
盡管關(guān)于目前認為是最實用和優(yōu)選的實施例描述了本發(fā)明，但應當理解 本發(fā)明不限于所公開的實施例，相反，本發(fā)明試圖覆蓋在附加權(quán)利要求的精 神和范圍內(nèi)所包括的各種修改和等價結(jié)構(gòu)。
如上所述，本發(fā)明使現(xiàn)有MPEG-4系統(tǒng)中的立體/多視圖3D視頻處理成 為可能。
特別地，將具有相同時間和空間信息的多通道的基于場的基本流多路復 用為單個基本流，從而最小化重疊的首標信息。
本發(fā)明還通過使用從同 一 時刻的多視圖視頻數(shù)據(jù)的多通道基本流中的一 個通道基本流中獲得的時間信息來獲得與其它視點的基本流同步，從而簡化 3D一見頻圖像間的同步。
此外，本發(fā)明的多路復用結(jié)構(gòu)和首標構(gòu)造允許用戶有選擇性地以3D視 頻場/幀模板顯示模式、多視圖3D視頻顯示模式或2D視頻顯示模式，來顯 示立體/多視圖3D視頻數(shù)據(jù)，同時保持和現(xiàn)有2D視頻處理系統(tǒng)的兼容性。 因此，本發(fā)明可對所選擇的適合于用戶需求和系統(tǒng)環(huán)境的數(shù)據(jù)進行流化處理。
權(quán)利要求
1.一種解碼多路復用的視頻分組流的方法，包括(a)接收包括有視點信息標志和顯示區(qū)分標志的多路復用的分組流，所述視點信息標志用于表示運動畫面的視點數(shù)，所述顯示區(qū)分標志用于表示運動畫面的顯示模式；(b)從多路復用的分組流中檢測視點信息標志和顯示區(qū)分標志；(c)基于檢測的視點信息標志和檢測的顯示區(qū)分標志確認多路復用的分組流的流格式并解碼確認的分組流。
2. 如權(quán)利要求1所述的方法，其中所述視點信息標志和顯示區(qū)分標志 包括在多路復用的分組流的首標中。
3. 如權(quán)利要求1或2所述的方法，其中當確認的流格式是三維視頻場 模板顯示模式時，在確認使用2通道基本流、按照左圖的奇場基本流和右圖 的偶場基本流的順序?qū)⒘Ⅲw聲三維視頻的4通道的基于場的基本流多路復用 為 一或多個存取單元流之后，步驟(c )進行解碼。
4. 如權(quán)利要求1或2所述的方法，其中當確認的流格式是三維視頻幀 模板顯示模式時，在確認使用4通道基本流，按照左圖的奇場基本流、左圖 的偶場基本流、右圖的奇場基本流、右圖的偶場基本流的順序?qū)⒘Ⅲw聲三維 視頻的4通道的基于場的基本流多路復用為一或多個存取單元流之后，步驟(c)進行解碼。
5. 如權(quán)利要求1或2所述的方法，其中當確認的流格式是二維視頻顯 示模式時，在確認使用2通道基本流、按照左圖的奇場基本流和左圖的偶場 基本流的順序?qū)⒘Ⅲw聲三維視頻的4通道的基于場的基本流多路復用為 一或 多個存取單元流之后，步驟(c)進行解碼。
6. 如權(quán)利要求1或2所述的方法，其中當確認的流格式是三維多視圖 視頻顯示模式時，在確認使用各個視點、按照視點的奇場基本流和偶場基本 流的順序?qū)視圖視頻的Nx2個基于場的基本流順序地多路復用為一或多 個存取單元流之后，步驟(c)進行解碼。
全文摘要
公開了一種解碼多路復用的視頻分組流的方法。該方法包括接收包括有用于表示運動畫面的視點數(shù)的視點信息標志和用于表示運動畫面的顯示模式的顯示區(qū)分標志的多路復用的分組流；從多路復用的分組流中檢測視點信息標志和顯示區(qū)分標志；基于檢測的視點信息標志和檢測的顯示區(qū)分標志確認多路復用的分組流的流格式并解碼確認的分組流。本發(fā)明對具有相同時間和空間信息的多通道基本流進行多路復用，從而最小化重疊的首標信息，且對適合于用戶需求和用戶系統(tǒng)環(huán)境的數(shù)據(jù)進行流化處理。
文檔編號H03M7/30GK101188779SQ20071015985
公開日2008年5月28日 申請日期2002年11月21日 優(yōu)先權(quán)日2001年11月21日
發(fā)明者安致得, 尹國鎮(zhèn), 崔潤靜, 曹叔嬉, 李珍煥 申請人:韓國電子通信研究院