專利名稱：三維數(shù)字多媒體廣播系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及一種三維數(shù)字多媒體廣播(3-dimensional Digital MultimediaBroadcasting，3D DMB)系統(tǒng)；具體地涉及3D DMB發(fā)送和接收系統(tǒng)，用于通過編碼3D音頻/視頻(AV)來發(fā)送3D AV，并且通過將所接收的信號解碼為3DAV來向用戶提供服務，以便在保持與傳統(tǒng)的DMB系統(tǒng)的兼容性的同時來向用戶提供更逼真的立體聲廣播。
背景技術：
由于計算機和通信技術的發(fā)展已經(jīng)顯著地改變了人們之間的通信的領域，并且通過將各種多媒體的各種數(shù)據(jù)連接到諸如數(shù)字多媒體廣播(DMB)之類的移動技術而取代傳統(tǒng)的單向服務來積極地使用雙向服務。
DMB系統(tǒng)是用于在任何時間和任何地點向移動用戶提供諸如視頻、音頻和數(shù)據(jù)之類的各種多媒體服務的廣播系統(tǒng)，并且已經(jīng)在世界上在韓國第一次準備了DMB系統(tǒng)的服務。
作為發(fā)送系統(tǒng)的DMB系統(tǒng)使用數(shù)字音頻廣播(DAB)來作為發(fā)送系統(tǒng)，使用MPEG-4來作為媒體處理方法，并且使用MPEG-4和MPEG-2系統(tǒng)來作為用于復用、同步和發(fā)送媒體數(shù)據(jù)的規(guī)范?？梢酝ㄟ^使用DMB系統(tǒng)來向用戶提供高質(zhì)量的CD水平的音頻和視頻服務。
同時，已經(jīng)引人注目地研發(fā)了用于處理具有左右圖像的雙目(binocular)3D運動圖像的技術，并且隨后已經(jīng)嘗試集成3D運動圖像和數(shù)字廣播。
在處理3D運動圖像中在數(shù)據(jù)量、同步和系統(tǒng)復雜性上存在許多困難，這與傳統(tǒng)的2運動圖像不同，而且，沒有向移動系統(tǒng)中的用戶提供用于處理通過照像機輸入的真實畫面圖像的服務，因為一般將焦點集中于計算機圖形(CG)處理上。
而且，由于多聲道聲音音頻的迅速傳播和3D音頻獲取和恢復技術的發(fā)展，用戶對數(shù)字廣播中的立體聲的需求日益增加。
如上所述，由于對于3D AV的日益增加的興趣和要求，在諸如體育轉(zhuǎn)播、廣告、教育、醫(yī)療服務和游戲之類的各種應用領域中使用3D AV。但是，因為DMB服務的焦點集中于2D AV上，所以DMB服務具有真實感和3D效果非常低的問題。
需要實現(xiàn)新的MPEG-4系統(tǒng)信息和結構、用于編碼/解碼3DAV同時保持與傳統(tǒng)的DMB系統(tǒng)的兼容的方法、用于根據(jù)用戶在接收端的選擇將3D AV顯示為2D AV或者3D AV的方法、以及用于提供2D或者3D AV服務以基于傳統(tǒng)的DMB系統(tǒng)來表達3D AV的系統(tǒng)。

發(fā)明內(nèi)容
技術問題因此，本發(fā)明的目的是提供一種三維(3D)數(shù)字多媒體廣播系統(tǒng)(DMB)，用于提供3D音頻/視頻(AV)服務，所述系統(tǒng)通過使用傳統(tǒng)的系統(tǒng)結構來處理雙目的3D運動圖像和3D聲音而保持與傳統(tǒng)的DMB系統(tǒng)的兼容，并且向用戶提供更逼真的3D AV服務。
通過下面的說明將理解本發(fā)明的其他目的和優(yōu)點，并且通過如下所述的根據(jù)本發(fā)明的實施例，本發(fā)明的其他目的和優(yōu)點將變得更清楚。同樣清楚的是，可以通過在權利要求及其組合中定義的手段來容易地體現(xiàn)本發(fā)明的目的和優(yōu)點。
技術方案根據(jù)本發(fā)明的一個方面，提供了一種三維數(shù)字多媒體廣播(3D DMB)發(fā)送系統(tǒng)，包括視頻編碼器，用于接收和編碼雙目3D圖像的視頻信號；音頻編碼器，用于接收和編碼3D聲音的音頻信號；分組化器，用于將所編碼的視頻和音頻信號分組化為同步層(SL)分組；以及復用器，用于變換和復用由所述分組化器分組化的SL分組，并且輸出復用的SL分組。
根據(jù)本發(fā)明的另一個方面，提供了一種三維數(shù)字多媒體廣播(3D DMB)接收系統(tǒng)，包括去復用器，用于通過去復用包括雙目3D圖像信息和3D聲音信息的流來輸出SL分組；去分組化器，用于去分組化所述SL分組，并且輸出雙目3D視頻信號和3D聲音音頻信號的編碼流；視頻解碼器，用于關于所述雙目3D視頻信號解碼編碼流；音頻解碼器，用于關于所述3D聲音音頻信號來解碼編碼流；以及場景恢復器，用于通過使用從所述視頻解碼器和音頻解碼器輸入的視頻/3D附加視頻信號和音頻/3D附加音頻信號來形成和輸出2D音頻/視頻(AV)或者3DAV場景。


通過下面結合

優(yōu)選實施例，本發(fā)明的上述和其他目的和特征將會變得清楚，其中圖1是示出根據(jù)本發(fā)明的一個實施例的三維數(shù)字多媒體廣播(3D DMB)發(fā)送系統(tǒng)的方框圖；圖2是圖解圖1的視頻編碼模塊的方框圖；圖3是圖解圖1的3D附加視頻編碼模塊的方框圖；圖4是圖解圖1的音頻編碼模塊的方框圖；圖5是圖1的3D附加音頻編碼模塊；圖6是圖解圖5的附加音頻前處理器的方框圖；圖7是圖解圖1的系統(tǒng)編碼模塊的方框圖；圖8是示出根據(jù)本發(fā)明的一個實施例的對象描述符(object descriptor，OD)的數(shù)據(jù)結構的方框圖；圖9是圖解在圖1的在M2上的M4(M4 over M2)模塊的方框圖；圖10是示出根據(jù)本發(fā)明的一個實施例的3D數(shù)字多媒體廣播接收系統(tǒng)的方框圖；圖11是圖解在圖10的在M4上的M2(M2 over Me)模塊的方框圖；圖12是圖解圖10的系統(tǒng)分析模塊的方框圖；圖13是圖解圖10的3D視頻解碼模塊的方框圖；圖14是圖10的3D音頻解碼模塊的方框圖；圖15是圖解圖14的3D音頻后處理器的方框圖；圖16是圖解圖10的場景產(chǎn)生模塊的方框圖。
具體實施例方式
通過下面參見附圖來說明實施例，本發(fā)明的其他目的和優(yōu)點將變得清楚。因此，本發(fā)明所屬領域的技術人員可以容易地具體化本發(fā)明的技術思想和范圍。另外，如果認為關于現(xiàn)有技術的詳細說明可能使得本發(fā)明的要點模糊，則在此不提供詳細說明。而且，在本發(fā)明的數(shù)字多媒體發(fā)送和接收系統(tǒng)中，可以在超短波數(shù)字廣播視頻發(fā)送/接收匹配的規(guī)范文件可以有益于說明每個元件的功能和操作的范圍中，在本說明書中包括電信技術聯(lián)合會的超短波數(shù)字廣播視頻發(fā)送/接收匹配的規(guī)范文件。以下參見附圖來詳細說明本發(fā)明的優(yōu)選實施例。
圖1是根據(jù)本發(fā)明的一個實施例的三維數(shù)字多媒體廣播(3D DMB)發(fā)送系統(tǒng)的方框圖。
本發(fā)明的3D數(shù)字多媒體廣播發(fā)送系統(tǒng)是這樣的系統(tǒng)，它用于接收音頻/視頻(AV)數(shù)據(jù)即視頻信號和音頻信號和3D附加AV數(shù)據(jù)即3D附加視頻信號和3D附加音頻信號、基于MPEG-4來編碼該AV數(shù)據(jù)和3D附加AV數(shù)據(jù)、以及輸出復用的MPEG-2傳輸流(TS)。
如圖1中所示，所述3D數(shù)字多媒體廣播發(fā)送系統(tǒng)包括視頻編碼模塊110、3D附加視頻編碼模塊130、音頻編碼模塊120、3D附加音頻編碼模塊140、系統(tǒng)編碼模塊150和在M2上的M4模塊160。
在此，視頻編碼模塊110是用于將雙目3D運動圖像的左圖像和右圖像之一編碼為MPEG-4部分10高級視頻編碼(Advanced Video Coding，AVC)基線類(baseline profile)規(guī)格的模塊。
音頻編碼模塊120是用于將從外部發(fā)送的音頻信號編碼為MPEG-4位片算術編碼(Bit Sliced Arithmetic Coding，BSAC)規(guī)格的模塊。
3D附加音頻編碼模塊140是用于將從外部輸入的3D附加音頻信號編碼為MPEG-4比特BSAC規(guī)格的模塊。
系統(tǒng)編碼模塊150產(chǎn)生、編碼MPEG-4初始對象描述符(Initial ObjectDescriptor，IOD)/OD/二進制格式場景(Binary Format for Scene，BIFS)數(shù)據(jù)，并且把通過使用從所述4個解碼模塊110-140輸出的基本流(Elementary Stream，ES)產(chǎn)生的對象描述符(OD)/二進制格式場景(BIFS)流和從外部接收的數(shù)據(jù)分組化為同步層(SL)分組。
在M2上的M4模塊160接收SL分組數(shù)據(jù)，將SL分組數(shù)據(jù)分組化為MPEG-2 TS，將被分組化的MPEG-2 TS復用為一個MPEG-2 TS，并且輸出所述MPEG-2 TS。
圖2是圖解圖1的視頻編碼模塊的方框圖。
如圖2中所示，視頻編碼模塊110包括視頻前處理器(pre-processor)111和視頻編碼器113。視頻前處理器111從外部接收關于雙目3D運動圖像的左或右視頻信號，并且將所述圖像的大小變換為四分之一視頻圖形陣列(QuaterVideo Graphic Array，QVGA)320×240或者公共中間格式(Common IntermediateFormat，CIF)352×288的大小。視頻編碼器113輸出視頻基本流(ES)，它是通過把大小在附加的視頻前處理器111中被轉(zhuǎn)換的視頻信號編碼成以MPEG-4部分10高級視頻編碼(AVC)基線類規(guī)格和編碼參數(shù)——它是比特率而獲得的。在此，視頻編碼模塊110可以接收和處理一般的2D運動圖像視頻信號。
圖3是圖解圖1的3D附加視頻編碼模塊的方框圖。
如圖3中所示，3D附加視頻編碼模塊130包括附加視頻前處理器131和附加視頻編碼器133。附加視頻前處理器131從外部接收關于雙目3D運動圖像的左或右視頻信號，并且將所述圖像的大小變換為160×240/320×120或者176×288/352×144，其被縮小為在高度或者寬度上是所述QVGA/CIF大小的一半。附加視頻編碼器133輸出3D附加視頻ES，它是通過把在附加視頻前處理器131中變換后的視頻信號編碼成MPEG-4部分10 AVC基線類規(guī)格和編碼參數(shù)——它是比特率而獲得的。
圖4是圖解圖1的音頻編碼模塊的方框圖。
如圖4中所示，音頻編碼模塊120包括音頻前處理器121和音頻編碼器123。音頻前處理器121變換從外部接收的音頻信號的分辨率和采樣頻率以滿足MPEG-4 BSAC規(guī)范。音頻編碼器123接收在音頻前處理器121中變換后的音頻信號和在3D附加音頻編碼模塊140中產(chǎn)生的雙聲道下混合(downmix)音頻信號，并且也產(chǎn)生音頻ES，所述音頻ES被基于編碼參數(shù)——它是比特率——而編碼為MPEG-4 BSAC規(guī)格。
圖5是根據(jù)本發(fā)明的一個實施例的圖1的3D附加音頻編碼模塊。
如圖5中所示，3D附加音頻編碼模塊140包括附加音頻前處理器141和附加音頻編碼器143。附加音頻前處理器141通過使用從外部接收的3D附加音頻信號來產(chǎn)生和輸出雙聲道下混合(downmix)信號和3聲道3D附加音頻信號，其中，所述雙聲道下混合(downmix)信號被輸出到MPEG-4音頻編碼模塊120的音頻編碼器123。附加音頻編碼器143通過將所述3聲道3D附加音頻信號編碼為MPEG-4 BSAC規(guī)格而輸出3D附加音頻ES。在此，所述3D附加音頻信號可以是各種多聲道立體聲信號，諸如5聲道立體聲信號或者5.1聲道立體聲信號，所述5聲道立體聲信號包括左前揚聲器信號L、右前揚聲器信號R、前中揚聲器信號C、左后揚聲器信號LS和右后揚聲器信號RS，在所述5.1聲道立體聲信號中，向所述5個信號加上了亞低音(Sub-Woofer)信號SW。
圖6是圖解圖5的附加音頻前處理器的方框圖。
如圖6中所示，附加音頻前處理塊141包括前處理器145和聲道混合器147。前處理器145從外部接收作為各種聲道立體聲信號的3D附加音頻信號，處理諸如采樣頻率和量化比特數(shù)目之類的信號特性，并且產(chǎn)生其中執(zhí)行低通濾波的5聲道立體聲信號。聲道混合器147通過使用由ITU-R BS.775-1規(guī)范定義的混合方法從所述5聲道立體聲信號產(chǎn)生雙聲道下混合信號LO和R0以及3聲道附加音頻信號T、Q1和Q2。
在此，所述雙聲道下混合信號LO和R0是當播放立體聲時使用的左/右音頻信號，并且所述3聲道附加音頻信號T、Q1和Q2是用于重組原始信號的信號。而且，當輸入到前處理器145的3D附加音頻信號是5聲道立體聲信號時，前處理器145可以在無需任何特殊處理的情況下輸出所輸入的信號。
圖7是圖解圖1的系統(tǒng)編碼模塊的方框圖。
如圖7中所示，系統(tǒng)編碼模塊150包括SL分組化器(packetizer)151、OD/BIFS產(chǎn)生器153和初始對象描述符(IOD)產(chǎn)生器155。
在此，OD/BIFS產(chǎn)生器153通過使用從外部接收的OD/BIFS文本數(shù)據(jù)來產(chǎn)生和輸出OD/BIFS ES。通過關于視頻/3D附加視頻和音頻/3D附加音頻個別地使用一個OD來表達3D AV。
而且，SL分組化器151從上述的4個編碼模塊接收視頻ES、音頻ES、3D附加視頻ES、3D附加音頻ES和OD/BIFS ES，并且通過根據(jù)韓國移動多媒體廣播規(guī)范將其中每個分組化為SL分組來輸出它們。
IOD產(chǎn)生器155通過使用從外部發(fā)送的IOD文本數(shù)據(jù)來產(chǎn)生和輸出IODES。
圖8是示出根據(jù)本發(fā)明的一個實施例的對象描述符(OD)的數(shù)據(jù)結構的方框圖。
在視頻中，針對左或右視頻和右或左視頻的3D附加視頻的兩個ES Descriptor(ES描述符)被從屬地包括在一個OD中，以在保持與傳統(tǒng)DMB系統(tǒng)的OD/BIFS結構兼容的同時表達3D AV。而且，在音頻中，針對一個OD低音頻和和3D附加音頻的兩個ES_Descriptor具有從屬(subordinate)關系。
可以通過使用MPEG-4 OD的Stream DependenceFlag和dependsOn_ES_ID來表達所述從屬關系。
而且，將3D附加視頻ES的ObjectTypeIndication設置為User Private(用戶專用)，并且將stream type(流類型)設置為Visual(可視)，以提供3D AV服務同時保持與傳統(tǒng)DMB系統(tǒng)兼容。3D附加音頻ES的ObjectTypeIndication被設置為User Private(用戶專用)，并且stream type(流類型)被設置為Audio(音頻)。根據(jù)傳統(tǒng)DMB系統(tǒng)規(guī)范來設置其他的視頻和音頻ES。
傳統(tǒng)DMB系統(tǒng)不能通過此來關于3D附加AV流識別ObjectTypeIndication信息，并且也不能接收相關的3D附加AV編碼流。
結果，由于傳統(tǒng)的DMB系統(tǒng)可以識別僅一般的2D視頻和音頻，并且接收僅僅相關的編碼流，因此向用戶提供了后向兼容，其可以被接收為關于3DAV的2D運動圖像。
圖9是圖解圖1的在M2上的M4模塊的方框圖。
如圖9中所示，在M2上的M4模塊160包括分組化的基本流(PacketizedElemenary Stream，PES)分組化器161、PES到TS分組化器162、復用器163、開關164、14496部分分組化器165、PSI產(chǎn)生器166、節(jié)目專用信息PSI部分到TS分組化器167和14496部分到TS分組化器168。
開關164從系統(tǒng)編碼模塊150接收OD/BIFS SL分組，并且根據(jù)SL分組的編碼信息來向PES分組化器161或者14496部分分組化器165輸出OD/BIFSSL分組。
從系統(tǒng)編碼模塊150接收的視頻SL分組、音頻SL分組、3D附加視頻SL分組、3D附加音頻SL分組以及從開關164輸入的OD/BIFS SL分組被PES分組化器161分別分組化為PES，并且輸出到PES到TS分組化器162。
從開關164輸入的OD/BIFS SL分組被14496部分分組化器165分組化為14496部分，并且輸出到TS分組化器168。
PSI產(chǎn)生器166通過使用從系統(tǒng)編碼模塊150接收的IOD信息來產(chǎn)生包括節(jié)目關聯(lián)表(Program Association Table，PMT)部分(PA_section)和節(jié)目映射表(Program Map Table，PMT)部分(PM_section)的PSI，并且向PSI部分到TS分組化器167輸出所述PSI。
所輸入的PES分組被PES到TS分組化器162分組化為MPEG-2 TS并且輸出到復用器163。
所輸入地14496部分被14496部分到TS分組化器168分組化為MPEG-2TS，并且輸出到復用器163。
所述PSI信息被PSI部分到TS分組化器167輸入和分組化為MPEG-2TS，并且輸出到復用器163。
所輸入的MPEG-2 TS被復用器163復用為一個傳輸流，并且復用的MPEG-2 TS被輸出。
圖10是示出根據(jù)本發(fā)明的一個實施例的3D數(shù)字多媒體廣播接收系統(tǒng)的方框圖。
本發(fā)明的3D數(shù)字多媒體廣播接收系統(tǒng)是用于去復用和解碼從外部輸入的復用的MPEG-2 TS，并且向用戶顯示2D AV或者3D AV的系統(tǒng)。
如圖10中所示，所述3D數(shù)字多媒體廣播接收系統(tǒng)包括在M4上的M2模塊210、系統(tǒng)分析模塊220、3D視頻解碼模塊230、3D音頻解碼模塊240和場景產(chǎn)生模塊250。
在此，在M4上的M2模塊210通過去復用和去分組化從外部輸入的復用的MPEG-2 TS來輸出視頻SL分組、音頻SL分組、3D附加視頻SL分組、3D附加音頻SL分組、OD/BIFS SL分組和IOD數(shù)據(jù)。
系統(tǒng)分析模塊220去分組化包括視頻SL分組、音頻SL分組、3D附加視頻SL分組、3D附加音頻SL分組和OD/BIFS SL分組的所接收的SL分組，將所述SL分組輸出為包括視頻ES、音頻ES、3D附加視頻ES和3D附加音頻ES的編碼流，并且通過解碼IOD數(shù)據(jù)和OD/BIFS數(shù)據(jù)來輸出IOD數(shù)據(jù)和OD/BIFS數(shù)據(jù)。
3D視頻解碼模塊230通過解碼該視頻ES和3D附加視頻編碼ES來將視頻ES和3D附加視頻編碼ES輸出為2D視頻場景或者3D視頻場景。
3D音頻解碼模塊240通過解碼該音頻ES和3D附加音頻ES來將3D音頻信號輸出為2D或者3D音頻信號。
場景產(chǎn)生模塊250通過使用從3D視頻解碼模塊230和3D音頻解碼模塊240接收的2D/3D視頻信號和2D/3D音頻信號來根據(jù)BIFS的定義而形成和輸出場景。
圖11是圖解圖10的在M4上的M2模塊的方框圖。
如圖11中所示，在M4上的M2模塊210包括去復用器211、TS到PES去分組化器212、TS到14496部分去分組化器213、TS到PSI部分去分組化器214、PES去分組化器215、14496部分分析器216和PSI部分分析器217。
去復用器211個別地去復用從外部輸入的被復用的MPEG-2 TS，并且將去復用的MPEG-2 TS輸出為關于視頻ES、音頻ES、3D附加視頻ES、3D附加音頻ES、OD/BIFS、14496部分和PSI的單個MPEG-2 TS。
TS到PES去分組化器212從去復用器211接收視頻、音頻、3D附加視頻、3D附加音頻和OD/BIFS的MPEG-2 TS，并且通過將MPEG-2 TS去分組化為PES分組來將所述MPEG-2 TS輸出到PES去分組化器215。
TS到14496部分去分組化器213接收14496部分的MPEG-2 TS，并且通過將MPEG-2 TS去分組化為14496部分而向14496部分分析器216輸出所述MPEG-2 TS。
TS到PSI部分去分組化器214接收PSI的MPEG-2 TS，并且通過將所述MPEG-2 TS去分組化為PMP部分來向PSI部分分析器217輸出所述MPEG-2TS。
PES去分組化器215從TS到PES去分組化器212接收關于視頻、音頻、3D附加視頻、3D附加音頻和OD/BIFS的每個PES分組，并且通過將所述PES分組去分組化為SL分組來輸出視頻SL分組、音頻SL分組、3D附加視頻SL分組、3D附加音頻SL分組和OD/BIFS SL分組。
14496部分分析器216從TS到14496部分去分組化器213接收14496部分，并且通過提取OD/BIFS SL分組來輸出OD/BIFS SL分組。
PSI部分分析器217接收PAT部分和PMT部分，并且通過提取IOD數(shù)據(jù)來輸出IOD數(shù)據(jù)。
圖12是圖解圖10的系統(tǒng)分析模塊的方框圖。
如圖12中所示，系統(tǒng)分析模塊220包括SL去分組化器221、OD/BIFS解碼器222和IOD解碼器223。
SL去分組化器221從在M4上的M2模塊210接收視頻SL分組、音頻SL分組、3D附加視頻SL分組、3D附加音頻SL分組和OD/BIFS SL分組，將它們的每個去分組化為編碼流，并且輸出視頻ES和輸出3D附加視頻ES到3D視頻解碼模塊230，輸出音頻ES和3D附加音頻ES到3D音頻解碼模塊240，輸出OD/BIFS數(shù)據(jù)到OD/BIFS解碼器222。
OD/BIFS解碼器222解碼從SL去分組化器221發(fā)送的OD/BIFS編碼數(shù)據(jù)，并且向場景產(chǎn)生模塊250輸出解碼的BIFS信息，其中，所解碼的OD信息用于初始化每個媒體解碼器。
IOD解碼器223通過接收和解碼IOD編碼數(shù)據(jù)來輸出IOD編碼數(shù)據(jù)，并且解碼的IOD數(shù)據(jù)用于提取OD/BIFS數(shù)據(jù)。
圖13是圖解圖10的3D視頻解碼模塊的方框圖。
如圖13中所示，3D視頻解碼模塊230包括視頻解碼器231、附加視頻解碼器233和3D視頻后處理器235。
視頻解碼器231從系統(tǒng)分析模塊220的SL去分組化器221接收320×240/352×288圖像大小的MPEG-4部分10 AVC規(guī)格的視頻ES，并且通過解碼所述視頻ES來向3D視頻后處理器235輸出所述視頻ES。
附加視頻解碼器233從系統(tǒng)分析模塊220的SL去分組化器221接收160×240/320×120或者176×288/352×144圖像大小的MPEG-4部分10 AVC規(guī)格的3D附加視頻ES，并且通過解碼所述3D附加視頻ES來向3D視頻后處理器235輸出3D附加視頻ES。
3D視頻后處理器235分別從視頻解碼器231和附加視頻解碼器233接收解碼的視頻信號和3D附加視頻信號，并且當從用戶輸入的視頻恢復模式信息是3D視頻恢復模式時通過根據(jù)場來合成信號而將視頻信號和3D附加視頻信號輸出為QUGA 320×240或者CIF 352×288的3D視頻信號，或者當視頻恢復模式信息是2D視頻恢復模式時僅僅輸出320×240/352×288圖像大小的2D視頻信號，而忽略所接收的3D附加視頻信號。用戶可以通過此選擇期望的顯示方法來欣賞3D AV。
圖14是圖10的3D音頻解碼模塊的方框圖。
如圖14中所示，3D音頻解碼模塊240包括音頻解碼器241、附加音頻解碼器243和3D音頻后處理器245。
音頻解碼器241從系統(tǒng)分析模塊220的SL去分組化器221接收MPEG-4BSAC規(guī)格的音頻ES，并且通過解碼音頻ES而向3D音頻后處理器245輸出所述音頻ES。
附加音頻解碼器243從系統(tǒng)分析模塊220的SL去分組化器221接收MPEG-4 BSAC規(guī)格的3D附加音頻ES，并且通過解碼所述3D附加音頻ES來向3D音頻后處理器245輸出所述3D附加音頻ES。
3D音頻后處理器245從音頻解碼器241和附加音頻解碼器243接收解碼的音頻信號和3D附加音頻信號，通過使用從用戶輸入的音頻恢復信息來產(chǎn)生和輸出2D或者3D音頻信號。
圖15是圖解圖14的3D音頻后處理器的方框圖。
如圖15中所示，3D音頻后處理器245包括3D/3D開關246、去矩陣化(de-matrixer)器247和虛擬3D合成器248。
2D/3D開關246當從用戶接收的音頻恢復模式信息是3D音頻恢復模式時，通過合成解碼的音頻信號和3D附加音頻信號來輸出5聲道的3D音頻信號L0、R0、T、Q1和Q2，或者當音頻恢復模式信息是2D音頻恢復模式時僅僅輸出3D音頻信號L0和R0，而忽略被輸入的3D附加音頻信號。
去矩陣化器247接收音頻信號和3D音頻信號，并且通過使用ITU-RBS.775-1規(guī)范來輸出5聲道音頻信號L、R、C、LS和RS。
虛擬3D合成器248通過將所述5聲道音頻信號變換為由雙聲道的虛擬聲音信號L和R形成的3D音頻信號來接收和輸出所述5聲道音頻信號。
圖16是圖解圖10的場景產(chǎn)生模塊的方框圖。
如圖16所示，場景產(chǎn)生模塊250包括場景形成單元251和呈現(xiàn)器(renderer)253。
場景形成單元251從3D視頻解碼模塊230和3D音頻解碼模塊240接收諸如2D/3D視頻信號和2D/3D音頻信號的AV數(shù)據(jù)，并且向呈現(xiàn)器253輸出根據(jù)從系統(tǒng)分析模塊220的OD/BIFS解碼器222接收的BIFS數(shù)據(jù)來構成場景的、諸如2D/3D視頻場景和2D/3D音頻的AV場景。
呈現(xiàn)器253通過呈現(xiàn)所述AV場景來接收和輸出來自場景形成單元251的諸如2D/3D視頻場景和2D/3D音頻的AV場景。
因此，有可能實現(xiàn)一種系統(tǒng)，它能夠在保持與傳統(tǒng)DMB系統(tǒng)兼容的同時向用戶提供3D AV內(nèi)容服務。
如詳細所述，本發(fā)明可以被體現(xiàn)為程序，并且被存儲在計算機可讀記錄介質(zhì)中，諸如CD-ROM、RAM、ROM、軟盤、硬盤和磁光盤。因為可以由本領域內(nèi)的技術人員容易地實現(xiàn)所述處理，因此在此不進一步說明。
本發(fā)明可以在保持與傳統(tǒng)數(shù)字多媒體廣播(DMB)系統(tǒng)兼容的同時向用戶提供二維音頻/視頻(2D AV)或者更逼真的三維(3D)AV服務。
而且，本發(fā)明具有附加的效果本發(fā)明可以通過使用傳統(tǒng)的DMB系統(tǒng)經(jīng)濟地實現(xiàn)一種提供3D AV服務的系統(tǒng)。
雖然已經(jīng)參見某些的優(yōu)選實施例而描述了本發(fā)明，但是對于本領域內(nèi)的技術人員而言很清楚，可以在不脫離如所附的權利要求所限定的本發(fā)明的范圍的情況下，進行各種改變和修改。
權利要求
1.一種三維數(shù)字多媒體廣播(3D DMB)發(fā)送系統(tǒng)，包括視頻編碼裝置，用于接收和編碼雙目3D圖像的視頻信號；音頻編碼裝置，用于接收和編碼3D聲音的音頻信號；分組化裝置，用于將所編碼的視頻和音頻信號分組化為同步層(SL)分組；以及復用裝置，用于變換和復用由所述分組化裝置分組化的SL分組，并且輸出復用的SL分組。
2.根據(jù)權利要求1的發(fā)送系統(tǒng)，其中，所述視頻編碼裝置包括第一視頻編碼裝置，用于編碼雙目3D圖像的左或右視頻信號；以及第二視頻編碼裝置，用于編碼在所述左和右視頻信號之中的在該第一視頻編碼裝置中未編碼的信號。
3.根據(jù)權利要求1的發(fā)送系統(tǒng)，其中，所述音頻編碼裝置包括第一音頻編碼裝置，用于編碼單聲道音頻信號或者立體聲音頻信號；以及第二音頻編碼裝置，用于編碼3聲道附加音頻信號。
4.根據(jù)權利要求2的發(fā)送系統(tǒng)，其中，所述第一視頻編碼裝置包括第一視頻前處理裝置，用于變換所輸入的視頻信號的圖像大小；以及第一視頻編碼裝置，用于編碼在該第一視頻前處理裝置中變換后的信號。
5.根據(jù)權利要求4的發(fā)送系統(tǒng)，其中，所述第二視頻編碼裝置包括第二視頻前處理裝置，用于將所輸入的視頻信號的大小變換為在高度或?qū)挾壬蠟樵谠摰谝灰曨l前處理裝置中變換后的大小的一半的圖像大小；以及第二視頻編碼裝置，用于編碼在該第二視頻前處理裝置中變換后的信號。
6.根據(jù)權利要求1-5的任何一個的發(fā)送系統(tǒng)，其中，所述分組化裝置包括對象描述符(OD)/二進制格式場景(BIFS)產(chǎn)生裝置，用于產(chǎn)生OD和BIFS編碼流；SL分組化裝置，用于將從所述編碼裝置和OD/BIFS產(chǎn)生裝置輸入的流分組化為SL分組；以及初始對象描述符(IOD)產(chǎn)生裝置，用于產(chǎn)生IOD編碼流。
7.根據(jù)權利要求6的發(fā)送系統(tǒng)，其中，所述OD包括關于3D附加視頻信號或者3D附加音頻信號的描述信息。
8.根據(jù)權利要求7的發(fā)送系統(tǒng)，其中，所述描述信息包括對象類型信息，用于關于所述3D附加視頻信號或者所述3D附加音頻信號提供向后兼容性。
9.根據(jù)權利要求6的發(fā)送系統(tǒng)，其中，關于視頻和音頻信號每個OD包括兩個ES Descriptor，并且所述ES Descriptor將關于3D附加視頻信號的Stream Type建立為Visual，將ObjectTypeIndication建立為User private，將關于3D附加音頻信號的Stream Type建立為Audio，并且將ObjectTypeIndication建立為User private，以便關于所述3D附加視頻信號或者所述3D附加音頻信號提供向后兼容性。
10.一種三維數(shù)字多媒體廣播(3D DMB)接收系統(tǒng)，包括去復用裝置，用于通過去復用包括雙目3D圖像信息和3D聲音信息的流來輸出SL分組；去分組化裝置，用于去分組化所述SL分組，并且輸出雙目3D視頻信號和3D聲音音頻信號的編碼流；視頻解碼裝置，用于關于所述雙目3D視頻信號來解碼編碼流；音頻解碼裝置，用于關于所述3D聲音音頻信號來解碼編碼流；以及場景恢復裝置，用于通過使用從所述視頻解碼裝置和音頻解碼裝置輸入的視頻/3D附加視頻信號和音頻/3D附加音頻信號來形成和輸出2D音頻/視頻(AV)或者3D AV場景。
11.根據(jù)權利要求10的接收信號，其中，所述視頻解碼裝置包括第一視頻解碼裝置，用于通過從所述去分組化裝置接收視頻編碼流來關于所述雙目3D圖像的左或右圖像解碼視頻編碼流；第二視頻解碼裝置，用于通過從所述去分組化裝置接收視頻編碼流來關于在該左和右視頻信號之中的、未被輸入第一視頻解碼裝置中的信號而解碼視頻編碼流；以及視頻后處理裝置，用于根據(jù)從外部輸入的視頻恢復模式信息來將由該第一視頻解碼裝置和該第二視頻解碼裝置解碼的視頻信號輸出為2D視頻信號或者3D視頻信號。
12.根據(jù)權利要求11的接收信號，其中，從所述第二視頻解碼裝置輸入的視頻編碼流的圖像大小在高度或?qū)挾壬蠟閺脑摰谝灰曨l解碼裝置接收的視頻編碼流的圖像大小的一半。
13.根據(jù)權利要求10的接收信號，其中，所述音頻解碼裝置包括第一音頻解碼裝置，用于通過從所述去分組化裝置接收單聲道音頻編碼流或者立體聲音頻解碼流來解碼單聲道音頻編碼流或者立體聲音頻編碼流；第二音頻解碼裝置，用于通過從所述去分組化裝置接收3聲道音頻編碼流來解碼3聲道附加音頻編碼流；以及音頻后處理裝置，用于根據(jù)從外部輸入的音頻恢復模式信息，將由該第一音頻解碼裝置和該第二音頻解碼裝置解碼的音頻信號輸出為2D音頻信號或者3D音頻信號。
全文摘要
本發(fā)明提供了一種三維數(shù)字多媒體廣播(3D DMB)系統(tǒng)。本發(fā)明可以提供一種3D DMB系統(tǒng)，用于通過根據(jù)傳統(tǒng)的系統(tǒng)結構來處理雙目3D圖像和3D聲音而在保持與傳統(tǒng)的DMB系統(tǒng)的兼容性的同時向用戶提供更逼真的3D音頻/視頻(AV)服務。所述3D DMB系統(tǒng)包括視頻編碼器，用于接收和編碼雙目3D圖像的視頻信號；音頻編碼器，用于接收和編碼3D聲音的音頻信號；分組化器，用于將所編碼的視頻和音頻信號分組化為同步層(SL)分組；以及，復用器，用于變換和復用由所述分組化器分組化的所述SL分組。一種3D DMB接收系統(tǒng)包括去復用器，用于去復用包括雙目3D圖像信息和3D聲音信息的流；去分組化器，用于去分組化所述SL分組，并且輸出3D視頻信號和3D聲音音頻信號的解碼流；視頻解碼器，用于解碼所述雙目3D圖像的視頻信號的編碼流；音頻解碼器，用于解碼3D聲音音頻信號的編碼流；以及，場景恢復器，用于通過使用從所述視頻解碼器和音頻解碼器接收的視頻/3D附加視頻信號和音頻/3D附加音頻信號來形成和輸出2D AV或者3D AV場景。
文檔編號H04N7/24GK1998233SQ200480043775
公開日2007年7月11日 申請日期2004年12月30日 優(yōu)先權日2004年8月9日
發(fā)明者尹國鎮(zhèn), 曹叔嬉, 徐廷一, 樸基尹, 嚴基紋, 張恩榮, 姜京玉, 安忠鉉, 李壽寅 申請人:韓國電子通信研究院