專利名稱：用于合成和顯示mpeg－4視頻節(jié)目的終端的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的背景技術(shù)本申請要求申請日為1998年6月26日、申請?zhí)枮镹o.60/090,845的美國臨時專利申請的權(quán)益。
本發(fā)明涉及合成和顯示使用MPEG-4(活動圖像專家組)標(biāo)準(zhǔn)的多媒體視頻節(jié)目的方法和設(shè)備。尤其是，本發(fā)明提供一種結(jié)構(gòu)，其中多媒體景物的合成和它的顯示由兩個不同的實體，即“合成引擎”和“顯示引擎”處理。
MPEG-4通訊標(biāo)準(zhǔn)在例如ISO/IEC 14496-1(1999)中進(jìn)行描述。包括信息技術(shù)-甚低比特率視聽編碼-第一部分”系統(tǒng)；ISO/IECJTC1/SC29/WG11,MPEG-4視頻校驗?zāi)Ｐ桶姹?.0(1997年2月)；以及ISO/IEC JTC1/SC29/WG11 N2725,MPEG-4概述(1999年3月/漢城，韓國)。
MPEG-4通訊標(biāo)準(zhǔn)允許用戶與來自常規(guī)的源如活動視頻或來自合成的(計算機(jī)產(chǎn)生的)源的景物內(nèi)的視頻和音頻目標(biāo)(object)相互作用。例如，用戶可以通過刪除、增加或重新定位目標(biāo)或者改變目標(biāo)的特性如大小、顏色和形狀來修改景物。
術(shù)語“多媒體目標(biāo)”包括了音頻和/或視頻目標(biāo)。
目標(biāo)可以獨(dú)立地存在，或者與稱為“合成”的分組中景物的其它目標(biāo)連接。景物中可視目標(biāo)在兩維或三維空間中有一個位置，而音頻目標(biāo)可以位于聲音空間中。
MPEG-4使用稱為景物的二進(jìn)制格式(BIFS)的語法結(jié)構(gòu)來描述和動態(tài)地改變景物。必需的合成信息形成景物描述(scenedeseription)，它被編碼并且與媒體目標(biāo)一起傳送。BIFS基于VRML(虛擬現(xiàn)實建模語言)。另外，為了便于編輯、操作和交互作用工具的開發(fā)，景物描述獨(dú)立于與原始的媒體目標(biāo)有關(guān)的流進(jìn)行編碼。
例如BIFS命令可以在景物上增加或刪除目標(biāo)，或者改變目標(biāo)的視覺或聲音特性。BIFS命令也定義、更新和定位目標(biāo)。例如，視覺特性如目標(biāo)的顏色或大小可以被改變，或者說可以給目標(biāo)加上特技。
這些目標(biāo)放在基本流(ES)中傳輸，例如在寬帶通訊網(wǎng)絡(luò)如有線電視或衛(wèi)星電視網(wǎng)絡(luò)中從開始端到譯碼器組，或者在點(diǎn)對點(diǎn)因特網(wǎng)通訊會話中從服務(wù)器到客戶機(jī)PC。每個目標(biāo)在一個或多個有關(guān)的ES中傳送。例如，可伸縮的目標(biāo)可以具有兩個ES，而不可伸縮的目標(biāo)具有一個ES。包括BIFS數(shù)據(jù)的描述景物的數(shù)據(jù)在它自己的ES中傳送。
另外，MPEG-4定義了用于目標(biāo)描述符(OD)的結(jié)構(gòu)，該描述符通知接收系統(tǒng)這些ES與接收景物中的目標(biāo)有關(guān)。OD包含基本流描述符(ESD)，以通知系統(tǒng)這些譯碼器需要譯碼一個流。OD在它們自己的ES中傳送并且隨著景物改變可以動態(tài)地增加或刪除。
在發(fā)送終端的同步層將各個ES分段為信息包，并且將定時信息加到這些信息包的有效負(fù)荷(payload)中。然后，這些信息包傳遞到傳輸層并且隨后到達(dá)網(wǎng)絡(luò)層，用于與一個或多個接收終端通訊。
在接收終端，同步層分析所接收的信息包，集成景物所要求的各個ES，并且使它們可用于一個或多個適當(dāng)?shù)淖g碼器。
譯碼器從編碼器時鐘獲得定時信息，輸入流的時間標(biāo)記包括譯碼時間標(biāo)記和合成時間標(biāo)記。
MPEG-4沒有定義具體的傳輸機(jī)構(gòu)，MPEG-2傳輸流、異步傳送模式或因特網(wǎng)的實時傳送協(xié)議(RTP)應(yīng)該是適當(dāng)?shù)倪x擇。
MPEG-4工具“FlexMux”不需要每個數(shù)據(jù)流有一個獨(dú)立的信道。另一個工具(數(shù)字媒體接口格式-DMIF)提供公共接口，根據(jù)服務(wù)質(zhì)量(QoS)因數(shù)連接不同的源，包括廣播信道、交互式會話以及本地存儲介質(zhì)。
另外，MPEG-4允許使用適合于低比特率環(huán)境的二進(jìn)制形狀編碼或者適合于較高質(zhì)量內(nèi)容的灰度級編碼來描述任意的可視形狀。
然而，MPEG-4沒有規(guī)定形狀和音頻目標(biāo)如何分別地被提取和準(zhǔn)備用于顯示或播放。
因此，最好提供一種通用的結(jié)構(gòu)用于能夠接收和顯示符合MPEG-4標(biāo)準(zhǔn)節(jié)目的譯碼系統(tǒng)。
該終端應(yīng)該能夠合成和顯示MPEG-4節(jié)目。
多媒體景物的合成和它的顯示應(yīng)該分為兩個實體，即合成引擎和顯示引擎。
以BIFS格式接收的景物合成數(shù)據(jù)應(yīng)該在合成引擎中被譯碼和轉(zhuǎn)換為景物圖形。
該系統(tǒng)應(yīng)該將經(jīng)過BIFS流或經(jīng)過本地交互作用接收的景物的更新加入到合成引擎中的景物圖形中。
合成引擎應(yīng)該可以應(yīng)用多媒體目標(biāo)(包括可顯示和/或可聽的目標(biāo))列表到顯示引擎，在每個顯示時刻之前足以用于顯示。
顯示引擎應(yīng)該讀出由列表顯示的目標(biāo)，檢索來自內(nèi)容譯碼器的目標(biāo)，以及提供目標(biāo)到適當(dāng)?shù)木彌_器(例如，顯示和音頻緩沖器)。
內(nèi)容的合成和顯示最好獨(dú)立地完成，以致于顯示引擎在存取可顯示目標(biāo)之前不必等待合成引擎完成它的任務(wù)。
終端應(yīng)該適用于寬帶通訊網(wǎng)絡(luò)如有線電視和衛(wèi)星電視網(wǎng)絡(luò)以及計算機(jī)網(wǎng)絡(luò)如因特網(wǎng)。
終端也應(yīng)該響應(yīng)用戶的輸入。
該系統(tǒng)應(yīng)該獨(dú)立于基礎(chǔ)傳輸、網(wǎng)絡(luò)和鏈路協(xié)議。
本發(fā)明提供具有上面和其它優(yōu)點(diǎn)的系統(tǒng)。
本發(fā)明的概述本發(fā)明涉及合成和顯示使用MPEG-4標(biāo)準(zhǔn)的多媒體視頻節(jié)目的方法和設(shè)備。
多媒體終端包括終端管理器、合成引擎、內(nèi)容譯碼器以及顯示引擎。合成引擎保持和更新當(dāng)前目標(biāo)的景物圖形，包括它們在景物中的相對位置和它們的特性，以將要顯示或播放的目標(biāo)列表提供給顯示引擎。目標(biāo)列表由顯示引擎使用，以檢索存儲在內(nèi)容譯碼器相應(yīng)的合成緩沖器的譯碼目標(biāo)數(shù)據(jù)。
顯示引擎根據(jù)列表集成譯碼的目標(biāo)以提供用于顯示的景物，例如分別在顯示裝置和音頻裝置上顯示和播放，或者在存儲介質(zhì)上存儲。
終端管理器接收用戶命令并且使得合成引擎根據(jù)用戶命令更新景物圖形和目標(biāo)列表。
另外，內(nèi)容的合成和顯示最好獨(dú)立地完成(即具有獨(dú)立的控制線程)。
具有優(yōu)點(diǎn)的是，獨(dú)立的控制線程允許顯示引擎開始檢索相應(yīng)的譯碼多媒體目標(biāo)，而合成引擎恢復(fù)來自位流的附加的景物描述信息和/或處理提供給它的附加的目標(biāo)描述符信息。
合成引擎和顯示引擎應(yīng)該能夠經(jīng)過接口相互通訊，該接口便于在它們之間傳遞消息和其它數(shù)據(jù)。
本發(fā)明公開了用于接收和處理多媒體數(shù)據(jù)位流的終端和相應(yīng)的方法。
附圖的簡要說明

圖1表示根據(jù)本發(fā)明能夠接收和顯示符合MPEG-4標(biāo)準(zhǔn)的節(jié)目的多媒體接收機(jī)終端的一般結(jié)構(gòu)。
圖2表示根據(jù)本發(fā)明圖1的終端結(jié)構(gòu)的顯示過程。
本發(fā)明的詳細(xì)說明本發(fā)明涉及用于合成和顯示使用MPEG-4標(biāo)準(zhǔn)的多媒體視頻節(jié)目的方法和設(shè)備。
圖1說明了根據(jù)本發(fā)明能夠接收和顯示符合MPEG-4標(biāo)準(zhǔn)的節(jié)目的多媒體接收機(jī)終端的一般結(jié)構(gòu)。
根據(jù)MPEG-4系統(tǒng)標(biāo)準(zhǔn)，景物描述信息被編碼為稱為BIFS(景物的二進(jìn)制格式)的二進(jìn)制格式。該BIFS數(shù)據(jù)在經(jīng)過通訊信道發(fā)送到終端100之前，在傳輸現(xiàn)場如有線電視和/或衛(wèi)星電視開始端或者在計算機(jī)網(wǎng)絡(luò)的服務(wù)器上被打包和多路復(fù)用。數(shù)據(jù)可以發(fā)送到單個終端或終端組。另外，數(shù)據(jù)可以經(jīng)過開放式存取網(wǎng)絡(luò)或經(jīng)過用戶網(wǎng)絡(luò)發(fā)送。
景物描述信息描述了景物的邏輯結(jié)構(gòu)，并且表示目標(biāo)如何被分組。特別地，MPEG-4景物遵守分級結(jié)構(gòu)，該結(jié)構(gòu)可以表示為直接的非環(huán)形(樹)圖形，這里，圖形的每個節(jié)點(diǎn)或一組節(jié)點(diǎn)表示一個媒體目標(biāo)。樹結(jié)構(gòu)不一定是固定的，因為節(jié)點(diǎn)屬性(例如位置參數(shù))可以改變而節(jié)點(diǎn)可以增加、替換或去除。
景物描述信息也可以表示如何在空間上和時間上定位目標(biāo)。在MPEG-4模型中，目標(biāo)具有空間上和時間上的特性。每個目標(biāo)具有一個本地坐標(biāo)系，其中目標(biāo)具有固定的時空位置和比例。通過規(guī)定從目標(biāo)的本地坐標(biāo)系到由樹中多個原始景物描述節(jié)點(diǎn)定義的全球坐標(biāo)系的坐標(biāo)轉(zhuǎn)換而在景物中定位目標(biāo)。
景物描述信息也可以表示屬性值選擇。各個媒體目標(biāo)和景物描述節(jié)點(diǎn)將一組參數(shù)呈現(xiàn)到合成層，經(jīng)過該層可以控制它們的部分性能。例子包括了聲音的音調(diào)、合成目標(biāo)的顏色，可伸縮編碼的增強(qiáng)信息的激活和撤銷等。
景物描述信息也可以表示媒體目標(biāo)上的其它轉(zhuǎn)換。景物描述結(jié)構(gòu)和節(jié)點(diǎn)語義很受VRML的影響，包括它的事件模型。這提供給MPEG-4一組擴(kuò)展的景物結(jié)構(gòu)運(yùn)算符，包括可以用于構(gòu)造復(fù)雜景物的原始圖形。
MPEG-4的“多路復(fù)用轉(zhuǎn)換器(TransMux)”(傳輸多路復(fù)用)層構(gòu)造了提供匹配于所需QoS的傳輸服務(wù)的層。只有到這層的接口由MPEG-4定義。數(shù)據(jù)包和控制信號的具體映射可以使用任何需要的傳輸協(xié)議來實現(xiàn)。任何適當(dāng)?shù)默F(xiàn)有傳輸協(xié)議堆棧如實時傳送協(xié)議(RTP)/用戶數(shù)據(jù)報協(xié)議(UDP)/因特網(wǎng)協(xié)議(IP)、ATM自適應(yīng)層(AAL5)/異步傳送模式(ATM)或經(jīng)過適當(dāng)鏈路層的MPEG-2的傳輸流可以成為具體的多路復(fù)用轉(zhuǎn)換器的實例。將選擇留給終端用戶/服務(wù)供應(yīng)商，并且允許MPEG-4使用在各種工作環(huán)境下。
在本例中，僅僅為了說明，假定用ATM自適應(yīng)層105來傳輸?shù)那闆r。
在多媒體終端100的輸入端接收多路復(fù)用分組流。來自目標(biāo)描述符ES的、以O(shè)bjectDescriptor開始的各種描述符例如在分析器112中分析。包含在第一個目標(biāo)描述符(稱為InitialObjectDescriptor)中的基本流描述符(ESDescriptor)包含由輸入的多路復(fù)用流定位景物描述流(BIFS流)的指針(pointer)。在廣播的情況下，BIFS流由輸入的多路復(fù)用流定位。對于因特網(wǎng)類型的情況，其中有一個從MPEG-4終端到基礎(chǔ)網(wǎng)絡(luò)的保證返回信道連接，BIFS流可以從遠(yuǎn)程服務(wù)器檢索。關(guān)于各種基本流的信息包含在ObjectDescriptor和它的相關(guān)描述符中。詳細(xì)內(nèi)容可以參見在此作為參考的ISO/IEC CD 14496-1信息技術(shù)-甚低比特率視聽編碼-第一部分系統(tǒng)(MPEG-4系統(tǒng)委員會草案)。
分析器112集成在終端管理器110中，它是分析各種描述符的通用的位流分析器。
在BIFS景物譯碼器122上接收包含景物描述信息的BIFS位流，景物譯碼器122作為合成引擎120的組成部分示出。編碼的基本內(nèi)容流(包括視頻、音頻、圖形、文本等)根據(jù)包含在接收的描述符中的信息發(fā)送到它們相應(yīng)的譯碼器中。用于基本內(nèi)容或目標(biāo)流的譯碼器歸在標(biāo)注為“內(nèi)容譯碼器”的單元130中。
例如，目標(biāo)-1基本流(ES)發(fā)送到輸入譯碼緩沖器-1 133，而目標(biāo)-N ES發(fā)送到譯碼緩沖器-N 143。相應(yīng)的目標(biāo)例如在目標(biāo)-1的譯碼器154,…，目標(biāo)-N的譯碼器164中譯碼，并且提供給相應(yīng)的輸出端，即合成緩沖器例如合成緩沖器-1176,…，合成緩沖器-N 186?？梢愿鶕?jù)譯碼時間標(biāo)記(DTS)信息來安排譯碼。
注意，來自兩個或多個譯碼緩沖器的數(shù)據(jù)可能與一個譯碼器有關(guān)，例如對于可伸縮目標(biāo)。
合成引擎120完成各種功能。特別是，當(dāng)接收的基本流是BIFS流時，合成引擎120使用BIFS景物譯碼器122的輸出，在景物圖形功能塊124上創(chuàng)建和/或更新景物圖形。景物圖形提供景物合成的完整信息，包括目標(biāo)顯示的類型和目標(biāo)的相對位置。例如，景物圖形所表示的景物可以包括一個或多個人和合成的、計算機(jī)產(chǎn)生的兩維背景，以及景物中人員的位置。
當(dāng)接收的基本流是BIFSAnimation流時，景物圖形分量的適當(dāng)?shù)臅r空屬性在景物圖形功能塊124上更新。這樣，合成引擎120保持景物圖形和它的分量的狀態(tài)。
在景物圖形功能塊124中，合成引擎120創(chuàng)建由顯示引擎150顯示的視頻目標(biāo)126的列表，以及由顯示引擎150播放的可聽目標(biāo)的列表。一般來說，視頻和音頻目標(biāo)被認(rèn)為在適當(dāng)?shù)妮敵鲅b置上“顯示”。例如，視頻目標(biāo)可以在視頻屏幕上播放，如電視屏幕或計算機(jī)監(jiān)控器，而音頻目標(biāo)可以經(jīng)過揚(yáng)聲器產(chǎn)生。當(dāng)然，目標(biāo)也可以存儲在記錄裝置上，如計算機(jī)的硬盤驅(qū)動器或數(shù)字視盤上，而不需要用戶實際上觀看或收聽它們。這樣，顯示引擎提供處于一種狀態(tài)的目標(biāo)，在該狀態(tài)它們可以顯示在某些最終的輸出裝置上，用于立刻觀看/收聽和/或隨后使用的存儲。
另外，這里使用術(shù)語“列表”來表示任何類型的列表而不考慮具體的實現(xiàn)方式。例如，該列表可以提供作為所有目標(biāo)的單個列表，或者單獨(dú)的列表可以提供，用于不同的目標(biāo)類型(例如，視頻或音頻)，或者多個列表可以提供，用于每一種目標(biāo)類型。目標(biāo)的列表是景物圖形信息的簡化型式。僅對于顯示引擎150重要的是能夠使用列表來識別目標(biāo)并且發(fā)送它們到適當(dāng)?shù)幕A(chǔ)描繪(rendering)引擎。
顯示的多媒體景物可以包括單個靜止的視頻幀或者視頻幀序列。
合成引擎120管理列表，并且一般只有它是被允許直接修改列表中的入口的實體。
一些可顯示目標(biāo)能夠以譯碼的格式在合成緩沖器176,…,186中使用。如果這樣，它在目標(biāo)126的列表中用目標(biāo)描述來表示。
合成引擎120以適時的方式將列表提供到顯示引擎150，使得顯示引擎150可以根據(jù)節(jié)目規(guī)定所需的顯示速率在所需的時刻顯示景物。顯示引擎150通過從緩沖器176,…,186檢索譯碼的目標(biāo)并且提供譯碼的視頻目標(biāo)到顯示緩沖器160，以及通過提供譯碼的音頻目標(biāo)到音頻緩沖器170來顯示景物。目標(biāo)隨后分別出現(xiàn)在顯示裝置和揚(yáng)聲器上和/或存儲在記錄裝置中。顯示引擎150使用公知的時間標(biāo)記技術(shù)如合成時間標(biāo)記(CTS)以預(yù)置的顯示速率檢索譯碼的目標(biāo)。
合成引擎120還將來自景物圖形功能塊124的景物圖形信息提供到顯示引擎150。然而，提供的目標(biāo)的簡化列表允許顯示引擎開始檢索譯碼的目標(biāo)。
這樣，合成引擎120管理景物圖形。根據(jù)一些因素它更新景物圖形中目標(biāo)的屬性，這些因素包括用戶交互作用或規(guī)定；作為景物圖形本身一部分的景物圖形中目標(biāo)的預(yù)定時空性能；以及在BIFS流上接收的命令，如BIFS更新或BIFSAnimation命令。
合成引擎120還負(fù)責(zé)由終端100分配給這個特別應(yīng)用的譯碼緩沖器133,…，143和合成緩沖器176,…,186的管理。例如，合成引擎120確保這些緩沖器不上溢或不下溢。合成引擎120還可以例如根據(jù)MPEG-4一致性規(guī)定實現(xiàn)緩沖器控制策略。
終端管理器110包括事件管理器114、應(yīng)用程序管理器116和時鐘118。
多媒體應(yīng)用程序可以駐留在稱為應(yīng)用程序管理器116的終端管理器110中。例如這些應(yīng)用程序可以包括運(yùn)行在PC上的用戶友好軟件，它允許用戶操作景物上的目標(biāo)。
終端管理器110管理經(jīng)過適當(dāng)?shù)慕涌谂c外部世界的通訊。例如，通過負(fù)責(zé)用戶輸入事件的示范接口165，事件管理器114負(fù)責(zé)監(jiān)控用戶接口以及檢測相關(guān)的事件。用戶輸入事件包括例如鼠標(biāo)移動和撳擊、鍵盤撳擊、操作桿移動或來自其它輸入裝置的信號。
終端管理器110傳遞用戶輸入事件到合成引擎120，以便適當(dāng)?shù)乜刂?。例如，用戶可以輸入命令在景物圖形中重新定位或改變某些目標(biāo)的屬性。
用戶接口事件在某些情況下不能處理，例如對于沒有交互內(nèi)容的純粹廣播節(jié)目。
圖1的終端功能塊可以使用任何公知的硬件、固件和/或軟件來實現(xiàn)。另外，所示的各種功能塊不必是獨(dú)立的，可以共享公共的硬件、固件和/或軟件。例如，分析器112可以在終端管理器110以外，例如設(shè)置在合成引擎120中。
注意，內(nèi)容譯碼器130和合成引擎120在它們獨(dú)立的控制線程(例如，控制周期或環(huán)路)不相互影響的意義上相互獨(dú)立地運(yùn)行。有益的是，通過分開合成和顯示線程，在顯示引擎從緩沖器176,…,186中存取(例如開始檢索)可顯示目標(biāo)之前，顯示引擎不必等待合成引擎完成它的任務(wù)(例如，恢復(fù)附加的景物描述信息或處理目標(biāo)描述符)。這樣，顯示引擎150在它自己的線程上運(yùn)行并且以它所需的顯示速率顯示目標(biāo)，而不管合成引擎120是否完成它的任務(wù)。
基本流譯碼器154,…,164也獨(dú)立于顯示和合成引擎，運(yùn)行在它們各自的控制線程上。使用如MPEG-2和MPEG-4標(biāo)準(zhǔn)公知的常規(guī)的時間標(biāo)記如DTS、CTS和PTS數(shù)據(jù)可以使得譯碼與合成之間同步。
圖2表示根據(jù)本發(fā)明圖1的終端結(jié)構(gòu)的顯示過程。
由目標(biāo)126的列表，顯示引擎150獲得可顯示(例如視頻目標(biāo))和可收聽(例如音頻目標(biāo))的列表。如所討論的，可顯示和可收聽的列表由合成引擎120創(chuàng)建和保持。
顯示引擎150還提供要顯示的目標(biāo)到適當(dāng)?shù)膸彌_器?？娠@示目標(biāo)提供到顯示緩沖器160，而可收聽目標(biāo)提供到音頻緩沖器170。為此目的，顯示引擎150與MPEG-4標(biāo)準(zhǔn)中公開的較低級別描繪數(shù)據(jù)庫相互配合。
顯示引擎150將合成緩沖器176,…,186中的內(nèi)容在提供到顯示或音頻緩沖器160、170之前轉(zhuǎn)換為適當(dāng)?shù)母袷?，用于分別在顯示器240和音頻播放機(jī)242上顯現(xiàn)。
顯示引擎150還負(fù)責(zé)可顯示內(nèi)容的有效描繪，包括描繪的最佳化，所提供數(shù)據(jù)的可伸縮性等。
因此，可以看出本發(fā)明提供了合成和顯示使用MPEG-4標(biāo)準(zhǔn)的多媒體節(jié)目的方法和設(shè)備。多媒體終端包括終端管理器、合成引擎、內(nèi)容譯碼器以及顯示引擎。合成引擎保持和更新當(dāng)前目標(biāo)的景物圖形，包括它們在景物中的位置和它們的特性，以提供要顯示的目標(biāo)的列表到顯示引擎。顯示引擎根據(jù)時間標(biāo)記信息從內(nèi)容譯碼緩沖器檢索相應(yīng)的目標(biāo)。
顯示引擎根據(jù)列表來集成譯碼的目標(biāo)，以提供景物，將景物在顯示裝置如視頻監(jiān)控器和揚(yáng)聲器上顯現(xiàn)，和/或?qū)⒕拔锎鎯υ诖鎯ρb置中。
終端管理器接收用戶命令并且根據(jù)用戶命令使得合成引擎更新景物圖形和目標(biāo)列表。終端管理器還轉(zhuǎn)送目標(biāo)描述符到合成引擎中的景物譯碼器。
另外，合成引擎和顯示引擎最好運(yùn)行在獨(dú)立的控制線程上?？梢蕴峁┻m當(dāng)?shù)慕涌诙x，以使得合成引擎和顯示引擎能夠相互通訊。使用本領(lǐng)域的普通技術(shù)人員公知的技術(shù)所開發(fā)的這種接口使得在顯示引擎和合成引擎之間能夠傳遞消息和數(shù)據(jù)。
雖然結(jié)合各種具體的實施例描述了本發(fā)明，但是本領(lǐng)域的普通技術(shù)人員將理解，可以進(jìn)行許多改進(jìn)和修改而不會背離權(quán)利要求所確定的本發(fā)明的精神和范圍。
例如，盡管這里已經(jīng)討論了各種語法元素，但是應(yīng)該注意它們只是例子而己，可以使用任何的語法。
另外，盡管結(jié)合MPEG-4標(biāo)準(zhǔn)討論了本發(fā)明，但是應(yīng)該理解這里公開的概念可以適用于任何類似的通訊標(biāo)準(zhǔn)，包括當(dāng)前MPEG-4標(biāo)準(zhǔn)的派生。
另外，本發(fā)明還適用于實際上的任何類型的網(wǎng)絡(luò)，包括有線電視或衛(wèi)星電視寬帶通訊網(wǎng)絡(luò)，局域網(wǎng)(LAN)、城域網(wǎng)(MAN)、廣域網(wǎng)(WAN)、互聯(lián)網(wǎng)絡(luò)、企業(yè)網(wǎng)絡(luò)和因特網(wǎng)，或者它們的組合。
權(quán)利要求
1．一種用于接收和處理多媒體數(shù)據(jù)位流的終端，包括終端管理器；合成引擎；多個內(nèi)容譯碼器；以及顯示引擎；其中所述內(nèi)容譯碼器恢復(fù)和譯碼來自相應(yīng)的位流基本流的多媒體目標(biāo)；所述多媒體目標(biāo)包括視頻目標(biāo)和音頻目標(biāo)中至少一個用于多媒體景物的顯示；所述合成引擎恢復(fù)來自位流的景物描述信息，它定義一個具體的所恢復(fù)的多媒體目標(biāo)以及在多媒體景物中恢復(fù)的多媒體目標(biāo)的特性，恢復(fù)的多媒體目標(biāo)將被提供在多媒體景物中；所述終端管理器恢復(fù)來自位流的目標(biāo)描述符信息，它將所恢復(fù)的多媒體目標(biāo)與所述的一個相應(yīng)的基本流聯(lián)系起來，該終端管理器將恢復(fù)的目標(biāo)描述符信息提供到所述合成引擎；所述合成引擎響應(yīng)提供到那里的所恢復(fù)的目標(biāo)描述符信息以及所述恢復(fù)的景物描述信息，用于創(chuàng)建要被顯示在所述多媒體景物上的所恢復(fù)的多媒體目標(biāo)中所述具體目標(biāo)的列表；以及所述顯示引擎從所述合成引擎獲得所述列表，并且根據(jù)它，從所述內(nèi)容譯碼器檢索相應(yīng)的譯碼多媒體目標(biāo)，以提供相應(yīng)于多媒體景物的數(shù)據(jù)到輸出裝置。
2．如權(quán)利要求1所述的終端，其中所述的合成引擎和所述的顯示引擎具有獨(dú)立的控制線程。
3．如權(quán)利要求2所述的終端，其中所述獨(dú)立的控制線程使得顯示引擎能夠開始檢索相應(yīng)的譯碼多媒體目標(biāo)，同時合成引擎恢復(fù)來自位流的附加的景物描述信息和/或處理提供到那里的附加的目標(biāo)描述符信息。
4．如權(quán)利要求1所述的終端，其中所述的內(nèi)容譯碼器、顯示引擎和合成引擎具有獨(dú)立的控制線程。
5．如權(quán)利要求1所述的終端，其中多媒體景物中恢復(fù)的多媒體目標(biāo)的所述特性包括所述多媒體景物中所恢復(fù)的多媒體目標(biāo)的所述具體目標(biāo)的位置。
6．如權(quán)利要求1所述的終端，其中根據(jù)景物的二進(jìn)制格式(BIFS)語言提供所恢復(fù)的景物描述信息。
7．如權(quán)利要求1所述的終端，其中根據(jù)MPEG-4標(biāo)準(zhǔn)提供所述的多媒體數(shù)據(jù)位流。
8．如權(quán)利要求1所述的終端，其中根據(jù)提供到那里的所恢復(fù)的目標(biāo)描述符信息和所恢復(fù)的景物描述信息在創(chuàng)建所述列表中使用，所述合成引擎保持所述多媒體景物合成的景物圖形信息。
9．如權(quán)利要求8所述的終端，其中根據(jù)來自位流的連續(xù)恢復(fù)的景物描述信息，所述的合成引擎根據(jù)要求，對連續(xù)多媒體景物更新景物圖形信息和所述列表。
10．如權(quán)利要求8所述的終端，其中所述的終端管理器根據(jù)要求，響應(yīng)用戶接口的用戶輸入事件，提供相應(yīng)的數(shù)據(jù)到所述合成引擎來修改所述景物圖形和所述列表。
11．如權(quán)利要求1所述的終端，其中所述的合成引擎根據(jù)規(guī)定的顯示速率提供所述列表到所述顯示引擎。
12．如權(quán)利要求1所述的終端，其中，所述的多媒體目標(biāo)包括在多媒體景物中顯示的視頻和音頻目標(biāo)，還包括視頻和音頻緩沖器，用于在顯示之前分別緩沖視頻和音頻目標(biāo)；其中，所述的顯示引擎從所述列表中讀出目標(biāo)并且將它們提供到所述視頻和音頻緩沖器中適當(dāng)?shù)囊粋€。
13．一種用于接收和處理多媒體數(shù)據(jù)位流的終端，包括譯碼裝置，用于恢復(fù)和譯碼來自相應(yīng)的位流基本流的多媒體目標(biāo)；所述的多媒體目標(biāo)，包括視頻目標(biāo)和音頻目標(biāo)中的至少一種，用于多媒體景物的顯示；合成裝置，用于恢復(fù)來自位流的景物描述信息，它定義在多媒體景物中提供的恢復(fù)的多媒體目標(biāo)中具體的目標(biāo)，以及在多媒體景物中恢復(fù)的多媒體目標(biāo)的特性；管理裝置，用于恢復(fù)來自位流的目標(biāo)描述符信息，它將所述恢復(fù)的多媒體目標(biāo)與所述基本流的相應(yīng)的目標(biāo)聯(lián)系起來，該管理裝置將恢復(fù)的目標(biāo)描述符信息提供到所述合成裝置；所述的合成裝置，響應(yīng)提供到那里的所述恢復(fù)的目標(biāo)描述符信息以及所述恢復(fù)的景物描述信息，用于創(chuàng)建要被顯示在所述多媒體景物上的所恢復(fù)的多媒體目標(biāo)的具體目標(biāo)的列表；以及顯示裝置，從所述合成裝置獲得所述列表，并且根據(jù)它，從所述譯碼裝置檢索相應(yīng)的譯碼多媒體目標(biāo)，以提供相應(yīng)于多媒體景物的數(shù)據(jù)到輸出裝置。
14．一種用于接收和處理終端的多媒體數(shù)據(jù)位流的方法，包括下列步驟在相應(yīng)的內(nèi)容譯碼器上恢復(fù)和譯碼來自位流的相應(yīng)基本流的多媒體目標(biāo)；所述多媒體目標(biāo)包括視頻和音頻目標(biāo)中的至少一個，用于多媒體景物的顯示；恢復(fù)來自位流的景物描述信息，它定義在多媒體景物中提供的所恢復(fù)的多媒體目標(biāo)中的具體目標(biāo)，以及在多媒體景物中恢復(fù)的多媒體目標(biāo)的特性；恢復(fù)來自位流的目標(biāo)描述符信息，它將所述恢復(fù)的多媒體目標(biāo)與所述基本流的相應(yīng)目標(biāo)聯(lián)系起來；根據(jù)所恢復(fù)的目標(biāo)描述符信息和所恢復(fù)的景物描述信息創(chuàng)建要被顯示在所述多媒體景物上的所恢復(fù)的多媒體目標(biāo)中具體目標(biāo)的列表；以及根據(jù)提供相應(yīng)于多媒體景物的數(shù)據(jù)到輸出裝置的列表，檢索相應(yīng)的譯碼的多媒體目標(biāo)。
15．如權(quán)利要求14所述的方法，其中使用與所述檢索步驟分開的控制線程完成所述的恢復(fù)步驟。
16．如權(quán)利要求15所述的方法，其中所述獨(dú)立的控制線程使得能夠開始檢索譯碼的多媒體目標(biāo)，同時恢復(fù)附加的景物描述信息和/或恢復(fù)附加的目標(biāo)描述符信息。
17．如權(quán)利要求14所述的方法，其中使用與所述檢索步驟分開的控制線程來完成所述的創(chuàng)建步驟。
18．如權(quán)利要求14所述的方法，其中使用與所述檢索步驟分開的控制線程來完成所述的恢復(fù)步驟和所述的創(chuàng)建步驟。
全文摘要
一種在多媒體終端(100)合成和顯示使用MPEG－4標(biāo)準(zhǔn)的多媒體節(jié)目的方法和設(shè)備。合成引擎(120)保持和更新當(dāng)前目標(biāo)的景物圖形(124),包括它們在景物中的相對位置和它們的特性,并且提供相應(yīng)的要顯示的目標(biāo)列表(126)到顯示引擎(150)。響應(yīng)中,顯示引擎開始檢索存儲在相應(yīng)的合成緩沖器(176,…,186)中相應(yīng)的譯碼目標(biāo)數(shù)據(jù)。顯示引擎集成譯碼的目標(biāo),以提供顯示的景物到輸出裝置如視頻監(jiān)控器(240)和揚(yáng)聲器(242)上或者用于存儲。終端管理器(110)接收用戶命令,并且因此使得合成引擎更新景物圖形和目標(biāo)的列表。終端管理器還轉(zhuǎn)送包含在目標(biāo)描述符中的信息到合成引擎的景物譯碼器(122)。
文檔編號H04N7/24GK1313008SQ99809544
公開日2001年9月12日 申請日期1999年6月24日 優(yōu)先權(quán)日1998年6月26日
發(fā)明者加內(nèi)什·拉詹 申請人:通用儀器公司