專利名稱：流傳送中的緩存的制作方法
技術領域：
本發(fā)明涉及緩存用于從傳輸設備到接收設備的傳輸的媒體流的 包。本發(fā)明還涉及系統(tǒng)、傳輸設備、接收設備、服務器、無線通信 系統(tǒng)、信號、網關設備和計算機程序產品。
背景技術：
諸如音頻信號、視頻信號、靜止圖像等媒體信息的傳輸通常是 基于封包化的，即將待傳輸的信息構成包。然后，將該包作為一個或多個包流進行傳輸?？梢宰鳛镽TP(實時協(xié)議)包或者作為不必是 RTP包的其他協(xié)議的包傳輸包流。在傳輸期間，出于某些原因丟失一 些包是可能發(fā)生的。例如，可以削弱承載包流的信號并且引起包流 丟失的干擾可以影響傳輸信道。在傳輸階段，對包流添加一些可以 在接收階段用以恢復丟失的包的錯誤恢復信息是可能的。 一個已知 的方法是基于前向糾錯(FEC),其中將攜帶錯誤恢復信息的額外的 包插入到包流中。在此描述中，這樣額外的包被稱作修理包，即攜 帶錯誤恢復信息的包。在應該由修理包保護的那些包的基礎上組成 修理包。例如，在包的數據上執(zhí)行按位X0R操作并且將計算的FEC 值封包以組成修理包。修理包和在組成修理包中4吏用的包組成FEC 塊。因此，包括在FEC塊中的任何包的包丟失可以通過使用相同的 FEC塊的修理包信息恢復。也可以在所謂的協(xié)議棧的不同層上應用封包化。眾所周知的0SI 模型描述了七層結構，其中物理層在底部并且應用層在協(xié)議棧的頂 部。0SI模型的其他層是物理層之上的數據鏈路層、網絡層、傳輸層、 會話層和應用層之下的表示層。RTP包可以被看作應用層的包(因此， 在此情況下，應用層可以被稱作"RTP層")。 很多視頻通信系統(tǒng)提供用于數據傳輸速率和緩存的控制裝置。 在 一 對 一 系統(tǒng)中，接收者可以將它的緩沖器占用狀態(tài)發(fā)送到起始者， 然后，其可以相應地調整傳輸速率(例如，在3GPP分組-交換流中 采用的速率)。在單向系統(tǒng)中，通常傳輸的流必須符合接收器的已 知緩存模型。包括指定接收者緩存模型的緩存系統(tǒng)的示例包括MPEG-2系統(tǒng)、3GPP分組-交換流的附錄G ( 3GPP技術規(guī)范26. 234 ) 和3GPP多J 某體廣播/多播系統(tǒng)(MBMS， 3GPP才支術規(guī)范26.346 )。發(fā) 送者必須保證傳輸的流符合緩存模型，即不引起緩沖器的下溢或上 溢。接收者應該能夠接收有效流并且可以使用虛擬緩沖器模型的緩 沖器大小用于實際緩沖器的分配。圖2中的框圖描述了用于DVB-H上的IP數據廣播的簡化系統(tǒng)。 內容服務器向IP封裝器提供IP網絡上的多媒體內容。IP封裝器將 MPEG-2傳輸流頂部上的IP流封裝，通過DVB-H網絡將其傳遞到4妄收 終端。在圖7中，描述了 DVB網絡701中的々某體傳輸的一個示例。在 DVB系統(tǒng)中，多路復用702是多路復用集中的并且承載在一個傳輸流 上的DVB服務703的集合?？梢栽贒VB網絡701中傳輸不同多路復 用702的傳輸流。包括DVB服務的組件(例如視頻組件、音頻組件、 文本組件)作為每個承載一個DVB服務703的一個組件的數據的基 本流704?？梢詫VB服務的組件封裝為包含IP數據包的IP (因特 網協(xié)議)流705。對于DVB系統(tǒng)，已經引入所謂的多協(xié)議封裝(MPE )。試圖將MPE 用于將網絡層(0SI-模型層3)數據報(IP包)編碼成為傳輸流。 通常將每個IP數據才艮編碼成單個MPE段。單個基本流可以包含多個 MPE段流。承載MPE段的基本流也可以承載糾錯數據，即用于支持 MPE段凈荷上的數據包的糾錯的MPE FEC史。MPE段可以被看作OSI 協(xié)議棧的數據鏈路層的包。某些視頻編碼標準中的假設參考解碼器(HRD)被用于檢驗產生 的比特流是否符合標準以及解碼器是否產生符合標準的輸出。要求
符合標準的解碼器能夠輸入符合HRD的流。使用HRD阻止"不利的" 比特流，即它制約根據存儲器使用和計算復雜性兩者的解碼器中的 資源消耗。到HRD的輸入是不變的比特率或者0的分段函數和不變 的比特率。還使用HRD以允許視頻比特率波動，其幾乎能夠允許恒 定的圖片速率和質量。當以多路復用的方式發(fā)送媒體流時，虛擬多路復用分離器必須 與虛擬媒體解碼器的要求兼容。否則，不能保證對于媒體解碼器緩 沖器模型的兼容性。MPE FEC幀的FEC解碼需要接收終端中的初始緩存(從MPE FEC 幀的第一包的接收直到媒體解碼的開始)，因為如果當接收了第一 包時接收器立刻開始解碼源RTP包(即媒體RTP包)，則任何丟失 的源RTP包將在解碼中引起延遲直到接收到MPE FEC幀的修理列。 因而，這將相應地引起回放暫停。而且，如以下內容解釋的，較少暫停回i文可以要求第一MPEFEC 幀接收之外的額外的初始緩存。假設t。, (n)是傳輸順序中索引n的 MPE FEC幀的第一比特的接收時間，并且假設ta/ (n)是MPE FEC幀的 最后比特的接收時間。而且假設b ( n )是MPE FEC幀n內媒體流的 RTP凈荷中比特的數量，并且r (n)是媒體流的比特率(其被用于 HRD符合性的確認)。如果，對于n的所有取值，b( n )/ r( n )= t 。, (n+1) -t。,(n),那么初始緩存持續(xù)時間將總是0。然而，由于某些下列原因 將不會出現該情況第一，打孔(每MPE FEC幀的"媒體"列的數量)、FEC碼率(每 MPE FEC幀的FEC列的數量)和填充的量可以改變。第二，時間片突發(fā)的調度可以沒有上面方程中要求的精確，但是很第三，基本流和時間片可以包含來自于多IP流的包。符合用于時 間片內每個IP流的精確比特預算對于諸如視頻的可變比特率媒體是具 有挑戰(zhàn)性的目標。總而言之， 一個MPE FEC幀的初始緩存完全不是保證無暫停解碼
和回放的充分條件。因此，發(fā)送器必須給接收器允許初始緩存足夠 的但不是耗盡的量的信息。ETSI EN 301 192 vl. 4. 1的13節(jié)指定了用于DVB數據廣播的解 碼器模型。該模型由傳輸緩沖器和可選的主緩沖器組成。傳輸緩沖 器是小(512字節(jié))緩沖器以移除MPEG-2 TS包的副本。使用主緩沖 器平滑比特率以適合媒體解碼器。主緩沖器的操作可以通過指定 MPEG-2系統(tǒng)的smoothing —buffer —descriptor語法結構中的輸出字 節(jié)速率來控制。然而，在主緩沖器中不存在信號通知并且應用初始 緩存延遲的機制，并且因此主緩沖器不適合與MPE FEC解碼結合使 用。由于DVB-H IP數據廣播是多播/廣播服務，新的接收器可以在 流的中間"收聽"，即新的接收器可以在比傳輸了流的第一包較晚 的時間開始接收該流。最佳的(最小的)初始緩存延遲通常不是恒 定地遍布該流。FEC解碼緩沖器的大小如上所示，^接收的用于MPE FEC幀的包必須在可以開始FEC包 的解碼之前緩存。在此描述中，這樣的緩沖器被稱作FEC解碼緩沖 器。FEC解碼緩沖器的緩沖器占用水平除其他因素之外取決于1) 基本流的傳輸調度、2)在開始清空緩沖器之前初始緩存的量、3) 在FEC解碼緩沖器內部建立FEC矩陣的方法、以及4 )從FEC解碼緩 沖器輸出數據的速率。最大緩沖器占用水平確定用于流的需要的緩 沖器大小。很明顯，在不同的接收設備實現方式中，彼此相比較， 可以不同地實現FEC解碼和相關緩存。例如，播放器可以具有用于 輸出速率處理的不同方法-只要緩沖器"下游"(例如，解碼器輸入 緩沖器)允許， 一個設備就可以從FEC解碼緩沖器推出數據，并且 當解碼需要下一片數據時，另 一 個設備可以及時從FEC解碼緩沖器 抽出數據。因此，在不同實現方式中，最大緩沖器占用水平可以改 變，并且因而在不是虛擬緩沖器模型的情況下，確定所需要的特殊 流的FEC解碼緩沖器大小是有問題的。
當執(zhí)行FEC解碼和傳輸調度時，解碼器和傳輸器還應該知道所支持的所有接收器的FEC解碼緩沖器大小。 發(fā)明內容本發(fā)明在媒體流中實現了虛擬解碼器緩存模型?？梢允褂迷撃Ｐ?確定對于接收器/解碼器能夠處理至少所有虛擬模型能夠處理的流 的最小要求。解碼器和傳輸器使用虛擬解碼器緩存模型以檢驗傳輸 的流沒有在虛擬解碼緩沖器中引起上溢和下溢。此申請中呈現的緩存模型包含兩個緩沖器， 一個用于MPE-FEC 幀的解封裝和虛擬FEC解碼，并且另一個用于消除由FEC解碼的突 發(fā)輸出引起的數據速率變化。根據本發(fā)明的第 一 方面，提供一種用于緩存媒體流的包的方法， 包括-在流生成器中從至少 一種媒體信息組成媒體包；-在將要傳輸的媒體包的基,礎上生成至少 一 個傳輸幀； -從至少 一 個傳輸幀組成將要傳輸的包；-生成用于將要傳輸的包的傳輸調度；并且 -根據傳輸調度執(zhí)行虛擬解碼的第一步驟，包括-將根據傳輸調度將要傳輸的包緩存到第 一虛擬解碼緩沖器； 以及-在傳輸幀的基礎上從第一虛擬解碼緩沖器輸出包； -執(zhí)行虛擬解碼的第二步驟，包括-緩存在從第 一虛擬解碼緩沖器的輸出的基礎上所組成的包； -通過控制以下內容的至少 一個來控制第 一虛擬解碼緩沖器和第 二虛擬解碼緩沖器的緩沖器占用水平 -流生成器的操作； -至少一個傳輸幀的生成； -傳輸調度。根據本發(fā)明的第二方面，提供一種用于緩存用于從傳輸設備到接
收設備的傳輸的媒體流的系統(tǒng)，該傳輸設備包括-第 一封包器，用于從媒體流的至少 一種媒體信息中組成媒體包；-幀生成器，用于在將要傳輸的媒體包的基礎上生成至少一個傳輸幀；-第二封包器，用于從至少一個傳輸幀組成將要傳輸的包；以及-調度器，用于生成用于將要傳輸的包的傳輸調度；以及 -虛擬解碼器，用于在根據傳輸調度的傳輸期間執(zhí)行虛擬解碼， 包括-第一虛擬解碼緩沖器，用于緩存根據傳輸調度將要傳輸的包；-輸出，用于在傳輸幀的基礎上從第一虛擬解碼緩沖器輸出包；-第二虛擬緩沖器，用于緩存在來自第 一虛擬解碼緩沖器的 輸出的基礎上形成的包；以及-控制器，用于通過控制以下內容的至少一個來控制第一虛 擬解碼緩沖器和第二虛擬解碼緩沖器的緩沖器占用水平 流生成器的操作； 至少一個傳輸幀的生成； 傳輸調度。根據本發(fā)明的第三方面，提供一種傳輸設備，該傳輸設備包括用 于緩存用于從傳輸設備到接收設備的傳輸的媒體流的緩沖器，該傳 輸設備還包括-流生成器，包括-第 一封包器，用于從媒體流的至少 一種媒體信息中組成媒 體包；-幀生成器，用于在將要傳輸的媒體包的基礎上生成至少一 個傳輸幀； -第二封包器，用于從至少 一 個傳輸幀組成將要傳輸的包；以及-調度器，用于生成用于將要傳輸的包的傳輸調度；以及 -虛擬解碼器，用于在根據傳輸調度的傳輸期間執(zhí)行虛擬解碼， 包括-第一虛擬解碼緩沖器，用于緩存根據傳輸調度將要傳輸的 包；以及-輸出，用于在傳輸幀的基礎上從第一虛擬解碼緩沖器輸出包；_第二虛擬緩沖器，用于緩存在來自第 一虛擬解碼緩沖器的 輸出的基礎上形成的包；以及-控制器，用于通過控制以下內容的至少一個來控制第一虛 擬解碼緩沖器和第二虛擬解碼緩沖器的緩沖器占用水平 流生成器的操作； 至少一個傳輸幀的生成； 傳輸調度。根據本發(fā)明的第四方面，提供一種無線通信設備，該無線通信 設備包括用于緩存用于從無線通信設備到接收設備的傳輸的媒體流 的緩沖器，該無線通信設備還包括 -流生成器，包括-第 一封包器，用于從媒體流的至少一種媒體信息中組成媒 體包；-幀生成器，用于在將要傳輸的媒體包的基礎上生成至少一 個傳輸幀；-第二封包器，用于從至少一個傳輸幀組成將要傳輸的包；以及-調度器，用于生成用于將要傳輸的包的傳輸調度；以及 -虛擬解碼器，用于在根據傳輸調度的傳輸期間執(zhí)行虛擬解碼， 包括 -第一虛擬解碼緩沖器，用于緩存根據傳輸調度將要傳輸的包；以及-輸出，用于在傳輸幀的基礎上從第 一虛擬解碼緩沖器輸出包；-第二虛擬緩沖器，用于緩存在來自第一虛擬解碼緩沖器的輸出的基礎上形成的包；以及-控制器，用于通過控制以下內容的至少 一個來控制第 一虛 擬解碼緩沖器和第二虛擬解碼緩沖器的緩沖器占用水平 流生成器的操作； 至少一個傳輸幀的生成； 傳輸調度。根據本發(fā)明的第五方面，提供一種服務器，該服務器包括用于 緩存用于從服務器到接收設備的傳輸的媒體流的緩沖器，該服務器 還包括-流生成器，包括-第 一封包器，用于從媒體流的至少 一種媒體信息中組成媒 體包；-幀生成器，用于在將要傳輸的媒體包的基礎上生成至少一 個傳輸幀；-第二封包器，用于從至少一個傳輸幀組成將要傳輸的包；以及-調度器，用于生成用于將要傳輸的包的傳輸調度；以及 -虛擬解碼器，用于在根據傳輸調度的傳輸期間執(zhí)行虛擬解碼， 包括-第一虛擬解碼緩沖器，用于緩存根據傳輸調度將要傳輸的 包；以及-輸出，用于在傳輸幀的基礎上從第一虛擬解碼緩沖器輸出包；-第二虛擬緩沖器，用于緩存在來自第一虛擬解碼緩沖器的輸出的基礎上形成的包；以及-控制器，用于通過控制以下內容的至少一個來控制第 一虛 擬解碼緩沖器和第二虛擬解碼緩沖器的緩沖器占用水平 流生成器的操作； 至少一個傳輸幀的生成； 傳輸調度； -傳輸器，用于將包傳輸到接收設備。根據本發(fā)明的第六方面，提供一種多媒體廣播/多播服務服務 器，該多媒體廣播/多播服務服務器包括用于緩存用于從服務器到接 收設備的傳輸的媒體流的緩沖器，該服務器還包括 -流生成器，包括-第 一封包器，用于從媒體流的至少一種媒體信息中組成媒 體包；-幀生成器，用于在將要傳輸的媒體包的基礎上生成至少一 個傳輸幀；-第二封包器，用于從至少 一個傳輸幀組成將要傳輸的包；以及-調度器，用于生成用于將要傳輸的包的傳輸調度； -虛擬解碼器，用于在根據傳輸調度的傳輸期間執(zhí)行虛擬解碼， 包括-第一虛擬解碼緩沖器，用于緩存根據傳輸調度將要傳輸的 包；以及-輸出，用于在傳輸幀的基礎上從第一虛擬解碼緩沖器輸出包；-第二虛擬緩沖器，用于緩存在來自第 一虛擬解碼緩沖器的 輸出的基礎上形成的包；以及-控制器，用于通過控制以下內容的至少一個來控制第 一虛 擬解碼緩沖器和第二虛擬解碼緩沖器的緩沖器占用水平 流生成器的操作； 至少一個傳輸幀的生成； 傳輸調度；-傳輸器，用于傳輸包作為多媒體廣播/多播服務。 根據本發(fā)明的第七方面，提供一種接收設備，該接收設備用于 接收具有傳輸調度并且包括從其已經組成傳輸的包的至少一個傳輸 幀，所述至少 一 個傳輸幀包括在媒體流的至少 一種媒體信息的基礎上組成的媒體包，該接收設備包括-接收器，用于接收傳輸的包，該傳輸的包包括在該包的接收的開始除用于延遲包的解碼的初始緩存量的信息； -第一解包器，用于從接收的包重建媒體包； -緩沖器，用于緩存媒體包信息； -解碼器，用于解碼媒體包的媒體信息；以及 -控制器，用于根據初始緩存量的信息延遲解碼。 根據本發(fā)明的第八方面，提供一種與媒體流相關的信號，包括在媒體流的至少 一 種媒體信息的基礎上組成的媒體包，媒體包包括在至少一個傳輸幀中，從傳輸幀已經組成將要傳輸的具有傳輸調度的包，其中信號包括在接收媒體流的開始處用于延遲包的解碼的這 樣初始緩存量的信息，以使得在任何傳輸幀中的媒體流的每個媒體 包在其解碼時間或者在其解碼時間之前可用。根據本發(fā)明的第九方面，提供一種計算機程序產品，包括計算 機程序，該計算機程序產品包括當在機器上執(zhí)行時用于通過以下步 驟緩存媒體流的包的機器可執(zhí)行步驟-在傳輸設備的流生成器中，從至少 一種媒體信息組成媒體包；-在將要傳輸的媒體包的基礎上生成至少一個傳輸幀；-將要傳輸的包由至少 一 個傳輸幀組成；-生成傳輸調度用于將要傳輸的包；-根據傳輸調度執(zhí)行虛擬解碼的第 一 步驟，包括機器可執(zhí)行步驟-將根據傳輸調度將要傳輸的包緩存到第一虛擬解碼緩沖
器；以及-在傳輸幀的基礎上從第一虛擬解碼緩沖器輸出包； -執(zhí)行虛擬解碼的第二步驟，包括-緩存在從第一虛擬解碼緩沖器輸出的基礎上所組成的包； -通過控制以下內容中的至少一個來控制第 一虛擬解碼緩沖器 和第二虛擬解碼緩沖器的緩沖器占用水平-流生成器的操作；-至少一個傳輸幀的生成；-傳輸調度。


在以下內容中，將參考其中的附圖更加詳細地描述本發(fā)明 圖1描述了根據本發(fā)明的示例性實施例的系統(tǒng)， 圖2示出了用于DVB-H上的IP廣播的簡化系統(tǒng)， 圖3示出了 MPE-FEC幀的結構，圖4以簡化的框圖示出了根據本發(fā)明的示例性實施例的傳輸設備，圖5示出了計算RSDT的過程，圖6描述了根據本發(fā)明的示例性實施例的系統(tǒng)中的緩存模型，以及圖7描述了 DVB網絡中的媒體傳輸的示例。
具體實施方式
在下文中，參考圖1和圖6,根據本發(fā)明的示例性實施例更詳細 地描述系統(tǒng)。圖1的系統(tǒng)包括傳輸設備1、傳輸信道2和接收設備3。 傳輸設備1可以例如是服務器、無線通信設備、個人計算機等。接 收設備3可以例如是無線通信設備、個人計算機、TV等。傳輸設備l包括用于從一個或多個DVB服務703(包含媒體組件 或者其他IP流)組成傳輸流702的流生成器1. 0。在此實施例中，流生成器1.0包括當必要時用于編碼媒體信息的編碼器1.1、RTP/UDP/IP封包器1. 2、多協(xié)議封裝器L3、 FEC編碼緩沖器1.4、 FEC編碼器塊1.6、和傳輸調度塊1.8。編碼器l.l創(chuàng)建數據流Dl, 其包含編碼的比特流。將數據流Dl傳輸到封包器1. 2，其中根據格 式的凈荷規(guī)范將數據流Dl封裝在IP數據報凈荷R2中。接下來，在 多協(xié)議封裝器塊1. 3中進一步處理這些源IP數據報(圖1中的數據 流D2 ),其通過將源IP數據報D2封裝成幀的MPE段結構來組成MPE 段。MPE段(數據流D3)存儲在FEC編碼緩沖器1. 4中。為了支持丟失的傳輸包的錯誤恢復，必須組成必需的錯誤恢復 信息。在此實施例中，以下列方式組成修理包。FEC編碼器塊1.6 在這些MPE段上計算糾錯代碼并且組成用于包含用于源IP數據報D2 的糾錯代碼的》f理包的MPE-FEC #爻。MPE-FEC段(數據流D6 )也存 儲在FEC編碼緩沖器1.4中。傳輸調度塊1.8決定用于傳輸MPE段包的步長。DVB-H上的IP 數據廣播通常應用時間片，其中在突發(fā)中傳輸基本流以便當接收器 接收不到突發(fā)時利用控制信號保持不活動狀態(tài)。如果使用等于媒體 解碼比特率的比特率傳輸了數據，則以相比于需要的比特率高得多 的比特率發(fā)送該突發(fā)。比較于其中無線接收器一直保持活動狀態(tài)的 接收器，時間片可以達到相當的電源消耗節(jié)省。包調度器1. 8控制MPE段包的輸出以便根據在使用中的調度處 理，將在合適的時機傳輸每個MPE段包。MPE段包可以是這樣的順序， 例如，在傳輸一個或多個修理包塊之前傳輸一個FEC塊的所有的源 MPE段包。然而，顯然排序可以不同于應用的。例如，源MPE段包和 修理包可以是交叉的。包調度器1. 8將MPE段包作為MPEG-2傳輸流(TS )的包進行傳 輸。換句話說，將MPE段包分割成MPEG-2傳輸流包。當執(zhí)行必需的 傳輸協(xié)議轉換時，可以通過同樣公知的設備1的傳輸器1. 13將包傳 輸到傳輸信道2。傳輸可以是無線或者有線傳輸或者有線和無線傳輸 兩者都可以應用在傳輸路徑的不同鏈路中。傳輸信道可以包括 一 個
或多個通過其傳輸包流的節(jié)點、基站等。傳輸信道和傳輸方法的細 節(jié)同樣是公知的并且不必在此更詳細地描述它們。在執(zhí)行調度處理過程之后不必傳輸包，但是包也可能存儲在存 儲器中，例如作為文件。該文件也可以與額外的信息一起被包括。在根據本發(fā)明的系統(tǒng)中，還將MPEG-2傳輸流包傳輸到虛擬解碼器1.9 (數據流D9a)。在此描述中，稍后更詳細地描述虛擬解碼器 1. 9的操作。虛擬FEC解碼器可以控制傳輸調度的步長、創(chuàng)建的修理 包(每個FEC塊)的數量和每個FEC塊中源MPE段包的數量(IP數 據報)。這些操作在圖1中使用虛線指示。在以下內容中，更詳細地描述設備3的操作。接收器3. 1接收 承載傳輸的包流的信號并且執(zhí)行需要的解調操作，其中接收器3.1 向接收調度塊3. 2輸出解調信息。接收調度塊3. 2確定何時打開接 收器接收希望的時間片突發(fā)。在接收調度塊3.2中，解調信息被轉 換成MPE段包流。當必要時，接收調度塊3. 2可以執(zhí)行某些協(xié)議轉 換和解密操作，以重建MPE段包流(數據流D13)。接收調度塊轉發(fā) MEP段到FEC解碼l爰沖器3. 4。如果在FEC塊中至少存在一個缺失的源包，則接收設備3將試 圖如下糾正丟失FEC解碼器3.6使用合適的FEC解碼算法以重新生 成丟失的源MPE段并且將它們存儲回到FEC解碼緩沖器3.4。多協(xié)議解封裝塊3. 7從FEC解碼緩沖器3. 4取回MPE段包。在 多協(xié)議解封裝塊3. 7中，通過獲得MPE段的凈荷組成RTP/UDP/IP包， 并且如果需要，從若干MPE段重新組裝RTP/UDP/IP包。在此操作之 后，RTP/UDP/IP數據報包流(數據流D19)符合媒體格式的凈荷規(guī) 范并且可以被傳輸到解封包器3. 8。解封包器3. 8對RTP/UDP/IP數據報包流D19解封包并且根據媒 體格式的媒體凈荷規(guī)范將凈荷從源RTP/UDP/IP數據報包中分離出 來。這構成比特流或應用數據單元(ADU，數據流D20)的流。應用 數據單元是媒體編碼格式的基本單元，例如H. 264/AVC編碼標準或 者編碼音頻框架的網絡抽象層(NAL)單元。那么，可以將媒體比特 流或者ADU.的流解碼用于進一步的處理。 虛擬解碼器在以下內容中，將更詳細地描述虛擬FEC解碼器1.9的#:作。 虛擬接收器包含圖6中描述的緩沖器。在此，認為虛擬FEC解碼器 由傳輸緩沖器611、多協(xié)議解封裝緩沖器612和RTP解封裝緩沖器 613組成。認為虛擬媒體解碼器由編碼數據緩沖器614和解碼數據緩 沖器615組成。傳輸緩沖器611 (圖6)接收MPEG-2 TS包并且移除任何復制的 包。它的操作類似于在ETSI EN301 192和MPEG-2系統(tǒng)中所描述的。 多協(xié)議解封裝緩沖器612用于虛擬FEC解碼和MPE段到IP數據報的 解封裝。RTP解封裝緩沖器613用于RTP和RTP凈荷報頭的解封裝并 且用于平滑時間片的突發(fā)性質以穩(wěn)定用于媒體解碼器的比特率輸 入。在媒體解碼器規(guī)范中指定了編碼數據緩沖器614和解碼數據緩 沖器615。每個MPEG-2 TS多路復用702有一個傳輸緩沖器611,每個基 本流704有一個多協(xié)議解封裝緩沖器612，每個IP流705有一個RTP 解封裝緩沖器613,每個IP流內承載的基本媒體流有一個編碼數據 緩沖器614,以及通常每個IP流內承載的基本媒體流有一個解碼數 據緩沖器615。下面描述多協(xié)議解封裝緩沖器612和RTP解封裝緩沖器613。 多協(xié)議解封裝(MPD)緩沖器模型應用于承載IP流705的時間 片基本流704。時間片的時間分片(time-slicing)元素和FEC標識符描述符的值可以等于時間分片的基本流的值。如下指定MPD緩沖器模型。MPD緩沖器612初始是空的。數據傳 輸以時間片的傳輸順序從第一MPEG-2TS包開始。從傳輸緩沖器611 輸出的每個MPEG-2 TS包被插入到MPD緩沖器中(沒有TS包頭)。 當時間片的mpe —fee元素和FEC標識符描述符的值等于00b時， MPEG-2 TS包完成MPE段，并且完整的MPE段完成數據報(即，最后 段號的值等于MPE段頭中的段號的值)。從MPD緩沖器612移除MPE
段并且輸出MPE段中承載的數據才艮。當時間片的mpe-fec元素和FEC 標識符描述符的值等于Olb并且MPEG-2 TS包是時間片中的第一個 時，在MPD緩沖器中，如ETSIEN 301 192vl. 4. 1的9. 3. 1節(jié)指定 地組成MPE-FEC幀。當時間片的mpe-fec元素和FEC標識符描述符 的值等于01b時，如ETSI EN 301 192vl, 4. 1的9. 3. 1節(jié)指定地將 每個MPEG-2 TS包插入到在MPD緩沖器中的MPE-FEC幀中。當時間 片的mpe —fee元素和FEC標識符描述符的值等于Gib并且MPEG-2 TS 包是包含MPD緩沖器612中的MPE-DEC幀的數據的最后一個時，那 么輸出MPE-FEC幀的MPE段中承載的數據報并且從MPD緩沖器612 移除該MPE-FEC幀。RTP解封裝緩沖器RTP解封裝緩沖器模型應用于從多協(xié)議解封裝緩沖器612輸出 的數據報并且包含RTP包。RTP解封裝緩沖器模型是IP流專用的。RTP解封裝緩沖器613初始是空的。沒有UDP和IP報頭但是從 MPD緩沖器612輸出時立即包括RTP頭的每個RTP包^皮插入到RTP 解封裝緩沖器613。在用信號通知的初始緩存延遲(由于第一RTP 包的插入)已經過期之前沒有從RTP解封裝緩沖器613中移除RTP 包。在此申請中，稍后指定用于初始緩存延遲的信令裝置。以它們 解碼的順序從RTP解封裝緩沖器613輸出應用數據單元(ADU)。對 于H. 264/AVC流，ADU定義為NAL單元并且在RFC3984中指定它們的 解碼順序。對于AAC流，ADU與RFC3640中指定的訪問單元相同。當 初始緩存延遲過期時，以解碼順序立即輸出第一 ADU。當在RTP解封 裝緩沖器613中它成為可用時，以解碼順序輸出每個后續(xù)ADU,并且 由于移除前面的AUD,下列時間(以秒計)已經流逝了 8*(以字節(jié) 為單位的先前的ADU的大小)/ ( 1000* (用于流的"b-AS" SDP屬性 值))。當輸出了 RTP解封裝緩沖器包含的所有ADU時，從RTP解 封裝緩沖器移除RTP包。初始緩存延遲的信令初始緩存延遲用信號通知從RTP包的插入到RTP解封裝緩沖器613的以掛鐘時間(以毫秒為單位)的延遲，直到可以將以解碼順序的第一 ADU信號從RTP解封裝緩沖器613輸出。信號通知的延遲保 證無暫停(pauseless)解碼和回放。該值是網絡字節(jié)順序的無符號 16-比特整數。在以下內容中，將呈現用于初始緩存信令的語法和語義示例的 某些細節(jié)。RFC3611指定的RTCP擴展報告(XR )是將RTCP上承載的信息擴 展到發(fā)送器和接收器報告內容之外的機制。在RFC 3611中指定了 RTCP XR報告的七個報告塊類型，并且提供擴展機制以包括額外的報 告塊類型。為了傳遞初始緩存延遲可以指定新的RTCP XR報告塊類 型 在每個MPE FEC幀中應該傳遞RTCP發(fā)送器報告以在從MPE FEC 幀開始接收的接收器中支持正確地音頻-視頻同步。因此，可以將提 出的初始緩存延遲擴展報告合并到相同RTCP包中作為發(fā)送器報告。 因而，不需要UDP/IP/MPE段開銷用于承載初始緩存信息?？蛇x地，如下指定的，初始緩存延遲元素可以存在于RTP包中。 當初始緩存延遲元素沒有存在于RTP包中時，則對RTP包應用初始 緩存延遲的先前的值。如果沒有可用的初始緩存延遲元素的先前的 值，則推斷初始緩存延遲是O。當RTP頭中的填充比特等于1時，則 填充的最后八位字節(jié)的值大于2,并且填充最后八位字節(jié)的前面八位 字節(jié)的值等于0x80時，存在初始緩存延遲元素。初始緩存延遲的值 在RTP填充的兩個最后八位字節(jié)之前?？蛇x地，在對MPEG-2傳輸流多路復用的描述符中指定額外的初 始緩存延遲字段?？蛇x地，指定新的MPE段結構或者附加現有的MPE段或者 MPE-FEC段結構以包括初始緩存延遲元素。FEC塊的生成排列MPE-FEC幀為具有255列和可變數量的行的矩陣。當前， 定義256、 512、 768、 1024字節(jié)的行大小。圖3示出了 MPE-FEC幀的結構。矩陣中的每個位置表示一個信息字節(jié)。第一191列代表承載IP數據^^艮和可能填充的MPE段。MPE-FEC幀的這部分被稱作應用 數據表(ADT)。保留MPE-FEC幀的下一個64列用于Reed-Solomon (RS) FEC編碼的奇偶信息，并且被稱作RS數據表(RSDT)?？梢允褂脭祿笸耆虿糠值靥畛銩DT。當部分地填充ADT時， 使用G字節(jié)填充剩余的列并且剩余的列被稱作填充列。當在MPE-FEC 幀中沒有留下更多的空間以填充下一個完整的數據報時，也完成了 填充。使用RS ( 255， 191) FEC代碼交叉ADT的每行來計算RSDT。 圖5示出了計算RSDT的過程。不必計算RSDT的全部64列并且可以完全丟棄它的某些最右列 并且此過程被稱為打孔。在傳輸信道上不發(fā)送填充的和打孔的列。一致性要求例如IP封裝器的傳輸設備1將檢驗虛擬FEC解碼器1. 9中的緩 沖器占用水平是否沒有超過需要的緩沖器大小。如果有必要，則虛 擬FEC解碼器1. 9可以控制流生成器1. 0以改變某些參數從而影響 緩沖器占用水平。例如，虛擬FEC解碼器1. 9可以控制組成媒體包 的頻率和/或數量、組成修理包的頻率和數量、和/或媒體和修理包 的傳輸調度。而且，傳輸設備1應該實現以便虛擬FEC解碼器1. 9 的輸出符合媒體格式的媒體凈荷和解碼規(guī)范。在某些實現方式中，解碼緩沖器的大小可以不是恒定的，但是 它可以根據需要改變。虛擬FEC解碼器1.9可以確定FEC解碼緩沖 器需要的緩存大小。然后，可以向可以為緩存保留足夠存儲器的接 收設備3指示確定的大小。虛擬解碼器l. 9可以包括用于執(zhí)行上述操作的控制器(未示出)， 或者可以使用傳輸設備的控制器1.14作為虛擬解碼器1.9的控制 器。當存在的緩存模型包含多協(xié)議解封裝緩沖器并且應用RTP解封 裝緩沖器時，傳輸設備將檢驗承栽IP流的任何時間片的基本流是否 符合緩存存在的模型和以下要求
-對于任何基本流，多協(xié)議解封裝緩沖器612的緩沖器占用水平 將不超過字節(jié)的第一號指示的第一參數(A)的值。-對于任何承載在基本流中的IP流，RTP解封裝緩沖器的輸出將符合媒體格式的解碼規(guī)范。-對于任何承載在基本流中的IP流，RTP解封裝緩沖器613的緩 沖器占用水平將不超過字節(jié)的第二號指示的第二參數(B)的值。第一 A和第二參數B的值與最大的MPE-FEC幀的大小是成比例 的。當確定第二參數B的值時，應該考慮某些界限以平滑比特率的 變化以及時間片間隔。例如DVB-H客戶端的接收設備3將能夠接收符合虛擬FEC解碼 器1. 9的MPEG-2傳輸流。而且，當接收設備3符合MPEG-2傳輸包 流的媒體解碼要求時，它將能夠解封包并且解碼MPEG-2傳輸包流并 且以正確的速率輸出解碼的數據。
權利要求
1.一種用于緩存媒體流的包的方法，包括-在流生成器中，從至少一種媒體信息組成媒體包；-在待傳輸的媒體包的基礎上生成至少一個傳輸幀；-從所述至少一個傳輸幀組成待傳輸的包；-生成傳輸調度用于待傳輸的包；-根據所述傳輸調度執(zhí)行虛擬解碼的第一步驟，包括-將根據所述傳輸調度待傳輸的包緩存到第一虛擬解碼緩沖器；以及-在傳輸幀的基礎上從所述第一虛擬解碼緩沖器輸出包；-執(zhí)行虛擬解碼的第二步驟，包括-緩存在從所述第一虛擬解碼緩沖器輸出的基礎上所組成的包；-通過控制以下至少一個來控制所述第一虛擬解碼緩沖器和所述第二虛擬解碼緩沖器的緩沖器占用水平-所述流生成器的操作；-至少一個傳輸幀的生成；-所述傳輸調度。
2. 根據權利要求1所述的方法，包括-在所述媒體包的基礎上組成前向糾錯數據； -在所述前向糾錯數據的基礎上組成一個或多個修理包； -將至少 一個所述修理包包括到待傳輸的包中。
3. 根據權利要求1所述的方法，包括-在第 一 包輸入到第二虛擬解碼緩沖器之后，定義用于延遲虛擬 解碼的所述第二步驟的初始緩存量。
4. 根據權利要求3所述的方法，其中虛擬解碼的所述第二步驟 還包括-當用于延遲虛擬解碼的所述第二步驟的初始緩存量到期時，從所述第二虛擬解碼緩沖器中移除一個基本媒體單元。
5. 根據權利要求1所述的方法，還包括確定用于所述第一虛擬 解碼緩沖器和所述第二虛擬解碼緩沖器中至少 一個的大小，以便緩 沖器占用不超過確定的大小。
6. 根據權利要求2所述的方法，其中所述虛擬解碼緩沖器的大小是預定的，其中所述方法包括通過控制以下至少 一 個來控制所述緩沖器占用水平不超過所述確定的大小 -所組成的媒體包的頻率， -所組成的修理包的數量，以及 -媒體和修理包的傳輸調度。
7. —種用于緩存用于從傳輸設備到接收設備的傳輸的媒體流的 系統(tǒng)，所述傳輸設備包括-流生成器，包括-第 一封包器，用于從所述媒體流的至少 一種媒體信息中組 成媒體包；-幀生成器，用于在待傳輸的媒體包的基礎上生成至少一個 傳輸幀；-第二封包器，用于從所述至少一個傳輸幀組成待傳輸的包；以及-調度器，用于生成用于待傳輸的包的傳輸調度；以及 -虛擬解碼器，用于在根據所述傳輸調度的傳輸期間執(zhí)行虛擬解 碼，包括 '-第 一虛擬解碼緩沖器，用于緩存根據所述傳輸調度的待傳 輸的所述包；-輸出，用于在傳輸幀的基礎上從所述第一虛擬解碼緩沖器 輸出包；-第二虛擬緩沖器，用于緩存在來自所述第一虛擬解碼緩沖 器的輸出的基礎上形成的包；以及-控制器，用于通過控制以下至少 一 個來控制所述第 一 虛擬 解碼緩沖器和所述第二虛擬解碼緩沖器的緩沖器占用水平 所述流生成器的操作； 至少一個傳輸幀的所述生成； 所述傳輸調度。
8. 根據權利要求7所述的系統(tǒng)，包括-糾錯碼定義器，用于在所述媒體包的基礎上組成前向糾錯數 據；以及-第二封包器，用于在所述前向糾錯數據的基礎上組成一個或多 個》多理包；其中配置所述系統(tǒng)以在待傳輸的包中包括至少 一個所述修理包。
9. 根據權利要求7所述的系統(tǒng)，其中-在將所述第一包輸入到所述第二虛擬解碼緩沖器之后，定義用 于延遲虛擬解碼的第二步驟的初始緩存量。
10. 根據權利要求9所述的系統(tǒng)，其中所述虛擬解碼器適合于 -當用于延遲虛擬解碼的第二步驟的所述初始緩存量過期時，從所述第二虛擬解碼緩沖器移除一個基本媒體單元。
11. 根據權利要求7所述的系統(tǒng)，配置所述系統(tǒng)以確定所述第 一虛擬解碼緩沖器和所述第二虛擬解碼緩沖器的至少一個的大小， 以便緩沖器占用不超過確定的大小。
12. 根據權利要求8所述的系統(tǒng)，其中所述虛擬解碼緩沖器的 大小是預定的，其中所述虛擬解碼器適合于通過控制以下至少一個 來控制緩沖器占用水平不超過確定的大小-所組成的々某體包的頻率，-所組成的修理包的數量，以及-媒體和修理包的所述傳輸調度。
13. —種傳輸設備，包括用于緩存用于從所述傳輸設備到接收 設備的傳輸的媒體流的緩沖器，所述傳輸設備還包括-流生成器，包括 -第 一封包器，用于從所述媒體流的至少 一種媒體信息中組成々某體包；-幀生成器，用于在待傳輸的媒體包的基礎上生成至少一個 傳輸幀；-第二封包器，用于從所述至少一個傳輸幀組成待傳輸的包；以及-調度器，用于生成用于待傳輸的包的傳輸調度；以及 -虛擬解碼器，用于在根據所述傳輸調度的傳輸期間執(zhí)行虛擬解 碼，包括-第一虛擬解碼緩沖器，用于緩存根據所述傳輸調度待傳輸 的所述包；以及-輸出，用于在傳輸幀的基礎上從所述第 一 虛擬解碼緩沖器 輸出包；-第二虛擬緩沖器，用于緩存在來自所述第一虛擬解碼緩沖 器的輸出的基礎上形成的包；以及-控制器，用于通過控制以下至少 一 個來控制所述第 一 虛擬 解碼緩沖器和所述第二虛擬解碼緩沖器的緩沖器占用水平 所述流生成器的操作； 至少一個傳輸幀的生成； 傳輸調度。
14. 一種無線通信設備，包括用于緩存用于從所述無線通信設 備到接收設備的傳輸的媒體流的緩沖器，所述無線通信設備還包括 -流生成器，包括-第 一封包器，用于從所述媒體流的至少一種媒體信息中組 成媒體包；-幀生成器，用于在待傳輸的媒體包的基礎上生成至少一個 傳輸幀；-第二封包器，用于從所述至少 一 個傳輸幀組成待傳輸的包；以及-調度器，用于生成用于待傳輸的包的傳輸調度；以及-虛擬解碼器，用于在根據所述傳輸調度的傳輸期間執(zhí)行虛擬解碼，包括-第一虛擬解碼緩沖器，用于緩存根據所述傳輸調度待傳輸的所述包；以及-輸出，用于在傳輸幀的基礎上從所述第 一虛擬解碼緩沖器 輸出包；-第二虛擬緩沖器，用于緩存在來自所述第一虛擬解碼緩沖 器的輸出的基礎上形成的包；以及-控制器，用于通過控制以下至少一個來控制所述第一虛擬 解碼緩沖器和所述第二虛擬解碼緩沖器的緩沖器占用水平 .所述流生成器的操作； 至少一個傳輸幀的生成； 傳輸調度。
15. —種服務器，包括用于緩存用于從所述服務器到接收設備 的傳輸的媒體流的緩沖器，所述服務器還包括 -流生成器，包括-第 一封包器，用于從所述媒體流的至少 一種媒體信息中組 成媒體包；-幀生成器，用于在待傳輸的媒體包的基礎上生成至少一個 傳輸幀；-第二封包器，用于從所述至少一個傳輸幀組成待傳輸的包；以及-調度器，用于生成用于待傳輸的包的傳輸調度；以及 -虛擬解碼器，用于在根據所述傳輸調度的傳輸期間執(zhí)行虛擬解 碼，包括-第一虛擬解碼緩沖器，用于緩存根據所述傳輸調度待傳輸 的所述包；以及-輸出，用于在傳輸幀的基礎上從所述第 一虛擬解碼緩沖器輸出包；-第二虛擬緩沖器，用于緩存在來自所述第一虛擬解碼緩沖器的輸出的基礎上形成的包；以及-控制器，用于通過控制以下至少 一 個來控制所述第 一 虛擬 解碼緩沖器和所述第二虛擬解碼緩沖器的緩沖器占用水平 所述流生成器的操作； 至少一個傳輸幀的生成； 傳輸調度； -傳輸器，用于將所述包傳輸到所述接收設備。
16. —種多媒體廣播/多播服務服務器，包括用于緩存用于從所 述服務器到接收設備的傳輸的媒體流的緩沖器，所述服務器還包括 -流生成器，包括-第 一封包器，用于從所述媒體流的至少一種媒體信息中組 成媒體包；-幀生成器，用于在待傳輸的媒體包的基礎上生成至少一個 傳專餘幀；-第二封包器，用于從所述至少 一 個傳輸幀組成待傳輸的包；以及-調度器，用于生成用于待傳輸的包的傳輸調度； -虛擬解碼器，用于在根據所述傳輸調度的傳輸期間執(zhí)行虛擬解 碼，包括-第一虛擬解碼緩沖器，用于緩存根據所述傳輸調度待傳輸 的所述包；以及-輸出，用于在傳輸幀的基礎上從所述第 一虛擬解碼緩沖器 輸出包；-第二虛擬緩沖器，用于緩存在來自所述第一虛擬解碼緩沖 器的輸出的基礎上形成的包；以及-控制器，用于通過控制以下至少 一 個來控制所述第 一 虛擬 解碼緩沖器和所述第二虛擬解碼緩沖器的緩沖器占用水平 所述流生成器的操作； 至少一個傳輸幀的生成； 傳輸調度；-傳輸器，用于傳輸所述包作為多媒體廣播/多播服務。
17. —種接收設備，所述接收設備用于接收具有傳輸調度并且 包括從其已經組成傳輸的包的至少 一 個傳輸幀，所述至少 一 個傳輸 幀包括在媒體流的至少 一 種媒體信息的基礎上組成的媒體包，所述 接收設備包括-接收器，用于接收傳輸的包，所述傳輸的包包括在所述包的接 收的開始除用于延遲所述包的解碼的初始緩存量的信息； -第一解包器，用于從所述接收的包重建所述媒體包； -緩沖器，用于緩存所述媒體包信息； -解碼器，用于解碼所述媒體包的媒體信息；以及-控制器，用于根據所述初始緩存量的信息延遲所述解碼。
18. —種與媒體流相關的信號，包括在所述媒體流的至少一種 媒體信息的基礎上組成的媒體包，所述媒體包包括在至少 一 個傳輸幀中，從所述傳輸幀已經組成待傳輸的具有傳輸調度的待包，其中 所述信號包括在接收所述媒體流的開始處用于延遲所述包的解碼的 這樣初始緩存量的信息，以使得在任何傳輸幀中的所述媒體流的每 個媒體包在其解碼時間或者在其解碼時間之前可用。
19. 根據權利要求18所述的信號，其中至少一個修理包與傳輸 幀相關并且所述至少 一 個修理包對于在所述傳輸幀中的任何媒體包 的所述解碼時間之前的解碼是可用的。
20. —種計算機程序產品，包括存儲在計算機可讀介質上的計 算機程序，其包括當在機器上執(zhí)行時用于通過以下步驟緩存媒體流 的包的機器可執(zhí)行步驟-在傳輸設備的流生成器中，從至少一種媒體信息組成媒體包； -在待傳輸的媒體包的基礎上生成至少 一 個傳輸幀； -《寺傳ir的包由所述至少 一 個傳#r幀組成；-生成傳輸調度用于待傳輸的包；-根據所述傳輸調度執(zhí)行虛擬解碼的第 一 步驟，包括機器可執(zhí)行步驟-將根據所述傳輸調度待傳輸的包緩存到第 一 虛擬解碼緩沖器；以及-在傳輸幀的基礎上從所述第 一 虛擬解碼緩沖器輸出包； -執(zhí)行虛擬解碼的第二步驟，包括-緩存在從所述第一虛擬解碼緩沖器輸出的基礎上所組成 的包；-通過控制以下至少 一 個來控制所述第 一 虛擬解碼緩沖器和所 述第二虛擬解碼緩沖器的緩沖器占用水平 -所述流生成器的操作； -至少一個傳輸幀的生成； -所述傳輸調度。
21.根據權利要求20所述的計算機程序產品，所述控制包括機器可執(zhí)行步驟-在媒體包的基礎上組成前向糾錯數據；-在所述前向糾錯數據的基礎上組成 一 個或多個修理包；-將至少 一個所述修理包包括到待傳輸的包中。
全文摘要
緩存用于從傳輸設備向接收設備傳輸的媒體流的包。在流生成器中，媒體包由至少一種媒體信息組成；在將要傳輸的媒體包的基礎上生成至少一個傳輸幀；將要傳輸的包由至少一個傳輸幀組成；生成傳輸調度用于將要傳輸的包。另外，還執(zhí)行虛擬解碼的第一步驟和第二步驟。根據傳輸調度執(zhí)行虛擬解碼的第一步驟并且虛擬解碼的第一步驟包括將根據傳輸調度將要傳輸的包緩存到第一虛擬解碼緩沖器；并且在傳輸幀的基礎上從第一虛擬解碼緩沖器輸出包。虛擬解碼的第二步驟包括通過控制以下內容中的至少一個來控制第一虛擬解碼緩沖器和第二虛擬解碼緩沖器的緩沖器占有水平流生成器的操作；至少一個傳輸幀的生成；傳輸調度。
文檔編號H04N7/24GK101151829SQ200680010783
公開日2008年3月26日 申請日期2006年4月5日 優(yōu)先權日2005年4月7日
發(fā)明者M·安尼克塞拉 申請人:諾基亞公司