專利名稱：用于緩沖流式化數(shù)據(jù)的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總地涉及在基于分組的網(wǎng)絡(luò)上的媒體的流動。更特別是，本發(fā)明涉及一個(gè)緩沖機(jī)制用于從由于編碼和分組化引起的分組時(shí)延變化方面來改進(jìn)流式化媒體的回放。
背景技術(shù)：
在傳統(tǒng)的分組交換多媒體系統(tǒng)中，例如，在基于IP的視頻會議系統(tǒng)中，不同類型的媒體通常被攜帶在分離的分組中。此外，分組典型地在一個(gè)盡力而為的網(wǎng)絡(luò)協(xié)議之上被攜帶，所述盡力而為的網(wǎng)絡(luò)協(xié)議不能保證一個(gè)恒定的傳輸時(shí)延，而是時(shí)延可能在分組間變化。結(jié)果是，具有相同呈現(xiàn)(回放)時(shí)間戳的分組可能不被同時(shí)接收到，而兩個(gè)分組的接收間隔可能不與它們的呈現(xiàn)間隔相同(從時(shí)間上來說)。因此，為了維持不同媒體類型之間的回放同步并且維持正確的回放速率，一個(gè)多媒體終端典型地使接收到的數(shù)據(jù)緩沖一個(gè)短的周期(例如小于半秒)以便平滑時(shí)延的變化。在此，這種類型的緩沖器被稱為時(shí)延抖動緩沖器。在傳統(tǒng)的分組交換多媒體系統(tǒng)中，緩沖可以發(fā)生在媒體數(shù)據(jù)解碼之前和/或之后。
時(shí)延抖動緩沖還適用于流式系統(tǒng)。鑒于流式是一種非傳統(tǒng)應(yīng)用的事實(shí)，所以需要的時(shí)延抖動緩沖器可能比在傳統(tǒng)應(yīng)用中的時(shí)延抖動緩沖器大的多。當(dāng)一個(gè)流式播放器已經(jīng)建立起一條到服務(wù)器的連接并且請求下載一個(gè)多媒體流時(shí)，所述服務(wù)器開始發(fā)送所希望的流。播放器典型地不馬上開始回放所述流，而是它使輸入的數(shù)據(jù)緩沖一段時(shí)間，典型地為幾秒鐘。在此，這種類型的緩沖被稱為初始緩沖。初始緩沖以一種與在傳統(tǒng)應(yīng)用中的時(shí)延抖動緩沖所提供的類似方式來提供平滑傳輸時(shí)延變化的能力。除此之外，它可使能鏈路層、傳送層、以及/或者應(yīng)用層的丟失協(xié)議數(shù)據(jù)單元(PDU)的重傳。緩沖允許播放器解碼并播放來自緩沖器的數(shù)據(jù)，而同時(shí)允許重傳丟失的PDU成為可能。如果緩沖周期足夠長，那么重傳的PDU就被及時(shí)接收到以便被解碼并在預(yù)定的時(shí)刻播放。
在流式客戶中的初始緩沖提供另一個(gè)在傳統(tǒng)系統(tǒng)中不能獲得的優(yōu)點(diǎn)它允許從服務(wù)器發(fā)送的媒體的數(shù)據(jù)速率改變。換句話說，只要接收器緩沖器不會上溢或下溢，媒體分組就可以暫時(shí)地以比它們的回放速率或快或慢的速率被發(fā)送。在數(shù)據(jù)速率中的波動可能有兩個(gè)來源。波動的第一個(gè)源是由于在一些媒體類型例如視頻中可獲得的壓縮效率依賴于源數(shù)據(jù)的內(nèi)容的事實(shí)。結(jié)果是，如果希望一個(gè)穩(wěn)定的質(zhì)量，那么由此產(chǎn)生的壓縮比特流的比特率就會變化。典型地，一個(gè)穩(wěn)定的聲像質(zhì)量比一個(gè)變化的質(zhì)量在主觀上使人更舒服。這樣，與一個(gè)沒有初始緩沖的系統(tǒng)，例如一個(gè)視頻會議系統(tǒng)相比，初始緩沖使得能夠獲得一個(gè)使人更舒服的聲像質(zhì)量。
更詳細(xì)地考慮視頻數(shù)據(jù)的例子，一個(gè)視頻序列的不同幀可能通過非常不同數(shù)量的數(shù)據(jù)來呈現(xiàn)。這是由于預(yù)測編碼技術(shù)的使用而造成的。典型地，視頻編碼標(biāo)準(zhǔn)定義了至少兩種類型的幀。主要的幀類型是INTRA或者I-幀以及INTER或者P-幀。一個(gè)INTRA幀基于包含在圖像本身內(nèi)的信息來被編碼，而一個(gè)P-幀通過參考至少一個(gè)其它幀，通常是一個(gè)在視頻序列中較早出現(xiàn)的幀，來被編碼。由于在一個(gè)數(shù)字視頻序列中的連續(xù)幀之間存在明顯的時(shí)間冗余，所以有可能用比呈現(xiàn)一個(gè)INTRA幀所需要的小得多的數(shù)量的數(shù)據(jù)來編碼一個(gè)INTER幀。這樣，INTRA幀在一個(gè)編碼的視頻序列中相對較少地使用。
典型地一個(gè)編碼序列起始于一個(gè)INTRA幀(因?yàn)闆]有前面的幀可用來作為在一個(gè)INTER幀的構(gòu)造中的參考)。INTRA幀可以被周期性地插入到序列中，例如以固定的間隔插入，以便補(bǔ)償可能通過一連串被預(yù)測的(INTER)幀而積累并傳播的差錯(cuò)。INTRA幀通常還在場景切換中使用，其中連續(xù)幀的圖像內(nèi)容改變很大以致預(yù)測編碼不能提供有效的數(shù)據(jù)縮減。這樣，一個(gè)典型的編碼視頻流通常起始于一個(gè)INTRA編碼的幀并包括一個(gè)間插有偶爾的INTRA幀的INTER幀序列，呈現(xiàn)一個(gè)INTRA幀所需要的數(shù)據(jù)量比呈現(xiàn)一個(gè)INTER編碼的幀所需要的數(shù)據(jù)量大幾倍(例如5-10倍)。呈現(xiàn)每一個(gè)INTER幀所需要的數(shù)據(jù)量還按照與它的參考幀的相似性/差別的水平以及圖像中的細(xì)節(jié)數(shù)量來變化。
這意味著重構(gòu)一個(gè)預(yù)測編碼視頻序列所需要的信息并不相等地分布在被發(fā)送的數(shù)據(jù)分組中。換句話說，攜帶與一個(gè)INTRA幀有關(guān)的數(shù)據(jù)所需要的數(shù)據(jù)分組數(shù)量比攜帶用于一個(gè)INTER幀的數(shù)據(jù)所需要的數(shù)據(jù)分組數(shù)量更多。此外，因?yàn)槌尸F(xiàn)連續(xù)INTER幀所需要的數(shù)據(jù)量還依賴于圖像內(nèi)容而變化，所以攜帶INTER幀數(shù)據(jù)所需要的數(shù)據(jù)分組的數(shù)量也會變化。
當(dāng)在固定IP網(wǎng)中分組丟失突發(fā)出現(xiàn)時(shí)波動的第二個(gè)源發(fā)生了。為了避免突發(fā)的差錯(cuò)以及高的峰值比特率和分組速率，設(shè)計(jì)良好的流式服務(wù)器小心地調(diào)度分組的發(fā)送并且分組可能并不是正好以它們在接收終端處被回放的速率來發(fā)送。典型地，網(wǎng)絡(luò)服務(wù)器以這樣一種方式被實(shí)現(xiàn)，即它們盡力實(shí)現(xiàn)一個(gè)恒定的分組傳輸速率。一臺服務(wù)器還可能依照主流的網(wǎng)絡(luò)條件來調(diào)整分組傳輸速率，例如，在網(wǎng)絡(luò)變得擁塞時(shí)減少分組傳輸速率，而在網(wǎng)絡(luò)條件允許的情況下增加該速率。這典型地通過調(diào)整在TCP(傳輸控制協(xié)議)中發(fā)送的確認(rèn)消息的被通告窗口來發(fā)生。
考慮到網(wǎng)絡(luò)服務(wù)器的這個(gè)嵌入的屬性，以及結(jié)合先前描述的視頻編碼系統(tǒng)，則不只是重構(gòu)一個(gè)預(yù)測編碼視頻序列所需要的信息在被發(fā)送的數(shù)據(jù)分組之間不等分布，而且數(shù)據(jù)分組本身也可能以一個(gè)變化的速率從服務(wù)器被發(fā)送。這意味著即使通過網(wǎng)絡(luò)的傳輸時(shí)延是恒定的，但是在例如一個(gè)接收客戶終端處的一個(gè)解碼器在接收信息時(shí)也經(jīng)歷了一個(gè)可變的時(shí)延，所述信息是該解碼器構(gòu)造一個(gè)視頻序列中的連續(xù)幀所需要的。應(yīng)注意術(shù)語客戶終端指的是任何終端用戶電子設(shè)備，例如手持設(shè)備(PDA)、無線終端、還有桌上型和膝上型電腦以及機(jī)頂盒。這種由于編碼、分組化以及來自一臺服務(wù)器的分組傳輸所引起的時(shí)延的變化，可以被稱為“編碼的”或“服務(wù)器特定的”變化時(shí)延。它獨(dú)立于或者附加于由于網(wǎng)絡(luò)內(nèi)傳輸時(shí)間的變化而引起的時(shí)延抖動。
因此，初始緩沖使得能夠適應(yīng)由于前面提到的缺點(diǎn)，例如編碼的或服務(wù)器特定的時(shí)延變化以及與網(wǎng)絡(luò)傳輸相關(guān)的時(shí)延變化而引起的被發(fā)送數(shù)據(jù)速率的波動。初始緩沖幫助提供一個(gè)更穩(wěn)定的聲像質(zhì)量和避免網(wǎng)絡(luò)擁塞和分組丟失。
初始緩沖還可能在解碼接收到的媒體數(shù)據(jù)之后被實(shí)現(xiàn)。這樣的缺點(diǎn)是因?yàn)榫彌_基于被解碼的數(shù)據(jù)來實(shí)現(xiàn)，所以緩沖器的尺寸必須相對較大。編碼的、服務(wù)器特定的以及網(wǎng)絡(luò)傳輸?shù)臅r(shí)延變化的組合影響還趨向于增加對初始緩沖的要求。
另外，媒體數(shù)據(jù)的編碼以及編碼的數(shù)據(jù)被封裝成分組并從一臺服務(wù)器被發(fā)送出去的方式導(dǎo)致以下情況，即即使通過網(wǎng)絡(luò)的傳輸時(shí)延是恒定的，在一個(gè)接收客戶終端中的解碼器在接收信息時(shí)也經(jīng)歷了一個(gè)可變的時(shí)延，所述信息是該解碼器重構(gòu)該媒體數(shù)據(jù)所需要的。這樣，一個(gè)后解碼器緩沖器在解碼之前就不提供一種吸收這種形式的時(shí)延變化的手段。

發(fā)明內(nèi)容
按照本發(fā)明的一個(gè)第一方面，有一種通過從一個(gè)源服務(wù)器經(jīng)一個(gè)網(wǎng)絡(luò)向一個(gè)客戶設(shè)備發(fā)送多個(gè)數(shù)據(jù)分組來使媒體數(shù)據(jù)流動的方法，其中所述客戶設(shè)備包括一個(gè)解碼器用于解碼被編碼的分組。該方法的特征在于所述客戶設(shè)備還包括一個(gè)具有可變的初始緩沖時(shí)間以及可變的緩沖器尺寸的預(yù)解碼器緩沖器，用于在解碼器中對發(fā)送自源服務(wù)器的數(shù)據(jù)解碼之前接收該數(shù)據(jù)，并且其中預(yù)解碼器緩沖器的可變初始緩沖時(shí)間和可變緩沖器尺寸被動態(tài)適配以便使客戶設(shè)備改進(jìn)回放性能。
按照本發(fā)明的一個(gè)第二方面，提供了一個(gè)系統(tǒng)用于通過發(fā)送多個(gè)數(shù)據(jù)分組來使媒體數(shù)據(jù)流動，該系統(tǒng)包括一個(gè)宿有媒體數(shù)據(jù)的源服務(wù)器、一個(gè)作為傳輸媒介服務(wù)于數(shù)據(jù)分組的網(wǎng)絡(luò)；以及一個(gè)能夠回放該媒體數(shù)據(jù)的客戶設(shè)備，其中所述客戶設(shè)備包括一個(gè)預(yù)解碼器緩沖器，用于接收從源服務(wù)器經(jīng)網(wǎng)絡(luò)傳輸?shù)姆纸M，所述預(yù)解碼器緩沖器具有一個(gè)可變的初始緩沖時(shí)間以及一個(gè)可變的緩沖器尺寸；一個(gè)解碼器用于解碼來自預(yù)解碼器緩沖器的分組；以及用于動態(tài)適配預(yù)解碼器緩沖器的可變初始緩沖時(shí)間和可變緩沖器尺寸以便使客戶設(shè)備改進(jìn)回放性能的裝置。
按照本發(fā)明的一個(gè)第三方面，提供了一個(gè)客戶設(shè)備用于接收從一個(gè)源服務(wù)器經(jīng)一個(gè)網(wǎng)絡(luò)傳輸?shù)亩鄠€(gè)數(shù)據(jù)分組，所述客戶設(shè)備包括一個(gè)預(yù)解碼器緩沖器用于接收從源服務(wù)器經(jīng)網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)分組，所述預(yù)解碼器緩沖器具有一個(gè)可變的初始緩沖時(shí)間以及一個(gè)可變的緩沖器尺寸；一個(gè)解碼器用于解碼來自預(yù)解碼器緩沖器的數(shù)據(jù)分組；以及用于動態(tài)適配預(yù)解碼器緩沖器的可變初始緩沖時(shí)間和可變緩沖器尺寸以便使客戶設(shè)備改進(jìn)回放性能的裝置。


本發(fā)明連同其中進(jìn)一步的目的和優(yōu)點(diǎn)，可以通過結(jié)合附圖參考下面的描述被更好地加以理解，其中圖-1示出依照本發(fā)明的一個(gè)實(shí)施方案、在設(shè)備終端體系結(jié)構(gòu)中的一個(gè)預(yù)解碼器緩沖器塊的簡化方框圖；以及圖-2示出在一個(gè)典型的流式系統(tǒng)中的一個(gè)數(shù)據(jù)流的例子，舉例說明了預(yù)解碼器緩沖的效果。
具體實(shí)施例方式
體系結(jié)構(gòu)概述按照本發(fā)明，在終端體系結(jié)構(gòu)中提供了一個(gè)新的緩沖功能塊，以便提供改進(jìn)的接收器側(cè)的緩沖。這個(gè)緩沖功能塊在此被稱為預(yù)解碼器緩沖器。
圖-1示出依照本發(fā)明的一個(gè)實(shí)施方案、在設(shè)備終端體系結(jié)構(gòu)中的一個(gè)預(yù)解碼器緩沖器塊的簡化方框圖?！皞魉徒獯a器”100解封裝(decapsulate)來自接收到的數(shù)據(jù)分組(例如，RTP數(shù)據(jù)分組)的碼流?！霸唇獯a器”120將碼流解碼成一個(gè)未壓縮的、可以被回放的數(shù)據(jù)格式?！邦A(yù)解碼器緩沖器”110作為傳送解碼和源解碼之間的一個(gè)臨時(shí)存儲來運(yùn)行。在多媒體數(shù)據(jù)流包括一個(gè)以上數(shù)據(jù)類型的情況下，一個(gè)公共的預(yù)解碼器緩沖器有利地在被發(fā)送的全部實(shí)時(shí)媒體類型之間共享。然而，在本發(fā)明可替換的實(shí)施方案中，一個(gè)單獨(dú)的預(yù)解碼器緩沖器被提供給每一種媒體類型，用于每一種媒體類型的預(yù)解碼器緩沖器位于正在討論的媒體類型的傳送解碼器和對應(yīng)的源解碼器之間。解碼操作被優(yōu)選地實(shí)現(xiàn)為存儲在客戶設(shè)備的存儲器中的軟件并且由一個(gè)MCU(主控制單元)運(yùn)行并在它的控制之下，所述MCU控制客戶設(shè)備的操作，圖-1示出了其中一部分。MCU接收到來自一個(gè)源服務(wù)器的控制信號并且按照接收到的來自源服務(wù)器的信號而控制對初始緩沖時(shí)間和緩沖器尺寸的調(diào)整。MCU對不同功能塊的控制在圖-1中通過從MCU到每一個(gè)塊的控制箭頭來舉例說明。
在本發(fā)明一個(gè)優(yōu)選的實(shí)施方案中，在一個(gè)流式客戶中除了位于一個(gè)解碼器之后的一個(gè)后解碼器緩沖器之外，還提供了預(yù)解碼器緩沖器。有利地，后解碼器緩沖器被提供以便吸收網(wǎng)絡(luò)傳輸時(shí)延的變化。另外，所述后解碼器緩沖器還可以吸收與解碼相關(guān)的時(shí)延變化。這在一個(gè)以上的媒體類型同時(shí)被流式化的情況下是特別有利的。在這種情況下后解碼器緩沖器的使用使得能夠使由不同媒體解碼器引入的解碼時(shí)延變化變平滑。在本發(fā)明一個(gè)可替換的實(shí)施方案中，一個(gè)分離的解碼器緩沖器還在接收客戶中被提供。所述解碼器緩沖器位于解碼器和后解碼器緩沖器之間并被提供作為媒體數(shù)據(jù)被解碼時(shí)用于該媒體數(shù)據(jù)的一個(gè)臨時(shí)存儲。有利地，在一個(gè)以上的媒體數(shù)據(jù)類型同時(shí)被流式化的情況下，一個(gè)分離的解碼器緩沖器被提供用于每一個(gè)媒體類型對應(yīng)的源解碼器。
緩沖算法依照實(shí)施方案操作的一個(gè)緩沖算法被提供來緩沖在一個(gè)流式客戶中接收到的數(shù)據(jù)并且控制來自一個(gè)基于網(wǎng)絡(luò)的流式服務(wù)器的流的編碼和服務(wù)。所述算法假定按照本發(fā)明的一個(gè)預(yù)解碼器緩沖器在流式客戶中被提供。
有兩個(gè)主要因素影響緩沖算法的行為，即初始緩沖時(shí)間和最小預(yù)解碼器緩沖器尺寸。初始緩沖時(shí)間典型地指的是第一個(gè)媒體數(shù)據(jù)分組被接收到的時(shí)刻和這第一個(gè)媒體樣本被回放的時(shí)刻之間經(jīng)過的時(shí)間。最小預(yù)解碼器緩沖器尺寸典型地對應(yīng)于除了應(yīng)付傳輸時(shí)延變化而發(fā)生的緩沖之外，流式客戶能夠存儲的數(shù)據(jù)量(例如，數(shù)據(jù)的字節(jié)數(shù))。換句話說，一個(gè)最小預(yù)解碼器緩沖器尺寸被定義用于零時(shí)延可靠傳輸?shù)木W(wǎng)絡(luò)。
緩沖算法類似于在H.263附錄B(假設(shè)的參考解碼器)和MPEG-4視覺附錄D(視頻緩沖驗(yàn)證器)中描述的算法。這些算法定義了用于視頻編解碼器的緩沖行為。應(yīng)注意這些算法不能用于代替所提出的預(yù)解碼器緩沖器的緩沖算法，因?yàn)樗鼈冎豢蓱?yīng)用于視頻。而且，H.263假設(shè)的參考解碼器不支持初始緩沖或者將多個(gè)(非B)幀存儲進(jìn)緩沖器中。還應(yīng)注意所提出的預(yù)解碼器緩沖算法與前面提到的視頻緩沖算法完全兼容。在一個(gè)實(shí)際的實(shí)現(xiàn)中，預(yù)解碼器緩沖器和視頻解碼器緩沖器可以合并。
依照本發(fā)明優(yōu)選的實(shí)施方案，緩沖算法限制一個(gè)被發(fā)送的數(shù)據(jù)分組流以遵從預(yù)解碼器緩沖器的要求，所述要求定義如下1.預(yù)解碼器緩沖器初始為空。
2.每一個(gè)接收到的數(shù)據(jù)分組基本上一被接收到就立即被加到預(yù)解碼器緩沖器中。在傳輸協(xié)議等級(例如RTP層)或任何較低層處的所有協(xié)議頭部都被移除。
3.在一個(gè)被叫做初始緩沖時(shí)間的周期內(nèi)數(shù)據(jù)不從預(yù)解碼器緩沖器中移除，所述初始緩沖時(shí)間在第一個(gè)數(shù)據(jù)分組被加到緩沖器中時(shí)開始。
4.當(dāng)初始緩沖時(shí)間到期時(shí)，一個(gè)回放計(jì)時(shí)器被啟動。
5.在回放計(jì)時(shí)器到達(dá)給一個(gè)數(shù)據(jù)塊安排的回放時(shí)間時(shí)該正在討論的數(shù)據(jù)塊基本上立即從預(yù)解碼器緩沖器中被移除。
6.當(dāng)數(shù)據(jù)在一個(gè)零時(shí)延可靠傳輸網(wǎng)絡(luò)中被攜帶時(shí)，預(yù)解碼器緩沖器的占用水平就不允許超過某個(gè)叫做預(yù)解碼器緩沖器尺寸的水平。
應(yīng)注意到上面的要求描述了中間沒有暫停請求的操作。每一個(gè)新的播放請求(例如，在一個(gè)暫停之后)都將遵循相同的要求。
另外，上面的要求是基于假定有一個(gè)零時(shí)延可靠傳輸網(wǎng)絡(luò)。這樣，在一個(gè)實(shí)際的實(shí)現(xiàn)中，客戶側(cè)的預(yù)解碼器緩沖有可能與網(wǎng)絡(luò)時(shí)延抖動緩沖合并起來。結(jié)果是，在一個(gè)流式客戶中實(shí)際的預(yù)解碼器緩沖器尺寸有可能比上面討論的最小預(yù)解碼器緩沖器尺寸要大，并且實(shí)際的初始緩沖時(shí)間也可能比上面討論的初始緩沖時(shí)間要長。
預(yù)解碼器緩沖圖-2示出在一個(gè)典型的流式系統(tǒng)中的一個(gè)數(shù)據(jù)流的例子，舉例說明了預(yù)解碼器緩沖的效果。長條代表媒體幀或分組，例如，暗長條是視頻數(shù)據(jù)分組(例如按照ITU-T建議H.263被編碼)，而亮長條是音頻數(shù)據(jù)分組(例如通過使用自適應(yīng)多速率(AMR)語音編解碼器來被編碼)。長條的高度代表一個(gè)幀(或一個(gè)分組)的以字節(jié)計(jì)的大小。處理流程從頂部進(jìn)行到底部，而時(shí)間從左進(jìn)行到右。
現(xiàn)在更詳細(xì)地參考圖-2，首先，輸入數(shù)據(jù)被編碼。結(jié)果是，視頻流有一個(gè)變化的幀速率和幀尺寸，而音頻流有一個(gè)恒定幀速率但有一個(gè)變化的幀尺寸。接下來被壓縮的媒體流被封裝進(jìn)分組并被發(fā)送給網(wǎng)絡(luò)。當(dāng)封裝時(shí)，服務(wù)器將大的視頻幀分割成多個(gè)分組，并且將多個(gè)小的音頻幀合并成一個(gè)分組。服務(wù)器以一定的間隔發(fā)送分組。假定不管分組尺寸或任何其它因素如何，都有一個(gè)恒定的網(wǎng)絡(luò)傳輸時(shí)延。這樣，接收到的分組的相對定時(shí)與它們被發(fā)送時(shí)的相同。接收到的分組被存儲在一個(gè)預(yù)解碼器緩沖器中。在某個(gè)初始緩沖時(shí)間之后，幀從緩沖器中被獲取，而幀的移除速率與幀的回放速率相同。最大緩沖器占用水平確定了最小的預(yù)解碼器緩沖器尺寸。
預(yù)解碼器緩沖器的特征信令為了確保在流式客戶中的某些最小緩沖能力，某些默認(rèn)的緩沖器特征被定義。正如較早描述的，緩沖器的特征可以主要通過兩個(gè)因素來定義，即初始緩沖時(shí)間和最小預(yù)解碼器緩沖器尺寸。初始緩沖時(shí)間的默認(rèn)值的一個(gè)例子大約為1秒鐘而默認(rèn)的最小預(yù)解碼器緩沖器尺寸大約為30720個(gè)字節(jié)。應(yīng)注意這些值只是示例的，它們可能被改變來獲得合適的性能，用于此時(shí)在網(wǎng)絡(luò)中所經(jīng)歷的特定類型的時(shí)延。被建議的默認(rèn)值是基于在一個(gè)普遍環(huán)境中的實(shí)際的實(shí)驗(yàn)，所述普遍環(huán)境是決不考慮特殊的情況而只是考慮到最經(jīng)常發(fā)生的分組傳輸場景。還應(yīng)注意在一個(gè)給定的流式系統(tǒng)中該默認(rèn)的預(yù)解碼器初始緩沖時(shí)間和默認(rèn)的預(yù)解碼器緩沖器尺寸可以被隱含地定義。換句話說，源服務(wù)器和流式客戶在網(wǎng)絡(luò)中是以這樣一種方式來操作，即某些默認(rèn)的預(yù)解碼器緩沖器參數(shù)(例如預(yù)解碼器初始緩沖時(shí)間以及/或預(yù)解碼器緩沖器尺寸)被假定。在可替換的實(shí)施方案中，預(yù)解碼器緩沖器參數(shù)的明顯的信令被使用。
為了允許一個(gè)流式客戶用信號向一個(gè)源服務(wù)器通知它的默認(rèn)預(yù)解碼器緩沖能力并使它能夠接收到一個(gè)媒體流，該媒體流要求比默認(rèn)的能力還要高的過分要求的緩沖能力，在本發(fā)明中使用了基于實(shí)時(shí)流協(xié)議(RTSP)的SET_PARAMETER方法的信令。
通過例子，客戶終端設(shè)備可以請求服務(wù)器設(shè)置一個(gè)或者兩個(gè)下面的參數(shù)1.initial Buffering Time InMSec(以毫秒計(jì)的初始緩沖時(shí)間)2.pre Decoder Buffer Size InBytes(以字節(jié)計(jì)的最小預(yù)解碼器緩沖器尺寸)客戶終端設(shè)備不被允許用信號通知比在流式系統(tǒng)中定義或隱含假定的默認(rèn)值小的參數(shù)值。一個(gè)服務(wù)器接收到一個(gè)請求，指示一個(gè)小于默認(rèn)值之一的值，該服務(wù)器可能用信號通知是一個(gè)“壞的請求”。如果被發(fā)送的值大于或等于被定義或隱含的默認(rèn)值時(shí)，那么一旦請求被接收到則被通知的值就基本上立即被使用，并且源服務(wù)器通過使用被通知的值按照前面描述的緩沖算法來驗(yàn)證被發(fā)送的分組流。換句話說，并且如下面更要詳細(xì)描述的，服務(wù)器以這樣一種方式來發(fā)送分組流，即在接收客戶處該分組流可以以一種基本正確的方式被回放。更特別地是，源服務(wù)器發(fā)送分組流，以便確保在接收客戶中的預(yù)解碼器緩沖器的上溢不會發(fā)生并且媒體數(shù)據(jù)的所有數(shù)據(jù)塊(例如，幀)都可用于在接收客戶處以它們被安排的回放時(shí)間進(jìn)行回放。
按照本發(fā)明一個(gè)有利的實(shí)施方案，當(dāng)一個(gè)客戶終端設(shè)備首先建立與一臺網(wǎng)絡(luò)服務(wù)器之間的通信并且通過請求某些要被流式化的媒體內(nèi)容來開始建立與該服務(wù)器的一個(gè)流式會話時(shí)，它將它的默認(rèn)預(yù)解碼器緩沖參數(shù)用信號通知給服務(wù)器。正如上面解釋的，按照本發(fā)明，客戶終端設(shè)備可能或者指示它的默認(rèn)預(yù)解碼器緩沖時(shí)間，或者指示它的最小預(yù)解碼器緩沖器尺寸，或者指示上面提到的這兩個(gè)參數(shù)。在一個(gè)可替換的實(shí)施方案中，其中客戶終端設(shè)備還被提供給一個(gè)后解碼器緩沖器，所述后解碼器緩沖器尺寸可能被指示給源服務(wù)器。在本發(fā)明的實(shí)施方案中，其中預(yù)解碼器緩沖器參數(shù)在流式系統(tǒng)中被隱含定義，客戶設(shè)備的預(yù)解碼器緩沖器參數(shù)的初始信令嚴(yán)格來說是沒必要的。然而，如果一個(gè)特定的客戶設(shè)備具有優(yōu)于在流式系統(tǒng)中假定的、隱含定義的默認(rèn)值的預(yù)解碼器緩沖能力，它就可以將那些能力用信號通知給服務(wù)器。在另一個(gè)可替換的安排中，源服務(wù)器從與該流式系統(tǒng)有關(guān)的一個(gè)能力服務(wù)器取回用于一個(gè)給定客戶設(shè)備的預(yù)解碼器緩沖器參數(shù)。
接下來服務(wù)器向客戶終端設(shè)備指示它能夠提供的媒體流的特征。正如對本領(lǐng)域的那些普通技術(shù)人員來說是眾所周知的那樣，在許多實(shí)際的流式系統(tǒng)中，一個(gè)流式服務(wù)器被提供給呈現(xiàn)相同媒體內(nèi)容的多個(gè)預(yù)編碼媒體流。每一個(gè)預(yù)編碼流用不同的編碼參數(shù)來編碼。這種安排使得媒體內(nèi)容能夠被流式化到多個(gè)具有不同屬性和/或能力、以及/或經(jīng)過具有不同特征(例如最大可用傳輸比特率)的網(wǎng)絡(luò)的不同的客戶終端設(shè)備。
按照本發(fā)明所述有利的實(shí)施方案，一旦服務(wù)器已經(jīng)接收到客戶終端默認(rèn)的預(yù)解碼器初始緩沖時(shí)間以及/或者它的最小預(yù)解碼器緩沖器尺寸的一個(gè)指示，它就通過經(jīng)網(wǎng)絡(luò)的信令，將它能提供的不同的預(yù)編碼媒體流通知給客戶終端。例如，如果服務(wù)器有與被請求的媒體內(nèi)容相關(guān)的4個(gè)不同編碼的媒體流并且客戶已經(jīng)指示了它默認(rèn)的預(yù)解碼器初始緩沖時(shí)間和它默認(rèn)的預(yù)解碼器緩沖器尺寸，那么服務(wù)器就用信號通知為了確保正確地(例如，沒有暫停的)回放這4個(gè)不同的媒體流所需要的預(yù)解碼器初始緩沖時(shí)間和預(yù)解碼器緩沖器尺寸。之后客戶終端選擇4個(gè)預(yù)編碼媒體流中的一個(gè)來回放并且按照被選定的媒體流相應(yīng)的要求來調(diào)整它的預(yù)解碼器初始緩沖時(shí)間和預(yù)解碼器緩沖器尺寸。在客戶終端內(nèi)的調(diào)整優(yōu)選地被客戶終端的MCU控制。如果服務(wù)器只指示不同的編碼媒體流所需要的被要求的預(yù)解碼器初始緩沖時(shí)間或者被要求的預(yù)解碼器緩沖器尺寸，那么客戶終端就在那個(gè)基礎(chǔ)上選擇媒體流并相應(yīng)地或者調(diào)整預(yù)解碼器初始緩沖時(shí)間或者調(diào)整預(yù)解碼器緩沖器尺寸。在這種情況下，無論哪一個(gè)參數(shù)沒有被指示，該參數(shù)都被指配一個(gè)默認(rèn)值。
之后客戶終端將它的媒體流的選擇用信號通知給服務(wù)器以便媒體內(nèi)容的流式下載可以開始。這個(gè)步驟還隱含地通知服務(wù)器當(dāng)前在客戶終端有效的預(yù)解碼器初始緩沖時(shí)間和/或者預(yù)解碼器緩沖器尺寸，并且使得服務(wù)器能夠按照前面描述的緩沖算法正確地驗(yàn)證被發(fā)送的媒體流，這樣預(yù)解碼器緩沖器的上溢就不會發(fā)生而媒體數(shù)據(jù)的所有數(shù)據(jù)塊都可用于在接收客戶處以它們被安排的回放時(shí)間進(jìn)行回放。
通過使得客戶終端能夠調(diào)整它的預(yù)解碼器初始緩沖時(shí)間和/或者預(yù)解碼器緩沖器尺寸，按照本發(fā)明的該方法使得該終端能夠接收并且正確地再生媒體流，而所述媒體流是以這樣一種方式被編碼即它們用默認(rèn)的預(yù)解碼器緩沖器參數(shù)不能正確地再生。
按照本發(fā)明所述優(yōu)選的實(shí)施方案，無論何時(shí)一個(gè)新的媒體流的流式被初始化，在客戶中的預(yù)解碼器初始緩沖時(shí)間和/或者預(yù)解碼器緩沖器尺寸都按照前面描述的過程被適配。如果在所述過程期間確定了新的媒體流可以在客戶端處通過使用當(dāng)前有效的預(yù)解碼器緩沖參數(shù)來被正確地回放，那么就不需要調(diào)整。另外，客戶可能在一種情況下調(diào)整它的預(yù)解碼器初始緩沖時(shí)間和/或者預(yù)解碼器緩沖器尺寸，所述情況是在一個(gè)現(xiàn)存的流式會話期間，服務(wù)器用信號通知所需要的預(yù)解碼器緩沖器參數(shù)中的一個(gè)改變。這種情況可能發(fā)生，例如，如果要被流式化的媒體內(nèi)容不同的連續(xù)部分被不同編碼，就引起對客戶端處不同預(yù)解碼器緩沖的需求以便確保流的正確回放。
總之，本發(fā)明設(shè)想一個(gè)預(yù)解碼器緩沖器作為一個(gè)流式客戶一部分。該流式客戶通過遵循一個(gè)緩沖算法來操作，其中一個(gè)流式服務(wù)器驗(yàn)證該被發(fā)送的數(shù)據(jù)流遵照被定義的緩沖算法。另外，本發(fā)明提出用于定義并且向一個(gè)流式服務(wù)器用信號通知一個(gè)流式客戶的緩沖器能力的機(jī)制。這種方式下，一個(gè)流式服務(wù)器可以獲得與一個(gè)給定流式客戶有關(guān)的緩沖能力，并且被編碼的數(shù)據(jù)/媒體傳輸速率可以被允許在接收器側(cè)預(yù)解碼器緩沖器的限制內(nèi)變化。應(yīng)注意在一個(gè)服務(wù)器中的一個(gè)緩沖驗(yàn)證器可以用于確保被發(fā)送的分組流遵從接收端的緩沖能力。這可以例如通過調(diào)整來自服務(wù)器的分組的傳輸時(shí)間來實(shí)現(xiàn)，以便不超過客戶的預(yù)解碼器緩沖器的緩沖能力。可替換地，服務(wù)器可以調(diào)整媒體數(shù)據(jù)被編碼和被分組化的方式。實(shí)際上，緩沖驗(yàn)證器可以是一個(gè)運(yùn)行于服務(wù)器之內(nèi)、在傳送編碼器之后的緩沖器。
盡管本發(fā)明已經(jīng)通過參考其指定的實(shí)施方案在某些方面被描述，但是變化和修改對本領(lǐng)域的那些技術(shù)人員來說是顯然的。所以其意圖是下面的權(quán)利要求不被給定一個(gè)限制性的解釋，而是應(yīng)被認(rèn)為包括從所公開的本發(fā)明的主題中派生出來的變體和修改。
權(quán)利要求
1.一種通過從一個(gè)源服務(wù)器經(jīng)一個(gè)網(wǎng)絡(luò)向一個(gè)客戶設(shè)備發(fā)送多個(gè)數(shù)據(jù)分組來使媒體數(shù)據(jù)流動的方法，其中所述客戶設(shè)備包括一個(gè)解碼器用于解碼被編碼的分組，其特征在于，所述客戶設(shè)備還包括一個(gè)具有可變的初始緩沖時(shí)間以及可變的緩沖器尺寸的預(yù)解碼器緩沖器，所述預(yù)解碼器緩沖器用于在解碼器中對發(fā)送自源服務(wù)器的數(shù)據(jù)分組解碼之前接收該數(shù)據(jù)分組，并且其中預(yù)解碼器緩沖器的可變初始緩沖時(shí)間和可變緩沖器尺寸被動態(tài)適配以便使客戶設(shè)備改進(jìn)回放性能。
2.按照權(quán)利要求1中的方法，其特征在于所述客戶設(shè)備向源服務(wù)器提交一個(gè)請求以便設(shè)置初始緩沖時(shí)間和預(yù)解碼器緩沖器尺寸中的一個(gè)或者兩個(gè)。
3.按照權(quán)利要求1中的方法，其特征在于一個(gè)默認(rèn)的初始緩沖時(shí)間和一個(gè)默認(rèn)的緩沖器尺寸被定義用于該預(yù)解碼器緩沖器。
4.按照權(quán)利要求3中的方法，其特征在于所述客戶設(shè)備用信號將用于預(yù)解碼器緩沖器的默認(rèn)的初始緩沖時(shí)間或者默認(rèn)的緩沖器尺寸中的一個(gè)或者兩個(gè)通知給源服務(wù)器。
5.按照任一前述權(quán)利要求中的方法，其特征在于預(yù)解碼器緩沖器的可變初始緩沖時(shí)間由客戶設(shè)備響應(yīng)于從源服務(wù)器接收到的一個(gè)被要求的預(yù)解碼器初始緩沖時(shí)間的指示而調(diào)整。
6.按照任一前述權(quán)利要求中的方法，其特征在于預(yù)解碼器緩沖器的可變緩沖器尺寸由客戶設(shè)備響應(yīng)于從源服務(wù)器接收到的一個(gè)被要求的預(yù)解碼器緩沖器尺寸的指示而調(diào)整。
7.按照前述權(quán)利要求中任何一種的方法，其特征在于所述媒體數(shù)據(jù)的多份拷貝可用于所述源服務(wù)器，其中所述媒體數(shù)據(jù)的多份拷貝中的每一份拷貝的特征在于，至少一個(gè)參數(shù)指示在客戶設(shè)備中預(yù)解碼器緩沖器的一個(gè)被要求的屬性。
8.按照任一前述權(quán)利要求中的方法，其特征在于指示預(yù)解碼器緩沖器一個(gè)被要求的屬性的所述至少一個(gè)參數(shù)被從所述源服務(wù)器發(fā)送給所述客戶設(shè)備。
9.按照權(quán)利要求8中的方法，其特征在于在所述源服務(wù)器和所述客戶設(shè)備之間建立用于所述媒體數(shù)據(jù)的流式化下載的一條流式數(shù)據(jù)連接期間，指示預(yù)解碼器緩沖器一個(gè)被要求的屬性的所述至少一個(gè)參數(shù)被從所述源服務(wù)器發(fā)送給所述客戶設(shè)備。
10.按照權(quán)利要求8或9中的方法，其特征在于指示預(yù)解碼器緩沖器一個(gè)被要求的屬性的所述至少一個(gè)參數(shù)從以下組中被選擇，該組包括一個(gè)被要求的預(yù)解碼器初始緩沖時(shí)間、一個(gè)被要求的預(yù)解碼器緩沖器尺寸、或者一個(gè)被要求的預(yù)解碼器初始緩沖時(shí)間和一個(gè)被要求的預(yù)解碼器緩沖器尺寸這兩者。
11.按照權(quán)利要求5和6中的方法，其特征在于所述動態(tài)適配是一個(gè)由客戶設(shè)備響應(yīng)于來自源服務(wù)器的一個(gè)信號而實(shí)現(xiàn)的適配。
12.按照任一前述權(quán)利要求中的方法，其特征在于一個(gè)緩沖算法在所述源服務(wù)器中被使用以便控制所述數(shù)據(jù)分組的傳輸。
13.按照權(quán)利要求12中的方法，其特征在于所述緩沖算法使得源服務(wù)器去調(diào)整從源服務(wù)器到客戶設(shè)備的數(shù)據(jù)分組的傳輸時(shí)間。
14.按照權(quán)利要求12中的方法，其特征在于所述緩沖算法驗(yàn)證來自源的所述數(shù)據(jù)分組的傳輸是依照所述客戶設(shè)備中預(yù)解碼器緩沖器的可變初始緩沖時(shí)間和可變緩沖器尺寸。
15.按照任一前述權(quán)利要求中的方法，其特征在于一個(gè)后解碼器緩沖器在客戶設(shè)備中被實(shí)現(xiàn)以便減少與解碼相關(guān)的時(shí)延變化。
16.按照任一前述權(quán)利要求中的方法，其特征在于媒體數(shù)據(jù)經(jīng)一個(gè)無線數(shù)據(jù)網(wǎng)例如GPRS(通用分組無線電業(yè)務(wù))或UMTS(通用移動電信系統(tǒng))被發(fā)送給一個(gè)無線客戶設(shè)備。
17.按照任一前述權(quán)利要求中的方法，其特征在于媒體數(shù)據(jù)被發(fā)送給一個(gè)無線客戶設(shè)備，其中所述網(wǎng)絡(luò)包括一個(gè)無線網(wǎng)，所述無線網(wǎng)從以下組中被選擇，該組包括一個(gè)GPRS(通用分組無線電業(yè)務(wù))無線網(wǎng)和一個(gè)UMTS(通用移動電信系統(tǒng))。
18.一種通過發(fā)送多個(gè)數(shù)據(jù)分組來使媒體數(shù)據(jù)流動的系統(tǒng)，該系統(tǒng)包括一個(gè)宿有所述媒體數(shù)據(jù)的源服務(wù)器；一個(gè)作為傳輸媒介服務(wù)于所述數(shù)據(jù)分組的網(wǎng)絡(luò)；以及一個(gè)能夠回放所述媒體數(shù)據(jù)的客戶設(shè)備，其特征在于所述客戶設(shè)備包括一個(gè)預(yù)解碼器緩沖器用于接收從所述源服務(wù)器經(jīng)所述網(wǎng)絡(luò)傳輸?shù)乃鰯?shù)據(jù)分組，所述預(yù)解碼器緩沖器具有一個(gè)可變的初始緩沖時(shí)間以及一個(gè)可變的緩沖器尺寸；一個(gè)解碼器用于解碼來自該預(yù)解碼器緩沖器的數(shù)據(jù)分組；以及用于動態(tài)適配預(yù)解碼器緩沖器的可變初始緩沖時(shí)間和可變緩沖器尺寸以便使客戶設(shè)備改進(jìn)回放性能的裝置。
19.按照權(quán)利要求18中的系統(tǒng)，其特征在于所述網(wǎng)絡(luò)包括從以下組中選擇的一個(gè)無線網(wǎng)絡(luò)，該組包括一個(gè)GPRS(通用分組無線電業(yè)務(wù))無線網(wǎng)和一個(gè)UMTS(通用移動電信系統(tǒng))。
20.按照權(quán)利要求19中的系統(tǒng)，其特征在于所述客戶設(shè)備是一個(gè)與所述無線系統(tǒng)使用的數(shù)據(jù)分組兼容的無線終端。
21.按照權(quán)利要求18或19中的系統(tǒng)，其特征在于一個(gè)緩沖算法在所述源服務(wù)器中被實(shí)現(xiàn)以便確保數(shù)據(jù)分組以一個(gè)遵從該客戶設(shè)備的緩沖能力的速率發(fā)送。
22.一種接收從一個(gè)源服務(wù)器經(jīng)一個(gè)網(wǎng)絡(luò)傳輸?shù)亩鄠€(gè)數(shù)據(jù)分組的客戶設(shè)備，其特征在于它包括一個(gè)預(yù)解碼器緩沖器用于接收從所述源服務(wù)器經(jīng)網(wǎng)絡(luò)傳輸?shù)乃鰯?shù)據(jù)分組，所述預(yù)解碼器緩沖器具有一個(gè)可變的初始緩沖時(shí)間以及一個(gè)可變的緩沖器尺寸；一個(gè)解碼器用于解碼來自預(yù)解碼器緩沖器的數(shù)據(jù)分組；以及用于動態(tài)適配預(yù)解碼器緩沖器的可變初始緩沖時(shí)間和可變緩沖器尺寸以便使客戶設(shè)備改進(jìn)回放性能的裝置。
23.按照權(quán)利要求22中的客戶設(shè)備，其特征在于它從以下組中被選擇，該組包括一個(gè)無線終端、一個(gè)桌上型電腦、一個(gè)膝上型電腦。
全文摘要
本發(fā)明公開了一種方法，所述方法通過克服由于網(wǎng)絡(luò)和傳送協(xié)議操作導(dǎo)致的分組傳輸時(shí)延的變化以及編碼/服務(wù)器特定的時(shí)延的變化所引起的問題，而改進(jìn)了在一個(gè)客戶設(shè)備處流式媒體的回放。在本發(fā)明的一個(gè)實(shí)施方案中，一個(gè)客戶設(shè)備有一個(gè)解碼器(120)和一個(gè)預(yù)解碼器緩沖器(110)，所述預(yù)解碼器緩沖器經(jīng)一個(gè)分組網(wǎng)絡(luò)接收來自源服務(wù)器的流式分組。預(yù)解碼器緩沖器的尺寸是可變的并且具有一個(gè)可變的初始緩沖時(shí)間用于在解碼器中對發(fā)送自源服務(wù)器的分組解碼之前接收它們。初始緩沖時(shí)間和預(yù)解碼器緩沖器尺寸可以被源服務(wù)器動態(tài)適配以便改進(jìn)回放性能。在本發(fā)明的另一個(gè)方面，一個(gè)后解碼器緩沖器和預(yù)解碼器緩沖器一起操作以便減少與解碼相關(guān)的時(shí)延變化。
文檔編號H04N7/24GK1491381SQ02804764
公開日2004年4月21日 申請日期2002年2月8日 優(yōu)先權(quán)日2001年2月8日
發(fā)明者M·漢努克塞拉, M 漢努克塞拉, E·B·阿克蘇, 阿克蘇 申請人:諾基亞有限公司