專利名稱：在具有可變帶寬的網(wǎng)絡上流式傳輸多媒體數(shù)據(jù)的制作方法
發(fā)明的領域本發(fā)明涉及一種多媒體傳輸。尤其是，本發(fā)明涉及一種在具有可變帶寬的網(wǎng)絡上流式傳輸多媒體數(shù)據(jù)的方法，該方法包括對來自于多媒體源的數(shù)據(jù)編碼以及提供一組由包含編碼多媒體數(shù)據(jù)的流元素形成的編碼流的步驟，編碼流具有與特定的解碼參數(shù)值相關的各種預定比特率，該參數(shù)值通過服務器傳送到客戶應用解碼器，使客戶應用解碼器能夠相對于它們的特定解碼參數(shù)值對流元素進行解碼。
本發(fā)明也涉及一種編碼器和服務器，以及包括這種編碼器和服務器的發(fā)射機。
本發(fā)明也涉及一種執(zhí)行上述方法的計算機程序產(chǎn)品，以及攜帶這種計算機程序的信號。
本發(fā)明應用于網(wǎng)絡上的多媒體流動系統(tǒng)，所述網(wǎng)絡的有效瞬時帶寬隨時間改變。尤其是，其應用于在使用MPEG-4音頻和視頻標準(運動圖像專家組-4)的移動通信系統(tǒng)上的視頻傳輸。
背景技術：
諸如GPRS(通用分組無線電系統(tǒng))或者UMTS(通用移動通信系統(tǒng))以及互聯(lián)網(wǎng)的移動網(wǎng)絡通常不提供服務質(zhì)量的擔保。由于例如擁擠，傳輸誤差，或者資源共享，有效的瞬時帶寬隨時間變化。在這種網(wǎng)絡上流動的多媒體的結構中，服務器必須提供合適的結構適應這些變化從而一方面減小數(shù)據(jù)損失，另一方面提高客戶接收內(nèi)容的質(zhì)量。解決該問題的傳統(tǒng)方法是已知的“流分配”。媒體編碼器將相同的內(nèi)容編碼成不同比特率的幾個流。對于目前的可用帶寬，選擇合適的流，即對于該可用帶寬具有合適的比特率的流，通過媒體服務器傳輸?shù)娇蛻?，其操作相應的流轉(zhuǎn)換，從而選擇待傳送的所述合適的流。
發(fā)明目的和發(fā)明概述本發(fā)明的目的是提供一種在多媒體流式傳輸結構中的編碼方法，其能夠為終端用戶提供更好的服務質(zhì)量。
本發(fā)明考慮下述方面。媒體編碼器編碼具有預定比特率的流，該編碼流通過媒體服務器提供給客戶應用。編碼器使用根據(jù)流的內(nèi)容和目標比特率選定的編碼信息。選定該信息從而優(yōu)化客戶應用解碼器在傳輸系統(tǒng)的另一端接收的內(nèi)容質(zhì)量。信息必須被傳送到客戶應用解碼器，由解碼器合理配置，從而能夠相對于它們的內(nèi)容和比特率對編碼流進行正確的解碼。因此，每一流都具有其自己的解碼結構。這樣，當服務器從一個流轉(zhuǎn)換到另一個流時，例如，為了使提供的流的比特率適合于網(wǎng)絡的可用帶寬，需要將與新提供的流相應的新的解碼器結構傳送給客戶解碼器。然后解碼器利用新的解碼器結構重新進行初始化。因此，流轉(zhuǎn)換對于客戶來說是并不是無縫轉(zhuǎn)換的，而且從終端用戶的角度來看，可能影響服務的質(zhì)量。
為了克服這一不足，本發(fā)明提供一種在上述開始段落中涉及的方法，其中編碼步驟包括在一組編碼流中，為適合于至少一組流的至少一部分解碼參數(shù)確定公共值，從而使該解碼器能夠使用相同的解碼參數(shù)值解碼來自于所述流組中的所有流的所有流元素的初級步驟，以及建立所述流組的步驟，該流組被賦予具有公共解碼參數(shù)值。
根據(jù)本發(fā)明，形成一組并且與相同的多媒體內(nèi)容相應的幾個流以不同的比特率編碼，從而使該組中的所有流與相同的解碼器結構相對應。這使得該解碼器能夠在相同的組中從一個流轉(zhuǎn)換到另一個流，而不用重新初始化其解碼參數(shù)。
附圖簡述根據(jù)下文參照附圖進行的描述，本發(fā)明以及可以用于執(zhí)行本發(fā)明實現(xiàn)其優(yōu)勢的附加特征可以變得清楚，其中附

圖1是用于解釋根據(jù)本發(fā)明的一個系統(tǒng)以及包括一個服務器和一個解碼器的發(fā)射機的方框圖，附圖2示意性的描述了根據(jù)本發(fā)明在一個媒體服務器中的流轉(zhuǎn)換機制，附圖3是用于解釋根據(jù)本發(fā)明的編碼方法的框圖，附圖4是用于解釋根據(jù)本發(fā)明的第一實施例的編碼方法的例子的框圖，附圖5示意性的描述了根據(jù)本發(fā)明的一個優(yōu)選實施例的編碼方法產(chǎn)生的視頻流的例子。
附圖詳述下面的標記涉及參考符號。在所有的附圖中同樣的結構用相同的參考字母表示。
附圖1表明了根據(jù)本發(fā)明的多媒體流式傳輸系統(tǒng)的基本特征。該系統(tǒng)包括一個多媒體源1，一個發(fā)射機2，一個諸如移動無線通信網(wǎng)絡或者互聯(lián)網(wǎng)的網(wǎng)絡3，以及一個接收機4。發(fā)射機包括一個媒體編碼器12和一個媒體服務器13。媒體編碼器12從多媒體源1接收多媒體數(shù)據(jù)并且產(chǎn)生一組編碼流，用S1，S2和S3表示，由包含所述多媒體數(shù)據(jù)的連續(xù)流元素構成。對于一個給定的多媒體源，在該組{S1，S2，S3}中所有產(chǎn)生的編碼流包括相同的多媒體內(nèi)容，但是具有不同的預定比特率，分別用R1，R2，R3表示。比特率是預先確定的從而使系統(tǒng)能夠為接收機的客戶應用提供一組不同的服務質(zhì)量，一方面這是根據(jù)傳送內(nèi)容的特征選擇的，每一內(nèi)容(音頻，固定圖像，視頻，等)都需要一個特定的可用帶寬，另一方面是根據(jù)客戶應用程序的用戶(終端用戶)所需的服務質(zhì)量選擇的。各種不同的可用比特率也可用于使系統(tǒng)應付各種可用帶寬，其經(jīng)常造成傳送流的比特率的降低。事實上，網(wǎng)絡的有效可用帶寬可以相對于幾個參數(shù)而隨時間變化。這些參數(shù)包括目前的通信量和無線傳輸條件，這些都可能極大的影響當前可用的帶寬。相對于目前可用帶寬和所需的服務質(zhì)量，流轉(zhuǎn)換裝置14通過媒體服務器13將合適的流提供給接收機4。
附圖1表明了使用這種文件的系統(tǒng)在該文件中包含待編碼的媒體并且將編碼的比特流存儲在該文件當中。不過，在實時上下文中，該原則也有效媒體源1可以是一個現(xiàn)場源(例如攝像機)并且服務器13可以直接廣播編碼器12的一個輸出。
附圖2表明了附圖1中的編碼器12產(chǎn)生的、來自于分別表示為S1和S2的兩個不同的編碼流的混合編碼流，用HS表示。根據(jù)本發(fā)明，使用流轉(zhuǎn)換裝置14建立混合流HS。每一個編碼流S1和S2都使用特定的編碼參數(shù)編碼，編碼參數(shù)是相對于包括比特率的幾個參數(shù)選擇的，并且與特定的解碼參數(shù)值相對應。因此，由選定的編碼參數(shù)值產(chǎn)生的解碼參數(shù)值必須被傳送到接收機，從而使接收機能夠正確的解碼接收流的內(nèi)容。編碼流由流元素構成，被稱為訪問單元(AU)，編碼流附加了表明傳送流中的訪問單元位置的時間標記。根據(jù)本發(fā)明，公共解碼參數(shù)被賦予從編碼流組中選出的一組流中的所有編碼流，從而使接收機的解碼器能夠?qū)υ摻M中的所有流以相同的方式初始化。因此，當服務器在相同流組中從一個流S1轉(zhuǎn)換到另一個流S2時，不需要重新配置解碼器。轉(zhuǎn)換機制從而得到簡化，并且避免解碼器參數(shù)的幾次重新配置。產(chǎn)生的新的混合流HS由來自于流S1和S2的流元素或者訪問單元構成。因此，比特率從比特率S1變化到比特率S2。由于所有流元素的解碼參數(shù)是相同的，流轉(zhuǎn)換對于解碼器的結構沒有任何影響。
根據(jù)媒體源1的特征(例如，視頻情況下的尺寸和幀速率)和用戶設定(所需的提供給終端用戶的流的比特率)，編碼器12確定適于具有不同的預定比特率，并且形成一組流的幾個流的公共解碼結構(解碼參數(shù))。然后，編碼器使用先前確定的公共解碼結構，以目標比特率編碼每一流。
附圖3表明了在根據(jù)本發(fā)明的一個編碼方法中轉(zhuǎn)換流的算法。根據(jù)本發(fā)明，產(chǎn)生附圖2所示的混合流HS。該算法包括下列步驟-K0接收客戶請求(RX)，-K1利用當前的傳送流(S＝Sc)和索引t為0(t＝0)的位置，初始化流轉(zhuǎn)換裝置，-K2相對于當前流(dec_par Sc)傳輸解碼器結構，-K3傳輸當前流的下一個訪問單元(next_AU(Sc，t))，-K4增加變量t(t++)，-K5檢查相對于當前的帶寬條件(？)，是否需要轉(zhuǎn)換到下一流，如果答案是是(Y)，前進到K6，如果答案是否(N)，返回到K3。
-K6按照新的帶寬條件確定一個新的流(Sn？)，-K7將當前流更新為新的流(S＝Sn)并且返回到K3。
附圖4表明了適于MPEG-4視頻傳輸系統(tǒng)的本發(fā)明的特定實施例中的編碼方法的例子。該實施例涉及視頻內(nèi)容的傳輸，視頻內(nèi)容數(shù)據(jù)根據(jù)ISO/IEC14496-22001建議編碼為MPEG-4格式。
MPEG-4視頻流是連續(xù)的訪問單元，包含表示視頻圖像的視頻對象平面，表示為VOP。存在三種VOP幀內(nèi)幀，表示為I或者I-VOP，預測幀，表示為P或者P-VOP以及雙向預測幀，表示為B或者B-VOP。I-VOP是一個幀自己包含的幀。這意味著I-VOP的所有編碼元素都包含在當前的I-VOP幀當中。P-VOP使用前面幀的信息編碼。P-VOP的解碼需要顯示順序的流中的前一個VOP的信息。B-VOP與P-VOP類似，但是在前后兩個方向預測。B-VOP使用顯示順序中前面的和接下來的幀或者平面進行編解碼。每一種VOP都具有特定的編碼和解碼特征，這將影響比特率。因此，它們具有特定的解碼參數(shù)，這些參數(shù)在一個預定的訪問單元內(nèi)，在新的視頻流開始時進行傳輸，稱為視頻對象層報頭，用VOL表示。
解碼參數(shù)包括一個“低_延遲”參數(shù)和一個“時間_增加_分辨”參數(shù)。“低_延遲”參數(shù)表示流中B-VOP的使用。“時間_增加_分辨”參數(shù)表示考慮傳送訪問單元的所有時間標記，適于該流的時間級別。根據(jù)本發(fā)明，解碼器已知指定給每一數(shù)據(jù)流的預定編碼參數(shù)，包括用戶設定的編碼器選擇一組具有共同的解碼參數(shù)的流，并且確定所述共同參數(shù)的值。在附圖4所示的實施例中，指定了公共值的所述共同參數(shù)是低_延遲”參數(shù)和“時間_增加_分辨”參數(shù)。編碼器確定一個適于選定的組中的所有流的共同時間級別并且確定在該組中是否使用B-VOP。
例如，編碼器使用該組的最小時間級別編碼所有的數(shù)據(jù)流并且將“低_延遲”參數(shù)設為最大，從而表示如果在具有共同解碼參數(shù)的預定流組中至少一個數(shù)據(jù)流可以使用B-VOP，那么B-VOP就將被使用。根據(jù)本發(fā)明，控制流的解碼參數(shù)從而使其對于所有可用的流中的至少幾個流有效，防止傳輸鏈的另一端的解碼器為了能夠解碼接收的數(shù)據(jù)流而不得不經(jīng)常改變結構。
這有利的使終端用戶能夠在他的移動電話上以任何比特率觀看視頻節(jié)目，而不會太多的受到比特率變化的影響。由于在流轉(zhuǎn)換以后不需要更新解碼參數(shù)，因此在視頻顯示過程中，流轉(zhuǎn)換不會造成解碼器停止。解碼參數(shù)可以經(jīng)過特定的選擇使得從一個流到另一個流始終保持有效。由于例如無線傳輸或者通信條件的變化造成的可用帶寬的變化不會給終端用戶帶來較大的干擾。實際上，終端用戶將完全知道流的轉(zhuǎn)換，因為他接收的視頻圖像質(zhì)量，例如在其移動電話上的接收，將受到該流轉(zhuǎn)換的影響，但是視頻將不會終止。
附圖4表明了根據(jù)本發(fā)明的一個簡單實施例的編碼方法的例子，其中相同的公共解碼參數(shù)被指定給了所有的流(該組等于編碼流的全部組)。該方法包括下述步驟-K0為待編碼的所有數(shù)據(jù)流讀取用戶編碼參數(shù)(讀取)，-K1把最大幀速率參數(shù)值設定為與待編碼的所有幀的最大比特率相應的值(最大_幀_速率＝MAX(編碼_幀_速率))，-K2計算整數(shù)的最小值，表示為p，例如最大幀速率參數(shù)值等于p/q，其中q也是一個整數(shù)(最大_幀_速率＝p/q)，并且設定時間分辨增加為p(時間_增加_分辨＝p)，-K3檢查是否至少一個流使用B-VOP(B-VOP？)，如果是(Y)，前進到步驟K4，如果否(N)，前進到步驟K5，-K4設定低_延遲參數(shù)為0(低_延遲＝0)，-K5設定低_延遲參數(shù)為1(低_延遲＝1)，-K6設定可變索引N為0(N＝0)，-K7將步驟K2，K4和K5(VOL)中設定的值代入為VOL報頭的時間_增加_分辨和低_延遲字段的值，編碼流索引N，-K8增加N(N++)，-K9檢查是否所有的流都已編碼(流？)，如果是(Y)，前進到步驟K10，如果否(N)，返回到步驟K7，-K10算法結束。
附圖5表明了根據(jù)本發(fā)明的一個優(yōu)選實施例的編碼流的例子。對于一個給定的多媒體內(nèi)容，所有的選擇流以這種方式編碼在接收端使用相同的解碼器結構參數(shù)。以這種方式，從客戶的角度看，從一個流到另一個流的變化是無縫轉(zhuǎn)換的。本實施例特別涉及音頻/視頻的流式傳輸，其中視頻格式是MPEG-4視頻(音頻格式可以是任何可流式傳輸?shù)母袷?。
當網(wǎng)絡條件變得實在很差的時候，可用帶寬不再足夠大到可以傳送音頻和視頻流。為了不妨礙服務，一種可以接受的倒退的方式在于終止視頻流的傳輸而只傳送音頻流。由于流轉(zhuǎn)換不會造成解碼參數(shù)的更新，服務器不會自動的發(fā)信號通知流已經(jīng)改變。視頻包的缺少會被客戶解碼器理解為誤差情況，例如丟失連接或者網(wǎng)路擁擠。這會導致采取不適當?shù)拇胧?。而且，當網(wǎng)絡條件變好從而能夠再次同時傳送音頻和視頻流時，服務器需要確認客戶解碼器是否仍需要視頻包。
解決該問題的方法是當限制該系統(tǒng)傳送可接受的視頻流的可用帶寬時，將預定的最小比特率的視頻流，表示為MBREVS，代替期望的視頻流，與音頻流一同發(fā)送。根據(jù)MBRVS解決方案，雖然有些視頻包仍然被傳送給客戶，但是其非常稀少并且具有最小尺寸。因此，服務器將象仍在規(guī)則的流式傳輸音頻和視頻流一樣工作，但是視頻流不再占用相當大的一部分的帶寬。這特別適用于編碼數(shù)據(jù)流組中具有最低比特率的數(shù)據(jù)流。從服務器的觀點來看，在這種比特流(期望僅傳送編碼音頻數(shù)據(jù))和其它的比特流(包含真正的音頻和視頻數(shù)據(jù))之間沒有區(qū)別。
在附圖5中表示了這種最小比特率視頻流MBRVS。它包括一個如圖4所述的用于傳送公共解碼參數(shù)的第一訪問單元VOL，和接下來的訪問單元VOP。第二和接下來的訪問單元包括根據(jù)MPEG-4建議的隨機訪問點，用RAP表示。這些RAP包括一個視頻對象類型組的報頭，用GOV表示，用于傳送一個絕對時間參考，接下來是一個I-VOP類型的幀。由于傳送絕對時間參考，RAP允許從一個流到另一個流的輕松轉(zhuǎn)換。該流的第二訪問單元包括例如一個VOP-I類型的黑的或者空白的固定圖像。在這種情況下，黑圖像相應于最簡單的編碼視頻幀。根據(jù)本實施例，第三和接下來的訪問單元RAP的VOP-I場利用指令，例如“VOP_未_編碼”，進行填充，這會使解碼器復制前一幀的內(nèi)容，在這種情況下是黑色的固定圖像?！癡OP_未_編碼”信號僅需要幾個比特。
實際上，在MPEG-4視頻當中，一個VOP可以在它的報頭用“未編碼”表示。在流中不再有為該VOP編碼的信息，并且相應的圖像是它前面的時間參考的精確再復制。唯一需要更新的是VOP的時間標記。因此，MERVS利用先前定義的解碼器結構，僅使用“未編碼”VOP建立。為了實現(xiàn)對該流的立即轉(zhuǎn)換，所有VOP的編碼類型被設定為幀內(nèi)幀模式VOP-I并且GOV與每個VOP有關(即，VOP是隨機訪問點)。僅有的例外是數(shù)據(jù)流的第一VOP。為了實現(xiàn)任何適用MPEG-4的解碼器的正確解碼，第一VOP被編碼為黑VOP。
上文中的附圖以及對附圖的描述僅是為了說明，而不是限制本發(fā)明。很明顯，在落入追加權利要求的范圍內(nèi)存在多種變形。
權利要求
1.一種在具有可變帶寬的網(wǎng)絡上流式傳輸多媒體數(shù)據(jù)的方法，包括對來自于一個多媒體源的數(shù)據(jù)進行編碼，并且提供一組由包含編碼多媒體數(shù)據(jù)的流元素構成的編碼流的步驟，編碼流具有與特定的解碼參數(shù)值相關的各種預定比特率，該參數(shù)值將被傳送到客戶應用解碼器，使客戶解碼器利用它們各自的解碼參數(shù)值解碼流元素，其中編碼步驟包括為適合于編碼流組中的至少一組流的至少一部分解碼參數(shù)確定公共值，從而使解碼器使用相同的參數(shù)值解碼來自于所述流組的所有流的所有流元素的初級步驟以及建立所述流組的步驟，所述的流組被指定具有公共的解碼參數(shù)值。
2.根據(jù)權利要求1所述的方法，其中客戶應用解碼器基于MPEG-4(運動圖像專家組)建議，并且其中被指定為公共值的解碼參數(shù)包括″低_延遲″和″時間_增加_分辨″參數(shù)。
3.根據(jù)權利要求2所述的方法，其中與編碼流組中使用B_VOP(雙向預測視頻對象平面)的最高可能性相應的值被指定為″低_延遲″參數(shù)。
4.根據(jù)權利要求2所述的方法，其中與編碼流組中所需的最小時間增加分辨相應的值被指定為″時間_增加_分辨″參數(shù)。
5.根據(jù)權利要求2所述的方法，其中客戶應用解碼器基于MPEG-4(運動圖像專家組4)建議ISO14496-2MPEG-4視頻，每個編碼流包含具有分別編碼音頻和視頻數(shù)據(jù)的視頻編碼流和音頻編碼流的一對編碼流，并且其中一對編碼流中的至少視頻編碼流由根據(jù)所述建議的被稱為訪問單元的連續(xù)流元素構成，包括傳送公共解碼參數(shù)值的第一訪問單元，傳送根據(jù)所述的建議的幀內(nèi)幀類型的預定的固定圖像的第二訪問單元以及包括根據(jù)所述建議用于傳送絕對時間參考和類型信息″VOP_未_編碼″的隨機訪問點信息的第三和接下來的訪問單元，類型信息指示用戶應用解碼器復制前一訪問單元。
6.一種對來自于一個多媒體源的數(shù)據(jù)進行編碼并且提供一組由包括所述的編碼多媒體數(shù)據(jù)的流元素構成的編碼流的編碼器，編碼流具有與特定的解碼參數(shù)值相關的各種預定比特率，該參數(shù)值將被傳送到客戶應用解碼器，使客戶解碼器利用它們各自的解碼參數(shù)值解碼流元素，其中編碼器包括為適合于編碼流組中的至少一組流的至少一部分解碼參數(shù)確定公共值，從而使解碼器使用相同的參數(shù)值解碼來自于所述流組的所有流的所有流元素的裝置以及建立所述流組的裝置，所述的流組被指定具有公共的解碼參數(shù)值。
7.一種為一個客戶應用提供編碼流的服務器，所述的編碼流是從媒體編碼器所編碼的一組編碼流中選擇出來的，所述的一組編碼器具有包含來自于多媒體源的編碼數(shù)據(jù)的流元素，編碼流具有與特定的解碼參數(shù)值相關的各種預定比特率，該參數(shù)值將通過服務器傳送到與相應的選定編碼流相關的客戶應用解碼器，使客戶解碼器利用它們各自的解碼參數(shù)值解碼流元素，其中編碼器包括為適合于編碼流組中的至少一組流的至少一部分解碼參數(shù)確定公共值，從而使解碼器使用相同的參數(shù)值解碼來自于所述流組的所有流的所有流元素的裝置，以及建立所述流組的裝置，所述的流組被指定具有公共的解碼參數(shù)值。
8.一種用于在具有可變帶寬的網(wǎng)絡上流式傳輸多媒體數(shù)據(jù)的發(fā)射機，該發(fā)射機包括-一媒體編碼器，用于編碼來自于一個多媒體源的數(shù)據(jù)并且產(chǎn)生一組由包含編碼的多媒體數(shù)據(jù)構成的編碼流，編碼流具有與特定的解碼參數(shù)值相關的各種預定比特率，該參數(shù)值將通過服務器傳送到客戶應用解碼器，使客戶解碼器利用它們各自的特定解碼參數(shù)值解碼流元素，以及-一媒體服務器，用于為客戶應用提供從媒體編碼器所編碼的一組編碼流中選出的一個編碼流，其中媒體編碼器包括用于為適合于編碼流組中的至少一組流的至少一部分解碼參數(shù)確定公共值，從而使解碼器使用相同的參數(shù)值解碼來自于所述流組的所有流的所有流元素的裝置以及建立所述流組的裝置，所述的流組被指定具有公共的解碼參數(shù)值。
9.一種計算機程序產(chǎn)品，使編碼器計算一組指令，當這些指令被下載到編碼器時，使編碼器執(zhí)行權利要求1所述的方法。
10.一種用于攜帶計算機程序的信號，該計算機程序被配制成執(zhí)行權利要求1所述的方法。
全文摘要
一種在具有可變帶寬的網(wǎng)絡上流式傳輸多媒體數(shù)據(jù)的方法包括編碼來自于一個多媒體源的數(shù)據(jù)的步驟，以及提供一組由包含編碼多媒體數(shù)據(jù)的流元素構成的一組編碼流的步驟。編碼流具有與特定的解碼參數(shù)值相關的各種預定比特率，其將被傳送到客戶應用解碼器，用于使客戶解碼器相對于它們各自的特定解碼參數(shù)值解碼流元素。編碼步驟包括為至少一部分解碼參數(shù)確定公共值，從而使解碼器能夠使用相同的解碼參數(shù)值解碼至少一組流中的所有流元素的初級步驟，以及建立所述流組的步驟，對于該流組指定公共的解碼參數(shù)值。
文檔編號H04N7/24GK1625880SQ03802922
公開日2005年6月8日 申請日期2003年1月27日 優(yōu)先權日2002年1月30日
發(fā)明者P·根特里, Y·拉曼茲恩 申請人:皇家飛利浦電子股份有限公司