專利名稱：在數(shù)字視頻解碼器中提供無縫流交換的系統(tǒng)和數(shù)據(jù)格式的制作方法
背景技術：
發(fā)明領域本發(fā)明涉及視頻處理系統(tǒng)，具體地說，涉及用于對具有不同分辨率的第一和第二視頻流編碼以及在解碼期間從一個流無縫轉換到另一個流的裝置和方法。
相關技術說明數(shù)據(jù)信號經常要由各種計算機處理技術如數(shù)據(jù)壓縮或者編碼以及數(shù)據(jù)解壓縮或解碼技術加以處理。數(shù)據(jù)信號可能是例如，視頻信號。視頻信號通常表示運動視頻序列的視頻圖像。在視頻信號處理中，視頻信號通過按照規(guī)定的編碼標準對視頻信號進行編碼進行數(shù)字壓縮，以形成數(shù)字編碼比特流。編碼視頻信號比特流(視頻流或數(shù)據(jù)流)可經解碼，以提供對應于的原始視頻信號的解碼視頻信號。
術語“幀”通常用于表示視頻序列單元。一幀包含若干視頻信號空間信息行。幀可能由視頻數(shù)據(jù)的一場或多場構成。因此，編碼比特流的各段表示指定的幀或者場。編碼比特流可以加以存儲以便由視頻解碼器以后進行檢索，和/或通過傳輸信道或者系統(tǒng)如綜合業(yè)務數(shù)字網(ISDN)和公用交換電話網(PSTN)電話連接、電纜、以及直接衛(wèi)星系統(tǒng)(DSS)傳送給遠程視頻信號解碼系統(tǒng)。
視頻信號常常經過編碼、傳輸和解碼，以便用于電視(TV)類型的系統(tǒng)中。許多公用TV系統(tǒng)，例如在北美的公用TV系統(tǒng)根據(jù)NTSC(國家電視制式委員會)標準工作，它們以(30*1000/1001)29.97幀每秒(fps)的速率工作。NTSC的空間分辨率有時稱為SDTV或者SD(標準清晰度TV)。NTSC最初采用30fps，即AC電源系統(tǒng)頻率60赫茲的一半。該工作頻率后來更換為29.97fps，以便使其與電源“不同相”，從而減少諧波失真。也利用其它系統(tǒng)如PAL(逐行倒相制式)，例如在歐洲。
在NTSC系統(tǒng)中，各數(shù)據(jù)幀通常由偶場與奇場交替或交織而成。各場由圖像或者幀的交替水平行的像素構成。相應地，NTSC攝像機每秒輸出29.97×2＝59.94場模擬視頻信號，其中包括29.97個偶場與29.97個奇場交織，以提供29.97fps速率的視頻。
數(shù)字視頻處理采用了各種視頻壓縮標準，為指定的視頻編碼標準規(guī)定編碼比特流。這些標準包括國際標準化組織/國際電工技術委員會(ISO/IEC)11172運動圖像專家組-1國際標準(“數(shù)字存儲媒體所用的運動圖像和相關音頻編碼“)(MPEG-1)和ISO/IEC 13818國際標準(“運動圖像和相關音頻信息的通用編碼”)(MPEG-2)。另一種視頻編碼標準是由國際電信聯(lián)盟(ITU)開發(fā)的H.261(Pxx64)。在MPEG中，術語“圖像”指比特流數(shù)據(jù)可以要么表示數(shù)據(jù)幀(即，奇偶場)，要么表示單個數(shù)據(jù)場。因此，將MPEG編碼技術用于對來自視頻數(shù)據(jù)場或幀“圖像”進行MPEG編碼。
于1994年春被采納的MPEG-2是對MPEG-1的兼容擴展，它基于MPEG-1并支持隔行視頻格式和若干其它高級特征，包括支持HDTV(高清晰度TV)的特征。設計MPEG-2部分是為了配合NTSC類型的廣播TV采樣率(每秒29.97幀，每幀480行，每行720個采樣)使用。在MPEG-2采用的交織中，一幀被分裂成兩場，即頂場和底場。這些場之一在一個場周期結束之后開始另外一個場周期。各視頻場單獨傳送的圖像的像素子集。MPEG-2是視頻編碼標準，可用于例如廣播按照此標準來編碼的視頻。MPEG標準可以支持隔行幀速率和格式。
MPEG傳輸比特流或者數(shù)據(jù)流通常包含與一個或多個音頻流和其它數(shù)據(jù)如定時信息多路復用的一個或多個視頻流。在MPEG-2中，描述特定視頻序列的編碼數(shù)據(jù)用幾個嵌套的層來表示即序列層、GOP(圖像組)層、圖像層、圖片層和宏塊層。
為了協(xié)助傳送此信息，將表示多個視頻序列的數(shù)字數(shù)據(jù)流劃分成若干較小的單元并且將這些單元中的每一個封裝成相應的分組化基本流(PES)分組。也就是說，傳輸流可能包含具有獨立時基的、復用在一起的一個節(jié)目或多個節(jié)目。為了進行傳輸，將各PES分組依次劃分成多個長度固定的傳輸分組，其中，各個節(jié)目可能由具有公共時基的一個或多個PES構成。各傳輸分組包含僅涉及一個PES分組的數(shù)據(jù)?；玖饔蓧嚎s視頻或者音頻源資料構成。將PES分組插入傳輸流分組，其中每個分組承載一個且僅一個基本流的數(shù)據(jù)。傳輸分組還包括首部(header)，首部包含用于對傳輸分組解碼的控制信息。
因此，MPEG流的基本單元是分組，分組包括分組首部和分組數(shù)據(jù)。各分組可表示例如數(shù)據(jù)場。分組首部包括流標識碼，并可能包括一個或多個時間標記。例如，各數(shù)據(jù)分組的長度可以超過100字節(jié)，其中前兩個8-比特字節(jié)包含分組標識符(PID)場。傳輸分組首部中的PDI唯一標識分組中承載的基本流。在例如DSS應用中，PID可能是例如SCID(業(yè)務信道ID)和各種標志。SCID通常是唯一的12-位編號，它唯一地標識數(shù)據(jù)分組所屬的特定數(shù)據(jù)流。
除了承載節(jié)目信息，傳輸分組還承載業(yè)務信息和定時基準。MPEG標準規(guī)定的業(yè)務信息通稱為節(jié)目專用信息(PSI)，此信息編排成四個表，其中各表攜帶其自身標記，即PID值。
傳輸流最終必須由位于接收端的綜合接收解碼器(IRD)去復用。因此，它必須承載同步信息，以允許對壓縮音頻和視頻信息進行解碼，以及在適當?shù)臅r間顯示。編碼器上的時鐘生成此信息。如果傳輸流中存在多個節(jié)目，且其中每個均具有各自的時基，則對各個節(jié)目使用各自的時鐘。這些時鐘用于創(chuàng)建時間標記，用于向解碼器提供定時基準，以便對音頻和視頻進行正確的解碼并顯示，而且，還創(chuàng)建時間標記來指示時鐘本身在采樣間隔處的瞬時值。
指示何時從解碼器緩沖區(qū)中提取信息并對其進行解碼的時間標記稱為解碼時間標記(DTS)。那些指示何時向查看者再現(xiàn)解碼圖像及其伴音的時間標記稱為顯示時間標記(PTS)。音頻和視頻有各自的PTS，它們被設計來在兩者之間傳送精確的相對定時。另一組時間標記指示節(jié)目時鐘值。這些時間標記稱為節(jié)目時鐘基準(PCR)。解碼器利用這些PCR來重建編碼器生成的節(jié)目時鐘頻率。
在DSS MPEG系統(tǒng)中，當采用DSS傳輸時通過DSS分組傳輸MPEG-2編碼視頻比特流。DSS系統(tǒng)允許用戶用DSS接收器直接接收衛(wèi)星廣播的TV頻道。DSS接收器通常包括小型18-英寸圓盤式衛(wèi)星電視天線，該天線通過電纜連接到MPEG IRD單元。圓盤式衛(wèi)星電視天線對準衛(wèi)星，而IRD以類似于常規(guī)有線電視解碼器的方式連接到用戶的電視機?；蛘撸琁RD可從本地臺接收信號。這些信號可包括本地節(jié)目和本地臺通過衛(wèi)星從全國網絡接收的全國節(jié)目的轉播。
在MPEG IRD中，前端電路接收來自衛(wèi)星的信號并將其轉換為原始數(shù)字數(shù)據(jù)流，該數(shù)據(jù)流又饋給視頻/音頻解碼電路，此解碼電路執(zhí)行傳輸提取和解壓縮。具體地說，IRD的傳輸解碼器對傳輸分組進行解碼，以重新裝配PES分組。接著依次對PES分組進行解碼以重新裝配表示圖像的MPEG-2比特流。對于MPEG-2視頻，IRD包括用于對接收的壓縮視頻進行解壓縮的MPEG-2解碼器。指定的傳輸數(shù)據(jù)流可能同時傳送多個圖像序列，例如交織形式的傳輸分組。
在典型的北美電視網中，指定電視網的網絡臺通常傳送由衛(wèi)星饋送的HD。此信號直接由用戶IRD接收而不是由本地附屬機構的本地臺來接收，以便更有效地利用傳輸帶寬。本地臺通常還接收網絡視頻饋送信號，這些網絡視頻信號提供同步和其它信號如在本地臺的地理區(qū)域向IRD廣播本地節(jié)目或商業(yè)節(jié)目的許可。本地饋送信號通常從本地臺上行傳送到衛(wèi)星，然后衛(wèi)星同時傳送網絡HD饋送信號和本地節(jié)目。這些可能或者有可能不采用相同的轉發(fā)器(即在相同傳輸“信道”上)進行傳輸。
如果HD流和SD流均由IRD(要么在相同信道要么在不同信道中)接收，并且如果用戶的IRD只是在各比特流之間進行切換以便對本地商業(yè)節(jié)目進行解碼，則會引入不希望的非自然信號(artifact)。例如，在切換到新節(jié)目以及獲取新數(shù)據(jù)所需的時間內，IRD可能需要顯示黑屏或者再三重復最后解碼的圖像直到獲得新的節(jié)目數(shù)據(jù)。
一種避免這種非自然信號的備選方法可能是，通過在獲得允許時首先對HD比特流解碼然后再插入本地商業(yè)節(jié)目，從而將本地內容插入到視頻域中，并重新進行編碼。但是，這增加了本地臺的系統(tǒng)成本，因為需要硬件來對HD信號進行解碼和重新進行編碼。另一種方法可能是在比特流域中插入對應本地商業(yè)節(jié)目的另一個比特流，以替代原來的HD饋送信號。這稱為比特流拼接。但是，這種方法也額外增加了整個系統(tǒng)的成本。
發(fā)明概述本發(fā)明的思想是將兩個具有不同分辨率的視頻流應用于可從一種視頻分辨率切換到另一種視頻分辨率的數(shù)字視頻解碼器。通過將來自各流的視頻數(shù)據(jù)存儲到緩沖區(qū)中，該數(shù)字視頻解碼器可以在各視頻流之間進行無縫切換，條件是緩沖區(qū)可保存并輸出視頻數(shù)據(jù)以匹配切換視頻流所需的時間。
附圖簡述

圖1顯示了根據(jù)本發(fā)明的實施例的數(shù)字視頻廣播系統(tǒng)；圖2說明三個不同解碼器所對應的平均緩沖區(qū)占用率隨時間的變化；以及圖3說明圖1所示系統(tǒng)的HD編碼器和解碼器緩沖區(qū)用于取得本發(fā)明的無縫流切換的HD流的VBV延遲變化。
最佳實施例的詳細說明本發(fā)明提供一種在數(shù)字視頻解碼器中進行無縫流切換的方法和系統(tǒng)。在本說明書中，“流切換”指給定的IRD從一個數(shù)字數(shù)據(jù)(例如視頻)流切換到另一個數(shù)字數(shù)據(jù)流，無論這兩個數(shù)據(jù)流是否在相同信道中傳輸。
在最佳實施例中，具有第一分辨率的第一視頻流(例如HD)由本地臺在與具有第二分辨率的第二視頻流(例如SD)相同的信道上傳輸(也可采用不同的信道)。第一個流包含主節(jié)目，例如接收自以本地臺為附屬機構的全國電視廣播網的主TV饋送信號。第二個流包含本地內容，例如本地TV新聞節(jié)目或本地商業(yè)節(jié)目。
在這種實施例中，本地臺接收HD流并生成本地SD流。最好在相同信道上通過合適的發(fā)送器如衛(wèi)星或無線電天線塔發(fā)送。如下詳述，對這兩個流、HD和SD編碼器以及IRD進行配置，以便IRD可以無縫從HD切換到SD流，或者從SD流切換回HD流。流之間的切換是無縫的，因為切換切換時沒有明顯的非自然視頻信號，如黑幀(black frame)、視頻凍結或反復等。
因此，本發(fā)明提供了一種IRD，它可以在特定的時間從一個視頻流如MPEG視頻流無縫地切換到另一個流。在此實施例中，一接收到特定的信號，IRD就自動地調諧到另一個節(jié)目，該節(jié)目的特性參數(shù)(調諧頻率、PID等等)之前就已經傳送給IRD。與此同時，IRD繼續(xù)對已經存儲在其緩沖區(qū)中的之前視頻節(jié)目的數(shù)據(jù)進行解碼。如果緩沖區(qū)中的數(shù)據(jù)足夠包括切換到新節(jié)目和獲取新數(shù)據(jù)所需的全部時間，則轉換是無縫的，并且無需顯示黑幀或者再三重復最后解碼的圖像以掩飾沒有有效的數(shù)據(jù)。為了實現(xiàn)本發(fā)明的無縫信道切換，兩個視頻流是彼此同步的。而且編碼器和解碼器(IRD)都完全知道拼接點的時間位置。下面將對允許進行這種無縫轉換的約束作更詳細的說明。
參照圖1，它顯示了一種根據(jù)本發(fā)明實施例的數(shù)字視頻廣播系統(tǒng)100。系統(tǒng)100包括包含HD編碼器111的網絡臺110。HD編碼器111生成包括多個包含網絡的主饋送信號的HD視頻流的HD饋送信號114。將此HD饋送信號114傳輸?shù)叫l(wèi)星115，以便再傳輸給用戶IRD。通常還將網絡臺110上生成的HD網絡饋送信號116傳輸?shù)骄W絡的本地附屬機構的本地臺，例如本地臺120。
本地臺120包括用于將本地內容編碼成SD視頻流的SD編碼器121。發(fā)送器122向衛(wèi)星115發(fā)送(上行發(fā)送)包括多個本地SD流的本地SD饋送信號123，以便再傳送給與本地臺120相關的給定本地區(qū)域中的IRD，例如IRD 130。來自HD饋送信號114的HD流136和來自本地SD饋送信號123的SD流137由給定用戶的IRD 130從衛(wèi)星115接收。如果衛(wèi)星采用相同的轉發(fā)器來傳輸這些數(shù)據(jù)流，則它們在相同的信道中。IRD 130所執(zhí)行的從HD流136到SD流137的切換將因此涉及切換流而非信道。但是，如果衛(wèi)星115采用不同的轉發(fā)器來傳送這些流，則流切換還包括切換信道。
因此，例如，IRD 130接收的HD流136可能是全國廣播的HDTV饋送信號的一部分，以便避免不得不復制信號并生成本地饋送信號，這會占用太多可用帶寬。SD流137表示本地節(jié)目，例如商業(yè)節(jié)目、本地新聞以及其它本地節(jié)目。為了將SD流137中所承載的本地節(jié)目在指定的時間“插入”到HD節(jié)目中，通過合適的流切換信號命令當前正對HD節(jié)目解碼的IRD切換到SD流137。與此同時，如果實際采用了視頻或比特流拼接，則SD流137將顯示應該已插入HD流136中的本地節(jié)目。如果使HD流136和SD流137正確地同步并且轉換是無縫的，則用戶將什么也注意不到。本地節(jié)目結束時，IRD切換回HD流136，一直到下一個拼接點。
因為實際切換花費相當多的時間并且IRD解碼器緩沖區(qū)的大小有限，故必須考慮時間約束。本發(fā)明在兩個流之間維持正確的同步并在流之間進行切換時避免時鐘不連續(xù)。不像其它類型的解碼方式，例如不像DVD的解碼方式，在如系統(tǒng)100所示的廣播系統(tǒng)中，IRD解碼器不能對傳輸比特率作任何控制。因此，當對流進行切換時，無法以“突發(fā)模式”讀取數(shù)據(jù)，因此緩沖區(qū)132可能變空。而且，因為數(shù)據(jù)一直在廣播(“推送”)，所以解碼器131不能隨意停止緩沖輸入數(shù)據(jù)，換句話說，緩沖區(qū)132將會溢出。
現(xiàn)在來參照圖2，其中所示的各圖說明三個不同解碼器210、220、230的平均緩沖區(qū)占用率隨時間的變化。第一圖顯示對應于一直保持調諧到HD節(jié)目的HD解碼器210的第一解碼器210的緩沖區(qū)占用率隨時間的變化。HD編碼器(例如111)維持HD解碼器210緩沖區(qū)占用率的精確模型并且按比特率控制方案作出的所有決定均基于該模型。第二解碼器220對應于一直保持調諧到SD節(jié)目的SD解碼器220類似于HD編碼器，SD編碼器121維持SD解碼器220緩沖區(qū)占用率的精確模型。第三解碼器230對應于HD解碼器230，它在檢測到第一拼接點時切換到SD流，然后在檢測到第二拼接點時切換回最初的HD流。HD解碼器230表示解碼器131的操作和狀態(tài)。
為了說明本發(fā)明的方案所涉及的不同的機制，考慮由IRD 130在HD視頻流136和SD視頻流137之間進行的切換示例。視頻流切換還適用于在兩個SD流之間或兩個HD流之間進行切換，或者更一般地，適用于在兩個不同的數(shù)據(jù)流之間進行切換，其中，對解碼器緩沖區(qū)大小以及切換之前所緩存的數(shù)據(jù)可以抵消的最大延遲作適當?shù)母淖儭?br> 本質上，在解碼器側進行的兩個流之間的切換等效于直接在解碼器緩沖區(qū)132中對兩個流進行拼接。必須采取若干步驟來確保正確操作并不會引起任何緩沖區(qū)問題(溢出或下溢)。的確，HD編碼器111和SD編碼器121均沒有能力監(jiān)測實際進行流切換的HD解碼器131中的緩沖區(qū)132水平。這兩個編碼器均假定在一對流切換(HD至SD和SD至HD)之后，解碼器緩沖區(qū)水平正好與HD解碼器210緩沖區(qū)模型的緩沖區(qū)水平相匹配。換言之，在各切換系列之后和之前，HD解碼器(例如解碼器131)的緩沖區(qū)水平均應該與HD編碼器111所維持的HD解碼器模型210的緩沖區(qū)水平相匹配，無論它們是否進行了切換。
為此，有必要在HD流136和SD流137之間保持完全同步。它們必須具有相同的基準時鐘和PTS。對于相同的PTS，HD流136和SD流137中的拼接點應該在同一時間出現(xiàn)。理想情況下，甚至這兩個流的GOP結構都應該相同，其它流中的圖像及其等效物(在定時方面)必須精確地屬于相同的類型(I、P、B、幀或場結構、頂場在先或底場在先、第二或第三場幀)。但是，此GOP結構同步難于實現(xiàn)。因此，在實施例中，不要求GOP結構相同，但要求在各拼接點之后立即啟動閉合GOP。下面對此條件作充分說明。
在圖2所示的示例中，假定第一拼接點出現(xiàn)在t0時刻，第二拼接點出現(xiàn)在t1時刻。如果我們假定兩個流已正確地同步，則如果如下條件得到滿足，就可取得無縫轉換tohd≥ts+tosdtlsd≥ts+tlhd其中tsHD解碼器131切換并開始搜索新的序列首部所需的時間；tohd在發(fā)生第一切換時緩沖區(qū)132中HD數(shù)據(jù)所抵消的時間段；tosd在第一切換(SD VBV(視頻緩沖校驗器)延遲)之后填滿解碼器緩沖區(qū)132所需的獲取時間；tlsd在發(fā)生第二次切換時緩沖區(qū)132中SD數(shù)據(jù)所抵消的時間段；以及tlhd在第二次切換(HD VBV(視頻緩沖校驗器)延遲)之后填滿解碼器緩沖區(qū)132所需的獲取時間；ts的典型值大約是0.3秒。此值包括調諧時間(如果新節(jié)目在不同的頻率上傳輸)和獲取并處理新的解擾密匙所需的時間(如果采用條件接入)。獲取時間(VBV延遲)取決于解碼器緩沖區(qū)132的大小以及編碼比特率。編碼器控制解碼器中緩沖區(qū)占用率并因此將獲取時間設定為指定值。如果編碼比特率是固定的，則多數(shù)時間平均獲取時間在整個序列中保持相同。但是，編碼器可能在特定情況如場景剪輯(scene cut)或漸變(fade)時臨時修改該平均值，以允許更好地處理編碼困難。
適用的編碼器要正好在兩個流之間進行切換之前確定存儲在緩沖區(qū)132中的數(shù)據(jù)量。所緩沖的數(shù)據(jù)可以抵消的最大時間段隨最大解碼器緩沖區(qū)大小和編碼比特率變化。MPEG-2規(guī)范規(guī)定最大VBV緩沖區(qū)大小對SD流而言是1.835008兆比特，而對HD流而言為7.340032兆比特。例如，在切換時間為0.3秒和最小獲取時間為0.1秒的情況下，如果在切換發(fā)生時(0.3+0.1+彌補兩個流之間同步不精確的裕量)在緩沖區(qū)中有大約0.5秒的視頻，則在理論上有可能取得無縫轉換。既然解碼器緩沖區(qū)132的大小有最大極限，故可用于實現(xiàn)無縫轉換的最大編碼比特率存在極限。此極限對SD流大約為3.5兆比特/秒，對HD流而言大約為14兆比特/秒。提高最大比特率極限的唯一途徑是要么采用更大的解碼器緩沖區(qū)(但這些解碼器緩沖區(qū)將不再與MPEG-2兼容)或者減少由緩沖數(shù)據(jù)所抵消的時間(實際上就是減少ts)。
在本發(fā)明中，編碼器111和121被配置為執(zhí)行兩種不同的任務。它們首先必須在各拼接點之前將解碼器緩沖區(qū)占用率設定為特定值，這需要修改比特率控制機制。它們還必須正好在拼接點之后啟動閉合GOP，而無論拼接點在正在進行的GOP中的位置在哪里。這些任務將在如下兩段中加以詳細說明。
當從HD流136切換到SD流137時，HD編碼器111必須填滿解碼器緩沖區(qū)132以使tohd最大。與此同時，SD編碼器121必須清空SD解碼器220的假設的解碼器緩沖區(qū)以盡可能地減少獲取時間tosd。當從SD切換回到HD時，情況正好相反。在這種情況下，SD編碼器121填滿解碼器緩沖區(qū)132以使tlsd最大，而HD編碼器111清空HD解碼器210的假設的解碼器緩沖區(qū)以減少tlhd。圖3說明HD流的VBV延遲變化。本專業(yè)的技術人員會理解，對應SD流的變化可通過使圖3中的圖320、330顛倒而獲得。
圖310、320、330中所示的端到端延遲對應于任何數(shù)據(jù)通過編碼器和解碼器緩沖區(qū)所需的總的時間。該延遲是恒定的并可以表示為一定數(shù)量的編碼幀。VBV延遲是解碼器緩沖區(qū)132中指定幀所花費的時間。VBV延遲不一定是恒定的，其變化取決于目標編碼比特率Rin和傳輸比特率Rout。例如，在圖310中，Rin和Rout是恒定的，表示視頻流未經拼接而進行廣播且VBV延遲保存恒定時的平均緩沖區(qū)水平。每當Rin和Rout具有不同的值時，VBV延遲就作相應的修改。在圖320中，正好在將一個視頻流拼接為另一個視頻流之前，Rin變得比Rout小，使得VBV延遲增加(更多的幀出現(xiàn)在HD解碼器緩沖區(qū)中)。在圖330中，正好在進行第二視頻流拼接之前，Rin變得比Rout大，使得VBV延遲下降(更少的幀出現(xiàn)在HD解碼器緩沖區(qū)中)兩個編碼器均不能控制Rout，Rout是由多路復用器來進行分配的。然而，編碼器可以這樣調整Rin，使得在各拼接點之前達到目標VBV延遲。必須提前若干GOP就知道拼接點，以允許VBV值的平滑轉換。迅速轉換只能通過突然修改編碼比特率而取得，這可能導致圖像質量的顯著變化。一旦達到目標VBV延遲，則編碼器就將編碼比特率值設回Rout。在統(tǒng)計復用配置中，如果編碼器可以直接向多路復用器請求指定的比特率，則可以對Rout而非Rin加以調整。
假定這兩個編碼器均精確地知道每個拼接點的出現(xiàn)并且每個拼接點均對應于第一流(本示例中的HD流136)中GOP的末尾。如果我們假定HD編碼器111控制拼接點的插入，則這后一約束可以容易地得到滿足。假定兩個流是同步的，即，它們共享相同的基準時鐘并且采用相同的PTS/DTS值。如果當前采用刪除模式(detelecine mode)并因此授權丟棄重復的場，則要在兩個流之間維持完美的PTS/DTS同步將變得更為困難。因為提前若干GOP就完全知道發(fā)生拼接的精確的PTS/DTS值，故如果即將到來的幀(頂場在先)中沒有一個幀與該給定的PTS/DTS正確相關，則SD編碼器121可以人工地重復某些場，一直到最后有一個幀與給定的PTS/DTS正確相關。
或者，IRD本身可以在拼接點處理PTS/DTS不連續(xù)，跳過或者重復幾場以便彌補兩個流之間的PTS/DTS差異。一般而言，既然希望無縫轉換，故跳過若干場比重復若干場更可取。然而，在開始顯示第二個流的圖像之前重復第一個流的若干場，應該不會是可見的，因此仍然可以視為無縫的。
如上所述，即使兩個流之間存在完美的同步，(就基準時鐘和PTS/DTS而言)，也幾乎不可能保證兩個流會表現(xiàn)出相同的GOP結構。換言之，即使拼接點出現(xiàn)在第一個流的GOP的末尾，這并意味著該拼接點之后的第一圖像就是第二個流的新GOP的第一幀。不過，如果我們希望避免PTS/DTS不連續(xù)，則這是強制的。完全獨立于前一個GOP的新GOP(閉合GOP)，必須在拼接點之后立即開始。編碼器111、121因此必須不用復位就能夠在線(on the fly)修改當前的編碼結構。這本質上意味著能夠在相同序列中擁有不同長度的GOP和不同長度的P周期。對于多數(shù)編碼器，修改GOP的長度應該不是問題，但是在線修改B圖像的數(shù)量或許是不可能的。這可能是因為編碼器管道初始化或者運動估計芯片的工作方式。如果的確如此，則可能在拼接點和新GOP的第一幀之間存在長達P周期的延遲。同樣，對此問題的唯一解決方法是在IRD 130中實現(xiàn)重復場的機制，以便彌補丟失的場?；蛘?，可以在新的拼接點之前開始新的GOP，同時跳過IRD中第一個流中重疊的場。這種機制允許放松兩個流之間的同步約束，而同時保持無縫轉換。
可以如下所述對標準IRD加以修改以便實現(xiàn)IRD 130，從而實現(xiàn)本發(fā)明的無縫流轉換。
首先，IRD 130在檢測到拼接點時必須自動地切換到另一流，而繼續(xù)對緩沖區(qū)132中已有的數(shù)據(jù)進行解碼。在一個實施例中，如下傳送ATSC(高級電視系統(tǒng)委員會)視頻流的拼接信息MPEG-2傳輸流的適配字段含有1位“splicing_point_flag(拼接點標志)”。當設為1時，該標志表示“splice_countdown_field(拼接遞減計數(shù)字段)”將會出現(xiàn)在相關的適配字段中，用于指明拼接點的出現(xiàn)?！皊plice_countdown”是8位字段，表示可為正也可為負的值。正值說明在到達拼接點之前剩余的具有相同PID的輸入分組數(shù)。拼接點就位于“splice_countdown”字段計數(shù)到0的傳輸分組的最后一個字節(jié)后之后。HD編碼器111和SD編碼器121均必須插入拼接信息。
然而，這種拼接信息只能指示具有相同PID的流之間的切換。但是，在某些情況下，IRD不僅需要知道何時進行切換，而且需要知道切換到什么頻率(或信道或視頻和音頻PID)。因此，在一個實施例中，除采用“splicing_Point_flag”提供拼接信息以外，還采用了節(jié)目和系統(tǒng)信息協(xié)議(PSIP)。
除了拼接信息，還可以在虛擬信道表(VCT)中創(chuàng)建新的描述符。此描述符可以用于告訴IRD切換時間和載波頻率以及新節(jié)目流的PID。而且，此描述符可以告訴本地廣播臺何時插入本地節(jié)目。此描述符的主要字段可能包括應用時間、持續(xù)時間、業(yè)務類型(SD或者HD)、載波頻率、節(jié)目編號、PCR_PID、基本流數(shù)量、PID和各基本流的流類型以及任何其它必要信息。VCT每隔400毫秒就傳送一次。
如下表1提供一個可能的描述符示例。
表1上述描述符中信息配合拼接信息將提供足夠的切換信息。給定這種在拼接點前提供的切換信息，則配置用于HD的IRD不僅會知道切換時間(即拼接點)，而且還會知道備選節(jié)目的頻率、視頻和音頻流的PID等。這就允許IRD在拼接點開始切換到指定的備選節(jié)目。
為了從SD節(jié)目137切換回HD節(jié)目136，SD編碼器121還需要同時發(fā)送具有類似描述符的拼接信息和VCT。但是，此時備選節(jié)目的業(yè)務類型應該是HDTV，以便配置用于SD應用的IRD可以忽略切換信號。
如上所述，兩個流之間可能不會是完全同步的，而且PTS/DTS不連續(xù)可能發(fā)生。應當在拼接點周圍允許這種不連續(xù)，并且只要未有新的PTS到達就應通過凍結上一幀從而處理這種不連續(xù)。對多數(shù)IR 而言，這應該不是問題。通常以相同方式來處理PTS不連續(xù)，不過這時要對所有指針復位從而使緩沖區(qū)中的當前數(shù)據(jù)丟失。在拼接情況下不需要復位，因為緩沖區(qū)中的所有數(shù)據(jù)按照推測都是有效的。
本發(fā)明的流切換系統(tǒng)和方法實現(xiàn)直接在解碼器緩沖區(qū)132中無縫拼接兩個MPEG視頻流。對這兩個流的VBV延遲加以調整，使得第一個流的VBV延遲足以抵消切換到新流并獲取新數(shù)據(jù)所需的全部時間。在實施例中，可以修改新流的VBV延遲以減少獲取時間，從而減少要由舊流數(shù)據(jù)所抵消的延遲。還有必要正確地使這兩個流同步，以便這兩個流至少共享相同的基準時鐘(PCR采樣)。如果兩個流采用完全相同的PTS并具有相同的GOP結構，則完全無縫的轉換是可能的，起碼在拼接點附近是可能的。因為難以取得高度同步，故在拼接點處非?？赡茉斐蒔TS不連續(xù)。
在實施例中，本發(fā)明的流切換采取了盡可能減少不連續(xù)的措施，例如通過修改GOP結構以確保在拼接點之后盡可能快地開始閉合GOP或者通過調整第二個流的PTS值(通過重復場)以匹配第一個流的場。這樣一來，拼接點處的不連續(xù)就不超過4場(P周期被限制為值3)。IRD 130必須忽略不連續(xù)并凍結上次顯示的幀，一直到不超過4場以后新的PTS到達為止。即便如此，還是可以將轉換視為“準無縫的”。限制適用于拼接期間兩個流所允許的最大編碼比特率。那些限制是由于解碼器緩沖區(qū)大小和IRD進行切換所需的最小時間周期。
本專業(yè)的技術人員會理解，上述主要參照兩個視頻流加以說明的本發(fā)明的流切換可以擴展用于其它種類的數(shù)據(jù)流，例如音頻流。
本發(fā)明的各方面可以體現(xiàn)為計算機實現(xiàn)的、用于實施所述那些過程的程序和裝置的形式。本發(fā)明的各種方面還可以以包含在有形媒體如軟盤、CD-ROM、硬盤驅動器或任何其它計算機可讀存儲媒體中的計算機程序代碼的形式來體現(xiàn)，其中，當裝入計算機程序代碼并由計算機來執(zhí)行時，計算機就成為實施本發(fā)明的裝置。本發(fā)明還可以體現(xiàn)為計算機程序代碼的形式，例如無論該計算機程序代碼是存儲在存儲媒體中由計算機裝入并執(zhí)行，還是作為傳播的計算機數(shù)據(jù)或其它信號通過一些傳輸或者傳播媒體如通過電線或電纜，通過光纖，或者通過電磁輻射、或者包含在載波中予以傳輸，其中，當裝入計算機節(jié)目代碼并由計算機來執(zhí)行時，計算機就成為實施本發(fā)明的裝置。當在通用微處理器上實現(xiàn)時，計算機程序代碼段對微處理器進行進行配置，以創(chuàng)建特定的邏輯電路來自執(zhí)行期望的程序。
所述系統(tǒng)代表了一種可供無力對本地HD傳輸設備進行資本投資的本地廣播商進行商業(yè)活動的有利方法。所述系統(tǒng)有利地允許本地廣播商通過第三方提供的衛(wèi)星鏈路來同時向消費者傳送高清晰度(HD)和標準清晰度(SD)視頻信息。本地廣播商無需投資昂貴的HD廣播設備，同時保持在HD和本地SD節(jié)目之間進行切換的能力，例如，可包括本地新聞和可產生收益以支持本地廣播商的商業(yè)節(jié)目。如上所作的詳述，在MPEG編碼信號環(huán)境中，用適當數(shù)量的HD資料填充(VBV)緩沖區(qū)允許從HD無縫切換到SD節(jié)目內容，反之，SD到HD的轉換亦然。
應理解，本專業(yè)的技術人員可以對以上已作說明和圖解、以闡明本發(fā)明特征的各部分的細節(jié)、內容和設置作各種變化，而又不背離如下權利要求書中記載的本發(fā)明的原理和范圍。
權利要求
1.一種用于處理分組化視頻數(shù)據(jù)的方法，包括如下這些步驟接收表示具有第一顯示分辨率的第一視頻節(jié)目的編碼數(shù)據(jù)；接收表示具有低于所述第一顯示分辨率的第二顯示分辨率的第二視頻節(jié)目的編碼數(shù)據(jù)；生成用信號表示的從所述第一顯示分辨率節(jié)目轉換到所述第二顯示分辨率節(jié)目的傳輸標識信息；將所述第一視頻節(jié)目編碼數(shù)據(jù)和所述第二視頻節(jié)目編碼數(shù)據(jù)以及所述標識信息插入到分組化數(shù)據(jù)中；以及提供所述分組化數(shù)據(jù)以便輸出到傳輸信道。
2.如權利要求2所述的方法，其特征在于所述轉換是無縫轉換。
3.如權利要求1所述的方法，其特征在于還包括如下步驟在解碼器中將所述解碼的第二分辨率數(shù)據(jù)上變頻以將第一分辨率的商業(yè)節(jié)目無縫插入到所述視頻節(jié)目中。
4.如權利要求1所述的方法，其特征在于所述第二視頻節(jié)目是視頻商業(yè)節(jié)目。
5.如權利要求1所述的方法，其特征在于所述第一視頻節(jié)目是網絡視頻饋送信號，而所述第二視頻節(jié)目是本地視頻節(jié)目。
6.如權利要求1所述的方法，其特征在于所述第二視頻節(jié)目是本地新聞節(jié)目。
7.如權利要求1所述的方法，其特征在于表示所述第一視頻節(jié)目的所述編碼數(shù)據(jù)由網絡臺生成，而表示所述第二視頻節(jié)目的所述編碼數(shù)據(jù)由本地臺生成。
8.如權利要求7所述的方法，其特征在于通過衛(wèi)星將所述分組化數(shù)據(jù)輸出到傳輸信道。
9.一種方法，用于對表示具有第一顯示分辨率的視頻節(jié)目的圖像表示輸入數(shù)據(jù)進行解碼并插入具有較低第二顯示分辨率的視頻段，包括如下這些步驟識別表示具有第一顯示分辨率的視頻節(jié)目的編碼數(shù)據(jù)；識別具有低于所述第一顯示分辨率的第二顯示分辨率的視頻段的編碼數(shù)據(jù)以便將其插入到所述視頻節(jié)目中；獲取用信號表示的從所述第一顯示分辨率轉換到所述第二顯示分辨率的標識信息；以及對所述視頻節(jié)目編碼數(shù)據(jù)和所述視頻段編碼數(shù)據(jù)解碼，以利用所述標識信息分別提供解碼的第一分辨率數(shù)據(jù)輸出和解碼的第二分辨率數(shù)據(jù)輸出；以及對所述第一和第二分辨率解碼數(shù)據(jù)輸出進行格式化以便顯示。
10.如權利要求9所述的方法，其特征在于還包括如下步驟將所述解碼的第二分辨率數(shù)據(jù)上變頻以將第一分辨率的視頻段數(shù)據(jù)無縫插入到所述視頻節(jié)目中。
11.如權利要求9所述的方法，其特征在于所述視頻段表示視頻商業(yè)節(jié)目。
12.如權利要求9所述的方法，其特征在于所述第一視頻節(jié)目是網絡視頻饋送信號而所述視頻段是本地視頻節(jié)目。
13.如權利要求9所述的方法，其特征在于所述視頻段是本地新聞節(jié)目。
14.如權利要求9所述的方法，其特征在于表示所述第一視頻節(jié)目的所述編碼數(shù)據(jù)由網絡臺生成，而表示所述視頻段的所述編碼數(shù)據(jù)由本地臺生成。
15.如權利要求14所述的方法，其特征在于通過衛(wèi)星將所述分組化數(shù)據(jù)輸出到傳輸信道。
16.如權利要求9所述的方法，其特征在于所述解碼步驟包括如下步驟在緩沖器中存儲表示所述視頻節(jié)目的數(shù)據(jù)和表示所述視頻段的數(shù)據(jù)。
17.如權利要求16所述的方法，其特征在于所述緩沖器通常存儲具有所述第一較高顯示分辨率的視頻數(shù)據(jù)。
18.如權利要求17所述的方法，其特征在于所述緩沖器是兼容MPEG的。
19.一種視頻廣播方法，包括如下這些步驟從網絡提供商接收高清晰度視頻信息；將所述接收的高清晰度視頻信息轉換為較低分辨率的視頻信息；以較低清晰度提供本地視頻信息；以及在數(shù)據(jù)流中將所述經過轉換的較低清晰度視頻信息和所述較低清晰度本地信息通過上行路徑傳輸給衛(wèi)星；
20.如權利要求18所述的方法，其特征在于所述高清晰度視頻信息是高清晰度電視信息；以及所述較低清晰度信息包括標準清晰度電視節(jié)目信息、新聞和商業(yè)節(jié)目至少之一。
全文摘要
一種用于處理分組化視頻數(shù)據(jù)的系統(tǒng)和方法。接收表示具有第一顯示分辨率的第一視頻節(jié)目的編碼數(shù)據(jù)，以及接收表示具有低于所述第一顯示分辨率的第二顯示分辨率的第二視頻節(jié)目的編碼數(shù)據(jù)。生成用信號表示的從所述第一顯示分辨率轉換到所述第二顯示分辨率的傳輸標識信息，并將所述第一視頻節(jié)目編碼數(shù)據(jù)和所述第二視頻節(jié)目編碼數(shù)據(jù)以及所述標識信息插入到分組化數(shù)據(jù)中。提供所述分組化數(shù)據(jù)以便輸出到傳輸信道中。
文檔編號H04N7/081GK1518832SQ02812361
公開日2004年8月4日 申請日期2002年4月23日 優(yōu)先權日2001年4月24日
發(fā)明者D·科斯勒, D 科斯勒, L·盧, 小貝耶斯, B·W·小貝耶斯 申請人:湯姆森許可公司