專利名稱：預(yù)調(diào)節(jié)用于數(shù)字程序插入的廣告內(nèi)容的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字視頻通信，且更明確地說(shuō)，涉及將廣告及類似內(nèi)容插入到數(shù)字視 頻流中。本發(fā)明還適用于對(duì)數(shù)字視頻流的修飾，例如用于重組來(lái)自一個(gè)或一個(gè)以上源 的選定的程序。
背景技水
將廣告插入到視頻編程中的過(guò)程在從模擬視頻轉(zhuǎn)變到經(jīng)壓縮數(shù)字格式(例如 MPEG-1及MPEG-2)之后變得更加復(fù)雜。不是從一個(gè)信號(hào)到另一信號(hào)地替代模擬波 形(或數(shù)字化像素)，而是必須首先在第一經(jīng)壓縮數(shù)字流中識(shí)別適合的出口點(diǎn)且接著 將此出口點(diǎn)與進(jìn)入到第二經(jīng)壓縮數(shù)字流中的適合入口點(diǎn)對(duì)準(zhǔn)。另外，需要添加、修改 或替換許多參數(shù)以在拼接轉(zhuǎn)變期間維持無(wú)縫連續(xù)性。實(shí)際上，當(dāng)今存在的大多數(shù)數(shù)字 拼接產(chǎn)品將不僅修改這些參數(shù)，還將重新產(chǎn)生整個(gè)流。這樣做旨在確保所產(chǎn)生的流的 數(shù)據(jù)速率保持在用于將信號(hào)從拼接器傳送到一個(gè)或一個(gè)以上接收裝置的通信信道的限 制內(nèi)。此數(shù)據(jù)速率修改過(guò)程通常稱為速率轉(zhuǎn)換。拼接與速率轉(zhuǎn)換能力的組合不僅在針 對(duì)廣告插入還在針對(duì)修飾而設(shè)計(jì)的產(chǎn)品中尤其有利。
修飾是指對(duì)來(lái)自 一個(gè)或一個(gè)以上源的選定的程序的重組。修飾是通常依據(jù)速率轉(zhuǎn) 換將所述選定的程序的組合速率與所述通信信道的數(shù)據(jù)速率匹配的應(yīng)用程序。在此情 況下，如果對(duì)程序的選擇做出改變，或如果將廣告插入到這些選定的程序中的一者或 一者以上中，則速率轉(zhuǎn)換過(guò)程將自動(dòng)地確保絕不超過(guò)所述通信信道的容量。
在某些應(yīng)用中，使用速率轉(zhuǎn)換可為不合理的或甚至不可能的。例如，速率轉(zhuǎn)換不 可應(yīng)用于經(jīng)加密的數(shù)字程序。在其它情況下，所述程序可以是明碼的(未經(jīng)加密)且 所述數(shù)據(jù)速率可以是恒定的且預(yù)先知道的。此外，可知道所述通信信道的容量足以容 納固定數(shù)目的這些恒定位速率程序。通常，在此類情形下，假設(shè)不存在對(duì)速率轉(zhuǎn)換的 需要將是安全的。然而，問(wèn)題在于，當(dāng)將替代內(nèi)容替代到一個(gè)或一個(gè)以上程序中時(shí)， 可引入數(shù)據(jù)速率峰值，即使所述新內(nèi)容的數(shù)據(jù)速率可以是恒定的且與其替換的內(nèi)容具有相同速率。為理解這些瞬態(tài)速率變化，將存在于用于對(duì)視頻及音頻信號(hào)進(jìn)行解碼及 重現(xiàn)的接收裝置中的緩沖器的滿度建模是有用的。
圖1A顯示接收器緩沖器在接收第一流10時(shí)的滿度且圖IB顯示緩沖器在接收第 二流12時(shí)的滿度。圖1C顯示在拼接器實(shí)施從第一流10到第二流12的轉(zhuǎn)變之后的所 產(chǎn)生的緩沖器滿度。如可看出，所述轉(zhuǎn)變起始于所述第一流("流1")的結(jié)束處且 以所述第二流("流2")的開始繼續(xù)。應(yīng)注意，所述緩沖器在拼接發(fā)生之后立即變 空，從而致使解碼器缺乏數(shù)據(jù)，如組合流14的交叉陰影線區(qū)域所指示。結(jié)果是視頻(或 音頻)的呈現(xiàn)的中斷。在此情況下，這是由于所述緩沖器在流1的結(jié)束處的幾乎空狀 態(tài)、緊接其后的在流2的開始處開始的緩沖器輸出處的高漏極速率所致。
速率轉(zhuǎn)換原本可通過(guò)恰在拼接點(diǎn)之前降低流1的數(shù)據(jù)速率且通過(guò)在執(zhí)行所述拼接 之后立即繼續(xù)降低流2的數(shù)據(jù)速率來(lái)防止此中斷。然而，適用于高級(jí)壓縮格式的速率 轉(zhuǎn)換實(shí)施方案的成本可為相當(dāng)高，且即使在其中流是明文的且仍存在速率轉(zhuǎn)換選項(xiàng)的 情況下也避免此成本將是有利的。此高級(jí)壓縮格式的實(shí)例是H.264視頻壓縮標(biāo)準(zhǔn)，其 等效于MPEG-4部分10或MPEG-4 AVC (即高級(jí)視頻譯碼)。MPEG代表運(yùn)動(dòng)影像專 家組，其已頒布在此項(xiàng)技術(shù)中所熟知的用于壓縮數(shù)字視頻及音頻數(shù)據(jù)的一組標(biāo)準(zhǔn)。
提供非常適于涉及將廣告插入到經(jīng)加密的程序中的應(yīng)用的速率轉(zhuǎn)換的替代方案 將是有利的。提供涉及預(yù)調(diào)節(jié)交替內(nèi)容(例如，廣告)且可在編碼器處內(nèi)容始發(fā)時(shí)或 在使用獨(dú)立離線過(guò)程的稍后時(shí)間應(yīng)用的此類系統(tǒng)及方法將進(jìn)一步是有利的。如果一旦 處理則可對(duì)交替內(nèi)容(例如，廣告)進(jìn)行加密(如果必要)將仍是有利的。如果交替 內(nèi)容將插入到其中的網(wǎng)絡(luò)流(例如，視頻編程)不需要修改且可假設(shè)為被加密，則也 將是有利的。本發(fā)明提供具有這些及其它優(yōu)點(diǎn)的系統(tǒng)及方法。

發(fā)明內(nèi)容
提供一種用于將內(nèi)容插入到視頻編程中的方法，其中在第一視頻流中接收所述視 頻編程且在第二視頻流中接收將插入的內(nèi)容(一個(gè)或一個(gè)以上廣告)。預(yù)調(diào)節(jié)所述第 二視頻流以在所述第二視頻流中提供用于將所述第一視頻流拼接到所述第二視頻流的 入口點(diǎn)。
在所圖解說(shuō)明的實(shí)施例中，當(dāng)所述內(nèi)容包括多個(gè)連續(xù)圖像時(shí)，所述預(yù)調(diào)節(jié)步驟限 制所述內(nèi)容的第一圖像的最大大小。所述預(yù)調(diào)節(jié)將更通常限制所述內(nèi)容的圖像序列的 最大大小。
所述圖像序列可包括所述第二視頻流中按預(yù)定解碼次序的一組連貫圖像?？梢罁?jù) 按呈現(xiàn)次序顯示所述序列所需的圖像顯示間隔"T"的數(shù)目及用于傳輸所述序列的可 用數(shù)據(jù)速率"r"確定所述圖像序列的最大大小。在每一連續(xù)圖像之后更新所述序列的 所述最大大小且通過(guò)壓縮所述序列的所述下一圖像來(lái)予以實(shí)行。
一旦接收所述內(nèi)容的緩沖器的占有層級(jí)積累到可能在后續(xù)處理期間避免下溢及溢出條件中的至少一者的層級(jí)，即可暫停所述預(yù)調(diào)節(jié)步驟。
所述內(nèi)容可包括多個(gè)連續(xù)圖像，其中每一連續(xù)圖像是幀內(nèi)譯碼(I)圖像、預(yù)測(cè)(P) 圖像或雙向(B)圖像中的一者。所述預(yù)調(diào)節(jié)步驟可包括以下步驟將至少一個(gè)B圖 像轉(zhuǎn)換為在所述入口點(diǎn)處的第一I圖像后面的P圖像；及限制所述內(nèi)容的圖像序列的 所述最大大小，其中所述序列包含所述第一I圖像及從所述B圖像轉(zhuǎn)換的所述I圖像。 通常，多個(gè)B圖像將被轉(zhuǎn)換為在所述第一I圖像后面的P圖像。
在另一實(shí)施例中，替代在所述預(yù)調(diào)節(jié)步驟期間將B圖像轉(zhuǎn)換為P圖像，編碼器可 經(jīng)配置以在內(nèi)容流的幵始處產(chǎn)生P圖像而非B圖像。
當(dāng)所述內(nèi)容包括(舉例來(lái)說(shuō))電視廣告("商業(yè)廣告")時(shí)，通常將在返回到網(wǎng) 絡(luò)視頻編程之前插入多個(gè)內(nèi)容流。在此情況下，所述第二視頻流可包括一系列不同的 內(nèi)容流。
還提供一種用于將內(nèi)容插入到視頻編程中而不修改所述視頻編程的方法。在第一 視頻流中接收所述視頻編程，在第二視頻流中接收所述內(nèi)容，且在所述第二視頻流中 提供出口點(diǎn)。明確地說(shuō)，將所述第一視頻流拼接到所述第二視頻流以用所述內(nèi)容(例 如，廣告)替代所述視頻編程(例如，電視程序)。預(yù)調(diào)節(jié)所述第二視頻流以提供所 述出口點(diǎn)。接著在所述出口點(diǎn)處將所述第二視頻流拼接到所述第一視頻流以在所述內(nèi) 容的終結(jié)時(shí)返回到所述視頻編程。
將所述拼接的視頻流傳送到接收器，所述接收器將來(lái)自所述拼接的視頻流的數(shù)據(jù) 暫時(shí)存儲(chǔ)于緩沖器中。所述預(yù)調(diào)節(jié)步驟可基于足以在開始解碼所述第二視頻流將要拼 接到的所述第一視頻流的第一圖像之前剛好用所述內(nèi)容的結(jié)束部分大致填充所述緩沖 器的時(shí)間量建立所述出口點(diǎn)。將所述第二視頻流拼接到以經(jīng)解碼的第一圖像開始的第 一視頻流。在一個(gè)實(shí)施例中，將被認(rèn)為足以大致填充所述緩沖器的"時(shí)間量"約束為 不超過(guò)預(yù)定最大值。
所述預(yù)調(diào)節(jié)步驟還可包含確定所述內(nèi)容的所述結(jié)束部分是否可能在開始所述解 碼之前使所述緩沖器發(fā)生溢出。如果可能，則重新壓縮所述內(nèi)容的所述結(jié)束部分以將 其中的數(shù)據(jù)量減小到將不使所述緩沖器發(fā)生溢出的量。
通常，將在返回到所述第一視頻流中的所述視頻編程之前插入多個(gè)內(nèi)容流(例如， 一連串商業(yè)廣告)。在此情況下，所述第二流可包括多個(gè)不同的內(nèi)容流。
剛剛描述的方法還可包含預(yù)調(diào)節(jié)所述第二視頻流以在其中提供用于將所述第一 視頻流拼接到所述第二視頻流的入口點(diǎn)的步驟。


圖1A是圖解說(shuō)明接收器緩沖器在接收第一數(shù)據(jù)流時(shí)的滿度的圖示； 圖1B是圖解說(shuō)明接收器緩沖器在接收第二數(shù)據(jù)流時(shí)的滿度的圖示； 圖1C是圖解說(shuō)明在拼接器實(shí)施從第一數(shù)據(jù)流到第二數(shù)據(jù)流的轉(zhuǎn)變之后的所產(chǎn)生圖2是顯示拼接到第二流(例如，廣告流)的第一流(例如，網(wǎng)絡(luò)流)以及表示 接收器緩沖器滿度層級(jí)的視頻緩沖器驗(yàn)證器(VBV)模型的圖示；
圖3是顯示拼接到第二流的第一流以及表示接收器緩沖器滿度層級(jí)的視頻緩沖器 驗(yàn)證器(VBV)模型的圖示，其中所述第二流經(jīng)處理以在拼接之前將B圖像轉(zhuǎn)換為P 圖像；
圖4是顯示拼接到第二流的第一流以及表示接收器緩沖器滿度層級(jí)的視頻緩沖器 驗(yàn)證器(VBV)模型的圖示，其中來(lái)自所述第一流的出口相對(duì)于圖3中所示的出口點(diǎn) 延遲一個(gè)圖像間隔；
圖5是顯示拼接到第二流的第一流以及表示接收器緩沖器滿度層級(jí)的視頻緩沖器 驗(yàn)證器(VBV)模型的圖示，其中第一流出口點(diǎn)相對(duì)于圖3中所示的出口點(diǎn)延遲兩個(gè) 圖像間隔；
圖6是顯示從第一流到第二流的拼接以及表示在所述第一流的傳輸期間的接收器 緩沖器滿度層級(jí)的視頻緩沖器驗(yàn)證器(VBV)模型的圖示； 圖7是可用于實(shí)施本發(fā)明的設(shè)備的框圖8是詳述可用于(例如)結(jié)合圖7的設(shè)備實(shí)施本發(fā)明的軟件的實(shí)例的第一流程
圖9是詳述可用于實(shí)施本發(fā)明的軟件的實(shí)例的第二流程圖；及 圖IO是詳述可用于實(shí)施本發(fā)明的軟件的實(shí)例的第三流程圖。
具體實(shí)施例方式
雖然本發(fā)明是多次參照廣告插入的過(guò)程來(lái)加以描述，但應(yīng)認(rèn)識(shí)到，解決方案同樣 適用于其中在由有限或無(wú)限持續(xù)時(shí)間的任意無(wú)關(guān)視頻內(nèi)容組成的視頻流之間發(fā)生拼接 的修飾應(yīng)用。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，針對(duì)第二視頻流的插入來(lái)調(diào)節(jié)第一視頻流中的入口 點(diǎn)。通常，所述第二流將包括將與由所述第一流攜載的視頻程序(例如，電視程序) 一起顯示的一個(gè)或一個(gè)以上廣告("商業(yè)廣告")或類似內(nèi)容。在將插入多個(gè)廣告或 類似內(nèi)容時(shí)，所述第二視頻流可(舉例來(lái)說(shuō))包括一系列不同的內(nèi)容流。在此實(shí)施例 中，所述不同的內(nèi)容流中的每一者可對(duì)應(yīng)于不同商業(yè)廣告。
圖2表示根據(jù)本發(fā)明用于流1到流2的拼接的"入口點(diǎn)調(diào)節(jié)"的實(shí)例。在圖2的 數(shù)字?jǐn)?shù)據(jù)流(例如，視頻及/或音頻)拼接實(shí)例中，將流20 ("流1")拼接到流22 ("流2")。所述拼接的流在圖頂部處按解碼次序(P、 B、 B、 P、 B、 B、 10、 P3、 Bl、 B2、 P6、 B4、 B5)且在下面按呈現(xiàn)次序(B、 B、 P、 B、 B、 P、 10、 Bl、 B2、 P3、 B4、 B5、 P6)顯示。所述解碼次序與傳輸經(jīng)壓縮影像的次序相同，而呈現(xiàn)次序反 映對(duì)解碼器處的某些幀進(jìn)行重排序以恢復(fù)所顯示影像的原始序列。應(yīng)注意，在B圖像的情況下，呈現(xiàn)時(shí)間(由圖中的箭頭指示)與解碼時(shí)間相同，而I及P圖像的呈現(xiàn)時(shí) 間被延遲以與序列中下一I或P圖像的解碼時(shí)間對(duì)準(zhǔn)。還應(yīng)注意，可解碼B圖像并在 同一時(shí)刻予以顯示的假設(shè)是理想化的且實(shí)際上在解碼開始之后可發(fā)生呈現(xiàn)之前將始終
存在某一延遲。在MPEG-2的情況下，實(shí)行此理想化且約束編碼器以基于解碼時(shí)間導(dǎo) 出用于I、 P及B圖像的呈現(xiàn)時(shí)間，如圖2中所示。在R264的情況下，通常使呈現(xiàn)時(shí) 間延遲額外幀間隔。然而，以下論述并不依據(jù)是否考慮此額外延遲。
圖2的底部處顯示用于接收所述拼接的位流的緩沖器的滿度。與圖1中所示的緩 沖器滿度影像不同，此版本圖解說(shuō)明假設(shè)為表示調(diào)諧到同一信號(hào)的所有接收器且在針 對(duì)順應(yīng)性接收器中的溢出或下溢進(jìn)行測(cè)試時(shí)所依賴的視頻緩沖器驗(yàn)證器(VBV)模型。 所述模型假設(shè)在由對(duì)應(yīng)解碼時(shí)間戳(DTS)規(guī)定的一瞬間從緩沖器整個(gè)地移除每一圖 像(存取單位)。此即緩沖器滿度的瞬時(shí)降低以規(guī)則間隔發(fā)生的原因。每一瞬時(shí)降低 的大小由特定圖像的經(jīng)壓縮表示的大小確定。 一般來(lái)說(shuō)，I圖像不像P及B圖像那么 有效地被壓縮且因此將與最大緩沖器調(diào)整相關(guān)聯(lián)。
I圖像或"幀內(nèi)譯碼圖像"實(shí)際上是全規(guī)定型圖像。P圖像及B圖像僅保存影像 信息的一部分，因此其比I圖像需要更少的存儲(chǔ)空間且因此改進(jìn)視頻壓縮速率。明確 地說(shuō)，P圖像或"預(yù)測(cè)圖像"僅保存來(lái)自先前圖像的影像的改變。B圖像或"雙向圖 像"通過(guò)使用當(dāng)前圖像與前面及后面圖像兩者之間的差異來(lái)規(guī)定其內(nèi)容而節(jié)省甚至更 多的空間。用作用于預(yù)測(cè)其它圖像的參考的圖像稱為參考圖像。術(shù)語(yǔ)I圖像、P圖像 及B圖像在此項(xiàng)技術(shù)中通常分別稱為I幀、P幀及B幀。
如果我們假設(shè)已獨(dú)立地將流1及流2壓縮為相同目標(biāo)位速率，則將需要以可在不 冒VBV緩沖器的下溢的風(fēng)險(xiǎn)的情況下將流2插入到任何流中的方式約束流2的屬性。 應(yīng)注意，并不需要考慮溢出，因?yàn)槠唇悠髂軌蛟谛枰绯鲱A(yù)防時(shí)延遲流化。雖然我們 假設(shè)我們并不知道流l的屬性中的任何屬性(可對(duì)其進(jìn)行加密)，但我們還假設(shè)我們 仍可以獲得解碼及呈現(xiàn)時(shí)間戳。解碼時(shí)間戳(DTS)及呈現(xiàn)時(shí)間戳(PTS)的參數(shù)描 述于(舉例來(lái)說(shuō))所屬領(lǐng)域的技術(shù)人員所熟知的MPEG-2規(guī)范中。簡(jiǎn)單地說(shuō)，所述PTS 是MPEG-2運(yùn)輸流中用于幫助解碼器按時(shí)地以正確速度且同步地呈現(xiàn)程序的元數(shù)據(jù)字 段。所述PTS周期性地將程序呈現(xiàn)時(shí)間與也在運(yùn)輸流中傳輸?shù)某绦驎r(shí)鐘參考("PCR") 進(jìn)行比較(且重新調(diào)整，如果必要)。所述DTS指示應(yīng)立即從接收器緩沖器移除數(shù)據(jù) 并對(duì)其進(jìn)行解碼的時(shí)間。
雖然對(duì)用于流2的內(nèi)容的每一可能選擇將產(chǎn)生不同VBV占有層級(jí)，但仍可斷定 如果未發(fā)送流2，則VBV緩沖器將在對(duì)應(yīng)于流1的最后一個(gè)圖像的DTS的一瞬間變 空。在圖2中，此瞬間在/-0時(shí)發(fā)生，如在時(shí)間線24上所見(jiàn)。因此，最壞情況假設(shè)將 是緩沖器恰在~0之前為滿。雖然此假設(shè)并不實(shí)際且替代地可對(duì)此最后一個(gè)B圖像的 大小強(qiáng)加合理界限，但接受此最壞情況假設(shè)以簡(jiǎn)化本發(fā)明的說(shuō)明。如果做出在to時(shí) 所述占有層級(jí)從滿轉(zhuǎn)變?yōu)榭盏募僭O(shè)，則還可假設(shè)流2的傳輸將被延遲到此時(shí)間，且因 此既然已解決開始條件則可開始對(duì)所述VBV緩沖器的分析。在從f-0到tr的間隔期間，其中r是圖像顯示間隔(舉例來(lái)說(shuō)，1/30秒)，接 收器將顯示流i的最后一個(gè)b圖像。在從tr到t2r的下一間隔期間，所述接收器 將顯示流i的最后一個(gè)圖像(在此情況下，無(wú)序地傳輸?shù)膒圖像)。如從圖2中看出， 直到^2r才顯示流2第一個(gè)圖像(w)。與B圖像一樣，可假設(shè)其中一接收到整個(gè)影像 即可開始顯示的理想化。明顯地，如果可在從to到的間隔期間傳輸整個(gè)圖像/仏 則其將及時(shí)地到達(dá)以防止緩沖器發(fā)生下溢。如果假設(shè)可用于傳輸信號(hào)的數(shù)據(jù)速率是r，
則圖像/0 (iV/。)的最大大小變得受限，如下
(1) M"2rr
如果將流2壓縮為平均數(shù)據(jù)速率r，則此將是平均圖像大小的兩倍。然而，由于 在不使用運(yùn)動(dòng)補(bǔ)償幀間預(yù)測(cè)的情況下壓縮I圖像，因此其將往往比平均圖像大得多。 在許多情況下，其將往往比平均圖像大小的兩倍大，且因此將需要增加壓縮比以確保 滿足此約束。此可在預(yù)處理步驟期間實(shí)行。
將顯示的下一圖像是5/;然而，5/不僅依賴圖像作為參考圖像還依賴尸3。 此意味著必須在于時(shí)間37處顯示B7之前解碼f3及B7兩者。因此，對(duì)必須在從t0 到t3r的間隔期間進(jìn)行解碼的三個(gè)圖像的組合大小強(qiáng)加約束，艮P-
(2) A^+A^+A^3R
所述約束在此之后變得更容易
(3) W;o+Mv+W^+W^S47)"
(4) iV/o十iVw十Wjj;十Afe十Wm十Ww ^ <57>"
(5) Mo十A^十A^十A^十A^5十A^十Ww S 7!Tr
可通過(guò)重新壓縮序列的下一圖像來(lái)實(shí)行每一連續(xù)約束。 一旦緩沖器占有層級(jí)積累 到其中其原本已在原始編碼假設(shè)下的同一點(diǎn)，則不需要進(jìn)一步調(diào)整。在幾乎所有情況 下，緩沖器層級(jí)的此相等性到已完成第一圖像群組(gop)時(shí)發(fā)生。gop的概念定義 在mpeg-2規(guī)范中，且為所屬領(lǐng)域的技術(shù)人員所熟知。一般來(lái)說(shuō)，gop是mpeg譯 碼視頻流內(nèi)的連續(xù)圖像群組。
依據(jù)以上約束(1)及(2)，可看出必須在從t2r到t3r的間隔期間傳輸兩個(gè)額外圖 像。意圖是在^3r時(shí)顯示5h然而，不可在不首先重構(gòu)參考圖像尸3的情況下重構(gòu)
貝。如果遵循mpeg-2的規(guī)則且假設(shè)s/將不用作用于其它圖像的參考，則可得出以 下結(jié)論為重現(xiàn)5/而消耗的位在考慮盡可能快地恢復(fù)完全視頻質(zhì)量的目標(biāo)時(shí)將不具 有價(jià)值。通常，當(dāng)可能將額外位分配給為重構(gòu)B圖像而依賴的參考幀時(shí)，使用B圖像 是非常合理的。然而，由于約束(1)、且明確地說(shuō)約束(2),第一參考幀(/0及尸3) 的質(zhì)量將發(fā)生稍微降級(jí)。
出于此原因，且為放寬約束(2)所強(qiáng)加的要求，將I幀后面的第一圖像轉(zhuǎn)換為簡(jiǎn) 單的p圖像是有利的，如圖3中所示。圖3圖解說(shuō)明如何沿時(shí)間線34將視頻編程流30 ("流1")拼接到內(nèi)容流32 ("流2")。在此實(shí)例中，已將圖2的5/轉(zhuǎn)換為
尸/且已將52轉(zhuǎn)換為尸2。還已重新產(chǎn)生尸3以依據(jù)尸2作為參考來(lái)替代/0。這些P圖
像中的每一者將在視頻重現(xiàn)準(zhǔn)確性中引入遞增的改進(jìn)。在以下列出的新約束中，應(yīng)注
意，(2B) 、 (3B)及(4B)不僅比先前約束(2)及(3)更適于此遞增的改進(jìn)策略，
其還更易于實(shí)現(xiàn)。 (1B) M"27 "
(2B) A^+W尸/S^ (3B) A^鼎十iVp^4rr
(4B) 7Vw+;Vw+Ww S 5 7>*
(5B) Ww+Ww+A^+W尸;!+iVf6+iV^ S <5丹
(6B) A^+jVw+A^+A^+A^+A^+Afe S 77>
先前實(shí)例已假設(shè)其中M(—加上參考圖像對(duì)之間的B圖像的數(shù)目)等于3的簡(jiǎn)單 GOP結(jié)構(gòu)。此為在實(shí)際中最常使用的設(shè)定。然而，M可任意地增加或減小到值2，且 此將不影響約束的形式或滿足所述約束的能力。如果M-1 (根本無(wú)B圖像)，則不需 要緊化所述約束，只要從編碼器輸入到解碼器輸出的總等待時(shí)間保持相同即可。應(yīng)注 意，所述等待時(shí)間不可在不犧牲從所述M=l設(shè)定無(wú)縫地轉(zhuǎn)變到其中引入B圖像的其 它設(shè)定的能力的情況下減少。先前參照?qǐng)D3提供了 M=l與M=3的設(shè)定之間的無(wú)縫轉(zhuǎn) 變的實(shí)例。
還應(yīng)注意，在某些情況下，將圖像編碼為字段而非幀。有時(shí)，此在不改動(dòng)所述 GOP結(jié)構(gòu)的情況下實(shí)現(xiàn)。舉例來(lái)說(shuō)，參考可由編碼為字段的兩個(gè)圖像構(gòu)成且每一參考 對(duì)之間可存在四個(gè)B圖像(兩組字段對(duì))。此并不影響本文所闡述的分析或結(jié)論。
修改所述GOP結(jié)構(gòu)的另一原因是容納隨機(jī)存取點(diǎn)。隨機(jī)存取點(diǎn)是指流中其中可 執(zhí)行拼接的點(diǎn)。I幀必須始終存在于拼接入口點(diǎn)處。雖然對(duì)出口點(diǎn)的要求并不那么嚴(yán) 格，但始終安全的是假設(shè)在隨機(jī)存取點(diǎn)前面的一瞬間可存在清潔出口 。
圖4顯示沿時(shí)間線44從視頻編程流40 ("流l")到內(nèi)容流42 ("流2")的 轉(zhuǎn)變。如可看出，來(lái)自流l的出口已相對(duì)于圖3中的出口點(diǎn)延遲一個(gè)圖像間隔。在此 情況下，流1的最后一個(gè)圖像從B圖像改變?yōu)镻圖像，因?yàn)槲覀儾豢煽缭狡唇狱c(diǎn)使用 向后預(yù)測(cè)。如前所述，我們假設(shè)VBV緩沖器在對(duì)應(yīng)于流1的最后一個(gè)圖像的DTS的 時(shí)間處為空。此時(shí)刻在必須顯示流1的第一個(gè)圖像(/0)之前的兩個(gè)顯示間隔處發(fā)生。 因此，發(fā)送流1時(shí)的緩沖器占有層級(jí)將與在圖3的實(shí)例中觀察到的層級(jí)保持相同且相 同約束(1B)到(6B)將保持有效。
圖5圖解說(shuō)明其中出口點(diǎn)已相對(duì)于圖3中的出口點(diǎn)延遲兩個(gè)圖像間隔的實(shí)例。在 此情況下，通過(guò)在視頻編程流50 ("流l")的結(jié)束處從M-3切換到M=2來(lái)容納額 外圖像。應(yīng)注意，在流1的傳輸期間的VBV緩沖器分析保持不受此改變的影響，且相同約束(IB)到(6B)繼續(xù)適用。所述圖中還顯示內(nèi)容流52 ("流2")及時(shí)間線 54。
必須不僅在從網(wǎng)絡(luò)流(例如，視頻編程流)拼接到交替內(nèi)容(例如，廣告)時(shí)還 在從所述交替內(nèi)容返回到所述網(wǎng)絡(luò)流時(shí)防止VBV緩沖器發(fā)生下溢。如前所述，可通 過(guò)預(yù)調(diào)節(jié)所述交替內(nèi)容來(lái)確保此要求，而所述網(wǎng)絡(luò)內(nèi)容保持不受約束。
圖6中顯示從廣告流60 ("流l")回到網(wǎng)絡(luò)流62 ("流2")的拼接的實(shí)例。 在此情況下，所述廣告是流1而所述網(wǎng)絡(luò)是流2。如前所述，我們假設(shè)將解碼流2的 第一圖像(/0)且在時(shí)間線64上所示的時(shí)間t0處顯示所述圖像。因此，拼接器必須 及時(shí)完成發(fā)送流l并開始發(fā)送流2以到時(shí)間t0時(shí)整個(gè)地遞送圖像/0。同樣，我們可 確保通過(guò)假設(shè)最壞情況條件來(lái)滿足此約束。具體來(lái)說(shuō)，我們可假設(shè)圖像/o足夠大以填 滿整個(gè)VBV緩沖器。如果我們可在/0的解碼時(shí)間之前成功填充所述緩沖器，則我們 可假設(shè)我們的定時(shí)等于或先于所述網(wǎng)絡(luò)流的原始定時(shí)。因此，將不需要額外約束。
如果T^^r是當(dāng)從空狀態(tài)開始時(shí)填充所述緩沖器所需的時(shí)間，貝U:
(1) TsEw:N咖'/r
其中N^r是VBV緩沖器的最大大小且r是用于傳輸此程序的可用數(shù)據(jù)速率。實(shí) 際上，通常對(duì)在首先將存取單位插入到所述VBV緩沖器中時(shí)開始且在移除所述存取 單位時(shí)結(jié)束的最大延遲強(qiáng)加限制。如果此限制存在且規(guī)定為Tk^，則以上約束(1)
變?yōu)槭艿揭韵骂~外約束-
(2) 7^丁盧S
一旦確定7k^燈的值，則可通過(guò)確保到時(shí)間/;7k^r時(shí)完全傳輸流1的最后一個(gè) 圖像來(lái)實(shí)行所述約束。
從圖6中注意到，對(duì)緩沖器占有層級(jí)的調(diào)整在于？=-7^4^處開始發(fā)送流2之后周 期性地發(fā)生。此繼續(xù)進(jìn)行直到在時(shí)間t-2r處從VBV緩沖器移除流1的最后一個(gè)圖像。 然而，由于隨著層級(jí)因流2的傳輸而積累流1的最后圖像可存在于所述緩沖器中，因 此預(yù)處理器應(yīng)確保此額外數(shù)據(jù)不致使所述VBV緩沖器過(guò)早變滿。雖然此可能性因從 t-2r到f=0的長(zhǎng)間隔而是微小的，但容易執(zhí)行檢査，且流1的這些最后圖像的大小可 通過(guò)重新壓縮而減小(如果必要)。
一般來(lái)說(shuō)，可能在對(duì)視頻質(zhì)量具有最小影響的情況下施加約束(l)TSTART = NVBV/r (受到約束(2) 7k^r《r，)。雖然可需要增加廣告內(nèi)容的壓縮比以確保滿足此約 束，但影響通?？煞植加诖蠖鄶?shù)廣告持續(xù)時(shí)間上。實(shí)現(xiàn)此約束的最先步驟中的一者是 廢棄可增加完成發(fā)送流1所需要的時(shí)間的任何空包。然而，存在對(duì)可重新壓縮的廣告 內(nèi)容的量或可在試圖滿足約束(1)或(2)時(shí)廢棄的空包的數(shù)目的限制。如果對(duì)廣告 的一部分的進(jìn)一步壓縮將致使VBV緩沖器變滿或超過(guò)最大延遲r皿，則不存在重新 壓縮所述廣告中在此點(diǎn)之前的任何部分的原因。而是，重新壓縮應(yīng)局限于所述廣告的 后面部分。
從入口點(diǎn)調(diào)節(jié)產(chǎn)生的視頻降級(jí)通常局限于序列的最先三個(gè)圖像。幸而，人類視覺(jué)系統(tǒng)在緊接在景物改變之后的間隔期間對(duì)視頻保真度相對(duì)不敏感。此效應(yīng)稱作時(shí)間掩 蔽，其更詳細(xì)地描述于D/gZto/ FWeo 7m， oW戶ercep她/ Cod/"g， Wu and Rao,
page 558 (《數(shù)字視頻影像質(zhì)量及知覺(jué)譯碼》，吳及拉奧，第558頁(yè))中。還可參見(jiàn) B. Girod, 7T e Z"ybm加'ow ^zeoreft'cof/ Wgwy ca"ce o/sp加'fl/ tempora/ W(zsh'"g vz'cfeo Proc. SPIE International Conference on Human Vision, Visual Processing, and Digital Display, vol. 1077, 1989， pp. 178—187 (B.杰羅德，《視頻信號(hào)中空間及時(shí)間掩 蔽的信息理論性意義》，人類視覺(jué)、視覺(jué)處理及數(shù)字顯示器SPIE國(guó)際會(huì)議的會(huì)議記錄， 第1077巻，1989年，第178—187頁(yè))。實(shí)驗(yàn)顯示，全視覺(jué)敏感度直到景物改變發(fā)生 之后的至少100毫秒才恢復(fù)，且到此時(shí)，完全質(zhì)量將通過(guò)預(yù)處理而幾乎恢復(fù)是相當(dāng)可 能的。
通常，廣告內(nèi)容將以從黑色到可見(jiàn)影像的慢速淡變開始。在此類情況下，將需要 重新壓縮影像中的任一者以滿足入口點(diǎn)預(yù)調(diào)節(jié)要求是不可能的，且因此將不發(fā)生影像 降級(jí)。不以從黑色的淡變開始的大多數(shù)其它廣告將往往使第一影像保持靜態(tài)，同時(shí)人 類視覺(jué)系統(tǒng)調(diào)整到新景物。在此時(shí)間期間，運(yùn)動(dòng)預(yù)測(cè)過(guò)程將尤其有效，從而允許準(zhǔn)確 重現(xiàn)在相對(duì)短的時(shí)間周期中積累。
從出口點(diǎn)調(diào)節(jié)產(chǎn)生的增加的壓縮比是極細(xì)微的且通常分布于大多數(shù)廣告內(nèi)容上。 因此，據(jù)信，因出口點(diǎn)預(yù)調(diào)節(jié)所致的視頻質(zhì)量的任何降級(jí)是不重要的。
還存在改進(jìn)預(yù)調(diào)節(jié)過(guò)程期間的視頻譯碼效率的機(jī)會(huì)且此可有助于取消由重新壓 縮所致的視頻保真度的任何損失。舉例來(lái)說(shuō)，可使用H.264編碼或速率轉(zhuǎn)換軟件進(jìn)一 步壓縮廣告同時(shí)維持全影像保真度。由于不存在實(shí)時(shí)重新編碼要求，因此可用最有效 H.264譯碼工具可與高度最佳化的譯碼決策組合且作為多遍過(guò)程應(yīng)用于廣告流內(nèi)容。 還存在同時(shí)修改所述廣告內(nèi)容以更好地將特定觀眾或個(gè)人作為目標(biāo)的機(jī)會(huì)。舉例來(lái)說(shuō)， 可通過(guò)引入不同覆蓋來(lái)形成不同廣告版本。此廣告修改過(guò)程可在使用最佳化軟件離線 執(zhí)行時(shí)更加經(jīng)濟(jì)地且以優(yōu)越視頻質(zhì)量來(lái)實(shí)施。
圖7是顯示用于實(shí)施本發(fā)明的設(shè)備的組件的框圖。在所述圖中所示的實(shí)例中，網(wǎng) 絡(luò)流("流l")作為輸入經(jīng)由路徑70提供給廣告拼接器75。來(lái)自廣告分布器的廣告 經(jīng)由路徑72攜載到廣告預(yù)處理器74。由所述廣告預(yù)處理器如以上所描述預(yù)處理(入 口點(diǎn)調(diào)節(jié)及/或出口點(diǎn)調(diào)節(jié))所述廣告，且將經(jīng)處理的廣告存儲(chǔ)于廣告服務(wù)器76中。 當(dāng)需要時(shí)，經(jīng)預(yù)處理的廣告由廣告服務(wù)器76經(jīng)由路徑78 ("流2")提供給廣告拼接 器75。所述廣告拼接器如以上詳細(xì)描述將流1拼接到流2，且將所述拼接的流作為輸 出提供給(例如)傳輸器(未顯示)。
圖8到10是圖解說(shuō)明可用于實(shí)施本發(fā)明的軟件的實(shí)例的流程圖。應(yīng)理解，可根 據(jù)本發(fā)明開發(fā)用于實(shí)施本文所教示的方法的許多其它軟件例程。
圖8的流程圖提供描述第一組入口點(diǎn)調(diào)節(jié)約束的例程。所述例程在框80處開始， 且在框82處將參數(shù)"i"設(shè)定為一且將旗標(biāo)"refpic"(即，參考圖像)設(shè)定為零。在 框84處，做出關(guān)于是否已到達(dá)流2文件的結(jié)束("EOF")的確定。如果到達(dá)，則在框86處停止所述例程。否則，在框88處檢索下一圖像。如果refpic旗標(biāo)如框卯處所 確定等于一，則做出關(guān)于是否滿足約束(i)的確定。如果滿足，則在框108處使i遞 增一，且所述例程循環(huán)回到框84。否則，在框96處做出關(guān)于在框88處檢索到的圖像 是否為B圖像的確定。如果為B圖像，則重新壓縮當(dāng)前及先前圖像以滿足約束(D ， 如框104處所指示。接著在框106處將refpic設(shè)定為零，在框108處遞增i且所述例 程循環(huán)回到框84。
如果在框96處確定當(dāng)前圖像不是B圖像，則僅重新壓縮先前圖像以滿足約束(i)， 如框102處所示。接著在框108處遞增參數(shù)i，且所述例程循環(huán)回到框84。
在框90處，如果確定refpic不等于一，則做出關(guān)于當(dāng)前圖像是否為B圖像的確 定，如框94處所指示。如果為B圖像，則所述例程繼續(xù)到框100，在框100中做出關(guān) 于是否滿足約束(i)的確定。如果滿足所述約束，則在框112處使i遞增一，且所述 例程循環(huán)回到框84。否則，在框110處重新壓縮當(dāng)前圖像以滿足約束(i)，在框112 處使i遞增一，且所述例程循環(huán)回到框84。
如果當(dāng)前圖像如在框94處所確定不是B圖像，則在框98處將refpic設(shè)定為一且 所述例程循環(huán)回到框84。
圖9的流程圖描述第二 (B)組入口點(diǎn)約束(例如，以上所提及的約束1B、 2B、… 6B)。例程在框120處開始，且在框122處將i設(shè)定為一并將refpic設(shè)定為零。在框 124處，做出關(guān)于是否己到達(dá)EOF的確定。如果已到達(dá)，則所述例程在框126處停止。 否則，在框128處檢索下一圖像。如果在剛剛檢索到的圖像中refpic等于一，則做出 關(guān)于是否滿足約束(iB)的確定。如果滿足，則在框136處使i遞增一。否則，在框 134處重新壓縮先前圖像以滿足約束(iB)，且接著在框136處使i遞增一。
在己在框136處遞增i之后，或如果在框130處確定refpic不等于一，則在框138 處做出關(guān)于當(dāng)前圖像是否為B圖像的確定。如果不是B圖像，則在框144處將refpic 設(shè)定為一且所述例程循環(huán)回到框124。然而，如果當(dāng)前圖像是B圖像，則將其轉(zhuǎn)換為 P圖像且對(duì)其進(jìn)行壓縮以滿足約束(iB),如框140處所指示。接著，使i遞增一，將 refpic設(shè)定為零，且所述例程循環(huán)回到框124。
圖10的流程圖描述出口點(diǎn)約束。在于框150處開始之后，在框152處確定開始 發(fā)送下一流的最遲時(shí)間(TSTART)。接著，在框154處，檢驗(yàn)當(dāng)前流以確定完成發(fā)送 當(dāng)前流的時(shí)間(TEND)。如果如框156處所確定TEND《TSTART，則所述例程在框178 處結(jié)束。否則，將變量"k"設(shè)定為當(dāng)前流中的圖像的數(shù)目，如框158處所指示。接著 在框160處做出關(guān)于圖像k是否包含空包的確定。如果包含空包，則如框162處所示 廢棄所述空包，在框164處更新TEM)，且在框166處再次確定是否TEND《TSTART。 如果TWd現(xiàn)在小于或等于Tstakt，則所述例程在框178處結(jié)束。否則，如框168處所 指示略微增加用于圖像k的壓縮比，且在框170處更新TEND。接著，在框172處，做 出失于是否Tend《TsTART的新確定。如果Tend《TSTART，則所述例程在框178處 結(jié)束。否則，在框174處做出關(guān)于VBV緩沖器是否為滿的確定。如果為滿，則所述，則在框176處使k遞減一，且所述例程 循環(huán)回到框160。
現(xiàn)在應(yīng)了解，本發(fā)明提供用于預(yù)調(diào)節(jié)內(nèi)容(例如，廣告)及用于修飾用于插入到 網(wǎng)絡(luò)流及攜載數(shù)字視頻程序的類似內(nèi)容中的數(shù)字視頻流的方法。應(yīng)注意，上文對(duì)本發(fā) 明具體實(shí)施例的說(shuō)明是出于圖解及說(shuō)明的目的而呈現(xiàn)。其并非打算作為窮盡性說(shuō)明或 將本發(fā)明限定為所揭示的精確形式，且鑒于以上教示可做出各種修改及調(diào)適。因此， 本發(fā)明并不打算局限于本文所揭示的特定實(shí)施例，而是本發(fā)明包含歸屬于所附權(quán)利要 求書的范圍內(nèi)的所有實(shí)施例。
權(quán)利要求
1、一種用于將內(nèi)容插入到視頻編程中的方法，其包括在第一視頻流中接收所述視頻編程；在第二視頻流中接收所述內(nèi)容；及預(yù)調(diào)節(jié)所述第二視頻流以在所述第二視頻流中提供用于將所述第一視頻流拼接到所述第二視頻流的入口點(diǎn)。
2、 如權(quán)利要求l所述的方法，其中 所述內(nèi)容包括多個(gè)連續(xù)圖像；且所述預(yù)調(diào)節(jié)步驟包括限制所述內(nèi)容的第一圖像的最大大小。
3、 如權(quán)利要求2所述的方法，其中所述預(yù)調(diào)節(jié)步驟包括限制所述內(nèi)容的圖像序列的最大大小。
4、 如權(quán)利要求3所述的方法，其中所述圖像序列包括所述第二視頻流中按預(yù)定解碼次序的一組連貫圖像。
5、 如權(quán)利要求4所述的方法，其中-依據(jù)按呈現(xiàn)次序顯示所述序列所需的圖像顯示間隔"T"的數(shù)目及用于傳輸所述 序列的可用數(shù)據(jù)速率"r"確定所述圖像序列的所述最大大小。
6、 如權(quán)利要求5所述的方法，其中在每一連續(xù)圖像之后更新所述序列的所述最大大小且通過(guò)壓縮所述序列的下一 圖像予以實(shí)行。
7、 如權(quán)利要求6所述的方法，其中一旦接收所述內(nèi)容的緩沖器的占有層級(jí)積累到可能避免下溢及溢出條件中的至 少一者的層級(jí)，即暫停所述預(yù)調(diào)節(jié)步驟。
8、 如權(quán)利要求l所述的方法，其中 所述內(nèi)容包括多個(gè)連續(xù)圖像；所述連續(xù)圖像中的每一者是幀內(nèi)譯碼(I)圖像、預(yù)測(cè)(P)圖像或雙向(B)圖 像中的一者；且所述預(yù)調(diào)節(jié)步驟包括以下步驟將至少一個(gè)B圖像轉(zhuǎn)換為在所述入口點(diǎn)處的第一 I圖像后面的P圖像；及 限制所述內(nèi)容的圖像序列的所述最大大小，其中所述序列包含所述第一I圖像 及從所述B圖像轉(zhuǎn)換的所述P圖像。
9、 如權(quán)利要求8所述的方法，其包括將多個(gè)B圖像轉(zhuǎn)換為在所述第一I圖像后面的P圖像。
10、 如權(quán)利要求9所述的方法，其中依據(jù)按呈現(xiàn)次序顯示所述序列所需的圖像顯示間隔"T"的數(shù)目及用于傳輸所述序列的可用數(shù)據(jù)速率"r"確定所述圖像序列的所述最大大小。
11、 如權(quán)利要求10所述的方法，其中在每一連續(xù)圖像之后更新所述序列的所述最大大小且通過(guò)壓縮所述序列的所述 下一圖像予以實(shí)行。
12、 如權(quán)利要求ll所述的方法，其中一旦接收所述內(nèi)容的緩沖器的占有層級(jí)積累到可能避免下溢及溢出條件中的至 少一者的層級(jí)，即暫停所述預(yù)調(diào)節(jié)步驟。
13、 如權(quán)利要求l所述的方法，其中從在所述內(nèi)容的開始處產(chǎn)生預(yù)測(cè)(P)圖像而非雙向(B)圖像的編碼器接收所述 第二視頻流。
14、 如權(quán)利要求l所述的方法，其中 所述第二視頻流包括一系列不同的內(nèi)容流。
15、 一種用于將內(nèi)容插入到視頻編程中而不修改所述視頻編程的方法，其包括 在第 一視頻流中接收所述視頻編程； 在第二視頻流中接收所述內(nèi)容；將所述第一視頻流拼接到所述第二視頻流以用所述內(nèi)容替代所述視頻編程；預(yù)調(diào)節(jié)所述第二視頻流以在所述第二視頻流中提供出口點(diǎn)；及在所述出口點(diǎn)處將所述第二視頻流拼接到所述第一視頻流以在所述內(nèi)容終結(jié)時(shí) 返回到所述視頻編程。
16、 如權(quán)利要求15所述的方法，其中 將所述拼接的視頻流傳送到接收器；所述接收器將來(lái)自所述拼接的視頻流的數(shù)據(jù)暫時(shí)存儲(chǔ)于緩沖器中；且 所述預(yù)調(diào)節(jié)步驟基于足以在開始解碼所述第二視頻流將要拼接到的所述第一視頻流的第一圖像之前剛好用所述內(nèi)容的結(jié)束部分大致填充所述緩沖器的時(shí)間量建立所述出口點(diǎn)。
17、 如權(quán)利要求16所述的方法，其中將所述時(shí)間量約束為不超過(guò)預(yù)定最大值。
18、 如權(quán)利要求16所述的方法，其包括確定所述內(nèi)容的所述結(jié)束部分是否可能在開始所述解碼之前使所述緩沖器發(fā)生 溢出，且如果可能，貝IJ:重新壓縮所述結(jié)束部分以將其中的數(shù)據(jù)量減小到將不使所述緩沖器發(fā)生溢出的
19、 如權(quán)利要求15所述的方法，其中所述第二視頻流含有多個(gè)不同的內(nèi)容流。
20、 如權(quán)利要求15所述的方法，其包括預(yù)調(diào)節(jié)所述第二視頻流以在所述第二視頻流中提供用于將所述第一視頻流拼接 到所述第二視頻流的入口點(diǎn)。
全文摘要
本發(fā)明提供用于插入廣告或類似內(nèi)容及/或用以對(duì)視頻、音頻及/或數(shù)據(jù)流執(zhí)行修飾功能的方法。在網(wǎng)絡(luò)流中接收視頻編程。在內(nèi)容流中接收例如廣告的交替內(nèi)容。預(yù)調(diào)節(jié)所述內(nèi)容流以在其中提供用于將所述網(wǎng)絡(luò)流拼接到所述內(nèi)容流的入口點(diǎn)。還可對(duì)所述內(nèi)容流執(zhí)行預(yù)調(diào)節(jié)以在所述交替內(nèi)容(例如，廣告)已終結(jié)時(shí)提供用于拼接回到所述網(wǎng)絡(luò)流的出口點(diǎn)。
文檔編號(hào)H04N7/16GK101621663SQ20091015152
公開日2010年1月6日 申請(qǐng)日期2009年6月30日 優(yōu)先權(quán)日2008年6月30日
發(fā)明者彼得·蒙塔, 愛(ài)德華·A·克勞斯 申請(qǐng)人:Rgb網(wǎng)絡(luò)有限公司