專(zhuān)利名稱：用于在通信網(wǎng)絡(luò)中編碼數(shù)據(jù)的方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本申請(qǐng)案大體上涉及多媒體信號(hào)處理，且更確切地說(shuō)，涉及視頻編碼及解碼方法 及系統(tǒng)。
背景技術(shù)：
例如無(wú)線通信網(wǎng)絡(luò)等數(shù)據(jù)網(wǎng)絡(luò)必須在為單個(gè)終端定制的服務(wù)與提供給大量終端的 服務(wù)之間作出取舍。舉例來(lái)說(shuō)，向大量資源有限的便攜裝置(例如，訂戶、用戶、手 持機(jī)等)分配多媒體內(nèi)容是一個(gè)復(fù)雜的問(wèn)題。因此，對(duì)于網(wǎng)絡(luò)管理者、內(nèi)容零售者及 服務(wù)提供者而言，具有以快速且有效的方式分配內(nèi)容及/或其它網(wǎng)絡(luò)服務(wù)的方式且以此 方式來(lái)提高帶寬利用率及功率效率是非常重要的。
在當(dāng)前內(nèi)容傳遞/媒體分配系統(tǒng)中，將多媒體內(nèi)容打包成傳輸超幀以用于經(jīng)由分配 網(wǎng)絡(luò)傳送。每一超幀可打包有足以在接收裝置處產(chǎn)生預(yù)定持續(xù)時(shí)間的呈現(xiàn)的視頻幀。 當(dāng)接收到超幀時(shí)，接收裝置操作以將所接收的視頻幀串聯(lián)成視頻幀流，所述視頻幀流 被解碼以再現(xiàn)視頻呈現(xiàn)。
遺憾的是，任何特定超幀均可能含有比后續(xù)超幀多或少的數(shù)據(jù)。結(jié)果，輸送多媒 體內(nèi)容的超幀流可能會(huì)表現(xiàn)出"突發(fā)性"(burstiness)或位速率"可變性"特性，此 特性指示在不同超幀之間波動(dòng)的位速率。此突發(fā)性可能會(huì)以不合意的方式影響接收裝 置的性能。
因此，需要一種跨越時(shí)間及/或?qū)佣交鶄鬏數(shù)亩嗝襟w數(shù)據(jù)的突發(fā)性及/或位速 率可變性的方式。

發(fā)明內(nèi)容
在一個(gè)或一個(gè)以上方面中，提供一種平滑系統(tǒng)(包含方法及設(shè)備)以平滑所傳輸?shù)?多媒體數(shù)據(jù)。舉例來(lái)說(shuō)，所述平滑系統(tǒng)操作以跨越時(shí)間及/或?qū)佣交鶄鬏數(shù)亩嗝襟w 數(shù)據(jù)的突發(fā)性及/或位速率可變性。
在特定方面中，提供一種用于處理多媒體數(shù)據(jù)的方法。所述方法可包含以下中的 一者或一者以上檢測(cè)與多媒體數(shù)據(jù)的一個(gè)或一個(gè)以上部分相關(guān)聯(lián)的平滑度因子；及 基于所述平滑度因子來(lái)確定需要平滑。所述方法還可包含將選定的多媒體數(shù)據(jù)從多媒 體數(shù)據(jù)的第一選定部分移動(dòng)到多媒體數(shù)據(jù)的第二選定部分，其中平滑度因子被調(diào)整。
在特定方面中，提供一種用于處理多媒體數(shù)據(jù)的設(shè)備。所述設(shè)備可包含以下中的 一者或一者以上檢測(cè)器，其經(jīng)配置以檢測(cè)與多媒體數(shù)據(jù)的一個(gè)或一個(gè)以上部分相關(guān) 聯(lián)的平滑度因子，且基于所述平滑度因子來(lái)確定需要平滑。所述設(shè)備還可包含編碼器， 所述編碼器經(jīng)配置以將選定的多媒體數(shù)據(jù)從多媒體數(shù)據(jù)的第一選定部分移動(dòng)到多媒體 數(shù)據(jù)的第二選定部分，其中平滑度因子被調(diào)整。
在特定方面中，提供一種用于處理多媒體數(shù)據(jù)的設(shè)備。所述設(shè)備可包含以下中的 一者或一者以上用于檢測(cè)與多媒體數(shù)據(jù)的一個(gè)或一個(gè)以上部分相關(guān)聯(lián)的平滑度因子 的裝置；及用于基于所述平滑度因子來(lái)確定需要平滑的裝置。所述設(shè)備還可包含用于 將選定的多媒體數(shù)據(jù)從多媒體數(shù)據(jù)的第一選定部分移動(dòng)到多媒體數(shù)據(jù)的第二選定部分 的裝置，其中平滑度因子被調(diào)整。
在特定方面中，提供一種機(jī)器可讀媒體，其上存儲(chǔ)有指令，所存儲(chǔ)的指令包括一 個(gè)或一個(gè)以上代碼部分，且可在一個(gè)或一個(gè)以上機(jī)器上執(zhí)行。 一個(gè)或一個(gè)以上代碼部 分可包含用于檢測(cè)與多媒體數(shù)據(jù)的一個(gè)或一個(gè)以上部分相關(guān)聯(lián)的平滑度因子的代碼。 一個(gè)或一個(gè)以上代碼部分還可包含用于基于所述平滑度因子來(lái)確定需要平滑的代碼。 一個(gè)或一個(gè)以上代碼部分還可包含用于將選定的多媒體數(shù)據(jù)從多媒體數(shù)據(jù)的第一選定 部分移動(dòng)到多媒體數(shù)據(jù)的第二選定部分的代碼，其中平滑度因子被調(diào)整。
在審閱下文所陳述的


具體實(shí)施方式
及權(quán)利要求書(shū)后，將更容易明白特 定方面的其它實(shí)施例。

結(jié)合附圖參看以下具體實(shí)施方式
將更容易明白本文中描述的前述方面，其中-圖1展示包含平滑系統(tǒng)的方面的示范性網(wǎng)絡(luò)；圖2展示供平滑系統(tǒng)的方面中使用的示范性平滑邏輯；
圖3A至圖3D展示說(shuō)明根據(jù)平滑系統(tǒng)的方面的平滑處理的實(shí)例；
圖4展示供平滑系統(tǒng)的方面中使用的示范性方法；及
圖5展示供平滑系統(tǒng)的方面中使用的示范性平滑邏輯。
具體實(shí)施例方式
在一個(gè)或一個(gè)以上方面中，提供一種平滑系統(tǒng)，其操作以在時(shí)間及/或?qū)由掀交?媒體傳輸。在一方面中，所述平滑系統(tǒng)檢測(cè)平滑度因子，平滑度因子指示與多媒體傳 輸相關(guān)聯(lián)的突發(fā)性及/或位速率可變性。如果需要調(diào)整平滑度因子，則平滑系統(tǒng)操作以 編碼及/或移動(dòng)多媒體傳輸?shù)囊曨l幀，以便調(diào)整平滑度因子。結(jié)果，減少對(duì)可能正試圖 解碼和重現(xiàn)內(nèi)容的接收裝置的處理負(fù)擔(dān)。所述系統(tǒng)適合用于無(wú)線網(wǎng)絡(luò)環(huán)境，但可用于
任何類(lèi)型的有線或無(wú)線網(wǎng)絡(luò)環(huán)境，包括(但不限于)通信網(wǎng)絡(luò)、公共網(wǎng)絡(luò)(例如，因特 網(wǎng))、私用網(wǎng)絡(luò)(例如虛擬私用網(wǎng)絡(luò)(VPN))、局域網(wǎng)絡(luò)、廣域網(wǎng)絡(luò)、長(zhǎng)距離網(wǎng)絡(luò)或任 何其它類(lèi)型的數(shù)據(jù)網(wǎng)絡(luò)。
以下詳細(xì)描述是針對(duì)特定所描述的方面；然而，可以如權(quán)利要求書(shū)所界定和涵蓋 的許多不同方式來(lái)實(shí)施本發(fā)明。在此描述中，參考圖式，在圖式中始終用相同數(shù)字來(lái) 指示相同部分。
殖
在內(nèi)容傳遞/媒體分配系統(tǒng)中，將多媒體內(nèi)容打包成傳輸超幀且在通信網(wǎng)絡(luò)上將其 傳遞到裝置。舉例來(lái)說(shuō)，通信網(wǎng)絡(luò)可利用正交頻分多路復(fù)用(OFDM)將傳輸超幀從 網(wǎng)絡(luò)服務(wù)器廣播到一個(gè)或一個(gè)以上移動(dòng)裝置。應(yīng)注意，分配系統(tǒng)不限于使用OFDM技 術(shù)，且也可使用例如碼分多址(CDMA)、時(shí)分多址(TDMA)及例如TCP/IP等傳送 控制協(xié)議等其它技術(shù)。
可包含多個(gè)子幀的傳輸超幀可經(jīng)配置以傳輸選定量的多媒體數(shù)據(jù)(例如，特定數(shù) 目個(gè)子幀、特定的時(shí)間量、帶寬利用率等等)。舉例來(lái)說(shuō)，傳輸超幀可經(jīng)配置以輸送多 個(gè)多媒體通道，且每一通道可提供足以在接收裝置處產(chǎn)生選定持續(xù)時(shí)間(亦即， 一秒) 的多媒體呈現(xiàn)的多媒體數(shù)據(jù)。因而，可使用三十個(gè)傳輸超幀來(lái)傳輸輸送三十秒多媒體 呈現(xiàn)的通道。
通常，多媒體內(nèi)容包含實(shí)時(shí)或準(zhǔn)實(shí)時(shí)的串流視頻幀，所述串流視頻幀在被接收時(shí) 一般需要被處理。視頻幀中的每一者可配置為具有對(duì)應(yīng)大小的若干類(lèi)型的視頻幀中的 一者。舉例來(lái)說(shuō)， 一種類(lèi)型的視頻幀為可獨(dú)立解碼的幀內(nèi)譯碼幀(I幀)。I幀包含提供完整視頻圖像所必需的全部數(shù)據(jù)且因此可包含大量數(shù)據(jù)。其它視頻幀類(lèi)型包括時(shí)間 上預(yù)測(cè)的P幀或雙向預(yù)測(cè)的B幀，時(shí)間上預(yù)測(cè)的P幀或雙向預(yù)測(cè)的B幀參考I幀及/ 或其它P幀及/或B幀。因?yàn)镻幀及B幀不可獨(dú)立解碼(亦即，其參考其它幀)，所以 其包含較少數(shù)據(jù)且其大小通常小于I幀。此外，通信網(wǎng)絡(luò)還可有助于多層傳輸。舉例 來(lái)說(shuō)，傳輸超幀可輸送基本層(對(duì)于特定視頻幀)及一個(gè)或一個(gè)以上增強(qiáng)層(對(duì)于其 它視頻幀)。因而，所輸送的層的數(shù)目也影響傳輸超幀的總大小。
在多媒體內(nèi)容傳輸期間，每一傳輸超幀可打包有足以在接收裝置處產(chǎn)生預(yù)定持續(xù) 時(shí)間的呈現(xiàn)的視頻幀。因而，每一傳輸超幀包括某一數(shù)目的視頻幀，所述視頻幀包含 I幀類(lèi)型、P幀類(lèi)型及B幀類(lèi)型的某種組合。舉例來(lái)說(shuō)，第一傳輸超幀可包含I幀類(lèi)型 及P幀類(lèi)型，且后續(xù)傳輸超幀可包含P幀類(lèi)型及B幀類(lèi)型。當(dāng)接收到傳輸超幀時(shí)，接 收裝置操作以將所接收的視頻幀串聯(lián)成視頻幀流，視頻幀流被解碼以再現(xiàn)視頻呈現(xiàn)。
多媒體處理系統(tǒng)可包含視頻編碼器，所述視頻編碼器使用基于國(guó)際標(biāo)準(zhǔn)(例如， 運(yùn)動(dòng)圖片專(zhuān)家組(MPEG)-l、-2及-4標(biāo)準(zhǔn)、國(guó)際電信聯(lián)盟(ITU)-TH.263標(biāo)準(zhǔn)及ITU-T H.264標(biāo)準(zhǔn)及其對(duì)應(yīng)部分一ISO/IECMPEG-4第10部分(亦即，高級(jí)視頻編碼(AVC)) 的編碼方法來(lái)編碼多媒體數(shù)據(jù)，所述標(biāo)準(zhǔn)中的每一者出于所有目的以引用方式完整地 并入本文中。此編碼(且通過(guò)擴(kuò)展，解碼)方法大體上是針對(duì)壓縮多媒體數(shù)據(jù)以用于 傳輸及/或存儲(chǔ)。壓縮可被廣泛認(rèn)為是從多媒體數(shù)據(jù)中移除冗余的過(guò)程。
可依據(jù)圖片的序列來(lái)描述視頻信號(hào)，圖片包括幀(整個(gè)圖片)或半幀(field)(例 如，交錯(cuò)視頻流包含圖片的交替的奇數(shù)行或偶數(shù)行的半幀)。此外，每一幀或半幀可進(jìn) 一步包括兩個(gè)或兩個(gè)以上的片(slice),或者幀或半幀的子部分。視頻編碼方法通過(guò)使 用無(wú)損或有損壓縮算法壓縮每一幀來(lái)壓縮視頻信號(hào)。幀內(nèi)幀譯碼(本文中也稱為幀內(nèi) 譯碼)是指僅使用一幀來(lái)編碼所述幀。幀間幀譯碼(本文中也稱為幀間譯碼)是指基 于其它"參考"幀來(lái)編碼一幀。舉例來(lái)說(shuō)，視頻信號(hào)常常表現(xiàn)出時(shí)間冗余，其中在幀 的時(shí)間序列上彼此接近的幀至少具有彼此匹配或至少部分地彼此匹配的部分。
例如視頻編碼器等多媒體處理器可通過(guò)將一幀分割成像素的子集來(lái)編碼所述幀。 像素的這些子集可稱為塊或宏塊，且可包括(例如)包含16xl6像素(或者更多或更 少的像素)的陣列的宏塊。編碼器可進(jìn)一步將每一 16x16宏塊分割成子塊。每一子塊 可進(jìn)一步包含額外子塊。舉例來(lái)說(shuō)，16x16宏塊的子塊可包括16x8子塊及8x16子塊。 16x8子塊及8x16子塊中的每一者可包括(例如)8x8子塊，8x8子塊自身可包括(例 如)4x4子塊、4x2子塊及2x4子塊等。術(shù)語(yǔ)"塊"可指代宏塊或任何大小的子塊。
編碼器可使用基于幀間譯碼運(yùn)動(dòng)補(bǔ)償?shù)乃惴▉?lái)利用連續(xù)幀之間的時(shí)間冗余。運(yùn)動(dòng)補(bǔ)償算法識(shí)別一個(gè)或一個(gè)以上參考幀的至少部分地與一塊匹配的部分。所述塊可在幀 中相對(duì)于所述參考幀的匹配部分而位移。此位移由一個(gè)或一個(gè)以上運(yùn)動(dòng)向量來(lái)表征。 所述塊與所述參考幀的部分匹配的部分之間的任何差別可依據(jù)一個(gè)或一個(gè)以上殘差 (residual)來(lái)表征。編碼器可將一幀編碼為包含用于所述幀的特定分割的運(yùn)動(dòng)向量及 殘差中的一者或一者以上的數(shù)據(jù)?？赏ㄟ^(guò)將成本函數(shù)(所述成本函數(shù)例如使具有失真 或感知失真的編碼大小與由編碼產(chǎn)生的幀的內(nèi)容平衡)近似最小化來(lái)選擇用于編碼一 幀的塊的特定分區(qū)。
幀間譯碼實(shí)現(xiàn)的壓縮效率比幀內(nèi)譯碼高。然而，當(dāng)因通道誤差等丟失參考數(shù)據(jù)(例 如，參考幀或參考半幀)時(shí)，幀間譯碼可能會(huì)產(chǎn)生問(wèn)題。除因誤差而丟失參考數(shù)據(jù)之 外，參考數(shù)據(jù)還可能因在幀間譯碼幀處對(duì)視頻信號(hào)的初始采集或重新采集而不可用。 在這些情況下，對(duì)幀間譯碼數(shù)據(jù)的解碼可能是不可能的，或可能導(dǎo)致不合意的誤差及/ 或誤差傳播。這些情景可能導(dǎo)致(例如)視頻流同步的丟失。
可獨(dú)立解碼的幀內(nèi)譯碼幀實(shí)現(xiàn)視頻信號(hào)的同步。MPEG-x標(biāo)準(zhǔn)及H.26x標(biāo)準(zhǔn)使用 稱為圖片組(GOP)的東西，GOP包含I幀及時(shí)間上預(yù)測(cè)的P幀或雙向預(yù)測(cè)的B幀， 時(shí)間上預(yù)測(cè)的P幀或雙向預(yù)測(cè)的B幀參考GOP內(nèi)的I幀及/或其它P及/或B幀。提高 壓縮率需要較長(zhǎng)的GOP，但較短的GOP允許較迅速的采集及同步。增加I幀的數(shù)目 將準(zhǔn)許較迅速的采集及同步，但其代價(jià)是較低的壓縮比。下文描述平滑系統(tǒng)的方面。 應(yīng)注意，平滑系統(tǒng)可利用上文描述的編碼/解碼技術(shù)、格式及/或標(biāo)準(zhǔn)中的任一者。
所描述的方面
圖1展示包含平滑系統(tǒng)的方面的示范性網(wǎng)絡(luò)100。網(wǎng)絡(luò)100包含利用數(shù)據(jù)網(wǎng)絡(luò)106 與多個(gè)裝置104通信的服務(wù)器102。在一方面中，服務(wù)器102操作以使用任何類(lèi)型的 通信鏈路108與網(wǎng)絡(luò)106通信。網(wǎng)絡(luò)106可為任何類(lèi)型的有線及/或無(wú)線網(wǎng)絡(luò)，例如包 含OFDM、 CDMA、 TDMA、 TCP/IP及/或任何其它合適技術(shù)的網(wǎng)絡(luò)。網(wǎng)絡(luò)106使用例 如OFDM鏈路或任何其它合適類(lèi)型的無(wú)線通信鏈路110與裝置104通信。服務(wù)器102 操作以將多媒體內(nèi)容傳輸?shù)窖b置104。為了清楚起見(jiàn)，下文參照裝置U2來(lái)描述網(wǎng)絡(luò) 100的操作。然而，所述系統(tǒng)適于與裝置104中的任一者一起使用。
在一方面中，服務(wù)器102包含組幀邏輯(framing logic) 114，其操作以接收多媒 體內(nèi)容以便經(jīng)由網(wǎng)絡(luò)106傳輸。舉例來(lái)說(shuō)，在一方面中，多媒體內(nèi)容包含視頻幀流， 視頻幀包含I幀、P幀及B幀中的一者或一者以上。在一方面中，多媒體內(nèi)容也可包 含通道切換視頻(CSV)幀，其是I幀的低質(zhì)量/分辨率版本且經(jīng)配置以提供快速通道 采集及同步。下文中將CSV幀稱為C幀。在一方面中，組幀邏輯114操作以將多媒體內(nèi)容打包成超幀(SF)的序列，超幀 的序列可表示(例如)選定的呈現(xiàn)時(shí)間間隔。方面也可包括由特定數(shù)目的視頻幀(且因 而由可變時(shí)間間隔)以及其它SF界定準(zhǔn)則界定的超幀。舉例來(lái)說(shuō)，在一方面中，每一 超幀含有足以產(chǎn)生多媒體內(nèi)容的一秒呈現(xiàn)的數(shù)據(jù)。因而，組幀邏輯114以將表示多媒 體內(nèi)容的視頻幀流打包成超幀的序列(如116處所示)為目標(biāo)來(lái)操作。應(yīng)注意，超幀 可包含多個(gè)通道，且超幀打包有用于每一通道的多媒體數(shù)據(jù)。然而，為了清楚起見(jiàn)， 本文中僅論述一個(gè)通道，但平滑系統(tǒng)的方面同樣可應(yīng)用于超幀中的任何數(shù)目的通道。
發(fā)射器118操作以接收超幀并如廣播120所說(shuō)明經(jīng)由網(wǎng)絡(luò)106將超幀廣播。裝置 112在接收器122處接收廣播120。接收器122對(duì)所述廣播進(jìn)行解調(diào)，且超幀中含有的 視頻幀被傳遞到解碼器124。解碼器124操作以對(duì)所述視頻幀進(jìn)行解碼，所述視頻幀 接著由再現(xiàn)邏輯126再現(xiàn)于裝置112上。
在一方面中，服務(wù)器102包含平滑邏輯128，其操作以檢測(cè)與傳輸超幀相關(guān)聯(lián)的 平滑度因子。舉例來(lái)說(shuō)，平滑度因子可指示超幀表現(xiàn)出突發(fā)性及/或位速率可變性。平 滑度因子也可指示傳輸超幀的任何特性或狀況，且可基于所述特性或狀況而執(zhí)行本文 中描述的平滑過(guò)程。
在突發(fā)性情況下，在經(jīng)由網(wǎng)絡(luò)106傳輸之前，平滑邏輯128操作以平滑含有多媒 體內(nèi)容的傳輸超幀的位速率。舉例來(lái)說(shuō)，將選定數(shù)目的視頻幀打包成超幀116中的每 一者。視每一超幀中的視頻幀的類(lèi)型而定，每一超幀的總位速率可能會(huì)存在較大變化， 從而導(dǎo)致不合意的突發(fā)性。
在一方面中，平滑邏輯128操作以跨越超幀邊界(時(shí)間)處理視頻幀，以便平滑 不同超幀之間的位速率可變性。舉例來(lái)說(shuō)，在一方面中，平滑邏輯128操作以選擇兩 個(gè)或兩個(gè)以上待處理的超幀。在所述超幀中的一者中，I幀以較低質(zhì)量編碼且因此包 含較少數(shù)據(jù)。此外，在I幀之后的P幀經(jīng)編碼而具有從I幀中提取的數(shù)據(jù)。接著將經(jīng) 編碼的I幀及P幀定位到不同超幀中。因而，可將通常包含大量數(shù)據(jù)的I幀編碼成較 小的"變瘦的"I幀或It幀?？蓪⑼ǔ０^少量數(shù)據(jù)的后續(xù)P幀編碼成"變胖的"P 幀或Pf幀，"變胖的"P幀或Pf幀可包括從原始I幀中移除的數(shù)據(jù)。變瘦的It幀及變胖 的Pf幀位于不同超幀中，所述超幀可與其原始位置不同或可能不與其原始位置不同。 結(jié)果，超幀的序列的平滑度被調(diào)整。舉例來(lái)說(shuō)，超幀的序列的總位速率可變性被調(diào)整 從而具有較小可變性。
平滑邏輯128操作以使用若干技術(shù)(其中將選定的視頻幀變瘦、變胖、移動(dòng)到不 同超幀中且/或在視頻層之間移動(dòng))來(lái)調(diào)整傳輸超幀的平滑度因子。舉例來(lái)說(shuō)，可使用上文提及的編碼技術(shù)中的任一者及/或任何其它合適的編碼技術(shù)來(lái)編碼所描述的視頻 幀。在另一方面中，如果超幀正輸送多個(gè)層，則平滑系統(tǒng)操作以在所述層之間移動(dòng)視 頻幀以獲得所述層之間的較佳平衡。
在另一方面中，平滑系統(tǒng)并不操作以平滑不同超幀之間的位速率可變性，而改為 操作以增加位速率可變性。舉例來(lái)說(shuō)，可能需要在傳輸超幀之間具有增加的位速率可 變性。在此情況下，平滑系統(tǒng)操作以利用類(lèi)似的編碼技術(shù)來(lái)調(diào)整平滑度因子，以便增 加一個(gè)或一個(gè)以上傳輸超幀的總位速率及/或位速率可變性。
在本文檔的其它段落中提供對(duì)平滑邏輯128的操作的更詳細(xì)描述。應(yīng)注意，圖1 中說(shuō)明的平滑系統(tǒng)只是一個(gè)實(shí)施方案，且在方面的范圍內(nèi)其它實(shí)施方案是可能的。
圖2展示供在平滑系統(tǒng)的方面中使用的示范性平滑邏輯200。舉例來(lái)說(shuō)，平滑邏 輯200適于用作圖1中所示的平滑邏輯128。平滑邏輯200包含緩沖器202、檢測(cè)器 204及編碼器206，其全部耦合到數(shù)據(jù)總線208。應(yīng)理解，緩沖器202、檢測(cè)器204、 編碼器206及/或數(shù)據(jù)總線208中的--者或一者以上可被組合及/或分成一個(gè)或一個(gè)以 上物理及/或邏輯組件。
緩沖器202包含任何合適的可操作以緩沖一個(gè)或一個(gè)以上超幀的存儲(chǔ)器或存儲(chǔ)裝 置，所述一個(gè)或一個(gè)以上超幀包含用于經(jīng)由網(wǎng)絡(luò)傳輸?shù)亩嗝襟w視頻幀。舉例來(lái)說(shuō)，在 一方面中，超幀是由組幀邏輯114產(chǎn)生且如216處所示被輸入到平滑邏輯200。舉例 來(lái)說(shuō)，超幀210、 212及214是由組幀邏輯114產(chǎn)生且被輸入到平滑邏輯200。緩沖器 202足夠大從而足以緩沖(或存儲(chǔ))任何所要數(shù)目的超幀。舉例來(lái)說(shuō)，在一方面中， 緩沖器202具有緩沖十個(gè)超幀的能力，十個(gè)超幀表示多媒體內(nèi)容的十秒呈現(xiàn)。出于此 描述的目的，僅在緩沖器202中展示了超幀212及214，然而，緩沖器202可經(jīng)配置 以保持任何數(shù)目的超幀。
超幀212及214中打包有視頻幀，視頻幀可呈任何格式，包括(但不限于)I幀、 P幀、B幀、C幀及/或任何其它類(lèi)型的幀。舉例來(lái)說(shuō)，超幀212及214各自打包有四 個(gè)視頻幀。存儲(chǔ)在緩沖器202中的視頻幀可由檢測(cè)器204及編碼器206經(jīng)由數(shù)據(jù)總線 208接入。
在一方面中，檢測(cè)器204包含CPU、處理器、門(mén)陣列、硬件邏輯、存儲(chǔ)器元件、 虛擬機(jī)、軟件及/或硬件與軟件的任何組合中的一者或一者以上。檢測(cè)器204操作以檢 測(cè)與經(jīng)緩沖的超幀相關(guān)聯(lián)的平滑度因子。舉例來(lái)說(shuō)，在一方面中，根據(jù)超幀中的數(shù)據(jù) 量及/或根據(jù)不同超幀之間的數(shù)據(jù)量的差別來(lái)確定平滑度因子。舉例來(lái)說(shuō)，平滑度因子 可指示經(jīng)緩沖的超幀的突發(fā)性(亦即，總位速率及/或位速率可變性)。在另一方面中，平滑度因子可指示傳輸超幀的任何其它特性，且檢測(cè)器204可操作以基于此或出于任 何其它目的而確定需要平滑。因而，平滑系統(tǒng)可操作以出于任何目的及/或?yàn)閷?shí)現(xiàn)與多 媒體內(nèi)容的傳輸及再現(xiàn)相關(guān)的任何所要目標(biāo)而執(zhí)行平滑過(guò)程。
在一方面中，檢測(cè)器204操作以測(cè)試平滑度因子從而確定超幀是否具有超過(guò)選定 閾值的位速率。舉例來(lái)說(shuō)，檢測(cè)器204檢測(cè)選定超幀中包括的視頻數(shù)據(jù)量是否超過(guò)預(yù) 定閾值。在另一方面中，檢測(cè)器204操作以測(cè)試平滑度因子從而確定連續(xù)超幀的位速 率的變化是否超過(guò)選定閾值。舉例來(lái)說(shuō)，檢測(cè)器204操作而以逐個(gè)超幀為基礎(chǔ)來(lái)處理 緩沖器202中的超幀。檢測(cè)每一超幀的位速率，且如果位速率的變化超過(guò)選定閾值(亦 即，突發(fā)性)，則檢測(cè)器204通知編碼器206且識(shí)別與檢測(cè)到的突發(fā)性相關(guān)聯(lián)的那些超 幀。
在另一方面中，檢測(cè)器204基于平滑度因子來(lái)檢測(cè)突發(fā)性的缺乏。舉例來(lái)說(shuō)，可 能需要具有與傳輸超幀相關(guān)聯(lián)的突發(fā)性及/或高位速率可變性。在此情況下，檢測(cè)器 204確定平滑度因子且檢測(cè)平滑度因子何時(shí)指示突發(fā)性的缺乏及/或高位速率可變性的 缺乏。在此情況下，檢測(cè)器204通知編碼器206且識(shí)別與突發(fā)性的缺乏相關(guān)聯(lián)的那些 超幀，以便可增加超幀之間的突發(fā)性。
出于此描述的目的，將假定檢測(cè)器204已檢測(cè)到與超幀212相關(guān)聯(lián)的平滑度因子 已超過(guò)所要閾值及/或范圍。舉例來(lái)說(shuō)，與超幀214相比，超幀212具有高的數(shù)據(jù)速率， 且結(jié)果，超過(guò)位速率可變性閾值。檢測(cè)器204接著就此狀況通知編碼器206,且識(shí)別 超幀212及214。
在一方面中，檢測(cè)器204操作以確定緩沖器202中的一個(gè)或一個(gè)以上超幀的大小 從而查明(亦即，檢査及/或驗(yàn)證)相鄰超幀具有適當(dāng)大小，使得所述超幀可承載可能 引起平滑過(guò)程的額外數(shù)據(jù)。如果確定相鄰超幀可承載較多數(shù)據(jù)，則檢測(cè)器204通知編 碼器206繼續(xù)進(jìn)行平滑過(guò)程。出于此描述的目的，將假定檢測(cè)器204已確定超幀214 可承載額外數(shù)據(jù)，從而使得平滑過(guò)程可繼續(xù)。
在一方面中，編碼器206包含CPU、處理器、門(mén)陣列、硬件邏輯、存儲(chǔ)器元件、 虛擬機(jī)、軟件及/或硬件與軟件的任何組合中的一者或一者以上。在一方面中，編碼器 206操作以編碼I幀以便減小其大小，從而產(chǎn)生變瘦的It幀。將使用從變瘦的I幀節(jié)省 的位來(lái)編碼后續(xù)P幀以便增加其大小及質(zhì)量，從而產(chǎn)生變胖的Pf幀。通過(guò)將變瘦的It 幀及變胖的Pf幀布置成跨越超幀邊界而出現(xiàn)，可隨時(shí)間而平滑選定超幀的總位速率。
作為一實(shí)例，將假定檢測(cè)器204已檢測(cè)平滑度因子且已確定超幀212與超幀214 之間的位速率的變化超過(guò)了選定閾值。編碼器206首先確定超幀212包括I幀218。在一方面中，編碼器206操作以使I幀218變瘦且將來(lái)自此I幀的數(shù)據(jù)編碼到P幀220 中。當(dāng)所述過(guò)程完成時(shí)，超幀212包含變瘦的It幀222，且超幀214包含變胖的Pf幀 224。結(jié)果，降低了超幀212的位速率且提高了超幀214的位速率，以便提供位速率平 滑。接著如226處所示從緩沖器202輸出經(jīng)平滑的超幀。
在另一方面中，編碼器206也可操作以通過(guò)將幀從一個(gè)超幀移動(dòng)到另一超幀來(lái)調(diào) 整一個(gè)或一個(gè)以上超幀的時(shí)間邊界。舉例來(lái)說(shuō)，出于位速率平滑的目的，可將It幀(或 正常的I幀)移動(dòng)到后續(xù)超幀，借此增加所述超幀中的視頻幀的總數(shù)目，此實(shí)際上是 對(duì)超幀之間的時(shí)間邊界的調(diào)整。在又一方面中，編碼器206操作以在正在傳輸超幀中 輸送的層之間移動(dòng)視頻幀，以便較佳地平衡那些層。
因此，在操作期間，在平滑系統(tǒng)的方面中，編碼器206可操作以執(zhí)行以下功能(單 獨(dú)地或以其任何組合)中的一者或一者以上。
1. 使I幀變瘦以產(chǎn)生It幀。
2. 以優(yōu)于變瘦的I幀的質(zhì)量改進(jìn)使P幀變胖以產(chǎn)生Pf幀。
3. 將It幀(或I幀)從一個(gè)超幀移動(dòng)到另一超幀。
4. 將Pf幀(或P幀)從一個(gè)超幀移動(dòng)到另一超幀。
5. 將C幀從一個(gè)超幀移動(dòng)到另一超幀。
6. 在由超幀輸送的基本層與增強(qiáng)層之間移動(dòng)任何類(lèi)型的幀。
在一方面中，平滑系統(tǒng)包含存儲(chǔ)在機(jī)器可讀媒體上的一個(gè)或一個(gè)以上程序指令 ("指令")或一個(gè)或一個(gè)以上"代碼"集合，所述一個(gè)或一個(gè)以上程序指令或所述一個(gè) 或一個(gè)以上代碼集合在由至少一個(gè)機(jī)器(例如，平滑邏輯200處的一個(gè)或一個(gè)以上處 理機(jī)器)執(zhí)行時(shí)提供本文中描述的功能。舉例來(lái)說(shuō)，可將代碼集合從機(jī)器可讀媒體(例 如，軟盤(pán)、CDROM、存儲(chǔ)卡、快閃存儲(chǔ)器裝置、RAM、 ROM或與平滑邏輯200介接 的任何其它類(lèi)型的存儲(chǔ)器裝置或機(jī)器可讀媒體)加載到平滑邏輯200中。在另一方面 中，可將代碼集合從外部裝置或網(wǎng)絡(luò)資源下載到平滑邏輯200中。代碼集合在被執(zhí)行 時(shí)提供如本文中所描述的平滑系統(tǒng)的方面。
平滑實(shí)例
以下描述平滑邏輯200的示范性操作以提供在四個(gè)實(shí)例情形下的位速率平滑。應(yīng) 注意，可容易地修改平滑系統(tǒng)以提供多種情形下的位速率平滑的方面，且不應(yīng)將所描 述的情形理解為限制那些各種實(shí)施方案。舉例來(lái)說(shuō)，應(yīng)注意，平滑系統(tǒng)可操作以基于 總位速率、位速率可變性及/或出于任何其它原因而提供平滑。在參看圖3A至圖3D 描述的以下實(shí)例中，使用陰影來(lái)指示在平滑系統(tǒng)操作期間已被處理或移動(dòng)的幀。轉(zhuǎn)g獄
在非分層模式中，平滑系統(tǒng)的方面提供跨越SF邊界而處理及/或移動(dòng)幀以在時(shí)間 上平滑位速率。大體而言，可移動(dòng)任何類(lèi)型的幀(例如，I、 B、 P、 C等)。在一方面中， 可共同調(diào)整兩個(gè)或兩個(gè)以上幀的質(zhì)量，此可產(chǎn)生較佳的平滑效應(yīng)。也可考慮通道切換/ 采集。舉例來(lái)說(shuō)，如果存在由SF中的I幀提供的場(chǎng)景變化，則并不需要在所述SF中 發(fā)送冗余的C幀。因此，當(dāng)跨越SF邊界而移動(dòng)I幀時(shí)，也可移動(dòng)、刪除及/或插入C 幀以防止冗余，但C幀仍有助于適當(dāng)?shù)耐ǖ狼袚Q/采集。在一方面中，平滑邏輯200 經(jīng)配置以執(zhí)行以下功能。
圖3A說(shuō)明根據(jù)平滑系統(tǒng)的方面的非分層模式中的位速率平滑的實(shí)例。圖3A展示 輸入緩沖器202中存在的兩個(gè)超幀，亦即；SF(i)及SF(i+l)。將假定檢測(cè)器204已確定 SF(i+l)的位速率超過(guò)選定閾值，或幀SF(i)與SF(i+l)之間的位速率的變化超過(guò)選定閾 值，且因此已被確定會(huì)導(dǎo)致過(guò)度突發(fā)性。為了減小SF(i+l)的大小以平滑SF(i)與SF(i+l) 之間的位速率變化，編碼器206如下操作。
在SF(i+l)中，I幀302被變瘦以產(chǎn)生It幀304， It幀304被移動(dòng)到SF(i)。多余數(shù) 據(jù)被并入到保留在SF(i+l)中的變胖的Pf幀(Pf(w，2)) 306中。由于移動(dòng)It幀304導(dǎo)致了 SF(i+l)不具有可獨(dú)立解碼的幀，所以可從SF(i)中移除C幀308，且可將一C幀插入 在SF(i+l)中，如展示為C幀310。
分層模式
在一方面中，平滑系統(tǒng)操作以減少與包含一基本層加一個(gè)或一個(gè)以上增強(qiáng)層的視 頻幀的總位速率相關(guān)的突發(fā)性。在另一方面中，所述增強(qiáng)層可用來(lái)傳送各種幀類(lèi)型以 允許基本層與增強(qiáng)層之間的位速率平衡。
出于平衡基本層與增強(qiáng)層的目的，可通過(guò)基本層或增強(qiáng)層來(lái)發(fā)送B幀。在特定情 況下，可將I幀、P幀及C幀放置在增強(qiáng)層中。因而，是在基本層還是增強(qiáng)層中發(fā)送 幀可視基本層與增強(qiáng)層之間的位速率平衡而定。為簡(jiǎn)單起見(jiàn)，未展示可位于圖3B-D 中的基本層及增強(qiáng)層中的B幀，且I幀及P幀的實(shí)際數(shù)目可大于那些圖中所示的數(shù)目。 在一方面中，平滑邏輯200經(jīng)配置以執(zhí)行以下功能。
圖3B說(shuō)明根據(jù)平滑系統(tǒng)的方面的分層模式中的位速率平滑的實(shí)例。圖3B展示兩 個(gè)超幀，亦即；SF(i)及SF(i+l)，且還展示由那些超幀輸送的基本(Base)層及增強(qiáng)(Enh) 層。將假定超幀SF(i)及SF(i+l)存在于輸入緩沖器202中。將進(jìn)一步假定檢測(cè)器204 已確定SF(i)的位速率超過(guò)選定閾值，或SF(i)與SF(i+l)之間的位速率的變化超過(guò)選定 閾值且因此已被確定會(huì)導(dǎo)致過(guò)度突發(fā)性，或SF(i)中的I幀312導(dǎo)致難以平衡SF(i)中的兩個(gè)層。為了減小SF(i)的大小以得到較佳平衡，編碼器206如下操作。
由SF(i)的末尾處展示的I幀312來(lái)指示場(chǎng)景變化，所述場(chǎng)景變化導(dǎo)致基本層中的 突發(fā)性。在一方面中，平滑系統(tǒng)操作以使I幀312變瘦，且所得It幀314使SF(i)的基 本層的位速率降低。也編碼在I幀312之后的P幀316以在SF(i+l)中產(chǎn)生變胖的Pf 幀318，從而恢復(fù)由于使I幀312變瘦而損失的質(zhì)量。為簡(jiǎn)單起見(jiàn)，僅在SF(i+l)的增 強(qiáng)層中提供C幀。
圖3C說(shuō)明根據(jù)平滑系統(tǒng)的方面的分層模式中的位速率平滑的實(shí)例。圖3C展示兩 個(gè)超幀，亦即；SF(i)及SF(i+l)，且還展示由那些超幀輸送的基本(Base)層及增強(qiáng)(Enh) 層。將假定超幀SF(i)及SF(i+l)存在于輸入緩沖器202中。將假定檢測(cè)器204已確定 SF(i+l)的位速率超過(guò)選定閾值，或SF(i)與SF(i+l)之間的位速率的變化超過(guò)選定閾值 且因此已被確定會(huì)導(dǎo)致過(guò)度突發(fā)性，或SF(i+l)中的I幀320導(dǎo)致難以平衡SF(i+l)中 的兩個(gè)層。為了減小SF(i+l)的大小以得到較佳平衡，編碼器206如下操作。
由SF(i+l)的開(kāi)頭處的I幀320來(lái)表示場(chǎng)景變化。I幀320以較低質(zhì)量編碼以形成 變瘦的It幀322，變瘦的It幀322被移動(dòng)到超幀SF(i)。用來(lái)自變瘦的It幀的數(shù)據(jù)使P 幀324變胖以產(chǎn)生Pf幀326。因?yàn)镮t幀322可用于采集及同步，所以SF(i)中無(wú)需具有 冗余的C幀328，因此從SF(i)中移除冗余C幀328，且將C幀330插入到SF(i+l)中 以允許采集SF(i+l)。為了 SF(i)中的較佳平衡，332處所示的SF(i)中的最后兩個(gè)P幀 被移動(dòng)到如334處所示的增強(qiáng)層。
圖3D說(shuō)明根據(jù)平滑系統(tǒng)的方面的分層模式中的位速率平滑的實(shí)例。圖3D展示兩 個(gè)超幀，亦即；SF(i)及SF(i+l)，且還展示由那些超幀輸送的基本(Base)層及增強(qiáng)(Enh) 層。將假定超幀SF(i)及SF(i+l)存在于輸入緩沖器202中。將假定檢測(cè)器204已確定 SF(i+l)的位速率超過(guò)選定閾值，或SF(i)與SF(i+l)之間的位速率的變化超過(guò)選定閾值 且因此己被確定會(huì)導(dǎo)致過(guò)度突發(fā)性，或SF(i+l)中的I幀336導(dǎo)致難以平衡SF(i+l)中 的兩個(gè)層。為了減小SF(i+l)的大小以得到較佳平衡，編碼器206如下操作。
在I幀336如圖所示在SF(i+l)中間的情況下，可執(zhí)行前兩種方法中的任一者以提 供位速率平滑。如果執(zhí)行第二種方法，則使I幀336變瘦以形成變瘦的It幀338，變 瘦的It幀338被移動(dòng)到SF(i)。如342處所示，I幀336前面的P幀340也被移動(dòng)到SF(i)。 P幀340可位于基本層或增強(qiáng)層中，且在此實(shí)例中，P幀340被展示在增強(qiáng)層中以改 進(jìn)SF(i)的平衡。為允許在SF(i+l)中采集，移除位于SF(i)中的C幀344且將C幀346 插入到SF(i+l)中。使與I幀336相關(guān)聯(lián)的P幀348變胖以產(chǎn)生變胖的Pf幀350。
圖4展示用于平滑系統(tǒng)的方面中的示范性方法400。為清楚起見(jiàn)，本文中參照?qǐng)D2中所示的平滑邏輯200來(lái)描述方法400。舉例來(lái)說(shuō)，在一方面中，平滑邏輯200在一 個(gè)或一個(gè)以上處理機(jī)器上執(zhí)行一個(gè)或一個(gè)以上代碼或指令集合，以執(zhí)行下文描述的全 部、或經(jīng)選擇性組合、減少及/或重新排序的功能。
在方框402處，對(duì)一個(gè)或一個(gè)以上超幀進(jìn)行緩沖。在一方面中，從組幀邏輯114 接收包含多媒體內(nèi)容的超幀且在緩沖器202中對(duì)所述超幀進(jìn)行緩沖。
在方框404處，對(duì)關(guān)于經(jīng)緩沖的超幀是否需要平滑進(jìn)行確定。在一方面中，檢測(cè) 器204操作以確定并測(cè)試一指示是否需要平滑的平滑度因子。舉例來(lái)說(shuō)，如果選定超 幀的位速率超過(guò)選定閾值，則平滑度因子可指示不合意的突發(fā)性。在另一方面中，如 果超幀之間的位速率的變化超過(guò)選定閾值，則平滑度因子可指示不合意的突發(fā)性。在 一方面中，檢測(cè)器204操作以檢測(cè)經(jīng)緩沖的超幀中的突發(fā)性或任何不平衡。應(yīng)注意， 檢測(cè)器204可操作以確定出于任何原因或目的而需要平滑。如果不需要平滑，則方法 進(jìn)行到方框414。如果需要平滑，則方法進(jìn)行到方框406。
在方框406處，識(shí)別與所要的平滑相關(guān)聯(lián)的第一超幀及第二超幀(SF(i)及 SF(i+l))。舉例來(lái)說(shuō)，檢測(cè)器204操作以確定其間位速率經(jīng)歷較大變化的兩個(gè)超幀。 將所述超幀的身份傳遞到編碼器206。
在方框408處，對(duì)第一經(jīng)識(shí)別的超幀SF(i)中是否存在I幀進(jìn)行確定。舉例來(lái)說(shuō)， 編碼器206進(jìn)行此確定。如果存在I幀，則方法進(jìn)行到方框410。如果第一經(jīng)識(shí)別的 超幀SF(i)中不存在I幀，則方法進(jìn)行到方框416。
在方框410處，編碼第一經(jīng)識(shí)別的超幀SF(i)中的I幀以產(chǎn)生變瘦的It幀。舉例來(lái) 說(shuō)，編碼器206操作以編碼I幀，以便使其分辨率及/或質(zhì)量降低從而產(chǎn)生變瘦的It幀。
在方框412處，編碼第二超幀中的P幀以形成變胖的Pf幀。舉例來(lái)說(shuō)，編碼器206 操作以編碼第二經(jīng)識(shí)別的超幀SF(i+l)中的選定P幀，以便使經(jīng)移除以產(chǎn)生變瘦的It 幀的數(shù)據(jù)被編碼到P幀中，從而產(chǎn)生變胖的Pf幀。結(jié)果，第一經(jīng)識(shí)別的超幀SF(i)經(jīng) 歷大小(且因此位速率)的減小，且第二經(jīng)識(shí)別的超幀SF(i+l)經(jīng)歷大小(且因此位速 率)的增加，此使與超幀相關(guān)聯(lián)的檢測(cè)到的突發(fā)性減小。
在方框416處，已確定I幀位于第二經(jīng)識(shí)別的超幀SF(i+l)中且I幀變瘦以產(chǎn)生變 瘦的It幀。舉例來(lái)說(shuō)，編碼器206操作以編碼I幀以產(chǎn)生變瘦的It幀。
在方框418處，編碼在變瘦的It幀之后的P幀以產(chǎn)生變胖的Pf幀。在一方面中， 編碼器206操作以用從It幀導(dǎo)出的數(shù)據(jù)來(lái)編碼Pf幀。
在方框420處，將第二經(jīng)識(shí)別的超幀SF(i+l)中的It幀及任何先前P幀移動(dòng)到第一 經(jīng)識(shí)別的超幀SF(i)。舉例來(lái)說(shuō)，編碼器206操作以將SF(i+l)中的It幀及任何先前P幀移動(dòng)到第一經(jīng)識(shí)別的超幀SF(i)。此在圖3D中加以說(shuō)明。
在方框422處，對(duì)第一經(jīng)識(shí)別的超幀SF(i)中是否存在C幀進(jìn)行確定。在一方面中， 編碼器206進(jìn)行此確定。如果第一超幀SF(i)中不存在C幀，則方法進(jìn)行到方框414。 如果第一超幀SF(i)中存在C幀，則方法進(jìn)行到方框424。
在方框424處，移除第一經(jīng)識(shí)別的超幀SF(i)中的C幀，且將C幀插入在第二經(jīng) 識(shí)別的超幀SF(i+l)中。在一方面中，編碼器206執(zhí)行此功能。舉例來(lái)說(shuō)，移除圖3D 中的第一超幀SF(i)中所示的C幀344，且將C幀346插入在第二超幀SF(i+l)中。
在方框414處，如果需要?jiǎng)t平衡一個(gè)或一個(gè)以上超幀的層。在一方面中，編碼器 206操作以平衡一個(gè)或一個(gè)以上超幀的基本層與增強(qiáng)層。舉例來(lái)說(shuō)，在編碼幀并在超 幀之間移動(dòng)幀之后，可能需要通過(guò)將幀從基本層移動(dòng)到增強(qiáng)層(或?qū)瑥脑鰪?qiáng)層移動(dòng) 到基本層)來(lái)平衡基本層與增強(qiáng)層的大小。
因而，方法400操作以提供平滑系統(tǒng)的一方面。應(yīng)注意，方法400僅表示一個(gè)實(shí) 施方案且在所述方面的范圍內(nèi)其它實(shí)施方案是可能的。
圖5展示供在平滑系統(tǒng)的方面中使用的示范性平滑邏輯500。舉例來(lái)說(shuō)，平滑邏 輯500適于用作圖1中所示的平滑邏輯102。在一方面中，由至少一個(gè)處理器來(lái)實(shí)施 平滑邏輯500,所述至少一個(gè)處理器包含經(jīng)配置以執(zhí)行一個(gè)或一個(gè)以上代碼集合從而 提供如本文中所述的平滑系統(tǒng)的方面的一個(gè)或一個(gè)以上模塊。舉例來(lái)說(shuō)，每一模塊包 含硬件、軟件或其任何組合。
平滑邏輯500包含第一模塊502，所述第一模塊502包含用于檢測(cè)平滑度因子的 裝置，所述第一模塊502在一方面中包含檢測(cè)器204。平滑邏輯500還包含第二模塊 504，所述第二模塊504包含用于確定需要平滑的裝置，所述第二模塊504在一方面中 包含檢測(cè)器204。平滑邏輯500還包含第三模塊506，所述第三模塊506包含用于移動(dòng) 選定多媒體數(shù)據(jù)的裝置，所述第三模塊506在一方面中包含編碼器206。應(yīng)注意，平 滑邏輯500僅表示一個(gè)實(shí)施方案且在所述方面的范圍內(nèi)其它實(shí)施方案是可能的。
結(jié)合本文中所揭示的方面而描述的各種說(shuō)明性邏輯、邏輯塊、模塊及電路可以經(jīng) 設(shè)計(jì)以執(zhí)行本文中所描述的功能的通用處理器、數(shù)字信號(hào)處理器(DSP)、專(zhuān)用集成電 路(ASIC)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)或其它可編程邏輯裝置、離散門(mén)或晶體管邏 輯、離散硬件組件或其任何組合來(lái)實(shí)施或執(zhí)行。通用處理器可為微處理器，但在替代 方案中，所述處理器可為任何常規(guī)的處理器、控制器、微控制器或狀態(tài)機(jī)。處理器也 可實(shí)施為計(jì)算裝置的組合，例如，DSP與微處理器的組合、多個(gè)微處理器、與DSP核 心結(jié)合的一個(gè)或一個(gè)以上微處理器，或任何其它此配置。結(jié)合本文中所揭示的方面而描述的方法或算法的步驟可直接實(shí)施于硬件中、由處 理器執(zhí)行的軟件模塊中，或兩者的組合中。軟件模塊可駐存在RAM存儲(chǔ)器、快閃存 儲(chǔ)器、ROM存儲(chǔ)器、EPROM存儲(chǔ)器、EEPROM存儲(chǔ)器、寄存器、硬盤(pán)、可裝卸盤(pán)、 CD-ROM或此項(xiàng)技術(shù)中已知的任何其它形式的存儲(chǔ)媒體中。示范性存儲(chǔ)媒體耦合到處 理器，使得處理器可從存儲(chǔ)媒體讀取信息并將信息寫(xiě)入到存儲(chǔ)媒體。在替代方案中， 存儲(chǔ)媒體可整合于處理器。處理器及存儲(chǔ)媒體可駐存在ASIC中。ASIC可駐存在用戶 終端中。在替代方案中，處理器及存儲(chǔ)媒體可作為離散組件駐存在用戶終端中。
提供對(duì)所揭示方面的描述以使所屬領(lǐng)域的技術(shù)人員能夠制作或使用本發(fā)明。所屬 領(lǐng)域的技術(shù)人員可易于明白對(duì)這些方面的各種修改，且在不脫離本發(fā)明的精神或范圍 的情況下，本文中所界定的一般原理可應(yīng)用于其它方面，例如在實(shí)時(shí)消息傳輸服務(wù)或 任何通用無(wú)線數(shù)據(jù)通信應(yīng)用中。因此，本發(fā)明不希望限于本文中所示的方面，而是符 合與本文中所揭示的原理及新穎特征一致的最廣泛范圍。單詞"示范性"在本文中專(zhuān)
門(mén)用來(lái)意味著"充當(dāng)一實(shí)例、例子或說(shuō)明"。不必將本文中描述為"示范性"的任何方 面理解為比其它方面優(yōu)選或有利。
因此，雖然本文中已說(shuō)明并描述平滑系統(tǒng)的方面，但是應(yīng)了解，在不脫離其精神 或本質(zhì)特性的情況下，可對(duì)所述方面進(jìn)行各種改變。因此，本文中的揭示內(nèi)容及描述 希望說(shuō)明(但不限制)隨附權(quán)利要求書(shū)中所陳述的本發(fā)明的范圍。
權(quán)利要求
1.一種用于處理多媒體數(shù)據(jù)的方法，所述方法包含檢測(cè)與所述多媒體數(shù)據(jù)的一個(gè)或一個(gè)以上部分相關(guān)聯(lián)的平滑度因子；基于所述平滑度因子來(lái)確定需要平滑；以及將選定的多媒體數(shù)據(jù)從所述多媒體數(shù)據(jù)的第一選定部分移動(dòng)到所述多媒體數(shù)據(jù)的第二選定部分，其中所述平滑度因子被調(diào)整。
2. 根據(jù)權(quán)利要求1所述的方法，其中所述檢測(cè)包含檢測(cè)與所述多媒體數(shù)據(jù)的至少一個(gè) 部分相關(guān)聯(lián)的位速率何時(shí)超過(guò)選定閾值。
3. 根據(jù)權(quán)利要求1所述的方法，其中所述檢測(cè)包含檢測(cè)與所述多媒體數(shù)據(jù)的至少--個(gè) 部分相關(guān)聯(lián)的位速率何時(shí)下降到選定閾值以下。
4. 根據(jù)權(quán)利要求1所述的方法，其中所述檢測(cè)包含檢測(cè)所述多媒體數(shù)據(jù)的至少兩個(gè)部 分之間的位速率變化何時(shí)超過(guò)選定閾值。
5. 根據(jù)權(quán)利要求1所述的方法，其中所述移動(dòng)包含調(diào)整與多媒體數(shù)據(jù)的所述第一選定 部分及所述第二選定部分中的至少一者相關(guān)聯(lián)的持續(xù)時(shí)間。
6. 根據(jù)權(quán)利要求1所述的方法，其中所述移動(dòng)包含在多媒體數(shù)據(jù)的所述第一選定部分 與所述第二選定部分之間移動(dòng)與一個(gè)或一個(gè)以上視頻幀相關(guān)聯(lián)的數(shù)據(jù)。
7. 根據(jù)權(quán)利要求1所述的方法，其中所述移動(dòng)包含跨越與所述一個(gè)或一個(gè)以上部分相 關(guān)聯(lián)的時(shí)間邊界及層邊界中的至少一者移動(dòng)與一個(gè)或一個(gè)以上視頻幀相關(guān)聯(lián)的數(shù) 據(jù)。
8. 根據(jù)權(quán)利要求1所述的方法，其中所述移動(dòng)包含編碼第一視頻幀，以便減小第一視頻幀大小以產(chǎn)生其中移除了選定數(shù)據(jù)的變瘦的 視頻幀；以及編碼第二視頻幀以包括所述選定數(shù)據(jù)，以便增加第二視頻幀大小以產(chǎn)生變胖的 幀。
9. 根據(jù)權(quán)利要求8所述的方法，其中所述移動(dòng)包含跨越與所述一個(gè)或一個(gè)以上部分相 關(guān)聯(lián)的時(shí)間邊界及層邊界中的至少一者移動(dòng)所述變瘦的幀及所述變胖的幀中的至 少一者。
10. 根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包含平衡與所述至少一個(gè)或一個(gè)以上部分相 關(guān)聯(lián)的基本層大小與增強(qiáng)層大小。
11. 一種用于處理多媒體數(shù)據(jù)的設(shè)備，所述設(shè)備包含檢測(cè)器，其經(jīng)配置以檢測(cè)與所述多媒體數(shù)據(jù)的一個(gè)或一個(gè)以上部分相關(guān)聯(lián)的平滑度因子，且基于所述平滑度因子來(lái)確定需要平滑；以及編碼器，其經(jīng)配置以將選定多媒體數(shù)據(jù)從所述多媒體數(shù)據(jù)的第一選定部分移動(dòng)到 所述多媒體數(shù)據(jù)的第二選定部分，其中所述平滑度因子被調(diào)整。
12. 根據(jù)權(quán)利要求11所述的設(shè)備，其中所述檢測(cè)器經(jīng)配置以檢測(cè)與所述多媒體數(shù)據(jù)的 至少一個(gè)部分相關(guān)聯(lián)的位速率何時(shí)超過(guò)選定閾值。
13. 根據(jù)權(quán)利要求11所述的設(shè)備，其中所述檢測(cè)器經(jīng)配置以檢測(cè)與所述多媒體數(shù)據(jù)的 至少一個(gè)部分相關(guān)聯(lián)的位速率何時(shí)下降到選定閾值以下。
14. 根據(jù)權(quán)利要求11所述的設(shè)備，其中所述檢測(cè)器經(jīng)配置以檢測(cè)所述多媒體數(shù)據(jù)的至 少兩個(gè)部分之間的位速率變化何時(shí)超過(guò)選定閾值。
15. 根據(jù)權(quán)利要求11所述的設(shè)備，其中所述編碼器經(jīng)配置以調(diào)整與多媒體數(shù)據(jù)的所述 第一選定部分及所述第二選定部分中的至少一者相關(guān)聯(lián)的持續(xù)時(shí)間。
16. 根據(jù)權(quán)利要求11所述的設(shè)備，其中所述編碼器經(jīng)配置以在多媒體數(shù)據(jù)的所述第一 選定部分與所述第二選定部分之間移動(dòng)與一個(gè)或一個(gè)以上視頻幀相關(guān)聯(lián)的數(shù)據(jù)。
17. 根據(jù)權(quán)利要求11所述的設(shè)備，其中所述編碼器經(jīng)配置以跨越與所述一個(gè)或一個(gè)以 上部分相關(guān)聯(lián)的時(shí)間邊界及層邊界中的至少一者移動(dòng)與一個(gè)或一個(gè)以上視頻幀相 關(guān)聯(lián)的數(shù)據(jù)。
18. 根據(jù)權(quán)利要求11所述的設(shè)備，其中所述編碼器經(jīng)配置以編碼第一視頻幀，以便減小第一視頻幀大小以產(chǎn)生其中移除了選定數(shù)據(jù)的變瘦的 視頻幀；以及編碼第二視頻幀以包括所述選定數(shù)據(jù)，以便增加第二視頻幀大小以產(chǎn)生變胖的幀。 ，
19. 根據(jù)權(quán)利要求18所述的設(shè)備，其中所述編碼器經(jīng)配置以跨越與所述一個(gè)或一個(gè)以 上部分相關(guān)聯(lián)的時(shí)間邊界及層邊界中的至少一者移動(dòng)所述變瘦的幀及所述變胖的 幀中的至少一者。
20. 根據(jù)權(quán)利要求11所述的設(shè)備，其中所述編碼器經(jīng)配置以平衡與所述至少一個(gè)或一 個(gè)以上部分相關(guān)聯(lián)的基本層大小與增強(qiáng)層大小。
21. —種用于處理多媒體數(shù)據(jù)的設(shè)備，所述設(shè)備包含用于檢測(cè)與所述多媒體數(shù)據(jù)的一個(gè)或一個(gè)以上部分相關(guān)聯(lián)的平滑度因子的裝置； 用于基于所述平滑度因子來(lái)確定需要平滑的裝置；以及用于將選定多媒體數(shù)據(jù)從所述多媒體數(shù)據(jù)的第一選定部分移動(dòng)到所述多媒體數(shù) 據(jù)的第二選定部分的裝置，其中所述平滑度因子被調(diào)整。
22. 根據(jù)權(quán)利要求21所述的設(shè)備，其中所述用于檢測(cè)的裝置包含用于檢測(cè)與所述多媒 體數(shù)據(jù)的至少一個(gè)部分相關(guān)聯(lián)的位速率何時(shí)超過(guò)選定閾值的裝置。
23. 根據(jù)權(quán)利要求21所述的設(shè)備，其中所述用于檢測(cè)的裝置包含用于檢測(cè)與所述多媒 體數(shù)據(jù)的至少一個(gè)部分相關(guān)聯(lián)的位速率何時(shí)下降到選定閾值以下的裝置。
24. 根據(jù)權(quán)利要求21所述的設(shè)備，其中所述用于檢測(cè)的裝置包含用于檢測(cè)所述多媒體 數(shù)據(jù)的至少兩個(gè)部分之間的位速率變化何時(shí)超過(guò)選定閾值的裝置。
25. 根據(jù)權(quán)利要求21所述的設(shè)備，其中所述用于移動(dòng)的裝置包含用于調(diào)整與多媒體數(shù) 據(jù)的所述第一選定部分及所述第二選定部分中的至少一者相關(guān)聯(lián)的持續(xù)時(shí)間的裝 置。
26. 根據(jù)權(quán)利要求21所述的設(shè)備，其中所述用于移動(dòng)的裝置包含用于在多媒體數(shù)據(jù)的 所述第一選定部分與所述第二選定部分之間移動(dòng)與一個(gè)或一個(gè)以上視頻幀相關(guān)聯(lián) 的數(shù)據(jù)的裝置。
27. 根據(jù)權(quán)利要求21所述的設(shè)備，其中所述用于移動(dòng)的裝置包含用于跨越與所述一個(gè) 或一個(gè)以上部分相關(guān)聯(lián)的時(shí)間邊界及層邊界中的至少一者移動(dòng)與一個(gè)或一個(gè)以上 視頻幀相關(guān)聯(lián)的數(shù)據(jù)的裝置。
28. 根據(jù)權(quán)利要求21所述的設(shè)備，其中所述用于移動(dòng)的裝置包含-用于編碼第一視頻幀以便減小第一視頻幀大小以產(chǎn)生其中移除了選定數(shù)據(jù)的變 瘦的視頻幀的裝置；以及用于編碼第二視頻幀以包括所述選定數(shù)據(jù)以便增加第二視頻幀大小以產(chǎn)生變胖 的幀的裝置。
29. 根據(jù)權(quán)利要求28所述的設(shè)備，其中所述用于移動(dòng)的裝置包含用于跨越與所述一個(gè) 或一個(gè)以上部分相關(guān)聯(lián)的時(shí)間邊界及層邊界中的至少一者移動(dòng)所述變瘦的幀及所 述變胖的幀中的至少一者的裝置。
30. 根據(jù)權(quán)利要求21所述的設(shè)備，其進(jìn)一步包含用于平衡與所述至少一個(gè)或一個(gè)以上 部分相關(guān)聯(lián)的基本層大小與增強(qiáng)層大小的裝置。
31. —種機(jī)器可讀媒體，其上存儲(chǔ)有指令，所述所存儲(chǔ)的指令包括一個(gè)或一個(gè)以上代碼 部分，且可在一個(gè)或一個(gè)以上機(jī)器上執(zhí)行，所述一個(gè)或一個(gè)以上代碼部分包含-用于檢測(cè)與所述多媒體數(shù)據(jù)的一個(gè)或一個(gè)以上部分相關(guān)聯(lián)的平滑度因子的代碼； 用于基于所述平滑度因子來(lái)確定需要平滑的代碼；以及用于將選定多媒體數(shù)據(jù)從所述多媒體數(shù)據(jù)的第一選定部分移動(dòng)到所述多媒體數(shù) 據(jù)的第二選定部分的代碼，其中所述平滑度因子被調(diào)整。
32. 根據(jù)權(quán)利要求31所述的機(jī)器可讀媒體，其中所述檢測(cè)包含檢測(cè)與所述多媒體數(shù)據(jù) 的至少一個(gè)部分相關(guān)聯(lián)的位速率何時(shí)超過(guò)選定閾值。
33. 根據(jù)權(quán)利要求31所述的機(jī)器可讀媒體，其中所述用于檢測(cè)的代碼包含用于檢測(cè)與 所述多媒體數(shù)據(jù)的至少一個(gè)部分相關(guān)聯(lián)的位速率何時(shí)下降到選定閾值以下的代碼。
34. 根據(jù)權(quán)利要求31所述的機(jī)器可讀媒體，其中所述用于檢測(cè)的代碼包含用于檢測(cè)所 述多媒體數(shù)據(jù)的至少兩個(gè)部分之間的位速率變化何時(shí)超過(guò)選定閾值的代碼。
35. 根據(jù)權(quán)利要求31所述的機(jī)器可讀媒體，其中所述用于移動(dòng)的代碼包含用于調(diào)整與 多媒體數(shù)據(jù)的所述第一選定部分及所述第二選定部分中的至少一者相關(guān)聯(lián)的持續(xù) 時(shí)間的代碼。
36. 根據(jù)權(quán)利要求31所述的機(jī)器可讀媒體，其中所述用于移動(dòng)的代碼包含用于在多媒 體數(shù)據(jù)的所述第一選定部分與所述第二選定部分之間移動(dòng)與一個(gè)或一個(gè)以上視頻 幀相關(guān)聯(lián)的數(shù)據(jù)的代碼。
37. 根據(jù)權(quán)利要求31所述的機(jī)器可讀媒體，其中所述用于移動(dòng)的代碼包含用于跨越與 所述一個(gè)或一個(gè)以上部分相關(guān)聯(lián)的時(shí)間邊界及層邊界中的至少一者移動(dòng)與一個(gè)或 一個(gè)以上視頻幀相關(guān)聯(lián)的數(shù)據(jù)的代碼。
38. 根據(jù)權(quán)利要求31所述的機(jī)器可讀媒體，其中所述用于移動(dòng)的代碼包含用于編碼第一視頻幀以便減小第一視頻幀大小以產(chǎn)生其中移除了選定數(shù)據(jù)的變瘦的視頻幀的代碼；以及用于編碼第二視頻幀以包括所述選定數(shù)據(jù)以便增加第二視頻幀大小以產(chǎn)生變胖 的幀的代碼。
39. 根據(jù)權(quán)利要求38所述的機(jī)器可讀媒體，其中所述用于移動(dòng)的代碼包含用于跨越與 所述一個(gè)或一個(gè)以上部分相關(guān)聯(lián)的時(shí)間邊界及層邊界中的至少一者移動(dòng)所述變瘦 的幀及所述變胖的幀中的至少一者的代碼。
40. 根據(jù)權(quán)利要求31所述的機(jī)器可讀媒體，其進(jìn)一步包含用于平衡與所述至少一個(gè)或 一個(gè)以上部分相關(guān)聯(lián)的基本層大小與增強(qiáng)層大小的代碼。
全文摘要
本發(fā)明提出用于在通信網(wǎng)絡(luò)中編碼數(shù)據(jù)的方法及系統(tǒng)。在一方面中，提供一種用于處理多媒體數(shù)據(jù)的方法。所述方法包括檢測(cè)與所述多媒體數(shù)據(jù)的一個(gè)或一個(gè)以上部分相關(guān)聯(lián)的平滑度因子，及基于所述平滑度因子來(lái)確定需要平滑。所述方法還包括將選定的多媒體數(shù)據(jù)從所述多媒體數(shù)據(jù)的第一選定部分移動(dòng)到所述多媒體數(shù)據(jù)的第二選定部分，其中所述平滑度因子被調(diào)整。在一方面中，提供一種設(shè)備，所述設(shè)備包括檢測(cè)器，所述檢測(cè)器經(jīng)配置以檢測(cè)與所述多媒體數(shù)據(jù)的一個(gè)或一個(gè)以上部分相關(guān)聯(lián)的平滑度因子，且基于所述平滑度因子來(lái)確定需要平滑。所述設(shè)備還包括編碼器，所述編碼器經(jīng)配置以將選定的多媒體數(shù)據(jù)從所述多媒體數(shù)據(jù)的第一選定部分移動(dòng)到所述多媒體數(shù)據(jù)的第二選定部分。
文檔編號(hào)H04N7/24GK101627632SQ200780051837
公開(kāi)日2010年1月13日 申請(qǐng)日期2007年5月7日 優(yōu)先權(quán)日2007年3月1日
發(fā)明者陳培松, 強(qiáng) 高 申請(qǐng)人:高通股份有限公司