可縮放視頻編碼中的編碼依賴指示的制作方法
【專利說明】
[000。 本申請是申請日為2006年7月5日，申請?zhí)枮?200680023075. 5"，發(fā)明名稱為"可 縮放視頻編碼中的編碼依賴指示"的發(fā)明專利申請的分案申請。
技術領域
[0002] 本發(fā)明涉及可縮放視頻編碼并且具體地涉及在可縮放視頻編碼中指示編碼依賴。
【背景技術】
[0003] -些視頻編碼系統(tǒng)利用該樣的可縮放編碼，其中可W去除視頻序列的一些單元或 者單元組而不影響視頻序列其它部分的重建?？煽s放視頻編碼對于在利用具有寬范圍處理 能力的解碼器的系統(tǒng)中使用的許多多媒體應用和服務而言是合乎需要的特征?？煽s放位流 可W例如用于在流服務器中預編碼單播流的速率適配W及用于將單個位流發(fā)送到具有不 同能力和/或具有不同網(wǎng)絡條件的終端。
[0004] 通常通過將圖像峽分組成多個分級層來實施可縮放性。編碼成基礎層圖像峽的圖 像峽基本上僅包括在接收端對視頻信息解碼所必需的圖像峽?？蒞在基礎層之上確定一個 或者多個增強層，各增強層較下層而言改進了解碼視頻的質量。然而，可W通過僅對可縮放 位流的某些部分解碼來產(chǎn)生有意義的解碼表示。
[0005] 增強層可W增強時間分辨率（即峽速率）、空間分辨率或者僅增強質量。在一些 情況下，可W在某一位置、甚至是任意位置截取增強層的數(shù)據(jù)，由此具有一些附加數(shù)據(jù)的各 截取位置代表了越發(fā)增強的視覺質量。該樣的可縮放性稱為細顆粒化（顆粒度）可縮放性 (FG巧。與FGS對照而言，沒有提供細顆?；煽s放性的質量增強層所提供的可縮放性稱為 粗顆?；煽s放性（CG巧。
[0006] 在可縮放視頻編碼領域中的當前開發(fā)項目之一是W后將稱為口U-T H. 264視頻編 碼標準（也稱為IS0/IEC MPEG-4AVC)的可縮放擴展的可縮放視頻編碼（SVC)標準。根據(jù) SVC標準草案，在空間或者CGS增強層中的編碼畫面包括對層間預測基礎的指示。層間預測 包括對如下H個參數(shù)中一個或者多個參數(shù)的預測：編碼模式、運動信息和采樣殘留。對層間 預測的使用可W顯著地改進增強層的編碼效率。層間預測總是來自下層，即在對下層解碼 時從不需要高層。
[0007] 在可縮放視頻位流中，對于增強層畫面，針對層間預測而選擇來自任一個的畫面。 因而，如果視頻流包括多個可縮放層，則它可能包括在對整個上層進行解碼和回放時不需 要的中間層上的畫面。該樣的畫面稱為非必需畫面（用于對整個上層進行的解碼）。
[0008] 然而，現(xiàn)有技術的可縮放視頻方法具有嚴重缺點，即在對非必需畫面進行解碼之 前沒有用W指示該樣的依賴信息的手段。因而，解碼器必須對非必須畫面進行解碼，該在計 算量方面有所浪費，W及必須緩存對應的解碼畫面，該在存儲器消耗方面有所浪費?？蛇x 地，如果在特定時間位置的非必需畫面為非參考畫面，則解碼器可W等待畫面到達在需要 回放的可縮放層的該時間位置、然后解析依賴信息。然而，該一點造成端到端延遲增加，該 是實時視覺應用所無法接受的。

【發(fā)明內(nèi)容】

[0009] 現(xiàn)在發(fā)明了一種改進方法和實施該方法的技術設備，通過該方法和設備可W在非 必需畫面的解碼之前向解碼器指示它們。本發(fā)明的各種方面包括編碼和解碼方法、編碼器、 解碼器、視頻編碼設備、視頻解碼設備、用于執(zhí)行編碼和解碼的計算機程序W及數(shù)據(jù)結構， 該些方面的特征如下所述。公開了本發(fā)明的各種實施例。
[0010] 根據(jù)第一方面，根據(jù)本發(fā)明的方法是基于對包括基礎層和至少一個增強層的可縮 放視頻數(shù)據(jù)流進行編碼的思想，其中可縮放數(shù)據(jù)流在層的時間位置包括至少一個非必需畫 面，其中在所述時間位置和按照解碼順序繼所述時間位置之后對上層中的畫面進行的解碼 無需所述非必需畫面；W及在可縮放視頻數(shù)據(jù)流中用信號發(fā)送至少一個非必需畫面的信 息。
[0011] 根據(jù)一個實施例，一個或者多個增強層包括一個或者多個空間增強層、質量增強 層或者細顆粒度可縮放（FG巧增強層。
[0012] 根據(jù)一個實施例，在所述可縮放數(shù)據(jù)流的部分內(nèi)執(zhí)行所述信號發(fā)送。
[0013] 根據(jù)一個實施例，在補充增強信息（SEI)消息中執(zhí)行所述信號發(fā)送。
[0014] 根據(jù)第二方面，提供一種對包括基礎層和至少一個增強層的可縮放視頻數(shù)據(jù)流進 行解碼的方法，該方法包括：對與可縮放數(shù)據(jù)流一起接收的信號發(fā)送信息進行解碼，所述信 號發(fā)送信息包括與在層的時間位置的至少一個非必需畫面有關的信息；W及在不對非必需 畫面進行解碼的情況下在所述時間位置和按照解碼順序繼所述時間位置之后對在非必需 畫面W上的層中的畫面進行解碼。
[0015] 根據(jù)本發(fā)明的布置提供了顯著優(yōu)點。與可縮放視頻流相結合地用信號發(fā)送的非必 需畫面的指示信息使解碼器能夠在解碼之前確定非必需畫面，由此避免了對非必需畫面的 任何不必要的解碼和緩存。該減少了解碼過程的計算負荷和存儲器消耗。另外，根據(jù)本發(fā) 明的布置實現(xiàn)了維持最小的端到端延遲。
[0016] 本發(fā)明的更多方面包括布置用W實現(xiàn)上述方法的發(fā)明步驟的各種裝置。
【附圖說明】
[0017] 在下文中將參照附圖更具體地描述本發(fā)明的各種實施例，在附圖中：
[0018] 圖1示出了比264設計的概念結構；
[0019] 圖2示出了可縮放視頻流的編碼依賴分級的例子；
[0020] 圖3示出了可縮放視頻流的編碼依賴分級的另一例子；
[0021] 圖4示出了涉及到FGS層的可縮放視頻流的編碼依賴分級的例子；
[0022] 圖5示出了作為圖4依賴分級的一種變形的可縮放視頻流的編碼依賴分級的例 子；
[0023] 圖6示出了可縮放視頻流的編碼依賴分級的另一個例子；
[0024] 圖7示出了根據(jù)一實施例的編碼設備的簡化框圖；
[0025] 圖8示出了根據(jù)一實施例的解碼設備的簡化框圖；
[0026] 圖9示出了根據(jù)一優(yōu)選實施例的移動通信設備的框圖；
[0027] 圖10示出了本發(fā)明所應用的視頻通信系統(tǒng)。
【具體實施方式】
[0028] 本發(fā)明適用于所有使用可縮放視頻編碼的視頻編碼方法。視頻編碼標準包括 ITU-T H. 26UIS0/IEC MPEG-lVisual、ITU-T 比 262 或者 IS0/IEC MPEG-2Visual、ITU-T 比 263、IS0/IEC MPEG-4Visual 和口U-T H. 264(也稱為 IS0/IEC MPEG-4AVC)。此外，針對 新的視頻編碼標準也正在付諸努力。其中之一是將變?yōu)镠. 264/AVC的可縮放擴展的可縮放 視頻編碼（SVC)標準。當前正在JVT之下開發(fā)SVC標準，JVT是由口U-T VCEG和IS0/IEC MPEG形成的聯(lián)合視頻團隊。第二項努力是由中國音頻視頻編碼標準工作組（AV巧組織的對 中國視頻編碼標準的開發(fā)。
[0029] 下文是W H. 264視頻編碼為例對本發(fā)明的示例性說明。將W認為滿足于理解本 發(fā)明及其優(yōu)選實施例的細節(jié)程度來描述H. 264編碼。至于對實施H. 264的更具體描述可 參見H. 264標準，該標準的最新規(guī)范在2005年1月18-21日中國香港第14屆JVT會議的 N050dl "Draft of Version 4of 比 264/AVC"中有描述。
[0030] 根據(jù)圖1，比264/AVC區(qū)分視頻編碼層（VCL)和網(wǎng)絡抽象層（ML)該兩個不同的概 念層。V化和NAL是H. 264/AVC標準的部分。V化指定了編碼視頻信號的高效表示。H. 264/ AVC的NAL定義了在視頻編碼器本身與外界之間的接口。它在NAL單元上進行操作，該些 NAL單元對多數(shù)現(xiàn)有網(wǎng)絡的基于分組的方式給予支持。在NAL解碼器接口，假設W解碼順序 遞送NAL單元而分組要么被正確地接收、被丟失或者如果凈荷包含位錯誤則可W提高NAL 單元報頭中的錯誤標志。后一特征不是該標準的部分，因為該標志可W用于不同目的。然 而，它提供一種用W通過整個網(wǎng)絡用信號發(fā)送錯誤指示的方式。此外