具有自適應變換和多幀間層運動候選的幀間層紋理編碼的制作方法
【專利說明】具有自適應變換和多帖間層運動候選的帖間層紋理編碼
[0001] 香叉引用
[0002] 本發(fā)明主張在2012年11月15日提出的申請?zhí)枮?1/726, 837、標題為"Methods ofInter-layertexturepredictiontransformandmultipleInter-layermotion candidatesforSeal油leVideoCoding"的美國臨時專利申請的優(yōu)先權(quán)。因此在全文中 合并參考該些美國臨時專利申請案。
技術(shù)領(lǐng)域
[0003] 本發(fā)明是有關(guān)于可伸縮視頻編碼（seal油levideocoding,W下簡稱為SVC)，特 別是有關(guān)于包括自適應變換或多個帖間層運動候選的帖間層紋理編碼。
【背景技術(shù)】
[0004] 壓縮的數(shù)字視頻已經(jīng)廣泛地應用于各種應用中。例如，對于數(shù)字網(wǎng)絡(luò)的視頻流和 對于數(shù)字通道的視頻傳輸。通常，單一的視頻內(nèi)容可W通過不同特性的網(wǎng)絡(luò)來傳輸。舉例來 說，現(xiàn)場直播的體育賽事可W載入高寬帶數(shù)據(jù)流格式，并通過收費視頻服務(wù)的寬帶網(wǎng)絡(luò)傳 輸。在該樣的應用中，壓縮的視頻通常保存高分辨率和高品質(zhì)，W使得視頻內(nèi)容適合于高清 晰度設(shè)備，例如，高清晰度電視或高清晰度顯示器。相同的內(nèi)容也可W載入蜂窩數(shù)據(jù)網(wǎng)絡(luò)， W使得該內(nèi)容可W在便攜式設(shè)備（例如，智能手機或通過網(wǎng)絡(luò)連接的便攜式媒體設(shè)備）上 進行觀看。在此應用中，由于網(wǎng)絡(luò)帶寬問題和在智能手機或便攜式設(shè)備上的低分辨率顯示， 視頻內(nèi)容通常被壓縮為低分辨率和低比特率。因此，對于不同的網(wǎng)絡(luò)環(huán)境和不同的應用，視 頻分辨率和視頻品質(zhì)的要求是完全不同的。即使對于相同類型的網(wǎng)絡(luò)，用戶可能由于不同 的網(wǎng)絡(luò)基礎(chǔ)設(shè)施和網(wǎng)絡(luò)流量狀況而感受到不同的可用帶寬。因此，用戶可能希望當可用帶 寬較寬時，接收高品質(zhì)視頻，當網(wǎng)絡(luò)擁塞發(fā)生時，接收較低品質(zhì)但是很流暢的視頻。在另一 種情況下，高端媒體播放器可W處理的高分辨率和高比特率的已壓縮視頻，然而由于限制 的計算資源，低成本的媒體播放器僅能夠處理低分辨率和低比特率的已壓縮視頻。相應地， 需要W可伸縮的方法構(gòu)造壓縮的視頻，W使得可W從相同的已壓縮比特流處得到不同的時 空分辨率及/或不同品質(zhì)的視頻。
[0005] IS0/IECMPEG和ITU-TVCEG的聯(lián)合視頻工作組（jointvideoteam,JVT)標準 化對于H. 264/AVC標準的可伸縮視頻編碼擴展。比264/AVCSVC比特流包括從低帖率、低 分辨率、和低品質(zhì)到高帖率、高清晰度和高品質(zhì)的視頻信息。此種單一的比特流能夠適應各 種應用并能夠在不同配置的設(shè)備上顯示。相應地，H. 264/AVCSVC適用于各種視頻應用，例 如，視頻廣播、視頻數(shù)據(jù)流、W及視頻監(jiān)控，W適合網(wǎng)絡(luò)基礎(chǔ)設(shè)施，交通條件，用戶偏好等。
[0006] 在SVC中，提供S種可伸縮類型，即時間可伸縮，空間可伸縮和品質(zhì)可伸縮。SVC采 用多層編碼結(jié)構(gòu)來實現(xiàn)S維可伸縮。SVC的主要目標是產(chǎn)生一個可伸縮比特流，W容易和迅 速地適應各種傳輸信道、不同的顯示能力、和不同的計算資源相關(guān)的比特率要求，而無需反 式編碼（trans-coding)或重編碼（re-encoding)。SVC設(shè)計的一個重要特征是，在比特流 層化itstreamlevel)提供該種可伸縮性。換言之，對于取得縮減空間及/或時間分辨率 的視頻的比特流，可w簡單地通過從需要打算解碼的視頻的可伸縮比特流中提取網(wǎng)絡(luò)抽象 層（W下簡稱為NAL)單元（或網(wǎng)絡(luò)數(shù)據(jù)包）而獲得。可另外減小用于品質(zhì)精化的NAL單 元從而減小比特率及/或降低相應視頻品質(zhì)。
[0007] 如圖1所示，在SVC中，基于金字塔編碼（pyramidcoding)支持空間可伸縮。在 具有空間可伸縮性的SVC系統(tǒng)中，首先降采樣視頻序列，W獲得不同的空間分辨率（層） 的較小圖片。例如，原始分辨率的圖片110可W通過空間抽取120處理，而獲得分辨率降 低的圖片111。如圖1所示，分辨率降低的圖片111可進一步通過空間抽取121處理，而獲 得分辨率進一步減小的圖象112。除二階（dyadic)空間分辨率之外，該空間分辨率在每一 層減小一半，SVC還支持任意分辨率的比率，該被稱為擴展空間可縮放（extendedspatial seal油ility，ES巧。圖1中的SVC系統(tǒng)描述了S層空間可伸縮系統(tǒng)的示意圖，其中第0層 對應于具有最低空間分辨率的圖片，第2層對應于具有最高空間分辨率的圖片。不需要參 考其他層，可W編碼第0層，即單層的編碼。例如，使用編碼運動補償和帖內(nèi)預測130編碼 最底層圖片112。
[0008] 運動補償和帖內(nèi)預測130將生成語法元素和編碼相關(guān)信息（例如，運動信息），W 進一步用于滴編碼140。圖1實際上描述了一個聯(lián)合SVC系統(tǒng)，該系統(tǒng)提供空間可伸縮和 品質(zhì)可伸縮（也稱為SNR可伸縮）。該系統(tǒng)也可提供時間可伸縮，該并沒有明確顯示出來。 對于每一個單層編碼，編碼殘差（resi化alcodingerrors)可W使用SNR增強層編碼150 而改善。圖1中SNR增強層可W提供多個品質(zhì)層（level)(品質(zhì)可伸縮）。支持分辨率層的 每一個品質(zhì)層，可W由各自的單層運動補償和帖內(nèi)預測進行編碼，例如非可伸縮編碼系統(tǒng)。 基于一個或多個的較低空間層，也可W使用帖間層編碼來編碼每個較高空間層。舉例來說， 在宏塊或其他區(qū)塊單元的基礎(chǔ)上，使用根據(jù)第0層視頻的帖間層預測或者使用單層編碼， 來自適應編碼第1層視頻。同樣地，使用基于重構(gòu)的第1層視頻的帖間層預測或使用單層 編碼，來自適應編碼第2層視頻。如圖1所不，第1層圖片111可W通過運動補償和帖內(nèi) 預測131、基本層滴編碼141和SNR增強層編碼151來編碼。如圖1所示，運動補償和帖內(nèi) 預測131也利用重建的基本層視頻數(shù)據(jù)，其中在空間第1層中的編碼塊可使用重建的基本 層視頻數(shù)據(jù)作為附加的帖內(nèi)預測數(shù)據(jù)（即，不設(shè)及運動補償）。相似地，第2層圖片110可 W通過運動補償和帖內(nèi)預測132、基本層滴編碼142和SNR增強層編碼152來編碼。來自所 有空間層的基本層比特流和SNR增強層比特流通過復用器160復用產(chǎn)生可伸縮的比特流。 由于帖間層編碼，可W提高編碼效率。此外，編碼空間第1層需要的信息取決于重建的第0 層（帖間層預測）。SVC系統(tǒng)中較高層被稱為增強層。H.264SVC提供S種類型的帖間層預 測工具：帖間層運動預測、帖間層帖內(nèi)預測、W及帖間層殘差預測。
[000引在SVC中，增強層巧L)可W重新使用在基本層脅）中的運動信息，W減少帖間 層運動數(shù)據(jù)冗余。例如，增強層宏塊編碼可W使用一個標志，例如在mb_type之前的base, mode_flag被確定為指示增強層運動信息是否是直接來自于基本層。如果base_mode_flag 等于1時，增強層宏塊的分割數(shù)據(jù)W及相關(guān)的參考索引和運動矢量來自基本層中同一位置 的8X8區(qū)塊相應的數(shù)據(jù)?；緦拥膮⒖紙D片索引直接用于增強層。增強層的運動矢量是 自與基本層相關(guān)的數(shù)據(jù)來進行縮放的。此外，已縮放的基本層運動矢量可W被用作增強層 的附加的運動矢量預測子（predictor)。
[0010] 帖間層殘差預測使用上采樣的基本層殘差信息，W減少所需編碼增強層殘差的信 息?？墒褂秒p線性濾波器來區(qū)塊式化lock-wise)上采樣基本層的同一位置的殘差，W及基 本層的同一位置的殘差可用作在增強層中對應宏塊的殘差的預測。參考層殘差的上采樣W 變換區(qū)塊為基礎(chǔ)來完成，W確保濾波沒有穿越變換區(qū)塊的邊界。
[0011] 與帖間層殘差預測相似，帖間層帖內(nèi)預測降低增強層的冗余紋理信息。通過區(qū)塊 式上采樣同一位置的基本層重建信號，來產(chǎn)生增強層的預測。在帖間層帖內(nèi)預測（ILIP，也 稱為帖間層紋理預測）上采樣過程中，分別將4