基于變換下采樣的低碼率視頻編碼方法及系統(tǒng)的制作方法
【專利摘要】一種基于變換下采樣的低碼率視頻編碼方法及系統(tǒng)，包括：視頻信號的下采樣，利用二維變換進行下采樣，對低頻系數(shù)和高頻系數(shù)按照不同的方法進行編碼；低頻系數(shù)混合編碼框架編碼，將低頻系數(shù)映射并且向下取整歸一化后進行HEVC編碼；高頻系數(shù)的位平面編碼以及幀分割處理，利用位平面編碼掃描得到高頻系數(shù)中的大系數(shù)，再利用幀分割處理以宏塊為單位將其編碼。低、高頻系數(shù)編碼碼率分配，通過能量關(guān)系有效分配編碼碼率。本發(fā)明結(jié)合既保證了低頻系數(shù)編碼的重要性，同時結(jié)合高頻系數(shù)中大系數(shù)對視頻細(xì)節(jié)的影響，在編碼上達到了類似于HEVC的編碼效果。同時下采樣的引入使得編碼分辨率下降，整個編碼過程的復(fù)雜度得到了很大的降低。
【專利說明】基于變換下采樣的低碼率視頻編碼方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及的是一種視頻編解碼領(lǐng)域的技術(shù)，具體是一種通過利用變換來進行下 采樣，結(jié)合低頻系數(shù)的混合框架編碼和高頻系數(shù)的位平面編碼及幀分割處理實現(xiàn)低碼率信 道的編碼方法及系統(tǒng)。

【背景技術(shù)】
[0002] 視頻編解碼技術(shù)，是一種將視頻數(shù)據(jù)通過各種技術(shù)手段去除時間、空間、編碼等各 環(huán)節(jié)可能存在的冗余信息，將數(shù)據(jù)量壓縮到遠小于原視頻數(shù)據(jù)量的信號編碼技術(shù)。通過視 頻編解碼技術(shù)，可以更有效地對視頻數(shù)據(jù)進行存儲、傳輸以及相關(guān)操作。傳統(tǒng)的視頻編解碼 框架是基于預(yù)測（運動估計）、變換以及熵編碼的混合編碼框架，發(fā)展至今已形成了 MPEG -x系列和H. 26x系列兩大系列標(biāo)準(zhǔn)。在最近幾年，兩大標(biāo)準(zhǔn)的制定組織聯(lián)合發(fā)布了最新的高 效視頻編解碼標(biāo)準(zhǔn)HEVC(High Efficiency Video Coding)，在之前H. 264的基礎(chǔ)之上實現(xiàn) 了相同編碼效果下壓縮效率提升50%的增長。然而由于HEVC通過增加預(yù)測模式，采用更精 細(xì)的步長等技術(shù)降低預(yù)測誤差來實現(xiàn)壓縮效率的提高，這大大增加了編碼的復(fù)雜度。同時 由于HEVC是為高清晰視頻而設(shè)計的，在一些低碼率低分辨率情況下效果并不是很好。所以 設(shè)計一種在低碼率信道下低復(fù)雜度的編碼算法有很大的必要。
[0003] 視頻信息主要包括低頻的內(nèi)容信息和高頻的細(xì)節(jié)信息。在低碼率情況下必須有效 保證低頻內(nèi)容信息的編碼，這樣才能在碼率有限的情況下得到視頻相關(guān)的信息。Dong，Jie 和 Yan Ye 等人在 IEEE International Conference on In Image Processing (ICIP), 2012 pp. 2925 -2928中提出了下采樣的方法來獲得低頻內(nèi)容信息，然后對低頻內(nèi)容信息利用傳統(tǒng) 視頻編解碼技術(shù)進行編碼，在解碼端通過內(nèi)插等技術(shù)再獲得原分辨率大小的視頻信號。然 而僅僅考慮低頻信息是遠遠不夠的，在高頻細(xì)節(jié)中存在一些能量較大的系數(shù)包含大量視頻 信息，對視頻的解碼效果會產(chǎn)生巨大的影響，所以在碼率允許的情況下對一些能量較大的 高頻信息進行編碼是非常有必要的，可以在一定程度上提高編碼的質(zhì)量。
[0004] 經(jīng)過對現(xiàn)有技術(shù)的檢索發(fā)現(xiàn)，中國專利文獻號CN103155561A公開（公告）日 2013. 06. 12,公開了一種用于HEVC的空間可縮放性的方法和設(shè)備，該技術(shù)在視頻分發(fā)系統(tǒng) 中，提供了用來將輸入視頻流302分割成用于所述視頻流的多個信道中的每一個的分塊的 劃分器105。信道分析器306被親合到所述劃分器，其中，所述信道分析器分解所述分塊。 編碼器106被耦合到所述信道分析器以將經(jīng)分解的分塊編碼成經(jīng)編碼的比特流208, 210， 其中，所述編碼器從所述多個信道中的至少一個接收編譯信息以在將所述經(jīng)分解的分塊編 碼成所述經(jīng)編碼的比特流中使用。解碼器124接收經(jīng)編譯的比特流以對所接收到的比特流 進行解碼并且以重構(gòu)所述輸入視頻流。所述解碼器使用所述編譯信息來對所述比特流進行 解碼。但該現(xiàn)有技術(shù)沒有針對不同頻帶劃分之間的優(yōu)先級關(guān)系，在低碼率情況下的編碼效 果難以滿足工業(yè)需要。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明針對現(xiàn)有技術(shù)存在的上述不足，提出一種基于變換下采樣的低碼率視頻編 碼方法及系統(tǒng)，采用二維變換對原視頻幀進行下采樣，對獲得的低頻系數(shù)通過歸一化使之 轉(zhuǎn)化為適合混合編碼框架的輸入信號，并對其進行編碼。對高頻系數(shù)通過位平面編碼逐層 掃描依次獲得能量最為集中的大系數(shù)，然后通過幀分割處理對每次掃描獲得的結(jié)果進行塊 編碼。由于下采樣的關(guān)系，使得編碼幀變小，從而大大降低編碼時間，而結(jié)合高頻系數(shù)的編 碼，在編碼效果上卻能仍然和原混合編碼框架有著相近的信噪比。
[0006] 本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：
[0007] 本發(fā)明涉及一種基于變換下采樣的低碼率視頻編碼方法，包括以下步驟：
[0008] 第一步，采用小波變換對視頻幀進行下采樣，得到的變換系數(shù)分為一個低頻子帶 和三個高頻自帶，分別對低頻子帶利用混合編碼框架進行編碼、對高頻子帶利用位平面編 碼以及幀分割處理進行編碼組合生成整個一幀的編碼碼流。
[0009] 所述的小波變換的采樣率為2。
[0010] 對于視頻幀的下采樣，最為簡單的方式就是對視頻信號進行低通濾波后直接對像 素進行采樣，這種方法雖然簡單，但是沒有考慮到各個像素之間的想關(guān)性，使得內(nèi)插的結(jié)果 往往會帶來很大誤差?？紤]利用變換來對信號進行下采樣，由于變換系數(shù)是通過各像素之 間的關(guān)系計算得到的，能夠很好地保留像素之間的相關(guān)性。小波變換是基于整個視頻幀進 行的變換，和其他類似于DCT等基于宏塊的變換相比更好地考慮了整個視頻幀像素之間的 關(guān)系。同時小波逆變換也能很好的減少甚至消除內(nèi)插帶來的塊效應(yīng)，所以選取小波變換來 對視頻幀進行下采樣?？紤]到變換的一般性，本發(fā)明可以根據(jù)具體應(yīng)用場景選取不同的二 維變換對視頻幀進行下采樣，比如可以選取離散余弦變換等。
[0011] 對于采樣率的選擇需要同時考慮到碼率以及編碼效果的影響。若增大采樣率，可 以大大降低碼率，但是反變換帶來的誤差就會增大，影響到編碼效果；相反減小采樣率雖然 可以減小內(nèi)插帶來的誤差，提升編碼效果，但是碼率會有一定的提升。所以平衡好碼率以及 編碼效果之間的關(guān)系是采樣率選擇的重要因素。通過文獻查閱，對之前工作的學(xué)習(xí)以及相 關(guān)實驗效果顯示，選取采樣率為2可以利用盡可能少的碼率得到最好的編碼效果。考慮到 實用性，本發(fā)明給出采樣率的不同選擇，若給定編碼碼率比較低，可以適當(dāng)提高采樣率到4 或8來減少低頻信息所需要編碼的內(nèi)容。
[0012] 第二步，對小波變換后的視頻幀進行二維變換得到原始大小四分之一的低頻系 數(shù)，然后將低頻系數(shù)經(jīng)過映射和向下取整處理，歸一化后進行ffivc編碼；
[0013] 所述的歸一化的量化階為8bit或lObit。
[0014] 低頻系數(shù)的編碼較為簡單，由于混合編碼標(biāo)準(zhǔn)的高效，對包含大量視頻信息的低 頻系數(shù)采用最新編碼標(biāo)準(zhǔn)HEVC編碼來保證整體的編碼質(zhì)量。對原視頻幀進行二維變換 可以很容易就得到大小為原來四分之一的低頻系數(shù)。由于變換系數(shù)多為小數(shù)，而且會有負(fù) 數(shù)的存在，在對其進行ffiVC編碼之前需要將變換系數(shù)歸一化成0?255 (8比特）或0? 1023(10比特）之間的整數(shù)，這樣才能被HEVC進行編碼。通過實驗發(fā)現(xiàn)將低頻系數(shù)映射到 0?255比較有效，和10比特相比可以節(jié)省2比特數(shù)據(jù)，而引入的誤差只有0.02dB，這誤差 在隨后的HEVC編碼中和低碼率下的量化誤差相比幾乎可以忽略不計，所以選擇8比特作為 量化標(biāo)準(zhǔn)來對低頻系數(shù)進行歸一化。
[0015] 如在碼率較高的環(huán)境下，本發(fā)明可以選擇10比特作為量化標(biāo)準(zhǔn)來提高編碼的效 果。
[0016] 第三步，利用位平面編碼掃描得到高頻系數(shù)中的大系數(shù)，然后對得到的0 - 1位平 面進行幀分割并進行編碼；
[0017] 小波變換之后大量信息被保存在低頻系數(shù)之中，高頻系數(shù)只有少數(shù)絕對值較大。 需要對這些包含較多信息的大系數(shù)進行選擇并編碼，來彌補僅僅利用低頻信號編碼帶來的 不足。
[0018] 首先利用位平面編碼對絕對值較大的系數(shù)進行選擇?；舅枷胧侵饘油ㄟ^對給定 閾值進行比較來確定是否為重要系數(shù)。每一次掃描和給定閾值進行比較，如果絕對值大于 該閾值則位平面置一，否則置零。這樣就可以把大于該閾值的系數(shù)全部找出。在下一次掃 描中將閾值變?yōu)樵瓉淼囊话?，類似地可以找出次大的一些系?shù)，這樣不斷減小閾值就可以 依次找出相關(guān)的高頻系數(shù)。由于掃描是分層進行的，后續(xù)得到的高頻碼流也將是可任意截 斷的。
[0019] 然后對得到的0 -1位平面利用幀分割處理進行編碼。由于高頻系數(shù)存在大量絕 對值很小的系數(shù)，在每次掃描后的位平面都會有大量的0出現(xiàn)。如果對這些0按比特進行 編碼的話會降低壓縮效率。考慮將這些0按宏塊結(jié)合起來，如果當(dāng)前位平面只包含0或者 1則用一個比特就能進行編碼。如果同時包含0和1，那么對該位平面進行分割，平均分成 四塊，對每一塊再進行類似的位平面分割，直到其只包含有一種信號為止，這樣就可以對大 量的0按一定分塊原則進行有效地編碼。
[0020] 第四步，對不同頻帶的系數(shù)進行能量統(tǒng)計，按照不同的能量比例對給定的編碼碼 率進行對應(yīng)分配。
[0021] 由于對低、高頻系數(shù)分配不同的碼率會造成不同的編碼效果，平衡好不同頻帶編 碼引入的誤差可以使整個編碼過程獲得最優(yōu)的編碼效果。主要根據(jù)系數(shù)能量關(guān)系進行碼率 分配。對能量大的頻帶分配多的碼率，這樣可以保證主要的視頻幀信息得以編碼傳輸。在 對原始視頻幀進行變換之后對不同頻帶的系數(shù)進行能量統(tǒng)計，按照不同的能量比例對給定 的編碼碼率進行分配。由于一般情況下變換低頻系數(shù)包含視頻幀絕大多數(shù)的信息能量，所 以碼率分配的結(jié)果一般以低頻為主，對高頻系數(shù)只編碼少數(shù)幾個絕對值較大的系數(shù)。
[0022] 本發(fā)明涉及一種實現(xiàn)上述方法的系統(tǒng)，包括：二維變換模塊、歸一化模塊、位平面 編碼模塊、幀分割模塊和碼率分配模塊，其中：二維變換模塊與視頻輸入幀相連并傳輸變換 系數(shù)信息，歸一化模塊與變換低頻信息相連并傳輸待編碼低頻信息，位平面編碼模塊與變 換高頻信息相連并傳輸位平面信息，幀分割模塊與位平面信息相連并傳輸高頻編碼信息， 碼率分配模塊與通過統(tǒng)計輸入視頻信號對地高頻碼率分配進行控制。 技術(shù)效果
[0023] 與現(xiàn)有技術(shù)相比，本發(fā)明將原視頻幀進行下采樣，然后將低頻系數(shù)和高頻系數(shù)按 不同的編碼方法進行編碼。綜合考慮整個編碼過程，可以選擇小波變換作為下采樣工具，同 時采樣率選取2。由于低頻信號包含大量視頻信息，選取HEVC編碼方法來保證低頻信號的 編碼質(zhì)量。考慮到系數(shù)歸一化引入的誤差，將系數(shù)歸一化到8比特。對于高頻信號，由于 碼率有限僅對包含大量信息的大系數(shù)進行編碼。通過位平面編碼技術(shù)依次對系數(shù)從大到小 進行選擇，然后在每一次掃描之后通過幀分割來對位平面進行高效編碼。最后根據(jù)能量關(guān) 系對低、高頻系數(shù)進行碼率分配。本發(fā)明算法由于降低了混合編碼框架編碼的分辨率可以 大大減少編碼的復(fù)雜度，同時保證低頻信號的編碼可以在低碼率信道下得到優(yōu)異的編碼效 果。

【專利附圖】

【附圖說明】
[0024] 圖1是本發(fā)明方法位平面編碼流程圖。
[0025] 圖2是本發(fā)明方法幀分割處理流程圖。
[0026] 圖3是本發(fā)明系統(tǒng)示意圖。

【具體實施方式】
[0027] 下面對本發(fā)明的實施例作詳細(xì)說明，本實施例在以本發(fā)明技術(shù)方案為前提下進行 實施，給出了詳細(xì)的實施方式和具體的操作過程，但本發(fā)明的保護范圍不限于下述的實施 例。 實施例1
[0028] 如圖1所示，本實施例包括以下步驟：
[0029] -、視頻信號的下采樣
[0030] 由于在低碼率信道下碼率有限，需要利用有限碼率編碼比較重要的內(nèi)容。將視頻 信號下采樣可以得到包含大量視頻信息的低頻信號，對下采樣后的低頻信號進行編碼可以 保證在給定的低碼率之下編碼這些重要信息。具體編碼框架流程如下：
[0031] 1. 1對輸入的視頻信號以幀為單位進行小波變換，變換后的系數(shù)進行重新排列，可 以得到一個低頻子帶和三個高頻子帶；
[0032] 1. 2對一個低頻子帶按步驟二所述的方法利用HEVC進行編碼得到輸出碼流；
[0033] 1. 3對三個高頻子帶分別按步驟三所述的方法利用位平面編碼以及幀分割處理進 行編碼得到輸出碼流；
[0034] 1. 4將步驟1. 2和步驟1. 3中得到的碼流按照低頻優(yōu)先的原則組合生成整個一幀 的編碼碼流。
[0035] 從上述的下采樣編碼框架來看，整個過程由變換下采樣和子帶分別編碼組成，下 采樣的引入可以有效保證在低碼率信道下低頻信號的優(yōu)先編碼，同時加上適當(dāng)?shù)母哳l系數(shù) 編碼，可以得到類似于ffiVC編碼的效果。在下采樣的幫助下，占運算復(fù)雜度主體的HEVC所 要編碼的視頻幀分辨率變?yōu)樵瓉淼乃姆种唬@樣在運算復(fù)雜度上得到的很大的改善。
[0036] 二，低頻系數(shù)的混合編碼框架編碼
[0037] 對低頻信號進行混合編碼框架編碼比較簡單，只需要將變換下采樣后的低頻系數(shù) 形成新的一個視頻幀即可運用混合編碼框架進行編碼。其中最為主要的是將低頻系數(shù)映射 成為適合混合編碼框架編碼的8bit整形數(shù)據(jù)。具體編碼流程如下：
[0038] 2. 1將小波變換后的視頻幀左上角四分之一取出作為低頻信號進行后續(xù)的編碼；
[0039] 2. 2分別找出低頻系數(shù)中的最大值Max和最小值Min ;
[0040] 2. 3利用公式 將每一個低頻系數(shù)coe映射成0?255之間 C〇enew
[0041] 2.4對(：〇6_進行向下取整

【權(quán)利要求】
1. 一種基于變換下采樣的低碼率視頻編碼方法，其特征在于，包括以下步驟： 第一步，采用小波變換對視頻幀進行下采樣，得到的變換系數(shù)分為一個低頻子帶和三 個高頻自帶，分別對低頻子帶利用混合編碼框架進行編碼、對高頻子帶利用位平面編碼以 及幀分割處理進行編碼組合生成整個一幀的編碼碼流； 第二步，對小波變換后的視頻幀進行二維變換得到原始大小四分之一的低頻系數(shù)，然 后將低頻系數(shù)經(jīng)過映射和向下取整處理，歸一化后進行HEVC編碼； 第三步，利用位平面編碼掃描得到高頻系數(shù)中的大系數(shù)，然后對得到的〇 - 1位平面進 行幀分割并進行編碼； 第四步，對不同頻帶的系數(shù)進行能量統(tǒng)計，按照不同的能量比例對給定的編碼碼率進 行對應(yīng)分配。
2. 根據(jù)權(quán)利要求1所述的方法，其特征是，第一步中所述的小波變換的采樣率為2。
3. 根據(jù)權(quán)利要求1所述的方法，其特征是，第二步中所述的歸一化的量化階為Sbit或 IObit0
4. 根據(jù)權(quán)利要求1或2所述的方法，其特征是，所述的第一步具體包括： 1. 1對輸入的視頻信號以幀為單位進行小波變換，變換后的系數(shù)進行重新排列，可以得 到一個低頻子帶和三個高頻子帶； 1. 2對一個低頻子帶按步驟二所述的方法利用HEVC進行編碼得到輸出碼流； 1. 3對三個高頻子帶分別按步驟三所述的方法利用位平面編碼以及幀分割處理進行編 碼得到輸出碼流； 1. 4將步驟1. 2和步驟1. 3中得到的碼流按照低頻優(yōu)先的原則組合生成整個一幀的編 碼碼流。
5. 根據(jù)權(quán)利要求1或3所述的方法，其特征是，所述的第二步具體包括： 2. 1將小波變換后的視頻幀左上角四分之一取出作為低頻信號進行后續(xù)的編碼； 2. 2分別找出低頻系數(shù)中的最大值Max和最小值Min; 2. 3利用公式Coenew = X255:將每一個低頻系數(shù)coe映射成〇?255之間 c〇enew; 2. 4對Coenew進行向下取整coenor =LcoenevJ得到歸一化后〇?255之間的整數(shù)coenOT; 2. 5對歸一化后的系數(shù)進行混合編碼框架編碼得到低頻信號編碼碼流。
6. 根據(jù)權(quán)利要求1所述的方法，其特征是，第三步中所述的位平面編碼，具體包括： 3. I. 1對于給定閾值Thr對高頻系數(shù)進行掃描，如果系數(shù)絕對值大于Thr則位平面置 一，否則位平面置零； 3. 1. 2根據(jù)位平面得到解碼系數(shù)，對于位平面為1的系數(shù)用Thr近似，位平面為0的系 數(shù)用〇近似； 3. 1. 3將高頻系數(shù)與步驟3. 1. 2得到的解碼系數(shù)相減得到第二層待掃描的系數(shù)矩陣； 3. 1. 4選取原閾值的一半Thr/2作為新的閾值； 3. 1. 5重復(fù)步驟3.I. 1?3. 1. 4直至用于高頻系數(shù)編碼的碼流用完。
7. 根據(jù)權(quán)利要求1所述的方法，其特征是，第三步中所述的幀分割處理，具體包括： 3. 2. 1對于待編碼位平面檢測是否全0或全1，若全0或全1，則用一個比特將此位平面 進行編碼，否則轉(zhuǎn)入步驟3. 2. 2 ; 3. 2. 2將位平面等分成四份，得到分辨率為原來一半的四個新的位平面； 3. 2. 3對得到的新的四個位平面重復(fù)步驟3. 2. 1?3. 2. 2直至每個分割后的位平面中 只包含一種數(shù)據(jù)。
8. 根據(jù)權(quán)利要求1所述的方法，其特征是，所述的第四步具體包括： 4. 1分別計算低、高頻系數(shù)所包含的的信號能量； 4. 2得到低、高頻系數(shù)能量之間的比例關(guān)系； 4. 3按照低、高頻系數(shù)能量比例分配編碼碼率。
9. 一種實現(xiàn)上述權(quán)利要求所述方法的系統(tǒng)，其特征在于，包括：二維變換模塊、歸一化 模塊、位平面編碼模塊、幀分割模塊和碼率分配模塊，其中：二維變換模塊與視頻輸入幀相 連并傳輸變換系數(shù)信息，歸一化模塊與變換低頻信息相連并傳輸待編碼低頻信息，位平面 編碼模塊與變換高頻信息相連并傳輸位平面信息，幀分割模塊與位平面信息相連并傳輸高 頻編碼信息，碼率分配模塊與通過統(tǒng)計輸入視頻信號對地高頻碼率分配進行控制。
【文檔編號】H04N19/86GK104469389SQ201410748130
【公開日】2015年3月25日 申請日期:2014年12月9日 優(yōu)先權(quán)日:2014年12月9日
【發(fā)明者】解蓉, 鄭侃侃, 張良 申請人:上海交通大學(xué)