專利名稱：分配優(yōu)先級以控制比特流的比特率的方法、控制比特流的比特率的方法、視頻解碼方法以 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼技術(shù)，更具體地，涉及控制由多個(gè)質(zhì)量層組成的比 特流的比特率的方法。
背景技術(shù)：
隨著信息和通信技術(shù)的發(fā)展，除了文本和語音通信之外，多媒體通信也 在增長?，F(xiàn)有的基于文本的通信系統(tǒng)不能滿足消費(fèi)者的多種需求，因而能夠 提供諸如文本、圖像、音樂以及其它的多種形式的信息的多媒體服務(wù)正在增 長。由于多^!某體數(shù)據(jù)很大，存儲(chǔ)和發(fā)送數(shù)據(jù)分別需要大量存儲(chǔ)介質(zhì)和4艮寬的 帶寬。因而，需要壓縮編碼技術(shù)來發(fā)送多媒體數(shù)據(jù)。
數(shù)據(jù)壓縮的基本原理是去掉數(shù)據(jù)冗余?？梢酝ㄟ^去掉諸如圖像中的相同 顏色或物體的重復(fù)之類的空間冗余、諸如運(yùn)動(dòng)圖 <象中的相似相鄰幀或聲音的 連續(xù)重復(fù)之類的時(shí)間冗余、以及考慮人對高頻的不敏感的視覺/知覺冗余，來 壓縮數(shù)據(jù)。在一般視頻編碼方法中，通過基于運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波來去掉時(shí) 間冗余，以及通過空間變換來去掉空間冗余。
為了在去掉數(shù)據(jù)冗余之后傳輸多媒體數(shù)據(jù)，需要傳輸介質(zhì)，傳輸介質(zhì)的 性能各不相同。當(dāng)前使用的傳輸介質(zhì)具有不同的傳輸速度。例如，超高速通
信網(wǎng)絡(luò)可以每秒傳輸幾十兆比特的數(shù)據(jù)，移動(dòng)通信網(wǎng)絡(luò)具有每秒384千比特 的傳輸速度。為了支持在這樣的傳輸環(huán)境中的傳輸介質(zhì)，以及為了利用適合 于傳輸環(huán)境的傳輸速率來傳輸多媒體，可分級視頻編碼方法是最合適的。
可分級視頻編碼方法是一種能夠調(diào)節(jié)視頻分辨率、幀速率和信噪比 (SNR)的編碼方法，也就是， 一種通過根據(jù)諸如傳輸比特率、傳輸誤碼率 和系統(tǒng)資源之類的外部條件截?cái)啾粔嚎s比特流的一部分來支持多種分級的 編》馬方;去。
由作為運(yùn)動(dòng)圖像專家組(MPEG)和國際電信聯(lián)盟(ITU)的聯(lián)合工作 組的聯(lián)合視頻組(JVT )發(fā)布的當(dāng)前可分級視頻編碼(SVC )標(biāo)準(zhǔn)是基于H.264的。該SVC標(biāo)準(zhǔn)包含用于支持SNR分級的精細(xì)顆粒分級(FGS )技術(shù)。 圖1示出了使用多層結(jié)構(gòu)的可分級視頻編解碼器的示例。參照圖1,第
一層具有四分之一通用中間格式(QCIF)的分辨率和15Hz的幀速率，第二
層具有通用中間格式(CIF )的分辨率和30Hz的幀速率，第三層具有標(biāo)準(zhǔn)清
晰度(SD )的分辨率和60Hz的幀速率。
層相關(guān)可以用來對具有各種分辨率和/或幀速率的多層視頻幀進(jìn)行編碼。
例如，第一增強(qiáng)層幀的區(qū)域12通過由與區(qū)域12對應(yīng)的基本層幀的區(qū)域13
預(yù)測而被有效編碼。第二增強(qiáng)層幀的區(qū)域11通過使用區(qū)域12預(yù)測而被有效編碼。
圖2是用于說明可分級視頻編碼方法的幀間預(yù)測和幀內(nèi)基本預(yù)測的示意 圖。當(dāng)前層幀21中的塊24可以參考另一當(dāng)前層幀22中的塊25被預(yù)測，這 被稱為帕間預(yù)測。幀間預(yù)測包括運(yùn)動(dòng)估計(jì)，以獲得示出相應(yīng)塊的運(yùn)動(dòng)矢量。
塊24可以參考與幀21位于相同時(shí)間位置和圖片次序數(shù)(POC)的低層 (基本層)幀23中的塊26被預(yù)測，這被稱為幀內(nèi)基本預(yù)測。在幀內(nèi)基本預(yù) 測中，不需要運(yùn)動(dòng)估計(jì)。
圖3示出了通過圖2的預(yù)測將FGS應(yīng)用于殘差圖片的示例。殘差圖片 30可以被表示為多個(gè)質(zhì)量層，以便支持SNR分級。需要這些質(zhì)量層來多樣 地表達(dá)視頻質(zhì)量，其不同于分辨率和/或幀速率的層。
該多個(gè)質(zhì)量層可以由一個(gè)離散層31、和FGS層32、 33和34中的至少 一個(gè)組成。當(dāng)僅接收到離散層31時(shí)，在視頻解碼器中測量的視頻質(zhì)量是最 低的，此后依次是當(dāng)接收到離散層31和第一 FGS層32時(shí)，當(dāng)接收到離散 層31和第一和第二 FGS層32和33時(shí)，以及當(dāng)接收到所有層31、 32、 33 和34時(shí)。
圖4示出了將單個(gè)圖片或分片表達(dá)為一個(gè)離散層和兩個(gè)FGS層的過程。 原始圖片(或分片)41被第一量化參數(shù)QP,量化(Sl)。量化后的圖片 42形成離散層。量化后的圖片42被逆量化(S2)，并且提供給減法器44。 減法器44從原始圖片41中減去提供的圖片43(S3)。使用第二量化參數(shù)QP2 再次量化相減的結(jié)果(S4)。量化后的結(jié)果45形成第一FGS層。
量化后的結(jié)果45被逆量化(S5)，并提供給加法器47。提供的圖片46 和提供的圖片43由加法器47相加(S6),并且提供給減法器48。減法器48 從原始圖片41中減去相加的結(jié)果(S7)。使用第三量化參數(shù)QP3再次量化相減的結(jié)果(S8)。量化后的結(jié)果49形成第二FGS層。
通過上述操作，可以形成圖3所示的多個(gè)質(zhì)量層。
圖5和6示出了在當(dāng)前SVC標(biāo)準(zhǔn)中所用的質(zhì)量層截?cái)喾椒?。如圖5所 示，通過幀間預(yù)測或幀內(nèi)基本預(yù)測從參考圖片35預(yù)測而將當(dāng)前圖片30表達(dá) 為殘差圖片。^皮表達(dá)為殘差圖片的當(dāng)前圖片30由多個(gè)質(zhì)量層31、 32、 33和 34組成。參考圖片35也由多個(gè)質(zhì)量層36、 37、 38和39組成。

發(fā)明內(nèi)容
技術(shù)問題
根據(jù)當(dāng)前SVC標(biāo)準(zhǔn)，比特流提取器截?cái)噘|(zhì)量層的一部分，以便控制SNR 比特流，如圖6所示。也就是說，比特流提取器從最高向下截?cái)辔挥诟叻直?率和/或幀速率層(下文中，稱為'層'以將其與'質(zhì)量層，區(qū)別開來)中的 當(dāng)前圖片30的質(zhì)量層。在當(dāng)前圖片30的所有質(zhì)量層被截?cái)嘀?，參考圖片 35的質(zhì)量層從最高向下被截?cái)唷?br> 上述截?cái)鄬τ谥貥?gòu)較低層(如QCIF)的圖片(參考圖片)是最佳的， 但是對于重構(gòu)高層(如CIF)的圖片(當(dāng)前圖片)不是最佳的。 一些低層圖 片的質(zhì)量層可以不如高層圖片的質(zhì)量層重要。因而，需要通過根據(jù)視頻編碼 器主要針對高層圖片還是低層圖片來截?cái)噘|(zhì)量層從而高效實(shí)施SNR分級。
技術(shù)方案
本發(fā)明提供一種控制針對高層的比特流的SNR的方法和裝置。 本發(fā)明也提供一種根據(jù)視頻編碼器主要針對高層圖片還是低層圖片來 控制SNR的方法和裝置。
根據(jù)本發(fā)明的一方面，提供一種分配優(yōu)先級以控制比特流的比特率的方 法，該方法包括構(gòu)成參考圖片的第一質(zhì)量層；構(gòu)成參照參考圖片編碼的當(dāng) 前圖片的第二質(zhì)量層；以及給第一質(zhì)量層和第二質(zhì)量層的每一個(gè)分配優(yōu)先 級，其中給截?cái)噘|(zhì)量層時(shí)對當(dāng)前圖片的視頻質(zhì)量降低影響小的質(zhì)量層分配低 優(yōu)先級。
根據(jù)本發(fā)明的另一方面，提供了一種控制比特流的比特率的方法，該方 法包括接收視頻比特流；設(shè)置視頻比特流的目標(biāo)比特率；讀取參考圖片的 第一質(zhì)量層和當(dāng)前圖片的第二質(zhì)量層；基于目標(biāo)比特率，從第一和第二質(zhì)量層中具有低優(yōu)先級的質(zhì)量層向上截?cái)唷?br> 根據(jù)本發(fā)明的另一方面，提供了一種視頻解碼方法，包括接收視頻比 特流；讀取參考圖片的第一質(zhì)量層、當(dāng)前圖片的第二質(zhì)量層、以及第一和第 二質(zhì)量層的從屬ID;如果在第 一質(zhì)量層中不存在由從屬ID指示的質(zhì)量層， 則將從屬ID設(shè)置為指示第一質(zhì)量層的最高質(zhì)量層；以及根據(jù)由從屬ID指示 的關(guān)系重構(gòu)當(dāng)前圖片。
根據(jù)本發(fā)明的另一方面，提供一種分配優(yōu)先級以控制比特流的比特率的 裝置，該裝置包括參考圖片編碼器，構(gòu)成參考圖片的第一質(zhì)量層；當(dāng)前圖 片編碼器，構(gòu)成參照參考圖片編碼的當(dāng)前圖片的第二質(zhì)量層；以及質(zhì)量等級 分配器，給第一質(zhì)量層和第二質(zhì)量層的每一個(gè)分配優(yōu)先級，其中給截?cái)噘|(zhì)量 層時(shí)對當(dāng)前圖片的視頻質(zhì)量降低影響小的質(zhì)量層分配低優(yōu)先級。
根據(jù)本發(fā)明的另一方面，提供了一種控制比特流的比特率的裝置，該裝 置包括比特流輸入單元，接收視頻比特流；目標(biāo)比特率設(shè)置單元，設(shè)置視 頻比特流的目標(biāo)比特率；比特率剖析器，讀取參考圖片的第一質(zhì)量層和當(dāng)前 圖片的第二質(zhì)量層；比特率截?cái)嗥?，基于目?biāo)比特率，從第一和第二質(zhì)量層 中具有低優(yōu)先級的質(zhì)量層往上截?cái)唷?br> 根據(jù)本發(fā)明的另一方面，提供了一種視頻解碼裝置，包括熵解碼單元， 接收視頻比特流；比特流剖析器，讀取參考圖片的第一質(zhì)量層、當(dāng)前圖片的 第二質(zhì)量層、以及第一和第二質(zhì)量層的從屬ID;從屬ID設(shè)置單元，如果在 第 一質(zhì)量層中不存在由從屬ID指示的質(zhì)量層，則將從屬ID設(shè)置為指示第一 質(zhì)量層的最高質(zhì)層；以及當(dāng)前圖片解碼器，根據(jù)由從屬ID指示的關(guān)系重 構(gòu)當(dāng)前圖片。


通過下面參照附圖對本發(fā)明的示范性實(shí)施例的詳細(xì)描述，本發(fā)明的上述 和其它方面將變得更加明顯，其中
圖1示出了使用多層結(jié)構(gòu)的可分級視頻編碼方法的示例；
圖2是用于i兌明可分級^L頻編碼方法的幀間預(yù)測和幀內(nèi)基本預(yù)測的示
意圖3示出了通過圖2的預(yù)測將FGS應(yīng)用于殘差圖片的示例；
圖4示出了將單個(gè)圖片或分片表達(dá)為一個(gè)離散層和兩個(gè)FGS層的過程；圖5和6示出了在當(dāng)前SVC標(biāo)準(zhǔn)中所用的質(zhì)量層截?cái)喾椒ǎ?圖7描述當(dāng)前SVC系統(tǒng)的配置；
圖8描述根據(jù)本發(fā)明的示范性實(shí)施例的SVC系統(tǒng)的配置； 圖9示出了根據(jù)本發(fā)明的示范性實(shí)施例的截?cái)噘|(zhì)量層的示例；
圖11示出了根據(jù)本發(fā)明的示范性實(shí)施例的由從屬ID指示的質(zhì)量層不存 在于參考圖片中的情況；
圖12是示出根據(jù)本發(fā)明的示范性實(shí)施例的優(yōu)先級分配裝置的配置的框
圖13是示出根據(jù)本發(fā)明的示范性實(shí)施例的比特流提取器的配置的框 圖；以及
圖14是示出根據(jù)本發(fā)明的示范性實(shí)施例的視頻解碼器的配置的框圖。
具體實(shí)施例方式
通過參考下面對示范性實(shí)施例和附圖的詳細(xì)描述，本發(fā)明的各方面的優(yōu) 點(diǎn)和特征以及實(shí)現(xiàn)本發(fā)明的方法將更容易地^^理解。
然而，本發(fā)明的各方面可以被實(shí)現(xiàn)為多種不同的形式，并且不應(yīng)當(dāng)被理 解為限于這里所闡述的實(shí)施例。相反，提供這些實(shí)施例是為了使得本公開更
由所附權(quán)利要求書來限定。
圖7描述當(dāng)前SVC系統(tǒng)的配置，圖8描述根據(jù)本發(fā)明的示范性實(shí)施例 的SVC系統(tǒng)的配置。
參照圖7， ^L頻編碼器61產(chǎn)生多層可分級比特流，例如CIF比特流。 比特流提取器62可以照現(xiàn)在這樣將所產(chǎn)生的CIF比特流發(fā)送給第一視頻解 碼器63,或者可以通過截?cái)噍^高層的一部分來提取具有低分辨率的QCIF比 特流，并將QCIF比特流發(fā)送到第二視頻解碼器64。在上述兩種情況下，比 特流提取器62可以使得比特流的分辨率相同，并且僅改變它們的SNR。
參照圖8,在視頻編碼器50中產(chǎn)生的CIF比特流的質(zhì)量等級(優(yōu)先級) 由質(zhì)量等級分配器100來分配。也就是說，由構(gòu)成CIF比特流的網(wǎng)絡(luò)提取層 (NAL)單元來分配優(yōu)先級ID,其遵循本發(fā)明的示范性實(shí)施例的考慮多層 的優(yōu)先級ID分配方法。當(dāng)向第二視頻解碼器300b發(fā)送比特流時(shí)，比特流提取器200截?cái)嗌蠈樱?并且將優(yōu)化后的比特流發(fā)送到QCIF(低層)。當(dāng)截?cái)噘|(zhì)量層以便控制SNR 時(shí)，使用傳統(tǒng)方法。
但是，當(dāng)向第一視頻編碼器300a發(fā)送比特流時(shí)，比特流提取器200發(fā) 送包括所有層的CIF比特流。當(dāng)截?cái)噘|(zhì)量層以便控制SNR時(shí)，比特流提取 器200基于質(zhì)量等級分配器100分配的優(yōu)先級ID，截?cái)嗑哂械蛢?yōu)先級ID及 其以上的質(zhì)量層。
圖9示出了根據(jù)本發(fā)明的示范性實(shí)施例的截?cái)噘|(zhì)量層的示例。參考圖9， 質(zhì)量等級分配器100根據(jù)下列次序分配優(yōu)先級ID,比特流提取器200通過 截?cái)嗑哂械蛢?yōu)先級ID及其以上的質(zhì)量層來實(shí)施SNR分級。
質(zhì)量等級分配器100驗(yàn)證輸入的比特流中的參考關(guān)系。該參考關(guān)系用于 包括幀間預(yù)測和幀內(nèi)基本預(yù)測的預(yù)測。對于預(yù)測方法，正在參考的圖片是當(dāng) 前圖片30，被參考的圖片是參考圖片35。特別是，圖9示出了當(dāng)前圖片30 的質(zhì)量層數(shù)與參考圖片35的質(zhì)量層數(shù)相等，當(dāng)前圖片30的質(zhì)量層數(shù)也可以 不同于參考圖片35的質(zhì)量層數(shù)。
為了分配優(yōu)先級ID，在比較當(dāng)前圖片30的最高質(zhì)量層被截?cái)嗟牡谝环N 情況和參考圖片35的最高質(zhì)量層被截?cái)嗟牡诙N情況之后，依照圖片質(zhì)量 選擇更有益的情況。第一種情況意味著由當(dāng)前圖片30的三個(gè)質(zhì)量層31、 32 和33以及參考圖片35的四個(gè)質(zhì)量層36、 37、 38和39重構(gòu)當(dāng)前圖片所屬的 層的圖像的情況。第二種情況意味著由當(dāng)前圖片30的四個(gè)質(zhì)量層31、 32、 33和34以及參考圖片35的三個(gè)質(zhì)量層36、 37和38重構(gòu)當(dāng)前圖片所屬的層 的圖像的情況。
重構(gòu)圖片的詳細(xì)過程包括由構(gòu)成參考圖片35的質(zhì)量層重構(gòu)參考圖片 35;由構(gòu)成當(dāng)前圖片30的質(zhì)量層重構(gòu)當(dāng)前圖片30的殘差信號；以及將重構(gòu) 后的參考圖片35和重構(gòu)后的殘差信號相加。
當(dāng)獲得第一和第二種情況時(shí)，比較每種情況的代價(jià)。通常使用率失真函 數(shù)作為代價(jià)計(jì)算方法。下面的等式1示出了計(jì)算代價(jià)的過程
C二E+入xB (等式1 )
其中'C，是代價(jià)，'E，是與原始信號的差(例如，可以通過均方差(MSE) 來計(jì)算)。'B，是當(dāng)壓縮數(shù)據(jù)時(shí)消耗的比特率，入是拉各朗日系數(shù)。該拉各 朗日系數(shù)用于控制E和B的反映率。隨著E和B的減小，C變小，其意味著執(zhí)行了高效編碼。
當(dāng)選擇第 一種和第二種情況中的代價(jià)較小的情況時(shí)，根據(jù)所選擇的情況
分配優(yōu)先級ID。如果選擇了第一種情況，由于當(dāng)截?cái)噘|(zhì)量層34時(shí)質(zhì)量層34 對總的視頻質(zhì)量的影響最小，因此將最低優(yōu)先級ID(即'0，)設(shè)置給當(dāng)前 圖片30的質(zhì)量層34。
對于當(dāng)前圖片30的剩余質(zhì)量層31、 32和33以及參考圖片35的剩余質(zhì) 量層36、 37、 38和39設(shè)置優(yōu)先級ID,其同樣是比較第一和第二種情況。 也就是說，在比較剩余質(zhì)量層31、 32和33的最高質(zhì)量層被截?cái)嗟牡谝环N情 況和剩余質(zhì)量層36、 37、 38和39的最高質(zhì)量層被截?cái)嗟牡诙N情況之后，
選^r其中代價(jià)較小的情況。
如果重復(fù)選擇當(dāng)前圖片3 0中未被分配優(yōu)先級ID的剩余質(zhì)量層的最高質(zhì) 量層被截?cái)嗟那闆r和參考圖片35中未被分配優(yōu)先級ID的剩余質(zhì)量層的最高 質(zhì)量層被截?cái)嗟那闆r中的一種情況的過程，則為當(dāng)前圖片30和參考圖片35 的每個(gè)質(zhì)量層分配優(yōu)先級ID。
質(zhì)量等級分配器100將優(yōu)先級ID記錄到與每個(gè)質(zhì)量層對應(yīng)的NAL單元 的首標(biāo)(NAL首標(biāo))。
圖IO描述根據(jù)本發(fā)明的示范性實(shí)施例的被分配優(yōu)先級ID的比特流80。 將當(dāng)前圖片30的質(zhì)量層記錄為多個(gè)NAL單元81、 82、幻和84。將參考圖 片35的質(zhì)量層記錄為多個(gè)NAL單元86、 87、 88和89。 一個(gè)NAL單元由 NAL首標(biāo)和NAL數(shù)據(jù)字段構(gòu)成。NAL首標(biāo)包括優(yōu)先級ID作為指示關(guān)于NAL 數(shù)據(jù)的附加信息的部分。與每個(gè)質(zhì)量層對應(yīng)的編碼數(shù)據(jù)被記錄在NAL數(shù)據(jù) 字段中。
在圖10中，由質(zhì)量等級分配器IO(H殳置的優(yōu)先級ID顯示在NAL首標(biāo) 中。比特流提取器200參考優(yōu)先級ID控制比特流的SNR。比特流提取器200 從最低優(yōu)先級ID往上截?cái)郚AL單元(即，按照81、 82、 86、 83、 87、 84、 88和89的順序)，從而最小化由于截?cái)郚AL單元引起的視頻質(zhì)量降低。
對于上層的視頻質(zhì)量優(yōu)化上述過程(當(dāng)向圖8的第一視頻解碼器300a 發(fā)送比特流時(shí))。為了對于下層的視頻質(zhì)量進(jìn)行優(yōu)化(當(dāng)向圖8的第二視頻 解碼器300b發(fā)送比特流時(shí))，可以使用從最高質(zhì)量層向下截?cái)嗟膫鹘y(tǒng)方法， 而不考慮優(yōu)先級ID。
如在本發(fā)明的示范性實(shí)施例中所提議的，可以在截?cái)喈?dāng)前層(當(dāng)前圖片所屬的)的質(zhì)量層之前截?cái)嗷緦?參考圖片所屬的)的質(zhì)量層。在這種情 況下，由當(dāng)前層的質(zhì)量層的從屬ID指示的基本層的質(zhì)量層可能不存在。從屬ID顯示數(shù)據(jù)之間的從屬關(guān)系，其被首先解碼并且被參考，以便解碼數(shù)據(jù)。 因而，如果在視頻解碼過程中由從屬ID參考的基本層的質(zhì)量層不存在，則 從屬ID可以使用參考剩余質(zhì)量層的最高質(zhì)量層的方法。參照圖11,當(dāng)前圖片30的最高質(zhì)量層34和參考圖片35的最高質(zhì)量層 39由比特流提取器200截?cái)唷８鶕?jù)本發(fā)明的示范性實(shí)施例，由于在上層的所 有質(zhì)量層被截?cái)嘀跋聦拥馁|(zhì)量層可以被截?cái)啵虼水?dāng)前圖片30中的質(zhì)量 層33的從屬ID可以指示已被截?cái)嗟馁|(zhì)量層39。這種情況必須被修改成視 頻解碼器中的質(zhì)量層的從屬ID指示參考圖片35的剩余質(zhì)量層36、 37和38 中的最高質(zhì)量層38。圖12到14是示出根據(jù)本發(fā)明的示范性實(shí)施例的裝置的配置的框圖。圖 12是示出根據(jù)本發(fā)明的示范性實(shí)施例的優(yōu)先級分配裝置的配置的框圖。優(yōu)先 級分配裝置IOO按照質(zhì)量等級分配優(yōu)先級，以便控制比特流的比特率。優(yōu)先級分配裝置100可以包括當(dāng)前圖片編碼器110、參考圖片編碼器 120、質(zhì)量等級分配器140以及熵編碼單元150。參考圖片編碼器120構(gòu)成參考圖片的質(zhì)量層(稱為第一質(zhì)量層)。參考 圖片編碼器120包括預(yù)測器121、變換器122、量化器123和質(zhì)量層產(chǎn)生器 124。預(yù)測器121根據(jù)預(yù)定的預(yù)測通過減去預(yù)測圖像來獲得殘差信號。對于預(yù) 定預(yù)測，存在如圖2所示的幀間預(yù)測和幀內(nèi)基本預(yù)測。幀間預(yù)測包4舌運(yùn)動(dòng)估 計(jì)，其獲得用于表達(dá)當(dāng)前圖片和與當(dāng)前圖片具有相同分辨率且與當(dāng)前圖片具 有不同時(shí)間位置的圖片之間的相對運(yùn)動(dòng)的運(yùn)動(dòng)矢量。可以參考與當(dāng)前圖片處于相同時(shí)間位置且具有不同分辨率的低層(基本層)圖片來預(yù)測當(dāng)前圖片，這被稱為幀內(nèi)基本預(yù)測。在幀內(nèi)基本預(yù)測中，不 需要運(yùn)動(dòng)估計(jì)。變換器122對殘差幀執(zhí)行空間變換方法，以創(chuàng)建變換系數(shù)?？臻g變換方 法可以包括離散余弦變換(DCT)或小波變換。詳細(xì)來說，在采用DCT的 情況下可以創(chuàng)建DCT系數(shù)，在采用小波變換的情況下可以創(chuàng)建小波系數(shù)。量化器123量化從變換器122接收到的變換系數(shù)。量化意思是用離散值 來表達(dá)任意實(shí)數(shù)值形式的變換系數(shù)的過程。對于量化，存在標(biāo)量量化和矢量量化。標(biāo)量量化意思是通過變換系數(shù)除以量化參數(shù)并且取整的過程。質(zhì)量層產(chǎn)生器124通過圖4所示的過程產(chǎn)生多個(gè)質(zhì)量層。多個(gè)質(zhì)量層可 以由一個(gè)離散層和至少兩個(gè)FGS層構(gòu)成。當(dāng)前圖片編碼器110與參考圖片編碼器120類似，包括預(yù)測器lll、變 換器112、量化器113和質(zhì)量層產(chǎn)生器114。當(dāng)前圖片編碼器110的每個(gè)元 件的操作與參考圖片編碼器120的相同。但是，輸入到參考圖片編碼器120 的參考圖片被用作用來在預(yù)測器111中預(yù)測當(dāng)前圖片的圖片。預(yù)測器H1通 過使用輸入的參考圖片來執(zhí)行幀間預(yù)測或幀內(nèi)基本預(yù)測，并產(chǎn)生殘差信號。當(dāng)前圖片編碼器110構(gòu)成當(dāng)前圖片的質(zhì)量層(稱為第二質(zhì)量層)，更準(zhǔn) 確地說，是當(dāng)前圖片的殘差信號。在幀內(nèi)基本預(yù)測的情況下，輸入的參考圖 片的分辨率可以不同于當(dāng)前圖片，在幀間預(yù)測的情況下，其在時(shí)間水平方面 可以不同。質(zhì)量層分配器140給第一和第二質(zhì)量層的每一個(gè)分配優(yōu)先級ID。通過 給對當(dāng)前圖片的視頻質(zhì)量降低影響小的質(zhì)量層分配較低的優(yōu)先級并且給影 響大的質(zhì)量層分配較高的優(yōu)先級的方法來執(zhí)行優(yōu)先級分配(參見圖9)。作為確定視頻質(zhì)量降低的標(biāo)準(zhǔn)，可以使用如等式1的代價(jià)函數(shù)?？梢酝?過將與原始圖像的差和編碼中消耗的比特率相加來表達(dá)代價(jià)函數(shù)。熵編碼單元150對由質(zhì)量等級分配器MO確定的優(yōu)先級ID、參考圖片 的第一質(zhì)量層和當(dāng)前圖片的第二質(zhì)量層進(jìn)行編碼，以便產(chǎn)生比特流。熵編碼 是一種使用數(shù)據(jù)的統(tǒng)計(jì)特征的無損編碼方法，其包括算術(shù)編碼、可變長度編 碼等等。圖13是示出根據(jù)本發(fā)明的示范性實(shí)施例的比特流提取器的配置的框圖。 比特流提取器200包括比特流輸入單元210、比特流剖析器220、比特流截?cái)嗥?30、目標(biāo)比特率設(shè)置單元240和比特流發(fā)送單元"0。比特流輸入單元210從優(yōu)先級分配裝置IOO接收視頻比特流。比特流發(fā)送單元250將比特率發(fā)生改變的比特流發(fā)送到視頻解碼器。比特流輸入單元210與網(wǎng)絡(luò)接口的接收單元對應(yīng)。比特流發(fā)送單元250與網(wǎng)絡(luò)接口的發(fā)送單元對應(yīng)。目標(biāo)比特率設(shè)置單元240設(shè)置視頻比特流的目標(biāo)比特率?？梢跃C合考慮 發(fā)送比特流的比特率、網(wǎng)絡(luò)狀態(tài)和接收層設(shè)備(視頻解碼器)的功能來確定 目標(biāo)比特流。比特流剖析器220讀取參考圖片的第一質(zhì)量層和當(dāng)前圖片的第二質(zhì)量層 的優(yōu)先級ID。優(yōu)先級ID由優(yōu)先級分配裝置100的質(zhì)量等級分配器140來分 配。比特流截?cái)嗥?30根據(jù)目標(biāo)比特率從較低的質(zhì)量層往上截?cái)嗟谝缓偷诙?質(zhì)量層。重復(fù)該截?cái)嘀钡竭_(dá)到目標(biāo)比特率。圖14是示出根據(jù)本發(fā)明的示范性實(shí)施例的視頻解碼器的配置的框圖。視頻解碼器300包括熵解碼單元310、比特流剖析器320、當(dāng)前圖片解 碼單元330、參考圖片解碼單元340和從屬ID設(shè)置單元350。熵解碼單元310從比特流提取器200 4秦收纟見頻比特流，并對其進(jìn)行無損 解碼。該無損解碼是作為優(yōu)先級分配裝置100的熵編碼單元150中的無損編 碼的逆操作而執(zhí)行的。比特流剖析器320讀取參考圖片的編碼數(shù)據(jù)(第一質(zhì)量層)、當(dāng)前圖片 的編碼數(shù)據(jù)(第二質(zhì)量層)、參考圖片的第 一質(zhì)量層的從屬ID以及當(dāng)前圖片 的第二質(zhì)量層的從屬ID。從屬ID示出了需要參考圖片的質(zhì)量層的信息以便 重構(gòu)當(dāng)前層的質(zhì)量層，也即從屬關(guān)系。如圖11所示，由于低層的質(zhì)量層可以先于上層的質(zhì)量層被截?cái)啵虼?當(dāng)前層的質(zhì)量層可以指示其從屬ID已被截?cái)嗟馁|(zhì)量層。從屬ID設(shè)置單元350將從屬ID設(shè)置為指示剩余質(zhì)量層的最高質(zhì)量層。參考圖片解碼單元340包括逆量化器341、逆變換器3"以及逆預(yù)測器 343，以便解碼參考圖片的已編碼數(shù)據(jù)。逆量化器341對參考圖片的已編碼數(shù)據(jù)進(jìn)行逆量化。逆變換器342對逆量化的結(jié)果執(zhí)行逆變換。逆變換作為圖12的變換器 122中的變換操作的逆操作而被執(zhí)行。逆預(yù)測器343將由逆變換器342提供的重構(gòu)的殘差信號和預(yù)測信號相加 以重構(gòu)參考圖片。此時(shí)，通過與視頻編碼器相似的幀間預(yù)測或幀內(nèi)基本預(yù)測 來獲得預(yù)測信號。當(dāng)前圖片解碼單元330根據(jù)從屬ID對當(dāng)前圖片的已編碼數(shù)據(jù)進(jìn)行解碼。 當(dāng)前圖片解碼單元330包括逆量化器331、逆變換器332以及逆預(yù)測器333。 當(dāng)前圖片解碼單元330的每個(gè)元件的操作與參考圖片解碼器340的相同。但 是，逆預(yù)測器333使用重構(gòu)后的參考圖片作為預(yù)測信號，由逆變換器332提 供的當(dāng)前圖片的重構(gòu)的殘差信號重構(gòu)出當(dāng)前圖片，即將殘差信號和預(yù)測信號相加。此時(shí)，使用由比特流剖析器320讀取的從屬ID或修改后的從屬ID。 從屬ID指示參考圖片的第 一質(zhì)量層，需要其來重構(gòu)當(dāng)前圖片的第二質(zhì)量層。這里所用的術(shù)語"圖片"意思是單個(gè)幀。但是，本領(lǐng)域普通技術(shù)人員應(yīng) 當(dāng)理解，圖片可以是"分片"。圖12和14所示的組件可以被實(shí)現(xiàn)為在特定的存儲(chǔ)器區(qū)域上執(zhí)行的軟 件，諸如任務(wù)、類、子程序、進(jìn)程、對象、執(zhí)行線程或程序，和/或被實(shí)現(xiàn)為 硬件，諸如現(xiàn)場可編程門陣列(FPGA)或特定用途集成電路(ASIC)。這 些組件也可以被實(shí)現(xiàn)為軟件和硬件的組合。此外，這些組件可以被有益地配 置為駐留于計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上，或者^C配置為在一個(gè)或多個(gè)處理器上運(yùn) 行。工業(yè)應(yīng)用如上所述，本發(fā)明的示范性實(shí)施例通過主要針對高層圖片的視頻質(zhì)量可 以控制比特流的比特率。盡管參照本發(fā)明的示范性實(shí)施例對本發(fā)明進(jìn)行了特定圖示和描述，但本 領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，在不脫離由所附權(quán)利要求書所限定的本發(fā)明的精神 和范圍的情況下，可以對本發(fā)明進(jìn)行形式和細(xì)節(jié)上的各種修改。
權(quán)利要求
1、一種分配優(yōu)先級以控制比特流的比特率的方法，該方法包括構(gòu)成參考圖片的第一質(zhì)量層；構(gòu)成參照所述參考圖片編碼的當(dāng)前圖片的第二質(zhì)量層；以及給所述第一質(zhì)量層和第二質(zhì)量層的每一個(gè)分配優(yōu)先級，其中給截?cái)噘|(zhì)量層時(shí)對當(dāng)前圖片的視頻質(zhì)量降低影響小的質(zhì)量層分配低優(yōu)先級。
2、 如權(quán)利要求1所述的方法，其中片。
3、 如權(quán)利要求1所述的方法，其中 的分辨率或不同的時(shí)間水平。
4、 如權(quán)利要求1所述的方法，其中 個(gè)離散層和至少兩個(gè)精細(xì)顆粒分級FGS層。
5、 如權(quán)利要求4所述的方法，其中，所述構(gòu)成第一質(zhì)量層和構(gòu)成第二 質(zhì)量層的步驟包括通過預(yù)測參考圖片或當(dāng)前圖片獲得殘差信號； 通過變換該殘差信號產(chǎn)生變換系數(shù)； 通過第 一量化參數(shù)對該變換系數(shù)進(jìn)行量化來構(gòu)成離散層； 從該殘差信號中減去量化的結(jié)果；以及通過第二量化系數(shù)對相減的結(jié)果進(jìn)行量化來構(gòu)成所述至少兩個(gè)FGS層。
6、 如權(quán)利要求1所述的方法，其中，所述對視頻質(zhì)量降低影響小的質(zhì) 量層是編碼代價(jià)小于其它質(zhì)量層的質(zhì)量層。
7、 如權(quán)利要求6所述的方法，其中，該代價(jià)是將得自原始圖像的差與 編碼中消耗的比特率相加。
8、 一種控制比特流的比特率的方法，該方法包括 接收一見頻比特 流;設(shè)置視頻比特流的目標(biāo)比特率；讀取參考圖片的第一質(zhì)量層和當(dāng)前圖片的第二質(zhì)量層；以及基于該目標(biāo)比特率，從第一和第二質(zhì)量層中具有低優(yōu)先級的質(zhì)量層往上截?cái)唷?該參考圖片和當(dāng)前圖片是幀或分 ,該參考圖片和當(dāng)前圖片具有不同 ，該第一和第二質(zhì)量層分別包括一
9、 如權(quán)利要求8所述的方法，其中，該參考圖片和當(dāng)前圖片是幀或分片。
10、 如權(quán)利要求8所述的方法，其中，該參考圖片和當(dāng)前圖片具有不同 的分辨率或不同的時(shí)間水平。
11、 如權(quán)利要求8所述的方法，其中，該第一和第二質(zhì)量層分別包括一 個(gè)離散層和至少兩個(gè)精細(xì)顆粒分級FGS層。
12、 一種視頻解碼方法，包括 接收視頻比特流；讀取參考圖片的第一質(zhì)量層、當(dāng)前圖片的第二質(zhì)量層、以及第一和第二 質(zhì)量層的從屬ID;如果在第 一質(zhì)量層中不存在由該從屬ID指示的質(zhì)量層，則將從屬ID設(shè) 置為指示第一質(zhì)量層的最高質(zhì)量層；以及根據(jù)由從屬ID指示的關(guān)系重構(gòu)當(dāng)前圖片。
13、 如權(quán)利要求12所述的方法，其中，該參考圖片和當(dāng)前圖片是幀或 分片。
14、 如權(quán)利要求12所述的方法，其中，該參考圖片和當(dāng)前圖片具有不 同的分辨率或不同的時(shí)間水平。
15、 如權(quán)利要求12所述的方法，其中，該第一和第二質(zhì)量層分別包括 一個(gè)離散層和至少兩個(gè)精細(xì)顆粒分級FGS層。
16、 如權(quán)利要求12所述的方法，其中，所述當(dāng)前圖片的重構(gòu)包括 根據(jù)該從屬ID重構(gòu)參考圖片； 重構(gòu)當(dāng)前圖片的殘差信號；以及將重構(gòu)后的參考圖片和重構(gòu)后的殘差信號相加。
17、 一種分配優(yōu)先級以控制比特流的比特率的裝置，該裝置包括 參考圖片編碼器，構(gòu)成參考圖片的第一質(zhì)量層；當(dāng)前圖片編碼器，構(gòu)成參照所述參考圖片編碼的當(dāng)前圖片的第二質(zhì)量 層；以及質(zhì)量等級分配器，給第一質(zhì)量層和第二質(zhì)量層的每一個(gè)分配優(yōu)先級， 其中給截?cái)噘|(zhì)量層時(shí)對當(dāng)前圖片的視頻質(zhì)量降低影響小的質(zhì)量層分配 低優(yōu)先級。
18、 一種控制比特流的比特率的裝置，該裝置包括比特流輸入單元，接收視頻比特流；目標(biāo)比特率設(shè)置單元，設(shè)置視頻比特流的目標(biāo)比特率； 比特流剖析器，讀取參考圖片的第 一質(zhì)量層和當(dāng)前圖片的第二質(zhì)量層； 比特率截?cái)嗥?，基于目?biāo)比特率，從第一和第二質(zhì)量層中具有低優(yōu)先級 的質(zhì)量層往上截?cái)唷?br> 19、 一種視頻解碼裝置，包括 熵解碼單元，接收視頻比特流；比特流剖析器，讀取參考圖片的第一質(zhì)量層、當(dāng)前圖片的第二質(zhì)量層、 以及第一和第二質(zhì)量層的從屬ID;從屬ID設(shè)置單元，如果在第一質(zhì)量層中不存在由從屬ID指示的質(zhì)量層， 則將從屬ID設(shè)置為指示第一質(zhì)量層的最高質(zhì)量層；以及當(dāng)前圖片解碼器，根據(jù)由從屬ID指示的關(guān)系重構(gòu)當(dāng)前圖片。
全文摘要
提供一種分配優(yōu)先級以控制具有多個(gè)質(zhì)量層的比特流的比特率的方法。該方法包括構(gòu)成參考圖片的第一質(zhì)量層；構(gòu)成參照所述參考圖片編碼的當(dāng)前圖片的第二質(zhì)量層；以及給所述第一質(zhì)量層和第二質(zhì)量層的每一個(gè)分配優(yōu)先級，其中給截?cái)噘|(zhì)量層時(shí)對當(dāng)前圖片的視頻質(zhì)量降低影響小的質(zhì)量層分配低優(yōu)先級。
文檔編號H04N7/24GK101411194SQ200780011203
公開日2009年4月15日 申請日期2007年3月27日 優(yōu)先權(quán)日2006年3月27日
發(fā)明者李教爀, 韓宇鎮(zhèn), 馬努·馬修 申請人:三星電子株式會(huì)社