專利名稱:使用較高質(zhì)量的參考幀改進(jìn)效率的fgst結(jié)構(gòu)的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及精細(xì)顆??煞旨?jí)性(fine granular scalability)(FGS)視頻編碼,更加具體地說,涉及FGS編碼方案,其中從較高質(zhì)量的參考幀預(yù)測出雙向和/或單向預(yù)測的FGS時(shí)間(FGST)幀的多個(gè)層,所說的參考幀包括基本層信息和至少一部分增強(qiáng)層信息。
背景技術(shù):
在因特網(wǎng)協(xié)議(IP)網(wǎng)絡(luò)上的視頻流已使多媒體應(yīng)用范圍變得很寬。因特網(wǎng)視頻流提供連續(xù)的媒體內(nèi)容的實(shí)時(shí)傳送和顯示,同時(shí)還對在因特網(wǎng)上缺乏“服務(wù)質(zhì)量(QoS)”保證進(jìn)行補(bǔ)償。由于在IP網(wǎng)絡(luò)上帶寬和其它性能參數(shù)(如包丟失率)的變化和不可預(yù)見性,在一般情況下,大多數(shù)所建議的流解決方案都是基于某種類型的分層的(可分級(jí)(scalable))視頻編碼方案。
圖1A和1B表示一種類型的可分級(jí)視頻編碼方案的典型可分級(jí)性結(jié)構(gòu)10A、10B,稱之為混合的時(shí)間-SNR精細(xì)顆??煞旨?jí)性(FGS HS),在共同轉(zhuǎn)讓的、共同待審查的美國專利申請序列號(hào)No.09/590825中詳細(xì)描述了這個(gè)編碼方案。每個(gè)FGS HS結(jié)構(gòu)10A、10B都包括一個(gè)基本層11A、11B(BL)和一個(gè)增強(qiáng)層12A、12B(EL)??煞旨?jí)的視頻流的基本層部分在一般情況下代表解碼這個(gè)流所需的最小數(shù)據(jù)量??煞旨?jí)的視頻流的增強(qiáng)層部分代表附加信息,即,F(xiàn)GS SNR幀或圖像和FGS時(shí)間幀或圖像(記為FGST),當(dāng)通過接收器解碼時(shí),用于加強(qiáng)視頻信號(hào)的表示。具體來說,引入附加的時(shí)間幀是為了獲得更高的幀速率。MPEG-4 FGS標(biāo)準(zhǔn)支持圖1A的雙向預(yù)測的FGST圖像類型和圖1B的前向預(yù)測的FGST圖像類型。
圖2表示在美國專利申請序列號(hào)為No.09/590825中描述的一個(gè)典型的FGS HS視頻編碼器100的功能結(jié)構(gòu)。編碼操作基于DCT變換,當(dāng)然還可以使用其它的變換(如小波變換)。這個(gè)視頻編碼器100能夠產(chǎn)生圖1A和1B的FGS HS結(jié)構(gòu)。視頻編碼器100包括基本層編碼器110和增強(qiáng)層編碼器130。視頻編碼器100接收原始的視頻信號(hào),所說的視頻信號(hào)通過基本層編碼器110被處理成I和P幀的基本層比特流,并且通過增強(qiáng)層編碼器130處理成FGS SNR I和P幀和/或P和B FGST幀的增強(qiáng)層比特流。
在圖1A和1B的FGS HS結(jié)構(gòu)中,從存儲(chǔ)在幀存儲(chǔ)器模塊中的低質(zhì)量基本層參考幀中預(yù)測FGST幀。因此,產(chǎn)生的運(yùn)動(dòng)補(bǔ)償?shù)臍堄嗾`差很大,于是需要大量的比特來補(bǔ)償這些幀。因而,向較高的幀速率的過渡或者在低的比特率下進(jìn)行,或者在極高的比特率下進(jìn)行。
因此需要一種技術(shù)來降低在FGS HS視頻編碼方案中引入FGST幀所需的帶寬。
發(fā)明內(nèi)容
本發(fā)明的第一個(gè)方面涉及視頻編碼。這一方面涉及從至少部分的第一電平的運(yùn)動(dòng)補(bǔ)償?shù)臍堄鄨D像幀構(gòu)造運(yùn)動(dòng)補(bǔ)償?shù)目蓴U(kuò)展的參考幀。從運(yùn)動(dòng)補(bǔ)償?shù)目蓴U(kuò)展的參考幀和視頻預(yù)測第二電平的運(yùn)動(dòng)補(bǔ)償?shù)臍堄鄨D像幀。將第二電平的運(yùn)動(dòng)補(bǔ)償?shù)臍堄鄨D像幀按照精細(xì)顆粒可分級(jí)的方式編碼成時(shí)間幀的數(shù)據(jù)流。
本發(fā)明的第二方面涉及視頻解碼。這一方面涉及從至少部分的第一電平的運(yùn)動(dòng)補(bǔ)償?shù)臍堄鄨D像幀來構(gòu)造運(yùn)動(dòng)補(bǔ)償?shù)目蓴U(kuò)展的參考幀。將增強(qiáng)層數(shù)據(jù)流的第二電平的時(shí)間幀部分按照精細(xì)顆??蓴U(kuò)展的方式進(jìn)行解碼,以構(gòu)成第二電平的運(yùn)動(dòng)補(bǔ)償?shù)臍堄鄮_\(yùn)動(dòng)補(bǔ)償?shù)目蓴U(kuò)展的參考幀與第二電平的運(yùn)動(dòng)補(bǔ)償?shù)臍堄鄮M(jìn)行組合,以構(gòu)成第二電平的時(shí)間幀。
在結(jié)合附圖考慮從現(xiàn)在開始詳細(xì)描述的實(shí)施例,本發(fā)明的優(yōu)點(diǎn)、本質(zhì)、和各種附加的特征都將變得更加清楚,這里,所有附圖中相同的附圖標(biāo)記表示相同的元件。
圖1A和1B是示意圖,表示一個(gè)可分級(jí)性視頻編碼方案的典型可擴(kuò)展結(jié)構(gòu),稱之為混合時(shí)間-SNR精細(xì)顆粒可擴(kuò)展性;圖2是示意圖,表示典型的FGS混合時(shí)間-SNR視頻編碼器的功能結(jié)構(gòu),它能夠產(chǎn)生圖1A和1B的可分級(jí)性結(jié)構(gòu);圖3是示意圖,表示按照本發(fā)明的第一實(shí)施例的基于FGS的混合時(shí)間-SNR可分級(jí)性結(jié)構(gòu);圖3B是示意圖,表示按照本發(fā)明的第二實(shí)施例的基于FGS的混合時(shí)間-SNR可分級(jí)性結(jié)構(gòu);圖4是示意圖,表示按照本發(fā)明的典型實(shí)施例的FGS混合時(shí)間-SNR視頻編碼器的功能結(jié)構(gòu);圖5是示意圖,表示按照本發(fā)明的典型實(shí)施例的FGS混合時(shí)間-SNR視頻解碼器的功能結(jié)構(gòu);圖6表示可用于實(shí)施本發(fā)明的原理的一個(gè)系統(tǒng)的典型實(shí)施例。
具體實(shí)施例方式
圖3A表示按照本發(fā)明的第一實(shí)施例的基于FGS的混合時(shí)間-SNR可分級(jí)性結(jié)構(gòu)(FGS HS結(jié)構(gòu)30A)。FGS HS結(jié)構(gòu)30A包括利用I和P幀編碼的基本層31A、以及利用剩余的SNR I及P幀33A和至少第一和第二電平的運(yùn)動(dòng)補(bǔ)償?shù)臍堄嗟幕驎r(shí)間的(FGST)雙向預(yù)測的(B)幀34、35A及35B進(jìn)行FGS編碼的單個(gè)增強(qiáng)層32A。
第一電平的FGST幀34是從高質(zhì)量“擴(kuò)展的”基本層參考幀雙向預(yù)測的,每個(gè)參考幀都是從一個(gè)完整的基本層幀和至少部分的增強(qiáng)層幀構(gòu)成的,至少部分的增強(qiáng)層幀即增強(qiáng)層幀的一個(gè)或多個(gè)位面或者部分位面。第二電平的FGST幀35A可以從高質(zhì)量擴(kuò)展的基本層參考幀和高質(zhì)量的“擴(kuò)展的”FGST參考幀、即FGST幀34的一個(gè)或多個(gè)位面或者部分位面雙向預(yù)測出。第二電平的FGST幀35B可以從至少部分的兩個(gè)不同的高質(zhì)量擴(kuò)展的FGST參考幀雙向預(yù)測出。
圖3B表示按照本發(fā)明的第二實(shí)施例的FGS混合時(shí)間-SNR可分級(jí)性結(jié)構(gòu)(FGS HS結(jié)構(gòu)30B)。FGS HS結(jié)構(gòu)30B包括利用I和P幀編碼的基本層31B、以及利用剩余的SNR I及P幀33B和至少第一和第二電平的運(yùn)動(dòng)補(bǔ)償?shù)臍堄嗟幕驎r(shí)間的(FGST)單向預(yù)測的(B)幀36、37及38進(jìn)行FGS編碼的單個(gè)增強(qiáng)層32B。
第一電平的FGST幀36是從高質(zhì)量擴(kuò)展的基本層參考幀單向預(yù)測的,所說的參考幀是從至少部分的SNR幀33B導(dǎo)出的。第二電平的FGST幀37也是從至少部分的這個(gè)高質(zhì)量擴(kuò)展的基本層參考幀單向預(yù)測的。第二電平的FGST幀38是從高質(zhì)量擴(kuò)展的FGST參考幀、即第一電平的FGST幀36的至少一部分單向預(yù)測的。
由于這些擴(kuò)展的參考幀具有很高的質(zhì)量,所以在FGST幀內(nèi)編碼的剩余運(yùn)動(dòng)補(bǔ)償誤差要比圖1A和1B的FGS HS結(jié)構(gòu)的FGST幀中小得多。因此,本發(fā)明的FGST幀能夠用較少的比特更加有效地發(fā)送。本發(fā)明的高編碼效率對于無線應(yīng)用尤其有用,因?yàn)闊o線應(yīng)用必須有高的編碼效率增益。
圖4表示按照本發(fā)明的典型實(shí)施例的一個(gè)FGS HS視頻編碼器200的功能結(jié)構(gòu)。這個(gè)視頻編碼器200能夠按照圖3A、3B的FGS HS結(jié)構(gòu)30A、30B編碼視頻信號(hào)。視頻編碼器200包括基本層編碼器210和增強(qiáng)層編碼器230。視頻編碼器200接收原始視頻信號(hào),原始視頻信號(hào)通過基本層編碼器210處理成I和P幀的基本層比特流,并且通過增強(qiáng)層編碼器230處理成FGS SNR I和P幀和/或P和B FGST幀的增強(qiáng)層比特流。雖然圖4的編碼器200是基于離散余弦變換,但也可以使用其它的變換,如小波變換。
基本層編碼器210包括第一視頻信號(hào)處理分支,第一視頻信號(hào)處理分支包括運(yùn)動(dòng)估算器211、運(yùn)動(dòng)補(bǔ)償器212、離散余弦變換(DCT)213、量化器214、和熵編碼器215,用于產(chǎn)生基本層比特流。基本層編碼器210還包括第二視頻信號(hào)處理分支,第二視頻信號(hào)處理分支包括反向量化器216、逆向離散余弦變換(IDCT)217、和幀存儲(chǔ)器218。
幀存儲(chǔ)器218用于存儲(chǔ)標(biāo)準(zhǔn)基本層參考幀、擴(kuò)展的基本層參考幀、和FGS參考幀。運(yùn)動(dòng)估算器211接收原始視頻信號(hào)并且估算在幀存儲(chǔ)器218中存儲(chǔ)的參考幀和在原始視頻信號(hào)中的視頻幀之間的運(yùn)動(dòng)量,這個(gè)運(yùn)動(dòng)量由像素特性的變化表示,而且產(chǎn)生運(yùn)動(dòng)信息信號(hào),這個(gè)運(yùn)動(dòng)信息信號(hào)包含基本層運(yùn)動(dòng)矢量和預(yù)測模式(基本層參考幀)、或增強(qiáng)層運(yùn)動(dòng)矢量、和預(yù)測模式(擴(kuò)展的基本層參考幀和FGST參考幀)。將運(yùn)動(dòng)信息信號(hào)加到運(yùn)動(dòng)補(bǔ)償器212和第一數(shù)據(jù)流控制器219。
運(yùn)動(dòng)補(bǔ)償器212使用標(biāo)準(zhǔn)基本層參考幀信號(hào)、基本層運(yùn)動(dòng)矢量、和預(yù)測模式信號(hào)來產(chǎn)生運(yùn)動(dòng)補(bǔ)償參考幀信號(hào),運(yùn)動(dòng)補(bǔ)償參考幀信號(hào)用于預(yù)測標(biāo)準(zhǔn)基本層P幀。運(yùn)動(dòng)補(bǔ)償器212利用擴(kuò)展的基本層參考幀信號(hào)、FGST參考幀信號(hào)、和FGST幀的增強(qiáng)層運(yùn)動(dòng)信息信號(hào)來產(chǎn)生運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的基本層參考幀信號(hào)和運(yùn)動(dòng)補(bǔ)償?shù)腇GST參考幀信號(hào),這兩個(gè)信號(hào)用于預(yù)測第一和第二電平的FGST幀。
在第一減法器220中,通過從原始視頻信號(hào)中扣除標(biāo)準(zhǔn)的運(yùn)動(dòng)補(bǔ)償?shù)幕緦訁⒖紟盘?hào),產(chǎn)生運(yùn)動(dòng)補(bǔ)償?shù)氖S嗷緦覲幀信號(hào)。在第一減法器220中,通過從原始視頻信號(hào)中扣除運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的基本層參考幀信號(hào),產(chǎn)生運(yùn)動(dòng)補(bǔ)償?shù)氖S郌GST幀信號(hào),以用于產(chǎn)生第一電平的FGST幀。在第一減法器220中,通過從原始視頻信號(hào)中扣除運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的基本層參考幀和運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的FGST參考幀信號(hào)的組合信號(hào),產(chǎn)生運(yùn)動(dòng)補(bǔ)償?shù)氖S郌GST幀信號(hào),以用于產(chǎn)生圖3A的第二電平的FGST幀35A。在第一減法器220中,通過從原始視頻信號(hào)中扣除組合的運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的FGST參考幀信號(hào),產(chǎn)生運(yùn)動(dòng)補(bǔ)償?shù)氖S郌GST幀信號(hào),以用于產(chǎn)生圖3A的第二電平的FGST幀35B,所說的組合的運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的FGST參考幀信號(hào)由兩個(gè)不同的運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的FGST參考幀組成。
在第一減法器220中,通過從原始視頻信號(hào)中扣除運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的基本層參考幀信號(hào),產(chǎn)生運(yùn)動(dòng)補(bǔ)償?shù)氖S郌GST幀信號(hào),以用于產(chǎn)生圖3B的第二電平的FGST幀37。在第一減法器220,通過從原始視頻信號(hào)中扣除運(yùn)動(dòng)補(bǔ)償?shù)腇GST參考幀信號(hào),產(chǎn)生運(yùn)動(dòng)補(bǔ)償?shù)氖S郌GST幀信號(hào),以用于產(chǎn)生圖3B的第二電平的FGST幀38。
離散余弦變換213通過按常規(guī)方式將運(yùn)動(dòng)補(bǔ)償?shù)氖S郌GST和基本層P幀信號(hào)中的空間信息變換到頻率域內(nèi)來實(shí)現(xiàn)壓縮。在原始視頻信號(hào)中的基本層I幀也由離散余弦變換213按照這種方式進(jìn)行壓縮。在適當(dāng)?shù)臅r(shí)間,第二數(shù)據(jù)流控制器221向量化器214傳遞在離散余弦變換213的輸出端產(chǎn)生的基本層I和P幀的離散余弦變換的位面信號(hào)以便進(jìn)一步壓縮。
熵編碼器215使用常規(guī)的可變長度編碼等技術(shù)進(jìn)一步壓縮在量化器214的輸出端上的量化的經(jīng)過離散余弦變換的位面信號(hào)。第一復(fù)用器222利用從運(yùn)動(dòng)估算器經(jīng)過第一數(shù)據(jù)流控制器219路由到第一復(fù)用器222的基本層運(yùn)動(dòng)信息信號(hào)多路復(fù)用在熵編碼器215的輸出端上的信號(hào),以產(chǎn)生I和P幀的基本層比特流。
反向量化器216使量化器214的輸出去量化,以產(chǎn)生代表輸入到量化器214的變換的信號(hào)。這個(gè)信號(hào)表示的是重構(gòu)的基本層離散余弦變換系數(shù)。逆向離散余弦變換(IDCT)217解碼重構(gòu)的基本層離散余弦變換系數(shù)以產(chǎn)生一個(gè)信號(hào),這個(gè)信號(hào)提供經(jīng)過變換和量化過程修改的原始視頻信號(hào)的基本層I和P幀表示。第一加法器223從逆向離散余弦變換217的輸出端上的信號(hào)以及運(yùn)動(dòng)補(bǔ)償器212的輸出端的適當(dāng)?shù)膮⒖紟盘?hào)重構(gòu)基本層I和P幀。這些重構(gòu)的基本層I和P幀被存儲(chǔ)在幀存儲(chǔ)器218中并被用作標(biāo)準(zhǔn)的基本層參考幀,用于預(yù)測另外的基本層P參考幀和第一電平的FGST幀。
增強(qiáng)層編碼器230包括第一視頻信號(hào)處理分支,第一視頻信號(hào)處理分支包括離散余弦變換剩余圖像存儲(chǔ)器231、自適應(yīng)量化器232、和FGS編碼器235。增強(qiáng)層編碼器230還包括第二視頻信號(hào)處理分支,第二視頻信號(hào)處理分支包括第一位面選擇器236、第二逆向離散余弦變換(IDCT)217、第二位面選擇器244、和第三逆向離散余弦變換246。
在增強(qiáng)層編碼器230中的第二減法器238從量化器214的輸出端上的量化的基本層離散余弦變換位面信號(hào)中扣除在離散余弦變換213的輸出端上的基本層離散余弦變換位面信號(hào),以產(chǎn)生SNR離散余弦變換位面剩余圖像。在適當(dāng)?shù)臅r(shí)候,第三數(shù)據(jù)流控制器239將在第二減法器238的輸出端上的SNR離散余弦變換位面剩余圖像信號(hào)(SNR剩余信號(hào))或者通過第二數(shù)據(jù)流控制器221路由的運(yùn)動(dòng)補(bǔ)償?shù)牡谝缓偷诙娖降腇GST離散余弦變換位面剩余信號(hào)(FGST剩余信號(hào))施加到離散余弦變換剩余圖像存儲(chǔ)器231以進(jìn)行存儲(chǔ)。
自適應(yīng)量化器232是公知的編碼工具,它對變換編碼的視頻的視覺質(zhì)量有所改進(jìn)。自適應(yīng)量化器232包括一個(gè)已知的選擇性的加強(qiáng)工具233,用于通過在剩余圖像幀中經(jīng)過移位選擇的宏模塊對SNR和FGST剩余信號(hào)進(jìn)行選擇性的加強(qiáng);和一個(gè)任選的已知的頻率加權(quán)工具,用于加權(quán)經(jīng)過比特移動(dòng)選擇的系數(shù)。
FGS編碼器235使用位面離散余弦變換掃描和熵編碼壓縮在自適應(yīng)量化器232的輸出端上的SNR剩余信號(hào),由此產(chǎn)生FGS SNR比特流。第四數(shù)據(jù)流控制器240在適當(dāng)?shù)臅r(shí)間向第三復(fù)用器243發(fā)送FGS SNR比特流。FGS編碼器235還要使用位面離散余弦變換掃描和熵編碼壓縮在自適應(yīng)量化器232的輸出端上的FGST剩余信號(hào)。在FGS編碼器235的輸出端上的經(jīng)過壓縮的FGST剩余信號(hào)在適當(dāng)?shù)臅r(shí)間由第四數(shù)據(jù)流控制器240發(fā)送到第二復(fù)用器241,第二復(fù)用器241多路復(fù)用經(jīng)過壓縮的FGST剩余信號(hào)經(jīng)過第一數(shù)據(jù)流控制器219路由的增強(qiáng)層運(yùn)動(dòng)信息信號(hào),由此產(chǎn)生FGST比特流。SNR FGS增強(qiáng)層比特流和時(shí)間FGS比特流可以經(jīng)過第三復(fù)用器243多路復(fù)用以產(chǎn)生單個(gè)增強(qiáng)層比特流(它由SNR幀和第一及第二電平的時(shí)間FGS幀組成),或者以兩個(gè)分開的流存儲(chǔ)/發(fā)送。
第一位面選擇器或者掩碼設(shè)備236選擇SNR剩余圖像信號(hào)的至少一部分位面,即,一部分位面、一個(gè)或多個(gè)完整的位面、或者完整的和部分的位面的任意組合。這個(gè)數(shù)據(jù)信號(hào)與在第二加法器242的基本層編碼器210的逆向離散余弦變換216的輸出端上的它的對應(yīng)的基本層幀信號(hào)進(jìn)行組合,以構(gòu)成擴(kuò)展的基本層參考幀。第二逆向離散余弦變換237解碼擴(kuò)展的基本層參考幀的離散余弦變換系數(shù)。第三加法器224組合在第二逆向離散余弦變換237的輸出端上的擴(kuò)展的基本層幀信號(hào)和在運(yùn)動(dòng)補(bǔ)償器212的輸出端上的適當(dāng)?shù)膮⒖紟盘?hào)。在幀存儲(chǔ)器218中存儲(chǔ)在第三加法器224構(gòu)成的擴(kuò)展的基本層幀,并且將其用作擴(kuò)展的基本層參考幀,用于預(yù)測FGST幀。
第二位面選擇器244、第四和第五加法器245、247、以及第三逆向離散余弦變換246產(chǎn)生用于預(yù)測第二電平的FGST幀的FGST參考幀。在圖3A的第二電平的FGST幀35A的情況下,第二位面選擇器244選擇至少一部分參考FGST離散余弦變換位面剩余圖像34和至少一部分參考SNR離散余弦變換位面剩余圖像33A。這個(gè)數(shù)據(jù)信號(hào)與第四加法器245的基本層編碼器210的逆向離散余弦變換216的輸出端上的一個(gè)對應(yīng)的基本層離散余弦變換剩余幀信號(hào)組合,構(gòu)成一個(gè)FGST參考幀信號(hào),用于雙向預(yù)測圖3A的FGST幀35A。然后,將這個(gè)數(shù)據(jù)信號(hào)加到第三逆向離散余弦變換246。
在圖3A的第二電平的FGST幀35B的情況下,第二位面選擇器244選擇每個(gè)參考FGST離散余弦變換位面剩余圖像34的至少一部分。這個(gè)數(shù)據(jù)信號(hào)包括用于雙向預(yù)測圖3A的FGST幀35B的FGST參考幀信號(hào)。這個(gè)數(shù)據(jù)信號(hào)不由第四加法器245處理,因此被加到第三逆向離散余弦變換246上。
在圖3B的第二電平的FGST幀37的情況下,第二位面選擇器244選擇參考SNR離散余弦變換位面剩余圖像33B的至少一部分。這個(gè)數(shù)據(jù)信號(hào)與第四加法器245的基本層編碼器210的逆向離散余弦變換216的輸出端上的一個(gè)對應(yīng)的基本層離散余弦變換剩余幀信號(hào)組合,以構(gòu)成FGST參考幀信號(hào),用于單向預(yù)測圖3B的第二電平的FGST幀37。然后這個(gè)數(shù)據(jù)被加到第三逆向離散余弦變換246上。
在圖3B的另外的第二電平的FGST幀38的情況下,第二位面選擇器244選擇參考FGST離散余弦變換位面剩余圖像36的至少一部分。這個(gè)數(shù)據(jù)信號(hào)包括用于單向預(yù)測圖3B的FGST幀38的FGST參考幀信號(hào)。這個(gè)數(shù)據(jù)信號(hào)不由第四加法器245處理,因此被加到第三逆向離散余弦變換246上。
第三逆向離散余弦變換246解碼以上的參考幀信號(hào)的離散余弦變換系數(shù)。第五加法器247組合在第三逆向離散余弦變換246的輸出端上的信號(hào)和在運(yùn)動(dòng)補(bǔ)償器218的輸出端上的適當(dāng)?shù)膮⒖紟盘?hào)。在幀存儲(chǔ)器218中存儲(chǔ)在第五加法器247構(gòu)成的擴(kuò)展的FGST幀(即,從圖3A的第一電平的FGST參考幀34和SNR參考幀33A以及圖3B的第一電平的FGST參考幀36導(dǎo)出的幀)和擴(kuò)展的基本層參考幀(即,從圖3B的第一電平的SNR參考幀33B導(dǎo)出的幀),并將其用作預(yù)測第二電平的FGST幀的參考幀。
圖5表示按照本發(fā)明的典型實(shí)施例的一個(gè)FGS HS視頻解碼器300的功能結(jié)構(gòu)。這個(gè)視頻解碼器300能夠解碼由圖4的視頻編碼器200產(chǎn)生的基本層和增強(qiáng)層的比特流。
視頻解碼器300包括基本層解碼器310和增強(qiáng)層解碼器330。基本層解碼器包括基本層可變長度解碼器(VLD)311、反向量化器311、和第一逆向離散余弦變換313、基本層幀存儲(chǔ)器314、和運(yùn)動(dòng)補(bǔ)償器315。
增強(qiáng)層解碼器330包括FGS位面解碼器331、第一位面選擇器332、第二逆向離散余弦變換333、增強(qiáng)層幀存儲(chǔ)器334、第二位面選擇器343、和第三逆向離散余弦變換344。增強(qiáng)層解碼器330與基本層解碼器310共享運(yùn)動(dòng)補(bǔ)償器315。
基本層比特流由基本層解碼器310接收并且經(jīng)過第一去復(fù)用器316去復(fù)用,從而將編碼的基本層信息信號(hào)從基本層運(yùn)動(dòng)信息信號(hào)中分離出來?;緦涌勺冮L度解碼器311接收基本層信息信號(hào),并且逆轉(zhuǎn)(reverse)來自基本層編碼器210的熵編碼過程,從而產(chǎn)生量化的基本層離散余弦變換系數(shù)信號(hào)。通過反向量化器312反向量化所說的量化的基本層信息信號(hào),以便重構(gòu)基本層離散余弦變換系數(shù)信號(hào)。第一逆向離散余弦變換313對基本層離散余弦變換系數(shù)進(jìn)行逆向余弦變換。在第一逆向離散余弦變換313的輸出端上的信號(hào)的基本層I幀部分不需要任何進(jìn)一步的處理。因此,在基本層幀存儲(chǔ)器314中存儲(chǔ)在第一加法器319中的基本層I幀。
運(yùn)動(dòng)補(bǔ)償器315在適當(dāng)時(shí)候接收由第一數(shù)據(jù)流控制器317控制的基本層運(yùn)動(dòng)信息信號(hào)。然后,運(yùn)動(dòng)補(bǔ)償器315使用存儲(chǔ)在基本層幀存儲(chǔ)器314中的基本層運(yùn)動(dòng)信息和基本層I和P參考幀來重構(gòu)運(yùn)動(dòng)補(bǔ)償?shù)幕緦訁⒖紟?,其被用于預(yù)測基本層P幀。
在適當(dāng)?shù)臅r(shí)間通過第二數(shù)據(jù)流控制器318將在運(yùn)動(dòng)補(bǔ)償器315的輸出端上的運(yùn)動(dòng)補(bǔ)償?shù)幕緦訁⒖紟盘?hào)加到第一加法器319上。第一加法器組合這個(gè)信號(hào)與在第一逆向離散余弦變換313的輸出端上的這個(gè)信號(hào)的其余部分,以重構(gòu)基本層P幀,基本層P幀然后被存儲(chǔ)在基本層幀存儲(chǔ)器314中。在第一加法器319的輸出端產(chǎn)生的基本層幀信號(hào)可以任選地作為基本層視頻進(jìn)行輸出。
增強(qiáng)層比特流由增強(qiáng)層解碼器330接收,并且通過第二去復(fù)用器335去復(fù)用,從而將編碼的FGS SNR信號(hào)從編碼的FGST信號(hào)分離出來。在適當(dāng)時(shí)間,經(jīng)過第三數(shù)據(jù)流控制器337向FGS位面解碼器331輸入編碼的FGS SNR信號(hào),所說解碼器331通過執(zhí)行可變長度解碼、去移位、和逆向離散余弦變換操作解碼已經(jīng)編碼的FGS SNR信號(hào)的位面。第二加法器340在適當(dāng)時(shí)間經(jīng)過第四數(shù)據(jù)流控制器338組合在FGS位面解碼器331的輸出端上的已經(jīng)解碼的FGS I和P SNR幀信號(hào)與在第一加法器319的輸出端上的已經(jīng)解碼的基本層I和P幀信號(hào)。第五數(shù)據(jù)流控制器341選擇一個(gè)適當(dāng)?shù)臅r(shí)間,以用于在第一加法器319的輸出端上輸出組合的基本層和SNR幀信號(hào),以此作為加強(qiáng)的視頻。
第一位面選擇器332輸入在逆向離散余弦變換之前正由FGS位面解碼器331處理的FGS SNR剩余圖像或幀信號(hào),并且選擇先前已經(jīng)選擇過的參考位面、部分位面等的數(shù)目,這些位面曾被用于在編碼期間預(yù)測第一電平的FGST幀。第二逆向離散余弦變換333對所選的部分解碼的參考FGS SNR位面進(jìn)行逆向余弦變換。第三加法器342組合在第二逆向離散余弦變換333的輸出端上的所有已經(jīng)解碼的參考FGSSNR剩余圖像或幀部分與存儲(chǔ)在基本層幀存儲(chǔ)器314中的對應(yīng)的基本層幀,以重構(gòu)擴(kuò)展的基本層參考幀。在增強(qiáng)層幀存儲(chǔ)器334中存儲(chǔ)擴(kuò)展的基本層參考幀,用于后來的第一電平的FGST幀的重構(gòu)的過程中。
第三去復(fù)用器336使FGST信息信號(hào)去復(fù)用,以使已經(jīng)編碼的FGST剩余圖像或幀信號(hào)從增強(qiáng)層運(yùn)動(dòng)信息信號(hào)中分離出來。在適當(dāng)?shù)臅r(shí)刻由FGS位面解碼器331經(jīng)過第三數(shù)據(jù)流控制器337接收已經(jīng)編碼的FGST剩余圖像或幀信號(hào)并且對其進(jìn)行處理,下面馬上對此進(jìn)行說明。
對于圖3A的雙向預(yù)測的FGST幀35A,第二位面選擇器332輸入在逆向離散余弦變換之前正由FGS位面解碼器331處理的FGS SNR和FGST剩余圖像或幀信號(hào),并且選擇先前選擇過的、曾在編碼期間用于預(yù)測第二電平的FGST幀35A的參考位面、部分位面等的數(shù)目。第三逆向離散余弦變換344對所選的部分解碼的參考FGS SNR和FGST位面進(jìn)行逆向余弦變換。在FGS SNR位面的情況下,第四加法器345組合在第三逆向離散余弦變換344的輸出端上的全部解碼的參考FGSSNR剩余圖像或幀部分與存儲(chǔ)在基本層幀存儲(chǔ)器314中的對應(yīng)的基本層幀,以重構(gòu)擴(kuò)展的基本層參考幀,用于第二電平的FGST幀35A。將這些擴(kuò)展的基本層參考幀存儲(chǔ)在增強(qiáng)層幀存儲(chǔ)器334中。在FGST位面的情況下,第四加法器不起任何作用,因此,在第三逆向離散余弦變換344的輸出端上的完全解碼的擴(kuò)展的FGST參考幀和它們的對應(yīng)的擴(kuò)展的基本層參考幀一起存儲(chǔ)在增強(qiáng)層幀存儲(chǔ)器334中,以便后面重構(gòu)第二電平的FGST幀35A時(shí)使用。
對于圖3A的雙向預(yù)測的FGST幀35B,第二位面選擇器332只輸入在逆向離散余弦變換之前正由FGS位面解碼器331處理的FGST剩余圖像或幀信號(hào),并且選擇先前選擇過的、曾在編碼期間用于預(yù)測第二電平的FGST幀35B的參考位面、部分位面等的數(shù)目。第三逆向離散余弦變換344對所選的部分解碼的參考FGST位面進(jìn)行逆向余弦變換。在FGST位面的情況下,第四加法器不起任何作用,因此,在第三逆向離散余弦變換344的輸出端上的完全解碼的擴(kuò)展的FGST參考幀被存儲(chǔ)在增強(qiáng)層幀存儲(chǔ)器334中,以便后面用于重構(gòu)第二電平的FGST幀35B。
對于圖3B的單向預(yù)測的FGST幀37,第二位面選擇器332輸入在逆向離散余弦變換之前正由FGS位面解碼器331處理的FGS SNR剩余圖像或幀信號(hào),并且選擇先前選擇過的、曾在編碼期間用于預(yù)測第二電平FGST幀37的參考位面、部分位面等的數(shù)目。第三逆向離散余弦變換344對所選的部分解碼的參考FGS SNR位面進(jìn)行逆向余弦變換。第四加法器345組合在第三逆向離散余弦變換344的輸出端上的完全解碼的參考FGS SNR剩余圖像或幀部分和基本層幀存儲(chǔ)器314中存儲(chǔ)的對應(yīng)的基本層幀,以重構(gòu)擴(kuò)展的基本層參考幀,用于第二電平的FGST幀37。在增強(qiáng)層幀存儲(chǔ)器334中存儲(chǔ)這些擴(kuò)展的基本層參考幀,以便后面用于重構(gòu)第二電平FGST幀37。
對于圖3B的單向預(yù)測的FGST幀38,第二位面選擇器332只輸入在逆向離散余弦變換之前正由FGS位面解碼器331處理的FGS剩余圖像或幀信號(hào),并且選擇先前選擇過的、曾在編碼期間用于預(yù)測第二電平FGST幀38的參考位面、部分位面等的數(shù)目。第三逆向離散余弦變換344對所選的部分解碼的參考FGS位面進(jìn)行逆向余弦變換。第四加法器345在FGST位面的情況下不起任何作用,因此,在第三逆向離散余弦變換344的輸出端上的完全解碼的擴(kuò)展的FGST參考圖像或幀部分被存儲(chǔ)在增強(qiáng)層幀存儲(chǔ)器334中,以便后面用于重構(gòu)第二電平的FGST幀38。
在適當(dāng)?shù)臅r(shí)刻,運(yùn)動(dòng)補(bǔ)償器315經(jīng)過第一數(shù)據(jù)流控制器317接收增強(qiáng)層運(yùn)動(dòng)信息信號(hào)。運(yùn)動(dòng)補(bǔ)償器使用在增強(qiáng)層幀存儲(chǔ)器中存儲(chǔ)的增強(qiáng)層運(yùn)動(dòng)信息和擴(kuò)展的基本層和FGST參考幀來重構(gòu)運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的基本層和FGST參考幀。
第五加法器339組合在運(yùn)動(dòng)補(bǔ)償器315的輸出端上的運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的基本層和FGST參考幀信號(hào)與在FGS解碼器331的輸出端上的已經(jīng)解碼的FGST剩余幀信號(hào)。這個(gè)功能的定時(shí)關(guān)系由第四數(shù)據(jù)流控制器338控制。第五數(shù)據(jù)流控制器341在適當(dāng)時(shí)間輸出在第五加法器339的輸出端上的重構(gòu)的FGST幀信號(hào),以此作為加強(qiáng)的視頻。
圖6表示可用于實(shí)施本發(fā)明的原理的一個(gè)系統(tǒng)400的典型實(shí)施例。系統(tǒng)400可代表電視、機(jī)頂盒、臺(tái)式、膝上、和掌上計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、視頻/圖像存儲(chǔ)設(shè)備,例如盒式錄像機(jī)(VCR)、數(shù)字視頻記錄器(DVR)、TiVO設(shè)備等,以及這些設(shè)備和其它設(shè)備的部分或組合。系統(tǒng)400包括一個(gè)或多個(gè)視頻/圖像源401、一個(gè)或多個(gè)輸入/輸出設(shè)備402、一個(gè)處理器403、和一個(gè)存儲(chǔ)器404。視頻/圖像源(一個(gè)或多個(gè))401例如可代表電視接收機(jī)、VCR、或其它的視頻/圖像存儲(chǔ)設(shè)備。視頻/圖像源(一個(gè)或多個(gè))401按另一種方式還可代表一個(gè)或多個(gè)網(wǎng)絡(luò)連接,用于例如通過一個(gè)全球計(jì)算機(jī)通信網(wǎng)絡(luò)從一個(gè)或多個(gè)服務(wù)器接收視頻,所說的網(wǎng)絡(luò)例如有因特網(wǎng)、寬域網(wǎng)、都市區(qū)域網(wǎng)、局域網(wǎng)、地面廣播系統(tǒng)、有線網(wǎng)絡(luò)、衛(wèi)星網(wǎng)絡(luò)、無線網(wǎng)絡(luò)、或電話網(wǎng)絡(luò)、以及這些和其它類型網(wǎng)絡(luò)的一些部分或組合。
輸入/輸出設(shè)備402、處理器403、和存儲(chǔ)器404可以通過通信媒介405進(jìn)行通信。通信媒介405例如可以代表總線、通信網(wǎng)絡(luò)、電路的一個(gè)或多個(gè)內(nèi)部連接、電路卡、或其它設(shè)備、以及這些和其它的通信媒介的一些部分和組合。按照存儲(chǔ)在存儲(chǔ)器404中的并由處理器403執(zhí)行的一個(gè)或多個(gè)軟件程序處理來自源(一個(gè)或多個(gè))401的輸入視頻數(shù)據(jù),以產(chǎn)生提供給顯示設(shè)備406的輸出視頻/圖像。
在優(yōu)選實(shí)施例中,可通過由系統(tǒng)執(zhí)行的計(jì)算機(jī)可讀代碼來實(shí)現(xiàn)使用本發(fā)明的原理的編碼和解碼。所說的代碼可存儲(chǔ)在存儲(chǔ)器404中,或從諸如CD-ROM或軟盤之類的存儲(chǔ)介質(zhì)讀出/下載。在另外的實(shí)施例中,可使用硬件電路來代替軟件指令來實(shí)施本發(fā)明,或者硬件電路與軟件指令組合起來實(shí)施本發(fā)明。例如,在圖4或圖5中所示的功能部件還可以實(shí)施為分立的硬件元件。
雖然以上結(jié)合特定的實(shí)施例描述了本發(fā)明,但應(yīng)該理解,本發(fā)明不限于這里公開的實(shí)施例。例如,可以使用除離散余弦變換以外的其它變換,其中包括但不限于小波變換或匹配追蹤。這些和所有其它的這種改進(jìn)和變化都被認(rèn)為是落在所附的權(quán)利要求書的范圍內(nèi)。
權(quán)利要求
1.一種編碼視頻的方法,包括如下步驟-從第一電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄨D像幀的至少一部分構(gòu)成運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的參考幀;-從運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的參考幀和視頻來預(yù)測第二電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄨D像幀;和-將第二電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄨D像幀按照精細(xì)顆??煞旨?jí)編碼成時(shí)間幀的數(shù)據(jù)流。
2.根據(jù)權(quán)利要求1所述的編碼視頻的方法,進(jìn)一步還包括如下步驟-將視頻編碼成基本層幀的數(shù)據(jù)流;-從基本層幀計(jì)算剩余圖像幀;以及-將剩余圖像幀按照精細(xì)顆??煞旨?jí)編碼成SNR質(zhì)量幀的數(shù)據(jù)流。
3.根據(jù)權(quán)利要求2所述的編碼視頻的方法,進(jìn)一步還包括如下步驟-從基本層幀和至少部分剩余圖像幀構(gòu)成運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的基本層參考幀;-從運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的基本層參考幀和視頻來預(yù)測第一電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄨D像幀;-將第一電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄨D像幀按照精細(xì)顆??煞旨?jí)編碼成時(shí)間幀的數(shù)據(jù)流。
4.根據(jù)權(quán)利要求3所述的編碼視頻的方法,進(jìn)一步還包括如下步驟組合時(shí)間幀的數(shù)據(jù)流與SNR質(zhì)量幀的數(shù)據(jù)流以構(gòu)成時(shí)間幀和SNR質(zhì)量幀的單個(gè)數(shù)據(jù)流。
5.根據(jù)權(quán)利要求2所述的編碼視頻的方法,進(jìn)一步還包括如下步驟組合時(shí)間幀的數(shù)據(jù)流與SNR質(zhì)量幀的數(shù)據(jù)流以構(gòu)成時(shí)間幀和SNR質(zhì)量幀的單個(gè)數(shù)據(jù)流。
6.一種編碼視頻信號(hào)的方法,包括如下步驟-從至少部分的第一電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄨D像幀構(gòu)成運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的參考幀;-從運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的參考幀和視頻預(yù)測第二電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄨D像幀;和-將第二電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄨D像幀按照精細(xì)顆??煞旨?jí)編碼成時(shí)間幀的數(shù)據(jù)流。
7.一種用于編碼視頻的設(shè)備,包括-用于從至少部分的第一電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄨D像幀構(gòu)成運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的參考幀的裝置(244);-用于從運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的參考幀和視頻預(yù)測第二電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄨D像幀的裝置(247);和-用于將第二電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄨D像幀按照精細(xì)顆??煞旨?jí)編碼成時(shí)間幀的數(shù)據(jù)流的裝置(235)。
8.一種用于編碼視頻的存儲(chǔ)介質(zhì),包括-用于從至少部分的第一電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄨D像幀構(gòu)成運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的參考幀的代碼(244);-用于從運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的參考幀和視頻預(yù)測第二電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄨D像幀的代碼(247);和-用于將第二電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄨D像幀按照精細(xì)顆粒可分級(jí)編碼成時(shí)間幀的數(shù)據(jù)流的代碼(235)。
9.一種用于解碼合起來表示視頻的基本層數(shù)據(jù)流和增強(qiáng)層數(shù)據(jù)流的方法,包括如下步驟-從至少部分的第一電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄨D像幀構(gòu)成運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的參考幀;-按照精細(xì)顆??煞旨?jí)解碼增強(qiáng)層數(shù)據(jù)流的第二電平時(shí)間幀部分,以構(gòu)成第二電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄮?組合運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的參考幀與第二電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄮?,以?gòu)成第二電平的時(shí)間幀。
10.根據(jù)權(quán)利要求9所述的解碼方法,進(jìn)一步還包括如下步驟-解碼基本層數(shù)據(jù)流以構(gòu)成基本層幀;-按照精細(xì)顆粒可分級(jí)解碼增強(qiáng)層數(shù)據(jù)流的SNR質(zhì)量幀部分以構(gòu)成SNR質(zhì)量幀;-從基本層幀和至少部分SNR質(zhì)量幀構(gòu)成運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的基本層參考幀;-按照精細(xì)顆粒可分級(jí)性解碼增強(qiáng)層數(shù)據(jù)流的時(shí)間幀部分以構(gòu)成第一電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄮?組合運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的基本層參考幀與第一電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄮詷?gòu)成第一電平的時(shí)間幀。
11.根據(jù)權(quán)利要求10所述的解碼方法,進(jìn)一步還包括如下步驟將基本層幀和SNR質(zhì)量幀組合成加強(qiáng)的視頻。
12.根據(jù)權(quán)利要求10所述的解碼方法,進(jìn)一步還包括如下步驟將基本層幀、SNR質(zhì)量幀、和第一及第二電平的時(shí)間幀組合成加強(qiáng)的視頻。
13.一種用于解碼合起來表示視頻的基本層數(shù)據(jù)流和增強(qiáng)層數(shù)據(jù)流的設(shè)備,包括-從至少部分的第一電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄨D像幀構(gòu)成運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的參考幀的裝置(343);-按照精細(xì)顆??煞旨?jí)解碼增強(qiáng)層數(shù)據(jù)流的第二電平時(shí)間幀部分以構(gòu)成第二電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄮难b置(331);-組合運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的參考幀與第二電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄮詷?gòu)成第二電平的時(shí)間幀的裝置(339)。
14.一種用于解碼合起來表示視頻的基本層數(shù)據(jù)流和增強(qiáng)層數(shù)據(jù)流的存儲(chǔ)介質(zhì),包括-從至少部分的第一電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄨D像幀構(gòu)成運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的參考幀的代碼(343);-按照精細(xì)顆??煞旨?jí)解碼增強(qiáng)層數(shù)據(jù)流的第二電平時(shí)間幀部分以構(gòu)成第二電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄮拇a(331);-組合運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的參考幀與第二電平的運(yùn)動(dòng)補(bǔ)償?shù)氖S鄮詷?gòu)成第二電平的時(shí)間幀的代碼(339)。
全文摘要
一種用于編碼視頻的方法(200、300)和設(shè)備,包括從至少部分的時(shí)間剩余圖像幀構(gòu)成運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的參考幀。運(yùn)動(dòng)補(bǔ)償?shù)臄U(kuò)展的參考幀用于雙向預(yù)測和/或單向預(yù)測FGS運(yùn)動(dòng)補(bǔ)償?shù)氖S鄨D像幀或時(shí)間幀的附加電平。
文檔編號(hào)H04N7/26GK1656816SQ03812298
公開日2005年8月17日 申請日期2003年5月27日 優(yōu)先權(quán)日2002年5月28日
發(fā)明者M·范德沙爾 申請人:皇家飛利浦電子股份有限公司