專利名稱：使用低分辨率數(shù)據(jù)的低分辨率功率降低的視頻解碼器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種功率降低的視頻解碼器。
背景技術(shù)：
現(xiàn)有的視頻編碼標(biāo)準(zhǔn)，例如，H. 264/AVC，通常以增加計算復(fù)雜度為代價提供相對高的編碼效率。相對高的計算復(fù)雜度導(dǎo)致顯著的功耗，這對于諸如蜂窩電話等低功率設(shè)備尤其成問題。功率降低通常使用兩種主要技術(shù)來實(shí)現(xiàn)。用于功率降低的第一技術(shù)是機(jī)會主義的，其中視頻編碼系統(tǒng)在對容易解碼的序列進(jìn)行操作時降低其處理能力。這種處理能力的降低通過頻率縮放、電壓縮放、片上數(shù)據(jù)預(yù)取(緩存)、和/或系統(tǒng)空閑策略來實(shí)現(xiàn)。在許多 情況下，生成的解碼器操作符合標(biāo)準(zhǔn)。用于功率降低的第二技術(shù)是在解碼處理過程期間放棄幀或圖像數(shù)據(jù)。這典型地允許更顯著的功率節(jié)省，但是通常以圖像質(zhì)量的可見劣化為代價。此外，在許多情況下，生成的解碼器操作不符合標(biāo)準(zhǔn)。

發(fā)明內(nèi)容
本發(fā)明的一個實(shí)施例公開了一種用于解碼視頻的視頻解碼器，包括(a)熵解碼器，對定義了所述視頻的比特流進(jìn)行解碼；(b)逆變換，對所述解碼的比特流進(jìn)行變換；(c)預(yù)測器，基于所述解碼的比特流，選擇性地執(zhí)行幀內(nèi)預(yù)測和運(yùn)動補(bǔ)償預(yù)測；(d)緩沖器，包括用于所述運(yùn)動補(bǔ)償預(yù)測的壓縮圖像數(shù)據(jù)，所述壓縮圖像數(shù)據(jù)包括低分辨率數(shù)據(jù)和高分辨率數(shù)據(jù)，其中，所述預(yù)測器使用從所述比特流解碼的高分辨率預(yù)測信息而不使用所述高分辨率數(shù)據(jù)，基于所述低分辨率來預(yù)測低分辨率數(shù)據(jù)集合和高分辨率數(shù)據(jù)集合二者。本發(fā)明的另一實(shí)施例公開了一種解碼視頻的視頻解碼器，包括(a)熵解碼器，對定義了所述視頻的比特流進(jìn)行解碼；(b)逆變換，對所述解碼的比特流進(jìn)行變換；(c)預(yù)測器，基于所述解碼的比特流，選擇性地執(zhí)行幀內(nèi)預(yù)測和運(yùn)動補(bǔ)償預(yù)測；(d)緩沖器，包括用于所述運(yùn)動補(bǔ)償預(yù)測的壓縮圖像數(shù)據(jù)；(e)其中，所述壓縮圖像數(shù)據(jù)包括低分辨率數(shù)據(jù)集合和高分辨率數(shù)據(jù)集合，其中，所述低分辨率數(shù)據(jù)集合獨(dú)立于所述高分辨率數(shù)據(jù)集合，并且用于在低分辨率模式中解碼，并且其中，所述低分辨率數(shù)據(jù)集合和所述高分辨率數(shù)據(jù)集合均在高分辨率模式中解碼時使用。在結(jié)合附圖考慮本發(fā)明的以下詳細(xì)描述時，能夠更容易地理解本發(fā)明的上述和其他目的、特征和優(yōu)點(diǎn)。


圖1示出了解碼器。圖2示出了低分辨率預(yù)測。圖3A和3B示出了解碼器和針對解碼器的數(shù)據(jù)流。圖4示出了幀緩沖器的采樣結(jié)構(gòu)。
圖5示出了幀緩沖器在解碼器中的集成。
圖6A和6B示出了兩個塊的代表像素值。
具體實(shí)施方式
期望實(shí)現(xiàn)典型地與放棄幀數(shù)據(jù)相關(guān)聯(lián)的顯著功率節(jié)省，而沒有可見的生成圖像質(zhì)量劣化以及與標(biāo)準(zhǔn)不符合。適當(dāng)實(shí)現(xiàn)的系統(tǒng)可以在對編碼效率影響最小的情況下使用。為了有助于這種具有最小圖像劣化和編碼效率損失的功率節(jié)省，系統(tǒng)應(yīng)當(dāng)交替地對低分辨率數(shù)據(jù)和高分辨率數(shù)據(jù)進(jìn)行操作。低分辨率數(shù)據(jù)和高分辨率數(shù)據(jù)的組合可以獲得全分辨率數(shù)據(jù)。低分辨率數(shù)據(jù)的使用特別適合顯示器的分辨率比傳輸內(nèi)容的分辨率低的情況。
功率是設(shè)計較高分辨率解碼器時的因素。對功率使用的一個主要貢獻(xiàn)者是存儲器帶寬。存儲器帶寬傳統(tǒng)上隨著較高分辨率和幀速率而增加，并且通常是系統(tǒng)設(shè)計中的顯著瓶頸和成本因素。對功率使用的第二主要貢獻(xiàn)者是高像素計數(shù)。高像素計數(shù)直接由圖像幀的分辨率來確定，并且增加了像素處理和計算的量。每個像素操作所需的功率量由解碼處理過程 的復(fù)雜度確定。歷史上，在每次“改進(jìn)”視頻編碼標(biāo)準(zhǔn)都增加了解碼復(fù)雜度。
參照圖1，系統(tǒng)可以包括熵解碼模塊10、變換模塊(例如，使用解量化逆離散余弦變換(dequant IDCT)的逆變換)20、幀內(nèi)預(yù)測模塊30、運(yùn)動補(bǔ)償預(yù)測模塊40、加法器80、解塊(de-blocking)模塊50、自適應(yīng)回路濾波器模塊60、和與幀緩沖器相關(guān)聯(lián)的存儲器壓縮 /解壓縮模塊70?？梢愿鶕?jù)需要修改對針對視頻系統(tǒng)的不同模塊的布置和選擇。在一個方面，系統(tǒng)優(yōu)選地降低幀緩沖器的存儲器帶寬和高像素計數(shù)二者的功率需要。通過在視頻編碼器設(shè)計中合并幀緩沖器壓縮技術(shù)來降低存儲器帶寬。幀緩沖器壓縮技術(shù)的目的在于降低存取參考畫面緩沖器中數(shù)據(jù)所需的存儲器帶寬(和功率)。在參考畫面緩沖器本身是原始圖像數(shù)據(jù)的壓縮版本的情況下，可以實(shí)現(xiàn)對參考幀的壓縮，而沒有針對許多應(yīng)用的顯著編碼損耗。
為了解決高像素計數(shù)，視頻編解碼器應(yīng)當(dāng)支持沒有漂移的低分辨率處理模式。這意味著解碼器可以在低分辨率操作點(diǎn)和全分辨率操作點(diǎn)之間切換，并且符合標(biāo)準(zhǔn)。這可以通過使用全分辨率預(yù)測信息而非僅使用低分辨率圖像數(shù)據(jù)，執(zhí)行低分辨率和高分辨率數(shù)據(jù)二者的預(yù)測來完成。此外，這可以使用進(jìn)行解塊判定的解塊處理過程來提高，在該解塊判定中僅使用低分辨率數(shù)據(jù)。解塊應(yīng)用于低分辨率數(shù)據(jù)，并且同樣根據(jù)需要應(yīng)用于高分辨率數(shù)據(jù)。低分辨率像素的解塊不依賴于高分辨率像素。低分辨率解塊和高分辨率解塊可以串行和/或并行執(zhí)行。然而，高分辨率像素的解塊可以依賴于低分辨率像素。這樣，低分辨率處理過程獨(dú)立于高分辨率處理過程，因此實(shí)現(xiàn)功率節(jié)省模式，而同時高分辨率處理過程可以依賴于低分辨率處理過程，因此在需要時實(shí)現(xiàn)更高的圖像質(zhì)量。
參照圖2，當(dāng)在低分辨率模式中操作時(SlO)，解碼器可以使用低分辨率預(yù)測和修改的解塊的屬性，來顯著減少要處理的像素數(shù)目。這可以通過僅預(yù)測低分辨率數(shù)據(jù)來完成 (S12)。然后在預(yù)測低分辨率數(shù)據(jù)之后，僅針對分辨率像素(即，像素位置)并不針對高分辨率像素(即，像素位置)來計算殘差數(shù)據(jù)(S14)。典型地在比特流中傳輸殘差數(shù)據(jù)。針對低分辨率像素值計算的殘差數(shù)據(jù)在低分辨率像素位置處具有與全分辨率殘差數(shù)據(jù)相同的像素值。主要差異在于僅需要在低分辨率像素的位置處計算殘差數(shù)據(jù)。在計算殘差之后， 將低分辨率殘差加到低分率像素預(yù)測上(S16)，以提供低分辨率像素值。然后對生成的信號進(jìn)行解塊。同樣，優(yōu)選地僅在低分辨率采樣位置處執(zhí)行解塊(S18)來降低功耗。最后，結(jié)果可以存儲在參考畫面幀緩沖器中以供未來預(yù)測?？蛇x地，可以利用自適應(yīng)回路濾波器來處理該結(jié)果。自適應(yīng)回路濾波器可以與用于全分辨率數(shù)據(jù)的自適應(yīng)回路濾波器相關(guān)，或者可以獨(dú)立地發(fā)信號通知該自適應(yīng)回路濾波器，或者可以省略。
在圖3A和3B中示出了在低分辨率模式下操作的系統(tǒng)的示例性描述。該系統(tǒng)同樣可以包括在全分辨率模式中操作的模式。如圖3A和3B所示，熵解碼100可以以全分辨率來執(zhí)行，而逆變換(Dequant IDCT)200和預(yù)測(幀內(nèi)預(yù)測300 ;運(yùn)動補(bǔ)償預(yù)測(MCP)400)優(yōu)選地以低分辨率執(zhí)行。解塊500優(yōu)選地以級聯(lián)方式執(zhí)行，使得對低分辨率像素的解塊不依賴于附加的高分辨率數(shù)據(jù)。最后，包括存儲器壓縮的幀緩沖器存儲了用于未來預(yù)測的低分辨率數(shù)據(jù)。
圖3A中示出的熵解碼100對針對全分辨率像素的殘差數(shù)據(jù)進(jìn)行熵解碼(101)。殘差101中的陰影像素表示低分辨率位置，而非陰影像素表示高分辨率位置。解量化逆離散余弦變換(Dequant IDCT) 200僅對殘差101中的低分辨率像素數(shù)據(jù)進(jìn)行逆變換，以產(chǎn)生解量化和逆離散余弦變換之后的殘差201。
在幀內(nèi)畫面的情況下，幀內(nèi)預(yù)測300僅針對低分辨率位置(由陰影像素所示)產(chǎn)生預(yù)測301。加法器800將解量化和逆離散余弦變換之后的殘差201中的低分辨率像素數(shù)據(jù)與預(yù)測301中的低分辨率像素數(shù)據(jù)相加，以僅針對低分辨率位置產(chǎn)生重構(gòu)801 (陰影像素所示)。
在幀間畫面的情況下，圖3B中示出的MCP 400從存儲器700中讀出參考畫面的低分辨率像素數(shù)據(jù)(由參考畫面數(shù)據(jù)702中的陰影像素所示)，并且通過插值產(chǎn)生已被去除的高分辨率像素數(shù)據(jù)。例如，如插值401中所指示的，MCP 400通過插值從相鄰像素的低分辨率像素數(shù)據(jù)中產(chǎn)生高分辨率像素數(shù)據(jù)C?？梢圆捎靡韵伦鳛椴逯等∥挥贑的上側(cè)和下側(cè)中的像素的低分辨率像素數(shù)據(jù)的平均值，取位于C的左側(cè)和右側(cè)中的像素的低分辨率像素數(shù)據(jù)的平均值，取位于C的上側(cè)、下側(cè)、左側(cè)和右側(cè)中像素的低分辨率像素數(shù)據(jù)的平均值。
按照級聯(lián)方式執(zhí)行解塊500。解塊500在第一時間對低分辨率數(shù)據(jù)進(jìn)行濾波 (501)，而在第二時間對高分辨 率數(shù)據(jù)進(jìn)行濾波。更具體地，按照以下方式執(zhí)行解塊500。
步驟I) (501)
解塊500通過插值使用低分辨率數(shù)據(jù)和高分辨率數(shù)據(jù)而僅應(yīng)用于低分辨率數(shù)據(jù)。
步驟2) (502)
解塊500通過插值使用低分辨率數(shù)據(jù)和高分辨率數(shù)據(jù)而僅應(yīng)用于高分辨率數(shù)據(jù)。
解塊500之后的畫面存儲在存儲器700中。以下說明畫面(701、702、703)，其中， 在解塊500之后畫面(701、702、703)就存儲在了存儲器700中，并且被讀出，用于MCP 400。 解塊500之后的畫面502是全分辨率畫面，可以被稱作畫面701?？梢园凑掌灞P圖案對解塊500之后的畫面701進(jìn)行降采樣(decimated) (702)，使得僅低分辨率位置保留并存儲在存儲器700中。當(dāng)在預(yù)測中使用時，對降采樣的高分辨率像素數(shù)據(jù)(由非陰影像素702所示)進(jìn)行插值，并且經(jīng)插值的畫面用于產(chǎn)生預(yù)測畫面。
幀緩沖器壓縮技術(shù)優(yōu)選地是低分辨率功能的組成部分。幀緩沖器壓縮技術(shù)優(yōu)選地將圖像像素數(shù)據(jù)劃分成多個集合，并且第一像素數(shù)據(jù)集合不依賴于其他集合。在一個實(shí)施例中，系統(tǒng)采用如圖4所示的棋盤圖案。在圖4中，陰影像素位置屬于第一集合，非陰影像素屬于第二集合。根據(jù)需要可以使用其他采樣結(jié)構(gòu)。例如，將每隔一列像素分配到第一集合。備選地，將每隔一行像素分配到第一集合。類似地，可以將每隔一列和一行像素分配到第一集合。可以使用分成多個像素集合的任何適合的分區(qū)(partition)。
對于存儲器壓縮/解壓縮，幀緩沖器壓縮技術(shù)優(yōu)選地具有根據(jù)第一像素集合中的像素線性預(yù)測的第二像素集合中的像素。預(yù)測可以是預(yù)先定義的。備選地，預(yù)測在空間上變化或者使用任何其他適合的技術(shù)來確定。
在一個實(shí)施例中，對第一像素集合中的像素進(jìn)行編碼。該編碼可以使用任何適合的技術(shù)，例如，Healy, D. ；Mitchell, O. , " Digital VideoBandwidth Compression Using Block Truncation Coding, " IEEETransactions on Communications[legacy, pre-1988]，vol. 29，no. 12pp. 1809-1817，Dec 1981 描述的塊截斷編碼(BTC)，例如 Lema, M. ；Mitchell,0. , " Absolute Moment Block Truncation Coding and Its App.1cation to Color Images," IEEE Transactions on Communications[legacy,pre-1988], vol. 32, no. 10pp. 1148-1157, Oct 1984描述的絕對時刻塊截斷編碼(AMBTC)，或標(biāo)量量化。類似地， 第二像素集合中的像素可以使用任何適合的技術(shù)來編碼和預(yù)測，例如，使用對幀緩沖器壓縮編碼和幀緩沖器壓縮解碼器已知的線性處理過程來預(yù)測。然后，可以計算預(yù)測和像素值之間的差異。最后，可以對該差異進(jìn)行壓縮。在一個實(shí)施例中，系統(tǒng)可以使用塊截斷編碼 (BTC)來壓縮第一像素集合。在另一實(shí)施例中，系統(tǒng)可以使用絕對時刻塊截斷編碼(AMBTC) 來壓縮第一像素集合。在另一實(shí)施例中，系統(tǒng)可以使用量化來壓縮第一像素集合。在又一實(shí)施例中，系統(tǒng)可以使用雙線性插值來預(yù)測第二像素集合中的像素值。在又一實(shí)施例中，系統(tǒng)可以使用雙三次插值來預(yù)測第二像素集合中像素值。在又一實(shí)施例中，系統(tǒng)可以使用雙線性插值來預(yù)測第二像素集合中的像素值，以及使用絕對時刻塊截斷編碼(AMBTC)來壓縮第二集合中的預(yù)測像素值與第二集合中像素值之間的殘差差值。
幀緩沖器壓縮技術(shù)的屬性在于，利用標(biāo)志來控制以發(fā)信號通知低分辨率處理能力。在一個配置中，當(dāng)該標(biāo)志不發(fā)信號通知低分辨率處理能力時，幀緩沖器解碼器產(chǎn)生輸出幀，該輸出幀包含可能被壓縮的第一像素值集合(即，低分辨率像素數(shù)據(jù))，以及根據(jù)第一像素值集合預(yù)測并利用可選殘差數(shù)據(jù)細(xì)化的第二像素值集合(即，高分辨率像素數(shù)據(jù))。在另一配置中，當(dāng)該標(biāo)志發(fā)信號通知低分辨率處理能力時，幀緩沖器解碼器產(chǎn)生輸出幀，該輸出幀包含可能被壓縮的第一像素值集合，以及根據(jù)第一像素值集合預(yù)測但是并未利用可選殘差數(shù)據(jù)細(xì)化的第二像素值集合。相應(yīng)地，標(biāo)志指示是否使用可選殘差數(shù)據(jù)。殘差數(shù)據(jù)可以表示預(yù)測像素值與實(shí)際像素值之間的差值。
對于幀緩沖器壓縮編碼器，當(dāng)標(biāo)志不發(fā)送信號通知低分辨率處理能力時，編碼器可能以壓縮形式存儲第一像素值集合。然后編碼器根據(jù)第一像素值集合預(yù)測第二像素值集合。在一些實(shí)施例中，編碼器確定預(yù)測值與實(shí)際像素值之間的殘差差值，并且可能以壓縮形式存儲殘差差值。在一些實(shí)施例中，編碼器從多個預(yù)測機(jī)制中選擇針對第二像素集合的優(yōu)選預(yù)測機(jī)制。編碼器然后將選定的預(yù)測機(jī)制存儲在幀緩沖器中。在一個實(shí)施例中，多個預(yù)測機(jī)制包括多個線性濾波器，并且編碼器通過計算每個線性濾波器的預(yù)測像素值并選擇對與像素值最接近的預(yù)測像素值加以計算的線性濾波器來選擇預(yù)測機(jī)制。在一個實(shí)施例中，多個預(yù)測機(jī)制包括多個線性濾波器，并且編碼器通過針對像素位置塊 計算每個線性濾波器的預(yù)測像素值并且選擇對與像素值塊最接近的預(yù)測像素值塊加以計算的線性濾波器來選擇預(yù)測機(jī)制。像素塊是圖像內(nèi)的像素集合。可以通過選擇預(yù)測像素值塊來確定與像素值塊最接近的預(yù)測像素值塊，其中預(yù)測像素值塊獲得預(yù)測像素值塊與像素值塊之間的最小絕對差和。備選地，可以使用平方差和來選擇塊，在其他實(shí)施例中，可以利用塊截斷編碼(BTC)來壓縮殘差。在一個實(shí)施例中，可以利用絕對時刻塊截斷編碼(AMBTC)來壓縮殘差差值。在一個實(shí)施例中，用于第二像素集合的壓縮的參數(shù)可以根據(jù)用于第一像素集合的壓縮的參數(shù)來確定。在一個實(shí)施例中，第一像素集合和第二像素集合使用AMBTC，用于第一像素集合的 AMBTC方法的第一參數(shù)與用于第二像素集合的AMBTC方法的第一參數(shù)相關(guān)。在一個實(shí)施例中，用于第二像素集合的第一參數(shù)等于用于第一像素集合的所述第一參數(shù)，并且不存儲。在另一實(shí)施例中，用于第二像素集合的所述第一參數(shù)與用于第一像素集合的所述第一參數(shù)有關(guān)。在一個實(shí)施例中，可以將關(guān)系定義為縮放因子，并且代替用于第二像素集合的所述第一參數(shù)而存儲縮放因子。在其他實(shí)施例中，可以將關(guān)系定義為縮放因子的查找表中的索引，代替用于第二像素集合的所述第一參數(shù)而存儲所述索引。在其他實(shí)施例中，可以預(yù)先定義該關(guān)系。在其他實(shí)施例中，編碼器將選定的預(yù)測機(jī)制與殘差差值確定步驟相組合。通過比較， 當(dāng)標(biāo)志發(fā)信號通知低分辨率處理能力時，編碼器可能以壓縮形式存儲第一像素值集合。然而，編碼器不存儲殘差信息。在確定選定預(yù)測機(jī)制的上述實(shí)施例中，編碼器不根據(jù)重構(gòu)數(shù)據(jù)計算選定預(yù)測機(jī)制。取而代之，可以從編碼器向解碼器發(fā)信號通知任何選定的預(yù)測機(jī)制。
標(biāo)志的發(fā)信號通知實(shí)現(xiàn)了低分辨率解碼能力。解碼器甚至在標(biāo)志發(fā)信號通知低分辨率解碼能力時也不需要解碼低分辨率序列。取而代之，解碼器可以解碼全分辨率序列或低分辨率序列。這些序列針對低分辨率網(wǎng)格上的像素位置具有相同的解碼像素值。這些序列針對高分辨率網(wǎng)格上的像素位置可以具有或可以不具有相同解碼像素值。發(fā)信號通知標(biāo)志可以基于逐幀、基于逐序列或者基于任何其他來進(jìn)行。
當(dāng)在比特流中出現(xiàn)標(biāo)志時，解碼器優(yōu)選地執(zhí)行以下步驟
(a)禁用幀緩沖器壓縮技術(shù)中的殘差計算。這包括在加載參考幀期間禁用殘差數(shù)據(jù)的計算，以及在存儲參考幀期間禁用殘差數(shù)據(jù)的計算，如圖5所示。
(b)如上所述，針對低分辨率解塊使用低分辨率像素值。如上所述，針對較高分辨率位置中的采樣位置使用備選的解塊操作。
(C)在應(yīng)用自適應(yīng)回路濾波器之前存儲殘差參考幀。
利用這些改變，解碼器可以繼續(xù)在全分辨率模式中操作。具體地，對于未來的幀， 可以從壓縮參考緩沖器獲取全分辨率幀，執(zhí)行運(yùn)動補(bǔ)償，殘差相加、解塊、和回路濾波器。結(jié)果是全分辨率幀。該幀可以仍包含占據(jù)全分辨率像素網(wǎng)格的整個范圍的頻率內(nèi)容。
備選地，解碼器可以選擇僅對低分辨率數(shù)據(jù)進(jìn)行操作。由于緩沖器壓縮結(jié)構(gòu)中較低分辨率網(wǎng)格與較高分辨率網(wǎng)格無關(guān)，因此上述是可能的。對于運(yùn)動估計，修改插值處理過程以利用高分辨率像素與低分辨率數(shù)據(jù)線性相關(guān)的事實(shí)。因此，利用修改的插值濾波器以低分辨率執(zhí)行運(yùn)動估計處理過程。類似地，對于殘差計算，系統(tǒng)可以在解碼器的后續(xù)步驟中利用低分辨率數(shù)據(jù)不依賴于高分辨率數(shù)據(jù)的事實(shí)。因此，系統(tǒng)使用僅根據(jù)全分辨率變換系數(shù)計算低分辨率像素的縮減的逆變換處理過程。最后，系統(tǒng)可以采用與高分辨率像素(高分辨率可以依賴于低分辨率)無關(guān)地對低分辨率數(shù)據(jù)進(jìn)行解塊的解塊濾波器。這同樣由于高分辨率與低分辨率數(shù)據(jù)之間的線性關(guān)系。
在8X8塊尺寸的上下文中期望在考慮JCTVC-A119的情況下JCT-VC測試模型中的現(xiàn)有解塊濾波器。對于亮度解塊濾波，通過確定是否對塊邊界進(jìn)行解塊來開始處理過程。 這通過以下來完成
d = Ip22-2*pl2+p02| + |q22-2*ql2+q02| + |p25-2*pl5+p05| + |q25_2*ql5+q05| , · ·(方程D
其中，d是變量，pi」和qij是像素值。在圖6中示出了像素值的位置。在圖6中， 示出了兩個4X4編碼單元。然而，可以通過考慮像素相對于塊邊界的位置來根據(jù)任何塊尺寸確定像素值。
接著，將針對d計算的值與閾值相比較。如果值d小于閾值，則使用解塊濾波器。 如果值d大于或等于閾值，則不應(yīng)用濾波，并且經(jīng)解塊的像素具有與輸入像素值相同的值。 注意，閾值可以是量化參數(shù)的函數(shù)，并且可以描述為beta (QP)。針對水平和垂直邊界獨(dú)立地進(jìn)行解塊判定。
如果針對邊界的d值產(chǎn)生解塊判定，則處理過程繼續(xù)確定應(yīng)用的濾波器類型。解塊操作使用強(qiáng)或弱濾波器類型。對濾波強(qiáng)度的選擇基于先前計算的d、beta(QP)以及還基于附加局部差值。這針對經(jīng)解塊的邊界的每一排(行或列)來計算。例如，對于圖6中示出的像素位置的第一行，計算為
強(qiáng)濾波器標(biāo)志=((d< beta(QP))&&(( IpS1-POiI+ IqOrqSi |) < (β > > 3) && I POrqOi I < ((5*tc+l) > > I)) ·…(方程 2)
其中，tc是典型地根據(jù)量化參數(shù)QP的閾值。
對于亮度采樣的情況，如果先前描述處理過程產(chǎn)生對邊界進(jìn)行解塊并隨后利用弱濾波器對對排(行或列)進(jìn)·行解塊的判定，則濾波處理過程可以描述如下。這里，這一點(diǎn)通過針對圖6中的塊A與塊B之間的邊界的濾波處理過程來描述。處理過程是
7Δ =Clip(_tc, tc, (13*(qO1-pOi)+4*(ql1-pli)-5*(。2廠卩2)+16) >> 5)) i = 0,I
POi =CliPo-255 (pOi+Δ)i = 0,7
QOi =Cl IptH255 (QO1-A)i = 0,7
Pli =Cl iPo-255 (pli+ A /2) i = 0,7
Qli =Cl IPo-255 (qli_ A /2) i = 0,7
(方程3)
其中，Λ是偏差，CliP(l_255 ()是將輸入值映射到范圍
的運(yùn)算符。在備選實(shí)施例中，操作符可以將輸入值映射到備選范圍，例如，[16，235]，
或其他范圍。
對于亮度采樣的情況，如果先前描述的處理過程產(chǎn)生對邊界進(jìn)行解塊并隨后利用強(qiáng)濾波器對一排(行或列)進(jìn)行解塊，則濾波處理過程可以描述如下。這里，這一點(diǎn)通過針對圖6中塊A與塊B之間的邊界的濾波處理過程來描述。該處理過程是
POi=Clip0_255 ((p2i+2*pli+2*pOi+2*qOi+qli+4) >>3) ；1:=0,7
qOi=ClipQ_255 ((pli+2*pOi+2*qOi+2*qli+q2i+4) >> 3)；i = 0,7
Pli=Clip0_255 ((p2i+pli+pOi+qOi+2) >>2) ；i = 0,7
qli=Clip0_255 ((pOi+qOi+qli+q2i+2) >>2) ；i = 0,7
p2i=Clip0_255 ((2*p3i+3*p2i+pli+pOi+qOi+4) >> 3) ；i ==0,7
q2i=ClipQ_255 ((pOi+qOi+qli+3*q2i+2*q3i+4) >> 3) ；i ==0,7
...(方程 4)
其中，CliP(l_255 ()是將輸入值映射到范圍
的運(yùn)算符。在備選實(shí)施例中，該運(yùn)算符可以將輸入值映射到備選范圍，例如，[16，235]，
或其他范圍。
對于色度采樣的情況，如果先前描述的處理過程產(chǎn)生對邊界進(jìn)行解塊的判定，則利用弱濾波操作對所有排(行或列)或色度進(jìn)行處理。這里，這一點(diǎn)通過針對圖6中塊A 與塊B之間的邊界的濾波處理過程來描述，其中假定塊包含色度像素值。處理過程是
Δ = Clip(_tc, tc, ((((qOj-pOj) << 2) +plj-qlj+4) >> 3)) i =0,7
POi = Clip0_255 (ρΟ^Δ) i = 0,7
qOj = Cl iPo-255 (qOj- Δ ) i = 0,7
其中，Δ (在本說明書中也被稱作delta)是偏差，CliP(l_255 ()是將輸入值映射到范圍
的運(yùn)算符。在備選實(shí)施例中，操作符可以將輸入值映射到備選范圍，例如，[16， 235]，
或其他范圍。
可以將圖像幀內(nèi)的像素位置分到兩個或多個集合中。當(dāng)在比特流中發(fā)信號通知或以任何方式傳輸標(biāo)志時，系統(tǒng)啟用對第一像素位置集合的處理，而不是對第二像素位置集合處的像素值的處理。在圖4中示出了該劃分的示例。在圖4中，將塊劃分成兩個像素集合。第一集合對應(yīng)于陰影位置；第二集合對應(yīng)于非陰影位置。
當(dāng)啟用該備選模式時，系統(tǒng)可以如下修改先前解塊操作
首先，在計算中如果對邊界進(jìn)行解塊，則系統(tǒng)使用先前描述的方程，或者其他適合的方程。然而，對于與不在第一像素集合中的像素位置相對應(yīng)的像素值，該系統(tǒng)可以使用從第一像素位置集合中導(dǎo)出的像素值。圖6A和6B中的p01，p03，p05，p07，q00，q02，q04，q06 是通過熵解碼、逆變換和預(yù)測來計算的第一像素集合。p00, p02, p04, p06, q01, q03, q05, q07是通過圖3B或圖5中示出的方程來計算的第二像素集合，
p00p02p04q07(pl0+q00) >> I (p01+p03) >> I (p03+p05) >> I(p07+ql7) >>1.···(方程 6)使用這些像素值來計算方程1、方程2、方程3、方程4和方程5。在一個實(shí)施例中，系統(tǒng)導(dǎo)出像素值作為位于第一像素集合中的相鄰像素值的線性和。在第二實(shí)施例中，系統(tǒng)使用位于第一像素集合中的像素值的雙線性插值。在優(yōu)選實(shí)施例中，系統(tǒng)計算位于第一像素集合中當(dāng)前像素位置以上的像素值以及位于第一像素集合中當(dāng)前像素位置之下的像素值的線性平均值。請注意，上述描述假定系統(tǒng)工作在垂直塊邊界 (并且應(yīng)用水平解塊)。對于系統(tǒng)工作在水平塊邊界(并且應(yīng)用垂直解塊)的情況，系統(tǒng)計算當(dāng)前位置的左側(cè)和右側(cè)像素的平均值。在備選實(shí)施例中，系統(tǒng)可以將平均值計算限制到相同塊內(nèi)的像素值。例如，如果位于當(dāng)前像素之上的像素值不在相同塊中，但是位于當(dāng)前像素之下的像素值在相同塊中，則將當(dāng)前像素設(shè)置為等于當(dāng)前像素值之下的像素值。
其次，在計算中，如果邊界應(yīng)當(dāng)使用強(qiáng)或弱濾波器，則系統(tǒng)可以使用與上述相同的方法。即，從第一像素集合中導(dǎo)出與第一像素集合不相對應(yīng)的像素值。在計算以上判定時，系統(tǒng)可以使用對第一像素集合進(jìn)行處理的判定。處理后續(xù)像素集合的解碼器使用相同判定來處理后續(xù)像素集合。
如果先前描述的處理過程產(chǎn)生對邊界進(jìn)行解塊且隨后利用弱濾波器對一排(行或列)進(jìn)行解塊的判定，則系統(tǒng)可以使用上述弱濾波處理過程。然而，當(dāng)計算Λ的值時，系統(tǒng)不使用與第一集合之后的像素集合相對應(yīng)的像素值。取而代之，系統(tǒng)可以如上導(dǎo)出像素值。作為示例，然后對第一集合中實(shí)際像素值應(yīng)用Λ的值，并且對第二集合中的實(shí)際像素值應(yīng)用該delta值。
如果先前描述的處理過程產(chǎn)生對邊界進(jìn)行解塊并隨后利用強(qiáng)濾波器對一排(行或列)進(jìn)行解塊的判定，則系統(tǒng)可以進(jìn)行以下操作
在一個實(shí)施例中，系統(tǒng)可以使用針對上述亮度強(qiáng)濾波器的方程。然而，對于沒有位于第一像素位置集合中的像素值，系統(tǒng)可以如上所述從第一像素位置集合中導(dǎo)出像素值。 系統(tǒng)然后存儲針對第一像素位置集合的濾波器處理過程的結(jié)果。隨后，對于產(chǎn)生后續(xù)像素位置作為輸出的解碼器，系統(tǒng)利用針對第一像素位置先前計算的強(qiáng)濾波結(jié)果以及針對后續(xù)像素位置的重構(gòu)(未經(jīng)濾波)結(jié)果，使用針對上述亮度強(qiáng)濾波器的方程。系統(tǒng)然后僅在后續(xù)像素位置應(yīng)用濾波器。輸出是與第一濾波器操作相對應(yīng)的經(jīng)濾波的第一像素位置，以及與附加濾波器處理過程相對應(yīng)的經(jīng)濾波的后續(xù)像素位置。
總之，如上所述，系統(tǒng)取第一像素值，并且對丟失的像素值進(jìn)行插值，計算針對第一像素值的強(qiáng)濾波器結(jié)果，將丟失的像素值更新為實(shí)際重構(gòu)值，并且計算針對丟失的像素位置的強(qiáng)濾波器結(jié)果。
在第二實(shí)施例中，系統(tǒng)使用針對上述強(qiáng)亮度濾波器的方程。對于沒有位于第一像素位置集合中的像素值，系統(tǒng)如上所述從第一像素位置集合中導(dǎo)出像素值。系統(tǒng)然后使用導(dǎo)出的值計算針對第一像素位置集合和后續(xù)像素位置集合二者的強(qiáng)濾波器結(jié)果。最后，系統(tǒng)計算后續(xù)位置處的重構(gòu)像素值與后續(xù)位置處的強(qiáng)濾波器輸出的加權(quán)平均值。在一個實(shí)施例中，將權(quán)重從編碼器傳輸?shù)浇獯a器。在備選實(shí)施例中，權(quán)重是固定的。如果先前描述的處理過程產(chǎn)生對邊界進(jìn)行解塊的判定，則系統(tǒng)如上所述使用針對色度的弱濾波處理過程。然而，當(dāng)計算Λ的值時，系統(tǒng)不使用與第一集合之后的像素集合相對應(yīng)的像素值。取而代之，系統(tǒng)優(yōu)選地像如上所述那樣導(dǎo)出像素值。作為示例，然后對第一集合中的實(shí)際像素值應(yīng)用Λ的值，并且對第二集合中實(shí)際像素值應(yīng)用該delta值。
本文使用上述說明書中采用的術(shù)語和表述作為描述并不意在限制，并且在使用這樣的術(shù)語和表述時并不意在排除所示和所描述特征的等同物或其一部分，應(yīng)當(dāng)認(rèn)識到本發(fā)明的范圍僅由所附權(quán)利要求來限定和限制。
權(quán)利要求
1.一種用于解碼視頻的視頻解碼器，包括(a)熵解碼器，對定義了所述視頻的比特流進(jìn)行解碼；(b)逆變換，對所述解碼的比特流進(jìn)行變換；(C)預(yù)測器，基于所述解碼的比特流，選擇性地執(zhí)行幀內(nèi)預(yù)測和運(yùn)動補(bǔ)償預(yù)測；(d)緩沖器，包括用于所述運(yùn)動補(bǔ)償預(yù)測的壓縮圖像數(shù)據(jù)，所述壓縮圖像數(shù)據(jù)包括低分辨率數(shù)據(jù)和高分辨率數(shù)據(jù)，其中，所述預(yù)測器使用從所述比特流解碼的高分辨率預(yù)測信息而不使用所述高分辨率數(shù)據(jù)，基于所述低分辨率數(shù)據(jù)來預(yù)測低分辨率數(shù)據(jù)集合和高分辨率數(shù)據(jù)集合二者。
2.根據(jù)權(quán)利要求1所述的解碼器，還包括解塊模塊，對所述低分辨率數(shù)據(jù)集合進(jìn)行操作，而不參考所述高分辨率數(shù)據(jù)集合。
3.根據(jù)權(quán)利要求2所述的解碼器，其中，所述解塊模塊對參考所述低分辨率數(shù)據(jù)集合的所述高分辨率數(shù)據(jù)集合進(jìn)行操作。
4.根據(jù)權(quán)利要求1所述的解碼器，其中，當(dāng)在低分辨率模式中操作時，所述逆變換僅在來自所述比特流的低分辨率像素位置處操作。
5.根據(jù)權(quán)利要求1所述的解碼器，其中，當(dāng)在低分辨率模式中操作時，所述預(yù)測器僅在低分辨率像素位置處操作。
6.根據(jù)權(quán)利要求5所述的解碼器，其中，當(dāng)在所述低分辨率模式中操作時，所述變換僅在低分辨率像素位置處操作。
7.根據(jù)權(quán)利要求1所述的解碼器，還包括組合器，基于所述預(yù)測數(shù)據(jù)和所述變換后的比特流，形成重構(gòu)圖像數(shù)據(jù)。
8.根據(jù)權(quán)利要求1所述的解碼器，其中，所述低分辨率數(shù)據(jù)獨(dú)立于所述高分辨率數(shù)據(jù)集合，并且用于在低分辨率模式中解碼，并且其中，所述低分辨率數(shù)據(jù)集合和所述高分辨率數(shù)據(jù)集合均在高分辨率模式中解碼時使用。
9.根據(jù)權(quán)利要求7所述的解碼器，還包括解塊模塊，基于所述低分辨率像素位置處的數(shù)據(jù)而不是高分辨率像素位置處的數(shù)據(jù)進(jìn)行解塊判定，以選擇性地對所述重構(gòu)圖像數(shù)據(jù)進(jìn)行解塊。
10.一種解碼視頻的視頻解碼器，包括(a)熵解碼器，對定義了所述視頻的比特流進(jìn)行解碼；(b)逆變換，對所述解碼的比特流進(jìn)行變換；(C)預(yù)測器，基于所述解碼的比特流，選擇性地執(zhí)行幀內(nèi)預(yù)測和運(yùn)動補(bǔ)償預(yù)測；(d)緩沖器，包括用于所述運(yùn)動補(bǔ)償預(yù)測的壓縮圖像數(shù)據(jù)；(e)其中,所述壓縮圖像數(shù)據(jù)包括低分辨率數(shù)據(jù)集合和高分辨率數(shù)據(jù)集合,其中，所述低分辨率數(shù)據(jù)集合獨(dú)立于所述高分辨率數(shù)據(jù)集合，并且用于在低分辨率模式中解碼，并且其中，所述低分辨率數(shù)據(jù)集合和所述高分辨率數(shù)據(jù)集合均在高分辨率模式中解碼時使用。
11.根據(jù)權(quán)利要求10所述的解碼器，其中，所述高分辨率數(shù)據(jù)集合是基于所述低分辨率數(shù)據(jù)集合而線性預(yù)測的。
12.根據(jù)權(quán)利要求10所述的解碼器，其中，所述低分辨率數(shù)據(jù)集合是使用塊截斷編碼來編碼的。
全文摘要
公開了使用功率降低技術(shù)的視頻解碼器。該視頻解碼器包括(a)熵解碼器，對定義了所述視頻的比特流進(jìn)行解碼；(b)逆變換，對所述解碼的比特流進(jìn)行變換；(c)預(yù)測器，基于所述解碼的比特流，選擇性地執(zhí)行幀內(nèi)預(yù)測和運(yùn)動補(bǔ)償預(yù)測；(d)緩沖器，包括用于所述運(yùn)動補(bǔ)償預(yù)測的壓縮圖像數(shù)據(jù)，所述壓縮圖像數(shù)據(jù)包括低分辨率數(shù)據(jù)和高分辨率數(shù)據(jù)，其中，所述預(yù)測器使用從所述比特流解碼的高分辨率預(yù)測信息而不使用所述高分辨率數(shù)據(jù)，基于所述低分辨率數(shù)據(jù)來預(yù)測低分辨率數(shù)據(jù)集合和高分辨率數(shù)據(jù)集合二者。
文檔編號H04N7/32GK103004202SQ20118003485
公開日2013年3月27日 申請日期2011年7月14日 優(yōu)先權(quán)日2010年7月16日
發(fā)明者馬展, 克里斯多佛·A·西蓋 申請人:夏普株式會社