專利名稱：用于減少塊化偽影的裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于減少包括多個(gè)視頻幀的已編碼視頻信號(hào)中的塊化偽影(blocking artifacts)的裝置以及對(duì)應(yīng)的方法。此外，本發(fā)明涉及用于實(shí)現(xiàn)所述方法的計(jì)算機(jī)程序以及存儲(chǔ)這樣的計(jì)算機(jī)程序的計(jì)算機(jī)可讀非暫時(shí)介質(zhì)。
背景技術(shù)：
已編碼數(shù)字視頻流特別是在高壓縮級(jí)別時(shí)可能具有若干干擾偽影，但其也可能由差的編碼調(diào)諧引起。除了振鈴偽影或蚊式噪聲偽影以外，最明顯的偽影之一是圖片的塊化。 這表現(xiàn)為圖像的馬賽克化。若干技術(shù)可以用于減少這些偽影，通常要么在經(jīng)編碼域中工作或要么在基帶域中工作。經(jīng)編碼域的問(wèn)題在于去塊化(deblocking)必須能獲得編碼器信息，但是并不總是能獲得編碼器信息。另一方面，在基帶上工作可以避開(kāi)編碼器信息，但是其往往在減少塊化偽影的同時(shí)也減少了圖像的紋理和銳利度(sharpness)。通常的用于減少這樣的塊化偽影的技術(shù)識(shí)別塊邊界并且對(duì)跨越邊界的(與邊界正交的)圖片進(jìn)行低通處理。該處理對(duì)塊的內(nèi)容進(jìn)行低通處理。然而如果塊包含紋理，則其會(huì)被平滑，從而產(chǎn)生不希望的二次模糊偽影。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)目的在于提供用于在保持包括多個(gè)視頻幀的已編碼視頻信號(hào)中的任何紋理不受損害的同時(shí)減少已編碼視頻信號(hào)中的塊化偽影的裝置以及對(duì)應(yīng)的方法。本發(fā)明的另一目的在于提供用于實(shí)現(xiàn)所述方法的計(jì)算機(jī)程序以及對(duì)應(yīng)的計(jì)算機(jī)可讀非暫時(shí)介質(zhì)。根據(jù)本發(fā)明的一個(gè)方面，提供一種用于減少包括多個(gè)視頻幀的已編碼視頻信號(hào)中的塊化偽影的裝置，包括-小波分解單元，該小波分解單元使用小波分解將輸入視頻幀分解成至少兩個(gè)頻帶，-塊網(wǎng)格檢測(cè)器，該塊網(wǎng)格檢測(cè)器在所述至少兩個(gè)頻帶中的至少一個(gè)高頻帶中檢測(cè)塊邊界，-去塊化單元，該去塊化單元利用該同一高頻帶的相鄰區(qū)域的能量來(lái)對(duì)檢測(cè)到的塊邊界的能量進(jìn)行均衡，以獲得用于減少所述視頻幀中的塊化偽影的已處理頻帶，以及-小波構(gòu)建單元，該小波構(gòu)建單元利用小波構(gòu)建從所述輸入視頻幀和所述已處理頻帶來(lái)構(gòu)建輸出視頻幀。根據(jù)本發(fā)明的另一個(gè)方面，還提供一種用于減少包括多個(gè)視頻幀的已編碼視頻信號(hào)中的塊化偽影的對(duì)應(yīng)方法。根據(jù)本發(fā)明的另一個(gè)方面，提供一種用于減少包括多個(gè)視頻幀的已編碼視頻信號(hào)中的塊化偽影的裝置，包括-小波分解裝置，用于使用小波分解將輸入視頻幀分解成至少兩個(gè)頻帶，
5
-塊網(wǎng)格檢測(cè)裝置，用于在所述至少兩個(gè)頻帶中的至少一個(gè)高頻帶中檢測(cè)塊邊界，-去塊化裝置，用于利用該同一高頻帶的相鄰區(qū)域的能量來(lái)對(duì)檢測(cè)到的塊邊界的能量進(jìn)行均衡，以獲得用于減少所述視頻幀中的塊化偽影的已處理頻帶，以及-小波構(gòu)建裝置，用于利用小波構(gòu)建從所述輸入視頻幀和所述已處理頻帶來(lái)構(gòu)建輸出視頻幀。根據(jù)本發(fā)明的又一個(gè)方面，提供一種計(jì)算機(jī)程序，其包括當(dāng)所述計(jì)算機(jī)程序在計(jì)算機(jī)上被執(zhí)行時(shí)，令計(jì)算機(jī)執(zhí)行根據(jù)本發(fā)明的方法的步驟的程序裝置，還提供一種計(jì)算機(jī)可讀非暫時(shí)介質(zhì)，其存儲(chǔ)了當(dāng)在計(jì)算機(jī)上被執(zhí)行時(shí)令計(jì)算機(jī)執(zhí)行根據(jù)本發(fā)明的方法的步驟的指令。在從屬權(quán)利要求中限定了本發(fā)明的優(yōu)選實(shí)施例。應(yīng)當(dāng)理解，所要求保護(hù)的方法、所要求保護(hù)的計(jì)算機(jī)程序以及所要求保護(hù)的計(jì)算機(jī)可讀介質(zhì)具有與所要求保護(hù)的裝置類(lèi)似的和/或相同的并且如從屬權(quán)利要求中限定的優(yōu)選實(shí)施例。本發(fā)明基于利用小波域來(lái)識(shí)別已編碼圖片中特別是視頻流的視頻幀中的塊邊界和角落的思想。其嘗試在小波域中利用塊的中心的能量來(lái)均衡該塊的邊界和/或角落的能量。這使得可以在保持紋理不受損害的同時(shí)減少或消除塊化效果。


本發(fā)明的這些和其它方面將從下文中所描述的實(shí)施例變得明顯，并且以下將參考這些實(shí)施例更詳細(xì)地說(shuō)明。在以下附圖中圖1示出根據(jù)本發(fā)明的裝置的第一實(shí)施例，圖2示出圖示了小波變換和小波反變換的一般步驟的示圖，圖3示出二維小波分解的應(yīng)用的示例，圖4示出小波域中的邊緣、塊邊界和紋理的表示，圖5A-圖5C示出圖像中的塊網(wǎng)格的對(duì)角細(xì)節(jié)(diagonal detail)、垂直細(xì)節(jié)和水平細(xì)節(jié)，圖6示出通過(guò)小波分解獲得的高頻帶的圖像幀，圖7圖示出用于針對(duì)垂直塊邊界進(jìn)行去塊化的實(shí)施例，圖8圖示出用于針對(duì)水平塊邊界進(jìn)行去塊化的實(shí)施例，圖9圖示出用于針對(duì)塊邊界交叉區(qū)(block border crossing)進(jìn)行去塊化的實(shí)施例，圖IOA-圖IOF示出去塊化前后的圖像，圖IlA-圖IlB示出用于圖示能量均衡的兩行(不同數(shù)目)的像素，圖12示出根據(jù)本發(fā)明的裝置的第二實(shí)施例，圖13A-圖1 示出對(duì)角細(xì)節(jié)中的DC塊，圖14A-圖14B示出垂直細(xì)節(jié)中的DC塊，以及圖15A-圖15B示出水平細(xì)節(jié)中的DC塊。
具體實(shí)施例方式圖1示出用于減少包括多個(gè)視頻幀的已編碼視頻信號(hào)1中的塊化偽影的裝置10的第一實(shí)施例。所述裝置10包括小波分解單元12 (優(yōu)選是2D小波分解單元)，小波分解單元12使用小波分解來(lái)將輸入視頻幀分解成至少兩個(gè)頻帶。耦接到小波分解單元12的輸出的塊網(wǎng)格檢測(cè)器14檢測(cè)所述至少兩個(gè)頻帶中的至少一個(gè)高頻帶中的塊邊界。去塊化單元 16利用同一高頻帶的鄰近區(qū)域的能量來(lái)對(duì)檢測(cè)到的塊邊界的能量進(jìn)行均衡，以獲得用于減少所述視頻幀中的塊化偽影的已處理頻帶。最后，小波構(gòu)建單元18被設(shè)置以使用小波構(gòu)建從視頻信號(hào)1的所述輸入視頻幀和所述已處理頻帶來(lái)構(gòu)建輸出視頻信號(hào)2的輸出視頻幀。在本領(lǐng)域中，小波是公知的。一般地，小波是用于將給定函數(shù)或連續(xù)時(shí)間信號(hào)分割成不同尺度分量的數(shù)學(xué)函數(shù)。通常，頻率范圍(頻帶)可以被指派給每個(gè)尺度分量。隨后可以利用與每個(gè)尺度分量的尺度匹配的分辨率來(lái)研究尺度分量。小波變換是小波的函數(shù)的代表。小波是有限長(zhǎng)度的或快速衰落的振蕩波形(稱為“母小波”)的被縮小并被變換的副本(稱為“子小波”)。小波變換在表示具有不連續(xù)的尖銳的波峰的函數(shù)方面以及在精確地解構(gòu)和重構(gòu)有限的、非周期的和/或非暫時(shí)的信號(hào)方面優(yōu)于傳統(tǒng)的傅里葉變換。存在許多小波變換，例如離散小波變換(DWT)和連續(xù)小波變換(CWT)。圖2示出圖示出小波變換和小波反變換的一般步驟的示圖。信號(hào)χ的小波變換 (例如DWT)是通過(guò)使其通過(guò)一系列濾波器來(lái)計(jì)算的。首先，使樣本通過(guò)具有脈沖響應(yīng)g的低通濾波器，產(chǎn)生信號(hào)χ與脈沖響應(yīng)g的卷積。同時(shí)還使用高通濾波器h來(lái)分解信號(hào)χ。濾波器g和h的輸出是細(xì)節(jié)分量(其來(lái)自高通濾波器h)和逼近系數(shù)(其來(lái)自低通濾波器g)。 這兩個(gè)濾波器一般彼此關(guān)聯(lián)并且有時(shí)稱為正交鏡像濾波器。由于信號(hào)的頻率的一半現(xiàn)在已被移除，所以根據(jù)奈奎斯特定律，一般可以丟棄一半樣本。濾波器輸出隨后被用2進(jìn)行子采樣。該分解具有一半的時(shí)間分辨率，因?yàn)閮H每個(gè)濾波器輸出的一半表征該信號(hào)。然而，每個(gè)輸出具有輸入信號(hào)χ的頻帶的一半，即，頻率分辨率已經(jīng)加倍。該分解可以重復(fù)一次或多次以進(jìn)一步增大利用高通濾波器和低通濾波器進(jìn)行分解并且隨后被下采樣的逼近系數(shù)的頻率分辨率。小波包分解(WPD)是這樣的小波變換，其中，使信號(hào)通過(guò)比離散小波變換中更多的濾波器。在DWT中，每個(gè)級(jí)別是通過(guò)僅使前一逼近系數(shù)(即低通濾波器路徑的輸出)通過(guò)低通和高通濾波器來(lái)計(jì)算的。然而，在WPD中，細(xì)節(jié)系數(shù)和逼近系數(shù)二者(即低通濾波器和高通濾波器二者的輸出)都被分解。對(duì)于η級(jí)分解，WPD產(chǎn)生2η個(gè)不同的系數(shù)集合(或節(jié)點(diǎn))。圖2示出這樣的兩級(jí)小波包分解(以下也稱為小波分解或小波變換)以及對(duì)應(yīng)的小波包構(gòu)建(以下也稱為小波構(gòu)建或小波反變換)的實(shí)施例。該小波包分解和小波構(gòu)建是二維的，對(duì)于單個(gè)步驟，對(duì)應(yīng)小波包分解和小波構(gòu)建兩個(gè)步驟。通過(guò)小波分解獲得的4個(gè)頻帶(也稱為信道)用HH、HL、LH和LL表示，H表示高通濾波器的輸出，并且L表示低通濾波器的輸出，其中頻帶LL示出逼近系數(shù)，頻帶LH示出水平細(xì)節(jié)，頻帶HL示出垂直細(xì)節(jié)并且頻帶HH示出對(duì)角細(xì)節(jié)。圖3示出對(duì)原始圖像應(yīng)用二維小波分解的示例，其在第一階段之后產(chǎn)生4個(gè)頻帶 LL1, LH1, HL1和HH1,其中在第二階段中，LL1頻帶進(jìn)一步被分解成4個(gè)頻帶LL2、LH2, HL2和 HH2 ο根據(jù)本發(fā)明，小波分解單元12 —般被適配用于應(yīng)用2D小波分解，通過(guò)2D小波分解，輸入視頻幀1被分解成4個(gè)頻帶。替代應(yīng)用2D小波分解兩次，也可以應(yīng)用ID小波分解，其中，在每個(gè)階段中，兩個(gè)頻帶中的分解被執(zhí)行。一般地，3D小波分解至少在理論上也是可行的。優(yōu)選地，根據(jù)本發(fā)明，并不像一般的情況中那樣由小波分解單元應(yīng)用子采樣。子采樣在線性運(yùn)算的情況中是不變的，但是根據(jù)本發(fā)明，處理包括非線性方式的小波分解。因此，優(yōu)選不進(jìn)行子采樣以保持所有的信息并且不丟失任何信息。此外，無(wú)子采樣使得可以利用輸入視頻幀的局部相關(guān)性。最后，對(duì)小波進(jìn)行子采樣移除了相位信息，這在運(yùn)動(dòng)序列的情況中是優(yōu)選的。此外，優(yōu)選地，迭代地應(yīng)用小波分解，例如，在至少兩級(jí)的多個(gè)頻帶中使用至少兩個(gè)小波分解的級(jí)聯(lián)來(lái)迭代地分解輸入視頻的輸入視頻幀。此外，優(yōu)選地，特定級(jí)別的至少最低頻帶(在圖3中示出的實(shí)施例中，為L(zhǎng)L1頻帶)被分解成下一級(jí)的至少兩個(gè)頻帶(在圖3 中示出的實(shí)施例中，LL1頻帶被分解成下一級(jí)的頻帶LL2、LH2、HL2和HH2)。分解次數(shù)和級(jí)別因此可以由用戶例如根據(jù)所期望的塊偽影減少的精確度水平來(lái)選擇。—般，根據(jù)本發(fā)明，可以應(yīng)用若干種小波變換。在實(shí)際實(shí)施例中，Le Gall 5/3和 Daubechies 9/7小波變換會(huì)產(chǎn)生良好的結(jié)果。優(yōu)選地，使用至少對(duì)于高通部分比塊大小小的小波，即，例如對(duì)于較短的部分具有小于8個(gè)像素的大小，以避免跨越多個(gè)塊邊界。圖4圖示出在小波域中特別是在高通信道(Hp)中和在低通信道(Lp)中如何表示邊緣、塊邊界和紋理。本發(fā)明的思想在于利用邊界與圖像幀中存在的東西之間的相關(guān)性。具體而言，已經(jīng)認(rèn)識(shí)到可以在小波域中對(duì)活動(dòng)性進(jìn)行均衡，來(lái)替代在其中或者甚至在原始圖像中使用低通濾波器。許多已知的去塊化算法僅僅是塊邊界適配器，換言之，它們利用塊邊界的大小來(lái)改變?yōu)V波的類(lèi)型。因此，它們?cè)诩y理區(qū)域工作得并不好，這是因?yàn)樗鼈兊屯ㄟ^(guò)濾了太多紋理或者它們留下了結(jié)構(gòu)。相反，通過(guò)利用相對(duì)于紋理區(qū)域而言在小波域中的塊邊界中存在更多的固有的活動(dòng)性，所提議的解決方案的結(jié)果同時(shí)在塊邊界和周?chē)鷧^(qū)域上是自適應(yīng)的。在小波分解之后，塊檢測(cè)被塊網(wǎng)格檢測(cè)器14執(zhí)行，即在通過(guò)小波分解獲得的至少兩個(gè)頻帶中的至少一個(gè)高頻帶中檢測(cè)塊邊界。這些塊邊界一般是非常容易識(shí)別的，因?yàn)檫@樣的塊網(wǎng)格或塊邊界一般是非常規(guī)則的，即有關(guān)于塊邊界的信息是相關(guān)的。有關(guān)在小波域中如何表示塊邊界(如圖4中所示)的知識(shí)也可以被利用來(lái)檢測(cè)塊邊界。在圖5A中示出了塊網(wǎng)格的對(duì)角細(xì)節(jié)的示例，在圖5B中示出了塊網(wǎng)格的垂直細(xì)節(jié)的示例，并且在圖5C中示出了塊網(wǎng)格的水平細(xì)節(jié)的示例。說(shuō)明如何獲得塊邊界信息的示例性實(shí)施例將在以下被說(shuō)明。去塊化算法不能避免要知道這些塊在哪兒，并且對(duì)于此，針對(duì)它們的位置的預(yù)先分析是必須的。第一小波迭代利用其細(xì)節(jié)系數(shù)來(lái)提供有關(guān)塊的位置的許多信息，事實(shí)上，在圖5A、圖5B、圖5C中可以看見(jiàn)， 它們的結(jié)構(gòu)真的是明顯的。這些示圖是原始圖像與Le Gall 5/3濾波器相卷積的結(jié)果。Le Gall濾波器抽頭的選擇是優(yōu)選的，這是因?yàn)?，即使Daubechies 9/7具有更好的頻率響應(yīng)， 但是特別是對(duì)于8X8塊，由于大量抽頭，這些最后導(dǎo)致塊邊界混合。在考慮如何在小波域中表示塊邊界(參考圖4)時(shí)，思想是利用該完美邊界與圖像中所存在的東西之間的相關(guān)性。當(dāng)然，每個(gè)細(xì)節(jié)系數(shù)具有其自己的特點(diǎn)，因此不同的過(guò)程可以被迭代(這將在以下說(shuō)明)。此外，相關(guān)的量也可以固有地提供塊化的級(jí)別。于是可以使用該信息來(lái)應(yīng)用或不應(yīng)用更強(qiáng)的去塊化算法，這在小波域?qū)е赂?jīng)常的或不那么經(jīng)常的小波分解迭代。
利用高通小波濾波器在行上和在列上進(jìn)行濾波會(huì)產(chǎn)生對(duì)角細(xì)節(jié)。這些通常包括如圖13A中所示的完美塊的4個(gè)塊角落。該特殊情形在正常圖像中并不常見(jiàn)，因?yàn)椴粌H僅完美塊要呈現(xiàn)而且在塊的中心處還應(yīng)當(dāng)存在一些活動(dòng)性。總之，塊角落處的能量比內(nèi)部的能量更大并且呈現(xiàn)特定的圖案。因此，提議對(duì)如下等式利用與完美塊的塊角落的相關(guān)性A = HH (x-4，y_4) -HH (x_3，y_4) +HH (x_3，y-3) -HH (x_4，y-3)B = HH (x-4，y+4) -HH (χ-3, y+4) +ΗΗ(χ-3, y+5)-HH(x_4，y+5)C = HH (x+4，y_4) -HH (x+5，y_4) +HH (x+5，y-3) -HH (x+4，y-3)D = HH (x+4，y+4) -HH (x+5，y+4) +HH (x+5，y+5) -HH (x+4，y+5)以及BlockCorner (χ, y) = |A| +1B| +1C| +1D其中，BlockCorner表示塊角落。該方法產(chǎn)生如圖1 所示的示圖，其中，即使在紋理區(qū)域中，塊角落也是極為明顯的。此后，為了找到這些塊的最可能的位置，對(duì)于每個(gè)8X8區(qū)域，研究圖13B中的最大活動(dòng)性并且存儲(chǔ)該區(qū)域中的行偏移和列偏移。知道了圖像的每個(gè)8X8區(qū)域的偏移，則可以定義更通常的行偏移(DROffset)、列偏移(DCOffset)以及它們的作為總體比率的可靠度 (DROffset %和 DCOffset % )。垂直系數(shù)是與高通小波濾波器的行卷積以及與低通小波濾波器的列卷積的結(jié)果。 因此，普遍方向是垂直的，并且因此，檢測(cè)垂直塊邊界是適當(dāng)?shù)摹，F(xiàn)在，如前，以下等式計(jì)算如圖14A和圖14B中所示的與完美塊邊界的相關(guān)性。A = -HL (χ，y-4) +HL (χ，y-3)B = HL (χ，y+4) -HL (χ，y+5)以及VerticalBlockBorder (χ, y) = |A| +1B|。其中，VerticalBlockBorder表示垂直塊邊界。該迭代提供圖5B并且據(jù)此，對(duì)每個(gè)1X8區(qū)域中的最大活動(dòng)性的計(jì)算給出最通常的列偏移(VCOffset)和其可靠度(VC0ffset% )。水平系數(shù)正是垂直系數(shù)的正交版本。實(shí)際上，低通濾波在行上進(jìn)行并且高通濾波在列上進(jìn)行。該濾波指出類(lèi)似水平塊邊界的水平結(jié)構(gòu)。用以下等式計(jì)算出的相關(guān)的量在圖 5C中示出A = -LH (x-4，y) +LH (χ-3，y)B = LH(x+4, y)-LH(x+5, y)并且HorizontalBlockBorder(χ, y) = A| + |B其中，HorizontalBlockBorder表示水平塊邊界，并且據(jù)此，每個(gè)8X1區(qū)域中的最大活動(dòng)性給出最通常的行偏移(HROffset)以及其可靠度(HR0ffSet%)。與完美塊邊界的相關(guān)性被示出在圖15A和圖15B中。此時(shí)，在具有第一小波迭代的細(xì)節(jié)系數(shù)的塊化知識(shí)的情況下，有必要將之前的結(jié)果融合成一個(gè)，其指出圖像中的塊化的數(shù)量。例如，以下關(guān)系提供可靠結(jié)果BlockLevel = 2 if DROffset = HROffset with DROffset%, HROffset% > 75%
Λ DCOffset = VCOffset with DCOffset%, VCOffset%> 75%BlockLevel = 1 if DROffset = HROffset with DROffset%, HROffset% > 50%Λ DCOffset = VCOffset with DCOffset%, VCOffset% > 50%BlockLevel = O otherwise其中，BlockLevel表示塊級(jí)別?！?，也可以在低頻帶中檢測(cè)塊邊界。然而，一般，塊邊界具有高頻內(nèi)容并且更容易在高頻帶中檢測(cè)到，這是因?yàn)樵诘皖l帶中，圖片信息與塊邊界信息相融合。接著，使用檢測(cè)到的塊邊界，利用同一頻帶的相鄰區(qū)域的能量來(lái)均衡檢測(cè)到的塊邊界的能量，以獲得經(jīng)處理頻帶，從而減少視頻幀中的塊化偽影。一般，該均衡僅僅在高頻帶中進(jìn)行，而不在最低頻帶中進(jìn)行。然而，有關(guān)塊邊界的信息可以被攜帶到其它頻帶，即，從特定頻帶獲得的塊邊界信息也可以用于對(duì)另一頻帶的均衡。將參考圖6至圖9來(lái)說(shuō)明根據(jù)本發(fā)明的由去塊化單元16執(zhí)行的去塊化的實(shí)施例。 圖6示出通過(guò)根據(jù)本發(fā)明的小波分解獲得的高頻帶的圖像幀，其中塊邊界已被根據(jù)本發(fā)明的塊檢測(cè)器檢測(cè)到。為了更好地進(jìn)行說(shuō)明，這樣的圖像幀中的僅一小區(qū)域被描繪出。所述圖像被分割成各個(gè)區(qū)域，其中區(qū)域A、B、C和D是沒(méi)有任何塊邊界的圖像區(qū)域，并且區(qū)域E、 F、G、H和I是其中塊邊界已被識(shí)別的區(qū)域。優(yōu)選地，這些塊邊界已經(jīng)被放大以得到這些塊邊界區(qū)域E、F、G、H和I。因此，區(qū)域E、I、F表示垂直塊邊界，區(qū)域G、I、H表示水平塊邊界并且區(qū)域I表示塊邊界交叉區(qū)。根據(jù)本發(fā)明所提議的用于去塊化的總的思想是利用相鄰區(qū)域的能量來(lái)均衡檢測(cè)到的塊邊界的能量。圖7圖示出這如何被應(yīng)用于對(duì)水平塊邊界30 (即，沿著區(qū)域G、I、H的塊邊界)去塊。具體而言，利用直接相鄰的區(qū)域(優(yōu)選地，大體上被布置在與檢測(cè)到的塊邊界垂直的方向上的區(qū)域)的能量來(lái)均衡檢測(cè)到的塊邊界的能量。例如考慮水平塊邊界30 的像素G1，這意味著利用區(qū)域A、C中的相鄰像素(具體地，垂直于水平塊邊界30被布置的并且經(jīng)過(guò)像素G1的列31中的像素)的能量來(lái)均衡該像素G1的能量。因此，在一個(gè)實(shí)施例中，至少像素的能量被用于此均衡。在其它實(shí)施例中，在相鄰區(qū)域A和C 二者中的列31的兩個(gè)或更多個(gè)像素的能量被用于此均衡，例如，在兩個(gè)相鄰區(qū)域A和C中的所述列 31的所有像素的能量被用于此目的。在另一實(shí)施例中，整個(gè)區(qū)域A和C(但是優(yōu)選地，不是任何更遠(yuǎn)距離的區(qū)域)的能量被用于像素G1的能量的均衡，并且在此情況中，被用于塊邊界區(qū)域G的所有像素的能量的均衡。優(yōu)選地，對(duì)于對(duì)檢測(cè)到的塊邊界的能量進(jìn)行均衡，直接相鄰的區(qū)域(或相鄰區(qū)域的部分)的能量的均值、中值(median)、最大值或最小值被使用。圖8示出將根據(jù)本發(fā)明提議的去塊化應(yīng)用于垂直塊邊界40的示例。一般，該過(guò)程與參考圖7所示的水平塊邊界30所說(shuō)明的過(guò)程相同。具體而言，考慮檢測(cè)到的塊邊界40 的某一像素F3,利用相鄰像素(具體地，在與塊邊界40垂直的方向上延伸的同一行41中的相鄰像素)的能量來(lái)均衡該像素F3的能量。例如，在一個(gè)實(shí)施例中，相鄰像素C3和D3的能量被用于此均衡，而在其他實(shí)施例中，區(qū)域C和D中的行41的兩個(gè)或更多個(gè)(例如所有的) 像素的能量被用于此均衡。在又一實(shí)施例中，整個(gè)區(qū)域C和D的所有像素都用于此目的。圖9圖示出將根據(jù)本發(fā)明提議的去塊化應(yīng)用于塊邊界交叉區(qū)(例如區(qū)域I)的示例。例如，考慮塊邊界交叉區(qū)的像素I5，利用來(lái)自相鄰區(qū)域A、B、C、D的像素(具體地，大體上被排列在所述塊邊界交叉區(qū)的角平分線(bisecting line)50、51的方向上的像素)的能量來(lái)均衡該像素I5的能量。例如，對(duì)于像素I5的能量的均衡，相鄰像素A5、B5、C5*D5的能量被使用。在其他實(shí)施例中，區(qū)域A、B、C、D的更多像素(優(yōu)選是最接近的像素)被使用， 或者在又一實(shí)施例中，這些區(qū)域的所有像素被使用。在又一實(shí)施例中，利用相同行52和相同列53的像素的能量來(lái)均衡像素I5的能量。 因?yàn)樾?2和列53的像素也屬于塊邊界，因此優(yōu)選在此實(shí)施例中假定這些像素被首先處理， 即，它們的能量如以上參考圖7和圖8所述那樣被均衡，并且隨后在后續(xù)步驟中，使用穿過(guò)所述塊邊界交叉區(qū)的垂直塊邊界和水平塊邊界中的那些相鄰區(qū)域的已均衡能量來(lái)均衡像
素I5的能量。此外，在另一實(shí)施例中，使用整個(gè)區(qū)域A、B、C、D和/或整個(gè)區(qū)域E、F、G、H的能量來(lái)均衡塊邊界交叉區(qū)的像素的能量。圖10示例性地示出了圖示出以上說(shuō)明的去塊化的效果的圖像。圖IOA示出具有清楚可見(jiàn)的垂直塊邊界的圖像，這些垂直塊邊界在垂直塊邊界已被去塊化的圖IOB中示出的圖像中遠(yuǎn)沒(méi)有那么明顯。圖IOC示出具有清楚可見(jiàn)的水平塊邊界的圖像，這些水平塊邊界在圖IOD中示出的圖像中已經(jīng)被去塊化。圖IOE示出具有清楚可見(jiàn)的對(duì)角細(xì)節(jié)即包括水平和垂直塊邊界以及塊邊界交叉區(qū)的圖像，這些水平和垂直塊邊界以及塊邊界交叉區(qū)在圖 IOF中所示出的圖像中已被去塊化。以下，通過(guò)參考示出了(不同數(shù)目的)像素的行的圖IlA和圖11B，給出了用于說(shuō)明所考慮的區(qū)域能夠變化的兩個(gè)簡(jiǎn)單示例。通常，與塊邊界有關(guān)的區(qū)域B不變化。此外，此區(qū)域B與小波類(lèi)型有關(guān)，例如Le Gall 5/3小波，其在第一小波迭代中提供兩個(gè)像素的塊邊界擴(kuò)展。當(dāng)然，進(jìn)一步進(jìn)行分解會(huì)引起更大的擴(kuò)展并且因此應(yīng)當(dāng)考慮更大的塊邊界區(qū)域B。在以下說(shuō)明中，將利用大寫(xiě)字母A(這在集合論中是公知的)來(lái)指示區(qū)域并且小寫(xiě)字母a將指代屬于對(duì)應(yīng)大寫(xiě)字母的像素的一階絕對(duì)矩(或能量)。能量計(jì)算的三個(gè)不同示例(還存在其它可用示例)是
權(quán)利要求
1.一種用于減少包括多個(gè)視頻幀的已編碼視頻信號(hào)中的塊化偽影的裝置(10)，包括-小波分解單元(12)，該小波分解單元(1 使用小波分解將輸入視頻幀分解成至少兩個(gè)頻帶，-塊網(wǎng)格檢測(cè)器(14)，該塊網(wǎng)格檢測(cè)器(14)在所述至少兩個(gè)頻帶中的至少一個(gè)高頻帶中檢測(cè)塊邊界，-去塊化單元(16)，該去塊化單元(16)利用該同一高頻帶的相鄰區(qū)域的能量來(lái)對(duì)檢測(cè)到的塊邊界的能量進(jìn)行均衡，以獲得用于減少所述視頻幀中的塊化偽影的已處理頻帶，以及-小波構(gòu)建單元(18)，該小波構(gòu)建單元(18)利用小波構(gòu)建從所述輸入視頻幀和所述已處理頻帶來(lái)構(gòu)建輸出視頻幀。
2.如權(quán)利要求1所述的裝置，其中，所述去塊化單元(16)可操作用于使用大體上被排列在與所述檢測(cè)到的塊邊界垂直的方向上的直接相鄰區(qū)域的能量來(lái)均衡所述檢測(cè)到的塊邊界的能量。
3.如之前任一項(xiàng)權(quán)利要求所述的裝置，其中，所述去塊化單元(16)可操作用于使用大體上被排列在塊邊界交叉區(qū)的角平分線的方向上的直接相鄰區(qū)域的能量來(lái)均衡所述塊邊界交叉區(qū)處的檢測(cè)到的塊邊界的能量。
4.如之前任一項(xiàng)權(quán)利要求所述的裝置，其中，所述去塊化單元(16)可操作用于使用直接相鄰區(qū)域的能量的均值、中值、最大值或最小值來(lái)均衡檢測(cè)到的塊邊界的能量。
5.如之前任一項(xiàng)權(quán)利要求所述的裝置，其中，所述去塊化單元(16)可操作用于利用直接相鄰區(qū)域的能量來(lái)均衡檢測(cè)到的塊邊界的能量，其中直接相鄰區(qū)域的大小是由圍繞它的塊邊界確定的。
6.如權(quán)利要求5所述的裝置，其中，所述去塊化單元(16)可操作用于利用直接相鄰區(qū)域的部分的能量來(lái)均衡檢測(cè)到的塊邊界的能量，這些部分與所述塊邊界直接相鄰，所述塊邊界的能量應(yīng)當(dāng)被均衡并且具有整個(gè)直接相鄰區(qū)域的10%至90%的大小，特別地具有整個(gè)直接相鄰區(qū)域的25%至 50%的大小。
7.如之前任一項(xiàng)權(quán)利要求所述的裝置，其中，所述去塊化單元(16)可操作用于針對(duì)檢測(cè)到的塊邊界的像素，逐像素地均衡所述檢測(cè)到的塊邊界的能量。
8.如權(quán)利要求7所述的裝置，其中，所述去塊化單元(16)可操作用于利用相同行和/或列的直接相鄰區(qū)域的像素的能量來(lái)確定用于替換檢測(cè)到的塊邊界中的像素的原始像素值的經(jīng)校正像素值。
9.如權(quán)利要求7所述的裝置，其中，所述去塊化單元(16)可操作用于利用大體上被排列在與檢測(cè)到的塊邊界交叉區(qū)的角平分線的方向上的直接相鄰區(qū)域的像素的能量來(lái)確定用于替換所述檢測(cè)到的塊邊界交叉區(qū)中的像素的原始像素值的經(jīng)校正像素值。
10.如權(quán)利要求7所述的裝置，其中，所述去塊化單元(16)可操作用于利用在檢測(cè)到的塊邊界交叉區(qū)中交叉的塊邊界的直接相鄰部分中的、其經(jīng)校正像素值先前已被確定的像素的能量來(lái)確定用于替換所述塊邊界交叉區(qū)中的像素的原始像素值的經(jīng)校正像素值。
11.如之前任一項(xiàng)權(quán)利要求所述的裝置，其中，所述小波分解單元(12)和所述小波構(gòu)建單元(18)可操作用于應(yīng)用至少對(duì)于所述高頻帶而言比塊大小短的小波。
12.如之前任一項(xiàng)權(quán)利要求所述的裝置，其中，所述小波分解單元可操作用于利用無(wú)子采樣的小波分解來(lái)分解輸入視頻幀。
13.如之前任一項(xiàng)權(quán)利要求所述的裝置，其中，所述小波分解單元(12)可操作用于利用至少兩個(gè)小波分解的級(jí)聯(lián)來(lái)將輸入視頻幀迭代地分解成至少兩級(jí)的多個(gè)頻帶，其中第一級(jí)的至少最低頻帶被分解成第二級(jí)的至少兩個(gè)頻帶，并且其中，所述塊網(wǎng)格檢測(cè)器和所述去塊化單元(16)可操作用于處理每級(jí)的至少一個(gè)高頻帶。
14.如之前任一項(xiàng)權(quán)利要求所述的裝置，還包括圖像處理裝置(20)，該圖像處理裝置00)用于小波域中的輸入視頻幀和/或已處理頻帶的圖像處理，特別是用于小波構(gòu)建之前的銳利度增強(qiáng)、噪聲降低、色彩飽和度增強(qiáng)、色調(diào)增強(qiáng)、亮度增強(qiáng)和/或?qū)Ρ榷仍鰪?qiáng)。
15.如之前任一項(xiàng)權(quán)利要求所述的裝置，其中，所述去塊化單元(16)可操作用于通過(guò)確定區(qū)域的像素值的絕對(duì)值的和、該區(qū)域的像素值的平方值的和，或者加上相鄰區(qū)域的均值或沒(méi)有加上相鄰區(qū)域的均值的連續(xù)像素對(duì)的絕對(duì)差的和，來(lái)確定該區(qū)域的能量。
16.一種用于減少包括多個(gè)視頻幀的已編碼視頻信號(hào)中的塊化偽影的方法，包括如下步驟-使用小波分解將輸入視頻幀分解成至少兩個(gè)頻帶， -在所述至少兩個(gè)頻帶中的至少一個(gè)高頻帶中檢測(cè)塊邊界，-利用該同一高頻帶的相鄰區(qū)域的能量來(lái)對(duì)檢測(cè)到的塊邊界的能量進(jìn)行均衡，以獲得用于減少所述視頻幀中的塊化偽影的已處理頻帶，以及-利用小波構(gòu)建從所述輸入視頻幀和所述已處理頻帶來(lái)構(gòu)建輸出視頻幀。
17.一種用于減少包括多個(gè)視頻幀的已編碼視頻信號(hào)中的塊化偽影的裝置，包括 -小波分解裝置(12)，用于使用小波分解將輸入視頻幀分解成至少兩個(gè)頻帶，-塊網(wǎng)格檢測(cè)裝置(14)，用于在所述至少兩個(gè)頻帶中的至少一個(gè)高頻帶中檢測(cè)塊邊界，-去塊化裝置(16)，用于利用該同一高頻帶的相鄰區(qū)域的能量來(lái)對(duì)檢測(cè)到的塊邊界的能量進(jìn)行均衡，以獲得用于減少所述視頻幀中的塊化偽影的已處理頻帶，以及-小波構(gòu)建裝置(18)，用于利用小波構(gòu)建從所述輸入視頻幀和所述已處理頻帶來(lái)構(gòu)建輸出視頻幀。
18.一種計(jì)算機(jī)程序，包括當(dāng)所述計(jì)算機(jī)程序在計(jì)算機(jī)上被執(zhí)行時(shí)，令計(jì)算機(jī)執(zhí)行如權(quán)利要求16所述的方法的步驟的程序代碼裝置。
19.一種計(jì)算機(jī)可讀非暫時(shí)介質(zhì)，存儲(chǔ)了當(dāng)在計(jì)算機(jī)上被執(zhí)行時(shí)令計(jì)算機(jī)執(zhí)行如權(quán)利要求16所述的方法的步驟的指令。
全文摘要
本發(fā)明公開(kāi)了用于減少塊化偽影的裝置和方法。本發(fā)明涉及一種用于減少包括多個(gè)視頻幀的已編碼視頻信號(hào)中的塊化偽影的裝置(10)。為了有效減少包括多個(gè)視頻幀的已編碼視頻信號(hào)中的塊化偽影并同時(shí)保持已編碼視頻信號(hào)中的紋理不受損害，提出了一種裝置，包括小波分解單元(12)，其使用小波分解將輸入視頻幀分解成至少兩個(gè)頻帶，塊網(wǎng)格檢測(cè)器(14)，其在至少兩個(gè)頻帶中的至少一個(gè)高頻帶中檢測(cè)塊邊界，去塊化單元(16)，其利用該同一高頻帶的相鄰區(qū)域的能量來(lái)均衡檢測(cè)到的塊邊界的能量，以獲得用于減少視頻幀中的塊化偽影的已處理頻帶，以及小波構(gòu)建單元(18)，其利用小波構(gòu)建從輸入視頻幀和已處理頻帶來(lái)構(gòu)建輸出視頻幀。
文檔編號(hào)H04N7/30GK102547274SQ20111039180
公開(kāi)日2012年7月4日 申請(qǐng)日期2011年11月23日 優(yōu)先權(quán)日2010年11月23日
發(fā)明者法蘭斯科·米謝林, 皮爾喬治奧·薩托爾 申請(qǐng)人:索尼公司