專(zhuān)利名稱(chēng)：視頻補(bǔ)償噪聲添加技術(shù)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于減少與編碼視頻流的解碼有關(guān)的偽像的技術(shù)。
背景技術(shù)：
以低比特率壓縮的視頻流的解碼常常產(chǎn)生觀看者能夠察覺(jué)的可見(jiàn)偽像(artifact)。當(dāng)使用基于塊的壓縮技術(shù)時(shí)，分塊(blockiness)和結(jié)構(gòu)化的噪聲圖(noise pattern)是出現(xiàn)的常見(jiàn)偽像。人類(lèi)的視覺(jué)系統(tǒng)對(duì)某些類(lèi)型的偽像具有更強(qiáng)的敏感性，因此，這些偽像比其他偽像更容易察覺(jué)和令人不悅。向解碼的流中添加隨機(jī)噪聲可以降低這些壓縮偽像的引人注意程度，但是由添加隨機(jī)噪聲而導(dǎo)致的大的幀到幀的差異本身也可以產(chǎn)生容易察覺(jué)和令人不悅的偽像。
添加抖動(dòng)信號(hào)可以降低人對(duì)圖像偽像的敏感性，例如，來(lái)隱藏輪廓和分塊偽像。一種現(xiàn)有技術(shù)提出了將基于膠卷顆粒(film grain)的隨機(jī)噪聲抖動(dòng)添加到圖像中以掩飾分塊效應(yīng)。添加這種隨機(jī)噪聲的基本原理是隨機(jī)錯(cuò)誤比結(jié)構(gòu)或相關(guān)(correlated)錯(cuò)誤更容易容忍。其他現(xiàn)有技術(shù)提出了將抖動(dòng)信號(hào)添加到視頻流中來(lái)隱藏壓縮偽像。過(guò)去的一種技術(shù)提出了在ITU/ISO H.264視頻編碼標(biāo)準(zhǔn)(通常稱(chēng)為JVT編碼標(biāo)準(zhǔn))的循環(huán)內(nèi)去分塊濾波器(in loop deblockingfilter)中的視頻編碼和解碼處理中添加隨機(jī)噪聲抖動(dòng)。要添加的抖動(dòng)量依賴(lài)于像素相對(duì)于塊邊緣的位置。另一種現(xiàn)有技術(shù)提出了在視頻解碼后添加該隨機(jī)噪聲(即，添加噪聲作為“后處理”)用作補(bǔ)償噪聲(comfort noise)。添加的噪聲量依賴(lài)于量化參數(shù)和添加到空間上相鄰的像素的噪聲量。術(shù)語(yǔ)“補(bǔ)償噪聲”來(lái)源于在音頻壓縮中使用噪聲來(lái)指示在接收機(jī)端生成的噪聲圖，用以避免產(chǎn)生使聽(tīng)者不舒服的完全靜音。
過(guò)去通過(guò)添加噪聲減少偽像的技術(shù)典型地以產(chǎn)生暫時(shí)異常(即，大的幀到幀的差異)為代價(jià)減少了空間偽像。因此，需要有一種克服上述缺點(diǎn)的、在編碼視頻流的解碼期間減少偽像的技術(shù)。

發(fā)明內(nèi)容
簡(jiǎn)單地說(shuō)，根據(jù)本發(fā)明原理的優(yōu)選實(shí)施例，提供一種用于在解碼期間減少視頻流中的偽像的方法。該方法由解碼視頻流開(kāi)始。在解碼之后，通過(guò)按照與之前解碼的畫(huà)面的至少一部分的亮度相關(guān)的量將噪聲添加到每個(gè)像素中，來(lái)將噪聲添加到視頻流中。這樣，根據(jù)本發(fā)明原理，亮度相關(guān)性幫助確定加性噪聲，以減少大的幀到幀差異(現(xiàn)有噪聲添加技術(shù)的缺點(diǎn))。


圖1繪出根據(jù)本發(fā)明原理的視頻解碼器裝置(arrangement)的第一實(shí)施例的方框示意圖，該裝置用于通過(guò)添加與當(dāng)前畫(huà)面的至少一部分的亮度相關(guān)的噪聲來(lái)減少與對(duì)編碼視頻流進(jìn)行解碼有關(guān)的偽像；圖2繪出根據(jù)本發(fā)明原理的視頻解碼器裝置的第二實(shí)施例的方框示意圖，該裝置用于通過(guò)添加與當(dāng)前畫(huà)面的至少一部分的亮度相關(guān)的噪聲來(lái)減少與對(duì)編碼視頻流解碼進(jìn)行有關(guān)的偽像；和圖3繪出根據(jù)本發(fā)明原理的視頻解碼器裝置的第三實(shí)施例的方框示意圖，該裝置用于通過(guò)添加與當(dāng)前畫(huà)面的至少一部分的亮度相關(guān)的噪聲來(lái)減少與對(duì)編碼視頻流解碼進(jìn)行有關(guān)的偽像。
具體實(shí)施例方式
根據(jù)本發(fā)明原理，按照與當(dāng)前畫(huà)面的至少一部分的亮度相關(guān)的量將包含抖動(dòng)信號(hào)的隨機(jī)噪聲添加到已經(jīng)解碼的信號(hào)中，可以提高主觀視頻質(zhì)量。
迄今為止，向解碼的信號(hào)添加噪聲已經(jīng)被發(fā)現(xiàn)能提高視頻信號(hào)的質(zhì)量。向視頻序列而不僅僅是單個(gè)圖像添加噪聲信號(hào)的視覺(jué)影響成為確定噪聲信號(hào)幅度時(shí)的考慮因素。在確定噪聲信號(hào)幅度時(shí)，考慮了向視頻序列而不僅僅是單個(gè)圖像添加噪聲信號(hào)的視覺(jué)影響。畫(huà)面中的像素的加性噪聲信號(hào)的幅度可以與之前顯示的畫(huà)面中的像素的加性噪聲信號(hào)值相關(guān)，例如，噪聲信號(hào)是時(shí)間相關(guān)的?；蛘?，時(shí)間相關(guān)性可以基于之前解碼的畫(huà)面，而不是之前顯示的畫(huà)面。
基于上述，使用具有相關(guān)因子α(0≤α≤1)的時(shí)間相關(guān)性可以如下計(jì)算添加的噪聲信號(hào)N(k，x，y)＝(1-α)*N(k-1，x，y)+α*R(k，x，y)(1)隨機(jī)數(shù)R(k，x，y)可以使用任何類(lèi)型的隨機(jī)數(shù)分布，例如標(biāo)準(zhǔn)、高斯或拉普拉斯分布，來(lái)生成。如果需要的話，R(k，x，y)還可以被限定在一定范圍內(nèi)。隨機(jī)數(shù)發(fā)生器可以通過(guò)查找表來(lái)實(shí)現(xiàn)。R(k，x，y)還可以包括空間相關(guān)性，諸如用于例如膠卷顆粒噪聲生成。
根據(jù)本發(fā)明原理，噪聲添加很大程度上依賴(lài)于塊或宏塊的明亮度(即，亮度)，但也依賴(lài)于其相鄰塊的亮度。塊/宏塊越暗，就越容易注意到具有相對(duì)高方差(variance)的噪聲。據(jù)此，可以由下面關(guān)系式給出加性噪聲N(k，x，y)的量N(k，x，y)＝(1-γ(k，x，y))*N(k-1，x，y)+γ(k，x，y)*(1-φ(k，x，y))*R(k，x，y)(2)其中函數(shù)γ(k，x，y)表示相關(guān)因子，它依賴(lài)于當(dāng)前圖像與之前顯示或解碼的一個(gè)圖像的時(shí)間相關(guān)性。
γ(k，x，y)項(xiàng)可以如下計(jì)算γ(k，x，y)＝α-β*f1(D(k，x，y)，D(k-1，x，y))，0≤β≤α≤1(3)其中，f1()取0和1之間的值，并且計(jì)算畫(huà)面k中的像素(x，y)與畫(huà)面k-1中同一位置的像素的時(shí)間相關(guān)因子。因子α和β這里涉及畫(huà)面類(lèi)型(I、P或B畫(huà)面)以及用于編碼當(dāng)前畫(huà)面或塊的量化器，并且可以通過(guò)使用查找表來(lái)計(jì)算?；蛘撸梢允褂卯?huà)面k和k-1之間的全分辨率差圖像，并且如果總絕對(duì)差低于一個(gè)值，那么可以認(rèn)為這兩個(gè)畫(huà)面相關(guān)(即，f1＝1)。
還可以考慮更簡(jiǎn)單的度量。例如，通過(guò)考慮N×N塊的均值并且在塊的級(jí)別上執(zhí)行噪聲自適應(yīng)，可以大大節(jié)省存儲(chǔ)器和計(jì)算能力。在這種情況下，項(xiàng)f1(D(k，x，y)，D(k-1，x，y))將等于f1(D(k,x,y),D(k-1,x,y))=(1N×Nabs(Σk=0NΣm=0ND(k,x+k,y+k)---(4)]]>-Σk=0NΣm=0ND(k-1,x+k,y+k))>ζ0 0:1)]]>其中0≤ζ0≤255。
項(xiàng)φ(k，x，y)反映用來(lái)調(diào)整要使用的噪聲的強(qiáng)度的空間信息。特別地，φ(k，x，y)可以如下計(jì)算
φ(k，x，y)＝f2(D(k，x，y))(4)+f3(D(k，x-bsx，y)，D(k，x+bsx，y)，D(k，x，y-bsy)，D(k，x，y+bsy))其中，f2()涉及當(dāng)前像素或其所屬的N×N塊的亮度，而f3()計(jì)算當(dāng)前像素/塊和與其水平或垂直相距bsx或bsy的相鄰像素/塊之間的空間關(guān)系。例如，f2(D(k,x,y))=(1N×NΣk=0NΣm=0ND(k,x+k,y+k)>ζ1 0:1)---(5)]]>f3(D(k，x，y))＝(f2(D(k，x，y))-f2(D(k，x+N，y))＝ζ2)‖(f2(D(k，x，y))-f2(D(k，x-N，y))＝ζ3)‖(f2(D(k，x，y))-f2(D(k，x，y+N))＝ζ4)‖(f2(D(k，x，y))-f2(D(k，x，y-N))＝ζ5)(6)其中0≤ζ1≤255，并且-255≤ζ2，ζ3，ζ4，ζ5≤255。
圖1繪出了用于以與方程2兼容的方式添加與當(dāng)前畫(huà)面的至少一部分的亮度相關(guān)的噪聲來(lái)減少偽像的視頻解碼器裝置10的第一實(shí)施例的方框示意圖。解碼器裝置10包括解碼器12，用于解碼輸入的編碼視頻流。解碼器12的設(shè)計(jì)依賴(lài)于編碼輸入視頻流所采用的壓縮格式。在優(yōu)選實(shí)施例中，輸入視頻流經(jīng)過(guò)使用公知的ITU/ISO H.264標(biāo)準(zhǔn)的壓縮。在這種情況下，解碼器12采用本領(lǐng)域公知的H.264解碼器的形式。參考畫(huà)面存儲(chǔ)器14存儲(chǔ)解碼器12解碼的畫(huà)面以供解碼器在解碼將來(lái)的畫(huà)面時(shí)使用。
解碼器12向噪聲發(fā)生器16提供解碼的畫(huà)面以及解碼的畫(huà)面中包含的比特流信息。解碼器12輸出的比特流信息可以包括輸入到噪聲發(fā)生器的量化參數(shù)。壓縮偽像的嚴(yán)重程度與量化參數(shù)相關(guān)，當(dāng)使用高的量化參數(shù)值時(shí)出現(xiàn)更嚴(yán)重的壓縮偽像。添加的補(bǔ)償噪聲的強(qiáng)度可以隨著量化參數(shù)值的增加而增加。
求和單元(summing block)18求來(lái)自解碼器12的每個(gè)解碼的畫(huà)面與來(lái)自噪聲發(fā)生器16的噪聲的和。限幅器(clipper)20然后通過(guò)限制求和單元18輸出的結(jié)果信號(hào)來(lái)產(chǎn)生用于顯示的解碼的畫(huà)面，該畫(huà)面呈現(xiàn)較少的偽像。要注意的是，由于參考畫(huà)面必須保持不變以便正確解碼隨后的輸入畫(huà)面，因此在將解碼的畫(huà)面存儲(chǔ)在參考畫(huà)面存儲(chǔ)器14中之后進(jìn)行噪聲添加。
噪聲畫(huà)面存儲(chǔ)器17存儲(chǔ)用于第k畫(huà)面的噪聲信號(hào)N(k，x，y)以供噪聲發(fā)生器16以后使用。噪聲發(fā)生器16響應(yīng)存儲(chǔ)在參考畫(huà)面存儲(chǔ)器14中的參考畫(huà)面，該參考畫(huà)面包含關(guān)于之前解碼的畫(huà)面的信息。盡管不是必要的，但如果對(duì)解碼的畫(huà)面之間的時(shí)間相關(guān)性使用基于塊的計(jì)算，那么可以添加額外的存儲(chǔ)器。
盡管仍然可能對(duì)圖像內(nèi)的每個(gè)像素生成噪聲，但在某些情況下(例如，對(duì)于較高分辨率的材料)，常常更希望生成大小(顆粒)較大的噪聲。例如，對(duì)噪聲圖像應(yīng)用N×N塊大小離散余弦變換，然后丟棄得到的較高頻率，這將導(dǎo)致類(lèi)似于膠卷顆粒噪聲的大小較大的噪聲。該處理仍然會(huì)導(dǎo)致相對(duì)較大的花費(fèi)，而且典型地要求去分塊處理以便減少可能在塊邊緣上產(chǎn)生的分塊偽像。
圖2繪出了用于添加與當(dāng)前畫(huà)面的至少一部分的亮度相關(guān)的大顆粒噪聲的視頻解碼器裝置100的第二實(shí)施例的方框示意圖。解碼器裝置100包括許多與圖1的解碼器裝置10相同的元件，相同的元件用相同的附圖標(biāo)記表示。與圖1的解碼器裝置10相比，圖2的解碼器裝置100還包括連接到參考畫(huà)面存儲(chǔ)器14的N×N降低畫(huà)面平均值存儲(chǔ)器22。畫(huà)面存儲(chǔ)器22典型地存儲(chǔ)N×N亮度塊平均值。存儲(chǔ)在畫(huà)面存儲(chǔ)器22中的平均亮度值允許解碼器裝置生成如上討論的較大顆粒噪聲。
圖3繪出了用于添加與當(dāng)前畫(huà)面的至少一部分的亮度相關(guān)的大顆粒噪聲的視頻解碼器裝置1000的第三實(shí)施例的方框示意圖。圖3的解碼器裝置1000包括許多與圖2的解碼器裝置100相同的元件，相同的元件用相同的附圖標(biāo)記表示。與圖2的解碼器裝置100相比，圖3的解碼器裝置1000不包括噪聲畫(huà)面存儲(chǔ)器17，而僅僅包括N×N降低畫(huà)面平均值存儲(chǔ)器22。
一種可替代的簡(jiǎn)單得多的處理是以小于原始圖像的分辨率的分辨率(例如，一半的水平和垂直分辨率)生成噪聲，然后上采樣該噪聲(例如，使用采樣復(fù)制)。也可以根據(jù)原始畫(huà)面的分辨率來(lái)決定使用原始或較小的分辨率(例如，對(duì)標(biāo)準(zhǔn)清晰度和較低清晰度的材料使用相同的分辨率，而對(duì)高清晰度材料使用較低分辨率噪聲生成)。一方參數(shù)(side parameter)也可以與比特流一起發(fā)送，從而允許解碼器決定使用哪種處理。一方信息也可以用于噪聲生成(例如，噪聲方差加權(quán))。
也可以對(duì)色彩分量應(yīng)用這種完全相同的處理。然而，為了降低復(fù)雜度和計(jì)算量，可以只基于一個(gè)亮度分量生成噪聲，而在執(zhí)行簡(jiǎn)單的縮放(scaling)和子采樣(如果需要的話)后對(duì)所有色彩分量重新使用相同的噪聲。例如，對(duì)于4∶2∶0材料，亮度噪聲被2垂直和水平子采樣，從而可以被除以2以便生成色度噪聲。
圖1和2的解碼器裝置10和100表示時(shí)間無(wú)限脈沖響應(yīng)(IIR)濾波器的實(shí)例化(instantiation)?？梢酝ㄟ^(guò)使用更多的濾波器抽頭來(lái)使IIR濾波器一般化。通常還可以根據(jù)下面的關(guān)系式使用高階FIR濾波器(其使用所期望的那樣多的t個(gè)抽頭)來(lái)逼近(approximate)IIR濾波器
N(k,x,y)=Πj=0i-1(1-γ(k-j,x,y))×N(k-t,x,y)]]>(7)+Σi=0i-1(Πj=0i-1(1-γ(k-j,x,y))×γ(k-i,x,y)×(1-φ(k-i,x,y))×R(k-i,x,y))]]>可以使用圖3的解碼器裝置來(lái)實(shí)現(xiàn)有限脈沖響應(yīng)(FIR)濾波器近似(approach)。解碼器裝置1000在這種FIR濾波器近似中只利用之前的隨機(jī)數(shù)R和N×N亮度塊均值(如果需要的話)，而不是之前的噪聲N，從而減少了存儲(chǔ)帶寬。也可以只使用和存儲(chǔ)當(dāng)前和之前畫(huà)面的N×N亮度塊平均值，并且對(duì)所有抽頭重新使用相同的值和它們的差。例如，我們可以使用下面的系統(tǒng)N(k，x，y)＝(1-γ(k，x，y))×(1-γ(k-1，x，y))×R(k-2，x，y)+(1-γ(k，x，y))×γ(k-1，x，y)×(1-φ(k-1，x，y))×R(k-1，x，y)(8)+γ(k，x，y)×(1-φ(k，x，y))×R(k，x，y)盡管還可以通過(guò)強(qiáng)迫計(jì)算γ(k-1，x，y)中使用的差圖像與計(jì)算γ(k，x，y)中使用的相同來(lái)簡(jiǎn)化上式。這將完全避免存儲(chǔ)或重新計(jì)算差圖像的需要，并且大大降低存儲(chǔ)帶寬。
上面描述了一種用于通過(guò)添加與當(dāng)前畫(huà)面的至少一部分的亮度相關(guān)的噪聲來(lái)減少與編碼視頻流的解碼有關(guān)的偽像的技術(shù)。
權(quán)利要求
1.一種用于減少視頻流中的偽像的方法，包括步驟解碼視頻流；和按照與當(dāng)前畫(huà)面的至少一部分的亮度信息相關(guān)的量，將噪聲添加到解碼后的視頻流中的畫(huà)面中的至少一個(gè)像素中。
2.如權(quán)利要求1所述的方法，還包括步驟使用依賴(lài)于當(dāng)前畫(huà)面圖像與之前顯示或解碼的畫(huà)面之一的時(shí)間相關(guān)性的因子，來(lái)使噪聲相關(guān)。
3.如權(quán)利要求2所述的方法，其中，相關(guān)因子是根據(jù)亮度或色彩分量中的一個(gè)建立的。
4.如權(quán)利要求2所述的方法，還包括步驟根據(jù)亮度分量將噪聲添加到畫(huà)面的色彩分量中。
5.如權(quán)利要求2所述的方法，其中，在內(nèi)插加性噪聲之前，首先以N×N像素畫(huà)面塊(其中N是整數(shù))為基礎(chǔ)建立相關(guān)因子。
6.如權(quán)利要求1所述的方法，還包括步驟根據(jù)相鄰像素的N×N塊(其中N是整數(shù))的強(qiáng)度來(lái)調(diào)整噪聲。
7.如權(quán)利要求1所述的方法，其中，使用有限脈沖響應(yīng)(IIR)濾波器的逼近來(lái)使噪聲量相關(guān)。
8.一種用于對(duì)編碼視頻流進(jìn)行解碼以產(chǎn)生減少的偽像的解碼器裝置，包括視頻解碼器，用于解碼輸入的編碼視頻流來(lái)產(chǎn)生解碼的畫(huà)面；參考畫(huà)面存儲(chǔ)器，用于存儲(chǔ)至少一個(gè)之前解碼的畫(huà)面以供解碼器在解碼將來(lái)的畫(huà)面時(shí)使用；噪聲發(fā)生器噪聲，用于生成噪聲來(lái)按照與當(dāng)前畫(huà)面的至少一部分的亮度信息相關(guān)的量、將該噪聲添加到解碼的畫(huà)面中的至少一個(gè)像素中；噪聲畫(huà)面存儲(chǔ)器，用于存儲(chǔ)噪聲信息以供噪聲發(fā)生器之后使用；求和單元，用于求噪聲發(fā)生器所生成的噪聲與來(lái)自解碼器的解碼的畫(huà)面的和；和限幅器，用于限制求和后的噪聲和解碼的畫(huà)面。
9.如權(quán)利要求8所述的解碼器裝置，其中，噪聲發(fā)生器實(shí)現(xiàn)有限脈沖響應(yīng)濾波器的實(shí)例化。
10.如權(quán)利要求8所述的解碼器裝置，其中，噪聲發(fā)生器實(shí)現(xiàn)無(wú)限脈沖響應(yīng)濾波器的逼近。
11.如權(quán)利要求8所述的解碼器裝置，其中，噪聲發(fā)生器根據(jù)解碼器提供的解碼的畫(huà)面和比特流信息來(lái)生成噪聲。
12.如權(quán)利要求8所述的解碼器裝置，其中，比特流信息包括量化參數(shù)。
13.如權(quán)利要求8所述的解碼器裝置，還包括第二畫(huà)面存儲(chǔ)器，用于存儲(chǔ)N×N像素塊畫(huà)面平均值以供噪聲發(fā)生器使用，其中N是整數(shù)。
14.一種用于對(duì)編碼視頻流進(jìn)行解碼以產(chǎn)生減少的偽像的解碼器裝置，包括視頻解碼器，用于解碼輸入的編碼視頻流來(lái)產(chǎn)生解碼的畫(huà)面；參考畫(huà)面存儲(chǔ)器，用于至少一次存儲(chǔ)至少一個(gè)之前解碼的畫(huà)面以供解碼器在解碼將來(lái)的畫(huà)面時(shí)使用；噪聲發(fā)生器噪聲，用于根據(jù)來(lái)自解碼器的解碼的畫(huà)面和比特流信息而生成噪聲來(lái)按照與前一畫(huà)面中的至少一個(gè)像素的加性噪聲相關(guān)的量而將該噪聲添加到解碼的至少一個(gè)像素中；畫(huà)面存儲(chǔ)器，用于存儲(chǔ)N×N像素塊畫(huà)面平均值以供噪聲發(fā)生器使用，其中N是整數(shù)。求和單元，用于求噪聲發(fā)生器所生成的噪聲與來(lái)自解碼器的解碼的畫(huà)面的和；和
15.如權(quán)利要求20所述的解碼器裝置，其中，噪聲發(fā)生器實(shí)現(xiàn)有限脈沖響應(yīng)濾波器的實(shí)例化。
全文摘要
一種用于解碼輸入視頻流中的畫(huà)面的解碼裝置(10，100，1000)，包括噪聲發(fā)生器(16)，用于在視頻解碼后將包含隨機(jī)噪聲的抖動(dòng)信號(hào)添加到畫(huà)面中，以提高主觀視頻質(zhì)量。噪聲發(fā)生器按照與當(dāng)前畫(huà)面的至少一部分的亮度相關(guān)的量，將噪聲添加到每個(gè)像素中。
文檔編號(hào)H04N7/26GK1857004SQ200480027521
公開(kāi)日2006年11月1日 申請(qǐng)日期2004年9月21日 優(yōu)先權(quán)日2003年9月23日
發(fā)明者亞歷山德羅斯·M·圖雷皮斯, 吉爾·M·博伊斯, 瓊·拉克 申請(qǐng)人:湯姆森特許公司