專利名稱：編碼和噪聲過濾圖象序列的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于編碼圖象序列的方法和裝置，在該方法和裝置中把該圖象序列進行噪聲過濾。
Kleihorst等人[1]描述了一種采用自適應(yīng)噪聲濾波器的單片MPEG2編碼器。

圖1示出了該噪聲濾波器2的結(jié)構(gòu)。除了噪聲濾波器2，已有技術(shù)的實施例還具有減法器1、加法器3、選擇器4、主環(huán)路存儲器5和運動估計器6。為了簡便起見，信號表示為1維數(shù)據(jù)。此處的g(k)是被觀測的有噪聲信號；f^MC(k-1)]]>是先前過濾(并且編碼-解碼)的信號，它是從主環(huán)路存儲器5恢復(fù)的。需要注意的是，下標(biāo)MC表示該信號被運動補償以沿著g(k)的運動軌跡。濾波的結(jié)果是(k),f^(k)f^]]>而不是有噪聲的g(k)被插入到編碼鏈路中。在幀間編碼的宏塊中，qu信號f^-f^MC(k-1)]]>?？柭?增益乘數(shù)0≤C≤1被控制以使濾波器2適應(yīng)現(xiàn)有的情況。設(shè)C=1，則提供(有噪聲的)觀測信號并且不發(fā)生濾波作用。如果C=0，則只提供預(yù)測，同時獲得C噪聲過濾的中間值。除了從整體上控制這個值之外，還可以通過運動補償?shù)慕Y(jié)果直接控制C。這樣做避免了在MPEG(平移的)運動模型不充分的情況下的模糊。反之，如果檢測到一個良好的運動-補償，那么該自適應(yīng)性也提高了濾波作用。
本發(fā)明的一個目的特別是要提供一種更有效的濾波。因此，本發(fā)明提供了一種用于編碼圖象序列的方法和裝置以及在附屬權(quán)利要求中定義的一種攝像系統(tǒng)。在附屬權(quán)利要求中定義了優(yōu)選實施例。
本發(fā)明第一實施例的依據(jù)是把噪聲過濾看作是速率-失真的優(yōu)化問題，以便于適應(yīng)該噪聲過濾。本發(fā)明既考慮了編碼圖象的品質(zhì)降低，又考慮了因噪聲破壞而增加的傳輸比特量。本發(fā)明允許圖象序列的自適應(yīng)濾波，從而產(chǎn)生更好的壓縮和失真性能。濾波器參數(shù)設(shè)置最好被確定為適應(yīng)該濾波器的響應(yīng)，其中圖象序列使用一個用于壓縮無噪聲圖象序列的最佳比特-預(yù)算(或-速率)R進行編碼，并且該給定比特-預(yù)算R的失真D被最小化。因編碼處理引起的一個特定幀的失真以及用于編碼該幀的比特數(shù)需要被估算。通過拉格朗日乘數(shù)法計算濾波器的參數(shù)設(shè)置可有效地解決速率-失真問題。
根據(jù)本發(fā)明的又一個實施例使用了一種有效算法，該算法通過確定比特預(yù)算R的第二微商的最大值來估計最佳拉格朗日乘數(shù)。在此實施例中，最佳拉格朗日乘數(shù)的確定不需要預(yù)先知道速率限制和噪聲特征。
根據(jù)本發(fā)明的一個實際實施例使用空間自適應(yīng)加權(quán)平均濾波來估計該速率。在又一個實施例中，該空間自適應(yīng)加權(quán)平均濾波用于預(yù)先過濾圖象序列。這樣做是為了利用像素間的空間相關(guān)，并且與三維濾波技術(shù)相比較是為了降低處理的負荷。位移矢量現(xiàn)在通過空間過濾之后的當(dāng)前和先前幀進行估計，它向運動估計提供了附加的健壯性。
本發(fā)明的上述及其它方案通過參考下述的實施例將變得顯而易見并且被闡明。
在附圖中圖1表示通過已有技術(shù)可知的自適應(yīng)噪聲濾波器的結(jié)構(gòu)(已經(jīng)討論)；圖2表示根據(jù)本發(fā)明的第一實施例，它提供組合的視頻編碼和噪聲降低；圖3表示根據(jù)本發(fā)明的第二實施例，它提供組合的視頻編碼和噪聲降低；以及圖4表示根據(jù)本發(fā)明的攝像系統(tǒng)。
附圖僅僅示出了理解本發(fā)明所必需的元件。
本發(fā)明把圖象序列的噪聲過濾看作是速率-失真的優(yōu)化問題，其中濾波器的響應(yīng)可以被適應(yīng)。特別是，最佳的濾波器參數(shù)設(shè)置被確定以使有噪聲圖象通過使用最佳比特預(yù)算進行編碼，并且失真被最小化。最佳比特預(yù)算是用于壓縮無噪聲圖象序列的若干比特。作為一個優(yōu)選的實施例，提出了一種基于拉格朗日乘數(shù)法的解決方案。此方法可有效地解決速率-失真問題。而且還將討論一種有效的算法，它不需要預(yù)先知道比特預(yù)算即速率限制和噪聲特征就可以確定最佳拉格朗日乘數(shù)。
總之，不降低原始信號就不可能實現(xiàn)最佳的噪聲過濾。本發(fā)明的一個方案是，在一個特定視頻編碼的上下文中的過濾圖象序列的問題被看作是-通過使用最佳比特預(yù)算R，即用于編碼一個無噪聲序列的比特數(shù)來編碼有噪聲的序列；-已知R，最小化因過濾產(chǎn)生的失真，其中一個給定噪聲濾波器的系數(shù)被適應(yīng)。
這可以被看作是一個資源分配問題，其中允許給定比特預(yù)算的有效分布的最佳參數(shù)設(shè)置必須被求出，以確保令人滿意的圖象品質(zhì)。本發(fā)明可看作是一個通用速率-失真優(yōu)化框架，以確定一個給定視頻編碼器的最佳濾波器參數(shù)設(shè)置。
圖2表示根據(jù)本發(fā)明的裝置10，它示出了組合的視頻編碼和噪聲過濾。裝置10包括減法器11、帶有處理單元CPU12*的噪聲濾波器12、加法器13、開關(guān)14、離散余弦變換器(DCT)15、量化器(Q)16、可變長編碼器(VLC)17、反向量化器(Q-1)18、逆DCT(DCT-1)19、加法器20、運動估計器(ME)／運動補償器(MC)21和開關(guān)22。裝置10是一個混合編碼器，它通過DCT變換以及量化和運動補償時空編碼輸入的圖象序列g(shù)(i，j，k)。該裝置產(chǎn)生幀內(nèi)編碼幀(I)和幀間編碼幀(P)。幀間編碼幀被運動補償，而幀內(nèi)編碼幀則沒有。如果是幀內(nèi)編碼幀，則開關(guān)14和22置于不執(zhí)行運動補償?shù)奈恢蒙?。所有的幀均在DCT15進行DCT編碼，在Q16量化并且在VLC17進行熵編碼。為了獲得運動估計和運動補償所必需的重建幀，編碼幀在Q-118進行反向量化并且在DCT-119進行逆DCT變換。重建的幀存儲在位于ME／MC單元21之內(nèi)的幀存儲器中。噪聲濾波器12過濾一個差分幀，這是因為它與減法器11連接。下面將更詳細地討論裝置10，特別是具有CPU12*的噪聲濾波器12。
假定一個典型的簡化附加噪聲模型，已知g(i，j，k)=f(i，j，k)+n(i，j，k)(1)其中g(shù)(i，j，k)表示所觀測的圖象序列，它輸入到了減法器11，f(i，j，k)表示原始序列，并且n(i，j，k)表示噪聲；i，j是空間坐標(biāo)，而k是離散時間變量(幀指數(shù))。噪聲n(i，j，k)假定為零-平均，白噪聲，獨立于f(i，j，k)并且使用恒定變量σ2n進行高斯分布。
作為一個示例并且為了保持低計算量，下面的討論將集中于一個產(chǎn)生濾波幀的簡化運動補償(MC)的噪聲濾波器[2]F(i,j,k)=F(i+vi,jx(k),j+vi,jy(k),k-1)+ci,j(k)(g(i,j,k)-F(i+vi,jx(k),j+vi,jy(k),k-1))]]>其中v‾i,j(k)=[vi,jx(k)vi,jy(k)]T]]>是位置(i，j)的位移，而Ci，j(k)是一個控制參數(shù)以適應(yīng)噪聲濾波器12的響應(yīng)。
對于給定的MC視頻編碼系統(tǒng)10來說，現(xiàn)在考慮一個被分成k1×k2個固定尺寸的塊區(qū)域的圖象以用于運動估計和運動補償相應(yīng)的位移設(shè)置是dk=(d-0,0(k),...,d-K1-1,K2-1(k))]]>。另外，假定圖象被分成尺寸為I×J的NI×N2個未重疊的塊以用于MC濾波。相應(yīng)地控制參數(shù)設(shè)置和位移設(shè)置分別為Ck=(C0,0(k,....,CN1-1,N2-2(k)))]]>。控制參數(shù)設(shè)置和運動矢量假定為均在可允許值的有限設(shè)置中。Fn1,n2(i,j,k)=F(i+vxn1,n2(k),j+vyn1,n2(k),k-1)+Cn1,n2(k)[gn1,n2(i,j,k)-F(i+vxn1,n2(k),j+vyn1,n2(k),k-1)](3)表示要編碼的濾波幀，并且F~k1,k2(i,j,k)=F~(i,+dk1,k2x(k),j+dk1,k2y(k),k-1)]]>+Q[Fn1,n2(i,j,k)-F~(i,+dk1,k2x(k),j+dk1,k2y(k),k-1)(4)]]>表示在解碼器所顯示的重建的過濾幀，其中Q[．]是在量化器16提供的量化算子。應(yīng)當(dāng)注意的是k1和k2是指數(shù)，指示用于運動估計和運動補償?shù)膲K區(qū)域。
兩個分離的運動估計/補償處理必須被執(zhí)行一個用于噪聲過濾，另一個用于運動補償編碼。為了節(jié)省計算量，此處假定F(i，j，k)=g(i，j，k)，并且序列g(shù)(i，j，k)的編碼是沿著運動軌跡vk=dk[1]進行濾波的。這意味著該濾波是基于在編碼環(huán)路中執(zhí)行的運動補償預(yù)測。見圖2。
重建的過濾幀則是F~k1,k2(i,j,k)=F~(i+dk1,k2x(k),j+dk1,k2y(k),k-1)]]>-Q[Cn1,n2(k)(gn1,n2(i,j,k)-F~(i+dk1,k2x(k),j+dk1,k2y(k),k-1))](5)]]>需要注意的是，由于運動估計是通過有噪聲的觀測信號g(i，j，k)執(zhí)行的，所以噪聲可能會產(chǎn)生不精確的運動估計，這樣就損害了運動補償預(yù)測。因此在一個優(yōu)選實施例中采用了—種用于dk計算的噪聲-健壯運動估計器(ME)21?？墒褂玫蛷?fù)雜性的時空遞歸ME[3]。
速率-失真優(yōu)化問題被公式化以用于計算控制參數(shù)設(shè)置Ck。設(shè)定Rkf]]>是用于編碼與無噪聲序列f(i，j，k)相關(guān)的移位幀差(DFD)的比特數(shù)，則DFD(f,f~)=Q(fk1,k2(i,j,k)-f~(i+dk1,k2x(k),j+dk1,k2y(k),k-1))--(6)]]>其目的是求得最小化幀失真的設(shè)置Ck對于給定的比特率限制來說，Dg(Ck)=函數(shù)(g(i，j，k)，F(xiàn)~]]>(i，j，k))。
需要注意的是，由于無法獲得f(i，j，k)，所以只有由于通過Dg(Ck)的濾波所引起的失真被考慮，但不可能考慮因噪聲而引起的損害。
設(shè)Dn1,n2g(Ck)]]>和Rn1,n2g(Ck)]]>分別表示與區(qū)域(n1，n2)相關(guān)的失真和速率。那么RD優(yōu)化問題可表示為minDCKg(Ck)=minCkΣn1,n2Dn1,n2g(Ck)--(7)]]>設(shè)定Rkg=Σn1,n2Rn1,n2g(Ck)=Rkf-----(8)]]>等式(5)、(7)和(8)定義所提出的用于視頻編碼的RD優(yōu)化的MC時間噪聲濾波器。
為了有效地解決這個問題，通過拉格朗日乘數(shù)λk[4]合并速率項和失真項可以公式化一個未限制的問題。引入總拉格朗日成本函數(shù)J(Ck,λk)=Σn1,n2[Dn1,n2g(Ck)+λkRn1,n2g(Ck)]--(9)]]>已經(jīng)示出[5]，如果具有λk，則C-k=arg{minjCk(ck,λ-k)}(10)]]>得出R-kg=Σn1,n2Rn1,n2g(C-k)=Rkf-----(11)]]>則Ck也是(7)、(8)的最佳解。
平分法可用于求出最佳λk。假定噪聲過濾的分配方式是沒有幀間區(qū)域的相關(guān)，則區(qū)域(n1，n2)的速率和失真均僅僅是根據(jù)與該區(qū)域相關(guān)的單個Cn1，n2(k)。因此，我們有Rn1,n2g(Ck)=Rn1,n2g(Cn1,n2(k))---(12)]]>以及Dn1,n2g(Ck)=Dn1,n2g(Cn1,n2(k))---(13)]]>其中該失真表示為Dn1,n2g(Cn1,n2(k))1IJΣi-1IΣj-1J(gn1,n2(i,j,k)-F~n1,n2(i,j,k))2--(14)]]>因此，可以引出分離最小化的原則，把(10)的聯(lián)合優(yōu)化問題轉(zhuǎn)換為較簡單的優(yōu)化問題，其中每個控制參數(shù)Cn1，n2(k)∈Ck可以被單獨確定，根據(jù)是C-n1,n2(k)=argminCn1,n2(k)[Dn1,n2g(Cn1,n2(k))+λ-kRgn1,n2(Cn1,n2(k))]--(15)]]>由于通常預(yù)先不知道與幀f(i，j，k)相關(guān)的速率Rkf]]>，所以不可能計算λk以完成(11)。一種有效的方法被提出，它是基于[6]中所述的方案。此方案顯示通過輸入數(shù)據(jù)估計噪聲功率，而不需要附加的一個事先的信息。最佳λk的估計λk·-]]>計算如下并且所設(shè)定的是Rkg(λk*-)=Rkf......(17)]]>此等式的解釋如下開始于λk=0，不斷變小的比特預(yù)算被分配以編碼由于附加噪聲破壞的圖象序列，從而降低資源以編碼噪聲并且提高圖象的可壓縮性。在一個導(dǎo)致為拐點的特定λk時，編碼原始序列的確切比特數(shù)被分配。在這個值之后，壓縮率慢慢增加，它表示少于必需的比特被分配以編碼視頻信息。
在圖3所示的本發(fā)明第二實施例10*中，空間自適應(yīng)加權(quán)平均(SAWA)濾波器23作為速率項的估計器使用。在[7]中可以找到對SAWA濾波器的詳細描述。在第k幀的像素位置(i，j)的SAWA估計h(i，j，k)定義如下h(i,j,k)=Σ(m,n,l)∈S(i,j,k)w(m,n,l)g(m,n,l)---(18)]]>其中(i,j,k)=K(i,j,k)1+αmax{ϵ2,[g(i,j,k)-g(i,j,k)]2}---(19)]]>是空間支持s(i，j，k)之內(nèi)的加權(quán)，定義為以當(dāng)前像素位置為中心的3×3空間窗口。k(i，j，k)是一個歸一化常數(shù)，a和ε是調(diào)諧參數(shù)。通常設(shè)置為1的數(shù)量a控制加權(quán)降低的快速程度以作為像素值間的失配函數(shù)，而參數(shù)ε2確定加權(quán)和直接平均之間的轉(zhuǎn)換。為了不考慮噪聲電平而精確估計編碼DFD的比特數(shù)，可根據(jù)實驗確定參數(shù)ε2和噪聲變量σn2]]>之間的關(guān)系。通過若干實驗已經(jīng)獲得ϵ2=(δσn2)2]]>，其中δ是一個調(diào)諧常數(shù)。速率Rkf]]>的估計Rkf-]]>則是用于編碼的比特數(shù)DFD(h,h~)=Q(hk1,k2(i,j,k)-h~(i+dk1,k2x(k),j+dk1,k2y(k),k-1))---(20)]]>比特數(shù)Rkf-]]>在VLC17中確定并且提供給噪聲濾波器12的CPU12*?？梢詾槊繋嬎銋?shù)設(shè)置Ck，但也可以對特定數(shù)的幀保持恒定。
總之，可采用三維濾波技術(shù)以便于既利用像素間的空間相關(guān)又利用幀間的時間相關(guān)。而且，為了降低處理的負荷，濾波程序可以分為一個空間部分和一個時間部分，其中該空間部分對每個幀獨立操作，該時間部分在運動方向上進行操作。此技術(shù)對于低SNR具有特別的優(yōu)勢，這是因為位移矢量現(xiàn)在通過已經(jīng)空間濾波之后的當(dāng)前和先前幀進行估計，它向運動估計提供了附加的健壯性。根據(jù)此方案可以首先進行當(dāng)前幀g(i，j，k)的SAWA預(yù)濾波，隨后MC時間濾波器可用于整平的圖象；即等式(5)的g(i，j，k)由等式(18)的h(i，j，k)代替，見圖3。為了實現(xiàn)最佳失真性能，SAWA預(yù)過濾設(shè)置為ϵ2=2σn2]]>。
根據(jù)本發(fā)明的視頻編碼器可以在很多應(yīng)用中使用，如廣播、電視電話、電視會議系統(tǒng)、衛(wèi)星觀測、監(jiān)視系統(tǒng)等。圖4表示根據(jù)本發(fā)明的一種攝像系統(tǒng)，包括攝像機100和裝置200。攝像機把圖象序列g(shù)(i，j，k)提供給裝置200。裝置200類似于分別如圖2和3所示的裝置10或裝置10*。
本發(fā)明可特別應(yīng)用于低比特率的運動補償混合編碼方案，如H．261和H．263，但也可應(yīng)用于MPEG。
簡而言之，本發(fā)明提供了一種用于編碼圖象序列g(shù)(i，j，k)的方法和裝置。該裝置具有一個用于噪聲過濾圖象序列g(shù)(i，j，k)的噪聲濾波器，用于把噪聲過濾看作是速率-失真優(yōu)化問題以便于適應(yīng)噪聲濾波器的響應(yīng)的裝置。特別是，濾波器參數(shù)設(shè)置C被確定以適應(yīng)該濾波器的響應(yīng)，其中圖象序列g(shù)(i，j，k)使用最佳比特-預(yù)算進行編碼，該最佳比特-預(yù)算是用于壓縮無噪聲圖象序列的比特預(yù)算，并且該給定比特-預(yù)算的失真被最小化。
速率-失真問題的解決被提出，它通過拉格朗日乘數(shù)法計算濾波器參數(shù)設(shè)置C。分離的最小化用于獨立確定參數(shù)設(shè)置C的每個參數(shù)。在一個實際實施例中，空間自適應(yīng)加權(quán)平均濾波用于估計比特預(yù)算并且用于預(yù)先過濾圖象序列g(shù)(i，j，k)。
需要注意的是，上述實施例表示而不是限制本發(fā)明，并且本領(lǐng)域的普通技術(shù)人員在不背離附屬權(quán)利要求的范圍的情況下能夠設(shè)計許多其它的實施例。在該權(quán)利要求中，括號內(nèi)的任何參考符號不應(yīng)當(dāng)被理解為限制權(quán)利要求。詞語“包括”不排除存在權(quán)利要求所列之外的其它元件或步驟。本發(fā)明可通過包括幾個不同元件的硬件并且通過適當(dāng)編程的計算機實施。在列舉幾個裝置的設(shè)備要求中，幾個這些裝置可通過硬件的相同項體現(xiàn)。
權(quán)利要求
1．一種編碼(10，10*)一個圖象序列(g(i，j，k))的方法，該方法包括的步驟是噪聲過濾(12)該圖象序列(g(i，j，k))；并且根據(jù)所述編碼(10，10*)的速率-失真優(yōu)化自適應(yīng)(12*)所述噪聲過濾(12)。
2．根據(jù)權(quán)利要求1所述的方法，其中該自適應(yīng)步驟(12*)包括的步驟是通過拉格朗日乘數(shù)法計算(12*)所述噪聲過濾(12)的濾波器參數(shù)設(shè)置(C)；以及通過確定在速率-失真優(yōu)化中使用的一個速率的第二微商的最大值估計(12*)最佳拉格朗日乘數(shù)。
3．根據(jù)權(quán)利要求1所述的方法，其中該自適應(yīng)步驟包括的步驟是空間過濾(23)該圖象序列；以及把用于編碼空間濾波的圖象序列的若干比特看作是在速率-失真優(yōu)化中使用的速率(17)。
4．一種編碼(10，10*)一個圖象序列(g(i，j，k))的裝置，該裝置包括用于噪聲過濾該圖象序列(g(i，j，k))的裝置(12)；以及用于根據(jù)所述編碼(10，10*)的速率-失真優(yōu)化自適應(yīng)所述噪聲過濾(12)的所述裝置的響應(yīng)的裝置(12*)。
5．一種攝像系統(tǒng)，包括權(quán)利要求4所要求的一個攝像機(100)和一個裝置(200)。
全文摘要
本發(fā)明提供了一種用于編碼(10*)一個圖象序列(g(i,j,k))的裝置。該裝置(10*)包括一個用于噪聲過濾(12)該圖象序列(g(i,j,k))的噪聲濾波器(12),以及用于把噪聲過濾(12)看作是速率－失真優(yōu)化問題以便于適應(yīng)噪聲濾波器(12)的響應(yīng)的裝置(12)。特別是,濾波器參數(shù)設(shè)置被確定為適應(yīng)該濾波器(12)的響應(yīng),其中圖象序列(g(i,j,k))使用一個用于壓縮無噪聲圖象序列的最佳比特－預(yù)算進行編碼,并且該給定比特－預(yù)算的失真被最小化。速率－失真問題的解決被提出,它通過拉格朗日乘數(shù)法計算(12)濾波器參數(shù)設(shè)置(C)。分離的最小化用于獨立確定參數(shù)設(shè)置(C)的每個參數(shù)。在一個實際的實施例中,空間自適應(yīng)加權(quán)平均(SAWA)濾波(23)用于估計比特預(yù)算(R
文檔編號H04N7/50GK1292978SQ99803793
公開日2001年4月25日 申請日期1999年12月24日 優(yōu)先權(quán)日1999年1月15日
發(fā)明者S·奧伊維里 申請人:皇家菲利浦電子有限公司