專利名稱：估計視頻序列中的噪聲量的方法
技術領域：
本發(fā)明涉及估計視頻序列中的噪聲量的方法。
EP-A-0735747公開了一種噪聲測量方法以及一種塊匹配運動估算法，其原理是從累積的絕對像素差值中的最小值推導出噪聲量，以導出位移場或幀差(displaced field or frame differences,DFD)值，該累積發(fā)生于預定像素塊上。
由Q.Zhang和R.Ward發(fā)表的題為《電視圖像的信號與熱噪聲比率的自動訪問》(1995年2月的IEEE消費電子學報，第41卷第1號)的論文公開了一種這樣從TV畫面中測量噪聲量的方法。該方法的依據(jù)是，對圖像應用二維高通濾波器，以便除去主要的(非噪聲)圖像內容。此后，即選擇出畫面的最平滑區(qū)域，即相對于亮度變化具有最小能量的區(qū)域，并從其剩余的平均功率中估計出噪聲功率。該論文中提到，在數(shù)字圖像處理中，估計圖像中熱噪聲量的慣用方法是分析“平滑區(qū)，即包含恒定亮度(灰度級)的區(qū)域”。
EP-A-0735747中披露的方法缺乏魯棒性(robustness)，因為其僅依據(jù)每個畫面塊估計的分布最小值，因而依賴于該分布的形狀和推導過程。由Zhang等人所描述的方法也有同樣的缺點，因為噪聲量的計算最終還是依據(jù)畫面子圖像上噪聲能量分布的下端尾部(low-end tail)。這樣，對于其少數(shù)區(qū)域具有大的空間頻率的畫面來說，有低估噪聲量的危險。
本發(fā)明所提出的方法通過主要偏移噪聲能量測量的估計平均值，而不是最小值，來減緩上述問題。尤其是，這種在靜態(tài)區(qū)域上進行的測量與畫面的空間頻率內容無關。
本發(fā)明的一個目的是公開一種更可靠的噪聲估計方法。該目的是通過權利要求1所述的方法來完成的。
在本發(fā)明中，使用了由比如運動補償內插所提供的附加運動信息，以便計算視頻序列中噪聲量的更魯棒和準確的估算值。理想情況下，如果運動估計是無錯的，則來自通過估計運動矢量而處于對應關系的兩個源畫面塊的輸入像素的灰度級之間的其余差值必定是噪聲所致。從MPEG比特流的運動矢量信息中也可以導出附加運動信息。
對于畫面速率上變換或標準變換來說，要求通過內插時間上位于源畫面之間的畫面而對視頻序列的場或幀速率進行的修改。如果估計出源序列中目標的運動并將其用于沿著相關的運動矢量方向內插各個像素，則可獲得最佳變換質量。本技術的另一種應用是借助于時域濾波器來消除噪聲，其目的是提高畫面質量或編碼效率，比如，MPEG2編碼器的編碼效率。
可以通過尋找在從先前或當前畫面到下一畫面映射的像素或像素塊之間提供最佳匹配的矢量，來進行運動估計。用于選擇運動矢量的數(shù)學準則通常是，像素塊的位移場差值或位移幀差值的絕對值之和的最小化，如

圖1所描述。要內插的中間場或幀IF時間上位于先前場或幀PF和下一場或幀NF之間。PF和NF之間的時間距離是T，在PF和IF之間的時間距離是α*T，以及在IF和NF之間的時間距離是(1-α)*T。零矢量O=(0,0)通過PF中的點Ip(x,y)、IF中的點I(x,y)和NF中的點In(x,y)，當前選擇運動矢量v=(vx,vy)通過PF中的點Ip(x-α*vx,y-α*vy)、IF中的點I(x,y)和NF中的點In(x+(1-α)*vx,y+(1-α)*vy)。
幀差值(對于矢量0)為FD=In(x,y)-Ip(x,y)對于矢量v的位移幀差值為DFD(v)=In((x+(1-α)*vx,y+(1-α)*vy)-Ip(x-α*vx,y-α*vy)輸出畫面的內插是沿估計運動矢量的方向進行的。除了確切地知道運動為零的畫面的靜態(tài)部分之外，內插質量受到運動矢量準確性的限制。因而優(yōu)點是檢測源圖像中的靜態(tài)區(qū)和對運動像素實施特定的內插模式，從而優(yōu)化了內插輸出分辨率。在本發(fā)明人于同一日提交的內部參照號為PF980013的另一申請中公開了檢測這樣的靜態(tài)區(qū)的特定方案。然而，本發(fā)明的噪聲量估計僅依據(jù)源畫面。因此，如果圖1用于噪聲量估計，中間場或幀IF是要估計噪聲量的當前源畫面。
根據(jù)本發(fā)明，可以將兩種不同的噪聲量計算方法的結果結合起來，以提高噪聲量估計的可靠性。一種計算方法依賴于DFD分析，另一種計算方法依據(jù)靜態(tài)區(qū)上的場或幀差(FD)值。
準確估計噪聲量方法的獲得潛在地提高了在噪聲出現(xiàn)過程中許多圖像處理算法的性能，因為其允許對噪聲量采用算法參數(shù)和閾值。其應用范圍包括運動估計、降噪、靜態(tài)區(qū)檢測、電影(film)模式和電影相位檢測、剪輯(cut)檢測和許多其它工作。
在原理上，本發(fā)明的方法適于根據(jù)先前場或幀中塊的像素值和后來場或幀中相應塊的相應像素值之間的差值，估計視頻序列的當前源場或幀的噪聲量，其中所述先前或所述后來場或幀中的任意一個可以是所述當前場或幀本身，并且其中每一對相應塊中的至少一個塊是運動補償像素塊，或者通過相關的運動矢量估計映射到其它塊。
此外，可確定靜態(tài)畫面區(qū)，并且，先前場或幀的靜態(tài)畫面區(qū)中塊的像素值和后來場或幀中相應塊的相應像素值之間的差值可用于估計后來噪聲量估計值，該后來噪聲量估計值然后與所述噪聲量估計值相結合，以形成最終噪聲量估計值，其中，用于估計靜態(tài)畫面區(qū)中塊的像素值之間的所述差值的所述先前和/或所述后來場或幀，可以與用于估計有關所述運動補償像素塊或所述映射塊的差值的所述先前和/或所述后來場或幀不同。
本發(fā)明方法的有益附加實施例由相應的從屬權利要求公開。
下面參照附圖描述本發(fā)明的實施例，附圖中圖1是要從先前源畫面和下一源畫面內插于先前源畫面和下一源畫面之間的畫面，或者是要內插于先前源畫面和下一源畫面之間的當前源畫面，將要對該畫面進行噪聲量估計；圖2是本發(fā)明噪聲量計算的流程圖。
本發(fā)明噪聲量估計(在一個場或幀中的，下文中稱為當前場或幀)的輸入數(shù)據(jù)包括-可以是運動估計的副產品(by-product)的位移場或幀差值的映射；-已被檢測為非移動的輸入像素或像素塊的映射；-如果源圖像是遞增圖像，則為時間上分別位于當前幀之前和之后的，在先前幀和下一幀之間計算的場或幀差值的映射，或者在時間上分別位于當前場之前和之后的先前場和下一場之間計算的交織源圖像的情況下，其限制是所述先前和下一場具有相同的奇偶性，即，兩個場都是頂部場或兩個場都是底部場，在兩種替代方式中，先前場或幀或者下一場或幀可以是當前場或幀；-為先前源場或幀導出的噪聲量的估計。
所述計算包括下列步驟(參照圖2)a)將當前源場或幀分成FD塊的預定屏面，并僅在唯一由靜態(tài)區(qū)映射中分類為靜態(tài)的像素所構成的FD塊上對FD的絕對值進行積分；b)根據(jù)預定噪聲模型，將所得塊FD變換為標準噪聲偏差的第一初步估計值；c)將當前場或幀分成DFD塊的預定屏面，并在這些塊上對DFD的絕對值積分；d)根據(jù)預定噪聲模型，將所得塊DFD變換為標準噪聲偏差的第二和第三初步估計值；e)計算當前噪聲量的第四初步估計值，作為第一到第三初步估計值的函數(shù)；f)利用為先前場或幀計算的最終噪聲量估計值，對該第四初步估計值進行濾波，以便為當前場或幀提供最終噪聲量估計值。
噪聲模型將一相應的噪聲量指定給塊中像素差的所檢測分布量。
在理想情況下，如果運動估計是無錯的，則來自對應于一運動矢量，或由一運動矢量所映射，的兩個源畫面塊的輸入像素的灰度級之間的其余差值必定是噪聲所致。因此，DFD的靜態(tài)分布為噪聲估計提供有利的起始點。然而，在實際系統(tǒng)中，運動估計的準確性受到比如下列因素的限制矢量分量的有限的編碼準確性；源畫面的有限的空間分辯率；來自通常為可轉換運動的假定運動方向模型的實際景像運動的偏差；以及由于運動分析失敗而致的不可避免的估計誤差，例如，在包含周期性結構的對像中或者在覆蓋/未覆蓋區(qū)或者在包含靜態(tài)區(qū)和更小的移動對像的像素塊中。所得的運動估計不正確值轉換成加到噪聲成分中的剩余DFD項，從而使真實的噪聲量估計有偏差。
然而，理想的運動估計，即，絕對準確的運動估計在輸入序列的非移動部分上可以得到，假定當前畫面中存在這樣的區(qū)域，運不是比如在攝像機隨動拍攝期間的情況，并且可以實施一種可靠的方法，該方法可以采用或可以不采用檢測這些區(qū)的運動矢量信息。實質上，靜態(tài)區(qū)的運動矢量部分確切地為零。結果，當在靜態(tài)畫面區(qū)上計算時，相同奇偶性的交織場之間的非位移幀差值或場差值，提供未被運動估計不準確所帶來的任何剩余項破壞的，像素式(pixel-wise)幀間噪聲信號的樣值。
有利的是，在本發(fā)明中結合下列兩個過程一個依據(jù)DFD而另一個依據(jù)靜態(tài)畫面區(qū)上的FD。在比如攝像機隨動拍攝的情況下，其中所有的畫面像素都處于運動狀態(tài)從而不能從FD導出噪聲量估計值，有利的是，可實施后備(fallback)方案。例如，可以決定在這些情況下讓估計值僅依據(jù)DFD信息，或者保持為先前場或幀計算的估計值的情況。
在步驟a)，對FD樣值的絕對值在可以重疊也可以不重疊的，當前場或幀中的預定像素塊，下文中稱為FD塊FDB(i,j)上積分。靜態(tài)區(qū)映射中唯一由分類為非移動的像素所構成的FD塊用在估計過程中。對于每一個FD塊，將累積的幀差AFD(i,j)計算為與構成塊的像素相關的FD的絕對值之和。
步驟b)的日的是從集合{AFD(i,j)}中推導出噪聲的標準偏差的表達為灰度級的第一初步估計值σp1，該計算可適用于現(xiàn)有技術的噪聲模型。在本發(fā)明的一個實施例中，假定與靜態(tài)像素有關的FD的絕對值的分布是這樣的，即，其平均值m|FD|與要估計的噪聲量的標準偏差σ成比例m|FD|=k*σ。
當源噪聲的樣值在空間上和時間上不相關并且符合高斯(Gaussian)分布時，尤其適用這種假設，在這種情況下，發(fā)現(xiàn)k=2/(π)≅1.13]]>。在本發(fā)明的一個實施例中，k設定為此值?？捎僧斍皥龌驇瑑鹊撵o態(tài)塊上的AFD(i,j)的算術平均值{AFD(i,j)}近似得到的AFD的數(shù)學期望值由NFDB*m|FD|給出，其中NFDB表示一個FD塊中的像素數(shù)目。
因此可以導出σ的更好的近似值σp1={AFD(i,j)}/(k*NFDB)在步驟c)中，類似于步驟a)，在當前場或幀中的預定塊上對DFD樣值的絕對值積分，下文中稱為DFD塊DFDB(i,j)。這些塊可以重疊或者可以不重疊。對于每一個DFD塊DFDB(i,j)，將稱為{ADFD(i,j)}的累積的DFD計算為與組成塊的像素相關的DFD的絕對值之和。
在步驟d)中，類似于步驟b)，將集合{ADFD(i,j))轉換為以灰度級表示的標準噪聲偏差的第二σp2和第三σp3初步估計值。σp2的導出(derivation)等同于σp1的導出，區(qū)別在于將集合{AFD(i,j)}由{ADFD(i,j)}代替。令NDFDB為當前場或幀的DFD塊中的像素數(shù)，而{ADFD(i,j)}為當前場或幀的ADFD的平均值。那么σp2計算為σp2={ADFD(i,j)}/(k*NDFDB)然而，與對FD的情況不同，基于DFD的噪聲量的估計可由如上所解釋的運動估計不完美性所導致的剩余項而帶來偏差。如果所處理的場或幀包含高空間梯度的區(qū)域，這種情況更容易發(fā)生。為提高所提出方法的魯棒性，從{ADFD(i,j)}的最小值而非平均值中導出第三初步估計值σp3:
σp3=min(ADFD(i,j))/(k*NDFDB)i,j在步驟e)中，從σp1、σp2和σp3中導出單一初步估計值σp。首先，將比率r=σp2/σp3與閾值進行比較以確定應當使用哪一初步估計值。
在預定閾值Tγ之上的r的值設定于值“1”到“5”的范圍內，在本發(fā)明的一個實施例中，優(yōu)選為值“2”，表示結構的大變化，從而表示源畫面中高梯度區(qū)重要部分。在那種情況下，認為σp2是不可靠的，并且僅從σp1和σp3中計算初步估計值σp。
相反，如果r下降到Tγ或Tγ以下，表示從塊DFD計算的估計值的一致性，σp2、σp3以及σp1被采用。
σp最好導出如下σp=(σp1+σp3)/2 如果σp2/σp3＞Tγσp=median(σp1,(σp1+σp2)/2,σp3) 如果σp2/σp3≤Tγ其中median()表示3抽頭中值濾波器。
由于在廣播圖像序列中的實際噪聲量的快速變化非常不同，在步驟f)中，對σp采用時域低通濾波器，以進一步提高噪聲量估計的魯棒性。從σp和從相應奇偶性的先前場或幀的噪聲量估計值σprev中計算出標準噪聲量偏差的最終估計值σ如下σ=median(σprev-Δvlow,σp,σprev+Δvhigh)Δvlow和Δvhigh是預定常數(shù)，該預定常數(shù)從一個估計周期(例如，場或幀)指定估計的噪聲量變化的最大變化給下一個估計周期。在本發(fā)明的一個實施例中，Δvlow和Δvhigh分別設定為大約“1”和大約“0.25”灰度級。在此應用實例中所給的閾值依賴于8位表示的像素值。如果這些像素值有不同的分辨率，則閾值大小應當相應改變。
運動估計可以在不連續(xù)的一對場或幀上進行，在這種情況下，估計噪聲量的當前源畫面可以與用于運動估計的畫面不同。這是在MPEG2編碼方案中當前幀為B幀時的情況。
用于確定有關靜態(tài)畫面區(qū)的像素值差FD的一個或兩個所述場或幀，可以與用于確定有關一對運動補償塊或一對由其相關的運動矢量映射的塊的像素值差DFD的一個或兩個所述場或幀不同。
可以使用涉及噪聲量計算的場或幀的活動部分的所有塊。然而，也有可能不考慮位于活動畫面部分邊緣的像素塊，尤其是因為這種塊的運動信息的可靠性可能較差。也有可能進一步限制對每個畫面所考慮的塊數(shù)目。
權利要求
1．一種根據(jù)先前場或幀(PF)中塊的像素值和后來場或幀(NF)中相應塊的相應像素值之間的差值(DFD,FD)，估計視頻序列的當前源場或幀(IF)的噪聲量(σp2,σp3,σ)的方法，其中所述先前(PF)或所述后來(NF)場或幀中的任意一個可以是所述當前場或幀(IF)本身，其特征在于，每一對相應塊中的至少一個塊是運動補償像素塊，或者通過相關的運動矢量估計映射到其它塊。
2．如權利要求1所述的方法，其中，進一步確定靜態(tài)畫面區(qū)，并且，先前場或幀(PF)的靜態(tài)畫面區(qū)中塊的像素值和后來場或幀(NF)中相應塊的相應像素值之間的差值(FD)用于估計后來噪聲量估計值(σp1)，該后來噪聲量估計值(σp1)與所述噪聲量估計值(σp2,σp3)相結合，以形成最終噪聲量估計值(σ)，其中，用于估計靜態(tài)畫面區(qū)中塊的像素值之間的所述差值(FD)的所述先前(PF)和/或所述后來(NF)場或幀，可以與用于估計有關所述運動補償像素塊或所述映射塊的差值(DFD)的所述先前(PF)和/或所述后來(NF)場或幀不同。
3．如權利要求1或2所述的方法，其中所述像素值之間的差值(DFD,FD)量值變成每一個塊的累積值(ADFD,AFD)。
4．如權利要求1到3中任何一個所進的方法，其中所述塊是重疊的。
5．如權利要求1到4中任何一個所述的方法，其中對所述噪聲量估計值計算兩個估計值(σp2,σp3)，其中第一個估計值(σp2)從當前場或幀的累積的塊像素差值(ADFD)的平均值({ADFD(i,j)})中導出，并且其中第二個估計值(σp3)從當前場或幀的累積的塊像素差值的最小值(min{ADFD(i,j)})中導出。
6．如權利要求5所述的方法，其中，如果所述所述噪聲量估計值(σp2,σp3)的第一個估計值(σp2)和第二個估計值(σp3)之間的比率大于預定閾值(Tr)，尤其是大約為“2”，那么所述最終噪聲量估計值(σ)是所述后來噪聲量估計值(σp1)和所述噪聲量估計值(σp2,σp3)的第二個估計值(σp3)的平均值，并且，如果所述噪聲量估計值(σp2,σp3)的第一個估計值(σp2)和第二個估計值(σp3)之間的比率等于或小于預定閾值(Tr)，那么所述最終噪聲量估計值(σ)是所述后來噪聲量估計值(σp1)、該后來噪聲量估計值(σp1)和所述噪聲量估計值的第一個估計值(σp2)的平均值、以及所述噪聲量估計值的第二個估計值(σp3)的中值。
7．如權利要求6所述的方法，其中所述最終噪聲量估計值(σp)與先前場或幀的噪聲量估計值(σprev)減去第一預定常數(shù)(Δvlow)的值、先前場或幀的噪聲量估計值(σprev)加上第二預定常數(shù)(Δvhigh)的值，一起進行中值濾波，以形成最終輸出的噪聲量估計值(σ)。
8．如權利要求7所述的方法，其中所述第一和第二預定常數(shù)(Δvlow,Δvhigh)指定從一個估計周期到下一個估計周期的估計的噪聲量變化的最大變化。
9．如權利要求7或8所述的方法，其中所述第一預定常數(shù)(Δvlow)的值大約為“1”。
10．如權利要求7到9中任何一個所述的方法，其中所述第二預定常數(shù)(Δvhigh)的值大約為“0.25”。
11．如權利要求1到10中任何一個所述的方法，其中在畫面的所有像素或幾乎所有像素都處于運動狀態(tài)的情況下，進行后備噪聲量估計，該估計僅依賴于有關運動補償內插像素塊或由相關的運動矢量估計值所映射的塊的像素值差(DFD)，或者依賴于為先前場或幀計算的噪聲量估計值。
全文摘要
在視頻序列的噪聲測量中,很難區(qū)別畫面內容和噪聲。為提高測量的可靠性,結合了兩種不同的噪聲量計算方法的結果(σ
文檔編號H04N17/00GK1236107SQ9910484
公開日1999年11月24日 申請日期1999年4月7日 優(yōu)先權日1998年4月14日
發(fā)明者弗朗科伊斯·勒克勒克 申請人:湯姆森多媒體公司