專利名稱：數(shù)字視頻用象素自適應(yīng)噪聲降低濾波器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明是關(guān)于為降低數(shù)字視頻圖象中噪聲的出現(xiàn)的設(shè)備和方法。本發(fā)明提出在壓縮和傳送之前作圖象數(shù)據(jù)的自適應(yīng)予處理以改善接收到的圖象的質(zhì)量。還揭示了包括有限脈沖響應(yīng)(FIR)濾波器的低成本實(shí)施方案。
視頻圖象由多個(gè)圖象元素、也稱之為象素的加以定義。作為圖象中一光柵掃描行的最小單元的象素具有相應(yīng)的彩色空間。例如，在符合CCIR601規(guī)范的YCrCb彩色空間中，Y為亮度組分，和Cr與Cb為色差組分。Y被定義為具有16至235的范圍，而Cr和Cd各自的范圍為16至240，其中128表明零色差(例如白色)。已定義有各種采樣格式，包括4∶4∶4、4∶2∶2和4∶1∶1。例如，在取4∶2∶2的格式時(shí)，Y組分以二倍于Cr和Cb組分的速率加以采樣。以這一格式，Y、Cr和Cb組分的采樣頻率分別為13.5、6.75和6.75MHz。一般，對(duì)于標(biāo)準(zhǔn)視頻和計(jì)算機(jī)應(yīng)用，各組分包括8數(shù)據(jù)位，而高端(high-end)視頻應(yīng)用，例如符合D1標(biāo)準(zhǔn)的那些，則可能各組分使用10位。這樣，一單個(gè)象素可由24或30位來(lái)定義。YCrCb彩色空間是YUV彩色空間的縮尺版本，通用于PAL(逐行倒相制)、NTSC(國(guó)家電視系統(tǒng)委員會(huì)制)和SECAM(順序-同時(shí)制)的標(biāo)準(zhǔn)。還存在各種其他彩色空間標(biāo)準(zhǔn)。
在壓縮和傳送之前可能會(huì)由各種源頭在象素?cái)?shù)據(jù)中引入噪聲，包括成象設(shè)備、記錄設(shè)備，象素?cái)?shù)據(jù)傳送所通過(guò)的信道中的信道噪聲，以及大氣因素。而且，經(jīng)預(yù)壓縮的視頻數(shù)據(jù)中的噪聲還有礙隨后的壓縮系統(tǒng)的運(yùn)行。具體說(shuō)，噪聲不必要地耗費(fèi)數(shù)據(jù)位而且使得所得到的視頻圖象的視覺質(zhì)量惡化，因?yàn)閴嚎s處理，例如量化離散余弦變換或其他空間變換的系數(shù)，趨向于增大噪聲的明顯度。這樣，象素噪聲的存在會(huì)被放大，導(dǎo)致明顯的噪聲產(chǎn)物和其他的圖象惡化。
壓縮編碼通常是在傳送之前對(duì)象素?cái)?shù)據(jù)進(jìn)行以減小所需的通信信道的帶寬。在本技術(shù)領(lǐng)域中廣為公知的有各種視頻數(shù)據(jù)壓縮標(biāo)準(zhǔn)，包括MPEG-2標(biāo)準(zhǔn)，和這里的受讓人所有的類似的Digi CipherⅡ系統(tǒng)。
盡管濾波可降低視頻圖象中的噪聲，但總希望能避免的可能降低圖象的分辯率(如清晰度)不必要的濾波處理。這種對(duì)象素?cái)?shù)據(jù)的過(guò)濾波處理因使得觀眾更難檢測(cè)到圖象元素之間的變遷或邊緣而降低分辯率?？偟恼f(shuō)，一個(gè)邊緣是象素幅度中的變化，例如色差和/或亮度幅度變化，這可能表明一圖象中物體的邊緣或輪廓。例如，一綠色田野和蘭色天空的視頻圖象將在田野與天空之間的變遷處呈現(xiàn)一邊緣。同樣，一明亮區(qū)和一陰影區(qū)的視頻圖象將在變遷處呈現(xiàn)一邊緣。因而相應(yīng)地要保存這種真實(shí)的邊緣同時(shí)降低噪聲影響也成為問(wèn)題。
這樣就希望提供用于降低在予壓縮的數(shù)字視頻信號(hào)中的噪聲的方法和設(shè)備。希望能提供一種低成本設(shè)備，以通過(guò)計(jì)算一幀中一當(dāng)前象素兩側(cè)的象素幅度值中的變化，和/或通過(guò)計(jì)算在一當(dāng)前象素幀前面的和后隨的視頻幀中的象素幅值中的變化，以檢測(cè)邊緣存在的可能性來(lái)對(duì)視頻圖象中的各象素進(jìn)行濾波。此系統(tǒng)應(yīng)有效地衰減噪聲但同時(shí)使圖象分辯率上的任何惡化最小。本發(fā)明提出具有上述的和其他優(yōu)點(diǎn)的系統(tǒng)。
按照本發(fā)明，提供一種用于降低存在于數(shù)字視頻圖象中的噪聲的設(shè)備和方法。
被提供的視頻圖象數(shù)據(jù)包含至少一個(gè)具有多象素的視頻幀。各象素均具有相關(guān)的亮度和色度幅度。例如，在-YCrCb彩色空間，各象素具有亮度Y幅度，色差信號(hào)Cr幅度，和色差信號(hào)Cb幅度。幀中的各象素被以將亮度和色度組分進(jìn)行分開處理這樣來(lái)依次進(jìn)行處理。
首先，確定一當(dāng)前象素。此當(dāng)前象素是處于該視頻幀中的第一和第二象素的中間(例如，兩者之間)。例如，此第一和第二象素可以是一象素行中各自位于當(dāng)前象素相鄰的左和右側(cè)。其他的幀內(nèi)配置以及逐幀濾波也可采用。還可利用由插補(bǔ)得到的象素。這里采用的術(shù)語(yǔ)“中間”是表示一幀之內(nèi)的和/或幀之間的象素關(guān)系。
當(dāng)前象素幅度與第一象素幅度之間的差被確定為d1，而當(dāng)前象素幅度與第二象素幅度之間的差同樣地被確定為d2。設(shè)置多個(gè)諸如廉價(jià)的三抽頭有限脈沖響應(yīng)(FIR)濾波器之類的濾波器。這些濾波器具有提供對(duì)當(dāng)前象素幅度的依次增強(qiáng)水平的低通濾波(如平均化)的相關(guān)的內(nèi)核(kernel)。
按照差值d1和d2為當(dāng)前象素的濾波選擇一個(gè)濾波器。特別是，d1和d2的大小和符號(hào)指明象素?cái)?shù)據(jù)表示視頻幀上的彩色或亮度邊緣的可能性，或者是否是更有可能象素?cái)?shù)據(jù)受到噪聲的侵蝕。通常在d1或d2的值很小時(shí)選擇較強(qiáng)的濾波器。而且，濾波器的選擇還可按照第一、當(dāng)前和第二象素的幅度是否形成一單調(diào)地增加或減少的、或者連續(xù)地增加或減少的序列來(lái)加以修正。
當(dāng)?shù)谝缓偷诙笏氐姆葍烧叨即笥?、或兩者都小于?dāng)前象素的幅度(亦即差值d2和d2具有相同符號(hào))時(shí)選擇較之當(dāng)前象素的幅度為在第一和第二象素的幅度的中間(亦即差值d1與d2符號(hào)相反)時(shí)相對(duì)較強(qiáng)的濾波器。而且。在當(dāng)d1和d2兩者的幅度均大于零或大于接近零的閥值范圍時(shí)為濾波當(dāng)前象素而選擇較之當(dāng)d1和d2之一接近于零時(shí)的相對(duì)較強(qiáng)的濾波器。在d1和d2之一為零或接近為零時(shí)，當(dāng)前象素成為邊緣的部分的可能性相對(duì)地要高，從而可采用較弱的濾波。
另外，濾波器選擇可由用戶可選擇的控制信號(hào)加以調(diào)整以便針對(duì)正被處理的特定的視頻信號(hào)提供遞增地增強(qiáng)或減弱的濾波水平。例如，用戶可在進(jìn)行處理及傳送之前或進(jìn)行當(dāng)中觀察一視頻節(jié)目來(lái)主觀上確定該節(jié)目是否有較強(qiáng)的噪聲干擾，如是的話就應(yīng)選擇遞增地增強(qiáng)的濾波器。
為能實(shí)現(xiàn)采用查找表的這種廉價(jià)的實(shí)施，可將差值信號(hào)d1和d2加以量化，并按經(jīng)過(guò)量化的差值來(lái)選擇濾波器。
而且，在當(dāng)前象素的亮度組分正被處理中時(shí)，希望能考慮視頻幀中的第三和第四象素的亮度幅度。例如，第三象素可能鄰接到第一象素，而第四象素可能鄰接到第二象素。這樣，第一、當(dāng)前和第二象素即為第三和第四象素的中央。確定差值信號(hào)e1和e2，其中e1為第一和第三象素之間的幅度差，而e2為第二和第四象素之間的幅度差。這樣濾波器選擇過(guò)程就將兼顧到e1和e2以及d1和d2。
e1和e2被量化后輸入到一查找表來(lái)設(shè)置一調(diào)整濾波器選擇過(guò)程的映象值。具體說(shuō)，當(dāng)e1或e2之一的量化值為零，或在接近零的閥值范圍內(nèi)時(shí)，用戶選擇的控制字將被超越且采用遞增地減弱的一濾波器，因?yàn)檫@種情況表明當(dāng)前象素為一圖象邊緣的部分因而要避免作很強(qiáng)的濾波。反之，當(dāng)e1和e2沒有一個(gè)為零，或在一接近于零的范圍內(nèi)時(shí)，將不修正用戶所選擇的控制字。
對(duì)于色度處理不必考慮差值信號(hào)e1和e2，因?yàn)槿祟悓?duì)色度變化不如對(duì)亮度變化那樣敏感。
也可提供幀-幀(例如瞬時(shí)的)濾波。
也給出了對(duì)應(yīng)的設(shè)備。
附圖的簡(jiǎn)要說(shuō)明

圖1為按照本發(fā)明的帶前端噪聲抑制器的視頻壓縮子系統(tǒng)的方框圖；圖2為按照本發(fā)明的亮度噪聲抑制器的方框圖；圖3為按照本發(fā)明的濾波器選擇邏輯功能的方框圖；和圖4為按照本發(fā)明的色度噪聲抑制器的方框圖。
給出用于降低數(shù)字視頻圖象中出現(xiàn)噪聲的方法和設(shè)備。
圖1是按照本發(fā)明的帶前端噪聲抑制器的視頻壓縮子系統(tǒng)的方框圖。噪聲抑制器100包含一亮度噪聲抑制器處理器200和色度噪聲抑制器400。有可能單獨(dú)地處理色度或亮度象素?cái)?shù)據(jù)，但如這里所說(shuō)明的由處理象素?cái)?shù)據(jù)的亮度和色度組分兩者能獲得最佳結(jié)果。而且最好要處理一視頻幀中的每一象素。亮度處理器200接收例如10位亮度字的輸入亮度數(shù)據(jù)，而色度處理器400接收10位交錯(cuò)的色度信號(hào)，CbCr。Cb和Cr為色差組分。象素?cái)?shù)據(jù)經(jīng)噪聲抑制器100作予處理以對(duì)編碼器130提供相應(yīng)的處理信號(hào)。此解碼器執(zhí)行通常的視頻壓縮編碼以提供適宜于經(jīng)過(guò)通訊信道140傳輸?shù)揭粋€(gè)或多個(gè)象解碼器150這樣的解碼器的信號(hào)。例如解碼器150可以是一被安裝于用戶家中的機(jī)頂盒，用于接收和解碼數(shù)字電視信號(hào)來(lái)提供在電視上顯示的輸出視頻信號(hào)。象素?cái)?shù)據(jù)例如可在采用4∶2∶2采樣格式的YCrCb彩色空間中被提供。
圖2為按照本發(fā)明的亮度噪聲抑制器的方框圖。被總體指明為200的噪聲抑制器通過(guò)一系列象素延遲205、210、215和220處理亮度輸入信號(hào)。在所示實(shí)施例中，當(dāng)前象素利用除此當(dāng)前象素自身的亮度數(shù)據(jù)外還有來(lái)自總共4個(gè)相鄰象素的亮度數(shù)據(jù)加以濾波。例如，在一視頻掃描行中，一當(dāng)前象素可應(yīng)用緊接當(dāng)前象素左側(cè)的二相鄰象素和緊接當(dāng)前象素右側(cè)的二相鄰象素加以濾波。也可僅應(yīng)用二相鄰象素。
另外，在幀內(nèi)濾波中，可以理解可以應(yīng)用在當(dāng)前象素的水平或垂直行中延伸的象素?cái)?shù)據(jù)。而且，本發(fā)明還可適應(yīng)于應(yīng)用水平和垂直方向兩者中的相鄰象素，和/或應(yīng)用在視頻圖象中相對(duì)于當(dāng)前象素作為對(duì)角布置的相鄰象素。在一優(yōu)選實(shí)施例中，亮度處理器200應(yīng)用一共同行中的4相鄰幀內(nèi)象素來(lái)對(duì)當(dāng)前象素亮度數(shù)據(jù)進(jìn)行濾波。
替換地，或者附加地，可以采用取自一個(gè)或多個(gè)前面幀和一個(gè)或多個(gè)后繼幀的象素?cái)?shù)據(jù)在瞬時(shí)基礎(chǔ)上對(duì)當(dāng)前象素進(jìn)行濾波。在這種情況下，采用位于幀內(nèi)對(duì)應(yīng)位置上的象素。
在此亮度處理器200中，當(dāng)前(例如第n個(gè))象素Y(n)被定義為10位的亮度幅度值，由象素延遲210輸出。因此，由象素延遲215輸出的亮度組分為Y(n-1)，和由象素延遲220輸出的亮度組分為Y(n-2)。同樣，由象素延遲205輸出的象素?cái)?shù)據(jù)為Y(n+1)，及輸入到象素延遲205的象素?cái)?shù)據(jù)為Y(n+2)。象素延遲205、210、215和220可被實(shí)現(xiàn)成10位的移位寄存器。
減法器250、255、260和265各自輸出差值信號(hào)e2=Y(n+1)-Y(n+2)、d2=Y(n)-Y(n+1)、d1=Y(n)-Y(n-1)和e1=Y(n-1)-Y(n-2)。最好僅將10位輸入值的7個(gè)最有效位加到減法器上。各個(gè)差值信號(hào)d1、d2、e1和e2被提供到一濾波器選擇邏輯功能300。差值信號(hào)為-127到127范圍內(nèi)的8位符號(hào)數(shù)值的整數(shù)值。濾波器選擇邏輯功能300還從一主微處理器接收二位的控制字，如下面詳細(xì)討論的。
多個(gè)濾波器275、280、285和290被用來(lái)按照相關(guān)的濾波器內(nèi)核對(duì)當(dāng)前的象素亮度值Y(n)進(jìn)行濾波。各個(gè)濾波器均可以是-3抽頭低通有限脈沖響應(yīng)(FIR)濾波器。所示的濾波器內(nèi)核可容易地由移位和加法來(lái)完成而無(wú)需任何乘法器。總的說(shuō)，一有限脈沖響應(yīng)(FIR)濾波器可以差值方程y(n)=Σk=0M-1bkx(n-k+integer[M/2])]]>來(lái)描述，其中x(n-k+integer[m/2]為包括有一采樣延遲的濾波器輸入，y(n)為濾波器輸出，bk為濾波器系數(shù)，及M為濾波器長(zhǎng)度。應(yīng)指出，例如對(duì)-3抽頭濾波器，integer[3/2]=1。該組系數(shù)b0,…bM-1定義濾波器內(nèi)核。例如，內(nèi)核為(2/16,12/16/,2/16)，簡(jiǎn)單表示式為(2,12,2)時(shí)，具有b0=2/16,,b1=12/16和b2=2/16，和按照下式y(tǒng)(n)=216x(n-1)-1216x(n)+216x(n+1).]]>確定輸出當(dāng)前象素幅度。當(dāng)前象素x(n)的乘數(shù)為12/16。
較強(qiáng)的濾波器具有以較小的分?jǐn)?shù)乘當(dāng)前象素幅度的內(nèi)核。例如，濾波器275、280、285和290提供逐漸增強(qiáng)的濾波，因?yàn)檩斎氲綖V波器的當(dāng)前象素幅度分別被乘以分?jǐn)?shù)12/16、10/16、8/16和6/16。較強(qiáng)的濾波器提供視頻圖象數(shù)據(jù)的a、c成分相對(duì)較大的衰減。雖然這里所揭示的內(nèi)核在本發(fā)明中成功地運(yùn)行，本技術(shù)領(lǐng)域中的熟練技術(shù)人員將理解也可以采用其他內(nèi)核和濾波器型式。而且還可采用帶有可調(diào)整系數(shù)的單個(gè)的濾波器。
這樣，利用亮度處理器200的符號(hào)，濾波器275的輸出Yout為Yout(n)=216Y(n-1)+1216Y(n)+216Y(n+1),]]>濾波器280的輸出為Yout(n)=316Y(n-1)+1016Y(n)+316Y(n+1),]]>濾波器285的輸出為Yout(n)=416Y(n-1)+816Y(n)+416Y(n+1),]]>濾波器20的輸出為Yout(n)=516Y(n-1)+616Y(n)+516Y(n+1).]]>濾波器選擇邏輯功能300如有關(guān)到圖3所說(shuō)明的那樣處理差值信號(hào)d1、d2、e1和e2，以將得到濾波器選擇信號(hào)，它再被用來(lái)命令一多路復(fù)用器(MUX)295輸出來(lái)自濾波器275、280、285和290的當(dāng)前象素亮度值之一，或線路272上承載的未作濾波的值。然后利用通常的壓縮技術(shù)處理此亮度輸出，如結(jié)合圖1的編碼器130所討論的那樣。
處理器200也可適用于象素插補(bǔ)，在此，濾波器275、280、285和290提供輸入象素組分的向上采樣或向下采樣。向上采樣時(shí)象素?cái)?shù)據(jù)速率增加，而向下采樣時(shí)象素?cái)?shù)據(jù)速率下降。在任一情況下，輸入到濾波器的象素的采樣速率與由濾波器輸出的象素的采樣速率均是不同的。例如，向上采樣可被用于將標(biāo)準(zhǔn)的NTSC視頻圖象變換成高清晰度電視(HDTV)圖象，在這種情況下按照本發(fā)明進(jìn)行的濾波能保留圖象特證并改善分辯率。在采用象素插補(bǔ)時(shí)濾波器可以是多相FIR濾波器。
圖3為按照本發(fā)明的濾波器選擇邏輯功能的方框圖。
總體表示為300的此功能具有二級(jí)。第一級(jí)中，利用差值信號(hào)d1和d2生成-3位的濾波器選擇指引。d1和d2的量化值分別由量化器305、310輸入到11×11查找表315以便得到-3位的選擇指引。濾波器選擇邏輯功能300的第二級(jí)將按照差值信號(hào)e1和e2和一用戶可選控制字將選擇指引映射到4個(gè)濾波器選擇之一或一旁路模式。
具體說(shuō)，二個(gè)11級(jí)量化器305和310分別接收并將差值信號(hào)d1和d2量化到11個(gè)量級(jí)中的一個(gè)。然后被量化的差值信號(hào)被提供到11×11查找表315。量化器305和310的確定界限例如可被選成為1、2、4、8和16，以使得量化器和查找表315能以簡(jiǎn)單的組合邏輯裝置實(shí)現(xiàn)。這樣，差值信號(hào)d1和d2被分類成下列量級(jí)或值之一(-127～-16)、(-15～-8)、(-7～-4)、(-3,-2)、(-1)、(0)、(1)、(2,3)、(4～7)、(8～15)和(16～127)。
按照設(shè)置如下的表1，查找表315提供3位的濾波器選擇指引。
表1
雖然以上表項(xiàng)通過(guò)對(duì)大量的視頻源數(shù)據(jù)的實(shí)驗(yàn)而被優(yōu)化，將會(huì)理解可以修正特定的濾波器選擇指引和量化等級(jí)來(lái)提供不同環(huán)境中的最佳結(jié)果。
在設(shè)計(jì)表1中采用以下的指引。選擇指引僅有5個(gè)可能的值。例如000、100、101、110和111，因?yàn)閷?duì)于象素亮度數(shù)據(jù)有4個(gè)濾波器和一個(gè)旁路通路。不同選擇指引的數(shù)量可根據(jù)可能的濾波選擇的數(shù)量而增加或減少。另外，選擇濾波器的語(yǔ)法可能提供信息，雖然對(duì)實(shí)現(xiàn)本發(fā)明這是不需要的。例如，第一位可以指明是否選擇了一濾波器旁路，而第二和第三位可指明象素差值信號(hào)的大小。例如，如果第一位為“0”，則濾波器旁路被選擇。如果第一位為“1”，則有效濾波器被選擇。另外，指引100、101、110、111指明選擇逐漸增強(qiáng)的濾波器，因?yàn)榈诙偷谌唬?0、01、10和11分別對(duì)應(yīng)于遞增的十進(jìn)數(shù)0、1、2和3。當(dāng)差值信號(hào)d1和d2表明很可能存在真實(shí)可見的亮度邊緣(例如不是噪聲)時(shí)選擇相對(duì)較弱的濾波器。
而且在表1中，選擇指引相對(duì)于差值信號(hào)d1和d2的幅度是對(duì)稱的(例如相對(duì)于表1的對(duì)角線是對(duì)稱的)。例如以d1=+1、d2=-2和以d1=-2、d2=+1得到選擇指引110。但是，相對(duì)于d1和d2的符號(hào)此選擇指引值是不對(duì)稱的。此符號(hào)指明d1和d2為正數(shù)或負(fù)數(shù)。對(duì)于中等大小的d1和d2，在d1和d2具有相同符號(hào)(例如雙方都為正或負(fù))時(shí)d1和d2的選擇指針較之d1和d2具有不同符號(hào)時(shí)的要大，只要d1和d2的幅度相同。例如，當(dāng)d1=-5和d2=-5，或d1=+5和d2=+5時(shí)，則選擇指引為101。而當(dāng)d1=-5和d2=+5，或d1=+5和d2=-5時(shí)，則選擇指引為100，它指明應(yīng)采用較之在指引為101時(shí)較弱的濾波器。
這是因?yàn)槿绻笏刂?例如Y(n+1)、Y(n)和Y(n-1))在連續(xù)增加或減少，此當(dāng)前象素多屬于亮度邊緣的原故。即就是說(shuō)，象素幅度中連續(xù)增加或減少是由于噪聲引起的概率低于這種變化是由于表明視頻圖象中出現(xiàn)邊緣區(qū)的亮度幅度和/或色度幅度中的真實(shí)變化所引起的概率。
例如，由象素序列{(Y(n+1)、Y(n)、Y(n-1)}={(10,15,20}可得到差值信號(hào)d1=-5和d2=+5，因?yàn)閐1=15-20=-5和d2=15-10=+5。這種連續(xù)增長(zhǎng)的序列多半指明圖象中的實(shí)際邊緣，所以應(yīng)采用較弱的濾波器以避免無(wú)謂地犧牲圖象的分辯率。相反，由象素序列{Y(n+1)、Y(n)、Y(n-1)}={20,15,20}得到差值信號(hào)d1=-5和d2=-5。這一序列不是連續(xù)增加或減少。而是Y(n+1)和Y(n-1)的幅度雙方都大于Y(n)。同樣，在序列{Y(n+1)、Y(n)、Y(n-1)}={15,20,15}時(shí)，Y(n+1)和Y(n-1)的幅度雙方都小于Y(n)。后面這二個(gè)象素序列很少表明一實(shí)際的邊緣。因而多半是噪聲，所以應(yīng)用較強(qiáng)的濾波器來(lái)平滑象素序列。
下面考慮的情況是，d1為零或在接近于零的范圍內(nèi)，d2在該范圍之外；或者d1在此范圍外而d2處在接近零的范圍之內(nèi)。例如，包含零的范圍可以從(-1至+1)伸展。d1在接近零的范圍內(nèi)的前面這一情況，可由象素序列{Y(n+1)、Y(n)、Y(n-1}={20,15,15}得到，因?yàn)閐1=15-15=0,d2=15-20=-5。這一象素序列作單調(diào)地減少。這里，當(dāng)二相繼象素具有相同值和第三象素具有顯著不同的值時(shí)作為邊緣的可能性相對(duì)地很高，所以選擇指引為100，表明應(yīng)采用相對(duì)柔和的濾波器。
也將理解到，在當(dāng)前象素和二相鄰象素都近似相同時(shí)例如象在序列{Y(n+1),Y(n),Y(n-1)}={15,15,16}時(shí)當(dāng)前象素指定圖象邊緣的可能性很少。在這種情況中，d1和d2接近為零(例如d1=-1,d2=0)，且濾波器選擇指引為111，表明應(yīng)采用相對(duì)強(qiáng)的濾波器。但這里不會(huì)關(guān)連到分辯率的喪失因?yàn)楫?dāng)前象素亮度值在濾波中基本上不改變。
再來(lái)看亮度處理器300的結(jié)構(gòu)，二級(jí)量化器320和325分別接收差值信號(hào)e1和e2的絕對(duì)值。利用e1和e2的絕對(duì)值(雖然是任選的)簡(jiǎn)化了實(shí)施，但不太大地惡化了濾波器選擇邏輯功能300的邊緣檢測(cè)能力。差值信號(hào)被量化到二不同電平中之一，例如，零或非零，并被提供到一4×4查找表330，如下表2所示。
表2
此查找表330還從例如一主微處理器接收2位的控制字。這一控制字可以是用戶可選擇的，用來(lái)指明所希望的濾波器選擇的偏向。
控制字00指明濾波應(yīng)被旁路，控制字01對(duì)應(yīng)于向較弱濾波器偏移，控制字10對(duì)應(yīng)于中間亦即不偏向的選擇，和控制字11對(duì)應(yīng)于向較強(qiáng)的濾波器偏移。低濾波水平被設(shè)計(jì)來(lái)以可能有較多噪聲進(jìn)入圖象的代價(jià)達(dá)到圖象分辯率上的損失最小。當(dāng)希望最大地抑制噪聲時(shí)可采用高濾波電平，而中等水平則可用來(lái)提供適當(dāng)?shù)脑肼曇种扑健?br> 例如，記錄視頻圖象源例如錄象磁帶等可能隨著時(shí)間惡化，從而引起另外的噪聲，或者如衛(wèi)星鏈路這樣的將定的視頻數(shù)據(jù)鏈路是公知的多噪聲的。因而可以利用事先的了解來(lái)恰當(dāng)?shù)仄驗(yàn)V波器選擇。換句話說(shuō)，操作人員可實(shí)時(shí)地調(diào)整濾波器強(qiáng)度水平，例如在當(dāng)觀察正在被發(fā)送中的視頻數(shù)據(jù)時(shí)。也可以是，操作人員可在發(fā)送前觀察圖象來(lái)選擇合適的濾波器強(qiáng)度。在要保留輸入圖象中的每一個(gè)細(xì)節(jié)為十分關(guān)鍵的情況中，可利用控制字001將噪聲抑制器關(guān)斷或旁路。
按照本發(fā)明，差值e1和e2也可被用來(lái)偏向?yàn)V波器選擇，以降低過(guò)濾波某些具有小的幅度擺動(dòng)的邊緣的危險(xiǎn)。特別是，如果當(dāng)前象素左邊的二象素或者當(dāng)前象素右邊二象素具有很小的或者零差值(例如分別為很小的或零e2或e1)，則此當(dāng)前象素屬于一圖象邊緣的可能性增加。將會(huì)理解，雖然本例中談到的是當(dāng)前象素的左、右側(cè)的象素，這些象素位置也可以是在一單個(gè)幀中或者，是在連續(xù)幀中的瞬時(shí)濾波方案中作垂直地或?qū)蔷€地排列的。
因此，如表2中所示，如果e1=0或e2=0，不管控制字如何此2位的輸入控制字均被映射到映射值01，因?yàn)橄Ｍ幸蝗岷偷臑V波器。例如，如果控制字輸入要求中間的或未加偏向的濾波器選擇(例如控制字=10)但e1=0和/或e2=0，則查找表330將輸出映射值01而不是10。但如果e1≠0且e2≠0，則映射選擇將對(duì)應(yīng)于該控制字。即就是，輸入到查找表330的控制字將僅僅作為隨后要提供給5×4查找表335的映射值而通過(guò)。輸入到查找表330來(lái)旁路濾波的控制字00不管e1和e2為何值均不會(huì)被超越。將可理解，表2中雖然e1和e2被量化到零或非零值，但在零左右的量化區(qū)間也是可以采用。
另外亦將了解，e1和e2可被量化到多于二個(gè)電平，但作二電平量化被發(fā)現(xiàn)在此優(yōu)選實(shí)施例中令人滿意的。
濾波器選擇邏輯功能300的第二級(jí)對(duì)查找表315的2位的映射值和查找表315的3位的選擇指引作映射以得到濾波器選擇信號(hào)。濾波器選擇信號(hào)命令圖2的MUX295選擇濾波器275、280、295和290中之一，或旁路線272。查找表335的映射如下表3中所述。
表3<
表2指明作為3位的選擇指引和2位的映射值的函數(shù)選擇哪一濾波器。例如，在映射值00時(shí)，不管選擇指引如何均提供旁路。在映射值01和選擇指引為000或100時(shí)仍然為旁路。在此映射值為01和選擇指引為101時(shí)，得到具有內(nèi)核(2,12,2)的濾波器275，等等。相應(yīng)地，表3提供考慮到選擇指針和映射值的濾波器選擇信號(hào)，用來(lái)選擇降低當(dāng)前象素的噪聲但避免作不必要衰減的最佳濾波器。
圖4為按照本發(fā)明的色度噪聲抑制器的方框圖。色度數(shù)據(jù)通常以與這里討論的亮度數(shù)據(jù)同樣方式處理。但由于正常情況人類對(duì)亮度中變化比對(duì)色度中變化更敏感，所以色度邊緣不如圖象中亮度邊緣明顯。因而在確定適當(dāng)?shù)臑V波器中只考慮當(dāng)前象素每一側(cè)的一個(gè)相鄰象素通常就足夠了。當(dāng)然，如果希望的話，可以考慮當(dāng)前象素的每一側(cè)多于一個(gè)的相鄰象素，而在某些情況中可能較適合。或者，在應(yīng)用瞬時(shí)濾波時(shí)如希望可以考慮多于一個(gè)的前面的或隨后的幀。
另外，總體以400表示的色度處理器與亮度處理器200之不同在于，因色度數(shù)據(jù)流由交錯(cuò)的Cr和Cb采樣組成而采用2象素的延遲。概念上說(shuō)，Cr和Cb信號(hào)可被認(rèn)為由二個(gè)以一半的亮度噪聲抑制器速度運(yùn)行的相同的噪聲抑制器分開地處理。交錯(cuò)的CbCr輸入被提供給象素延遲405、410、415和420。在一給定時(shí)鐘周期，對(duì)象素延遲405和415的輸入各自為Cb(n+1)和當(dāng)前象素組分Cb(n)，而從象素延遲420的輸出為Cb(n-1)。減法器455與460分別輸出差值信號(hào)d2=Cb(n)-Cb(n+1)和d2=Cb(b)-Cb(n-1)。
色度濾波器選擇邏輯功能500以與結(jié)合圖3的亮度濾波器選擇邏輯功能300所討論的相同方式運(yùn)行，不同點(diǎn)是無(wú)需計(jì)算和應(yīng)用差值信號(hào)e1和w2。相應(yīng)地，量化器320和325以及查找表330均不應(yīng)用，而控制字與2位的映射值相同。再看圖4，差值信號(hào)d1和d2被提供給濾波器選擇邏輯功能500以獲得一濾波器選擇信號(hào)。此濾波器選擇信號(hào)命令MUX495輸出到旁路線472上不進(jìn)行濾波的當(dāng)前象素色度值Cb(n)，或者來(lái)自濾波器275、280、285和290之一的Cb(n)的濾波值。在交替的時(shí)鐘周期中，對(duì)Cr組分Cr(n+11)、Cr(n)和Cr(n-1)重復(fù)上述處理以便自MUX995得到經(jīng)濾波的當(dāng)前象素色度采樣Cr(n)。
完成了本發(fā)明的噪聲抑制器的樣機(jī)并以大量的視頻源資料進(jìn)行了測(cè)試。對(duì)代表性的測(cè)試序列所作觀測(cè)結(jié)果如表4中所示。編碼器被組構(gòu)成以順次刷新及每30幀一次的刷新速率的全分辯率模式運(yùn)行。采用二B-幀并使能實(shí)現(xiàn)電影模式。視頻位速率為3.5Mbit/sec。表4表明視頻序列和在編碼器的量化器的輸入和輸出的數(shù)據(jù)之間測(cè)得的信噪比(PSNR)。第一列表示測(cè)試序列，如Test Model Editing Committee,“TestModel 5”,ISO/IEC JTC1/SC29/WG11 MPEG93/457 (April 1993)中所描述的。第二列表明視頻源的相對(duì)總噪聲水平。第三列表明在噪聲抑制器斷開時(shí)的PSNR。第四列表明噪聲抑制器工作時(shí)的PSNR。第五列表明按照本發(fā)明的噪聲抑制器的對(duì)PSNR的改善。各序列的PSNR中的增加是本發(fā)明的噪聲濾波器的效果尺度。例如，對(duì)于“乒乓球”序列，PSNR增加2.5dB，取得顯著改善的圖象。在各種其他未列舉的視頻序列中已取得良好的結(jié)果。
表4
由此相應(yīng)地可以看到本發(fā)明提供用于降低當(dāng)前象素的亮度和/或色度中的噪聲的自適應(yīng)予處理象素?cái)?shù)據(jù)的方法和設(shè)備。本發(fā)明適用于為靜止圖象和圖象的連續(xù)的幀兩者作象素?cái)?shù)據(jù)濾波。對(duì)一當(dāng)前象素進(jìn)行濾波是通過(guò)考慮多個(gè)相鄰象素來(lái)確定此當(dāng)前象素是否是一圖象中亮度和/或色度邊緣的部分、或此當(dāng)前象素是否包含應(yīng)予衰減的噪聲成分來(lái)實(shí)現(xiàn)的。
在一優(yōu)選實(shí)施例中，當(dāng)前象素的亮度組分根據(jù)4個(gè)相鄰象素、例如2個(gè)在左2個(gè)在右的象素被加以濾波。具體說(shuō)，當(dāng)前象素幅度可被作為二個(gè)象素、一個(gè)緊接右側(cè)一個(gè)緊接左側(cè)的象素的幅度值的函數(shù)來(lái)加以濾波，而另外兩個(gè)離開當(dāng)前象素一個(gè)象素的象素可被用來(lái)精細(xì)調(diào)節(jié)所希望的濾波強(qiáng)度?？梢圆捎闷渌南噜徬笏?，例如排列在圖象中當(dāng)前象素上、下的那些，和/或相對(duì)當(dāng)前象素作對(duì)角排列的那些象素。可以采用任何數(shù)量的象素，例如在當(dāng)前象素每一側(cè)的三個(gè)或更多。另外還可采用象素插補(bǔ)。再有也可以單獨(dú)地或與幀內(nèi)濾波相結(jié)合地應(yīng)用瞬時(shí)濾波。對(duì)于色度象素組分，僅根據(jù)二相鄰象素、例如-在左-在右的象素來(lái)對(duì)當(dāng)前象素進(jìn)行濾波就足夠了。
已看到，通過(guò)對(duì)表明當(dāng)前象素與相鄰象素之間的幅度差的差值信號(hào)的量化處理，可實(shí)現(xiàn)查找表方案來(lái)取得為當(dāng)前象素選擇適宜的濾波器的濾波器選擇信號(hào)。按照差值信號(hào)的各自的符號(hào)和大小來(lái)選擇一濾波器選擇指引，以使得所選擇的濾波器的強(qiáng)度成為除差值信號(hào)的絕對(duì)大小外，還是一包含當(dāng)前象素的序列是連續(xù)地增大或減小的、還是單調(diào)地增大或減小的、還是恒定的、或者相反的函數(shù)?？商峁┮挥脩艨蛇x控制字來(lái)偏向選擇指引。在一簡(jiǎn)單的低成本結(jié)構(gòu)中采用了3抽頭濾波器。
另外，雖然這里說(shuō)明的示例采用YCrCb色彩區(qū)間，但應(yīng)理解本發(fā)明實(shí)際上適用于任何其他彩色空間。例如可采用類似的YUV彩色空間。另外也可采用RGB彩色空間，在此情況中最好通過(guò)4相鄰象素進(jìn)行象素濾波。因?yàn)閷?duì)各當(dāng)前象素不提供獨(dú)立的亮度和色度組分。
雖然相對(duì)于各種具體實(shí)施例對(duì)本發(fā)明進(jìn)行了說(shuō)明，但本技術(shù)領(lǐng)域內(nèi)的熟悉人員將會(huì)理解，可對(duì)之作許多修正和變型而不背離所列權(quán)利要求中確定的本發(fā)明的精神實(shí)質(zhì)與范疇。
權(quán)利要求
1.一種用于對(duì)視頻圖象數(shù)據(jù)進(jìn)行濾波的方法，所述視頻圖象數(shù)據(jù)至少包括一個(gè)具有許多象素的視頻幀，每一所述象素均具有相關(guān)的幅度，所述方法包括步驟確定所述視頻幀的當(dāng)前象素所述當(dāng)前象素位于所述視頻幀中第一與第二象素的中間；確定所述當(dāng)前象素的幅度與所述第一象素的幅度之間的差d1；確定所述當(dāng)前象素的幅度與所述第二象素的幅度之間的差d2；設(shè)置多個(gè)濾波器，所述濾波器適用于對(duì)所述當(dāng)前象素幅度進(jìn)行逐漸增強(qiáng)的濾波；和按照所述差值d1和d2選擇所述濾波器中特定的一個(gè)以濾波所述當(dāng)前象素。
2.權(quán)利要求1所述的方法，還包括步驟按照所述第一、當(dāng)前的和第二象素的幅度是否形成(a)單調(diào)地增大，(b)單調(diào)地減小，(c)連續(xù)地增大，和(d)連續(xù)地減小的序列之一，來(lái)選擇所述特定的濾波器。
3.權(quán)利要求1或2所述的方法，還包括步驟當(dāng)所述第一和第二象素的幅度同時(shí)均為(a)大于所述當(dāng)前象素的幅度，和(b)小于所述當(dāng)前象素的幅度之一時(shí)選擇所述特定的濾波器以提供對(duì)所述當(dāng)前象素幅度的更強(qiáng)的濾波。
4.前列權(quán)利要求之一所述的方法，還包括步驟當(dāng)所述差d1和d2的幅度大于一預(yù)定范圍時(shí)選擇提供較之當(dāng)所述差d1和d2的幅度之一在所述預(yù)定范圍之內(nèi)時(shí)對(duì)所述當(dāng)前象素幅度更強(qiáng)的濾波的所述特定濾波器。
5.前列權(quán)利要求之一所述的方法，還包括步驟提供一用戶可選控制信號(hào)，及按照所述控制信號(hào)選擇所述特定濾波器以進(jìn)行(a)遞增地增強(qiáng)或(b)遞增地減弱地濾波所述當(dāng)前象素幅度。
6.前列權(quán)利要求之一所述的方法，還包括步驟量化所述差d1和d2；及按照經(jīng)量化的差d1和d2選擇所述特定的濾波器。
7.前列權(quán)利要求之一所述的方法，其中所述當(dāng)前、第一和第二象素在所述視頻幀中第三和第四象素中間，還包括步驟確定所述第一象素的幅度與所述第三象素的幅度之間的差e1；確定所述第三象素的幅度與所述第四象素幅度之間的差e2；及按照所述差e1和e2選擇所述特定的濾波器。
8.前列權(quán)利要求之一所述的方法，其中輸入到所述特定濾波器的象素的采樣速率與從所述特定濾波器輸出的象素的采樣速率不同。
9.一種用于對(duì)視頻圖象數(shù)據(jù)進(jìn)行濾波的方法，所述視頻圖象數(shù)據(jù)包括至少三個(gè)相繼的視頻幀當(dāng)前幀、所述當(dāng)前幀前面的第一幀和跟隨所述當(dāng)前幀之后的第二幀，每一個(gè)所述幀具有多個(gè)象素，每一個(gè)所述象素具有相關(guān)的幅度，所述方法包括步驟確定所述當(dāng)前幀的一當(dāng)前象素；所述當(dāng)前象素在所述第一幀中的第一象素和所述第二幀中第二象素的中間；確定所述當(dāng)前象素的幅度與所述第一象素的幅度之間的差d1；確定所述當(dāng)前象素的幅度與所述第二象素的幅度之間的差d2；提供多個(gè)濾波器，所述濾波器適用于提供對(duì)所述當(dāng)前象素幅度的逐漸增強(qiáng)的濾波的水平；和按照所述差d1和d2選擇所述濾波器之一以對(duì)所述當(dāng)前象素進(jìn)行濾波。
10.權(quán)利要求9中所述方法，還包括步驟按照所述第一、當(dāng)前和第二象素的幅度是否形成(a)單調(diào)地增大、(b)單調(diào)地減小、(c)連續(xù)地增大和(d)連續(xù)地減小之一的序列來(lái)選擇所述特定的濾波器。
11.權(quán)利要求9或10中所述方法，還包括步驟當(dāng)所述第一和第二象素的幅度兩者都大于所述當(dāng)前象素的幅度或所述第一和第二象素的幅度兩者都小于所述當(dāng)前象素的幅度時(shí)選擇所述特定濾波器以提供對(duì)所述當(dāng)前象素幅度的更強(qiáng)的濾波。
12.權(quán)利要求9至11之一所述的方法，還包括步驟在所述差d1和d2的大小大于一包含零的預(yù)定范圍時(shí)選擇提供對(duì)所述當(dāng)前象素幅度進(jìn)行較之在所述差d1和d2的大小之一在所述預(yù)定范圍之內(nèi)時(shí)更強(qiáng)的濾波的所述特定的濾波器。
13.權(quán)利要求9至12之一所述的方法，還包括步驟量化所述差d1和d2；及按照經(jīng)量化的差d1和d2來(lái)選擇所述特定的濾波器。
14.一種用于對(duì)視頻圖象數(shù)據(jù)進(jìn)行濾波的設(shè)備，所述視頻圖象數(shù)據(jù)包括至少一個(gè)具有多個(gè)象素的視頻幀，每一所述象素具有一相關(guān)的幅度，該設(shè)備包括用于確定所述視頻幀的一當(dāng)前象素的裝置；所述當(dāng)前象素在所述視頻幀中的第一和第二象素的中間；用于確定所述當(dāng)前象素的幅度與所述第一象素的幅度之間的差d1的減法器；用于確定所述當(dāng)前象素的幅度與所述第二象素的幅度之間的差d2的減法器；多個(gè)濾波器，所述濾波器適用于提供對(duì)所述當(dāng)前象素幅度進(jìn)行逐漸增強(qiáng)水平的濾波；和用于按照所述差d1和d2選擇所述濾波器之一以濾波所述當(dāng)前象素的選擇裝置。
15.權(quán)利要求14所述的設(shè)備，其中所述選擇裝置按照所述第一、當(dāng)前的和第二象素的幅度是否形成(a)單調(diào)地增大、(b)單調(diào)地減少、(c)連續(xù)地增大和(d)連續(xù)地減小之一的序列來(lái)選擇所述特定的濾波器。
16.權(quán)利要求14至15之一所述的設(shè)備，其中當(dāng)所述第一和第二象素的幅度兩者均大于所述當(dāng)前象素的幅度或所述第一和第二象素兩者均小于所述當(dāng)前象素的幅度時(shí)所述選擇裝置選擇提供對(duì)所述當(dāng)前象素幅度進(jìn)行更強(qiáng)濾波的所述特定濾波器。
17.權(quán)利要求14至16之一所述的設(shè)備，其中當(dāng)所述差d1和d2的大小大于一包含零的預(yù)定范圍時(shí)所述選擇裝置選擇提供對(duì)所述當(dāng)前象素幅度進(jìn)行較之當(dāng)所述差d1和d2的大小之一在所述預(yù)定的范圍之內(nèi)時(shí)更強(qiáng)的濾波的所述特定的濾波器。
18.權(quán)利要求14至17之一所述的設(shè)備，還包括用于接收用戶可選的控制信號(hào)的裝置；其中所述選擇裝置按照所述控制信號(hào)選擇所述特定濾波器以提供(a)逐漸增強(qiáng)和(b)逐漸減弱對(duì)所述當(dāng)前象素幅度濾波之一。
19.權(quán)利要求14至18之一所述的設(shè)備，還包括用于量化所述差d1和d2的量化器；其中所述選擇裝置按照經(jīng)量化的差d1和d2選擇所述特定的濾波器。
20.權(quán)利要求14至19之一所述的設(shè)備，其中所述當(dāng)前、第一和第二象素在所述視頻幀中的第三和第四象素中間，所述設(shè)備還包括用于確定所述第一象素的幅度與所述第三象素的幅度之間的差e1的減法器；用于確定所述第二象素的幅度與這第四象素的幅度之間的差e2的減法器；其中所述選擇裝置按照所述差e1和e2選擇所述濾波器之一以濾波所述當(dāng)前象素。
21.權(quán)利要求14至20之一所述的設(shè)備，其中輸入到所述特定濾波器的象素的采樣速率與從所述特定濾波器輸出的象素的采樣速率不同。
22.一種用于對(duì)視頻圖象數(shù)據(jù)進(jìn)行濾波的設(shè)備，所述視頻圖象數(shù)據(jù)包括至少三個(gè)連續(xù)的視頻幀當(dāng)前幀、所述當(dāng)前幀前面的第一幀、和后隨所述當(dāng)前幀的第二幀，每一所述幀具有多個(gè)象素，每一所述象素具有相關(guān)的幅度，所述設(shè)備包括用于確定所述當(dāng)前幀的一當(dāng)前象素的裝置；所述當(dāng)前象素在所述第一幀中一第一象素和所述第二幀中一第二象素的中間；用于確定所述當(dāng)前象素的幅度與所述第一象素的幅度之間的差d1的減法器；用于確定所述當(dāng)前象素的幅度與所述第二象素的幅度之間的差d2的減法器；多個(gè)濾波器，所述濾波器適用于提供對(duì)所述當(dāng)前象素幅度進(jìn)行逐漸增強(qiáng)水平的濾波；及用于按照所述差值d1和d2選擇所述濾波器之一以濾波所述當(dāng)前象素的選擇裝置。
23.權(quán)利要求22所述的設(shè)備，其中所述選擇裝置按照所述第一、當(dāng)前的和第二象素的幅度是否形成(a)單調(diào)增大、(b)單調(diào)減小、(c)連續(xù)增大和(d)連續(xù)減小之一的序列來(lái)選擇所述特定的濾波器。
24.權(quán)利要求22至23之一所述的設(shè)備，其中當(dāng)所述第一和第二象素的幅度兩者都大于所述當(dāng)前象素的幅度或所述第一和第二象素的幅度兩者都小于所述當(dāng)前象素的幅度時(shí)，所述選擇裝置選擇提供對(duì)所述當(dāng)前象素幅度進(jìn)行更強(qiáng)濾波的所述特定的濾波器。
25.權(quán)利要求22至24之一所述的設(shè)備，其中當(dāng)所述差d1和d2的大小大于一包含零的預(yù)定范圍時(shí)所述選擇裝置選擇提供對(duì)所述當(dāng)前象素幅度進(jìn)行較之在所述差d1和d2的大小之一在所述預(yù)定范圍之內(nèi)時(shí)更強(qiáng)的濾波的所述特定的濾波器。
26.權(quán)利要求22至25之一所述的設(shè)備，還包括用于量化所述差d1和d2的量化器；其中所述選擇裝置按照經(jīng)量化的差d1和d2來(lái)選擇所述特定的濾波器。
全文摘要
當(dāng)出現(xiàn)噪聲的可能性很高時(shí)視頻圖象的當(dāng)前象素被自適應(yīng)濾波以得到更強(qiáng)濾波。當(dāng)視頻圖象中可能出現(xiàn)一彩色和/或亮度邊緣時(shí)提供更弱的濾波。一當(dāng)前象素在視頻幀中第一和第二象素的中間。根據(jù)當(dāng)前象素與第一和第二相鄰象素之間的幅度差確定差值信號(hào)。多個(gè)可用的濾波器提供對(duì)當(dāng)前象素幅度逐漸增強(qiáng)的濾波。按照差值信號(hào)選擇對(duì)當(dāng)前象素濾波的濾波器之一。
文檔編號(hào)H04N5/21GK1210422SQ98102108
公開日1999年3月10日 申請(qǐng)日期1998年5月7日 優(yōu)先權(quán)日1997年5月7日
發(fā)明者胡少偉, 杰伊·R·帕特爾, 羅伯特·內(nèi)米沃夫, 約翰·舒梅特 申請(qǐng)人:通用儀器公司