面向超大噪聲基于預濾波的實時視頻去噪方法
【專利摘要】本發(fā)明屬于視頻信息處理領域，引入了預濾波思想，提供一種面向超大噪聲基于預濾波的實時視頻去噪方法，包括：分別采用均值降采樣和高斯濾波對原圖像進行了預濾波，在此基礎上計算權重，而在加權平均時使用過去幀，用此前去噪后的圖像代替原始圖像，得到時域濾波結果，最后結合結合空間濾波結果再次進行加權平均，得到最終去噪后的圖像。本發(fā)明采用預濾波思想提高了算法的去噪效果，特別是在面對超大噪聲時具有十分明顯的去噪效果，而且實時性好，計算資源消耗少，易于在硬件設備中實現(xiàn)。
【專利說明】面向超大噪聲基于預濾波的實時視頻去噪方法
【技術領域】
[0001]本發(fā)明屬于視頻信息處理領域，涉及視頻去噪方法，尤其涉及一種面向超大噪聲的基于圖像預濾波處理的實時視頻去噪方法。
【背景技術】
[0002]數(shù)字成像領域面臨的重要問題之一是噪聲去除問題。特別是在低照度條件下，需要增大傳感器感光度ISO。這將帶來比正常拍攝大數(shù)倍甚至數(shù)十倍的超大噪聲。如何在低照度條件下仍然獲得畫質良好的成像效果是數(shù)字成像設備未來的發(fā)展方向之一。
[0003]從硬件的角度，可以采用閃光燈、紅外燈、LED補光燈等輔助光源增強成像質量，但它們的作用有限。例如，閃光燈無法在連續(xù)的視頻中使用，紅外燈在室外場景作用距離僅有幾十米，LED燈補光亮度不夠，等等。而且在安防監(jiān)控等應用中，有時候并不希望使用這些輔助光源而導致自己目標暴露。另一方面，就是從軟件算法的角度解決降噪問題。
[0004]針對視頻的軟件去噪方法最初直接采用了針對圖像的二維去噪方法。顯然圖像去噪并沒有充分利用連續(xù)視頻在時間上的關聯(lián)性，降噪效果并不理想。目前，人們已經(jīng)提出了許多針對視頻三維特性的去噪方法。如基于時域塊匹配與變換域的VBM3D，SURE-LET等方法，基于小波域的時空高斯尺度混合模型的ST-GSM等方法，基于小波變換與多尺度分析的WAVTHRF等方法。從效果上說，這些方法都具有一定的去噪能力，特別是VBM3D與SURE-LET兩種方法。但是，這些方法普遍存在的問題是計算量大，實時性差，資源消耗多，難以應用到數(shù)字成像設備中。雖然人們也做了各種嘗試將這些算法實時化，但效果并不理想。如，Katona等人實現(xiàn)了一種基于小波域的視頻去噪方法。該方法雖然去噪效果一般，但是他們使用了兩片F(xiàn)PGA才實現(xiàn)了這樣一個算法。這對于一個還需要完成自動曝光、自動白平衡、壞點校正、顏色校正、伽馬校正、邊緣增強、強光抑制、背光補償?shù)日麄€ISP (ISP，ImageSignal Processing圖像信號處理)的數(shù)字成像設備而言，消耗的資源太多，難以接受。
[0005]事實上，對于視頻去噪最簡單的方法就是幀累積。如果場景是靜止的，且沒有運動物體，那么幀累積無疑將取得最佳的去噪效果。但是如果有運動目標，那么將產(chǎn)生虛影現(xiàn)象。所以對于視頻去噪，一個很重要的問題就是變化補償，包括運動補償、光照變化補償?shù)??？紤]幀累積與變化補償，再結合算法的實時性以及小計算量需求，一種簡單有效的視頻去噪方法是按像素值相似度加權。即視頻中前后幀相同空間位置像素差異越小，各幀權重越平均；像素差異越大，當前幀權重越大。這樣如果當前幀有變化出現(xiàn)，前后幀像素差異較大，加權平均的結果幾乎只取當前幀的像素值，即進行了變化補償。在變化的區(qū)域，由于沒有時域的過去幀可用于幀累積，所以再輔以空間濾波對該區(qū)域進行去噪。Bennett等人提出的ASTA方法就是基于這個框架。雖然現(xiàn)有的基于像素值相似度加權的方法資源消耗少、能實時實現(xiàn)，而且具有一定的去噪效果，但是，在針對超大噪聲去噪時，效果并不理想。因為低照度條件下的噪聲，通常是正常噪聲的數(shù)十倍，而低照度條件下的變化，則遠小于正常光照條件。一般認為人眼可以分辨亮度差異在10左右(亮度范圍0-255)的變化，但當噪聲的標準差(閃動的程度)在10以上時，現(xiàn)有方法將很難區(qū)分噪聲與正常變化。為了不引起虛影，只有保留噪聲，從而導致去噪效果不佳，限制了基于像素值相似度加權方法的應用。

【發(fā)明內容】

[0006]本發(fā)明的目的在于克服現(xiàn)有基于像素值相似度加權方法的缺點，提出一種有效解決虛影、去噪效果良好，且實時性好，資源消耗量小，能用于數(shù)字成像設備的視頻去噪方法。通過對現(xiàn)有算法以及其他參考方法的分析，發(fā)現(xiàn)如何正確求得權重是解決問題的關鍵?；诖耍景l(fā)明提出了一種基于預濾波的實時視頻去噪方法。該方法保持了原方法的實時性好、資源消耗少的特點，另一方面克服了面對超大噪聲時，去噪效果不佳的問題。
[0007]本發(fā)明采用如下技術方案實現(xiàn):
[0008]一種面向超大噪聲基于預濾波的實時視頻去噪方法，包括以下步驟:
[0009]步驟一:輸入當前幀圖像Yi, i表示當前幀的序號，i = 1，2，3...,對當前幀圖像進行高斯濾波，得到原始分辨率的空間高斯濾波結果圖像0 ;同時對當前幀圖像做均值降采樣，得到均值降采樣后的低分辨率圖像；所述均值降采樣是將當前幀圖像劃分為若干個相同大小的降采樣塊，以所述降采樣塊中所有像素點的平均值作為該降采樣塊的采樣值；
[0010]步驟二:對所述均值降采樣后的低分辨率圖像進行高斯濾波，得到低分辨率空間高斯濾波結果圖像Pi, I表示當前幀的序號，i = 1，2，3...；
[0011]步驟三:存儲經(jīng)過步驟二處理后的低分辨率空間高斯濾波結果圖像Pi ;判斷當前幀是否超過第N幀，當i > N時，在存儲時將時間上距當前幀最遠的一幀替代，即只存儲包括當前幀Pi以及當前幀之前的N幀相鄰圖像{Pi_N，Pi_N+1，…，PiJ ;所述N為預先設定的值；
[0012]步驟四:判斷當前幀是否超過第N幀；如果否，則以步驟一得到的原始分辨率的空間高斯濾波結果圖像α作為去噪后的圖像Qi,進入步驟九；如果是，進入步驟五；
[0013]步驟五:讀取當前幀之前的N幀相鄰圖像{P1-N，P1-W1,…，P1-J,并分別與當前幀空間高斯濾波結果圖像Pi作差，得到N幀低分辨率的差分圖；第1^幀差分圖中任意點的差分值記為Apik = P1-Pk, i表示當前幀的序號，k為過去幀的序號,且k e [1-N, 1-N+1,…，1-Ι],Pi表示當前幀低分辨率的空間高斯濾波結果圖像Pi中任意位置的像素值，Pk為過去幀的低分辨率的空間高斯濾波結果圖像Pk中對應位置的像素值；
[0014]步驟六:以N幀低分辨率的差分圖為輸入，求過去N幀圖像原始分辨率的權重Grt':
[0015]
【權利要求】
1.一種面向超大噪聲基于預濾波的實時視頻去噪方法，其特征在于包括以下步驟:步驟一:輸入當前幀圖像Yi, i表示當前幀的序號，I = 1，2，3...，對當前幀圖像進行高斯濾波，得到原始分辨率的空間高斯濾波結果圖穩(wěn)P ;同時對當前幀圖像做均值降采樣，得到均值降采樣后的低分辨率圖像；所述均值降采樣是將當前幀圖像劃分為若干個相同大小的降采樣塊，以所述降采樣塊中所有像素點的平均值作為該降采樣塊的采樣值； 步驟二:對所述均值降采樣后的低分辨率圖像進行高斯濾波，得到低分辨率空間高斯濾波結果圖像Pi, i表示當前幀的序號，i = 1，2，3...； 步驟三:存儲經(jīng)過步驟二處理后的低分辨率空間高斯濾波結果圖像Pi ;判斷當前幀是否超過第N幀，當i > N時，在存儲時將時間上距當前幀最遠的一幀替代，即只存儲包括當前幀Pi以及當前幀之前的N幀相鄰圖像{Pi_N，Pi_N+1，…，PiJ ;所述N為預先設定的值；步驟四:判斷當前幀是否超過第N幀；如果否，則以步驟一得到的原始分辨率的空間高斯濾波結果圖像β:作為去噪后的圖像Qi,進入步驟九；如果是，進入步驟五； 步驟五:讀取當前幀之前的N幀相鄰圖像{Pi_N，Pi_N+1，…，PiJ，并分別與當前幀空間高斯濾波結果圖像Pi作差，得到N幀低分辨率的差分圖;第k幀差分圖中任意點的差分值記為Apik = P1-Pk, i表示當前幀的序號，k為過去幀的序號,且k e [1-N, 1-N+1,…，1-liUPi表示當前幀低分辨率的空間高斯濾波結果圖像Pi中任意位置的像素值，Pk為過去幀的低分辨率的空間高斯濾波結果圖像Pk中對應位置的像素值； 步驟六:以N幀低分辨率的差分圖為輸入，求過去N幀圖像原始分辨率的權重Grt':

2.根據(jù)權利要求1所述的面向超大噪聲基于預濾波的實時視頻去噪方法，其特征在于:所述步驟八中加權平均的具體方法為:以過去N幀權重和Wert為基礎，最終的去噪結果計算如下:
3.根據(jù)權利要求1所述的面向超大噪聲基于預濾波的實時視頻去噪方法，其特征在于:所述步驟一中降采樣塊的大小為:當感光度IS0400及以下時降采樣塊的大小為3X3 ；當IS0400-1S01600時降采樣 塊的大小為10X10 ;當IS01600及以上時降采樣塊的大小為20X20。
4.根據(jù)權利要求1所述的面向超大噪聲基于預濾波的實時視頻去噪方法，其特征在于:所述步驟二中高斯濾波的窗口大小為5X5。
5.根據(jù)權利要求1所述的面向超大噪聲基于預濾波的實時視頻去噪方法，其特征在于:所述步驟三中N的值為4、6或8。
6.根據(jù)權利要求1所述的 面向超大噪聲基于預濾波的實時視頻去噪方法，其特征在于:所述步驟六中σ的值為1-10。
7.根據(jù)權利要求2所述的面向超大噪聲基于預濾波的實時視頻去噪方法，其特征在于:所述步驟八中thr的值為0.6.N。
【文檔編號】G06T5/00GK103501401SQ201310462526
【公開日】2014年1月8日 申請日期:2013年10月1日 優(yōu)先權日:2013年10月1日
【發(fā)明者】張茂軍, 劉煜, 譚鑫, 左承林, 賴世銘, 王煒, 譚樹人, 徐瑋, 熊志輝, 張政 申請人:中國人民解放軍國防科學技術大學, 湖南源信光電科技有限公司