專利名稱：圖像處理設(shè)備及其控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設(shè)備及其控制方法，并且特別地，涉及一種用于降低圖像信號中的噪聲的圖像處理設(shè)備及其控制方法。
背景技術(shù)：
使用圖像傳感器獲得的圖像信號一般包含噪聲成分。在噪聲成分中，時間或者空間上隨機(jī)發(fā)生的隨機(jī)噪聲主要在高感光度拍攝期間發(fā)生。特別地，時間上隨機(jī)發(fā)生的噪聲是使運(yùn)動圖像的圖像質(zhì)量劣化的因素之一。作為針對運(yùn)動圖像的隨機(jī)噪聲降低技術(shù)，已知使用運(yùn)動圖像幀之間的相關(guān)的遞歸降噪處理。例如，日本特開2000-209507號公報公開了基于當(dāng)前幀的圖像信號與先前幀的圖像信號之間的信號差值來控制遞歸降噪處理中的遞歸系數(shù)的技術(shù)。遞歸系數(shù)是表示要用在對當(dāng)前幀的圖像信號的降噪處理中的先前幀的成分的比例的系數(shù)。在當(dāng)前幀與先前幀之 間的差值大的情況下，通過使用小的遞歸系數(shù)減少殘像，而在差值小的情況下，通過使用大的遞歸系數(shù)降低噪聲。日本特開2000-209507號公報中公開了基于信號差值控制遞歸系數(shù)的方法，這樣計算復(fù)雜度小并且可以降低成本。然而，在隨機(jī)噪聲與幀間的運(yùn)動成分之間的分離精度不夠，因此降噪之后獲得的圖像質(zhì)量不夠。與此同時，在日本特開2009-147822號公報中，當(dāng)通過使用已進(jìn)行空間降噪處理的當(dāng)前幀與一個或多個過去(應(yīng)用空間降噪處理之后的)幀之間的差值來抑制運(yùn)動被攝體的殘像時，削減了時間的隨機(jī)噪聲。利用日本特開2009-147822號公報公開的方法，隨機(jī)噪聲與幀間的運(yùn)動成分之間的分離精度得到改進(jìn)，并且可以獲得相對高的圖像質(zhì)量。然而，日本特開2009-147822號公報沒有公開考慮到圖像幀頻的降噪。幀間的時間上的距離(拍攝時間間隔)根據(jù)圖像幀頻的高低而變化，并且連續(xù)幀間的相關(guān)度也受到影響。然而，傳統(tǒng)上在未考慮幀頻的情況下進(jìn)行統(tǒng)一的降噪處理。相應(yīng)地，利用日本特開2000-209507和2009-147822號公報公開的方法，在圖像幀頻可變的情況下不能實現(xiàn)足夠的效果。

發(fā)明內(nèi)容
考慮到傳統(tǒng)技術(shù)中的上述問題作出了本發(fā)明，并且本發(fā)明提供一種用于對運(yùn)動圖像應(yīng)用遞歸降噪處理的圖像處理設(shè)備及其控制方法，該設(shè)備及方法根據(jù)圖像幀頻實現(xiàn)降噪處理。本發(fā)明的第一方面提供一種圖像處理設(shè)備，用于將遞歸降噪處理應(yīng)用到具有預(yù)定幀頻的運(yùn)動圖像，該圖像處理設(shè)備包括計算單元，用于使用將要應(yīng)用所述遞歸降噪處理的當(dāng)前幀的像素值與已應(yīng)用所述遞歸降噪處理的、作為所述當(dāng)前幀的前一幀的先前幀的像素值，計算表示所述當(dāng)前幀與所述先前幀之間的相關(guān)度的信息；確定單元，用于基于所述相關(guān)度和所述幀頻來確定遞歸系數(shù)，該遞歸系數(shù)是所述先前幀的權(quán)重；第一合成單元，用于使用所述遞歸系數(shù)合成所述先前幀與所述當(dāng)前幀中的像素；以及輸出單元，用于將由所述第一合成單元所獲得的幀作為已應(yīng)用所述遞歸降噪處理的所述當(dāng)前幀進(jìn)行輸出，其中，對于所述計算單元計算出的所述信息所表示的同一相關(guān)度，所述幀頻越低，則所述確定單元將所述遞歸系數(shù)確定得越小。本發(fā)明的第二方面提供一種用于控制圖像處理設(shè)備的方法，該圖像處理設(shè)備用于將遞歸降噪處理應(yīng)用到具有預(yù)定幀頻的運(yùn)動圖像，該方法包括由所述圖像處理設(shè)備中的計算單元執(zhí)行的計算步驟，用于使用將要應(yīng)用所述遞歸降噪處理的當(dāng)前幀的像素值與已應(yīng)用所述遞歸降噪處理的、作為所述當(dāng)前幀 的前一幀的先前幀的像素值，計算表示所述先前幀與所述當(dāng)前幀之間的相關(guān)度的信息；由所述圖像處理設(shè)備中的確定單元執(zhí)行的確定步驟，用于基于所述相關(guān)度和所述幀頻確定遞歸系數(shù)，該遞歸系數(shù)是所述先前幀的權(quán)重；由所述圖像處理設(shè)備中的第一合成單元執(zhí)行的第一合成步驟，用于使用所述遞歸系數(shù)合成所述先前幀和所述當(dāng)前幀中的像素；以及由所述圖像處理設(shè)備中的輸出單元執(zhí)行的輸出步驟，用于將由所述第一合成單元所獲得的幀作為進(jìn)行所述遞歸降噪處理之后的所述當(dāng)前幀進(jìn)行輸出，其中，在所述確定步驟中，對于由所述計算單元計算的所述信息所表示的同一相關(guān)度，所述幀頻越低，則所述確定單元將所述遞歸系數(shù)確定得越小。通過以下參考附圖對典型實施例的說明，本發(fā)明的其它特征將變得明顯。


圖I是示出根據(jù)本發(fā)明的第一實施例的作為圖像處理設(shè)備的例子的數(shù)字照相機(jī)的典型結(jié)構(gòu)的框圖。圖2是示出圖I中的降噪單元4的典型結(jié)構(gòu)的框圖。圖3是說明由降噪單元4中的空間NR單元402進(jìn)行的濾波的圖。圖4是說明由降噪單元4中的LPF 403進(jìn)行的濾波的圖。圖5A和5B是示出根據(jù)本發(fā)明的第一實施例的遞歸系數(shù)的具體例子的圖。圖6是示出根據(jù)本發(fā)明的第二實施例的用作圖像處理設(shè)備的例子的信息處理設(shè)備的典型結(jié)構(gòu)的框圖。圖7是說明根據(jù)第二實施例的信息處理設(shè)備的內(nèi)存映射的例子的圖。圖8是說明根據(jù)第二實施例通過信息處理設(shè)備所進(jìn)行的圖像處理應(yīng)用程序的執(zhí)行的流程圖。圖9是說明在圖8中的S4處的圖像處理的細(xì)節(jié)的流程圖。
具體實施例方式以下將根據(jù)附圖詳細(xì)說明本發(fā)明的典型實施例。第一實施例以下將根據(jù)附圖詳細(xì)說明本發(fā)明的典型實施例。在以下說明中，對具有運(yùn)動圖像拍攝功能的數(shù)字照相機(jī)作為根據(jù)本發(fā)明的圖像處理設(shè)備的例子進(jìn)行說明。然而，運(yùn)動圖像拍攝功能對本發(fā)明來說不是必要的，并且本發(fā)明可應(yīng)用于諸如信息處理設(shè)備等的任何能夠處理運(yùn)動圖像的裝置。數(shù)字照相機(jī)的結(jié)構(gòu)
圖I是示意性示出根據(jù)本實施例的數(shù)字照相機(jī)中與運(yùn)動圖像拍攝以及降噪處理相關(guān)的構(gòu)成元素的框圖。在數(shù)字照相機(jī)100中，由包括光圈和鏡頭的光學(xué)系統(tǒng)I形成的光學(xué)圖像通過諸如CMOS或者CCD圖像傳感器等的圖像傳感器2進(jìn)行光電轉(zhuǎn)換，并且以像素為單位作為模擬圖像信號提供給第一信號處理單元3。第一信號處理單元3對模擬圖像信號進(jìn)行A/D轉(zhuǎn)換和增益控制并且將此信號作為數(shù)字圖像信號提供給降噪單元(NR單元)4。NR單元4對數(shù)字圖像信號應(yīng)用遞歸降噪處理并且將此信號提供給第二信號處理單元5。第二信號處理單元5對已經(jīng)過降噪處理的數(shù)字圖像信號進(jìn)行大小調(diào)整、顏色校準(zhǔn)等等并且將此信號提供給輸出單元6。輸出單元6進(jìn)行下述的一個或多個處理，輸出到諸如HDMI等的輸出接口、記錄在諸如半導(dǎo)體存儲卡等的存儲介質(zhì)上、以及輸出到數(shù)字照相機(jī)100中的顯示裝置(未示出)。n單元8具有諸如開關(guān)、按鈕、以及對顯示裝置(未示出)設(shè)置的觸摸面板等的一個或多個輸入裝置，并且由用戶使用以對數(shù)字照相機(jī)100配置各種設(shè)置或者給出指示。用戶通過n單元8向數(shù)字照相機(jī)100輸入在運(yùn)動圖像拍攝模式與靜止圖像拍攝模式之間切 換的指示，在拍攝模式與再現(xiàn)模式之間切換的指示，運(yùn)動圖像拍攝的開始、暫停以及停止的指示，以及對顯示裝置上所顯示的GUI的操作等?？刂茊卧?控制數(shù)字照相機(jī)100的全部操作?？刂茊卧?包括例如CPU、具有非易失性區(qū)域的RAM以及R0M，并且將ROM中存儲的控制程序展開到RAM，并且CPU隨后執(zhí)行程序以控制每個組件來實現(xiàn)數(shù)字照相機(jī)100的各種功能。通過UI單元8配置的諸如包括圖像幀頻和分辨率的圖像參數(shù)等的設(shè)置值存儲在例如控制單元9中的非易失性RAM里。圖I中示出的組件通過總線7以能夠相互通信的方式連接。NR單元4的結(jié)構(gòu)圖2是示出NR單元4的典型結(jié)構(gòu)的框圖。以下參考圖2說明NR單元4的結(jié)構(gòu)和操作?？臻gNR單元402對通過輸入終端401輸入的來自第一信號處理單元3的數(shù)字圖像信號進(jìn)行二維(空間)降噪處理，并且將此信號提供給低通濾波器(LPF) 403、第一合成單元407以及第二合成單元409。將從例如UI單元8或者控制單元9經(jīng)由總線7輸入的圖像幀頻提供給遞歸系數(shù)計算單元405以及第二合成單元409。LPF 403對已經(jīng)過二維降噪處理的數(shù)字圖像信號進(jìn)行二維低通濾波并且將信號輸出到差值絕對值計算單元404。差值絕對值計算單元404計算在已經(jīng)過二維降噪處理和低通濾波的數(shù)字圖像信號與從幀存儲器408輸出的數(shù)字圖像信號之間的差值絕對值，并且將結(jié)果提供給遞歸系數(shù)計算單元405。遞歸系數(shù)計算單元405基于圖像幀頻和差值絕對值計算遞歸系數(shù)，并且將結(jié)果提供給第一合成單元407。這里，遞歸系數(shù)是表示來自幀存儲器408的過去幀中的圖像信號成分用在當(dāng)前幀的圖像信號的降噪處理中的比例的系數(shù)。第一合成單元407基于來自遞歸系數(shù)計算單元405的遞歸系數(shù)將由空間NR單元402輸出的已降噪的(當(dāng)前幀的)數(shù)字圖像信號與由幀存儲器408輸出的數(shù)字圖像信號進(jìn)行合成。然后，第一合成單元407將合成圖像信號提供給第二合成單元409以及NR單元4下游的第二信號處理單元5。
第二合成單元409基于圖像幀頻將第一合成單元407所輸出的合成圖像信號與已由空間NR單元402進(jìn)行空間降噪處理的當(dāng)前幀的數(shù)字圖像信號進(jìn)行合成，并且將合成信號提供給幀存儲器408。巾貞存儲器408將輸入的圖像信號延遲一巾貞的時間，并且將該信號提供給第一合成單元407和差值絕對值計算單元404。NR單元4的操作的具體例子對由NR單元4進(jìn)行的降噪操作的具體例子進(jìn)行說明。在下面的例子中，假定以從UI單元8所配置的圖像幀頻來拍攝運(yùn)動圖像信號，但是進(jìn)行降噪處理的運(yùn)動圖像數(shù)據(jù)以及用于輸入幀頻的方法不受特別的限制。例如，可以把由輸出單元6從記錄介質(zhì)中讀出的運(yùn)動圖像數(shù)據(jù)和從運(yùn)動圖像數(shù)據(jù)中的報頭等獲得的幀頻提供給NR單元4。幀頻不必須從NR單元4的外部裝置輸入，并且還可以從運(yùn)動圖像數(shù)據(jù)提取或者由NR單元4進(jìn)行判斷。從第一信號處理單元3以幀為單位順次地輸入運(yùn)動圖像信號。在本實施例中，運(yùn)動圖像的分辨率為1920像素xl080像素，并且圖像幀頻可以從60幀每秒(fps)和24fps中選擇。圖像感光度(ISO感光度)假定為12800。空間NR單元402利用e -濾波器進(jìn)行空間降噪處理。假定關(guān)注像素的像素值為Xn,通過使用相鄰像素值Xn_5至Xn+5進(jìn)行平滑來降低噪聲，其中如圖3所示、只使用處于關(guān)注像素的像素值乂 與e之間的差值的范圍內(nèi)的像素值。在圖3的例子中，Xn_5、Xn_2和Xn+4與Xn的差值超過了 e，它們被替換為Xn，并且計算Xn_5至Xn+5的加權(quán)平均。計算公式如下所示
權(quán)利要求
1.一種圖像處理設(shè)備，用于將遞歸降噪處理應(yīng)用到具有預(yù)定幀頻的運(yùn)動圖像，該圖像處理設(shè)備包括 計算單元，用于使用將要應(yīng)用所述遞歸降噪處理的當(dāng)前幀的像素值與已應(yīng)用所述遞歸降噪處理的、作為所述當(dāng)前幀的前一幀的先前幀的像素值，計算表示所述當(dāng)前幀與所述先前幀之間的相關(guān)度的信息； 確定單元，用于基于所述相關(guān)度和所述幀頻來確定遞歸系數(shù)，該遞歸系數(shù)是所述先前幀的權(quán)重； 第一合成單元，用于使用所述遞歸系數(shù)合成所述先前幀與所述當(dāng)前幀中的像素；以及輸出單元，用于將由所述第一合成單元所獲得的幀作為已應(yīng)用所述遞歸降噪處理的所述當(dāng)前幀進(jìn)行輸出， 其中，對于所述計算單元計算出的所述信息所表示的同一相關(guān)度，所述幀頻越低，則所述確定單元將所述遞歸系數(shù)確定得越小。
2.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在于，對于同一幀頻，所述相關(guān)度越高，則所述確定單元將所述遞歸系數(shù)確定得越大。
3.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在于，還包括用于對進(jìn)行所述遞歸降噪處理之前的所述當(dāng)前幀與進(jìn)行所述遞歸降噪處理之后的所述當(dāng)前幀中的像素進(jìn)行合成的第二合成單元， 其中，所述第二合成單元進(jìn)行所述合成，以使得所述幀頻越低，則進(jìn)行所述遞歸降噪處理之后的所述當(dāng)前幀的權(quán)重越小，以及 所述第一合成單元合成由所述第二合成單元獲得的幀與所述當(dāng)前幀中的像素。
4.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在于，還包括濾波單元，所述濾波單元用于在應(yīng)用所述遞歸降噪處理之前對所述當(dāng)前幀應(yīng)用空間降噪處理。
5.根據(jù)權(quán)利要求I至4中任一項所述的圖像處理設(shè)備，其特征在于，所述計算單元計算所述當(dāng)前幀與所述先前幀中的像素值之間的差值作為表示所述相關(guān)度的信息。
6.一種用于控制圖像處理設(shè)備的方法，該圖像處理設(shè)備用于將遞歸降噪處理應(yīng)用到具有預(yù)定幀頻的運(yùn)動圖像，該方法包括 由所述圖像處理設(shè)備中的計算單元執(zhí)行的計算步驟，用于使用將要應(yīng)用所述遞歸降噪處理的當(dāng)前幀的像素值與已應(yīng)用所述遞歸降噪處理的、作為所述當(dāng)前幀的前一幀的先前幀的像素值，計算表示所述當(dāng)前幀與所述先前幀之間的相關(guān)度的信息； 由所述圖像處理設(shè)備中的確定單元執(zhí)行的確定步驟，用于基于所述相關(guān)度和所述幀頻來確定遞歸系數(shù)，該遞歸系數(shù)是所述先前幀的權(quán)重； 由所述圖像處理設(shè)備中的第一合成單元執(zhí)行的第一合成步驟，用于使用所述遞歸系數(shù)合成所述先前幀與所述當(dāng)前幀中的像素；以及 由所述圖像處理設(shè)備中的輸出單元執(zhí)行的輸出步驟，用于將由所述第一合成單元所獲得的幀作為進(jìn)行所述遞歸降噪處理之后的所述當(dāng)前幀進(jìn)行輸出， 其中，在所述確定步驟中，對于所述計算單元計算出的所述信息所表示的同一相關(guān)度，所述幀頻越低，則所述確定單元將所述遞歸系數(shù)確定得越小。
全文摘要
本發(fā)明涉及圖像處理設(shè)備及其控制方法。在圖像處理設(shè)備中，基于在應(yīng)用遞歸降噪處理之前的當(dāng)前幀中的像素值以及在進(jìn)行遞歸降噪處理之后的先前幀中的像素值來計算表示在當(dāng)前幀與先前幀之間的相關(guān)度的信息。然后，基于相關(guān)度和運(yùn)動圖像的幀頻來確定遞歸系數(shù)，即先前幀的權(quán)重。通過利用遞歸系數(shù)合成先前幀和當(dāng)前幀中的像素來將遞歸降噪處理應(yīng)用到當(dāng)前幀。對于相同的相關(guān)度，幀頻越低，則確定為遞歸系數(shù)越小。實現(xiàn)了根據(jù)圖像幀頻的降噪處理。
文檔編號H04N5/21GK102761682SQ201210135418
公開日2012年10月31日 申請日期2012年5月2日 優(yōu)先權(quán)日2011年4月28日
發(fā)明者青景弘典 申請人:佳能株式會社