專利名稱：影像處理裝置及其處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種影像處理裝置及其處理方法，尤其涉及一種可進行空間/時間噪聲抑制(spatial/temparal noise reduction)功能的影像處理裝置及其處理方法。
背景技術(shù)：
多媒體技術(shù)的精進使現(xiàn)代人對高畫質(zhì)影像的要求日漸提高。而影像品質(zhì)的好壞與在獲取影像、信號轉(zhuǎn)換以及傳輸過程中所伴隨產(chǎn)生的噪聲量有相當大的關(guān)連。為了有效地去除噪聲以提高影像品質(zhì)，在影像處理領(lǐng)域中關(guān)于噪聲消除的研究也越來越受到重視。圖1顯示為現(xiàn)有一種影像處理裝置100的方框圖。請參照圖1，影像獲取模塊110用以獲取貝爾圖(Bayer pattern)影像，并且經(jīng)過垂直線扭曲校正(Vertical DistortionCorrection, VDC)模塊120用以補償垂直線失真問題。接著，影像再制管線(ImageReproduce Pipeline, IRP)模塊130先將貝爾圖影像轉(zhuǎn)換成亮度彩度(YCbCr)格式影像后，再傳送至幾何轉(zhuǎn)換模塊140進行幾何補償以修正影像在獲取過程中因鏡頭所造成的失真問題。由于影像在獲取過程中，容易因晃動或手振導致影像失真，因此，將YCbCr格式影像經(jīng)過縮放模塊150縮小影像后，影像穩(wěn)定模塊160利用縮小后的亮度通道影像與原尺寸的亮度通道影像進行移動量估測(motion estimation)及移動量校正(motion correction)。最后，再經(jīng)由二維噪聲抑制模塊170針對每一張影像進行二維空間的去噪聲處理后，便可進行儲存或播放。如圖1所示的影像Imgl Img5,代表影像在不同的模塊之間，都必須經(jīng)過動態(tài)隨機存取存儲器(Dynamic Random Access Memory, DRAM)的儲存，以供中央處理單元(Central Processing Unit, CPU)進行運算處理。然而,影像處理裝置100的動態(tài)隨機存取存儲器空間有限，因此如圖1所示的影像處理裝置100的架構(gòu)，已使用大部分的動態(tài)隨機存取存儲器空間，使得現(xiàn)有的影像處理裝置100已無法再容納其他處理模塊。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明提供一種影像處理裝置及其處理方法，可藉由影像穩(wěn)定模塊所產(chǎn)生的信息對貝爾圖影像進行時間噪聲抑制處理，藉以提升影像品質(zhì)。從一觀點來看，本發(fā)明提出一種影像處理裝置，其包括影像獲取模塊、影像分離模塊、影像穩(wěn)定模塊、時間噪聲抑制模塊以及空間噪聲抑制模塊。其中，影像獲取模塊獲取多個貝爾圖(Bayer pattern)影像。影像分離模塊耦接至影像獲取模塊，縮小并將貝爾圖影像轉(zhuǎn)換成多個第一亮度彩度(YCbCr)格式影像。影像穩(wěn)定模塊耦接至影像獲取模塊及影像分離模塊，用以接收第一亮度彩度格式影像中的亮度通道(Y channel)影像以及貝爾圖影像以進行移動量估測，藉以產(chǎn)生多個全域移動向量。時間噪聲抑制模塊(temparal noisereduction)耦接至影像獲取模塊及影像穩(wěn)定模塊，依據(jù)全域移動向量對貝爾圖影像進行時間疊合(temporalblending)處理,藉以產(chǎn)生多個第一噪聲抑制影像?？臻g噪聲抑制模塊(spatial noise reduction)稱接至時間噪聲抑制模塊,對第一噪聲抑制影像進行二維空間的去噪聲處理以產(chǎn)生第二噪聲抑制影像。在本發(fā)明的一實施例中，所述的時間噪聲抑制模塊依據(jù)全域移動向量對齊貝爾圖影像，并對貝爾圖影像之間的顏色與亮度差距進行時間疊合處理，以產(chǎn)生第一噪聲抑制影像。在本發(fā)明的一實施例中，所述的影像處理裝置還包括耦接至影像獲取模塊與影像穩(wěn)定模塊的垂直線扭曲校正(vertical distortion correction, VDC)模塊。垂直線扭曲校正模塊用以接收貝爾圖影像，對貝爾圖影像進行鏡頭失真校正，并將校正后的貝爾圖影像傳送至影像穩(wěn)定模塊進行處理。在本發(fā)明的一實施例中，所述的空間噪聲抑制模塊包括耦接至時間噪聲抑制模塊的影像再制管線(image reproduce pipeline, IRP)單元。影像再制管線單元將第一噪聲抑制影像轉(zhuǎn)換成多個第二亮度彩度格式影像。在本發(fā)明的一實施例中，所述的空間噪聲抑制模塊包括耦接至影像再制管線單元的幾何轉(zhuǎn)換單元。幾何轉(zhuǎn)換單元依據(jù)多個仿置矩陣(affinetransformation)對第二亮度彩度格式影像進行校正，藉以補償幾何失真問題。在本發(fā)明的一實施例中，所述的空間噪聲抑制模塊包括耦接至幾何轉(zhuǎn)換單元的銳化降噪處理單元。銳化降噪處理單元對第二亮度彩度格式影像中的亮度通道影像進行銳化處理，且對第二亮度彩度格式影像中的彩度通道影像進行二維空間的去噪聲處理，以產(chǎn)生第二噪聲抑制影像。在本發(fā)明的一實施例中，所述的影像處理裝置還包括耦接至空間噪聲抑制模塊的壓縮模塊。壓縮模塊對第二噪聲抑制影像進行壓縮，并儲存壓縮后的第二噪聲抑制影像。在本發(fā)明的一實施例中，所述的影像處理裝置還包括耦接至空間噪聲抑制模塊的顯示模塊，藉以播放第二噪聲抑制影像。從另一觀點來看，本發(fā)明提出一種影像處理方法，包括下列步驟。首先，獲取多個貝爾圖影像。縮小并轉(zhuǎn)換貝爾圖影像以產(chǎn)生多個第一亮度彩度格式影像。然后，接收第一亮度彩度格式影像中的亮度通道影像及貝爾圖影像以進行移動量估測，藉以產(chǎn)生多個全域移動向量。并依據(jù)這些全域移動向量對貝爾圖影像進行時間疊合處理，藉以產(chǎn)生多個第一噪聲抑制影像。此外，還可對第一噪聲抑制影像進行二維空間的去噪聲處理以產(chǎn)生多個第二噪聲抑制影像。在本發(fā)明的一實施例中，所述的依據(jù)全域移動向量對貝爾圖影像進行時間疊合處理以產(chǎn)生第一噪聲抑制影像的步驟包括依據(jù)全域移動向量對齊該些貝爾圖影像，并對貝爾圖影像之間的顏色與亮度差距進行時間疊合處理，以產(chǎn)生第一噪聲抑制影像。在本發(fā)明的一實施例中，其中在獲取該些貝爾圖影像的步驟之后還包括對貝爾圖影像進行垂直線扭曲校正。在本發(fā)明的一實施例中，所述的對第一噪聲抑制影像進行二維空間的去噪聲處理以產(chǎn)生第二噪聲抑制影像包括下列步驟。先將第一噪聲抑制影像轉(zhuǎn)換成多個第二亮度彩度格式影像。并依據(jù)多個仿置矩陣對第二亮度彩度格式影像進行校正，藉以補償幾何失真問題。此外，對第二亮度彩度格式影像中的亮度通道影像進行銳化處理，且對第二亮度彩度格式影像中的彩度通道(Cb/Cr channel)影像進行二維空間的去噪聲處理，以產(chǎn)生第二噪聲抑制影像。
在本發(fā)明的一實施例中，其中在產(chǎn)生第二噪聲抑制影像的步驟之后還包括對第二噪聲抑制影像進行壓縮，并儲存壓縮后的第二噪聲抑制影像。在本發(fā)明的一實施例中，其中在產(chǎn)生第二噪聲抑制影像的步驟之后還包括將第二噪聲抑制影像傳送至顯示模塊以播放第二噪聲抑制影像。基于上述，本發(fā)明所提供的影像處理裝置及其處理方法，在有限的動態(tài)隨機存取存儲器之下，藉由影像穩(wěn)定模塊所產(chǎn)生的信息對貝爾圖影像進行時間噪聲抑制處理，且仍可對貝爾圖影像進行空間噪聲抑制處理，因此可大幅提升影像品質(zhì)。為讓本發(fā)明的上述特征和優(yōu)點能更明顯易懂，下文特舉實施例，并配合附圖作詳細說明如下。


圖1顯示為現(xiàn)有一種影像處理裝置的方框圖。圖2是依照本發(fā)明一實施例所顯示的影像處理裝置的方框圖。圖3是依照本發(fā)明一實施例所顯示的一種影像處理方法的流程圖。圖4是依照本發(fā)明一實施例的空間噪聲抑制模塊250的一實施方式。圖5是依照本發(fā)明另一實施例所顯示的影像處理裝置的方框圖。附圖標記:100、200、500:影像處理裝置110、210:影像獲取模塊120、560:垂直線扭曲校正模塊130:影像再制管線模塊140:幾何轉(zhuǎn)換模塊150:縮放模塊160、230:影像穩(wěn)定模塊170: 二維噪聲抑制模塊220:影像分離模塊240:時間噪聲抑制模塊250:空間噪聲抑制模塊252:影像再制管線單元254:幾何轉(zhuǎn)換單元256:銳化降噪處理單元570:壓縮模塊580:顯示模塊X，Y:全域移動向量Imgl Img16:影像S310 S350:影像處理方法的各步驟
具體實施例方式圖2是依照本發(fā)明一實施例所顯示的影像處理裝置的方框圖。請參照圖2，本實施例的影像處理裝置200例如是數(shù)碼相機、單眼相機、數(shù)碼攝像機或是其他具有影像處理功能的智能型手機、平板計算機等等，不限于上述。影像處理裝置200包括影像獲取模塊210、影像分離模塊220、影像穩(wěn)定模塊230、時間噪聲抑制模塊240以及空間噪聲抑制模塊250。其功能分述如下:影像獲取模塊210可包括鏡頭、感光元件以及光圈等，用以獲取貝爾圖影像。影像分離模塊220主要包括兩個功能，其一是可縮小貝爾圖影像，另一是可將貝爾圖影像轉(zhuǎn)換成第一亮度彩度(YCbCr)格式影像(以下簡稱YCbCr格式影像)。影像穩(wěn)定模塊230進行移動量估測，并可執(zhí)行移動量校正。時間噪聲抑制模塊240可對影像進行時間疊合處理，以達到降低噪聲的目的?？臻g噪聲抑制模塊250則是對影像進行二維空間的去噪聲處理。上述的各模塊皆由硬件所組成。硬件例如是一般用途或特殊用途的微處理器(Microprocessor)、數(shù)碼信號處理器(DigitalSignal Processor, DSP)或其他類似裝置。圖3是依照本發(fā)明一實施例所顯示的一種影像處理方法的流程圖。請參照圖3，本實施例的方法適用于圖2的影像處理裝置200，以下即搭配圖2中的各模塊說明本實施例影像處理方法的詳細步驟:首先如步驟S310所述，影像獲取模塊210獲取多個貝爾圖影像Img6，并可將這些貝爾圖影像Img6分別傳送至影像分離模塊220、影像穩(wěn)定模塊230以及時間噪聲抑制模塊240以進行進一步地處理。于步驟S320中，影像分離模塊220縮小并將貝爾圖影像轉(zhuǎn)換成多個第一 YCbCr格式影像，其中縮小的比例可依實際需求做設(shè)定。在此須特別說明的是，影像分離模塊220可直接對影像獲取模塊210所獲取的貝爾圖影像Img6進行縮小，而不需要經(jīng)過動態(tài)隨機存取存儲器的讀取，因此可節(jié)省動態(tài)隨機存取存儲器的頻寬。接著于步驟S330，影像穩(wěn)定模塊230接收影像分離模塊220所產(chǎn)生的第一 YCbCr格式影像中的亮度通道影像Img7，并利用亮度通道影像Img7與貝爾圖影像Img6進行移動量估測，藉以產(chǎn)生全域移動向量X，Y，并將此全域移動向量X，Y傳送至時間噪聲抑制模塊240，本發(fā)明并不對計算全域移動向量的方式加以限制。如步驟S340所述，時間噪聲抑制模塊240接收影像穩(wěn)定模塊230所產(chǎn)生的全域移動向量X，Y，并依據(jù)此全域移動向量X，Y對貝爾圖影像Imge進行時間疊合處理，藉以產(chǎn)生多個第一噪聲抑制影像Img8，其中，第一噪聲抑制影像ImgS仍為貝爾圖格式影像。更詳細地說，時間噪聲抑制模塊240依據(jù)全域移動向量X，Y對齊多個貝爾圖影像Img6，并對貝爾圖影像Img6之間的顏色與亮度差距采用不同的權(quán)重值進行時間疊合處理，以產(chǎn)生第一噪聲抑制影像Img8。所謂根據(jù)顏色與亮度差距采用不同的權(quán)重值進行時間疊合處理是為了避免在多個貝爾圖影像Img6之間的顏色與亮度差距過大時，進行不當疊合處理而使第一噪聲抑制影像Img8產(chǎn)生鬼影(ghost)的狀況。接下來在步驟S350中，空間噪聲抑制模塊250耦接至時間噪聲抑制模塊240，對第一噪聲抑制影像ImgS進行二維空間的去噪聲處理以產(chǎn)生第二噪聲抑制影像Img9，其中，第二噪聲抑制影像Img9為第二 YCbCr格式影像，其中第二 YCbCr格式影像的尺寸大于第一 YCbCr格式影像的尺寸，舉例來說，第一 YCbCr格式影像的尺寸例如為320X160 ;第二YCbCr格式影像的尺寸例如為1280X720。空間噪聲抑制模塊250可包括補償鏡頭失真的幾何補償功能、銳化以及二維空間去噪聲處理功能等。如圖4所示，圖4是依照本發(fā)明一實施例的空間噪聲抑制模塊250的一實施方式。請同時配合參照圖2與圖4，空間噪聲抑制模塊250包括影像再制管線單元252、幾何轉(zhuǎn)換單元254以及銳化降噪處理單元256。影像再制管線單元252將接收自時間噪聲抑制模塊240的第一噪聲抑制影像Img8轉(zhuǎn)換成第二 YCbCr格式影像ImglO。接著，幾何轉(zhuǎn)換單元254接收此第二 YCbCr格式影像ImglO,依據(jù)仿置矩陣對第二 YCbCr格式影像ImglO進行校正，藉以補償幾何失真或進行幾何校正。最后，在本實施例中，耦接至幾何轉(zhuǎn)換單元254的銳化降噪處理單元256對第二YCbCr格式影像Imgll中的亮度通道影像進行銳化處理，并且對第二 YCbCr格式影像Imgll中的彩度通道影像進行二維空間的去噪聲處理，以產(chǎn)生第二噪聲抑制影像Img9。如圖2所示，本實施例是通過時間噪聲抑制模塊240進行時間疊合處理以及空間噪聲抑制模塊250進行二維空間的去噪聲處理來達到三維噪聲抑制(3-dimensional NoiseReduction, 3DNR)的效果?；?，對于具有高巾貞速率(frame rate)與高解析度的影像處理裝置來說，便能藉由圖3所示的各步驟而更有效地消除其所拍攝的影像中的噪聲，進而提升影像品質(zhì)。以下另舉一實施例作為范例說明，圖5是依照本發(fā)明另一實施例所顯示的影像處理裝置的方框圖。請參照圖5，在本實施例中，影像處理裝置500除了包括影像獲取模塊210、影像分離模塊220、影像穩(wěn)定模塊230、時間噪聲抑制模塊240以及空間噪聲抑制模塊250之外，還包括垂直線扭曲校正模塊560、壓縮模塊570以及顯示模塊580。由于圖5所示的影像處理裝置500與圖2所示的影像處理裝置200大致相似，故以下僅就兩者不同之處進行說明。垂直線扭曲校正模塊560耦接于影像獲取模塊210與影像穩(wěn)定模塊230之間，用以接收貝爾圖影像Imgl2，對貝爾圖影像Imgl2進行鏡頭失真校正，并將校正后的貝爾圖影像Imgl3傳送至影像穩(wěn)定模塊230與時間噪聲抑制模塊240進行處理。壓縮模塊570與顯示模塊580則分別耦接至空間噪聲抑制模塊250。壓縮模塊570對第二噪聲抑制影像Imgl6進行壓縮,例如可采用聯(lián)合影像專家群組(Joint PhotographicCoding Expert Group, JPEG)或H.264壓縮標準并儲存壓縮后的第二噪聲抑制影像。顯示模塊580可用以播放第二噪聲抑制影像Imgl6，需說明的是，第二噪聲抑制影像Imgl6在進行播放之前，還可根據(jù)顯示模塊580的螢幕尺寸進行縮放，以產(chǎn)生適合顯示模塊580播放的影像尺寸。表一與表二為在相同的測試條件下，分別對現(xiàn)有的影像處理裝置100與本實施例的影像處理裝置500進行處理的動態(tài)隨機存取存儲器使用情況。其中存儲器頻寬(memorybandwidth)表示各模塊平均每秒所需的百萬位元(MB/s)存儲空間。表一、現(xiàn)有的影像處理裝置100的動態(tài)隨機存取存儲器使用情況
權(quán)利要求
1.一種影像處理裝置，包括: 一影像獲取模塊，獲取多個貝爾圖影像； 一影像分離模塊，耦接至該影像獲取模塊，縮小并轉(zhuǎn)換該些貝爾圖影像以產(chǎn)生多個第一亮度彩度格式影像； 一影像穩(wěn)定模塊，耦接至該影像獲取模塊與該影像分離模塊，接收該些第一亮度彩度格式影像中的亮度通道影像及該些貝爾圖影像以進行移動量估測，藉以產(chǎn)生多個全域移動向量; 一時間噪聲抑制模塊，耦接至該影像獲取模塊與該影像穩(wěn)定模塊，依據(jù)該些全域移動向量對該些貝爾圖影像進行一時間疊合處理以產(chǎn)生多個第一噪聲抑制影像；以及 一空間噪聲抑制模塊，耦接至該時間噪聲抑制模塊，對該些第一噪聲抑制影像進行二維空間的去噪聲處理以產(chǎn)生多個第二噪聲抑制影像。
2.根據(jù)權(quán)利要求1所述的影像處理裝置，其中: 該時間噪聲抑制模塊依據(jù)該些全域移動向量對齊該些貝爾圖影像，并對該些貝爾圖影像之間的顏色與亮度差距進行時間疊合處理，以產(chǎn)生該些第一噪聲抑制影像。
3.根據(jù)權(quán)利要求1所述的影像處理裝置，其中還包括: 一垂直線扭曲校正模塊，耦接至該影像獲取模塊與該影像穩(wěn)定模塊，接收該影像獲取模塊所獲取的該些貝爾 圖影像，該垂直線扭曲校正模塊對該些貝爾圖影像進行鏡頭失真校正，并將校正后的該些貝爾圖影像傳送至該影像穩(wěn)定模塊進行處理。
4.根據(jù)權(quán)利要求1所述的影像處理裝置，其中該空間噪聲抑制模塊包括: 一影像再制管線單元，耦接至該時間噪聲抑制模塊，將該些第一噪聲抑制影像轉(zhuǎn)換成多個第二亮度彩度格式影像。
5.根據(jù)權(quán)利要求4所述的影像處理裝置，其中該空間噪聲抑制模塊包括: 一幾何轉(zhuǎn)換單元，耦接至該影像再制管線單元，對該些第二亮度彩度格式影像依據(jù)多個仿置矩陣進行校正，藉以補償幾何失真問題。
6.根據(jù)權(quán)利要求5所述的影像處理裝置，其中該空間噪聲抑制模塊包括: 一銳化降噪處理單元，耦接至該幾何轉(zhuǎn)換單元，對該些第二亮度彩度格式影像中的亮度通道影像進行銳化處理，且對該些第二亮度彩度格式影像中的彩度通道影像進行二維空間的去噪聲處理，以產(chǎn)生該些第二噪聲抑制影像。
7.根據(jù)權(quán)利要求1所述的影像處理裝置，其中還包括: 一壓縮模塊，耦接至該空間噪聲抑制模塊，對該些第二噪聲抑制影像進行壓縮，并儲存壓縮后的該些第二噪聲抑制影像。
8.根據(jù)權(quán)利要求1所述的影像處理裝置，其中還包括: 一顯示模塊，耦接至該空間噪聲抑制模塊，藉以播放該些第二噪聲抑制影像。
9.一種影像處理方法，包括: 獲取多個貝爾圖影像； 縮小并轉(zhuǎn)換該些貝爾圖影像以產(chǎn)生多個第一亮度彩度格式影像； 接收該些第一亮度彩度格式影像中的亮度通道影像及該些貝爾圖影像以進行移動量估測，藉以產(chǎn)生多個全域移動向量； 依據(jù)該些全域移動向量對該些貝爾圖影像進行一時間疊合處理以產(chǎn)生多個第一噪聲抑制影像；以及 對該些第一噪聲抑制影像進行二維空間的去噪聲處理以產(chǎn)生多個第二噪聲抑制影像。
10.根據(jù)權(quán)利要求9所述的影像處理方法，其中依據(jù)該些全域移動向量對該些貝爾圖影像進行該時間疊合處理以產(chǎn)生該些第一噪聲抑制影像的步驟包括: 依據(jù)該些全域移動向量對齊該些貝爾圖影像，并對該些貝爾圖影像之間的顏色與亮度差距進行時間疊合處理，以產(chǎn)生該些第一噪聲抑制影像。
11.根據(jù)權(quán)利要求9所述的影像處理方法，其中在獲取該些貝爾圖影像的步驟之后還包括: 對該些貝爾圖影像進行垂直線扭曲校正。
12.根據(jù)權(quán)利要求9所述的影像處理方法，其中對該些第一噪聲抑制影像進行二維空間的去噪聲處理以產(chǎn)生該些第二噪聲抑制影像的步驟包括: 將該些第一噪聲抑制影像轉(zhuǎn)換成多個第二亮度彩度格式影像； 對該些第二亮度彩度格式影像依據(jù)多個仿置矩陣進行校正，藉以補償幾何失真問題；以及 對該些第二亮度彩度格式影像中的亮度通道影像進行銳化處理，且對該些第二亮度彩度格式影像中的彩度通道影像進行二維空間的去噪聲處理，以產(chǎn)生該些第二噪聲抑制影像。
13.根據(jù)權(quán)利要求9所述的影像處理方法，在產(chǎn)生該些第二噪聲抑制影像的步驟之后還包括: 對該些第二噪聲抑制影像進行壓縮，并儲存壓縮后的該些第二噪聲抑制影像。
14.根據(jù)權(quán)利要求9所述的影像處理方法，在產(chǎn)生該些第二噪聲抑制影像的步驟之后還包括: 將該些第二噪聲抑制影像傳送至一顯示模塊以播放該些第二噪聲抑制影像。
全文摘要
本發(fā)明提出一種影像處理裝置及其處理方法，其包括影像獲取模塊、影像分離模塊、影像穩(wěn)定模塊、時間噪聲抑制模塊以及空間噪聲抑制模塊。影像獲取模塊獲取貝爾圖影像。影像分離模塊縮小并將貝爾圖影像轉(zhuǎn)換成亮度彩度格式影像。影像穩(wěn)定模塊接收亮度彩度格式影像中的亮度通道影像以及貝爾圖影像以進行移動量估測，藉以產(chǎn)生全域移動向量。時間噪聲抑制模塊依據(jù)全域移動向量對貝爾圖影像進行時間疊合處理，藉以產(chǎn)生第一噪聲抑制影像?？臻g噪聲抑制模塊對第一噪聲抑制影像進行二維空間的去噪聲處理以產(chǎn)生第二噪聲抑制影像。
文檔編號H04N9/64GK103139448SQ20111037343
公開日2013年6月5日 申請日期2011年11月22日 優(yōu)先權(quán)日2011年11月22日
發(fā)明者許祺東, 莊時芳 申請人:華晶科技股份有限公司