圖像處理設(shè)備和圖像處理設(shè)備的控制方法
【專(zhuān)利摘要】本發(fā)明提供一種圖像處理設(shè)備和圖像處理設(shè)備的控制方法。該圖像處理設(shè)備能夠在防止用于存儲(chǔ)不同頻帶的多個(gè)圖像數(shù)據(jù)的存儲(chǔ)器的容量增大的同時(shí)執(zhí)行適當(dāng)?shù)膱D像處理。該圖像處理設(shè)備將不同頻帶的多個(gè)圖像數(shù)據(jù)中具有最高頻率的第一圖像數(shù)據(jù)以該第一圖像數(shù)據(jù)的各像素包括多個(gè)顏色中的任意顏色的顏色成分信號(hào)的狀態(tài)存儲(chǔ)在存儲(chǔ)器上，并且進(jìn)一步將頻帶低于第一圖像數(shù)據(jù)的頻帶的第二圖像數(shù)據(jù)和第三圖像數(shù)據(jù)以該第二圖像數(shù)據(jù)和第三圖像數(shù)據(jù)各自的部分或者全部像素具有多個(gè)顏色的顏色成分信號(hào)的狀態(tài)存儲(chǔ)在存儲(chǔ)器上。
【專(zhuān)利說(shuō)明】圖像處理設(shè)備和圖像處理設(shè)備的控制方法
[0001](本申請(qǐng)是申請(qǐng)日為2011年5月6日、申請(qǐng)?zhí)枮?01180023704.5、發(fā)明名稱(chēng)為“圖像處理設(shè)備和圖像處理設(shè)備的控制方法”的申請(qǐng)的分案申請(qǐng)。)

【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及一種用于對(duì)基于一個(gè)圖像數(shù)據(jù)所生成的并且經(jīng)過(guò)圖像處理的不同頻帶的多個(gè)圖像數(shù)據(jù)進(jìn)行合成的技術(shù)。

【背景技術(shù)】
[0003]通常，諸如數(shù)字照相機(jī)或攝像機(jī)等的攝像設(shè)備從諸如電荷耦合裝置(CXD)或者互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器等的圖像傳感器讀取圖像數(shù)據(jù)，并且執(zhí)行包括伽瑪校正、像素插值和矩陣變換等的各種圖像處理。由單板構(gòu)成的圖像傳感器包括用于多個(gè)顏色的顏色濾波器。在這樣的圖像傳感器中，對(duì)于每一像素設(shè)置多個(gè)顏色中的任意顏色用的一個(gè)顏色濾波器。如圖4所示，具有包括紅色(R)、綠色(G)和藍(lán)色(B)的原色(RGB)用的顏色濾波器的Bayer陣列的圖像傳感器，其通常具有下面的遞歸像素圖案。更具體地，在該遞歸像素圖案中，一個(gè)垂直2像素X水平2像素的像素塊的四個(gè)像素包括對(duì)角設(shè)置的一個(gè)R像素和一個(gè)B像素以及相反對(duì)角設(shè)置的其它兩個(gè)G像素。
[0004]從圖像傳感器所讀取的圖像數(shù)據(jù)可能通常包括圖像傳感器的構(gòu)成電路可能導(dǎo)致的噪聲成分。此外，在從圖像傳感器所讀取的圖像數(shù)據(jù)中，可能發(fā)生偽色現(xiàn)象。因此，對(duì)圖像數(shù)據(jù)進(jìn)行用于減少上述不必要的信號(hào)成分的圖像處理。
[0005]例如，有一種傳統(tǒng)方法，該方法通過(guò)將輸入圖像數(shù)據(jù)分成不同頻帶的多個(gè)圖像數(shù)據(jù)，并且隨后將這些不同頻帶的多個(gè)圖像數(shù)據(jù)合成在一起，來(lái)減少圖像數(shù)據(jù)中所包括的不必要的信號(hào)成分。
[0006]日本特開(kāi)2008-015741號(hào)公報(bào)所述的方法首先對(duì)圖像數(shù)據(jù)分層執(zhí)行低通濾波(LPF)處理和縮小處理，以將輸入圖像數(shù)據(jù)分成不同頻帶的多個(gè)圖像數(shù)據(jù)。然后，根據(jù)基于各頻帶的圖像數(shù)據(jù)的低頻帶成分所計(jì)算出的邊緣信息，對(duì)與各頻帶相對(duì)應(yīng)的多個(gè)圖像數(shù)據(jù)的高頻帶成分進(jìn)行降噪。隨后，將低頻帶的圖像數(shù)據(jù)和各自經(jīng)過(guò)了降噪的高頻帶的圖像數(shù)據(jù)合成在一起。
[0007]下面將參考圖5詳細(xì)說(shuō)明一般的圖像處理單元的結(jié)構(gòu)，其中，該圖像處理單元首先將輸入圖像數(shù)據(jù)分成不同頻帶的多個(gè)圖像數(shù)據(jù)，并且隨后將這些不同頻帶的多個(gè)圖像數(shù)據(jù)合成在一起。
[0008]參考圖5，圖像處理單元包括分割單元510、存儲(chǔ)器520、校正單元530和合成單元540。分割單元510將輸入圖像數(shù)據(jù)分割成不同頻帶的多個(gè)圖像數(shù)據(jù)。校正單元530對(duì)各頻帶的圖像數(shù)據(jù)執(zhí)行校正。合成單元540將圖像處理后的不同頻帶的多個(gè)圖像數(shù)據(jù)合成在一起。
[0009]分割單元510將輸入圖像數(shù)據(jù)Sin作為第一頻帶的圖像數(shù)據(jù)輸出至存儲(chǔ)器520。然后，分割單元510將輸入圖像數(shù)據(jù)Sin輸入至高通濾波器(HPF) 511。此外，分割單元510將通過(guò)提取高頻成分所生成的圖像數(shù)據(jù)作為第一頻帶的圖像數(shù)據(jù)輸出至存儲(chǔ)器520。然后，分割單元510將輸入圖像數(shù)據(jù)Sin輸入至低通濾波器512以對(duì)圖像數(shù)據(jù)Sin執(zhí)行平滑化。隨后，將平滑后的圖像數(shù)據(jù)輸入至縮小電路513。因此，生成了像素少于輸入圖像數(shù)據(jù)Sin的像素的圖像數(shù)據(jù)。此外，分割單元510將該圖像數(shù)據(jù)輸入至高通濾波器514。此外，分割單元510將通過(guò)提取高頻成分所生成的圖像數(shù)據(jù)作為第二頻帶的圖像數(shù)據(jù)輸出至存儲(chǔ)器520。
[0010]另外，低通濾波器515對(duì)縮小電路513所生成的圖像數(shù)據(jù)執(zhí)行平滑化。然后，將平滑后的圖像數(shù)據(jù)輸入至縮小電路516。因此，生成了像素少于縮小電路513所生成的圖像數(shù)據(jù)的像素的圖像數(shù)據(jù)。然后，將該圖像數(shù)據(jù)作為第三頻帶的圖像數(shù)據(jù)輸出至存儲(chǔ)器520。第一頻帶是最高頻帶，并且第二頻帶和第三頻帶依次逐漸降低。
[0011]在圖5所示的分割單元510中，高通濾波器、低通濾波器和縮小電路構(gòu)成一個(gè)帶分割電路。換句話(huà)說(shuō)，分割單元510包括以樹(shù)狀結(jié)構(gòu)設(shè)置的兩個(gè)帶分割電路。
[0012]校正單元530包括分別與第一頻帶?第三頻帶的圖像數(shù)據(jù)相對(duì)應(yīng)的三個(gè)校正電路531?533。校正電路531?533對(duì)從存儲(chǔ)器520讀取的各頻帶的圖像數(shù)據(jù)執(zhí)行諸如像差校正或用于生成高清晰度圖像的降噪和邊緣信息存儲(chǔ)處理等的各種處理。
[0013]合成單元540將校正電路533進(jìn)行了處理的第三頻帶的圖像數(shù)據(jù)輸入至放大電路541，以生成像素?cái)?shù)量與校正電路532進(jìn)行了處理的第二頻帶的圖像數(shù)據(jù)的像素?cái)?shù)量相同的圖像數(shù)據(jù)。然后，通過(guò)低通濾波器542對(duì)所生成的圖像數(shù)據(jù)進(jìn)行平滑化。相加電路543將校正電路532處理后的第二頻帶的圖像數(shù)據(jù)與從低通濾波器542輸出的圖像數(shù)據(jù)進(jìn)行相力口。放大電路544基于從相加電路543輸出的圖像數(shù)據(jù)，生成像素?cái)?shù)量與校正電路531進(jìn)行了處理后的第一頻帶的圖像數(shù)據(jù)的像素?cái)?shù)量相同的圖像數(shù)據(jù)。然后，通過(guò)低通濾波器545對(duì)所生成的圖像數(shù)據(jù)進(jìn)行平滑化。相加電路546將校正電路531處理后的第一頻帶的圖像數(shù)據(jù)與從低通濾波器545輸出的圖像數(shù)據(jù)進(jìn)行相加，以生成輸出圖像數(shù)據(jù)Sout。
[0014]在圖5所示的合成單元540中，放大電路、低通濾波器和相加電路構(gòu)成一個(gè)頻帶合成電路。換句話(huà)說(shuō)，合成單元540包括以樹(shù)狀結(jié)構(gòu)設(shè)置的兩個(gè)頻帶合成電路。
[0015]如上所述，在具有Bayer陣列的原色濾波器并且包括以馬賽克狀配置所排列的多個(gè)顏色用的顏色濾波器的圖像傳感器所獲取的圖像數(shù)據(jù)中，可以從一個(gè)像素獲取與多個(gè)顏色中的僅一個(gè)顏色相對(duì)應(yīng)的像素值。
[0016]然而，日本特開(kāi)2008-015741號(hào)公報(bào)并沒(méi)有說(shuō)明用于對(duì)各像素包括與顏色濾波器的多個(gè)顏色中的任意顏色相對(duì)應(yīng)的信號(hào)的圖像數(shù)據(jù)進(jìn)行處理的任何方法。
[0017]在具有原色Bayer陣列的單板圖像傳感器的情況下，通過(guò)執(zhí)行在將圖像數(shù)據(jù)分割成不同頻帶的多個(gè)圖像數(shù)據(jù)時(shí)所執(zhí)行的下采樣而實(shí)現(xiàn)的縮小處理，無(wú)需對(duì)針對(duì)各顏色具有零信號(hào)的像素進(jìn)行插值，圖像傳感器的各像素即可具有所有顏色成分的信號(hào)。如圖6所示，為了特別說(shuō)明具有Bayer陣列的圖像傳感器的特定行，依次遞歸配置R信號(hào)顏色濾波器和G信號(hào)顏色濾波器。下面將說(shuō)明用于在水平方向上將以該方式配置的像素的數(shù)量減小至原始數(shù)量的一半的傳統(tǒng)方法。為了特別說(shuō)明特定行的R信號(hào)，將原本以?xún)蓚€(gè)像素中存在一個(gè)R像素為周期所排列的R信號(hào)通過(guò)縮小處理縮小成針對(duì)每一像素的一個(gè)信號(hào)。類(lèi)似地，為了特別說(shuō)明同一行的G信號(hào)，將原本以?xún)蓚€(gè)像素中存在一個(gè)G像素為周期所排列的G信號(hào)通過(guò)縮小處理縮小成針對(duì)每一像素的一個(gè)信號(hào)。然而，在用于縮小G信號(hào)的處理期間，為了將G信號(hào)的重心位置與R信號(hào)的重心位置對(duì)準(zhǔn)，通過(guò)對(duì)相鄰像素的像素值進(jìn)行平均來(lái)計(jì)算重心位置的值。通過(guò)以上述方式執(zhí)行縮小，無(wú)需對(duì)針對(duì)各顏色具有零信號(hào)的像素進(jìn)行插值，可以在一個(gè)像素位置處生成RGB原色的所有顏色成分的信號(hào)。通常，將針對(duì)同一像素生成多個(gè)顏色的信號(hào)通稱(chēng)為同步化(synchronizat1n)。
[0018]由于通過(guò)縮小而對(duì)第二頻帶的圖像數(shù)據(jù)和第三頻帶的圖像數(shù)據(jù)進(jìn)行同步化，因而可以以同步化狀態(tài)將第二頻帶的圖像數(shù)據(jù)和第三頻帶的圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器520上。如果將同步化后的第二頻帶的圖像數(shù)據(jù)和同步化后的第三頻帶的圖像數(shù)據(jù)逆變換回Bayer陣列的圖像數(shù)據(jù)，則圖像數(shù)據(jù)的信息量可能由于逆變換而減小。因此，校正單元530的降噪或者像差校正的校正精度可能劣化。
[0019]假定:可以對(duì)第一頻帶的圖像數(shù)據(jù)進(jìn)行與第二頻帶的圖像數(shù)據(jù)和第三頻帶的圖像數(shù)據(jù)相關(guān)聯(lián)的同步化，然后將同步化后的圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器520上。然而，在這種情況下，信息量是最大數(shù)據(jù)的第一頻帶的圖像數(shù)據(jù)的信息量可能變成三倍的大小。因此，必須將存儲(chǔ)器520的容量增大至非常大的容量。
[0020]引f列表
[0021]專(zhuān)利文獻(xiàn)
[0022][專(zhuān)利文獻(xiàn)I]日本特開(kāi)2008-015741號(hào)公報(bào)


【發(fā)明內(nèi)容】

[0023]本發(fā)明旨在對(duì)如下圖像處理設(shè)備的改進(jìn)，其中該圖像處理設(shè)備用于將通過(guò)包括多個(gè)顏色濾波器的單板圖像傳感器所拍攝的圖像數(shù)據(jù)分成不同頻帶的多個(gè)圖像數(shù)據(jù)，將該圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器中，并且校正從該存儲(chǔ)器所讀取的這些不同頻帶的多個(gè)圖像數(shù)據(jù)。
[0024]根據(jù)本發(fā)明的一個(gè)方面，一種圖像處理設(shè)備，其包括:帶分割單元，用于基于第一圖像數(shù)據(jù)而輸出頻帶低于所述第一圖像數(shù)據(jù)的頻帶的第二圖像數(shù)據(jù)以及頻帶還低于所述第二圖像數(shù)據(jù)的頻帶的第三圖像數(shù)據(jù)，其中，所述第一圖像數(shù)據(jù)包括多個(gè)顏色成分信號(hào)，并且所述第一圖像數(shù)據(jù)的各像素包括所述多個(gè)顏色成分信號(hào)中的任意顏色成分信號(hào)；存儲(chǔ)器，用于存儲(chǔ)所述第一圖像數(shù)據(jù)、所述第二圖像數(shù)據(jù)和所述第三圖像數(shù)據(jù)；校正單元，用于對(duì)存儲(chǔ)在所述存儲(chǔ)器上的所述第一圖像數(shù)據(jù)、所述第二圖像數(shù)據(jù)和所述第三圖像數(shù)據(jù)執(zhí)行校正處理；以及合成單元，用于將所述校正單元進(jìn)行了校正的所述第一圖像數(shù)據(jù)、所述第二圖像數(shù)據(jù)和所述第三圖像數(shù)據(jù)合成在一起，其中，從所述帶分割單元輸出的所述第二圖像數(shù)據(jù)和所述第三圖像數(shù)據(jù)各自的部分像素或者全部像素包括所述多個(gè)顏色成分信號(hào)，以及所述存儲(chǔ)器將所述第一圖像數(shù)據(jù)以各像素包括所述多個(gè)顏色成分信號(hào)中的任意顏色成分信號(hào)的狀態(tài)進(jìn)行存儲(chǔ)，并且將所述第二圖像數(shù)據(jù)和所述第三圖像數(shù)據(jù)以各自的部分像素或者全部像素包括所述多個(gè)顏色成分信號(hào)的狀態(tài)進(jìn)行存儲(chǔ)。
[0025]通過(guò)以下參考附圖對(duì)典型實(shí)施例的詳細(xì)說(shuō)明，本發(fā)明的其它特征和方面將顯而易見(jiàn)。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0026]包含在說(shuō)明書(shū)中并構(gòu)成說(shuō)明書(shū)一部分的附圖示出了本發(fā)明的典型實(shí)施例、特征和方面，并與說(shuō)明書(shū)一起用來(lái)解釋本發(fā)明的原理。
[0027]圖1是根據(jù)本發(fā)明典型實(shí)施例的攝像設(shè)備的功能框圖。
[0028]圖2是示出根據(jù)本發(fā)明第一典型實(shí)施例的與圖像處理單元的降噪有關(guān)的結(jié)構(gòu)的框圖。
[0029]圖3是示出根據(jù)本發(fā)明第二典型實(shí)施例的與圖像處理單元的降噪有關(guān)的結(jié)構(gòu)的框圖。
[0030]圖4示出Bayer陣列的像素圖案。
[0031]圖5是示出執(zhí)行用于將不同頻帶的多個(gè)圖像數(shù)據(jù)合成在一起的處理的傳統(tǒng)圖像處理單元的一般結(jié)構(gòu)的框圖。
[0032]圖6示出通過(guò)利用下采樣進(jìn)行縮小所得到的圖像數(shù)據(jù)的同步化。

【具體實(shí)施方式】
[0033]下面將參考附圖詳細(xì)說(shuō)明本發(fā)明的各種典型實(shí)施例、特征和方面。
[0034]圖1是根據(jù)本發(fā)明典型實(shí)施例的攝像設(shè)備的功能框圖。
[0035]參考圖1，圖像形成光學(xué)單元101包括鏡頭和光圈。圖像形成光學(xué)單元101可以控制調(diào)焦和曝光。圖像傳感器102具有用于將光學(xué)圖像轉(zhuǎn)換成電信號(hào)的光電轉(zhuǎn)換功能。圖像傳感器102由CXD或者CMOS傳感器構(gòu)成。模擬-數(shù)字(A/D)轉(zhuǎn)換電路103將來(lái)自圖像傳感器102的模擬圖像信號(hào)轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)。圖像處理單元104對(duì)從A/D轉(zhuǎn)換電路103輸出的圖像數(shù)據(jù)執(zhí)行諸如降噪、像差校正、偽色去除、伽瑪校正、插值和矩陣變換等的各種處理。
[0036]存儲(chǔ)器接口(I/F) 105作為與由動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)構(gòu)成的存儲(chǔ)器106的接口，具有用于寫(xiě)入和讀取圖像處理單元104處理后的圖像數(shù)據(jù)和各種控制數(shù)據(jù)的功能。中央處理單元(CPU) 107執(zhí)行各種控制操作。顯示單元108包括液晶顯示器(IXD)監(jiān)視器。顯示單元108順次顯示圖像處理單元104處理后的圖像數(shù)據(jù)，以允許用戶(hù)實(shí)時(shí)查看所拍攝的被攝體圖像。
[0037]入射至圖像形成光學(xué)單元101的光在圖像傳感器102的光接收面上形成圖像，并且從圖像傳感器102輸出該圖像的信號(hào)作為模擬圖像信號(hào)。在圖像傳感器102中，對(duì)各像素設(shè)置各個(gè)R(紅色)、G(綠色)和B(藍(lán)色)顏色濾波器。從各像素輸出的信號(hào)水平對(duì)應(yīng)于R、G和B信號(hào)中的任意信號(hào)的水平。A/D轉(zhuǎn)換電路103將模擬圖像信號(hào)轉(zhuǎn)換成作為Bayer陣列的RAW圖像的數(shù)字圖像數(shù)據(jù)，然后將該數(shù)字圖像數(shù)據(jù)輸入至圖像處理單元104。
[0038]圖2是示出根據(jù)第一典型實(shí)施例的與圖像處理單元104的降噪有關(guān)的結(jié)構(gòu)的框圖。
[0039]參考圖2，圖像處理單元104包括分割單元210、存儲(chǔ)器220、校正單元230和合成單元240。分割單元210將輸入圖像數(shù)據(jù)分割成多個(gè)不同頻帶的圖像數(shù)據(jù)。校正單元230對(duì)各頻帶的圖像數(shù)據(jù)執(zhí)行降噪。合成單元240將不同頻帶的圖像數(shù)據(jù)合成在一起。
[0040]分割單元210將輸入圖像數(shù)據(jù)Sin原樣地作為第一頻帶的圖像數(shù)據(jù)輸出至存儲(chǔ)器220。
[0041]分割單元210還將輸入圖像數(shù)據(jù)Sin輸入至LPF 211。在通過(guò)LPF 211進(jìn)行平滑化之后，將輸入圖像數(shù)據(jù)Sin輸入至縮小電路212。因而，生成了所包括的像素少于輸入圖像數(shù)據(jù)Sin的像素的圖像數(shù)據(jù)。在本典型實(shí)施例中，縮小電路212通過(guò)執(zhí)行下采樣來(lái)縮小輸入圖像數(shù)據(jù)，從而使得在垂直和水平方向兩者上的像素的數(shù)量可以變成原始像素?cái)?shù)量的一半。此外，縮小電路212將縮小后的圖像數(shù)據(jù)作為第二頻帶的圖像數(shù)據(jù)輸出至存儲(chǔ)器220。
[0042]此外，隨后通過(guò)低通濾波器213對(duì)縮小電路212所生成的圖像數(shù)據(jù)進(jìn)行平滑化。然后，將平滑化后的圖像數(shù)據(jù)輸入至縮小電路214。因此，縮小電路214生成所包括的像素少于縮小電路212所生成的圖像數(shù)據(jù)的像素的圖像數(shù)據(jù)。在本典型實(shí)施例中，縮小電路214還對(duì)輸入圖像數(shù)據(jù)執(zhí)行下采樣，以在垂直和水平方向上將圖像數(shù)據(jù)的大小減小至原始大小的一半。將縮小后的圖像數(shù)據(jù)作為第三頻帶的圖像數(shù)據(jù)輸出至存儲(chǔ)器220。
[0043]例如，可以通過(guò)下面的傳遞函數(shù)實(shí)現(xiàn)低通濾波器211和213。
[0044]H(Z) = 1/2* (1+Z-1)...(數(shù)學(xué)式 I)
[0045]分割單元210用作帶分割單元。第一頻帶為最高頻帶。第二頻帶和第三頻帶依次逐漸降低。
[0046]如上所述，通過(guò)低通濾波器來(lái)處理第二頻帶的圖像數(shù)據(jù)和第三頻帶的圖像數(shù)據(jù)，以對(duì)這些圖像數(shù)據(jù)進(jìn)行可在一個(gè)像素位置處生成RGB顏色的所有顏色成分的信號(hào)的同步化。可以以同步化狀態(tài)將第二頻帶的圖像數(shù)據(jù)和第三頻帶的圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器220上。
[0047]對(duì)于第一頻帶的圖像數(shù)據(jù)，作為下游單元的校正單元230使用同步化后的圖像數(shù)據(jù)。然而，將尚未同步化的具有Bayer陣列的RAW圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器220上。因而，本典型實(shí)施例可以減小存儲(chǔ)器220的用于存儲(chǔ)圖像數(shù)據(jù)的所需容量。
[0048]校正單元230從存儲(chǔ)器220讀取第一頻帶?第三頻帶的圖像數(shù)據(jù)，并且對(duì)所讀取的圖像數(shù)據(jù)執(zhí)行降噪。代替一次讀取全部圖像數(shù)據(jù)，每當(dāng)執(zhí)行處理時(shí)，校正單元230讀取與高通濾波器231和232以及降噪電路233?235通過(guò)一個(gè)操作要處理的區(qū)域相對(duì)應(yīng)的所需圖像數(shù)據(jù)。因而，校正單元230包括存儲(chǔ)器(未示出)，但是與存儲(chǔ)器220的容量相比，該存儲(chǔ)器的所需容量十分小。例如，可以通過(guò)下面的傳遞函數(shù)實(shí)現(xiàn)高通濾波器231和232。
[0049]H(Z) = Ι/^α-Ζ—1)...(數(shù)學(xué)式 2)
[0050]校正單元230讀取包括以目標(biāo)像素為中心的預(yù)定數(shù)量的像素的第一頻帶的圖像數(shù)據(jù)。然后，通過(guò)高通濾波器231來(lái)處理該第一頻帶的圖像數(shù)據(jù)。因而，校正單元230可以提取以目標(biāo)像素為中心的第一頻帶的圖像數(shù)據(jù)的區(qū)域的高頻帶成分。然后，將所讀取的具有預(yù)定數(shù)量的像素的第一頻帶的圖像數(shù)據(jù)輸入至高通濾波器231，以對(duì)其進(jìn)行用于在各像素的位置處生成所有RGB顏色的顏色成分的信號(hào)的同步化。
[0051]降噪(NR)電路233使用從高通濾波器231輸出的具有高頻帶成分的圖像數(shù)據(jù)，并且判斷圖像數(shù)據(jù)的邊緣的方向。更具體地，降噪電路233例如基于同步化后的G信號(hào)的顏色成分的信號(hào)水平來(lái)判斷所讀取圖像數(shù)據(jù)的區(qū)域的邊緣的方向。另外，降噪電路233執(zhí)行用于在所判斷出的邊緣方向上對(duì)信號(hào)進(jìn)行混合的處理，以對(duì)圖像數(shù)據(jù)進(jìn)行平滑化。以上述方式，本典型實(shí)施例減少圖像數(shù)據(jù)中所包含的噪聲。
[0052]同樣，校正單元230讀取包括以目標(biāo)像素為中心的預(yù)定數(shù)量的像素的第二頻帶的圖像數(shù)據(jù)，并且使高通濾波器232從所讀取的第二頻帶的圖像數(shù)據(jù)提取高頻帶成分。此外，校正單元230使降噪電路234對(duì)高通濾波器232已處理的圖像數(shù)據(jù)執(zhí)行降噪。
[0053]校正單元230讀取包括以目標(biāo)像素為中心的預(yù)定數(shù)量的像素的第三頻帶的圖像數(shù)據(jù)。隨后，在無(wú)需通過(guò)高通濾波器提取高頻帶成分的情況下，降噪電路235對(duì)所讀取的第三頻帶的圖像數(shù)據(jù)進(jìn)行降噪。
[0054]除通過(guò)使用第一頻帶?第三頻帶的圖像數(shù)據(jù)的降噪以外，校正單元230還可以執(zhí)行用于校正倍率的色像差的處理和用于去除偽色的處理。即使在校正處理中要執(zhí)行與降噪不同的處理來(lái)提高圖像質(zhì)量，也可以通過(guò)使用同步化后的第二頻帶的圖像數(shù)據(jù)和同步化后的第三頻帶的圖像數(shù)據(jù)來(lái)應(yīng)用本發(fā)明。
[0055]隨后，合成單元240將從降噪電路235輸出的圖像數(shù)據(jù)輸入至放大電路241。放大電路241放大圖像數(shù)據(jù)，以使得同一區(qū)域所包括的像素的數(shù)量變得等于從降噪電路234輸出的圖像數(shù)據(jù)的像素的數(shù)量。更具體地，放大電路241對(duì)從降噪電路235輸出的圖像數(shù)據(jù)執(zhí)行上采樣來(lái)增加垂直方向和水平方向兩個(gè)方向上的像素的數(shù)量，以變大至上采樣之前的數(shù)量的兩倍。隨后，將經(jīng)過(guò)了上采樣的圖像數(shù)據(jù)輸入至低通濾波器242。低通濾波器242對(duì)圖像數(shù)據(jù)執(zhí)行平滑化。
[0056]相加電路243通過(guò)使從低通濾波器242輸出的圖像數(shù)據(jù)和從降噪電路234輸出的圖像數(shù)據(jù)的空間相位一致，將這些圖像數(shù)據(jù)合成在一起。然后，將合成后的圖像數(shù)據(jù)輸出至放大電路244。放大電路244放大圖像數(shù)據(jù)，以使得同一區(qū)域中的像素的數(shù)量變得與從降噪電路233輸出的圖像數(shù)據(jù)的像素的數(shù)量相同。更具體地，放大電路244對(duì)從相加電路243輸出的圖像數(shù)據(jù)執(zhí)行上采樣來(lái)增加垂直方向和水平方向兩個(gè)方向上的像素的數(shù)量，以變大至上采樣之前的數(shù)量的兩倍。隨后，將上采樣后的圖像數(shù)據(jù)輸入至低通濾波器245。低通濾波器245對(duì)圖像數(shù)據(jù)執(zhí)行平滑化。
[0057]相加電路246通過(guò)使從低通濾波器245輸出的圖像數(shù)據(jù)和從降噪電路233輸出的圖像數(shù)據(jù)的空間相位一致，將這些圖像數(shù)據(jù)合成在一起，以生成與目標(biāo)像素相對(duì)應(yīng)的輸出圖像數(shù)據(jù)Sout。圖像處理單元104對(duì)圖像數(shù)據(jù)的所有區(qū)域執(zhí)行上述處理。因而，可以生成噪聲得以減少的圖像數(shù)據(jù)。
[0058]在相加電路243和246的圖像數(shù)據(jù)相加處理期間，使從降噪電路233和234輸出的圖像數(shù)據(jù)延遲，以使要相加在一起的圖像數(shù)據(jù)的空間相位一致。因而，校正單元230和合成單元240可以減少存儲(chǔ)器的所需容量。
[0059]為了使校正單元230在期望時(shí)刻讀取所需區(qū)域的全部圖像數(shù)據(jù)，需要使存儲(chǔ)器220存儲(chǔ)圖像數(shù)據(jù)的所有區(qū)域的第一頻帶?第三頻帶的圖像數(shù)據(jù)。如果要以與第二頻帶的圖像數(shù)據(jù)和第三頻帶的圖像數(shù)據(jù)同樣的同步化狀態(tài)將第一頻帶?第三頻帶的所有圖像數(shù)據(jù)中具有最大像素?cái)?shù)量的第一頻帶的圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器220上，則需要存儲(chǔ)器220具有非常大的容量。
[0060]為了防止這種情況，在本典型實(shí)施例中，以同步化狀態(tài)將分別由分割單元210進(jìn)行了同步化的第二頻帶的圖像數(shù)據(jù)和第三頻帶的圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器220上。另一方面，將第一頻帶的圖像數(shù)據(jù)以沒(méi)有進(jìn)行同步化的狀態(tài)存儲(chǔ)在存儲(chǔ)器220上。
[0061]輸入至圖像處理單元104的圖像數(shù)據(jù)原本僅包括與各顏色用的顏色濾波器中的任一顏色相對(duì)應(yīng)的顏色成分的信號(hào)。因而，如果將第一頻帶的圖像數(shù)據(jù)原樣地存儲(chǔ)在存儲(chǔ)器上，則圖像數(shù)據(jù)的信息量不會(huì)減少。如果要對(duì)第一頻帶的圖像數(shù)據(jù)進(jìn)行可以維持Bayer陣列的校正(例如，缺陷像素的校正)，則可以在將第一頻帶的圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器220上之前，對(duì)其執(zhí)行該校正。
[0062]可以假定:類(lèi)似于第一頻帶的圖像數(shù)據(jù)，對(duì)同步化后的第二頻帶和第三頻帶的圖像數(shù)據(jù)進(jìn)行使得各像素具有一個(gè)顏色成分信號(hào)的采樣從而維持Bayer陣列結(jié)構(gòu)，然后將這些圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器220上。然而，在這種情況下，如果校正單元230通過(guò)再次執(zhí)行同步化而生成圖像，則圖像數(shù)據(jù)的信息量少于以Bayer陣列進(jìn)行設(shè)置之前的圖像的信息量。換句話(huà)說(shuō)，降噪的精度可能劣化。為了防止這種情況，本典型實(shí)施例以同步化狀態(tài)將第二頻帶的圖像數(shù)據(jù)和第三頻帶的圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器220上。
[0063]校正單元230的高通濾波器231和232不總是必需的。如果放大電路241和244所執(zhí)行的合成圖像數(shù)據(jù)的合成比率可以根據(jù)第一頻帶的圖像數(shù)據(jù)所包括的邊緣成分的強(qiáng)度而適當(dāng)?shù)剡M(jìn)行改變，則校正單元230可以不包括高通濾波器231和232。更具體地，隨著第一頻帶的邊緣成分所包括的圖像數(shù)據(jù)的強(qiáng)度的變大，頻帶的圖像數(shù)據(jù)的合成比率可以增大。
[0064]圖3是示出根據(jù)本發(fā)明第二典型實(shí)施例的圖像處理單元104所執(zhí)行的降噪的結(jié)構(gòu)的框圖。
[0065]參考圖3，圖像處理單元104包括分割單元310、存儲(chǔ)器320、校正單元330和合成單元340。分割單元310將輸入圖像數(shù)據(jù)分割成多個(gè)不同頻帶的圖像數(shù)據(jù)。校正單元330對(duì)各頻帶的圖像數(shù)據(jù)執(zhí)行降噪。合成單元340將不同頻帶的圖像數(shù)據(jù)合成在一起。
[0066]存儲(chǔ)器320和合成單元340分別具有與圖2所示的存儲(chǔ)器220和合成單元240相同的結(jié)構(gòu)。
[0067]在分割單元310中，低通濾波器311、縮小電路312、低通濾波器313和縮小電路314分別具有與圖2所示的低通濾波器211、縮小電路212、低通濾波器213和縮小電路214相同的結(jié)構(gòu)。與不圖2所示的分割單元210的不同之處在于:根據(jù)本典型實(shí)施例的分割單元310還包括紅色和藍(lán)色(RB)變換電路315和316。
[0068]在校正單元330中，高通濾波器331和332以及降噪電路333?335分別具有與圖2所示的校正單元230中的高通濾波器231和232以及降噪電路233?235相同的結(jié)構(gòu)。與圖2所示的校正單元230的不同之處在于:根據(jù)本典型實(shí)施例的校正單元330還包括RB逆變換電路336和337。
[0069]RB變換電路315和316執(zhí)行用于將包括從縮小電路312和314輸出的同步化后的圖像數(shù)據(jù)的紅色和藍(lán)色顏色成分的信號(hào)的圖像數(shù)據(jù)的水平分辨率減少至原始水平分辨率的一半的處理。更具體地，對(duì)圖像數(shù)據(jù)進(jìn)行處理，以使得所有像素具有綠色顏色成分的信號(hào)，而僅一部分(一半)像素具有紅色和藍(lán)色顏色成分的信號(hào)。例如，通過(guò)使用以下面的傳遞函數(shù)所實(shí)現(xiàn)的低通濾波而在水平方向上進(jìn)行下采樣，可以對(duì)圖像數(shù)據(jù)進(jìn)行間隔剔除。
[0070]H(z) = 1/4*(1+2*Z-1+Z-2)...(數(shù)學(xué)式 3)
[0071 ] RB逆變換電路336和337執(zhí)行用于使水平分辨率被RB變換電路315和316減小至原始水平的一半的、包括紅色和藍(lán)色顏色成分的信號(hào)的圖像數(shù)據(jù)的水平分辨率恢復(fù)為兩倍高的水平的處理。更具體地，可以通過(guò)在水平方向上對(duì)圖像數(shù)據(jù)進(jìn)行兩倍大的上采樣，來(lái)對(duì)該圖像數(shù)據(jù)進(jìn)行插值。
[0072]與綠色顏色成分的信號(hào)相比，紅色顏色成分信號(hào)和藍(lán)色顏色成分信號(hào)對(duì)包括紅色、綠色和藍(lán)色顏色成分信號(hào)的圖像數(shù)據(jù)的視覺(jué)特性的影響相對(duì)較低。因而，如果在綠色顏色成分的水平分辨率不變的情況下，將紅色顏色成分和藍(lán)色顏色成分各自的水平分辨率減小至原始水平的一半，則所拍攝圖像的質(zhì)量的劣化可能不會(huì)太大。
[0073]因而,在本典型實(shí)施例中，在將紅色和藍(lán)色顏色成分的水平分辨率減小至原始水平的一半之后，將第二頻帶的圖像數(shù)據(jù)和第三頻帶的圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器320上。因此，本典型實(shí)施例可以減少存儲(chǔ)器320的所需容量和帶寬。
[0074]可以根據(jù)攝像設(shè)備的工作模式來(lái)改變是否執(zhí)行RB變換電路315和316以及RB逆變換電路336和337所執(zhí)行的處理。除靜止圖像拍攝模式以外，近年來(lái)的數(shù)字照相機(jī)還包括諸如運(yùn)動(dòng)圖像記錄模式和高速連續(xù)拍攝模式等的多個(gè)工作模式(功能)。在運(yùn)動(dòng)圖像記錄模式和高速連續(xù)拍攝模式下，需要向數(shù)字照相機(jī)設(shè)置具有適當(dāng)帶寬的存儲(chǔ)器。
[0075]如果圖像傳感器102處于諸如運(yùn)動(dòng)圖像記錄模式或者高速連續(xù)拍攝模式等的存儲(chǔ)器的帶寬消耗大的工作模式，則可以使RB變換電路315和316以及RB逆變換電路336和337所進(jìn)行的處理有效。
[0076]另一方面，如果圖像傳感器102處于靜止圖像記錄模式，則可以使RB變換電路315和316以及RB逆變換電路336和337所進(jìn)行的處理無(wú)效。利用上述結(jié)構(gòu)，與使RB變換電路和RB逆變換電路所進(jìn)行的上述處理有效的情況相比，本典型實(shí)施例可以通過(guò)使用信息量較大的圖像數(shù)據(jù)來(lái)執(zhí)行降噪。因而，本典型實(shí)施例可以高精度地執(zhí)行降噪。
[0077]在以上參考相應(yīng)附圖所述的各典型實(shí)施例中，為了便于理解，對(duì)于不同內(nèi)容的處理設(shè)置不同電路。然而，可以利用集成電路來(lái)實(shí)現(xiàn)上述多個(gè)電路。另一方面，多個(gè)電路可以分擔(dān)實(shí)現(xiàn)上述的一個(gè)電路所進(jìn)行的處理。
[0078]如上所述，各典型實(shí)施例使用由具有Bayer陣列并且具有RGB原色用的顏色濾波器的圖像傳感器所生成的圖像數(shù)據(jù)。然而，本發(fā)明不局限于該結(jié)構(gòu)。換句話(huà)說(shuō)，還可以對(duì)由具有諸如黃色(Y)、品紅色(M)和青色(C)等的補(bǔ)色用的顏色濾波器的圖像傳感器所生成的圖像數(shù)據(jù)執(zhí)行上述處理。
[0079]在各典型實(shí)施例中，將圖像數(shù)據(jù)分割成三個(gè)不同頻帶的圖像數(shù)據(jù)。然而，可以通過(guò)可選地將圖像數(shù)據(jù)僅分割成兩個(gè)不同頻帶的圖像數(shù)據(jù)來(lái)實(shí)現(xiàn)本發(fā)明。此外，可選地，在將圖像數(shù)據(jù)分割成四個(gè)以上不同頻帶的圖像數(shù)據(jù)的情況下，也可以實(shí)現(xiàn)本發(fā)明。
[0080]作為除上述方法以外的用于將圖像數(shù)據(jù)分割成不同頻帶的多個(gè)圖像數(shù)據(jù)的方法，可以可選地使用下面的方法。更具體地，可以通過(guò)小波變換而將圖像數(shù)據(jù)分割成相互不同的頻帶的多個(gè)圖像數(shù)據(jù)，以實(shí)現(xiàn)本發(fā)明。
[0081]此外，本發(fā)明不局限于攝像設(shè)備。如果安裝了圖像處理應(yīng)用程序的個(gè)人計(jì)算機(jī)(PC)可以用作如下的圖像處理設(shè)備，則可以通過(guò)該P(yáng)C來(lái)實(shí)現(xiàn)本發(fā)明，其中該圖像處理設(shè)備能夠通過(guò)對(duì)根據(jù)各像素不同而不同的顏色成分信號(hào)執(zhí)行同步化，來(lái)對(duì)包括這些信號(hào)的圖像數(shù)據(jù)進(jìn)行處理。
[0082]還可以通過(guò)向系統(tǒng)或設(shè)備提供存儲(chǔ)用于實(shí)現(xiàn)這些實(shí)施例的功能的軟件的程序代碼的非易失性存儲(chǔ)介質(zhì)并且通過(guò)利用該系統(tǒng)或設(shè)備的計(jì)算機(jī)(CPU或者微處理單元(MPU))讀取并執(zhí)行存儲(chǔ)在該存儲(chǔ)介質(zhì)上的程序代碼來(lái)實(shí)現(xiàn)本發(fā)明。
[0083]盡管已經(jīng)參考典型實(shí)施例說(shuō)明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不局限于所公開(kāi)的典型實(shí)施例。所附權(quán)利要求書(shū)的范圍符合最寬的解釋?zhuān)园行薷摹⒌韧Y(jié)構(gòu)和功倉(cāng)泛。
[0084]本申請(qǐng)要求2010年5月11日提交的日本專(zhuān)利申請(qǐng)2010-109548的優(yōu)先權(quán)，其全部?jī)?nèi)容通過(guò)引用包含于此。
【權(quán)利要求】
1.一種圖像處理設(shè)備，其包括: 帶分割單元，用于基于第一圖像數(shù)據(jù)而輸出頻帶低于所述第一圖像數(shù)據(jù)的頻帶的第二圖像數(shù)據(jù)，其中，所述第一圖像數(shù)據(jù)與多個(gè)顏色成分信號(hào)相對(duì)應(yīng)，并且所述第一圖像數(shù)據(jù)的各像素與所述多個(gè)顏色成分信號(hào)中的一個(gè)顏色成分信號(hào)相對(duì)應(yīng)； 存儲(chǔ)器，用于存儲(chǔ)所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)；以及 合成單元，用于將所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)合成在一起， 其特征在于，所述存儲(chǔ)器將所述第一圖像數(shù)據(jù)以各像素與所述多個(gè)顏色成分信號(hào)中的一個(gè)顏色成分信號(hào)相對(duì)應(yīng)的狀態(tài)進(jìn)行存儲(chǔ)，并且將所述第二圖像數(shù)據(jù)以部分像素或者全部像素與所述多個(gè)顏色成分信號(hào)相對(duì)應(yīng)的狀態(tài)進(jìn)行存儲(chǔ)。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中， 所述多個(gè)顏色成分信號(hào)與紅色顏色成分信號(hào)、綠色顏色成分信號(hào)和藍(lán)色顏色成分信號(hào)相對(duì)應(yīng)， 所述帶分割單元基于所述第一圖像數(shù)據(jù)，來(lái)生成頻帶低于所述第一圖像數(shù)據(jù)的頻帶并且各像素與所述多個(gè)顏色成分信號(hào)相對(duì)應(yīng)的第三圖像數(shù)據(jù)，并且所述帶分割單元進(jìn)一步基于所述第三圖像數(shù)據(jù)，通過(guò)減少所述第三圖像數(shù)據(jù)的包括紅色顏色成分信號(hào)的像素的數(shù)量和包括藍(lán)色顏色成分信號(hào)的像素的數(shù)量，來(lái)生成所述第二圖像數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，還包括校正單元，所述校正單元用于對(duì)存儲(chǔ)在所述存儲(chǔ)器上的所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)執(zhí)行校正處理， 所述合成單元將所述校正單元進(jìn)行了校正的所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)合成在一起。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中， 所述校正處理包括降噪處理、倍率色像差校正處理和偽色去除處理至少之一。
5.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中， 所述校正單元對(duì)所述第一圖像數(shù)據(jù)進(jìn)行轉(zhuǎn)換，以使得所述第一圖像數(shù)據(jù)的各像素與所述多個(gè)顏色成分信號(hào)相對(duì)應(yīng)，然后對(duì)所述第一圖像數(shù)據(jù)執(zhí)行所述校正處理。
6.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中， 所述第二圖像數(shù)據(jù)的像素的數(shù)量少于所述第一圖像數(shù)據(jù)的像素的數(shù)量。
7.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中， 所述第一圖像數(shù)據(jù)具有拜爾陣列。
8.一種圖像處理設(shè)備的控制方法，包括以下步驟: 基于第一圖像數(shù)據(jù)而輸出頻帶低于所述第一圖像數(shù)據(jù)的頻帶的第二圖像數(shù)據(jù)，其中，所述第一圖像數(shù)據(jù)與多個(gè)顏色成分信號(hào)相對(duì)應(yīng)，并且所述第一圖像數(shù)據(jù)的各像素與所述多個(gè)顏色成分信號(hào)中的一個(gè)顏色成分信號(hào)相對(duì)應(yīng)； 將所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器上；以及 將所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)合成在一起， 其特征在于，所述存儲(chǔ)器將所述第一圖像數(shù)據(jù)以各像素與所述多個(gè)顏色成分信號(hào)中的一個(gè)顏色成分信號(hào)相對(duì)應(yīng)的狀態(tài)進(jìn)行存儲(chǔ)，并且將所述第二圖像數(shù)據(jù)以部分像素或者全部像素與所述多個(gè)顏色成分信號(hào)相對(duì)應(yīng)的狀態(tài)進(jìn)行存儲(chǔ)。
【文檔編號(hào)】H04N5/232GK104410786SQ201410669965
【公開(kāi)日】2015年3月11日 申請(qǐng)日期:2011年5月6日 優(yōu)先權(quán)日:2010年5月11日
【發(fā)明者】川口善也, 原貴幸, 國(guó)枝秀太郎 申請(qǐng)人:佳能株式會(huì)社