用于圖像處理的設備和方法以及成像設備的制作方法
【專利摘要】根據(jù)本發(fā)明的一個方面，一種用于圖像處理的方法，包括：獲取由包括圖像傳感器的成像裝置所取得的圖像的步驟，圖像傳感器具有M×N（M，N：2或更大整數(shù)）像素的重復周期的像素配置；（a）在獲取的圖像中設置目標像素并且基于目標像素提取K×L（K，L：M<K并且N<L的整數(shù)）像素的步驟；（b）以使用濾波器的運算來計算目標像素的像素值的步驟，濾波器具有K×L濾波器尺寸并已經(jīng)指定在其中排列的濾波器系數(shù)；以及當相對于獲取的圖像將目標像素一次移動一個像素時重復執(zhí)行步驟（a）和步驟（b）的步驟。
【專利說明】用于圖像處理的設備和方法以及成像設備
【技術領域】
[0001]本發(fā)明涉及圖像處理設備、方法和程序、記錄介質(zhì)，以及成像設備，更具體而言，涉及一種用于減少由于圖像傳感器中的每個指定像素組的重復周期所產(chǎn)生的固定圖案的技術。
【背景技術】
[0002]圖20是示出為圖像傳感器提供的濾色器陣列的一個示例的視圖。圖20中示出的濾色器陣列是原色Bayer (拜耳)陣列。
[0003]Bayer陣列包括2X2像素的基本陣列圖案，并且以水平方向和垂直方向重復地布置該基本陣列圖案?；娟嚵袌D案包括三原色的像素:紅(R)、藍(B)和綠(G)像素。G像素包括在水平方向上與R像素相鄰的Gr像素和在水平方向上與B像素相鄰的Gb像素。
[0004]Gr像素和Gb像素分別在水平方向上與顏色不同的像素相鄰。例如，Gr像素可以具有大于相鄰Gb像素的像素值的像素值，由于來自相鄰R像素的光的泄漏(顏色混合)導致，這可能在4像素和Gb像素之間產(chǎn)生像素值的電平差。該電平差可以根據(jù)基本陣列圖案周期地重復，結(jié)果可能不利地出現(xiàn)固定圖案。
[0005]圖21示出了通過本發(fā)明的申請者提議的新馬賽克狀濾色器陣列(日本專利申請N0.2011-034627 的說明書)。
[0006]該濾色器陣列的基本陣列圖案由6 X 6像素構成，并且基本陣列圖案包括20個G像素、8個R像素和8個B像素。在這種基本陣列圖案的情形下，相同顏色的像素根據(jù)基本陣列圖案中的位置，經(jīng)常與顏色不同的像素(8個像素)相鄰。因此，由于顏色混合導致產(chǎn)生固定圖案。此外，因為圖21中示出的濾色器陣列具有在尺寸上大于Bayer陣列的基本陣列圖案，所以固定圖案變得更加顯著。
[0007]此外，在CMOS (互補金屬氧化物半導體)型圖像傳感器中，將像素共享的放大器嵌入CMOS襯底中。在圖22中示出的示例中，2X2布置的4個像素共享一個放大器A。由于圖像傳感器的這種襯底結(jié)構，取決于像素相對于共享放大器的位置(相對于放大器A的左上、右上、左下和右下位置)，產(chǎn)生輸出電平的差異，并且這產(chǎn)生與襯底結(jié)構的重復周期相對應的固定圖案。
[0008]作為一種用于減少這種固定圖案的方法，能夠考慮借助濾波器執(zhí)行濾波，該濾波器具有6X6像素的濾波器尺寸且具有通過中心加權而加權的濾波器系數(shù)，如圖23A中所示。在該情形下，如果在移位處理區(qū)域中的像素組的同時應用該濾波器，則例如濾波器系數(shù)4被應用到圖23B示出的G像素P，盡管當該濾波器被移動時濾波器系數(shù)2被應用到G像素P，如圖23C中所示。當在G像素P和其周圍的G像素之間存在電平差的狀態(tài)下以這種方式應用不同濾波器系數(shù)時，濾波之后的圖像變得不均勻并且不能實現(xiàn)固定圖案的成功減少。
[0009]與之相反，如果借助具有如圖24中所示的統(tǒng)一濾波器系數(shù)的濾波器執(zhí)行濾波，則能夠減少固定的圖案。然而，圖像模糊并且圖像細節(jié)丟失，這可能使得圖像質(zhì)量劣化。
[0010]PTLl公開了一種圖像信號處理器，其能夠執(zhí)行與固態(tài)圖像傳感器的輸出信號電平成比例的噪聲降低，以便在沒有損失必要的圖像信號分量的情況下減少固態(tài)圖像傳感器的噪聲。圖像信號處理器確定通過固態(tài)圖像傳感器生成的圖像信號的電平的量值并且根據(jù)該量級改變低通濾波的程度。
[0011]PTL2公開了一種用于將圖像中的半色調(diào)區(qū)域去網(wǎng)的方法，其中在將半色調(diào)區(qū)域去網(wǎng)時低通濾波器被修正并且被應用。
[0012]PTL3公開了一種成像設備，其中，基于從對焦位置的相對距離改變低通濾波器的濾波器尺寸，以便濾波器尺寸與相對距離的增加成比例的單調(diào)增加，從而改變在視頻信號上執(zhí)行噪聲降低處理的強度。
[0013]{專利文獻}
[0014]{PTL1}日本專利申請?zhí)亻_ N0.2001-148797
[0015]{PTL2}國際專利申請的國家公布N0.2005-520915
[0016]{PTL3}日本專利申請?zhí)亻_ N0.2010-239492
【發(fā)明內(nèi)容】
[0017]技術問題
[0018]在PTLl中公開的發(fā)明是取決于固態(tài)圖像傳感器的輸出信號電平減少光散粒噪聲。因此，PTLl中所公開的發(fā)明對減少固定圖案無效，并且強的固定圖案最終依然存在。
[0019]在PTL2和PTL3中所公開的發(fā)明不適合于減少固定圖案。在PTL2中所公開的濾波器校正方法和PTL3中所公開的濾波器尺寸改變方法也不適合減少固定圖案。
[0020]基于這些情形已經(jīng)做出本發(fā)明，并且本發(fā)明的一個目標是提供一種圖像處理設備、方法和程序、記錄介質(zhì)，以及成像設備，能夠減少由于圖像傳感器中的像素配置的重復周期所產(chǎn)生的固定圖案并且能夠保留細節(jié)完整。
[0021]問題的解決方法
[0022]為了實現(xiàn)上述目標，根據(jù)本發(fā)明的一個方面的發(fā)明包括:圖像獲取裝置，該圖像獲取裝置被配置成獲取由包括圖像傳感器的成像裝置所取得的圖像，圖像傳感器具有MXN(M，N:2或更大整數(shù))像素的重復周期的像素配置；以及濾波裝置，濾波裝置具有KXL (K，L:M<K并且N〈L的整數(shù))濾波器尺寸的濾波器，該濾波器裝置被配置成將卷積算術運算應用到為濾波器設置的濾波器系數(shù)和基于由圖像獲取裝置獲取的圖像中的目標像素所提取的KXL像素的像素值，以便計算目標像素的像素值，其中為濾波器設置的濾波器系數(shù)在濾波器中心附近被加權得更大，并且濾波器系數(shù)被設置成使得濾波器尺寸的濾波器系數(shù)的總數(shù)全部彼此相等，這些濾波器系數(shù)與MXN像素的像素配置上處于等同位置關系的像素相對應。
[0023]由于濾波器的濾波器系數(shù)具有在中心附近被加權得更大的濾波器系數(shù)，所以能夠防止在通過濾波裝置濾波之后損失圖像細節(jié)。此外，針對圖像傳感器中具有MXN像素的重復周期的像素配置，使用具有KXL濾波器尺寸的濾波器，KXL濾波器尺寸是大于像素配置的一個尺寸。設置使得濾波器尺寸的濾波器系數(shù)的總數(shù)全部彼此相等，這些濾波器系數(shù)與由MXN像素組成的像素配置上處于等同位置關系的像素相對應。因此，在MXN像素的像素值上執(zhí)行實質(zhì)的數(shù)據(jù)平滑。這使得能夠減少由于具有MXN像素的重復周期的像素配置產(chǎn)生的固定圖案。[0024]在根據(jù)本發(fā)明的另一方面的圖像處理設備中，圖像傳感器是彩色圖像傳感器，其中在水平方向和垂直方向上排列的多個像素上，以在水平方向和垂直方向上重復的方式，布置包括三種顏色的濾色器的指定基本陣列圖案，并且具有MXN像素的重復周期的像素配置與指定基本陣列圖案相對應。即，雖然由于圖像傳感器中的像素配置的周期(指定像素組的重復)使得在從圖像傳感器輸出的圖像中產(chǎn)生固定圖案，但是該像素配置與包括三種顏色的濾色器的指定基本陣列圖案相對應。
[0025]在根據(jù)本發(fā)明的另一實施例的圖像處理設備中，圖像傳感器是具有其中放大器由每個指定像素組共享的傳感器配置的圖像傳感器，并且具有MXN像素的重復周期的像素配置與指定像素組相對應。即，雖然由于圖像傳感器中的像素配置的周期導致從圖像傳感器輸出的圖像中產(chǎn)生固定圖案，但是像素配置與包括圖像傳感器的每個共享放大器的襯底配置相對應。
[0026]在根據(jù)本發(fā)明的另一方面的圖像處理設備中，圖像傳感器是具有下述傳感器配置的彩色圖像傳感器，其中，在水平方向和垂直方向上排列的多個像素上，以在水平方向和垂直方向上重復的方式布置包括三種顏色的濾色器的指定基本陣列圖案，并且放大器由每個指定像素組共享，并且像素配置中的MXN像素的重復周期是指定基本陣列圖案和指定像素組的最小公倍數(shù)的周期。
[0027]在根據(jù)本發(fā)明的另一方面的圖像處理設備中，基本陣列圖案包括紅(R)、綠(G)和藍(B)的三原色的濾色器，并且基本陣列圖案是與NXN (N:3或大于3的整數(shù))像素相對應的方陣列圖案。因為基本陣列圖案包括至少9個像素并且存在相同顏色的多個像素，所以容易產(chǎn)生固定圖案。本發(fā)明對從具有這種基本陣列圖案的圖像傳感器獲得的圖像更為有效。
[0028]在根據(jù)本發(fā)明的另一方面的圖像處理設備中，濾波裝置將卷積算術運算應用到將利用濾波器處理的區(qū)域中KXL像素當中的目標像素、與濾色器相對應的像素的像素值、與目標像素的濾色器等同的顏色、以及與這些像素相對應的濾波器的濾波器系數(shù)，以便計算目標像素的像素值。
[0029]根據(jù)本發(fā)明的另一方面的圖像處理設備進一步包括:固定圖案尺寸獲取裝置，該固定圖案尺寸獲取裝置配置成獲取與代表圖像傳感器中的像素配置的重復周期的MXN像素相對應的固定圖案尺寸；以及濾波器系數(shù)計算裝置，該濾波器系數(shù)計算裝置基于獲取的固定圖案尺寸使得濾波器系數(shù)在濾波器中心附近被加權得更大，該濾波器系數(shù)計算裝置被配置成計算濾波器系數(shù)使得濾波器尺寸的濾波器系數(shù)的總數(shù)全部彼此相等，這些濾波器系數(shù)與MXN像素的傳感器配置上處于等同位置關系的像素相對應，其中，濾波裝置獲取由濾波器系數(shù)計算裝置所計算的濾波器系數(shù)。根據(jù)上文描述，如果能夠獲得固定圖案尺寸，則能夠減少固定圖案的濾波器系數(shù)能夠被計算。
[0030]在根據(jù)本發(fā)明的另一方面的圖像處理設備中，圖像傳感器是彩色圖像傳感器，其中，在水平方向和垂直方向上排列的多個像素上，以在水平方向和垂直方向上重復的方式布置包括三種顏色的濾色器的指定基本陣列圖案，并且固定圖案尺寸獲取裝置獲取指定基本陣列圖案的尺寸作為固定圖案尺寸。
[0031]在根據(jù)本發(fā)明的另一方面的圖像處理設備中，圖像傳感器是具有下述傳感器配置的圖像傳感器，其中，放大器由每個指定像素組共享，并且固定圖案尺寸獲取裝置獲取共享所述放大器的指定像素組的圖像尺寸作為固定圖案尺寸。
[0032]在根據(jù)本發(fā)明的另一方面的圖像處理設備中，圖像傳感器是具有下述傳感器配置的彩色圖像傳感器，其中，在水平方向和垂直方向上排列的多個像素上，以在水平方向和垂直方向上重復的方式布置包括三種顏色的濾色器的指定基本陣列圖案，并且放大器由每個指定像素組共享，并且固定圖案尺寸獲取裝置獲取是指定基本陣列圖案的尺寸和共享放大器的指定像素組的圖像尺寸的最小公倍數(shù)的尺寸，作為固定圖案尺寸。
[0033]更具體而言，固定圖案尺寸能夠被獲取為圖像傳感器中的三種顏色的濾色器的基本陣列圖案的尺寸、在圖像傳感器的襯底上使用一個共享放大器的每個像素組的圖像尺寸、或者這些尺寸的最小公倍數(shù)的尺寸。
[0034]根據(jù)本發(fā)明的另一方面的圖像處理設備進一步包括濾波器尺寸計算裝置，該濾波器尺寸計算裝置被配置成基于M X N的固定圖案尺寸計算K X L濾波器尺寸，其中，濾波器系數(shù)計算裝置計算與由濾波器尺寸計算裝置所計算的濾波器尺寸相對應的濾波器系數(shù)。
[0035]根據(jù)本發(fā)明的另一方面的圖像處理的方法包括:獲取由包括圖像傳感器的成像裝置所取得的圖像的步驟，圖像傳感器具有MXN(M，N:2或更大整數(shù))像素的重復周期的像素配置；(a)在獲取的圖像中設置目標像素并基于目標像素提取KXL(K，L:M〈K并且N〈L的整數(shù))像素的步驟；(b)具有KXL濾波器尺寸的濾波器并且將卷積算術運算應用到為濾波器設置的濾波器系數(shù)和提取的KXL像素的像素值以便計算目標像素的像素值的步驟；以及(c)當相對于獲取的圖像一次將目標像素移動一個像素時重復執(zhí)行步驟(a)和步驟(b)的步驟，其中，為濾波器設置的濾波器系數(shù)在濾波器的中心附近被加權得更大，并且濾波器系數(shù)被設置成使得濾波器尺寸的濾波器系數(shù)的總數(shù)全部彼此相等，這些濾波器系數(shù)與在MXN像素的傳感器配置上處于等同位置關系的像素相對應。
[0036]根據(jù)本發(fā)明的另一方面，一種圖像處理程序，用于使得計算機執(zhí)行:獲取由包括圖像傳感器的成像裝置所取得的圖像的功能，圖像傳感器具有MXN(M，N:2或更大整數(shù))像素的重復周期的像素配置；(a)在獲取的圖像中設置目標像素和基于目標像素提取KXL (K，L:M<K并且N〈L的整數(shù))像素的功能；(b)具有KXL濾波器尺寸的濾波器并且將卷積算術運算應用到為濾波器設置的濾波器系數(shù)和提取的KXL像素的像素值以便計算目標像素的像素值的功能；以及(c)當相對于獲取的圖像一次將目標像素移動一個像素時重復執(zhí)行功能(a)和功能(b)的功能，其中，為濾波器設置的濾波器系數(shù)在濾波器的中心附近被加權得更大，并且濾波器系數(shù)被設置成使得濾波器尺寸的濾波器系數(shù)的總數(shù)全部彼此相等，這些濾波器系數(shù)與在MXN像素的傳感器配置上處于等同位置關系的像素相對應。
[0037]根據(jù)本發(fā)明的另一方面的成像設備包括:成像裝置，該成像裝置包括拍攝光學系統(tǒng)和圖像傳感器，該圖像傳感器被配置成經(jīng)由該拍攝光學系統(tǒng)形成被攝體圖像；圖像獲取裝置，該圖像獲取裝置被配置成獲取從成像裝置輸出的圖像；以及根據(jù)上述這些方面的任何之一的圖像處理設備。
[0038]本發(fā)明的有益效果
[0039]根據(jù)本發(fā)明，使用一種具有KXL (K，L:M〈K并且N〈L的整數(shù))的濾波器尺寸的濾波器，該尺寸是大于在圖像傳感器中包括的具有MXN像素的重復周期的像素配置的一個尺寸，在中心附近將用于濾波器的濾波器系數(shù)加權得更大，并且濾波器系數(shù)被設置成使得濾波器尺寸的濾波器系數(shù)的相應的總數(shù)全部彼此相等，該濾波器系數(shù)與在由MXN像素組成的傳感器配置上處于等同位置關系的像素相對應。這使得能夠借助該濾波器防止濾波之后圖像細節(jié)的損失。此外，能夠減少由于MXN像素的重復周期的像素配置所產(chǎn)生的固定圖案。
[0040]附圖簡要說明
[0041]圖1A是示出在圖像傳感器上布置的馬賽克狀濾色器陣列的一個示例的視圖。
[0042]圖1B是示出用于與圖1A的濾色器陣列相對應的固定模式減少濾波器的濾波器系數(shù)的一個示例的視圖。
[0043]圖2A是用于解釋圖1B中示出的濾波器系數(shù)的配置的視圖。
[0044]圖2B是用于解釋圖1B中示出的濾波器系數(shù)的配置的視圖。
[0045]圖3是示出在圖像傳感器上布置的馬賽克狀濾色器陣列的另一示例和用于與濾色器陣列相對應的固定模式減少濾波器的濾波器系數(shù)的一個示例的視圖。
[0046]圖4A是用于解釋圖3中示出的濾波器系數(shù)的配置的視圖。
[0047]圖4B是用于解釋圖3中示出的濾波器系數(shù)的配置的視圖。
[0048]圖4C是用于解釋圖3中示出的濾波器系數(shù)的配置的視圖。
[0049]圖5是示出根據(jù)本發(fā)明的成像設備的第一實施例的框圖。
[0050]圖6是示出用于在圖5中示出的成像設備中的圖像處理的方法的第一實施例的流程圖。
[0051]圖7是示出根據(jù)本發(fā)明的成像設備的第二實施例的框圖。
[0052]圖8是示出在圖像傳感器上布置的馬賽克狀濾色器陣列的另一示例和用于與濾色器陣列相對應的固定模式減少濾波器的濾波器系數(shù)的一個示例的視圖。
[0053]圖9是示出用于圖7中示出的成像設備中的圖像處理的方法的第二實施例的流程圖。
[0054]圖10是示出根據(jù)本發(fā)明的成像設備的第三實施例的框圖。
[0055]圖1lA是示出共享圖像傳感器的放大器的像素尺寸的示例的視圖。
[0056]圖1lB是示出用于與共享圖1lB中示出的放大器的像素尺寸相對應的固定模式減少濾波器的濾波器系數(shù)的一個示例的視圖。
[0057]圖12是示出用于在圖10中示出的成像設備中的圖像處理的方法的第三實施例的流程圖。
[0058]圖13是示出根據(jù)本發(fā)明的成像設備的第四實施例的框圖。
[0059]圖14A是示出在圖像傳感器上布置的馬賽克狀濾色器陣列的示例的視圖。
[0060]圖14B是示出共享圖像傳感器的放大器的像素的尺寸的示例的視圖。
[0061]圖15是示出用于與圖14A和圖14B中示出的圖像傳感器相對應的固定模式減少濾波器的濾波器系數(shù)的一個示例的視圖。
[0062]圖16是示出用于在圖13中示出的成像設備中的圖像處理的方法的第四實施例的流程圖。
[0063]圖17是示出根據(jù)本發(fā)明的成像設備的第五實施例的框圖。
[0064]圖18A是示出在圖像傳感器上布置的馬賽克狀濾色器陣列的另一示例的視圖。
[0065]圖18B是示出用于與圖18A中示出的濾色器陣列相對應的固定模式減少濾波器的濾波器系數(shù)的一個示例的視圖。[0066]圖19是示出用于圖17中示出的成像設備中的圖像處理的方法的第五實施例的流程圖。
[0067]圖20是示出設置在圖像傳感器上的濾色器陣列的一個示例的視圖。
[0068]圖21是示出由本發(fā)明的 申請人:提議的馬賽克狀濾色器陣列的視圖。
[0069]圖22是示出共享CMOS型圖像傳感器的放大器的像素的尺寸的示例的視圖。
[0070]圖23A是示出具有中心加權濾波器系數(shù)的濾波器的視圖。
[0071]圖23B是示出具有中心加權濾波器系數(shù)的應用示例的視圖。
[0072]圖23C是示出具有中心加權濾波器系數(shù)的濾波器的應用示例的視圖。
[0073]圖24是示出具有統(tǒng)一濾波器系數(shù)的濾波器的視圖。
【具體實施方式】
[0074]在下文，將參考附圖給出根據(jù)本發(fā)明的圖像處理設備、方法和程序、記錄介質(zhì)以及成像設備的優(yōu)選實施例的詳細描述。
[0075][減少固定圖案的方法]
[0076]<第一實施例>
[0077]圖1A示出了圖像傳感器的光電轉(zhuǎn)換元件的每個上布置的馬賽克狀濾色器陣列的一個示例，在圖像傳感器上二維地排列光電轉(zhuǎn)換元件。
[0078]圖1A中示出的濾色器陣列包括基本陣列圖案(利用粗框示出的圖案)，基本陣列圖案是與6X6像素相對應的方陣列圖案。在水平方向和垂直方向上重復地布置該基本陣列圖案。即，布置濾色器陣列，以便利用與基本陣列圖案(6X6像素)相對應的周期性，在水平方向和垂直方向上布置相應的R、G和B顏色的濾波器(R濾波器、G濾波器和B濾波器)。
[0079]在圖1A中示出的基本陣列圖案也可被解釋為由在水平方向和垂直方向上交替放置3X3像素的“a”陣列和3X3像素的“b”陣列構成的布置。
[0080]在“a”陣列和“b”陣列的每一個中，在四個角和中心布置作為亮度像素的G濾波器，使得它們布置在兩條對角線上。在“a”陣列中，在水平方向上排列R濾波器并在垂直方向上排列B濾波器，穿過中心G濾波器。與之相反，在“b”陣列中，在水平方向上排列B濾波器并且在垂直方向上排列R濾波器，穿過中心G濾波器。換言之，在“a”陣列和“b”陣列中，R濾波器和B濾波器的位置關系顛倒，盡管其他布置特征相同。
[0081]在從具有濾色器陣列的圖像傳感器(彩色圖像傳感器)輸出的RGB馬賽克圖像中，與基本陣列圖案的重復周期相對應的固定圖案被生成。
[0082]圖1B示出用于減少固定圖案的濾波器的濾波器系數(shù)。
[0083]在圖1B中示出的濾波器具有9X9濾波器尺寸，其大于基本陣列圖案(固定圖案)。當該濾波器尺寸被分成9個3X3區(qū)域時，設置指配給每個區(qū)域的濾波器系數(shù)，使得中心區(qū)域的濾波器系數(shù)是4，在其上側(cè)、下側(cè)、左側(cè)和右側(cè)的區(qū)域的濾波器系數(shù)是2，并且四個中心區(qū)域的濾波器系數(shù)是I。更具體而言，在濾波器中心附近，濾波器系數(shù)被加權得更大(與濾波器的中心截面越近的像素，被設置成具有更大的濾波器系數(shù))。
[0084]此外，如圖2A中所示，當將6X6像素的基本陣列圖案劃分成4個3X3區(qū)域并且將相應區(qū)域定義為A、B、C和D時，則相應區(qū)域A至D和通過劃分成9個區(qū)域的9 X 9濾波器所獲得的相應區(qū)域之間的關系如圖2B中所示。[0085]更具體而言，當基本陣列圖案的區(qū)域D與劃分成9個區(qū)域的濾波器的中心截面的區(qū)域相對應時，基本陣列圖案的區(qū)域B與該中心區(qū)域的上側(cè)和下側(cè)的區(qū)域相對應。并且基本陣列圖案的區(qū)域C與該中心截面的左側(cè)和右側(cè)的區(qū)域相對應?；娟嚵袌D案的區(qū)域A與四個角的區(qū)域相對應。
[0086]在該情形下，在濾波器上的每個區(qū)域A、B、C和D的數(shù)目是4:2:2:1。同時，在區(qū)域A、B、C和D的每一個的濾波器系數(shù)是1:2:2: 4。即，與相應區(qū)域A、B、C和D相對應的濾波器系數(shù)總數(shù)是4 X 1=4、2 X 2=4、2 X 2=4和I X 4=4，這些彼此相等。
[0087]因此，當將卷積算術運算應用到濾波器的濾波器系數(shù)和與濾色器陣列相對應的馬賽克圖像的像素值時，將統(tǒng)一的濾波器系數(shù)應用到基本陣列圖案的相應區(qū)域A、B、C和D，使得這些區(qū)域被平滑。能夠減少由于基本陣列圖案的重復周期所導致的固定圖案。
[0088]此外，由于在中心附近將9X9濾波器中的濾波器系數(shù)加權得更大，如圖1B中所示，所以能夠防止被濾波的圖像的細節(jié)損失。
[0089]<第二實施例>
[0090]圖3是示出在圖像傳感器上布置的馬克賽狀濾色器陣列的另一示例和用于與濾色器陣列相對應的固定模式減少濾波器的濾波器系數(shù)的一個示例的視圖。
[0091]圖3中示出的濾色器陣列包括由與3X3像素相對應的方陣列圖案構成的基本陣列圖案，并且在水平方向和垂直方向上重復布置基本陣列圖案。應該注意的是，圖3中示出的基本陣列圖案與圖1A中示出的3X3像素的“a”陣列相對應。
[0092]與之相反，用于減少固定圖案的濾波器具有5 X 5濾波器尺寸。此外，濾波器具有在中心附近加權得更大的濾波器系數(shù)，并且被設置使得為與3X3像素的基本陣列圖案上處于等同位置關系的像素相對應的5X5濾波器尺寸的濾波器系數(shù)的總數(shù)彼此都相等。
[0093]圖4A示出5X 5濾波器的濾波器系數(shù)。
[0094]如圖4B中所示，在該濾波器上的列J1和列j4的對與列j2和列j5的對在基本陣列圖案上處于等同位置關系。通過合計分配到這些列的濾波器系數(shù)，能夠獲得如在圖4B的右側(cè)示出的列(ji+j4)和列(j2+j5)中所見的濾波器系數(shù)。
[0095]在該濾波器上的行I1和行i4的對與行i2和行i5的對在基本陣列圖案上也處于等同位置關系。通過合計分配到這些行(圖4B右側(cè)被相加的濾波器系數(shù)的行)的濾波器系數(shù)，能夠獲得如在圖4C的右側(cè)上示出的行(ii+i4)和行(i2+i5)中所見的濾波器系數(shù)。
[0096]根據(jù)前文所描述的上述過程通過合計5X5濾波器的濾波器系數(shù)所獲得的、與在基本陣列圖案上的每個位置相對應的濾波器系數(shù)都等于4。
[0097]例如，濾波器的行可被定義為i^，Iirf,..., I1, 10 (位于濾波器的中心截面且在濾波器系數(shù)的布置中等同的一個或多個行)，i_1;...，i_m，而列被定義為jn，j(n-D，...，J1, J0 (位于濾波器的中心截面且在濾波器系數(shù)的布置中等同的一個或多個列)，j-1；...，j-fe-!), j-n°在該濾波器中，處于穿過中心列jo的指定位置關系的列的濾波器系數(shù)，被相加以獲得(jn+j-1)，...，( ji + j-Λ隨后，處于穿過中心行iQ的指定位置關系的行的濾波器系數(shù)被相加以獲得(im+1-1Mion-D+ij)，...，(ii+1-m)。通過上述相加獲得的(m+ (iQ的行數(shù)))X (n+ (Jci的列數(shù))`)的濾波器系數(shù)的值全部彼此相等。應該注意的是，當m和η是奇數(shù)時，通過(j(n+1)/2+j(n+1)/2)的相加和(i(ni+1)/2+i(ni+1)/2)的相加所獲得的濾波器系數(shù)的值也全部與上述濾波器系數(shù)相等。[0098]通過借助該濾波器執(zhí)行濾波，能夠減少3X3像素的基本陣列圖案的重復周期所導致的固定圖案。此外，由于分配了在中心附近加權得更大的濾波器系數(shù)，所以能夠防止被濾波的圖像的細節(jié)的損失。
[0099][成像設備的第一實施例]
[0100]圖5是示出根據(jù)本發(fā)明的成像設備的第一實施例的框圖。
[0101]將圖5中示出的成像設備10-1配置成，在諸如存儲卡的記錄介質(zhì)12上記錄取得的圖像。中心處理單元(CPU) 14以集成的方式控制整個成像設備10-1的操作。
[0102]基于來自未示出的諸如快門按鈕和電源按鈕的操作單元的輸入信號，CPU14控制成像設備10-1的每個單元。例如，響應來自操作單元的輸入信號，CPU14執(zhí)行鏡頭的驅(qū)動控制、拍攝操作控制、圖像處理控制、圖像數(shù)據(jù)的記錄/再生控制、液晶監(jiān)視器的顯示控制等。
[0103]穿過拍攝鏡頭16的被攝體光在圖像傳感器18的光接收表面上形成圖像。利用光電轉(zhuǎn)換元件將在該圖像傳感器18上形成的被攝體圖像轉(zhuǎn)換成與入射光量相對應的信號電荷。圖像獲取單元20將在圖像傳感器18的光電轉(zhuǎn)換元件的每個中累積的信號電荷作為電壓信號(圖像信號)，逐個地從圖像傳感器18讀出，并且將它們輸出到濾波單元22。從圖像獲取單元20輸出到濾波單元22的圖像信號是指示與圖像傳感器18的濾色器陣列的R、G和B馬賽克圖像的R、G和B信號(數(shù)字信號)。
[0104]應該注意的是，圖像傳感器18不限于CXD (電荷耦合器件)圖像傳感器，而是可以是諸如CMOS (互補金屬氧化物半導體)圖像傳感器的其他類型的圖像傳感器。
[0105]濾波單元22具有從濾波器系數(shù)計算單元26給予的KXL濾波器尺寸的濾波器系數(shù)。濾波單元22將卷積算術運算應用到基于在從圖像獲取單元20獲取的圖像中將被濾波的目標像素提取的KXL像素的像素值和KXL濾波器尺寸的濾波器系數(shù)，以便計算目標像素的像素值。
[0106]固定圖案尺寸獲取單元24獲取與圖像傳感器18中的像素配置的重復周期相對應的固定圖案尺寸，并且將指示固定圖案尺寸的尺寸信息輸出到濾波器系數(shù)計算單元26。應該注意的是，作為指示固定圖案尺寸的尺寸信息，根據(jù)圖像傳感器18的類型預先設置的尺寸被輸入。例如，在具有包括圖1B中示出的基本陣列圖案的濾色器陣列的圖像傳感器的情形下，6X6固定圖案尺寸被輸入。在具有包括圖3中示出的3X3基本陣列圖案的濾色器陣列的圖像傳感器的情形下，3 X 3固定圖案尺寸被輸入。
[0107]基于指示從固定圖案尺寸獲取單元24輸入的固定圖案尺寸的尺寸信息,濾波器系數(shù)計算單元26計算大于固定圖案尺寸的濾波器尺寸的濾波器系數(shù)。
[0108]例如，當固定圖案尺寸是MXN (M，N:2或大于2的整數(shù))像素時，濾波器系數(shù)計算單元26計算與KXL (K，L:M<K且N〈L的整數(shù))的濾波器尺寸相對應的濾波器系數(shù)。如圖1A至4C中所解釋，濾波器計數(shù)計算單元26具有在中心附近被加權得更大的濾波器系數(shù)，并且計算濾波器系數(shù)使得濾波器尺寸的濾波器系數(shù)的總數(shù)都彼此相等，該濾波器系數(shù)與在固定圖案上處于等同位置關系的像素相對應。
[0109]通過濾波單元22處理以減少固定圖案的、用于一個畫面的、一條馬賽克圖像數(shù)據(jù)(RAW數(shù)據(jù))，被輸入到存儲器(SDRAM:同步動態(tài)隨機存取存儲器)28并且臨時被存儲在其中。
[0110]通過數(shù)字信號處理單元(未示出)適當?shù)刈x取臨時存儲在存儲器28中的一條圖像數(shù)據(jù)。該條讀取的圖像數(shù)據(jù)經(jīng)受白平衡校正、伽瑪校正、同步處理(計算來自與單板式彩色圖像傳感器18的濾色器陣列相關的RGB馬賽克圖像的每個像素的所有RGB彩色信息的處理(以將該信息轉(zhuǎn)換成同步信息)，也可以將其稱為去馬賽克)，生成亮度信號Y和色差信號Cr和Cb的YC處理、輪廓校正、色彩校正等。在執(zhí)行上述處理之后，該圖像數(shù)據(jù)遵照JPEG(聯(lián)合圖像專家組)標準被壓縮處理，并且記錄在記錄介質(zhì)12上。或可選地，將圖像數(shù)據(jù)輸出并顯示在未示出的液晶監(jiān)視器上。
[0111][用于圖像處理的方法的第一實施例]
[0112]圖6是示出用于在上述成像設備10-1中的圖像處理的方法的第一實施例的流程圖。
[0113]在圖6中，當通過快門按鈕操作輸入拍攝指令時，圖像獲取單元20經(jīng)由拍攝鏡頭16和圖像傳感器18獲取與圖像傳感器18中的濾色器陣列相對應的馬賽克圖像(步驟S10)。
[0114]同時，固定圖案尺寸獲取單元24獲取與圖像傳感器18中的像素配置的重復周期相對應的固定圖案尺寸(MXN) (M，N:2或大于2的整數(shù))(步驟S12)，并且將指示固定圖案尺寸(MXN)的尺寸信息輸出到濾波器系數(shù)計算單元26?；趶墓潭▓D案尺寸獲取單元24輸出的固定圖案尺寸(MXN)的尺寸信息，濾波器系數(shù)計算單元26計算大于固定圖案尺寸的濾波器尺寸(KXL) (K，L:M〈K并且N〈L的整數(shù))的濾波器系數(shù)(步驟S14)。應該注意的是，優(yōu)選地是事先計算和存儲濾波器系數(shù)并且使用被存儲的濾波器系數(shù)。
[0115]將濾波器尺寸(KXL)設置成大于固定圖案尺寸(MXN)的適當尺寸。如果濾波器尺寸太大，則濾波的圖像的模糊增加。因此，優(yōu)選的是，如下列公式(I)和(2)中那樣，相對于固定圖案尺寸(MXN)，規(guī)定濾波器尺寸(KXL)的上限。
[0116]M〈K〈M+10，N〈L〈N+10 (I)
[0117]M〈K〈MX 2.5, N〈L〈NX 2.5 (2)
[0118]接下來，濾波單元22基于步驟SlO中獲取的馬賽克圖像和步驟S14中計算的濾波器系數(shù)執(zhí)行濾波(步驟S16)。
[0119]更具體而言，將目標像素(X，y)設置在獲取的圖像的內(nèi)部，并且基于目標像素(X，y)提取KXL像素。隨后將卷積算術運算(乘積求和操作)應用到提取的KXL像素和KXL濾波器尺寸的濾波器系數(shù)，以便計算目標像素(x，y)的像素值。此處，當目標像素(x，y)具有G像素的顏色時,利用KXL像素的馬賽克像素當中的G像素和與該G像素的位置相對應的濾波器系數(shù)執(zhí)行卷積算術運算。類似地，當目標像素是R像素或B像素時，利用相同顏色的像素和與這些像素的位置相對應的濾波器系數(shù)，執(zhí)行卷積算術運算。由此，計算濾波之后的像素值。
[0120]當獲取的馬賽克圖像的圖像尺寸是WXH像素值時，當目標像素的位置(X，y)在KxSW且KySH的范圍內(nèi)每次移動一個像素的同時，重復地執(zhí)行濾波。由此，執(zhí)行馬賽克圖像的所有像素的濾波。
[0121]如上文所述經(jīng)受用于減少固定圖案的濾波的馬賽克圖像，隨后經(jīng)受一般的數(shù)字信號處理，諸如白平衡校正、伽瑪校正、同步處理和YC處理(步驟S18)。經(jīng)受YC處理的亮度信號Y和色差信號被壓縮處理，并且隨后記錄在記錄介質(zhì)12上(步驟S20)。
[0122][成像設備的第二實施例][0123]圖7是示出根據(jù)本發(fā)明的成像設備的第二實施例的框圖。應該注意的是，與圖5中示出的第一實施例的那些相同的組成構件由相同的附圖標記指定，以省略詳細描述。
[0124]圖7中示出的第二實施例的成像設備10-2不同點在于，第一實施例的固定圖案尺寸獲取單元24和濾波器系數(shù)計算單元26被替換為基本陣列圖案尺寸獲取單元30和濾波器系數(shù)計算單元32。
[0125]基本布置圖案尺寸獲取單元30獲取在圖像傳感器18中設置的馬賽克狀濾色器陣列中的RGB濾波器的基本陣列圖案的尺寸(基本陣列圖案尺寸)。
[0126]例如，在圖8中示出的濾色器陣列的情形下，作為在水平方向和垂直方向上的RGB濾波器的最小重復圖案的、利用內(nèi)粗框示出的基本陣列圖案，由6X6像素構成。因此，圖8中示出的濾色器陣列的基本陣列圖案尺寸是6X6像素。
[0127]關于基本陣列圖案中相同顏色的像素，它們相應的相鄰像素(8像素)的顏色組合根據(jù)它們在基本陣列圖案中的位置而彼此不同。因此，即使當被攝體的局部區(qū)域具有均勻的顏色和亮度，也由于相鄰像素之間的顏色混合導致在輸出信號中產(chǎn)生電平差。輸出信號中的電平差隨著基本陣列圖案的周期而重復，并且作為固定圖案顯現(xiàn)。因此，基本陣列圖案尺寸與固定圖案尺寸一樣。
[0128]基本陣列圖案尺寸獲取單元30獲取基本陣列圖案尺寸，并且將指示基本陣列圖案尺寸的尺寸信息輸出到濾波器系數(shù)計算單元32。應該注意的是，作為指示基本陣列圖案尺寸的尺寸信息，輸入根據(jù)圖像傳感器18的基本陣列圖像預先設置的尺寸。
[0129]基于從基本陣列圖案尺寸獲取單元30輸入的基本陣列圖案尺寸的尺寸信息，濾波器系數(shù)計算單元32計算大于基本陣列圖案尺寸的濾波器尺寸的濾波器系數(shù)，并且將計算的濾波器系數(shù)給予濾波單元22。
[0130]在圖8中示出的示例中，濾波器系數(shù)計算單元32計算8X8濾波器尺寸的濾波器系數(shù)。此外，設置濾波器系數(shù)使得在中心附近被加權得更大的濾波器系數(shù)被分配，并且為8X8像素尺寸的濾波器系數(shù)的總數(shù)都彼此相等，該濾波器系數(shù)與在由6X6像素構成的基本陣列圖案上處于等同位置關系的像素相對應。
[0131]通過借助通過濾波器系數(shù)計算單元32所計算的濾波器系數(shù)在濾波單元22中濾波，能夠減少固定圖案同時防止濾波的圖像的細節(jié)損失。
[0132][用于圖像處理的方法的第二實施例]
[0133]圖9是示出用于成像設備10-2中圖像處理的方法的第二實施例的流程圖。應該注意的是，與圖6中示出的第一實施例的那些等同的圖像處理方法的步驟由相同的步驟編號指定，以省略詳細描述。
[0134]圖9中示出的第二實施例不同于第一實施例的點在于，步驟S30和S32的處理被執(zhí)行，而非圖6中示出的第一實施例的步驟S12和S14。
[0135]更具體而言，在步驟S30中，圖像傳感器18中的濾色器陣列的基本圖案尺寸(MXN)(M，N:2或大于2的整數(shù))被獲取。在步驟S32中，在步驟S30中獲取的基本圖案尺寸(MXN)被定義為固定圖案尺寸(MXN)，并且計算大于固定圖案尺寸的濾波器尺寸(KXL)(K，L:M<K且N〈L的整數(shù))的濾波器系數(shù)。計算濾波器尺寸(KXL)的濾波器系數(shù)，使得在中心附近被加權得更大的濾波器系數(shù)被分配，并且為KXL濾波器尺寸的濾波器系數(shù)的總數(shù)被計算成全部彼此相等，該濾波器系數(shù)與在MXN像素的基本陣列圖案上處于等同位置關系的像素相對應。
[0136][成像設備的第三實施例]
[0137]圖10是示出根據(jù)本發(fā)明的成像設備的第三實施例的框圖。應該注意的是，與圖5中示出的第一實施例的那些等同的組成構件由等同的附圖標記指定，以省略詳細描述。
[0138]圖10中示出的第三實施例的成像設備10-3的不同點在于，第一實施例的固定圖案尺寸獲取單元24和濾波器系數(shù)計算單元26被替代為共享放大器的像素尺寸獲取單元40和濾波器系數(shù)計算單元42。
[0139]共享放大器的像素尺寸獲取單元40獲取共享嵌入在圖像傳感器18的襯底中的放大器的像素的尺寸。在圖1lA中示出的CMOS型圖像傳感器中，在CMOS襯底中嵌入像素共享放大器。在圖1IA中示出的示例中，2 X 2布置的4個像素共享一個放大器A，所以共享該放大器的像素的尺寸是2X2。由于圖像傳感器的這種襯底配置，取決于像素相對于放大器A的位置(相對于放大器A的左上、右上、左下和右下位置)產(chǎn)生輸出電平的差異，并且這產(chǎn)生與襯底配置的重復周期相對應的固定圖案。
[0140]共享放大器的像素尺寸獲取單元40獲取共享放大器的像素尺寸，并且將指示共享放大器的像素的尺寸的尺寸信息輸出到濾波器系數(shù)計算單元42。應該注意的是，作為指示共享放大器的像素的尺寸的尺寸信息，輸入根據(jù)共享圖像傳感器18的放大器的像素尺寸預先設置的尺寸。
[0141]基于從共享放大器的像素尺寸獲取單元40輸入的共享放大器的像素的尺寸的尺寸信息，濾波器系數(shù)計算單元42計算大于共享放大器的像素尺寸的濾波器尺寸的濾波器系數(shù)，并且將計算的濾波器系數(shù)給予濾波單元22。
[0142]在圖1lB中示出的示例中，針對共享放大器的像素尺寸，在圖1lA中示出為2X2，來計算4X4濾波器尺寸的濾波器系數(shù)。此外，設置濾波器系數(shù)，使得在中心附近被加權得更大的濾波器系數(shù)被分配，并且為4X4濾波器尺寸的濾波器系數(shù)的總數(shù)全都彼此相等，該濾波器系數(shù)與在2X2像素的共享放大器的像素尺寸上處于等同位置關系的像素相對應。
[0143]借助由濾波器系數(shù)計算單元42所計算的濾波器系數(shù)通過在濾波單元22中濾波，能夠減少與共享該放大器的像素的尺寸相對應的固定圖案。此外，能夠防止濾波的圖像的細節(jié)損失。
[0144][用于圖像處理的方法的第三實施例]
[0145]圖12是示出用于成像設備10-3中的圖像處理的方法的第三實施例的流程圖。應該注意的是，與圖6中示出的圖像處理的方法的第一實施例的那些等同的圖像處理的方法步驟由等同的步驟編號指定，以省略詳細描述。
[0146]圖12中示出的第三實施例不同于第一實施例的點在于，步驟S40和S42的處理被執(zhí)行，而非圖6中示出的第一實施例的步驟S12和S14。
[0147]更具體而言，在步驟S40中，圖像傳感器18的共享放大器的像素尺寸(MXN) (M，N:2或大于2的整數(shù))被獲取。在步驟S42中，將在步驟S40中獲取的基本圖案尺寸(MXN)定義為固定圖案尺寸(MXN)，并且大于固定圖案尺寸的濾波器尺寸(KXL)(K，L:M〈K且N〈L的整數(shù))的濾波器系數(shù)被計算。濾波器尺寸(KXL)的濾波器系數(shù)被計算，使得在中心附近被加權得更大的濾波器系數(shù)被分配，并且為KXL濾波器尺寸的濾波器系數(shù)的總數(shù)被計算為全部彼此相等，該濾波器系數(shù)與在共享放大器的像素尺寸的MXN像素上處于等同位置關系的像素相對應。
[0148][成像設備的第四實施例]
[0149]圖13是示出根據(jù)本發(fā)明的成像設備的第四實施例的框圖。應該注意的是，與圖5中示出的第一實施例的那些等同的組成構件由相同的附圖標記指定，以省略詳細描述。
[0150]圖13中示出的第四實施例的成像設備10-4的不同點在于，第一實施例的固定圖案尺寸獲取單元24和濾波器系數(shù)計算單元26被替代為基本陣列圖案尺寸獲取單元50、共享放大器的像素尺寸獲取單元52、固定圖案尺寸計算單元54和濾波器系數(shù)計算單元56。
[0151]如同圖7中示出的第二實施例的基本陣列圖案尺寸獲取單元30和圖10中示出的第三實施例的共享放大器的像素尺寸獲取單元40，基本陣列圖案尺寸獲取單元50和共享放大器的像素尺寸獲取單元52分別獲取基本陣列圖案尺寸和共享放大器的像素的尺寸。
[0152]固定圖案尺寸計算單元54基于從基本陣列圖案尺寸獲取單元50和共享放大器的像素尺寸獲取單元52輸入的基本陣列圖案尺寸和共享放大器的像素尺寸，來計算固定圖案尺寸，并且將指示計算的固定圖案尺寸的信息輸出到濾波器系數(shù)計算單元56。
[0153]如圖14A和14B中所示，當基本陣列圖案尺寸是3X3像素并且共享放大器的像素的尺寸是2X2像素時，固定圖案尺寸計算單元54將在水平和垂直方向上的這些尺寸的最小公倍數(shù)6X6像素計算為固定圖案尺寸。這是因為與基本陣列圖案相對應的固定圖案和與共享像素的放大器相對應的固定圖案具有這些固定圖案的最小公倍數(shù)的固定圖案。
[0154]濾波器相關數(shù)字計算單元56基于指示由固定圖案尺寸計算單元54計算的固定圖案尺寸的尺寸信息，計算其大于固定圖案尺寸的濾波器尺寸的濾波器系數(shù)，并且將計算的濾波器系數(shù)給予濾波單元22。
[0155]在圖15中示出的示例中，針對6X6固定圖案尺寸計算8X8濾波器尺寸的濾波器系數(shù)。此外，設置濾波器系數(shù)，`使得在中心附近被加權得更大的濾波器系數(shù)被分配，并且為8X8濾波器尺寸的濾波器系數(shù)的總數(shù)全部彼此相等，該濾波器系數(shù)與在6X6像素的固定圖案尺寸上處于等同位置關系的像素相對應。
[0156]借助由濾波器系數(shù)計算單元56所計算的濾波器系數(shù)通過在濾波單元22中濾波，能夠減少與共享放大器的像素尺寸相對應的固定圖案。此外，根據(jù)本實施例，能夠防止濾波的圖像的細節(jié)損失。
[0157][用于圖像處理的第四實施例]
[0158]圖16是示出用于在成像設備10-4中的圖像處理的方法的第四實施例的流程圖。應該注意的是，與圖6中示出的第一實施例的那些等同的用于圖像處理方法的步驟由相同的步驟編號表示，以省略詳細描述。
[0159]圖6中示出的第四實施例不同于第一實施例的點在于，步驟S50至S56的處理被執(zhí)行，而非圖6中示出的第一實施例的步驟S12和S14。
[0160]更具體而言，在步驟S50，圖像傳感器18中的濾色器陣列的基本圖案尺寸被獲取，并且在步驟S52中，共享圖像傳感器18的放大器的像素的尺寸被獲取。
[0161]將在步驟S50和S52中獲取的基本圖案尺寸和共享放大器的像素的尺寸的最小公倍數(shù)，計算為固定圖案尺寸(MXN)(步驟S54)。在步驟S56中，大于步驟S54中所計算的固定圖案尺寸的濾波器尺寸(KXL) (1(，1^舊〈1(且％1^的整數(shù))的濾波器系數(shù)被計算。計算濾波器尺寸(KXL)的濾波器系數(shù)，使得在中心附近被加權得更大的濾波器系數(shù)被分配，并且為KXL濾波器尺寸的濾波器系數(shù)的總數(shù)被計算成全部彼此相等，該濾波器系數(shù)與在共享放大器的像素尺寸的MXN像素上處于等同位置關系的像素相對應。
[0162][成像設備的第五實施例]
[0163]圖17是示出根據(jù)本發(fā)明的成像設備的第五實施例的框圖。應該注意的是，與圖5中示出的第一實施例的那些等同的組成構件由相同的附圖標記指定，以省略詳細描述。
[0164]圖17中示出的第五實施例的成像設備10-5的不同點在于，在第一實施例的固定圖案尺寸獲取單元24和濾波器系數(shù)計算單元26之間添加濾波器尺寸計算單元60。
[0165]固定圖案尺寸獲取單元24獲取與圖像傳感器18中的像素配置的重復周期相對應的固定圖案尺寸，并且將指示固定圖案尺寸的尺寸信息輸出到濾波器尺寸計算單元60。例如，在圖像傳感器具有包括如圖18A中所示的3X3像素的基本陣列圖案的濾色器陣列的情形下，將指示3 X 3固定圖案尺寸的尺寸信息輸出到濾波器尺寸計算單元60。
[0166]濾波器尺寸計算單元60基于從固定圖案尺寸獲取單元24輸入的指示固定圖案尺寸的尺寸信息，計算大于固定圖案尺寸的濾波器尺寸的濾波器系數(shù)。更具體而言，當固定圖案尺寸是MXN (M，N:2或大于2的整數(shù))像素時，濾波器尺寸計算單元60計算KXL (K,L:M〈K且N〈L的整數(shù))濾波器尺寸。在如圖18A中所示的3X3像素的基本陣列圖案(固定圖案尺寸)的情形下，大于3X3的濾波器尺寸(例如5X5)被計算，如圖18B中所示。
[0167]濾波器系數(shù)計算單元26計算與從濾波器尺寸計算單元60輸入的濾波器尺寸(KXL)相對應的濾波器系數(shù)。在圖18B中示出的示例中計算5X5的濾波器系數(shù)。此外，設置濾波器系數(shù)，使得在中心附近被加權得更大的濾波器系數(shù)被分配，并且為5X5濾波器尺寸的濾波器系數(shù)的相應總數(shù)全部彼此相等，該濾波器系數(shù)與在3X3像素的基本陣列圖案上處于等同位置關系的像素相對應。
[0168]借助由濾波器系數(shù)計算單元26所計算的濾波器系數(shù)通過在濾波單元22中濾波，能夠減少固定圖案。此外，能夠防止濾波的圖像細節(jié)的損失。
[0169][圖像處理方法的第五實施例]
[0170]圖19是示出用于成像設備10-5中的圖像處理的方法的第五實施例的流程圖。應該注意的是，與圖6中示出的第一實施例那些相同的用于圖像處理的方法步驟由相同的步驟編號指定，以省略詳細描述。
[0171]圖19中不出的第五實施例不同于第一實施例的點在于，步驟S60和S62的處理被執(zhí)行，而非圖6中示出的第一實施例的步驟S14。
[0172]更具體而言，在步驟S60中，基于步驟S12中獲取的固定圖案尺寸(MXN)，大于固定圖案尺寸的濾波器尺寸(KXL) (K，L:M〈K并且N〈L的整數(shù))被計算。在步驟S62中，與步驟S60中所計算的濾波器尺寸相對應的濾波器系數(shù)被計算。計算濾波器尺寸(KXL)的濾波器系數(shù)，使得在中心附近被加權得更大的濾波器系數(shù)被分配，并且為KXL濾波器尺寸的濾波器系數(shù)的總數(shù)被計算成全部彼此相等，該濾波器系數(shù)與在固定圖案的MXN像素上處于等同位置關系的像素相對應。
[0173][其它]
[0174]根據(jù)上述實施例，通過濾波器系數(shù)計算單元計算濾波器系數(shù)。應該注意的是，一旦成像設備的圖像傳感器被確定，也就確定與在圖像傳感器中的像素配置的重復周期相對應的固定圖案。因此，能夠事先計算用于減少固定圖案的濾波器的濾波器系數(shù)。因此，可以將事先計算的濾波器系數(shù)存儲在非易失性存儲器中，并且在濾波時可以從非易失性存儲器中讀取濾波器系數(shù)。
[0175]本發(fā)明能夠被應用到的濾色器的基本陣列圖案不限于如上述實施例中的R、G和B三種顏色的濾色器，而是可以為包括至少三種顏色的濾色器的任何基本陣列圖案。本發(fā)明可應用到四種或更多種顏色的濾色器，諸如添加到R、G和B濾波器的翠綠色(E)和白色(W)濾波器。在那種情形下，在基本陣列圖案的尺寸(MXN)中的M和N是3或更大的整數(shù)。
[0176]此外，雖然將CMOS型圖像傳感器描述為其中每個指定像素組具有共享的放大器的圖像傳感器的示例，本發(fā)明不僅可以應用到CMOS型圖像傳感器但是也可以應用到MOS型和XY地址類型圖像傳感器。
[0177]此外，雖然在本實施例中已經(jīng)描述了包括固定圖案減少處理的圖像處理設備的成像設備，但是可以通過外部圖像處理設備執(zhí)行包括固定圖案減少處理的圖像處理。在那種情形下，在成像設備中，當還未經(jīng)受圖像處理的馬賽克圖像(RAW數(shù)據(jù))被存儲并且通過外部圖像處理設備RAW開發(fā)RAW數(shù)據(jù)時，可以執(zhí)行本發(fā)明的固定圖案減少處理。此外，根據(jù)本發(fā)明的包括固定圖案減少處理的圖像處理程序和存儲圖像處理程序的記錄介質(zhì)可以內(nèi)置在成像設備專用的RAM開發(fā)軟件中。
[0178]此外，應該理所當然的理解，本發(fā)明不限于上述實施例，并且在不脫離本發(fā)明的精神的情形下，各種修改是可能的。
[0179]附圖標記列表
[0180]10-1、10-2、10-3、10-4、10-5 成像設備；12 記錄介質(zhì)；14 中心處理單元(CPU) ；16拍攝鏡頭；18圖像傳感器；20圖像獲取單元；22濾波單元；24固定圖案尺寸獲取單元；26、32、42、56濾波器系數(shù)計算單元；30、50基本陣列圖案尺寸獲取單元；40、52共享放大器的像素尺寸獲取單元；54固定圖案尺寸計算單元；60濾波器尺寸計算單元。
【權利要求】
1.一種圖像處理設備，包括: 圖像獲取裝置，所述圖像獲取裝置被配置成獲取由包括圖像傳感器的成像裝置所取得的圖像，所述圖像傳感器具有MXN (Μ,Ν:2或大于2的整數(shù))像素的重復周期的像素配置；以及 濾波裝置，所述濾波裝置具有KXL (K,L:M<K并且N〈L的整數(shù))濾波器尺寸的濾波器，所述濾波裝置被配置成，將卷積算術運算應用到用于所述濾波器的濾波器系數(shù)集和基于由所述圖像獲取裝置獲取的所述圖像中的目標像素提取的KXL像素的像素值，以便計算所述目標像素的像素值； 其中，為所述濾波器設置的所述濾波器系數(shù)在所述濾波器中心附近被加權得更大，并且所述濾波器系數(shù)被設置成使得所述濾波器尺寸的所述濾波器系數(shù)的總數(shù)全部彼此相等，所述濾波器系數(shù)與在MXN像素的所述像素配置上處于等同位置關系的像素相對應。
2.根據(jù)權利要求1所述的圖像處理設備， 其中，所述圖像傳感器是彩色圖像傳感器，在所述彩色圖像傳感器中，在水平方向和垂直方向上排列的多個像素上，以在所述水平方向和所述垂直方向上重復的方式布置包括三種顏色的濾色器的指定基本陣列圖案，以及 具有MXN像素的所述重復周期的所述像素配置與所述指定基本陣列圖案相對應。
3.根據(jù)權利要求1所述的圖像處理設備， 其中，所述圖像傳感器是具有下述傳感器配置的圖像傳感器，其中，放大器由每個指定像素組共享，以及 具有MXN像素的所述重復周期的 所述像素配置與所述指定的像素組相對應。
4.根據(jù)權利要求1所述的圖像處理設備， 其中，所述圖像傳感器是具有下述傳感器配置的彩色圖像傳感器，其中，在水平方向和垂直方向上排列的多個像素上，以在所述水平方向和所述垂直方向上重復的方式布置包括三種顏色的濾色器的指定基本陣列圖案，并且放大器由每個指定像素組共享，以及 在所述像素配置中的MXN像素的所述重復周期是所述指定基本陣列圖案和所述指定像素組的最小公倍數(shù)的重復周期。
5.根據(jù)權利要求2或4所述的圖像處理設備， 其中，所述基本陣列圖案包括是紅(R)、綠(G)和藍(B)的三原色的濾色器，以及 所述基本陣列圖案是與NXN (N:3或更大的整數(shù))像素相對應的方陣列圖案。
6.根據(jù)權利要求2、4或5所述的圖像處理設備， 其中，所述濾波裝置將卷積算術運算應用到將利用所述濾波器處理的區(qū)域中的KXL像素當中的目標像素、與濾色器相對應的像素的像素值、與所述目標像素的濾色器等同的顏色，以及與這些像素相對應的所述濾波器的濾波器系數(shù)，以便計算所述目標像素的像素值。
7.根據(jù)權利要求1所述的圖像處理設備，進一步包括: 固定圖案尺寸獲取裝置，所述固定圖案尺寸獲取裝置被配置成獲取與代表所述圖像傳感器中的所述像素配置的重復周期的MXN像素相對應的固定圖案尺寸；以及 濾波器系數(shù)計算裝置，所述濾波器系數(shù)計算裝置具有基于所獲取的固定圖案尺寸在所述濾波器的中心附近被加權得更大的濾波器系數(shù)，所述濾波器系數(shù)計算裝置被配置成計算所述濾波器系數(shù)，使得所述濾波器尺寸的所述濾波器系數(shù)的總數(shù)全部都彼此相等，所述濾波器系數(shù)與在MXN像素的所述傳感器配置上處于等同位置關系的像素相對應， 其中，所述濾波裝置獲取由所述濾波器系數(shù)計算裝置所計算的所述濾波器系數(shù)。
8.根據(jù)權利要求7所述的圖像處理設備， 其中，所述圖像傳感器是彩色圖像傳感器，在所述彩色圖像傳感器中，在水平方向和垂直方向上排列的多個像素上，以在所述水平方向和所述垂直方向上重復的方式布置包括三種顏色的濾色器的指定基本陣列圖案，以及 所述固定圖案尺寸獲取裝置獲取所述指定基本陣列圖案的尺寸作為所述固定圖案尺寸。
9.根據(jù)權利要求7所述的圖像處理設備， 其中，所述圖像傳感器是具有下述傳感器配置的圖像傳感器，其中，放大器由每個指定像素組共享，以及 所述固定圖案尺寸獲取裝置獲取共享所述放大器的所述指定像素組的圖像尺寸作為所述固定圖案尺寸。
10.根據(jù)權利要求7所述的圖像處理設備， 其中，所述圖像傳感器是具有下述傳感器配置的彩色圖像傳感器，其中，在水平方向和垂直方向上排列的多個像素上，以在所述水平方向和所述垂直方向上重復的方式布置包括三種顏色的濾色器的指定基本陣列圖案，并且放大器由每個指定像素組共享，以及 所述固定圖案尺寸獲取裝置獲取作為所述指定基本陣列圖案的尺寸和共享所述放大器的所述指定像素組的圖像尺寸的最小公倍數(shù)的尺寸，作為所述固定圖案尺寸。
11.根據(jù)權利要求7所述的圖像處理設備，包括 濾波器尺寸計算裝置，所述濾波器尺寸計算裝置被配置成基于MXN的所述固定圖案尺寸來計算所述KXL濾波器尺寸， 其中，所述濾波器系數(shù)計算裝置計算與由所述濾波器尺寸計算裝置所計算的所述濾波器尺寸相對應的濾波器系數(shù)。
12.一種用于圖像處理的方法，包括: 獲取由包括圖像傳感器的成像裝置所取得的圖像的步驟，所述圖像傳感器具有MXN(M，N:2或更大整數(shù))像素的重復周期的像素配置； (a)在所獲取的圖像中設置目標像素并基于所述目標像素提取KXL(K，L:M〈K并且N〈L的整數(shù))像素的步驟；(b)具有KXL濾波器尺寸的濾波器并且將卷積算術運算應用到為所述濾波器設置的濾波器系數(shù)和所提取的KXL像素的像素值以便計算所述目標像素的像素值的步驟；以及 (c)當相對于所獲取的圖像將所述目標像素一次移動一個像素時，重復執(zhí)行所述步驟(a)和所述步驟(b)的步驟， 其中，為所述濾波器設置的所述濾波器系數(shù)在所述濾波器的中心附近被加權得更大，并且所述濾波器系數(shù)被設置成使得所述濾波器尺寸的所述濾波器系數(shù)的總數(shù)全部彼此相等，所述濾波器系數(shù)與在MXN像素的所述傳感器配置上處于等同位置關系的像素相對應。
13.一種圖像處理程序，用于使得計算機執(zhí)行: 獲取由包括圖像傳感器的成像裝置所取得的圖像的功能，所述圖像傳感器具有MXN(Μ, N:2或更大整數(shù))像素的重復周期的像素配置； (a)在所獲取的圖像中設置目標像素并基于所述目標像素提取KXL(K，L:M〈K并且N〈L的整數(shù))像素的功能； (b)具有KXL濾波器尺寸的濾波器并且將卷積算術運算應用到為所述濾波器設置的濾波器系數(shù)和所提取的KXL像素的像素值以便計算所述目標像素的像素值的功能；以及 (c)當相對于所獲取的圖像將所述目標像素一次移動一個像素時，重復執(zhí)行所述功能(a)和所述功能(b)的功能， 其中，為所述濾波器設置的所述濾波器系數(shù)在所述濾波器的中心附近被加權得更大，并且所述濾波器系數(shù)被設置成使得所述濾波器尺寸的所述濾波器系數(shù)的總數(shù)全部彼此相等，所述濾波器系數(shù)與在MXN像素的所述傳感器配置上處于等同位置關系的像素相對應。
14.一種計算機可讀非暫時記錄介質(zhì),包括在其上存儲的指令,使得當所述指令被讀取并且由處理器執(zhí)行時，所述處理器被配置成執(zhí)行: 獲取由包括圖像傳感器的成像裝置所取得的圖像的步驟，所述圖像傳感器具有MXN(M，N:2或更大整數(shù))像素的重復周期的像素配置； (a)在所獲取的圖像中設置目標像素并基于所述目標像素提取KXL(K，L:M〈K并且N〈L的整數(shù))像素的步驟； (b)具有KXL濾波器尺寸的濾波器并且將卷積算術運算應用到為所述濾波器設置的濾波器系數(shù)和所提取的KXL像素的像素值以便計算所述目標像素的像素值的步驟；以及 (c)當相對于所獲取的圖像將所述目標像素一次移動一個像素時，重復執(zhí)行所述步驟(a)和所述步驟(b)的步驟， 其中，為所述濾波器設置的所述濾波器系數(shù)在所述濾波器的中心附近被加權得更大，并且所述濾波器系數(shù)被設置成使得所述濾波器尺寸的所述濾波器系數(shù)的總數(shù)全部彼此相等，所述濾波器系數(shù)與在MXN像素的所述傳感器配置上處于等同位置關系的像素相對應。
15.—種成像設備,包括: 成像裝置，所述成像裝置包括拍攝光學系統(tǒng)和圖像傳感器，所述圖像傳感器配置成經(jīng)由所述拍攝光學系統(tǒng)形成被攝體圖像； 圖像獲取裝置，所述圖像獲取裝置被配置成獲取從所述成像裝置輸出的圖像；以及 根據(jù)權利要求1至11的任何一項的所述的圖像處理設備。
【文檔編號】H04N5/238GK103563361SQ201280026611
【公開日】2014年2月5日 申請日期:2012年6月21日 優(yōu)先權日:2011年9月29日
【發(fā)明者】田中誠二 申請人:富士膠片株式會社