攝像裝置及圖像處理方法
【專(zhuān)利摘要】進(jìn)行從如下攝像元件輸出的RGB顏色信號(hào)的白平衡校正，上述攝像元件具有在各行上排列RGB濾色器并且RGB濾色器的個(gè)數(shù)比率根據(jù)行而不同的、特別的濾色器排列。在計(jì)算上述白平衡校正中使用的WB增益時(shí)，不使用上述攝像元件的總像素而間拔讀出預(yù)定的行，基于間拔讀出的預(yù)定的行的顏色信號(hào)，算出WB增益。并且，作為間拔的預(yù)定的行，在混色多的攝影條件(鏡頭F值、變焦位置)下選擇混色少的行，在混色少的攝影條件下選擇RGB濾色器的個(gè)數(shù)比率平均的行。
【專(zhuān)利說(shuō)明】攝像裝置及圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及攝像裝置及圖像處理方法，尤其涉及一種高速且高精度地算出白平衡增益的技術(shù)。
【背景技術(shù)】
[0002]專(zhuān)利文獻(xiàn)I記載了以下攝像裝置:基于從攝像元件的整個(gè)區(qū)域的圖像間拔(提取)的圖像，算出白平衡增益(WB增益)，并且通過(guò)電子變焦正式拍攝攝像元件的部分區(qū)域的圖像，通過(guò)上述算出的WB增益來(lái)進(jìn)行白平衡校正。由此，從與正式拍攝的區(qū)域相比存在白色的概率高的區(qū)域的圖像中檢測(cè)出顏色溫度，從而能夠高精度地算出WB增益。
[0003]并且，專(zhuān)利文獻(xiàn)2記載了以下內(nèi)容:從固體攝像元件間拔讀出像素的信號(hào)，或者加算并讀出垂直方向的同色行中的多個(gè)像素信號(hào)，通過(guò)對(duì)該讀出的信號(hào)進(jìn)行檢波(各顏色電平的積分處理)而算出WB增益。
[0004]另外，上述專(zhuān)利文獻(xiàn)1、2所記載的攝像裝置中適用的攝像元件具有拜耳排列的濾色器排列(專(zhuān)利文獻(xiàn)I第0023段，圖4、專(zhuān)利文獻(xiàn)2的圖3)。
[0005]拜耳排列中將綠(G)像素配置成棋盤(pán)式格紋狀、將紅(R)、藍(lán)⑶按照線的順序配置，所以存在因超過(guò)各顏色重現(xiàn)帶域的高頻信號(hào)的折返和各顏色相位偏差而產(chǎn)生低頻的附加色(帶色莫爾條紋)的問(wèn)題。 [0006]為了解決這一問(wèn)題，提出了將攝像元件的濾色器排列設(shè)為滿(mǎn)足以下排列限制條件的3色隨機(jī)排列的彩色攝像元件(專(zhuān)利文獻(xiàn)3)，上述排列限制條件為，任意的關(guān)注像素與包括該關(guān)注像素的顏色在內(nèi)的3種顏色在該關(guān)注像素的4邊中的任一邊相鄰。
[0007]并且，專(zhuān)利文獻(xiàn)4提出了以下攝像裝置:使G濾光片的比例比R濾光片、B濾光片多，與將相同比例的濾色器配置為格子構(gòu)造時(shí)相比，能夠提高顏色的水平方向及垂直方向的分辨率，并且減少亮度信號(hào)中的帶色莫爾條紋。
[0008]專(zhuān)利文獻(xiàn)1:日本特開(kāi)2007-295300號(hào)公報(bào)
[0009]專(zhuān)利文獻(xiàn)2:日本特開(kāi)2003-116143號(hào)公報(bào)
[0010]專(zhuān)利文獻(xiàn)3:日本特開(kāi)2000-308080號(hào)公報(bào)
[0011]專(zhuān)利文獻(xiàn)4:日本特開(kāi)平8-23542號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0012]發(fā)明要解決的問(wèn)題
[0013]在具有馬賽克狀的濾色器排列的攝像元件中，因來(lái)自相鄰像素的光的泄漏而產(chǎn)生混色?；焐某潭热Q于攝影鏡頭的焦距、光圈的F值等攝影條件。
[0014]當(dāng)基于混色多的RGB顏色信號(hào)計(jì)算WB增益時(shí)，存在無(wú)法高精度地算出WB增益的問(wèn)題。
[0015]在具有專(zhuān)利文獻(xiàn)1、2所述的拜耳排列的攝像元件中，以RGrRGr的順序重復(fù)的行及以GbBGb的順序重復(fù)的行交替排列，在I行上不存在RGB像素，并且，在WB增益計(jì)算時(shí)，SP使適當(dāng)變更行的間拔讀出，也無(wú)法進(jìn)行難以受到混色影響的間拔讀出、易受到混色影響的間拔讀出等。
[0016]另一方面，在專(zhuān)利文獻(xiàn)3所述的3色隨機(jī)排列的彩色攝像元件的情況下，雖然在I行上存在RGB圖像，但RGB濾光片隨機(jī)配置，因此在WB增益計(jì)算時(shí)，即使間拔讀出任一行，也會(huì)取得受到了相同程度的混色影響的顏色信號(hào)，而無(wú)法算出降低了混色影響的高精度的WB增益。
[0017]并且，專(zhuān)利文獻(xiàn)4所記載的濾色器排列中，水平、垂直方向的任意行均較多配置G濾光片，因此即使間拔讀出任一行，RGB像素的個(gè)數(shù)比率也變得不平均。在求算WB增益時(shí)，求出RGB各顏色信號(hào)的累計(jì)平均值，但因平均的像素?cái)?shù)不同，因此尤其當(dāng)為了實(shí)現(xiàn)高速化而增大間拔率時(shí)，RGB的累計(jì)平均值的精度易產(chǎn)生偏差，存在無(wú)法高精度地算出WB增益的問(wèn)題。
[0018]本發(fā)明鑒于以上情況而提出，其目的在于提供能夠高速地算出考慮到噪聲的影響及相鄰像素間的混色影響的高精度的白平衡增益并能夠迅速地進(jìn)行高精度的白平衡校正的攝像裝置及圖像處理方法。
[0019]用于解決問(wèn)題的方法
[0020]為了實(shí)現(xiàn)上述目的，本發(fā)明的一個(gè)方式涉及的攝像裝置具有:攝影光學(xué)系統(tǒng)；攝像元件，使被攝體圖像經(jīng)由上述攝影光學(xué)系統(tǒng)而成像，在排列成二維狀的光電轉(zhuǎn)換元件上排列包括三原色的濾色器，且具有如下濾色器排列:在各行上排列三原色濾色器，并且包括三原色濾色器的個(gè)數(shù)比率不同的多行；白平衡增益計(jì)算單元，基于上述多行中上述三原色濾色器的個(gè)數(shù)比率更平均的行的各顏色的濾色器所對(duì)應(yīng)的各顏色信號(hào)，算出白平衡增益；及白平衡校正單元，基于由上述白平衡增益計(jì)算單元算出的白平衡增益，對(duì)經(jīng)由上述攝像元件取得的各顏色信號(hào)進(jìn)行白平衡校正。
[0021]根據(jù)本發(fā)明的一個(gè)方式，使用具有三原色濾色器的個(gè)數(shù)比率根據(jù)行而不同的特別的濾色器排列的攝像元件，基于三原色濾色器的個(gè)數(shù)比率更平均的行的顏色信號(hào)，算出白平衡增益。由此，由噪聲成分引起的三原色檢測(cè)精度(累計(jì)平均值)的偏差變小，能夠算出高精度的白平衡增益。
[0022]本發(fā)明的其他方式涉及的攝像裝置具有:攝影光學(xué)系統(tǒng)；攝像元件，使被攝體圖像經(jīng)由上述攝影光學(xué)系統(tǒng)而成像，在排列成二維狀的光電轉(zhuǎn)換元件上排列包括三原色的濾色器，且具有以下濾色器排列:在各行上排列三原色濾色器，并且包括三原色濾色器的個(gè)數(shù)比率不同的多行；間拔圖案決定單元，根據(jù)攝影條件，從用于選擇上述多行中間拔讀出的行的多個(gè)間拔圖案中決定一個(gè)間拔圖案；白平衡增益計(jì)算單元，基于由上述攝像元件取得的各行的上述濾色器所對(duì)應(yīng)的顏色信號(hào)中按照由上述間拔圖案決定單元決定的間拔圖案所選擇的預(yù)定的行的顏色信號(hào)，算出白平衡增益；及白平衡校正單元，基于由上述白平衡增益計(jì)算單元算出的白平衡增益，對(duì)經(jīng)由上述攝像元件取得的各顏色信號(hào)進(jìn)行白平衡校正。
[0023]三原色濾色器的個(gè)數(shù)比率不平均的行和平均的行相比，由不同顏色的光從相鄰像素泄漏而引起的混色較少。因此，在混色變多的攝影條件下，決定選擇混色少的行(三原色濾色器的個(gè)數(shù)比率不平均的行)的間拔圖案，基于按照該決定的間拔圖案間拔讀出的顏色信號(hào)，算出白平衡增益，算出降低了混色影響的、精度高的白平衡增益。
[0024]另一方面，在混色少的攝影條件下，決定選擇噪聲影響小的行(三原色濾色器的個(gè)數(shù)比率更平均的行)的間拔圖案，基于按照決定的間拔圖案間拔讀出的預(yù)定的行的顏色信號(hào)，算出白平衡增益。
[0025]在混色少的攝影條件下，三原色的顏色信號(hào)的個(gè)數(shù)比率更平均的一方中，由各顏色信號(hào)的噪聲成分而引起的檢測(cè)精度的偏差變小，能夠算出精度高的白平衡增益。因此，在混色少的攝影條件下，決定選擇三原色濾色器的個(gè)數(shù)比率更平均的行的間拔圖案，基于按照該決定的間拔圖案間拔讀出的顏色信號(hào)，算出精度高的白平衡增益。
[0026]在本發(fā)明的其他方式涉及的攝像裝置中優(yōu)選為，上述間拔圖案決定單元基于上述攝影光學(xué)系統(tǒng)的攝影時(shí)的F值及變焦倍率的至少一方，從上述多個(gè)間拔圖案中決定一個(gè)間拔圖案。
[0027]攝影光學(xué)系統(tǒng)的F值越靠近開(kāi)放F值，則混色變得越多。并且一般情況下，在攝像元件的各光電轉(zhuǎn)換元件上配置有聚光用的微透鏡，這些微透鏡為了校正光束的入射角，根據(jù)距攝像元件的中心的距離，相對(duì)于光電轉(zhuǎn)換元件略微偏移地配置(按比例調(diào)整)。當(dāng)因變焦倍率而使對(duì)微透鏡的入射角偏離預(yù)先想定的入射角時(shí)，混色變多。因此，在本發(fā)明的其他方式中，基于攝影時(shí)的F值及變焦倍率中的至少一個(gè)來(lái)判定是否為混色多的攝影條件。
[0028]在本發(fā)明的進(jìn)一步的其他方式涉及的攝像裝置中優(yōu)選為，上述間拔圖案決定單元包括檢測(cè)環(huán)境光的顏色溫度的顏色溫度檢測(cè)單元，基于由該顏色溫度檢測(cè)單元檢測(cè)出的環(huán)境光的顏色溫度，從上述多個(gè)間拔圖案中決定一個(gè)間拔圖案。當(dāng)環(huán)境光的顏色溫度是三原色的各顏色信號(hào)的電平基本相等的中間顏色溫度時(shí)，混色對(duì)白平衡增益的計(jì)算精度的影響較小，但當(dāng)是低顏色溫度或高顏色溫度時(shí)，混色成分對(duì)白平衡增益的計(jì)算精度產(chǎn)生較大影響。因此，在本發(fā)明的進(jìn)一步的其他方式中，基于環(huán)境光的顏色溫度來(lái)選擇適當(dāng)?shù)拈g拔圖案。 [0029]在本發(fā)明的進(jìn)一步的其他方式涉及的攝像裝置中優(yōu)選為，上述間拔圖案決定單元判定是否為混色多的攝影條件，在混色多的攝影條件下，決定選擇上述三原色濾色器的個(gè)數(shù)比率不平均的行的間拔圖案，在混色少的攝影條件下，決定選擇與上述三原色濾色器對(duì)應(yīng)的像素?cái)?shù)的比率更平均的行的間拔圖案。
[0030]在本發(fā)明的進(jìn)一步的其他方式涉及的攝像裝置中優(yōu)選為，上述攝像裝置具有設(shè)定攝影感光度的感光度設(shè)定單元，在由上述感光度設(shè)定單元設(shè)定的攝影感光度是低感光度時(shí)，上述間拔圖案決定單元決定選擇上述三原色濾色器的個(gè)數(shù)比率不平均的行的間拔圖案，在上述設(shè)定的攝影感光度是高感光度時(shí)，上述間拔圖案決定單元決定選擇上述三原色濾色器的個(gè)數(shù)比率更平均的行的間拔圖案。
[0031]當(dāng)攝影感光度較低時(shí)，噪聲的影響較小，因此間拔讀出混色少的行能夠算出精度高的白平衡增益。另一方面，當(dāng)攝影感光度較高時(shí)，噪聲的影響較大，因此當(dāng)求算各顏色信號(hào)的累計(jì)平均值時(shí)，間拔讀出三原色濾色器的個(gè)數(shù)比率更平均的行能夠算出精度高的白平衡增益。因此，在本發(fā)明的進(jìn)一步的其他方式中，基于攝影感光度來(lái)選擇間拔圖案。
[0032]在本發(fā)明的進(jìn)一步的其他方式涉及的攝像裝置中優(yōu)選為，上述攝像裝置具有設(shè)定攝影感光度的感光度設(shè)定單元，上述多個(gè)間拔圖案包括間拔率不同的間拔圖案，在由上述感光度設(shè)定單元設(shè)定的攝影感光度是低感光度時(shí)，上述間拔圖案決定單元決定上述間拔率不同的間拔圖案中的間拔率高的間拔圖案，在上述設(shè)定的攝影感光度是高感光度時(shí)，上述間拔圖案決定單元決定上述間拔率不同的間拔圖案中的間拔率低的間拔圖案。[0033]當(dāng)攝影感光度較低時(shí)，噪聲成分的影響較小，因此通過(guò)提高間拔率來(lái)實(shí)現(xiàn)運(yùn)算速度的高速化，而當(dāng)攝影感光度是高感光度時(shí)，通過(guò)降低間拔率，與運(yùn)算速度的高速化相比，優(yōu)先降低噪聲成分的影響而算出精度高的白平衡增益。
[0034]在本發(fā)明的進(jìn)一步的其他方式涉及的攝像裝置中優(yōu)選為，上述攝像裝置具有:設(shè)定攝影感光度的感光度設(shè)定單元；及判定是否重視運(yùn)算速度的判定單元，上述多個(gè)間拔圖案包括間拔率不同的間拔圖案，在由上述感光度設(shè)定單元設(shè)定的攝影感光度是低感光度時(shí)，上述間拔圖案決定單元決定上述間拔率不同的間拔圖案中的間拔率高、且選擇上述三原色濾色器的個(gè)數(shù)比率不平均的行的間拔圖案，在上述設(shè)定的攝影感光度是高感光度且重視運(yùn)算速度時(shí)，上述間拔圖案決定單元決定上述間拔率不同的間拔圖案中的間拔率高、且選擇上述三原色濾色器的個(gè)數(shù)比率更平均的行的間拔圖案，在上述設(shè)定的攝影感光度是高感光度且不重視運(yùn)算速度時(shí)，上述間拔圖案決定單元決定上述間拔率不同的間拔圖案中的間拔率低、且選擇上述三原色濾色器的個(gè)數(shù)比率不平均的行的間拔圖案。
[0035]即使在攝影感光度高的情況下，如果能夠減少噪聲對(duì)白平衡增益的計(jì)算精度的影響，則間拔讀出混色少的行能夠算出精度高的白平衡增益。因此，在本發(fā)明的進(jìn)一步的其他方式中，即使在攝影感光度較高時(shí)，在不重視運(yùn)算速度的情況下，也會(huì)決定間拔率低、且間拔讀出混色少的行的間拔圖案。在這種情況下，通過(guò)使用間拔率小的間拔圖案來(lái)算出更多的顏色信號(hào)的累計(jì)平均值，因此能夠減少噪聲對(duì)白平衡增益的計(jì)算精度的影響。
[0036]在本發(fā)明的進(jìn)一步的其他方式涉及的攝像裝置中優(yōu)選為，上述攝像裝置具有計(jì)算單元，對(duì)應(yīng)與上述三原色濾色器對(duì)應(yīng)的各顏色信號(hào)，算出偏移值，上述白平衡增益計(jì)算單元算出上述白平衡增益計(jì)算中使用的行的各顏色信號(hào)的累計(jì)平均值，并且從該累計(jì)平均值中減去對(duì)應(yīng)上述各顏色信號(hào)算出的偏移值，基于減算出的各顏色信號(hào)的累計(jì)平均值的比，算出白平衡增益。通過(guò)對(duì)應(yīng)各顏色信號(hào)進(jìn)行偏移的校正，能夠提高白平衡增益的計(jì)算精度。
[0037]在本發(fā)明的進(jìn)一步的其他方式涉及的攝像裝置中，上述攝像元件是具有每預(yù)定的像素組共有放大器的元件構(gòu)造的攝像元件，上述計(jì)算單元包括:第一計(jì)算單元，算出共有上述放大器的各像素相對(duì)于該放大器的各位置的偏移值；及第二計(jì)算單元，基于由上述間拔圖案決定單元決定的間拔圖案中的各像素相對(duì)于上述放大器的位置及由上述第一計(jì)算單元算出的相對(duì)于上述放大器的各位置的偏移值，算出各顏色信號(hào)的偏移值。能夠算出考慮到因包括共有放大器在內(nèi)的基礎(chǔ)元件構(gòu)造而產(chǎn)生的偏移成分的階梯差的、上述各顏色信號(hào)的偏移值，利用該偏移值校正各顏色信號(hào)的累計(jì)平均值，從而能夠提高白平衡增益的計(jì)算精度。
[0038]在本發(fā)明的進(jìn)一步的其他方式涉及的攝像裝置中優(yōu)選為，上述攝像元件的濾色器排列包括排列有與最有助于獲得亮度信號(hào)的第一顏色對(duì)應(yīng)的第一濾光片及與上述第一顏色以外的兩種顏色以上的第二顏色對(duì)應(yīng)的第二濾光片的預(yù)定的基本排列圖案，該基本排列圖案在水平方向及垂直方向上重復(fù)配置，上述第一濾光片配置于上述濾色器排列的水平、垂直、斜右上及斜右下方向的各行內(nèi)，上述第二濾光片在上述基本排列圖案內(nèi)在上述濾色器排列的水平及垂直方向的各行內(nèi)配置I個(gè)以上，與上述第一濾光片對(duì)應(yīng)的第一顏色的像素?cái)?shù)的比率大于與上述第二濾光片對(duì)應(yīng)的第二顏色的各顏色的像素?cái)?shù)的比率。
[0039]由此，將與最有助于獲得亮度信號(hào)的第一顏色對(duì)應(yīng)的第一濾光片在濾色器排列的水平、垂直、斜右上及斜右下方向的各行內(nèi)配置I個(gè)以上，因此，能夠提高高頻區(qū)域中的去馬賽克算法處理的重現(xiàn)精度，并且，對(duì)于與上述第一顏色以外的兩種顏色以上的第二顏色對(duì)應(yīng)的第二濾光片，也在濾色器排列的水平及垂直方向的各行內(nèi)配置I個(gè)以上，因此，能夠抑制帶色莫爾條紋(偽色)的產(chǎn)生，實(shí)現(xiàn)高分辨率。而且，上述濾色器排列中，預(yù)定的基本排列圖案在水平方向及垂直方向上重復(fù)配置，因此在進(jìn)行后段的去馬賽克算法(插值)處理時(shí)，能夠按照重復(fù)圖案進(jìn)行處理，與隨機(jī)排列相比，能夠簡(jiǎn)化后段的處理。
[0040]在本發(fā)明的進(jìn)一步的其他方式涉及的攝像裝置中，上述攝像元件的濾色器排列包括排列有紅(R)、綠(G)、藍(lán)⑶濾色器的預(yù)定的基本排列圖案，該基本排列圖案在水平方向及垂直方向上重復(fù)配置，上述預(yù)定的基本排列圖案是與6X6像素對(duì)應(yīng)的正方排列圖案，上述濾色器排列由第一排列和第二排列交替在水平方向及垂直方向上排列而構(gòu)成，上述第一排列與3X3像素對(duì)應(yīng)，在中心和4角配置G濾光片，隔著中心的G濾光片在上下配置B濾光片，在左右排列R濾光片；上述第二排列與3X3像素對(duì)應(yīng)，在中心和4角配置G濾光片，隔著中心的G濾光片在上下配置R濾光片，在左右排列B濾光片。
[0041 ] 上述濾色器排列中，將與最有助于獲得亮度信號(hào)的G信號(hào)對(duì)應(yīng)的G濾光片在水平、垂直、斜右上、斜右下方向的各行內(nèi)配置I個(gè)以上，因此能夠提高高頻區(qū)域中的去馬賽克算法處理的重現(xiàn)精度，并且，對(duì)于與R信號(hào)、B信號(hào)對(duì)應(yīng)的R、B濾光片，也在水平及垂直方向的各行內(nèi)配置I個(gè)以上，因此能夠抑制帶色莫爾條紋(偽色)的產(chǎn)生，實(shí)現(xiàn)高分辨率。
[0042]在本發(fā)明的進(jìn)一步的其他方式涉及的攝像裝置中，上述多個(gè)間拔圖案在每6行間拔讀出I行時(shí)，包括:讀出RGB濾色 器的個(gè)數(shù)比率是1:4:1的行的間拔圖案；及讀出RGB濾色器的個(gè)數(shù)比率是1:1:1的行的間拔圖案。該間拔圖案是1/6間拔，間拔率最高，白平衡增益計(jì)算時(shí)的運(yùn)算量最少，能夠?qū)崿F(xiàn)高速化。
[0043]在本發(fā)明的進(jìn)一步的其他方式涉及的攝像裝置中，上述多個(gè)間拔圖案在每6行間拔讀出2行時(shí)，包括:讀出RGB濾色器的個(gè)數(shù)比率是1:4:1的行的間拔圖案；及讀出RGB濾色器的個(gè)數(shù)比率是1:1:1的行的間拔圖案。
[0044]在本發(fā)明的進(jìn)一步的其他方式涉及的攝像裝置中，上述多個(gè)間拔圖案在每6行間拔讀出3行時(shí)，包括:讀出RGB濾色器的個(gè)數(shù)比率是1:4:1的行的間拔圖案；及讀出RGB濾色器的個(gè)數(shù)比率是5:8:5的行的間拔圖案。
[0045]在本發(fā)明的進(jìn)一步的其他方式涉及的攝像裝置中，上述多個(gè)間拔圖案在每6行間拔讀出4行時(shí)，包括:讀出RGB濾色器的個(gè)數(shù)比率是1:4:1的行的間拔圖案；及讀出RGB濾色器的個(gè)數(shù)比率是1:2:1的行的間拔圖案。該間拔圖案是4/6間拔，間拔率低，白平衡增益計(jì)算時(shí)的運(yùn)算量最多，能夠算出噪聲影響小的白平衡增益。
[0046]本發(fā)明的進(jìn)一步的其他方式涉及的圖像處理方法包括以下工序:圖像取得工序，經(jīng)由攝影光學(xué)系統(tǒng)及排列有三原色濾色器的攝像元件，取得與濾色器排列對(duì)應(yīng)的馬賽克圖像，取得上述馬賽克圖像的各行中包含與三原色對(duì)應(yīng)的顏色信號(hào)且與三原色對(duì)應(yīng)的像素的個(gè)數(shù)比率根據(jù)行而不同的馬賽克圖像；白平衡增益計(jì)算工序，基于上述攝像元件的多行中上述三原色濾色器的個(gè)數(shù)比率更平均的行的各顏色的濾色器所對(duì)應(yīng)的各顏色信號(hào)，算出白平衡增益；及白平衡校正工序，基于由上述白平衡增益計(jì)算工序算出的白平衡增益，對(duì)經(jīng)由上述攝像元件取得的各顏色信號(hào)進(jìn)行白平衡校正。
[0047]本發(fā)明的進(jìn)一步的其他方式涉及的圖像處理方法包括以下工序:圖像取得工序，經(jīng)由攝影光學(xué)系統(tǒng)及排列有三原色濾色器的攝像元件，取得與濾色器排列對(duì)應(yīng)的馬賽克圖像，取得上述馬賽克圖像的多行的各行中包含與三原色對(duì)應(yīng)的顏色信號(hào)且與三原色對(duì)應(yīng)的像素的個(gè)數(shù)比率根據(jù)行而不同的馬賽克圖像；間拔圖案決定工序，根據(jù)攝影條件，從用于選擇上述多行中間拔讀出的行的多個(gè)間拔圖案中決定一個(gè)間拔圖案；白平衡增益計(jì)算工序，基于由上述攝像元件取得的各行的上述濾色器所對(duì)應(yīng)的顏色信號(hào)中按照由上述間拔圖案決定工序決定的間拔圖案所選擇的預(yù)定的行的顏色信號(hào)，算出白平衡增益；及白平衡校正工序，基于由上述白平衡增益計(jì)算工序算出的白平衡增益，對(duì)經(jīng)由上述攝像元件取得的各顏色信號(hào)進(jìn)行白平衡校正。
[0048]發(fā)明效果
[0049]基于本發(fā)明，使用具有三原色濾色器的個(gè)數(shù)比率根據(jù)行而不同的特別的濾色器排列的攝像元件，但基于上述三原色濾色器的個(gè)數(shù)比率更平均的行的各顏色的濾色器所對(duì)應(yīng)的各顏色信號(hào)來(lái)計(jì)算白平衡增益，因此，能夠算出噪聲成分的影響小且精度高的白平衡增益。并且，在混色多的攝影條件下，基于混色少的行(三原色濾色器的個(gè)數(shù)比率不平均的行)的顏色信號(hào)，算出白平衡增益，而在混色少的攝影條件下，基于噪聲影響小的行(三原色濾色器的個(gè)數(shù)比率更平均的行)的顏色信號(hào)，算出白平衡增益，因此能夠算出精度高的白平衡增益，能夠迅速地進(jìn)行精度高的白平衡校正。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0050]圖1是表示適用于本發(fā)明涉及的攝像裝置的攝像元件的實(shí)施方式的圖。
[0051]圖2是表示本發(fā)明涉及的攝像裝置的實(shí)施方式的框圖。
[0052]圖3是表示1/6間拔時(shí)的2個(gè)間拔圖案的圖。
[0053]圖4是表示2/6間拔時(shí)的3個(gè)間拔圖案的圖。
[0054]圖5是表不3/6間拔時(shí)的3個(gè)間拔圖案的圖。
[0055]圖6是表不4/6間拔時(shí)的2個(gè)間拔圖案的圖。
[0056]圖7是匯總了圖3至圖6所示的1/6間拔到4/6間拔中的間拔讀出的行的組合(間拔圖案)及各間拔圖案中的RGB的像素?cái)?shù)的比率的圖表。
[0057]圖8是表示圖2所示的數(shù)字信號(hào)處理部的內(nèi)部構(gòu)成的要部框圖。
[0058]圖9是表示W(wǎng)B增益的計(jì)算方法的第一實(shí)施方式的流程圖。
[0059]圖10是表示W(wǎng)B增益的計(jì)算方法的第二實(shí)施方式的流程圖。
[0060]圖11是表示各顏色溫度的RGB的信號(hào)電平的一例的圖。
[0061]圖12是表示W(wǎng)B增益的計(jì)算方法的第三實(shí)施方式的流程圖。
[0062]圖13是表示W(wǎng)B增益的計(jì)算方法的第四實(shí)施方式的流程圖。
[0063]圖14是表示在RGB各顏色在偏移中產(chǎn)生階梯差(黑電平階梯差)時(shí)的圖。
[0064]圖15是表示2X2的4個(gè)像素共有一個(gè)放大器的攝像元件的一例的圖。
[0065]圖16是表示在相對(duì)于共有放大器的像素位置I~4在偏移中產(chǎn)生階梯差(黑電平階梯差)時(shí)的圖。
[0066]圖17是表示基本排列圖案中的各顏色像素與相對(duì)于共有放大器的像素位置I~4的關(guān)系的圖。
[0067] 圖18是表示間拔2/6的行a、d的各顏色像素與相對(duì)于共有放大器的像素位置I~4的關(guān)系的圖。[0068]圖19是表示適用于本發(fā)明涉及的攝像裝置的攝像元件的其他實(shí)施方式的圖。
[0069]圖20是表示適用于本發(fā)明涉及的攝像裝置的攝像元件的進(jìn)一步的其他實(shí)施方式的圖。
【具體實(shí)施方式】
[0070]以下按照附圖詳述本發(fā)明涉及的攝像裝置及圖像處理方法的優(yōu)選實(shí)施方式。
[0071](攝像元件)
[0072]圖1是表示適用于本發(fā)明涉及的攝像裝置的攝像元件的實(shí)施方式的圖，尤其表示在攝像元件I的受光面上配置的新的濾色器排列。
[0073]該攝像元件I的濾色器排列包括由與6X6像素對(duì)應(yīng)的正方排列圖案構(gòu)成的基本排列圖案，該基本排列圖案在水平方向及垂直方向上重復(fù)配置。即，該濾色器排列中，紅(R)、綠(G)、藍(lán)(B)各顏色的濾光片(R濾光片、G濾光片、B濾光片)以預(yù)定的周期性排列。R濾光片、G濾光片、B濾光片如此以預(yù)定的周期性排列，所以在進(jìn)行從攝像元件I讀出的RGB的RAW數(shù)據(jù)(馬賽克圖像)的圖像處理等時(shí)，能夠按照重復(fù)圖案進(jìn)行處理。
[0074]圖1所示的濾色器排列中，與最有助于獲得亮度4信號(hào)的顏色(在本實(shí)施方式中是G色)對(duì)應(yīng)的G濾光片配置于濾色器排列的水平、垂直、斜右上、斜右下的各方向的各行內(nèi)。
[0075]與亮度系像素對(duì)應(yīng)的G濾光片配置于濾色器排列的水平、垂直、斜右上、斜右下的各方向的行內(nèi)，因此無(wú)論 高頻的方向如何都能夠提高高頻區(qū)域中的去馬賽克算法處理的重現(xiàn)精度。
[0076]并且，該濾色器排列中，與上述G色以外的R、B色對(duì)應(yīng)的R濾光片、B濾光片配置于濾色器排列的水平及垂直方向的各行內(nèi)。
[0077]R濾光片、B濾光片配置于濾色器排列的水平及垂直方向的各行內(nèi)，因此能夠抑制帶色莫爾條紋(偽色)的產(chǎn)生。
[0078]當(dāng)將圖1所示的6X6像素的基本排列圖案四分為3X3像素時(shí)，由實(shí)線框圍成的3X3像素的A排列和由虛線框圍成的3X3像素的B排列成為在水平、垂直方向上交替排列的排列。
[0079]A排列及B排列中，G濾光片分別配置于4角和中央，配置于兩條對(duì)角線上。并且，A排列中，R濾光片隔著中央的G濾光片在水平方向上排列，B濾光片在垂直方向上排列，而B(niǎo)排列中，B濾光片隔著中央的G濾光片在水平方向上排列，R濾光片在垂直方向上排列。即，A排列和B排列中，R濾光片和B濾光片的位置關(guān)系相反，而其他配置相同。
[0080]并且，A排列和B排列的4角的G濾光片因A排列和B排列在水平、垂直方向上交替配置而成為與2X2像素對(duì)應(yīng)的正方排列的G濾光片。
[0081](攝像裝置)
[0082]圖2是表示本發(fā)明涉及的攝像裝置的實(shí)施方式的框圖。
[0083]該攝像裝置10配置有圖1所示的攝像元件1，是能夠進(jìn)行靜止圖像、動(dòng)畫(huà)攝影的數(shù)碼相機(jī)，裝置整體的動(dòng)作由中央處理裝置(CPU) 40統(tǒng)一控制。
[0084]攝像裝置10上設(shè)有快門(mén)按鈕、模式轉(zhuǎn)盤(pán)、重放按鈕、菜單/OK鍵、十字鍵、返回鍵等操作部38。來(lái)自該操作部38的信號(hào)輸入到CPU40，CPU40基于輸入信號(hào)控制攝像裝置10的各電路，例如進(jìn)行鏡頭驅(qū)動(dòng)控制、光圈驅(qū)動(dòng)控制、攝影動(dòng)作控制、圖像處理控制、圖像數(shù)據(jù)的記錄/重放控制、顯示用的液晶監(jiān)視器30的顯示控制等。
[0085]快門(mén)按鈕是輸入開(kāi)始攝影指示的操作按鈕，由具有半按時(shí)接通的SI開(kāi)關(guān)、全按時(shí)接通的S2開(kāi)關(guān)的兩段行程式開(kāi)關(guān)構(gòu)成。模式轉(zhuǎn)盤(pán)是選擇攝影模式、人物、風(fēng)景、夜景等場(chǎng)景位置、動(dòng)畫(huà)模式等的選擇單元。
[0086]重放按鈕是用于切換到使拍攝記錄的靜止圖像或動(dòng)畫(huà)顯示于液晶監(jiān)視器30的重放模式的按鈕。菜單/OK鍵是兼具以下功能的操作鍵:作為用于進(jìn)行在液晶監(jiān)視器30的畫(huà)面上顯示菜單的指令的菜單按鈕的功能；及作為指示選擇內(nèi)容的確定及執(zhí)行等的OK按鈕的功能。十字鍵是輸入上下左右4個(gè)方向的指示的操作部，作為從菜單畫(huà)面選擇項(xiàng)目或從各菜單指示各種設(shè)定項(xiàng)目的選擇的按鈕(光標(biāo)移動(dòng)操作單元)而發(fā)揮功能。并且，十字鍵的上/下鍵作為攝影時(shí)的變焦開(kāi)關(guān)或重放模式時(shí)的重放變焦開(kāi)關(guān)而發(fā)揮功能，左/右鍵作為重放模式時(shí)的逐幀播放(正向/反向播放)按鈕而發(fā)揮功能。返回鍵在選擇項(xiàng)目等所需對(duì)象的刪除、指示內(nèi)容的取消或者返回到前一操作狀態(tài)等時(shí)使用。
[0087]在攝影模式中，表示被攝體的圖像光經(jīng)由攝影光學(xué)系統(tǒng)(變焦鏡頭)12、光圈14，成像于攝像元件I的受光面上。攝影光學(xué)系統(tǒng)12通過(guò)由CPU40控制的鏡頭驅(qū)動(dòng)部36來(lái)驅(qū)動(dòng)，進(jìn)行聚焦控制、變焦控制等。光圈14例如由5個(gè)光圈葉片構(gòu)成，通過(guò)由CPU40控制的光圈驅(qū)動(dòng)部34來(lái)驅(qū)動(dòng)，例如將F值以IAV刻度七級(jí)地光圈控制在Fl.4~F11。
[0088]而且，CPU40經(jīng)由光圈驅(qū)動(dòng)部34控制光圈14，并且經(jīng)由設(shè)備控制部32進(jìn)行攝像元件I中的電荷積蓄時(shí)間(快門(mén)速度)、從攝像元件I的圖像信號(hào)的讀出控制等。 [0089]攝像元件I中積蓄的信號(hào)電荷基于從設(shè)備控制部32施加的讀出信號(hào)，作為與信號(hào)電荷對(duì)應(yīng)的電壓信號(hào)被讀出。從攝像元件I讀出的電壓信號(hào)施加到模擬信號(hào)處理部18，在此各像素的R、G、B信號(hào)被采樣保持，以從CPU40指定的增益(相當(dāng)于ISO感光度)放大后，施加到A/D轉(zhuǎn)換器20。A/D轉(zhuǎn)換器20將依次輸入的R、G、B信號(hào)轉(zhuǎn)換為數(shù)字的R、G、B信號(hào)，輸出到圖像輸入控制器22。
[0090]數(shù)字信號(hào)處理部24對(duì)經(jīng)由圖像輸入控制器22輸入的數(shù)字的圖像信號(hào)進(jìn)行混色校正、白平衡校正、伽瑪校正處理、去馬賽克算法處理(對(duì)隨著原色濾光片的排列的顏色信號(hào)的空間性偏移進(jìn)行插值而將顏色信號(hào)轉(zhuǎn)換為去馬賽克算法式的處理)、YC處理(圖像數(shù)據(jù)的亮度數(shù)據(jù)及色差數(shù)據(jù)的生成處理)、銳度校正等預(yù)定的信號(hào)處理。
[0091]在圖2中，46是存儲(chǔ)了相機(jī)控制程序、圖像處理等使用的各種參數(shù)、表格等的ROM (EEPROM)。
[0092]并且，數(shù)字信號(hào)處理部24包括計(jì)算白平衡校正中使用的白平衡增益(以下稱(chēng)為“WB增益”)等的處理部，稍后詳述WB增益計(jì)算。
[0093]由數(shù)字信號(hào)處理部24處理的圖像數(shù)據(jù)輸出到VRAM50。VRAM50中包括分別存儲(chǔ)表示I幀圖像的圖像數(shù)據(jù)的A區(qū)域和B區(qū)域。在VRAM50中，表示I幀圖像的圖像數(shù)據(jù)在A區(qū)域和B區(qū)域中被交替改寫(xiě)。VRAM50的A區(qū)域及B區(qū)域中，從圖像數(shù)據(jù)被改寫(xiě)的區(qū)域以外的區(qū)域讀出寫(xiě)入的圖像數(shù)據(jù)。從VRAM50讀出的圖像數(shù)據(jù)在視頻編碼器28中被編碼，輸出到設(shè)于相機(jī)背面的圖像顯示用的液晶監(jiān)視器30，從而使被攝體圖像(預(yù)覽圖像)顯示于液晶監(jiān)視器30的顯示畫(huà)面上。
[0094]并且，當(dāng)存在操作部38的快門(mén)按鈕的第一階段的按下(半按)時(shí)，攝像元件I開(kāi)始AF動(dòng)作及AE動(dòng)作，以經(jīng)由鏡頭驅(qū)動(dòng)部36使攝影光學(xué)系統(tǒng)12內(nèi)的聚焦鏡頭移動(dòng)到對(duì)焦位置的方式進(jìn)行控制。并且，在快門(mén)按鈕半按時(shí)，從A/D轉(zhuǎn)換器20輸出的圖像數(shù)據(jù)被取入到AE檢測(cè)部44。
[0095]在AE檢測(cè)部44中，累計(jì)畫(huà)面整體的G信號(hào)，或者累計(jì)在畫(huà)面中央部和周邊部進(jìn)行了不同加權(quán)的G信號(hào)，將該累計(jì)值輸出到CPU40。CPU40根據(jù)從AE檢測(cè)部44輸入的累計(jì)值，算出被攝體的亮度(攝影EV值)，基于該攝影EV值，按照預(yù)定的程序線圖決定光圈值(F值)及攝像元件I的電子快門(mén)(快門(mén)速度)。
[0096]在此，程序線圖是指，根據(jù)被攝體的亮度，設(shè)計(jì)了由F值和快門(mén)速度的組合或它們與攝影感光度(ISO感光度)的組合所構(gòu)成的攝影(曝光)條件，通過(guò)以按照程序線圖決定的攝影條件來(lái)進(jìn)行攝影，無(wú)論被攝體的亮度如何，均能夠拍攝適當(dāng)亮度的圖像。
[0097]CPU40基于按照上述程序線圖決定的F值，經(jīng)由光圈驅(qū)動(dòng)部34控制光圈14，并且基于決定的快門(mén)速度經(jīng)由設(shè)備控制部32控制攝像元件I中的電荷積蓄時(shí)間。
[0098]AF處理部42是進(jìn)行對(duì)比度AF處理的部分，例如，提取圖像數(shù)據(jù)中的預(yù)定的聚焦區(qū)域內(nèi)的圖像數(shù)據(jù)的高頻成分，通過(guò)對(duì)該高頻成分進(jìn)行積分，算出表示對(duì)焦?fàn)顟B(tài)的AF評(píng)價(jià)值。通過(guò)控制攝影光學(xué)系統(tǒng)12內(nèi)的聚焦鏡 頭來(lái)進(jìn)行AF控制，使得該AF評(píng)價(jià)值變得極大。
[0099]當(dāng)AE動(dòng)作及AF動(dòng)作結(jié)束而存在快門(mén)按鈕的第二階段的按下(全按)時(shí)，響應(yīng)該按下，從A/D轉(zhuǎn)換器20輸出的圖像數(shù)據(jù)從圖像輸入控制器22輸入到存儲(chǔ)器(SDRAM) 48，暫時(shí)被存儲(chǔ)。
[0100]存儲(chǔ)器48中暫時(shí)存儲(chǔ)的圖像數(shù)據(jù)由數(shù)字信號(hào)處理部24適當(dāng)讀出。數(shù)字信號(hào)處理部24對(duì)讀出的數(shù)字的圖像信號(hào)進(jìn)行混色校正、白平衡校正、伽瑪校正處理、去馬賽克算法處理、YC處理、銳度校正等預(yù)定的信號(hào)處理，將進(jìn)行了 YC處理的YC數(shù)據(jù)再次存儲(chǔ)于存儲(chǔ)器48中。
[0101]存儲(chǔ)器48中存儲(chǔ)的YC數(shù)據(jù)分別輸出到壓縮擴(kuò)展處理部26，在此，在執(zhí)行了JPEG (joint photographic experts group:聯(lián)合圖像專(zhuān)家組)等預(yù)定的壓縮處理后，生成Exif文件，經(jīng)由媒體控制器52記錄于存儲(chǔ)卡54。
[0102](間拔圖案)
[0103]為了重視速度(為了減少運(yùn)算量)，因此自動(dòng)白平衡(AWB)校正等中使用的RGB各顏色信號(hào)使用在從攝像元件I獲得的各行中、按照預(yù)定的間拔圖案間拔讀出的行的顏色信號(hào)。
[0104]以下，對(duì)從攝像元件I獲得的馬賽克圖像的各行，說(shuō)明與間拔讀出的行對(duì)應(yīng)的多個(gè)間拔圖案。
[0105](I/6 間拔)
[0106]如圖1所示，在6X6像素的基本排列圖案在水平方向及垂直方向上重復(fù)配置的濾色器排列的情況下，是6種行a~f的重復(fù)。
[0107]這些行a~f中，行a和行C、行d和行f是相同的濾光片排列,行a、c和行d、f錯(cuò)開(kāi)了 3像素量的相位，但是相同的濾光片排列。并且，行b和行e錯(cuò)開(kāi)了 3像素量的相位，但是相同的濾光片排列。
[0108]如圖3所示，當(dāng)每6行間拔讀出I行(1/6間拔)時(shí)，存在以下模式:從行a、c、d、f讀出任一行的間拔圖案P11(圖3的(a)部分)；及從行b、e讀出任一行的間拔圖案P12 (圖3的(b)部分)。
[0109]間拔圖案P11和間拔圖案P12中，RGB濾色器的個(gè)數(shù)比率不同，在間拔圖案P11的情況下，R:G:B = I:4:1，在間拔圖案 P12 的情況下，R:G:B = 2:2:2 = I:1:10
[0110]即，在間拔圖案P11的情況下，RGB的個(gè)數(shù)比率不平均，G的比率比RB高(4倍)，而在間拔圖案P12的情況下，相對(duì)于間拔圖案P11, R、B的比率較高，RGB的個(gè)數(shù)比率變得平均。
[0111]在求算WB增益時(shí)，首先求出RGB的各顏色信號(hào)(RGB的各顏色像素的像素值)的平均值，但平均的像素?cái)?shù)越多，則越能夠求出精度高的平均值。
[0112]當(dāng)攝影時(shí)的環(huán)境光的顏色溫度是低顏色溫度時(shí)，各顏色的平均值是R>G>B的關(guān)系，當(dāng)是高顏色溫度時(shí)，各顏色的平均值變?yōu)镽〈G〈B的關(guān)系。如此，當(dāng)是包含輸出小的顏色的顏色溫度(低顏色溫度或者高顏色溫度)時(shí)，B像素或R像素的精度變低，因此優(yōu)選增加平均的像素?cái)?shù)。
[0113]g卩，在包含輸出小的顏色的顏色溫度的情況下，與RB像素個(gè)數(shù)少的間拔圖案P11相t匕，優(yōu)選RB像素個(gè)數(shù)多的(RGB像素平均的)間拔圖案P12。
[0114]另一方面，在間拔圖案P12的情況下，G像素在左右方向上與R像素或B像素相鄰(由R像素或B像素夾持)，易于受到來(lái)自相鄰像素的光的泄漏(混色)的影響，在間拔圖案P11的情況下，與間拔圖案P12相比，由不同顏色的光從相鄰像素的泄漏所引起的混色較少，難以受到混色的影響。因此，在易發(fā)生混色的攝影條件下，優(yōu)選間拔圖案Pn。
[0115]在本發(fā)明中，根據(jù)攝影條件，從RGB的個(gè)數(shù)比率不同的多個(gè)間拔圖案Pn、P12中決定最佳的間拔圖案，按照 該決定的間拔圖案，間拔讀出預(yù)定的行的顏色信號(hào)，求出RGB的各顏色的平均值，基于求出的平均值，算出WB增益。此外，稍后詳述間拔圖案的選擇及WB增益的計(jì)算。
[0116](2/6 間拔)
[0117]圖4表示每6行間拔讀出2行(2/6間拔)時(shí)的3個(gè)間拔圖案P21、P22、P23。
[0118]圖4的(a)部分表不從圖1所不的行a、C、d、f讀出2行的間拔圖案P21,圖4的(b)部分表示從行a、C、d、f讀出I行、從行b、e讀出I行的間拔圖案P22,圖4的(C)部分表示讀出行b、e這2行的間拔圖案P23。
[0119]上述3個(gè)間拔圖案P21、P22、P23各自的RGB濾色器的個(gè)數(shù)比率不同，在間拔圖案P2I的情況下，R:G:B = 2:8:2 = I:4:1，在間拔圖案 P22 的情況下，R:G:B = 3:6:3 = I:2:1,在間拔圖案P23的情況下，R:G:B = 4:4:4 = 1:1:1。
[0120](3/6 間拔)
[0121]圖5表示每6行間拔讀出3行(3/6間拔)時(shí)的3個(gè)間拔圖案P31、P32、P33。
[0122]圖5的(a)部分表不從圖1所不的行a、C、d、f讀出3行的間拔圖案P31,圖5的(b)部分表示從行a、C、d、f讀出2行、從行b、e讀出I行的間拔圖案P21,圖5的(C)部分表示從a、C、d、f讀出I行、從行b、e讀出2行的間拔圖案P33。
[0123]上述3個(gè)間拔圖案P31、P32、P33各自的RGB濾色器的個(gè)數(shù)比率不同，在間拔圖案P3i的情況下，R:G:B = 3:12:3 = I:4:1，在間拔圖案 P32 的情況下，R:G:B = 4:10:4 = 2:5:2，在間拔圖案P33的情況下，R:G:B = 5:8:5。
[0124](4/6 間拔)
[0125]圖6表示每6行間拔讀出4行(4/6間拔)時(shí)的3個(gè)間拔圖案P41、P42、P43。[0126]圖6的(a)部分表示讀出圖1所示的行a、C、d、f這4行的間拔圖案P41,圖6的(b)部分表示從行a、C、d、f讀出3行、從行b、e讀出I行的間拔圖案P42,圖6的(C)部分表示從行a、C、d、f讀出2行、讀出行b、e這2行的間拔圖案P43。
[0127]上述3個(gè)間拔圖案P41、P42、P43各自的RGB濾色器的個(gè)數(shù)比率不同，在間拔圖案P4i的情況下，R:G =B = 4:16:4 = I:4:1，在間拔圖案P42的情況下，R:G:B = 5:14:5，在間拔圖案 P43 的情況下，R:G:B = 6:12:6 = I:2:10
[0128]圖7是匯總了上述圖3至圖6所示的1/6間拔到4/6間拔中的間拔讀出的行的組合(間拔圖案)及各間拔圖案中的RGB的像素?cái)?shù)的比率的圖表。
[0129]上述1/6間拔到4/6間拔中，1/6間拔的間拔率最高(讀出的行數(shù)少)，計(jì)算量也少，但相對(duì)于噪聲精度變低，4/6間拔的間拔率最低(讀出的行數(shù)多)，計(jì)算量也多，但相對(duì)于噪聲精度變高。
[0130](數(shù)字信號(hào)處理)
[0131]圖8是表示圖2所示的數(shù)字信號(hào)處理部24的內(nèi)部構(gòu)成的要部框圖。
[0132]如圖8所示，數(shù)字信號(hào)處理部24主要由第一信號(hào)處理系統(tǒng)和第二信號(hào)處理系統(tǒng)構(gòu)成，第一信號(hào)處理系統(tǒng)由混色校正部241、白平衡校正部242及信號(hào)處理部243構(gòu)成，第二信號(hào)處理系統(tǒng)由間拔圖案決定部244、間拔讀出部245、RGB累計(jì)部246及WB增益計(jì)算部247構(gòu)成。
[0133]如上所述，保持?jǐn)z影時(shí)從攝像元件I輸出的濾色器排列的RAW數(shù)據(jù)(馬賽克圖像)暫時(shí)存儲(chǔ)于存儲(chǔ)器48中，數(shù)字信號(hào)處理部24從存儲(chǔ)器48讀出馬賽克圖像，生成顯示用及記錄用的圖像。
[0134]數(shù)字信號(hào)處理部24的上述第一信號(hào)處理系統(tǒng)及第二信號(hào)處理系統(tǒng)分別從存儲(chǔ)器48適當(dāng)讀出馬賽克圖像(RGB顏色信號(hào))，為了實(shí)現(xiàn)高速化而進(jìn)行并列處理。
[0135]混色校正部241是進(jìn)行使來(lái)自相鄰像素的光的泄漏(混色)的影響降低的處理的部分，根據(jù)來(lái)自相鄰像素的泄漏的比例，減去RGB顏色信號(hào)的信號(hào)成分，降低混色。來(lái)自相鄰像素的泄漏的比例根據(jù)光束向各像素照射的入射角等而發(fā)生變化，因此需要預(yù)先改變光束的入射角并且以多個(gè)入射角測(cè)定混色的比例，而使用該測(cè)定的混色的比例(校正參數(shù))。
[0136]由混色校正部24混色校正的RGB的顏色信號(hào)施加到白平衡校正部242。在白平衡校正部242的其他輸入中，從WB增益計(jì)算部247施加各RGB的WB增益，白平衡校正部242通過(guò)將RGB的顏色信號(hào)和各RGB的WB增益相乘來(lái)進(jìn)行白平衡校正。
[0137] 被白平衡校正的RGB的顏色信號(hào)施加到信號(hào)處理部243，在此，進(jìn)行伽瑪校正處理、去馬賽克算法處理、YC處理、銳度校正等其他信號(hào)處理。經(jīng)過(guò)了 YC處理的YC數(shù)據(jù)再次存儲(chǔ)于存儲(chǔ)器48中。存儲(chǔ)器48中存儲(chǔ)的YC數(shù)據(jù)由視頻編碼器28轉(zhuǎn)換為液晶監(jiān)視器30中的圖像顯示用的信號(hào)，作為后視圖顯示于液晶監(jiān)視器30，并且，在由壓縮擴(kuò)展處理部26執(zhí)行了預(yù)定的壓縮處理后，生成Exif文件，經(jīng)由媒體控制器52記錄于存儲(chǔ)卡54中。
[0138]另一方面，第二信號(hào)處理系統(tǒng)側(cè)的間拔圖案決定部244基于攝影條件等從圖3至圖6所示的多個(gè)間拔圖案中決定一個(gè)間拔圖案。例如，在混色多的攝影條件下，決定主要選擇行a、C、d、f的間拔圖案，在混色少的攝影條件下，決定主要選擇行b、e的間拔圖案。此外，稍后詳述間拔圖案決定部244的動(dòng)作。
[0139]間拔讀出部245在存儲(chǔ)器48中存儲(chǔ)的RAW數(shù)據(jù)(馬賽克圖像)中，按照由間拔圖案決定部244決定的間拔圖案，間拔讀出預(yù)定的行的顏色信號(hào)，將讀出的RGB各顏色信號(hào)輸出到RGB累計(jì)部246。
[0140]RGB累計(jì)部246對(duì)應(yīng)將I個(gè)畫(huà)面分割為8X8或16X 16的各分割區(qū)域，算出RGB的各顏色信號(hào)的累計(jì)平均值，算出由各RGB的累計(jì)平均值的比(R/G、B/G)構(gòu)成的顏色信號(hào)。例如，在將I個(gè)畫(huà)面分割為16X 16的256個(gè)分割區(qū)域時(shí)，算出256個(gè)顏色信號(hào)(R/G，B/G)。
[0141]WB增益計(jì)算部247基于從RGB累計(jì)部246輸入的各分割區(qū)域的顏色信息(R/G，B/G)而算出WB增益。具體而言，算出256個(gè)分割區(qū)域中的每個(gè)分割區(qū)域的顏色信息的、R/G、B/G軸坐標(biāo)的顏色空間上的分布的重心位置，根據(jù)該重心位置所示的顏色信息，推定環(huán)境光的顏色溫度。此外，也可以替代顏色溫度，而通過(guò)求出具有該重心位置所示的顏色信息的光源種類(lèi)例如藍(lán)天、背陰、晴天、熒光燈(晝光色、晝白色、白色、暖白色)、鎢、低鎢等來(lái)推定攝影時(shí)的光源種類(lèi)(參照日本特開(kāi)2007-53499)。并且，也可以根據(jù)推定的光源種類(lèi)來(lái)推定顏色溫度。
[0142]WB增益計(jì)算部247中，預(yù)先對(duì)應(yīng)于環(huán)境光的顏色溫度或光源種類(lèi)來(lái)準(zhǔn)備用于進(jìn)行適當(dāng)?shù)陌灼胶庑Ｕ母鱎GB或者各RB的WB增益，WB增益計(jì)算部247基于上述推定的環(huán)境光的顏色溫度或光源種類(lèi)，讀出對(duì)應(yīng)的各RGB或各RB的WB增益，將該讀出的WB增益輸出到白平衡校正部242。
[0143]如上所述，與基于第一信號(hào)處理系統(tǒng)的馬賽克圖像的信號(hào)處理并行，通過(guò)第二信號(hào)處理系統(tǒng)進(jìn)行了 WB增益的計(jì)算，因此能夠?qū)崿F(xiàn)信號(hào)處理的高速化，尤其是，不使用原始圖像的總像素的數(shù)據(jù)，而基于間拔讀出的行的顏色信號(hào)來(lái)計(jì)算WB增益，因此能夠高速地算出WB增益。由此，能夠盡早地觀察到用于確認(rèn)拍攝到的圖像的后視圖。
[0144]并且，在第二信號(hào)處理系統(tǒng)側(cè)，不進(jìn)行計(jì)算量多的混色校正，但在易發(fā)生混色的攝影條件下，間拔讀出難以受到混色影響的行的顏色信號(hào)，因此能夠算出精度高的WB增益。
[0145](WB增益計(jì)算的實(shí)施方式)
[0146](第一實(shí)施方式)
[0147]圖9是表示W(wǎng)B增益的計(jì)算方法的第一實(shí)施方式的流程圖。
[0148]在圖9中，首先，當(dāng)存在快門(mén)按鈕的第二階段的按下(全按)時(shí)，進(jìn)行靜止圖像的正式攝影，通過(guò)該正式攝影從攝像元件I取得的RAW數(shù)據(jù)存儲(chǔ)于存儲(chǔ)器48中(步驟S10)。
[0149]接著，取得正式攝影時(shí)的攝影光學(xué)系統(tǒng)12 (變焦鏡頭)的變焦位置及鏡頭F值，選擇與取得的變焦位置及鏡頭F值對(duì)應(yīng)的閾值(步驟S12)。
[0150]即，鏡頭F值越接近開(kāi)放F值，則混色越多，因此基于F值設(shè)定用于判定是否容易發(fā)生混色的閾值。并且，攝像元件上的向微透鏡入射的入射角根據(jù)變焦鏡頭的變焦位置(變焦倍率)而發(fā)生變化(來(lái)自相鄰像素的光的泄漏發(fā)生變化)，混色量不同，因此通過(guò)變焦位置來(lái)改變上述閾值。具體而言，預(yù)先準(zhǔn)備以F值和變焦位置為參數(shù)的閾值的表格，根據(jù)正式攝影時(shí)的F值和變焦位置，從表格中讀出對(duì)應(yīng)的閾值。
[0151]接著，判定正式攝影時(shí)的F值是否為上述選擇的閾值以下(步驟S14)。當(dāng)正式攝影時(shí)的F值是閾值以下時(shí)(“是”時(shí))，判定為易發(fā)生混色，決定與混色影響少(RB像素少)的行的間拔讀出對(duì)應(yīng)的間拔圖案。并且，按照決定的間拔圖案間拔讀出預(yù)定的行的顏色信號(hào)(步驟S16)。例如，在1/6間拔時(shí)，決定圖4的(a)部分所示的間拔圖案Pn，讀出與該選擇的間拔圖案P11對(duì)應(yīng) 的行的顏色信號(hào)。[0152]另一方面，當(dāng)正式攝影時(shí)的F值超過(guò)閾值時(shí)(“否”時(shí))，判定為混色影響少，決定與混色影響少的行相比RB像素多的行的間拔讀出所對(duì)應(yīng)的間拔圖案。并且，按照決定的間拔圖案間拔讀出預(yù)定的行的顏色信號(hào)(步驟S18)。例如，在1/6間拔時(shí)，決定圖4的(b)部分所示的間拔圖案P12,讀出與該選擇的間拔圖案P12對(duì)應(yīng)的行的顏色信號(hào)。
[0153]根據(jù)通過(guò)上述步驟S16或S18讀出的RGB的顏色信號(hào)，算出各RGB的累計(jì)平均值，基于該累計(jì)平均值，算出WB增益(步驟S20)。
[0154]如上所述，在易發(fā)生混色的攝影條件下，間拔讀出混色影響少的行的顏色信號(hào)，算出WB增益，因此能夠算出精度高的WB增益，并且在混色影響少的攝影條件下，間拔讀出與混色影響少的行相比RB像素多的行(RGB的像素比更平均的行)的顏色信號(hào)，算出WB增益，因此RB像素的累計(jì)平均值的精度變高，能夠算出精度高的WB增益。
[0155]此外，在該第一實(shí)施方式中，基于正式攝影時(shí)的變焦位置和F值來(lái)選擇閾值，判定是否為混色變多的攝影條件，但不限于此，也可以基于變焦位置或F值的任一個(gè)來(lái)判定是否為混色多的攝影條件，基于該判定結(jié)果來(lái)決定間拔圖案。
[0156](第二實(shí)施方式)
[0157]圖10是表示W(wǎng)B增益的計(jì)算方法的第二實(shí)施方式的流程圖。此外，對(duì)與圖9所示的第一實(shí)施方式共同的部分標(biāo)注同樣的步驟代碼，省略其詳細(xì)說(shuō)明。
[0158]如圖10所示，在正式攝影前算出環(huán)境光的顏色溫度(步驟S30)。例如，基于實(shí)時(shí)取景圖像的圖像數(shù)據(jù)或快門(mén)按鈕半按時(shí)取得的圖像數(shù)據(jù)的RGB顏色信號(hào)，算出各顏色的累計(jì)平均值，根據(jù)算出的各顏色的累計(jì)平均值，算出環(huán)境光的顏色溫度。
[0159]并且，在正式攝影后，判定在步驟S30中算出的顏色溫度是否在預(yù)先設(shè)定的中間顏色溫度的范圍外(步驟S32)。
[0160]低顏色溫度時(shí)的RGB的各顏色的累計(jì)平均值如圖11的(a)部分所示，是R>G>B的關(guān)系，高顏色溫度時(shí)的RGB的各顏色的累計(jì)平均值如圖11的(c)部分所示，是R〈G〈B的關(guān)系O
[0161]如此，當(dāng)是包含輸出小的顏色的顏色溫度(低顏色溫度或高顏色溫度)時(shí)，輸出小的像素(B像素或R像素)易于受到來(lái)自相鄰像素的光的泄漏的影響，WB增益的計(jì)算精度
易于變差。
[0162]因此，在步驟S32中，當(dāng)通過(guò)步驟S30算出的顏色溫度是RGB各顏色的累計(jì)平均值基本相等的預(yù)定的中間顏色溫度(圖11的(b)部分)的范圍外的顏色溫度時(shí)(“是”時(shí))，判定為易發(fā)生混色，轉(zhuǎn)換到步驟S16，在中間顏色溫度范圍內(nèi)時(shí)(“否”時(shí))，判定為混色影響少，轉(zhuǎn)換到進(jìn)行RB像素多的行的間拔讀出的步驟S18。
[0163]如上所述，當(dāng)是易發(fā)生混色的顏色溫度時(shí)，間拔讀出混色影響少的行的顏色信號(hào)，算出WB增益，因此能夠算出精度高的WB增益，并且當(dāng)是混色影響少的顏色溫度時(shí)，間拔讀出RB像素多的行的顏色信號(hào)，算出WB增益，因此RB像素的累計(jì)平均值的精度變高，能夠算出精度高的WB增益。
[0164](第三實(shí)施方式)
[0165]圖12是表示W(wǎng)B增益的計(jì)算方法的第三實(shí)施方式的流程圖。此外，對(duì)與圖9所示的第一實(shí)施方式共同的部分標(biāo)注同樣的步驟代碼，省略其詳細(xì)說(shuō)明。
[0166]CPU40在快門(mén)按鈕半按時(shí)，根據(jù)從AE檢測(cè)部44輸入的累計(jì)值算出被攝體的亮度(攝影EV值)，基于該攝影EV值，決定由F值、快門(mén)速度及攝影感光度(ISO感光度)的組合構(gòu)成的攝影(曝光)條件，在正式攝影時(shí)按照上述決定的曝光條件進(jìn)行曝光控制。
[0167]當(dāng)被攝體的亮度較亮?xí)r，將攝影感光度設(shè)定得較低，通過(guò)F值及快門(mén)速度進(jìn)行曝光控制，當(dāng)被攝體的亮度較暗且僅通過(guò)F值及快門(mén)速度無(wú)法獲得充分的信號(hào)量時(shí)，提高攝影感光度(增益)。因此，當(dāng)攝影感光度高時(shí)，噪聲也被放大，存在噪聲變大的缺點(diǎn)。
[0168]在圖12中，判定正式攝影時(shí)的攝影感光度是否為預(yù)定的閾值以下(即是否為噪聲少的圖像)(步驟S40)。當(dāng)攝影感光度是預(yù)定的閾值以下時(shí)(“是”時(shí))，是噪聲少的圖像，因此使難以受到混色影響的行的間拔讀出優(yōu)先，轉(zhuǎn)換到步驟S16。另一方面，當(dāng)攝影感光度超過(guò)預(yù)定的閾值時(shí)(“否”時(shí))，是噪聲多的圖像，因此使難以受到噪聲影響的RB像素多的行的間拔讀出優(yōu)先，轉(zhuǎn)換到步驟S18。
[0169]如上所述，在噪聲少的圖像的情況下，間拔讀出混色影響少的行的顏色信號(hào)，算出WB增益，因此能夠算出精度高的WB增益，并且在噪聲多的圖像的情況下，間拔讀出RB像素多的行的顏色信號(hào)，算出WB增益，因此RB像素的累計(jì)平均值的精度變高，能夠算出精度高的WB增益。
[0170](第四實(shí)施方式)
[0171]圖13是表示W(wǎng)B增益的計(jì)算方法的第四實(shí)施方式的流程圖，表示圖12所示的第三實(shí)施方式的變形例。此外，對(duì)與圖12所示的第三實(shí)施方式共同的部分標(biāo)注同樣的步驟代碼，省略其詳細(xì)說(shuō)明。
[0172]圖13所示的第四實(shí)施方式與第三實(shí)施方式的不同點(diǎn)在于判定為攝影感光度超過(guò)預(yù)定閾值(步驟S40的“否 ”)后的處理。
[0173]即，在步驟S40中，當(dāng)判定為攝影感光度超過(guò)了預(yù)定的閾值時(shí)(“否”時(shí))，接著，判定是否重視運(yùn)算速度(步驟S50)。
[0174]例如，當(dāng)設(shè)定連拍模式作為攝影模式而需要高速處理連拍的各圖像時(shí)，判定為重視運(yùn)算速度。
[0175]在步驟S50中判定為重視速度時(shí)(“是”時(shí))，轉(zhuǎn)換到步驟S52。在步驟S52中，決定間拔讀出RB像素多的行的顏色信號(hào)的間拔圖案，但由于重視速度，因此決定間拔率高的間拔圖案。例如，如圖4的(a)部分所示，決定1/6間拔的間拔圖案Pn。
[0176]另一方面，在步驟S50中判定為不重視速度時(shí)(“否”時(shí))，轉(zhuǎn)換到步驟S54。在步驟S54中，決定間拔率低的間拔圖案、即與混色影響少的行的間拔讀出對(duì)應(yīng)的間拔圖案。例如，決定圖6的(c)部分所示的4/6間拔的間拔圖案P43。在這種情況下，與G像素的像素相比，RB像素的像素?cái)?shù)的比率較小，但間拔率較低，因此RB像素的像素?cái)?shù)也變得足夠多，即使RB像素中含有較多噪聲，也能夠求出精度高的累計(jì)平均值。
[0177](顏色信息計(jì)算的實(shí)施方式)
[0178](第一實(shí)施方式)
[0179]在從攝像元件I輸出的RGB顏色信號(hào)中，除了與入射光強(qiáng)度對(duì)應(yīng)的信號(hào)成分外，還重疊有因暗電流等而形成的偏移成分，在高感光度或高溫時(shí)、長(zhǎng)時(shí)間曝光時(shí)，由于像素的暗電流成分而在偏移成分中易產(chǎn)生階梯差。
[0180]圖14表示在RGB各顏色在偏移中產(chǎn)生階梯差(黑電平階梯差)的情況。
[0181]因此，考慮該偏移階梯差來(lái)計(jì)算顏色信息(R/G，B/G)，從而算出精度高的WB增益。[0182]即，圖8所示的RGB累計(jì)部246對(duì)應(yīng)RGB各顏色算出偏移值Rtjffset' Goffset, Boffseto這些偏移值Rtjffs^GtjffsWBtjffsrt如下計(jì)算:累計(jì)攝像元件I的周邊部的遮光區(qū)域(光學(xué)黑暗部:OB部)的信號(hào)、即與RGB對(duì)應(yīng)的各像素的信號(hào)，求出其平均值。
[0183]接著，算出從間拔讀出部245間拔讀出的RGB的各顏色信號(hào)的累計(jì)平均值Rdata、Gdata、Bdata，使用上述算出的偏移值Rtjffsrt Affsrt Affset，通過(guò)下式算出進(jìn)行了偏移校正的顏色信息(R/G、B/G)。
[0184][數(shù)式I]
[01 85] R/G- (Rdata-Roffset) / (Gdata_Goffset)
[0186]B/G — (Bdata_Boffset) / (Gdata-Goffset)
[0187]通過(guò)如此對(duì)應(yīng)各顏色進(jìn)行偏移校正，能夠算出精度高的顏色信息，其結(jié)果是，能夠算出精度高的WB增益。
[0188](第二實(shí)施方式)
[0189]CMOS (Complementary Metal-Oxide Semiconductor:互補(bǔ)金屬氧化半導(dǎo)體)型攝像元件中，在CMOS的基體中嵌入像素共有放大器，如圖15所示，存在2 X 2共4個(gè)像素共有I個(gè)放大器的情況。由于這種攝像元件的元件構(gòu)造，根據(jù)相對(duì)于共有放大器的像素位置I~4(相對(duì)于放大器左上、右上、左下、右下的位置)，在輸出電平中產(chǎn)生差異。
[0190]圖16表示在相對(duì)于共有放大器的像素位置I~4在偏移中產(chǎn)生階梯差(黑電平階梯差)的情況。
[0191]因此，考慮該偏移階梯差來(lái)計(jì)算顏色信息(R/G、B/G)，從而算出精度高的WB增益。
[0192]即，圖8所示的RGB累計(jì)部246對(duì)應(yīng)相對(duì)于共有放大器的各像素位置I~4，算出偏移值offl、off2、off3、off4。這些偏移值offl、off2、off3、off4如下計(jì)算:對(duì)應(yīng)相對(duì)于共有放大器的像素位置I~4累計(jì)攝像元件I的OB部的信號(hào)，求出其平均值。
[0193]接著，算出從間拔讀出部245間拔讀出的RGB的各顏色信號(hào)的累計(jì)平均值Rdata、Gdata> Bdata，使用上述算出的偏移值offl、off2、off3、off4，進(jìn)行各顏色信號(hào)的累計(jì)平均值
Rdata、GfJata、^data
的偏移校正。
[0194]現(xiàn)在，在基本排列圖案中的各顏色像素和相對(duì)于共有放大器的像素位置I~4為圖17所示的關(guān)系的情況下，當(dāng)通過(guò)2/6間拔來(lái)間拔讀出行a、d時(shí)，行a、d的各顏色像素和相對(duì)于共有放大器的像素位置I~4變?yōu)閳D18所示的關(guān)系。
[0195] 即，基本排列圖案內(nèi)的行a、d中的RGB相對(duì)于共有放大器的像素位置I~4中，R像素在位置1、4上分別各存在I個(gè)像素，G像素在位置I~4上分別各存在2個(gè)像素，B像素、R像素在位置2、3上分別各存在I個(gè)像素。
[0196]因此，間拔行a、d中的RGB的偏移值Rtjffs^GtjffsWBtjffsrt能夠基于相對(duì)于共有放大器的各像素位置I~4的偏移值offl、off2、off3、off4通過(guò)下式進(jìn)行計(jì)算。
[0197][數(shù)式2]
[0198]Roffset= (Off I+Off4)/2
[0199]Goffset= (0ffl+0ff2+0ff3+0ff4) /4
[0200]Bofiset=(0ff2+0ff3)/2
[0201]使用通過(guò)上述[數(shù)式2]算出的RGB的偏移值Rtjffs^GtjffMpBtjffset，通過(guò)上述[數(shù)式I]，算出進(jìn)行了偏移校正的顏色信息(R/G、B/G)。[0202]如此，基于相對(duì)于共有放大器的各像素位置I~4的偏移值offl、off2、off3、off4,對(duì)應(yīng)RGB的各顏色算出偏移值，并通過(guò)算出的偏移值來(lái)校正各RGB的累計(jì)平均值，從而能夠算出精度高的顏色信息，其結(jié)果是，能夠算出精度高的WB增益。
[0203]此外，上述[數(shù)式2]是用于計(jì)算間拔行a、d中的RGB的偏移值RtjffsWGtjffs^Btjffsrt的計(jì)算公式，但計(jì)算偏移值Rt5ffs^GtjffsWBtjffsrt的計(jì)算公式根據(jù)間拔讀出的I行或多行的組合而不同。因此，需要根據(jù)由間拔圖案決定部244決定的間拔圖案(參照?qǐng)D3~圖6)來(lái)準(zhǔn)備用于計(jì)算RGB的偏移值Rtjffs^ G0ffseo Boffset的計(jì)算公式。
[0204](其他)
[0205]圖19及20分別是表示適用于本發(fā)明涉及的攝像裝置的攝像元件的其他實(shí)施方式的圖。
[0206]圖19所示的實(shí)施方式的攝像元件的濾色器排列包括由與7X7像素對(duì)應(yīng)的正方排列圖案構(gòu)成的基本排列圖案(由粗框所示的圖案)，該基本排列圖案在水平方向及垂直方向上重復(fù)配置。
[0207]該濾色器排列與圖1所示的實(shí)施方式一樣，G濾光片在濾色器排列的水平、垂直、斜右上及斜右下方向的各行內(nèi)配置，且R濾光片、B濾光片在濾色器排列的水平及垂直方向的各行內(nèi)配置。
[0208]并且，G濾光片比R、B濾光片多，且RGB的濾色器的個(gè)數(shù)比率根據(jù)行而不同，存在R:G:B = 2:3:2 的行和 R:G:B = 2:4:1 或 R:G:B = 1:4:2 的行。
[0209]圖20所示的實(shí)施 方式的攝像元件的濾色器排列包括由與8X8像素對(duì)應(yīng)的正方排列圖案構(gòu)成的基本排列圖案(由粗框所示的圖案)，該基本排列圖案在水平方向及垂直方向上重復(fù)配置。
[0210]該濾色器排列與圖1所示的實(shí)施方式一樣，G濾光片在濾色器排列的水平、垂直、斜右上及斜右下方向的各行內(nèi)配置，且R濾光片、B濾光片在濾色器排列的水平及垂直方向的各行內(nèi)配置。
[0211]并且，G濾光片比R、B濾光片多，且RGB的濾色器的個(gè)數(shù)比率根據(jù)行而不同，存在R:G:B = 3:2:3 的行和 R:G:B = I:6:1 的行。
[0212]圖19及圖20所示的濾色器排列與圖1所示的6X6像素的基本排列圖案一樣，與亮度系像素對(duì)應(yīng)的G濾光片在濾色器排列的水平、垂直、斜右上及斜右下的各方向的行內(nèi)配置，因此無(wú)論高頻方向如何都能夠提高高頻區(qū)域中的去馬賽克算法處理的重現(xiàn)精度。并且，R濾光片、B濾光片在濾色器排列的水平及垂直方向的各行內(nèi)配置，因此能夠抑制帶色莫爾條紋(偽色)的產(chǎn)生。
[0213]如此，本發(fā)明不限于圖1所示的具有6X6像素的基本排列圖案的攝像元件，也能夠適用于具有其他濾色器排列的攝像元件，總之，只要是具有在各行上排列三原色的濾色器且三原色的濾色器的個(gè)數(shù)比率根據(jù)行而不同的濾色器排列的攝像元件，則也能夠適用于任意的攝像元件。
[0214]并且，攝像元件的濾色器排列不限于RGB三原色，也可以包括黃色、翠綠色。
[0215]而且，在本實(shí)施方式中，對(duì)應(yīng)將I個(gè)畫(huà)面分割為多個(gè)區(qū)域所得的各分割區(qū)域來(lái)取得顏色信息(R/G、B/G)，并基于多個(gè)分割區(qū)域的顏色信息算出WB增益，但WB增益的計(jì)算方法不限于該實(shí)施方式，只要是基于三原色的顏色信號(hào)算出WB增益的方法，則可以是任意方法。
[0216]并且，本發(fā)明不限于上述實(shí)施方式，不言而喻，能夠在不脫離本發(fā)明精神的范圍內(nèi)進(jìn)行各種變形。
[0217]附圖標(biāo)記說(shuō)明
[0218]I攝像元件
[0219]10攝像裝置
[0220]12攝影光學(xué)系統(tǒng)
[0221]14光圈
[0222]24數(shù)字信號(hào)處理部
[0223]30液晶監(jiān)視器
[0224]38操作部
[0225]40中央處理裝置(CPU)
[0226]46ROM
[0227]48存儲(chǔ)器
[0228]54存儲(chǔ)卡
[0229]242白平衡校正部
[0230]244間拔圖案決定部
[0231]245間拔讀出部
[0232]246RGB 累計(jì)部
[0233] 247WB增益計(jì)算部
【權(quán)利要求】
1.一種攝像裝置，具有: 攝影光學(xué)系統(tǒng)； 攝像元件，使被攝體圖像經(jīng)由上述攝影光學(xué)系統(tǒng)而成像，在排列成二維狀的光電轉(zhuǎn)換元件上排列包括三原色的濾色器，且具有如下濾色器排列:在各行上排列三原色濾色器，并且包括三原色濾色器的個(gè)數(shù)比率不同的多行； 白平衡增益計(jì)算單元，基于上述多行中上述三原色濾色器的個(gè)數(shù)比率更平均的行的各顏色的濾色器所對(duì)應(yīng)的各顏色信號(hào)，算出白平衡增益；及 白平衡校正單元，基于由上述白平衡增益計(jì)算單元算出的白平衡增益，對(duì)經(jīng)由上述攝像元件取得的各顏色信號(hào)進(jìn)行白平衡校正。
2.一種攝像裝置，具有: 攝影光學(xué)系統(tǒng)； 攝像元件，使被攝體圖像經(jīng)由上述攝影光學(xué)系統(tǒng)而成像，在排列成二維狀的光電轉(zhuǎn)換元件上排列包括三原色的濾色器，且具有如下濾色器排列:在各行上排列三原色濾色器，并且包括三原色濾色器的個(gè)數(shù)比率不同的多行； 間拔圖案決定單元，根據(jù)攝影條件，從用于選擇上述多行中間拔讀出的行的多個(gè)間拔圖案中決定個(gè)間拔圖案； 白平衡增益計(jì)算單元，基于由上述攝像元件取得的各行的上述濾色器所對(duì)應(yīng)的顏色信號(hào)中按照由上述間拔圖案決定單元決定的間拔圖案所選擇的預(yù)定的行的顏色信號(hào)，算出白平衡增益 '及 白平衡校正單元，基于由上述白平衡增益計(jì)算單元算出的白平衡增益，對(duì)經(jīng)由上述攝像元件取得的各顏色信號(hào)進(jìn)行白平衡校正。
3.根據(jù)權(quán)利要求2所述的攝像裝置，其中， 上述間拔圖案決定單元基于上述攝影光學(xué)系統(tǒng)的攝影時(shí)的F值和變焦倍率的至少一方，從上述多個(gè)間拔圖案中決定一個(gè)間拔圖案。
4.根據(jù)權(quán)利要求2所述的攝像裝置，其中， 上述間拔圖案決定單元包括檢測(cè)環(huán)境光的顏色溫度的顏色溫度檢測(cè)單元，基于由該顏色溫度檢測(cè)單元檢測(cè)出的環(huán)境光的顏色溫度，從上述多個(gè)間拔圖案中決定一個(gè)間拔圖案。
5.根據(jù)權(quán)利要求2~4中任一項(xiàng)所述的攝像裝置，其中， 上述間拔圖案決定單元判定是否為混色多的攝影條件，在混色多的攝影條件下，決定選擇上述三原色濾色器的個(gè)數(shù)比率不平均的行的間拔圖案，在混色少的攝影條件下，決定選擇與上述三原色濾色器對(duì)應(yīng)的像素?cái)?shù)的比率更平均的行的間拔圖案。
6.根據(jù)權(quán)利要求2~5中任一項(xiàng)所述的攝像裝置，其中， 上述攝像裝置具有設(shè)定攝影感光度的感光度設(shè)定單元， 在由上述感光度設(shè)定單元設(shè)定的攝影感光度是低感光度時(shí)，上述間拔圖案決定單元決定選擇上述三原色濾色器的個(gè)數(shù)比率不平均的行的間拔圖案，在上述設(shè)定的攝影感光度是高感光度時(shí)，上述間拔圖案決定單元決定選擇上述三原色濾色器的個(gè)數(shù)比率更平均的行的間拔圖案。
7.根據(jù)權(quán)利要求2~5中任一項(xiàng)所述的攝像裝置，其中， 上述攝像裝置具有設(shè)定攝影感光度的感光度設(shè)定單元，上述多個(gè)間拔圖案包括間拔率不同的間拔圖案， 在由上述感光度設(shè)定單元設(shè)定的攝影感光度是低感光度時(shí)，上述間拔圖案決定單元決定上述間拔率不同的間拔圖案中的間拔率高的間拔圖案，在上述設(shè)定的攝影感光度是高感光度時(shí)，上述間拔圖案決定單元決定上述間拔率不同的間拔圖案中的間拔率低的間拔圖案。
8.根據(jù)權(quán)利要求2~5中任一項(xiàng)所述的攝像裝置，其中， 上述攝像裝置具有: 設(shè)定攝影感光度的感光度設(shè)定單元；及 判定是否重視運(yùn)算速度的判定單元， 上述多個(gè)間拔圖案包括間拔率不同的間拔圖案， 在由上述感光度設(shè)定單元設(shè)定的攝影感光度是低感光度時(shí)，上述間拔圖案決定單元決定上述間拔率不同的間拔圖案中的間拔率高、且選擇上述三原色濾色器的個(gè)數(shù)比率不平均的行的間拔圖案，在上述設(shè)定的攝影感光度是高感光度且重視運(yùn)算速度時(shí)，上述間拔圖案決定單元決定上述間拔率不同的間拔圖案中的間拔率高、且選擇上述三原色濾色器的個(gè)數(shù)比率更平均的行的間拔圖案，在上述設(shè)定的攝影感光度是高感光度且不重視運(yùn)算速度時(shí)，上述間拔圖案決定單元決定上述間拔率不同的間拔圖案中的間拔率低、且選擇上述三原色濾色器的個(gè)數(shù)比率不平均的行的間拔圖案。
9.根據(jù)權(quán)利要求2~8中任一項(xiàng)所述的攝像裝置，其中， 上述攝像裝置具有計(jì)算單元，對(duì)應(yīng)與上述三原色濾色器對(duì)應(yīng)的各顏色信號(hào)，算出偏移值， 上述白平衡增益計(jì)算單元算出上述白平衡增益計(jì)算中使用的行的各顏色信號(hào)的累計(jì)平均值，并且從該累計(jì)平均值中減去對(duì)應(yīng)上述各顏色信號(hào)算出的偏移值，基于減算出的各顏色信號(hào)的累計(jì)平均值的比，算出白平衡增益。
10.根據(jù)權(quán)利要求9所述的攝像裝置，其中， 上述攝像元件是具有每預(yù)定的像素組共有放大器的元件構(gòu)造的攝像元件， 上述計(jì)算單元包括:第一計(jì)算單元，算出共有上述放大器的各像素相對(duì)于該放大器的各位置的偏移值；及第二計(jì)算單元，基于由上述間拔圖案決定單元決定的間拔圖案中的各像素相對(duì)于上述放大器的位置及由上述第一計(jì)算單元算出的相對(duì)于上述放大器的各位置的偏移值，算出各顏色信號(hào)的偏移值。
11.根據(jù)權(quán)利要求2~9中任一項(xiàng)所述的攝像裝置，其中， 上述攝像元件的濾色器排列包括排列有與最有助于獲得亮度信號(hào)的第一顏色對(duì)應(yīng)的第一濾光片及與上述第一顏色以外的兩種顏色以上的第二顏色對(duì)應(yīng)的第二濾光片的預(yù)定的基本排列圖案，該基本排列圖案在水平方向及垂直方向上重復(fù)配置， 上述第一濾光片配置于上述濾色器排列的水平、垂直、斜右上及斜右下方向的各行內(nèi)，上述第二濾光片在上述基本排列圖案內(nèi)在上述濾色器排列的水平及垂直方向的各行內(nèi)配置I個(gè)以上， 與上述第一濾光片對(duì)應(yīng)的第一顏色的像素?cái)?shù)的比率大于與上述第二濾光片對(duì)應(yīng)的第二顏色的各顏色的像素?cái)?shù)的比率。
12.根據(jù)權(quán)利要求2~11中任一項(xiàng)所述的攝像裝置，其中，上述攝像元件的濾色器排列包括排列有紅(R)、綠(G)、藍(lán)(B)濾色器的預(yù)定的基本排列圖案，該基本排列圖案在水平方向及垂直方向上重復(fù)配置， 上述預(yù)定的基本排列圖案是與6X6像素對(duì)應(yīng)的正方排列圖案， 上述濾色器排列由第一排列和第二排列交替在水平方向及垂直方向上排列而構(gòu)成，上述第一排列與3X3像素對(duì)應(yīng)，在中心和4角配置G濾光片，隔著中心的G濾光片在上下配置B濾光片，在左右排列R濾光片；上述第二排列與3X3像素對(duì)應(yīng)，在中心和4角配置G濾光片，隔著中心的G濾光片在上下配置R濾光片，在左右排列B濾光片。
13.根據(jù)權(quán)利要求12所述的攝像裝置，其中， 上述多個(gè)間拔圖案在每6行間拔讀出I行時(shí)，包括:讀出RGB濾色器的個(gè)數(shù)比率是1:4:1的行的間拔圖案；及讀出RGB濾色器的個(gè)數(shù)比率是1:1:1的行的間拔圖案。
14.根據(jù)權(quán)利要求12或13所述的攝像裝置，其中， 上述多個(gè)間拔圖案在每6行間拔讀出2行時(shí)，包括:讀出RGB濾色器的個(gè)數(shù)比率是1:4:1的行的間拔圖案；及讀出RGB濾色器的個(gè)數(shù)比率是1:1:1的行的間拔圖案。
15.根據(jù)權(quán)利要求12~14中任一項(xiàng)所述的攝像裝置，其中， 上述多個(gè)間拔圖案在每6行間拔讀出3行時(shí)，包括:讀出RGB濾色器的個(gè)數(shù)比率是1:4:1的行的間拔圖案；及讀出RGB濾色器的個(gè)數(shù)比率是5:8:5的行的間拔圖案。
16.根據(jù)權(quán)利 要求12~15中任一項(xiàng)所述的攝像裝置，其中， 上述多個(gè)間拔圖案在每6行間拔讀出4行時(shí)，包括:讀出RGB濾色器的個(gè)數(shù)比率是1:4:1的行的間拔圖案；及讀出RGB濾色器的個(gè)數(shù)比率是1:2:1的行的間拔圖案。
17.根據(jù)權(quán)利要求1所述的攝像裝置，其中， 上述攝像裝置具有計(jì)算單元，對(duì)應(yīng)與上述三原色濾色器對(duì)應(yīng)的各顏色信號(hào)，算出偏移值， 上述白平衡增益計(jì)算單元算出上述白平衡增益計(jì)算中使用的行的各顏色信號(hào)的累計(jì)平均值，并且從該累計(jì)平均值中減去對(duì)應(yīng)上述各顏色信號(hào)算出的偏移值，基于減算出的各顏色信號(hào)的累計(jì)平均值的比，算出白平衡增益。
18.根據(jù)權(quán)利要求1所述的攝像裝置，其中， 上述攝像元件的濾色器排列包括排列有紅(R)、綠(G)、藍(lán)(B)濾色器的預(yù)定的基本排列圖案，該基本排列圖案在水平方向及垂直方向上重復(fù)配置， 上述預(yù)定的基本排列圖案是與6X6像素對(duì)應(yīng)的正方排列圖案， 上述濾色器排列由第一排列和第二排列交替在水平方向及垂直方向上排列而構(gòu)成，上述第一排列與3X3像素對(duì)應(yīng)，在中心和4角配置G濾光片，隔著中心的G濾光片在上下配置B濾光片，在左右排列R濾光片；上述第二排列與3X3像素對(duì)應(yīng)，在中心和4角配置G濾光片，隔著中心的G濾光片在上下配置R濾光片，在左右排列B濾光片。
19.一種圖像處理方法，包括以下工序: 圖像取得工序，經(jīng)由攝影光學(xué)系統(tǒng)及排列有三原色濾色器的攝像元件，取得與濾色器排列對(duì)應(yīng)的馬賽克圖像，取得上述馬賽克圖像的各行中包含與三原色對(duì)應(yīng)的顏色信號(hào)且與三原色對(duì)應(yīng)的像素的個(gè)數(shù)比率根據(jù)行而不同的馬賽克圖像； 白平衡增益計(jì)算工序，基于上述攝像元件的多行中上述三原色濾色器的個(gè)數(shù)比率更平均的行的各顏色的濾色器所對(duì)應(yīng)的各顏色信號(hào)，算出白平衡增益；及白平衡校正工序，基于由上述白平衡增益計(jì)算工序算出的白平衡增益，對(duì)經(jīng)由上述攝像元件取得的各顏色信號(hào)進(jìn)行白平衡校正。
20.一種圖像處理方法，包括以下工序: 圖像取得工序，經(jīng)由攝影光學(xué)系統(tǒng)及排列有三原色濾色器的攝像元件，取得與濾色器排列對(duì)應(yīng)的馬賽克圖像，取得上述馬賽克圖像的多行的各行中包含與三原色對(duì)應(yīng)的顏色信號(hào)且與三原色對(duì)應(yīng)的像素的個(gè)數(shù)比率根據(jù)行而不同的馬賽克圖像； 間拔圖案決定工序，根據(jù)攝影條件，從用于選擇上述多行中間拔讀出的行的多個(gè)間拔圖案中決定個(gè)間拔圖案； 白平衡增益計(jì)算工序，基于由上述攝像元件取得的各行的上述濾色器所對(duì)應(yīng)的顏色信號(hào)中按照由上述間拔圖案決定工序決定的間拔圖案所選擇的預(yù)定的行的顏色信號(hào)，算出白平衡增益；及 白平衡校正工序，基于由上述白平衡增益計(jì)算工序算出的白平衡增益，對(duì)經(jīng)由上述攝像元件取得的各顏色信號(hào)進(jìn)行白平衡校正。
【文檔編號(hào)】H04N9/07GK104025574SQ201280053307
【公開(kāi)日】2014年9月3日 申請(qǐng)日期:2012年10月23日 優(yōu)先權(quán)日:2011年10月31日
【發(fā)明者】古田善工 申請(qǐng)人:富士膠片株式會(huì)社