專(zhuān)利名稱(chēng)：固體攝像元件的信號(hào)處理裝置和信號(hào)處理方法及攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種固體攝像元件的信號(hào)處理裝置和信號(hào)處理方法及攝像裝置，特別是涉及具有對(duì)固體攝像元件的像素部的混色進(jìn)行校正的功能的信號(hào)處理裝置及其信號(hào)處理方法、以及具備該信號(hào)處理裝置的攝像裝置。
背景技術(shù)：
CCD(Charge Coupled Device電荷耦合器件)圖像傳感器、CMOS(Complementary Metal Oxide Semiconductor互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器等的固體攝像元件為如下結(jié)構(gòu)在包含光電變換元件的像素單元的上方，層疊分色濾色器，進(jìn)一步在其上層疊聚光用的微型透鏡。
在采用這種結(jié)構(gòu)的彩色用固體攝像元件中，像素部和微型透鏡之間的距離擴(kuò)大到在像素部和微型透鏡之間存在濾色器的程度。于是，特別是隨著伴隨多像素化的像素單元的微小化發(fā)展，像素相互間距離、即像素間距變窄，因此發(fā)生通過(guò)了某像素單元濾色器的光混入相鄰的像素單元中的混色的問(wèn)題。
為了解決由于該像素單元的微小化引起的混色的問(wèn)題，以往在具備具有R(紅)G(綠)B(藍(lán))三基色的格子狀的像素排列的固體攝像元件中，從特定色像素的信號(hào)減去由與該特定色像素相鄰的特定色以外的像素信號(hào)算出的固定比例的信號(hào)成分(例如，參照專(zhuān)利文獻(xiàn)1)。
專(zhuān)利文獻(xiàn)1日本特開(kāi)2004-135206號(hào)公報(bào)

發(fā)明內(nèi)容
發(fā)明要解決的問(wèn)題另外，關(guān)于像素部的混色現(xiàn)象，以往認(rèn)為從與該關(guān)注像素相鄰的多個(gè)周?chē)袼貙?duì)關(guān)注像素各向同性地發(fā)生混色、即從多個(gè)周?chē)袼匾韵嗤谋壤l(fā)生混色。在該考慮下，在專(zhuān)利文獻(xiàn)1等所述的現(xiàn)有技術(shù)中，對(duì)多個(gè)周?chē)袼氐拿總€(gè)使用相同的校正參數(shù)來(lái)解除混色的問(wèn)題。
然而，在實(shí)際的固體攝像元件中，由于根據(jù)電路部、布線(xiàn)等布局、或者信號(hào)讀出部的布局，不得不將光電變換元件(感光部)配置在相對(duì)像素單元的中心偏移的位置上，各像素單元的物理中心和光學(xué)中心未必一致，因此可以說(shuō)相對(duì)關(guān)注像素的來(lái)自周?chē)袼氐幕焐幢馗飨蛲缘匕l(fā)生、而是具有方向性地發(fā)生。
因而，在專(zhuān)利文獻(xiàn)1等對(duì)多個(gè)周?chē)袼氐母鱾€(gè)使用相同的校正參數(shù)進(jìn)行混色校正的現(xiàn)有技術(shù)中，無(wú)法進(jìn)行與來(lái)自周?chē)袼氐膶?duì)關(guān)注像素的混色的程度相應(yīng)的混色校正，即無(wú)法進(jìn)行具有方向性的混色校正。
因此，本發(fā)明的目的在于，提供可實(shí)現(xiàn)具有方向性的混色校正的固體攝像元件的信號(hào)處理裝置和信號(hào)處理方法及攝像裝置。
用于解決問(wèn)題的手段為了達(dá)到上述目的，在本發(fā)明中是一種混色校正處理，對(duì)固體攝像元件的像素間的混色進(jìn)行校正，該固體攝像元件是包含光電變換元件的像素被二維配置成行列狀、濾色器被配置在上述像素的表面上而構(gòu)成的，其中，該濾色器包含有作為生成亮度成分的主成分的顏色成分和其他顏色成分，該混色校正處理采用以下結(jié)構(gòu)使用上述固體攝像元件的與關(guān)注像素相鄰的多個(gè)周?chē)袼氐母餍盘?hào)、和對(duì)該各信號(hào)分別獨(dú)立設(shè)定的校正參數(shù)，對(duì)上述關(guān)注像素的信號(hào)進(jìn)行校正處理。
本發(fā)明的一個(gè)方面是一種固體攝像元件的信號(hào)處理裝置，對(duì)固體攝像元件的像素間的混色進(jìn)行校正，該固體攝像元件是包含光電變換元件的像素被二維配置成行列狀、濾色器被配置在上述像素的表面上而構(gòu)成的，其中，該濾色器包含有作為生成亮度成分的主成分的顏色成分和其他顏色成分，該固體攝像元件的信號(hào)處理裝置的特征在于，包括校正處理單元，該校正處理單元使用上述固體攝像元件的與關(guān)注像素相鄰的多個(gè)周?chē)袼氐母餍盘?hào)、和對(duì)該各信號(hào)分別獨(dú)立設(shè)定的校正參數(shù)，對(duì)上述關(guān)注像素的信號(hào)進(jìn)行校正處理。
另外，本發(fā)明的一個(gè)方面是一種固體攝像元件的信號(hào)處理方法，對(duì)固體攝像元件的像素間的混色進(jìn)行校正，該固體攝像元件是包含光電變換元件的像素被二維配置成行列狀、濾色器被配置在上述像素的表面上而構(gòu)成的，其中，該濾色器包含有作為生成亮度成分的主成分的顏色成分和其他顏色成分，該信號(hào)處理方法的特征在于，使用上述固體攝像元件的與關(guān)注像素相鄰的多個(gè)周?chē)袼氐母餍盘?hào)、和對(duì)該各信號(hào)分別獨(dú)立設(shè)定的校正參數(shù)，對(duì)上述關(guān)注像素的信號(hào)進(jìn)行校正處理。
另外，本發(fā)明的一個(gè)方面是一種攝像裝置，該攝像裝置的特征在于，具備固體攝像元件，其是包含光電變換元件的像素被二維配置成行列狀、濾色器被配置在上述像素的表面上而構(gòu)成的，其中，該濾色器包含有作為生成亮度成分的主成分的顏色成分和其他顏色成分；光學(xué)系統(tǒng)，將來(lái)自被攝體的光導(dǎo)入上述固體攝像元件；以及校正處理單元，使用上述固體攝像元件的與關(guān)注像素相鄰的多個(gè)周?chē)袼氐母餍盘?hào)、和對(duì)該各信號(hào)分別獨(dú)立設(shè)定的校正參數(shù)，對(duì)上述關(guān)注像素的信號(hào)進(jìn)行校正處理。
在固體攝像元件的像素間的混色處理中，對(duì)于多個(gè)周?chē)袼氐母餍盘?hào)的校正參數(shù)分別獨(dú)立，由此，根據(jù)這些獨(dú)立的校正參數(shù)，能夠?qū)γ總€(gè)周?chē)袼胤謩e任意設(shè)定周?chē)袼貙?duì)關(guān)注像素的校正量。其結(jié)果，可使周?chē)袼貙?duì)關(guān)注像素的校正量具有方向性，即能夠按每個(gè)周?chē)袼卦O(shè)定不同的校正量。
發(fā)明的效果根據(jù)本發(fā)明，通過(guò)可使周?chē)袼貙?duì)關(guān)注像素的校正量具有方向性，能夠進(jìn)行與來(lái)自周?chē)袼氐膶?duì)關(guān)注像素的混色程度相應(yīng)的混色校正，因此即使在來(lái)自周?chē)袼氐膶?duì)關(guān)注像素的混色有方向性，也可實(shí)現(xiàn)與該方向性相應(yīng)的混色校正。


圖1是表示應(yīng)用本發(fā)明的攝像機(jī)的結(jié)構(gòu)的一例的框圖。
圖2是表示第一實(shí)施方式中使用的CMOS圖像傳感器的顏色編碼的圖。
圖3是表示第一實(shí)施方式中使用的CMOS圖像傳感器的結(jié)構(gòu)概要的框圖。
圖4是關(guān)于第一實(shí)施方式中的像素R、G、B的定義圖。
圖5是表示第一實(shí)施方式中的各輸出通道的輸出信號(hào)序列的圖。
圖6是表示第一實(shí)施方式中的數(shù)字信號(hào)處理電路的結(jié)構(gòu)的一例的框圖。
圖7是表示與第一實(shí)施方式有關(guān)的照相機(jī)信號(hào)處理電路的具體內(nèi)部結(jié)構(gòu)的框圖。
圖8是表示與第一實(shí)施方式有關(guān)的混色校正處理電路的結(jié)構(gòu)的一例的框圖。
圖9是表示R/Gb ch用校正模塊的結(jié)構(gòu)的一例的框圖。
圖10是表示與校正對(duì)象像素R/Gb在斜方向上相鄰的四個(gè)周?chē)袼刂g的關(guān)系的圖。
圖11是表示Gr/B ch用校正模塊的結(jié)構(gòu)的一例的框圖。
圖12是表示與校正對(duì)象像素Gr/B在斜方向上相鄰的四個(gè)周?chē)袼刂g關(guān)系的圖。
圖13是表示Ggo ch用校正模塊的結(jié)構(gòu)的一例的框圖。
圖14是表示與校正對(duì)象像素Ggo在斜方向上相鄰的四個(gè)周?chē)袼刂g的關(guān)系的圖。
圖15是表示Gge ch用校正模塊的結(jié)構(gòu)的一例的框圖。
圖16是表示與校正對(duì)象像素Gge在斜方向上相鄰的四個(gè)周?chē)袼刂g的關(guān)系的圖。
圖17是表示與第一實(shí)施方式中的實(shí)施例1有關(guān)的校正電路的結(jié)構(gòu)的框圖。
圖18是與第一實(shí)施方式中的實(shí)施例1有關(guān)的校正電路的校正模型式的說(shuō)明圖。
圖19是表示與第一實(shí)施方式中的實(shí)施例2有關(guān)的校正電路的結(jié)構(gòu)的框圖。
圖20是與第一實(shí)施方式中的實(shí)施例2有關(guān)的校正電路的校正模型式的說(shuō)明圖。
圖21是表示與第一實(shí)施方式中的實(shí)施例3有關(guān)的校正電路的結(jié)構(gòu)的框圖。
圖22是與第一實(shí)施方式中的實(shí)施例3有關(guān)的校正電路的校正模型式的說(shuō)明圖。
圖23是表示按每個(gè)顏色改變校正量的情況下的R/Gb ch用校正模塊的結(jié)構(gòu)的框圖。
圖24是表示按每個(gè)顏色改變校正量的情況下的Gr/B ch用校正模塊的結(jié)構(gòu)的框圖。
圖25是表示第二實(shí)施方式中使用的CMOS圖像傳感器的結(jié)構(gòu)概要的框圖。
圖26是關(guān)于第二實(shí)施方式中的像素R、G、B的定義圖。
圖27是表示第二實(shí)施方式中的各輸出通道的輸出信號(hào)序列的圖。
圖28是表示與第二實(shí)施方式有關(guān)的照相機(jī)信號(hào)處理電路的具體內(nèi)部結(jié)構(gòu)的框圖。
圖29是表示重新排列處理電路的具體結(jié)構(gòu)的一例的框圖。
圖30是表示重新排列處理電路的輸出信號(hào)序列的圖。
圖31是表示像素錯(cuò)位配置中的其他顏色編碼的圖。
圖32是表示第三實(shí)施方式中使用的CMOS圖像傳感器的顏色編碼的圖。
圖33是表示第三實(shí)施方式中使用的CMOS圖像傳感器的結(jié)構(gòu)概要的框圖。
圖34是關(guān)于第三實(shí)施方式中的像素R、G、B的定義圖。
圖35是表示第三實(shí)施方式中的各輸出通道的輸出信號(hào)序列的圖。
圖36是表示與第三實(shí)施方式有關(guān)的混色校正處理電路的結(jié)構(gòu)的一例的框圖。
圖37是表示R ch用校正模塊的結(jié)構(gòu)的一例的框圖。
圖38是表示與校正對(duì)象像素R/Gr/Gb/B在上下左右方向上相鄰的四個(gè)周?chē)袼刂g的關(guān)系的圖。
圖39是表示Gr ch用校正模塊的結(jié)構(gòu)的一例的框圖。
圖40是表示Gb ch用校正模塊的結(jié)構(gòu)的一例的框圖。
圖41是表示B ch用校正模塊的結(jié)構(gòu)的一例的框圖。
圖42是表示與第一實(shí)施方式中的實(shí)施例1有關(guān)的校正電路的結(jié)構(gòu)的框圖。
圖43是與第一實(shí)施方式中的實(shí)施例1有關(guān)的校正電路的校正模型式的說(shuō)明圖。
圖44是表示與第一實(shí)施方式中的實(shí)施例2有關(guān)的校正電路的結(jié)構(gòu)的框圖。
圖45是與第一實(shí)施方式中的實(shí)施例2有關(guān)的校正電路的校正模型式的說(shuō)明圖。
圖46是表示與第一實(shí)施方式中的實(shí)施例3有關(guān)的校正電路的結(jié)構(gòu)的框圖。
圖47是與第一實(shí)施方式中的實(shí)施例3有關(guān)的校正電路的校正模型式的說(shuō)明圖。
圖48是表示光圈的開(kāi)口直徑和CMOS圖像傳感器中的混色的關(guān)系的概要圖。
圖49是表示由照相機(jī)控制部執(zhí)行的校正處理的過(guò)程的流程圖。
附圖標(biāo)記說(shuō)明1光學(xué)系統(tǒng)；2、20A、20B、20CCMOS圖像傳感器；3AFE(模擬前端)；4數(shù)字信號(hào)處理電路；5照相機(jī)控制部；6人I/F控制部；7用戶(hù)接口；8定時(shí)發(fā)生器；9光學(xué)系統(tǒng)驅(qū)動(dòng)電路；10手抖動(dòng)傳感器；11混色校正處理電路；21像素單元；22像素陣列部；23像素驅(qū)動(dòng)線(xiàn)；24垂直掃描電路；25垂直信號(hào)線(xiàn)；26列處理電路；27水平掃描電路；28水平選擇開(kāi)關(guān)；29-1～29-4水平信號(hào)線(xiàn)；30、30A、30B、30C、50、50A、50B、50C校正電路。
具體實(shí)施例方式
下面，參照附圖詳細(xì)說(shuō)明本發(fā)明的實(shí)施方式。
圖1是表示應(yīng)用本發(fā)明的攝像裝置、例如攝像機(jī)的結(jié)構(gòu)的一例的框圖。在此以應(yīng)用在攝像機(jī)中為例進(jìn)行說(shuō)明，但是不限于應(yīng)用在攝像機(jī)中，能夠應(yīng)用于數(shù)字靜像照相機(jī)等所有攝像裝置。
如圖1所示，與本應(yīng)用例有關(guān)的攝像機(jī)為具備如下部分的結(jié)構(gòu)，即具備光學(xué)系統(tǒng)1、作為固體攝像元件的例如CMOS圖像傳感器2、AFE(模擬前端)3、數(shù)字信號(hào)處理電路4、照相機(jī)控制部5、人I/F控制(接口)部6、用戶(hù)接口7、定時(shí)發(fā)生器8、光學(xué)系統(tǒng)驅(qū)動(dòng)電路9以及手抖動(dòng)傳感器10等。
光學(xué)系統(tǒng)1具有透鏡1a，將來(lái)自被攝體(未圖示)的入射光成像在CMOS圖像傳感器2的攝像面上；光圈1b，控制經(jīng)過(guò)該透鏡1a的入射光的光量。CMOS圖像傳感器2以像素為單位對(duì)通過(guò)光學(xué)系統(tǒng)1入射的光進(jìn)行光電變換，作為電信號(hào)輸出。在后面敘述CMOS圖像傳感器2的具體結(jié)構(gòu)。此外，設(shè)來(lái)自CMOS圖像傳感器2的輸出為多通道，例如4個(gè)通道。
AFE3是模擬信號(hào)處理電路，對(duì)從CMOS圖像傳感器2輸出的4個(gè)通道的模擬信號(hào)進(jìn)行S/H(采樣/保持)、AGC(自動(dòng)增益控制)等信號(hào)處理之后，進(jìn)行A/D(模擬/數(shù)字)變換。數(shù)字信號(hào)處理電路4根據(jù)來(lái)自照相機(jī)控制部5的指示，對(duì)從AFE3提供的4個(gè)通道的數(shù)字信號(hào)進(jìn)行各種信號(hào)處理。
在數(shù)字信號(hào)處理電路4中進(jìn)行的各種信號(hào)處理是指白平衡處理、伽馬處理、色差處理等的所謂的照相機(jī)信號(hào)處理、照相機(jī)控制用的檢波數(shù)據(jù)(表示畫(huà)面內(nèi)的信息的數(shù)據(jù)。亮度、對(duì)比度、色調(diào)等)的計(jì)算處理。除了進(jìn)行這些各種信號(hào)處理的電路部分之外，數(shù)字信號(hào)處理電路4還具有作為本發(fā)明特征的混色校正處理電路11。在后面詳細(xì)敘述該混色校正處理電路11。
照相機(jī)控制部5例如由微型計(jì)算機(jī)構(gòu)成，根據(jù)從數(shù)字信號(hào)處理電路4發(fā)送過(guò)來(lái)的檢波數(shù)據(jù)、從手抖動(dòng)傳感器10發(fā)送過(guò)來(lái)的照相機(jī)的手抖動(dòng)信息，掌握當(dāng)前的輸入圖像的狀態(tài)，進(jìn)行與經(jīng)由人I/F控制部6發(fā)送過(guò)來(lái)的各種設(shè)定模式相應(yīng)的照相機(jī)控制，作為照相機(jī)控制用數(shù)據(jù)發(fā)送到數(shù)字信號(hào)處理電路4，或者作為透鏡控制數(shù)據(jù)、光圈控制數(shù)據(jù)發(fā)送到光學(xué)系統(tǒng)驅(qū)動(dòng)電路9，或者作為定時(shí)控制數(shù)據(jù)發(fā)送到定時(shí)發(fā)生器8，或者作為增益控制數(shù)據(jù)發(fā)送到AFE3。
數(shù)字信號(hào)處理電路4、光學(xué)系統(tǒng)驅(qū)動(dòng)電路9、定時(shí)發(fā)生器8以及AFE3，進(jìn)行與從照相機(jī)控制部5發(fā)送過(guò)來(lái)的控制值相應(yīng)的處理，執(zhí)行期望的信號(hào)處理/光學(xué)系統(tǒng)1的驅(qū)動(dòng)/定時(shí)發(fā)生以及增益處理。CMOS圖像傳感器2根據(jù)定時(shí)發(fā)生器8所產(chǎn)生的各種定時(shí)信號(hào)，從后述的像素陣列部中依次取出任意區(qū)域的信號(hào)向AFE3輸出。
關(guān)于用戶(hù)進(jìn)行的菜單操作等，通過(guò)用戶(hù)接口7由人I/F控制部6控制。人I/F控制部6例如由微型計(jì)算機(jī)構(gòu)成，檢測(cè)用戶(hù)當(dāng)前選擇了哪種攝影模式、或者期望哪種控制等，向照相機(jī)控制部5發(fā)送用戶(hù)指示信息。相反，照相機(jī)控制部5將被攝體距離、F值、快門(mén)速度、倍率等的照相機(jī)控制信息發(fā)送給人I/F控制部6，通過(guò)用戶(hù)接口7將當(dāng)前的照相機(jī)的信息通知給用戶(hù)。
作為本發(fā)明特征的混色校正處理電路11，其結(jié)構(gòu)以及動(dòng)作根據(jù)CMOS圖像傳感器2的像素的配置結(jié)構(gòu)、分色濾色器的顏色編碼的不同而稍有不同。下面，作為第一～第三實(shí)施方式說(shuō)明CMOS圖像傳感器2的像素的配置結(jié)構(gòu)、分色濾色器的顏色編碼的不同以及與其對(duì)應(yīng)的混色校正處理電路11的具體結(jié)構(gòu)和動(dòng)作。
第一實(shí)施方式圖2是表示本發(fā)明的第一實(shí)施方式中使用的CMOS圖像傳感器的顏色編碼的圖。
如圖2所示，在第一實(shí)施方式中使用的CMOS圖像傳感器中，將包含光電變換元件的像素單元21二維配置成行列狀而構(gòu)成的像素陣列部的像素排列，是相對(duì)于普通的格子狀的像素排列所代表的正方形格子狀的像素排列傾斜了45°的像素配置。
具體地說(shuō)，將正方形格子狀的像素排列中的像素相互間的距離(下面記為“像素間距”)設(shè)為d時(shí)，相對(duì)于該像素間距d將水平/垂直方向的各像素間距設(shè)為d，各像素成為每1行以及每1列偏離像素間距d的1/2、即奇數(shù)行與偶數(shù)行在水平方向(列排列方向)上只偏離像素間距的1/2、奇數(shù)列與偶數(shù)列在垂直方向(行排列方向)上只偏離像素間距的1/2的、所謂的像素錯(cuò)位配置。
相對(duì)于該像素錯(cuò)位配置，分色濾色器的顏色編碼為如下結(jié)構(gòu)第1行是G和R交替排列的GR行、第2行是只排列G的G行、第3行是B和G交替排列的GB行、第4行是只排列G的G行，之后以這4行為單位重復(fù)排列。
在該顏色編碼中，如從圖2可知為如下結(jié)構(gòu)在生成亮度(Y)成分時(shí)成為主成分的顏色成分(在本例中是G)、和其他顏色成分(在本例中是R、B)被配置成由G包圍R、B的周?chē)?，R、B相對(duì)于水平/垂直以2d的間隔配置。
在該顏色編碼中，當(dāng)在水平/垂直方向上考慮采樣率的情況下，G的采樣率是d/，R、B的采樣率是2d。即R、B被配置成每隔1列(在本例中是奇數(shù)列)以及每隔1行(在本例中是奇數(shù)行)，使得水平/垂直方向的采樣率相對(duì)于G成為1/4的速率。因而，在G和R、B之間在水平/垂直方向上有4倍的分辨率的差。另外，當(dāng)以?xún)A斜45°方向考慮采樣率時(shí)，G的采樣率是d，R、B的采樣率是2d。
在此，考慮空間頻率特性。關(guān)于水平/垂直方向，由于G的采樣率是d/，因此根據(jù)采樣定理能夠捕獲直到(1/)fs頻率的信號(hào)為止。關(guān)于傾斜45°方向，由于G的采樣率是d，因此根據(jù)采樣定理能夠捕獲直到(1/4)fs的信號(hào)為止。
同樣地考慮R、B。R和B由于像素排列的間隔相同，因此可同樣地考慮。因而，在此只敘述R。
關(guān)于R的空間頻率特性，對(duì)于水平/垂直方向，R的采樣率是2d，因此根據(jù)采樣定理能夠捕獲直到(1/4)fs頻率的信號(hào)為止，關(guān)于傾斜45°方向，R的采樣率是2d，因此根據(jù)采樣定理能夠捕獲直到(1/2)fs的信號(hào)為止。
這樣，對(duì)于像素錯(cuò)位配置的像素配置，在生成亮度成分時(shí)成為主成分的顏色成分(在本例中是G)中，采用使包圍其他顏色成分(在本例中是R、B)各自的周?chē)菢拥念伾幋a，由此，G存在于所有行、所有列，能夠提高在人的可見(jiàn)度特性上靈敏度高的G的空間頻率特性，因此不限于無(wú)彩色的被攝體，對(duì)于有彩色的被攝體也能夠?qū)崿F(xiàn)高分辨率化，另外，不需要進(jìn)行達(dá)到RGB的水平平衡的處理，因此還有不產(chǎn)生顏色缺陷的優(yōu)點(diǎn)。
另外，像素錯(cuò)位配置與正方形格子狀的像素排列相比還有如下優(yōu)點(diǎn)。即與正方形格子狀的像素排列相比像素間距變窄，因此能夠得到高的分辨率。另外，設(shè)為與正方形格子狀的像素排列相同的分辨率的情況下，能夠以比正方形格子狀的像素排列的像素間距寬的像素間距來(lái)排列像素單元，因此像素單元的開(kāi)口能夠取較寬，其結(jié)果能夠提高S/N。
圖3是表示第一實(shí)施方式中使用的CMOS圖像傳感器20A的結(jié)構(gòu)概要的框圖。
如圖3所示，在CMOS圖像傳感器20A中，由垂直掃描電路24依次選擇掃描對(duì)以2行為單位的橫鋸齒形行的像素單元21共同布線(xiàn)的像素驅(qū)動(dòng)線(xiàn)23，其中，該CMOS圖像傳感器20A具有包含光電變換元件的像素單元21被像素錯(cuò)位配置而構(gòu)成的像素陣列部22，對(duì)該像素錯(cuò)位配置采用由G包圍R、B各個(gè)周?chē)菢拥念伾幋a。
另外，將由垂直掃描電路24通過(guò)像素驅(qū)動(dòng)線(xiàn)23進(jìn)行選擇掃描得到的橫鋸齒形行的像素單元21的信號(hào)，通過(guò)對(duì)每個(gè)像素列分別布線(xiàn)的垂直信號(hào)線(xiàn)25，分別保持在例如對(duì)每個(gè)像素列分別設(shè)置的列處理電路26中。而且，將分別保持在列處理電路26中的1行(橫鋸齒形行)的信號(hào)，通過(guò)由水平掃描電路27例如以4個(gè)為單位依次選擇的水平選擇開(kāi)關(guān)28，以4個(gè)像素為單位依次輸出到4根水平信號(hào)線(xiàn)29-1～29-4。
這樣，在該CMOS圖像傳感器20A中，將每1行彼此相鄰的多個(gè)像素、例如4個(gè)像素設(shè)為一組，通過(guò)4根水平信號(hào)線(xiàn)29-1～29-4在多個(gè)通道(在本例中是4個(gè)通道)并行讀出該4個(gè)像素的信號(hào)，跨越1個(gè)畫(huà)面在橫方向(水平方向)上進(jìn)行掃描，在1個(gè)水平掃描期間(1H)全部讀完后移到下一行，同樣地在橫方向上一面進(jìn)行掃描一面跨越整個(gè)1個(gè)畫(huà)面讀出各像素的信號(hào)。此外，本實(shí)施方式中的1行是指1個(gè)橫鋸齒形行。
在此，在圖2所示的顏色編碼中，關(guān)于第1行、第2行的第1列～第8列的16個(gè)像素R、G、B，為了方便定義為如圖4。具體地說(shuō)，在第1行中，將屬于第1個(gè)單位的4個(gè)像素中的像素R定義為像素R1，將屬于第2個(gè)單位的4個(gè)像素中的像素R定義為像素R2，在第2行中，將屬于第1個(gè)單位的4個(gè)像素中的像素B定義為B1，將屬于第2個(gè)單位的4個(gè)像素中的像素B定義為像素B2。
另外，在第1行中，將屬于第1個(gè)單位的4個(gè)像素、與像素R1、B1通過(guò)邊相鄰的像素G定義為像素Ggo1，將屬于第1個(gè)單位的4個(gè)像素、與像素R1、R2通過(guò)頂點(diǎn)相鄰的像素G定義為像素Gr1，將屬于第1個(gè)單位的4個(gè)像素、與像素B1、R2通過(guò)邊相鄰的像素G定義為像素Gge1，將屬于第2個(gè)單位的4個(gè)像素、與像素R2、B2通過(guò)邊相鄰的像素G定義為像素Ggo2，將屬于第2個(gè)單位的4個(gè)像素、與像素R2(R3)通過(guò)頂點(diǎn)相鄰的像素G定義為像素Gr2，將屬于第2個(gè)單位的4個(gè)像素、與像素B2(R3)通過(guò)邊相鄰的像素G定義為像素Gge2。
在第2行中，將屬于第1個(gè)單位的4個(gè)像素、與像素R1、B1通過(guò)頂點(diǎn)相鄰的像素G定義為像素Gb1，將屬于第1個(gè)單位的4個(gè)像素、與像素B1通過(guò)邊相鄰的像素G定義為像素Ggo1，將屬于第1個(gè)單位的4個(gè)像素、與像素B1通過(guò)邊相鄰的像素G定義為像素Gge1，將屬于第2個(gè)單位的4個(gè)像素、與像素B1、R2、B2通過(guò)頂點(diǎn)相鄰的像素G定義為像素Gb2，將屬于第2個(gè)單位的4個(gè)像素、與像素B2通過(guò)邊相鄰的像素G定義為像素Ggo2，將屬于第2個(gè)單位的4個(gè)像素、與像素B2通過(guò)邊相鄰的像素G定義為像素Gge2。
在這種像素的定義下，將按每1行(橫鋸齒形行)彼此相鄰的4個(gè)像素設(shè)為一組，在成為CMOS圖像傳感器20A的動(dòng)作基準(zhǔn)的時(shí)鐘信號(hào)的1個(gè)時(shí)鐘內(nèi)，在4個(gè)通道中并行讀出該4個(gè)像素的信號(hào)，由此如圖4所示，從各通道輸出R信號(hào)/Gb信號(hào)、Gr信號(hào)/B信號(hào)、Gge信號(hào)、Ggo信號(hào)。圖5表示這種讀出方式中的各輸出通道的輸出信號(hào)序列。
此外，本發(fā)明并不受讀出方式支配，即使在任何通道中讀出，或者讀出方式變化，也可根據(jù)其方式構(gòu)筑之后的處理(圖5的序列發(fā)生變化，因此只要加入將其吸收的構(gòu)造即可)而在全部的情況中應(yīng)用。
在此，為了簡(jiǎn)單，舉例說(shuō)明了采用上述的讀出方式、即將按每1行(橫鋸齒形行)彼此相鄰的4個(gè)像素設(shè)為一組、以1個(gè)時(shí)鐘在4個(gè)通道中并行讀出該4個(gè)像素的信號(hào)的讀出方式的情況。
數(shù)字信號(hào)處理電路圖6是表示數(shù)字信號(hào)處理電路4的結(jié)構(gòu)的一例的框圖。如圖6所示，數(shù)字信號(hào)處理電路4由照相機(jī)信號(hào)處理電路41、通信I/F42以及信號(hào)發(fā)生器(SG)43構(gòu)成。在該數(shù)字信號(hào)處理電路4中，從CMOS圖像傳感器2通過(guò)AFE3并行地輸入4個(gè)通道的信號(hào)R/Gb、Gr/B、Ggo、Gge。
照相機(jī)信號(hào)處理電路41對(duì)于4個(gè)通道的信號(hào)R/Gb、Gr/B、Ggo、Gge，按照從照相機(jī)控制部5通過(guò)通信I/F42提供的指示，根據(jù)來(lái)自信號(hào)發(fā)生器43的各種定時(shí)信號(hào)按各通道并行地進(jìn)行數(shù)字鉗位/噪聲去除/缺陷校正/反馬賽克(插值處理)/白平衡/分辨率變換等各種照相機(jī)信號(hào)處理，然后作為Y(亮度)、C(色度)信號(hào)輸出到視頻系統(tǒng)處理模塊。關(guān)于照相機(jī)信號(hào)處理的詳細(xì)內(nèi)容由于與本發(fā)明沒(méi)有直接關(guān)系，因此在此省略其說(shuō)明。
照相機(jī)信號(hào)處理電路在該照相機(jī)信號(hào)處理電路41中包含有應(yīng)用本發(fā)明的混色校正處理電路11。圖7中示出照相機(jī)信號(hào)處理電路41的具體內(nèi)部結(jié)構(gòu)。
如圖7所示，照相機(jī)信號(hào)處理電路41除了混色校正處理電路11之外，在混色校正處理電路11的前級(jí)還具備照相機(jī)信號(hào)處理組(1)411，在混色校正處理電路11的后級(jí)具備照相機(jī)信號(hào)處理組(2)412，在成為照相機(jī)信號(hào)處理基準(zhǔn)的時(shí)鐘信號(hào)的1個(gè)時(shí)鐘內(nèi)，并行處理圖4所示的每4個(gè)像素的各像素的信號(hào)R/Gb、Gr/B、Ggo、Gge。
在該照相機(jī)信號(hào)處理電路41中，首先由照相機(jī)信號(hào)處理組(1)411實(shí)施數(shù)字鉗位、缺陷校正、噪聲去除處理，輸入到應(yīng)用本發(fā)明的混色校正處理電路11。到此為止，稱(chēng)為主要進(jìn)行照相機(jī)YC處理前的各種校正的處理組。然后，由后級(jí)的照相機(jī)信號(hào)處理組(2)412實(shí)施反馬賽克(插值處理)處理之后，通過(guò)YC處理生成亮度信號(hào)和色度信號(hào)，最后通過(guò)分辨率變換處理以適合格式的大小最終輸出到后級(jí)的視頻系統(tǒng)處理模塊。
在照相機(jī)信號(hào)處理電路41中，在包括混色校正處理電路11的全部電路模塊中從信號(hào)發(fā)生器43發(fā)送各種定時(shí)信號(hào)。各電路模塊以該各種定時(shí)信號(hào)為基準(zhǔn)生成各處理所需的定時(shí)。另外，關(guān)于全部電路模塊，能夠通過(guò)通信I/F42由照相機(jī)控制部5控制處理動(dòng)作。
混色校正處理電路圖8是表示混色校正處理電路11的結(jié)構(gòu)的一例的框圖。如圖8所示，混色校正處理電路11為具備行存儲(chǔ)器組111、存儲(chǔ)器控制器112以及校正模塊113的結(jié)構(gòu)。
行存儲(chǔ)器組111與4個(gè)通道的各像素的信號(hào)R/Gb、Gr/B、Ggo、Gge相對(duì)應(yīng)地設(shè)置，包括用于進(jìn)行以行為單位的延遲的例如由單端口SRAM組成的行存儲(chǔ)器111-1、111-2、111-3、111-4。行存儲(chǔ)器111-1、111-2是1H(H是1個(gè)水平掃描期間)延遲存儲(chǔ)器，行存儲(chǔ)器111-3、111-4是2H延遲存儲(chǔ)器。
存儲(chǔ)器控制器112以從圖7的信號(hào)發(fā)生器(SG)43提供的各種定時(shí)信號(hào)為基準(zhǔn)，控制行存儲(chǔ)器111-1、111-2、111-3、111-4的讀寫(xiě)。校正模塊113根據(jù)從圖7的通信I/F42提供的控制信號(hào)進(jìn)行像素混色的校正動(dòng)作。
在該混色校正處理電路11中，首先4個(gè)通道的各像素的信號(hào)R/Gb、Gr/B、Ggo、Gge被分別并行地輸入到行存儲(chǔ)器111-1、111-2、111-3、111-4中。并且，根據(jù)來(lái)自存儲(chǔ)器控制器112的寫(xiě)入使能信號(hào)WEN和寫(xiě)入地址信號(hào)WADRS以及讀出使能信號(hào)REN和讀出地址信號(hào)RADRS，按通道分別生成輸出具有從0H到2H的延遲的信號(hào)組。
此時(shí)，構(gòu)成輸出信號(hào)如下的行存儲(chǔ)器組111。
·R/Gb ch無(wú)延遲的信號(hào)(Sig_R_Gb_0h)和1H延遲信號(hào)(Sig_R_Gb_1h)·Gr/B ch無(wú)延遲的信號(hào)(Sig_Gr_B_0h)和1H延遲信號(hào)(Sig_Gr_B_1h)·Ggo ch1H延遲信號(hào)(Sig_Ggo_1h)和2H延遲信號(hào)(Sig_Ggo_2h)·Gge ch1H延遲信號(hào)(Sig_Gge_1h)和2H延遲信號(hào)(Sig_Gge_2h)由行存儲(chǔ)器111-1、111-2、111-3、111-4延遲的信號(hào)組被輸入到校正模塊113。校正模塊113按照從通信I/F42提供的控制信號(hào)，按各通道并行進(jìn)行像素混色校正，作為校正后的信號(hào)Sig_R_Gb’、Sig_Gr_B’、Sig_Ggo’、Sig_Gge’輸出到后級(jí)。該校正模塊113由與4個(gè)通道的各像素的信號(hào)R/Gb、Gr/B、Ggo、Gge各個(gè)對(duì)應(yīng)設(shè)置的4個(gè)校正模塊構(gòu)成。
(R/Gb ch用校正模塊)圖9是表示R/Gb ch用校正模塊113A的結(jié)構(gòu)的一例的框圖。該校正模塊113A由校正電路30和5個(gè)延遲電路31～35構(gòu)成，將從圖8的行存儲(chǔ)器組111各通道各輸出2個(gè)共8個(gè)信號(hào)中的1H延遲信號(hào)Sig_R_Gb_1h、2H延遲信號(hào)Sig_Gge_2h、2H延遲信號(hào)Sig_Ggo_2h、1H延遲信號(hào)Sig_Ge_1h以及1H延遲信號(hào)Sig_Ggo_1h設(shè)為輸入。
各通道都共用校正電路30。在后面詳細(xì)敘述其電路結(jié)構(gòu)。延遲電路31將1H延遲信號(hào)Sig_R_Gb_1h只延遲成為混色校正處理基準(zhǔn)的像素周期的時(shí)鐘信號(hào)的1個(gè)時(shí)鐘，作為校正對(duì)象像素的信號(hào)提供給校正電路30。在該校正模塊113A中，如圖10所示R/Gb成為校正對(duì)象像素。
延遲電路32將2H延遲信號(hào)Sig_Gge_2h只延遲2個(gè)時(shí)鐘，作為與校正對(duì)象像素R/Gb通過(guò)邊相接的左斜上像素(a)的信號(hào)提供給校正電路30。延遲電路33將2H延遲信號(hào)Sig_Ggo_2h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素R/Gb通過(guò)邊相接的右斜上像素(b)的信號(hào)提供給校正電路30。
延遲電路34將1H延遲信號(hào)Sig_Gge_1h只延遲2個(gè)時(shí)鐘，作為與校正對(duì)象像素R/Gb通過(guò)邊相接的左斜下像素(c)的信號(hào)提供給校正電路30。延遲電路35將1H延遲信號(hào)Sig_Ggo_1h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素R/Gb通過(guò)邊相接的右斜下像素(d)的信號(hào)提供給校正電路30。
這樣，1H延遲信號(hào)Sig_R_Gb_1h、2H延遲信號(hào)Sig_Gge_2h、2H延遲信號(hào)Sig_Ggo_2h、1H延遲信號(hào)Sig_Ge_1h以及1H延遲信號(hào)Sig_Ggo_1h經(jīng)由延遲電路31～35，由此，將校正對(duì)象像素R/Gb的信號(hào)設(shè)為(1H延遲+1個(gè)時(shí)鐘延遲)的信號(hào)的情況下，抽出與校正對(duì)象像素R/Gb在傾斜方向上相鄰的4個(gè)周?chē)袼氐母餍盘?hào)，與校正對(duì)象像素R/Gb的信號(hào)一起輸入到校正電路30。
在校正電路30中，從圖7的通信I/F42提供指示校正參數(shù)Ka、Kb、Kc、Kd以及校正ON/OFF的控制信號(hào)。校正參數(shù)Ka、Kb、Kc、Kd分別取獨(dú)立的值(校正量)。由照相機(jī)控制部5設(shè)定這些校正參數(shù)Ka、Kb、Kc、Kd，通過(guò)通信I/F42提供給校正電路30。即，照相機(jī)控制部5相當(dāng)于權(quán)利要求書(shū)中的設(shè)定單元。指示校正ON/OFF的控制信號(hào)是用于指示作為系統(tǒng)是否進(jìn)行混色校正的控制信號(hào)。
當(dāng)控制信號(hào)是校正ON時(shí)，校正電路30對(duì)校正對(duì)象像素R/Gb的信號(hào)，根據(jù)與該校正對(duì)象像素R/Gb通過(guò)邊相鄰的4個(gè)周?chē)袼氐母餍盘?hào)，使用校正參數(shù)Ka、Kb、Kc、Kd進(jìn)行混色校正處理。此外，校正處理后的校正對(duì)象像素R/Gb的信號(hào)Sig_R_Gb’，由于作為校正電路30的輸入選擇了1H延遲信號(hào)Sig_R_Gb_1h，因此以相對(duì)于混色校正處理電路11的輸入信號(hào)產(chǎn)生1H延遲的形式輸出。
(Gr/B ch用校正模塊)圖11是表示Gr/B ch用校正模塊113B的結(jié)構(gòu)的一例的框圖。該校正模塊113B除了與校正模塊113A相同的校正電路30之外，還具備5個(gè)延遲電路36～40，將從圖8的行存儲(chǔ)器組111各通道各輸出2個(gè)共8個(gè)信號(hào)中的1H延遲信號(hào)Sig_Gr_B_1h、2H延遲信號(hào)Sig_Ggo_2h、2H延遲信號(hào)Sig_Gge_2h、1H延遲信號(hào)Sig_Ggo_1h以及1H延遲信號(hào)Sig_Gge_1h設(shè)為輸入。
延遲電路36將1H延遲信號(hào)Sig_Gr_B_1h只延遲1個(gè)時(shí)鐘，作為校正對(duì)象像素的信號(hào)提供給校正電路30。在該校正模塊113B中，如圖12所示Gr/B成為校正對(duì)象像素。
延遲電路37將2H延遲信號(hào)Sig_Ggo_2h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素Gr/B通過(guò)邊相接的左斜上像素(a)的信號(hào)提供給校正電路30。延遲電路38將2H延遲信號(hào)Sig_Gge_2h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素Gr/B通過(guò)邊相接的右斜上像素(b)的信號(hào)提供給校正電路30。
延遲電路39將1H延遲信號(hào)Sig_Ggo_1h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素Gr/B通過(guò)邊相接的左斜下像素(c)的信號(hào)提供給校正電路30。延遲電路40將1H延遲信號(hào)Sig_Gge_1h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素Gr/B通過(guò)邊相接的右斜下像素(d)的信號(hào)提供給校正電路30。
這樣，在通過(guò)使1H延遲信號(hào)Sig_Gr_B_1h、2H延遲信號(hào)Sig_Ggo_2h、2H延遲信號(hào)Sig_Gge_2h、1H延遲信號(hào)Sig_Ggo_1h以及1H延遲信號(hào)Sig_Gge_1h經(jīng)由延遲電路36～40，將校正對(duì)象像素Gr/B的信號(hào)設(shè)為(1H延遲+1個(gè)時(shí)鐘延遲)的信號(hào)情況下，抽出與校正對(duì)象像素Gr/B在傾斜方向上相鄰的4個(gè)周?chē)袼氐母餍盘?hào)，與校正對(duì)象像素Gr/B的信號(hào)一起輸入到校正電路30。
當(dāng)控制信號(hào)是校正ON時(shí)，校正電路30對(duì)校正對(duì)象像素Gr/B的信號(hào)，使用與該校正對(duì)象像素Gr/B通過(guò)邊相鄰的4個(gè)周?chē)袼氐母餍盘?hào)，根據(jù)校正參數(shù)Ka、Kb、Kc、Kd進(jìn)行混色校正處理。此外，校正處理后的校正對(duì)象像素Gr/B的信號(hào)Sig_Gr_B’，由于作為校正電路30的輸入選擇了1H延遲信號(hào)Sig_Gr_B_1h，因此以相對(duì)于混色校正處理電路11的輸入信號(hào)產(chǎn)生1H延遲的形式輸出。
(Ggo ch用校正模塊)圖13是表示Ggo ch用校正模塊113C的結(jié)構(gòu)的一例的框圖。該校正模塊113C除了與校正模塊113A相同的校正電路30之外，還具備5個(gè)延遲電路41～45，將從圖8的行存儲(chǔ)器組111各通道各輸出2個(gè)共8個(gè)信號(hào)中的1H延遲信號(hào)Sig_Ggo_1h、1H延遲信號(hào)Sig_R_Gb_1h、1H延遲信號(hào)Sig_Gr_B_1h、無(wú)延遲的信號(hào)Sig_R_Gb_0h以及無(wú)延遲的信號(hào)Sig_Gr_B_0h設(shè)為輸入。
延遲電路41將1H延遲信號(hào)Sig_Ggo_1h只延遲1個(gè)時(shí)鐘，作為校正對(duì)象像素的信號(hào)提供給校正電路30。在本校正模塊113C中，如圖14所示Ggo成為校正對(duì)象像素。
延遲電路42將1H延遲信號(hào)Sig_R_Gb_1h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素Ggo通過(guò)邊相接的左斜上像素(a)的信號(hào)提供給校正電路30。延遲電路43將1H延遲信號(hào)Sig_Gr_B_1h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素Ggo通過(guò)邊相接的右斜上像素(b)的信號(hào)提供給校正電路30。
延遲電路43將無(wú)延遲的信號(hào)Sig_R_Gb_0h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素Ggo通過(guò)邊相接的坐斜上像素(c)的信號(hào)提供給校正電路30。延遲電路45將無(wú)延遲的信號(hào)Sig_Gr_B_0h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素Ggo通過(guò)邊相接的右斜下像素(d)的信號(hào)提供給校正電路30。
這樣，在通過(guò)使1H延遲信號(hào)Sig_Ggo_1h、1H延遲信號(hào)Sig_R_Gb_1h、1H延遲信號(hào)Sig_Gr_B_1h、無(wú)延遲的信號(hào)Sig_R_Gb_0h以及無(wú)延遲的信號(hào)Sig_Gr_B_0h經(jīng)由延遲電路41～45，將校正對(duì)象像素Ggo的信號(hào)設(shè)為(1H延遲+1個(gè)時(shí)鐘延遲)的信號(hào)的情況下，抽出與校正對(duì)象像素Ggo在傾斜方向上相鄰的4個(gè)周?chē)袼氐母餍盘?hào)，與校正對(duì)象像素Ggo的信號(hào)一起輸入到校正電路30。
當(dāng)控制信號(hào)是校正ON時(shí)，校正電路30對(duì)校正對(duì)象像素Ggo的信號(hào)，使用與該校正對(duì)象像素Ggo通過(guò)邊相鄰的4個(gè)周?chē)袼氐母餍盘?hào)，根據(jù)校正參數(shù)Ka、Kb、Kc、Kd進(jìn)行混色校正處理。此外，校正處理后的校正對(duì)象像素Ggo的信號(hào)Sig_Ggo’，由于作為校正電路30的輸入選擇了1H延遲信號(hào)Sig_Ggo_1h，因此以相對(duì)于混色校正處理電路11的輸入信號(hào)產(chǎn)生1H延遲的形式輸出。
(Gge ch用校正模塊)圖15是表示Gge ch用校正模塊113D的結(jié)構(gòu)的一例的框圖。該校正模塊113D除了與校正模塊113A相同的校正電路30之外，還具備3個(gè)延遲電路46～48，將從圖8的行存儲(chǔ)器組111各通道各輸出2個(gè)共8個(gè)信號(hào)中的1H延遲信號(hào)Sig_Gge_1h、1H延遲信號(hào)Sig_Gr_B_1h、1H延遲信號(hào)Sig_R_Gb_1h、無(wú)延遲的信號(hào)Sig_Gr_B_0h以及無(wú)延遲的信號(hào)Sig_R_Gb_0h設(shè)為輸入。
延遲電路46將1H延遲信號(hào)Sig_Gge_1h只延遲1個(gè)時(shí)鐘，作為校正對(duì)象像素信號(hào)提供給校正電路30。在該校正模塊113D中，如圖16所示Gge成為校正對(duì)象像素。
延遲電路47將1H延遲信號(hào)Sig_Gr_B_1h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素Gge通過(guò)邊相接的左斜上像素(a)的信號(hào)提供給校正電路30。1H延遲信號(hào)Sig_R_Gb_1h，作為與校正對(duì)象像素Gge通過(guò)邊相接的右斜上像素(b)的信號(hào)直接提供給校正電路30。
延遲電路48將無(wú)延遲的信號(hào)Sig_Gr_B_0h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素Gge通過(guò)邊相接的左斜下像素(c)的信號(hào)提供給校正電路30。無(wú)延遲的信號(hào)Sig_R_Gb_0h，作為與校正對(duì)象像素Gge通過(guò)邊相接的右斜下像素(d)的信號(hào)直接提供給校正電路30。
這樣，在通過(guò)使1H延遲信號(hào)Sig_Gge_1h、1H延遲信號(hào)Sig_Gr_B_1h、以及無(wú)延遲的信號(hào)Sig_Gr_B_0h經(jīng)由延遲電路46～48(1H延遲信號(hào)Sig_R_Gb_1h以及無(wú)延遲的信號(hào)Sig_R_Gb_0h是直接輸入)，將校正對(duì)象像素Gge的信號(hào)設(shè)為(1H延遲+1個(gè)時(shí)鐘延遲)的信號(hào)的情況下，抽出與校正對(duì)象像素Gge在傾斜方向上相鄰的4個(gè)周?chē)袼氐母餍盘?hào)，與校正對(duì)象像素Gge的信號(hào)一起輸入到校正電路30。
當(dāng)控制信號(hào)是校正ON時(shí)，校正電路30對(duì)校正對(duì)象像素Gge的信號(hào)，使用與該校正對(duì)象像素Gge通過(guò)邊相鄰的4個(gè)周?chē)袼氐母餍盘?hào)，根據(jù)校正參數(shù)Ka、Kb、Kc、Kd進(jìn)行混色校正處理。此外，校正處理后的校正對(duì)象像素Gge的信號(hào)Sig_Gge’，作為校正電路30的輸入選擇了1H延遲信號(hào)Sig_Gge_1h，因此以相對(duì)于混色校正處理電路11的輸入信號(hào)產(chǎn)生1H延遲的形式輸出。
校正電路接著作為實(shí)施例1～3說(shuō)明各通道中共同的校正電路30的具體結(jié)構(gòu)。
(實(shí)施例1)圖17是表示與實(shí)施例1有關(guān)的校正電路30A結(jié)構(gòu)的框圖。該校正電路30A在以校正對(duì)象像素的信號(hào)Sig_C(Sig_R_Gb/Sig_Gr_B/Sig_Ggo/Sig_Gge)為中心、分別與相鄰傾斜4個(gè)方向的像素信號(hào)(左斜上Sig_UL，右斜上Sig_UR，左斜下Sig_LL，右斜下Sig_LR)取差分之后的信號(hào)中，乘以分別獨(dú)立的校正參數(shù)Ka、Kb、Kc、Kd，之后將取全部信號(hào)之和的結(jié)果設(shè)為校正信號(hào)Sig_C’(Sig_R_Gb’/Sig_Gr_B’/Sig_Ggo’/Sig_Gge’)。
具體地說(shuō)，如圖17所示，校正電路30A為具備4個(gè)減法器301～304、4個(gè)乘法器305～308、加法器309以及選擇器310各1個(gè)的結(jié)構(gòu)。
減法器301取校正對(duì)象像素的信號(hào)Sig_C和左斜上像素的信號(hào)Sig_UL之間的差分。減法器302取校正對(duì)象像素的信號(hào)Sig_C和右斜上像素的信號(hào)Sig_UR之間的差分。減法器303取校正對(duì)象像素的信號(hào)Sig_C和左斜下像素的信號(hào)Sig_LL之間的差分。減法器304取校正對(duì)象像素的信號(hào)Sig_C和右斜下像素的信號(hào)Sig_LR之間的差分。
乘法器305對(duì)減法器301的輸出信號(hào)乘以校正參數(shù)Ka。乘法器306對(duì)減法器302的輸出信號(hào)乘以校正參數(shù)Kb。乘法器307對(duì)減法器303的輸出信號(hào)乘以校正參數(shù)Kc。乘法器308對(duì)減法器304的輸出信號(hào)乘以校正參數(shù)Kd。加法器309對(duì)校正對(duì)象像素的信號(hào)Sig_C加上乘法器305～308的各輸出信號(hào)，作為校正信號(hào)Sig_C’輸出。
當(dāng)將該運(yùn)算處理作為校正式表示時(shí)，成為如下。
Sig_C’＝Sig_C+Ka×(Sig_C-Sig_UL)+Kb×(Sig_C-Sig_UR)+Kc×(Sig_C-Sig_LL)+Kd×(Sig_C-Sig_LR) ……(1)選擇器310根據(jù)從圖7的通信I/F42提供的校正ON/OFF的控制信號(hào)(1:ON，0:OFF)，當(dāng)校正ON時(shí)選擇加法器309的輸出信號(hào)即校正信號(hào)Sig_C’進(jìn)行輸出，當(dāng)校正OFF時(shí)選擇校正對(duì)象像素Sig_C進(jìn)行輸出。
此外，在該電路例中，由乘法器305～308進(jìn)行在由減法器301～304分別取差分之后的信號(hào)上乘以分別獨(dú)立的校正參數(shù)Ka、Kb、Kc、Kd的運(yùn)算處理，但是也能夠利用移位結(jié)構(gòu)實(shí)現(xiàn)該運(yùn)算處理。根據(jù)校正精度和電路規(guī)模的平衡來(lái)決定采用哪種即可。
圖18是上述(1)式所示的校正模型式的說(shuō)明圖。首先，在包圍校正對(duì)象像素的4個(gè)方向以及上下左右共8個(gè)像素中，位于上下左右的像素與傾斜4個(gè)方向的相鄰像素相比距離遠(yuǎn)倍，因此對(duì)校正對(duì)象像素的混色影響度，由傾斜4個(gè)方向的相鄰像素一方支配。因此在本實(shí)施方式中，假設(shè)與上下左右像素之間的混色能夠充分忽略，將上下左右的像素除外。
下面關(guān)注在傾斜方向上相鄰的4個(gè)像素，將校正對(duì)象像素和傾斜相鄰像素之間的混色率分別設(shè)為Ka、Kb、Kc、Kd時(shí)，以·從校正對(duì)象像素向周?chē)袼芈┻M(jìn)與混色率K相應(yīng)的量→加回與其相應(yīng)的量·從周?chē)袼叵蛐Ｕ龑?duì)象像素漏進(jìn)與混色率K相應(yīng)的量→減去與其相應(yīng)的量的校正模型，構(gòu)成減輕混色現(xiàn)象的校正電路30。換個(gè)角度說(shuō)，與周?chē)袼氐乃讲钤酱蠡焐吭酱?，因此也可看作進(jìn)行與差分量相應(yīng)的校正。
通過(guò)采用如上的結(jié)構(gòu)，能夠得到如下的作用效果。
·關(guān)于混色校正的校正量，能夠通過(guò)通信I/F42(參照?qǐng)D6、圖7)從外部實(shí)時(shí)控制。
·通過(guò)改變校正參數(shù)Ka、Kb、Kc、Kd的各值，能夠?qū)崿F(xiàn)具有方向性的混色校正處理(當(dāng)然如果設(shè)為Ka＝Kb＝Kc＝Kd，則還能夠?qū)崿F(xiàn)各向同性的校正)。
此外，在本實(shí)施方式中使用(1)式的模型式，但是本發(fā)明的要點(diǎn)不在于模型式本身，因此作為校正電路30A不限于實(shí)現(xiàn)(1)式運(yùn)算的電路結(jié)構(gòu)。
(實(shí)施例2)圖19是表示與實(shí)施例2有關(guān)的校正電路30B的結(jié)構(gòu)的框圖。該校正電路30B將以校正對(duì)象像素的信號(hào)Sig_C(Sig_R_Gb/Sig_Gr_B/Sig_Ggo/Sig_Gge)為中心、分別與相鄰傾斜4個(gè)方向的像素信號(hào)(左斜上Sig_UL，右斜上Sig_UR，左斜下Sig_LL，右斜下Sig_LR)取差分后的信號(hào)彼此，利用從通信I/F42提供的方向性選擇的控制信號(hào)(設(shè)定值)來(lái)組合每?jī)蓚€(gè)并求和，在這些和信號(hào)上乘以各個(gè)獨(dú)立的校正參數(shù)K1、K2，之后將取全部信號(hào)的和的結(jié)果設(shè)為校正信號(hào)Sig_C’(Sig_R_Gb’/Sig_Gr_B’/Sig_Ggo’/Sig_Gge’)。
具體地說(shuō)，如圖19所示，校正電路30B是具有如下部分的結(jié)構(gòu)，即具有4個(gè)減法器311～314、3個(gè)選擇器315～317、三個(gè)加法器318～320、2個(gè)乘法器321、322、比較器323、加法器324以及選擇器325各一個(gè)。
減法器311取校正對(duì)象像素的信號(hào)Sig_C和左斜上像素的信號(hào)Sig_UL之間的差分。減法器312取校正對(duì)象像素的信號(hào)Sig_C和右斜上像素的信號(hào)Sig_UR之間的差分。減法器313取校正對(duì)象像素的信號(hào)Sig_C和左斜下像素的信號(hào)Sig_LL之間的差分。減法器314取校正對(duì)象像素的信號(hào)Sig_C和右斜下像素的信號(hào)Sig_LR之間的差分。
選擇器315將減法器312、313、314的輸出信號(hào)B、C、D設(shè)為輸入，當(dāng)方向性選擇的控制信號(hào)的設(shè)定值是0時(shí)選擇減法器312的輸出信號(hào)B進(jìn)行輸出，當(dāng)是1時(shí)選擇減法器313的輸出信號(hào)C進(jìn)行輸出，當(dāng)是2時(shí)選擇減法器314的輸出信號(hào)D進(jìn)行輸出。選擇器316將減法器313、314的輸出信號(hào)C、D設(shè)為輸入，當(dāng)方向性選擇的控制信號(hào)的設(shè)定值是1時(shí)選擇減法器314的輸出信號(hào)D進(jìn)行輸出，當(dāng)是2時(shí)選擇減法器313的輸出信號(hào)C進(jìn)行輸出。
加法器318將減法器311的輸出信號(hào)A與選擇器315的輸出信號(hào)相加。加法器319將減法器312的輸出信號(hào)B與選擇器316的輸出信號(hào)相加。加法器320將減法器313的輸出信號(hào)C和減法器314的輸出信號(hào)D相加。
當(dāng)方向性選擇的控制信號(hào)的設(shè)定值是0時(shí)，比較器323輸出1的控制信號(hào)，當(dāng)是其以外時(shí)輸出0的控制信號(hào)。選擇器317將加法器319、320的各輸出信號(hào)設(shè)為輸入，當(dāng)從比較器323提供的控制信號(hào)是0時(shí)選擇加法器319的輸出信號(hào)進(jìn)行輸出，當(dāng)是1時(shí)選擇加法器320的輸出信號(hào)進(jìn)行輸出。
乘法器321將加法器318的輸出信號(hào)與校正參數(shù)K1相乘。乘法器322將選擇器317的輸出信號(hào)與校正參數(shù)K2相乘。加法器324將校正對(duì)象像素的信號(hào)Sig_C與乘法器321、322的各輸出信號(hào)相加，作為校正信號(hào)Sig_C’輸出。
將該運(yùn)算處理作為校正式表示時(shí)，成為如下所示。
·方向性選擇的設(shè)定值0的情況下Sig_C’＝Sig_C
+K1×[(Sig_C-Sig_UL)+(Sig_C-Sig_UR)]+K2×[(Sig_C-Sig_LL)+(Sig_C-Sig_LR)]……(2)·方向性選擇的設(shè)定值1的情況下Sig_C’＝Sig_C+K1×[(Sig_C-Sig_UL)+(Sig_C-Sig_LL)]+K2×[(Sig_C-Sig_UR)+(Sig_C-Sig_LR)]……(3)·方向性選擇的設(shè)定值2的情況下Sig_C’＝Sig_C+K1×[(Sig_C-Sig_UL)+(Sig_C-Sig_LR)]+K2×[(Sig_C-Sig_UR)+(Sig_C-Sig_LL)]……(4)并且，能夠切換這些校正模型式。選擇器325根據(jù)從通信I/F42提供的校正ON/OFF的控制信號(hào)(1:ON，0:OFF)，當(dāng)校正ON時(shí)選擇加法器324的輸出信號(hào)即校正信號(hào)Sig_C’進(jìn)行輸出，當(dāng)校正OFF時(shí)選擇校正對(duì)象像素的信號(hào)Sig_C進(jìn)行輸出。
此外，在本電路例中，由乘法器321、322進(jìn)行在加法器318的輸出信號(hào)和選擇器317的輸出信號(hào)上乘以各個(gè)獨(dú)立的校正參數(shù)K1、K2的運(yùn)算處理，但是也能夠由移位結(jié)構(gòu)實(shí)現(xiàn)該運(yùn)算處理。由校正精度和電路規(guī)模的平衡來(lái)決定采用哪種即可。
圖20是上述(2)、(3)、(4)式所示的校正模型式的說(shuō)明圖。校正模型式本身的觀(guān)點(diǎn)與圖18相同，總結(jié)了各方向性選擇的設(shè)定值(0，1，2)的校正率組合和校正模型式。
在與上述實(shí)施例1有關(guān)的校正電路30A(參照?qǐng)D17)的情況下，需要在每個(gè)時(shí)鐘同時(shí)并行運(yùn)算，因此基本上每1個(gè)通道具有4個(gè)乘法器305～308。與此相對(duì)，在與本實(shí)施例2有關(guān)的校正電路30B中，減小與校正的方向性相關(guān)的自由度，由2個(gè)乘法器321、322實(shí)現(xiàn)同樣的功能，因此能夠大幅度減小該部分的電路規(guī)模。此外，為了減小電路減少了方向性的自由度，但是為了稍微提高自由度，根據(jù)CMOS圖像傳感器的特性可實(shí)現(xiàn)最合適的組合下的校正。
通過(guò)采用如上的結(jié)構(gòu)，能夠得到如下的作用效果。
·對(duì)于混色校正的校正量，可通過(guò)通信I/F42(參照?qǐng)D6、圖7)從外部實(shí)時(shí)控制。
·對(duì)于校正的方向性可保持某程度的自由度，實(shí)現(xiàn)大幅度減小電路規(guī)模的混色校正處理(當(dāng)然如果設(shè)為K1＝K2，則還能夠?qū)崿F(xiàn)各向同性的校正)。
(實(shí)施例3)圖21是表示與實(shí)施例3有關(guān)的校正電路30C的結(jié)構(gòu)的框圖。該校正電路30C將以校正對(duì)象像素的信號(hào)Sig_C(Sig_R_Gb/Sig_Gr_B/Sig_Ggo/Sig_Gge)為中心、分別與相鄰傾斜4個(gè)方向的像素信號(hào)(左斜上Sig_UL，右斜上Sig_UR，左斜下Sig_LL，右斜下Sig_LR)取差分后的信號(hào)彼此全部相加，之后乘以唯一的校正參數(shù)K，之后將取得與原信號(hào)之間的和的結(jié)果設(shè)為校正信號(hào)Sig_C’(Sig_R_Gb’/Sig_Gr_B’/Sig_Ggo’/Sig_Gge’)。
具體地說(shuō)，如圖21所示，校正電路30C為具備如下部分的結(jié)構(gòu)，即具備4個(gè)減法器331～334、2個(gè)加法器335、336以及乘法器337以及選擇器338各1個(gè)。
減法器331取校正對(duì)象像素的信號(hào)Sig_C和左斜上像素的信號(hào)Sig_UL之間的差分。減法器332取校正對(duì)象像素的信號(hào)Sig_C和右斜上像素的信號(hào)Sig_UR之間的差分。減法器333取校正對(duì)象像素的信號(hào)Sig_C和左斜下像素的信號(hào)Sig_LL之間的差分。減法器334取校正對(duì)象像素的信號(hào)Sig_C和右斜下像素的信號(hào)Sig_LR之間的差分。
加法器335將減法器331～334的各輸出信號(hào)全部相加。乘法器337將加法器335的輸出信號(hào)與唯一的校正參數(shù)K相乘。加法器336將校正對(duì)象像素的信號(hào)Sig_C與乘法器337的輸出信號(hào)相加，作為校正信號(hào)Sig_C’輸出。
當(dāng)將該運(yùn)算處理作為校正式表示時(shí)，成為如下。
Sig_C’＝Sig_C+K×[(Sig_C-Sig_UL)+(Sig_C-Sig_UR)+(Sig_C-Sig_LL)+(Sig_C-Sig_LR)]……(5)在該校正電路30C中，盡管沒(méi)有與方向性相關(guān)的自由度，但是取而代之由一個(gè)乘法器實(shí)現(xiàn)校正，因此與實(shí)施例2所涉及的校正電路30B相比，可進(jìn)一步減小電路規(guī)模。這在例如圖像傳感器的混色對(duì)于要求的畫(huà)質(zhì)能夠充分忽略方向性問(wèn)題的情況下，可以說(shuō)是非常有效的電路結(jié)構(gòu)。
選擇器338根據(jù)從通信I/F42提供的校正ON/OFF的控制信號(hào)(1:ON，0:OFF)，當(dāng)校正ON時(shí)選擇加法器336的輸出信號(hào)即校正信號(hào)Sig_C’進(jìn)行輸出，當(dāng)校正OFF時(shí)選擇校正對(duì)象像素的信號(hào)Sig_C進(jìn)行輸出。
此外，在該電路例中，由乘法器337進(jìn)行在加法器335的輸出信號(hào)上乘以校正參數(shù)K的運(yùn)算處理，但是也能夠利用移位結(jié)構(gòu)實(shí)現(xiàn)該運(yùn)算處理。根據(jù)校正精度和電路規(guī)模之間的平衡來(lái)決定采用哪種即可。
圖22是上述(5)式所示的校正模型式的說(shuō)明圖。校正模型式本身的觀(guān)點(diǎn)與圖18相同。
通過(guò)采用如上的結(jié)構(gòu)，能夠得到如下的作用效果。
·關(guān)于混色校正的校正量，可通過(guò)通信I/F42(參照?qǐng)D6、圖7)從外部實(shí)時(shí)控制。
·關(guān)于校正的方向性沒(méi)有自由度，但是取而代之可實(shí)現(xiàn)大幅度減小電路規(guī)模的混色校正處理。
如上所述，在進(jìn)行CMOS圖像傳感器20A的像素間的混色校正的混色校正電路中，使用與關(guān)注像素相鄰的多個(gè)周?chē)袼氐母餍盘?hào)、和對(duì)該各信號(hào)分別獨(dú)立設(shè)定的校正參數(shù)，對(duì)關(guān)注像素的信號(hào)進(jìn)行校正處理，由此對(duì)每個(gè)周?chē)袼乜煞謩e獨(dú)立設(shè)定周?chē)袼貙?duì)關(guān)注像素的校正量，因此能夠使周?chē)袼叵鄬?duì)關(guān)注像素的校正量具有方向性、即對(duì)每個(gè)周?chē)袼乜煞謩e設(shè)定不同的校正量，其中，所述CMOS圖像傳感器20A采用在包含有光電變換元件的像素單元的上方層疊分色濾色器、進(jìn)一步在其上層疊聚光用微型透鏡(聚光透鏡)的構(gòu)造，對(duì)于像素錯(cuò)位配置具有由G包圍R、B各自的周?chē)菢拥念伾幋a，按以2行為單位的每個(gè)橫鋸齒形行進(jìn)行垂直掃描。
由此，能夠進(jìn)行與來(lái)自周?chē)袼氐膶?duì)關(guān)注像素的混色程度相應(yīng)的混色校正，因此，即使例如由于根據(jù)電路部、布線(xiàn)等布局、或者信號(hào)讀出部的布局，不得不將光電變換元件(感光部)配置在相對(duì)像素單元的中心偏移的位置上，各像素單元的物理中心和光學(xué)中心未必一致，導(dǎo)致來(lái)自周?chē)袼氐膶?duì)關(guān)注像素的混色有方向性，也可通過(guò)實(shí)現(xiàn)與該方向性相應(yīng)的混色校正，能夠降低混色的問(wèn)題。
特別是對(duì)于像素錯(cuò)位配置，在由G包圍R、B各自的周?chē)菢拥念伾幋a中，將R、B設(shè)為校正對(duì)象像素(關(guān)注像素)時(shí)其周?chē)袼厝砍蔀镚，但是對(duì)于相同的G的周?chē)袼啬軌驅(qū)Ω髦車(chē)袼胤謩e設(shè)定校正參數(shù)的值(校正量)，因此能夠?qū)崿F(xiàn)具有更有效的方向性的混色校正。此外，還能夠根據(jù)校正參數(shù)的設(shè)定實(shí)現(xiàn)各向同性的校正。另外，可通過(guò)通信I/F42從外部的照相機(jī)控制部5設(shè)定校正參數(shù)的值，因此還能夠?qū)崟r(shí)設(shè)定與照相機(jī)攝影條件相應(yīng)的校正量。
而且，根據(jù)要求的畫(huà)質(zhì)和電路規(guī)模之間的平衡，在不需要4個(gè)方向的校正自由度的情況下，通過(guò)使用與實(shí)施例2有關(guān)的校正電路30B，能夠大幅度減小電路規(guī)模、并且可盡量由保持方向性自由度的校正電路構(gòu)成。另外，根據(jù)要求的畫(huà)質(zhì)和電路規(guī)模之間的平衡，在不需要4個(gè)方向的校正自由度且各向同性的校正足夠的情況下，通過(guò)使用與實(shí)施例3有關(guān)的校正電路30C，也可以由進(jìn)一步大幅度減小電路規(guī)模的校正電路構(gòu)成。
在此，關(guān)于對(duì)多個(gè)周?chē)袼氐母餍盘?hào)分別獨(dú)立設(shè)定的校正參數(shù)的值(校正量)，在由于各像素單元的物理中心和光學(xué)中心未必一致，來(lái)自周?chē)袼氐膶?duì)關(guān)注像素的混色中存在方向性的情況下，根據(jù)來(lái)自周?chē)袼氐膶?duì)關(guān)注像素的混色程度進(jìn)行適當(dāng)設(shè)定。
此外，在上述實(shí)施方式中，在圖2所示的像素錯(cuò)位配置中，能夠充分忽略與通過(guò)頂點(diǎn)相鄰與關(guān)注像素的上下左右4個(gè)像素之間的混色，將上下左右的像素除外，而使用通過(guò)邊與關(guān)注像素相鄰的傾斜方向的4個(gè)像素的各信號(hào)進(jìn)行混色校正，但是也可以使用上下左右4個(gè)像素的各信號(hào)進(jìn)行混色校正。在該情況下，只要對(duì)上下左右的4個(gè)像素的各信號(hào)使用分別獨(dú)立的校正參數(shù)即可。
另外，在上述實(shí)施方式中，與像素的顏色無(wú)關(guān)地設(shè)定校正量，但是也可以按每個(gè)顏色改變校正量。具體地說(shuō)，在照相機(jī)控制部5中，生成R用校正參數(shù)Kar、Kbr、Kcr、Kdr、G用校正參數(shù)Kag、Kbg、Kcg、Kdg以及B用校正參數(shù)Kab、Kbb、Kcb、Kdb，通過(guò)通信IF42適當(dāng)輸入到R/Gb ch用校正模塊113A以及Gr/B ch用校正模塊113B。
而且，如圖23所示，對(duì)于R/Gb ch用校正模塊113A，設(shè)置了將R用校正參數(shù)Kar、Kbr、Kcr、Kdr和G用校正參數(shù)Kag、Kbg、Kcg、Kdg設(shè)為2個(gè)輸入的切換開(kāi)關(guān)SW1，通過(guò)來(lái)自信號(hào)發(fā)生器43的定時(shí)信號(hào)之一的、按每1H切換High/Low的定時(shí)信號(hào)H_TOGLE，對(duì)切換開(kāi)關(guān)SW1進(jìn)行切換，通過(guò)將R用校正參數(shù)Kar、Kbr、Kcr、Kdr和G用校正參數(shù)Kag、Kbg、Kcg、Kdg按每1H交替提供給校正電路30，可進(jìn)行按每個(gè)R像素和G像素改變校正量的混色校正。
另一方面，如圖24所示，關(guān)于Gr/B ch用校正模塊113B，設(shè)置了將G用校正參數(shù)Kag、Kbg、Kcg、Kdg和B用校正參數(shù)Kab、Kbb、Kcb、Kdb設(shè)為2個(gè)輸入的切換開(kāi)關(guān)SW2，根據(jù)定時(shí)信號(hào)H_TOGLE對(duì)切換開(kāi)關(guān)SW2進(jìn)行切換，通過(guò)將G用校正參數(shù)Kag、Kbg、Kcg、Kdg和B用校正參數(shù)Kab、Kbb、Kcb、Kdb按每1H交替提供給校正電路30，由此能夠進(jìn)行按每個(gè)G像素和B像素改變校正量的混色校正。
第二實(shí)施方式圖25是表示第二實(shí)施方式中使用的CMOS圖像傳感器20B的結(jié)構(gòu)概要的框圖，圖中，與圖3相同的部分賦予相同的符號(hào)來(lái)表示。
在本實(shí)施方式中使用的CMOS圖像傳感器20B中，也是與第一實(shí)施方式中使用的CMOS圖像傳感器20A相同的像素配置以及顏色編碼，即如圖2所示，使像素錯(cuò)位配置成為由G包圍R、B各自的周?chē)菢拥念伾幋a。
在該CMOS圖像傳感器20B中，像素驅(qū)動(dòng)線(xiàn)23按每行布線(xiàn)。而且像素陣列部22的各像素單元21通過(guò)由垂直掃描電路24進(jìn)行的選擇掃描，通過(guò)像素驅(qū)動(dòng)線(xiàn)23以行為單位被選擇。垂直信號(hào)線(xiàn)25對(duì)將2列設(shè)為單位的縱鋸齒形列的像素單元21共同布線(xiàn)。
在各個(gè)垂直信號(hào)線(xiàn)25的一端連接有列處理電路26。即，列處理電路26按像素陣排列的每2列配置，保持通過(guò)垂直信號(hào)線(xiàn)25從像素單元21提供的信號(hào)。在各個(gè)列處理電路26中保持的1行的信號(hào)，利用水平掃描電路27例如通過(guò)以2個(gè)為單位依次選擇的水平選擇開(kāi)關(guān)28，以2個(gè)像素為單位依次輸出到2根水平信號(hào)線(xiàn)29-1、29-2中。
這樣，在該CMOS圖像傳感器20B中，將按每1行彼此相鄰的2個(gè)像素作為單位，通過(guò)2根水平信號(hào)線(xiàn)29-1、29-2由2個(gè)通道并行讀出該2個(gè)像素的信號(hào)，跨越1個(gè)畫(huà)面在橫方向(水平方向)上掃描，在1個(gè)水平掃描期間(1H)全部讀完后移到下一行，同樣地在橫方向上一面掃描一面跨越1個(gè)畫(huà)面整個(gè)面讀出各像素的信號(hào)。
在此，與第一實(shí)施方式的情況同樣地，在圖2所示的顏色編碼中，為了方便將第1行～第4行的第1列～第8列的16個(gè)像素R、G、B定義為如圖26。
在這種像素定義下，將按每1行彼此相鄰的2個(gè)像素作為單位，在成為CMOS圖像傳感器20B的動(dòng)作基準(zhǔn)的時(shí)鐘信號(hào)的1個(gè)時(shí)鐘內(nèi)，在2個(gè)通道中并行讀出該2個(gè)像素的信號(hào)，如圖26所示，從各通道輸出R信號(hào)/Ggo信號(hào)/Gb信號(hào)/Ggo信號(hào)、Gr信號(hào)/Gge信號(hào)/B信號(hào)/Gge信號(hào)。圖27表示這種讀出方式中的各輸出通道的輸出信號(hào)的序列。
照相機(jī)信號(hào)處理電路圖28是表示與第二實(shí)施方式有關(guān)的照相機(jī)信號(hào)處理電路41的具體內(nèi)部結(jié)構(gòu)的框圖，圖中與圖7相同的部分賦予相同的符號(hào)來(lái)表示。
如圖28所示，與本實(shí)施方式有關(guān)的照相機(jī)信號(hào)處理電路41的結(jié)構(gòu)為除了照相機(jī)信號(hào)處理組(1)411、混色校正處理電路11以及照相機(jī)信號(hào)處理組(2)412之外，在照相機(jī)信號(hào)處理組(1)411的前級(jí)還具備重新排列處理電路413。該重新排列處理電路413是為了進(jìn)行如下的處理而設(shè)置的將圖27所示的CMOS圖像傳感器20B的輸出信號(hào)序列重新排列成圖5所示的CMOS圖像傳感器20A的輸出信號(hào)序列。
重新排列處理電路圖29是表示重新排列處理電路413的具體結(jié)構(gòu)的一例的框圖。如圖29所示，重新排列處理電路413成為具有如下部分的結(jié)構(gòu)，即具有行存儲(chǔ)器組4131、存儲(chǔ)器控制器4132以及切換開(kāi)關(guān)4133、4134。
行存儲(chǔ)器組4131與2個(gè)通道的各像素的信號(hào)R/Ggo/Gb/Ggo、Gr/Gge/B/Gge對(duì)應(yīng)而設(shè)置，包括用于進(jìn)行以行為單位延遲的例如由單端口SRAM構(gòu)成行存儲(chǔ)器4131-1、4131-2。存儲(chǔ)器控制器4132以從圖28的信號(hào)發(fā)生器(SG)43提供的各種定時(shí)信號(hào)為基準(zhǔn)，控制行存儲(chǔ)器4131-1、4131-2的讀寫(xiě)。
切換開(kāi)關(guān)4133將一個(gè)通道的各像素的信號(hào)R/Ggo/Gb/Ggo作為輸入，通過(guò)來(lái)自信號(hào)發(fā)生器43的定時(shí)信號(hào)之一的、按每1H切換High(1)/Low(0)的定時(shí)信號(hào)H_TOGLE進(jìn)行切換控制。切換開(kāi)關(guān)4134將另一個(gè)通道的各像素的信號(hào)Gr/Gge/B/Gge設(shè)為輸入，根據(jù)定時(shí)信號(hào)H_TOGLE進(jìn)行切換控制。
由此，第奇數(shù)行的輸入信號(hào)(圖27的第4N+1行、第4N+3行、……)由行存儲(chǔ)器4131-1、4131-2延遲1H，作為信號(hào)R/Gb、Gr/B輸出。另一方面，第偶數(shù)行的輸入信號(hào)(圖27的第4N+2行、第4N+4行、……)不經(jīng)由行存儲(chǔ)器4131-1、4131-2，作為信號(hào)Ggo、Gge輸出。
通過(guò)上述結(jié)構(gòu)的重新排列處理電路413的作用，2個(gè)通道的各像素的信號(hào)R/Ggo/Gb/Ggo、Gr/Gge/B/Gge，如圖30所示重新排列成4個(gè)通道的R/Gb、Ggo、Gr/B、Gge而輸出。這樣，在照相機(jī)信號(hào)處理組(1)411的前級(jí)進(jìn)行信號(hào)的重新排列處理，由此，作為照相機(jī)信號(hào)處理組(1)411、混色校正處理電路11以及照相機(jī)信號(hào)處理組(2)412，能夠兼用與第一實(shí)施方式有關(guān)的各電路模塊。
但是，雖然重新排列處理電路413中的重新排列處理后的序列變得相同，但重新排列后的信號(hào)按每1H流過(guò)，因此例如將與定時(shí)信號(hào)H_TOGLE相同的定時(shí)信號(hào)提供給照相機(jī)信號(hào)處理組(1)411、混色校正處理電路11以及照相機(jī)信號(hào)處理組(2)412的各電路模塊，在各電路模塊中只在該定時(shí)信號(hào)為High時(shí)進(jìn)行處理即可。
如上所述可知，根據(jù)與第二實(shí)施方式有關(guān)的混色校正，對(duì)于像素錯(cuò)位配置具有由G包圍R、B各自的周?chē)菢拥念伾幋a，對(duì)于不按以2行為單位的橫鋸齒形行進(jìn)行掃描，而按每1行進(jìn)行垂直掃描的CMOS圖像傳感器20B，也能夠?qū)⒅車(chē)袼叵鄬?duì)關(guān)注像素的校正量按每個(gè)周?chē)袼鬲?dú)立地設(shè)定，因此能夠與第一實(shí)施方式的情況同樣地得到作用效果。
另外，在與本實(shí)施方式有關(guān)的混色校正中，也與第一實(shí)施方式的情況同樣，能夠按每個(gè)顏色改變校正量。
此外，在上述第一、第二實(shí)施方式中，舉例說(shuō)明了對(duì)于像素錯(cuò)位配置應(yīng)用了具有由G包圍R、B各自的周?chē)菢拥念伾幋a的固體攝像元件的混色校正的情況，但是該顏色編碼只是一個(gè)例子，上述第一、第二實(shí)施方式也同樣能夠應(yīng)用于具有例如圖31所示的顏色編碼等其他顏色編碼的固體攝像元件的混色校正。
第三實(shí)施方式圖32是表示本發(fā)明第三實(shí)施方式中使用的CMOS圖像傳感器的顏色編碼的圖。
在第三實(shí)施方式中使用的CMOS圖像傳感器中，將包含光電變換元件的像素單元21二維配置成行列狀而構(gòu)成的像素陣列部的像素配置，成為正方形格子狀的像素配置。并且，對(duì)于該正方形格子狀的像素配置，如圖32所示，顏色編碼例如成為拜耳排列。
圖33是表示第三實(shí)施方式中使用的CMOS圖像傳感器20C的結(jié)構(gòu)概要的框圖，圖中與圖3相同的部分賦予相同的符號(hào)來(lái)表示。
如圖33所示，在像素陣列部22中，包含光電變換元件的像素單元21被二維配置成正方形格子狀。對(duì)于該正方形格子狀的像素排列，每2行布線(xiàn)1個(gè)像素驅(qū)動(dòng)線(xiàn)23，每1列布線(xiàn)2個(gè)垂直信號(hào)線(xiàn)25。垂直掃描電路24，以2行為單位通過(guò)像素驅(qū)動(dòng)線(xiàn)23依次選擇掃描像素陣列部22的各像素單元21。
通過(guò)垂直掃描電路24的掃描進(jìn)行選擇的2行像素單元21的各信號(hào)，奇數(shù)行和偶數(shù)行通過(guò)各個(gè)垂直信號(hào)線(xiàn)25、即通過(guò)奇數(shù)行用的垂直信號(hào)線(xiàn)25o和偶數(shù)行用的垂直信號(hào)線(xiàn)25e讀出，保持在各個(gè)列處理電路26中。保持在各個(gè)列處理電路26中的2行信號(hào)，由水平掃描電路27通過(guò)以4個(gè)為單位依次選擇的水平選擇開(kāi)關(guān)28，以4個(gè)像素(2行×2列)為單位依次輸出到4個(gè)水平信號(hào)線(xiàn)29-1～29-4。
這樣，在該CMOS圖像傳感器20C中，將每2行彼此相鄰的4個(gè)像素設(shè)為一組，通過(guò)4個(gè)水平信號(hào)線(xiàn)29-1～29-4在4個(gè)通道中并行讀出該4個(gè)像素的信號(hào)，跨越1個(gè)畫(huà)面在橫方向(水平方向)上進(jìn)行掃描，在1個(gè)水平掃描期間(1H)全部讀完后移到下一行，同樣地一面在橫方向上進(jìn)行掃描一面跨越整個(gè)1個(gè)畫(huà)面讀出各像素的信號(hào)。
在此，在圖32所示的顏色編碼中，關(guān)于第1行、第2行的第1列～第6列的12個(gè)像素R、G、B，為了方便定義為如圖34。具體地說(shuō)，在第1行中，將屬于第1個(gè)單位的4個(gè)像素中的像素R定義為像素R1，將屬于第2個(gè)單位的4個(gè)像素中的像素R定義為像素R2，將屬于第3個(gè)單位的4個(gè)像素中的像素R定義為像素R3，在第2行中，將屬于第1個(gè)單位的4個(gè)像素中的像素B定義為B1，將屬于第2個(gè)單位的4個(gè)像素中的像素B定義為像素B2，將屬于第3個(gè)單位的4個(gè)像素中的像素B定義為像素B3。
另外，在第1行中，將屬于第1個(gè)單位的4個(gè)像素、與像素R1相鄰的像素G定義為像素Gr1，將屬于第2個(gè)單位的4個(gè)像素、與像素R2相鄰的像素G定義為像素Gr2，將屬于第3個(gè)單位的4個(gè)像素、與像素R3相鄰的像素G定義為像素Gr3，在第2行中，將屬于第1個(gè)單位的4個(gè)像素、與像素B1相鄰的像素G定義為像素Gb1，將屬于第2個(gè)單位的4個(gè)像素、與像素B2相鄰的像素G定義為像Gb2，將屬于第3個(gè)單位的4個(gè)像素、與像素B3相鄰的像素G定義為像素Gb3。
在這種像素的定義下，將每2行彼此相鄰的4個(gè)像素設(shè)為一組，在成為CMOS圖像傳感器20c的動(dòng)作基準(zhǔn)的時(shí)鐘信號(hào)的1個(gè)時(shí)鐘內(nèi)，在4個(gè)通道中并行讀出該4個(gè)像素的信號(hào)，如從圖34可知，從各通道輸出R信號(hào)、Gr信號(hào)、Gb信號(hào)、B信號(hào)。圖35表示這種讀出方式中的各輸出通道的輸出信號(hào)的序列。
關(guān)于本實(shí)施方式所涉及的照相機(jī)信號(hào)處理電路41的具體內(nèi)部結(jié)構(gòu)，基本與圖7所示的第一實(shí)施方式所涉及的照相機(jī)信號(hào)處理電路41的結(jié)構(gòu)相同。即，照相機(jī)信號(hào)處理電路41除了混色校正處理電路11之外，在混色校正處理電路11的前級(jí)還具備照相機(jī)信號(hào)處理組(1)411，在混色校正處理電路11的后級(jí)還具備照相機(jī)信號(hào)處理組(2)412，將圖34所示的每4個(gè)像素的各R信號(hào)、Gr信號(hào)、Gb信號(hào)、B信號(hào)，在成為照相機(jī)信號(hào)處理基準(zhǔn)的時(shí)鐘信號(hào)的1個(gè)時(shí)鐘內(nèi)，進(jìn)行并行處理。
混色校正處理電路圖36是表示混色校正處理電路11的結(jié)構(gòu)的一例的框圖，圖中與圖8相同的部分賦予相同的符號(hào)來(lái)表示。
如圖36所示，在與本實(shí)施方式有關(guān)的混色校正處理電路11中，代替與第一實(shí)施方式有關(guān)的混色校正處理電路11中的R/Gb用行存儲(chǔ)器111-1、Gr/B用行存儲(chǔ)器111-2、Ggo用111-3以及Gge用行存儲(chǔ)器111-4，行存儲(chǔ)器組111為使用了R用行存儲(chǔ)器111-5、Gr用行存儲(chǔ)器111-6、Gb用行存儲(chǔ)器111-7以及B用行存儲(chǔ)器111-8的結(jié)構(gòu)。
行存儲(chǔ)器111-5、111-6是1H延遲存儲(chǔ)器，行存儲(chǔ)器111-7、111-8是2H延遲存儲(chǔ)器。存儲(chǔ)器控制器112以從圖7的信號(hào)發(fā)生器(SG)43提供的各種定時(shí)信號(hào)為基準(zhǔn)，控制行存儲(chǔ)器111-5、111-6、111-7、111-8的讀寫(xiě)。校正模塊113根據(jù)從圖7的通信I/F42提供的控制信號(hào)進(jìn)行像素混色的校正動(dòng)作。
在該混色校正處理電路11中，4個(gè)通道的R信號(hào)、Gr信號(hào)、Gb信號(hào)、B信號(hào)分別并行輸入到行存儲(chǔ)器111-5、111-6、111-7、111-8。并且，根據(jù)來(lái)自存儲(chǔ)器控制器112的寫(xiě)入使能信號(hào)WEN和寫(xiě)入地址信號(hào)WADRS以及讀出使能信號(hào)REN和讀出地址信號(hào)RADRS，對(duì)各通道分別生成具有0H到2H的延遲的信號(hào)組進(jìn)行輸出。
此時(shí)，構(gòu)成行存儲(chǔ)器組111使得輸出信號(hào)如下。
·R ch無(wú)延遲的信號(hào)(Sig_R_0h)和1H延遲信號(hào)(Sig_R_1h)·Gr ch無(wú)延遲的信號(hào)(Sig_Gr_0h)和1H延遲信號(hào)(Sig_Gr_1h)·Gb ch1H延遲信號(hào)(Sig_Gb_1h)和2H延遲信號(hào)(Sig_Gb_2h)·B ch1H延遲信號(hào)(Sig_B_1h)和2H延遲信號(hào)(Sig_B_2h)由行存儲(chǔ)器111-5、111-6、111-7、111-8延遲的信號(hào)組輸入到校正模塊113。校正模塊113按照從通信I/F42提供的控制信號(hào)對(duì)各通道分別并行進(jìn)行像素混色校正，作為校正后的信號(hào)Sig_R’、Sig_Gr’、Sig_Gb’、Sig_B’輸出到后級(jí)。該校正模塊113由與4個(gè)通道的各像素的信號(hào)R/Gb、Gr/B、Ggo、Gge分別對(duì)應(yīng)而設(shè)置的4個(gè)校正模塊構(gòu)成。
(R ch用校正模塊)圖37是表示R ch用校正模塊113E的結(jié)構(gòu)的一例的框圖。該校正模塊113E由校正電路50和5個(gè)延遲電路51～55構(gòu)成，將從圖36的行存儲(chǔ)器組111各通道各輸出2個(gè)共8個(gè)信號(hào)中的1H延遲信號(hào)Sig_R_1h、2H延遲信號(hào)Sig_Gb_2h、1H延遲信號(hào)Sig_Gr_1h、1H延遲信號(hào)Sig_Gr_1h以及1H延遲信號(hào)Sig_Gb_1h設(shè)為輸入。
各通道共用校正電路50。在后面詳細(xì)敘述其電路結(jié)構(gòu)。延遲電路51將1H延遲信號(hào)Sig_R_1h只延遲成為混色校正處理基準(zhǔn)的像素周期的時(shí)鐘信號(hào)的1個(gè)時(shí)鐘，作為校正對(duì)象像素的信號(hào)提供給校正電路50。在該校正模塊113E中，如圖38的(A)所示，R成為校正對(duì)象像素。
延遲電路52將2H延遲信號(hào)Sig_Gb_2h只延遲2個(gè)時(shí)鐘，作為與校正對(duì)象像素R相鄰的上像素(a)的信號(hào)提供給校正電路50。延遲電路53將1H延遲信號(hào)Sig_Gr_1h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素R相鄰的右像素(b)的信號(hào)提供給校正電路50。
延遲電路54將1H延遲信號(hào)Sig_Gr_1h只延遲2個(gè)時(shí)鐘，作為與校正對(duì)象像素R相鄰的左像素(c)的信號(hào)提供給校正電路50。延遲電路55將1H延遲信號(hào)Sig_Gb_1h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素R相鄰的下像素(d)的信號(hào)提供給校正電路50。
這樣，在通過(guò)使1H延遲信號(hào)Sig_R_1h、2H延遲信號(hào)Sig_Gb_2h、1H延遲信號(hào)Sig_Gr_1h、1H延遲信號(hào)Sig_Gr_1h以及1H延遲信號(hào)Sig_Gb_1h經(jīng)由延遲電路51～55，將校正對(duì)象像素R的信號(hào)設(shè)為(1H延遲+1個(gè)時(shí)鐘延遲)的信號(hào)的情況下，抽出與校正對(duì)象像素R在上、右、左、下各方向通過(guò)邊相鄰的4個(gè)周?chē)袼氐母餍盘?hào)，與校正對(duì)象像素R的信號(hào)一起輸入到校正電路50。
(Gr ch用校正模塊)圖39是表示Gr ch用校正模塊113F的結(jié)構(gòu)的一例的框圖。該校正模塊113F除了與校正模塊113E相同的校正電路50之外，還具備4個(gè)延遲電路56～59，將從圖36的行存儲(chǔ)器組111各通道各輸出2個(gè)共8個(gè)信號(hào)中的、1H延遲信號(hào)Sig_Gr_1h、2H延遲信號(hào)Sig_B_2h、1H延遲信號(hào)Sig_R_1h、1H延遲信號(hào)Sig_R_1h以及1H延遲信號(hào)Sig_B_1h設(shè)為輸入。
延遲電路56將1H延遲信號(hào)Sig_Gr_1h只延遲1個(gè)時(shí)鐘，作為校正對(duì)象像素信號(hào)提供給校正電路50。如圖38的(B)所示，在該校正模塊113F中，Gr成為校正對(duì)象像素。延遲電路57將2H延遲信號(hào)Sig_B_2h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素Gr相鄰的上像素(a)的信號(hào)提供給校正電路50。
1H延遲信號(hào)Sig_R_1h作為與校正對(duì)象像素Gr相鄰的右像素(b)的信號(hào)直接提供給校正電路50。延遲電路58將1H延遲信號(hào)Sig_R_1h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素Gr相鄰的左像素(c)的信號(hào)提供給校正電路50。延遲電路59將1H延遲信號(hào)Sig_B_1h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素Gr相鄰的下像素(d)的信號(hào)提供給校正電路50。
這樣，在通過(guò)使1H延遲信號(hào)Sig_Gr_1h、2H延遲信號(hào)Sig_B_2h、1H延遲信號(hào)Sig_R_1h、1H延遲信號(hào)Sig_R_1h以及1H延遲信號(hào)Sig_B_1h經(jīng)由延遲電路56～59，將校正對(duì)象像素Gr的信號(hào)設(shè)為(1H延遲+1個(gè)時(shí)鐘延遲)的信號(hào)的情況下，抽出與校正對(duì)象像素Gr在上、右、左、下各方向通過(guò)邊相鄰的4個(gè)周?chē)袼氐母餍盘?hào)，與校正對(duì)象像素Gr的信號(hào)一起輸入到校正電路50。
(Gb ch用校正模塊)圖40是表示Gb ch用校正模塊113G的結(jié)構(gòu)的一例的框圖。該校正模塊113G除了與校正模塊113E相同的校正電路50之外，還具備5個(gè)延遲電路61～65，將從圖36的行存儲(chǔ)器組111各通道各輸出2個(gè)共8個(gè)信號(hào)中的1H延遲信號(hào)Sig_Gb_1h、1H延遲信號(hào)Sig_R_1h、1H延遲信號(hào)Sig_B_1h、1H延遲信號(hào)Sig_B_1h以及0H延遲信號(hào)Sig_R_0h設(shè)為輸入。
延遲電路61將1H延遲信號(hào)Sig_Gb_1h只延遲1個(gè)時(shí)鐘，作為校正對(duì)象像素的信號(hào)提供給校正電路50。如圖38的(C)所示，在該校正模塊113G中，Gb成為校正對(duì)象像素。
延遲電路62將1H延遲信號(hào)Sig_R_1h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素Gb相鄰的上像素(a)的信號(hào)提供給校正電路50。延遲電路63將1H延遲信號(hào)Sig_B_1h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素Gb相鄰的右像素(b)的信號(hào)提供給校正電路50。
延遲電路64將1H延遲信號(hào)Sig_B_1h只延遲2個(gè)時(shí)鐘，作為與校正對(duì)象像素Gb相鄰的左像素(c)的信號(hào)提供給校正電路50。延遲電路65將0H延遲信號(hào)Sig_R_0h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素Gb相鄰的下像素(d)的信號(hào)提供給校正電路50。
這樣，在通過(guò)使1H延遲信號(hào)Sig_Gb_1h、1H延遲信號(hào)Sig_R_1h、1H延遲信號(hào)Sig_B_1h、1H延遲信號(hào)Sig_B_1h以及0H延遲信號(hào)Sig_R_0h經(jīng)由延遲電路61～65，將校正對(duì)象像素Gb的信號(hào)設(shè)為(1H延遲+1個(gè)時(shí)鐘延遲)的信號(hào)的情況下，抽出與校正對(duì)象像素R在上、右、左、下的各方向通過(guò)邊相鄰的4個(gè)周?chē)袼氐母餍盘?hào)，與校正對(duì)象像素Gb的信號(hào)一起輸入到校正電路50中。
(B ch用校正模塊)圖41是表示B ch用校正模塊113H的結(jié)構(gòu)的一例的框圖。該校正模塊113H除了與校正模塊113E相同的校正電路50之外，還具備4個(gè)延遲電路66～69，將從圖36的行存儲(chǔ)器組111各通道各輸出2個(gè)共8個(gè)信號(hào)中的1H延遲信號(hào)Sig_B_1h、1H延遲信號(hào)Sig_Gr_1h、1H延遲信號(hào)Sig_Gb_1h、1H延遲信號(hào)Sig_Gb_1h以及0H延遲信號(hào)Sig_Gr_0h設(shè)為輸入。
延遲電路66將1H延遲信號(hào)Sig_B_1h只延遲1個(gè)時(shí)鐘，作為校正對(duì)象像素的信號(hào)提供給校正電路50。如圖38的(D)所示，在該校正模塊113H中，B成為校正對(duì)象像素。延遲電路67將1H延遲信號(hào)Sig_Gr_1h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素B相鄰的上像素(a)的信號(hào)提供給校正電路50。
1H延遲信號(hào)Sig_Gb_1h作為與校正對(duì)象像素B相鄰的右像素(b)的信號(hào)直接提供給校正電路50。延遲電路68將1H延遲信號(hào)Sig_Gb_1h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素B相鄰的左像素(c)的信號(hào)提供給校正電路50。延遲電路69將0H延遲信號(hào)Sig_Gr_0h只延遲1個(gè)時(shí)鐘，作為與校正對(duì)象像素B相鄰的下像素(d)的信號(hào)提供給校正電路50。
這樣，在通過(guò)使1H延遲信號(hào)Sig_B_1h、1H延遲信號(hào)Sig_Gr_1h、1H延遲信號(hào)Sig_Gb_1h、1H延遲信號(hào)Sig_Gb_1h以及0H延遲信號(hào)Sig_Gr_0h經(jīng)由延遲電路66～69，將校正對(duì)象像素B的信號(hào)設(shè)為(1H延遲+1個(gè)時(shí)鐘延遲)的信號(hào)的情況下，抽出與校正對(duì)象像素B在上、右、左、下的各方向通過(guò)邊相鄰的4個(gè)周?chē)袼氐母餍盘?hào)，與校正對(duì)象像素Gr的信號(hào)一起輸入到校正電路50。
校正電路接著，作為實(shí)施例1～3說(shuō)明各通道共用的校正電路50的具體結(jié)構(gòu)。
(實(shí)施例1)圖42是表示與實(shí)施例1有關(guān)的校正電路50A的結(jié)構(gòu)的框圖。該校正電路50A是與圖17所示的校正電路30A相同的電路結(jié)構(gòu)，不同之處僅在于輸入信號(hào)。
具體地說(shuō)，校正電路50A在以校正對(duì)象像素的信號(hào)Sig_C(Sig_R/Sig_Gr/Sig_Gb/Sig_B)為中心、分別與上、右、左、下各方向的像素信號(hào)(上Sig_Up，右Sig_R，左Sig_L，下Sig_Lo)取差分之后的信號(hào)上，乘以分別獨(dú)立的校正參數(shù)Ka、Kb、Kc、Kd，之后將取全部信號(hào)的和的結(jié)果設(shè)為校正信號(hào)Sig_C’(Sig_R’/Sig_Gr’/Sig_Gb’/Sig_B’)。
在此，Ka是校正對(duì)象像素與上邊像素之間的混色(校正)比例，Kb是校正對(duì)象像素與右邊像素之間的混色比例，Kc是校正對(duì)象像素與左邊像素之間的混色比例，Kd是校正對(duì)象像素與下邊像素之間的混色比例。
將該校正電路50A中的運(yùn)算處理作為校正式表示時(shí)，成為如下所示。
Sig_C’＝Sig_C+Ka×(Sig_C-Sig_Up)+Kb×(Sig_C-Sig_R)+Kc×(Sig_C-Sig_L)+Kd×(Sig_C-Sig_Lo)……(5’)圖43是上述(5’)式所示的校正模型式的說(shuō)明圖。包圍校正對(duì)象像素的傾斜4個(gè)方向以及上下左右的共8像素中，位于傾斜4個(gè)方向的像素與上下左右的相鄰像素相比距離上遠(yuǎn)倍，因此對(duì)于校正對(duì)象像素的混色影響度，可以說(shuō)由上下左右的相鄰像素一方支配。因此在本實(shí)施方式中，假設(shè)與傾斜4個(gè)方向的像素之間的混色能夠充分忽略，而排除傾斜4個(gè)方向的像素。
(實(shí)施例2)圖44是表示與實(shí)施例2有關(guān)的校正電路50B的結(jié)構(gòu)的框圖。該校正電路50B是與圖19所示的校正電路30B相同的電路結(jié)構(gòu)，不同之處僅在于輸入信號(hào)。
具體地說(shuō)，校正電路50B使以校正對(duì)象像素的信號(hào)Sig_C(Sig_R/Sig_Gr/Sig_Gb/Sig_B)為中心、分別與上、右、左、下各方向的像素信號(hào)(上Sig_Up，右Sig_R，左Sig_L，下Sig_Lo)取差分之后的信號(hào)彼此，通過(guò)從通信I/F42提供的方向性選擇的控制信號(hào)(設(shè)定值)組合每?jī)蓚€(gè)并取和，在這些和信號(hào)上乘以分別獨(dú)立的校正參數(shù)K1、K2，之后將取全部信號(hào)的和的值設(shè)為校正信號(hào)Sig_C’(Sig_R’/Sig_Gr’/Sig_Gb’/Sig_B’)。
將該校正電路50B中的運(yùn)算處理作為校正式表示時(shí)，成為如下所示。
·方向性選擇的設(shè)定值0的情況下Sig_C’＝Sig_C+K1×[(Sig_C-Sig_Up)+(Sig_C-Sig_R)]
+K2×[(Sig_C-Sig_L)+(Sig_C-Sig_Lo)]……(6)·方向性選擇的設(shè)定值1的情況下Sig_C’＝Sig_C+K1×[(Sig_C-Sig_Up)+(Sig_C-Sig_L)]+K2×[(Sig_C-Sig_R)+(Sig_C-Sig_Lo)]……(7)·方向性選擇的設(shè)定值2的情況下Sig_C’＝Sig_C+K1×[(Sig_C-Sig_Up)+(Sig_C-Sig_Lo)]+K2×[(Sig_C-Sig_R)+(Sig_C-Sig_L)]……(8)圖45是上述(6)式、(7)式、(8)式所示的校正模型式的說(shuō)明圖。校正模型式本身的思路與圖43相同，綜合了各方向性選擇的設(shè)定值(0，1，2)的校正率組合和校正模型式。
(實(shí)施例3)圖46是表示與實(shí)施例3有關(guān)的校正電路50C的結(jié)構(gòu)的框圖。該校正電路50C是與圖21所示的校正電路30C相同的電路結(jié)構(gòu)，不同之處僅在于輸入信號(hào)。
具體地說(shuō)，校正電路50C使以校正對(duì)象像素的信號(hào)Sig_C(Sig_R/Sig_Gr/Sig_Gb/Sig_B)為中心、分別與上、右、左、下各方向的像素信號(hào)(上Sig_Up，右Sig_R，左Sig_L，下Sig_Lo)取差分之后的信號(hào)彼此全部相加，之后乘以唯一的校正參數(shù)K，之后將取與原信號(hào)之和的結(jié)果設(shè)為校正信號(hào)Sig_C’(Sig_R’/Sig_Gr’/Sig_Gb’/Sig_B’)。
將該校正電路50C中的運(yùn)算處理作為校正式表示時(shí)，成為如下所示。
Sig_C’＝Sig_C+K×[(Sig_C-Sig_Up)+(Sig_C-Sig_R)+(Sig_C-Sig_L)+(Sig_C-Sig_Lo)]……(9)圖47是上述(9)式所示的校正模型式的說(shuō)明圖。校正模型式本身的思路與圖43相同。
根據(jù)與上述第三實(shí)施方式中的各實(shí)施例有關(guān)的校正電路50A、50B、50C，能夠與第一實(shí)施方式中的各實(shí)施例有關(guān)的校正電路30A、30B、30C同樣地得到作用效果。
此外，在與實(shí)施例1有關(guān)的校正電路50A中使用(5’)式的模型式，在與實(shí)施例2有關(guān)的校正電路50B中使用(6)式至(8)式的模型式，在與實(shí)施例3有關(guān)的校正電路50C中使用(9)式的模型式，但是本發(fā)明的要點(diǎn)不在于模型式本身，因此作為校正電路50A、50B、50C不限于實(shí)現(xiàn)(5’)式至(9)式運(yùn)算的電路結(jié)構(gòu)。
根據(jù)與上述第三實(shí)施方式有關(guān)的混色校正，像素配置是正方形格子狀，顏色編碼例如是拜耳排列，對(duì)于將2行作為單位進(jìn)行垂直掃描的CMOS圖像傳感器20C，也能夠?qū)γ總€(gè)周?chē)袼胤謩e獨(dú)立設(shè)定周?chē)袼貙?duì)關(guān)注像素的的校正量，因此能夠與第一實(shí)施方式的情況同樣地得到作用效果。另外，在與本實(shí)施方式有關(guān)的混色校正中，也與第一實(shí)施方式的情況同樣，能夠按每個(gè)顏色改變校正量。
此外，在本實(shí)施方式中，對(duì)于正方形格子狀的像素配置，舉例說(shuō)明了顏色編碼是拜耳排列的情況，但是不限于應(yīng)用到拜耳排列，能夠應(yīng)用于所有正方形格子狀的顏色編碼。
第四實(shí)施方式在以上說(shuō)明的第一～第三實(shí)施方式中，敘述了由于像素單元的物理中心和光學(xué)中心未必一致、來(lái)自周?chē)袼氐膶?duì)關(guān)注像素的混色比例(程度)不同的情況下的混色校正，但是已知混色也通過(guò)光學(xué)系統(tǒng)1的透鏡1a(參照?qǐng)D1)的F值(光圈值)而變動(dòng)。根據(jù)該F值進(jìn)行混色校正，是與以下說(shuō)明的第四實(shí)施方式有關(guān)的混色校正。
圖48是表示光圈1b的開(kāi)口直徑(光圈值/F值)和CMOS圖像傳感器2中的混色的關(guān)系的概要圖。
為了調(diào)整光量，光圈1b根據(jù)被攝體狀況、用戶(hù)的指示變動(dòng)其開(kāi)口直徑。通過(guò)光圈1b的光，通過(guò)位于CMOS圖像傳感器2上的聚光透鏡2a以及用于辨別被攝體顏色的濾色器2b，由像素單元21感光。濾色器2b通常由R、G、B三色構(gòu)成，具有如在第一、第二實(shí)施方式、第三實(shí)施方式中使用的顏色編碼。
在此，在光圈1b的開(kāi)口直徑小、即F值大的情況下(A)，聚光到某像素單元21的光，只通過(guò)與該像素對(duì)應(yīng)的濾色器。但是在使光圈1b的開(kāi)口直徑變大的情況下、即減小F值的情況下(B)，通過(guò)了本來(lái)不對(duì)應(yīng)的濾色器的光漏進(jìn)像素單元21。
因此，在與本實(shí)施方式有關(guān)的混色校正中，特征在于，在與第一至第三實(shí)施方式有關(guān)的混色校正中，根據(jù)光圈1b的開(kāi)口直徑、即F值來(lái)設(shè)定校正參數(shù)Ka、Kb、Kc、Kd的值，由此，即使在F值由于被攝體的狀況、用戶(hù)的設(shè)定而變動(dòng)的情況下，也始終實(shí)現(xiàn)合適的混色校正。通過(guò)圖1中的照相機(jī)控制部5進(jìn)行與F值相應(yīng)的校正參數(shù)Ka、Kb、Kc、Kd值的設(shè)定。
圖49是表示由照相機(jī)控制部5執(zhí)行的校正處理、具體地說(shuō)是表示根據(jù)F值設(shè)定校正參數(shù)Ka、Kb、Kc、Kd的校正值的處理過(guò)程的流程圖。該校正處理根據(jù)圖像更新周期重復(fù)執(zhí)行。
當(dāng)該校正處理開(kāi)始時(shí)，首先從來(lái)自數(shù)字信號(hào)處理電路4的檢波數(shù)據(jù)、或者來(lái)自人I/F控制部6的用戶(hù)設(shè)定數(shù)據(jù)中讀取當(dāng)前的光圈1b的F值是多少(步驟S11)。接著，預(yù)先將與F值相應(yīng)的校正參數(shù)Ka、Kb、Kc、Kd的校正值保持在校正表(ROM表等)中，從該校正表讀出與步驟S11中得到的F值相應(yīng)的校正值(步驟S12)。然后，將從校正表讀出的校正值作為設(shè)定值，發(fā)送給數(shù)字信號(hào)處理電路4內(nèi)的像素混色校正電路11(參照?qǐng)D7、圖28)(步驟S13)。
這樣，在與第一至第三實(shí)施方式有關(guān)的混色校正、即利用與關(guān)注像素相鄰的多個(gè)周?chē)袼氐母餍盘?hào)、和對(duì)該各信號(hào)分別獨(dú)立設(shè)定的校正參數(shù)、對(duì)關(guān)注像素的信號(hào)進(jìn)行校正處理的混色校正中，根據(jù)F值(光圈1b的開(kāi)口直徑)設(shè)定校正參數(shù)的值，由此，能夠使周?chē)袼貙?duì)關(guān)注像素的校正量具有方向性，并且即使在F值由于被攝體的狀況、用戶(hù)的設(shè)定而變動(dòng)的情況下也始終能夠進(jìn)行合適的混色校正。
此外在上述各實(shí)施方式中，作為固體攝像元件舉例說(shuō)明了使用CMOS圖像傳感器的情況，但是本發(fā)明不限于應(yīng)用到CMOS圖像傳感器，能夠應(yīng)用于CMOS圖像傳感器以外的放大型固體攝像元件，還能夠應(yīng)用于以CCD圖像傳感器為代表的所有電荷傳送型固體攝像元件等固體攝像元件。
權(quán)利要求
1.一種固體攝像元件的信號(hào)處理裝置，對(duì)固體攝像元件的像素間的混色進(jìn)行校正，該固體攝像元件是包含光電變換元件的像素被二維配置成行列狀、濾色器被配置在上述像素的表面上而構(gòu)成的，其中，該濾色器包含有作為生成亮度成分的主成分的顏色成分和其他顏色成分，該固體攝像元件的信號(hào)處理裝置的特征在于，包括校正處理單元，該校正處理單元使用上述固體攝像元件的與關(guān)注像素相鄰的多個(gè)周?chē)袼氐母餍盘?hào)、和對(duì)該各信號(hào)分別獨(dú)立設(shè)定的校正參數(shù)，對(duì)上述關(guān)注像素的信號(hào)進(jìn)行校正處理。
2.根據(jù)權(quán)利要求1所述的固體攝像元件的信號(hào)處理裝置，其特征在于，上述濾色器具有如下顏色編碼，該顏色編碼使成為上述主成分的顏色成分以及上述其他顏色成分配置成由成為上述主成分的顏色成分包圍上述其他顏色成分的周?chē)?br> 3.根據(jù)權(quán)利要求1所述的固體攝像元件的信號(hào)處理裝置，其特征在于，上述多個(gè)周?chē)袼厥桥c上述關(guān)注像素通過(guò)邊相鄰的四個(gè)像素。
4.根據(jù)權(quán)利要求1所述的固體攝像元件的信號(hào)處理裝置，其特征在于，上述校正處理單元具有減法單元，以上述關(guān)注像素的信號(hào)為中心，與上述四個(gè)像素的各信號(hào)分別取差分；乘法單元，將上述減法單元的與上述四個(gè)像素對(duì)應(yīng)的輸出信號(hào)乘以分別獨(dú)立的上述校正參數(shù)；加法單元，將上述乘法單元的輸出信號(hào)與上述關(guān)注像素的信號(hào)相加而作為校正信號(hào)。
5.根據(jù)權(quán)利要求1所述的固體攝像元件的信號(hào)處理裝置，其特征在于，上述校正參數(shù)的值能夠從上述校正處理單元的外部通過(guò)通信任意設(shè)定。
6.根據(jù)權(quán)利要求1所述的固體攝像元件的信號(hào)處理裝置，其特征在于，按上述濾色器的每個(gè)顏色設(shè)定上述校正參數(shù)的值。
7.根據(jù)權(quán)利要求1所述的固體攝像元件的信號(hào)處理裝置，其特征在于，根據(jù)在將來(lái)自被攝體的光導(dǎo)入上述固體攝像元件的光學(xué)系統(tǒng)中包含的光圈的開(kāi)口直徑，設(shè)定上述校正參數(shù)的值。
8.一種固體攝像元件的信號(hào)處理方法，對(duì)固體攝像元件的像素間的混色進(jìn)行校正，該固體攝像元件是包含光電變換元件的像素被二維配置成行列狀、濾色器被配置在上述像素的表面上而構(gòu)成的，其中，該濾色器包含有作為生成亮度成分的主成分的顏色成分和其他顏色成分，該信號(hào)處理方法的特征在于，使用上述固體攝像元件的與關(guān)注像素相鄰的多個(gè)周?chē)袼氐母餍盘?hào)、和對(duì)該各信號(hào)分別獨(dú)立設(shè)定的校正參數(shù)，對(duì)上述關(guān)注像素的信號(hào)進(jìn)行校正處理。
9.一種攝像裝置，其特征在于，具備固體攝像元件，其是包含光電變換元件的像素被二維配置成行列狀、濾色器被配置在上述像素的表面上而構(gòu)成的，其中，該濾色器包含有作為生成亮度成分的主成分的顏色成分和其他顏色成分；光學(xué)系統(tǒng)，將來(lái)自被攝體的光導(dǎo)入上述固體攝像元件；以及校正處理單元，使用上述固體攝像元件的與關(guān)注像素相鄰的多個(gè)周?chē)袼氐母餍盘?hào)、和對(duì)該各信號(hào)分別獨(dú)立設(shè)定的校正參數(shù)，對(duì)上述關(guān)注像素的信號(hào)進(jìn)行校正處理。
全文摘要
提供一種固體攝像元件的信號(hào)處理裝置和信號(hào)處理方法及攝像裝置。在對(duì)多個(gè)周?chē)袼氐拿總€(gè)都使用相同的校正參數(shù)進(jìn)行混色校正時(shí)，不能進(jìn)行與來(lái)自周?chē)袼氐膶?duì)關(guān)注像素的混色程度相應(yīng)的混色校正。在進(jìn)行固體攝像元件的像素間的混色校正的混色校正處理電路(11)中，使用固體攝像元件的與關(guān)注像素相鄰的多個(gè)周?chē)袼氐母餍盘?hào)、和對(duì)該各信號(hào)分別獨(dú)立設(shè)定的校正參數(shù)，對(duì)關(guān)注像素的信號(hào)進(jìn)行校正處理，其中，上述固體攝像元件采用在包含有光電變換元件的像素單元的上方層疊分色濾色器、進(jìn)而在其上層疊聚光用的微型透鏡的結(jié)構(gòu)。
文檔編號(hào)H04N9/07GK1968423SQ200610145478
公開(kāi)日2007年5月23日 申請(qǐng)日期2006年11月17日 優(yōu)先權(quán)日2005年11月17日
發(fā)明者木下雅也, 宇根英輔, 田中正人 申請(qǐng)人:索尼株式會(huì)社