專利名稱：具有插值功能的圖像拾取設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種信號處理設(shè)備，用于通過插值法來增加拾取圖像數(shù)據(jù)的分辨率。
傳統(tǒng)上有一種周知的采用單色CCD的單板型攝像機(jī)。但如

圖1所示，在G-棋盤狀R/B行連續(xù)逼近法(G-checker R/B line sequential method)的CCD輸出中造成混疊。
眾所周知的還有采用兩個和三個CCD的兩板型和三板型攝像機(jī)。但是，使用多個CCD成本提高并且需要復(fù)雜的設(shè)備結(jié)構(gòu)。
還有一種獲得高分辨率的技術(shù)，其通過一個雙壓電晶片或類似物擺動CCD的位置，從而組合多個在不同位置得到的幀圖像。但是這種方法也存在著方法過于復(fù)雜的問題。
因此，本發(fā)明的目的在于提供一種信號處理設(shè)備，該設(shè)備能夠通過對拾取的圖像數(shù)據(jù)插值而獲得一個高分辨率的圖像。
本發(fā)明提供的圖像拾取設(shè)備包括一個圖像拾取元件，具有排列成矩陣狀態(tài)的多個像素，每個像素根據(jù)接收到的光輸出一個樣本信息；相關(guān)值檢測裝置，用于根據(jù)一幀內(nèi)參考樣本附近的多個像素的樣本信息，檢測水平方向中多個樣本信息的相關(guān)值、垂直方向中多個樣本信息的相關(guān)值、和對角線方向中多個樣本信息的相關(guān)值，其中一幀由從圖像拾取元件的各個像素輸出的樣本信息組成；和插值裝置，用于根據(jù)由相關(guān)值檢測裝置檢測到的最大相關(guān)值的方向中的像素樣本信息，對參考樣本的位置進(jìn)行插值。
根據(jù)本發(fā)明的另一方面，還提供了一種信號處理設(shè)備，用于根據(jù)一幀內(nèi)參考樣本的位置進(jìn)行插值，其中一幀由排布成矩陣狀態(tài)的多個像素輸出的樣本信息組成，本發(fā)明還提供一種圖像拾取元件，該元件根據(jù)每個像素接收到的光量輸出樣本信息，根據(jù)參考樣本位置周圍的像素的樣本信息進(jìn)行插值，該設(shè)備包括相關(guān)值檢測裝置，用于根據(jù)參考樣本位置附近的多個像素位置的樣本信息，檢測垂直方向中多個樣本信息的相關(guān)值、水平方向中多個樣本信息的相關(guān)值；和對角線方向中多樣本信息的相關(guān)值；和插值裝置，用于根據(jù)位于由相關(guān)值檢測裝置檢測到的最大相關(guān)值方向的樣本信息，對參考樣本的位置進(jìn)行插值。
根據(jù)本發(fā)明的另一方面，還提供了一種插值方法，用于根據(jù)一幀內(nèi)參考樣本位置附近的多個像素的樣本信息進(jìn)行插值，其中一幀由從具有排布成矩陣狀態(tài)的多個像素的圖像拾取元件輸出的樣本信息組成，每個像素根據(jù)接收到的光量來輸出一個樣本信息，其中，對于參考樣本位置，根據(jù)參考樣本位置附近的多個像素的樣本信息，檢測垂直方向中多個樣本信息的相關(guān)值、水平方向中多個樣本信息的相關(guān)值、和對角線方向中多個樣本信息的相關(guān)值；根據(jù)位于檢測到的最大相關(guān)值方向的樣本信息，對參考樣本的位置進(jìn)行插值。
通過參照附圖對本發(fā)明的詳細(xì)描述，本發(fā)明的優(yōu)點(diǎn)、特征和目的將變得更加清楚，附圖中圖1解釋在采用傳統(tǒng)的低通濾波器或類似物時造成的混疊；圖2是根據(jù)本發(fā)明第一實(shí)施例的圖像拾取設(shè)備的結(jié)構(gòu)框圖；圖3表示上述圖像拾取設(shè)備的CCD圖像傳感器以棋盤形式的分布；圖4表示R-G圖像數(shù)據(jù)被組合在內(nèi)存儲器中的狀態(tài)；圖5表示R-G圖像數(shù)據(jù)的亮度信號信息項的分布；圖6是解釋自適應(yīng)插值的流程圖；圖7是解釋自適應(yīng)插值的流程圖；圖8是解釋自適應(yīng)插值的流程圖；圖9是根據(jù)色散度進(jìn)行自適應(yīng)插值時R和G的狀態(tài)；圖10是執(zhí)行完插值過程后R-G圖像和亮度信號Y的配置；圖11是產(chǎn)生高頻分量的亮度信號YH時的狀態(tài)；圖12是根據(jù)本發(fā)明第二實(shí)施例的圖像拾取設(shè)備的結(jié)構(gòu)框圖；圖13是根據(jù)本發(fā)明第三實(shí)施例的圖像拾取設(shè)備的結(jié)構(gòu)框圖；圖14是根據(jù)本發(fā)明第四實(shí)施例的圖像拾取設(shè)備的結(jié)構(gòu)框圖；圖15是前述拾取設(shè)備的CCD圖像傳感器有效電荷積累周期的時序圖；圖16是前述圖像拾取設(shè)備的自適應(yīng)插值部分的結(jié)構(gòu)框圖；圖17是前述圖像拾取設(shè)備的圖像合成部分的結(jié)構(gòu)框圖；圖18A至圖18D是圖像數(shù)據(jù)的信號電平狀態(tài)；
圖19是前述圖像拾取設(shè)備的另一圖像合成部分的結(jié)構(gòu)框圖；圖20A至20D是圖像數(shù)據(jù)的信號電平狀態(tài)；圖21是根據(jù)本發(fā)明第六實(shí)施例的圖像拾取設(shè)備的結(jié)構(gòu)框圖；圖22是前述圖像拾取設(shè)備的CCD圖像傳感器的像素分布；圖23A和圖23B是存儲在自適應(yīng)插值電路中的R和G圖像數(shù)據(jù)的分布以及插值的亮度信號T的分布；圖24解釋自適應(yīng)插值電路中的自適應(yīng)插值；以及圖25A是傳統(tǒng)的圖像數(shù)據(jù)的光譜特性，和圖25B是已被自適應(yīng)插值的圖像數(shù)據(jù)的光譜特性。
以下參考附圖對本發(fā)明的實(shí)施例進(jìn)行描述。
根據(jù)本發(fā)明第一實(shí)施例的圖像拾取裝置是單板型，其可通過例如合成高頻亮度分量來獲得高分辨率，該高頻分量通過在從單個CCD(電荷耦合器件)得到的各個信號的像素之間插值而產(chǎn)生。
圖2表示根據(jù)第一實(shí)施例的圖像拾取設(shè)備10，其包括由CCD驅(qū)動器12驅(qū)動的單板型CCD圖像傳感器11；相關(guān)的復(fù)式抽樣/自增益控制(CDS/AGC)電路13；A/D轉(zhuǎn)換器14；數(shù)字信號處理器(DSP)15；低通濾波器(LPF)17；緩沖存儲器18；自適應(yīng)插值電路19；高通濾波器(HPF)20；緩沖存儲器21；加法電路22；和視頻編碼器23。
CCD圖像傳感器11是例如順序掃描型的，它包括如圖3所示棋盤狀分布的紅(R)像素、綠(G)像素、和藍(lán)(B)像素。一接收到來自物體的入射光，CCD圖像傳感器就根據(jù)入射光產(chǎn)生彩色信號R、G和B，并將其提供給CDS/AGC電路13。
CDS/AGC電路13對每個彩色信號采樣保持一個預(yù)充電電平和數(shù)據(jù)電平并檢測差值，從而測得精確的信號電平以除去隨機(jī)噪聲，還根據(jù)各個信號的強(qiáng)度自動地控制CDS/AGC電路本身的增益，以使總是輸出信號電平穩(wěn)定的拾取信號。
A/D轉(zhuǎn)換器14設(shè)計成被根據(jù)采樣脈沖驅(qū)動，并將來自CDS/AGC電路13的各個彩色信號轉(zhuǎn)換成數(shù)字信號，以提供給DSP 15。
DSP 15執(zhí)行對各個彩色數(shù)據(jù)執(zhí)行諸如Y校正和拐點(diǎn)處理等所謂數(shù)字信號處理，并將得到三基色的彩色信號提供給LPF 17和自適應(yīng)插值電路19。
LPF 17截止R、G和B各彩色信號的高頻分量，并將低頻分量的彩色數(shù)據(jù)RL、GL和BL經(jīng)緩沖存儲器18提供給加法電路22。
另一方面，自適應(yīng)插值電路19從彩色信號R和G中計算局部像素相關(guān)性，并用最大相關(guān)值的像素進(jìn)行插值，以獲得高分辨率的亮度信號。
此處，向自適應(yīng)插值電路19提供已在DSP 15中經(jīng)過白平衡調(diào)節(jié)的彩色信號R、G和B，從而組合R圖像和G圖像，如圖4所示。因為彩色信號R和彩色信號G已在白平衡調(diào)節(jié)中經(jīng)過調(diào)節(jié)，具有了幾乎一致的信號電平，所以如果注意圖4中虛線包圍的3×3附近的彩色信號R和G的亮度信號Y的信息，就可以假定亮度信號Y1至Y9如圖5分布。
對某一特定方向的像素串Yn，相關(guān)值S可定義為S＝min(Yn)/max(Yn)應(yīng)注意，當(dāng)σ＝1時，S≤1，并得到最大相關(guān)值。
如果對每個垂直、水平和斜線方向計算相關(guān)值，并在最大相關(guān)值的方向進(jìn)行插值，則在與插值方向正交的方向，信號將不需要經(jīng)過LPF，因此正交方向的分辨率不會衰退。換言之，可通過根據(jù)相關(guān)值進(jìn)行插值來提高分辨率。
為了進(jìn)行上述的插值，自適應(yīng)插值電路19執(zhí)行圖6中的步驟，從步驟S1開始。
在步驟S1中，自適應(yīng)插值電路19僅把彩色信號R和G送入內(nèi)存儲器19a，以獲得圖4中的R-G圖像，并將控制傳遞到步驟S2。
在步驟S2中，在初始圖像插值點(diǎn)設(shè)置指針，并將控制傳遞到步驟S3。
在步驟S3中，自適應(yīng)插值電路19計算垂直方向的相關(guān)值a。在此，垂直方向的相關(guān)值a按照下列方程計算。
a＝min(Yn)/max(Yn)min(Yn)＝min(Y1，Y4，Y7)·min(Y2，Y8)·min(Y3，Y6，Y9)max(Yn)＝max(Y1，Y4，Y7)·max(Y2，Y8)·max(Y3，Y6，Y9)自適應(yīng)插值電路19用計算得到的“a”代替變量X，并對應(yīng)于變量X設(shè)定標(biāo)志A。控制傳遞步驟S4。
在步驟S4中，自適應(yīng)插值電路19根據(jù)下列方程計算水平相關(guān)值“b”，并且控制傳遞到步驟S5。
b＝min(Yn)/max(Yn)min(Yn)＝min(Y1，Y2，Y3)·min(Y4，Y5)·min(Y7，Y8，Y9)max(Yn)＝max(Y1，Y2，Y3)·max(Y4，Y5)·max(Y7，Y8，Y9)
在步驟S5中，為了比較垂直相關(guān)值和水平相關(guān)值，自適應(yīng)插值電路19檢測值X是否大于相關(guān)值b。如果X較大，則控制傳遞到步驟S7，而如果X并非較大，則控制傳遞到步驟S6。
在步驟S6中，自適應(yīng)插值電路19用相關(guān)值“b”代替變量X，設(shè)B標(biāo)志，并且控制傳遞到步驟S7。
在步驟S7中，自適應(yīng)插值電路19按照下列方程計算左上方和右下方連線方向(稱為第一對角線方向)的相關(guān)值“c”，并且控制傳遞到步驟S8。
c＝min(Yn)/max(Yn)min(Yn)＝min(Y2，Y6)·min(Y4，Y8)max(Yn)＝max(Y2，Y6)·max(Y4，Y8)在步驟S8中，自適應(yīng)插值電路19檢測變量X是否大于值c。如果變量X大于c值，則控制傳遞到圖7中的步驟S10，如果變量X不大于c，控制傳遞到步驟S9。
在步驟S9中，自適應(yīng)插值電路19用相關(guān)值“c”代替變量X，設(shè)C標(biāo)志，并且控制傳遞到步驟S10。
在步驟S10中，自適應(yīng)插值電路19按照下列方程計算左下方和右上方連線方向(稱為第二對角線方向)的相關(guān)值“c”，并且控制傳遞到步驟S11。
d＝min(Yn)/max(Yn)min(Yn)＝min(Y2，Y4)·min(Y6，Y8)max(Yn)＝max(Y2，Y4)·max(Y6，Y8)在步驟S11中，自適應(yīng)插值電路19檢測相關(guān)值是否大于X。如果變量X大，則控制傳遞到步驟S13，如果X不大，則控制傳遞到步驟S12。
在步驟S12中，自適應(yīng)插值電路19用相關(guān)值“d”代替變量X，設(shè)D標(biāo)志，并且控制傳遞到步驟S13。
在步驟S13中，自適應(yīng)插值電路19判斷對變量X設(shè)定的標(biāo)志是否為A。如果標(biāo)志是A，則執(zhí)行垂直方向的插值(步驟S14)，而如果標(biāo)志不是A，則控制傳遞到步驟S15。在步驟S14中，自適應(yīng)插值電路19對Y5計算垂直方向上亮度信號Y的平均值，如(Y2+Y8)/2，并進(jìn)行垂直方向的插值。
在步驟S15中，自適應(yīng)插值電路19探測標(biāo)志是否為B。如果標(biāo)志是B，則執(zhí)行水平方向的插值(步驟S16)，而如果標(biāo)志不是B，則控制傳遞到步驟S17。在步驟S16中，自適應(yīng)插值電路19對Y5計算水平方向上亮度信號Y的平均值，如(Y4+Y6)/2，并進(jìn)行水平方向的插值。
在步驟S17中，自適應(yīng)插值電路19探測標(biāo)志是否為C。如果標(biāo)志是C，則執(zhí)行第一對角線方向的插值(步驟S18)，而如果標(biāo)志不是C，則控制傳遞到步驟S19。在步驟S18中，自適應(yīng)插值電路19對Y5計算第一對角線方向上亮度信號Y的平均值，如(Y1+Y9)/2，并進(jìn)行該對角線方向的插值。
在步驟S19中，自適應(yīng)插值電路19探測標(biāo)志是否為D。如果標(biāo)志是D，則執(zhí)行第二對角線方向的插值(步驟S20)，而如果標(biāo)志不是D，則控制傳遞到步驟S21。在步驟S20中，自適應(yīng)插值電路19對Y5計算第二對角線方向上亮度信號Y的平均值，如(Y3+Y7)/2，并進(jìn)行該對角線方向的插值。
在步驟S21中，自適應(yīng)插值電路19在下面的圖像插值點(diǎn)設(shè)置一個指針，并且控制傳遞到步驟S22。
在步驟S22中，自適應(yīng)插值電路19檢測指針是否已設(shè)置在最后的圖像插值點(diǎn)。如果發(fā)現(xiàn)指針是設(shè)置在最后的圖像插值點(diǎn)，則插值終止。如果指針沒有設(shè)置在最后的圖像插值點(diǎn)，則控制返回到步驟S3，以執(zhí)行步驟S3及其以后的圖像插值步驟。
如上所述，自適應(yīng)插值電路19可表示成如下的自適應(yīng)插值Y5＝aY1+bY2+cY3+dY4+eY6+fY7+gY8+hY9以得到周圍像素的相關(guān)值并設(shè)為a至h，由此能夠進(jìn)行最佳自適應(yīng)插值。應(yīng)注意到除相關(guān)值外，可計算像素間的相似度。
這里，在步驟S18和步驟S20中，執(zhí)行圖8中的子程序。
在步驟S31中，自適應(yīng)插值電路19計算指針附近的彩色信號R的色散度σ。
同樣彩色的色散度σ表示在一個局部附近與平均值差別的色散。例如，如果色散度σ小，則彩色的相關(guān)值在任何方向都相同，并且得不到自適應(yīng)插值的效果。也就是說，如果σR小，不使用彩色信號R而對彩色信號G在垂直方向和水平方向執(zhí)行自適應(yīng)插值就足夠了。
在此，如果色散度σ按下列定義σ彩色＝min(所有彩色像素)/max(所有彩色像素)于是，圖9的情形表示如下σR＝min(R1，R2，R3，R4)/max(R1，R2，R3，R4)在步驟S32中，自適應(yīng)插值電路19檢測色散度σ是否大于預(yù)定值。如果色散度σ大于預(yù)定值，則控制傳遞到步驟S33，而如果不大于預(yù)定值，則控制傳遞到步驟S34。
在步驟S33中，自適應(yīng)插值電路19按照下列方式進(jìn)行對角線方向的插值。如果從步驟S18開始執(zhí)行處理，則進(jìn)行第一對角線方向的插值。如果從步驟S20開始執(zhí)行處理，則進(jìn)行第二對角線方向的插值，終止子程序。
另一方面，如果在步驟S32中發(fā)現(xiàn)色散度σ不大于預(yù)定值，則控制傳遞到步驟S34，此時，自適應(yīng)插值電路19對具有S3步驟中算出的相關(guān)值“a”的垂直方向執(zhí)行插值，或?qū)哂蠸4步驟中算出的相關(guān)值“b”的水平方向執(zhí)行插值。如果a大于b，則執(zhí)行垂直插值，如果a小于b，則執(zhí)行水平插值，終止子程序。
也就是說，在自適應(yīng)插值電路19中，當(dāng)色散度σ大時，進(jìn)行對角線方向的插值，當(dāng)色散度σ小時，彩色(R)的相關(guān)值幾乎在任何方向都相同，并且自適應(yīng)插值的效果不會很明顯，使得僅在具有最高頻率的G的水平或垂直方向插值而沒有使用R。換言之，當(dāng)色散度σ小時，為了消除彩色圖像R和G的不同電平的自適應(yīng)插值間的輕微差別，僅采用具有最高頻率和最高電平的G進(jìn)行插值，因而能夠得到較高分辨率的圖像。
當(dāng)通過上述過程對亮度信號Y插值時，自適應(yīng)插值電路19向HPF 20提供亮度信號T和彩色R信號及G，如圖10所示。
HPF 20對由自適應(yīng)插值電路19得到的亮度信號的低頻部分進(jìn)行截止，以產(chǎn)生一個如圖11所示的高頻分量的亮度信號YH，并通過緩沖存儲器21將此高頻亮度信號YH提供給加法電路22。
加法電路22將每個彩色信號RL、GL和BL的低頻分量和高頻分量的亮度信號YH組合，并輸出高分辨率的彩色信號R、G和B。另外，視頻編碼器23將產(chǎn)生于加法電路22的高分辨率的彩色信號R、G和B編碼成如NTSC(國家電視制式委員會)型的視頻信號，以提供給外部監(jiān)視設(shè)備(未示出)。
如上所述，在根據(jù)本發(fā)明的圖像拾取設(shè)備10中，通過對來自濾光器設(shè)置中的R和G像素的自適應(yīng)插值，不僅可以提高垂直方向和水平方向的分辨率，也可以提高對角線方向的分辨率。另外，因為該設(shè)備是單板型，所以得到低價格的袖珍型設(shè)備，而這對于獲得同樣高分辨率的未采用分離機(jī)構(gòu)如像素移動機(jī)構(gòu)的3CCD型設(shè)備來說是不可能的。再者，在可不采用像素移動機(jī)構(gòu)或類似機(jī)構(gòu)獲得高分辨率的圖像拾取設(shè)備中，可以利用電子快門。圖像拾取設(shè)備10采用順序掃描型的CCD圖像傳感器11，因此可以得到適宜于個人計算機(jī)監(jiān)視設(shè)備等的無隔行圖像。
以下對本發(fā)明的第二實(shí)施例進(jìn)行描述。應(yīng)注意，在此與第一實(shí)施例中相同的電路用相同的標(biāo)號表示，并且略去對它們的解釋。這對后面其它的實(shí)施例也同樣適用。
圖12是第二實(shí)施例的圖像拾取設(shè)備30的框圖，包括圖像拾取部分30A和計算機(jī)部分30B。在圖像拾取部分30A中得到的彩色信號R、B和G由計算機(jī)部分30B的軟件對其進(jìn)行自適應(yīng)插值。
例如圖12所示，圖像拾取部分30A包括CCD圖像傳感器11；CCD驅(qū)動電路12，用于驅(qū)動CCD圖像傳感器11；CDS/AGC電路13，用于對來自CCD圖像傳感器的各個彩色信號進(jìn)行相關(guān)復(fù)式抽樣和增益控制；A/D轉(zhuǎn)換器14，對來自CDS/AGC電路13的各個彩色信號進(jìn)行數(shù)字化處理；DSP15，用于對來自A/D轉(zhuǎn)換器的數(shù)字化彩色信號進(jìn)行數(shù)字信號處理；和視頻編碼器23，用于將來自DSP 15的彩色信號轉(zhuǎn)換成視頻信號。這些電路具有與第一實(shí)施例相同的功能。
另外，圖像拾取部分30A設(shè)置有簡化的插值電路31，用于對來自DSP 15的各個信號進(jìn)行簡化的插值，還設(shè)置有一個個人計算機(jī)接口(以下簡稱PC接口)32，用于對預(yù)定信號進(jìn)行轉(zhuǎn)換，將彩色信號從DSP 15傳遞到計算機(jī)部分30B，從而輸出插值的彩色信號。圖像拾取部分30A的這種配置使得能夠通過雙向?qū)Ь€33來將各個彩色信號傳遞到計算機(jī)部分30B，并接收來自計算機(jī)部分30B的控制信號。
另一方面，計算機(jī)部分30B包括適于用在個人計算機(jī)中的個人計算機(jī)(PC)接口34，其中多個彩色信號通過雙向?qū)Ь€33傳遞；用于存儲程序及其他的硬盤驅(qū)動(HDD)存儲器35；用于截止來自PC接口34的各個彩色信號高頻分量的LPF 17；用于存儲來自LPF 17的各個彩色信號的緩沖存儲器18；用于對來自PC接口34的各個彩色信號進(jìn)行自適應(yīng)插值的自適應(yīng)插值電路19；用于截止來自自適應(yīng)插值電路19的每個彩色信號低頻分量的HPF 20；用于存儲來自HPF 20的亮度信號的緩沖存儲器21；用于把來自緩沖存儲器18和來自緩沖存儲器21的信號相加的加法電路22；和用于把來自加法電路22的各個彩色信號輸出給監(jiān)視器50的加速器36。
在具有上述結(jié)構(gòu)的圖像拾取設(shè)備30中，CCD圖像傳感器11產(chǎn)生彩色信號R、G和B，通過CDS/AGC電路13和A/D轉(zhuǎn)換器14提供給DSP 15。DSP 15的輸出通過視頻編碼器23轉(zhuǎn)換成視頻信號，并作為VBS(視頻、色同步、同步)信號或亮度、色差信號Y/C輸出。另外，DSP 15的輸出在簡化的插值電路31中進(jìn)行簡化的插值，并作為一個彩色信號輸出或通過PC接口32傳遞給計算機(jī)部分30B。
在計算機(jī)部分30B中，PC接口34把各個彩色信號提供給自適應(yīng)插值電路19和LPF 17。LPF 17從各個彩色信號中除去高頻分量，并將信號通過緩沖存儲器18提供給加法電路22。
自適應(yīng)插值電路19通過執(zhí)行上述的步驟S1至S22和步驟S31至S34進(jìn)行自適應(yīng)插值，并向HPF 20提供亮度信號Y和各個彩色信號R、G和B，如圖10所示。HPF 20從亮度信號Y和各個彩色信號中除去低頻分量，并將得到的高頻的亮度信號YH通過緩沖存儲器21提供給加法電路22。
加法電路22把高頻的亮度信號Y加到來自緩沖存儲器19的各個彩色信號RL、GL和BL上，并通過加速器36把產(chǎn)生的高分辨率的彩色信號R、G和B提供給監(jiān)視器50。
如上所述，在按照第二實(shí)施例的圖像拾取設(shè)備30中，通過個人計算機(jī)中的軟件來進(jìn)行自適應(yīng)插值，這能夠減小圖像拾取部分30A的尺寸和重量以及修正軟件時無需替換圖像拾取部分30A。另外，通過對來自濾光器配置的R和G像素進(jìn)行自適應(yīng)插值，不僅可以提高垂直和水平方向的分辨率，還可以提高對角線方向的分辨率。此外，上述采用單個CCD的袖珍尺寸的圖像拾取設(shè)備30可以以合理的價格得到，同時，還可得到高分辨率并可采用電子快門。另外，因為圖像拾取設(shè)備30采用順序掃描型的CCD圖像傳感器11，所以可以得到無隔行圖像，這更適宜于個人計算機(jī)監(jiān)視器或同類設(shè)備。
以下將對本發(fā)明的第三實(shí)施例進(jìn)行描述。
按照第三實(shí)施例的圖像拾取設(shè)備60尤其適合用于靜態(tài)攝像機(jī)。如圖13所示，圖像拾取設(shè)備60僅僅在圖像拾取部分60A中的主電路拾取的瞬間工作，因而節(jié)省電能，而圖像拾取部分60A最好用在攝像頭單元(CHU)，并當(dāng)計算機(jī)部分60B沒有作出拾取請求時保持在等候模式。
例如，如圖13所示，圖像拾取部分60A包括CCD圖像傳感器11；CDS電路13a，用于對來自CCD圖像傳感器11的各個彩色信號進(jìn)行相關(guān)復(fù)式抽樣；AGC電路13b，用于對來自CDS電路13a的各個彩色信號進(jìn)行增益控制；LPF 61，用于從來自AGC電路13b的各個彩色信號中除去高頻分量；A/D轉(zhuǎn)換器14，用于對來自LPF 61的各個彩色信號進(jìn)行數(shù)字化處理；個人計算機(jī)接口32，用于對來自A/D轉(zhuǎn)換器的各個彩色信號進(jìn)行預(yù)定信號轉(zhuǎn)換；定時發(fā)生器62，用于產(chǎn)生驅(qū)動CCD圖像傳感器11的讀出脈沖等；光闌控制電路63；和透鏡部分64，用于根據(jù)光闌控制電路63調(diào)節(jié)光闌。
把來自定時發(fā)生器62的電子快門脈沖提供給CCD圖像傳感器11，以控制有效的電荷積累周期(電子快門周期)。在此，對于靜態(tài)圖像拾取，把電子快門周期設(shè)定為單幀或幾幀的周期沒有問題。定時發(fā)生器62向CCD圖像傳感器11提供一個低頻時鐘。
PC接口32根據(jù)計算機(jī)部分60B的拾取模式請求啟動主電路的功能，并根據(jù)等候模式請求斷開除PC接口32外的主電路的功能。因此，圖像拾取部分60A在等候模式下抑制能源的消耗，從而節(jié)約了電能。
計算機(jī)部分60B包括個人計算機(jī)接口34；用于存儲程序及其他的HDD存儲器35；信號處理電路65，用于對來自PC接口34的各個彩色信號進(jìn)行預(yù)定信號處理；用于除去來自信號處理電路65的各個彩色信號高頻分量的LPF 17；用于存儲來自LPF 17的各個彩色信號的緩沖存儲器18；用于對來自PC接口34的各個彩色信號進(jìn)行自適應(yīng)插值的自適應(yīng)插值電路19；用于除去來自自適應(yīng)插值電路19的各個彩色信號低頻分量的HPF 20；用于存儲來自HPF 20的各個彩色信號的緩沖存儲器21；用于把來自緩沖存儲器18和來自緩沖存儲器21的信號相加的加法電路22；用于把來自加法電路22的各個彩色信號輸出給監(jiān)視器50的加速器36；和用于向圖像拾取部分60A提供電能的電源電路66。
在計算機(jī)部分60B中的攝像控制軟件工作的同時，通過鍵盤操作進(jìn)行圖像拾取部分60A的模式轉(zhuǎn)換。也就是說，通過計算機(jī)部分60B來進(jìn)行圖像拾取部分60A中的電子快門控制、光闌控制和等候模式控制。還通過計算機(jī)部分60B中的自適應(yīng)插值電路19和信號處理電路65來進(jìn)行對來自圖像拾取部分60A的各個彩色信號的自適應(yīng)插值和數(shù)字信號處理。
在具有上述結(jié)構(gòu)的圖像拾取設(shè)備60中，當(dāng)根據(jù)計算機(jī)部分60B的控制來將設(shè)備設(shè)置在等候模式時，電源電路66不對圖像拾取部分60A供應(yīng)電能，并且除個人計算機(jī)接口32外主電路停止。
當(dāng)圖像拾取部分60A設(shè)置在拾取模式而被供以電源電路66的電能時，主電路的功能開始發(fā)生作用。此時，例如計算機(jī)部分60B，根據(jù)通過鍵盤操作的輸入，可經(jīng)過PC接口32和光闌控制電路63調(diào)節(jié)光闌。
另外，當(dāng)計算機(jī)部分60B向圖像拾取部分60A傳送拾取圖像的請求時，CCD圖像傳感器11經(jīng)過CDS電路13a、AGC電路13b把在單幀周期或幾幀周期中由電子快門周期內(nèi)得到的各個彩色信號提供給PC接口32。PC接口32對各個彩色信號進(jìn)行預(yù)定信號轉(zhuǎn)換處理，然后經(jīng)過雙向?qū)Ь€33提供給PC接口34。
在計算機(jī)部分60B中，信號處理電路65對來自PC接口34的每個彩色信號進(jìn)行數(shù)字信號處理，并將得到的彩色信號通過LPF 17提供給加法電路22和自適應(yīng)插值電路19。從來自信號處理電路65的各個彩色信號R、G和B中，自適應(yīng)插值電路19產(chǎn)生高分辨率的亮度信號Y，并通過HPF 22提供給加法電路22。加法電路22把每個彩色信號RL、GL和BL和高分辨率的亮度信號Y組合以輸出。由此產(chǎn)生高分辨率的彩色信號R、G和B，并通過加速器36提供給監(jiān)視器50。
如上所述，按照第三實(shí)施例的圖像拾取設(shè)備60僅在拾取操作期間啟動圖像拾取部分60A，并當(dāng)處于等候模式時停止圖像拾取部分60A中的主電路的使用，從而能夠節(jié)約電能。另外，圖像拾取設(shè)備60不僅進(jìn)行自適應(yīng)插值，而且通過計算機(jī)部分60B中的軟件處理進(jìn)行數(shù)字信號處理如拐點(diǎn)γ校正，因此可減小圖像拾取部分60A的尺寸和重量，并當(dāng)上述軟件修正時無需更換圖像拾取部分60A。另外，通過采用來自濾光器設(shè)施的R、G和B像素插值，還可以不僅在垂直和水平方向提高分辨率a1，而且在對角線方向亦如此。上述的圖像拾取設(shè)備60是單板型的，因此可以獲得合理的價格及袖珍的尺寸，并能夠在不采用像素移動機(jī)構(gòu)或類似機(jī)制的情況下獲得高的分辨率。
下面將對本發(fā)明第四實(shí)施例的圖像拾取設(shè)備予以描述。按照第四實(shí)施例的圖像拾取設(shè)備采用兩個拾取元件而擴(kuò)大了動態(tài)范圍，能夠獲得高分辨率的圖像。
圖4是本發(fā)明第四實(shí)施例的圖像拾取設(shè)備的結(jié)構(gòu)框圖，包括拾取透鏡81，用于聚焦拾取光束；濾光器82，用于對拾取光束進(jìn)行色彩分離；半反射鏡部分83；CCD圖像傳感器84和86，拾取光束通過半反射鏡部分83進(jìn)入其中；自適應(yīng)插值部分85，用于對來自CCD圖像傳感器84的像素信號進(jìn)行自適應(yīng)插值；自適應(yīng)插值部分87，用于對來自CCD圖像傳感器86的像素信號進(jìn)行自適應(yīng)插值；圖像組合部分88，用于將來自自適應(yīng)插值部分85和87的彩色信號合成；視頻編碼器89，用于把在圖像組合部分88中合成的各個彩色信號轉(zhuǎn)換成預(yù)定的視頻信號；和控制整個設(shè)備的系統(tǒng)控制器90。
在此，CCD圖像傳感器84和86，例如，可以是順序掃描型的，其中，紅像素(R)、綠像素(G)和藍(lán)像素(B)分別布置成如圖3所示的棋盤狀。
如圖15所示，在CCD圖像傳感器84中的有效電荷積累周期(優(yōu)先為電子快門功能)的設(shè)置值小于CCD圖像傳感器86的有效電子積累周期。因此，與CCD圖像傳感器86相比，CCD圖像傳感器84總體上輸出低信號電平的彩色信號。
在此，自適應(yīng)插值部分85和自適應(yīng)插值部分87有著相同的結(jié)構(gòu)。如圖16所示，自適應(yīng)插值部分85和87每個包括CCD/AGC電路13，用于對來自CCD圖像傳感器84、86的各個彩色信號執(zhí)行相關(guān)復(fù)式抽樣；A/D轉(zhuǎn)換器14，用于對來自CDS/AGC電路13的各個彩色信號進(jìn)行數(shù)字化處理；和DSP 15，用于對已被A/D轉(zhuǎn)換器14數(shù)字化的各個彩色信號進(jìn)行數(shù)字信號處理。
自適應(yīng)插值組件85和87每個還包括用于除去來自DSP 15的各個彩色信號的高頻分量的LPF 17；用于存儲來自LPF 17的各個彩色信號的緩沖存儲器18；用于對來自DSP 15的各個彩色信號進(jìn)行自適應(yīng)插值的自適應(yīng)插值電路19；用于除去來自自適應(yīng)插值電路19的各個彩色信號低頻分量的HPF20；用于存儲來自HPF 20的各個彩色信號的緩沖存儲器21；和用于把來自緩沖存儲器18和來自緩沖存儲器21的信號相加的加法電路22。
如圖17所示，圖像組合部分88配置有LPF 91、電平比較器92和開關(guān)電路93，用于有選擇地輸出來自自適應(yīng)插值部分85的低信號電平的各個彩色信號和來自自適應(yīng)插值部分87的正常信號電平的各個彩色信號。
LPF 91從來自自適應(yīng)插值部分85的圖像數(shù)據(jù)中除去不需要的高頻分量，并將得到的彩色信號提供給電平比較器92。
電平比較器92將各個彩色信號HDl的電平與閾值電平Th即如圖18A所示的動態(tài)范圍限定作比較。如果超過閾值電平，則圖像是白區(qū)壓縮的一種。如圖18B所示，如果彩色信號HD1的電平高于該閾值電平，則輸出H電平的開關(guān)控制信號。
開關(guān)電路93有被輸入來自自適應(yīng)插值部分85的彩色信號HD1的端口‘a(chǎn)’和被輸入來自自適應(yīng)插值部分87的彩色信號HD2的端口‘b’。當(dāng)被輸入來自電平比較器92的H電平的開關(guān)控制信號時，開關(guān)電路93輸出供給端口‘a(chǎn)’的彩色信號HD1。當(dāng)被輸入來自電平比較器92的L電平的開關(guān)控制信號時，開關(guān)電路93輸出供給端口‘b’的彩色信號HD2。
換言之，對開關(guān)電路93的端口‘a(chǎn)’提供如圖18A所示的各個彩色信號HD1，而對開關(guān)電路的端口‘b’提供如圖18C所示的各個彩色信號HD2。因為開關(guān)控制信號處于低電平，而沒有彩色信號HD2超過動態(tài)范圍，所以開關(guān)電路93輸出如圖18D所示的彩色信號HD2。當(dāng)有彩色信號HD2超過動態(tài)范圍時，開關(guān)控制信號處于高電平，如圖18D所示，開關(guān)電路93輸出彩色信號HD1。
因此，例如當(dāng)從室內(nèi)對室外照相時，如果彩色信號HD2超過動態(tài)范圍，則圖像組合部分88用彩色信號HD1代替超出動態(tài)范圍的部分，從而能夠擴(kuò)展動態(tài)范圍。
如上所述，圖像拾取設(shè)備80對兩個CCD圖像傳感器的每個輸出信號進(jìn)行自適應(yīng)插值，從而可以得到高分辨率的圖像。另外，通過有選擇地合成不同快門周期的彩色圖像，可以增強(qiáng)動態(tài)范圍。再者，通過采用來自濾光器設(shè)施的R和G像素進(jìn)行自適應(yīng)插值，不僅可以提高垂直和水平方向分辨率，而且在對角線方向亦如此。
還可以在圖像拾取設(shè)備80中的半反射鏡83和CCD8圖像傳感器84之間設(shè)置中灰(ND)濾光器95，并對CCD圖像傳感器84和CCD圖像傳感器86設(shè)置一個相同的快門速度。也就是說，CCD圖像傳感器84接收由ND濾光器95減少的光量，以產(chǎn)生各個彩色信號，并能夠當(dāng)開關(guān)速度提高時以相同的方式產(chǎn)生各個彩色信號。
以下將對第五實(shí)施例的圖像拾取設(shè)備加以描述。
為了去除白區(qū)壓縮和黑區(qū)壓縮，第五實(shí)施例的圖像拾取設(shè)備用可在白區(qū)壓縮校正模式和黑區(qū)壓縮校正模式之間轉(zhuǎn)換的圖像組合部分88a代替圖17中的圖像組合88。
如圖19所示，圖像組合部分88a中的開關(guān)電路94包括被提供來自自適應(yīng)插值部分85的各個彩色信號HD1的端口‘c’和‘f’；被提供來自自適應(yīng)插值部分87的彩色信號HD2的端口‘d’和‘e’；有選擇地輸出提供給端口‘c’和‘d’的彩色信號的開關(guān)94X；和有選擇地輸出提供給端口‘e’和‘f’的彩色信號的開關(guān)94Y。開關(guān)94X和94Y彼此互鎖，它們的開關(guān)由系統(tǒng)控制器90控制。也就是說，如果設(shè)定在白區(qū)壓縮模式，則系統(tǒng)控制器將開關(guān)94X設(shè)置到端口‘c’，將開關(guān)94Y設(shè)置到端口‘e’，而如果設(shè)定在黑區(qū)壓縮模式，則開關(guān)94X被設(shè)置到端口‘d’，開關(guān)94Y被設(shè)置到端口‘f’。開關(guān)94X有選擇地向LPF 91和開關(guān)電路93的端口‘a(chǎn)’輸出各個彩色信號，而開關(guān)94Y有選擇地向開關(guān)電路93的端口‘b’輸出各個彩色信號。
LPF 91除去各個彩色信號中的高頻部分，并將得到的信號提供給電平比較器92。如圖20A所示，電平比較器92將來自LPF 91的各個彩色信號與如圖20B所示的閾值電平Th相比較，并且如果彩色信號的電平高于閾值電平，則輸出開關(guān)控制信號。在此，系統(tǒng)控制器90根據(jù)白區(qū)壓縮校正模式或黑區(qū)壓縮校正模式設(shè)定閾值電平。開關(guān)電路93一接收到來自電平比較器92的H電平的開關(guān)控制信號便輸出提供給端口‘a(chǎn)’的彩色信號，并一接收到來自電平比較器92的L電平的開關(guān)控制信號便輸出提供給端口‘b’的彩色信號。
當(dāng)設(shè)置在黑區(qū)壓縮校正模式時，系統(tǒng)控制器90將開關(guān)94X連接到端口‘d’，將開關(guān)94Y連接到端口‘f’，從而根據(jù)黑區(qū)壓縮校正將閾值電平Th設(shè)置在預(yù)定的水平。在這種狀態(tài)中，開關(guān)電路93的一端‘a(chǎn)’被提供如圖20A所示的各個彩色信號HD2，而端口‘b’被提供如圖20C所示的各個彩色信號HD1。
當(dāng)彩色信號HD1沒有引起黑區(qū)壓縮時，開關(guān)控制信號處于H電平，如圖20所示，并且開關(guān)電路93輸出如圖20D所示的彩色信號HD1。當(dāng)彩色信號HD1引起黑區(qū)壓縮時，開關(guān)控制信號變?yōu)長電平，開關(guān)電路93輸出如圖20D所示的彩色信號HD2。
也就是說，例如，當(dāng)從室外對室內(nèi)照相并且在彩色信號HD1和HD2之一中引起黑區(qū)壓縮時，其它信號插入引起黑區(qū)壓縮的部分，從而能夠輸出沒有黑區(qū)壓縮的彩色信號。
應(yīng)注意當(dāng)設(shè)置在白區(qū)壓縮校正模式時，圖像組合部分88a如下設(shè)置開關(guān)94X設(shè)置到端口‘c’，開關(guān)94Y設(shè)置到端口‘d’。也就是說，圖像組合部分88a變?yōu)榕c圖像組合部分88等同，都能夠輸出沒有白區(qū)壓縮的彩色信號。
下面對本發(fā)明第六實(shí)施例的圖像拾取設(shè)備進(jìn)行描述。
圖21是按照本發(fā)明第六實(shí)施例圖像拾取例子的結(jié)構(gòu)框圖，其包括用于聚焦的拾取透鏡101；濾光器102，用于從拾取的光束中除去高頻分量；分色鏡103，用于將拾取的光束分成三基色紅、綠和藍(lán)；CCD圖像傳感器104R，用于根據(jù)分離的拾取光束輸出彩色信號R；CCD圖像傳感器104G，用于輸出彩色信號G；和CCD圖像傳感器104B，用于輸出彩色信號B。
此處的CCD圖像傳感器104R、104G和104B是順序掃描型。如圖22所示，在CCD圖像傳感器104R和104G中，G和R分布成五點(diǎn)形，其在對角線方向移動像素半個間距。
圖像拾取設(shè)備100還包括CDS/AGC電路13，用于對來自CCD圖像傳感器104R、104G和104B的各個彩色信號進(jìn)行相關(guān)復(fù)式抽樣和增益控制；A/D轉(zhuǎn)換器14，用于對來自CDS/AGC電路13的各個彩色信號進(jìn)行數(shù)字化處理；DSP15，用于對來自A/D轉(zhuǎn)換器的各個彩色信號進(jìn)行數(shù)字信號處理，如γ校正；用于除去來自DSP 15的各個彩色信號的高頻部分的LPF 17；用于存儲來自LPF 17的各個彩色信號的緩沖存儲器18；用于對來自DSP 15的各個彩色信號進(jìn)行自適應(yīng)插值的自適應(yīng)插值電路19；用于除去來自自適應(yīng)插值電路19的各個彩色信號低頻部分并產(chǎn)生高頻亮度信號的HPF 20；用于存儲來自HPF 20的高頻亮度信號的緩沖存儲器21；和用于把來自緩沖存儲器18的彩色信號和來自緩沖存儲器21的亮度信號合成的加法電路22。
在具有上述結(jié)構(gòu)的圖像拾取設(shè)備100中，向自適應(yīng)插值電路19提供來自DSP 15的各個彩色信號R、G和B。彩色信號R和G以圖23A中五點(diǎn)形的分布存儲在自適應(yīng)插值電路19的內(nèi)存儲器19a中。
自適應(yīng)插值電路19在待被插值的彩色信號R和G的五點(diǎn)形分布部分設(shè)置一個指針，并計算垂直和水平方向的相關(guān)性，以在最大相關(guān)值方向進(jìn)行自適應(yīng)插值。
在此，自適應(yīng)插值19被提供彩色信號，該彩色信號在白平衡調(diào)節(jié)后與R和G的電平相同。因此，如果關(guān)注包含于像素數(shù)據(jù)R和G的亮度信號Y的信息，如圖24所示，可以假設(shè)亮度信號Y1至Y4分布在任意的指針Y0附近。因此，滿足下列方程。
Y0＝aY1+bY2+cY3+dY4注意，a至d值由水平和垂直方向的像素相關(guān)性決定。
具體地講，自適應(yīng)插值電路19計算Y1和Y2之間在水平方向上和Y3和Y4之間在垂直方向的電平差，并確定具有較小電平差的方向有較大的相關(guān)值，在該方向進(jìn)行Y0插值。例如，如果水平方向有較大的相關(guān)值，則執(zhí)行下列計算。
Y0＝(Y1+Y2)/2如圖23B所示，對五點(diǎn)形分布的彩色信號R和G在陰影部位內(nèi)插亮度信號，并將所得的信號提供給HPF 20。HPF 20從彩色信號R和G以及亮度信號中除去低頻部分，以產(chǎn)生高分辨率的亮度信號。該亮度信號通過緩沖存儲器21提供給加法電路22。加法電路22將通過LPF 17提供的來自DSP 15的彩色信號R、G和B與高頻部分的亮度信號相加和組合，以產(chǎn)生高分辨率的彩色信號。
加法電路22中產(chǎn)生的如圖25B所示的彩色信號與圖25A所示的傳統(tǒng)的頻譜特性相比，在高頻帶沒有顯示出劣化現(xiàn)象。
也就是說，自適應(yīng)插值電路19進(jìn)行近似的自適應(yīng)插值，從而產(chǎn)生最佳圖像質(zhì)量的彩色信號。
如上所述，圖像拾取設(shè)備100在具有較大相關(guān)值的垂直或水平方向進(jìn)行插值，從而產(chǎn)生較高頻率分量的亮度信號，該亮度信號被相同地加到中或較低頻率的各個彩色信號R、G和B上，以產(chǎn)生高分辨率和最佳圖像質(zhì)量的彩色信號。
如上所述，按照本發(fā)明，對插值點(diǎn)周圍的相對象素進(jìn)行相關(guān)度計算，并在較大相關(guān)值、消除了低頻分量的方向上根據(jù)兩種基色的彩色信號來產(chǎn)生亮度信號，以將高頻和高分辨率的亮度信號與彩色信號合成，從而產(chǎn)生高分辨率的三基色的彩色信號。
按照本發(fā)明的另一方面，如果對角線上將被插值的部分在其周圍有較小的色散度，則在對角線上不進(jìn)行插值而在具有高信號電平和上述較大相關(guān)值的彩色信號的垂直和水平方向上進(jìn)行插值，從而可以獲得高分辨率的圖像。
按照本發(fā)明的另一方面，在垂直、水平或?qū)蔷€方向拾取的各個彩色信號間進(jìn)行插值，從而可根據(jù)每個圖像中各個方向的分辨率程度來提高最低方向的方向分辨率。
按照本發(fā)明的另一方面，不管設(shè)備的類型如何，即單板型或多板型，都可得到高分辨率的圖像。
權(quán)利要求
1.一種圖像拾取設(shè)備，包括一個圖像拾取元件，具有排列成矩陣狀態(tài)的多個像素，每個像素根據(jù)接收到的光來輸出一個樣本信息；相關(guān)值檢測裝置，用于根據(jù)由所述圖像拾取元件的各個像素輸出的樣本信息組成的一幀內(nèi)參考樣本位置附近的多個像素的樣本信息，檢測水平方向中多個樣本信息的相關(guān)值、垂直方向中多個樣本信息的相關(guān)值、和對角線方向中多個樣本信息的相關(guān)值；和插值裝置，用于根據(jù)位于由所述相關(guān)值檢測裝置檢測到的最大相關(guān)值方向的像素的樣本信息，對所述參考樣本的位置進(jìn)行插值。
2.根據(jù)權(quán)利要求1所述的圖像拾取設(shè)備，其中，所述圖像拾取元件還包括為每個像素設(shè)置的第一濾光器、第二濾光器和第三濾光器，所述第一濾光器對于所述多個像素布置成棋盤狀，并從相應(yīng)于第一濾光器的第一像素中輸出第一彩色樣本信息，從相應(yīng)于第二濾光器的第二像素中輸出第二彩色樣本信息，從相應(yīng)于第三濾光器的第三像素中輸出第三彩色樣本信息。
3.根據(jù)權(quán)利要求1所述的圖像拾取設(shè)備，其中，所述相關(guān)值檢測裝置在第一對角線方向檢測相關(guān)值，其中，所述第一對角線方向包含像素的樣本信息，所述像素處于所述參考樣本位置處的右上和左下位置，還檢測第二對角線方向的相關(guān)值，所述第二對角線方向包含像素的樣本信息，所述像素處于所述參考樣本位置處的左上和右下位置。
4.根據(jù)權(quán)利要求1所述的圖像拾取設(shè)備，其中，所述設(shè)備還包括高頻抽取裝置，用于從所述插值裝置的輸出中抽取高頻分量，并輸出所得的分量作為高頻帶亮度樣本信息。
5.根據(jù)權(quán)利要求4所述的圖像拾取設(shè)備，其中，所述設(shè)備還包括組合裝置，用于把所述拾取元件輸出的樣本信息與所述高頻帶亮度樣本信息組合。
6.根據(jù)權(quán)利要求2所述的圖像拾取裝置，其中，所述第一濾光器由允許綠光分量通過的濾光器制成；所述第二濾光器由允許紅光分量通過的濾光器制成；所述第三濾光器由允許藍(lán)光分量通過的濾光器制成，這些濾光器被布置成綠色棋盤和紅/藍(lán)行連續(xù)結(jié)構(gòu)。
7.一種圖像拾取設(shè)備，包括一個圖像拾取元件，具有排列成矩陣狀態(tài)的多個像素和多個第一濾光器、第二濾光器和第三濾光器，所述第一濾光器對于所述多個像素布置成棋盤狀，其中，所述拾取元件從對應(yīng)于第一濾光器的第一像素輸出第一彩色樣本信息、從對應(yīng)于第二濾光器的第二像素輸出第二彩色樣本信息，和從對應(yīng)于第三濾光器的第三像素輸出第三采色樣本信息；和插值裝置，用于根據(jù)從第三像素附近的第一、第二像素輸出的彩色樣本信息，通過插值產(chǎn)生等效于所述第三像素位置的亮度電平分量。
8.根據(jù)權(quán)利要求7所述的圖像拾取設(shè)備，其中，所述插值裝置從像素本身的彩色樣本信息產(chǎn)生等效于所述第一和所述第二像素位置處的亮度電平分量。
9.根據(jù)權(quán)利要求7所述的圖像拾取設(shè)備，其中，所述設(shè)備還包括高頻分量抽取裝置，用于從所述插值裝置的輸出中抽取高頻分量，并輸出所得的分量作為高頻帶亮度樣本信息。
10.根據(jù)權(quán)利要求9所述的圖像拾取設(shè)備，其中，所述設(shè)備還包括組合裝置，用于把從所述拾取元件輸出的第一、第二和第三樣本信息與所述高頻帶亮度樣本信息組合。
11.根據(jù)權(quán)利要求7所述的圖像拾取設(shè)備，其中所述第一濾光器由允許綠光分量通過的濾光器制成；第二濾光器由允許紅光分量通過的濾光器制成；第三濾光器由允許藍(lán)光分量通過的濾光器制成，這些濾光器被布置成綠色棋盤和紅/藍(lán)行連續(xù)結(jié)構(gòu)。
12.根據(jù)權(quán)利要求7所述的圖像拾取設(shè)備，其中，所述設(shè)備還包括相關(guān)值檢測裝置，用于根據(jù)由所述圖像拾取元件的各個像素輸出的第一、第二和第三樣本信息組成的一幀內(nèi)參考樣本位置附近的多個像素的彩色樣本信息，檢測水平方向中多個彩色樣本信息的相關(guān)值、垂直方向中多個彩色樣本信息的相關(guān)值，和對角線方向中多個彩色樣本信息的相關(guān)值，其中，所述插值裝置根據(jù)位于由所述相關(guān)值檢測裝置檢測到的最大相關(guān)值方向的像素的樣本信息，對所述參考樣本的位置進(jìn)行插值。
13.一種圖像拾取設(shè)備，包括一個圖像拾取元件，具有排列成矩陣狀態(tài)的多個像素和多個第一濾光器、第二濾光器和第三濾光器，所述第一濾光器對于所述多個像素布置成棋盤狀；其中所述拾取元件從對應(yīng)于第一濾光器的第一像素輸出第一彩色樣本信息、從對應(yīng)于第二濾光器的第二像素輸出第二彩色樣本信息、和從對應(yīng)于第三濾光器的第三像素輸出第三彩色樣本信息；相關(guān)值檢測裝置，用于根據(jù)由所述圖像拾取元件的各個像素輸出的第一、第二和第三樣本信息組成的一幀內(nèi)參考樣本位置附近的多個像素的彩色樣本信息，檢測水平方向中多個彩色樣本信息的相關(guān)值、垂直方向中多個彩色樣本信息的相關(guān)值、和對角線方向中多個彩色樣本信息的相關(guān)值；色散度檢測裝置，用于檢測對應(yīng)于處在所述參考樣本位置附近的第三濾波器的多個像素的彩色樣本信息的色散度；和插值裝置，用于當(dāng)所述色散度低于閾值時，根據(jù)除涉及所述第三濾光器位置的方向上的相關(guān)值以外的相關(guān)值對所述參考樣本位置進(jìn)行插值。
14.根據(jù)權(quán)利要求13所述的圖像拾取設(shè)備，其中，所述拾取元件是一綠色棋盤和紅/藍(lán)行連續(xù)型濾光器，其由允許綠光分量通過的第一濾光器、允許紅光分量通過的第二濾光器、和允許藍(lán)光分量通過的第三濾光器組成。
15.一種信號處理設(shè)備，用于根據(jù)一幀內(nèi)參考樣本的位置進(jìn)行插值，其中一幀由排布成矩陣狀態(tài)的多個像素輸出的樣本信息組成，其設(shè)置有圖像拾取元件，所述圖像拾取元件根據(jù)由每個像素接收到的光量來輸出樣本信息，根據(jù)所述參考樣本位置周圍的像素的樣本信息進(jìn)行所述插值，所述設(shè)備包括相關(guān)值檢測裝置，用于根據(jù)所述參考樣本位置附近的多個像素的樣本信息，檢測水平方向中多個樣本信息的相關(guān)值、垂直方向中多個樣本信息的相關(guān)值、和對角線方向中多個樣本信息的相關(guān)值；和插值裝置，用于根據(jù)位于由所述相關(guān)值檢測裝置檢測到的最大相關(guān)值方向的像素的樣本信息，對所述參考樣本的位置進(jìn)行插值。
16.根據(jù)權(quán)利要求15所述的信號處理設(shè)備，其中，所述圖像拾取元件還包括對于所述多個像素排列成棋盤狀的第一濾光器、第二濾光器及第三濾光器，所述拾取元件從對應(yīng)于所述第一濾光器的第一像素輸出第一彩色樣本信息、從對應(yīng)于所述第二濾光器的第二像素輸出第二彩色樣本信息、和從對應(yīng)于所述第三濾光器的第三像素輸出第三彩色樣本信息，將其做為所述樣本信息。
17.根據(jù)權(quán)利要求15所述的信號處理設(shè)備，其中，所述相關(guān)值檢測裝置檢測包括位于所述參考位置右上和左下處像素的樣本信息的第一對角線方向上的相關(guān)值，和包括位于所述參考位置左上和右下處像素的樣本信息的第二對角線方向上的相關(guān)值，將其做為對角線方向上樣本信息的相關(guān)值。
18.根據(jù)權(quán)利要求15所述的信號處理設(shè)備，其中，所述裝置還包括高頻抽取裝置，用于從所述插值裝置的輸出中抽取高頻分量，并輸出所抽取的分量作為高亮度樣本信息。
19.根據(jù)權(quán)利要求18所述的信號處理設(shè)備，其中，所述設(shè)備還包括組合裝置，用于把由所述拾取元件輸出的樣本信息與高頻帶亮度樣本信息組合。
20.根據(jù)權(quán)利要求15所述的信號處理設(shè)備，其中，所述拾取元件還包括一綠色棋盤和紅/藍(lán)行連續(xù)型濾光器，其由允許綠光分量通過的第一濾光器、允許紅光分量通過的第二濾光器、和允許藍(lán)光分量通過的第三濾光器組成。
21.一種信號處理設(shè)備，用于對具有排布成矩陣狀的多個像素和相應(yīng)于所述多個像素布置成棋盤狀的多個第一濾光器、多個第二濾光器及第三濾光器的圖像拾取元件的輸出進(jìn)行插值，并從對應(yīng)于所述第一濾光器的第一像素輸出第一彩色樣本信息、從對應(yīng)于所述第二濾光器的第二像素輸出第二彩色樣本信息、和從對應(yīng)于所述第三濾光器的第三像素輸出第三彩色樣本信息，其中所述信號處理設(shè)備包括輸入裝置，用于輸入來自所述圖像拾取元件的所述第一彩色樣本信息、所述第二彩色樣本信息、和所述第三彩色樣本信息；存儲裝置，用于暫時存儲由所述輸入裝置提供的所述第一彩色樣本信息、所述第二彩色樣本信息和所述第三彩色樣本信息；和插值裝置，用于根據(jù)從位于各個第三像素附近的所述第一、第二像素輸出的彩色樣本信息，通過插值產(chǎn)生等效于所述第三像素位置的亮度分量。
22.根據(jù)權(quán)利要求21所述的信號處理設(shè)備，其中，所述插值裝置從這些像素的彩色樣本信息中產(chǎn)生等效于所述第一、第二像素位置的亮度分量。
23.根據(jù)權(quán)利要求21所述的信號處理設(shè)備，其中，所述設(shè)備還包括高頻抽取裝置，用于從所述插值裝置的輸出中抽取高頻分量，并輸出所抽取的分量作為高頻分量亮度樣本信息。
24.根據(jù)權(quán)利要求23所述的信號處理設(shè)備，其中，所述設(shè)備還包括組合裝置，用于把所述拾取元件輸出的第一、第二和第三彩色樣本信息與所述高亮度樣本信息組合。
25.根據(jù)權(quán)利要求21所述的信號處理設(shè)備，其中，所述設(shè)備還包括相關(guān)值檢測裝置，用于根據(jù)由所述圖像拾取元件的各個像素輸出的第一、第二和第三樣本信息組成的一幀內(nèi)參考樣本位置附近的多個像素的彩色樣本信息，檢測垂直方向中多個彩色樣本信息的相關(guān)值、水平方向中多個彩色樣本信息的相關(guān)值、和對角線方向中多個彩色樣本信息的相關(guān)值；其中，所述插值裝置根據(jù)位于所述相關(guān)值檢測裝置檢測到的最大相關(guān)值方向的像素的彩色樣本信息，對所述參考樣本的位置進(jìn)行插值。
26.一種信號處理設(shè)備，用于根據(jù)位于一幀內(nèi)參考樣本位置附近的多個像素的彩色樣本信息進(jìn)行插值，其中一幀由具有排布成矩陣狀態(tài)的多個像素和對應(yīng)于所述多個像素布置成棋盤狀的多個第一濾光器、多個第二濾光器及第三濾光器的圖像拾取元件的像素輸出的第一、第二和第三樣本信息組成，其中，從對應(yīng)于所述第一濾光器的第一像素輸出第一彩色樣本信息、從對應(yīng)于所述第二濾光器的第二像素輸出第二彩色樣本信息、和從對應(yīng)于所述第三濾光器的第三像素輸出第三彩色樣本信息，所述設(shè)備包括相關(guān)值檢測裝置，用于根據(jù)位于所述參考樣本位置附近的多個像素的樣本信息，檢測垂直方向中多個彩色樣本信息的相關(guān)值、水平方向中多個彩色樣本信息的相關(guān)值、和對角線方向中多個彩色樣本信息的相關(guān)值；色散度檢測裝置，用于檢測對應(yīng)于處在所述參考樣本位置附近的第三濾光器的多個像素的彩色樣本信息的色散度；和插值裝置，用于當(dāng)色散度低于閾值時，根據(jù)除涉及所述第三濾光器位置的方向上的相關(guān)值以外的相關(guān)值對所述參考樣本位置進(jìn)行插值。
27.根據(jù)權(quán)利要求26所述的信號處理設(shè)備，其中，所述拾取元件是一種綠色棋盤和紅/藍(lán)行連續(xù)型濾光器，其由允許綠光分量通過的所述第一濾光器、允許紅光分量通過的所述第二濾光器、允許藍(lán)光分量通過的所述第三濾光器組成。
28.一種插值方法，用于根據(jù)一幀內(nèi)參考樣本位置附近的多個像素的樣本信息進(jìn)行插值，其中一幀由具有排布成矩陣狀態(tài)的多個像素的圖像拾取元件輸出的樣本信息組成，每個像素根據(jù)接收到的光量來輸出一個樣本信息，所述插值方法包括如下步驟對于所述參考樣本位置，根據(jù)位于所述參考樣本位置附近的多個像素的樣本信息，檢測垂直方向中多個樣本信息的相關(guān)值、水平方向中多個樣本信息的相關(guān)值、和對角線方向中多個樣本信息的相關(guān)值；和根據(jù)位于檢測到的最大相關(guān)值方向的像素的樣本信息，對所述參考樣本的位置進(jìn)行插值。
29.一種插值方法，用于對具有排布成矩陣狀態(tài)的多個像素和相應(yīng)于所述多個像素布置成棋盤狀的多個第一濾光器、多個第二濾光器及多個第三濾光器的圖像拾取元件的輸出進(jìn)行插值，并從對應(yīng)于所述第一濾光器的第一像素輸出第一彩色樣本信息、從對應(yīng)于所述第二濾光器的第二像素輸出第二彩色樣本信息、和從對應(yīng)于所述第三濾光器的第三像素輸出第三彩色樣本信息，所述方法包括如下步驟輸入來自所述圖像拾取元件的第一彩色樣本信息、第二彩色樣本信息、和第三彩色樣本信息；暫時存儲已經(jīng)輸入的所述第一彩色樣本信息、所述第二彩色樣本信息、和所述第三彩色樣本信息；和根據(jù)從位于各個第三像素附近的第一像素和第二像素輸出的彩色樣本信息，通過插值產(chǎn)生等效于所述第三像素位置的亮度分量。
30.一種插值方法，用于根據(jù)一幀內(nèi)參考樣本位置附近的多個像素位置的彩色樣本信息進(jìn)行插值，其中一幀由具有排布成矩陣狀態(tài)的多個像素和相應(yīng)于所述多個像素布置成棋盤狀的多個第一濾光器、多個第二濾光器及多個第三濾光器的圖像拾取元件輸出的第一、第二和第三彩色樣本信息組成，其中，第一彩色樣本信息由對應(yīng)于所述第一濾光器的第一像素輸出，第二彩色樣本信息由對應(yīng)于所述第二濾光器的第二像素輸出，第三彩色取樣信息由對應(yīng)于所述第三濾光器的第三像素輸出，所述方法包括如下步驟根據(jù)位于所述參考樣本位置附近的多個像素的彩色樣本信息，檢測垂直方向中多個彩色樣本信息的相關(guān)值、水平方向中多個彩色樣本信息的相關(guān)值、和對角線方向中多個彩色樣本信息的相關(guān)值；檢測對應(yīng)于處在所述參考樣本位置附近的第三濾光器的多個像素的彩色樣本信息的色散度；和當(dāng)所述色散度低于閾值時，根據(jù)除涉及所述第三濾光器位置的方向上的相關(guān)值以外的相關(guān)值對所述參考樣本位置進(jìn)行插值。
全文摘要
一種自適應(yīng)插值電路,可獲得高分辨率圖像,其中該電路被供與已在DSP中經(jīng)過白平衡調(diào)節(jié)的圖像數(shù)據(jù)R、G和B,并且R－G圖像在內(nèi)存儲器中組合。自適應(yīng)插值電路計算垂直方向、水平方向和對角線方向上的相關(guān)值。如果根據(jù)具有最大相關(guān)值方向上的R－G圖像進(jìn)行插值,則不執(zhí)行LPF處理,即在垂直正交方向上不引起分辨率下降。亦即,自適應(yīng)插值電路可根據(jù)被插值部分周圍的圖像數(shù)據(jù)的相關(guān)值通過插值提高分辨率。
文檔編號G06T3/40GK1189044SQ97126459
公開日1998年7月29日 申請日期1997年11月18日 優(yōu)先權(quán)日1996年11月18日
發(fā)明者納田重利 申請人:索尼公司