專利名稱：圖像拾取裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種數(shù)字圖像拾取裝置以及，更具體地，涉及一種數(shù)字圖像拾取裝置，其利用比裝配在該圖像拾取裝置上的圖像傳感器件像素數(shù)量更少的像素，快速生成高質(zhì)量的圖像。
背景技術(shù)：
隨著個人電腦的快速普及，將數(shù)字相機作為圖像輸入設(shè)備的需求正在增加。并且，廣泛地使用如數(shù)字視頻錄像機之類的高質(zhì)量的錄像裝置作為視頻錄像機。
電子照相機的圖像質(zhì)量由幾個因素決定。特別地，圖像傳感元件的像素數(shù)量是所感應的圖像的分辨率的非常重要的因素。最近的某些商品化的電子照相機具有超過5百萬的像素。然而，并不是所有的應用目的都需要5百萬像素的數(shù)據(jù)。顯示在互聯(lián)網(wǎng)的網(wǎng)頁上的圖像通常，如果有的話，具有較小的像素尺寸。
在目前的數(shù)字相機中，從圖像傳感元件到圖像存儲器的發(fā)送時間(flashing time)是瓶頸。大多數(shù)具有大量像素的型號不能進行高速連續(xù)拍攝。并且，即使數(shù)字相機也需要具有視頻感應功能作為一種附加的功能。因此，必須高速完成向存儲器的傳輸。為了這個目的，最好預先減少將要處理的數(shù)據(jù)量。
如果輸出圖像的像素數(shù)量小于圖像傳感元件的像素數(shù)量，要使用的像素數(shù)量是預先限定的。因此，可以減少從圖像傳感元件傳輸?shù)酱鎯ζ鞯臄?shù)據(jù)量，并且可以增加存儲器傳輸速度。
在利用線性插值的尺寸減小中，利用全部的像素產(chǎn)生具有大尺寸的圖像。然后，利用線性插值產(chǎn)生具有小尺寸的圖像。


圖15顯示了一種情形，其中的全彩色縮小圖像是利用雙線性插值采樣從一個拜爾(Bayer)矩陣產(chǎn)生的。在圖15顯示的雙線性插值中，A、B、C和D點的全彩色數(shù)據(jù)是從12個相鄰點的R、G和B數(shù)據(jù)計算得到的。更具體地，利用R43，R45，R63，R65，B34，B36，B54，B56，G44，G53，G55以及G64的線性組合，得到點A的全彩色數(shù)據(jù)。類似地，利用R03，R05，R23，R25，B14，B16，B34，B36，G15，G24，G26以及G35的線性組合，得到點B的全彩色數(shù)據(jù)。此過程同樣應用于點C和D。
圖16顯示了一種情形，其中的全彩色縮小圖像是利用雙三次插值采樣從一個拜爾矩陣產(chǎn)生的。在圖16所示的雙三次插值中，點的全彩色數(shù)據(jù)是從48個相鄰點的R，G和B數(shù)據(jù)計算得到的。例如，點B的全彩色數(shù)據(jù)是利用R61，R63，R65，R67，R01，R03，R05，R07，R21，R23，R25，R27，R41，R43，R45，R47，B72，B74，B76，B70，B12，B14，B16，B10，B32，B34，B36，B30，B52，B54，B56，B50，G75，G04，G06，G13，G15，G17，G22，G24，G26，G20，G33，G35，G37，G44，G46和G55線性組合得到的。
這樣利用線性插值調(diào)整尺寸可以確保高的圖像質(zhì)量。然而，由于使用全部像素數(shù)據(jù)進行插值，運算量大。因此，此方法對于上述的連續(xù)拍攝功能或者視頻傳感并不合適。
有一種減少存儲器讀取數(shù)據(jù)量的方法，其中圖像傳感元件增加了積分功能，從而使得能夠通過讀出少量的平均數(shù)據(jù)產(chǎn)生縮小的圖像。日本專利申請公開No.2001-245141公報公開了使用此方法的一種高速圖像縮小方法。
日本專利申請公開No.2001-016441公報公開了一種裝置，進行數(shù)據(jù)縮減(thinning)并且也校正在分辨率數(shù)量受限制時的數(shù)據(jù)變形。此參考文獻的一個實施例公開了利用具有600dpi分辨率的裝置創(chuàng)建400-dpi數(shù)據(jù)。當直接縮減600-dpi數(shù)據(jù)時，數(shù)據(jù)發(fā)生變形。為了解決這個問題，利用線性插值從該600-dpi數(shù)據(jù)中產(chǎn)生像素數(shù)據(jù)，用于補償位置變形。
在日本專利申請公開No.2001-245141公報中公開的方法對于縮減比率約為20％或者更少的縮小是有效的。然而，在高縮減比率(大約40％或者更高)的縮小中，僅僅通過積分平均不能消除讀出像素位置造成的圖像變形。因此，當在大范圍內(nèi)以縮小尺寸改變尺寸時，難以形成高質(zhì)量的圖像。
日本專利申請公開No.2001-16441公報中公開的裝置，通過利用掃描獲得的600-dpi數(shù)據(jù)完全地進行插值，創(chuàng)建了400-dpi數(shù)據(jù)。本發(fā)明公開了一種關(guān)于隔行掃描的新技術(shù)，其處理由于讀取時間的限制，基本分辨率數(shù)據(jù)(在日本專利申請公開No.2001-16441公報中，通過掃描獲得的600-dpi的數(shù)據(jù))不能被全部讀取的情況。例如，在日本專利申請公開No.2001-16441公報中，從圖6(b)所示的縮減數(shù)據(jù)陣列創(chuàng)建沒有變形的數(shù)據(jù)陣列。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的圖像拾取裝置包括圖像傳感器件。該圖像傳感器件包括光電轉(zhuǎn)換元件，其將光學圖像進行光電轉(zhuǎn)換，以獲得圖像數(shù)據(jù)；以及讀取控制單元，其按照需要縮減像素，并讀取由光電轉(zhuǎn)換元件獲得的圖像數(shù)據(jù)。該圖像拾取裝置進一步包括區(qū)域設(shè)置單元，其設(shè)置來自圖像傳感器件的輸出圖像的區(qū)域；讀取規(guī)則選擇單元，其根據(jù)區(qū)域設(shè)置單元的區(qū)域設(shè)置，選擇讀取控制單元的像素縮減讀取規(guī)則，以及一個變形校正單元，其校正由讀取控制單元從光電轉(zhuǎn)換器件讀取的圖像數(shù)據(jù)的變形。該變形校正單元包括濾波處理單元，其基于由讀取規(guī)則選擇單元選擇的像素縮減讀取規(guī)則，對從光電轉(zhuǎn)換元件讀取的圖像數(shù)據(jù)進行濾波處理。
附圖簡述圖1為示出了根據(jù)本發(fā)明的第一實施例的圖像拾取裝置的設(shè)置的框圖；圖2示出了一個例子，其中的圖像在垂直方向上具有經(jīng)過14/16縮小變換的RG/GB拜爾矩陣；圖3示出了一種情形，其中變換前的16個像素中從上側(cè)起第八和第九像素數(shù)據(jù)在圖2所示的轉(zhuǎn)換中的被忽略；圖4示出了一個例子，例子中在水平和垂直方向上均縮減了16個像素中的兩個；圖5示出了對像素數(shù)據(jù)左側(cè)第一列的數(shù)據(jù)的進行變形校正的變換，其中該像素數(shù)據(jù)根據(jù)圖4所示的例子進行了縮減；圖6示出了用于包括單芯片彩色圖像傳感元件的光電轉(zhuǎn)換元件的濾波處理單元的設(shè)置；圖7示出了用于包括單色圖像傳感元件或者多芯片彩色圖像傳感元件的光電轉(zhuǎn)換元件的濾波處理單元的設(shè)置；圖8為流程圖，示出了變形校正處理的流程；圖9示出了一個例子，其中在水平和垂直方向上均縮減了8個像素中的兩個；圖10為示出了根據(jù)本發(fā)明的第二實施例的圖像拾取裝置的設(shè)置的框圖；圖11示出了利用重復6/8縮減讀取的讀取中的幀讀取范圍，其中讀取范圍的讀取開始位置與光電轉(zhuǎn)換元件的像素矩陣的左上像素相對應；圖12示出了利用重復6/8縮減讀取的讀取中的幀讀取范圍，其中讀取范圍的讀取結(jié)束位置與光電轉(zhuǎn)換元件的像素矩陣的右下像素相對應；
圖13示出了通過對14像素中的兩個進行縮減讀取(6/7尺寸變化)然后進行連續(xù)幀之間的平均化處理而獲得的圖像；圖14示出了通過在對14像素中的兩個進行縮減讀取(6/7尺寸變化)同時進行變形校正(像素數(shù)據(jù)插值)，然后在連續(xù)幀之間進行平均化處理而獲得的圖像；圖15示出了一種情形，其中的全彩色縮減圖像是利用雙線性插值采樣從一個拜爾矩陣產(chǎn)生的；圖16示出了一種情形，其中的全彩色縮減圖像是利用雙三次插值采樣從一個拜爾矩陣產(chǎn)生的；以及圖17為示出了根據(jù)本發(fā)明的第三實施例的圖像拾取裝置的設(shè)置的框圖。
發(fā)明詳述下面將參照附圖描述本發(fā)明的實施例。
第一實施例圖1示出了根據(jù)本發(fā)明第一實施例的圖像拾取裝置的設(shè)置。圖像拾取裝置100具有成像光學系統(tǒng)110和圖像傳感器件120。成像光學系統(tǒng)110形成物體的光學圖像。圖像傳感器件120在由成像光學系統(tǒng)110形成的光學圖像的預定區(qū)域中輸出一個圖像信號。圖像傳感器件120具有二維光電轉(zhuǎn)換元件(圖像傳感元件)122和讀取控制單元124。該光電轉(zhuǎn)換元件122對由成像光學系統(tǒng)110形成的光學圖像進行光電轉(zhuǎn)換并獲取數(shù)字圖像數(shù)據(jù)(像素數(shù)據(jù)組)。該讀取控制單元124按需要對由光電轉(zhuǎn)換元件122獲得的圖像數(shù)據(jù)進行像素縮減，并讀取該圖像數(shù)據(jù)。
圖像拾取裝置100還具有區(qū)域設(shè)置單元132，讀取規(guī)則選擇單元134，以及變形校正單元140。區(qū)域設(shè)置單元132設(shè)置圖像的區(qū)域(即，上述的預定區(qū)域)用于輸出(顯示)(即，指定要顯示的圖像的尺寸和位置)。根據(jù)由區(qū)域設(shè)置單元132設(shè)置的區(qū)域，讀取規(guī)則選擇單元134選擇讀取控制單元124的像素縮減讀取規(guī)則。變形校正單元140校正通過讀取控制單元124從光電轉(zhuǎn)換元件122讀取的數(shù)字圖像數(shù)據(jù)的變形。
在由讀取規(guī)則選擇單元134選擇的像素縮減讀取規(guī)則的基礎(chǔ)上，讀取控制單元124讀取相應于在光電轉(zhuǎn)換元件122的像素矩陣范圍的像素數(shù)據(jù)。結(jié)果，從圖像傳感器件120輸出縮減的圖像數(shù)據(jù)。
變形校正單元140具有濾波處理單元142和濾波系數(shù)設(shè)置單元144。濾波處理單元142對通過讀取控制單元124從光電轉(zhuǎn)換元件122讀取的數(shù)字圖像數(shù)據(jù)進行濾波處理。根據(jù)由讀取規(guī)則選擇單元134選擇的像素縮減讀取規(guī)則，濾波系數(shù)設(shè)置單元144設(shè)置用于使用濾波處理單元142進行的濾波處理的濾波系數(shù)。
濾波系數(shù)設(shè)置單元144具有LUT存儲單元146和濾波系數(shù)選擇單元148。LUT存儲單元146存儲包含有多個濾波系數(shù)的查找表(LUT)。濾波系數(shù)選擇單元148從存儲在LUT存儲單元146中的查找表中選擇濾波系數(shù)。
濾波系數(shù)設(shè)置單元144不必一定有LUT存儲單元146和濾波系數(shù)選擇單元148。濾波系數(shù)設(shè)置單元144可以通過進行相應于由讀取規(guī)則選擇單元134選擇的像素縮減讀取規(guī)則的運算處理，從而計算濾波系數(shù)。
雖然運算處理的工作量可能不大，但是使用LUT的濾波系數(shù)設(shè)置單元144需要一個大的存儲容量來存儲LUT。另一方面，盡管運算處理的工作量大，不使用LUT的濾波系數(shù)設(shè)置單元144也不需要大的存儲容量。
圖像拾取裝置100還具有圖像信號處理單元152和圖像顯示單元154。圖像信號處理單元152對來自變形校正單元140輸出的變形校正后的圖像信號輸出進行預定的處理(例如，白平衡，灰度級轉(zhuǎn)換，或者邊緣增強)。圖像顯示單元154根據(jù)來自圖像信號處理單元152輸出的圖像信號而顯示圖像。此外，圖像拾取裝置100具有圖像記錄單元156，其根據(jù)圖像信號處理單元152輸出的圖像信號記錄圖像。
當區(qū)域設(shè)置單元132沒有設(shè)置區(qū)域時，圖像拾取裝置100在圖像顯示單元154上直接顯示由光電轉(zhuǎn)換元件122獲得的圖像數(shù)據(jù)。即，顯示所有的圖像數(shù)據(jù)的像素數(shù)據(jù)。因此，圖像顯示單元154顯示與成像光學系統(tǒng)110形成的光學圖像相同的圖像。
區(qū)域設(shè)置單元132包括，例如，圖形用戶接口(GUI)，用于圖像顯示單元154的屏幕。因此，通過在顯示在圖像顯示單元154屏幕上的圖像上操作按鈕或者鼠標，用戶可以指定期望的范圍。
圖像傳感器件120可以進行縮減讀取操作。利用縮減讀取操作，圖像傳感器件120可以在比讀取所有像素更短的時間內(nèi)讀取在光電轉(zhuǎn)換元件122上的指定區(qū)域內(nèi)的像素。
例如，當光電轉(zhuǎn)換元件122為使用CMOS的圖像傳感元件時，圖像傳感器件120可以通過在水平和垂直方向上都使用位移寄存器，指定一個讀取位置。
更具體地，將第j行的第i個元素定義為C(i，j)。從這里開始，水平方向上的像素定義為C(i+1，j)，C(i+2，j)，C(i+3，j)，C(i+4，j)，C(i+5，j)，C(i+6，j)，C(i+7，j)，C(i+8，j)，...在這種情況下，可以在任意水平位置縮減和讀取數(shù)據(jù)，如C(i+1，j)，C(i+2，j)，C(i+3，j)，C(i+4，j)，C(i+7，j)，C(i+8，j)，...。
這同樣可以應用于垂直方向。在行方向上排列的像素，即，第j行，第(j+1)行，第(j+2)行...可以在任意行被縮減。
當光電轉(zhuǎn)換元件122為CCD時，其在水平方向上進行電荷轉(zhuǎn)移時讀取數(shù)據(jù)。由于這個原因，圖像傳感器件120讀取在水平方向上的所有像素，但是可以在垂直方向上縮減數(shù)據(jù)。
變形校正單元140使用忽略的信息插值縮減的數(shù)字圖像數(shù)據(jù)，并還進行用于尺寸變換的濾波處理。即，在此說明書中，變形校正意味著同時進行“插值”和“尺寸變換”。
在上述的雙線性插值中(圖15)，如果尺寸變換限于有理數(shù)(整數(shù)之比)，并重復兩次線性插值，算法得到簡化。圖2示出了一個例子，其中具有RG/GB拜爾矩陣的圖像在水平方向上經(jīng)受14/16的縮減變換。參照圖2，上面的部分說明了在縮減變換之前的一維像素數(shù)據(jù)陣列，下面的部分說明了在縮減變換之后的一維像素數(shù)據(jù)陣列。
此變換可以由下面給出的矩陣表達。
Rc0Rc1Rc2Rc3Rc4Rc5Rc6Rc7Rc8Rc9Rc10Rc11Rc12Rc13=10000000000000000131401140000000000000012140214000000000000001114031400000000000000101404140000000000000091405140000000000000081406140000000000000071407140000000000000061408140000000000000051409140000000000000041401014000000000000003140111400000000000000214012140000000000000011401314Ri0Gi1Ri2Gi3Ri4Gi5Ri6Gi7Ri8Gi9Ri10Gi11Ri12Gi13Ri14Gi15...(1)]]>在等式(1)中，Ri2p和Gi2p+1(p為整數(shù)，0≤p≤7)代表光電轉(zhuǎn)換元件122中水平方向上連續(xù)排列的像素的像素數(shù)據(jù)，并具有相應于在水平方向排列的像素位置的連續(xù)下標。Rc2q和Gc2q+1(q為整數(shù)，0≤q≤6)代表轉(zhuǎn)換后的像素數(shù)據(jù)，并具有相應于在水平方向排列的像素位置的連續(xù)下標。
例如，使用Ri2和Ri4，變換后的Rc2表示為Rc2=1214Ri2+214Ri4...(2)]]>等式(1)一般地表達了從16個像素到14個像素的變換，其中每一像素以上述的方式變換。
圖3示出了變換前16個像素的狀態(tài)，在圖2所示的變換中從左側(cè)起第八和第九像素數(shù)據(jù)被忽略。在此情況下，通過利用相同通道的像素數(shù)據(jù)Ri6和Ri10以及Gi9和Gi11，根據(jù)Ri8=Ri6+Ri102,Gi9=Gi7+Gi112...(3)]]>被忽略的像素數(shù)據(jù)Ri8和Gi9被線性插值。
如果根據(jù)等式(3)替換等式(1)中的Ri8和Gi9，我們得到Rc0Gc1Rc2Gc3Rc4Gc5Rc6Gc7Rc8Gc9Rc10Gc11Rc12Gc13=10000000000000000131401140000000000000012140214000000000000001114031400000000000000101404140000000000000091405140000000000000081406140000000000000071407140000000000000061408140000000000000051409140000000000000041401014000000000000003140111400000000000000214012140000000000000011401314Ri0Gi1Ri2Gi3Ri4Gi5Ri6Gi7Ri6+Ri102Gi7+Gi112Ri10Gi11Ri12Gi13Ri14Gi15...(4)]]>等式(4)右側(cè)的十六數(shù)據(jù)陣列Ri0，Gi1，...，Ri14和Gi15可以表示為
Ri0Gi1Ri2Gi3Ri4Gi5Ri6Gi7Ri6+R102Gi7+Gi112Ri10Gi11Ri12Gi13Ri14Gi15=100000000000000100000000000000100000000000000100000000000000100000000000000100000000000000100000000000000100000000000012012000000000000120120000000000001000000000000001000000000000001000000000000001000000000000001000000000000001Ri0Gi1Ri2Gi3Ri4Gi5Ri6Gi7Ri10Gi11Ri12Gi13Ri14Gi15...(5)]]>如果將其代入等式(4)中，我們得到Rc0Gc1Rc2Gc3Rc4Gc5Rc6Gc7Rc8Gc9Rc10Gc11Rc12Gc13=10000000000000000131401140000000000000012140214000000000000001114031400000000000000101404140000000000000091405140000000000000081406140000000000000071407140000000000000061408140000000000000051409140000000000000041401014000000000000003140111400000000000000214012140000000000000011401314100000000000000100000000000000100000000000000100000000000000100000000000000100000000000000100000000000000100000000000012012000000000000120120000000000001000000000000001000000000000001000000000000001000000000000001000000000000001Ri0Gi1Ri2Gi3Ri4Gi5Ri6Gi7Ri10Gi11Ri12Gi13Ri14Gi15...(6)]]>如果計算等式(6)中矩陣的乘積，我們得到
Rc0Gc1Rc2Gc3Rc4Gc5Rc6Gc7Rc8Gc9Rc10Gc11Rc12Gc13=10000000000000013140114000000000000121402140000000000001114031400000000000010140414000000000000914051400000000000011140314000000000000212807280000000000314011140000000000005280232800000000000041401014000000000000314011140000000000002140121400000000000011401314Ri0Gi1Ri2Gi3Ri4Gi5Ri6Gi7Ri10Gi11Ri12Gi13Ri14Gi15...(7)]]>此變換等效于等式(4)，并且有相應于14個像素數(shù)據(jù)輸入的14個像素數(shù)據(jù)輸出。換句話說，經(jīng)過14/16縮減變換后，此變換從除像素數(shù)據(jù)Ri8和Gi9之外的14個像素數(shù)據(jù)中，獲得了14個像素數(shù)據(jù)。
圖4示出了一個例子，其中在水平和垂直兩個方向上縮減了16個像素中的兩個。在這個例子中，在水平和垂直兩個方向上的第八和第九像素被縮減。
圖5示出了根據(jù)圖4中示出的例子縮減的像素數(shù)據(jù)的左側(cè)第一列的變換。如圖5所示，在垂直方向上實際讀取的像素數(shù)據(jù)為14個數(shù)據(jù)Ri0，Gi1，Ri2，Gi3，Ri4，Gi5，Ri6，Gi7，Ri10，Gi11，Ri12，Gi13，Ri14，以及Gi15。
等式(7)等效于一種變換，經(jīng)過14/16縮減變換后，此變換從除去被縮減的第八(第八行)和第九(第九行)像素數(shù)據(jù)外的14個像素數(shù)據(jù)中，獲得了14個像素數(shù)據(jù)。
從由等式(7)的矩陣表達的線性運算的等式中，可以清楚地知道，由于進行了像素縮減，在變形校正后不同位置上的像素數(shù)據(jù)Rc6和Rc8由原始像素數(shù)據(jù)Ri6和Ri10的加權(quán)線性和表示，由Rc6=1114Ri6+314Ri10Rc8=314Ri6+1114Ri10...(8)]]>表示。用于獲得像素數(shù)據(jù)Rc8的像素數(shù)據(jù)與用于獲得像素數(shù)據(jù)Rc6的像素數(shù)據(jù)相同。更具體地，用于獲得像素數(shù)據(jù)Rc8的像素數(shù)據(jù)，與此之前(即，相位發(fā)生變化)用于獲得從像素數(shù)據(jù)Rc1到Rc6的像素數(shù)據(jù)的順序不同。這同樣應用在像素數(shù)據(jù)Gc7和Gc9上。
如圖5所示，實際讀取的像素數(shù)據(jù)為14個數(shù)據(jù)Ri0，Gi1，Ri2，Gi3，Ri4，Gi5，Ri6，Gi7，Ri10，Gi11，Ri12，Gi13，Ri14，以及Gi15。這些數(shù)據(jù)由Rj0，Gj1，Rj2，Gj3，Rj4，Gj5，Rj6，Gj7，Rj8，Gj9，Rj10，Gj11，Rj12，以及Gj13給出。即Ri0Gi1Ri2Gi3Ri4Gi5Ri6Gi7Ri10Gi11Ri12Gi13Ri14Gi15=Rj0Gj1Rj2Gj3Rj4Gj5Rj6Gj7Rj8Gj9Rj10Gj11Rj12Gj13...(9)]]>如上所述，Ri2p和Gi2p+1(p為整數(shù)，0≤p≤7)代表在光電轉(zhuǎn)換元件122中排列在水平方向上的像素的像素數(shù)據(jù)。不連續(xù)的下標代表在讀取中被縮減的數(shù)據(jù)。Rj2r和Gj2r+1(r為整數(shù)，0≤r≤6)代表像素縮減讀取實際讀取的像素，并且具有相應于讀取順序的連續(xù)下標。
當用等式(9)帶入等式(7)，我們得到Rc0Gc1Rc2Gc3Rc4Gc5Rc6Gc7Rc8Gc9Rc10Gc11Rc12Gc13=10000000000000013140114000000000000121402140000000000001114031400000000000010140414000000000000914051400000000000011140314000000000000212807280000000000314011140000000000005280232800000000000041401014000000000000314011140000000000002140121400000000000011401314Rj0Gj1Rj2Gj3Rj4Gj5Rj6Gj7Rj8Gj9Rj10Gj11Rj12Gj13...(10)]]>此變形校正變換從利用像素縮減讀取而實際順序讀取的14個像素，獲得14/16縮減變換之后的14個像素數(shù)據(jù)。
上述的線性變形校正可以以下面的方式擴展至二維陣列。
等式(10)表示為C＝A·B ...(11)其中，A為進行線性變形補償(即，在上述的例子中，針對利用縮減16個像素中的兩個得到的14個像素數(shù)據(jù)的變形補償)的變換矩陣，B為代表變形補償之前像素數(shù)據(jù)的n(行)×1(列)的矩陣，C為代表變形補償之后像素數(shù)據(jù)的n(行)×1(列)的矩陣。圖4中所示的讀取數(shù)據(jù)用矩陣Di表示為
等式(12)中，在被省略的部分下面劃線。假設(shè)D0為均勻的14(像素)×14(像素)陣列。在水平方向的變形校正之后，用于垂直方向上的變形校正的變換，利用在等式(11)中的A表示為Dc＝A·AT·Di...(13)其中AT為A的轉(zhuǎn)置矩陣。
該線性校正變換，即，從等式(4)到等式(7)的重寫，也可以如下看待。
(1)當在位置X的像素數(shù)據(jù)被讀取，并且在位置X+2的像素數(shù)據(jù)也被讀取時，等式(4)中的系數(shù)直接被用作像素數(shù)據(jù)的加權(quán)系數(shù)。
(2)當在位置X的像素數(shù)據(jù)被讀取，并且在位置X+2的像素數(shù)據(jù)未被讀取，而在位置X+4的像素數(shù)據(jù)被讀取作為代替時。在位置X的像素數(shù)據(jù)的加權(quán)系數(shù)x變?yōu)閤′＝0.5(x+1)。在位置X+4的像素數(shù)據(jù)的加權(quán)系數(shù)為變化的系數(shù)x′到1的殘差，即1-x′。
(3)當在位置X的像素數(shù)據(jù)未被讀取，并且在位置X+2的像素數(shù)據(jù)被讀取時，位置X的讀取位置前移兩位到X-2。在位置X-2的像素數(shù)據(jù)的加權(quán)系數(shù)x變?yōu)閤′＝0.5x。在位置X+2的像素數(shù)據(jù)的加權(quán)系數(shù)為變化的系數(shù)到1的殘差，即1-x′。
因此，通過使用CPU的運算處理功能可以從讀取規(guī)則直接計算出變形校正系數(shù)，從而替代了通過利用查找表(LUT)使像素的讀取位置對應于校正系數(shù)進行變形校正。
單芯片彩色圖像傳感元件的概括圖6示出了濾波處理單元的配置，其對光電轉(zhuǎn)換元件122利用流水線處理進行等式(7)表達的變換，其中在光電轉(zhuǎn)換元件112中包括設(shè)置在前表面上的、具有彩色濾波器陣列(CFA)的單芯片彩色圖像傳感元件。
此濾波處理單元具有一個移位寄存器162，兩個選擇器164和166，兩個乘法器174和176，以及一個加法器178。從單芯片彩色圖像傳感元件讀取的圖像信號輸入到移位寄存器162。選擇器164和166選擇讀取位置，在該位置從移位寄存器162中讀出圖像信號。乘法器174和176分別用校正系數(shù)k1和k2乘以由選擇器164和166從移位寄存器162中讀出的圖像信號。加法器178將來自兩個乘法器174和176的運算結(jié)果相加。該濾波處理單元利用流水線處理，校正從單芯片彩色圖像傳感元件讀出的圖像信息的變形，流水線處理中輸入數(shù)據(jù)的數(shù)量與輸出數(shù)據(jù)的數(shù)量相等。
參照圖6，通過使用由等式(18)(將在后面說明)定義的變換矩陣的元素bij，變形校正系數(shù)k1和k2以及選擇器的選擇控制信號s1和s2如下表示ki1＝bih|bi1|1＜h＝0...(14)這里ki1為矩陣第i行左端的非零元素(bi1||1＜h＝0代表第i行中從第一個到第h個元素全部為零)；ki2＝1-ki1...(15)這里ki2為矩陣的ki1到1的殘差；
if(i＝＝h|bi1|1＜h＝0)s1＝s2＝0...(16)當i＝h時，沒有讀取移位出現(xiàn)，并且s1＝s2＝0；elseif(i＝＝h-1|bi1|1＜h＝0)s1＝s2＝1...(17)當i＝h-2時，讀取中移動了兩個像素，并且s1＝s2＝1。圖6中的讀取按照這種方式轉(zhuǎn)換。
選擇器的數(shù)量隨著讀取的位移量(i-h)增加(圖6示出了對應于兩個像素位移量的例子)。
下標i代表圖6中所示的濾波處理單元進行的流水線處理的序號，ki1代表在第i序列的系數(shù)。在下標i和j之間的差別代表了關(guān)于由選擇器164和166選擇的位置的選擇標準，在此位置，數(shù)據(jù)將從移位寄存器162中被讀出。
元素bi，j由下式定義 Pii和Qii+1代表在變形校正之前的第i個和第(i+1)個像素數(shù)據(jù)，Pci和Qci+1代表校正后的像素數(shù)據(jù)，bi，j代表變形校正變換矩陣的一個元素(變形校正系數(shù))。
在前表面配置有彩色濾波器陣列(CFA)的單芯片彩色圖像傳感元件中，圖像數(shù)據(jù)具有拜爾矩陣顏色(Bayer matrix colors)。P與Q(Pi與Qi，Pc與Qc)具有關(guān)系P≠Q(mào)(Pi≠Q(mào)i，Pc≠Q(mào)c)。它們中的每一個對應于R，G，和B通道中的一個。讀取的連續(xù)性如下分類。
(1)當Pii，Qii+1，Pii+2，和Qii+3為連續(xù)數(shù)據(jù)bi，i-D-2F＝ai，i-2F，bi，i-D-2F+2＝1-bi，i-D-2Fbi+1，i-D-2F＝ai，i-2F，bi，i-D-2F+2＝1-bi+1，i-D-2Fbi，i＝0，j≠i-D-2F，i-D-2F+2 ...(19)bi+1，j＝0，j≠i-D-2F+1，i-D-2F+3這里ai，j由等式(23)(將在后面說明)表示。直到在成像器件上的m個連續(xù)像素塊中讀取的n個像素中的第i個像素被讀出時，被縮減的像素數(shù)目為D。F為小于Wi的最大整數(shù)(F≤0)，定義為Wi=n-(m-n)2in...(20)]]>(2)當Pii與Qii+1為某一縮減像素前面的兩個像素時bi，i-D-2F＝0.5(ai，i-2F+1)，bi，i-D-2F+2＝1-bi，i-D-2Fbi+1，i-D-2F＝0.5(ai+1，i-2F+1+1)，bi+1，i-D-2F+3＝bi+1，i-D-2Fbi，j＝0，j≠i-D-2F，i-D-2F+2 ...(21)bi+1，j＝0，j≠i-D-2F+1，i-D-2F+3(3)當Pii與Qii+1為某一縮減像素后面的兩個像素時bi，i-D-2F＝0.5ai，i-2F，bi，i-D-2F+2＝1-bi，i-D-2Fbi+1，i-D-2F＝0.5ai+1，i-2F+1，bi+1，i-D-2F+3＝1-bi+1，i-D-2Fbi，j＝0，j≠i-D-2F，i-D-2F+2 ...(22)bi+1，j＝0，j≠i-D-2F+1，i-D-2F+3這里ai，j為變換中的n(行)×m(列)矩陣的系數(shù)，此變換通過線性插值進行n/m(n＜m)的尺寸改變，并且表示為
Pii和Qii+1為在尺寸變換之前的第i個和第(i+1)個像素數(shù)據(jù)，Poi和Qoi+1為變換后的像素數(shù)據(jù)，ai，j為變換矩陣的一個元素(尺寸變換的線性插值系數(shù))。
元素ai，j由ai，i-F＝Wi′，ai，i-F+1＝1-Wi′，ai，j＝0 j≠i-F，i-F+1 ...(24)給出。這里Wi′由Wi′＝Wi-F ...(25)給出。如上所述，Wi由等式(20)定義，并且F為小于Wi的最大整數(shù)(F≤0)。
單色圖像傳感元件或者多芯片彩色圖像傳感元件的概括圖7示出了濾波處理單元的配置，其針對包括單色圖像傳感元件或者多芯片彩色圖像傳感元件的光電轉(zhuǎn)換元件122，利用流水線處理進行等式(7)表達的變換。
此濾波處理單元具有一個移位寄存器182，兩個選擇器184和186，兩個乘法器194和196，以及一個加法器198。從單色圖像傳感元件或者多芯片彩色圖像傳感元件讀取的圖像信號被輸入到移位寄存器182。選擇器184和186選擇讀取位置，在該位置從移位寄存器182中讀出圖像信號。乘法器194和196分別用校正系數(shù)k1和k2乘以由選擇器184和186從移位寄存器182中讀出的圖像信號。加法器198將來自兩個乘法器194和196的運算結(jié)果相加。該濾波處理單元利用流水線處理，校正從單色圖像傳感元件或者多芯片彩色圖像傳感元件讀出的圖像信息的變形，流水線處理中輸入數(shù)據(jù)的數(shù)量與輸出數(shù)據(jù)的數(shù)量相等。
參照圖7，通過使用由等式(30)(將在后面說明)定義的變換矩陣元素bi，j，變形校正系數(shù)k1和k2以及選擇器的選擇控制信號s1和s2如下表示ki1＝bih|bi1|1＜h＝0...(26)這里ki1為矩陣第i行左端的非零元素(bi1||1＜h＝0代表第i行中從第一個到第h個元素全部為零)；ki2＝1-ki1...(27)這里ki2為矩陣的ki1到1的殘差；if(i＝h|bi1|1＜h＝0)s1＝s2＝0...(28)當i＝h時，沒有讀取移位存在，并且s1＝s2＝0；elseif(i＝＝h-1|bi1|1＜h＝0)s1＝s2＝1...(29)當i＝h-2時，讀取中移動了一個像素，并且s1＝s2＝1。圖7中的讀取按照這種方式轉(zhuǎn)換。
選擇器的數(shù)量隨著讀取的位移量(i-h)增加(圖7示出了對應于一個像素位移量的例子)。
下標i代表圖7中所示的濾波處理單元進行的流水線處理的序號，ki1代表在第i序列的系數(shù)。在下標i和j之間的差別代表了關(guān)于由選擇器184和186選擇的位置的選擇標準，在此位置數(shù)據(jù)將從移位寄存器182中被讀出。
元素bi，j由下式定義 Pii代表在變形校正之前的第i個像素數(shù)據(jù)，Pci代表校正后的像素數(shù)據(jù)，bi，j代表變形校正變換矩陣的一個元素(變形校正系數(shù))。
在單色圖像傳感元件或者多芯片彩色圖像傳感元件中，讀取的連續(xù)性如下分類。
(1)當Pii和Pii+1為連續(xù)數(shù)據(jù)bi，i-D-F＝ai，i-F，bi，i-D-F+1＝1-bi，i-D-Fbi，j＝0，j≠i-D-F，i-D-F+1...(31)這里ai，j由等式(35)(將在后面說明)表示。直到在成像器件上的m個連續(xù)像素塊中讀取的n個像素中的第i個像素被讀出時，被縮減的像素數(shù)目為D。F為小于Wi的最大整數(shù)(F≤0)，由Wi=n-(m-n)in...(32)]]>定義。
(2)當Pii為某一縮減像素前面的像素時bi，i-D-F＝0.5(ai，i-F+1)，bi，i-D-F+1＝1-bi，i-D-2Fbi，j＝0，j≠i-D-F，i-D-F+1...(33)(3)當Pii為某一縮減像素后面的像素時
bi，i-D-F＝0.5ai，i-F，bi，i-D-F+1＝1-bi，i-D-Fbi，j＝0，j≠i-D-F，i-D-F+1...(34)這里ai，j為變換中的n(行)×m(列)矩陣的系數(shù)，此變換通過線性插值進行n/m(n＜m)的尺寸變換，并且由 表示。
Pii為尺寸變換之前的第i個像素數(shù)據(jù)，Poi為變換后的像素數(shù)據(jù)，ai，j為變換矩陣的一個元素(尺寸變換的線性插值系數(shù))。
元素ai，j由ai，i-F＝Wi′，ai，i-F+1＝1-Wi′，ai，j＝0 j≠i-F，i-F+1...(36)定義。這里Wi′由Wi′＝Wi-F ...(37)給出。如上所述，Wi由等式(32)定義，并且F為小于Wi的最大整數(shù)(F≤0)。
變形校正處理流程圖8示出了變形校正處理的流程。在光柵掃描中，圖像信號具有光電轉(zhuǎn)換強度信息S1以及時序信息S2。可以從該時序信息計算出像素位置(S4)。如上所述，相應于比例變換的讀取規(guī)則為周期性的。例如，當約93％的尺寸變換(電子變焦)進行到最大時，28/30＝0.933。因此，用于尺寸變換的縮減讀取的周期最大為大約30個像素?？梢詮淖x取規(guī)則的縮減位置和像素位置信息中計算出在該周期中的目標像素的位置。例如，在以12個像素為周期的處理中，從水平起始位置起的第261個像素具有的相位為mod(261，12)＝第9像素。在這種情況中，mod(N，x)表示利用數(shù)值N除以數(shù)值x得到的余數(shù)。如上所述，根據(jù)在S4中計算得到的像素位置信息和讀取規(guī)則周期的信息和S4中的縮減位置，可以獲得由等式(7)表示的加權(quán)加法操作的系數(shù)(S5)和將經(jīng)受該加法操作的像素的相位操作信息(S6)。在S7中，根據(jù)該相位而切換所使用的圖像信號。這樣，通過使用由相位信息指定的像素以及加法加權(quán)系數(shù)，進行加法操作(S8)，以獲得變形校正輸出像素。
當光電轉(zhuǎn)換讀取單元的圖像信號是直接存儲在存儲器中，并且通過地址指定執(zhí)行的操作，可以避免上述相位的問題。下面將描述更高速度的流水線處理。
圖9示出了一個例子，其中在水平和垂直方向上均有八個像素中的兩個像素被縮減。例如，將檢查在水平方向上縮減的第一行的讀取。如果圖9中的左上角被定義為起始位置，讀取像素位置為Ri0，Gi1，Ri2，Gi3，Ri6，和Gi7。此規(guī)則被反復使用。此例子中的變形校正(變換)的矩陣表達由Rc0Gc1Rc2Gc3Rc4Gc5=1000000560560000560160000340160016056000011201112Ri0Gi1Ri2Gi3Ri6Gi7---(38)]]>給出。
利用圖6所示的濾波處理單元進行流水線處理。移位寄存器162將保持的圖像數(shù)據(jù)逐一向右移動，用于相應于時鐘脈沖的每一操作。選擇器164根據(jù)s1的狀態(tài)，選擇移位寄存器162保持的五個相鄰像素數(shù)據(jù)中的第一或者第三像素數(shù)據(jù)中的一個。選擇器166根據(jù)s2的狀態(tài)，選擇移位寄存器162保持的五個相鄰像素數(shù)據(jù)中的第三或者第五像素數(shù)據(jù)中的一個。
乘法器174將來自選擇器164的輸出d1乘以加權(quán)加法的系數(shù)k1。乘法器176將來自選擇器166的輸出d2乘以加權(quán)加法的系數(shù)k2。加法器178將來自乘法器174的輸出和來自乘法器176的輸出相加。
表1示出了在圖6中示出的濾波處理單元的流水線處理的操作(狀態(tài)轉(zhuǎn)換)。
表1

對于根據(jù)來自C1＝i0，C2＝i1，以及C3＝i2的初始狀態(tài)的時鐘的每一操作，提供給移位寄存器162的像素數(shù)據(jù)序列(i0，i1，i2，...)向右移動。因此，選擇器164當s1為1(d1＝C1)時選擇C1，當s1為0(d1＝C3)時選擇C3。另一方面，當s2為1(d2＝C3)時選擇器166選擇C3，當s2為0(d2＝C5)時選擇C5。與時鐘同步地，從濾波系數(shù)設(shè)置單元144的存儲器中向乘法器174提供系數(shù)k1，以及向乘法器176提供系數(shù)k2。加法器178輸出out＝k1×d1+k2×d2。
從表1可以清楚地知道，當序列數(shù)據(jù)移動時，選擇器的切換根據(jù)s1和s2的狀態(tài)，輸出相應于由等式(7)表示的縮減規(guī)則的加權(quán)系數(shù)k1和k2，并同時進行加權(quán)加法操作，執(zhí)行包括像素相位操作(選擇器切換)的流水線處理。
當在單個圖像傳感元件上只有一種顏色信息時，比如在單色或者3芯片彩色圖像傳感元件，而不是具有例如拜爾矩陣或者補色濾波器矩陣這樣的CFA(彩色濾波器陣列)的圖像傳感元件，在變形校正中不需要準備一個像素的間隔以處理相同顏色的像素，不像拜爾矩陣的CFA一樣。此外，不用對兩個連續(xù)的像素進行縮減以使得相同顏色的信號具有相同的相位(按照預定的順序進行讀取，例如，R，G，R，G，...)在單色圖像傳感元件中，當選擇數(shù)據(jù)時完成相鄰數(shù)據(jù)的加權(quán)相加。因此，變形校正(變換)由Pc2＝aPi1+(1-a)Pi2...(39)表示，這里Pc為變換后的像素數(shù)據(jù)，Pi為作為變換源的像素數(shù)據(jù)。
利用圖7所示的濾波處理單元進行流水線處理。移位寄存器182將保持的圖像數(shù)據(jù)逐一向右移動，用于相應于時鐘的每一操作。選擇器168根據(jù)s1的狀態(tài)選擇三個相鄰像素數(shù)據(jù)中的第一或者第二像素數(shù)據(jù)中的一個。選擇器186根據(jù)s2的狀態(tài)選擇三個相鄰像素數(shù)據(jù)中的第二或者第三像素數(shù)據(jù)中的一個。
乘法器194將來自選擇器184的輸出d1乘以加權(quán)加法的系數(shù)k1。乘法器196將來自選擇器186的輸出d2乘以加權(quán)加法的系數(shù)k2。加法器178將來自乘法器194的輸出和來自乘法器196的輸出相加。操作的順序與圖6中的相同。
在此實施例的圖像拾取裝置中，縮減并讀取由光電轉(zhuǎn)換元件獲取的圖像數(shù)據(jù)，其中縮減在硬件中進行，至少在垂直方向上進行，且最好在水平和垂直兩個方向上進行。因此，此實施例的圖像拾取裝置可以以比普通圖像拾取裝置更短的時間讀取圖像數(shù)據(jù)，其中該普通圖像拾取裝置從光電轉(zhuǎn)換元件中讀出所有的圖像數(shù)據(jù)，然后利用軟件縮減該圖像數(shù)據(jù)。
此外，此實施例的圖像拾取裝置執(zhí)行針對縮減像素的變形校正并讀取圖像數(shù)據(jù)，其中縮減的像素數(shù)據(jù)為線性地插值，以及根據(jù)設(shè)置的區(qū)域縮減像素數(shù)據(jù)。因此，此實施例的圖像拾取裝置可以形成高質(zhì)量的圖像。
第二實施例此實施例特別針對適合用于傳感視頻的圖像拾取裝置。
圖10示出了根據(jù)本發(fā)明的第二實施例的圖像拾取裝置的配置。在圖10中，與第一實施例的圖像拾取裝置100中相同的附圖標記代表相同的元件，并且關(guān)于它們的詳細描述將被省略以避免重復的描述。
本實施例的圖像拾取裝置200具有成像光學系統(tǒng)110和圖像傳感器件220。成像光學系統(tǒng)110形成物體的光學圖像。圖像傳感器件220在由成像光學系統(tǒng)110形成的光學圖像的預定區(qū)域中順序輸出一個圖像信號。即，從圖像傳感器件220輸出的圖像信號為視頻信號。一個視頻信號包含多個序列幀的圖像數(shù)據(jù)。
圖像傳感器件220具有二維光電轉(zhuǎn)換元件222和讀取控制單元224。該光電轉(zhuǎn)換元件222對由成像光學系統(tǒng)110形成的光學圖像進行光電轉(zhuǎn)換，并獲取數(shù)字圖像數(shù)據(jù)(像素數(shù)據(jù)組)。該讀取控制單元224按需要對由光電轉(zhuǎn)換元件222獲得的圖像數(shù)據(jù)進行像素縮減，并順序讀取該圖像數(shù)據(jù)。
該圖像拾取裝置200還具有區(qū)域設(shè)置單元132，讀取規(guī)則選擇單元234，以及變形校正單元140。區(qū)域設(shè)置單元132設(shè)置待輸出圖像的區(qū)域。讀取規(guī)則選擇單元234選擇讀取控制單元224的像素縮減讀取規(guī)則。變形校正單元140校正從圖像傳感器件220讀取的圖像數(shù)據(jù)的變形。變形校正單元140的細節(jié)與第一實施例中所描述相同。
圖像拾取裝置200還具有讀取相位控制單元230和圖像區(qū)域選擇處理單元240。讀取相位控制單元230為每一幀改變利用讀取控制單元224從光電轉(zhuǎn)換元件222中讀取的圖像數(shù)據(jù)范圍(讀取范圍)的參考位置。在由讀取相位控制單元230對每一幀設(shè)置的讀取范圍的參考位置的基礎(chǔ)上，圖像區(qū)域選擇處理單元240選擇由變形校正單元140校正的圖像數(shù)據(jù)的所有幀共有的范圍。
讀取相位控制單元230為每一幀改變讀取范圍的參考位置，圖像區(qū)域選擇處理單元240選擇所有幀共有的范圍。讀取規(guī)則選擇單元234據(jù)此選擇像素縮減讀取規(guī)則，使得讀取控制單元224在比由區(qū)域設(shè)置單元132設(shè)置的圖像區(qū)域更寬的范圍內(nèi)讀取圖像數(shù)據(jù)。
以由讀取規(guī)則選擇單元234選擇的讀取規(guī)則和由讀取相位控制單元230設(shè)置的讀取范圍的參考位置為基礎(chǔ)，在光電轉(zhuǎn)換元件222的像素序列中的相應范圍內(nèi)，圖像傳感器件220中的讀取控制單元224順序讀取圖像數(shù)據(jù)(一幀具體的像素數(shù)據(jù))。結(jié)果，圖像傳感器件220輸出包含著多個順序幀的圖像數(shù)據(jù)的視頻信號。
圖像拾取裝置200最好還具有三個循環(huán)幀存儲器252，254，以及256，以及幀間運算處理單元260。循環(huán)幀存儲器252，254，以及256臨時存儲多個幀的圖像數(shù)據(jù)。通過運算處理存儲在幀存儲器252，254，以及256中的多個幀的圖像數(shù)據(jù)，幀間運算處理單元260產(chǎn)生新的圖像數(shù)據(jù)。
在常規(guī)視頻系統(tǒng)中的視頻傳感中，常常使用隔行掃描方法，其中2場＝1幀。在通常的1/30的幀頻下，隔行操作引起的圖像閃爍并不引人注意。如果，利用隔行操作，在和在全掃描操作中相同的時間內(nèi)，可以獲得在更寬的范圍內(nèi)的圖像信息，并可以利用在場間插值以高速獲得高分辨率的圖像。
甚至當進行由上述的等式(7)表示的變形校正的時候，沒有讀取的像素數(shù)據(jù)不能被重建。
在此實施例的圖像拾取裝置200中，省略的像素數(shù)據(jù)在兩個連續(xù)幀之間插值，從而隔行操作將省略的數(shù)據(jù)在兩場之間插值。
為了此目的，讀取相位控制單元230為每一幀改變將被縮減并由讀取控制單元224從光電轉(zhuǎn)換元件222讀取的像素數(shù)據(jù)的范圍(讀取范圍)的參考位置。更具體地，讀取相位控制單元230根據(jù)預定的規(guī)則，周期性地為每一幀改變讀取范圍的參考位置。
例如，讀取相位控制單元230移動將要被讀取控制單元224讀取的像素數(shù)據(jù)的范圍的參考位置，從而使得多個連續(xù)幀的圖像數(shù)據(jù)中總體上沒有被省略的像素數(shù)據(jù)。更優(yōu)選的是，讀取相位控制單元230移動讀取范圍的參考位置，從而使得兩個連續(xù)幀的圖像數(shù)據(jù)中沒有共同省略的像素數(shù)據(jù)。移動量最好是大約4到8個像素。
因而，在光電轉(zhuǎn)換元件222中的特定位置上，為一個特定幀的圖像數(shù)據(jù)的縮減讀取而省略的像素數(shù)據(jù)，包含在另一幀的圖像數(shù)據(jù)中。即，可以避免在光電轉(zhuǎn)換元件222中特定的位置上的圖像數(shù)據(jù)在從圖像傳感器件220輸出的圖像信號中總是被省略。
幀間運算處理單元260對于存儲在幀存儲器252，254，以及256中的連續(xù)幀的圖像數(shù)據(jù)執(zhí)行用于插值省略像素數(shù)據(jù)的處理。例如，對兩幅連續(xù)幀的圖像數(shù)據(jù)進行1/2:1/2相加?；蛘吡硪环N，可以對三幅連續(xù)幀的圖像數(shù)據(jù)進行1/4:1/2:1/4相加。
圖11和12示意性地示出了在利用重復6/8縮減讀取的讀取中，讀取范圍的參考位置的移動。參照圖11和圖12，[x，y]代表在光電轉(zhuǎn)換元件122中的像素序列的像素位置，而(x，y)代表在讀取范圍內(nèi)像素數(shù)據(jù)陣列的索引。
如圖11和12所示，光電轉(zhuǎn)換元件122在水平方向上的像素數(shù)為k，在垂直方向上為l。因此，在光電轉(zhuǎn)換元件122左上的像素的位置可以表示為
，而右下的像素的位置可以表示為[k，l]。在一幀的讀取范圍內(nèi)，水平方向上的像素數(shù)為m，在垂直方向上為n。因此，該幀的左上讀取開始位置可以表示為(0，0)，右下的讀取結(jié)束位置可以表示為(m，n)。圖12中所示的幀讀取范圍從圖11中所示的幀讀取范圍上在水平方向上移動了+2像素，在垂直方向上移動了+2像素。
在圖11所示的幀中，在左上的讀取開始位置(0，0)與光電轉(zhuǎn)換元件222的左上像素位置
相對應。即(0，0)＝
。...(40)讀取結(jié)束位置(m，n)由(m，n)＝[k-2，l-2] ...(41)給出。
另一方面，在圖12所示的幀中，在左上的讀取開始位置由(0，0)＝[2，2] ...(42)給出。讀取結(jié)束位置由(m，n)＝[k，l] ...(43)給出。
圖像區(qū)域選擇處理單元240選擇圖11所示的幀與圖12所示的幀共同的范圍。即，對于圖11所示的幀，圖像區(qū)域選擇處理單元240選擇以(2，2)和(m，n)作為對角線頂點的矩形范圍。對于圖12中所示的幀，圖像區(qū)域選擇處理單元240選擇以(0，0)和(m-2，n-2)為對角頂點的矩形范圍。由圖像區(qū)域選擇處理單元240選擇的范圍總是具有(m-2)×(n-2)個像素數(shù)據(jù)。
如果預先考慮將被裁減的區(qū)域，將從光電轉(zhuǎn)換元件222讀取的圖像的總數(shù)必須考慮輸出的圖像尺寸和相移量。在讀取開始位置的信息的基礎(chǔ)上，圖像區(qū)域選擇處理單元240改變裁減范圍。
幀存儲器252，254，以及256為FIFO(先入先出)存儲器。通過利用在幀存儲器252，254，以及256中相同位置的像素，幀間運算處理單元260產(chǎn)生輸出圖像。
對于例如兩幀，合成的圖像輸出(i，j)由out(i，j)＝0.5I(k，i，j)+0.5I(k-1，i，j) ...(44)給出，此處i，j為像素的位置，并且I(k，i，j)為第k幀在像素位置i，i的圖像信號的強度。
對于三幀，合成的圖像輸出(i，j)通過采用加權(quán)分布，由out(i，j)＝0.25I(k，i，j)+0.5I(k-1，i，j)+0.25I(k-2，i，j) ...(45)給出。如果進行幀間插值，除了變形校正效果還可以通過低通操作獲得提高圖像質(zhì)量的效果。
在此實施例中，在水平和垂直方向上均進行縮減讀取，并通過在水平和垂直方向上均進行流水線處理進行線性變形校正。對于CCD，作為進行垂直轉(zhuǎn)移→水平轉(zhuǎn)移操作的圖像傳感元件，原理上在水平方向上不能縮減圖像數(shù)據(jù)并讀取圖像數(shù)據(jù)。由于此原因，在水平方向上，必須讀取所有的像素，并且必須進行利用線性插值的尺寸改變，如等式(1)。在垂直方向上，進行縮減讀取和變形校正，如上述的等式(7)所示。
在假設(shè)插值的情況下，在垂直方向上可以進行多個場的隔行讀取，以縮短圖像傳感時間，就如同在常規(guī)的視頻系統(tǒng)中一樣，并且可以在水平方向上進行上述的縮減讀取和變形校正。作為變形校正之后每場的圖像，在利用與如圖10所示配置的相同配置的插值的基礎(chǔ)上，通過合成產(chǎn)生圖像。
圖13示出了視頻的截圖，此視頻是通過對14個像素的兩個進行縮減讀取(6/7尺寸變換)，然后進行連續(xù)幀之間的平均處理而獲得的。圖14顯示了視頻的截圖，此視頻是通過變形校正(像素數(shù)據(jù)插值)并且對14個像素的兩個進行縮減讀取(6/7尺寸變換)，然后進行連續(xù)幀之間的平均處理而獲得的。如果將圖像進行對比，圖14中所示的圖像的邊緣部分的變形比圖13中所示圖像的邊緣部分變形小。
本實施例圖像拾取裝置具有與第一實施例的圖像拾取裝置同樣的優(yōu)點。
此外，本實施例的圖像拾取裝置在改變視頻傳感中的每一幀的讀取規(guī)則時，讀取圖像數(shù)據(jù)，從而避免忽略在光電轉(zhuǎn)換元件的特定位置的像素數(shù)據(jù)。利用此設(shè)置，此實施例的圖像拾取裝置可以形成變形減小的高分辨率視頻。
此實施例的圖像拾取裝置最好在連續(xù)幀的圖像數(shù)據(jù)的基礎(chǔ)上插值忽略的像素數(shù)據(jù)，以避免在某些幀中忽略實際存在的像素數(shù)據(jù)。利用此設(shè)置，此實施例的圖像拾取裝置可以形成變形和莫爾條紋進一步減小的高分辨率視頻。
第三實施例圖17示出了根據(jù)本發(fā)明的第三實施例的圖像拾取裝置的設(shè)置。與第一實施例的圖像拾取裝置100中相同的附圖標記代表在圖17中相同的元件，并且關(guān)于它們的詳細描述將被省略以避免重復的描述。
此實施例的圖像拾取裝置300具有成像光學系統(tǒng)110和圖像傳感器件220。成像光學系統(tǒng)110形成物體的光學圖像。圖像傳感器件220在由成像光學系統(tǒng)110形成的光學圖像的預定區(qū)域中順序輸出圖像信號。即，從圖像傳感器件220輸出的圖像信號為視頻。視頻包含多個序列幀的圖像數(shù)據(jù)。
圖像傳感器件220具有二維光電轉(zhuǎn)換元件222和讀取控制單元224。該光電轉(zhuǎn)換元件222對由成像光學系統(tǒng)110形成的光學圖像進行光電轉(zhuǎn)換，并獲取數(shù)字圖像數(shù)據(jù)(像素數(shù)據(jù)組)。該讀取控制單元224按需要對由光電轉(zhuǎn)換元件222獲得的圖像數(shù)據(jù)進行像素縮減，并順序讀取該圖像數(shù)據(jù)。
該圖像拾取裝置300還具有區(qū)域設(shè)置單元132，讀取規(guī)則選擇單元302，以及變形校正單元140。區(qū)域設(shè)置單元132設(shè)置待輸出圖像的區(qū)域。讀取規(guī)則選擇單元302選擇讀取控制單元224的像素縮減讀取規(guī)則。變形校正單元140校正從圖像傳感器件220讀取的圖像數(shù)據(jù)的變形。變形校正單元140的細節(jié)與第一實施例中所描述相同。
在圖像拾取裝置300中，對于利用讀取控制單元224從光電轉(zhuǎn)換元件222讀取圖像數(shù)據(jù)的讀取規(guī)則，讀取規(guī)則調(diào)整單元306與定時發(fā)生器304同步地為每一幀調(diào)整讀取規(guī)則。讀取規(guī)則調(diào)整單元306為各個幀產(chǎn)生不同的讀取設(shè)置。然而，像素的總數(shù)沒有改變。變形校正單元140具有濾波處理單元142和濾波系數(shù)設(shè)置單元144。濾波處理單元142根據(jù)由讀取規(guī)則調(diào)整單元306產(chǎn)生的讀取規(guī)則進行濾波處理。濾波系數(shù)設(shè)置單元144設(shè)置濾波系數(shù)，以用于由濾波處理單元142進行的濾波處理。
對于根據(jù)不同讀取規(guī)則在多個幀之間讀取并經(jīng)過變形校正的濾波處理的圖像數(shù)據(jù)，通過幀間運算單元308而經(jīng)受幀間運算處理，從而使得數(shù)據(jù)被輸出到隨后的處理系統(tǒng)(未示出)。
上面參照附圖描述了本發(fā)明的實施例。然而，本發(fā)明不局限于這些實施例，并且可以在不背離本發(fā)明的精神和范圍的情況下進行各種變動和修改。
工業(yè)應用根據(jù)本發(fā)明，提供了一種圖像拾取裝置，可以在短時間內(nèi)從圖像傳感元件讀取圖像數(shù)據(jù)，并且，形成的高分辨率圖像減小了在尺寸改變中的變形。
權(quán)利要求
1.一種圖像拾取裝置，用于輸出物體的圖像，包括圖像傳感器件，其包括光電轉(zhuǎn)換元件，用于將光學圖像進行光電轉(zhuǎn)換以獲取圖像數(shù)據(jù)，以及讀取控制單元，用于按需要縮減像素并讀取由該光電轉(zhuǎn)換元件獲取的該圖像數(shù)據(jù)；區(qū)域設(shè)置單元，其設(shè)置該圖像傳感器件的輸出圖像的區(qū)域；讀取規(guī)則選擇單元，其根據(jù)由該區(qū)域設(shè)置單元設(shè)置的區(qū)域，選擇該讀取控制單元的像素縮減讀取規(guī)則；以及變形校正單元，其校正由該讀取控制單元從該光電轉(zhuǎn)換元件讀取的該圖像數(shù)據(jù)的變形，該變形校正單元具有濾波處理單元，該濾波處理單元在由該讀取規(guī)則選擇單元選擇的該像素縮減讀取規(guī)則的基礎(chǔ)上，對從該光電轉(zhuǎn)換元件讀取的該圖像數(shù)據(jù)進行濾波處理。
2.根據(jù)權(quán)利要求1的圖像拾取裝置，其中該變形校正單元還包括濾波系數(shù)設(shè)置單元，其設(shè)置用于該濾波處理的濾波系數(shù)，該濾波系數(shù)設(shè)置單元包括存儲單元，用于存儲包含該濾波系數(shù)的查找表；以及濾波系數(shù)選擇單元，其根據(jù)由該讀取規(guī)則選擇單元選擇的該像素縮減讀取規(guī)則，從存儲在該存儲單元中的該查找表選擇該濾波系數(shù)。
3.根據(jù)權(quán)利要求2的圖像拾取裝置，其中根據(jù)該讀取規(guī)則設(shè)置該濾波系數(shù)的該查找表。
4.根據(jù)權(quán)利要求1或者2的圖像拾取裝置，其進一步包括定時發(fā)生器和讀取規(guī)則調(diào)整單元，該讀取規(guī)則調(diào)整單元對于來自該讀取規(guī)則選擇單元的該讀取規(guī)則，同步于該定時發(fā)生器而調(diào)整對每一幀的讀取規(guī)則，以及其中該變形校正單元根據(jù)由該讀取規(guī)則調(diào)整單元產(chǎn)生的該讀取規(guī)則，進行該濾波處理。
5.根據(jù)權(quán)利要求1的圖像拾取裝置，其中該變形校正單元還包括濾波系數(shù)設(shè)置單元，其設(shè)置用于該濾波處理的濾波系數(shù)，通過進行根據(jù)由該讀取規(guī)則選擇單元設(shè)置的該像素縮減讀取規(guī)則的操作，該濾波系數(shù)設(shè)置單元計算該濾波系數(shù)。
6.根據(jù)權(quán)利要求1的圖像拾取裝置，其中從該光電轉(zhuǎn)換元件輸出的該圖像信號為視頻信號，其包含多個順序幀的圖像數(shù)據(jù)，以及其進一步包括讀取相位控制單元，其對于該多個幀的每一幀，改變將由該讀取控制單元從該光電轉(zhuǎn)換元件讀取的圖像數(shù)據(jù)的讀取范圍的參考位置，圖像區(qū)域選擇處理單元，根據(jù)由該讀取相位控制單元為每一幀設(shè)置的讀取范圍參考位置，為該圖像數(shù)據(jù)的多個幀選擇共同的區(qū)域的范圍，其中該圖像數(shù)據(jù)由該變形校正單元校正，以及圖像信號處理單元，其輸出在由該圖像區(qū)域選擇處理單元所選擇范圍的區(qū)域內(nèi)的該圖像信號。
7.根據(jù)權(quán)利要求1的圖像拾取裝置，其中從該光電轉(zhuǎn)換元件輸出的該圖像信號為包含多個順序幀的圖像數(shù)據(jù)的視頻信號，該讀取規(guī)則對該多個幀的每一幀進行改變，并且該濾波處理單元根據(jù)該讀取規(guī)則進行變形校正。
8.根據(jù)權(quán)利要求7的圖像拾取裝置，進一步包括圖像處理單元，對于從該變形校正單元輸出的該圖像信號進行預定處理。
9.根據(jù)權(quán)利要求6或者8的圖像拾取裝置，其進一步包括暫時存儲該多個幀的圖像數(shù)據(jù)的多個存儲單元，以及幀間運算處理單元，其對于存儲在該多個存儲單元中的多個幀的圖像數(shù)據(jù)進行運算處理，以產(chǎn)生新的圖像數(shù)據(jù)，以及其中該圖像信號處理單元輸出由該幀間運算處理單元形成的圖像的圖像信號。
10.根據(jù)權(quán)利要求6或者8的圖像拾取裝置，其進一步包括幀問運算處理單元，其對于該多個幀的圖像數(shù)據(jù)進行運算處理，以產(chǎn)生新的圖像數(shù)據(jù)，以及其中該圖像信號處理單元輸出由該幀間運算處理單元形成的圖像的圖像信號。
11.根據(jù)權(quán)利要求9或者10的圖像拾取裝置，其中對于該多個幀的圖像數(shù)據(jù)的該運算處理為加權(quán)平均。
12.根據(jù)權(quán)利要求1的圖像拾取裝置，其中該光電轉(zhuǎn)換元件為前表面設(shè)置有彩色濾波器陣列(CFA)的單芯片彩色圖像傳感元件，并且該濾波處理單元具有移位寄存器，其暫時地保持從該單芯片彩色圖像傳感元件讀出的圖像信號，兩個選擇器，其選擇讀取位置，在該讀取位置上將從該移位寄存器讀出該圖像信號的相同顏色的信號分量，兩個乘法器，其分別將由該兩個選擇器從該移位寄存器讀取的圖像信號與校正系數(shù)相乘，以及加法器，其將來自該兩個乘法器的運算結(jié)果相加，并且利用流水線處理校正從單芯片彩色圖像傳感元件讀取的圖像信息的變形，其中在流水線處理中輸入數(shù)據(jù)的數(shù)量與輸出數(shù)據(jù)的數(shù)量相等。
13.根據(jù)權(quán)利要求1的圖像拾取裝置，其中該光電轉(zhuǎn)換元件為單色圖像傳感元件與多芯片彩色圖像傳感元件圖像拾取元件其中之一，并且該濾波處理單元具有移位寄存器，其暫時地保持從該單色圖像傳感元件和該多芯片彩色圖像傳感元件其中之一讀出的圖像信號；兩個選擇器，用于選擇讀取位置，在該讀取位置將該圖像信號將從該移位寄存器讀出；兩個乘法器，其分別將由該兩個選擇器從該移位寄存器讀取的該圖像信號與校正系數(shù)相乘；以及加法器，其將來自該兩個乘法器的運算結(jié)果相加，并且利用流水線處理校正從該單色圖像傳感元件和多芯片彩色圖像傳感元件其中之一讀取的圖像信息的變形，其中在該流水線處理中輸入數(shù)據(jù)的數(shù)量與輸出數(shù)據(jù)的數(shù)量相等。
14.根據(jù)權(quán)利要求12或者13的圖像拾取裝置，其中該選擇器選擇該讀取位置，在由該讀取規(guī)則選擇單元選擇的該像素縮減讀取規(guī)則的基礎(chǔ)上，在該讀取位置將該圖像信號將從該移位寄存器讀出。
15.一種用于圖像拾取裝置的信號處理方法，該圖像拾取裝置包括圖像傳感器件，該圖像傳感器件包括將光學圖像進行光電轉(zhuǎn)換以獲取圖像數(shù)據(jù)的光電轉(zhuǎn)換元件；以及讀取控制單元，其按需要縮減像素并讀取由該光電轉(zhuǎn)換元件獲取的該圖像數(shù)據(jù)，該處理方法包括步驟設(shè)置該圖像傳感器件的輸出圖像的區(qū)域；根據(jù)該設(shè)置的區(qū)域選擇像素縮減讀取規(guī)則；使得該讀取控制單元根據(jù)該選擇的像素縮減讀取規(guī)則縮減像素并從該光電轉(zhuǎn)換元件讀取該圖像數(shù)據(jù)；根據(jù)該選擇的像素縮減讀取規(guī)則設(shè)置濾波系數(shù)，并對從該光電轉(zhuǎn)換元件讀取的該圖像數(shù)據(jù)進行濾波處理，以校正該圖像數(shù)據(jù)的變形；以及對于該變形校正的圖像信號進行預定的處理。
16.一種用于圖像拾取裝置的信號處理方法，該圖像拾取裝置包括圖像傳感器件，該圖像傳感器件包括將光學圖像進行光電轉(zhuǎn)換以獲取圖像數(shù)據(jù)的光電轉(zhuǎn)換元件，該處理方法包括步驟設(shè)置該圖像傳感器件的輸出圖像的區(qū)域；根據(jù)該設(shè)置的區(qū)域選擇像素縮減讀取規(guī)則；根據(jù)該選擇的像素縮減讀取規(guī)則，從該光電轉(zhuǎn)換元件讀取該圖像數(shù)據(jù)；以及對讀取的該圖像數(shù)據(jù)進行濾波處理，以校正該圖像數(shù)據(jù)的變形。
17.根據(jù)權(quán)利要求16的信號處理方法，其中在校正該圖像數(shù)據(jù)變形的步驟中，根據(jù)該選擇的像素縮減讀取規(guī)則設(shè)置濾波系數(shù)，并對從該光電轉(zhuǎn)換元件讀取的該圖像數(shù)據(jù)進行濾波處理。
18.根據(jù)權(quán)利要求15或者17的信號處理方法，其中根據(jù)該選擇的像素縮減讀取規(guī)則從包含多個濾波系數(shù)的查找表中選擇該濾波系數(shù)。
19.根據(jù)權(quán)利要求15或者17的信號處理方法，其中通過執(zhí)行根據(jù)該選擇的像素縮減讀取規(guī)則的運算，而計算該濾波系數(shù)。
20.根據(jù)權(quán)利要求15或者16的信號處理方法，其中從該圖像傳感器件輸出的視頻信號含有多個序列幀的圖像數(shù)據(jù)，對于每一幀設(shè)置將從該圖像傳感元件讀出的圖像數(shù)據(jù)的讀取范圍，并根據(jù)對于每一幀設(shè)置的該讀取范圍參考位置進行該變形校正，選擇該變形校正后的圖像數(shù)據(jù)的多個幀共同的區(qū)域的范圍，以及將所選擇的區(qū)域范圍內(nèi)的該圖像信號輸出。
全文摘要
一種圖像拾取裝置(100)，包括光電轉(zhuǎn)換元件(122)，其將由圖像光學系統(tǒng)(110)形成的光學圖像進行光電轉(zhuǎn)換，以獲得圖像數(shù)據(jù)，讀取控制單元(124)，其按需要縮減像素，并讀取由光電轉(zhuǎn)換元件(122)獲取的圖像數(shù)據(jù)，區(qū)域設(shè)置單元(132)，其設(shè)置輸出圖像的區(qū)域，讀取規(guī)則選擇單元(134)，其選擇讀取控制單元(124)的像素縮減讀取規(guī)則，以及變形校正單元(140)，其校正從光電轉(zhuǎn)換元件(122)讀取的圖像數(shù)據(jù)的變形。變形校正單元(140)包括濾波處理單元(142)，其對圖像數(shù)據(jù)進行濾波處理，濾波系數(shù)設(shè)置單元(144)，其根據(jù)像素縮減讀取規(guī)則設(shè)置濾波處理單元(142)的濾波系數(shù)。
文檔編號H04N5/357GK1720720SQ200380104788
公開日2006年1月11日 申請日期2003年12月2日 優(yōu)先權(quán)日2002年12月2日
發(fā)明者渡邊伸之 申請人:奧林巴斯株式會社