專利名稱：圖像傳感器的取樣與讀出的制作方法
技術(shù)領(lǐng)域：
一般來說，本發(fā)明涉及用于數(shù)碼相機及其它圖像捕獲裝置中的電子圖像傳感器， 且更特定來說涉及與電子圖像傳感器一同使用的取樣與讀出技術(shù)。
背景技術(shù)：
典型電子圖像傳感器包括布置為二維陣列的若干光敏圖像元素(“像素”)。此一 圖像傳感器可經(jīng)配置以通過在所述像素上方形成濾色器陣列(CFA)來產(chǎn)生彩色圖像。在標 題為“色彩成像陣列(Color Imaging Array) ”的美國專利第3，971，065號中所揭示的CFA 圖案的一個通常使用的類型是貝葉爾圖案(Bayer pattern)，所述專利以引用方式并入本 文中。所述貝葉爾CFA圖案為每一像素提供色彩光響應(yīng)，所述色彩光響應(yīng)展示對可見光譜 的三個指定部分中的一者的突出敏感性。舉例來說，所述三個指定部分可以是紅色、綠色及 藍色，或青綠色、品紅色及黃色。通常，給定CFA圖案的特征為最小重復(fù)單位，所述最小重復(fù) 單位采用充當(dāng)所述圖案的基本構(gòu)建塊的連續(xù)像素的子陣列的形式。所述最小重復(fù)單位的多 個拷貝經(jīng)并置以形成完整圖案。使用具有貝葉爾CFA圖案的圖像傳感器所捕獲的圖像在每一像素處僅具有一個 色值。因此，為產(chǎn)生全色彩圖像，在每一像素處的缺失色值均從附近像素的色值而內(nèi)插。此 項技術(shù)中已知眾多此類內(nèi)插技術(shù)。舉例來說，參見標題為“單個傳感器色彩電子相機中的 自適應(yīng)色彩平面內(nèi)插(Adaptive Color Plane Interpolation in Single Sensor Color Electronic Camera) ”的美國專利第5，652，621號，其以引用方式并入本文中。根據(jù)常規(guī)實踐，具有貝葉爾CFA圖案的圖像傳感器的像素的取樣與讀出將通常將 給定行中的全部像素取樣到列電路中，且然后將在單個操作中從列電路讀取整行像素。以 此方式進行取樣與讀出以保持讀出數(shù)據(jù)中的貝葉爾CFA圖案的像素次序。以引用方式并入本文中的標題為“具有經(jīng)改善光敏感性的圖像傳感器(Image Sensor with Improved Light Sensitivity) ” 的美國專利申請公開案第 2007/0024931 號 揭示經(jīng)改善的CFA圖案，其中包含提供具有全色光響應(yīng)的像素中的某些像素的圖案。此類 圖案在本文中通常也稱為“稀疏”CFA圖案。全色光響應(yīng)具有比在所選色彩光響應(yīng)組中所表 示的那些光譜敏感性更寬的光譜敏感性，且舉例來說，可大致跨越整個可見光譜具有高敏 感性。配置有所述經(jīng)改善的CFA圖案的圖像傳感器展示較大光敏感性且因此尤其適合用于 涉及低場景照明、短暴光時間、小孔徑或?qū)Φ竭_圖像傳感器的光的量的其它限制的應(yīng)用中。當(dāng)應(yīng)用于稀疏CFA圖案時，例如上文在貝葉爾CFA圖案的上下文中描述的取樣與 讀出技術(shù)等常規(guī)取樣與讀出技術(shù)可效率低下。因此，需要與稀疏CFA圖案一同使用的經(jīng)改 善的取樣與讀出技術(shù)。

發(fā)明內(nèi)容
本發(fā)明的說明性實施例提供尤其適合與具有稀疏CFA圖案的圖像傳感器一同使 用的取樣與讀出技術(shù)。
根據(jù)本發(fā)明的一個方面，圖像傳感器包括布置成若干行及若干列的像素陣列，其 中所述列被分為若干群組，每一群組包括共享共用輸出的兩個或兩個以上列。所述圖像傳 感器進一步包括取樣與讀出電路，所述取樣與讀出電路針對所述像素陣列中的每一列群組 包含對應(yīng)組的兩個或兩個以上列電路。所述取樣與讀出電路經(jīng)配置以將每一列群組的所述 共用輸出獨立地取樣到與所述群組相關(guān)聯(lián)的所述列電路中的一者中，且將先前所取樣的每 一列群組的所述共用輸出讀出到與所述群組相關(guān)聯(lián)的所述列電路中的另一者中。舉例來說，所述取樣與讀出電路可經(jīng)配置以將所述列群組中的給定者的共用輸出 取樣到與所述給定群組相關(guān)聯(lián)的多個列電路中的一者中，同時將先前所取樣的所述給定群 組的共用輸出讀出到與所述給定群組相關(guān)聯(lián)的多個列電路中的另一者中。在說明性實施例中的一者中，根據(jù)稀疏CFA圖案色彩配置圖像傳感器的像素陣 列，所述稀疏CFA圖案色彩具有包含多個單元的最小重復(fù)單位，每一單元包含多個相同色 彩像素及多個全色像素。舉例來說，所述單元中的每一者可包括四個像素，其中兩個是相對 于彼此成對角布置的相同色彩像素且另兩個是相對于彼此成對角布置的全色像素。所述取 樣與讀出電路在此類型的實施例中可經(jīng)配置以便使用與所述單元中的給定單元中的全色 像素不同的列電路來取樣并讀出所述給定單元中的色彩像素。 根據(jù)本發(fā)明的圖像傳感器可有利地實施于數(shù)碼相機或其它類型的圖像捕獲裝置 中，且顯著促進圖像產(chǎn)生及在各種各樣的不同操作模式中的相關(guān)聯(lián)的處理操作。舉例來說， 所述操作模式可包含具有或不具有色彩重新分級(binning)的全分辨率模式、具有全色重 新分級及色彩重新分級的四分之一分辨率模式、雙重取樣模式、視頻模式、快速自動聚焦模
Ipf絕絕 工、寸寸。


當(dāng)結(jié)合以下說明及圖式閱讀時，本發(fā)明的上述及其它目標、特征及優(yōu)點將變得更 為顯而易見，其中在可能的情況下使用相同參考來指定與所述圖式共用的相同特征，且其 中圖1是數(shù)碼相機的框圖，其具有帶有稀疏CFA圖案的圖像傳感器且并入有根據(jù)本 發(fā)明的說明性實施例的取樣與讀出電路；圖2是圖1的數(shù)碼相機的圖像傳感器中的像素陣列的一部分的一個可能實施方案 的示意圖；圖3顯示包括用于取樣并讀出圖2的像素陣列的列電路的取樣與讀出電路的一個 可能實施方案；且圖4到13顯示應(yīng)用于本發(fā)明的說明性實施例中的圖2的像素陣列的取樣與讀出 操作的實例。
具體實施例方式本文將結(jié)合圖像捕獲裝置、圖像傳感器的特定實施例及相關(guān)聯(lián)的取樣與讀出技術(shù) 圖解說明本發(fā)明。然而，應(yīng)理解，這些說明性布置僅以舉例方式呈現(xiàn)，且不應(yīng)視為以任何方 式限定本發(fā)明的范圍。所屬領(lǐng)域的技術(shù)人員將認識到，所述所揭示的布置可適于以直接方 式與各種各樣的其它類型的圖像捕獲裝置、圖像傳感器及相關(guān)聯(lián)的取樣與讀出技術(shù)一同使
5
圖1顯示數(shù)碼相機，其中在本發(fā)明的說明性實施例中實施取樣與讀出技術(shù)。在所 述數(shù)碼相機中，將來自標的場景的光10輸入到成像級11。成像級11包括透鏡12、中性密 度(ND)濾光器13、光圈14及快門18。光10由透鏡12聚焦以在圖像傳感器20上形成圖 像。到達圖像傳感器20的光的量由光圈14、ND濾光器13及快門18打開的時間管制。圖 像傳感器20將入射光轉(zhuǎn)換為每一像素的電信號。舉例來說，圖像傳感器20可以是電荷耦 合裝置(CCD)類型或主動像素傳感器(APS)類型圖像傳感器，但其它類型的圖像傳感器也 可用于實施本發(fā)明。使用互補金屬氧化物半導(dǎo)體(CMOS)工藝制作的APS類型圖像傳感器 通常稱為CMOS圖像傳感器。圖像傳感器20通常具有根據(jù)稀疏CFA圖案配置的色彩及全色 像素的二維陣列?？膳c圖像傳感器20 —起使用的稀疏CFA圖案的實例包含上文引用的美 國專利申請公開案第2007/0024931號中所描述的那些CFA圖案，但其它CFA圖案可用于本 發(fā)明的其它實施例中。來自圖像傳感器20的模擬信號由模擬信號處理器22處理且施加到模數(shù)(A/D)轉(zhuǎn) 換器24。時序產(chǎn)生器26產(chǎn)生各種時鐘信號以選擇像素陣列的特定行及列進行處理，且使 模擬信號處理器22與A/D轉(zhuǎn)換器24的操作同步。圖像傳感器20、模擬信號處理器22、A/D 轉(zhuǎn)換器24及時序產(chǎn)生器26共用形成數(shù)碼相機的圖像傳感器級28。圖像傳感器級28的組 件可包括單獨制作的集成電路，或其可制作為通常與CMOS圖像傳感器一起完成的單個集 成電路。A/D轉(zhuǎn)換器24輸出數(shù)字像素值流，所述數(shù)字像素值流經(jīng)由總線30被供應(yīng)到與數(shù)字 信號處理器(DSP) 36相關(guān)聯(lián)的存儲器32。存儲器32可包括任何類型的存儲器，舉例來說， 例如同步動態(tài)隨機存取存儲器(SDRAM)?？偩€30為地址及數(shù)據(jù)信號提供信道且將DSP 36 連接到存儲器32及A/D轉(zhuǎn)換器24。DSP 36是數(shù)碼相機的多個處理元件中的一者，所述處理元件被指示為共用包括處 理級38。處理級38的其它處理元件包含暴光控制器40及系統(tǒng)控制器50。雖然在多個處 理元件中間對數(shù)碼相機功能控制的此劃分是典型的，但可在不影響相機的功能操作及本發(fā) 明應(yīng)用的情況下以各種方式組合這些元件。處理級38的處理元件中的給定處理元件可包 括一個或一個以上DSP裝置、微控制器、可編程邏輯裝置或其它數(shù)字邏輯電路。雖然在圖式 中顯示三個單獨處理元件的組合，但替代實施例可將這些元件中的兩個或兩個以上元件的 功能性組合到單個處理器、控制器或其它處理元件中。本文所描述的取樣與讀出技術(shù)可至 少部分地以由一個或一個以上此類處理元件執(zhí)行的軟件的形式實施。如亮度傳感器42所確定，暴光控制器40回應(yīng)于場景中可用光的量的指示，且將適 當(dāng)控制信號提供到成像級11的ND濾光器13、光圈14及快門18。系統(tǒng)控制器50經(jīng)由總線52耦合到DSP 36且耦合到程序存儲器54、系統(tǒng)存儲器 56、主機接口 57及存儲器卡接口 60。系統(tǒng)控制器50基于存儲于程序存儲器54中的一個或 一個以上軟件程序控制數(shù)碼相機的全部操作，程序存儲器54可包括快閃電可擦除可編程 只讀存儲器(EEPROM)或其它非易失性存儲器。此存儲器也用于存儲圖像傳感器校準數(shù)據(jù)、 用戶設(shè)定選擇及當(dāng)關(guān)閉相機時必須保存的其它數(shù)據(jù)。系統(tǒng)控制器50通過以下方式來控制 圖像捕獲的序列引導(dǎo)暴光控制器40操作如先前所述的透鏡12、ND濾光器13、光圈14及 快門18，引導(dǎo)時序產(chǎn)生器26操作圖像傳感器20及相關(guān)聯(lián)元件，且引導(dǎo)DSP 36處理所捕獲 的圖像數(shù)據(jù)。
在所圖解說明的實施例中，DSP 36根據(jù)存儲于程序存儲器54中且拷貝到存儲器 32中以供在圖像捕獲期間執(zhí)行的一個或一個以上軟件程序來操控其存儲器32中的數(shù)字圖 像數(shù)據(jù)。在捕獲且處理圖像之后，存儲于存儲器32中的所得圖像文件可(舉例來說)經(jīng)由 主機接口 57轉(zhuǎn)移到外部主機計算機，經(jīng)由存儲器卡接口 60及存儲器卡插孔62轉(zhuǎn)移到可拆 卸式存儲器卡64或為用戶顯示在圖像顯示器65上。圖像顯示器65通常是有源矩陣彩色 液晶顯示器(LCD)，但可使用其它類型的顯示器。數(shù)碼相機進一步包括用戶控制及包含取景器顯示器70、暴光顯示器72、用戶輸入 74及狀態(tài)顯示器76的用戶控制與狀態(tài)接口 68。此等元件可由在暴光控制器40及系統(tǒng)控 制器50上執(zhí)行的軟件程序的組合控制。用戶輸入74通常包含按鈕、搖桿開關(guān)、操縱桿、旋 轉(zhuǎn)刻度盤或觸摸屏的某一組合。暴光控制器40操作光測量、暴光模式、自動聚焦及其它暴 光功能。系統(tǒng)控制器50管理呈現(xiàn)在所述顯示器中的一個或一個以上顯示器上(例如，在圖 像顯示器65上)的圖形用戶接口(GUI)。所述GUI通常包含用于做出各種選項選擇的菜單 及用于檢查所捕獲圖像的檢視模式。可將經(jīng)處理的圖像拷貝到系統(tǒng)存儲器56中的顯示緩沖器中，且可經(jīng)由視頻編碼 器80將其連續(xù)讀出以產(chǎn)生視頻信號?？芍苯訉⒋诵盘枏南鄼C輸出以顯示在外部監(jiān)視器上， 或由顯示器控制器82處理且將其呈現(xiàn)在圖像顯示器65上。應(yīng)了解，如圖1中所示的數(shù)碼相機可包括為所屬領(lǐng)域的技術(shù)人員所熟知的類型的 額外或替代元件。本文中未明確顯示或描述的元件可選自此項技術(shù)中已知的那些元件。如 先前所述，本發(fā)明可實施于各種各樣其它類型的數(shù)碼相機或圖像捕獲裝置中。舉例來說，可 將本發(fā)明實施于涉及移動電話及機動車輛的成像應(yīng)用中。同樣，如上文所提及，本文所描述 的實施例的某些方面可至少部分地以由圖像捕獲裝置的一個或一個以上處理元件執(zhí)行的 軟件的形式實施。如所屬領(lǐng)域的技術(shù)人員將了解，根據(jù)本文所提供的教示，可以直接方式實 施此種軟件。圖1中所示的圖像傳感器20包含制作于硅襯底上的光敏像素的二維陣列，其提供 將每一像素處的傳入光轉(zhuǎn)換為經(jīng)測量電信號的方式。當(dāng)傳感器曝露于光時，可在每一像素 處的電子結(jié)構(gòu)內(nèi)產(chǎn)生并捕獲自由電子。捕獲這些自由電子持續(xù)一段時間且然后測量所捕獲 的電子的數(shù)目或測量產(chǎn)生自由電子的速率允許測量每一像素處的光等級。在前者情況下， 累積電荷移位出像素陣列，到達如CCD型圖像傳感器中的電荷到電壓測量電路，或靠近每 一像素的區(qū)域含有如APS型或CMOS圖像傳感器中的電荷到電壓測量電路的元件。每當(dāng)一般參考以下說明中的圖像傳感器時，均應(yīng)理解為其表示圖1的圖像傳感器 20。應(yīng)進一步理解，此說明書中所揭示的本發(fā)明的圖像傳感器架構(gòu)及像素圖案的所有實例 及其等效物均用于圖像傳感器20。在圖像傳感器的上下文中，像素是指離散光感測區(qū)域及與所述光感測區(qū)域相關(guān)聯(lián) 的電荷移位或電荷測量電路。在數(shù)字色彩圖像的上下文中，術(shù)語像素通常是指圖像中具有 相關(guān)聯(lián)色值的特定位置。圖2顯示說明性實施例中的圖1數(shù)碼相機的圖像傳感器20中的像素陣列100的 一部分。像素陣列100的每一像素102包括光電二極管104及轉(zhuǎn)移門(TG) 106。包括多個 晶體管的額外電路108由布置為2X2塊的四個像素的子陣列共享。所述2X2像素塊是在 本文中更通常稱為“單元”的一個實例。存在與所述2X2像素單元中的每一者相關(guān)聯(lián)的不同組的額外電路108。正如像素中的四者及其相關(guān)聯(lián)四個TG共享額外電路108，此實施例 中像素陣列100的配置稱為四晶體管、四共享(4T4S)布置。根據(jù)圖像傳感器20的指定稀 疏CFA圖案，Btt鄰陣列100中的像素102中的每一者的是對應(yīng)色彩的指示符，其可以是紅色 (R)、藍色(B)、綠色(G)或全色(P)。用于本文所描述的說明性實施例中的特定稀疏CFA圖 案是揭示于上文所引用美國專利申請公開案第2007/0024931號中的全色棋盤圖案，但也 可使用眾多其它CFA圖案。 圖2中所示的陣列100的部分包含四個行，每行八個像素，其中此部分的上部兩行 在本文中稱為藍色/綠色行對，且下部兩行在本文中稱為紅色/綠色行對。此特定CFA圖 案中的最小重復(fù)單位是16個連續(xù)像素的子陣列，所述16個連續(xù)像素包括如圖2中所示的 像素陣列100的所述部分的左半邊或右半邊。因此，所述最小重復(fù)單位包括如下布置為四 個四像素單元的16個像素ZPYP
PZPY
YPXP
PYPX其中P表示全色像素中的一者且X、Y及Z表示相應(yīng)的色彩像素。在此特定實施例 中，x、Y及Z分別是紅色、綠色及藍色?；蛘?，Χ、Υ及Z可以不同方式從紅色、綠色及藍色中 個別地選出，或從另一組色彩(例如青綠色、品紅色及黃色)中個別地選出?？墒褂镁哂衅?它最小重復(fù)單位的圖案，例如如上文所引用美國專利申請公開案第2007/0024931號中所 描述的具有至少12個像素的最小重復(fù)單位。圖2中所示的像素陣列100的所述部分中的所述列被分為若干群組，其中每一群 組包括所述列中的兩者且共享共用輸出。舉例來說，陣列的左側(cè)的前兩列中的像素共享標 記為PixColciZ1的共用輸出。類似地，陣列的下兩列中的像素共享標記為PixCol2/3的共用輸 出。剩余的兩對列共享標記為PixCol4/5及PixCol6/7的相應(yīng)共用輸出。2X2像素單元中的 給定單元中的每一像素可經(jīng)由與所述單元相關(guān)聯(lián)的額外電路108連接到其共享共用輸出。 此實施例中的額外電路108包括如圖所示互連的三個N型金屬氧化物半導(dǎo)體(NMOS)晶體 管。在其它實施例中，可使用不同類型的列分組、像素單元及共享輸出以及用于將像素單元 連接到所述共享輸出的電路。如圖所示，圖2中的像素陣列100的元件耦合到電源電壓Vdd及襯底電壓Vsnb0 施加到所述像素陣列的控制信號包含TG控制信號TG_P0、TG_C1、TG_C2及TG_P3，以及包含 行選擇(RS)信號及復(fù)位柵極(RG)信號的額外控制信號。與這些信號相關(guān)聯(lián)的下標N+1及 N是指所述陣列中的相應(yīng)上部及下部行對。如下文將更詳細描述，像素陣列100有利地經(jīng)配置以準許相同色彩像素的重新分 級及全色像素的重新分級。如本文所用的術(shù)語“重新分級“通常是指在取樣同一共用輸出 之前同時將來自同一像素單元的兩個或兩個以上像素連接到所述輸出。圖3圖解說明包括列電路110的例示性取樣與讀出電路，所述列電路經(jīng)配置以用 于取樣并讀出特定列對且位于像素陣列100的底部。在此實例中，每兩列像素具有一個列 輸出。列電路110包括取樣與保持開關(guān)112、列電路電容器114及列輸出開關(guān)116。控制開 關(guān)112的信號SHx_E及SHx_0為偶數(shù)(E)及奇數(shù)(0)像素列提供取樣與保持，其中χ = R表示復(fù)位且X = S表示信號。此實施例中的取樣與讀出電路進一步包括頂部列電路，所述 頂部列電路以類似于底部列電路110的方式配置于像素陣列100的頂部，但所述圖式中未 顯示。舉例來說，結(jié)合圖4，本文將更具體地將以圖3所圖解說明的方式配置的頂部及底部 列電路分別標記為頂部及底部列電路IlOT及110B。如圖3中所示的共享共用輸出PixColciZ1至？^&)114/15耦合到列電路組no的相 應(yīng)列電路中。通常，每一此共享共用輸出耦合到本實施例中的兩個不同列電路，其中所述列 電路中的一者是頂部列電路且所述列電路中的另一者是底部列電路。因此，在此實施例中， 與兩個列的給定群組相關(guān)聯(lián)的所述兩個列電路在像素陣列100的相對側(cè)上。同樣，圖3中 僅顯示在像素陣列底部的那些列電路。在其它實施例中，所述兩個共享列電路兩者可在像 素陣列的相同側(cè)上。圖3圖表中所示的其它信號包含那些所標記的電壓輸出信號(VSIG)及電壓輸出 復(fù)位(VRST)以及解碼信號DECk到DECκ+7，其中所述解碼信號中的一者與每一列電路相關(guān) 聯(lián)。此實施例中的每一列電路包括一對電容器及相關(guān)聯(lián)的開關(guān)。打算對用于本文中的術(shù)語“取樣與讀出電路”作出一般解釋以(舉例來說)不僅 囊括例如圖3中所示的彼等列電路的列電路，而且囊括與像素陣列100相關(guān)聯(lián)的其它相關(guān) 切換元件，例如額外電路108。因此，給定實施例中的取樣與讀出電路可囊括與所述像素陣 列整體形成的開關(guān)或其它元件。舉例來說，如在CMOS圖像傳感器的情況下，取樣與讀出電 路通常實施于傳感器陣列20內(nèi)?，F(xiàn)在將參考圖4到13的圖表更詳細描述實施于所述說明性實施例中的取樣與讀 出操作的實例。圖4到13中所示的實例中的每一者利用圖2中所示的像素陣列100的相 同四行部分。應(yīng)了解，可配置本發(fā)明的給定實施例以支持將描述的所有各種實例、這些實例 中的僅一者或一者以上的子組或其一個或一個以上變形。因此，將描述的實例中的每一者 可視為實施于圖1的數(shù)碼相機中的給定組的取樣與讀出電路的特定操作模式。圖4大體圖解說明將用于描述剩余圖式的取樣與讀出操作的圖表慣例。所述圖式 中顯示根據(jù)上述全色棋盤CFA圖案配置的像素陣列100的一部分。如在圖2中，雖然應(yīng)理 解陣列的剩余部分的取樣與讀出操作是以類似方式實施的，但圖4中所示的陣列的特定部 分包括四個行，每一行八個像素。假定像素陣列以結(jié)合圖2所描述的4T4S布置來配置，且 假定如圖3中所示配置其相關(guān)聯(lián)取樣與讀出電路。陣列左側(cè)的文本(“C2”)識別結(jié)合共 享像素的給定2X2子陣列的取樣操作啟動的一個或一個以上TG。所述圖式左側(cè)的“TG布 置”圖表顯示TG與2X2子陣列中的像素之間的關(guān)系，其中標記為Cl及C2的TG表示兩個 相同色彩的像素且標記為PO及P3的TG表示兩個全色像素。從像素陣列100伸出的垂直箭頭顯示到頂部列電路或底部列電路中的取樣操作。 注意，所述取樣箭頭反映如下事實每兩個列僅有一個像素輸出線，但每一像素輸出線可由 頂部及底部列電路取樣。垂直箭頭左側(cè)的文本(“取樣偶數(shù)”或“取樣奇數(shù)”)指示哪些列 電路正受到取樣操作的影響。頂部及底部列電路IlOT及IlOB分別由在像素陣列100的頂部及底部的矩形顯 示。矩形中的命名以T或B指示頂部或底部且包含讀出地址的編號。從列電路伸出的右指 箭頭指示正讀出哪些列電路。按順序讀取所述列電路。位于右指箭頭左側(cè)的文本(“讀出 奇數(shù)”或“讀出偶數(shù)”)指示將要讀取哪些列電路地址，其中，如上所述，所述地址由列電路矩形中的編號標記。術(shù)語“排”用于指代讀出單位，也就是說，在給定讀出操作中讀出的一組像素。因 此，如圖4中所示的“排0”表示由序列B0、Tl、B2及T3給出的讀出單位。在此圖式中，僅 自頂部列電路IlOT讀出奇數(shù)地址，而僅自底部列電路IlOB讀出偶數(shù)地址。同樣，應(yīng)注意， 排0提供如陣列中的給定行中含有的像素(在此情況下是8個)的一半(在此情況下是4 個)一樣多的讀出。雖然在此圖式中顯示同時的取樣與讀出操作，但此一布置并非是本發(fā) 明的要求。圖5A及5B顯示兩個不同的排序列，標記為選項1及選項2，其用于以全分辨率且 在不具有色彩重新分級的情況下取樣與讀出像素陣列100的四行部分。顯然，要求標記為 排O到排7的八個排讀出所述兩個不同選項中的每一者中的四個行。圖6A及6B顯示兩個不同的排序列，同樣標記為選項1及選項2，其用于以全分辨 率且在重新分級色彩的情況下取樣與讀出像素陣列100的四行部分，以改善信噪比(SNR) 且改善幀速率。注意，在此實例中需要六個排來讀出所述四個行。在圖6的兩個選項中，前四排是相同的。然而，在選項2中，排4及5中的全色像 素的取樣與讀出次序與用于選項1中的相反。不管給定的此全色像素是來自藍/綠行對還 是綠/紅行對，此第二選項確保使用相同輸出信道讀取每一 2 X 2像素單元中的相同相對位 置中的全色像素。舉例來說，參照圖6A可看出，將輸出信道TO用于排1中以讀出2X2像 素單元中的一者中的左下部全色像素600，而將輸出信道BO用于排4中以讀出另一 2X2 像素單元中的左下部全色像素602。因此，在圖6A中，使用不同列電路讀出不同2X2像素 單元中的相同相對位置中的全色像素。圖6B的取樣與讀出布置解決此問題。舉例來說，從 此圖式可看出，現(xiàn)在使用列電路TO讀出分別在排1及排5的左下部的兩個全色像素600及 602。此種布置在其中頂部與底部列電路之間存在差異的原本將需要增益校正或另一類型 的調(diào)整的實施例中是優(yōu)選的。圖7顯示像素陣列100(左表)的四行部分中的像素行與從所述陣列讀出的輸出 排之間的關(guān)系，所述輸出排是以全分辨率讀出使用未經(jīng)重新分級的色彩像素(中間表)及 經(jīng)重新分級的色彩像素(右表)兩者而從所述陣列讀出。中間表及右表分別對應(yīng)于圖5B 中的表“全分辨率未經(jīng)重新分級的色彩(選項2) ”及圖6B中的“全分辨率經(jīng)重新分級的色 彩(選項2)”。在所述陣列的四行部分中從底部向頂部讀出，其中所述像素由其后跟隨有編 號ij的色彩R、B、G或P標記，其中第一個數(shù)字i標記行(i =0、1、2或3)且第二個數(shù)字j 標記列(j = 0、1、2、. . · 7)。如先前所提及，術(shù)語“排”用于指示讀出單位。自圖7可顯而易見，當(dāng)使用未經(jīng)重 新分級的色彩(中間表)時需要兩個排來讀出一個全分辨率行，其中一個排包括來自所述 行的所有色彩像素且另一排包括來自所述行的所有全色像素。類似地，當(dāng)使用經(jīng)重新分級 的色彩(右表)時需要三個排來讀出兩個全分辨率行，其中一個排包括來自所述兩個行的 經(jīng)重新分級的色彩像素，一個排包括來自一個行的所有全色像素，且剩余的排包括來自另 一行的所有全色像素?，F(xiàn)在參照圖8，顯示一序列排，其用于以全分辨率在有色彩重新分級及雙重取樣的 情況下取樣與讀出像素陣列100的四行部分。此例示性超取樣布置以幀速率減小的代價提 供進一步的SNR改善。雖然圖式中僅顯示綠/紅行對(即，陣列的四行部分的下部兩行)的取樣與讀出，但應(yīng)理解，與紅/綠行對相同地讀出綠/藍行對(即，陣列的四行部分的上部 兩個行)。同樣，在此實例中取樣與讀出并非是同時進行的，也就是說，其在單獨時間發(fā)生。圖9A及9B顯示兩個不同的排序列，標記為選項1及選項2，其用于以四分一分辨 率且在有色彩及全色像素的單獨重新分級的情況下取樣與讀出像素陣列100的四行部分， 以改善SNR且改善幀速率。需要標記為排0到排3的四個排來讀出所述兩個不同選項中的 每一者中的四個行。在如圖9A中所示的選項1中，使用頂部及底部兩種列電路讀出綠色像 素。如先前所指示，此類型的情形在其中頂部與底部列電路之間存在差異的實施方案中可 是不期望的。圖9B中所示的取樣與讀出布置通過確保使用陣列的一個側(cè)上的列電路(即， 此實例中的頂部列電路)讀出所有綠色像素而解決此問題。此消除綠色響應(yīng)中原本將因從 陣列的頂部及底部兩者上的列電路讀出綠色像素對而導(dǎo)致的任何差異。圖10顯示排序列，其用于以四分之一分辨率在有色彩與全色像素的單獨重新分 級且有雙重取樣的情況下取樣與讀出像素陣列100的四行部分，從而以幀速率減小的代價 提供進一步的SNR改善。如在圖8的實例中，僅針對綠/紅行對顯示圖10中的取樣與讀出， 但應(yīng)理解，與紅/綠行對相同地讀出綠/藍行對。同樣，在此實例中取樣與讀出同樣并非是 同時進行的。圖11顯示像素陣列100的四行部分的四分之一分辨率視頻取樣與讀出的三個不 同排序列。所有這些序列提供與如果使用貝葉爾CFA圖案則將提供的輸出一致的輸出。三 個序列之間的差異與將多少全色像素與色彩像素一起包含在所重新分級的結(jié)果中相關(guān)。將 全色像素與色彩像素包含在一起增加全色速度但降低色彩飽和度。圖11的頂部圖表顯示 唯色彩情況，中間圖表顯示將一個全色像素用于每一對相同色彩像素的中間去飽和情況， 且底部圖表顯示將兩個全色像素用于每一對相同色彩像素的較高去飽和情況?，F(xiàn)在轉(zhuǎn)向圖12，顯示像素陣列100的四行部分的四分之一分辨率視頻取樣與讀出 的另一排序列。在此序列中，使用雙重取樣來以幀速率減小的代價提供SNR改善。如在圖 11的實例中，類似序列可用于經(jīng)去飽和的視頻，在所述經(jīng)去飽和的視頻中一個或兩個全色 像素與每一對相同色彩像素重新分級在一起。圖13顯示用于取樣與讀出像素陣列100的四行部分的兩個不同的排序列，其在快 速自動聚焦應(yīng)用中特別有用。上部圖表顯示具有全色像素重新分級的布置，而下部圖表顯 示具有色彩像素重新分級的布置及與貝葉爾CFA圖案一致的輸出。在兩種情況下均存在侵 略性垂直次取樣(即，自每3個行對中取出1個行對)，其可減少將讀取的數(shù)據(jù)的量且增加 幀速率。兩種情況中的相對高的水平取樣頻率允許良好的焦點確定。所述全色情況將具有 最好的照相敏感性，假定高幀速率將限制暴光時間那么此是重要考慮因素。所述Bayer輸 出情況將允許數(shù)據(jù)用于預(yù)覽及視頻兩種目的以及用于確定焦點。說明性實施例的取樣與讀出布置有利地允許將來自給定行對的色彩像素與全色 像素分開讀出。其中兩列像素共享共用輸出的圖2的例示性2X2像素布置意味著需要兩 個取樣操作來從給定行中存取所有像素。借助稀疏CFA圖案(例如用于上文說明性實施例 中的全色棋盤圖案)，可通過與全色像素分開讀出色彩像素以避免隨后在存儲器中將其分 開而獲得經(jīng)改善的性能。另外，上述技術(shù)允許半行像素(例如，全色像素或色彩像素)的取 樣與先前取樣的半行像素的讀出同時進行，從而有效地消除取樣時間的額外負擔(dān)。另一優(yōu) 點是，所描述的技術(shù)允許一對相同色彩像素或一對全色像素在讀出之前在電荷域中組合，從而改善SNR且減少讀出時間。舉例來說，所述技術(shù)中的某些技術(shù)對每一行對僅需要三個 取樣與讀出操作，兩個用于全色像素且一個用于經(jīng)重新分級的色彩像素。所述說明性實施例清楚地描述以下內(nèi)容本文中所描述的取樣與讀出技術(shù)具高度 靈活性，且在各種各樣的應(yīng)用中提供經(jīng)改善的性能，其中包含涉及雙重取樣(即，以讀出時 間為代價改善SNR的超取樣)、視頻及自動聚焦的操作模式。取決于捕獲條件、最終用戶偏 好或其它因素，可使得這些及其它額外操作模式在給定圖像捕獲裝置中可選擇。盡管已特別參照本發(fā)明的某些說明性實施例詳細描述了本發(fā)明，但應(yīng)理解，可在 如所附權(quán)利要求書中所述的本發(fā)明范圍內(nèi)實現(xiàn)若干變化及修改。舉例來說，包含其圖像傳 感器及相關(guān)聯(lián)的取樣與讀出電路的圖像捕獲裝置的特定配置在替代實施例中可不同。同 樣，例如所使用的特定類型的CFA圖案、像素陣列與列電路的配置及取樣與讀出操作的排 序列等特征在其它實施例中可被更改以適應(yīng)其它圖像捕獲裝置及操作模式的需要。所屬領(lǐng) 域的技術(shù)人員將易于明了這些及其它替代實施例。部件列表10標的場景的光11成像級12 透鏡13中性密度濾光器14 光圈I8 快門20圖像傳感器22模擬信號處理器24模數(shù)(A/D)轉(zhuǎn)換器26時序產(chǎn)生器28圖像傳感器級30數(shù)字信號處理器32數(shù)字信號處理器36數(shù)字信號處理器38處理級40暴光控制器42亮度傳感器50系統(tǒng)控制器部件列表(續(xù)表)52 總線54程序存儲器56系統(tǒng)存儲器57主機接口60存儲器卡接口62存儲器卡插孔64存儲器卡
(DSP)總線 (DSP)存儲器 (DSP)
65圖像顯示器
68用戶控制與狀態(tài)接口
70取景器顯示器
72暴光顯不器
74用戶輸入
76狀態(tài)顯示器
80視頻編碼器
82顯示器控制器
100像素陣列
102像素
104光電二極管
106轉(zhuǎn)移門(TG)
108額外電路
110列電路
IlOT頂部列電路
IlOB底部列電路
112取樣與保持開關(guān)
114列電路電容器
116列輸出開關(guān)
600左下部全色像素
602左下部全色像素
權(quán)利要求
一種圖像傳感器，其包括布置成行及列的像素陣列，所述列被分為若干群組，每一群組包括多個所述列且共享共用輸出；及取樣與讀出電路，其針對所述像素陣列中的每一列群組包括對應(yīng)的多個列電路，所述取樣與讀出電路經(jīng)配置以獨立地將每一列群組的所述共用輸出取樣到與所述群組相關(guān)聯(lián)的所述多個列電路中的一者中，且將先前所取樣的每一列群組的所述共用輸出讀出到與所述群組相關(guān)聯(lián)的所述多個列電路中的另一者中。
2.如權(quán)利要求1所述的圖像傳感器，其中所述圖像傳感器包括CMOS圖像傳感器。
3.如權(quán)利要求1所述的圖像傳感器，其中每一群組的所述多個列電路包括布置于所述 像素陣列的第一側(cè)上的第一列電路及布置于所述像素陣列的第二側(cè)上的第二列電路。
4.如權(quán)利要求1所述的圖像傳感器，其中每一群組的所述多個列電路包括兩者均布置 于所述像素陣列的一個側(cè)上的第一及第二列電路。
5.如權(quán)利要求1所述的圖像傳感器，其中所述取樣與讀出電路經(jīng)配置以將所述列群組 中的給定列群組的所述共用輸出取樣到與所述給定群組相關(guān)聯(lián)的所述多個列電路中的一 者中，同時將先前所取樣的所述給定群組的所述共用輸出讀出到與所述給定群組相關(guān)聯(lián)的 所述多個列電路中的另一者中。
6.如權(quán)利要求1所述的圖像傳感器，其中所述像素陣列經(jīng)配置以提供所述列群組中的 給定列群組中的所述像素中的一個或一個以上像素到對應(yīng)的共享共用輸出的可控制連接。
7.如權(quán)利要求1所述的圖像傳感器，其中所述像素陣列是根據(jù)稀疏濾色器陣列圖案配 置的。
8.如權(quán)利要求7所述的圖像傳感器，其中根據(jù)所述稀疏濾色器陣列圖案配置的所述像 素陣列具有包含至少十二個像素的最小重復(fù)單位，所述最小重復(fù)單位具有多個單元，其中 每一單元具有多個相同色彩像素及多個全色像素。
9.如權(quán)利要求8所述的圖像傳感器，其中所述單元中的每一者包括四個像素，其中所 述多個相同色彩像素相對于彼此成對角地布置且所述多個全色像素相對于彼此成對角地 布置。
10.如權(quán)利要求9所述的圖像傳感器，其中所述最小重復(fù)單位包括如下布置于四個四 像素單元中的十六個像素ZPYP PZPY YPXP PYPX其中P表示所述全色像素中的一者且X、Y及Z表示相應(yīng)的色彩像素。
11.如權(quán)利要求10所述的圖像傳感器，其中X、Y及Z是從紅色、綠色及藍色中個別地 選出的。
12.如權(quán)利要求11所述的圖像傳感器，其中X、Y及Z分別為紅色、綠色及藍色。
13.如權(quán)利要求10所述的圖像傳感器，其中X、Y及Z是從青綠色、品紅色及黃色中個 別地選出的。
14.如權(quán)利要求11所述的圖像傳感器，其中X、Y及Z分別為青綠色、品紅色及黃色。
15.如權(quán)利要求7所述的圖像傳感器，其中所述取樣與讀出電路經(jīng)配置以便使用與所 述單元中的給定單元中的所述全色像素不同的列電路來取樣與讀出所述給定單元中的所 述色彩像素。
16.如權(quán)利要求7所述的圖像傳感器，其中所述取樣與讀出電路經(jīng)配置以便將所述行 中的給定行中的全色像素取樣到所述列電路中的特定電路中，同時將所述行中的色彩像素 從所述列電路中的其它列電路中讀出。
17.如權(quán)利要求7所述的圖像傳感器，其中所述單元中的給定單元中的相同色彩像素 一起被取樣到與包含那些相同色彩像素的所述列群組相關(guān)聯(lián)的相同列電路中。
18.如權(quán)利要求7所述的圖像傳感器，其中所述取樣與讀出電路可配置成多種操作模 式，包含下列模式中的一者或一者以上不具有相同色彩像素的重新分級的全分辨率模式；具有相同色彩像素的重新分級的全分辨率模式；具有相同色彩像素的重新分級及雙重取樣的全分辨率模式；具有全色及相同色彩像素的重新分級的四分之一分辨率模式；具有全色及相同色彩像素的重新分級及雙重取樣的四分之一分辨率模式；不具有去飽和的四分之一分辨率視頻模式；具有去飽和的四分之一分辨率視頻模式；具有雙重取樣的四分之一分辨率視頻模式；具有全色像素的重新分級的快速自動聚焦模式；及具有色彩像素的重新分級的快速自動聚焦模式。
19. 一種數(shù)字成像裝置，其包括 圖像傳感器；及一個或一個以上處理元件，其經(jīng)配置以處理所述圖像傳感器的輸出以產(chǎn)生數(shù)字圖像； 其中所述圖像傳感器包括布置成行及列的像素陣列，所述列被分為若干群組，每一群組包括多個所述列且共享 共用輸出；及取樣與讀出電路，其針對所述像素陣列中的每一列群組包括對應(yīng)的多個列電路，所述 取樣與讀出電路經(jīng)配置以獨立地將每一列群組的所述共用輸出取樣到與所述群組相關(guān)聯(lián) 的所述多個列電路中的一者中，且將先前所取樣的每一列群組的所述共用輸出讀出到與所 述群組相關(guān)聯(lián)的所述多個列電路中的另一者中。
20.如權(quán)利要求19所述的數(shù)字成像裝置，其中所述數(shù)字成像裝置包括數(shù)碼相機。
全文摘要
本發(fā)明揭示一種CMOS圖像傳感器或其它類型的圖像傳感器，其包括布置成行及列的像素陣列，其中所述列被分為若干群組，每一群組包括共享共用輸出(共用垂直輸出排)的兩個或兩個以上列。所述圖像傳感器進一步包括取樣與讀出電路，所述取樣與讀出電路針對所述像素陣列中的每一列群組包含對應(yīng)組的兩個或兩個以上列電路。所述取樣與讀出電路經(jīng)配置以獨立地將每一列群組的所述共用輸出取樣到與所述群組相關(guān)聯(lián)的所述列電路中的一者中，且將先前所取樣的每一列群組的所述共用輸出讀出到與所述群組相關(guān)聯(lián)的所述列電路中的另一者中。所述圖像傳感器可實施于數(shù)碼相機或其它類型的圖像捕獲裝置中。
文檔編號H04N5/335GK101926162SQ200980103262
公開日2010年12月22日 申請日期2009年1月28日 優(yōu)先權(quán)日2008年2月1日
發(fā)明者約翰·富蘭克林·小漢密爾頓, 約翰·托馬斯·康普頓 申請人:柯達公司