本公開(kāi)涉及傳感器,并且更具體地,涉及高動(dòng)態(tài)范圍傳感器。
背景技術(shù):
成像系統(tǒng)依賴(lài)于圖像傳感器以生成視覺(jué)圖像的電子表示。圖像傳感器的示例包括電荷耦合器件(ccd)圖像傳感器和有源像素傳感器(aps)器件。通常,這些圖像傳感器包括以行和列的規(guī)則圖案布置的多個(gè)光敏元件(感測(cè)器)。由每一個(gè)感測(cè)器生成的信號(hào)表示入射到與該感測(cè)器對(duì)應(yīng)的區(qū)域上的光的量。
這些圖像傳感器的動(dòng)態(tài)范圍通常由給定感測(cè)器可以收集和保持的電荷量限制。因此,如果入射光非常亮并且產(chǎn)生比可以由該感測(cè)器保持的更多的電子,那么丟失了由這些過(guò)剩電子所代表的光。例如,受諸如電子容量和電子讀出噪聲之類(lèi)的特性限制的現(xiàn)代圖像傳感器可以檢測(cè)到每一個(gè)感測(cè)器的大約14檔(stop)的動(dòng)態(tài)范圍(即,需要最小可記錄值的14次翻倍(doubling)來(lái)達(dá)到飽和)。
因此,能夠提供比常規(guī)圖像傳感器所提供的動(dòng)態(tài)范圍更寬的動(dòng)態(tài)范圍的圖像傳感器是所期望的。例如,當(dāng)捕獲包括亮度劇烈變化的場(chǎng)景時(shí),如果使曝光確保在暗區(qū)中有足夠的信號(hào),那么具有較強(qiáng)光的區(qū)域?qū)⑹垢袦y(cè)器飽和,并且不能獲得用于那些飽和的元件的實(shí)際光輻射。因此,需要具有更高動(dòng)態(tài)范圍的傳感器來(lái)捕獲這樣的場(chǎng)景。
技術(shù)實(shí)現(xiàn)要素:
本公開(kāi)提供用于使得圖像傳感器能夠測(cè)量大于該傳感器的典型性能的光量。
在一種實(shí)現(xiàn)中,公開(kāi)了一種捕獲圖像的方法。該方法包括:接收?qǐng)D像傳感器的曝光時(shí)間;測(cè)量圖像傳感器的多個(gè)感測(cè)器中的每一個(gè)感測(cè)器的飽和時(shí)間;以及使用飽和時(shí)間、曝光時(shí)間和每一個(gè)感測(cè)器的存儲(chǔ)單元的電子收集容量計(jì)算將會(huì)由具有無(wú)限存儲(chǔ)容量的每一個(gè)感測(cè)器收集到的電子的數(shù)量。
在另一實(shí)現(xiàn)中,公開(kāi)了一種傳感器系統(tǒng)。該傳感器系統(tǒng)包括:感測(cè)圖像的圖像傳感器,所述圖像傳感器包括多個(gè)感測(cè)器;定時(shí)器,其包括多個(gè)定時(shí)元件,每一個(gè)定時(shí)元件耦合到所述多個(gè)感測(cè)器中的對(duì)應(yīng)的感測(cè)器,其中每一個(gè)定時(shí)元件測(cè)量所述對(duì)應(yīng)的感測(cè)器的飽和時(shí)間以預(yù)測(cè)將會(huì)由所述對(duì)應(yīng)的感測(cè)器收集到的電子的數(shù)量。
在另一實(shí)現(xiàn)中,公開(kāi)了一種圖像捕獲器件。該圖像捕獲器件包括:成像臺(tái);耦合到成像臺(tái)的圖像傳感器,該圖像傳感器包括多個(gè)感測(cè)器;定時(shí)器,其包括多個(gè)定時(shí)元件,每一個(gè)定時(shí)元件耦合到所述多個(gè)感測(cè)器中的對(duì)應(yīng)的感測(cè)器;以及耦合到所述定時(shí)器的處理器,所述處理器被配置成從每一個(gè)定時(shí)元件接收信號(hào)以測(cè)量所述對(duì)應(yīng)的感測(cè)器的飽和時(shí)間并且計(jì)算由所述對(duì)應(yīng)的感測(cè)器收集到的電子的數(shù)量。
從通過(guò)示例的方式說(shuō)明本公開(kāi)的各方面的本描述中,本公開(kāi)的其它特征和優(yōu)點(diǎn)應(yīng)當(dāng)是顯而易見(jiàn)的。
附圖說(shuō)明
本公開(kāi)的細(xì)節(jié),無(wú)論其結(jié)構(gòu)還是操作,都可以通過(guò)研究附圖部分地收集,其中,相同的標(biāo)號(hào)指代相同的部分,并且其中:
圖1是圖示出根據(jù)本公開(kāi)的一種實(shí)現(xiàn)的圖像捕獲器件的功能框圖;
圖2是作為耦合到圖1中所示的圖像傳感器的定時(shí)器的一種實(shí)現(xiàn)的傳感器系統(tǒng)的功能圖;以及
圖3是圖示出根據(jù)本公開(kāi)的一種實(shí)現(xiàn)的用于捕獲圖像的過(guò)程的流程圖。
具體實(shí)施方式
為了獲得用于圖像傳感器的高動(dòng)態(tài)范圍,如本文所公開(kāi)的幾種實(shí)現(xiàn)使得圖像傳感器能夠測(cè)量大于該傳感器的典型性能的量。在閱讀本描述之后,在各種實(shí)現(xiàn)和應(yīng)用中如何實(shí)現(xiàn)本公開(kāi)將變得顯而易見(jiàn)。但是,雖然本文將描述本公開(kāi)的各種實(shí)現(xiàn),但是應(yīng)當(dāng)理解的是,這些實(shí)現(xiàn)僅通過(guò)示例的方式呈現(xiàn)并不是限制。因此,各種實(shí)現(xiàn)的這種詳細(xì)描述不應(yīng)當(dāng)被解釋為限制本公開(kāi)的范圍或?qū)挾取?/p>
圖1是圖示出根據(jù)本公開(kāi)的一種實(shí)現(xiàn)的圖像捕獲器件100的功能框圖。在一種實(shí)現(xiàn)中,圖像捕獲器件100被配置成數(shù)字相機(jī)。雖然本公開(kāi)不限于圖像傳感器或器件,但是關(guān)于圖像傳感器做出實(shí)現(xiàn)的描述。
在圖1所圖示的實(shí)現(xiàn)中,圖像捕獲器件100包括透鏡110、成像臺(tái)120、圖像傳感器130、定時(shí)器140和處理器150。透鏡110接收并聚焦來(lái)自對(duì)象場(chǎng)景的光102以在圖像傳感器130上形成圖像。圖像傳感器130將入射光轉(zhuǎn)換成每一個(gè)像素的電信號(hào)。在一種實(shí)現(xiàn)中,圖像傳感器130是電荷耦合器件(ccd)類(lèi)型。在另一實(shí)現(xiàn)中,圖像傳感器130是有源像素傳感器(aps)類(lèi)型,其通常被稱(chēng)為互補(bǔ)金屬氧化物半導(dǎo)體(cmos)傳感器,因?yàn)槟軌蚴褂胏mos制造工藝制造它們。
成像臺(tái)120可以包括元件,諸如中性密度(nd)濾光器、光圈、快門(mén)、曝光控制器、亮度傳感器和/或配置成調(diào)節(jié)到達(dá)圖像傳感器130的光量的其它單元。光圈和快門(mén)可以被配置成通過(guò)控制孔徑以及快門(mén)打開(kāi)的持續(xù)時(shí)間來(lái)調(diào)節(jié)到達(dá)圖像傳感器130的光量。曝光控制器可以響應(yīng)于由亮度傳感器計(jì)量的場(chǎng)景中可用的光量,并且控制包括中性密度(nd)濾光器、光圈和/或快門(mén)的其它元件。在一種實(shí)現(xiàn)中,圖像傳感器130配置有多個(gè)感測(cè)元件。處理器150處理從圖像傳感器130的感測(cè)元件接收到的信號(hào)以形成輸出圖像152。在一些實(shí)現(xiàn)中,成像臺(tái)120包括透鏡110。
在一個(gè)示例中,圖像傳感器(例如,aps)的操作在三個(gè)步驟中執(zhí)行:復(fù)位步驟,其中傳感器從先前的整合(integration)周期復(fù)位;圖像整合步驟,其中光能被收集并轉(zhuǎn)換成電信號(hào);以及信號(hào)讀出步驟,其中信號(hào)被讀出。
可以選擇圖像捕獲器件100以在兩種操作模式(正常操作模式和飽和操作模式)中的一種操作。如果當(dāng)圖像傳感器的感測(cè)器中的任何一個(gè)飽和到其最大值時(shí)的時(shí)間長(zhǎng)度預(yù)計(jì)長(zhǎng)于當(dāng)圖像傳感器被曝光時(shí)的時(shí)間長(zhǎng)度(即,整合時(shí)段或曝光時(shí)間),那么可以選擇正常操作模式。如果任何感測(cè)器的飽和時(shí)間預(yù)計(jì)短于曝光時(shí)間,那么可以選擇飽和操作模式。在一種實(shí)現(xiàn)中,操作模式由處理器150設(shè)置。
在正常操作模式中的圖像整合步驟的一種實(shí)現(xiàn)中,以光子形式的光能敲擊感測(cè)器中的光電二極管,從而產(chǎn)生許多電子-空穴對(duì)。光電二極管被設(shè)計(jì)成限制新形成的電子-空穴對(duì)之間的復(fù)合(recombination)。因此,空穴被吸引到光電二極管的接地端子,而電子被吸引到光電二極管的正端子,其中每一個(gè)額外的電子降低光電二極管上的電壓。在整合時(shí)段結(jié)束時(shí),在圖像整合時(shí)段期間由光電二極管吸收的光子的數(shù)量可以通過(guò)從整合時(shí)段開(kāi)始時(shí)的電壓中減去整合時(shí)段結(jié)束時(shí)的電壓來(lái)確定。因此,感測(cè)器通過(guò)計(jì)數(shù)經(jīng)由光電效應(yīng)移位并存儲(chǔ)在電容器中的電子的數(shù)量來(lái)測(cè)量進(jìn)入的光子的數(shù)量。在曝光結(jié)束時(shí)測(cè)量電容器上的電荷,以推斷入射光子的原始數(shù)量。
通過(guò)在整合時(shí)段期間傳感器可以收集的光子的最大數(shù)量以及可以在本底噪聲上檢測(cè)到的在整合時(shí)段期間傳感器可以收集的光子的最小數(shù)量來(lái)確定在正常操作模式中的傳感器的動(dòng)態(tài)范圍。如上所述,處理具有劇烈照明變化的圖像對(duì)于具有有限動(dòng)態(tài)范圍的圖像捕獲器件是挑戰(zhàn)。例如,如果傳感器的整合時(shí)段被縮短到?jīng)]有亮光信息丟失(即,收集到的光子的數(shù)量將不超過(guò)在整合時(shí)段期間傳感器的容量)的程度,那么大多數(shù)(如果不是全部)的低光(low-light)信息將丟失(導(dǎo)致“遭到擠壓”的圖像的區(qū)域成黑色),因?yàn)閷⒂腥绱松偈占降墓庾右灾虏荒茉谠肼曀缴蠀^(qū)分光子。相反,如果傳感器的整合時(shí)段被增加以捕獲低光信息(即,收集到的光子的數(shù)量在本底噪聲上是可檢測(cè)到的),那么丟失相當(dāng)一部分亮光(bright-light)信息(導(dǎo)致“被吹出”的圖像的區(qū)域),因?yàn)槭占降墓庾拥臄?shù)量將超過(guò)傳感器的容量。因此,動(dòng)態(tài)范圍由存儲(chǔ)器件(例如,電容器)的容量部分地限制。
在一種實(shí)現(xiàn)中,飽和操作模式中的圖像整合步驟包括執(zhí)行正常模式中所涉及的所有任務(wù)。但是,在執(zhí)行正常模式的任務(wù)的同時(shí),飽和操作模式還包括測(cè)量圖像傳感器130中每一個(gè)感測(cè)器的飽和時(shí)間。由定時(shí)器140測(cè)量和記錄圖像傳感器130中每一個(gè)感測(cè)器的飽和時(shí)間。
在一種實(shí)現(xiàn)中,在正常操作模式中,開(kāi)關(guān)160由處理器150閉合以接收由圖像傳感器130的感測(cè)器在整合步驟期間收集到的光子值。在飽和操作模式中,開(kāi)關(guān)160和162兩者都由處理器150閉合。因此,在這種配置中(即,開(kāi)關(guān)160、162兩者都閉合),處理器150通過(guò)開(kāi)關(guān)160接收由圖像傳感器130的感測(cè)器電容器為在曝光時(shí)間結(jié)束時(shí)還沒(méi)有飽和的那些感測(cè)器收集到的光子值。在從圖像傳感器130接收光子值之外,處理器150還指示定時(shí)器140從圖像傳感器130的每一個(gè)感測(cè)器的整合步驟的開(kāi)始時(shí)開(kāi)始計(jì)數(shù)。用于每一個(gè)感測(cè)器的計(jì)時(shí)器140在感測(cè)器已經(jīng)飽和時(shí)停止計(jì)數(shù)以生成飽和時(shí)間。因此,定時(shí)器140為圖像傳感器130的每一個(gè)感測(cè)器保留飽和時(shí)間,并將它們發(fā)送到處理器150。一旦已經(jīng)接收所有感測(cè)器的飽和時(shí)間,處理器150就替換已經(jīng)飽和的那些感測(cè)器的光子值。下面詳細(xì)描述用于計(jì)算已經(jīng)飽和的那些感測(cè)器的收集到的光子值的方法。
在一種實(shí)現(xiàn)中,定時(shí)器140包括多個(gè)探測(cè)器,其中每一個(gè)探測(cè)器被配置成測(cè)量圖像傳感器130的每一個(gè)感測(cè)器的飽和時(shí)間的計(jì)數(shù)器。因此,在這種實(shí)現(xiàn)中,定時(shí)器140可以被配置成放置在圖像傳感器130上方的探測(cè)器層。
在一種實(shí)現(xiàn)中,處理器150處理從定時(shí)器140接收到的數(shù)據(jù)以計(jì)算將在圖像傳感器130的曝光時(shí)間(即,整合步驟)期間入射的光子的數(shù)量。這個(gè)計(jì)算依賴(lài)于傳感器的特性。例如,在其中電子的累積與入射光子的數(shù)量成線(xiàn)性比例的圖像傳感器的情況中,被推斷為由給定感測(cè)器的存儲(chǔ)單元(假定無(wú)限的存儲(chǔ)容量)捕獲的電子的數(shù)量e將通過(guò)e=c*te/ts計(jì)算,其中c是感測(cè)元件的電子容量,te是曝光時(shí)間,以及ts是該感測(cè)器的飽和時(shí)間。計(jì)算需要模擬傳感器在全曝光時(shí)段中將捕獲的量。因此,在非線(xiàn)性傳感器的情況中,函數(shù)將考慮非線(xiàn)性。在一些實(shí)現(xiàn)中,使用數(shù)的查找表模擬非線(xiàn)性函數(shù)。
如上面提到的,可以根據(jù)測(cè)量的飽和時(shí)間計(jì)算將會(huì)累積的電子的數(shù)量(假定電子的累積與入射光子的數(shù)量成線(xiàn)性比例)。例如,假定1/8000秒的典型的最快快門(mén)速度(即,曝光時(shí)間),并且測(cè)量的感測(cè)器的飽和時(shí)間為1/16000秒,那么應(yīng)該已經(jīng)被存儲(chǔ)的電子的數(shù)量(與入射光子的數(shù)量成比例)等于c*(1/8000)/(1/16000)=2c,其等于該感測(cè)器的存儲(chǔ)容量的兩倍。在另一個(gè)示例中,如果測(cè)量的感測(cè)器的飽和時(shí)間為1/32000秒,那么應(yīng)該已經(jīng)被存儲(chǔ)的電子的數(shù)量等于c*(1/8000)/(1/32000)=4c,其等于該感測(cè)器的存儲(chǔ)容量的四倍。
不飽和的感測(cè)器將以與正常傳感器相同的方式對(duì)待。即,那個(gè)感測(cè)器中的電子的數(shù)量被簡(jiǎn)單地計(jì)數(shù)。
如上面提到的,由諸如電子容量和電子讀出噪聲的特性限制的現(xiàn)代圖像傳感器可以檢測(cè)到大約14檔的動(dòng)態(tài)范圍(即,需要最小可記錄值的14次翻倍來(lái)達(dá)到飽和)。如果通過(guò)使用圖像傳感器的感測(cè)器的測(cè)量的飽和時(shí)間可以足夠準(zhǔn)確地測(cè)量時(shí)間,那么理論上可以記錄超過(guò)飽和的更多檔的信息。例如,如果(例如,通過(guò)能夠測(cè)量1/(1024×8000)秒)可以有意義地記錄超過(guò)飽和的10個(gè)附加檔的信息(給定由(一個(gè)或多個(gè))定時(shí)器測(cè)量的時(shí)間分辨率),那么這種類(lèi)型的圖像捕獲器件可以提供線(xiàn)性信息的1024倍(=210)的量。
圖2是作為耦合到圖1中所示的圖像傳感器130的定時(shí)器140的一種實(shí)現(xiàn)的傳感器系統(tǒng)200的功能圖。在圖2所圖示的實(shí)現(xiàn)中,傳感器系統(tǒng)200包括具有多個(gè)感測(cè)器的圖像傳感器220和具有多個(gè)定時(shí)元件的定時(shí)器210。圖2還圖示出插入件230,其示出放置在感測(cè)器250上方的定時(shí)元件240的詳細(xì)視圖。
在一種實(shí)現(xiàn)中,定時(shí)元件240被配置成測(cè)量感測(cè)器250的飽和時(shí)間。在這種實(shí)現(xiàn)中,定時(shí)元件240耦合到感測(cè)器250并且被配置成測(cè)量感測(cè)器的飽和時(shí)間的探測(cè)器。在另一實(shí)現(xiàn)中,定時(shí)元件240的定時(shí)部分被構(gòu)建在感測(cè)器250中,而定時(shí)元件240的接口部分耦合到定時(shí)部分并且充當(dāng)用于輸出從定時(shí)部分接收到的感測(cè)器250的飽和時(shí)間的裝置。
在另一實(shí)現(xiàn)中,定時(shí)元件240被配置成測(cè)量從感測(cè)器250的飽和到曝光時(shí)間結(jié)束的時(shí)間。在這種實(shí)現(xiàn)中,捕獲的電子的數(shù)量將被計(jì)算為e=c*te/(te-tse),其中tse是從感測(cè)器的飽和到曝光時(shí)間結(jié)束的時(shí)間。
在還有的另一實(shí)現(xiàn)中,每一個(gè)定時(shí)元件簡(jiǎn)單地從公共主定時(shí)元件取回時(shí)間或一些計(jì)數(shù)并且記錄該值用于以后使用,避免每一個(gè)感測(cè)器需要具有其自己的專(zhuān)用定時(shí)器。
圖3是圖示出根據(jù)本公開(kāi)的一種實(shí)現(xiàn)的用于捕獲圖像的過(guò)程300的流程圖。在捕獲圖像的過(guò)程中,如果任何感測(cè)器的飽和時(shí)間預(yù)計(jì)短于曝光時(shí)間,那么可以選擇飽和操作模式。在圖3所圖示的實(shí)現(xiàn)中,在塊310處,使用在圖像傳感器的曝光開(kāi)始時(shí)開(kāi)始并且當(dāng)感測(cè)器飽和時(shí)或當(dāng)曝光時(shí)間已過(guò)去時(shí)停止的定時(shí)器來(lái)測(cè)量圖像傳感器的每一個(gè)感測(cè)器的飽和時(shí)間。如果在塊320處確定飽和時(shí)間出現(xiàn)在曝光時(shí)間結(jié)束之前,那么在塊330處計(jì)算收集到的電子的理論數(shù)量為c*te/ts,其中c是感測(cè)器的電子容量,te是曝光時(shí)間,以及ts是該感測(cè)器達(dá)到飽和所花費(fèi)的時(shí)間。否則,如果在塊320處確定曝光時(shí)間短于飽和時(shí)間(即,感測(cè)器從未飽和),那么在塊340處通過(guò)測(cè)量感測(cè)器的電容器上的電荷來(lái)計(jì)算收集到的電子的數(shù)量。在這種情況中,在曝光時(shí)間結(jié)束時(shí)測(cè)量電容器上的電荷。
前述方法和裝置易于進(jìn)行許多變化。此外,為了清楚和簡(jiǎn)要描述,方法和裝置的許多描述已被簡(jiǎn)化。許多描述使用特定標(biāo)準(zhǔn)的術(shù)語(yǔ)和結(jié)構(gòu)。但是,所公開(kāi)的方法和裝置是更廣泛適用的。
本領(lǐng)域技術(shù)人員將理解的是,結(jié)合本文所公開(kāi)的實(shí)現(xiàn)而描述的各種說(shuō)明性邏輯塊、模塊、單元和算法步驟常??梢詫?shí)現(xiàn)為電子硬件、計(jì)算機(jī)軟件或兩者的組合。為了清楚地說(shuō)明硬件和軟件的這種可互換性,已經(jīng)在上面在其功能性方面一般性地描述了各種說(shuō)明性組件、塊、模塊和步驟。這種功能性實(shí)現(xiàn)為硬件還是軟件取決于整個(gè)系統(tǒng)上施加的具體約束。本領(lǐng)域技術(shù)人員可以對(duì)于每一個(gè)具體的系統(tǒng)以不同方式實(shí)現(xiàn)所描述的功能性,但是這種實(shí)現(xiàn)決策不應(yīng)當(dāng)被解釋為導(dǎo)致脫離本公開(kāi)的范圍。此外,在單元、模塊、塊或步驟內(nèi)功能的分組是為了便于描述。在不脫離本公開(kāi)的情況下,可以從一個(gè)單元、模塊或塊中移走特定功能或步驟。
提供所公開(kāi)實(shí)現(xiàn)的以上描述是為了使任何本領(lǐng)域技術(shù)人員能夠?qū)崿F(xiàn)或使用本公開(kāi)。對(duì)這些實(shí)現(xiàn)的各種修改對(duì)本領(lǐng)域技術(shù)人員將是顯而易見(jiàn)的,并且在不脫離本公開(kāi)的精神或范圍的情況下,本文描述的一般原理可以應(yīng)用到其它實(shí)現(xiàn)。因此,技術(shù)不限于上述特定示例。因此,應(yīng)當(dāng)理解的是,本文呈現(xiàn)的描述和附圖表示本公開(kāi)的當(dāng)前可能的實(shí)現(xiàn),并且因此代表由本公開(kāi)廣泛預(yù)期的主題。還應(yīng)當(dāng)理解的是,本公開(kāi)的范圍完全包括對(duì)于本領(lǐng)域技術(shù)人員可能變得顯而易見(jiàn)的其它實(shí)現(xiàn),并且本公開(kāi)的范圍因此僅由所附權(quán)利要求限定。