專利名稱：光學系統(tǒng)和產生所述光學系統(tǒng)的方法
技術領域：
本發(fā)明通常涉及一種光學系統(tǒng)和產生所述光學系統(tǒng)的方法。

背景技術：
本領域內所公知的，例如基于CCD或CMOS傳感器陣列的相機等數字相機的固有分辨率，通常受制于傳感器陣列自身的分辨率。為避免分辨率進一步下降，此類相機中的物鏡系統(tǒng)通常設計為，使得光學點擴散函數(PSF)具有的范圍小于陣列間距。換句話說，光學系統(tǒng)的設計是使物平面的亮點的成像點不大于傳感器陣列的一個像素。
由于焦點變化和像差，光學系統(tǒng)的PSF可能不夠理想。在本領域中采用許多方法，通過數字圖像處理對此類PSF進行測量和補償。例如，美國專利6,154,574，描述了一種在圖像處理系統(tǒng)中對沒有對準焦點的圖像進行數字聚焦的方法，其中以參照方式將該專利的公開內容引入于此。通過將散焦圖像分解為子圖像，獲得平均階躍響應，并對每幅子圖像計算邊緣方向的階躍響應。平均階躍響應用于計算PSF系數，這些系數依次用于確定圖像恢復傳遞函數。在頻域內，通過將沒有對準焦點的圖像乘以該函數獲得對準焦點的圖像。
作為另一個實例，美國專利6,567,570描述了一種圖像掃描器，通過在掃描器內使用標桿(target)對PSF進行內部測量，其中以參照方式將該專利的公開內容引入于此。該測量方法用于計算卷積內核，該內核用于由掃描器采集的圖像中，以部分補償掃描器透鏡系統(tǒng)的非理想性。
也可以在圖像中加入特殊用途的模糊，創(chuàng)造特定光學像差的恒定性。接著采用信號處理消除該模糊。此類技術描述于Optics Express 2003年11期第2102至2108頁中，Kubala等人所著的“降低計算機成像系統(tǒng)的復雜性(Reducing complexity in computational imaging systems)”一文中，其中以參照方式將其引入于此。作者將該技術稱作“波面編碼”。特定的非球面光學元件用于在圖像中生成模糊。該光學元件可以是單個的獨立元件，或者可以和光學系統(tǒng)的一個或多個透鏡集成。例如，在美國專利5,748,371和美國專利申請公開US 2002/0118457 A1，US2003/0057353 A1和US 2003/0169944 A1中，描述基于此類波面編碼的圖像處理方法和光學設計，其中以參照方式將這些專利的公開內容引入于此。


發(fā)明內容
本發(fā)明的一些實施例提供改善數字成像系統(tǒng)的圖像質量的方法和器件。在制造生成高質量圖像的、具有簡單、低成本透鏡(或者甚至不含透鏡)的數字相機時，這些方法和器件是特別有用的。然而，本發(fā)明所示的光學設計和圖像處理的新穎原理，同樣適用于其他類型的數字成像系統(tǒng)。
在本發(fā)明的一些實施例中，一個電子成像相機包括一個圖像傳感器陣列。該相機代表性地包括物鏡系統(tǒng)，甚至在該光學器件的最佳焦點處，光學器件將物體成像在PSF寬度基本上大于傳感器陣列間距的陣列上。(在一個實施例中，“物鏡系統(tǒng)”簡單的包括一個孔——具有一個大“針孔”的性質——而根本沒有透鏡。)作為結果，由陣列自身采集的圖像變得模糊。集成在相機中的圖像處理器，將消除模糊函數——代表性地以去卷積濾波器的形式——應用于陣列的信號輸出，以生成模糊程度降低的輸出圖像。通過以下描述的圖像處理的新方法，可以得到模糊程度的降低。這些方法可以設計和使用具有較低固有PSF的相機光學器件，同時恢復傳感器陣列生成的電子圖像，以提供可接受的輸出圖像。
代表性地，物鏡系統(tǒng)關于光軸圓柱對稱。換句話說，如果光學器件繞光軸旋轉，形成于傳感器陣列上的圖像——以及因此而必須應用于圖像中的消除模糊函數——是基本上不改變的。相反的，如發(fā)明背景中引用的公開中描述的那樣，基于波面編碼的系統(tǒng)有意地使用打破圓柱對稱的光學器件。因而，這些系統(tǒng)要求奇特的光學元件，并對光學器件的旋轉校準的變化非常敏感。
因為無缺陷式探測器陣列是非常昂貴的，針對消費者和工業(yè)應用的大多數電子成像相機具有一定數量的損壞像素，這些損壞像素不能產生有用的光信號。在本發(fā)明的一些實施例中，對相機采集的圖像進行的統(tǒng)計分析用于確定傳感器陣列中的這些損壞像素。代表性地，因為損壞像素的像素值與鄰近像素的像素值之間的差值大于一個閾值，從而識別出相機采集到的圖像中的損壞像素，而該閾值是由相機光學器件的PSF確定的。在(通過去卷積濾波器)消除圖像的模糊之前，損壞像素的像素值被代替的數值取代，以抵消損壞像素對復原圖像的影響。生成進一步模糊圖像和為圖像消除模糊的迭代過程，用于生成具有改善質量的復原圖像。在此過程中，在每次迭代時修改已知損壞像素位置鄰近的像素值，以減少由損壞像素造成的贗像的傳播。為執(zhí)行消除模糊的運算，輸入信號可以被啞員(dummy)像素框包圍，其中該啞員像素視為損壞像素。
盡管本發(fā)明的消除模糊方法可以充分使用于具有基本上任何種類物鏡系統(tǒng)的相機中，但在本發(fā)明的一些實施例中，通過迭代過程來設計光學器件，該過程考慮了相機消除模糊的性能。由于該目的，生成初始光學設計，并基于光學設計的像差和公差計算該設計的PSF。計算其特征在于PSF的代表性數字圖像，并確定消除模糊函數，以增強圖像的PSF，也就是，降低PSF的寬度。接著修改光學系統(tǒng)的設計以降低增強PSF的寬度。
為了修改光學設計，可以評估光學設計中變量的共同效應和增強PSF的伴隨變化。該評估用于確定應該如何改變光學設計。因此評估PSF增強性和修改光學設計的過程通常是一個重復迭代過程，直到該設計收斂于預定的公差內。該過程優(yōu)化了相機的整體性能，同時允許使用具有相對較高的制造公差和較少數量的光學元件的低成本光學器件。
因此，依照本發(fā)明的一個實施例，提供成像裝置，包括 其特征在于間距的光學傳感元件陣列，適用于響應入射在元件上的光學輻射而產生一個信號；以及 物鏡系統(tǒng)，具有一個光軸，并具有關于光軸圓柱對稱的特性，其放置方式是為了以點擴展函數(PSF)將來自物體的光學輻射聚焦到陣列上，其中在光學系統(tǒng)的最佳焦點處點擴散函數PSF的寬度大于傳感器陣列間距兩倍。
在一個公開的實施例中，PSF寬度至少是間距的三倍。
代表性地，該裝置包括一個圖像處理器，結合該處理器響應PSF處理來自陣列的信號，以生成物體的電子圖像，同時降低電子圖像的模糊。在公開的實施例中，來自陣列的信號對應于輸入圖像，其中該輸入圖像包括具有各自像素值的各個像素，而基于PSF，通過將去卷積濾波器應用于輸入圖像，圖像處理器適用于降低輸入圖像的模糊程度。圖像處理器可用于識別陣列中的一個或多個壞元，并以代替的數值取代輸入圖像中壞元附近像素的像素值，以產生校正的模糊圖像，并將去卷積濾波器應用于校正的模糊圖像中，以生成復原圖像。
在一些實施例中，物鏡系統(tǒng)包括一個或多個透鏡，具有響應PSF選定的光學特性，以伴隨去卷積濾波器的應用，優(yōu)化電子圖像的質量。
另外地或可選擇地，其中該圖像處理器適用于響應于該物體和該陣列之間聚焦關系的變化，修改應用于該輸入圖像中的該去卷積濾波器。在一個實施例中，當物體與物鏡系統(tǒng)的距離小于預定的最小距離時，圖像處理器適用于選擇一個微距去卷積濾波器(macro deconvolutionfilter)。
依照本發(fā)明的一個實施例，同時提供成像裝置，包括 其特征在于間距的光學傳感元件陣列，適用于產生一個信號，響應入射在元件上的光學輻射；以及 一個相機主體，包含該陣列，并在該主體上形成一個橫向尺寸基本大于陣列間距的孔，其中該孔和陣列的排列方式是使來自物體的光學輻射通過該孔，并基本上入射到該陣列上，而沒有光學聚焦元件的介入。
在一個公開的實施例中，該裝置包括一個機械裝置，至少與陣列和孔徑的其中之一連接，用于改變陣列和孔徑的距離，以調整器件的視場。
代表性地，該孔徑的橫向尺寸至少比間距大50％。可選地，該孔徑的橫向尺寸可以至少為間距的兩倍甚至三倍。
依照本發(fā)明的一個實施例，又提供成像裝置，包括 物鏡系統(tǒng)，其放置方式是使來自物體的光學輻射聚焦到具有特征點擴散函數(PSF)的焦平面上； 光學傳感元件陣列，位于焦平面，且適用于響應入射在元件上的光學輻射產生一個信號，該信號對應于物體的電子圖像，其中該圖像包括具有各自像素值的各個像素； 圖像處理器，結合該處理器接收來自陣列的信號，適用于識別陣列中的一個或多個壞元，并且，響應PSF，修改輸入圖像中壞元附近像素的像素值，以產生校正的模糊圖像，同時減少由壞元造成的贗像的傳播，并基于PSF，將去卷積濾波器應用于校正的模糊圖像中，以生成復原的輸出圖像。
依照本發(fā)明的一個實施例，進一步提供一個圖像處理器，至少包括一個集成電路器件，適用于接收物體的模糊輸入圖像，該圖像生成于光探測元件陣列，該光探測元件陣列包括一個或多個壞元，并且其特征在于點擴散函數(PSF)，而該處理器響應于PSF，修改模糊輸入圖像的壞元附近的像素值，以產生校正的模糊圖像，同時減少由壞元造成的贗像的傳播，并將去卷積濾波器應用于校正的模糊圖像中，以生成復原圖像。
依照本發(fā)明的一個實施例，還提供制造光學系統(tǒng)的方法，包括 產生光學系統(tǒng)的設計； 根據該設計計算光學系統(tǒng)的點擴散函數(PSF)； 根據該設計，將給定圖像復原函數應用于光學系統(tǒng)產生的圖像中，確定可以獲得的增強PSF；以及 修改光學系統(tǒng)的設計，以減少增強PSF的寬度。
在一些實施例中，設計的形成包括為每個光學像差分配各自的品質分數，確定設計所特有的像差，響應像差和每個品質分數計算設計分數，并響應該設計分數優(yōu)化的設計。代表性地，各自的品質分數的分配包括分別確定PSF上每個像差對PSF的影響，并響應于各個影響計算各個品質分數。另外地或可選擇地，像差的確定包括生成像差的澤尼克(Zernike)多項式展開，而設計分數的計算包括計算響應多項式展開系數的各個品質分數的加權和。
在公開的實施例中，增強PSF的確定包括確定響應計算出的光學PSF的去卷積濾波器的系數，并將去卷積濾波器應用于代表的圖像，其中該代表圖像的特征在于計算出的光學PSF。
另外地或可選擇地，設計的修改包括評估設計中的變化對增強PSF的影響，并響應評估出的影響，修改光學系統(tǒng)的設計。在一個公開的實施例中，增強PSF的確定包括計算響應增強PSF的圖像質量分數，并評估變化對其影響包括找到圖像質量分數與該變化的依賴關系。代表性地，圖像質量分數的計算包括確定光學系統(tǒng)像場中多個點的本地點擴散函數(PSF)，并且確定響應本地點擴散函數的圖像質量分數。圖像質量分數的確定可能包括找到多個點處各自的本地分數，并合并各本地分數，以生成圖像質量分數。
在一個實施例中，增強PSF的確定包括通過獲得本地點擴散函數的加權和，計算加權PSF，且評估變化對其影響包括計算變化對加權PSF的影響。
在另一個實施例中，圖像質量分數的計算包括找到一個分辨率分數，其表示伴隨增強PSF產生的圖像的分辨率，并找到一個贗像分數，其表示圖像的贗像程度，并合并分辨率分數和贗像分數，以確定圖像質量分數。
代表性地，圖像質量分數的計算包括確定響應光學系統(tǒng)像差的圖像質量分數，且圖像質量分數依賴程度的確定包括對于像差的改變，計算分數梯度。在一個公開的實施例中，圖像質量分數依賴程度的確定包括確定響應矩陣，指明像差的變化，其將作為對光學系統(tǒng)設計進行的具體修改的函數，且設計的修改包括響應于該梯度和該響應矩陣，確定應用于設計的修改。
在一些實施例中，該方法包括關于光學系統(tǒng)設計修改、計算光學PSF、確定增強PSF、以及修改設計的重復迭代過程。代表性地，重復迭代過程包括，通過計算光學PSF、確定增強PSF、以及修改設計，從而來執(zhí)行迭代，直到其中一個迭代表示的設計修改量小于應用于光學系統(tǒng)制造的預定公差。
代表性地，光學系統(tǒng)包括一個或多個光學元件，而其中設計中的變化包括下面三者之中至少一個其中一個元件的光學表面曲率的變化，或其中一個元件厚度的變化，或元件間距的變化。在一個公開的實施例中，一個或多個光學元件至少包括一個非球面元件，其至少具有一個由多項式函數定義的表面，而設計的修改包括多項式函數的優(yōu)化系數。
依照本發(fā)明的一個實施例，進一步提供一個光學系統(tǒng)，其中包括一個或多個光學元件，其根據設計制造和裝配，通過根據該設計計算該光學系統(tǒng)的光學點擴散函數(PSF)，確定增強PSF，以及修改該光學系統(tǒng)的設計以減少該增強PSF的寬度，來優(yōu)化該設計，其中通過將給定的圖像復原函數應用于由該光學系統(tǒng)生成的圖像中，而確定可以由此獲得的增強PSF。
依照本發(fā)明的一個實施例，同時提供一個計算機軟件產品，包括一個存儲程序指令的計算機可讀介質，當計算機讀取時，該指令使計算機生成光學系統(tǒng)的設計，根據該設計計算光學系統(tǒng)的光學點擴散函數(PSF)；根據該設計，通過將給定圖像復原函數應用于光學系統(tǒng)生成的圖像中，確定可以獲得的增強PSF；并修改光學系統(tǒng)的設計以減少增強PSF的寬度。
依照本發(fā)明的一個實施例，還提供電子成像的方法，包括 使用其特征在于間距的光學傳感元件陣列，響應于入射到元件上的光學輻射而生成信號；以及 利用物鏡系統(tǒng)，將來自物體的光學輻射聚焦到陣列上，形成點擴散函數(PSF)的寬度大于兩倍的陣列間距的光學圖像，其中該物鏡系統(tǒng)具有一條光軸，并特征在于關于該光軸圓柱對稱。
在公開的實施例中，該方法包括響應于PSF處理來自陣列的信號，以生成物體的電子圖像，同時降低電子圖像的模糊程度。通常地，來自陣列的信號對應于輸入圖像，其中該圖像包括各自具有像素值的像素，而信號的處理包括基于PSF，將去卷積濾波器應用于輸入圖像。在一個實施例中，去卷積濾波器的應用包括響應物體和陣列之間焦點關系的改變，修改去卷積濾波器。例如，去卷積濾波器的修改可以包括，當物體與物鏡系統(tǒng)的間距小于預定的最小間距時，選擇一個微距去卷積濾波器。
依照本發(fā)明的一個實施例，進一步提供圖像處理的方法，包括 在光探測元件陣列中識別一個或多個壞元； 利用陣列采集物體的模糊輸入圖像，該圖像的特征在于點擴散函數(PSF)； 響應于PSF，修改模糊輸入圖像中壞元附近的像素值，以生成校正的模糊圖像，同時減少由壞元造成的贗像的傳播；以及 基于PSF，將去卷積濾波器應用于校正的模糊圖像，以生成復原圖像。
通常，該方法包括對復原圖像中壞元附近的像素值執(zhí)行反復修改，以生成新的模糊圖像，并將去卷積濾波器應用于新的模糊圖像，以生成新的復原圖像。
在一個公開的實施例中，該方法包括圍繞該輸入圖像加入一個啞員像素框，其中該啞員像素視為與壞元相關的像素類似，用于生成校正的模糊圖像以及產生復原圖像。
在一些實施例中，像素值的修改包括確定代替值，響應PSF，取代損壞像素附近的像素值。在其中一個實施例中，代替值的確定包括使用校正映射M[X]設定代替值，其中M[X]的形式基本上由

給定，其中X為像素坐標，M′[X]為卷積映射，其由PSF的共軛與壞元的映射卷積給定。
另外地或可選擇地，一個或多個壞元的識別包括確定像素值之間的差值，并將該差值與基于PSF的最大差值進行比較。
通過下列對本發(fā)明的一些實施例的詳細描述，并結合附圖，將能更徹底地理解本發(fā)明


圖1A為依照本發(fā)明的一個實施例的無透鏡相機的側視圖； 圖1B為圖1A的相機的詳細示圖，說明相機的點擴散函數； 圖2為圖1A中的相機的詳細示圖，依照本發(fā)明的一個實施例，說明光學變焦操作； 圖3為依照本發(fā)明的另一個實施例的相機的側視圖； 圖4為用于圖3中相機的傳感器陣列像平面中的像素矩陣的前視圖； 圖5為依照本發(fā)明的一個實施例，示意性地說明電子成像相機采集的圖像中的損壞像素的識別方法的流程圖； 圖6為依照本發(fā)明的一個實施例，示意性地說明消除圖像模糊的方法的流程圖； 圖7為依照本發(fā)明的一個實施例，示意性地說明光學設計方法的流程圖； 圖8為示意性地說明計算圖像質量分數的方法的流程圖，與圖7中的方法相關聯(lián)使用； 圖9為依照本發(fā)明的一個實施例，利用圖7中的方法設計的物鏡系統(tǒng)的側視圖； 圖10A和10B為圖9所示的物鏡系統(tǒng)的PSF的示意圖； 圖11A和11B為依照本發(fā)明的一個實施例，用于為由圖9中的光學器件形成的圖像消除模糊的去卷積濾波器(DCF)內核的示意圖；以及 圖12A和12B為依照本發(fā)明的一個實施例，通過使用圖11A和11B中說明的DCF消除圖像模糊而得到的增強PSF的示意圖。

具體實施例方式 定義 以下為用于本專利申請和權利要求中的技術術語的非窮舉列表。盡管在這里是依照與本領域技術術語相一致的普通意義來使用這些術語，但為便于讀者理解下列描述和權利要求，還是將它們列在下面。
●探測器陣列的間距是指陣列元件之間的中心點到中心點的距離。
●圓柱對稱描述諸如一個簡單透鏡或合成透鏡的結構，該結構具有一條光軸，使得在繞該光軸以任何及所有旋轉角度旋轉時，該結構保持不變。
●點擴散函數(PSF)，這里用h表示，是空間域內光學系統(tǒng)的脈沖響應，也就是，暗背景下亮點物體系統(tǒng)形成的圖像。
●PSF的寬度為PSF的半幅全寬(FWHM)。
●光學變換函數(0TF)為PSF向頻域的二維傅立葉變換。因為PSF可以容易地變換為OTF，且反之亦然，所以對于本發(fā)明，OTF的計算視為等于PSF的計算。
●光學輻射是指在光譜的任何可見、紅外和紫外區(qū)域內的電磁輻射。
消除相機圖像的模糊 圖1A為依照本發(fā)明的一個實施例的電子成像相機20的側視圖。相機20包括圖像傳感陣列22，例如CCD或CMOS圖像傳感器，本領域所公知的，該陣列包括探測器元件矩陣24。通常為可見光的來自物體的光學輻射，通過孔徑26入射到陣列22上，該孔徑作為相機的物鏡系統(tǒng)。像下面描述的那樣，為了光學變焦操作，操作移動器件28，將陣列22向孔徑26平移或將其平移遠離孔徑26。可選擇地，移動器件可以平移孔徑26，而不是陣列22，或者一并平移該孔徑和該陣列。
圖1B為孔徑26和陣列22的詳細示圖。在傳統(tǒng)電子成像相機中，利用透鏡將物體圖像聚焦到傳感器陣列，以生成清晰圖像，其中物體上的每個點都成像到傳感器平面的一個點上。然而，在相機20中，基本上沒有使用物鏡，所以入射到陣列22上的圖像必然是模糊的。物體上的點40發(fā)射的光將通過孔徑26，在陣列22上形成光斑42。為了概念上的簡易(忽略衍射和其他光學效應)，由于物體點40到孔徑26的距離遠大于陣列22到孔徑的距離，可以知道光斑42的尺寸近似等于孔徑26的直徑。代表性地，孔徑直徑基本上大于陣列22的間距，例如，孔徑直徑為間距的兩倍或四倍，甚至更大。因而，光斑42覆蓋至少由多個相互相鄰像素組成的像素組?？梢灶愃频牡弥纬捎陉嚵?2之上的圖像的點擴散函數(PSF)具有其寬度近似等于孔徑26的直徑的特性。
現在回到圖1A，圖像處理器30處理由陣列22生成的模糊輸入圖像，以產生復原輸出圖像32。圖像處理器30代表性地包括一個或多個專用集成電路芯片，這些芯片包含在相機20的內部?？蛇x擇地或另外地，圖像處理器可以包括具有適當軟件的可編程處理器，且可以放置在相機內部或外部，也就是，該處理器可以在單獨的計算機內，將來自相機的圖像載入該計算機中。處理器30不僅可以用于無透鏡相機20中，也可以經過必要的修正，作為集成組件或附加元件，用于其他類型的數字相機和其他成像器件中。例如，輸出圖像32可以顯示在視頻顯示器34上，或可以選擇性地打印或存儲在存儲器中。
圖2為孔徑26和陣列22的詳細示圖，依照本發(fā)明的一個實施例，說明相機20的光學變焦操作。圖中，移動器件28(圖1)推動陣列22沿水平軸左/右移動，靠近或遠離孔徑26。當陣列離孔徑相對較遠時，陣列在相對較窄的視場內接收來自物體的光，視場角半寬度為α。當陣列朝著孔徑26向前移動到以22’標記的位置時，它看到更廣的視場，視場角半寬度為α’。該效果等同于傳統(tǒng)相機中移動物鏡(或透鏡組)而得到的光學變焦效果。
圖3為依照本發(fā)明的另一個實施例的電子成像相機44的側視圖。相機44除了包括折射式物鏡系統(tǒng)46外，在構造和操作上與如上所述的相機20類似，其中該折射式物鏡系統(tǒng)通常由一個或多個透鏡組成。在相機的光路中也可以存在一個或多個濾波器48，例如阻紅外濾波器。代表性地，為了降低制造成本，光學器件46包括相對較少的折射元件，其中這些元件是以相對寬松的公差設計的。作為結果，光學系統(tǒng)的PSF的寬度基本上大于陣列22的間距。代表性地，為了放松對光學器件46的設計約束，并因此降低相機44的成本，PSF寬度至少是間距的兩倍，也可以大于間距的三倍，或者甚至大于間距的四倍。注意到，如果物體距離或相機的放大倍率(變焦)發(fā)生變化，PSF可能改變。(在此情況下，PSF的改變比圖2中說明的簡單的變焦功能要復雜。)可以為處理器30編寫程序以補償此類變化。
在從模糊圖像中第一次消除噪聲之后，圖像處理器30通過將去卷積濾波器(DCF)應用于圖像，為相機20或44的輸出圖像消除模糊。DCF可以視作與復雜的PSF h成有規(guī)則的反比，例如 其中ε為較小的常數。處理器30采用的處理方法在上述美國專利申請09/778,849中詳細描述。
該申請中進一步描述了技術細節(jié)，這在下文中更詳細地描述，其中該技術細節(jié)可以被處理器30利用。例如，因為PSF h可以在相機的像場上變化，可以將消除模糊的過程單獨應用于不同的圖像片斷中，代表性地在每個片斷中采用不同的DCF。接著消除模糊的片斷組合在一起生成最終的復原圖像。使用DCF消除圖像模糊的方法是一種圖像復原方法，該方法應用于文中描述的本發(fā)明的至少一個實施例中。DCF可以應用于空域或頻域中。在閱讀上述美國專利申請和本專利申請的基礎上，對于本領域技術人員來說，圖像復原的等價的、可選擇的技術將會變得顯而易見，且其被視為在本發(fā)明的范圍之內。
圖4為依照本發(fā)明的一個實施例，由于相機20或44中處理器30執(zhí)行的處理，由陣列22捕捉的像素54的矩陣50的前視圖。矩陣50包括由像素54組成的圖像區(qū)域22，其大小對應于陣列22的相應組元24輸出的信號。在陣列22的操作范圍內，對于絕大部分，信號(以及因此的像素值)以固定的比例，與入射到相應探測器元件的光強度成比例。然而，對于一些像素，例如不正常像素56，其比例偏離正常比例，得到了比預期更高或更低的靈敏度。其他像素，例如有缺陷的像素57，因為陣列22的相應組元24為異常噪聲，或因為它們對光的靈敏度很低(或沒有靈敏度)，可能提供無用輸出。此類有缺陷的像素在這里稱為損壞像素。注意到圖像中的“損壞像素”也可能來源于圖像中過度感光或感光不足的像素，例如圖像中的“熱區(qū)”或“黑區(qū)”，而相鄰的損壞像素組成的像素組可能導致圖像中出現損壞區(qū)。
光斑42為相機的物平面上的點光源的有效圖像。由相機的PSF造成的模糊，以圖4所示的斑點42作為例證，在效果上等同于圖像的低通濾波器，所以每個像素值與其相鄰像素值有效地進行平均。因此，PSF為相鄰像素值之間可能出現的差值加上了限制，該限制基本上小于陣列22的全動態(tài)范圍(例如，255∶1)。超過該限制的相鄰像素之間的差值表示陣列的組元24中由不正常像素或損壞像素造成的缺陷。
圖5為依照本發(fā)明的一個實施例，示意性說明識別此類損壞像素和不正常像素的方法的流程圖。以下參考相機44描述該方法，盡管它也可以類似地應用于相機20或其他類型的電子成像器件中。作為該方法的起點，在60處確定適用的PSF?？梢岳帽绢I域公知的光學方法測量該PSF，或者可選擇地，可以基于光學器件46的已知特性，以及陣列22和相機20的其他顯著特性計算該PSF。在62處，該PSF用于確定相鄰像素之間允許的最大差值。例如，可以通過在物平面中亮暗特性之間的最大對比度的清晰邊緣區(qū)域內，計算受已知PSF約束的相鄰像素的大小。
在64處，為了收集圖像統(tǒng)計數據，在測試模式下操作相機44。在該測試模式中，例如，相機可以掃描不同的圖像類型和區(qū)域，并可以收集相應圖像的序列?？蛇x擇地，可以在相機的正常操作期內收集圖像統(tǒng)計數據。在66處，為了識別與鄰接像素不相容的像素，接著比較圖像序列中相鄰像素的大小。在68處，依靠給定像素及其相鄰像素之間的偏離模式，識別兩種類型的不相容性 ●穩(wěn)定偏離，偏離像素56的特征在于給定像素的平均值比其相鄰像素高或低一個穩(wěn)定比例因子。在此情況下，在70處，處理器30確定校準因子，應用于陣列22輸出的像素值中，以調整相應探測器組元24的偏離靈敏度。
●無穩(wěn)定比例因子的偏離，損壞像素57的特征在于無法提供有用信息。在72處，處理器30標注出這些像素，用于特殊處理。以下參考圖6描述處理器30對這些損壞像素的處理。
該方法處理損壞像素和不正常像素的一個優(yōu)點是，它允許相機44使用不正常和/或有缺陷的組元24的數量相對較大的陣列22，同時仍然生成高質量的圖像。
對于處理器30，也可以識別和補償特殊圖像中沒有固有缺陷，但給出“損壞”輸出信號的像素。例如，當相機捕捉具有過亮光點的場景時，可以使圖像中相應的像素達到飽和，并可以使該飽和度擴展到相鄰像素。在消除圖像模糊之前，處理器30可以識別這些效應，并可以將出現效應處的像素加入到處理器當前的損壞像素圖中。
圖6為依照本發(fā)明的一個實施例，示意性說明處理器30采用的生成去模糊輸出圖像32的方法的流程圖。在80處，如上所述，除其他因素外，該方法基于創(chuàng)建如上所述的損壞像素的映射D[x]。這里x為空間(像素)域內的廣義矢量坐標。損壞像素的D[x]值為0，其他的為1。
在82處，為實現此方法，通過對映射D和共軛PSF h*進行卷積，創(chuàng)建損壞像素的“模糊”映射。在空間頻率域內，給定該卷積映射的傅立葉變換為 其中

和

分別為PSF和損壞像素映射的傅立葉變換，而q為變換(頻率)域內的廣義矢量坐標。通過將M’再次變換到空間域并進行設置，可以確定新的校正映射M 可選擇地，可以在空間域內計算M’，而不是通過傅立葉變換來回變換映射。
注意到在損壞像素附近，卷積映射數值M’[x]可能遠遠小于1，因此相應的校正映射數值M[x]可能非常大。發(fā)明人發(fā)現，按照以下描述的方式，在可靠的重建具有最少贗像的正確圖像方面，此類校正圖的使用，具有比傳統(tǒng)插值法好得多的效果。除其他因素外，這些贗像來源于PSF的非本地化特性，以及必須用來補償它使用的DCF的非本地化特性。當使用簡單的插值法平滑損壞像素區(qū)域時，作為結果的圖像通常被顯而易見的贗像模糊化(至少在一個插值區(qū)內)或破壞。另一方面，本發(fā)明的一些實施例提供的校正映射，取代損壞像素值，同時保留周圍完好像素的基本空間頻率結構。因而，基本上減少了贗像從損壞像素向其鄰近像素的傳播?？蛇x擇地，使用形式上與方程式(3)中定義的公式相同的其他公式，也可以確定校正映射，盡管它們在代數形式上有區(qū)別。此類可選擇公式被視為在本發(fā)明的范圍內。在任何情況下，文中描述的損壞像素替換技術允許陣列22包括相對較大數量的損壞像素，而基本上不會在相機輸出圖像的不利效應。因而，通過使用便宜的、低質量的具有相對較大數量的損壞像素的陣列，可以降低相機的成本。
在84處，處理器30接收到來自陣列22的輸入圖像(被光學器件46的PSF模糊)。該圖像在80中標注的位置處包括損壞像素。在86處，處理器用預估的正確數值取代損壞像素值。例如，通過對相鄰完好像素值實行插值法，可以確定這些預估數值。除了必須通過70處確定的校準因子(圖5)調整其數值外，圖像中的完好像素保持不變。
另外，在86處，處理器30在圖像區(qū)52的邊緣加上框58。該框的作用是提供應用在消除圖像模糊中的傅立葉變換的固有周期。例如，框58的寬度近似等于PSF的半徑。為了實現圖6中的方法，框58中的像素視為“損壞”像素。通過在區(qū)域52的相鄰右邊緣和左邊緣的“完好”像素，或下邊緣和上邊緣的“完好”像素的數值之間執(zhí)行插值，獲得這些像素的初始值。因而，框像素為圖像加入周期結構，用于在空間域和變換域之間變換圖像時，抑制可能由圖像邊緣引入的贗像。
在86處獲得的經校正的、加上框的模糊圖像與DCF進行卷積(方程式1)，在88處生成初始去模糊圖像r0。形式上的簡化式子為，r0[x]＝DCF*B0[x]，其中運算符“*”表示卷積。實際上，是在傅立葉變換域內，通常伴隨著減噪步驟執(zhí)行該運算，正如上述美國專利申請09/778,849中描述的那樣。
接著在90處，處理器30估計r0，以確定為了改善圖像質量，是否希望有附加的處理。90處該決定的基礎可以是已過去的處理時間，或已執(zhí)行的迭代次數，或者是對圖像質量的測量。進一步在下面描述該決定標準。在92處，如果處理器30確定已經完成當前圖像的處理，輸出圖像，并終止處理。通常，在輸出圖像之前刪除框58?？蛇x擇地，在輸出圖像中移除框的一部分或全部，因為它可能包含圖像的標稱視場之外的信息(由于相機的較大PSF)。
可選擇地，為了生成更清晰的、更精確的物體圖像，處理器30可以繼續(xù)迭代處理當前圖像。為此目的，在94處，來自前述迭代處理的模糊圖像Bi[x](初始為B0)和去模糊圖像ri[x](初始為r0)，用于創(chuàng)建新的具有更好的損壞像素值的模糊圖像Bi+1[x] Bi+1[x]＝(h*ri[x])(1-D[x])+D[x]Bi[x] (4) 換句話說，之前的去模糊圖像與PSF進行卷積，而損壞像素映射D用于替換Bi+1中獲得的損壞像素位置處的像素值。Bi中的完好像素值保持不變。
在96處，新的模糊圖像Bi+1，具有改善的損壞像素值，用于創(chuàng)建改善的去模糊圖像ri+1。ri+1中的像素值可以表示為以下形式 ri+1[x]＝DCF*Bi+1[x]+M[x]h*[x]*[(Bi[x]-h*ri[x])D[x]](5) 這里，通過將方程式(5)的各項變換到傅立葉變換域，相乘，接著再變換回空間域，通常執(zhí)行卷積運算，對于本領域技術人員這一點顯而易見。第一項ri+1簡單地表示，通過DCF為新的模糊圖像Bi+1消除模糊。加入第二項是為了消除新的去模糊圖像中預估損壞像素值對完好像素值的影響。該項使用源于82處的修正映射數值，正如方程式(3)表達的那樣。在每次迭代中，該項為由其操作的像素生成新的像素值，以更為確切地復原正確圖像的精確空間頻率結構。
在這一點上，在90處，處理器30再次估計去模糊圖像的質量和/或已過去的處理時間或迭代次數，并決定是終止計算，還是繼續(xù)下一次迭代。以這種方式，可以不確定地持續(xù)迭代，直到圖像最終從92處輸出。
另外，在存儲和/或顯示最終圖像前，在92處可以進一步應用圖像增強運算。該進一步的運算通常直接降低圖像中的噪聲和/或消除贗像。例如，可以應用平滑濾波器降低噪聲。為了保持邊緣對比度，可以確定本地圖像梯度，并可以在與本地梯度正交的方向上應用一維的平滑濾波器。
比如另一個實例，可以在這一階段消除“幻影邊緣(ghost edge)”，圖像中的實際銳利邊緣附近，該“幻影邊緣”有時作為贗像出現。為此目的，通過平滑去模糊圖像，創(chuàng)建邊緣圖像，同時保留圖像中實際的固定邊緣。該邊緣圖像視為沒有贗像(盡管除了堅固的邊緣外缺少所有細節(jié))。將模糊和復原操作應用于該邊緣圖像，導致幻影邊緣的出現。從之后的圖像中減去沒有贗像的邊緣圖像，給出只包含幻影邊緣現象(印記)的圖像?，F在可以從初始去模糊圖像中減去幻影邊緣的印記，以消除贗像。
可選擇地或另外地，在92處也可以采用其他用于增強圖像和減少贗像的方法。經過必要的修正，處理器30采用的通常方法，描述于美國專利4,691,366、5,751,861和6,094,467中，其中以參照方式將這些專利的公開內容引入于此。
用于圖像復原的優(yōu)化光學設計 圖7為依照本發(fā)明的一個實施例的流程圖，示意性地說明適用于具有消除模糊函數的數字相機中的光學設計方法。該方法利用處理器30采用的圖像復原函數的預見性，以生成優(yōu)化該功能的光學設計。在生成初始光學設計后，計算光學系統(tǒng)的光學PSF，并將其用于確定增強PSF，其中通過在根據該設計的光學系統(tǒng)生成的圖像中，應用消除模糊函數，而獲得增強PSF。同時基于該光學設計計算響應矩陣，指明設計中的變化對增強PSF的影響。接著基于響應矩陣修改光學系統(tǒng)的設計，在圖像復原之后給出具有更好的增強PSF的新設計。將這個過程重復進行以連續(xù)給出更好的設計。在本領域內公知的，盡管以下是參考相機44以及圖5中的去模糊方法來描述圖7的方法，但是它也可以類似地應用于其他相機和其他類型的電子成像系統(tǒng)，包括使用其他用于圖像復原的算法的系統(tǒng)。
現在轉到圖7的方法的詳細介紹，在形成光學設計之前，在100處，作為初始階段，可以定義像差分數，用于光學設計中。該階段不是強制性的，但是對于獲得下面描述的迭代設計方法的更快速的迭代收斂，它是很有用的。為每個可能具有光學器件46的特性的重要像差分配品質函數。為此目的，發(fā)明人發(fā)現，本領域內公知的，對于每個單獨的紅色、綠色和藍色，根據澤尼克多項式表示像差是最為方便的。例如，通過Born和Wolf所著的《光學原理》第四版(Pergamon出版社，1970年)第9.2節(jié)第464至467頁，描述了澤尼克多項式，將其作為參考引用于此。光學設計的標準軟件包，例如

(California，San Diego的ZEMAXDevelopment公司生產)，能夠充分計算由它們生成的任何設計中的澤尼克多項式系數。在100處，可以以表格形式提供品質函數的數值。下面會參考圖8描述這些數值的生成。
在102處，生成初始的光學設計。通常使用運行于合適的計算機工作站之上的光學設計軟件，生成該設計。該軟件可以以電子形式下載到工作站，或者可選擇地提供于有形介質中，例如CD-ROM或DVD。光學設計軟件可以包括不用定制的軟件包，例如上述ZEMAX軟件，并配有附加的程序部分以執(zhí)行這里描述的優(yōu)化功能。軟件接受對光學器件46施加的系統(tǒng)要求作為輸入，例如光學元件的數量、原料、公差、焦距、放大倍率、孔徑(F數)以及分辨率。如以上注意到的，根據光學系統(tǒng)的PSF表示的光學分辨率，通常地給出充分大于陣列22的間距的焦斑尺寸。通過消除模糊，提高整個系統(tǒng)的分辨率。
光學設計軟件可以利用100處提供的像差分數來確定設計分數，設計分數是接收了所有設計像差后的總體品質分數。設計分數表示如何交替使用一個又一個像差，以生成初始設計，使受制于上述光學要求的總體品質分數最大化。作為以此方式利用品質分數的結果，在102處生成的光學設計可能不會給出陣列22形成的圖像中的最小總體模糊程度。然而，光學圖像的特征在于像差的組合，即可以通過處理器30通常地消除圖像模糊，給出更高質量的電子輸出圖像。
在104處，光學設計軟件同時用于生成設計變更響應矩陣。該矩陣反映，光學設計參數的微小變動，將會影響光學系統(tǒng)的不同像差。例如，可以改變的光學設計參數包括不同透鏡表面的曲率，以及透鏡的厚度和間距。該矩陣為多維梯度型，具有條目(i，j)，表示比率
在106處，光學設計也用于計算光學系統(tǒng)的PSF以及相關圖像質量分數S。從總體波陣面像差，獲得像平面中任意點的總體像差——且因此獲得PSF，可以簡單地通過澤尼克多項式數值的求和計算總體波陣面像差。如以上注意到的，澤尼克多項式系數通常作為諸如上述ZEMAX的標準光學設計程序的輸出使用。106處計算的圖像質量分數通常合并PSF對圖像分辨率和圖像中贗像的影響，并反映處理器30使用選定圖像復原(消除模糊)算法補償這些影響的能力。通常，PSF隨波長變化，而且在整個像平面內是非均勻的。因此，通常通過加權平均，可以在像平面的多個視場點(field point)計算分辨率和贗像分數，并將其合并。下面會參考圖8描述計算圖像質量分數S的通常方法。
在108處，確定像差的微小變化對圖像質量分數的影響。在這個階段，對每個像差進行微小改變，并計算因此產生的圖像質量分數的變化。該運算給出分數梯度Aj＝ΔS/Δ(aberration[j])。
接著在110處，合并104和108的結果，以確定最佳變化量，該最佳變化量應該應用于一個或多個光學設計參數中以增加S值。利用響應矩陣R和分數梯度矢量A，其中在上面定義了它們的組元Rji和Aj，光學設計變更矢量ΔO給定為 ΔO＝(RtR)-1·RtA(6) 其中Rt為R的赫米特(Hermitian)轉置。每個ΔO元素指明應該對當前光學設計的一個或多個可變設計參數做出的改變，正如102處生成的那樣。
在112處，將ΔO指明的設計變更的量級和預定公差閾值進行比較。可以任意設定公差閾值，但是通常地，它是由為相機44和光學器件46指定的制造公差確定的。例如，如果光學系統(tǒng)中兩個透鏡的間距指定為精確到0.2mm之內，ΔO可以指定對設計間距執(zhí)行0.1mm的微小改變。在114處，如果ΔO的元素全部小于適用的公差閾值，設計循環(huán)完成，并可以為生成過程輸出設計結果。
可選擇地，只要在112處發(fā)現一個或多個ΔO的元素超過公差閾值，設計流程就返回到102，以生成修正的光學設計，實現110處計算的設計變量ΔO。如上所述，重復104至110的操作。該重復過程可以持續(xù)下去，直到在112處發(fā)現ΔO的所有元素都小于使用閾值，或直到發(fā)生了確定的最大重復次數的操作，或直到滿足其他標準或標準組合。
圖8為依照本發(fā)明的一個實施例的流程圖，詳細示出106處執(zhí)行的分數計算方法。如以上注意到的，通過計算和合并分辨率分數和贗像分數確定圖像質量分數?？梢栽谝晥鲋械亩鄠€點上或在多個不同波長處計算單獨的分數。在一個實施例中，在沿X軸正向的九個點上，并在三個不同波長處的每個上(紅、綠和藍)計算分數。因為光學系統(tǒng)為圓柱對稱，X軸正向上的光學特性就足夠代表整個視場的特性。
在120處，為了確定分辨率分數，為每個選定視場點的每個波長確定單獨的X向和Y向分辨率分數，SxRes和SyRes。由于視場點沿X軸，SxRes表示切向平面的分辨率，同時SyRes表示徑向平面的分辨率。在一個代表性的實施例中，以如下方式計算每個視場點和波長處的分數 1.基于像差計算PSF，通常使用如上所述的澤尼克多項式表示法。
2.PSF與陣列22的間距成比例。
3.PSF用于生成典型圖像。通常地，通過模糊化理想圖像創(chuàng)建該典型圖像，其中除了在原點(當前視場點)處的像素值為1外，該理想圖像所有位置的像素值為零。換句話說，I(x，y)＝δx，y，其中I(x，y)為圖像像素陣列，x，y為整型像素坐標，而δx，y為科洛內克(Kronecker)三角函數?？蛇x擇地，可以利用其他類型的典型圖像，例如線型圖像或柵格圖像。
4.如上所述，利用去卷積濾波器DCF(h)消除該典型圖像的模糊，以生成復原圖像r(x，y)。這里h為用于生成DCF的PSF。在此階段可以選擇使用多種去卷積濾波器。例如，h可以是為特殊視場點和波長而計算出的本地PSF，且利用以上方程式(1)給定的公式，基于此本地PSF計算DCF?？蛇x擇地，單一的優(yōu)化DCF可以用于所有視場點和波長。隨后處理器30可以應用相同的優(yōu)化DCF，為相機44生成的圖像消除模糊。下面會描述計算優(yōu)化DCF的通常的方法。
5.通過應用二維傅立葉變換，將復原圖像r(x，y)變換到空間頻率域內，給出轉換的圖像

其中(p，q)分別為X向和Y向的空間頻率坐標。
6.由X向階躍函數的斜率確定X向的分數，其中該階躍函數被模糊并復原，如變換的圖像給定的

這里pMAX為X向的耐奎斯特頻率。
7.類似地，由Y向階躍函數的斜率確定Y向的分數，其中該階躍函數被模糊并復原

在此情況下，qMAX為Y向的耐奎斯特頻率。
在124處，合并所有選定視場點處的X向和Y向的單個分辨率分數，給出一個總的分辨率分數。通常地，加權平均的方式是為了把重點更多地放在損壞(低)的單個分辨率分數上。例如，總分辨率分數可以是單個分辨率分數的倒數的指數的乘積(見下面的方程式(7))。對于本領域技術人員來說，用于加權平均的選擇性的機構是顯而易見的。作為進一步可選擇的，總體分數可以簡單地設定為單個分數的最差值。
在122處，類似地計算每個視場點和波長處的單個贗像分數，SxArt和SyArt?？梢园聪铝蟹绞接嬎銌蝹€分數 1.通過將線性傅立葉變換應用于

確定DCF產生的贗像在X向的寬度，給出空間域函數Rx1D(x)。通常地，該函數具有由旁瓣包圍中央峰值的特性。贗像在X向的寬度Wx，由原點到最高階旁瓣的外邊界的距離給定

其中εArt為某個閾值，通常地為1％量級。
2.通過確定最高階旁瓣的內邊界

并接著確定邊界外部的最大幅值

確定DCF產生的贗像的幅值。
3.X向的贗像分數由乘積給定
以類似方式計算Y向的贗像分數。
在126處，通過合并單個分數計算總體贗像分數，通常地作為加權平均數。在此情況下，權重通常地強調更高的單個分數，這些分數指向更嚴重的贗像?？蛇x擇地，類似于124處，總體贗像分數可以設定為等于單個分數的最差值。接著在128處，將總體圖像質量分數S確定為分辨率分數和贗像分數的平均值。例如，下面的方程式(7)合并了124、126和128的運算 這里，總和包括了所有視場點f和波長ω。λ為源于經驗的常數，可以依靠系統(tǒng)要求選擇該常數，以將更多的重點放在提高輸出圖像的分辨率或減少輸出圖像的贗像上。
如以上注意到的，可以將任何合適的DCF用于計算圖像的質量分數和梯度。盡管可以將不同的DCF用于每個不同的視場點和波長，如上所述，在整個視場中利用單一的均勻的DCF，或者在視場中利用至少一個變化相對較小的DCF，可以更簡單地實現處理器30的操作。因此，在優(yōu)化光學設計中，依照圖7和圖8的方法，希望使用均勻的DCF，因此光學設計將會反映消除模糊算法提供的實際的圖像增強。
在一個實施例中，加權PSF，這里稱為hOpt，為了光學設計流程，被用作為均勻的PSF。在實際生產的最大數量的相機44個體中，相應的DCF具有提供最優(yōu)消除模糊功能的最大可能性，在這一方面，加權PSF提供PSF的優(yōu)化評估。為此目的，通過圖像場內單個PSF的加權平均，計算hOpt。加權PSF也可以考慮由于在光學器件46、傳感器陣列22、以及可能在相機44的其他元件中的制造公差，而可能在單個PSF中出現的變化。例如，hOpt可以包括幾個不同的單個PSF的貢獻，其中利用由系統(tǒng)公差范圍定義的不同光學參數，對于相同的視場點和波長，計算這些單個PSF。在平均過程中每個PSF hi與權重Wi相乘，因此加權和為1?？梢赃x擇權重，將更多重點放在與視場中心更接近的視場點，和/或相對其他波長，更偏重一個波長(通常地為綠色)。當基于不同光學參數計算多重PSF時，權重也可以反映公差范圍內制造工藝變化的可能性。
在這些條件下，可以示出，最優(yōu)DCF使相對于理想圖像的去模糊圖像的發(fā)生偏離的可能性最小化，該最優(yōu)DCF給定為(頻域內) 將此結果與天然的定義DCF≡1/h比較，給出結果 在圖7和圖8的方法中，“優(yōu)化”的PSF可以用作為h，相應的DCFopt可以被處理器30利用。
現在回到圖7中的100，前面時候注意到，品質函數可以用于對初始光學設計的像差計分。通常以表格的形式為光學設計軟件提供品質函數的數值，而且該數值依賴于澤尼克多項式系數。為生成品質函數的數值，如相應的澤尼克多項式定義的那樣，將每個像差轉換為PSF。該PSF的形式反映出光學圖像中由于PSF代表的特殊像差而產生的模糊。可以利用圖8的方法計算該分數。下表I示出為澤尼克像差4(散焦)和像差8(慧差)計算的典型的X向和Y向分辨率分數。
表I-像差品質分數 基于對前述描述和實例的研究，對于本領域技術人員來說，應用于殘余澤尼克像差的品質分數的計算是顯而易見的。
設計實例 圖9為依照本發(fā)明的一個實施例的側視圖，示出了使用上述方法設計的光學器件46。在此實施例中，光學器件46包括兩個透鏡130和132，均由有機玻璃(PMMA)制成，在光軸134上對準。透鏡均為圓柱對稱，并以固定焦距設計，在透鏡130左邊無窮遠處具有一個物平面。透鏡130為球形，直徑為2.5mm，中心厚度為1.0mm，前后曲率半徑分別為2.12和6.71mm。透鏡位于光軸上透鏡130之后1.6mm處，直徑為4.5mm，厚度為1.2mm。濾波器48包括0.4mm厚的BK7玻璃，并位于透鏡132之后0.85mm，傳感器陣列22的平面之前0.782mm處。
透鏡132的前后表面均為非球面，具有利用圖7的優(yōu)化方法確定的平滑非球面輪廓。為確定該非球面輪廓，定義透鏡表面輪廓的函數的系數作為參數包含在響應矩陣中。換句話說，如上所定義，對于非球面透鏡系數，為每個像差確定梯度值Rji。利用該方法，為透鏡132的表面確定下列系數 表II非球面透鏡系數 以類似方式可以定義和優(yōu)化其他類型的非球面輪廓。
發(fā)明人發(fā)現，圖9的光學設計與上述消除模糊函數相關聯(lián)，給出來自相機44的具有調制傳遞函數(MTF)的輸出圖像，該圖像和通過傳統(tǒng)三透鏡物鏡生成的未消除模糊的圖像一樣，或者更好。兩種情況下都使用1.3M像素的傳感器陣列。圖9所示的雙透鏡設計比起三透鏡設計，生產成本較低且較精密(前后距離較短)。
現在依照本發(fā)明的一個實施例，參考圖10A/B、11A/B和12A/B，這些圖例證了利用上述光學設計和圖像處理技術，而得到的PSF方面的改善。圖10A和10B示意性地示出光學系統(tǒng)像平面中，在X＝2mm，Y＝0mm處(也就是從光軸平移2mm)，對于587.6nm波長的光，圖9中光學系統(tǒng)的PSF。水平軸的單位為傳感器陣列的像素(也就是間距)。計算PSF，作為光學系統(tǒng)的所有重要像差的總和，其中通常根據澤尼克多項式表示像差。在兩軸上PSF的寬度約為3像素。
圖11A和11B示出沿DCF卷積內核的X軸和Y軸的組元，其中為校正由圖10A和10B產生的模糊而計算出DCF。
圖12A和12B示出當圖11A和11B的DCF應用于圖9的光學器件形成的圖像時，獲得的PSF增強?，F在PSF在X向和Y向的寬度降為1像素。
可選擇地，相機44中處理器30的消除模糊的能力可以用于獲得其他各種設計方法的折衷，例如 ●可以降低光學器件46的F數，獲得更大孔徑，并因此獲得更高的光敏度。提高F數趨向于減小相機的景深，并因此加寬PSF，但是可以通過加寬和調整處理器30中消除模糊函數的卷積內核的數值，抵消這些效應。
●相對于利用同等的傳感器陣列和物鏡系統(tǒng)的傳統(tǒng)相機的分辨率，處理器30可以增強相機44生成的輸出圖像的分辨率。
另外或可選擇地，響應焦點關系變化，通過配置處理器30，也就是物體相對于相機圖像的距離變化，來調整DCF系數，可以增強相機44(或相機20)的性能。例如 ●無需光學機械調整，對于非常接近相機(典型的為5-30cm)的成像物體，相機44能夠切換為近攝操作(macro-operation)。在傳統(tǒng)相機中，近攝操作要求對物鏡位置進行非常精密的機械調整。在相機30中，借助于DCF系數的變化，可以調節(jié)不同的物距，其中預先計算這些變化以補償關于物距的PSF變化。通過處理器30，可以將DCF系數以查詢表的形式存儲，而且通過軟件切換可以調用近攝操作。
●可以為增強的廣角運算擴大光學器件46的視場?？梢蕴貏e調整處理器30所應用的DCF，以補償視場邊緣處PSF的下降。
也可以執(zhí)行電子變焦功能，特別是在使用無透鏡相機時，正如圖2常規(guī)說明的那樣。對于本領域技術人員來說，其他應用顯而易見，而且這些應用都視為在本發(fā)明的范圍內。
盡管上述實施例提及數字相機的某一特定類型和設計，但是本發(fā)明的原理可以基本類似地應用于任何其他類型地光學電子成像器件中。因而可以理解，上述實施例的描述都是起到舉例的作用，而且本發(fā)明不限于上面特別顯示和描述的內容。并且，本發(fā)明的范圍包括以上描述的多種特性的組合和次級組合，以及可能對其進行的變更和修正，本領域技術人員在閱讀上述描述和現有技術中未公開內容的基礎上可以作出這些修改和變更。
權利要求
1.一種產生光學系統(tǒng)的方法，包括
產生該光學系統(tǒng)的設計；
根據該設計計算該光學系統(tǒng)的光學點擴散函數(PSF)；
根據該設計，將給定圖像復原函數應用于由該光學系統(tǒng)產生的圖像，確定可以由此獲得的增強PSF；以及
修改該光學系統(tǒng)的設計，以減少該增強PSF的寬度。
2.根據權利要求1所述的方法，其中設計的產生包括
為多個光學像差中的每個分配各自的品質分數；
確定該設計所特有的像差；
響應于該像差和各個品質分數計算設計分數；以及
響應于該設計分數，優(yōu)化該設計。
3.根據權利要求2所述的方法，其中該各個品質分數的分配包括分別確定PSF上每個像差的影響，并響應于各個影響計算各個品質分數。
4.根據權利要求2或3所述的方法，其中該像差的確定包括生成該像差的澤尼克多項式展開，而其中設計分數的計算包括響應于該多項式展開的系數，計算各個品質分數的加權和。
5.根據權利要求1至4中任一所述的方法，其中該增強PSF的確定包括響應于計算出的光學PSF，確定去卷積濾波器的系數，并將該去卷積濾波器應用于由特征在于計算出的光學PSF的典型圖像。
6.根據權利要求1至5中任一所述的方法，其中該設計的修改包括評估該設計中變化對該增強PSF的影響，并響應于該評估出的影響，修改該光學系統(tǒng)的設計。
7.根據權利要求6所述的方法，其中該增強PSF的確定包括計算響應該增強PSF的圖像質量分數，且其中變化的影響的評估包括確定該圖像質量分數與該變化的依賴關系。
8.根據權利要求7所述的方法，其中該圖像質量分數的計算包括確定該光學系統(tǒng)成像場中多個點上的各個本地點擴散函數(PSF)，并且響應于本地點擴散函數，確定該圖像質量分數。
9.根據權利要求8所述的方法，其中該圖像質量分數的確定包括確定該多個點處各自的本地分數，并合并該本地分數，以生成該圖像質量分數。
10.根據權利要求8或9所述的方法，其中該增強PSF的確定包括通過獲得該本地點擴散函數的加權和來計算加權PSF，而其中該變化影響的評估包括計算該變化對該加權PSF的影響。
11.根據權利要求7至10中任一所述的方法，其中該圖像質量分數的計算包括確定一個分辨率分數，其表示伴隨該增強PSF產生的圖像的分辨率，并確定一個贗像分數，其表示該圖像中贗像的程度，并合并該分辨率分數和該贗像分數，以確定該圖像質量分數。
12.根據權利要求7至11中任一所述的方法，其中該圖像質量分數的確定包括響應于該光學系統(tǒng)像差確定該圖像質量分數，且其中該圖像質量分數依賴性的確定包括對于該像差的變化計算分數梯度。
13.根據權利要求12所述的方法，其中該圖像質量分數依賴性的確定包括確定響應矩陣，指明該像差的變化，其中該像差的變化將作為對該光學系統(tǒng)設計進行特定修改的函數，而其中該設計的修改包括響應于該梯度和該響應矩陣，確定應用于該設計的修改。
14.根據權利要求1至13中任一所述的方法，還包括對于該光學系統(tǒng)的修改設計、該光學PSF的計算、該增強PSF的確定、以及該設計的修改重復迭代過程。
15.根據權利要求14所述的方法，其中重復迭代包括通過計算該光學PSF、確定該增強PSF、以及修改該設計來執(zhí)行迭代，直到其中該迭代之一所表示的設計修改小于應用于該光學系統(tǒng)制造的預定公差。
16.根據權利要求1至15中任一所述的方法，其中該光學系統(tǒng)包括一個或多個光學元件，而其中該設計中的變化包括下面中的至少一個該元件之一的光學表面曲率的變化、該元件之一厚度的變化、以及該元件間距的變化。
17.根據權利要求16所述的方法，其中該一個或多個光學元件至少包括一個非球面元件，該非球面元件至少具有一個由多項式函數定義的表面，且其中該設計的修改包括該多項式函數的系數優(yōu)化。
18.一種光學系統(tǒng)，包括一個或多個光學元件，其根據設計制造和裝配，通過根據該設計計算該光學系統(tǒng)的光學點擴散函數(PSF)，確定增強PSF，以及修改該光學系統(tǒng)的設計以減少該增強PSF的寬度，來優(yōu)化該設計，其中通過將給定的圖像復原函數應用于由該光學系統(tǒng)生成的圖像中，而確定可以由此獲得的增強PSF。
19.根據權利要求18所述的系統(tǒng)，其中通過對于該光學系統(tǒng)的修改設計、該光學PSF的計算、該增強PSF的確定、以及該設計的修改重復迭代，以優(yōu)化該設計。
20.根據權利要求17或18所述的系統(tǒng)，其中該光學系統(tǒng)包括一個或多個光學元件，而其中該設計中的變化至少包括下面之一其中該元件之一的光學表面曲率的變化、其中該元件之一厚度的變化、以及該元件間距的變化。
21.根據權利要求20所述的系統(tǒng)，其中該一個或多個光學元件至少包括一個非球面元件，其至少具有一個由多項式函數定義的表面，且其中該設計的修改包括該多項式函數的系數優(yōu)化。
全文摘要
本發(fā)明公開了一種光學系統(tǒng)和產生所述光學系統(tǒng)的方法，所述光學系統(tǒng)包括一個或多個光學元件，其根據設計制造和裝配，通過根據該設計計算該光學系統(tǒng)的光學點擴散函數(PSF)，確定增強PSF，以及修改該光學系統(tǒng)的設計以減少該增強PSF的寬度，來優(yōu)化該設計，其中通過將給定的圖像復原函數應用于由該光學系統(tǒng)生成的圖像中，而確定可以由此獲得的增強PSF。
文檔編號H04N5/367GK101819325SQ20101014928
公開日2010年9月1日 申請日期2004年1月15日 優(yōu)先權日2003年1月16日
發(fā)明者亞歷克斯·阿隆, 伊琳娜·阿隆 申請人:德薩拉國際有限公司