專利名稱：成像設(shè)備和成像方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字?jǐn)z像機(jī)、安裝在移動(dòng)電話上的攝像機(jī)、安裝在個(gè) 人數(shù)字助理上的攝像機(jī)、圖像檢査設(shè)備、用于自動(dòng)控制的工業(yè)攝像機(jī)、 或其他使用成像元件并具有光學(xué)系統(tǒng)的成像設(shè)備及其方法。
10
背景技術(shù)：
近年來，信息數(shù)字化取得了快速的進(jìn)步。因此，在成像領(lǐng)域中為 了滿足信息數(shù)字化的快速進(jìn)步已付出了大量努力。
特別地，以數(shù)字?jǐn)z像機(jī)為代表，對(duì)于成像表面，大多數(shù)情況下， 15膠片正在被如CCD (電荷耦合器件)或CMOS (互補(bǔ)金屬氧化物半導(dǎo) 體)傳感器之類的固態(tài)成像元件取代。
按照這種方式使用CCD或CMOS傳感器作為成像元件的成像鏡 頭設(shè)備通過光學(xué)系統(tǒng)光學(xué)地捕獲對(duì)象的圖像，并通過成像元件提取作 為電信號(hào)的內(nèi)容。除了數(shù)字照相機(jī)之外，這也用于視頻攝像機(jī)、數(shù)字 20視頻單元、個(gè)人計(jì)算機(jī)、移動(dòng)電話、個(gè)人數(shù)字助理(PDA)、圖像檢査 設(shè)備、用于自動(dòng)控制的工業(yè)攝像機(jī)等等。
圖1是示出了一般的成像鏡頭設(shè)備的配置和光線狀態(tài)的示意圖。
成像鏡頭設(shè)備1具有光學(xué)系統(tǒng)2和CCD或CMOS傳感器或其他 成像元件3。
25 光學(xué)系統(tǒng)包括從對(duì)象側(cè)(OBJS)朝著成像元件3側(cè)依次排列的對(duì)
象側(cè)透鏡21和22、光圈23和成像透鏡24。
在成像鏡頭設(shè)備l中，如圖1所示，最佳聚焦平面被設(shè)置為與成 像元件表面相匹配。
圖2A至圖2C示出了成像鏡頭設(shè)備1的成像元件3的光接收表面 30 上的斑點(diǎn)圖像。
此外，已經(jīng)提出了使用相位板(波陣面編碼光學(xué)元件)以規(guī)則地 發(fā)散光線、使用數(shù)字處理恢復(fù)圖像并從而能夠捕獲具有較深景深的圖 像等的成像設(shè)備(見例如非專利文獻(xiàn)1和2以及專利文獻(xiàn)1至5)。
此外，己經(jīng)提出了使用傳遞函數(shù)進(jìn)行濾波的數(shù)字?jǐn)z像機(jī)的自動(dòng)曝
5光控制系統(tǒng)(見例如專利文獻(xiàn)6)。
非專禾ll文獻(xiàn)1: "Wavefront Coding; jointly optimized optical and digital imaging systems", Edward R. Dowski, Jr., Robert H. Cormack, Scott D. Samma。
非專禾U文獻(xiàn)2: "Wavefront Coding; A modern method of achieving 10high performance and/or low cost imaging systems", Edward R. Dowski, Jr., Gregory E. Johnson。
專利文獻(xiàn)h USP6，021，005。
專利文獻(xiàn)2: USP6，642，504。
專利文獻(xiàn)3: USP6,525，302。 15 專利文獻(xiàn)4: USP6,069，738。
專利文獻(xiàn)5:日本專利公開(A)第2003-235794號(hào)。
專利文獻(xiàn)6:日本專利公開(A)第2004-153497號(hào)。

發(fā)明內(nèi)容
20 本發(fā)明要解決的問題
在上述文獻(xiàn)中提出的所有成像設(shè)備都是基于當(dāng)在通常的光學(xué)系統(tǒng)
中插入上述相位板時(shí)PSF (點(diǎn)擴(kuò)展函數(shù)，Point-Spread-Function)保持
不變而預(yù)測(cè)的。若PSF改變，通過使用隨后的內(nèi)核(kernel)進(jìn)行巻積來
實(shí)現(xiàn)景深較深的圖像是極其困難的。 25 相應(yīng)地，且不論具有單焦點(diǎn)的鏡頭的情況，在變焦系統(tǒng)、AF系
統(tǒng)等的鏡頭中，鏡頭的光學(xué)設(shè)計(jì)的高精度等級(jí)和隨之而來的成本的增
加導(dǎo)致了采用這樣的鏡頭的主要問題。
換句話說，上述成像設(shè)備中不可能進(jìn)行合適的巻積運(yùn)算。需要一
種光學(xué)設(shè)計(jì)，能夠在"廣(wide)"模式時(shí)和在"遠(yuǎn)(tde)"模式時(shí)， 30消除像散、慧形偏差、變焦色差和其他導(dǎo)致斑點(diǎn)圖像的偏離的像差。
然而，消除這些像差的光學(xué)設(shè)計(jì)增加了光學(xué)設(shè)計(jì)的難度，并導(dǎo)致 了如增加設(shè)計(jì)過程數(shù)量、增加成本以及增加鏡頭尺寸之類的問題。
此外，在上述每個(gè)文獻(xiàn)所公開的設(shè)備中，例如在暗處捕獲圖像時(shí) 和通過信號(hào)處理恢復(fù)圖像時(shí)，同時(shí)也放大了噪聲。 5 相應(yīng)地，在使用例如上述相位板等光學(xué)陣面調(diào)制元件的光學(xué)系統(tǒng)
和包括信號(hào)處理的光學(xué)裝置中，缺點(diǎn)在于，當(dāng)在暗處捕獲圖像時(shí)，放 大了噪聲并對(duì)恢復(fù)的圖像有影響。
此外，降低F值(光圈)以達(dá)到較深景深的方法的缺點(diǎn)在于必 需光圈機(jī)構(gòu)，鏡頭變暗，動(dòng)態(tài)范圍不能通過關(guān)閉光圈而相對(duì)于亮度得 10至U，快門速度變慢，因此容易導(dǎo)致手的抖動(dòng)和對(duì)象的抖動(dòng)。
此外，使用圖像處理來進(jìn)行散焦(模糊)恢復(fù)處理的方法中，處
理非常繁重。因此，為了即使在顯示直通(through)圖像期間也能連
續(xù)地校正模糊，所需的資源的規(guī)模變大，昂貴的硬件變得必要。備選 地，根據(jù)處理能力，產(chǎn)生了不能提高幀率的限制。當(dāng)幀率明顯降低時(shí)，
15快門定時(shí)也易于錯(cuò)失。
此外，在現(xiàn)有技術(shù)中，用于圖像恢復(fù)處理的濾波器大小是固定大 小，與圖像捕獲模式無關(guān)。相應(yīng)地，其缺點(diǎn)在于，通過捕獲靜止圖像 時(shí)的圖像恢復(fù)處理的濾波器大小實(shí)施捕獲運(yùn)動(dòng)圖像時(shí)的圖像恢復(fù)處理 時(shí)，每幀的處理時(shí)間變長，因此不可能實(shí)時(shí)進(jìn)行處理。
20 相反，還有缺點(diǎn)在于，能夠?qū)崟r(shí)進(jìn)行處理的濾波器大小是在顯示
直通圖像時(shí)(預(yù)覽時(shí))設(shè)定的，此時(shí)，在捕獲靜止圖像時(shí)恢復(fù)的圖像 劣化。
本發(fā)明的目的是提供一種成像設(shè)備及其方法，其能夠在保持高幀 率的同時(shí)簡化光學(xué)系統(tǒng)，而不需要昂貴的模糊恢復(fù)處理硬件，能夠降 25 低成本、能夠根據(jù)圖像的捕獲模式實(shí)時(shí)實(shí)現(xiàn)圖像處理而不造成恢復(fù)圖 像的劣化，此外能夠獲得噪聲影響很小的恢復(fù)圖像。
解決問題的手段
本發(fā)明的第一方面的成像設(shè)備，具有光學(xué)系統(tǒng)，形成為使焦點(diǎn)
的模糊量在焦點(diǎn)位置以及在焦點(diǎn)之前和之后的距離處基本恒定；成像 30 元件，用于捕獲通過所述光學(xué)系統(tǒng)的對(duì)象圖像；轉(zhuǎn)換裝置，用于校正
來自所述成像元件的圖像的焦點(diǎn)的模糊，并產(chǎn)生恢復(fù)的圖像信號(hào)；信 號(hào)處理裝置，用于對(duì)所述圖像信號(hào)進(jìn)行預(yù)定的圖像處理；切換裝置， 用于選擇性地將來自所述成像元件的圖像信號(hào)或來自所述轉(zhuǎn)換裝置的 圖像信號(hào)輸入至所述信號(hào)處理裝置；存儲(chǔ)裝置，用于存儲(chǔ)所述信號(hào)處 5 理裝置已處理的圖像；觸發(fā)信號(hào)產(chǎn)生裝置，用于產(chǎn)生對(duì)圖像存儲(chǔ)進(jìn)行 指示的觸發(fā)信號(hào)；圖像監(jiān)視裝置，用于顯示所述信號(hào)處理裝置已處理 的圖像；以及控制裝置，用于在顯示直通圖像期間將來自所述成像元 件的圖像信號(hào)通過切換裝置輸入至所述信號(hào)處理裝置，并在接收到來 自所述觸發(fā)信號(hào)產(chǎn)生裝置的觸發(fā)信號(hào)時(shí)將來自所述轉(zhuǎn)換裝置的圖像信 10 號(hào)輸入至所述信號(hào)處理裝置。
本發(fā)明的第二方面的成像設(shè)備具有光學(xué)系統(tǒng)，形成為使焦點(diǎn)的
模糊量在焦點(diǎn)位置以及在焦點(diǎn)之前和之后的距離處基本恒定；成像元 件，用于捕獲通過所述光學(xué)系統(tǒng)的對(duì)象圖像；轉(zhuǎn)換裝置，用于校正來 自所述成像元件的圖像的焦點(diǎn)的模糊，并產(chǎn)生恢復(fù)的圖像信號(hào)；第一
15 濾波器，用于在靜止圖像捕獲模式時(shí)的所述轉(zhuǎn)換裝置的圖像恢復(fù)處理； 第二濾波器，用于在至少運(yùn)動(dòng)圖像捕獲模式時(shí)的所述轉(zhuǎn)換裝置的圖像 恢復(fù)處理，其中所述轉(zhuǎn)換裝置根據(jù)捕獲模式選擇至少第一濾波器或第 二濾波器并進(jìn)行圖像恢復(fù)處理。
優(yōu)選地，所述設(shè)備具有信號(hào)處理裝置，用于對(duì)圖像信號(hào)進(jìn)行預(yù)定
20 的圖像處理，以及圖像監(jiān)視裝置，用于顯示所述信號(hào)處理裝置已處理 的圖像，其中第二濾波器用于在運(yùn)動(dòng)圖像捕獲模式時(shí)或顯示直通圖像 時(shí)的所述轉(zhuǎn)換裝置的圖像恢復(fù)處理，以及所述轉(zhuǎn)換裝置根據(jù)捕獲模式 或根據(jù)是/否顯示直通圖像來選擇第一濾波器或第二濾波器并進(jìn)行圖 像恢復(fù)處理。
25 優(yōu)選地，轉(zhuǎn)換裝置根據(jù)圖像顯示裝置的分辨率使用第二濾波器進(jìn)
行簡單恢復(fù)處理。
優(yōu)選地，第二濾波器包括使用采樣PSF (點(diǎn)擴(kuò)展函數(shù))的圖像恢
復(fù)濾波器。
優(yōu)選地，第二濾波器具有帶寬增強(qiáng)功能。 30'優(yōu)選地，第二濾波器的大小小于第一濾波器的大小。
優(yōu)選地，所述設(shè)備具有設(shè)定裝置，其能夠設(shè)定在捕獲運(yùn)動(dòng)圖像時(shí) 和顯示直通圖像時(shí)是/否使用第二濾波器執(zhí)行圖像恢復(fù)處理。
優(yōu)選地，所述設(shè)備還具有觸發(fā)信號(hào)產(chǎn)生裝置，用于產(chǎn)生觸發(fā)信 號(hào)，以及控制裝置，用于在顯示直通圖像期間將經(jīng)過所述轉(zhuǎn)換裝置中 5 的第二濾波器的圖像恢復(fù)處理的圖像信號(hào)輸入至所述信號(hào)處理裝置， 并在接收到來自所述觸發(fā)信號(hào)產(chǎn)生裝置的觸發(fā)信號(hào)時(shí)，將經(jīng)過所述轉(zhuǎn) 換裝置中的第一濾波器的圖像恢復(fù)處理的圖像信號(hào)輸入至所述信號(hào)處 理裝置。
優(yōu)選地，所述設(shè)備具有用于存儲(chǔ)圖像的存儲(chǔ)裝置。在捕獲運(yùn)動(dòng)圖 10 像時(shí)，所述控制裝置將經(jīng)過第二濾波器的圖像恢復(fù)處理的圖像信號(hào)輸 入至所述信號(hào)處理裝置，以顯示直通圖像，以及在所述存儲(chǔ)裝置中存 儲(chǔ)圖像時(shí)，所述控制裝置通過所述轉(zhuǎn)換裝置中的第一濾波器執(zhí)行圖像 恢復(fù)處理。
優(yōu)選地，所述設(shè)備具有用于存儲(chǔ)圖像的存儲(chǔ)裝置?？刂蒲b置在捕 15 獲運(yùn)動(dòng)圖像時(shí)，將經(jīng)過第二濾波器的圖像恢復(fù)處理的圖像信號(hào)輸入至 信號(hào)處理裝置，并在存儲(chǔ)裝置中存儲(chǔ)該圖像。
優(yōu)選地，所述設(shè)備還具有切換裝置，用于選擇性地將來自成像 元件的圖像信號(hào)或來自轉(zhuǎn)換裝置的圖像信號(hào)輸入至信號(hào)處理裝置；用 于產(chǎn)生觸發(fā)信號(hào)的觸發(fā)信號(hào)產(chǎn)生裝置；控制裝置用于在顯示直通圖像 20 期間將來自成像元件的圖像信號(hào)通過切換裝置輸入至信號(hào)處理裝置， 并在接收到來自觸發(fā)信號(hào)產(chǎn)生裝置的觸發(fā)信號(hào)時(shí)，將來自轉(zhuǎn)換裝置的 圖像信號(hào)輸入至信號(hào)處理裝置。
優(yōu)選地，所述設(shè)備具有用于存儲(chǔ)圖像的存儲(chǔ)裝置。控制裝置在捕 獲運(yùn)動(dòng)圖像時(shí)，將來自成像元件的未執(zhí)行圖像恢復(fù)處理的圖像信號(hào)輸 25入至圖像處理裝置用于顯示直通圖像，而在存儲(chǔ)裝置中存儲(chǔ)圖像時(shí)， 通過轉(zhuǎn)換裝置執(zhí)行圖像恢復(fù)處理。
優(yōu)選地，所述設(shè)備具有用于存儲(chǔ)圖像的存儲(chǔ)裝置?？刂蒲b置在捕 獲運(yùn)動(dòng)圖像時(shí)，將來自成像元件的未執(zhí)行圖像恢復(fù)處理的圖像信號(hào)輸 入至圖像處理裝置，在存儲(chǔ)裝置中存儲(chǔ)未執(zhí)行圖像恢復(fù)處理的圖像， 30 而在從存儲(chǔ)裝置再現(xiàn)圖像時(shí)通過轉(zhuǎn)換裝置執(zhí)行圖像恢復(fù)處理。
進(jìn)一步，優(yōu)選地，使用圖像顯示裝置的分辨率作為上限來設(shè)定焦 點(diǎn)的模糊量。
優(yōu)選地，圖像監(jiān)視裝置的分辨率不大于圖像監(jiān)視裝置的像素間距 的2倍。優(yōu)選地，控制裝置通過轉(zhuǎn)換裝置恢復(fù)通過接收觸發(fā)信號(hào)而捕獲的
靜止圖像，接著在信號(hào)處理裝置處理之后使圖像監(jiān)視裝置顯示圖像。
優(yōu)選地，在顯示直通圖像期間，控制裝置使成像元件輸出具有圖 像監(jiān)視裝置的分辨率所要求的足夠的分辨率的圖像。
優(yōu)選地，光學(xué)系統(tǒng)具有變焦信息產(chǎn)生裝置，包括光學(xué)波陣面調(diào)制 10 元件和變焦光學(xué)系統(tǒng)，變焦信息產(chǎn)生裝置產(chǎn)生對(duì)應(yīng)于變焦光學(xué)系統(tǒng)的 變焦位置或變焦量的信息。轉(zhuǎn)換裝置基于變焦信息產(chǎn)生裝置產(chǎn)生的信 息，根據(jù)發(fā)散的圖像信號(hào)產(chǎn)生不發(fā)散的圖像信號(hào)。
優(yōu)選地，所述設(shè)備具有對(duì)象距離信息產(chǎn)生裝置，用于產(chǎn)生對(duì)應(yīng)于 至對(duì)象的距離的信息。轉(zhuǎn)換裝置基于對(duì)象距離信息產(chǎn)生裝置產(chǎn)生的信 息，根據(jù)發(fā)散的圖像信號(hào)產(chǎn)生不發(fā)散的圖像信號(hào)。
優(yōu)選地，所述設(shè)備具有對(duì)象距離信息產(chǎn)生裝置，用于產(chǎn)生對(duì)應(yīng)于至對(duì)象的距離的信息；以及轉(zhuǎn)換系數(shù)運(yùn)算裝置，用于基于對(duì)象距離信息產(chǎn)生裝置產(chǎn)生的信息運(yùn)算轉(zhuǎn)換系數(shù)。轉(zhuǎn)換裝置根據(jù)從轉(zhuǎn)換系數(shù)處 理裝置獲得的轉(zhuǎn)換系數(shù)產(chǎn)生不發(fā)散的圖像信號(hào)。
優(yōu)選地，所述設(shè)備具有圖像捕獲模式設(shè)定裝置，用于設(shè)定所要捕獲的對(duì)象的圖像捕獲模式。轉(zhuǎn)換裝置根據(jù)圖像捕獲模式設(shè)定裝置設(shè)定 的圖像捕獲模式進(jìn)行不同的轉(zhuǎn)換處理。
優(yōu)選地，成像設(shè)備可以切換多個(gè)鏡頭，成像元件具有轉(zhuǎn)換系數(shù)獲 得裝置，能夠捕獲通過多個(gè)鏡頭的至少一個(gè)鏡頭和光學(xué)波陣面調(diào)制元 25件的對(duì)象的像差圖像，并進(jìn)一步獲得根據(jù)一個(gè)鏡頭的轉(zhuǎn)換系數(shù)。轉(zhuǎn)換 裝置根據(jù)從轉(zhuǎn)換系數(shù)獲得裝置獲得的轉(zhuǎn)換系數(shù)轉(zhuǎn)換圖像信號(hào)。
優(yōu)選地，所述設(shè)備具有用于控制曝光的曝光控制裝置。信號(hào)處理 裝置根據(jù)來自曝光控制裝置的曝光信息進(jìn)行關(guān)于光學(xué)傳遞函數(shù)(OTF)的濾波。
本發(fā)明第三方面的一種方法，包括以下步驟通過成像元件捕獲
通過光學(xué)系統(tǒng)的對(duì)象圖像，所述光學(xué)系統(tǒng)形成為使焦點(diǎn)的模糊量在焦 點(diǎn)位置以及在焦點(diǎn)之前和之后的距離處基本恒定，在顯示直通圖像期 間對(duì)來自所述成像元件的圖像信號(hào)進(jìn)行預(yù)定的圖像處理，以及在接收 到指示圖像存儲(chǔ)的觸發(fā)信號(hào)時(shí)，校正來自所述成像元件的圖像的焦點(diǎn) 5 的模糊以恢復(fù)圖像信號(hào)，并對(duì)恢復(fù)的圖像信號(hào)進(jìn)行預(yù)定的圖像處理。 本發(fā)明第四方面的一種方法，包括以下步驟通過成像元件捕獲 通過光學(xué)系統(tǒng)的對(duì)象圖像，所述光學(xué)系統(tǒng)形成為使焦點(diǎn)的模糊量在焦 點(diǎn)位置以及在焦點(diǎn)之前和之后的距離處基本恒定，在顯示直通圖像期 間對(duì)來自所述成像元件的圖像信號(hào)進(jìn)行預(yù)定的圖像處理，以及校正來
10自所述成像元件的圖像的焦點(diǎn)的模糊以恢復(fù)圖像信號(hào)，并對(duì)恢復(fù)的圖 像信號(hào)進(jìn)行預(yù)定的圖像處理，其中，在靜止圖像捕獲模式時(shí)使用第一 濾波器進(jìn)行圖像恢復(fù)處理，以及在運(yùn)動(dòng)圖像捕獲模式時(shí)或顯示直通圖 像時(shí)使用第二濾波器進(jìn)行圖像恢復(fù)處理，第二濾波器的大小與第一濾 波器的大小不同。
15 本發(fā)明的效果
根據(jù)本發(fā)明，在保持高幀率的同時(shí)簡化了光學(xué)系統(tǒng)，但不需要昂 貴的模糊恢復(fù)處理硬件，降低了成本。進(jìn)一步，其優(yōu)點(diǎn)在于，根據(jù)圖 像捕獲模式可以實(shí)現(xiàn)實(shí)時(shí)處理而不會(huì)造成恢復(fù)圖像的劣化，此外，可 以獲得噪聲影響很少的恢復(fù)圖像。
20


圖1是示出了一般的成像鏡頭設(shè)備的配置和光線狀態(tài)的示意圖。 圖2A至圖2C是示出了成像鏡頭設(shè)備1的成像元件3的光接收表
面上的斑點(diǎn)圖像的圖，其中圖2A是示出了焦點(diǎn)偏離0.2mm (散焦 25=0.2mm)時(shí)的斑點(diǎn)圖像的圖，圖2B是示出了聚焦(最佳聚焦)時(shí)的
斑點(diǎn)圖像的圖，圖2C是示出了焦點(diǎn)偏離-0.2mm (散焦=-0.2111110時(shí)的
斑點(diǎn)圖像的圖。
圖3是示出了根據(jù)本發(fā)明第一實(shí)施例的成像設(shè)備的配置框圖。 圖4是示出了一般成像光學(xué)系統(tǒng)的光線高度與散焦之間的關(guān)系的
30 圖。
圖5是示出了本實(shí)施例的光學(xué)系統(tǒng)成像附近的光學(xué)特性的圖。
圖6是一般光學(xué)系統(tǒng)的最佳聚焦位置的MTF (調(diào)制傳遞函數(shù))特
性的圖。
圖7是示出了本實(shí)施例的光學(xué)系統(tǒng)的M TF特性的圖。 5 圖8A至8C是本實(shí)施例中的模糊恢復(fù)處理的示意圖。
圖9A至圖9D是示出了監(jiān)視器的像素陣列的示例的圖。 圖10是示出了根據(jù)本實(shí)施例的在成像鏡頭設(shè)備的廣角側(cè)的變焦 光學(xué)系統(tǒng)的配置示例的示意圖。
圖11是示出了根據(jù)本實(shí)施例的在成像鏡頭設(shè)備的遠(yuǎn)視側(cè)的變焦 10 光學(xué)系統(tǒng)的配置示例的示意圖。
圖12是示出了在廣角側(cè)的圖像高度中心的斑點(diǎn)形狀的圖。 圖13是示出了在遠(yuǎn)視側(cè)的圖像高度中心的斑點(diǎn)形狀的圖。 圖14是用于解釋DEOS原理的圖。
圖15是示出了內(nèi)核數(shù)據(jù)ROM的存儲(chǔ)數(shù)據(jù)的示例(光學(xué)放大倍數(shù)) 15 的圖。
圖16是示出了內(nèi)核數(shù)據(jù)ROM的存儲(chǔ)數(shù)據(jù)的另一示例(F數(shù))的圖。
圖17是示出了用于設(shè)定曝光控制設(shè)備的光學(xué)系統(tǒng)的處理的示意 流程圖。
20 圖18是示出了信號(hào)處理單元和內(nèi)核數(shù)據(jù)存儲(chǔ)ROM的配置的第一
示例的圖。
圖19是示出了信號(hào)處理單元和內(nèi)核數(shù)據(jù)存儲(chǔ)ROM的配置的第二 示例的圖。
圖20是示出了信號(hào)處理單元和內(nèi)核數(shù)據(jù)存儲(chǔ)ROM的配置的第三 25 示例的圖。
圖21是示出了信號(hào)處理單元和內(nèi)核數(shù)據(jù)存儲(chǔ)ROM的配置的第四
示例的圖。
圖22是示出了組合了對(duì)象距離信息和曝光信息的圖像處理設(shè)備 的配置的示例圖。
30 圖23是示出了組合了變焦信息和曝光信息的圖像處理設(shè)備的配
置的示例圖。
圖24是示出了濾波器的配置的示例圖，其中使用曝光信息、對(duì)象 距離信息和變焦信息。
圖25是示出了組合了圖像捕獲模式信息和曝光信息的圖像處理 5 設(shè)備的配置的示例圖。
圖26A至圖26C是示出了根據(jù)本實(shí)施例的成像元件的光接收表面 上的斑點(diǎn)圖像的圖，其中圖26A是示出了焦點(diǎn)偏離0.2mm (散焦 二0.2mm)時(shí)的斑點(diǎn)圖像的圖，圖26B是示出了聚焦(最佳聚焦)時(shí) 的斑點(diǎn)圖像的圖，圖26C是示出了焦點(diǎn)偏離-0.2mm (散焦=-0.2111111) 10 時(shí)的斑點(diǎn)圖像的圖。
圖27A和27B是用于解釋根據(jù)本實(shí)施例的由成像元件形成的第一 級(jí)(first order)圖像的MTF的圖，其中圖27A是示出了成像鏡頭設(shè) 備的成像元件的光接收表面上的斑點(diǎn)圖像的圖，圖27B示出了相對(duì)于 空間頻率的MTF特性。 15 圖28是用于解釋根據(jù)本實(shí)施例的圖像處理裝置中的MTF校正處
理的圖。
圖29是用于具體解釋根據(jù)本實(shí)施例的圖像處理裝置中的MTF校 正處理的圖。
圖30是示出了在一般光學(xué)系統(tǒng)中，當(dāng)對(duì)象位于焦點(diǎn)位置時(shí)和當(dāng)對(duì) 20象偏離焦點(diǎn)位置時(shí)的MTF響應(yīng)的圖。
圖31是示出了在本實(shí)施例的具有光學(xué)波陣面調(diào)制元件的光學(xué)系 統(tǒng)中，當(dāng)對(duì)象位于焦點(diǎn)位置時(shí)和當(dāng)對(duì)象偏離焦點(diǎn)位置時(shí)的MTF響應(yīng) 的圖。
圖32是示出了根據(jù)本實(shí)施例的成像設(shè)備在數(shù)據(jù)恢復(fù)之后的MTF 25 響應(yīng)的圖。
圖33是示出了根據(jù)本發(fā)明第二實(shí)施例的成像設(shè)備的配置框圖。 圖34是示出了用于根據(jù)圖像捕獲模式進(jìn)行圖像恢復(fù)處理的基本 控制流程圖。
圖35是示出了根據(jù)本發(fā)明第三實(shí)施例的具有多個(gè)光學(xué)系統(tǒng)的成 30 像設(shè)備的配置框圖。
圖36是示出了用于設(shè)定圖35的系統(tǒng)控制設(shè)備的光學(xué)系統(tǒng)的處理
的示意流程圖。
圖37是示出了根據(jù)本發(fā)明第四實(shí)施例的具有多個(gè)光學(xué)系統(tǒng)的成 像設(shè)備的配置框圖。
5
附圖標(biāo)記描述
100、 IOOA至IOOC...成像設(shè)備，110、 IIOB、 110C...光學(xué)系統(tǒng)， 120...成像元件，130...模擬前端AFE， 140...切換單元，140-1...第 一切換單元，140-2,.,第二切換單元，150...圖像處理設(shè)備，160...攝 10 像機(jī)信號(hào)處理單元，190...操作單元，200...曝光控制設(shè)備，200B、 200C...系統(tǒng)控制設(shè)備，210...第一濾波器，220...第二濾波器，111... 對(duì)象側(cè)透鏡，112...成像透鏡，113...波陣面形成光學(xué)元件，113a...相 位板(光學(xué)波陣面調(diào)制元件)，152...巻積運(yùn)算單元，153...內(nèi)核數(shù)據(jù) ROM，以及154...巻積控制單元。
1具體實(shí)施例方式
以下參照附圖解釋本發(fā)明的實(shí)施例。
圖3是示出了根據(jù)本發(fā)明第一實(shí)施例的成像設(shè)備的配置框圖。 根據(jù)本發(fā)明第一實(shí)施例的成像設(shè)備100具有光學(xué)系統(tǒng)110、成像元 20件120、模擬前端AFE130、切換單元140、作為轉(zhuǎn)換裝置的圖像處理設(shè) 備150、攝像機(jī)信號(hào)處理單元160、圖像顯示存儲(chǔ)器170、圖像監(jiān)視設(shè)備 180、操作單元190以及作為控制裝置的曝光控制設(shè)備200。 光學(xué)系統(tǒng)110為成像元件120提供捕獲對(duì)象OBJ的圖像。 本實(shí)施例的光學(xué)系統(tǒng)110包括光學(xué)波陣面調(diào)制元件，這個(gè)元件將 25 在以后描述，光學(xué)系統(tǒng)110形成為使焦點(diǎn)的模糊量在焦點(diǎn)位置和焦點(diǎn)位 置前后的距離上是基本恒定的。
使用圖像監(jiān)視設(shè)備180的分辨率作為上限來設(shè)定焦點(diǎn)的模糊量。 成像元件120由CCD或CMOS傳感器配置，光學(xué)系統(tǒng)110獲取的圖 像在其中形成，并將形成的第一級(jí)圖像作為信號(hào)的第一級(jí)圖像信號(hào) 30 FIM經(jīng)由模擬前端130輸出至切換單元140。
在圖3中，作為示例，將成像元件120描述為CCD。 模擬前端130具有定時(shí)產(chǎn)生器131和模擬/數(shù)字(A/D)轉(zhuǎn)換器132。 定時(shí)產(chǎn)生器131產(chǎn)生成像元件120的CCD的驅(qū)動(dòng)定時(shí)，A/D轉(zhuǎn)換器 132將從CCD輸入的模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)并將其輸出至切換單元 5 140。
切換單元140根據(jù)來自曝光控制設(shè)備200的切換控制信號(hào)SCTL， 選擇性地將成像元件120所捕獲的圖像信號(hào)經(jīng)由AFE 130輸入圖像處 理設(shè)備150或攝像機(jī)信號(hào)處理單元160。
在切換單元140中，固定觸點(diǎn)互與AFE 130的A/D轉(zhuǎn)換器132的輸出 10線連接，工作觸點(diǎn)h與圖像處理設(shè)備150的輸入線連接，工作觸點(diǎn)e與攝 像機(jī)信號(hào)處理單元160的信號(hào)輸入線連接。
例如，當(dāng)在監(jiān)視設(shè)備180中顯示直通圖像時(shí)，控制切換單元140， 使固定觸點(diǎn)g與工作觸點(diǎn)e連接，以"顯示直通圖像"。另一方面，當(dāng)捕 獲圖像以及在存儲(chǔ)器170中存儲(chǔ)圖像時(shí)，控制切換單元140，使固定觸 15 點(diǎn)g與工作觸點(diǎn)fe連接。
圖像處理設(shè)備(二維巻積裝置)150用作轉(zhuǎn)換裝置，接收來自前 一級(jí)中AFE 130的所捕獲圖像的數(shù)字信號(hào)作為輸入，實(shí)施二維巻積處 理，并將結(jié)果傳送至下一級(jí)中的攝像機(jī)信號(hào)處理單元(DSP) 160。 圖像處理設(shè)備150根據(jù)曝光控制設(shè)備200的曝光信息，執(zhí)行有關(guān)光 20學(xué)傳遞函數(shù)(OTF)的濾波。應(yīng)注意，光圈信息作為曝光信息被包括 在內(nèi)。
圖像處理設(shè)備150產(chǎn)生通過對(duì)來自成像元件120的圖像的焦點(diǎn)模 糊進(jìn)行校正而恢復(fù)的圖像信號(hào)。更具體地，圖像處理設(shè)備150具有從來 自成像元件120的對(duì)象的發(fā)散(disperse)的圖像信號(hào)產(chǎn)生不發(fā)散的圖 25像信號(hào)的功能。進(jìn)一步，圖像處理設(shè)備150具有在第一步驟(處理)中
應(yīng)用噪聲降低濾波的功能。
以后將進(jìn)一步詳細(xì)解釋圖像處理設(shè)備150的處理。 攝像機(jī)信號(hào)處理單元(DSP) 160進(jìn)行顏色插值、白平衡、YCbCr 轉(zhuǎn)換處理、壓縮、文件編排(filing)以及其他預(yù)定的圖像處理，并進(jìn) 30行存儲(chǔ)器170中的存儲(chǔ)、圖像監(jiān)視設(shè)備180中的圖像顯示等等。
圖像監(jiān)視設(shè)備180顯示例如由液晶顯示設(shè)備形成的并經(jīng)過由攝像 機(jī)信號(hào)處理單元160所進(jìn)行的預(yù)定圖像處理的直通圖像或捕獲圖像。
圖像監(jiān)視設(shè)備180的分辨率被設(shè)定為例如不大于圖像監(jiān)視設(shè)備 180的像素間距的兩倍。 5 —存儲(chǔ)器170存儲(chǔ)在攝像機(jī)信號(hào)處理單元160中經(jīng)過預(yù)定的圖像處 理的捕獲圖像等。
操作單元190由輸入開關(guān)等配置，用于指示曝光控制設(shè)備200進(jìn)行 預(yù)定的功能控制。操作單元190包括開關(guān)，例如快門按鈕、釋放按鈕、 放大按鈕、上移鍵、下移鍵、右移鍵和左移鍵。 10 操作單元l卯具有觸發(fā)信號(hào)產(chǎn)生功能，用于在例如用戶操作快門
按鈕或釋放按鈕時(shí)產(chǎn)生觸發(fā)信號(hào)，所述觸發(fā)信號(hào)用于指示捕獲所需的 直通圖像部分、將其存儲(chǔ)在存儲(chǔ)器170中并將其輸出至曝光控制設(shè)備 200。
曝光控制設(shè)備200進(jìn)行曝光控制，并同時(shí)等待操作單元190等的操 15作輸入，根據(jù)這些輸入確定整個(gè)系統(tǒng)的操作，控制AFE 130、圖像處 理設(shè)備150、 DSP160等，并執(zhí)行整個(gè)系統(tǒng)的調(diào)解(mediation)控制。
曝光控制設(shè)備200通過切換控制信號(hào)CTL將切換單元140的固定觸 點(diǎn)^與工作觸點(diǎn)￡連接，并將未經(jīng)恢復(fù)處理的成像元件120所捕獲的圖像 信號(hào)直接輸入攝像機(jī)信號(hào)處理單元160。 20 另一方面，曝光控制設(shè)備200在接收到來自操作單元190的觸發(fā)信
號(hào)時(shí)，判斷該模式是用于捕獲圖像并在存儲(chǔ)器no中存儲(chǔ)圖像，通過切
換控制信號(hào)SCTL將切換單元140的固定觸點(diǎn)g與工作觸點(diǎn)b連接，將圖 像輸入圖像處理設(shè)備150，以便實(shí)施恢復(fù)處理。
也就是說，曝光控制設(shè)備200在圖像處理設(shè)備150中對(duì)由接收觸發(fā) 25 信號(hào)所捕獲的圖像進(jìn)行恢復(fù)處理，接著在攝像機(jī)信號(hào)處理單元160中實(shí) 施預(yù)定的圖像處理之后，使圖像監(jiān)視設(shè)備180顯示圖像。
進(jìn)一步，曝光控制設(shè)備200通過例如攝像機(jī)信號(hào)處理單元160，向 定時(shí)產(chǎn)生器131發(fā)出指令，以便在圖像監(jiān)視設(shè)備180顯示直通圖像期間， 從成像元件120輸出具有圖像監(jiān)視設(shè)備180的分辨率所需的足夠的分辨
30 率的圖像。 以下解釋本實(shí)施例的光學(xué)系統(tǒng)的基本功能和根據(jù)有/無模糊圖像
恢復(fù)的基本處理，接著，具體解釋光學(xué)系統(tǒng)110和用作本實(shí)施例的特征
所在的轉(zhuǎn)換裝置的圖像處理設(shè)備150的進(jìn)一步具體配置和功能。
此處，作為對(duì)比示例，解釋一般的成像光學(xué)系統(tǒng)，其中光線被聚
5 集在最佳聚焦(焦點(diǎn))位置。
圖4是示出了光線高度與一般成像光學(xué)系統(tǒng)的散焦之間的關(guān)系的圖。
進(jìn)一步，圖5是示出了本實(shí)施例的光學(xué)系統(tǒng)所成的像附近的光學(xué) 特性的圖。
10 如圖2所示，在一般的成像光學(xué)系統(tǒng)中，光線以最高密度聚集在
最佳聚焦位置。離最佳聚焦位置越遠(yuǎn)，模糊直徑就越大，基本與散焦 量成比例。
與此相反，在本實(shí)施例的光學(xué)系統(tǒng)110中，如圖5所示，與一般 成像光學(xué)系統(tǒng)不同，光線不聚集在最佳聚焦位置，因此，即使在最佳 15聚焦位置圖像也是模糊的。然而，本實(shí)施例的光學(xué)系統(tǒng)IIO被設(shè)計(jì)為 使得模糊形狀(PSF)的改變相對(duì)于最佳聚焦附近的散焦量更加遲鈍。
相應(yīng)地，當(dāng)根據(jù)最佳聚焦位置的PSF實(shí)施模糊恢復(fù)處理時(shí)，可以 消除模糊，當(dāng)然可以在最佳聚焦位置及其之前和之后獲得清晰的圖像。
這是本實(shí)施例采用的增加深度的原理。 20 接下來，解釋模糊圖像恢復(fù)處理。
圖6是一般光學(xué)系統(tǒng)的最佳聚焦位置的MTF (調(diào)制傳遞函數(shù))特 性的圖。
圖7是示出了本實(shí)施例的光學(xué)系統(tǒng)的MTF特性的圖。 通過本實(shí)施例的光學(xué)系統(tǒng)110并在成像元件120處獲得的捕獲圖 25像是模糊的，因此MTF從中頻區(qū)域向高頻區(qū)域降低。通過運(yùn)算提升 MTF。與作為鏡頭自身的幅度特性的MTF相比，包括圖像處理的總 幅度特性被稱為"SFR (空間頻率響應(yīng))"。
造成模糊圖像的PSF的頻率特性是MTF，因此，被設(shè)計(jì)為具有將 頻率特性由此提升至所需SFR特性的增益特性的濾波器是模糊恢復(fù) 30濾波器。與噪聲和偽像的平衡決定了應(yīng)設(shè)定多大的增益。
通過這樣的模糊恢復(fù)濾波器對(duì)原始圖像應(yīng)用數(shù)字濾波的方法包括 對(duì)圖像應(yīng)用傅立葉變換并對(duì)每個(gè)頻率在頻域與濾波器相乘的方法，以 及在空間域進(jìn)行巻積運(yùn)算的方法。此處，解釋后者的實(shí)現(xiàn)方法。巻積 運(yùn)算由以下等式表示。 5 [等式1]
此處，f表示濾波器內(nèi)核(此處為了便于計(jì)算，使用旋轉(zhuǎn)了 180 度的濾波器)。
此外，A表示原始圖像，B表示濾波后的圖像(模糊恢復(fù)圖像)。 10 從等式中可以看出，在圖像上疊加內(nèi)核f并加上抽頭彼此的乘積
的結(jié)果被定義為疊加(superimposition)的中心坐標(biāo)值。
接下來，參照?qǐng)D8A至圖8C，以3*3濾波器為例給出具體的解釋。 圖8A的恢復(fù)濾波器(已旋轉(zhuǎn)180度)在濾波器的中心f (0， 0) 被疊加在圖8B所示的模糊圖像的A (i， j)上，抽頭彼此相乘，這9 15個(gè)乘積之和的值被定義為圖8C所示的模糊恢復(fù)圖像的B (i， j)。
在整個(gè)圖像中掃描(i， j)時(shí)，產(chǎn)生新的B圖像。這是數(shù)字濾波 器。此處，濾波器被用于恢復(fù)模糊的目的。因此，通過進(jìn)行這樣的處 理，可以執(zhí)行模糊恢復(fù)處理。
在理論上和技術(shù)上，即使在顯示直通圖像期間，也可以持續(xù)實(shí)施 20這樣的處理，并顯示經(jīng)過模糊恢復(fù)處理的圖像。
然而，在保持例如30fps的高速率的同時(shí)，嘗試實(shí)時(shí)進(jìn)行這樣的 巻積運(yùn)算，必須使用根據(jù)濾波器大小的行緩沖器(line buffer)和非常 多的乘法器，因此，成本很高，功率消耗很大，因此，這不很現(xiàn)實(shí)。 因此，在第一實(shí)施例中，在例如顯示直通圖像期間等不必要進(jìn)行 25巻積運(yùn)算的時(shí)段上，不進(jìn)行巻積運(yùn)算。巻積運(yùn)算只在輸入對(duì)執(zhí)行捕獲
的觸發(fā)時(shí)才實(shí)施。
在第一實(shí)施例中，圖像通過光學(xué)系統(tǒng)110，并被成像元件U0轉(zhuǎn) 換為電信號(hào)，接著在AFE130被轉(zhuǎn)換以產(chǎn)生數(shù)字圖像數(shù)據(jù)。
接著，在顯示直通圖像期間，來自成像元件120的圖像信號(hào)通過
切換單元140被送至攝像機(jī)信號(hào)處理單元160，而繞過圖像處理設(shè)備 150的模糊圖像恢復(fù)處理。
攝像機(jī)信號(hào)處理單元160在例如Bayer顏色的情況下，進(jìn)行去馬 賽克處理、白平衡處理、伽瑪處理、YUV轉(zhuǎn)換等，并將圖像實(shí)時(shí)地輸 5 出至監(jiān)視器。
接下來，當(dāng)通過例如操作單元190的釋放按鈕的操作將觸發(fā)信號(hào) 輸入曝光控制設(shè)備200時(shí)，來自成像元件120和AFE 130的數(shù)字?jǐn)?shù)據(jù) 通過切換單元140輸入圖像處理設(shè)備150，經(jīng)過如前所述的模糊圖像 恢復(fù)處理，接著，在攝像機(jī)信號(hào)處理單元160中對(duì)圖像處理設(shè)備150 10 的輸出進(jìn)行攝像機(jī)信號(hào)處理。經(jīng)過攝像機(jī)信號(hào)處理的圖像被存儲(chǔ)在存 儲(chǔ)器170中或在圖像監(jiān)視設(shè)備180中顯示。
此處，當(dāng)按下放大按鈕時(shí)，所捕獲的圖像被放大并投影在監(jiān)視器 上。在這個(gè)狀態(tài)下，也可以通過移位鍵的操作改變放大部分的位置。
進(jìn)一步，在本實(shí)施例中，使用圖像監(jiān)視設(shè)備180的分辨率作為上 15限來設(shè)定PSF的模糊程度。因此，即使不進(jìn)行如前所述模糊恢復(fù)處理 以減輕顯示直通圖像期間的處理，監(jiān)視器也可能顯示的模糊并不明顯。
進(jìn)一步，在本實(shí)施例中，模糊程度的大小被設(shè)定為不大于圖像監(jiān) 視設(shè)備180的像素間距的2倍，因此，在直通圖像中的活動(dòng)圖像(live image)基本上不會(huì)模糊。 20 當(dāng)模糊程度被設(shè)定為不大于圖像間距的2倍時(shí)顯示基本上不會(huì)模 糊的原因在于， 一般而言，當(dāng)在監(jiān)視設(shè)備上顯示顏色時(shí)，光的三原色 R、 G和B被單獨(dú)地分配給像素，并且使用至少三個(gè)像素為單位來顯 示顏色。
如圖9A至圖9D所示，有多種針對(duì)像素陣列的技術(shù)，包括條紋陣 25列(stripe army)、對(duì)角陣列、Delta陣列和矩形陣列，但在每種技術(shù)中， 由每個(gè)具有至少2x2大小的方形中的像素作為最小單元，形成圖像。
相應(yīng)地，是像素間距的2倍或更小的監(jiān)視器顯示圖像的分辨率可 以視為是基本上不會(huì)引起任何問題的水平。
此外，在本實(shí)施例中，在圖像處理設(shè)備150中進(jìn)行模糊圖像的恢 30復(fù)處理，在攝像機(jī)信號(hào)處理單元160結(jié)束攝像機(jī)信號(hào)處理時(shí)，模糊恢
復(fù)圖像自動(dòng)輸出至圖像監(jiān)視設(shè)備180。因此，即使當(dāng)模糊恢復(fù)處理消 耗了一定程度的時(shí)間時(shí)，在處理結(jié)束的同時(shí)也可以看見結(jié)果，因此， 攝影師不必進(jìn)行用于執(zhí)行恢復(fù)處理的特殊操作。
此外，在本實(shí)施例中，在顯示直通圖像期間，具有圖像監(jiān)視設(shè)備
5 180的分辨率所需的充分小的尺寸的圖像經(jīng)過攝像機(jī)信號(hào)處理，而不 通過由成像元件120的圖像處理設(shè)備150構(gòu)成的模糊轉(zhuǎn)換裝置，并接 著輸出至圖像監(jiān)視設(shè)備180，因此，沒有對(duì)圖像處理施加負(fù)荷，可以 實(shí)時(shí)高速進(jìn)行處理。
以下進(jìn)一步具體解釋本實(shí)施例的光學(xué)系統(tǒng)和圖像處理設(shè)備的配置 10 和功能。
圖10是示出了根據(jù)本實(shí)施例的變焦光學(xué)系統(tǒng)110的配置示例的示 意圖。該圖示出了廣角側(cè)。
此外，圖11是示出了根據(jù)本實(shí)施例的在成像鏡頭設(shè)備的遠(yuǎn)視側(cè)的 變焦光學(xué)系統(tǒng)的配置示例的示意圖。
15 此外，圖12是示出了在根據(jù)本實(shí)施例的變焦光學(xué)系統(tǒng)廣角側(cè)的圖
像高度中心處的斑點(diǎn)形狀的圖，圖13是示出了在根據(jù)本實(shí)施例的變焦 光學(xué)系統(tǒng)遠(yuǎn)視側(cè)的圖像高度中心處的斑點(diǎn)形狀的圖。
圖10和圖11的變焦光學(xué)系統(tǒng)110具有設(shè)置在對(duì)象側(cè)OBJS的對(duì) 象側(cè)透鏡111、用于在成像元件120中形成圖像的成像透鏡112、以及
20光學(xué)波陣面調(diào)制元件(波陣面編碼光學(xué)元件)組1B，光學(xué)波陣面調(diào) 制元件組113設(shè)置在對(duì)象側(cè)透鏡111和成像透鏡112之間，包括相位 板(立方相位板)，相位板使由成像透鏡112形成在成像元件120的光 接收表面上的圖像的波陣面變形，并具有例如三維彎曲表面。此外， 未示出的光圈被設(shè)置在對(duì)象側(cè)透鏡111和成像透鏡112之間。
25 例如，在本實(shí)施例中，提供了可變光圈，在曝光控制(設(shè)備)中
控制可變光圈的光圈度(開啟度)。
應(yīng)注意，在本實(shí)施例中，給出了使用相位板的解釋，但是，本發(fā) 明的光學(xué)波陣面調(diào)制元件可以包括任何能夠使波陣面變形的元件。它 們可以包括厚度改變的光學(xué)元件(例如如上所述的第三級(jí)(third order)
30相位板)、折射率改變的光學(xué)元件(例如，折射率分布類型的波陣面調(diào)
制透鏡)、通過透鏡表面的涂層而改變厚度、折射率的光學(xué)元件(例如， 波陣面編碼混合透鏡)、能夠調(diào)制光的相位分布的液晶器件(例如，液 晶空間相位調(diào)制器件)以及其他光學(xué)波陣面調(diào)制元件。
圖IO和圖11的變焦光學(xué)系統(tǒng)IIO是將光學(xué)相位板113a插入數(shù)字 5攝像機(jī)使用的3X變焦系統(tǒng)中的示例。
圖示的相位板113a是用于將光學(xué)系統(tǒng)會(huì)聚的光線規(guī)則地發(fā)散的 光學(xué)透鏡。通過插入這個(gè)相位板，實(shí)現(xiàn)了圖像可以不聚焦在成像元件 120上的任何地方。
換句話說，相位板113a形成了具有較深深度(在圖像形成中起中 10心作用)和光斑(模糊部分)的光線。
通過數(shù)字處理將該規(guī)則發(fā)散的圖像恢復(fù)為聚焦圖像的裝置稱為 "波陣面像差控制光學(xué)系統(tǒng)"或深度擴(kuò)展光學(xué)系統(tǒng)DEOS。該處理在圖 像處理設(shè)備150中進(jìn)行。
此處，解釋DEOS的基本原理。 15 如圖14所示，對(duì)象的圖像￡進(jìn)入DEOS光學(xué)系統(tǒng)H的光學(xué)系統(tǒng)H
中，由此產(chǎn)生了&圖像。 這由以下等式表示
(等式2) g=H*f
20 其中*表示巻積。
為了從產(chǎn)生的圖像中找到對(duì)象，需要以下處理
(等式3) f=H"*g
此處，解釋關(guān)于H的內(nèi)核大小和運(yùn)算系數(shù)。 25 變焦位置被定義為Zpn、 Zpn-l、……進(jìn)一步，這些H函數(shù)被定義 為Hn、 Hn-l、......
斑點(diǎn)是不同的，因此H函數(shù)變?yōu)槿缦?[等式4]
<formula>formula see original document page 24</formula>
矩陣的行的數(shù)目和/或矩陣的列的數(shù)目的差被稱為"內(nèi)核大小"。這 些數(shù)目是運(yùn)算系數(shù)。
因此，可以在存儲(chǔ)器中存儲(chǔ)每個(gè)H函數(shù)，或?qū)SF定義為對(duì)象距 離的函數(shù)，根據(jù)對(duì)象距離計(jì)算，從而計(jì)算出H函數(shù)，以便創(chuàng)建針對(duì)任 5何對(duì)象距離的最優(yōu)濾波器。進(jìn)一步，可以將H函數(shù)用作對(duì)象距離的函 數(shù)，根據(jù)對(duì)象距離直接找到H函數(shù)。
在第一實(shí)施例中，如圖3所示，該設(shè)備被配置為在成像元件120 接收來自光學(xué)系統(tǒng)110的圖像，將其輸入圖像處理設(shè)備150，獲得根 據(jù)光學(xué)系統(tǒng)的轉(zhuǎn)換系數(shù)，并使用獲得的轉(zhuǎn)換系數(shù)從來自成像元件120 10的發(fā)散圖像信號(hào)中產(chǎn)生不發(fā)散的圖像信號(hào)。
應(yīng)注意，在本實(shí)施例中，"發(fā)散"意為一種現(xiàn)象，其中如上所述， 插入相位板113a造成圖像的形成不聚焦在成像元件120的任何位置， 并且通過相位板U3a形成了具有較深深度(在圖像形成中起中心作 用)和光斑(模糊部分)的光線，由于圖像被發(fā)散并形成模糊部分的 15行為，"發(fā)散"包括與像差相同的含義。相應(yīng)地，在本實(shí)施例中，也存 在發(fā)散被解釋為像差的情況。
接下來，解釋圖像處理設(shè)備150的配置和處理。 如圖3所示，圖像處理設(shè)備150具有原始緩沖存儲(chǔ)器151、巻積 運(yùn)算單元152、作為存儲(chǔ)裝置的內(nèi)核數(shù)據(jù)存儲(chǔ)ROM 153以及巻積控制 20單元154。
巻積控制單元154控制巻積處理的開/關(guān)狀態(tài)、屏幕大小、內(nèi)核數(shù) 據(jù)的置換等，巻積控制單元154由曝光控制設(shè)備200控制。
進(jìn)一步，該設(shè)備在內(nèi)核數(shù)據(jù)存儲(chǔ)ROM 153中存儲(chǔ)預(yù)先準(zhǔn)備的由 每個(gè)光學(xué)系統(tǒng)的PSF計(jì)算的用于巻積的內(nèi)核數(shù)據(jù)，如圖15或圖〗6所
示，獲得在曝光控制設(shè)備200設(shè)定曝光時(shí)確定的曝光信息，并通過巻
積控制單元154選擇和控制內(nèi)核數(shù)據(jù)。
應(yīng)注意，曝光信息包括光圈信息。
在圖15的示例中，內(nèi)核數(shù)據(jù)A成為對(duì)應(yīng)于光學(xué)放大倍數(shù)(X1.5) 5的數(shù)據(jù)，內(nèi)核數(shù)據(jù)B成為對(duì)應(yīng)于光學(xué)放大倍數(shù)(X5)的數(shù)據(jù)，內(nèi)核數(shù) 據(jù)C成為對(duì)應(yīng)于光學(xué)放大倍數(shù)(X10)的數(shù)據(jù)。
進(jìn)一步，在圖16的示例中，作為光圈信息，內(nèi)核數(shù)據(jù)A成為對(duì) 應(yīng)于F數(shù)(2.8)的數(shù)據(jù)，內(nèi)核數(shù)據(jù)B成為對(duì)應(yīng)于F數(shù)(4)的數(shù)據(jù)， 內(nèi)核數(shù)據(jù)C成為對(duì)應(yīng)于F數(shù)(5.6)的數(shù)據(jù)。 10 如圖16的示例中，根據(jù)光圈信息實(shí)施濾波，這是基于以下原因。
當(dāng)關(guān)閉光圈的同時(shí)捕獲圖像時(shí)，形成光學(xué)波陣面調(diào)制元件的相位 板U3a被光圈覆蓋，相位改變，因此難以恢復(fù)正確的圖像。
因此，在本實(shí)施例中，如本示例中，通過根據(jù)曝光信息中的光圈 信息進(jìn)行濾波來實(shí)現(xiàn)正確的圖像恢復(fù)。 15 圖17是示出了根據(jù)曝光控制設(shè)備200的曝光信息(包括消除光圈)
進(jìn)行切換的流程圖。
首先，曝光信息RP被檢測(cè)并提供給巻積控制單元154 (STIOI)。
在巻積控制單元154中，根據(jù)曝光信息RP，在寄存器中設(shè)定內(nèi)核 大小和數(shù)值運(yùn)算系數(shù)(ST102)。 20 接著，基于存儲(chǔ)在寄存器中的數(shù)據(jù)，對(duì)由成像元件120所捕獲的、
經(jīng)由AFE 130輸入二維巻積運(yùn)算單元152的圖像數(shù)據(jù)進(jìn)行巻積運(yùn)算。 經(jīng)處理和轉(zhuǎn)換的數(shù)據(jù)被傳送至攝像機(jī)信號(hào)處理單元(DSP) 160 (ST103)。
以下解釋信號(hào)處理單元和圖像處理設(shè)備150的內(nèi)核數(shù)據(jù)存儲(chǔ)
25ROM的進(jìn)一步具體示例。
圖18是示出了信號(hào)處理單元和內(nèi)核數(shù)據(jù)存儲(chǔ)ROM的配置的第一
示例的圖。應(yīng)注意，為了簡單起見，省略AFE等。
圖18的示例是在根據(jù)曝光信息預(yù)先準(zhǔn)備濾波器內(nèi)核的情況下的 框圖。
30 信號(hào)處理單元獲得在設(shè)定曝光時(shí)確定的曝光信息，并通過巻積控
制單元154選擇和控制內(nèi)核數(shù)據(jù)。二維巻積運(yùn)算單元152通過使用內(nèi)
核數(shù)據(jù)實(shí)施巻積處理。
圖19是示出了信號(hào)處理單元和內(nèi)核數(shù)據(jù)存儲(chǔ)ROM的配置的第二 示例的圖。應(yīng)注意，為了簡單起見，省略AFE等。 5 圖19的示例是在信號(hào)處理單元啟動(dòng)時(shí)提供噪聲降低濾波步驟的
情況下的框圖，預(yù)先準(zhǔn)備根據(jù)曝光信息的噪聲降低濾波ST1，作為濾 波器內(nèi)核數(shù)據(jù)。
信號(hào)處理單元獲得在設(shè)定曝光時(shí)確定的曝光信息，并通過巻積控 制單元154選擇和控制內(nèi)核數(shù)據(jù)。 10 在實(shí)施噪聲降低濾波ST1之后，二維巻積運(yùn)算單元152通過顏色
轉(zhuǎn)換處理ST2對(duì)顏色空間進(jìn)行轉(zhuǎn)換，之后使用內(nèi)核數(shù)據(jù)實(shí)施巻積處理 ST3。
信號(hào)處理單元再次進(jìn)行噪聲處理ST4，通過顏色轉(zhuǎn)換處理ST5將 轉(zhuǎn)換的顏色空間返回為原始顏色空間。對(duì)于顏色轉(zhuǎn)換處理，可以提及 15例如YCbCr轉(zhuǎn)換，但也可以采用其他轉(zhuǎn)換。
應(yīng)注意，也可以省略第二次噪聲處理ST4。
圖20是示出了信號(hào)處理單元和內(nèi)核數(shù)據(jù)存儲(chǔ)ROM的配置的第三 示例的圖。應(yīng)注意，為了簡單起見，省略AFE等。
圖20的示例是根據(jù)曝光信息預(yù)先準(zhǔn)備OTF恢復(fù)濾波器的情況下 20 的框圖。
信號(hào)處理單元獲得在設(shè)定曝光時(shí)確定的曝光信息，并通過巻積,空 制單元154選擇和控制內(nèi)核數(shù)據(jù)。
在實(shí)施噪聲降低濾波ST11和顏色轉(zhuǎn)換處理ST12之后，二維巻積 運(yùn)算單元152通過使用OTF恢復(fù)濾波器實(shí)施巻積處理ST13。 25 信號(hào)處理單元再次進(jìn)行噪聲處理ST14，通過顏色轉(zhuǎn)換處理ST15
將轉(zhuǎn)換的顏色空間返回為原始顏色空間。對(duì)于顏色轉(zhuǎn)換處理，可以提 及例如YCbCr轉(zhuǎn)換，但也可以采用其他轉(zhuǎn)換。 應(yīng)注意，也可以省略第二次噪聲處理ST14。 圖21是示出了信號(hào)處理單元和內(nèi)核數(shù)據(jù)存儲(chǔ)ROM的配置的第四 30示例的圖。應(yīng)注意，為了簡單起見，省略AFE等。
圖21的示例是提供噪聲降低濾波步驟的情況下的框圖，預(yù)先準(zhǔn)備 根據(jù)曝光信息的噪聲降低濾波器，作為濾波器內(nèi)核數(shù)據(jù)。
信號(hào)處理單元獲得在設(shè)定曝光時(shí)確定的曝光信息，并通過巻積控
制單元154選擇和控制內(nèi)核數(shù)據(jù)。 5 在實(shí)施噪聲降低濾波ST21之后，二維巻積運(yùn)算單元152通過顏
色轉(zhuǎn)換處理ST22對(duì)顏色空間進(jìn)行轉(zhuǎn)換，接著使用內(nèi)核數(shù)據(jù)實(shí)施巻積 處理ST23。
信號(hào)處理單元根據(jù)曝光信息再次進(jìn)行噪聲處理ST24，通過顏色轉(zhuǎn) 換處理ST25將轉(zhuǎn)換的顏色空間返回為原始顏色空間。對(duì)于顏色轉(zhuǎn)換 10處理，可以提及例如YCbCr轉(zhuǎn)換，但也可以采用其他轉(zhuǎn)換。 應(yīng)注意，也可以省略第二次噪聲處理ST24。 以上解釋了僅根據(jù)曝光信息進(jìn)行濾波的二維巻積運(yùn)算單元152的 示例，但是，通過將例如對(duì)象距離信息、變焦信息或圖像捕獲模式信 息與曝光信息相組合，可以提取或處理合適的運(yùn)算系數(shù)。 15 圖22是示出了組合了對(duì)象距離信息和曝光信息的圖像處理設(shè)備
的配置的示例圖。
圖22示出了用于從來自成像元件120的對(duì)象的發(fā)散圖像信號(hào)產(chǎn)生 不發(fā)散的圖像信號(hào)的圖像處理設(shè)備300的配置示例。
如圖22所示，圖像處理設(shè)備300具有巻積設(shè)備301、內(nèi)核和/或 20數(shù)值運(yùn)算系數(shù)存儲(chǔ)寄存器302以及圖像處理處理器303。
在圖像處理設(shè)備300中，圖像處理處理器303獲得關(guān)于對(duì)象的近 似距離的信息和曝光信息，所述對(duì)象的距離是從對(duì)象近似距離信息檢 測(cè)設(shè)備400中讀出的。圖像處理設(shè)備300在內(nèi)核和/或數(shù)值運(yùn)算系數(shù)存 儲(chǔ)寄存器302中存儲(chǔ)在合適的對(duì)象距離位置運(yùn)算中使用的內(nèi)核大小及 25 運(yùn)算系數(shù)，并通過使用這些值由巻積設(shè)備301進(jìn)行合適的運(yùn)算來恢復(fù) 圖像。
如上所述，當(dāng)成像設(shè)備具有相位板(波陣面編碼光學(xué)元件)作為 光學(xué)波陣面調(diào)制元件時(shí)，若在預(yù)定的焦距范圍之內(nèi)，可以通過對(duì)于該
范圍的圖像處理來產(chǎn)生合適的無像差的圖像信號(hào)，但是，若在預(yù)定的 30焦距范圍之外，圖像處理的校正受到限制，因此，只有超出上述范圍
的對(duì)象最終成為帶有像差的圖像信號(hào)。
另一方面，通過實(shí)施在預(yù)定的窄范圍內(nèi)不造成像差的圖像處理， 也可以對(duì)超出預(yù)定的窄范圍的圖像提供模糊。
本示例被配置為通過包括距離檢測(cè)傳感器的對(duì)象近似距離信息檢 5 測(cè)設(shè)備400檢測(cè)至主對(duì)象的距離，并進(jìn)行根據(jù)所檢測(cè)的距離而不同的 圖像校正處理。
上述圖像處理通過巻積運(yùn)算實(shí)施。為了實(shí)現(xiàn)這一點(diǎn)，例如，可以 公共地存儲(chǔ)一種巻積運(yùn)算的運(yùn)算系數(shù)，預(yù)先存儲(chǔ)根據(jù)焦距的校正系數(shù)， 通過使用所述校正系數(shù)校正運(yùn)算系數(shù)，并通過校正的運(yùn)算系數(shù)進(jìn)行合 10 適的巻積運(yùn)算。
除了本配置之外，可以采用以下配置。
可以采用以下配置預(yù)先存儲(chǔ)根據(jù)焦距的內(nèi)核大小和巻積運(yùn)算系 數(shù)本身，并通過這些存儲(chǔ)的內(nèi)核大小和運(yùn)算系數(shù)進(jìn)行巻積運(yùn)算，或采 用以下配置預(yù)先將根據(jù)焦距的運(yùn)算系數(shù)存儲(chǔ)為函數(shù)，根據(jù)焦距通過 15 該函數(shù)找到運(yùn)算系數(shù)，并通過計(jì)算出的運(yùn)算系數(shù)進(jìn)行巻積運(yùn)算，等等。 與圖22的配置相聯(lián)系時(shí)，可以采用以下配置。
根據(jù)對(duì)象距離，在由寄存器302構(gòu)成的轉(zhuǎn)換系數(shù)存儲(chǔ)裝置中預(yù)先 存儲(chǔ)對(duì)應(yīng)于由至少相位板113a造成的像差的至少兩個(gè)轉(zhuǎn)換系數(shù)。圖像 處理處理器303用作系數(shù)選擇裝置，用于根據(jù)至對(duì)象的距離從寄存器 20 302中選擇轉(zhuǎn)換系數(shù)，所述距離是基于由對(duì)象近似距離信息檢測(cè)設(shè)備 400構(gòu)成的對(duì)象距離信息產(chǎn)生裝置所產(chǎn)生的信息的。
此外，由巻積設(shè)備301構(gòu)成的轉(zhuǎn)換裝置根據(jù)由圖像處理處理器303
構(gòu)成的系數(shù)選擇裝置所選擇的轉(zhuǎn)換系數(shù)來轉(zhuǎn)換圖像信號(hào)。
備選地，如上所述，由圖像處理處理器303構(gòu)成的轉(zhuǎn)換系數(shù)處理 25 裝置基于由對(duì)象近似距離信息檢測(cè)設(shè)備400構(gòu)成的對(duì)象距離信息產(chǎn)生
裝置所產(chǎn)生的信息來運(yùn)算轉(zhuǎn)換系數(shù)，并將結(jié)果存儲(chǔ)在寄存器302中。 此外，由巻積設(shè)備301構(gòu)成的轉(zhuǎn)換裝置根據(jù)由圖像處理處理器303
構(gòu)成的系數(shù)選擇裝置所獲得的并存儲(chǔ)在寄存器302中的轉(zhuǎn)換系數(shù)來轉(zhuǎn)
換圖像信號(hào)。
30 備選地，由寄存器302構(gòu)成的校正值存儲(chǔ)裝置預(yù)先存儲(chǔ)根據(jù)變焦
光學(xué)系統(tǒng)iio的變焦位置或變焦量至少一個(gè)校正值。所述校正值包括
對(duì)象像差圖像的內(nèi)核大小。
也用作第二轉(zhuǎn)換系數(shù)存儲(chǔ)裝置的寄存器302預(yù)先存儲(chǔ)對(duì)應(yīng)于相位
板113a所造成的像差的轉(zhuǎn)換系數(shù)。 5 接著，基于由對(duì)象近似距離信息檢測(cè)設(shè)備400構(gòu)成的對(duì)象距離信
息產(chǎn)生裝置所產(chǎn)生的距離信息，由圖像處理處理器303構(gòu)成的校正值 選擇裝置根據(jù)至對(duì)象的距離，從由寄存器302構(gòu)成的校正值存儲(chǔ)裝置 中選擇校正值。
由巻積設(shè)備301構(gòu)成的轉(zhuǎn)換裝置基于從由寄存器302構(gòu)成的校正 10 值存儲(chǔ)裝置中獲得的轉(zhuǎn)換系數(shù)以及由圖像處理處理器303構(gòu)成的校正 值選擇裝置所選擇的校正值，轉(zhuǎn)換圖像信號(hào)。
圖23是示出了組合了變焦信息和曝光信息的圖像處理設(shè)備的配 置的示例圖。
圖23示出了用于從來自成像元件120的對(duì)象的發(fā)散圖像信號(hào)產(chǎn) 15 生不發(fā)散的圖像信號(hào)的圖像處理設(shè)備300A的配置示例。
如圖23所示，圖像處理設(shè)備300A同圖22中一樣，具有巻積設(shè) 備301、內(nèi)核和/或數(shù)值運(yùn)算系數(shù)存儲(chǔ)寄存器302以及圖像處理處理器 303。
在圖像處理設(shè)備300A中，圖像處理處理器303獲得關(guān)于變焦位 20 置或變焦量的信息和曝光信息，所述關(guān)于變焦位置或變焦量的信息是 從變焦信息檢測(cè)設(shè)備500中讀出的。圖像處理設(shè)備300A在內(nèi)核和/或 數(shù)值運(yùn)算系數(shù)存儲(chǔ)寄存器302中存儲(chǔ)用于曝光信息和變焦位置的合適 運(yùn)算的內(nèi)核大小及運(yùn)算系數(shù)，并使用這些值在巻積設(shè)備301進(jìn)行合適 的運(yùn)算來恢復(fù)圖像。 25 如上所述，當(dāng)在變焦光學(xué)系統(tǒng)中提供的成像設(shè)備應(yīng)用相位板作為
光學(xué)波陣面調(diào)制元件時(shí)，產(chǎn)生的斑點(diǎn)圖像根據(jù)變焦光學(xué)系統(tǒng)的變焦位 置而不同。由于這個(gè)原因，當(dāng)在后的DSP等中對(duì)由相位板獲得的焦點(diǎn) 偏離圖像(斑點(diǎn)圖像)進(jìn)行巻積運(yùn)算時(shí)，為了獲得合適的聚焦圖像， 巻積運(yùn)算必須是根據(jù)變焦位置而不同的。 30 因此，本實(shí)施例被配置為具有變焦信息檢測(cè)設(shè)備500，根據(jù)變焦
位置進(jìn)行合適的巻積運(yùn)算，從而不論變焦位置如何均能獲得合適的聚 焦圖像。
為了在圖像處理設(shè)備300A中進(jìn)行合適的巻積運(yùn)算，可以配置系 統(tǒng)，在寄存器302中公共地存儲(chǔ)一種巻積運(yùn)算系數(shù)。 5 除了本配置之外，可以采用以下配置。
可以采用以下配置根據(jù)每個(gè)變焦位置，預(yù)先在寄存器302中存 儲(chǔ)校正系數(shù)，使用校正系數(shù)校正運(yùn)算系數(shù)，并通過校正的運(yùn)算系數(shù)進(jìn) 行巻積運(yùn)算，或采用以下配置根據(jù)每個(gè)運(yùn)算位置，預(yù)先在寄存器302 中存儲(chǔ)內(nèi)核大小和巻積運(yùn)算系數(shù)本身，并通過這些存儲(chǔ)的內(nèi)核大小和
10 運(yùn)算系數(shù)進(jìn)行巻積運(yùn)算，或采用以下配置根據(jù)縮放位置，將運(yùn)算系
數(shù)在寄存器302中預(yù)先存儲(chǔ)為函數(shù)，根據(jù)變焦位置通過該函數(shù)找到運(yùn) 算系數(shù)，并通過計(jì)算的運(yùn)算系數(shù)進(jìn)行巻積運(yùn)算等等。
與圖23的配置相聯(lián)系時(shí)，可以采用以下配置。
根據(jù)變焦光學(xué)系統(tǒng)110的變焦位置或變焦量，在由寄存器302構(gòu) 15 成的轉(zhuǎn)換系數(shù)存儲(chǔ)裝置中存儲(chǔ)對(duì)應(yīng)于由至少相位板113a所造成的像 差的至少兩個(gè)轉(zhuǎn)換系數(shù)。圖像處理處理器303用作系數(shù)選擇裝置，用 于根據(jù)變焦光學(xué)系統(tǒng)110的變焦位置或變焦量從寄存器302中選擇轉(zhuǎn) 換系數(shù)，所述變焦位置或變焦量是基于由變焦信息檢測(cè)設(shè)備500構(gòu)成
的變焦信息產(chǎn)生裝置所產(chǎn)生的信息的。 20 接著，由巻積設(shè)備301構(gòu)成的轉(zhuǎn)換裝置根據(jù)由圖像處理處理器303
構(gòu)成的系數(shù)選擇裝置所選擇的轉(zhuǎn)換系數(shù)，轉(zhuǎn)換圖像信號(hào)。
備選地，如上所述，由圖像處理處理器303構(gòu)成的轉(zhuǎn)換系數(shù)處理 裝置基于由變焦信息檢測(cè)設(shè)備500構(gòu)成的變焦信息產(chǎn)生裝置所產(chǎn)生的 信息來運(yùn)算轉(zhuǎn)換系數(shù)，并將結(jié)果存儲(chǔ)在寄存器302中。 25 接著，由巻積設(shè)備301構(gòu)成的轉(zhuǎn)換裝置根據(jù)由圖像處理處理器303 構(gòu)成的系數(shù)選擇裝置所獲得的并存儲(chǔ)在寄存器302中的轉(zhuǎn)換系數(shù)，來 轉(zhuǎn)換圖像信號(hào)。
備選地，由寄存器302構(gòu)成的校正值存儲(chǔ)裝置根據(jù)變焦光學(xué)系統(tǒng) 110的變焦位置或變焦量預(yù)先存儲(chǔ)至少一個(gè)校正值。所述校正值包括 30 對(duì)象像差圖像的內(nèi)核大小。
也用作第二轉(zhuǎn)換系數(shù)存儲(chǔ)裝置的寄存器302預(yù)先存儲(chǔ)對(duì)應(yīng)于相位
板113a所造成的像差的轉(zhuǎn)換系數(shù)。
接著，基于由變焦信息檢測(cè)設(shè)備500構(gòu)成的變焦信息產(chǎn)生裝置所 產(chǎn)生的變焦信息，由圖像處理處理器303構(gòu)成的校正值選擇裝置根據(jù) 5變焦位置或變焦量，從由寄存器302構(gòu)成的校正值存儲(chǔ)裝置中選擇校正值。
由巻積設(shè)備301構(gòu)成的轉(zhuǎn)換裝置基于從由寄存器302構(gòu)成的校正 值存儲(chǔ)裝置中獲得的轉(zhuǎn)換系數(shù)以及由圖像處理處理器303構(gòu)成的校正 值選擇裝置所選擇的校正值，來轉(zhuǎn)換圖像信號(hào)。 10 圖24是示出了濾波器的配置的示例圖，其中使用了曝光信息、對(duì)
象距離信息和變焦信息。
在本示例中，對(duì)象距離信息和變焦信息形成了二維信息，曝光信 息形成了如深度之類的信息。
圖25是示出了組合了圖像捕獲模式信息和曝光信息的圖像處理 15 設(shè)備的配置的示例圖。
圖25示出了用于從來自成像元件120的對(duì)象的發(fā)散圖像信號(hào)產(chǎn)生 不發(fā)散的圖像信號(hào)的圖像處理設(shè)備300B的配置示例。
如圖25所示，圖像處理設(shè)備300B同圖22和圖23中一樣，具有 巻積設(shè)備301 、由內(nèi)核和/或數(shù)值運(yùn)算系數(shù)存儲(chǔ)寄存器302構(gòu)成的存儲(chǔ) 20裝置以及圖像處理處理器303。
在圖像處理設(shè)備300B中，圖像處理處理器303獲得關(guān)于對(duì)象的 對(duì)象距離的近似距離的信息和曝光信息，所述對(duì)象的近似距離是從對(duì) 象近似距離信息檢測(cè)設(shè)備600中讀出的。圖像處理設(shè)備300B在內(nèi)核 和/或數(shù)值運(yùn)算系數(shù)存儲(chǔ)寄存器302中存儲(chǔ)在合適的對(duì)象距離位置運(yùn) 25 算中使用的內(nèi)核大小及操作系數(shù)，并通過使用這些值在巻積設(shè)備301 進(jìn)行合適的操作來恢復(fù)圖像。
在這種情況下，如上所述，當(dāng)成像設(shè)備具有相位板(波陣面編碼 光學(xué)元件)作為光學(xué)波陣面調(diào)制元件時(shí)，若在預(yù)定的焦距范圍之內(nèi)， 可以通過對(duì)于該范圍的圖像處理來產(chǎn)生合適的無像差的圖像信號(hào)，但 30是，若在預(yù)定的焦距范圍之外，圖像處理的校正受到限制，因此，只
有超出上述范圍的對(duì)象最終成為帶有像差的圖像信號(hào)。
另一方面，通過實(shí)施在預(yù)定的窄范圍內(nèi)不造成像差的圖像處理， 也可以對(duì)超出預(yù)定的窄范圍的圖像提供模糊。
本示例被配置為通過包括距離檢測(cè)傳感器的對(duì)象近似距離信息檢 5 測(cè)設(shè)備600來檢測(cè)至主對(duì)象的距離，并進(jìn)行根據(jù)所檢測(cè)的距離而不同 的圖像校正處理。
上述圖像處理通過巻積運(yùn)算實(shí)施。為了實(shí)現(xiàn)這一點(diǎn)，可以采用以 下配置公共地存儲(chǔ)一種巻積運(yùn)算的運(yùn)算系數(shù)，根據(jù)對(duì)象距離，預(yù)先 存儲(chǔ)校正系數(shù)，通過使用所述校正系數(shù)校正運(yùn)算系數(shù)，并通過校正的 10 運(yùn)算系數(shù)進(jìn)行合適的巻積運(yùn)算，或采用以下配置根據(jù)對(duì)象距離，預(yù) 先將運(yùn)算系數(shù)存儲(chǔ)為函數(shù)，根據(jù)焦距通過該函數(shù)找到運(yùn)算系數(shù)，并通 過計(jì)算出的運(yùn)算系數(shù)進(jìn)行巻積運(yùn)算，或采用以下配置根據(jù)對(duì)象距離， 預(yù)先存儲(chǔ)內(nèi)核大小和巻積運(yùn)算系數(shù)本身，并通過這些存儲(chǔ)的內(nèi)核大小 和運(yùn)算系數(shù)進(jìn)行巻積運(yùn)算，等等。
15 在本實(shí)施例中，如上所述，根據(jù)DSC的模式設(shè)定(人像、無限遠(yuǎn)
(風(fēng)景)和宏距(macro))改變圖像處理。
與圖25的配置相聯(lián)系時(shí)，可以采用以下配置。 如上所述，根據(jù)每個(gè)圖像的捕獲模式而不同的轉(zhuǎn)換系數(shù)通過由圖 像處理處理器303構(gòu)成的轉(zhuǎn)換系數(shù)處理裝置，存儲(chǔ)在由寄存器302構(gòu) 20成的轉(zhuǎn)換系數(shù)存儲(chǔ)裝置中，所述圖像的捕獲模式由操作單元190的圖 像捕獲模式設(shè)定單元700進(jìn)行設(shè)定。
圖像處理處理器303根據(jù)圖像捕獲模式設(shè)定單元700的操作開關(guān) 701所設(shè)定的圖像捕獲模式，基于由對(duì)象近似距離信息檢測(cè)設(shè)備600 構(gòu)成的對(duì)象距離信息產(chǎn)生裝置所產(chǎn)生的信息，從由寄存器302構(gòu)成的 25 轉(zhuǎn)換系數(shù)存儲(chǔ)裝置中提取轉(zhuǎn)換系數(shù)。
進(jìn)一步，由巻積設(shè)備301構(gòu)成的轉(zhuǎn)換裝置根據(jù)圖像信號(hào)的圖像捕 獲模式，并根據(jù)存儲(chǔ)在寄存器302中的轉(zhuǎn)換系數(shù)來進(jìn)行轉(zhuǎn)換處理。
應(yīng)注意，圖IO和圖11中的光學(xué)系統(tǒng)僅作為示例。本發(fā)明不總是 用于圖10和圖11中的光學(xué)系統(tǒng)。此外，對(duì)于斑點(diǎn)形狀，圖12和圖 3013也僅作為示例，本實(shí)施例的斑形狀不局限于圖12和圖13所示的斑
形狀。
此外，圖15和圖16的內(nèi)核數(shù)據(jù)存儲(chǔ)ROM不總是用于光學(xué)放大 倍數(shù)、F數(shù)、每個(gè)內(nèi)核的大小以及每個(gè)內(nèi)核的值。此外，所準(zhǔn)備的內(nèi) 核數(shù)據(jù)的數(shù)量也不局限于3個(gè)。 5 如圖24所示，通過采用三維或進(jìn)一步四維，存儲(chǔ)量變得更大，但
可以考慮各種條件并選擇更加合適的條件。信息可以是曝光信息、對(duì) 象距離信息、變焦信息、捕獲模式信息等等。
應(yīng)注意，如上所述，當(dāng)成像設(shè)備具有相位板(波陣面編碼光學(xué)元 件)作為光學(xué)波陣面調(diào)制元件時(shí)，若在預(yù)定的焦距范圍之內(nèi)，可以通 10過對(duì)于該范圍的圖像處理來產(chǎn)生合適的無像差的圖像信號(hào)，但是，若 在預(yù)定的焦距范圍之外，圖像處理的校正受到限制，因此，只有超出 上述范圍的對(duì)象最終成為帶有像差的圖像信號(hào)。
另一方面，通過實(shí)施在預(yù)定的窄范圍內(nèi)不造成像差的圖像處理， 也可以對(duì)超出預(yù)定的窄范圍的圖像提供模糊。 15 在本實(shí)施例中，采用了DEOS，因此，可以獲得高清晰度的圖像
質(zhì)量。此外，可以簡化光學(xué)系統(tǒng)，并降低成本。
以下解釋特有特征。
圖26A至圖26C示出了成像元件120的光接收表面上的斑點(diǎn)圖像。
20 圖26A是示出了焦點(diǎn)偏離0.2mm (散焦-0.2mm)時(shí)的斑點(diǎn)圖像
的圖，圖26B是示出了聚焦(最佳聚焦)時(shí)的斑點(diǎn)圖像的圖，圖26C 是示出了焦點(diǎn)偏離-0.2mm (散焦=-0.2111111)時(shí)的斑點(diǎn)圖像的圖。
從圖26A至圖26C可以看出，在根據(jù)本實(shí)施例的成像設(shè)備100 中，由包括相位板113a的波陣面形成光學(xué)元件組113所形成的光線具 25有較深的深度(在圖像形成中起中心作用)和光斑(模糊部分)。
按照這種方式，對(duì)本實(shí)施例的成像設(shè)備100中形成的第一級(jí)圖像 FIM給出了產(chǎn)生較深的深度的光線條件。
圖27A和27B是用于解釋根據(jù)本實(shí)施例的由成像鏡頭設(shè)備形成的 第一級(jí)圖像的調(diào)制傳遞函數(shù)(MTF)的圖，其中圖27A是示出了成像 30鏡頭設(shè)備的成像元件的光接收表面上的斑點(diǎn)圖像的圖，圖27B示出了
關(guān)于空間頻率的MTF特性。
在本實(shí)施例中，將高清晰度的最終圖像留給后一級(jí)的被配置為例如數(shù)字信號(hào)處理器的圖像處理設(shè)備150的校正處理。因此，如圖27A 和27B所示，第一級(jí)圖像的MTF實(shí)質(zhì)上變?yōu)榉浅５偷闹怠?5 如上所述，圖像處理設(shè)備150從成像元件120接收第一級(jí)圖像
FIM，實(shí)施預(yù)定的校正處理等，以提升第一級(jí)圖像的空間頻率上的 MTF，并形成高清晰度的最終圖像FNLIM。
圖像處理設(shè)備150的MTF校正處理使用空間頻率作為參數(shù)，通 過如邊緣增強(qiáng)和色度增強(qiáng)之類的后處理進(jìn)行校正，使例如圖28的曲線 10A所指示的、實(shí)質(zhì)上變?yōu)楹艿偷闹档牡谝患?jí)圖像的MTF接近(達(dá)到) 圖28中曲線B所指示的特性。
圖28中曲線B所指示的特性是在未使用波陣面形成光學(xué)元件以 及波陣面未如例如本實(shí)施例中那樣被變形的情況下獲得的特性。
應(yīng)注意，本實(shí)施例中所有的校正是根據(jù)空間頻率參數(shù)的。 15 在本實(shí)施例中，如圖28所示，對(duì)于光學(xué)地獲得的空間頻率，為了
達(dá)到要相對(duì)于MTF特性曲線A而最終實(shí)現(xiàn)的MTF特性曲線B，針對(duì) 每個(gè)空間頻率調(diào)整邊緣增強(qiáng)等的強(qiáng)度，以校正原始圖像(第一級(jí)圖像)。
例如，對(duì)于圖28的MTF特性，關(guān)于空間頻率的邊緣增強(qiáng)的曲線 成為如圖29所示。
20 也就是說，通過在空間頻率的預(yù)定帶寬之內(nèi)的低頻率側(cè)和高頻率
側(cè)減弱邊緣增強(qiáng)，并對(duì)中頻區(qū)域加強(qiáng)邊緣增強(qiáng)，來進(jìn)行校正，實(shí)際上 實(shí)現(xiàn)了所需的MTF特性曲線B。
按照這種方式，根據(jù)本實(shí)施例的成像設(shè)備100是一種基本上由光 學(xué)系統(tǒng)110、成像元件120和圖像處理設(shè)備150配置而成的圖像形成
25 系統(tǒng)，光學(xué)系統(tǒng)110和成像元件120用于形成第一級(jí)圖像，圖像處理 設(shè)備150用于將第一級(jí)圖像形成高清晰度的最終圖像。光學(xué)系統(tǒng)最新 具有波陣面形成光學(xué)元件或具有玻璃、塑料或具有用于波陣面形成的 形狀的表面的其他光學(xué)元件，以便使所形成的圖像的波陣面變形(調(diào) 制)。這樣的波陣面聚焦在由CCD或CMOS傳感器形成的成像元件
30120的成像表面(光接收表面)上。使聚焦的第一級(jí)圖像通過圖像處
理設(shè)備150，以獲得高清晰度的圖像。
在本實(shí)施例中，對(duì)來自成像元件120的第一級(jí)圖像給出了非常深
的深度的光線條件。由于這個(gè)原因，第一級(jí)圖像的MTF實(shí)質(zhì)上成為 了很低的值，其MTF由圖像處理設(shè)備150進(jìn)行校正。 5 因此，從波光學(xué)方面考慮了本實(shí)施例的成像設(shè)備IOO中的圖像形
成的處理。
從對(duì)象點(diǎn)的一個(gè)點(diǎn)散射出的球面波在通過成像光學(xué)系統(tǒng)之后成為 會(huì)聚波。當(dāng)成像光學(xué)系統(tǒng)不是理想的光學(xué)系統(tǒng)時(shí)將發(fā)生像差。波陣面 變得不是球面形，而是復(fù)雜的形狀。波陣面光學(xué)架起了幾何光學(xué)和波 10光學(xué)之間的橋梁。這在處理波陣面現(xiàn)象時(shí)很方便。
處理成像平面上的波光學(xué)MTF時(shí)，成像光學(xué)系統(tǒng)的出口瞳孔 (pupil)位置處的波陣面信息很重要。
通過成像點(diǎn)的波光學(xué)強(qiáng)度分布的傅立葉變換，計(jì)算MTF。波光學(xué) 強(qiáng)度分布是通過波光學(xué)幅度分布的平方而獲得的。波光學(xué)幅度分布是 15 通過出口瞳孔的瞳孔函數(shù)的傅立葉變換得到的。
進(jìn)一步，瞳孔函數(shù)僅是在出口瞳孔位置處的波陣面信息(波陣面
像差)，因此，若可以通過光學(xué)系統(tǒng)iio將波陣面像差嚴(yán)格計(jì)算為數(shù)值，
則可以計(jì)算MTF。
相應(yīng)地，若通過預(yù)定技術(shù)修改出口瞳孔位置處的波陣面信息，可 20 以自由地改變成像平面上的MTF值。
同樣在本實(shí)施例中，波陣面的形狀主要由波陣面形成光學(xué)元件改 變。確實(shí)，可以通過調(diào)整相位(沿光線的光路長度)來形成所需的波 陣面。
接著，當(dāng)形成目標(biāo)波陣面時(shí)，從出口瞳孔發(fā)射的光線由密光線部 25分和疏光線部分形成，這可以從圖26A至圖26C所示的幾何光學(xué)點(diǎn)斑 圖像上看出。
該光線狀態(tài)的MTF在空間頻率低的位置處顯示為較低的值，并 以某種方式保持這樣的分辨率直至空間頻率高的位置處。
也就是說，若該MTF值低(或從幾何光學(xué)上講，斑點(diǎn)圖像的狀 30態(tài))，則不會(huì)造成混疊現(xiàn)象。
這就是說，低通濾波器是不必要的。
此外，造成MTF值下降的類似光斑的圖像可以通過由后一級(jí)DSP 等配置的圖像處理設(shè)備來進(jìn)行消除。由于這一點(diǎn)，MTF值得到了明顯改善。
5 接下來，考慮本實(shí)施例及傳統(tǒng)光學(xué)系統(tǒng)的MTF響應(yīng)。
圖30是示出了在一般光學(xué)系統(tǒng)中當(dāng)對(duì)象位于焦點(diǎn)位置時(shí)和當(dāng)對(duì) 象偏離焦點(diǎn)位置時(shí)的MTF響應(yīng)的圖。
圖31是示出了在本實(shí)施例的具有光學(xué)波陣面調(diào)制元件的光學(xué)系 統(tǒng)中，當(dāng)對(duì)象位于焦點(diǎn)位置時(shí)和當(dāng)對(duì)象偏離焦點(diǎn)位置時(shí)的MTF響應(yīng) 10 的圖。
進(jìn)一步，圖32是示出了根據(jù)本實(shí)施例的成像設(shè)備在數(shù)據(jù)恢復(fù)之后 的MTF響應(yīng)的圖。
從這些圖中也可以看出，在具有光學(xué)波陣面調(diào)制元件的光學(xué)系統(tǒng) 中，即使在對(duì)象偏離焦點(diǎn)位置時(shí)，MTF響應(yīng)的變化也小于在未插入光 15 學(xué)波陣面調(diào)制元件的光學(xué)系統(tǒng)中的MTF響應(yīng)的變化。
由這樣的光學(xué)系統(tǒng)所形成的圖像經(jīng)過巻積濾波器的處理，從而改 善了 MTF響應(yīng)。
如上所述，根據(jù)本實(shí)施例，提供了光學(xué)系統(tǒng)110，其被設(shè)計(jì)為使 圖像即使在焦點(diǎn)位置也不聚焦，但PSF (點(diǎn)擴(kuò)展函數(shù))在焦點(diǎn)位置之
20 前和之后變?yōu)閹缀鹾愣?；提供了成像元?20，其捕獲光學(xué)系統(tǒng)的圖 像；提供了圖像處理設(shè)備150，其迸行模糊恢復(fù)處理；提供了攝像機(jī) 信號(hào)處理單元160，其獲得最終圖像；提供了圖像監(jiān)視設(shè)備180，其顯 示從攝像機(jī)信號(hào)處理單元160輸出的圖像，顯示直通圖像以便確定圖 像角度和捕獲定時(shí)，并顯示捕獲的圖像；提供了操作單元l卯，其能
25 夠產(chǎn)生用于捕獲圖像的觸發(fā)信號(hào)；提供了控制設(shè)備200，其進(jìn)行控制， 以便在顯示直通圖像期間使成像元件的圖像信號(hào)不經(jīng)過進(jìn)行模糊恢復(fù) 處理的圖像處理設(shè)備150而直接輸入攝像機(jī)信號(hào)處理單元160，在圖 像處理設(shè)備150根據(jù)PSF對(duì)通過接收觸發(fā)信號(hào)而捕獲的圖像進(jìn)行模糊 恢復(fù)處理，并將圖像輸出至攝像機(jī)信號(hào)處理單元160，因此獲得了以
30 下效果。
在顯示用于確定組成的直通圖像期間，可以在保持高幀率的同時(shí)， 向在捕獲圖像時(shí)的模糊恢復(fù)處理提供一定程度的時(shí)間，因此不必需昂 貴的硬件。進(jìn)一步，即使實(shí)施了放大捕獲圖像和移動(dòng)放大部分的操作， 由于對(duì)捕獲圖像的整個(gè)圖像進(jìn)行模糊恢復(fù)，因此，可以精確地檢査細(xì) 5 節(jié)部分，在操作和觀看中不會(huì)出現(xiàn)任何不自然現(xiàn)象。
進(jìn)一步，前述的PSF的模糊程度被設(shè)定為不大于圖像監(jiān)視設(shè)備
180的像素間距的2倍，因此，即使直通圖像由于具有與監(jiān)視器相同
的精細(xì)度而模糊，在監(jiān)視器上也不會(huì)因此發(fā)生令人煩惱的模糊。 進(jìn)一步，在對(duì)通過接收觸發(fā)信號(hào)而捕獲的圖像進(jìn)行模糊恢復(fù)處理
10 的圖像處理設(shè)備150中根據(jù)PSF進(jìn)行模糊恢復(fù)處理之后并進(jìn)行了攝像 機(jī)處理之后，將圖像輸出至監(jiān)視器。因此，即使模糊恢復(fù)處理消耗了 一定程度的時(shí)間，用戶只需等待圖像自動(dòng)出現(xiàn)。也可以消除甚至在用 戶進(jìn)行一些操作時(shí)圖像也不出現(xiàn)的抱怨。
進(jìn)一步，在顯示直通圖像期間，從成像元件120輸出具有可以滿
15 足監(jiān)視器所要求的較小的圖像大小水平的圖像，因此，在顯示直通圖 像期間可以實(shí)現(xiàn)高幀率，在資源中創(chuàng)建額外的余量，從而降低功率消 耗。
進(jìn)一步，根據(jù)本實(shí)施例，所述設(shè)備包括形成第一級(jí)圖像的光學(xué)系 統(tǒng)110和成像元件120及將第一級(jí)圖像形成為高清晰度的最終圖像的 20 圖像處理設(shè)備150。圖像處理設(shè)備150根據(jù)從曝光控制設(shè)備200得到 的曝光信息執(zhí)行有關(guān)光學(xué)傳遞函數(shù)(OTF)的濾波。因此，優(yōu)點(diǎn)在于， 可以簡化光學(xué)系統(tǒng)，降低成本，此外可以獲得具有很小噪聲影響的恢 復(fù)圖像。
進(jìn)一步，通過使巻積運(yùn)算時(shí)使用的內(nèi)核大小和用于圖像處理設(shè)備 25150的數(shù)值運(yùn)算的系數(shù)可變，并將由操作單元190等的輸入得到的合 適的內(nèi)核大小與上述系數(shù)相聯(lián)系，優(yōu)點(diǎn)在于，設(shè)計(jì)鏡頭時(shí)可以不必?fù)?dān) 心放大倍數(shù)和散焦范圍，使通過高精度巻積的圖像恢復(fù)成為可能。
進(jìn)一步，優(yōu)點(diǎn)在于，可以在不需要具有高難度、昂貴成本和大尺 寸的光學(xué)鏡頭且不需要驅(qū)動(dòng)鏡頭的情況下，獲得所謂的自然圖像，其 30中要捕獲的圖像在焦點(diǎn)上，但背景是模糊的。
此外，根據(jù)本實(shí)施例的成像設(shè)備IOO可以用于數(shù)字?jǐn)z像機(jī)、可攜 式攝像機(jī)或其他消費(fèi)電子設(shè)備中的變焦鏡頭的DEOS，所述變焦鏡頭 的設(shè)計(jì)考慮了小尺寸、輕重量和成本。
進(jìn)一步，在本實(shí)施例中，由于所述設(shè)備具有成像鏡頭系統(tǒng)，所述
5 成像鏡頭系統(tǒng)具有用于使由成像透鏡112在成像元件120的光接收表 面所形成的圖像的波陣面變形的波陣面形成光學(xué)元件，所述設(shè)備還具 有圖像處理設(shè)備150，用于接收由成像元件120形成的第一級(jí)圖像FIM 并實(shí)施預(yù)定的校正處理等，以提升在第一級(jí)圖像的空間頻率的MTF 并形成高清晰度的最終圖像FNLIM，所以優(yōu)點(diǎn)在于可以獲取高清晰度 10 的圖像質(zhì)量。
進(jìn)一步，可以簡化光學(xué)系統(tǒng)110的配置，容易制造，并可以降低 成本。
當(dāng)使用CCD或CMOS傳感器作為成像元件時(shí)，像素間距確定了 分辨率界限。當(dāng)光學(xué)系統(tǒng)的分辨率超過分辨率功率界限時(shí)，產(chǎn)生混疊 15現(xiàn)象，對(duì)最終圖像造成不利影響。這是眾所周知的事實(shí)。
為了提高圖像質(zhì)量，希望盡可能多地提高對(duì)比度，但這需要高性 能的鏡頭系統(tǒng)。
然而，如上所述，當(dāng)使用CCD或CMOS傳感器作用成像元件時(shí)， 將發(fā)生混疊。
20 目前，為了避免混疊的發(fā)生，成像鏡頭系統(tǒng)聯(lián)合地一并使用由單
軸晶體系統(tǒng)制成的低通濾波器，從而避免混疊現(xiàn)象。
按照這種方式聯(lián)合使用低通濾波器在原理上是正確的，但是，低 通濾波器本身是由晶體制成，因此很昂貴而難以管理。進(jìn)一步，其缺 點(diǎn)在于，由于用于光學(xué)系統(tǒng)中，光學(xué)系統(tǒng)變得更加復(fù)雜。
25 如上所述，時(shí)代的趨勢(shì)是需要更高清晰度的圖像質(zhì)量。為了形成
高清晰度圖像，傳統(tǒng)成像鏡頭設(shè)備中的光學(xué)系統(tǒng)將變得更加復(fù)雜。如 果復(fù)雜，生產(chǎn)就變得困難。同時(shí)，利用昂貴的低通濾波器導(dǎo)致了成本 的增加。
然而，根據(jù)本實(shí)施例，可以在不使用低通濾波器的情況下避免混 30疊現(xiàn)象的發(fā)生，可以獲得高清晰度圖像質(zhì)量。
應(yīng)注意，在本實(shí)施例中，示出了在從光圈角度的對(duì)象側(cè)設(shè)置光學(xué) 系統(tǒng)的波陣面形成光學(xué)元件的示例，但是與上述示例相同的功能性效 果也可以通過甚至在與光圈相同的位置或在從光圈角度的聚焦透鏡側(cè) 的位置設(shè)置波陣面形成光學(xué)元件來獲得。 5 應(yīng)注意，圖IO和圖11中的光學(xué)系統(tǒng)僅作為示例。本發(fā)明不總是
用于圖10和圖11中的光學(xué)系統(tǒng)。進(jìn)一步，對(duì)于斑點(diǎn)形狀，圖12和圖
13也僅作為示例，本實(shí)施例的斑點(diǎn)形狀不局限于圖12和圖13所示的
斑點(diǎn)形狀。
進(jìn)一歩，圖15和圖16的內(nèi)核數(shù)據(jù)存儲(chǔ)ROM不總是用于光學(xué)放 10大倍數(shù)、F數(shù)、每個(gè)內(nèi)核的大小以及每個(gè)內(nèi)核的值。進(jìn)一步，所準(zhǔn)備 的內(nèi)核數(shù)據(jù)的數(shù)量也不局限于3個(gè)。
圖33是示出了根據(jù)本發(fā)明的第二實(shí)施例的成像設(shè)備的配置框圖。 根據(jù)第二實(shí)施例的成像設(shè)備100A與根據(jù)上述第一實(shí)施例的成像 設(shè)備100的區(qū)別在于，除了對(duì)應(yīng)于圖3的切換單元140的第一切換單 15元140-1之外，還提供了第二切換單元140-2、用于在靜止圖像圖像捕 獲模式時(shí)的圖像處理設(shè)備150的圖像恢復(fù)處理的第一濾波器210、以 及用于在捕獲運(yùn)動(dòng)圖像和/或顯示直通圖像時(shí)的圖像處理設(shè)備150的 圖像恢復(fù)處理的第二濾波器220，所做的配置是可以選擇性地切換用 于在捕獲靜止圖像時(shí)、捕獲運(yùn)動(dòng)圖像時(shí)以及捕獲直通圖像時(shí)的圖像恢 20 復(fù)處理的濾波器。
第一切換單元140-1根據(jù)從曝光控制設(shè)備200來的切換控制信號(hào) SCTL1，選擇性地將成像元件120捕獲的圖像信號(hào)經(jīng)由AFE 130輸入 至圖像處理設(shè)備150或攝像機(jī)信號(hào)處理單元160。
在第一切換單元140-1中，固定觸點(diǎn)a與AFE 130的A/D轉(zhuǎn)換器132 25的輸出線連接，工作觸點(diǎn)^與圖像處理設(shè)備150的輸入線連接，工作觸 點(diǎn)2與攝像機(jī)信號(hào)處理單元160的信號(hào)輸入線連接。
例如，當(dāng)在監(jiān)視設(shè)備180中顯示直通圖像時(shí)，在顯示直通圖像期 間，控制切換單元140，以使固定觸點(diǎn)1與工作觸點(diǎn)￡連接。另一方面， 當(dāng)捕獲圖像以及在存儲(chǔ)器170中存儲(chǔ)圖像時(shí)，控制切換單元140，以使
30 固定觸點(diǎn)^與工作觸點(diǎn)h連接。
根據(jù)從曝光控制設(shè)備200來的切換控制信號(hào)SCTL2，控制第二切 換單元140-2，使第一濾波器210或第二濾波器220與圖像處理設(shè)備 150連接，根據(jù)圖像捕獲模式選擇性地使用濾波器，進(jìn)行后面解釋的 圖像處理設(shè)備150的二維巻積處理。 5 第二切換單元140-2中，固定觸點(diǎn)旦與圖像處理設(shè)備150的輸入/輸
出線連接，工作觸點(diǎn)b與第一濾波器210連接，工作觸點(diǎn)￡與第二濾波器 220連接。
控制第二切換單元140-2，以使固定觸點(diǎn)l與工作觸點(diǎn)L連接， 以便使用第一濾波器210進(jìn)行圖像處理設(shè)備150的圖像恢復(fù)處理。另
10 —方面，在捕獲運(yùn)動(dòng)圖像和/或顯示直通圖像時(shí)，控制第二切換單元 140-2，使固定觸點(diǎn)i與工作觸點(diǎn)L連接，以便使用第二濾波器220進(jìn) 行圖像處理設(shè)備150的圖像恢復(fù)處理。
在第二實(shí)施例中，第二濾波器220具有圖像的邊緣增強(qiáng)和帶寬增 強(qiáng)功能?？梢圆捎美绲屯V波器、高通濾波器、巻積濾波器等，作
15 為具有邊緣增強(qiáng)和帶寬增強(qiáng)功能的濾波器。巻積濾波器形成為使用采 樣PSF (點(diǎn)擴(kuò)展函數(shù))的圖像恢復(fù)濾波器。
例如，圖像處理設(shè)備150中，在顯示直通圖像期間，圖像處理設(shè) 備150不使用第一濾波器210進(jìn)行巻積運(yùn)算，而使用第二濾波器220 進(jìn)行所謂的簡單恢復(fù)處理。
20 本實(shí)施例被配置為，通過使用根據(jù)由圖像監(jiān)視設(shè)備180構(gòu)成的圖
像監(jiān)視裝置的分辨率而采樣的PSF，來進(jìn)行簡單恢復(fù)處理，甚至對(duì)于 直通圖像，也可以獲得根據(jù)圖像監(jiān)視設(shè)備180的圖像質(zhì)量。
進(jìn)一步，在本實(shí)施例中，第二濾波器220的大小被設(shè)定為小于第 一濾波器210的大小。
25 進(jìn)一步，在本實(shí)施例的曝光控制設(shè)備200A中，例如，可以從以
下配置和其他各種配置和功能中選擇配置在一種配置中，第一切換 單元140-1和第二切換單元140-2均根據(jù)用作設(shè)定裝置和觸發(fā)信號(hào)產(chǎn) 生裝置的操作單元190的操作內(nèi)容進(jìn)行切換控制操作；在一種配置中， 第一切換單元140-1不進(jìn)行切換操作，而是將固定觸點(diǎn)^與工作觸點(diǎn)
30L以固定方式連接；在一種配置中，在圖像處理設(shè)備150的圖像恢復(fù)
處理中僅使用第一濾波器或僅使用第二濾波器或兩個(gè)濾波器都不使 用，且不操作第二切換單元140-2;在一種配置中，在捕獲運(yùn)動(dòng)圖像 時(shí)和顯示直通圖像時(shí)，設(shè)定是/否使用濾波器執(zhí)行圖像恢復(fù)處理。
曝光控制設(shè)備200A進(jìn)行曝光控制，并同時(shí)等待操作單元190等的 5操作輸入，根據(jù)這些輸入確定整個(gè)系統(tǒng)的操作，控制AFE 130、圖像 處理設(shè)備I50、 DSP 160等，并執(zhí)行整個(gè)系統(tǒng)的調(diào)解控制。
曝光控制設(shè)備200A，例如在顯示直通圖像期間，通過切換控制信 號(hào)SCTL1將切換單元140-1的固定觸點(diǎn)&與工作觸點(diǎn)&連接，并將未經(jīng)恢 復(fù)處理的成像元件120捕獲的圖像信號(hào)直接輸入攝像機(jī)信號(hào)處理單元 10 160。
另一方面，曝光控制設(shè)備200A在接收到來自操作單元190的觸發(fā) 信號(hào)時(shí)，判斷該模式是用于捕獲圖像并在存儲(chǔ)器170中存儲(chǔ)圖像，通過 切換控制信號(hào)SCTLl將切換單元140-l的固定觸點(diǎn)絲與工作觸點(diǎn)b連接， 將圖像輸入圖像處理設(shè)備150，以便實(shí)施恢復(fù)處理。
15 也就是說，曝光控制設(shè)備200A使圖像處理設(shè)備150對(duì)通過接收觸
發(fā)信號(hào)而捕獲的圖像進(jìn)行恢復(fù)處理，接著使攝像機(jī)信號(hào)處理單元160 實(shí)施預(yù)定的圖像處理，然后使圖像監(jiān)視設(shè)備180顯示圖像。
進(jìn)一步，曝光控制設(shè)備200A通過例如攝像機(jī)信號(hào)處理單元160， 向定時(shí)產(chǎn)生器131發(fā)出指令，以便在圖像監(jiān)視設(shè)備180顯示直通圖像期
20間，從成像元件120輸出由圖像監(jiān)視設(shè)備180的分辨率所必需的能夠足 夠分辨的圖像。
進(jìn)一步，第二實(shí)施例的曝光控制設(shè)備200A根據(jù)操作單元190的操 作，通過切換控制信號(hào)SCTL2控制第二切換單元140-2，在靜止圖像捕 獲模式下，使固定觸點(diǎn)I與工作觸點(diǎn)b連接，以使用第一濾波器210進(jìn)行 25 圖像處理設(shè)備150的圖像恢復(fù)處理，在捕獲運(yùn)動(dòng)圖像和/或顯示直通圖 像時(shí)，控制第二切換單元140-2，使固定觸點(diǎn)a與工作觸點(diǎn)e連接，以使 用第二濾波器220進(jìn)行圖像處理設(shè)備150的圖像恢復(fù)處理。
進(jìn)一步，在本實(shí)施例中，根據(jù)操作單元190的操作，曝光控制設(shè) 備200A可以進(jìn)行控制，以在捕獲運(yùn)動(dòng)圖像時(shí)顯示直通圖像期間向攝 30像機(jī)信號(hào)處理單元160輸入未在圖像處理設(shè)備150經(jīng)過圖像恢復(fù)處理
的圖像信號(hào)，并在將圖像存儲(chǔ)在存儲(chǔ)器170中時(shí)通過圖像處理設(shè)備150 執(zhí)行圖像恢復(fù)處理。
備選地，根據(jù)操作單元190的操作，曝光控制設(shè)備200A可以進(jìn) 行控制，以在捕獲運(yùn)動(dòng)圖像時(shí)向攝像機(jī)信號(hào)處理單元160輸入未在圖 5像處理設(shè)備150經(jīng)過圖像恢復(fù)處理的圖像信號(hào)，并將圖像信號(hào)存儲(chǔ)在 存儲(chǔ)器170中，并在從存儲(chǔ)器170中再現(xiàn)該圖像時(shí)，通過圖像處理設(shè) 備150執(zhí)行圖像恢復(fù)處理。
圖34是示出了在根據(jù)圖像捕獲模式進(jìn)行圖像恢復(fù)處理時(shí)的基本 控制流程圖。
10 在捕獲時(shí)，圖像數(shù)據(jù)從第一切換單元140-1送至圖像處理設(shè)備
150。
在這種情況下，圖像捕獲模式為"捕獲"(STlll)，因此，第一濾 波器210通過第二切換單元140-2與圖像處理設(shè)備150連接，使用第 一濾波器210實(shí)施巻積運(yùn)算(ST116、 ST114)。 15 當(dāng)用戶通過操作單元190將"不進(jìn)行圖像恢復(fù)處理"選擇為預(yù)覽時(shí)
的處理(STlll、 ST112)時(shí)，圖像數(shù)據(jù)從成像元件通過第一切換單元 140-1并被直接傳送至攝像機(jī)信號(hào)處理單元160，并在其中受到預(yù)定的 處理(ST115)。
當(dāng)選擇了恢復(fù)處理時(shí)(ST112)，圖像數(shù)據(jù)從第一切換單元140-1 20送至圖像處理設(shè)備150。接著，由于圖像捕獲模式是預(yù)覽時(shí)，選擇在 捕獲運(yùn)動(dòng)圖像時(shí)使用的第二濾波器220。通過在捕獲時(shí)、預(yù)覽時(shí)和捕 獲運(yùn)動(dòng)圖像時(shí)使用具有不同大小的濾波器，來實(shí)施巻積處理(ST113、 ST114)。
其余配置與上述第一實(shí)施例相同。
25 如上所述，根據(jù)第二實(shí)施例，提供了光學(xué)系統(tǒng)110，被設(shè)計(jì)為使
圖像即使在焦點(diǎn)位置也不聚焦，但PSF (點(diǎn)擴(kuò)展函數(shù))在大致焦點(diǎn)的 位置變?yōu)閹缀鹾愣?；提供了成像元?20，其捕獲光學(xué)系統(tǒng)的圖像； 提供了圖像處理設(shè)備150，其進(jìn)行模糊恢復(fù)處理；提供了攝像機(jī)信號(hào) 處理單元160，其獲得最終圖像；提供了圖像監(jiān)視設(shè)備180，其顯示從
30攝像機(jī)信號(hào)處理單元160輸出的圖像，顯示直通圖像以便確定圖像角度和捕獲定時(shí)，并顯示捕獲的圖像；提供了第一濾波器210，其在靜 止圖像捕獲模式時(shí)用于轉(zhuǎn)換裝置的圖像恢復(fù)處理；提供了第二濾波器 220，其在捕獲運(yùn)動(dòng)圖像和/或顯示直通圖像時(shí)用于轉(zhuǎn)換裝置的圖像恢
復(fù)處理；并提供了第二切換單元140-2，其根據(jù)圖像捕獲模式選擇第 5—濾波器或第二濾波器。根據(jù)圖像捕獲模式在圖像處理設(shè)備150實(shí)施 圖像恢復(fù)處理，因此在上述第一實(shí)施例的效果之外還可以獲得以下效 果。
根據(jù)第二實(shí)施例，在捕獲時(shí)、預(yù)覽時(shí)和捕獲運(yùn)動(dòng)圖像時(shí)，圖像恢 復(fù)處理也可以實(shí)時(shí)進(jìn)行，可以獲得聚焦的恢復(fù)圖像而不使恢復(fù)的圖像 10 劣化。
進(jìn)一步，當(dāng)不需要圖像恢復(fù)處理，特別是在預(yù)覽時(shí)，例如，若選 擇了在預(yù)覽時(shí)不進(jìn)行圖像恢復(fù)處理，可以實(shí)現(xiàn)降低光學(xué)系統(tǒng)的功率消 耗。
也就是說，根據(jù)上述配置，通過在用于確定圖像角度和快門定時(shí) 15的顯示直通圖像期間進(jìn)行簡單恢復(fù)處理，可以在輸出大小僅僅足以用 于監(jiān)視器顯示的較好圖像的同時(shí)，設(shè)定高速度的幀率。在捕獲圖像時(shí)， 可以第一時(shí)間實(shí)施恢復(fù)處理，因此可以消耗一定程度的時(shí)間作為處理 時(shí)間，因此，配置低價(jià)格的恢復(fù)處理系統(tǒng)成為可能。
應(yīng)注意，通過以單個(gè)光學(xué)系統(tǒng)為例，解釋了的上述實(shí)施例，但是 20 本發(fā)明也可以應(yīng)用于具有多個(gè)光學(xué)系統(tǒng)的成像設(shè)備中。
圖35是示出了根據(jù)本發(fā)明的第三實(shí)施例的具有多個(gè)光學(xué)系統(tǒng)的 成像設(shè)備的配置框圖。
根據(jù)第三實(shí)施例的成像設(shè)備100B與根據(jù)第一實(shí)施例的成像設(shè)備 100 (圖3)的區(qū)別在于，光學(xué)單元110B具有多個(gè)(在本實(shí)施例中兩 25個(gè))光學(xué)系統(tǒng)110-1和110-2，提供了系統(tǒng)控制設(shè)備200B替代曝光控 制設(shè)備200，還提供了光學(xué)系統(tǒng)切換控制單元210B。
光學(xué)單元110B具有多個(gè)(在本實(shí)施例中兩個(gè))光學(xué)系統(tǒng)110-1 和110-2，根據(jù)光學(xué)系統(tǒng)切換控制單元210B的切換，依次為成像元件 120提供捕獲對(duì)象OBJ的圖像。 30 光學(xué)系統(tǒng)110-1和110-2具有不同的光學(xué)放大倍數(shù)，光學(xué)地獲取
成像的對(duì)象OBJ的圖像。
系統(tǒng)控制設(shè)備200B與曝光控制設(shè)備具有基本相同的功能，等待操
作單元190等的操作輸入，根據(jù)這些輸入確定整個(gè)系統(tǒng)的操作，控制光 學(xué)系統(tǒng)切換控制單元210B、AFE 130、切換單元140、圖像處理設(shè)備150、 5DSP160等，并執(zhí)行整個(gè)系統(tǒng)的調(diào)解控制。 其余部分的配置與圖3相同。
圖36是示出了用于設(shè)定系統(tǒng)控制設(shè)備200B的光學(xué)系統(tǒng)的處理的 示意流程圖。
首先，確認(rèn)(ST121)光學(xué)系統(tǒng)，并設(shè)定(ST122)內(nèi)核數(shù)據(jù)。 10 若操作單元190的操作指示了光學(xué)系統(tǒng)的切換(ST123)，則由光
學(xué)系統(tǒng)切換控制單元210B切換光學(xué)單元110B的光學(xué)系統(tǒng)的輸出，并 實(shí)施(ST124)步驟ST121的處理。
根據(jù)圖35的實(shí)施例，除上述圖3的成像設(shè)備的效果之外，可以獲 得以下效果。
15 也就是說，圖35的成像設(shè)備包括形成第一級(jí)圖像的具有不同放大
倍數(shù)的多個(gè)光學(xué)系統(tǒng)110-1和110-2的光學(xué)單元IIOB、成像元件120 及將第一級(jí)圖像形成為高清晰度的最終圖像的圖像處理設(shè)備150。在 圖像處理設(shè)備150中，通過使圖像處理設(shè)備150的巻積運(yùn)算時(shí)使用的 內(nèi)核大小和用于數(shù)值處理的系數(shù)可以根據(jù)光學(xué)系統(tǒng)的放大倍數(shù)而變化
20 通過操作單元190等的輸入獲知光學(xué)系統(tǒng)的放大倍數(shù)，并根據(jù)光學(xué)系 統(tǒng)的放大倍數(shù)或上述系數(shù)與合適的內(nèi)核大小相聯(lián)系，優(yōu)點(diǎn)在于，設(shè)計(jì) 鏡頭時(shí)可以不必?fù)?dān)心放大倍數(shù)和散焦范圍，使通過高精度巻積的圖像 恢復(fù)成為可能。
進(jìn)一步，優(yōu)點(diǎn)在于，可以在不需要具有高難度、昂貴成本和大尺 25寸的光學(xué)鏡頭且不需要驅(qū)動(dòng)鏡頭的情況下，獲得所謂的自然圖像，其 中要捕獲的圖像在焦點(diǎn)上，但背景是模糊的。
此外，根據(jù)第三實(shí)施例的成像設(shè)備100B可以用于數(shù)字?jǐn)z像機(jī)、 可攜式攝像機(jī)或其他消費(fèi)電子設(shè)備中的變焦鏡頭的DEOS，所述變焦 鏡頭的設(shè)計(jì)考慮了小尺寸、輕重量和成本。 30 圖37是示出了根據(jù)本發(fā)明的第四實(shí)施例的具有多個(gè)光學(xué)系統(tǒng)的 成像設(shè)備的配置框圖。
根據(jù)第四實(shí)施例的成像設(shè)備100C與根據(jù)第二實(shí)施例的成像設(shè)備
100 (圖33)的區(qū)別在于，光學(xué)單元IIOC具有多個(gè)(在本實(shí)施例中兩 個(gè))光學(xué)系統(tǒng)110-1和110-2，提供了系統(tǒng)控制設(shè)備200C替代曝光控 5制設(shè)備200，還提供了光學(xué)系統(tǒng)切換控制單元210C。
光學(xué)單元HOC具有多個(gè)(在本實(shí)施例中兩個(gè))光學(xué)系統(tǒng)110-1 和110-2，根據(jù)光學(xué)系統(tǒng)切換控制單元210C的切換，依次為成像元件 120提供捕獲對(duì)象OBJ的圖像。
光學(xué)系統(tǒng)110-1和110-2具有不同的光學(xué)放大倍數(shù)，光學(xué)地獲取 10 成像的對(duì)象OBJ的圖像。
系統(tǒng)控制設(shè)備200C與曝光控制設(shè)備具有基本相同的功能，等待操 作單元190等的操作輸入，根據(jù)這些輸入確定整個(gè)系統(tǒng)的操作，控制光 學(xué)系統(tǒng)切換控制單元210C、AFE 130、切換單元140、圖像處理設(shè)備150、
DSP160等，并執(zhí)行整個(gè)系統(tǒng)的調(diào)解控制。 15 其余部分的配置與圖33相同。
應(yīng)注意，用于設(shè)定系統(tǒng)控制設(shè)備200C的光學(xué)系統(tǒng)的處理與圖36 所示的流程圖大體相同，因此此處略去其解釋。
根據(jù)圖37的實(shí)施例，除上述圖33的成像設(shè)備的效果之外，可以
獲得以下效果。
20 也就是說，圖37的成像設(shè)備包括形成第一級(jí)圖像的具有不同放大
倍數(shù)的多個(gè)光學(xué)系統(tǒng)110-1和110-2的光學(xué)單元IIOC、成像元件120 及將第一級(jí)圖像形成為高清晰度的最終圖像的圖像處理設(shè)備150。在 圖像處理設(shè)備150中，通過使圖像處理設(shè)備150的巻積運(yùn)算時(shí)使用的 內(nèi)核大小和用于數(shù)值處理的系數(shù)可以根據(jù)光學(xué)系統(tǒng)的放大倍數(shù)而變
25化，由操作單元190等的輸入獲知光學(xué)系統(tǒng)的放大倍數(shù)，并根據(jù)光學(xué)
系統(tǒng)的放大倍數(shù)或上述系數(shù)與合適的內(nèi)核大小相聯(lián)系，優(yōu)點(diǎn)在于，設(shè) 計(jì)鏡頭時(shí)可以不必?fù)?dān)心放大倍數(shù)和散焦范圍，使通過高精度巻積的圖 像恢復(fù)成為可能。
進(jìn)一步，優(yōu)點(diǎn)在于，可以在不需要具有高難度、昂貴成本和大尺 30寸的光學(xué)鏡頭且不需要驅(qū)動(dòng)鏡頭的情況下，獲得所謂的自然圖像，其
中要捕獲的圖像在焦點(diǎn)上，但背景是模糊的。
此外，根據(jù)第三實(shí)施例的成像設(shè)備100C可以用于數(shù)字?jǐn)z像機(jī)、
可攜式攝像機(jī)或其他消費(fèi)電子設(shè)備中的變焦鏡頭的DEOS，所述變焦
鏡頭的設(shè)計(jì)考慮了小尺寸、輕重量和成本。
5 工業(yè)實(shí)用性
根據(jù)本發(fā)明，在保持高幀率的同時(shí)簡化了光學(xué)系統(tǒng)，但不需要昂 貴的模糊恢復(fù)處理硬件，因此降低了成本，此外，可以獲得帶有很少 噪聲影響的恢復(fù)圖像，因此，本發(fā)明可以應(yīng)用于數(shù)字?jǐn)z像機(jī)、安裝在
移動(dòng)電話上的攝像機(jī)、安裝在個(gè)人數(shù)字助理上的攝像機(jī)、圖像檢査設(shè)
10備、用于自動(dòng)控制的工業(yè)攝像機(jī)等等。
權(quán)利要求
1.一種成像設(shè)備，包括光學(xué)系統(tǒng)，形成為使焦點(diǎn)的模糊量在焦點(diǎn)位置以及在焦點(diǎn)之前和之后的距離處基本恒定，成像元件，用于捕獲通過所述光學(xué)系統(tǒng)的對(duì)象圖像，轉(zhuǎn)換裝置，用于校正來自所述成像元件的圖像的焦點(diǎn)的模糊，并產(chǎn)生恢復(fù)的圖像信號(hào)，信號(hào)處理裝置，用于對(duì)所述圖像信號(hào)進(jìn)行預(yù)定的圖像處理，切換裝置，用于選擇性地將來自所述成像元件的圖像信號(hào)或來自所述轉(zhuǎn)換裝置的圖像信號(hào)輸入至所述信號(hào)處理裝置，存儲(chǔ)裝置，用于存儲(chǔ)所述信號(hào)處理裝置已處理的圖像，觸發(fā)信號(hào)產(chǎn)生裝置，用于產(chǎn)生對(duì)圖像存儲(chǔ)進(jìn)行指示的觸發(fā)信號(hào)，圖像監(jiān)視裝置，用于顯示所述信號(hào)處理裝置已處理的圖像，以及控制裝置，用于在顯示直通圖像期間將來自所述成像元件的圖像信號(hào)通過所述切換裝置輸入至所述信號(hào)處理裝置，并在接收到來自所述觸發(fā)信號(hào)產(chǎn)生裝置的觸發(fā)信號(hào)時(shí)將來自所述轉(zhuǎn)換裝置的圖像信號(hào)輸入至所述信號(hào)處理裝置。
2.如權(quán)利要求1所述的成像設(shè)備，其中，使用所述圖像監(jiān)視裝置的分辨率作為上限來設(shè)定焦點(diǎn)的模糊量。
3. 如權(quán)利要求1所述的成像設(shè)備，其中，所述圖像監(jiān)視裝置的分 辨率被設(shè)定為不大于所述圖像監(jiān)視裝置的像素間距的2倍。
4. 如權(quán)利要求1所述的成像設(shè)備，其中，所述控制裝置通過所述 25轉(zhuǎn)換裝置恢復(fù)通過接收所述觸發(fā)信號(hào)而捕獲的圖像，接著在所述信號(hào)處理裝置處理所述圖像之后使所述圖像監(jiān)視裝置顯示所述圖像。
5. 如權(quán)利要求1所述的成像設(shè)備，其中，在顯示所述直通圖像期 間，所述控制裝置使所述成像元件輸出具有所述圖像監(jiān)視裝置的分辨 率所要求的足夠的分辨率的圖像。30
6. —種成像設(shè)備，包括 光學(xué)系統(tǒng)，形成為使焦點(diǎn)的模糊量在焦點(diǎn)位置以及在焦點(diǎn)之前和 之后的距離處基本恒定，成像元件，用于捕獲通過所述光學(xué)系統(tǒng)的對(duì)象圖像，轉(zhuǎn)換裝置，用于校正來自所述成像元件的圖像的焦點(diǎn)的模糊，并 5 產(chǎn)生恢復(fù)的圖像信號(hào)，第一濾波器，用于在靜止圖像捕獲模式時(shí)的所述轉(zhuǎn)換裝置的圖像 恢復(fù)處理，第二濾波器，用于在至少運(yùn)動(dòng)圖像捕獲模式時(shí)的所述轉(zhuǎn)換裝置的 圖像恢復(fù)處理， 其中所述轉(zhuǎn)換裝置根據(jù)捕獲模式選擇至少第一濾波器或第二濾波 器并進(jìn)行圖像恢復(fù)處理。
7. 如權(quán)利要求6所述的成像設(shè)備，其中，所述設(shè)備具有 信號(hào)處理裝置，用于對(duì)圖像信號(hào)進(jìn)行預(yù)定的圖像處理，以及 圖像監(jiān)視裝置，用于顯示所述信號(hào)處理裝置已處理的圖像， 其中第二濾波器用于在運(yùn)動(dòng)圖像捕獲模式時(shí)或顯示直通圖像時(shí)的 所述轉(zhuǎn)換裝置的圖像恢復(fù)處理，以及所述轉(zhuǎn)換裝置根據(jù)捕獲模式或根據(jù)是/否顯示直通圖像來選擇第 一濾波器或第二濾波器并進(jìn)行圖像恢復(fù)處理。
8. 如權(quán)利要求7所述的成像設(shè)備，其中，所述轉(zhuǎn)換裝置根據(jù)所述 20圖像監(jiān)視裝置的分辨率，使用第二濾波器進(jìn)行簡單恢復(fù)處理。
9. 如權(quán)利要求8所述的成像設(shè)備，其中，第二濾波器包括使用采 樣點(diǎn)擴(kuò)展函數(shù)PSF的圖像恢復(fù)濾波器。
10. 如權(quán)利要求6所述的成像設(shè)備，其中，第二濾波器具有帶寬 增強(qiáng)功能。
11.如權(quán)利要求6所述的成像設(shè)備，其中，第二濾波器的大小小于第一濾波器的大小。
12.如權(quán)利要求7所述的成像設(shè)備，其中，所述設(shè)備具有設(shè)定裝置，其能夠設(shè)定在捕獲運(yùn)動(dòng)圖像時(shí)和顯示直通圖像時(shí)是/否使用第二濾波器執(zhí)行圖像恢復(fù)處理。
13.如權(quán)利要求7所述的成像設(shè)備，其中，所述設(shè)備還具有 觸發(fā)信號(hào)產(chǎn)生裝置，用于產(chǎn)生觸發(fā)信號(hào)，以及控制裝置，用于在顯示直通圖像期間將經(jīng)過所述轉(zhuǎn)換裝置中的第 二濾波器的圖像恢復(fù)處理的圖像信號(hào)輸入至所述信號(hào)處理裝置，并在 接收到來自所述觸發(fā)信號(hào)產(chǎn)生裝置的觸發(fā)信號(hào)時(shí)，將經(jīng)過所述轉(zhuǎn)換裝 5 置中的第一濾波器的圖像恢復(fù)處理的圖像信號(hào)輸入至所述信號(hào)處理裝 置。
14. 如權(quán)利要求13所述的成像設(shè)備，其中，所述設(shè)備具有用于存 儲(chǔ)圖像的存儲(chǔ)裝置，在捕獲運(yùn)動(dòng)圖像時(shí)，所述控制裝置將經(jīng)過第二濾波器的圖像恢復(fù) 10處理的圖像信號(hào)輸入至所述信號(hào)處理裝置，以顯示直通圖像，以及在 所述存儲(chǔ)裝置中存儲(chǔ)圖像時(shí)，所述控制裝置通過所述轉(zhuǎn)換裝置中的第 一濾波器執(zhí)行圖像恢復(fù)處理。
15. 如權(quán)利要求13所述的成像設(shè)備，其中，所述設(shè)備具有用于存 儲(chǔ)圖像的存儲(chǔ)裝置，在捕獲運(yùn)動(dòng)圖像時(shí)，所述控制裝置將經(jīng)過第二濾波器的圖像恢復(fù)處理的圖像信號(hào)輸入至所述信號(hào)處理裝置，并在所述存儲(chǔ)裝置中存儲(chǔ) 該圖像信號(hào)。
16. 如權(quán)利要求7所述的成像設(shè)備，其中，所述設(shè)備還具有 切換裝置，用于選擇性地將來自所述成像元件的圖像信號(hào)或來自 所述轉(zhuǎn)換裝置的圖像信號(hào)輸入至所述信號(hào)處理裝置， 觸發(fā)信號(hào)產(chǎn)生裝置，用于產(chǎn)生觸發(fā)信號(hào)，以及 控制裝置，用于在顯示直通圖像期間將來自所述成像元件的圖像 信號(hào)通過所述切換裝置輸入至所述信號(hào)處理裝置，并在接收到來自所 述觸發(fā)信號(hào)產(chǎn)生裝置的觸發(fā)信號(hào)時(shí)，將來自所述轉(zhuǎn)換裝置的圖像信號(hào) 25 輸入至所述信號(hào)處理裝置。
17. 如權(quán)利要求16所述的成像設(shè)備，其中，所述設(shè)備具有用于存儲(chǔ)圖像的存儲(chǔ)裝置，在捕獲運(yùn)動(dòng)圖像時(shí)，所述控制裝置將來自所述成像元件的未經(jīng)過 圖像恢復(fù)處理的圖像信號(hào)輸入至所述圖像處理裝置用于顯示直通圖 30像，以及在所述存儲(chǔ)裝置中存儲(chǔ)圖像時(shí)，所述控制裝置通過所述轉(zhuǎn)換 裝置執(zhí)行圖像恢復(fù)處理。
18. 如權(quán)利要求16所述的成像設(shè)備，其中，所述設(shè)備具有用于存 儲(chǔ)圖像的存儲(chǔ)裝置，在捕獲運(yùn)動(dòng)圖像時(shí)，所述控制裝置將來自所述成像元件的未經(jīng)過 5圖像恢復(fù)處理的圖像信號(hào)輸入至所述圖像處理裝置，并在所述存儲(chǔ)裝 置中存儲(chǔ)未經(jīng)過圖像恢復(fù)處理的圖像，以及在從所述存儲(chǔ)裝置再現(xiàn)圖 像時(shí)，所述控制裝置通過所述轉(zhuǎn)換裝置執(zhí)行圖像恢復(fù)處理。
19. 如權(quán)利要求7所述的成像設(shè)備，其中，使用所述圖像監(jiān)視裝置的分辨率作為上限來設(shè)定焦點(diǎn)的模糊量。 10
20.如權(quán)利要求7所述的成像設(shè)備，其中，所述圖像監(jiān)視裝置的分辨率不大于所述圖像監(jiān)視裝置的像素間距 的2倍。
21. 如權(quán)利要求13所述的成像設(shè)備，其中，所述控制裝置通過所 述轉(zhuǎn)換裝置恢復(fù)通過接收觸發(fā)信號(hào)而捕捉的靜止圖像，接著在所述信 號(hào)處理裝置處理之后使所述圖像監(jiān)視裝置顯示所述圖像。
22. 如權(quán)利要求13所述的成像設(shè)備，其中，在顯示直通圖像期間， 所述控制裝置使所述成像元件輸出具有所述圖像監(jiān)視裝置的分辨率所 要求的足夠的分辨率的圖像。
23. —種成像方法，包括以下步驟 通過成像元件捕獲通過光學(xué)系統(tǒng)的對(duì)象圖像，所述光學(xué)系統(tǒng)形成為使焦點(diǎn)的模糊量在焦點(diǎn)位置以及在焦點(diǎn)之前和之后的距離處基本恒 定，在顯示直通圖像期間對(duì)來自所述成像元件的圖像信號(hào)進(jìn)行預(yù)定的 圖像處理，以及 在接收到指示圖像存儲(chǔ)的觸發(fā)信號(hào)時(shí)，校正來自所述成像元件的圖像的焦點(diǎn)的模糊以恢復(fù)圖像信號(hào)，并對(duì)恢復(fù)的圖像信號(hào)進(jìn)行預(yù)定的 圖像處理。
24. —種成像方法，包括以下步驟通過成像元件捕獲通過光學(xué)系統(tǒng)的對(duì)象圖像，所述光學(xué)系統(tǒng)形成 為使焦點(diǎn)的模糊量在焦點(diǎn)位置以及在焦點(diǎn)之前和之后的距離處基本恒 在顯示直通圖像期間對(duì)來自所述成像元件的圖像信號(hào)進(jìn)行預(yù)定的 圖像處理，以及校正來自所述成像元件的圖像的焦點(diǎn)的模糊以恢復(fù)圖像信號(hào)，并 5 對(duì)恢復(fù)的圖像信號(hào)進(jìn)行預(yù)定的圖像處理，其中，在靜止圖像捕獲模式時(shí)使用第一濾波器進(jìn)行圖像恢復(fù)處理，以及在運(yùn)動(dòng)圖像捕獲模式時(shí)或顯示直通圖像時(shí)使用第二濾波器進(jìn)行圖 像恢復(fù)處理，第二濾波器的大小與第一濾波器的大小不同。
全文摘要
一種成像設(shè)備，能夠在保持高幀率的同時(shí)簡化光學(xué)系統(tǒng)，而不需要昂貴的模糊恢復(fù)處理硬件，能夠降低成本，此外，可以獲得帶有很小噪聲影響的恢復(fù)圖像，以及一種這樣的成像方法，所述方法在直通圖像時(shí)通過切換單元(140)繞過圖像處理設(shè)備(150)的模糊恢復(fù)處理，以進(jìn)行攝像機(jī)信號(hào)處理單元(160)的攝像機(jī)信號(hào)處理，而只在捕捉圖像時(shí)，在圖像處理設(shè)備(150)進(jìn)行模糊恢復(fù)處理，接著在攝像機(jī)信號(hào)處理單元(160)進(jìn)行攝像機(jī)信號(hào)處理，以顯示圖像。
文檔編號(hào)H04N5/232GK101366270SQ20068005201
公開日2009年2月11日 申請(qǐng)日期2006年11月29日 優(yōu)先權(quán)日2005年11月29日
發(fā)明者宮內(nèi)洋一, 村瀨成康, 林佑介 申請(qǐng)人:京瓷株式會(huì)社