本發(fā)明涉及一種圖像處理裝置、圖像處理方法、程序及記錄介質(zhì)，尤其涉及一種圖像濾波處理。

背景技術(shù)：

提出有用于改善畫質(zhì)的濾波處理或用于賦予特殊的視覺效果的濾波處理等各種圖像濾波處理技術(shù)。已知有使用濾波器來復(fù)原原來的圖像的點(diǎn)像復(fù)原處理，所述濾波器是根據(jù)表示例如由攝影透鏡的像差等引起的像劣化特性的點(diǎn)擴(kuò)散函數(shù)(點(diǎn)像分布函數(shù)(PSF：Point Spread Function))而確定的。

專利文獻(xiàn)1公開一種進(jìn)行振幅成分及相位成分的恢復(fù)處理的圖像處理方法。根據(jù)該圖像處理方法，設(shè)定用于調(diào)整恢復(fù)處理中的恢復(fù)程度的恢復(fù)強(qiáng)度調(diào)整系數(shù)，相位成分狀態(tài)相同而振幅成分狀態(tài)不同的第1圖像與第2圖像的差分信息根據(jù)恢復(fù)強(qiáng)度調(diào)整系數(shù)而與第2圖像合成，從而調(diào)整恢復(fù)程度和產(chǎn)生弊端的風(fēng)險。在該恢復(fù)處理中所使用的圖像恢復(fù)濾波器存儲于存儲部，但實際存儲于存儲部的圖像恢復(fù)濾波器在以焦點(diǎn)距離(狀態(tài)A)、光圈值(狀態(tài)B)及被攝體距離(狀態(tài)C)這3個成像狀態(tài)作為軸線的成像狀態(tài)空間離散地配置。

以往技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：日本特開2011-124692號公報

非專利文獻(xiàn)

非專利文獻(xiàn)1：J.A.Fessler and A.O.Hero，“Space-Alternating Generalized Expectation-Maximization Algorithm，”IEEETransactions on Signal Processing，Vol.17，No.10，pp.2664-2677，1994.

非專利文獻(xiàn)2：B.H.Fleury，M.Tschudin，R.Heddergott，D.Dahlhaus，and K.I.Pedersen，“Channel Parameter Estimation in Mobile Radio Environments Using the SAGE Algotithm，”IEEE J.Selected Areas in Communications，Vol.17，No.3，pp.434-449，Mar.1999.

非專利文獻(xiàn)3：Y.Pati，R.Rezaiifar，P.Krishnaprasad，“Orthogonal Matching Pursuit：recursive function approximation with application to wavelet decomposition”，in Asilomar Conf.on Signals，Systems and Comput.，1993.

技術(shù)實現(xiàn)要素：

發(fā)明要解決的技術(shù)課題

若通過如上述的圖像濾波處理所使用的濾波器的種類及數(shù)量增加，則濾波器整體的數(shù)據(jù)量顯著地增大，需要確保龐大的存儲區(qū)域(ROM：Read Only Memory)。

即，通過圖像濾波處理所使用的濾波器根據(jù)多個條件而被確定時，必要的濾波器的數(shù)據(jù)量以指數(shù)函數(shù)的比例增加。例如攝影光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)根據(jù)光圈值(F值)、變焦值(焦點(diǎn)距離)、被攝體距離、聚焦位置、光學(xué)系統(tǒng)類型、成像元件的傳感器SN比(Signal-Noise ratio)、像高(圖像內(nèi)位置)及光學(xué)系統(tǒng)個體差等攝影條件而發(fā)生變化。然而，若對于各攝影條件的所有組合準(zhǔn)備特有的濾波器，則這些濾波器所需的整個數(shù)據(jù)量變得龐大。

并且，考慮到特定的各向異性或頻率特性的圖像濾波處理中，導(dǎo)致所需的濾波器的圖形數(shù)量增加。進(jìn)而根據(jù)像素位置改變所使用的濾波器(濾波器系數(shù))時，濾波器的數(shù)據(jù)量根據(jù)處理對象的圖像的像素數(shù)而增加。

理想的是，優(yōu)選預(yù)先準(zhǔn)備與所有條件的組合相關(guān)的濾波器并存儲于存儲器。然而，由于需要確保龐大的存儲容量，并且需要準(zhǔn)備昂貴的存儲器，因此從實際構(gòu)建圖像處理系統(tǒng)的觀點(diǎn)考慮，預(yù)先準(zhǔn)備并存儲對應(yīng)于所有條件的濾波器并不一定優(yōu)選。

專利文獻(xiàn)1所記載的圖像處理方法中，通過存儲關(guān)于焦點(diǎn)距離、光圈值及被攝體距離的每一個離散地求出的圖像恢復(fù)濾波器來減少存儲數(shù)據(jù)量。根據(jù)該圖像處理方法，計算實際的成像狀態(tài)與存儲有圖像恢復(fù)濾波器的多個成像狀態(tài)之間的成像狀態(tài)空間內(nèi)的距離(狀態(tài)差異)量，并選擇距離最短的位置的圖像恢復(fù)濾波器而在恢復(fù)處理中使用。或者將“實際的成像狀態(tài)與存儲有圖像恢復(fù)濾波器的多個成像狀態(tài)之間的成像狀態(tài)空間內(nèi)的距離”與“進(jìn)行了加權(quán)的方向”的乘積作為評價函數(shù)，選擇該評價函數(shù)的值最高的圖像濾波器而在在恢復(fù)處理中使用。或者在濾波處理中使用通過插值處理等進(jìn)行校正的圖像恢復(fù)濾波器。

在該專利文獻(xiàn)1的圖像處理方法中，越是減少預(yù)先存儲的圖像恢復(fù)濾波器，越能夠降低所需的存儲容量，但實際所使用的圖像恢復(fù)濾波器不充分對應(yīng)于實際的成像狀態(tài)的可能性增大。即對應(yīng)于實際的成像狀態(tài)的圖像恢復(fù)濾波器未存儲于存儲部時，可替代地使用對應(yīng)于其他成像狀態(tài)的圖像恢復(fù)濾波器，或者使用從其他成像狀態(tài)推測而被校正的圖像恢復(fù)濾波器。因此，越是減少預(yù)先存儲于存儲部的圖像恢復(fù)濾波器，替代地使用的圖像恢復(fù)濾波器與實際的成像狀態(tài)的差異變大的可能性增大，并且圖像恢復(fù)濾波器的推測精度及校正精度變差。

并且，在使用多個濾波器的圖像濾波處理中，存在用于確定濾波器系數(shù)的計算量增大的問題。例如，以抽頭數(shù)量受限制的FIR(Finite Impulse Response)濾波器來實現(xiàn)圖像濾波處理所使用的濾波器時，分配到各抽頭的濾波器系數(shù)的運(yùn)算所需的計算量增加。

例如，在根據(jù)點(diǎn)擴(kuò)散函數(shù)生成濾波器的情況下，能夠由將點(diǎn)擴(kuò)散函數(shù)(PSF)進(jìn)行博立葉變換而獲得的光學(xué)傳遞函數(shù)(OTF：Optical Transfer Function)計算維納(Wiener)濾波器。當(dāng)濾波器的抽頭數(shù)量沒有限制時，能夠通過具有任意的抽頭數(shù)量的濾波器實現(xiàn)通過將該維納濾波器進(jìn)行博立葉逆變換而獲得的所希望的頻率特性。

然而，若實際可使用的硬件受限制，則濾波器的抽頭數(shù)量也受限制。并且，在濾波器的抽頭數(shù)量受限制的條件下，計算具有所希望的頻率特性的抽頭系數(shù)時，需要解決非線性優(yōu)化問題，因此需要非常多的計算量。

因此，在獲取點(diǎn)擴(kuò)散函數(shù)等的像劣化特性之后立即進(jìn)行圖像濾波處理時，為了計算實際所使用的抽頭系數(shù)而需要確保大量的計算資源。然而，從實際構(gòu)建圖像處理系統(tǒng)的觀點(diǎn)考慮，事先確保這種計算資源并不一定優(yōu)選。

本發(fā)明是鑒于上述情況而完成的，其目的在于提供一種能夠兼顧高精度的濾波處理和所需的存儲容量的降低化的圖像處理方法。

用于解決技術(shù)課題的手段

本發(fā)明的一形態(tài)涉及一種圖像處理裝置，其具備濾波處理部，所述濾波處理部通過對原圖像數(shù)據(jù)進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)，濾波處理部在多次濾波處理的每一次處理中，對處理對象數(shù)據(jù)應(yīng)用濾波器而獲取濾波器應(yīng)用處理數(shù)據(jù)，并對濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益而獲取增益應(yīng)用處理數(shù)據(jù)，且由增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益基于根據(jù)光學(xué)特性而確定的圖像濾波處理的作為目標(biāo)的頻率特性而獲取，所述光學(xué)特性為獲取原圖像數(shù)據(jù)時所使用的光學(xué)系統(tǒng)的光學(xué)特性，且為與獲取原圖像數(shù)據(jù)時的攝影條件相對應(yīng)的光學(xué)特性。

根據(jù)本形態(tài)，多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益根據(jù)圖像濾波處理的作為目標(biāo)的頻率特性來獲取，該作為目標(biāo)的頻率特性根據(jù)獲取原圖像數(shù)據(jù)時所使用的光學(xué)系統(tǒng)的光學(xué)特性即與獲取原圖像數(shù)據(jù)時的攝影條件相對應(yīng)的光學(xué)特性而確定。通過以這樣的方式進(jìn)行增益調(diào)整，可減少各濾波處理中應(yīng)用于處理對象數(shù)據(jù)的濾波器的數(shù)據(jù)量，同時可進(jìn)行與攝影條件相應(yīng)的高精度的濾波處理。

另外，“頻率特性”為與頻率相關(guān)的特性，且表示處理后的圖像數(shù)據(jù)的每頻率成分的振幅與處理前的圖像數(shù)據(jù)的每頻率成分的振幅的比(＝處理后的圖像數(shù)據(jù)的每頻率成分的振幅/處理前的圖像數(shù)據(jù)的每頻率成分的振幅)，并表示與頻率對應(yīng)的響應(yīng)。

并且，關(guān)于“光學(xué)特性”，例如，能夠?qū)⒒邳c(diǎn)擴(kuò)散函數(shù)PSF或光學(xué)傳遞函數(shù)OTF(包括MTF：Modulation Transfer Function及PTF：Phase Transfer Function)的特性設(shè)為“光學(xué)特性”，并且可通過使用利用了維納濾波器等的任意的設(shè)計基準(zhǔn)的反向濾波器(inverse filter)設(shè)計方法來表示“圖像濾波處理的作為目標(biāo)的頻率特性”。

優(yōu)選的是，圖像處理裝置還具備增益候補(bǔ)數(shù)據(jù)存儲部及增益確定部，所述增益候補(bǔ)數(shù)據(jù)存儲部存儲將在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益的候補(bǔ)數(shù)據(jù)與攝影條件建立對應(yīng)關(guān)聯(lián)的增益表信息，所述增益確定部參考增益表信息將與獲取原圖像數(shù)據(jù)時的攝影條件建立對應(yīng)關(guān)聯(lián)的候補(bǔ)數(shù)據(jù)作為在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益而確定，濾波處理部在多次濾波處理的每一次處理中將增益確定部所確定的增益應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)來獲取增益應(yīng)用處理數(shù)據(jù)。

根據(jù)本形態(tài)，能夠從增益的候補(bǔ)數(shù)據(jù)中簡單地確定應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益。

另外，“增益表信息”的形式只要是將增益的候補(bǔ)數(shù)據(jù)與攝影條件適當(dāng)?shù)亟㈥P(guān)聯(lián)的形式，則并無特別限定。增益表信息只要是例如將確定光學(xué)系統(tǒng)的信息(光學(xué)系統(tǒng)的種類信息等)及攝影條件與增益的候補(bǔ)數(shù)據(jù)直接或間接地建立關(guān)聯(lián)的信息即可。

優(yōu)選濾波器根據(jù)光學(xué)系統(tǒng)的光學(xué)特性而確定。

根據(jù)本形態(tài)，能夠根據(jù)光學(xué)系統(tǒng)的光學(xué)特性高精度地進(jìn)行濾波處理。

優(yōu)選濾波器根據(jù)代表性攝影條件中的光學(xué)系統(tǒng)的光學(xué)特性而確定。

根據(jù)本形態(tài)，能夠非常高精度地進(jìn)行在代表性攝影條件下獲取的原圖像數(shù)據(jù)的濾波處理。

在此所說的“代表性攝影條件”并沒有特別限定，可根據(jù)任意的觀點(diǎn)來確定。例如，從獲取原圖像數(shù)據(jù)時可采用的攝影條件中，可將關(guān)于各條件離散地選擇的攝影條件設(shè)為代表性攝影條件，也可將根據(jù)預(yù)測的采用頻率而選擇的攝影條件設(shè)為代表性攝影條件。

優(yōu)選的是，代表性攝影條件包含多個攝影條件，該多個攝影條件為第1指標(biāo)條件不同的多個攝影條件，且為基于在拍攝原圖像數(shù)據(jù)時可采用的多個第1指標(biāo)條件中不連續(xù)的第1指標(biāo)條件的多個攝影條件。

根據(jù)本形態(tài)，根據(jù)從拍攝原圖像數(shù)據(jù)時可采用的多個第1指標(biāo)條件中間斷地選擇的第1指標(biāo)條件來確定代表性攝影條件。

在此所說的“第1指標(biāo)條件”為構(gòu)成代表性攝影條件的一個因素，且為拍攝原圖像數(shù)據(jù)時可變動的條件。例如，當(dāng)根據(jù)點(diǎn)擴(kuò)散函數(shù)確定圖像濾波處理的作為目標(biāo)的頻率特性時，作為第1指標(biāo)條件，可采用選自光圈值(F值)、變焦值(焦點(diǎn)距離)、被攝體距離、聚焦位置、光學(xué)系統(tǒng)類別、成像元件的傳感器SN比、像高(圖像內(nèi)位置)及光學(xué)系統(tǒng)個體差等攝影條件中的一個條件數(shù)據(jù)。

優(yōu)選光學(xué)特性為基于點(diǎn)擴(kuò)散函數(shù)的光學(xué)特性。

根據(jù)本形態(tài)，能夠高精度地進(jìn)行基于點(diǎn)擴(kuò)散函數(shù)的圖像濾波處理。

優(yōu)選的是，增益通過對圖像濾波處理的作為目標(biāo)的頻率特性根據(jù)多次濾波處理的各頻率特性以最小二乘法來擬合圖像濾波處理的頻率特性而獲取。

根據(jù)本形態(tài)，能夠根據(jù)最小二乘法高精度地獲取用于實現(xiàn)圖像濾波處理的作為目標(biāo)的頻率特性的增益。

優(yōu)選在最小二乘法中根據(jù)頻率進(jìn)行加權(quán)。

尤其，優(yōu)選在最小二乘法中頻率特性的近似誤差評價函數(shù)根據(jù)頻率進(jìn)行加權(quán)。在此所說的近似誤差評價函數(shù)為表示近似程度(即誤差程度)的評價的函數(shù)，例如能夠使用后述的“基于加權(quán)最小二乘準(zhǔn)則的類函數(shù)(J_LMS[g])”作為近似誤差評價函數(shù)。根據(jù)本形態(tài)，通過增加受到重視的頻帶的權(quán)重，并減小未受到重視的頻帶的權(quán)重，從而能夠高精度地獲取對應(yīng)于實際要求的增益。

優(yōu)選在最小二乘法中將低頻帶中的加權(quán)設(shè)定為大于高頻帶中的加權(quán)。

根據(jù)本形態(tài)，能夠獲取高精度地實現(xiàn)圖像濾波處理的作為目標(biāo)的頻率特性中尤其低頻帶中的頻率特性的增益。在人類的視覺特性方面，低頻成分比高頻成分更容易被感知，因此增大低頻帶的加權(quán)來獲取增益，從而能夠通過圖像濾波處理生成可見性優(yōu)異的處理圖像數(shù)據(jù)。

在此所說的“低頻帶”優(yōu)選根據(jù)實際所要求的畫質(zhì)特性而確定，例如，能夠在采樣頻率的1/4(＝0.25fs＝奈奎斯特頻率的1/2)以下的范圍內(nèi)設(shè)定“低頻帶”。

優(yōu)選在最小二乘法中根據(jù)獲取原圖像數(shù)據(jù)時的攝影條件將高頻帶中的加權(quán)設(shè)定為大于低頻帶中的加權(quán)。

根據(jù)本形態(tài)，根據(jù)獲取原圖像數(shù)據(jù)時的攝影條件，能夠獲取高精度地實現(xiàn)圖像濾波處理的作為目標(biāo)的頻率特性中尤其高頻帶中的頻率特性的增益。通常，高頻帶中的MTF劣化較大而攝像系統(tǒng)的噪聲較多時，有時噪聲因圖像濾波處理而被放大且畫質(zhì)惡化。因此在預(yù)計高頻帶中SN比較差的攝影條件下所獲取的原圖像數(shù)據(jù)的圖像濾波處理中，有時優(yōu)選作為“近似于圖像濾波處理的作為目標(biāo)的頻率特性”的精度，使高頻成分優(yōu)先于低頻成分。

在此所說的“高頻帶”優(yōu)選根據(jù)實際要求的畫質(zhì)特性來確定，并能夠根據(jù)所設(shè)想的噪聲的頻率特性，例如在大于采樣頻率的1/4(＝0.25fs)且1/2(＝0.5fs)以下的范圍內(nèi)設(shè)定“高頻帶”。

并且，“獲取原圖像數(shù)據(jù)時的攝影條件”根據(jù)可影響噪聲的任意因素來確定。例如，可將選自獲取原圖像數(shù)據(jù)時所使用的攝影光學(xué)系統(tǒng)的設(shè)定條件或被攝體本身的狀態(tài)條件(場景條件)等中的1個或多個條件設(shè)為“獲取原圖像數(shù)據(jù)時的攝影條件”。

優(yōu)選最小二乘法中的加權(quán)根據(jù)原圖像數(shù)據(jù)中的像素位置來確定。

根據(jù)本形態(tài)，能夠根據(jù)原圖像數(shù)據(jù)中的像素位置來改變最小二乘法中的加權(quán)，并能夠進(jìn)行與像素位置相應(yīng)的圖像濾波處理。例如在要求清晰的畫質(zhì)的像素位置中可將高頻帶的加權(quán)設(shè)為大于低頻帶的加權(quán)，在要求可見性優(yōu)異的畫質(zhì)的像素位置中可將低頻帶的加權(quán)設(shè)為大于高頻帶的加權(quán)。

優(yōu)選的是，在最小二乘法中，距在原圖像數(shù)據(jù)的距離圖像中心為第1距離以下的像素位置，高頻帶中的加權(quán)大于原圖像數(shù)據(jù)的距離圖像中心比第1距離遠(yuǎn)的像素位置。

根據(jù)本形態(tài)，能夠獲取與圖像周邊部相比在圖像中央部中高頻成分的再現(xiàn)性優(yōu)異的增益。本形態(tài)可適當(dāng)?shù)貞?yīng)用于例如在圖像中央部配置主要被攝體的情況等，在圖像中央部要求清晰度的情況。

在此所說的“第1距離”并無特別限定，可根據(jù)重視高頻帶的圖像范圍而適當(dāng)?shù)卦O(shè)定。

優(yōu)選的是，在最小二乘法中，在原圖像數(shù)據(jù)的距離圖像中心比第2距離更遠(yuǎn)的像素位置，低頻帶中的加權(quán)大于原圖像數(shù)據(jù)的距離圖像中心為第2距離以下的像素位置。

根據(jù)本形態(tài)，能夠獲取相較于圖像中央部在圖像周邊部低頻成分的再現(xiàn)性優(yōu)異的增益。本形態(tài)可優(yōu)選適用于例如在圖像周邊部可配置觀察對象的被攝體的情況等、在圖像周邊部要求優(yōu)異的可見性的情況。

在此所說的“第2距離”并無特別限定，可根據(jù)重視低頻帶的圖像范圍而適當(dāng)?shù)卦O(shè)定。

優(yōu)選的是，濾波處理部在圖像濾波處理的作為目標(biāo)的頻率特性中處理圖像數(shù)據(jù)相對于原圖像數(shù)據(jù)的比例小于1的頻率中，在多次濾波處理的每一次處理中，使用使濾波處理數(shù)據(jù)與處理對象數(shù)據(jù)相等的濾波器。

若使用值過小的數(shù)據(jù)進(jìn)行圖像濾波處理，則處理后的數(shù)據(jù)中不僅容易混入噪聲，而且有時這種噪聲被放大，結(jié)果有時導(dǎo)致畫質(zhì)劣化。根據(jù)本形態(tài)，通過使用將濾波處理數(shù)據(jù)設(shè)為與處理對象數(shù)據(jù)相等的濾波器，能夠有效地防止這種噪聲混入及噪聲放大。

優(yōu)選的是，濾波處理部在多次濾波處理中的至少任一次濾波處理中，利用具有處理對象數(shù)據(jù)中的對應(yīng)于像素位置的頻率特性的濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)。

根據(jù)本形態(tài)，至少進(jìn)行一次具有處理對象數(shù)據(jù)中的對應(yīng)于像素位置的頻率特性的濾波處理。

優(yōu)選的是，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部將在第1濾波處理中所獲取的濾波處理數(shù)據(jù)用作第2濾波處理中的處理對象數(shù)據(jù)。

根據(jù)本形態(tài)，串聯(lián)地進(jìn)行第1濾波處理及第2濾波處理。

優(yōu)選的是，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部在第1濾波處理及第2濾波處理中將相同的數(shù)據(jù)用作處理對象數(shù)據(jù)，根據(jù)由第1濾波處理所獲取的濾波處理數(shù)據(jù)和由第2濾波處理所獲取的濾波處理數(shù)據(jù)來獲取處理圖像數(shù)據(jù)。

根據(jù)本形態(tài)，可并行地進(jìn)行第1濾波處理及第2濾波處理。

優(yōu)選的是，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部具有：第1濾波器應(yīng)用部，對第1濾波處理的處理對象數(shù)據(jù)應(yīng)用第1濾波處理用的濾波器并獲取濾波器應(yīng)用處理數(shù)據(jù)；第1增益應(yīng)用部，對通過第1濾波器應(yīng)用部所獲取的濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用第1濾波處理用增益并獲取增益應(yīng)用處理數(shù)據(jù)；第2濾波器應(yīng)用部，對第2濾波處理的處理對象數(shù)據(jù)應(yīng)用第2濾波處理用濾波器并獲取濾波器應(yīng)用處理數(shù)據(jù)；及第2增益應(yīng)用部，對通過第2濾波器應(yīng)用部所獲取的濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用第2濾波處理用增益并獲取增益應(yīng)用處理數(shù)據(jù)。

根據(jù)本形態(tài)，通過“濾波器應(yīng)用部(第1濾波器應(yīng)用部及第2濾波器應(yīng)用部)”及“增益應(yīng)用部(第1增益應(yīng)用部及第2增益應(yīng)用部)”來進(jìn)行第1濾波處理及第2濾波處理，處理流程變得簡單。

優(yōu)選的是，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部具有：濾波器應(yīng)用部，對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)；及增益應(yīng)用部，對濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)，濾波器應(yīng)用部在第1濾波處理中使用第1濾波處理用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，且在第2濾波處理中使用第2濾波處理用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，增益應(yīng)用部在第1濾波處理中使用第1濾波處理用增益來獲取增益應(yīng)用處理數(shù)據(jù)，且在第2濾波處理中使用第2濾波處理用增益來獲取增益應(yīng)用處理數(shù)據(jù)。

根據(jù)本形態(tài)，通過相同的“濾波器應(yīng)用部”及“增益應(yīng)用部”來進(jìn)行第1濾波處理及第2濾波處理，從而硬件結(jié)構(gòu)(電路結(jié)構(gòu))變得簡單。

優(yōu)選的是，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部在第1濾波處理中使用根據(jù)圖像濾波處理的多種頻率特性的平均而確定的基準(zhǔn)濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，且第2濾波處理中使用根據(jù)圖像濾波處理的多種頻率特性的方差而確定的方差濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)。

根據(jù)本形態(tài)，由于使用根據(jù)圖像濾波處理的多種頻率特性的平均及方差而確定的基準(zhǔn)濾波器及方差濾波器，因此能夠平均地高精度地進(jìn)行欲應(yīng)用的圖像濾波處理。

另外，方差濾波器只要直接或間接地與圖像濾波處理的多種頻率特性的方差相應(yīng)即可，例如可根據(jù)由方差導(dǎo)出的標(biāo)準(zhǔn)偏差而確定方差濾波器，也可除了方差之外根據(jù)其他因素(例如平均等)而確定方差濾波器。

本發(fā)明的其他形態(tài)涉及一種圖像處理裝置，其具備通過對原圖像數(shù)據(jù)進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)的濾波處理部，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部在多次濾波處理的每一次處理中對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，并對濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)，從增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)，在第1濾波處理中，使用根據(jù)頻率特性的平均而確定的基準(zhǔn)濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)與獲取原圖像數(shù)據(jù)時的攝影條件相對應(yīng)的光學(xué)系統(tǒng)的光學(xué)特性而確定的多種圖像濾波處理的頻率特性，在第2濾波處理中，使用根據(jù)頻率特性的方差而確定的方差濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)與獲取原圖像數(shù)據(jù)時的攝影條件相對應(yīng)的光學(xué)系統(tǒng)的光學(xué)特性而確定的多種圖像濾波處理的頻率特性，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益根據(jù)與獲取原圖像數(shù)據(jù)時的攝影條件相對應(yīng)的光學(xué)系統(tǒng)的光學(xué)特性而確定。

根據(jù)本形態(tài)，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益根據(jù)與獲取原圖像數(shù)據(jù)時的攝影條件相對應(yīng)的光學(xué)系統(tǒng)的光學(xué)特性而確定。通過以這種方式進(jìn)行增益調(diào)整，能夠通過簡單的運(yùn)算處理高精度地實現(xiàn)根據(jù)與攝影條件相對應(yīng)的光學(xué)系統(tǒng)的光學(xué)特性而確定的所希望的圖像濾波處理。并且，由于使用與根據(jù)對應(yīng)于攝影條件的光學(xué)系統(tǒng)的光學(xué)特性而確定的多種圖像濾波處理的頻率特性的平均及方差相對應(yīng)的基準(zhǔn)濾波器及方差濾波器，因此能夠平均地高精度地進(jìn)行圖像濾波處理。

本發(fā)明的其他形態(tài)涉及一種圖像處理方法，所述方法通過對原圖像數(shù)據(jù)進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)，所述方法中，在多次濾波處理的每一次處理中，對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，且對濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)，并從增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益基于根據(jù)光學(xué)特性而確定的圖像濾波處理的作為目標(biāo)的頻率特性來獲取，所述光學(xué)特性為獲取原圖像數(shù)據(jù)時所使用的光學(xué)系統(tǒng)的光學(xué)特性，且為與獲取原圖像數(shù)據(jù)時的攝影條件相對應(yīng)的光學(xué)特性。

本發(fā)明的其他形態(tài)涉及一種圖像處理方法，所述方法通過對原圖像數(shù)據(jù)進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)，所述方法中，多次濾波處理至少包括第1濾波處理及第2濾波處理，在多次濾波處理的每一次處理中，對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，且對該濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)，并從該增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)，在第1濾波處理中，使用根據(jù)頻率特性的平均而確定的基準(zhǔn)濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)與獲取原圖像數(shù)據(jù)時的攝影條件相對應(yīng)的光學(xué)系統(tǒng)的光學(xué)特性而確定的多種圖像濾波處理的頻率特性，在第2濾波處理中，使用根據(jù)頻率特性的方差而確定的方差濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)與獲取原圖像數(shù)據(jù)時的攝影條件相對應(yīng)的光學(xué)系統(tǒng)的光學(xué)特性而確定的多種圖像濾波處理的頻率特性，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益是根據(jù)與獲取原圖像數(shù)據(jù)時的攝影條件相對應(yīng)的光學(xué)系統(tǒng)的光學(xué)特性而確定。

本發(fā)明的其他形態(tài)涉及一種程序，其用于使計算機(jī)實現(xiàn)通過對原圖像數(shù)據(jù)進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)的功能，所述程序中，在多次濾波處理的每一次處理中，使計算機(jī)執(zhí)行以下步驟：對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)的步驟；對濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)的步驟；及從增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)的步驟，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益基于根據(jù)光學(xué)特性而確定的圖像濾波處理的作為目標(biāo)的頻率特性來獲取，所述光學(xué)特性為獲取原圖像數(shù)據(jù)時所使用的光學(xué)系統(tǒng)的光學(xué)特性，且為與獲取原圖像數(shù)據(jù)時的攝影條件相對應(yīng)的光學(xué)特性。

本發(fā)明的其他形態(tài)涉及一種程序，其用于使計算機(jī)實現(xiàn)通過對原圖像數(shù)據(jù)進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)的功能，所述程序中，多次濾波處理至少包括第1濾波處理及第2濾波處理，在多次濾波處理的每一次處理中，使計算機(jī)執(zhí)行以下步驟：對處理對象數(shù)據(jù)應(yīng)用濾波器來濾波器應(yīng)用處理數(shù)據(jù)的步驟；對濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)的步驟；及從增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)的步驟，在第1濾波處理中，使計算機(jī)執(zhí)行如下步驟：使用根據(jù)頻率特性的平均而確定的基準(zhǔn)濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)與獲取原圖像數(shù)據(jù)時的攝影條件相對應(yīng)的光學(xué)系統(tǒng)的光學(xué)特性而確定的多種圖像濾波處理的頻率特性，在第2濾波處理中，使計算機(jī)執(zhí)行如下步驟：使用根據(jù)頻率特性的方差而確定的方差濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)與獲取原圖像數(shù)據(jù)時的攝影條件相對應(yīng)的光學(xué)系統(tǒng)的光學(xué)特性而確定的多種圖像濾波處理的頻率特性，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益根據(jù)與獲取原圖像數(shù)據(jù)時的攝影條件相對應(yīng)的光學(xué)系統(tǒng)的光學(xué)特性而確定。

本發(fā)明的其他形態(tài)涉及一種計算機(jī)可讀取的記錄介質(zhì)，所述記錄介質(zhì)中記錄有程序，所述程序用于使計算機(jī)實現(xiàn)通過對原圖像數(shù)據(jù)進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)的功能，所述程序中，在多次濾波處理的每一次處理中，使計算機(jī)執(zhí)行如下步驟：對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)的步驟；對濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)的步驟；及從增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)的步驟，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益基于根據(jù)光學(xué)特性而確定的圖像濾波處理的作為目標(biāo)的頻率特性來獲取，所述光學(xué)特性為獲取原圖像數(shù)據(jù)時所使用的光學(xué)系統(tǒng)的光學(xué)特性，且為與獲取原圖像數(shù)據(jù)時的攝影條件相對應(yīng)的光學(xué)特性。

本發(fā)明的其他形態(tài)涉及一種計算機(jī)可讀取的記錄介質(zhì)，所述記錄介質(zhì)中記錄有程序，所述程序用于使計算機(jī)實現(xiàn)通過對原圖像數(shù)據(jù)進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)的功能，所述程序中，多次濾波處理至少包括第1濾波處理及第2濾波處理，在多次濾波處理的每一次處理中，使計算機(jī)執(zhí)行如下步驟：對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)的步驟；對濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)的步驟；及從增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)的步驟，在第1濾波處理中，使計算機(jī)執(zhí)行如下步驟：使用根據(jù)頻率特性的平均而確定的基準(zhǔn)濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)與獲取原圖像數(shù)據(jù)時的攝影條件相對應(yīng)的光學(xué)系統(tǒng)的光學(xué)特性而確定的多種圖像濾波處理的頻率特性，在第2濾波處理中，使計算機(jī)執(zhí)行如下步驟：使用根據(jù)頻率特性的方差而確定的方差濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)與獲取原圖像數(shù)據(jù)時的攝影條件相對應(yīng)的光學(xué)系統(tǒng)的光學(xué)特性而確定的多種圖像濾波處理的頻率特性，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益根據(jù)與獲取原圖像數(shù)據(jù)時的攝影條件相對應(yīng)的光學(xué)系統(tǒng)的光學(xué)特性而確定。

發(fā)明效果

根據(jù)本發(fā)明，根據(jù)圖像濾波處理的作為目標(biāo)的頻率特性獲取在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益，該作為目標(biāo)的頻率特性根據(jù)獲取原圖像數(shù)據(jù)時所使用的光學(xué)系統(tǒng)的光學(xué)特性即與獲取原圖像數(shù)據(jù)時的攝影條件相對應(yīng)的光學(xué)特性而確定。由此，能夠減少在各濾波處理中應(yīng)用于處理對象數(shù)據(jù)的濾波器的數(shù)據(jù)量，同時能夠進(jìn)行與攝影條件對應(yīng)的高精度的濾波處理。

附圖說明

圖1是表示與計算機(jī)連接的數(shù)碼相機(jī)的框圖。

圖2是表示主體控制器的結(jié)構(gòu)例的框圖。

圖3是表示圖像處理部的功能結(jié)構(gòu)的一例的框圖。

圖4是表示圖像處理部的功能結(jié)構(gòu)的其他例子的框圖。

圖5是表示圖像處理部的功能結(jié)構(gòu)的其他例子的框圖。

圖6是圖像濾波處理的概念圖。

圖7是第n濾波處理(其中“n”為1以上且N以下的整數(shù))的概念圖。

圖8是表示拍攝原圖像數(shù)據(jù)時可采用的F值與代表性F值的關(guān)系例的圖。

圖9是表示濾波處理部的電路結(jié)構(gòu)的一例的圖。

圖10是表示濾波處理部的電路結(jié)構(gòu)的其他例子的圖。

圖11是表示濾波處理部的電路結(jié)構(gòu)的其他例子的圖。

圖12是表示濾波處理部的電路結(jié)構(gòu)的其他例子的圖。

圖13為表示增益獲取部的功能結(jié)構(gòu)的一例的框圖，并且表示與圖3所示的圖像處理部優(yōu)選組合的增益獲取部。

圖14是表示圖13所示的增益獲取部的增益獲取流程的流程圖。

圖15是表示增益獲取部的功能結(jié)構(gòu)的其他例子的框圖，并表示與圖4及圖5所示的圖像處理部適當(dāng)?shù)亟M合的增益獲取部。

圖16是表示圖15所示的頻率分析部的頻率特性獲取流程的流程圖。

圖17是表示圖15所示的增益獲取部的增益獲取流程的流程圖。

圖18是表示濾波器獲取裝置的功能結(jié)構(gòu)的一例的框圖。

圖19是表示濾波器計算部的功能結(jié)構(gòu)的一例的框圖。

圖20是以單峰型分布表示多種圖像濾波處理的頻率特性的偏差的概念圖。

圖21是以多峰型分布表示多種圖像濾波處理的頻率特性的偏差的概念圖。

圖22是概略表示可分類到單峰型分布的多種圖像濾波處理的頻率特性的一例的圖，橫軸表示頻率，縱軸表示響應(yīng)。

圖23是概略表示圖22所示的多種圖像濾波處理的頻率特性的方差的一例的圖，橫軸表示頻率，縱軸表示方差。

圖24是概略表示根據(jù)圖22所示的多種圖像濾波處理的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖24(a)表示“φ₀”，圖24(b)表示“φ₁”，圖24(c)表示“φ₂”。

圖25表示與具有圖11所示的電路結(jié)構(gòu)的濾波處理部所進(jìn)行的圖像濾波處理(第1濾波處理～第3濾波處理)相關(guān)的頻率特性(參考圖25(a))及增益例(參考圖25(b))。

圖26是表示根據(jù)單峰型分布計算濾波器系數(shù)的濾波器計算部的功能結(jié)構(gòu)的一例的框圖。

圖27是概略表示可分類到多峰型分布的圖像濾波處理的頻率特性的一例的圖，橫軸表示頻率，縱軸表示響應(yīng)。

圖28是概略表示圖27所示的多種圖像濾波處理的頻率特性的方差的一例的圖，圖28(a)表示分類到第1偏差分布的第1圖像濾波處理～第3圖像濾波處理的頻率特性數(shù)據(jù)的方差，圖28(b)表示分類到第2偏差分布的第4圖像濾波處理～第6圖像濾波處理的頻率特性數(shù)據(jù)的方差。

圖29是概略表示根據(jù)分類到第1偏差分布的第1圖像濾波處理～第3圖像濾波處理的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖29(a)表示“φ₀”，圖29(b)表示“φ₁”，圖29(c)表示“φ₂”。

圖30是概略表示根據(jù)分類到第2偏差分布的第4圖像濾波處理～第6圖像濾波處理的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖30(a)表示“φ₀”，圖30(b)表示“φ₁”，圖30(c)表示“φ₂”。

圖31表示與具有圖11所示的電路結(jié)構(gòu)的濾波處理部所進(jìn)行的圖像濾波處理(第1濾波處理～第3濾波處理)相關(guān)的頻率特性(參考圖31(a))及增益例(參考圖31(b))。

圖32是表示根據(jù)多峰型分布計算濾波器系數(shù)的濾波器計算部的功能結(jié)構(gòu)的一例的框圖。

圖33是通過濾波器組分類部分類到多個濾波器組的多種圖像濾波處理(頻率特性)的概念圖。

圖34是表示具備EDoF光學(xué)系統(tǒng)的攝像模塊的一形態(tài)的框圖。

圖35是表示EDoF光學(xué)系統(tǒng)的一例的圖。

圖36是表示基于圖34所示的復(fù)原處理塊的復(fù)原處理流程的一例的圖。

圖37是表示經(jīng)由EDoF光學(xué)系統(tǒng)而獲取的圖像的復(fù)原例的圖，圖37(a)表示復(fù)原處理前的模糊的圖像，圖37(b)表示復(fù)原處理后的模糊已被消除的圖像(點(diǎn)像)。

圖38是表示智能手機(jī)的外觀的圖。

圖39是表示圖38所示的智能手機(jī)的結(jié)構(gòu)的框圖。

具體實施方式

參考附圖對本發(fā)明的實施方式進(jìn)行說明。在以下的實施方式中，作為一例，對將本發(fā)明應(yīng)用于可與計算機(jī)(PC：個人計算機(jī))連接的數(shù)碼相機(jī)(攝像裝置)的情況進(jìn)行說明。

圖1是表示連接于計算機(jī)92的數(shù)碼相機(jī)10的框圖。

本例的數(shù)碼相機(jī)10具備可替換的透鏡單元11及具備成像元件24的相機(jī)主體12，透鏡單元11與相機(jī)主體12經(jīng)由透鏡單元11的透鏡單元輸入輸出部20和相機(jī)主體12的相機(jī)主體輸入輸出部28而電性連接。

透鏡單元11具備包括透鏡14和光圈15的光學(xué)系統(tǒng)及控制該光學(xué)系統(tǒng)的光學(xué)系統(tǒng)操作部17。光學(xué)系統(tǒng)操作部17包括連接于透鏡單元輸入輸出部20的透鏡單元控制器18、存儲光學(xué)系統(tǒng)信息等各種信息的透鏡單元存儲部19及對光學(xué)系統(tǒng)進(jìn)行操作的致動器(省略圖示)。透鏡單元控制器18根據(jù)從相機(jī)主體12經(jīng)由透鏡單元輸入輸出部20發(fā)送過來的控制信號，并經(jīng)由致動器控制光學(xué)系統(tǒng)，進(jìn)行例如基于透鏡移動的聚焦控制或變焦控制及光圈15的光圈量控制等。并且，透鏡單元控制器18根據(jù)從相機(jī)主體12經(jīng)由透鏡單元輸入輸出部20發(fā)送過來的控制信號，讀出存儲于透鏡單元存儲部19的各種信息而發(fā)送到相機(jī)主體12(主體控制器25)。

相機(jī)主體12的成像元件24具有聚光用微型透鏡、R(紅)G(綠)B(藍(lán))等的濾色器及由CMOS(Complementary Metal Oxide Semiconductor)或CCD(Charge Coupled Device)等構(gòu)成的圖像傳感器(光電二極管)。該成像元件24將經(jīng)由透鏡單元11的光學(xué)系統(tǒng)(透鏡14及光圈15等)照射的被攝體像的光轉(zhuǎn)換為電信號，并將圖像信號(圖像數(shù)據(jù))發(fā)送到主體控制器25。

關(guān)于主體控制器25，其詳細(xì)內(nèi)容將在后面進(jìn)行敘述(參考圖2)，其具有作為設(shè)備控制部的功能及作為圖像處理部(圖像處理裝置)的功能，所述設(shè)備控制部集中地控制數(shù)碼相機(jī)10的各部，所述圖像處理部進(jìn)行從成像元件24發(fā)送過來的圖像數(shù)據(jù)的圖像處理。

數(shù)碼相機(jī)10還具備進(jìn)行拍攝等時所需的其他設(shè)備類(釋放按鈕等)，這些設(shè)備類的一部分構(gòu)成可通過用戶進(jìn)行確認(rèn)及操作的用戶界面26。圖1所示的例子中，在相機(jī)主體12設(shè)置有用戶界面26，但用戶界面26可配置于透鏡單元11和/或相機(jī)主體12。用戶能夠經(jīng)由用戶界面26進(jìn)行用于攝影等的各種設(shè)定(EV值(Exposure Value)等)的確定及變更、攝影命令及實時預(yù)覽圖像和攝影圖像的確認(rèn)等。用戶界面26連接于主體控制器25，由用戶確定并變更的各種設(shè)定及各種命令被反映到主體控制器25中的各種處理。另外，用戶可經(jīng)由用戶界面26所包括的顯示部27(EVF：Electronic View Finder、背面液晶顯示部)中的顯示而被引導(dǎo)，并且提示進(jìn)行拍攝。

在主體控制器25中經(jīng)圖像處理的圖像數(shù)據(jù)存儲于設(shè)置在相機(jī)主體12的主體存儲部29，根據(jù)需要，經(jīng)由輸入輸出接口130發(fā)送到計算機(jī)92等外部設(shè)備類。主體存儲部29由任意的存儲器設(shè)備構(gòu)成，可優(yōu)選使用存儲器卡等可更換的存儲器。從主體控制器25輸出的圖像數(shù)據(jù)的格式并無特別限定，主體控制器25能夠生成并輸出具有RAW、JPEG(Joint Photographic Experts Group)和/或TIFF(Tagged Image File Format)等格式的圖像數(shù)據(jù)。并且，主體控制器25如所謂的Exif(Exchangeable Image File Format)那樣，將標(biāo)題信息(攝影信息(攝影日期和時間、機(jī)種、像素數(shù)、光圈值等)等)、主圖像數(shù)據(jù)及縮略圖圖像數(shù)據(jù)等多個關(guān)聯(lián)數(shù)據(jù)彼此建立對應(yīng)關(guān)聯(lián)而構(gòu)成為一個圖像文件，并可輸出其圖像文件。

計算機(jī)92經(jīng)由相機(jī)主體12的輸入輸出接口30及計算機(jī)輸入輸出部93而與數(shù)碼相機(jī)10連接，并接收從相機(jī)主體12發(fā)送過來的圖像數(shù)據(jù)等數(shù)據(jù)類。計算機(jī)控制器94集中地控制計算機(jī)92，對來自數(shù)碼相機(jī)10的圖像數(shù)據(jù)進(jìn)行圖像處理，并且控制與經(jīng)由互聯(lián)網(wǎng)等網(wǎng)絡(luò)96而連接于計算機(jī)輸入輸出部93的服務(wù)器97等的通信。計算機(jī)92具有顯示器95，計算機(jī)控制器94中的處理內(nèi)容等根據(jù)需要而顯示于顯示器95。用戶通過一邊確認(rèn)顯示器95的顯示并且一邊對鍵盤等輸入機(jī)構(gòu)(省略圖示)進(jìn)行操作，能夠?qū)τ嬎銠C(jī)控制器94輸入數(shù)據(jù)或指令。由此，用戶能夠?qū)τ嬎銠C(jī)92或連接于計算機(jī)92的設(shè)備類(數(shù)碼相機(jī)10及服務(wù)器97等)進(jìn)行控制。

服務(wù)器97具有服務(wù)器輸入輸出部98及服務(wù)器控制器99。服務(wù)器輸入輸出部98構(gòu)成與計算機(jī)92等的外部設(shè)備類的收發(fā)連接部，并經(jīng)由互聯(lián)網(wǎng)等網(wǎng)絡(luò)96而與計算機(jī)92的計算機(jī)輸入輸出部93連接。服務(wù)器控制器99根據(jù)來自計算機(jī)92的控制命令信號，與計算機(jī)控制器94協(xié)作，根據(jù)需要在與計算機(jī)控制器94之間進(jìn)行數(shù)據(jù)類的收發(fā)，進(jìn)行運(yùn)算處理并將其運(yùn)算結(jié)果發(fā)送到計算機(jī)92。

各控制器(透鏡單元控制器18、主體控制器25、計算機(jī)控制器94及服務(wù)器控制器99)具有控制處理所需的電路類，例如具備運(yùn)算處理電路(CPU(Central Processing Unit)等)或存儲器等。并且，數(shù)碼相機(jī)10、計算機(jī)92及服務(wù)器97之間的通信既可以是有限通信，也可以是無線通信。并且，也可一體構(gòu)成計算機(jī)92及服務(wù)器97，并且也可省略計算機(jī)92和/或服務(wù)器97。并且，也可以是，使數(shù)碼相機(jī)10具有與服務(wù)器97的通信功能，并在數(shù)碼相機(jī)10與服務(wù)器97之間直接進(jìn)行數(shù)據(jù)類的收發(fā)。

圖2是表示主體控制器25的結(jié)構(gòu)例的框圖。主體控制器25具有設(shè)備控制部34和圖像處理部(圖像處理裝置)35，并且集中地控制相機(jī)主體12。

設(shè)備控制部34適當(dāng)?shù)乜刂茢?shù)碼相機(jī)10所具備的各種設(shè)備類，例如控制成像元件24來控制來自成像元件24的圖像信號(圖像數(shù)據(jù))的輸出，生成用于控制透鏡單元11的控制信號并經(jīng)由相機(jī)主體輸入輸出部28發(fā)送到透鏡單元11(透鏡單元控制器18)，將圖像處理前后的圖像數(shù)據(jù)(RAW數(shù)據(jù)及JPEG數(shù)據(jù)等)存儲于主體存儲部29，并對經(jīng)由輸入輸出接口30而連接的外部設(shè)備類(計算機(jī)92等)發(fā)送圖像處理前后的圖像數(shù)據(jù)(RAW數(shù)據(jù)及JPEG數(shù)據(jù)等)。并且，設(shè)備控制部34包括對顯示部27進(jìn)行控制的顯示控制部36，該顯示控制部36可與圖像處理部35協(xié)作而將引導(dǎo)用戶的攝影操作的指南顯示于顯示部27。

另一方面，圖像處理部35對從成像元件24輸出的圖像信號進(jìn)行對應(yīng)于需要而進(jìn)行任意的圖像處理。例如，在圖像處理部35中能夠適當(dāng)?shù)剡M(jìn)行傳感器校正處理、去馬賽克(同步化)處理、像素插值處理、顏色校正處理(偏移校正處理、白平衡處理、顏色矩陣處理及伽馬轉(zhuǎn)換處理等)、RGB圖像處理(銳度處理、色調(diào)校正處理、曝光校正處理及輪廓校正處理等)、RGB/YcrCb轉(zhuǎn)換處理及圖像壓縮處理等各種圖像處理。

圖3是表示圖像處理部35的功能結(jié)構(gòu)的一例的框圖。

圖像處理部35具備通過對原圖像數(shù)據(jù)D1進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)D2的濾波處理部41。并且，本例的圖像處理部35除了濾波處理部41之外還具備增益確定部43、增益候補(bǔ)數(shù)據(jù)存儲部44、預(yù)處理部40及后處理部42。

濾波處理部41在多次濾波處理的每一次處理中，對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，且對該濾波器應(yīng)用處理數(shù)據(jù)利用增益來獲取增益應(yīng)用處理數(shù)據(jù)，并從該增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)。

增益候補(bǔ)數(shù)據(jù)存儲部44存儲“增益表信息”，所述增益表信息是將在濾波處理部41中的多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益的候補(bǔ)數(shù)據(jù)與攝影條件建立對應(yīng)關(guān)聯(lián)而得。本例的增益表信息將增益的候補(bǔ)數(shù)據(jù)與光學(xué)系統(tǒng)的種類及攝影條件建立對應(yīng)關(guān)聯(lián)。包括增益的候補(bǔ)數(shù)據(jù)的該增益表信息通過增益獲取部45根據(jù)光學(xué)系統(tǒng)的種類及攝影條件而預(yù)先獲取并存儲于增益候補(bǔ)數(shù)據(jù)存儲部44。針對與光學(xué)系統(tǒng)的種類及攝影條件相對應(yīng)的增益(候補(bǔ)數(shù)據(jù))的獲取方法的具體例將進(jìn)行后述。

增益確定部43參考存儲于增益候補(bǔ)數(shù)據(jù)存儲部44的增益表信息，將與獲取原圖像數(shù)據(jù)D1時的攝影條件建立對應(yīng)關(guān)聯(lián)的候補(bǔ)數(shù)據(jù)作為在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益而確定，并發(fā)送到濾波處理部41。本例的增益確定部43獲取在獲取成為圖像濾波處理的對象的原圖像數(shù)據(jù)D1時所使用的光學(xué)系統(tǒng)的種類及攝影條件的信息，并從增益候補(bǔ)數(shù)據(jù)存儲部44讀出與該光學(xué)系統(tǒng)的種類及攝影條件建立有對應(yīng)關(guān)聯(lián)的增益的候補(bǔ)數(shù)據(jù)，作為應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益發(fā)送到濾波處理部41。另外，基于增益確定部43的光學(xué)系統(tǒng)的種類及攝影條件信息的獲取方法并無特別限定，增益確定部43例如可從主體控制器25的未圖示的存儲器所保持的透鏡單元11的信息及攝影條件信息獲取光學(xué)系統(tǒng)的種類及攝影條件的信息。

濾波處理部41在多次濾波處理的每一次處理中，將增益確定部43所確定的增益應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)來獲取增益應(yīng)用處理數(shù)據(jù)。

圖像處理部35中，還可進(jìn)行上述圖像濾波處理以外的圖像處理。圖像濾波處理以外的各種圖像處理既可在設(shè)置于濾波處理部41的前級的預(yù)處理部40中進(jìn)行，也可在設(shè)置于濾波處理部41的后級的后處理部42中進(jìn)行。即，將接受在預(yù)處理部40中進(jìn)行的各種圖像處理而得到的數(shù)據(jù)作為原圖像數(shù)據(jù)D1進(jìn)行濾波處理部41中的圖像濾波處理，并且，在后處理部42對接受濾波處理部41中的圖像濾波處理而得到的處理圖像數(shù)據(jù)D2進(jìn)行各種圖像處理。

此外，在本例中，將從預(yù)處理部40輸入到濾波處理部41的圖像數(shù)據(jù)稱為“原圖像數(shù)據(jù)D1”，將從濾波處理部41輸出到后處理部42的圖像數(shù)據(jù)稱為“處理圖像數(shù)據(jù)D2”

圖4是表示圖像處理部35的功能結(jié)構(gòu)的其他例子的框圖。

在圖3所示的例子中，參考預(yù)先存儲于增益候補(bǔ)數(shù)據(jù)存儲部44的增益表信息獲取在濾波處理中所使用的增益，但在圖4所示的例子中，不預(yù)先獲取且存儲增益表信息(增益的候補(bǔ)數(shù)據(jù))，而執(zhí)行濾波處理并獲取增益。即，在圖4所示的例子中，增益獲取部45與濾波處理部41連接，在濾波處理部41中進(jìn)行的多次濾波處理所使用的增益從增益獲取部45被直接供給到濾波處理部41。增益獲取部45獲取表示光學(xué)特性的數(shù)據(jù)，所述光學(xué)特性為獲取原圖像數(shù)據(jù)D1時所使用的光學(xué)系統(tǒng)的光學(xué)特性，且為與獲取原圖像數(shù)據(jù)D1時的攝影條件相對應(yīng)的光學(xué)特性，并根據(jù)表示該光學(xué)特性的數(shù)據(jù)確定圖像濾波處理的作為目標(biāo)的頻率特性，根據(jù)所確定的該“圖像濾波處理的作為目標(biāo)的頻率特性”獲取在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益，并將該獲取到的增益供給到濾波處理部41。

另外，在此所說的表示“獲取原圖像數(shù)據(jù)D1時所使用的光學(xué)系統(tǒng)的光學(xué)特性”的數(shù)據(jù)，例如為表示拍攝獲取原圖像數(shù)據(jù)D1時所使用的透鏡單元11(光學(xué)系統(tǒng))的種類的數(shù)據(jù)(例如型號等)。并且“表示與獲取原圖像數(shù)據(jù)D1時的攝影條件相對應(yīng)的光學(xué)特性的數(shù)據(jù)”例如為表示獲取原圖像數(shù)據(jù)D1時的攝影條件的數(shù)據(jù)(例如F值等)?；谠鲆娅@取部45的這些數(shù)據(jù)的獲取方法并無特別限定，增益獲取部45例如可從主體控制器25的未圖示的存儲器所保持的透鏡單元11的信息及攝影條件信息獲取光學(xué)系統(tǒng)的種類及攝影條件的數(shù)據(jù)。

該增益獲取部45可如圖4所示那樣作為圖像處理部35的一部分而設(shè)置，也可如圖5所示那樣作為與圖像處理部35分體的處理部而設(shè)置。

另外，在圖4及圖5所示的例子中，上述圖像濾波處理以外的圖像處理可在設(shè)置于濾波處理部41的前級的預(yù)處理部40進(jìn)行，也可在設(shè)置于濾波處理部41的后級的后處理部42進(jìn)行。

接著，對在濾波處理部41中進(jìn)行的圖像濾波處理(多次濾波處理)的具體例進(jìn)行說明。

當(dāng)根據(jù)光學(xué)系統(tǒng)的光學(xué)特性確定濾波處理中所使用的濾波器時，在一般的圖像濾波處理中，若“第1攝影條件下的光學(xué)系統(tǒng)的光學(xué)特性”與“第2攝影條件下的光學(xué)系統(tǒng)的光學(xué)特性”不同，則優(yōu)選在第1攝影條件下所拍攝的圖像的濾波處理中使用與第1攝影條件相對應(yīng)的濾波器，在第2攝影條件下所拍攝的圖像的濾波處理中使用與第2攝影條件相對應(yīng)的濾波器。在該情況下，需要按每一攝影條件準(zhǔn)備濾波器，但作為攝影條件存在多個可影響光學(xué)系統(tǒng)的光學(xué)特性的因素時，應(yīng)準(zhǔn)備的濾波器的數(shù)量及數(shù)據(jù)量變得龐大。例如，上述光學(xué)特性為基于點(diǎn)擴(kuò)散函數(shù)的光學(xué)特性且進(jìn)行基于點(diǎn)擴(kuò)散函數(shù)的濾波處理時，點(diǎn)擴(kuò)散函數(shù)根據(jù)F值、變焦值、被攝體距離、聚焦位置、光學(xué)系統(tǒng)類別、成像元件24的傳感器SN比、像高(圖像內(nèi)位置)及光學(xué)系統(tǒng)個體差等攝影條件可發(fā)生變動，因此理想的是，需要準(zhǔn)備與這些攝影條件的所有組合對應(yīng)的濾波器(抽頭系數(shù))。

為了防止這種圖像濾波處理所需的數(shù)據(jù)量的龐大化，在以下的實施方式中，應(yīng)用多次濾波處理，根據(jù)攝影條件調(diào)整在各濾波處理中使用的增益，由此實現(xiàn)適合于處理對象的原圖像數(shù)據(jù)的攝影條件的圖像濾波處理，從而可代替保持與所有攝影條件的組合對應(yīng)的濾波器。

圖6是圖像濾波處理P的概念圖。本例的圖像濾波處理P包括多次濾波處理(第1濾波處理F1～第N濾波處理FN(其中“N”為2以上的整數(shù)))。通過該“包括多次濾波處理的圖像濾波處理P”，由原圖像數(shù)據(jù)D1生成處理圖像數(shù)據(jù)D2。

圖7是第n濾波處理Fn(其中“n”為1以上且N以下的整數(shù))的概念圖。圖像濾波處理P的各濾波處理(第n濾波處理Fn)包括濾波器應(yīng)用處理PF及增益應(yīng)用處理PG。濾波器應(yīng)用處理PF為對處理對象數(shù)據(jù)D3應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)D4的處理，增益應(yīng)用處理PG為對濾波器應(yīng)用處理數(shù)據(jù)D4應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)D5的處理。

在通過濾波處理部41進(jìn)行的圖像濾波處理P所包括的多次濾波處理(第1濾波處理F1～第N濾波處理FN)的每一次處理中，濾波器應(yīng)用處理PF中應(yīng)用于處理對象數(shù)據(jù)D3的濾波器并無特別限定。

例如，在濾波器應(yīng)用處理PF中所使用的濾波器可根據(jù)光學(xué)系統(tǒng)的光學(xué)特性而確定，作為用作濾波器的基礎(chǔ)的該“光學(xué)系統(tǒng)的光學(xué)特性”能夠適當(dāng)?shù)厥褂霉鈱W(xué)系統(tǒng)的“點(diǎn)擴(kuò)散函數(shù)”。通過根據(jù)光學(xué)系統(tǒng)的光學(xué)特性來確定濾波器，能夠高精度地進(jìn)行受到光學(xué)系統(tǒng)的光學(xué)特性的影響的原圖像數(shù)據(jù)D1的圖像濾波處理P(濾波處理)，例如能夠通過使用根據(jù)點(diǎn)擴(kuò)散函數(shù)設(shè)計的濾波器進(jìn)行減少點(diǎn)擴(kuò)散現(xiàn)象的影響的圖像濾波處理P(濾波處理)。

另外，“根據(jù)光學(xué)系統(tǒng)的光學(xué)特性而確定的濾波器”并不限于基于點(diǎn)擴(kuò)散函數(shù)的濾波器，可將輪廓增強(qiáng)濾波器或其他濾波器用作“根據(jù)光學(xué)系統(tǒng)的光學(xué)特性而確定的濾波器”。即使在為基于點(diǎn)擴(kuò)散函數(shù)的濾波器以外的濾波器(輪廓增強(qiáng)濾波器等)的情況下，也可根據(jù)各種條件(例如上述光圈值(F值)等各種因素)調(diào)整濾波器(輪廓增強(qiáng)濾波器等)，也可在各濾波器應(yīng)用處理PF中使用具有基于根據(jù)各種條件(例如上述光圈值(F值)等各種因素)而改變的光學(xué)特性而被調(diào)整的濾波器系數(shù)(抽頭系數(shù))的輪廓增強(qiáng)濾波器等濾波器。

因此，濾波處理部41在多次濾波處理(第1濾波處理F1～第N濾波處理FN)中的至少任一次的濾波處理中，使用根據(jù)光學(xué)系統(tǒng)(透鏡14及光圈15等)的光學(xué)特性(點(diǎn)擴(kuò)散函數(shù)等)而確定的濾波器來獲得濾波器應(yīng)用處理數(shù)據(jù)D4。

并且，在根據(jù)光學(xué)系統(tǒng)的光學(xué)特性確定濾波器的情況下，該光學(xué)系統(tǒng)的光學(xué)特性根據(jù)攝影條件而變動時，濾波器可根據(jù)代表性攝影條件中的光學(xué)系統(tǒng)的光學(xué)特性而確定。例如，在根據(jù)光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)確定濾波器的情況下，關(guān)于可影響點(diǎn)擴(kuò)散函數(shù)的F值、變焦值、被攝體距離、聚焦位置、光學(xué)系統(tǒng)類別、成像元件24的傳感器SN比、像高(圖像內(nèi)位置)及光學(xué)系統(tǒng)個體差等攝影條件中的一個或多個攝影條件，能夠根據(jù)代表性的條件下的點(diǎn)擴(kuò)散函數(shù)設(shè)計濾波器。根據(jù)代表性攝影條件中的光學(xué)系統(tǒng)的光學(xué)特性設(shè)計濾波器并將其預(yù)先存儲，由此能夠節(jié)省所需的存儲容量。另外，在“代表性攝影條件”以外的攝影條件下所獲取的原圖像數(shù)據(jù)D1的圖像濾波處理P中，如后述那樣通過調(diào)整增益來高精度地進(jìn)行濾波處理。

并且，在這種情況下，優(yōu)選代表性攝影條件為第1指標(biāo)條件不同的多個攝影條件，且包含基于拍攝原圖像數(shù)據(jù)時可采用的多個第1指標(biāo)條件中不連續(xù)的第1指標(biāo)條件的多個攝影條件。例如在根據(jù)光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)確定濾波器的情況下，可將任意的一個因素設(shè)定為第1指標(biāo)條件，所述任意的一個因素選自可影響點(diǎn)擴(kuò)散函數(shù)的F值、變焦值、被攝體距離、聚焦位置、光學(xué)系統(tǒng)類別、成像元件24的傳感器SN比、像高(圖像內(nèi)位置)及光學(xué)系統(tǒng)個體差等攝影條件中。

圖8是表示拍攝原圖像數(shù)據(jù)時可采用的F值與代表性F值的關(guān)系例的圖。例如在根據(jù)光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)確定濾波器的情況下，若作為攝影條件的F值改變，則通常光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)也發(fā)生變動。作為攝影條件(第1指標(biāo)條件)存在多個(圖8所示的例子中F1～F45共計12個)拍攝原圖像數(shù)據(jù)時可采用的F值時，可根據(jù)與選自這些可采用的F值中的代表性F值對應(yīng)的點(diǎn)擴(kuò)散函數(shù)設(shè)計濾波器。例如，如圖8所示的例，可將從可采用的F值中每隔一個(間斷地)依次選擇的F值(在圖8所示的例中，為F1.4、F2.8、F5.6、F11、F22及F45)作為“代表性攝影條件”來設(shè)計濾波器。并且，例如可根據(jù)預(yù)計的“獲取原圖像數(shù)據(jù)D1時所采用的頻率”確定“代表性攝影條件”，還可將預(yù)計的采用頻率較高的攝影條件作為“代表性攝影條件”來設(shè)計濾波器。

因此，濾波處理部41為基于光學(xué)系統(tǒng)(透鏡14及光圈15等)的點(diǎn)擴(kuò)散函數(shù)的多個濾波器，可在多次濾波處理(第1濾波處理F1～第N濾波處理FN)中使用通過改變影響點(diǎn)擴(kuò)散函數(shù)的特性的因素而獲得的多個濾波器。作為影響點(diǎn)擴(kuò)散函數(shù)的特性的因素，例如可舉出光圈值(F值)、變焦值(焦點(diǎn)距離)、被攝體距離、聚焦位置、光學(xué)系統(tǒng)類別、成像元件24的傳感器SN比、像高(圖像內(nèi)位置)及光學(xué)系統(tǒng)個體差等攝影條件?？稍诟鳛V波器應(yīng)用處理PF中使用根據(jù)這些因素中的一個或多個因素的特性數(shù)據(jù)不同的點(diǎn)擴(kuò)散函數(shù)而導(dǎo)出的濾波器。

并且，濾波處理部41在多次濾波處理(第1濾波處理F1～第N濾波處理FN)中的至少任一次濾波處理中，可使用與通過攝影獲取原圖像數(shù)據(jù)D1時所使用的光學(xué)系統(tǒng)(透鏡14及光圈15等)的特性無關(guān)地被確定的濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)D4。作為這種“與光學(xué)系統(tǒng)的特性無關(guān)地被確定的濾波器”，例如能夠優(yōu)選使用輪廓增強(qiáng)濾波器。

并且，濾波器應(yīng)用處理PF中所使用的濾波器可根據(jù)處理對象數(shù)據(jù)D3的像素位置而改變。濾波處理部41在多次濾波處理(第1濾波處理F1～第N濾波處理FN)中的至少任一次濾波處理中，可使用具有與處理對象數(shù)據(jù)D3中的像素位置相對應(yīng)的頻率特性的濾波器獲取濾波器應(yīng)用處理數(shù)據(jù)D4。并且，無論處理對象數(shù)據(jù)D3的像素位置如何，相同的濾波器可應(yīng)用于處理對象數(shù)據(jù)D3。濾波處理部41在多次濾波處理中的至少任一次濾波處理中，可使用具有與處理對象數(shù)據(jù)D3中的像素位置無關(guān)的頻率特性的濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)D4。

另一方面，在圖像濾波處理P中的多次濾波處理(第1濾波處理F1～第N濾波處理FN)的每一次處理中，在增益應(yīng)用處理PG中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)D4的增益根據(jù)“獲取原圖像數(shù)據(jù)時所使用的光學(xué)系統(tǒng)的光學(xué)特性即根據(jù)與獲取原圖像數(shù)據(jù)時的攝影條件相對應(yīng)的光學(xué)特性而確定的圖像濾波處理P的作為目標(biāo)的頻率特性”來獲取。

該“圖像濾波處理P的作為目標(biāo)的頻率特性”可根據(jù)光學(xué)系統(tǒng)的種類在實驗上或理論上預(yù)先求出，也可預(yù)先求出根據(jù)這種“圖像濾波處理P的作為目標(biāo)的頻率特性”而獲取的“增益應(yīng)用處理PG中所使用的增益”。

例如作為光學(xué)特性而假設(shè)“點(diǎn)擴(kuò)散函數(shù)”，并作為獲取原圖像數(shù)據(jù)D1時的攝影條件的一例而假設(shè)“F值”時，預(yù)先假設(shè)拍攝獲取原圖像數(shù)據(jù)D1時可采用的F值，能夠預(yù)先導(dǎo)出與該每一“可采用的F值”對應(yīng)的光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)。通過基于該光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)(光學(xué)傳遞函數(shù))的頻率特性，能夠顯示圖像濾波處理P的作為目標(biāo)的頻率特性，并能夠使用利用了維納濾波器等任意設(shè)計基準(zhǔn)的反向濾波器設(shè)計方法。

并且，當(dāng)濾波器應(yīng)用處理PF中所使用的濾波器固定時，也可預(yù)先求出該濾波器的頻率特性。因此，當(dāng)濾波器應(yīng)用處理PF中固定使用濾波器時，能夠根據(jù)該濾波器的頻率特性和預(yù)先導(dǎo)出的點(diǎn)擴(kuò)散函數(shù)預(yù)先求出“根據(jù)與獲取原圖像數(shù)據(jù)時的F值相對應(yīng)的點(diǎn)擴(kuò)散函數(shù)而確定的圖像濾波處理P的作為目標(biāo)的頻率特性相對應(yīng)的增益”。以這種方式導(dǎo)出的增益通過圖3所示的增益確定部43和圖4及圖5所示的增益獲取部45而供給到濾波處理部41(參考后述“增益應(yīng)用部49”)。

對增益的具體的計算方法例將進(jìn)行后述，但優(yōu)選上述“圖像濾波處理P的作為目標(biāo)的頻率特性”或“與圖像濾波處理P的作為目標(biāo)的頻率特性相對應(yīng)的增益”由數(shù)碼相機(jī)10(透鏡單元11和/或相機(jī)主體12)的制造商預(yù)先求出后存儲于存儲器，并優(yōu)選能夠適當(dāng)?shù)乩眠M(jìn)行原圖像數(shù)據(jù)D1的圖像濾波處理P時存儲于該存儲器的數(shù)據(jù)。

另外，圖像濾波處理P的作為目標(biāo)的頻率特性并不限于基于光學(xué)系統(tǒng)(透鏡14及光圈15等)的點(diǎn)擴(kuò)散函數(shù)(光學(xué)傳遞函數(shù))的頻率特性，能夠?qū)⒏鶕?jù)光學(xué)系統(tǒng)(透鏡14及光圈15等)的攝影條件(上述光圈值(F值)等各種因素)導(dǎo)出的各種頻率特性設(shè)為“圖像濾波處理P的作為目標(biāo)的頻率特性”。因此，例如“根據(jù)光圈值(F值)而峰值不同的頻率特性”也可設(shè)定為“圖像濾波處理P的作為目標(biāo)的頻率特性”。

接著，對進(jìn)行圖像濾波處理P(多次濾波處理)的電路結(jié)構(gòu)例進(jìn)行說明。

構(gòu)成圖像濾波處理P的濾波處理(第1濾波處理F1～第N濾波處理FN)的數(shù)量N優(yōu)選小于在如以往的方法中根據(jù)因素設(shè)計濾波器時的濾波器的總數(shù)M。以優(yōu)選為M的50％以下，進(jìn)一步優(yōu)選為30％以下，進(jìn)一步優(yōu)選為10％以下的方式設(shè)定構(gòu)成圖像濾波處理P的濾波處理的數(shù)N。其中，對于構(gòu)成圖像濾波處理P的濾波處理的數(shù)N，多次濾波處理中所使用的濾波器中抽頭數(shù)量最大的濾波器的抽頭數(shù)量(最大抽頭數(shù)量)成為上限。這是因為，若為濾波器的抽頭數(shù)量以上，則無法增加濾波器的種類。

另外，構(gòu)成圖像濾波處理P的濾波處理的數(shù)N優(yōu)選為10以下，進(jìn)一步優(yōu)選為6以下，進(jìn)一步優(yōu)選為4以下，但濾波處理的數(shù)N的具體的數(shù)值例并不限于這些。并且，構(gòu)成圖像濾波處理P的多次濾波處理(濾波處理部41)中所使用的多個濾波器的抽頭數(shù)量在濾波器之間可相同也可不同。

在以下與圖9～圖12相關(guān)的說明中，為了方便，假設(shè)“N＝2”，對濾波處理部41中所進(jìn)行的多次濾波處理由第1濾波處理F1及第2濾波處理F2構(gòu)成的情況進(jìn)行說明。其中，“N”為3以上的整數(shù)，在濾波處理部41進(jìn)行3次以上的濾波處理的情況下，也可通過相同的設(shè)計方法實現(xiàn)濾波處理部41。

圖9是表示濾波處理部41的電路結(jié)構(gòu)的一例的圖。圖9中示出有串聯(lián)連接進(jìn)行第1濾波處理F1～第N濾波處理FN(其中，本例中“N＝2”)的每一次處理的電路的情況的一例。

本例的濾波處理部41將在第1濾波處理F1中獲取的濾波處理數(shù)據(jù)D6-1用作第2濾波處理F2中的處理對象數(shù)據(jù)D3-2。即，濾波處理部41具有第1濾波器應(yīng)用部48-1、第1增益應(yīng)用部49-1及第1處理數(shù)據(jù)計算部50-1，且通過它們進(jìn)行第1濾波處理F1。并且，濾波處理部41具有第2濾波器應(yīng)用部48-2、第2增益應(yīng)用部49-2及第2處理數(shù)據(jù)計算部50-2，且通過它們進(jìn)行第2濾波處理F2。

第1濾波器應(yīng)用部48-1對第1濾波處理F1的處理對象數(shù)據(jù)D3-1應(yīng)用第1濾波處理用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)D4-1。第1增益應(yīng)用部49-1對從第1濾波器應(yīng)用部48-1輸出的濾波器應(yīng)用處理數(shù)據(jù)D4-1應(yīng)用第1濾波處理用增益g₀來獲取增益應(yīng)用處理數(shù)據(jù)D5-1。同樣地，第2濾波器應(yīng)用部48-2對第2濾波處理F2的處理對象數(shù)據(jù)D3-2應(yīng)用第2濾波處理用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)D4-2。第2增益應(yīng)用部49-2對從第2濾波器應(yīng)用部48-2輸出的濾波器應(yīng)用處理數(shù)據(jù)D4-2應(yīng)用第2濾波處理用增益g₁來獲取增益應(yīng)用處理數(shù)據(jù)D5-2。

另外，在各濾波處理中所使用的濾波器可被各濾波器應(yīng)用部48(第1濾波器應(yīng)用部48-1及第2濾波器應(yīng)用部48-2)保持，也可存儲于未圖示的存儲器而由各濾波器應(yīng)用部48適當(dāng)?shù)刈x出。并且，在各濾波處理中所使用的增益可通過圖3所示的增益確定部43或圖4及圖5所示的增益獲取部45供給到各增益應(yīng)用部49(第1增益應(yīng)用部49-1及第2增益應(yīng)用部49-2)。

并且，本例的濾波處理部41還具有將處理對象數(shù)據(jù)D3與增益應(yīng)用處理數(shù)據(jù)D5相加并輸出濾波處理數(shù)據(jù)D6的第1處理數(shù)據(jù)計算部50-1及第2處理數(shù)據(jù)計算部50-2。即，第1處理數(shù)據(jù)計算部50-1對從第1增益應(yīng)用部49-1輸出的增益應(yīng)用處理數(shù)據(jù)D5-1加上處理對象數(shù)據(jù)D3-1并輸出濾波處理數(shù)據(jù)D6-1。同樣地，第2處理數(shù)據(jù)計算部50-2對從第2增益應(yīng)用部49-2輸出的增益應(yīng)用處理數(shù)據(jù)D5-2加上處理對象數(shù)據(jù)D3-2并輸出濾波處理數(shù)據(jù)D6-2。

另外，在通過第1濾波處理F1及第2濾波處理F2構(gòu)成圖像濾波處理P的本例中，第1濾波處理F1中的處理對象數(shù)據(jù)D3-1為原圖像數(shù)據(jù)D1，第2濾波處理F2中的濾波處理數(shù)據(jù)D6-2成為處理圖像數(shù)據(jù)D2。

圖10是表示濾波處理部41的電路結(jié)構(gòu)的其他例子的圖。圖10中示出有并聯(lián)連接進(jìn)行第1濾波處理F1～第N濾波處理FN(其中，本例中“N＝2”)的每一次處理的電路的情況的一例。

本例中，串聯(lián)連接與第1濾波處理F1相關(guān)的第1濾波器應(yīng)用部48-1和第1增益應(yīng)用部49-1，且串聯(lián)連接與第2濾波處理F2相關(guān)的第2濾波器應(yīng)用部48-2和第2增益應(yīng)用部49-2。并且，并聯(lián)連接“與第1濾波處理F1相關(guān)的第1濾波器應(yīng)用部48-1及第1增益應(yīng)用部49-1”與“與第2濾波處理F2相關(guān)的第2濾波器應(yīng)用部48-2及和第2增益應(yīng)用部49-2”。并且，濾波處理部41具有將從第1增益應(yīng)用部49-1輸出的增益應(yīng)用處理數(shù)據(jù)D5-1與從第2增益應(yīng)用部49-2輸出的增益應(yīng)用處理數(shù)據(jù)D5-2相加的加法器52。另外，設(shè)置有通過將加算數(shù)據(jù)D7和處理對象數(shù)據(jù)D3相加來獲取處理圖像數(shù)據(jù)D2的處理圖像數(shù)據(jù)計算部51，所述加算數(shù)據(jù)D7通過與在所有濾波處理(本例中為第1濾波處理F1及第2濾波處理F2)中獲取的增益應(yīng)用處理數(shù)據(jù)D5(濾波處理數(shù)據(jù)D6)相加而獲得。

具有該圖10所示的電路結(jié)構(gòu)的本例的濾波處理部41在第1濾波處理F1及第2濾波處理F2中使用相同的數(shù)據(jù)(即原圖像數(shù)據(jù)D1)來作為處理對象數(shù)據(jù)D3。并且，濾波處理部41根據(jù)在第1濾波處理F1中獲取的濾波處理數(shù)據(jù)D6-1和在第2濾波處理F2中獲取的濾波處理數(shù)據(jù)D6-2來獲取處理圖像數(shù)據(jù)D2。另外，本例中，從各濾波處理的增益應(yīng)用部49輸出的增益應(yīng)用處理數(shù)據(jù)D5成為在各濾波處理中獲得的濾波處理數(shù)據(jù)D6。

圖11是表示濾波處理部41的電路結(jié)構(gòu)的其他例子的圖。圖11中示出有并聯(lián)連接進(jìn)行第1濾波處理F1～第N濾波處理FN(其中，本例中“N＝2”)的每一次處理的電路的其他例子。

本例中，與圖10所示的例子同樣地，串聯(lián)連接與第1濾波處理F1相關(guān)的第1濾波器應(yīng)用部48-1和第1增益應(yīng)用部49-1，且串聯(lián)連接與第2濾波處理F2相關(guān)的第2濾波器應(yīng)用部48-2和第2增益應(yīng)用部49-2。并且，并聯(lián)連接“與第1濾波處理F1相關(guān)的第1濾波器應(yīng)用部48-1及第1增益應(yīng)用部49-1”與“與第2濾波處理F2相關(guān)的第2濾波器應(yīng)用部48-2及第2增益應(yīng)用部49-2”。因此，本例的濾波處理部41在第1濾波處理F1及第2濾波處理F2中也使用相同的數(shù)據(jù)(即原圖像數(shù)據(jù)D1)來作為處理對象數(shù)據(jù)D3。

其中，在本例中，通過處理圖像數(shù)據(jù)計算部51加算所有濾波處理(本例中為第1濾波處理F1及第2濾波處理F2)中所獲取的增益應(yīng)用處理數(shù)據(jù)D5(濾波處理數(shù)據(jù)D6)，從而獲取處理圖像數(shù)據(jù)D2。即，濾波處理部41通過在處理圖像數(shù)據(jù)計算部51中將在第1濾波處理F1中獲取的濾波處理數(shù)據(jù)D6-1與在第2濾波處理F2中獲取的濾波處理數(shù)據(jù)D6-2相加來獲取處理圖像數(shù)據(jù)D2。另外，在本例中，從各濾波處理的增益應(yīng)用部49輸出的增益應(yīng)用處理數(shù)據(jù)D5成為在各濾波處理中所獲得的濾波處理數(shù)據(jù)D6。

并且，本例的圖像濾波處理P(第1濾波處理F1～第N濾波處理FN)為了防止處理對象圖像的亮度(DC(Direct Current)成分)發(fā)生變化，優(yōu)選頻率(ω)為0時的濾波器響應(yīng)被設(shè)定為1且設(shè)定為(φ_n(0)＝1)，且關(guān)于任意的增益，亮度被調(diào)整為恒定。

在上述圖9～圖11所示的例子中，在多次濾波處理的每一次處理中設(shè)置獨(dú)立的“濾波器應(yīng)用部48及增益應(yīng)用部49”，但也可通過共同的“濾波器應(yīng)用部48及增益應(yīng)用部49”進(jìn)行多次濾波處理。

圖12是表示濾波處理部41的電路結(jié)構(gòu)的另一例子的圖。圖12中示出有通過單一的濾波器應(yīng)用部48及單一的增益應(yīng)用部49進(jìn)行多次濾波處理的電路結(jié)構(gòu)的例子。圖12所示的電路結(jié)構(gòu)例在濾波器應(yīng)用處理PF及增益應(yīng)用處理PG中發(fā)揮與上述圖9所示的串聯(lián)連接類型的電路結(jié)構(gòu)等效的功能，但在通過單一的“濾波器應(yīng)用部48及增益應(yīng)用部49”進(jìn)行多次濾波處理的方面與圖9所示的電路結(jié)構(gòu)不同。

即，本例的濾波處理部41具有：濾波器應(yīng)用部48，對處理對象數(shù)據(jù)D3應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)D4；及增益應(yīng)用部49，對濾波器應(yīng)用處理數(shù)據(jù)D4應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)D5。并且，濾波處理部41具有：處理數(shù)據(jù)計算部50，將增益應(yīng)用處理數(shù)據(jù)D5與處理對象數(shù)據(jù)D3相加而獲取濾波處理數(shù)據(jù)D6；及反復(fù)運(yùn)算判定部54，判定是否反復(fù)濾波器應(yīng)用部48、增益應(yīng)用部49及處理數(shù)據(jù)計算部50中的運(yùn)算處理。

反復(fù)運(yùn)算判定部54判定通過濾波器應(yīng)用部48、增益應(yīng)用部49及處理數(shù)據(jù)計算部50進(jìn)行的濾波處理的次數(shù)是否達(dá)到預(yù)先確定的N次(本例中“N＝2”)。當(dāng)通過濾波器應(yīng)用部48、增益應(yīng)用部49及處理數(shù)據(jù)計算部50進(jìn)行的濾波處理的次數(shù)未達(dá)到N次時，反復(fù)運(yùn)算判定部54對從處理數(shù)據(jù)計算部50輸出的濾波處理數(shù)據(jù)D6進(jìn)行反饋。若濾波處理數(shù)據(jù)D6被反饋，則濾波器應(yīng)用部48、增益應(yīng)用部49及處理數(shù)據(jù)計算部50將所反饋的濾波處理數(shù)據(jù)D6作為新的處理對象數(shù)據(jù)D3反復(fù)一系列的處理。當(dāng)通過濾波器應(yīng)用部48、增益應(yīng)用部49及處理數(shù)據(jù)計算部50進(jìn)行的濾波處理的次數(shù)達(dá)到N次時，反復(fù)運(yùn)算判定部54將從處理數(shù)據(jù)計算部50最終輸出的濾波處理數(shù)據(jù)D6作為處理圖像數(shù)據(jù)D2來輸出。

在本例中，濾波器應(yīng)用部48中所使用的濾波器h_n從濾波器供給部56被供給到濾波器應(yīng)用部48，增益應(yīng)用部49中所使用的增益g_n從增益供給部55被供給到增益應(yīng)用部49。即，“在第n次濾波處理(其中“1≤n≤N”)中所使用的濾波器h_n-1及增益g_n-1的信息”在濾波器供給部56及增益供給部55中被保持，或者被未圖示的存儲器所保持。濾波器供給部56及增益供給部55從反復(fù)運(yùn)算判定部54發(fā)送“接著，在濾波器應(yīng)用部48、增益應(yīng)用部49及處理數(shù)據(jù)計算部50中進(jìn)行的濾波處理為第n次”這樣的信息，根據(jù)來自該反復(fù)運(yùn)算判定部54的信息對濾波器應(yīng)用部48及增益應(yīng)用部49供給濾波器h_n-1及增益g_n-1。

因此，圖12所示的濾波器應(yīng)用部48在第1濾波處理F1中使用第1濾波處理用濾波器h₀獲取濾波器應(yīng)用處理數(shù)據(jù)D4，并在第2濾波處理F2中使用第2濾波處理用濾波器h₁獲取濾波器應(yīng)用處理數(shù)據(jù)D4。并且，增益應(yīng)用部49在第1濾波處理F1中使用第1濾波處理用增益g₀獲取增益應(yīng)用處理數(shù)據(jù)D5，并在第2濾波處理F2中使用第2濾波處理用增益g₁獲取增益應(yīng)用處理數(shù)據(jù)D5。

另外，關(guān)于將增益供給到增益應(yīng)用部49的增益供給部55，在圖像處理部35具有圖3所示的系統(tǒng)結(jié)構(gòu)時由增益確定部43構(gòu)成，并且在圖像處理部35具有圖4或圖5所示的系統(tǒng)結(jié)構(gòu)時由增益獲取部45構(gòu)成。

上述圖9～圖12所示的電路結(jié)構(gòu)僅為一例，進(jìn)行多次濾波處理的濾波處理部41可由各種電路結(jié)構(gòu)實現(xiàn)，并且具體的電路結(jié)構(gòu)并無特別限定。

例如，圖12中示出有通過單一的“濾波器應(yīng)用部48及增益應(yīng)用部49”進(jìn)行與圖9所示的串聯(lián)連接類型同等的濾波處理(圖像濾波處理P)的電路結(jié)構(gòu)例，但同樣地，也可通過具有單一的“濾波器應(yīng)用部48及增益應(yīng)用部49”的電路結(jié)構(gòu)進(jìn)行與圖10或圖11所示的并聯(lián)連接類型同等的濾波處理(圖像濾波處理P)。

并且，在圖9所示的串聯(lián)連接類型的電路結(jié)構(gòu)中，可省略第1處理數(shù)據(jù)計算部50-1及第2處理數(shù)據(jù)計算部50-2。即，可將從第1增益應(yīng)用部49-1輸出的增益應(yīng)用處理數(shù)據(jù)D5-1設(shè)為第1濾波處理F1的濾波處理數(shù)據(jù)D6-1及第2濾波處理F2的處理對象數(shù)據(jù)D3-2，也可將從第2增益應(yīng)用部49-2輸出的增益應(yīng)用處理數(shù)據(jù)D5-2設(shè)為第2濾波處理F2的濾波處理數(shù)據(jù)D6-2及處理圖像數(shù)據(jù)D2。同樣地，在圖12所示的電路結(jié)構(gòu)中可省略處理數(shù)據(jù)計算部50，也可將從增益應(yīng)用部49輸出的增益應(yīng)用處理數(shù)據(jù)D5設(shè)為濾波處理數(shù)據(jù)D6。

＜增益確定方法＞

接著，對在增益應(yīng)用部49(第1增益應(yīng)用部49-1～第N增益應(yīng)用部49-N)中所使用的增益的確定方法進(jìn)行說明。

圖13是表示增益獲取部45的功能結(jié)構(gòu)的一例的框圖，并且表示與圖3所示的圖像處理部35優(yōu)選組合的增益獲取部45。本例的增益獲取部45具有參考圖像獲取部60、參考圖像分析部61、目標(biāo)頻率特性獲取部62及應(yīng)用增益計算部63。

參考圖像獲取部60獲取反映了光學(xué)特性的參考圖像數(shù)據(jù)，所述光學(xué)特性為獲取原圖像數(shù)據(jù)D1時所使用的光學(xué)系統(tǒng)的光學(xué)特性，且為與獲取原圖像數(shù)據(jù)D1時的攝影條件相對應(yīng)的光學(xué)特性。該參考圖像數(shù)據(jù)優(yōu)選關(guān)于在獲取原圖像數(shù)據(jù)D1時可安裝于相機(jī)主體12的各種透鏡單元11(光學(xué)系統(tǒng))而獲取，并且優(yōu)選關(guān)于獲取原圖像數(shù)據(jù)D1時可采用的攝影條件而獲取。例如在能夠使用多種透鏡單元11(光學(xué)系統(tǒng))攝影獲取原圖像數(shù)據(jù)D1時，優(yōu)選關(guān)于該多種透鏡單元11(光學(xué)系統(tǒng))的每一個獲取參考圖像數(shù)據(jù)。并且，作為攝影條件而假設(shè)圖8所示的F值時，優(yōu)選關(guān)于可采用的所有F值(圖8所示的例中F1～F45共計12個F值)的每一個獲取參考圖像數(shù)據(jù)。

通過參考圖像獲取部60獲取參考圖像數(shù)據(jù)的方法并無特別限定。例如，通過以將包括測量對象的光學(xué)系統(tǒng)的透鏡單元11安裝于相機(jī)主體12的狀態(tài)進(jìn)行拍攝，從而可從成像元件24對參考圖像獲取部60輸入?yún)⒖紙D像數(shù)據(jù)。并且，預(yù)先進(jìn)行利用包括測量對象的光學(xué)系統(tǒng)的透鏡單元11進(jìn)行的拍攝來獲取的參考圖像數(shù)據(jù)被保存于存儲器(圖1所示的主體存儲部29等)時，參考圖像獲取部60可從該存儲器讀出與測量對象的光學(xué)系統(tǒng)相關(guān)的參考圖像數(shù)據(jù)。

另外，參考圖像數(shù)據(jù)的被攝體并無特別限定，即可通過具有特定的形狀、模樣及顏色的被攝體的攝影來獲取參考圖像數(shù)據(jù)，也可通過具有不特定的形狀、模樣及顏色的被攝體的攝影來獲取參考圖像數(shù)據(jù)。當(dāng)通過具有特定的形狀、模樣及顏色的被攝體的攝影來獲取參考圖像數(shù)據(jù)時，優(yōu)選參考圖像獲取部60與設(shè)備控制部34(顯示控制部36等)協(xié)作而控制顯示部27中的顯示等，并進(jìn)行這種被攝體的攝影的引導(dǎo)。并且，當(dāng)通過具有不特定的形狀、模樣及顏色的被攝體的攝影獲取參考圖像數(shù)據(jù)時，參考圖像獲取部60也可對保存于主體存儲部29的過去的攝影圖像數(shù)據(jù)進(jìn)行分析，并且從過去的攝影圖像數(shù)據(jù)中選擇數(shù)據(jù)而作為參考圖像數(shù)據(jù)進(jìn)行特定，所述數(shù)據(jù)為使用包括測量對象的光學(xué)系統(tǒng)的透鏡單元11獲取的每一攝影條件的數(shù)據(jù)，且為具有作為參考圖像數(shù)據(jù)優(yōu)選的圖像特性的數(shù)據(jù)。

參考圖像分析部61進(jìn)行通過參考圖像獲取部60獲取的參考圖像數(shù)據(jù)的分析，并且獲取與獲取原圖像數(shù)據(jù)D1時的攝影條件相對應(yīng)的光學(xué)特性。具體而言，參考圖像分析部61進(jìn)行參考圖像數(shù)據(jù)的頻率分析，并且可獲取測量對象的光學(xué)系統(tǒng)的每一攝影條件的點(diǎn)擴(kuò)散函數(shù)(0TF等)。

目標(biāo)頻率特性獲取部62根據(jù)參考圖像分析部61所獲取的“與攝影條件相對應(yīng)的光學(xué)特性”，按每一攝影條件確定在使用該光學(xué)系統(tǒng)攝影獲取的原圖像數(shù)據(jù)D1的圖像濾波處理P中作為目標(biāo)的頻率特性。例如，當(dāng)圖像濾波處理P為意圖消除光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散現(xiàn)象的處理時，目標(biāo)頻率特性獲取部62根據(jù)參考圖像分析部61所獲取的光學(xué)系統(tǒng)的每一攝影條件的點(diǎn)擴(kuò)散函數(shù)(OTF等)，并通過維納濾波器等的任意設(shè)計基準(zhǔn)構(gòu)建濾波器來獲取圖像濾波處理P的作為目標(biāo)的頻率特性。

應(yīng)用增益計算部63根據(jù)目標(biāo)頻率特性獲取部62所確定的“圖像濾波處理P的作為目標(biāo)的頻率特性”獲取在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益(候補(bǔ)數(shù)據(jù))。基于應(yīng)用增益計算部63的增益的獲取方法并無特別限定，例如可通過最小二乘法計算增益。即，應(yīng)用增益計算部63相對于目標(biāo)頻率特性獲取部62所確定的“圖像濾波處理P的作為目標(biāo)的頻率特性”，根據(jù)多次濾波處理的每一次處理中的頻率特性以最小二乘法擬合圖像濾波處理P的頻率特性，從而可獲取在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益。

應(yīng)用增益計算部63將所獲取的增益作為“增益的候補(bǔ)數(shù)據(jù)”存儲于增益候補(bǔ)數(shù)據(jù)存儲部44。優(yōu)選增益的候補(bǔ)數(shù)據(jù)在與增益選定條件建立對應(yīng)關(guān)聯(lián)的狀態(tài)下存儲于增益候補(bǔ)數(shù)據(jù)存儲部44，所述增益選定條件與圖像濾波處理P的作為目標(biāo)的頻率特性相關(guān)聯(lián)。作為增益選定條件，可優(yōu)選使用表示可影響圖像濾波處理P的作為目標(biāo)的頻率特性的各種因素的特性數(shù)據(jù)，尤其在本例中“獲取原圖像數(shù)據(jù)D1時的攝影條件”被視為增益選定條件。因此，圖像濾波處理P的作為目標(biāo)的頻率特性為“基于通過攝影獲取原圖像數(shù)據(jù)D1時所使用的光學(xué)系統(tǒng)(透鏡14及光圈15等)的點(diǎn)擴(kuò)散函數(shù)(光學(xué)傳遞函數(shù))的頻率特性”時，與影響該點(diǎn)擴(kuò)散函數(shù)的各種因素(例如用于獲取原圖像數(shù)據(jù)D1的攝影時的光圈值(F值)、變焦值(焦點(diǎn)距離)、被攝體距離、聚焦位置、光學(xué)系統(tǒng)類別、成像元件24的傳感器SN比、像高(圖像內(nèi)位置)及光學(xué)系統(tǒng)個體差等攝影條件)相關(guān)的特性數(shù)據(jù)可作為“增益選定條件”而與增益的候補(bǔ)數(shù)據(jù)建立對應(yīng)關(guān)聯(lián)。

如此將增益的候補(bǔ)數(shù)據(jù)與增益選定條件建立對應(yīng)關(guān)聯(lián)來存儲于增益候補(bǔ)數(shù)據(jù)存儲部44時，參考圖像獲取部60優(yōu)選獲取在多個攝影條件(增益選定條件)下攝影獲取的多個參考圖像數(shù)據(jù)，參考圖像分析部61優(yōu)選對在多個攝影條件下攝影獲取的多個參考圖像數(shù)據(jù)進(jìn)行分析來獲取光學(xué)特性。并且，目標(biāo)頻率特性獲取部62優(yōu)選從多個攝影條件下的光學(xué)特性獲取與多個攝影條件相關(guān)的圖像濾波處理P的作為目標(biāo)的頻率特性，應(yīng)用增益計算部63優(yōu)選獲取與多個攝影條件建立關(guān)聯(lián)的增益，并將該增益與對應(yīng)的攝影條件(增益選定條件)建立對應(yīng)關(guān)聯(lián)來存儲于增益候補(bǔ)數(shù)據(jù)存儲部44。

圖14是表示圖13所示的增益獲取部45的增益獲取流程的流程圖。在本例中，如上所述，首先通過參考圖像獲取部60獲取使用測量對象的光學(xué)系統(tǒng)攝影獲取的參考圖像數(shù)據(jù)(圖14的S11)，并通過參考圖像分析部61進(jìn)行該參考圖像數(shù)據(jù)的分析而獲取測量對象的光學(xué)系統(tǒng)的每一攝影條件的光學(xué)特性(S12)。而且，根據(jù)測量對象的光學(xué)系統(tǒng)的每一攝影條件的光學(xué)特性通過目標(biāo)頻率特性獲取部62獲取圖像濾波處理P的作為目標(biāo)的頻率特性(S13)，并根據(jù)該作為目標(biāo)的頻率特性通過應(yīng)用增益計算部63獲取每一攝影條件的增益的候補(bǔ)數(shù)據(jù)(S14)。

如此獲取的增益的候補(bǔ)數(shù)據(jù)作為與測量對象的光學(xué)系統(tǒng)的每一個攝影條件的光學(xué)特性建立關(guān)聯(lián)的“增益表信息”，通過應(yīng)用增益計算部63被存儲于增益候補(bǔ)數(shù)據(jù)存儲部44(S15)。由此，增益確定部43從存儲于增益候補(bǔ)數(shù)據(jù)存儲部44的增益的候補(bǔ)數(shù)據(jù)中，確定在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益，并能夠?qū)⒃撍_定之后的增益發(fā)送到濾波處理部41。

圖15是表示增益獲取部45的功能結(jié)構(gòu)的其他例子的框圖，并且表示與圖4及圖5所示的圖像處理部35優(yōu)選組合的增益獲取部45。本例的增益獲取部45具有目標(biāo)頻率特性獲取部62及應(yīng)用增益計算部63，目標(biāo)頻率特性獲取部62從頻率分析部66的頻率特性存儲部68獲取圖像濾波處理P的作為目標(biāo)的頻率特性。

頻率分析部66具有參考圖像獲取部60、參考圖像分析部61、目標(biāo)頻率特性確定部67及頻率特性存儲部68。本例的參考圖像獲取部60及參考圖像分析部61與圖13所示的上述參考圖像獲取部60及參考圖像分析部61同樣地獲取參考圖像數(shù)據(jù)，并獲取在獲取原圖像數(shù)據(jù)D1時所使用的光學(xué)系統(tǒng)的每一攝影條件的光學(xué)特性。并且，本例的目標(biāo)頻率特性確定部67與圖13所示的上述目標(biāo)頻率特性獲取部62同樣地，根據(jù)參考圖像分析部61所獲取的光學(xué)系統(tǒng)的每一攝影條件的光學(xué)特性，按每一攝影條件確定在使用該光學(xué)系統(tǒng)攝影獲取的原圖像數(shù)據(jù)D1的圖像濾波處理P中作為目標(biāo)的頻率特性。

其中，本例的目標(biāo)頻率特性確定部67將與所確定的圖像濾波處理P的作為目標(biāo)的頻率特性相關(guān)的數(shù)據(jù)與對應(yīng)的光學(xué)系統(tǒng)的數(shù)據(jù)及攝影條件建立對應(yīng)關(guān)聯(lián)而存儲于頻率特性存儲部68。在此所說的“對應(yīng)的光學(xué)系統(tǒng)的數(shù)據(jù)及攝影條件”為可分別確定測量對象的光學(xué)系統(tǒng)及攝影條件的任意的數(shù)據(jù)，例如可由分配到各光學(xué)系統(tǒng)的(透鏡單元11)的種類信息(例如型號等)與攝影條件(例如F值等)的組合表示。

本例的目標(biāo)頻率特性獲取部62獲取濾波處理部41中的成為圖像濾波處理P的對象的原圖像數(shù)據(jù)D1的攝影時所使用的光學(xué)系統(tǒng)的種類信息(對應(yīng)的光學(xué)系統(tǒng)的數(shù)據(jù))及原圖像數(shù)據(jù)D1的攝影條件，并根據(jù)其種類信息及攝影條件從頻率特性存儲部68獲取與拍攝原圖像數(shù)據(jù)D1時所使用的光學(xué)系統(tǒng)及攝影條件建立對應(yīng)關(guān)聯(lián)的圖像濾波處理P的作為目標(biāo)的頻率特性相關(guān)的數(shù)據(jù)。應(yīng)用增益計算部63根據(jù)目標(biāo)頻率特性獲取部62所確定的“圖像濾波處理P的作為目標(biāo)的頻率特性”，獲取在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益并供給到濾波處理部41。

如此，本例的增益獲取部45從頻率特性存儲部68讀出與原圖像數(shù)據(jù)D1的攝影時所使用的光學(xué)系統(tǒng)及攝影條件相關(guān)的“圖像濾波處理P的作為目標(biāo)的頻率特性”來獲取增益。因此，能夠?qū)㈩l率分析部66中的“用于獲取圖像濾波處理P的作為目標(biāo)的頻率特性的處理”與增益獲取部45中的“用于獲取濾波處理部41中實際使用的增益的處理”分離。

圖16是表示圖15所示的頻率分析部66的頻率特性獲取流程的流程圖。本例中，如上所述，首先通過參考圖像獲取部60按每一攝影條件獲取使用測量對象的光學(xué)系統(tǒng)攝影獲取的參考圖像數(shù)據(jù)(圖16的S21)，通過參考圖像分析部61進(jìn)行該參考圖像數(shù)據(jù)的分析來獲取測量對象的光學(xué)系統(tǒng)的每一攝影條件的光學(xué)特性(S22)。而且，通過目標(biāo)頻率特性確定部67從測量對象的光學(xué)系統(tǒng)的每一攝影條件的光學(xué)特性按每一攝影條件確定圖像濾波處理P的作為目標(biāo)的頻率特性(S23)，并存儲于頻率特性存儲部68(S24)。

圖17是表示圖15所示的增益獲取部45的增益獲取流程的流程圖。本例中，如上所述，首先通過目標(biāo)頻率特性獲取部62從頻率特性存儲部68獲取與濾波處理部41中的成為圖像濾波處理P的對象的原圖像數(shù)據(jù)D1的攝影時所使用的光學(xué)系統(tǒng)及攝影條件建立對應(yīng)關(guān)聯(lián)的圖像濾波處理P的作為目標(biāo)的頻率特性相關(guān)的數(shù)據(jù)(圖17的S31)。而且，通過應(yīng)用增益計算部63根據(jù)該作為目標(biāo)的頻率特性獲取在濾波處理中所使用的增益(S32)，供給到濾波處理部41(S33)。

＜增益系數(shù)(增益值矢量)的計算方法＞

以下，對上述增益獲取部45(尤其應(yīng)用增益計算部63)中的運(yùn)算處理的具體的流程進(jìn)行說明。作為一例，主要對濾波處理部41具有圖11所示的電路結(jié)構(gòu)的情況進(jìn)行說明，但對于濾波處理部41具有其他電路結(jié)構(gòu)(參考圖9～圖10及圖12)的情況也可通過同樣的運(yùn)算處理計算增益。

以下的方法采用根據(jù)頻率及圖像內(nèi)的位置(像素位置)的每一個進(jìn)行加權(quán)的最小二乘基準(zhǔn)，并以使通過濾波處理部41進(jìn)行的圖像濾波處理P整體的頻率特性接近作為目標(biāo)的所希望的頻率特性的方式求出增益。

在圖11所示的電路結(jié)構(gòu)中，由“φ_n-1(ω)”表示進(jìn)行第n濾波處理Fn(其中“1≤n≤N”)的濾波器應(yīng)用部48-n中所使用的濾波器的頻率特性，并且若由“g_n-1”表示增益應(yīng)用部49-n中所使用的增益，則第n濾波處理Fn的頻率特性由“g_n-1φ_n-1(ω)”來表示。因此，若由“f(ω)”表示濾波處理部41所進(jìn)行的圖像濾波處理P(第1濾波處理F1～第N濾波處理FN)整體的頻率特性，則“f(ω)＝g₀φ₀(ω)……+g_N-1φ_N-1(ω)(其中“N”為2以上的整數(shù))”成立。

另外，在圖9及圖12所示的電路結(jié)構(gòu)中，若由“1+g_n-1(ψ_n-1(ω)-1)”表示第n濾波處理Fn整體的頻率特性，則在各濾波器應(yīng)用部48中所使用的濾波器的頻率特性φ_n-1(ω)由“φ_n-1(ω)＝ψ_n-1(ω)-1”來表示，圖像濾波處理P整體的頻率特性f(ω)由“f(ω)＝(1+g₀φ₀(ω))……×(1+g_N-1φ_N-1(ω))”來表示。并且，在圖10所示的電路結(jié)構(gòu)中，圖像濾波處理P整體的頻率特性f(ω)由“f(ω)＝1+g₀φ₀(ω)……+g_N-1φ_N-1(ω)”來表示。

因此，下述與圖11的電路結(jié)構(gòu)相關(guān)的說明中，通過將圖11的電路結(jié)構(gòu)的頻率特性“f(ω)＝g₀φ₀(ω)……+g_N-1φ_N-1(ω)”應(yīng)用于頻率特性“f(ω)＝1+g₀φ₀(ω)……+g_N-1φ_N-1(ω)”，從而也能夠應(yīng)用于圖10所示的電路結(jié)構(gòu)。例如，將圖10的電路結(jié)構(gòu)的上述頻率特性f(ω)中的“1+g₀φ₀(ω)”作為“圖11的電路結(jié)構(gòu)的上述頻率特性f(ω)中的“g₀φ₀(ω)””進(jìn)行處理，從而與圖11的電路結(jié)構(gòu)相關(guān)的下述說明還可應(yīng)用到圖10所示的電路結(jié)構(gòu)。同樣地，與圖11的電路結(jié)構(gòu)相關(guān)的下述說明通過將圖11的電路結(jié)構(gòu)的頻率特性“f(ω)＝g₀φ₀(ω)……+g_N-1φ_N-1(ω)”應(yīng)用到“f(ω)＝(1+g₀φ₀(ω))……×(1+g_N-1φ_N-1(ω))”，從而還可應(yīng)用到圖9及圖12所示的電路結(jié)構(gòu)。另外，在該情況下，通過利用對數(shù)化處理，從而圖9及圖12所示的電路結(jié)構(gòu)的頻率特性f(ω)的積的運(yùn)算式被轉(zhuǎn)換為和的運(yùn)算式，可容易地將與圖11的電路結(jié)構(gòu)相關(guān)的下述說明應(yīng)用到圖9及圖12所示的電路結(jié)構(gòu)。

在此，假設(shè)第n濾波處理Fn的濾波器應(yīng)用部48-n中所使用的濾波器為基于以拍攝獲取原圖像數(shù)據(jù)D1時所使用的光學(xué)系統(tǒng)(透鏡14及光圈15等)的點(diǎn)擴(kuò)散函數(shù)的圖像復(fù)原用濾波器。基于點(diǎn)擴(kuò)散函數(shù)的圖像復(fù)原用濾波器如下所述關(guān)于頻率ω具有二維自由度，并且關(guān)于圖像內(nèi)位置(像素位置)r具有二維自由度，因此成為具有總計“4個自由度”的頻率特性。

[數(shù)式1]

ω∈R²

r∈R²

R²：二維實數(shù)列矢量空間

若使用這種頻率矢量ω及圖像內(nèi)位置矢量r，則能夠由“φ_n-1(ω，r)”表示在第n濾波處理Fn的濾波器應(yīng)用部48-n中所使用的濾波器的頻率特性。通過關(guān)于針對頻率為N_ω個及對圖像內(nèi)位置為N_r個的采樣點(diǎn)進(jìn)行濾波器的頻率特性φ_n(ω，r)的離散化來獲得下述矢量φ_n。

[數(shù)式2]

C^N：N維復(fù)數(shù)列矢量空間

：Kronecker積

e_j：N_ω維列矢量空間的標(biāo)準(zhǔn)基底

e′_k：N_r維列矢量空間的標(biāo)準(zhǔn)基底

另外，頻率“ω_j”及圖像內(nèi)位置“r_k”可由下述式表示，“ω_j”表示與頻率相關(guān)的N_ω個采樣點(diǎn)，“r_k”表示與圖像內(nèi)位置相關(guān)的N_r個采樣點(diǎn)。

[數(shù)式3]

由在多次濾波處理(第1濾波處理F1～第N濾波處理FN)中所使用的增益構(gòu)成的增益矢量(增益組)g由下述式表示。

[數(shù)式4]

g＝[g₀ g₁ … g_N-1]^T

T：轉(zhuǎn)置(Transpose)

設(shè)定有由上述式表示的增益的圖像濾波處理P整體(整個濾波處理部41)的頻率特性“f(ω，r|g)”在圖11所示的電路結(jié)構(gòu)中，由下述式表示。

[數(shù)式5]

另一方面，欲實現(xiàn)的“圖像濾波處理P的作為目標(biāo)的頻率特性“d(ω，r)””可通過任意的方法來確定，其確定方法并無特別限定。通常，基于點(diǎn)擴(kuò)散函數(shù)的復(fù)原濾波器能夠通過卷積型濾波器適當(dāng)?shù)貙崿F(xiàn)。作為確定基于點(diǎn)擴(kuò)散函數(shù)的濾波器的頻率特性的方法有各種方法，例如廣泛使用考慮到攝影光學(xué)系統(tǒng)的SN比的維納濾波器。維納濾波器能夠通過下述式根據(jù)點(diǎn)擴(kuò)散函數(shù)的光學(xué)傳遞函數(shù)(OTF)及SN比的信息表示濾波器的頻率特性。因此，可根據(jù)該維納濾波器確定欲實現(xiàn)的圖像濾波處理P的作為目標(biāo)的頻率特性“d(ω，r)”。

[數(shù)式6]

H(ω，r)：光學(xué)系統(tǒng)的OTF

H^*(ω，r)：光學(xué)系統(tǒng)的OTF的復(fù)共軛

SNR(ω，r)：攝像系統(tǒng)的SN比

由“f(ω，r|g)”表示圖像濾波處理P整體的頻率特性，由“d(ω，r)”表示欲實現(xiàn)的圖像濾波處理P的作為目標(biāo)的頻率特性，由“w(ω，r)”表示近似加權(quán)函數(shù)。此時，能夠?qū)谟上率鍪奖硎镜募訖?quán)最小二乘準(zhǔn)則的類函數(shù)“J_LMS[g]”進(jìn)行最小化的增益矢量設(shè)為圖像濾波處理P中的表示最佳頻率特性的增益矢量。

[數(shù)式7]

J_LMS[g]＝∫∫w(ω，r)||f(ω，r|g)-d(ω，r)||²dωdr

若通過頻率及圖像內(nèi)位置的采樣點(diǎn)對上述式進(jìn)行離散化，則可獲得下述式。

[數(shù)式8]

J′_LMS[g]＝||W^1/2(Ag-d)||²

其中

W＝diag[w]

A＝[φ₀ φ₁ … φ_N-1]

上述式中“diag”表示將參數(shù)矢量設(shè)為對角元素的對角矩陣，上述式的“w”及“d”以與“矢量φ_n”相關(guān)的上述方法相同的方式分別將“w(ω，r)”及“d(ω，r)”矢量化。

根據(jù)上述式，增益矢量的最優(yōu)解g_OPT由下述式來表示。

[數(shù)式9]

H：伴隨矩陣(Hermitian Transpose)

如果近似加權(quán)函數(shù)及各濾波器的頻率特性(濾波器系數(shù))被確定，上述式中的“(A^HWA)^-1A^HW”的部分由可預(yù)先計算的矩陣表示。這樣，增益矢量的最優(yōu)解g_OPT能夠通過對根據(jù)表示個別的像劣化特性的點(diǎn)擴(kuò)散函數(shù)而獲取的濾波器特性應(yīng)用矩陣的運(yùn)算來計算。

另外，當(dāng)濾波處理部41采用圖11所示的電路結(jié)構(gòu)時，優(yōu)選除了上述條件之外，還可應(yīng)用為了防止圖像的DC成分(亮度)的改變而將DC成分的放大率(增益)設(shè)為1.0倍這樣的約束條件。具體而言，按照下述式獲取增益矢量的最優(yōu)解g_OPT的情況相當(dāng)于“將DC成分的放大率設(shè)為1.0倍而未改變圖像整體的亮度”的情況。

[數(shù)式10]

上述式能夠作為QP(Quadratic Programming)問題進(jìn)行處理，“N”較小時，能夠以較少的計算量解決。并且，如作為一例以下述式表示那樣，通過對各濾波器的DC成分的放大率設(shè)置限制，能夠排除DC成分的放大率的限制(約束條件)。

[數(shù)式11]

φ₀(0)＝1，φ_i(0)＝0(1≤i＜N)

＜加權(quán)的設(shè)計＞

上述最小二乘法中，如由“w(ω，r)”所表示，根據(jù)頻率和圖像內(nèi)位置(像素位置)對頻率特性的近似精度進(jìn)行加權(quán)。例如，根據(jù)上述近似誤差評價函數(shù)J_LMS[g]進(jìn)行基于最小二乘法的頻率特性的近似時，其近似誤差評價函數(shù)J_LMS[g]根據(jù)頻率和圖像內(nèi)位置(像素位置)進(jìn)行加權(quán)。通過調(diào)整該加權(quán)能夠控制畫質(zhì)。即，通過最小二乘法而近似于圖像濾波處理P的作為目標(biāo)的頻率特性時，通過對特定的頻率或特定的像素位置調(diào)整加權(quán)，能夠在最小二乘法中提高與特定的頻率或特定的像素位置相關(guān)的近似精度，并且能夠控制畫質(zhì)。

例如，上述最小二乘法中，可將低頻帶中的加權(quán)設(shè)定為大于高頻帶中的加權(quán)。通常，在人類的視覺特性上，低頻成分比高頻成分更容易被感知，因此作為“近似于圖像濾波處理P的作為目標(biāo)的頻率特性”的精度使低頻成分優(yōu)先于高頻成分，從而能夠高精度地處理低頻成分。

另外，在此所說的“低頻帶(低頻成分)”及“高頻帶(高頻成分)”表示相對頻率范圍(頻帶)。例如，可將采樣頻率的1/4(＝0.25fs)以下的范圍視為“低頻帶(低頻成分)”，并且將大于0.25fs且為0.5fs以下范圍視為“高頻帶(高頻成分)”。

并且，在上述最小二乘法中，可根據(jù)獲取原圖像數(shù)據(jù)D1時的攝影條件，將高頻帶中的加權(quán)設(shè)定為大于低頻帶中的加權(quán)。通常，噪聲較多時，若濾波器的高頻特性差，則會導(dǎo)致噪聲放大。因此，在可預(yù)想到噪聲較多的攝影條件下獲取的原圖像數(shù)據(jù)D1的圖像濾波處理P中，有時優(yōu)選作為“近似于圖像濾波處理P的作為目標(biāo)的頻率特性”的精度而使高頻成分優(yōu)先于低頻成分。

另外，在此所說的“獲取原圖像數(shù)據(jù)D1時的攝影條件”并無特別限定。能夠?qū)⒖捎绊懺肼暳康娜我獾囊蛩卦O(shè)為攝影條件，例如可采用光圈值(F值)或成像元件24的攝影感度來作為可影響噪聲量的“獲取原圖像數(shù)據(jù)D1時的攝影條件”。

并且，上述最小二乘法中的加權(quán)可根據(jù)原圖像數(shù)據(jù)D1中的像素位置來確定。例如，當(dāng)通過使用一般用戶所使用的通常的數(shù)碼相機(jī)進(jìn)行拍攝而獲取原圖像數(shù)據(jù)D1時，通常主要被攝體配置于圖像中央部，因此有重視圖像中央部的像素位置的高頻成分的傾向。另一方面，在監(jiān)控攝像機(jī)等中攝影范圍的邊界附近的圖像的重要性較高時，有重視圖像周邊部的像素位置的高頻成分的傾向。如此，有時根據(jù)原圖像數(shù)據(jù)D1中的像素位置而重要度不同，并且可根據(jù)攝像裝置的種類或攝影圖像的用途(產(chǎn)品)來確定加權(quán)較高的像素位置(被優(yōu)先的像素位置)。

例如，在一般用戶所使用的數(shù)碼相機(jī)10所具備的光學(xué)系統(tǒng)中，中央部具有通常分辨率較高且不依賴于頻率的優(yōu)異的分辨特性，周邊部有分辨性能下降的傾向。因此，在通過使用圖1所示的數(shù)碼相機(jī)10進(jìn)行拍攝而獲取的原圖像數(shù)據(jù)D1的圖像濾波處理P中，在圖像中央部增加高頻帶的加權(quán)，在圖像周邊部增加低頻帶的加權(quán)，從而能夠進(jìn)行與光學(xué)特性相應(yīng)的畫質(zhì)改善。即，在上述最小二乘法中，在距原圖像數(shù)據(jù)D1的圖像中心為第1距離以下的像素位置(低像高的像素位置)，可將高頻帶中的加權(quán)設(shè)為大于距原圖像數(shù)據(jù)D1的圖像中心比第1距離遠(yuǎn)的像素位置(高像高的像素位置)。并且，在上述最小二乘法中，在距原圖像數(shù)據(jù)D1的圖像中心比第2距離遠(yuǎn)的像素位置(高像高的像素位置)，可將低頻帶中的加權(quán)設(shè)為大于距原圖像數(shù)據(jù)D1的圖像中心為第2距離以下的像素位置(低像高的像素位置)。

另外，在此所說的“高頻帶”優(yōu)選包含于大于0.25fs且為0.5fs以下的范圍，“低頻帶”優(yōu)選包含于0.25fs以下的范圍。并且，在此所說的“第1距離”與“第2距離”既可相同，也可不同。

＜濾波器的頻率特性不包括頻率衰減時的設(shè)計＞

通過具有如圖9所示的串聯(lián)連接類型的電路結(jié)構(gòu)的濾波處理部41進(jìn)行多次濾波處理時，優(yōu)選根據(jù)在各濾波器應(yīng)用部48中應(yīng)用于處理對象數(shù)據(jù)D3的濾波器的頻率特性是否具有頻率衰減來設(shè)計控制方法。頻率衰減在“由光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)表示的點(diǎn)像的擴(kuò)散(模糊)的程度較大”且“SN比較低”時尤其有效地發(fā)揮作用，并且?guī)硪种聘哳l帶中的噪聲成分的效果。

例如，在各濾波器應(yīng)用部48中所使用的濾波器無需具有頻率衰減效果時，能夠根據(jù)下述式設(shè)定圖11所示的濾波處理部41的各濾波器應(yīng)用部48中所使用的濾波器的頻率特性φ_n(ω)。

[數(shù)式12]

上述式表示當(dāng)在各濾波器應(yīng)用部48中所使用的濾波器的頻率特性φ_n(ω)滿足“|φ_n(ω)|＞1”時，使用具有本來的頻率特性φ_n(ω)的濾波器，且當(dāng)滿足“|φ_n(ω)|≤1”時，使用成為“頻率特性(響應(yīng))＝1”的濾波器。

另外，各濾波器應(yīng)用部48中所使用的濾波器無需具有頻率衰減效果時，圖9～圖10及圖12所示的濾波處理部41的各濾波器應(yīng)用部48中所使用的濾波器的頻率特性φ_n(ω)例如能夠根據(jù)下述式來設(shè)定。

[數(shù)式13]

并且，過程濾波處理部41的電路結(jié)構(gòu)為如圖9所示的串聯(lián)連接類型時，圖像濾波處理P整體的頻率特性根據(jù)在各濾波器應(yīng)用部48中所使用的濾波器的頻率特性的積來表現(xiàn)。為了與“并聯(lián)連接類型的圖像濾波處理P整體的頻率特性”同樣地處理該“串聯(lián)連接類型的圖像濾波處理P整體的頻率特性”，優(yōu)選通過將在串聯(lián)連接類型的圖像濾波處理P中所使用的所有濾波器的頻率特性對數(shù)化而將“積”的問題轉(zhuǎn)換為“和”的問題。此時，通過與具有并聯(lián)連接類型的電路結(jié)構(gòu)的濾波處理部41相關(guān)的增益矢量的最優(yōu)解g_OPT的計算方法相同的運(yùn)算處理，能夠計算與具有串聯(lián)連接類型的電路結(jié)構(gòu)的濾波處理部41相關(guān)的增益矢量的最優(yōu)解g_OPT。另外，在濾波器的頻率特性不包括衰減特性的情況中，通過上述對數(shù)化，濾波器的頻率特性不會成為較大的負(fù)值，能夠利用下述式進(jìn)行復(fù)數(shù)的對數(shù)化。

[數(shù)式14]

log z＝log|z|+j(∠z+2nπ)

z：復(fù)數(shù)(＝x+jy＝r_ee^jθ)

j：虛數(shù)單位

r_c：絕對值

x＝r_ecosθ

y＝r_esinθ

θ：偏角(＝∠z)

＜濾波器的頻率特性包括頻率衰減時的設(shè)計＞

例如，在具有如圖9所示的串聯(lián)連接類型的電路結(jié)構(gòu)的濾波處理部41中，各濾波器應(yīng)用部48中所使用的濾波器的頻率特性包括頻率衰減時，優(yōu)選注意以下方面。即，頻率放大率接近0倍時，對數(shù)化后的值成為較大的負(fù)值，因此在進(jìn)行對數(shù)化處理之后以最小二乘準(zhǔn)則進(jìn)行頻率特性的擬合的情況等，可能導(dǎo)致其較大的負(fù)值支配頻率特性近似的基準(zhǔn)。因此，優(yōu)選在對數(shù)化時以預(yù)先確定的最小負(fù)值進(jìn)行剪輯(clipping)，或者實行較小地調(diào)節(jié)容易引起頻率衰減的頻帶的加權(quán)等對策。

例如，通過剪輯進(jìn)行對應(yīng)時，濾波處理部41在圖像濾波處理P的作為目標(biāo)的頻率特性中處理圖像數(shù)據(jù)D2與原圖像數(shù)據(jù)D1的比例小于1的頻率中，在多次濾波處理的每一次處理中優(yōu)選使用將濾波處理數(shù)據(jù)D6設(shè)為與濾波器應(yīng)用處理數(shù)據(jù)D4相等的濾波器。

通過以如上所述的方法確定且調(diào)整各濾波處理中所使用的增益，與例如關(guān)于攝影條件的所有組合保持基于點(diǎn)擴(kuò)散函數(shù)的濾波器(濾波器系數(shù))的情況相比，能夠顯著減少應(yīng)保持的參數(shù)個數(shù)。并且，在通常的方法中，若如點(diǎn)擴(kuò)散函數(shù)等那樣的像劣化特性不是已知的，則難以適當(dāng)?shù)剡M(jìn)行濾波器設(shè)計(濾波器系數(shù)設(shè)計)，但根據(jù)本實施方式，在掌握各像劣化特性之前，可預(yù)先結(jié)束需要較多的計算量的有限抽頭長度的FIR濾波器的設(shè)計。此時，能夠在獲取具體的像劣化特性之后通過簡單的計算來計算最佳的增益矢量。

<濾波器的設(shè)計方法>

接著，對在濾波處理部41的各濾波器應(yīng)用部48中使用的濾波器的設(shè)計方法的具體例進(jìn)行說明。

圖18是表示濾波器獲取裝置76的功能結(jié)構(gòu)的一例的框圖。

進(jìn)行在各濾波器應(yīng)用部48中所使用的濾波器的設(shè)計及獲取的濾波器獲取裝置76具有濾波器計算部77。本例的濾波器計算部77獲取根據(jù)與多個攝影條件相對應(yīng)的光學(xué)系統(tǒng)的光學(xué)特性而確定的多種圖像濾波處理(第1圖像濾波處理P1～第k圖像濾波處理Pk(其中“k”為2以上的整數(shù)))的頻率特性數(shù)據(jù)，并輸出包括基準(zhǔn)濾波器h_b及方差濾波器h_v的多個濾波器。即，濾波器計算部77根據(jù)與光學(xué)系統(tǒng)的多個攝影條件相對應(yīng)的光學(xué)特性而確定的多種圖像濾波處理P1～Pk的頻率特性來獲取按照多種圖像濾波處理P1～Pk的頻率特性的平均而確定的基準(zhǔn)濾波器h_b。并且，濾波器計算部77根據(jù)多種圖像濾波處理P1～Pk的頻率特性獲取根據(jù)多種圖像濾波處理P1～Pk的頻率特性的方差而確定的至少一個方差濾波器h_v。

圖19是表示濾波器計算部77的功能結(jié)構(gòu)的一例的框圖。

本例的濾波器計算部77具有平均計算部78、方差計算部79及濾波器特性獲取部80。平均計算部78由多種圖像濾波處理P1～Pk的頻率特性數(shù)據(jù)計算多種圖像濾波處理P1～Pk的頻率特性的平均。方差計算部79由多種圖像濾波處理P1～Pk的頻率特性數(shù)據(jù)計算多種圖像濾波處理P1～Pk的頻率特性的方差。濾波器特性獲取部80根據(jù)由平均計算部78計算出的多種圖像濾波處理P1～Pk的頻率特性的平均來計算基準(zhǔn)濾波器h_b。并且，濾波器特性獲取部80根據(jù)由平均計算部78計算出的多種圖像濾波處理P1～Pk的頻率特性的平均和由方差計算部79計算出的多種圖像濾波處理P1～Pk的頻率特性的方差來計算方差濾波器h_v。

另外，在本例的濾波器計算部77(平均計算部78、方差計算部79及濾波器特性獲取部80)中所使用的多種圖像濾波處理P1～Pk的頻率特性數(shù)據(jù)根據(jù)與多個攝影條件相對應(yīng)的光學(xué)系統(tǒng)的光學(xué)特性而確定。如此，通過以多個攝影條件為基準(zhǔn)確定成為濾波器(基準(zhǔn)濾波器h_b及方差濾波器h_v)的計算基礎(chǔ)的“多種圖像濾波處理P1～Pk的頻率特性數(shù)據(jù)”，由此能夠計算適于這種多個攝影條件的濾波器(基準(zhǔn)濾波器h_b及方差濾波器h_v)。因此，作為這種“多個攝影條件”，攝像獲取原圖像數(shù)據(jù)D1時的“代表性攝影條件”，由此能夠通過濾波處理部41高精度地實現(xiàn)“圖像濾波處理的作為目標(biāo)的頻率特性”。

<多種圖像濾波處理的頻率特性>

在此所說的“多種圖像濾波處理P1～Pk”的每一個處理的頻率特性構(gòu)成“圖像濾波處理P的作為目標(biāo)的頻率特性”，在本例中通過基于拍攝時可采用的每個攝影條件的光學(xué)系統(tǒng)的光學(xué)特性的頻率特性而確定。

例如，“多種圖像濾波處理P1～Pk的頻率特性”為基于光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)的頻率特性時，根據(jù)通過改變可影響點(diǎn)擴(kuò)散函數(shù)的攝影條件(例如F值等)而獲得的多種點(diǎn)擴(kuò)散函數(shù)的頻率特性來確定“多種圖像濾波處理P1～Pk的頻率特性”。即，能夠根據(jù)不同攝影條件下的多種點(diǎn)擴(kuò)散函數(shù)的頻率特性確定“多種圖像濾波處理P1～Pk的頻率特性”。該“多種點(diǎn)擴(kuò)散函數(shù)”可通過任意方法獲取，也可根據(jù)實測值獲取，還可根據(jù)估計值獲取。“多種圖像濾波處理P1～Pk的頻率特性”可使用所獲取的多種點(diǎn)擴(kuò)散函數(shù)并根據(jù)維納濾波器等的任意的設(shè)計基準(zhǔn)來計算。

該“多種圖像濾波處理P1～Pk的頻率特性”能夠通過任意裝置獲取，例如，既可以在濾波器獲取裝置76中獲取，也可通過其他裝置獲取，還可通過濾波器獲取裝置76的濾波器計算部77從未圖示的存儲器讀出而獲取。

＜多種圖像濾波處理的頻率特性的偏差＞

多種圖像濾波處理的頻率特性的偏差可根據(jù)單峰型分布來表現(xiàn)，也可根據(jù)多峰型分布來表現(xiàn)。

圖20是以單峰型分布表示多種圖像濾波處理的頻率特性的偏差的概念圖。圖21是以多峰型分布表示多種圖像濾波處理的頻率特性的偏差的概念圖。

基于圖20所示的單峰型分布的偏差表現(xiàn)方法為通過一個多維復(fù)數(shù)正態(tài)分布(參考圖20的“偏差分布G”)來表現(xiàn)多種圖像濾波處理的頻率特性的偏差的方法。另一方面，基于多峰型分布的表現(xiàn)方法為通過多個多維復(fù)數(shù)正態(tài)分布(參考圖21的“第1偏差分布G1”及“第2偏差分布G2”)來表現(xiàn)多種圖像濾波處理的頻率特性的偏差的方法。

圖20中示出有通過第1濾波處理F1的濾波器的頻率特性φ₀、第2濾波處理F2的濾波器的頻率特性φ₁及第3濾波處理F3的濾波器的頻率特性φ₂表現(xiàn)多種圖像濾波處理的頻率特性的偏差分布G的情況。并且，圖21中示出有通過第1濾波處理F1的濾波器的頻率特性(φ₀⁽¹⁾、φ₀⁽²⁾)、第2濾波處理F2的濾波器的頻率特性(φ₁⁽¹⁾、φ₁⁽²⁾)及第3濾波處理F3的濾波器的頻率特性(φ₂⁽¹⁾、φ₂⁽²⁾)表現(xiàn)構(gòu)成多種圖像濾波處理的頻率特性的偏差分布G的第1偏差分布G1及第2偏差分布G2的每一個的情況。另外，圖20及圖21中圖示有作為一例以濾波處理部41具有圖11所示的電路結(jié)構(gòu)的情況為前提的濾波器的頻率特性φ₀～φ₂。

多種圖像濾波處理的頻率特性的偏差具有例如如圖20所示那樣的橢圓形狀的偏差分布G時，為了通過多個濾波處理(圖20所示的例子中為第1濾波處理F1～第3濾波處理F3)高精度地實現(xiàn)各圖像濾波處理，優(yōu)選根據(jù)偏差分布G的中心、長軸及短軸確定各濾波處理的頻率特性φ₀、φ₁、φ₂。同樣地，多種圖像濾波處理的頻率特性的偏差具有例如如圖21所示那樣的橢圓形狀的第1偏差分布G1及第2偏差分布G2時，為了通過多個濾波處理(圖21所示的例子中為第1濾波處理F1～第3濾波處理F3)高精度地顯示第1偏差分布G1及第2偏差分布G2所包括的各圖像濾波處理，優(yōu)選關(guān)于第1偏差分布G1及第2偏差分布G2的每一個，根據(jù)中心、長軸及短軸確定各濾波處理的頻率特性φ₀⁽¹⁾、φ₁⁽¹⁾、φ₂⁽¹⁾、φ₀⁽²⁾、φ₁⁽²⁾、φ₂⁽²⁾。

＜單峰型分布＞

接著，對將多種圖像濾波處理的頻率特性的偏差視為單峰型分布時(參考圖20)的、濾波器及增益的設(shè)計方法例進(jìn)行說明。

以下的方法有關(guān)一種在實際獲取任意個數(shù)的多種圖像濾波處理的頻率特性的偏差樣品時，求出能夠高精度地補(bǔ)償其圖像濾波處理的頻率特性的偏差的所希望個數(shù)的基底濾波器(FIR濾波器)的頻率特性的方法。并且，對將單峰型分布設(shè)為多維復(fù)數(shù)正態(tài)分布來進(jìn)行模型化并進(jìn)行ML(Maximum Likelihood)推定的情況進(jìn)行說明。

單峰型分布的偏差分布G可根據(jù)多維復(fù)數(shù)正態(tài)分布來表現(xiàn)，其多維復(fù)數(shù)正態(tài)分布通過協(xié)方差矩陣被賦予特征，并通過下式獲得。

[數(shù)式15]

在上述式中，“β_i”表示通過根據(jù)頻率(ω)及位置(r)對關(guān)于多種圖像濾波處理的每一個處理個別地獲取的頻率特性β(ω，r)進(jìn)行離散化而獲得的矢量，“N_p”表示多種圖像濾波處理的數(shù)量。因此，上述式的“Ψ₀”表示多種圖像濾波處理的頻率特性的平均(平均矩陣)，上述式的“R₀”表示多種圖像濾波處理的頻率特性的方差(協(xié)方差矩陣)。

通過按照下述式進(jìn)行由上述式所表示的協(xié)方差矩陣的特征值分解，能夠獲得特征矢量Ψ_i(其中“i”為1以上且N_p以下的整數(shù))。

[數(shù)式16]

根據(jù)Karhunen-Loeve展開，為了通過維度m的線性子空間使偏差分布平均地近似，最佳為使用通過從特征值較大的開始依次通過m個相對應(yīng)的特征矢量Ψ_i(其中“i”為1以上且m以下的整數(shù))展開的子空間。

因此，用于高精度地重現(xiàn)具有單峰型的偏差分布G的多種圖像濾波處理的每一個處理的頻率特性的濾波處理的濾波器的最佳頻率特性φ₀～φ_N-1能夠根據(jù)下述式來獲取。

[數(shù)式17]

φ₀＝ψ₀

φ₁＝ψ₁

φ_N-1＝ψ_N-1

另外，第1濾波處理F1的濾波器的頻率特性φ₀如上所述相當(dāng)于多種圖像濾波處理的頻率特性的分布的中心，因此從對分布中心進(jìn)行固定而使處理穩(wěn)定化的觀點(diǎn)考慮，優(yōu)選第1濾波處理F1中的增益固定為“1.0”。對于其他濾波處理中的增益，例如能夠通過上述加權(quán)最小二乘準(zhǔn)則來求出最佳值。

圖22是概略表示可分類到單峰型分布的多種圖像濾波處理的頻率特性的一例的圖，橫軸表示頻率(ω)，縱軸表示響應(yīng)。在此所說的響應(yīng)是各圖像濾波處理前后的頻率成分量的比(＝處理后的頻率成分量/處理前數(shù)據(jù)的頻率成分量)，“響應(yīng)＝1”表示數(shù)據(jù)在圖像濾波處理的前后相同。

圖22中示出有4種圖像濾波處理(第1圖像濾波處理P1、第2圖像濾波處理P2、第3圖像濾波處理P3及第4圖像濾波處理P4)的頻率特性。這些4種圖像濾波處理P1～P4分別表示不同的頻率特性，但頻率(ω)為“0”時的響應(yīng)均表示“1”。

圖23是概略表示圖22所示的多種圖像濾波處理的頻率特性的方差的一例的圖，橫軸表示頻率(ω)，縱軸表示方差。另外，為了便于說明，圖23并不一定是在嚴(yán)格意義上表示圖22所示的多種圖像濾波處理P1～P4的頻率特性的方差的圖。

圖22所示的4種圖像濾波處理P1～P4，在頻率(ω)為“0”時的響應(yīng)均為“1”，因此頻率(ω)為“0”時的方差均為“0”。在圖23所示的例子中，關(guān)于多種圖像濾波處理P1～P4的頻率特性，顯示出“表示第一大的偏差的成分(參考圖23的符號“H1”)”及“表示第二大的偏差的成分(參考圖23的符號“H2”)”。

圖24是概略表示根據(jù)圖22所示的多種圖像濾波處理的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖24(a)表示“φ₀”，圖24(b)表示“φ₁”，圖24(c)表示“φ₂”。

如上所述，在第1濾波處理F1中所使用的濾波器的頻率特性φ₀優(yōu)選根據(jù)多種圖像濾波處理P1～P4的頻率特性的分布中心(平均)而確定。

并且，在其他濾波處理中所使用的濾波器的頻率特性優(yōu)選從圖23所示的多種圖像濾波處理P1～P4的頻率特性的偏差(方差)較大的成分依次確定。因此，在第2濾波處理F2中所使用的濾波器的頻率特性φ₁優(yōu)選根據(jù)多種圖像濾波處理P1～P4的頻率特性的偏差最大的成分(參考圖23的“H1”)而確定。同樣地，在第3濾波處理F3中所使用的濾波器的頻率特性φ₂優(yōu)選根據(jù)多種圖像濾波處理的頻率特性的偏差第二大的成分(參考圖23的“H2”)而確定。

另外，上述例與圖像濾波處理P包括第1濾波處理F1～第3濾波處理F3的情況有關(guān)，但圖像濾波處理P既可由兩種濾波處理構(gòu)成，也可由4種以上的濾波處理構(gòu)成。例如，由第1濾波處理F1及第2濾波處理F2構(gòu)成圖像濾波處理P時，能夠根據(jù)上述“φ₀”(參考圖24(a))確定在第1濾波處理F1中所使用的濾波器的頻率特性，并能夠根據(jù)上述“φ₁”(參考圖24(b))確定在第2濾波處理F2中所使用的濾波器的頻率特性。

圖25表示與具有圖11所示的電路結(jié)構(gòu)的濾波處理部41所進(jìn)行的圖像濾波處理P(第1濾波處理F1～第3濾波處理F3)相關(guān)的頻率特性f(ω)(參考圖25(a))及增益例(參考圖25(b))。

如上所述，從對多種圖像濾波處理的頻率特性的分布中心進(jìn)行固定而使處理穩(wěn)定化的觀點(diǎn)考慮，優(yōu)選第1濾波處理F1中的增益g₀固定為“1.0”。因此，圖25(b)中例示有增益g₀～g₂，所述增益g₀～g₂在對具有圖11所示的電路結(jié)構(gòu)的濾波處理部41的各濾波器應(yīng)用部48中所使用的濾波器進(jìn)行固定，并且將第1濾波處理F1中的增益g₀固定為“1.0”時，用于通過如圖25(a)所示的整個系統(tǒng)的頻率特性高精度地實現(xiàn)圖22所示的圖像濾波處理P1～P4的每一個處理的頻率特性。

如圖25(b)所示，根據(jù)上述例，能夠?qū)⒍喾N圖像濾波處理P1～P4的頻率特性的數(shù)據(jù)壓縮到3個濾波器的頻率特性φ₀～φ₂(抽頭系數(shù))和12個增益(將g₀固定為“1.0”時是8個增益)。

如此，本例的濾波處理部41在第1濾波處理F1中，作為“濾波器的頻率特性φ₀”使用根據(jù)圖像濾波處理P1～P4的多種頻率特性的平均而確定的基準(zhǔn)濾波器h_b的頻率特性來獲取濾波器應(yīng)用處理數(shù)據(jù)D4-1，在第2濾波處理F2及第3濾波處理F3中，作為“濾波器的頻率特性φ₁”及“濾波器的頻率特性φ₂”使用根據(jù)圖像濾波處理P1～P4的多種頻率特性的方差而確定的兩個方差濾波器h_v的頻率特性來獲取濾波器應(yīng)用處理數(shù)據(jù)D4-2、D4-3。

尤其優(yōu)選濾波處理部41在第1濾波處理F1中使用“根據(jù)與獲取原圖像數(shù)據(jù)D1時的攝影條件相應(yīng)的光學(xué)系統(tǒng)的光學(xué)特性而確定的多種圖像濾波處理的頻率特性的平均而確定的基準(zhǔn)濾波器h_b”來獲取濾波器應(yīng)用處理數(shù)據(jù)D4-1，在第2濾波處理F2及第3濾波處理F3中使用“根據(jù)與獲取原圖像數(shù)據(jù)D1時的攝影條件相應(yīng)的光學(xué)系統(tǒng)的光學(xué)特性而確定的多種圖像濾波處理的頻率特性的方差而確定的方差濾波器h_v”來獲取濾波器應(yīng)用處理數(shù)據(jù)D4-2、D4-3。在這種情況下，優(yōu)選在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)D4的增益根據(jù)與獲取原圖像數(shù)據(jù)D1時的攝影條件相應(yīng)的光學(xué)系統(tǒng)的光學(xué)特性而確定。

圖26是表示根據(jù)單峰型分布計算濾波器系數(shù)的濾波器計算部77的功能結(jié)構(gòu)的一例的框圖。為了由以頻率空間所表示的濾波器特性計算以實際空間所表示的濾波器系數(shù)，本例的濾波器計算部77除了上述平均計算部78、方差計算部79及濾波器特性獲取部80(參考圖19)之外還具有抽頭系數(shù)運(yùn)算部81。

該濾波器計算部77的抽頭系數(shù)運(yùn)算部81獲取具有多個抽頭且對各抽頭分配系數(shù)的基準(zhǔn)濾波器h_b，并且獲取具有多個抽頭且對各抽頭分配系數(shù)的至少一個方差濾波器h_v。“對各抽頭分配系數(shù)的方法”并無特別限定，抽頭系數(shù)運(yùn)算部81(濾波器計算部77)例如能夠根據(jù)后述的SAGE算法或OMP算法計算分配到基準(zhǔn)濾波器h_b及至少一個方差濾波器h_v的每一個濾波器的各抽頭的系數(shù)。

＜多峰型分布＞

接著，對將多種圖像濾波處理的頻率特性的偏差作為多峰型分布來處理時(參考圖21)的濾波器及增益的設(shè)計方法例進(jìn)行說明。

在圖21所示的例子中，在將整體作為一個分布(單峰型分布)處理時，多種圖像濾波處理的頻率特性的偏差分布能夠由圖21所示的“偏差分布G”表示，但近似精度變差。另一方面，將多種圖像濾波處理的頻率特性的偏差分布通過圖21的“第1偏差分布G1”及“第2偏差分布G2”進(jìn)行分離來表示，并將“第1偏差分布G1”及“第2偏差分布G2”的每一個作為獨(dú)立的多維復(fù)數(shù)正態(tài)分布(多峰型分布)進(jìn)行處理，從而能夠提高近似精度。作為該多峰型分布中的ML推定的參數(shù)推定算法，例如能夠適當(dāng)?shù)乩没贓M(Expectation Maximization)算法的混合正態(tài)分布的推定，并能夠進(jìn)行有效的參數(shù)推定。

基于多峰型分布的濾波器的確定方法基本上能夠以與基于上述單峰型分布的濾波器確定方法相同的方法進(jìn)行。即，將多種圖像濾波處理的頻率特性分類到構(gòu)成多峰型分布的多個分布(圖21所示的例子中為第1偏差分布G1及第2偏差分布62)，關(guān)于各分布，能夠以與上述單峰型分布的“偏差分布G”相同的步驟求出濾波器。

圖27是概略表示可分類到多峰型分布的圖像濾波處理的頻率特性的一例的圖，橫軸表示頻率(ω)，縱軸表示響應(yīng)。

圖27中示出有6種圖像濾波處理(第1圖像濾波處理P1、第2圖像濾波處理P2、第3圖像濾波處理P3、第4圖像濾波處理P4、第5圖像濾波處理P5及第6圖像濾波處理P6)的頻率特性。這些6種圖像濾波處理P1～P6分別表示不同的頻率特性，但頻率(ω)為“0”時的響應(yīng)均表示“1”。

在圖27所示的例子中，例如能夠?qū)ⅰ暗?圖像濾波處理P1的頻率特性數(shù)據(jù)、第2圖像濾波處理P2的頻率特性數(shù)據(jù)及第3圖像濾波處理P3的頻率特性數(shù)據(jù)”分類到第1偏差分布G1，并將“第4圖像濾波處理P4的頻率特性數(shù)據(jù)、第5圖像濾波處理P5的頻率特性數(shù)據(jù)及第6圖像濾波處理P6的頻率特性數(shù)據(jù)”分類到第2偏差分布G2。

圖28是概略地表示圖27所示的多種圖像濾波處理的頻率特性的方差的一例的圖，圖28(a)表示分類到第1偏差分布G1的第1圖像濾波處理P1～第3圖像濾波處理P3的頻率特性數(shù)據(jù)的方差，圖28(b)表示分類到第2偏差分布G2的第4圖像濾波處理P4～第6圖像濾波處理P6的頻率特性數(shù)據(jù)的方差。圖28(a)及圖28(b)的橫軸表示頻率(ω)，縱軸表示方差。另外，為了便于說明，圖28(a)及圖28(b)并不一定是嚴(yán)格意義上表示圖27所示的多種圖像濾波處理P1～P6的頻率特性的方差。

圖27所示的6種圖像濾波處理P1～P6的頻率特性，由于頻率(ω)為“0”時的響應(yīng)均為“1”，因此頻率(ω)為“0”時的方差均成為“0”。如圖28(a)及圖28(b)所示，關(guān)于第1偏差分布G1及第2偏差分布G2的每一個偏差分布的“圖像濾波處理的頻率特性的方差”，顯示“表示最大偏差的成分(參考圖28(a)及圖28(b)的“H1”)”及“表示第二大偏差的成分(參考圖28(a)及圖28(b)的“H2”)”。

圖29是概略地表示根據(jù)分類到第1偏差分布G1的第1圖像濾波處理P1～第3圖像濾波處理P3的頻率特性的平均及方差獲得的基底濾波器(特征矢量)的一例的圖，圖29(a)表示“φ₀”，圖29(b)表示“φ₁”，圖29(c)表示“φ₂”。圖30是概略地表示根據(jù)分類到第2偏差分布G2的第4圖像濾波處理P4～第6圖像濾波處理P6的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖30(a)表示“φ₀”，圖30(b)表示“φ₁”，圖30(c)表示“φ₂”。

如上所述，在第1濾波處理F1中所使用的濾波器的頻率特性φ₀優(yōu)選根據(jù)多種圖像濾波處理的頻率特性的分布的中心(平均)而確定。

并且，在其他濾波處理中所使用的濾波器的頻率特性優(yōu)選根據(jù)圖28(a)及圖28(b)的每一個所示的多種圖像濾波處理的頻率特性的偏差(方差)較大的成分而確定。因此，在第2濾波處理F2中所使用的濾波器的頻率特性φ₁優(yōu)選根據(jù)多種圖像濾波處理的頻率特性的偏差最大的成分(參考圖28(a)及圖28(b)的“H1”)而確定。同樣地，在第3濾波處理F3中所使用的濾波器的頻率特性φ₂優(yōu)選根據(jù)多種圖像濾波處理的頻率特性的偏差第二大的成分(參考圖28(a)及圖28(b)的“H2”)而確定。

圖31表示與具有圖11所示的電路結(jié)構(gòu)的濾波處理部41所進(jìn)行的圖像濾波處理P(第1濾波處理F1～第3濾波處理F3)有關(guān)的頻率特性f(ω)(參考圖31(a))及增益例(參考圖31(b))。在有關(guān)圖31所示的多峰型分布的頻率特性f(ω)中，“φ₀⁽ⁱ⁾(ω)”表示在第1濾波處理F1的第1濾波器應(yīng)用部48-1中所使用的濾波器的頻率特性，“g₀”表示在第1濾波處理F1的第1增益應(yīng)用部49-1中所使用的增益。并且，“φ₁⁽ⁱ⁾(ω)”表示在第2濾波處理F2的第2濾波器應(yīng)用部48-2中所使用的濾波器的頻率特性，“g₁”表示在第2濾波處理F2的第2增益應(yīng)用部49-2中所使用的增益。并且，“φ₂⁽ⁱ⁾(ω)”表示在第3濾波處理F3的第3濾波器應(yīng)用部48-3中所使用的濾波器的頻率特性，“g₂”表示在第3濾波處理F3的第3增益應(yīng)用部49-3中所使用的增益。

各濾波器的頻率特性φ₁⁽ⁱ⁾(ω)～φ₃⁽ⁱ⁾(ω)中的符號“i”表示簇索引，所述簇索引表示按照多峰型分布進(jìn)行分類的組。例如，分類到第1偏差分布G1的第1圖像濾波處理P1～第3圖像濾波處理P3中，能夠如圖31(b)所示那樣分配“1”作為簇索引i。另一方面，分類到第2偏差分布G2的第4圖像濾波處理P4～第6圖像濾波處理P6中，能夠如圖31(b)所示那樣分配“2”作為簇索引i。

另外，圖31(b)中例示有增益g₀～g₂，所述增益g₀～g₂在對具有圖11所示的電路結(jié)構(gòu)的濾波處理部41的各濾波器應(yīng)用部48中所使用的濾波器進(jìn)行固定，并且將在第1濾波處理F1中所使用的增益g₀固定為“1.0”時，用于通過圖31(a)所示的整個系統(tǒng)的頻率特性高精度地實現(xiàn)圖27所示的圖像濾波處理P1～P6的每一個處理的頻率特性。

如圖31(b)所示，根據(jù)上述例子，能夠?qū)⒍喾N圖像濾波處理P1～P6的頻率特性的數(shù)據(jù)壓縮為6個濾波器頻率特性φ₀⁽¹⁾～φ₂⁽¹⁾、φ₀⁽²⁾～φ₂⁽²⁾(抽頭系數(shù))和18個增益(將g₀固定為“1.0”時是12個增益)。

如此，根據(jù)基于多峰型分布的濾波器的確定方法，需要與構(gòu)成多峰型分布的組(圖21所示的例子中為第1偏差分布G1及第2偏差分布G2)的個數(shù)相應(yīng)的濾波器組。因此，在利用多峰型分布時，與利用單峰型分布時相比，需要預(yù)先存儲于存儲器的濾波器的數(shù)量增加，所需的存儲容量也增大。并且，為了將各濾波器與所分類的組建立對應(yīng)關(guān)聯(lián)，如上述簇索引那樣的相關(guān)信息也需要預(yù)先存儲于存儲器。

圖32是表示根據(jù)多峰型分布計算濾波器系數(shù)的濾波器計算部77的功能結(jié)構(gòu)的一例的框圖。本例的濾波器計算部77為了將圖像濾波處理的多種頻率特性分類到構(gòu)成多峰型分布的多個組，除了上述平均計算部78、方差計算部79、濾波器特性獲取部80及抽頭系數(shù)運(yùn)算部81(參考圖26)之外還具有濾波器組分類部82。

本例的濾波器組分類部82以混合正態(tài)分布為基準(zhǔn)，將多種圖像濾波處理(圖27所示的例子中為第1圖像濾波處理P1～第6圖像濾波處理P6)的頻率特性分類到多個濾波器組(圖21所示的例子中為第1偏差分布G1及第2偏差分布G2)。

圖33是通過濾波器組分類部82分類到多個濾波器組的多種圖像濾波處理(頻率特性)的概念圖。濾波器組分類部82對多種圖像濾波處理的頻率特性數(shù)據(jù)的相似性進(jìn)行分析，并將各圖像濾波處理的頻率特性分類到對應(yīng)的濾波器組。在上述例中，通過濾波器組分類部82，第1圖像濾波處理P1～第3圖像濾波處理P3被分類到第1偏差分布G1的濾波器組，第4圖像濾波處理P4～第6圖像濾波處理P6被分類到第2偏差分布G2的濾波器組。

構(gòu)成濾波器計算部77的其他平均計算部78、方差計算部79、濾波器特性獲取部80及抽頭系數(shù)運(yùn)算部81根據(jù)分類到多個濾波器組的多種圖像濾波處理的頻率特性中多個濾波器組的每一個所包括的多種圖像濾波處理的頻率特性獲取與多個濾波器組的每一個相關(guān)的基準(zhǔn)濾波器h_b及至少一個方差濾波器h_v。

根據(jù)上述例，在多種圖像濾波處理的頻率特性的偏差的分布為已知的情況下，能夠高精度地設(shè)計用于覆蓋該偏差的最佳的濾波器。尤其，通過根據(jù)多種圖像濾波處理的頻率特性的偏差的分布選擇單峰型分布及多峰型分布中合適的分布類型，能夠獲取可高精度地重現(xiàn)作為目標(biāo)的圖像濾波處理的頻率特性的濾波器(濾波器系數(shù))及增益。

如上所述，根據(jù)本實施方式，能夠減少濾波器數(shù)(數(shù)據(jù)量)，并能夠避免保持與所有條件有關(guān)的FIR濾波器(濾波器系數(shù)(抽頭系數(shù)))，而能夠平均地進(jìn)行使用了良好的濾波器的圖像濾波處理。

＜FIR濾波器的設(shè)計＞

接著，對抽頭數(shù)量設(shè)置限制的FIR濾波器的設(shè)計方法進(jìn)行說明。

通過利用上述方法靈活地調(diào)整濾波器的頻率特性，能夠設(shè)計用于有效地彌補(bǔ)多種圖像濾波處理的頻率特性的偏差的最佳的濾波器。然而，通過對抽頭數(shù)量設(shè)定限制的FIR濾波器實現(xiàn)實際使用的濾波器時，難以理想地獲得所希望的頻率特性。

通常，以較少的抽頭數(shù)量實現(xiàn)陡峭的頻率特性是非常困難的。尤其與較小的特征值對應(yīng)的特征矢量傾向于具有陡峭的鋸齒形狀。因此，即使通過上述方法獲取濾波器的理想的頻率特性，在沒有充分準(zhǔn)備實際所使用的濾波器的抽頭數(shù)量的情況下，也難以充分覆蓋多種圖像濾波處理的頻率特性的偏差。

該問題與如下問題類似，即關(guān)于基底為非線性且參數(shù)化的函數(shù)，以通過盡量較少的數(shù)量的基底的線性和使一定矢量近似為目的確定基底的參數(shù)。提出有用于解決這種問題的各種方法。例如SAGE算法為在電波傳播中的來波分析等中所使用的算法，并且為根據(jù)EM算法的構(gòu)思以使殘差最小的方式逐個求出基底的方法。并且，OMP算法為在壓縮感知(Compressed Sensing)的領(lǐng)域使用過完備庫(overcomplete dictionary)求出稀疏的系數(shù)矢量時所使用的算法。OMP的方法本身并不是求出參數(shù)化的基底的方法，但通過將選自O(shè)MP中的庫(dictionary)的情況設(shè)定改變?yōu)檫x擇接近于參數(shù)化的基底函數(shù)的基底函數(shù)的情況設(shè)定，由此能夠?qū)MP的方法應(yīng)用于FIR濾波器的設(shè)計。

對SAGE算法及OMP算法的具體運(yùn)算方法例將在后面說明，濾波器計算部77的抽頭系數(shù)運(yùn)算部81(參考圖26及圖32)能夠根據(jù)這些算法由偏差分布函數(shù)計算分配到至少一個方差濾波器h_v的各抽頭的系數(shù)，所述偏差分布函數(shù)為表示多種圖像濾波處理的頻率特性的方差的偏差分布函數(shù)，且為根據(jù)分配到基準(zhǔn)濾波器h_b的各抽頭的系數(shù)而確定的偏差分布函數(shù)(參考后述協(xié)方差矩陣“R_i”)。

根據(jù)后述SAGE算法及OMP算法，濾波器計算部77的抽頭系數(shù)運(yùn)算部81在將“I”設(shè)為2以上的整數(shù)時，獲取第1個至第I個方差濾波器h_v，并由根據(jù)分配到基準(zhǔn)濾波器h_b的各抽頭的系數(shù)而確定的偏差分布函數(shù)計算分配到第1個方差濾波器h_v的各抽頭的系數(shù)。并且，濾波器計算部77的抽頭系數(shù)運(yùn)算部81在將“J”設(shè)為2以上且I以下的整數(shù)時，由偏差分布函數(shù)計算分配到第J個方差濾波器h_v的各抽頭的系數(shù)，所述偏差分布函數(shù)根據(jù)分配到基準(zhǔn)濾波器h_b的各抽頭的系數(shù)和分配到第1個至第J-1個方差濾波器h_v的每一個濾波器的各抽頭的系數(shù)而確定。

在SAGE算法中，濾波器計算部77的抽頭系數(shù)運(yùn)算部81進(jìn)一步根據(jù)偏差分布函數(shù)(參考后述協(xié)方差矩陣“Q_j”)來更新分配到基準(zhǔn)濾波器h_b及至少一個方差濾波器h_v中的至少任一個的各抽頭的系數(shù)，所述偏差分布函數(shù)為表示多種圖像濾波處理的頻率特性的方差的偏差分布函數(shù)，且表示根據(jù)分配到基準(zhǔn)濾波器h_b及至少一個方差濾波器h_v的每一個濾波器的各抽頭的系數(shù)而確定的殘差成分。

另外，SAGE算法及OMP算法在各種文獻(xiàn)中被進(jìn)行說明，例如可參考非專利文獻(xiàn)1、非專利文獻(xiàn)2及非專利文獻(xiàn)3。其中，SAGE算法及OMP算法這兩者均以矢量的基底分解為目的，原本就不是處理濾波器設(shè)計中的子空間近似，因此需要對計算式適當(dāng)?shù)丶右孕薷摹?/p>

＜應(yīng)用了OMP算法的最佳濾波器組的計算＞

以下對基于OMP算法的濾波器設(shè)計的一例進(jìn)行說明。下述各步驟的處理基本上在濾波器計算部77(抽頭系數(shù)運(yùn)算部81)中進(jìn)行，但各步驟的處理的一部分或全部可在其他部中進(jìn)行。

以下對以單峰型分布為前提的情況進(jìn)行說明。另外，關(guān)于以多峰型分布為前提的情況，如上所述能夠應(yīng)用以單峰型分布為前提的情況。即，通過將多個濾波器組(圖21所示的例子中為第1偏差分布G1及第2偏差分布G2)的每一個濾波器作為單峰型分布的偏差分布G進(jìn)行處理，由此還能夠?qū)?yīng)以多峰型分布為前提的情況。

·步驟1

首先，通過任意方法獲取最接近由上述“Ψ₀”所表示的多種圖像濾波處理的頻率特性的平均(中心值)的FIR濾波器的抽頭系數(shù)，并將通過該抽頭系數(shù)實際實現(xiàn)的濾波器的頻率特性作為“在第1濾波處理F1中所使用的濾波器的頻率特性φ₀”。

·步驟2

根據(jù)下述式計算將上述“在第1濾波處理F1中實際使用的濾波器的頻率特性φ₀”假設(shè)為多種圖像濾波處理的頻率特性的平均(中心值)時的協(xié)方差矩陣R₀。

[數(shù)式18]

·步驟3

如下述式所示，協(xié)方差矩陣R₀被設(shè)定為協(xié)方差矩陣R₁，參數(shù)“i”被設(shè)定為“1”。

[數(shù)式19]

R_i＝R₀

i←1

·步驟4

與協(xié)方差矩陣R_i的最大的特征值對應(yīng)的特征矢量Ψ_i通過上述方法求出。

·步驟5

最接近特征矢量Ψ_i的頻率特性的FIR濾波器的抽頭系數(shù)通過任意方法來獲取，并通過該抽頭系數(shù)而實際實現(xiàn)的濾波器的頻率特性被設(shè)定為“φ_i”。具有該頻率特性φ_i的濾波器與在第“i+1”濾波處理中所使用的濾波器相對應(yīng)，若例如為“i＝1”，則求出在第2濾波處理F2中所使用的濾波器的頻率特性φ₂。與該“φ_i+1”相關(guān)的濾波器的抽頭系數(shù)存儲于未圖示的存儲器。

·步驟6

將已經(jīng)求出的“φ₁～φ_i”作為基底，從協(xié)方差矩陣排除可通過該基底的展開子空間表現(xiàn)的成分，并計算殘差。例如，若將“i”設(shè)為3以上的整數(shù)而定義為“Φ_i＝[φ₁φ₂……φ_i]”，則在用“Φ_i⁺”表示Φ_i的Moore-Penrose廣義逆時，由“Φ_iΦ_i⁺”來表示對span{φ₁，φ₂，……，φ_i}的正投影矩陣。若使用該正投影矩陣Φ_iΦ_i⁺，則協(xié)方差矩陣“R_i+1”由下述式所表示。

[數(shù)式20]

I：單位矩陣

·步驟7

如下述式那樣重新設(shè)定“i”作為“i＝i+1”，反復(fù)“步驟4”～“步驟7”直至成為“i＝N-1”。以這種方法求出濾波器的頻率特性φ₁～φ_N-1。

[數(shù)式21]

i←i+1

＜應(yīng)用了SAGE算法的最佳濾波器組的計算＞

接著，對基于SAGE算法的濾波器設(shè)計的一例進(jìn)行說明。以下對以單峰型分布為前提的情況進(jìn)行說明，但在對以多峰型分布為前提的情況也可應(yīng)用本例的這方面與上述OMP算法相同。

SAGE算法在以下兩個方面與OMP算法不同：是基于只選擇進(jìn)行上述步驟6中的協(xié)方差矩陣的殘差的更新的基底(FIR濾波器)的減法運(yùn)算的算法；在暫時求出所有基底之后也對各基底繼續(xù)單獨(dú)進(jìn)行更新。

更具體而言，上述OMP算法的步驟1～步驟5在SAGE算法中也同樣地進(jìn)行。其中，在上述OMP算法的步驟6中所使用的協(xié)方差矩陣“R_i+1”在SAGE算法中通過下述式求出。

[數(shù)式22]

上述OMP算法的步驟7在SAGE算法中也同樣地進(jìn)行。其中，SAGE算法中，在步驟7之后進(jìn)行下述步驟8～步驟12。

·步驟8

如由下述式所表示那樣，參數(shù)“j”被設(shè)定為初始值“1”。

[數(shù)式23]

j←1

·步驟9

如由下述式所表示那樣，從協(xié)方差矩陣排除可由將第j個基底除外的基底而得的展開子空間表現(xiàn)的成分，并計算殘差。

[數(shù)式24]

Ψ_j＝[φ₁ φ₂ … φ_j-1 φ_j+1 … φ_N-1]

·步驟10

表示由上述式所表示的殘差成分的與協(xié)方差矩陣Q_j的最大的特征值對應(yīng)的特征矢量Ψ_j通過上述方法求出。

·步驟11

最接近特征矢量Ψ_i的頻率特性的FIR濾波器的抽頭系數(shù)通過任意方法來獲取，并通過該抽頭系數(shù)而實際實現(xiàn)的濾波器的頻率特性被設(shè)定為“φ_j”。由此在第“j+1”濾波處理中所使用的濾波器的頻率特性φ_j(抽頭系數(shù))被更新，并存儲到未圖示的存儲器。

·步驟12

如由下述式所表示，改變參數(shù)“j”的同時反復(fù)進(jìn)行“步驟9”～“步驟12”，直至通過下述式所定義的整體的近似誤差“J_TOTAL”達(dá)到特定的目標(biāo)范圍內(nèi)，或者循環(huán)次數(shù)(計算時間)達(dá)到特定的上限為止。

[數(shù)式25]

Φ_ALL＝[φ₁ φ₂ … φ_N-1]

tr：trace(對角和)

通過利用上述SAGE算法或OMP算法，只要能夠掌握多種圖像濾波處理的頻率特性的偏差(例如平均及方差)，就能夠高精度地設(shè)計FIR濾波器的抽頭系數(shù)。并且，在掌握個別的具體的圖像濾波處理的頻率特性之前，能夠確定在圖像濾波處理(多個濾波處理)中可實際使用的濾波器的抽頭系數(shù)。

＜其他變形例＞

上述各功能結(jié)構(gòu)可通過任意的硬件、軟件或兩者的組合實現(xiàn)。例如，對使計算機(jī)執(zhí)行上述各裝置及處理部中的圖像處理方法(圖像處理步驟及功能)、增益獲取方法(增益獲取處理步驟及功能)及濾波器獲取方法(濾波器獲取處理步驟及功能)的程序、記錄了該程序的計算機(jī)可讀取的記錄介質(zhì)(非暫時記錄介質(zhì))、或者可安裝該程序的計算機(jī)也能夠應(yīng)用本發(fā)明。

并且，圖像濾波處理(多次濾波處理)的目的也并無特別限定，在各濾波處理(各濾波器應(yīng)用部48)中，可使用以改善畫質(zhì)為目的的基于點(diǎn)擴(kuò)散函數(shù)的復(fù)原濾波器或輪廓增強(qiáng)濾波器、以賦予特殊效果為目的的藝術(shù)濾波器或模糊濾波器等各種濾波器。

＜對EDoF系統(tǒng)的應(yīng)用例＞

例如，對于針對通過具有被放大的景深(焦深)(EDoF：Extended Depth of Field(Focus))的光學(xué)系統(tǒng)(攝影透鏡等)拍攝獲取的圖像數(shù)據(jù)(原圖像數(shù)據(jù)D1)的復(fù)原處理，也能夠應(yīng)用本發(fā)明所涉及的圖像濾波處理。針對通過EDoF光學(xué)系統(tǒng)在景深(焦深)被放大的狀態(tài)下拍攝獲取的模糊圖像的圖像數(shù)據(jù)進(jìn)行復(fù)原處理，從而能夠在廣范圍內(nèi)復(fù)原生成對焦?fàn)顟B(tài)的高分辨率的圖像數(shù)據(jù)。此時，使用復(fù)原濾波器進(jìn)行復(fù)原處理，所述復(fù)原濾波器為基于EDoF光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)(PSF、OTF、MTF、PTF等)的復(fù)原濾波器，并且具有設(shè)定成能夠在被放大的景深(焦深)的范圍內(nèi)進(jìn)行良好的圖像復(fù)原的濾波器系數(shù)的復(fù)原濾波器。

以下對與經(jīng)由EDoF光學(xué)系統(tǒng)攝影獲取的圖像數(shù)據(jù)的復(fù)原相關(guān)的系統(tǒng)(EDoF系統(tǒng))的一例進(jìn)行說明。另外，在以下所示的例子中，對針對由去馬賽克處理后的圖像數(shù)據(jù)(RGB數(shù)據(jù))獲得的亮度信號(Y數(shù)據(jù))進(jìn)行復(fù)原處理的例子進(jìn)行說明，但進(jìn)行復(fù)原處理的時機(jī)并無特別限定，例如可對“去馬賽克處理前的圖像數(shù)據(jù)(馬賽克圖像數(shù)據(jù))”或“去馬賽克處理后且亮度信號轉(zhuǎn)換處理前的圖像數(shù)據(jù)(去馬賽克圖像數(shù)據(jù))進(jìn)行復(fù)原處理。

圖34是表示具備EDoF光學(xué)系統(tǒng)的攝像模塊101的一方式的框圖。本例的攝像模塊(數(shù)碼相機(jī)等)101包含EDoF光學(xué)系統(tǒng)(透鏡單元)110、成像元件112、AD轉(zhuǎn)換部114及復(fù)原處理塊(圖像處理部35)120。

圖35是表示EDoF光學(xué)系統(tǒng)110的一例的圖。本例的EDoF光學(xué)系統(tǒng)110具有單焦點(diǎn)的被固定的攝影透鏡110A及配置于光瞳位置的濾光器111。濾光器111調(diào)制相位，并以獲得被放大的景深(焦深)(EDoF)的方式將EDoF光學(xué)系統(tǒng)110(攝影透鏡110A)EDoF化。如此，攝影透鏡110A和濾光器111構(gòu)成調(diào)制相位來擴(kuò)大景深的透鏡部。

另外，EDoF光學(xué)系統(tǒng)110根據(jù)需要包含其他構(gòu)成要件，例如在濾光器111附近配設(shè)有光圈(省略圖示)。并且，濾光器111可以是一個，也可以組合多個。并且，濾光器111僅僅是光學(xué)相位調(diào)制機(jī)構(gòu)的一例，還可以通過其他機(jī)構(gòu)實現(xiàn)EDoF光學(xué)系統(tǒng)110(攝影透鏡110A)的EDoF化。例如，可通過以具有與本例的濾光器111相同功能的方式進(jìn)行透鏡設(shè)計的攝影透鏡110A實現(xiàn)EDoF光學(xué)系統(tǒng)110的EDoF化代替濾光器111的設(shè)置。

即，能夠通過使對成像元件112的受光面的成像的波面發(fā)生變化的各種機(jī)構(gòu)，實現(xiàn)EDoF光學(xué)系統(tǒng)110的EDoF化。例如，可將“厚度發(fā)生變化的光學(xué)元件”、“折射率發(fā)生變化的光學(xué)元件(折射率分布型波面調(diào)制透鏡等)”、“通過對透鏡表面進(jìn)行編碼等而厚度或折射率發(fā)生變化的光學(xué)元件(在波面調(diào)制混合式透鏡、透鏡面上作為相位面而形成的光學(xué)元件等)”、“能夠調(diào)制光的相位分布的液晶元件(液晶空間相位調(diào)制元件等)”用作EDoF光學(xué)系統(tǒng)110的EDoF化機(jī)構(gòu)。如此，不僅能夠?qū)赏ㄟ^光波面調(diào)制元件(濾光器111(相位板))形成規(guī)則地分散而得的圖像的情況應(yīng)用本發(fā)明，而且能夠?qū)刹皇褂霉獠嬲{(diào)制元件而通過攝影透鏡110A本身形成與使用光波面調(diào)制元件時相同的分散圖像的情況應(yīng)用本發(fā)明。

圖35所示的EDoF光學(xué)系統(tǒng)110可以省略機(jī)械地進(jìn)行調(diào)焦的調(diào)焦機(jī)構(gòu)，因此能夠?qū)崿F(xiàn)小型化，可優(yōu)選搭載于帶相機(jī)的移動電話或移動信息終端。

通過被EDoF化的EDoF光學(xué)系統(tǒng)110之后的光學(xué)像成像于圖34所示的成像元件112，在此轉(zhuǎn)換成電信號。

成像元件112由以規(guī)定的圖案排列(拜耳排列、G條紋R/G全方格、X-Trans排列或蜂窩排列等)配置成矩陣狀的多個像素構(gòu)成，各像素包含微透鏡、濾色器(本例中為RGB濾色器)及光電二極管而構(gòu)成。經(jīng)由EDoF光學(xué)系統(tǒng)110入射到成像元件112的受光面的光學(xué)像通過排列于該受光面的各光電二極管而轉(zhuǎn)換成與入射光量相應(yīng)的量的信號電荷。并且，積蓄在各光電二極管的R、G、B的信號電荷作為每個像素的電壓信號(圖像信號)被依次輸出。

AD轉(zhuǎn)換部114將從成像元件112按每個像素被輸出的模擬R、G、B圖像信號轉(zhuǎn)換成數(shù)字RGB圖像信號。通過AD轉(zhuǎn)換部114轉(zhuǎn)換成數(shù)字圖像信號的數(shù)字圖像信號被加入到復(fù)原處理塊120。

復(fù)原處理塊120例如包括黑電平調(diào)整部122、白平衡增益部123、伽馬處理部124、去馬賽克處理部125、RGB/YCrCb轉(zhuǎn)換部126及Y信號復(fù)原處理部127。

黑電平調(diào)整部122對從AD轉(zhuǎn)換部114輸出的數(shù)字圖像信號實施黑電平調(diào)整。在黑電平調(diào)整中，可采用公知的方法。例如，在著眼于某一有效光電轉(zhuǎn)換元件的情況下，求出與在包括該有效光電轉(zhuǎn)換元件的光電轉(zhuǎn)換元件行中所包含的多個OB光電轉(zhuǎn)換元件的每一個對應(yīng)的暗電流量獲取用信號的平均值，從與該有效光電轉(zhuǎn)換元件對應(yīng)的暗電流量獲取用信號減去該平均值，從而進(jìn)行黑電平調(diào)整。

白平衡增益部123進(jìn)行與在調(diào)整了黑電平數(shù)據(jù)的數(shù)字圖像信號中包含的RGB各顏色信號的白平衡增益對應(yīng)的增益調(diào)整。

伽馬處理部124進(jìn)行執(zhí)行半色調(diào)等的灰度校正的伽馬校正，使得白平衡調(diào)整后的R、G、B圖像信號成為期望的伽馬特性。

去馬賽克處理部125對伽馬校正后的R、G、B圖像信號施加去馬賽克處理。具體而言，去馬賽克處理部125通過對R、G、B的圖像信號施加顏色插值處理，生成從攝像元件112的各受光像素輸出的一組圖像信號(R信號、G信號、B信號)。即，雖然在顏色去馬賽克處理前，來自各受光像素的像素信號是R、G、B的圖像信號中的任一個圖像信號，但在顏色去馬賽克處理后，輸出與各受光像素對應(yīng)的R、G、B信號的3個像素信號的組。

RGB/YcrCb轉(zhuǎn)換部126將經(jīng)去馬賽克處理的每個像素的R、G、B信號轉(zhuǎn)換為亮度信號Y和色差信號Cr、Cb，并輸出每個像素的亮度信號Y及色差信號Cr、Cb。

Y信號復(fù)原處理部127根據(jù)預(yù)先存儲的復(fù)原濾波器，對來自RGB/YcrCb轉(zhuǎn)換部126的亮度信號Y進(jìn)行復(fù)原處理。復(fù)原濾波器例如包括具有7×7的核尺寸的反卷積核(與M＝7、N＝7的抽頭數(shù)量對應(yīng))和與該反卷積核對應(yīng)的運(yùn)算系數(shù)(與復(fù)原增益數(shù)據(jù)、濾波系數(shù)對應(yīng))，使用于光學(xué)濾波器111的相位調(diào)制量的反卷積處理(反卷積運(yùn)算處理)。另外，復(fù)原濾波器將與光學(xué)濾波器111對應(yīng)的部分存儲到未圖示的存儲器(例如，附隨地設(shè)有Y信號復(fù)原處理部127的存儲器)中。此外，反卷積核的核尺寸并不限于7×7。另外，Y信號復(fù)原處理部127具有上述圖像處理部35中的銳化處理的功能。

接著，對基于復(fù)原處理塊120的復(fù)原處理進(jìn)行說明。圖36是表示基于圖34所示的復(fù)原處理塊120的復(fù)原處理流程的一例的圖。

在黑電平調(diào)整部122的一個輸入中，由AD轉(zhuǎn)換部114被施加數(shù)字圖像信號，在其他輸入中被施加黑電平數(shù)據(jù)，黑電平調(diào)整部122根據(jù)數(shù)字圖像信號減去黑電平數(shù)據(jù)，并將減去了黑電平數(shù)據(jù)的數(shù)字圖像信號輸出到白平衡增益部123(S41)。由此，在數(shù)字圖像信號中不包括黑電平成分，表示黑電平的數(shù)字圖像信號成為0。

對進(jìn)行黑電平調(diào)整后的圖像數(shù)據(jù)依次實施通過白平衡增益部123、伽馬處理部124進(jìn)行的處理(S42及S43)。

被伽馬校正的R、G、B信號在去馬賽克處理部125中進(jìn)行去馬賽克處理之后，在RGB/YCrCb轉(zhuǎn)換部126中轉(zhuǎn)換為亮度信號Y和色差信號Cr、Cb(S44)。

Y信號復(fù)原處理部127進(jìn)行對亮度信號Y應(yīng)用EDoF光學(xué)系統(tǒng)110的光學(xué)濾波器111的相位調(diào)制量的反卷積處理的復(fù)原處理(S45)。即，Y信號復(fù)原處理部127進(jìn)行與以任意的處理對象的像素為中心的規(guī)定單位的像素組對應(yīng)的亮度信號(在此為7×7像素的亮度信號)和預(yù)先存儲在存儲器等中的復(fù)原濾波器(7×7的反卷積核和其運(yùn)算系數(shù))的反卷積處理(反卷積運(yùn)算處理)。Y信號復(fù)原處理部127通過以覆蓋攝像面的整個區(qū)域的方式反復(fù)將該規(guī)定單位的每個像素組的反卷積處理，從而進(jìn)行去除圖像整體的像模糊的復(fù)原處理。復(fù)原濾波器是根據(jù)實施反卷積處理的像素組的中心的位置而確定的。即，對接近的像素組應(yīng)用共同的復(fù)原濾波器。進(jìn)一步為了簡化復(fù)原處理，優(yōu)選對所有像素組應(yīng)用共同的復(fù)原濾波器。

如圖37(a)所示，通過EDoF光學(xué)系統(tǒng)110之后的亮度信號的點(diǎn)像(光學(xué)像)作為較大的點(diǎn)像(模糊的圖像)成像于成像元件112，但通過Y信號復(fù)原處理部127中的反卷積處理而復(fù)原為如圖37(b)所示那樣較小的點(diǎn)像(高分辨率的圖像)。

如上所述，通過對去馬賽克處理后的亮度信號應(yīng)用復(fù)原處理，無需按RGB不同而具有復(fù)原處理的參數(shù)，能夠使復(fù)原處理高速化。此外，由于不將與位于分散的位置的R、G、B的像素對應(yīng)的R、G、B的圖像信號分別匯集為一個單位而進(jìn)行反卷積處理，而是將接近的像素的亮度信號彼此以預(yù)定的單位匯集，對該單位應(yīng)用共同的復(fù)原濾波器而進(jìn)行反卷積處理，所以復(fù)原處理的精度提高。另外，關(guān)于色差信號Cr、Cb，在基于肉眼的視覺的特性上，即使在復(fù)原處理中不提高分辨率，在畫質(zhì)上也被允許。此外，在以如JPEG這樣的壓縮形式來記錄圖像的情況下，色差信號以比亮度信號高的壓縮率被壓縮，所以缺少在復(fù)原處理中提高分辨率的必要性。這樣一來，能夠兼顧復(fù)原精度的提高和處理的簡化及高速化。

對于如以上進(jìn)行說明那樣的EDoF系統(tǒng)的復(fù)原處理，也能夠應(yīng)用上述實施方式所涉及的圖像濾波處理。

并且，能夠應(yīng)用本發(fā)明的方式并不限定于數(shù)碼相機(jī)及計算機(jī)(服務(wù)器)，除了以攝像為主要功能的相機(jī)類之外，對于除了攝像功能以外還具備攝像以外的其他功能(通話功能、通信功能、其他計算機(jī)功能)的移動設(shè)備類，也能夠應(yīng)用本發(fā)明。作為能夠應(yīng)用本發(fā)明的其他方式，例如可舉出具有相機(jī)功能的移動電話和智能手機(jī)、PDA(Personal Digital Assistants)、便攜式游戲機(jī)。以下，對能夠應(yīng)用本發(fā)明的智能手機(jī)的一例進(jìn)行說明。

＜對智能手機(jī)的應(yīng)用例＞

圖38是表示智能手機(jī)201的外觀的圖。圖38所示的智能手機(jī)201具有平板狀框體202，在框體202的一側(cè)面具備作為顯示部的顯示面板221與作為輸入部的操作面板222成為一體的顯示輸入部220。并且，這種框體202具備揚(yáng)聲器231、麥克風(fēng)232、操作部240及相機(jī)部241。另外，框體202的結(jié)構(gòu)并不限定于此，例如能夠采用顯示部與輸入部獨(dú)立的結(jié)構(gòu)，或者采用具有折疊結(jié)構(gòu)或滑動機(jī)構(gòu)的結(jié)構(gòu)。

圖39是表示圖38所示的智能手機(jī)201的結(jié)構(gòu)的框圖。如圖39所示，作為智能手機(jī)的主要構(gòu)成要件，具備無線通信部210、顯示輸入部220、通話部230、操作部240、相機(jī)部241、存儲部250、外部輸入輸出部260、GPS(Global Positioning System)接收部270、動作傳感器部280、電源部290及主控制部200(包括上述主體控制器25)。并且，作為智能手機(jī)201的主要功能，具備經(jīng)由基站裝置BS和移動通信網(wǎng)NW進(jìn)行移動無線通信的無線通信功能。

無線通信部210根據(jù)主控制部200的命令，對容納于移動通信網(wǎng)NW的基站裝置BS進(jìn)行無線通信。使用該無線通信，進(jìn)行語音數(shù)據(jù)、圖像數(shù)據(jù)等各種文件數(shù)據(jù)、電子郵件數(shù)據(jù)等的收發(fā)、Web數(shù)據(jù)或流數(shù)據(jù)等的接收。

顯示輸入部220是通過主控制部200的控制，顯示圖像(靜態(tài)圖像及動態(tài)圖像)和文字信息等而在視覺上向用戶傳遞信息并且檢測針對所顯示的信息的用戶操作的所謂的觸控面板，具備顯示面板221及操作面板222。

顯示面板221是將LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作顯示設(shè)備的裝置。操作面板222是以能夠視覺辨認(rèn)顯示于顯示面板221的顯示面上的圖像的方式載置，并檢測通過用戶的手指或觸控筆操作的一個或多個坐標(biāo)的設(shè)備。若通過用戶的手指或觸控筆操作該設(shè)備，則將因操作而產(chǎn)生的檢測信號輸出至主控制部200。接著，主控制部200根據(jù)所接收的檢測信號檢測顯示面板221上的操作位置(坐標(biāo))。

如圖38所示，作為本發(fā)明的攝像裝置的一實施方式來例示的智能手機(jī)201的顯示面板221與操作面板222成為一體而構(gòu)成顯示輸入部220，但配置成操作面板222完全覆蓋顯示面板221。采用該配置時，操作面板222可以對顯示面板221以外的區(qū)域也具備檢測用戶操作的功能。換言之，操作面板222可具備針對與顯示面板221重疊的重疊部分的檢測區(qū)域(以下，稱為顯示區(qū)域)和針對除此以外的不與顯示面板221重疊的外緣部分的檢測區(qū)域(以下，稱為非顯示區(qū)域)。

另外，可使顯示區(qū)域的大小與顯示面板221的大小完全一致，但無需一定使兩者一致。并且，操作面板222可具備外緣部分和除此以外的內(nèi)側(cè)部分這兩個感應(yīng)區(qū)域。而且，外緣部分的寬度根據(jù)框體202的大小等而適當(dāng)設(shè)計。此外，作為在操作面板222中所采用的位置檢測方式，可舉出矩陣開關(guān)方式、電阻膜方式、表面彈性波方式、紅外線方式、電磁感應(yīng)方式、靜電電容方式等，可采用任意方式。

通話部230具備揚(yáng)聲器231和麥克風(fēng)232，所述通話部將通過麥克風(fēng)232輸入的用戶的語音轉(zhuǎn)換成能夠在主控制部200中處理的語音數(shù)據(jù)來輸出至主控制部200，或者對通過無線通信部210或外部輸入輸出部260接收的語音數(shù)據(jù)進(jìn)行解碼而從揚(yáng)聲器231輸出。并且，如圖38所示，例如能夠?qū)P(yáng)聲器231搭載于與設(shè)置有顯示輸入部220的面相同的面，將麥克風(fēng)232搭載于框體202的側(cè)面。

操作部240為使用鍵開關(guān)等的硬件鍵，且接收來自用戶的命令。例如，如圖38所示，操作部240搭載于智能手機(jī)201的框體202的側(cè)面，且是若被手指等按下則開啟，若將手指移開則通過彈簧等的復(fù)原力而成為關(guān)閉狀態(tài)的按鈕式開關(guān)。

存儲部250存儲主控制部200的控制程序和控制數(shù)據(jù)、應(yīng)用軟件、將通信對象的名稱和電話號碼等建立對應(yīng)關(guān)聯(lián)的地址數(shù)據(jù)、所收發(fā)的電子郵件的數(shù)據(jù)、通過Web瀏覽下載的Web數(shù)據(jù)和已下載的內(nèi)容數(shù)據(jù)，并且暫時存儲流數(shù)據(jù)等。并且，存儲部250由智能手機(jī)內(nèi)置的內(nèi)部存儲部251和具有裝卸自如的外部存儲器插槽的外部存儲部252構(gòu)成。另外，構(gòu)成存儲部250的各個內(nèi)部存儲部251與外部存儲部252各自通過使用閃存類型(flash memory type)、硬盤類型(hard disk type)、微型多媒體卡類型(multimedia card micro type)、卡類型的存儲器(例如，MicroSD(注冊商標(biāo))存儲器等)、RAM(Random Access Memory)或ROM(Read Only Memory)等存儲介質(zhì)來實現(xiàn)。

外部輸入輸出部260發(fā)揮與連結(jié)于智能手機(jī)201的所有外部設(shè)備的接口的作用，并用于通過通信等(例如，通用串行總線(USB)、IEEE1394等)或網(wǎng)絡(luò)(例如，互聯(lián)網(wǎng)、無線LAN、藍(lán)牙(Bluetooth(注冊商標(biāo)))、RFID(Radio Frequency Identification)、紅外線通信(Infrared Data Association：IrDA)(注冊商標(biāo))、UWB(Ultra Wideband)(注冊商標(biāo))或紫蜂(ZigBee)(注冊商標(biāo))等)直接或間接地與其他外部設(shè)備連接。

作為與智能手機(jī)201連結(jié)的外部設(shè)備，例如有：有/無線頭戴式耳機(jī)、有/無線外部充電器、有/無線數(shù)據(jù)端口、經(jīng)由卡插槽連接的存儲卡(Memory card)或SIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)卡、經(jīng)由音頻/視頻I/O(Input/Output)端子連接的外部音頻/視頻設(shè)備、無線連接的外部音頻/視頻設(shè)備、有/無線連接的智能手機(jī)、有/無線連接的個人計算機(jī)、有/無線連接的PDA、有/無線連接的耳機(jī)等。外部輸入輸出部能夠?qū)倪@種外部設(shè)備接收到傳送的數(shù)據(jù)傳遞至智能手機(jī)201內(nèi)部的各構(gòu)成要件、或?qū)⒅悄苁謾C(jī)2011內(nèi)部的數(shù)據(jù)傳送至外部設(shè)備。

GPS接收部270按照主控制部200的命令，接收從GPS衛(wèi)星STl～STn發(fā)送的GPS信號，執(zhí)行基于所接收的多個GPS信號的測位運(yùn)算處理，檢測智能手機(jī)201的包括緯度、經(jīng)度、高度的位置。GPS接收部270在能夠從無線通信部210或外部輸入輸出部260(例如無線LAN)獲取位置信息時，還能夠利用該位置信息檢測位置。

動作傳感器部280例如具備3軸加速度傳感器等，根據(jù)主控制部200的命令，檢測智能手機(jī)201的物理動作。通過檢測智能手機(jī)201的物理動作，可檢測智能手機(jī)201的移動方向或加速度。該檢測結(jié)果被輸出至主控制部200。

電源部290按照主控制部200的命令，向智能手機(jī)201的各部供給積蓄在電池(未圖示)中的電力。

主控制部200具備微處理器，并根據(jù)存儲部250所存儲的控制程序或控制數(shù)據(jù)進(jìn)行動作，集中控制智能手機(jī)201的各部。并且，主控制部200為了通過無線通信部210進(jìn)行語音通信或數(shù)據(jù)通信，具備控制通信系統(tǒng)的各部的移動通信控制功能及應(yīng)用處理功能。

應(yīng)用處理功能通過主控制部200根據(jù)存儲部250所存儲的應(yīng)用軟件進(jìn)行動作來實現(xiàn)。作為應(yīng)用處理功能，例如有控制外部輸入輸出部260來與對象設(shè)備進(jìn)行數(shù)據(jù)通信的紅外線通信功能、進(jìn)行電子郵件的收發(fā)的電子郵件功能、瀏覽Web頁的Web瀏覽功能等。

并且，主控制部200具備根據(jù)接收數(shù)據(jù)或所下載的流數(shù)據(jù)等圖像數(shù)據(jù)(靜態(tài)圖像或動態(tài)圖像的數(shù)據(jù))而在顯示輸入部220顯示影像等圖像處理功能。圖像處理功能是指主控制部200對上述圖像數(shù)據(jù)進(jìn)行解碼，對該解碼結(jié)果實施圖像處理并將圖像顯示于顯示輸入部220的功能。

而且，主控制部200執(zhí)行對顯示面板221的顯示控制和檢測通過操作部240、操作面板222進(jìn)行的用戶操作的操作檢測控制。

通過執(zhí)行顯示控制，主控制部200顯示用于啟動應(yīng)用軟件的圖標(biāo)或滾動條等軟件鍵，或者顯示用于創(chuàng)建電子郵件的窗口。另外，滾動條是指用于針對無法完全落入顯示面板221的顯示區(qū)域的較大圖像等，接收使圖像的顯示部分移動的命令的軟件鍵。

并且，通過執(zhí)行操作檢測控制，主控制部200檢測通過操作部240進(jìn)行的用戶操作，或者通過操作面板222接收對上述圖標(biāo)的操作或?qū)ι鲜龃翱诘妮斎霗诘淖址妮斎耄蛘呓邮战邮芡ㄟ^滾動條進(jìn)行的顯示圖像的滾動請求。

而且，通過執(zhí)行操作檢測控制，主控制部200具備判定對操作面板222進(jìn)行操作的位置是與顯示面板221重疊的重疊部分(顯示區(qū)域)還是除此以外的不與顯示面板221重疊的外緣部分(非顯示區(qū)域)，并控制操作面板222的感應(yīng)區(qū)域或軟件鍵的顯示位置的觸控面板控制功能。

并且，主控制部200還能夠檢測對操作面板222的手勢操作，并根據(jù)檢測出的手勢操作執(zhí)行預(yù)先設(shè)定的功能。所謂手勢操作表示并非以往的單純的觸控操作，而是通過手指等描繪軌跡、或者同時指定多個位置、或者組合這些來對多個位置中至少一個描繪軌跡的操作。

相機(jī)部241是使用CMOS或CCD等成像元件進(jìn)行電子攝影的數(shù)碼相機(jī)。并且，相機(jī)部241能夠通過主控制部200的控制，將通過拍攝獲得的圖像數(shù)據(jù)轉(zhuǎn)換成例如JPEG等的被壓縮的圖像數(shù)據(jù)并記錄于存儲部250，或者能夠通過外部輸入輸出部260和無線通信部210輸出。在圖38所示的智能手機(jī)201中，相機(jī)部241搭載于與顯示輸入部220相同的面，但相機(jī)部241的搭載位置并不限于此，還可搭載于顯示輸入部220的背面，或者也可以搭載有多個相機(jī)部241。另外，搭載有多個相機(jī)部241時，還能夠切換供于拍攝的相機(jī)部241來單獨(dú)進(jìn)行拍攝、或者同時使用多個相機(jī)部241來進(jìn)行拍攝。

并且，相機(jī)部241能夠利用于智能手機(jī)201的各種功能中。例如，能夠在顯示面板221顯示由相機(jī)部241獲取的圖像，或者能夠作為操作面板222的操作輸入之一而利用相機(jī)部241的圖像。并且，當(dāng)GPS接收部270檢測位置時，還能夠參考來自相機(jī)部241的圖像來檢測位置。而且，還能夠參考來自相機(jī)部241的圖像，不使用3軸加速度傳感器或者與3軸加速度傳感器并用來判斷智能手機(jī)201的相機(jī)部241的光軸方向，或判斷當(dāng)前的使用環(huán)境。當(dāng)然，還能夠在應(yīng)用軟件內(nèi)利用來自相機(jī)部241的圖像。

另外，能夠在靜態(tài)圖像或動態(tài)圖像的圖像數(shù)據(jù)上附加通過GPS接收部270獲取的位置信息、通過麥克風(fēng)232獲取的語音信息(也可通過主控制部等進(jìn)行語音文本轉(zhuǎn)換而成為文本信息)、通過動作傳感器部280獲取的姿勢信息等來記錄于存儲部250，或者還能夠通過外部輸入輸出部260或無線通信部210輸出。

上述圖像處理部35(濾波處理部41)例如可通過主控制部200來實現(xiàn)。

本發(fā)明并不限定于上述實施方式，當(dāng)然也能夠在不脫離本發(fā)明的宗旨的范圍內(nèi)進(jìn)行各種變形。

符號說明

10-數(shù)碼相機(jī)，11-透鏡單元，12-相機(jī)主體，14-透鏡，15-光圈，17-光學(xué)系統(tǒng)操作部，18-透鏡單元控制器，19-透鏡單元存儲部，20-透鏡單元輸入輸出部，24-成像元件，25-主體控制器，26-用戶界面，27-顯示部，28-相機(jī)主體輸入輸出部，29-主體存儲部，30-輸入輸出接口，34-設(shè)備控制部，35-圖像處理部，36-顯示控制部，40-預(yù)處理部，41-濾波處理部，42-后處理部，43-增益確定部，44-增益候補(bǔ)數(shù)據(jù)存儲部，45-增益獲取部，48-濾波器應(yīng)用部，49-增益應(yīng)用部，50-處理數(shù)據(jù)計算部，51-處理圖像數(shù)據(jù)計算部，52-加法器，54-反復(fù)運(yùn)算判定部，55-增益供給部，56-濾波器供給部，60-參考圖像獲取部，61-參考圖像分析部，62-目標(biāo)頻率特性獲取部，63-應(yīng)用增益計算部，66-頻率分析部，67-目標(biāo)頻率特性確定部，68-頻率特性存儲部，76-濾波器獲取裝置，77-濾波器計算部，78-平均計算部，79-方差計算部，80-濾波器特性獲取部，81-抽頭系數(shù)運(yùn)算部，82-濾波器組分類部，92-計算機(jī)，93-計算機(jī)輸入輸出部，94-計算機(jī)控制器，95-顯示器，96-網(wǎng)絡(luò)，97-服務(wù)器，98-服務(wù)器輸入輸出部，99-服務(wù)器控制器，101-攝像模塊，110-EDoF光學(xué)系統(tǒng)，110A-攝影透鏡，111-濾光器，112-成像元件，114-AD轉(zhuǎn)換部，120-復(fù)原處理塊，122-黑電平調(diào)整部，123-白平衡增益部，124-伽馬處理部，125-去馬賽克處理部，126-YCrCb轉(zhuǎn)換部，127-Y信號復(fù)原處理部，200-主控制部，201-智能手機(jī)，202-框體，210-無線通信部，220-顯示輸入部，221-顯示面板，222-操作面板，230-通話部，231-揚(yáng)聲器，232-麥克風(fēng)，240-操作部，241-相機(jī)部，250-存儲部，251-內(nèi)部存儲部，252-外部存儲部，260-外部輸入輸出部，270-GPS接收部，280-動作傳感器部，290-電源部。