復(fù)原濾波器生成裝置和方法、圖像處理裝置和方法、攝像裝置、程序及記錄介質(zhì)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及生成用于復(fù)原處理的復(fù)原濾波器的復(fù)原濾波器生成裝置和方法、使用 該復(fù)原濾波器來進(jìn)行復(fù)原處理的圖像處理裝置和方法、具備該圖像處理裝置的攝像裝置以 及用于生成復(fù)原濾波器的程序、記錄介質(zhì)。
【背景技術(shù)】
[0002] 在利用數(shù)碼相機(jī)等攝像裝置對(duì)被攝體進(jìn)行攝像而得到的圖像中，有時(shí)產(chǎn)生由光學(xué) 系統(tǒng)（攝影透鏡等）的各種像差引起的圖像劣化。該由像差引起的圖像劣化能夠利用點(diǎn)像 分布函數(shù)（PSF:PointSpreadFunction)等來表示。因此，通過基于PSF等光學(xué)系統(tǒng)的劣 化特性而生成復(fù)原濾波器，使用該復(fù)原濾波器對(duì)圖像數(shù)據(jù)實(shí)施點(diǎn)像復(fù)原處理（復(fù)原處理）， 能夠降低圖像劣化。
[0003] 這種點(diǎn)像復(fù)原處理大致區(qū)分為頻率復(fù)原處理和相位復(fù)原處理。頻率復(fù)原處理使因 光學(xué)系統(tǒng)而劣化的圖像的調(diào)制傳遞函數(shù)（MTF:ModulationTransferFunction)特性均衡。 相位復(fù)原處理通過依賴頻率而使像移動(dòng)以使非對(duì)稱的PSF形狀盡可能復(fù)原為點(diǎn)。
[0004] 此時(shí)，攝影透鏡等光學(xué)系統(tǒng)的像差因波長而不同，因此優(yōu)選為，對(duì)應(yīng)RGB的各色的 圖像使用不同的復(fù)原濾波器來進(jìn)行點(diǎn)像復(fù)原處理。然而，由于按照顏色的處理的運(yùn)算負(fù)載 較大，因此考慮僅對(duì)視覺效果變大的亮度成分進(jìn)行點(diǎn)像復(fù)原處理。在該情況下，對(duì)于亮度的 PSF形狀不能定義，因此需要考慮一些基準(zhǔn)而以不會(huì)對(duì)復(fù)原性能產(chǎn)生不良影響的方式尋找 折中點(diǎn)。
[0005] 專利文獻(xiàn)1記載的圖像處理裝置算出對(duì)于RGB的各色的PSF，利用預(yù)先設(shè)定的各色 的權(quán)重系數(shù)對(duì)各色的PSF進(jìn)行合成而算出對(duì)于亮度系圖像（也稱作亮度成分圖像）的PSF， 基于該P(yáng)SF，生成對(duì)于亮度系圖像的復(fù)原濾波器。并且，在該圖像處理裝置中，在使用復(fù)原濾 波器對(duì)亮度系圖像實(shí)施點(diǎn)像復(fù)原處理之后，基于復(fù)原處理后的亮度系圖像和非點(diǎn)像復(fù)原處 理對(duì)象的色差系圖像（也稱作顏色成分圖像）而生成RGB圖像。由此，能夠使偽色等圖像 劣化降低。
[0006] 現(xiàn)有技術(shù)文獻(xiàn)
[0007] 專利文獻(xiàn)
[0008] 專利文獻(xiàn)1 :日本特開2010-140442號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0009] 發(fā)明要解決的課題
[0010] 專利文獻(xiàn)1的圖像處理裝置能夠使RGB圖像平均地均衡（使MTF值與1. 0 -致； 均衡（equalize))。然而，專利文獻(xiàn)1的圖像處理裝置僅對(duì)亮度系圖像進(jìn)行點(diǎn)像復(fù)原處理， 因此在特定的波長（顏色）中可能產(chǎn)生過度校正。在此所謂的過度校正是指與點(diǎn)像復(fù)原處 理后的亮度系圖像對(duì)應(yīng)的RGB圖像中的至少任一個(gè)的MTF值比1. 0大（參照圖10的（D))。
[0011] 本發(fā)明的目的在于提供在對(duì)亮度系圖像實(shí)施復(fù)原處理時(shí)生成能夠防止各色的圖 像的MTF值的過度校正的復(fù)原濾波器的復(fù)原濾波器生成裝置和方法、使用該復(fù)原濾波器來 進(jìn)行復(fù)原處理的圖像處理裝置和方法、具備該圖像處理裝置的攝像裝置以及用于生成復(fù)原 濾波器的程序、記錄介質(zhì)。
[0012] 用于解決課題的手段
[0013] 用于實(shí)現(xiàn)本發(fā)明的目的的復(fù)原濾波器生成裝置生成復(fù)原濾波器，上述復(fù)原濾波器 用于對(duì)亮度系圖像數(shù)據(jù)進(jìn)行基于光學(xué)系統(tǒng)中的點(diǎn)像分布的復(fù)原處理，上述亮度系圖像數(shù)據(jù) 是基于由具有光學(xué)系統(tǒng)的攝像單元得到的多個(gè)顏色的每色的圖像數(shù)據(jù)而生成的與亮度相 關(guān)的圖像數(shù)據(jù)，上述復(fù)原濾波器生成裝置具備：MTF獲取單元，取得光學(xué)系統(tǒng)的調(diào)制傳遞函 數(shù)MTF;及復(fù)原濾波器生成單元，基于MTF獲取單元所取得的調(diào)制傳遞函數(shù)MTF，生成將與復(fù) 原處理后的亮度系圖像數(shù)據(jù)對(duì)應(yīng)的多個(gè)顏色的各色的圖像數(shù)據(jù)的MTF值至少在特定的空 間頻率以下的區(qū)域內(nèi)抑制為1. 0以下的復(fù)原濾波器。
[0014] 根據(jù)本發(fā)明，將與復(fù)原處理后的亮度系圖像數(shù)據(jù)對(duì)應(yīng)的多個(gè)顏色的各色的圖像數(shù) 據(jù)的MTF值在至少特定的空間頻率以下的區(qū)域內(nèi)抑制為1. 0以下。
[0015] 優(yōu)選為，MTF獲取單元對(duì)應(yīng)多個(gè)顏色的每色取得調(diào)制傳遞函數(shù)MTF，復(fù)原濾波器生 成單元對(duì)應(yīng)每個(gè)空間頻率從各色的調(diào)制傳遞函數(shù)MTF中選擇MTF值的最大值，基于該每個(gè) 空間頻率的MTF值的最大值來確定維納濾波的頻率特性，并生成在亮度系中實(shí)現(xiàn)該頻率特 性的復(fù)原濾波器。由此，能夠期待將與點(diǎn)像復(fù)原處理后的亮度系圖像數(shù)據(jù)對(duì)應(yīng)的多個(gè)顏色 的各色的圖像數(shù)據(jù)的MTF值抑制為1. 0以下的一定的效果。
[0016] 優(yōu)選為，具備放大率獲取單元，取得與復(fù)原處理后的亮度系圖像數(shù)據(jù)的每個(gè)空間 頻率的MTF值的放大率對(duì)應(yīng)的、對(duì)該亮度系圖像數(shù)據(jù)進(jìn)行逆轉(zhuǎn)換處理而生成的多個(gè)顏色的 各色的圖像數(shù)據(jù)的每個(gè)空間頻率的MTF值的放大率，MTF獲取單元對(duì)應(yīng)多個(gè)顏色的每色取 得調(diào)制傳遞函數(shù)MTF，復(fù)原濾波器生成單元基于各色的調(diào)制傳遞函數(shù)MTF，分別求算各色用 的復(fù)原濾波器的頻率特性，并基于這些頻率特性，對(duì)應(yīng)每個(gè)空間頻率選擇各色用的復(fù)原濾 波器的放大率的最小值，并基于該每個(gè)空間頻率的放大率的最小值和放大率獲取單元的取 得結(jié)果，生成復(fù)原濾波器。由于能夠使用每個(gè)空間頻率對(duì)應(yīng)于MTF值較低的顏色而設(shè)計(jì)的 復(fù)原濾波器來進(jìn)行復(fù)原處理，因此能夠?qū)⑴c復(fù)原處理后的亮度系圖像數(shù)據(jù)對(duì)應(yīng)的多個(gè)顏色 的各色的圖像數(shù)據(jù)的MTF值抑制為1. 0以下。另外，能夠防止由于在特定的空間頻率中對(duì) 應(yīng)于MTF較高的顏色而設(shè)計(jì)的復(fù)原濾波器的頻率特性而使其它顏色中的噪聲放大的情況。
[0017] 優(yōu)選為，多個(gè)顏色的圖像數(shù)據(jù)包含RGB的各色的圖像數(shù)據(jù)，具備放大率獲取單元， 取得與復(fù)原處理后的亮度系圖像數(shù)據(jù)的每個(gè)空間頻率的MTF值的放大率對(duì)應(yīng)的、對(duì)該亮度 系圖像數(shù)據(jù)進(jìn)行逆轉(zhuǎn)換處理而生成的多個(gè)顏色的各色的圖像數(shù)據(jù)的每個(gè)空間頻率的MTF 值的放大率，MTF獲取單元對(duì)應(yīng)多個(gè)顏色的每色取得調(diào)制傳遞函數(shù)MTF，復(fù)原濾波器生成單 元基于RGB的各色的調(diào)制傳遞函數(shù)MTF和放大率獲取單元的取得結(jié)果，算出滿足復(fù)原處理 后的各色的圖像數(shù)據(jù)的MTF值為1. 0以下這一條件的維納濾波的濾波系數(shù)，并基于該濾波 系數(shù)生成復(fù)原濾波器。由此，能夠?qū)⑴c復(fù)原處理后的亮度系圖像數(shù)據(jù)對(duì)應(yīng)的多個(gè)顏色的各 色的圖像數(shù)據(jù)的MTF值抑制為1. 0以下。另外，能夠稍微允許特定顏色的噪聲增強(qiáng)，并平均 地進(jìn)行最佳的頻率復(fù)原，并且能夠保證在全部顏色中不產(chǎn)生MTF值的過度的增強(qiáng)。
[0018] 優(yōu)選為，多個(gè)顏色的圖像數(shù)據(jù)包含RGB的各色的圖像數(shù)據(jù)，MTF獲取單元取得G色 的調(diào)制傳遞函數(shù)MTF，復(fù)原濾波器生成單元基于MTF獲取單元所取得的G色的調(diào)制傳遞函 數(shù)MTF確定維納濾波的頻率特性，并生成在亮度系中實(shí)現(xiàn)該頻率特性的復(fù)原濾波器。能夠 期待將與復(fù)原處理后的亮度系圖像數(shù)據(jù)對(duì)應(yīng)的多個(gè)顏色的各色的圖像數(shù)據(jù)的MTF值至少 在特定的空間頻率以下的區(qū)域內(nèi)抑制為1.0以下的一定的效果。另外，能夠使復(fù)原濾波器 的生成所需的運(yùn)算處理簡化。此外，即使不取得對(duì)于光學(xué)系統(tǒng)的全部顏色的調(diào)制傳遞函數(shù) MTF，也能夠進(jìn)行復(fù)原濾波器的生成。
[0019] 優(yōu)選為，特定的空間頻率為攝像單元所含的攝像元件的奈奎斯特頻率的一半以 下。在該情況下，在攝像元件的奈奎斯特頻率的一半以下的頻率區(qū)域中，光學(xué)系統(tǒng)的G色的 調(diào)制傳遞函數(shù)MTF比其他顏色的調(diào)制傳遞函數(shù)MTF高。
[0020] 優(yōu)選為，MTF獲取單元取得具有對(duì)相位進(jìn)行調(diào)制而使景深擴(kuò)大的透鏡部的光學(xué)系 統(tǒng)的調(diào)制傳遞函數(shù)MTF。由此，對(duì)于EDoF系統(tǒng)的復(fù)原處理，也能夠在被擴(kuò)大的景深（焦深） 的范圍內(nèi)進(jìn)行良好的圖像復(fù)原。
[0021] 另外，本發(fā)明的一方式所涉及的圖像處理裝置具備：圖像數(shù)據(jù)生成單元，基于由具 有光學(xué)系統(tǒng)的攝像單元得到的多個(gè)顏色的每色的圖像數(shù)據(jù)，生成與亮度相關(guān)的圖像數(shù)據(jù)即 亮度系圖像數(shù)據(jù)；復(fù)原濾波器存儲(chǔ)單元，存儲(chǔ)由上述的各方式所涉及的復(fù)原濾波器生成裝 置生成的復(fù)原濾波器；及復(fù)原處理單元，使用存儲(chǔ)于復(fù)原濾波器存儲(chǔ)單元的復(fù)原濾波器，對(duì) 由圖像數(shù)據(jù)生成單元生成的亮度系圖像數(shù)據(jù)實(shí)施復(fù)原處理。
[0022] 另外，本發(fā)明的攝像裝置具備：攝像單元，具有光學(xué)系統(tǒng)且輸出多個(gè)顏色的每色的 圖像數(shù)據(jù)；及上述的方式所涉及的圖像處理裝置。
[0023] 另外，本發(fā)明的復(fù)原濾波器生成方法生成復(fù)原濾波器，上述復(fù)原濾波器用于對(duì)亮 度系圖像數(shù)據(jù)進(jìn)行基于光學(xué)系統(tǒng)中的點(diǎn)像分布的復(fù)原處理，上述亮度系圖像數(shù)據(jù)是基于由 具有光學(xué)系統(tǒng)的攝像單元得到的多個(gè)顏色的每色的圖像數(shù)據(jù)而生成的與亮度相關(guān)的圖像 數(shù)據(jù)，上述復(fù)原濾波器生成方法具有：MTF獲取步驟，取得光學(xué)系統(tǒng)的調(diào)制傳遞函數(shù)MTF;及 復(fù)原濾波器生成步驟，基于由MTF獲取步驟所取得的調(diào)制傳遞函數(shù)MTF，生成將與復(fù)原處理 后的亮度系圖像數(shù)據(jù)對(duì)應(yīng)的多個(gè)顏色的各色的圖像數(shù)據(jù)的MTF值至少在特定的空間頻率 以下的區(qū)域內(nèi)抑制為1. 0以下的復(fù)原濾波器。
[0024] 另外，本發(fā)明的一方式所涉及的圖像處理方法具有：圖像數(shù)據(jù)生成步驟，基于由具 有光學(xué)系統(tǒng)的攝像單元得到的多個(gè)顏色的每色的圖像數(shù)據(jù)，生成與亮度相關(guān)的圖像數(shù)據(jù)即 亮度系圖像數(shù)據(jù)；及復(fù)原處理步驟，使用由上述的方式所涉及的復(fù)原濾波器生成方法生成 的復(fù)原濾波器，對(duì)由圖像數(shù)據(jù)生成步驟生成的亮度系圖像數(shù)據(jù)實(shí)施復(fù)原處理。
[0025] 另外，本發(fā)明的程序用于生成復(fù)原濾波器，上述復(fù)原濾波器用于對(duì)亮度系圖像數(shù) 據(jù)進(jìn)行基于光學(xué)系統(tǒng)中的點(diǎn)像分布的復(fù)原處理，上述亮度系圖像數(shù)據(jù)是基于由具有光學(xué)系 統(tǒng)的攝像單元得到的多個(gè)顏色的每色的圖像數(shù)據(jù)而生成的與亮度相關(guān)的圖像數(shù)據(jù)，上述程 序使計(jì)算機(jī)執(zhí)行如下步驟：MTF獲取步驟，取得光學(xué)系統(tǒng)的調(diào)制傳遞函數(shù)MTF;及復(fù)原濾波 器生成步驟，基于由MTF獲取步驟所取得的調(diào)制傳遞函數(shù)MTF，生成將與復(fù)原處理后的亮度 系圖像數(shù)據(jù)對(duì)應(yīng)的多個(gè)顏色的各色的圖像數(shù)據(jù)的MTF值至少在特定的空間頻率以下的區(qū) 域內(nèi)抑制為1. 〇以下的復(fù)原濾波器。
[0026] 發(fā)明效果
[0027] 本發(fā)明的復(fù)原濾波器生成裝置和方法、圖像處理裝置和方法、攝像裝置以及程序 生成將與復(fù)原處理后的亮度系圖像數(shù)據(jù)對(duì)應(yīng)的多個(gè)顏色的各色的圖像數(shù)據(jù)的MTF值至少 在特定的空間頻率以下的區(qū)域內(nèi)抑制為1.0以下的復(fù)原濾波器，或者進(jìn)行使用了該復(fù)原濾 波器的復(fù)原處理，因此在進(jìn)行對(duì)亮度系圖像數(shù)據(jù)的復(fù)原處理的情況下，也能夠防止各顏色 的圖像的MTF值的過度校正。
【附圖說明】
[0028] 圖1是從復(fù)原濾波器生成裝置和該復(fù)原濾波器生成裝置取得復(fù)原濾波器而進(jìn)行 點(diǎn)像復(fù)原處理的數(shù)碼相機(jī)的圖。
[0029] 圖2是數(shù)碼相機(jī)的后視立體圖。
[0030] 圖3是表示數(shù)碼相機(jī)和復(fù)原濾波器生成裝置的電氣結(jié)構(gòu)的框圖。
[0031] 圖4是數(shù)碼相機(jī)的圖像處理電路的功能框圖。
[0032] 圖5是用于對(duì)點(diǎn)像復(fù)原處理進(jìn)行說明的說明圖。
[0033] 圖6是用于對(duì)復(fù)原濾波器生成處理進(jìn)行說明的說明圖。
[0034] 圖7是表示復(fù)原濾波器的生成處理的流程的流程圖。
[0035] 圖8是表示數(shù)碼相機(jī)的攝影處理的流程的流程圖。
[0036] 圖9是用于對(duì)點(diǎn)像復(fù)原處理進(jìn)行說明的說明圖。
[0037] 圖10是用于對(duì)使用以往的復(fù)原濾波器來進(jìn)行點(diǎn)像復(fù)原處理的比較例進(jìn)行說明的 說明圖。
[0038] 圖11是表示第二實(shí)施方式的復(fù)原濾波器生成裝置的電氣結(jié)構(gòu)的框圖。
[0039] 圖12是用于對(duì)放大率獲取部進(jìn)行說明的說明圖。
[0040] 圖13是用于對(duì)第二實(shí)施方式的復(fù)原濾波器生成處理進(jìn)行說明的說明圖。
[0041] 圖14是表示第二實(shí)施方式的復(fù)原濾波器的生成處理的流程的流程圖。
[0042] 圖15是用于對(duì)第二實(shí)施方式的作用效果進(jìn)行說明的說明圖。
[0043] 圖16是用于對(duì)第三實(shí)施方式的復(fù)原濾波器進(jìn)行說明的說明圖。
[0044] 圖17是表示第三實(shí)施方式的復(fù)原濾波器生成裝置的電氣結(jié)構(gòu)的框圖。
[0045] 圖18是表示第三實(shí)施方式的復(fù)原濾波器的生成處理的流程的流程圖。
[0046] 圖19是用于對(duì)第三實(shí)施方式的作用效果進(jìn)行說明的說明圖。
[0047] 圖20是表示第四實(shí)施方式的復(fù)原濾波器生成裝置的電氣結(jié)構(gòu)的框圖。
[0048] 圖21是用于對(duì)第四實(shí)施方式的復(fù)原濾波器生成處理進(jìn)行說明的說明圖。
[0049] 圖22是表示第四實(shí)施方式的復(fù)原濾波器的生成處理的流程的流程圖。
[0050] 圖23是表示具備EDoF光學(xué)系統(tǒng)的攝像模塊的電氣結(jié)構(gòu)的框圖。
[0051] 圖24是EDoF光學(xué)系統(tǒng)的概略圖。
[0052] 圖25是表示由構(gòu)成攝像模塊的復(fù)原處理部進(jìn)行的復(fù)原處理的流程的流程圖。
[0053] 圖26是智能手機(jī)的立體圖。
[0054] 圖27是表示智能手機(jī)的電氣結(jié)構(gòu)的框圖。
【具體實(shí)施方式】
[0055] [第一實(shí)施方式]
[0056] <數(shù)碼相機(jī)的結(jié)構(gòu)>
[0057] 在圖1和圖2中，數(shù)碼相機(jī)2與本發(fā)明的攝像裝置相當(dāng)。在該數(shù)碼相機(jī)2的相機(jī) 主體3的前表面，設(shè)有包含光學(xué)系統(tǒng)等的鏡頭鏡筒4、閃光發(fā)光部5等。在相機(jī)主體3的上 表面，設(shè)有快門按鈕6、電源開關(guān)7等。
[0058] 在相機(jī)主體3的背面設(shè)有顯示部8和操作部9等。顯示部8在攝影待機(jī)狀態(tài)時(shí)作 為電子取景器而發(fā)揮功能，并顯示即時(shí)預(yù)覽圖像（也稱作實(shí)時(shí)取景圖像）。另外，在重放圖 像時(shí)，基于記錄于存儲(chǔ)卡10的圖像數(shù)據(jù)，在顯示部8對(duì)圖像進(jìn)行重放顯示。
[0059] 操作部9由模式切換開關(guān)、十字鍵、執(zhí)行鍵等構(gòu)成。模式切換開關(guān)在對(duì)數(shù)碼相機(jī)2 的動(dòng)作模式進(jìn)行切換時(shí)被操作。數(shù)碼相機(jī)2具有對(duì)被攝體進(jìn)行攝像而得到攝影圖像數(shù)據(jù)的 攝影模式、基于攝影圖像數(shù)據(jù)而進(jìn)行重放顯示的重放模式等。
[0060] 在顯示部8顯示各種菜單畫面、設(shè)定畫面時(shí)，或者使顯示于這些菜單畫面、設(shè)定畫 面內(nèi)的光標(biāo)移動(dòng)時(shí)，或者對(duì)數(shù)碼相機(jī)2的各種設(shè)定進(jìn)行確定時(shí)等，操作十字鍵、執(zhí)行鍵。
[0061] 在相機(jī)主體3的底面，雖然省略圖示，但是設(shè)有裝填存儲(chǔ)卡10的卡插槽和對(duì)該卡 插槽的開口進(jìn)行開閉的裝填蓋。將對(duì)被攝體進(jìn)行攝像而得到的攝影圖像數(shù)據(jù)作為各種文件 形式的圖像