復原濾波器生成裝置以及方法、圖像處理裝置以及方法、攝像裝置、程序以及記錄介質的制作方法
【技術領域】
[0001] 本發(fā)明涉及生成用于針對根據多種顏色中的每種顏色的圖像數據來生成的亮度 系圖像數據進行復原處理的復原濾波器的復原濾波器生成裝置以及方法、使用該復原濾波 器來進行復原處理的圖像處理裝置以及方法、具備該圖像處理裝置的攝像裝置、用于生成 復原濾波器的程序、以及記錄介質。
【背景技術】
[0002] 在通過數碼相機等攝像裝置來對被攝體進行攝像而得到的圖像中，有時產生由光 學系統(tǒng)（攝影透鏡等）的各種像差引起的圖像劣化。該像差所導致的圖像劣化能夠通過點 圖像分布函數（PSF:Point Spread Function)等來表現。因此，根據PSF等光學系統(tǒng)的劣 化特性來生成復原濾波器，使用該復原濾波器來針對圖像數據實施點圖像復原處理（復原 處理），從而能夠降低圖像劣化。
[0003] 專利文獻1(特別是參照第[0043] - [0048]段）公開了如下發(fā)明：從由攝像設備 輸入了的圖像數據中分離亮度分量Y，使用該亮度分量Y ( = Wr X R+Wg X G+Wb X B)中的R、 G、B的系數（Wr，Wg，Wb)，來合成R、G、B各顏色的點圖像分布函數（PSFr，PSFg，PSFb)，從而 取得亮度分量的點圖像分布函數PSFy ( = Wr X PSFr+WgX PSFg+Wb X PSFb)，根據該亮度分 量的點圖像分布函數PSFy來計算針對亮度分量Y的校正系數。
[0004] 專利文獻2公開了如下發(fā)明：在作為復原濾波器的調整參數而選擇了振幅特性的 情況下，根據用戶用調整桿調整了的量，來變更復原濾波器的增益（振幅特性），在作為調 整參數而選擇了相位特性的情況下，根據用戶用調整桿調整了的量，來變更復原濾波器的 相位角（相位特性）。
[0005] 專利文獻3公開了如下發(fā)明：通過相對的平行移動來降低點圖像分布函數的顏色 分量間的差異（色像差），根據該點圖像分布函數來生成復原濾波器。
[0006] 現有技術文獻
[0007] 專利文獻
[0008] 專利文獻1 :日本特開2010 - 140442號公報
[0009] 專利文獻2 :日本特開2011 - 193277號公報
[0010] 專利文獻3 :日本特開2012 - 129932號公報

【發(fā)明內容】

[0011] 發(fā)明所要解決的課題
[0012] 專利文獻1中記載的發(fā)明僅校正校正對象的圖像數據的亮度分量，所以能夠在全 部的顏色中使R、G、B的相位偏移量平均地返回，但存在在特定的波長的顏色中發(fā)生相位偏 移的過度返回（過校正）的問題。特別是，在針對亮度系圖像數據進行相位校正的情況下， 與針對多種顏色（R、G、B)的各顏色的圖像數據（R圖像數據、G圖像數據、B圖像數據）單 獨進行相位校正的情況不同，容易產生相位的過校正。如果相位成為過校正，則有時產生假 象，反而畫質劣化。
[0013] 專利文獻2中記載的發(fā)明能夠通過用戶輸入，單獨地調整復原濾波器的振幅特性 (調制特性）與相位特性，但針對R、G、B各顏色的圖像數據，進行復原處理，未觸及在僅校 正亮度分量的情況下產生的特定的顏色中的過校正的問題，如果直接應用于僅對亮度分量 的校正，則發(fā)生過校正。
[0014] 專利文獻3中記載的發(fā)明能夠生成針對色像差校正后的圖像數據的復原濾波器， 但同樣地針對R、G、B各顏色的圖像數據進行復原處理，未觸及在僅校正亮度分量的情況下 產生的特定的顏色中的過校正的問題。
[0015] 本發(fā)明的目的在于，提供一種在針對亮度系圖像數據進行復原處理的情況下能夠 根據光學傳遞函數的波動來降低過校正的復原文件生成裝置以及方法、圖像處理裝置以及 方法、攝像裝置、程序、以及記錄介質。
[0016] 用于解決課題的技術方案
[0017] 為了達到上述目的，本發(fā)明提供一種復原濾波器生成裝置，生成復原濾波器，該復 原濾波器用于針對根據由具有光學系統(tǒng)的攝像裝置得到的各顏色的圖像數據來生成的、與 亮度相關的圖像數據即亮度系圖像數據，進行復原處理，其中，該復原濾波器生成裝置備： 信息取得部，取得表示光學系統(tǒng)的光學傳遞函數的取決于顏色的波動的波動信息；以及復 原濾波器生成部，生成復原濾波器，復原濾波器生成部根據通過信息取得部取得的波動信 息來生成復原濾波器，該復原濾波器根據取決于顏色的波動來減弱復原強度，與假定為沒 有取決于顏色的波動而確定的理想濾波器的復原強度相比，使復原強度減弱。
[0018] 此處，作為"光學傳遞函數"，可列舉例如PSF(Point Spread Function :也稱為 "點圖像分布函數"或者"點擴散函數"），對PSF進行傅立葉變換而得到的OTF(Optical Transfer Function)、PTF(Phase Transfer Function :也稱為"相位傳遞函數"）、 MTF(Modulation Transfer Function:也稱為"調制傳遞函數"或者"振幅傳遞函數"）。另 外，"光學傳遞函數"不直接限定于表示"振幅"以及"相位"中的至少一個的信息。也可以 通過針對"光學傳遞函數"進行特定的運算處理，計算"振幅"以及"相位"中的至少一個。 即，"光學傳遞函數"間接地包括表示"振幅"以及"相位"中的至少一個的信息。
[0019] 另外，"光學系統(tǒng)的光學傳遞函數的基于顏色的波動"是指光學系統(tǒng)中的各顏色的 光學傳遞函數間的波動。
[0020] 根據本發(fā)明，具備生成復原濾波器的復原濾波器生成部，復原濾波器生成部根據 所取得的波動信，生成復原濾波器，該復原濾波器根據取決于顏色的波動來減弱復原強度， 與假定為沒有取決于顏色的波動而確定的理想濾波器的復原強度相比，減弱復原強度，所 以在生成用于針對亮度系圖像數據進行復原處理的復原濾波器的情況下，能夠生成降低了 光學傳遞函數的基于顏色的波動的過校正的韌性高的復原濾波器。
[0021] 在本發(fā)明的一種實施方式中，表示光學傳遞函數的基于顏色的波動的信息（光學 傳遞函數的波動信息）是取決于顏色的波動設為服從正態(tài)分布而計算出的光學傳遞函數 的方差。由此，防止生成具有僅針對亮度系圖像數據上的特定的顏色而偏差了的復原強度 的復原濾波器。
[0022] 在本發(fā)明的一種實施方式中，信息取得部取得各顏色的光學傳遞函數，根據各顏 色的光學傳遞函數來計算取決于顏色的波動。由此，即使沒有特地準備表示光學傳遞函數 的基于顏色的波動的信息，如果僅準備有各顏色的光學傳遞函數，則能夠生成具有針對基 于形成亮度系圖像數據的所有顏色的光學傳遞函數波動而沒有偏差的可靠的復原強度的 復原濾波器。
[0023] 在本發(fā)明的一種實施方式中，信息取得部設為取決于顏色的波動服從正態(tài)分布而 計算光學傳遞函數的平均以及方差，復原濾波器生成部根據光學傳遞函數的平均以及方差 來生成復原濾波器。由此，防止生成具有僅針對亮度系圖像數據上的特定的顏色而偏差了 的復原強度的復原濾波器。
[0024] 在本發(fā)明的一種實施方式中，復原濾波器生成部根據平均以及方差的項被設置于 分母的算式來生成復原濾波器。另外，在本發(fā)明的一種實施方式中，復原濾波器生成部針 對每個空間頻率計算平均以及方差，根據每個該空間頻率的平均以及方差來生成復原濾波 器。由此，根據作為形成亮度系圖像數據的所有顏色中的光學傳遞函數的波動的中心的"平 均"、以及表示形成亮度系圖像數據的所有顏色中的光學傳遞函數波動的"方差"，來生成光 學傳遞函數的基于顏色的波動（方差）越大則越減弱復原強度的復原濾波器。
[0025] 在本發(fā)明的一種實施方式中，復原濾波器生成部生成在取決于顏色的波動越大的 空間頻率下越使復原強度減弱的復原濾波器。由此，在光學傳遞函數的波動越大的空間頻 率下，復原強度與理想濾波器相比越減弱，所以在光學傳遞函數的波動小的空間頻率下，以 與理想濾波器接近的復原強度來進行復原，同時在光學傳遞函數的波動大的空間頻率下， 能夠抑制過校正。
[0026] 在本發(fā)明的一種實施方式中，信息取得部取得由攝像裝置得到的亮度系圖像數據 中的顏色的概率分布以及各顏色的光學傳遞函數，根據所取得的亮度系圖像數據中的顏色 的概率分布以及各顏色的光學傳遞函數，光學傳遞函數的取決于顏色的波動設為服從正態(tài) 分布，來計算表示該光學傳遞函數的取決于顏色的波動的信息（波動信息）。由此，如果準 備有亮度系圖像數據中的顏色的概率分布與各顏色的光學傳遞函數，則能夠生成具有針對 基于形成亮度系圖像數據的所有顏色的光學傳遞函數波動沒有偏差的可靠的復原強度的 復原濾波器。
[0027] 在本發(fā)明的一種實施方式中，波動信息包括光學傳遞函數的至少由光學系統(tǒng)的 制造引起的波動，復原濾波器生成部生成復原濾波器，該復原濾波器與假定為沒有由光學 系統(tǒng)的制造引起的波動而確定的理想濾波器的復原強度相比，使復原濾波器的復原強度減 弱。由此，也能夠根據光學傳遞函數的由制造導致的波動來降低過校正。
[0028] 在本發(fā)明的一種實施方式中，波動信息包括光學傳遞函數的取決于攝影條件的波 動，復原濾波器生成部使復原濾波器的復原強度比假定為沒有取決于攝影條件的波動而確 定的理想濾波器的復原強度弱。由此，也能夠根據光學傳遞函數的由攝影條件導致的波動 來降低過校正。
[0029] 在本發(fā)明的一種實施方式中，復原濾波器生成部至少生成進行伴隨著相位復原的 復原處理的復原濾波器。由此，特別是在伴隨著相位復原的復原處理中，能夠生成針對基于 顏色的波動而韌性高的復原濾波器。
[0030] 在本發(fā)明的一種實施方式中，復原濾波器生成部生成進行不伴隨著相位復原的復 原處理的復原濾波器。由此，在不伴隨著相位復原的復原處理中，能夠生成針對基于顏色的 波動而韌性高的復原濾波器。
[0031] 在本發(fā)明的一種實施方式中，復原濾波器生成部生成維納濾波器來作為復原濾波 器。
[0032] 在本發(fā)明的一種實施方式中，光學系統(tǒng)具有對相位進行調制而使景深擴大的透鏡 部。
[0033] 另外，本發(fā)明提供一種復原濾波器生成裝置，生成復原濾波器，該復原濾波器用于 針對由具有光學系統(tǒng)的攝像裝置得到的圖像數據進行復原處理，其中，復原濾波器生成裝 置具備：信息取得部，取得表示光學系統(tǒng)的光學傳遞函數的、由光學系統(tǒng)的制造引起的波 動的波動信息；以及復原濾波器生成部，生成復原濾波器，波動信息是由光學系統(tǒng)的制造引 起的波動設為服從正態(tài)分布而計算出的光學傳遞函數的方差，復原濾波器生成部根據通過 信息取得部取得的波動信息，來生成復原濾波器，該復原濾波器根據由光學系統(tǒng)的制造引 起的波動來減弱復原強度，通過根據方差的項被設置于分母的算式來計算復原強度，與假 定為沒有由光學系統(tǒng)的制造引起的波動而確定的理想濾波器的復原強度相比，減弱復原強 度。由此，能夠生成針對光學傳遞函數的由光學系統(tǒng)的制造引起的波動降低了過校正的韌 性高的復原濾波器。另外，不生成具有僅在光學系統(tǒng)的特定的個體中偏差了的復原強度的 復原濾波器，能夠生成具有針對光學系統(tǒng)的所有個體而沒有偏差的可靠的復原強度的復原 濾波器。
[0034] 另外，本發(fā)明提供一種復原濾波器生成裝置，生成復原濾波器，該復原濾波器用于 針對由具有光學系統(tǒng)的攝像裝置得到的圖像數據進行復原處理，其中，復原濾波器生成裝 置具備：信息取得部，取得表示光學系統(tǒng)的光學傳遞函數的取決于攝影條件的波動的波動 信息；以及復原濾波器生成部，生成復原濾波器，波動信息是取決于攝影條件的波動設為服 從正態(tài)分布而計算出的光學傳遞函數的方差，復原濾波器生成部根據通過信息取得部取得 的波動信息，來生成復原濾波器，該復原濾波器根據取決于攝影條件的波動來減弱復原強 度，通過根據方差的項被設置于分母的算式來計算復原強度，與假定為沒有取決于攝影條 件的波動而確定的理想濾波器的復原強度相比，減弱復原強度。能夠生成針對光學傳遞函 數的取決于攝影條件的波動降低了過校正的韌性高的復原濾波器。另外，不生成具有僅在 特定的攝影條件中偏差了的復原強度的復原濾波器，能夠生成具有針對光學傳遞函數的取 決于攝影條件的波動而沒有偏差的可靠的復原強度的復原濾波器。
[0035] 另外，本發(fā)明提供一種圖像處理裝置，具備：圖像數據取得部，取得根據由具有光 學系統(tǒng)的攝像裝置得到的各顏色的圖像數據來生成的與亮度相關的圖像數據即亮度系圖 像數據；復原濾波器儲存部，儲存通過復原濾波器生成裝置來生成的復原濾波器；以及復 原處理部，針對由圖像數據取得部取得的亮度系圖像數據，使用在復原濾波器儲存部中儲 存了的復原濾波器來實施復原處理。
[0036] 另外，本發(fā)明提供一種圖像處理裝置，具備：圖像數據取得部，取得由具有光學系 統(tǒng)的攝像裝置得到的圖像數據；復原濾波器儲存部，儲存通過復原濾波器生成裝置來生成 的復原濾波器；以及復原處理部，針對由圖像數據取得部取得的圖像數據，使用在復原濾波 器儲存部中儲存的復原濾波器來實施復原處理。
[0037] 另外，本發(fā)明提供包括復原濾波器生成裝置的圖像處理裝置。
[0038] 另外，本發(fā)明提供一種攝像裝置，具備：光學系統(tǒng)；輸出多種顏色中的每種顏色的 圖像數據的攝像元件；以及圖像處理裝置。
[0039] 另外，本發(fā)明提供一種復原濾波器生成方法，生成復原濾波器，該復原濾波器用于 針對根據由具有光學系統(tǒng)的攝像裝置得到的各顏色的圖像數據來生成的、與亮度相關的圖 像數據即亮度系圖像數據進行復原處理，其中，復原濾波器生成方法具備：信息取得步驟， 取得表示光學系統(tǒng)的光學傳遞函數的取決于顏色的波動的波動信息；以及復原濾波器生成 步驟，生成復原濾波器，在復原濾波器生成步驟中，根據在信息取得步驟中取得的波動信息 來生成復原濾波器，該復原濾波器根據取決于顏色的波動來減弱復原強度，與假定為沒有 取決于顏色的波動而確定的理想濾波器的復原強度相比，減弱復原強度。
[0040] 另外，本發(fā)明提供一種復原濾波器生成方法，生成復原濾波器，該復原濾波器用于 針對由具有光學系統(tǒng)的攝像裝置得到的圖像數據進行復原處理，復原濾波器生成方法具 備：信息取得步驟，取得表示光學系統(tǒng)的光學傳遞函數的、由光學系統(tǒng)的制造引起的波動的 波動信息；以及復原濾波器生成步驟，生成復原濾波器，波動信息是由光學系統(tǒng)的制造引起 的波動設為服從正態(tài)分布而計算出的光學傳遞函數的方差，在復原濾波器生成步驟中，根 據在信息取得步驟中取得的波動信息，來生成復原濾波器，該復原濾波器根據光學傳遞函 數的由光學系統(tǒng)的制造引起的波動來減弱復原強度，通過根據方差的項被設置于分母的算 式來計算復原強度，與假定為沒有由光學系統(tǒng)的制造引起的波動而確定的理想濾波器的復 原強度相比，減弱復原強度。
[0041] 另外，本發(fā)明提供一種復原濾波器生成方法，生成復原濾波器，該復原濾波器用于 針對由具有光學系統(tǒng)的攝像裝置得到的圖像數據進行復原處理，其中，復原濾波器生成方 法具備：信息取得步驟，取得表示光學系統(tǒng)的光學傳遞函數的取決于攝影條件的波動的波 動信息；以及復原濾波器生成步驟，生成復原濾波器，在信息取得步驟中取得的波動信息是 取決于攝影條件的波動設為服從正態(tài)分布而計算出的光學傳遞函數的方差，在復原濾波器 生成步驟中，根據在信息取得步驟中取得的波動信息，來生成復原濾波器，該復原濾波器根 據取決于攝影條件的波動來減弱復原強度，通過根據方差的項被設置于分母的算式來計算 復原強度，與假定為沒有取決于攝影條件的波動而確定的理想濾波器的復原強度相比，減 弱復原強度。
[0042] 另外，本發(fā)明提供一種圖像處理方法，具有：圖像數據取得步驟，取得根據通過具 有光學系統(tǒng)的攝像裝置得到的各顏色的圖像數據來生成的、與亮度相關的圖像數據即亮度 系圖像數據；以及復原處理步驟，使用通過復原濾波器生成方法來生成的復