專(zhuān)利名稱(chēng)：圖像處理設(shè)備和使用圖像處理設(shè)備的圖像捕獲裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明 涉及一種對(duì)所捕獲的圖像進(jìn)行圖像處理的方法，更特別地，涉及使用圖像恢復(fù)處理對(duì)劣化圖像的校正。
背景技術(shù)：
隨著信息數(shù)字化的進(jìn)展，提出了通過(guò)對(duì)輸入圖像進(jìn)行數(shù)字信號(hào)處理來(lái)獲得期望圖像的技術(shù)。在使用圖像拾取裝置捕獲對(duì)象圖像時(shí)，在圖像拾取光學(xué)系統(tǒng)中發(fā)生的像差使所獲得的圖像遭受相當(dāng)大的劣化。用于校正圖像劣化的一種已知技術(shù)是使用關(guān)于圖像拾取光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)(以下稱(chēng)為0TF)的信息的校正。專(zhuān)利文獻(xiàn)I公開(kāi)了一種圖像恢復(fù)過(guò)濾器(filter)，通過(guò)描述由圖像拾取光學(xué)系統(tǒng)引起的圖像劣化的點(diǎn)擴(kuò)散函數(shù)的傅里葉變換而獲得的光學(xué)傳遞函數(shù)(OTF)用作該圖像恢復(fù)過(guò)濾器。該圖像恢復(fù)過(guò)濾器通過(guò)允許其參數(shù)被調(diào)節(jié)而能夠連續(xù)地調(diào)整捕獲圖像的圖像恢復(fù)程度。引文列表專(zhuān)利文獻(xiàn)PTL I :日本專(zhuān)利特開(kāi) No. 2007-18384
發(fā)明內(nèi)容
技術(shù)問(wèn)題然而，即使當(dāng)使用專(zhuān)利文獻(xiàn)I中的圖像恢復(fù)過(guò)濾器執(zhí)行圖像恢復(fù)時(shí)，如果由圖像拾取光學(xué)系統(tǒng)引起的每種顏色成分的像差不同于預(yù)期像差特性，則意外的色彩模糊發(fā)生在捕獲圖像中，并且其圖像質(zhì)量劣化。這樣的色彩模糊可由制造誤差、圖像捕獲環(huán)境下的光譜改變、三維對(duì)象的圖像捕獲或亮度飽和引起的圖像拾取光學(xué)系統(tǒng)中的變化所造成。下面描述三維對(duì)象的圖像拾取作為發(fā)生色彩模糊的情形的一個(gè)例子。圖像拾取裝置通過(guò)自動(dòng)對(duì)焦功能或手動(dòng)對(duì)焦而對(duì)焦在對(duì)象空間中的一個(gè)平面上以捕獲圖像。當(dāng)對(duì)象是三維對(duì)象時(shí)，其對(duì)象距離隨視角而變化。在這種情況下，如果對(duì)象對(duì)焦，則其圖像被相對(duì)清晰地捕獲，而如果對(duì)象未對(duì)焦，則在其圖像中發(fā)生根據(jù)其距離的模糊。當(dāng)對(duì)具有這樣的模糊的捕獲圖像執(zhí)行傳統(tǒng)的圖像恢復(fù)處理時(shí)，如果對(duì)象對(duì)焦，則因?yàn)閳D像恢復(fù)過(guò)濾器是最佳的，所以對(duì)于其邊緣可以獲得所需的清晰度。然而，如果對(duì)象未對(duì)焦，則色彩模糊可在邊緣中發(fā)生，或者色彩模糊可以不自然地大。在用于改善輸出圖像的圖像質(zhì)量的圖像恢復(fù)處理中發(fā)生這樣的色彩模糊顯著地降低了圖像質(zhì)量。因此，本發(fā)明的一個(gè)目的是提供一種圖像處理裝置，其能夠減少可發(fā)生在傳統(tǒng)的圖像恢復(fù)處理中的不自然的色彩模糊的發(fā)生，并且能夠獲得良好的圖像質(zhì)量。問(wèn)題的解決方案為了解決以上問(wèn)題，本發(fā)明提供一種圖像處理裝置，包括
一次恢復(fù)圖像產(chǎn)生部件，用于通過(guò)對(duì)具有多種顏色成分的輸入圖像執(zhí)行圖像恢復(fù)處理來(lái)產(chǎn)生一次恢復(fù)圖像；恢復(fù)成分信息產(chǎn)生部件，用于通過(guò)計(jì)算所述輸入圖像與所述一次恢復(fù)圖像之間的差異來(lái)產(chǎn)生所述多種顏色成分中的每種的差異信息；以及二次恢復(fù)圖像產(chǎn)生部件，用于使用所述差異信息來(lái)產(chǎn)生二次恢復(fù)圖像，所述二次恢復(fù)圖像產(chǎn)生部件將基于所述多種顏色成分的差異信息的顏色組合恢復(fù)成分信息與所述輸入圖像的一種顏色成分組合。
本發(fā)明的有益效果本發(fā)明基于顏色成分的模糊量之間的差異進(jìn)行圖像處理。因此，可減少可發(fā)生在圖像恢復(fù)處理中的不自然的色彩模糊，并且可獲得良好的圖像質(zhì)量。


圖I是根據(jù)第一實(shí)施例的圖像拾取裝置的框圖。圖2示出根據(jù)第一實(shí)施例的圖像處理的算法。圖3是用于描述根據(jù)第一實(shí)施例的圖像恢復(fù)過(guò)濾器的例子和圖像恢復(fù)過(guò)濾器的選擇的示圖。圖4示出根據(jù)第一實(shí)施例的圖像拾取裝置的操作流程。圖5示出與傳統(tǒng)例子進(jìn)行比較的色彩模糊。圖6示出與傳統(tǒng)例子進(jìn)行比較的處理流程。圖7示出根據(jù)第二實(shí)施例的圖像處理的算法。圖8示出顏色組合比調(diào)整因子《與恢復(fù)強(qiáng)度調(diào)整因子U之間的關(guān)系。圖9示出展現(xiàn)顏色組合比調(diào)整因子《和恢復(fù)強(qiáng)度調(diào)整因子U的線性的實(shí)驗(yàn)結(jié)果。圖10示出根據(jù)第三實(shí)施例的處理流程。圖11示出當(dāng)使用顏色組合比調(diào)整因子《時(shí)發(fā)生的處理流程。圖12示出當(dāng)使用顏色組合比調(diào)整因子《和恢復(fù)強(qiáng)度調(diào)整因子U時(shí)發(fā)生的處理流程。圖13是根據(jù)第四實(shí)施例的圖像處理系統(tǒng)的框圖。圖14示出可在根據(jù)第四實(shí)施例的系統(tǒng)之間交換的數(shù)據(jù)。圖15示出執(zhí)行顏色插值處理的情況下的處理流程。圖16示出執(zhí)行白平衡校正處理的情況下處理流程。圖17是執(zhí)行畸變校正處理的情況下的處理流程。圖18是執(zhí)行橫向色差校正處理的情況下的處理流程。圖19是用于描述橫向色差校正(w =1/2，ii =1)的圖。圖20是用于描述橫向色差校正(w =1/2，U =1/2)的圖。
具體實(shí)施例方式下面使用附圖來(lái)描述用于實(shí)施本發(fā)明的實(shí)施例。在說(shuō)明書(shū)中，使用了術(shù)語(yǔ)“圖像模糊”。圖像模糊表示本應(yīng)聚焦(會(huì)聚)在單個(gè)點(diǎn)上的光束在像平面上的擴(kuò)散(分布)，通常，它也被稱(chēng)為點(diǎn)擴(kuò)散函數(shù)(PSF)。該模糊由光學(xué)系統(tǒng)中的球面像差、彗形像差、像場(chǎng)彎曲、像散或其它像差造成。關(guān)于圖像模糊，例如，未對(duì)焦的圖像也可以說(shuō)具有模糊。這里，特別地，它表示其中即使圖像對(duì)焦，模糊由于光學(xué)系統(tǒng)中的像差影響而發(fā)生的圖像模糊。第一實(shí)施例關(guān)于第一實(shí)施例，描述下述例子，在該例子中，作為當(dāng)由意外的像差引起的色彩模糊存在于通過(guò)圖像拾取裝置捕獲的圖像中時(shí)發(fā)生的圖像處理，使用作為顏色組合比調(diào)整因子的參數(shù)來(lái)相對(duì)于某一種顏色改變顏色成分的顏色組合比使得圖像能夠具有良好的質(zhì)量。圖I是根據(jù)第一實(shí)施例的圖像拾取裝置的框圖。圖中的箭頭表示信息傳輸?shù)闹饕窂?。附圖標(biāo)記IOla指示光闌，附圖標(biāo)記IOlb 指示聚焦透鏡。圖像拾取光學(xué)系統(tǒng)101包括光闌IOla和聚焦透鏡101b。附圖標(biāo)記102指示圖像拾取元件，其將光學(xué)圖像轉(zhuǎn)換為電信號(hào)，并且包括電荷耦合器件(CXD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器。附圖標(biāo)記103指示模數(shù)(A/D)轉(zhuǎn)換器，其將從圖像拾取元件102輸出的模擬信號(hào)圖像數(shù)據(jù)轉(zhuǎn)換為數(shù)字信號(hào)圖像數(shù)據(jù)。附圖標(biāo)記104指示圖像處理部分，其執(zhí)行圖像處理(信號(hào)處理)，諸如校正圖像中的色彩模糊的處理和減少模糊的處理。附圖標(biāo)記105指示顯示部分，例如，液晶顯示器或有機(jī)電致發(fā)光顯示器。顯示部分105顯示在圖像處理部分104中經(jīng)過(guò)處理的圖像數(shù)據(jù)或者存儲(chǔ)在存儲(chǔ)部分108或圖像存儲(chǔ)介質(zhì)109中的圖像數(shù)據(jù)。附圖標(biāo)記106指示圖像拾取光學(xué)系統(tǒng)控制部分，其控制圖像拾取光學(xué)系統(tǒng)的光闌IOla和聚焦透鏡101b。圖像拾取光學(xué)系統(tǒng)控制部分106的例子包括用于根據(jù)對(duì)象距離調(diào)整對(duì)焦的自動(dòng)對(duì)焦機(jī)構(gòu)或手動(dòng)對(duì)焦機(jī)構(gòu)。附圖標(biāo)記107指示狀態(tài)檢測(cè)部分，其檢測(cè)拍攝狀態(tài)(例如，光闌直徑、變焦位置、對(duì)象距離)。附圖標(biāo)記110指示系統(tǒng)控制器，其對(duì)圖像拾取裝置的系統(tǒng)實(shí)施控制。系統(tǒng)控制器HO控制圖像處理部分104的圖像處理，并且除此之外，還將寫(xiě)入在存儲(chǔ)部分108中的圖像數(shù)據(jù)作為文件形式寫(xiě)入到圖像存儲(chǔ)介質(zhì)109中。附圖標(biāo)記111指示操作部分，其將各種操作的指令輸入到系統(tǒng)控制器110中。操作部分的例子包括用于提供拾取圖像的指令的釋放按鈕、用于操作光標(biāo)或菜單的方向按鈕和觸摸面板。圖像拾取光學(xué)系統(tǒng)101被構(gòu)造為圖像拾取裝置的一部分。然而，它可以是可更換的，并且可以是在例如單鏡頭反光照相機(jī)中的圖像拾取光學(xué)系統(tǒng)。這里，為了簡(jiǎn)單起見(jiàn)，僅示出了作為圖像拾取光學(xué)系統(tǒng)101的主要組成部分的光闌IOla和聚焦透鏡101b。然而，除了透鏡之外，圖像拾取光學(xué)系統(tǒng)101還可使用具有曲率的反射鏡(反射表面)。圖像處理部分104至少包括運(yùn)算部分和臨時(shí)存儲(chǔ)部分(緩沖器)，并且對(duì)于下述每個(gè)處理基于需要將圖像寫(xiě)入到臨時(shí)存儲(chǔ)部分中和從臨時(shí)存儲(chǔ)部分讀取圖像。例如，在下述產(chǎn)生二次恢復(fù)圖像的處理的情況下，為了組合輸入圖像與一次恢復(fù)圖像之間每種顏色成分的差異信息，可將一開(kāi)始獲得的輸入圖像臨時(shí)存儲(chǔ)在臨時(shí)存儲(chǔ)部分(緩沖器)中。用于在臨時(shí)存儲(chǔ)中使用的存儲(chǔ)部分不限于臨時(shí)存儲(chǔ)部分(緩沖器)，它可以是例如存儲(chǔ)部分108?？筛鶕?jù)具有存儲(chǔ)功能的存儲(chǔ)部分的數(shù)據(jù)容量和傳輸速度來(lái)選擇任何合適的元件。具有臨時(shí)存儲(chǔ)部分的圖像處理部分104或存儲(chǔ)部分108存儲(chǔ)執(zhí)行圖像處理所需的數(shù)據(jù)。這樣的所需數(shù)據(jù)的例子包括圖像的像素的亮度值、關(guān)于圖像拾取光學(xué)系統(tǒng)101的像差的信息、下述圖像恢復(fù)過(guò)濾器、差異信息、顏色組合比調(diào)整因子和恢復(fù)強(qiáng)度調(diào)整因子。圖2示出由圖像處理部分104執(zhí)行的處理的算法。使用圖2來(lái)詳細(xì)描述圖像處理的算法。在以下描述中，A指示與圖2所示的g、f、fd、S、Sd等對(duì)應(yīng)的圖像信息，并且關(guān)于更多的細(xì)節(jié)，指示了像素的信號(hào)值(亮度值)。附標(biāo)m指示當(dāng)圖像的顏色成分為紅色(R)、綠色(G)和藍(lán)色(B)時(shí)的顏色成分R、G或B。也就是說(shuō)，Am是指示(A的R成分、A的G成分或A的B成分)的(AK、Ae或Ab)。(輸入圖像gm)首先，描述輸入圖像gm。輸入圖像gm對(duì)于每個(gè)像素可具有多種顏色成分(例如，R、G、B)，并且可指示用LCH表示的明度、色調(diào)和色度?？墒褂脤?duì)于每個(gè)像素具有單個(gè)顏色成分的信號(hào)值的馬賽克圖像。可使用去馬賽克圖像，在去馬賽克圖像中，馬賽克圖像經(jīng)歷顏色插值處理(去馬賽克處理)，并且每個(gè)像素具有多個(gè)顏色成分的信號(hào)值。馬賽克圖像也可稱(chēng)為作為執(zhí)行各種類(lèi)型的圖像處理之前的圖像的 原始(RAW)圖像，所述圖像處理諸如顏色插值處理(去馬賽克處理)、稱(chēng)為伽馬轉(zhuǎn)換的信號(hào)值轉(zhuǎn)換和稱(chēng)為JPEG的圖片壓縮。例如，為了通過(guò)使用單面板圖像拾取元件獲得具有多個(gè)顏色成分的輸入圖像gm，可對(duì)像素布置具有不同光譜透射率的濾色器，并且獲得對(duì)于每個(gè)像素具有單個(gè)顏色成分的信號(hào)值的馬賽克圖像。在這種情況下，如果執(zhí)行以上顏色插值處理，則可產(chǎn)生對(duì)于每個(gè)像素具有多個(gè)顏色成分的信號(hào)值的圖像。當(dāng)使用多面板(例如，三面板)圖像拾取元件時(shí)，對(duì)圖像拾取元件布置具有不同光譜透射率的濾色器，并且可獲得具有在圖像拾取元件之間變化的不同顏色成分的信號(hào)值的圖像。在這種情況下，因?yàn)閳D像具有與圖像拾取元件的各個(gè)像素對(duì)應(yīng)的顏色成分的信號(hào)值，所以可在不進(jìn)行顏色插值處理的情況下產(chǎn)生對(duì)于每個(gè)像素具有多個(gè)顏色成分的信號(hào)值的圖像。上述對(duì)于每個(gè)像素具有多個(gè)顏色成分的圖像作為輸入圖像gm經(jīng)受下述一次圖像恢復(fù)處理。(一次圖像恢復(fù)處理)接下來(lái)，描述直到通過(guò)對(duì)輸入圖像gm執(zhí)行一次圖像恢復(fù)處理而獲得一次恢復(fù)圖像fdm的處理。下述處理由圖像處理部分104執(zhí)行。輸入圖像gm是通過(guò)圖像拾取元件102感測(cè)穿過(guò)圖像拾取光學(xué)系統(tǒng)101的光而獲得的數(shù)字圖像。該數(shù)字圖像gm的圖像質(zhì)量由于光學(xué)傳遞函數(shù)(OTF)而降低，OTF由包括透鏡和各種光學(xué)過(guò)濾器的圖像拾取光學(xué)系統(tǒng)101的像差造成。通過(guò)將基于OTF的圖像恢復(fù)過(guò)濾器用于每個(gè)顏色成分，圖像質(zhì)量劣化的、具有多個(gè)顏色成分(R，G，B)的輸入圖像gm經(jīng)受恢復(fù)處理，從而獲得一次恢復(fù)圖像fdm。這里，圖3(A)中示出了用于描述圖像恢復(fù)過(guò)濾器的示意圖。對(duì)于圖像恢復(fù)過(guò)濾器，小片(tap)的數(shù)量可根據(jù)圖像拾取光學(xué)系統(tǒng)的像差特性或者所需的恢復(fù)精度來(lái)確定。在圖3(A)中，作為例子，使用具有11X11小片的二維過(guò)濾器。過(guò)濾器的小片對(duì)應(yīng)于圖像的各個(gè)像素，并且，在圖像恢復(fù)處理(一次圖像恢復(fù)處理)中，執(zhí)行卷積處理(卷積積分，乘積之和)。在卷積處理中，為了改善圖像的某個(gè)像素的信號(hào)值，使該像素與圖像恢復(fù)過(guò)濾器的中心匹配。然后，對(duì)圖像恢復(fù)過(guò)濾器和圖像的每個(gè)對(duì)應(yīng)像素計(jì)算信號(hào)值和過(guò)濾器的因子值的乘積，總和代替為中心像素的信號(hào)值。在圖3(A)中，省略了每個(gè)小片內(nèi)的值；該圖像恢復(fù)過(guò)濾器的一個(gè)橫截面在圖3(B)中示出。理想地，圖像恢復(fù)過(guò)濾器的小片的值(因子值)的分布用于將由于像差而空間擴(kuò)散的信號(hào)值返回到原始的單個(gè)點(diǎn)。該圖像恢復(fù)過(guò)濾器可通過(guò)圖像拾取光學(xué)系統(tǒng)的OTF的計(jì)算或測(cè)量以及對(duì)基于其反函數(shù)的函數(shù)執(zhí)行逆傅里葉變換來(lái)獲得。通常，因?yàn)樾枰紤]噪聲影響，所以選擇并使用產(chǎn)生維納過(guò)濾器或相關(guān)的各種圖像恢復(fù)過(guò)濾器的方法。另外，不僅圖像拾取光學(xué)系統(tǒng)，而且在圖像捕獲過(guò)程中使圖像質(zhì)量劣化的因素也可包括在該產(chǎn)生中。該因素的例子包括雙折射光學(xué)低通過(guò)濾器或圖像拾取元件的像素的開(kāi)口形狀和開(kāi)口率。當(dāng)在圖像拾取光學(xué)系統(tǒng)中使用雙折射光學(xué)低通過(guò)濾器時(shí)，因?yàn)镺TF的頻率特性的高頻成分被抑制，所以圖像質(zhì)量降低。圖像拾取元件的像素的開(kāi)口形狀和開(kāi)口率也對(duì)OTF的頻率特性具有影響。另外，光源的光譜特性和各種波長(zhǎng)過(guò)濾器的光譜特性可以是降低圖像質(zhì)量的因素。圖像恢復(fù)過(guò)濾器可優(yōu)選地基于包括以上因素的廣泛定義的OTF來(lái)產(chǎn)生。當(dāng)圖像為RGB彩色圖像時(shí)，可產(chǎn)生與RGB顏色成分對(duì)應(yīng)的三個(gè)圖像恢復(fù)過(guò)濾器。對(duì)于第一實(shí)施例，基于產(chǎn)生維納過(guò)濾器的方法來(lái)產(chǎn)生圖像恢復(fù)過(guò)濾器。根據(jù)第一實(shí)施例的圖像拾取裝置將通過(guò)以上方法產(chǎn)生的多個(gè)過(guò)濾器存儲(chǔ)在存儲(chǔ)部分108中，并且根據(jù)拍攝狀態(tài)選擇適當(dāng)?shù)膱D像恢復(fù)過(guò)濾器或者校正圖像恢復(fù)過(guò)濾器。圖3(C)是用于描述圖像恢復(fù)過(guò)濾器的選擇和校 正的圖以及存儲(chǔ)在存儲(chǔ)部分108中的一組圖像恢復(fù)過(guò)濾器的示意圖。存儲(chǔ)在存儲(chǔ)部分108中的圖像恢復(fù)過(guò)濾器離散地布置在拍攝狀態(tài)空間中，拍攝狀態(tài)空間具有變焦位置、光闌直徑和對(duì)象距離這三個(gè)狀態(tài)作為它的軸。圖3(C)所示的坐標(biāo)所表示的空間被稱(chēng)為拍攝狀態(tài)空間。拍攝狀態(tài)空間中的點(diǎn)(黑色圓圈)的坐標(biāo)指示與先前存儲(chǔ)的圖像恢復(fù)過(guò)濾器對(duì)應(yīng)的拍攝狀態(tài)的位置。在圖3(C)中，為了描述方便，將每個(gè)過(guò)濾器的位置布置在與狀態(tài)交叉的網(wǎng)格點(diǎn)處。然而，每個(gè)過(guò)濾器的位置可偏離網(wǎng)格點(diǎn)。為了便于示出拍攝狀態(tài)，使用了具有三種狀態(tài)(變焦位置、光闌直徑、對(duì)象距離)作為其軸的三維圖。然而，可使用具有以四種或更多種狀態(tài)作為目標(biāo)的四個(gè)或更多個(gè)維度的拍攝狀態(tài)空間。例如，可使用快門(mén)速度、ISO速度額定值、白平衡和攝影模式作為軸。接下來(lái)，描述選擇圖3 (C)所示的圖像恢復(fù)過(guò)濾器的特定方法。假設(shè)圖3 (C)所示的大白圓圈所指示的狀態(tài)是所檢測(cè)到的實(shí)際拍攝狀態(tài)。如果過(guò)濾器位于實(shí)際拍攝狀態(tài)的位置處或者在其極點(diǎn)附近，則選擇該過(guò)濾器，并且在圖像恢復(fù)處理(一次圖像恢復(fù)處理)中使用該過(guò)濾器。如果沒(méi)有過(guò)濾器位于實(shí)際拍攝狀態(tài)的位置處或者在其極點(diǎn)附近，則計(jì)算在拍攝狀態(tài)空間中實(shí)際拍攝狀態(tài)與每個(gè)所存儲(chǔ)的拍攝狀態(tài)之間的距離，并且選擇存在于最短距離處的過(guò)濾器。對(duì)于圖3(C)所示的拍攝狀態(tài)，因?yàn)闆](méi)有與大白圓圈對(duì)應(yīng)的過(guò)濾器，所以選擇小白圓圈的位置處的過(guò)濾器。另一種選擇方法可以是通過(guò)下述步驟選擇過(guò)濾器的方法，即，在過(guò)濾器選擇時(shí)在拍攝狀態(tài)空間中分配方向權(quán)重，并且使用拍攝狀態(tài)空間中的距離和方向權(quán)重的乘積作為評(píng)估函數(shù)。接下來(lái)，描述在選擇圖像恢復(fù)過(guò)濾器之后校正所選的過(guò)濾器以使該過(guò)濾器更合適的處理。首先，在選擇過(guò)濾器的處理中，計(jì)算拍攝狀態(tài)空間中實(shí)際拍攝狀態(tài)與每個(gè)存儲(chǔ)的拍攝狀態(tài)之間的距離，并且選擇最短距離處的過(guò)濾器。這使得狀態(tài)差異能夠最小化，從而使得校正量能減小。在圖3(C)中，位于小白圓圈位置處的過(guò)濾器被選擇。計(jì)算實(shí)際拍攝狀態(tài)與所選的圖像恢復(fù)過(guò)濾器的位置處的每個(gè)拍攝狀態(tài)之間的狀態(tài)差異AA、AB和AC。基于所計(jì)算的狀態(tài)差異校正所選的圖像恢復(fù)過(guò)濾器可產(chǎn)生支持實(shí)際拍攝狀態(tài)的圖像恢復(fù)過(guò)濾器(圖像恢復(fù)過(guò)濾器產(chǎn)生部件)。另一種校正處理可以是，選擇在實(shí)際拍攝狀態(tài)附近的多個(gè)圖像恢復(fù)過(guò)濾器，并且根據(jù)狀態(tài)差異對(duì)所述多個(gè)過(guò)濾器執(zhí)行插值處理，以產(chǎn)生適合于拍攝狀態(tài)的圖像恢復(fù)過(guò)濾器。這里的插值處理可通過(guò)使用線性插值、多項(xiàng)式插值或樣條插值對(duì)二維過(guò)濾器的對(duì)應(yīng)小片的因子值進(jìn)行插值來(lái)實(shí)現(xiàn)。即使是在一定的拍攝狀態(tài)下，光學(xué)傳遞函數(shù)(OTF)也隨圖像的高度(圖像的位置)而變化。因此，在以上卷積處理中，對(duì)于圖像根據(jù)圖像高度而被劃分的區(qū)域中的每個(gè)區(qū)域，圖像恢復(fù)過(guò)濾器可以?xún)?yōu)選地被改變。圖像被劃分成的每個(gè)區(qū)域可優(yōu)選地為一個(gè)像素。然而，如果需要的話，該區(qū)域可改變。也就是說(shuō)，在執(zhí)行卷積處理時(shí)，圖像恢復(fù)過(guò)濾器可以在圖像上掃描移動(dòng)，過(guò)濾器可以對(duì)于每個(gè)特定區(qū)域接連改變。如果圖像恢復(fù)過(guò)濾器是被劃分為100個(gè)部分的二維過(guò)濾器，則可滿意 地校正圖像拾取光學(xué)系統(tǒng)的、從圖像形成位置大幅擴(kuò)散的像差，諸如球面像差、彗形像差、縱向色差或離軸顏色耀斑。還可精確地校正非對(duì)稱(chēng)像差，諸如彗形像差、離軸顏色耀斑、徑向耀斑、像場(chǎng)彎曲和像散。通過(guò)上述方法選擇或校正(產(chǎn)生)的圖像恢復(fù)過(guò)濾器和輸入圖像gm的卷積產(chǎn)生一次恢復(fù)圖像fdm。在實(shí)際空間中對(duì)輸入圖像gm執(zhí)行圖像恢復(fù)過(guò)濾器的卷積處理使得圖像能被恢復(fù)而在圖像恢復(fù)處理過(guò)程中不需要圖像的傅里葉變換或逆傅里葉變換。因此，處理可以聞速進(jìn)行。(產(chǎn)生恢復(fù)成分信息的處理)再次使用圖2來(lái)描述從一次恢復(fù)圖像fdm和輸入圖像gm產(chǎn)生恢復(fù)成分信息Sm的處理。如表達(dá)式I所表示的，對(duì)于每個(gè)對(duì)應(yīng)像素，從通過(guò)上述一次圖像恢復(fù)處理所獲得的一次恢復(fù)圖像fdm的信號(hào)值減去原始輸入圖像gm的信號(hào)值。采用該處理，產(chǎn)生恢復(fù)成分信息Sm (差異信息)，其為每個(gè)顏色成分的信號(hào)值之間的差異。表達(dá)式I(表達(dá)式I)Sm=fdm-gm然后，將顏色組合比調(diào)整因子《應(yīng)用到恢復(fù)成分信息Sm，從而獲得顏色組合恢復(fù)成分信息Sdm。顏色組合恢復(fù)成分信息Sdm的產(chǎn)生可表不為表達(dá)式2。在表達(dá)式2中，用于n的E指示用于R、G和B的求和計(jì)算。表達(dá)式2(表達(dá)式2)
RGB ^Sdm = ^omnS11
11顏色組合比調(diào)整因子《是用于產(chǎn)生顏色組合恢復(fù)成分信息Sdm的因子。通過(guò)根據(jù)顏色組合比調(diào)整因子《對(duì)用于所有顏色成分(R，G，B)的恢復(fù)成分信息Sm的顏色組合，獲得用于特定顏色成分的顏色組合恢復(fù)成分信息Sdm。也就是說(shuō)，顏色組合比調(diào)整因子《是顏色成分的混合比。對(duì)于《AB，圖2中的《的附標(biāo)指示用以產(chǎn)生用于顏色成分A的顏色組合恢復(fù)成分信息SdA的、用于顏色成分B的顏色組合比調(diào)整因子。因此，從恢復(fù)成分信息Sm產(chǎn)生顏色組合恢復(fù)成分信息Sdm的處理可被表不為表達(dá)式2和表達(dá)式3,其中，表達(dá)式2是針對(duì)顏色成分m和n而制定的。表達(dá)式3(表達(dá)式3)
SdR) r%R %g ^%b 丫 Sr、Sd0 = COgr COgg G)m Sg
Vfi7BR fi7BG BB 人
當(dāng)形成圖像的顏色成分是R、G和B時(shí)，顏色組合比調(diào)整因子Co可被表示為具有3X3個(gè)因子元素的矢量。通過(guò)根據(jù)該顏色組合比調(diào)整因子《組合恢復(fù)成分信息Sm，產(chǎn)生顏色組合恢復(fù)成分信息Sdm。描述用于R成分的顏色組合恢復(fù)成分信息SdK的產(chǎn)生作為例子。用于R的顏色組合恢復(fù)成分信息SdK通過(guò)下述步驟產(chǎn)生，即，分別將用于R、G和B的恢復(fù)成分信息SK、Se和Sb的像素的信號(hào)值乘以顏色組合比調(diào)整因子《KK、COffi和《KB，并且組合顏色成分的它們。所述組合是通過(guò)計(jì)算用于多個(gè)圖像的每個(gè)對(duì)應(yīng)像素的信號(hào)值來(lái)產(chǎn)生單個(gè)圖像。同樣的處理應(yīng)用到其它顏色成分。顏色組合恢復(fù)成分信息Sdm通過(guò)上述處理產(chǎn)生。以這樣的方式，在獲得某個(gè)顏色 成分的像素的信號(hào)值時(shí)使用包括該某個(gè)顏色成分的多個(gè)顏色成分的信號(hào)值使得能夠產(chǎn)生從傳統(tǒng)的圖像恢復(fù)處理不可獲得的顏色組合恢復(fù)成分信息Sdm。(產(chǎn)生二次恢復(fù)圖像的處理)接下來(lái)，描述從在上述產(chǎn)生恢復(fù)成分信息的處理中產(chǎn)生的顏色組合恢復(fù)成分信息Sdm產(chǎn)生二次恢復(fù)圖像fm的處理。對(duì)于每個(gè)顏色成分將顏色組合恢復(fù)成分信息Sdm和輸入圖像gm相加使得能夠獲得二次恢復(fù)圖像fm。二次恢復(fù)圖像fm的產(chǎn)生可表示為表達(dá)式4。該二次恢復(fù)圖像fm是輸出圖像。表達(dá)式4(表達(dá)式4)fm = gm+Sdm
RGB=gm - 2>mil(fdn-g )
n以下描述上述處理的概要。具有多個(gè)顏色成分的輸入圖像(gm)經(jīng)歷圖像恢復(fù)處理，從而產(chǎn)生一次恢復(fù)圖像(fdm)。計(jì)算一次恢復(fù)圖像(fdm)與輸入圖像(gm)之間的差異，從而產(chǎn)生所述多個(gè)顏色成分中的每個(gè)的差異信息(Sm)。然后，使用差異信息(S111)來(lái)產(chǎn)生二次恢復(fù)圖像(fm)。在二次圖像恢復(fù)處理中，參照R顏色成分，將基于所述多個(gè)顏色成分的差異信息的顏色組合恢復(fù)成分信息(《kkSk+toJkSi^coebSk)與輸入圖像的單個(gè)顏色成分(gK)組合。也就是說(shuō)，與僅使用R顏色的差異信息時(shí)相比，在對(duì)于R顏色的圖像恢復(fù)時(shí)除了 R顏色的差異信息之外還使用G顏色和B顏色中的每個(gè)的差異信息使得R顏色的色彩模糊能夠是小的。換句話講，執(zhí)行基于顏色成分的模糊量之間的差異的圖像處理。這使得一次圖像恢復(fù)處理中的清晰度和可由一次圖像恢復(fù)處理引起的色彩模糊的程度能被平衡。因此，可產(chǎn)生不自然的色彩模糊減少的圖像fm。這里，詳細(xì)描述表達(dá)式3中所表示的顏色組合比調(diào)整因子Co。首先，描述顏色組合比調(diào)整因子《的兩個(gè)具體例子。一個(gè)是用于獲得與一次恢復(fù)圖像同的圖像作為二次恢復(fù)圖像f；的顏色組合比調(diào)整因子《。當(dāng)在表達(dá)式3中的顏色組合比調(diào)整因子《中對(duì)角線上的元素為I并且所有其它的元素為零時(shí)(單位矩陣)，顏色組合恢復(fù)成分信息Sdm與用于其自身顏色成分的恢復(fù)成分信息Sm相同。這是當(dāng)二次恢復(fù)圖像fm輸出為與一次恢復(fù)圖像同的圖像時(shí)的因子的設(shè)置。在這種情況下，對(duì)于二次恢復(fù)圖像fm，像差成分被盡可能多地校正。因此，如果意外的像差發(fā)生，則色彩模糊在執(zhí)行恢復(fù)處理之后將變得更明顯，所以圖像質(zhì)量將降低。然而，只要這樣的意外像差不發(fā)生，就可獲得滿意的圖像。
第二個(gè)是用于避免色彩模糊的顏色組合比調(diào)整因子《。當(dāng)表達(dá)式3中的顏色組合比調(diào)整因子《中的所有元為1/3時(shí)，顏色組合恢復(fù)成分信息Sdm是其中對(duì)用于所有顏色成分的恢復(fù)成分信息Sm取平均值的顏色組合恢復(fù)成分信息。也就是說(shuō)，顏色組合恢復(fù)成分信息是其中相對(duì)于輸入圖像的單個(gè)顏色成分對(duì)多個(gè)顏色成分的差異信息取平均值的顏色組合恢復(fù)成分信息。因此，顏色組合恢復(fù)成分信息SdK、Sdt^P SdB全都相同。顏色組合恢復(fù)成分信息Sdm對(duì)于所有顏色成分都相同 意味著在后面的處理中將顏色組合恢復(fù)成分信息Sdffl與輸入圖像gm組合時(shí)用于顏色成分的附加信息之間沒(méi)有差異。因此，沒(méi)有色彩模糊發(fā)生。然而，因?yàn)橛糜陬伾煞值南癫钚畔⒈黄骄?，所以與上面作為第一例子描述的那樣一次恢復(fù)圖像fdm是輸出圖像時(shí)相比，恢復(fù)的程度(即，清晰度)降低。即使當(dāng)恢復(fù)成分信息Sm被平均時(shí)，也因?yàn)橄喈?dāng)大的正相關(guān)性(相似性)存在于恢復(fù)成分信息SioScj和Sb之間，所以二次恢復(fù)圖像fm的清晰度與輸入圖像比得到改善。因此，將顏色組合比調(diào)整因子《的所有元設(shè)置為1/3防止了色彩模糊的發(fā)生。設(shè)置上述顏色組合比調(diào)整因子《使得能夠獲得具有所期望的圖像質(zhì)量的圖像。這是因?yàn)椋褂冒骋活伾煞值亩鄠€(gè)顏色成分來(lái)獲得針對(duì)該某一顏色成分的恢復(fù)圖像使得能夠在顏色成分之間調(diào)整恢復(fù)程度?？墒褂脙H用于一個(gè)顏色成分的顏色組合恢復(fù)成分信息。備選地，基于多個(gè)顏色成分的差異信息的顏色組合恢復(fù)成分信息可與輸入圖像的顏色成分組合。具體而言，與R成分和B成分相比，G成分引起較小的色差。該性質(zhì)可用于執(zhí)行圖像恢復(fù)處理，在該圖像恢復(fù)處理中，對(duì)于R顏色和B顏色，采用基于差異信息的顏色組合恢復(fù)成分信息，對(duì)于G顏色,米用關(guān)于G光的差異信息。接下來(lái)，使用圖4(A)來(lái)描述執(zhí)行上述圖像處理的整個(gè)圖像拾取裝置的操作。在步驟S41中，來(lái)自對(duì)象的光通過(guò)圖像拾取光學(xué)系統(tǒng)101到達(dá)圖像拾取元件102。被圖像拾取元件102檢測(cè)的光被轉(zhuǎn)換為模擬電信號(hào)。模擬信號(hào)被A/D轉(zhuǎn)換器103轉(zhuǎn)換為數(shù)字信號(hào)。系統(tǒng)控制器110執(zhí)行由圖像拾取元件102產(chǎn)生的圖像數(shù)據(jù)的直達(dá)圖像顯示。直達(dá)圖像顯示表示由圖像拾取元件102連續(xù)產(chǎn)生的對(duì)象狀態(tài)的圖像數(shù)據(jù)在顯示部分105上的實(shí)時(shí)視頻顯示。接著，在步驟S42中，系統(tǒng)控制器110確定快門(mén)開(kāi)關(guān)信號(hào)(以下稱(chēng)為SW信號(hào))是否開(kāi)啟。當(dāng)SW信號(hào)開(kāi)啟時(shí)，系統(tǒng)控制器110執(zhí)行自動(dòng)聚焦(AF)處理來(lái)實(shí)現(xiàn)圖像拾取光學(xué)系統(tǒng)101的對(duì)焦，執(zhí)行自動(dòng)曝光(AE)處理來(lái)確定光闌值和快門(mén)時(shí)間(快門(mén)速度)，并且將它們存儲(chǔ)在存儲(chǔ)部分108中，并且流程進(jìn)入步驟S43。當(dāng)SW信號(hào)關(guān)閉時(shí)，處理步驟返回到S41。在步驟S43中，響應(yīng)于檢測(cè)到SW信號(hào)的時(shí)間，系統(tǒng)控制器110根據(jù)從直到該時(shí)間獲得的圖像數(shù)據(jù)計(jì)算的光劑量來(lái)啟動(dòng)圖像拾取元件102的曝光處理。執(zhí)行對(duì)通過(guò)曝光處理產(chǎn)生的圖像數(shù)據(jù)執(zhí)行顯影處理的圖像捕獲處理，其結(jié)果存儲(chǔ)在存儲(chǔ)部分108中，并且流程進(jìn)入步驟S44。在步驟S44中，作為輸入圖像存儲(chǔ)在存儲(chǔ)部分108中的圖像通過(guò)圖像處理部分104經(jīng)歷上述圖像處理，并且在獲得處理結(jié)果的階段，流程進(jìn)入步驟S45。稍后描述在步驟S44中圖像處理部分104的處理流程。然后，在步驟S45中，系統(tǒng)控制器110執(zhí)行將通過(guò)圖像處理或圖像捕獲處理獲得的圖像數(shù)據(jù)作為圖像文件寫(xiě)入到圖像存儲(chǔ)介質(zhì)109中的記錄處理。對(duì)于圖4(A)的處理，在步驟S42中，示出了在一個(gè)階段中的SW的檢測(cè)。然而，可使用在兩個(gè)階段中的SW的檢測(cè)。在這種情況下，響應(yīng)于第一SW信號(hào)的開(kāi)啟狀態(tài)的檢測(cè)，可執(zhí)行AF處理和AE處理，并且僅當(dāng)?shù)诙A段中的SW信號(hào)在第一 SW信號(hào)的開(kāi)啟狀態(tài)下被檢測(cè)到時(shí)，流程才可進(jìn)入圖像捕獲處理。接下來(lái)，使用圖4(B)來(lái)描述圖4(A)所示的步驟S44中的圖像處理的流程。前面說(shuō)明了該圖像處理的算法。圖中的黑色圓圈指示在處理過(guò)程中獲得或產(chǎn)生的像素?cái)?shù)據(jù)。首先，圖像處理部分104獲得輸入圖 像。輸入圖像是對(duì)于每個(gè)像素具有一條顏色成分信息的馬賽克圖像。在步驟S441中，從狀態(tài)檢測(cè)部分107或存儲(chǔ)部分108獲得拍攝狀態(tài)信息，諸如關(guān)于透鏡位置和光闌值的拍攝狀態(tài)信息。接著，在步驟S442中，響應(yīng)于在步驟S441中獲得的拍攝狀態(tài)，選擇或校正圖像恢復(fù)過(guò)濾器。前面描述了圖像恢復(fù)過(guò)濾器的選擇或校正。在步驟S443中，輸入圖像使用在步驟S442中選擇或校正的圖像恢復(fù)過(guò)濾器經(jīng)歷恢復(fù)處理(一次圖像恢復(fù)處理)，以產(chǎn)生一次恢復(fù)圖像。接著，在步驟S444中，從輸入圖像的每個(gè)像素的信號(hào)值與一次恢復(fù)圖像的每個(gè)像素的信號(hào)值之間的差值產(chǎn)生恢復(fù)成分信息。因?yàn)檩斎雸D像是對(duì)于每個(gè)像素具有一條顏色成分信息的馬賽克圖像，所以這里執(zhí)行輸入圖像與恢復(fù)成分信息之間的顏色插值處理(去馬賽克處理)，以便后來(lái)執(zhí)行顏色成分之間的圖像組合。然后，在步驟S445中，獲得顏色組合比調(diào)整因子《和恢復(fù)強(qiáng)度調(diào)整因子y中的每個(gè)的調(diào)整參數(shù)的設(shè)置值。稍后描述恢復(fù)強(qiáng)度調(diào)整因子U。然后，在步驟S446中，使用調(diào)整參數(shù)針對(duì)每個(gè)顏色成分對(duì)恢復(fù)成分信息執(zhí)行表達(dá)式3所描述的計(jì)算，以產(chǎn)生顏色組合恢復(fù)成分信息。在一些情況下，僅可使用作為調(diào)整參數(shù)的顏色組合比調(diào)整因子《和恢復(fù)強(qiáng)度調(diào)整因子U中的一個(gè)。對(duì)于本實(shí)施例，根據(jù)圖像拾取狀態(tài)或圖像高度，自動(dòng)地從預(yù)先準(zhǔn)備的設(shè)置值選擇調(diào)整參數(shù)。可基于來(lái)自圖像的像素的特征值的確定來(lái)自動(dòng)地改變調(diào)整參數(shù)。像素的特征值的例子包括像素的像素值和該像素的像素值與其相鄰像素的像素值之間的差
巳接著，在步驟S447中，將在步驟S446中獲得的顏色組合恢復(fù)成分信息與輸入圖像組合，以產(chǎn)生二次恢復(fù)圖像(表達(dá)式4)?？蓪?duì)經(jīng)歷過(guò)顏色插值處理的圖像執(zhí)行該處理。備選地，可使用針對(duì)每種顏色成分放置在顏色組合恢復(fù)成分信息上的掩模來(lái)返回與馬賽克圖像對(duì)應(yīng)的顏色成分信息布置，并且可將它與馬賽克狀態(tài)的輸入圖像組合。接著，在步驟S448的附加處理中，執(zhí)行其它所需處理，然后輸出圖像。這里的其它所需處理的例子包括當(dāng)二次恢復(fù)圖像處于馬賽克圖像狀態(tài)時(shí)的顏色插值處理(去馬賽克處理)。其它例子包括遮光校正、畸變像差校正和橫向色差校正。如果需要，還可將包括這里描述的其它處理的各種類(lèi)型的圖像處理插入在上述流程之前、之后或之中。稍后描述這樣的示例性情況。使用圖5(A)至圖5(F)來(lái)描述當(dāng)執(zhí)行上述處理時(shí)產(chǎn)生的優(yōu)點(diǎn)。圖5 (A)至圖5(F)示出了對(duì)象及其拾取圖像的邊緣，水平軸指示圖像上的位置(像素)，垂直軸指示像素值。圖5A示出對(duì)象的邊緣。圖5(B)示出當(dāng)圖5(A)所示的邊緣在對(duì)焦距離處時(shí)恢復(fù)之前的捕獲圖像。圖5(C)示出當(dāng)對(duì)圖5(B)的圖像執(zhí)行傳統(tǒng)的圖像恢復(fù)處理時(shí)的恢復(fù)圖像。圖5(D)示出當(dāng)圖5(A)所示的邊緣在未對(duì)焦距離處時(shí)恢復(fù)之前的拾取圖像。圖5 (E)示出當(dāng)對(duì)圖5(D)的圖像執(zhí)行傳統(tǒng)的恢復(fù)處理時(shí)的恢復(fù)圖像。圖5(F)示出對(duì)圖5(D)的圖像執(zhí)行根據(jù)本發(fā)明的圖像恢復(fù)處理時(shí)的恢復(fù)圖像。
對(duì)于圖5(B)所示的邊緣，因?yàn)樯疃确较蛏系纳?，顏色成分I和顏色成分2具有不同擴(kuò)散的像差。例如，當(dāng)實(shí)線所指示的顏色成分I是G通道并且虛線所指示的顏色成分2是R通道時(shí)，邊緣可具有紅色色彩模糊。如果邊緣在對(duì)焦距離處，則如圖5(C)所示，可通過(guò)傳統(tǒng)的圖像恢復(fù)處理來(lái)恢復(fù)圖像，而不引起色彩模糊。然而，如果對(duì)象位于不在對(duì)焦距離的位置處，則如圖5(D)所示，邊緣具有綠色色彩模糊。如果它們利用適合于對(duì)焦距離的恢復(fù)過(guò)濾器(也就是說(shuō)，預(yù)期圖5(B)所示的狀態(tài)的恢復(fù)過(guò)濾器)來(lái)經(jīng)歷恢復(fù)處理，則顏色成分2被更大地校正，因此，顏色成分I與2之間的差異增大。也就是說(shuō)，如圖5(E)所示，色彩模糊發(fā)生，并且邊緣中的綠色色彩模糊被放大。然而，如果執(zhí)行根據(jù)本發(fā)明的圖像處理，則即使對(duì)于在如圖5(D)所示的未對(duì)焦距離處，也可減小放大色差狀態(tài)的色彩模糊，并且可獲得如圖5(F)所示的色彩模糊減小的恢復(fù)圖像。 使用圖6(A)和圖6(B)來(lái)描述其它優(yōu)點(diǎn)。圖6(A)示出傳統(tǒng)的圖像恢復(fù)處理的流程。圖6(B)示出第一實(shí)施例中所述的圖像處理的流程。對(duì)于傳統(tǒng)的圖像處理，在步驟S61a中獲得輸入圖像，并且每次在步驟S62a中改變恢復(fù)程度時(shí)，就計(jì)算并產(chǎn)生圖像恢復(fù)過(guò)濾器。接著，在步驟S63a中，使用在步驟S62a中產(chǎn)生的恢復(fù)過(guò)濾器進(jìn)行圖像恢復(fù)處理，以輸出恢復(fù)圖像。接著，在步驟S64a中，對(duì)恢復(fù)圖像進(jìn)行評(píng)估，以確定是要沒(méi)有任何處理地輸出該圖像還是要改變恢復(fù)程度。這里，當(dāng)要沒(méi)有任何處理地輸出圖像時(shí)，流程進(jìn)入步驟S65a，在步驟S65a中，輸出在S63a中產(chǎn)生的恢復(fù)圖像。相反，當(dāng)確定要改變恢復(fù)程度時(shí)，流程返回到步驟S62a，并且必須重新計(jì)算圖像恢復(fù)過(guò)濾器。圖6(B)示出根據(jù)第一實(shí)施例的圖像恢復(fù)處理的流程。在步驟S61b中，獲得捕獲圖像作為輸入圖像。接著，在步驟S62b中，使用作為初始值的參數(shù)(例如，變焦位置、光闌直徑、對(duì)象距離)來(lái)計(jì)算并產(chǎn)生圖像恢復(fù)過(guò)濾器。在不通過(guò)該步驟的情況下，可使用預(yù)先作為初始值而準(zhǔn)備的圖像恢復(fù)過(guò)濾器。然后，在步驟S63b中，使用該過(guò)濾器對(duì)輸入圖像進(jìn)行圖像恢復(fù)處理(一次圖像恢復(fù)處理)，以輸出一次恢復(fù)圖像。在步驟S64b中，使用預(yù)先準(zhǔn)備的調(diào)整參數(shù)對(duì)一次恢復(fù)圖像進(jìn)行圖像校正處理(二次圖像恢復(fù)處理)，以產(chǎn)生二次恢復(fù)圖像。在步驟S65b中，對(duì)二次恢復(fù)圖像進(jìn)行評(píng)估，以確定是要沒(méi)有任何處理地輸出該圖像還是要改變恢復(fù)程度。當(dāng)要改變恢復(fù)程度時(shí)，改變調(diào)整參數(shù)，并且執(zhí)行圖像校正處理。該調(diào)整參數(shù)是顏色組合比調(diào)整因子《或下述恢復(fù)強(qiáng)度調(diào)整因子U。這里，除了參照?qǐng)D2所述的一次圖像恢復(fù)處理之外，產(chǎn)生恢復(fù)成分信息的處理和產(chǎn)生二次恢復(fù)圖像的處理被共同稱(chēng)為圖像校正處理。S64b中的圖像校正處理中所使用的調(diào)整參數(shù)可以是預(yù)先準(zhǔn)備的參數(shù)。備選地，可使用用戶指定的調(diào)整參數(shù)或者從圖像信息自動(dòng)確定的調(diào)整參數(shù)來(lái)執(zhí)行圖像校正處理。如圖6所示，對(duì)于傳統(tǒng)方法，為了改變恢復(fù)程度，圖像恢復(fù)過(guò)濾器的重新計(jì)算是需要的，而相反，對(duì)于本發(fā)明，重新計(jì)算不是必需的。因此，可減小圖像處理的負(fù)擔(dān)，并且處理可以更快。第二實(shí)施例如第一實(shí)施例中的表達(dá)式3中所示，顏色組合比調(diào)整因子Co在設(shè)置上具有九個(gè)自由度。因此，設(shè)置每個(gè)元素值可能變得復(fù)雜。一種示例性情況是，由普通用戶使用操作部分111的按鈕在圖像拾取裝置或圖像處理系統(tǒng)上逐個(gè)地設(shè)置顏色組合比調(diào)整因子《的值和改變?cè)擃伾M合比調(diào)整因子對(duì)于第二實(shí)施例，描述下述例子，其中顏色組合比調(diào)整因子《的元素的相關(guān)性使得九個(gè)元素能夠通過(guò)僅一個(gè)參數(shù)來(lái)設(shè)置。第二實(shí)施例與第一實(shí)施例相同，除了設(shè)置顏色組合比調(diào)整因子的值的方式之外，這里不重復(fù)相同的描述。要求顏色組合比調(diào)整因子《的元素的相關(guān)性是其中恢復(fù)程度與色彩模糊的發(fā)生程度之間的平衡是可調(diào)整的一種關(guān)系。因此，以下描述確定顏色組合比調(diào)整因子《的一種示例性方法。首先，添加兩個(gè)約束。如表達(dá)式5所示，第一約束是將表達(dá)式3中的矩陣《的每行的總和設(shè)置為一。表達(dá)式5(表達(dá)式5)
權(quán)利要求
1.一種圖像處理裝置，包括 一次恢復(fù)圖像產(chǎn)生部件，用于通過(guò)對(duì)具有多個(gè)顏色成分的輸入圖像執(zhí)行圖像恢復(fù)處理來(lái)產(chǎn)生一次恢復(fù)圖像； 恢復(fù)成分信息產(chǎn)生部件，用于通過(guò)計(jì)算所述輸入圖像與所述一次恢復(fù)圖像之間的差異來(lái)產(chǎn)生所述多個(gè)顏色成分中的每個(gè)的差異信息；以及 二次恢復(fù)圖像產(chǎn)生部件，用于使用所述差異信息來(lái)產(chǎn)生二次恢復(fù)圖像， 其中，所述二次恢復(fù)圖像產(chǎn)生部件將基于所述多個(gè)顏色成分的所述差異信息的顏色組合恢復(fù)成分信息與所述輸入圖像的一個(gè)顏色成分組合。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中，所述二次恢復(fù)圖像產(chǎn)生部件通過(guò)根據(jù)多個(gè)顏色組合比調(diào)整因子組合所述差異信息來(lái)產(chǎn)生所述二次恢復(fù)圖像，所述多個(gè)顏色組合比調(diào)整因子指定用于每個(gè)顏色成分的組合比。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，還包括設(shè)置部件，用于設(shè)置所述顏色組合比調(diào)整因子， 其中，由所述設(shè)置部件設(shè)置的設(shè)置值是可變的。
4.根據(jù)權(quán)利要求2和3中的任一項(xiàng)所述的圖像處理裝置，其中，所述顏色組合比調(diào)整因子的多個(gè)值通過(guò)單個(gè)設(shè)置值來(lái)設(shè)置。
5.根據(jù)權(quán)利要求I或2所述的圖像處理裝置，其中，所述二次恢復(fù)圖像產(chǎn)生部件通過(guò)根據(jù)恢復(fù)強(qiáng)度調(diào)整因子組合所述差異信息和所述輸入圖像來(lái)產(chǎn)生所述二次恢復(fù)圖像，所述恢復(fù)強(qiáng)度調(diào)整因子指定恢復(fù)的強(qiáng)度。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，還包括設(shè)置部件，用于設(shè)置所述恢復(fù)強(qiáng)度調(diào)整因子， 其中，由所述設(shè)置部件設(shè)置的設(shè)置值是可變的。
7.根據(jù)權(quán)利要求I至6中的任一項(xiàng)所述的圖像處理裝置，其中，由所述二次恢復(fù)圖像產(chǎn)生部件產(chǎn)生的二次恢復(fù)圖像是所述輸入圖像。
8.根據(jù)權(quán)利要求I至7中的任一項(xiàng)所述的圖像處理裝置，其中，所述一次恢復(fù)圖像產(chǎn)生部件通過(guò)將二維圖像恢復(fù)過(guò)濾器卷積到所述輸入圖像中來(lái)獲得所述一次恢復(fù)圖像，所述二維圖像恢復(fù)過(guò)濾器通過(guò)針對(duì)所述輸入圖像的每個(gè)像素，對(duì)使用圖像拾取光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)的逆函數(shù)產(chǎn)生的函數(shù)執(zhí)行的逆傅里葉變換而獲得。
9.根據(jù)權(quán)利要求I至8中的任一項(xiàng)所述的圖像處理裝置，其中，用于使每個(gè)像素具有關(guān)于所述多個(gè)顏色成分的信息的顏色插值處理被執(zhí)行。
10.一種圖像拾取裝置，包括 圖像拾取元件，其拾取對(duì)象的圖像； 圖像拾取光學(xué)系統(tǒng)，其將來(lái)自所述對(duì)象的光引導(dǎo)向所述圖像拾取元件； 圖像處理部件，其用于對(duì)由所述圖像拾取元件拾取的作為輸入圖像的圖像執(zhí)行圖像處理；以及 存儲(chǔ)部件，其用于存儲(chǔ)所述圖像處理中所使用的圖像恢復(fù)過(guò)濾器， 所述圖像處理部件包括 一次恢復(fù)圖像產(chǎn)生部件，其用于通過(guò)對(duì)具有多個(gè)顏色成分的 輸入圖像執(zhí)行圖像恢復(fù)處理來(lái)產(chǎn)生一次恢復(fù)圖像；恢復(fù)成分信息產(chǎn)生部件，其用于通過(guò)計(jì)算所述輸入圖像與所述一次恢復(fù)圖像之間的差異來(lái)產(chǎn)生用于所述多個(gè)顏色成分中的每個(gè)的差異信息；以及 二次恢復(fù)圖像產(chǎn)生部件，其用于使用所述差異信息來(lái)產(chǎn)生二次恢復(fù)圖像， 其中，所述二次恢復(fù)圖像產(chǎn)生部件將基于所述多個(gè)顏色成分的差異信息的顏色組合恢復(fù)成分信息與所述輸入圖像的一個(gè)顏色成分組合。
11.根據(jù)權(quán)利要求10所述的圖像拾取裝置，還包括選擇部件，其用于選擇所述圖像恢復(fù)過(guò)濾器。
12.根據(jù)權(quán)利要求10或11所述的圖像拾取裝置，還包括圖像恢復(fù)過(guò)濾器產(chǎn)生部件，其用于產(chǎn)生所述圖像恢復(fù)過(guò)濾器。
13.一種圖像處理方法，包括 一次恢復(fù)圖像產(chǎn)生步驟，其通過(guò)對(duì)具有多個(gè)顏色成分的輸入圖像執(zhí)行用于每個(gè)顏色成分的恢復(fù)處理來(lái)產(chǎn)生一次恢復(fù)圖像； 恢復(fù)成分信息產(chǎn)生步驟，其獲得指示對(duì)于每個(gè)顏色成分，所述輸入圖像與所述一次恢復(fù)圖像之間的差異的差異信息；以及 二次恢復(fù)圖像產(chǎn)生步驟，其通過(guò)將基于在所述恢復(fù)成分信息產(chǎn)生步驟中產(chǎn)生的所述多個(gè)顏色成分的差異信息的顏色組合恢復(fù)成分信息與所述輸入圖像的一個(gè)顏色成分組合來(lái)產(chǎn)生二次恢復(fù)圖像。
14.一種用于對(duì)輸入圖像執(zhí)行圖像處理的程序，所述程序包括 一次圖像恢復(fù)處理步驟，其通過(guò)使用傳遞函數(shù)對(duì)所述輸入圖像執(zhí)行恢復(fù)處理來(lái)獲得一次恢復(fù)圖像； 恢復(fù)成分信息產(chǎn)生步驟，其產(chǎn)生指示所述輸入圖像與所述一次恢復(fù)圖像之間的差異的差異 目息；以及 二次恢復(fù)圖像產(chǎn)生步驟，其通過(guò)將基于在所述恢復(fù)成分信息產(chǎn)生步驟中產(chǎn)生的所述多個(gè)顏色成分的差異信息的顏色組合恢復(fù)成分信息與所述輸入圖像的一個(gè)顏色成分組合來(lái)產(chǎn)生二次恢復(fù)圖像。
15.—種圖像處理系統(tǒng),包括 根據(jù)權(quán)利要求I至9中的任一項(xiàng)所述的圖像處理裝置；以及 能連接到所述圖像處理裝置的圖像拾取設(shè)備、輸出設(shè)備、顯示設(shè)備和存儲(chǔ)介質(zhì)中的至少一個(gè)。
全文摘要
公開(kāi)的是一種圖像處理設(shè)備和使用圖像處理設(shè)備的圖像捕獲裝置，其中即使在有意外像差時(shí)也能獲得品質(zhì)圖像。圖像處理設(shè)備包括一次恢復(fù)圖像產(chǎn)生部件，用于對(duì)包括多個(gè)顏色成分的輸入圖像執(zhí)行圖像恢復(fù)處理并產(chǎn)生一次恢復(fù)圖像；恢復(fù)成分信息產(chǎn)生部件，用于計(jì)算輸入圖像與一次恢復(fù)圖像之間的差異并產(chǎn)生多個(gè)顏色成分中的每個(gè)的差異信息；以及二次恢復(fù)圖像產(chǎn)生部件，使用差異信息來(lái)產(chǎn)生二次恢復(fù)圖像。對(duì)于輸入圖像的一種顏色成分，二次恢復(fù)圖像產(chǎn)生部件基于多個(gè)顏色成分的差異信息產(chǎn)生顏色復(fù)合恢復(fù)成分信息。
文檔編號(hào)G06T5/20GK102714737SQ20098016286
公開(kāi)日2012年10月3日 申請(qǐng)日期2009年12月17日 優(yōu)先權(quán)日2009年12月17日
發(fā)明者田中常文, 田村信彥, 畠山弘至 申請(qǐng)人:佳能株式會(huì)社