專利名稱：圖像處理設(shè)備和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及使用圖像恢復(fù)濾波器的圖像恢復(fù)處理技木。
背景技術(shù)：
提出了用于對圖像數(shù)據(jù)進(jìn)行校正處理的各種方法。當(dāng)通過利用數(shù)字照相機(jī)拍攝被攝體來生成圖像數(shù)據(jù)時，所獲得的圖像數(shù)據(jù)由于攝像光學(xué)系統(tǒng)的像差而至少部分劣化。圖像數(shù)據(jù)中的模糊成分是由于光學(xué)系統(tǒng)球面像差、彗星像差、像場彎曲和像散等而導(dǎo)致的。當(dāng)使用無像差并且不受衍射的影響的理想光學(xué)系統(tǒng)時，來自被攝體的一個點的光束應(yīng)當(dāng)在攝像面上再會聚到ー個點，但是實際上形成了光束擴(kuò)散并且不會聚到ー個點的圖像。這些擴(kuò)散的光束的分布是模糊成分。盡管在光學(xué)上被稱為“點擴(kuò)散函數(shù)”(PSF)，但針對圖像數(shù)據(jù)，我們將稱之為“模糊成分”。此外，盡管術(shù)語“圖像數(shù)據(jù)的模糊成分”也可以 指未聚焦的模糊圖像數(shù)據(jù)，但是例如這里該術(shù)語用于指即使圖像聚焦、由于光學(xué)系統(tǒng)的像差的影響也引起的模糊。此外，可以認(rèn)為光學(xué)系統(tǒng)軸向色像差、顔色球面像差和顔色彗星像差成為原因這種情況是由于每個光波長的模糊成分的差異而引起的。校正圖像數(shù)據(jù)中的模糊成分的劣化的已知方法的例子是使用與攝像光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)(OTF)有關(guān)的信息。盡管在談及該方法時使用諸如圖像恢復(fù)和圖像復(fù)原的名稱，但在以下說明中，使用與攝像光學(xué)系統(tǒng)的OTF有關(guān)的信息來校正圖像數(shù)據(jù)的劣化的處理將被稱為圖像恢復(fù)處理?，F(xiàn)在將說明圖像恢復(fù)處理的概要。當(dāng)劣化的圖像數(shù)據(jù)被表示為g(x，y)，原始圖像數(shù)據(jù)被表示為f(x，y)，以及從對光學(xué)傳遞函數(shù)的逆傅立葉變換所獲得的PSF被表示為h(x，y)時，以下等式成立。g (X，y) =h (X，y) (x, y)其中，*表示卷積，以及(X，y)表示圖像數(shù)據(jù)坐標(biāo)。此外,如果對等式進(jìn)行傅立葉變換并將等式轉(zhuǎn)換成頻面(frequency plane)的顯示格式，則得到的等式是各頻率的積的形式，如下所述。在該等式中，由于H是通過對PSF進(jìn)行傅立葉變換而獲得的，因而H是0TF。此外，(U，V)表示ニ維頻面的坐標(biāo)，S卩，表示頻率。G (U，V) =H (U，V) · F (u, v)為了從劣化的圖像數(shù)據(jù)獲得原始圖像數(shù)據(jù)，首先，如下將兩邊都除以H。G (U，V)/H (U，V) =F (U，V)然后,通過對F(u，v)進(jìn)行逆傅立葉變換以返回至實面(actual plane)來獲得原始圖像數(shù)據(jù)f(x，y)作為恢復(fù)圖像。如果通過對上式中的1/H進(jìn)行逆傅立葉變換所獲得的值是R，則同樣可以通過如以下等式中所示對實面中的圖像數(shù)據(jù)進(jìn)行卷積處理來獲得原始圖像數(shù)據(jù)。g(x，y)*R(x，y)=f(x，y)該R(x，y)被稱為圖像恢復(fù)濾波器。由于OTF根據(jù)諸如變焦位置的狀態(tài)和光圈直徑的狀態(tài)等的攝像狀態(tài)而變化，因而在圖像恢復(fù)處理中要使用的圖像恢復(fù)濾波器也需要根據(jù)OTF而改變。例如，日本特開平10-165365論述了在用于觀察身體內(nèi)部的內(nèi)窺鏡中、針對攝像部件的聚焦范圍之外的范圍、通過使用與所使用的熒光波長相對應(yīng)的PSF來消除圖像模糊的技木。由于熒光是微弱的，因而需要具有小的F值的被攝體光學(xué)系統(tǒng)。由于在使用具有小的F值的被攝體光學(xué)系統(tǒng)的情況下，焦深變得更淺，因而該技術(shù)試圖通過對未聚焦的范圍進(jìn)行圖像恢復(fù)處理來獲得聚焦圖像。如上所述，可以通過對所拍攝圖像數(shù)據(jù)進(jìn)行圖像恢復(fù)處理并校正各種像差來提高圖像質(zhì)量。然而，在實際攝像吋，圖像數(shù)據(jù)的攝像狀態(tài)和用于恢復(fù)圖像數(shù)據(jù)的圖像恢復(fù)濾波器的狀態(tài)可能不完全一致。這種情況的例子有在所拍攝圖像數(shù)據(jù)中存在飽和像素的情況。由于飽和像素丟失了其原始被攝體信息，因而發(fā)生以下情況實際獲得的圖像數(shù)據(jù)的劣化狀態(tài)和由圖像恢復(fù)濾波器假定為恢復(fù)對象的圖像數(shù)據(jù)的劣化狀態(tài)不一致。此外，當(dāng)根據(jù)諸如鏡頭焦距、光圈值和攝像距離等的攝像信息選擇或生成圖像恢復(fù)濾波器時，可能在實際的攝像狀態(tài)和要使用的攝像信息之間出現(xiàn)差異。因為在拍攝三維被攝體時被攝體距離根據(jù)視角而不同，所以尤其對于攝像距離，出現(xiàn)實際獲得的圖像數(shù)據(jù) 的劣化狀態(tài)和由圖像恢復(fù)濾波器假定為恢復(fù)對象的圖像數(shù)據(jù)的劣化狀態(tài)不一致的情況。特別地，當(dāng)實際獲得的圖像數(shù)據(jù)比由圖像恢復(fù)濾波器假定為恢復(fù)對象的圖像數(shù)據(jù)清晰時，如果使用圖像恢復(fù)濾波器，則恢復(fù)后的圖像數(shù)據(jù)為過恢復(fù)，這在邊緣部分引起諸如下沖(undershoot)和過沖(overshoot)等的圖像劣化。特別地，在圖像恢復(fù)處理之后應(yīng)用的伽瑪校正處理會放大低亮度部分的下沖，使得所得到的圖像數(shù)據(jù)看上去不自然。此外，即使在日本特開平10-165365所述的技術(shù)中，當(dāng)在假定的PSF和實際獲得的圖像數(shù)據(jù)之間存在差異時，也會出現(xiàn)過恢復(fù)，這可以被考慮成導(dǎo)致恢復(fù)后的圖像數(shù)據(jù)的質(zhì)量劣化。

發(fā)明內(nèi)容
本發(fā)明提供ー種減少圖像恢復(fù)處理對圖像數(shù)據(jù)的過恢復(fù)的圖像處理設(shè)備。根據(jù)本發(fā)明的方面，ー種圖像處理設(shè)備，包括圖像恢復(fù)處理単元，用于使用與攝像単元中的攝像條件相對應(yīng)的圖像恢復(fù)濾波器來對所述攝像單元所拍攝的圖像數(shù)據(jù)進(jìn)行圖像恢復(fù)處理；以及限制単元，用于基于根據(jù)在所述圖像恢復(fù)處理之后應(yīng)用的伽瑪校正處理的特性所確定的變化量限制值，限制由所述圖像恢復(fù)處理導(dǎo)致的所述圖像數(shù)據(jù)的信號值的變化量。根據(jù)本發(fā)明的另一方面，ー種圖像處理方法，包括使用與攝像單元中的攝像條件相對應(yīng)的圖像恢復(fù)濾波器來對所述攝像單元所拍攝的圖像數(shù)據(jù)進(jìn)行圖像恢復(fù)處理；以及基于根據(jù)在所述圖像恢復(fù)處理之后應(yīng)用的伽瑪校正處理的特性所確定的變化量限制值，限制由所述圖像恢復(fù)處理導(dǎo)致的所述圖像數(shù)據(jù)的像素信號值的變化量。通過以下參考附圖對典型實施例的詳細(xì)說明，本發(fā)明的其它特征和方面將變得明顯。


包含在說明書中并構(gòu)成說明書的一部分的附圖示出本發(fā)明的典型實施例、特征和方面，并與說明書一起用于說明本發(fā)明的原理。
圖I示出根據(jù)本發(fā)明典型實施例的攝像設(shè)備的結(jié)構(gòu)。圖2是示出根據(jù)本發(fā)明第一典型實施例的圖像恢復(fù)處理単元所執(zhí)行的圖像恢復(fù)處理的流程圖。圖3A示出由ニ維濾波器構(gòu)成的圖像恢復(fù)濾波器。圖3B示出圖像恢復(fù)濾波器抽頭的加權(quán)系數(shù)的例子。圖4A示出伽瑪校正的輸入/輸出特性。圖4B示出用于計算變化量限制值的方法。圖4C示出針對像素信號值的限制值特性。圖4D是圖4C的原點附近的放大圖。 圖5A示出圖像恢復(fù)處理前后的圖像數(shù)據(jù)的例子。圖5B示出對圖像恢復(fù)處理前的圖像數(shù)據(jù)進(jìn)行伽瑪校正之后的圖像數(shù)據(jù)的例子。圖5C示出對圖像恢復(fù)處理后的圖像數(shù)據(jù)進(jìn)行伽瑪校正之后的圖像數(shù)據(jù)的例子。圖示出變化量限制處理后的圖像數(shù)據(jù)的例子。圖5E示出對變化量限制處理后的圖像數(shù)據(jù)進(jìn)行伽瑪校正之后的圖像數(shù)據(jù)的例子。圖6是示出根據(jù)本發(fā)明第二典型實施例的圖像恢復(fù)處理単元所執(zhí)行的圖像恢復(fù)處理的流程圖。圖7示出所設(shè)置的恢復(fù)強(qiáng)度和圖像恢復(fù)處理后的邊緣處的模糊成分的改善示例。圖8示出與變化量限制值計算處理有關(guān)的另一典型實施例。
具體實施例方式以下將參考附圖詳細(xì)說明本發(fā)明的各種典型實施例、特征和方面。圖I示出根據(jù)本發(fā)明典型實施例的攝像設(shè)備的結(jié)構(gòu)。在根據(jù)圖I所示的本典型實施例的攝像設(shè)備中，攝像光學(xué)系統(tǒng)101在圖像傳感器102上形成被攝體圖像。攝像光學(xué)系統(tǒng)101包括控制開ロ直徑的光圈IOla和用于進(jìn)行焦點調(diào)節(jié)的調(diào)焦透鏡101b。圖像傳感器102將由攝像光學(xué)系統(tǒng)101形成的被攝體圖像轉(zhuǎn)換成電信號。A/D轉(zhuǎn)換器103將從圖像傳感器102輸出的電信號轉(zhuǎn)換成數(shù)字信號，并將數(shù)字信號作為圖像數(shù)據(jù)輸出至圖像處理單元104。圖像處理單元104包括進(jìn)行圖像恢復(fù)處理的圖像恢復(fù)處理單元111和進(jìn)行伽瑪校正處理等的另ー圖像處理單元112。對尚未進(jìn)行伽瑪校正的圖像數(shù)據(jù)進(jìn)行圖像恢復(fù)處理。對進(jìn)行了圖像恢復(fù)的圖像數(shù)據(jù)進(jìn)行伽瑪校正。圖像處理單元104從狀態(tài)檢測單元107獲取與攝像設(shè)備有關(guān)的攝像信息。攝像信息包括例如鏡頭焦距、光圈值和攝像距離。圖像恢復(fù)處理単元111從存儲単元108選擇與從狀態(tài)檢測單元107獲取的攝像信息相對應(yīng)的圖像恢復(fù)濾波器，然后使用圖像恢復(fù)濾波器對輸入至圖像處理單元104的圖像數(shù)據(jù)進(jìn)行圖像恢復(fù)處理。狀態(tài)檢測単元107可以從系統(tǒng)控制器110獲取與攝像設(shè)備有關(guān)的所有攝像信息，或者可以從攝像光學(xué)系統(tǒng)控制単元106單獨獲取與攝像設(shè)備有關(guān)的攝像信息中的與攝像光學(xué)系統(tǒng)101有關(guān)的攝像信息。系統(tǒng)控制器110進(jìn)行整個攝像設(shè)備的整體控制。攝像光學(xué)系統(tǒng)控制単元106根據(jù)來自系統(tǒng)控制器110的指示來控制攝像光學(xué)系統(tǒng)101。存儲單元108存儲針對各攝像信息的圖像恢復(fù)濾波器。圖像記錄介質(zhì)109存儲由圖像處理單元104處理后的圖像數(shù)據(jù)。顯示單元105根據(jù)來自系統(tǒng)控制器Iio的指示來顯示由圖像處理單元104處理后的圖像數(shù)據(jù)。接著將參考圖2說明圖像恢復(fù)處理単元111所執(zhí)行的圖像恢復(fù)處理。在步驟S201中，圖像恢復(fù)處理単元111從狀態(tài)檢測單元107獲取與攝像設(shè)備有關(guān)的攝像信息。在步驟S202中，圖像恢復(fù)處理単元111基于所獲取的攝像信息從存儲単元108選擇適用于攝像設(shè)備的攝像條件的圖像恢復(fù)濾波器。此時，可以根據(jù)需要來校正所選擇的圖像恢復(fù)濾波器，或者可以使用所選擇的多個圖像恢復(fù)濾波器通過插值來生成新的圖像恢復(fù)濾波器。為了減少預(yù)先要在存儲單元108中準(zhǔn)備的圖像恢復(fù)濾波器的數(shù)據(jù)量，在存儲單元108中準(zhǔn)備與離散的攝像設(shè)備的攝像條件相對應(yīng)的數(shù)據(jù)，然后，使用所準(zhǔn)備的數(shù)據(jù)來生成與實際執(zhí)行圖像恢復(fù)處理時的攝像條件相對應(yīng)的圖像恢復(fù)濾波器。圖3A和3B示出圖像恢復(fù)濾波器。圖像恢復(fù)濾波器可以根據(jù)攝像光學(xué)系統(tǒng)的像差量來確定抽頭數(shù)。在本典型實施例中，使用11X11抽頭的ニ維濾波器。圖像恢復(fù)濾波器中的各抽頭與圖像數(shù)據(jù)的ー個像素相對應(yīng)。如圖3A所示，可以通過使用被分割成100以上的部分的ニ維濾波器作為圖像恢復(fù) 濾波器來，恢復(fù)從攝像光學(xué)系統(tǒng)101生成的諸如球面像差、彗星像差、軸向色像差和軸外色耀斑(flare)等的、導(dǎo)致從光束應(yīng)當(dāng)形成圖像的位置在寬區(qū)域上擴(kuò)散的像差。此外，通過針對要輸入的圖像數(shù)據(jù)在這種實空間中對圖像恢復(fù)濾波器進(jìn)行卷積處理，可以在攝像設(shè)備中不進(jìn)行傅立葉變換的情況下恢復(fù)圖像數(shù)據(jù)。在圖3A中，盡管省略了各抽頭的加權(quán)系數(shù)的值，但圖3B中示出圖像恢復(fù)濾波器的特定截面中抽頭的加權(quán)系數(shù)的值。可以通過計算或測量攝像光學(xué)系統(tǒng)101的OTF并對OTF的倒數(shù)進(jìn)行逆傅立葉變換來獲得圖像恢復(fù)濾波器。然而，由于實際的圖像數(shù)據(jù)具有噪聲成分，因而如果使用通過采用OTF的倒數(shù)所生成的圖像恢復(fù)濾波器，則會放大噪聲成分，從而不能獲得好的圖像數(shù)據(jù)。因此，例如使用維納(Wiener)濾波器，根據(jù)圖像成分和噪聲成分之間的強(qiáng)度比來抑制圖像數(shù)據(jù)的高頻側(cè)的恢復(fù)率。此外，OTF不僅可以包括攝像光學(xué)系統(tǒng)101的因素，還包括使得輸入至圖像處理單元104的圖像數(shù)據(jù)劣化的因素。例如，低通濾波器抑制OTF的頻率特性中的高頻成分。此夕卜，圖像傳感器的像素開ロ的形狀和開ロ率也對頻率特性有影響。其它例子包括光源的光譜特性和各種波長濾波器的光譜特性。期望基于考慮這些因素所計算或測量出的廣義的OTF來生成圖像恢復(fù)濾波器。當(dāng)圖像數(shù)據(jù)是紅色、緑色、藍(lán)色(RGB)的顏色圖像數(shù)據(jù)時，可以生成與R、G和B的各顔色成分相對應(yīng)的三個圖像恢復(fù)濾波器。由于在攝像光學(xué)系統(tǒng)101中存在色像差并且針對各顏色成分的模糊不同，因而各顏色成分的圖像恢復(fù)濾波器的特性基于色像差而略微不同。換句話說，圖3B所示的圖像恢復(fù)濾波器的特定截面中的抽頭的加權(quán)系數(shù)的值在顏色成分之間不同。圖像恢復(fù)濾波器并非必須是具有相同的垂直和水平抽頭數(shù)的正方形陣列?？梢钥紤]卷積處理來任意改變抽頭數(shù)。返回至圖2所示的流程圖的說明，在步驟S203中，圖像恢復(fù)處理単元111針對各像素計算由圖像恢復(fù)處理導(dǎo)致的變化量的限制值?；趫D像恢復(fù)處理前的像素信號值和圖像恢復(fù)處理后要應(yīng)用的伽瑪校正特性來計算限制值。伽瑪校正是用于根據(jù)亮度來調(diào)節(jié)圖像傳感器102和A/D轉(zhuǎn)換器103所獲取的信號值的校正處理。伽瑪校正的輸入/輸出特性通常具有如圖4A所示的形狀。從形狀可知，伽瑪校正前的信號值的變化在低亮度側(cè)被放大，并在高亮度側(cè)被衰減。換句話說，由圖像恢復(fù)處理導(dǎo)致的像素信號值的變化量由于圖像恢復(fù)處理后所進(jìn)行的伽瑪校正而在低亮度側(cè)被放大并在高亮度側(cè)被衰減。在步驟S203中，通過吸收(考慮)通過伽瑪校正獲得的像素信號值的各水平的放大和衰減之間的差異來計算變化量限制值，以使得像素信號值的變化量的最大值在伽瑪校正之后恒定。現(xiàn)在將使用圖4B更詳細(xì)地說明用于計算變化量限制值的方法。將考慮伽瑪校正前的兩個像素的信號值a和b的情況。信號值a小于信號值b。信號值a位于低亮度側(cè)，以及信號值b位于高亮度側(cè)。在該例子中，分別允許兩個像素的信號值在伽瑪校正后的狀態(tài)下僅減小值K。在該情況下，在伽瑪校正前的狀態(tài)下，針對像素的信號值a的像素信號值的減小的允許范圍被表示為圖4B中的Lim(a)。另ー方面，針對像素的信號值b的像素信號值的減小的允許范圍被表示為圖4B中的Lim(b)。從圖4B中可知，低亮度側(cè)a的允許范圍Lim(a)小于高亮度側(cè)b的允許范圍Lim(b)。由此，根據(jù)針對伽瑪校正后的狀態(tài)的允許變化量K，計算考慮了伽瑪校正的變化量限制值。圖4C示出針對各像素水平計算變化量限制值的例子。如圖4C所示，變化量限制值特性根據(jù)K的值而不同。在圖4C所示的例子中，K=p2·時的變化量限制值大于K=pl時的變化量限制值，其中ρ2的值大于pi的值。通過利用實驗預(yù)先確定在包括攝像光學(xué)系統(tǒng)101、圖像傳感器102和圖像處理單元104的一系列圖像恢復(fù)處理中圖像恢復(fù)處理中的過恢復(fù)發(fā)生的可能性和過恢復(fù)的水平，設(shè)置允許變化量K。圖4D示出放大圖4C中的與變化量限制值之一有關(guān)的原點附近的例子。在用于計算考慮伽瑪特性的變化量限制值的上述方法中，當(dāng)像素信號值收斂于O吋，Lim(X)可能未收斂于O。在這種情況下，如圖4D所示，可以基于穿過原點的變化量限制值的近似曲線來確定原點附近的限制值。可選地，還可以通過繪制穿過原點并接近變化量限制值的直線來確定原點附近的變化量限制值。盡管期望步驟S203中使用的伽瑪特性與攝像中使用的圖像傳感器相對應(yīng)，但還可以使用具有相似的伽瑪特性形狀的伽瑪特性模型。此外，可以預(yù)先計算變化量限制值，或者可以在圖像恢復(fù)處理期間計算變化量限制值。當(dāng)預(yù)先進(jìn)行計算吋，以表或函數(shù)的形式存儲針對像素信號值的變化量限制值，并且根據(jù)像素信號值來獲取變化量限制值。返回至圖2所示的流程圖的說明，在步驟S204中，圖像恢復(fù)處理単元111使用步驟S202中獲得的圖像恢復(fù)濾波器來對所拍攝圖像數(shù)據(jù)進(jìn)行卷積處理。結(jié)果，可以去除或減少由于攝像光學(xué)系統(tǒng)中發(fā)生的像差而引起的圖像數(shù)據(jù)中的模糊成分。此外，通過使用適于各RGB顔色成分的圖像恢復(fù)濾波器，還可以校正色像差。在圖像恢復(fù)處理中，如果由圖像恢復(fù)濾波器假定為恢復(fù)對象的圖像數(shù)據(jù)的劣化狀態(tài)與實際獲得的圖像數(shù)據(jù)不一致，則這可能導(dǎo)致過恢復(fù)。圖5Α示出作為飽和圖像部分變得過恢復(fù)的例子的圖像數(shù)據(jù)的邊緣部分的狀態(tài)。如圖5Α的矩形包圍部分所示，具有該部分的一部分由于過恢復(fù)而發(fā)生下沖的部位。圖5Β示出對圖像恢復(fù)處理前的圖像數(shù)據(jù)進(jìn)行伽瑪校正的狀態(tài)。圖5C示出對圖像恢復(fù)處理后的圖像數(shù)據(jù)進(jìn)行伽瑪校正的狀態(tài)。如圖5C所示，圖像恢復(fù)處理后的圖像數(shù)據(jù)的下沖部分通過伽瑪校正被放大，并且可以被顯著確認(rèn)。這表現(xiàn)為圖像質(zhì)量的劣化或圖像的不自然。因此，在步驟S205中，圖像恢復(fù)處理単元111進(jìn)行變化量的限制處理以減少過恢復(fù)。圖像恢復(fù)處理単元111基于步驟S203中計算出的變化量限制值來調(diào)節(jié)值。在該例子中，圖像恢復(fù)處理前的像素信號值(圖像恢復(fù)處理前信號值)是PO，圖像恢復(fù)處理后的像素信號值(圖像恢復(fù)處理后信號值)是P1，以及像素信號值PO的變化量限制值是Lim(PO)。如果圖像恢復(fù)處理前的像素信號值PO和圖像恢復(fù)處理后的像素信號值Pl之間的差大于像素信號值PO的變化量限制值Lim(PO)，則變化量限制處理后的像素信號值P2是通過從圖像恢復(fù)處理前的像素信號值PO減去像素信號值PO的變化量限制值Lim(PO)而獲得的值。另一方面，如果圖像恢復(fù)處理前的像素信號值PO和圖像恢復(fù)處理后的像素信號值Pl之間的差等于或小于像素信號值PO的變化量限制值Lim(PO)，則變化量限制處理后的像素信號值P2是圖像恢復(fù)處理后的像素信號值P1。圖示出變化量限制處理后的像素信號值的例子，其中放大了由圖5A的矩形包圍的區(qū)域。圖5E示出在進(jìn)行了變化量限制處理的狀態(tài)下執(zhí)行伽瑪校正時的像素信號值的例子。從圖5E可以看出，圖5C所示的下沖部分減少。盡管這里將說明通過圖像恢復(fù)處理來減小值時的變化量限制處理，但也可以進(jìn)行増大該值時的變化量限制處理。由于在這種情況下的變化量限制值的計算與減小值時的相同，因而將省略其說明。當(dāng)通過圖像恢復(fù)處理增大信號值并且信號值變化量超過限制值時， 通過將限制值與圖像恢復(fù)處理前的像素信號值相加所獲得的值用作變化量限制處理后的信號值。在圖2所示的流程圖中，用于進(jìn)行變化量限制值計算處理(步驟S203)和圖像恢復(fù)處理(步驟S204)的順序不限于如上所述的，并且可以以相反的順序。具體地，通過以下順序可以獲得相同的結(jié)果存儲步驟S204的圖像恢復(fù)處理前的像素信號值，進(jìn)行步驟S204的圖像恢復(fù)處理，然后進(jìn)行步驟S203的變化量限制值計算處理，并使用所計算出的變化量限制值來進(jìn)行步驟S205的變化量限制處理。根據(jù)圖2的流程圖，當(dāng)對圖像數(shù)據(jù)中的各像素進(jìn)行了圖像處理時，處理結(jié)束。在上述典型實施例中，對圖像恢復(fù)處理結(jié)束了的整個圖像數(shù)據(jù)進(jìn)行變化量限制處理。作為另ー典型實施例，當(dāng)在圖像數(shù)據(jù)中逐一對單個像素進(jìn)行圖像恢復(fù)處理時，可以通過針對像素計算變化量限制值，然后使用變化量限制值進(jìn)行變化量限制處理來確定像素的信號值。此外，在本典型實施例中，盡管說明了用于抑制在飽和像素部分的圖像恢復(fù)處理期間發(fā)生的過恢復(fù)的方法，但在本發(fā)明中，可以與該原因無關(guān)地抑制圖像恢復(fù)期間發(fā)生的過恢復(fù)。此外，可以在本典型實施例中所進(jìn)行的處理的前后或期間進(jìn)行諸如失真校正處理、周圍光量校正處理和噪聲減少處理等的其它處理。圖像處理單元104以預(yù)定格式將進(jìn)行了圖像恢復(fù)處理的圖像數(shù)據(jù)存儲在圖像記錄介質(zhì)109中。記錄介質(zhì)109中存儲的圖像數(shù)據(jù)是通過圖像恢復(fù)處理減少了過恢復(fù)的圖像數(shù)據(jù)。此外，圖像處理單元104還可以對圖像恢復(fù)處理后的圖像數(shù)據(jù)進(jìn)行預(yù)定顯示處理，然后在顯示單元105上顯示所生成的圖像數(shù)據(jù)。通過系統(tǒng)控制器110進(jìn)行一系列控制，并通過攝像光學(xué)系統(tǒng)控制単元106根據(jù)來自系統(tǒng)控制器110的指示來執(zhí)行攝像光學(xué)系統(tǒng)中的機(jī)械驅(qū)動。作為F值攝像狀態(tài)設(shè)置來控制光圈IOla的開ロ直徑。調(diào)焦透鏡IOlb的位置通過用于根據(jù)被攝體距離而調(diào)節(jié)焦點的(未示出的)自動調(diào)焦(AF)機(jī)構(gòu)或手動調(diào)焦機(jī)構(gòu)來控制。攝像光學(xué)系統(tǒng)101還可以包括諸如低通濾波器和紅外截止濾波器等的光學(xué)元件。然而，在使用諸如低通濾波器等的影響OTF的特性的元件的情況下，期望在制作圖像恢復(fù)濾波器時考慮這種光學(xué)元件的影響。由于紅外截止濾波器對作為光譜波長的PSF的積分值的RGB通道的各PSF，特別是R通道的PSF存在影響，因而期望在制作圖像恢復(fù)濾波器時考慮紅外截止濾波器的影響。此外，盡管攝像光學(xué)系統(tǒng)101被配置為攝像設(shè)備的一部分，但攝像光學(xué)系統(tǒng)101還可以是如在單鏡頭反光照相機(jī)中那樣的可更換單元。另外，由于即使對于ー個攝像狀態(tài)、OTF也會根據(jù)攝像光學(xué)系統(tǒng)的視角(圖像高度)而改變，因而期望通過針對根據(jù)圖像高度分割后的各圖像數(shù)據(jù)區(qū)域而改變OTF來進(jìn)行圖像恢復(fù)處理。圖像恢復(fù)濾波器還可以通過在進(jìn)行卷積處理時掃描圖像數(shù)據(jù)來針對各圖像數(shù)據(jù)區(qū)域而順次改變。接著，將說明根據(jù)本發(fā)明的第二典型實施例。由于根據(jù)第二典型實施例的攝像設(shè)備的結(jié)構(gòu)與圖I所示的結(jié)構(gòu)相同，因而在以下說明中將使用圖I所示的附圖標(biāo)記。圖6是示出根據(jù)本發(fā)明第二典型實施例的圖像恢復(fù)處理単元111所執(zhí)行的圖像恢 復(fù)處理的流程圖。圖6中的步驟S201、S202、S203、S204和S205分別與由圖2中相同的附圖標(biāo)記表示的處理相對應(yīng)。因此，以下將省略與第一典型實施例相同的部分的說明，并且將僅說明不同的部分。在步驟S202中，圖像恢復(fù)處理單元111選擇圖像恢復(fù)濾波器，然后在步驟S601中獲取恢復(fù)強(qiáng)度?；謴?fù)強(qiáng)度是用戶預(yù)先設(shè)置的、表示圖像恢復(fù)處理的強(qiáng)度的設(shè)計值?；謴?fù)強(qiáng)度被設(shè)計為用戶可以進(jìn)行控制以使得值越大、由圖像恢復(fù)處理導(dǎo)致的像素信號值的變化量越大。此外，恢復(fù)強(qiáng)度是從系統(tǒng)控制器Iio給予圖像處理單元104的值。在步驟S203中，圖像恢復(fù)處理単元111根據(jù)所獲取的恢復(fù)強(qiáng)度來計算變化量限制值。具體地，結(jié)合恢復(fù)強(qiáng)度來確定圖4B所示的伽瑪校正后的變化允許量K。用戶所設(shè)置的恢復(fù)強(qiáng)度越大，所設(shè)置的變化允許量K越大。結(jié)果，可以將用于減少過恢復(fù)的變化量限制值保持為盡可能低，以使得可以通過基于圖像恢復(fù)處理而控制變化量來獲得用戶偏好的圖像數(shù)據(jù)。圖7示出所設(shè)置的恢復(fù)強(qiáng)度和圖像恢復(fù)處理后的邊緣處的模糊成分的改善示例。具體地，圖7中的曲線701表示在恢復(fù)強(qiáng)度高的情況下的模糊成分的改善示例，以及圖7中的曲線702表示在恢復(fù)強(qiáng)度低的情況下的模糊成分的改善示例。此外，圖7中的曲線701和702都表示伽瑪校正處理后的圖像數(shù)據(jù)。由此，在本典型實施例中，可以通過設(shè)置恢復(fù)強(qiáng)度來改變邊緣處的模糊成分的改善狀態(tài)。盡管針對攝像設(shè)備說明了以上典型實施例，但是圖像處理設(shè)備也可以根據(jù)恢復(fù)強(qiáng)度的設(shè)置而確定允許變化量K。例如，在對預(yù)先拍攝的圖像處理前的圖像數(shù)據(jù)(A/D轉(zhuǎn)換器103的輸出數(shù)據(jù))進(jìn)行記錄、并且之后顯示執(zhí)行圖像恢復(fù)處理的結(jié)果的圖像處理設(shè)備中，由于顯示根據(jù)與所設(shè)置的恢復(fù)強(qiáng)度相對應(yīng)的變化量限制值而處理后的圖像數(shù)據(jù)，因而用戶可以在確認(rèn)所顯示的圖像數(shù)據(jù)時確定所偏好的恢復(fù)強(qiáng)度。結(jié)果，可以進(jìn)行更精確的變化量限制處理?，F(xiàn)在將說明與步驟S203中進(jìn)行的變化量限制值計算處理有關(guān)的另一典型實施例。如上所述，由于通過伽瑪校正主要放大低亮度側(cè)的信號，因而為了減少過恢復(fù)，尤其低亮度側(cè)的變化量的限制是重要的。因此，為了強(qiáng)調(diào)低亮度側(cè)，如圖8所示，對預(yù)定閾值a以下的區(qū)域的變化量限制值進(jìn)行直線近似以使其單調(diào)遞增，并且將大于閾值a的區(qū)域的變化量限制值設(shè)置為恒定值。結(jié)果，變化量限制值特性簡單，并且變化量限制值的計算和管理簡單，從而可以提高處理效率。如果變化量限制值可以根據(jù)用戶所設(shè)置的恢復(fù)強(qiáng)度而變化，則閾值a可以與變化允許量K 一起變化。可以通過隨著恢復(fù)強(qiáng)度的増大而增大閾值a來控制變化量限制值。盡管以上說明了本發(fā)明的典型實施例，但本發(fā)明不限于用于攝像設(shè)備。可以在本發(fā)明的主g內(nèi)做出各種修改和變化。 盡管已經(jīng)參考典型實施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不限于所公開的典型實施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功倉^:。
權(quán)利要求
1.ー種圖像處理設(shè)備，包括 圖像恢復(fù)處理単元，用于使用與攝像單元中的攝像條件相對應(yīng)的圖像恢復(fù)濾波器來對所述攝像単元所拍攝的圖像數(shù)據(jù)進(jìn)行圖像恢復(fù)處理；以及 限制単元，用于基于根據(jù)在所述圖像恢復(fù)處理之后應(yīng)用的伽瑪校正處理的特性所確定的變化量限制值，限制由所述圖像恢復(fù)處理導(dǎo)致的所述圖像數(shù)據(jù)的信號值的變化量。
2.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在于，所述圖像恢復(fù)處理單元對所述圖像數(shù)據(jù)應(yīng)用通過對所述攝像単元的光學(xué)傳遞函數(shù)的倒數(shù)進(jìn)行逆傅立葉變換而獲得的濾波器。
3.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在于，如果所述圖像恢復(fù)處理之后的信號值和所述圖像恢復(fù)處理之前的信號值之間的差等于或小于所述變化量限制值，則所述限制單元輸出所述圖像恢復(fù)處理之后的信號值，以及 如果所述圖像恢復(fù)處理之后的信號值和所述圖像恢復(fù)處理之前的信號值之間的差大于所述變化量限制值，則所述限制單元輸出通過對所述圖像恢復(fù)處理之前的信號值加上或減去所述變化量限制值而獲得的信號值。
4.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在干，還根據(jù)所述圖像數(shù)據(jù)的像素信號值來確定所述變化量限制值。
5.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其特征在干，當(dāng)所述圖像數(shù)據(jù)的像素信號值是O時，將所述變化量限制值確定為O。
6.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其特征在于，如果所述圖像數(shù)據(jù)的像素信號值等于或小于閾值，則所述限制単元根據(jù)所述圖像數(shù)據(jù)的像素信號值的增大而使所述變化量限制值單調(diào)遞增，以及 如果所述圖像數(shù)據(jù)的像素信號值大于所述閾值，則所述限制單元將所述變化量限制值設(shè)置為恒定值。
7.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在于，還包括調(diào)節(jié)單元，所述調(diào)節(jié)単元用于調(diào)節(jié)所述變化量限制值。
8.根據(jù)權(quán)利要求7所述的圖像處理設(shè)備，其特征在干，所述調(diào)節(jié)単元根據(jù)來自用戶的指示而調(diào)節(jié)所述變化量限制值。
9.根據(jù)權(quán)利要求7所述的圖像處理設(shè)備，其特征在于，還包括顯示單元，所述顯示単元使用包括經(jīng)過了所述限制単元的限制的信號值的圖像數(shù)據(jù)來顯示圖像。
10.根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，其特征在于，所述顯示単元使用包括由所述限制単元使用所述調(diào)節(jié)単元調(diào)節(jié)后的變化量限制值進(jìn)行了限制的信號值的圖像數(shù)據(jù)來顯示圖像。
11.ー種圖像處理方法,包括 使用與攝像單元中的攝像條件相對應(yīng)的圖像恢復(fù)濾波器來對所述攝像單元所拍攝的圖像數(shù)據(jù)進(jìn)行圖像恢復(fù)處理；以及 基于根據(jù)在所述圖像恢復(fù)處理之后應(yīng)用的伽瑪校正處理的特性所確定的變化量限制值，限制由所述圖像恢復(fù)處理導(dǎo)致的所述圖像數(shù)據(jù)的像素信號值的變化量。
全文摘要
提供一種通過圖像恢復(fù)處理減少圖像數(shù)據(jù)的過恢復(fù)的圖像處理設(shè)備和圖像處理方法。圖像處理單元選擇與攝像條件相對應(yīng)的圖像恢復(fù)濾波器并使用圖像恢復(fù)濾波器對所拍攝圖像數(shù)據(jù)進(jìn)行圖像恢復(fù)處理。此外，圖像處理單元基于根據(jù)在圖像恢復(fù)處理之后應(yīng)用的伽瑪校正處理的特性所確定的變化量限制值、利用圖像恢復(fù)處理來限制圖像數(shù)據(jù)的像素信號值的變化量。
文檔編號H04N1/60GK102833461SQ201210199709
公開日2012年12月19日 申請日期2012年6月14日 優(yōu)先權(quán)日2011年6月14日
發(fā)明者加納明 申請人:佳能株式會社