專利名稱：圖像恢復(fù)裝置以及圖像恢復(fù)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及使連續(xù)拍攝的多個(gè)輸入圖像合成的圖像產(chǎn)生的晃動(dòng)降低的圖像恢復(fù)裝置及圖像恢復(fù)方法。
背景技術(shù)：
在以數(shù)字相機(jī)拍攝圖像的情況下,在圖像上因CO)(Charge Coupled Device:電荷率禹合器)傳感器、或CMOS (Complementary Metal Oxide Semiconductor :互補(bǔ)金屬氧化物半導(dǎo)體)傳感器的讀出電路的特性和傳輸路徑的特性而被加入噪聲。另外，有時(shí)也發(fā)生拍攝時(shí)因未聚焦(out of focus :焦點(diǎn)偏離)而導(dǎo)致的圖像的模 糊(blur :模糊)或因手抖動(dòng)(camera shake :相機(jī)抖動(dòng))等的導(dǎo)致的圖像的模糊。這樣，由于在攝像裝置固有的特性引起的噪聲的基礎(chǔ)上加入拍攝時(shí)人為的操作引起的的模糊，使用數(shù)字照相機(jī)所拍攝的圖像更加劣化。另外，在下面，在這些“模糊”中，將正在拍攝(曝光)的照相機(jī)的運(yùn)動(dòng)導(dǎo)致的圖像模糊(手抖動(dòng))稱為“晃動(dòng)(motion blur) ”,以區(qū)別于與未聚焦導(dǎo)致的模糊(out of focusblur)ο近年來，特別需要高靈敏度拍攝增多，從而要求將因模糊所致的劣化的圖像(以下稱為“劣化圖像”)恢復(fù)為與原來的圖像(以下稱“理想圖像”)盡可能接近的圖像。作為用于實(shí)現(xiàn)高靈敏度拍攝所要求的、明亮且沒有噪聲及模糊的圖像的方法，大致分為提高靈敏度這樣的方法和延長(zhǎng)曝光時(shí)間這樣的方法。一般情況下，如果提高靈敏度，則噪聲也被放大。因此，在提高靈敏度的方法中，往往信號(hào)被噪聲淹沒，成為噪聲占大半的圖像。另一方面，如果延長(zhǎng)曝光時(shí)間，能得到大量積蓄從被攝物入射的光、且噪聲的少的圖像。因此，信號(hào)不會(huì)被噪聲淹沒。但是，在延長(zhǎng)曝光時(shí)間的方法中，存在因在曝光時(shí)間中的手振動(dòng)而使圖像產(chǎn)生晃動(dòng)這樣的問題。因此，以往提出兩個(gè)方法作為在延長(zhǎng)曝光時(shí)間的情況下的問題的對(duì)應(yīng)方法。一個(gè)方法是作為使透鏡移動(dòng)的方式的光學(xué)式手振動(dòng)校正(例如，參照專利文獻(xiàn)I)。另一個(gè)方法，是作為從所得的圖像求出晃動(dòng)的方向及大小，基于求得的晃動(dòng)的方向及大小，通過信號(hào)處理來恢復(fù)圖像這樣的方法(通過信號(hào)處理的恢復(fù)方法)(例如，參照專利文獻(xiàn)2 4，非專利文獻(xiàn)I 7)。為了在暗的環(huán)境下確保充分的光量而延長(zhǎng)曝光時(shí)間時(shí)，容易發(fā)生大的手振動(dòng)。因?yàn)樵谶@樣的暗的環(huán)境下，為了通過光學(xué)式手抖動(dòng)校正來對(duì)應(yīng)晃動(dòng)，需要加大透鏡的活動(dòng)范圍。可是，在活動(dòng)范圍變大的情況下，在透鏡的移動(dòng)時(shí)存在產(chǎn)生時(shí)間延遲這樣的問題。還有，加大活動(dòng)范圍存在物理的極限。因手抖動(dòng)產(chǎn)生的從理想圖像向劣化圖像的圖像劣化的現(xiàn)象，能夠如下地模型化。表示在劣化圖像上的各像素的輝度的函數(shù)是通過表示理想圖像的各像素的輝度的函數(shù)和表示圖像的晃動(dòng)的點(diǎn)擴(kuò)展函數(shù)(PSF Point Spread Function)的卷積(convolution)而得到的。反過來，為了將得到的劣化圖像向理想圖像恢復(fù)，只要將劣化圖像和PSF進(jìn)行反卷積(deconvolution)即可。卷積運(yùn)算在頻域相當(dāng)于乘法運(yùn)算。為此，通過在頻域?qū)α踊瘓D像利用PSF進(jìn)行除法運(yùn)算，能得到恢復(fù)圖像。像這樣已知PSF的情況下，如果忽視噪聲的影響，通過上述的反卷積運(yùn)算能夠比較容易地得到恢復(fù)圖像。另ー方面，在PSF未知的情況，為了得到恢復(fù)圖像需要從劣化圖像估計(jì)PSF。關(guān)于PSF的估計(jì),例如公知非專利文獻(xiàn)I所公開的稀疏編碼(Sparse Coding)的方法等。在該方法中，首先根據(jù)由手動(dòng)輸入的初始PSF和劣化圖像得到第一恢復(fù)結(jié)果。繼續(xù)用第一恢復(fù)結(jié)果和劣化圖像估計(jì)認(rèn)為更接近真正的PSF的PSF，以所估計(jì)的PSF修正初始PSF。用被修正的PSF從劣化圖像得到第二恢復(fù)結(jié)果。以后，從第(N-I)的PSF和劣化圖像得第N的恢復(fù)圖像，從第N的恢復(fù)圖像和劣化圖像估計(jì)第N的PSF，通過反復(fù)進(jìn)行這樣的操作，從而能夠同時(shí)進(jìn)行PSF的估計(jì)和劣化圖像的恢復(fù)。

可是，在該方法中存在如下問題在被恢復(fù)的圖像中產(chǎn)生振鈴等的噪聲。所謂“振鈴(ringing)”，是在圖像中輝度等一祥的部分(平坦部分)發(fā)生的噪聲。如果產(chǎn)生振鈴，平坦部分變得看上去不平坦。圖IA是表示輝度階段狀地變化的圖像(邊緣付近的理想圖像)的圖。另外，圖IB是概要地示出理想圖像的輝度分布的圖表。圖2A是表示通過由相機(jī)拍攝圖IA的圖像而得到的、邊緣附近的劣化圖像(模糊圖像blurred image)的圖。另外，圖2B是概要地示出劣化圖像的輝度分布的圖表。在這里，在照相機(jī)拍攝時(shí)，假設(shè)在水平橫方向上產(chǎn)生了手抖動(dòng)。圖2A的劣化圖像因?yàn)槭侄秳?dòng)所致的模糊(晃動(dòng))產(chǎn)生，所以失去了邊緣的清晰度。圖3A是表示將圖2A的劣化圖像通過信號(hào)處理恢復(fù)的恢復(fù)圖像的圖。另外，圖3B是概要地示出圖表恢復(fù)圖像的輝度分布的圖表。在圖3A的恢復(fù)圖像中存在輝度周期地變化的部分。像這樣的輝度變化是被稱為“振鈴”的噪聲。振鈴是因?yàn)樵陬l域中存在PSF的振幅值為O或成為無限地接近O的值的頻率(以下稱為“零點(diǎn)”)而產(chǎn)生的。專利文獻(xiàn)3、4、和非專利文獻(xiàn)6、7公開有解決這樣的振鈴的問題的技術(shù)。根據(jù)這些的技術(shù)，在曝光狀態(tài)之間不是持續(xù)地開放快門，而是按照某個(gè)被決定了的時(shí)間模式(編碼模式)來遮住光，從而能在頻域上減少PSF的振幅值成為O的頻率。因此，能夠防止振鈴噪聲的發(fā)生。被專利文獻(xiàn)3、4、和非專利文獻(xiàn)6、7所公開的方法被稱作為“編碼曝光攝影(Coded Exposure Pnotography)”。先行技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)I :日本專利特開2001-197357號(hào)公報(bào)專利文獻(xiàn)2 :日本專利特開2006-129236號(hào)公報(bào)專利文獻(xiàn)3 日本專利特表2009-522825號(hào)公報(bào)專利文獻(xiàn)4 :日本專利特開2008-310797號(hào)公報(bào)非專利文獻(xiàn)非專利文獻(xiàn)I :“High quality Motion Deblurring from a Single Image”，QiShan, Jiaya Jia，and Aseem Agarwala, SIGGRAPH 2008
非專利文獻(xiàn)2 :米司·田中·奧富共著，「直線的手；札畫像復(fù)元O tz ^ <0 pSf
’ > 一 9推定手法」，情報(bào)処理學(xué)會(huì)研究報(bào)告，第2005卷，第38號(hào)，p. 47-52，2005年(米司、田中、奧富共著，“用于直線的手抖動(dòng)圖像恢復(fù)的Psf參數(shù)推定方法”，信息處理協(xié)會(huì)研究報(bào)告，第2005卷，第38號(hào)，第47-52頁，2005年)非專利文獻(xiàn)3 :J. Bioucas-Dias，“Bayesian wavelet-based imagedeconvolution a gem algorithm exploiting a class of heavy-tailed priors，，，IEEETrans. Image Proc.，vol. 4，pp. 937-951，April 2006非專利文獻(xiàn)4 :Levin，“Blind Motion Deblurring Using Image Statistics，，，Advances in Neural Information Processing Systems (NIPS)，Dec 2006非專利文獻(xiàn)5 :Bob Fergus et al.，“Removing camera shake from a singleimage，，，Barun Singh Aaron Hertzmann, SIGGRAPH 2006
非專利文獻(xiàn)6 -.uCoded Exposure Photography Motion Deblurring usingFluttered Shutter”，Ramesh Raskar, Amit Agrawal, Fack Tumblin, SIGGRAPH 2006非專利文獻(xiàn)7uCoded Exposure Deblurring Optimized Codes for PSFEstimation and Invertibility，，, Amit Agrawal, Yi Xu, MITSUBISHI ELECTRIC RESEARCHLABORATORIES, http //www. merl. com發(fā)明概要發(fā)明要解決的問題這樣，根據(jù)專利文獻(xiàn)3、4、或非專利文獻(xiàn)6所公開的方法，通過進(jìn)行曝光編碼，能抑制恢復(fù)圖像的振鈴的發(fā)生?？墒?，在該方法中，因?yàn)橥ㄟ^在拍攝時(shí)遮住光來進(jìn)行編碼，所以需要在拍攝前預(yù)先決定編碼模式。具體地說，使用手抖動(dòng)產(chǎn)生的確定的圖像來預(yù)先決定編碼模式，且在其他的場(chǎng)面也適用該編碼模式。因此，根據(jù)拍攝場(chǎng)面，即使適用預(yù)先決定的編碼模式，也存在不能回避在PSF零點(diǎn)的發(fā)生而在恢復(fù)圖像產(chǎn)生振鈴的可能性?？傊?，這些的方法不能可靠地抑制振鈴的發(fā)生。另外，在被非專利文獻(xiàn)7所公開的方法中，將編碼方式作為兩值的二進(jìn)制模式來進(jìn)行表現(xiàn)，并從多個(gè)的二進(jìn)制模式中搜索最適合圖像恢復(fù)的二進(jìn)制模式。然而，因?yàn)樗阉鞯哪Ｊ降臄?shù)量較多，所以實(shí)際上對(duì)所有PSF算出最適合的編碼模式是不現(xiàn)實(shí)。具體地說，在非專利文獻(xiàn)7的方法中，為了決定最適合圖像恢復(fù)的編碼模式，一邊改變編碼模式一邊進(jìn)行恢復(fù)，測(cè)量恢復(fù)的圖像的噪聲量，并進(jìn)行是否在進(jìn)行最適合的恢復(fù)的判斷。因此，在非專利文獻(xiàn)7方法中，為了搜索最適合的編碼模式，需要重復(fù)多次拍攝和恢復(fù)處理。因此，用于搜索編碼模式的處理量增大，而存在耗電也增大這樣的課題。并且，因?yàn)槌蔀樗阉鲗?duì)象的編碼模式的模式數(shù)量較多，所以在非專利文獻(xiàn)7中不是在所有的模式中搜索，而是在一部分的模式的范圍內(nèi)搜索最適合東西。因此，在性能方面存在未必是能搜索最合適的編碼模式的問題。

發(fā)明內(nèi)容
因此，本發(fā)明解決了上述以往的課題，其目的是提供抑制處理負(fù)荷的增大并且能夠可靠地抑制振鈴的發(fā)生的圖像恢復(fù)裝置及圖像恢復(fù)方法。用于解決問題的手段為了達(dá)到上述目的，本發(fā)明的一個(gè)實(shí)施方式涉及的圖像恢復(fù)裝置，是降低對(duì)連續(xù)拍攝的多個(gè)輸入圖像的進(jìn)行合成而得到的圖像所產(chǎn)生的晃動(dòng)的圖像恢復(fù)裝置，具有點(diǎn)擴(kuò)散函數(shù)取得部，取得表示經(jīng)由所述多個(gè)輸入圖像產(chǎn)生的晃動(dòng)的第一點(diǎn)擴(kuò)散函數(shù)(PointSpread Function :點(diǎn)擴(kuò)散函數(shù))；點(diǎn)擴(kuò)散函數(shù)變換部,對(duì)上述第一點(diǎn)擴(kuò)散函數(shù)進(jìn)行處理以避免在頻域的各頻率的振幅值小于閾值，從而生成第二點(diǎn)擴(kuò)散函數(shù)；圖像變換部，使用所述第二點(diǎn)擴(kuò)散函數(shù)中的與各輸入圖像對(duì)應(yīng)的部分對(duì)所述多個(gè)輸入圖像分別進(jìn)行變換，從而生成多個(gè)變換圖像；以及，圖像恢復(fù)部，對(duì)將所述多個(gè)變換圖像進(jìn)行合成而得到的劣化圖像實(shí)施使用了所述第二點(diǎn)擴(kuò)散函數(shù)的恢復(fù)處理，從而生成恢復(fù)圖像。根據(jù)本結(jié)構(gòu)，通過對(duì)經(jīng)由多個(gè)的輸入圖像產(chǎn)生的表示晃動(dòng)的第一點(diǎn)擴(kuò)散函數(shù)進(jìn)行處理，從而在頻域生成各頻率的振幅值是閾值以上的第2點(diǎn)擴(kuò)散函數(shù)。并且，使用第2點(diǎn)擴(kuò)散函數(shù)的各部分來轉(zhuǎn)換各輸入圖像。這樣被轉(zhuǎn)換的多個(gè)的輸入圖像被合成的圖像，相當(dāng)于以在點(diǎn)擴(kuò)散函數(shù)不產(chǎn)生零點(diǎn)的方式被編碼時(shí)能得的劣化圖像(以下，稱為“被編碼的劣化 圖像”)。即，根據(jù)本結(jié)構(gòu)，能夠與經(jīng)由多個(gè)的輸入圖像所產(chǎn)生的晃動(dòng)相適應(yīng)地生成劣化圖像，該劣化圖像以在PSF不產(chǎn)生零點(diǎn)的方式被編碼。因此，因?yàn)椴恍枰A(yù)先決定編碼模式所以能夠可靠地抑制振鈴的發(fā)生。并且，為了生成以在PSF不產(chǎn)生零點(diǎn)的方式被編碼的劣化圖像，不需要反復(fù)進(jìn)行恢復(fù)處理。因此，也能抑制處理負(fù)荷的増大。所述點(diǎn)擴(kuò)散函數(shù)變換部?jī)?yōu)選進(jìn)行如下操作確定在頻域的所述第一點(diǎn)擴(kuò)散函數(shù)的振幅值小于所述閾值的頻率，并在確定了的所述頻率將振幅值變更為所述閾值以上的規(guī)定值，由此對(duì)所述第一點(diǎn)擴(kuò)散函數(shù)進(jìn)行處理。根據(jù)本結(jié)構(gòu)，通過在第一點(diǎn)擴(kuò)散函數(shù)的振幅值成為小于閾值的頻率變更振幅值，生成第2點(diǎn)擴(kuò)散函數(shù)。因此，能夠根據(jù)經(jīng)由多個(gè)的輸入圖像所發(fā)生的晃動(dòng)生成適應(yīng)的被編碼的劣化圖像。即，能夠進(jìn)一歩生成更晃動(dòng)少的恢復(fù)圖像。另外，變更第一頻率的振幅值時(shí)所使用的所述規(guī)定值，優(yōu)選比變更作為比所述第一頻率高的頻率的第2頻率的振幅值時(shí)所使用的所述規(guī)定值大。根據(jù)本結(jié)構(gòu)，因?yàn)樵谡穹当蛔兏念l率，可將低頻的振幅值比高頻的振幅值較大地設(shè)置，所以能夠有效地降低作為在低頻區(qū)域產(chǎn)生的噪聲的振鈴噪聲。另外，所述規(guī)定值優(yōu)選為以所述輸入圖像產(chǎn)生的噪聲越大則變得越小的方式而決定的值。根據(jù)本結(jié)構(gòu)，通過變更振幅值能夠抑制在恢復(fù)圖像噪聲放大這樣的弊病。另外，確定第一頻率的時(shí)所使用的所述閾值優(yōu)選為比確定作為比所述第一頻率高的頻率的第2頻率時(shí)所使用的閾值大。根據(jù)本結(jié)構(gòu)，因?yàn)樵诘皖l區(qū)域?yàn)槟苄实呐懦蔀檎疋徳肼暤脑虻男≌穹担阅軌蛴行У販p少作為在低頻區(qū)域產(chǎn)生的噪聲的振鈴噪聲。另外，所述閾值優(yōu)選是以所述輸入圖像產(chǎn)生的噪聲越大則變得越小的方式所決定的值。根據(jù)本結(jié)構(gòu)，通過變更振幅值能抑制在恢復(fù)圖像噪聲被放大這樣的弊病。另外，所述圖像變換部基于所述第2點(diǎn)擴(kuò)散函數(shù)表示的晃動(dòng)被檢測(cè)到的時(shí)間和所述各輸入圖像被拍攝了的時(shí)間，決定所述第2點(diǎn)擴(kuò)散函數(shù)中的與各輸入圖像在時(shí)間上對(duì)應(yīng)的部分，并使用決定了的部分對(duì)所述多個(gè)的輸入圖像分別進(jìn)行變換。根據(jù)本結(jié)構(gòu)，可以更適當(dāng)?shù)貨Q定與各輸入圖像對(duì)應(yīng)的第2點(diǎn)擴(kuò)散函數(shù)的部分。另外，所述點(diǎn)擴(kuò)散函數(shù)變換部?jī)?yōu)選在頻域確定作為上述第一點(diǎn)擴(kuò)散函數(shù)的振幅值未滿所述閾值的頻率，生成確定的所述頻率的振幅值為所述閾值以上的補(bǔ)償點(diǎn)擴(kuò)散函數(shù)，將所述補(bǔ)償點(diǎn)擴(kuò)散函數(shù)與所述第一點(diǎn)擴(kuò)散函數(shù)進(jìn)行加法運(yùn)算，從而生成所述第2點(diǎn)擴(kuò)散函數(shù)。根據(jù)本結(jié)構(gòu)，通過對(duì)補(bǔ)償點(diǎn)擴(kuò)散函數(shù)進(jìn)行加法運(yùn)算，可以生成第2點(diǎn)擴(kuò)散函數(shù)。本發(fā)明不僅能夠?qū)崿F(xiàn)具有這樣的特征的處理部的圖像恢復(fù)裝置，也能夠?qū)崿F(xiàn)將圖像恢復(fù)裝置中包含的特征的處理部作為步驟的圖像恢復(fù)方法。另外，也能夠作為使計(jì)算機(jī)執(zhí)行的圖像恢復(fù)方法所包含的特征的各步驟的計(jì)算機(jī)程序來實(shí)現(xiàn)。并且，當(dāng)然可以通過CD-ROM (Compact Disc Read Only Memory)等的計(jì)算機(jī)可讀取的記錄介質(zhì)或者因特網(wǎng)等的 通信網(wǎng)絡(luò)使那樣的計(jì)算機(jī)程序流通。還有，本發(fā)明也能實(shí)現(xiàn)為集成電路，該集成電路具有圖像恢復(fù)裝置具有的特征的處理部。發(fā)明效果根據(jù)本發(fā)明，使用連續(xù)被拍攝的多個(gè)的輸入圖像，與經(jīng)由多個(gè)輸入圖像所產(chǎn)生的晃動(dòng)相適應(yīng)地生成以在點(diǎn)擴(kuò)散函數(shù)不產(chǎn)生零點(diǎn)的方式而被編碼的劣化圖像。從而，能夠抑制處理負(fù)荷的增大，同時(shí)能夠可靠地抑制振鈴的產(chǎn)生。


圖IA是表示邊緣附近的理想圖像的圖。圖IB是概要地示出理想圖像的輝度分布的圖表。圖2A是示出邊緣附近的劣化圖像的圖。圖2B是概要地示出劣化圖像的輝度分布的圖表。圖3A是示出通過信號(hào)處理對(duì)劣化圖像進(jìn)行了恢復(fù)的恢復(fù)圖像的圖。圖3B是概要地示出恢復(fù)圖像的輝度分布的圖表。圖4是曝光編碼的說明圖。圖5是在空間域的PSF的模式圖。圖6是被轉(zhuǎn)換為頻域的PSF的模式圖。圖7是表示本發(fā)明的實(shí)施方式所涉及的攝像裝置的功能結(jié)構(gòu)的框圖。圖8是表示本發(fā)明的實(shí)施方式所涉及的信號(hào)處理部的功能結(jié)構(gòu)的框圖。圖9是表示在本發(fā)明的實(shí)施方式所涉及的信號(hào)處理部的劣化圖像的恢復(fù)處理的流程的流程圖。圖10是表示在本發(fā)明的實(shí)施方式所涉及的PSF變換部的PSF變換處理的流程的流程圖。圖11是表示在本發(fā)明的實(shí)施方式所涉及的圖像變換部的圖像變換處理的流程的流程圖。圖12是表示理想圖像的一個(gè)例子的圖。
圖13是表示理想圖像的頻率特性的一個(gè)例子的圖。圖14是表示第一 PSF的一個(gè)例子的圖。圖15是表示第一 PSF的頻率特性的一個(gè)例子的圖。圖16是表示劣化圖像的一個(gè)例子的圖。圖17是表示劣化圖像的頻率特性的一個(gè)例子的圖。圖18是表示根據(jù)以往的圖像恢復(fù)方法能得的恢復(fù)圖像的一個(gè)例子的圖。圖19是表示第二 PSF的一個(gè)例子的圖。圖20是表示第二 PSF的頻率特性的一個(gè)例子的圖。

圖21是表示根據(jù)本發(fā)明的實(shí)施方式所涉及的圖像恢復(fù)方法得到的恢復(fù)圖像的一個(gè)例子的圖。圖22是表示本發(fā)明的ー實(shí)施方式所涉及的圖像恢復(fù)裝置的功能結(jié)構(gòu)的框圖。
具體實(shí)施例方式關(guān)于本發(fā)明的實(shí)施方式在說明細(xì)節(jié)之前，首先對(duì)在本實(shí)施方式的圖像恢復(fù)方法的基本的原理進(jìn)行說明。在本說明書中，由m(x，y)表示在攝像面形成的圖像的輝度分布。坐標(biāo)(x，y)是表示攝像面的像素(光感知単元)的位置的ニ元坐標(biāo)。在圖像例如由行列狀排列的MXN個(gè)的像素構(gòu)成的情況下，如果X和y是分別滿足O彡X彡M-1、0彡y彡N-I關(guān)系的整數(shù)時(shí)，由坐標(biāo)(x，y)能確定構(gòu)成圖像的各個(gè)的像素的位置。將在這個(gè)圖像上的坐標(biāo)(x，y)的輝度適宜地稱為“像素值”。坐標(biāo)的原點(diǎn)(0，0)被設(shè)定在圖像左上角。另外，X軸被設(shè)定為水平方向延伸的軸，y軸被設(shè)定為垂直方向延伸的軸。但是，坐標(biāo)不一定需要這樣被設(shè)定，任意地設(shè)定都可以。在這里，將沒有模糊(blur)的圖像(理想圖像或原圖像)的輝度分布表示為s(x，y)。還有，將規(guī)定模糊的PSF表示為f(x，y)。這種情況下，如果忽略噪聲的影響，則以下的(式I)成立。式I :m(x, y) = s(x, y)*f (x, y) (式 I)是這里,符號(hào)“ * ”表示卷積運(yùn)算(convolution)。(式I)右邊,通常情況下由以下的(式2)來表示。式2
CO 00s(xj)^f{x,y)=\ ^s{iJ)f{x-ij-j)didj (式2)
-CO -CO圖像為由MXN個(gè)的像素構(gòu)成的情況下，上述的(式2)，能夠由以下的(式3)表
/Jn ο式3 I MA N-]
_7] Φ^)*/(υ)=ττ^ΣΣ 沖，Λ/(χ—Λ (式3)
MxNtS%在表示模糊的特征的點(diǎn)擴(kuò)展函數(shù)f(x，y)為已知的情況下，對(duì)由照相機(jī)拍攝得到的圖像m(x, y)進(jìn)行反卷積運(yùn)算(deconvolution)的，從而能夠復(fù)原沒有模糊的圖像s (x,y)。另外，在點(diǎn)擴(kuò)展函數(shù)f(x，y)不是已知的情況下，需要根據(jù)圖像m(x，y)推定f(x，y)之后來求出沒有模糊的圖像s (X，y)。一般來說，2個(gè)函數(shù)的卷積由各函數(shù)的傅立葉變換的積來表示。因此，將m(x，y)、s(x,y)、f(x,y)的傅立葉變換分別表示為M(u, V)、S (u, V)、F (u, V)時(shí),根據(jù)(式I)可以推到出以下的(式4)。另外，(u，v)是在頻域的坐標(biāo)，分別與圖像的X方向及y方向的空間頻率對(duì)應(yīng)。

式4:M(u, v) = S (u, v) · F (u, v) (式 4)在這里，符號(hào)“ · ”，表示著在頻域的函數(shù)的“積”。變形(式4)時(shí)，能得到以下的(式 5)。式5:
η, 、M(w,v)S(UiV) =-(式 5)
F(u,v)該(式5)表示以下內(nèi)容將由照相機(jī)拍攝得到的圖像m(x，y)的傅里葉變換M(u，V)除以點(diǎn)擴(kuò)展函數(shù)f (X，y)的傅立葉變換F(U, V)得到的函數(shù),與理想圖像S (X, y)的傅立葉變換S(u, V)相當(dāng)。即，如果求出M(u, V)以及F(u, V),則能決定S(u, V)。因?yàn)镸(u, V)是將照相機(jī)拍攝被得的圖像(劣化圖像)進(jìn)行傅立葉變換的，所以如果能夠求出手抖動(dòng)的點(diǎn)擴(kuò)展函數(shù)f(x，y)的傅立葉變換F (u，V)，則可通過信號(hào)處理從劣化圖像恢復(fù)圖像(接近真正的圖像)。手抖動(dòng)的點(diǎn)擴(kuò)展函數(shù)f(x，y)依賴于在拍攝(曝光)中的手抖動(dòng)的軌跡。換言之，手抖動(dòng)的軌跡因按照每次照相機(jī)拍攝不同，所以f(x，y)也按照每次照相機(jī)拍攝變化。f(x，y)能夠根據(jù)照相機(jī)拍攝得到的I張或多張圖像進(jìn)行估計(jì)，但也可以根據(jù)傳感器的檢測(cè)來估計(jì)在拍攝(曝光)中的照相機(jī)的運(yùn)動(dòng)(手抖動(dòng)軌跡)?？墒?，f(x，y)只不過是通過估計(jì)或測(cè)量得到的，所以包含某些誤差。因此，難于完全恢復(fù)理想圖像sU，y)。非專利文獻(xiàn)2公開有以下內(nèi)容通過將在短的曝光時(shí)間中的手抖動(dòng)的軌跡假設(shè)為“勻速直接線運(yùn)動(dòng)”，從而利用sine函數(shù)來近似該點(diǎn)擴(kuò)展函數(shù)的傅立葉變換。在將手抖動(dòng)的幅度設(shè)為W、手抖動(dòng)的方向設(shè)為X軸方向時(shí)，作為(式5)的分母的F(u，v)，由以下的(式6)來表現(xiàn)。式6:
”，、sin(^)F(u,v) =-(式 6)
Wm(式6)右邊是sine( m、函數(shù)，該振幅按照每個(gè)一定周期成為O。該周期是手抖動(dòng)的寬度W的倒數(shù)(1/W)。另外，手抖動(dòng)的方向?qū)軸如果朝向θ的角度的情況下，F(xiàn)(u,v)成為將(式6)的函數(shù)轉(zhuǎn)動(dòng)角度Θ的函數(shù)。但是，現(xiàn)實(shí)的手抖動(dòng)因?yàn)槊枥L復(fù)雜的軌跡，所以也有“勻速直接線運(yùn)動(dòng)”的假設(shè)不充分地成立的情況。在此，可以認(rèn)為(式5)的分母F(u，v)周期地成為零為圖像的平坦部的振鈴是主要的產(chǎn)生原因。在那里，在專利文獻(xiàn)3、4、以及非專利文獻(xiàn)6、7中公開有以下方法拍攝時(shí)候，通過曝光時(shí)間中將快門按照編碼模式進(jìn)行開關(guān)，從而減少F(u，v)成為零的點(diǎn)。為了避免此時(shí)在被轉(zhuǎn)換為頻域的PSF的F(u，v)產(chǎn)生零點(diǎn)，必須決定快門的編碼模式。在此，在非專利文獻(xiàn)6、7中，對(duì)于預(yù)先已知的PSF，一邊將編碼模式進(jìn)行各種各樣地變化ー邊進(jìn)行圖像的恢復(fù)，由此對(duì)特定的PSF捜索著最適合的編碼模式。在該方法中，對(duì)特定的PSF求出的編碼模式，能夠利用在各種各樣的場(chǎng)面的拍攝。因此，與決定了編碼模式的PSF不同的PSF被轉(zhuǎn)換到頻域的F(u，V)，存在零點(diǎn)產(chǎn)生的可能性。還有，為了探索編碼模式，因?yàn)樾枰凑彰總€(gè)編碼模式進(jìn)行拍攝及恢復(fù)處理，所以對(duì)于編碼模式的探索所需要的計(jì)算量變得較多。 因此，在以下說明的本發(fā)明的實(shí)施方式中，攝像裝置在曝光時(shí)間中接連地拍攝多個(gè)的圖像。并且，攝像裝置取得表示接連攝影的多個(gè)的圖像晃動(dòng)的第一 PSF。并且，攝像裝置通過分析被轉(zhuǎn)換為頻域的第一 PSF的振幅值，從而能將第一 PSF轉(zhuǎn)換為在頻域不存在零點(diǎn)的第二PSF。攝像裝置使用這樣得到的第二PSF對(duì)各圖像實(shí)施變換處理，并對(duì)變換處理后的圖像進(jìn)行合成，從而能得以適應(yīng)晃動(dòng)的編碼模式進(jìn)行編碼的劣化圖像。并且，攝像裝置對(duì)這樣得到的劣化圖像，進(jìn)行使用第二PSF的恢復(fù)處理。這樣，本發(fā)明的實(shí)施方式所涉及的攝像裝置，與經(jīng)由多個(gè)的輸入圖像所發(fā)生的晃動(dòng)相適應(yīng)地生成在PSF未產(chǎn)生零點(diǎn)這樣的被編碼的劣化圖像。從而，能夠抑制處理負(fù)荷的増大，同時(shí)能夠可靠地抑制振鈴的產(chǎn)生。另外，在本說明書中所說的“曝光時(shí)間”，表示從由連拍的拍攝的開始到結(jié)束的時(shí)間。另外，將連續(xù)地被拍攝的多個(gè)圖像適宜地記載為連拍圖像。下面對(duì)本發(fā)明的實(shí)施方式，ー邊參照?qǐng)D面ー邊進(jìn)行詳細(xì)地說明。首先，使用圖4對(duì)關(guān)于在本實(shí)施方式的編碼的概念進(jìn)行說明。所謂編碼是利用特定的模式(編碼模式)轉(zhuǎn)換圖像的曝光信息的處理，被稱作曝光編碼。所謂曝光編碼是通過在曝光時(shí)間中產(chǎn)生使光通過的狀態(tài)和不使光通過的狀態(tài)這樣的兩個(gè)狀態(tài)，將入射的光轉(zhuǎn)換為時(shí)間上不連續(xù)的光信號(hào)。此時(shí)，將由通過光的狀態(tài)和不通過光的狀態(tài)所形成的模式稱為編碼模式。例如，考慮手抖動(dòng)在橫向上勻速產(chǎn)生的情況。在曝光時(shí)間是T、構(gòu)成編碼模式的區(qū)間作為9個(gè)的情況下，各區(qū)間的時(shí)間成為T/9。此時(shí)，以符號(hào)“I”表示通過光的區(qū)間，以符號(hào)“O”表示不通過光的區(qū)間。即，符號(hào)“I”表示在攝像元件光入射的ON狀態(tài)。另外，符號(hào)“O”表示光被遮住因此在攝像元件光不入射的OFF狀態(tài)。在此，編碼不被進(jìn)行的情況，如圖4的(a)所示，曝光時(shí)間中的各區(qū)間的符號(hào)全部是“I”(0N狀態(tài))，編碼模式成為{111111111}。此時(shí)，攝像元件在全部的曝光時(shí)間T中接受光。另ー方面，在進(jìn)行編碼的情況下，曝光時(shí)間中的各區(qū)間的編碼，在“ I”和“O”之間轉(zhuǎn)換。此時(shí)，攝像元件僅在曝光時(shí)間T中編碼“I”的區(qū)間接受光。例如，編碼模式為{101101110}的情況下，如圖4的(b)所示，在曝光時(shí)間中對(duì)ON狀態(tài)和OFF狀態(tài)進(jìn)行轉(zhuǎn)換。
在這樣的曝光時(shí)間中，考慮利用連拍圖像對(duì)在攝像元件中對(duì)使光通過的狀態(tài)和不使光通過的狀態(tài)的編碼的情況。編碼模式設(shè)為與圖4的(b)的例子一樣的{101101110}。這個(gè)情況，如圖4的(c)所示，在一次的曝光時(shí)間連拍時(shí)9張圖像時(shí)，拍攝的9張圖像中的第二張、第5張、以及第9張的圖像(有影線的圖像)的像素值全部轉(zhuǎn)換為O之后，對(duì)9張圖像進(jìn)行加法運(yùn)算。即，在連續(xù)拍攝的多個(gè)的圖像中，僅對(duì)與符號(hào)“I”的區(qū)間對(duì)應(yīng)的圖像進(jìn)行加法運(yùn)算。像這樣得到的圖像與如圖4的(b)所示通過在曝光時(shí)間中遮住光而得到的圖像本質(zhì)相同。即，通過變更連續(xù)拍攝的多個(gè)的圖像的組合，從而能在拍攝后變更編碼模式。其次，使用圖5以及圖6來對(duì)編碼給PSF帶來的影響進(jìn)行說明。圖5是在空間域的PSF的模式圖。具體地說，圖5的(a)是表示在未進(jìn)行編碼的情況下的空間域的PSF的一個(gè)例子的圖。另外，圖5的(b)是表示在進(jìn)行編碼的情況下的空間域的PSF的一個(gè)例子的圖。另外，圖5圖示出在為X軸方向切斷了的一斷面的PSF。在晃動(dòng)的方向作為X軸方向的情況下，通過進(jìn)行編碼，PSF被進(jìn)行如從圖5的(a)至圖5的(b)的轉(zhuǎn)換。 圖6是被轉(zhuǎn)換到頻域的PSF的模式圖。具體地說，圖6的(a)是表示將圖5的(a)的PSF從空間域變換為頻域時(shí)的振幅特性的模式圖。同樣地，圖6的(b)是表示將圖5的(b)的PSF從空間域轉(zhuǎn)換到頻域時(shí)的振幅特性的模式圖。另外，圖6對(duì)在u軸方向上切斷的一斷面圖示出PSF。如圖6的(a)所示，在將圖5的(a)的PSF(矩形波)轉(zhuǎn)換為頻域的情況下，PSF為sine函數(shù)。因此，周期地存在振幅值成為O的點(diǎn)(零點(diǎn))。另一方面，如圖6的(b)所示，在將由圖5的(b)的編碼而得到的PSF轉(zhuǎn)換為頻域的情況下，PSF與sine函數(shù)不同，不存在振幅值成為O的點(diǎn)。像這樣，通過編碼，能得到在各頻率振幅值不為O的PSF。通過使用這樣得到的PSF進(jìn)行恢復(fù)處理，從而能得沒有振鈴噪聲的恢復(fù)圖像。如上所述，通過對(duì)曝光進(jìn)行編碼，能得到在頻域振幅值不為O的這樣的PSF。在本實(shí)施方式中，在拍攝時(shí)不是通過遮住光來執(zhí)行曝光編碼，而是使被連續(xù)拍攝的多個(gè)輸入圖像的每一個(gè)的像素值變化，并通過對(duì)使變化后的多個(gè)的輸入圖像合成來進(jìn)行曝光編碼。具體地說，通過將各輸入圖像設(shè)為L(zhǎng)倍(L為O I實(shí)數(shù))從而進(jìn)行編碼。像這樣，在本實(shí)施方式中，因?yàn)椴恍枰谂臄z中進(jìn)行遮住曝光的拍攝，所以在拍攝結(jié)束后能選擇各種各樣的編碼模式。其次，對(duì)于本實(shí)施方式所涉及的攝像裝置的功能結(jié)構(gòu)進(jìn)行說明。圖7是表示本發(fā)明的實(shí)施方式所涉及的攝像裝置100功能結(jié)構(gòu)的框圖。在本實(shí)施方式的攝像裝置100中是數(shù)字式的電子照相機(jī)。但是，攝像裝置100不需要必須是數(shù)字式的電子照相機(jī)。攝像裝置100如圖7所例示，具有攝像部300 ;信號(hào)處理部200，進(jìn)行各種信號(hào)處理及圖像的恢復(fù)處理；顯示部600，顯示圖像；記錄部500，記錄圖像數(shù)據(jù)；以及系統(tǒng)控制部400，對(duì)各部進(jìn)行控制。攝像部300接連拍攝多個(gè)的圖像。具體地說，攝像部300具有攝像元件(映像傳感器)310，具有被排列在攝像面多個(gè)的感光單元(光電二極管)；快門325，具有隔板功能；以及拍攝鏡頭320，用于在攝像元件310攝像面上形成像。另外，攝像部300具有內(nèi)部存儲(chǔ)器350，該內(nèi)部存儲(chǔ)器350在圖像被連續(xù)地拍攝時(shí)(連拍)臨時(shí)存儲(chǔ)連續(xù)的圖像數(shù)據(jù)。
攝像元件310為有代表性的CXD傳感器或CMOS傳感器。拍攝透鏡320具有公知的結(jié)構(gòu)，一般情況下，是由多個(gè)的透鏡構(gòu)成的透鏡單元?？扉T325及拍攝透鏡320由未圖示的驅(qū)動(dòng)機(jī)構(gòu)驅(qū)動(dòng)，可執(zhí)行在光學(xué)變焦、自動(dòng)曝光(AE =AutoExposure)、或自動(dòng)聚焦(AF Auto Focus)所需的動(dòng)作。攝像部300還具有攝像元件驅(qū)動(dòng)部330,該攝像元件驅(qū)動(dòng)部330驅(qū)動(dòng)攝像元件310。攝像元件驅(qū)動(dòng)部330例如由CCD驅(qū)動(dòng)器等的半導(dǎo)體集成電路構(gòu)成。攝像元件驅(qū)動(dòng)部330通過驅(qū)動(dòng)各自攝像元件310，從而從攝像元件310分別讀出模擬信號(hào)(光電變換信號(hào))并轉(zhuǎn)換為數(shù)字信號(hào)。攝像部300還具有手抖動(dòng)檢測(cè)部345，該手抖動(dòng)檢測(cè)部345檢測(cè)拍攝時(shí)的手抖動(dòng)。手抖動(dòng)檢測(cè)部345例如是公知的陀螺儀或加速度傳感器等。手抖動(dòng)檢測(cè)部345檢測(cè)在曝光時(shí)間中的攝像裝置100的動(dòng)作，并生成表示手抖動(dòng)的軌跡的信息(手抖動(dòng)信息)。所生成的手抖動(dòng)信息被輸入到信號(hào)處理部200，用于取得在圖像恢復(fù)處理中使用的第一 PSF的處理。 信號(hào)處理部200執(zhí)行劣化圖像的恢復(fù)處理。即，信號(hào)處理部200使在對(duì)連續(xù)攝影的多個(gè)的輸入圖像進(jìn)行合成而得到的圖像產(chǎn)生的晃動(dòng)減少。另外，信號(hào)處理部200也可以進(jìn)行色調(diào)補(bǔ)正、分辨率變更、或數(shù)據(jù)壓縮等的各種信號(hào)處理。再者，使用圖8對(duì)信號(hào)處理部200的劣化圖像的恢復(fù)處理在后面進(jìn)行詳細(xì)說明。信號(hào)處理部200通過公知的數(shù)字信號(hào)處理處理器(DSP =Digital SignalProcessor)等的硬件和用于執(zhí)行圖像處理的軟件的組合來進(jìn)行適宜地實(shí)現(xiàn)。存儲(chǔ)器240由DRAM (Dynamic Random Access Memory :動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)等構(gòu)成。該存儲(chǔ)器240記錄有從攝像部300得到的圖像數(shù)據(jù)，并且臨時(shí)記錄有由信號(hào)處理部200接收到的各種的圖像處理的圖像數(shù)據(jù)、以及被壓縮的圖像數(shù)據(jù)。圖像數(shù)據(jù)被轉(zhuǎn)換為模擬信號(hào)之后由顯示部600表示，或數(shù)字信號(hào)被原樣記錄到記錄部500。圖像數(shù)據(jù)也可以通過未圖示的通信裝置以無線或有線的方式被發(fā)送到其他的裝置(未圖示)。系統(tǒng)控制部400對(duì)上述的攝像部300、信號(hào)處理部200、存儲(chǔ)器240、記錄部500、以及顯示部600進(jìn)行控制。系統(tǒng)控制部400具有未圖示的中央運(yùn)算處理單元(CPU =CentralProcessing Unit)及閃存。再者，本實(shí)施方式的攝像裝置具備光學(xué)取景器、電源(電池)、閃光等的公知的結(jié)構(gòu)元件，但因這些的說明對(duì)理解本發(fā)明不是特別地需要，所以省略。下面，ー邊參照?qǐng)D8 一邊更詳細(xì)地說明本實(shí)施方式的信號(hào)處理部200結(jié)構(gòu)。圖8是表示本發(fā)明的實(shí)施方式涉及的信號(hào)處理部200功能結(jié)構(gòu)的框圖。信號(hào)處理部200具有圖像輸入部1100、PSF取得部1200、PSF變換部1300、圖像變換部1400、圖像恢復(fù)部1500、以及圖像輸出部1600。圖像輸入部1100取得由攝像部300接連拍攝的多個(gè)輸入圖像。PSF取得部1200基于陀螺儀傳感器和加速度傳感器等的傳感器信息，取得表示經(jīng)由圖像輸入部1100取得的多個(gè)的輸入圖像產(chǎn)生的晃動(dòng)的第一 PSF。具體地說，PSF取得部1200例如使用在拍攝多個(gè)的輸入圖像時(shí)由手抖動(dòng)檢測(cè)部345檢測(cè)出的手抖動(dòng)信息來計(jì)算第一 PSF。PSF變換部1300將從從PSF取得部1200取得的第一 PSF轉(zhuǎn)換為第二 PSF。具體地說，PSF變換部1300以避免在頻域各頻率的振幅值不足閾值的方式通過處理第一 PSF從而生成第二 PSF。S卩，PSF變換部1300基于第一 PSF生成在頻域各頻率的振幅值為閾值以上的第二 PSF。圖像變換部1400基于第二PSF，分別對(duì)圖像輸入部1100取得的多個(gè)的輸入圖像進(jìn)行變換。具體地說，圖像變換部1400通過使用與第二 PSF中的各輸入圖像對(duì)應(yīng)的部分，對(duì)多個(gè)輸入圖像分別進(jìn)行變換，從而生成多個(gè)變換圖像。圖像恢復(fù)部1500通過對(duì)將多個(gè)變換圖像合成的劣化圖像(被編碼的劣化圖像)實(shí)施使用了第二 PSF的恢復(fù)處理，來生成恢復(fù)圖像。再者，多個(gè)變換圖像被合成的圖像，按照每個(gè)構(gòu)成各變換圖像的像素的像素位置，通過對(duì)像素值進(jìn)行加法運(yùn)算從而得到將多個(gè)變換圖像進(jìn)行合成的圖像。圖像輸出部1600輸出被生成的恢復(fù)圖像。圖像輸出部1600將恢復(fù)圖像例如輸出到記錄部500以及顯示部600的至少一個(gè)。另外，圖8示出的信號(hào)處理部200結(jié)構(gòu)是一個(gè)例子，信號(hào)處理部200能夠被分割為 其他的功能塊。信號(hào)處理部200例如可以通過將圖像處理的軟件編入向公知的硬件來適宜地被實(shí)現(xiàn)。其次，對(duì)如上所述構(gòu)成的信號(hào)處理部200的各種處理說明。圖9是表示本發(fā)明的實(shí)施方式所涉及的信號(hào)處理部200的劣化圖像的恢復(fù)處理的流程的流程圖。另外，圖10是表示本發(fā)明的實(shí)施方式所涉及的PSF變換部1300的PSF變換處理的流程的流程圖。另外，圖11是表示本發(fā)明的實(shí)施方式所涉及的圖像變換部1400的圖像變換處理的流程的流程圖。首先，圖像輸入部1100取得在攝像部300進(jìn)行連拍后被存儲(chǔ)在攝像部300內(nèi)部存儲(chǔ)器350的多張(η張η為2以上的整數(shù))的輸入圖像mi (x，y) (i為I η的整數(shù))(SlOl)。接著，PSF取得部1200取得在拍攝多個(gè)輸入圖像時(shí)由手抖動(dòng)檢測(cè)部345檢測(cè)出的手抖動(dòng)信息。進(jìn)而，PSF取得部1200通過對(duì)取得的多個(gè)輸入圖像的像素值按照每個(gè)像素位置進(jìn)行加法運(yùn)算從而生成劣化圖像。并且，PSF取得部1200基于手抖動(dòng)信息和劣化圖像，取得表示經(jīng)由多個(gè)的輸入圖像產(chǎn)生的晃動(dòng)的第一 PSF(f I (X，y)) (S102)。另外，PSF取得部1200不一定非要基于手抖動(dòng)信息和劣化圖像的兩者來取得第一PSF。例如，PSF取得部1200也可以基于手抖動(dòng)信息和劣化圖像中的手抖動(dòng)信息，取得第一PSF0但是，通過使用由劣化圖像的信號(hào)處理算出的PSF取得第一 PSF，從而PSF取得部1200能取得表示被攝物晃動(dòng)和與手抖動(dòng)的兩者的晃動(dòng)的第一 PSF。其次，PSF變換部1300通過以避免在頻域各頻率的振幅值不足閾值的方式對(duì)第一PSF進(jìn)行處理，從而生成第二 PSF(S103)。具體地說，在PSF變換部1300中進(jìn)行如圖10所示的處理。PSF變換部1300首先通過將PSF取得部1200取得的第一 PSF從空間域轉(zhuǎn)換為頻域，從而算出每頻率的振幅值(S201)。在此，將空間域的第一 PSF表示為f I (X，y)，將頻域的第一 PSF表不為Fl (u, V) ο其次，PSF變換部1300在頻域確定第一 PSF的振幅值小于閾值fth( I Fl (u，V)< fth)的頻率(u ' V ' ) (S202)。其次，PSF變換部1300在確定的頻率(u'，V )通過變更振幅值為閾值fth以上的規(guī)定值來生成第二 PSF(S203)。在此所生成的第二 PSF是頻域上的第二 PSF，表示為F2(u, V)。最后，PSF變換部1300將F2(u，V)從頻域反變換為空間域(S204)。在這里，將轉(zhuǎn)換為空間域的第二 PSF表示f2(x，y)。像這樣得到的第二 PSF，在頻域不存在零點(diǎn)。因此，通過使用第二 PSF的恢復(fù)處理得到的恢復(fù)圖像不產(chǎn)生振鈴噪聲。返回到圖9流程圖的說明。圖像變換部1400通過用與第二 PSF中的各輸入圖像對(duì)應(yīng)的部分，將多個(gè)輸入圖像分別進(jìn)行變換，從而生成變換圖像(S104)。具體地說，在圖像變換部1400中進(jìn)行如圖11所示的處理。圖像變換部1400首先基于檢測(cè)出的第二 PSF示出的晃動(dòng)的時(shí)間和被拍攝的各輸入圖像的時(shí)間，決定第二 PSF中的各輸入圖像時(shí)間上對(duì)應(yīng)的部分(S301)。具體地說，圖像變換部1400例如將構(gòu)成第二 PSF的多個(gè)的像素中的與輸入圖像時(shí)間上對(duì)應(yīng)的晃動(dòng)的像素 (例如ー個(gè)像素)決定為與輸入圖像對(duì)應(yīng)的部分。接著，圖像變換部1400使用與各輸入圖像對(duì)應(yīng)的部分對(duì)多個(gè)的輸入圖像分別進(jìn)行變換(S302)。具體地說，圖像變換部1400按照以下的(式7)將輸入圖像Hii (x, y)轉(zhuǎn)換為圖像m/ (X，y)。例如，圖像變換部1400如(式7)所示,根據(jù)輸入圖像和該輸入圖像對(duì)應(yīng)的第二 PSF的部分的卷積分別生成變換圖像。另外，在(式7)中，f^(x，y)示出與輸入圖像Hii (X, y)對(duì)應(yīng)的第二 PSF的部分。式7:Iiii' (x, y) = f2t (x, y)^ (x, y) (式 7)其次，圖像恢復(fù)部1500對(duì)劣化圖像s' (x，y)通過實(shí)施使用了第二 PSF的恢復(fù)處理從而生成恢復(fù)圖像(S105)。在此,劣化圖像s' (X, y)是僅將變換圖像mi ' (x, y)合成后圖像，可由以下的(式8)求出。式8:
ηS\Xj) = ^ 爪/(X,少)(式 8)
i=l該劣化圖像s' (x,y)相當(dāng)于以在PSF不產(chǎn)生零點(diǎn)的方式來進(jìn)行編碼的劣化圖像。另外，圖像恢復(fù)部1500實(shí)行的恢復(fù)處理的算法沒有特別地限定，也可以是公知的圖像恢復(fù)處理的某ー個(gè)。圖像恢復(fù)部1500例如能夠使用公知的Richardson-Lucy(LR)法和維納濾波(Wiener filter)法等來執(zhí)行恢復(fù)處理。另外，圖像恢復(fù)部1500也可以使用非專利文獻(xiàn)I所公開的輪廓編碼法來執(zhí)行恢復(fù)處理。還有，圖像恢復(fù)部1500最單純的情況下也可以根據(jù)以下的(式9)生成恢復(fù)圖像r(x，y)。式9:
U, 、S'M ,R(U,V)=-—~式 9)
ΓΔψ,ν)另外，在(式9)中，R(u，V)以及V (U，V)表示被轉(zhuǎn)換到頻域的恢復(fù)圖像及被編碼的劣化圖像。即，通過將由(式9)算出的R(u，v)反變換到空間域，從而得到恢復(fù)圖像r (x, y)。其次，圖像輸出部1600輸出如上所述得到的恢復(fù)圖像(S106)并結(jié)束處理。由此，恢復(fù)圖像例如被記錄到記錄部500,或由顯示部600顯示。其次，為了補(bǔ)充本發(fā)明的實(shí)施方式所涉及的信號(hào)處理部200的處理的說明，對(duì)于恢復(fù)處理的仿真結(jié)果進(jìn)行說明。另外，為了說明的方便，下面使用僅示出在X軸方向或者U軸方向的一個(gè)斷面的圖來進(jìn)行說明。圖12是表示理想圖像的一個(gè)例子的圖。另外，圖13是表示理想圖像的頻率特性的一個(gè)例子的圖。另外，圖14是表示第一 PSF的一個(gè)例子的圖。另外，圖15是表示第一 PSF的頻率特性的一個(gè)例子的圖。另外，圖16是表示劣化圖像的一個(gè)例子的圖。圖17是表示劣化圖像的頻率特性的一個(gè)例子的圖。在本仿真中將圖12示出的信號(hào)設(shè)定為手抖動(dòng)不存在的圖像信號(hào)(理想圖像)。圖12橫軸表示X軸方向的像素號(hào)碼，縱軸表示像素值。另外，如圖14所示來設(shè)定了第一 PSF。 在圖14中橫軸表不X軸方向的像素號(hào)碼,縱軸表不PSF強(qiáng)度。并且，通過使用圖14示出的第一PSF，對(duì)圖12示出的理想圖像實(shí)施模糊處理，從而得到在圖16所示的劣化圖像。圖13、圖15以及圖17是示出將圖12、圖14以及圖16示出的圖像或PSF變換為頻域時(shí)的頻率特性。在圖13、圖15以及圖17中，橫軸表示u軸方向的空間頻率，縱軸表示振幅值。如果看圖15所示的第一 PSF的頻率特性，可知第一 PSF在頻域存在振幅值為零的空間頻率(零點(diǎn))。在此，首先，對(duì)以往的圖像恢復(fù)方法的仿真結(jié)果進(jìn)行說明。最單純的圖像恢復(fù)方法是(式5)所示的方法。因此，在本仿真中，將(式5)的圖像恢復(fù)方法作為以往的圖像恢復(fù)方法進(jìn)行處理。圖18是表示由以往的圖像恢復(fù)方法得到的恢復(fù)圖像的一個(gè)例子的圖。圖18表示的恢復(fù)圖像是如下的圖像通過使用圖15所示的第一 PSF的頻率成分按照每個(gè)頻率對(duì)圖17示出的劣化圖像的頻率成分進(jìn)行除法運(yùn)算而得到的圖像。但是，如圖15所示，在頻域中包含第一 PSF的振幅值成為零的頻率。因此，在以往的圖像恢復(fù)方法中，振幅值成為零的頻率無法進(jìn)行(式5)所示的除法運(yùn)算。因此，在振幅值成為零的頻率中，將一定值(在本仿真設(shè)為“ 10”，但因?yàn)槭遣欢ㄖ?，值根?jù)實(shí)現(xiàn)以及系統(tǒng)適宜地自由地設(shè)定)作為除法運(yùn)算的結(jié)果來進(jìn)行處理。根據(jù)圖18所示的恢復(fù)圖像可知，在以往的圖像恢復(fù)方法中，在像素值變化的變化點(diǎn)無法正確恢復(fù)圖像、而產(chǎn)生振鈴噪聲。其次，對(duì)于由本發(fā)明的實(shí)施方式所涉及的圖像恢復(fù)方法的仿真結(jié)果進(jìn)行說明。圖19是示出第二 PSF的一個(gè)例子的圖。另外，圖20是示出第二 PSF的頻率特性的一個(gè)例子的圖。另外，圖21是示出由本發(fā)明的實(shí)施方式所涉及的圖像恢復(fù)方法而得到的恢復(fù)圖像的一個(gè)例子的圖。首先，PSF變換部1300參照?qǐng)D15示出的第一 PSF的頻率特性探索振幅值比閾值fth小的頻率。在本仿真中將閾值fth設(shè)定“O. 001”。并且，PSF變換部1300如圖20所示，通過將探索的頻率的振幅值變更為規(guī)定值pv，從而算出了第二 PSF。在這里，將規(guī)定值pv設(shè)定為“O. 5”。通過將圖20示出的第二 PSF從頻域反變換到空間域，從而能得到圖19示出的第二 PSF。另外，根據(jù)圖19可知，第二 PSF與以往不同也能成為負(fù)值。在專利文獻(xiàn)3、專利文獻(xiàn)4、非專利文獻(xiàn)6、以及非專利文獻(xiàn)7所公開的“Coded Exposure Photograhy”中，通過進(jìn)行編碼能夠?qū)⒁設(shè) I所表示的PSF的值臨時(shí)地設(shè)置為O。即，示出以下方法通過將總和為I的PSF部分地設(shè)為O (即通過減少光量)，從而在頻域振幅值不成為零。在本實(shí)施方式中，通過將PSF進(jìn)行實(shí)數(shù)倍的變化，從而能以表示整體的光量的PSF的總和為I那樣去除振Tl。接著，圖像變換部1400使用與圖19所示的第二 PSF中的各輸入圖像對(duì)應(yīng)的部分對(duì)多個(gè)輸入圖像的每一個(gè)實(shí)施變換處理，從而生成多個(gè)的變換圖像。這樣被生成的多個(gè)的變換圖像被合成的劣化圖像，相當(dāng)于被編碼時(shí)得到的劣化圖像。接著，圖像恢復(fù)部1500使用對(duì)多個(gè)變換圖像進(jìn)行合成而得到的劣化圖像和圖19所示的第二 PSF來進(jìn)行恢復(fù)處理，從而生成恢復(fù)圖像。圖21示出這樣所生成的恢復(fù)圖像。 如圖21所示，根據(jù)本實(shí)施方式所涉及的圖像恢復(fù)方法所得到的恢復(fù)圖像與圖12所示的理想圖像相同。據(jù)此能夠確認(rèn)，根據(jù)本實(shí)施方式所涉及的圖像恢復(fù)方法能夠生成可以沒有振鈴的恢復(fù)圖像。另外，在上述的仿真中，PSF變換部1300在頻域的第一 PSF的振幅值成為小于閾值(fth = O. 001)的頻率,變更了振幅值為規(guī)定值(pv = O. 5),但閾值fth及規(guī)定值pv不需要一定是這些的值。如果將規(guī)定值pv設(shè)置較大，因?yàn)榇_定的頻率的振幅值變得大，所以在確定的頻率的第二 PSF的PSF強(qiáng)度被放大。舉一個(gè)極端的例子，僅在一頻率的情況下，也存在第二 PSF的PSF強(qiáng)度很大地被放大的情況。像這樣的情況下，在多個(gè)的輸入圖像中，確定的I張輸入圖像的輝度被放大，其他的輸入圖像的輝度被減少，能夠生成被編碼的劣化圖像。對(duì)于多個(gè)的輸入圖像的每一個(gè)沒有晃動(dòng)，但圖像亮度變暗。因此，如果過度地放大輸入圖像的輝度，則噪聲的增加。因此，過度地放大規(guī)定值pv不是優(yōu)選的。另外，如果將閾值fth設(shè)置較大，則各像素的第二 PSF的絕對(duì)值(PSF強(qiáng)度)變得大。其結(jié)果，各輸入圖像的像素值的放大量增加。因此，閾值fth過度地設(shè)置很大也不是優(yōu)選的。根據(jù)以上情況，在上述實(shí)施方式中，PSF變換部1300優(yōu)選一邊變更規(guī)定值pv和閾值fth，一邊探索PSF強(qiáng)度未變得過大的第二 PSF。具體地說，PSF變換部1300優(yōu)選進(jìn)行如下操作臨時(shí)設(shè)定規(guī)定值pv和閾值fth，通過反復(fù)確認(rèn)第二 PSF的PSF強(qiáng)度是否設(shè)置得過度地大，從而探索第二 PSF的PSF強(qiáng)度未變得過度地大時(shí)的規(guī)定值pv和閾值fth。即使這樣探索規(guī)定值pv和閾值fth，也不需要像以往的非專利文獻(xiàn)7 —樣反復(fù)地進(jìn)行使用PSF的恢復(fù)處理，所以能夠抑制計(jì)算量的增加。再者，在上述仿真中，所謂規(guī)定值pv和閾值fth是在整個(gè)頻帶為一定值，也可以不
是一定值?？梢哉J(rèn)為振鈴噪聲是為圖像的平坦部分(低周波成分)出現(xiàn)的噪聲。在這里，規(guī)定值pv和閾值fth優(yōu)選被設(shè)定為頻率越小則值變得越大。即，優(yōu)選對(duì)變更第一頻率的振幅值時(shí)使用的規(guī)定值PV比對(duì)作為比第一頻率高的頻率的第二頻率的振幅值進(jìn)行變更時(shí)使用的規(guī)定值PV大。還有，優(yōu)選在確定第一頻率時(shí)使用的閾值fth比確定作為比第一頻率高的頻率的第二頻率時(shí)使用的閾值fth大。由此，能夠有效地降低作為在低頻部分產(chǎn)生的噪聲的振鈴噪聲?？傊?，信號(hào)處理部200使規(guī)定值pv根據(jù)頻率進(jìn)行變化，從而能夠在振幅值變更的頻率使低頻率的振幅值比高頻數(shù)的振幅值大。因此，信號(hào)處理部200能夠有效地降低作為在低頻區(qū)域產(chǎn)生的噪聲的振鈴噪聲。并且，信號(hào)處理部200使閾值fth根據(jù)頻率變化，從而能夠在低頻區(qū)域有效地排除成為振鈴噪聲的原因的小振幅值。因此，信號(hào)處理部200能夠有效地降低作為在低頻區(qū)域產(chǎn)生的噪聲的振鈴噪聲。另外，也可以考慮輸入圖像的性質(zhì)來設(shè)定閾值fth和規(guī)定值pv。如(式5)所示，在進(jìn)行恢復(fù)處理的時(shí)候的除法運(yùn)算中，分子是劣化圖像的頻率成分，分母是第二 PSF的頻率成分。在作為分子的劣化圖像的頻率成分為O的情況下，除去作為分母的第二 PSF的頻率成分為O吋，除法運(yùn)算的結(jié)果為O。因此，頻域的劣化圖像的振幅值成為O的頻率，優(yōu)選閾值fth與規(guī)定值pv被設(shè)定為盡可能小的值。由此,能夠降低因閾值fth和規(guī)定值pv變得大而產(chǎn)生的、輸入圖像的輝度被放大所致的噪聲增加的影響。 另外，閾值fth和規(guī)定值pv也可以根據(jù)輸入圖像的噪聲量來決定。S卩，閾值fth和規(guī)定值pv也可以由輸入圖像的S/N比來決定。具體地說，閾值fth和規(guī)定值pv優(yōu)選為以輸入圖像產(chǎn)生的噪音越大則變得越小的方式來決定的值。例如，PSF變換部1300只要在存儲(chǔ)器預(yù)先存儲(chǔ)拍攝場(chǎng)面的亮度對(duì)應(yīng)的閾值fth和規(guī)定值PV的組合，并從存儲(chǔ)器讀出拍攝輸入圖像時(shí)所測(cè)量的亮度所對(duì)應(yīng)的閾值fth和規(guī)定值pv的組合，從而決定閾值fth和規(guī)定值pv即可。一般情況下，拍攝場(chǎng)面的越明亮則噪聲變得越小。另外，PSF變換部1300也可以利用在拍攝條件(例如、ISO靈敏度)，或者輸入圖像的S/N比代替拍攝場(chǎng)面的亮度,來決定閾值fth和規(guī)定值pv。這樣，以輸入圖像產(chǎn)生的噪聲越大使閾值fth和規(guī)定值pv越小的方式來決定閾值fth和規(guī)定值pv,從而信號(hào)處理部200通過變更振幅值,能夠在恢復(fù)圖像中抑制噪聲被放大這樣的惡劣影響。如上所述，本實(shí)施方式所涉及的攝像裝置100通過對(duì)表示經(jīng)由多個(gè)的輸入圖像所產(chǎn)生的晃動(dòng)的第一 PSF進(jìn)行處理，從而在頻域生成各頻率的振幅值是閾值以上的第二 PSF。并且，攝像裝置100使用第二 PSF的各部分，來轉(zhuǎn)換各輸入圖像。這樣對(duì)被轉(zhuǎn)換的多個(gè)的輸入圖像進(jìn)行合成而得到的圖像相當(dāng)于以在PSF不產(chǎn)生零點(diǎn)的方式來進(jìn)行編碼的劣化圖像。即，攝像裝置100能夠與經(jīng)由多個(gè)的輸入圖像所產(chǎn)生的晃動(dòng)相適用地生成以在PSF不產(chǎn)生零點(diǎn)的方式被編碼的劣化圖像。因此，攝像裝置100因?yàn)椴恍枰A(yù)先決定編碼模式所以能夠可靠地抑制振鈴的發(fā)生。并且，攝像裝置100也不需要反復(fù)進(jìn)行為了生成以在PSF不產(chǎn)生零點(diǎn)的方式來進(jìn)行編碼的恢復(fù)處理。因此，攝像裝置100也能抑制處理負(fù)荷的増大。還有，本實(shí)施方式所涉及的攝像裝置100在第一 PSF的振幅值小于閾值的頻率變更振幅值從而生成第二 PSF。因此，攝像裝置100能夠根據(jù)經(jīng)由多個(gè)的輸入圖像所發(fā)生的晃動(dòng)生成適應(yīng)的被編碼的劣化圖像。即，攝像裝置100能夠進(jìn)一歩生成晃動(dòng)少的恢復(fù)圖像。以上，對(duì)本發(fā)明的一個(gè)實(shí)施方式所涉及的攝像裝置100基于實(shí)施方式進(jìn)行了說明，但本發(fā)明不限于這些的實(shí)施方式。只要不脫離本發(fā)明的宗_，在本實(shí)施方式中實(shí)施本領(lǐng)域技術(shù)人員想到的各種變形的方式也包含本發(fā)明的范圍內(nèi)中。
例如，在上述實(shí)施方式，PSF變換部1300通過將第一 PSF的振幅值變更為規(guī)定值來生成第二 PSF，但也可以根據(jù)其他的方法生成第二 PSF。具體地說，PSF變換部1300例如也可以生成確定的頻率的振幅值為閾值以上的偏移PSF，在頻域?qū)⑵芇SF和第一 PSF進(jìn)行加法運(yùn)算，從而生成第二 PSF。偏移PSF例如是如下的函數(shù)，僅確定了的頻率的振幅值成為閾值以上的一定值，并且，其他的頻率的振幅值成為O。另外，在上述實(shí)施方式中，PSF變換部1300僅在第一 PSF的振幅值小于閾值的頻率改變振幅值，但在第一 PSF的振幅值成為閾值以上的頻率也可以改變振幅值。例如，PSF變換部1300也可以在第一 PSF的振幅值成為小于閾值的頻率的周圍，改變振幅值以使振幅值的變化變得光滑。另外，本發(fā)明也可以作為具有信號(hào)處理部200所具有的特征的處理部的圖像恢復(fù)裝置來實(shí)現(xiàn)。具體地說，圖像恢復(fù)裝置10例如如圖22所示構(gòu)成即可。圖22是表示本發(fā)明的一個(gè)實(shí)施方式所涉及的圖像恢復(fù)裝置10的功能結(jié)構(gòu)的框 圖。對(duì)圖22所示的圖像恢復(fù)裝置10具有PSF取得部1200、PSF變換部1300、圖像變換部1400、以及圖像恢復(fù)部1500。這個(gè)圖像恢復(fù)裝置10與信號(hào)處理部200同樣，使用連續(xù)拍攝的多個(gè)輸入圖像，與經(jīng)由多個(gè)輸入像產(chǎn)生的晃動(dòng)相適應(yīng)地生成以在PSF不產(chǎn)生零點(diǎn)方式被編碼的劣化圖像。從而，圖像處理裝置10能夠抑制處理負(fù)荷的增大，同時(shí)能夠可靠地抑制振鈴的產(chǎn)生。還有，對(duì)圖22表現(xiàn)的圖像恢復(fù)裝置10具有的結(jié)構(gòu)元件的一部分或全部也可以由I個(gè)系統(tǒng)LSI (Large Scale Integration :大規(guī)模集成電路)所構(gòu)成。例如，圖像恢復(fù)裝置10也可以由具有點(diǎn)擴(kuò)散函數(shù)取得部1200、點(diǎn)擴(kuò)散函數(shù)變換部1300、圖像變換部1400、以及圖像恢復(fù)部1500的系統(tǒng)LSI20所構(gòu)成。系統(tǒng)LSI20是在I個(gè)芯片上集成多個(gè)的結(jié)構(gòu)部而被制造的超多功能LSI，具體地說，是含有微處理器、ROM (Read Only Memory)、以及 RAM (Ramdom Access Memory)等而被構(gòu)成的計(jì)算機(jī)系統(tǒng)。所述RAM存儲(chǔ)有計(jì)算機(jī)程序。通過所述微處理器按照所述電腦程序進(jìn)行動(dòng)作，從而系統(tǒng)LSI實(shí)現(xiàn)其功能。另外，在這里設(shè)定為系統(tǒng)LSI，但根據(jù)集積度的差異，也被稱為1C、LSI、超級(jí)LSI、ultraLSI。另外，集成電路的手法不限于LSI，也可以用專用電路或廣泛使用的處理器來實(shí)現(xiàn)。LSI制造后，也可以利用可編程的FPGA(Field Programmable Gate Array :現(xiàn)場(chǎng)可編程門陣列)、或可重構(gòu)LSI內(nèi)部的電路單元的連接和設(shè)定的可重構(gòu)(U - > 7 4 ￥ 二 9 O )處理器。進(jìn)而，如果根據(jù)半導(dǎo)體技術(shù)的進(jìn)步或派生的其他技術(shù)，替換LSI的集成電路化的技術(shù)出現(xiàn)，當(dāng)然，也可以使用該技術(shù)來進(jìn)行功能塊的集成化。也有可能應(yīng)用生物技術(shù)等。另外，本發(fā)明不僅可作為具備這樣的特征的處理部的圖像恢復(fù)裝置來實(shí)現(xiàn)，也可以將圖像恢復(fù)裝置中包含的特征的處理部作為步驟的圖像恢復(fù)方法來實(shí)現(xiàn)。另外，也能夠作為計(jì)算機(jī)程序來實(shí)現(xiàn)，該程序使計(jì)算機(jī)執(zhí)行圖像恢復(fù)方法中所包含的特征的各步驟。并且，當(dāng)然能夠通過CD-ROM等的計(jì)算機(jī)可讀取的記錄介質(zhì)或者因特網(wǎng)等的通信網(wǎng)絡(luò)使那樣的計(jì)算機(jī)程序流通。產(chǎn)業(yè)上的可利用性本發(fā)明的一實(shí)施方式所涉及的圖像恢復(fù)裝置，即使在拍攝圖像時(shí)發(fā)生手抖動(dòng)的情況或在被攝體的活動(dòng)的情況下，也能夠生成晃動(dòng)少的圖像晃動(dòng)能生成少的圖像，而用于數(shù)字相機(jī)、影片、或監(jiān)控?cái)z像頭等。符號(hào)的說明10圖像恢復(fù)裝置20 系統(tǒng) LSI100攝像裝置200信號(hào)處理部240存儲(chǔ)器300攝像部 310攝像元件320拍攝透鏡325 快門330攝像元件驅(qū)動(dòng)部345手抖動(dòng)檢測(cè)部350內(nèi)部存儲(chǔ)器500記錄部600顯示部1100圖像輸入部1200 PSF 取得部1300 PSF 變換部1400圖像變換部1500圖像恢復(fù)部1600圖像輸出部
權(quán)利要求
1.一種圖像恢復(fù)裝置，是降低對(duì)連續(xù)拍攝的多個(gè)輸入圖像進(jìn)行合成而得到的圖像所產(chǎn)生的晃動(dòng)的圖像恢復(fù)裝置，該圖像恢復(fù)裝置具有 點(diǎn)擴(kuò)散函數(shù)取得部，取得表示經(jīng)由所述多個(gè)輸入圖像產(chǎn)生的晃動(dòng)的第一點(diǎn)擴(kuò)散函數(shù)； 點(diǎn)擴(kuò)散函數(shù)變換部，以避免在頻域的各頻率的振幅值小于閾值的方式對(duì)所述第一點(diǎn)擴(kuò)散函數(shù)進(jìn)行處理，從而生成第二點(diǎn)擴(kuò)散函數(shù)； 圖像變換部，使用所述第二點(diǎn)擴(kuò)散函數(shù)中的與各輸入圖像對(duì)應(yīng)的部分，對(duì)所述多個(gè)輸入圖像分別進(jìn)行變換，從而生成多個(gè)變換圖像；以及， 圖像恢復(fù)部，對(duì)將所述多個(gè)變換圖像進(jìn)行合成而得到的劣化圖像實(shí)施使用了所述第二點(diǎn)擴(kuò)散函數(shù)的恢復(fù)處理，從而生成恢復(fù)圖像。
2.如權(quán)利要求I所述的圖像恢復(fù)裝置， 所述點(diǎn)擴(kuò)散函數(shù)變換部在頻域?qū)λ龅谝稽c(diǎn)擴(kuò)散函數(shù)的振幅值小于所述閾值的頻率進(jìn)行確定，并將確定了的所述頻率的振幅值變更為所述閾值以上的規(guī)定值，從而對(duì)所述第一點(diǎn)擴(kuò)散函數(shù)進(jìn)行處理。
3.如權(quán)利要求2所述的圖像恢復(fù)裝置， 變更第一頻率的振幅值時(shí)所使用的所述規(guī)定值，比變更第二頻率的振幅值時(shí)所使用的所述規(guī)定值大，該第二頻率為比所述第一頻率高的頻率。
4.如權(quán)利要求2所述的圖像恢復(fù)裝置， 所述規(guī)定值是以所述輸入圖像產(chǎn)生的噪聲越大則就越小的方式被決定的值。
5.如權(quán)利要求2所述的圖像恢復(fù)裝置， 確定第一頻率時(shí)所使用的所述閾值，比確定第二頻率時(shí)所使用的所述閾值大，該第二頻率為比所述第一頻率高的頻率。
6.如權(quán)利要求2所述的圖像恢復(fù)裝置， 所述閾值是以所述輸入圖像產(chǎn)生的噪聲越大則就越小的方式被決定的值。
7.如權(quán)利要求I所述的圖像恢復(fù)裝置， 所述圖像變換部基于所述第二點(diǎn)擴(kuò)散函數(shù)表示的晃動(dòng)被檢測(cè)到的時(shí)間和各所述輸入圖像被拍攝的時(shí)間，決定所述第二點(diǎn)擴(kuò)散函數(shù)中的與各輸入圖像在時(shí)間上對(duì)應(yīng)的部分，并使用決定了的部分對(duì)多個(gè)所述輸入圖像分別進(jìn)行變換。
8.如權(quán)利要求I所述的圖像恢復(fù)裝置， 所述點(diǎn)擴(kuò)散函數(shù)變換部在頻域?qū)λ龅谝稽c(diǎn)擴(kuò)散函數(shù)的振幅值小于所述閾值的頻率進(jìn)行確定，生成確定的所述頻率的振幅值為所述閾值以上的偏移點(diǎn)擴(kuò)散函數(shù)，將所述偏移點(diǎn)擴(kuò)散函數(shù)與所述第一點(diǎn)擴(kuò)散函數(shù)進(jìn)行加法運(yùn)算，從而生成所述第二點(diǎn)擴(kuò)散函數(shù)。
9.一種集成電路，是降低對(duì)連續(xù)拍攝的多個(gè)輸入圖像進(jìn)行合成而得到的圖像所產(chǎn)生的晃動(dòng)的集成電路，該集成電路具有 點(diǎn)擴(kuò)散函數(shù)取得部，取得表示經(jīng)由所述多個(gè)輸入圖像產(chǎn)生的晃動(dòng)的第一點(diǎn)擴(kuò)散函數(shù)； 點(diǎn)擴(kuò)散函數(shù)變換部，以避免在頻域的各頻率的振幅值小于閾值方式對(duì)所述第一點(diǎn)擴(kuò)散函數(shù)進(jìn)行處理，從而生成第二點(diǎn)擴(kuò)散函數(shù)； 圖像變換部，使用所述第二點(diǎn)擴(kuò)散函數(shù)中的與各輸入圖像對(duì)應(yīng)的部分，對(duì)所述多個(gè)輸入圖像分別進(jìn)行變換，從而生成多個(gè)變換圖像；以及， 圖像恢復(fù)部，對(duì)將所述多個(gè)變換圖像進(jìn)行合成而得到的劣化圖像實(shí)施使用了所述第二點(diǎn)擴(kuò)散函數(shù)的恢復(fù)處理，從而生成恢復(fù)圖像。
10.一種圖像恢復(fù)方法，是降低對(duì)連續(xù)拍攝的多個(gè)輸入圖像進(jìn)行合成而得到的圖像所產(chǎn)生的晃動(dòng)的圖像恢復(fù)方法，該圖像恢復(fù)方法具有 點(diǎn)擴(kuò)散函數(shù)取得步驟，取得表示經(jīng)由所述多個(gè)輸入圖像產(chǎn)生的晃動(dòng)的第一點(diǎn)擴(kuò)散函數(shù)； 點(diǎn)擴(kuò)散函數(shù)變換步驟，以避免在頻域的各頻率的振幅值小于閾值的方式對(duì)所述第一點(diǎn)擴(kuò)散函數(shù)進(jìn)行處理，從而生成第二點(diǎn)擴(kuò)散函數(shù)； 圖像變換步驟，使用所述第二點(diǎn)擴(kuò)散函數(shù)中的與各輸入圖像對(duì)應(yīng)的部分，對(duì)所述多個(gè)輸入圖像分別進(jìn)行變換，從而生成多個(gè)變換圖像；以及， 圖像恢復(fù)步驟，對(duì)將所述多個(gè)變換圖像進(jìn)行合成而得到的劣化圖像實(shí)施使用了所述第二點(diǎn)擴(kuò)散函數(shù)的恢復(fù)處理，從而生成恢復(fù)圖像。
11.一種計(jì)算機(jī)程序，用于使計(jì)算機(jī)執(zhí)行權(quán)利要求10記載的圖像恢復(fù)方法。
全文摘要
抑制處理負(fù)荷的增大，并且能夠可靠地抑制振鈴的產(chǎn)生。是降低對(duì)連續(xù)拍攝的多個(gè)輸入圖像的進(jìn)行合成而得到的圖像所產(chǎn)生的晃動(dòng)的圖像恢復(fù)裝置(10)，具有點(diǎn)擴(kuò)散函數(shù)取得部(1200)，取得表示經(jīng)由所述多個(gè)輸入圖像產(chǎn)生的晃動(dòng)的第一點(diǎn)擴(kuò)散函數(shù)；點(diǎn)擴(kuò)散函數(shù)變換部(1300)，以避免在頻域的各頻率的振幅值小于閾值方式對(duì)上述第一點(diǎn)擴(kuò)散函數(shù)進(jìn)行處理，從而生成第二點(diǎn)擴(kuò)散函數(shù)；圖像變換部(1400)，使用所述第二點(diǎn)擴(kuò)散函數(shù)中的與各輸入圖像對(duì)應(yīng)的部分對(duì)所述多個(gè)輸入圖像分別進(jìn)行變換，從而生成多個(gè)變換圖像；以及，圖像恢復(fù)部(1500)，對(duì)將所述多個(gè)變換圖像進(jìn)行合成而得到的劣化圖像實(shí)施使用了所述第二點(diǎn)擴(kuò)散函數(shù)的恢復(fù)處理，從而生成恢復(fù)圖像。
文檔編號(hào)H04N5/232GK102687500SQ20118000412
公開日2012年9月19日 申請(qǐng)日期2011年8月4日 優(yōu)先權(quán)日2010年8月5日
發(fā)明者石井育規(guī) 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社