專(zhuān)利名稱(chēng)：圖像處理裝置及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于對(duì)圖像進(jìn)行復(fù)原的圖像處理裝置、圖像處理方法及具備圖像處理裝置的攝像裝置。
背景技術(shù)：
若用數(shù)碼相機(jī)對(duì)圖像進(jìn)行攝像，則有時(shí)會(huì)因CCD (Charge-Coupled Device 電荷耦合元件)或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)的讀出電路的特性、或者傳輸線路的特性而對(duì)圖像引入噪聲。另外，在攝像時(shí)會(huì)產(chǎn)生因未對(duì)準(zhǔn)焦點(diǎn)(失焦0Ut-0f-f0CUS)而引起的圖像的模糊(blur)、因相機(jī)抖動(dòng)(camera shake)等而引起的圖像的模糊。像這樣除了對(duì)攝像圖像引入基于攝像圖像固有的特性的噪聲之外，還引入因拍攝時(shí)的人為操作而引起的模糊， 因此圖像會(huì)劣化。在這些“模糊”之中，將在拍攝(曝光)中因相機(jī)的運(yùn)動(dòng)而引起的圖像的模糊稱(chēng)為“動(dòng)態(tài)模糊(motion blur)”，來(lái)與因失焦而引起的模糊相區(qū)別。近年，特別由于高靈敏度拍攝的需求增多，需要把因模糊而劣化的圖像(以下，稱(chēng)為“劣化圖像”)盡可能復(fù)原成接近原始圖像(以下，稱(chēng)為“理想圖像”)的圖像。為了實(shí)現(xiàn)高靈敏度拍攝所要求的、明亮且無(wú)噪聲和模糊的圖像，大致上有提高靈敏度的觀點(diǎn)和延長(zhǎng)曝光時(shí)間的觀點(diǎn)。然而，在提高靈敏度后，噪聲也會(huì)被放大。因此，在較多情況下，信號(hào)被掩埋在噪聲之中，從而成為噪聲占據(jù)大部分的圖像。另一方面，通過(guò)延長(zhǎng)曝光時(shí)間來(lái)多蓄積在曝光中產(chǎn)生的光，從而得到噪聲少的圖像。在這種情況下，雖然信號(hào)不會(huì)被噪聲掩埋，但是存在因相機(jī)抖動(dòng)而在圖像中產(chǎn)生動(dòng)態(tài)模糊的問(wèn)題。因此，在現(xiàn)有技術(shù)中，采用在以?xún)煞N途徑來(lái)延長(zhǎng)曝光時(shí)間的情況下的對(duì)應(yīng)法。一種途徑是稱(chēng)為鏡頭位移或傳感器位移的光學(xué)式相機(jī)抖動(dòng)校正。另一種途徑是從得到的圖像中求取動(dòng)態(tài)模糊的方向/大小，然后通過(guò)信號(hào)處理來(lái)對(duì)圖像進(jìn)行復(fù)原的方法(基于信號(hào)處理的復(fù)原方法)?；谛盘?hào)處理的復(fù)原方法例如在專(zhuān)利文獻(xiàn)1、專(zhuān)利文獻(xiàn)2、非專(zhuān)利文獻(xiàn)1 5 等中公開(kāi)。能按如下所示，將圖像因相機(jī)抖動(dòng)而從理想圖像向劣化圖像劣化的現(xiàn)象模型化。 認(rèn)為表示劣化圖像中的各像素的亮度的函數(shù)能通過(guò)表示理想圖像中的各像素的亮度的函數(shù)、和表示因在圖像拍攝時(shí)相機(jī)抖動(dòng)而引起的圖像的動(dòng)態(tài)模糊的點(diǎn)擴(kuò)散函數(shù)(PSF ；Point Spread Function)之間的卷積(convolution)而得到。因此為了使得到的劣化圖像復(fù)原至理想圖像，進(jìn)行劣化圖像和PSF之間的去卷積(deconvolution)即可。由于卷積運(yùn)算在頻率空間中是乘法運(yùn)算，因此通過(guò)在頻率空間中用劣化圖像除以PSF，能夠得到復(fù)原圖像。如此在PSF為已知的情況下，若忽視噪聲的影響，則通過(guò)上述去卷積運(yùn)算能夠比較容易地得到復(fù)原圖像。另一方面，在PSF為未知的情況下，為了得到復(fù)原圖像，需要根據(jù)劣化圖像來(lái)估計(jì)PSF。關(guān)于PSF的估計(jì)，例如在非專(zhuān)利文獻(xiàn)1中公開(kāi)的基于稀疏編碼(sparse coding)的方法等是公知的。在該方法中，首先根據(jù)手動(dòng)給出的初始PSF和劣化圖像來(lái)得到第1復(fù)原結(jié)果。接著通過(guò)使用第1復(fù)原結(jié)果和劣化圖像來(lái)估計(jì)認(rèn)為更接近真實(shí)PSF的PSF，并用估計(jì)出的PSF 來(lái)修正初始PSF。使用修正的PSF來(lái)根據(jù)劣化圖像得到第2復(fù)原結(jié)果。以后，根據(jù)第(N-I) PSF和劣化圖像得到第N復(fù)原圖像，根據(jù)第N復(fù)原圖像和劣化圖像來(lái)估計(jì)第N PSF，通過(guò)如此反復(fù)操作，同時(shí)進(jìn)行PSF的估計(jì)和劣化圖像的復(fù)原。專(zhuān)利文獻(xiàn)專(zhuān)利文獻(xiàn)1日本特開(kāi)2006-U9236號(hào)公報(bào)專(zhuān)利文獻(xiàn)2日本特表2009-522825號(hào)公報(bào)專(zhuān)利文獻(xiàn)3日本特開(kāi)2008-092515號(hào)公報(bào)非專(zhuān)利文獻(xiàn)1 "High-quality Motion Deblurring from a Single Image", Qi Shan, Jiaya Jia, and Aseem Agarwala, SIGGRAPH 2008非專(zhuān)利文獻(xiàn)2 :米司·田中·奧富合作編撰，“用于線性相機(jī)抖動(dòng)圖像復(fù)原的psf 參數(shù)估計(jì)方法”，信息處理學(xué)會(huì)研究報(bào)告，第2005卷，第38號(hào)，p. 47-52,2005年(米司 田中·奧富共著，[直線的手名扎畫(huà)像復(fù)元Opsf “ 7 乂一夕推定手法」，情報(bào)処理學(xué)會(huì)研究報(bào)告，第2005卷，第38號(hào)，p. 47-52,2005年)非專(zhuān)利文獻(xiàn) 3 :J. Bioucas-Dias,"Bayesian wavelet-based imagedeconvolution :a gem algorithm exploiting a class of heavy-tailed priors", IEEE Trans. Image Proc.， vol. 4, pp. 937-951, April 20064 :Levin, "Blind Motion Deblurring Using Image Statistics", Advances in Neural Information Processing Systems(NIPS), Dec 2006非專(zhuān)利文獻(xiàn) 5 :Bob Fergus et al. , "Removing camera shake from a single image，，，Barun Singh Aaron Hertzmann, SIGGRAPH 200
發(fā)明內(nèi)容
若為了在暗的環(huán)境下聚集充足的光量而延長(zhǎng)曝光時(shí)間，則容易發(fā)生相機(jī)抖動(dòng)。而為了在此暗的環(huán)境下通過(guò)光學(xué)式相機(jī)抖動(dòng)校正來(lái)應(yīng)對(duì)動(dòng)態(tài)模糊，需要增大鏡頭和傳感器的操作范圍。但是，若操作范圍變大，則存在當(dāng)鏡頭等移動(dòng)時(shí)會(huì)產(chǎn)生時(shí)間延遲的問(wèn)題。另外， 增大操作范圍有物理性界限。因此，光學(xué)式相機(jī)抖動(dòng)校正有其局限性。另一方面，現(xiàn)有信號(hào)處理的復(fù)原方法是基于圖像整體的信息來(lái)進(jìn)行PSF的估計(jì)和圖像的復(fù)原，因此存在處理所需的計(jì)算量和存儲(chǔ)量增多的問(wèn)題。一般而言，若將構(gòu)成圖像的像素的數(shù)量設(shè)為n，則需要的計(jì)算量和存儲(chǔ)量表示為0(ιΓ2)。因此，為了復(fù)原像素?cái)?shù)量多的圖像，需要大量的計(jì)算資源。另外，在圖像中包含噪聲和被攝體動(dòng)態(tài)模糊等情況下，若使用圖像整體來(lái)進(jìn)行復(fù)原處理，則PSF的估計(jì)會(huì)產(chǎn)生誤差，從而難以估計(jì)出與真實(shí)的PSF接近的 PSF。在專(zhuān)利文獻(xiàn)3中，公開(kāi)了削減用于提取在圖像中所包含的主要的被攝體的運(yùn)算量的技術(shù)。根據(jù)該技術(shù)，將圖像分割成多個(gè)部分領(lǐng)域，并根據(jù)在部分領(lǐng)域中是否包含主要被攝體來(lái)切換處理。但是，不能將專(zhuān)利文獻(xiàn)3所公開(kāi)的技術(shù)應(yīng)用于圖像的復(fù)原。為了復(fù)原包含動(dòng)態(tài)模糊的圖像，無(wú)論對(duì)圖像的哪一個(gè)領(lǐng)域，都需要進(jìn)行同樣的復(fù)原處理。即，即使在將圖像分割成多個(gè)部分領(lǐng)域的情況下，也需要基于同樣PSF的復(fù)原處理。
本發(fā)明鑒于上述問(wèn)題而提出。著眼于劣化圖像及復(fù)原圖像的尺寸在絕大多數(shù)情況下比PSF的尺寸大的事實(shí)，通過(guò)使用對(duì)估計(jì)而言最低限度所需的數(shù)據(jù)，能在保持精度的前提下實(shí)現(xiàn)計(jì)算量的削減。本發(fā)明的目的在于，提供在保持復(fù)原的精度的同時(shí)削減用于PSF 估計(jì)的計(jì)算量的圖像處理裝置、方法、以及具備該圖像處理裝置的攝像裝置。本發(fā)明的圖像處理裝置，從輸入的劣化圖像生成動(dòng)態(tài)模糊較所述劣化圖像少的復(fù)原圖像，具備初始圖像設(shè)定部，其設(shè)定臨時(shí)的復(fù)原圖像；圖像塊選定部，其從所述劣化圖像以及所述臨時(shí)的復(fù)原圖像選定多個(gè)圖像塊對(duì)，該圖像塊對(duì)由各自在所述劣化圖像以及所述臨時(shí)的復(fù)原圖像中位于同一坐標(biāo)的兩個(gè)圖像塊構(gòu)成；PSF估計(jì)部，其得到與所述多個(gè)圖像塊對(duì)分別對(duì)應(yīng)的多個(gè)點(diǎn)擴(kuò)散函數(shù)；PSF選擇部，其從由所述PSF估計(jì)部得到的所述多個(gè)點(diǎn)擴(kuò)散函數(shù)中選定對(duì)所述劣化圖像的動(dòng)態(tài)模糊進(jìn)行規(guī)定的候選的點(diǎn)擴(kuò)散函數(shù)；和圖像復(fù)原部，其使用所述候選的點(diǎn)擴(kuò)散函數(shù)從所述劣化圖像生成復(fù)原圖像。在某實(shí)施方式中，本發(fā)明的圖像處理裝置具備初始PSF設(shè)定部，該初始PSF設(shè)定部設(shè)定臨時(shí)的點(diǎn)擴(kuò)散函數(shù)，所述初始圖像設(shè)定部使用所述臨時(shí)的點(diǎn)擴(kuò)散函數(shù)從所述劣化圖像生成所述臨時(shí)的復(fù)原圖像。在某實(shí)施方式中，當(dāng)將所述劣化圖像以及所述臨時(shí)的復(fù)原圖像的橫方向設(shè)為X方向，縱方向設(shè)為Y方向時(shí)，包含在所述多個(gè)圖像塊對(duì)中的各圖像塊的X方向尺寸以及Y方向尺寸分別與由所述臨時(shí)的點(diǎn)擴(kuò)散函數(shù)取有限值的像素構(gòu)成的區(qū)域的X方向尺寸以及Y方向尺寸之中大的一方相等。在某實(shí)施方式中，所述圖像塊選定部從所述劣化圖像以及所述臨時(shí)的復(fù)原圖像隨機(jī)選定所述多個(gè)圖像塊對(duì)。在某實(shí)施方式中，當(dāng)設(shè)η = 1，2，"·Ν(Ν為2以上的整數(shù))，所述臨時(shí)的復(fù)原圖像為第η臨時(shí)的復(fù)原圖像，所述復(fù)原圖像為第η復(fù)原圖像時(shí)，在生成所述第η復(fù)原圖像后，所述初始圖像設(shè)定部通過(guò)所述第η復(fù)原圖像來(lái)更新所述第η臨時(shí)的復(fù)原圖像作為第(η+1)臨時(shí)的復(fù)原圖像，所述圖像塊選定部從所述劣化圖像以及所述第(η+1)臨時(shí)的復(fù)原圖像選定與所述多個(gè)圖像塊對(duì)相比至少一部分不同的多個(gè)圖像塊對(duì)，由此反復(fù)所述候選的點(diǎn)擴(kuò)散函數(shù)以及所述復(fù)原圖像的更新。在某實(shí)施方式中，所述圖像塊選定部相對(duì)所述多個(gè)圖像塊對(duì)的選定獨(dú)立地從所述劣化圖像選定多個(gè)圖像塊作為第1圖像塊群，當(dāng)將由所述PSF估計(jì)部得到的所述多個(gè)點(diǎn)擴(kuò)散函數(shù)中的、第k個(gè)點(diǎn)擴(kuò)散函數(shù)表示為fk(k為1以上的整數(shù))，將表示包含在所述第1圖像塊群中的第b個(gè)圖像塊中的亮度分布的函數(shù)表示為ib(b為1以上的整數(shù))，將通過(guò)ib和fk 之間的去卷積運(yùn)算而得到的函數(shù)表示為^tb時(shí)，所述PSF選擇部基于通過(guò)^和fk之間的卷積運(yùn)算而得到的函數(shù)(skb*fk)與ib之間的差，來(lái)選定所述候選的點(diǎn)擴(kuò)散函數(shù)。在某實(shí)施方式中，所述PSF選擇部針對(duì)所述多個(gè)點(diǎn)擴(kuò)散函數(shù)的每一個(gè)，算出 (skb*fk)和ib之間的平方誤差成為給定的閾值以下的值的圖像塊的數(shù)量，并選定所述圖像塊的數(shù)量最大的點(diǎn)擴(kuò)散函數(shù)作為所述候選的點(diǎn)擴(kuò)散函數(shù)。在某實(shí)施方式中，所述圖像塊選定部相對(duì)所述多個(gè)圖像塊對(duì)的選定獨(dú)立地從所述劣化圖像選定多個(gè)圖像塊作為第1圖像塊群，并從所述臨時(shí)的復(fù)原圖像選定各自與包含在所述第1圖像塊群中的各圖像塊位于同一坐標(biāo)的多個(gè)圖像塊作為第2圖像塊群，當(dāng)將由所述PSF估計(jì)部得到的所述多個(gè)點(diǎn)擴(kuò)散函數(shù)中的、第k個(gè)點(diǎn)擴(kuò)散函數(shù)表示為fk(k為1以上的
7整數(shù))，將表示包含在所述第1圖像塊群中的第b個(gè)圖像塊中的亮度分布的函數(shù)表示為ib(b 為1以上的整數(shù))，將表示包含在所述第2圖像塊群中的與所述ib對(duì)應(yīng)的圖像塊中的亮度分布的函數(shù)表示為為1以上的整數(shù))時(shí)，所述PSF選擇部基于通過(guò)％和fk之間的卷積運(yùn)算而得到的函數(shù)(sb*fk)與ib之間的差，來(lái)選定所述候選的點(diǎn)擴(kuò)散函數(shù)。在某實(shí)施方式中，所述PSF選擇部針對(duì)所述多個(gè)點(diǎn)擴(kuò)散函數(shù)的每一個(gè)，算出 (sb*fk)和ib之間的平方誤差成為給定的閾值以下的值的圖像塊的數(shù)量，并選定所述圖像塊的數(shù)量最大的點(diǎn)擴(kuò)散函數(shù)作為所述候選的點(diǎn)擴(kuò)散函數(shù)。在某實(shí)施方式中，所述圖像塊選定部從所述劣化圖像隨機(jī)選定所述第1圖像塊群。在某實(shí)施方式中，所述PSF選擇部將由所述PSF估計(jì)部得到的所述多個(gè)點(diǎn)擴(kuò)散函數(shù)劃分成由彼此類(lèi)似的多個(gè)點(diǎn)擴(kuò)散函數(shù)構(gòu)成的多個(gè)簇，并按每個(gè)簇來(lái)決定所述多個(gè)簇的每一個(gè)中的平均的點(diǎn)擴(kuò)散函數(shù)作為代表PSF，從決定的多個(gè)代表PSF中選定候選的代表PSF， 且從與所述候選的代表PSF對(duì)應(yīng)的簇中選定所述候選的點(diǎn)擴(kuò)散函數(shù)。本發(fā)明的攝像裝置具備本發(fā)明的圖像處理裝置，該攝像裝置具備固體攝像元件， 并將由所述固體攝像元件取得的信號(hào)作為所述劣化圖像輸入到所述圖像處理裝置。本發(fā)明的圖像處理方法是從輸入的劣化圖像生成動(dòng)態(tài)模糊較所述劣化圖像少的復(fù)原圖像的方法，當(dāng)η= 1，2，···Ν(Ν為2以上的整數(shù))時(shí)，包括步驟(Α)，設(shè)定第η復(fù)原圖像；步驟(B)，從所述劣化圖像以及所述第η復(fù)原圖像選定多個(gè)圖像塊對(duì)，該圖像塊對(duì)由各自在所述劣化圖像以及所述第η復(fù)原圖像中位于同一坐標(biāo)的兩個(gè)圖像塊構(gòu)成；步驟(C)，得到與所述多個(gè)圖像塊對(duì)分別對(duì)應(yīng)的多個(gè)點(diǎn)擴(kuò)散函數(shù)；步驟(D)，從由所述PSF估計(jì)部得到的所述多個(gè)點(diǎn)擴(kuò)散函數(shù)中選定對(duì)所述劣化圖像的動(dòng)態(tài)模糊進(jìn)行規(guī)定的候選的點(diǎn)擴(kuò)散函數(shù)；和步驟(E)，使用所述候選的點(diǎn)擴(kuò)散函數(shù)從所述劣化圖像生成第η+1復(fù)原圖像，在該方法中， 從η = 1起開(kāi)始從所述步驟(A)至所述步驟(E)的各步驟，且直到生成第Ν+1復(fù)原圖像為止都反復(fù)從所述步驟(A)至所述步驟(E)的各步驟，由此復(fù)原所述劣化圖像。本發(fā)明的程序控制圖像處理裝置的動(dòng)作，該圖像處理裝置通過(guò)從輸入的劣化圖像反復(fù)復(fù)原處理，來(lái)生成動(dòng)態(tài)模糊較所述劣化圖像少的復(fù)原圖像，所述程序使圖像處理裝置執(zhí)行處理，當(dāng)η= 1，2，···Ν(Ν為2以上的整數(shù))時(shí)，所述處理包括步驟(A)，設(shè)定第η復(fù)原圖像；步驟(B)，從所述劣化圖像以及所述第η復(fù)原圖像選定多個(gè)圖像塊對(duì)，該圖像塊對(duì)由各自在所述劣化圖像以及所述第η復(fù)原圖像中位于同一坐標(biāo)的兩個(gè)圖像塊構(gòu)成；步驟(C)， 得到與所述多個(gè)圖像塊對(duì)分別對(duì)應(yīng)的多個(gè)點(diǎn)擴(kuò)散函數(shù)；步驟(D)，從由所述PSF估計(jì)部得到的所述多個(gè)點(diǎn)擴(kuò)散函數(shù)中選定對(duì)所述劣化圖像的動(dòng)態(tài)模糊進(jìn)行規(guī)定的候選的點(diǎn)擴(kuò)散函數(shù); 和步驟(E)，使用所述候選的點(diǎn)擴(kuò)散函數(shù)從所述劣化圖像生成第η+1復(fù)原圖像，在所述處理中，從η = 1起開(kāi)始從所述步驟㈧至所述步驟(E)的各步驟，且直到生成第Ν+1復(fù)原圖像為止都反復(fù)從所述步驟(A)至所述步驟(E)的各步驟。另外，可以將本發(fā)明的程序容納于計(jì)算機(jī)可讀取的記錄介質(zhì)。根據(jù)本發(fā)明，在通過(guò)PSF估計(jì)來(lái)對(duì)劣化圖像進(jìn)行復(fù)原的系統(tǒng)中，能夠?qū)崿F(xiàn)計(jì)算量及存儲(chǔ)量的削減。


圖1是表示圖像的像素構(gòu)成的圖。圖2是表示理想圖像中的點(diǎn)像和劣化圖像中的像的不同的圖。圖3是表示本發(fā)明第1實(shí)施方式中的圖像處理裝置的概略構(gòu)成的圖。圖4是表示本發(fā)明第1實(shí)施方式中的圖像處理裝置的功能構(gòu)成的框圖。圖5是表示本發(fā)明第1實(shí)施方式中的圖像處理裝置的流程的流程圖。圖6是表示本發(fā)明第1實(shí)施方式中的PSF的估計(jì)方法的概念圖。圖7是表示本發(fā)明第1實(shí)施方式中的PSF的評(píng)價(jià)方法的概念圖。圖8是表示本發(fā)明第2實(shí)施方式中的PSF的評(píng)價(jià)方法的概念圖。圖9是表示本發(fā)明第3實(shí)施方式中的PSF選擇部的處理流程的流程圖。圖10是表示本發(fā)明第3實(shí)施方式中的PSF的簇的概念圖。圖11是表示本發(fā)明第4實(shí)施方式中的攝像裝置的概略構(gòu)成的圖。
具體實(shí)施例方式在說(shuō)明本發(fā)明的實(shí)施方式前，先說(shuō)明本發(fā)明的基本原理。圖1是示意地表示本說(shuō)明書(shū)中的圖像的構(gòu)成的圖。在本說(shuō)明書(shū)中，將表示劣化圖像的函數(shù)表示為i(x，y)。坐標(biāo)(x，y)是表示圖像中的像素的位置的二維坐標(biāo)。在圖像130 例如由排列成行列狀的MXN個(gè)像素135構(gòu)成的情況下，若使χ和y為各自滿(mǎn)足0彡χ彡M-1、 0彡y彡N-I關(guān)系的整數(shù)，則通過(guò)坐標(biāo)(x，y)能夠確定構(gòu)成圖像的各個(gè)像素的位置。在此， 將坐標(biāo)的原點(diǎn)(0，0)置于圖像的左上角，X軸在垂直方向，Y軸在水平方向上延伸。但是， 坐標(biāo)的取法是任意的。令i(x，y)表示在劣化圖像上的坐標(biāo)(x，y)處的亮度。在本說(shuō)明書(shū)中，有時(shí)將圖像上的坐標(biāo)(x，y)處的亮度稱(chēng)為“像素值”。在以下的說(shuō)明中，設(shè)劣化圖像i(x，y)因相機(jī)抖動(dòng)而產(chǎn)生，“動(dòng)態(tài)模糊”意為因相機(jī)抖動(dòng)而引起的模糊。將沒(méi)有動(dòng)態(tài)模糊的圖像(理想圖像)的亮度分布設(shè)為s(x，y)，并將對(duì)動(dòng)態(tài)模糊進(jìn)行規(guī)定的點(diǎn)擴(kuò)散函數(shù)(PSF)設(shè)為f (X，y)。f (X，y)基于曝光中的相機(jī)的軌跡而決定。由于在曝光中相機(jī)移動(dòng)，因此包含在理想圖像中的一個(gè)像素的像(點(diǎn)像)在劣化圖像中成為擴(kuò)展到多個(gè)周邊像素的像。圖2舉例說(shuō)明了理想圖像中的點(diǎn)像在劣化圖像中成為模糊像的樣子。若設(shè)這樣的動(dòng)態(tài)模糊在全部的點(diǎn)像中均等地產(chǎn)生(shift-invaliant 平移不變)，則可以說(shuō)f(x，y)是表示如下的函數(shù)從某點(diǎn)像起，該點(diǎn)像以怎樣的權(quán)重?cái)U(kuò)展到位于以該點(diǎn)像為原點(diǎn)的相對(duì)坐標(biāo)(χ，y)的周邊像素。在本說(shuō)明書(shū)中，將f(x，y)設(shè)為具有僅在-m彡χ彡m、η為1以上的整數(shù))范圍內(nèi)的有限的值的函數(shù)。換言之，將因相機(jī)抖動(dòng)而在理想圖像中的一個(gè)點(diǎn)像上產(chǎn)生動(dòng)態(tài)模糊的范圍設(shè)為包含在具有 (2m+l) X (2n+l)尺寸的矩形領(lǐng)域內(nèi)。關(guān)于i (x, y)、s (x，y)、f (χ, y)，若忽視噪聲的影響，則以下的式子1成立。[數(shù)1]i(x, y) = s (χ, y)*f(x, y)(式子 1)此處記號(hào)“*”表示卷積運(yùn)算(卷積)。式子1的右邊一般用以下的式子2來(lái)表現(xiàn)。[數(shù)2]
OO OOs(x,少)=J" J^O- j, y - k)f{j, k)djdk (式子 2)
在動(dòng)態(tài)模糊的點(diǎn)擴(kuò)散函數(shù)f(x，y)為已知的情況下，通過(guò)針對(duì)所得到的劣化圖像 i(x,y)的去卷積運(yùn)算(反卷積)，能夠復(fù)原沒(méi)有動(dòng)態(tài)模糊的圖像s(x，y)。另外，在f(x，y) 不是已知的情況下，需要在根據(jù)圖像來(lái)估計(jì)f(x，y)的基礎(chǔ)上求取s(x，y)。兩個(gè)函數(shù)的卷積的傅立葉變換一般通過(guò)各個(gè)函數(shù)的傅立葉變換的乘積來(lái)表現(xiàn)。因此，若i (X，y)、s (X，y)、f (X，y)的傅立葉變換各自表示為I (u, v)、S (u，ν)、F (u, ν)，則根據(jù)式子1推導(dǎo)出以下的式子4。另外，(u, ν)是頻率空間中的坐標(biāo)，各自與實(shí)際圖像中的χ方向以及y方向的空間頻率對(duì)應(yīng)。[數(shù)4]
此處記號(hào)“ · ”表示頻率空間中的函數(shù)的“乘積”。若對(duì)式子⑷變形，則得到以下的式子5。[數(shù) 5] 該式子5示出了 用劣化圖像i(x，y)的傅立葉變換I (U，ν)除以作為點(diǎn)擴(kuò)散函數(shù) PSF的f(x，y)的傅立葉變換F(u，ν)而得到的函數(shù)相當(dāng)于理想圖像s(x，y)的傅立葉變換 S (α, V)。即，若求得10^，7)和€0^，7)，則能夠決定3(11，力。由于I (u，ν)是對(duì)劣化圖像 i (x,y)進(jìn)行傅立葉變換而得到的產(chǎn)物，因此若求得作為相機(jī)抖動(dòng)的點(diǎn)擴(kuò)散函數(shù)PSF的f (χ， y)，則能通過(guò)信號(hào)處理來(lái)從劣化圖像對(duì)圖像進(jìn)行復(fù)原(接近真實(shí)的圖像)。在本發(fā)明中，使用劣化圖像和復(fù)原過(guò)程的圖像(臨時(shí)的復(fù)原圖像)來(lái)決定作為點(diǎn)擴(kuò)散函數(shù)PSF的f(x，y)。在f(x，y)的決定的過(guò)程中，從劣化圖像和臨時(shí)的復(fù)原圖像中提取多個(gè)圖像塊對(duì)，并按每個(gè)圖像塊對(duì)來(lái)估計(jì)PSF。這些PSF能夠通過(guò)公知的盲去卷積手法來(lái)求取。由于圖像塊對(duì)包含噪聲和被攝體動(dòng)態(tài)模糊等原因，能估計(jì)出與真實(shí)的PSF相差很大的PSF。因此，所估計(jì)的各PSF能成為按每個(gè)圖像塊對(duì)而不同的函數(shù)。從這些PSF中選定認(rèn)為接近真實(shí)的PSF的PSF來(lái)作為候選PSF。對(duì)于候選PSF的選定，例如使用基于RANSAC (隨機(jī)抽樣一致性)的方法。根據(jù)此方法，能按每個(gè)PSF來(lái)判定通過(guò)PSF和臨時(shí)的復(fù)原圖像的卷積而得到的圖像究竟有多接近劣化圖像。判定的結(jié)果是，排除誤差大的PSF，并選定誤差小的PSF作為候選PSF。因此，排除根據(jù)包含噪聲和被攝體動(dòng)態(tài)模糊等的圖像塊對(duì)而估計(jì)出的PSF，并選定接近真實(shí)的PSF的PSF作為候選PSF。從所選定的候選PSF和劣化圖像通過(guò)去卷積來(lái)生成復(fù)原圖像。如此，由于不是針對(duì)圖像整體，而是針對(duì)作為圖像一部分的每個(gè)圖像塊對(duì)來(lái)進(jìn)行 PSF的估計(jì)，因此能夠削減復(fù)原所需的處理量以及存儲(chǔ)量。另外，能夠不受局部的噪聲和被攝體動(dòng)態(tài)模糊等的影響來(lái)選定接近真實(shí)的PSF的PSF。以下，參照附圖來(lái)說(shuō)明本發(fā)明的實(shí)施方式。在以下的說(shuō)明中，對(duì)同樣的要素標(biāo)注同樣的符號(hào)。(第1實(shí)施方式)圖3是表示本發(fā)明的第1實(shí)施方式中圖像處理裝置200的概略構(gòu)成圖。本實(shí)施方式的圖像裝置200通過(guò)從輸入的劣化圖像100反復(fù)復(fù)原處理來(lái)生成接近理想圖像的復(fù)原圖像120。圖像處理裝置200具備圖像處理部220，其基于輸入的劣化圖像100來(lái)進(jìn)行信號(hào)處理；以及存儲(chǔ)器對(duì)0，其容納在處理的過(guò)程中生成的各種數(shù)據(jù)。劣化圖像100是由數(shù)碼相機(jī)等攝像裝置拍攝的圖像的數(shù)據(jù)，包含因相機(jī)抖動(dòng)而引起的動(dòng)態(tài)模糊。圖像處理部220不僅執(zhí)行劣化圖像100的復(fù)原處理，還進(jìn)行色調(diào)校正、分辨率變更、數(shù)據(jù)壓縮等各種信號(hào)處理。圖像處理部220通過(guò)公知的數(shù)字信號(hào)處理器(DSP)等硬件、和用于執(zhí)行圖像處理的軟件的組合而合理實(shí)現(xiàn)。存儲(chǔ)器MO由DRAM等構(gòu)成。存儲(chǔ)器 240不僅記錄劣化圖像100，還暫時(shí)記錄由圖像處理部220受理各種圖像處理后的圖像數(shù)據(jù)、經(jīng)壓縮的圖像數(shù)據(jù)等。由圖像處理部220最終生成的復(fù)原圖像120能經(jīng)由未圖示的通信裝置通過(guò)無(wú)線或者有線發(fā)送到其他裝置(未圖示)。以下，參照?qǐng)D4來(lái)說(shuō)明圖像處理部220的構(gòu)成。圖像處理部220具備圖像輸入部250 ；PSF決定部沈0 ；以及復(fù)原部270。圖像輸入部250具有初始PSF設(shè)定部222，其設(shè)定臨時(shí)的PSF ；初始圖像設(shè)定部224，其使用臨時(shí)的PSF來(lái)從劣化圖像100生成臨時(shí)的復(fù)原圖像。PSF決定部260具有圖像塊選定部226， 其從劣化圖像和臨時(shí)的復(fù)原圖像提取多個(gè)圖像塊對(duì)；PSF估計(jì)部228，其根據(jù)各個(gè)圖像塊對(duì)來(lái)估計(jì)PSF ；PSF選擇部230，其從估計(jì)出的多個(gè)PSF中選定候選PSF。復(fù)原部270具有圖像復(fù)原部232，其使用所選定的候選PSF來(lái)從劣化圖像100生成復(fù)原圖像；以及結(jié)束判定部 234，其判定復(fù)原處理是否結(jié)束，在判定為結(jié)束的情況下輸出復(fù)原結(jié)果。以下，更詳細(xì)地說(shuō)明各構(gòu)成要素。初始PSF設(shè)定部222設(shè)定圖像復(fù)原處理所需的臨時(shí)的PSF。臨時(shí)的PSF例如基于表示由搭載于拍攝了劣化圖像100的攝像裝置的陀螺儀或加速度傳感器等檢測(cè)器檢測(cè)出的、拍攝時(shí)的相機(jī)的軌跡的數(shù)據(jù)而設(shè)定。那樣的數(shù)據(jù)例如容納于存儲(chǔ)器240或未圖示的記錄介質(zhì)等，并由初始PSF設(shè)定部222讀入。臨時(shí)的PSF也可以不依賴(lài)于由這些檢測(cè)器檢測(cè)出的數(shù)據(jù)而由使用者手動(dòng)輸入。盡管從縮短圖像處理所需時(shí)間的觀點(diǎn)出發(fā)，優(yōu)選使臨時(shí)的 PSF接近真實(shí)的PSF，但即使較大偏離真實(shí)的PSF，也能通過(guò)后述的處理來(lái)復(fù)原。初始圖像設(shè)定部2 不僅取得容納于存儲(chǔ)器240或未圖示的記錄介質(zhì)等的劣化圖像100，還設(shè)定后述的PSF估計(jì)處理所需的臨時(shí)的復(fù)原圖像。在第1循環(huán)處理中，臨時(shí)的復(fù)原圖像根據(jù)臨時(shí)的PSF和劣化圖像100生成。在第2循環(huán)以后的處理中，將通過(guò)一循環(huán)前的處理而復(fù)原的圖像設(shè)定為臨時(shí)的復(fù)原圖像。作為使用臨時(shí)的PSF來(lái)復(fù)原劣化圖像100的方法，能夠使用公知的維納濾波器法和理查德森·露西(RL)法等非盲去卷積手法。另外，還能使用在非專(zhuān)利文獻(xiàn)1等中公開(kāi)的盲去卷積手法。臨時(shí)的復(fù)原圖像在第1循環(huán)的處理中， 可以由初始圖像設(shè)定部2M生成，也可以由其他設(shè)備生成并預(yù)先容納于存儲(chǔ)器240或未圖示的記錄介質(zhì)。圖像塊選定部2 分別從劣化圖像100以及臨時(shí)的復(fù)原圖像將彼此位于同一坐標(biāo)的兩個(gè)圖像塊的對(duì)隨機(jī)提取多個(gè)。將圖像塊的尺寸設(shè)定為比臨時(shí)的PSF和所估計(jì)的PSF的尺寸大的尺寸。在本實(shí)施方式中，將圖像塊的X方向尺寸及Y方向尺寸設(shè)定為與臨時(shí)的PSF或者在上次的步驟估計(jì)出的PSF的X方向尺寸及Y方向尺寸之中大的一方一致。例如，在將劣化圖像的尺寸設(shè)為1000 X 1000像素，且臨時(shí)的PSF或者估計(jì)出的PSF的像素值取有限的值(大于0的值)的像素全部包含在50 X 100像素中的情況下，提取具有100X 100像素的矩形領(lǐng)域的圖像塊。另外，若圖像塊過(guò)小，則不包含易判別動(dòng)態(tài)模糊的邊緣(edge)部分 (亮度在空間上變化大的部分)的圖像塊的比例大。在那樣的圖像塊中，由于不能判斷亮度的變化是基于動(dòng)態(tài)模糊還是紋理(樣子)，因此估計(jì)與真實(shí)的PSF接近的PSF變得困難。 因此，在PSF的尺寸太小的情況下(例如30 X 30像素以下的情況)，優(yōu)選例如將圖像塊的尺寸設(shè)定為PSF的尺寸的3 5倍以上。另外，雖然在本實(shí)施方式中各個(gè)圖像塊具有同樣的尺寸，但是即使每個(gè)圖像塊的尺寸不同也能夠進(jìn)行處理。雖然圖像塊的數(shù)量越多，能夠估計(jì)出接近真實(shí)PSF的PSF的概率越高，但是其需要的計(jì)算量及存儲(chǔ)量也會(huì)增大。所提取的圖像塊對(duì)的數(shù)量能夠?qū)?yīng)計(jì)算資源而任意設(shè)定。在本實(shí)施方式中，作為一例，提取(劣化圖像的全部像素?cái)?shù))/( 一個(gè)圖像塊的像素?cái)?shù))個(gè)圖像塊對(duì)。另外，雖然圖像塊對(duì)被設(shè)定為隨機(jī)選定，但是也可以基于給定的基準(zhǔn)來(lái)選定。例如， 后述的PSF估計(jì)部2 知道對(duì)與真實(shí)的PSF不接近的PSF進(jìn)行估計(jì)的圖像塊，因此可以在第2循環(huán)以后的處理中，進(jìn)行控制使得隨機(jī)選定該塊附近之外的塊。為了選定接近真實(shí)的 PSF的PSF，特別優(yōu)選從包含邊緣的場(chǎng)所選定圖像塊對(duì)。具體而言，可以使用公知的索貝爾濾波器和普魯維特濾波器等來(lái)算出各圖像塊的邊緣，并基于算出的邊緣強(qiáng)度來(lái)選定圖像塊對(duì)。例如，可以從隨機(jī)選出的多個(gè)圖像塊中，只選定將邊緣強(qiáng)度為一定值以上的像素包含 50%以上的圖像塊。圖像塊選定部2 還從劣化圖像100提取多個(gè)圖像塊用于PSF的評(píng)價(jià)。這些圖像塊(劣化圖像塊)是為了后述的PSF選擇部230從多個(gè)PSF中選定候選PSF而使用。能與上述PSF估計(jì)用的圖像塊對(duì)獨(dú)立地提取這些劣化圖像塊。另外，從減少計(jì)算量和存儲(chǔ)量的觀點(diǎn)出發(fā)，能反復(fù)使用上述PSF估計(jì)用而選定的圖像塊。為了有效進(jìn)行后述PSF選擇部230 中的評(píng)價(jià)，優(yōu)選這些評(píng)價(jià)用的圖像塊的尺寸及選定場(chǎng)所與在上述圖像塊對(duì)的選定時(shí)不同。 但是，即使相同，也能進(jìn)行處理。另外，劣化圖像塊能夠隨機(jī)選定，也可以與上述圖像塊對(duì)同樣，基于給定的基準(zhǔn)來(lái)選定。另外，特別優(yōu)選從包含邊緣的場(chǎng)所選定。與上述圖像塊對(duì)的數(shù)量同樣，劣化圖像塊的數(shù)量能夠?qū)?yīng)計(jì)算資源而任意設(shè)定。PSF估計(jì)部2 基于由圖像塊選定部2 選定的多個(gè)圖像塊對(duì)的每一個(gè)來(lái)估計(jì) PSF0作為估計(jì)方法，能夠使用公知的盲去卷積法。例如能通過(guò)在非專(zhuān)利文獻(xiàn)1中公開(kāi)的稀疏編碼來(lái)估計(jì)PSF。PSF選擇部230從由PSF估計(jì)部2 估計(jì)出的多個(gè)PSF中選定認(rèn)為接近真實(shí)的PSF 的PSF作為候選PSF。關(guān)于候選PSF選定的細(xì)節(jié)將后述。圖像復(fù)原部232使用所選定的候選PSF來(lái)復(fù)原劣化圖像100。此處的復(fù)原處理與初始圖像設(shè)定部224中的復(fù)原處理同樣，通過(guò)公知的復(fù)原方法來(lái)實(shí)現(xiàn)。另外，在本實(shí)施方式中，雖然將圖像復(fù)原部232和初始圖像設(shè)定部2 作為不同的功能塊，但也可以是一個(gè)功能部來(lái)實(shí)現(xiàn)這些功能的構(gòu)成。結(jié)束判定部234對(duì)圖像復(fù)原部232復(fù)原的圖像和臨時(shí)的復(fù)原圖像進(jìn)行比較，在變化小于給定閾值的情況下，判斷為復(fù)原處理已經(jīng)結(jié)束，輸出此圖像作為復(fù)原圖像120。在變化為閾值以上的情況下，將此圖像輸入到初始圖像設(shè)定部224，并設(shè)定為新的臨時(shí)的復(fù)原圖像。圖4所示的構(gòu)成是圖像處理部220的功能塊的一例，圖像處理部220能分割為其他的功能塊。另外，各功能塊可以通過(guò)專(zhuān)門(mén)的硬件實(shí)現(xiàn)，還能通過(guò)嵌入使公知的硬件執(zhí)行上述處理的軟件來(lái)合理實(shí)現(xiàn)。接著，參照?qǐng)D5來(lái)說(shuō)明復(fù)原處理的流程。首先，初始圖像設(shè)定部2 從存儲(chǔ)器240等取得復(fù)原對(duì)象的劣化圖像100(S502)。 其次，初始PSF設(shè)定部222從存儲(chǔ)器240等取得初始PSF (S504)。初始圖像設(shè)定部2 使用所取得的劣化圖像100和初始PSF來(lái)生成臨時(shí)的復(fù)原圖像(S506)。另外，初始PSF的設(shè)定和劣化圖像的取得的順序可以交替，也可以同時(shí)。接著，圖像塊選定部2 從劣化圖像100和臨時(shí)的復(fù)原圖像選定多個(gè)圖像塊對(duì) (S508)。PSF估計(jì)部從估計(jì)出的多個(gè)圖像塊對(duì)的每一個(gè)來(lái)估計(jì)PSF(S510)。然后，PSF設(shè)定部230從估計(jì)出的PSF中選定認(rèn)為與真實(shí)的PSF接近的PSF，并將其設(shè)定為候選PSF (S512)。以下，參照?qǐng)D6和圖7來(lái)說(shuō)明圖像塊的選定(S508)、各個(gè)圖像塊中的PSF的估計(jì) (S510)、以及候選PSF的選定(S512)的細(xì)節(jié)。圖6是示意地表示圖像塊的選定和各圖像塊中的PSF的估計(jì)的情況的圖。圖像塊選定部2 從劣化圖像和臨時(shí)的復(fù)原圖像選定多個(gè)圖像塊對(duì)。如圖所示，將選定數(shù)設(shè)為K(K 是2以上的整數(shù))，將表示從劣化圖像選定的第k個(gè)圖像塊的函數(shù)設(shè)為ik(k = 1，2，…K)， 并將表示從臨時(shí)的復(fù)原圖像選定的第k個(gè)圖像塊的函數(shù)設(shè)為、(k= 1，2，…K)。使用公知的PSF估計(jì)方法根據(jù)ik和％來(lái)估計(jì)作為PSF的fk。其結(jié)果是，從K個(gè)圖像塊對(duì)得到K個(gè) PSF (f1 f2, ...，fk)。在此，作為一例，說(shuō)明基于非專(zhuān)利文獻(xiàn)1所公開(kāi)的手法的PSF估計(jì)手法。作為PSF 的fk通過(guò)求取使以下的式子6的右邊最小的fk而決定(fk的優(yōu)化)。[數(shù) 6]
(2 Λ
_] E(fk) = \ JjW^ d\*fk-d\ 2 +!/；[(式子6)
V9 G J式子6的右邊的第1項(xiàng)給出了復(fù)原圖像塊％和作為PSF的fk之間的卷積表示是否接近劣化圖像塊ik的評(píng)價(jià)基準(zhǔn)。變量Wk是手動(dòng)設(shè)定的“權(quán)重”。Θ是規(guī)定對(duì)圖像實(shí)施怎樣的微分的運(yùn)算符的集合。具體而言，具有0次微分、1次微分(分別在x、y方向)、2次微分(在χ方向2次、在y方向2次、在χ和y方向各1次)的共計(jì)6個(gè)微分參數(shù)。d*是微分運(yùn)算符。若使用d*來(lái)表現(xiàn)θ，則θ = {d°、dx、dy、dxx、dxy、dyy}。通過(guò)d*能進(jìn)行使用亮度信息和邊緣信息兩者的處理，還能得到僅憑亮度而不能得到的信息。式子6的右邊的第 2項(xiàng)是fk的一個(gè)模(norm)。此項(xiàng)是基于稀疏編碼的項(xiàng)。根據(jù)表示fk的矩陣中的大部分元素為0(沒(méi)有運(yùn)動(dòng))的情況，采用此優(yōu)化項(xiàng)。在本實(shí)施方式中，與非專(zhuān)利文獻(xiàn)1同樣，進(jìn)行基于“內(nèi)點(diǎn)法(interior point method) ”的優(yōu)化，從而能夠?qū)崿F(xiàn)整體優(yōu)化。fk的優(yōu)化的具體的計(jì)算方法在非專(zhuān)利文獻(xiàn)1中公開(kāi)。接著，參照?qǐng)D7來(lái)說(shuō)明候選PSF的選定(S512)的細(xì)節(jié)。若由PSF估計(jì)部2 按每個(gè)圖像塊對(duì)求取fk，則圖像塊選定部2 從劣化圖像100 選定評(píng)價(jià)用的多個(gè)圖像塊(劣化圖像塊)。如圖7所示，將劣化圖像塊的選定數(shù)設(shè)為B(B為2以上的整數(shù))，將表示第b個(gè)劣化圖像塊的函數(shù)表示為ib(b = 1，2，…B)。PSF選擇部 230通過(guò)在fk和劣化圖像塊ib之間進(jìn)行去卷積運(yùn)算，來(lái)得到表示被復(fù)原的圖像塊(復(fù)原圖像塊)的函數(shù)^。其結(jié)果是，對(duì)于有K個(gè)的PSF的每一個(gè)，生成B個(gè)復(fù)原圖像塊。PSF選擇部230在復(fù)原圖像塊 和fk之間進(jìn)一步進(jìn)行卷積，并基于所得到的結(jié)果(skb*fk)和劣化圖像塊ib之間的誤差來(lái)評(píng)價(jià)各PSF。以下，說(shuō)明基于誤差的PSF的評(píng)價(jià)方法。首先，設(shè)在一個(gè)劣化圖像塊中包含J個(gè)像素，并將劣化圖像塊ib中的第i個(gè)像素值表示為、(」=1，2，…J)。另外，將通過(guò)復(fù)原圖像塊^和fk之間的卷積而得到的圖像中的第j個(gè)像素值表示為(skb*fk)j(j = 1,2,-J)0 在本實(shí)施方式中，將(skb*fk)和ib之間的平方誤差定義為Akb，并基于該Akb成為給定的閾值t以下的圖像塊的數(shù)量來(lái)選定候選PSF。例如，選定滿(mǎn)足以下的式子7的圖像塊的數(shù)量最大的fk作為候選PSF。[數(shù)7]
權(quán)利要求
1.一種圖像處理裝置，從輸入的劣化圖像生成動(dòng)態(tài)模糊較所述劣化圖像少的復(fù)原圖像，所述圖像處理裝置具備初始圖像設(shè)定部，其設(shè)定臨時(shí)的復(fù)原圖像；圖像塊選定部，其從所述劣化圖像以及所述臨時(shí)的復(fù)原圖像選定多個(gè)圖像塊對(duì)，該圖像塊對(duì)由各自在所述劣化圖像以及所述臨時(shí)的復(fù)原圖像中位于同一坐標(biāo)的兩個(gè)圖像塊構(gòu)成；PSF估計(jì)部，其得到與所述多個(gè)圖像塊對(duì)分別對(duì)應(yīng)的多個(gè)點(diǎn)擴(kuò)散函數(shù)； PSF選擇部，其從由所述PSF估計(jì)部得到的所述多個(gè)點(diǎn)擴(kuò)散函數(shù)中選定對(duì)所述劣化圖像的動(dòng)態(tài)模糊進(jìn)行規(guī)定的候選的點(diǎn)擴(kuò)散函數(shù)；和圖像復(fù)原部，其使用所述候選的點(diǎn)擴(kuò)散函數(shù)從所述劣化圖像生成復(fù)原圖像。
2.如權(quán)利要求1所述的圖像處理裝置，其中，所述圖像處理裝置具備初始PSF設(shè)定部，該初始PSF設(shè)定部設(shè)定臨時(shí)的點(diǎn)擴(kuò)散函數(shù)， 所述初始圖像設(shè)定部使用所述臨時(shí)的點(diǎn)擴(kuò)散函數(shù)從所述劣化圖像生成所述臨時(shí)的復(fù)原圖像。
3.如權(quán)利要求2所述的圖像處理裝置，其中，當(dāng)將所述劣化圖像以及所述臨時(shí)的復(fù)原圖像的橫方向設(shè)為X方向，縱方向設(shè)為Y方向時(shí)，包含在所述多個(gè)圖像塊對(duì)中的各圖像塊的X方向尺寸以及Y方向尺寸分別與由所述臨時(shí)的點(diǎn)擴(kuò)散函數(shù)取有限值的像素構(gòu)成的區(qū)域的X方向尺寸以及Y方向尺寸之中大的一方相寸。
4.如權(quán)利要求1 3中任意一項(xiàng)所述的圖像處理裝置，其中，所述圖像塊選定部從所述劣化圖像以及所述臨時(shí)的復(fù)原圖像隨機(jī)選定所述多個(gè)圖像塊對(duì)。
5.如權(quán)利要求1 4中任意一項(xiàng)所述的圖像處理裝置，其中，當(dāng)設(shè)η = 1，2，…N，N為2以上的整數(shù)，所述臨時(shí)的復(fù)原圖像為第η臨時(shí)的復(fù)原圖像， 所述復(fù)原圖像為第η復(fù)原圖像時(shí)，在生成所述第η復(fù)原圖像后，所述初始圖像設(shè)定部通過(guò)所述第η復(fù)原圖像來(lái)更新所述第η臨時(shí)的復(fù)原圖像作為第 η+1臨時(shí)的復(fù)原圖像，所述圖像塊選定部從所述劣化圖像以及所述第η+1臨時(shí)的復(fù)原圖像選定與所述多個(gè)圖像塊對(duì)相比至少一部分不同的多個(gè)圖像塊對(duì)，由此反復(fù)所述候選的點(diǎn)擴(kuò)散函數(shù)以及所述復(fù)原圖像的更新。
6.如權(quán)利要求1 5中任意一項(xiàng)所述的圖像處理裝置，其中，所述圖像塊選定部相對(duì)所述多個(gè)圖像塊對(duì)的選定獨(dú)立地從所述劣化圖像選定多個(gè)圖像塊作為第1圖像塊群，當(dāng)將由所述PSF估計(jì)部得到的所述多個(gè)點(diǎn)擴(kuò)散函數(shù)中的、第k個(gè)點(diǎn)擴(kuò)散函數(shù)表示為fk， k為1以上的整數(shù)，將表示包含在所述第1圖像塊群中的第b個(gè)圖像塊中的亮度分布的函數(shù)表示為ib，b 為1以上的整數(shù)，將通過(guò)ib和fk之間的去卷積運(yùn)算而得到的函數(shù)表示為^時(shí)，所述PSF選擇部基于通過(guò)和fk之間的卷積運(yùn)算而得到的函數(shù)(skb*fk)與ib之間的差，來(lái)選定所述候選的點(diǎn)擴(kuò)散函數(shù)。
7.如權(quán)利要求6所述的圖像處理裝置，其中，所述PSF選擇部針對(duì)所述多個(gè)點(diǎn)擴(kuò)散函數(shù)的每一個(gè)，算出kkb*fk)和ib之間的平方誤差成為給定的閾值以下的值的圖像塊的數(shù)量，并選定所述圖像塊的數(shù)量最大的點(diǎn)擴(kuò)散函數(shù)作為所述候選的點(diǎn)擴(kuò)散函數(shù)。
8.如權(quán)利要求1 5中任意一項(xiàng)所述的圖像處理裝置，其中，所述圖像塊選定部相對(duì)所述多個(gè)圖像塊對(duì)的選定獨(dú)立地從所述劣化圖像選定多個(gè)圖像塊作為第1圖像塊群，并從所述臨時(shí)的復(fù)原圖像選定各自與包含在所述第1圖像塊群中的各圖像塊位于同一坐標(biāo)的多個(gè)圖像塊作為第2圖像塊群，當(dāng)將由所述PSF估計(jì)部得到的所述多個(gè)點(diǎn)擴(kuò)散函數(shù)中的、第k個(gè)點(diǎn)擴(kuò)散函數(shù)表示為fk， k為1以上的整數(shù)，將表示包含在所述第1圖像塊群中的第b個(gè)圖像塊中的亮度分布的函數(shù)表示為ib，b 為1以上的整數(shù)，將表示包含在所述第2圖像塊群中的與所述ib對(duì)應(yīng)的圖像塊中的亮度分布的函數(shù)表示為sb，b為1以上的整數(shù)時(shí)，所述PSF選擇部基于通過(guò)％和fk之間的卷積運(yùn)算而得到的函數(shù)(sb*fk)與ib之間的差，來(lái)選定所述候選的點(diǎn)擴(kuò)散函數(shù)。
9.如權(quán)利要求8所述的圖像處理裝置，其中，所述PSF選擇部針對(duì)所述多個(gè)點(diǎn)擴(kuò)散函數(shù)的每一個(gè)，算出(sb*fk)和ib之間的平方誤差成為給定的閾值以下的值的圖像塊的數(shù)量，并選定所述圖像塊的數(shù)量最大的點(diǎn)擴(kuò)散函數(shù)作為所述候選的點(diǎn)擴(kuò)散函數(shù)。
10.如權(quán)利要求6 9中任意一項(xiàng)所述的圖像處理裝置，其中，所述圖像塊選定部從所述劣化圖像隨機(jī)選定所述第1圖像塊群。
11.如權(quán)利要求1 10中任意一項(xiàng)所述的圖像處理裝置，其中，所述PSF選擇部將由所述PSF估計(jì)部得到的所述多個(gè)點(diǎn)擴(kuò)散函數(shù)劃分成由彼此類(lèi)似的多個(gè)點(diǎn)擴(kuò)散函數(shù)構(gòu)成的多個(gè)簇，并按每個(gè)簇來(lái)決定所述多個(gè)簇的每一個(gè)中的平均的點(diǎn)擴(kuò)散函數(shù)作為代表PSF，從決定的多個(gè)代表PSF中選定候選的代表PSF，且從與所述候選的代表 PSF對(duì)應(yīng)的簇中選定所述候選的點(diǎn)擴(kuò)散函數(shù)。
12.—種攝像裝置，具備權(quán)利要求1 11中任意一項(xiàng)所述的圖像處理裝置，所述攝像裝置具備固體攝像元件，并將由所述固體攝像元件取得的信號(hào)作為所述劣化圖像輸入到所述圖像處理裝置。
13.一種復(fù)原劣化圖像的方法，從輸入的劣化圖像生成動(dòng)態(tài)模糊較所述劣化圖像少的復(fù)原圖像，當(dāng)n = l，2，…N，N為2以上的整數(shù)時(shí)，所述方法包括步驟A，設(shè)定第η復(fù)原圖像；步驟B，從所述劣化圖像以及所述第η復(fù)原圖像選定多個(gè)圖像塊對(duì)，該圖像塊對(duì)由各自在所述劣化圖像以及所述第η復(fù)原圖像中位于同一坐標(biāo)的兩個(gè)圖像塊構(gòu)成；步驟C，得到與所述多個(gè)圖像塊對(duì)分別對(duì)應(yīng)的多個(gè)點(diǎn)擴(kuò)散函數(shù)； 步驟D，從由所述PSF估計(jì)部得到的所述多個(gè)點(diǎn)擴(kuò)散函數(shù)中選定對(duì)所述劣化圖像的動(dòng)態(tài)模糊進(jìn)行規(guī)定的候選的點(diǎn)擴(kuò)散函數(shù)；和步驟E，使用所述候選的點(diǎn)擴(kuò)散函數(shù)從所述劣化圖像生成第n+1復(fù)原圖像， 從η = 1起開(kāi)始從所述步驟A至所述步驟E的各步驟，且直到生成第Ν+1復(fù)原圖像為止都反復(fù)從所述步驟A至所述步驟E的各步驟，由此復(fù)原所述劣化圖像。
14.一種使圖像處理裝置執(zhí)行處理的程序，控制圖像處理裝置的動(dòng)作，該圖像處理裝置通過(guò)從輸入的劣化圖像反復(fù)復(fù)原處理，來(lái)生成動(dòng)態(tài)模糊較所述劣化圖像少的復(fù)原圖像，當(dāng)η = 1，2，…N，N為2以上的整數(shù)時(shí)，所述處理包括 步驟Α，設(shè)定第η復(fù)原圖像；步驟B，從所述劣化圖像以及所述第η復(fù)原圖像選定多個(gè)圖像塊對(duì)，該圖像塊對(duì)由各自在所述劣化圖像以及所述第η復(fù)原圖像中位于同一坐標(biāo)的兩個(gè)圖像塊構(gòu)成； 步驟C，得到與所述多個(gè)圖像塊對(duì)分別對(duì)應(yīng)的多個(gè)點(diǎn)擴(kuò)散函數(shù)； 步驟D，從由所述PSF估計(jì)部得到的所述多個(gè)點(diǎn)擴(kuò)散函數(shù)中選定對(duì)所述劣化圖像的動(dòng)態(tài)模糊進(jìn)行規(guī)定的候選的點(diǎn)擴(kuò)散函數(shù)；和步驟Ε，使用所述候選的點(diǎn)擴(kuò)散函數(shù)從所述劣化圖像生成第n+1復(fù)原圖像， 在所述處理中，從η = 1起開(kāi)始從所述步驟A至所述步驟E的各步驟，且直到生成第 Ν+1復(fù)原圖像為止都反復(fù)從所述步驟A至所述步驟E的各步驟。
15.一種計(jì)算機(jī)可讀取的記錄介質(zhì)，記錄有權(quán)利要求14所述的程序。
全文摘要
圖像處理裝置在圖像塊選定部(226)中分別從劣化圖像以及臨時(shí)的復(fù)原圖像將彼此位于同一坐標(biāo)的兩個(gè)圖像塊的對(duì)提取多個(gè)，并按每個(gè)圖像塊對(duì)來(lái)估計(jì)點(diǎn)擴(kuò)散函數(shù)(PSF)。且從估計(jì)出的PSF選定認(rèn)為接近真實(shí)的PSF的PSF作為候選PSF。通過(guò)以塊單位來(lái)進(jìn)行PSF的估計(jì)，能夠削減PSF的估計(jì)所需的計(jì)算量。另外，通過(guò)使用不受包含噪聲的圖像塊的影響的估計(jì)方法，能夠估計(jì)接近真實(shí)的PSF的PSF。
文檔編號(hào)H04N1/409GK102388402SQ201180001729
公開(kāi)日2012年3月21日 申請(qǐng)日期2011年1月28日 優(yōu)先權(quán)日2010年2月10日
發(fā)明者物部祐亮, 石井育規(guī) 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社