本發(fā)明涉及圖像處理裝置、圖像處理方法及圖像處理程序，特別地，涉及通過對多個圖像進行合成處理而取得高分辨率化的圖像的圖像處理裝置、圖像處理方法及圖像處理程序。

背景技術(shù)：

以往，已知有由多張輸入圖像生成更高分辨率的輸出圖像的超分辨處理。作為該超分辨處理的一例，在專利文獻1中公開了重構(gòu)型超分辨處理，該重構(gòu)型超分辨處理重復進行如下的處理：利用由照相模型獲得的點擴散函數(shù)(PSF函數(shù))而將所估算的高分辨率圖像重采樣成低分辨率圖像，并以使它們的低分辨率圖像與原來的輸入圖像之間的像素值之差變小的方式估算高分辨率圖像。

現(xiàn)有技術(shù)文獻

專利文獻

專利文獻1日本特開2006-127241號公報

技術(shù)實現(xiàn)要素：

發(fā)明要解決的課題

但是，在專利文獻1的重構(gòu)型超分辨處理中，由于重復進行估算高分辨率圖像的處理，因此計算成本升高。另外,如果為了控制計算成本而限制重復次數(shù)，則在估算高分辨率圖像中無法完全減少由運動體等而產(chǎn)生的多重像、偽影，導致輸出圖像的畫質(zhì)下降。

本發(fā)明是鑒于上述情況而研發(fā)的，本發(fā)明的目的在于抑制計算成本，減少多重像、偽影，取得良好地提高了分辨率的圖像。

用于解決課題的手段

為了達到上述目的，本發(fā)明提供以下的手段。

本發(fā)明的第1方式為一種圖像處理裝置，其包括：圖像取得單元，其取得按照時間序列拍攝的多個低分辨率圖像；運動檢測單元，其檢測多個所述低分辨率圖像之間的運動；對位單元，其根據(jù)所述運動進行多個所述低分辨率圖像的對位，并生成在比該低分辨率圖像更高分辨率的圖像空間上對多個所述低分辨率圖像進行了像素配置而得到的高分辨率圖像；相關(guān)計算單元，其針對所述高分辨率圖像的每個部分區(qū)域而計算相關(guān)信息，該相關(guān)信息表示所述低分辨率圖像的相當于該部分區(qū)域的對應區(qū)域之間的相關(guān)程度；被合成圖像生成單元，其根據(jù)多個所述低分辨率圖像或所述高分辨率圖像，生成比該高分辨率圖像更低分辨率的被合成圖像；合成比率計算單元，其根據(jù)所述相關(guān)信息，針對每個所述部分區(qū)域計算所述高分辨率圖像與所述被合成圖像的合成比率；及圖像合成單元，其按照所述合成比率，生成所述高分辨率圖像與所述被合成圖像的合成圖像，所述合成比率計算單元針對每個所述部分區(qū)域以如下方式計算合成比率：相關(guān)性越低的區(qū)域，所述高分辨率圖像的比率越小，相關(guān)性越高的區(qū)域，所述高分辨率圖像的比率越大。

根據(jù)本方式，取得按照時間序列而拍攝的關(guān)于同一被攝體的多個低分辨率圖像，并從這些多個低分辨率圖像取得進行了高分辨率化的一個圖像。在該情況下，防止由低分辨率圖像中的運動而導致在高分辨率化的圖像中產(chǎn)生多重像等，因此通過對位單元，對在運動檢測單元中檢測出的多個圖像之間的運動進行校正，即一邊進行對位，一邊在高分辨率圖像空間上對多個低分辨率圖像進行像素配置而生成高分辨率圖像。將高分辨率圖像劃分為規(guī)定的部分區(qū)域，并針對每個部分區(qū)域而計算相關(guān)信息，該相關(guān)信息表示低分辨率圖像的相當于該部分區(qū)域的對應區(qū)域之間的相關(guān)程度。通過相關(guān)信息，能夠在某種程度上判斷該部分區(qū)域是否為多個圖像之間的相關(guān)小的、即運動大的區(qū)域或包括運動體的區(qū)域。判斷為相關(guān)低的區(qū)域有可能在高分辨率圖像中的對位失敗。因此，通過被合成圖像生成單元而由高分辨率圖像或多個低分辨率圖像生成比高分辨率圖像更低分辨率的被合成圖像。并且，通過合成比率計算單元，根據(jù)相關(guān)信息而針對每個部分區(qū)域計算高分辨率圖像與被合成圖像之間的合成比率。此時，以相關(guān)性越低的區(qū)域，高分辨率圖像的比率越小，而相關(guān)性越高的區(qū)域，高分辨率圖像的比率越大的方式，針對每個部分區(qū)域而計算合成比率，并且圖像合成單元由此生成高分辨率圖像與被合成圖像的合成圖像。

從而，在生成合成圖像時，例如對于包括運動體等運動較大的區(qū)域等基于在多個低分辨率圖像之間相關(guān)性低的區(qū)域的部分區(qū)域，通過提高被合成圖像的比率而抑制多重像、偽影。另外，例如對于靜止區(qū)域等基于在多個低分辨率圖像之間相關(guān)性高的區(qū)域的部分區(qū)域，通過提高高分辨率圖像的比率而可靠地進行高分辨率化。由此，能夠抑制計算成本，并降低多重像、偽影，取得良好地提高了分辨率的圖像。

在上述的方式中，優(yōu)選為，還包括：運動體邊界判定單元，其根據(jù)所述運動而判定所述部分區(qū)域是否為運動體的邊界區(qū)域，所述合成比率計算單元以如下方式計算合成比率：與所述部分區(qū)域是非邊界區(qū)域的情況相比，在所述部分區(qū)域是所述邊界區(qū)域的情況下，使所述高分辨率圖像的比率更小。

從而，即便部分區(qū)域之間的相關(guān)信息為相同程度，也能夠根據(jù)該部分區(qū)域是否為邊界區(qū)域而使合成比率不同。因此，在容易產(chǎn)生偽影、多重像的運動體邊界周邊，也能夠可靠地抑制偽影、多重像，并提高背景等的靜止區(qū)域中的波紋(moire)區(qū)域的分辨率。

在上述的方式中，所述圖像取得單元可以是具備攝像元件、移動單元和移動控制單元的攝像單元，所述攝像元件按照時間序列取得多幀被攝體的光學像，所述移動單元使所述攝像元件相對于所述光學像的位置相對地移動，所述移動控制單元控制由該移動單元進行的所述光學像與所述攝像元件的相對的移動方向及移動量。

并且，在上述的方式中，所述對位單元可以根據(jù)所述運動或所述移動方向及所述移動量中的至少一個而進行對位。

從而，對于通過攝像單元按照時間序列使像素偏移而取得的多個低分辨率圖像，能夠不僅考慮運動，而且還考慮攝像元件的移動方向、移動量來生成高分辨率圖像，因此提高分辨率，并進一步提高多重像等的抑制效果。

在上述的方式中，優(yōu)選為，所述相關(guān)計算單元根據(jù)所述高分辨率圖像的顏色通道而計算每個部分區(qū)域的相關(guān)信息。

從而，容易計算針對該部分區(qū)域的相關(guān)信息，由此既容易取得相關(guān)信息，并能夠降低計算成本。

在上述的方式中，優(yōu)選為，所述被合成圖像生成單元通過對所述高分辨率圖像實施濾波處理，從而生成與所述高分辨率圖像相比降低了分辨率的圖像作為被合成圖像。

例如，可應用使高分辨率圖像的高頻成分減少的低通濾波器等，通過由此生成被合成圖像，從而對于在之后的合成處理中判斷為相關(guān)低的區(qū)域，能夠抑制多重像、偽影。

在上述的方式中，優(yōu)選為，所述被合成圖像生成單元生成將多個所述低分辨率圖像中的任一個圖像放大成與所述高分辨率圖像相同分辨率的放大圖像，作為被合成圖像。

通過這樣生成被合成圖像，從而在之后的合成處理中對于判斷為相關(guān)低的區(qū)域，能夠抑制多重像、偽影。

并且，本發(fā)明的第2方式為一種圖像處理方法，其包括：圖像取得步驟，其取得按照時間序列拍攝的多個低分辨率圖像；運動檢測步驟，其檢測多個所述低分辨率圖像之間的運動；對位步驟，其根據(jù)所述運動進行多個所述低分辨率圖像的對位，并生成在比該低分辨率圖像更高分辨率的圖像空間上對多個所述低分辨率圖像進行了像素配置而得到的高分辨率圖像；相關(guān)計算步驟，其針對所述高分辨率圖像的每個部分區(qū)域而計算相關(guān)信息，該相關(guān)信息表示所述低分辨率圖像的相當于該部分區(qū)域的對應區(qū)域之間的相關(guān)程度；被合成圖像生成步驟，其根據(jù)多個所述低分辨率圖像或所述高分辨率圖像，生成比該高分辨率圖像更低分辨率的被合成圖像；合成比率計算步驟，其根據(jù)所述相關(guān)信息，針對每個所述部分區(qū)域計算所述高分辨率圖像與所述被合成圖像的合成比率；及圖像合成步驟，其按照所述合成比率，生成所述高分辨率圖像與所述被合成圖像的合成圖像，所述合成比率計算步驟針對每個所述部分區(qū)域以如下方式計算合成比率：相關(guān)性越低的區(qū)域，所述高分辨率圖像的比率越小，相關(guān)性越高的區(qū)域，所述高分辨率圖像的比率越大。

而且，本發(fā)明的第3方式為一種圖像處理方法程序，其使計算機執(zhí)行如下處理，該處理包括：圖像取得步驟，其取得按照時間序列拍攝的多個低分辨率圖像；運動檢測步驟，其檢測多個所述低分辨率圖像之間的運動；對位步驟，其根據(jù)所述運動進行多個所述低分辨率圖像的對位，并生成在比該低分辨率圖像更高分辨率的圖像空間上對多個所述低分辨率圖像進行了像素配置而得到的高分辨率圖像；相關(guān)計算步驟，其針對所述高分辨率圖像的每個部分區(qū)域而計算相關(guān)信息，該相關(guān)信息表示所述低分辨率圖像的相當于該部分區(qū)域的對應區(qū)域之間的相關(guān)程度；被合成圖像生成步驟，其根據(jù)多個所述低分辨率圖像或所述高分辨率圖像，生成比該高分辨率圖像更低分辨率的被合成圖像；合成比率計算步驟，其根據(jù)所述相關(guān)信息，針對每個所述部分區(qū)域計算所述高分辨率圖像與所述被合成圖像的合成比率；及圖像合成步驟，其按照所述合成比率，生成所述高分辨率圖像與所述被合成圖像的合成圖像，所述合成比率計算步驟針對每個所述部分區(qū)域以如下方式計算合成比率：相關(guān)性越低的區(qū)域，所述高分辨率圖像的比率越小，相關(guān)性越高的區(qū)域，所述高分辨率圖像的比率越大。

發(fā)明效果

根據(jù)本發(fā)明，達到如下的效果：能夠在抑制計算成本的同時，減少多重像、偽影，取得良好地提高了分辨率的圖像。

附圖說明

圖1是表示本發(fā)明的第1實施方式的圖像處理裝置的概略結(jié)構(gòu)的框圖。

圖2是表示本發(fā)明的第1實施方式的圖像處理裝置中的攝像元件的結(jié)構(gòu)的參考圖。

圖3是在本發(fā)明的第1實施方式中，涉及運動體的邊界區(qū)域和非邊界區(qū)域的判別的說明圖。

圖4是表示在本發(fā)明的第1實施方式中合成比率的例子的曲線圖。

圖5是表示本發(fā)明的第2實施方式的圖像處理裝置的概略結(jié)構(gòu)的框圖。

具體實施方式

(第1實施方式)

下面，參照附圖，對本發(fā)明的第1實施方式的圖像處理裝置進行說明。

如圖1所示，圖像處理裝置包括：圖像取得部11、運動檢測部12、對位部13、相關(guān)計算部14、運動體邊界判定部15、濾波處理部16(被合成圖像生成單元)、合成比率計算部17及圖像合成部18。

圖像取得部11取得按照時間序列而攝像的多個低分辨率圖像。作為圖像取得部11，在本實施方式中可應用攝像單元，該攝像單元包括：攝像元件21，其取得被攝體的光學像；位移機構(gòu)(移動單元)22，其使攝像元件21移動；及傳感器位移控制部23(移動控制單元)，其控制由位移機構(gòu)22實現(xiàn)的攝像元件21的移動方向及移動量。

攝像元件11通過對由攝像透鏡20聚光，在攝像元件21的像面上成像的被攝體的光學像進行攝像，從而取得關(guān)于被攝體的光學像的低分辨率圖像。在本實施方式中的圖像處理裝置中，通過攝像元件21而按照時間序列取得低分辨率圖像，并通過將這些圖像合成而取得高分辨率的1個圖像，即進行所謂超分辨處理。因此，在本實施方式中攝像元件21具有圖2所示的拜耳排列結(jié)構(gòu)。

位移機構(gòu)22是使攝像元件21的相對光學像的位置相對地移動的機構(gòu)，能夠在水平方向、垂直方向上使攝像元件21以子像素為單位相對移動。傳感器位移控制部23按照每個幀來控制通過位移機構(gòu)22使攝像元件21相對移動的方向和量。

即，傳感器位移控制部23將與移動方向及移動量相關(guān)的控制信號輸出到位移機構(gòu)22，以按照預定的條件而使攝像元件21相對于光學像而相對移動。在圖像取得部11中，通過傳感器位移控制部23而控制位移機構(gòu)22，并通過攝像元件21而拍攝彼此具有子像素的位置偏離的多個低分辨率圖像，將這些多個低分辨率圖像存儲到幀存儲器24。并且，傳感器位移控制部23將與攝像元件21的移動方向及移動量相關(guān)的信息(以下，稱為“位移信息”)輸出到運動檢測部12。

另外，作為圖像取得部11，無需一定應用攝像單元，例如也可以構(gòu)成為臨時取得通過圖像處理裝置的外部的攝像裝置按照時間序列已經(jīng)取得的多個低分辨率圖像。

運動檢測部12檢測存儲在幀存儲器24中的多個低分辨率圖像之間的運動。更具體地，運動檢測部12將收納在幀存儲器24中的多個低分辨率圖像當中的任一個低分辨率圖像作為基準圖像，將基準圖像以外的圖像作為參照圖像，并針對每個規(guī)定的部分區(qū)域取得基準圖像與參照圖像之間的運動信息。例如，將由32像素×32像素構(gòu)成的1個塊作為部分區(qū)域，針對每個部分區(qū)域，通過塊匹配法等取得水平方向和垂直方向的運動矢量。另外，關(guān)于所取得的運動信息，既可以是水平方向和垂直方向的運動，也可以是旋轉(zhuǎn)方向、放大縮小的變化。

對位部13根據(jù)在運動檢測部12中檢測出的運動或從傳感器位移控制部23輸出的位移信息而對多個低分辨率圖像進行對位，生成在比低分辨率圖像更高分辨率的圖像空間上對多個低分辨率圖像進行了像素配置的高分辨率圖像。更具體地，根據(jù)由運動檢測部12檢測出的低分辨率圖像之間的每個部分區(qū)域的運動信息或由傳感器位移控制部23獲得的位移信息，在每個顏色通道(R，Gr，Gb，B)的高分辨率圖像空間上，對存儲于幀存儲器24中的多個低分辨率圖像進行像素配置，從而生成高分辨率圖像。

作為像素配置的順序，首先在高分辨率圖像空間上對基準圖像的像素進行像素配置，接著使用基準圖像與處理對象的參照圖像之間的每個部分區(qū)域的運動信息及該參照圖像的位移信息，使參照圖像的位置移動而在規(guī)定位置上進行像素配置。在進行像素配置時，在與要配置的像素相同顏色的像素已經(jīng)以基準圖像的像素、其他的參照圖像的像素來進行配置的情況下，可以不重新進行像素配置，也可以與已配置的相同顏色像素進行相加平均來更新像素值。

并且，在對所有的圖像進行像素配置之后，對位部13進行對還未進行像素配置的空間進行插值并填充的處理。關(guān)于插值的方法，例如，可使用周圍所配置的像素來實施考慮了邊緣方向的方向判別插值，或拷貝最臨近的像素來進行插值。

相關(guān)計算部14按照高分辨率圖像的每個部分區(qū)域來計算相關(guān)信息，該相關(guān)信息表示低分辨率圖像的相當于該部分區(qū)域的對應區(qū)域之間的相關(guān)的程度。即，作為相關(guān)信息，相關(guān)計算部14計算由對位部13針對每個顏色通道在高分辨率圖像空間上進行了像素配置的高分辨率圖像上的同一位置的Gr像素與Gb像素的差分值ΔG＝(|Gr-Gb|)，并輸出到合成比率計算部17。在差分值ΔG大的情況下，可以說對應區(qū)域之間的相關(guān)程度小，在差分值ΔG小的情況下，可以說對應區(qū)域之間的相關(guān)程度大。

運動體邊界判定部15根據(jù)運動而判定各個部分區(qū)域是否為運動體的邊界區(qū)域。換言之，運動體邊界判定部15根據(jù)由運動檢測部12取得的每個部分區(qū)域的運動信息而判定運動體的邊界區(qū)域(以下，簡單稱為“邊界區(qū)域”)和不是運動體的邊界的區(qū)域(以下，稱為“非邊界區(qū)域”)。為了判定部分區(qū)域是否為邊界區(qū)域，例如，可計算判定對象的部分區(qū)域和與該部分區(qū)域相鄰的周圍的部分區(qū)域之間的局部運動矢量的類似度。

圖3表示運動體在基準圖像200與參照圖像201之間運動時的運動體邊界判定的一例。在圖3中，在對判定對象的部分區(qū)域202判定是否為邊界區(qū)域的情況下，計算部分區(qū)域202和與部分區(qū)域202相鄰的8個部分區(qū)域301～308之間的局部運動矢量，并計算相鄰的部分區(qū)域301～308之間的局部運動矢量的類似度。

在8個相鄰的部分區(qū)域301～308當中，存在局部運動矢量的類似度高的區(qū)域組(部分區(qū)域305,307,308)和類似度低的區(qū)域組(接區(qū)域301～304,306)這兩個區(qū)域組，因此判定為判定對象的部分區(qū)域202是邊界區(qū)域。另外，至于判定對象的部分區(qū)域203，在相鄰的8個部分區(qū)域401～408之間局部運動矢量全部都類似，換言之，可判斷為僅存在類似度高的區(qū)域組，因此判定為非邊界區(qū)域。

濾波處理部16作為被合成圖像生成單元發(fā)揮功能，根據(jù)多個低分辨率圖像或高分辨率圖像而生成比高分辨率圖像更低分辨率的被合成圖像。在本實施方式中，濾波處理部16具備低通效果強的第1低通濾波器及低通效果弱的第2低通濾波器。濾波處理部16對于從對位部13取得的高分辨率圖像，通過第1低通濾波器實施低通效果強的濾波處理而生成被合成圖像，并通過第2低通濾波器實施低通效果弱的濾波處理而生成合成用的高分辨率圖像。

第1低通濾波器，即低通效果強的濾波器是如下的濾波器：例如具備對于根據(jù)相關(guān)信息可設(shè)想出在多個低分辨率圖像之間相關(guān)程度低，并且運動體的對位失敗的區(qū)域等，將運動的被攝體的軌道大大模糊化，盡量使高頻成分衰減的低通濾波器特性，猶如曝光內(nèi)的運動體抖動那樣。

第2低通濾波器，即低通效果弱的濾波器是指如下的濾波器：例如具備盡量保留高分辨率圖像中的邊緣、紋理，去除微小的對位誤差的濾波器特性，使從低域到奈奎斯特頻帶為止的頻率成分通過或進行強調(diào)，僅使高分辨率圖像的奈奎斯特頻率衰減。

另外，由于第1低通濾波器與第2低通濾波器相比其效果強，因此相比于通過第2低通濾波器生成的合成用的高分辨率圖像，通常由通過第1低通濾波器生成的被合成圖像為低分辨率的圖像。

合成比率計算部17根據(jù)相關(guān)信息，針對每個部分區(qū)域計算高分辨率圖像和被合成圖像的合成比率。此時，合成比率計算部17以如下方式針對每個部分區(qū)域計算合成比率：越是相關(guān)性低的區(qū)域，高分辨率圖像的比率越小，越是相關(guān)性高的區(qū)域，高分辨率圖像的比率越大。并且，合成比率計算部17以如下方式計算合成比率：在部分區(qū)域為邊界區(qū)域的情況下，與部分區(qū)域為非邊界區(qū)域的情況相比，高分辨率圖像的比率更小。

圖4表示高分辨率圖像的合成比率的例子。在圖4中，將對非邊界區(qū)域的合成比率示為A，將對邊界區(qū)域的合成比率表示為B。如圖4所示，對非邊界區(qū)域的合成比率A和對邊界區(qū)域的合成比率B均為如下的合成比率：差分值越大的區(qū)域，即相關(guān)性越低的區(qū)域，高分辨率圖像的比率越小，差分值越小的區(qū)域，即相關(guān)性越高的區(qū)域，高分辨率圖像的比率越大。

并且，在對非邊界區(qū)域的合成比率A中，到閾值1為止，將合成比率設(shè)為1，從閾值1到閾值2為止，使合成比率線性地變化，在大于閾值2的情況下，將合成比率設(shè)為0。另外,在對運動體的邊界區(qū)域的合成比率B中，到閾值1’為止，將合成比率設(shè)為1，從閾值1’到閾值2’為止，使合成比率線性地變化，在大于閾值2’的情況下，將合成比率設(shè)為0。閾值1’和閾值2’是分別比閾值1和閾值2小的值。

這樣，以如下方式計算合成比率：在部分區(qū)域為邊界區(qū)域的情況下，與部分區(qū)域為非邊界區(qū)域的情況相比，減小高分辨率圖像的比率。換言之，以如下方式計算合成比率：通過控制閾值，從而在部分區(qū)域為運動體的邊界區(qū)域的情況下和部分區(qū)域為非邊界區(qū)域的情況下，即便具備彼此相同的差分值(相關(guān)信息)，在邊界區(qū)域的情況下，高分辨率圖像的比率更小。

另外，例如，關(guān)于合成比率，也可以直接應用與圖4的A的相關(guān)信息(差分值)對應的合成比率，并根據(jù)是邊界區(qū)域還是非邊界區(qū)域來校正由相關(guān)計算部計算的差分值ΔG本身。換言之，在將利用任意的系數(shù)α校正了差分值ΔG而獲得的差分值設(shè)為ΔG’時，利用ΔG’＝α×ΔG的式子來校正差分值，并利用該差分值ΔG’來計算合成比率。例如，如果在邊界區(qū)域設(shè)為α＝1.5，在非邊界區(qū)域設(shè)為α＝1.0來校正差分值，則邊界區(qū)域更能夠在使合成比率接近0的方向上提高差分值的貢獻度。

另外，被合成圖像的合成比率如下。

被合成圖像的合成比率＝1-高分辨率圖像的合成比率

圖像合成部18按照合成比率而生成合成用的高分辨率圖像與被合成圖像的合成圖像，并輸出所生成的合成圖像。

在這樣構(gòu)成的本實施方式的圖像處理裝置中，進行如下的圖像處理，即所謂超分辨處理。

首先，圖像取得部11按照時間序列取得多個低分辨率圖像，并臨時存儲到幀存儲器24。接著，運動檢測部12檢測存儲在幀存儲器24中的多個低分辨率圖像之間的運動，并將所檢測出的運動輸出到對位部13及運動體邊界判定部14。

對位部13根據(jù)在運動檢測部12中檢測出的運動或從傳感器位移控制部23輸出的位移信息而在高分辨率圖像空間上對多個低分辨率圖像進行對位，從而生成高分辨率圖像，并將高分辨率圖像輸出到相關(guān)計算部14及濾波處理部16。在相關(guān)計算部14中，相關(guān)計算部14作為相關(guān)信息而計算在對位部13針對每個顏色通道而在高分辨率圖像空間上進行了像素配置的高分辨率圖像上的同一位置的Gr像素和Gb像素的差分值ΔG＝(|Gr-Gb|)，并輸出到合成比率計算部17。運動體邊界判定部15根據(jù)運動而判定各個部分區(qū)域是運動體的邊界區(qū)域還是非邊界區(qū)域，并將判定結(jié)果輸出到合成比率計算部17。

濾波處理部16對于高分辨率圖像應用第1低通濾波器來生成被合成圖像，并應用第2低通濾波器生成合成用的高分辨率圖像，將被合成圖像和合成用的高分辨率圖像輸出到圖像合成部18。

合成比率計算部17根據(jù)相關(guān)信息及該部分區(qū)域是否為邊界區(qū)域，針對每個部分區(qū)域計算合成比率。

圖像合成部18按照由合成比率計算部17計算的合成比率而將被合成圖像與合成用的高分辨率圖像合成，從而生成合成圖像。

根據(jù)本實施方式，在計算每個部分區(qū)域的合成比率時，根據(jù)相關(guān)信息及該部分區(qū)域是否為邊界區(qū)域而針對每個部分區(qū)域計算合成比率。換言之，在差分值大且部分區(qū)域之間的相關(guān)性低的情況下，對位失敗的可能性高，因此使應用了低通效果弱的濾波器的高分辨率圖像的合成比率小，并使應用了低通效果強的濾波器的低分辨率的被合成圖像的合成比率大。

并且，在邊界區(qū)域中，與不是運動體邊界的區(qū)域相比，根據(jù)相關(guān)信息，更低分辨率的被合成圖像的合成比率更容易變大。從而，能夠可靠地減少在運動體邊界容易發(fā)生的殘像、偽影，并通過在不是運動體邊界的背景等的區(qū)域中增大高分辨率圖像的合成比率，從而能夠提高分辨率。換言之，能夠在抑制計算成本的同時，減少多重像、偽影，取得良好地提高了分辨率的圖像。

(第2實施方式)

下面，參照附圖，對本發(fā)明的第2實施方式的圖像處理裝置進行說明。本實施方式的圖像處理裝置代替第1實施方式的圖像處理裝置中的濾波處理部16而具備放大處理部19。在本實施方式的圖像處理裝置中，對于與第1實施方式的圖像處理裝置相同的結(jié)構(gòu)，賦予相同的標號，并省略其說明。

如圖5所示，在本實施方式中，具備作為被合成圖像生成單元的放大處理部19，放大處理部19從幀存儲器24直接輸入低分辨率圖像。

在放大處理部19中，從幀存儲器24取得多個低分辨率圖像當中的基準圖像，并將該基準圖像放大成與在對位部13中生成的高分辨率圖像相同的分辨率，將放大基準圖像生成為被合成圖像，并輸出到圖像合成部18。在圖像合成部18中，按照由合成比率計算部17計算的合成比率而將從合成對位部13輸出的高分辨率圖像與作為被合成圖像的放大基準圖像合成，從而生成合成圖像。關(guān)于合成比率計算部17中的合成比率的計算，通過與上述的第1實施方式相同的方式進行。

因此，通過本實施方式的圖像處理裝置，減少在運動體邊界容易產(chǎn)生的殘像、偽影，而在不是運動體邊界的背景等的區(qū)域中提高配置了多個像素而構(gòu)成的高分辨率圖像的合成比率，從而能夠提高分辨率。

換言之，能夠在抑制計算成本的同時，減少多重像、偽影，取得良好地提高了分辨率的圖像。

另外，在上述的各個實施方式中，對生成比通過圖像取得部取得的多張輸入圖像更高分辨率的圖像的例子進行了說明，但也可將上述圖像處理裝置應用于生成與輸入圖像相同的分辨率的圖像那樣的基于多張合成的降低噪聲、高動態(tài)范圍化等的處理中。

并且，上述的各個實施方式中的圖像處理裝置可設(shè)置于數(shù)碼相機等的圖像處理裝置的內(nèi)部。并且，也可以是由一般的或?qū)Ｓ玫挠嬎銠C來展開進行上述圖像處理的圖像處理程序并執(zhí)行的結(jié)構(gòu)，即可通過一般的或?qū)Ｓ玫挠嬎銠C而實現(xiàn)上述圖像處理裝置。

另外，進行上述圖像處理的圖像處理程序可預先存儲在計算機，也可存儲于磁盤、光磁盤、CD-ROM、DVD-ROM、半導體存儲器等計算機可讀取的存儲介質(zhì)。

標號說明

11 圖像取得部

12 運動檢測部

13 對位部

14 相關(guān)計算部

15 運動體邊界判定部

16 濾波處理部(被合成圖像生成單元)

17 合成比率計算部

18 圖像合成部

19 放大處理部

21 攝像元件

22 位移機構(gòu)(移動單元)

23 傳感器位移控制部(移動控制單元)