圖像處理裝置、具有該圖像處理裝置的攝像裝置、圖像處理方法和圖像處理程序的制作方法
【專利摘要】圖像處理裝置(1)是對使用包含多個(gè)像素且根據(jù)所述像素的位置應(yīng)用至少2種不同的曝光時(shí)間的攝像元件得到的圖像數(shù)據(jù)實(shí)施圖像處理的圖像處理裝置。圖像處理裝置(1)具有抖動(dòng)量估計(jì)部(104)和校正部(122)。抖動(dòng)量估計(jì)部(104)估計(jì)圖像數(shù)據(jù)中存在的像抖動(dòng)量。校正部(122)根據(jù)所述像抖動(dòng)量對所述圖像數(shù)據(jù)實(shí)施校正。
【專利說明】
圖像處理裝置、具有該圖像處理裝置的攝像裝置、圖像處理方法和圖像處理程序
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及圖像處理裝置、具有該圖像處理裝置的攝像裝置、圖像處理方法和圖像處理程序。
【背景技術(shù)】
[0002]在將由光學(xué)系統(tǒng)形成的光學(xué)像轉(zhuǎn)換為電信號(hào)的攝像元件中，公知有構(gòu)成為一部分像素輸出焦點(diǎn)檢測用的信號(hào)的攝像元件。例如在日本特開2000-156823號(hào)公報(bào)中公開了為了使一部分像素具有基于光瞳相位差方式的測距功能而對該像素的受光面的一部分進(jìn)行遮光的攝像元件的技術(shù)。由這種具有測距功能的相位差像素取得的信息例如用于將光學(xué)系統(tǒng)驅(qū)動(dòng)到對焦位置的自動(dòng)對焦處理。并且，在日本特開2011-124704號(hào)公報(bào)中公開了如下技術(shù):對相位差像素的信息進(jìn)行增益校正運(yùn)算，將由相位差像素取得的信息用于顯示用或記錄用的圖像生成。
[0003]在相位差像素中，優(yōu)選進(jìn)行適當(dāng)?shù)钠毓饪刂埔赃M(jìn)行測距。因此，提出了如下方法:在暗處等很難取得相位差信息的狀況下，僅針對相位差像素，與用于取得圖像信號(hào)的通常像素相比，延長曝光時(shí)間。但是，當(dāng)相位差像素和通常像素的曝光時(shí)間不同時(shí)，在進(jìn)行運(yùn)動(dòng)體拍攝等時(shí)，由于曝光時(shí)間的差異，在由相位差像素取得的像和由通常像素取得的像中，像抖動(dòng)量可能產(chǎn)生差異。如日本特開2011-124704號(hào)公報(bào)所公開的技術(shù)那樣，當(dāng)由相位差像素取得的信息用于顯示用或記錄用的圖像時(shí)，可能產(chǎn)生由于像抖動(dòng)量的差異反映到所生成的圖像中而導(dǎo)致的圖像劣化。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于，提供圖像處理裝置、具有該圖像處理裝置的攝像裝置、圖像處理方法和圖像處理程序，對使用根據(jù)像素而應(yīng)用至少2種不同的曝光時(shí)間的攝像元件得到的圖像實(shí)施減少圖像劣化的圖像處理。
[0005]為了實(shí)現(xiàn)所述目的，根據(jù)本發(fā)明的一個(gè)方式，圖像處理裝置對使用包含多個(gè)像素且根據(jù)所述像素的位置應(yīng)用至少2種不同曝光時(shí)間的攝像元件得到的圖像數(shù)據(jù)實(shí)施圖像處理，所述圖像處理裝置具有:抖動(dòng)量估計(jì)部，其估計(jì)所述圖像數(shù)據(jù)中存在的像抖動(dòng)量；以及校正部，其根據(jù)所述像抖動(dòng)量對所述圖像數(shù)據(jù)實(shí)施校正。
[0006]為了實(shí)現(xiàn)所述目的，根據(jù)本發(fā)明的一個(gè)方式，攝像裝置具有所述攝像元件和所述圖像處理裝置。
[0007]為了實(shí)現(xiàn)所述目的，根據(jù)本發(fā)明的一個(gè)方式，圖像處理方法針對使用包含多個(gè)像素的攝像元件得到的圖像數(shù)據(jù)，所述攝像元件根據(jù)所述像素的位置應(yīng)用至少2種不同的曝光時(shí)間，所述圖像處理方法包括以下步驟:估計(jì)所述圖像數(shù)據(jù)中存在的抖動(dòng)量的步驟；以及根據(jù)所述像抖動(dòng)量對所述圖像數(shù)據(jù)實(shí)施校正的步驟。
[0008]為了實(shí)現(xiàn)所述目的，根據(jù)本發(fā)明的一個(gè)方式，圖像處理程序用于使計(jì)算機(jī)執(zhí)行針對使用包含多個(gè)像素的攝像元件得到的圖像數(shù)據(jù)的圖像處理，所述攝像元件根據(jù)所述像素應(yīng)用至少2種不同的曝光時(shí)間，其中，所述圖像處理程序用于使計(jì)算機(jī)執(zhí)行以下步驟:估計(jì)所述圖像數(shù)據(jù)中存在的像抖動(dòng)量的步驟；以及根據(jù)所述像抖動(dòng)量對所述圖像數(shù)據(jù)實(shí)施校正的步驟。
[0009]根據(jù)本發(fā)明，能夠提供對使用根據(jù)像素應(yīng)用至少2種不同的曝光時(shí)間的攝像元件得到的圖像實(shí)施減少圖像劣化的圖像處理的圖像處理裝置、具有該圖像處理裝置的攝像裝置、圖像處理方法和圖像處理程序。
【附圖說明】
[0010]圖1是示出本發(fā)明的一個(gè)實(shí)施方式的攝像裝置的結(jié)構(gòu)例的概略的框圖。
[0011]圖2是示出一個(gè)實(shí)施方式的攝像元件的結(jié)構(gòu)例的概略的圖。
[0012]圖3A是用于說明使用一個(gè)實(shí)施方式的攝像元件的基于相位差法的焦點(diǎn)檢測的原理的圖。
[0013]圖3B是用于說明使用一個(gè)實(shí)施方式的攝像元件的基于相位差法的焦點(diǎn)檢測的原理的圖。
[0014]圖4A是用于說明一個(gè)實(shí)施方式的實(shí)時(shí)取景顯示時(shí)進(jìn)行的獨(dú)立電子快門的時(shí)序圖。
[0015]圖4B是用于說明一個(gè)實(shí)施方式的實(shí)時(shí)取景顯示時(shí)進(jìn)行的獨(dú)立電子快門的時(shí)序圖。
[0016]圖4C是用于說明比較例的實(shí)時(shí)取景顯示時(shí)進(jìn)行的電子快門的時(shí)序圖。
[0017]圖5是示出一個(gè)實(shí)施方式的圖像處理部的結(jié)構(gòu)例的概略的框圖。
[0018]圖6是示出一個(gè)實(shí)施方式的動(dòng)態(tài)圖像記錄處理的一例的流程圖。
[0019]圖7是示出一個(gè)實(shí)施方式的像素校正處理的一例的流程圖。
[0020]圖8A是示出一個(gè)實(shí)施方式的運(yùn)動(dòng)體的移動(dòng)量與第I利用比例的關(guān)系的一例的圖。
[0021]圖SB是示出一個(gè)實(shí)施方式的曝光時(shí)間差與第2利用比例的關(guān)系的一例的圖。
【具體實(shí)施方式】
[0022]參照附圖對本發(fā)明的一個(gè)實(shí)施方式進(jìn)行說明。圖1是示出作為本發(fā)明的一個(gè)實(shí)施方式的攝像裝置的一例的數(shù)字照相機(jī)I的結(jié)構(gòu)的框圖。這里，在圖1中，帶箭頭的實(shí)線表示數(shù)據(jù)流，帶箭頭的虛線表示控制信號(hào)流。
[0023]圖1所示的數(shù)字照相機(jī)I具有攝影鏡頭11、光圈13、機(jī)械快門15、驅(qū)動(dòng)部17、操作部19、攝像元件21、攝像控制電路23、A-AMP25、模擬數(shù)字轉(zhuǎn)換器(ADC)27、CPU(CentralProcessing Unit)29、圖像處理部31、作為曝光控制部發(fā)揮功能的曝光控制電路33、視頻編碼器35、顯不部37、總線39、DRAM(Dynamic Random Access Memory)41、R0M(Read OnlyMemory) 43、記錄介質(zhì)45、陀螺儀傳感器47、加速度傳感器49。
[0024]攝影鏡頭11是用于在攝像元件21上形成被攝體100的像的由一個(gè)或多個(gè)透鏡構(gòu)成的光學(xué)系統(tǒng)。攝影鏡頭11可以是單焦點(diǎn)鏡頭，也可以是變焦鏡頭。光圈13配置在攝影鏡頭11的光軸上，構(gòu)成為其口徑能夠變化。光圈13限制穿過攝影鏡頭11的來自被攝體100的光束的量。機(jī)械快門15配置在光圈13的后方，構(gòu)成為開閉自如。機(jī)械快門15通過調(diào)節(jié)其開放時(shí)間，對從被攝體100到來的被攝體光束入射到攝像元件21的入射時(shí)間進(jìn)行調(diào)節(jié)。即，機(jī)械快門15對攝像元件21的曝光時(shí)間進(jìn)行調(diào)整。作為機(jī)械快門15，可以采用公知的焦面快門、中心式快門等。驅(qū)動(dòng)部17根據(jù)來自CPU29的控制信號(hào)進(jìn)行攝影鏡頭11的焦點(diǎn)調(diào)節(jié)、光圈13的開口直徑控制和機(jī)械快門15的開閉控制。
[0025]操作部19包括電源按鈕、釋放按鈕、再現(xiàn)按鈕、菜單按鈕這樣的各種操作按鈕和觸摸面板等各種操作部件。能夠通過基于CPU29的處理來識(shí)別針對該操作部19的輸入。
[0026]攝像元件21配置在攝影鏡頭11的光軸上、且機(jī)械快門15的后方，并且通過攝影鏡頭11使被攝體光束成像的位置。攝像元件21構(gòu)成為二維配置有構(gòu)成像素的光電二極管。構(gòu)成攝像元件21的光電二極管生成與受光量對應(yīng)的電荷。光電二極管產(chǎn)生的電荷蓄積在與各光電二極管連接的電容器中。該電容器中蓄積的電荷被作為圖像信號(hào)讀出。這里，本實(shí)施方式中的攝像元件21具有多個(gè)不同的電荷的讀出方式。根據(jù)來自攝像控制電路23的控制信號(hào)讀出攝像元件21中蓄積的電荷。
[0027]在構(gòu)成像素的光電二極管的前表面配置有例如拜耳排列的濾色器。拜耳排列具有在水平方向上交替配置R像素和G(Gr)像素的行、以及交替配置G(Gb)像素和B像素的行。
[0028]并且，在本實(shí)施方式中的攝像元件21中，在一部分配置有相位差檢測像素。即，在攝像元件21中，除了用于取得記錄或顯示用的圖像的攝像像素以外，還設(shè)置有相位差檢測像素。在相位差檢測像素中，與其他像素不同，對一部分區(qū)域進(jìn)行遮光。該相位差檢測像素作為焦點(diǎn)檢測所使用的焦點(diǎn)檢測像素發(fā)揮功能。
[0029]使用圖2對攝像元件21的結(jié)構(gòu)進(jìn)行說明。圖2是示出攝像元件21的像素排列的示意圖。在圖2中，“R”表示設(shè)有紅色濾色器的R像素，“G”表示設(shè)有綠色濾色器的G像素，“B”表示設(shè)有藍(lán)色濾色器的B像素。并且，涂滿黑色的區(qū)域表示被遮光的區(qū)域。圖2示出拜耳排列的例子，但是，濾色器的排列不限于拜耳排列，可以使用各種排列。
[0030]如上所述，拜耳排列的攝像元件21具有在水平方向上交替配置R像素和G(Gr)像素的行、以及交替配置G(Gb)像素和B像素的行。換言之，拜耳排列的攝像元件21在水平和垂直方向上反復(fù)配置Gr像素、R像素、Gb像素、B像素這4個(gè)像素的組。
[0031]在本實(shí)施方式中，與設(shè)有紅色濾色器、綠色濾色器或藍(lán)色濾色器的通常像素21a混合來配置設(shè)有遮光膜的相位差檢測像素21b。相位差檢測像素例如是通過遮光膜對左右的任意區(qū)域進(jìn)行遮光的像素。在圖2的例子中，交替配置設(shè)有對左半面進(jìn)行遮光的相位差檢測像素(以下稱為右開口相位差檢測像素)的行和設(shè)有對右半面進(jìn)行遮光的相位差檢測像素(以下稱為左開口相位差檢測像素)的行。
[0032]在高像素?cái)?shù)的攝像元件的情況下，由于各個(gè)像素的面積較小，所以，認(rèn)為在接近配置的像素中形成大致相同的像。因此，通過如圖2所示配置相位差檢測像素，能夠利用接近的右開口相位差檢測像素和左開口相位差檢測像素的對兒來檢測相位差。
[0033]這里，在圖2的例子中，相位差檢測像素中的遮光的區(qū)域被設(shè)為左右的任意區(qū)域。該情況下，能夠檢測水平相位差。與此相對，通過使遮光的區(qū)域成為上下的任意區(qū)域、或者成為傾斜方向的區(qū)域，能夠檢測垂直相位差或傾斜方向的相位差。并且，只要具有某種程度的面積即可，遮光面積也可以不是像素區(qū)域的1/2。進(jìn)而，在圖2所示的例子中，相位差檢測像素配置在G像素中，但是，也可以配置在G像素以外的R像素、B像素中的任意一方中。
[0034]并且，圖2的例子示出了通過對相位差檢測像素的一部分區(qū)域進(jìn)行遮光來進(jìn)行光瞳分割的例子，但是，相位差檢測像素只要能夠選擇性地接收穿過攝影鏡頭11的不同光瞳區(qū)域的成對兒的被攝體光束中的一方即可。因此，也可以不采用對一部分區(qū)域進(jìn)行遮光的結(jié)構(gòu)，例如可以通過光瞳分割用的微鏡頭進(jìn)行光瞳分割。
[0035]參照圖3A和圖3B對使用圖2所示的攝像元件的基于相位差法的焦點(diǎn)檢測的原理進(jìn)行說明。這里，圖3A示出通常像素21a中的成像狀態(tài)。圖3B示出相位差檢測像素21b中的成像狀態(tài)。
[0036]當(dāng)設(shè)被攝體為點(diǎn)光源時(shí)，在攝影鏡頭11為對焦?fàn)顟B(tài)時(shí)，從被攝體射出且穿過關(guān)于攝影鏡頭11的光軸中心對稱的不同光瞳區(qū)域的成對兒的被攝體光束在攝像元件21上的同一位置成像。
[0037]另一方面，在攝影鏡頭11為非對焦?fàn)顟B(tài)時(shí)，從被攝體射出且穿過攝影鏡頭11的不同光瞳區(qū)域的成對兒的被攝體光束在攝像元件21上的不同位置成像。換言之，在由這些成對兒的被攝體光束形成的像之間產(chǎn)生相位差。根據(jù)在右開口相位差檢測像素和左開口相位差檢測像素中分別檢測到的像的相關(guān)關(guān)系來檢測該相位差，由此，能夠檢測攝影鏡頭11的散焦量和散焦方向。
[0038]另外，由于相位差檢測像素21b的一部分區(qū)域被遮光，所以，產(chǎn)生光量的降低。除了相位差檢測像素21b中形成的遮光膜的面積以外，該光量的降低還根據(jù)遮光膜的位置、入射到相位差檢測像素21b的光的角度、像高而不同。
[0039]攝像控制電路23根據(jù)來自CPU29的控制信號(hào)設(shè)定攝像元件21的讀出方式，根據(jù)所設(shè)定的讀出方式對來自攝像元件21的圖像信號(hào)的讀出進(jìn)行控制。根據(jù)數(shù)字照相機(jī)I的動(dòng)作狀態(tài)來設(shè)定來自攝像元件21的像素?cái)?shù)據(jù)的讀出方式。例如，在來自攝像元件21的像素?cái)?shù)據(jù)的讀出要求實(shí)時(shí)性的情況下(例如實(shí)時(shí)取景顯示時(shí)或動(dòng)態(tài)圖像記錄時(shí))，為了能夠高速進(jìn)行像素?cái)?shù)據(jù)的讀出，混合讀出來自多個(gè)相同顏色像素的像素?cái)?shù)據(jù)，或間疏讀出特定像素的像素?cái)?shù)據(jù)。另一方面，在與實(shí)時(shí)性相比更加要求畫質(zhì)的情況下(例如靜態(tài)圖像的記錄時(shí))，不進(jìn)行混合讀出或間疏讀出，通過讀出全部像素的像素?cái)?shù)據(jù)來維持分辨率。
[0040]A-AMP25進(jìn)行從攝像元件21輸出的圖像信號(hào)的模擬增益調(diào)整。ADC27是模擬數(shù)字轉(zhuǎn)換器，將由A-AMP25進(jìn)行模擬增益調(diào)整后的圖像信號(hào)轉(zhuǎn)換為數(shù)字形式的圖像信號(hào)(像素?cái)?shù)據(jù))。下面，在本說明書中，將多個(gè)像素?cái)?shù)據(jù)的集合記載為攝像數(shù)據(jù)。
[0041 ] CPU29根據(jù)后述R0M43中存儲(chǔ)的程序進(jìn)行數(shù)字照相機(jī)I的整體控制。并且，CPU29根據(jù)陀螺儀傳感器47或加速度傳感器49的輸出來計(jì)算數(shù)字照相機(jī)I的移動(dòng)量，將計(jì)算結(jié)果保存在DRAM41中。
[0042]圖像處理部31例如由ASIC(Applicat1n Specific Integrated Circuit)構(gòu)成。圖像處理部31對攝像數(shù)據(jù)實(shí)施各種圖像處理并生成圖像數(shù)據(jù)。例如，圖像處理部31在靜態(tài)圖像的記錄時(shí)，實(shí)施靜態(tài)圖像記錄用的圖像處理并生成靜態(tài)圖像數(shù)據(jù)。同樣，圖像處理部31在動(dòng)態(tài)圖像的記錄時(shí)，實(shí)施動(dòng)態(tài)圖像記錄用的圖像處理并生成動(dòng)態(tài)圖像數(shù)據(jù)。進(jìn)而，圖像處理部31在實(shí)時(shí)取景顯示時(shí)，實(shí)施顯示用的圖像處理并生成顯示用圖像數(shù)據(jù)。并且，圖像處理部31從DRAM41中讀出圖像數(shù)據(jù)和數(shù)字照相機(jī)I的移動(dòng)量，進(jìn)行圖像處理，將圖像處理后的數(shù)據(jù)作為記錄用圖像數(shù)據(jù)寫回到DRAM中。
[0043]曝光控制電路33例如由ASIC構(gòu)成。曝光控制電路33例如根據(jù)攝像數(shù)據(jù)計(jì)算曝光值，根據(jù)計(jì)算出的曝光值來調(diào)整快門速度、光圈值和感光度。
[0044]通過電子快門，以不同的快門速度對本實(shí)施方式的通常像素和相位差像素進(jìn)行控制。即，與通常像素相比，相位差像素的開口面積較小，所以，當(dāng)要使用在相位差像素和通常像素中以相同曝光時(shí)間得到的數(shù)據(jù)生成圖像時(shí)，在相位差像素的部分中，光量不足。因此，在相位差像素和通常像素中要得到同等曝光量時(shí)，調(diào)整成相位差像素的曝光時(shí)間比通常像素的曝光時(shí)間長。將這種以不同的快門速度對相位差像素和通常像素進(jìn)行控制的機(jī)構(gòu)稱為獨(dú)立電子快門。曝光控制電路33還進(jìn)行獨(dú)立電子快門的快門速度的設(shè)定。
[0045]在本實(shí)施方式中，示出設(shè)置覆蓋像素的一部分以進(jìn)行相位差檢測的相位差像素的例子。獨(dú)立電子快門不限于在具有這種相位差像素的攝像元件中使用，還能夠在各種用途中使用。例如，為了擴(kuò)大動(dòng)態(tài)范圍，可以調(diào)整為曝光時(shí)間在一部分像素和其他像素中不同。根據(jù)曝光時(shí)間按照每個(gè)像素而不同的攝像數(shù)據(jù)，能夠?qū)崿F(xiàn)高動(dòng)態(tài)范圍的圖像數(shù)據(jù)的取得。這樣，根據(jù)獨(dú)立電子快門，能夠?qū)崿F(xiàn)各種功能。在以后的說明中，將為了實(shí)現(xiàn)規(guī)定功能而應(yīng)用與其他像素不同的曝光時(shí)間的像素稱為功能像素，將除此以外的通常像素稱為非功能像素。本實(shí)施方式的技術(shù)不限于相位差檢測的技術(shù)，能夠應(yīng)用于存在功能像素和非功能像素的各種技術(shù)。
[0046]在本實(shí)施方式中，參照圖4A和圖4B所示的時(shí)序圖對實(shí)時(shí)取景顯示時(shí)進(jìn)行的獨(dú)立電子快門進(jìn)行說明。圖4A示出低亮度時(shí)的動(dòng)作的時(shí)序圖，圖4B示出高亮度時(shí)的動(dòng)作的時(shí)序圖。在本實(shí)施方式中，分別獨(dú)立地控制功能像素和非功能像素。在圖4A和圖4B中，上段分別示出通常像素等非功能像素的動(dòng)作，下段分別示出例如相位差像素這樣的功能像素的動(dòng)作。
[0047]對圖4A所示的低亮度時(shí)的動(dòng)作進(jìn)行說明。非功能像素的時(shí)序圖和功能像素的時(shí)序圖各自的第I段的示出為“VD”的部分表示控制計(jì)數(shù)器。在本實(shí)施方式中，表示30幀/秒的情況，控制計(jì)數(shù)器按照每33ms產(chǎn)生脈沖。非功能像素的時(shí)序圖和功能像素的時(shí)序圖各自的第2段表示攝像元件21中進(jìn)行的曝光的定時(shí)。非功能像素的時(shí)序圖和功能像素的時(shí)序圖各自的第3段表示曝光數(shù)據(jù)的讀出的定時(shí)。
[0048]調(diào)整成非功能像素的曝光的結(jié)束與控制計(jì)數(shù)器變化的定時(shí)一致。調(diào)整成功能像素的曝光的結(jié)束與非功能像素的曝光的結(jié)束同時(shí)。因此，非功能像素的曝光的開始和功能像素的曝光的開始的定時(shí)不同。在低亮度時(shí)，調(diào)整成功能像素的曝光時(shí)間比非功能像素的曝光時(shí)間長，以使得能夠在暗處進(jìn)行焦點(diǎn)檢測。分別在控制計(jì)數(shù)器變化后進(jìn)行非功能像素的讀出和功能像素的讀出。
[0049]在圖4B所示的高亮度時(shí)，與低亮度時(shí)的情況同樣，調(diào)整成非功能像素及曝光像素的曝光的結(jié)束均與控制計(jì)數(shù)器變化的定時(shí)一致。并且，分別在控制計(jì)數(shù)器變化后進(jìn)行非功能像素的讀出和功能像素的讀出。在高亮度時(shí)，調(diào)整成功能像素的曝光時(shí)間比非功能像素的曝光時(shí)間短，以使得例如即使逆光也能夠進(jìn)行焦點(diǎn)檢測。
[0050]作為比較例，圖4C示出依次切換非功能像素的曝光和功能像素的曝光的情況下的時(shí)序圖。如圖4C所示，在比較例的情況下，在非功能像素用的曝光后，與其讀出同時(shí)進(jìn)行模式切換，接著進(jìn)行功能像素用的曝光，然后與讀出同時(shí)進(jìn)行模式切換。在該比較例這樣的動(dòng)作中，圖像取得不連續(xù)，無法得到平滑的動(dòng)態(tài)圖像。與此相對，根據(jù)本實(shí)施方式的獨(dú)立電子快門，得到平滑的圖像，并且功能像素的功能的亮度健全性大幅提高。
[0051]曝光控制電路33從DRAM41中取得像素?cái)?shù)據(jù)，計(jì)算功能像素和非功能像素的電子快門速度。曝光控制電路33將計(jì)算出的功能像素和非功能像素的電子快門速度保存在DRAM41中。CPU29根據(jù)該電子快門速度，使攝像控制電路23進(jìn)行基于不同快門速度的攝像。
[0052]視頻編碼器35讀出由圖像處理部31生成并暫時(shí)存儲(chǔ)在DRAM41中的顯示用圖像數(shù)據(jù)，將所讀出的顯示用圖像數(shù)據(jù)輸出到顯示部37。
[0053]顯示部37例如是液晶顯示器或有機(jī)EL顯示器這樣的顯示部，例如配置在數(shù)字照相機(jī)I的背面等。該顯示部37根據(jù)從視頻編碼器35輸入的顯示用圖像數(shù)據(jù)來顯示圖像。顯示部37用于實(shí)時(shí)取景顯示和已記錄圖像的顯示等。
[0054]總線39與ADC27、CPU29、圖像處理部31、曝光控制電路33、視頻編碼器35、DRAM41、R0M43、記錄介質(zhì)45、陀螺儀傳感器47和加速度傳感器49連接。這些各部中產(chǎn)生的各種數(shù)據(jù)經(jīng)由總線39進(jìn)行轉(zhuǎn)送。
[0055]DRAM41是可電改寫的存儲(chǔ)器，暫時(shí)存儲(chǔ)所述攝像數(shù)據(jù)(像素?cái)?shù)據(jù))、記錄用圖像數(shù)據(jù)、顯示用圖像數(shù)據(jù)、數(shù)字照相機(jī)I的移動(dòng)量數(shù)據(jù)、CPU 29中的處理數(shù)據(jù)這樣的各種數(shù)據(jù)。另夕卜，也可以使用SDRAM(Synchronous Dynamic Random Access Memory)來進(jìn)行暫時(shí)存儲(chǔ)。
[0056]作為存儲(chǔ)部的一例發(fā)揮功能的R0M43是掩模ROM或閃存等非易失性存儲(chǔ)器。R0M43存儲(chǔ)CPU29中使用的程序、數(shù)字照相機(jī)I的調(diào)整值等各種數(shù)據(jù)。
[0057]記錄介質(zhì)45構(gòu)成為內(nèi)置或自由裝填在數(shù)字照相機(jī)I中，將記錄用圖像數(shù)據(jù)記錄為規(guī)定形式的圖像文件。
[0058]陀螺儀傳感器47是用于檢測伴隨數(shù)字照相機(jī)I的姿勢變化而產(chǎn)生的角速度的傳感器。陀螺儀傳感器47將表示檢測到的角速度的數(shù)據(jù)保存在DRAM41中。加速度傳感器49是用于檢測伴隨數(shù)字照相機(jī)I的姿勢變化而產(chǎn)生的加速度的傳感器。加速度傳感器49將表示檢測到的加速度的數(shù)據(jù)保存在DRAM41中。如上所述，這些數(shù)據(jù)由CPU29進(jìn)行處理。
[0059]在本實(shí)施方式中，在數(shù)字照相機(jī)I和被攝體靜止時(shí)，通過使用獨(dú)立電子快門的拍攝，也不會(huì)妨礙圖像。但是，例如在被攝體移動(dòng)時(shí)，當(dāng)曝光時(shí)間在功能像素和非功能像素中不同時(shí)，僅在功能像素的部分中，像抖動(dòng)產(chǎn)生差異，成為不自然的圖像。在本實(shí)施方式中，為了防止該局部的像抖動(dòng)的差異，在產(chǎn)生局部的像抖動(dòng)的狀況下，功能像素的信息利用周邊的非功能像素的信息進(jìn)行插值。另一方面，在未產(chǎn)生局部的像抖動(dòng)的狀況下，使用功能像素的信息作為圖像信息。圖像處理部31進(jìn)行這種用于防止像抖動(dòng)的差異的動(dòng)作。
[0060]圖5是示出圖像處理部31的詳細(xì)結(jié)構(gòu)的圖。在圖5中，省略圖像處理部31以外的塊的圖示。圖像處理部31具有白平衡(WB)校正處理部102、抖動(dòng)量估計(jì)部104、曝光時(shí)間差計(jì)算部106、校正方法判斷部108、增益校正/周邊插值部122、同時(shí)化處理部124、亮度特性轉(zhuǎn)換部126、邊緣強(qiáng)調(diào)處理部128、噪聲降低(NR)處理部130、顏色再現(xiàn)處理部132。除此以外省略圖示，但是，圖像處理部31還具有壓縮解壓縮處理部等。
[0061]WB校正處理部102通過以規(guī)定增益量對攝像數(shù)據(jù)的各顏色成分進(jìn)行放大，對圖像的顏色平衡進(jìn)行校正。
[0062]抖動(dòng)量估計(jì)部104取得數(shù)字照相機(jī)I的像移動(dòng)量，該數(shù)字照相機(jī)I的像移動(dòng)量是根據(jù)基于陀螺儀傳感器47和加速度傳感器49取得的信息計(jì)算出的角速度和加速度而計(jì)算出的。并且，抖動(dòng)量估計(jì)部104取得根據(jù)公知的塊匹配等運(yùn)算而計(jì)算出的圖像內(nèi)的每個(gè)區(qū)域的運(yùn)動(dòng)向量。抖動(dòng)量估計(jì)部104根據(jù)數(shù)字照相機(jī)I的移動(dòng)量和圖像內(nèi)的每個(gè)區(qū)域的運(yùn)動(dòng)向量，計(jì)算每個(gè)區(qū)域的像移動(dòng)的量即像抖動(dòng)量。
[0063]曝光時(shí)間差計(jì)算部106在根據(jù)各個(gè)用途而以適當(dāng)曝光條件驅(qū)動(dòng)功能像素和非功能像素的控制中，計(jì)算功能像素和非功能像素的快門速度的差分即曝光時(shí)間差。
[0064]校正方法判斷部108具有手法判斷部112和混合比例計(jì)算部114。手法判斷部112根據(jù)抖動(dòng)量估計(jì)部104計(jì)算出的每個(gè)區(qū)域的抖動(dòng)量以及曝光時(shí)間差計(jì)算部106計(jì)算出的功能像素與非功能像素的曝光時(shí)間差，判斷是否使用周邊像素值對功能像素進(jìn)行校正。在手法判斷部112判斷為使用周邊像素值對功能像素進(jìn)行校正的情況下，混合比例計(jì)算部114根據(jù)抖動(dòng)量估計(jì)部104計(jì)算出的抖動(dòng)量和曝光時(shí)間差計(jì)算部106計(jì)算出的曝光時(shí)間差，決定對功能像素自身的像素值和周邊像素的像素值進(jìn)行加權(quán)混合時(shí)使用的加權(quán)。
[0065]增益校正/周邊插值部122作為對圖像實(shí)施校正的校正部發(fā)揮功能。增益校正/周邊插值部122根據(jù)混合比例計(jì)算部114計(jì)算出的加權(quán)，對功能像素自身的像素值和周邊像素的像素值進(jìn)行加權(quán)混合。
[0066]同時(shí)化處理部124例如將與拜耳排列對應(yīng)地經(jīng)由攝像元件21輸出的攝像數(shù)據(jù)等的、一個(gè)像素對應(yīng)于一個(gè)顏色成分的攝像數(shù)據(jù)轉(zhuǎn)換為一個(gè)像素對應(yīng)于多個(gè)顏色成分的圖像數(shù)據(jù)。
[0067]亮度特性轉(zhuǎn)換部126對由同時(shí)化處理部124生成的圖像數(shù)據(jù)的亮度特性進(jìn)行轉(zhuǎn)換，以使其適合于顯示或記錄。邊緣強(qiáng)調(diào)處理部128對使用帶通濾波器等從圖像數(shù)據(jù)中提取出的邊緣信號(hào)乘以邊緣強(qiáng)調(diào)系數(shù)，將其結(jié)果與原來的圖像數(shù)據(jù)進(jìn)行相加，由此，對圖像數(shù)據(jù)中的邊緣(輪廓)成分進(jìn)行強(qiáng)調(diào)。NR處理部130使用取芯處理(coring processing)等去除圖像數(shù)據(jù)中的噪聲成分。
[0068]顏色再現(xiàn)處理部132進(jìn)行用于使圖像的顏色再現(xiàn)成為適當(dāng)顏色再現(xiàn)的各種處理。作為該處理，例如存在彩色矩陣運(yùn)算處理。該彩色矩陣運(yùn)算處理是對圖像數(shù)據(jù)乘以例如與白平衡模式對應(yīng)的彩色矩陣系數(shù)的處理。除此之外，顏色再現(xiàn)處理部132進(jìn)行彩度/色相的校正。
[0069]對本實(shí)施方式的數(shù)字照相機(jī)I的動(dòng)作進(jìn)行說明。參照圖6所示的流程圖對本實(shí)施方式的數(shù)字照相機(jī)I進(jìn)行的動(dòng)態(tài)圖像記錄的處理的一例進(jìn)行說明。例如在動(dòng)態(tài)圖像拍攝模式中按壓了釋放按鈕時(shí)，開始進(jìn)行動(dòng)態(tài)圖像記錄。并且，這里，對動(dòng)態(tài)圖像記錄的處理進(jìn)行說明，但是，在靜態(tài)圖像記錄的動(dòng)作中也能夠進(jìn)行同樣的處理。另外，根據(jù)R0M43中存儲(chǔ)的程序，參照圖6說明的處理由CPU29執(zhí)行，或者由ASIC執(zhí)行。這些處理的程序還可以記錄在光盤、磁盤或半導(dǎo)體存儲(chǔ)器等各種記錄介質(zhì)中。
[0070]在SlOl中，CPU29開始進(jìn)行攝像數(shù)據(jù)的取入。這里，CPU29對攝像控制電路23輸入與當(dāng)前的動(dòng)作模式對應(yīng)的設(shè)定數(shù)據(jù)。并且，曝光控制電路33將根據(jù)前幀取得的攝像數(shù)據(jù)決定的獨(dú)立電子快門的曝光時(shí)間輸入到攝像控制電路23。攝像控制電路23根據(jù)這些設(shè)定數(shù)據(jù)，對來自攝像元件21的像素?cái)?shù)據(jù)的讀出進(jìn)行控制。當(dāng)在攝像控制電路23中設(shè)定讀出方式后，根據(jù)攝像控制電路23中設(shè)定的讀出方式，從攝像元件21中讀出進(jìn)行像素混合或像素間疏后的狀態(tài)的圖像信號(hào)。從攝像元件21中讀出的圖像信號(hào)在ADC27中進(jìn)行數(shù)字化后，作為攝像數(shù)據(jù)暫時(shí)存儲(chǔ)在DRAM41中。
[0071]在S102中，曝光控制電路33根據(jù)攝像數(shù)據(jù)決定下一幀的曝光條件。這里，曝光控制電路33分別針對功能像素和非功能像素，計(jì)算適當(dāng)?shù)目扉T速度。這里，功能像素的快門速度和非功能像素的快門速度可以不同。
[0072]在S103中，曝光控制電路33獨(dú)立地設(shè)定功能像素和非功能像素各自的快門速度。所設(shè)定的快門速度暫時(shí)存儲(chǔ)在DRAM41中。該快門速度由攝像控制電路23讀出。攝像控制電路23以所決定的快門速度對攝像元件21進(jìn)行驅(qū)動(dòng)。
[0073]在S104中，CPU29取得陀螺儀傳感器47的輸出和加速度傳感器49的輸出。CPU29根據(jù)陀螺儀傳感器47的輸出來計(jì)算數(shù)字照相機(jī)I的角速度，根據(jù)加速度傳感器49的輸出來計(jì)算數(shù)字照相機(jī)I的加速度。即，CPU29計(jì)算數(shù)字照相機(jī)I的移動(dòng)量。這里，設(shè)根據(jù)陀螺儀傳感器47的輸出而計(jì)算出的值為第I移動(dòng)量m0V_Sum_0。并且，設(shè)根據(jù)加速度傳感器49的輸出而計(jì)算出的值為第2移動(dòng)量mov_sum_i。
[0074]并且，圖像處理部31按照每個(gè)圖像區(qū)域計(jì)算所攝像的圖像中包含的被攝體的移動(dòng)量mov_sum_v。在被攝體的移動(dòng)量的計(jì)算中，例如可以使用基于塊匹配的相關(guān)運(yùn)算等已知的運(yùn)動(dòng)向量計(jì)算方法。
[0075]在S105中，圖像處理部31進(jìn)行本實(shí)施方式的像素校正處理。該像素校正處理是對基于非功能像素的快門速度與功能像素的快門速度的差異而引起的圖像劣化進(jìn)行校正的處理。該像素插值處理在后面寫詳細(xì)敘述。
[0076]在S106中，圖像處理部31對通過像素校正處理校正后的攝像數(shù)據(jù)進(jìn)行圖像處理以用于記錄。在S107中，圖像處理部31將實(shí)施了圖像處理后的圖像數(shù)據(jù)記錄在記錄介質(zhì)中。
[0077]在S108中，CPU29判定是否輸入了動(dòng)態(tài)圖像記錄停止的指示。例如，通過在動(dòng)態(tài)圖像記錄動(dòng)作中按壓釋放按鈕來輸入動(dòng)態(tài)圖像記錄停止的指示。在未輸入動(dòng)態(tài)圖像記錄停止的指示時(shí)，處理返回步驟SlOl。另一方面，在輸入了動(dòng)態(tài)圖像記錄停止的指示時(shí)，本動(dòng)態(tài)圖像記錄處理結(jié)束。
[0078]接著，參照圖7所示的流程圖對像素校正處理進(jìn)行說明。在步驟S201中，抖動(dòng)量估計(jì)部104從DRAM41中取得根據(jù)陀螺儀傳感器47的輸出而在步驟SI 04中計(jì)算出的數(shù)字照相機(jī)I的第I移動(dòng)量m0V_sum_0。并且，抖動(dòng)量估計(jì)部104從DRAM41中取得根據(jù)加速度傳感器49的輸出而計(jì)算出的數(shù)字照相機(jī)I的第2移動(dòng)量mov_sum_i。
[0079]在步驟S202中，抖動(dòng)量估計(jì)部104判定第I移動(dòng)量m0V_sum_0是否大于第2移動(dòng)量mov_sum_i。在第I移動(dòng)量mov_sum_o大于第2移動(dòng)量mov_sum_iJt，處理進(jìn)入步驟S203。在步驟S203中，抖動(dòng)量估計(jì)部104將最終決定的數(shù)字照相機(jī)I的第3移動(dòng)量m0V_sum_f?決定為第I移動(dòng)量mov_sum_o。然后，處理進(jìn)入步驟S205。
[0080]在步驟S202的判定中判定為第I移動(dòng)量mov_sum_o不大于第2移動(dòng)量mov_sum_iJf，處理進(jìn)入步驟S204。在步驟S204中，抖動(dòng)量估計(jì)部104將最終決定的數(shù)字照相機(jī)I的第3移動(dòng)量mov_sum_f7:^:定為第2移動(dòng)量mov_sum_i。然后，處理進(jìn)入步驟S205。
[0081 ] 通過步驟S201?步驟S204的處理，第3移動(dòng)量mov_sum_fS定為由陀螺儀傳感器47取得的數(shù)字照相機(jī)I的移動(dòng)量和由加速度傳感器49取得的數(shù)字照相機(jī)I的移動(dòng)量中的較大一方。
[0082]步驟S205?步驟S216的處理是針對全部功能像素依次進(jìn)行的循環(huán)處理。在步驟S205中，抖動(dòng)量估計(jì)部104從DRAM41中取得在步驟S104的使用塊匹配的運(yùn)動(dòng)向量計(jì)算處理中計(jì)算出的被攝體的移動(dòng)量mo v_sum_v。
[0083]在步驟S206中，抖動(dòng)量估計(jì)部104判定第3移動(dòng)量m0V_sum_f是否大于被攝體的移動(dòng)量mov_sum_v。在判定為第3移動(dòng)量mov_sum_f大于被攝體的移動(dòng)量mov_sum_^t，處理進(jìn)入步驟S207。在步驟S207中，抖動(dòng)量估計(jì)部104將最終計(jì)算出的校正對象區(qū)域的移動(dòng)量mov決定為第3移動(dòng)量mov_sum_f。然后，處理進(jìn)入步驟S209。
[0084]在步驟S206的判定中判定為第3移動(dòng)量mov_sum_f■不大于被攝體的移動(dòng)量mov_sum_Wt，處理進(jìn)入步驟S208。在步驟S208中，抖動(dòng)量估計(jì)部104將最終計(jì)算出的校正對象區(qū)域的移動(dòng)量mov決定為被攝體的移動(dòng)量mov_sum_v。然后，處理進(jìn)入步驟S209。
[0085]通過步驟S205?步驟S208的處理，校正對象區(qū)域的移動(dòng)量mov設(shè)定為第3移動(dòng)量mov_sum_f和被攝體的移動(dòng)量mo v_sum_v中的較大一方。這樣，校正對象區(qū)域的移動(dòng)量mo v成為表示按照每個(gè)對象區(qū)域考慮了基于數(shù)字照相機(jī)I的運(yùn)動(dòng)而引起的抖動(dòng)和基于被攝體的運(yùn)動(dòng)而引起的抖動(dòng)的、對象區(qū)域中可能包含的抖動(dòng)量的值。
[0086]在步驟S209中，曝光時(shí)間差計(jì)算部106從DRAM41中取得非功能像素的曝光時(shí)間tv_normal和功能像素的曝光時(shí)間tv_funct1nal。在步驟S210中，曝光時(shí)間差計(jì)算部106計(jì)算非功能像素的曝光時(shí)間tv_normal與功能像素的曝光時(shí)間tv_funct1nal之差的絕對值即曝光時(shí)間差tv_dif。
[0087]在步驟S211中，手法判斷部112判定曝光時(shí)間差tv_dif是否大于第I閾值。在判定為曝光時(shí)間差tv_dif不大于第I閾值時(shí)，處理進(jìn)入步驟S216。另一方面，在判定為曝光時(shí)間差tv_dif大于第I閾值時(shí)，處理進(jìn)入步驟S212。
[0088]在步驟S212中，手法判斷部112判定校正對象區(qū)域的移動(dòng)量mov是否大于第2閾值。在判定為校正對象區(qū)域的移動(dòng)量mov不大于第2閾值時(shí)，處理進(jìn)入步驟S216。另一方面，在判定為校正對象區(qū)域的移動(dòng)量mov大于第2閾值時(shí)，處理進(jìn)入步驟S213。
[0089]在步驟S213中，混合比例計(jì)算部114根據(jù)校正對象區(qū)域的移動(dòng)量mov和曝光時(shí)間差tv_dif，決定表示功能像素的利用比例的系數(shù)k。對系數(shù)k的決定方法的一例進(jìn)行說明。[°09°]圖8A示出校正對象區(qū)域的移動(dòng)量mov與根據(jù)移動(dòng)量mov決定的功能像素的利用比例即第I利用比例kl的關(guān)系。如該圖所示，在校正對象區(qū)域的移動(dòng)量mov小于規(guī)定值時(shí)，第I利用比例kl設(shè)定為0.5。校正對象區(qū)域的移動(dòng)量mo V越大，則第I利用比例k I越小。圖8B示出曝光時(shí)間差tv_dif與根據(jù)曝光時(shí)間差tv_dif決定的功能像素的利用比例即第2利用比例k2的關(guān)系。如該圖所示，在曝光時(shí)間差tv_dif小于規(guī)定值時(shí)，第2利用比例k2設(shè)定為0.5。曝光時(shí)間差tv_dif越大，貝Ij第2利用比例k2越小。功能像素的利用比例k由k = kl+k2決定。
[0091]在校正對象區(qū)域的移動(dòng)量mov和曝光時(shí)間差tv_dif足夠小時(shí)，功能像素的利用比例k設(shè)定為I。在校正對象區(qū)域的移動(dòng)量mov微小時(shí)，認(rèn)為對圖像造成的影響足夠小，所以，如圖8A所示，在校正對象區(qū)域的移動(dòng)量mov微小時(shí)，第I利用比例kl設(shè)定為0.5。同樣，在曝光時(shí)間差tv_dif微小時(shí)，認(rèn)為對圖像造成的影響足夠小，所以，如圖8B所示，在曝光時(shí)間差tv_d i f微小時(shí)，第2利用比例k2設(shè)定為0.5。
[0092]這里，圖8A和圖SB所示的關(guān)系當(dāng)然是一例。它們的關(guān)系也可以是其他關(guān)系。例如，它們的關(guān)系也可以不具有線性關(guān)系而具有非線性關(guān)系。校正對象區(qū)域的移動(dòng)量和曝光時(shí)間差也可以不具有相同程度的加權(quán)，而是重視某一方。即，例如，也可以是校正對象區(qū)域的移動(dòng)量為O時(shí)的第I利用比例為0.7、曝光時(shí)間差為O時(shí)的第2利用比例為0.3這樣的組合。
[0093]返回圖7繼續(xù)進(jìn)行說明。在步驟S214中，混合比例計(jì)算部114使用功能像素的利用比例k，根據(jù)下式?jīng)Q定校正像素值I。
[0094]I = (l~k) X c_pix+k X g_pix
[0095]其中，g_pix是作為校正對象的功能像素的輸出值或增益調(diào)整后的作為校正對象的功能像素的輸出值。并且，c_pix是校正對象像素附近的像素值的相加平均值。即，在設(shè)作為對象的功能像素的坐標(biāo)為[O ] [O ]，設(shè)該坐標(biāo)的像素值為PiX[O ] [O ]時(shí)，c_piX例如由下式給出。
[0096]c_pix=(pix[-l][0]+pix[0][_l]+pix[+l][0]+pix[0][+l])/4
[0097]其中，坐標(biāo)[_1][0]表示坐標(biāo)[0][0]的像素的左側(cè)相鄰的像素的坐標(biāo)，坐標(biāo)[0][-1]表示坐標(biāo)[O] [O]的像素的下側(cè)相鄰的像素的坐標(biāo)，坐標(biāo)[+1] [O]表示坐標(biāo)[O] [O]的像素的右側(cè)相鄰的像素的坐標(biāo)，坐標(biāo)[0][+1]表示坐標(biāo)[0][0]的像素的上側(cè)相鄰的像素的坐標(biāo)。
[0098]在步驟S215中，混合比例計(jì)算部114將校正對象像素的值置換為校正像素值I。
[0099]在步驟S216中，混合比例計(jì)算部114不進(jìn)行校正，或僅進(jìn)行增益的調(diào)整。在曝光時(shí)間差tv_dif足夠小時(shí)，不需要進(jìn)行校正，所以，進(jìn)行步驟S216的處理。并且，在校正對象區(qū)域的移動(dòng)量mov即抖動(dòng)足夠小時(shí)，不需要進(jìn)行校正，所以，進(jìn)行步驟S216的處理。
[0100]如上所述，將全部功能像素作為對象反復(fù)進(jìn)行步驟S205?步驟S216的處理。
[0101]根據(jù)以上動(dòng)作，在數(shù)字照相機(jī)I和被攝體不存在運(yùn)動(dòng)時(shí)、曝光時(shí)間在功能像素和非功能像素中不存在差異時(shí)，通過對功能像素的輸出自身進(jìn)行增益調(diào)整并使用，防止了分辨率劣化。并且，在數(shù)字照相機(jī)I和被攝體存在運(yùn)動(dòng)時(shí)、曝光時(shí)間在功能像素和非功能像素中存在差異時(shí)，對基于功能像素和非功能像素中可能產(chǎn)生的抖動(dòng)量之差而引起的畫質(zhì)劣化進(jìn)行校正。因此，根據(jù)本實(shí)施方式的數(shù)字照相機(jī)I，減少了由于曝光時(shí)間在功能像素和非功能像素中不同而可能產(chǎn)生的畫質(zhì)劣化，關(guān)于針對圖案的影響，也能夠?qū)崿F(xiàn)健全性較高的校正。
[0102]在以上的說明中，以在功能像素和非功能像素中使用2種不同的曝光時(shí)間的情況為例進(jìn)行了說明，但是，在按照每個(gè)像素使用2種以上的不同的曝光時(shí)間的情況下，本實(shí)施方式的對圖像劣化進(jìn)行校正的圖像處理發(fā)揮效果。
【主權(quán)項(xiàng)】
1.一種圖像處理裝置，其對使用包含多個(gè)像素且根據(jù)所述像素的位置應(yīng)用至少2種不同曝光時(shí)間的攝像元件得到的圖像數(shù)據(jù)實(shí)施圖像處理，所述圖像處理裝置具有: 抖動(dòng)量估計(jì)部，其估計(jì)所述圖像數(shù)據(jù)中存在的像抖動(dòng)量；以及 校正部，其根據(jù)所述像抖動(dòng)量對所述圖像數(shù)據(jù)實(shí)施校正。2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 取得了所述圖像數(shù)據(jù)的所述攝像元件包含曝光時(shí)間相互不同的第I像素和第2像素， 所述圖像處理裝置還具有曝光時(shí)間差計(jì)算部，該曝光時(shí)間差計(jì)算部計(jì)算所述第I像素的曝光時(shí)間與所述第2像素的曝光時(shí)間之差即曝光時(shí)間差， 所述校正部根據(jù)所述曝光時(shí)間差對所述圖像數(shù)據(jù)實(shí)施所述校正。3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中， 所述圖像處理裝置還具有混合比例計(jì)算部，該混合比例計(jì)算部根據(jù)所述曝光時(shí)間差和所述像抖動(dòng)量，決定第I比例和第2比例，該第I比例是使用作為對象的所述第I像素檢測到的光量的比例，該第2比例是使用位于作為所述對象的所述第I像素的周邊的所述第2像素檢測到的光量的比例， 所述校正部根據(jù)所述第I比例和所述第2比例對所述圖像數(shù)據(jù)實(shí)施所述校正。4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中， 所述曝光時(shí)間差越大，則混合比例計(jì)算部越提高所述第2比例。5.根據(jù)權(quán)利要求3或4所述的圖像處理裝置，其中， 所述像抖動(dòng)量越大，則混合比例計(jì)算部越提高所述第2比例。6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 取得了所述圖像數(shù)據(jù)的所述攝像元件包含曝光時(shí)間相互不同的第I像素和第2像素，所述圖像處理裝置還具有校正方法判斷部，該校正方法判斷部根據(jù)所述抖動(dòng)量估計(jì)部計(jì)算的所述像抖動(dòng)量、以及所述第I像素的曝光時(shí)間和所述第2像素的曝光時(shí)間，決定所述校正的內(nèi)容， 所述校正部根據(jù)所述校正的內(nèi)容對所述圖像數(shù)據(jù)實(shí)施所述校正。7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中， 所述圖像處理裝置還具有曝光時(shí)間差計(jì)算部，該曝光時(shí)間差計(jì)算部計(jì)算所述第I像素的曝光時(shí)間與所述第2像素的曝光時(shí)間之差即曝光時(shí)間差， 所述校正方法判斷部在判斷為存在所述曝光時(shí)間差、且存在所述像抖動(dòng)量時(shí)，決定進(jìn)行校正， 當(dāng)所述校正方法判斷部決定進(jìn)行所述校正時(shí)，所述校正部使用作為對象的所述第I像素檢測到的光量、和位于作為所述對象的所述第I像素的周邊的所述第2像素檢測到的光量，對作為所述對象的所述第I像素檢測到的光量進(jìn)行校正。8.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述抖動(dòng)量估計(jì)部根據(jù)所述圖像數(shù)據(jù)的整體中均勻產(chǎn)生的像抖動(dòng)和所述圖像數(shù)據(jù)的一部分中局部產(chǎn)生的像抖動(dòng)，估計(jì)所述像抖動(dòng)量。9.一種攝像裝置，其具有: 所述攝像元件；以及 權(quán)利要求1?8中的任意一項(xiàng)所述的圖像處理裝置。10.根據(jù)權(quán)利要求9所述的攝像裝置，其中， 所述攝像元件的多個(gè)像素中的一部分是被賦予了特定的功能的功能像素，所述功能像素以外的像素是未被賦予所述功能的非功能像素， 在所述功能像素和所述非功能像素中，所述曝光時(shí)間不同。11.根據(jù)權(quán)利要求10所述的攝像裝置，其中， 所述功能像素是焦點(diǎn)檢測像素。12.根據(jù)權(quán)利要求10或11所述的攝像裝置，其中， 所述攝像裝置還具有曝光控制部，該曝光控制部在所述功能像素和所述非功能像素中進(jìn)行不同的曝光控制。13.根據(jù)權(quán)利要求12所述的攝像裝置，其中， 曝光控制部根據(jù)被攝體的亮度，使所述功能像素的曝光時(shí)間和所述非功能像素的曝光時(shí)間不同。14.根據(jù)權(quán)利要求13所述的攝像裝置，其中， 如果所述被攝體為低亮度，則所述曝光控制部使所述功能像素的所述曝光時(shí)間比所述非功能像素的所述曝光時(shí)間長，如果所述被攝體為高亮度，則所述曝光控制部使所述功能像素的所述曝光時(shí)間比所述非功能像素的所述曝光時(shí)間短。15.—種圖像處理方法，其針對使用包含多個(gè)像素的攝像元件得到的圖像數(shù)據(jù)，所述攝像元件根據(jù)所述像素應(yīng)用至少2種不同的曝光時(shí)間，所述圖像處理方法包括以下步驟: 估計(jì)所述圖像數(shù)據(jù)中存在的像抖動(dòng)量的步驟；以及 根據(jù)所述像抖動(dòng)量對所述圖像數(shù)據(jù)實(shí)施校正的步驟。16.—種圖像處理程序，其用于使計(jì)算機(jī)執(zhí)行針對使用包含多個(gè)像素的攝像元件得到的圖像數(shù)據(jù)的圖像處理，所述攝像元件根據(jù)所述像素應(yīng)用至少2種不同的曝光時(shí)間，所述圖像處理程序用于使計(jì)算機(jī)執(zhí)行以下步驟: 估計(jì)所述圖像數(shù)據(jù)中存在的像抖動(dòng)量的步驟；以及 根據(jù)所述像抖動(dòng)量對所述圖像數(shù)據(jù)實(shí)施校正的步驟。
【文檔編號(hào)】G03B5/00GK105830431SQ201580003043
【公開日】2016年8月3日
【申請日】2015年3月25日
【發(fā)明人】岡澤淳郎
【申請人】奧林巴斯株式會(huì)社