專利名稱：圖像處理裝置、圖像拍攝裝置、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本公開涉及用于通過(guò)利用以不同曝光時(shí)間拍攝的多個(gè)圖像產(chǎn)生具有寬動(dòng)態(tài)范圍的圖像的圖像處理裝置、采用該圖像處理裝置的圖像拍攝裝置、用于該圖像處理裝置的圖像處理方法以及實(shí)施該圖像處理方法的圖像處理程序。更具體地，本公開涉及用于在用以產(chǎn)生具有寬動(dòng)態(tài)范圍的圖像的操作中，通過(guò)利用具有不同曝光時(shí)間的多個(gè)圖像來(lái)抑制視頻中產(chǎn)生的閃爍(flicker)和彩色信號(hào)系統(tǒng)的閃爍的機(jī)構(gòu)。這些閃爍是由于對(duì)于拍攝圖像存在的光源之間的差異、照明光中包括的作為電源頻率波動(dòng)的波動(dòng)或余輝(afterglow)的特性而引起的。視頻中產(chǎn)生的閃爍也稱為光源閃爍，而彩色信號(hào)系統(tǒng)的閃爍也稱為顏色閃爍或色漂(color rolling)。
背景技術(shù)：
用于拍攝圖像拍攝對(duì)象的圖像的圖像拍攝裝置包括用于控制入射到裝置的像素部分的光量的機(jī)構(gòu)。圖像拍攝裝置一般是CCD(電荷耦合器件)、M0S(金屬氧化物半導(dǎo)體) 或CMOS(互補(bǔ)M0S)型的固態(tài)圖像拍攝裝置。在下面的描述中，也將像素部分稱為圖像拍攝部分、像素陣列部分、圖像傳感器或光電轉(zhuǎn)換傳感器，而也將該機(jī)構(gòu)稱為入射光量控制器。入射光量控制器是在其圖像拍攝透鏡上提供了機(jī)械光圈(diaphragm)機(jī)構(gòu)的控制器，或者在其圖像拍攝透鏡上提供了機(jī)械快門機(jī)構(gòu)的控制器。在下面的描述中，將機(jī)械光圈機(jī)構(gòu)稱為機(jī)械虹膜(iris)，而將機(jī)械快門機(jī)構(gòu)僅稱為機(jī)械快門。作為替代，入射光量控制器也可以是具有所謂的電子快門功能的控制器，所述電子快門功能能夠控制固態(tài)圖像拍攝裝置的像素部分中信號(hào)電荷的累積時(shí)間的長(zhǎng)度。在下面的描述中，累積時(shí)間也稱為曝光時(shí)間。機(jī)械光圈和機(jī)械快門可以彼此獨(dú)立地使用。然而，也可以通過(guò)將機(jī)械光圈與機(jī)械快門或電子快門進(jìn)行組合來(lái)使用機(jī)械光圈。順便提及，如果多種圖像拍攝裝置用于通過(guò)利用置于穩(wěn)定狀態(tài)(其中，光源產(chǎn)生的光的亮度不會(huì)變化)下的光源來(lái)拍攝圖像，則所述裝置不會(huì)帶來(lái)問(wèn)題。然而，如果通過(guò)利用具有周期性發(fā)光特性且與半導(dǎo)體圖像拍攝裝置的曝光周期異步工作的光源(如，熒光燈)來(lái)拍攝圖像，則產(chǎn)生光源閃爍。要注意的是，光源閃爍與作為屏幕亮度的閃爍的亮度閃爍不同，并且與也簡(jiǎn)稱為顏色閃爍或色漂的顏色再現(xiàn)閃爍不同。光源閃爍被感知為這樣的現(xiàn)象其中，視頻信號(hào)由于光源的亮度變化與圖像拍攝裝置的曝光周期之間的關(guān)系而改變。例如，視頻信號(hào)的亮度信號(hào)分量由于利用具有頻率f的商用電源的光源的亮度變化而改變，并且由于具有圖像拍攝裝置的場(chǎng)周期fv的差拍分量(beat component)而改變。 在這種情況下，亮度變化是Ι/nf秒的時(shí)段內(nèi)的變化，其中參考標(biāo)記η通常是整數(shù)2。由于視頻信號(hào)的亮度信號(hào)分量改變，因此輸出視頻同樣在與人眼的余輝特性也有關(guān)的時(shí)段變化。 感覺到圖像閃爍的現(xiàn)象稱為亮度閃爍。
例如，在采用具有60Hz場(chǎng)頻的NTSC制式并且商用電源的頻率f為50Hz的區(qū)域中， 易于產(chǎn)生亮度閃爍。在采用具有50Hz場(chǎng)頻的PAL制式并且商用電源的頻率f為60Hz的區(qū)域中，也易于產(chǎn)生亮度閃爍。另外，與電燈泡相比，熒光燈的亮度由于熒光燈的發(fā)光特性而改變，從而熒光燈非常顯著地產(chǎn)生亮度閃爍。要注意的是，60Hz場(chǎng)頻的聲明換言之可稱為30fps幀頻的聲明。更準(zhǔn)確來(lái)說(shuō)，場(chǎng)頻是59. 94Hz。另一方面，50Hz場(chǎng)頻的聲明換言之可稱為25fps幀頻的聲明。例如，熒光燈的發(fā)光周期是10ms，而具有60Hz場(chǎng)頻的NTSC制式中的曝光操作的周期是16. 7ms。在這種情況下，熒光燈的發(fā)光周期與NTSC制式中的曝光操作的周期的最小公倍數(shù)是50ms。也就是說(shuō)，在三個(gè)曝光操作中，熒光燈的發(fā)光周期與NTSC制式中曝光操作的周期之間的關(guān)系被恢復(fù)。因此，存在三種曝光周期。固態(tài)圖像拍攝裝置在這三個(gè)曝光周期之間輸出的信號(hào)的電平差異使得以20Hz的閃爍頻率F產(chǎn)生閃爍。另外，如果使用電子快門的功能，則快門模式下操作的快門速度越高，一場(chǎng)時(shí)段中包括的作為用于在固態(tài)圖像拍攝裝置中累積電荷的累積時(shí)間的時(shí)間就越短。因此，閃爍的幅度變得大于1/60秒的正?？扉T速度的閃爍的幅度。電子快門的速度越高，產(chǎn)生的閃爍就越明顯。結(jié)果，在屏幕上出現(xiàn)主要包括圖像亮度閃爍的閃爍，使得屏幕上顯示的圖像質(zhì)量顯著地惡化。另外，綠、紅和藍(lán)色是在熒光燈中使用的熒光物質(zhì)的三種顏色。即使以相同的時(shí)序開始三種顏色的發(fā)射，三種顏色的光量也以不同的速率減小，從而三種顏色最終在不同時(shí)間消失。也就是說(shuō)，熒光燈發(fā)射的光隨著時(shí)間的經(jīng)過(guò)而改變其光譜。一般而言，特別地，綠色的發(fā)射時(shí)間在三種顏色之中是最長(zhǎng)的。另一方面，藍(lán)色的發(fā)射時(shí)間在三種顏色之中是最短的。也就是說(shuō)，紅色的發(fā)射時(shí)間在綠色和藍(lán)色的發(fā)射時(shí)間之間。因此，取決于高速快門的快門時(shí)刻，某些情況下僅可以拍攝所發(fā)射的光的一個(gè)或兩個(gè)顏色分量。在通過(guò)利用高速電子快門拍攝圖像的操作中，所獲得的光譜中的差異出現(xiàn)顏色變化。如上所述，彩色再現(xiàn)閃爍也稱為顏色閃爍或色漂。特別地，不能將藍(lán)色光分量當(dāng)作顏色閃爍。在許多情況下，如果正常地執(zhí)行圖像拍攝操作，則無(wú)意地將藍(lán)色光分量當(dāng)作黃色光分量。

發(fā)明內(nèi)容
順便提及，日本專利特開No. Hei 7-322147描述了一種用于通過(guò)合成具有不同曝光量的圖像來(lái)產(chǎn)生擁有寬動(dòng)態(tài)范圍的視頻信號(hào)的固態(tài)圖像拍攝裝置。在這種圖像拍攝裝置的情況下，如果以正常圖像拍攝曝光時(shí)間拍攝亮部分的圖像，則輸出具有超過(guò)圖像拍攝裝置中采用的光電轉(zhuǎn)換傳感器的飽和電平的值，從而不能使用該值。由此，為了獲得寬動(dòng)態(tài)范圍，必須拍攝每一個(gè)均具有小曝光量的圖像，然后合成所拍攝的圖像。圖1是示出對(duì)于產(chǎn)生具有寬動(dòng)態(tài)范圍的圖像所需要的圖像的光量與傳感器輸出之間的關(guān)系的概念圖。以正常曝光時(shí)間拍攝的圖像包括由于這種不能獲取的圖像的光量超過(guò)光電轉(zhuǎn)換傳感器的飽和電平的這一事實(shí)而不能獲取的圖像。對(duì)于不能獲取的圖像，縮短曝光時(shí)間以便防止光量超過(guò)光電轉(zhuǎn)換傳感器的飽和電平，從而可以獲得有意義的信息。將以短曝光時(shí)間拍攝的圖像的每一個(gè)像素的值乘以下面所述的曝光比的倒數(shù)，或者與一偏移相加，以便產(chǎn)生作為結(jié)果的像素值。然后，對(duì)于每一個(gè)像素，將作為結(jié)果的像素值與以長(zhǎng)曝光時(shí)間拍攝的圖像的對(duì)應(yīng)像素的值進(jìn)行比較，以便選擇相互比較的兩個(gè)像素中特定的一個(gè)并丟棄另一個(gè)。以這種方式，可以產(chǎn)生具有寬動(dòng)態(tài)范圍的合成圖像。要注意的是，曝光比是正常拍攝的圖像的快門速度與以短曝光時(shí)間拍攝的圖像的快門速度之比。如上所述，為了產(chǎn)生具有寬動(dòng)態(tài)范圍的圖像，必須通過(guò)與(1/幾千)秒的曝光時(shí)間對(duì)應(yīng)的快門速度，將曝光時(shí)間減小到相對(duì)短的一個(gè)。在下面的描述中，曝光時(shí)間也稱為快門時(shí)間。由此，以這種短曝光時(shí)間拍攝的圖像已經(jīng)產(chǎn)生了顏色閃爍。在下面的描述中，將以這種短曝光時(shí)間拍攝的圖像稱為短曝光圖像。另一方面，在許多情況下，通常以一般1/60或1/100秒的曝光時(shí)間所對(duì)應(yīng)的快門速度獲得以等于或長(zhǎng)于標(biāo)準(zhǔn)視頻信號(hào)的曝光時(shí)間的曝光時(shí)間所拍攝的圖像。在下面的描述中，將以這種長(zhǎng)曝光時(shí)間拍攝的圖像稱為長(zhǎng)曝光時(shí)間圖像。由此，如之前說(shuō)明的那樣，長(zhǎng)曝光時(shí)間圖像幾乎不受顏色閃爍的影響。據(jù)此，顏色閃爍對(duì)于短曝光時(shí)間圖像的影響大，而顏色閃爍對(duì)于長(zhǎng)曝光時(shí)間圖像的影響小。由此，結(jié)果，在具有寬動(dòng)態(tài)范圍的合成圖像的一部分上不期望地產(chǎn)生顏色閃爍。 據(jù)此，由于合成圖像與用戶眼睛實(shí)際看到的圖像不同，因此用戶不可避免地以不自然的方式感覺合成圖像。為了解決上述問(wèn)題，已經(jīng)提出了這樣的建議彼此獨(dú)立地執(zhí)行對(duì)于通過(guò)利用短曝光時(shí)間光拍攝的圖像的白平衡調(diào)整處理和對(duì)于通過(guò)利用長(zhǎng)曝光時(shí)間光拍攝的圖像的白平衡調(diào)整處理。圖2是示出用于彼此獨(dú)立地執(zhí)行對(duì)于通過(guò)利用短曝光時(shí)間光拍攝的圖像的白平衡調(diào)整處理和對(duì)于通過(guò)利用長(zhǎng)曝光時(shí)間光拍攝的圖像的白平衡調(diào)整處理的第一典型圖像拍攝裝置1的框圖。如圖中所示，圖像拍攝裝置1采用固態(tài)圖像拍攝器件2、前級(jí)處理部分3-1和3-2、 轉(zhuǎn)換處理部分4-1和4-2 (其每一個(gè)均用于將RAW數(shù)據(jù)轉(zhuǎn)換為RGB數(shù)據(jù))以及積分值計(jì)算處理部分5。圖像拍攝裝置1還具有白平衡調(diào)整處理部分6-1和6-2、放大器7_1和7_2、合成處理部分8、后級(jí)處理部分9和CPU 10。圖像拍攝裝置1中采用的積分值計(jì)算處理部分5計(jì)算長(zhǎng)曝光時(shí)間光的RGB數(shù)據(jù)的積分值以及短曝光時(shí)間光的RGB數(shù)據(jù)的積分值。積分值計(jì)算處理部分5將計(jì)算出的積分值提供到CPU 10。基于積分值，CPU 10計(jì)算要作為乘數(shù)用于長(zhǎng)曝光時(shí)間圖像的白平衡增益以及要作為乘數(shù)用于短曝光時(shí)間圖像的白平衡增益。CPU 10將計(jì)算出的白平衡增益提供到白平衡調(diào)整處理部分6-1和6-2。白平衡調(diào)整處理部分6-1執(zhí)行白平衡調(diào)整處理，以將長(zhǎng)曝光時(shí)間圖像的RGB數(shù)據(jù)乘以數(shù)據(jù)的白平衡增益，而白平衡調(diào)整處理部分6-2執(zhí)行白平衡調(diào)整處理，以將短曝光時(shí)間圖像的RGB數(shù)據(jù)乘以數(shù)據(jù)的白平衡增益。
如上所述，通過(guò)采用這種系統(tǒng)配置，可以將長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像乘以它們相應(yīng)的彼此不同的白平衡增益。圖3是示出用于彼此獨(dú)立地執(zhí)行對(duì)于通過(guò)利用短曝光時(shí)間光拍攝的圖像的白平衡調(diào)整處理和對(duì)于通過(guò)利用長(zhǎng)曝光時(shí)間光拍攝的圖像的白平衡調(diào)整處理的第二典型圖像拍攝裝置IA的框圖。圖3中所示的圖像拍攝裝置IA是圖2中所示的圖像拍攝裝置1的典型修改。在圖3所示的圖像拍攝裝置IA中，在合成處理部分8的后級(jí)提供積分值計(jì)算處理部分5和白平衡調(diào)整處理部分6。如果可以將指示在通過(guò)圖3中所示的圖像拍攝裝置IA的合成處理部分8執(zhí)行的合成處理中已經(jīng)據(jù)以選擇了像素的長(zhǎng)曝光時(shí)間圖像或短曝光時(shí)間圖像的信息作為每一像素的標(biāo)志FLG提供到后級(jí)，則在后合成處理中，可以執(zhí)行與圖2中所示的圖像拍攝裝置1的處理相同的處理。如之前所述，圖2中所示的圖像拍攝裝置1所執(zhí)行的處理包括積分值計(jì)算處理和白平衡調(diào)整處理。在圖3所示的圖像拍攝裝置IA中，將標(biāo)志FLG提供到白平衡調(diào)整處理部分6。因此，白平衡調(diào)整處理6具有與圖4中所示的電路配置類似的電路配置。如圖4所示，白平衡調(diào)整處理6采用選擇器61和乘法器62。選擇器61基于指示在合成處理部分8執(zhí)行的合成處理中已經(jīng)選擇了長(zhǎng)曝光時(shí)間圖像還是短曝光時(shí)間圖像的標(biāo)志FLG來(lái)選擇白平衡增益。如果標(biāo)志FLG指示已經(jīng)選擇了長(zhǎng)曝光時(shí)間圖像，則選擇器61選擇長(zhǎng)曝光時(shí)間圖像的白平衡增益WBG_R_Long、WBG_G_Long和WBG_B_Long，并將所選擇的白平衡增益WBG_R_ Long、WBG_G_Long 和 WBG_B_Long 提供到乘法器 62。另一方面，如果標(biāo)志FLG指示已經(jīng)選擇了短曝光時(shí)間圖像，則選擇器61選擇短曝光時(shí)間圖像的白平衡增益WBG_R_aiort、WBG_G_Short和WBG_B_aiort，并將所選擇的白平衡增益 WBG_R_Short, WBG_G_Short 和 WBG_B_Short 提供到乘法器 62。乘法器62將作為RAW-RGB轉(zhuǎn)換處理部分4所執(zhí)行的用以將RAW數(shù)據(jù)轉(zhuǎn)換為R、G 和B信號(hào)的轉(zhuǎn)換處理的結(jié)果所獲得的R、G和B信號(hào)乘以選擇器61選擇的白平衡增益，以便輸出經(jīng)白平衡調(diào)整的圖像。圖3所示的配置提供了這樣的優(yōu)點(diǎn)經(jīng)歷積分值計(jì)算處理和白平衡調(diào)整處理的像素?cái)?shù)是經(jīng)歷圖2中所示的配置中執(zhí)行的積分值計(jì)算處理和白平衡調(diào)整處理的像素?cái)?shù)的一半。也就是說(shuō)，圖2中所示的圖像拍攝裝置1對(duì)于兩個(gè)圖像(即，長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像)的像素執(zhí)行處理，而圖3中所示的圖像拍攝裝置IA僅對(duì)于一個(gè)圖像(即，合成圖像)的像素執(zhí)行處理。由此，圖3中所示的圖像拍攝裝置IA具有比圖2中所示的圖像拍攝裝置1更小的電路尺寸。在由圖3所示的系統(tǒng)執(zhí)行的用以產(chǎn)生具有寬動(dòng)態(tài)范圍的圖像的處理中，大多數(shù)長(zhǎng)曝光時(shí)間圖像PXLE和大多數(shù)短曝光時(shí)間圖像PXSE乘以它們相應(yīng)的彼此不同的白平衡增益。因此，自然白色的圖像拍攝對(duì)象的顏色是白色。然而，在圖3中所示的系統(tǒng)中，在長(zhǎng)曝光時(shí)間圖像的像素和短曝光時(shí)間圖像的像素彼此混合的混合區(qū)域PXMX中，如圖5所示那樣不期望地產(chǎn)生錯(cuò)誤顏色。根據(jù)前級(jí)提供的合成處理部分8所采用的合成處理方法，錯(cuò)誤顏色歸因于不同的原因。通過(guò)參照下面所述的一些概念圖，將原因說(shuō)明如下。圖6示出表示在合成圖像產(chǎn)生時(shí)間執(zhí)行的像素選擇處理的流程圖。圖7A和7B是根據(jù)現(xiàn)有技術(shù)中的技術(shù)描述以短或長(zhǎng)曝光時(shí)間圖像選擇時(shí)間在混合區(qū)域中產(chǎn)生錯(cuò)誤顏色的原因時(shí)要參照的說(shuō)明圖。圖8A和8B是在根據(jù)現(xiàn)有技術(shù)中的技術(shù)描述以混合時(shí)間在混合區(qū)域中產(chǎn)生錯(cuò)誤顏色的原因時(shí)要參照的說(shuō)明圖。圖9是示出表示混合比與像素值或亮度級(jí)別之間的關(guān)系的曲線圖的圖。圖6中所示的流程圖開始于接收像素的步驟ST1。然后，在下一步驟ST2，檢查像素以便確定像素值或像素的亮度級(jí)別是否等于或大于閾值LVTH。如果像素值或像素的亮度級(jí)別等于或大于閾值LVTH，則在步驟ST3選擇短曝光時(shí)間圖像。另一方面，如果像素值或像素的亮度級(jí)別小于閾值LVTH，則在步驟ST4選擇長(zhǎng)曝光時(shí)間圖像。在任一情況下，處理的流程然后進(jìn)行到下一步驟ST5，以便確定是否已經(jīng)處理了最后像素。重復(fù)地執(zhí)行處理，直到已經(jīng)處理了最后像素為止。如果在上述處理中在混合區(qū)域部分中已經(jīng)選擇了長(zhǎng)曝光時(shí)間圖像或短曝光時(shí)間圖像的RAW數(shù)據(jù)，如圖7A所示，則根據(jù)情景，以混合狀態(tài)提供長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像的數(shù)據(jù)(像素值)，作為要選擇的數(shù)據(jù)。當(dāng)執(zhí)行將RAW數(shù)據(jù)轉(zhuǎn)換為RGB數(shù)據(jù)的處理時(shí)，使用至少一個(gè)相鄰RAW數(shù)據(jù)(像素值)的信息。因此，以混合狀態(tài)提供長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像的數(shù)據(jù)(像素值) 的操作使得不能高精度地表達(dá)顏色(如圖7B所示)。結(jié)果，在某些情況下不期望地產(chǎn)生錯(cuò)誤顏色。另外，為了去除以混合狀態(tài)提供長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像的數(shù)據(jù)(像素值)的操作，如圖8A所示，在混合區(qū)域的情況下，在某些情況下采用一方法以將長(zhǎng)曝光時(shí)間圖像的RAW數(shù)據(jù)和短曝光時(shí)間圖像的RAW數(shù)據(jù)混合，以便產(chǎn)生合成圖像。圖9是示出信號(hào)電平或亮度級(jí)別與混合比α之間的關(guān)系的圖。在這種情況下，不能知道長(zhǎng)曝光時(shí)間圖像的白平衡增益和短曝光時(shí)間圖像的白平衡增益中的哪一個(gè)要作為混合區(qū)域部分的乘數(shù)用于后級(jí)提供的白平衡調(diào)整處理部分6。另外，即使任一白平衡增益用作乘數(shù)，增益也不能很好地匹配，從而結(jié)果如圖8Β 所示那樣產(chǎn)生錯(cuò)誤顏色。由于用作乘數(shù)的增益與用作被乘數(shù)的RAW數(shù)據(jù)之間起源上的差， 因此白平衡增益未很好地匹配。在這種情況下，RAW數(shù)據(jù)是長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像的混合。要注意的是，在圖8A和8B所示的典型示例中，長(zhǎng)曝光時(shí)間圖像的白平衡增益用作乘數(shù)。另外，分別基于通過(guò)利用長(zhǎng)曝光時(shí)間圖像或短曝光時(shí)間圖像而獲得的信息，確定要用作乘數(shù)的長(zhǎng)曝光時(shí)間圖像的白平衡增益或短曝光時(shí)間圖像的白平衡增益。如上所述，在能夠?qū)㈤L(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像乘以它們的相應(yīng)的彼此不同的白平衡增益的現(xiàn)有技術(shù)的系統(tǒng)中，在某些情況下，出現(xiàn)了在多個(gè)圖像的混合區(qū)域中產(chǎn)生錯(cuò)誤顏色的問(wèn)題。本公開提供了即使在對(duì)于長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像存在不同光源的情況下以及即使在顏色閃爍(或色漂)存在的情況也能夠有效地抑制混合區(qū)域中產(chǎn)生的錯(cuò)誤顏色的圖像處理裝置，并且提供了采用該圖像處理裝置的圖像拍攝裝置、該圖像處理裝置要采用的圖像處理方法以及實(shí)施該圖像處理方法的圖像處理程序。根據(jù)本公開第一模式的圖像處理裝置具有合成處理部分，其配置為合成以不同曝光時(shí)間拍攝的多個(gè)圖像。在用以合成所述拍攝圖像的處理中，所述合成處理部分獲取根據(jù)從所述拍攝圖像中選擇的分量而變化的拍攝圖像混合比，并通過(guò)將所述混合比應(yīng)用于要混合所述拍攝圖像的像素的混合區(qū)域，對(duì)于所述混合區(qū)域執(zhí)行混合處理。根據(jù)本公開第二模式的圖像拍攝裝置具有圖像拍攝設(shè)備，用于以不同曝光時(shí)間拍攝多個(gè)圖像；以及合成處理部分，其配置為合成所述圖像拍攝設(shè)備拍攝的所述圖像。在用以合成所述拍攝圖像的處理中，所述合成處理部分獲取根據(jù)從所述拍攝圖像中選擇的分量而變化的拍攝圖像混合比，并通過(guò)將所述混合比應(yīng)用于要混合所述拍攝圖像的像素的混合區(qū)域，對(duì)于所述混合區(qū)域執(zhí)行混合處理。根據(jù)按照本公開第三模式的圖像處理方法，用以合成以不同曝光時(shí)間拍攝的多個(gè)圖像的處理包括用以獲取根據(jù)從所述拍攝圖像中選擇的分量而變化的拍攝圖像混合比的操作，以及通過(guò)將所述混合比應(yīng)用于要混合所述拍攝圖像的像素的混合區(qū)域而對(duì)于所述混合區(qū)域執(zhí)行混合處理。根據(jù)本公開第四模式的圖像處理程序是計(jì)算機(jī)在如下處理中執(zhí)行的圖像處理程序，在所述處理中，合成以不同曝光時(shí)間拍攝的多個(gè)圖像，以便執(zhí)行用以獲取根據(jù)從所述拍攝圖像中選擇的分量而變化的拍攝圖像混合比的操作，以及通過(guò)將所述混合比應(yīng)用于要混合所述拍攝圖像的像素的混合區(qū)域而對(duì)于所述混合區(qū)域執(zhí)行的混合處理。根據(jù)本公開，即使對(duì)于長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像存在多個(gè)不同光源以及即使存在顏色閃爍(或色漂)，也可以有效地抑制混合區(qū)域中產(chǎn)生的顏色閃爍。


圖1是示出對(duì)于產(chǎn)生具有寬動(dòng)態(tài)范圍的圖像所需要的圖像的光量與傳感器輸出之間的關(guān)系的概念圖；圖2是示出用于彼此獨(dú)立地執(zhí)行對(duì)于通過(guò)利用短曝光時(shí)間光拍攝的圖像的白平衡調(diào)整處理和對(duì)于通過(guò)利用長(zhǎng)曝光時(shí)間光拍攝的圖像的白平衡調(diào)整處理的第一典型圖像拍攝裝置的框圖；圖3是示出用于彼此獨(dú)立地執(zhí)行對(duì)于通過(guò)利用短曝光時(shí)間光拍攝的圖像的白平衡調(diào)整處理和對(duì)于通過(guò)利用長(zhǎng)曝光時(shí)間光拍攝的圖像的白平衡調(diào)整處理的第二典型圖像拍攝裝置的框圖；圖4是示出后級(jí)提供的白平衡調(diào)整處理部分的典型配置的圖；圖5是在混合區(qū)域中產(chǎn)生的錯(cuò)誤顏色的描述中要參照的說(shuō)明圖；圖6示出表示在合成圖像產(chǎn)生時(shí)間執(zhí)行的像素選擇處理的流程圖；圖7A和7B是根據(jù)現(xiàn)有技術(shù)中的技術(shù)描述以短或長(zhǎng)曝光時(shí)間圖像選擇時(shí)間在混合區(qū)域中產(chǎn)生錯(cuò)誤顏色的原因時(shí)要參照的多個(gè)說(shuō)明圖；圖8A和8B是在根據(jù)現(xiàn)有技術(shù)中的技術(shù)描述以混合時(shí)間在混合區(qū)域中產(chǎn)生錯(cuò)誤顏色的原因時(shí)要參照的多個(gè)說(shuō)明圖；圖9是示出表示混合比與像素值或亮度級(jí)別之間的關(guān)系的曲線圖的圖；圖10是示出采用根據(jù)本公開第一實(shí)施例的圖像處理裝置的圖像拍攝裝置的典型配置的框圖；圖11是示出采用用于根據(jù)第一實(shí)施例抑制混合區(qū)域中產(chǎn)生的錯(cuò)誤顏色的合成方法的合成處理部分的典型配置的框圖；圖12示出表示用以根據(jù)第一實(shí)施例確定長(zhǎng)/短曝光時(shí)間選擇標(biāo)志的值的處理的流程圖；圖13A和1 是在說(shuō)明根據(jù)第一實(shí)施例可以抑制混合區(qū)域中產(chǎn)生的錯(cuò)誤顏色的原因時(shí)參照的多個(gè)概念圖；圖14是示出采用根據(jù)本公開第二實(shí)施例的圖像處理裝置的圖像拍攝裝置的典型配置的框圖；圖15是示出根據(jù)第二實(shí)施例將合成方法應(yīng)用于拍攝圖像以便抑制混合區(qū)域中產(chǎn)生的錯(cuò)誤顏色的合成處理部分的典型配置的圖；圖16是示出根據(jù)第二實(shí)施例將合成方法應(yīng)用于白平衡增益以便抑制混合區(qū)域中產(chǎn)生的錯(cuò)誤顏色的白平衡調(diào)整處理部分的典型配置的圖；圖17A和17B是說(shuō)明通過(guò)利用根據(jù)第二實(shí)施例提供的合成處理部分和白平衡調(diào)整處理部分可以抑制混合區(qū)域中產(chǎn)生的錯(cuò)誤顏色的原因的多個(gè)概念圖；圖18示出表示用以根據(jù)本公開第三實(shí)施例計(jì)算混合比的處理的流程圖；圖19是示出配備有根據(jù)第三實(shí)施例的靜態(tài)/動(dòng)態(tài)確定功能的、用作圖11中所示的合成處理部分的修改的合成處理部分的典型配置的框圖；圖20是示出提供有根據(jù)第三實(shí)施例的靜態(tài)/動(dòng)態(tài)確定功能的、用作圖15中所示的合成處理部分的修改的合成處理部分的典型配置的框圖；圖21是示出采用根據(jù)本公開第四實(shí)施例的圖像處理裝置的圖像拍攝裝置的典型配置的框圖；圖22是示出采用根據(jù)本公開第五實(shí)施例的圖像處理裝置的圖像拍攝裝置的典型配置的框圖；圖23是示出采用根據(jù)本公開第六實(shí)施例的圖像處理裝置的圖像拍攝裝置的典型配置的框圖；圖M是示出采用根據(jù)本公開第七實(shí)施例的圖像處理裝置的圖像拍攝裝置的典型配置的框圖；圖25示出表示根據(jù)第七實(shí)施例檢測(cè)顏色閃爍的處理的流程圖；圖沈示出表示用以積分R、G和B像素值的處理的流程圖；圖27是在用于針對(duì)不考慮噪聲容限的情況指定像素值的積分范圍的方法的描述中所參照的概念圖；圖觀是在用于針對(duì)考慮噪聲容限的情況指定像素值的積分范圍的方法的描述中所參照的概念圖；圖四是示出針對(duì)短曝光時(shí)間圖像的R與G之比以及B與G之比的概念圖；圖30是示出針對(duì)長(zhǎng)曝光時(shí)間圖像的R與G之比以及B與G之比的概念圖；圖31是示出了通過(guò)利用等式而獲得的典型顏色閃爍評(píng)估值的圖；圖32是在描述典型顏色閃爍確定方法時(shí)要參照的說(shuō)明圖；圖33是示出顏色閃爍檢測(cè)處理部分的典型配置的框圖34示出表示顏色閃爍檢測(cè)和確定度計(jì)算處理的流程圖；圖35是在說(shuō)明用于計(jì)算檢測(cè)顏色閃爍的確定度的方法時(shí)要參照的圖；圖36是示出檢測(cè)顏色閃爍的確定度的圖；圖37是在說(shuō)明用于計(jì)算檢測(cè)顏色閃爍的確定度的另一方法時(shí)要參照的圖；圖38是示出用于計(jì)算對(duì)于短和長(zhǎng)曝光時(shí)間圖像的不同的最終白平衡增益的白平衡增益計(jì)算系統(tǒng)的圖；圖39是在描述用于計(jì)算混合比α的方法時(shí)要參照的說(shuō)明圖；圖40是示出用于計(jì)算對(duì)于短和長(zhǎng)曝光時(shí)間圖像的不同的最終白平衡增益的另一白平衡增益計(jì)算系統(tǒng)的圖；圖41是示出具有用以抑制顏色閃爍的功能的顏色閃爍檢測(cè)處理部分的典型配置的框圖；圖42是示出采用根據(jù)本公開第八實(shí)施例的圖像處理裝置的圖像拍攝裝置的典型配置的框圖；圖43示出表示用以根據(jù)第八實(shí)施例檢測(cè)顏色閃爍的處理的流程圖；圖44是示出根據(jù)第八實(shí)施例的顏色閃爍檢測(cè)處理部分的典型配置的框圖；圖45示出表示根據(jù)本公開第九實(shí)施例、針對(duì)包括R、G和B積分值的靜態(tài)/動(dòng)態(tài)確定作為附加條件的情況的處理的流程圖；圖46是示出提供有根據(jù)第九實(shí)施例的靜態(tài)/動(dòng)態(tài)確定功能的顏色閃爍檢測(cè)處理的典型配置的框圖；圖47示出表示用以根據(jù)本公開第十實(shí)施例積分評(píng)估值(而非積分R、G和B積分值)的處理的流程圖；圖48示出表示針對(duì)已經(jīng)執(zhí)行了用以積分評(píng)估值的處理的情況的顏色閃爍確定處理的流程圖；圖49用作在對(duì)于根據(jù)第十一實(shí)施例執(zhí)行用以分割顏色閃爍檢測(cè)區(qū)域的處理的情況的描述中要參照的說(shuō)明圖，并且用作示出了存在多個(gè)光源的典型情形的圖；圖50是在對(duì)于根據(jù)第十一實(shí)施例執(zhí)行用以分割顏色閃爍檢測(cè)區(qū)域的處理的情況的描述中要參照的說(shuō)明圖；圖51是示出采用根據(jù)本公開第十二實(shí)施例的圖像處理裝置的圖像拍攝裝置的典型配置的框圖；圖52是示出采用根據(jù)本公開第十三實(shí)施例的圖像處理裝置的圖像拍攝裝置的典型配置的框圖；圖53是示出采用根據(jù)本公開第十四實(shí)施例的圖像處理裝置的圖像拍攝裝置的典型配置的框圖；以及圖M是示出采用根據(jù)本公開第十五實(shí)施例的圖像處理裝置的圖像拍攝裝置的典型配置的框圖。
具體實(shí)施例方式參照

本公開的實(shí)施例。要注意的是，在按照如下那樣安排的各部分中描述各實(shí)施例
1.實(shí)施圖像拍攝裝置的第一典型圖像處理裝置的第一實(shí)施例2.實(shí)施圖像拍攝裝置的第二典型圖像處理裝置的第二實(shí)施例3.實(shí)施圖像拍攝裝置的第三典型圖像處理裝置的第三實(shí)施例4.實(shí)施圖像拍攝裝置的第四典型圖像處理裝置的第四實(shí)施例5.實(shí)施圖像拍攝裝置的第五典型圖像處理裝置的第五實(shí)施例6.實(shí)施圖像拍攝裝置的第六典型圖像處理裝置的第六實(shí)施例7.實(shí)施圖像拍攝裝置的第七典型圖像處理裝置的第七實(shí)施例8.實(shí)施圖像拍攝裝置的第八典型圖像處理裝置的第八實(shí)施例9.實(shí)施圖像拍攝裝置的第九典型圖像處理裝置的第九實(shí)施例10.實(shí)施圖像拍攝裝置的第十典型圖像處理裝置的第十實(shí)施例11.實(shí)施圖像拍攝裝置的第十一典型圖像處理裝置的第十一實(shí)施例12.實(shí)施圖像拍攝裝置的第十二典型圖像處理裝置的第十二實(shí)施例13.實(shí)施圖像拍攝裝置的第十三典型圖像處理裝置的第十三實(shí)施例14.實(shí)施圖像拍攝裝置的第十四典型圖像處理裝置的第十四實(shí)施例15.實(shí)施圖像拍攝裝置的第十五典型圖像處理裝置的第十五實(shí)施例1 第一實(shí)施例圖10是示出采用根據(jù)本公開第一實(shí)施例的圖像處理裝置120的圖像拍攝裝置100 的典型配置的框圖。圖像拍攝裝置的配置圖像拍攝裝置100采用固態(tài)圖像拍攝器件110和圖像處理裝置120。圖像處理裝置120具有前級(jí)處理部分121和122、放大器123和124以及合成處理部分口5。另外，圖像處理裝置120還包括RAW-RGB轉(zhuǎn)換處理部分126、積分值計(jì)算處理部分127、白平衡調(diào)整處理部分128、后級(jí)處理部分1 和用作控制部分的CPU(中央處理單元)130。以根據(jù)用以產(chǎn)生具有寬動(dòng)態(tài)范圍的圖像所執(zhí)行的處理操作的順序的次序來(lái)說(shuō)明組成圖像拍攝裝置100的各個(gè)塊。固態(tài)圖像拍攝器件110被配置為圖像傳感器，如CCD圖像傳感器或CMOS圖像傳感器。在本公開的此說(shuō)明書中，技術(shù)術(shù)語(yǔ)‘傳感器’也用以表示固態(tài)圖像拍攝器件110。固態(tài)圖像拍攝器件110執(zhí)行光電轉(zhuǎn)換，以將光學(xué)系統(tǒng)(圖中未示出)創(chuàng)建的拍攝圖像轉(zhuǎn)換為數(shù)字信號(hào)，將數(shù)字信號(hào)提供到圖像處理裝置120中采用的前級(jí)處理部分121和 122。在固態(tài)圖像拍攝器件110中，創(chuàng)建以不同曝光時(shí)間拍攝的多個(gè)圖像，以便產(chǎn)生具有寬動(dòng)態(tài)范圍的圖像。具體地，固態(tài)圖像拍攝器件110輸出表示以不同曝光時(shí)間拍攝的至少兩個(gè)圖像的數(shù)字信號(hào)。在圖中所示的配置中，附圖標(biāo)記PXSE表示作為以短曝光時(shí)間拍攝的圖像的短曝光時(shí)間圖像。另一方面，附圖標(biāo)記PXLE表示作為以等于比短曝光時(shí)間更長(zhǎng)的正常曝光時(shí)間或者甚至長(zhǎng)于正常曝光時(shí)間的長(zhǎng)曝光時(shí)間拍攝的圖像的長(zhǎng)曝光時(shí)間圖像。短曝光時(shí)間圖像和長(zhǎng)曝光時(shí)間圖像用于產(chǎn)生具有寬動(dòng)態(tài)范圍的圖像。
前級(jí)處理部分121和122執(zhí)行的前級(jí)處理是必須在相對(duì)靠近透鏡輸出的位置處執(zhí)行的處理。前級(jí)處理包括黑電平平衡處理、噪聲消除處理和黑點(diǎn)校正(shading correction)處理。前級(jí)處理部分121對(duì)長(zhǎng)曝光時(shí)間圖像執(zhí)行黑電平平衡處理、噪聲消除處理和黑點(diǎn)校正處理。另一方面，前級(jí)處理部分122對(duì)短曝光時(shí)間圖像執(zhí)行黑電平平衡處理、噪聲消除處理和黑點(diǎn)校正處理。放大器123將已經(jīng)經(jīng)歷了前級(jí)處理部分121中執(zhí)行的前級(jí)處理的長(zhǎng)曝光時(shí)間圖像乘以從CPU 130接收到的增益以便產(chǎn)生乘積，并將乘積提供到合成處理部分125。同樣地，放大器IM將已經(jīng)經(jīng)歷了前級(jí)處理部分122中執(zhí)行的前級(jí)處理的短曝光時(shí)間圖像乘以從CPU 130接收到的增益以便產(chǎn)生乘積，并將乘積提供到合成處理部分125。CPU 130輸出的增益可以是曝光比的倒數(shù)或者該倒數(shù)的校正值。曝光比是正常拍攝的圖像的快門速度與短曝光時(shí)間圖像的快門速度之比。合成處理部分125執(zhí)行處理以便以像素為單元將長(zhǎng)曝光時(shí)間圖像與短曝光時(shí)間圖像合成。合成方法的細(xì)節(jié)將在稍后描述。作為合成處理的結(jié)果，合成處理部分125輸出合成圖像以及為合成圖像的每個(gè)合成圖像像素提供的標(biāo)志信息(其指示長(zhǎng)曝光時(shí)間圖像的像素和短曝光時(shí)間圖像的像素中的哪一個(gè)已經(jīng)被選擇為合成圖像像素)。在下面的描述中，將標(biāo)志信息稱為長(zhǎng)/短曝光時(shí)間選擇標(biāo)志FLGLS。合成處理部分125將合成圖像輸出到RAW-RGB轉(zhuǎn)換處理部分126，然后RAW-RGB轉(zhuǎn)換處理部分1 對(duì)合成圖像執(zhí)行RAW-RGB轉(zhuǎn)換處理。RAff-RGB轉(zhuǎn)換處理是用以將固態(tài)圖像拍攝器件110針對(duì)每個(gè)像素輸出的RAW數(shù)據(jù)轉(zhuǎn)換為三個(gè)數(shù)據(jù)(即，R數(shù)據(jù)、G數(shù)據(jù)和B數(shù)據(jù))的處理。RAW-RGB轉(zhuǎn)換處理也稱為去馬賽克處理。要注意的是，RAW數(shù)據(jù)包括R、G和B色或補(bǔ)色的拜耳陣列的值以及像素值，其中每一個(gè)像素值均是通過(guò)將像素值經(jīng)過(guò)濾色鏡并對(duì)像素值執(zhí)行電光轉(zhuǎn)換而為像素獲得的。RAff-RGB轉(zhuǎn)換處理部分1 將作為RAW-RGB轉(zhuǎn)換處理的結(jié)果而獲得的R、G和B合成圖像輸出到積分值計(jì)算處理部分127和白平衡調(diào)整處理部分128。首先，以下描述說(shuō)明白平衡調(diào)整處理部分1 和后級(jí)處理部分129的配置以及由白平衡調(diào)整處理部分1 和后級(jí)處理部分1 執(zhí)行的功能。根據(jù)從合成處理部分125接收到的長(zhǎng)/短曝光時(shí)間選擇標(biāo)志FLGLS，白平衡調(diào)整處理部分1 將從RAW-RGB轉(zhuǎn)換處理部分1 接收到的R、G和B合成圖像的像素值乘以針對(duì)長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像的像素從CPU 130接收到的其相應(yīng)的R、G和B白平衡增益。在下面的描述中，針對(duì)長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像的像素從CPU130接收到的 R、G 禾口 β 白平衡增益稱為 WBG_R_Long、WBG_G_Long、WBG_B_Long、WBG_R_Short、WBG_ G_Short 和 WBG_B_Short0如之前所述，長(zhǎng)/短曝光時(shí)間選擇標(biāo)志FLGLS是指示長(zhǎng)曝光時(shí)間圖像的像素和短曝光時(shí)間圖像的像素中的哪一個(gè)已經(jīng)被選擇為合成圖像像素的標(biāo)志。
后級(jí)處理部分1 對(duì)于從白平衡調(diào)整處理部分1 接收到的圖像執(zhí)行后級(jí)處理。 后級(jí)處理包括噪聲消除、邊緣加強(qiáng)處理、灰度級(jí)轉(zhuǎn)換和伽馬處理。如上所述，RAff-RGB轉(zhuǎn)換處理部分1 將作為RAW-RGB轉(zhuǎn)換處理結(jié)果而獲得的R、 G和B合成圖像輸出到積分值計(jì)算處理部分127。積分值計(jì)算處理部分127基于R、G和B合成圖像以及長(zhǎng)/短曝光時(shí)間選擇標(biāo)志 FLGLS確定每一個(gè)均滿足給定條件的像素，執(zhí)行處理以積分每一個(gè)像素的值。最終，積分值計(jì)算處理部分127將作為對(duì)于整個(gè)屏幕的像素執(zhí)行處理的結(jié)果而獲得的R、G和B圖像的每一個(gè)積分結(jié)果輸出到CPU 130。以上提到的給定條件表示區(qū)域規(guī)格，其為圖像的位置坐標(biāo)的規(guī)格，以及從某一電平(level)的像素值到另一個(gè)某一電平的像素值的范圍的規(guī)格。另外，給定條件也可以表示要求長(zhǎng)/短曝光時(shí)間選擇標(biāo)志FLGLS以指示已經(jīng)選擇了長(zhǎng)曝光時(shí)間圖像或短曝光時(shí)間圖像的條件。在下面的描述中，將積分值計(jì)算處理部分127產(chǎn)生的積分結(jié)果稱為Sum_R_L0ng、 Sum_G_Long、Sum_B_Long、Sum_R_Short、Sum_G_Short 禾口 Sum_B_Short。根據(jù)積分值計(jì)算處理部分127提供的R、G和B積分結(jié)果，CPU 130計(jì)算對(duì)于長(zhǎng)曝光時(shí)間圖像的白平衡增益WBG_R_Long、WBG_G_Long和WBG_B_Long以及對(duì)于短曝光時(shí)間圖像的白平衡增益 WBG_R_Short、WBG_G_Short 和 WBG_B_Short。作為計(jì)算白平衡增益的方法，CPU 130基于以下給出的等式(1-1)到(1_6)采用與典型方法類似的計(jì)算方法。然而，基于等式(1-1)到(1-6)的計(jì)算方法只不過(guò)是典型方法，或者CPU采用的計(jì)算方法不特別地限于該典型方法。也就是說(shuō)，CPU 130可以采用任何計(jì)算方法，只要該方法是根據(jù)現(xiàn)有技術(shù)的技術(shù)的現(xiàn)有方法即可。[等式1]WBG_R_Long = Sum_G_Long/Sum_R_Long . . . (1-1)WBG_G_Long = 1. 0 ... (1-2)WBG_B_Long = Sum_G_Long/Sum_B_Long . . . (1-3)WBG_R_Short = Sum_G_Short/Sum_R_Short . . . (1-4)WBG_G_Short = 1. 0 . . . (1-5)WBG_B_Short = Sum_G_Short/Sum_B_Short . . . (1-6)合成處理的詳細(xì)描述下面的描述說(shuō)明用于抑制混合區(qū)域中產(chǎn)生的錯(cuò)誤顏色的合成方法的細(xì)節(jié)。圖11是示出采用用于根據(jù)第一實(shí)施例抑制混合區(qū)域中產(chǎn)生的錯(cuò)誤顏色的合成方法的合成處理部分125的典型配置的框圖。如圖中所示，合成處理部分125采用RAW-YC轉(zhuǎn)換處理部分1251和1252、選擇器 1253、混合比計(jì)算部分1254、乘法器1255和1256、減法器1257、加法器1258和YC-RAW轉(zhuǎn)換處理部分1259。RAff-YC轉(zhuǎn)換處理部分1251對(duì)于RAW-YC轉(zhuǎn)換處理部分1251接收到的長(zhǎng)曝光時(shí)間圖像的RAW數(shù)據(jù)RAW_long執(zhí)行RAW-YC轉(zhuǎn)換處理。RAff-YC轉(zhuǎn)換處理部分1252對(duì)于RAW-YC轉(zhuǎn)換處理部分1252接收到的短曝光時(shí)間圖像的RAW數(shù)據(jù)RAW_short執(zhí)行RAW-YC轉(zhuǎn)換處理。
RAff-YC轉(zhuǎn)換處理是將RAW數(shù)據(jù)轉(zhuǎn)換為亮度(Y)分量和顏色(C)分量的處理。RAW-YC轉(zhuǎn)換處理中使用的轉(zhuǎn)換公式根據(jù)RAW數(shù)據(jù)、亮度⑴分量和顏色(C)分量的起源和評(píng)估值而變化。這里，RAW數(shù)據(jù)的起源指示圖像拍攝設(shè)備已將哪個(gè)濾色鏡用于獲取圖像拍攝信息。濾色鏡可以是R(紅)、G(綠)、B(藍(lán))、C(青)、M(紫)、Y(黃)或G(綠) 濾波器。評(píng)估值指示現(xiàn)有彩色空間，其可以是YCrCb、YUV或YPrPb。以下給出的等式0-1)到(2-3)是針對(duì)圖像拍攝設(shè)備的濾色鏡是RGB原色系統(tǒng)的濾波器的情況變換至YCrCb的典型轉(zhuǎn)換公式。以下給出的等式(3-1)到(3-3)可用作表示RGB原色系統(tǒng)和CMYG補(bǔ)色系統(tǒng)之間的關(guān)系的等式。因此，通過(guò)將等式(3-1)到(3-3)代入等式到Q-3)，CMYG補(bǔ)色系統(tǒng)可以變換為YCrCb。[等式2]Y = O. 257 X R+0. 504 X G+0. 098 X B ... (2-1)Cr = -0. 148 X R-0. 291XG+0. 439 X B . . . (2-2)Cb = 0. 439 X R-0. 368 X G-0. 071 X B ... (2-3)[等式3]C=LO-R …(3-1)M=LO-G …(3-2)Y=LO-B …(3-3)以上給出的等式是典型的變換公式。其它變換公式或簡(jiǎn)化公式也可以使用。另外， 其它評(píng)估值同樣也可以使用。除此之外，對(duì)于在上述轉(zhuǎn)換處理中如何使用像素信息或周圍像素信息沒有特別限制。作為轉(zhuǎn)換處理的結(jié)果，RAff-YC轉(zhuǎn)換處理部分1251和1252分別產(chǎn)生長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像的亮度(Y)分量和顏色(C)分量。在混合比計(jì)算部分1254、乘法器 1255和1256以及減法器1257中，亮度(Y)分量經(jīng)歷利用混合比α (也稱為攙和比)的合成處理。在合成處理中，混合比計(jì)算部分12Μ通過(guò)利用長(zhǎng)曝光時(shí)間圖像的亮度(Y)分量和短曝光時(shí)間圖像的亮度(Y)分量來(lái)計(jì)算混合比α。用于計(jì)算混合比α的方法可以是通過(guò)參照?qǐng)D9在之前說(shuō)明的技術(shù)，或者稍后說(shuō)明的修改版本所采用的方法。顏色(C)分量不經(jīng)歷合成處理。長(zhǎng)曝光時(shí)間圖像的顏色(C)分量或短曝光時(shí)間圖像的顏色(C)分量由選擇器1253根據(jù)C分量選擇信號(hào)CSEL來(lái)選擇，并且由YC-RAW轉(zhuǎn)換處理部分1259使用所選擇的顏色(C)分量。長(zhǎng)曝光時(shí)間圖像的顏色(C)分量和短曝光時(shí)間圖像的顏色(C)分量中的所選擇的一個(gè)不會(huì)帶來(lái)問(wèn)題。然而，在用于產(chǎn)生具有寬動(dòng)態(tài)范圍的圖像的系統(tǒng)的情況下，短曝光時(shí)間圖像的信號(hào)電平低。因此，極有可能的是，在短曝光時(shí)間圖像中產(chǎn)生相對(duì)大量的噪聲。由于上述原因，極有可能的是，在許多情況下，長(zhǎng)曝光時(shí)間圖像的所選顏色(C)分量好于短曝光時(shí)間圖像的所選顏色(C)分量。最終，YC-RAW轉(zhuǎn)換處理部分1259利用混合的亮度⑴分量和所選顏色(C)分量來(lái)執(zhí)行將各分量轉(zhuǎn)換回RAW數(shù)據(jù)的處理。該處理基于利用通過(guò)反轉(zhuǎn)之前描述的公式而獲得的公式的轉(zhuǎn)換方法。
如之前所述，合成處理部分125輸出作為合成處理的結(jié)果而獲得的合成圖像以及對(duì)于合成圖像的每一個(gè)合成圖像像素提供的長(zhǎng)/短曝光時(shí)間選擇標(biāo)志FLGLS(用于指示長(zhǎng)曝光時(shí)間圖像的像素和短曝光時(shí)間圖像的像素中的哪一個(gè)已經(jīng)被選擇為合成圖像像素)。這里，在第一實(shí)施例的情況下，混合區(qū)域的長(zhǎng)/短曝光時(shí)間選擇標(biāo)志FLGLS的值指示已經(jīng)選擇了長(zhǎng)曝光時(shí)間圖像的顏色(C)分量或短曝光時(shí)間圖像的顏色(C)分量。因此， 用于確定長(zhǎng)/短曝光時(shí)間選擇標(biāo)志FLGLS的值的方法可以由圖12中所示的流程圖表示。圖12示出了表示用以根據(jù)第一實(shí)施例確定長(zhǎng)/短曝光時(shí)間選擇標(biāo)志FLGLS的值的處理的流程圖。表示以上處理的流程圖開始于接收像素值的步驟ST11。然后，在下面的步驟 ST12，計(jì)算混合比α。如果在下面的步驟ST13獲得混合比α的計(jì)算值為0. 0，則在步驟 ST14輸出短曝光時(shí)間圖像的ID(標(biāo)識(shí)符)。如果在下面的步驟ST13獲得混合比α的計(jì)算值為處于范圍0.0 < α <1.0中的值，則在步驟ST15輸出已經(jīng)選擇了其顏色(C)分量的圖像的ID(標(biāo)識(shí)符)。如果在下面的步驟ST13獲得混合比α的計(jì)算值為1.0，則在步驟ST16 輸出長(zhǎng)曝光時(shí)間圖像的ID(標(biāo)識(shí)符)。在任一情況下，處理流程然后進(jìn)行到下一步驟ST17，以便確定是否已經(jīng)處理了最后像素。重復(fù)地執(zhí)行處理，直到已經(jīng)處理了最后像素為止。以上已經(jīng)描述了根據(jù)第一實(shí)施例的合成處理部分125。圖13A和1 是在下面說(shuō)明根據(jù)第一實(shí)施例可以抑制混合區(qū)域中產(chǎn)生的錯(cuò)誤顏色的原因時(shí)參照的概念圖。圖13A是在下面說(shuō)明根據(jù)第一實(shí)施例的合成處理方法時(shí)參照的概念圖。在第一實(shí)施例中，顏色(C)分量不經(jīng)歷合成處理。也就是說(shuō)，原樣使用以長(zhǎng)或短曝光時(shí)間拍攝的圖像的顏色(C)分量。因此，同樣在后級(jí)提供的白平衡調(diào)整處理部分128中， 所使用的顏色(C)分量?jī)H乘以顏色(C)分量的白平衡增益。結(jié)果，如圖1 所示，在混合區(qū)域PXMX中，適當(dāng)?shù)陌灼胶庠鲆婵梢杂米鞒藬?shù)以抑制混合區(qū)域PXMX中產(chǎn)生的錯(cuò)誤顏色。2:第二實(shí)施例圖14是示出采用根據(jù)本公開第二實(shí)施例的圖像處理裝置120A的圖像拍攝裝置 100A的典型配置的框圖。根據(jù)第二實(shí)施例的圖像拍攝裝置100A與根據(jù)第一實(shí)施例的圖像拍攝裝置100的不同之處在于，在第二實(shí)施例的情況下，將新信號(hào)從合成處理部分125A發(fā)送到白平衡調(diào)整處理部分128A以傳輸混合比。合成處理部分125A和白平衡調(diào)整處理部分128A將在稍后詳細(xì)說(shuō)明。因此，除了合成圖像信號(hào)和長(zhǎng)/短曝光時(shí)間選擇標(biāo)志FLGLS之外，第二實(shí)施例中的合成處理部分125A還將合成處理中使用的混合比(BLD比)α輸出到白平衡調(diào)整處理部分 128Α0由于其它部分與第一實(shí)施例中采用的對(duì)應(yīng)部分相同，因此不重復(fù)它們的說(shuō)明。合成處理的詳細(xì)描述下面的描述說(shuō)明用于根據(jù)第二實(shí)施例抑制混合區(qū)域中產(chǎn)生的錯(cuò)誤顏色的合成方法的細(xì)節(jié)。
圖15是示出根據(jù)第二實(shí)施例將合成方法應(yīng)用于拍攝圖像以便抑制混合區(qū)域中產(chǎn)生的錯(cuò)誤顏色的合成處理部分125A的典型配置的圖。下面逐個(gè)說(shuō)明組成合成處理部分 125A的組件。如圖15所示，合成處理部分125A采用混合比計(jì)算部分1254A、乘法器1255A和 1256A、減法器1257A和加法器1258A。首先，合成處理部分125A對(duì)于長(zhǎng)曝光時(shí)間圖像的RAW數(shù)據(jù)RAW_long以及短曝光時(shí)間圖像的RAW數(shù)據(jù)RAW_short執(zhí)行合成處理。在合成處理中，混合比計(jì)算部分1254A通過(guò)利用長(zhǎng)曝光時(shí)間圖像的RAW數(shù)據(jù)RAW_ long和短曝光時(shí)間圖像的RAW數(shù)據(jù)RAW_short來(lái)計(jì)算混合比α。作為計(jì)算混合比α的方法，混合比計(jì)算部分1254Α可以采用之前通過(guò)參照?qǐng)D9說(shuō)明的技術(shù)或稍后說(shuō)明的修改版本所采用的方法?；谕瑯佑珊铣商幚聿糠?25Α輸出到后級(jí)提供的白平衡調(diào)整處理部分128Α的計(jì)算出的混合比α，由乘法器1255Α和1256Α混合RAW數(shù)據(jù)。以上描述說(shuō)明根據(jù)第二實(shí)施例的合成處理部分125A。白平衡調(diào)整處理的詳細(xì)描述下面的描述說(shuō)明根據(jù)第二實(shí)施例的白平衡調(diào)整處理部分128A采用的用以抑制混合區(qū)域中產(chǎn)生的錯(cuò)誤顏色的白平衡調(diào)整方法的細(xì)節(jié)。圖16是示出根據(jù)第二實(shí)施例將合成方法應(yīng)用于白平衡增益以便抑制混合區(qū)域中產(chǎn)生的錯(cuò)誤顏色的白平衡調(diào)整處理部分128A的典型配置的圖。如圖16所示，白平衡調(diào)整處理部分128A采用乘法器1281至1觀3、減法器1284和加法器1285。根據(jù)現(xiàn)有技術(shù)，通過(guò)利用如圖4所示的長(zhǎng)/短曝光時(shí)間選擇標(biāo)志FLGLS來(lái)執(zhí)行白平衡調(diào)整處理。另一方面，在根據(jù)第二實(shí)施例的白平衡調(diào)整處理部分128A中，不使用長(zhǎng)/短曝光時(shí)間選擇標(biāo)志FLGLS。而是，通過(guò)利用針對(duì)每一個(gè)像素從合成處理部分125A接收到的混合比α作為合成處理中使用的比值，來(lái)執(zhí)行白平衡調(diào)整處理。白平衡調(diào)整處理的順序描述如下。輸入到白平衡調(diào)整處理部分128Α的信號(hào)包括作為RAW-RGB轉(zhuǎn)換的結(jié)果而獲得的 R、G和B圖像以及合成處理中使用的混合比α。另外，提供到白平衡調(diào)整處理部分128Α的輸入信號(hào)還包括長(zhǎng)曝光時(shí)間圖像的白平衡增益WBG_R_Long、WBG_G_Long和WBG_B_Long以及短曝光時(shí)間圖像的白平衡增益WBG_R_Short、WBG_G_Short和WBG_B_Short。這些白平衡增益已經(jīng)由CPU 130基于RGB積分值計(jì)算出?；诤铣商幚碇惺褂玫幕旌媳圈粒瑘D16中所示的白平衡調(diào)整處理部分128Α的電路根據(jù)長(zhǎng)曝光時(shí)間圖像的白平衡增益WBG_R_Long、WBG_G_Long和WBG_B_Long以及短曝光時(shí)間圖像的白平衡增益WBG_R_aiort、WBG_G_Short和WBG_B_Short計(jì)算每一個(gè)像素的最終白平衡增益WBG_R、WBG_G和WBG_B。然后，通過(guò)利用最終白平衡增益WBG_R、WBG_G* WBG_B，對(duì)于R、G和B圖像執(zhí)行白
平衡調(diào)整處理。以上已經(jīng)說(shuō)明了根據(jù)第二實(shí)施例的白平衡調(diào)整處理部分128A。
在現(xiàn)有白平衡調(diào)整處理部分的情況下，一個(gè)屏幕的像素用作被乘數(shù)，而兩組乘數(shù)用于被乘數(shù)。第一組具有長(zhǎng)曝光時(shí)間圖像的白平衡增益WBG_R_Long、WBG_G_Long和WBG_ B_Long,而第二組具有短曝光時(shí)間圖像的白平衡增益WBG_R_Short、WBG_G_Short和WBG_B_ Short。另一方面，在第二實(shí)施例的情況下，利用白平衡調(diào)整處理部分U8A，以便使得可以利用白平衡增益作為乘數(shù)，所述白平衡增益中的每一個(gè)在像素之間變化。結(jié)果，白平衡增益的數(shù)字的組合用作一個(gè)屏幕上的像素的乘數(shù)。以上描述說(shuō)明了第二實(shí)施例中包括的合成處理部分125A和白平衡調(diào)整處理部分 128A0圖17A和17B是說(shuō)明通過(guò)利用根據(jù)第二實(shí)施例提供的合成處理部分125A和白平衡調(diào)整處理部分128A可以抑制混合區(qū)域中產(chǎn)生的錯(cuò)誤顏色的原因的概念圖。圖17A是根據(jù)第二實(shí)施例執(zhí)行的合成處理的概念圖。根據(jù)第二實(shí)施例，合成處理部分125A以與現(xiàn)有技術(shù)相同的方式，對(duì)于長(zhǎng)累積時(shí)間圖像的RAW數(shù)據(jù)和短累積時(shí)間圖像的RAW數(shù)據(jù)執(zhí)行合成處理。根據(jù)第二實(shí)施例的白平衡調(diào)整處理部分128A將混合區(qū)域(其中，長(zhǎng)累積時(shí)間圖像的RAW數(shù)據(jù)已經(jīng)與短累積時(shí)間圖像的RAW數(shù)據(jù)混合)中每一個(gè)像素的值乘以CPU 130針對(duì)像素所獲得的白平衡增益。以這種方式，針對(duì)每一個(gè)像素，基于合成處理中使用的混合比， 可以執(zhí)行白平衡調(diào)整。結(jié)果，如圖17B所示，通過(guò)實(shí)質(zhì)上抑制混合區(qū)域中產(chǎn)生的錯(cuò)誤顏色，可以解決現(xiàn)有技術(shù)中的技術(shù)問(wèn)題。3 第三實(shí)施例在下面作為本公開第三實(shí)施例描述的實(shí)施例中，用以計(jì)算合成處理中使用的混合比α的處理包括靜態(tài)/動(dòng)態(tài)確定。圖18示出表示用以根據(jù)本公開第三實(shí)施例計(jì)算混合比的處理的流程圖。用以通過(guò)利用靜態(tài)/動(dòng)態(tài)確定來(lái)計(jì)算混合比α的典型處理第一和第二實(shí)施例采用之前通過(guò)參照?qǐng)D9說(shuō)明的方法，作為用于計(jì)算混合比α的方法。然而，由于長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像之間在圖像拍攝時(shí)間方面存在很小差異，因此運(yùn)動(dòng)對(duì)象可能在這種短時(shí)間差期間經(jīng)過(guò)。如果運(yùn)動(dòng)對(duì)象在這種短時(shí)間差期間經(jīng)過(guò)，則在某些情況下，運(yùn)動(dòng)對(duì)象可能僅存在于長(zhǎng)曝光時(shí)間圖像或短曝光時(shí)間圖像上。在這種情況下，如果如圖9中所示那樣通過(guò)利用根據(jù)像素電平而獲得的混合比來(lái)執(zhí)行合成處理，則結(jié)果，混合了關(guān)于完全不同的圖像拍攝對(duì)象的像素的信息。因此，讀者可容易地想象用于產(chǎn)生合成圖像的合成處理以失敗告終的情況。為了解決上述問(wèn)題，在第三實(shí)施例的情況下，圖18中所示的流程圖包括步驟 ST22，其被執(zhí)行用以確定像素或像素區(qū)域(也稱為像素塊)是屬于圖像拍攝對(duì)象的圖像的靜態(tài)的一個(gè)還是屬于運(yùn)動(dòng)對(duì)象的圖像的動(dòng)態(tài)的一個(gè)。如果像素或像素區(qū)域被確定為是靜態(tài)的一個(gè)，則在步驟ST23計(jì)算混合比α的值。另一方面，如果像素或像素區(qū)域被確定為是動(dòng)態(tài)的一個(gè)，則不執(zhí)行混合處理。而是，在步驟STM，將像素值或亮度級(jí)別與閾值LV_TH相比較。根據(jù)比較結(jié)果，在步驟ST25選擇短曝光時(shí)間圖像，或者在步驟SD6選擇長(zhǎng)曝光時(shí)間圖像。該流程圖表示的處理也可以在第一和第二實(shí)施例中執(zhí)行。圖19是示出配備有根據(jù)第三實(shí)施例的靜態(tài)/動(dòng)態(tài)確定功能的、用作圖11中所示的合成處理部分125的修改的合成處理部分125B的典型配置的框圖。如圖19所示，合成處理部分125B采用RAW-YC轉(zhuǎn)換處理部分1251B和1252B、選擇器1253、混合比計(jì)算部分12MB、乘法器1255B和1256B、減法器1257B、加法器1258B、 YC-RAff轉(zhuǎn)換處理部分1259B和靜態(tài)/動(dòng)態(tài)確定部分1260。這些部分執(zhí)行它們相應(yīng)的處理，以便完成上述合成處理。圖20是示出提供有根據(jù)第三實(shí)施例的靜態(tài)/動(dòng)態(tài)確定功能的、用作圖15中所示的合成處理部分125A的修改的合成處理部分125C的典型配置的框圖。如圖20所示，合成處理部分125C采用混合比計(jì)算部分12MC、乘法器1255C和 1256C、減法器1257C、加法器1258C和靜態(tài)/動(dòng)態(tài)確定部分1260C。這些部分執(zhí)行它們相應(yīng)的處理，以便完成上述合成處理。4:第四實(shí)施例本公開的第四和第五實(shí)施例中的每一個(gè)實(shí)施這樣的典型配置其中，計(jì)算混合比 α并執(zhí)行延遲調(diào)整，以便應(yīng)對(duì)延遲的用于抑制處理的白平衡增益。圖21是示出采用根據(jù)本公開第四實(shí)施例的圖像處理裝置120Β的圖像拍攝裝置 100Β的典型配置的框圖。根據(jù)第四實(shí)施例的圖像拍攝裝置100Β與根據(jù)第一實(shí)施例的圖像拍攝裝置100的不同之處在于圖像拍攝裝置100Β將額外的存儲(chǔ)器131用于延遲調(diào)整。執(zhí)行延遲調(diào)整，以便使得據(jù)以已經(jīng)計(jì)算出評(píng)估值的幀與已經(jīng)針對(duì)白平衡調(diào)整處理計(jì)算出白平衡增益的幀相同。5 第五實(shí)施例本公開的第五實(shí)施例實(shí)施其中計(jì)算混合比α并執(zhí)行延遲調(diào)整以便應(yīng)對(duì)用于抑制處理的延遲的白平衡增益的典型配置。圖22是示出采用根據(jù)本公開第五實(shí)施例的圖像處理裝置120C的圖像拍攝裝置 100C的典型配置的框圖。根據(jù)第五實(shí)施例的圖像拍攝裝置100C與根據(jù)第二實(shí)施例的圖像拍攝裝置100Α的不同之處在于，圖像拍攝裝置100C將額外的存儲(chǔ)器131用于延遲調(diào)整。執(zhí)行延遲調(diào)整以便使得據(jù)以已經(jīng)計(jì)算出評(píng)估值的幀與已經(jīng)針對(duì)白平衡調(diào)整處理計(jì)算出白平衡增益的幀相同。用于抑制處理的混合比α和白平衡增益的延遲調(diào)整在第一和第二實(shí)施例中，通過(guò)采用普通技術(shù)，根據(jù)積分結(jié)果計(jì)算長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像中每一個(gè)的白平衡增益。根據(jù)該普通技術(shù)，在由圖10和圖14中所示的配置的積分值計(jì)算處理部分127執(zhí)行的用以產(chǎn)生積分結(jié)果的積分處理中，使用整個(gè)屏幕的像素。據(jù)此，為了完成積分處理，花費(fèi)比對(duì)應(yīng)于至少一幀的時(shí)間段更長(zhǎng)的時(shí)間。結(jié)果，要提供到CPU 130中的白平衡調(diào)整處理部分1 或128A的白平衡增益的計(jì)算被延遲。另外，CPU 130還執(zhí)行用以根據(jù)積分值計(jì)算評(píng)估值的處理，使得計(jì)算評(píng)估值同樣花費(fèi)時(shí)間。因此，在第一和第二實(shí)施例的情況下，已經(jīng)根據(jù)通過(guò)執(zhí)行積分處理所獲得的積分結(jié)果計(jì)算出評(píng)估值的幀不同于針對(duì)白平衡調(diào)整處理計(jì)算白平衡增益的幀。也就是說(shuō)，已經(jīng)計(jì)算出評(píng)估值的幀不同于實(shí)際上要通過(guò)利用白平衡增益執(zhí)行白平衡調(diào)整的幀。通過(guò)利用根據(jù)第一和第二實(shí)施例的電路以及這些實(shí)施例采用的處理方法，與普通技術(shù)相比，可以執(zhí)行適于每個(gè)單獨(dú)像素的白平衡調(diào)整。由于這種幀差異，極有可能惡化了用以抑制錯(cuò)誤顏色的性能。另一方面，在第四和第五實(shí)施例的情況下，添加存儲(chǔ)器131用于延遲調(diào)整，以便使得據(jù)以已經(jīng)計(jì)算出評(píng)估值的幀與已經(jīng)針對(duì)白平衡調(diào)整處理計(jì)算出白平衡增益的幀相同。通過(guò)如上所述那樣向圖10中所示的圖像拍攝裝置100和圖14中所示的圖像拍攝裝置100A中的每一個(gè)添加存儲(chǔ)器131以分別獲得圖21中所示的圖像拍攝裝置100B和圖 22中所示的圖像拍攝裝置100C，可以執(zhí)行圖像拍攝裝置100B和圖像拍攝裝置100C中的延遲調(diào)整。6 第六實(shí)施例在本公開的第六實(shí)施例中，省略長(zhǎng)/短曝光時(shí)間選擇標(biāo)志FLGLS。圖23是示出采用根據(jù)本公開第六實(shí)施例的圖像處理裝置120D的圖像拍攝裝置 100D的典型配置的框圖。根據(jù)第六實(shí)施例的圖像拍攝裝置100D與根據(jù)第二實(shí)施例的圖像拍攝裝置100A的不同之處在于，在根據(jù)第六實(shí)施例的圖像拍攝裝置100D的情況下，省略長(zhǎng)/短曝光時(shí)間選擇標(biāo)志FLGLS。沒有長(zhǎng)/短曝光時(shí)間選擇標(biāo)志的典型配置長(zhǎng)/短曝光時(shí)間選擇標(biāo)志FLGLS是這樣的信號(hào)其指示在合成處理中已經(jīng)選擇了長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像中的哪一個(gè)的像素。另一方面，如圖9和圖12所示，第二實(shí)施例中提出的混合比α的值可以用以指示已經(jīng)選擇了僅長(zhǎng)曝光時(shí)間圖像的像素或僅短曝光時(shí)間圖像的像素。具體地，α = 1. 0指示已經(jīng)選擇了長(zhǎng)曝光時(shí)間圖像的像素，而α = 0. 0指示已經(jīng)選擇了短曝光時(shí)間圖像的像素。如從以上描述中顯而易見的那樣，在第二實(shí)施例的情況下，長(zhǎng)/短曝光時(shí)間選擇標(biāo)志FLGLS可以由混合比α替換。因此，不需要利用長(zhǎng)/短曝光時(shí)間選擇標(biāo)志FLGLS。由于上述原因，通過(guò)從圖14中所示的第二實(shí)施例的配置中除去長(zhǎng)/短曝光時(shí)間選擇標(biāo)志FLGLS，獲得由圖23中所示的第六實(shí)施例提供的圖像拍攝裝置100D的典型配置。第一和第二實(shí)施例的優(yōu)點(diǎn)描述第一和第二實(shí)施例的優(yōu)點(diǎn)如下。第一實(shí)施例的優(yōu)點(diǎn)由于根據(jù)第一實(shí)施例的處理幾乎在合成處理部分125中完成，因此不存在用于將提供到后級(jí)的信號(hào)進(jìn)行延遲的延遲電路(或諸如此類)。因此，可以使得硬件尺寸較小。在已經(jīng)選擇了長(zhǎng)曝光時(shí)間圖像的顏色(C)分量的情況下，可以利用作為相比于短曝光時(shí)間光產(chǎn)生的圖像信號(hào)具有極少噪聲的信號(hào)的、長(zhǎng)曝光時(shí)間光產(chǎn)生的圖像信號(hào)的顏色 (C)分量。第二實(shí)施例的優(yōu)點(diǎn)由于在像素之間變化的白平衡增益可以用作乘法器，因此與第一實(shí)施例相比，可以執(zhí)行錯(cuò)誤顏色的適當(dāng)抑制。
由于混合RAW數(shù)據(jù)，因此只要考慮顏色(C)分量，長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像之間就沒有空間切換點(diǎn)。也就是說(shuō)，可以進(jìn)行平滑的切換。因此，即使不能執(zhí)行錯(cuò)誤顏色的充分抑制，用戶也難以識(shí)別出錯(cuò)誤顏色。如上所述，根據(jù)第一到第六實(shí)施例，呈現(xiàn)了如下效果。在基于以彼此不同的曝光時(shí)間拍攝的多個(gè)圖像產(chǎn)生具有寬動(dòng)態(tài)范圍的圖像的處理中，可以有效地抑制在拍攝圖像的混合區(qū)域中產(chǎn)生的錯(cuò)誤顏色。錯(cuò)誤顏色包含在混合區(qū)域中，并且由于光源在拍攝圖像之間變化而帶來(lái)問(wèn)題，使得產(chǎn)生顏色閃爍(色漂)。7 第七實(shí)施例通過(guò)將顏色閃爍檢測(cè)功能添加到用以抑制長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像的混合部分中產(chǎn)生錯(cuò)誤顏色的功能來(lái)獲得下面作為本公開第七實(shí)施例所描述的實(shí)施例。圖M是示出采用根據(jù)本公開第七實(shí)施例的圖像處理裝置120E的圖像拍攝裝置 100E的典型配置的框圖。如圖M所示，除了圖10中所示的配置中包括的各部分之外，圖像處理裝置120E 還采用顏色閃爍檢測(cè)處理部分132。如下說(shuō)明顏色閃爍檢測(cè)處理部分132。顏色閃爍檢測(cè)處理部分132根據(jù)接收到的數(shù)據(jù)來(lái)確定顏色閃爍的存在/不存在， 并進(jìn)一步計(jì)算顏色閃爍的存在/不存在的確定度。然后，顏色閃爍檢測(cè)處理部分132將該確定度提供到CPU 130。如下詳細(xì)說(shuō)明顏色閃爍檢測(cè)處理部分132所采用的用以檢測(cè)顏色閃爍的方法。顏色閃爍檢測(cè)的詳細(xì)描述如下詳細(xì)說(shuō)明由顏色閃爍檢測(cè)處理部分132所采用的用以檢測(cè)顏色閃爍的方法。圖25示出表示根據(jù)第七實(shí)施例檢測(cè)顏色閃爍的處理的流程圖。流程圖開始于執(zhí)行RAW-RGB轉(zhuǎn)換處理的步驟ST31。然后，在下一步驟ST32，顏色閃爍檢測(cè)處理部分132計(jì)算長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像的R、G和B積分值。積分值的這種計(jì)算與圖2和圖3中所示的配置中采用的積分值計(jì)算部分5所執(zhí)行的積分值計(jì)算類似。作為積分值計(jì)算的主要處理，顏色閃爍檢測(cè)處理部分132對(duì)滿足特定條件的像素的值進(jìn)行積分。最終，顏色閃爍檢測(cè)處理部分132將對(duì)于整個(gè)屏幕的像素執(zhí)行的積分值計(jì)算的積分結(jié)果提供到CPU 130E。圖沈示出表示在步驟ST32計(jì)算積分結(jié)果的、用以積分R、G和B像素值的處理的流程圖。在圖26所示的流程圖中，顏色閃爍檢測(cè)處理部分132通過(guò)確定像素的位置是否處于指定區(qū)域并且確定像素值是否處于指定范圍來(lái)確定像素是否滿足特定條件。對(duì)于滿足這兩個(gè)條件的像素，執(zhí)行RGB像素值積分處理(參照?qǐng)D沈所示的流程圖中的步驟ST41到 ST46)。如下說(shuō)明用于指定像素值的積分范圍的方法。圖27是在用于針對(duì)不考慮噪聲容限的情況指定像素值的積分范圍的方法的以下描述中所參照的概念圖。該圖示出表示像素值的傳感器輸出與長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像的光量之間的關(guān)系。該實(shí)施例的特征在于，指定積分范圍以使得積分范圍包括要對(duì)于長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像二者積分的像素值。如從圖27中顯而易見的那樣，對(duì)于小于1 的光量，傳感器所產(chǎn)生的用以表示長(zhǎng)曝光時(shí)間圖像的像素值的輸出低于飽和水平。因此，存在傳感器產(chǎn)生的像素值。另一方面，對(duì)于大于1 的光量，傳感器不可避免地達(dá)到飽和，使得傳感器不輸出有意義的信息。據(jù)此，對(duì)于長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像，最好指定包括小于1 的光量產(chǎn)生的像素值的積分范圍。在圖中所示的典型示例中，符號(hào)X表示的部分中包括的像素值是待積分的像素值。圖27是在用于針對(duì)不考慮噪聲的情況指定像素值的積分范圍的方法的以上描述中所參照的概念圖。然而，在實(shí)際的圖像拍攝操作中，確實(shí)存在噪聲，并且曝光時(shí)間比越大，則在短曝光時(shí)間圖像中包括的作為積分對(duì)象像素(其每一個(gè)產(chǎn)生低電平信號(hào))的像素的數(shù)目越小。 因此，大曝光時(shí)間比率惡化了關(guān)于是否存在顏色閃爍的確定的精度。為了解決此問(wèn)題，可以通過(guò)預(yù)先考慮噪聲容限來(lái)指定積分范圍。圖觀是在用于針對(duì)考慮噪聲容限的情況指定像素值的積分范圍的方法的以下描述中所參照的概念圖。在圖中，在傳感器輸出為0和傳感器飽和水平處，在傳感器輸出軸上提供噪聲電平。如圖觀所示，噪聲容限中包括的像素值不經(jīng)歷積分。因此，待積分的像素值是圖中的符號(hào)Y表示的部分中的傳感器輸出。與不考慮噪聲容限的情況相比，待積分的像素值的數(shù)量較小。通過(guò)指定像素值的積分的這種范圍并積分像素值，在圖25中所示的流程圖的步驟ST32，可以獲得六個(gè)最終的積分結(jié)果。最終的積分結(jié)果是長(zhǎng)曝光時(shí)間圖像的R、G和B積分結(jié)果以及短曝光時(shí)間圖像的R、G和B積分結(jié)果。在下面的描述中，長(zhǎng)曝光時(shí)間圖像的R、G 和B積分結(jié)果以及短曝光時(shí)間圖像的R、G和B積分結(jié)果分別由參照標(biāo)記Sum_R_L0ng、Sum_ G_Long、Sum_B_Long、Sum_R_Short、Sum_G_Short 禾口 Sum_B_Short 表不。然后，通過(guò)利用下面作為基于計(jì)算出的積分結(jié)果的等式的所給出的等式到 G-4)，在圖25所示的流程圖的步驟ST33按照如下那樣計(jì)算長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像的R/G和B/G比[等式4](R/G)_Long = Sum_R_Long/Sum_G_Long . . . (4-1)(B/G)_Long = Sum_B_Long/Sum_G_Long . . . (4-2(R/G)_Short = Sum_R_Short/Sum_G_Short . . . (4-3)(B/G)_Short = Sum_B_Short/Sum_G_Short . . . (4-4)圖四和圖30中示出了利用等式G-1)到(4-4)分別針對(duì)長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像所計(jì)算出的典型比值。圖四是示出針對(duì)短曝光時(shí)間圖像的R與G之比以及B與G之比的概念圖。圖30是示出針對(duì)長(zhǎng)曝光時(shí)間圖像的R與G之比以及B與G之比的概念圖。兩個(gè)圖示出針對(duì)產(chǎn)生顏色閃爍的情況的典型比值。由于表示比值的每一個(gè)曲線圖的凹凸以及各曲線圖之間的上下關(guān)系根據(jù)情形而變化，因此圖中所示的比值僅僅是典型比值。也就是說(shuō)，表示R/G比的曲線圖不總是在表示B/G比的曲線圖的上面，并且表示B/G比的曲線圖不一定是具有凹陷的曲線圖。
如之前所述，短曝光時(shí)間圖像是以相對(duì)高的快門速度拍攝的圖像。因此，短曝光時(shí)間圖像易于受到顏色閃爍的影響，并且如圖四的曲線圖所示，R/G和B/G比隨著時(shí)間的經(jīng)過(guò)而改變。另一方面，長(zhǎng)曝光時(shí)間圖像是以相對(duì)低的快門速度拍攝的圖像。因此，長(zhǎng)曝光時(shí)間圖像幾乎不受到顏色閃爍的影響。然而，不可以認(rèn)為長(zhǎng)曝光時(shí)間圖像是完全不受顏色閃爍影響的圖像。如圖30的曲線所示，與表示短曝光時(shí)間圖像的R/G和B/G比的曲線相比，長(zhǎng)曝光時(shí)間圖像的R/G和B/G比隨著時(shí)間的經(jīng)過(guò)僅略有改變。然后，在下一步驟ST34，計(jì)算顏色閃爍的評(píng)估值。根據(jù)如下給出的等式(5-1)和(5-2)計(jì)算顏色閃爍的評(píng)估值[等式δ]CR_Est_R = (R/G)_Short/(R/G)_Long . . . (5-1)CR_Est_B = (B/G)_Short/(B/G)_Long . . . (5-2)圖31是示出了通過(guò)利用以上等式而獲得的典型顏色閃爍評(píng)估值的圖。如等式(5-1)和(5-2)所示，評(píng)估值是短曝光時(shí)間圖像的比與長(zhǎng)曝光時(shí)間圖像的比的比值。通過(guò)檢查評(píng)估值，可以從短曝光時(shí)間圖像中消除同樣對(duì)于長(zhǎng)曝光時(shí)間圖像具有影響的閃爍分量。另外，自動(dòng)地相對(duì)于長(zhǎng)曝光時(shí)間圖像的比歸一化短曝光時(shí)間圖像的比。即使短曝光時(shí)間圖像和長(zhǎng)曝光時(shí)間圖像在曝光時(shí)間上有差異，將長(zhǎng)曝光時(shí)間圖像上的每一個(gè)特定像素與短曝光時(shí)間圖像上與該特定像素相同位置處的像素相比較。因此， 應(yīng)該獲得關(guān)于相同圖像拍攝對(duì)象的圖像拍攝的信息。據(jù)此，如果不產(chǎn)生顏色閃爍，則短曝光時(shí)間圖像具有與長(zhǎng)曝光時(shí)間圖像的B/G和 R/G比相等的B/G和R/G比，而不論曝光時(shí)間如何。此時(shí)，要如上所述那樣比較的值是B/G 和R/G比。因此，即使長(zhǎng)曝光時(shí)間圖像的像素值的量值(或絕對(duì)像素值)與短曝光時(shí)間圖像的不同，也不會(huì)出現(xiàn)問(wèn)題。據(jù)此，如果不產(chǎn)生顏色閃爍，則評(píng)估值(其每一個(gè)均為比值) 應(yīng)為1. 0。另一方面，如果產(chǎn)生顏色閃爍，如之前所述的那樣，即使對(duì)于相同的圖像拍攝對(duì)象，色調(diào)由于照明光呈現(xiàn)的余輝特性的影響也改變。在這種情況下，評(píng)估值(其每一個(gè)均為比值)每一個(gè)均具有大于或小于1. 0的值。由于上述原因，如果產(chǎn)生顏色閃爍，則如圖31的曲線所示那樣，評(píng)估值隨著時(shí)間的經(jīng)過(guò)而從值1.0改變。然后，在步驟ST35到ST38，使用評(píng)估值來(lái)確定是否存在顏色閃爍。如之前所述，在不產(chǎn)生顏色閃爍的理想狀態(tài)下，評(píng)估值應(yīng)為1. 0。然而，存在如下事實(shí)1)存在由噪聲等引起的誤差。2)即使根據(jù)等式(5-1)和(5-2)可以從短曝光時(shí)間光中消除對(duì)于長(zhǎng)曝光時(shí)間光有影響的閃爍分量，對(duì)于長(zhǎng)曝光時(shí)間圖像的閃爍分量的影響也不是零。3)積分值不是評(píng)估值的積分結(jié)果，而是積分R、G和B像素值中每一個(gè)的結(jié)果。因此，與從R、G和B積分值獲得評(píng)估值的情況存在差異。結(jié)果，幾乎不存在評(píng)估值剛好等于1.0的情況。為此，定義如圖32中所示的那樣的死區(qū)NZN，并且將該死區(qū)NZN中存在的顏色閃爍評(píng)估值看作指示尚未產(chǎn)生顏色閃爍的值。更確切地，檢查R色的評(píng)估值CR_Est_R和B色的評(píng)估值CR_Est_B，以確定評(píng)估值 CR_Est_R和CR_Est_B是否處于死區(qū)NZN。如果評(píng)估值CR_Est_R和CR_Est_B中的至少一個(gè)在死區(qū)NZN之外，則確認(rèn)存在顏色閃爍。以上描述已經(jīng)說(shuō)明了用于確定是否存在顏色閃爍的方法。如果確定方法的結(jié)果指示存在顏色閃爍，則可以應(yīng)用之前所述的現(xiàn)有顏色閃爍抑制方法。圖33是示出顏色閃爍檢測(cè)處理部分132的典型配置的框圖。如圖中所示，顏色閃爍檢測(cè)處理部分132采用RAW-RGB轉(zhuǎn)換部分1321、條件確定部分1322、RGB積分部分1323、評(píng)估值計(jì)算部分13M和檢測(cè)部分1325。這些部分執(zhí)行它們相應(yīng)的處理，以便如上所述那樣完成用以檢測(cè)顏色閃爍的處理。顏色閃爍抑制方法如之前所述，根據(jù)此實(shí)施例檢測(cè)顏色閃爍，并且如果確認(rèn)存在顏色閃爍，則可以應(yīng)用普通顏色閃爍抑制方法。另一方面，除了根據(jù)實(shí)施例的顏色閃爍檢測(cè)之外，還可以執(zhí)行額外處理。執(zhí)行額外處理以便計(jì)算獲得顏色閃爍檢測(cè)的結(jié)果的確定度。然后，可以基于確定度來(lái)應(yīng)用顏色閃爍抑制方法。下面的描述說(shuō)明用于計(jì)算確定度的方法以及用于基于確定度抑制顏色閃爍的方法。首先，下面的描述說(shuō)明用于計(jì)算獲得顏色閃爍檢測(cè)的結(jié)果的確定度的方法。圖34示出表示顏色閃爍檢測(cè)和確定度計(jì)算處理的流程圖。如圖34所示，表示所述處理的流程圖開始于檢測(cè)顏色閃爍的步驟ST51。以與圖 26中所示的流程圖表示的顏色閃爍檢測(cè)處理相同的方式檢測(cè)顏色閃爍。在下一步驟ST52檢查在步驟ST51執(zhí)行的顏色閃爍檢測(cè)的結(jié)果，以便確定是否存在顏色閃爍。如果不存在顏色閃爍，則圖34所示的流程圖表示的處理的流程進(jìn)行到步驟 ST53，以便根據(jù)R、G和B積分值計(jì)算作為對(duì)于長(zhǎng)短曝光時(shí)間圖像公共的乘數(shù)的白平衡增益。白平衡增益的計(jì)算中使用的R、G和B積分值可以是在閃爍檢測(cè)時(shí)間計(jì)算的積分值，或者是由積分值計(jì)算部分計(jì)算的積分值。在閃爍檢測(cè)時(shí)間計(jì)算的積分值與由積分值計(jì)算部分計(jì)算的積分值之間的差異之一可以想象地是諸如計(jì)算范圍之類的條件的差異。另外，用于根據(jù)R、G和B積分值計(jì)算作為對(duì)于長(zhǎng)短曝光時(shí)間圖像公共的乘數(shù)的白平衡增益的方法可以是基于下面給出的等式(6-1)到(6-3)的增益計(jì)算方法。然而，等式 (6-1)到(6-3)只是典型等式。也就是說(shuō)，可以采用任何增益計(jì)算方法，只要該增益計(jì)算方法是已經(jīng)存在的方法即可。[等式6]WBG_R = (Sum_G_Long+Sum_G_Short)/(Sum_R_Long+Sum_R_Short) . . . (6-1)WBG_G =1.0 …(6-2)WBG_B = (Sum_G_Long+Sum_G_Short)/(Sum_B_Long+Sum_B_Short) . . . (6-3)然后，在下一步驟ST54，白平衡調(diào)整處理塊執(zhí)行白平衡調(diào)整處理，以將長(zhǎng)短曝光時(shí)間圖像乘以公共的白平衡增益。另一方面，如果存在顏色閃爍，則在步驟ST55執(zhí)行下述處理，以便計(jì)算已經(jīng)檢測(cè)到存在顏色閃爍的確定度。圖35是用于計(jì)算已經(jīng)檢測(cè)到顏色閃爍的確定度的方法所參照的圖。圖36是示出檢測(cè)到顏色閃爍的確定度的圖。如圖35所示那樣，將確定度定義為在顏色閃爍檢測(cè)時(shí)間計(jì)算出的顏色閃爍評(píng)估值與死區(qū)NZN的偏移量。在圖中，箭頭的長(zhǎng)度是確定度。在這種情況下，將偏移量處理為標(biāo)量。因此，確定度通常為正數(shù)。圖36中示出了通過(guò)采用這種方法獲得的確定度。圖37是在下面說(shuō)明用于計(jì)算檢測(cè)到顏色閃爍的確定度的另一方法時(shí)參照的圖。根據(jù)上面通過(guò)參照?qǐng)D35說(shuō)明的方法，將確定度定義為顏色閃爍評(píng)估值與死區(qū)NZN 的偏移量。然而，如圖37所示，將確定度定義為顏色閃爍評(píng)估值與值1的偏移量。如圖37 所示那樣定義的確定度也可以通過(guò)將圖35中所示的TH_high和TH_low中的每一個(gè)設(shè)置為 0而獲得。接著，下面的描述說(shuō)明在步驟ST56采用的用以基于計(jì)算出的確定度來(lái)計(jì)算用于抑制顏色閃爍的白平衡增益的方法。在步驟ST56，首先，根據(jù)R、G和B積分值計(jì)算白平衡增益，作為對(duì)于長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像中每一個(gè)的乘數(shù)。作為計(jì)算白平衡增益的方法，可以采用基于下面給出的等式(7-1)到(7-6)的計(jì)算方法。與等式(6-1)到(6-3)非常相像，等式(7-1)到(7-6)也是典型等式。[等式7]R_gain_Long = Sum_G_Long/Sum_R_Long. . . (7-1)G_gain_Long =1.0 ... (7-2)B_gain_Long = Sum_G_Long/Sum_B_Long . . . (7-3)R_gain_Short = Sum_G_Short/Sum_R_Short . . . (7-4)G_gain_Short =1.0 …(7-5)B_gain_Short = Sum_G_Short/Sum_B_Short . . . (7-6)根據(jù)等式(7-1)到(7-6)計(jì)算白平衡增益時(shí)所使用的R、G和B積分值可以是在閃爍檢測(cè)時(shí)間計(jì)算的積分值，或者是由積分值計(jì)算處理部分計(jì)算的積分值。在閃爍檢測(cè)時(shí)間計(jì)算的積分值與由積分值計(jì)算部分計(jì)算的積分值之間的差異之一可以想象地是諸如計(jì)算范圍之類的條件的差異。從分別根據(jù)等式(7-1)到(7-6)計(jì)算出的六個(gè)白平衡增益R_gain_L0ng、G_gain_ Long、B_gain_Long、R_gain_Short、G_gain_Short 禾口 B_gain_Short，獲得六個(gè)最終的白平衡增益 WBG_R_Long、WBG_G_Long, WBG_B_Long、WBG_R_Short, WBG_G_Short 和 WBG_B_Short 以最終用作長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像的乘數(shù)。圖38是示出用于計(jì)算長(zhǎng)短曝光時(shí)間圖像的不同最終白平衡增益的白平衡增益計(jì)算系統(tǒng)140的圖。如圖中所示，白平衡增益計(jì)算系統(tǒng)140采用乘法器141和142以及加法器143。根據(jù)在步驟ST55獲得的顏色閃爍確定度來(lái)計(jì)算混合比f(wàn)a。然后，基于混合比 fa，將長(zhǎng)曝光時(shí)間圖像的白平衡增益與短曝光時(shí)間圖像的白平衡增益混合。
圖39是用于計(jì)算混合比f(wàn)a的方法所參照的說(shuō)明圖。圖39的水平軸表示在步驟ST55獲得的顏色閃爍確定度，而該圖的垂直軸表示混合比f(wàn)a。對(duì)于小于低側(cè)閾值TH_min的確定度，將混合比f(wàn) α設(shè)置為0。對(duì)于大于高側(cè)閾值 TH_max的確定度，將混合比f(wàn)a設(shè)置為1. 0。低側(cè)閾值TH_min與高側(cè)閾值THjnax之間的任何特定的確定度的混合比f(wàn) α具有處于范圍0到1. 0的值。根據(jù)將表示0的混合比f(wàn)a和低側(cè)閾值TH_min的點(diǎn)連接到表示 1. 0的混合比f(wàn) α和高側(cè)閾值TH_max的點(diǎn)的直線，確定處于范圍0到1. 0的值。具體地，通過(guò)將低側(cè)閾值TH_min與特定確定度之差乘以直線的斜率來(lái)獲得特定確定度的混合比f(wàn)a。 直線的斜率等于1. 0/(TH_max-TH_min)。通過(guò)采用上述方法，可以得到最終用作長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像的乘數(shù)的六個(gè)最終白平衡增益 WBG_R_Long、WBG_G_Long、WBG_B_Long、WBG_R_Short, WBG_G_Short 和WBG_B_a!0rt。然后，由白平衡調(diào)整處理部分使用這些乘數(shù)以便調(diào)整白平衡。根據(jù)上面參照?qǐng)D38所說(shuō)明的方法，在對(duì)于六個(gè)白平衡增益R_gain_L0ng、G_gain_ Long、B_gain_Long、R_gain_Short、G_gain_Short 禾口 B_gain_Short 執(zhí) 亍的、混合處理中使用混合比f(wàn)a，以便計(jì)算六個(gè)最終的白平衡增益WBG_R_Long、WBG_G_Long、WBG_B_Long、WBG_ R_Short、WBG_G_Short 和 WBG_B_Short。然而，代替六個(gè)白平衡增益 R_gain_Long、G_gain_ Long、B_gain_Long、R_gain_Short、G_gain_Short 禾口 B_gain_Short，也可以對(duì)于 R、G 禾口 B 積分值執(zhí)行混合處理，以便計(jì)算六個(gè)最終的白平衡增益WBG_R_Long、WBG_G_Long、WBG_B_ Long、WBG_R_Short、WBG_G_Short 和 WBG_B_Short (如圖 40 所示)。如圖中所示，對(duì)于六個(gè) R、G 禾口 β 積分值 SUM_R_Long、SUM_G_Long、SUM_B_Long、SUM_R_Short、SUM_G_Short 和 SUM_ B_Short執(zhí)行混合處理，以便計(jì)算六個(gè)最終的白平衡增益WBG_R_Long、WBG_G_Long、WBG_B_ Long、WBG_R_Short, WBG_G_Short 和 WBG_B_Short 以上描述說(shuō)明了用于根據(jù)該實(shí)施例執(zhí)行顏色閃爍檢測(cè)以抑制顏色閃爍的方法。圖41是示出了具有用以抑制顏色閃爍的功能的顏色閃爍檢測(cè)處理部分132A的典型配置的框圖。如圖中所示，顏色閃爍檢測(cè)處理部分132A采用條件確定部分1322、RGB積分部分 1323、評(píng)估值計(jì)算部分1324、檢測(cè)部分1325、確定度計(jì)算部分13 和白平衡增益計(jì)算部分 1327。這些部分執(zhí)行它們相應(yīng)的處理，以便完成用以檢測(cè)顏色閃爍和抑制閃爍的處理。下面的描述說(shuō)明用于主要執(zhí)行用以檢測(cè)顏色閃爍的處理的第八到第十五實(shí)施例。8 第八實(shí)施例圖42是示出采用根據(jù)本公開第八實(shí)施例的圖像處理裝置的圖像拍攝裝置100F的典型配置的框圖。圖43示出了表示用以根據(jù)第八實(shí)施例檢測(cè)顏色閃爍的處理的流程圖。圖44是示出根據(jù)第八實(shí)施例的顏色閃爍檢測(cè)處理部分132F的典型配置的框圖。根據(jù)第八實(shí)施例的圖像拍攝裝置100F與根據(jù)第七實(shí)施例的圖像拍攝裝置100E之間的差異描述如下第七實(shí)施例是以與圖3中所示的配置相同的方式在后級(jí)執(zhí)行白平衡調(diào)整處理的實(shí)施例。另一方面，第八實(shí)施例是以與圖2中所示的配置相同的方式在前級(jí)執(zhí)行白平衡調(diào)整處理的實(shí)施例。因此，在第八實(shí)施例的情況下，在如圖43和圖44所示那樣檢測(cè)顏色閃爍的處理中不需要RAW-RGB轉(zhuǎn)換。9:第九實(shí)施例下面說(shuō)明本公開的第九實(shí)施例，用作將靜態(tài)/動(dòng)態(tài)確定添加到應(yīng)用于R、G和B積分值的條件的實(shí)施例。圖45示出表示根據(jù)本公開第九實(shí)施例、針對(duì)包括R、G和B積分值的靜態(tài)/動(dòng)態(tài)確定作為附加條件的情況的處理的流程圖。將靜態(tài)/動(dòng)態(tài)確定添加到RGB積分值的條件的典型配置在第八實(shí)施例的情況下，具有對(duì)于長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像二者有意義的信息的像素值被積分。對(duì)于同一像素，除了顏色閃爍之外，假設(shè)長(zhǎng)曝光時(shí)間圖像的比與短曝光時(shí)間圖像的比不同。理想地，評(píng)估值是1.0。然而，由于長(zhǎng)曝光時(shí)間圖像和短曝光時(shí)間圖像之間在圖像拍攝時(shí)間上存在小差異，因此運(yùn)動(dòng)對(duì)象可能在該短時(shí)間差期間經(jīng)過(guò)。如果運(yùn)動(dòng)對(duì)象在該短時(shí)間差期間經(jīng)過(guò)，則同一圖像拍攝對(duì)象的假設(shè)不期望地不再有效，使得顏色閃爍檢測(cè)的結(jié)果受到影響。為了解決上述問(wèn)題，在第九實(shí)施例中，對(duì)于每一個(gè)像素或各像素的每一個(gè)塊執(zhí)行靜態(tài)/動(dòng)態(tài)確定，作為稱為靜態(tài)條件的新增加的條件。以這種方式，可以高精度地檢測(cè)顏色閃爍(參照?qǐng)D45中所示的流程圖)。在第九實(shí)施例中，如對(duì)于現(xiàn)有技術(shù)的情況那樣，可以使用在獲得運(yùn)動(dòng)矢量的處理過(guò)程中用于獲得運(yùn)動(dòng)矢量或信息的機(jī)構(gòu)，以便基于諸如沿時(shí)間軸的之前和之后幀之間的差異之類的數(shù)據(jù)來(lái)確定靜態(tài)或動(dòng)態(tài)。圖46是根據(jù)第九實(shí)施例示出配備有靜態(tài)/動(dòng)態(tài)確定功能的顏色閃爍檢測(cè)處理部分132G的典型配置的框圖。如圖中所示，顏色閃爍檢測(cè)處理部分132G采用條件確定部分1322、RGB積分部分1323、評(píng)估值計(jì)算部分1324、檢測(cè)部分1325、靜態(tài)/動(dòng)態(tài)確定部分13 和用作延遲電路 1329的存儲(chǔ)器。這些部分執(zhí)行它們相應(yīng)的處理，以便完成用以檢測(cè)顏色閃爍的處理。10 第十實(shí)施例下面作為本公開的第十實(shí)施例所描述的典型實(shí)施例對(duì)評(píng)估值進(jìn)行積分，而不是對(duì) R、G和B積分值進(jìn)行積分。圖47示出表示用以根據(jù)本公開第十實(shí)施例積分評(píng)估值(而非積分R、G和B積分值)的處理的流程圖。圖48示出表示針對(duì)已經(jīng)執(zhí)行了用以積分評(píng)估值的處理的情況的顏色閃爍確定處理的流程圖。用于對(duì)作為R、G和B積分值的代替的評(píng)估值進(jìn)行積分的典型配置在之前描述的各實(shí)施例的情況下，計(jì)算R、G和B積分值，并根據(jù)積分值獲得顏色閃爍評(píng)估值。
然而，如之前所述，在根據(jù)R、G和B積分值獲得評(píng)估值的配置與針對(duì)每一個(gè)像素獲得評(píng)估值然后獲得作為評(píng)估值的平均的積分值的配置之間存在差異。對(duì)于后一情況，給出圖47作為示出了表示用以根據(jù)第十實(shí)施例在步驟ST66對(duì)評(píng)估值進(jìn)行積分的處理的流程圖的圖，而給出圖48作為表示針對(duì)如圖47的流程圖所示那樣已經(jīng)執(zhí)行了用以積分評(píng)估值的處理的情況的顏色閃爍確定處理的流程圖的圖。也就是說(shuō)，在圖47所示的流程圖中詳細(xì)描述了圖48所示的流程圖的步驟ST71計(jì)算評(píng)估值的平均所執(zhí)行的處理。圖47所示的流程圖開始于復(fù)位顏色閃爍的評(píng)估值的積分值的步驟ST61。然后，在下一步驟ST62，接收像素值。接下來(lái)，在下一步驟ST63，檢查像素以便確定像素是否位于指定區(qū)域中的位置。如果像素位于指定區(qū)域中的位置，則在步驟ST64，檢查像素值以便確定像素值是否位于指定范圍內(nèi)。如果像素值在指定范圍內(nèi)，則在步驟ST65，針對(duì)長(zhǎng)時(shí)間曝光圖像和短時(shí)間曝光圖像中的每一個(gè)計(jì)算R/G和B/G比，而根據(jù)R/G和B/G比獲得顏色閃爍的評(píng)估值。然后，在下一步驟ST66，計(jì)算表示顏色閃爍的評(píng)估值之總和的評(píng)估值總和。接下來(lái)，在下一步驟ST67，更新表示目前為止處理的像素?cái)?shù)的像素計(jì)數(shù)。然后，在下一步驟ST68，檢查當(dāng)前像素以便確定當(dāng)前像素是否為最后處理的像素。如果當(dāng)前像素不是最后處理的像素，則重復(fù)用以積分評(píng)估值的處理。當(dāng)然，重復(fù)地執(zhí)行用以積分評(píng)估值的處理，直到處理了最后像素為止。圖48所示的流程圖開始于步驟ST71，在步驟ST71中，將圖47所示的流程圖的步驟ST66獲得的評(píng)估值總和除以圖47所示的流程圖的步驟ST67獲得的像素計(jì)數(shù)以便得到 B/G和R/G平均評(píng)估值。然后，在下一步驟ST72，檢查B/G平均評(píng)估值以便檢查B/G平均評(píng)估值是否在死區(qū)的范圍中。如果B/G平均評(píng)估值處于死區(qū)的范圍中，則在步驟ST73檢查R/G平均評(píng)估值以便確定R/G平均評(píng)估值是否在死區(qū)的范圍中。如果R/G平均評(píng)估值在死區(qū)的范圍中，則在步驟ST74確認(rèn)不存在顏色閃爍。如果在步驟ST72獲得不在死區(qū)的范圍中的B/G平均評(píng)估值和/或如果在步驟 ST73獲得不在死區(qū)的范圍中的R/G平均評(píng)估值，則在步驟ST75確認(rèn)存在顏色閃爍。11 第^^一實(shí)施例在下面作為本公開的第十一實(shí)施例所說(shuō)明的典型實(shí)施例中，執(zhí)行用以分割顏色閃爍檢測(cè)區(qū)域的處理。圖49用作對(duì)于根據(jù)第十一實(shí)施例執(zhí)行用以分割顏色閃爍檢測(cè)區(qū)域的處理的情況所參照的說(shuō)明圖，并且用作示出了存在多個(gè)光源的典型情形的圖。圖50是對(duì)于根據(jù)第十一實(shí)施例執(zhí)行用以分割顏色閃爍檢測(cè)區(qū)域的處理的情況所參照的說(shuō)明圖。用以分割顏色閃爍檢測(cè)區(qū)域的處理根據(jù)之前所述的各實(shí)施例，更具有魯棒性(robust)的顏色閃爍檢測(cè)是可能的，從而可以有效地抑制所產(chǎn)生的顏色閃爍。然而，在之前所述的各實(shí)施例的情況下，長(zhǎng)時(shí)間曝光圖像和短時(shí)間曝光圖像中的每一個(gè)可以僅乘以一組白平衡增益，即R、G和B增益。
結(jié)果，如果在短時(shí)間曝光圖像中存在具有彼此不同特性的多個(gè)光源，則可以應(yīng)對(duì)僅由任何一個(gè)光源引起的顏色閃爍。在例如像圖49中所示情形那樣的情形的情況下，提供對(duì)于短時(shí)間曝光圖像有意義的信息的光源是用作光源OSl的室內(nèi)燈以及用作光源0S2的太陽(yáng)光源(其為通過(guò)窗戶可以看到的外部光源)。在這種情形下，如果抑制室內(nèi)燈引起的顏色閃爍，則對(duì)于經(jīng)由窗戶可以看到的外部場(chǎng)景不能再執(zhí)行白平衡調(diào)整。為了解決以上問(wèn)題，如圖50所示，將屏幕劃分為對(duì)于每一個(gè)都可以執(zhí)行相同處理的幾個(gè)區(qū)域DVA。然而，如果將屏幕劃分為幾個(gè)區(qū)域DVA，則對(duì)于一區(qū)域DVA，可能不存在短時(shí)間曝光圖像，并且像素?cái)?shù)可能太小，從而可能未積分正確的值。在這種情況下，如果計(jì)算出的像素計(jì)數(shù)太小，則執(zhí)行控制以取消顏色閃爍的抑制。12 第十二實(shí)施例圖51是示出采用根據(jù)本公開第十二實(shí)施例的圖像處理裝置120G的圖像拍攝裝置 100G的典型配置的框圖。根據(jù)第十二實(shí)施例的圖像拍攝裝置100G與根據(jù)第七實(shí)施例的圖像拍攝裝置100E 的不同之處在于，在圖像拍攝裝置100E的情況下，用硬件執(zhí)行第七實(shí)施例的典型處理。典型處理包括用以計(jì)算評(píng)估值的處理。然而，為了在計(jì)算評(píng)估值的處理中得到比值，需要除法器，從而極有可能的是，圖像拍攝裝置100E的硬件電路的尺寸增大。為了解決以上問(wèn)題，第十二實(shí)施例采用用以利用CPU 130G執(zhí)行某些處理的方法。 具體地，在第十二實(shí)施例的情況下，顏色閃爍檢測(cè)處理部分132G利用硬件執(zhí)行直至積分處理的處理，而CPU 130G執(zhí)行評(píng)估值的計(jì)算以及關(guān)于是否存在顏色閃爍的確定。13 第十三實(shí)施例圖52是示出采用根據(jù)本公開第十三實(shí)施例的圖像處理裝置120H的圖像拍攝裝置 100H的典型配置的框圖。根據(jù)第十三實(shí)施例的圖像拍攝裝置100H與根據(jù)第八實(shí)施例的圖像拍攝裝置100F 的不同之處在于，在圖像拍攝裝置100F的情況下，用硬件執(zhí)行第八實(shí)施例的典型處理。典型處理包括用以計(jì)算評(píng)估值的處理。然而，為了在計(jì)算評(píng)估值的處理中得到比值，需要除法器，從而極有可能的是，圖像拍攝裝置100F的硬件電路的尺寸增大。為了解決以上問(wèn)題，第十三實(shí)施例采用用以利用CPU 130H執(zhí)行某些處理的方法。 具體地，在第十三實(shí)施例的情況下，顏色閃爍檢測(cè)處理部分132H利用硬件來(lái)執(zhí)行直至積分處理的處理，而CPU 130H執(zhí)行評(píng)估值的計(jì)算以及關(guān)于是否存在顏色閃爍的確定。14 第十四實(shí)施例本公開的第十四和第十五實(shí)施例中的每一個(gè)均實(shí)施執(zhí)行延遲調(diào)整以便應(yīng)對(duì)用于檢測(cè)和抑制顏色閃爍的延遲的白平衡增益的典型配置。圖53是示出采用根據(jù)本公開第十四實(shí)施例的圖像處理裝置1201的圖像拍攝裝置 1001的典型配置的框圖。根據(jù)第十四實(shí)施例的圖像拍攝裝置1001與根據(jù)第七實(shí)施例的圖像拍攝裝置100E的不同之處在于，在圖像拍攝裝置1001的情況下，執(zhí)行延遲調(diào)整以便使得已經(jīng)據(jù)以計(jì)算出評(píng)估值的幀與已經(jīng)針對(duì)白平衡調(diào)整處理計(jì)算出白平衡增益的幀相同。因此，圖像拍攝裝置 1001將額外的存儲(chǔ)器133和134用于延遲調(diào)整。15 第十五實(shí)施例圖M是示出采用根據(jù)本公開第十五實(shí)施例的圖像處理裝置120J的圖像拍攝裝置 100J的典型配置的框圖。根據(jù)第十五實(shí)施例的圖像拍攝裝置100J與根據(jù)第八實(shí)施例的圖像拍攝裝置100F 的不同之處在于，在圖像拍攝裝置100J的情況下，在圖像拍攝裝置100J的情況下，執(zhí)行延遲調(diào)整以便使得據(jù)以已經(jīng)計(jì)算出評(píng)估值的幀與已經(jīng)針對(duì)白平衡調(diào)整處理計(jì)算出白平衡增益的幀相同。因此，圖像拍攝裝置100J將額外的存儲(chǔ)器133和134用于延遲調(diào)整。用于檢測(cè)和抑制顏色閃爍的延遲的白平衡增益的延遲調(diào)整在之前所述的各實(shí)施例執(zhí)行的典型處理中，根據(jù)從對(duì)于整個(gè)幀的所有像素執(zhí)行的積分處理獲得的積分結(jié)果，計(jì)算長(zhǎng)時(shí)間曝光圖像和短時(shí)間曝光圖像中每一個(gè)的白平衡增益。因此，為了完成積分處理，花費(fèi)與一個(gè)幀對(duì)應(yīng)的時(shí)間，從而相應(yīng)地延遲了白平衡增益。 另外，CPU 130還執(zhí)行用以根據(jù)積分結(jié)果計(jì)算評(píng)估值的處理，從而計(jì)算評(píng)估值同樣也花費(fèi)時(shí)間。因此，在之前所述的各實(shí)施例執(zhí)行的典型處理中，據(jù)以已經(jīng)通過(guò)執(zhí)行積分處理計(jì)算出評(píng)估值的幀與實(shí)際要通過(guò)利用白平衡增益執(zhí)行白平衡調(diào)整的幀不同。另一方面，在第十四和第十五實(shí)施例的情況下，使得據(jù)以已經(jīng)計(jì)算出評(píng)估值的幀與要通過(guò)利用白平衡增益執(zhí)行白平衡調(diào)整的幀相同。通過(guò)將存儲(chǔ)器133和134添加到圖42 所示的配置，可以執(zhí)行延遲調(diào)整，以便使得據(jù)以已經(jīng)計(jì)算出評(píng)估值的值與要執(zhí)行白平衡調(diào)整的幀相同。要注意的是，目前為止描述的各實(shí)施例所特有的特征可以適當(dāng)?shù)叵嗷ソM合。根據(jù)第七到第十五實(shí)施例，可以獲得下列效果。與現(xiàn)有白平衡調(diào)整處理相比，可以執(zhí)行更加多樣化的白平衡調(diào)整處理。也就是說(shuō)， 可以執(zhí)行對(duì)于應(yīng)用適當(dāng)?shù)陌灼胶庹{(diào)整處理。另外，更具有魯棒性的顏色閃爍檢測(cè)是可能的。可以執(zhí)行對(duì)于檢測(cè)顏色閃爍的確定度適當(dāng)?shù)陌灼胶庹{(diào)整處理，以便可以有效地抑制顏色閃爍。即使對(duì)于具有寬動(dòng)態(tài)范圍的圖像，也可以執(zhí)行適當(dāng)?shù)陌灼胶庹{(diào)整處理，以便可以有效地抑制顏色閃爍。由于在不考慮時(shí)間軸方向周期性的情況下對(duì)于每一幀執(zhí)行顏色閃爍的存在的確定，因此可以對(duì)于周期顏色閃爍以外的顏色閃爍執(zhí)行白平衡調(diào)整處理。因此，顏色閃爍的適當(dāng)抑制是可能的。根據(jù)上述實(shí)施例的圖像拍攝裝置均可以用作具有各種圖像拍攝功能的裝置。具有各種圖像拍攝功能的裝置的典型示例是便攜式電話、攝像機(jī)和數(shù)碼相機(jī)。要注意的是，以上詳細(xì)說(shuō)明的方法可以通過(guò)將所述方法實(shí)施為要由計(jì)算機(jī)(如 CPU)執(zhí)行的用作根據(jù)所述方法的過(guò)程的程序的程序來(lái)配置。另外，可以將程序配置為預(yù)先存儲(chǔ)在記錄介質(zhì)上，以由計(jì)算機(jī)存取，以便使得程序由其上安裝了記錄介質(zhì)的計(jì)算機(jī)執(zhí)行。記錄介質(zhì)的典型示例是半導(dǎo)體存儲(chǔ)器、磁盤、光盤、 和軟 盤。本公開包含與2010年6月M日向日本專利局提交的日本優(yōu)先權(quán)專利申請(qǐng)JP 2010-144205中公開的主題有關(guān)的主題，其全部?jī)?nèi)容通過(guò)引用的方式合并在此。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，依據(jù)設(shè)計(jì)要求和其它因素可以出現(xiàn)各種修改、組合、 部分組合和變更，只要它們?cè)谒綑?quán)利要求或其等同體的范圍內(nèi)即可。
權(quán)利要求
1.一種圖像處理裝置，包括合成處理部分，其配置為合成以不同曝光時(shí)間拍攝的多個(gè)圖像， 其中，在用以合成拍攝圖像的處理中，所述合成處理部分獲取根據(jù)從所述拍攝圖像中選擇的分量而變化的拍攝圖像混合比，并通過(guò)將所述混合比應(yīng)用于要混合所述拍攝圖像的像素的混合區(qū)域，對(duì)于所述混合區(qū)域執(zhí)行混合處理。
2.如權(quán)利要求1所述的圖像處理裝置，其中，所述合成處理部分 獲取基于所述拍攝圖像的亮度分量而計(jì)算出的混合比；在對(duì)于所述混合區(qū)域執(zhí)行的所述混合處理中利用所述混合比； 從所述拍攝圖像中選擇任何圖像；以及將所選擇圖像的顏色分量應(yīng)用于所述混合區(qū)域。
3.如權(quán)利要求2所述的圖像處理裝置，其中，所述合成處理部分 從所述拍攝圖像中選擇以相對(duì)長(zhǎng)曝光時(shí)間拍攝的圖像；以及將以所述相對(duì)長(zhǎng)曝光時(shí)間拍攝的所選擇圖像的顏色分量應(yīng)用于所述混合區(qū)域。
4.如權(quán)利要求2所述的圖像處理裝置，所述圖像處理裝置進(jìn)一步包括白平衡調(diào)整處理部分，其配置為執(zhí)行將所述合成處理部分中合成的合成圖像乘以增益的白平衡調(diào)整處理，其中，所述白平衡調(diào)整處理部分在所述白平衡調(diào)整處理中，將所述合成圖像的顏色分量乘以分別針對(duì)所述顏色分量計(jì)算出的所述增益。
5.如權(quán)利要求1所述的圖像處理裝置，所述圖像處理裝置進(jìn)一步包括白平衡調(diào)整處理部分，其配置為執(zhí)行將所述合成處理部分中合成的合成圖像乘以增益的白平衡調(diào)整處理，其中所述合成處理部分在合成時(shí)間處，從所述拍攝圖像的原始數(shù)據(jù)中獲取所述混合比，并將合成時(shí)間混合比提供到所述白平衡調(diào)整處理部分；所述白平衡調(diào)整處理部分基于所述合成時(shí)間混合比計(jì)算所述增益；以及所述白平衡調(diào)整處理部分在所述白平衡調(diào)整處理中，將所述合成圖像乘以所計(jì)算出的增 ο
6.如權(quán)利要求1所述的圖像處理裝置，其中，所述合成處理部分包括運(yùn)動(dòng)確定部分，其配置為執(zhí)行運(yùn)動(dòng)確定，并且通過(guò)利用所述運(yùn)動(dòng)確定的結(jié)果來(lái)校正所述混合比。
7.如權(quán)利要求6所述的圖像處理裝置，其中，所述合成處理部分在所述運(yùn)動(dòng)確定的所述結(jié)果指示靜態(tài)的情況下計(jì)算所述混合比，而在所述運(yùn)動(dòng)確定的所述結(jié)果指示動(dòng)態(tài)的情況下輸出所述拍攝圖像之一而不執(zhí)行所述混合處理。
8.如權(quán)利要求1所述的圖像處理裝置，所述圖像處理裝置進(jìn)一步包括白平衡調(diào)整處理部分，其配置為執(zhí)行將所述合成處理部分中合成的合成圖像乘以白平衡增益的白平衡調(diào)整處理；以及配置為對(duì)于所獲取的混合比以及已經(jīng)計(jì)算出幀圖像的所述白平衡增益的所述幀圖像執(zhí)行延遲調(diào)整的部分。
9.一種圖像拍攝裝置，包括圖像拍攝器件，其用于以不同曝光時(shí)間拍攝多個(gè)圖像；以及合成處理部分，其配置為合成所述圖像拍攝器件拍攝的所述圖像，其中，在合成所述拍攝圖像的處理中，所述合成處理部分獲取根據(jù)從所述拍攝圖像中選擇的分量而變化的拍攝圖像混合比，并通過(guò)將所述混合比應(yīng)用于要混合所述拍攝圖像的像素的混合區(qū)域，對(duì)于所述混合區(qū)域執(zhí)行混合處理。
10.如權(quán)利要求9所述的圖像拍攝裝置，其中，所述合成處理部分 獲取基于所述拍攝圖像的亮度分量而計(jì)算的混合比；在對(duì)于所述混合區(qū)域執(zhí)行的所述混合處理中利用所述混合比； 從所述拍攝圖像中選擇任何圖像；以及將所選擇圖像的顏色分量應(yīng)用于所述混合區(qū)域。
11.如權(quán)利要求10所述的圖像拍攝裝置，其中，所述合成處理部分 從所述拍攝圖像中選擇以相對(duì)長(zhǎng)曝光時(shí)間拍攝的圖像；以及將以所述相對(duì)長(zhǎng)曝光時(shí)間拍攝的所選擇圖像的顏色分量應(yīng)用于所述混合區(qū)域。
12.如權(quán)利要求10所述的圖像拍攝裝置，所述圖像拍攝裝置進(jìn)一步包括白平衡調(diào)整處理部分，其配置為執(zhí)行將所述合成處理部分中合成的合成圖像乘以增益的白平衡調(diào)整處理，其中，所述白平衡調(diào)整處理部分在所述白平衡調(diào)整處理中，將所述合成圖像的顏色分量乘以分別針對(duì)所述顏色分量計(jì)算出的所述增益。
13.如權(quán)利要求9所述的圖像拍攝裝置，所述圖像拍攝裝置進(jìn)一步包括白平衡調(diào)整處理部分，其配置為執(zhí)行將所述合成處理部分中合成的合成圖像乘以增益的白平衡調(diào)整處理，其中所述合成處理部分在合成時(shí)間處，從所述拍攝圖像的原始數(shù)據(jù)中獲取所述混合比，并將合成時(shí)間混合比提供到所述白平衡調(diào)整處理部分；所述白平衡調(diào)整處理部分基于所述合成時(shí)間混合比計(jì)算所述增益；以及所述白平衡調(diào)整處理部分在所述白平衡調(diào)整處理中，將所述合成圖像乘以所計(jì)算出的增 ο
14.如權(quán)利要求9所述的圖像拍攝裝置，其中，所述合成處理部分包括運(yùn)動(dòng)確定部分， 其配置為執(zhí)行運(yùn)動(dòng)確定，并通過(guò)利用所述運(yùn)動(dòng)確定的結(jié)果來(lái)校正所述混合比。
15.如權(quán)利要求14所述的圖像拍攝裝置，其中，所述合成處理部分在所述運(yùn)動(dòng)確定的所述結(jié)果指示靜態(tài)的情況下計(jì)算所述混合比，而在所述運(yùn)動(dòng)確定的所述結(jié)果指示動(dòng)態(tài)的情況下輸出所述拍攝圖像之一而不執(zhí)行所述混合處理。
16.如權(quán)利要求9所述的圖像拍攝裝置，所述圖像拍攝裝置進(jìn)一步包括白平衡調(diào)整處理部分，其配置為執(zhí)行將所述合成處理部分中合成的合成圖像乘以白平衡增益的白平衡調(diào)整處理；以及配置為對(duì)于所獲取的混合比以及已經(jīng)計(jì)算出幀圖像的所述白平衡增益的所述幀圖像執(zhí)行延遲調(diào)整的部分。
17.一種圖像處理方法，其中，用以合成以不同曝光時(shí)間拍攝的多個(gè)圖像的處理包括用以獲取根據(jù)從所述拍攝圖像中選擇的分量而變化的拍攝圖像混合比的操作，以及通過(guò)將所述混合比應(yīng)用于要混合所述拍攝圖像的像素的混合區(qū)域而對(duì)于所述混合區(qū)域執(zhí)行的混合處理。
18.一種要由計(jì)算機(jī)在如下處理中執(zhí)行的圖像處理程序，在所述處理中，合成以不同曝光時(shí)間拍攝的多個(gè)圖像，以便執(zhí)行用以獲取根據(jù)從所述拍攝圖像中選擇的分量而變化的拍攝圖像混合比的操作，并通過(guò)將所述混合比應(yīng)用于要混合所述拍攝圖像的像素的混合區(qū)域而對(duì)于所述混合區(qū)域執(zhí)行混合處理。
全文摘要
在此公開了圖像處理裝置、圖像拍攝裝置、圖像處理方法和程序。所述圖像處理裝置包括合成處理部分，其配置為合成以不同曝光時(shí)間拍攝的多個(gè)圖像，其中，在合成所述拍攝圖像的處理中，所述合成處理部分獲取根據(jù)從所述拍攝圖像中選擇的分量而變化的拍攝圖像混合比，并通過(guò)將所述混合比應(yīng)用于要混合所述拍攝圖像的像素的混合區(qū)域而對(duì)于所述混合區(qū)域執(zhí)行混合處理。
文檔編號(hào)H04N5/355GK102300055SQ20111017388
公開日2011年12月28日 申請(qǐng)日期2011年6月24日 優(yōu)先權(quán)日2010年6月24日
發(fā)明者和島賢二, 山本洋司, 神明克尚, 長(zhǎng)滝真吾 申請(qǐng)人:索尼公司