專利名稱：圖像合成裝置的制作方法
技術領域：
本發(fā)明涉及一種應用到數(shù)碼相機中的圖像合成裝置，并尤其涉及這樣一種圖像合成裝置，其根據(jù)分別通過長時間曝光和短時間曝光而獲得的圖像信號產(chǎn)生合成的圖像信號。
背景技術：
在數(shù)碼相機中，當按下快門鈕時，根據(jù)通過圖像傳感器的預曝光而獲得的RGM信號產(chǎn)生一個YUV信號，并且確定的最佳曝光量使得Y信號的整數(shù)值(亮度估算值)滿足預定的條件。圖像傳感器的主要曝光根據(jù)最佳曝光量執(zhí)行，并且由此獲得的基于RGB信號的YUV信號被記錄在記錄介質上。
另外，有這樣一種數(shù)碼相機，即，當選擇動態(tài)范圍擴展模式時，執(zhí)行同一目標的長時間曝光和短時間曝光，并且合并長時間曝光圖像信號和被施加增益的短時間曝光圖像信號。
長時間曝光和短時間曝光中圖像傳感器的輸出特性例如如圖20(A)和圖20(B)所示地變化。根據(jù)圖20(A)，在物體的亮度、即從物體反射的光強度達到L1時，圖像傳感器的輸出飽和。另一方面，根據(jù)圖20(B)，在物體的亮度達到L2(＞L1)時，圖像傳感器的輸出飽和。因此，比較形成長時間曝光圖像信號的每個像素的Y水平與對應于亮度L1的參考值Y1，并且如果在滿足條件Y水平＜Y1時選擇長時間曝光圖像信號，并且如果滿足條件Y水平≥Y1時選擇被施加增益N的短時間曝光圖像信號，則可以獲得如圖21所示的動態(tài)范圍被擴展的合成圖像信號。
但是，如果在目標的顏色上有偏差，則即使在處于最佳曝光量時對目標攝影，具體顏色的顏色水平也是飽和的。例如，注意人的面部(皮膚色)在微距成像時的RGB信號比例，R水平遠高于G水平和B水平。因為根據(jù)RGB信號產(chǎn)生Y信號，所以當RGB信號的比例極度失真時，即使確定的最佳曝光量使得亮度估算值滿足預定的條件，通過主要曝光所獲得的R信號水平也飽和。因此，RGB信號的比例偏離原始比例，并且因而被再現(xiàn)的圖像的色調(diào)也失真。
當以動態(tài)范圍擴展模式對偏離特定顏色的目標攝影時顯然會發(fā)生色調(diào)失真的問題。例如，在形成面部的A部分的Y水平超過參考值Y1、并且B部分的Y水平等于或小于參考值Y1、并且因而R水平飽和為圖22(A)所示的長時間曝光圖像的情況下，如果長時間曝光圖像與短時間曝光圖像(已被施加了增益)合并，如圖22(B)所示，則產(chǎn)生一幅如圖22(C)所示只有B部分的色調(diào)失真的合成圖像。在此情況下，B部分顯示為凸起，并且色調(diào)的失真比圖22(A)所示的長時間曝光圖像更顯著。

發(fā)明內(nèi)容
因此，本發(fā)明的主要目的在于提供一種新穎的圖像合成裝置。
本發(fā)明的另一目的在于提供一種能夠將合成圖像信號的色調(diào)失真降為最小的圖像合成裝置。
本發(fā)明的再一目的在于提供一種能夠將合成圖像信號的色調(diào)中失真的發(fā)生降為最小的圖像合成方法。
根據(jù)本發(fā)明，圖像合成裝置根據(jù)按第一曝光量的第一曝光所獲得的目標的第一圖像信號以及按小于第一曝光量的第二曝光量的第二曝光所獲得的目標的第二圖像信號產(chǎn)生目標的合成圖像，該裝置包括比較裝置，用于將第一圖像信號和第二圖像信號其中任一的亮度相關水平與參考值進行比較；第一選擇裝置，用于在亮度相關水平等于或小于參考值時選擇第一圖像信號；第二選擇裝置，用于在亮度相關水平大于參考值時選擇第二圖像信號；偏離度檢測裝置，用于檢測目標的顏色偏離度；和減小裝置，用于根據(jù)偏離度減小參考值。
當根據(jù)按第一曝光量的第一曝光所獲得的第一圖像信號和按第二曝光量的第二曝光所獲得的第二圖像信號產(chǎn)生合成圖像信號時，由比較裝置將第一圖像信號和第二圖像信號其中任一的亮度相關水平與參考值進行比較。當亮度相關水平等于或小于參考值時，由第一選擇裝置選擇第一圖像信號，并當亮度相關水平大于參考值時，由第二選擇裝置選擇第二圖像信號。由此產(chǎn)生合成圖像信號。另一方面，偏離度檢測裝置檢測目標的顏色偏離度，并且減小裝置根據(jù)檢測到的偏離度減小參考值。
因為第二曝光量小于第一曝光量，所以即使目標的顏色偏離特定的顏色，特定顏色的顏色成份也很難飽和，并且第二圖像信號的色調(diào)也難以失真。如果按照檢測到的偏離度減小參考值，則第二圖像信號變得易于選擇，并且可以避免在合成圖像信號的色調(diào)中發(fā)生失真的情況。
在提取按照預定的曝光量曝光所獲得的目標的第三圖像信號的情形中，可以通過根據(jù)第三圖像信號檢測特定顏色的顏色飽和度和亮度飽和度、并從顏色飽和度中減去亮度飽和度而獲得偏離度。當特定顏色的所有顏色水平都飽和時，亮度水平也飽和。屆時，具體顏色的顏色水平飽和、但其亮度水平不飽和的像素被認為偏離具體的顏色。因此，通過從顏色飽和度中減去亮度飽和度，可以獲得偏離度。
如果具體顏色的顏色水平飽和的像素數(shù)量被定為顏色飽和度，并且如果亮度飽和的像素數(shù)量被定為亮度飽和度，則可以精確且容易地算出偏離度。
注意，預定的曝光量最好小于第一曝光量且大于第二曝光量。
在一個實施例中，偏離度越大，參考值減小得越多。因而，偏離度越大，越容易選擇第二圖像信號。
在另一實施例中，判斷形成目標圖像的多個部分中的每一個是否滿足預定條件。減小裝置根據(jù)滿足預定條件的部分的數(shù)量對偏離度加權并根據(jù)加權結果減小參考值。預定條件最好包括表明注意的部分為特定顏色的第一條件，以及表明注意的部分具有高亮度的第二條件。
根據(jù)本發(fā)明，圖像合成方法根據(jù)按第一曝光量的第一曝光所獲得的目標的第一圖像信號以及按小于第一曝光量的第二曝光量的第二曝光所獲得的目標的第二圖像信號產(chǎn)生目標的合成圖像，該方法包括下列步驟(a)將第一圖像信號和第二圖像信號其中任一的亮度相關水平與參考值進行比較；(b)在亮度相關水平等于或小于參考值時選擇第一圖像信號；(c)在亮度相關水平大于參考值時選擇第二圖像信號；(d)檢測目標的顏色偏離度；和(e)根據(jù)偏離度減小參考值。
當根據(jù)按照第一曝光量的第一曝光獲得的第一圖像信號和按照第二曝光量的第二曝光所獲得的第二圖像信號產(chǎn)生合成信號時，將第一圖像信號和第二圖像信號中任意一個的亮度相關水平與參考值進行比較。當亮度相關水平等于或小于參考值時，選擇第一圖像信號，并當亮度相關水平大于參考值時，選擇第二圖像信號。由此產(chǎn)生合成圖像信號。此處，參考值根據(jù)目標的顏色偏離度減小。
因為第二曝光量小于第一曝光量，所以即使目標的顏色偏離特定的顏色，特定顏色的顏色成份也很難飽和。如果根據(jù)檢測到的偏離度減小參考值，則第二圖像信號變得易于選擇，并且可以防止在合成圖像信號的色調(diào)中出現(xiàn)失真的情況。
通過下面結合附圖對本發(fā)明的詳細描述，本發(fā)明的上述目的和其它目的、特征、方面和優(yōu)點將變得更加清晰。


圖1是本發(fā)明一個實施例的框圖；圖2是應用到圖1所示實施例的單個處理電路的實例框圖；圖3是應用到圖1所示實施例的CPU的部分操作流程圖；圖4是應用到圖1所示實施例的CPU的另一部分操作流程圖；圖5是應用到圖1所示實施例的CPU的其它部分操作流程圖；圖6是應用到圖1所示實施例的CPU的其它部分操作流程圖；圖7是應用到圖1所示實施例的CPU的其它部分操作流程圖；圖8是儲存RGB信號和Y信號的表的實例簡圖；圖9是本發(fā)明另一實施例的框圖；圖10是應用到圖9所示實施例的單個處理電路的實例框圖；圖11是應用到圖9所示實施例的CPU的部分操作流程圖；圖12是應用到圖9所示實施例的CPU的另一部分操作流程圖；圖13是應用到圖9所示實施例的CPU的其它部分操作流程圖；圖14是應用到圖9所示實施例的CPU的另一部分操作流程圖；
圖15是應用到圖9所示實施例的CPU的另一部分操作流程圖；圖16是應用到圖9所示實施例的CPU的其它部分操作流程圖；圖17是應用到圖9所示實施例的CPU的其它部分操作流程圖；圖18是表示圖9所示實施例的部分操作示意圖；圖19是表示圖9所示實施例的另一部分操作示意圖；圖20(A)是進行長時間曝光時關于目標亮度的傳感器輸出曲線；圖20(B)是進行短時間曝光時關于目標亮度的傳感器輸出曲線；圖21是長時間曝光圖像信號和短時間曝光圖像信號的合成處理的示意圖；圖22(A)是長時間曝光圖像的一個實例示意圖；圖22(B)是被施加增益的短時間曝光圖像的一個實例示意圖；圖22(C)是表示一個合成圖像的實例的示意圖。
具體實施例方式
參見圖1，本實施例的數(shù)碼相機10包括一個光學透鏡12和一個光圈元件14。目標的光學圖像經(jīng)這些元件入射到CCD成像器(圖像傳感器)16的接收面上。通過光電轉換在光接收面上產(chǎn)生一個對應于入射光圖像的相機信號、即原始圖像信號。注意，光接收面被具有Bayer陣列(未示出)的初級濾光片覆蓋，并且形成相機信號的每個像素信號具有R、G和B任何一種顏色信息。
當電源開啟時，CPU 44分別對光圈元件14和TG(計時發(fā)生器)18設置孔徑量和曝光時間周期，并且指示TG 18每1/15秒執(zhí)行一次曝光。TG 18每1/15秒對CCD成像器16曝光一次并從CCD成像器16讀出由曝光產(chǎn)生的相機信號。每1/15秒在每幀讀出的相機信號經(jīng)CDS/AGC電路20的公知的噪音去除和水平調(diào)節(jié)以及A/D轉換器22中的A/D轉換施加到圖像處理電路24。
信號處理電路24構造成如圖2所示。相機信號在倍增器24a中被施以增益(初始值)，并在顏色分離電路24a中經(jīng)受顏色分離。形成相機信號的每個像素只有R信息信號(R信號)、G信息信號(G信號)和B信息信號(B信號)中的一個，并且因此每個像素中缺乏的其它兩個顏色信息信號由顏色分離電路24b補償。形成每個像素的R信號、G信號和B信號同時從顏色分離電路24b輸出。在每個像素處輸出的R信號、G信號和B信號經(jīng)白平衡調(diào)節(jié)電路24c施加到YUV轉換電路24d，并且由此產(chǎn)生由Y信號(照明信號)、U信號(色差R-Y)和V信號(色差B-Y)構成的圖像信號。
返回到圖1，開關SW1連接到終端S2，從信號處理電路24輸出的圖像信號經(jīng)開關SW1施加到第二存儲控制器30。第二存儲控制器30將施加的圖像信號寫入到第二存儲器32的圖像信號存儲區(qū)32a上。
視頻編碼器34經(jīng)第二存儲控制器30讀出圖像信號存儲區(qū)32a中的圖像信號，將每幀的讀出圖像信號編碼成NTSC制式的合成圖像信號，并將編碼的合成圖像信號施加到LCD監(jiān)視器36。LCD監(jiān)視器36以實時動畫、即目標的圖像以15fps的比例顯示。
當按下快門鈕46時，CPU 44指示TG 18執(zhí)行預曝光并提取根據(jù)預曝光由信號處理電路24產(chǎn)生的RGB信號和Y信號。CPU 44決定根據(jù)R信號和G信號合并的圖像的參考值Ys，根據(jù)RGB信號調(diào)節(jié)白平衡，并根據(jù)Y信號決定長時間曝光的第一曝光時間周期Sm1和短時間曝光的第二曝光時間周期Sm2。決定的第一曝光時間周期Sm1長于執(zhí)行標準攝影(其中只執(zhí)行一次主要曝光)時的最佳曝光時間周期，并且第二曝光時間周期Sm2短于最佳曝光時間周期。隨后，CPU 44指示TG 18在注意到的兩幀中分別執(zhí)行長時間曝光(根據(jù)第一曝光時間周期Sm1的主要曝光)和短時間曝光(根據(jù)第二曝光時間周期Sm2的主要曝光)。TG 18在注意到的兩幀的第一幀中對CCD成像器16執(zhí)行長時間曝光，并在第二幀中執(zhí)行讀出長時間曝光產(chǎn)生的相機信號并對CCD成像器16執(zhí)行短時間曝光。在第二幀之后的一幀中從CCD成像器16讀出由短時間曝光產(chǎn)生的相機信號。
當長時間曝光圖像信號(基于長時間曝光的圖像信號)被從信號處理電路24輸出時，CPU 44指示第一存儲控制器26執(zhí)行寫入。長時間曝光圖像信號被第一存儲控制器26儲存到第一存儲器28中。當由短時間曝光產(chǎn)生的相機信號被從CCD成像器16中讀出時，CPU 44還將圖2中所示的倍增器24a的增益從初始值改變到預定值N，并且指示第一存儲控制器26讀出長時間曝光圖像信號?；诙虝r間曝光的并被施加增益的短時間曝光圖像信號從信號處理電路24輸出，并且長時間曝光圖像信號從第一存儲控制器26輸出。對應于同一像素的長時間曝光圖像信號和短時間曝光圖像信號同時施加到開關SW1的終端S1和終端S2。
CPU 44還提取形成長時間曝光圖像信號的每個像素的Y信號，將每個像素處提取的Y信號水平與參考值Ys進行比較，并響應于比較結果控制開關SW1的開關。當滿足Y信號水平≤Ys條件時開關SW1連接到終端S1，并當滿足Y信號水平＞Ys條件時開關SW1連接到終端S2。當連接到終端S1時，選擇形成長時間曝光圖像信號的像素信號，并當連接到終端S2時，選擇形成短時間曝光圖像信號的像素信號，并且由此產(chǎn)生具有動態(tài)范圍擴展的合成圖像信號。
當合成圖像信號從開關SW1輸出時，CPU 44指示第二存儲控制器30執(zhí)行寫入。合成圖像信號通過第二存儲控制器30暫時儲存在第二存儲器32的圖像信號存儲區(qū)32a中。CPU 33繼續(xù)指示JPEG編碼解碼器38執(zhí)行壓縮過程。JPEG編碼解碼器38通過第二存儲控制器30讀出儲存在圖像信號存儲區(qū)32a中的合成圖像信號，并對讀出的合成圖像信號按照JPEG制式執(zhí)行壓縮過程。當獲得壓縮的圖像信號時，JPEG編碼解碼器38將產(chǎn)生的壓縮圖像信號施加到第二存儲控制器30。壓縮的圖像信號通過第二存儲控制器30儲存在壓縮信號存儲區(qū)32b中。
當壓縮圖像信號的存儲過程結束時，CPU 44從壓縮信號存儲區(qū)32b中經(jīng)第二存儲控制器30讀出壓縮圖像信號，并將讀出的壓縮圖像信號記錄到存儲卡42上。由此在存儲卡42中建立圖形文件。注意，存儲卡42是一種可分開的易失性記錄介質，當被裝載到插槽40中時變得可由CPU 44存取。
當電源接通時，由CPU 44執(zhí)行按照圖3至圖7所示流程進行的過程。注意，對應于該流程的控制程序儲存在ROM 48中。
首先，在步驟S1執(zhí)行整個圖形顯示過程，并且在步驟S3判斷快門鈕46是否被操縱。當快門鈕46未被操縱時，在步驟S5執(zhí)行監(jiān)視的AE過程，并再返回到步驟S1。然后，反復調(diào)節(jié)對光圈元件14設置的孔徑量以及對TG 18設置的曝光時間周期，并且由此在監(jiān)視器36上顯示具有適中亮度的整個圖形。注意，響應于每1/15秒由TG 18產(chǎn)生的VD脈沖執(zhí)行步驟S1和S5的過程。
當操縱快門鈕46時，在步驟S7執(zhí)行為計量設置的曝光。具體地說，對TG 18設置1/1200秒的曝光時間周期，并且對光圈元件14設置最大開口的孔徑量。在步驟S9判斷是否從TG 18施加了VD脈沖，如果“是”，則在步驟S11向TG 18發(fā)出用于計量的預曝光的指示。TG 18在1/1200秒的時間內(nèi)在被施加指示的當前幀執(zhí)行預曝光，并從CCD成像器16讀出由預曝光在當前幀之后的下一幀產(chǎn)生的相機信號?；谧x出的相機信號的Y信號從圖2所示的YUV轉換電路24d在已經(jīng)被執(zhí)行讀出的幀內(nèi)輸出。因此，在步驟S13判斷是否產(chǎn)生VD脈沖，并且如果判定為“是”，則在步驟S15從YUV轉換電路24d提取一幀Y信號。提取的一幀Y信號是基于在步驟S11預曝光的Y信號。
在步驟S17，根據(jù)提取的Y信號計算曝光時間周期Sp和孔徑量F。具體地說，通過在一幀周期內(nèi)對Y信號積分獲得亮度估算值Iy，并再計算亮度估算值Iy滿足預定條件的曝光時間周期Sp和孔徑量F。在步驟S19，對光圈元件14設置孔徑量F，并且對TG 18設置曝光時間周期Sp。注意，在步驟S19設置的曝光是為了決定參考值Ys、白平衡調(diào)節(jié)和最佳曝光時間。
當完成曝光設置之后產(chǎn)生VD脈沖時，在步驟S21判定為“是”，并且在步驟S23對TG 18發(fā)出預曝光的指示。TG 18根據(jù)曝光時間周期Sp執(zhí)行預曝光并從CCD成像器16讀出由預曝光產(chǎn)生的相機信號。當在指示預曝光之后產(chǎn)生VD脈沖時，過程從步驟S25進行到步驟S27，從而提取從圖2所示的白平衡調(diào)節(jié)電路24c輸出的RGB信號和從YUV轉換電路24d輸出的Y信號。提取的RGB信號和Y信號是基于步驟S23的預曝光。在步驟S29，提取的RGB信號和Y信號儲存在圖8所示的表44a中。此時，對同一像素的RGB信號和Y信號分配共同像素數(shù)。在步驟S31判斷信號的一幀提取是否完成，并且重復步驟S27和S29直到判定為“是”。
在步驟S33根據(jù)提取的R信號和G信號判斷參考值Ys，在步驟S35根據(jù)提取的RGB信號對最佳值設置白平衡調(diào)節(jié)電路22的增益，并且在步驟S37，根據(jù)提取的Y信號計算最佳曝光時間周期。在步驟S37算出的最佳曝光時間周期是一個在執(zhí)行一次主要曝光的情況下變?yōu)樽罴训钠毓鈺r間周期，并且因此，在步驟S39將長于最佳曝光時間周期的時間周期確定為長時間曝光的第一曝光時間周期Sm1，并且在步驟S41將短于最佳曝光時間周期的時間周期確定為短時間曝光的第二曝光時間周期Sm2。
在步驟S43對TG 18設置第一曝光時間周期，并響應于VD脈沖的產(chǎn)生在步驟S45判定為“是”。于是，在步驟S47對圖2所示的倍增器24a設置初始增益，在步驟S49對TG 18發(fā)出主要曝光的指示，并在步驟S51對第一存儲控制器26施加一個寫入指示。TG 18根據(jù)第一曝光時間周期Sm1執(zhí)行長時間曝光，并從CCD成像器16讀出由此產(chǎn)生的相機信號。讀取的相機信號具有如圖20(A)所示的特性。信號處理電路24根據(jù)相機信號產(chǎn)生長時間曝光圖像信號，并且由第一存儲控制器26將產(chǎn)生的長時間曝光圖像信號寫到第一存儲器28。
在步驟S53對TG 18設置第二曝光時間周期Sm2，并響應于VD脈沖的產(chǎn)生在步驟S55判定為“是”。在步驟S57對倍增器24a設置增益N，在步驟S59對TG 18發(fā)出主要曝光的指示，并在步驟S61對第一控制器26施加讀取指示。TG 18根據(jù)第二曝光時間周期Sm2執(zhí)行短時間曝光，并且由此產(chǎn)生的相機信號具有圖20(B)所示的特征。信號處理電路24產(chǎn)生短時間曝光信號，該短時間曝光信號根據(jù)短時間曝光獲得的相機信號被施加增益N。另一方面，第一存儲控制器26響應于讀取指示從第一存儲器28中讀出長時間曝光圖像信號。
隨后，將長時間曝光圖像信號和短時間曝光圖像信號同時施加到形成開關SW1的終端S1和S2。即，在形成長時間曝光圖像信號的第X個像素信號施加到終端S1的同時，將形成短時間曝光圖像信號的第X個像素信號施加到終端S2。
在步驟S63對第二存儲控制器30施加寫入指令，并在隨后的步驟S65中從第一存儲控制器26中提取Y信號。提取的Y信號是形成長時間曝光圖像信號的Y信號，提取第X個Y信號的時間略快于對終端S1施加第X個像素信號(YUV信號)的時間。在步驟S67將提取的Y信號水平與參考值Ys進行比較。然后，如果滿足Y信號水平＞YS的條件，則過程進行到步驟S69，并且如果滿足Y信號水平≤Ys的條件，則過程進行到步驟S71。將開關SW1連接到終端S1，從而在步驟S69選擇長時間曝光圖像信號，并將開關SW1連接到終端S2，從而在步驟S71選擇短時間曝光圖像信號。在步驟S73判斷一幀的比較過程是否結束，并且重復步驟S65至S71的過程直到判定為“是”。
由此產(chǎn)生具有圖21所示特征的一幀合成圖像信號。在開關SW1的開關控制之前，對第二存儲控制器30施加寫入指令，并且因此由第二存儲控制器將產(chǎn)生的合成圖像信號儲存到第二存儲器32的圖像信號存儲區(qū)32a中。
在步驟S75將壓縮指令施加到JPEG編碼解碼器38，并在步驟S77將由JPEG編碼解碼器38產(chǎn)生的并由SDRAM 32的壓縮信號存儲區(qū)32b保存的壓縮圖像信號以文件格式記錄到存儲卡42中。完成此記錄過程之后，過程返回到步驟S1。
在圖7所示的子程序中執(zhí)行步驟S33的參考值判斷過程。首先，在步驟S81將R信號水平飽和的像素總數(shù)檢測為Rsat，并在步驟S83將G信號水平飽和的像素總數(shù)檢測為Gsat。通過比較儲存在表44a中的每個R信號和G信號的閾值來執(zhí)行這些過程，并且使R水平超過閾值的像素數(shù)量和G水平超過閾值的像素數(shù)量分別記為Rsat和Gsat。將檢測到的Rsat和Gsat分別確定為R信號和G信號的顏色飽和度。
在步驟S85中通過從Rsat中減去Gsat來計算像素Rsat_N的差數(shù)。在步驟S87判斷Rsat_N是否大于“0”，如果判定為“是”則過程直接進行到步驟S91，如果判定為“否”，則在步驟S89將Rsat_N設置為“0”，并再進行到步驟S91。
通過以3∶6∶1的比例對R信號、G信號和B信號加權并相加而產(chǎn)生Y信號，并且因此G信號對Y信號產(chǎn)生最大的影響。另外，當G信號飽和時，R信號和B信號也飽和(即，亮度水平飽和)，并當R信號和B信號不飽和時絕不會發(fā)生G信號飽和的情況。因此，Gsat可以定義為亮度飽和度。于是，可以把在步驟S87算出的Rsat_N認做是沒有發(fā)生亮度飽和并且R信號水平飽和的像素總數(shù)，并且可以認做是R信號相對G信號的偏離度。
注意，步驟S87和S89的過程考慮了Rsat_N通過由信號處理電路24中的設置誤差表示負數(shù)值的可能性。另外，計算與R信號有關的Rsat_N的原因在于R信號對人的皮膚的顏色產(chǎn)生最大影響。
在步驟S91判斷是否滿足方程1所示的條件。如果條件滿足，則過程直接進行到步驟S95，而如果條件不滿足，則在步驟S93根據(jù)方程2更新Rsat_N，并再進行到步驟S95。在步驟S95，根據(jù)方程3確定參考值Ys。
Rsat_N*K≤Ysmax-Ysmin其中
K常數(shù)YsmaxYs可取的最大值YsminYs可取的最小值[方程2]Rsat_N*K＝Ysmax-Ysmin[方程3]Ys＝Ysmax-Rsat_N*K因為Ysmax和Ysmin分別是Ys可取的最大值和最小值，所以必定在Ysmax～Ysmin的范圍內(nèi)確定Ys。根據(jù)方程3，通過從Ysmax中減去Rsat_N*K獲得Ys，并且因此，Rsat_N*K必定等于或小于Ysmax-Ysmin，以便使得Ys落在Ysmax～Ysmin的范圍內(nèi)。因而當方程1的條件不滿足時，根據(jù)方程2校正Rsat_N*K。
從以上的描述中可以理解，當根據(jù)長時間曝光圖像信號和短時間曝光圖像信號產(chǎn)生合成圖像信號時，將長時間曝光圖像信號的Y信號水平與參考值Ys進行比較(S67)。然后，當滿足Y信號水平≤Ys的條件時，由開關SW1選擇長時間曝光圖像信號(S69)，并當滿足Y＞Ys的條件時，由開關SW1選擇短時間曝光圖像信號SW1(S71)。由此產(chǎn)生合成圖像信號。在切換開關SW1的控制之前，檢測目標的顏色偏離度(S81～S85)，并且根據(jù)檢測到的偏離度減小參考值(S95)。
通過分別根據(jù)由預曝光(S81，S83)獲得的R信號和G信號檢測R水平的顏色飽和度和G水平的顏色飽和度(＝亮度飽和度)并從顏色飽和度中減去亮度飽和度(S85)來獲得目標的偏離度。當所有的R水平、G水平和B水平都飽和時，Y水平也飽和。因此，可以把R水平飽和而Y水平不飽和的像素認做偏向紅色。因此，對紅色的偏離度通過從R水平的顏色飽和度中減去G水平的顏色飽和度而獲得。
在短時間曝光的情況下，即使目標的顏色偏向特定的顏色，特定顏色的顏色成份也難以飽和，并且短時間曝光圖像信號的色調(diào)也難以失真。因此，如果根據(jù)檢測到的偏離度減小參考值Ys，則易于選擇短時間曝光圖像信號，并且可以防止在合成圖像信號中發(fā)生色調(diào)失真的情形。
注意，在本實施例中，在獲取Rsat_N時從Rsat中減去Gsat；但是，將Y信號水平飽和的像素總數(shù)檢測作為Ysat也是合適的，并且再從Rsat中減去Ysat。另外，雖然孔徑量取恒定值(由預曝光獲得的孔徑量)，并且在本實施例中執(zhí)行長時間曝光和短時間曝光時曝光時間周期變化，但除曝光時間周期外或代替曝光時間周期的變化，孔徑量也變化。
另外，雖然在此實施例中根據(jù)Rsat_N決定參考值Ys，但計算Bsat_N(Bsat-Gsat)并再根據(jù)Bsat_N決定參考值。如果這樣，關于包括大于B信號的顏色，可以避免在色調(diào)中出現(xiàn)部分失真的情形。
另外，雖然參考值Ys根據(jù)按方程3的算術操作中的Rsat_N值線性改變，但參考值Ys可以根據(jù)Rsat_N的值非線性(按照二次函數(shù))改變參考值Ys。另外，雖然在本實施例中長時間曝光先于短時間曝光進行操作，但將順序反過來也是合適的。
另外，在本實施例中，當獲得Rsat_N時，從R水平飽和的像素Rsat總數(shù)中減去G水平飽和的像素Gsat總數(shù)。但是，也可以逐個像素地適當?shù)貙水平及G水平與閾值進行比較，R水平飽和但G水平不飽和的像素數(shù)目被積分，并且積分值可以定義為Rsat_N。
參見圖9和10，另一實施例的數(shù)碼相機10與圖1所示實施例的相同，除了在CPU 44中形成計數(shù)器44r和44g，并且由CPU 44執(zhí)行按照圖11～圖17所示流程的過程。另外，圖11和圖12所示的步驟S101～S131與圖3和圖4中所示的步驟S1～S31相同，并且圖13～圖15中所示的步驟S155～S193與圖4～圖6所示的步驟S39～S77相同。因此省去對共同部分的重復描述。
在一幀的周期內(nèi)執(zhí)行圖12所示步驟S127和S129的過程，并且如果在步驟S131判定為“是”，則在步驟S135執(zhí)行白平衡調(diào)節(jié)過程，并在步驟S137計算最佳曝光時間周期。根據(jù)儲存在表44a中的RGB信號和Y信號執(zhí)行白平衡調(diào)節(jié)和最佳曝光時間周期的計算。當計算最佳曝光時間周期時，在步驟S139中對TG 18設置最佳曝光時間周期。
在步驟S141判斷是否產(chǎn)生VD脈沖，并且如果判定為“是”，則在步驟S143進行預曝光。根據(jù)在步驟S117計算的孔徑量F以及在步驟S137算出的最佳曝光時間周期執(zhí)行預曝光。當在按照最佳曝光量的預曝光之后產(chǎn)生VD脈沖時，在步驟S145判定為“是”，并且在步驟S147～S151執(zhí)行與步驟S127～S131相同的過程。因而把根據(jù)步驟S143預曝光的一幀RGB信號和Y信號儲存到表44a中。如果在步驟S151判定為“是”，則經(jīng)過步驟S153的參考值判定過程進行到步驟S155。
由圖16和圖17所示的子程序執(zhí)行步驟S153的參考值判定過程。首先，在步驟S201中將計數(shù)器44r的計數(shù)值Rcnt和計數(shù)器44g的計數(shù)值Gcnt設置為“0”，并且在步驟S203，參考表44a計算Yij、(R-G)ij和(B-G)ij。
圖18所示的目標圖像在水平方向和垂直方向被分成8份，并且在屏幕上形成64個劃分的區(qū)域。i和j表示水平方向和垂直方向上劃分區(qū)域的位置，“1”～“8”中的任何一個可分配給i和j。Yij表示從劃分區(qū)(i，j)檢測到的積分值，可以定義為亮度估算值。另一方面，(R-G)ij表示基于從劃分區(qū)(i，j)檢測到的R信號和G信號的積分值之差，并且(B-G)ij表示基于從劃分區(qū)(i，j)檢測到的B信號和G信號的積分值之差。
在步驟S205執(zhí)行方程4的算術操作。根據(jù)方程4，每個(R-G)ij和(B-G)ij被亮度估算值除。
fy(R-G)ij＝(R-G)ij/Yijfy(B-G)ij＝(B-G)ij/Yij由(R-G)ij和(B-G)ij表示的每個值反映了在執(zhí)行預曝光時的曝光量。即，曝光量越大，數(shù)字值越大，而曝光量越小，數(shù)字值越小。當把具有此特征的每個(R-G)ij和(B-G)ij定義為每個劃分區(qū)中的顏色估算值時，顏色估算值通過曝光量改變。另一方面， 目標的顏色實際上獨立于曝光量，并且在所有時間里為恒量，除非目標和光源發(fā)生改變。因此，即使曝光量改變，顏色估算值也應該取相同的值。因此，每個(R-G)ij和(B-G)ij按照方程4并與曝光量有關的亮度估算值Yij除，并且使所除得的值為顏色估算值。因此，顏色估算值便獨立于曝光量，并且這使得可以精確地計算目標的顏色。
在步驟S207判斷fy(R-G)ij和fy(B-G)ij是否包含在圖19所示的顏色分布圖的R區(qū)域，并且在步驟S209判斷Yij是否超過閾值th1。如果在步驟S207和S209任何一個步驟中判定為“否”，則過程直接進行到步驟S213，而如果在步驟S207和S209中均判定為“是”，則在步驟S211中增加計數(shù)值Rcnt，并且過程進行到步驟S213。因此，當注意的劃分區(qū)域中顏色估算值屬于區(qū)域R時計數(shù)值Rcnt增值，并且劃分區(qū)的圖像具有較高的亮度。
在步驟S213判斷fy(R-G)ij和fy(B-G)ij是否包含在圖19所示的顏色分布圖的G區(qū)域，并且在步驟S215判斷Yij是否超過閾值th2。如果在步驟S213和S215任何一個步驟中判定為“否”，則過程直接進行到步驟S219，而如果在步驟S213和S215中均判定為“是”，則在步驟S217中增加計數(shù)值Gcnt，并且過程進行到步驟S219。因此，當注意的劃分區(qū)域中顏色估算值屬于區(qū)域G時計數(shù)值Gcnt增值，并且劃分區(qū)的圖像具有較高的亮度。
在步驟S219對圖18所示的所有劃分區(qū)進行判斷過程，并且重復步驟S203～S217的過程直到判定為“是”。隨后，根據(jù)步驟S207和S211判斷的結果更新計數(shù)值Rcnt，并且根據(jù)步驟S213和S215的判斷結果更新計數(shù)值Gcnt。
圖19中所示的區(qū)域R是包括大量R成份的區(qū)域，區(qū)域G是包括大量G成份的區(qū)域。因此，具有高亮度并包括R成份的部分越多，計數(shù)值Rcnt越大，并且具有高亮度并包含G成份的部分越多，計數(shù)值Gcnt越大。另外，從圖19中可知，區(qū)域R還包括人的皮膚顏色。因此，當對處于亮處的人的面部攝影時，在確定面部圖像存在的劃分區(qū)時增大計數(shù)值Rcnt。
在步驟S221參考表44a檢測Rsat、Gsat和Bsat。如上所述，Rsat是與R相關的顏色飽和度，Gsat是與G相關的顏色飽和度。另外，Bsat是B水平飽和的像素總數(shù)，并且可以定義為與B相關的顏色飽和度。
在步驟S223確定計數(shù)值Gcnt，并且在步驟S225比較Gsat與Bsat。如果滿足條件Gcnt＝0，或者如果滿足即使Gcnt≥1時Gsat≤Bsat的條件，則過程進行到步驟S227。另一方面，如果Gcnt≥1，并且Gsat＞Bsat，則過程進行到步驟S229。在步驟S227根據(jù)方程5計算Rsat_N，并且在步驟S229根據(jù)方程6計算Rsat_N。
Rsat_N＝Rsat-Gsat[方程6]Rsat_N＝Rsat-Bsat如上所述，一般地，當G信號飽和時，亮度水平也飽和，并且因此在圖1的實施例中將Gsat定義為亮度飽和度。然后，通過從Rsat中減去Gsat，獲得亮度水平不飽和但R水平飽和的像素總數(shù)。但是，關于某些目標，亮度水平不飽和而G水平飽和，但是在此目標中，Gsat不可以定義為亮度飽和度。另一方面，當亮度水平飽和時，不僅G水平而且B水平也飽和，并且因此，Gsat和Bsat的較小數(shù)字值接近亮度水平飽和的像素數(shù)量。因此，通過在步驟S225中比較Gsat和Bsat并從Rsat中減去較小的數(shù)字值，獲取成為R信號的偏離度的Rsat_N。
另外，當Gcnt＝0時，G成份不包含在目標中，或者目標的亮度整個很低。因此，根據(jù)一種原理，Gsat定義為亮度飽和度。此時，過程進行到步驟S227，無需執(zhí)行步驟S225的比較過程，并且根據(jù)方程5獲得Rsat_N。
在步驟S231確定算出的Rsat_N的值。然后如果滿足條件Rsat_N＞0，則過程直接進行到步驟S235，而如果滿足條件Rsat_N≤0，則在步驟S233將Rsat_N設置為“0”，并再進行到步驟S235。此過程與圖7中所示的步驟S87和S89相同。
在步驟S235將計數(shù)值Rcnt與“1”相比。如果滿足條件Rcnt≥1，則在步驟S237根據(jù)方程7更新Rsat_N，并且如果滿足條件Rcnt＝0，則在步驟S239將Rsat_N設置為“0”。
Rsat_N＝Rsat_N*Rcnt
在確定Rsat_N后，在步驟S241至S245中執(zhí)行與圖7中所示步驟S91～S95的過程相同的過程。由此確定參考值Ys。
因為一般的用戶易于選擇人作為目標，所以必須避免在人的皮膚圖像中出現(xiàn)色調(diào)失真的情況。因此，注意大部分包含在人的皮膚圖像中的R成份，并當滿足條件Rcnt≥1時，Rsat_N乘以Rcnt。即，根據(jù)具有較高亮度并屬于R區(qū)的劃分區(qū)的數(shù)量對R的偏離度加權。因此，計數(shù)值Rcnt越大，參考值Ys越低，并且短時間曝光圖像信號變得易于通過圖9所示的開關SW1選取。結果，關于包含R成份的顏色的色調(diào)失真就得到控制。
注意，當Rcnt＝0時，將Rsat_N設置為“0”，并且由此將參考值Ys設置為最大值Ysmax。當所有劃分區(qū)的圖像具有較低的亮度或從不包括R成份時，計數(shù)值Rcnt變?yōu)椤?”。在此情況下，即使參考值Ys設置為最大值Ysmax，色調(diào)也不可能失真，并且因此參考值Ys設置為最大值Ysmax。
雖然以上已詳細描述并舉例說明了本發(fā)明，但應該理解，以上的說明只出于舉例說明的目的，并不構成對本發(fā)明的限制，本發(fā)明的范圍和實質由所附的權利要求限定。
權利要求
1.一種圖像合成裝置，該裝置根據(jù)按第一曝光量的第一曝光所獲得的目標的第一圖像信號以及按小于所述第一曝光量的第二曝光量的第二曝光所獲得的所述目標的第二圖像信號產(chǎn)生目標的合成圖像，該裝置包括比較裝置，用于將所述第一圖像信號和所述第二圖像信號其中任一的亮度相關水平與參考值進行比較；第一選擇裝置，用于在所述亮度相關水平等于或小于所述參考值時選擇所述第一圖像信號；第二選擇裝置，用于在所述亮度相關水平大于所述參考值時選擇所述第二圖像信號；偏離度檢測裝置，用于檢測所述目標的顏色偏離度；和減小裝置，用于根據(jù)所述偏離度減小所述參考值。
2.如權利要求1所述的圖像合成裝置，還包括一個提取裝置，用于提取按預定曝光量曝光而獲得的目標的第三圖像信號，其特征在于所述偏離度檢測裝置包括一個顏色飽和度檢測裝置，用于根據(jù)所述第三圖像信號檢測特定顏色的顏色飽和度，一個亮度飽和度檢測裝置，用于檢測所述第三圖像信號的亮度飽和度，以及一個減法裝置，用于從所述顏色飽和度中減去所述亮度飽和度。
3.如權利要求2所述的圖像合成裝置，其特征在于所述顏色飽和度檢測裝置檢測特定顏色的顏色水平飽和的像素的第一像素數(shù)量，并且所述亮度飽和度檢測裝置檢測亮度飽和的像素的第二像素數(shù)量。
4.如權利要求2或3所述的圖像合成裝置，其特征在于所述的預定曝光量小于所述第一曝光量并大于所述第二曝光量。
5.如權利要求1～4中任一項所述的圖像合成裝置，其特征在于當所述偏離度較大時，所述減小裝置大大地減小所述參考值。
6.如權利要求1～4中任一項所述的圖像合成裝置，還包括一個判斷裝置，用于判斷形成目標圖像的多個部分的每一個是否滿足預定條件，并且其特征在于所述減小裝置包括一個加權裝置，用于根據(jù)滿足預定條件的部分的數(shù)量對偏離度加權，所述減小裝置還包括一個參考值減小裝置，用于根據(jù)由所述加權裝置加權的結果減小所述參考值。
7.如權利要求6所述的圖像合成裝置，其特征在于預定條件包括表示注意的部分是一種特定顏色的第一條件和表示注意的部分具有較高亮度的第二條件。
8.一種數(shù)碼相機，配置有如權利要求1～7中任一項所述的圖像合成裝置。
9.一種圖像合成方法，該方法根據(jù)按第一曝光量的第一曝光所獲得的目標的第一圖像信號以及按小于所述第一曝光量的第二曝光量的第二曝光所獲得的所述目標的第二圖像信號產(chǎn)生目標的合成圖像，該方法包括下列步驟(a)將所述第一圖像信號和所述第二圖像信號其中任一的亮度相關水平與參考值進行比較；(b)在所述亮度相關水平等于或小于所述參考值時選擇所述第一圖像信號；(c)在所述亮度相關水平大于所述參考值時選擇所述第二圖像信號；(d)檢測所述目標的顏色偏離度；和(e)根據(jù)所述偏離度減小所述參考值。
10.如權利要求9所述的圖像合成方法，還包括提取按預定曝光量曝光所獲得的所述目標的第三圖像信號的步驟(f)，其特征在于所述的步驟(d)包括根據(jù)所述第三圖像信號檢測特定顏色的顏色飽和度的步驟(d-1)；檢測所述第三圖像信號的亮度飽和度的步驟(d-2)；和從所述顏色飽和度中減去所述亮度飽和度的步驟(d-3)。
全文摘要
數(shù)碼相機(10)包括一個CCD成像器(16)。由CCD成像器(16)的長時間曝光獲得的長時間曝光圖像信號施加到開關(SW1)的終端(S1)，由CCD成像器(16)的短時間曝光獲得的短時間曝光圖像信號和增益調(diào)節(jié)施加到開關(SW2)的終端(S2)。CPU(44)通過將長時間曝光圖像信號與參考值Ys量進行比較來控制開關(SW1)，從而產(chǎn)生合成的圖像信號。更具體地說，當滿足條件Y水平≤Ys時CPU(44)連接開關(SW1)與終端(S1)，當滿足Y水平＞Ys時連接開關(SW1)與終端(S2)。CPU(44)在產(chǎn)生合成圖像信號之前檢測目標的顏色偏離度，并根據(jù)檢測結果減小參考值Ys。因此，目標的顏色偏離度越大，短時間曝光圖像信號越易于選擇。
文檔編號H04N5/372GK1518724SQ0281231
公開日2004年8月4日 申請日期2002年6月14日 優(yōu)先權日2001年6月19日
發(fā)明者辻野和廣, 野和廣 申請人:三洋電機株式會社