專利名稱：設置有用于合成多個所拍攝圖像的功能的攝像設備的制作方法
技術領域：
本發(fā)明涉及一種設置有用于合成多個所拍攝圖像的多重曝光拍攝功能的攝像設備。
背景技術：
存在兩種用于進行多重曝光拍攝的方法。利用其中一種方法，在多次拍攝場景之后，對來自圖像傳感器的數(shù)據(jù)單純進行相加處理。利用如日本特開2006-128740所述的另一種方法，在以要進行相加處理的拍攝張數(shù)減小曝光的除法處理之后，對這些拍攝張數(shù)進行相加處理。在任一種情況下，對進行了相加處理的圖像數(shù)據(jù)進行顯影，并記錄在記錄介質中，并且多重曝光拍攝結束。在后一方法中，即使對多個圖像進行復合，這些圖像也被平均地乘以與復合圖像的數(shù)量相對應的負增益，以使得合成圖像不會飽和或失敗。然而，在如日本 特開2006-128740所述的傳統(tǒng)技術中，存在無法獲得期望圖像的情況。例如，在對圖1lA所示的夜間的山上方的月亮以及圖1lB所示的白天的山上的云進行多重拍攝并合成所拍攝圖像的情況下，合成圖像可能并非所期望的合成圖像。原本地，如圖1lD所示的圖片是自然的，其保持了月亮和云的本來亮度。然而，在使用單純相加或平均相加的多重拍攝的傳統(tǒng)圖像處理方法中，如圖1lC所示，月亮和天空或者天空、云和山的亮度混雜在一起，由此獲得了稍暗且不自然的圖像。

發(fā)明內容
本發(fā)明提供了一種設置有多重曝光功能的攝像設備，其中該多重曝光功能在多重曝光拍攝中合成多個圖像時能夠適當?shù)丿B加這些圖像。根據(jù)本發(fā)明的一方面，提供了一種攝像設備，包括:圖像傳感器，其具有包括多個顏色成分的顏色濾波器的像素；白平衡處理單元，用于對從所述圖像傳感器輸出的數(shù)字轉換后的圖像數(shù)據(jù)進行白平衡處理；存儲器，用于存儲經過了所述白平衡處理的圖像數(shù)據(jù)；比較單元，用于對從所述存儲器讀出的、且位于各所拍攝圖像的對應位置的多個圖像數(shù)據(jù)相互進行比較；存儲器控制單元，用于根據(jù)所述比較單元所進行的比較的結果來選擇和讀出各所拍攝圖像的任意圖像數(shù)據(jù)，并且進行控制以輸出一個畫面的多重圖像數(shù)據(jù)；圖像處理單元，用于對從所述存儲器所選擇和讀出的多重圖像數(shù)據(jù)進行圖像處理；以及記錄單元，用于將經過了所述圖像處理的多重圖像數(shù)據(jù)記錄在記錄介質中。根據(jù)本發(fā)明的另一方面，提供了一種攝像設備，包括:攝像單元，其包括由多個顏色成分的顏色濾波器所構成的圖像傳感器，并且用于利用所述圖像傳感器來拍攝被攝體圖像并輸出圖像數(shù)據(jù)；比較單元，用于在畫面內的相應區(qū)域中的圖像數(shù)據(jù)之間、對從所述攝像單元所輸出的第一圖像數(shù)據(jù)和從所述攝像單元所輸出的第二圖像數(shù)據(jù)進行比較；以及選擇單元，用于根據(jù)比較結果，按各區(qū)域輸出所述第一圖像數(shù)據(jù)或所述第二圖像數(shù)據(jù)。通過以下參考附圖對典型實施例的詳細說明，本發(fā)明的其它特征和方面將變得明顯。


包含在說明書并構成說明書一部分的附圖示出了本發(fā)明的典型實施例、特征和方面，并和說明書一起用來解釋本發(fā)明的原理。圖1是示出根據(jù)本發(fā)明第一典型實施例的數(shù)字照相機所進行的多重拍攝的處理流程的框圖。圖2是示出根據(jù)本發(fā)明第二典型實施例的數(shù)字照相機所進行的多重拍攝的處理流程的框圖。圖3是示出根據(jù)本發(fā)明第三典型實施例的數(shù)字照相機所進行的多重拍攝的處理流程的框圖。圖4是示出根據(jù)本發(fā)明典型實施例的設置有多重拍攝功能的數(shù)字照相機中的各處理單元的結構的框圖。圖5是示出傳統(tǒng)的復合處理的流程的圖。圖6A和6B是與圖1中的圖像處理相對應的流程圖。圖7A和7B是與圖2中的圖像處理相對應的流程圖。圖8是與圖3中的圖像處理相對應的流程圖。圖9A 9G是示出根據(jù)本發(fā)明典型實施例的圖像數(shù)據(jù)的各像素的顏色成分的結構的圖。 圖1OAlOF是示出進行了濾波處理或矩陣轉換處理之后的各像素的數(shù)據(jù)的圖。圖1lAllD是示出作為多重拍攝的結果所獲得的圖像的圖。圖12A 12C是示出作為多重拍攝的結果所獲得的圖像的圖。圖13是示出作為針對各像素的大小比較的結果所輸出的像素的圖。
具體實施例方式以下將參考附圖來詳細說明本發(fā)明的各種典型實施例、特征和方面。參考圖5，以下將說明由一般自動曝光校正方法所進行的多重曝光拍攝(用于使用所拍攝圖像生成合成圖像的拍攝)。數(shù)字照相機在第一次拍攝中所拍攝的圖像數(shù)據(jù)RAWl (501)在白平衡處理單元I (502)中進行白平衡處理1，并被臨時存儲在存儲器1 (503)中。按照多重曝光數(shù)量來對白平衡處理I中處理后的該圖像數(shù)據(jù)施加負增益，以在合成圖像時使用。在當前情況下，由于進行了兩次拍攝的合成，因而對圖像數(shù)據(jù)施加1/2的增益(504)。同樣，第二次拍攝中所獲得的數(shù)字化后的圖像數(shù)據(jù)RAW2(511)在白平衡處理單元2(512)中進行白平衡處理。將處理后的圖像數(shù)據(jù)RAW2 (511)臨時存儲在存儲器2 (513)中，然后在(514)中對圖像施加1/2的負增益。之后，兩次拍攝的圖像數(shù)據(jù)在相加單元(541)中針對位于兩個畫面的相同位置處的各像素進行相加處理。由此相加得到的合成圖像在預濾波器(562)中進行去馬賽克處理。作為示例，考慮了如圖9A所示將RGB的3色濾波器排列成拜爾陣列的圖像傳感器所獲得的RAW圖像數(shù)據(jù)。
將排列成圖9A所示的陣列的數(shù)據(jù)分別分割為圖9B、9C和9D的R像素、G像素和B像素的3個平面。將0插入不存在數(shù)據(jù)的像素中。然后，各平面在水平方向和垂直方向上進行抽頭濾波(562)，并且如從圖9B到圖9E、從圖9C到圖9F、以及從圖9D到圖9G那樣填充O。例如，具有3個抽頭的濾波器可以具有“1-2-1”的低通濾波器特性，并且具有5個抽頭的濾波器可以具有“1-4-6-4-1”的低通濾波器特性。對由此獲得的RGB的3個平面的圖像數(shù)據(jù)進行矩陣轉換處理(563)，其中在該矩陣轉換處理中，針對圖9E、圖9F和圖9G中的各像素，將RabGabBab矩陣轉換為如圖10AU0B和IOC所示的亮度信號Y ab、色差信號Cr ab和色差信號Cb ab的I個畫面的圖像數(shù)據(jù)。在顯影處理(564)中，對YCrCb數(shù)據(jù)進行諸如伽瑪校正、清晰度處理和顏色轉換處理等的各種圖像處理。結果，獲得了多重拍攝的最終圖像數(shù)據(jù)，并將該最終圖像數(shù)據(jù)輸出并記錄在記錄介質中(565)。隨后，完成了第一次拍攝和第二次拍攝中所拍攝的圖像數(shù)據(jù)的多重相加處理。以下將參考框圖的虛線下方所示的分離部分來說明對第一次拍攝和第二次拍攝的多重圖像進一步復合第三次拍攝結果的情況。由于這種情況下所使用的硬件裝置與第一次拍攝和第二次拍攝中的多重相加處理所使用的硬件具有共同組件，因而在說明虛線下側的下方部件時，將共同的附圖標記用于存儲器以及諸如相加處理和顯影處理等的圖像處理。在復合第三次拍攝結果時，預先將第一 RAW數(shù)據(jù)與第二 RAW數(shù)據(jù)進行相加(541)得到的輸出數(shù)據(jù)累積 在存儲器I (503)中。在執(zhí)行第三次拍攝時，在白平衡處理單元3 (532)中對第三次拍攝的圖像RAW3 (531)進行白平衡處理，并且將處理后的圖像RAW3臨時存儲在存儲器2中。將從存儲器1 (503)讀出的使第一次拍攝的圖像和第二次拍攝的圖像相加得到的圖像數(shù)據(jù)與從存儲器2 (513)讀出的第三次拍攝的圖像進行相加的情況下，在第一次拍攝和第二次拍攝這兩次拍攝的兩個圖像以及第三次拍攝的圖像之間分配亮度。將第一次拍攝和第二次拍攝的圖像數(shù)據(jù)乘以(524)負增益2/3，并將第三次拍攝的圖像數(shù)據(jù)乘以(534)負增益1/3，并且針對各像素執(zhí)行相加(541)。然后，對于經過了相加處理的數(shù)據(jù)，與第一次和第二次的相加結果相同，在預濾波器(562)中，對按照圖9A進行排列的圖像數(shù)據(jù)進行去馬賽克處理和濾波處理。之后，執(zhí)行矩陣轉換處理(563)和顯影處理(564)，然后將針對三次拍攝的多重相加圖像的最終數(shù)據(jù)記錄在記錄介質中。因而，即使對多個圖像進行復合，這些圖像也按照復合圖像的數(shù)量平均地乘以負增益，從而可以執(zhí)行自動曝光校正型的多重拍攝，以使得合成圖像不會飽和或失敗。與上述結構相比較，根據(jù)本典型實施例，在對兩個拍攝圖像進行合成時，將各圖像分割為包括多個像素的區(qū)域，并且基于R、G和B像素的平均值來獲取亮度(Br)、飽和度(S)和色相(H)。將所獲取的Br、S和H在位于相同位置處的各區(qū)域之間進行比較，并且保留各區(qū)域中示出較大值的區(qū)域的像素。對利用該替換所獲得的整個畫面的圖像進行處理，并且輸出處理后的圖像，這是本典型實施例的特征所在。以下參考附圖詳細說明本發(fā)明的典型實施例。圖1是示出根據(jù)本發(fā)明第一典型實施例的圖像處理的流程的框圖。圖6A和6B是示出圖1中的處理的流程圖。
圖4是示出作為設置有多重拍攝功能的攝像設備的示例的數(shù)字照相機中的圖像處理的結構圖。透過鏡頭(未示出)的被攝體的光束經由快門單元在圖像傳感器(401)上形成圖像。圖像傳感器(401)根據(jù)拍攝指示來拍攝被攝體的圖像。在AD轉換器(402)中將圖像傳感器(401)光電轉換得到的輸出模擬信號轉換為數(shù)字圖像數(shù)據(jù)(420)(以下稱為RAW數(shù)據(jù))。圖像傳感器(401)包括如圖9A所示的R(紅色)、G(綠色)和B (藍色)的多個顏色成分的顏色濾波器以及用于接收各個頻帶的光束的像素。這些像素被排列成拜爾陣列，并且RAW數(shù)據(jù)(420)包括R、G和B的圖像數(shù)據(jù)。添加至圖9A、G中的RGB的數(shù)值表示RGB在矩陣中的位置。例如，R24表示位于第3行和第5列的R像素。RAW數(shù)據(jù)(420)在白平衡(WB)處理單元(403)中進行白平衡處理。從中央處理單元(404) (CPU)來供給用于執(zhí)行白平衡的白平衡控制值。CPU (404)對RAW數(shù)據(jù)進行分析以計算最適當?shù)陌灼胶庵??？蛇x地，CPU (404)預先在隨機存取存儲器(RAM)(未示出)中準備最適于各種光源的顏色的白平衡控制值的表，以便選擇并供給用戶所指定的表。用戶可以自由地切換至自動白平衡或適于各光源的預設白平衡，并且輸出白平衡控制值。將經過了白平衡處理的RAW數(shù)據(jù)臨時存儲在存儲器(405)中。將用于存儲多次拍攝的RAW數(shù)據(jù)的區(qū)域保持在存儲器(405)中，并且針對各次拍攝將圖像數(shù)據(jù)寫入不同的區(qū)域中。存儲器(405)由存儲器控制單元(406)進行控制。存儲器控制單元(406)可以進行控制，以使得在將數(shù)據(jù)寫入存儲器(405)或從存儲器(405)讀出數(shù)據(jù)時，指示“何次拍攝的圖像數(shù)據(jù)”或“像素在畫面內的位置(地址)”。

接下來的比較處理單元(407)從存儲器(405)，通過參考存儲器控制單元(406)所指定的位置信息(地址)，讀出來自多個畫面中的各個畫面的像素，以判斷所讀出的像素的大小關系。從比較處理單元(407)輸出的比較結果示出了所選擇的畫面的地址，以指示作為大小關系比較結果所選擇出的畫面和像素。將由此輸出的比較結果反饋至存儲器控制單元(406)。由于該比較處理單元(407)是本發(fā)明的特征所在，因而將在以下進行詳細說明。根據(jù)由輸入至存儲器控制單元(406)的比較結果所表示的地址來讀出I個畫面的像素。將所讀出的包括I個畫面的像素的圖像數(shù)據(jù)發(fā)送至低通濾波器(LPF)處理單元(461)，并且對后述的所讀出畫面間的邊界執(zhí)行平滑處理。接著，將進行了 LPF處理的圖像數(shù)據(jù)發(fā)送至預濾波處理單元(462)，其中將如圖9A所示包括RGB像素的排列成拜爾陣列的圖像數(shù)據(jù)分割成圖9B、圖9C和圖9D所示的由R像素、G像素和B像素構成的3個虛擬平面。將各平面中不存在像素的位置填充O。各平面在水平方向和垂直方向上進行抽頭濾波(562)，并且如從圖9B到圖9E、從圖9C到圖9F、以及從圖9D到圖9G所示那樣將各平面與0進行插值。例如，具有3個抽頭的濾波器可以具有“1-2-1”的低通濾波器特性，并且具有5個抽頭的濾波器可以具有“1-4-6-4-1”的低通濾波器特性。在矩陣轉換處理單元(463)中，對預濾波處理單元(462)由此獲得的3個平面的RGB圖像數(shù)據(jù)進行矩陣轉換處理。
對位于圖9E、9F和9G的相同位置處的各像素進行矩陣轉換處理，以從Rab-Gab-Bab矩陣轉換為如圖10AU0B和IOC所示的亮度信號Y ab-色差信號Cr ab-色差信號Cb ab的圖像數(shù)據(jù)。然后，在顯影處理單元(464)中，對YCrCb的三維圖像數(shù)據(jù)進行諸如伽瑪校正、清晰度處理和顏色轉換處理等的各種處理。之后，將該圖像數(shù)據(jù)作為最終圖像數(shù)據(jù)輸出并作為由YCrCb構成的JPEG圖像數(shù)據(jù)而存儲在記錄介質(465)中。參考圖6A和6B的流程圖的各步驟，將基于圖1中的處理流程來說明用于對數(shù)字照相機所拍攝的多個圖像進行復合的方法，該方法正是本發(fā)明的特征所在。在所拍攝的RAW數(shù)據(jù)(420)中，首先拍攝的RAW數(shù)據(jù)(第一個圖像數(shù)據(jù))是RAWl (101)，第二次拍攝的RAW數(shù)據(jù)(第二個圖像數(shù)據(jù))是RAW2 (111)，并且第三次拍攝的RAff數(shù)據(jù)(第三個圖像數(shù)據(jù))是RAW3 (131)。在步驟S603和步驟S606中，在WB處理單元(403)中，分別對第一次拍攝的RAffl(IOl)和第二次拍攝的RAW2(111)進行白平衡處理1(102)和白平衡處理2(112)。在白平衡處理1(102)和白平衡處理2(112)中，針對各次拍攝，用戶可以將控制值改變得不同。在步驟S604和步驟S607中，分別將經過了白平衡處理的RAWl和RAW2臨時存儲在空間存儲器1(103)和空間存儲器2(113)中?？臻g存儲器1(103)和空間存儲器2(113)保持在存儲器(405)內。將從存儲器中讀出的圖像數(shù)據(jù)分支為圖像數(shù)據(jù)(104和114)以及圖像數(shù)據(jù)(105和115)。使用圖像數(shù)據(jù)(104和114)來判斷復合圖像時的像素的亮度。在對被攝體圖像進行復合處理時使用圖像數(shù)據(jù)(105和115)以獲得最終圖像。
·
在步驟S608中，對用于判斷明暗的圖像數(shù)據(jù)(104和114)分別進行區(qū)域分割處理(141和144)。通過區(qū)域分割處理(141和144)，將圖像數(shù)據(jù)分割為畫面內均等大小的塊區(qū)域。例如，對畫面進行分割，以使得I個塊包括16個像素(4個像素(縱向)X4個像素(水平))作為單位。在該畫面內，4個像素(R)、8個像素(G)和4個像素⑶構成了 I個塊。在步驟S609中，對通過區(qū)域分割所獲得的各塊進行平均值計算(142和145)。在平均值計算(142和145)中，針對各顏色成分計算R、G和B的平均值。在該計算中，為了例如改變R、G和B的貢獻率的目的，根據(jù)需要可以執(zhí)行加權平均。圖9A示出I個畫面的左上端的位置。在該塊(00)內，執(zhí)行以下計算。RaveOO=(R00+R02+R20+R22)/4 (I)GaveOO=(G01+G03+G10+G12+G21+G23+G30+G32)/8 (2)BaveOO=(BI1+B13+B31+B33)/4 (3)上述公式同樣適用于其它塊，并且通過使用3X3矩陣1，將圖1OAlOC所示的Rave,Gave和Bave的3個平面的數(shù)據(jù)轉換為圖1OD IOF所示的Br、S和H的元素。該處理是步驟S610中要進行的矩陣I轉換處理(143和146)。在矩陣I轉換處理(143和146)中，使用相同的矩陣系數(shù)。對由此所獲得的亮度成分進行用于對第一個畫面和第二個畫面的位于相同位置處的各塊進行比較的亮度比較處理(147)。在亮度沒有處于相同水平的情況下(步驟S611中為“否”)，處理進入步驟S612。在從第一次拍攝用的存儲器1(103)讀取的塊(00)的亮度大于從第二次拍攝用的存儲器2(113)讀取的塊(OO)的亮度的情況下(步驟S612中為“是”)，處理進入步驟S613。在步驟S613中，將該塊(00)內的像素的各個地址以及與該地址同步的第一次拍攝時的信息輸出作為比較結果(150)。在從第一次拍攝用的存儲器I (103)讀取的塊(00)的亮度小于從第二次拍攝用的存儲器2 (113)讀取的塊(00)的亮度的情況下(步驟S612中為“否”)，處理進入步驟S614。在步驟S614中，將該塊(00)內的像素的各個地址以及與該地址同步的第二次拍攝時的信息輸出作為比較結果(150)。在從第一次拍攝用的存儲器I (103)讀取的塊(00)的亮度等于從第二次拍攝用的存儲器2(113)讀取的塊(00)的亮度的情況下(步驟S611中為“是”)，處理進入步驟S615。在步驟S615中，進行用于在各塊之間進行飽和度比較的飽和度比較處理(148)。在飽和度作為比較結果并未處于相同水平的情況下(步驟S615中為“否”)，處理進入步驟S616。在從第一次拍攝用的存儲器I (103)讀取的塊(00)的飽和度大于從第二次拍攝用的存儲器2(113)讀取的塊(00)的飽和度的情況下(步驟S616中為“是”)，處理進入步驟S617。在步驟S617中，將該塊(00)內的像素的各個地址以及與該地址同步的第一次拍攝時的信息輸出作為比較結果(150)。在從第一次拍攝用的存儲器I (103)讀取的塊(00)的飽和度小于從第二次拍攝用的存儲器2(113)讀取的塊(00)的飽和度的情況下(步驟S616中為“否”)，處理進入步驟
5618。在步驟S618中，將該塊(00)內的像素的各個地址以及與該地址同步的第二次拍攝時的信息輸出作為比較結果(150)。在從第一次拍攝用的存儲器I (103)讀取的塊(00)的飽和度等于從第二次拍攝用的存儲器2(113)讀取的塊(00)的飽和度的情況下(步驟S615中為“是”)，處理進入步驟
5619。在步驟S619中，進行 用于在位于相同位置處的各塊之間進行色相比較處理(149)的色相比較處理。在從第一次拍攝用的存儲器I (103)讀取的塊(00)的色相等于或大于從第二次拍攝用的存儲器2(113)讀取的塊(00)的色相的情況下(步驟S619中為“是”)，處理進入步驟S620。在步驟S620中，將該塊(00)內的像素的各個地址以及與該地址同步的第一次拍攝時的信息輸出作為比較結果(150)。在從第一次拍攝用的存儲器I (103)讀取的塊(00)的色相小于從第二次拍攝用的存儲器2(113)讀取的塊(00)的色相的情況下(步驟S619中為“否”)，處理進入步驟S621。在步驟S621中，將該塊(00)內的像素的各個地址以及與該地址同步的第二次拍攝時的信息輸出作為比較結果(150)。在步驟S622中，在存儲器控制單元(406)中，對用于將由此獲得的各像素的地址與第一次拍攝或第二次拍攝時的信息進行組合得到的信息進行地址管理(140)。當在步驟S623中輸出了與所有塊有關的比較結果時，存儲器控制單元(406)在地址管理處理(140)中針對各像素從存儲器中讀出I個畫面的圖像數(shù)據(jù)。此時，在與所讀取的像素同步的信息表示第一次拍攝的情況下，在步驟S624中，通過切換器(151)來切換像素并且從存儲器單元(405)輸出來自存儲器1(103)的像素數(shù)據(jù)。在與所讀取的像素同步的信息表示第二次拍攝的情況下，在步驟S624中，通過切換器(151)來切換像素并且從存儲器單元(405)輸出來自存儲器2(113)的像素數(shù)據(jù)。
在這種情況下，在執(zhí)行了第三次以后的拍攝并且對第一次拍攝和第二次拍攝的多重圖像進行了第三次以后的拍攝的復合的情況下，使與用于第一次拍攝和第二次拍攝的處理單元相同的處理單元作為照相機中的處理單元。在示出處理流程的圖1中，為了在說明該處理流程時的簡便性，通過用于將示出與該圖的上側部分相同的流程的下側分隔開的虛線(180)來分隔第三次以后的拍攝的復合處理。在步驟S626中，將從存儲器單元(405)輸出的第一次拍攝和第二次拍攝的復合的圖像數(shù)據(jù)再次存儲在存儲器1(103)中。接著，在步驟S627和S628中，與第一次拍攝處理和第二次拍攝處理相同，在WB處理單元(403)中使用WB控制值來對執(zhí)行第三次拍攝時所獲得的圖像數(shù)據(jù)RAW3 (131)進行WB處理3 (132)。然后，在步驟S629中，將第三次拍攝的圖像數(shù)據(jù)存儲在存儲器2(113)中。之后，對存儲器I (103)和存儲器2 (113)中的圖像數(shù)據(jù)進行與第一次拍攝和第二次拍攝的復合處理(步驟S608 步驟S624)相同的復合處理。在完成了多重拍攝之后，在步驟S629中，判斷是否要執(zhí)行下一次拍攝。在判斷為要結束拍攝的情況下，處理進入步驟S630。在步驟S630中，將切換器(SW) (151)針對各像素進行切換的從存儲器I (103)和·存儲器2(113)輸出的多重圖像數(shù)據(jù)發(fā)送至LPF處理單元(461)并進行LPF處理(161)。LPF進行用于使相鄰塊的第一次拍攝和第二次拍攝之間的邊界變得更不可見的處理。例如，將圖9A所示的拜爾陣列的像素數(shù)據(jù)展開成圖9B、9C和9D所示的RGB平面?？梢栽谒椒较蚝痛怪狈较蛏?，使用(1-4-6-4-1)的5抽頭濾波器等在RGB的相同像素數(shù)據(jù)之間應用LPF特性的濾波。接著，在步驟S631中，在預濾波2處理單元(462)中執(zhí)行自適應插值處理(162)，以獲得圖9E、9F和9G中的各像素的RGB值，從而使相鄰塊的第一次拍攝和第二次拍攝之間的邊界變得更不可見。例如，當要獲得圖9F中的G33的像素值時，采用以下的用于求出縱向和橫向的像素之間的差的公式。Y= 1-Rl3+2 R33-R53 | +1G23-G43 | (縱向) (4)X= 1-R31+2 R33-R35 | +1G32-G34 (橫向) (5)這里，根據(jù)X和Y之間的大小關系，進行縱向和橫向的方向判斷，以確認方向性并獲得插值后的像素值。G33=(G23+G43)/2 (X>Y) (6)G33=(G32+G34)/2 (X〈Y) (7)G33=(G23+G43+G32+G34)/4 (X=Y) (8)因而，將包括經由預濾波2處理進行平滑后的RGB的3個平面的多重圖像數(shù)據(jù)發(fā)送至矩陣2轉換處理單元(463)。在步驟S632中，通過矩陣2轉換處理(163)，將圖9E、9F和9G中的各像素的RabGabBab矩陣轉換為如圖10AU0B和IOC所示的YabCrabCbab的圖像數(shù)據(jù)。矩陣2轉換處理(163)的轉換系數(shù)可以不同于比較處理單元(407)中的矩陣I轉換處理(143和146)的轉換系數(shù)?？梢允褂萌我庀禂?shù)，只要作為顯影處理結果所獲得的圖像質量可接受即可。
在步驟S633中，在顯影處理單元(464)中對YCrCb數(shù)據(jù)進行包括伽瑪處理、清晰度處理或顏色轉換處理的顯影處理(164)。在步驟S634中，將經過了顯影處理的圖像數(shù)據(jù)輸出作為最終合成圖像，并利用記錄介質記錄單元(465)存儲在記錄介質中(165)。因此，根據(jù)本典型實施例，對于多次拍攝的圖像數(shù)據(jù)，將各畫面分割為多個區(qū)域，并且獲得相同顏色的平均值。對該平均值進行矩陣轉換，并且對位于相同位置的數(shù)據(jù)相互進行比較。根據(jù)該比較結果，判斷要選擇所拍攝圖像的哪個像素作為圖像數(shù)據(jù)。結果，代替圖11C，可以使經過了多重拍攝的多個圖像如圖1lD所示那樣在沒有混雜在一起的情況下進行復合。根據(jù)本典型實施例， 將畫面分割為多個區(qū)域，以針對由多個像素(M個像素XN個像素)構成的各區(qū)域計算平均值。然而，代替區(qū)域分割，針對各像素，可以將M個像素XN個像素的區(qū)域設置成以該目標像素為中心，以計算該區(qū)域內的相同顏色的相鄰像素的平均值。例如，在圖9A中，將R22預先假定為目標像素。在以像素R22為中心的情況下，計算5個像素X3個像素的區(qū)域內的相同顏色的像素的平均值。在這種情況下，在以R22為中心的塊內，執(zhí)行以下計算。Rave(R22)=(R20+R22+R24)/3 (9)Gave(R22)=(G10+G12+G14+G21+G23+G30+G32+G34)/8 (10)Bave(R22) = (BI1+B13+B31+B33) /4 (11)在步驟S610中，將經由上述公式所計算出的平均值(即，Rave (R)、Gave (R)和Bave (R))矩陣轉換為圖10DU0E和IOF所示的Br、S和H的元素(143和146)。對于所計算出的值，從像素位置(00)起以(01)、(02)、(03)…的逐像素的順序，按照亮度、飽和度和色相的優(yōu)先順序來進行比較，以確定位于相同位置的像素中具有較大值的像素。因而，判斷在該目標像素位置處是應當輸出第一次拍攝中所獲得的像素還是第二次拍攝中所獲得的像素。在這種情況下，由于針對各像素選擇第一次拍攝時的像素或第二次拍攝時的像素，因而可以省略用于對各塊之間的邊界進行平滑化的步驟S630中的LPF處理(161)。此外，根據(jù)本典型實施例，作為示例，對兩個畫面進行比較以選擇示出較大BrSH值的圖像并輸出多重圖像。然而，相反，也可以按照Br、S和H的優(yōu)先順序來選擇具有較小BrSH值的圖像，以優(yōu)先疊加較暗的圖像(或者淡色圖像或色相值較小的圖像)。在這種情況下，與圖1lAllC中的月亮和云的圖像相對比，可以從圖12A和12B的所拍攝圖像中選擇如圖12C所示的較暗像素，并且可以輸出復合結果。該處理在針對滑雪場等的雪景的背景以疊加方式來拍攝人物的圖像時較為有效。此外，根據(jù)本典型實施例，按照亮度、飽和度和色相的優(yōu)先順序逐塊進行比較，并且基于比較結果來確定像素的輸出。然而，沒有必要針對亮度、飽和度和色相全部進行比較，但可以基于它們中的任一個進行比較。此外，優(yōu)先順序可以根據(jù)拍攝模式、拍攝條件和圖像分析結果等進行改變，或者也可以選擇性地進行與亮度、飽和度和色相有關的比較。參考圖2、圖4以及圖7A和7B，將說明根據(jù)本發(fā)明第二典型實施例的設置有多重拍攝功能的數(shù)字照 相機。根據(jù)第二典型實施例，作為根據(jù)第一典型實施例的由多個像素構成的塊區(qū)域分割單位的最小區(qū)域單位，將一個像素取為一個塊區(qū)域單位以進行第一次拍攝和第二次拍攝的比較。照相機內的各單元的結構與第一典型實施例所述的圖4相同。圖2示出用于說明各處理的流程的框圖，并且圖7A和7B示出與該框圖相對應的流程圖。直到如下處理為止的過程與第一典型實施例相同:對第一次拍攝的圖像數(shù)據(jù)RAffl(IOl)和第二次拍攝的圖像數(shù)據(jù)RAW2 (111)分別進行WBl處理(102)和WB2處理(112)并分別寫入存儲器(405)的存儲器1(103)和存儲器2(113)的各區(qū)域中。以下對用于經由地址管理(140)將圖像數(shù)據(jù)(104和114)從存儲器I (103)和存儲器2(113)發(fā)送至比較處理單元(407)的控制進行說明。從畫面的左上端的像素位置(00)起以(01)、(02)、(03)…的逐像素的順序來進行比較。當將一個像素單位發(fā)送至比較處理單元(407)時，同時發(fā)送水平方向和垂直方向上的相鄰像素，并且在步驟S709中，經由預濾波處理1(241和244)在水平方向和垂直方向上對這些相鄰像素進行抽頭濾波。例如，當像素如圖9A所示進行排列時，如圖9B、圖9C和圖9D所示，將RGB的平面填充0，以展開成3個平面。對位于相同位置的3個平面的各像素進行包括用于確認像素在水平方向和垂直方向上的連續(xù)性的方向判斷的像素插值。例如，當要獲得圖9F中的G33的像素值時，采用以下的用于求出縱向和橫向的像素之間的差的公式。Y= 1-R13+2 R33-R53 | +1G23-G43 (縱向) (12)X= 1-R31+2 R33-R35 | +1G32-G34 (橫向) (13)這里，基于X和Y之間的大小關系，進行縱向和橫向的方向判斷，以確認方向性并獲得插值后的像素值。 G33=(G23+G43)/2 (X>Y) (14)G33=(G32+G34)/2 (X〈Y) (15)G33=(G23+G43+G32+G34)/4 (X=Y) (16)因此，在步驟S610中，與第一典型實施例相同，將經由預濾波I處理(241和244)進行平滑后的RGB的多重圖像數(shù)據(jù)從圖9E、9F和9G的RGB矩陣轉換為圖10D、10E和IOF的BrSH數(shù)據(jù)。之后，與第一典型實施例相同，將第一次拍攝和第二次拍攝的BrSH結果進行比較。從像素位置(00)起以(01)、(02)、(03)…的逐像素的順序，按照亮度、飽和度和色相的優(yōu)先順序來進行比較處理，以確定位于相同位置的像素中示出較大值的像素。因而，判斷在該位置處是要輸出第一次拍攝的像素還是第二次拍攝的像素。此外，與第一典型實施例相同，基于所選擇的像素進行I個畫面的圖像處理，并且作為多重曝光的結果，將處理后的畫面記錄在記錄介質上(165)。同樣依照第一典型實施例來進行第三次以后的拍攝的處理。根據(jù)本典型實施例，經由預濾波I處理(241和244)在水平方向和垂直方向上判斷圖像的連續(xù)性。由于逐像素地執(zhí)行比較和判斷，因而可以省略第一典型實施例所述的LPF處理(161)。此外，用于定義預濾波I處理(241和244)的特性的各系數(shù)可以不同于用于輸出最終復合結果的圖像處理的預濾波2處理(162)的系數(shù)。例如，預濾波I處理(241和244)可以具有用于實現(xiàn)與最終輸出用的圖像處理中的預濾波2處理(162)相比LPF效果更強的抽頭系數(shù)(例如，增多的抽頭數(shù))。因而，當對Br、S和H進行比較時，增大了周邊像素的影響。因此，在比較結果中，可以去除第一次拍攝結果中殘留的作為第二次拍攝結果的像素的孤立點，由此可以確保第一次拍攝或第二次拍攝的圖像的連續(xù)性。因而，根據(jù)本典型實施例，作為多次拍攝的圖像數(shù)據(jù)針對各畫面的各像素，在相同位置處展開為亮度Br、飽和度S和色相H。基于所展開的圖像數(shù)據(jù)的比較結果，判斷要選擇所拍攝圖像的哪個像素作為圖像數(shù)據(jù)。因此，通過多重拍攝所獲得的多個圖像可以在不會混雜在一起的情況下進行疊加。 在第三典型實施例中，對根據(jù)第二典型實施例的硬件結構盡可能進行簡化以加快其處理。參考圖3、4和8，按照以下來說明根據(jù)第三典型實施例的設置有多重拍攝功能的數(shù)字照相機。第三典型實施例與第二典型實施例的相同點在于:將I個像素作為一個塊區(qū)域的單位進行處理，并且對第一次拍攝和第二次拍攝進行比較。第三典型實施例的不同在于:在進行比較時，不參考周邊像素，并且僅針對位于目標位置的像素進行水平的大小比較。數(shù)字照相機內的各處理單元的結構與針對第一典型實施例所述的圖4相同。圖3示出表示各處理的流程的框圖，并且圖8示出與該框圖相對應的流程圖。直到如下處理為止的過程與第一典型實施例和第二典型實施例相同(步驟S601 S607):對RAW(IOl)和RAW(Ill)分別進行WBl處理(102)和WB2處理(112)并分別寫入存儲器(405)的存儲器1(103)和存儲器2(113)的各區(qū)域中。接著，通過地址管理(140)，將圖像數(shù)據(jù)從存儲器1(103)和存儲器2(113)發(fā)送至比較處理單元(407)。從位于圖9A的畫面的左上端的像素位置(00)起以(01)、(02)、
`(03)…的逐像素的順序來發(fā)送圖像數(shù)據(jù)。在步驟S612飛614中，在比較處理單元(407)中，在相同位置處對第一次拍攝的像素數(shù)據(jù)(104)和第二次拍攝的像素數(shù)據(jù)進行像素的大小水平的比較處理(347)。在步驟S622中，根據(jù)比較結果(150)，判斷是采用第一次拍攝的像素還是第二次拍攝的像素。之后，最終多重圖像的輸出處理以及與第三次以后的拍攝有關的操作與第一典型實施例和第二典型實施例相同。在如上所述的多重拍攝的圖像處理方法中，如圖13所示，第一次拍攝的被攝體的紅色部分和第二次拍攝的被攝體的藍色部分可能位于相同位置。在這種情況下，這兩種顏色可能混雜在一起。更具體地，對于R像素，第一次拍攝的Rl>第二次拍攝的R2，而對于B像素，第一次拍攝的Bl〈第二次拍攝的B2。因此，將第一次拍攝的Rl像素和第二次拍攝的B2像素組合地進行顯影處理，由此這些顏色可能變得混雜在一起。然而，從處理流程可以看出，與第一典型實施例和第二典型實施例相比較，可以實現(xiàn)大致簡化的處理。此外，處理速度可以變得更快。因此，同樣根據(jù)第三典型實施例，可以通過比較圖像亮度并且使圖像疊加來實現(xiàn)多重拍攝。已經說明了本發(fā)明的優(yōu)選典型實施例。然而，本發(fā)明并不局限于這些實施例，并且可以在本發(fā)明的范圍內進行各種方式的修改和改變。其它實施例還可以通過讀出并執(zhí)行記錄在存儲器裝置上的程序以進行上述實施例的功能的系統(tǒng)或設備的計算機(或者CPU或MPU等裝置)和通過下面的方法來實現(xiàn)本發(fā)明的各方面，其中，系統(tǒng)或設備的計算機通過例如讀出并執(zhí)行記錄在存儲器裝置上的程序以進行上述實施例的功能來進行上述方法的各步驟。針對該目的，例如經由網(wǎng)絡或者從用作存儲器裝置的各種類型的記錄介質(例如，計算機可讀介質)將該程序提供給計算機。盡管已經參考典型實施例說明了本發(fā)明，但是應該理解，本發(fā)明不限于所公開的典型實施例。所附權利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結構和功倉泛 。
權利要求
1.一種攝像設備，包括: 圖像傳感器，其具有包括多個顏色成分的顏色濾波器的像素； 白平衡處理單元，用于對從所述圖像傳感器輸出的數(shù)字轉換后的圖像數(shù)據(jù)進行白平衡處理； 存儲器，用于存儲經過了所述白平衡處理的圖像數(shù)據(jù)； 比較單元，用于對從所述存儲器讀出的、且位于各所拍攝圖像的對應位置的多個圖像數(shù)據(jù)相互進行比較； 存儲器控制單元，用于根據(jù)所述比較單元所進行的比較的結果來選擇和讀出各所拍攝圖像的任意圖像數(shù)據(jù)，并且進行控制以輸出一個畫面的多重圖像數(shù)據(jù)； 圖像處理單元，用于對從所述存儲器所選擇和讀出的多重圖像數(shù)據(jù)進行圖像處理；以及 記錄單元，用于將經過了所述圖像處理的多重圖像數(shù)據(jù)記錄在記錄介質中。
2.根據(jù)權利要求1所述的攝像設備，其中， 所述比較單元進行如下處理:針對所述多個圖像數(shù)據(jù)中的各圖像數(shù)據(jù)，將一個畫面分割為所包括的像素等于或多于一個像素的區(qū)域；針對分割后的各區(qū)域，按各顏色成分來計算平均值；以及經由矩陣轉換處理將按各顏色成分所計算出的平均值轉換為亮度成分、飽和度成分和色相成分，以及 所述比較單元進行控制，以對亮度成分、飽和度成分和色相成分中的至少一個成分的大小關系進行比較并根據(jù) 比較結果來選擇要從所述存儲器讀出的多重圖像數(shù)據(jù)。
3.根據(jù)權利要求1所述的攝像設備，其中， 所述比較單元進行如下處理:針對各圖像數(shù)據(jù)的各目標像素提取該目標像素以及存在于該目標像素周圍的具有相同顏色成分的多個像素，并且按各顏色成分計算平均值；以及經由矩陣轉換處理將按各顏色成分所計算出的平均值轉換為亮度成分、飽和度成分和色相成分，以及 所述比較單元進行控制，以對亮度成分、飽和度成分和色相成分中的至少一個成分的大小關系進行比較并根據(jù)比較結果來選擇要從所述存儲器讀出的多重圖像數(shù)據(jù)。
4.根據(jù)權利要求1所述的攝像設備，其中， 所述比較單元針對各圖像數(shù)據(jù)、按各相同顏色成分進行濾波處理以向各像素賦予各顏色成分數(shù)據(jù)，并且進行用于經由矩陣轉換處理將各像素轉換為亮度成分、飽和度成分和色相成分的處理，以及 所述比較單元進行控制，以對亮度成分、飽和度成分和色相成分中的至少一個成分的大小關系進行比較并根據(jù)比較結果來選擇要從所述存儲器讀出的多重圖像數(shù)據(jù)。
5.根據(jù)權利要求4所述的攝像設備，其中， 所述比較單元為了進行比較而轉換數(shù)據(jù)之前所進行的濾波處理是具有低通濾波器的特性的處理。
6.根據(jù)權利要求4所述的攝像設備，其中， 所述比較單元為了進行比較而轉換數(shù)據(jù)之前所進行的濾波處理是如下處理:經由自適應插值處理，基于像素間的大小關系的方向性來執(zhí)行插值。
7.根據(jù)權利要求1所述的攝像設備，其中，所述比較單元針對各圖像數(shù)據(jù)進行位于相同位置的像素之間的比較以輸出比較結果，并且進行控制以根據(jù)該比較結果來選擇要從所述存儲器讀出的多重圖像數(shù)據(jù)。
8.一種攝像設備，包括: 攝像單元，其包括由多個顏色成分的顏色濾波器所構成的圖像傳感器，并且用于利用所述圖像傳感器來拍攝被攝體圖像并輸出圖像數(shù)據(jù)； 比較單元，用于在畫面內的相應區(qū)域中的圖像數(shù)據(jù)之間、對從所述攝像單元所輸出的第一圖像數(shù)據(jù)和從所述攝像單元所輸出的第二圖像數(shù)據(jù)進行比較；以及 選擇單元，用于根 據(jù)比較結果，按各區(qū)域輸出所述第一圖像數(shù)據(jù)或所述第二圖像數(shù)據(jù)。
全文摘要
本發(fā)明涉及一種攝像設備。本發(fā)明提供了一種數(shù)字照相機，該數(shù)字照相機能夠使多重曝光拍攝時的多個圖像在相互沒有混雜的情況下進行疊加。該數(shù)字照相機包括圖像傳感器，其由多個顏色成分的顏色濾波器構成；攝像單元，用于利用所述圖像傳感器來拍攝被攝體圖像，并且輸出圖像數(shù)據(jù)；比較單元，用于在畫面內的相應區(qū)域中的圖像數(shù)據(jù)之間、對從所述攝像單元所輸出的第一圖像數(shù)據(jù)和從所述攝像單元所輸出的第二圖像數(shù)據(jù)進行比較；以及選擇單元，用于根據(jù)比較結果，按各區(qū)域輸出所述第一圖像數(shù)據(jù)或所述第二圖像數(shù)據(jù)。
文檔編號H04N9/04GK103248902SQ20131004944
公開日2013年8月14日 申請日期2013年2月7日 優(yōu)先權日2012年2月8日
發(fā)明者竹內義尊 申請人:佳能株式會社