個(gè)視差圖像構(gòu)成。
[0076] 在攝像之后，可W根據(jù)LF數(shù)據(jù)生成不同于W下攝像平面的虛擬調(diào)焦平面圖像（重 調(diào)焦處理），其中，攝像元件配置在該攝像平面處，并且從該攝像平面獲取子像素信號k。。 將所有子像素信號ka沿各角度0從攝像平面平行移動(dòng)至虛擬調(diào)焦平面，W使其分配至 虛擬調(diào)焦平面處的各虛擬像素，并且對其進(jìn)行加權(quán)加法，從而使得可W生成虛擬調(diào)焦平面 處的重調(diào)焦圖像。對于在加權(quán)加法中所使用的系數(shù)，所有值都是正的，并且它們的和等于1。
[0077] 圖9B示出本實(shí)施例中的重調(diào)焦可能范圍的概念圖。假定通過5表示容許模糊圓、 并且調(diào)焦光學(xué)系統(tǒng)的光圈值等于F，光圈值F時(shí)的景深等于+F 5。另一方面，（Ne XNJ分 害揃窄部分光瞳區(qū)域的有效光圈值Fw化1~Fie)等于Fw=NgF，該樣更暗。各視差圖像的 有效景深等于更深Ne倍的+N eF5。將聚焦范圍加寬Ne倍。在有效景深+N eF5的范圍 中，由于獲取了對于每一視差圖像都處于聚焦的被攝體圖像，因而在攝像之后，可W通過用 于沿上述角度9。平行移動(dòng)每一視差圖像的重調(diào)焦處理，再次調(diào)整聚焦位置（重調(diào)焦）。在 有效景深±NeF 5的范圍外，由于僅獲取了模糊的被攝體圖像，因而不能再次調(diào)整聚焦位 置（重調(diào)焦）。
[007引因此，從在攝像之后可W再次調(diào)整聚焦位置（重調(diào)焦）的攝像平面的離焦量d受 限，并且離焦量d的重調(diào)焦可能范圍大體等于通過下面的公式（1)所示的范圍：
[0079] |d|《NeF5 ...(1)
[0080] 其中，通過5 =2AX(像素周期AX的奈奎斯特頻率1/(2A幻的倒數(shù)）等指定 容許模糊圓5。
[0081] 接著通過使用圖10~14,說明用于保持根據(jù)從本實(shí)施例的攝像元件所獲取的LF 數(shù)據(jù)進(jìn)行重調(diào)焦所需的信息、并且生成數(shù)據(jù)量被抑制的壓縮LF數(shù)據(jù)的圖像處理方法。通過 用作本發(fā)明的圖像處理單元的CPU 121(程序）和圖像處理單元125,執(zhí)行參考圖10所述的 操作。盡管還通過圖像處理單元125執(zhí)行信號數(shù)據(jù)的加法（加法處理單元），但是如果通過 攝像元件107中的加法讀出至少部分執(zhí)行該一操作，則可W降低（可W分擔(dān)）該處理的負(fù) 荷。
[0082] 圖10是示出本實(shí)施例的圖像處理操作的流程圖的圖。圖11是示意性示出通過使 用攝像圖像來進(jìn)行本實(shí)施例的圖像處理操作的流程的圖。在圖11中，（A)~（巧分別對應(yīng) 于圖10中的步驟（A)~（巧。該圖示意性并且示例性示出設(shè)置在顯示畫面上、并且經(jīng)過了 不同圖像處理的區(qū)域。圖12示出根據(jù)本實(shí)施例的攝像元件的像素電路的結(jié)構(gòu)和可W通過 加法或者非加法讀出像素中的子像素的光電轉(zhuǎn)換信號的結(jié)構(gòu)。盡管為了便于說明，圖12僅 示出一個(gè)像素中的子像素讀出電路的結(jié)構(gòu)，但是實(shí)際上，設(shè)備對于配置在光接收平面上的、 并且用于攝像圖像的所有像素，都具有相同的電路結(jié)構(gòu)。下面順著圖10和11所示的附圖 標(biāo)記A~F，說明本實(shí)施例的圖像處理。
[0083] 在步驟（A)，將要聚焦的焦點(diǎn)檢測區(qū)域900設(shè)置成攝像區(qū)域（設(shè)置單元）。
[0084] 接著，讀出焦點(diǎn)檢測區(qū)域1100的LF數(shù)據(jù)，進(jìn)行攝像平面相位差方法的焦點(diǎn)檢測， 并且計(jì)算焦點(diǎn)檢測區(qū)域1100的離焦量d。。。。根據(jù)所計(jì)算出的離焦量山。。驅(qū)動(dòng)鏡頭，從而使 焦點(diǎn)檢測區(qū)域1100中的被攝體圖像處于聚焦?fàn)顟B(tài)?？蒞通過使用與攝像元件分開構(gòu)成的、 相位差方法的焦點(diǎn)檢測設(shè)備來進(jìn)行焦點(diǎn)檢測區(qū)域1100的焦點(diǎn)檢測?？蒞進(jìn)行對比度方法 的焦點(diǎn)檢測，其中，所述對比度方法根據(jù)通過使用LF數(shù)據(jù)所生成的多個(gè)重調(diào)焦圖像的對比 度評價(jià)值，進(jìn)行焦點(diǎn)檢測。
[0085] 在步驟炬），設(shè)置包括焦點(diǎn)檢測區(qū)域1100的第一區(qū)域1101a。讀出所設(shè)置的第一 區(qū)域1101a的LF數(shù)據(jù)，對于第一區(qū)域1101a的多個(gè)部分光瞳區(qū)域的每一個(gè)，進(jìn)行相位差方 法的焦點(diǎn)檢測，并且計(jì)算離焦圖（聚焦信息）?；谒?jì)算出的離焦圖，再次設(shè)置第一區(qū)域 1101a，W包括離焦量d的大小小于預(yù)定值（|d|《d。）的區(qū)域。在再次設(shè)置第一區(qū)域1101a 之后，將從攝像元件的整個(gè)區(qū)域中排除第一區(qū)域1101a的區(qū)域，設(shè)置為第二區(qū)域1102a。希 望根據(jù)通過公式（1)所示的重調(diào)焦可能范圍將預(yù)定值d。設(shè)置成(1。= N eF S，從而使得第一 區(qū)域1101a包括重調(diào)焦可能區(qū)域。然而，在需要時(shí)，可W根據(jù)攝像平面改變離焦量d的基準(zhǔn)。
[0086] 還可下面的方式來配置；根據(jù)需要，設(shè)置不包括焦點(diǎn)檢測區(qū)域1100的第二區(qū) 域1102a，計(jì)算離焦圖，并且基于所計(jì)算出的離焦圖，再次設(shè)置第二區(qū)域、并且設(shè)置第一區(qū) 域。也就是說，還可下面的方式來配置；再次設(shè)置第二區(qū)域1102a，W包括離焦量d的 大小大于預(yù)定值dc(|d|〉d。）的區(qū)域，并且將從攝像元件的整個(gè)區(qū)域中排除第二區(qū)域1102a 的區(qū)域設(shè)置為第一區(qū)域1101a。
[0087] 因此，在本實(shí)施例中，根據(jù)LF數(shù)據(jù)的離焦量，選擇第一區(qū)域1101a和第二區(qū)域 1102a。
[008引在運(yùn)動(dòng)被攝體等的攝像中優(yōu)選設(shè)置處理速度的情況下，可W根據(jù)需要省略如上所 述的用于進(jìn)行離焦圖的計(jì)算和第一區(qū)域1101a的重新設(shè)置的處理。
[0089] 還可下面的方式來配置；在步驟（A)僅進(jìn)行焦點(diǎn)檢測區(qū)域1100的設(shè)置，并且 在步驟做設(shè)置了第一區(qū)域1101a和第二區(qū)域1102a之后，驅(qū)動(dòng)鏡頭，從而使得焦點(diǎn)檢測區(qū) 域1100中的被攝體圖像處于聚焦?fàn)顟B(tài)。
[0090] 在步驟（0,生成與第一區(qū)域相對應(yīng)的圖像數(shù)據(jù)。首先，分別讀出第一區(qū)域1101a 的LF數(shù)據(jù)，作為每一像素的子像素201~216的信號數(shù)據(jù)。原樣使用讀出信號數(shù)據(jù)作為與 本實(shí)施例中的第一區(qū)域相對應(yīng)的圖像數(shù)據(jù)。
[0091] 現(xiàn)通過使用圖12來說明在對于本實(shí)施例中的攝像元件的各像素分別讀出子像 素的信號數(shù)據(jù)的情況下的讀出操作控制。在該圖中，P01~P16分別表示與子像素201~ 216(光電轉(zhuǎn)換單元301~316)相對應(yīng)的光電二極管（PD)。Vdd和Vss表示電源電壓。 (pTl~(pT4表示為了將光電轉(zhuǎn)換信號從PD傳送至抑而從垂直掃描電路1202所提供的傳 送柵極電壓。（pRl和q>R2表示為了復(fù)位PD而從垂直掃描電路1202向復(fù)位線1208和1209 所提供的復(fù)位柵極電壓。巧S1和cpS2表示從垂直掃描電路1202向行選擇線1210和1211 所提供的行選擇電壓。cpL隸示負(fù)載電壓。設(shè)置垂直輸出線1204和1205 W通過水平掃描 電路1201將從PD傳送至抑的光電轉(zhuǎn)換信號讀出至水平輸出線1207。
[0092] 首先，為了復(fù)位每一子像素的PD，垂直掃描電路1202同時(shí)接通所有行的傳送柵 極電壓cpTl~cpT4W及復(fù)位柵極電壓cp民1和cpR2。此后，從垂直掃描電路1202同時(shí)切斷 傳送柵極電壓tpTl~'(pT4 W及復(fù)位柵極電壓聲R1和cpR2的時(shí)刻開始，積累操作開始。在 積累操作中，每一子像素的PD(P01~P16)根據(jù)光接收量，將信號電荷積累在各子像素的 PD(P01~P16)的n型層中。
[0093] 與機(jī)械快口同步進(jìn)行積累預(yù)定時(shí)間。此后，垂直掃描電路1202首先接通傳送柵極 電壓(pTl、并且然后再次斷開，從而分別將子像素P01、P03、P09和的信號電荷傳送給 相應(yīng)抑。
[0094] 接著，當(dāng)垂直掃描電路1202接通行選擇電壓(pSl、并且水平掃描電路1201順序選 擇垂直輸出線1204和1205時(shí)，通過CDS(相關(guān)雙采樣）電路1203將信號電荷P01和P03 順序讀出至水平輸出線1207。此后，垂直掃描電路1202使得行選擇電壓(pSl恢復(fù)成OFF。 類似地，通過接通行選擇電壓cpS2、并且順序選擇垂直輸出線1204和1205,通過CDS電路 1203將信號電荷P09和P11順序讀出至水平輸出線1207,并且行選擇電壓cpS2被恢復(fù)成 OFF。
[0095] 隨后，通過接通傳送柵極電壓(pT2、并且再次斷開，將子像素P05、P07、P13和P15 的信號電荷分別傳送至相應(yīng)的抑。該信號電荷的讀出操作與子像素P01、P03、P09和P11 的讀出操作相同。
[0096] 隨后，通過接通傳送柵極電壓cpT3、并且再次斷開，將子像素P02、P04、P10和P12 的信號電荷分別傳送至相應(yīng)的抑。該信號電荷的讀出操作與子像素P01、P03、P09和P11 的讀出操作相同。
[0097] 最后，通過接通傳送柵極電壓<pT4、并且再次斷開，將子像素P06、P08、P14和P16 的信號電荷分別傳送至相應(yīng)的抑。該信號電荷的讀出操作與子像素P01、P03、P09和P11 的讀出操作相同。通過該些讀出操作，可W分別讀出一個(gè)像素的所有子像素的光電轉(zhuǎn)換信 號。
[009引通過對第一區(qū)域1101a中的各像素執(zhí)行讀出操作，分別讀出并生成子像素201~ 216的信號數(shù)據(jù)，作為沒有相加第一區(qū)域1101a的圖像數(shù)據(jù)的LF數(shù)據(jù)。
[0099] 在步驟（D)，生成與第二區(qū)域相對應(yīng)的圖像數(shù)據(jù)。生成第二區(qū)域1102a的LF數(shù)據(jù)， 作為攝像圖像數(shù)據(jù)，其中，在攝像圖像數(shù)據(jù)中，通過圖像處理單元125的加法單元將讀出的 每一像素的子像素201~216的信號數(shù)據(jù)相加，并且將所有子像素201~216的信號數(shù)據(jù) 相加。CPU 121將與第一區(qū)域相對應(yīng)的LF數(shù)據(jù)和對與第二區(qū)域相對應(yīng)的所有子像素的信號 數(shù)據(jù)進(jìn)行了相加的圖像數(shù)據(jù)合成，并且W例如稍后所述的圖13所示的預(yù)定記錄格式，將其 作為最終攝像圖像的圖像數(shù)據(jù)存儲在記錄介質(zhì)中。
[0100] 在本實(shí)施例中，在第一區(qū)域中，根據(jù)用作攝像信號的LF數(shù)據(jù)，生成保持每一子像 素的LF數(shù)據(jù)的（非相加）信號。另一方面，在第二區(qū)域中，生成用作將子像素的一部分或 者所有LF數(shù)據(jù)相加的像素信號數(shù)據(jù)的壓縮LF數(shù)據(jù)。如上所述，第一區(qū)域中的LF數(shù)據(jù)的相 加的程度，小于第二區(qū)域中的LF數(shù)據(jù)的相加的程度。也就是說，W下面的方式將從攝像元 件所獲取的子像素的攝像信號中的一部分相加；與第一區(qū)域相對應(yīng)的攝像圖像的圖像數(shù)據(jù) 中每單位像素的子像素的攝像信號的數(shù)量，大于與第二區(qū)域相對應(yīng)的攝像圖像的圖像數(shù)據(jù) 中每單位像素的子像素的攝像信號的數(shù)量，并且然后生成攝像圖像的圖像數(shù)據(jù)。
[0101] 也就是說，在本實(shí)施例中，使得在攝像圖像的第一區(qū)域中對LF數(shù)據(jù)的相加的程度 和在攝像圖像的第二區(qū)域中對LF數(shù)據(jù)的相加的程度不同，生成第一圖像數(shù)據(jù)和第二圖像 數(shù)據(jù)，并且獲取最終攝像圖像的第=圖像數(shù)據(jù)。
[0102] 說明根據(jù)本實(shí)施例的數(shù)據(jù)量的抑制效果。
[0103] 由于有效像素的數(shù)量Nu的LF數(shù)據(jù)具有角度分布數(shù)據(jù)、W及光強(qiáng)度的空間分布數(shù) 據(jù)，因而對于每一像素，通過光瞳分割的數(shù)