專利名稱：圖像感測(cè)裝置及圖像感測(cè)裝置的控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像感測(cè)裝置以及圖像感測(cè)裝置的控制方法。
背景技術(shù)：
傳統(tǒng)上，在數(shù)字相機(jī)中，通過(guò)成像透鏡在圖像感測(cè)元件上形成物像，并將由圖像感測(cè)元件獲得的圖像信息顯示在LCD(液晶顯示器)上。數(shù)字相機(jī)包括電子取景器(EVF)以觀察在IXD上形成的圖像信息(日本特開(kāi)平5-134294號(hào)公報(bào))。已知一種使用即時(shí)觀察顯示(live view display)的數(shù)字相機(jī)，其中布置在圖像感測(cè)元件的整個(gè)表面上的遮光器(shutter)是打開(kāi)的，以將物像投影在圖像感測(cè)元件上， 由此在圖像顯示IXD中顯示視頻(日本特開(kāi)2001-186401號(hào)公報(bào))。國(guó)際專利公開(kāi)06/039486號(hào)公報(bào)和Ren. Ng等人所著的論文“Light Field Photography with a Hand-Held Plenoptic Camera，， (Stanford Tech Report CTSR 2005-02)提出了一種利用所謂“光場(chǎng)攝影”方法的圖像感測(cè)裝置。該圖像感測(cè)裝置包括成像透鏡、微透鏡陣列、圖像感測(cè)元件以及圖像處理單元。由圖像感測(cè)元件獲得的感測(cè)圖像數(shù)據(jù)不僅包括光接收面上的光強(qiáng)度分布，還包括光傳播方向的信息。圖像處理單元能夠重建從多個(gè)取景器或多個(gè)方向觀察的圖像。然而，當(dāng)包括布置在圖像感測(cè)元件前方的微透鏡陣列的圖像感測(cè)裝置利用具有環(huán)形開(kāi)口部分的孔徑光闌，感測(cè)如圖20A所示的被攝體時(shí)，即時(shí)觀察顯示圖像包括如圖20B所示的非光接收區(qū)域。因此，對(duì)于用戶來(lái)說(shuō)，難以確定焦點(diǎn)位置。

發(fā)明內(nèi)容
鑒于上述問(wèn)題做出了本發(fā)明，本發(fā)明提供一種用于將即時(shí)觀察圖像轉(zhuǎn)換成用戶能夠容易地確定焦點(diǎn)位置的圖像的技術(shù)。根據(jù)本發(fā)明的第一方面，提供一種圖像感測(cè)裝置，該圖像感測(cè)裝置包括用于獲取由圖像感測(cè)器輸出的圖像信號(hào)生成的感測(cè)圖像的單元，該圖像感測(cè)器用于接收依次通過(guò)成像透鏡和微透鏡陣列而入射的光，該微透鏡陣列是包括多個(gè)微透鏡的二維陣列；創(chuàng)建單元， 其創(chuàng)建列表，在該列表中，針對(duì)所述圖像感測(cè)器上的各像素位置，登記入射在該像素位置處的光在成像透鏡上的坐標(biāo)與該像素位置的坐標(biāo)之間的對(duì)應(yīng)關(guān)系；生成單元，其生成通過(guò)根據(jù)在所述列表中登記的成像透鏡上的坐標(biāo)的排列順序來(lái)重排所述圖像感測(cè)器上與該坐標(biāo)對(duì)應(yīng)的像素位置處的像素而獲得的圖像，作為視差圖像組；以及輸出單元，其輸出由所述生成單元生成的圖像。根據(jù)本發(fā)明的第二方面，提供一種圖像感測(cè)裝置的控制方法，該圖像感測(cè)裝置包括用于接收依次通過(guò)成像透鏡和微透鏡陣列而入射的光的圖像感測(cè)器，該微透鏡陣列是包括多個(gè)微透鏡的二維陣列，該控制方法包括獲取由圖像感測(cè)器輸出的圖像信號(hào)生成的感測(cè)圖像的步驟；創(chuàng)建步驟，其創(chuàng)建列表，在該列表中，針對(duì)所述圖像感測(cè)器上的各像素位置， 登記入射在該像素位置處的光在成像透鏡上的坐標(biāo)與該像素位置的坐標(biāo)之間的對(duì)應(yīng)關(guān)系；生成步驟，其生成通過(guò)根據(jù)在所述列表中登記的成像透鏡上的坐標(biāo)的排列順序來(lái)重排所述圖像感測(cè)器上與該坐標(biāo)對(duì)應(yīng)的像素位置處的像素而獲得的圖像作為視差圖像組；輸出步驟，其輸出在該生成步驟中生成的圖像。通過(guò)下面參照附圖對(duì)示例性實(shí)施例的描述，本發(fā)明的其他特征將變得清楚。


圖1是示出圖像感測(cè)裝置的結(jié)構(gòu)示例的框圖；圖2是示出信號(hào)處理單元106的功能結(jié)構(gòu)示例的框圖；圖3是示出孔徑光闌102的圖；圖4是示出位置關(guān)系的圖；圖5是示出圖像感測(cè)器104的光接收面上各微透鏡的光接收區(qū)域的示例的圖；圖6是要由信號(hào)處理單元106執(zhí)行的處理的流程圖；圖7是示出在m = 3和η = 3的情況下成像透鏡101的區(qū)域劃分和區(qū)域的指標(biāo) (index)的示例的圖；圖8是用于解釋成像透鏡上的坐標(biāo)(u，ν)的圖；圖9是示出光場(chǎng)的排列的示例的表；圖10是用于解釋光場(chǎng)創(chuàng)建方法的圖；圖11是示出視差圖像的排列的示例的圖；圖12Α和圖12Β是示出視差圖像創(chuàng)建的示例的圖；圖13是示出圖像感測(cè)器104的光接收面上的微透鏡的光接收區(qū)域的示例的圖；圖14是示出顯示單元116的顯示畫(huà)面上的顯示示例的圖；圖15是示出在m = 5和η = 5的情況下根據(jù)提取開(kāi)始坐標(biāo)排列所有的視差圖像的示例的圖；圖16是示出在顯示單元116的顯示畫(huà)面上僅排列并顯示分別具有大于或等于閾值的平均像素值的視差圖像的示例的圖；圖17是示出視差圖像的排列示例的圖；圖18是示出⑶I的顯示示例的圖；圖19是示出視差圖像的排列示例的圖；圖20Α至圖20C是用于解釋第一實(shí)施例的效果的圖；圖21是在縮小孔徑光闌102時(shí)圖像感測(cè)器104上的光接收區(qū)域的示意圖；圖22是示出在視差數(shù)為5X5時(shí)的視差圖像的圖；圖23是示出在視差數(shù)為3X3時(shí)的視差圖像的圖；圖M是示出在視差數(shù)為7X7時(shí)的視差圖像的圖；圖25是示出信號(hào)處理單元106的功能結(jié)構(gòu)示例的框圖；圖沈是重聚焦評(píng)價(jià)信息生成處理的流程圖；圖27是用于解釋獲取主被攝體選擇信息的處理的圖；圖觀是用于解釋中心坐標(biāo)的圖；以及圖四是示出顯示單元116上的顯示示例的圖。
具體實(shí)施例方式以下參照

本發(fā)明的實(shí)施例。請(qǐng)注意，以下要說(shuō)明的實(shí)施例僅是本發(fā)明的具體實(shí)踐的示例，并且表示所附權(quán)利要求中的結(jié)構(gòu)的具體示例。[第一實(shí)施例]在本實(shí)施例中，將說(shuō)明以下示例保持(holding)微透鏡陣列的圖像感測(cè)裝置將即時(shí)觀察圖像轉(zhuǎn)換成有助于在顯示即時(shí)觀察圖像的顯示單元上進(jìn)行聚焦的圖像。<圖像感測(cè)裝置的結(jié)構(gòu)示例>將參照?qǐng)D1的框圖來(lái)說(shuō)明根據(jù)本實(shí)施例的圖像感測(cè)裝置的結(jié)構(gòu)示例。注意圖1示出了以下要描述的各處理的主要部件的示例，可適用于本實(shí)施例的圖像感測(cè)裝置的結(jié)構(gòu)不限于圖1所示的結(jié)構(gòu)。也就是說(shuō)，可以向圖1中所示的結(jié)構(gòu)添加部件?？梢哉蠄D1中所示的某些單元。可以將一個(gè)構(gòu)成單元分解成兩個(gè)或更多個(gè)構(gòu)成單元?？梢詫⒁韵乱鳛榻o定構(gòu)成單元執(zhí)行的處理而描述的處理，分配給其他構(gòu)成單元。成像透鏡101是主透鏡，被構(gòu)造成感測(cè)被攝體，并例如包括在攝像機(jī)、靜態(tài)照相機(jī)等中使用的通用變焦透鏡、聚焦透鏡以及模糊校正透鏡?？讖焦怅@102是用于成像透鏡101的光學(xué)孔徑光闌。孔徑光闌102例如在中央處具有一個(gè)圓形開(kāi)口部分，如圖3所示。黑框部分表示通過(guò)縮小孔徑光闌到一定程度而形成的非開(kāi)口部分。將開(kāi)口部分的直徑(成像透鏡101的有效直徑)稱為D。將孔徑光闌102 布置成與微透鏡陣列103相隔距離L。微透鏡陣列103例如是通過(guò)以矩陣方式二維地排列多個(gè)微透鏡而形成的二維陣列，并且布置在成像透鏡101的成像面上。各微透鏡例如具有圓形或六角形的平面形狀，并且由固體透鏡、液晶透鏡、液體透鏡、衍射透鏡等形成。將成像透鏡101、孔徑光闌102、微透鏡陣列103以及圖像感測(cè)器(圖像感測(cè)元件)104 —起稱為圖像感測(cè)單元100。圖4示出了成像透鏡101、孔徑光闌102、微透鏡陣列103以及圖像感測(cè)器104之間的位置關(guān)系。在此情況下，m是分配給微透鏡陣列103的各微透鏡的一個(gè)方向(圖4中的垂直方向)的像素?cái)?shù)，s是在圖像感測(cè)器104中包括的圖像感測(cè)元件(像素)的一側(cè)方向 (圖4中的垂直方向)上的大小(像素大小)，而L如上所述是孔徑光闌102與微透鏡陣列 103之間的距離。注意，成像透鏡101與孔徑光闌102之間的距離很近，近到可被忽略。因此，在圖4中，L表示成像透鏡101與微透鏡陣列103之間的距離。如上所述，D表示成像透鏡101的有效直徑，而f表示微透鏡陣列103與圖像感測(cè)器104之間的距離。換言之，像素?cái)?shù)m是圖像感測(cè)器104接收通過(guò)一個(gè)微透鏡入射的光的區(qū)域(光接收區(qū)域)的一個(gè)方向上(圖4中的垂直方向上)的像素?cái)?shù)?？梢酝ㄟ^(guò)以下公式計(jì)算所分配的像素?cái)?shù)m:(mXs) f = D Lm = DXf/(LXs)(1)然而，作為m，當(dāng)然僅能夠采用正整數(shù)。因此，如果通過(guò)計(jì)算公式(1)求得實(shí)數(shù)作為 m,則將小數(shù)點(diǎn)第一位進(jìn)位成整數(shù)。返回參照?qǐng)D1，圖像感測(cè)器104接收通過(guò)微透鏡陣列103 (各微透鏡)入射的光并獲取被攝體的光量。圖像感測(cè)器104布置在微透鏡陣列103(各微透鏡)的焦平面(focalplane)上。圖像感測(cè)器104包括按矩陣方式二維排列的多個(gè)圖像感測(cè)元件?？梢圆捎?CCD (電荷耦合器件)或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)，作為圖像感測(cè)元件。當(dāng)然，如果能夠確保圖像感測(cè)器104的光接收面上的位置與從圖像感測(cè)器104輸出的圖像上的位置之間的對(duì)應(yīng)關(guān)系，則不特別限制圖像感測(cè)器104的布置。在本實(shí)施例中，在圖像感測(cè)器104的光接收面上按矩陣方式二維排列MXN個(gè)像素 (圖像感測(cè)元件)。在由多個(gè)像素形成的區(qū)域(光接收區(qū)域)上接收透過(guò)一個(gè)微透鏡的光。 光接收面上的像素?cái)?shù)例如是MXN = 5180X3450 = 17871000。令m為針對(duì)光接收區(qū)域的水平方向利用公式(1)計(jì)算的像素?cái)?shù)(針對(duì)水平方向分配的像素?cái)?shù))，令η為針對(duì)垂直方向利用公式(1)計(jì)算的像素?cái)?shù)(針對(duì)垂直方向分配的像素?cái)?shù))。在此情況下，像素?cái)?shù)m和η與最終生成的視差圖像的任意視角上的分辨能力相關(guān)。 為此，隨著值m和η的增大，視差圖像的任意視角上的分辨能力升高。另一方面，M/m和N/ η與視差圖像的像素?cái)?shù)(分辨率)相關(guān)。為此，隨著值M/m和Ν/η的增大，視差圖像的像素?cái)?shù)升高。因此，在視差圖像的任意視角上的像素?cái)?shù)和分辨能力具有折衷關(guān)系。此外，例如，基于像素將彩色濾光器(圖1中未示出)二維布置在圖像感測(cè)器 104的光接收面上。彩色濾光器具有拜耳排列(Bayer arrangement)，在該拜耳排列中以 R G B = 1 2 1的比率將三基色(即紅㈨、綠(G)和藍(lán)(B))的濾光器排列為格子圖案。因?yàn)閷⑦@種彩色濾光器設(shè)置在圖像感測(cè)器104的光接收面上，所以能夠獲得與彩色濾光器的色彩對(duì)應(yīng)的多種色彩的像素。A/D轉(zhuǎn)換單元105將表示從圖像感測(cè)器104輸出的被攝體的光量的模擬信號(hào)(表示從各圖像感測(cè)元件輸出的像素的像素值的模擬信號(hào)(圖像信號(hào)))，轉(zhuǎn)換成數(shù)字信號(hào)。信號(hào)處理單元106對(duì)從A/D轉(zhuǎn)換單元105輸出的數(shù)字信號(hào)，執(zhí)行去馬賽克處理 (demosaicing processing)、白平衡處理、伽馬處理等，以生成所感測(cè)圖像的數(shù)據(jù)(感測(cè)圖像數(shù)據(jù))。然后，信號(hào)處理單元106基于圖像感測(cè)器104上的像素的一側(cè)方向上的像素大小S、孔徑光闌102與微透鏡陣列103之間的距離L、成像透鏡101的有效直徑D以及微透鏡陣列103與圖像感測(cè)器104之間的距離f，生成視差圖像的數(shù)據(jù)(視差圖像數(shù)據(jù))。接下來(lái)，信號(hào)處理單元106根據(jù)來(lái)自操作單元113的指令，生成要在顯示單元116上顯示的圖像數(shù)據(jù)(顯示圖像數(shù)據(jù))。稍后將描述視差圖像數(shù)據(jù)生成處理和顯示圖像數(shù)據(jù)生成處理。編碼器單元107執(zhí)行將信號(hào)處理單元106生成的視差圖像數(shù)據(jù)轉(zhuǎn)換成諸如jpeg 或mpeg的文件格式的處理。介質(zhì)接口單元108用作連接PC或其他介質(zhì)(例如硬盤(pán)、存儲(chǔ)卡、CF卡、SSD卡或 USB存儲(chǔ)器)的接口。D/A轉(zhuǎn)換單元109將信號(hào)處理單元106生成的視差圖像數(shù)據(jù)轉(zhuǎn)換成模擬數(shù)據(jù)。CPU 110利用存儲(chǔ)在ROM 111或RAM 112中的計(jì)算機(jī)程序和數(shù)據(jù)執(zhí)行處理，以控制圖像感測(cè)裝置中包括的單元的操作。ROM 111存儲(chǔ)圖像感測(cè)裝置的激活程序和初始安裝數(shù)據(jù)、要由CPU110使用以對(duì)圖像感測(cè)裝置的單元的操作進(jìn)行控制的計(jì)算機(jī)程序和數(shù)據(jù)，以及在本實(shí)施例中作為已知信息描述的各種信息。RAM 112具有臨時(shí)存儲(chǔ)從ROM 111載入的計(jì)算機(jī)程序和數(shù)據(jù)的區(qū)域，以及要由CPU 110和其他單元使用以執(zhí)行處理的工作區(qū)域。也就是說(shuō)，RAM 112能夠按需要提供各種區(qū)域。操作單元113包括按鈕和模式轉(zhuǎn)盤(pán)(mode dial)。將通過(guò)用戶對(duì)操作單元113的操作而輸入的操作指令發(fā)送給CPU 110。當(dāng)然，CPU 110可以執(zhí)行操作單元113的某些功能， 例如，通過(guò)在稍后描述的顯示單元116的顯示畫(huà)面上顯示按鈕圖像并使用戶用手指指出按鈕圖像的模式選擇按鈕的功能等。圖像感測(cè)系統(tǒng)控制單元114控制圖像感測(cè)單元100來(lái)進(jìn)行聚焦、遮光器打開(kāi)、光闌
調(diào)節(jié)等。字符生成單元115生成字符、圖形等，并能夠生成例如⑶I (圖形用戶界面)。所生成的字符、圖形以及⑶I顯示在稍后描述的顯示單元116的顯示畫(huà)面上。通常，廣泛使用IXD作為顯示單元116，來(lái)顯示由字符生成單元115生成的字符和圖形、由信號(hào)處理單元106生成的顯示圖像等。顯示單元116可以具有觸摸屏功能。在此情況下，如上所述能夠?qū)崿F(xiàn)操作單元113的某些功能。當(dāng)然，也能夠?qū)崿F(xiàn)除了操作單元113 的那些功能以外的功能。接下來(lái)，將參照?qǐng)D2的框圖來(lái)描述信號(hào)處理單元106的結(jié)構(gòu)示例。視差數(shù)計(jì)算單元201計(jì)算圖像感測(cè)器上能夠接收到透過(guò)各微透鏡的光的像素?cái)?shù)。 以下，將圖像感測(cè)器上能夠接收到透過(guò)各微透鏡的光的像素?cái)?shù)稱為視差數(shù)。LF創(chuàng)建單元202基于視差數(shù)創(chuàng)建圖像感測(cè)裝置的光場(chǎng)。光場(chǎng)表示通過(guò)成像透鏡的光束的通過(guò)位置與圖像感測(cè)元件上的光接收位置之間的對(duì)應(yīng)關(guān)系。圖像重構(gòu)單元203基于光場(chǎng)重排保持在緩沖器204中的感測(cè)圖像數(shù)據(jù)的像素，由此生成從不同視點(diǎn)觀察的視差圖像數(shù)據(jù)。視差圖像提取單元205基于操作單元113的顯示模式信息選擇并提取視差圖像數(shù)據(jù)，并向編碼器單元107和D/A轉(zhuǎn)換單元109發(fā)送視差圖像數(shù)據(jù)。<圖像感測(cè)裝置的操作>接下來(lái)將描述根據(jù)本實(shí)施例的圖像感測(cè)裝置的操作。通過(guò)成像透鏡101和孔徑光闌102入射在微透鏡陣列103上的光(物像)，根據(jù)各微透鏡的形狀，在圖像感測(cè)器104的光接收面上形成圖像。也就是說(shuō)，針對(duì)各微透鏡，在圖像感測(cè)器104的光接收面上形成接收透過(guò)微透鏡的光的區(qū)域(光接收區(qū)域)。圖5示出了圖像感測(cè)器104的光接收面上的針對(duì)各微透鏡的光接收區(qū)域的示例。由于孔徑光闌102的開(kāi)口部分是圓形的(如圖3所示)，因此在圖像感測(cè)器104的光接收面上與各微透鏡相對(duì)應(yīng)地形成有圓形的光接收區(qū)域。此時(shí)，入射在微透鏡陣列103 上的光束，根據(jù)在成像透鏡101上的入射位置，在圖像感測(cè)器104的光接收面上的不同位置處被接收。圖像感測(cè)器104的各圖像感測(cè)元件輸出與接收到的光量相對(duì)應(yīng)的模擬信號(hào)。結(jié)果，圖像感測(cè)器104輸出針對(duì)各像素的模擬信號(hào)。A/D轉(zhuǎn)換單元105將各像素的模擬信號(hào)轉(zhuǎn)換(A/D轉(zhuǎn)換)成數(shù)字信號(hào)，由此生成各像素的數(shù)字信號(hào)。該A/D轉(zhuǎn)換可以是通常處理。例如，將被攝體的光量光電轉(zhuǎn)換成信號(hào)，然后轉(zhuǎn)換成表示14位數(shù)字值的數(shù)字信號(hào)。接下來(lái)，信號(hào)處理單元106對(duì)由A/D轉(zhuǎn)換單元105轉(zhuǎn)換后的各像素的數(shù)字信號(hào)，執(zhí)行針對(duì)一般拜耳排列的去馬賽克處理、白平衡處理以及伽馬處理，以生成感測(cè)圖像數(shù)據(jù)。信號(hào)處理單元106基于光場(chǎng)將感測(cè)圖像數(shù)據(jù)重構(gòu)為視差圖像數(shù)據(jù)，并生成要在顯示單元116上顯示的顯示圖像數(shù)據(jù)。將參照?qǐng)D6的流程圖來(lái)描述視差圖像數(shù)據(jù)生成處理和顯示圖像數(shù)據(jù)生成處理。在步驟S601中，視差數(shù)計(jì)算單元201從圖像感測(cè)單元100獲取圖像感測(cè)單元參數(shù)。圖像感測(cè)單元參數(shù)是圖像感測(cè)元件上的像素的一側(cè)方向上的像素大小S、孔徑光闌102 與微透鏡陣列103之間的距離L、成像透鏡101的有效直徑D以及微透鏡陣列103與圖像感測(cè)器104之間的距離f。上面已經(jīng)描述了從圖像感測(cè)單元100獲取圖像感測(cè)單元參數(shù)。然而，例如，圖像感測(cè)單元參數(shù)可以預(yù)先存儲(chǔ)在ROM 111中，并且視差數(shù)計(jì)算單元201可以從 ROM 111獲取圖像感測(cè)單元參數(shù)。作為另選方案，可以在顯示單元116上顯示參數(shù)輸入字段，并且可以使用用戶通過(guò)操作操作單元113而輸入到參數(shù)輸入字段的值，作為圖像感測(cè)單元參數(shù)。否則，例如，可以將全孔徑狀態(tài)的孔徑光闌102的有效直徑DO存儲(chǔ)在ROM 111 中。當(dāng)獲得光闌的F數(shù)i^rmm時(shí)，可以通過(guò)計(jì)算以下公式來(lái)求得有效直徑D D = D0/Fnum(2)可以使用用于距離測(cè)量而提供的雷達(dá)設(shè)備來(lái)檢測(cè)孔徑光闌102與微透鏡陣列103 之間的距離L或者微透鏡陣列103與圖像感測(cè)器104之間的距離f。請(qǐng)注意，當(dāng)例如成像透鏡101與微透鏡陣列103或圖像感測(cè)器104之間的距離或光闌已經(jīng)改變時(shí)，可以重新獲取圖像感測(cè)單元參數(shù)。在步驟S602中，視差數(shù)計(jì)算單元201基于在步驟S601中獲取的圖像感測(cè)單元參數(shù)，來(lái)計(jì)算視差數(shù)。圖4示出了圖像感測(cè)單元參數(shù)以及成像透鏡101、孔徑光闌102、微透鏡陣列103和圖像感測(cè)器104之間的位置關(guān)系。此時(shí)，以下公式給出了用于從各微透鏡接收光的元件數(shù)m:mXs f = D L
r π Ls(3)m =——
Df其中，m是正整數(shù)。由公式C3)計(jì)算出圖像感測(cè)元件上的用于接收光的元件數(shù)量mXn。視差數(shù)計(jì)算單元201將元件數(shù)量mXn發(fā)送給LF創(chuàng)建單元202，作為根據(jù)本實(shí)施例的圖像感測(cè)裝置的視差數(shù)。請(qǐng)注意視差數(shù)計(jì)算僅是保持透鏡陣列的圖像感測(cè)裝置的一種形式的示例，而本發(fā)明并不限于此。例如，可以從ROM 111中獲取視差數(shù)。當(dāng)重新獲取圖像感測(cè)單元參數(shù)時(shí)，也重新計(jì)算視差數(shù)。在步驟S603中，LF創(chuàng)建單元202基于視差數(shù)將成像透鏡101劃分成多個(gè)區(qū)域，并且向各區(qū)域分配指標(biāo)。由視差數(shù)計(jì)算單元201計(jì)算出的、用于接收針對(duì)各微透鏡的光的元件數(shù)量是視差數(shù)。因此，當(dāng)視差數(shù)是mXn時(shí)，成像透鏡被劃分成mXn個(gè)區(qū)域，并且將指標(biāo) ML (1，1), ML(2,1), ... , ML (m, η)分別分配給這些區(qū)域。例如，圖7示出了在m = 3并且η =3時(shí)成像透鏡101的區(qū)域劃分和區(qū)域的指標(biāo)的示例。在步驟S604中，基于圖像感測(cè)單元參數(shù)和成像透鏡的區(qū)域劃分，LF創(chuàng)建單元202 創(chuàng)建光場(chǎng)，該光場(chǎng)是登記有各圖像感測(cè)元件的坐標(biāo)(χ，y)與入射在圖像感測(cè)元件上的光束在成像透鏡101上的坐標(biāo)(u，ν)之間的對(duì)應(yīng)關(guān)系的列表。如圖8所示，成像透鏡上的坐標(biāo) (u,ν)被定義在將原點(diǎn)置于成像透鏡的中心時(shí)在包括成像透鏡的坐標(biāo)系上。例如，假設(shè)u-v 坐標(biāo)系的范圍從-1至1 (如圖8所示)。如圖9所示，所創(chuàng)建的光場(chǎng)是與各像素的坐標(biāo)(X，y)對(duì)應(yīng)的坐標(biāo)(u，ν)和包括坐標(biāo)(u，ν)的劃分區(qū)域的指標(biāo)的表。對(duì)于圖像感測(cè)裝置的光場(chǎng)，從一像素到微透鏡的中心劃線，如圖10所示，由此獲取成像透鏡上的透射點(diǎn)的坐標(biāo)，作為與該像素對(duì)應(yīng)的坐標(biāo)。對(duì)所有像素執(zhí)行該操作，以創(chuàng)建光場(chǎng)。請(qǐng)注意，圖10中示出的光場(chǎng)僅是圖像感測(cè)單元100的元件的位置關(guān)系的示例。本發(fā)明不限于此，只要光場(chǎng)表示成像透鏡101上的坐標(biāo)(u，ν)以及圖像感測(cè)器104上的像素的坐標(biāo)(X，y)之間的對(duì)應(yīng)關(guān)系即可。當(dāng)圖像感測(cè)單元100中孔徑光闌102與微透鏡陣列103之間的距離L或者微透鏡陣列 103與圖像感測(cè)器104之間的距離f發(fā)生改變時(shí)可以重建光場(chǎng)。在步驟S605中，將從A/D轉(zhuǎn)換單元105輸入的數(shù)字信號(hào)存儲(chǔ)在緩沖器204中，作為感測(cè)圖像數(shù)據(jù)。在步驟S606中，圖像重構(gòu)單元203基于從LF創(chuàng)建單元202獲得的光場(chǎng)，將保持在緩沖器204中的感測(cè)圖像數(shù)據(jù)重構(gòu)為視差圖像數(shù)據(jù)。更具體地說(shuō)，重排感測(cè)圖像數(shù)據(jù)中的像素，使得光場(chǎng)中的坐標(biāo)(u，ν)的u從左向右增大，而ν從上向下增大。也就是說(shuō)，當(dāng)重排之后像素的坐標(biāo)由(x' ,1')表示時(shí)，利用以下公式來(lái)進(jìn)行重排(x' , y' ) = (u， ν)(4)這使得能夠重構(gòu)具有與成像透鏡的劃分區(qū)域相同數(shù)量的視差的視差圖像數(shù)據(jù)。視差圖像表示具有如下視差的圖像組，該視差包括當(dāng)感測(cè)到圖12Α中示出的被攝體時(shí)從相對(duì)于中央的上側(cè)感測(cè)到的被攝體的圖像和從右側(cè)感測(cè)到的被攝體的圖像，如圖12Β所示。在步驟S607中，圖像重構(gòu)單元203將重構(gòu)的視差圖像數(shù)據(jù)存儲(chǔ)在緩沖器204中。 如果視差圖像數(shù)據(jù)已經(jīng)存儲(chǔ)在緩沖器204中，則圖像重構(gòu)單元203更新已經(jīng)存儲(chǔ)的視差圖像數(shù)據(jù)。圖像重構(gòu)單元203還將光場(chǎng)存儲(chǔ)在緩沖器204中。在步驟S608中，圖像重構(gòu)單元203確定光場(chǎng)的圖像感測(cè)單元參數(shù)是否存在改變。 在確定不存在改變時(shí)，確定完成了該更新，并且處理進(jìn)行到步驟S609。在確定圖像感測(cè)單元參數(shù)存在改變時(shí)，處理返回步驟S601。在步驟S609中，圖像重構(gòu)單元203執(zhí)行光場(chǎng)中的交疊確定。在交疊確定中，確定成像透鏡是否具有與各像素對(duì)應(yīng)的兩種或更多種坐標(biāo)。在確定存在交疊時(shí)，處理進(jìn)行到步驟S610。在確定不存在交疊時(shí)，處理進(jìn)行到步驟S611。例如，假設(shè)圖像感測(cè)器104具有處于圖13中示出的狀態(tài)的光接收區(qū)域。如圖13所示，當(dāng)各光接收區(qū)域較寬時(shí)，產(chǎn)生交疊區(qū)域。在步驟S610中，圖像重構(gòu)單元203向與確定為交疊的像素相對(duì)應(yīng)的光場(chǎng)給出表示存在交疊的信息，并更新緩沖器204中的光場(chǎng)。在步驟S611中，視差圖像提取單元205確認(rèn)當(dāng)前設(shè)置的顯示模式。用戶可以通過(guò)操作操作單元113來(lái)設(shè)置任一種顯示模式。更具體地說(shuō)，當(dāng)用戶利用操作單元113輸入用來(lái)選擇顯示模式的指令時(shí)，字符生成單元115生成顯示模式選擇畫(huà)面(⑶I)，并在顯示單元116的顯示畫(huà)面上顯示該⑶I。圖14示出了在顯示單元116的顯示畫(huà)面上的顯示示例。如⑶I示出的3X3矩陣對(duì)應(yīng)于3X3視差圖像。例如，利用操作單元113指出位于左上角的矩形使得能夠指定通過(guò)從左上側(cè)感測(cè)被攝體而獲得的視差圖像ML(-1，-1)。由此，利用操作單元113指出從左上側(cè)向右第i (圖14中1彡i彡3)個(gè)且向下第j (圖14中 1彡j彡3)個(gè)矩形，使得能夠指定視差圖像ML(-2+i，-2+j)。當(dāng)然，視差圖像指定方法以及其GUI的結(jié)構(gòu)并不限于上述情況。當(dāng)用戶利用操作單元113指出一個(gè)矩形時(shí)，指定了與所指出的位置相對(duì)應(yīng)的視差
9圖像，并設(shè)置單視差顯示模式(1-parallax display mode)。當(dāng)用戶利用操作單元113指示選擇所有矩形(GUI的所有矩形)時(shí)，設(shè)置全視差顯示模式。請(qǐng)注意，設(shè)置單視差顯示模式或全視差顯示模式的方法不限于此。作為另選方案，例如，可以利用由字符生成單元115生成的復(fù)選框選擇全視差顯示模式和單視差顯示模式中的一種模式。在上述示例中，兩種顯示模式是可選擇的。然而，本發(fā)明不限于此。還存在用于選擇并顯示若干視差圖像的模式。無(wú)論如何，當(dāng)用戶利用操作單元113設(shè)置顯示模式時(shí)，將表示所設(shè)置的顯示模式的數(shù)據(jù)(當(dāng)設(shè)置單視差顯示模式時(shí)，該數(shù)據(jù)包括表示指定的視差圖像的數(shù)據(jù))寫(xiě)入RAM 112 中。因此，在步驟S611中，參照用于表示顯示模式的寫(xiě)入RAM 112中的數(shù)據(jù)，并且確定該數(shù)據(jù)表示哪種顯示模式。在步驟S611中確定設(shè)置了單視差顯示模式時(shí)，處理進(jìn)行到步驟S612。當(dāng)設(shè)置了全視差顯示模式時(shí)，視差圖像提取單元205針對(duì)各視差直接排列視差圖像數(shù)據(jù)(如圖11中所示)，并將其輸出給編碼器單元107和D/A轉(zhuǎn)換單元109作為顯示圖像數(shù)據(jù)。當(dāng)然，如何排列并顯示視差圖像不限于上述情況。例如，當(dāng)如圖11所示排列視差圖像時(shí)，可以提取一些視差圖像并進(jìn)行排列，作為顯示圖像?？梢詮娘@示對(duì)象中排除具有小于或等于給定閾值的平均像素值的視差圖像，因?yàn)檫@種視差圖像太暗了。圖15示出了在m = 5且η = 5的情況下根據(jù)提取開(kāi)始坐標(biāo)排列所有的視差圖像的示例。此時(shí)，當(dāng)孔徑光闌102的開(kāi)口部分如圖3所示是圓形時(shí)，如圖5所示在圖像感測(cè)器 104上生成不發(fā)生光接收的非光接收區(qū)域。參照?qǐng)D15，以下要列出的視差圖像(圖15中的陰影線部分)是由從非光接收區(qū)域中提取的像素形成的，并且因此比其余視差圖像更暗。 顯示圖像數(shù)據(jù)區(qū)域 ML(1，1)、ML(2，1)、ML(4，1)、ML(5，1)、ML(1，2)、ML(5，2)、 ML(1，4)、ML(5，4)、ML(1，5)、MU2，5)、MU4，5)以及 ML (5，5)如圖16所示僅可以排列各自具有大于或等于閾值的平均像素值的視差圖像，并且顯示在顯示單元116的顯示畫(huà)面上。在通過(guò)將各像素值乘以增益而變得更亮后，可以顯示暗的視差圖像。作為另選方案，可以將相鄰的視差圖像相加。作為另選方案，如圖17所示，可以提取視差圖像、進(jìn)行排列并擴(kuò)大到3X3，由此顯示在顯示單元116的顯示畫(huà)面上。可以從顯示對(duì)象中排除在步驟S610中被賦予交疊信息的視差圖像。對(duì)于被賦予交疊信息的視差圖像，替代視差圖像可以顯示“表示發(fā)生交疊的信息”，如圖19所示。返回參照?qǐng)D6，在步驟S612中，視差圖像提取單元205確定是否參照在表示單視差顯示模式的數(shù)據(jù)中包含的“表示指定視差圖像的數(shù)據(jù)”。可以預(yù)設(shè)或者由用戶選擇是否參照該數(shù)據(jù)。如果參照該數(shù)據(jù)，則處理進(jìn)行到步驟S613。如果不參照該數(shù)據(jù)，則處理進(jìn)行到步驟 S614。當(dāng)利用GUI而不是上述矩陣GUI簡(jiǎn)單地輸入用于選擇單視差顯示模式的指令時(shí)，不存在表示指定視差圖像的數(shù)據(jù)。在此情況下，處理進(jìn)行到步驟S614。在步驟S613中，視差圖像提取單元205按需要擴(kuò)大指定的視差圖像，并將擴(kuò)大的視差圖像數(shù)據(jù)輸出給D/A轉(zhuǎn)換單元109，作為顯示圖像數(shù)據(jù)。例如，在圖11中，當(dāng)在上述示例的3X3矩陣⑶I上指出位于左上角的矩形時(shí)，提取視差圖像數(shù)據(jù)ML(1，1)，按需要進(jìn)行擴(kuò)大，并輸出給D/A轉(zhuǎn)換單元109。諸如雙三次方法(bicubic method)的已知擴(kuò)大方法是可用的?；陲@示單元116的顯示畫(huà)面的像素?cái)?shù)，計(jì)算擴(kuò)大的縮放比例因子。當(dāng)然，擴(kuò)大處理并不是必要的，代替擴(kuò)大，可以執(zhí)行縮小。
在對(duì)顯示單元116上的圖像顯示進(jìn)行顯示期間可以進(jìn)行⑶I上的操作(切換顯示對(duì)象視差圖像)。例如，當(dāng)在顯示單元116上進(jìn)行顯示圖像的顯示期間用戶利用操作單元 113指出另一視差圖像時(shí)，由指定的視差圖像生成顯示圖像，并輸出給D/A轉(zhuǎn)換單元109。注意顯示單元116的顯示畫(huà)面上的顯示結(jié)構(gòu)并不限于上述示例。例如，可以在顯示單元116上顯示如圖18所示的⑶I，以在顯示單元116的上側(cè)顯示顯示圖像，在下側(cè)顯示視差圖像，并且使用戶在下側(cè)選擇視差圖像。在圖18中示出的⑶I中，對(duì)步驟S607中生成的各視差圖像數(shù)據(jù)進(jìn)行縮小并布置在顯示單元116的下側(cè)，并且將選擇的視差圖像擴(kuò)大并顯示在上側(cè)?？梢越箤?duì)被賦予交疊信息的視差圖像的選擇?？梢匀鐖D11所示，針對(duì)各視差直接布置視差圖像數(shù)據(jù)，并輸出給編碼器單元107和D/A轉(zhuǎn)換單元109，作為顯示圖像數(shù)據(jù)。在步驟S614中，視差圖像提取單元205如步驟S613中一樣，按需要擴(kuò)大位于視差圖像數(shù)據(jù)中央處的區(qū)域ML，并將擴(kuò)大后的視差圖像輸出給D/A轉(zhuǎn)換單元109，作為顯示圖像。當(dāng)然，擴(kuò)大處理不是必要的，代替擴(kuò)大可以執(zhí)行縮小。注意，顯示單元116顯示從D/A轉(zhuǎn)換單元109接收的顯示圖像數(shù)據(jù)，作為例如IXD 上的顯示圖像。如上所述，根據(jù)本實(shí)施例，用戶可以經(jīng)由顯示單元116確認(rèn)通過(guò)包括微透鏡陣列 103的圖像感測(cè)裝置獲取的視差圖像是否對(duì)焦(in focus)。例如，當(dāng)被攝體是如圖20A所示的平面圖表時(shí)，傳統(tǒng)上通過(guò)微透鏡陣列103獲得圖20B所示的顯示圖像。因此，不可能確認(rèn)該平面圖表是否對(duì)焦。然而，根據(jù)本實(shí)施例，如圖20C所示，擴(kuò)大并顯示中央視點(diǎn)的圖像等。這使得能夠確認(rèn)平面圖表是否對(duì)焦。[第二實(shí)施例]以預(yù)定時(shí)間間隔執(zhí)行第一實(shí)施例中的系列處理，以實(shí)時(shí)更新顯示圖像，由此實(shí)現(xiàn)即時(shí)觀察顯示。此外，每當(dāng)更新分配的像素?cái)?shù)計(jì)算參數(shù)或透鏡位置時(shí)，執(zhí)行上述處理。這使得能夠在顯示圖像上實(shí)時(shí)地反映拍攝時(shí)的焦距、孔徑光闌以及透鏡和圖像感測(cè)元件的移動(dòng)的影響。例如，當(dāng)焦距或孔徑光闌102改變時(shí)，圖像感測(cè)器104上的光接收區(qū)域改變。圖21是當(dāng)縮小孔徑光闌102時(shí)圖像感測(cè)器104上的光接收區(qū)域的示意圖。圖13 是當(dāng)打開(kāi)(open)孔徑光闌102時(shí)光接收區(qū)域的示意圖。這時(shí)，由于圖像感測(cè)單元參數(shù)改變， 因此從步驟S601起再次執(zhí)行信號(hào)處理單元106的處理過(guò)程，以創(chuàng)建新的光場(chǎng)由此處理該改變。例如，如圖21所示，當(dāng)縮小孔徑光闌102時(shí)，光接收區(qū)域變得更小。因此，如從公式O) 和⑶可以看出的，視差數(shù)mXn降低。假設(shè)視差圖像數(shù)據(jù)的視差數(shù)是5X5，而在縮小孔徑光闌時(shí)降低到3X3。此時(shí)，重建光場(chǎng)。視差圖像數(shù)據(jù)的視差數(shù)從圖22中的數(shù)量降低至圖 23中的數(shù)量。如上所述，即使在例如通過(guò)縮小孔徑光闌102或者通過(guò)增大距離L而縮窄光接收區(qū)域時(shí)，也能夠正確地生成視差圖像數(shù)據(jù)。當(dāng)將孔徑光闌102打開(kāi)以擴(kuò)寬圖像感測(cè)器104上的光接收區(qū)域時(shí)，視差數(shù)mXn增大(這一點(diǎn)基于公式⑵和⑶是明顯的)。例如，當(dāng)視差數(shù)從5X5增大到7X7時(shí)，獲得如圖M所示的視差圖像數(shù)據(jù)。如上所述，即使在例如通過(guò)打開(kāi)孔徑光闌或者縮短距離L而擴(kuò)寬光接收區(qū)域時(shí)，也能夠正確地生成視差圖像數(shù)據(jù)。在上述實(shí)施例中，能夠通過(guò)顯示視差圖像來(lái)確認(rèn)對(duì)焦?fàn)顟B(tài)。然而，當(dāng)然，該圖像也可以用于其他目的。例如，可以利用顯示圖像從CPU 110和圖像感測(cè)系統(tǒng)控制單元114進(jìn)行對(duì)比度AF處理。以上描述了可以改變焦距并移動(dòng)孔徑光闌102、成像透鏡101以及圖像感測(cè)器104 的圖像感測(cè)裝置相關(guān)的處理。然而，該處理不適用于使用單焦點(diǎn)或單個(gè)孔徑光闌并且不改變圖像感測(cè)器104上的各光接收區(qū)域的尺寸的圖像感測(cè)裝置。在該圖像感測(cè)裝置中，可以預(yù)先將光場(chǎng)保持在ROM 111等中，因?yàn)楣鈭?chǎng)不是由圖像感測(cè)單元參數(shù)重建的。即使在與孔徑光闌的孔徑狀態(tài)無(wú)關(guān)、由于圖像感測(cè)單元100中的位置關(guān)系不改變光場(chǎng)的圖像感測(cè)裝置中，也能夠進(jìn)行同樣的處理。在光場(chǎng)創(chuàng)建之后的處理與從步驟S605起的處理相同。[第三實(shí)施例]在該實(shí)施例中，將對(duì)如下示例進(jìn)行說(shuō)明，在該示例中執(zhí)行顯示以使得用戶能夠容易地確認(rèn)要由保持透鏡陣列的圖像感測(cè)裝置執(zhí)行的拍攝后的焦點(diǎn)調(diào)整處理(以下將稱為 “重聚焦”)是否是可能的。以下將主要描述與第一實(shí)施例的不同之處。<圖像感測(cè)裝置的結(jié)構(gòu)示例>圖25是示出根據(jù)本實(shí)施例的信號(hào)處理單元106的功能結(jié)構(gòu)的示例的框圖。信號(hào)處理單元106包括視差數(shù)計(jì)算單元201、LF創(chuàng)建單元202、圖像重構(gòu)單元203、緩沖器204、 視差圖像提取單元205、主被攝體提取單元2501以及視差量計(jì)算單元2502。視差數(shù)計(jì)算單元201、LF創(chuàng)建單元202、圖像重構(gòu)單元203、緩沖器204與第一實(shí)施例中的相同，不重復(fù)對(duì)其進(jìn)行說(shuō)明。視差圖像提取單元205從存儲(chǔ)在緩沖器204中的視差圖像數(shù)據(jù)的中央視點(diǎn)提取視差圖像，擴(kuò)大該視差圖像，并發(fā)送給D/A轉(zhuǎn)換單元109。主被攝體提取單元2501獲取用戶經(jīng)由操作單元113或顯示單元116的觸摸屏指定的主被攝體的信息，并從各視差圖像數(shù)據(jù)中提取主被攝體。視差量計(jì)算單元2502由從各視差圖像數(shù)據(jù)提取的主被攝體，計(jì)算主被攝體在各視差圖像坐標(biāo)系上的質(zhì)心坐標(biāo)，并基于該主被攝體的質(zhì)心坐標(biāo)與中央視點(diǎn)的視差圖像的質(zhì)心坐標(biāo)之間的距離來(lái)計(jì)算視差量。接下來(lái)，基于視差量來(lái)確定該主被攝體是否具有足以進(jìn)行重聚焦的視差。然后，基于包含主被攝體的各視差圖像及其視差量來(lái)生成重聚焦確定信息，將該信息賦予視差圖像，并將其發(fā)送給D/A轉(zhuǎn)換單元109?！磮D像感測(cè)裝置的操作〉接下來(lái)將描述根據(jù)本實(shí)施例的圖像感測(cè)裝置的操作。直到信號(hào)處理單元106的感測(cè)圖像數(shù)據(jù)生成的處理與第一實(shí)施例中的相同，不再重復(fù)對(duì)其進(jìn)行說(shuō)明。以下參照?qǐng)D26中的流程圖來(lái)描述重聚焦評(píng)價(jià)信息生成處理。步驟S^Ol至S2610的處理與上述步驟S601至S610中的處理相同，不再重復(fù)對(duì)其進(jìn)行說(shuō)明。在步驟S2611中，視差圖像提取單元205提取視差圖像數(shù)據(jù)的中央視點(diǎn)的視差圖像，擴(kuò)大該視差圖像，并發(fā)送給D/A轉(zhuǎn)換單元109。此外，在顯示單元116上顯示用于使用戶選擇主被攝體的消息。在步驟S2612中，主被攝體提取單元2501獲取來(lái)自操作單元113的主被攝體選擇信息。主被攝體選擇信息是在步驟S2611中由用戶利用操作單元113從顯示單元116 上顯示的中央視點(diǎn)的視差圖像中選擇的中央視點(diǎn)的視差圖像數(shù)據(jù)的χ" _y〃坐標(biāo)系中的點(diǎn)(X" c，y" c)。例如，假設(shè)如圖27所示，在中央視點(diǎn)的視差圖像數(shù)據(jù)中感測(cè)到臉部圖像。當(dāng)用戶指定用實(shí)圓表示的點(diǎn)，并指定臉部作為主被攝體時(shí)，將實(shí)圓的X" y"坐標(biāo)存儲(chǔ)在RAM112中，作為主被攝體選擇信息。主被攝體提取單元2501獲取該信息。在步驟S2613中，主被攝體提取單元2501從緩沖器204中獲取中央視點(diǎn)的視差圖像數(shù)據(jù)，基于主被攝體選擇信息提取被攝體，并計(jì)算所提取的被攝體的中心坐標(biāo)(x" 0， y" 0)。通過(guò)用矩形包圍該被攝體并定義該矩形的中心獲得中心坐標(biāo)，如圖觀所示。請(qǐng)注意，可以利用已知方法進(jìn)行被攝體提取。在步驟S2614中，主被攝體提取單元2501從緩沖器204中獲取中央視點(diǎn)的視差圖像數(shù)據(jù)以外的視差圖像數(shù)據(jù)，并從各視差圖像數(shù)據(jù)中提取在步驟S2613中提取的被攝體。請(qǐng)注意，可以通過(guò)諸如模式匹配的已知方法來(lái)進(jìn)行該提取。接下來(lái)，如在步驟S2613 中一樣，針對(duì)各視差圖像計(jì)算被攝體的中心坐標(biāo)(x〃 l，y" 1)，(x" 2，y" 2)，(x" 3， y〃 3)，...。然后，主被攝體提取單元2501將能夠提取出被攝體的所有視差圖像的中心坐標(biāo)，發(fā)送給視差量計(jì)算單元2502。在步驟S2615中，視差量計(jì)算單元2502計(jì)算包含由用戶指定的被攝體的各視差圖像的視差量。例如，被攝體中心坐標(biāo)為(X〃 1，y〃 1)的視差圖像的視差量El由以下公式計(jì)算ex = V(xMi - χ"0)2 + (yi - yo)2(5)按類似的方式，針對(duì)能夠提取出被攝體的視差圖像計(jì)算視差量E2，E3，...。在步驟S2616中，視差量計(jì)算單元2502基于在步驟S2615中計(jì)算的各視差量，生成重聚焦評(píng)價(jià)信息，并將重聚焦評(píng)價(jià)信息賦予對(duì)應(yīng)的視差圖像數(shù)據(jù)。將所有視差圖像數(shù)據(jù)發(fā)送給D/A轉(zhuǎn)換單元109，作為顯示圖像數(shù)據(jù)。重聚焦評(píng)價(jià)信息是1位信息〇或X。當(dāng)在視差圖像中存在被攝體，并且視差圖像數(shù)據(jù)的視差量大于重聚焦必要且充分的閾值Th時(shí)， 將重聚焦評(píng)價(jià)信息〇賦予視差圖像數(shù)據(jù)。當(dāng)視差量小于閾值Th時(shí)，將重聚焦評(píng)價(jià)信息X 賦與視差圖像數(shù)據(jù)。重聚焦評(píng)價(jià)信息確定條件不限于上述情況。隨視差圖像數(shù)據(jù)遠(yuǎn)離中央視點(diǎn)的視差圖像數(shù)據(jù)，閾值Th可以增大。在上述示例中，僅使用視差量的標(biāo)量(scalar quantity)，作為確定條件。然而，可以將方向組合。例如，當(dāng)視差圖像數(shù)據(jù)位于中央視點(diǎn)的視差圖像數(shù)據(jù)的上方時(shí)，被攝體的視差量矢量應(yīng)該是向上的。因此，可以確定該矢量是否是向上的。接下來(lái)，顯示單元116將顯示圖像數(shù)據(jù)顯示在例如IXD上，作為顯示圖像。可以以例如全視差模式顯示圖像，如圖四所示。此時(shí)，基于在步驟S2616中賦予的重聚焦評(píng)價(jià)信息，將重聚焦評(píng)價(jià)信息〇或X顯示在各視差圖像的右上部。該顯示方法不限于該方法。可以以逐一的方式在顯示單元116上僅顯示被賦予重聚焦評(píng)價(jià)信息的視差圖像，并隨時(shí)間經(jīng)過(guò)而切換。此時(shí)，同時(shí)顯示視差圖像的重聚焦評(píng)價(jià)信息。通過(guò)執(zhí)行上述處理將顯示圖像顯示在顯示單元116上。這使得用戶能夠經(jīng)由顯示單元116容易地確認(rèn)，由包含微透鏡陣列103的圖像感測(cè)裝置獲取的感測(cè)圖像的主被攝體是否具有足以在稍后執(zhí)行重聚焦的視差量。其他實(shí)施例還可以由讀出并執(zhí)行記錄在存儲(chǔ)設(shè)備上的程序來(lái)執(zhí)行上述實(shí)施例的功能的系統(tǒng)或裝置的計(jì)算機(jī)(或諸如CPU或MPU等的設(shè)備)，來(lái)實(shí)現(xiàn)本發(fā)明的各方面；并且可以利用由通過(guò)例如讀出并執(zhí)行記錄在存儲(chǔ)設(shè)備上的程序來(lái)執(zhí)行上述實(shí)施例的功能的系統(tǒng)或裝置的計(jì)算機(jī)來(lái)執(zhí)行各步驟的方法，來(lái)實(shí)現(xiàn)本發(fā)明的各方面。為此，例如經(jīng)由網(wǎng)絡(luò)或從充當(dāng)存儲(chǔ)設(shè)備的各種類型的記錄介質(zhì)(例如，計(jì)算機(jī)可讀介質(zhì))將程序提供給計(jì)算機(jī)。
雖然參照示例性實(shí)施例對(duì)本發(fā)明進(jìn)行了描述，但是應(yīng)當(dāng)理解，本發(fā)明不局限于所公開(kāi)的示例性實(shí)施例。應(yīng)當(dāng)對(duì)所附權(quán)利要求的范圍給予最寬的解釋，以使所述范圍涵蓋所有的此類變型例以及等同結(jié)構(gòu)和功能。
權(quán)利要求
1.一種圖像感測(cè)裝置，該圖像感測(cè)裝置包括用于獲取由圖像感測(cè)器輸出的圖像信號(hào)生成的感測(cè)圖像的單元，該圖像感測(cè)器用于接收依次通過(guò)成像透鏡和微透鏡陣列而入射的光，該微透鏡陣列是包括多個(gè)微透鏡的二維陣列；創(chuàng)建單元，其創(chuàng)建列表，在該列表中，針對(duì)所述圖像感測(cè)器上的各像素位置，登記入射在該像素位置處的光在成像透鏡上的坐標(biāo)與該像素位置的坐標(biāo)之間的對(duì)應(yīng)關(guān)系；生成單元，其生成通過(guò)根據(jù)在所述列表中登記的成像透鏡上的坐標(biāo)的排列順序來(lái)重排所述圖像感測(cè)器上與該坐標(biāo)對(duì)應(yīng)的像素位置處的像素而獲得的圖像，作為視差圖像組；以及輸出單元，其輸出由所述生成單元生成的圖像。
2.根據(jù)權(quán)利要求1所述的圖像感測(cè)裝置，其中，所述創(chuàng)建單元?jiǎng)?chuàng)建列表，在該列表中， 針對(duì)所述圖像感測(cè)器上的各像素位置，登記通過(guò)該像素位置和微透鏡的中心位置的線段與成像透鏡相交處的坐標(biāo)與該像素位置的坐標(biāo)之間的對(duì)應(yīng)關(guān)系。
3.根據(jù)權(quán)利要求1所述的圖像感測(cè)裝置，其中，在獲取用于輸出所述視差圖像組中的一個(gè)視差圖像的指令時(shí)，所述輸出單元向顯示畫(huà)面輸出所述一個(gè)視差圖像，以使所述顯示畫(huà)面顯示所述一個(gè)視差圖像，并且在獲取用于輸出所述視差圖像組的指令時(shí)，所述輸出單元向所述顯示畫(huà)面輸出所述生成單元生成的圖像，以使所述顯示畫(huà)面顯示該圖像。
4.根據(jù)權(quán)利要求3所述的圖像感測(cè)裝置，其中，所述輸出單元僅向所述顯示畫(huà)面輸出具有不小于閾值的平均像素值的視差圖像。
5.根據(jù)權(quán)利要求3所述的圖像感測(cè)裝置，其中，當(dāng)為生成視差圖像而收集的像素與為生成另一視差圖像而收集的像素相同時(shí)，所述輸出單元向所述顯示畫(huà)面輸出除了所述視差圖像和所述另一視差圖像以外的視差圖像。
6.一種圖像感測(cè)裝置的控制方法，該圖像感測(cè)裝置包括用于接收依次通過(guò)成像透鏡和微透鏡陣列而入射的光的圖像感測(cè)器，該微透鏡陣列是包括多個(gè)微透鏡的二維陣列，該控制方法包括獲取由圖像感測(cè)器輸出的圖像信號(hào)生成的感測(cè)圖像的步驟；創(chuàng)建步驟，其創(chuàng)建列表，在該列表中，針對(duì)所述圖像感測(cè)器上的各像素位置，登記入射在該像素位置處的光在成像透鏡上的坐標(biāo)與該像素位置的坐標(biāo)之間的對(duì)應(yīng)關(guān)系；生成步驟，其生成通過(guò)根據(jù)在所述列表中登記的成像透鏡上的坐標(biāo)的排列順序來(lái)重排所述圖像感測(cè)器上與該坐標(biāo)對(duì)應(yīng)的像素位置處的像素而獲得的圖像，作為視差圖像組；以及輸出步驟，其輸出在所述生成步驟中生成的圖像。
全文摘要
本發(fā)明提供圖像感測(cè)裝置及圖像感測(cè)裝置的控制方法。獲取由圖像感測(cè)器輸出的圖像信號(hào)生成的感測(cè)圖像，該圖像感測(cè)器用于接收依次通過(guò)成像透鏡和微透鏡陣列而入射的光，該微透鏡陣列是包括多個(gè)微透鏡的二維陣列。創(chuàng)建列表，在該列表中，針對(duì)所述圖像感測(cè)器上的各像素位置，登記入射在該像素位置處的光在成像透鏡上的坐標(biāo)與該像素位置的坐標(biāo)之間的對(duì)應(yīng)關(guān)系。生成通過(guò)根據(jù)在所述列表中登記的成像透鏡上的坐標(biāo)的排列順序來(lái)重排所述圖像感測(cè)器上與該坐標(biāo)對(duì)應(yīng)的像素位置處的像素而獲得的圖像，作為視差圖像組。
文檔編號(hào)H04N5/225GK102547095SQ20111042543
公開(kāi)日2012年7月4日 申請(qǐng)日期2011年12月16日 優(yōu)先權(quán)日2010年12月17日
發(fā)明者大野剛范 申請(qǐng)人:佳能株式會(huì)社