專利名稱：攝像裝置、半導(dǎo)體集成電路以及攝像方法
攝像裝置、半導(dǎo)體集成電路以及攝像方法技術(shù)領(lǐng)域
本申請涉及能夠拍攝利用了被攝物景深擴展技術(shù)的動態(tài)圖像的攝像元件。
背景技術(shù)：
在攝像裝置中，作為實現(xiàn)取景景深擴展(Extended Depth Of Field，以下稱作 ED0F)，提出了各種各樣的方法。例如，提出了一種在曝光時間內(nèi)實施移動對焦透鏡或者攝像元件的對焦掃過(focus sweep)動作,疊入在景深方向一律完成合焦的圖像(即，意思是在各個景深將虛化均勻化)，通過用預(yù)先測定或者仿真得到的虛化圖案來進(jìn)行圖像復(fù)原處理，從而獲得EDOF圖像的方法(非專利文獻(xiàn)I)。該方法稱作Flexible DOF (以下稱作 F-D0F)。
F-D0F，公知作為獲得良好的畫質(zhì)的方式，EDOF效果也較高。由于軸外特性也依賴于鏡頭特性本身，因此容易提高性能。但是，就算在曝光中變動對焦位置，也必須使同一被攝物在同一圖像位置上被疊入，因此作為光學(xué)條件需要像側(cè)遠(yuǎn)心透鏡。
作為EDOF技術(shù)的利用領(lǐng)域之一，可例舉顯微鏡。在借助顯微鏡進(jìn)行攝像的情況下，拍攝對象是靜態(tài)物體，因此能夠花時間進(jìn)行拍攝。因此，以往一直使用Focal Stack方式。該方式下，拍攝合焦位置不同的多幅圖像，將分別認(rèn)為合焦的區(qū)域從各個圖像提取/合成，獲得EDOF圖像。由于這些工作需要費功夫以及花時間，因此提出了還并用F-DOF方式的技術(shù)(專利文獻(xiàn)I 4)。將F-DOF用作顯微鏡用途的情況下，在曝光中使作為被攝物的樣品或鏡頭鏡筒移動。在將曝光后的圖像復(fù)原處理作為前提的情況下，按照使像的虛化總為均勻的方式，使被攝物或鏡頭鏡筒移動。公知通過適當(dāng)控制移動方式，能夠應(yīng)用使用了單一的虛化圖案的圖像復(fù)原處理方法，因此較為合理(專利文獻(xiàn)5)。為此，在使攝像元件移動的情況下，將攝像元件以等速度移動。另外，在使對焦透鏡移動的情況下，需要進(jìn)行與使攝像面以等速度移動相當(dāng)?shù)膶雇哥R的變位(非專利文獻(xiàn)I)。作為移動的方式，公知可從里側(cè)合焦端位置往跟前側(cè)合焦端位置或相反。
圖12表示其一例。圖12(a)以及(b)表示了對橫軸取時間時的攝像元件的曝光狀態(tài)以及攝像元件的讀出狀態(tài)，圖12(c)表示對橫軸取時間、對縱軸取對焦位置的情況下的對焦透鏡的變位。圖12(a)以及(b)中斜線部表示進(jìn)行對攝像元件的曝光以及數(shù)據(jù)的讀出定時。通過與將對焦位置從近側(cè)合焦位置變位至遠(yuǎn)側(cè)合焦位置的動作同步來對攝像元件進(jìn)行曝光，能夠?qū)⑽挥谕粓鼍暗母鞣N位置上的被攝物，在同一圖像位置上，在焦點對準(zhǔn)狀態(tài)下取得疊入圖像。以下，將這種對焦位置的變位稱作“掃過模式(swe印pattern)”，將所得到的圖像稱作“掃過圖像”。在圖12(d)中表示另一例。該例中，在攝像元件的曝光時間內(nèi)，通過將對焦位置從近側(cè)合焦位置到遠(yuǎn)側(cè)合焦位置之間往返變位來獲得掃過圖像。對于這種掃過模式，若直線變位部分的對焦透鏡的變位速度為等速，則由于各對焦位置下的曝光時間均勻，因此也能夠得到與圖12(c)說明的情況等同的掃過圖像。
該技術(shù)能應(yīng)用于普通的數(shù)碼靜態(tài)相機、數(shù)碼攝像機。近年來，作為數(shù)碼靜態(tài)相機和數(shù)碼攝像機，不斷追求更為簡單且失敗較少的拍攝。作為EDOF技術(shù)，能夠期待全焦點圖像、即避免合焦失誤的效果。由于畫質(zhì)好、能任意改變EDOF效果的大小和EDOF范圍、通過應(yīng)用普通的自動對焦機構(gòu)就能實現(xiàn)(不用準(zhǔn)備特別的光學(xué)系統(tǒng))、容易切換EDOF拍攝和通常拍攝等等，在數(shù)碼靜態(tài)相機和數(shù)碼攝像機中使用EDOF技術(shù)的情況下，認(rèn)為也適宜使用F-DOF 方式。
在先技術(shù)文獻(xiàn)
專利文獻(xiàn)
專利文獻(xiàn)I德國專利發(fā)明第2301800號說明書
專利文獻(xiàn)2JP特公平5-27084號公報
專利文獻(xiàn)3JP專利第3191928號公報
專利文獻(xiàn)4美國專利第7711259號說明書
專利文獻(xiàn)5JP專利第3084130號公報
非專利文獻(xiàn)
非專利文獻(xiàn)I H. Nagahara, S. Kuthirummal, C. Zhou andS. Nayar,，，F(xiàn)lexible Depth of Field Photography，，，European Conference onComputer Vision (ECCV), Oct. 16th, Morning Session 2 ComputationalPhotography(2008)
非專利文獻(xiàn)2松井修平，長原一，谷口倫一郎，“基于對焦掃過攝像的DFD”，信息處理學(xué)會研究報告，2010-CVM-174 No，6，(2010)發(fā)明內(nèi)容
-發(fā)明所要解決的技術(shù)問題_
在數(shù)碼靜態(tài)相機和數(shù)碼攝像機中使用EDOF技術(shù)的情況下，優(yōu)選在動態(tài)圖像拍攝中也能進(jìn)行EDOF拍攝。本申請?zhí)峁┮环N能夠拍攝品質(zhì)高的EDOF動態(tài)圖像的攝像裝置、攝像裝置中使用的集成電路以及攝像方法。
-用于解決課題的技術(shù)方案_
本發(fā)明的一個方式的攝像裝置，包括攝像元件，其具有以二維狀排列且構(gòu)成攝像面的多個光電變換元件，該攝像元件使上述多個光電變換元件曝光，通過從上述多個光電變換元件讀出電信號來生成圖像信號；鏡頭光學(xué)系統(tǒng)，其向上述攝像元件聚光，并且包含對焦透鏡；驅(qū)動部，其按照上述攝像元件與上述對焦透鏡之間的距離發(fā)生變化的方式，驅(qū)動上述攝像元件或上述對焦透鏡的一方；變位控制部，其構(gòu)成為通過向上述驅(qū)動部輸出指令，從而根據(jù)規(guī)定的變位模式，控制上述被驅(qū)動的上述攝像元件或上述對焦透鏡的變位；以及同步部，其構(gòu)成為根據(jù)上述攝像元件的曝光的定時，控制上述變位控制部，上述規(guī)定的變位模式包括在攝像場景中的第I被攝物距離下合焦的上述對焦透鏡或上述攝像元件的第I合焦位置、和上述攝像場景中的第2被攝物距離下合焦的上述對焦透鏡或上述攝像元件的第 2合焦位置之間的不同的范圍內(nèi)，上述攝像元件或上述對焦透鏡進(jìn)行變位的第I類變位模式以及第2類變位模式，上述第I類變位模式以及上述第2類變位模式交替地反復(fù)。
_發(fā)明的效果-
根據(jù)本申請公開的攝像裝置，通過使對焦透鏡或者攝像元件變位，從而在 Flexible DOF方式中交替地反復(fù)用于獲得全焦點圖像的掃過攝像和用于獲得縱深信息的掃過攝像，從而能夠進(jìn)行兼顧全焦點圖像的畫質(zhì)和縱深測量精度的拍攝。

圖I是表示第I以及第3實施方式的攝像裝置的方框結(jié)構(gòu)圖。
圖2是表示第I以及第3實施方式的攝像裝置的動作的流程圖。
圖3是進(jìn)一步詳細(xì)說明圖2中的曝光/掃過步驟的流程圖。
圖4(a)是表示第I以及第2實施方式中的對焦透鏡或攝像元件的變位模式的一例的圖，(b)、(C)是表示變位模式的另一例的圖。
圖5是表示第2實施方式的攝像裝置的方框結(jié)構(gòu)圖。
圖6是表示第2的實施方式的攝像裝置的動作的流程圖。
圖7 (a)是說明由CMOS圖像傳感器構(gòu)成的攝像元件的滾動快門動作的圖，(b)以及(C)分別是表示對焦透鏡的變位模式的例子的圖。
圖8 (a)以及(b)表示使用由CMOS圖像傳感器構(gòu)成的攝像元件來獲得全掃圖像以及半掃圖像的情況下的對焦透鏡的變位模式的一例。
圖9(a)以及(b)是表示第3的實施方式中的對焦透鏡或攝像元件的變位模式的一例的圖。
圖10(a)是表示第3實施方式中使用電子快門來限制曝光時間的情況下的攝像元件的曝光以及讀出的定時的圖，(b)是表示該情況下的對焦透鏡的變位模式的圖。
圖11是表示第3實施方式中使用電子快門來限制曝光時間的情況下的對焦透鏡或攝像元件的變位模式的一例的圖。
圖12(a)、(b)是表示攝像元件中的曝光的定時的圖，(c)、(d)是表示與(a)、(b) 的曝光的定時對應(yīng)地用于獲得EDOF圖像的、對焦透鏡的變位模式的圖。
圖13是本申請發(fā)明者研究的攝像裝置的方框結(jié)構(gòu)圖。
圖14是表示被攝物、對焦透鏡以及攝像元件的位置關(guān)系的圖。
圖15是表示圖13所示的攝像裝置中的對焦透鏡的位置與曝光時間之間的關(guān)系的圖。
圖16是表示被攝物距離u與像面?zhèn)冉裹c距離V的關(guān)系的一例的圖表。
圖17是本申請發(fā)明者研究的另一攝像裝置的方框結(jié)構(gòu)圖。
圖18是表示基于F-DOF方式的對焦透鏡的變位模式的圖。
圖19(a)到(C)是表示基于縱深測量方法的測量結(jié)果的圖。
圖20是表示圖19(a)到(C)的結(jié)果的另一圖。
圖21 (a)以及(b)是表示用于獲得全掃圖像以及半掃圖像的對焦透鏡的變位模式的圖。
具體實施方式
本申請的發(fā)明人，對在通常的拍攝中使用的、具有自動對焦機構(gòu)等驅(qū)動對焦透鏡的數(shù)碼靜態(tài)相機和數(shù)碼攝像機中，適合用于獲得EDOF動態(tài)圖像的構(gòu)造進(jìn)行了仔細(xì)研究。
首先，用圖13對實現(xiàn)F-DOF方式的拍攝所必需的結(jié)構(gòu)進(jìn)行說明。圖13所示的攝像裝置300，具備在曝光時間內(nèi)使得對焦透鏡改變位置的構(gòu)造。攝像裝置300包含包括對焦透鏡101的鏡頭光學(xué)系統(tǒng)120、驅(qū)動對焦透鏡101的對焦透鏡驅(qū)動部103、以及攝像元件104。通過改變對焦透鏡101的位置，從而改變與攝像元件104之間的距離，從而能夠變更對焦距離。在認(rèn)為對焦透鏡101固定的情況下，對焦距離的改變與焦點位置的改變意思相同。
快門釋放受理部113從用戶受理曝光開始指令后，對焦透鏡位置檢測部115檢測對焦透鏡101當(dāng)時的位置(初始位置)。檢測出來之后，將對焦透鏡101的位置變至規(guī)定的端部位置，例如最近端或者最遠(yuǎn)端。
圖14是表示拍攝場景中包含的被攝物與攝像裝置300內(nèi)的對焦透鏡101以及攝像元件104的位置關(guān)系的示意圖。
所謂最近端是指按照使拍攝場景所包含的被攝物之中離攝像裝置300最近的被攝物在攝像元件104的攝像面上形成像的方式，使對焦透鏡101移動的情況下的對焦透鏡 101的位置。此時，從攝像面上合焦的被攝物到攝像裝置300的對焦透鏡101的距離u為最短，對焦透鏡101與攝像元件104之間的距離V為最長。
另外，所謂最遠(yuǎn)端是指按照拍攝場景所包含的被攝物之中離攝像裝置300最遠(yuǎn)的被攝物在攝像元件104的攝像面上形成像的方式，使對焦透鏡101移動的情況下的對焦透鏡101的位置。此時，從攝像面上合焦的被攝物到攝像裝置300的對焦透鏡101的距離u 為最長，對焦透鏡101與攝像元件之間的距離V為最短。另外，在圖14中，為了便于圖示， 相比被攝物與攝像裝置300之間的距離，對焦透鏡101的最近端與最遠(yuǎn)端的距離被放大表/Jn ο
對焦透鏡101的初始化動作的同時，由曝光時間決定部114決定快門速度和光圈值等的拍攝參數(shù)。在這些動作結(jié)束后，迅速地由取得曝光、對焦透鏡的變位的同步的曝光/ 對焦透鏡變位同步部107，將曝光開始的指令輸出到對焦透鏡變位控制部106以及快門開閉指令部112。同時，根據(jù)由對焦透鏡位置檢測部102檢測出的對焦透鏡101的端位置，若端位置為最遠(yuǎn)端則按照從最遠(yuǎn)端往最近端的方式，若端位置為最近端則按照從最近端往最遠(yuǎn)端的方式，將在曝光時間內(nèi)使對焦透鏡101變位的指令輸出到對焦透鏡變位控制部106。
圖15表示曝光時間以及曝光量與像面?zhèn)鹊慕裹c距離之間的關(guān)系。像面?zhèn)鹊慕裹c距離因?qū)雇哥R101的位置而變化，按照對焦透鏡的位置相對攝像元件面等速地變位的方式，根據(jù)對焦透鏡變位控制部106的指令，由對焦透鏡驅(qū)動部103驅(qū)動對焦透鏡101。如上所述，在將被攝物與對焦透鏡101之間的距離設(shè)為U，將對焦透鏡101與攝像元件104之間的距離設(shè)為V，將焦點距離設(shè)為f時，一般來說根據(jù)鏡頭的公式，下式的關(guān)系成立。
Ι/f = l/u+1/v (式 I)
在鏡頭有多枚時,在鏡頭主點位置進(jìn)行考慮。作為一例，將f為18[mm]時的u和 V的關(guān)系在圖16中表示。通過對焦透鏡101發(fā)生變位，鏡頭主點與攝像元件間的距離V發(fā)生變化。所謂“按照使對焦透鏡的變位相對攝像元件面等速變化的方式驅(qū)動對焦透鏡101” 是指使該V的變化速度為恒定。如圖16所示，即使V按照等速度進(jìn)行變位，被攝物側(cè)的焦點面與鏡頭主點間的距離u也不可能按照等速度進(jìn)行變位。另外，由于圖16的橫軸是像面?zhèn)冉裹c距離V，因此與被攝物距離u的大小為相反關(guān)系。也就是說，越是被攝物距離長(位置遠(yuǎn))的被攝物，像面?zhèn)冉裹c距離V越短。
從曝光/對焦透鏡變位同步部107接收到曝光開始指令后，快門開閉指令部112 立即進(jìn)行控制，使快門111打開。另外，在過規(guī)定的曝光時間經(jīng)后，曝光/對焦透鏡變位同步部107，向快門開閉指令部112輸出曝光結(jié)束指令?？扉T開閉指令部112接收曝光結(jié)束指令，立即進(jìn)行控制，使快門111關(guān)閉。
通過上述步驟，被攝物的光學(xué)像在攝像元件104上成像后，成像后的光學(xué)像，通過攝像元件104被變換為電信號，經(jīng)由讀出電路108，圖像信號被輸出到圖像處理部109。同時，由曝光/對焦透鏡變位同步部107，將曝光結(jié)束以及進(jìn)行了基于F-DOF的對焦透鏡變位的拍攝，通知給圖像處理部109。圖像處理部109接收圖像信號，進(jìn)行必要的信號處理，并輸出至記錄部110。
圖17所示的攝像裝置400具有攝像元件104、攝像元件位置檢測部202、曝光/ 攝像元件變位同步部207、攝像元件變位控制部206、以及攝像元件驅(qū)動部203，在曝光時間內(nèi)使攝像元件變位。攝像元件位置檢測部202，與攝像裝置300不同，檢測攝像元件104的位置。曝光/攝像元件變位同步部207取得曝光的定時與攝像元件104的變位的同步。攝像元件變位控制部206控制攝像元件104的變位。攝像元件驅(qū)動部203接收來自攝像元件變位控制部206的信號并驅(qū)動攝像元件104。
快門釋放受理部113從用戶處接收曝光開始指令后，攝像元件位置檢測部202檢測攝像元件104此時的位置(初始位置)。檢測出來后，將攝像元件104的位置變位至規(guī)定的端位置、例如最近端或者最遠(yuǎn)端。在此，在規(guī)定的合焦范圍之中，所謂最近端是指按照拍攝場景所包含的被攝物之中離攝像裝置400最近的被攝物在攝像元件104的攝像面上形成像的方式，移動攝像元件104的情況下的攝像元件104的位置。此時，從被攝物到對焦透鏡 101的距離u最短，對焦透鏡101與攝像元件104之間的距離V最長。另外，所謂最遠(yuǎn)端是指按照拍攝場景所包含的被攝物之中離攝像裝置400最遠(yuǎn)的被攝物在攝像元件104的攝像面上形成像的方式，移動攝像元件104的情況下的攝像元件104的位置。此時，從被攝物到對焦透鏡101的距離u最長，對焦透鏡101與攝像元件104之間的距離V最短。
在攝像元件104的初始化動作的同時，由曝光時間決定部114決定快門速度和光圈值等拍攝參數(shù)。這些動作結(jié)束之后，立即由取得曝光、攝像元件變位的同步的曝光/攝像元件變位同步部207將曝光開始的指令輸出至攝像元件變位控制部206以及快門開閉指令部112。同時，根據(jù)由攝像元件位置檢測部202檢測出的攝像元件104的端位置，按照若端位置為最遠(yuǎn)端則從最遠(yuǎn)端往最近端、若端位置為最近端則從最近端往最遠(yuǎn)端的方式，將在曝光時間內(nèi)使攝像元件104變位的指令輸出至攝像元件變位控制部206。攝像元件104以等速進(jìn)行變位。
從曝光/攝像元件變位同步部207接收曝光開始指令后，快門開閉指令部112立即進(jìn)行控制，使快門111打開。另外，在經(jīng)過規(guī)定的曝光時間后，曝光/攝像元件變位同步部207向快門開閉指令部112輸出曝光結(jié)束指令。快門開閉指令部112接收曝光結(jié)束指令立即進(jìn)行控制，使快門111關(guān)閉。
通過上述步驟，將被攝物的光學(xué)像在攝像元件104成像后，成像的光學(xué)像由攝像元件104變換為電信號，電信號經(jīng)由讀出電路108被輸出至圖像處理部109。同時，由曝光 /攝像元件變位同步部207將曝光結(jié)束以及進(jìn)行了基于F-DOF的對焦透鏡變位的拍攝通知給圖像處理部109。除此以外的結(jié)構(gòu)，與圖13所示的攝像裝置300進(jìn)行同樣的動作。
通過這樣的結(jié)構(gòu)，數(shù)碼靜態(tài)相機/數(shù)碼攝像機中能夠?qū)崿F(xiàn)F-DOF方式的拍攝，但在拍攝動態(tài)圖像的情況下，優(yōu)選在構(gòu)成動態(tài)圖像的I格I格的圖像之間不產(chǎn)生時間間隔，連續(xù)地進(jìn)行拍攝。為此，動態(tài)圖像拍攝中，如圖18所示使對焦透鏡的位置在最遠(yuǎn)端和最近端之間往返變位，對去程變位以及返程變位分別分配I視頻幀期間，由此能夠拍攝平順的EDOF 動態(tài)圖像。
如果除了如此獲得的全焦點圖像之外，還有拍攝場景的縱深信息、即表示拍攝場景所包含的多個被攝物的前后關(guān)系的縱深信息，則能夠獲得拍攝場景的三維信息。對拍攝場景的縱深測量技術(shù)提出了各種各樣的方式。大致分類的話，有照射紅外線或超聲波、激光等，根據(jù)反射波返回為止的時間和反射波的角度等計算出距離的主動式方法；以及根據(jù)被攝物的像計算出距離的被動式方法。特別是，不必在照相機中設(shè)置照射紅外線等的裝置的被動式方法被廣泛使用。
作為被動式方法，提出了很多種方法，其中就有根據(jù)對焦的變化產(chǎn)生的虛化來測量距離的、被稱作D印th from Defocus (以下稱作DFD)的方法。根據(jù)該方法，不需要多部照相機，根據(jù)少數(shù)的圖像就能進(jìn)行距離測量
作為實現(xiàn)DFD的方法，提出了利用前述的F-DOF的被稱作半掃(halfsweep)的方式(非專利文獻(xiàn)2)。該方式中，將F-DOF中的對焦掃過的范圍在遠(yuǎn)側(cè)合焦端位置(最遠(yuǎn)端) 和近側(cè)合焦端位置(最近端)之間的中間合焦位置一分為二，用在各自的范圍進(jìn)行掃過得到的兩幅圖像來推測縱深。另外，能同時用這兩幅圖像生成全焦點圖像。以下，為了進(jìn)行區(qū)別，將掃過從遠(yuǎn)側(cè)合焦端位置到近側(cè)合焦端位置的整個區(qū)間的前述方式稱作全掃(full sweep)
圖19以及圖20，表示通過非專利文獻(xiàn)2所公開的DFD，推測縱深的結(jié)果的一例。圖 19(a)、(b)、(c)的各圖的左半部分，使用具有包含較多邊緣的有利于縱深推測的素材的圖像，右半部分為使用具有包含較少邊緣的不利于縱深推測的素材的圖像，來推測縱深即距攝像裝置的距離。在這些圖中，下端以及上端分別對應(yīng)縱深的近側(cè)以及遠(yuǎn)側(cè)。另外，這些圖中陰影的濃淡，表示推測出的距離的值，陰影越濃、表示推測出的距離越遠(yuǎn)。
圖19(a)表示縱深的真值。也就是說，在正確推測縱深的情況下，越靠圖的上方、 用越濃的陰影表示，越靠下方、用越稀的陰影表示。圖19(b)表示用一般的DFD方式(全掃方式)獲得的縱深推測結(jié)果，圖19(c)表示用半掃方式獲得的縱深推測結(jié)果。圖19(b)以及 (c)中，有的地方陰影濃的部分位于上方以外。這表示推測的距離不正確。在比較圖19(b) 以及(c)的情況下，特別是右半部分的素材較弱的圖像中，如圖19(c)所示，基于半掃方式的縱深的推測得到了更為出色的結(jié)果。
圖20是將圖19(b)以及(C)所示的結(jié)果數(shù)值化得到。橫軸表示縱深，圖19的上端與橫軸的左端對應(yīng)?？v軸表示分別表示與圖18(a)所示的真值對應(yīng)的、在圖19(b)以及 (C)中的推測得到的各縱深的準(zhǔn)確率。該準(zhǔn)確率，是將素材的強弱(圖像中的左半部分、右半部分)的區(qū)域歸納作為一個值進(jìn)行數(shù)值化而得到。根據(jù)圖20可知，以半掃方式得到的縱深的推測更為出色。
這樣，在數(shù)碼靜態(tài)相機和數(shù)碼攝像機采用EDOF的情況下，優(yōu)選使用F-DOF方式。 另外，如上所述，動態(tài)圖像拍攝之時，要求在I格I格之間不產(chǎn)生時間間隔地連續(xù)進(jìn)行拍攝。 作為實現(xiàn)的方法，在動態(tài)圖像拍攝中，如圖21(a)所示，使對焦透鏡的位置在最遠(yuǎn)端和最近端之間往返變位，通過分別對去程的變位以及返程的變位分配I視頻幀期間，從而能夠拍攝平順的EDOF動態(tài)圖像。另外，通過在近側(cè)合焦位置和遠(yuǎn)側(cè)合焦位置分別靜止取得圖像，由此基于DFD的縱深推測在動態(tài)圖像下也能實現(xiàn)。
另一方面，在采用基于半掃的F-DOF方式的情況下，如圖21(b)所示，在近側(cè)合焦位置和遠(yuǎn)側(cè)合焦位置之間的中間合焦位置將對焦透鏡掃過的區(qū)域一分為二。具體的來說， 按照以近掃NS以及遠(yuǎn)掃FS表示的變位模式，使對焦透鏡在最遠(yuǎn)端和最近端之間交替往返變位，從而同樣能夠連續(xù)進(jìn)行基于全焦點圖像的EDOF圖像和縱深推測，能拍攝EDOF動態(tài)圖
但是，在圖21(b)所示的半掃方式下，用于獲得全焦點圖像 的變位模式、即從最遠(yuǎn)端到最近端的變位模式AS，由近掃NS的一部分以及遠(yuǎn)掃FS的一部分構(gòu)成，變位模式AS跨兩個視頻幀。因此，是根據(jù)時間上錯開的兩幅圖像生成全焦點圖像。結(jié)果，在被攝物發(fā)生移動的情況下，會得到不自然的全焦點圖像。具體的來說，由于近掃NS得到的圖像中的被攝物位置、和由遠(yuǎn)掃FS得到的圖像中的被攝物位置發(fā)生錯位，可知存在的問題是會使全焦點圖像的畫質(zhì)大幅劣化。
對此，通過圖18所示的全掃方式得到全焦點圖像的情況下，在對焦透鏡最遠(yuǎn)端與最近端之間移動的期間取得一幅掃過圖像。因此，因被攝物移動雖然會產(chǎn)生模糊，但由于是在連續(xù)時間內(nèi)的模糊，是與一般的數(shù)碼相機同樣的現(xiàn)象，因此不易產(chǎn)生圖像的不協(xié)調(diào)。也就是說，可以認(rèn)為要獲得全焦點圖像，優(yōu)選全掃方式。
這樣，本申請發(fā)明人的詳細(xì)研究結(jié)果是在數(shù)碼靜態(tài)相機和數(shù)碼攝像機中，為了獲得高品質(zhì)的全焦點圖像以及高精度推測拍攝場景的縱深信息，并獲得EDOF動態(tài)圖像，無論是以往的半掃方式還是全掃方式都存在問題。
本申請發(fā)明人鑒于這種問題，提出一種新的攝像裝置。作為本發(fā)明的一個方式的攝像裝置，具有攝像元件，其具有以二維狀排列并構(gòu)成攝像面的多個光電變換元件，該攝像元件使上述多個光電變換元件曝光，通過從上述多個光電變換元件讀出電信號來生成圖像信號；鏡頭光學(xué)系統(tǒng)，其向上述攝像元件聚光，并且包含對焦透鏡；驅(qū)動部，其按照上述攝像元件與上述對焦透鏡之間的距離發(fā)生變化的方式，驅(qū)動上述攝像元件或上述對焦透鏡的一方；變位控制部，其構(gòu)成為通過向上述驅(qū)動部輸出指令，根據(jù)規(guī)定的變位模式，控制上述驅(qū)動的上述攝像元件或上述對焦透鏡的變位；以及同步部，其構(gòu)成為根據(jù)上述攝像元件的曝光的定時，控制上述變位控制部，上述規(guī)定的變位模式包括在攝像場景中的第I被攝物距離下合焦的上述對焦透鏡或上述攝像元件的第I合焦位置、和上述攝像場景中的第2 被攝物距離下合焦的上述對焦透鏡或上述攝像元件的第2合焦位置之間的不同的范圍內(nèi)， 上述攝像元件或上述對焦透鏡進(jìn)行變位的第I類變位模式以及第2類變位模式，上述第I 類變位模式以及上述第2類變位模式交替地復(fù)。
上述第I類變位模式的變位范圍，包含上述第2類變位模式變位范圍的至少一部分。
上述第I類變位模式的變位范圍是上述第I合焦位置與上述第2合焦位置之間的整個區(qū)間。
上述第2類的變位模式包含上述第I合焦位置、與上述第I合焦位置以及上述第 2合焦位置的中間位置的整個區(qū)間為上述變位范圍的第2F類變位模式；以及上述中間位置與上述第2合焦位置的整個區(qū)間為上述變位范圍的第2N類變位模式，第I類變位模式夾在上述第2F類變位模式以及上述第2N類變位模式間。
上述第I類變位模式、上述第2F類變位模式以及上述第2N類變位模式，分別將整個變位范圍至少一次往一個方向變位。
上述第I類變位模式和上述第2F類變位模式、以及上述第I類變位模式和上述第 2N類變位模式，分別連接在一起。
上述攝像裝置，還具備曝光時間決定部，其根據(jù)上述攝像場景決定上述攝像元件的曝光時間；以及變位設(shè)定部，其根據(jù)上述第I合焦位置、上述第2合焦位置以及上述曝光時間，決定上述變位模式。
上述攝像裝置，還具備位置檢測部，其檢測上述驅(qū)動的上述攝像元件或上述對焦透鏡的位置，上述變位控制部根據(jù)上述位置檢測部的輸出以及上述變位模式，對上述驅(qū)動部指示驅(qū)動量。
上述攝像裝置，還具備讀出電路，其從上述攝像元件讀出上述圖像信號，上述同步部根據(jù)上述攝像元件的曝光的定時，控制上述變位控制部以及上述讀出電路。
根據(jù)上述第I類變位模式，基于上述驅(qū)動的上述攝像元件或上述對焦透鏡進(jìn)行變位的期間內(nèi)得到的圖像信號，生成全焦點圖像。
根據(jù)上述第2類變位模式，基于上述驅(qū)動的上述攝像元件或上述對焦透鏡進(jìn)行變位的期間內(nèi)得到的圖像信號，生成縱深信息。
上述攝像元件，是CXD圖像傳感器。
上述攝像元件，是CMOS圖像傳感器
上述第I類變位模式、上述第2F類變位模式以及上述第2N類變位模式，分別至少在整個變位范圍內(nèi)整數(shù)次。
作為本發(fā)明的一個方式的集成電路，是攝像裝置的集成電路，該攝像裝置具有攝像元件，其具有以二維狀排列且構(gòu)成攝像面的多個光電變換元件，該攝像元件使上述多個光電變換元件曝光，通過從上述多個光電變換元件讀出電信號，來生成圖像信號；鏡頭光學(xué)系統(tǒng)，其向上述攝像元件聚光，并且包含對焦透鏡；以及驅(qū)動部，其按照上述攝像元件與上述對焦透鏡之間的距離發(fā)生變化的方式，驅(qū)動上述攝像元件或上述對焦透鏡的一方，上述集成電路具備變位控制部，其構(gòu)成為通過向上述驅(qū)動部輸出指令，從而根據(jù)規(guī)定的變位模式控制上述驅(qū)動的上述攝像元件或上述對焦透鏡的變位；以及同步部，其構(gòu)成為根據(jù)上述攝像元件的曝光的定時，控制上述變位控制部。上述規(guī)定的變位模式包括在攝像場景中的第I被攝物距離下合焦的、上述對焦透鏡或上述攝像元件的第I合焦位置，和上述攝像場景中的第2被攝物距離下合焦的、上述對焦透鏡或上述攝像元件的第2合焦位置之間的不同的范圍中，上述攝像元件或上述對焦透鏡進(jìn)行變位的第I類變位模式以及第2類變位模式， 上述第I類變位模式以及上述第2類變位模式交替地反復(fù)。
作為本發(fā)明的一個方式的攝像方法，是通過用對焦透鏡在攝像元件上匯聚光而使攝像場景成像的攝像方法，其中該攝像元件具有被排列成二維狀且構(gòu)成攝像面的多個光電變換元件，通過使上述多個光電變換元件曝光，并從上述多個光電變換元件讀出電信號來生成圖像信號，在第I類變位模式以及第2類變位模式下，一邊使上述對焦透鏡或上述攝像元件變位一邊使上述多個光電變換元件曝光，其中第I類變位模式以及第2類變位模式是在攝像場景中的第I被攝物距離下合焦的上述對焦透鏡或上述攝像元件的第I合焦位置、 和上述攝像場景中的第2被攝物距離下合焦的上述對焦透鏡或上述攝像元件的第2合焦位置之間的不同的范圍內(nèi)，使上述攝像元件或上述對焦透鏡進(jìn)行變位的模式。
以下，參照附圖，對本發(fā)明的攝像裝置、集成電路以及攝像方法的實施方式進(jìn)行詳細(xì)說明。以下說明中，有時對相同的構(gòu)成要素賦予相同的符號，并省略說明。
(第I實施方式)
以下，參照附圖，對本發(fā)明的攝像裝置、集成電路以及攝像方法的第I實施方式進(jìn)行說明。
圖I是表示本實施方式的攝像裝置100的方框結(jié)構(gòu)圖。攝像裝置100，具有對焦透鏡驅(qū)動部103、攝像元件104、對焦透鏡變位控制部106、曝光/對焦透鏡變位同步部107、 以及鏡頭光學(xué)系統(tǒng)120。
攝像元件104，在本實施方式中是CCD圖像傳感器，具有被排列成二維狀且構(gòu)成攝像面的多個光電變換兀件。使光入射到多個光電變換兀件并曝光之后，通過從多個光電變換元件讀出電信號，生成圖像信號。
鏡頭光學(xué)系統(tǒng)120，向攝像元件104聚光，包含使攝像場景成像在攝像元件104的對焦透鏡101。為了對攝像場景中的所期望的被攝物進(jìn)行合焦，鏡頭光學(xué)系統(tǒng)120，也可在對焦透鏡101以外包含其他I枚以上的透鏡。對焦透鏡101也可由多枚透鏡構(gòu)成。在對焦透鏡101由多個透鏡構(gòu)成的情況下，所謂對焦透鏡的位置，是指由多個透鏡形成的主點的位置。
本實施方式中，對焦透鏡驅(qū)動部103，作為按照攝像元件104與對焦透鏡101之間的距離發(fā)生變化的方式對攝像元件104或?qū)雇哥R101的其中一方進(jìn)行驅(qū)動的驅(qū)動部發(fā)揮作用。也就是說，對焦透鏡驅(qū)動部103，根據(jù)驅(qū)動信號，按照攝像元件104與對焦透鏡101之間的距離發(fā)生變化的方式，驅(qū)動對焦透鏡101。
對焦透鏡變位控制部106，如以下說明的那樣，構(gòu)成為通過向?qū)雇哥R驅(qū)動部103 輸出指令，并根據(jù)規(guī)定的變位模式，來控制對焦透鏡101的變位。
曝光/對焦透鏡變位同步部107，構(gòu)成為根據(jù)攝像元件104的曝光的定時，控制對焦透鏡變位控制部106。
攝像裝置100還包括對焦透鏡位置檢測部102、對焦透鏡變位設(shè)定部105、讀出電路108、圖像處理部109、記錄部110、快門111、快門開閉指令部112、快門釋放受理部113、 和曝光時間決定部114。
對焦透鏡位置檢測部102包含位置傳感器，檢測對焦透鏡101的位置，將檢測信號輸出給對焦透鏡變位控制部106。對焦透鏡變位設(shè)定部105設(shè)定對焦透鏡101的變位模式， 作為目標(biāo)對焦透鏡的位置。由此，對焦透鏡變位控制部106，根據(jù)目標(biāo)對焦透鏡的位置與由對焦透鏡位置檢測部102檢測出的對焦透鏡101的當(dāng)前位置之差，計算驅(qū)動信號后輸出給對焦透鏡驅(qū)動部103。
快門釋放受理部113中，受理來自用戶的曝光開始指令后，由曝光時間決定部114 決定攝像元件104的曝光時間。另外，對曝光/對焦透鏡變位同步部107以及對焦透鏡變位設(shè)定部105輸出與曝光時間有關(guān)的信息。
曝光/對焦透鏡變位同步部107，按照根據(jù)與曝光時間有關(guān)的信息進(jìn)行以同步的定時曝光、對焦透鏡101的驅(qū)動以及對來自攝像元件104的電信號的讀出的方式，對快門開閉指令部112、對焦透鏡變位控制部106以及讀出電路108輸出指令。具體來說，對快門開閉指令部112指令曝光的定時以及曝光時間。另外，向?qū)雇哥R變位控制部106指令用于驅(qū)動對焦透鏡101的定時以及驅(qū)動時間。
快門111，根據(jù)來自快門開閉指令部112的指令進(jìn)行開閉動作。快門111為開放狀態(tài)時，攝像兀件104被由對焦透鏡101聚光的光曝光,曝光后的光被轉(zhuǎn)換為電信號并輸出。
讀出電路108，通過向攝像元件104輸出讀出信號來讀出電信號，將讀出的電信號輸出給圖像處理部109。
圖像處理部109，對輸入的電信號進(jìn)行各種修正等，逐幀構(gòu)建構(gòu)成I視頻幀的拍攝場景的圖像的圖像信號，并輸出至記錄部110。另外，以下，可如說明的那樣，求出拍攝場景的二維信息。
由此，攝像裝置100能一邊驅(qū)動對焦透鏡101來改變對焦透鏡的位置，一邊使攝像元件104曝光，并獲得掃過圖像。
攝像裝置100的上述構(gòu)成要素之中，對焦透鏡位置檢測部102、對焦透鏡驅(qū)動部 103、攝像元件104、圖像處理部109、快門釋放受理部113、和記錄部110，可由公知的硬件來構(gòu)成。另外，對焦透鏡變位設(shè)定部105、對焦透鏡變位控制部106、曝光/對焦透鏡變位同步部107、讀出電路108、圖像處理部109、記錄部110、快門開閉指令部112、以及曝光時間決定部114的各個構(gòu)成要素的一部分或全部，也可由CPU等信息處理電路以及存儲器等存儲部中存儲的軟件來構(gòu)成。這種情況下，信息處理電路，從存儲器中讀出規(guī)定以下說明的攝像方法的步驟的軟件，通過執(zhí)行攝像方法的步驟，來控制攝像裝置100的各構(gòu)成要素。這些信息處理電路以及存儲器中存儲的軟件實現(xiàn)的構(gòu)成要素的一部分，可由專用的集成電路來構(gòu)成。例如，對焦透鏡變位設(shè)定部105、對焦透鏡變位控制部106、曝光/對焦透鏡變位同步部 107以及快門開閉指令部112，可由集成電路構(gòu)成。
接下來，參照圖I、圖2、圖3以及圖4，對本實施方式的攝像方法，特別是對用于獲得掃過圖像的對焦透鏡的位置與攝像元件104的曝光以及信號讀出的定時進(jìn)行說明。
圖2是表示本實施方式的攝像方法的流程圖。首先，受理用戶做出的快門釋放動作(SlOl)，由曝光時間決定部114根據(jù)快門速度和光圈值等拍攝參數(shù)決定曝光時間參數(shù) (S102)。曝光時間參數(shù)被輸出至對焦透鏡變位設(shè)定部105以及曝光/對焦透鏡變位同步部 107。
接著，根據(jù)決定的曝光時間參數(shù)，對焦透鏡變位設(shè)定部105生成對焦透鏡的位置的變位模式(S103)。變位模式，在以下詳細(xì)說明。
對焦透鏡的位置的變位模式?jīng)Q定后，曝光/對焦透鏡變位同步部107，按照根據(jù)攝像元件104的曝光的定時使對焦透鏡變位設(shè)定部105以及讀出電路108進(jìn)行動作的方式， 向快門開閉指令部112、對焦透鏡變位設(shè)定部105以及讀出電路108輸出指令。由此，快門開閉指令部112將快門111開放(S104)，開始攝像元件104的曝光，與曝光的開始同步，根據(jù)對焦透鏡變位控制部106的指令，由對焦透鏡驅(qū)動部103使對焦透鏡101變位(S105)。 在此所謂同步包含同時的情況以及間隔規(guī)定的遅延時間的情況。另外，在與對焦透鏡101 的變位同步的規(guī)定的定時，從攝像元件104將構(gòu)成拍攝場景的圖像的電信號輸入至讀出電路 108。
拍攝完成后，通過快門111關(guān)閉(S106)，停止對焦位置變位(S107)來完成拍攝。 在動態(tài)圖像拍攝的情況下，直到輸入來自用戶的錄像停止處理指令為止，可持續(xù)曝光/掃14過動作。這樣，能夠連續(xù)獲得掃過圖像，進(jìn)行動態(tài)圖像拍攝。
接下來，參照圖3以及圖4(a)詳細(xì)說明曝光/掃過動作。
圖3是表示拍攝時的掃過動作的流程的流程圖。另外，圖4(a)，是表示將對焦透鏡的位置在最遠(yuǎn)端和最近端之間變位時的對焦透鏡的位置變化、也就是掃過模式(變位模式)的圖。橫軸表示時間，縱軸表示對焦透鏡的位置(與攝像元件的距離)。圖4(a)中，實線表示全掃的變位模式(第I類變位模式)，雙線以及虛線表示半掃的變位模式(第2類變位模式)。更為具體來說，雙線表示近掃的變位模式(第2N類變位模式)，虛線表示遠(yuǎn)掃的變位模式(第2F類變位模式)
近掃的變位模式，將最近端與最近端以及最遠(yuǎn)端的中間位置之間的整個區(qū)間作為變位范圍，遠(yuǎn)掃的變位模式將最遠(yuǎn)端與中間位置之間的整個區(qū)間作為變位范圍。因此，近掃的變位模式以及遠(yuǎn)掃的變位模式的變位范圍，與全掃的變位模式的變位范圍不同，另外，是全掃的變位模式的變位范圍的一部分。再有，近掃的變位模式的變位范圍與遠(yuǎn)掃的變位模式的變位范圍，彼此沒有重疊是互斥的。另外，中間位置，也不一定是最近端與最遠(yuǎn)端的正中間。
如圖4(a)所示，全掃的變位模式、近掃的變位模式以及遠(yuǎn)掃的變位模式，分別與攝像元件104取得I個圖像所需要的期間、即I視頻幀期間一致。另外，分別在各自的整個變位范圍至少一次在一個方向上變位。
根據(jù)圖4(a)可知，全掃的變位模式以及近掃的變位模式，以及全掃的變位模式以及遠(yuǎn)掃的變位模式分別相連。因此，對焦透鏡101的變位，在從全掃切換到半掃時，不需要使對焦透鏡101的位置跳躍，能夠使對焦透鏡101平順地移動。
如上所述，所謂最遠(yuǎn)端以及最近端指的是，包含位于離攝像裝置各種距離的被攝物的攝像場景中，按照使位于規(guī)定距離范圍內(nèi)的各種被攝物在攝像元件104的攝像面焦點一致的方式使對焦透鏡101移動時，離攝像裝置最近的被攝物成像的情況下以及離攝像裝置最遠(yuǎn)的被攝物成像的情況下的對焦透鏡101的位置。在最遠(yuǎn)端(第I合焦位置)成像的被攝物在規(guī)定的距離范圍內(nèi)位置離攝像裝置距離最遠(yuǎn)(第I被攝物距離)，在最近端(第 2合焦位置)成像的被攝物在規(guī)定的距離范圍內(nèi)位置離攝像裝置距離最近(第2被攝物距離)
如圖3以及圖4(a)所示，首先對焦透鏡驅(qū)動部103，根據(jù)對焦透鏡變位控制部106 的指令，使對焦透鏡101往作為初始位置的最遠(yuǎn)端移動(SI)。接著，從最遠(yuǎn)端起按照遠(yuǎn)掃的變位模式，按照在最遠(yuǎn)端與中間位置之間，從最遠(yuǎn)端向著中間位置，并再次返回最遠(yuǎn)端的方式，使對焦透鏡101的位置變位(S2)。也就是說，使對焦透鏡101按照遠(yuǎn)掃的變位模式進(jìn)行半掃。
接著按照全掃的變位模式,按照對焦透鏡101從最遠(yuǎn)端向著最近端變位的方式, 進(jìn)行全掃(S3)。之后，按照近掃的變位模式，按照從最近端向著中間位置并再次返回最近端的方式，使對焦透鏡101的位置變位。也就是說，再次進(jìn)行半掃(S4)。之后，再度按照全掃的變位模式，按照對焦透鏡101從最遠(yuǎn)端向著最近端變位的方式,進(jìn)行全掃(S5)。由此 (S2-S5)，完成本實施方式中的對焦透鏡的掃過動作的一個周期。在拍攝動態(tài)圖像的情況下，只要重復(fù)該動作即可。
確認(rèn)由用戶做出的表示拍攝完成的輸入(S6)，在指示拍攝完成的情況下，結(jié)束掃過動作。
接著，對根據(jù)得到的各掃過圖像求出三維信息的方法進(jìn)行說明。例如，圖像處理部 109，可構(gòu)成為求出拍攝場景的三維信息。首先能對全掃，即、一邊以全掃的變位模式使對焦透鏡101移動一邊進(jìn)行曝光而得到的(S3)圖像的電信號，用非專利文獻(xiàn)I等公開的圖像處理方法得到全焦點圖像。另外，能對其前后的半掃，即在遠(yuǎn)掃的變位模式以及近掃的變位模式下一邊使對焦透鏡101移動一邊曝光而得到的(S2，S4)圖像的電信號，用非專利文獻(xiàn)2 等公開的圖像處理方法，得到拍攝場景的縱深信息。
通過使用該全焦點圖像和縱深信息，能夠得到拍攝場景中的三維信息。也就是說， 根據(jù)一幅全掃圖像、以及在其前后的定時拍攝的遠(yuǎn)掃圖像以及近掃圖像的總計三幅圖像， 能夠得到一個場景中的三維信息。例如，能夠重構(gòu)對位于拍攝場景的最遠(yuǎn)端和最近端之間的任意的被攝物合焦的圖像。根據(jù)本實施方式，在縱深的推測中使用基于半掃的圖像。如上所述，由于基于半掃得到的圖像的縱深推測，精度比基于全掃圖像的縱深推測更高，因此本實施方式得到的三維信息的精度較高。
另外，根據(jù)本實施方式，全掃的變位模式被夾在遠(yuǎn)掃的變位模式以及近掃的變位模式之間。具體來說，步驟S3的全掃的變位模式被夾在步驟S2的遠(yuǎn)掃的變位模式以及步驟S4的近掃的變位模式之間。步驟S5的全掃的變位模式被夾在步驟S4的近掃的變位模式以及步驟S2的遠(yuǎn)掃的變位模式之間。這樣，無論哪個全掃的變位模式都被2個半掃的變位模式夾在中間，在獲得各全焦點圖像的拍攝的前后進(jìn)行獲得半掃的圖像的拍攝，能夠連續(xù)取得全焦點圖像和近掃圖像以及遠(yuǎn)掃圖像。因此，如上所述，能夠獲得拍攝場景的三維信息。根據(jù)圖4(a)可知，本實施方式中使用的變位模式，將4個視頻幀作為一個周期，但全焦點圖像以及上述的三維信息，以2個視頻幀周期取得。因此，根據(jù)本實施方式，能夠得到平順的EDOF動態(tài)圖像。例如，例如，若使用能以30fps攝像的攝像元件，則能夠獲得15fps的三維動態(tài)圖像。若使用能進(jìn)行更高速的攝像的攝像元件，則能夠?qū)崿F(xiàn)更為平順的(高幀率) EDOF動態(tài)圖像。
另外，根據(jù)本實施方式，由于使用與I視頻幀的期間長度一致的全掃的變位模式來獲得全焦點圖像，因此全焦點圖像整體被在時間上一致的定時獲取，能夠得到自然的全焦點圖像。由此，根據(jù)本實施方式，能夠獲得高品質(zhì)且沒有不協(xié)調(diào)感、并且平順的EDOF動態(tài)圖像。
另外，在本實施方式中，雖然將對焦透鏡的初始位置設(shè)定為最遠(yuǎn)端，但初始位置也可以是最近端。另外，本實施方式的攝像裝置100中，在進(jìn)行靜止圖像拍攝的情況下，只要有連續(xù)的全焦點圖像和近掃圖像以及遠(yuǎn)掃圖像即可。因此，本實施方式中使用的變位模式， 也可不包含步驟S5的變位模式。
另外，三維信息，可由圖像處理部109以外的信號處理部，例如攝像裝置100的外部計算機或信號處理部來實施。
圖4(b)表示實現(xiàn)三維動態(tài)圖像拍攝的另一掃過模式的例子。各變位模式的順序， 與參照圖4(a)說明的例子相同，但各變位模式的開始位置為中間位置這一點，與參照圖 4(a)說明的例子不同。另外，全掃的變位模式中，對焦透鏡101按照從中間位置向最近端， 之后移動到最遠(yuǎn)端，再返回中間位置的方式進(jìn)行變位。根據(jù)本例，在拍攝開始時使對焦透鏡 101移動到初始位置的時間，一般較短，能夠更快地開始拍攝。
圖4(c)表示實現(xiàn)三維靜止圖像拍攝的另一掃過模式的例子。各變位模式的順序， 與參照圖4(a)說明的例子相同，但各變位模式全部往一個方向變位這一點，與參照圖4(a) 說明的例子不同。根據(jù)該例，由于各變位模式不包含往返變位，因此對焦透鏡101的變位距離較短，能夠降低攝像裝置100的耗電量。該掃過模式，適合用于靜止圖像拍攝這樣不需要連續(xù)拍攝的情況。不過，也可將本例的變位模式用于動態(tài)圖像拍攝。根據(jù)本例，全焦點圖像以及三維信息在3個視頻幀周期獲得，相較參照圖4(a)以及(b)表示的例子，僅僅是速率稍稍下降。因此，以本例的變位模式使對焦透鏡變位的攝像裝置，適合用于例如監(jiān)視照相機等動態(tài)圖像的平順度不太重要的用途，作為低耗電量的攝像裝置使用。
(第2實施方式)
參照圖5以及圖6，對本發(fā)明的攝像裝置、集成電路以及攝像方法的第2實施方式進(jìn)行說明。
圖5是表示本實施方式的攝像裝置200的方框結(jié)構(gòu)圖。對與第I實施方式的攝像裝置100相同的構(gòu)成要素附以相同的參照符號。攝像裝置200，通過使攝像元件104的位置移動，來改變與鏡頭光學(xué)系統(tǒng)120的對焦透鏡101的距離，在這一點與攝像裝置100不同。
為此，攝像裝置200具有攝像元件位置檢測部202、攝像元件驅(qū)動部203、攝像元件變位設(shè)定部205、攝像元件變位控制部206以及曝光/攝像元件變位同步部207。
攝像元件位置檢測部202包含位置傳感器，檢測攝像元件104的位置，將檢測信號輸出給攝像元件變位控制部206。攝像元件變位設(shè)定部205設(shè)定攝像元件104的變位模式， 作為目標(biāo)攝像元件的位置。由此，攝像元件變位控制部206，根據(jù)目標(biāo)攝像元件位置、與由攝像元件位置檢測部202檢測出的攝像元件104的當(dāng)前位置之差，計算驅(qū)動信號并輸出給攝像元件驅(qū)動部203。
快門釋放受理部113中，受理來自用戶的曝光開始指令后，由曝光時間決定部114 決定攝像元件104的曝光時間。另外，對曝光/攝像元件變位同步部207輸出與曝光時間有關(guān)的彳目息。
曝光/攝像元件變位同步部207，根據(jù)與曝光時間有關(guān)的信息，按照已同步的定時進(jìn)行曝光、攝像元件104的驅(qū)動以及對來自攝像元件104的電信號的讀出的方式，對快門開閉指令部112、攝像元件變位控制部206以及讀出電路108輸出指令。具體來說，對快門開閉指令部112指令曝光的定時以及曝光時間。另外，對攝像元件變位控制部206指令用于驅(qū)動攝像元件104的定時以及驅(qū)動時間。由此，攝像裝置200,能夠一邊驅(qū)動攝像元件104 來改變攝像元件的位置一邊使攝像元件104曝光，獲得掃過圖像。
圖6是表示本實施方式的攝像方法的流程圖。若除去為了改變攝像元件與對焦透鏡之間的距離而使攝像元件變位，其余的與用圖2說明的第I實施方式中的攝像方法相同。
攝像元件的變位模式，與在第I實施方式中說明的作為對焦透鏡的位置的變位模式的圖4(a)、(b)、(c)相同。
這樣，作為驅(qū)動攝像元件，并改變攝像元件的位置的結(jié)構(gòu)，也能與第I實施方式同樣獲得EDOF動態(tài)圖像。
(第3實施方式)
第I以及第2實施方式的攝像裝置，作為攝像元件，使用了 CXD圖像傳感器。CXD 圖像傳感器，由于能實現(xiàn)能夠同時讀出全部像素的全局快門動作，因此在第I以及第2實施方式的攝像裝置中的對焦透鏡的變位模式也適合使用CCD圖像傳感器。本實施方式中，對作為攝像元件使用CMOS圖像傳感器的攝像裝置、集成電路以及攝像方法進(jìn)行說明。
由CMOS圖像傳感器構(gòu)成的攝像元件，適于高速讀出多個像素，例如能夠?qū)崿F(xiàn)將 FullHD(1920X 1080)尺寸的圖像每秒讀出60幀的攝像元件。
在將由CMOS圖像傳感器構(gòu)成的攝像元件曝光得到的電荷連續(xù)讀出的情況下，使用被稱作滾動快門的電子快門控制方式，即以行等的部分單位對二維排列的像素集合依次掃描來從各像素讀出電荷。
圖7(a)表示在這種攝像元件中從像素集合讀出電荷的定時。橫軸表示時間，縱軸表示攝像元件的讀出行的位置。攝像元件由N行的多個像素行構(gòu)成。如圖7(a)所示，從攝像元件的第一行起依次掃描來從各像素讀出電荷，緊接著開始蓄積電荷，在經(jīng)過規(guī)定時間后再次進(jìn)行掃描來從各像素讀出電荷，從而獲得圖像信號。在第N行的掃描結(jié)束之后，從前頭再次重復(fù)掃描，由此能得到連續(xù)的動態(tài)圖像。根據(jù)圖7(a)可知，在以滾動快門進(jìn)行拍攝的情況下，在攝像元件面內(nèi)的攝像定時產(chǎn)生錯位，最初行與最末行最大會產(chǎn)生I視頻幀期間的錯位。
在由F-DOF方式取得圖像的情況下，需要使對焦?fàn)顟B(tài)從規(guī)定的合焦范圍的最遠(yuǎn)端變位至最近端，來使攝像元件面內(nèi)的全部的像素均勻曝光。圖7(b)與圖7(a)的橫軸對應(yīng)， 表示通過滾動快門在I視頻幀期間內(nèi)使對焦透鏡從最遠(yuǎn)端到最近端實施掃過動作的情況下的變位模式。在圖7(a)表示的定時下對攝像元件進(jìn)行曝光的情況下，在第I讀出行的曝光的期間，對焦透鏡在從最遠(yuǎn)端到最近端的整個范圍移動。但是，在第N行的曝光的期間， 對焦透鏡僅位于最近端。在它們之間的行的曝光的期間，對焦透鏡僅在從最遠(yuǎn)端到最近端的范圍的一部分進(jìn)行變位。因此，即使以圖7(b)所示的變位模式使對焦透鏡變位，也不能得到正確的掃過圖像
圖7 (C)表不適于由CMOS圖像傳感器構(gòu)成的攝像兀件的變位模式的一例。圖7 (C) 表示的變位模式，在I視頻幀期間，從最遠(yuǎn)端開始變位，在到達(dá)最近端之后，返回最遠(yuǎn)端，也就是說在I視頻幀期間在最遠(yuǎn)端到最近端進(jìn)行I次往返變位。本例中，雖然由于曝光時間與 I視頻幀期間一致，因此變位模式的往返動作與I視頻幀期間一致，但往返動作只要與曝光時間同步即可。也就是說，只要進(jìn)行曝光時間的2以上的整數(shù)倍的往返動作即可。圖7(c) 表示的變位模式下，通過2視頻幀的期間，變位模式持續(xù)，也就是說掃過動作為2個往返，從而能使攝像元件面內(nèi)的全部的像素均勻曝光。
圖8 (a)以及(b)表示使用由CMOS圖像傳感器構(gòu)成的攝像元件來獲得全掃圖像以及半掃圖像的情況下的對焦透鏡的變位模式的一例。如圖8(a)所示，為了獲得I個掃過圖像的對焦透鏡的掃過，可以是兩個往返。但是，為了進(jìn)行DFD，優(yōu)選使對焦位置從最遠(yuǎn)端移動到最近端。因此，雖然不進(jìn)行曝光(拍攝)，但仍使對焦透鏡從最遠(yuǎn)端移動到最近端。通過往返動作，對焦透鏡會返回到開始位置。
如圖21(b)所示，在獲得半掃圖像的情況下，基于近掃的變位模式以及基于遠(yuǎn)掃的變位模式的開始位置，都是上述的中間位置。因此，就算進(jìn)行往返動作，也不需要在不進(jìn)行拍攝的情況下移動對焦透鏡。
接下來，對使用由CMOS圖像傳感器構(gòu)成的攝像元件的攝像裝置、集成電路以及攝像方法的實施方式進(jìn)行說明。
本實施方式的攝像裝置，相對于第I實施方式的攝像裝置，除了攝像元件104為 CMOS圖像傳感器以外，裝置的結(jié)構(gòu)以及攝像方法相同。因此，著重說明區(qū)別點。
圖9(a)以及(b)表示本實施方式的攝像裝置中使用的對焦透鏡的變位模式的示例，圖9 (a)、(b)對應(yīng)第I實施方式的圖4 (a)、(b)。
如圖9(a)所示，本實施方式的攝像裝置中使用的對焦透鏡的變位模式中，在步驟 S2至步驟S5的每個步驟之中，為了進(jìn)行攝像，花費2視頻幀進(jìn)行總計2個往返掃過，在步驟 S3以及步驟S5中進(jìn)行為了使對焦透鏡位置移動的單程移動。由于以視頻幀為單位進(jìn)行圖像的曝光/讀出，故對焦位置在近端或最近端中暫時停止。因此，步驟S3以及步驟S5中的全掃圖像的拍攝，需要總計3視頻幀的期間。
在步驟S2以及步驟S4中，拍攝基于兩個往返掃過的半掃圖像，所需要的時間為2 視頻幀期間。其中,通過匹配全掃圖像的拍攝時間來設(shè)定I視頻幀期間的等待時間，能夠?qū)⒏鲯哌^圖像的拍攝間隔設(shè)定為等間隔。在想要縮短圖像的拍攝間隔的情況下，可以省略該等待時間。該情況下，從步驟S2到步驟S3、和從步驟S3到步驟S4的時間間隔并不相同。
這樣，連續(xù)重復(fù)用于獲得全焦點圖像的全掃動作、和用于求出縱深信息的半掃動作，在半掃動作中，逐次交替重復(fù)近掃動作和遠(yuǎn)掃動作，從而能夠進(jìn)行三維動態(tài)圖像拍攝。 因此，即使是具備由CMOS圖像傳感器構(gòu)成的攝像元件的攝像裝置，也能與第I實施方式同樣，獲得品質(zhì)良好、沒有不協(xié)調(diào)感、并且平順的EDOF動態(tài)圖像。
圖9 (b)是用CMOS型攝像元件實現(xiàn)三維動態(tài)圖像拍攝的另一個掃過模式的示例。 各掃過圖像的拍攝順序，與參照圖9(a)說明的變位模式相同，但各掃過動作的開始位置為中間位置這一點、以及全掃動作是以中間位置為起點的、在最近端和最遠(yuǎn)端之間的往返掃過這一點，與圖9(a)說明的變位模式不同。
通過使用這種變位模式，在拍攝開始時使對焦透鏡101移動到初始位置為止所花費的時間一般較短。另外，圖9(a)所示的變位模式，由于不包含之前包含的用于使對焦透鏡位置移動的單程移動的變位，因此能夠縮短拍攝全焦點圖像的間隔。這對于動態(tài)圖像的幀率提高也有效果。具體來說，相比使用圖9(a)所示的變位模式的情況，能將幀率提高至 I. 5 倍。
在使用圖9(b)所示的變位模式的情況下，全焦點圖像在4個視頻幀拍攝I次。因此，若使用由可以例如60fps進(jìn)行攝像的CMOS圖像傳感器構(gòu)成的攝像元件，則能夠得到 15fps的三維動態(tài)圖像。若組合能夠進(jìn)行高速讀出的攝像元件，能夠更好地發(fā)揮效果。
另外，在戶外進(jìn)行拍攝等的情況下，為了限制入射至攝像元件的光量，有時使用電子快門來控制曝光時間。這種情況下，優(yōu)選與曝光時間的變化相應(yīng)來適當(dāng)切換掃過模式。圖 10(a)表示進(jìn)行這種曝光的攝像元件的讀出行的定時。圖10(a)中，橫軸表示時間，縱軸表示攝像元件的讀出行的位置。圖10(b)表示這種情況下的對焦透鏡的變位模式。
由于用電子快門曝光時間變短，因此變位模式的往返周期配合曝光時間也變短。 但是，由于讀出時間沒有改變，因此從曝光開始到讀出完成的期間，變位模式所包含的使對焦透鏡在最近端和最遠(yuǎn)端之間往返變位的次數(shù)多于2次。
如圖10(a)、(b)所示，在讀出完成時對焦位置變位最近端的情況下，曝光開始時的對焦透鏡為最近端和最遠(yuǎn)端的大致中間的位置。該對焦透鏡的初始位置，與可以由電子快門改變的曝光時間相應(yīng)變化。另外，在非曝光狀態(tài)下，對焦透鏡的位置是任意的。如圖10(b)所示的例子中，對焦透鏡的初始位置為最近端(圖10(b)的虛線部分)。
圖11表示使用電子快門得到與圖9(b)所示的變位模式等同的掃過圖像的變位模式的一例。各掃過圖像的拍攝順序，與圖9(b)的變位模式相同，但因電子快門曝光時間變短。因此，各變位模式中的往返變位的周期變短。由于從各變位模式的初始位置到曝光開始為止的期間內(nèi)，并不進(jìn)行曝光，因此對焦透鏡可以在任意的位置。在圖11所示的示例中， 考慮到與前后的偏波區(qū)(polarization turn)的連續(xù)性，變位模式的初始位置分別為最近端或者最遠(yuǎn)端。通過如此，能夠在控制曝光時間的同時，獲得與圖9(b)所說明的掃過模式等同的性能。
另外，上述第I實施方式中，參照圖4(c)對適于靜止圖像拍攝的對焦透鏡的變位模式進(jìn)行了說明。在本實施方式的攝像裝置中的對焦透鏡的變位模式，如上所述，優(yōu)選包含往返變位。因此，難以將圖4(c)所對應(yīng)的變位模式應(yīng)用于本實施方式。在本實施方式中， 要獲得靜止圖像的情況下，只要在圖9或圖11所說明的變位模式之中、用于獲得連續(xù)的三個掃過圖像的變位模式下拍攝靜止圖像即可。
另外，如第2實施方式所說明的那樣，本實施方式中，代替對焦透鏡而將攝像元件的位置按照圖9或圖11所示的變位模式變位，也能獲得上述這種效果。
這樣，即使在使用由進(jìn)行滾動快門動作的CMOS圖像傳感器構(gòu)成的攝像元件的情況下，也能通過連續(xù)重復(fù)用于獲取全焦點圖像的全掃動作和用于求出縱深信息的半掃動作，使該半掃動作逐次交替重復(fù)近掃動作和遠(yuǎn)掃動作，各個掃過動作在規(guī)定的掃過范圍往返兩次，來進(jìn)行三維動態(tài)圖像拍攝。
-工業(yè)可用性-
根據(jù)申請所公開的攝像裝置、集成電路以及攝像方法，能夠通過改善掃過方法來交替連續(xù)高速地獲得全焦點圖像和縱深信息。本申請所公開的攝像裝置、集成電路以及攝像方法，適用于例如民用或者商用的數(shù)碼靜態(tài)相機、數(shù)字?jǐn)z影機等的攝像裝置。
-符號說明_
100,200,300,400 攝像裝置
101對焦透鏡
102對焦透鏡位置檢測部
103對焦透鏡
104攝像元件
105對焦透鏡變位設(shè)定部
106對焦透鏡變位控制部
107曝光/對焦透鏡變位同步部
108讀出電路
109圖像處理部
110記錄部
111快門
112快門開閉指示部
113快門釋放(release)受理部
114曝光時間決定部
115對焦透鏡位置檢測部120 鏡頭202攝像元件位置檢測部203攝像元件驅(qū)動部205攝像元件變位設(shè)定部206攝像元件變位控制部207曝光/攝像元件變位同步部
權(quán)利要求
1.一種攝像裝置，包括攝像元件，其具有以二維狀排列且構(gòu)成攝像面的多個光電變換元件，該攝像元件使上述多個光電變換元件曝光，通過從上述多個光電變換元件讀出電信號來生成圖像信號；鏡頭光學(xué)系統(tǒng)，其向上述攝像元件聚光，并且包含對焦透鏡；驅(qū)動部，其按照上述攝像元件與上述對焦透鏡之間的距離發(fā)生變化的方式，驅(qū)動上述攝像元件或上述對焦透鏡的一方；變位控制部，其構(gòu)成為通過向上述驅(qū)動部輸出指令，從而根據(jù)規(guī)定的變位模式，控制上述被驅(qū)動的上述攝像元件或上述對焦透鏡的變位；以及同步部，其構(gòu)成為根據(jù)上述攝像元件的曝光的定時，控制上述變位控制部，上述規(guī)定的變位模式包括在攝像場景中的第I被攝物距離下合焦的上述對焦透鏡或上述攝像元件的第I合焦位置、和上述攝像場景中的第2被攝物距離下合焦的上述對焦透鏡或上述攝像元件的第2合焦位置之間的不同的范圍內(nèi)，上述攝像元件或上述對焦透鏡進(jìn)行變位的第I類變位模式以及第2類變位模式，上述第I類變位模式以及上述第2類變位模式交替地反復(fù)。
2.根據(jù)權(quán)利要求I所述的攝像裝置，其特征在于，上述第I類變位模式的變位范圍包含上述第2類變位模式的變位范圍的至少一部分。
3.根據(jù)權(quán)利要求2所述的攝像裝置，其特征在于，上述第I類變位模式的變位范圍是上述第I合焦位置與上述第2合焦位置之間的整個區(qū)間。
4.根據(jù)權(quán)利要求3所述的攝像裝置，其特征在于，上述第2類變位模式包含上述第I合焦位置、與上述第I合焦位置及上述第2合焦位置的中間位置的整個區(qū)間為上述變位范圍的第2F類變位模式；以及上述中間位置與上述第2合焦位置的整個區(qū)間為上述變位范圍的第2N類變位模式，第I類變位模式被夾在上述第2F類變位模式以及上述第2N類變位模式之間。
5.根據(jù)權(quán)利要求4所述的攝像裝置，其特征在于，上述第I類變位模式、上述第2F類變位模式以及上述第2N類變位模式，分別在整個變位范圍內(nèi)至少一次往一個方向變位。
6.根據(jù)權(quán)利要求5所述的攝像裝置，其特征在于，上述第I類變位模式和上述第2F類變位模式、及上述第I類變位模式和上述第2N類變位模式，分別連接在一起。
7.根據(jù)權(quán)利要求I 6中任一項所述的攝像裝置，其特征在于，該攝像裝置還具備曝光時間決定部，其根據(jù)上述攝像場景來決定上述攝像元件的曝光時間；以及變位設(shè)定部，其根據(jù)上述第I合焦位置、上述第2合焦位置以及上述曝光時間，決定上述變位模式。
8.根據(jù)權(quán)利要求7所述的攝像裝置，其特征在于，該攝像裝置還具備位置檢測部，其檢測上述被驅(qū)動的上述攝像元件或上述對焦透鏡的位置，上述變位控制部根據(jù)上述位置檢測部的輸出以及上述變位模式，對上述驅(qū)動部指示驅(qū)動量。
9.根據(jù)權(quán)利要求8所述的攝像裝置，其特征在于，該攝像裝置還具備讀出電路，其從上述攝像元件讀出上述圖像信號，上述同步部根據(jù)上述攝像元件的曝光的定時，來控制上述變位控制部以及上述讀出電路。
10.根據(jù)權(quán)利要求I 9中任一項所述的攝像裝置，其特征在于，根據(jù)上述第I類變位模式，基于上述被驅(qū)動的上述攝像元件或上述對焦透鏡進(jìn)行變位的期間內(nèi)得到的圖像信號，生成全焦點圖像。
11.根據(jù)權(quán)利要求I 10中任一項所述的攝像裝置，其特征在于，根據(jù)上述第2類變位模式，基于上述被驅(qū)動的上述攝像元件或上述對焦透鏡進(jìn)行變位的期間內(nèi)得到的圖像信號，生成縱深信息。
12.根據(jù)權(quán)利要求I 11中任一項所述的攝像裝置，其特征在于，上述攝像元件是CCD圖像傳感器。
13.根據(jù)權(quán)利要求I 11中任一項所述的攝像裝置，其特征在于，上述攝像元件是CMOS圖像傳感器
14.根據(jù)權(quán)利要求13所述的攝像裝置，其特征在于，上述第I類變位模式、上述第2F類變位模式以及上述第2N類變位模式，分別至少在整個變位范圍內(nèi)往返變位整數(shù)次。
15.一種集成電路，是攝像裝置的集成電路，該攝像裝置包括攝像元件，其具有以二維狀排列且構(gòu)成攝像面的多個光電變換元件，該攝像元件使上述多個光電變換元件曝光，通過從上述多個光電變換元件讀出電信號來生成圖像信號；鏡頭光學(xué)系統(tǒng)，其向上述攝像元件聚光，并且包含對焦透鏡；以及驅(qū)動部，其按照上述攝像元件與上述對焦透鏡之間的距離發(fā)生變化的方式，驅(qū)動上述攝像元件或上述對焦透鏡的一方，其中，上述集成電路具備變位控制部，其構(gòu)成為通過向上述驅(qū)動部輸出指令，從而根據(jù)規(guī)定的變位模式，控制上述被驅(qū)動的上述攝像元件或上述對焦透鏡的變位；以及同步部，其構(gòu)成為根據(jù)上述攝像元件的曝光的定時，控制上述變位控制部，上述規(guī)定的變位模式包括在攝像場景中的第I被攝物距離下合焦的上述對焦透鏡或上述攝像元件的第I合焦位置、和上述攝像場景中的第2被攝物距離下合焦的上述對焦透鏡或上述攝像元件的第2合焦位置之間的不同的范圍內(nèi)，上述攝像元件或上述對焦透鏡進(jìn)行變位的第I類變位模式以及第2類變位模式，上述第I類變位模式以及上述第2類變位模式交替地反復(fù)。
16.一種攝像方法，是通過用對焦透鏡在攝像元件上匯聚光，以使攝像場景成像的攝像方法，其中該攝像元件具有被排列為二維狀且構(gòu)成攝像面的多個光電變換元件，通過使上述多個光電變換元件曝光，并從上述多個光電變換元件讀出電信號來生成圖像信號，在上述攝像方法中，在第I類變位模式以及第2類變位模式下，一邊使上述對焦透鏡或上述攝像元件變位，一邊使上述多個光電變換元件曝光，其中第I類變位模式以及第2類變位模式是在攝像場景中的第I被攝物距離下合焦的上述對焦透鏡或上述攝像元件的第I合焦位置、和上述攝像場景中的第2被攝物距離下合焦的上述對焦透鏡或上述攝像元件的第2合焦位置之間的不同的范圍內(nèi)，使上述攝像元件或上述對焦透鏡進(jìn)行變位的模式。
全文摘要
本申請公開了一種攝像裝置，包括攝像元件；鏡頭光學(xué)系統(tǒng)，包含對焦透鏡；驅(qū)動部，按照攝像元件與對焦透鏡之間的距離發(fā)生變化的方式，驅(qū)動攝像元件或?qū)雇哥R的一方；變位控制部，構(gòu)成為通過向驅(qū)動部輸出指令，而根據(jù)規(guī)定的變位模式，控制驅(qū)動的攝像元件或?qū)雇哥R的變位；以及同步部，構(gòu)成為根據(jù)攝像元件的曝光的定時，控制變位控制部，規(guī)定的變位模式包括在攝像場景中的第1被攝物距離下合焦的對焦透鏡或攝像元件的第1合焦位置、和攝像場景中的第2被攝物距離下合焦的對焦透鏡或攝像元件的第2合焦位置之間的不同的范圍內(nèi)，攝像元件或?qū)雇哥R進(jìn)行變位的第1類變位模式以及第2類變位模式，第1類變位模式以及第2類變位模式交替地反復(fù)。
文檔編號G06T1/00GK102934003SQ201280001608
公開日2013年2月13日 申請日期2012年4月12日 優(yōu)先權(quán)日2011年4月15日
發(fā)明者島本武史, 河村岳, 物部祐亮 申請人:松下電器產(chǎn)業(yè)株式會社