專利名稱：攝像裝置和半導體電路元件的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及能夠計測距離的攝像裝置和在該攝像裝置中使用的半 導體電路元件。
背景技術(shù)：
作為現(xiàn)有的攝像裝置，有專利文獻1的攝像裝置。圖53是專利文 獻1的攝像裝置的分解立體圖。攝像裝置901包括光圈構(gòu)件902、光學 透鏡陣列903、光學濾光片906、攝像單元907。在該攝像裝置901中， 由具有4個開口部902—1、 902—2、 902 — 3、 902 — 4的光圈構(gòu)件902、 具有4個透鏡903—1、 903— 2、 903— 3、 903 — 4的光學透鏡陣列903 構(gòu)成4個攝像光學系統(tǒng)，通過各系統(tǒng)的光線分別在攝像單元907上的4 個像素群卯7—1、 907 — 2、 907 — 3、 907 — 4上成像。由CCD傳感器 等形成的攝像單元907與驅(qū)動電路908和信號處現(xiàn)電路卯9 一同形成 在半導體基板910上。
信號處理電路909通過驅(qū)動電路908順序讀出攝像單元907的像 素信息，并作為像素信號輸入，根據(jù)各像素信號運算各像素群(907 — 1、 907 — 2、 907 — 3、 907 — 4)中的視差的值，根據(jù)該視差計算距離。
專利文獻1:日本特幵2003 — 143459號公報

發(fā)明內(nèi)容
如上所述，在專利文獻1中記載的現(xiàn)有的攝像裝置中，信號處理 電路909使用驅(qū)動電路908讀出攝像單元907上的4個像素群907 — 1 、 907 — 2、 907 — 3、 907 — 4的全部像素信息，并運算視差。因此，需耍 將全部像素信息從攝像單元907傳送到信號處理電路909的傳送吋間， 與該傳送時間相對應(yīng)地在高速化方面存在界限。即，視差運算的間隔 不能比該傳送時間短。
此外，作為攝像單元907，在使用了滾動快門(rolling shutter)方式的CMOS傳感器的情況下，通過像素群907—1、 907 — 2、 907 — 3、 907—4進行拍攝的時刻不同。在被攝體的動作較快時，在視差運算中 使用的攝像信號不同，因此所求出的視差的精度降低。
本發(fā)明是鑒于上述問題完成的，目的是提供能夠進行高速、高精 度的視差運算的攝像裝置和在該攝像裝置中使用的半導體電路元件。 即，目的是提供一種攝像裝置和半導體電路元件，其通過縮短攝像信 號的傳送時間，能夠進行高速的視差運算，即使被攝體的動作很快， 也能夠進行高精度的視差運算。
為了解決上述的課題，本發(fā)明的攝像裝置包括分別至少包括一 個透鏡的多個透鏡部；在上述多個透鏡部屮一對一地對應(yīng)設(shè)置、分別 具有相對于所對應(yīng)的上述透鏡部的光軸方向大致垂直的受光面的多個 攝像區(qū)域；接受由上述攝像區(qū)域生成的攝像信號的輸入的攝像信號輸 入部；決定從上述攝像區(qū)域向上述攝像信號輸入部傳送的攝像信號的 傳送范圍的傳送范圍決定部；驅(qū)動上述攝像區(qū)域，使得向上述攝像信 號輸入部傳送與由上述傳送范圍決定部所決定的傳送范圍相對應(yīng)的攝 像信號的攝像區(qū)域驅(qū)動部；和根據(jù)傳送到上述攝像信號輸入部的攝像 信號運算視差的視差運算部，上述傳送范圍決定部構(gòu)成為，能夠切換 將在上述多個攝像區(qū)域中的至少兩個攝像區(qū)域中生成的攝像信號決定 為上述傳送范圍的第一動作模式、和將與第一動作模式不同的攝像信 號決定為一 t.述傳送范圍的第二動作模式。
在總是傳送在攝像區(qū)域的整個區(qū)域中生成的攝像信號的情況下， 因為傳送時間為較長的時間，所以難以進行高速的視差運算。于是， 如上所述，通過適當?shù)厍袚Q第一動作模式和第二動作模式，僅傳送需 要傳送的范圍的攝像信號即可，因此能夠進行高速的視差運算。
在上述發(fā)明的攝像裝置中，上述傳送范圍決定部還可以構(gòu)成為， 能夠切換將在上述攝像區(qū)域的大致整個區(qū)域中生成的攝像信號作為上 述傳送范圍的第一動作模式、和將在上述攝像區(qū)域的大致一半的區(qū)域 中生成的攝像信號作為上述傳送范圍的第二動作模式。
此外，在上述發(fā)明的攝像裝置中，可以使上述大致一半的區(qū)域為 上述攝像區(qū)域中傳送順序較早的大致一半的區(qū)域，如果是4個攝像區(qū) 域2行2列排列的情況，則也可以使上述大致一半的區(qū)域為位于對角位置的2個上述攝像區(qū)域。
此外，在上述發(fā)明的攝像裝置中，也可以是，上述攝像區(qū)域被分 割為隔行掃描的多個場，上述傳送范圍決定部構(gòu)成為，能夠切換將在 上述攝像區(qū)域的大致整個區(qū)域中生成的攝像信號作為上述傳送范圍的 第一動作模式、和將上述攝像區(qū)域的一場大小的攝像信號作為上述傳 送范圍的第二動作模式。
此外，在上述發(fā)明的攝像裝置中，上述傳送范圍決定部也可以根 據(jù)與被攝體有關(guān)的信息，切換上述第一動作模式和上述第二動作模式。
此外，在上述發(fā)明的攝像裝置中，上述傳送范圍決定部也可以構(gòu) 成為，在判斷為在視差的運算中需要高速性的情況下，從上述第一動 作模式向上述第二動作模式切換。
此外，在上述發(fā)明的攝像裝置中，上述傳送范圍決定部也可以構(gòu) 成為，在判斷為在視差的運算中需要高精度的情況下，從上述第二動 作模式向上述第一動作模式切換。
此外，在上述發(fā)明的攝像裝置中，上述傳送范圍決定部也可以構(gòu) 成為，在上述第一動作模式和上述第二動作模式的任一個中，均將在 上述多個攝像區(qū)域中的一部分的攝像區(qū)域中生成的攝像信號決定為上 述傳送范圍。
此外，在上述發(fā)明的攝像裝置中，上述傳送范圍決定部也可以構(gòu) 成為，在上述第一動作模式和上述第二動作模式的至少任一個中，將 在對動作的被攝體進行攝像的攝像區(qū)域中生成的攝像信號決定為上述 傳送范圍。
此外，在上述發(fā)明的攝像裝置中，上述傳送范圍決定部也可以構(gòu) 成為，根據(jù)上述被攝體的動作速度，切換上述第一動作模式和上述第 二動作模式。
此外，在上述發(fā)明的攝像裝置中，上述傳送范圍決定部也可以構(gòu) 成為，在上述被攝體的動作快速時，切換為將在多數(shù)攝像區(qū)域中生成 的攝像信號決定為上述傳送范圍的動作模式；在上述被攝體的動作緩 慢時，切換為將在少數(shù)攝像區(qū)域中生成的攝像信號決定為上述傳送范 圍的動作模式。
此外，在上述發(fā)明的攝像裝置中，上述傳送范圍決定部也可以構(gòu)成為，在上述第一動作模式和上述第二動作模式的至少任一個中，使 與上述傳送范圍的攝像信號有關(guān)的像素數(shù)大致一定。
此外，在上述發(fā)明的攝像裝置中，也可以是，上述攝像區(qū)域以對 包括相當于路面的區(qū)域的區(qū)域進行攝像的方式構(gòu)成，上述傳送范圍決 定部構(gòu)成為，在上述第一動作模式和上述第二動作模式的至少任一個 中，將與相當于上述路面的區(qū)域以外的區(qū)域有關(guān)的攝像信號作為上述 傳送范圍。
此外，在上述發(fā)明的攝像裝置中，也可以是，上述攝像區(qū)域以對 包括相當于人的面部的區(qū)域的區(qū)域進行攝像的方式構(gòu)成，上述傳送范 圍決定部構(gòu)成為，在上述第一動作模式和上述第二動作模式的至少任 一個中，將與相當于上述人的面部的區(qū)域有關(guān)的攝像信號作為上述傳 送范圍。
此外，在上述發(fā)明的攝像裝置中，上述多個攝像區(qū)域中的至少2 個攝像區(qū)域也可以構(gòu)成為，通過反復交替地向上述攝像信號輸入部傳 送生成的攝像信號的一部分，將所生成的全部攝像信號向上述攝像信 號輸入部傳送。
進而，上述發(fā)明的攝像裝置還可以包括根據(jù)由上述視差運算部得 到的視差，運算到達被攝體的距離的距離運算部。
此外，本發(fā)明的半導體電路元件是在攝像裝置中使用的半導體電 路元件，該攝像裝置包括分別至少包括一個透鏡的多個透鏡部；在 上述多個透鏡部中一對一地對應(yīng)設(shè)置、分別具有相對于所對應(yīng)的上述 透鏡部的光軸方向大致垂直的受光面的多個攝像區(qū)域，該半導體電路 元件的特征在于，包括接受由上述攝像區(qū)域生成的攝像信號的輸入 的攝像信號輸入部；決定從上述攝像區(qū)域向上述攝像信號輸入部傳送 的攝像信號的傳送范圍的傳送范圍決定部；驅(qū)動上述攝像區(qū)域，使得
向上述攝像信號輸入部傳送與由上述傳送范圍決定部所決定的傳送范
圍相對應(yīng)的攝像信號的攝像元件驅(qū)動部；和根據(jù)傳送到上述攝像信號 輸入部的攝像信號運算視差的視差運算部，上述傳送范圍決定部構(gòu)成 為，能夠切換將在上述多個攝像區(qū)域中的至少兩個攝像區(qū)域中生成的 攝像信號決定為上述傳送范圍的第一動作模式、和將與第--動作模式 不同的攝像信號決定為上述傳送范圍的第二動作模式。


圖1是表示本發(fā)明的實施方式1的攝像裝置的結(jié)構(gòu)的截面圖。
圖2是表示本發(fā)明的實施方式1的攝像裝置的透鏡的結(jié)構(gòu)的平面圖。
圖3A是表示本發(fā)明的實施方式1的攝像裝置的電路部的結(jié)構(gòu)的平 面圖。
圖3B是表示本發(fā)明的實施方式1的攝像裝置的攝像元件的結(jié)構(gòu)的 平面圖。
圖4是本發(fā)明的實施方式1的照相機模塊的彩色濾光片的特性圖。 圖5是用于說明在本發(fā)明的實施方式1的攝像裝置中，處于無限
遠的物體像的位置的圖。
圖6是用于說明在本發(fā)明的實施方式1的攝像裝置中，位于有限
距離的位置的物體像的位置的圖。
圖7是表示本發(fā)明的實施方式1的攝像裝置的結(jié)構(gòu)的框圖。
圖8是用于說明本發(fā)明的實施方式1的攝像裝置的攝像信兮的截
取位置的圖。
圖9是表示本發(fā)明的實施方式1的攝像裝置的攝像信號的傳送的 時序圖。
圖10A是表示本發(fā)明的實施方式1的攝像裝置的動作的流程圖。 圖10B是表示本發(fā)明的實施方式1的攝像裝置的動作的變形例的 流程圖。
圖IIA是表示本發(fā)明的實施方式1的攝像裝置的運算部的動作的 流程圖。
圖11B是表示本發(fā)明的實施方式1的攝像裝置的運算部的動作的 變形例的流程圖。
圖12是表示本發(fā)明的實施方式1的攝像裝置的視差運算的動作的 流程圖。
圖13是表示本發(fā)明的實施方式1的攝像裝置的利用第-一攝像信號 和第二攝像信號的視差運算的動作的流程圖。
圖14是說明本發(fā)明的實施方式1的攝像裝置的利用第一攝像信號 和第二攝像信號的視差運算中的第一攝像信號的分割塊和運算順序的圖。
圖15是說明本發(fā)明的實施方式1的攝像裝置的利用第一攝像信號 和第二攝像信號的視差運算中的第二攝像信號的分割塊和運算順序的 圖。
圖16是說明在本發(fā)明的實施方式1的攝像裝置中，在利用第一攝 像信號和第二攝像信號時的視差運算中的視差評價值的運算區(qū)域的
A 圖17是說明本發(fā)明的實施方式1的攝像裝置的利用第一攝像信號 和第二攝像信號時的視差運算中的視差與視差評價值的關(guān)系的圖。
圖18是說明在本發(fā)明的實施方式1的攝像裝置中，在利用第一攝 像信號和第二攝像信號時的視差運算中的視差評價值的可靠性的運算 區(qū)域的圖。
圖19是說明本發(fā)明的實施方式1的攝像裝置的變形的場圖像的圖。
圖20是表示本發(fā)明的實施方式1的攝像裝置的變形的攝像信號的
傳送的時序圖。
圖21是表示本發(fā)明的實施方式2的攝像裝置的結(jié)構(gòu)的截面圖。 圖22是表示本發(fā)明的實施方式2的攝像裝置的電路部的結(jié)構(gòu)的平 面圖。
圖23是本發(fā)明的實施方式2的照相機模塊的彩色濾光片的特性圖。
圖24是表示本發(fā)明的實施方式2的攝像裝置的結(jié)構(gòu)的框圖。 圖25是用于說明本發(fā)明的實施方式2的攝像裝置的攝像信號的截 取位置的圖。
圖26是表示本發(fā)明的實施方式2的攝像裝置的攝像信號的傳送的 吋序圖。
圖27是表示本發(fā)明的實施方式2的攝像裝置的動作的流程圖。 圖28是表示本發(fā)明的實施方式2的攝像裝置的運算部的動作的流 程圖。
圖29是表示本發(fā)明的實施方式2的攝像裝置的視差運算的動作的 流程圖。圖30是表示本發(fā)明的實施方式2的攝像裝置的利用第二攝像信號 和第三攝像信號的視差運算的動作的流程圖。
圖31是說明本發(fā)明的實施方式2的攝像裝置的利用第二攝像信號 和第三攝像信號的視差運算中的第二攝像信號的分割塊和運算順序的 圖。
圖32是說明本發(fā)明的實施方式2的攝像裝置的利用第二攝像信號
和第三攝像信號的視差運算中的第三攝像信號的分割塊和運算順序的 圖。
圖33是說明在本發(fā)明的實施方式2的攝像裝置的利用第二攝像信 號和第三攝像信號時的視差運算中的視差評價值的運算區(qū)域的圖。
圖34是說明本發(fā)明的實施方式2的攝像裝置的利用第二攝像信號 和第三攝像信號時的視差運算中的視差評價值的可靠性的運算區(qū)域的圖。
圖35是表示本發(fā)明的實施方式2的攝像裝置的利用第一攝像信號 和第四攝像信號的視差運算的動作的流程圖。
圖36是說明本發(fā)明的實施方式2的攝像裝置的利用第一攝像信號 和第四攝像信號的視差運算中的第四攝像信號的分割塊和運算順序的圖。
圖37是說明在本發(fā)明的實施方式2的攝像裝置的利用第一攝像信 號和第四攝像信號時的視差運算中的視差評價值的運算區(qū)域的圖。
圖38是說明本發(fā)明的實施方式2的攝像裝置的利用第一攝像信號 和第四攝像信號時的視差運算中的視差評價值的可靠性的運算區(qū)域的 圖。
圖39是用于說明本發(fā)明的實施方式2的攝像裝置的變形的攝像信 號的截取位置的圖。
圖40是表示本發(fā)明的實施方式3的攝像裝置的結(jié)構(gòu)的截面圖。 圖41是表示本發(fā)明的實施方式3的攝像裝置的透鏡的結(jié)構(gòu)的平面圖。
圖42是表示本發(fā)明的實施方式3的攝像裝置的電路部的結(jié)構(gòu)的平 面圖。
圖43是表示本發(fā)明的實施方式3的攝像裝置的結(jié)構(gòu)的框圖。圖44是表示本發(fā)明的實施方式3的攝像裝置的動作的流程圖。
圖45是用于說明本發(fā)明的實施方式3的攝像裝置的攝像信號的截
取位置的圖。
圖46是說明本發(fā)明的實施方式3的攝像裝置的利用第一攝像信號 和第二攝像信號的視差運算中的第一攝像信號的分割塊、運算順序和 傳送范圍標志的圖。
圖47是說明本發(fā)明的實施方式3的攝像裝置的利用第一攝像信號 和第二攝像信號的視差運算中的第二攝像信號的分割塊、運算順序和 傳送范圍標志的圖。
圖48是表示本發(fā)明的實施方式3的攝像裝置的運算部的動作的流 程圖。
圖49是表示本發(fā)明的實施方式3的攝像裝置的視差運算的動作的 流程圖。
圖50是說明本發(fā)明的實施方式3的攝像裝置的傳送范圍的圖。 圖51是說明本發(fā)明的實施方式3的攝像裝置的變形的傳送范圍的圖。
圖52是說明本發(fā)明的實施方式3的攝像裝置的變形的傳送范1I的圖。
圖53是現(xiàn)有技術(shù)的專利文獻1的攝像裝置的分解立體圖。 符號說明
101、 201、 301:照相機模塊
110、 310:透鏡模塊
111、 311:鏡筒
112、 312:上部蓋玻璃
113、 313:透鏡
113a、 313a:第一透鏡部 113b、 313b:第二透鏡部 113c:第三透鏡部
113d:第四透鏡部
120、 220、 320:電路部
121、 321:基板122、 322:封裝
123、 223、 323:攝像元件
124、 224:封裝蓋玻璃 124a、 224a:第一彩色濾光片 124b、 224b:第二彩色濾光片 124c、 224c:第三彩色濾光片 124d、 224d:第四彩色濾光片 124e、 224e:遮光部
125、 225、 325: SLSI 127、 327:金線
131、 231、 331:系統(tǒng)控制部
132、 232、 332:攝像元件驅(qū)動部 332a:第一攝像元件驅(qū)動部 332b:第二攝像元件驅(qū)動部
133、 233、 333:攝像信號輸入部
134、 234、 334:前處理部
135、 335:輸入緩沖器 135a、 335a:第一輸入緩沖器 135b、 335b:第二輸入緩沖器 135c:第三輸入緩沖器
135d:第四輸入緩沖器
136、 236、 336:圖像處理部
137、 337:輸出緩沖器 137a、 337a:第--輸出緩沖器 137b、 337b:第二輸出緩沖器
138、 338:輸入輸出部
141、 241、 341:運算緩沖器
141a、 241a、 341a:第一運算緩沖器 141b、 241b、 341b:第二運算緩沖器
142、 242、 342:視差運算部
143、 343:距離運算部144、 344:輸出范圍決定部
具體實施例方式
以下，參照

本發(fā)明的實施方式的攝像裝置。 (實施方式1)
根據(jù)本發(fā)明的實施方式1的攝像裝置，傳送范圍決定部適當變更 攝像信號的傳送范圍。特別是，切換將在攝像區(qū)域的大致整個區(qū)域中 生成的攝像信號作為傳送范圍的情況和將在攝像區(qū)域的大致一半的區(qū) 域(傳送順序較早的區(qū)域)中生成的攝像信號作為傳送范圍的情況。 即，在要求高速性的情況下，將在攝像區(qū)域的大致一半的區(qū)域(傳送 順序較早的區(qū)域)中生成的攝像信號作為傳送范圍。由此，在需要高 速性的情況下，將傳送限定為在一半的區(qū)域中生成的攝像信號，閑此 與整個區(qū)域的情況相比，能夠減少一半傳送所需要的時間。從而，能 夠?qū)崿F(xiàn)能夠進行高速的視差運算、距離運算的攝像裝置。
以下，參照

本發(fā)明的實施方式1的攝像裝置。
圖1是表示本發(fā)明的實施方式1的攝像裝置的結(jié)構(gòu)的截而圖。如
圖1所示，攝像裝置10具有透鏡模塊部110和電路部120。
透鏡模塊部110具有鏡筒111、上部蓋玻璃112和透鏡113。電路 部120具有基板121、封裝(package) 122、攝像元件123、封裝蓋玻 璃124和作為半導體電路元件的系統(tǒng)LSI (以下，記為SLSI) 125。
鏡筒111是圓筒狀，為了防止光的漫反射，其內(nèi)壁而是消光的黑 色，使樹脂射出成形而形成。上部蓋玻璃112是圓盤狀，由透明樹脂 形成，通過粘接劑等固定在鏡筒11的上部的內(nèi)壁上，其表面設(shè)置有 防止由摩擦等引起的損傷的保護膜和防止入射光的反射的反射防J i:: 膜。
圖2是表示本發(fā)明的實施方式1的攝像裝置的透鏡的結(jié)構(gòu)的平面 圖。透鏡13是大致圓盤狀，由玻璃、透明樹脂形成，以2行2列的 棋盤格狀配置第一透鏡部113a、第二透鏡部113b、第三透鏡部113c 和第四透鏡部113d。沿著第一^^第四透鏡部U3a 113d的配置方向， 如圖2所示設(shè)定x軸和y軸。在第一透鏡部113a、第二透鏡部l3b、 第三透鏡部113c和第四透鏡部113d處，從被攝體側(cè)入射的光出射到攝
15像元件123側(cè)，在攝像元件123上成像為4個像。另外，如圖2所示， 第一透鏡部113a的光軸與第二透鏡部113b的光軸在水平方向(x軸方 向)上僅離開D，在垂直方向(y軸方向)上一致。第一透鏡部113a 的光軸與第三透鏡部113c的光軸在水平方向(x軸方向)上一致，在 垂直方向(y軸方向)上僅離幵D。第三透鏡部113c的光軸與第四透 鏡部113d的光軸在水平方向(x軸方向)上僅離開D，在垂直方向(y 軸方向)上一致。
基板121由樹脂基板構(gòu)成，鏡筒111的底面與基板121的上表面 接觸并通過粘接劑等固定。這樣固定透鏡模塊部110和電路部120，構(gòu) 成攝像裝置101。
封裝122由具有金屬端子的樹脂構(gòu)成，在鏡筒111的內(nèi)側(cè)，在基 板121的上表面焊接其金屬端子部等而固定。
攝像元件123是逐行掃描CCD傳感器，以攝像元件123的受光面 與第-一透鏡部113a、第二透鏡部113b、第三透鏡部113c和第四透鏡部 113d的光軸大致垂直的方式配置。攝像元件123的各端子通過引線接 合由金線127連接到封裝122的內(nèi)側(cè)的底部的金屬端子上，通過基板 121，與SLSI125電連接。在攝像元件123的受光面上，從第-一透鏡部 113a、第二透鏡部113b、第三透鏡部113c和第四透鏡部113d出射的 光分別成像，其光信息由光電二極管變換為電信息，該電信息傳送到 SLSI125。
圖3A是表示本發(fā)明的實施方式1的攝像裝置的電路部的結(jié)構(gòu)的平 面圖。封裝蓋玻璃124是平板狀，由透明樹脂形成，通過粘接等固定 在封裝122的上表面。在封裝蓋玻璃124的上表面，通過蒸鍍等配置 有第一彩色濾光片124a、第二彩色濾光片124b、第三彩色濾光片124c、 第四彩色濾光片124d和遮光部124e。此外，在封裝蓋玻璃124的下表 面上，通過蒸鍍等配置有反射防止膜。
圖3B是表示本發(fā)明的實施方式1的攝像裝置的攝像元件的結(jié)構(gòu)的 平面圖。如圖3B所示，攝像元件123由第一攝像區(qū)域123a、第二攝像 區(qū)域123b、第三攝像區(qū)域123c和第四攝像區(qū)域123d構(gòu)成。這些第一 第四攝像區(qū)域123a 123d以各自的受光面與第一 第四透鏡部113a 113d的光軸大致垂直的方式2行2列地進行配置。在這些各攝像區(qū)域123a 123d中生成攝像信號。
如上所述，在本實施方式中1個攝像元件具有多個攝像區(qū)域，但 本發(fā)明的攝像裝置并不限定于此，也可以以其它方式具有多個攝像區(qū) 域。例如也可以是1個攝像元件為1個攝像區(qū)域，通過設(shè)置多個這樣 的攝像元件而具有多個攝像區(qū)域的方式。
圖4是本發(fā)明的實施方式1的照相機模塊的彩色濾光片的特性圖。 第一彩色濾光片124a和第二彩色濾光片124b具有由圖4的IR表不的 主要透過近紅外光的分光透射特性(以波長入1為中心的透射特性。例 如，入l二870nm)，第三彩色濾光片124c和第四彩色濾光片124d具有 由圖4的G表示的主要透過綠色光的分光透射特性(以波長入2為中 心的透射特性。例如，A2二500nm)。
從而，從第--透鏡部113a的上部入射的物體光從第一透鏡部113a 的下部射出，利用第一彩色濾光片124a主要透過近紅外光，在第 -攝 像區(qū)域123a的受光部上成像，因此，第一攝像區(qū)域123a接受物體光 中的近紅外光成分。此外，從第二透鏡部113b的上部入射的物體光從 第二透鏡部113b的下部射出，利用第二彩色濾光片224b主要透過近 紅外光，在第二攝像區(qū)域123b的受光部上成像，因此，第二攝像區(qū)域 123b接受物體光中的近紅外光成分。此外，從第三透鏡部113c的上部 入射的物體光從第三透鏡部113c的下部射出，利用第三彩色濾光片 224c主要透過綠色光，在第三攝像區(qū)域123c的受光部上成像，因此， 第三攝像區(qū)域123c接受物體光中的綠色光成分。而且，從第四透鏡部 113d的上部入射的物體光從第四透鏡部113d的下部射出，利用第四彩 色濾光片224d主要透過綠色光，在第四攝像區(qū)域123d的受光部上成 像，因此，第四攝像區(qū)域123d接受物體光中的綠色光成分。
SLSI125按照后述的方法驅(qū)動攝像元件123，輸入來自攝像元件 123的電信息，進行各種運算，與上位CPU進行通信，將圖像信息、 距離信息等輸出到外部。另夕卜，SLSI125與電源(例如3.3V)和地(例 如OV)連接。
接著，說明被攝體距離與視差的關(guān)系。本發(fā)明的實施方式1的攝 像裝置具有4個透鏡部(第一透鏡部U3a、第二透鏡部U3b、第三透 鏡部113c和第四透鏡部113d)，因此，4個透鏡部分別形成的4個物體像的相對位置根據(jù)被攝體距離而改變。
圖5是用于說明在本發(fā)明的實施方式1的攝像裝置中，處于無限 遠的物體像的位置的圖。圖5中，為了簡單，在透鏡部113中，僅表
達第一透鏡部113a和第二透鏡部113b。來自無限遠的物體10的光向 第一透鏡部113a的入射光Ll與向第二透鏡部113b的入射光L2平行。 因此，第一透鏡部113a與第二透鏡部113b的距離等于攝像元件123 上的物體像lla與物體像llb的距離。g卩，沒有視差。
圖6是用于說明本發(fā)明的實施方式1的攝像裝置中，位于有限距 離的位置的物體像的位置的圖。圖6中，為了簡單，在透鏡部113中， 僅表達第一透鏡部113a和第二透鏡部113b。來自有限距離的物體12 的光向第一透鏡部113a的入射光Ll與向第二透鏡部113b的入射光L2 不平行。從而，相比于第一透鏡部113a與第二透鏡部113b的距離，攝 像元件123上的物體像13a與物體像13b的距離較長。g卩，存在視差。
如果將到達物體像12的距離(被攝體距離)記為A，將第一透鏡 部113a與第二透鏡部113b的距離記為D，將透鏡部113a、 113b的焦 距記為f，夾著圖5的直角的兩邊的長度為A、 D的直角三角形與夾著 直角的兩邊的長度為f、 A的直角三角形相似，從而視差位A用下述式
1表示c
A =f D / A......式1
其它的透鏡部間，同樣的關(guān)系也成立。這樣，與被攝體距離相對 應(yīng)地，4個透鏡部113a、 113b、 113c、 113d分別形成的4個物體像的 相對的位置改變。例如，如果減小被攝體距離A，則視差值A(chǔ)增大。
接著，說明本發(fā)明的實施方式1的攝像裝置的動作。圖7是表示 本發(fā)明的實施方式1的攝像裝置的結(jié)構(gòu)的框圖。SLSI125具有系統(tǒng)控制 部131、攝像元件驅(qū)動部132、攝像信號輸入部133、前處理部134、 輸入緩沖器135、運算部136、輸出緩沖器137和輸入輸出部38。輸 入緩沖器135具有第一輸入緩沖器135a、第二輸入緩沖器135b、第三 輸入緩沖器135c和第四輸入緩沖器135d。運算部136具有運算緩沖器 141、視差運算部142、距離運算部143和傳送范圍決定部144。運算 緩沖器141具有第一運算緩沖器141a和第二運算緩沖器141b。輸出緩 沖器137具有第一輸出緩沖器137a和第二輸出緩沖器137b。系統(tǒng)控制部131由CPU (中央運算處理裝置Central Processing Unit)、邏輯電路等構(gòu)成，控制SLSI125的整體。
攝像元件驅(qū)動部132由邏輯電路等構(gòu)成，產(chǎn)生驅(qū)動攝像元件123 的信號，向攝像元件123施加與該信號相應(yīng)的電壓。
攝像信號輸入部133以CDS電路(相關(guān)雙采樣電路Correlated Double Sampling Circuit )、 AGC (自動增益控制器Automatic Gain Controller)、 ADC (模擬/數(shù)字轉(zhuǎn)換器Analog Digital Converter)串 聯(lián)連接的方式構(gòu)成，輸入來自攝像元件123的電信號，通過CDS電路 去除固定噪聲，通過AGC調(diào)整增益，通過ADC從模擬信號變換成數(shù) 字值作為攝像信號IO。
傳送范圍決定部144按照后述的方法決定傳送范圍標志FO。當傳 送范圍標志FO二l (第一動作模式)時，在攝像區(qū)域的整個區(qū)域中生 成的攝像信號成為傳送范圍，當傳送范圍標志FO二2 (第二動作模式) 時，在攝像區(qū)域的一半的區(qū)域中生成的攝像信號成為傳送范圍。另外， 傳送范圍標志初始化為FO二l。
上述攝像元件驅(qū)動部132驅(qū)動攝像元件123，使得向攝像信號輸入 部133傳送由傳送范圍決定部144決定的傳送范圍的攝像信號。由此， 從攝像元件123向攝像信號輸入部133傳送特定傳送范闈的攝像信號。
圖8是用于說明本發(fā)明的實施方式1的攝像裝置的攝像信號的截 取位置的圖。圖9是表示本發(fā)明的實施方式1的攝像裝置的攝像信號 的傳送的時序圖。在傳送范圍標志FO二l吋，因為傳送范圍是在攝像 區(qū)域的整個區(qū)域中生成的攝像信號，所以如圖8 (a)那樣，沿著水平 方向傳送HO像素的攝像信號，沿著垂直方向傳送V0像素的攝像信號。 即，輸入到攝像信號輸入部133中的攝像信號IO (x， y)在x方向具 有H0像素，在y方向具有VO像素，按照IO (0， 0) ((x， y) = (0，
0))、 10 (1， 0)、 10 (2， 0)、 ......、 10 (HO—l， V0—1)的順序輸入，
并依次傳送到前處理部134。如圖9 (a)所示，從垂直同步信號21a 的上升沿開始的一定期間之后，在信號23a的高電平的定時，從CCD 傳感器的光電二極管向垂直傳送CCD傳送電荷，在信號24a的高電平 下，電荷依次在垂直CCD、水平CCD內(nèi)傳送，在攝像信號輸入部133 中，從模擬信號變換成數(shù)字信號的攝像信號并輸入。另一方面，當傳送范圍標志FO二2時，因為傳送范圍是在攝像區(qū) 域的一半的區(qū)域中生成的攝像信號，所以如圖8 (b)所示，在水平方
向傳送H0像素，在垂直方向傳送V0/2像素的攝像信號。g卩，從攝 像信號輸入部133輸入的攝像信號I0 (x， y)在x方向具有HO像素， 在y方向具有V0/2像素，按照IO (0， 0) ((x， y) = (0， O))、 10
(1， 0)、 10 (2， 0)、 ......、 10 (H0—1， V0/2—1)的順序輸入，并
依次傳送到前處理部134。在圖8 (b)中，上半部分沒有陰影線的部 分表示傳送的像素(作為傳送范圍的區(qū)域)，下半部分的陰影線部分表 示不傳送的像素(不是傳送范圍的區(qū)域)。如圖9 (b)所示，從垂直同 步信號21b的上升沿開始的一定期間之后，在信號22b的高電平下， 將殘留在垂直CCD內(nèi)的電荷轉(zhuǎn)出(掃含出t)至水平CCD,在信號 23b的高電平的定時，從CCD傳感器的光電二極管向垂直傳送CCD 傳送電荷，在信號24b的高電平下，依次在垂直CCD、水平CCD內(nèi)傳 送電荷，在攝像信號輸入部133中，從模擬信號變換成數(shù)字信號的攝 像信號并輸入。另夕卜，F(xiàn)O二2時的傳送范圍被設(shè)定為FO二l時的傳送 范圍的 一 半[I ，最初被傳送的- -方。
與傳送范圍標志FO二l (第一動作模式)時的電荷的傳送吋間(信 號24a為高電平的期間)相比較，傳送范圍標志FO二2 (第二動作模 式)時的電荷的傳送吋間(信號24b為高電平的期間)是大約---半， 因此能夠縮短傳送1個圖像的時間間隔。另夕卜，因為不進行FO二l (第 一動作模式)時的電荷的轉(zhuǎn)出，僅在FO = 2 (第二動作模式)時進行 電荷的轉(zhuǎn)出，因此不需要FO二l (第一動作模式)時的電荷的轉(zhuǎn)出時 間，能夠防止FO二l (第一動作模式)時的傳送1個圖像的時間間隔 的增大。此外，F(xiàn)O=2 (第二動作模式)時的電荷的轉(zhuǎn)出僅是前次沒有 進行傳送的垂直CCD (即，在實施方式l中是V0/2列)即足夠，由 此，與進行全列的垂直CCD的轉(zhuǎn)出時相比較，能夠?qū)魉蚻個圖像的 吋間間隔的增大抑制為最小限度。
前處理部134由邏輯電路等構(gòu)成，從攝像信號10截取圖像，進行 強度修正處理，并依次傳送至輸入緩沖器135。在FO二l時，傳送范 圍是在攝像區(qū)域的整個區(qū)域中生成的攝像信號，因此生成第一攝像信 號Il、第二攝像信號I2、第三攝像信號I3和第四攝像信號I4，依次傳
20送到輸入緩沖器135。第一攝像信號II、第二攝像信號12、第三攝像
信號13和第四攝像信號14是根據(jù)分別通過第一透鏡部113a、第二透鏡 部113b、第三透鏡部113c和第四透鏡部114d被成像的被攝體像而得 到的。如圖8 (a)和下述式2所示，以(x01， y01)為原點，將攝像 信號10沿著x方向截取Hl像素，沿著y方向截取VI像素，并將通過 第一強度修正系數(shù)ksl已進行修正的信號作為第一攝像信號Il。此外， 如圖8 (a)和下述式3所示，以(x02， y02)為原點，將攝像信號10 沿著x方向截取Hl像素，沿著y方向截取Vl像素，并將通過第二強 度修正系數(shù)ks2已進行修正的信號作為第二攝像信號I2。此外，如圖8 (a)和下述式4所示，以(x03， y03)為原點，將攝像信號10沿著x 方向截取Hl像素，沿著y方向截取VI像素，并將通過第三強度修正 系數(shù)ks3已進行修正的信號作為第三攝像信號I3。此外，如圖8 (a) 和下述式5所示，以(x04， y04)為原點，將攝像信號IO沿著x方向 截取H1像素，沿著y方向截取Vl像素，并將通過第四強度修」卜:系數(shù) ks4已進行修正的信號作為第四攝像信號I4。
11 (x， y) =ksl (x， y) "0 (x + x01， y + y01)......式2
12 (x， y) 二ks2 (x， y) "0 (x + x02， y + y02)......式3
13 (x， y) 二ks3 (x， y) * 10 (x+x03， y + y03)......式4
14 (x， y) 二ks4 (x， y) * 10 (x+x04， y+y04)......式5
第一強度修正系數(shù)ksl (x， y)、第二強度修正系數(shù)ks2 (x， y)、
第三強度修正系數(shù)ks3 (x， y)和第四強度修正系數(shù)ks4 (x， y)，表示 第一攝像信號Il、第二攝像信號I2、第三攝像信號I3和第四攝像信號 14的坐標(x， y)的強度修正系數(shù)，在檢査工序等中拍攝特定圖像而 決定，保存在EEPROM、閃存中。另外，也可以不具有各像素的系數(shù) 而僅具有代表點，并使用該代表點通過線性內(nèi)插求取第---強度修正系 數(shù)ksl (x， y)、第二強度修正系數(shù)ks2 (x， y)、第三強度修正系數(shù)ks3 (x， y)和第四強度修正系數(shù)ks4 (x， y)。此外，也可以建立近似式 并僅具有其系數(shù)，生成各個坐標的第一強度修正系數(shù)ksl (x， y)、第 二強度修正系數(shù)ks2 (x， y)、第三強度修正系數(shù)ks3 (x， y)和第四強 度修正系數(shù)ks4 (x， y)。此外，為了校正透鏡的光軸的偏移等，也可 以適當?shù)剡M行坐標變換。另一方面，在FO二2時，傳送范圍是在攝像區(qū)域的一半的區(qū)域中 生成的攝像信號，因此生成第一攝像信號I1和第二攝像信號I2，并依 次傳送到輸入緩沖器135。與FO二l時(傳送整個區(qū)域時)相比較， 省略涉及第三攝像信號B和第四攝像信號14的處理。有關(guān)第一攝像信 號II和第二攝像信號12的處理是同樣的，因此省略說明。
在FO=l時，第一輸入緩沖器135a由DRAM (Dynamic Random Access Memory:動態(tài)隨機存取存儲器)等構(gòu)成，順序讀入第一攝像信 號Il，保存HPV1像素(沿x方向Hl像素，沿y方向Vl像素)的 數(shù)據(jù)。第二輸入緩沖器135b由DRAM等構(gòu)成，順序讀入第二攝像信 號12，保存HPV1像素(沿x方向HI像素，沿y方向Vl像素)的 數(shù)據(jù)。第三輸入緩沖器135c由DRAM等構(gòu)成，順序讀入第三攝像信 號13，保存HPV1像素(沿x方向Hl像素，沿y方向Vl像素)的 數(shù)據(jù)。第四輸入緩沖器135d由DRAM等構(gòu)成，順序讀入第四攝像信 號14，保存H"V1像素(沿x方向HI像素，沿y方向VI像素)的 數(shù)據(jù)。
另一方面，在FO = 2時，生成第-一攝像信號II和第二攝像信號12， 并依次輸入到輸入緩沖器135。與FO=l時(傳送整個區(qū)域吋)相比 較，省略涉及第三輸入緩沖器135c和第四輸入緩沖器135d的處理。 有關(guān)第一輸入緩沖器135a和第二輸入緩沖器135b的處理是同樣的， 因此省略說明。
運算咅l〗136包括由SRAM (Static Random Access Memory:靜態(tài)
隨機存取存儲器)構(gòu)成的第一運算緩沖器141a、第二運算緩沖器141b; 由邏輯電路、CPU等構(gòu)成的視差運算部142;由邏輯電路、CPU等構(gòu) 成的距離運算部143;和由邏輯電路、CPU等構(gòu)成的傳送范圍決定部 144。在FO二l時，運算部136以塊(block)單位讀入第一攝像信號 II、第二攝像信號I2、第三攝像信號I3和第四攝像信號I4，并保存到 第一運算緩沖器141a、和第二運算緩沖器141b中，在視差運算部142 中根據(jù)第一運算緩沖器"la和第二運算緩沖器141b的數(shù)據(jù)等運算視 差，在距離運算部143中根據(jù)求出的視差運算距離，將求出的距離數(shù) 據(jù)傳送到輸出緩沖器137。
另一方面，在FO二2時，傳送范圍是在攝像區(qū)域的一半的區(qū)域中生成的攝像信號，從而，僅傳送第一攝像信號I1和第二攝像信號I2， 因此，運算部136以塊單位讀入第一攝像信號II和第二攝像信號12，
并保存在第一運算緩沖器141a、和第二運算緩沖器141b中，在視差運 算部142中根據(jù)第一運算緩沖器141a和第二運算緩沖器141b的數(shù)據(jù) 等運算視差，在距離運算部143中根據(jù)求出的視差運算距離，將求出 的距離數(shù)據(jù)傳送到輸出緩沖器137。
輸出緩沖器137由DRAM等構(gòu)成，保存從輸入緩沖器135傳送來 的圖像數(shù)據(jù)和從運算部136傳送來的距離數(shù)據(jù)，依次傳送到輸入輸出 部138。
輸入輸出部138進行與上位CPU (未圖示)的通信，向上位CPU、 外部存儲器(未圖示)和液晶顯示器等外部顯示裝置(未圖示)輸出 圖像數(shù)據(jù)和距離數(shù)據(jù)。
圖IOA是表示本發(fā)明的實施方式1的攝像裝置的動作的流程圖。 利用SLSI125的系統(tǒng)控制部131，攝像裝置101如該流程圖所示動作。
在步驟S1010中，攝像裝置101開始動作。例如，上位CPU (未 圖示)通過輸入輸出部136向攝像裝置101發(fā)出動作開始的命令，由 此攝像裝置101開始動作。接著，執(zhí)行步驟S1020A。
在步驟S1020A中，進行傳送范圍的初始化處理。在本實施方式中， 通過該初始化處理，設(shè)定傳送范圍標志F0^1 (第一動作模式)。接著， 執(zhí)行步驟S1030。
在步驟S1030中，輸入攝像信號。根據(jù)系統(tǒng)控制部131的命令， 攝像元件驅(qū)動部132隨時對攝像元件123輸出用于電子快門、進行傳 送的信號。結(jié)果，在傳送范圍標志FO二l (第一動作模式)時，攝像 信號輸入部133沿x方向輸入H0像素，沿y方向輸入VO像素，即，
按照IO (0， 0) ((x， y) = (0， O))、 10 (1， 0)、 10 (2， 0)、......、
10 (H0—1， V0—1)的順序輸入攝像信號IO (x， y)，并依次傳送到前 處理部134。前處理部134從攝像信號10截取圖像，進行強度修正處 理，生成第一攝像信號Il、第二攝像信號I2、第三攝像信號I3和第四 攝像信號I4，將第一攝像信號Il、第二攝像信號I2、第三攝像信號I3 和第四攝像信號14分別依次傳送到第一輸入緩沖器135a、第二輸入緩 沖器135b、第三輸入緩沖器135c和第四輸入緩沖器135d。另一方面，在傳送范圍標志FO = 2 (第二動作模式)時，攝像信
號輸入部133沿x方向輸入H0像素，沿y方向僅輸入V0 / 2像素， 即，按照IO (0， 0) ((x， y) 二 (0， O))、 10 (1， 0)、 10 (2， 0)、……、 10 (H0—1， V0/2—l)的順序輸入攝像信號IO (x， y)，并依次傳送 到前處理部134。前處理部134從攝像信號10截取圖像，進行強度修 正處理，生成第一攝像信號Il和第二攝像信號I2，將第一攝像信號Il 和第二攝像信號分別依次傳送到第一輸入緩沖器135a和第二輸入緩沖 器135b。接著，執(zhí)行步驟S1040。
在步驟S1040中，將保存在第一輸入緩沖器135a中的第一攝像信 號Il傳送到第一輸出緩沖器137a，第一輸出緩沖器137a將其作為圖 像數(shù)據(jù)保存。接著，執(zhí)行步驟S1100A。
在步驟S1100A中，生成距離數(shù)據(jù)，并依次傳送到第二輸出緩沖器 137b。此外，決定傳送范圍，設(shè)定傳送范圍標志FO。該動作的詳細過 程在后面敘述。接著，執(zhí)行步驟S1910。
在步驟S1910中，將數(shù)據(jù)輸出到外部。輸入輸出部138將第--輸 出緩沖器137a上的圖像數(shù)據(jù)和第二輸出緩沖器137b上的距離數(shù)據(jù)輸 出到上位CPU (未圖示)、外部顯示裝置(未圖不)。接著，執(zhí)行歩驟 S1920。
在歩驟S1920中，判斷是否結(jié)朿動作。例如，系統(tǒng)控制部131通 過輸入輸出部136，與上位CPU (未圖示)通信，請求是否結(jié)束動作 的命令。并且，如果上位CPU命令結(jié)束則結(jié)束動作。接著，執(zhí)行歩驟 S1930。另- 方面，如果上位CPU沒有命令結(jié)束則繼續(xù)動作，接著， 執(zhí)行步驟S1030。即，只要上位CPU沒有命令結(jié)朿，則繼續(xù)執(zhí)行步驟 S1030、步驟S1040、步驟S1100A和步驟S1910的循環(huán)。
在歩驟S1930結(jié)束動作。
接著，說明步驟S1100A中的動作的詳細過程。圖HA是表示本 發(fā)明的實施方式1的攝像裝置的運算部的動作的流程圖。圖11A的流 程圖表示步驟S1100A的動作的詳細過程。在步驟S1100A的運算中， 首先，執(zhí)行步驟SlllO。
在步驟S1110中，開始運算的動作。接著，執(zhí)行步驟S1200。 在步驟S1200中，執(zhí)行視差運算。圖12是表示本發(fā)明的實施方式
241的攝像裝置的視差運算的動作的流程圖。圖12的流程圖表示步驟
S1200的動作的詳細過程。在步驟S1200的運算中，首先，執(zhí)行步驟 S1210。
在步驟S1210中，開始視差運算的動作。接著，執(zhí)行步驟S1220。 在步驟S1220中，根據(jù)傳送范圍標志FO而產(chǎn)生分支。當傳送范圍 標志F0二1時(S1220中的Y)，傳送范圍是在攝像區(qū)域的整個區(qū)域中 生成的攝像信號，接著執(zhí)行步驟S1230a。另一方面，當傳送范圍標志 FO二2時(S1220中的N)，傳送范圍是在攝像區(qū)域的一半的區(qū)域中生 成的攝像信號，接著，執(zhí)行步驟1230b。
在步驟1230a中，執(zhí)行利用第一攝像信號和第二攝像信號的視差 運算。圖13是表示本發(fā)明的實施方式1的攝像裝置的利用第一攝像信 號和第二攝像信號的視差運算的動作的流程圖。圖13的流程圖表示歩 驟S1230a的動作的詳細過程。在步驟S1230的運算中，首先，執(zhí)行步 驟S1310。
在歩驟S1310中，開始利用第一攝像信號和第二攝像信號的視差 運算的動作。接著，執(zhí)行步驟S1320。
在步驟S1320中，在塊索引ib中設(shè)定O，進行初始化處理。接著， 執(zhí)行步驟S1330。
在步驟S1330中，選擇塊。圖14是說明本發(fā)明的實施方式1的攝 像裝置的利用第一攝像信號和第二攝像信號的視差運算中的第-一攝像 信號的分割塊和運算順序的圖，圖15是說明本發(fā)明的實施方式1的攝 像裝置的利用第一攝像信號和第二攝像信號的視差運算中的第二攝像 信號的分割塊和運算順序的圖。在圖14中，第---攝像信號Il分割成在 x方向有HB像素、在y方向有VB像素的長方形的塊，在x方向上錯 開HB像素，在y方向上錯開VB像素地進行配置，在x方向具有Nh 個塊，在y方向具有Nv個塊。因此，各塊在x方向、y方向都沒有重 疊的部分。圖15中，第二攝像信號I2分割成在x方向有(HB + SB) 像素、在y方向有VB像素的長方形的塊，在x方向上錯開I-IB像素， 在y方向上錯開VB像素地進行配置，在x方向具有Nh個塊，在y方 向有Nv個塊。因此，在x方向上，相鄰的塊重疊。另一方面，在y方 向上，相鄰的塊不重疊。此外，圖15中，右側(cè)的塊中不能夠在x方向上取得(HB + SB)像素的塊能夠適當?shù)厝コ齒方向的右端。另外，在
實施方式1中，以下表示HB-32， VB二32的例子。
在圖14和圖15中，在各塊的上層記述的數(shù)字表示塊索引ib。此 外，在圖14和圖15中，在各塊的下層記述的坐標(ibx， iby)表示各 塊在x方向是第ibx個塊，在y方向是第iby個塊。這里，ibx存在于0 到Nh—1， iby存在于0到Vh—l。在步驟S1320中，選擇在圖14和 圖15中用塊索引ib表示的塊(用坐標(ibx， iby)表示的塊)。接著， 執(zhí)行步驟S1340。
在步驟S1340中，傳送攝像信號。在步驟S1340中，向第一運算 緩沖器141a傳送所選擇的塊的第一攝像信號n。而且，將第一運算緩 沖器141a的坐標(x， y)的值作為Bcl (x， y)。這里，HB = 32、 VB 二32，因此x二0 31、 y=0 31。在步驟S1340中，向第二運算緩沖 器141b傳送所選擇的塊的第二攝像信號I2。而且，將第二運算緩沖器 141b的坐標(x， y)的值作為Bc2 (x， y)。這里，HB二32、 VB二32， 因此x二0 31+SB、 y=0 31。例如，在ib = 0時，向第一運算緩沖 器141a屮傳送被坐標(0， 0)和坐標(31， 31)包圍的1024像素的 攝像信號II。此外，向第二運算緩沖器141b中傳送在圖15中以向右 上的斜線描繪的被坐標(0， 0)和坐標(31+SB， 31)包圍的(1024 + 32*SB)像素的攝像信號I2。接著，在ib二l時'，向第--」運算緩沖器 141a中傳送被坐標(32， 0)和坐標(63， 31)包,的1024像素的攝 像信號II。此外，在第二運算緩沖器141b中，雖然需要在圖15中以 向右下的斜線描繪的被坐標(32， 0)和坐標(63 + SB， 31)包圍的(1024 十32^B)像素的攝像信號I2，但因為與ib二0重疊的部分(被坐標G2， 0)和坐標(31+SB， 31)包圍的32*SB像素的區(qū)域)已經(jīng)傳送到第 二運算緩沖器141b中，所以僅向第二運算緩沖器141b傳送新的被坐 標(32 + SB， 0)和坐標(63 + SB， 31)包圍的1024像素。由此，能 夠防止傳送時間的增大。接著，執(zhí)行步驟S1350。
在步驟S1350中，執(zhí)行視差運算。首先，運算視差評價值R (k)。 這里，k是表示使像素偏移多少的偏移量，以k二O， 1， 2，……，SB 的方式變化。圖16是說明在本發(fā)明的實施方式1的攝像裝置中，利用 第一攝像信號和第二攝像信號時的視差運算中的視差評價值的運算區(qū)域的圖。圖16中，以數(shù)據(jù)Bcl存儲的區(qū)域是第一運算緩沖器141a中 的區(qū)域。此外，以數(shù)據(jù)Bc2表示的區(qū)域是在圖16中從以Bcl表示的塊 向x方向移動偏移量k的第二運算緩沖器141b中的區(qū)域。而且，對于 偏移量k二0 SB，運算下述式6表示的絕對值差值總和(SAD: Sum of Absolute Differences),作為視差評價值R (k)。
R (k) =￡1: I Bcl (x， y) —Bc2 (x + k， y) I……式6 該視差評價值R (k)表示第一運算緩沖器141a的數(shù)據(jù)Bcl與在x 方向上離開k的距離的區(qū)域中的第二運算緩沖器141b的數(shù)據(jù)Bc2存在 多少相關(guān)性，值越小表示相關(guān)性越大(越近似)。這里，第一運算緩沖 器141a的數(shù)據(jù)Bcl是傳送第一攝像信號II的數(shù)據(jù)，第二運算緩沖器 141b的數(shù)據(jù)Bc2是傳送第二攝像信號12的數(shù)據(jù)，因此視差評價值R4 (k)表示第一攝像信號II與相對應(yīng)的第二攝像信號12存在多少相關(guān) 性。
圖H是說明本發(fā)明的實施方式1的攝像裝置的利用第一攝像信號 和第二攝像信號時的視差運算中的視差與視差評價值的關(guān)系的圖。如 圖17所示，視差評價值R (k)根據(jù)偏移量k的值而產(chǎn)生變化，在偏 移量k= A時具有極小值。第一運算緩沖器141a的數(shù)據(jù)Bcl表示出與 存在于將第一運算緩沖器141a的數(shù)據(jù)Bcl在x方向移動k而到達的區(qū) 域中的第二運算緩沖器141b的數(shù)據(jù)Bc2最具有相關(guān)性(最近似)。從 而，可知第一運算緩沖器141a的數(shù)據(jù)Bcl與第二運算緩沖器141b的 數(shù)據(jù)Bc2的x方向的視差是A。這里，將該A稱為該塊中的視差值A(chǔ) 。
接著，運算視差值A(chǔ)的可靠性。圖18是說明在本發(fā)明的實施方式 1的攝像裝置中利用第一攝像信號和第二攝像信號時的視差運算中的 視差評價值的可靠性的運算區(qū)域的圖。存儲有數(shù)據(jù)Bcl的區(qū)域是第一 運算緩沖器141a中的區(qū)域。存儲有數(shù)據(jù)Bc2的區(qū)域是使Bcl在x方向 上移動A的第二運算緩沖器141b中的區(qū)域。而且，如下述式7所示， 對于各個區(qū)域的數(shù)據(jù)Bcl (x， y)、 Bc2 (x+A ， y)，將歸一化相關(guān)系 數(shù)作為可靠性E。
E (1， 2) (ibx， iby) = E ￡ [{Bcl (x， y) —avg (Bcl (x， y))} * {Bc2 (x+A， y) —avg (Bc2 (x十A ， y))}] / VEi: [{Bcl (x， y) —avg (Bcl (x， y))}* {Bel (x， y) —avg (Bcl (x， y))}
/ VEE [{Bc2 (x+A， y) —avg (Bc2 (x+A ， y))}
* {Bc2 (x+A， y) —avg (Bc2 (x+△ ， y))}]......式7
而且，在利用第一攝像信號和第二攝像信號的視差運算中，將該
可靠性E保存為以坐標(ibx， iby)表示的32X32像素的塊中的視差 值A(chǔ) (1， 2) (ibx， iby)的可靠性E (1， 2) (ibx， iby)。 (1， 2)表 示是利用第一攝像信號和第二攝像信號的視差值和可靠性。(ibx， iby) 表示是以塊索引ib表示的塊，是圖14中在各塊的下層表示的坐標。接 著，執(zhí)行步驟S1360。
在歩驟S1360中，塊索引ib加l。接著執(zhí)行步驟S1370。
在步驟S1370中，判斷是否結(jié)束利用第一攝像信號和第二攝像信 號的視差運算。當塊索引ib小于Nh*Nv時，為了運算下一個塊的視差， 接著執(zhí)行步驟S1330。另一方面，當塊索引ib為NMNv以上吋，判斷 為已運算所有塊的視差，接著，執(zhí)行步驟S1380。
在歩驟S1380中，結(jié)束利用第一攝像信號和第二攝像信號的視差 運算，返回上位程序。這樣，在利用第一攝像信號和第二攝像信號的 視差運算中，對于由塊索引ib表示的32X32像素的塊，以32X32像 素的分辨率求取視差值A(chǔ) (1， 2) (ibx， iby)及其可靠性Ef (1， 2)
(ibx， iby)。這里，(1， 2)表示利用的是第一攝像信號和第二攝像信 號，(ibx， iby)是圖14中在各塊的下層表示的坐標(ibx從O到Nh — l變化，iby從O到Nv—l變化)。接著，執(zhí)行圖12的歩驟S1240a。
在步驟S1240a中，執(zhí)行利用第三攝像信號和第四攝像信號的視差 運算。該步驟與將步驟S1230a中的第一攝像信號II變更為第二攝像信 號13、將第二攝像信號12變更為第四攝像信號14后的步驟的相同。即， 將第三攝像信號I3分割成塊，向第一運算緩沖器141a傳送，將第四攝 像信號14分割成塊，向第二運算緩沖器141b傳送，進行與步驟S1230a 同樣的動作，以32X32像素的分辨率求取視差值A(chǔ) (3， 4) (ibx， iby) 及其可靠性E (3， 4) (ibx， iby)。這里，(3， 4)表示利用的是第三 攝像信號和第四攝像信號，(ibx， iby)表示圖14的各塊的下層中表示 的坐標(如圖14所示，ibx從0到Nh—l變化，iby從0到Nv—l變 化)。接著，執(zhí)行步驟1250a。
28在步驟S1250a中，選擇視差。相對于各個塊，比較可靠性E (1， 2) (ibx， iby)和E (3， 4) (ibx， iby),將提供最大的可靠性的視差 作為該塊中的視差值A(chǔ) (ibx， iby)。此外，將此時的可靠性作為E(ibx， iby)。接著執(zhí)行步驟S1260。
在步驟S1230b中，執(zhí)行利用第一攝像信號和第二攝像信號的視差 運算。該步驟與步驟S1230a相同，省略說明。其中，將求出的視差和 可靠性作為各個塊中的視差值A(chǔ) (ibx， iby)和可靠性E (ibx， iby)。 接著，執(zhí)行步驟S1260。
在步驟S1260中，結(jié)束視差運算，返回上位程序。這樣求取各塊 中的視差值A(chǔ) (ibx， iby)。這里，(ibx， iby)是圖14的各塊的下層中 表示的坐標，ibx從0到Nh—1變化，iby從O到Nv—l變化。在傳送 范圍標志F0二1 (第一動作模式)時，將利用第一攝像信號Il和第二 攝像信號I2得到的視差(近紅外光的視差)的可靠性與利用第三攝像 信號I3和第四攝像信號I4得到的視差(綠色光的視差)的可靠性進行 比較，采用可靠性較高的視差。另-一方面，在傳送范圍標志FO二2 (第 二動作模式)時，不進行選擇，采用利用第- 攝像信號n和第二攝像 信號I2得到的視差(近紅外光的視差)。接著，執(zhí)行歩驟S1700。
在歩驟S1700中，距離運算部143進行距離運算，將結(jié)果作為距 離數(shù)據(jù)依次傳送到第二輸出緩沖器137b。如果對于距離A求解式1， 則如下述式8所示。從而，具有視差值A(chǔ) (ibx， iby)的塊中的被攝體 的距離A (ibx， iby)如下述式9那樣進行運算。并且向第二輸出緩沖 器137b傳送距離數(shù)據(jù)A (ibx， iby)。
A =f D/ △......式8
A (ibx， iby) =f'D / △ (ibx， iby)……式9 接著，執(zhí)行步驟S1800。
在步驟S1800中，傳送范圍決定部144決定傳送范圍，并設(shè)定傳 送范圍標志。如下述式IO所示，在各塊(ibx， iby)中的可靠性E(ibx， iby)的最小值小于某設(shè)定的值時，傳送范圍標志FO二l。另一方面， 在各塊(ibx， iby)中的可靠性E (ibx， iby)的最小值為某設(shè)定的值 以上時，傳送范圍標志FO二2。
FO=l (min (E (ibx， iby)) <E0時)FO=2 (min (E (ibx， iby)) ^E0時)......式10
接著。執(zhí)行步驟S1900。
在步驟S1900中，結(jié)束運算動作，返回上位程序。接著，執(zhí)行步 驟S1910。
通過如以上所述構(gòu)成本發(fā)明的攝像裝置并使其動作，具有以下的 效果。
根據(jù)本發(fā)明的實施方式1的攝像裝置，傳送范圍決定部144基于 根據(jù)攝像信號生成的可靠性E (ibx， iby)，在可靠性E (ibx， iby)較 小時，使傳送范圍標志FO二l (第一動作模式)，在可靠性E(ibx， iby) 較大時，使傳送范圍標志F0二2 (使傳送范圍為一半的區(qū)域)。由此， 當可靠性E (ibx， iby)較大時，判斷為有提高高速性的余量，通過使 輸出標志F0二2 (第二動作模式)，實現(xiàn)能夠進行高速的視差運算、距 離運算的攝像裝置。另一方面，當可靠性E (ibx， iby)較小時，判斷 為需要進一步的精度，通過使輸出標志FO二l (第一動作模式)，實現(xiàn) 能夠進行高精度的視差運算、距離運算的攝像裝置。
這樣，在本實施方式的攝像裝置的情況下，根據(jù)可靠性E變更傳 送范圍，進行動作模式的切換。這里，可靠性E是根據(jù)被攝體的運動 等而變化的值。從而，可以說本實 施方式的攝像裝置根據(jù)被攝休的運 動等與被攝體有關(guān)的信息變更傳送范圍。
另外，在本發(fā)明的攝像裝置中，在FO二2 (第一動作模式)時， 采用傳送順序較早的大致一半的區(qū)域。即，如圖9 (b) 24b所示，傳 送所需要的時間成為一半，殘留在垂直CCD中的電荷在22b的期間內(nèi) 轉(zhuǎn)出到水平CCD，從而傳送所需要的時間減半，實現(xiàn)能夠進行高速的 視差運算、距離運算的攝像裝置。
另外，在實施方式1的攝像裝置中，在FO二l (第一動作模式) 時，使傳送的攝像信號的垂直方向為V0像素，在FO二2(第二動作模 式)時，使傳送的攝像信號的垂直方向為V0/2像素，但也可以有- 定的變更。例如，如果使FO = 2 (第二動作模式)的傳送范圍的垂直 方向為從第0像素到y(tǒng)01 + VI — 1 ，則能夠進一步減少傳送時間。此外， 在透鏡的不均性較大，各光軸的偏移大的情況下，如果使FO = 2 (第 二動作模式)的傳送范圍的垂直方向比V0/2大，則原點的調(diào)整余量相應(yīng)地增大。
此外，在實施方式1的攝像裝置中，根據(jù)可靠性E (ibx， iby)變 更傳送范圍，但本發(fā)明并不限定于此。本發(fā)明的要點在于通過變更傳 送范圍，進行視差運算、距離運算，使得速度與精度的關(guān)系適宜。另
外，也可以根據(jù)上位CPU的命令變更傳送范圍。例如，上位CPU可
以使用圖像數(shù)據(jù)，變更傳送范圍?；蛘撸部梢允歉鶕?jù)用戶指定的被
攝體信息，上位CPU指示傳送范圍。
圖10B是表示本發(fā)明的實施方式1的攝像裝置的動作的變形例的 流程圖。此外，圖11B是表示本發(fā)明的實施方式1的攝像裝置的運算 部的動作的變形例的流程圖。在該圖11B的流程圖中，表示圖10B中 的運算處理(S1100B)的詳細的處理流程。
在該變形例中，不根據(jù)與被攝體有關(guān)的信息決定傳送范圍。即， 與攝像信號是與怎樣的圖像有關(guān)的信號沒有關(guān)系，而按照規(guī)定的基準 決定傳送范圍。例如，交替地切換第一動作模式和第二動作模式，或 者以在全部動作中第一動作模式(或第二動作模式)所占的比例為規(guī) 定的比例的方式切換動作模式。
變形例中的傳送范圍的決定在圖10B的流程圖中的歩驟S1020B 中執(zhí)行。而且，在步驟S1100B的運算處理中，如圖11B所示，執(zhí)行」 述的開始處理(S1110)、視差運算(S固)、距離運算(S1700)和結(jié) 束處理(S1900)。在該變形例中，由于在步驟S1020B中決定傳送范圍， 因此不需要進行圖IIA所示的步驟S1800的傳送范圍的決定處理。
另外，用戶也能夠適當設(shè)定傳送范圍。為此，例如，在利用用戶 能夠操作的開關(guān)等由用戶輸出傳送范圍設(shè)定(動作模式切換)的指不 的情況下，接收到該指示的上位CPU命令攝像裝置以進行傳送范圍的 設(shè)定(動作模式的切換)等即可。
此外，在實施方式1的攝像裝置中，使傳送范圍標志的初始值為 FO=l (第一動作模式)，但也可以是FO二2 (第二動作模式)。
此外，在實施方式1的攝像裝置中，使第 -運算緩沖器的大小為 32X32像素(水平方向32像素，以及垂直方向32像素)，但并不限定 于此。例如，也可以是4X4像素、8X8像素、16X16像素。此外， 也可以變更為適宜的大小。此外，還可以求取多個尺寸的塊的視差并
31進行選擇。進而，還可以不是矩形狀的塊，而是抽取邊緣等進行塊分 割。此外，不限于求取塊的視差，還可以求取作為邊緣的線段的視差。
此外，在實施方式l的攝像裝置中，向第一輸出緩沖器137a傳送 第一攝像信號Il，從輸入輸出部138輸出，但也可以輸出其它的攝像 信號(第二攝像信號12、第三攝像信號13或者第四攝像信號14)。此 外，還可以輸出多個攝像信號。進而，也可以根據(jù)攝像信號的條件， 變更從輸入輸出部138輸出的攝像信號。例如，可以比較各個攝像信 號，變更為輸出最明亮的攝像信號(根據(jù)攝像信號的大小的平均為最 大等已進行判定的信號)，或者輪廓最清楚的信號(根據(jù)微分值的平均、 最大值為最大等已進行判定的信號)。
此外，在實施方式1的攝像裝置中，作為攝像元件使用了 CCD傳 感器，但也可以使用其它攝像元件(例如，CMOS傳感器)。
此外，在實施方式1的攝像元件中，作為攝像元件123不僅可以 利用逐行掃描CCD，也可以利用隔行掃描CCD。圖19是說明本發(fā)明 的實施方式1的攝像裝置的變形的場圖像的圖。例如，在利用具有3 個場的隔行掃描CCD的情況下，圖像整體如圖19 (a)所示，依次配 置第一場圖像、第二場圖像和第三場圖像。首先，傳送構(gòu)成第一場圖 像的攝像信號，接著傳送構(gòu)成第二場圖像的攝像信號，接著傳送構(gòu)成 第三場圖像的攝像信號。在通常的黑白圖像中，通過將它們一行 -行 地順序配置能夠再現(xiàn)整體圖像。如圖19 (b)所示，在圖像整體(幀圖 像)的寬度是H0、高度是V0時，如圖19 (c)、 (d)、 (e)所示，第--場圖像、第二場圖像和第三場圖像的寬度分別是HO，高度是V0/3。
圖20是表示本發(fā)明的實施方式1的攝像裝置的變形的攝像信號的 傳送的時序圖。在傳送范圍標志FO二l吋，因為傳送范圍是在攝像區(qū) 域的整個區(qū)域中生成的攝像信號，所以如圖8 (a)所示，在水平方向 傳送HO像素的攝像信號、在垂直方向傳送VO像素的攝像信號。艮口， 輸入到攝像信號輸入部133中的攝像信號IO (x， y)在x方向具有HO 像素、在y方向具有VO像素，按照IO (0， 0) ((x， y) = (0， O))、 10 (1， 0)、 10 (2， 0)、……、10 (H0—1， V0—1)的順序輸入，依 次傳送到前處理部134。如圖20 (a)所示，產(chǎn)生在1幀中僅產(chǎn)生一次 的信號20c，產(chǎn)生在1場中僅 --次的垂直同步信號21c。在3場的隔行掃描CCD中，在每個信號20c中產(chǎn)生3個垂直同步信號21c。從垂直 同步信號21c的上升沿開始的一定期間之后，在信號23c的高電平的 定時，從CCD傳感器的光電二極管向垂直傳送CCD傳送電荷，在信 號24a的高電平下，依次在垂直CCD、水平CCD內(nèi)傳送電荷，在攝像 信號輸入部133中從模擬信號變換成數(shù)字信號的攝像信號并輸入。另 外，在產(chǎn)生信號20c之后立即傳送第一場的攝像信號(以24cl表示的 期間)，接著傳送第二場的攝像信號(以24c2表示的期間)，接著傳送 第三場的攝像信號(以24c3表示的期間)。
另一方面，在傳送范圍標志F0^2時，因為傳送范圍是在攝像區(qū) 域的一半的區(qū)域中生成的攝像信號，因此如圖8 (b)所示，在水平方 向傳送H0像素的攝像信號、在垂直方向傳送V0 / 2像素的攝像信號。 即，輸入到攝像信號輸入部133中的攝像信號IO (x， y)在x方向具 有H0像素，在y方向具有V0/2像素，按照IO (0， 0) ((x， y)=
(0， 0))、 10 (1， 0)、 10 (2， 0)、 ......、 10 (H0—1， V0/2—l)的
順序輸入，依次傳送到前處理部134。如圖20 (b)所示，產(chǎn)生在l幀 中僅產(chǎn)生 一次的信號20d，產(chǎn)生在1場巾僅一次的垂直同歩信號21d。 在3場的隔行掃描CCD中，在每一個信號20d中產(chǎn)生3個垂直同步信 號21d。在從垂直同步信號21d的上升沿開始的一定期間之后，在信號 22d的高電平下，將殘留在垂直CCD內(nèi)的電荷轉(zhuǎn)出到水平CCD，在信 號23d的高電平的定時，從CCD傳感器的光電二極管向垂直傳送CCD 傳送電荷，在信號24d的高電平下，依次在垂直CCD、水平CCD內(nèi)傳 送電荷，在攝像信號輸入部133中從模擬信號變換成數(shù)字信號的攝像 信號并輸入。另外，在產(chǎn)生信號20d之后立即傳送第一場的攝像信兮
(以24dl表示的期間)，接著傳送第二場的攝像信號(以24d2表示的 期間)，接著傳送第三場的攝像信號(以24d3表示的期間)。從而，與 傳送范圍標志FO二l (第一動作模式)時的電荷的傳送時間(信號24a 為高電平的期間)相比較，傳送范圍標志FO二2 (第二動作模式)時 的電荷的傳送時間(信號2ba為高電平的期間)是大致一半，因此， 能夠縮短傳送1張圖像的時間間隔。
進而，如果不使用全部的場圖像而僅使用一個場圖像，則能夠進 --步縮短傳送1張圖像的時間間隔。在作為傳送范圍標志還設(shè)置有FO=3的狀態(tài)，且傳送范圍標志FO = 3時，傳送范圍是一半的區(qū)域(傳 送區(qū)域是圖8 (b))，僅傳送第一場的圖像。即，輸入到攝像信號輸入
部133中的攝像信號IO (x， y)在x方向具有HO像素，在y方向具有 V0/6像素，按照IO (0， 0) ((x， y) = (0， O))、 10 (1， 0)、 10 (2，
0)、 ......、 10 (0， 3)、 10 (1, 3)、 10 (2， 3)、 ......、 10 (H0—1' VO
/2 — 3)的順序輸入，并依次傳送到前處理部134。如圖20 (c)所示， 信號20d產(chǎn)生的定時與垂直同步信號21d產(chǎn)生的定時大致相同。在從 垂直同步信號21d的上升沿開始的一定期間之后，在信號22d的高電 平下，將殘留在垂直CCD內(nèi)的電荷轉(zhuǎn)出到水平CCD，在信號23d的高 電平的定時，從CCD傳感器的光電二極管向垂直傳送CCD傳送電荷， 在信號24d的高電平下，依次在垂直CCD、水平CCD內(nèi)傳送電荷，在 攝像信號輸入部133中，從模擬信號變換成數(shù)字信號的攝像信號并輸 入。另外，因為總是僅傳送第一場的攝像信號(以24el表示的期間)， 所以與傳送范圍標志FO二l (第一動作模式)時的電荷的傳送時間(信 號24a為高電平的期間)相比較，傳送范圍標志FO二3 (傳送范圍是 一半的區(qū)域，且僅傳送第一場圖像)時的電荷的傳送時間(信號24a 為高電平的期間)是大約1 /6倍，能夠縮短傳送1張圖像的時間間隔。
此處，通過僅傳送1個場，能夠減少垂直方向的像素數(shù)，但沒有 減少水平方向的像素數(shù)。視差產(chǎn)生的方向是水平方向，視差運算的精 度惡化較小。從而，在僅傳送1個場的情況下，能夠在保持視差運算 的精度的同時實現(xiàn)高速化。
此處，在需要視差運算的高速性的情況下，設(shè)定傳送范圍標志FO =3 (第三動作模式)，將傳送范圍設(shè)為在攝像區(qū)域的一半的區(qū)域屮生 成的攝像信號，始終僅傳送第一場。此外，在一定程度上需要高速性 和高精度性的情況下，設(shè)定傳送范圍標志FO二2 (第二動作模式)，將 傳送范圍設(shè)為在攝像區(qū)域的一半的區(qū)域中生成的攝像信號，傳送第一 幀到第三幀。此外，需要高精度性的情況下，設(shè)定傳送范圍標志FO二 1 (第一動作模式)，將傳送范圍設(shè)為在攝像區(qū)域的整個區(qū)域中生成的 攝像信號，傳送第一幀到第三幀。通過這樣動作，能夠根據(jù)狀況適當 變更高速性和高精度性。
另外，SLSI125根據(jù)與被攝體有關(guān)的信息判斷是否需要視差運算的
34高速性和/或高精度性。即，例如，根據(jù)上述那樣求出的可靠性E的
值，SLSI125判斷是否需要高速性和/或高精度性，根據(jù)該判定結(jié)果， SLSI125選擇第一 第三動作模式的某一種。
另外，通過追加使傳送范圍為在攝像區(qū)域的整個區(qū)域中生成的攝 像信號并僅傳送第一場的情況，能夠進一步細致地與狀況相對應(yīng)。此 外，代替第一場，也可以傳送第二場或者第三場。 (實施方式2)
本發(fā)明的實施方式1的攝像裝置中，主要透過近紅外光成分的彩 色濾光片(第一彩色濾光片124a和第二彩色濾光片124b)以及主要透 過綠色光成分的彩色濾光片(第三彩色濾光片124c和第四彩色濾光片 124d)分別水平地配置，在與它們相對應(yīng)的攝像成分彼此之間(第一 攝像信號II與第二攝像信號12，以及第三攝像信號13與第四攝像信兮 14)進行比較，運算視差，根據(jù)該視差運算距離。與此相對，本發(fā)明的 實施方式2的攝像裝置中，主要透過近紅外光成分的彩色濾光片和主 要透過綠色光成分的彩色濾光片分別對角配置，在與它們相對應(yīng)的攝 像成分彼此之間進行比較，運算視差，根據(jù)該視差運算距離。
以下，參照

本發(fā)明的實施方式2的攝像裝置。
圖21是表示本發(fā)明的實施方式2的攝像裝置的結(jié)構(gòu)的截面圖。在 圖21中，攝像裝置201具有透鏡模塊部110和電路部220。
透鏡模塊部IIO具有鏡筒111、上部蓋玻璃112和透鏡113。 i乜路 部220具有基板121、封裝122、攝像元件223、封裝蓋玻璃224和系 統(tǒng)LSI (以下，記為SLSI) 225。
鏡筒111、上部蓋玻璃112和透鏡113與上述實施方式1相同，省
基板121和封裝122與上述實施方式1相同，省略說明。 攝像元件223是作為固體攝像元件的CMOS傳感器，以攝像元件 223的受光面與第一透鏡部113a、第二透鏡部113b、第三透鏡部113c 和第四透鏡部113d的光軸大致垂直的方式配置。攝像元件223的各端 子通過引線接合由金線227與封裝122的內(nèi)側(cè)的底部的金屬端子連接， 通過基板121與SLSI125電連接。在攝像元件223的受光面上，從第 -透鏡部113a、第二透鏡部113b、第三透鏡部113c和第四透鏡部113d射出的光分別成像，其光信息通過光電二極管變換為電信息，該電信
息被傳送到SLSI125。
圖22是表示本發(fā)明的實施方式2的攝像裝置的電路部的結(jié)構(gòu)的平 面圖。封裝蓋玻璃224是平板狀，由透明樹脂形成，通過粘接等固定 在封裝122的上表面。在封裝蓋玻璃224的上表面，通過蒸鍍等配置 有第一彩色濾光片224a、第二彩色濾光片224b、第三彩色濾光片224c、 第四彩色濾光片224d和遮光部224e。此外，在封裝蓋玻璃224的下表 面，通過蒸鍍等配置有反射防止膜。
攝像元件223與實施方式1的情況相同，由第一攝像區(qū)域223a、 第二攝像區(qū)域223b、第三攝像區(qū)域223c和第四攝像區(qū)域223d構(gòu)成。 這些第一 第四攝像區(qū)域223a 223d以各自的受光面與第一 第四透 鏡部113a 113d的光軸大致垂直的方式配置成2行2列。另外，與實 施方式1的情況相同，1個攝像元件為1個攝像區(qū)域，通過設(shè)置多個這 樣的攝像元件，能夠具有多個攝像區(qū)域。
圖23是本發(fā)明的實施方式2照相機模塊的彩色濾光片的特性圖。 第二彩色濾光片224b和第三彩色濾波器224c具有圖23的IR所表示 的主要透過近紅外光的分光透射特性(以波長人l為中心的透射特性。 例如，Al二870nm)，第一彩色濾光片224a和第四彩色濾光片224d具 有圖23的G所表示的主要透過綠色光的分光透射特性(以波長入2為 中心的透射特性。例如，A 2 = 500nm)。
從而，從第一透鏡部113a的上部入射的物體光從第一透鏡部113a 的下部射出，通過第一彩色濾光片224a主要透過綠色光，在第一攝像 區(qū)域223a的受光部上成像，因此，第一攝像區(qū)域223a接受物體光中 的綠色光成分。此外，從第二透鏡部113b的上部入射的物體光從第二 透鏡部113b的下部射出，通過第二彩色濾光片224b主要透過近紅外 光，在第二攝像區(qū)域223b的受光部上成像，因此，第二攝像區(qū)域223b 接受物體光中的近紅外光成分。此外，從第三透鏡部113c的上部入射 的物體光從第三透鏡部113c的下部射出，通過第三彩色濾光片224c 主要透過近紅外光，在第三攝像區(qū)域223c的受光部上成像，因此，第 三攝像區(qū)域223c接受物體光中的近紅外光成分。進而，從第四透鏡部 113d的上部入射的物體光從第四透鏡部113d的下部射出，通過第四彩色濾光片224d主要透過綠色光，在第四攝像區(qū)域223d的受光部上成 像，因此，第四攝像區(qū)域223d接受物體光中的綠色光成分。
SLSI225按照后述的方法驅(qū)動攝像元件223，輸入來自攝像元件 223的電信息，進行各種運算，與上位CPU進行通信，將圖像信息、 距離信息等輸出到外部。另夕卜，SLSI225與電源(例如3.3V)和地(例 如0V)連接。
接著，說明本發(fā)明的實施方式2的攝像裝置的動作。圖24是表示 本發(fā)明的實施方式2的攝像裝置的結(jié)構(gòu)的框圖。SLSI225具有系統(tǒng)控制 部231、攝像元件驅(qū)動部232、攝像信號輸入部233、前處理部234、 輸入緩沖器135、運算部236、輸出緩沖器137和輸入輸出部138。攝 像元件驅(qū)動部232具有第一攝像元件驅(qū)動部232a和第二攝像元件驅(qū)動 部232b，輸入緩沖器135具有第一輸入緩沖器135a、第二輸入緩沖器 135b、第三輸入緩沖器135c和第四輸入緩沖器135d。運算部236具有 運算緩沖器241、視差運算部242、距離運算部143和傳送范圍決定部 144。運算緩沖器241具有第一運算緩沖器241a和第二運算緩沖器 241b。輸出緩沖器137具有第一輸出緩沖器137a和第二輸出緩沖器 137b。
系統(tǒng)控制部231由CPU (中央運算處理裝置Central Processing Unit)、邏輯電路等構(gòu)成，控制SLSI225的整體。
攝像元件驅(qū)動部232由邏輯電路等構(gòu)成，產(chǎn)生驅(qū)動攝像元件223 的信號，向攝像元件223施加與該信號相應(yīng)的電壓。該攝像元件驅(qū)動 部232由第一攝像元件驅(qū)動部232a和第二攝像元件驅(qū)動部232b構(gòu)成， 在后述的傳送范圍標志FO二l (第一動作模式)吋，第一攝像元件驅(qū) 動部232a動作，在傳送范圍標志FO二2 (第二動作模式)時，第二攝 像元件驅(qū)動部232b動作。這樣，通過預先準備兩種電路(攝像元件驅(qū) 動部)，能夠容易地進行傳送范圍的變更(動作模式的切換)。
攝像信號輸入部233以CDS電路(相關(guān)雙采樣電路Correlated Double Sampling Circuit)、 AGC (自動增益控制器Automatic Gain Controller)、 ADC (模擬/數(shù)字轉(zhuǎn)換器Analog Digital Converter)屮 聯(lián)連接的方式構(gòu)成，被輸入來自攝像元件223的電信號，通過CDS電 路去除固定噪聲，通過AGC調(diào)整增益，通過ADC從模擬信號變換成數(shù)字值，如后所述，成為第一攝像信號Il、第二攝像信號I2、第三攝 像信號I3和第四攝像信號I4。
傳送范圍決定部144按照后述的方法決定傳送范圍標志FO。在傳 送范圍標志FO二l時，表示傳送范圍是在攝像區(qū)域的整個區(qū)域中生成 的攝像信號，在傳送范圍標志FO二2時，表示傳送范圍是在攝像區(qū)域 的一半的區(qū)域中生成的攝像信號。另外，傳送范圍標志初始化為FO二 1。
圖25是用于說明本發(fā)明的實施方式2的攝像裝置的攝像信號的截 取位置的圖。圖26是表示本發(fā)明的實施方式2的攝像裝置的攝像信號 的傳送的時序圖。在傳送范圍標志FO二l時，傳送范圍是在攝像區(qū)域 的整個區(qū)域中生成的攝像信號，因此如圖25 (a)所示，傳送與第一攝 像信號I1對應(yīng)的區(qū)域(原點為(x01， y01)，水平像素為H1像素，垂 直像素為VI像素的區(qū)域)、與第二攝像信號12對應(yīng)的區(qū)域(原點為
(x02， y02)，水平像素為H1像素，垂直像素為VI像素的區(qū)域)、與 第三攝像信號B對應(yīng)的區(qū)域(原點為(x03， y03)，水平像素為Hl像 素，垂直像素為VI像素的區(qū)域)、以及與第四攝像信號I4對應(yīng)的區(qū)域
(原點為(x04， y04)，水平像素為Hl像素，垂直像素為VI像素的 區(qū)域)。如圖26 (a)所示，從垂直同步信號21f的上升沿開始的--定 期間之后，在信號24f的高電平下，依次傳送攝像信號，在攝像信號輸 入部133中從模擬信號變換成數(shù)字信號的攝像信號并輸入。即，在以 24fl表示的期間中，第一攝像信號Il按照Il (0， 0)、 II (1， 0)、 II
(2， 0)、 ......、 II (Hl — l， Vl — l)的順序輸入；在以24f2表示的
期間中，第二攝像信號I2按照I2 (0， 0)、 12 (1， 0)、 12 (2， 0)、……、 12 (Hl — l， Vl — l)的順序輸入；在以24f3表示的期間中，第三攝像 信號13按照13 (0， 0)、 13 (1， 0)、 B (2， 0)、……、13 (Hl — l， Vl — l)的順序輸入；以及，在以24f4表示的期間中，第四攝像信號 14按照14 (0， 0)、 14 (1， 0)、 14 (2， 0)、……、14 (HI —1， Vl — l) 的順序輸入，并傳送到前處理部234。
在傳送范圍標志FO = 2時，傳送范圍是在攝像區(qū)域的一半的區(qū)域 中生成的攝像信號，因此，如圖25 (b)所示，傳送與第二攝像信號I2 對應(yīng)的區(qū)域(原點為(x02， y02)，水平像素為H1像素，垂直像素為
38Vl像素的區(qū)域)，以及與第三攝像信號I3對應(yīng)的區(qū)域(原點為(x03，
y03)，水平像素為Hl像素，垂直像素為VI像素的區(qū)域)。如圖26 (b) 所示，從垂直同步信號21f的上升沿開始經(jīng)過一定期間之后，在信號 24f的高電平下，依次傳送攝像信號，在攝像信號輸入部133中從模擬 信號變換成數(shù)字信號的攝像信號并輸入。即，在以24g2表示的期間中， 第二攝像信號I2按照I2 (0， 0)、 12 (1， 0)、 12 (2， 0)、 、 12 (Hl
一l， VI —1)的順序輸入，以及，在以24g3表示的期間中，第三攝像 信號13按照13 (0， 0)、 13 (1， 0)、 13 (2， 0)、……、13 (HI —1， Vl — l)的順序輸入，傳送到前處理部234。
與傳送范圍標志F0二1 (第一動作模式)時的電荷的傳送吋間(信 號24f為高電平的期間)相比較，傳送范圍標志FO = 2 (第二動作模式) 時的電荷的傳送時間(信號24f為高電平的期間)是大約一半，因此能 夠縮短傳送1張圖像的時間間隔。
前處理部234由邏輯電路等構(gòu)成，進行攝像信號的強度修正處現(xiàn)， 并依次傳送到輸入緩沖器135。
在FO二l時，傳送范圍是在攝像區(qū)域的整個區(qū)域中生成的攝像信 號，因此，修正第一攝像信號Il、第二攝像信號I2、第三攝像信號I3 和第四攝像信號14的強度，并依次傳送到輸入緩沖器135。第一攝像 信號Il、第二攝像信號I2、第三攝像信號I3和第四攝像信號是根據(jù)分 別通過第一透鏡部113a、第二透鏡部113b、第三透鏡部113c和第四透 鏡部114d被成像的被攝體像而得到的。如下述式11所示，以第一強 度修正系數(shù)ksl修正第一攝像信號I1;如下述式12所示，以第二強度 修正系數(shù)ks2修正第二攝像信號I2;如下述式13所示，以第三強度修 正系數(shù)ks3修正第三攝像信號I3;而且，如下述式14所示，以第四強 度修正系數(shù)ks4修正第四攝像信號14。
11 (x， y) =ksl (x， y) "1 (x， y)......式11
12 (x， y) 二ks2 (x， y) * 12 (x' y)……式12
13 (x， y) =ks3 (x， y) * 13 (x， y)......式13
14 (x， y) 二ks4 (x， y) * 14 (x， y)......式14
另外，第一強度修正系數(shù)ksl (x， y)、第二強度修正系數(shù)ks2 (x， y)、第三強度修正系數(shù)ks3 (x， y)和第四強度修正系數(shù)ks4 (x， y)各自表示第一攝像信號Il、第二攝像信號I2、第三攝像信號I3和第四
攝像信號I4的坐標(x， y)的強度修正系數(shù)，在檢查工序等中拍攝定 特定圖像而決定，并保存在EEPROM、閃存中。另外，也可以不具有 各像素的系數(shù)而僅具有代表點，使用該代表點通過線性內(nèi)插求取第一 強度修正系數(shù)ksl (x， y)、第二強度修正系數(shù)ks2 (x， y)、第三強度 修正系數(shù)ks3 (x， y)和第四強度修正系數(shù)ks4 (x， y)。此外，也可以 建立近似式并僅具有其系數(shù)，生成各坐標的第一強度修正系數(shù)ksl (x， y)、第二強度修正系數(shù)ks2 (x， y)、第三強度修正系數(shù)ks3 (x， y)和 第四強度修正系數(shù)ks4 (x， y)。此外，為了校正透鏡的光軸的偏移等， 可以適當?shù)剡M行坐標變換。
另一方面，當FO二2時，由于傳送范圍是在攝像區(qū)域的一半?yún)^(qū)域 中生成的攝像信號，因此順序生成第二攝像信號12以及第三攝像信號 13，依次傳送到輸入緩沖器135。與FO二l時(傳送整個區(qū)域吋)相比 較，省略有關(guān)第一攝像信號I2以及第四攝像信號I4的處理。由于與第 二攝像信號12以及第三攝像信號13有關(guān)的處理相同，因此省略說明。
當FO=l時，第一輸入緩沖器135a由DRAM (Dynamic Random Access Memory:動態(tài)隨機存取存儲器)等構(gòu)成，順序讀入第--攝像信 號II，保存H1*V1像素(沿x方向HI像素，沿y方向VI像素)的 數(shù)據(jù)。第二輸入緩沖器135b由DRAM等構(gòu)成，順序讀入第二攝像信 號12，保存H"V1像素(沿x方向Hl像素，沿y方向Vl像素)的 數(shù)據(jù)。第三輸入緩沖器135c由DRAM等構(gòu)成，順序讀入第三攝像信 號13，保存H1*V1像素(沿x方向HI像素，沿y方向VI像素)的 數(shù)據(jù)。第四輸入緩沖器135d由DRAM等構(gòu)成，順序讀入第四攝像信 號14，保存H"V1像素(沿x方向Hl像素，沿y方向Vl像素)的 數(shù)據(jù)。
另一方面，在FO=2時，生成第二攝像信號12和第三攝像信號13， 并依次輸入到輸入緩沖器135。與FO=l時(傳送整個區(qū)域時)相比 較，省略涉及第一輸入緩沖器135a和第四輸入緩沖器135d的處理。 有關(guān)第二輸入緩沖器135b和第三輸入緩沖器135c的處理是同樣的， 因此省略說明。
運算部236包括由SRAM構(gòu)成的第一運算緩沖器241a、第二運算緩沖器241b;由邏輯電路、CPU等構(gòu)成的視差運算部242;由邏輯 電路、CPU等構(gòu)成的距離運算部143;和由邏輯電路、CPU等構(gòu)成的
傳送范圍決定部144。運算部236以塊單位讀入第一攝像信號Il、第二 攝像信號I2、第三攝像信號I3和第四攝像信號I4，并保存到第一運算 緩沖器241a、和第二運算緩沖器241b中。而且，在視差運算部242中， 根據(jù)第一運算緩沖器241a和第二運算緩沖器241b的數(shù)據(jù)等運算視差， 在距離運算部143中根據(jù)求出的視差運算距離，將求出的距離數(shù)據(jù)傳 送到輸出緩沖器137。
輸出緩沖器137和輸入輸出部138與上述實施方式1相同，省略 說明。
圖27是表示本發(fā)明的實施方式2的攝像裝置的動作的流程圖。利 用SLSI225的系統(tǒng)控制部231，攝像裝置201如該流程圖那樣動作。
在步驟S2010中，開始動作。例如，上位CPU (未圖示)通過輸 入輸出部136向攝像裝置201發(fā)送動作開始的命令，山此攝像裝置201 開始動作。接著，執(zhí)行步驟S2020。
在歩驟S2020中，進行傳送范圍的初始化處理。在本實施方式屮， 通過該初始化處理，設(shè)定傳送范圍標志FO二l (第一動作模式)。接著， 執(zhí)行步驟S2030。
在步驟S2030中，輸入攝像信號。根據(jù)系統(tǒng)控制部231的命令， 攝像元件驅(qū)動部232隨時輸出用于進行傳送的信號。在傳送范圍標志 F0=1 (第一動作模式)時，第一攝像信號驅(qū)動部232a動作。這種情 況下，攝像信號輸入部233沿x方向輸入Hl像素，沿y方向輸入Vl 像素，艮口，按照Il (0， 0) ((x， y) = (0， O))、 II (1， 0)、 II (2， 0)、……、II (Hl — l， VI —1)的順序輸入第一攝像信號II (x， y)， 并依次傳送到前處理部234。接著，沿x方向輸入Hl像素，沿y方向 輸入V1像素，艮P，按照12 (0， 0) ((x， y) 二 (0， O))、 12 (1， 0)、 12 (2， 0)、……、12 (Hl — l， Vl — l)的順序輸入第二攝像信號12 (x， y)，并依次傳送到前處理部234。接著，沿x方向輸入Hl像素， 沿y方向輸入Vl像素，艮l]，按照13 (0， 0) ((x， y) = (0， O))、 13 (1， 0)、 13 (2， 0)、……、13 (Hl — l， Vl — l)的順序輸入第三攝 像信號I3 (x， y)，并依次傳送到前處理部234。接著，沿x方向輸入HI像素，沿y方向輸入Vl像素，艮口，按照14 (0， 0) ((x， y) = (0，
O))、 14 (1， 0)、 14 (2， 0)、 ......、 14 (Hl — l， VI —1)的順序輸入
第四攝像信號I4 (x， y)，并依次傳送到前處理部234。前處理部234 進行強度修正處理，生成第一攝像信號Il、第二攝像信號I2、第三攝 像信號I3和第四攝像信號I4，將第一攝像信號Il、第二攝像信號、第 三攝像信號和第四攝像信號分別依次傳送到第一輸入緩沖器135a、第 二輸入緩沖器135b、第三輸入緩沖器135c和第四輸入緩沖器135d。
另一方面，在傳送范圍標志FO二2 (第二動作模式)時，第二攝 像信號驅(qū)動單元232b動作，攝像信號輸入部233沿x方向輸入Hl像 素，沿y方向輸入VI像素，即，按照12 (0， 0) ((x， y) 二 (0， O))、
12 (1， 0)、 12 (2， 0)、 ......、 12 (HI —1， VI —1)的順序輸入第二
攝像信號12 (x， y)，并依次傳送到前處理部234;沿x方向輸入Hl 像素，沿y方向輸入VI像素，即，按照D (0， 0) ((x， y) = (0， O))、
13 (1， 0)、 13 (2， 0)、 ......、 13 (Hl — l， VI —1)的順序輸入第三
攝像信號I3 (x， y)，并依次傳送到前處理部234。前處理部234進行 強度修正處理，生成第二攝像信號I2和第三攝像信號I3，將第二攝像 信號12和第三攝像信號13分別依次傳送到第二輸入緩沖器135b和第 三輸入緩沖器135c。
在步驟S2040中，將保存在第二輸入緩沖器135a中的第二攝像信 號12傳送到第一輸出緩沖器137a，第一輸出緩沖器137a將其作為圖 像數(shù)據(jù)進行保存。接著，執(zhí)行步驟S2100。
在步驟S2100中，生成距離數(shù)據(jù)，并依次傳送到第二輸出緩沖器 137b。此外，決定傳送范圍，設(shè)定傳送范圍標志FO。該動作的詳細過 程在后面敘述。接著，執(zhí)行步驟S2910。
在步驟S2910中，將數(shù)據(jù)輸出到外部。輸入輸出部138將第一輸 出緩沖器137a上的圖像數(shù)據(jù)和第二輸出緩沖器137b十.的距離數(shù)據(jù)輸 出到上位CPU (未圖示)、外部顯示裝置(未圖示)。接著，執(zhí)行歩驟 S2920。
在步驟S2920中，判斷是否結(jié)束動作。例如，系統(tǒng)控制部231通 過輸入輸出部136，與上位CPU (未圖示)通信，請求是否結(jié)束動作 的命令。并且，如果上位CPU命令結(jié)束則結(jié)束動作。接著，執(zhí)行歩驟S2930。另一方面，如果上位CPU沒有命令結(jié)束則繼續(xù)動作，接著執(zhí)
行步驟S2030。 g卩，只要上位CPU沒有命令結(jié)束，就繼續(xù)執(zhí)行步驟 S2030、步驟S2040、步驟S2100和步驟S2910的循環(huán)。 在步驟S2930中結(jié)束動作。
接著，說明步驟S2100中的動作的詳細過程。圖28是表示本發(fā)明 的實施方式2的攝像裝置的運算部的動作的流程圖。圖28的流程圖表 示歩驟S2100的動作的詳細過程。在步驟S2100的運算中，首先執(zhí)行 步驟S2110。
在步驟S2110中，開始運算的動作。接著執(zhí)行步驟S2200。 在步驟S2200中，執(zhí)行視差運算。圖29是表示本發(fā)明的實施方式 2的攝像裝置的視差運算的動作的流程圖。圖29的流程圖表示歩驟 S2200的動作的詳細過程。在步驟S2200的運算中，首先執(zhí)行步驟 S2210。
在步驟S2210中，開始視差運算的動作。接著執(zhí)行步驟S2220。 在步驟S2220中，根據(jù)傳送范圍標志FO而產(chǎn)生分支。當傳送范圍 標志F0二1吋(S2220中的Y)，傳送范圍是在攝像區(qū)域的整個區(qū)域中 生成的攝像信號，接著執(zhí)行步驟S2230a。另一方面，當傳送范圍標志 FO = 2時(S2220中的N)，傳送范圍是在攝像區(qū)域的 -半的區(qū)域'l'生 成的攝像信號，接著執(zhí)行歩驟2230b。
在步驟2230a中，執(zhí)行利用第二攝像信號和第三攝像信號的視差 運算。圖30是表示本發(fā)明的實施方式2的攝像裝置的利用第二攝像信 號和第三攝像信號的視差運算的動作的流程圖。圖30的流程圖表示歩 驟S2230a的動作的詳細過程。在步驟S2230a的運算中，首先執(zhí)行歩 驟S2310。
在步驟S2310中，開始利用第二攝像信號和第三攝像信號的視差 運算的動作。接著執(zhí)行步驟S2320。
在步驟S2320中，在塊索引ib中設(shè)定O進行初始化處理。接著執(zhí) 行步驟S2330。
在步驟S2330中，選擇塊。圖31是說明本發(fā)明的實施方式2的攝 像裝置的利用第二攝像信號和第三攝像信號的視差運算中的第二攝像 信號的分割塊和運算順序的圖，圖32是說明本發(fā)明的實施方式2的攝像裝置的利用第二攝像信號和第三攝像信號的視差運算中的第三攝像 信號的分割塊和運算順序的圖。在圖31中，第二攝像信號I2分割成在
x方向有HB像素、在y方向有VB像素的長方形的塊，并在x方向上 錯開HB像素、在y方向上錯開VB像素地進行配置，在x方向具有 Nh個塊，在y方向上具有Nv個塊。因此，各塊在x方向、y方向都 沒有重疊的部分。在圖32中，第三攝像信號13分割成圖32 (b)所示 的(HB+SB) * (VB+SB) —SB*SB像素的塊，在x方向上錯開HB 像素、在y方向上錯開VB像素地進行配置，在x方向具有Nh個塊， 在y方向具有Nv個塊。此外，在圖32中不能夠取得圖32 (b)所示 的塊的塊(例如，左上、右下、左下的塊)能夠適當去除不能夠取得 的部分(例如，左上的塊為HB*VB的長方形的塊)。另外，在實施方 式2中，以下表示HB二32、 VB二32的例子。在圖31和圖32中，在 各塊的上層記述的數(shù)字表示塊索引ib。此外，在圖31和圖32中，在 各塊的下層記述的坐標(ibx， iby)表示各塊在x方向是第ibx個塊， 在y方向是第iby個塊。這里，ibx存在于0到Nh—l， iby存在于0 到Vh—l。在歩驟S2330中，選擇在圖31和圖32中以塊索引ib表示 的塊(以坐標(ibx， iby)表示的塊)。接著，執(zhí)行步驟S2340。
在步驟S2340中，傳送攝像信號。這里，向第一運算緩沖器241a 傳送在歩驟S2330中已選擇的塊的第二攝像信號12。將運算緩沖器的 坐標(x， y)的值作為Bcl (x， y)。這里，HB二32、 VB二32，因此 x = 0 31、 y二0 31。在步驟S2340中，進而向第二運算緩沖器241b 傳送己選擇的塊的第三攝像信號13。將運算緩沖器的坐標(x， y)的 值作為Bc2 (x， y)。這里，HB = 32、 VB二32，因此x二31—SB 31 ， y = 0 31 + SB。例如，在ib二ibt時，向第一運算緩沖器241a傳送被 坐標(Hl — l， 0)和坐標(H1—32， 31)包圍的1024像素的攝像信 號II，向第二運算緩沖器241b傳送在圖32中以向右上的斜線描繪的 被坐標(Hl — 10， 0)和坐標(H1—32 — SB， 31+SB)包圍的(1024 + 2*32*SB)像素的攝像信號I3。接著，在ib二ibt+l時，向第一運算 緩沖器241a傳送被坐標(Hl—33， 32)和坐標(Hl—64， 63)包圍 的1024像素的攝像信號I1。此外，在第二運算緩沖器241b中，雖然 需要在圖32中以向右上的斜線描繪的被坐標(H1—33，32)和坐標(H1
44一64 — SB， 63 + SB)包圍的(1024 + 2*32*SB)像素的攝像信號13， 但因為與ib二ibt重疊的部分(被坐標(HI—33， 32)和坐標(H一32 一SB， 31+SB)包圍的2+324SB像素的區(qū)域)已經(jīng)被傳送到第二運算 緩沖器241b，所以向第二運算緩沖器241b僅傳送新的被坐標(Hl — 33 — SB， 31+SB)和坐標(HI—64 — SB， 63 + SB)包圍的2048像素。 由此，能夠減少傳送時間。接著，執(zhí)行步驟S2350。
在步驟S2350中，執(zhí)行視差運算。首先，運算視差評價值R(k)。 這里，k是表示使像素偏移多少的偏移量，以k二0， 1， 2，……，SB 的方式變化。圖33是說明本發(fā)明的實施方式2的攝像裝置的利用第二 攝像信號和第三攝像信號時的視差運算中的視差評價值的運算區(qū)域的 圖。如圖33所示，存儲有數(shù)據(jù)Bcl的區(qū)域是第- 運算緩沖器241a屮 的區(qū)域。存儲有數(shù)據(jù)Bc2的區(qū)域，是在圖33中從以Bcl表示的塊在x 方向上向負方向移動偏移量k、并在y方向上向正方向移動偏移量k 的第二運算緩沖器241b中的區(qū)域。而且，對于偏移量k二0 SB，運 算下述式15表示的絕對值差值總和(SAD: Sum of Absolute Differences),作為視差評價值R (k)。
R (k) =Ei: I Bcl (x， y) —Bc2 (x—k， y+k) I ......式15
該視差評價值R (k)表示第一運算緩沖器241a的數(shù)據(jù)Bcl 、與在 x方向上向負方向離開k并在y方向上向正方向離開k的區(qū)域屮的第二 運算緩沖器241b的數(shù)據(jù)Bc2存在多少相關(guān)性，值越小表示相關(guān)性越人 (越近似)。這里，第一運緩沖器241a的數(shù)據(jù)Bcl傳送第二攝像信號 12，第二運算緩沖器241b的數(shù)據(jù)Bc2傳送第三攝像信號I3，因此，視 差評價值R (k)表示第二攝像信號12與相對應(yīng)的第三攝像信號13存 在多少相關(guān)性。
如圖17所示，視差評價值R (k)根據(jù)偏移量k的值而產(chǎn)生變化， 在偏移量k= A時具有極小值。第一運算緩沖器241a的數(shù)據(jù)Bcl表示 出與存在于將第一運算緩沖器241a的數(shù)據(jù)Bcl在x方向上向負方向移 動k且在y方向上向正方向移動k而到達的區(qū)域的第二運算緩沖器 241b的數(shù)據(jù)Bc2最具有相關(guān)性(最近似)。從而可知第一運算緩沖器 241a的數(shù)據(jù)Bcl與第二運算緩沖器241b的數(shù)據(jù)Bc2的視差是A 。這 里，將該A稱為該塊中的視差值A(chǔ)。接著，運算視差值A(chǔ)的可靠性。圖34是說明在本發(fā)明的實施方式 2的攝像裝置的利用第二攝像信號和第三攝像信號時的視差運算中的 視差評價值的可靠性的運算區(qū)域的圖。存儲有數(shù)據(jù)Bcl的區(qū)域是第-
運算緩沖器241a中的區(qū)域。存儲有數(shù)據(jù)Bc2的區(qū)域是將數(shù)據(jù)Bcl在x 方向上向負方向移動A且在y方向上向正方向移動A的第二運算緩沖 器241b中的區(qū)域。而且，如下述式16所示，對于各個區(qū)域的數(shù)據(jù)Bcl (x， y)、 Bc2 (x—A， y+A )，將歸一化相關(guān)系數(shù)作為可靠性E。 E (2， 3) (ibx， iby) = EE [{Bcl (x， y) —avg (Bcl (x， y))}
* {Bc2 (x—△， y+A) —avg (Bc2 (x—A ， y+A))}] / VEE [{Bcl (x， y) —avg (Bcl (x， y))}
* {Bcl (x， y) —avg (Bcl (x， y))}
/ V E E [{Bc2 (x— △ ， y+ △ ) —avg (Bc2 (x— △ ， y+ △ ))}
* {Bc2 (x— △ ， y+ △ ) —avg (Bc2 (x— A ， y+ △ ))}]......式
16
而且，在利用第二攝像信號和第三攝像信號的視差運算中，將該 視差值A(chǔ)的可靠性E保存為以坐標(ibx， iby)表示的32X32像素的 塊中的視差值A(chǔ) (2， 3) (ibx， iby)和其可靠性E (2， 3) (ibx， iby)。 (2， 3)表示是利用第二攝像信號和第三攝像信號的視差值和可靠性。 (ibx， iby)表示是以塊索引ib表示的塊，是圖31中在各塊的下層表 示的坐標。接著，執(zhí)行步驟S2360。
在步驟S2360中，塊索引ib加1。接著執(zhí)行步驟S2370。
在步驟S2370中，判斷是否結(jié)束利用第二攝像信號和第二攝像信 號的視差運算。當塊索引ib小于Nh*Nv時，為了運算下一個塊的視差， 接著執(zhí)行步驟S2330。另一方面，當塊索引ib為NMNv以上時，判斷 為己運算所有塊的視差，接著，執(zhí)行步驟S2380。
在步驟S2380中，結(jié)束利用第二攝像信號和第三攝像信號的視差 運算，返回上位程序。這樣，在利用第二攝像信號和第三攝像信號的 視差運算中，對于以塊索引ib表示的32X32像素的塊，以32X32像 素的分辨率求取視差值A(chǔ) (2， 3)(ibx， iby)及其可靠性E(2， 3) (ibx， iby)。這里，(2， 3)表示利用的是第二攝像信號和第三攝像信號，(ibx， iby)是圖31中在各塊的下層表示的坐標(ibx從O到Nh—l變化，iby從O到Nv—l變化)。接著，執(zhí)行圖29的步驟S2240a。
在步驟S2240a中，執(zhí)行利用第一攝像信號和第四攝像信號的視差 運算。圖35是表示本發(fā)明的實施方式2的攝像裝置的利用第一攝像信 號和第四攝像信號的視差運算的動作的流程圖。圖35的流.程圖表不步 驟S2240a的動作的詳細過程。在歩驟S2240a的運算中，首先，執(zhí)行 歩驟S2410。
在歩驟S2410中，開始利用第一攝像信號和第四攝像信號的視差 運算的動作。接著，執(zhí)行步驟S2420。
在步驟S2420中，在塊索引ib中初始化為0。接著，執(zhí)行步驟S2430。
在步驟S2430中，選擇塊。第一攝像信號的塊分割與步驟S2330 的第二攝像信號的塊分割相同，省略說明。其中，塊索引ib變史為與 后述的圖36相同。圖36是說明本發(fā)明的實施方式2的攝像裝置的利 用第一攝像信號和第四攝像信號的視差運算中的第四攝像信號的分割 塊和運算順序的圖。與圖31的第二攝像信號12相同，第一攝像信號 II分割成在x方向具有HB像素、在y方向具有VB像素的長方形的塊， 在x方向上錯開HB像素、在y方向上錯開VB像素地進行配置，在x 方向具有Nh個塊，在y方向具有Nv個塊。從而，各塊在x方向、y 方向上都沒有重疊的部分。圖36屮，第四攝像信號I4分割成圖36(b) 所示的(HB+SB) * (VB+SB) —SB*SB像素的塊，在x方向上錯開 HB像素、在y方向上錯開VB像素地進行配置，在x方向具有Nh個、 在y方向具有Nv個塊。此外，圖36中，不能夠取得圖36 (b)所示 的塊的塊(例如，右上、右下、左下的塊)能夠適當去除不能夠取得 的部分(例如，右上的塊為HB*VB的長方形的塊)。另外，在實施方 式2中，以下表示HB二32、 VB = 32的例子。
在圖36中，在各塊的上層記述的數(shù)字表示塊索引ib。此外，在圖 36中，在各塊的下層記述的坐標(ibx， iby)表示各塊在x方向是第ibx 個塊，在y方向是第iby個塊。這里，ibx存在于0到Nh—1 ， iby存在 于0到Vh—l。在步驟S2320中，選擇在圖36中以塊索引ib表示的塊 (以坐標(ibx， iby)表示的塊)。接著執(zhí)行步驟S2440。
在步驟S2440中，傳送攝像信號。這里，向第--運算緩沖器241a 傳送在步驟S2430中已選擇的塊的第一攝像信號II。將第一運算緩沖器241a的坐標(x， y)的值作為Bcl (x， y)。這里，HB = 32、 VB = 32，因此x二0 31、 y=0 31。在步驟S2430中，向第二運算緩沖器 241b傳送所選擇的塊的第四攝像信號14。將第二運算緩沖器241b的坐 標(x， y)的值作為Bc2 (x， y)。這里，HB = 32、 VB二32，因此x 二0 31+SB、 y=0 31+SB。例如，在ib = ibt時，向第一運算緩沖 器241a傳送被坐標(0， 0)和坐標(31， 31)包圍的1024像素的攝 像信號II，向第二運算緩沖器241b中傳送在圖36中以向右下的斜線 描繪的被坐標(0，0)和坐標(31+88，31 + 88)包圍的(1024 + 2*32*813) 像素的攝像信號I4。接著，在ib二ibt+l時，向第-一運算緩沖器241a 傳送被坐標(32， 32)和坐標(63， 63)包圍的1024像素的攝像信號 II。此外，在第二運算緩沖器241b中，雖然需要在圖36中以向右下的 斜線描繪的被坐標(32， 32)和坐標(63 + SB, 63 + SB)包圍的(1024 +2*32*SB)像素的攝像信號I4，但因為與ib二ibt重疊的部分(被坐 標(32， 32)和坐標Gl+SB， 31+SB)包圍的2*32*SB像素的區(qū)域) 已經(jīng)被傳送到第二運算緩沖器241b,所以向第二運算緩沖器241b僅傳 送新的被坐標(32 + SB, 32 + SB)和坐標(63 + SB, 63 + SB)包圍 的2048像素即可。接著，執(zhí)行歩驟S2450。
在歩驟S2450中，執(zhí)行視差運算。首先，運算視差評價值R(k)。 這里，k是表示使像素偏移多少的偏移量，以k二O， 1， 2，……，SB 的方式變化。圖37是說明本發(fā)明的實施方式2的攝像裝置的利用第一 攝像信號和第四攝像信號時的視差運算中的視差評價值的運算區(qū)域的 圖。如圖37所示，存儲有數(shù)據(jù)Bcl的區(qū)域是第一運算緩沖器241a中 的區(qū)域。存儲有數(shù)據(jù)Bc2的區(qū)域，是在圖37中從以Bcl表示的塊在x 方向上向正方向移動偏移量k、且在y方向上向正方向移動偏移量k 的第二運算緩沖器241b中的區(qū)域。而且，對于偏移量k=0 SB，運 算下述式17表示的絕對值差值總和(SAD: Sum of Absolute Differences),作為視差評價值R (k)。
R (k) =E ￡ I Bcl (x， y) —Bc2 (x+k， y+k) I……式17 該視差評價值R (k)表示第一運算緩沖器241a的數(shù)據(jù)Bcl與在x 方向上向正方向離開k、且在y方向上向正方向離開k的區(qū)域中的第二 運算緩沖器241b的數(shù)據(jù)Bc2存在多少相關(guān)性，值越小表示相關(guān)性越大
48(越近似)。這里，第一運算緩沖器241a的數(shù)據(jù)Bcl是傳送第一攝像 信號II的數(shù)據(jù)，第二運算緩沖器241b的數(shù)據(jù)Bc2是傳送第四攝像信 號14的數(shù)據(jù)，因此視差評價值R (k)表示第一攝像信號II與相對應(yīng) 的第四攝像信號14存在多少相關(guān)性。
如圖17所示，視差評價值R (k)根據(jù)偏移量k的值而產(chǎn)生變化， 在偏移量k= A時具有極小值。第一運算緩沖器241a的數(shù)據(jù)Bcl表示 出與存在于將第一運算緩沖器241a的數(shù)據(jù)Bcl在x方向上向正方向移 動k、且在y方向上向正方向移動k而到達的區(qū)域中的第二運算緩沖器 241b的數(shù)據(jù)Bc2最具有相關(guān)性(最近似)。從而可知第一運算緩沖器 241a的數(shù)據(jù)Bcl與第二運算緩沖器241b的數(shù)據(jù)Bc2的視差是A 。這 里，將該A稱為該塊中的視差值A(chǔ)。
接著，運算視差值A(chǔ)的可靠性。圖38是說明在本發(fā)明的實施方式 2的攝像裝置的利用第一攝像信號和第四攝像信號時的視差運算中的 視差評價值的可靠性的運算區(qū)域的圖。存儲有數(shù)據(jù)Bcl的區(qū)域是第一 運算緩沖器241a中的區(qū)域。存儲有數(shù)據(jù)Bc2的區(qū)域是將數(shù)據(jù)Bcl在x 方向上向正方向移動A、且在y方向上向正方向移動A的第二運算緩
沖器241b中的區(qū)域。而且，如下述式18所不，對于各個區(qū)域的數(shù)據(jù) Bcl (x， y)、 Bc2 (x+△ ， y+A)，將歸一化相關(guān)系數(shù)作為可靠性E。 E (1， 4) (ibx， iby) 二i:i: [{Bcl (x， y) —avg (Bcl (x， y))}
* (Bc2 (x+A， y+A) —avg (Bc2 (x+△ ， y+A)))] / VEi: [{Bcl (x， y) —avg (Bcl (x， y))}
* {Bcl (x， y) —avg (Bcl (x， y))}
/ V E E [{Bc2 (x+ △ ， y+ A ) —avg (Bc2 (x+ A ， y+ △ ))}
* {Bc2 (x+ △ ， y+ △ ) —avg (Bc2 (x+ △ ， y+ A ))}]......式
18
而且，在利用第一攝像信號和第四攝像信號的視差運算中，將該 視差值A(chǔ)的可靠性E保存為以坐標(ibx， iby)表示的32X32像素的 塊中的視差值A(chǔ) (1， 4) (ibx， iby)和其可靠性E (1， 4) (ibx， iby)。 (1， 4)表示是利用第一攝像信號和第四攝像信號的視差值及可靠性。 (ibx， iby)表示以塊索引ib表示的塊，是圖31中在各塊的下層表示 的坐標。接著，執(zhí)行步驟S2460。在步驟S2460中，塊索引ib加l。接著，執(zhí)行步驟S2470。
在步驟S2470中，判斷是否結(jié)束利用第一攝像信號和第四攝像信 號的視差運算。當塊索引ib小于Nh*Nv時，為了運算下一個塊的視差， 接著執(zhí)行步驟S2430。另一方面，當塊索引ib在NMNv以上時，判斷 為己運算所有塊的視差，接著，執(zhí)行步驟S2480。
在步驟S2480中，結(jié)束利用第一攝像信號和第四攝像信號的視差 運算，返回上位程序。這樣，在利用第一攝像信號和第四攝像信號的 視差運算中，對于以塊索引ib表示的32X32像素的塊，以32X32像 素的分辨率求取視差值A(chǔ) (1， 4)(ibx， iby)及其可靠性E(l， 4)(ibx， iby)。這里，(1， 4)表示利用的是第一攝像信號和第四攝像信號，(ibx， iby)是圖31中在各塊的下層表示的坐標(ibx從O到Nh—l變化，iby 從O到Nv—l變化)。接著，執(zhí)行圖29的歩驟S2250a。
在步驟S2250a中，選擇視差。相對于各個塊，將可靠性E (2， 3) (ibx， iby)和E (1， 4) (ibx， iby)進行比較，將提供最火可靠性的 視差作為該塊中的視差值A(chǔ) (ibx， iby)。此外，將此時的可靠性作為E (ibx， iby)。接著，執(zhí)行步驟S2260。
在歩驟S2230b中，執(zhí)行利用第二攝像信號和第三攝像信號的視差 運算。該步驟與步驟S2230a相同，省略說明。其中，將所求出的視差 和可靠性作為各個塊中的視差值A(chǔ) (ibx， iby)和可靠性E(ibx， iby)。 接著，執(zhí)行步驟S2260。
在步驟S2260中，結(jié)束視差運算，返回上位程序。這樣，求出各 塊的視差值A(chǔ) (ibx， iby)。這里，(ibx， iby)是圖31的各塊的下層中 表示的坐標，ibx從O到Nh—l變化，iby從O到Nv—l變化。在木實 施方式中，在傳送范圍標志FO二l (第一動作模式)時，將利用第二 攝像信號12和第三攝像信號13得到的視差(近紅外光的視差)的可靠 性與利用第一攝像信號II和第四攝像信號14得到的視差(綠色光的視 差)的可靠性進行比較，采用可靠性較高的視差。另一方面，在傳送 范圍標志FO二2 (第二動作模式)時，不進行根據(jù)可靠性的選擇，采 用利用第二攝像信號12和第三攝像信號13得到的視差(近紅外光的視 差)。接著，執(zhí)行步驟S2700。
在步驟S2700中，距離運算部143進行距離運算，將其結(jié)果作為距離數(shù)據(jù)依次傳送到第二輸出緩沖器137b。該步驟S2700的動作與實 施方式1的步驟S1700相同，省略說明。接著，執(zhí)行步驟S2800。
在歩驟S2800中，傳送范圍決定部144決定傳送范圍，設(shè)定傳送 范圍標志。該步驟S2800的動作與實施方式1的歩驟S1800相同，省 略說明。接著，執(zhí)行步驟S2900。
在歩驟S2卯0中，結(jié)束運算動作，返回上位程序。接著，執(zhí)行歩 驟S2910。
通過如以上所述構(gòu)成本實施方式的攝像裝置并使其動作，具有與 實施方式1相同的效果。即，根據(jù)本發(fā)明的實施方式2的攝像裝置， 傳送范圍決定部144基于根據(jù)攝像信號生成的可靠性E (ibx， iby)， 在可靠性E (ibx， iby)較小時，使傳送范圍標志F0二1 (第一動作模 式)，在可靠性E (ibx， iby)較大時，使傳送范圍標志F0 = 2 (第二 動作模式)。由此，當可靠性E (ibx， iby)較大時，判斷為有提高高 速性的余量，使輸出標志F0二2 (第二動作模式)，由此實現(xiàn)能夠進行 高速的視差運算、距離運算的攝像裝置。另一方面，當可靠性(ibx， iby)較小時，判斷為需要進一歩的精度，使輸出標志FO二l (第一動 作模式)，由此能夠進行高精度的視差運算、距離運算。
此外，通過利用與對角配置的透鏡部(第二透鏡部113b和第三透 鏡部113c，以及第一透鏡部113a和第四透鏡部114d)相對應(yīng)的攝像信 號(第二攝像信號12和第三攝像信號13，以及第一攝像信號II和第四 攝像信號14)進行視差運算，能夠高精度地檢測具有沿著水平方向延 伸的形狀的被攝體(例如，車輛前方的停止線)的視差。
另外，在實施方式2的攝像裝置中，第一攝像信號Il、第二攝像 信號12、第三攝像信號13和第四攝像信號的大小分別為沿著水平方向 Hl像素、沿著垂直方向V1像素，使用該區(qū)域的整體進行視差運算， 但也可以具有一定程度的余量。g卩，也可以使在視差運算中利用的攝 像信號小于水平方向H1像素、垂直方向V1像素。
此外，在本實施方式2的攝像裝置中，根據(jù)可靠性E (ibx， iby) 變更傳送范圍，但本發(fā)明并不限定于此。本發(fā)明的要點在于通過變更 傳送范圍，進行使速度與精度的關(guān)系最佳的視差運算、距離運算。另 外，也可以根據(jù)上位CPU的命令變更傳送范圍。例如，上位CPU可以使用圖像數(shù)據(jù)，變更傳送范圍?；蛘咭部梢愿鶕?jù)用戶指定的被攝體 信息，上位CPU指示傳送范圍。
另外，與實施方式1的情況相同，也可以不根據(jù)攝像信號決定傳 送范圍。
此外，在實施方式2的攝像裝置中，使傳送范圍標志的初始值為
FO二l (傳送范圍是整個區(qū)域)，但也可以為FO二2 (傳送范圍是一半
的區(qū)域)。
此外，在實施方式2的攝像裝置中，將第一運算緩沖器的大小取 為32X32像素(水平方向32像素，以及垂直方向32像素)，但并不 限定于此。例如，也可以是4X4像素、8X8像素。16X16像素。此 外，也可以適當變更大小。此外，還可以求取多個尺寸的塊的視差并 進行選擇。進而，還可以不是矩形的塊，而是抽取邊緣等進行塊分割。 此外，不限于求取塊的視差，還可以求取作為邊緣的線段的視差。
此外，在實施方式2的攝像裝置中，向第一輸出緩沖器137a傳送 第二攝像信號I2，從輸入輸出部138輸出，但也可以輸出其它的攝像 信號(第一攝像信號II、第三攝像信號13或者第四攝像信號14)。此 外，還可以輸出多個攝像信號。進而，也可以根據(jù)攝像信號的條件， 變更從輸入輸出部138輸出的攝像信號。例如，也可以比較各個攝像 信號，變更為輸出最明亮的攝像信號(根據(jù)攝像信號的大小的平均為 最大等已進行判定的信號)，或者輪廓最清楚的信號(根據(jù)微分值的平 均、最大值為最大等己進行判定的信號)。
另外，在實施方式2的攝像裝置中，將作為CMOS傳感器的攝像 元件223和SLSI225分開制作，但SLSI225也可以通過CMOS工藝構(gòu) 成，在同一半導體基板上構(gòu)成攝像元件223和SLSI225。由此，與分開 構(gòu)成時相比較，能夠省略基板121上的配線等，因此能夠?qū)崿F(xiàn)低成本 化。此外，能夠提高抗噪性。
另外，在圖25 (a)中，與第一攝像信號Il對應(yīng)的區(qū)域(用I1表 示的區(qū)域)、與第二攝像信號I2對應(yīng)的區(qū)域(用I2表示的區(qū)域)、與第 三攝像信號I3對應(yīng)的區(qū)域(用I3表示的區(qū)域)、以及與第四攝像信號 14對應(yīng)的區(qū)域(用14表示的區(qū)域)，分別相對于攝像元件的中心對稱 地被描繪，但當然也可以不對稱。根據(jù)透鏡113的制造不均性、透鏡模塊110的組裝精度等，通過以使得第一透鏡部113a的光軸中心、第 二透鏡部113b的光軸中心、第三透鏡部113c的光軸中心、和第四透鏡 部113d的光軸中心與各自對應(yīng)的攝像信號的同一個像素相對應(yīng)的方式 進行組裝后的調(diào)整等，設(shè)定攝像信號Il的原點(xOl， y01)、攝像信號 12的原點(x02， y02)、攝像信號B的原點(x03， y03)、和攝像信號 14的原點(x04， y04)，在SLSI225內(nèi)、基板121上安裝閃存、EEPROM 等保持信息，并適當使用即可。
另外，實施方式2的攝像裝置能夠從任意的位置(如圖25所示， 在攝像信號Il中，原點是(x01， y01))得到任意大小(如圖25所示， 攝像信號II中，水平方向的像素為Hl像素，垂直方向的像素為VI 像素)的攝像信號。這里，如果僅在垂直方向上能夠指定任意的位置， 則進行以下所述的變形。圖39是用于說明本發(fā)明的實施方式2的攝像 位置的變形的攝像信號的截取位置的圖。圖39表示出下述情況與第 一攝像元件II對應(yīng)的區(qū)域(用II表示的區(qū)域)相比于與第二攝像元件 12對應(yīng)的區(qū)域在垂直方向更位于負的方向(即，第一攝像信號I1的原 點的y坐標y01與第二攝像信號12的原點的y坐標y02之間具有y01 <y02的關(guān)系)；與第三攝像元件13對應(yīng)的區(qū)域(用13表不的區(qū)域) 相比于與第四攝像元件14對應(yīng)的區(qū)域在垂直方向上更位于負的方向 (即，第三攝像信號I3的原點的y坐標y03與第四攝像信號I4的原點 的y坐標y04之間具有y03〈y04的關(guān)系)。在FO二l (第一動作模式) 時，如圖39 (a)所示，讀出水平方向HO像素、垂直方向y坐標為y 二y01 y02+Vl — l的Vl+y02—y01像素的區(qū)域(用向右下的斜線部 表示的區(qū)域)，以及水平方向HO像素、垂直方向y坐標為y二y03 y04 十V1 — 1的Vl+y04 — y03像素的區(qū)域(用向右上的斜線部表小的區(qū) 域)，并進行適當?shù)那疤幚?，使用與第一攝像信號II、第二攝像信號12、 第三攝像信號I3和第一攝像信號I4相對應(yīng)的區(qū)域。在F0二2 (第二動 作模式)時，如圖39 (b)所示，讀出水平方向HO像素、垂直方向y 坐標為y二y02 y02+Vl — l的VI像素的區(qū)域(用向右下的斜線部表 示的區(qū)域)，以及水平方向HO像素、垂直方向y坐標為y = y03 y03 + V1 — 1的V1像素的區(qū)域(用向右上的斜線部表示的區(qū)域)，并進行 適當?shù)那疤幚?，使用第二攝像信號12和第三攝像信號13。將傳送范圍標志FO=l (第一動作模式)時所需要的垂直方向的
讀出像素數(shù)Vl+y02—y01 (上部的用向右下的斜線部表示的區(qū)域的垂 直方向的讀出像素數(shù))、以及Vl+y04—y03 (下部的用向右上的斜線 部表示的區(qū)域的垂直方向的讀出像素數(shù))降低到傳送范圍標志F0 = 2 (第二動作模式)時所需要的垂直方向的讀出像素數(shù)VI (上部的用向 右下的斜線部表示的區(qū)域的垂直方向的讀出像素)、以及VI (下部的 用向右上的斜線部表示的區(qū)域的垂直方向的讀出像素數(shù))，即，減少y02 一y01+y04 — y03像素，相應(yīng)地能夠縮短圖像的傳送所需要的時間。由 此，當可靠性E (ibx， iby)較大時，判斷為具有提高高速性的余量， 通過使輸出標志F0二2 (第二動作模式)，實現(xiàn)能夠進行高速的視差運 算、距離運算的攝像裝置。另一方面，當可靠性E (ibx， iby)較小時， 判斷為進一步需要精度，通過使輸出標志F0二1 (第一動作模式)，能 夠進行高精度的視差運算、距離運算。
另外，例如作為傳送范圍標志F0二3 (第三動作模式)，還可以添 加僅進行利用第一攝像信號II和第四攝像信號14的視差運算的情況。 在這種情況下，在F0二3時，如圖39(c)所示，讀出水平方向HO像 素、垂直方向y坐標為y二y01 y01+Vl — l的V1像素的區(qū)域(用向 右下的斜線部表示的區(qū)域)，以及水平方向HO像素、垂直方向y坐標 為y二y04 y04 + Vl — l的VI像素的區(qū)域(用向右上的斜線部表示的 區(qū)域)，并進行適當?shù)那疤幚?，使用第一攝像信號II和第四攝像信號 14。如果不變更讀出位置，為了與FO二2和FO二3相對應(yīng)，必須如圖 39 (a)所示讀取各自的垂直方向的寬度(2XV1)以上的信息，但如 FO二2與FO二3的切換那樣，根據(jù)動作模式，適當變更開始讀出的垂 直方向的位置，不變更垂直方向的讀出像素(保持為2XV1)，由此能 夠防止圖像傳送所需要的時間的增大。
此外，在圖39中，還可以交替地讀出用向右下的斜線部表示的區(qū) 域和用向右上的斜線部表示的區(qū)域的各行。例如，在圖39 (a)中，可
以按照y二y01、 y03、 y01 + l、 y03 + l、 y01+2、 y03 + l、 ......、 y01
十V1—1、 y03+Vl — l的順序讀出。在使用滾動快門形式的CMOS傳 感器的情況下，在讀出了用向右下的斜線部表示的區(qū)域之后，如果讀 取被向右上的斜線部占據(jù)的區(qū)域，則拍攝第二攝像信號I2的時刻與拍
54攝第三攝像信號I3的時刻不同。從而，當被攝體的動作快速時，因為 在誤差絕對值總和的運算中利用的攝像信號不同，所以求出的視差的 精度下降。在使用滾動快門形式的CMOS傳感器的情況下，通過交替 地讀出用向右下的斜線部表示的區(qū)域和被向右上的斜線部占據(jù)的區(qū)域 的各行，即使被攝體的動作快速，在誤差絕對值總和的運算中利用的 攝像信號的拍攝時間大致一致，因此能夠進行高精度的視差運算。
此外，在使用滾動快門形式的CMOS傳感器的情況下，如果將各
個攝像區(qū)域順序地一個一個像素地讀出，則能夠進一步降低拍攝時間
的影響，實現(xiàn)高精度的視差運算。即，當F0二1 (第一動作模式)時， 可以按照(x02， y02)、 (x03， y03)、 (x01， y01)、 (x04， y04)、 (x02 + 1， y02)、 (x03 + l， y03)、 (x01 + l， y01)、 (x04+l， y04)、 (x02 + 2， y02)、 (x03+2， y03)、 (x01+2， y01)、 (x04+2， y04)、......、
(x02 + Hl — l， y02)、 (x03+Hl — l， y03)、 (x01+Hl — l， y01)、 (x04 + H1 —1， y04)、 (x02， y02+l)、 (x03， y03 + l)、 (x01， y01 + l)、
(x04， y04+l)、 (x02+l， y02+l)、 (x03+l， y03 + l)、 (x01+l，
y01 + l)、 (x04+l， y04+l)、 ......、 (x02， y02 + Vl — l)、 (x03， y03
十V1 — 1)、 (x01， y01+Vl — l)、 (x04， y04 + Vl — l)、 (x02+l， y02 十V1 — 1)、 (x03十l， y03 + Vl — l)、 (x01 + l， y01+Vl — l)、 (x04 + 1， y04 + V1 —1)、……、(x02 + H1 —1， y02 + Vl — l)、 (x03十Hl —1， y03 + Vl — l)、 (x01+H1 —1， y01+V1 —1)、 (x04+Hl — l， y04 十V1 — 1)的順序傳送。另外，通過如上述那樣順序讀出視差運算時相 對應(yīng)的組的攝像信號(第二攝像信號I2和第三攝像信號，以及第一攝
像信號n和第四攝像信號14)，能夠進一步降低拍攝時問的偏差的影
響。另一方面，當FO二2 (第二動作模式)時，可以按照(x02， y02)、 (x03， y03)、 (x02+l， y02)、 (x03十l， y03)、 (x02 + 2， y02)、 (x03
+ 2， y03)、 ......、 (x02 + H1 —1， y02)、 (x03+H1 —1， y03)、 (x02，
y02+l)、 (x03， y03+l)、 (x02+l， y02+l)、 (x03+l， y03+l)、……、 (x02， y02 + Vl — l)、 (x03， y03 + Vl — l)、 (x02+l， y02 + Vl — l)、 (x03 + l， y03 + V1 —1)、 ......、 (x02 + Hl — l' y02 + V1 —1)、 (x03
+ H1 — 1, y03 + Vl —1)的順序傳送。
這樣，傳送范圍的攝像區(qū)域反復交替地向攝像信號輸入部233傳送所生成的攝像信號的一部分，從而能夠?qū)⑺傻娜繑z像信號傳 送到攝像信號輸入部233。 (實施方式3)
本發(fā)明的實施方式1和實施方式2的攝像裝置，例如在需要視差 運算的高速性的情況下，不傳送2組攝像信號而僅傳送1組攝像信號，
從而減少傳送所需要的時間，高速地進行視差運算、距離運算。與此
相對，實施方式3的攝像裝置在1組攝像信號屮，限定進行視差運算 的范圍，通過僅傳送該被限定的部分，減少傳送所需要的時間，高速 地進行視差運算、距離運算。
以下，參照

本發(fā)明的實施方式3的攝像裝置。
圖40是表示本發(fā)明的實施方式3的攝像裝置的結(jié)構(gòu)的截面圖。在 圖40中，攝像裝置具有透鏡模塊部310和電路部320。
透鏡模塊部310具有鏡筒311、上部蓋玻璃312和透鏡313。電路 部320具有基板321、封裝322、攝像元件323、封裝蓋玻璃324和系 統(tǒng)LSI (以下，記為SLSI) 325。
鏡筒311和上部蓋玻璃312分別與實施方式1的鏡筒111和上部 蓋玻璃312相同，省略說明。
圖41是表示本發(fā)明的實施方式3的攝像裝置的透鏡的結(jié)構(gòu)的平而 圖。透鏡313是大致圓盤狀，由玻璃、透明樹脂形成，配置有第一透 鏡部313a和第二透鏡部313b。沿著第一透鏡部313a和第二透鏡部313b 的配置方向，如圖41所示設(shè)定x軸，與x軸垂直地設(shè)定y軸。在第一 透鏡部313a和第二透鏡部313b，從被攝體側(cè)入射的光向攝像元件323 側(cè)射出，在攝像元件323上成像為2個圖像。另外，如圖41所示，第 一透鏡部313a的光軸與第二透鏡部313b的光軸在水平方向(x軸方向) 上僅離開D，在垂直方向(y軸方向)上一致。
基板321和封裝322分別與實施方式1的基板121和封裝122相 同，省略說明。
攝像元件323是CMOS傳感器，以攝像元件323的受光面與第一-透鏡部313a和第二透鏡部313b的光軸大致垂直的方式配置。攝像元 件323的各端子通過引線接合利用金線327與封裝322的內(nèi)側(cè)的底部 的金屬端子連接，通過基板321，與SLSI325電連接。從第-透鏡部313a和第二透鏡部313b出射的光分別在攝像元件323的受光面上成 像，其光信息通過光電二極管變換成電信息，該電信息傳送到SLSI325。
圖42是表示本發(fā)明的實施方式3的攝像裝置的電路部的結(jié)構(gòu)的平 面圖。封裝蓋玻璃324是平板狀，由透明樹脂形成，通過粘接等固定 在封裝322的上表面。此外，在封裝蓋玻璃324的上表面、下表面或 者兩面上，通過蒸鍍等配置有反射防止膜。
SLSI325按照后述的方法驅(qū)動攝像元件323，輸入來自攝像元件 323的電信息，進行各種運算，與上位CPU進行通信，將圖像信總、 距離信息等輸出到外部。另夕卜，SLSI325與電源(例如3.3V)和地(例 如0V)連接。
接著，說明本發(fā)明的實施方式3的攝像裝置的動作。圖43是表示 本發(fā)明的實施方式3的攝像裝置的結(jié)構(gòu)的框圖。SLSB25具有系統(tǒng)控制 部331、攝像元件驅(qū)動部332、攝像信號輸入部333、前處理部334、 輸入緩沖器335、運算部336、輸出緩沖器337和輸入輸出部338。輸 入緩沖器335具有第一輸入緩沖器335a和第二輸入緩沖器335b。運算 部336具有運算緩沖器341 、視差運算部342、距離運算部343和傳送 范圍決定部344。運算緩沖器341具有第一運算緩沖器341a和第二運 算緩沖器341b。輸出緩沖器337具有第一輸出緩沖器337a和第二輸出 緩沖器337b。
系統(tǒng)控制部331由CPU (中央運算處理裝置Central Processing Unit)、邏輯電路等構(gòu)成，控制SLSI325的整體。
攝像元件驅(qū)動部332由邏輯電路等構(gòu)成，產(chǎn)生驅(qū)動攝像元件323 的信號，向攝像元件323施加與該信號相應(yīng)的電壓。
攝像信號輸入部333以CDS電路(相關(guān)雙采樣電路Correlated Double Sampling Circuit)、 AGC (自動增益控制器Automatic Gain Controller)、 ADC (模擬/數(shù)字轉(zhuǎn)換器:Analog Digital Converter)串 聯(lián)連接的方式構(gòu)成，輸入來自攝像元件323的電信號，通過CDS電路 去除固定噪聲，通過AGC調(diào)整增益，通過ADC從模擬信號變換成數(shù) 字值。
前處理部334由邏輯電路等構(gòu)成，進行強度修正處理，依次傳送 到輸入緩沖器335。另外，為了校正透鏡的光軸的偏移等，也可以適當?shù)剡M行坐標變換。
運算部336包括由SRAM (Static Random Access Memory:靜態(tài)
隨機存取存儲器)構(gòu)成的第一運算緩沖器341a、第二運算緩沖器341b; 由邏輯電路、CPU等構(gòu)成的視差運算部342;由邏輯電路、CPU等構(gòu) 成的距離運算部343;和由邏輯電路、CPU等構(gòu)成的傳送范圍決定部 344。運算部336以塊單位讀入第一攝像信號II和第二攝像信號12， 分別保存在第一運算緩沖器341a、第二運算緩沖器341b中，在視差運 算部342中根據(jù)第一運算緩沖器341a、和第二運算緩沖器341b的數(shù)據(jù) 等運算視差，在距離運算部343中根據(jù)所求出的視差運算距離，將求 出的距離數(shù)據(jù)傳送到輸出緩沖器337。
輸出緩沖器337由DRAM等構(gòu)成，保存從輸入緩沖器335傳送來 的圖像數(shù)據(jù)和從運算部336傳送來的距離數(shù)據(jù)，并依次傳送到輸入輸 出部338。
輸入輸出部338進行與上位CPU (未圖示)的通信，向上位CPU、 外部存儲器(未圖示)和液晶顯示器等外部顯示裝置(未圖示)輸出 圖像數(shù)據(jù)和距離數(shù)據(jù)。
圖44是表示本發(fā)明的實施方式3的攝像裝置的動作的流程圖。根 據(jù)SLSI325的系統(tǒng)控制部331，攝像裝置301如該流程圖那樣動作。
在步驟S3010中，開始動作。例如，上位CPU (未圖示)通過輸 入輸出部336，向攝像裝置301發(fā)出動作開始的命令，由此攝像裝置 301丌始動作。接著，執(zhí)行歩驟S3020。
在步驟S3020中，進行傳送范圍的初始化。在本實施方式屮，將 在攝像區(qū)域的整個區(qū)域中生成的攝像信號設(shè)定為傳送范圍。而且，使 各塊(ibx， iby)的傳送范圍標志FO (ibx， iby)全為1。
圖45是用于說明本發(fā)明的實施方式3的攝像裝置的攝像信號的截 取位置的圖。攝像元件323的攝像區(qū)域的大小是水平方向H0像素、垂 直方向V0像素。對通過第一透鏡部313a被成像的被攝體像進行拍攝 的區(qū)域，在圖45中如II所示，是以(x01， y01)為原點的水平方向 Hl像素、垂直方向V1像素，作為第一攝像信號Il輸入到SLSI325。 此外，對通過第二透鏡部313b被成像的被攝體像進行拍攝的區(qū)域，在 圖45中如I2所示，是以(x02， y02)為原點的水平方向Hl像素、垂直方向V1像素，作為第二攝像信號輸入到SLSI325。與第一攝像信號 II相對應(yīng)的區(qū)域和與第二攝像信號12相對應(yīng)的區(qū)域分別分割成多個塊
的區(qū)域。
圖46是說明本發(fā)明的實施方式3的攝像裝置的利用第一攝像信號 和第二攝像信號的視差運算中的第一攝像信號的分割塊、運算順序和 傳送范圍標志的圖，圖47是說明本發(fā)明的實施方式3的攝像裝置的利 用第一攝像信號和第二攝像信號的視差運算中的第二攝像信號的分割 塊、運算順序和傳送范圍標志的圖。圖46中，第一攝像信號Il分割成 在x方向為HB像素、在y方向為VB像素的長方形的塊，在x方向錯 開HB像素、在y方向錯開VB像素地進行配置，在x方向具有Nh個 塊，在y方向具有Nv個塊。從而，各個塊在x方向、y方向都沒冇重 疊的部分。在圖47中，第二攝像信號I2分割成在x方向為(HB + SB) 像素、在y方向為VB像素的長方形的塊，在x方向上錯開HB像素、 在y方向上錯開VB像素地進行配置，在x方向具有Nh個塊，在y方 向上具有Nv個塊。從而，在x方向上相鄰的塊重疊。另一方面，在y 方向上相鄰的塊不重疊。此外，在圖47中，在右側(cè)的塊中不能夠在x 方向上取得(HB + SB)像素的塊能夠適當去除x方向的右端。另外， 在實施方式3中，以下表示HB二32、 VB二32的例子。
在圖46和圖47中，在各塊的上層記述的數(shù)字表示塊索引ib。此 外，在圖46和圖47中，在各塊的中層記述的坐標(ibx， iby)表不各 塊在x方向上是第ibx個塊，在y方向上是第iby個塊。這里，ibx存 在于0到Nh— 1 ， iby存在于0至U Vh— 1 。此外，在圖46和圖47中， 在各塊的下層中表示傳送范圍標志FO Gbx， iby)，如果傳送范圍標志 FO (ibx， iby) =1則意味著動作，傳送該塊的攝像信號，進行視差運 算。另一方面，如果傳送范圍標志FO (ibx， iby) 二0則意味著停止， 不傳送該塊的攝像信號，不進行視差運算。
在步驟S3020中，使各塊(ibx， iby)的傳送范圍標志FO (ibx， iby)全部為1，使傳送范圍初始化為在攝像區(qū)域的整個區(qū)域中生成的 攝像信號。接著，執(zhí)行步驟S3030。
在步驟S3030中，輸入攝像信號。根據(jù)系統(tǒng)控制部331的命令， 攝像元件驅(qū)動部332隨時輸出用于進行電子快門、傳送的信號。順序輸入傳送范圍標志FO (ibx， iby) 二l的塊(動作的塊)的攝像區(qū)域的 攝像信號，依次傳送到前處理部334。前處理部334進行第一攝像信號 II和第二攝像信號12的強度修正處理，并依次傳送到輸入緩沖器335。 將第一攝像信號Il依次傳送到第一輸入緩沖器335a，將第二攝像信號 12依次傳送到第二輸入緩沖器335b。第一攝像信號II和第二攝像信號 12是分別根據(jù)通過第一透鏡部313a和第二次透鏡部313b被成像的被 攝體像而得到的。如下述式19所示，用第一強度修正系數(shù)ksl修正第 一攝像信號Il，以及如下述式20所示，用第二強度修正系數(shù)ks2修正 第二攝像信號I2。
11 (x， y) =ksl (x， y) "1 (x， y)……式19
12 (x， y) 二ks2 (x， y) "2 (x， y)......式20
另外，第一強度修正系數(shù)ksl (x， y)和第二強度修正系數(shù)ks2 (x， y)表示第--攝像信號II和第二攝像信號12的坐標(x， y)的強度修 正系數(shù)，在檢查工序等中拍攝特定圖像而決定，并保存在EEPROM、 閃存中。另外，也可以不具有各像素的系數(shù)而僅具有代表點，使用該 代表點通過線性內(nèi)插求取第一強度修正系數(shù)ksl (x， y)和第二強度修 正系數(shù)ks2 (x， y)。此外，也可以建立近似式且僅具有其系數(shù)，生成 各坐標的第一強度修正系數(shù)ksl (x， y)和第二強度修正系數(shù)ks2 (x， y)。此外，為了校正透鏡的光軸的偏移等，可以適當?shù)剡M行坐標變換。 接著，執(zhí)行歩驟S3040。
在歩驟S3040中，將保存在第一輸入緩沖器335a中的第一攝像信 號II傳送到第一輸出緩沖器337a，第一輸出緩沖器337a作為圖像數(shù) 據(jù)進行保存。另夕卜，在傳送范圍標志FO (ibx， iby) =1的塊(動作的 塊)中，直接傳送攝像信號II，在傳送范圍標志FO (ibx， iby) 二0 的塊(停止的塊)中，因為沒有應(yīng)該傳送的攝像信號II，所以進行使 該圖像數(shù)據(jù)全部為黑等的處理。接著，執(zhí)行步驟S3100。
在步驟S3100中，生成距離數(shù)據(jù)，并依次傳送到第二輸出緩沖器 337b。此外，決定傳送范圍，設(shè)定傳送范圍標志FO (ibx， iby)。該動 作的詳細過程在后面敘述。接著，執(zhí)行步驟S3910。
在步驟S3910中，將數(shù)據(jù)輸出到外部。輸入輸出部338將第一輸 出緩沖器337a上的圖像數(shù)據(jù)和第二輸出緩沖器337b上的距離數(shù)據(jù)輸
60出到上位CPU (未圖示)、外部顯示裝置(未圖示)。另外，還可以適
當輸出傳送范圍標志FO (ibx， iby)。接著，執(zhí)行步驟S3920。
在步驟S3920中，判斷是否結(jié)束動作。例如，系統(tǒng)控制部331通 過輸入輸出部336與上位CPU (未圖示)通信，請求是否結(jié)朿動作的 命令。而且，如果上位CPU命令結(jié)束則結(jié)束動作。接著，執(zhí)行歩驟 S3930。另一方面，如果上位CPU沒有命令結(jié)束則繼續(xù)動作，接著執(zhí) 行步驟S3030。即，只要上位CPU沒有命令結(jié)束，就繼續(xù)執(zhí)行步驟 S3030、步驟S3040、步驟S3100和步驟S3910的循環(huán)。 在步驟S3930中結(jié)束動作。
接著，說明歩驟S3100中的動作的詳細過程。圖48是表示本發(fā)明 的實施方式3的攝像裝置的運算部的動作的流程圖。圖48的流程圖表 示步驟S3100的動作的詳細過程。在步驟S3100的運算中，首先執(zhí)行 步驟S3110。
在步驟S3110中，開始運算的動作。接著，執(zhí)行步驟S3200。 在步驟S3200中，執(zhí)行視差運算。圖49是表示本發(fā)明的實施方式 3的攝像裝置的視差運算的動作的流程圖。圖49的流程圖表示步驟 S3200的動作的詳細過程。在歩驟S3200中，進行利用第一攝像信號和 第二攝像信號的視差運算。在步驟S3200的運算中，首先執(zhí)行步驟 S3310。
在步驟S3310中，開始視差運算的動作。接著，執(zhí)行步驟S3320。 在步驟S3320中，在塊索引ib中設(shè)定O進行初始化。接著，執(zhí)行 步驟S3330。
在步驟S3330中，選擇塊。選擇在圖46和圖47中以塊索引ib表 示的塊(以坐標(ibx， iby)表示的塊)。接著，執(zhí)行歩驟S3335。
在步驟S3335中，判斷是否是傳送范圍并產(chǎn)生分支。在以塊索引 ib表示的塊(以坐標(ibx， iby)表示的塊)中，當傳送范圍標志FO (ibx， iby) =1 (動作的塊)時，接著執(zhí)行步驟S3340。另 一方面，在 以塊索引ib表示的塊(以坐標(ibx， iby)表示的塊)中，當傳送范圍 標志FO Gbx， iby) 二0 (停止的塊)時，接著執(zhí)行歩驟S3360。這樣， 在傳送范圍標志FO (ibx， iby) 二l (動作的塊)的塊中，在后述的步 驟S3340中傳送攝像信號，在后述的步驟S3350中進行視差運算，并執(zhí)行后述的步驟S3360。另一方面，在傳送范圍標志FO (ibx， iby) =0 (停止的塊)的塊中，不進行傳送攝像信號和視差運算的動作，而 執(zhí)行后述的步驟S3360。
在步驟S3340中，傳送攝像信號。該步驟S3340的動作與實施方 式l的步驟S1340的動作相同，省略說明。其中，關(guān)于第二攝像信號， 能夠省略傳送的部分僅是存在塊的重疊而且在該塊中傳送范圍標志 FO (ibx， iby) 二l (動作的塊)的部分(即，已被傳送的部分)。接著， 執(zhí)行步驟S3350。
在歩驟S3350中，執(zhí)行視差運算。該步驟S3350的動作與實施方 式1的步驟S1350的動作相同，省略說明。其中，不需要進行可靠性 的運算，將在實施方式1中以A (1， 2) (ibx， iby)表示的視差作為 以塊索引ib的表示的塊(以坐標Gbx， iby))表示的塊)的視差值A(chǔ) (ibx， iby)。接著，執(zhí)行步驟S3360。
在步驟S3360中，塊索引ib加l。接著，執(zhí)行步驟3370。
在步驟S3370中，判斷是否結(jié)束視差運算。當塊索引ib小于Nh*Nv 時，為了運算下-- 個塊的視差，接著執(zhí)行步驟S3330。另一方面，當塊 索引ib在NMNv以上時，判斷為已運算所有塊的視差，接著，執(zhí)行步 驟S3380。
在歩驟S3380中，結(jié)束視差運算，返回上位程序。這樣，對于以 塊索引ib表示的32X32像素的塊，以32X32像素的分辨率求取視差 值A(chǔ) (ibx， iby)。這里，(ibx， iby)是圖46中在各塊的中層表示的坐 標(ibx從O到Nh—l變化，iby從O到Nv—l變化)。接著，執(zhí)行圖 48的步驟S3700。
在步驟S3700中，距離運算部343進行距離運算，將其結(jié)果作為 距離數(shù)據(jù)依次傳送到第二輸出緩沖器337b。該步驟S3700的動作與實 施方式1的歩驟S1700的動作相同，省略說明。其中，距離運算僅對 傳送范圍標志FO (ibx， iby) =1 (動作的塊)進行。另外，如果在傳 送范圍標志FO (ibx， iby) 二0 (停止的塊)中代入負數(shù)，則即使沒有 向上位CPU進行傳送范圍標志FO (ibx， iby)的信息傳送，由于上位 CPU對于傳送來的距離數(shù)據(jù)A (ibx， iby)中代入了負數(shù)的塊，能夠判 斷為是沒有進行視差運算、距離運算的塊，因此能夠減少通信的負荷。接著，執(zhí)行步驟S3800。
在步驟S3800中，傳送范圍決定部344決定傳送范圍，設(shè)定各塊 (ibx， iby)的傳送范圍標志FO (ibx， iby)。圖50是說明本發(fā)明的實 施方式3的攝像裝置的傳送范圍的圖。另外，在圖50中，為了簡單， 表示塊數(shù)較小的情況，但塊數(shù)并不限于該圖的情況。傳送范圍決定部 344在由第一攝像信號II構(gòu)成的圖像的各塊中，使包括人物的而部的 塊為FO (ibx， iby) 二l (動作的塊)，使不包括人物的面部的塊為FO (ibx， iby) =0 (停止的塊)。在圖50中，以圖50 (a)的坐標(0， 0)、 坐標(l， O)表示的塊那樣的空心的塊表示傳送范圍標志FO(ibx， iby) =1 (動作的塊)，例如，圖50 (b)、 (c)、 (d)的以坐標(0， 0)、坐 標(l，O)表示的塊那樣加入了斜陰影線的塊表示傳送范圍標志FO(ibx， iby) =0 (停止的塊)。
例如，起動作為照相機模塊的攝像裝置301而最初拍攝的攝像信 號Il，在步驟3020中，初始化成全部塊的傳送范圍標志FO(ibx， iby) =1，因此，如圖50 (a)所示，傳送與第一透鏡部313a對應(yīng)的攝像區(qū) 域的全部范圍。傳送范圍決定部344判斷人物的面部的部分，如圖50 (b)所示，包括面部的塊保持為傳送范圍標志FO (ibx， iby) 二l (空 心的塊)，不包括面部的塊以傳送范圍標志FO (ibx， iby) =0 (加入 了斜陰影線的塊)的方式變更圖50 (a)所示的傳送范圍標志FO (ibx， iby)。
另外，作為檢測人物的面部的方法能夠利用眾所周知的方法。例 如，在人物的前面配置本實施方式的攝像裝置的情況下，將具有橢圓 形的邊緣(與面部的輪廓相當?shù)倪吘?、且在其內(nèi)部具有2個黑點(與 眼睛相當?shù)?個點)的圖像內(nèi)的區(qū)域檢測為人物的面部即可。
此外，在具有圖50 (b)所示的傳送范圍標志FO (ibx， iby)的分 布吋，如果人物的面部移動，則如圖50 (c)所示，面部的一部分移動 成為傳送范圍標志FO (ibx， iby) =0 (停止的塊)。在這種情況下， 在圖50 (b)中包括面部所以FO (ibx， iby) =1 (空心的塊。動作的 塊)、但在圖50 (c)中不包括面部的塊，如圖50 (d)的3800A所示， 變更成傳送范圍標志FO (ibx， iby) =0 (加入了斜陰影線的塊)。而 且，在圖50 (b)中不包括面部所以FO (ibx， iby) =0 (加入了斜陰
63影線的塊。停止的塊)、但在圖50 (C)中包括面部的塊，如圖50 (d)
的3800B所示，變更成傳送范圍標志FO (ibx, iby) 二l (空心的塊。 動作的塊)。接著，執(zhí)行步驟S3900。
在步驟S3900中，結(jié)束運算動作，返回上位程序。接著執(zhí)行步驟 S3910。
通過如上所述構(gòu)成本實施方式的攝像裝置并使其進行動作，具有 以下的效果。
在始終將在攝像區(qū)域的整個區(qū)域中生成的攝像信號作為傳送范圍 的情況下，總是需要傳送所有像素的傳送時間，由于該傳送時間，相 應(yīng)地在高速化上存在界限。根據(jù)本發(fā)明的實施方式3的攝像裝置，如 圖50 (b) (d)所示，使包括人物的面部的塊的傳送范圍標志FO (ibx， iby) =1，僅傳送包括人物的面部的塊的攝像信號。在利用于車載用的 乘客監(jiān)視的情況下，應(yīng)該注視的被攝體是人物的面部，需要面部的距 離測定。因此，通過限定僅傳送面部的區(qū)域，與傳送全部像素的情況 相比較能夠減少傳送量，實現(xiàn)能夠進行高速的視差運算、距離運算的 攝像裝置。例如，在圖50 (b) (d)中，相對于所有的48個塊，能夠 將傳送攝像信號的塊減少到14個。
另外，在實施方式3的攝像裝置中，如上所述，將在攝像區(qū)域的 一部分的區(qū)域中生成的攝像信號(與所有塊中的特定的塊有關(guān)的攝像 信號)設(shè)定為傳送范圍。而且，適當變更該傳送范圍。換言之，適當 切換多個動作模式。
此外，在實施方式3的攝像裝置中，作為初始狀態(tài)，將整個圖像 區(qū)域設(shè)定為傳送范圍，但也可以預先僅將中心附近的圖像區(qū)域設(shè)為傳 送范圍。如果在適當?shù)奈恢冒惭b攝像裝置，則人物的面部大部分位于 圖像的中心，因此作為初始狀態(tài)僅對中心附近進行傳送，并適當變更 傳送范圍即可。由此，因為能夠總是將在攝像區(qū)域的一部分的區(qū)域中 生成的攝像信號作為傳送區(qū)域，所以總是能夠縮短傳送時間，能夠高 速地進行視差運算、距離運算。
此外，在實施方式3的攝像裝置中，將第三運算緩沖器的大小設(shè) 為32X32像素(水平方向32像素，以及垂直方向32像素)，但并不 限定于此。例如，也可以是4X4像素、8X8像素、16X16像素。此外，也可以適當變更大小。此外，也可以求取多個尺寸的塊的視差并 進行選擇。進而，也可以不是矩形的塊，而是抽取邊緣等并進行塊分 割。此外，不限于求取塊的視差，還可以求取作為邊緣的線段的視差。 此外，在實施方式3的攝像裝置中，將第一攝像信號Il傳送到第
一輸出緩沖器337a，從輸入輸出部338輸出，但也可以輸出第二攝像 信號12。此外，還可以輸出多個攝像信號。
此外，在實施方式3的攝像裝置中，僅傳送包括人物的面部的塊， 但也可以進行一步進行限定，例如，僅傳送在面部中包括眼睛的塊等。
此外，在實施方式3的攝像裝置中，僅傳送包括人物的面部的塊， 但也可以例如僅傳送在攝像信號中與相當于路面的區(qū)域以外的區(qū)域冇 關(guān)的攝像信號等。圖51是說明本發(fā)明的實施方式3的攝像裝置的變形 的傳送范圍的圖。例如，起動作為照相機模塊的攝像裝置301，在步驟 S3020中初始化成所有塊的傳送范圍標志FO (ibx， iby) =1，因此如 圖51 (a)所示，最初拍攝的攝像信號Il傳送在與第一透鏡部313a相 對應(yīng)的攝像區(qū)域的整個區(qū)域中生成的攝像信號。傳送范圍決定部344 判斷不是路面的部分，如圖51 (b)所示，將包括不是路面的被攝體(前 方的汽車、人物和本車)的塊保持為傳送范圍標志FO (ibx， iby)=
(空心的塊。動作的塊)，作為路面的塊變更為傳送范圍標志FO (ibx， iby) =0 (加入了斜陰影線的塊。停止的塊)。
另外，作為檢測與路面相當?shù)膮^(qū)域的方法，能夠利用眾所周知的 方法。例如，能夠如以下那樣進行檢測。在汽車的前面配置本發(fā)明的 攝像裝置，調(diào)整成透鏡的光軸與路面平行，在測定前方的距離時，被 攝體距離Al如下述式21那樣表示。在式21中，Q是透鏡的光軸與路 面的角度，Z表示配置的攝像裝置距路面的高度。而且，在根據(jù)各塊中 的視差值A(chǔ) (ibx， iby)運算的距離A (ibx， iby)與用式21運算得到 的距離Al大致-一致的情況下，判斷為在該塊中拍攝的被攝體是路面。
Al=Z/tane ......式21
在使傳送范圍始終為在攝像區(qū)域的整個區(qū)域中生成的攝像信號的 情況下，總是需要傳送所有像素的傳送時間，由于該傳送時間，相應(yīng) 地在高速化上存在界限。根據(jù)本發(fā)明的實施方式3的攝像裝置的變形， 如圖51 (b)所示，使包括不是路面的被攝體的塊的傳送范圍標志FO(ibx， iby) =1，僅傳送包括不是路面的被攝體的塊的攝像信號。在 利用于車載用的前方監(jiān)視的情況下，應(yīng)該注視的被攝體是路面以外的 例如前方的車輛、人物和其它結(jié)構(gòu)物，需要進行它們的距離測定。于 是，通過限定僅傳送路面以外的區(qū)域，與傳送所有像素的情況相比較， 能夠減少傳送量，實現(xiàn)能夠進行高速的視差運算、距離運算的攝像裝
置。例如，在圖51 (b)中，對于全部的72個塊，能夠?qū)魉蛿z像信 號的塊減少到15個。
此外，在實施方式3的攝像裝置中，僅傳送包括人物的面部的塊， 但也可以僅傳送攝像信號中包括有運動的被攝體的區(qū)域。圖52是說明 本發(fā)明的實施方式3的攝像裝置的變形的傳送范圍的圖。圖52 (a)和 圖52 (b)是運動圖像的連續(xù)的2個幀圖像。圖52 (a)中，位于從右 側(cè)開始的第二到第三個塊的人物在下一幀中，如圖52 (b)所示，位于 從右側(cè)開始的第三到第四個塊中。在這樣的情況下，如圖52 (c)所示， 作為應(yīng)該在下一幀中傳送的塊，是運動的人物所位于的塊(從右側(cè)開 始的第三到第四個塊)，以及推測繼續(xù)同一運動，人物移動到的塊(從 右側(cè)開始的第5個塊)。S卩，圖52 (b)的下一幀的傳送范圍標志FO (ibx， iby)是，使運動的人物所位于的塊(從右側(cè)開始的第三到第四 個塊)，以及推測繼續(xù)同一運動，人物移動到的塊(從右側(cè)開始的第5 個塊)為傳送范圍標志FO (ibx， iby) 二l (空心的塊。運動的塊)， 使除此以外的塊為傳送范圍標志FO (ibx， iby) =0 (添加了斜陰影線 的塊。停止的塊)(參照圖52 (c))。
這里，使第一攝像信號Il中的連續(xù)的2個幀圖像的差值的絕對值 的總和DtDiff (下述式22)較大的塊為包括運動的被攝體的塊即可。
<formula>formula see original document page 66</formula> 式22
另外，II (x， y) (t0)表示時刻t0、坐標(x， y)的第一攝像信 號Il， II (x， y) (t0 + dt)表示時刻t0 + dt、坐標(x， y)的第一攝像 信號Il。
在使傳送范圍始終為在攝像區(qū)域的整個區(qū)域中生成的攝像信號的 情況下，總是需要傳送所有像素的傳送時間，由于該傳送時間，相應(yīng) 地在高速化方面存在界限。根據(jù)本發(fā)明的實施方式3的攝像裝置的變 形，如圖52 (c)所示，使包括運動的被攝體(在圖52中表示為人物)的塊的傳送范圍標志FO (ibx， iby) =1。在利用于車載用的前方監(jiān)視 的情況下，應(yīng)該注視的被攝體是運動的被攝體，例如前方的車輛、人 物、動物等，需要進行它們的距離測定。于是，通過限定僅傳送運動 的被攝體的區(qū)域，與傳送所有像素的情況相比較，能夠減少傳輸量，
實現(xiàn)能夠進行高速的視差運算、距離運算的攝像裝置。例如，在圖52 (c)中，對于所有的48個塊，能夠?qū)魉蛿z像信號的塊減少到12個。
另外，優(yōu)選根據(jù)被攝體的動作速度決定傳送范圍。在與被攝體的 動作速度無關(guān)地使傳送范圍始終為被攝體的圖像的周圍的一定區(qū)域的 情況下，如果被攝體的速度較快，則有時被攝體沒有包括在該區(qū)域內(nèi)， 使得視差的精度惡化。如圖52 (c)所示，預測被攝體的動作，將預測 在下一幀中會動作的區(qū)域包括在內(nèi)地進行傳送。即，根據(jù)被攝體的動 作速度，傳送范圍決定部344決定傳送范圍。這樣，通過根據(jù)被攝體 的動作速度適當決定傳送范圍的大小，使被攝體包括在傳送范圍內(nèi)， 因此能夠?qū)崿F(xiàn)能夠進行高精度的視差運算、距離運算的攝像裝置。
這里，被攝體的動作速度能夠通過比較各幀間的圖像等，利用傳 送范圍決定部344進行檢測。
另外，當被攝體的動作較快時，優(yōu)選使傳送范圍較大。即，當動 作較快時，使預測為在下一幀會動作的范圍較大，使被攝體總是包括 在傳送區(qū)域內(nèi)，由此實現(xiàn)能夠進行高精度的視差運算、距離運算的攝
'、此外，優(yōu)選使包括在傳送范圍內(nèi)的像素數(shù)，即塊數(shù)，在多個幀中 大致相同。例如，如圖52 (c)所示，如果包括在傳送范圍內(nèi)的塊設(shè)定 為12個，則攝像裝置可以以使得在多個幀中保持12這個數(shù)目的方式 進行動作。
如果僅根據(jù)被攝體的動作速度決定傳送范圍，則在動作較快的被 攝體在整個區(qū)域中包括有多個的情況下，容易產(chǎn)生傳送量增大的情況。 從而，在整個區(qū)域中包括有多個動作快速的被攝體的情況下，使包括 在傳送范圍內(nèi)的像素一定，在多個幀中保持該像素數(shù)。為此，例如將 用于判定被攝體的動作是否快速的閾值設(shè)定得較大，進行縮減被攝體 等的處理。由此，包括在傳送范圍內(nèi)的像素數(shù)保持為一定。從而，能 夠防止傳送量的增大，實現(xiàn)能夠進行高速的視差運算、距離運算的攝像裝置。
這樣，優(yōu)選在多個幀中將包括在傳送范圍內(nèi)的像素數(shù)保持為一定， 但該像素數(shù)并非必須在多個幀中相同，也可以根據(jù)傳送速度等增減該 像素數(shù)。
以上，說明了本發(fā)明的幾個實施方式，但這些僅是例示，在本發(fā) 明的實施時，能夠如以下所述進行各種變更。
實施方式1到實施方式3的攝像裝置由SLSI125、 225和325決定 傳送范圍標志FO，而也可以是SLSI以外的單元進行決定。此外，也 可以將SLSI的功能分割為多個LSI，并安裝在基板上。
此外，在實施方式1到實施方式3的攝像裝置中，直接利用了運 算得到的視差，但也可以適當進行限制。根據(jù)透鏡特性，當被攝休距 離A比某個值小時，可能圖像不鮮明。因此，如果將該值設(shè)定為被攝 體距離A的最小值，則能夠確定視差的最大值。比該值大的視差可以 看作誤差并忽略。此外，在這樣的情況下，可以將視差評價值第二小 的值用作視差。此外，在視差評價值中顯著存在2個極值時，也可以 采用較大一方的視差。在這種情況下，在該塊中包括被攝體和背景， 由于被攝體距離與背景距離不同，極值出現(xiàn)2個。這時，可以采用其 中對障礙物檢測產(chǎn)生較大影響的較大的視差。
在第一實施方式的攝像裝置中，第一彩色濾光片124a和第二彩色 濾光片124b主要透過紅外光，第三彩色濾光片124c和第四彩色濾光 片124d主要透過綠色光。此外，在第二實施方式的攝像裝置中，第二 彩色濾光片224b和第三彩色濾光片224c主要透過紅外光，第--彩色 濾光片224a和第四彩色濾光片224d主要透過綠色光。然而，這些都 是例示，本發(fā)明并不限定于此。從而，也可以分別透過不同的波長域。 例如，也可以透過紅色光、藍色光、遠紅外光、近紫外光等。此外， 還可以省略一側(cè)的彩色濾光片。此外，也可以是， 一組配置有某個特 定的彩色濾光片， 一組在攝像元件上配置有拜耳陣列(Bayer array)的 濾光片。此外，也可以是各個組的彩色濾光片特性相同，F(xiàn)值、焦點距 離不同0
在本發(fā)明的攝像裝置的情況下，因為需要進行視差運算，所以在 各動作模式中，將在4個攝像區(qū)域中的至少2個攝像區(qū)域中生成的攝
68像信號作為傳送范圍。這樣，雖然需要將在至少2個攝像區(qū)域中生成 的攝像信號作為傳送范圍，但是這些攝像區(qū)域可以是任意的。從而， 在實施方式1的攝像裝置中，在攝像區(qū)域的整個區(qū)域與上半部分的區(qū)
域(與第一透鏡部113a和第二透鏡部113b相對應(yīng)的區(qū)域)間進行切換， 但也可以在整個區(qū)域與下半部分的區(qū)域(與第三透鏡部113c和第四透 鏡部113d相對應(yīng)的區(qū)域)間進行切換。此外，還可以在上半部分的區(qū) 域(與第一透鏡部113a和第二透鏡部113b相對應(yīng)的區(qū)域)與下半部分 的區(qū)域(與第三透鏡部113c和第四透鏡部113d相對應(yīng)的區(qū)域)間進行 切換。
此外，在實施方式2的攝像裝置中，在攝像區(qū)域的整個區(qū)域與對 角向右上方的區(qū)域(與第二透鏡部113b和第三透鏡部113c相對應(yīng)的區(qū) 域)間進行切換，但也可以在整個區(qū)域與對角向右下方的區(qū)域(與第 -一透鏡部113a和第四透鏡部113d相對應(yīng)的區(qū)域)間進行切換。此外， 還可以在對角向右上方的區(qū)域(與第二透鏡部113b和第三透鏡部113c 相對應(yīng)的區(qū)域)與對角向右下方的區(qū)域(與第一透鏡部113a和第四透 鏡部113d相對應(yīng)的區(qū)域)間進行切換。
此外，在實施方式1到實施方式3中，作為視差評價值R (10使 用式6表示的差值絕對值總和(SAD)，但本發(fā)明并不限定于此。也可 以利用下述值作為視差評價值R (k):差值的平方值的總和；從第一 攝像信號II減去塊內(nèi)平均的值與從第二攝像信號12減去塊內(nèi)平均的值 的差值的平方值的總和；從第一攝像信號Il減去塊內(nèi)平均的值與從第 二攝像信號I2減去塊內(nèi)平均的值的差值的平方值的總和；或者，使從 第一攝像信號I1減去塊內(nèi)平均的值與從第二攝像信號I2減去塊內(nèi)平均 的值的差值的平方值的總和除以從第一攝像信號II減去塊內(nèi)平均的值 的平方值的總和的平方根、并除以從第二攝像信號12減去塊內(nèi)平均的 值的平方值的總和的平方根等。
另外，在實施方式1到實施方式3中，將塊分割為矩形，但并不 限定于此。例如，也可以檢測邊緣，根據(jù)邊緣分割成非矩形的塊。此 外，也可以不求出每個塊的區(qū)域的視差，而是將邊緣分割成多個線段， 求取該線段的視差。此外，還可以評價在某個塊中求出的視差，對塊 進行分割或者結(jié)合。根據(jù)上述說明，本領(lǐng)域的技術(shù)人員能夠明確本發(fā)明的眾多改良、 其它的實施方式。從而，上述說明應(yīng)該僅解釋為例示，以指導技術(shù)人 員執(zhí)行本發(fā)明的最佳方式為目的而提供。在不脫離本發(fā)明的精祌的情 況下，能夠?qū)嵸|(zhì)地變更其構(gòu)造和/或功能。
產(chǎn)業(yè)上的可利用性
本發(fā)明的攝像裝置和半導體電路元件是能夠進行高速的視差運算 的攝像裝置和半導體電路元件，因此，在具有照相功能的攜帶電話、 數(shù)字靜態(tài)照相機、車載用照相機、監(jiān)視用照相機、三維計測器和立體 圖像輸入照相機等中是有用的。
權(quán)利要求
1. 一種攝像裝置，其特征在于，包括分別至少包括一個透鏡的多個透鏡部；在所述多個透鏡部中一對一地對應(yīng)設(shè)置、并分別具有相對于對應(yīng)的所述透鏡部的光軸方向大致垂直的受光面的多個攝像區(qū)域；接受由所述攝像區(qū)域生成的攝像信號的輸入的攝像信號輸入部；決定從所述攝像區(qū)域向所述攝像信號輸入部傳送的攝像信號的傳送范圍的傳送范圍決定部；驅(qū)動所述攝像區(qū)域，使得向所述攝像信號輸入部傳送與通過所述傳送范圍決定部決定的傳送范圍相對應(yīng)的攝像信號的攝像區(qū)域驅(qū)動部；和根據(jù)傳送到所述攝像信號輸入部的攝像信號運算視差的視差運算部，其中所述傳送范圍決定部構(gòu)成為，能夠切換將在所述多個攝像區(qū)域中的至少2個攝像區(qū)域中生成的攝像信號決定為所述傳送范圍的第一動作模式、和將與第一動作模式不同的攝像信號決定為所述傳送范圍的第二動作模式。
2. 如權(quán)利要求1所述的攝像裝置，其特征在于 所述傳送范圍決定部構(gòu)成為，能夠切換將在所述攝像區(qū)域的大致整個區(qū)域屮生成的攝像信號作為所述傳送范圍的第一動作模式、和將 在所述攝像區(qū)域的大致一半的區(qū)域中生成的攝像信號作為所述傳送范 圍的第二動作模式。
3. 如權(quán)利要求2所述的攝像裝置，其特征在于 所述大致一半的區(qū)域是所述攝像區(qū)域中傳送順序較早的大致一半的區(qū)域。
4. 如權(quán)利要求2所述的攝像裝置，其特征在于4個所述攝像區(qū)域設(shè)置為2行2歹lj，所述大致一半的區(qū)域是位于對角位置的2個所述攝像區(qū)域。
5. 如權(quán)利要求l所述的攝像裝置，其特征在于 所述攝像區(qū)域被分割為隔行掃描的多個場，所述傳送范圍決定部構(gòu)成為，能夠切換將在所述攝像區(qū)域的大致 整個區(qū)域中生成的攝像信號作為所述傳送范圍的第一動作模式、和將 所述攝像區(qū)域的一場大小的攝像信號作為所述傳送范圍的第二動作模 式。
6. 如權(quán)利要求5所述的攝像裝置，其特征在于所述傳送范圍決定部構(gòu)成為，根據(jù)與被攝體有關(guān)的信息，切換所 述第一動作模式和所述第二動作模式。
7. 如權(quán)利要求6所述的攝像裝置，其特征在于所述傳送范圍決定部構(gòu)成為，在判斷為在視差的運算屮需要高速 性的情況下，從所述第一動作模式向所述第二動作模式切換。
8. 如權(quán)利要求6所述的攝像裝置，其特征在于所述傳送范圍決定部構(gòu)成為，在判斷為在視差的運算中需要高精 度的情況下，從所述第二動作模式向所述第一動作模式切換。
9. 如權(quán)利要求1所述的攝像裝置，其特征在于所述傳送范圍決定部構(gòu)成為，在所述第一動作模式和所述第二動 作模式的任一個中，均將在所述多個攝像區(qū)域中的一部分的攝像區(qū)域 中生成的攝像信號決定為所述傳送范圍。
10. 如權(quán)利要求l所述的攝像裝置，其特征在于所述傳送范圍決定部構(gòu)成為，在所述第一動作模式和所述第二動 作模式的至少任一個中，將在對動作的被攝體進行攝像的攝像區(qū)域中 生成的攝像信號決定為所述傳送范圍。
11. 如權(quán)利要求IO所述的攝像裝置，其特征在于所述傳送范圍決定部構(gòu)成為，根據(jù)所述被攝體的動作速度，切換 所述第一動作模式和所述第二動作模式。
12. 如權(quán)利要求ll所述的攝像裝置，其特征在于所述傳送范圍決定部構(gòu)成為，在所述被攝體的動作快速時，切換 為將在多數(shù)攝像區(qū)域中生成的攝像信號決定為所述傳送范圍的動作模 式；在所述被攝體的動作緩慢時，切換為將在少數(shù)攝像區(qū)域中生成的 攝像信號決定為所述傳送范圍的動作模式。
13. 如權(quán)利要求IO所述的攝像裝置，其特征在于所述傳送范圍決定部構(gòu)成為，在所述第一動作模式和所述第二動 作模式的至少任一個中，使與所述傳送范圍的攝像信號有關(guān)的像素數(shù) 大致一定。
14. 如權(quán)利要求9所述的攝像裝置，其特征在于所述攝像區(qū)域以對包括與路面相當?shù)膮^(qū)域的區(qū)域進行攝像的方式所述傳送范圍決定部構(gòu)成為，在所述第--動作模式和所述第二動 作模式的至少任一個中，將與相當于所述路面的區(qū)域以外的區(qū)域有關(guān) 的攝像信號作為所述傳送范圍。
15. 如權(quán)利要求9所述的攝像裝置，其特征在于所述攝像區(qū)域以對包括與人的面部相當?shù)膮^(qū)域的區(qū)域進行攝像的 方式構(gòu)成，所述傳送范圍決定部構(gòu)成為，在所述第一動作模式和所述第二動 作模式的至少任一個中，將與相當于所述人的面部的區(qū)域有關(guān)的攝像 信號作為所述傳送范圍。
16. 如權(quán)利要求l所述的攝像裝置，其特征在于所述多個攝像區(qū)域中的至少2個攝像區(qū)域構(gòu)成為，通過反復交替 地向所述攝像信號輸入部傳送生成的攝像信號的一部分，將生成的全部攝像信號向所述攝像信號輸入部傳送。
17. 如權(quán)利要求1 權(quán)利要求16中任一項所述的攝像裝置，其特 征在于，還包括根據(jù)通過所述視差運算部得到的視差，運算到達被攝體的距離的 距離運算部。
18. —種半導體電路元件，其是在攝像裝置中使用的半導體電路元 件，該攝像裝置包括分別至少包括一個透鏡的多個透鏡部；在所述 多個透鏡部中一對一地對應(yīng)設(shè)置、并分別具有相對于對應(yīng)的所述透鏡 部的光軸方向大致垂直的受光面的多個攝像區(qū)域，該半導體電路元件 的特征在于，包括接受由所述攝像區(qū)域生成的攝像信號的輸入的攝像信號輸入部； 決定從所述攝像區(qū)域向所述攝像信號輸入部傳送的攝像信號的傳送范圍的傳送范圍決定部；驅(qū)動所述攝像區(qū)域，使得向所述攝像信號輸入部傳送與通過所述傳送范圍決定部決定的傳送范圍相對應(yīng)的攝像信號的攝像元件驅(qū)動部；禾口根據(jù)傳送到所述攝像信號輸入部的攝像信號運算視差的視差運算 部，其中所述傳送范圍決定部構(gòu)成為，能夠切換將在所述多個攝像區(qū)域屮 的至少2個攝像區(qū)域中生成的攝像信號決定為所述傳送范圍的第一動 作模式、和將與第一動作模式不同的攝像信號決定為所述傳送范圍的 第二動作模式。
全文摘要
本發(fā)明提供攝像裝置和半導體電路元件，該攝像裝置包括分別至少包括一個透鏡的多個透鏡部；在多個透鏡部中一對一地對應(yīng)設(shè)置、并分別具有相對于對應(yīng)的透鏡部的光軸方向大致垂直的受光面的多個攝像區(qū)域；接受由這些攝像區(qū)域生成的攝像信號的輸入的攝像信號輸入部(133)；決定從上述攝像區(qū)域向攝像信號輸入部(133)傳送的攝像信號的傳送范圍的傳送范圍決定部(144)；驅(qū)動上述攝像區(qū)域，使得向攝像信號輸入部(133)傳送與通過傳送范圍決定部(144)決定的傳送范圍相對應(yīng)的攝像信號的攝像區(qū)域驅(qū)動部(132)；和根據(jù)傳送到攝像信號輸入部(133)的攝像信號運算視差的視差運算部(142)，其中傳送范圍決定部(144)構(gòu)成為，能夠切換將在上述多個攝像區(qū)域中的至少2個攝像區(qū)域中生成的攝像信號決定為傳送范圍的第一動作模式、和將與第一動作模式不同的攝像信號決定為傳送范圍的第二動作模式。
文檔編號G01C3/06GK101449574SQ20078001779
公開日2009年6月3日 申請日期2007年5月10日 優(yōu)先權(quán)日2006年5月16日
發(fā)明者今田勝巳, 玉木悟史, 飯島友邦 申請人:松下電器產(chǎn)業(yè)株式會社