專利名稱：復(fù)眼攝像裝置、測(cè)距裝置、視差算出方法以及測(cè)距方法
技術(shù)領(lǐng)域：
本發(fā)明涉及具有多個(gè)攝像光學(xué)系統(tǒng)的、算出攝像光學(xué)系統(tǒng)之間產(chǎn)生的 視差的復(fù)眼攝像裝置等。
背景技術(shù)：
近些年，對(duì)測(cè)定從規(guī)定的位置到對(duì)象物為止的距離、或?qū)ο笪锏娜S 位置(形狀)的需求越來越提高。例如，對(duì)于汽車的視角補(bǔ)助提出了以下的方 法，即，不僅顯示利用安裝在汽車的小型照相機(jī)而拍攝的周圍的物體的影 像，而同時(shí)顯示利用測(cè)距裝置而測(cè)定的物體與汽車之間的正確的距離信息， 從而準(zhǔn)確地避免與周圍的物體碰撞。并且，在移動(dòng)電話或電視機(jī)等中，為 了更忠實(shí)地再現(xiàn)影像的臨場(chǎng)感而需要立體影像的輸出入裝置。需要這些用 途的測(cè)距裝置的高精度化以及小型化。
自從以前采用了利用三角測(cè)定原理的立體測(cè)距方法，以作為測(cè)定到對(duì) 象物為止的距離、或?qū)ο笪锏娜S位置的方法。在立體測(cè)距方法中，根據(jù) 多個(gè)照相機(jī)之間產(chǎn)生的視差算出到對(duì)象物為止的距離。
圖30是利用照相機(jī)a和照相機(jī)b這兩個(gè)照相機(jī)時(shí)的、通過立體測(cè)距方 法算出到對(duì)象物為止的距離的例子的說明圖。對(duì)象物100的光線101a、 101b，經(jīng)由照相機(jī)a的透鏡102a以及照相機(jī)b的透鏡102b的各個(gè)光學(xué)中 心105a、 105b成像在攝像區(qū)域104a、 104b。光軸103a以及光軸103b 表示各個(gè)照相機(jī)的光軸。此時(shí)，例如，在對(duì)象物100針對(duì)照相機(jī)a成像在 從攝像區(qū)域104a和光軸103a的交點(diǎn)106a遠(yuǎn)離了 Pa的位置107a、且對(duì) 象物100針對(duì)照相機(jī)b成像在從攝像區(qū)域104b上的攝像區(qū)域104b和光軸 103b的交點(diǎn)106b遠(yuǎn)離了 Pb的位置107b的情況下，在照相機(jī)a與照相機(jī) b之間產(chǎn)生視差P(二Pb—Pa)。該視差P按照測(cè)距裝置與對(duì)象物距離之間 的距離D發(fā)生變化。若照相機(jī)a的光軸103a和照相機(jī)b的光軸103b為平 行、其間隔為基線長(zhǎng)度B、照相機(jī)a以及照相機(jī)b的焦距為f，則以(式l)來表示到對(duì)象物為止的距離D。因此，若因預(yù)先進(jìn)行校準(zhǔn)(calibration)處理 等而已經(jīng)知道基線長(zhǎng)度B以及焦距f，則通過求出視差P能夠算出到對(duì)象 物100為止的距離D。公式1
<formula>formula see original document page 8</formula>
而且，在實(shí)際環(huán)境下，照相機(jī)a和照相機(jī)b的光軸不是平行的情況多。 于是，進(jìn)行例如非專利文獻(xiàn)1所示的平行化處理。周知的是，其結(jié)果為制 作光軸為平行的圖像，從而能夠使用利用了所述(式l)的運(yùn)算來算出距離D。
通常，攝像區(qū)域104a以及攝像區(qū)域104b由CCD(Charge Coupled Device :電荷耦合器件)或CMOS (Complementary Metal Oxide Semiconductor :互補(bǔ)金屬氧化半導(dǎo)體)等的攝像元件構(gòu)成。據(jù)此，由于利 用在二維平面上被離散化的對(duì)象物像的亮度信號(hào)算出視差P，因此，通常 其視差檢測(cè)分辨率為1像素。通過(式l)的關(guān)系，根據(jù)視差檢測(cè)分辨率決定 測(cè)距分辨率(以后，記載為測(cè)距精度)。
并且，通過利用例如圖31 圖33而以下說明的方法，能夠算出對(duì)象 物的三維位置。
圖31是表示測(cè)距裝置與對(duì)象物之間的位置關(guān)系的圖。在圖31中將世 界坐標(biāo)的原點(diǎn)Mw(O、 0、 0)作為照相機(jī)a的光學(xué)中心105a。如圖示出，若 將對(duì)象物110的一點(diǎn)111的三維位置坐標(biāo)作為Mw(Xwl、 Ywl、 Zwl)，則 求出Zwl為利用圖30說明的(式l)而算出的距離D。
圖32是從Yw軸的負(fù)的一側(cè)看圖31的照相機(jī)a和對(duì)象物110的一點(diǎn) lll時(shí)的圖。如圖示出，若將交點(diǎn)106a作為攝像區(qū)域104a的二維坐標(biāo)系 的原點(diǎn)ms(O、 0)，則利用成像位置107a的坐標(biāo)ms(xsl、 ysl)、且以(式 2)來表示Xwl。公式2
<formula>formula see original document page 8</formula>…(式2)
圖33是從Xw軸的正的一側(cè)看圖31的照相機(jī)a和對(duì)象物110的一點(diǎn) 111時(shí)的圖。與圖32相同，若將交點(diǎn)106a作為攝像區(qū)域104a的二維坐標(biāo)系的原點(diǎn)ms(O、 0)，則利用成像位置107a的坐標(biāo)ms(xsl、 ysl)、且以(式 3)來表示Ywl。 <formula>formula see original document page 9</formula>與所述的測(cè)距精度相同，三維位置的測(cè)定精度也是根據(jù)視差檢測(cè)分辨 率決定的。
其次，說明視差P的檢測(cè)方法的具體例子。對(duì)于視差P，算出在照相 機(jī)a的攝像區(qū)域104a取得的圖像a、和在照相機(jī)b的攝像區(qū)域104b取得 的圖像b這各個(gè)圖像的每個(gè)小區(qū)域的相關(guān)值，即算出SAD(Sum of Absolute Difference::絕對(duì)差總和)，并利用算出的相關(guān)值，從而算出圖像a與圖像 b之間的每個(gè)小區(qū)域的偏移，即算出視差P。而且，SAD是相關(guān)值的一個(gè) 例子，也可以利用一般所周知的SSD(Sum of Squared Difference :平方 差總和)或NCC(Normalized Cross—Correlation :歸一化互相關(guān))等以作 為相關(guān)值。
以下，參照?qǐng)D34 圖36說明利用代表性的相關(guān)值即SAD的、視差的 算出。
圖34是圖像中的各個(gè)像素的亮度的表達(dá)方法的說明圖。如圖示出，0 為黑，15為白，并以線的密度來表達(dá)各個(gè)亮度的階度。亮度有時(shí)成為小數(shù) 點(diǎn)以下的值。
圖35A是示出從對(duì)象物的一側(cè)看映射的對(duì)象物的紋理(texture)時(shí)的、 圖像a的一部分的圖。圖35B是示出從對(duì)象物的一側(cè)看映射的對(duì)象物的紋 理時(shí)的、圖像b的一部分的圖。
在對(duì)象物位于無窮遠(yuǎn)時(shí)，在圖35B中的用粗線包圍的圖像塊b映射與 圖35A中的用粗線包圍的圖像塊a相同的圖像。在對(duì)象物位于有限的距離 的情況下，由于產(chǎn)生圖35A以及圖35B所示的視差，因此，針對(duì)圖35A 的圖像，圖35B的圖像被映射在右邊。在此，說明圖35A和圖35B具有 3.6像素的實(shí)際視差的情況。為了搜索與圖像塊a相關(guān)度最高的圖像區(qū)域， 而按每一個(gè)像素，將圖像塊b從圖35B的粗線的位置向右方向逐漸偏移， 從而按每個(gè)偏移量、且根據(jù)(式4)算出SAD。公式4
SAD = Z|la(i,j) —Ib(i，j〗 …(式4)
在此，Ia、 Ib表示各個(gè)圖像塊內(nèi)的亮度值，i、 j表示各個(gè)圖像塊內(nèi)的 局部地址。圖像塊a和圖像塊b的圖像尺寸相同，按每個(gè)偏移量算出圖像 塊兩者的相同地址的亮度差分的絕對(duì)值的塊內(nèi)總和。對(duì)于圖像塊的形狀， 雖然可以是長(zhǎng)方形或?qū)?yīng)于紋理的特征的形狀，但是，在此，以正方形的 圖像塊來進(jìn)行說明。
圖36是示出按每一個(gè)像素將圖像塊b移動(dòng)時(shí)的SAD的推移的圖。在 偏移量為4像素的情況下，由于SAD為最小，因此可以認(rèn)為圖像塊a和圖 像塊b的相關(guān)度最高。因此，算出圖像塊a中的照相機(jī)a與照相機(jī)b之間 的視差為4像素，算出的視差乘以像素間距尺寸來求出(式1)的視差P，從 而能夠算出到對(duì)象物為止的距離D。在此情況下，能夠求出接近實(shí)際的視 差3.6像素的視差，但是，由于視差的檢測(cè)精度為1像素，因此，不能以 小數(shù)點(diǎn)以下的像素的精度來求出視差(以后，稱為子像素視差)。
對(duì)于測(cè)距精度即視差檢測(cè)分辨率不是1像素單位而是更高的精度的求 出方法，提出了子像素級(jí)視差的推測(cè)方法(例如專利文獻(xiàn)l)。例如，對(duì)于所 謂等角直線擬合的子像素視差推測(cè)方法，通過假定如圖37示出以實(shí)際視差 為基準(zhǔn)而SAD的推移的左右的傾斜度e相同，從而通過一次線性插值能夠 推測(cè)子像素級(jí)的實(shí)際視差。以(式5)來示出等角直線擬合的子像素視差算出 式即插值式。公式5
P二尸min+d …(式5) '在<辨-l)的情況下
"O (l)卡l) 卿-A(-l)
-在其它的情況下
卿-i (l)
在此假設(shè)，P為子像素視差，Pmin為SAD成為最小的偏移量(整數(shù)視差)，R(O)為SAD成為最小的偏移量中的相關(guān)值(SAD)，其相鄰的偏移量中 的SAD為R(—1)、 R(l)。
并且，除此以外，還提出了以下的方法，即，假定SAD等的相關(guān)值的 每個(gè)偏移量的推移以實(shí)際視差為基準(zhǔn)成為對(duì)稱的推移，從而通過二次函數(shù) 等高次的線性函數(shù)或非線性函數(shù)對(duì)實(shí)際視差進(jìn)行插值運(yùn)算。在如圖35A以 及圖35B示出發(fā)生亮度的一次函數(shù)性變化的對(duì)象物的情況下，如圖36示 出SAD的推移以實(shí)際視差為基準(zhǔn)成為對(duì)稱，并且，SAD —次直線性地推 移。因此，若利用等角直線擬合進(jìn)行子像素視差推測(cè)，則能夠正確地求出 視差3.6像素。
專利文獻(xiàn)1 :日本特開2000-283753號(hào)公報(bào)
非專利文獻(xiàn)1 :徐剛，辻三郎著 "3次元匕'- s ^(三維視覺)"共立 出版pp96—99 2002年9月25日出版
如上所述，在圖35A、圖35B以及圖36中，以亮度的分布在視差的 搜索方向一次函數(shù)性且同樣地發(fā)生變化的對(duì)象物為例子進(jìn)行了說明。在這 些情況下，相關(guān)值的推移以實(shí)際視差為基準(zhǔn)成為對(duì)稱，因此通過等角直線 擬合能夠正確地進(jìn)行子像素視差推測(cè)。但是，對(duì)于實(shí)際的對(duì)象物，表面的 花樣(紋理)同樣地發(fā)生變化的情況少，而例如圖38A以及圖38B示出亮度 的分布不同樣地發(fā)生變化的情況多。
圖38A是示出從對(duì)象物的一側(cè)看的圖像a的一部分的圖。圖38B是示 出從對(duì)象物的一側(cè)看的圖像b的一部分的圖。在對(duì)象物位于無窮遠(yuǎn)時(shí)，在 圖38B中的用粗線包圍的圖像塊b映射與圖38A中的用粗線包圍的圖像塊 a相同的圖像。在對(duì)象物位于有限的距離的情況下，由于產(chǎn)生圖30所示的 視差，因此，針對(duì)圖38A的圖像，圖38B的圖像向右邊移動(dòng)。在此，與圖 35A以及圖35B相同，說明圖38A和圖38B具有3.6像素的實(shí)際視差的 情況。
圖39是在圖38A以及圖38B的圖像的情況下的SAD的推移、和此 時(shí)的通過所述等角直線擬合的子像素視差推測(cè)的說明圖。如圖示出，由于 SAD的推移以實(shí)際視差為基準(zhǔn)不成為對(duì)稱，因此子像素視差推測(cè)結(jié)果偏離 實(shí)際視差。具體而言，推測(cè)子像素視差為3.2像素左右。其結(jié)果為，在推測(cè) 視差與實(shí)際視差之間產(chǎn)生0.4像素左右的誤差。如此，以往的立體測(cè)距方法中使用的進(jìn)行子像素視差推測(cè)的插值式， 假定相關(guān)值的推移以實(shí)際視差為基準(zhǔn)成為對(duì)稱的情況。因此，存在的問題 是，對(duì)于相關(guān)值的推移以實(shí)際視差為基準(zhǔn)不成為對(duì)稱的對(duì)象物，產(chǎn)生視差
的推測(cè)誤差。并且，例如圖40A以及圖40B示出的利用三個(gè)以上的光學(xué)系 統(tǒng)的多眼立體相機(jī)也同樣，存在的問題是，對(duì)于相關(guān)值的推移以實(shí)際視差 為基準(zhǔn)不成為對(duì)稱的對(duì)象物，產(chǎn)生視差的推測(cè)誤差。

發(fā)明內(nèi)容
為了解決所述問題，本發(fā)明的目的在于提供一種復(fù)眼攝像裝置或測(cè)距 裝置，相關(guān)值的推移與對(duì)象物的亮度的分布無關(guān)而以實(shí)際視差為基準(zhǔn)成為 對(duì)稱，并且，即使利用如上所述的通過以往的插值的子像素視差推測(cè)方法， 也能夠高精度地推測(cè)子像素視差。
為了實(shí)現(xiàn)所述目的本發(fā)明涉及的的復(fù)眼攝像裝置，算出拍攝同一對(duì)象
物的多個(gè)攝像光學(xué)系統(tǒng)中產(chǎn)生的視差，其中，至少包括基準(zhǔn)攝像光學(xué)系
統(tǒng)，通過拍攝所述對(duì)象物，從而生成包含基準(zhǔn)圖像的圖像；兩個(gè)以上的偶
數(shù)的參考攝像光學(xué)系統(tǒng)，通過拍攝所述對(duì)象物，從而生成包含參考圖像的 圖像，所述兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)的各個(gè)光學(xué)中心被配置為，
對(duì)所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心大致成為點(diǎn)對(duì)稱；相關(guān)值算出單元， 針對(duì)所述兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)的每一個(gè)，按每個(gè)偏移量算 出表示所述基準(zhǔn)圖像和所述參考圖像的相似度的相關(guān)值，所述偏移量是在 將搜索位置沿著與基線平行的方向逐漸偏移的情況下的偏移量，所述搜索 位置是為了搜索與所述基準(zhǔn)圖像相似的所述參考圖像的圖像位置而由所述 參考攝像光學(xué)系統(tǒng)生成的圖像中的所述參考圖像的位置，所述基線是連接 所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心和所述參考攝像光學(xué)系統(tǒng)的光學(xué)中心的 直線；相關(guān)值加法單元，通過按每個(gè)對(duì)應(yīng)的偏移量，對(duì)針對(duì)所述兩個(gè)以上 的偶數(shù)的參考攝像光學(xué)系統(tǒng)的每一個(gè)算出的相關(guān)值進(jìn)行加法運(yùn)算，從而算 出合成相關(guān)值；以及視差算出單元，根據(jù)所述合成相關(guān)值，以子像素級(jí)來 算出作為所述基準(zhǔn)圖像和所述參考圖像的相似度成為最大的偏移量的視 差。
據(jù)此，按每個(gè)對(duì)應(yīng)的偏移量，對(duì)針對(duì)被配置為對(duì)基準(zhǔn)攝像光學(xué)系統(tǒng)的大致成為點(diǎn)對(duì)稱的兩個(gè)以上的參考攝像光學(xué)系統(tǒng)的每一個(gè)算出的相關(guān)值進(jìn) 行加法運(yùn)算，因此，相關(guān)值的推移與被攝體無關(guān)而以實(shí)際視差為基準(zhǔn)成為 對(duì)稱，從而能夠高精度地推測(cè)子像素視差。
在此，大致成為點(diǎn)對(duì)稱是指，在由兩個(gè)參考攝像光學(xué)系統(tǒng)構(gòu)成的情況 下，兩個(gè)參考攝像光學(xué)系統(tǒng)的光學(xué)中心和基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心大 致被配置在一條直線上，兩個(gè)參考攝像光學(xué)系統(tǒng)和基準(zhǔn)攝像光學(xué)系統(tǒng)的基 線長(zhǎng)度大致相同。并且，在由四個(gè)參考攝像光學(xué)系統(tǒng)構(gòu)成的情況下，增加 的兩個(gè)參考攝像光學(xué)系統(tǒng)的光學(xué)中心和基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心大致 被配置在一條直線上，增加的兩個(gè)參考攝像光學(xué)系統(tǒng)和基準(zhǔn)攝像光學(xué)系統(tǒng) 的基線長(zhǎng)度大致相同。進(jìn)而，在由多數(shù)參考攝像光學(xué)系統(tǒng)構(gòu)成的情況下， 增加的兩個(gè)參考攝像光學(xué)系統(tǒng)的光學(xué)中心為一組的各個(gè)組和基準(zhǔn)攝像光學(xué) 系統(tǒng)的光學(xué)中心大致被配置在一條直線上，增加的兩個(gè)參考攝像光學(xué)系統(tǒng) 為一組的各個(gè)組和基準(zhǔn)攝像光學(xué)系統(tǒng)的基線長(zhǎng)度大致相同。
并且，優(yōu)選的是，所述視差算出單元，通過使用利用了對(duì)稱性的插值 式，對(duì)由所述相關(guān)值加法單元進(jìn)行加法運(yùn)算后的每個(gè)偏移量的相關(guān)值進(jìn)行 插值，從而算出子像素級(jí)的視差。
據(jù)此，即使利用通過以對(duì)稱性為前提的以往的插值的子像素視差推測(cè) 方法，也能夠高精度地推測(cè)子像素視差。
并且，優(yōu)選的是，所述復(fù)眼攝像裝置包括四個(gè)以上的參考攝像光學(xué)系 統(tǒng)，所述四個(gè)以上的參考攝像光學(xué)系統(tǒng)被配置為， 一對(duì)第一參考攝像光學(xué) 系統(tǒng)涉及的基線的方向、和一對(duì)第二參考攝像光學(xué)系統(tǒng)涉及的基線的方向 以規(guī)定的角度傾斜，所述一對(duì)第一參考攝像光學(xué)系統(tǒng)被配置為對(duì)所述基準(zhǔn) 攝像光學(xué)系統(tǒng)的光學(xué)中心大致成為點(diǎn)對(duì)稱，所述一對(duì)第二參考攝像光學(xué)系 統(tǒng)也被配置為對(duì)所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心大致成為點(diǎn)對(duì)稱，且所 述一對(duì)第二參考攝像光學(xué)系統(tǒng)的光學(xué)中心與第一參考攝像光學(xué)系統(tǒng)的光學(xué) 中心不同。
據(jù)此，與利用兩個(gè)參考攝像光學(xué)系統(tǒng)的情況相比，參考攝像光學(xué)系統(tǒng) 即參考圖像增加，因此，信息量增加，且相關(guān)值的推移的直線性提高。并 且，作為連接被配置為對(duì)基準(zhǔn)攝像光學(xué)系統(tǒng)大致成為點(diǎn)對(duì)稱的一對(duì)參考攝 像光學(xué)系統(tǒng)和基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心的直線的基線的方向、和另一對(duì)參考攝像光學(xué)系統(tǒng)和基準(zhǔn)攝像光學(xué)系統(tǒng)的基線的方向以規(guī)定的角度傾 斜，從而被拍攝的對(duì)象物的信息量更增加，且相關(guān)值的推移的直線性提高。 其結(jié)果為，子像素視差的推測(cè)精度更提高。
并且，優(yōu)選的是，所述四個(gè)以上的參考攝像光學(xué)系統(tǒng)被配置為，第一 基線長(zhǎng)度和第二基線長(zhǎng)度不同，所述第一基線長(zhǎng)度是所述第一參考攝像光 學(xué)系統(tǒng)和所述基準(zhǔn)攝像光學(xué)系統(tǒng)的基線的長(zhǎng)度，所述第二基線長(zhǎng)度是所述
第二參考攝像光學(xué)系統(tǒng)和所述基準(zhǔn)攝像光學(xué)系統(tǒng)的基線的長(zhǎng)度；所述相關(guān) 值算出單元，在算出所述第二參考攝像光學(xué)系統(tǒng)所生成的參考圖像的相關(guān)
值時(shí)，按每個(gè)第二偏移量算出所述相關(guān)值，所述第二偏移量是所述第二基 線長(zhǎng)度除以所述第一基線長(zhǎng)度而得到的值再乘以第一偏移量而得到的值， 所述第一偏移量是在算出由所述第一參考攝像光學(xué)系統(tǒng)生成的參考圖像的 相關(guān)值時(shí)利用了的偏移量。
據(jù)此，在被配置為對(duì)基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心大致成為點(diǎn)對(duì)稱的 一對(duì)參考攝像光學(xué)系統(tǒng)和基準(zhǔn)攝像光學(xué)系統(tǒng)的基線的長(zhǎng)度、另一對(duì)參考攝 像光學(xué)系統(tǒng)和基準(zhǔn)攝像光學(xué)系統(tǒng)的基線的長(zhǎng)度不同的情況下，也能夠提高 相關(guān)值的推移的對(duì)稱性。其結(jié)果為，參考攝像光學(xué)系統(tǒng)的配置的自由度增 大，并且，能夠提高子像素視差的推測(cè)精度。
并且，優(yōu)選的是，基準(zhǔn)攝像光學(xué)系統(tǒng)以及所述四個(gè)以上的參考攝像光 學(xué)系統(tǒng)被配置為，與所述基準(zhǔn)攝像光學(xué)系統(tǒng)具有的構(gòu)成攝像裝置的像素的 位置關(guān)系相同。
據(jù)此，在進(jìn)行塊匹配運(yùn)算時(shí)，對(duì)應(yīng)于偏移量的塊的邊界和像素的邊界 一致，因此不需要由雙線性插值等的圖像處理。其結(jié)果為，能夠縮短塊匹 配運(yùn)算的運(yùn)算時(shí)間。
并且，優(yōu)選的是，對(duì)于被配置為對(duì)所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心 大致成為點(diǎn)對(duì)稱的成對(duì)的每一對(duì)參考攝像光學(xué)系統(tǒng)，在D為到對(duì)象物為止 的距離、pitch為像素間距、f為焦距的情況下，滿足光學(xué)中心位置誤差《 D pitch 0.15 / f，所述光學(xué)中心位置誤差是連接一對(duì)參考攝像光學(xué)系統(tǒng) 中的一方的參考攝像光學(xué)系統(tǒng)的光學(xué)中心和所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué) 中心的直線、和一對(duì)參考攝像光學(xué)系統(tǒng)中的另一方的參考攝像光學(xué)系統(tǒng)的 光學(xué)中心之間的距離。據(jù)此，相關(guān)值的推移與被攝體無關(guān)而以實(shí)際視差為基準(zhǔn)十分成為點(diǎn)對(duì) 稱，因此，比以前更能夠高精度地推測(cè)子像素視差。
并且，優(yōu)選的是，對(duì)于被配置為對(duì)所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心
大致成為點(diǎn)對(duì)稱的成對(duì)的每一對(duì)參考攝像光學(xué)系統(tǒng)，在D為到對(duì)象物為止 的距離、pitch為像素間距、f為焦距的情況下，滿足基線長(zhǎng)度誤差《 D pitch 0.2 / f，所述基線長(zhǎng)度誤差是第一基線長(zhǎng)度和第二基線長(zhǎng)度的長(zhǎng) 度的差，所述第一基線長(zhǎng)度是一對(duì)參考攝像光學(xué)系統(tǒng)中的一方的參考攝像 光學(xué)系統(tǒng)的光學(xué)中心和所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心之間的間隔，所 述第二基線長(zhǎng)度是一對(duì)參考攝像光學(xué)系統(tǒng)中的另一方的參考攝像光學(xué)系統(tǒng) 的光學(xué)中心和所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心之間的間隔。
據(jù)此，相關(guān)值的推移與被攝體無關(guān)而以實(shí)際視差為基準(zhǔn)十分成為點(diǎn)對(duì) 稱，因此，比以前更能夠高精度地推測(cè)子像素視差。
并且，優(yōu)選的是，所述復(fù)眼攝像裝置還包括預(yù)處理單元，對(duì)所述基準(zhǔn) 圖像以及所述參考圖像執(zhí)行平滑濾波處理；所述相關(guān)值算出單元，根據(jù)執(zhí) 行所述平滑濾波處理后的基準(zhǔn)圖像以及參考圖像算出所述相關(guān)值。
據(jù)此，與對(duì)象物的亮度分布無關(guān)而能夠減少因噪聲的影響而引起的精 度降低，且能夠使對(duì)象物的亮度的變動(dòng)更平滑，因此，在例如利用所述SAD 和等角直線擬合的情況下，在保持相關(guān)值的推移的對(duì)稱性的狀態(tài)下，SAD 的推移的直線性提高，子像素視差測(cè)定精度更提高。
并且，為了實(shí)現(xiàn)所述目的本發(fā)明涉及的的測(cè)距像裝置，通過算出拍攝 同一對(duì)象物的多個(gè)攝像光學(xué)系統(tǒng)中產(chǎn)生的視差，從而算出到所述對(duì)象物為 止的距離或所述對(duì)象物的三維位置，其中，包括基準(zhǔn)攝像光學(xué)系統(tǒng)，通 過拍攝所述對(duì)象物，從而生成包含基準(zhǔn)圖像的圖像；兩個(gè)以上的偶數(shù)的參 考攝像光學(xué)系統(tǒng)，通過拍攝所述對(duì)象物，從而生成包含參考圖像的圖像， 所述兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)的各個(gè)光學(xué)中心被配置為，對(duì)所 述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心大致成為點(diǎn)對(duì)稱；相關(guān)值算出單元，針對(duì) 所述兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)的每一個(gè)，按每個(gè)偏移量算出表 示所述基準(zhǔn)圖像和所述參考圖像的相似度的相關(guān)值，所述偏移量是在將搜 索位置沿著與基線平行的方向逐漸偏移的情況下的偏移量，所述搜索位置 是為了搜索與所述基準(zhǔn)圖像相似的所述參考圖像的圖像位置而由所述參考攝像光學(xué)系統(tǒng)生成的圖像中的所述參考圖像的位置，所述基線是連接所述 基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心和所述參考攝像光學(xué)系統(tǒng)的光學(xué)中心的直
線；相關(guān)值加法單元，通過按每個(gè)對(duì)應(yīng)的偏移量，對(duì)針對(duì)所述兩個(gè)以上的 偶數(shù)的參考攝像光學(xué)系統(tǒng)的每一個(gè)算出的相關(guān)值進(jìn)行加法運(yùn)算，從而算出 合成相關(guān)值；視差算出單元，根據(jù)所述合成相關(guān)值，以子像素級(jí)來算出作 為所述基準(zhǔn)圖像和所述參考圖像的相似度成為最大的偏移量的視差；以及 距離算出單元，根據(jù)被算出的視差、所述基準(zhǔn)攝像光學(xué)系統(tǒng)的焦距和所述 基線的長(zhǎng)度，算出從所述測(cè)距裝置到所述對(duì)象物為止的距離或所述對(duì)象物 的三維位置。
據(jù)此，按每個(gè)對(duì)應(yīng)的偏移量，對(duì)針對(duì)兩個(gè)以上的參考攝像光學(xué)系統(tǒng)的 每一個(gè)算出的相關(guān)值進(jìn)行加法運(yùn)算，從而相關(guān)值的推移與被攝體無關(guān)而以 實(shí)際視差為基準(zhǔn)成為對(duì)稱，能夠高精度地推測(cè)子像素視差。其結(jié)果為，能 夠高精度地推測(cè)到成為被攝體的對(duì)象物為止的距離。
并且，本發(fā)明涉及的視差算出方法，算出拍攝同一對(duì)象物的多個(gè)攝像 光學(xué)系統(tǒng)中產(chǎn)生的視差，其中，所述多個(gè)攝像光學(xué)系統(tǒng)包括基準(zhǔn)攝像光 學(xué)系統(tǒng)，通過拍攝所述對(duì)象物，從而生成包含基準(zhǔn)圖像的圖像；兩個(gè)以上 的偶數(shù)的參考攝像光學(xué)系統(tǒng)，通過拍攝所述對(duì)象物，從而生成包含參考圖 像的圖像，所述兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)的各個(gè)光學(xué)中心被配 置為，對(duì)所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心大致成為點(diǎn)對(duì)稱；所述視差算 出方法包括相關(guān)值算出步驟，針對(duì)所述兩個(gè)以上的偶數(shù)的參考攝像光學(xué) 系統(tǒng)的每一個(gè)，按每個(gè)偏移量算出表示所述基準(zhǔn)圖像和所述參考圖像的相 似度的相關(guān)值，所述偏移量是在將搜索位置沿著與基線平行的方向逐漸偏 移的情況下的偏移量，所述搜索位置是為了搜索與所述基準(zhǔn)圖像相似的所 述參考圖像的圖像位置而由所述參考攝像光學(xué)系統(tǒng)生成的圖像中的所述參 考圖像的位置，所述基線是連接所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心和所述 參考攝像光學(xué)系統(tǒng)的光學(xué)中心的直線；相關(guān)值加法步驟，通過按每個(gè)對(duì)應(yīng) 的偏移量，對(duì)針對(duì)所述兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)的每一個(gè)算出 的相關(guān)值進(jìn)行加法運(yùn)算，從而算出合成相關(guān)值；以及視差算出步驟，根據(jù) 所述合成相關(guān)值，以子像素級(jí)來算出作為所述基準(zhǔn)圖像和所述參考圖像的 相似度成為最大的偏移量的視差。據(jù)此，能夠得到與所述復(fù)眼攝像裝置相同的效果。
并且，本發(fā)明涉及的測(cè)距方法，通過算出拍攝同一對(duì)象物的多個(gè)攝像 光學(xué)系統(tǒng)中產(chǎn)生的視差，從而算出到所述對(duì)象物為止的距離或所述對(duì)象物
的三維位置，其中，所述多個(gè)攝像光學(xué)系統(tǒng)包括基準(zhǔn)攝像光學(xué)系統(tǒng)，通
過拍攝所述對(duì)象物，從而生成包含基準(zhǔn)圖像的圖像；兩個(gè)以上的偶數(shù)的參
考攝像光學(xué)系統(tǒng)，通過拍攝所述對(duì)象物，從而生成包含參考圖像的圖像， 所述兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)的各個(gè)光學(xué)中心被配置為，對(duì)所
述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心大致成為點(diǎn)對(duì)稱，所述測(cè)距方法包括相
關(guān)值算出步驟，針對(duì)所述兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)的每一個(gè)，
按每個(gè)偏移量算出表示所述基準(zhǔn)圖像和所述參考圖像的相似度的相關(guān)值，
所述偏移量是在將搜索位置沿著與基線平行的方向逐漸偏移的情況下的偏
移量，所述搜索位置是為了搜索與所述基準(zhǔn)圖像相似的所述參考圖像的圖
像位置而由所述參考攝像光學(xué)系統(tǒng)生成的圖像中的所述參考圖像的位置，
所述基線是連接所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心和所述參考攝像光學(xué)系
統(tǒng)的光學(xué)中心的直線；相關(guān)值加法步驟，通過按每個(gè)對(duì)應(yīng)的偏移量，對(duì)針
對(duì)所述兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)的每一個(gè)算出的相關(guān)值進(jìn)行加
法運(yùn)算，從而算出合成相關(guān)值；視差算出步驟，根據(jù)所述合成相關(guān)值，以 子像素級(jí)來算出作為所述基準(zhǔn)圖像和所述參考圖像的相似度成為最大的偏 移量的視差；以及距離算出步驟，根據(jù)被算出的視差、所述基準(zhǔn)攝像光學(xué) 系統(tǒng)的焦距和所述基線的長(zhǎng)度，算出從所述測(cè)距裝置到所述對(duì)象物為止的 距離或所述對(duì)象物的三維位置。
據(jù)此，能夠得到與所述測(cè)距裝置相同的效果。
而且，也可以以使計(jì)算機(jī)執(zhí)行這些視差算出方法或測(cè)距方法包括的步 驟的程序來實(shí)現(xiàn)本發(fā)明。并且，也可以通過CD—ROM(Compact Disc— Read Only Memory :光盤只讀存儲(chǔ)器)等的記錄介質(zhì)或互聯(lián)網(wǎng)等的通信網(wǎng) 絡(luò)分發(fā)這些程序。
根據(jù)本發(fā)明能夠提供一種復(fù)眼攝像裝置或測(cè)距裝置，相關(guān)值的推移與 對(duì)象物的亮度的分布無關(guān)而以實(shí)際視差為基準(zhǔn)成為對(duì)稱，并且，即使利用 如上所述的通過以往的插值的子像素視差推測(cè)方法，也能夠高精度地推測(cè) 子像素視差。


圖1是示出本發(fā)明的實(shí)施例1涉及的測(cè)距裝置的結(jié)構(gòu)的圖。
圖2是示出本發(fā)明的實(shí)施例1涉及的測(cè)距裝置和對(duì)象物的位置關(guān)系的圖。
圖3是示出本發(fā)明的實(shí)施例1涉及的與測(cè)距裝置的對(duì)象物的三維位置 或距離的算出有關(guān)的處理的過程的流程圖。
圖4是示出本發(fā)明的實(shí)施例1涉及的通過基準(zhǔn)攝像光學(xué)系統(tǒng)拍攝對(duì)象 物的表面上的點(diǎn)13的周邊的紋理時(shí)從對(duì)象物的一側(cè)看的圖像的一部分的 圖。
圖5A是示出本發(fā)明的實(shí)施例1涉及的通過攝像光學(xué)系統(tǒng)拍攝的圖像的 一部分的圖。
圖5B是示出本發(fā)明的實(shí)施例1涉及的通過攝像光學(xué)系統(tǒng)拍攝的圖像的 一部分的圖。
圖5C是示出本發(fā)明的實(shí)施例l涉及的通過攝像光學(xué)系統(tǒng)拍攝的圖像的 一部分的圖。
圖6A是示出本發(fā)明的實(shí)施例1涉及的SAD的推移的圖。 圖6B是示出本發(fā)明的實(shí)施例1涉及的SAD的推移的圖。 圖7是示出本發(fā)明的實(shí)施例1涉及的合成SAD的推移的圖。 圖8是示出在本發(fā)明的實(shí)施例1涉及的被映射圖像的對(duì)象物的一點(diǎn)的 周邊的紋理的圖。
圖9A是示出本發(fā)明的實(shí)施例1涉及的SAD的推移的圖。 圖9B是示出本發(fā)明的實(shí)施例1涉及的SAD的推移的圖。 圖10是示出本發(fā)明的實(shí)施例2涉及的測(cè)距裝置的結(jié)構(gòu)的圖。 圖IIA是示出本發(fā)明的實(shí)施例2涉及的SAD的推移的圖。 圖11B是示出本發(fā)明的實(shí)施例2涉及的SAD的推移的圖。 圖12是示出本發(fā)明的實(shí)施例2涉及的SAD的推移的圖。 圖13是示出本發(fā)明的實(shí)施例3涉及的測(cè)距裝置的結(jié)構(gòu)的圖。 圖14是本發(fā)明的實(shí)施例3涉及的測(cè)距裝置的工作的說明圖。 圖15是本發(fā)明的實(shí)施例3涉及的測(cè)距裝置的工作的說明圖。圖16是本發(fā)明的實(shí)施例3涉及的測(cè)距裝置的性能的說明圖。
圖17是本發(fā)明的實(shí)施例3涉及的測(cè)距裝置的工作的說明圖。
圖18A是示出本發(fā)明的實(shí)施例3涉及的SAD的推移的圖。
圖18B是示出本發(fā)明的實(shí)施例3涉及的SAD的推移的圖。
圖19是示出本發(fā)明的實(shí)施例3涉及的合成SAD的推移的圖。
圖20是本發(fā)明的實(shí)施例3涉及的測(cè)距裝置的性能的說明圖。
圖21是示出本發(fā)明的實(shí)施例4涉及的測(cè)距裝置的結(jié)構(gòu)的圖。
圖22是示出本發(fā)明的實(shí)施例4涉及的測(cè)距裝置和對(duì)象物的位置關(guān)系的圖。
圖23是示出本發(fā)明的實(shí)施例4涉及的與測(cè)距裝置的對(duì)象物的三維位置
或距離的算出有關(guān)的處理的過程的流程圖。
圖24A是示出本發(fā)明的實(shí)施方式涉及的測(cè)距裝置的結(jié)構(gòu)的圖。 圖24B是示出本發(fā)明的實(shí)施方式涉及的測(cè)距裝置的結(jié)構(gòu)的圖。 圖24C是示出本發(fā)明的實(shí)施方式涉及的測(cè)距裝置的結(jié)構(gòu)的圖。 圖24D是示出本發(fā)明的實(shí)施方式涉及的測(cè)距裝置的結(jié)構(gòu)的圖。 圖24E是示出本發(fā)明的實(shí)施方式涉及的測(cè)距裝置的結(jié)構(gòu)的圖。 圖24F是示出本發(fā)明的實(shí)施方式涉及的測(cè)距裝置的結(jié)構(gòu)的圖。 圖25A是示出本發(fā)明的實(shí)施方式涉及的用于測(cè)距裝置進(jìn)行性能評(píng)價(jià)的
圖像的圖。
圖25B是示出通過本發(fā)明的實(shí)施方式涉及的用于測(cè)距裝置進(jìn)行性能評(píng) 價(jià)的圖像的圖。
圖25C是示出本發(fā)明的實(shí)施方式涉及的用于測(cè)距裝置進(jìn)行性能評(píng)價(jià)的 圖像的圖。
圖25D是示出本發(fā)明的實(shí)施方式涉及的用于測(cè)距裝置進(jìn)行性能評(píng)價(jià)的 圖像的圖。
圖26A是示出本發(fā)明的實(shí)施方式涉及的測(cè)距裝置的性能評(píng)價(jià)的圖。 圖26B是示出本發(fā)明的實(shí)施方式涉及的測(cè)距裝置的性能評(píng)價(jià)的圖。 圖26C是示出本發(fā)明的實(shí)施方式涉及的測(cè)距裝置的性能評(píng)價(jià)的圖。 圖26D是示出本發(fā)明的實(shí)施方式涉及的測(cè)距裝置的性能評(píng)價(jià)的圖。 圖27A是示出本發(fā)明的變形例涉及的攝像光學(xué)系統(tǒng)的配置的圖。圖27B是示出本發(fā)明的變形例涉及的攝像光學(xué)系統(tǒng)的配置的圖。 圖28A是示出本發(fā)明涉及的攝像光學(xué)系統(tǒng)的配置的說明圖。 圖28B是示出本發(fā)明涉及的攝像光學(xué)系統(tǒng)的配置的說明圖。 圖28C是示出本發(fā)明涉及的攝像光學(xué)系統(tǒng)的配置的說明圖。 圖29A是示出本發(fā)明涉及的攝像光學(xué)系統(tǒng)的配置的說明圖。 圖29B是示出本發(fā)明涉及的攝像光學(xué)系統(tǒng)的配置的說明圖。 圖30是通過立體測(cè)距方法算出到對(duì)象物為止的距離的例子的說明圖。 圖31是表示以往的技術(shù)的說明中的測(cè)距裝置與對(duì)象物之間的位置關(guān)系 的圖。
圖32是以往的技術(shù)的說明中的從Yw軸的負(fù)的一側(cè)看的照相機(jī)和對(duì)象 物的一點(diǎn)時(shí)的圖。
圖33是以往的技術(shù)的說明中的從Xw軸的正的一側(cè)看的照相機(jī)和對(duì)象
物的一點(diǎn)時(shí)的圖。
圖34是圖像中的各個(gè)像素的亮度的表達(dá)方法的說明圖。
圖35A是示出以往的技術(shù)的說明中的從對(duì)象物的一側(cè)看的映射的對(duì)象
物的紋理時(shí)的圖像的一部分的圖。
圖35B是示出以往的技術(shù)的說明中的從對(duì)象物的一側(cè)看的映射的對(duì)象
物的紋理時(shí)的圖像的一部分的圖。
圖36是示出以往的技術(shù)的說明中的SAD的推移的圖。 圖37是示出以往的技術(shù)的說明中的SAD的推移的圖。 圖38A是示出以往的技術(shù)的說明中的從對(duì)象物的一側(cè)看的圖像的一部
分的圖。
圖38B是示出以往的技術(shù)的說明中的從對(duì)象物的一側(cè)看的圖像的一部 分的圖。
圖39是通過以往的技術(shù)的說明中的等角直線擬合的子像素視差推測(cè)的 說明圖。
圖40A是示出以往的技術(shù)的說明中的其它的結(jié)構(gòu)的測(cè)距裝置的圖。 圖40B是示出以往的技術(shù)的說明中的其它的結(jié)構(gòu)的測(cè)距裝置的圖。
符號(hào)說明說明書第15/43頁
ls、 la、 lb照相機(jī)
2s、 2a、 2b、 21a、 21b、 21c、 21d、 21e、 21f、 21g、 21h透鏡
3s、 3a、 3b、 22a、 22b、 22c、 22d、 22e、 22f、 22g、 22h攝像區(qū)域
4模數(shù)轉(zhuǎn)換部
5預(yù)處理部
6相關(guān)值算出部
7相關(guān)值加法部
8視差算出部
9后處理部
10s、 10a、 10b光學(xué)中心 lls、 lla、 lib光軸 12對(duì)象物
13對(duì)象物的表面上的點(diǎn)
14s、 14a、 14b、 15s、 15a、 15b塊
16a、 16b、 17a、 17b箭頭線
20復(fù)眼照相機(jī)
23平滑濾波部
24視差換算部
25s光學(xué)中心
50、 60、 70、 80測(cè)距裝置
具體實(shí)施例方式
以下，參照

本發(fā)明的實(shí)施例。 (實(shí)施例1)
圖1是示出本實(shí)施例涉及的測(cè)距裝置50的結(jié)構(gòu)的圖。該測(cè)距裝置50
包括三個(gè)照相機(jī)1S、 la、 lb;模數(shù)轉(zhuǎn)換部4;預(yù)處理部5;相關(guān)值算出 部6;相關(guān)值加法部7;視差算出部8;以及后處理部9。
三個(gè)照相機(jī)ls、 la、 lb分別具有同樣的結(jié)構(gòu)。也就是，照相機(jī)ls包 括透鏡2s以及攝像區(qū)域3s，照相機(jī)la包括透鏡2a以及攝像區(qū)域3a，照 相機(jī)lb包括透鏡2b以及攝像區(qū)域3b。在此，將照相機(jī)ls稱為基準(zhǔn)攝像光學(xué)系統(tǒng)s，將照相機(jī)la稱為參考攝像光學(xué)系統(tǒng)a，將照相機(jī)lb稱為參考 攝像光學(xué)系統(tǒng)b。
攝像區(qū)域3s、 3a、 3b，例如被構(gòu)成在CCD或CMOS等的固體攝像元 件上，根據(jù)通過透鏡2s、 2a、 2b的對(duì)象物的光生成圖像。
在此，本實(shí)施例涉及的基準(zhǔn)攝像光學(xué)系統(tǒng)s、參考攝像光學(xué)系統(tǒng)a以及 參考攝像光學(xué)系統(tǒng)b具有以下示出的特征。首先，各個(gè)攝像光學(xué)系統(tǒng)的光 軸為平行。而且，各個(gè)攝像光學(xué)系統(tǒng)的光學(xué)中心的光軸被配置在一條直線 上，且該直線與光軸垂直。并且，各個(gè)攝像光學(xué)系統(tǒng)的攝像區(qū)域(二維平面) 與光軸被配置為垂直，所有的攝像光學(xué)系統(tǒng)的焦距(從攝像區(qū)域到光學(xué)中心 為止的距離)相同。進(jìn)而，連接各個(gè)攝像光學(xué)系統(tǒng)的光學(xué)中心的線、即核線 (epipolarline)，與各個(gè)攝像區(qū)域的水平方向的像素排列平行，在各個(gè)攝像 區(qū)域的像素排列的水平方向產(chǎn)生各個(gè)攝像光學(xué)系統(tǒng)之間的視差。
而且，在本發(fā)明中，不需要嚴(yán)格滿足與所述的本實(shí)施例涉及的基準(zhǔn)攝 像光學(xué)系統(tǒng)s、參考攝像光學(xué)系統(tǒng)a、參考攝像光學(xué)系統(tǒng)b、光學(xué)中心、攝 像區(qū)域以及焦距等有關(guān)的特征。例如，若通過校準(zhǔn)處理等能夠校正，則也 可以不需要嚴(yán)格使光軸相互平行。并且，若可以忽視與光軸、光學(xué)中心、 攝像區(qū)域以及焦距等有關(guān)的特征的誤差程度，則沒有問題。
并且，基準(zhǔn)攝像光學(xué)系統(tǒng)s被配置在三個(gè)攝像光學(xué)系統(tǒng)的正中間，基 準(zhǔn)攝像光學(xué)系統(tǒng)s的光學(xué)中心與參考攝像光學(xué)系統(tǒng)a的光學(xué)中心之間的距 離(以后，稱為基線長(zhǎng)度)Ba、和基準(zhǔn)攝像光學(xué)系統(tǒng)s的光學(xué)中心與參考攝 像光學(xué)系統(tǒng)b的光學(xué)中心之間的距離(基線長(zhǎng)度)Bb相同。也就是，參考攝 像光學(xué)系統(tǒng)a以及參考攝像光學(xué)系統(tǒng)b被配置為，對(duì)基準(zhǔn)攝像光學(xué)系統(tǒng)s 成為點(diǎn)對(duì)稱。
模數(shù)轉(zhuǎn)換部4，將從構(gòu)成攝像區(qū)域3s、 3a、 3b的攝像元件傳輸?shù)牧炼?信息，從模擬值轉(zhuǎn)換為數(shù)字值(量化)。在此假設(shè)，由模數(shù)轉(zhuǎn)換部4將攝像區(qū) 域3s的像量化而得到的圖像作為圖像s，由模數(shù)轉(zhuǎn)換部4將攝像區(qū)域3a 的像量化而得到的圖像作為圖像a，由模數(shù)轉(zhuǎn)換部4將攝像區(qū)域3b的像量 化而得到的圖像作為圖像b?？梢葬槍?duì)照相機(jī)ls、 la、 lb的各自個(gè)別構(gòu)成 模數(shù)轉(zhuǎn)換部4，也可以針對(duì)照相機(jī)ls、 la、 lb共同地構(gòu)成模數(shù)轉(zhuǎn)換部4， 還可以只針對(duì)任一個(gè)照相機(jī)個(gè)別構(gòu)成模數(shù)轉(zhuǎn)換部4。預(yù)處理部5，針對(duì)轉(zhuǎn)換為數(shù)字值的各個(gè)攝像區(qū)域的亮度信息，進(jìn)行校準(zhǔn)、 亮度的明暗校正、光學(xué)系統(tǒng)之間的光度的差的降低校正等的、用于高精度 地進(jìn)行圖像的相關(guān)運(yùn)算的圖像的校正處理。例如，進(jìn)行一般所周知的透鏡 變形校正或立體圖像的平行化等的校準(zhǔn)處理。通過進(jìn)行該校準(zhǔn)處理，從而 能夠得到校正安裝誤差后的圖像。而且，在本實(shí)施例中說明預(yù)處理部5進(jìn) 行校準(zhǔn)處理等的圖像校正的情況，但是，適用本發(fā)明的測(cè)距裝置不僅限于 這些測(cè)距裝置。例如，也可以是沒有校準(zhǔn)處理的測(cè)距裝置。
雖然在后面進(jìn)行詳細(xì)說明，不過，相關(guān)值算出部6，針對(duì)參考攝像光學(xué) 系統(tǒng)a以及參考攝像光學(xué)系統(tǒng)b的每一個(gè)，按每個(gè)偏移量算出表示基準(zhǔn)圖 像和參考圖像的相似度的相關(guān)值，該偏移量為沿著作為連接基準(zhǔn)攝像光學(xué) 系統(tǒng)s的光學(xué)中心和參考攝像光學(xué)系統(tǒng)a或b的光學(xué)中心的直線的基線的 方向，針對(duì)圖像s中包含的基準(zhǔn)圖像將圖像a或b中包含的參考圖像的圖 像位置(圖像坐標(biāo))逐漸偏移來對(duì)圖像進(jìn)行比較的情況下的偏移量(塊匹配運(yùn) 算)。在此，針對(duì)基準(zhǔn)圖像將參考圖像的一方的圖像位置逐漸偏移是指，選 擇基準(zhǔn)攝像光學(xué)系統(tǒng)以及參考攝像光學(xué)系統(tǒng)生成的圖像的一部分的區(qū)域， 以分別作為基準(zhǔn)圖像以及參考圖像，針對(duì)基準(zhǔn)圖像將參考圖像的選擇位置 (搜索位置)逐漸偏移。
雖然在后面進(jìn)行詳細(xì)說明，不過，相關(guān)值加法部7，按每個(gè)對(duì)應(yīng)的偏移 量，對(duì)在相關(guān)值算出部6按每個(gè)攝像光學(xué)系統(tǒng)的組合算出的相關(guān)值進(jìn)行加 法運(yùn)算，從而算出以實(shí)際視差為基準(zhǔn)成為對(duì)稱的分布的合成相關(guān)值。
視差算出部8，使用利用了對(duì)稱性的插值式，對(duì)在相關(guān)值加法部7進(jìn)行 加法運(yùn)算后的、以實(shí)際視差為基準(zhǔn)成為對(duì)稱的分布的合成相關(guān)值進(jìn)行插值， 從而推測(cè)基準(zhǔn)圖像以及參考圖像中的子像素級(jí)的視差。在此，子像素級(jí)是 指，小數(shù)點(diǎn)以下的像素的精度。
后處理部9，通過進(jìn)行根據(jù)在視差算出部8算出的子像素級(jí)的視差算出 對(duì)象物的三維位置(或，從測(cè)距裝置到對(duì)象物為止的距離)的處理、推測(cè)的三 維形狀的濾波處理、或制作推測(cè)的對(duì)象物的紋理的處理等，從而制作對(duì)應(yīng) 于每個(gè)應(yīng)用程序的輸出的數(shù)據(jù)。而且，在本實(shí)施例中說明后處理部9算出 對(duì)象物的三維位置或距離的情況，但是，適用本發(fā)明的測(cè)距裝置不僅限于 這些測(cè)距裝置。例如，也可以是后處理部9將在視差算出部8算出的視差輸出到其它的裝置的裝置。在此情況下，由于不測(cè)定到對(duì)象物為止的距離， 因此將算出視差的裝置稱為復(fù)眼攝像裝置。
圖2是示出圖1示出的測(cè)距裝置50和對(duì)象物12的位置關(guān)系的圖。光 學(xué)中心10s是基準(zhǔn)攝像光學(xué)系統(tǒng)s的光學(xué)中心，光學(xué)中心10a是參考攝像 光學(xué)系統(tǒng)a的光學(xué)中心，光學(xué)中心10b是參考攝像光學(xué)系統(tǒng)b的光學(xué)中心。 在此，將基準(zhǔn)攝像光學(xué)系統(tǒng)s的光學(xué)中心10s作為三維的世界坐標(biāo)系的原 點(diǎn)Mw(O、 0、 0)。
光軸lis是基準(zhǔn)攝像光學(xué)系統(tǒng)s的光軸，光軸lla是參考攝像光學(xué)系 統(tǒng)a的光軸，光軸lib是參考攝像光學(xué)系統(tǒng)b的光軸。
對(duì)象物12是測(cè)定三維位置或距離的對(duì)象物。
對(duì)象物的表面上的點(diǎn)13是對(duì)象物12的表面上的一點(diǎn)，在此，點(diǎn)13 的周邊的區(qū)域被設(shè)置為與攝像區(qū)域平行。并且，點(diǎn)13的世界坐標(biāo)為 Mw(Xwl、 Ywl、 Zwl)。
其次，說明如上構(gòu)成的本實(shí)施例中的測(cè)距裝置50的基本工作。
圖3是示出與測(cè)距裝置50的對(duì)象物12的三維位置或距離的算出有關(guān) 的處理的過程的流程圖。
首先，模數(shù)轉(zhuǎn)換部4，將從構(gòu)成攝像區(qū)域3s、 3a、 3b的攝像元件傳輸 的亮度信息，從模擬值轉(zhuǎn)換為數(shù)字值(SIOI)。
其次，預(yù)處理部5，針對(duì)轉(zhuǎn)換為數(shù)字值的各個(gè)攝像區(qū)域的亮度信息，進(jìn) 行校準(zhǔn)、亮度的明暗校正、光學(xué)系統(tǒng)之間的光度的差的降低校正等的、用 于高精度地進(jìn)行圖像的相關(guān)運(yùn)算的圖像的校正處理(S102)。
接著，相關(guān)值算出部6，將在S102進(jìn)行校正處理后的圖像分割為規(guī)定 的小區(qū)域(以下，稱為塊)(S103)。而且，相關(guān)值算出部6，選擇與成為算出 三維位置或距離的對(duì)象的對(duì)象物12的表面上的點(diǎn)13相對(duì)應(yīng)的圖像s的塊， 以作為基準(zhǔn)圖像。(S104)。而且，相關(guān)值算出部6，若能夠取得還沒有進(jìn)行 以下所述的步驟S106 S109的處理的、參考攝像光學(xué)系統(tǒng)所生成的圖像a 或圖像b，則開始循環(huán)1(S105)。進(jìn)而，相關(guān)值算出部6，若能夠取得偏移 量，則開始循環(huán)2(S106)。
而且，相關(guān)值算出部6，從在步驟Sl05取得的圖像a或圖像b中選擇 與在步驟S106取得的偏移量相對(duì)應(yīng)的塊，以作為參考圖像(S107)。接著，算出表示作為在步驟S104選擇的圖像s的塊的基準(zhǔn)圖像、和作為在步驟 S107選擇的圖像a或圖像b的塊的參考圖像的相似度的相關(guān)值，例如算出 SAD(S108)。
如此，相關(guān)值算出部6，從預(yù)先規(guī)定的最小偏移量開始依次使偏移量變 大，從而算出每個(gè)偏移量的相關(guān)值(S106 S109)。在此，在偏移量達(dá)到預(yù) 先規(guī)定的最大偏移量的情況下，相關(guān)值算出部6，結(jié)束循環(huán)2(S106 S109)。
并且，若結(jié)束循環(huán)2(S106 S109)，即結(jié)束算出每個(gè)偏移量的相關(guān)值， 相關(guān)值算出部6，則取得還沒有進(jìn)行關(guān)于相關(guān)值的算出的處理的、參考攝像 光學(xué)系統(tǒng)所生成的圖像，反復(fù)進(jìn)行循環(huán)2(S106 S109)的處理(S105 SllO)。在此，在沒有還沒有進(jìn)行關(guān)于相關(guān)值的算出的處理的、參考攝像光 學(xué)系統(tǒng)所生成的圖像的情況下，即在結(jié)束圖像a以及圖像b這兩者的處理 的情況下，相關(guān)值算出部6，結(jié)束循環(huán)1(S105 S110)。
接著，相關(guān)值加法部7，按每個(gè)對(duì)應(yīng)的偏移量，對(duì)通過所述處理算出的 基準(zhǔn)圖像和各個(gè)參考圖像的相關(guān)值進(jìn)行加法運(yùn)算，從而算出合成相關(guān)值 (Slll)。通過該處理得到的合成相關(guān)值，以實(shí)際視差為基準(zhǔn)形成對(duì)稱的分布。
而且，視差算出部8，使用利用了對(duì)稱性的插值式，對(duì)在步驟S111進(jìn) 行加法運(yùn)算后的、每個(gè)偏移量的相關(guān)值進(jìn)行插值(S112)。在此使用的插值 式是，例如以等角直線擬合或拋物線擬合(由二次函數(shù)的擬合)等的、在相關(guān) 值以實(shí)際視差為基準(zhǔn)形成對(duì)稱的分布的前提下的子像素視差推測(cè)方法來利 用的插值式。而且，視差算出部8，利用插值后的相關(guān)值，算出相關(guān)值為最 大或最小(類似度最高)的偏移量即子像素視差(S113)。具體而言，在利用作 為相關(guān)值的SAD的情況下，視差算出部8，算出SAD為最小的偏移量， 以作為子像素視差。
利用如此得到的視差，后處理部9，算出對(duì)象物的三維位置或距離 (S114)。
而且，在所述處理中，測(cè)距裝置50，針對(duì)圖像s的選擇的一個(gè)塊，求 出子像素視差來算出對(duì)象物的三維位置或距離，但也可以是，反復(fù)選擇圖 像s的塊，針對(duì)圖像s的所有的塊，求出子像素視差來算出對(duì)象物的三維 位置或距離。
其次，參照?qǐng)D4 圖7說明測(cè)距裝置50的對(duì)象物12的三維位置的算出，以作為圖3中說明了的處理的具體例子。
圖4是示出通過基準(zhǔn)攝像光學(xué)系統(tǒng)s拍攝圖2的對(duì)象物12的表面上的 點(diǎn)13的周邊的紋理時(shí)從對(duì)象物的一側(cè)看的圖像的一部分的圖。與背景技術(shù) 的說明相同，各個(gè)四角形表示像素，各個(gè)像素中的線的密度表示亮度值。 如圖示出假設(shè)，在圖像s上，點(diǎn)13與以黑圈點(diǎn)示出的位置相對(duì)應(yīng)。
在此情況下，如圖3的步驟S103示出，相關(guān)值算出部6，將從各個(gè)攝 像光學(xué)系統(tǒng)得到的圖像分割為規(guī)定的小區(qū)域(塊)，按每個(gè)塊算出三維位置。
在基準(zhǔn)攝像光學(xué)系統(tǒng)s的塊尺寸為水平方向4像素、垂直方向4像素 的4X4像素的情況下，如圖3的步驟S104示出，對(duì)于圖像s，選擇包含 成為測(cè)定對(duì)象的對(duì)象物12的表面上的點(diǎn)13的、塊14s的位置的塊，以作 為基準(zhǔn)圖像。而且，對(duì)于圖像s中的基準(zhǔn)圖像的選擇，只要包含成為測(cè)定 對(duì)象的對(duì)象物12的表面上的點(diǎn)13，就可以進(jìn)行任何選擇，例如，也可以 選擇從圖4示出的位置向左偏移1像素的位置的塊，以作為基準(zhǔn)圖像。
而且，由于基準(zhǔn)攝像光學(xué)系統(tǒng)s與參考攝像光學(xué)系統(tǒng)a之間的基線長(zhǎng) 度Ba、和基準(zhǔn)攝像光學(xué)系統(tǒng)s與參考攝像光學(xué)系統(tǒng)b之間的基線長(zhǎng)度Bb 相同，因此，針對(duì)圖像s在圖像a以及圖像b產(chǎn)生反方向、且大小相同的 視差。在此，在圖像a以及圖像b產(chǎn)生的實(shí)際視差，均為3.6像素。
如此，在實(shí)際視差為3.6像素的情況下，在與圖像s的塊14s相同的 圖像a的圖像坐標(biāo)，映出圖4示出的塊14a的位置的圖像。并且，在與圖 像s的塊14s相同的圖像b的圖像坐標(biāo)，映出圖4示出的塊14b的位置的 圖像。也就是，在圖像s、圖像a、圖像b的同一圖像坐標(biāo)的對(duì)象物12的 圖像成為像圖5A 圖5C那樣。在此，圖像坐標(biāo)是指，表示以各個(gè)攝像光 學(xué)系統(tǒng)的光軸和攝像面的交點(diǎn)為原點(diǎn)時(shí)的像素的位置的坐標(biāo)。而且，在對(duì) 象物位于相當(dāng)于無窮遠(yuǎn)的位置情況下，對(duì)于圖像s、圖像a、圖像b，對(duì)象 物的像成像在同一圖像坐標(biāo)。
圖5A是示出通過基準(zhǔn)攝像光學(xué)系統(tǒng)s拍攝的圖像s的一部分的圖。圖 5B是示出通過參考攝像光學(xué)系統(tǒng)a拍攝的圖像a的一部分的圖。圖5C是 示出通過參考攝像光學(xué)系統(tǒng)b拍攝的圖像b的一部分的圖。
在圖5A 圖5c中，各個(gè)圖像中的用粗線包圍的塊4X4像素的塊，與 圖4示出的塊14s、 14a、 14b相對(duì)應(yīng)，且表示同一圖像坐標(biāo)。以下，示出利用作為圖像s、和圖像a或圖像b的相關(guān)值的通過(式4)求出的SAD時(shí) 的相關(guān)值的算出方法。
首先，如圖2的步驟S105 S110示出，相關(guān)值算出部6，取得參考 攝像光學(xué)系統(tǒng)拍攝的圖像中的圖像a，即取得圖5B的圖像。而且，相關(guān)值 算出部6，將已經(jīng)選擇的作為基準(zhǔn)圖像的圖像s的塊、和作為圖像a的塊的 參考圖像作為對(duì)象，即將圖5A的用粗線包圍的塊、和作為圖像a的塊的參 考圖像作為對(duì)象，從而算出SAD。此時(shí)，相關(guān)值算出部6，從與作為最小 偏移量的0像素相對(duì)應(yīng)的圖5B的用粗線包圍的塊、到與作為最大偏移量的 7像素相對(duì)應(yīng)的塊為止，向產(chǎn)生視差的方向，即向圖5B示出的作為箭頭線 的方向的圖像水平方向的右邊，按每一個(gè)像素將塊偏移，從而選擇作為參 考圖像的±央。其結(jié)果為，算出按每個(gè)偏移量的SAD。在圖6A示出如此算 出的SAD。
其次，相關(guān)值算出部6，選擇還沒有算出相關(guān)值的圖像b，即選擇圖 5C的圖像。而且，相關(guān)值算出部6，與圖像a的情況相同，算出基準(zhǔn)圖像 和參考圖像的SAD。此時(shí)，相關(guān)值算出部6，從與作為最小偏移量的0像 素相對(duì)應(yīng)的圖5C的用粗線包圍的塊、與作為最大偏移量的7像素相對(duì)應(yīng)的 塊為止，向產(chǎn)生視差的方向，即向圖5C示出的作為箭頭線的方向的圖像水 平方向的左邊，按每一個(gè)像素將塊偏移，從而選擇作為參考圖像的塊。其 結(jié)果為，算出按每個(gè)偏移量的SAD。在圖6B示出如此算出的SAD。
圖6A是表示圖像s和圖像a的SAD的推移的圖，圖6B是表示圖像 s和圖像b的SAD的推移的圖。由于圖示出的SAD的推移，都以實(shí)際視 差為基準(zhǔn)成為左右非對(duì)稱，因此，在通過等角直線擬合測(cè)定子像素視差的 情況下，針對(duì)作為實(shí)際視差的3.6像素，對(duì)于圖像a在負(fù)的一側(cè)產(chǎn)生0.4 像素左右的誤差(圖6A)，對(duì)于圖像b在正的一側(cè)產(chǎn)生0.5像素左右的誤差(圖 6B)。
于是，如圖2的步驟S111示出，相關(guān)值加法部7，按每個(gè)對(duì)應(yīng)的偏移 量對(duì)SAD進(jìn)行加法運(yùn)算，來算出合成相關(guān)值，以使SAD的推移以實(shí)際視 差為基準(zhǔn)成為左右對(duì)稱。
圖7是示出合成SAD的推移的圖，該合成SAD是按每個(gè)偏移量對(duì)圖 6A和圖6B示出的SAD進(jìn)行加法運(yùn)算時(shí)的合成相關(guān)值。如圖示出，進(jìn)行加法運(yùn)算后的SAD的推移，以實(shí)際視差為基準(zhǔn)成為對(duì)稱。在此，若圖6A 的SAD的推移為Sa(i)、圖6B的SAD的推移為Sb(i)，則通過(式6)能夠 算出相關(guān)值加法部7算出的合成SAD的推移S一sum(i)。<formula>formula see original document page 28</formula>(i =最小偏移量,最小偏移量+1 ，最小偏移量+ 2，…最大偏移量)
如此，由于合成SAD的推移以實(shí)際視差為基準(zhǔn)成為對(duì)稱，因此，在如 圖2的步驟S112示出、通過使用利用了對(duì)稱性的插值式的所述等角直線擬 合來測(cè)定子像素視差的情況下，如圖7示出，視差算出部8，能夠以不足 0.1像素的誤差算出視差。因此，與SAD的推移成為左右非對(duì)稱的情況相 比，能夠大幅度地提高子像素視差測(cè)定精度。也就是，對(duì)于等角直線擬合， 在SAD的推移以實(shí)際視差為基準(zhǔn)成為對(duì)稱、且SAD的推移成直線的情況 下，能夠進(jìn)行沒有誤差的子像素視差測(cè)定。特別是，如圖7示出，由于SAD 的推移不是直線，因此雖然產(chǎn)生視差的測(cè)定誤差，但是，通過相關(guān)值(SAD) 的加法運(yùn)算能夠使SAD的推移以實(shí)際視差為基準(zhǔn)成為對(duì)稱，從而能夠使視 差的測(cè)定誤差變得非常小。
根據(jù)視差算出部8如此算出的子像素級(jí)的視差，如圖3的步驟S114 示出，后處理部9，將視差轉(zhuǎn)換為對(duì)應(yīng)于輸出的形式，從而輸出數(shù)據(jù)。例如， 在輸出對(duì)象物的三維位置的情況下，將m(usl、 vsl)轉(zhuǎn)換為ms(xsl、 ysl)， 與背景技術(shù)的說明相同，利用(式l)、(式2)、(式3)能夠求出對(duì)應(yīng)于圖像s 的各個(gè)塊的三維位置，所述m(usl、 vsl)是圖像s的二維圖像坐標(biāo)系，所 述ms(xsl、 ysl)是將圖2的光軸10s和攝像區(qū)域3s的交點(diǎn)作為原點(diǎn)的二 維圖像坐標(biāo)系。在此，通過算出的子像素視差乘以像素間距，從而能夠求 出(式1)的視差P。并且，在只算出從測(cè)距裝置到對(duì)象物為止的距離的情況 下，與背景技術(shù)的說明相同，利用(式l)能夠求出距離。
其次，利用圖8、圖9A以及圖9B，說明在本實(shí)施例中如圖7示出、 合成相關(guān)值(在此，合成SAD)的推移對(duì)實(shí)際視差成為對(duì)稱的原理。
圖8是示出從對(duì)象物12的一側(cè)看的、被映射在圖像s的對(duì)象物12的 表面上的點(diǎn)13的周邊的紋理的圖。并且，用粗線包圍的塊15s與圖5A示 出的用粗線包圍的塊相同。用虛線包圍的塊15a是，被映射在與圖像s的塊15s相同的圖像坐標(biāo) 的圖像a的圖像區(qū)域。并且，用虛線包圍的塊15b是，被映射在與圖像s 的塊15s相同的圖像坐標(biāo)的圖像b的圖像區(qū)域。在此，圖6A示出的SAD 的推移相當(dāng)于，針對(duì)圖8的黑箭頭線16a以及白箭頭線17a的區(qū)域，將作 為參考圖像的圖像a的塊逐漸偏移來算出的SAD的推移。另一方面，圖 6B示出的SAD的推移相當(dāng)于，針對(duì)圖8的白箭頭線16b以及黑箭頭線17b 的區(qū)域，將作為參考圖像的圖像b的塊逐漸偏移來算出的SAD的推移。
而且，通過運(yùn)算只能以離散的點(diǎn)來算出SAD。于是，圖9A以及圖9B 示出，在假定算出SAD的間隔、即取樣間隔為無限小的情況下的SAD的 推移。
圖9A是示出與在取樣間隔為無限小的情況下的圖6A以及圖6B相對(duì) 應(yīng)的SAD的推移的圖。并且，圖9B是示出在取樣間隔為無限小的情況下 的合成SAD的推移的圖。
在圖9A中，用實(shí)線示出的SAD的推移示出，與圖6A相對(duì)應(yīng)的圖像 a的SAD的推移。在用實(shí)線示出的SAD的推移中，從偏移量0到實(shí)際視 差的偏移量為止的SAD的推移(實(shí)線18a)相當(dāng)于，圖8示出的黑箭頭線16a 的區(qū)域中的SAD，從實(shí)際視差的偏移量到其以上的偏移量的SAD的推移 (實(shí)線19a)相當(dāng)于，圖8示出的白箭頭線17a的區(qū)域中的SAD。而且，圖 9A的黑圈點(diǎn)是實(shí)際上的取樣點(diǎn)。
另一方面，用虛線示出的SAD的推移示出，與圖6B相對(duì)應(yīng)的圖像b 的SAD的推移。在用虛線示出的SAD的推移中，從偏移量0到實(shí)際視差 的偏移量為止的SAD的推移(虛線18b)相當(dāng)于，圖8示出的白箭頭線16b 的區(qū)域中的SAD，從實(shí)際視差的偏移量到其以上的偏移量的SAD(虛線19b) 相當(dāng)于，圖8示出的黑箭頭線17b的區(qū)域中的SAD。而且，圖9A的白圈 點(diǎn)是實(shí)際上的取樣點(diǎn)。
在圖8中，在取樣間隔為無限小的情況下，對(duì)于黑箭頭線16a的SAD 的推移、即圖像a中的從偏移量0到實(shí)際視差為止的推移、和黑箭頭線17b 的SAD的推移、即圖像b中的從實(shí)際視差到其以上的偏移量的推移，以實(shí) 際視差的偏移量為基準(zhǔn)算出SAD的基準(zhǔn)圖像和參考圖像的組合相同。因此， 圖9A的以實(shí)線18a所示的SAD的推移和以虛線19b所示的SAD的推移，以實(shí)際視差的偏移量為基準(zhǔn)成為對(duì)稱。
同樣，在圖8中，在取樣間隔為無限小的情況下，對(duì)于白箭頭線17a 的SAD的推移、即圖像a中的從實(shí)際視差到其以上的偏移量的推移、和白 箭頭線16b的SAD的推移、即圖像b中的從偏移量0到實(shí)際視差的推移， 以實(shí)際視差的偏移量為基準(zhǔn)算出SAD的基準(zhǔn)圖像和參考圖像的組合相同。 因此，圖9A的以實(shí)線16b所示的SAD的推移和以虛線17a所示的SAD 的推移，以實(shí)際視差的偏移量為基準(zhǔn)成為對(duì)稱。
根據(jù)這些理由，對(duì)以各個(gè)偏移量的圖像s以及圖像a的塊之間的SAD、 和圖像s以及圖像b的塊之間的SAD進(jìn)行加法運(yùn)算的情況下，如圖9B示 出，合成SAD的推移以實(shí)際視差為基準(zhǔn)成為對(duì)稱。而且，當(dāng)然，即使取樣 間隔變大，所述的對(duì)稱性也不會(huì)被損失。因此，在本實(shí)施例中，如圖7示 出、合成相關(guān)值(在此，合成SAD)的推移以實(shí)際視差為基準(zhǔn)成為對(duì)稱。
而且，在算出相關(guān)值時(shí)，即使不利用SAD而利用例如SSD或NCC 等其它的相關(guān)值，也起因于如上所述的不同攝像光學(xué)系統(tǒng)的基準(zhǔn)圖像和參 考圖像的組合的同一性，合成相關(guān)值以實(shí)際視差為基準(zhǔn)成為對(duì)稱。
并且，在本實(shí)施例中說明了圖像s中的一個(gè)塊，但是，通過對(duì)圖像s 中的所有的塊進(jìn)行同樣的運(yùn)算，從而能夠求出在圖像s映出的對(duì)象物的所 有的三維位置。
并且，在本實(shí)施例中，后處理部9，算出對(duì)象物12的三維位置或距離， 但也可以利用視差算出部8算出的視差合成多個(gè)圖像。
如上所述，根據(jù)本實(shí)施例，相關(guān)值的推移與對(duì)象物的亮度的分布無關(guān) 而以實(shí)際視差為基準(zhǔn)成為對(duì)稱，因此，能夠提供與對(duì)象物無關(guān)而可以測(cè)定 子像素視差的復(fù)眼攝像裝置以及測(cè)距裝置。 (實(shí)施例2)
其次，說明本發(fā)明的實(shí)施例2涉及的測(cè)距裝置。
本實(shí)施例涉及的測(cè)距裝置60，與實(shí)施例1的測(cè)距裝置50不同，預(yù)處 理部5包括使圖像的高頻成分降低的平滑濾波部，但是，其它的構(gòu)成部以 及功能等與實(shí)施例1的測(cè)距裝置50相同。因此，以本實(shí)施例的測(cè)距裝置的 特征部分為中心進(jìn)行說明。
圖10是示出本實(shí)施例涉及的測(cè)距裝置60的結(jié)構(gòu)的圖。而且，對(duì)于與實(shí)施例l相同的構(gòu)成部，以相同符號(hào)來示出，且省略說明。
如圖示出，本實(shí)施例涉及的測(cè)距裝置60包括的預(yù)處理部5具有平滑濾 波部23，該平滑濾波部23，除了進(jìn)行用于高精度地進(jìn)行與實(shí)施例l相同的 圖像的相關(guān)運(yùn)算的圖像的校正處理以外，還進(jìn)行例如像高斯(Gaussian)濾 波、平均濾波或加權(quán)平均濾波那樣的使圖像的高頻成分降低的處理。
相關(guān)值算出部6，若利用如此使高頻成分降低后的圖像，通過與實(shí)施例 1示出的處理相同的處理來算出相關(guān)值的推移，相關(guān)值的推移的直線性則若 干被改進(jìn)。
圖IIA以及圖IIB是在對(duì)圖4示出的圖像s、圖像a、圖像b執(zhí)行o =1的高斯濾波的情況下得到的SAD的推移的圖。
在圖11A以及圖11B中，由于圖像的高頻成分的亮度分布被降低，因 此，與實(shí)施例1的圖6A以及圖6B示出的SAD的推移相比，SAD的推移 的直線性若干被改進(jìn)。然而，以實(shí)際視差為基準(zhǔn)的SAD的推移的對(duì)稱性幾 乎不被改進(jìn)。因此，即使對(duì)圖11A以及圖11B示出的各個(gè)SAD的推移， 進(jìn)行所述的等角直線擬合的子像素視差推測(cè)，也不能期待視差推測(cè)精度大 幅度地被改進(jìn)。于是，與實(shí)施例l相同需要，相關(guān)值加法部7，通過按每個(gè) 偏移量對(duì)SAD進(jìn)行加法運(yùn)算，從而提高SAD的推移的對(duì)稱性。
圖12是示出圖IIA以及圖IIB示出的按每個(gè)偏移量對(duì)SAD進(jìn)行加法 運(yùn)算時(shí)的合成SAD的推移的圖。
視差算出部8，若對(duì)合成SAD的推移進(jìn)行等角直線擬合的子像素視差 推測(cè)，則比實(shí)施例1的情況更能夠降低誤差。這是因?yàn)?，除了如上所述?成SAD的推移以實(shí)際視差為基準(zhǔn)成為對(duì)稱的緣故以外，還通過平滑濾波部 23降低亮度分布的高頻成分，從而SAD的推移的直線性提高了的緣故。 也就是，在SAD的推移以實(shí)際視差為基準(zhǔn)不成為對(duì)稱的被攝體的情況下， 平滑濾波部23只除去圖像的高頻成分，就不能使等角直線擬合的子像素視 差推測(cè)的精度大幅度地提高。然而，像本實(shí)施例那樣，在相關(guān)值加法部7 對(duì)SAD進(jìn)行加法運(yùn)算來合成SAD的推移以實(shí)際視差為基準(zhǔn)成為對(duì)稱的情 況下，能夠與被攝體無關(guān)而使等角直線擬合的子像素視差推測(cè)的精度大幅 度地提高。
如上所述，根據(jù)本實(shí)施例，通過平滑濾波部23除去圖像的高頻成分，從而使相關(guān)值(在此，SAD)的推移的直線性提高。其結(jié)果為，在使用低次的 插值式對(duì)相關(guān)值的推移進(jìn)行插值的情況下，測(cè)距裝置能夠更高精度地測(cè)定 子像素視差。 (實(shí)施例3)
其次，說明本發(fā)明的實(shí)施例3涉及的測(cè)距裝置。
圖13是示出本實(shí)施例涉及的測(cè)距裝置70的結(jié)構(gòu)的圖。如圖13示出， 參考攝像光學(xué)系統(tǒng)b的光學(xué)中心19b，針對(duì)連接基準(zhǔn)攝像光學(xué)系統(tǒng)s的光 學(xué)中心19s、和參考攝像光學(xué)系統(tǒng)a的光學(xué)中心19a的直線(圖13的虛線 18)，在虛線18的垂直方向以距離Error—v隔離。也就是，測(cè)距裝置70具 有光學(xué)中心位置誤差(以下稱為，基線垂直方向誤差)Error—v。并且，作為 光學(xué)中心19s和光學(xué)中心19a的距離的基線長(zhǎng)度Ba、與光學(xué)中心19s和光 學(xué)中心19b的距離的基線長(zhǎng)度Bb(與虛線18平行方向的距離)，具有 Error一h的差異。也就是，測(cè)距裝置70具有基線長(zhǎng)度誤差(以下稱為，基線 方向誤差)ErrorJi。其它的構(gòu)成部以及功能等與圖10的實(shí)施例2的測(cè)距裝 置60相同。因此，以本實(shí)施例的測(cè)距裝置的特征部分為中心進(jìn)行說明。
通過如圖10的實(shí)施例2、將參考攝像光學(xué)系統(tǒng)的光學(xué)中心配置為對(duì)基 準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心成為點(diǎn)對(duì)稱，從而能夠?qū)崿F(xiàn)具有高精度的視差 檢測(cè)精度的測(cè)距裝置，但是，實(shí)際上存在以下的情況，gP，因照相機(jī)的安 裝誤差或透鏡成型誤差等的原因，而產(chǎn)生如圖13示出的基線垂直方向誤差 Error一v或基線方向誤差Error—h。這些誤差越大，實(shí)施例2的圖12示出 的相關(guān)值的推移以實(shí)際視差為基準(zhǔn)就越不成為左右對(duì)稱。因此，在本實(shí)施 例中說明這些誤差帶給相關(guān)值的推移的影響、和其允許范圍。而且，在此 假定，基準(zhǔn)攝像光學(xué)系統(tǒng)s、和參考攝像光學(xué)系統(tǒng)a以及參考攝像光學(xué)系統(tǒng) b的光軸為平行，基準(zhǔn)攝像光學(xué)系統(tǒng)的光軸位于攝像區(qū)域3s的區(qū)域中心， 并且，參考攝像光學(xué)系統(tǒng)a以及參考攝像光學(xué)系統(tǒng)b的光軸位于攝像區(qū)域 3a以及攝像區(qū)域3b的區(qū)域中心。進(jìn)而假定，在攝像區(qū)域3s、攝像區(qū)域3a 和攝像區(qū)域3b中，縱橫的像素排列分別為平行。而且，可以實(shí)現(xiàn)為，即使 不滿足所述假定，也通過依據(jù)預(yù)處理部5的校準(zhǔn)處理等的校正來成立所述 假定。
首先，說明有基線垂直方向誤差Error—v的情況。在此假設(shè)，沒有基線方向誤差ErrorJi。在有基線垂直方向誤差Error一v的情況下，如圖14 示出，在圖像a中，搜索相似于基準(zhǔn)圖像的參考圖像的圖像坐標(biāo)的搜索方 向、和視差的產(chǎn)生方向一致。然而，在圖像b中，基線垂直方向誤差Error_v 越大，搜索相似于基準(zhǔn)圖像的參考圖像的圖像坐標(biāo)的搜索方向、和視差的 產(chǎn)生方向就越不同。在圖14中，以虛線來示出視差的產(chǎn)生方向，以實(shí)線來 示出搜索方向。在圖14中，為了更直感地示出說明，而與實(shí)際相比使視差 的產(chǎn)生方向與搜索方向大不同。根據(jù)圖14可知，由于被攝體距離越近，視 差就越大，因此，視差的產(chǎn)生位置和搜索位置的垂直方向的隔離越大，從 而不成立圖12示出的以實(shí)際視差為基準(zhǔn)成為左右對(duì)稱的相關(guān)值的推移。例 如，對(duì)于照相機(jī)ls、照相機(jī)la和照相機(jī)lb假設(shè)，焦距f二5mm，基線長(zhǎng) 度Ba二20mm，基線長(zhǎng)度Bb-20mm，像素間距pitch=0.002mm，基線 垂直方向誤差Error—v=0.5mm。在被攝體距離D = 2000mm的情況下， 若根據(jù)(式l)計(jì)算視差P，則產(chǎn)生圖15示出的25像素的視差。此時(shí)，對(duì)于 圖像a中包含的被攝體，如圖14說明，在視差的搜索方向產(chǎn)生25像素的 視差，即在與基線水平的方向產(chǎn)生25像素的視差，另一方面，對(duì)于圖像b 中包含的被攝體，在圖14的虛線方向產(chǎn)生25像素的視差。此時(shí)，圖像b 中包含的被攝體，根據(jù)基線垂直方向誤差ErroLv的影響，與圖像s相比， 在視差搜索方向的垂直方向偏移0.62像素左右而被映射。在視差搜索方向 的平行方向的視差為24.99像素左右，對(duì)25像素的差異為0.01像素以下， 因此可以忽視的該視差。據(jù)此，在此情況下，在圖像s和圖像a中的SAD 的推移、和在圖像s和圖像b中的SAD的推移，在視差搜索方向的垂直方 向偏移0.62像素左右，因此，嚴(yán)格而言，以實(shí)際視差為基準(zhǔn)不成為左右對(duì) 稱。在被攝體距離更近的情況下，由于圖像b在視差搜索方向的垂直方向 的映射的偏移變大，因此SAD的推移的左右對(duì)稱性更降低。
圖16示出在使用圖13示出的具有基線垂直方向誤差Error—v的測(cè)距 裝置來拍攝某個(gè)被攝體的情況下的測(cè)距精度的降低(視差檢測(cè)誤差的增加) 的模擬驗(yàn)證結(jié)果的圖表。由于測(cè)距精度的降低起因于視差搜索方向的垂直 方向的映射的偏移量，因此，將圖16的橫軸作為對(duì)視差搜索方向的垂直方 向的映射的偏移量。若圖16的橫軸的圖像偏移量為P一v，則能夠以(式7) 來換算Error一v。公式7
Error 一 v = D P廿，P — v …(式7)
在此，D為被攝體距離，pitch為像素間距，f為焦距。在圖16中可知， 圖像偏移P一v越大，視差檢測(cè)誤差就越大。圖16的虛線的基準(zhǔn)測(cè)距精度是 指，以模擬來求出在利用同一被攝體的情況下的圖40A的以往的立體相機(jī) (3目艮)的測(cè)距精度(視差檢測(cè)誤差)的結(jié)果。將以往的立體相機(jī)的焦距、像素 間距、被攝體距離設(shè)定為相同，圖40A的基準(zhǔn)攝像光學(xué)系統(tǒng)s和參考攝像 光學(xué)系統(tǒng)a的基線長(zhǎng)度、以及基準(zhǔn)攝像光學(xué)系統(tǒng)s和參考攝像光學(xué)系統(tǒng)b 的基線長(zhǎng)度，都與圖13的本實(shí)施例的基線長(zhǎng)度Ba相同。由于對(duì)該以往的 立體相機(jī)(3眼)的模擬結(jié)果沒有給予相當(dāng)于基線垂直方向誤差Error—v的安 裝誤差(因?yàn)?，通過以往的校準(zhǔn)方法等能夠校正)，因此基準(zhǔn)測(cè)距精度為一定 值。根據(jù)圖16可知，若圖像偏移P一v在0.15像素以內(nèi)，則比以往的立體 相機(jī)更能夠進(jìn)行高精度的測(cè)距(視差檢測(cè))。因此，對(duì)于本實(shí)施例的測(cè)距裝置 70，構(gòu)成測(cè)距裝置70，使得(式7)中P_v=0.15，來將基線垂直方向誤差 Erroi^v為(式8)，據(jù)此，測(cè)距裝置70，比以往的立體相機(jī)更能夠進(jìn)行高精 度的測(cè)距(視差檢測(cè))。公式8
E證—WD"'0.15 …(式8)
例如，在(最小)被攝體距離D-500mm、像素間距pitch=0.002mm、 焦距5mm的情況下，通過將垂直方向誤差Error一v制作為0.03mm以內(nèi)， 從而比以往的立體相機(jī)更能夠進(jìn)行高精度的測(cè)距(視差檢測(cè))。因此，高精度 地安裝圖13的各個(gè)照相機(jī)的光學(xué)中心的相對(duì)位置，以使安裝時(shí)滿足(式8) 即可。例如，通過以一體成型來制作透鏡2s、 2a、 2b，從而能夠較容易地 實(shí)現(xiàn)。并且，當(dāng)然，也可以以晶圓級(jí)相機(jī)(Wafer Level Camera)(參照，日 經(jīng)MICRODEVICES 2008年7月號(hào))等的采用了照相機(jī)的大量生產(chǎn)技術(shù)的 立體相機(jī)來實(shí)現(xiàn)，該晶圓級(jí)相機(jī)是以MEMS(Micro Electro Mechanical Systems :微電子機(jī)械系統(tǒng))技術(shù)等來實(shí)現(xiàn)的。并且，本實(shí)施例中對(duì)3眼進(jìn) 行了說明，但是，當(dāng)然5眼、7眼、9眼等多數(shù)光學(xué)系統(tǒng)也能夠適用。而且，從圖16示出的圖表中得到的P_v=0.15不是，只在拍攝特定的被攝體的情 況下得到的值。即使變更被攝體，也能夠得到同樣的傾向，P_v=0.15為 不依賴于被攝體的值。
其次，說明有基線方向誤差ErrorJi的情況。在此假設(shè)，沒有基線垂 直方向誤差Error一v。在有基線方向誤差Error—h的情況下，由于如圖13 示出基線長(zhǎng)度Ba和基線長(zhǎng)度Bb不同，因此如圖17示出對(duì)同一被攝體的 圖像a產(chǎn)生的視差Pa、和圖像b產(chǎn)生的視差Pb不同。因此，如圖18A以 及圖18B示出，圖像s和圖像a的SAD的推移(圖18A)、和圖像s和圖像 b的SAD的推移(圖18B的黑圓點(diǎn))的對(duì)實(shí)際視差的對(duì)稱性變壞。在此，實(shí) 際視差是指，圖像s和圖像a的實(shí)際視差。基線方向誤差ErrorJi越大， 對(duì)實(shí)際視差的對(duì)稱性就越壞。這是因?yàn)?，例如，在基線方向誤差ErrorJi 為正的情況下，如圖18B示出，圖像s和圖像b的SAD的推移在偏移量 變大的方向平行移動(dòng)的緣故?；€方向誤差Error—h越大，所述平行移動(dòng) 的量就越多，從而對(duì)稱性變壞。在圖18B中白圈點(diǎn)的SAD的推移是，在 圖10的實(shí)施例2中的圖像s和圖像b的SAD的推移(g卩，Error_h=0)。 圖19示出按每個(gè)偏移量對(duì)圖18A和圖18B的SAD進(jìn)行加法運(yùn)算而得到 的合成SAD的推移的圖。根據(jù)圖19可知，由于以實(shí)際視差為基準(zhǔn)的SAD 的推移的對(duì)稱性變壞，因此可知測(cè)定視差從實(shí)際視差偏移了。
圖20示出在使用圖13示出的具有基線方向誤差ErrorJi的測(cè)距裝置 來拍攝某個(gè)被攝體的情況下的測(cè)距精度的降低(視差檢測(cè)誤差的增加)的模 擬驗(yàn)證結(jié)果的圖表。由于視差檢測(cè)誤差起因于視差搜索方向的映射的偏移 量，因此，將圖20的橫軸作為對(duì)視差搜索方向的映射的偏移量。若圖20 的橫軸的圖像偏移量為P一h，則能夠以(式9)來換算Error一h。公式9
E麗一h:D'PitCfh'P-h …(式9)
在此，D為被攝體距離，pitch為像素間距，f為焦距。在圖20中可知， 圖像偏移P一h越大，視差檢測(cè)誤差就越大。圖20的實(shí)線的基準(zhǔn)測(cè)距精度是 指，以模擬來求出在利用同一被攝體的情況下的圖40A的以往的立體相機(jī) (3目艮)的測(cè)距精度(視差檢測(cè)誤差)的結(jié)果。將以往的立體相機(jī)的焦距、像素間距、被攝體距離設(shè)定為相同，圖40A的基準(zhǔn)攝像光學(xué)系統(tǒng)s和參考攝像 光學(xué)系統(tǒng)a的基線長(zhǎng)度、以及基準(zhǔn)攝像光學(xué)系統(tǒng)s和參考攝像光學(xué)系統(tǒng)b 的基線長(zhǎng)度，都與圖13的本實(shí)施例的基線長(zhǎng)度Ba相同。由于對(duì)該以往的 立體相機(jī)(3眼)的模擬結(jié)果沒有給予相當(dāng)于基線方向誤差ErrorJi的安裝誤 差(因?yàn)?，通過以往的校準(zhǔn)方法等能夠校正)，因此基準(zhǔn)測(cè)距精度為一定值。 根據(jù)圖20可知，若圖像偏移PJi在0.2像素以內(nèi)，則比以往的立體相機(jī)更 能夠進(jìn)行高精度的測(cè)距(視差檢測(cè))。因此，對(duì)于本實(shí)施例的測(cè)距裝置70， 構(gòu)成測(cè)距裝置70，使得(式9)中PJi-0.2，來將基線方向誤差EirorJi為 (式10)，據(jù)此，測(cè)距裝置70，比以往的立體相機(jī)更能夠進(jìn)行高精度的測(cè)距(視 差檢測(cè))。
<formula>formula see original document page 36</formula>
例如，在(最小)被攝體距離D二500mm、像素間距pitch=0.002mm、 焦距5mm的情況下，通過將垂直方向誤差Error—v制作為0.04mm以內(nèi)， 從而比以往的立體相機(jī)更能夠進(jìn)行高精度的測(cè)距(視差檢測(cè))。因此，高精度 地安裝圖13的各個(gè)照相機(jī)的光學(xué)中心的相對(duì)位置，以使安裝時(shí)滿足(式10) 即可。例如，通過以一體成型來制作透鏡2s、 2a、 2b，從而能夠較容易地 實(shí)現(xiàn)所述內(nèi)容。并且，當(dāng)然，也可以以晶圓級(jí)相機(jī)(參照，日經(jīng) MICRODEVICES 2008年7月號(hào))等的采用了照相機(jī)的大量生產(chǎn)技術(shù)的立 體相機(jī)來實(shí)現(xiàn)，該晶圓級(jí)相機(jī)是以MEMS技術(shù)等來實(shí)現(xiàn)的。并且，本實(shí)施 例中對(duì)3眼進(jìn)行了說明，但是，當(dāng)然5眼、7眼、9眼等多數(shù)光學(xué)系統(tǒng)也能 夠適用。而且，與P—v-0.15相同，從圖20示出的圖表中得到的P—h=0.2 不是，只在拍攝特定的被攝體的情況下得到的值。即使變更被攝體，也能 夠得到同樣的傾向，P—h=0.2為不依賴于被攝體的值。
根據(jù)上述，本實(shí)施例涉及的測(cè)距裝置70，若構(gòu)成為滿足(式8)、(式10)， 則比以往的立體相機(jī)更能夠進(jìn)行高精度的測(cè)距(視差檢測(cè))。 (實(shí)施例4)
其次，說明本發(fā)明的實(shí)施例4涉及的測(cè)距裝置。
本實(shí)施例涉及的測(cè)距裝置80，與實(shí)施例2的測(cè)距裝置60不同，包括八個(gè)參考攝像光學(xué)系統(tǒng)，并且，相關(guān)值算出部6包括換算參考攝像光學(xué)系 統(tǒng)之間的視差的差異的視差換算部，但是，其它的構(gòu)成部以及功能等與實(shí) 施例2的測(cè)距裝置60相同。因此，以本實(shí)施例的測(cè)距裝置的特征部分為中 心進(jìn)行說明。
圖21是示出本實(shí)施例涉及的測(cè)距裝置80的結(jié)構(gòu)的圖。而且，對(duì)于與 實(shí)施例2相同的構(gòu)成部，以相同符號(hào)來示出，且省略說明。
如圖21示出，測(cè)距裝置80包括復(fù)眼照相機(jī)20。復(fù)眼照相機(jī)20由一 體成型的九個(gè)透鏡矩陣(Lens array)、和具有九個(gè)不同相同的攝像區(qū)域的單 一的CCD或CMOS等的的固體攝像元件構(gòu)成。在此，光波段分離濾波或 光圈等，由于不是本發(fā)明的主要部分，因此圖中沒有示出。復(fù)眼照相機(jī)20， 由于透鏡直徑比普通的照相機(jī)小，因此能夠設(shè)計(jì)為透鏡的焦距短，且能夠 構(gòu)成為光學(xué)系統(tǒng)整體的厚度非常薄。并且，通過由透鏡陣列一體成型，從 而也能夠高精度地制作陣列中包含的各個(gè)光學(xué)系統(tǒng)的光軸之間的相對(duì)位置 關(guān)系(例如，誤差不足5um)。
而且，在本實(shí)施例中說明各個(gè)攝像光學(xué)系統(tǒng)為透鏡陣列的情況，但是， 適用本發(fā)明的測(cè)距裝置，不僅限于這些測(cè)距裝置。例如，也可以由個(gè)別的 攝像光學(xué)系統(tǒng)構(gòu)成測(cè)距裝置。也可以利用多個(gè)攝像元件。
基準(zhǔn)攝像光學(xué)系統(tǒng)s，在結(jié)構(gòu)上包括透鏡21s以及攝像區(qū)域22s，且被 配置在固體攝像元件的中心附近。參考攝像光學(xué)系統(tǒng)a h，在結(jié)構(gòu)上分別 包括透鏡21a h以及攝像區(qū)域22a h。
在此，與實(shí)施例2的測(cè)距裝置60相同，基準(zhǔn)攝像光學(xué)系統(tǒng)s、參考攝 像光學(xué)系統(tǒng)a h具有以下示出的特征。首先，各個(gè)攝像光學(xué)系統(tǒng)的光軸為 平行。而且，各個(gè)攝像光學(xué)系統(tǒng)的光學(xué)中心被配置在同一平面上，且該平 面與光軸垂直。并且，各個(gè)攝像光學(xué)系統(tǒng)的攝像區(qū)域(二維平面)被配置為與 光軸垂直，所有的攝像光學(xué)系統(tǒng)的焦距(從攝像區(qū)域到光學(xué)中心為止的距離) 相同。
并且，基準(zhǔn)攝像光學(xué)系統(tǒng)s、參考攝像光學(xué)系統(tǒng)a和參考攝像光學(xué)系統(tǒng) b的光學(xué)中心，被配置在同一條直線上。而且，參考攝像光學(xué)系統(tǒng)a的光學(xué) 中心和參考攝像光學(xué)系統(tǒng)b的光學(xué)中心，被配置在以基準(zhǔn)攝像光學(xué)系統(tǒng)s 為基準(zhǔn)的點(diǎn)對(duì)稱的位置。并且，基準(zhǔn)攝像光學(xué)系統(tǒng)s、參考攝像光學(xué)系統(tǒng)c和參考攝像光學(xué)系統(tǒng)d的光學(xué)中心，被配置在同一條直線上。而且，參考 攝像光學(xué)系統(tǒng)c的光學(xué)中心和參考攝像光學(xué)系統(tǒng)d的光學(xué)中心，被配置在 以基準(zhǔn)攝像光學(xué)系統(tǒng)s為基準(zhǔn)的點(diǎn)對(duì)稱的位置。并且，基準(zhǔn)攝像光學(xué)系統(tǒng)s、 參考攝像光學(xué)系統(tǒng)e和參考攝像光學(xué)系統(tǒng)f的光學(xué)中心，被配置在同一條直 線上。而且，參考攝像光學(xué)系統(tǒng)e的光學(xué)中心和參考攝像光學(xué)系統(tǒng)f的光學(xué) 中心，被配置在以基準(zhǔn)攝像光學(xué)系統(tǒng)s為基準(zhǔn)的點(diǎn)對(duì)稱的位置。并且，基 準(zhǔn)攝像光學(xué)系統(tǒng)s、參考攝像光學(xué)系統(tǒng)g和參考攝像光學(xué)系統(tǒng)h的光學(xué)中心， 被配置在同一條直線上。而且，參考攝像光學(xué)系統(tǒng)g的光學(xué)中心和參考攝 像光學(xué)系統(tǒng)h的光學(xué)中心，被配置在以基準(zhǔn)攝像光學(xué)系統(tǒng)s為基準(zhǔn)的點(diǎn)對(duì) 稱的位置。
并且，為了便于說明而假定，連接基準(zhǔn)攝像光學(xué)系統(tǒng)s、參考攝像光學(xué) 系統(tǒng)a和參考攝像光學(xué)系統(tǒng)b的光學(xué)中心的所述直線，平行于攝像區(qū)域22s 的水平方向像素排列。因此，在各個(gè)攝像區(qū)域的像素排列的水平方向產(chǎn)生， 基準(zhǔn)攝像光學(xué)系統(tǒng)s與參考攝像光學(xué)系統(tǒng)a之間產(chǎn)生的視差、以及基準(zhǔn)攝 像光學(xué)系統(tǒng)s與參考攝像光學(xué)系統(tǒng)b之間產(chǎn)生的視差。
根據(jù)上述，基準(zhǔn)攝像光學(xué)系統(tǒng)s和參考攝像光學(xué)系統(tǒng)a的基線長(zhǎng)度Ba、 與基準(zhǔn)攝像光學(xué)系統(tǒng)s和參考攝像光學(xué)系統(tǒng)b的基線長(zhǎng)度Bb相同。并且， 基準(zhǔn)攝像光學(xué)系統(tǒng)s和參考攝像光學(xué)系統(tǒng)c的基線長(zhǎng)度Bc、與基準(zhǔn)攝像光 學(xué)系統(tǒng)s和參考攝像光學(xué)系統(tǒng)d的基線長(zhǎng)度Bd相同。并且，基準(zhǔn)攝像光學(xué) 系統(tǒng)s和參考攝像光學(xué)系統(tǒng)e的基線長(zhǎng)度Be、與基準(zhǔn)攝像光學(xué)系統(tǒng)s和參 考攝像光學(xué)系統(tǒng)f的基線長(zhǎng)度Bf相同。并且，基準(zhǔn)攝像光學(xué)系統(tǒng)s和參考 攝像光學(xué)系統(tǒng)g的基線長(zhǎng)度Bg、與基準(zhǔn)攝像光學(xué)系統(tǒng)s和參考攝像光學(xué)系 統(tǒng)h的基線長(zhǎng)度Bh相同。
相關(guān)值算出部6，進(jìn)行實(shí)施例1中說明的算出相關(guān)值的處理，另外具有 進(jìn)行視差的換算處理的視差換算部24。雖然在后面進(jìn)行詳細(xì)說明，不過， 視差換算部24，在算出被配置為基線長(zhǎng)度不同的、參考攝像光學(xué)系統(tǒng)的相 關(guān)值時(shí)，將塊的偏移量變換為相關(guān)值加法部7能夠進(jìn)行加法運(yùn)算的偏移量。 例如，視差換算部24，在算出被配置為基線長(zhǎng)度和參考攝像光學(xué)系統(tǒng)a不 同的參考攝像光學(xué)系統(tǒng)e的相關(guān)值時(shí)，通過在算出參考攝像光學(xué)系統(tǒng)a所 生成的參考圖像的相關(guān)值時(shí)利用了的塊的偏移量乘以Le *Me(=Ke)，從而變換為相關(guān)值加法部7能夠進(jìn)行加法運(yùn)算的偏移量，該Le .Me(二Ke)為值 Le和值Me的乘積，該值Le是基線長(zhǎng)度Be除以基線長(zhǎng)度Ba而得到的值， 該值Me是與基線長(zhǎng)度Ba平行的方向的像素間距pitch_a除以與基線長(zhǎng)度 Be平行的方向的像素間距pitch一e而得到的值。在此，與基線長(zhǎng)度平行的 方向的像素間距是指，在攝像光學(xué)系統(tǒng)所拍攝的圖像中，在與基線平行的 同一條直線上出現(xiàn)與像素的中心相對(duì)應(yīng)的點(diǎn)的最短周期。
而且，在本實(shí)施例中，偏移量的單位是表示基線方向的像素間距的"像 素"。因此，在對(duì)因基線方向而像素間距不同的攝像光學(xué)系統(tǒng)之間的相關(guān)值 進(jìn)行加法運(yùn)算時(shí)，視差換算部24需要進(jìn)行單位的變換。也就是，需要對(duì)成 為基準(zhǔn)的偏移量，除了乘以基線長(zhǎng)度的比率以外，還乘以作為像素間距的 比率的Me，從而進(jìn)行視差的換算。但是，在偏移量的單位是不依賴于基線 方向的單位的情況下，例如，在偏移量的單位是亳米等的單位的情況下， 不需進(jìn)行單位的變換。也就是，視差換算部24，不利用作為像素間距的比 率的Me,而作為基線長(zhǎng)度的比率的Le乘以成為基準(zhǔn)的偏移量，從而能夠 換算偏移量。
相關(guān)值加法部7，與實(shí)施例2相同，對(duì)于在相關(guān)值計(jì)算部6按每個(gè)光 學(xué)系統(tǒng)的組合算出的相關(guān)值，根據(jù)視差換算部24所變換的偏移量，對(duì)每個(gè) 對(duì)應(yīng)的偏移量的所有的相關(guān)值進(jìn)行加法運(yùn)算。其結(jié)果為，相關(guān)值加法部7， 算出以實(shí)際視差為基準(zhǔn)成為對(duì)稱的推移的合成相關(guān)值。
圖22是示出圖21示出的測(cè)距裝置80和對(duì)象物12的位置關(guān)系的圖。
如圖示出，與實(shí)施例2相同，將基準(zhǔn)攝像光學(xué)系統(tǒng)s的光學(xué)中心25s 作為世界坐標(biāo)的原點(diǎn)Mw(O、 0、 0)，將作為對(duì)象物12的表面上的1點(diǎn)的 點(diǎn)13的世界坐標(biāo)作為Mw(Xwl、 Ywl、 Zwl)。
而且，如上所述，對(duì)于參考攝像光學(xué)系統(tǒng)c和參考攝像光學(xué)系統(tǒng)d，與 參考攝像光學(xué)系統(tǒng)a和參考攝像光學(xué)系統(tǒng)b相同，攝像光學(xué)系統(tǒng)的光學(xué)中 心被配置為對(duì)基準(zhǔn)攝像光學(xué)系統(tǒng)s的光學(xué)中心成為點(diǎn)對(duì)稱，且各個(gè)光學(xué)中 心被配置在同一條直線上。因此，若對(duì)基準(zhǔn)攝像光學(xué)系統(tǒng)s和參考攝像光 學(xué)系統(tǒng)c、以及基準(zhǔn)攝像光學(xué)系統(tǒng)s和參考攝像光學(xué)系統(tǒng)d的通過塊匹配運(yùn) 算得到的每個(gè)偏移量的SAD進(jìn)行加法運(yùn)算，則得到以實(shí)際視差為基準(zhǔn)成為 對(duì)稱的SAD的推移。但是，在基準(zhǔn)攝像光學(xué)系統(tǒng)s和參考攝像光學(xué)系統(tǒng)a系統(tǒng)S和參考攝像 光學(xué)系統(tǒng)C以及參考攝像光學(xué)系統(tǒng)d的基線長(zhǎng)度不同的情況下，實(shí)際視差
不同。因此，相關(guān)值加法部7，即使按每個(gè)相同的偏移量將SAD的推移合 成(進(jìn)行加法運(yùn)算)，也不能得到以實(shí)際視差為基準(zhǔn)成為對(duì)稱的SAD的推移。 于是，視差換算部24需要，按照基線長(zhǎng)度的長(zhǎng)度和像素間距來變更算出 SAD時(shí)的偏移量。
其次，說明如上構(gòu)成的實(shí)施例中的測(cè)距裝置80的基本工作。
圖23是示出與測(cè)距裝置80的對(duì)象物12的三維位置或距離的算出有關(guān) 的處理的過程的流程圖。
步驟S201 S204的處理，由于與實(shí)施例1的圖3中示出的步驟S101 S104的處理相同，因此省略說明。
在步驟S204的處理結(jié)束的情況下，相關(guān)值算出部6，若能夠取得還沒 有進(jìn)行以下所述的步驟S206 S212的處理的、參考攝像光學(xué)系統(tǒng)所生成 的圖像a h中的任一個(gè)，則開始循環(huán)1(S205)。
其次，相關(guān)值算出部6包括的視差換算部24，例如，若以基準(zhǔn)攝像光 學(xué)系統(tǒng)s和參考攝像光學(xué)系統(tǒng)a以及參考攝像光學(xué)系統(tǒng)b為基準(zhǔn)，則取得 參考攝像光學(xué)系統(tǒng)a和基準(zhǔn)攝像光學(xué)系統(tǒng)s的基線長(zhǎng)度(成為基準(zhǔn)的基線長(zhǎng) 度)、和像素間距(S206)。而且，視差換算部24，取得生成了在步驟S205 所選擇的圖像的參考攝像光學(xué)系統(tǒng)和基準(zhǔn)攝像光學(xué)系統(tǒng)s的基線長(zhǎng)度、和 像素間距(S207)。接著，視差換算部24，根據(jù)在步驟S206取得的成為基 準(zhǔn)的基線長(zhǎng)度、和在步驟S207取得的基線長(zhǎng)度以及像素間距，算出新的偏 移量(S208)。
而且，相關(guān)值算出部6，若能取得如上算出的新的偏移量，則幵始循環(huán) 2(S209)。
進(jìn)而，相關(guān)值算出部6，從在步驟S205取得的圖像a h中的任一個(gè) 圖像中選擇與在步驟S209取得的偏移量相對(duì)應(yīng)的塊，以作為參考圖像 (S210)。接著，算出表示作為在步驟S204選擇的圖像s的塊的基準(zhǔn)圖像、 和作為在步驟S209選擇的圖像a h中的任一個(gè)圖像的塊的參考圖像的相 似度的相關(guān)值，例如算出SAD(S211)。
如此，相關(guān)值算出部6，算出按每個(gè)在步驟S208算出的新的偏移量的相關(guān)值(S212、 S209)。在此，在偏移量達(dá)到預(yù)先規(guī)定的最大偏移量的情況 下，相關(guān)值算出部6，結(jié)束循環(huán)2(S209、 S212)。
并且，若結(jié)束循環(huán)2(S209、 S212)，即結(jié)束算出每個(gè)偏移量的相關(guān)值， 相關(guān)值算出部6，則取得還沒有進(jìn)行關(guān)于相關(guān)值的算出的處理的、參考攝像 光學(xué)系統(tǒng)所生成的圖像，反復(fù)進(jìn)行循環(huán)2(S209、S212)的處理(S213、S205)。 在此，在沒有還沒有進(jìn)行關(guān)于相關(guān)值的算出的處理的、參考攝像光學(xué)系統(tǒng) 所生成的圖像的情況下，即在結(jié)束圖像a以及圖像b這兩者的處理的情況 下，相關(guān)值算出部6，結(jié)束循環(huán)1(S205、 S213)。
接著，相關(guān)值加法部7，按每個(gè)對(duì)應(yīng)的偏移量，對(duì)通過所述處理算出的 基準(zhǔn)圖像和各個(gè)參考圖像的相關(guān)值進(jìn)行加法運(yùn)算(S214)。在此，不僅對(duì)配 置為對(duì)稱的參考攝像光學(xué)系統(tǒng)的相關(guān)值進(jìn)行加法運(yùn)算，而對(duì)所有的參考攝 像光學(xué)系統(tǒng)的相關(guān)值進(jìn)行加法運(yùn)算。通過該處理得到的合成相關(guān)值，以實(shí) 際視差為基準(zhǔn)形成對(duì)稱的分布。在此，所謂實(shí)際視差是指，作為基準(zhǔn)的基 線長(zhǎng)度和像素間距中的視差量。
以下的步驟S215 S217的處理，由于與實(shí)施例1的圖3中示出的步 驟S112 S114的處理相同，因此省略說明。
其次，進(jìn)行圖23說明的處理的詳細(xì)說明。在圖23的步驟S208中， 視差換算部24，根據(jù)基線長(zhǎng)度以及像素間距的比率來算出新的偏移量。具 體而言，在相關(guān)值計(jì)算部6算出參考攝像光學(xué)系統(tǒng)c生成的圖像c的相關(guān) 值的情況下，若將成為基準(zhǔn)的基線長(zhǎng)度作為參考攝像光學(xué)系統(tǒng)a的基線長(zhǎng) 度、將成為基準(zhǔn)的像素間距作為與基線長(zhǎng)度Ba平行的方向的像素間距 pitch_a，視差換算部24，則通過(式ll)，根據(jù)基線長(zhǎng)度的比率，能夠算出 在算出SAD的推移時(shí)的偏移量的增加量Kc(單位像素)。而且，算出圖像 a的相關(guān)值時(shí)的偏移量的增加量為1像素。公式11
<formula>formula see original document page 41</formula>
在此，Bc為基準(zhǔn)準(zhǔn)攝像光學(xué)系統(tǒng)s和參考攝像光學(xué)系統(tǒng)c之間的基線 長(zhǎng)度，pitch—c為與基線長(zhǎng)度Bc平行的方向的像素間距。而且，如上所述， 基線長(zhǎng)度Ba和基線長(zhǎng)度Bb相同，基線長(zhǎng)度Bc和基線長(zhǎng)度Bd也相 同。因此，視差換算部24，根據(jù)所述增加量Kc能夠算出在算出基準(zhǔn)攝像光學(xué) 系統(tǒng)s和參考攝像光學(xué)系統(tǒng)c、以及基準(zhǔn)攝像光學(xué)系統(tǒng)s和參考攝像光學(xué)系 統(tǒng)d的SAD的推移時(shí)的偏移量。也就是，在最小偏移量為0像素的情況下， 新的偏移量為0像素、Kc像素、2.Kc像素、3.Kc像素、 。假如，在 最小偏移量為一2像素素的情況下，偏移量為一2'Kc像素、一Kc像素、0 像素、Kc像素、2'Kc像素、3'Kc像素、 。而且，根據(jù)所述的增加量 Kc的值，有可能成為子像素單位的偏移量。在此情況下，在相關(guān)值算出部 6選擇參考圖像時(shí)，通過雙線性插值等的處理來抽出參考圖像，從而能夠算 出相關(guān)值。
同樣，在基準(zhǔn)攝像光學(xué)系統(tǒng)s、參考攝像光學(xué)系統(tǒng)e和參考攝像光學(xué)系 統(tǒng)f的組合的情況下，視差換算部24，也算出在算出SAD時(shí)的新的偏移量。 通過(式12)，能夠求出在視差換算部24算出新的偏移量時(shí)利用的增加量。公式12
Ke = g^ pitch —a (式12) Ba pitch — e
在此，Be為基準(zhǔn)準(zhǔn)攝像光學(xué)系統(tǒng)s和參考攝像光學(xué)系統(tǒng)e之間的基線 長(zhǎng)度，pitch—e為與基線長(zhǎng)度Be平行的方向的像素間距。而且，如上所述， 基線長(zhǎng)度Be和基線長(zhǎng)度Bf相同。因此，視差換算部24，根據(jù)所述增加量 Kc能夠算出在算出基準(zhǔn)攝像光學(xué)系統(tǒng)s和參考攝像光學(xué)系統(tǒng)e、以及基準(zhǔn) 攝像光學(xué)系統(tǒng)s和參考攝像光學(xué)系統(tǒng)f的SAD的推移時(shí)的偏移量。也就是， 在最小偏移量為0像素的情況下，新的偏移量為0像素、Ke像素、2 Ke 像素、3'Ke像素、 。
同樣，在基準(zhǔn)攝像光學(xué)系統(tǒng)s、參考攝像光學(xué)系統(tǒng)g和參考攝像光學(xué)系 統(tǒng)h的組合的情況下，視差換算部24，也算出在算出SAD時(shí)的新的偏移 量。通過(式13)，能夠求出在視差換算部24算出新的偏移量時(shí)利用的增加
公式13
(式13)
Ba pitch —g長(zhǎng)度，pitch—g為與基線長(zhǎng)度Bg平行的方向的像素間距。而且，如上所述， 基線長(zhǎng)度Bg和基線長(zhǎng)度Bh相同。因此，視差換算部24，根據(jù)所述增加 量Kc能夠算出在算出基準(zhǔn)攝像光學(xué)系統(tǒng)s和參考攝像光學(xué)系統(tǒng)g、以及基 準(zhǔn)攝像光學(xué)系統(tǒng)s和參考攝像光學(xué)系統(tǒng)h的SAD的推移時(shí)的偏移量。也就 是，成為O像素、Kg像素、2'Kg像素、3'Kg像素、""的偏移方法。
在此，存儲(chǔ)基準(zhǔn)攝像光學(xué)系統(tǒng)s和參考攝像光學(xué)系統(tǒng)a h的SAD的 推移的變量分別作為Sa(i)、 Sb(i)、 Sc(i)、 Sd(i)、 Se(i)、 Sf(i)、 Sg(i)、 Sh(i)。 在此情況下，如圖23的步驟S214示出，相關(guān)值加法部7，通過(式14)將 SAD的推移合成(進(jìn)行加法運(yùn)算)。用于該SAD的推移的合成的偏移量是， 視差換算部24算出的新的偏移量。公式14
S一麵(/) = + ,) + &(,) + ,) + Se(/) +柳+ Sg(O +幼(,).. (式14) (i =最小偏移量,最小偏移量+1 ，最小偏移量+ 2,…最大偏移量)
如此，與實(shí)施例l相同，相關(guān)值加法部7合成的SAD的推移也，以實(shí) 際視差為基準(zhǔn)成為對(duì)稱。并且，與實(shí)施例1相比，由于對(duì)基準(zhǔn)攝像光學(xué)系 統(tǒng)s成為對(duì)稱的兩個(gè)參考攝像光學(xué)系統(tǒng)的組合的數(shù)量增加，因此，因平滑 效果而SAD的推移的變動(dòng)變小，且SAD的推移的直線性更提高。
與實(shí)施例2相同，根據(jù)相關(guān)值加法部7合成的相關(guān)值8_811111，視差算 出部8，如圖23的步驟S215以及S216示出，算出子像素級(jí)的視差。此 時(shí)，由于SAD的推移的直線性提高了，因此，在使用低次的插值式的情況 下，與對(duì)象物的亮度分布無關(guān)而能夠高精度地測(cè)定子像素視差。
并且，根據(jù)視差算出部8算出的子像素級(jí)的視差，如圖23的步驟S217 示出，將視差變換為對(duì)應(yīng)于后處理部9的輸出的形態(tài)，從而輸出數(shù)據(jù)。例 如，在輸出對(duì)象物的三維位置的情況下，將m(usl、 vsl)轉(zhuǎn)換為ms(xsl、 ysl)，與背景技術(shù)的說明相同，利用(式l)、(式2)、(式3)能夠求出對(duì)應(yīng)于 圖像s的各個(gè)塊的三維位置，所述m(usl、 vsl)是圖像s的二維圖像坐標(biāo) 系，所述ms(xsl、 ysl)是將圖22的攝像光學(xué)系統(tǒng)s的光軸和攝像區(qū)域22s 的交點(diǎn)作為原點(diǎn)的二維圖像坐標(biāo)系。使用基線長(zhǎng)度Ba(基準(zhǔn)攝像光學(xué)系統(tǒng)s 和參考攝像光學(xué)系統(tǒng)a之間的基線長(zhǎng)度)，以作為此時(shí)使用的基線長(zhǎng)度的參數(shù)。而且，通過由所述處理算出的子像素視差乘以像素間距，從而能夠求 出(式l)的視差P。
如上所述，根據(jù)本實(shí)施例，由于與對(duì)象物的亮度分布無關(guān)而相關(guān)值的 推移以實(shí)際視差為基準(zhǔn)成為對(duì)稱，因此，能夠提供與對(duì)象物無關(guān)而能夠高 精度地測(cè)定子像素視差的測(cè)距裝置。而且，通過使對(duì)基準(zhǔn)攝像光學(xué)系統(tǒng)S 成為對(duì)稱的兩個(gè)參考攝像光學(xué)系統(tǒng)的組合的數(shù)量增加，從而因平滑效果而
SAD的推移的變動(dòng)變小，并且，使用低次的插值式來能夠提供可以更高精 度地測(cè)定子像素視差的測(cè)距裝置。 (實(shí)施方式)
本實(shí)施方式中示出，以往的立體相機(jī)和本發(fā)明涉及的測(cè)距裝置的測(cè)距 精度(視差檢測(cè)精度)的比較模擬結(jié)果的例子。圖24A 圖24C示出以往的 立體相機(jī)的結(jié)構(gòu)。圖24D 圖24F示出本發(fā)明涉及的測(cè)距裝置的結(jié)構(gòu)，即， 將兩個(gè)參考光學(xué)系統(tǒng)的光學(xué)中心配置為對(duì)基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心成 為點(diǎn)對(duì)稱，并構(gòu)成一個(gè)以上的該兩個(gè)參考光學(xué)系統(tǒng)的對(duì)，從而與對(duì)象物的 亮度分布無關(guān)而合成相關(guān)值以實(shí)際視差為基準(zhǔn)成為左右對(duì)稱。在圖24A 圖24F中，對(duì)于所有的光學(xué)系統(tǒng)，焦距、水平以及垂直方向像素間距、被 攝體距離都相同。假設(shè)，對(duì)于與各個(gè)參考圖像的基準(zhǔn)攝像光學(xué)系統(tǒng)相對(duì)應(yīng) 的基線長(zhǎng)度，在水平以及垂直方向產(chǎn)生基線的情況下均為相同，在斜方向 產(chǎn)生基線的情況下為水平方向的基線長(zhǎng)度的sqrt(2)倍。在此，不包含實(shí)施 例3中說明的基線垂直方向誤差或基線方向誤差。圖25A 圖25D是示出 用于測(cè)距精度的比較的被攝體的圖。對(duì)于圖25A 圖25D的各個(gè)被攝體， 按照各個(gè)光學(xué)系統(tǒng)，適當(dāng)且理想地、且按每個(gè)0.1像素來制作10.0 11.0 像素的偏移圖像(視差圖像)，從而用于比較模擬。對(duì)圖像施加實(shí)際上像素元 件中觀測(cè)到的程度的白噪聲。圖26A 圖26D是示出與圖25A 圖25D 的各個(gè)被攝體相對(duì)應(yīng)的比較模擬結(jié)果的圖表。圖26A 圖26D的各個(gè)圖的 橫軸示出進(jìn)行視差運(yùn)算時(shí)的運(yùn)算塊尺寸(正方形運(yùn)算塊的一邊的像素)，縱軸 示出與各自相對(duì)應(yīng)的視差檢測(cè)誤差。各個(gè)運(yùn)算塊的視差檢測(cè)誤差的算出方
法示出以下的值，即，以該運(yùn)算塊尺寸來對(duì)圖25A 圖25D的各個(gè)被攝體 進(jìn)行區(qū)域分割，并以被攝體區(qū)域整體來將各個(gè)運(yùn)算塊的視差檢測(cè)誤差平均 化的值。并且，對(duì)于各個(gè)運(yùn)算塊的視差檢測(cè)誤差，對(duì)按每個(gè)O.l像素制作的10.0 11.0像素的偏移圖像(視差圖像)的所有的偏移量(視差圖像)，算出視 差檢測(cè)誤差的平均值(g卩，驗(yàn)證了小數(shù)點(diǎn)以下為按每個(gè)0.1像素0.0 0.9的 所有的視差量)。
根據(jù)圖26A 圖26D的比較模擬結(jié)果可知，對(duì)于任何被攝體，本發(fā)明 涉及的測(cè)距裝置與以往的立體相機(jī)相比，視差檢測(cè)誤差大幅度地降低了(視 差檢測(cè)精度提高了)。 (變形例1)
所述各個(gè)實(shí)施例中的測(cè)距裝置是用于說明本發(fā)明的一個(gè)例子，例如， 也可以構(gòu)成為如圖27A示出的測(cè)距裝置。
圖27A是示出本變形例涉及的測(cè)距裝置的攝像光學(xué)系統(tǒng)的結(jié)構(gòu)的圖。 如圖示出，本變形例涉及的測(cè)距裝置包括兩個(gè)紋理攝像光學(xué)系統(tǒng)，該紋理 攝像光學(xué)系統(tǒng)用于將高分辨率的彩色的紋理映射到基準(zhǔn)攝像光學(xué)系統(tǒng)s以 及參考攝像光學(xué)系統(tǒng)a f、和由基準(zhǔn)攝像光學(xué)系統(tǒng)s以及參考攝像光學(xué)系 統(tǒng)a f所算出的對(duì)象物的三維位置(形狀)。也可以在任意的位置配置紋理 用攝像光學(xué)系統(tǒng)，以及，也可以配置任意的數(shù)量的紋理用攝像光學(xué)系統(tǒng)。 另外，為了追加附加性功能，而可以向變形例涉及的測(cè)距裝置追加新的攝 像光學(xué)系統(tǒng)。
(變形例2)
所述各個(gè)實(shí)施例中的測(cè)距裝置包括了四個(gè)或八個(gè)參考攝像光學(xué)系統(tǒng)， 但是，當(dāng)然可以包括六個(gè)參考攝像光學(xué)系統(tǒng)。
圖27B是示出本變形例涉及的測(cè)距裝置的攝像光學(xué)系統(tǒng)的結(jié)構(gòu)的圖。 如圖示出，本變形例涉及的測(cè)距裝置包括七個(gè)攝像光學(xué)系統(tǒng)。并且，在本 變形例涉及的測(cè)距裝置中參考攝像光學(xué)系統(tǒng)a的光學(xué)中心和參考攝像光 學(xué)系統(tǒng)b的光學(xué)中心，大致被配置在一條直線上，且以基準(zhǔn)攝像光學(xué)系統(tǒng)s 的光學(xué)中心為基準(zhǔn)成為點(diǎn)對(duì)稱；參考攝像光學(xué)系統(tǒng)c的光學(xué)中心和參考攝 像光學(xué)系統(tǒng)d的光學(xué)中心，大致被配置在一條直線上，且以基準(zhǔn)攝像光學(xué) 系統(tǒng)s的光學(xué)中心為基準(zhǔn)成為點(diǎn)對(duì)稱；參考攝像光學(xué)系統(tǒng)e的光學(xué)中心和 參考攝像光學(xué)系統(tǒng)f的光學(xué)中心，大致被配置在一條直線上，且以基準(zhǔn)攝像 光學(xué)系統(tǒng)s的光學(xué)中心為基準(zhǔn)成為點(diǎn)對(duì)稱。
如本變形例涉及的測(cè)距裝置，本發(fā)明涉及的測(cè)距裝置的結(jié)構(gòu)為，具有大致被配置在一條直線上的、以基準(zhǔn)攝像光學(xué)系統(tǒng)為基準(zhǔn)大致成為對(duì)稱的
參考攝像光學(xué)系統(tǒng)的多個(gè)對(duì)即可。進(jìn)而，包括多個(gè)(例如，10個(gè)、12個(gè)等) 參考攝像光學(xué)系統(tǒng)的測(cè)距裝置，也可以得到本發(fā)明的效果。
而且，像所述的實(shí)施例4、變形例1以及變形例2涉及的測(cè)距裝置那 樣，在包括四個(gè)以上的參考攝像光學(xué)系統(tǒng)的情況下，根據(jù)參考攝像光學(xué)系 統(tǒng)的配置，有可能塊匹配運(yùn)算時(shí)的偏移量成為子像素單位，從而塊匹配運(yùn) 算的時(shí)間增大。于是，對(duì)于塊匹配運(yùn)算時(shí)的偏移量不成為子像素單位的攝 像光學(xué)系統(tǒng)的配置，即對(duì)于塊匹配運(yùn)算的運(yùn)算時(shí)間變短的攝像光學(xué)系統(tǒng)的 配置，利用圖28A 圖28C進(jìn)行說明。
圖28A 圖28C是表示攝像光學(xué)系統(tǒng)的配置的圖。在圖28A 圖28C 示出的各個(gè)攝像光學(xué)系統(tǒng)中，構(gòu)成所有的攝像光學(xué)系統(tǒng)的攝像區(qū)域的像素 的水平方向的排列為平行，并且，構(gòu)成所有的攝像光學(xué)系統(tǒng)的攝像區(qū)域的 像素的垂直方向的排列為平行。在此，將兩個(gè)參考攝像光學(xué)系統(tǒng)作為攝像 光學(xué)系統(tǒng)群1,該兩個(gè)參考攝像光學(xué)系大致被配置在與像素的排列方向(水 平或垂直)平行的一條直線上，且光學(xué)中心以基準(zhǔn)攝像光學(xué)系統(tǒng)為基準(zhǔn)大致 成為點(diǎn)對(duì)稱。并且，將其它的兩個(gè)參考攝像光學(xué)系統(tǒng)作為攝像光學(xué)系統(tǒng)群2， 該其它的兩個(gè)參考攝像光學(xué)系大致被配置在與像素的排列方向(水平或垂直) 平行的一條直線上，且光學(xué)中心以基準(zhǔn)攝像光學(xué)系統(tǒng)為基準(zhǔn)大致成為點(diǎn)對(duì) 稱。此時(shí)，在攝像光學(xué)系統(tǒng)群1以及2中，基準(zhǔn)攝像光學(xué)系統(tǒng)s和兩個(gè)各 參考攝像光學(xué)系統(tǒng)的基線長(zhǎng)度，分別為B1以及B2。并且，攝像光學(xué)系統(tǒng) 群1以及2的塊匹配運(yùn)算時(shí)的塊的偏移方向、即與各個(gè)基線長(zhǎng)度平行的方 向的像素間距，分別為pl以及p2。
在此，在Bl / pl和B2 / p2處于整數(shù)倍的關(guān)系的情況下，在選擇與塊 匹配運(yùn)算時(shí)的偏移量相對(duì)應(yīng)的塊以作為參考圖像時(shí)，塊的邊界和像素的邊 界一致(總是參考圖像的剪取坐標(biāo)成為整數(shù))。其結(jié)果為，在相關(guān)值算出部6 選擇參考圖像時(shí)，不需要進(jìn)行雙線性插值等的插值運(yùn)算，因此，能夠大幅 度地減少運(yùn)算時(shí)間。
在圖28A示出的攝像光學(xué)系統(tǒng)中，攝像光學(xué)系統(tǒng)群1為參考攝像光學(xué) 系統(tǒng)a以及參考攝像光學(xué)系統(tǒng)b，攝像光學(xué)系統(tǒng)群2為參考攝像光學(xué)系統(tǒng)c 以及參考攝像光學(xué)系統(tǒng)d。在此，垂直方向的像素間距和水平方向的像素間距為相同的pl(pl=p2)?；鶞?zhǔn)攝像光學(xué)系統(tǒng)s和參考攝像光學(xué)系統(tǒng)a的基 線長(zhǎng)度Ba、基準(zhǔn)攝像光學(xué)系統(tǒng)s和參考攝像光學(xué)系統(tǒng)c的基線長(zhǎng)度Be的 基線長(zhǎng)度B為相同。據(jù)此，由于成立Ba/pl二Bc/p2，因此，塊匹配運(yùn) 算時(shí)的每個(gè)偏移量的塊的邊界和像素的邊界一致。其結(jié)果為，能夠大幅度 地減少塊匹配運(yùn)算的運(yùn)算時(shí)間。
在圖28B示出的攝像光學(xué)系統(tǒng)中，除了圖28A的攝像光學(xué)系統(tǒng)的配置 以外，還參考攝像光學(xué)系統(tǒng)e、 f、 g、 h分別被配置在對(duì)象素排列斜45度 方向的、sqrt(2)倍的基線長(zhǎng)度的長(zhǎng)度的位置。此時(shí)，與基準(zhǔn)攝像光學(xué)系統(tǒng)s 和參考攝像光學(xué)系統(tǒng)e、 f、 g、 h的基線長(zhǎng)度平行的方向的像素間距p2，都 成為水平(垂直)方向的像素間距的sqrt(2)倍(p2二sqrt(2) pl)。因此，若 假定參考攝像光學(xué)系統(tǒng)e為攝像光學(xué)系統(tǒng)群2來說明以代表，還考慮Be = sqrt(2) Ba，則成立Ba / pl = Be / p2。 Be為基準(zhǔn)攝像光學(xué)系統(tǒng)s和參考 攝像光學(xué)系統(tǒng)e的基線長(zhǎng)度。在此情況下，在選擇與塊匹配運(yùn)算時(shí)的偏移 量相對(duì)應(yīng)的塊以作為參考圖像時(shí)，塊的邊界和像素的邊界一致(總是參考圖 像的剪取坐標(biāo)成為整數(shù))。其結(jié)果為，能夠大幅度地減少塊匹配運(yùn)算的運(yùn)算 時(shí)間。
在圖28C示出的攝像光學(xué)系統(tǒng)中，與圖28A以及圖28B不同，作為 水平方向的像素間距的pl比作為垂直方向的像素間距的p2長(zhǎng)。于是，為 了對(duì)應(yīng)于水平方向以及垂直方向的像素間距的比率，而基準(zhǔn)攝像光學(xué)系統(tǒng)s 和參考攝像光學(xué)系統(tǒng)a以及b的基線長(zhǎng)度Ba、比基準(zhǔn)攝像光學(xué)系統(tǒng)s和參 考攝像光學(xué)系統(tǒng)c以及d的基線長(zhǎng)度Bc長(zhǎng)。也就是，為了成立Ba/pl二 Bc/p2,而配置各個(gè)攝像光學(xué)系統(tǒng)。其結(jié)果為，與圖28A以及圖28B相 同，能夠大幅度地減少塊匹配運(yùn)算的運(yùn)算時(shí)間。
如上所述，按照構(gòu)成作為各個(gè)攝像光學(xué)系統(tǒng)的攝像裝置的攝像區(qū)域的 像素的位置關(guān)系配置各個(gè)攝像光學(xué)系統(tǒng)，從而能夠大幅度地減少塊匹配運(yùn) 算的運(yùn)算時(shí)間。也就是，各個(gè)攝像光學(xué)系統(tǒng)被配置為，構(gòu)成各個(gè)攝像光學(xué) 系統(tǒng)的攝像區(qū)域的像素的排列方向以及距離、和各個(gè)攝像光學(xué)系統(tǒng)的基線 的方向以及長(zhǎng)度相似，從而能夠大幅度地減少運(yùn)算時(shí)間。 (變形例3)
所述的各個(gè)實(shí)施例涉及的測(cè)距裝置，如圖29A以及圖29B示出，各個(gè)參考圖像的光學(xué)中心對(duì)基準(zhǔn)攝像光學(xué)系統(tǒng)S的光學(xué)中心大致成為點(diǎn)對(duì)稱即
可。圖29A以及圖29B是本發(fā)明涉及的從測(cè)距裝置的上面看測(cè)距裝置的、 裝置的其它的例子的圖。省略了透鏡以及攝像元件以外的結(jié)構(gòu)。如圖29A 示出，也可以連接各個(gè)光學(xué)系統(tǒng)的光學(xué)中心的基線與各個(gè)光學(xué)系統(tǒng)的光軸 不垂直。在此情況下，利用視差搜索時(shí)按每個(gè)偏移量使塊尺寸可變的、以 往的視差搜索方法，導(dǎo)出對(duì)各個(gè)參考攝像光學(xué)系統(tǒng)的相關(guān)值即可，由于合 成的相關(guān)值的推移的、對(duì)實(shí)際視差的對(duì)稱特性不被損壞，因此能夠得到本 發(fā)明的效果?；蛘?，也可以通過利用仿射變換的校準(zhǔn)(視點(diǎn)變換)使光軸與基 線方向垂直，從而進(jìn)行演算。并且，如圖29B示出，不一定需要各個(gè)光學(xué) 系統(tǒng)的光軸為平行。這是因?yàn)?，通過利用仿射變換的校準(zhǔn)(視點(diǎn)變換)能夠校 正光軸的方向的緣故。
以上，說明了本發(fā)明的實(shí)施例以及變形例涉及的測(cè)距裝置，但是，本 發(fā)明的具體結(jié)構(gòu)不僅限于所述的各個(gè)實(shí)施例以及各個(gè)變形例。并且，也可 以組合相互不同的實(shí)施例以及變形例中的構(gòu)成部。若不脫離發(fā)明目的的范 圍，則能夠進(jìn)行各種變更以及修正。
例如，也可以是所述的各個(gè)實(shí)施例以及各個(gè)變形例涉及的攝像光學(xué)系
統(tǒng)，包括拜爾(Bayer)排列等的彩色攝像元件的情況。在此情況下，禾擁通
過一般周知的去馬賽克(demosaic)處理等而高分辨率化后的彩色圖像，與
所述的各個(gè)實(shí)施例以及各個(gè)變形例相同，能夠高精度地算出視差。
并且，在所述的各個(gè)實(shí)施例以及各個(gè)變形例中，基準(zhǔn)攝像光學(xué)系統(tǒng)的 光學(xué)中心和其它的兩個(gè)參考攝像光學(xué)系統(tǒng)的光學(xué)中心被配置在一條直線
上，且以基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心為基準(zhǔn)成為點(diǎn)對(duì)稱，但也可以，基 準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心和其它的兩個(gè)參考攝像光學(xué)系統(tǒng)的光學(xué)中心大 致被配置在一條直線上，且以基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心為基準(zhǔn)大致成 為點(diǎn)對(duì)稱。
在此所述的大致被配置在一條直線上、以及大致成為點(diǎn)對(duì)稱是指，滿 足在實(shí)施例3說明的(式8)、(式10)的條件的范圍。
并且，在所述的各個(gè)實(shí)施例中利用了 SAD以作為算出相關(guān)值的函數(shù)， 但也可以利用例如ZNCC(互相關(guān)系數(shù))。在利用ZNCC的情況下，相關(guān)最 高時(shí)相關(guān)值為l，相關(guān)低時(shí)相關(guān)值不足l。如此，在相關(guān)值的推移成為最大的偏移量作為視差、且以子像素級(jí)來求出的情況下，也可以適用本發(fā)明。 也就是，根據(jù)本發(fā)明，由于相關(guān)值的推移以實(shí)際視差為基準(zhǔn)成為對(duì)稱，因 此，與相關(guān)值的推移的極值的最大、最小無關(guān)，而能夠高精度地求出子像 素視差。
并且，所述的各個(gè)實(shí)施例以及變形例涉及的測(cè)距裝置中，可以不算出 對(duì)象物的三維位置或距離。在此情況下，測(cè)距裝置被稱為復(fù)眼攝像裝置。 復(fù)眼攝像裝置與測(cè)距裝置相同，成為例如圖1示出的結(jié)構(gòu)。但是，與測(cè)距 裝置不同，復(fù)眼攝像裝置不包括算出對(duì)象物的三維位置或距離的后處理部9。
并且，本發(fā)明，除了可以作為如上所述的測(cè)距裝置來實(shí)現(xiàn)以外，也可 以作為將這些測(cè)距裝置具有的特征構(gòu)成部作為步驟的測(cè)距方法或視差算出 方法來實(shí)現(xiàn)，還可以作為使計(jì)算機(jī)執(zhí)行這些步驟的程序來實(shí)現(xiàn)。并且，當(dāng) 然也可以通過CD—ROM等存儲(chǔ)介質(zhì)或互聯(lián)網(wǎng)等傳輸介質(zhì)分發(fā)這些程序。
并且，本發(fā)明，也可以作為實(shí)現(xiàn)所述的測(cè)距裝置的構(gòu)成部具有的功能 的一部分的、半導(dǎo)體集成電路(LSI)來實(shí)現(xiàn)。
本發(fā)明涉及能夠算出在拍攝同一對(duì)象物的多個(gè)攝像光學(xué)系統(tǒng)產(chǎn)生的視 差的復(fù)眼攝像裝置，以及涉及能夠求出從裝置到對(duì)象物為止的距離、或?qū)?象物的三維位置或形狀的測(cè)距裝置，并且有用于車載、監(jiān)視、醫(yī)療、機(jī)器 人、電子游戲、CG(計(jì)算機(jī)圖形)圖像制作、立體圖像輸入、數(shù)字照相機(jī)或 數(shù)字?jǐn)z像機(jī)的自動(dòng)變焦等的用途。
權(quán)利要求
1、一種復(fù)眼攝像裝置，算出拍攝同一對(duì)象物的多個(gè)攝像光學(xué)系統(tǒng)中產(chǎn)生的視差，其特征在于，至少包括基準(zhǔn)攝像光學(xué)系統(tǒng)，通過拍攝所述對(duì)象物，從而生成包含基準(zhǔn)圖像的圖像；兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)，通過拍攝所述對(duì)象物，從而生成包含參考圖像的圖像，所述兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)的各個(gè)光學(xué)中心被配置為，對(duì)所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心大致成為點(diǎn)對(duì)稱；相關(guān)值算出單元，針對(duì)所述兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)的每一個(gè)，按每個(gè)偏移量算出表示所述基準(zhǔn)圖像和所述參考圖像的相似度的相關(guān)值，所述偏移量是在將搜索位置沿著與基線平行的方向逐漸偏移的情況下的偏移量，所述搜索位置是為了搜索與所述基準(zhǔn)圖像相似的所述參考圖像的圖像位置而由所述參考攝像光學(xué)系統(tǒng)生成的圖像中的所述參考圖像的位置，所述基線是連接所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心和所述參考攝像光學(xué)系統(tǒng)的光學(xué)中心的直線；相關(guān)值加法單元，通過按每個(gè)對(duì)應(yīng)的偏移量，對(duì)針對(duì)所述兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)的每一個(gè)算出的相關(guān)值進(jìn)行加法運(yùn)算，從而算出合成相關(guān)值；以及視差算出單元，根據(jù)所述合成相關(guān)值，以子像素級(jí)來算出作為所述基準(zhǔn)圖像和所述參考圖像的相似度成為最大的偏移量的視差。
2、 如權(quán)利要求1所述的復(fù)眼攝像裝置，其特征在于， 所述視差算出單元，通過使用利用了對(duì)稱性的插值式，對(duì)由所述相關(guān)值加法單元進(jìn)行加法運(yùn)算后的每個(gè)偏移量的相關(guān)值進(jìn)行插值，從而算出子 像素級(jí)的視差。
3、 如權(quán)利要求l所述的復(fù)眼攝像裝置，其特征在于， 所述復(fù)眼攝像裝置包括四個(gè)以上的參考攝像光學(xué)系統(tǒng)， 所述四個(gè)以上的參考攝像光學(xué)系統(tǒng)的光學(xué)中心被配置為， 一對(duì)第一參考攝像光學(xué)系統(tǒng)涉及的基線的方向、和一對(duì)第二參考攝像光學(xué)系統(tǒng)涉及的 基線的方向以規(guī)定的角度傾斜，所述一對(duì)第一參考攝像光學(xué)系統(tǒng)的光學(xué)中心被配置為對(duì)所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心大致成為點(diǎn)對(duì)稱，所述一 對(duì)第二參考攝像光學(xué)系統(tǒng)的光學(xué)中心也被配置為對(duì)所述基準(zhǔn)攝像光學(xué)系統(tǒng) 的光學(xué)中心大致成為點(diǎn)對(duì)稱，且所述一對(duì)第二參考攝像光學(xué)系統(tǒng)的光學(xué)中 心與第一參考攝像光學(xué)系統(tǒng)的光學(xué)中心不同。
4、 如權(quán)利要求3所述的復(fù)眼攝像裝置，其特征在于， 所述四個(gè)以上的參考攝像光學(xué)系統(tǒng)被配置為，第一基線長(zhǎng)度和第二基線長(zhǎng)度不同，所述第一基線長(zhǎng)度是所述第一參考攝像光學(xué)系統(tǒng)和所述基準(zhǔn) 攝像光學(xué)系統(tǒng)的基線的長(zhǎng)度，所述第二基線長(zhǎng)度是所述第二參考攝像光學(xué) 系統(tǒng)和所述基準(zhǔn)攝像光學(xué)系統(tǒng)的基線的長(zhǎng)度，所述相關(guān)值算出單元，在算出所述第二參考攝像光學(xué)系統(tǒng)所生成的參 考圖像的相關(guān)值時(shí)，按每個(gè)第二偏移量算出所述相關(guān)值，所述第二偏移量 是所述第二基線長(zhǎng)度除以所述第一基線長(zhǎng)度而得到的值再乘以第一偏移量 而得到的值，所述第一偏移量是在算出由所述第一參考攝像光學(xué)系統(tǒng)生成 的參考圖像的相關(guān)值時(shí)利用了的偏移量。
5、 如權(quán)利要求3所述的復(fù)眼攝像裝置，其特征在于， 基準(zhǔn)攝像光學(xué)系統(tǒng)以及所述四個(gè)以上的參考攝像光學(xué)系統(tǒng)被配置為，與所述基準(zhǔn)攝像光學(xué)系統(tǒng)具有的構(gòu)成攝像裝置的像素的位置關(guān)系相同。
6、 如權(quán)利要求l所述的復(fù)眼攝像裝置，其特征在于， 對(duì)于被配置為對(duì)所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心大致成為點(diǎn)對(duì)稱的成對(duì)的每一對(duì)參考攝像光學(xué)系統(tǒng)，在D為到對(duì)象物為止的距離、pitch為像 素間距、f為焦距的情況下，滿足光學(xué)中心位置誤差《D'pitch'0.15/f, 所述光學(xué)中心位置誤差是連接一對(duì)參考攝像光學(xué)系統(tǒng)中的一方的參考攝像 光學(xué)系統(tǒng)的光學(xué)中心和所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心的直線、和一對(duì) 參考攝像光學(xué)系統(tǒng)中的另一方的參考攝像光學(xué)系統(tǒng)的光學(xué)中心之間的距 離。
7、 如權(quán)利要求1所述的復(fù)眼攝像裝置，其特征在于， 對(duì)于被配置為對(duì)所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心大致成為點(diǎn)對(duì)稱的成對(duì)的每一對(duì)參考攝像光學(xué)系統(tǒng)，在D為到對(duì)象物為止的距離、pitch為像 素間距、f為焦距的情況下，滿足基線長(zhǎng)度誤差《D pitch 0.2 / f，所述基線長(zhǎng)度誤差是第一基線長(zhǎng)度和第二基線長(zhǎng)度的長(zhǎng)度的差，所述第一基線長(zhǎng)度是一對(duì)參考攝像光學(xué)系統(tǒng)中的一方的參考攝像光學(xué)系統(tǒng)的光學(xué)中心 和所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心之間的間隔，所述第二基線長(zhǎng)度是一 對(duì)參考攝像光學(xué)系統(tǒng)中的另一方的參考攝像光學(xué)系統(tǒng)的光學(xué)中心和所述基 準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心之間的間隔。
8、 如權(quán)利要求l所述的復(fù)眼攝像裝置，其特征在于， 所述復(fù)眼攝像裝置還包括預(yù)處理單元，對(duì)所述基準(zhǔn)圖像以及所述參考圖像執(zhí)行平滑濾波處理，所述相關(guān)值算出單元，根據(jù)執(zhí)行所述平滑濾波處理后的基準(zhǔn)圖像以及 參考圖像算出所述相關(guān)值。
9、 一種測(cè)距裝置，通過算出拍攝同一對(duì)象物的多個(gè)攝像光學(xué)系統(tǒng)中產(chǎn) 生的視差，從而算出到所述對(duì)象物為止的距離或所述對(duì)象物的三維位置，其特征在于，包括基準(zhǔn)攝像光學(xué)系統(tǒng)，通過拍攝所述對(duì)象物，從而生成包含基準(zhǔn)圖像的圖像；兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)，通過拍攝所述對(duì)象物，從而生 成包含參考圖像的圖像，所述兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)的各個(gè) 光學(xué)中心被配置為，對(duì)所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心大致成為點(diǎn)對(duì)稱；相關(guān)值算出單元，針對(duì)所述兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)的每 一個(gè)，按每個(gè)偏移量算出表示所述基準(zhǔn)圖像和所述參考圖像的相似度的相 關(guān)值，所述偏移量是在將搜索位置沿著與基線平行的方向逐漸偏移的情況 下的偏移量，所述搜索位置是為了搜索與所述基準(zhǔn)圖像相似的所述參考圖 像的圖像位置而由所述參考攝像光學(xué)系統(tǒng)生成的圖像中的所述參考圖像的 位置，所述基線是連接所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心和所述參考攝像 光學(xué)系統(tǒng)的光學(xué)中心的直線；相關(guān)值加法單元，通過按每個(gè)對(duì)應(yīng)的偏移量，對(duì)針對(duì)所述兩個(gè)以上的 偶數(shù)的參考攝像光學(xué)系統(tǒng)的每一個(gè)算出的相關(guān)值進(jìn)行加法運(yùn)算，從而算出 合成相關(guān)值；視差算出單元，根據(jù)所述合成相關(guān)值，以子像素級(jí)來算出作為所述基 準(zhǔn)圖像和所述參考圖像的相似度成為最大的偏移量的視差；以及距離算出單元，根據(jù)被算出的視差、所述基準(zhǔn)攝像光學(xué)系統(tǒng)的焦距和所述基線的長(zhǎng)度，算出從所述測(cè)距裝置到所述對(duì)象物為止的距離或所述對(duì) 象物的三維位置。
10、 一種視差算出方法，算出拍攝同一對(duì)象物的多個(gè)攝像光學(xué)系統(tǒng)中產(chǎn)生的視差，其特征在于，所述多個(gè)攝像光學(xué)系統(tǒng)包括基準(zhǔn)攝像光學(xué)系統(tǒng)，通過拍攝所述對(duì)象物，從而生成包含基準(zhǔn)圖像的圖像；以及兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)，通過拍攝所述對(duì)象物，從而生 成包含參考圖像的圖像，所述兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)的各個(gè) 光學(xué)中心被配置為，對(duì)所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心大致成為點(diǎn)對(duì)稱，所述視差算出方法包括相關(guān)值算出步驟，針對(duì)所述兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)的每 一個(gè)，按每個(gè)偏移量算出表示所述基準(zhǔn)圖像和所述參考圖像的相似度的相 關(guān)值，所述偏移量是在將搜索位置沿著與基線平行的方向逐漸偏移的情況 下的偏移量，所述搜索位置是為了搜索與所述基準(zhǔn)圖像相似的所述參考圖 像的圖像位置而由所述參考攝像光學(xué)系統(tǒng)生成的圖像中的所述參考圖像的 位置，所述基線是連接所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心和所述參考攝像光學(xué)系統(tǒng)的光學(xué)中心的直線；相關(guān)值加法步驟，通過按每個(gè)對(duì)應(yīng)的偏移量，對(duì)針對(duì)所述兩個(gè)以上的 偶數(shù)的參考攝像光學(xué)系統(tǒng)的每一個(gè)算出的相關(guān)值進(jìn)行加法運(yùn)算，從而算出合成相關(guān)值；以及視差算出步驟，根據(jù)所述合成相關(guān)值，以子像素級(jí)來算出作為所述基 準(zhǔn)圖像和所述參考圖像的相似度成為最大的偏移量的視差。
11、 一種測(cè)距方法，通過算出拍攝同一對(duì)象物的多個(gè)攝像光學(xué)系統(tǒng)中 產(chǎn)生的視差，從而算出到所述對(duì)象物為止的距離或所述對(duì)象物的三維位置， 其特征在于，所述多個(gè)攝像光學(xué)系統(tǒng)包括基準(zhǔn)攝像光學(xué)系統(tǒng)，通過拍攝所述對(duì)象物，從而生成包含基準(zhǔn)圖像的圖像；以及兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)，通過拍攝所述對(duì)象物，從而生成包含參考圖像的圖像，所述兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)的各個(gè) 光學(xué)中心被配置為，對(duì)所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心大致成為點(diǎn)對(duì)稱，所述測(cè)距方法包括相關(guān)值算出步驟，針對(duì)所述兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)的每 一個(gè)，按每個(gè)偏移量算出表示所述基準(zhǔn)圖像和所述參考圖像的相似度的相 關(guān)值，所述偏移量是在將搜索位置沿著與基線平行的方向逐漸偏移的情況 下的偏移量，所述搜索位置是為了搜索與所述基準(zhǔn)圖像相似的所述參考圖 像的圖像位置而由所述參考攝像光學(xué)系統(tǒng)生成的圖像中的所述參考圖像的 位置，所述基線是連接所述基準(zhǔn)攝像光學(xué)系統(tǒng)的光學(xué)中心和所述參考攝像光學(xué)系統(tǒng)的光學(xué)中心的直線；相關(guān)值加法步驟，通過按每個(gè)對(duì)應(yīng)的偏移量，對(duì)針對(duì)所述兩個(gè)以上的 偶數(shù)的參考攝像光學(xué)系統(tǒng)的每一個(gè)算出的相關(guān)值進(jìn)行加法運(yùn)算，從而算出合成相關(guān)值；視差算出步驟，根據(jù)所述合成相關(guān)值，以子像素級(jí)來算出作為所述基 準(zhǔn)圖像和所述參考圖像的相似度成為最大的偏移量的視差；以及距離算出步驟，根據(jù)被算出的視差、所述基準(zhǔn)攝像光學(xué)系統(tǒng)的焦距和 所述基線的長(zhǎng)度，算出從所述測(cè)距裝置到所述對(duì)象物為止的距離或所述對(duì) 象物的三維位置。
全文摘要
提供與對(duì)象物表面的亮度的分布無關(guān)而能夠高精度地測(cè)定子像素視差的復(fù)眼攝像裝置。包括基準(zhǔn)攝像光學(xué)系統(tǒng)，生成包含基準(zhǔn)圖像的圖像；兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)，生成包含參考圖像的圖像，所述兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)被配置為，對(duì)基準(zhǔn)攝像光學(xué)系統(tǒng)大致成為點(diǎn)對(duì)稱；相關(guān)值算出部(6)，針對(duì)兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)的每一個(gè)，按每個(gè)偏移量算出相關(guān)值，所述偏移量是針對(duì)基準(zhǔn)圖像將參考圖像的一方沿著與基線平行的方向逐漸偏移時(shí)的偏移量；相關(guān)值加法部(7)，通過按每個(gè)對(duì)應(yīng)的偏移量，對(duì)針對(duì)兩個(gè)以上的偶數(shù)的參考攝像光學(xué)系統(tǒng)的每一個(gè)算出的相關(guān)值進(jìn)行加法運(yùn)算，從而算出合成相關(guān)值；以及視差算出部(8)，根據(jù)合成相關(guān)值，以子像素級(jí)來算出作為基準(zhǔn)圖像和參考圖像的相似度成為最大的偏移量的視差。
文檔編號(hào)G06T1/00GK101680756SQ200980000225
公開日2010年3月24日 申請(qǐng)日期2009年2月10日 優(yōu)先權(quán)日2008年2月12日
發(fā)明者大山一朗 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社