專利名稱：立體攝像機(jī)支持裝置、立體攝像機(jī)支持方法、校準(zhǔn)檢測(cè)裝置、校準(zhǔn)校正裝置以及立體攝像 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于支持立體攝像機(jī)的立體攝像機(jī)支持裝置及這種立體攝像機(jī)的支持方法以及應(yīng)用它們的立體攝像機(jī)系統(tǒng)，該立體攝像機(jī)用于得到具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像，特別涉及用于使得通過它們而映入立體攝像機(jī)的攝像視野中的特定的被攝體在影像幀內(nèi)所占的位置呈特定的傾向的技術(shù)。
此外，本發(fā)明涉及檢測(cè)規(guī)定位置基準(zhǔn)的外部裝置和拍攝立體圖像的攝影裝置之間的校準(zhǔn)偏差的校準(zhǔn)偏差檢測(cè)裝置及該攝影裝置的校準(zhǔn)校正裝置以及包括該裝置的立體攝像機(jī)及立體攝像機(jī)系統(tǒng)。
背景技術(shù)：
近年來，例如將立體攝像機(jī)搭載在車輛上、根據(jù)該攝像機(jī)得到的影像信號(hào)輸出向駕駛員提供用于安全的各種信息、或者進(jìn)行車輛行駛的自動(dòng)控制來輔助駕駛的系統(tǒng)也正在實(shí)用化。用于在將車載型的立體攝像機(jī)安裝在車輛上的情況下對(duì)付太陽光、熱、溫度、振動(dòng)等環(huán)境壓力的機(jī)構(gòu)的具體技術(shù)也例如公開于(日本)特許第3148749號(hào)公報(bào)中。
此外，下述障礙物檢測(cè)裝置也例如公開于(日本)特開2001-76128號(hào)公報(bào)中即使在使用車載的立體攝像機(jī)、立體攝像機(jī)未校正、行駛中的振動(dòng)或公路面的傾斜有變化的狀況下，為了高速而且高精度地檢測(cè)公路面上存在的障礙物，通過減少應(yīng)用的攝像機(jī)的校準(zhǔn)時(shí)間，并只根據(jù)公路兩端的2根白線在行駛中的圖像上的運(yùn)動(dòng)，來求公路平面和各攝像機(jī)的幾何關(guān)系，從而即使行駛中有振動(dòng)或公路自身有傾斜，也能高速地檢測(cè)公路平面上存在的障礙物。
再者，例如在(日本)特許第3354450號(hào)公報(bào)中，公開了下述技術(shù)在使用車載立體攝像機(jī)的車用測(cè)距裝置中，立體攝像機(jī)的兩個(gè)光學(xué)系統(tǒng)的安裝位置及上下視角確定了視野最下端部，將基準(zhǔn)距離設(shè)定得短于到該視野最下端部與路面所交的點(diǎn)的距離，使得距離評(píng)價(jià)部件用該基準(zhǔn)距離在距離運(yùn)算部件的運(yùn)算開始之后評(píng)價(jià)運(yùn)算距離有效還是無效，在變?yōu)榭煽康剡\(yùn)算出到對(duì)象物的距離的狀態(tài)后使得距離運(yùn)算部件的運(yùn)算距離有效，來簡(jiǎn)單地判定距離測(cè)定開始之后的距離測(cè)定值是否有效，以提高距離測(cè)定精度。
然而，在這些現(xiàn)有的提案中，未公開下述技術(shù)課題的認(rèn)識(shí)、以及該技術(shù)課題的解決手段為了使得映入立體攝像機(jī)的攝像視野中的特定的被攝體在影像幀內(nèi)所占的位置呈特定的傾向，不依賴于背景或周圍的其他部分來高效地取得該被攝體自身的距離等著眼于該被攝體的信息，通過調(diào)節(jié)所應(yīng)用的立體攝像機(jī)的姿態(tài)來應(yīng)對(duì)這種情況。
另一方面，以往使用的圖像攝影裝置的校準(zhǔn)，大體來分，相當(dāng)于①拍攝立體圖像的裝置自身的校準(zhǔn)②攝影裝置和外部裝置間的位置姿態(tài)的校準(zhǔn)。
上述①的校準(zhǔn)是公知的所謂的立體攝像機(jī)的校準(zhǔn)。它是與立體攝像機(jī)的攝影特性有關(guān)的參數(shù)——即以焦距、放大倍數(shù)、圖像中心、透鏡失真等為代表的參數(shù)、和規(guī)定構(gòu)成立體攝像機(jī)的至少2臺(tái)攝像機(jī)間的位置姿態(tài)關(guān)系的位置姿態(tài)參數(shù)的校準(zhǔn)。這種參數(shù)被稱為立體攝影裝置的內(nèi)部校準(zhǔn)參數(shù)。
此外，上述②的校準(zhǔn)相當(dāng)于與立體攝影裝置和外部裝置間的位置姿態(tài)有關(guān)的參數(shù)的校準(zhǔn)。更具體地說，例如在立體攝影裝置被配置在某個(gè)環(huán)境中的情況下，在設(shè)置了立體攝像機(jī)的環(huán)境內(nèi)的位置姿態(tài)參數(shù)為應(yīng)由該校準(zhǔn)來規(guī)定的參數(shù)。此外，在立體攝影裝置被安裝在車輛上、用該立體攝像機(jī)來計(jì)測(cè)車輛前方的障礙物的位置關(guān)系的情況下，規(guī)定立體攝影裝置相對(duì)于作為車輛基準(zhǔn)的原點(diǎn)安裝在何處的位置姿態(tài)參數(shù)為應(yīng)由校準(zhǔn)來規(guī)定的參數(shù)。這種參數(shù)被稱為攝影裝置和外部裝置間的外部校準(zhǔn)參數(shù)。
接著，說明這種校準(zhǔn)偏差。
考慮上述①的立體攝影裝置的內(nèi)部校準(zhǔn)參數(shù)引起的校準(zhǔn)偏差。例如，在用2臺(tái)攝像機(jī)拍攝立體圖像的裝置的情況下，可以分為以下2種。即，(①-1)基于與各攝像機(jī)的攝影有關(guān)的參數(shù)的偏差的校準(zhǔn)偏差，(①-2)基于規(guī)定2臺(tái)攝像機(jī)間的位置姿態(tài)的參數(shù)的偏差的校準(zhǔn)偏差。
例如，上述(①-1)的校準(zhǔn)偏差發(fā)生的原因有，構(gòu)成攝像機(jī)的光學(xué)透鏡系統(tǒng)的變形、光學(xué)透鏡系統(tǒng)和攝像器件(CCD或CMOS等)之間的位置偏差、光學(xué)透鏡的焦點(diǎn)位置的偏差、光學(xué)透鏡的變焦距透鏡的控制系統(tǒng)的偏差等。
此外，上述(①-2)的校準(zhǔn)偏差發(fā)生的原因是固定2臺(tái)攝像機(jī)間的機(jī)構(gòu)的位置偏差引起的。例如，在用機(jī)械軸來固定2臺(tái)攝像機(jī)的情況下，該軸隨時(shí)間的變形等，對(duì)應(yīng)于本例。此外，在將2臺(tái)攝像機(jī)通過螺絲固定而安裝在某個(gè)軸上的情況下，也起因于該螺絲的松弛等造成的位置偏差等。
另一方面，上述②的校準(zhǔn)偏差發(fā)生的原因有，固定立體攝影裝置和外部裝置的機(jī)械構(gòu)件的變形、安裝夾具的變形等。例如，考慮將立體攝影裝置用作車載攝像機(jī)、將該攝影裝置用擋風(fēng)玻璃和后視鏡之間的安裝夾具安裝在外部裝置即車輛上的情況。在此情況下，如果將車輛的基準(zhǔn)位置規(guī)定為車輛前端，則有立體攝影裝置的安裝夾具自身的變形、安裝部件即“螺絲”的松弛等造成的變形、車輛自身隨時(shí)間的變形、在寒冷地帶等使用時(shí)的季節(jié)性變動(dòng)帶來的車輛或安裝夾具的機(jī)械變形等各種機(jī)械變形帶來的校準(zhǔn)偏差。
作為檢測(cè)或校正這種校準(zhǔn)偏差的現(xiàn)有例，提出了以下技術(shù)。
例如，(日本)特開平11-325890號(hào)公報(bào)中記載的方式提供了校正立體攝像機(jī)的攝影圖像的光學(xué)位置偏差、校正上述②的與攝影裝置和外部裝置間的位置姿態(tài)的校準(zhǔn)有關(guān)的校準(zhǔn)偏差的方法。更具體地說，該方法存儲(chǔ)著2臺(tái)攝像機(jī)的視野中分別設(shè)定的基準(zhǔn)標(biāo)記在各攝影圖像內(nèi)的初始位置，根據(jù)在實(shí)際拍攝到的圖像內(nèi)的位置偏差，來校正位置偏差。
此外，例如在徐剛的題為“寫真から作る3次元CG(利用照片制作的三維CG)”((日本)近代科學(xué)社，2001)的文獻(xiàn)中，公開了利用2臺(tái)攝像機(jī)拍攝到的自然特征點(diǎn)(從拍攝到的圖像中任意選擇出的特征點(diǎn))來計(jì)算2臺(tái)攝像機(jī)的相對(duì)位置關(guān)系的方法。在該計(jì)算時(shí)，數(shù)學(xué)地計(jì)算基本矩陣?；旧鲜峭ㄟ^相對(duì)估計(jì)來計(jì)算攝像機(jī)間的距離的估計(jì)值。此外，假定了可以忽略攝像機(jī)的透鏡失真。
再者，在J.Weng，et al.，“Camera calibration with distortion modelsand accuracy evaluation，”IEEE Transactions on Pattern Analysis andMachine Intelligence，Vol.14，No.10，October 1992，pp.965-980中，說明了一般性的攝像機(jī)校準(zhǔn)方法和在立體攝像機(jī)中的應(yīng)用。具體地說，它是通過在基準(zhǔn)坐標(biāo)系中配置許多已知特征點(diǎn)(已知標(biāo)記)并計(jì)算該特征點(diǎn)在圖像內(nèi)的位置來計(jì)算與攝像機(jī)(立體攝像機(jī))有關(guān)的各種參數(shù)的方法。因此，通過該方式，能夠重新計(jì)算所有校準(zhǔn)參數(shù)。
然而，上述特開平11-325890號(hào)公報(bào)的現(xiàn)有例只提供檢測(cè)并校正攝影裝置和外部裝置間的位置偏差的方法。即，該方法有不能檢測(cè)或校正與攝影裝置內(nèi)部校準(zhǔn)參數(shù)有關(guān)的校準(zhǔn)偏差的這一問題。
此外，用徐剛的“寫真から作る3次元CG(利用照片制作的三維CG)”中記載的方法計(jì)算基本矩陣來進(jìn)行攝像機(jī)校準(zhǔn)的方法，不能計(jì)算作為攝像機(jī)間絕對(duì)距離的位置姿態(tài)關(guān)系。因此，在將立體攝影裝置用作三維計(jì)測(cè)裝置時(shí)有問題。
再者，J.Weng，et al.，“Camera calibration with distortion models andaccuracy evaluation”中記載的現(xiàn)有例用于提供攝像機(jī)校準(zhǔn)的一般性方法，本來并不以校準(zhǔn)偏差為目的。此外，有下述問題為了執(zhí)行校準(zhǔn)，必須配置多個(gè)已知標(biāo)記來進(jìn)行處理。

發(fā)明內(nèi)容
因此，本發(fā)明的目的在于提供一種調(diào)節(jié)立體攝像機(jī)的立體攝像機(jī)支持裝置及立體攝像機(jī)的支持方法以及應(yīng)用它們的立體攝像機(jī)系統(tǒng)，使得在用將車載用作為其一例的立體攝像機(jī)、將與該立體攝像機(jī)之間的相對(duì)關(guān)系發(fā)生變化的被攝體包含在其攝像視野中進(jìn)行攝影的情況下，能夠不依賴于背景等周圍的其他部分來高效地取得該被攝體自身的距離等著眼于該被攝體的信息。
此外，本發(fā)明的目的在于提供一種校準(zhǔn)偏差檢測(cè)裝置及包括該裝置的立體攝像機(jī)、以及立體攝像機(jī)系統(tǒng)，即使進(jìn)行三維計(jì)測(cè)等的拍攝立體圖像的攝影裝置的校準(zhǔn)是由于隨時(shí)間的變化或沖擊振動(dòng)等機(jī)械偏差，也能夠通過分析立體圖像來簡(jiǎn)單地定量檢測(cè)校準(zhǔn)偏差。
再者，本發(fā)明的目的在于提供一種校準(zhǔn)偏差校正裝置及包括該裝置的立體攝像機(jī)、以及立體攝像機(jī)系統(tǒng)，即使進(jìn)行三維計(jì)測(cè)等的拍攝立體圖像的攝影裝置的校準(zhǔn)是由于隨時(shí)間的變化或沖擊振動(dòng)等機(jī)械偏差，也能夠通過分析立體圖像來簡(jiǎn)單地定量地并以絕對(duì)值來校正校準(zhǔn)偏差。
本發(fā)明的第1種立體攝像機(jī)支持裝置，支持用于得到具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的立體攝像機(jī)，其包括結(jié)合部件，通過將設(shè)置上述立體攝像機(jī)的車輛側(cè)所設(shè)的支持部件、和該立體攝像機(jī)的規(guī)定部位上所設(shè)的被支持部件結(jié)合，使得上述兩個(gè)部件間的相對(duì)關(guān)系在規(guī)定范圍內(nèi)可變，從而將該立體攝像機(jī)支持在上述車輛上；和控制部，控制由上述結(jié)合部件支持在上述車輛上的立體攝像機(jī)的姿態(tài)以及位置；上述控制部控制該立體攝像機(jī)的姿態(tài)以及位置，使得上述立體攝像機(jī)得到的影像中的注目被攝體的輪廓中的位于最高水準(zhǔn)位置上的輪廓部分不依賴于上述車輛的姿態(tài)以及位置的變化，位于影像的幀上端以及其附近。
本發(fā)明的第2種立體攝像機(jī)支持裝置，具備校準(zhǔn)數(shù)據(jù)保持部，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取部，從上述攝影裝置拍攝到的立體圖像中提取特征；以及校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
再者，本發(fā)明的第3種立體攝像機(jī)支持裝置，具備校準(zhǔn)數(shù)據(jù)保持部，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取部，從上述攝影裝置拍攝到的立體圖像中提取特征；校準(zhǔn)數(shù)據(jù)校正部，根據(jù)表示上述特征提取部提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。


圖1是應(yīng)用立體攝像機(jī)支持裝置的立體攝像機(jī)系統(tǒng)的結(jié)構(gòu)圖。
圖2是立體適配器的結(jié)構(gòu)圖。
圖3A至圖3D是將立體攝像機(jī)安裝在車輛上的圖。
圖4A及圖4B是處理裝置求出的三維距離圖像的圖。
圖5是進(jìn)行三維重構(gòu)等處理而提取出的圖像的顯示圖。
圖6是立體攝像機(jī)支持裝置的立體攝像機(jī)結(jié)合裝置的結(jié)構(gòu)圖。
圖7A及圖7B是車輛上搭載的立體攝像機(jī)的攝像方向的圖。
圖8是立體攝像機(jī)支持裝置中的控制工作的概略過程的流程圖。
圖9A及圖9B是車輛的前后方向的傾斜造成的立體攝像機(jī)的攝像方向的圖。
圖10是立體攝像機(jī)支持裝置中的控制工作的概略過程的流程圖。
圖11A及圖11B是車輛的左右方向的傾斜造成的立體攝像機(jī)的姿態(tài)的圖。
圖12是立體攝像機(jī)支持裝置中的控制工作的概略過程的流程圖。
圖13A及圖13B是公路面的傾斜和立體攝像機(jī)的攝像方向的圖。
圖14是立體攝像機(jī)支持裝置中的控制工作的概略過程的流程圖。
圖15是立體攝像機(jī)支持裝置中的控制工作的概略過程的流程圖。
圖16A至圖16C是說明向駕駛員顯示影像的方法的圖。
圖17是本發(fā)明第6實(shí)施方式的校準(zhǔn)偏差檢測(cè)裝置的基本結(jié)構(gòu)例的方框圖。
圖18是說明拍攝立體圖像的攝影裝置的攝像機(jī)坐標(biāo)的圖。
圖19A是立體適配器的視野的圖，圖19B是圖19A的立體適配器的展開圖。
圖20是說明立體圖像中的核線約束的圖。
圖21A及圖21B是用于說明調(diào)整處理的圖，其中，圖21A是調(diào)整前的圖像的圖，圖21B是調(diào)整后的圖像的圖。
圖22是用于說明調(diào)整處理的圖。
圖23是說明本發(fā)明第6實(shí)施方式的校準(zhǔn)偏差檢測(cè)裝置的詳細(xì)工作的流程圖。
圖24A及圖24B是左右原圖像的圖，其中，圖24A是左攝像機(jī)拍攝到的左原圖像的圖，圖24B是右攝像機(jī)拍攝到的右原圖像的圖。
圖25A及圖25B是調(diào)整過的左右圖像的圖，其中，圖25A是左圖像的圖，圖25B是右圖像的圖。
圖26是圖17的特征提取裝置118的結(jié)構(gòu)例的方框圖。
圖27是用分割出的小塊來示出調(diào)整過的左圖像的圖。
圖28是左圖像上注冊(cè)的特征點(diǎn)的示例圖。
圖29A及圖29B是用于說明搜索范圍的設(shè)定的圖。
圖30是右圖像上提取出的對(duì)應(yīng)的特征點(diǎn)的示例圖。
圖31A及圖31B是用于說明校準(zhǔn)偏差判定方法的圖。
圖32是圖17的偏差結(jié)果呈現(xiàn)裝置122的示例圖。
圖33是本發(fā)明第7實(shí)施方式的校準(zhǔn)偏差檢測(cè)裝置的基本結(jié)構(gòu)例的方框圖。
圖34是說明本發(fā)明第7實(shí)施方式的校準(zhǔn)偏差檢測(cè)裝置的工作的流程圖。
圖35A及圖35B是用于說明搜索范圍的設(shè)定的圖。
圖36是本發(fā)明第8實(shí)施方式的校準(zhǔn)偏差檢測(cè)裝置的基本結(jié)構(gòu)例的方框圖。
圖37A至圖37E是將與拍攝的車輛的一部分形狀有關(guān)的特征作為已知特征的配置的示例圖，其中，圖37A是拍攝的左圖像的示例圖，圖37B是用黑點(diǎn)184來表示選擇為已知特征的特征的圖，圖37C是在擋風(fēng)玻璃的一部分上配置了已知特征——黑點(diǎn)已知標(biāo)記的狀況的示例圖，圖37D是示出了標(biāo)記組的左圖像的示例圖，圖37E是示出了標(biāo)記組的右圖像的示例圖。
圖38是說明本發(fā)明第8實(shí)施方式的校準(zhǔn)偏差檢測(cè)裝置的工作的流程圖。
圖39A及圖39B是提取出的特征的集合A及B的示例圖。
圖40是本發(fā)明第10實(shí)施方式的校準(zhǔn)偏差檢測(cè)裝置的基本結(jié)構(gòu)例的方框圖。
圖41是本發(fā)明第12實(shí)施方式的應(yīng)用校準(zhǔn)偏差檢測(cè)裝置的立體攝像機(jī)的結(jié)構(gòu)的方框圖。
圖42是本發(fā)明的校準(zhǔn)偏差校正裝置的第1基本結(jié)構(gòu)例的方框圖。
圖43是本發(fā)明的校準(zhǔn)偏差校正裝置的第2基本結(jié)構(gòu)例的方框圖。
圖44是說明拍攝立體圖像的攝影裝置的攝像機(jī)坐標(biāo)的圖。
圖45A是立體適配器的視野的圖，圖45B是圖45A的立體適配器的展開圖。
圖46是說明立體圖像中的核線約束的圖。
圖47A及圖47B是用于說明調(diào)整處理的圖，其中，圖47A是調(diào)整前的圖像的圖，圖47B是調(diào)整后的圖像的圖。
圖48是用于說明調(diào)整處理的圖。
圖49是說明本發(fā)明第13實(shí)施方式的校準(zhǔn)偏差校正裝置的詳細(xì)工作的流程圖。
圖50A至圖50E是車輛的情況下的已知特征的示例圖。
圖51A及圖51B是左右原圖像的圖，其中，圖51A是左攝像機(jī)拍攝到的左原圖像的圖，圖51B是右攝像機(jī)拍攝到的右原圖像的圖。
圖52A及圖52B是調(diào)整過的左右圖像的圖，其中，圖52A是左圖像的圖，圖52B是右圖像的圖。
圖53是特征提取裝置266的結(jié)構(gòu)例的方框圖。
圖54是提取結(jié)果的示例圖。
圖55是用分割出的小塊來示出調(diào)整過的左圖像的圖。
圖56是左圖像上注冊(cè)的特征點(diǎn)的示例圖。
圖57A及圖57B是用于說明搜索范圍的設(shè)定的圖。
圖58也是右圖像上提取出的對(duì)應(yīng)的特征點(diǎn)的示例圖。
圖59是偏差結(jié)果呈現(xiàn)裝置270的示例圖。
圖60是說明本發(fā)明第13實(shí)施方式的另一工作例的流程圖。
圖61是說明本發(fā)明第13實(shí)施方式的又一工作例的流程圖。
圖62是本發(fā)明第14實(shí)施方式的校準(zhǔn)偏差校正裝置的基本結(jié)構(gòu)的方框圖。
圖63是說明本發(fā)明第14實(shí)施方式的校準(zhǔn)偏差校正裝置的詳細(xì)工作的流程圖。
圖64是本發(fā)明第15實(shí)施方式的校準(zhǔn)偏差校正裝置的基本結(jié)構(gòu)例的方框圖。
圖65是說明本發(fā)明第15實(shí)施方式的校準(zhǔn)偏差校正裝置的工作的流程圖。
圖66是本發(fā)明第16實(shí)施方式的校準(zhǔn)偏差校正裝置的基本結(jié)構(gòu)例的方框圖。
圖67是說明本發(fā)明第16實(shí)施方式的校準(zhǔn)偏差校正裝置的工作的流程圖。
圖68A及圖68B是用于說明與核線的偏差di的圖。
圖69是本發(fā)明第17實(shí)施方式的校準(zhǔn)偏差校正裝置的基本結(jié)構(gòu)例的方框圖。
圖70是立體攝影裝置拍攝的校準(zhǔn)圖案的示例圖。
圖71是立體攝影裝置拍攝的校準(zhǔn)圖案的另一示例圖。
圖72A及圖72B是本發(fā)明第18實(shí)施方式的校準(zhǔn)偏差校正裝置拍攝的立體圖像的狀況的圖，其中，圖72A是時(shí)刻1上的左圖像的示例圖，圖72B是與時(shí)刻1不同的時(shí)刻2上的左圖像的示例圖。
圖73是說明本發(fā)明第17實(shí)施方式的校準(zhǔn)偏差校正裝置的處理工作的流程圖。
圖74是說明本發(fā)明第17實(shí)施方式的校準(zhǔn)偏差校正裝置的另一處理工作的流程圖。
具體實(shí)施例方式
以下，參照附圖來說明本發(fā)明的實(shí)施方式。
圖1是本發(fā)明的立體攝像機(jī)支持裝置及應(yīng)用該裝置的立體攝像機(jī)系統(tǒng)的結(jié)構(gòu)圖。
本立體攝像機(jī)系統(tǒng)10包括立體攝像機(jī)16，具有后述立體適配器12及攝像裝置14；處理裝置18；控制裝置20；駕駛裝置22；警告裝置28，具有聲音裝置24及振動(dòng)裝置26等；輸入裝置30；顯示裝置32；車速傳感器34；測(cè)距雷達(dá)36；照度傳感器38；外部攝像機(jī)40；GPS(全球定位系統(tǒng))42；VICS(堵塞信息取得裝置)44；外部通信裝置46；立體攝像機(jī)支持裝置50；攝像機(jī)姿態(tài)傳感器52及車輛姿態(tài)傳感器54。
在立體攝像機(jī)支持裝置50中，設(shè)有立體攝像機(jī)結(jié)合裝置56及支持控制裝置58。
這里，如圖2所示，立體適配器12被安裝在攝像機(jī)等攝像裝置14內(nèi)部的攝像光學(xué)系統(tǒng)62的前方，由2個(gè)受光部位(反射鏡70a、70b)和光學(xué)系統(tǒng)(反射鏡72a、72b)構(gòu)成。上述立體適配器12用于在攝像器件64上形成視差圖像66。在圖2中，來自同一被攝體74的光由間隔規(guī)定距離的上述2個(gè)受光部位(反射鏡70a、70b)接收。然后，該接收到的各個(gè)光由光學(xué)系統(tǒng)(反射鏡72a、72b)反射后，引導(dǎo)到攝像裝置14的攝像光學(xué)系統(tǒng)62。
立體攝像機(jī)支持裝置50使得包含立體適配器12和攝像裝置14(或者再加上處理裝置18)的立體攝像機(jī)16能夠拍攝各種方向。
如圖3A、圖3B、圖3C、圖3D所示，該立體攝像機(jī)16能夠安裝在車輛80的車內(nèi)及車外的任意位置(陰影所示的位置)上。在安裝在車輛80的車外時(shí)，可以安裝在車輛的發(fā)動(dòng)機(jī)罩、支柱、前燈等上，可以從各種方向拍攝車外的風(fēng)景。此外，在安裝在車輛80的車內(nèi)時(shí)，可以安裝在儀表板上、車內(nèi)后視鏡等上。
處理裝置18根據(jù)攝像裝置14通過上述立體適配器12拍攝到的圖像來進(jìn)行三維重構(gòu)等處理，創(chuàng)建三維距離圖像等?？刂蒲b置204具有匯總圖像信息和車輛信息的作用。例如，能夠?qū)⑻幚硌b置18處理的結(jié)果顯示在顯示裝置32上，或者分析處理裝置18得到的距離信息和車速傳感器34等的信息，并使警告裝置28產(chǎn)生警告，或者控制駕駛裝置22并提醒駕駛員安全駕駛。此外，輸入裝置30例如用于用遙控器等輸入設(shè)備向控制裝置20發(fā)出指示，能夠切換模式等。
從前述可以理解，處理裝置18和控制裝置20構(gòu)成本系統(tǒng)中的信息處理部件，可由在具有該系統(tǒng)的車輛上搭載的計(jì)算機(jī)來實(shí)現(xiàn)兩個(gè)裝置的功能。
再者，如前所述，警告裝置28由聲音裝置24、振動(dòng)裝置26等構(gòu)成。例如，聲音裝置24通過來自揚(yáng)聲器等的聲音，振動(dòng)裝置26通過駕駛席的振動(dòng)，向駕駛員發(fā)出警告。
這里，立體攝像機(jī)支持裝置50的構(gòu)件即立體攝像機(jī)結(jié)合裝置56將立體攝像機(jī)16結(jié)合、支持在車輛80上。此外，立體攝像機(jī)支持裝置50的構(gòu)件即支持控制裝置58向立體攝像機(jī)結(jié)合裝置56輸出信號(hào)，控制立體攝像機(jī)16的攝像方向。
此外，車輛姿態(tài)傳感器54是檢測(cè)車輛的姿態(tài)或位置的檢測(cè)部件，檢測(cè)車輛相對(duì)于公路的傾斜。支持控制裝置58根據(jù)該車輛姿態(tài)傳感器54的檢測(cè)值、處理裝置18處理過的圖像信息、GPS 42的信息等，來控制立體攝像機(jī)16的攝像范圍，即，將攝像視野定在何處。
即，在由于車輛傾斜而使攝像視野偏離最佳狀態(tài)的情況下，向立體攝像機(jī)結(jié)合裝置56輸出控制信號(hào)，以便成為原來的攝像視野。此時(shí)，支持控制裝置58根據(jù)檢測(cè)攝像機(jī)姿態(tài)或位置的傳感器即攝像機(jī)姿態(tài)傳感器52的檢測(cè)輸出值來把握當(dāng)前的攝像機(jī)的狀態(tài)，生成控制信號(hào)。然后，立體攝像機(jī)結(jié)合裝置56根據(jù)該控制信號(hào)來驅(qū)動(dòng)內(nèi)部所設(shè)的調(diào)整機(jī)構(gòu)，將立體攝像機(jī)16設(shè)定到期望的方向。
其中，前述車輛姿態(tài)傳感器54可作為檢測(cè)相對(duì)于鉛直方向或水平方向的相對(duì)角度的傾斜檢測(cè)部件來工作，還可作為檢測(cè)該車輛相對(duì)于接地面的相對(duì)位置的高度檢測(cè)部件來工作。
其中，該控制所需的各種信息及檢測(cè)信號(hào)經(jīng)控制裝置20輸入到支持控制裝置58中。但是，不限于該形態(tài)，也可以使支持控制裝置58直接接收控制所需的各種信息及檢測(cè)信號(hào)。此外，也可以使控制裝置20和支持控制裝置58適當(dāng)分擔(dān)功能，來接收控制所需的各種信息及檢測(cè)信號(hào)。
接著，概述處理裝置18具備的創(chuàng)建三維距離圖像等的功能。其中，本案申請(qǐng)人在(日本)特愿2003-048323號(hào)公報(bào)中已經(jīng)提出了處理裝置18的結(jié)構(gòu)例和可應(yīng)用的圖像處理理論。
圖4A及圖4B示出了處理裝置18求出的三維距離圖像。
圖4A是拍攝到的圖像，圖4B是根據(jù)該圖像來計(jì)算距離的結(jié)果的圖。這樣，能夠計(jì)算從攝像機(jī)到被攝體的距離作為三維信息。其中，在圖4B中，亮度越高，則表示距離越近。
此外，處理裝置18能夠根據(jù)三維距離圖像來辨別公路區(qū)域和非公路區(qū)域，進(jìn)而也能夠識(shí)別、提取公路面內(nèi)的物體、非公路區(qū)域上的障礙物。
因此，如圖5所示，也能夠?qū)⑦M(jìn)行三維重構(gòu)等處理而提取出的公路的平面或曲面形狀顯示在顯示裝置32的顯示部32a上。再者，此時(shí)，用直線或曲線SL1、SL2、SL3來重疊顯示離車輛80等間隔的公路面上的點(diǎn)組。再者，也可以用處理裝置18來識(shí)別該公路上的前方行駛的車輛T1、T2，該顯示裝置32用外包的橢圓或矩形等來顯示該前方車輛，并且顯示到前方車輛T1、T2等的距離。
這樣，使用本立體攝像機(jī)系統(tǒng)，能夠得到與公路及被攝體有關(guān)的各種信息。
圖6是本發(fā)明第1實(shí)施方式的立體攝像機(jī)支持裝置50的立體攝像機(jī)結(jié)合裝置56的結(jié)構(gòu)例的圖。
立體攝像機(jī)結(jié)合裝置56是用于將立體攝像機(jī)16安裝在車輛80上的結(jié)合部件，并且能夠控制立體攝像機(jī)16自如地變更到期望的位置、姿態(tài)。在立體攝像機(jī)結(jié)合裝置56的兩端，設(shè)有為了與車體結(jié)合而固定在車體的適當(dāng)部位的支持部件84、及用于與立體攝像機(jī)16結(jié)合的被支持部件86。
此外，設(shè)有用于使這樣結(jié)合在車體上的立體攝像機(jī)16在規(guī)定范圍內(nèi)方向自如的機(jī)構(gòu)。即，該機(jī)構(gòu)是姿態(tài)控制機(jī)構(gòu)，包括能夠繞搖擺轉(zhuǎn)動(dòng)軸86a、俯仰轉(zhuǎn)動(dòng)軸86b、滾動(dòng)轉(zhuǎn)動(dòng)軸86c這3個(gè)軸來轉(zhuǎn)動(dòng)的搖擺轉(zhuǎn)動(dòng)電機(jī)88a、俯仰轉(zhuǎn)動(dòng)電機(jī)88b、滾動(dòng)轉(zhuǎn)動(dòng)電機(jī)88c。
此外，在圖6中，90a及90b是立體適配器16上所設(shè)的視野罩開口(L)及視野罩開口(R)。
支持控制裝置58通過向本結(jié)構(gòu)的立體攝像機(jī)結(jié)合裝置56輸出對(duì)各個(gè)電機(jī)的控制信號(hào)，能夠?qū)⒘Ⅲw適配器12控制到期望的方向。其中，在圖6中雖然未示出，但是在立體攝像機(jī)結(jié)合裝置56上設(shè)有檢測(cè)攝像機(jī)的姿態(tài)或位置的攝像機(jī)姿態(tài)傳感器52(圖1)。該攝像機(jī)姿態(tài)傳感器52例如也可以檢測(cè)各個(gè)電機(jī)的轉(zhuǎn)動(dòng)角度。
其中，立體攝像機(jī)結(jié)合裝置56不限于圖6所示的包括3軸控制機(jī)構(gòu)的方式，例如可以應(yīng)用電動(dòng)式的公知的萬向架機(jī)構(gòu)。此外，也可以應(yīng)用類似本案申請(qǐng)人提出的(日本)特許第3306128號(hào)的鏡框支持機(jī)構(gòu)的機(jī)理。
其中，立體攝像機(jī)結(jié)合裝置56也可以不是自動(dòng)控制圖6所示的3軸的方式，而是例如手動(dòng)調(diào)整搖擺角。用于此的手動(dòng)調(diào)整機(jī)構(gòu)例如可以采用像能夠轉(zhuǎn)動(dòng)及鎖定的萬向聯(lián)軸節(jié)、或攝像機(jī)自由云臺(tái)那樣通過松開鎖定螺絲而將懸架的被支持體指向期望的安裝角度后固定鎖定螺絲的緊固角度來調(diào)整方向的結(jié)構(gòu)。
接著，說明本發(fā)明第1實(shí)施方式的立體攝像機(jī)支持裝置50的工作。
圖7A及圖7B是車輛80上搭載的立體攝像機(jī)的攝像方向的圖，圖8是立體攝像機(jī)支持裝置50中的控制的概略過程的流程圖。
在圖7A中，立體攝像機(jī)16經(jīng)立體攝像機(jī)結(jié)合裝置56懸架在車輛80的車內(nèi)的適當(dāng)部位(儀表板上或擋風(fēng)玻璃上方的中央位置鄰近等)上。該立體攝像機(jī)16的視野94的中心線96被設(shè)定得與公路面平行。然而，在該狀態(tài)下，在拍攝到的幀的上部區(qū)域，拍攝了在處理與目的被攝體有關(guān)的圖像時(shí)不需要的背景區(qū)域——天空。因此，成為本來需要的前方車輛等被攝體100或公路面98等攝像的區(qū)域所占的比例不充分的圖像。
因此，如圖7B所示，通過立體攝像機(jī)結(jié)合裝置56的控制來調(diào)節(jié)立體攝像機(jī)16的攝像姿態(tài)。在此情況下，將前方的被攝體100的上端部(該被攝體的輪廓中的位于最高水準(zhǔn)位置上的輪廓部分)調(diào)節(jié)得位于視野94的上端部(從而位于拍攝到的影像的幀上端)。由此，公路面98的攝影區(qū)域擴(kuò)大，并且天空等不需要的背景區(qū)域減少，能夠有效利用視野。
這里，參照?qǐng)D8的流程圖來說明前述立體攝像機(jī)支持裝置50的控制工作。
首先，在步驟S1中，支持控制裝置58接收處理裝置18執(zhí)行的物體識(shí)別處理結(jié)果。即，處理裝置18根據(jù)三維距離圖像(包含表示相應(yīng)的像素的信息和表示距離的信息)來辨別公路區(qū)域和非公路區(qū)域，識(shí)別、提取出該公路區(qū)域內(nèi)存在的被攝體100。此時(shí)，處理裝置18也可以根據(jù)其特征從識(shí)別出的被攝體100內(nèi)只提取行駛著的車輛。
接著，在步驟S2中，支持控制裝置58求出攝像視野中存在的被攝體100的輪廓部分的最高水準(zhǔn)位置。然后，在步驟S3中，檢查該最高水準(zhǔn)位置是否存在于視野94的上端部(從而存在于影像的幀上端。以下同樣)之上。
這里，在攝像視野中存在多個(gè)被攝體100的情況下，求出它們中的輪廓部分的水準(zhǔn)位置最高的位置。在該最高水準(zhǔn)位置存在于視野94的上端部以下的情況下(步驟S3“否”)，立體攝像機(jī)16相對(duì)于期望的姿態(tài)位置后傾。因此，轉(zhuǎn)移到步驟S4，用支持控制裝置58從攝像機(jī)姿態(tài)傳感器52的檢測(cè)輸出中取入攝像機(jī)的傾斜。然后，向支持控制裝置58輸出調(diào)節(jié)立體適配器12的姿態(tài)的控制信號(hào)，使得被攝體100的最高水準(zhǔn)位置位于視野94的上端部。
另一方面，在該最高水準(zhǔn)位置存在于視野94的上端部以上的情況下(步驟S3“是”)，立體攝像機(jī)16相對(duì)于期望的姿態(tài)位置前傾。因此，轉(zhuǎn)移到步驟S5，用支持控制裝置58從攝像機(jī)姿態(tài)傳感器52的檢測(cè)輸出中取入攝像機(jī)的傾斜。然后，從支持控制裝置58向立體攝像機(jī)結(jié)合裝置56輸出調(diào)節(jié)攝像機(jī)姿態(tài)的控制信號(hào)，使得被攝體100的最高水準(zhǔn)位置位于視野94的上端部。
在步驟S6中，接收到控制信號(hào)的立體攝像機(jī)結(jié)合裝置56驅(qū)動(dòng)設(shè)在內(nèi)部、用于調(diào)節(jié)攝像機(jī)的姿態(tài)的機(jī)構(gòu)，將立體攝像機(jī)16的視野94調(diào)節(jié)到期望位置。
在前述中，對(duì)于在接通車輛的電源鍵等而起動(dòng)了立體攝像機(jī)支持裝置50的最初時(shí)刻將立體攝像機(jī)16設(shè)為何種姿態(tài)，可采用幾種方式。
即，在1種方式中，在起動(dòng)時(shí)(即，本系統(tǒng)的初動(dòng)時(shí))，一律設(shè)為水平的姿態(tài)(從立體攝像機(jī)的攝像光學(xué)系統(tǒng)以及其鄰近設(shè)定的視點(diǎn)注視立體攝像機(jī)16的攝像視野來攝影時(shí)的視野的中心線、即圖7A、圖7B中已經(jīng)描述了的中心線96成為水平方向的姿態(tài))，其后，隨著車輛的行駛，根據(jù)前述三維距離圖像的信息來進(jìn)行控制，以便如上所述地逐漸調(diào)節(jié)立體攝像機(jī)的姿態(tài)。
在采用這種方式的情況下，在初動(dòng)狀態(tài)下，例如即使在拍攝了車庫的墻面的狀況下，立體攝像機(jī)也能按照視野隨其后的行駛的展開、從中立于任何姿態(tài)的位置被適當(dāng)控制到最佳的姿態(tài)。因此，避免了在處于不熟悉該系統(tǒng)中的控制的初動(dòng)階段時(shí)進(jìn)行無用的信息處理或控制，并因此阻礙優(yōu)先級(jí)相對(duì)高的處理的高速化的可能性。
此外，作為另一方式，初動(dòng)時(shí)也可以維持上次控制中設(shè)定的最后的狀態(tài)。在此情況下，車輛再次開始行駛時(shí)，從上次控制中設(shè)定的最后的狀態(tài)開始的概率很高，所以開始行駛后在比較早的時(shí)刻使立體攝像機(jī)的姿態(tài)與目標(biāo)吻合的可能性很高。
作為又一種方式，也可以取下述方式，初動(dòng)時(shí)進(jìn)行控制，以便將立體攝像機(jī)的姿態(tài)設(shè)定得相對(duì)向下(即，前述中心線96比水平方向向下、以及比在初動(dòng)以外時(shí)刻被控制的方向向下的姿態(tài))。在此情況下，能夠減小在初動(dòng)時(shí)忽視必須特別注意的周圍的障礙物或幼兒、寵物等的存在的可能性。
也可以構(gòu)成如下的系統(tǒng)，即，使得前述初動(dòng)時(shí)的立體攝像機(jī)的姿態(tài)控制的各種方式，例如可被設(shè)定得能夠預(yù)先作為多種控制模式由操作者任意選擇。
以上是與初動(dòng)時(shí)的立體攝像機(jī)的姿態(tài)有關(guān)的各種控制方式，但是也可采用按照具有本發(fā)明的系統(tǒng)的車輛的行駛狀態(tài)來選擇立體攝像機(jī)的姿態(tài)控制的傾向的方式。即，高速行駛時(shí)將立體攝像機(jī)的姿態(tài)控制得相對(duì)向下(與前述大致同義)，低速行駛時(shí)控制得相對(duì)向上。
根據(jù)該方式，能實(shí)現(xiàn)在下述方面性能高的系統(tǒng)在高速行駛時(shí)，能夠根據(jù)拍攝所得的影像來穩(wěn)定地提取、辨別公路的部分，正確地識(shí)別遠(yuǎn)方的車輛；而在低速行駛時(shí)，能夠可靠地識(shí)別駕駛員容易疏忽的比較高的物體。
其中，也可以在該傳感器等檢測(cè)出接近、以及遭遇到應(yīng)注目的被攝體輪廓的最高水平部分逃脫到影像幀的上端的更上方的高被攝體時(shí)，自動(dòng)地將立體攝像機(jī)的姿態(tài)控制得向上。此外，也可以同時(shí)設(shè)有用于根據(jù)操作者的識(shí)別通過人為的操作將立體攝像機(jī)的姿態(tài)操作得向上的輔助部件。
其中，將立體攝像機(jī)的姿態(tài)在具有該立體攝像機(jī)的車輛的組裝工序中、以及出廠前設(shè)定為規(guī)定的姿態(tài)，這也可以認(rèn)為是一種技術(shù)手法。
其中，用于移動(dòng)攝像機(jī)的控制工作不管是基于所謂的現(xiàn)代控制理論還是基于古典控制理論，都可以是反饋控制或前饋控制以及折衷它們的方式，可以應(yīng)用PID控制、H無窮控制、自適應(yīng)模型控制、模糊控制、神經(jīng)網(wǎng)絡(luò)等公知的各種控制方法。
例如，在采用一般性的PID等反饋控制的情況下，支持控制裝置58通過在其控制環(huán)內(nèi)生成與最高水準(zhǔn)位置和視野94的上端之間的偏差量對(duì)應(yīng)的控制信號(hào)并輸出到立體攝像機(jī)結(jié)合裝置56，重復(fù)該工作直至該偏差值為“0”，能夠?qū)z像機(jī)控制到期望的姿態(tài)。
從前述可以理解，在本實(shí)施方式中，結(jié)合部件通過結(jié)合設(shè)置立體攝像機(jī)16的車輛側(cè)所設(shè)的支持部件84、和該立體攝像機(jī)16的規(guī)定部位所設(shè)的被支持部件86，而將該立體攝像機(jī)支持在上述車輛上，使得上述兩個(gè)部件間的相對(duì)位置在規(guī)定范圍內(nèi)可變，這樣構(gòu)成的結(jié)合部件、和控制通過這種結(jié)合部件而支持在車輛上的立體攝像機(jī)16的姿態(tài)以及位置的控制手段由立體攝像機(jī)結(jié)合裝置56和支持控制裝置58的各相應(yīng)功能部來實(shí)現(xiàn)。
此外，包含這種支持控制裝置58的系統(tǒng)可是下述方式控制機(jī)構(gòu)是用檢測(cè)該車輛的姿態(tài)以及位置的檢測(cè)部件的檢測(cè)輸出來進(jìn)行立體攝像機(jī)的姿態(tài)控制，在該控制中，將這些檢測(cè)輸出作為控制系統(tǒng)的一個(gè)狀態(tài)變量來進(jìn)行控制工作。
此外，支持控制裝置58的控制運(yùn)算功能部可不由另外的電路構(gòu)成，而由與控制裝置200的相應(yīng)功能部一體地搭載該車輛上的共同的計(jì)算機(jī)也具備該功能。
接著，說明本發(fā)明第2實(shí)施方式的立體攝像機(jī)支持裝置50。
第2實(shí)施方式的立體攝像機(jī)支持裝置50與前述第1實(shí)施方式的立體攝像機(jī)支持裝置50同樣，被包含在圖1所示的立體攝像機(jī)系統(tǒng)中來應(yīng)用。此外，第2實(shí)施方式的立體攝像機(jī)結(jié)合裝置56的結(jié)構(gòu)與圖6所示的第1實(shí)施方式的立體攝像機(jī)結(jié)合裝置56的結(jié)構(gòu)相同。因此，對(duì)與第1實(shí)施方式相同的部位附以相同的標(biāo)號(hào)，并省略其詳細(xì)說明。
接著，說明本發(fā)明第2實(shí)施方式的立體攝像機(jī)支持裝置50的工作。在本實(shí)施方式中，立體攝像機(jī)支持裝置50校正車輛80的前后方向的傾斜造成的視野變化。
圖9A及圖9B是表示車輛的前后方向的傾斜造成的立體攝像機(jī)的攝像方向的圖，圖10是表示立體攝像機(jī)支持裝置50中的控制工作的概略過程的流程圖。
如圖9A所示，立體攝像機(jī)16經(jīng)立體攝像機(jī)結(jié)合裝置56懸架在車輛80上，以便觀測(cè)與水平面成規(guī)定傾角θ的下方。此外，在該車輛80上，設(shè)有檢測(cè)車輛前后的傾斜的傾斜傳感器54a、或測(cè)定前輪部、后輪部的懸掛系統(tǒng)之間距離的懸掛系統(tǒng)沖程傳感器54b、54c。
但是，在乘坐車輛80的人數(shù)、乘車位置變化了的情況下，或者在車的貨廂中裝載的貨物的重量變化了的情況下，車輛80的前后的傾斜角度也因此而變化。再者，在減速、加速時(shí)車輛80前后的傾角也變化。其結(jié)果是，立體攝像機(jī)的視野也偏離最佳的狀態(tài)。
因此，如圖9B所示，根據(jù)由傾斜傳感器54a檢測(cè)出的車體的傾角、或者由懸掛系統(tǒng)沖程傳感器54b、54c檢測(cè)出的沖程算出的車體的傾角，來控制立體攝像機(jī)16的攝像方向，使得攝像機(jī)的視野成為期望的狀態(tài)。
其中，可采用包含傾斜傳感器54a、懸掛系統(tǒng)沖程傳感器54b、54c等作為多個(gè)檢測(cè)端的各變換器來構(gòu)成上述車輛姿態(tài)傳感器54的形態(tài)。
接著，參照?qǐng)D10的流程圖來說明前述立體攝像機(jī)支持裝置50的控制工作。
首先，在步驟S11中，支持控制裝置58讀入車輛80的前輪部和后輪部上安裝的懸掛系統(tǒng)沖程傳感器54b、54c的檢測(cè)輸出。然后，在后續(xù)的步驟S12中，通過計(jì)算該沖程傳感器之差，來計(jì)算出車輛80的前后的傾斜。然后，在步驟S13中，檢查車輛與基準(zhǔn)狀態(tài)相比是否前傾。
這里，在車輛與基準(zhǔn)狀態(tài)相比后傾的情況下(步驟S13“否”)，立體攝像機(jī)16正在拍攝期望的姿態(tài)位置的上方。因此，轉(zhuǎn)移到步驟S14，支持控制裝置58從攝像機(jī)姿態(tài)傳感器52的檢測(cè)輸出中取入攝像機(jī)的傾斜，向立體攝像機(jī)結(jié)合裝置56輸出用于調(diào)節(jié)攝像機(jī)的姿態(tài)的控制信號(hào)，使得立體攝像機(jī)16的視野方向向下。
另一方面，在車輛與基準(zhǔn)狀態(tài)相比前傾的情況下(步驟S13“是”)，立體攝像機(jī)16正在拍攝期望的姿態(tài)位置的下方。因此，轉(zhuǎn)移到步驟S15，支持控制裝置58從攝像機(jī)姿態(tài)傳感器52的檢測(cè)輸出中取入攝像機(jī)的傾斜，向立體攝像機(jī)結(jié)合裝置56輸出用于調(diào)節(jié)攝像機(jī)的姿態(tài)的控制信號(hào)，使得立體攝像機(jī)16的視野方向向上。
然后，在步驟S16中，接收到控制信號(hào)的立體攝像機(jī)結(jié)合裝置56驅(qū)動(dòng)設(shè)在內(nèi)部的用于調(diào)節(jié)攝像機(jī)姿態(tài)的機(jī)構(gòu)，將立體攝像機(jī)16的視野94調(diào)節(jié)到期望位置。
其中，車輛80的傾斜可以用傾斜傳感器54a的檢測(cè)輸出來檢測(cè)，也可以組合懸掛系統(tǒng)沖程傳感器54b、54c的檢測(cè)輸出、和傾斜傳感器54a的檢測(cè)輸出來計(jì)算傾角。
此外，用于移動(dòng)攝像機(jī)的控制工作不管是基于所謂的現(xiàn)代控制理論還是基于古典控制理論，都可以是反饋控制或前饋控制以及折衷它們的方式，可以應(yīng)用PID控制、H無窮控制、自適應(yīng)模型控制、模糊控制、神經(jīng)網(wǎng)絡(luò)等公知的各種控制方法。例如，在采用一般性的PID等反饋控制的情況下，支持控制裝置58在其控制環(huán)內(nèi)生成與攝像機(jī)姿態(tài)傳感器52的目標(biāo)值和實(shí)際值之間的偏差量對(duì)應(yīng)的控制信號(hào)并輸出到立體攝像機(jī)結(jié)合裝置56，重復(fù)該工作直至該偏差值為“0”，這樣，能夠?qū)z像機(jī)控制到期望的姿態(tài)。
此外，本第2實(shí)施方式的立體攝像機(jī)支持裝置50的控制工作可以與前述第1實(shí)施方式的立體攝像機(jī)支持裝置50的控制工作組合來工作，也可以單獨(dú)工作。
接著，說明本發(fā)明第3實(shí)施方式的立體攝像機(jī)支持裝置50。
第3實(shí)施方式的立體攝像機(jī)支持裝置50與前述第1實(shí)施方式的立體攝像機(jī)支持裝置50同樣，被包含在圖1所示的立體攝像機(jī)系統(tǒng)中來應(yīng)用。此外，第3實(shí)施方式的立體攝像機(jī)結(jié)合裝置56的結(jié)構(gòu)與圖6所示的第1實(shí)施方式的立體攝像機(jī)結(jié)合裝置56的結(jié)構(gòu)相同。因此，對(duì)與第1實(shí)施方式相同的部位附以相同的標(biāo)號(hào)，并省略其詳細(xì)說明。
接著，說明本發(fā)明第3實(shí)施方式的立體攝像機(jī)支持裝置50的工作。在本實(shí)施方式中，立體攝像機(jī)支持裝置50校正車輛的左右方向的傾斜造成的視野的變化。
圖11A及圖11B是表示車輛80沿左右方向傾斜的情況下立體攝像機(jī)的姿態(tài)的圖，圖12是表示立體攝像機(jī)支持裝置50中的控制工作的概略過程的流程圖。
如圖11A所示，立體攝像機(jī)16經(jīng)立體攝像機(jī)結(jié)合裝置56、與公路面98平行地懸架在車輛80上。此外，在該車輛80上，設(shè)有檢測(cè)車輛的左右傾斜的傾斜傳感器54d、或測(cè)定左右車輪部的懸掛系統(tǒng)的距離的懸掛系統(tǒng)沖程傳感器54e、54f。
在乘坐車輛80的人數(shù)、乘車位置變化了的情況下，或者在車的貨廂中裝載的貨物的重量變化了的情況下，車輛80的左右的傾斜角度也因此而變化。再者，在右拐、左拐時(shí)，車輛80的左右的傾角也變化。其結(jié)果是，立體攝像機(jī)的視野(注視它的方向)也偏離最佳的狀態(tài)。
因此，如圖11B所示，根據(jù)由傾斜傳感器54d檢測(cè)出的車體的傾角、或者由懸掛系統(tǒng)沖程傳感器54e、54f檢測(cè)出的沖程算出的車體的傾角，來控制立體攝像機(jī)16的攝像方向，使得攝像機(jī)的視野成為期望的狀態(tài)。
接著，參照?qǐng)D12的流程圖來說明前述立體攝像機(jī)支持裝置50的控制工作。
首先，在步驟S21中，支持控制裝置58讀入在車輛80的左右安裝的懸掛系統(tǒng)沖程傳感器54e、54f的檢測(cè)輸出。然后，在步驟S22中，通過計(jì)算該沖程傳感器的輸出值之差，來計(jì)算車輛80的左右的傾斜。接著，在步驟S23中，檢查車輛與基準(zhǔn)狀態(tài)相比是否右傾。
這里，在車輛與基準(zhǔn)狀態(tài)相比左傾的情況下(步驟S23“否”)，立體攝像機(jī)16相對(duì)于期望的姿態(tài)位置左傾進(jìn)行著拍攝。因此，轉(zhuǎn)移到步驟S24，支持控制裝置58從攝像機(jī)姿態(tài)傳感器52的檢測(cè)值中取入攝像機(jī)的傾斜，向立體攝像機(jī)結(jié)合裝置56輸出用于向右傾方向調(diào)節(jié)立體攝像機(jī)16的方向的控制信號(hào)。
另一方面，在車輛與基準(zhǔn)狀態(tài)相比右傾的情況下(步驟S23“是”)，立體攝像機(jī)16相對(duì)于期望的姿態(tài)位置右傾進(jìn)行著拍攝。因此，轉(zhuǎn)移到步驟S25，支持控制裝置58從攝像機(jī)姿態(tài)傳感器52的檢測(cè)輸出中取入攝像機(jī)的傾斜，向立體攝像機(jī)結(jié)合裝置56輸出用于向左傾方向調(diào)節(jié)立體攝像機(jī)16的方向的控制信號(hào)。
然后，在步驟S26中，接收到控制信號(hào)的立體攝像機(jī)結(jié)合裝置56驅(qū)動(dòng)設(shè)在內(nèi)部的用于調(diào)節(jié)攝像機(jī)姿態(tài)的機(jī)構(gòu)，將立體攝像機(jī)16的視野調(diào)節(jié)到期望位置。
其中，車輛80的傾斜可以用傾斜傳感器54d的檢測(cè)輸出來檢測(cè)，也可以組合懸掛系統(tǒng)沖程傳感器54e、54f的檢測(cè)輸出、和傾斜傳感器54d的檢測(cè)輸出來計(jì)算傾角。
此外，用于移動(dòng)攝像機(jī)的控制工作不管是基于所謂的現(xiàn)代控制理論還是基于古典控制理論，都可以是反饋控制或前饋控制以及折衷它們的方式，可以應(yīng)用PID控制、H無窮控制、自適應(yīng)模型控制、模糊控制、神經(jīng)網(wǎng)絡(luò)等公知的各種控制方法。例如，在采用一般性的PID等反饋控制的情況下，支持控制裝置58在其控制環(huán)內(nèi)生成與攝像機(jī)姿態(tài)傳感器52的目標(biāo)值和實(shí)際值之間的偏差量對(duì)應(yīng)的控制信號(hào)并輸出到立體攝像機(jī)結(jié)合裝置56，重復(fù)該工作直至該偏差值為“0”，這樣，能夠?qū)z像機(jī)控制到期望的姿態(tài)。
再者，本第3實(shí)施方式的立體攝像機(jī)支持裝置50的控制工作可以與前述第1實(shí)施方式的立體攝像機(jī)支持裝置50的控制工作組合來工作，也可以單獨(dú)工作。
接著，說明本發(fā)明第4實(shí)施方式的立體攝像機(jī)支持裝置50。
第4實(shí)施方式的立體攝像機(jī)支持裝置50與前述的第1實(shí)施方式的立體攝像機(jī)支持裝置50同樣，被包含在圖1所示的立體攝像機(jī)系統(tǒng)中來應(yīng)用。此外，第4實(shí)施方式的立體攝像機(jī)結(jié)合裝置56的結(jié)構(gòu)與圖6所示的第1實(shí)施方式的立體攝像機(jī)結(jié)合裝置56的結(jié)構(gòu)相同。因此，對(duì)與前述第1實(shí)施方式相同的部位附以相同的標(biāo)號(hào)，并省略其詳細(xì)說明。
接著，說明本發(fā)明第4實(shí)施方式的立體攝像機(jī)支持裝置50的工作。在本實(shí)施方式中，立體攝像機(jī)支持裝置50檢測(cè)公路面98的傾斜并校正視野的變化。
圖13A及圖13B是表示公路面的傾斜和立體攝像機(jī)的攝像方向的圖，圖14是表示立體攝像機(jī)支持裝置50的控制工作的概略過程的流程圖。
如圖13A及圖13B所示，在車輛80的行進(jìn)方向前方的公路面98傾斜的情況下，立體攝像機(jī)的視野偏離最佳的狀態(tài)。例如，如圖13A所示，在公路面98為上坡的情況下，在攝像幀中公路面的區(qū)域增加，但是與被攝體100(參照?qǐng)D7)有關(guān)的信息減少。此外，如圖13B所示，在公路面98為下坡的情況下，在攝像幀中與被攝體100(參照?qǐng)D7)有關(guān)的信息增加，但是公路面的區(qū)域減少。
因此，檢測(cè)行進(jìn)方向前方的公路面98的傾斜，根據(jù)它來調(diào)節(jié)立體攝像機(jī)16的攝像方向，使得攝像機(jī)的視野成為期望的狀態(tài)。
以下，參照?qǐng)D14的流程圖來說明前述立體攝像機(jī)支持裝置50的控制工作。
首先，在步驟S31中，支持控制裝置58接收由處理裝置18執(zhí)行的公路面識(shí)別處理的結(jié)果。即，處理裝置18根據(jù)三維距離圖像(包含表示相應(yīng)像素的信息和表示距離的信息)，來辨別行進(jìn)方向的公路區(qū)域和非公路區(qū)域，識(shí)別并提取公路面。
接著，在步驟S32中，支持控制裝置58根據(jù)提取出的公路面信息來求特定的位置。該特定的位置例如可以是公路兩邊的延長(zhǎng)線在圖像幀上交叉的所謂的消失點(diǎn)。然后，在步驟S33中，檢查求出的特定的位置是否位于圖像幀中的規(guī)定的位置以下。即，檢查注視特定位置的仰角是否小于規(guī)定仰角。
這里，在注視特定位置的仰角大于規(guī)定仰角的情況下(步驟S33“否”)，立體攝像機(jī)16相對(duì)于期望的姿態(tài)位置向上。因此，轉(zhuǎn)移到步驟S34，支持控制裝置58從攝像機(jī)姿態(tài)傳感器52的檢測(cè)輸出中取入攝像機(jī)的傾斜，向立體攝像機(jī)結(jié)合裝置56輸出調(diào)節(jié)立體攝像機(jī)16的攝像方向的控制信號(hào)，使得注視特定位置的角度成為規(guī)定的角度。
另一方面，在注視特定位置的仰角小于規(guī)定的仰角的情況下(步驟S33的“是”)，立體攝像機(jī)16相對(duì)于期望的姿態(tài)位置向下。因此，轉(zhuǎn)移到步驟S35，支持控制裝置58從攝像機(jī)姿態(tài)傳感器52的檢測(cè)值中取入攝像機(jī)的傾斜，向立體攝像機(jī)結(jié)合裝置56輸出移動(dòng)立體攝像機(jī)16的攝像方向的控制信號(hào)，使得注視特定位置的角度成為規(guī)定的角度。
然后，在步驟S36中，接收到控制信號(hào)的立體攝像機(jī)結(jié)合裝置56驅(qū)動(dòng)設(shè)在內(nèi)部的用于調(diào)節(jié)攝像機(jī)的姿態(tài)的機(jī)構(gòu)，將立體攝像機(jī)16的視野調(diào)節(jié)到期望的位置。
其中，用于移動(dòng)攝像機(jī)的控制工作不管是基于所謂的現(xiàn)代控制理論還是基于古典控制理論，都可以是反饋控制或前饋控制以及折衷它們的方式，可以應(yīng)用PID控制、H無窮控制、自適應(yīng)模型控制、模糊控制、神經(jīng)網(wǎng)絡(luò)等公知的各種控制方法。
例如，支持控制裝置58在其控制環(huán)內(nèi)生成與行進(jìn)方向前方的公路面98上的攝像機(jī)姿態(tài)傳感器52的目標(biāo)值和控制量之間的控制偏差相應(yīng)的操作量的控制信號(hào)。進(jìn)而，支持控制裝置58依據(jù)預(yù)先準(zhǔn)備的車輛的運(yùn)動(dòng)模型并按照加減速的當(dāng)前值、方向盤的操作角等來生成用于消除只用反饋控制不能完全補(bǔ)償?shù)目刂破畹难a(bǔ)償操作信號(hào)，來補(bǔ)充通過反饋控制進(jìn)行的補(bǔ)償。由此，能夠?qū)崿F(xiàn)沒有偏移且堅(jiān)固(robust)的控制。
即，通過應(yīng)用這種反饋控制和前饋控制的折衷來進(jìn)行控制，即使在預(yù)測(cè)出車輛的姿態(tài)變動(dòng)劇烈、只用反饋控制難以充分減少控制偏差的狀況下，也能夠?qū)崿F(xiàn)跟蹤性高的理想的攝像機(jī)姿態(tài)控制。
此外，本第4實(shí)施方式的立體攝像機(jī)支持裝置50的控制工作可以與前述第1實(shí)施方式的立體攝像機(jī)支持裝置50的控制工作組合來工作，也可以單獨(dú)工作。
接著，說明本發(fā)明第5實(shí)施方式的立體攝像機(jī)支持裝置50。
第5實(shí)施方式的立體攝像機(jī)支持裝置50與前述第1實(shí)施方式的立體攝像機(jī)支持裝置50同樣，被包含在圖1所示的立體攝像機(jī)系統(tǒng)中來應(yīng)用。此外，第5實(shí)施方式的立體攝像機(jī)結(jié)合裝置56的結(jié)構(gòu)與圖6所示的第1實(shí)施方式的立體攝像機(jī)結(jié)合裝置56的結(jié)構(gòu)相同。因此，對(duì)與第1實(shí)施方式相同的部位附以相同的標(biāo)號(hào)，并省略其詳細(xì)說明。
接著，說明本發(fā)明第5實(shí)施方式的立體攝像機(jī)支持裝置50的工作。在本實(shí)施方式中，立體攝像機(jī)支持裝置50如上述的第4實(shí)施方式的圖13A及圖13B所示，檢測(cè)公路面98的傾斜并校正視野的變化。但是，第5實(shí)施方式與第4實(shí)施方式的不同點(diǎn)在于，根據(jù)來自GPS42的信息來把握公路面的傾斜。
圖15是表示立體攝像機(jī)支持裝置50的控制工作的概略過程的流程圖。
首先，在步驟S41中，支持控制裝置58根據(jù)來自GPS42(參照?qǐng)D1)的地圖信息，接收車輛80的當(dāng)前位置和行進(jìn)方向前方的公路的地形信息。然后，在步驟S42中，支持控制裝置58預(yù)測(cè)出前方的公路面98的傾斜，在后續(xù)的步驟S43中，檢查預(yù)測(cè)出的傾斜是否是為上坡。
這里，在前方的公路的傾斜為下坡的情況下(步驟S43“否”)，判斷為立體攝像機(jī)16的攝像方向相對(duì)于最佳的姿態(tài)位置向上。因此，轉(zhuǎn)移到步驟S44，支持控制裝置58從攝像機(jī)姿態(tài)傳感器52的檢測(cè)輸出中取入攝像機(jī)的傾斜的數(shù)據(jù)。然后，計(jì)算與該角度對(duì)應(yīng)的向下校正量，從支持控制裝置58向立體攝像機(jī)結(jié)合裝置56輸出移動(dòng)攝像機(jī)的控制信號(hào)。
另一方面，在前方公路的傾斜為上坡的情況下(步驟S43“是”)，判斷為立體攝像機(jī)16的攝像方向相對(duì)于最佳的姿態(tài)位置向下。因此，轉(zhuǎn)移到步驟S45，支持控制裝置58從攝像機(jī)姿態(tài)傳感器52的檢測(cè)輸出中取入攝像機(jī)的傾斜的數(shù)據(jù)。然后，計(jì)算與該角度對(duì)應(yīng)的向上校正量，從支持控制裝置58向立體攝像機(jī)結(jié)合裝置56輸出調(diào)節(jié)攝像機(jī)姿態(tài)的控制信號(hào)。
其后，轉(zhuǎn)移到步驟S46，接收到控制信號(hào)的立體攝像機(jī)結(jié)合裝置56驅(qū)動(dòng)設(shè)在內(nèi)部的用于調(diào)節(jié)攝像機(jī)的姿態(tài)的機(jī)構(gòu)，將立體攝像機(jī)16的視野調(diào)節(jié)得與期望位置吻合。
其中，用于移動(dòng)攝像機(jī)的控制工作不管是基于所謂的現(xiàn)代控制理論還是基于古典控制理論，都可以是反饋控制或前饋控制以及折衷它們的方式，可以應(yīng)用PID控制、H無窮控制、自適應(yīng)模型控制、模糊控制、神經(jīng)網(wǎng)絡(luò)等公知的各種控制方法。
例如，支持控制裝置58在其控制環(huán)內(nèi)生成與行進(jìn)方向前方的公路面98上的攝像機(jī)姿態(tài)傳感器52的目標(biāo)值和控制量之間的控制偏差相應(yīng)的操作量的控制信號(hào)。進(jìn)而，支持控制裝置58依據(jù)預(yù)先準(zhǔn)備的車輛的運(yùn)動(dòng)模型并按照加減速的當(dāng)前值、方向盤的操作角等來生成用于消除只用反饋控制不能完全補(bǔ)償?shù)目刂破畹难a(bǔ)償操作信號(hào)，來補(bǔ)充通過反饋控制進(jìn)行的補(bǔ)償。由此，能夠?qū)崿F(xiàn)沒有偏移且堅(jiān)固的控制。
即，通過應(yīng)用這種反饋控制和前饋控制的折衷來進(jìn)行控制，即使在預(yù)測(cè)為車輛的姿態(tài)變動(dòng)劇烈、只用反饋控制難以充分減少控制偏差的狀況下，也能夠?qū)崿F(xiàn)跟蹤性高的理想的攝像機(jī)姿態(tài)控制。
此外，本第5實(shí)施方式的立體攝像機(jī)支持裝置50的控制工作可以與前述第1實(shí)施方式的立體攝像機(jī)支持裝置50的控制工作組合來工作，也可以單獨(dú)工作。
以上，采用本發(fā)明的各實(shí)施方式的立體攝像機(jī)支持裝置50，能夠確保不受公路上行駛的前方車輛的形狀、與前方車輛的車距、搭載了本立體攝像機(jī)的車輛的行駛狀態(tài)、或公路狀態(tài)造成的前后左右的車體的傾斜、前方的公路面的傾斜等影響的最佳的攝像視野。
接著，參照?qǐng)D16A至圖16C來說明用應(yīng)用本發(fā)明的立體攝像機(jī)支持裝置50的立體攝像機(jī)系統(tǒng)來向駕駛員顯示影像的方法。立體攝像機(jī)16一般可以采用具有多個(gè)視點(diǎn)的結(jié)構(gòu)，但是圖16A至圖16C為了簡(jiǎn)單，表現(xiàn)為具有2個(gè)視點(diǎn)的結(jié)構(gòu)。
從圖16A所示的立體攝像機(jī)16，得到左側(cè)視野94a的影像104a(參照?qǐng)D16B)、和右側(cè)視野94b的影像104b(參照?qǐng)D16B)。因此，控制裝置20按照駕駛員的駕駛位置來切換上述影像104a、104b并顯示在顯示裝置32上。
例如，在駕駛員位于左側(cè)的情況下，將左側(cè)的影像104a顯示在顯示裝置32上；而在駕駛員位于右側(cè)的情況下，將右側(cè)的影像104b顯示在顯示裝置32上。由此，能夠盡量減少駕駛員的視點(diǎn)和影像的視點(diǎn)之間的偏差，產(chǎn)生影像看起來更自然這一效果。
其中，在前述實(shí)施方式中，立體攝像機(jī)支持裝置被搭載在車上，但是本發(fā)明并不限于此。即，本發(fā)明可以應(yīng)用于移動(dòng)體上作為測(cè)距之眼搭載的所有立體攝像機(jī)。因此，本發(fā)明也能夠搭載在汽車、船舶、航空器、機(jī)器人等移動(dòng)體上。
此外，本發(fā)明的前述系統(tǒng)的實(shí)施方式未必限于作為測(cè)距之眼而搭載在車輛或機(jī)器人那樣的移動(dòng)體上的情況，例如，以下述形態(tài)來實(shí)施也極其有效攝像機(jī)自身像監(jiān)視攝像機(jī)那樣被固定了在水平面上的位置，來測(cè)量與接近自己以及離開自己遠(yuǎn)去的相對(duì)移動(dòng)的物體之間的距離。
接著，說明本發(fā)明的第6實(shí)施方式。
其中，構(gòu)成本發(fā)明的各部也可以看作實(shí)現(xiàn)該各部的功能的各個(gè)裝置，所以以下在實(shí)施方式的說明中將它們成為裝置。其中，校準(zhǔn)數(shù)據(jù)保持部由存儲(chǔ)、保持與校準(zhǔn)有關(guān)的數(shù)據(jù)的校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置來實(shí)現(xiàn)。
本發(fā)明的第6實(shí)施方式說明攝影裝置內(nèi)部的校準(zhǔn)偏差檢測(cè)。
圖17是表示本發(fā)明第6實(shí)施方式的校準(zhǔn)偏差檢測(cè)裝置的基本結(jié)構(gòu)例的方框圖。本實(shí)施方式是檢測(cè)與立體攝影裝置的內(nèi)部校準(zhǔn)參數(shù)有關(guān)的校準(zhǔn)偏差的方法。
在圖17中，該校準(zhǔn)偏差檢測(cè)裝置110具有向各部分的裝置發(fā)送控制信號(hào)或者控制整個(gè)序列的控制裝置112、狀況判斷裝置114、調(diào)整處理裝置116、特征提取裝置118、校準(zhǔn)偏差判定裝置120、偏差結(jié)果呈現(xiàn)裝置122、以及校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置124。
該校準(zhǔn)偏差檢測(cè)裝置110是拍攝立體圖像、并檢測(cè)應(yīng)檢測(cè)校準(zhǔn)偏差的攝影裝置128是否有校準(zhǔn)偏差的裝置。
上述狀況判斷裝置114用于判斷是否進(jìn)行校準(zhǔn)偏差檢測(cè)。上述校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置124預(yù)先存儲(chǔ)著攝影裝置128的校準(zhǔn)數(shù)據(jù)。
此外，上述調(diào)整處理裝置116用于對(duì)由攝影裝置128拍攝到的立體圖像進(jìn)行調(diào)整處理。特征提取裝置118從上述調(diào)整處理裝置116進(jìn)行過調(diào)整處理的立體圖像中提取在立體圖像內(nèi)對(duì)應(yīng)的特征。
校準(zhǔn)偏差判定裝置120利用由特征提取裝置118提取出的特征、和存儲(chǔ)在校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置124中的校準(zhǔn)數(shù)據(jù)，來判定是否有校準(zhǔn)偏差。偏差結(jié)果呈現(xiàn)裝置122根據(jù)該偏差判定結(jié)果來報(bào)告偏差結(jié)果。
偏差結(jié)果呈現(xiàn)裝置122構(gòu)成本發(fā)明的構(gòu)件即偏差結(jié)果呈現(xiàn)部，該偏差結(jié)果呈現(xiàn)部可采用后面將根據(jù)圖41來描述的顯示裝置220作為顯示器并作為自己的構(gòu)件來保有的形態(tài)，但是更一般地，該偏差結(jié)果呈現(xiàn)部不限于這種連顯示器都作為自己的部分來保有的方式，有時(shí)也可僅采用下述方式根據(jù)表示校準(zhǔn)偏差判定裝置120的判定結(jié)果的信號(hào)，來生成用于呈現(xiàn)偏差結(jié)果的輸出信號(hào)以及數(shù)據(jù)。
其中，校準(zhǔn)偏差檢測(cè)裝置110內(nèi)的各裝置可以由硬件或電路構(gòu)成，也可以由計(jì)算機(jī)或數(shù)據(jù)處理裝置的軟件來處理。
這里，在具體說明第6實(shí)施方式前，概要說明本發(fā)明中重要的與立體攝影有關(guān)的技術(shù)內(nèi)容。
首先，如果利用立體圖像用攝像裝置來拍攝圖像，則該圖像由攝像裝置內(nèi)的攝像器件(例如CCD或CMOS等半導(dǎo)體元件)成像為圖像，并且成為圖像信號(hào)。該圖像信號(hào)是模擬或數(shù)字信號(hào)，但是在校準(zhǔn)偏差檢測(cè)裝置內(nèi)為數(shù)字圖像數(shù)據(jù)。數(shù)字?jǐn)?shù)據(jù)可以表現(xiàn)為二維數(shù)組，當(dāng)然也可以是六邊形細(xì)密填充的蜂窩構(gòu)造的二維數(shù)組。
在攝影裝置發(fā)送模擬圖像的情況下，在校準(zhǔn)偏差檢測(cè)裝置內(nèi)或該裝置外準(zhǔn)備幀存儲(chǔ)器，將該圖像變換為數(shù)字圖像。假定在校準(zhǔn)偏差檢測(cè)裝置內(nèi)規(guī)定的圖像的像素可以定義為正方形或長(zhǎng)方格子狀。
現(xiàn)在，用(u，v)等二維坐標(biāo)來表現(xiàn)圖像的坐標(biāo)。
首先，如圖18所示，拍攝立體圖像的攝影裝置128由左右2臺(tái)攝像機(jī)130a、130b構(gòu)成。此外，設(shè)規(guī)定拍攝左圖像的攝像機(jī)130a的坐標(biāo)系為左攝像機(jī)坐標(biāo)系L，拍攝右圖像的坐標(biāo)系為右攝像機(jī)坐標(biāo)系R。此外，作為立體圖像，用(uL，vL)來表現(xiàn)左攝像機(jī)內(nèi)的圖像坐標(biāo)，用(uR，vR)等來表現(xiàn)右攝像機(jī)內(nèi)的圖像坐標(biāo)值。其中，設(shè)132a、132b分別為左攝像機(jī)圖像面、右攝像機(jī)圖像面。
此外，也可以定義整個(gè)攝影裝置128規(guī)定的基準(zhǔn)坐標(biāo)系。將該基準(zhǔn)坐標(biāo)系例如設(shè)為W。當(dāng)然，很明顯，作為基準(zhǔn)坐標(biāo)系，也可以采用其中一個(gè)攝像機(jī)坐標(biāo)系L或R。
以上，考慮了作為攝影裝置使用2臺(tái)攝像機(jī)進(jìn)行立體攝影來生成立體圖像的結(jié)構(gòu)，但是除此之外也有生成立體圖像的方法。例如，有在1臺(tái)攝像機(jī)前安裝立體適配器、同時(shí)將左右圖像拍攝到1臺(tái)的CCD或CMOS等攝像器件中的方法(例如參照本案申請(qǐng)人的(日本)特開平8-171151號(hào)公報(bào)等)。
在這種立體適配器的情況下，如圖19A所示，用具有左反射鏡組134a、右反射鏡組134b的立體適配器拍攝的圖像如圖19B的左右虛擬攝像機(jī)位置所示，好像存在2臺(tái)攝像裝置、2臺(tái)幀存儲(chǔ)器一樣，可以展開為普通的立體攝像機(jī)。此外，作為立體適配器的變形例，也可以像前述(日本)特開平8-171151號(hào)公報(bào)那樣設(shè)置光學(xué)變形元件，以便將左右立體圖像在CCD面上上下分割。
本發(fā)明的立體攝影可以是這樣用2臺(tái)或2臺(tái)以上的多個(gè)攝像機(jī)拍攝的立體圖像。或者，也可以是利用立體適配器拍攝的立體圖像。
在本發(fā)明中，這種拍攝立體圖像的裝置的光學(xué)系統(tǒng)采用在光學(xué)透鏡系統(tǒng)中有透鏡失真的情況下也適用的裝置結(jié)構(gòu)。但是，首先為了簡(jiǎn)化說明，建立在光學(xué)系統(tǒng)中沒有透鏡失真的情況下的攝像的數(shù)學(xué)模型，接著處理更一般化的包含透鏡失真的情況。
為此，首先考慮用針孔攝像機(jī)對(duì)攝像裝置和幀存儲(chǔ)器的光學(xué)特性進(jìn)行模型化的情況。
即，設(shè)與左圖像關(guān)聯(lián)的針孔攝像機(jī)模型的坐標(biāo)系為左攝像機(jī)坐標(biāo)系L，與右圖像關(guān)聯(lián)的針孔攝像機(jī)模型的坐標(biāo)系為右攝像機(jī)坐標(biāo)系R。此外，假設(shè)左攝像機(jī)坐標(biāo)系L內(nèi)的點(diǎn)為(xL，xL，zL)，其圖像對(duì)應(yīng)點(diǎn)為(uL，vL)，右攝像機(jī)坐標(biāo)系R內(nèi)的點(diǎn)為(xR，yR，zR)，其圖像對(duì)應(yīng)點(diǎn)為(uR，vR)，則考慮圖18所示的攝像機(jī)位置CL、CR，如下式所示來求。
uL=αuLxLzL+u0LvL=αvLyLzL+v0L,uR=αuRxRzR+u0RvR=αvRyRzR+v0R---(1)]]>這里，(αuL，αvL)是左攝像機(jī)系統(tǒng)的縱及橫向的圖像放大倍數(shù)，(u0L，v0L)是圖像中心，(αuR，αvR)是右攝像機(jī)系統(tǒng)的縱及橫向的圖像放大倍數(shù)，(u0R，v0R)是圖像中心。如果將它們表現(xiàn)為矩陣，設(shè)wL、wR為中間變量，則也可以表示為wLuLuL1=αuL0u0L0αvLv0L001xLyLzL,]]>wRuRuR1=αuR0u0R0αvRv0R001xRyRzR---(2)]]>這里，在本數(shù)學(xué)模型中，將具有攝像機(jī)的橫及縱向的圖像放大倍數(shù)、與攝像機(jī)的焦距有關(guān)的參數(shù)模型化了，當(dāng)然可以只用與攝像機(jī)的焦距有關(guān)的參數(shù)來描述這些參數(shù)。
設(shè)用基準(zhǔn)坐標(biāo)系W定義的點(diǎn)P(x，y，z)在左圖像內(nèi)的位置為(uL，vL)，在右圖像內(nèi)的位置為(uR，vR)，可以考慮與左圖像中設(shè)想的攝像裝置和幀存儲(chǔ)器對(duì)應(yīng)的左攝像機(jī)130a在基準(zhǔn)坐標(biāo)系中的位置CL(左攝像機(jī)坐標(biāo)系的原點(diǎn))、和與右圖像中設(shè)想的攝像裝置和幀存儲(chǔ)器對(duì)應(yīng)的右攝像機(jī)130b在基準(zhǔn)坐標(biāo)系中的位置CR(右攝像機(jī)坐標(biāo)系的原點(diǎn))。此時(shí)，從基準(zhǔn)坐標(biāo)系W的點(diǎn)P(x，y，z)投影到左(uL，vL)的變換式、和從同一點(diǎn)投影到右(uR，vR)的變換式可以如下表示。
uL=αuLr11Lx+r12Ly+r13Lz+txLr31Lx+r32L+r33L+tzL+u0LvL=αvLr21Lx+r22Ly+r23Lz+tyLr31Lx+r32Ly+r33Lz+tzL+v0L---(3)]]>uR=αuRr11Rx+r12Ry+r13Rz+txRr31Rx+r32Ry+r33Rz+tzR+u0RvL=αvRr21Rx+r22Ry+r23Rz+tyRr31Rx+r32Ry+r33Rz+tzR+v0R---(4)]]>這里，RL=(rijL),TL=[txL,tyL,tzL]t]]>是構(gòu)成從基準(zhǔn)坐標(biāo)系到左攝像機(jī)坐標(biāo)系L的坐標(biāo)變換的各個(gè)3×3旋轉(zhuǎn)矩陣和平移矢量。此外，RR=(rijR),]]>TR=[txR,tyR,tzR]t]]>是構(gòu)成從基準(zhǔn)坐標(biāo)系到右攝像機(jī)坐標(biāo)系R的坐標(biāo)變換的各個(gè)3×3旋轉(zhuǎn)矩陣和平移矢量。
另一方面，在基準(zhǔn)坐標(biāo)系例如采用了左攝像機(jī)坐標(biāo)系的情況下，如下式所示。
RL=100010001,TL=000---(5)]]>[失真校正]另一方面，在攝像裝置的光學(xué)透鏡等的透鏡失真對(duì)于三維計(jì)測(cè)要求的精度不能忽略的情況下，需要考慮包含透鏡失真的光學(xué)系統(tǒng)。在此情況下，上述式(3)、(4)可以用以下所示的式(7)、(8)來表現(xiàn)。在該式中，在表現(xiàn)透鏡失真時(shí)表示的是徑向失真和切向失真，當(dāng)然也可以是其他失真表現(xiàn)。
這里，在設(shè)與左右攝像機(jī)的透鏡失真有關(guān)的參數(shù)為dL=(k1L,g1L,g2L,g3L,g4L)dR=(k1R,g1R,g2R,g3R,g4R)---(6)]]>時(shí)，(左)u~pL=xLzL=r11Lx+r12Ly+r13Lz+txLr31Lx+r32Ly+r33Lz+tzLv~pL=yLzL=r21Lx+r22Ly+r23Lz+tyLr31Lx+r32Ly+r33Lz+tzLu~dL=u~pL+(g1L+g3L)(u~pL)2+g4Lu~pLv~pL+g1L(v~pL)2+k1Lu~pL((u~pL)2+(v~pL)2)---(7)v~dL=v~pL+g2L(u~pL)2+g3Lu~pLv~pL+(g2L+g4L)(v~pL)2+k1Lv~pL((u~pL)2+(v~pL)2)uL=αuLu~dL+u0LvL=αvLv~dL+v0L]]>(右)u~pR=xRzR=r11Rx+r12Ry+r13Rz+txRr31Rx+r32Ry+r33Rz+tzRv~pR=yRzR=r21Rx+r22Ry+r23Rz+tyRr31Rx+r32Ry+r33Rz+tzRu~dR=u~pR+(g1R+g3R)(u~pR)2+g4Ru~pRv~pR+g1R(v~pR)2+k1Ru~pR((u~pR)2+(v~pR)2)---(8)v~dR=v~pR+g2R(u~pR)2+g3Ru~pRv~pR+(g2R+g4R)(v~pR)2+k1Rv~pR((u~pR)2+(v~pR)2)uR=αuRu~dR+u0RvR=αvRv~dR+v0R]]>這里，(u~pL,v~pL),(u~dL,v~dL)]]>和(u~pR,v~pR),(u~dR,v~dR)]]>是用于表現(xiàn)透鏡失真的中間參數(shù)，是左及右攝像機(jī)圖像坐標(biāo)系中的歸一化過的坐標(biāo)，p是表示消除失真后的歸一化圖像坐標(biāo)的下標(biāo)，d是表示消除失真前(包含失真要素)的歸一化圖像坐標(biāo)的下標(biāo)。
此外，所謂消除失真或校正失真的步驟，是指如下所述地生成圖像的過程。
(校正左圖像的失真)1)對(duì)校正失真后的各圖像數(shù)組(upL，vpL)，計(jì)算歸一化了的圖像坐標(biāo)。
u~pL=upL-u0LαuL,v~pL=vpL-v0LαvL---(9)]]>2)利用下式來計(jì)算校正失真前的歸一化了的圖像坐標(biāo)。
u~dL=u~pL+(g1L+g3L)(u~pL)2+g4Lu~pLv~pL+g1L(v~pL)2+k1Lu~pL((u~pL)2+(v~pL)2)v~dL=v~pL+g2L(u~pL)2+g3Lu~pLv~pL+(g2L+g4L)(v~pL)2+k1Lv~pL((u~pL)2+(v~pL)2)---(10)]]>3)通過uL=αuLu~dL+u0L,vL=αvLv~dL+v0L,]]>來計(jì)算校正失真前的左原圖像所對(duì)應(yīng)的圖像坐標(biāo)，利用其鄰近的像素等的像素值，來計(jì)算與(upL，vpL)對(duì)應(yīng)的像素值。
(校正右圖像的失真)1)對(duì)校正失真后的各圖像數(shù)組(upR，vpR)，計(jì)算歸一化了的圖像坐標(biāo)。
u~pR=upR-u0RαuR,v~pR=vpR-v0RαvR---(11)]]>2)利用下式來計(jì)算校正失真前的歸一化了的圖像坐標(biāo)。
u~dR=u~pR+(g1R+g3R)(u~pR)2+g4Ru~pRv~pR+g1R(v~pR)2+k1Ru~pR((u~pR)2+(v~pR)2)v~dR=v~pR+g2R(u~pR)2+g3Ru~pRv~pR+(g2R+g4R)(v~pR)2+k1Rv~pR((u~pR)2+(v~pR)2)---(12)]]>3)通過uR=αuRu~dR+u0R,vR=αvRv~dR+v0R,]]>來計(jì)算校正失真前的左原圖像所對(duì)應(yīng)的圖像坐標(biāo)，利用其鄰近的像素等的像素值，來計(jì)算與(upR，vpR)對(duì)應(yīng)的像素值。
設(shè)由2臺(tái)攝像機(jī)構(gòu)成的拍攝立體圖像的攝影裝置的左攝像機(jī)的坐標(biāo)系為L(zhǎng)、右攝像機(jī)的坐標(biāo)系為R，來考慮這些攝像機(jī)的位置關(guān)系。坐標(biāo)系L和坐標(biāo)系R之間的坐標(biāo)值的關(guān)系可以利用坐標(biāo)變換(旋轉(zhuǎn)矩陣和平移矢量)如下來表現(xiàn)。
xLyLzL=LRRxRyRzR+LTR---(13)]]>這里，可以用RRL=Rot(φz)Rot(φy)Rot(φx)=cosφz-sinφz0sinφzcosφz0001cosφy0sinφy010-sinφy0cosφy1000cosφx-sinφx0sinφxcosφx---(14)]]> 來表示，可以將6個(gè)參數(shù)e＝(φx，φy，φz，tx，ty，tz)作為外部參數(shù)表現(xiàn)。
此外，如前所述，分別獨(dú)立地表現(xiàn)了左右攝像機(jī)的內(nèi)部參數(shù)用用下式表示。
cL=(αuL,αvL,u0L,v0L,dL)cR=(αuR,αvR,u0R,v0R,dR)---(16)]]>總之，由2臺(tái)攝像機(jī)構(gòu)成的攝影裝置的情況下的攝像機(jī)參數(shù)可以利用p＝(cL，cR，e)…(17)作為攝影裝置的內(nèi)部校準(zhǔn)參數(shù)。
在本發(fā)明中，將該攝影裝置的內(nèi)部校準(zhǔn)參數(shù)p等作為校準(zhǔn)參數(shù)，存儲(chǔ)在校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置中。假設(shè)校準(zhǔn)數(shù)據(jù)至少包含該攝像機(jī)校準(zhǔn)參數(shù)p。
但是，在可以忽略攝影裝置的透鏡失真的情況下，也可以忽略失真參數(shù)的部分(dL，dR)，或者設(shè)為零。
此外，所謂攝影裝置的內(nèi)部校準(zhǔn)，可以定義為估計(jì)上述攝影裝置的內(nèi)部參數(shù)和外部參數(shù)的組即p＝(cL，cR，e)的問題。
此外，所謂檢測(cè)校準(zhǔn)偏差，是指檢測(cè)這樣設(shè)定的校準(zhǔn)參數(shù)的值是否已變化。
如前所述，也需要考慮攝影裝置和外部裝置間的校準(zhǔn)。
在此情況下，例如將左攝像機(jī)坐標(biāo)系L取作攝影裝置的基準(zhǔn)坐標(biāo)系，規(guī)定左攝像機(jī)坐標(biāo)系和外部裝置間的位置姿態(tài)關(guān)系即相當(dāng)于校準(zhǔn)。例如，假設(shè)外部裝置的坐標(biāo)系為O，從外部裝置坐標(biāo)系O到左攝像機(jī)坐標(biāo)系L的坐標(biāo)變換參數(shù)如式(18)所示，則可以通過利用式(19)所示的6個(gè)參數(shù)來描述其位置姿態(tài)關(guān)系。若假設(shè)ROL=r11′r12′r13′r21′r22′r23′r31′r32′r33′,TOL=tx′ty′tz′---(18)]]>則通過6個(gè)參數(shù)e′＝(φ′x，φ′y，φ′z，t′x，t′y，t′z) …(19)來描述其位置姿態(tài)關(guān)系。這里，φ′x、φ′y、φ′z是與LRO有關(guān)的3個(gè)旋轉(zhuǎn)分量參數(shù)。
在用立體圖像來進(jìn)行圖像計(jì)測(cè)時(shí)，如后面也描述的那樣，在左右圖像內(nèi)進(jìn)行對(duì)應(yīng)點(diǎn)搜索很重要。該對(duì)應(yīng)點(diǎn)搜索中重要的是所謂的核線約束這一概念。以下，參照?qǐng)D20來進(jìn)行說明。
即，是下述約束條件在向?qū)ψ笥以瓐D像140a、140b進(jìn)行了失真校正而得到的左右圖像142a、142b提供了準(zhǔn)確的校準(zhǔn)參數(shù)p＝(cL，cR，e)時(shí)，與左圖像內(nèi)的特征點(diǎn)(uL，vL)對(duì)應(yīng)的右圖像內(nèi)的特征點(diǎn)(uR，vR)必須在144所示的某個(gè)直線上。將該直線稱為核線(epipolar line)。
這里重要的是，在圖像內(nèi)失真很顯著時(shí)，必須預(yù)先進(jìn)行失真校正或除去。此外，在進(jìn)行了失真校正的歸一化圖像中，核線約束也同樣成立。因此，以下，首先在進(jìn)行了失真校正、而且歸一化了的圖像面內(nèi)，定義本發(fā)明考慮的核線。
對(duì)左原圖像中得到的特征點(diǎn)(uL，vL)，設(shè)式(7)的途中出現(xiàn)的歸一化了的圖像內(nèi)進(jìn)行過失真校正的特征點(diǎn)的位置為 由左攝像機(jī)坐標(biāo)系規(guī)定的三維點(diǎn)(x，y，z)在左攝像機(jī)圖像內(nèi)被投影到(uL，vL)，假設(shè)它被變換為上述 則u~L=xz,v~L=yz---(20)]]>成立。另一方面，(x，y，z)在右攝像機(jī)圖像內(nèi)被投影到(uR，vR)，假設(shè)在歸一化了的攝像機(jī)圖像內(nèi)進(jìn)行過失真校正的圖像坐標(biāo)為 則u~R=r11x+r12y+r13z+txr31x+r32y+r33z+tz,v~R=r21x+r22y+r23z+tyr31x+r32y+r33z+tz---(21)]]>成立。這里，rij和tx、ty、tz是表示從右攝像機(jī)坐標(biāo)系R到左攝像機(jī)坐標(biāo)系L的坐標(biāo)變換的旋轉(zhuǎn)矩陣和平移矢量的元素，用LRR＝(rij)3×3，LTR＝[tx，ty，tz]t…(22)來表示。將式(20)代入式(21)，消去z后，方程式u~R{(r31u~L+r32v~L+r33)ty-(r21u~L+r22v~L+r23)tz}+v~R{(r11u~L+r12v~L+r13)tz-(r31u~L+r32v~L+r33)tx}+(r21u~L+r22v~L+r23)tx-(r11u~L+r12v~L+r13)ty=0---(23)]]>成立。這里，設(shè)a~=(r31u~L+r32v~L+r33)ty-(r21u~L+r22v~L+r23)tzb~=(r11u~L+r12v~L+r13)tz-(r31u~L+r32v~L+r33)txc~=(r21u~L+r22v~L+r23)tx-(r11u~L+r12v~L+r13)ty---(24)]]>則得到如下直線。
a~u~R+b~v~R+c~=0---(25)]]>它表示歸一化了的圖像面內(nèi)的核線。
以上，在歸一化了的圖像面中進(jìn)行了考慮，但是在進(jìn)行過失真校正的圖像面中也同樣能夠?qū)С龊司€的方程式。
具體地說，對(duì)進(jìn)行過失真校正的左圖像和右圖像的對(duì)應(yīng)點(diǎn)的坐標(biāo)值(upL，vpL)、(upR，vpR)，通過解下式，upL=αuLxz+u0L,vpL=αvLyz+v0L---(26)]]>upL=αuRr11x+r12y+r13z+txr31x+r32y+r33z+tz+u0L,vpR=αvRr21x+r22y+r23z+tyr31x+r32y+r33z+tz+v0R---(27)]]>與式(9)同樣地，能夠?qū)С龊司€的方程式aupR+bvpR+c=0---(28)]]>[調(diào)整處理]以上，以左右圖像內(nèi)的特征點(diǎn)考慮了核線約束，但是作為其他方法，調(diào)整(rectification)處理這一方法在立體圖像處理中很常用。
以下，說明本發(fā)明的調(diào)整。
進(jìn)行調(diào)整處理后，能夠?qū)С鋈缦录s束左右圖像內(nèi)對(duì)應(yīng)的特征點(diǎn)都在同一水平直線上。換言之，在調(diào)整處理后的圖像中，左圖像的同一直線上的特征點(diǎn)組，能夠在右圖像上將同一直線定義為核線。
圖21A及圖21B示出了該狀況。圖21A示出了調(diào)整前的圖像，圖21B示出了調(diào)整后的圖像。圖中146a、146b分別是點(diǎn)A、點(diǎn)B的對(duì)應(yīng)點(diǎn)存在的直線，148表示將對(duì)應(yīng)點(diǎn)配置在同一直線上的核線。
為了實(shí)現(xiàn)這種調(diào)整，如圖22所示，將左右攝像機(jī)原圖像分別變換得相互水平。此時(shí)，通過不移動(dòng)左攝像機(jī)坐標(biāo)系L和右攝像機(jī)坐標(biāo)系R的原點(diǎn)CL、CR，只變更攝像機(jī)坐標(biāo)系的軸，來生成新的左右圖像面。
其中，在圖22中，150a表示調(diào)整前的左圖像面，150b表示調(diào)整前的右圖像面，152a表示調(diào)整后的左圖像面，152b表示調(diào)整后的右圖像面，154表示圖像坐標(biāo)(uR，vR)的調(diào)整前，156表示圖像坐標(biāo)(uR，vR)的調(diào)整后，158表示調(diào)整前的核線，160表示調(diào)整后的核線，162表示三維點(diǎn)。
設(shè)左攝像機(jī)坐標(biāo)系L和右攝像機(jī)坐標(biāo)系R進(jìn)行過調(diào)整后的坐標(biāo)系分別為L(zhǎng)Rect、RRect。如前所述，L和LRect、R和RRect的原點(diǎn)一致。
以下考慮2個(gè)坐標(biāo)系的坐標(biāo)系間的坐標(biāo)變換，但是此前將基準(zhǔn)坐標(biāo)系取為左攝像機(jī)坐標(biāo)系L。(將基準(zhǔn)坐標(biāo)系取為其他坐標(biāo)系也同樣。)此時(shí)，如下定義調(diào)整后的左攝像機(jī)坐標(biāo)系LRect和右攝像機(jī)坐標(biāo)系RRect。
首先，考慮從左攝像機(jī)坐標(biāo)系L的原點(diǎn)到右攝像機(jī)坐標(biāo)系R的原點(diǎn)的矢量。它當(dāng)然是以基準(zhǔn)坐標(biāo)系為基準(zhǔn)測(cè)得的。
此時(shí)，設(shè)該矢量為T＝[tx，ty，tz] …(29)。
其大小為||T||=tx2+ty2+tz2.]]>此時(shí)，定義以下3個(gè)方向矢量{e1，e2，e3} 此時(shí)，將e1、e2、e3取作左右調(diào)整處理后的左攝像機(jī)坐標(biāo)系LRect和右攝像機(jī)坐標(biāo)系RRect的x、y、z軸的方向矢量。即，LRLRect＝LRRRect＝[e1，e2，e3]…(31)此外，根據(jù)各個(gè)原點(diǎn)的取法，LTLRect＝0，LTRRect＝0…(32)成立。
這樣設(shè)定后，如圖21A、圖21B或圖22所示，不言自明，在歸一化了的圖像空間中，左右的對(duì)應(yīng)點(diǎn)被配置在一條直線上(核線上)。
接著，考慮攝像機(jī)的歸一化了的攝像機(jī)圖像內(nèi)的點(diǎn) 和調(diào)整后的歸一化了的攝像機(jī)圖像內(nèi)的變換點(diǎn) 之間的對(duì)應(yīng)關(guān)系。為此，假設(shè)同一三維點(diǎn)在左攝像機(jī)坐標(biāo)系L中用(xL，yL，zL)來表現(xiàn)，在調(diào)整后的左攝像機(jī)坐標(biāo)系中用(xLRect，yLRect，zLRect)來表現(xiàn)。此外，如果考慮(xL，yL，zL)在歸一化了的圖像面中的位置 和(xLRect，yLRect，zLRect)在歸一化了的圖像面中的位置 則利用中間變量 使以下方程式成立w~Lu~Lv~L1=xLyLzL,w~LRectu~LRectv~LRect1=xLRectyLRectzLRect......(33)]]>此時(shí)，w~Lu~Lv~L1=xLyLzL,w~LRectu~LRectv~LRect1=xLRectyLRectzLRect······(33)]]>成立，所以方程式w~*Lu~Lv~L1=RLRectLu~LRectv~LRect1······(35)]]>成立。
同樣，對(duì)于右攝像機(jī)圖像，在歸一化了的攝像機(jī)圖像內(nèi)的點(diǎn) 和調(diào)整后的歸一化了的攝像機(jī)圖像內(nèi)的變換點(diǎn) 之間，如下方程式w~*Ru~Rv~R1=RLRRRRectLu~RRectv~RRect1=RRRectRu~RRectv~RRect1······(36)]]>也成立。
因此，在左攝像機(jī)系統(tǒng)中，假設(shè)LRLRect的元素為(rij)，與調(diào)整后的歸一化了的圖像面的 對(duì)應(yīng)的調(diào)整前的歸一化了的圖像內(nèi)位置 如下所示。
u~L=r11u~LRect+r12v~LRect+r13r31u~LRect+r32v~LRect+r33v~L=r21u~LRect+r22v~LRect+r23r31u~LRect+r32v~LRect+r33......(37)]]>在右攝像機(jī)系統(tǒng)中也同樣。
以上，用不包含失真校正的攝像機(jī)系統(tǒng)進(jìn)行了說明，但是在包含失真校正的實(shí)際情況下，利用以下方法即可。
其中，以下的步驟中的調(diào)整后的圖像的u方向和v方向放大倍數(shù)αuRect、αvRect和圖像中心u0Rect、v0Rec，t根據(jù)調(diào)整過的圖像的大小來適當(dāng)?shù)卦O(shè)定即可。
首先，作為步驟RecL1，決定αuRect、αvRect、u0Rect、v0Rect等參數(shù)。
作為步驟RecL2，對(duì)調(diào)整后的左圖像的各像素點(diǎn)(uRectL，vRectL)，RecL2-1)計(jì)算 RecL2-2)通過解下式，w~Lu~Lv~L1=RLRectLu~RectLv~RectL1......(39)]]>來計(jì)算出歸一化了的像素值 RecL2-3)計(jì)算附加了透鏡失真的歸一化了的如下坐標(biāo)值。
u~dL=f1(u~L,v~L;k1,g1,g2,g3,g4)v~dL=f2(u~L,v~L;k1,g1,g2,g3,g4)......(40)]]>這里，f1、f2表示上述式(5)的第2項(xiàng)所示的的非線性函數(shù)。
RecL2-4)計(jì)算立體適配器和攝像裝置拍攝到的幀存儲(chǔ)器上的坐標(biāo)值udL=αuLu~dL+u0L,vdL=αvLv~dL+v0L.]]>(d表示包含失真要素。)RecL2-5)利用幀存儲(chǔ)器上的像素值(udL，vdL)的鄰近像素，例如利用線性插值處理等，來計(jì)算調(diào)整處理后的左圖像的像素值。
作為步驟RecR1，對(duì)右圖像也進(jìn)行同樣的處理。
以上對(duì)調(diào)整處理的方法進(jìn)行了上述說明，但是調(diào)整的方法并不限于此。例如，也可以是Andrea Fusiello，et al，“A compact algorithm forrectification of stereo pairs，”Machine Vision and A pplications，2000，1216-22中示出的方法。
以上對(duì)說明實(shí)施方式所需的用語的說明和處理的方法進(jìn)行了描述，以下具體說明圖17所示的校準(zhǔn)偏差檢測(cè)裝置。
圖23是說明本第6實(shí)施方式的校準(zhǔn)偏差檢測(cè)裝置的詳細(xì)工作的流程圖。其中，在本實(shí)施方式中，根據(jù)控制裝置112的控制來工作。
首先，在步驟S51中，狀況判斷裝置114判斷當(dāng)前時(shí)刻是否應(yīng)檢測(cè)校準(zhǔn)偏差。這里，判斷的方法有如下所述的方法。
根據(jù)校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置124中存儲(chǔ)的、過去設(shè)定校準(zhǔn)參數(shù)的時(shí)刻或狀態(tài)等來進(jìn)行判斷。例如，在定期檢測(cè)校準(zhǔn)偏差的情況下，取該過去的時(shí)刻和當(dāng)前時(shí)刻之差，如果該差大于某個(gè)閾值，則判斷是否應(yīng)檢測(cè)校準(zhǔn)偏差。
此外，在汽車等安裝的攝影裝置等情況下，也可以根據(jù)車上安裝的里程表(Odometer)等的值來判斷。
此外，也可以判斷當(dāng)前的天氣或時(shí)間是否適合檢測(cè)校準(zhǔn)偏差等。例如，在用于監(jiān)視汽車車外的攝影裝置的情況下，在夜晚或下雨等惡劣天氣的情況下，判斷為避免檢測(cè)校準(zhǔn)偏差。
根據(jù)以上狀況，來判斷是否需要檢測(cè)校準(zhǔn)偏差。在其結(jié)果是判斷為需要檢測(cè)校準(zhǔn)偏差的情況下，將該意思通知給控制裝置112。在控制裝置112接收到該通知的情況下，轉(zhuǎn)移到步驟S52。另一方面，如果無需或不能檢測(cè)校準(zhǔn)偏差，則本例程結(jié)束。
在步驟S52中，用攝影裝置128來拍攝立體圖像。如前所述，該攝影裝置128拍攝的圖像是模擬圖像還是數(shù)字圖像都沒關(guān)系。是模擬圖像時(shí)，將該圖像變換為數(shù)字圖像。
該攝影裝置128拍攝到的圖像作為左圖像和右圖像被送出到校準(zhǔn)偏差檢測(cè)裝置110。
圖24A及圖24B是表示左右原圖像的圖，其中，圖24A是左攝像機(jī)拍攝到的左原圖像的圖，圖24B是右攝像機(jī)拍攝到的右原圖像的圖。
接著，在步驟S53中，調(diào)整處理裝置110從校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置124接收過去存儲(chǔ)的校準(zhǔn)數(shù)據(jù)，實(shí)施調(diào)整處理。
其中，如上所述，校準(zhǔn)數(shù)據(jù)利用攝影裝置128的左右攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù)的組p＝(cL，cR，e)。
在調(diào)整處理時(shí)，在構(gòu)成攝影裝置128的左右攝像機(jī)的透鏡失真很顯著的情況下，根據(jù)前述RecL和RecR的步驟，包含透鏡失真校正的算法來進(jìn)行處理。其中，在透鏡失真可以忽略時(shí)，也可以省略RecL和RecR中的失真校正部分來進(jìn)行處理即可。
這樣進(jìn)行過調(diào)整處理的圖像被送出到后面的特征提取裝置5。
圖25A及圖25B示出調(diào)整過的左右圖像，其中，圖25A是左圖像，圖25B是右圖像。
在步驟S54中，對(duì)上述步驟S53中調(diào)整過的立體圖像，提取校準(zhǔn)偏差檢測(cè)所需的特征。該處理由特征提取裝置118來進(jìn)行。
特征提取裝置118例如如圖26所示，具有特征選擇部118a和特征對(duì)應(yīng)搜索部118b。特征選擇部118a從調(diào)整過的立體圖像中的一個(gè)圖像中提取及選擇對(duì)檢測(cè)校準(zhǔn)偏差可能有效的圖像特征。然后，上述特征對(duì)應(yīng)搜索部118b在另一個(gè)圖像內(nèi)搜索與該特征選擇部118a選擇出的特征對(duì)應(yīng)的特征，并提取最佳的特征，生成這些特征對(duì)的集合作為數(shù)據(jù)。
這樣得到的特征對(duì)的數(shù)據(jù)被注冊(cè)為左右圖像調(diào)整后的圖像坐標(biāo)值。
例如，在以左圖像和右圖像對(duì)應(yīng)的形式得到n個(gè)特征點(diǎn)的對(duì)的情況下，可以以A={((uiL,viL),(uiR,viR)):i=1,2,...n}······(41)]]>的形式來表現(xiàn)。
這里，詳細(xì)說明上述特征提取裝置118的特征選擇部118a及特征對(duì)應(yīng)搜索部118b。
首先，特征選擇部118a在一個(gè)圖像、例如左圖像中，選擇對(duì)校準(zhǔn)偏差檢測(cè)可能有效的特征。例如，作為特征，在將特征點(diǎn)作為候選時(shí)，首先，如圖27所示，將調(diào)整過的左圖像分割為由M×N個(gè)正方形組成的小塊。然后，從該各塊內(nèi)的圖像中，提取至多1個(gè)角點(diǎn)等特征點(diǎn)。
該方法例如利用R.Haralick and L.Shapiro，Computer and RobotVision，Volume II，pp.332-338，Addison-Wesley，1993中記載的興趣算子(Interest Operator)或角點(diǎn)提取(Corner Point Extraction)法等即可?；蛘撸部梢栽诟鲏K內(nèi)提取邊緣成分，將強(qiáng)度在某個(gè)閾值以上的邊緣點(diǎn)作為特征點(diǎn)。
這里重要的一點(diǎn)是，在某個(gè)塊內(nèi)只由完全均勻的區(qū)域構(gòu)成的情況下，也有可能不能從該區(qū)域中選擇特征點(diǎn)。這樣選擇出的特征點(diǎn)的例子如圖28所示。在該圖28中，○(白圈)所示的點(diǎn)166是這樣選擇出的特征。
接著，說明特征對(duì)應(yīng)搜索部118b。特征對(duì)應(yīng)搜索部118b的功能是，對(duì)于特征選擇部118a從一個(gè)圖像中選擇出的特征，在另一個(gè)圖像內(nèi)提取對(duì)應(yīng)的特征。該特征對(duì)應(yīng)搜索部118b通過以下方法來搜索對(duì)應(yīng)的特征。
這里，說明搜索范圍的設(shè)定。
上述步驟S53中創(chuàng)建的調(diào)整處理后的圖像使用校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置124過去存儲(chǔ)的校準(zhǔn)數(shù)據(jù)。因此，在有校準(zhǔn)偏差的情況下，在核線上不一定有對(duì)應(yīng)點(diǎn)。因此，對(duì)應(yīng)搜索的范圍有時(shí)被設(shè)定為對(duì)設(shè)想的最大校準(zhǔn)偏差也適合的對(duì)應(yīng)搜索范圍。實(shí)際上，準(zhǔn)備了與左圖像內(nèi)的特征(u，v)對(duì)應(yīng)的右圖像內(nèi)的位于核線上下的區(qū)域。
例如，假定核線在右圖像內(nèi)、在水平線v＝ve上的[u1，u2]的范圍內(nèi)進(jìn)行搜索，則如圖29A、圖29B所示，在寬度為2Wu×(u2-u1+2Wv)的長(zhǎng)方形區(qū)域[u1-Wu，u2+Wu]×[ve-Wv，ve+Wv] …(42)內(nèi)進(jìn)行搜索即可。這樣，設(shè)定了搜索區(qū)域。
接著，說明基于區(qū)域匹配的對(duì)應(yīng)搜索。
在通過前述搜索范圍的設(shè)定而決定的搜索區(qū)域內(nèi)，搜索最佳的對(duì)應(yīng)。搜索最佳對(duì)應(yīng)的方法例如有J.Weng，et al，Motion and Structurefrom Image Sequences，Springer-Verlag，pp.7-64，1993中示出的方法等?；蛘撸部梢允抢米髨D像內(nèi)特征的鄰近區(qū)域、在右圖像內(nèi)的對(duì)應(yīng)搜索區(qū)域內(nèi)搜索與該區(qū)域的像素值最類似的圖像區(qū)域的方法。
此時(shí)，假設(shè)已調(diào)整的左右圖像的坐標(biāo)(u，v)的亮度值分別為IRectL(u，v)、IRectR(u，v)，則將左圖像的坐標(biāo)(u，v)作為基準(zhǔn)，右圖像內(nèi)的位置(u′，v′)上的類似度或非類似度例如可以分別如下表示。
SAD:Σ(α,β)∈W|IL(u+α,v+β)-IR(u′+α,v′+β)|······(43)]]>SSD:Σ(α,β)∈W(IL(u+α,v+β)-IR(u′+α,v′+β))2······(44)]]>NCC:1NWΣ(α,β)∈W(IL(u+α,v+β)-IWL‾)(IL(u′+α,v′+β)-IWR‾)IWL‾‾·IWR‾‾······(45)]]>這里， 和 表示左圖像的特征(u，v)鄰近的亮度值的平均值和標(biāo)準(zhǔn)偏差。這里， 和 表示右圖像的特征(u′，v′)鄰近的亮度值的平均值和標(biāo)準(zhǔn)偏差。此外，α和β是表示W(wǎng)的近旁的下標(biāo)。
通過利用這些類似度或非類似度的值，能夠考慮各個(gè)匹配的質(zhì)量或可靠性。例如，在考慮了SAD的情況下，如果該SAD的值在對(duì)應(yīng)點(diǎn)附近得到峰值尖銳的小值，則可以說該對(duì)應(yīng)點(diǎn)的可靠性高。對(duì)這樣判斷為最佳的每個(gè)對(duì)應(yīng)點(diǎn)，要考慮其可靠性。決定了該對(duì)應(yīng)點(diǎn)(u′，v′)。當(dāng)然，在考慮可靠性的情況下，也可以使得對(duì)應(yīng)點(diǎn)(u′，v′)可靠性在閾值以上無對(duì)應(yīng)點(diǎn)可靠性低于閾值。
在這樣考慮可靠性的情況下，當(dāng)然在左圖像或右圖像中存在具有未對(duì)應(yīng)點(diǎn)的像素。
將這樣提取出的對(duì)應(yīng)特征(u，v)和(u′，v′)注冊(cè)為式(41)所示的(uiL，viL)、(uiR，viR)即可。
這樣，取得對(duì)應(yīng)的右圖像內(nèi)的特征如圖30所示。在圖30中，○(白圈)所示的點(diǎn)168表示這樣取得對(duì)應(yīng)的右圖像內(nèi)的特征點(diǎn)。
返回到圖23的流程圖，在步驟S55中，特征提取裝置118還檢查上述步驟S54中注冊(cè)的特征對(duì)的數(shù)目和可靠性。這里，在注冊(cè)的特征對(duì)的數(shù)目少于某個(gè)規(guī)定數(shù)目的情況下，判斷為拍攝到的立體圖像不合適。因此，轉(zhuǎn)移到上述步驟S51，再次重復(fù)攝影處理等。該攝影處理的重復(fù)，是根據(jù)特征提取裝置118的輸出數(shù)據(jù)、按照從控制裝置112發(fā)出的控制指令來進(jìn)行。這一點(diǎn)在圖17、圖33、圖36及圖40的結(jié)構(gòu)中也同樣。
另一方面，在判斷為得到了有可靠性的特征對(duì)的情況下，將特征對(duì)的集合送出到校準(zhǔn)偏差判定裝置120。
接著，在步驟S56中，進(jìn)行校準(zhǔn)偏差判定裝置120的處理。
這里，利用校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置8中存儲(chǔ)的校準(zhǔn)數(shù)據(jù)、和上述步驟S54中注冊(cè)的特征對(duì)的集合A={((uiL,viL),(uiR,viR)):i=1,2...n},]]>來判定校準(zhǔn)偏差是否顯著。
這里，說明校準(zhǔn)偏差判定方法。
作為校準(zhǔn)偏差判定方法1，對(duì)于上述步驟S54中注冊(cè)的n個(gè)特征，利用根據(jù)事先得到的校準(zhǔn)數(shù)據(jù)調(diào)整過的特征對(duì)的圖像坐標(biāo)值。即，假設(shè)完全沒有校準(zhǔn)數(shù)據(jù)的偏差，則注冊(cè)的特征對(duì)完全滿足核線約束。反過來說，在產(chǎn)生了校準(zhǔn)偏差的情況下，可以判斷為不滿足該核線約束。因此，對(duì)整個(gè)特征對(duì)，將不滿足核線約束的程度作為評(píng)價(jià)值，來判定校準(zhǔn)偏差。
即，對(duì)于各特征對(duì)I，設(shè)與核線約束的偏差量為di，來計(jì)算di=|viL-viR|······(46).]]>然后，通過下式d‾=1nΣi=1ndi=1nΣi=1n|viL-viR|······(47)]]>來計(jì)算所有特征對(duì)的平均值。然后，在該平均值d大于規(guī)定閾值threshold的情況下，判定為校準(zhǔn)偏差很顯著。
圖31A及圖31B示出了這種狀況。在圖31A及圖31B中，各特征與核線的偏差di對(duì)應(yīng)于特征點(diǎn)離核線的圖像內(nèi)距離。
接著，說明校準(zhǔn)偏差判定方法2。
用上述判定方法1中說明過的方法，在對(duì)應(yīng)搜索的可靠性高的情況下能得到良好的結(jié)果，但是在對(duì)應(yīng)搜索結(jié)果中有可能包含可靠性低的結(jié)果的情況下，認(rèn)為在用下式(48)算出的各特征的差異中，有可能包含很多噪聲分量。
di=|viL-viR|······(48).]]>在這種情況下，通過預(yù)先去除被認(rèn)為是噪聲分量的異常值后取平均的作業(yè)，來判定校準(zhǔn)偏差的方法很有效。
即，設(shè)以這種形式排除了異常值后的特征對(duì)的集合為B，并通過下式d‾B=1mΣi∈Bdi=1mΣi∈B|viL-viR|......(49)]]>來計(jì)算B內(nèi)的di的平均值即可。這里，m表示集合B的元素?cái)?shù)。在該平均值dB大于規(guī)定的閾值threshold時(shí)，判定為校準(zhǔn)偏差很顯著。
返回到圖23的流程圖，在步驟S57中，用偏差結(jié)果呈現(xiàn)裝置122來呈現(xiàn)上述步驟S56中判定出的結(jié)果。
圖32示出偏差結(jié)果呈現(xiàn)裝置122的一例。在本例中，將顯示裝置220(后面將結(jié)合圖41來描述)用作偏差結(jié)果呈現(xiàn)裝置122，更具體地說，由顯示器或LCD監(jiān)視器等構(gòu)成。當(dāng)然，該顯示器可以是別的用途的顯示器，也可以利用該顯示器的畫面一部分來顯示偏差結(jié)果，為了顯示偏差結(jié)果，也可以是切換畫面顯示模式的類型。
本發(fā)明實(shí)施方式的該偏差結(jié)果呈現(xiàn)裝置122能夠通過與上述校準(zhǔn)偏差判定部協(xié)作，來顯示正在進(jìn)行偏差檢測(cè)的處理的意思；此外，能夠顯示表示作為偏差檢測(cè)的處理結(jié)果而得到的參數(shù)和上述校準(zhǔn)數(shù)據(jù)保持部中預(yù)先保持的參數(shù)之間的差異的信息；再者，在未能進(jìn)行正規(guī)的偏差檢測(cè)時(shí)能夠顯示表示該意思的差錯(cuò)碼。
在圖32的顯示中，有3個(gè)欄A、B、C，在各個(gè)欄中顯示結(jié)果。
欄A的部分在校準(zhǔn)偏差檢測(cè)中閃爍；在得到偏差檢測(cè)的結(jié)果時(shí)，在欄B的部分顯示偏差量的大小和判定結(jié)果等。此外，在欄C的部分，顯示與偏差檢測(cè)有關(guān)的狀態(tài)。作為狀態(tài)，顯示前述步驟S55中所示的中間結(jié)果、或與偏差檢測(cè)有關(guān)的差錯(cuò)碼等。
通過采用這種方法，能夠?qū)⑵顧z測(cè)的各種模式或處理結(jié)果有效地通知給用戶或維護(hù)立體攝影裝置等的作業(yè)者等。
其他偏差檢測(cè)結(jié)果的呈現(xiàn)方法有用聲音來呈現(xiàn)、用警報(bào)或聲源來呈現(xiàn)等。
接著，本發(fā)明第7實(shí)施方式說明不進(jìn)行調(diào)整來進(jìn)行偏差檢測(cè)的方法。
在前述第6實(shí)施方式中，對(duì)輸入的左及右圖像實(shí)施調(diào)整處理后，利用核線約束，將特征滿足核線約束的程度作為判斷材料，來檢測(cè)與攝影裝置的內(nèi)部校準(zhǔn)參數(shù)有關(guān)的校準(zhǔn)偏差。
相反，在第7實(shí)施方式中，描述不進(jìn)行調(diào)整處理來檢測(cè)與攝影裝置的內(nèi)部校準(zhǔn)參數(shù)有關(guān)的校準(zhǔn)偏差的方法。
圖33是本發(fā)明第7實(shí)施方式的校準(zhǔn)偏差檢測(cè)裝置的基本結(jié)構(gòu)例的方框圖。
其中，在以下所述的實(shí)施方式中，對(duì)與前述第6實(shí)施方式相同的部位附以相同的標(biāo)號(hào)，并省略其說明。
在圖33中，校準(zhǔn)偏差檢測(cè)裝置170對(duì)拍攝立體圖像后應(yīng)檢測(cè)校準(zhǔn)偏差的攝影裝置128是否有校準(zhǔn)偏差進(jìn)行檢測(cè)。
校準(zhǔn)偏差檢測(cè)裝置170由控制裝置112、狀況判斷裝置114、特征提取裝置118、校準(zhǔn)偏差判定裝置120、偏差結(jié)果呈現(xiàn)裝置122(已結(jié)合圖32描述過了)、以及校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置124構(gòu)成。即，從圖17所示結(jié)構(gòu)的校準(zhǔn)偏差檢測(cè)裝置110中除去了調(diào)整處理裝置116。
這里，校準(zhǔn)偏差檢測(cè)裝置170內(nèi)的各裝置可以由硬件或電路構(gòu)成，也可以由計(jì)算機(jī)或數(shù)據(jù)處理裝置的軟件來處理。
接著，參照?qǐng)D34的流程圖，來說明第7實(shí)施方式的校準(zhǔn)偏差檢測(cè)裝置的工作。
在步驟S61中判斷現(xiàn)時(shí)是否應(yīng)檢測(cè)校準(zhǔn)偏差，在后續(xù)的步驟S62中用攝影裝置128來拍攝立體圖像。這些步驟S61及S62的工作與前述圖23的流程圖中的步驟S51及S52相同，所以省略其詳細(xì)說明。
接著，在步驟S63中，對(duì)上述步驟S62中拍攝到的立體圖像，提取校準(zhǔn)偏差檢測(cè)所需的特征。該處理由特征提取裝置118來進(jìn)行。
特征提取裝置118與前述第6實(shí)施方式的情況同樣，如圖26所示，具有特征選擇部118a和特征對(duì)應(yīng)搜索部118b。這樣得到的特征對(duì)的數(shù)據(jù)被注冊(cè)為左右圖像調(diào)整后的圖像坐標(biāo)值。
例如，在以左圖像和右圖像對(duì)應(yīng)的形式得到n個(gè)特征點(diǎn)的對(duì)的情況下，可以以A={((uiL,viL),(uiR,viR)):i=1,2,...n}······(50)]]>的形式來表現(xiàn)。
這里，詳細(xì)說明第7實(shí)施方式的上述特征提取裝置118的特征選擇部118a及特征對(duì)應(yīng)搜索部118b。
首先，在透鏡失真很顯著的情況下，特征選擇部118a對(duì)立體攝影裝置128拍攝到的圖像進(jìn)行通過失真校正處理來除去失真分量的操作。
接著，在一個(gè)圖像、例如左圖像中，選擇對(duì)校準(zhǔn)偏差檢測(cè)可能有效的特征。例如，作為特征，在將特征點(diǎn)作為候選時(shí)，首先，如前述圖27所示，將調(diào)整過的左圖像分割為由M×N個(gè)正方形組成的小塊。然后，從該各塊內(nèi)的圖像中，提取至多1個(gè)角點(diǎn)等特征點(diǎn)。該方法與前述第6實(shí)施方式的情況相同。
接著，說明特征對(duì)應(yīng)搜索部118b。
特征對(duì)應(yīng)搜索部118b的功能是，對(duì)于特征選擇部118a從一個(gè)圖像中選擇出的特征，在另一個(gè)圖像內(nèi)提取對(duì)應(yīng)的特征。該特征對(duì)應(yīng)搜索部118b通過以下方法來搜索對(duì)應(yīng)的特征。
這里，說明搜索范圍的設(shè)定。
拍攝到的圖像使用校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置124過去存儲(chǔ)的校準(zhǔn)數(shù)據(jù)，所以在有校準(zhǔn)偏差的情況下，在核線上不一定有對(duì)應(yīng)點(diǎn)。因此，與前述第6實(shí)施方式的情況同樣，對(duì)應(yīng)搜索的范圍有時(shí)被設(shè)定為對(duì)設(shè)想的最大校準(zhǔn)偏差也適合的對(duì)應(yīng)搜索范圍。實(shí)際上，準(zhǔn)備了與左圖像內(nèi)的特征(u，v)對(duì)應(yīng)的右圖像內(nèi)的位于核線上下的區(qū)域。
圖35A、圖35B示出了該設(shè)定，設(shè)置了位于核線144的上下方向的寬度2Wv進(jìn)行了搜索。
接著，說明基于區(qū)域匹配的對(duì)應(yīng)搜索。
在通過前述搜索范圍的設(shè)定而決定的搜索區(qū)域內(nèi)，搜索最佳的對(duì)應(yīng)。搜索最佳對(duì)應(yīng)的方法例如有J.Weng，et al，Motion and Structurefrom Image Sequence，Springer-Verlag，pp.7-64，1993中示出的方法等?；蛘?，也可以是前述第6實(shí)施方式中說明過的方法。
返回到圖34的流程圖，在步驟S64中，特征提取裝置118還檢查上述步驟S63中注冊(cè)的特征對(duì)的數(shù)目和可靠性。在注冊(cè)的特征對(duì)的數(shù)目少于某個(gè)規(guī)定的數(shù)目的情況下，判定為拍攝到的立體圖像不合適。在此情況下，轉(zhuǎn)移到上述步驟S61，重復(fù)攝影處理等。另一方面，在判斷為得到了有可靠性的特征對(duì)的情況下，將特征對(duì)的集合送出到校準(zhǔn)偏差判定裝置120。
接著，在步驟S65中，用校準(zhǔn)偏差判定裝置6來進(jìn)行校準(zhǔn)的判定。
這里，利用校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置中存儲(chǔ)的校準(zhǔn)數(shù)據(jù)、和上述步驟S63中注冊(cè)的特征對(duì)的集合A={((uiL,viL),(uiR,viR)):i=1,2,...n},]]>來判定校準(zhǔn)偏差是否顯著。
這里，說明第7實(shí)施方式的校準(zhǔn)偏差判定方法。
作為判定方法1，對(duì)上述步驟S63中注冊(cè)的n個(gè)特征，利用根據(jù)事先得到的校準(zhǔn)數(shù)據(jù)調(diào)整過的特征對(duì)的圖像坐標(biāo)值。即，假設(shè)完全沒有校準(zhǔn)數(shù)據(jù)的偏差，則注冊(cè)的特征對(duì)完全滿足核線約束。反過來說，在產(chǎn)生校準(zhǔn)偏差的情況下，可以判斷為不滿足該核線約束。因此，對(duì)整個(gè)特征對(duì)，將不滿足核線約束的程度作為評(píng)價(jià)值，來判定校準(zhǔn)偏差。
即，對(duì)各特征對(duì)(uiL，viL)、(uiR，viR)，計(jì)算與核線約束的偏差量di。具體地說，在設(shè)與(uiL，viL)對(duì)應(yīng)的右圖像中的核線為au′+bv′+c＝0時(shí)，計(jì)算右對(duì)應(yīng)點(diǎn)(uiR，viR)的偏差程度。即，計(jì)算di=|auiR+bviR+c|a2+b2······(51)]]>然后，通過下式d‾=1nΣi=1ndi······(52)]]>來計(jì)算所有特征對(duì)的平均值，在該平均值d大于規(guī)定的閾值threshold時(shí)，判定為校準(zhǔn)偏差很顯著。
接著，說明校準(zhǔn)偏差判定方法2。
用前述判定方法1的方法，在對(duì)應(yīng)搜索的可靠性高的情況下能得到良好的結(jié)果，但是在對(duì)應(yīng)搜索結(jié)果中有可能包含可靠性低的結(jié)果的情況下，認(rèn)為在用下式(53)算出的各特征的差異中，有可能包含很多噪聲分量。
di=|auiR+bviR+c|a2+b2······(53)]]>在這種情況下，通過在預(yù)先去除被認(rèn)為是噪聲分量的異常值后取平均的作業(yè)，來判定校準(zhǔn)偏差的方法很有效。
即，設(shè)以這種形式排除異常值后的特征對(duì)的集合為B，并通過下式d,B=1mΣi∈Bdi······(54)]]>來計(jì)算B內(nèi)的di的平均值即可。這里，m表示集合B的元素?cái)?shù)。在該平均值dB大于規(guī)定的閾值threshold時(shí)，判定為校準(zhǔn)偏差很顯著。
返回到圖34的流程圖，在步驟S66中，用偏差結(jié)果呈現(xiàn)裝置122來呈現(xiàn)上述步驟S65中判定出的結(jié)果。顯示方法與前述第6實(shí)施方式相同，所以這里從略。
根據(jù)該第7實(shí)施方式，能夠縮短調(diào)整處理花費(fèi)的時(shí)間。在特征點(diǎn)數(shù)可以很少的情況下特別有效。
接著，本發(fā)明第8實(shí)施方式說明攝影裝置和外部裝置間的校準(zhǔn)偏差。
在該第8實(shí)施方式中，說明在用于規(guī)定校準(zhǔn)中的基準(zhǔn)位置的規(guī)定的外部裝置和攝影裝置間的位置姿態(tài)產(chǎn)生偏差時(shí)、檢測(cè)是否發(fā)生了該校準(zhǔn)偏差的裝置。
圖36是本發(fā)明第8實(shí)施方式的校準(zhǔn)偏差檢測(cè)裝置的基本結(jié)構(gòu)例的方框圖。
在圖36中，校準(zhǔn)偏差檢測(cè)裝置174對(duì)拍攝立體圖像后應(yīng)檢測(cè)校準(zhǔn)偏差的攝影裝置128是否有校準(zhǔn)偏差進(jìn)行檢測(cè)。
校準(zhǔn)偏差檢測(cè)裝置174由控制裝置112、狀況判斷裝置114、特征提取裝置118、校準(zhǔn)偏差判定裝置120、偏差結(jié)果呈現(xiàn)裝置122、以及保持校準(zhǔn)數(shù)據(jù)的校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置124構(gòu)成。即，該校準(zhǔn)偏差檢測(cè)裝置174與圖33所示的第7實(shí)施方式的校準(zhǔn)偏差檢測(cè)裝置170在結(jié)構(gòu)上相同。
這里，校準(zhǔn)偏差檢測(cè)裝置174內(nèi)的各裝置可以由硬件或電路構(gòu)成，也可以由計(jì)算機(jī)或數(shù)據(jù)處理裝置的軟件來處理。
其中，為了檢測(cè)與攝影裝置128和外部裝置間的位置姿態(tài)校準(zhǔn)參數(shù)有關(guān)的校準(zhǔn)偏差，以用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置為基準(zhǔn)，需要其場(chǎng)所已知的已知特征。
然后，除了上述式(17)及(19)所示的內(nèi)部參數(shù)p和外部參數(shù)e′以外，還需要多個(gè)已知特征k的與外部裝置相對(duì)的三維位置(xk，yk，zk)的信息，這些數(shù)據(jù)作為校準(zhǔn)數(shù)據(jù)的一部分被存儲(chǔ)在校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置124中。
例如，考慮在外部裝置即車輛上安裝立體攝影裝置、檢測(cè)車輛和立體攝影裝置間是否發(fā)生了校準(zhǔn)偏差的情況。此外，假設(shè)立體攝影裝置被設(shè)定成用于拍攝車輛的前方，在該攝影中，拍攝了車輛的一部分。在這種情況下，可以將與拍攝的車輛的一部分形狀有關(guān)的特征注冊(cè)為已知特征。
例如，圖37A至圖37E示出了這種配置的已知特征。此時(shí)，立體攝影裝置被配置在車輛前方的擋風(fēng)玻璃和后視鏡之間，在立體攝影裝置128拍攝的圖像的下部，拍攝了車輛前方的發(fā)動(dòng)機(jī)罩180，注冊(cè)該發(fā)動(dòng)機(jī)罩180上存在的角部或邊緣點(diǎn)182等即可。此時(shí)，車輛上的這種特征可以根據(jù)車輛的CAD模型等來容易地得到其三維坐標(biāo)。
用于得到前述特征的外部裝置可以應(yīng)用各種裝置，作為應(yīng)用裝備了攝像部的車輛的特定形狀部的例子，除了已有的發(fā)動(dòng)機(jī)罩180上的角部或邊緣點(diǎn)182等之外，例如也可以在擋風(fēng)玻璃的一部分上預(yù)先配置相對(duì)位置已知的標(biāo)記作為已知特征，預(yù)先計(jì)測(cè)這些三維位置，使得能夠用立體攝影裝置來拍攝它們中的全部或一部分。
圖37A是拍攝的左圖像的示例圖，圖37B是用黑點(diǎn)184來表示選擇為已知特征的特征的圖。
其中，這里只示出了3個(gè)點(diǎn)作為已知特征，但是該數(shù)目至少有1個(gè)以上，而且是多個(gè)也沒有關(guān)系。此外，特征也可以不是特征點(diǎn)，而是曲線。
圖37C是在擋風(fēng)玻璃186的一部分上配置了已知特征即黑點(diǎn)已知標(biāo)記的狀況的示例圖。在該圖中，已知標(biāo)記組被配置得能夠在左右攝像機(jī)內(nèi)拍攝其全部或其一部分。此外，如圖37D及圖37E所示，這些標(biāo)記組被配置得映入立體左右圖像的圖像周邊部，被設(shè)計(jì)成不映入成為重要影像的中心部。
接著，參照?qǐng)D38的流程圖，來說明第8實(shí)施方式的校準(zhǔn)偏差檢測(cè)裝置的工作。
在步驟S71中判斷當(dāng)前時(shí)刻是否應(yīng)檢測(cè)校準(zhǔn)偏差，在后續(xù)的步驟S72中用攝影裝置128來拍攝立體圖像。這些步驟S71及S72的工作與前述圖23的流程圖中的步驟S51及S52、圖34的流程圖中的步驟S61及S62相同，所以省略其詳細(xì)說明。
接著，在步驟S73中，對(duì)上述步驟S72中拍攝到的立體圖像，提取校準(zhǔn)偏差檢測(cè)所需的已知特征。該處理由特征提取裝置118來進(jìn)行。特征提取裝置118從拍攝到的立體圖像中提取檢測(cè)校準(zhǔn)偏差所需的已知特征和其對(duì)應(yīng)的特征。
例如，在以左圖像和右圖像對(duì)應(yīng)的形式得到m個(gè)已知特征的對(duì)的情況下，可以以B={((uk′L,vk′L),(uk′R,vk′R)):k=1,2...m}······(55)]]>的形式來表現(xiàn)。
其中，如前述第6實(shí)施方式中說明過的那樣，提取已知特征的方法可以采用下述方法在假定圖像未發(fā)生校準(zhǔn)偏差的情況下，將搜索范圍擴(kuò)大到各特征規(guī)定的核線的周邊，來提取對(duì)應(yīng)的已知特征。
此外，在已知特征的數(shù)目少的情況下，除此之外，拍攝前述第6或第7實(shí)施方式中說明過的、圖像內(nèi)拍攝到的特征(將它們稱為自然特征)，并提取其對(duì)應(yīng)特征。
例如，設(shè)這樣提取出的自然特征的集合為n個(gè)特征的集合，并用A={((uiL,viL),(uiR,viR)):i=1,2,...n}······(56)]]>來表示。
這樣提取出的特征的集合A及B如圖39A、圖39B所示。在圖39A、圖39B中，黑點(diǎn)190表示已知特征，白圓圈192表示自然特征。
接著，在步驟S74中，特征提取裝置118還檢查上述步驟S73中注冊(cè)的特征對(duì)的數(shù)目和可靠性。在注冊(cè)的特征對(duì)的數(shù)目少于某個(gè)規(guī)定的數(shù)目的情況下，判定為拍攝到的立體圖像不合適。在此情況下，轉(zhuǎn)移到上述步驟S71，重復(fù)攝影處理等。另一方面，在判斷為得到了具有可靠性的特征對(duì)的情況下，將特征對(duì)的集合送出到校準(zhǔn)偏差判定裝置120。
在后續(xù)的步驟S75中，利用以下的子步驟SS1和SS2，來估計(jì)是否有校準(zhǔn)偏差。即，通過子步驟SS1和SS2來進(jìn)行以下2種判定。
1)判定立體攝影裝置的內(nèi)部校準(zhǔn)參數(shù)是否發(fā)生了校準(zhǔn)偏差；2)在1)為未發(fā)生的情況下，判定是否發(fā)生了立體攝影裝置和外部裝置間的位置姿態(tài)偏差帶來的校準(zhǔn)偏差。
首先，說明子步驟SS1。
在立體圖像內(nèi)，首先，利用已知特征，來判定該已知特征在圖像內(nèi)是否位于應(yīng)處的位置。
為此，如下判定校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置124記錄的己知特征k的三維位置(xkO，ykO，zkO)是否位于立體攝像機(jī)拍攝到的圖像內(nèi)的位置。
現(xiàn)在，設(shè)外部裝置的坐標(biāo)系為O，假設(shè)在該坐標(biāo)系中注冊(cè)了已知特征的三維位置(xkO，ykO，zkO)，計(jì)算與該點(diǎn)有關(guān)的左攝像機(jī)坐標(biāo)系L中的三維位置坐標(biāo)(xkL，ykL，zkL)和右攝像機(jī)坐標(biāo)系中的三維位置坐標(biāo)(xkR，ykR，zkR)的位置。
xkLykLzkL=ROLxkOykOzkO+TOL=r11′r12′r13′r21′r22′r23′r31′r32′r33′xkOykOzkO+tx′ty′tz′······(57)]]>xkRykRzkR=RLRxkLykLzkL+TLR=r11r12r13r21r22r23r31r32r33xkLykLzkL+txtytz······(58)]]>接著，對(duì)它們計(jì)算用上述式(7)及式(8)那樣的式子算出的圖像內(nèi)的投影位置(u″kL，v″kL)、(u″kR，v″kR)。
當(dāng)然該圖像內(nèi)的位置是假定校準(zhǔn)數(shù)據(jù)完全正確的情況下成立的式子。因此，通過計(jì)算上述式(55)的集合B所示的圖像內(nèi)的位置、和假定校準(zhǔn)數(shù)據(jù)正確的情況下的圖像位置之差，能夠判定是否發(fā)生了校準(zhǔn)偏差。
即，在各圖像中計(jì)算圖像內(nèi)的差fkL=(uk′L-uk′′L)2+(vk′L-vk′′L)2fkR=(uk′R-uk′′R)2+(vk′R-vk′′R)2······(59)]]>判定fkL>threshold]]>或fkR>threshold······(60)]]>是否成立。這里，在超過了閾值threshold的情況下，可知至少發(fā)生了校準(zhǔn)偏差。
此外，與第6實(shí)施方式中說明過的同樣，也可以將異常值除去等處理包含在其中。即，在m個(gè)已知特征中至少s個(gè)(s≤m)滿足上述式(60)所示的不等式的情況下，判斷為發(fā)生了校準(zhǔn)偏差。
即，能夠用子步驟SS1來判定是否至少發(fā)生了校準(zhǔn)偏差。
接著，說明子步驟SS2。
在子步驟SS2中，在前述子步驟SS1中發(fā)生了校準(zhǔn)偏差時(shí)，判斷它至少起因于立體攝影裝置的內(nèi)部校準(zhǔn)偏差、還是起因于與立體攝影裝置和外部裝置間的位置姿態(tài)關(guān)系有關(guān)的校準(zhǔn)偏差。
為此，以上述式(55)的集合B和式(56)的集合A中的某一個(gè)、或者兩者A及B的特征是否使前述第1或第2實(shí)施方式中說明過的核線約束成立作為判定基準(zhǔn)，來判定是否發(fā)生了內(nèi)部校準(zhǔn)偏差。即，用上述式(47)、(49)或式(52)、(54)來判定即可。
在判定為沒有與攝影裝置的內(nèi)部有關(guān)的校準(zhǔn)偏差的情況下，在子步驟SS1中判定為有校準(zhǔn)偏差的情況下，可以判定為校準(zhǔn)偏差是基于立體攝影裝置和外部裝置間的位置姿態(tài)偏差的校準(zhǔn)偏差。
另一方面，在子步驟SS2中也判定為有校準(zhǔn)偏差的情況下，可知校準(zhǔn)偏差確實(shí)有內(nèi)部校準(zhǔn)偏差。
返回到圖38的流程圖，在步驟S76中，用偏差結(jié)果呈現(xiàn)裝置122來呈現(xiàn)上述步驟S75中判定出的結(jié)果。在該第8實(shí)施方式中，能夠檢測(cè)多個(gè)校準(zhǔn)偏差的種類，所以也可以包含該信息來進(jìn)行顯示。顯示方法與前述第6實(shí)施方式相同，所以這里從略。
這樣，根據(jù)第8實(shí)施方式，也能夠檢測(cè)立體攝影裝置和外部裝置間的位置姿態(tài)校準(zhǔn)的偏差。
接著，第9實(shí)施方式說明攝影裝置拍攝多次并利用該圖像的情況。
在前述第6至第8實(shí)施方式中，設(shè)想了立體攝像裝置拍攝的圖像是1次，但是在本第9實(shí)施方式中，為了使校準(zhǔn)偏差的檢測(cè)更可靠，用立體攝影裝置攝影多次，利用該多次攝影得到的特征(自然特征或已知特征)。
在本第9實(shí)施方式中，說明該方法。校準(zhǔn)偏差檢測(cè)裝置的基本結(jié)構(gòu)與前述第6至第8實(shí)施方式所示的相同。
伴隨多次攝影來檢測(cè)校準(zhǔn)偏差的方法，可以是以下2種方法中的任一種。
作為第1種方法，立體圖像裝置攝影多次，并利用該多次攝影來檢測(cè)偏差。在本方法中，從多次拍攝到的立體圖像中提取自然特征或已知特征，如果將它們看作式(55)的集合B和式(56)的集合A所示的特征的集合，則能夠與前述第6至第8實(shí)施方式同樣來進(jìn)行所有處理。
作為第2種方法，在多次攝影中的第1次中進(jìn)行偏差檢測(cè)，在第2次以后進(jìn)行其驗(yàn)證。即，只要在第1次中檢測(cè)出偏差，則重新判定是否真正有偏差。第1次、第2次以后的處理與前述第6至第8實(shí)施方式的情況相同，所以省略該方法的詳細(xì)說明。
接著，說明方法的變形。
以上，說明了利用位于立體攝影裝置能夠拍攝到的地方的已知特征來進(jìn)行偏差檢測(cè)的方法，但是此外也可以考慮配置已知特征的變形。
即，以外部裝置為基準(zhǔn)來配置其位置已知的校準(zhǔn)板，用立體攝影裝置也能夠拍攝位于該校準(zhǔn)板內(nèi)的已知標(biāo)記的位置。在此情況下，如本第9實(shí)施方式中說明過的那樣，例如檢測(cè)校準(zhǔn)偏差的作業(yè)員將該校準(zhǔn)板配置成與外部裝置相對(duì)，使?fàn)顩r判斷裝置判斷它來進(jìn)行校準(zhǔn)偏差檢測(cè)處理即可。
這樣，根據(jù)第9實(shí)施方式，能夠更堅(jiān)固地、更可靠地進(jìn)行校準(zhǔn)偏差的檢測(cè)。
接著，第10實(shí)施方式說明應(yīng)用于車載的例子。
在前述第6至第9實(shí)施方式中，省略了狀況判斷裝置的詳細(xì)說明，但是在本第10實(shí)施方式中，以該狀況判斷裝置的功能為中心來進(jìn)行說明。
圖40是本發(fā)明第10實(shí)施方式的校準(zhǔn)偏差檢測(cè)裝置的基本結(jié)構(gòu)例的方框圖。
本第10實(shí)施方式與前述第6至第9實(shí)施方式的不同在于，從外部傳感器202向校準(zhǔn)偏差檢測(cè)裝置200內(nèi)的狀況判斷裝置114供給各種傳感器輸出的信號(hào)。此外，不同點(diǎn)還有，在必要時(shí)，將與校準(zhǔn)偏差檢測(cè)有關(guān)的信息送出到校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置124，將該信息寫入到校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置124中。與其他結(jié)構(gòu)及整體結(jié)構(gòu)有關(guān)的的處理步驟與前述第6至第8實(shí)施方式中說明過的相同，所以省略其說明。
以下，作為狀況判斷裝置114的應(yīng)用，說明在車輛上安裝了立體攝影裝置的情況。當(dāng)然很明顯，本方式并不限于車輛用的車載立體攝影裝置，也可以應(yīng)用于其他監(jiān)視攝像機(jī)系統(tǒng)等。
在狀況判斷裝置114上連接的外部傳感器202有以下傳感器。即，里程計(jì)、時(shí)鐘或計(jì)時(shí)器、溫度傳感器、車輛傾斜計(jì)測(cè)傳感器或陀螺傳感器、車速傳感器、發(fā)動(dòng)機(jī)起動(dòng)傳感器、日照傳感器、雨滴傳感器等。
狀況判斷裝置114用以下條件，根據(jù)車載應(yīng)用所需的條件，來判定當(dāng)前是否需要檢測(cè)校準(zhǔn)偏差。
此外，作為校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置8存儲(chǔ)的校準(zhǔn)數(shù)據(jù)，包含過去進(jìn)行校準(zhǔn)時(shí)的參數(shù)p、e′或已知特征的數(shù)據(jù)等來寫入以下信息。即，過去進(jìn)行的立體攝影裝置的內(nèi)部校準(zhǔn)參數(shù)p、過去進(jìn)行的立體攝影裝置和外部裝置間的位置姿態(tài)校準(zhǔn)參數(shù)e′、過去進(jìn)行的已知特征的三維位置、過去進(jìn)行校準(zhǔn)時(shí)的車輛行駛距離、過去進(jìn)行校準(zhǔn)時(shí)的日期時(shí)間和時(shí)刻、過去進(jìn)行校準(zhǔn)時(shí)的外部溫度、過去進(jìn)行校準(zhǔn)檢測(cè)時(shí)的車輛行駛距離、過去進(jìn)行校準(zhǔn)檢測(cè)時(shí)的日期時(shí)間和時(shí)刻、過去進(jìn)行校準(zhǔn)檢測(cè)時(shí)的外部溫度等。
接著，說明前述狀況判斷裝置114應(yīng)如何進(jìn)行校準(zhǔn)檢測(cè)的狀況判斷的方法。
在本裝置中，作為進(jìn)行校準(zhǔn)偏差檢測(cè)的條件，說明在車輛停止時(shí)進(jìn)行、在從以前檢測(cè)出偏差時(shí)起經(jīng)過了一定時(shí)間T后進(jìn)行、晴天白天進(jìn)行等3個(gè)條件成立時(shí)進(jìn)行的情況。
首先，為了滿足第1個(gè)條件，用車速傳感器或陀螺傳感器等來確認(rèn)車輛未移動(dòng)。接著，為了滿足第2個(gè)條件，計(jì)算過去進(jìn)行校準(zhǔn)偏差檢測(cè)時(shí)的時(shí)刻和根據(jù)時(shí)鐘等算出的當(dāng)前時(shí)刻之間的時(shí)間差。對(duì)于第3個(gè)條件，利用日照傳感器或雨滴傳感器等，來判斷是否滿足條件。
這樣，執(zhí)行了校準(zhǔn)偏差檢測(cè)后，其結(jié)果被送出到偏差結(jié)果呈現(xiàn)裝置122。此外，在必要時(shí)，將校準(zhǔn)偏差檢測(cè)結(jié)果寫入到校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置124中。
通過采用以上方法，本校準(zhǔn)偏差檢測(cè)裝置能夠應(yīng)用于車載等。
接著，本發(fā)明第11實(shí)施方式說明應(yīng)用了校準(zhǔn)偏差檢測(cè)裝置的立體攝像機(jī)的例子。
圖41是本發(fā)明第11實(shí)施方式的應(yīng)用了校準(zhǔn)偏差檢測(cè)裝置的立體攝像機(jī)的結(jié)構(gòu)框圖。這里，說明立體攝像機(jī)被搭載在車輛上的例子。
該立體攝像機(jī)包括距離圖像輸入裝置210、控制裝置212、物體識(shí)別裝置214、駕駛裝置216、警告裝置218、顯示裝置220、車速傳感器222、測(cè)距雷達(dá)224、照度傳感器226、外部攝像機(jī)228、GPS230、VICS232及外部通信裝置234。
上述距離圖像輸入裝置210包括下述部分立體適配器攝像機(jī)246，由拍攝被攝體240的攝像裝置242、和在該攝像裝置242的前端安裝的立體適配器224組成；和距離圖像處理裝置248，計(jì)測(cè)上述被攝體240的距離圖像。
上述顯示裝置220與包含校準(zhǔn)裝置256的距離圖像處理裝置248以及控制裝置212在功能上結(jié)合，用于使用戶(駕駛員)能識(shí)別與校準(zhǔn)裝置256(其內(nèi)部的校準(zhǔn)偏差檢測(cè)部)或運(yùn)算部(距離計(jì)算裝置254)、以及上述攝像部(攝像裝置242)的輸出關(guān)聯(lián)的所需的顯示，也作為前面結(jié)合圖32描述過的偏差結(jié)果呈現(xiàn)裝置以及該裝置的一部分來工作。
上述攝像裝置242與一般的攝像機(jī)、數(shù)字照相機(jī)等同樣，由攝像光學(xué)系統(tǒng)242a、攝影光圈調(diào)整系統(tǒng)(未圖示)、攝影調(diào)焦裝置(未圖示)、攝影快門速度調(diào)整裝置(未圖示)、攝像器件(未圖示)、以及靈敏度調(diào)整裝置(未圖示)構(gòu)成。再者，在該攝像裝置242上，安裝了立體適配器244。
該立體適配器244具有光路分割裝置244a。該光路分割裝置244a被安裝在攝像裝置242的攝像光學(xué)系統(tǒng)242a的前方，能夠?qū)碜圆煌朁c(diǎn)的被攝體240的像成像在攝像器件上。這樣用攝像裝置242拍攝到的立體圖像被供給到距離圖像處理裝置248。
距離圖像處理裝置248具有幀存儲(chǔ)器250、調(diào)整裝置252、距離計(jì)算裝置254、以及校準(zhǔn)裝置256。
從上述攝像裝置242供給的立體圖像被輸入到幀存儲(chǔ)器250中，進(jìn)而被供給到調(diào)整裝置252。從該調(diào)整裝置252向距離計(jì)算裝置254輸出左圖像及右圖像。距離計(jì)算裝置254經(jīng)控制裝置212向物體識(shí)別裝置214輸出三維距離圖像，作為距離圖像輸出。
此外，從校準(zhǔn)裝置256向調(diào)整裝置252輸出調(diào)整參數(shù)，向距離計(jì)算裝置254輸出距離計(jì)算參數(shù)，向物體識(shí)別裝置214輸出物體識(shí)別用參數(shù)。
其中，該立體攝像機(jī)的結(jié)構(gòu)與本案申請(qǐng)人先前在(日本)特愿2003-48324號(hào)中提出的結(jié)構(gòu)大致相同。
這樣，也能夠用作車輛上搭載的立體攝像機(jī)。
在以上說明過的第6至第11實(shí)施方式中，檢測(cè)與由2臺(tái)攝像機(jī)構(gòu)成的立體攝影裝置有關(guān)的校準(zhǔn)偏差，但是不言自明，能夠?qū)⑵鋺?yīng)用于由2臺(tái)以上的攝像機(jī)構(gòu)成的立體攝影裝置(即，多眼立體攝影裝置)。即，對(duì)構(gòu)成多眼立體攝影裝置的n臺(tái)攝像機(jī)，對(duì)于其每2臺(tái)組成的對(duì)，利用前述實(shí)施方式中說明過的方法，能夠同樣檢測(cè)校準(zhǔn)偏差。
接著，第12實(shí)施方式說明攝影裝置自身的內(nèi)部校準(zhǔn)。
圖42是本發(fā)明的校準(zhǔn)偏差校正裝置的第1基本結(jié)構(gòu)例的方框圖。具體地說，是解決前述校準(zhǔn)偏差校正的課題——“拍攝立體圖像的攝影裝置的內(nèi)部校準(zhǔn)參數(shù)的偏差校正”的裝置。
在圖42中，該校準(zhǔn)偏差校正裝置260具有向各部分的裝置發(fā)送控制信號(hào)或者控制整個(gè)序列的控制裝置262、狀況判斷裝置264、特征提取裝置266、校準(zhǔn)數(shù)據(jù)校正裝置268、校正結(jié)果呈現(xiàn)裝置270、以及校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置272。
該校準(zhǔn)偏差校正裝置260是拍攝立體圖像、對(duì)應(yīng)校正校準(zhǔn)偏差的攝影裝置276進(jìn)行校準(zhǔn)偏差校正的裝置。
上述狀況判斷裝置264用于判斷是否進(jìn)行校準(zhǔn)偏差校正。上述校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置272預(yù)先存儲(chǔ)著攝影裝置276的校準(zhǔn)數(shù)據(jù)。
此外，上述特征提取裝置266用于從上述攝影裝置276拍攝到的立體圖像中提取立體圖像內(nèi)對(duì)應(yīng)的特征。校準(zhǔn)數(shù)據(jù)校正裝置268利用特征提取裝置266提取出的特征和校準(zhǔn)數(shù)據(jù)，來校正校準(zhǔn)偏差。校正結(jié)果呈現(xiàn)裝置270報(bào)告該校正結(jié)果。
校正結(jié)果呈現(xiàn)裝置270構(gòu)成本發(fā)明的構(gòu)件——校正結(jié)果呈現(xiàn)部，該校正結(jié)果呈現(xiàn)部可采用將后述顯示裝置作為顯示器并作為自己的構(gòu)件來保有的形態(tài)，但是更一般地，該校正結(jié)果呈現(xiàn)部不限于這種連顯示器都作為自己的部分來保有的方式，有時(shí)也可僅采用下述方式根據(jù)表示校準(zhǔn)偏差校正裝置268的校正結(jié)果的信號(hào)，來生成用于呈現(xiàn)校正結(jié)果的輸出信號(hào)以及數(shù)據(jù)。
圖43是本發(fā)明的校準(zhǔn)偏差校正裝置的第2基本結(jié)構(gòu)例的方框圖。
在圖43中，該校準(zhǔn)偏差校正裝置280具有控制裝置262、狀況判斷裝置264、特征提取裝置266、校準(zhǔn)數(shù)據(jù)校正裝置268、校正結(jié)果呈現(xiàn)裝置270、校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置272、以及調(diào)整處理裝置282。
上述調(diào)整處理裝置282用于對(duì)攝影裝置276拍攝到的立體圖像進(jìn)行調(diào)整處理。這里，特征提取裝置266從進(jìn)行過調(diào)整處理的立體圖像中提取立體圖像內(nèi)對(duì)應(yīng)的特征。其他結(jié)構(gòu)與前述圖42的校準(zhǔn)偏差校正裝置260相同，所以省略其說明。
圖42所示的第1基本結(jié)構(gòu)、和圖43所示的第2基本結(jié)構(gòu)的差異是，是否是包含對(duì)立體圖像進(jìn)行調(diào)整處理的調(diào)整處理裝置282的結(jié)構(gòu)。
其中，校準(zhǔn)偏差校正裝置260及280內(nèi)的各裝置可以由硬件或電路構(gòu)成，也可以由計(jì)算機(jī)或數(shù)據(jù)處理裝置的軟件來處理。
這里，在具體說明第12實(shí)施方式前，概要說明本發(fā)明中重要的與立體攝影有關(guān)的技術(shù)內(nèi)容。

首先，如果利用立體圖像、用攝像裝置來拍攝圖像，則該圖像由攝像裝置內(nèi)的攝像器件(例如CCD或CMOS等半導(dǎo)體元件)成像為圖像，并且成為圖像信號(hào)。該圖像信號(hào)是模擬或數(shù)字信號(hào)，但是在校準(zhǔn)偏差校正裝置內(nèi)為數(shù)字圖像數(shù)據(jù)。數(shù)字?jǐn)?shù)據(jù)可以表現(xiàn)為二維數(shù)組，當(dāng)然也可以是六邊形細(xì)密填充的蜂窩構(gòu)造的二維數(shù)組。
在攝影裝置發(fā)送模擬圖像的情況下，在校準(zhǔn)偏差校正裝置內(nèi)或該裝置外準(zhǔn)備幀存儲(chǔ)器，將該圖像變換為數(shù)字圖像。假定在校準(zhǔn)偏差校正裝置內(nèi)規(guī)定的圖像的像素可以定義為正方或長(zhǎng)方格子狀。
現(xiàn)在，用(u，v)等二維坐標(biāo)來表現(xiàn)圖像的坐標(biāo)。
首先，如圖44所示，拍攝立體圖像的攝影裝置276由左右2臺(tái)攝像機(jī)286a、286b構(gòu)成。此外，設(shè)規(guī)定拍攝左圖像的攝像機(jī)286a的坐標(biāo)系為左攝像機(jī)坐標(biāo)系L，拍攝右圖像的坐標(biāo)系為右攝像機(jī)坐標(biāo)系R。此外，作為立體圖像，用(uL，vL)來表現(xiàn)左攝像機(jī)內(nèi)的圖像坐標(biāo)，用(uR，vR)等來表現(xiàn)右攝像機(jī)內(nèi)的圖像坐標(biāo)值。其中，設(shè)288a、288b分別為左攝像機(jī)圖像面、右攝像機(jī)圖像面。
此外，也可以定義整個(gè)攝影裝置276規(guī)定的基準(zhǔn)坐標(biāo)系。將該基準(zhǔn)坐標(biāo)系例如設(shè)為W。當(dāng)然，很明顯，作為基準(zhǔn)坐標(biāo)系，也可以采用其中一個(gè)攝像機(jī)坐標(biāo)系L或R。
以上，考慮了攝影裝置通過用2臺(tái)攝像機(jī)進(jìn)行立體攝影來生成立體圖像，但是除此之外也有生成立體圖像的方法。例如，有在1臺(tái)攝像機(jī)前安裝立體適配器、同時(shí)將左右圖像拍攝到1臺(tái)CCD或CMOS等攝像器件中的方法(例如參照本案申請(qǐng)人的(日本)特開平8-171151號(hào)公報(bào)等)。
在這種立體適配器的情況下，如圖45A及圖45B所示，用具有左反射鏡組290a、右反射鏡組290b的立體適配器拍攝的圖像，好像存在2臺(tái)攝像裝置、2臺(tái)幀存儲(chǔ)器那樣，可以展開為普通的立體攝像機(jī)。
本發(fā)明的立體攝影可以是這樣用2臺(tái)或2臺(tái)以上的多個(gè)攝像機(jī)拍攝的立體圖像?；蛘撸部梢允抢昧Ⅲw適配器拍攝的立體圖像。
接著，考慮用針孔攝像機(jī)對(duì)攝像裝置和幀存儲(chǔ)器的光學(xué)特性進(jìn)行模型化的情況。
即，設(shè)與左圖像關(guān)聯(lián)的針孔攝像機(jī)模型的坐標(biāo)系為左攝像機(jī)坐標(biāo)系L，與右圖像關(guān)聯(lián)的針孔攝像機(jī)模型的坐標(biāo)系為右攝像機(jī)坐標(biāo)系R。此外，假設(shè)左攝像機(jī)坐標(biāo)系L內(nèi)的點(diǎn)為(xL，yL，zL)，其圖像對(duì)應(yīng)點(diǎn)為(uL，vL)，右攝像機(jī)坐標(biāo)系R內(nèi)的點(diǎn)為(xR，yR，zR)，其圖像對(duì)應(yīng)點(diǎn)為(uR，vR)，則一邊考慮圖44所示的攝像機(jī)位置CL、CR，一邊如下式所示來求。
uL=αuLxLzL+u0LvL=αvLyLzL+v0L,uR=αuRxRzR+u0RvR=αvRyRzR+v0R···(61)]]>這里，(αuL，αvL)是左攝像機(jī)系統(tǒng)的縱及橫向的圖像放大倍數(shù)，(u0L，v0L)是圖像中心，(αuR，αvR)是右攝像機(jī)系統(tǒng)的縱及橫向的圖像放大倍數(shù)，(u0R，v0R)是圖像中心。如果將它們表現(xiàn)為矩陣，設(shè)wL、wR為中間變量，則也可以表示為wLuLuL1=αvL0u0L0αvLv0L001xLyLzL,wR=uRuR1=αuR0u0R0αvRv0R001xRyRzR···(62)]]>設(shè)用基準(zhǔn)坐標(biāo)系定義的點(diǎn)P(x，y，z)在左圖像內(nèi)的位置為(uL，vL)，在右圖像內(nèi)的位置為(uR，vR)，可以考慮與左圖像中設(shè)想的攝像裝置和幀存儲(chǔ)器對(duì)應(yīng)的左攝像機(jī)286a在基準(zhǔn)坐標(biāo)系中的位置CL(左攝像機(jī)坐標(biāo)系的原點(diǎn))、和與右圖像中設(shè)想的攝像裝置和幀存儲(chǔ)器對(duì)應(yīng)的右攝像機(jī)286b在基準(zhǔn)坐標(biāo)系中的位置CR(右攝像機(jī)坐標(biāo)系的原點(diǎn))。此時(shí)，從基準(zhǔn)坐標(biāo)系W的點(diǎn)P(x，y，z)投影到左(uL，vL)的變換式、和從同一點(diǎn)投影到右(uR，vR)的變換式可以如下表示。
uL=αuLr11Lx+r12Ly+r13Lz+txLr31Lx+r32Ly+r33Lz+tzL+u0LvL=αvLr21Lx+r22Ly+r23Lz+tyLr31Lx+r32Ly+r33Lz+tzL+v0L···(63)]]>uR=αuRr11Rx+r12Ry+r13Rz+txRr31Rx+r32Ry+r33Rz+tzR+u0RvR=αvRr21Rx+r22Ry+r23Rz+tyRr31Rx+r32Ry+r33Rz+tzR+v0R···(64)]]>這里，RL=(rijL),TL=[txL,tyL,tzL]t]]>是構(gòu)成從基準(zhǔn)坐標(biāo)系到左攝像機(jī)坐標(biāo)系L的坐標(biāo)變換的各個(gè)3×3旋轉(zhuǎn)矩陣和平移矢量。此外，RR=(rijR),]]>TR=[txR,tyR,tzR]t]]>是構(gòu)成從基準(zhǔn)坐標(biāo)系到右攝像機(jī)坐標(biāo)系R的坐標(biāo)變換的各個(gè)3×3旋轉(zhuǎn)矩陣和平移矢量。
另一方面，在攝像裝置的光學(xué)透鏡等的透鏡失真對(duì)三維計(jì)測(cè)要求的精度不能忽略的情況下，需要考慮包含透鏡失真的光學(xué)系統(tǒng)。在此情況下，上述式(63)、(64)可以用以下所示的式(66)、(67)來表現(xiàn)。在該式中，在表現(xiàn)透鏡失真時(shí)表示的是徑向失真和切向失真，當(dāng)然也可以是其他失真表現(xiàn)。
這里，在設(shè)與左右攝像機(jī)的透鏡失真有關(guān)的參數(shù)為dL=(k1L,g1L,g2L,g3L,g4L)dR=(k1R,g1R,g2R,g3R,g4R)···(65)]]>時(shí)，以下式子成立
u~pL=xLzL=r11Lx+r12Ly+r13Lz+txLr31Lx+r32Ly+r33Lz+tzLv~pL=yLzL=r21Lx+r22Ly+r23Lz+tyLr31Lx+r32Ly+r33Lz+tzLu~dL=u~pL+(g1L+g3L)(u~pL)2+g4Lu~pLv~pL+g1L(v~pL)2+k1Lu~pL((u~pL)2+(v~pL)2)···(66)v~dL=v~pL+g2L(u~pL)2+g3Lu~pLv~pL+(g2L+g4L)(v~pL)2+k1Lv~pL((u~pL)2+(v~pL)2)uL=αuLu~dL+u0LvL=αvLv~dL+v0L]]>u~pR=xrzR=r11Rx+r12Ry+r23Rz+tyRr31Rx+r32Ry+r33Rz+tzRv~pR=yRzR=r21Rx+r22Ry+r23Rz+tyRr31Rx+r32Ry+r33Rz+tzRu~dR=u~pR+(g1R+g3R)(u~pR)2+g4Ru~pRvpR+g1R(v~pR)2+k1Ru~pR((u~pR)2+(v~pR)2)···(67)v~dR=v~pR+g2R(u~pR)2+g3Ru~pRv~pR+(g2R+g4R)(v~pR)2+k1Rv~pR((u~pR)2+(v~pR)2)uR=αuRu~dR+u0RvR=αvRv~dR+v0R]]>這里，(u~pL,v~pL),(u~dL,v~dL)]]>和(u~pR,v~pR),(u~dR,v~dR)]]>是用于表現(xiàn)透鏡失真的中間參數(shù)，是左及右攝像機(jī)圖像坐標(biāo)系中的歸一化過的坐標(biāo)，p是表示除去失真后的歸一化圖像坐標(biāo)的下標(biāo)，d是表示除去失真前(包含失真要素)的歸一化圖像坐標(biāo)的下標(biāo)。
此外，所謂除去失真或校正失真的步驟，是指如下所述地生成圖像的過程。
(校正左圖像的失真)1)對(duì)校正失真后的各圖像數(shù)組(upL，vpL)，計(jì)算歸一化了的圖像坐標(biāo)。
u~pL=upL-u0LαuL,v~pL=vpL-v0LαvL···(68)]]>2)通過下式，來計(jì)算校正失真前的歸一化了的圖像坐標(biāo)。
u~dL=u~pL+(g1L+g3L)(u~pL)2+g4Lu~pLv~pL+g1L(v~pL)2+k1Lu~pL((u~pL)2+(v~pL)2)v~dL=v~pL+g2L(u~pL)2+g3Lu~pLv~pL+(g2L+g4L)(v~pL)2+k1Lv~pL((u~pL)2+(v~pL)2)···(69)]]>3)通過uL=αuLu~dLu0L,vL=αvLv~dL+v0L,]]>來計(jì)算校正失真前的左原圖像所對(duì)應(yīng)的圖像坐標(biāo)，利用其鄰近像素等的像素值，來計(jì)算(upL，vpL)的像素值。
(校正右圖像的失真)1)對(duì)校正失真后的各圖像數(shù)組(upR，vpR)，計(jì)算歸一化了的圖像坐標(biāo)。
u~pR=upR-u0RαuR,v~pR=vpR-v0RαvR···(70)]]>2)通過下式，計(jì)算校正失真前的歸一化了的圖像坐標(biāo)。
u~dR=u~pR+(g1R+g3R)(u~pR)2+g4Ru~pRvpR+g1R(v~pR)2+k1Ru~pR((u~pR)2+(v~pR)2)v~dR=v~pR+g2R(u~pR)2+g3Ru~pRv~pR+(g2R+g4R)(v~pR)2+k1Rv~pR((u~pR)2+(v~pR)2)···(71)]]>3)通過uR=αuRu~dR+u0R,vR=αvRv~dR+v0R,]]>來計(jì)算校正失真前的左原圖像所對(duì)應(yīng)的圖像坐標(biāo)，利用其鄰近像素等的像素值，來計(jì)算與(upR，vpR)對(duì)應(yīng)的像素值。
設(shè)由2臺(tái)攝像機(jī)構(gòu)成的拍攝立體圖像的攝影裝置的左攝像機(jī)的坐標(biāo)系為L(zhǎng)、右攝像機(jī)的坐標(biāo)系為R，來考慮這些攝像機(jī)的位置關(guān)系。坐標(biāo)系L和坐標(biāo)系R之間的坐標(biāo)值的關(guān)系，可以利用坐標(biāo)變換(旋轉(zhuǎn)矩陣和平移矢量)用下式來表現(xiàn)。
xLyLzL=RRLxRyRzR+TRL···(72)]]>這里，可以用下式RRL=Rot(φz)Rot(φy)Rot(φx)=cosφz-sinφz0sinφzcosφz0001cosφy0sinφy010-sinφy0cosφy1000cosφx-sinφx0sinφxcosφx···(73)]]> 來表示，可以將6個(gè)參數(shù)e＝(φx，φy，φz，tx，ty，tz)表現(xiàn)為外部參數(shù)。
此外，如前所述，分別獨(dú)立表現(xiàn)了左右攝像機(jī)的內(nèi)部參數(shù)用下式來表示。
cL=(αuL,αvL,u0L,v0L,dL)cR=(αuR,αvR,u0R,v0R,dR)···(75)]]>總之，由2臺(tái)攝像機(jī)構(gòu)成的攝影裝置的情況下的攝像機(jī)參數(shù)可以利用下式p＝(cL，cR，e) …(76)作為攝影裝置的內(nèi)部校準(zhǔn)參數(shù)。
在本發(fā)明中，將該攝影裝置的內(nèi)部校準(zhǔn)參數(shù)p等作為校準(zhǔn)參數(shù)，存儲(chǔ)在校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置中。假設(shè)校準(zhǔn)數(shù)據(jù)至少包含該攝像機(jī)校準(zhǔn)參數(shù)p。但是，在可以忽略攝影裝置的透鏡失真的情況下，也可以忽略失真參數(shù)的部分(dL，dR)，或者設(shè)為零。
此外，所謂攝影裝置的內(nèi)部校準(zhǔn)，可以定義為估計(jì)如上所述的攝影裝置的內(nèi)部參數(shù)和外部參數(shù)的組——p＝(cL，cR，e)的問題。此外，所謂校正校準(zhǔn)偏差，是指校正這樣設(shè)定的校準(zhǔn)參數(shù)的值。
在此情況下，校準(zhǔn)校正問題歸結(jié)為
(課題1-1)校正攝像機(jī)間位置姿態(tài)參數(shù)的問題，p＝e；(課題1-2)校正立體攝影裝置的所有內(nèi)部參數(shù)的問題，p＝(cL，cR，e)，對(duì)各個(gè)課題，應(yīng)校正的校準(zhǔn)參數(shù)不同。這里，也可以考慮p＝(cL，cR)這一組合的校正問題，但是實(shí)際上，在用攝像機(jī)參數(shù)(cL，cR)描述的放大倍數(shù)、焦距、圖像中心或失真參數(shù)有變動(dòng)的情況下，認(rèn)為e也有變動(dòng)比較妥當(dāng)，所以，與此情況有關(guān)的參數(shù)估計(jì)以(1-2)中進(jìn)行處理為前提。
如前所述，還需要考慮攝影裝置和外部裝置間的校準(zhǔn)。
在此情況下，例如將左攝像機(jī)坐標(biāo)系L取作攝影裝置的基準(zhǔn)坐標(biāo)系，規(guī)定左攝像機(jī)坐標(biāo)系和外部裝置間的位置姿態(tài)關(guān)系就相當(dāng)于校準(zhǔn)。例如，假設(shè)外部裝置的坐標(biāo)系為O，從外部裝置坐標(biāo)系O到左攝像機(jī)坐標(biāo)系L的坐標(biāo)變換參數(shù)如式(77)所示，則可以通過用式(78)所示的6個(gè)參數(shù)來描述其位置姿態(tài)關(guān)系。假設(shè)ROL=r11′r12′r13′r21′r22′r23′r31′r32′r33′,TOL=tx′ty′tz′···(77)]]>則可通過如下6個(gè)參數(shù)來描述其位置姿態(tài)關(guān)系。
p＝e′＝(φ′x，φ′y，φ′z，t′x，t′y，t′z) …(78)這里，φ′x、φ′y、φ′z是與LRO有關(guān)的3個(gè)旋轉(zhuǎn)分量參數(shù)。將其作為課題2。
將課題(1-2)和課題(2)結(jié)合的課題、即p＝(cL，cR，e，e′) …(79)作為課題3。該課題是校正以上說明過的所有校準(zhǔn)參數(shù)的課題。
在用立體圖像來進(jìn)行圖像計(jì)測(cè)時(shí)，如后面也描述的那樣，在左右圖像內(nèi)進(jìn)行對(duì)應(yīng)點(diǎn)搜索很重要。對(duì)于該對(duì)應(yīng)點(diǎn)搜索，重要的是所謂的核線約束這一概念。以下，參照?qǐng)D46來進(jìn)行說明。
即，是下述約束條件在向?qū)ψ笥以瓐D像292a、292b進(jìn)行了失真校正而得到的左右圖像294a、294b提供了準(zhǔn)確的校準(zhǔn)參數(shù)p＝(cL，cR，e)時(shí)，與左圖像內(nèi)的特征點(diǎn)(uL，vL)對(duì)應(yīng)的右圖像內(nèi)的特征點(diǎn)(uR，vR)必須在附圖標(biāo)記296所示的某個(gè)直線上。將該直線稱為核線。
這里重要的是，當(dāng)失真在圖像內(nèi)很顯著時(shí)，必須預(yù)先進(jìn)行失真校正或消除。此外，在進(jìn)行過失真校正的歸一化圖像中，核線約束也同樣成立。因此，以下，首先在進(jìn)行了失真校正、而且歸一化了的圖像面內(nèi)，定義本發(fā)明考慮的核線。
對(duì)于在左圖像中得到的特征點(diǎn)(uL，vL)，設(shè)在上述式(66)、(67)的途中出現(xiàn)的歸一化了的圖像內(nèi)進(jìn)行過失真校正的特征點(diǎn)的位置為 用左攝像機(jī)坐標(biāo)系規(guī)定的三維點(diǎn)(x，y，z)在左攝像機(jī)圖像內(nèi)被投影到(uL，vL)，假設(shè)它被變換為上述的 則下式成立。
u~L=xz,v~L=yz···(80)]]>另一方面，(x，y，z)在右攝像機(jī)圖像內(nèi)被投影到(uR，vR)，假設(shè)在歸一化了的攝像機(jī)圖像內(nèi)進(jìn)行過失真校正的圖像坐標(biāo)為 則u~R=r11x+r12y+r13z+txr31x+r32y+r33z+tz,v~R=r21x+r22y+r23z+tyr31x+r32y+r33z+tz···(81)]]>成立。這里，rij和tx、ty、tz是表示從右攝像機(jī)坐標(biāo)系R到左攝像機(jī)坐標(biāo)系L的坐標(biāo)變換的旋轉(zhuǎn)矩陣和平移矢量的元素，用LRR＝(rij)3×3，LTR＝[tx，ty，tz]t…(82)來表示。將式(80)代入式(81)，消去z后，以下方程式成立。
u~R{(r31u~L+r32v~L+r33)ty-(r21u~L+r22v~L+r23)tz}+v~R{(r11u~L+r12v~L+r13)tz-(r31u~L+r32v~L+r33)tx}+(r21u~L+r22v~L+r23)tx-(r11u~L+r12v~L+r13)ty=0···(83)]]>
這里，設(shè)a~=(r31u~L+r32v~L+r33)ty-(r21u~L+r22v~L+r23)tzb~=(r11u~L+r12v~L+r13)tz-(r31u~L+r32v~L+r33)txc~=(r21u~L+r22v~L+r23)tx-(r11u~L+r12v~L+r13)ty---(84)]]>則得到如下直線，a~u~R+b~v~R+c~=0---(85)]]>它表示歸一化了的圖像面內(nèi)的核線。
以上，在歸一化了的圖像面中進(jìn)行了考慮，但是在進(jìn)行過失真校正的圖像面中也同樣能夠?qū)С龊司€的方程式。
具體地說，對(duì)進(jìn)行過失真校正的左圖像和右圖像的對(duì)應(yīng)點(diǎn)的坐標(biāo)值(upL，vpL)、(upR，vpR)，通過解下式，upL=αuLxz+u0L,vpL=αpLyz+v0L---(86)]]>upL=αuRr11x+r12y+r13z+txr31x+r32y+r33z+tz+u0L,vpR=αvRr21x+r22y+r23z+tyr31x+r32y+r33z+tz+v0R---(87)]]>與上述式(85)同樣地，能夠?qū)С龊司€的如下方程式aupR+bvpR+c=0---(88)]]>[調(diào)整處理]以上，將核線約束作為左右圖像內(nèi)的特征點(diǎn)來考慮，但是作為其他方法，調(diào)整處理這一方法在立體圖像處理中很常用。
以下，說明本發(fā)明的調(diào)整。
進(jìn)行調(diào)整處理后，能夠?qū)С鲎笥覉D像內(nèi)對(duì)應(yīng)的特征點(diǎn)都在同一水平直線上這一約束。換言之，在調(diào)整處理后的圖像中，左圖像的同一直線上的特征點(diǎn)組，能夠在右圖像上將同一直線定義為核線。
圖47A及圖47B示出了該狀況。圖47A示出了調(diào)整前的圖像，圖47B示出了調(diào)整后的圖像。圖中300a、300b分別是點(diǎn)A、點(diǎn)B的對(duì)應(yīng)點(diǎn)存在的直線，302表示將對(duì)應(yīng)點(diǎn)配置在同一直線上的核線。
為了實(shí)現(xiàn)這種調(diào)整，如圖48所示，將左右攝像機(jī)原圖像分別變換成相互水平。此時(shí)，通過不移動(dòng)左攝像機(jī)坐標(biāo)系L和右攝像機(jī)坐標(biāo)系R的原點(diǎn)CL、CR，只變更攝像機(jī)坐標(biāo)系的軸，來生成新的左右圖像面。
其中，在圖48中，306a表示調(diào)整前的左圖像面，306b表示調(diào)整前的右圖像面，308a表示調(diào)整后的左圖像面，308b表示調(diào)整后的右圖像面，310表示圖像坐標(biāo)(uR，vR)的調(diào)整前，312表示圖像坐標(biāo)(uR，vR)的調(diào)整后，314表示調(diào)整前的核線，316表示調(diào)整后的核線，318表示三維點(diǎn)。
設(shè)對(duì)左攝像機(jī)坐標(biāo)系L和右攝像機(jī)坐標(biāo)系R進(jìn)行過調(diào)整后的坐標(biāo)系分別為L(zhǎng)Rect、RRect。如前所述，L和LRect、R和RRect的原點(diǎn)一致。
以下考慮2個(gè)坐標(biāo)系的坐標(biāo)系間的坐標(biāo)變換，但是此前將基準(zhǔn)坐標(biāo)系取為左攝像機(jī)坐標(biāo)系L。(將基準(zhǔn)坐標(biāo)系取為其他坐標(biāo)系也同樣。)此時(shí)，如下定義調(diào)整后的左攝像機(jī)坐標(biāo)系LRect和右攝像機(jī)坐標(biāo)系RRect。
首先，考慮從左攝像機(jī)坐標(biāo)系L的原點(diǎn)到右攝像機(jī)坐標(biāo)系R的原點(diǎn)的矢量。它當(dāng)然是以基準(zhǔn)坐標(biāo)系為基準(zhǔn)測(cè)得的。
此時(shí)，設(shè)該矢量為T＝[tx，ty，tz]…(89)。
其大小為||T||=tx2+ty2+tz2.]]>此時(shí)，定義以下3個(gè)方向矢量{e1，e2，e3} 此時(shí)，將e1、e2、e3取作左右調(diào)整處理后的左攝像機(jī)坐標(biāo)系LRect和右攝像機(jī)坐標(biāo)系RRect的x、y、z軸的方向矢量。即，
LRLRect＝LRRRect＝[e1，e2，e3] …(91)此外，根據(jù)各個(gè)原點(diǎn)的取法，下式成立。
LTLRect＝0，LTRRect＝0 …(92)這樣設(shè)定后，如圖47A、圖47B或圖48所示，不言自明，在歸一化了的圖像空間中，左右的對(duì)應(yīng)點(diǎn)被配置在一條直線上(核線上)。接著，考慮攝像機(jī)的歸一化了的攝像機(jī)圖像內(nèi)的點(diǎn) 和調(diào)整后的歸一化了的攝像機(jī)圖像內(nèi)的變換點(diǎn) 之間的對(duì)應(yīng)關(guān)系。為此，假設(shè)同一三維點(diǎn)在左攝像機(jī)坐標(biāo)系L中用(xL，yL，zL)來表現(xiàn)，在調(diào)整后的左攝像機(jī)坐標(biāo)系中用(xLRect，yLRect，zLRect)來表現(xiàn)。此外，如果考慮(xL，yL，zL)在歸一化了的圖像面中的位置 和(xLRect，yLRect，zLRect)在歸一化了的圖像面中的位置 則利用中間變量 以下方程式成立w~Lu~Lv~L1=xLyLzL,w~LRectu~LRectv~LRect1=xLRectyLRectzLRect---(93)]]>此時(shí)，下式成立，w~Lu~Lv~L1=xLyLzL=RLRectLxLRectyLRectzLRect=RLRectLw~LRectu~LRectv~LRect1---(94)]]>，所以如下方程式成立。
w~*Lu~Lv~L1=RLRectLu~LRectv~LRect1---(95)]]>同樣，對(duì)右攝像機(jī)圖像，在歸一化了的攝像機(jī)圖像內(nèi)的點(diǎn) 和調(diào)整后的歸一化了的攝像機(jī)圖像內(nèi)的變換點(diǎn) 之間，如下方程式也成立。
w~*Ru~Rv~R1=RLRRRRectLu~RRectv~RRect1=RRRectRu~RRectv~RRect1---(96)]]>因此，在左攝像機(jī)系統(tǒng)中，假設(shè)LRLRect的元素為(rij)，與調(diào)整后的歸一化了的圖像面的 對(duì)應(yīng)的調(diào)整前的歸一化了的圖像內(nèi)位置 如下式所示。
u~L=r11u~LRect+r12v~LRect+r13r13u~LRect+r32v~LRect+r33v~L=r21u~LRect+r22v~LRect+r23r31u~LRect+r32v~LRect+r33---(97)]]>在右攝像機(jī)系統(tǒng)中也同樣。以上，用不包含失真校正的攝像機(jī)系統(tǒng)進(jìn)行了說明，但是在包含失真校正的實(shí)際情況下，通過以下方法即可。
其中，以下步驟中的調(diào)整后的圖像的u方向和v方向放大倍數(shù)αuRect、αvRect和圖像中心u0Rect、v0Rect根據(jù)調(diào)整過的圖像的大小來適當(dāng)?shù)卦O(shè)定即可。
首先，作為步驟RecL1，決定αuRect、αvRect、u0Rect、v0Rect等參數(shù)。
作為步驟RecL2，對(duì)調(diào)整后的左圖像的各像素點(diǎn)(uRectL，vRectL)，計(jì)算RecL2-1)u~RectL=uRectL-u0LαuL]]>とv~RectL=vRectL-v0LαvL---(98)]]>RecL2-2)通過解下式，來計(jì)算歸一化了的像素值 w~Lu~Lv~L1=RLRectLu~RectLv~RectL1---(99)]]>RecL2-3)計(jì)算附加了透鏡失真的歸一化了的坐標(biāo)值
u~dL=f1(u~L,v~L;k1,g1,g2,g3,g4)v~dL=f2(u~L,u~L;k1,g1,g2,g3,g4)---(100)]]>這里，f1、f2表示上述式(65)的第2項(xiàng)所示的的非線性函數(shù)。
RecL2-4)計(jì)算立體適配器和攝像裝置拍攝到的幀存儲(chǔ)器上的坐標(biāo)值udL=αuLu~dL+u0L,vdL=αvLv~dL+v0L.]]>(d表示包含失真要素。)RecL2-5)利用幀存儲(chǔ)器上的像素值(udL，vdL)的鄰近像素，例如利用線性插值處理等，來計(jì)算調(diào)整處理后的左圖像的像素值。
作為步驟RecR1，對(duì)右圖像也進(jìn)行同樣的處理。
以上對(duì)調(diào)整處理的方法進(jìn)行了上述說明，但是調(diào)整的方法并不限于此。例如，也可以是Andrea Fusiello，et al，“A compact algorithm forrectification of stereo pairs，”Machine Vision and A pplications，2000，1216-22中示出的方法。
以上描述了說明實(shí)施方式所需的用語的說明和處理的方法，以下具體說明圖43所示的校準(zhǔn)偏差校正裝置。
圖49是說明本第12實(shí)施方式的校準(zhǔn)偏差校正裝置的詳細(xì)工作的流程圖。其中，在本實(shí)施方式中，根據(jù)控制裝置262的控制來工作。
此外，在本實(shí)施方式中，說明解決校正立體攝影裝置的內(nèi)部校準(zhǔn)參數(shù)的課題、即前述課題1-1或課題1-2的具體工作。
再者，這里說明圖43所示結(jié)構(gòu)的校準(zhǔn)偏差校正裝置的方式、即包含調(diào)整處理的處理，但是在圖42所示結(jié)構(gòu)的方式、即不進(jìn)行調(diào)整處理的校準(zhǔn)偏差校正裝置的情況下，處理的方法也相同。
其中，在本實(shí)施方式中，作為校準(zhǔn)偏差校正裝置所需的特征，采用以下2種特征。
a)已知特征這是在某個(gè)坐標(biāo)系中指定了相對(duì)位置的特征。例如，如果有已知特征i和j，則是指這些特征間的距離dij預(yù)先已知等的幾何學(xué)上的限制已經(jīng)明確的特征。
例如，如圖50A所示，在車輛的情況下，車牌320的4個(gè)角等是該特征的例子(圖50A內(nèi)的已知特征組322)。此外，如圖50B所示，車輛的發(fā)動(dòng)機(jī)罩324上形狀變化的點(diǎn)等是另一個(gè)例子(圖50B內(nèi)的已知特征組326)。
在此情況下，在發(fā)動(dòng)機(jī)罩324上，這種特征i、j間的距離是由車輛的CAD模型等預(yù)先給出的設(shè)計(jì)值。此外，也可以是本案申請(qǐng)人的(日本)特開2000-227309號(hào)公報(bào)記載的多個(gè)圓形標(biāo)記等。
用于得到前述已知特征的外部裝置可以應(yīng)用各種裝置，應(yīng)用裝備了攝像部的車輛的特定形狀部的例子可以如下所示。即，除了已有的車牌或發(fā)動(dòng)機(jī)罩上形狀變化的點(diǎn)等之外，例如在擋風(fēng)玻璃的一部分上安裝相對(duì)位置已知的標(biāo)記作為已知特征，預(yù)先計(jì)測(cè)其三維位置。此外，也可以是使得能夠用立體攝影裝置來拍攝它們中的全部或一部分的例子。
圖50C內(nèi)所示的已知特征組328示出了在擋風(fēng)玻璃330的一部分上配置了已知特征——黑點(diǎn)已知標(biāo)記的狀況的例子。在該圖50C中，已知標(biāo)記組被配置成能夠在左右攝像機(jī)內(nèi)拍攝其全部或其一部分。此外，如圖50D及圖50E所示，這些標(biāo)記組被配置成映入立體左右圖像的圖像周邊部，被設(shè)計(jì)成不映入成為重要影像的中心部。
b)自然特征自然特征與已知特征不同，是從由立體攝影裝置拍攝到的圖像內(nèi)提取出的特征。一般地，有時(shí)也用Natural Features(Natural Markers，自然標(biāo)記)等來表現(xiàn)。在這種自然特征的情況下，包含該自然特征間的幾何距離等性質(zhì)預(yù)先未知的情況。
以下，在本發(fā)明中，說明利用這兩種特征來進(jìn)行校準(zhǔn)偏差校正的方法。
再者，說明校準(zhǔn)偏差校正的問題、和一般性的校準(zhǔn)參數(shù)估計(jì)問題之間的差異。在一般性的校準(zhǔn)參數(shù)估計(jì)問題中，認(rèn)為與校準(zhǔn)有關(guān)的參數(shù)的初始估計(jì)值不是已知的，需要計(jì)算所有參數(shù)，所以往往需要許多計(jì)算量。然而，在校準(zhǔn)偏差校正的問題中，預(yù)先給出了初始估計(jì)值，主要著眼于用少的計(jì)算量、或少的特征數(shù)來校正同該初始估計(jì)值之間的偏差。
在圖49的流程圖中，首先，在步驟S81中，狀況判斷裝置264判斷當(dāng)前時(shí)刻是否應(yīng)校正校準(zhǔn)偏差。判斷的方法有如下所述的方法。
即，判斷校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置中存儲(chǔ)的、過去設(shè)定校準(zhǔn)參數(shù)的時(shí)刻或狀態(tài)等。例如，在定期進(jìn)行校準(zhǔn)偏差校正的情況下，取其過去的時(shí)刻和當(dāng)前時(shí)刻之差，如果該差大于某個(gè)閾值，則判斷是否應(yīng)該校正校準(zhǔn)偏差。
此外，在汽車等安裝的攝影裝置等情況下，也可以根據(jù)車上安裝的里程表(Odometer)等的值來判斷。
此外，也可以判斷當(dāng)前的天氣或時(shí)間是否適合校正校準(zhǔn)偏差等。例如，在用于監(jiān)視汽車車外的攝影裝置的情況下，在夜晚或下雨等惡劣天氣的情況下，判斷為避免檢測(cè)校準(zhǔn)校正。
根據(jù)以上狀況，在判斷為需要校正校準(zhǔn)偏差的情況下，將該意思通知給控制裝置262。在控制裝置262接收到該通知的情況下，轉(zhuǎn)移到步驟S82。另一方面，如果無需或不能校正校準(zhǔn)偏差，則本例程結(jié)束。
在步驟S82中，用攝影裝置276來拍攝立體圖像。如前所述，該攝影裝置276拍攝的圖像是模擬圖像還是數(shù)字圖像都沒關(guān)系。在模擬圖像時(shí)，將該圖像變換為數(shù)字圖像。
該攝影裝置276拍攝到的圖像作為左圖像和右圖像被送出到校準(zhǔn)偏差校正裝置268。
圖51A及圖51B示出了左右原圖像，其中，圖51A是左攝像機(jī)拍攝到的左原圖像，圖51B是右攝像機(jī)拍攝到的右原圖像。
接著，在步驟S83中，調(diào)整處理裝置282從校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置272接收過去存儲(chǔ)的校準(zhǔn)數(shù)據(jù)，實(shí)施調(diào)整處理。
其中，如上所述，校準(zhǔn)數(shù)據(jù)使用攝影裝置的左右攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù)的組p＝(cL，cR，e)。
進(jìn)行調(diào)整處理時(shí)，在構(gòu)成攝影裝置276的左右攝像機(jī)的透鏡失真很顯著的情況下，根據(jù)前述RecL和RecR的步驟，包含透鏡失真校正的算法來進(jìn)行處理。其中，在透鏡失真可以忽略時(shí)，省略RecL和RecR中的失真校正的部分進(jìn)行處理即可。
這樣進(jìn)行過調(diào)整處理的圖像被送出到后面的特征提取裝置266。
圖52A及圖52B示出調(diào)整過的左右圖像，其中，圖52A是左圖像，圖52B是右圖像。
接著，在步驟S84中，對(duì)上述步驟S83中調(diào)整過的立體圖像，提取校準(zhǔn)偏差校正所需的特征。該處理由特征提取裝置266來進(jìn)行。
特征提取裝置266例如如圖53所示，由特征選擇部266a和特征對(duì)應(yīng)搜索部266b構(gòu)成。特征選擇部266a從調(diào)整過的立體圖像中的一個(gè)圖像中提取及選擇對(duì)校正校準(zhǔn)偏差可能有效的圖像特征。然后，上述特征對(duì)應(yīng)搜索部266b在另一個(gè)圖像內(nèi)搜索與該特征選擇部266a選擇出的特征對(duì)應(yīng)的特征，并提取最佳的特征，這些特征對(duì)的集合作為數(shù)據(jù)而生成。
這里，詳細(xì)說明上述特征提取裝置266的特征選擇部266a和特征對(duì)應(yīng)搜索部266b。
首先，特征選擇部266a提取校準(zhǔn)偏差校正所需的已知特征。特征選擇部266a從調(diào)整過的立體圖像中的一個(gè)圖像(例如左圖像)中提取檢測(cè)校準(zhǔn)偏差所需的已知特征，從右圖像中提取其對(duì)應(yīng)的特征。
例如，在以左圖像和右圖像對(duì)應(yīng)的形式得到m個(gè)已知特征的對(duì)的情況下，B={((uk′L,vk′L),(uk′R,vk′R)):k=1,2···m}---(101)]]>此外，在特征i和特征j的位置關(guān)系是已知特征的情況下，將該特征間的三維距離注冊(cè)到集合D中。這里，D以D＝{dijdistance_of_pair(i，j)_is_known.}…(102)的形式，還包含各特征間的三維距離數(shù)據(jù)和其下標(biāo)而注冊(cè)為集合。
接著，同樣地提取自然特征。即，對(duì)調(diào)整過的立體圖像，提取校準(zhǔn)偏差校正所需的自然特征。將這樣得到的特征對(duì)的數(shù)據(jù)注冊(cè)為左右圖像校準(zhǔn)后的圖像坐標(biāo)值。
例如，在以左圖像和右圖像對(duì)應(yīng)的形式得到n個(gè)特征點(diǎn)的對(duì)的情況下，可以以A={((uiL,viL),(uiR,viR)):i=1,2,···n}---(103)]]>的形式來表現(xiàn)。
這里，說明特征選擇部5a中的提取方法。
首先，說明已知特征的提取方法。
已知特征的提取方法與所謂的圖像處理的物體識(shí)別問題等價(jià)，其手法在各種文獻(xiàn)中有介紹。在本發(fā)明中的已知特征的情況下，從圖像內(nèi)提取預(yù)先知道形狀或幾何性質(zhì)的特征。其方法例如也詳細(xì)記載于W.E.L.Grimson，Object Recognition by Computer，MIT Press，1990、或A.Kosaka and A.C.Kak，“Stereo vision for industrial applications，”Handbook of Industrial Robotics，Second Edition，Edited by S.Y.Nof，John Wiley & Sons，Inc.，1999，pp.269-294等中。
例如，考慮圖50A至圖50E所示的、在車輛上安裝的立體攝影裝置將車內(nèi)外存在的對(duì)象物作為特征的情況。在這種情況下，作為已知特征，提取前方車輛的車牌320的4個(gè)角部、本車輛的發(fā)動(dòng)機(jī)罩324的形狀內(nèi)特征、或擋風(fēng)玻璃330上安裝的標(biāo)記等。
作為提取這種已知特征的具體方法的一實(shí)現(xiàn)手段，例如有下述方法通過Rahardja and Kosaka的Spedge-and-Medge法(文獻(xiàn)K.Rahardja and A.Kosaka，“Vision-based bin-pickingRecognition andlocalization of multiple complex objects using simple visual cues，”Proceeding of 1996 IEEE/RSJ International Conference on IntelligentRobots and Systems，Osaka，Japan，November，1996.)，將圖像分割為小區(qū)域，從其中選擇認(rèn)為是關(guān)心區(qū)域的區(qū)域，進(jìn)行關(guān)心區(qū)域和預(yù)先注冊(cè)的已知特征間的匹配，提取正確的已知特征。
此外，有像W.E.L.Grimson，Object Recognition by Computer，MIT Press，1990、或Kosaka and Kak的文獻(xiàn)(A.Kosaka and A.C.Kak，“Stereo vision for industrial applications，”Handbook of IndustrialRobotics，Second Edition，Edited by S.Y.Nof，John Wiley & Sons，Inc.，1999，pp.269-294)記載的那樣，在提取出邊緣分量后、計(jì)算該邊緣的形狀或曲率等來提取已知特征的方法等。在本發(fā)明中，可以是這里說明過的任何方法。
圖54是該提取結(jié)果的示例圖。在圖54中，是提取且選擇出由特征點(diǎn)構(gòu)成、它們的三維位置關(guān)系分別已知的已知特征點(diǎn)組334和已知特征點(diǎn)組336作為已知特征的例子。
接著，說明自然特征的提取方法。
首先，特征選擇部266a在一個(gè)圖像、例如左圖像中，選擇對(duì)校準(zhǔn)偏差校正可能有效的特征。例如，作為特征，在將特征點(diǎn)作為候選時(shí)，首先，如圖55所示，將調(diào)整過的左圖像分割為由M×N個(gè)正方形組成的小塊。然后，從該各塊內(nèi)的圖像中，提取至多1個(gè)角點(diǎn)等特征點(diǎn)。
該方法例如使用參考文獻(xiàn)R.Haralick and L.Shapiro，Computerand Robot Vision，Volume II，pp.332-338，Addison-Wesley，1993中記載的Interest Operator或Corner Point Extraction法等即可?；蛘?，也可以在各塊內(nèi)提取邊緣分量，將其強(qiáng)度在某個(gè)閾值以上的邊緣點(diǎn)作為特征點(diǎn)。
這里重要的一點(diǎn)是，在某個(gè)塊內(nèi)只由完全均勻的區(qū)域構(gòu)成的情況下，也有可能不能從該區(qū)域中選擇特征點(diǎn)。這樣選擇出的特征點(diǎn)的例子如圖56所示。在該圖56中，“○”所示的點(diǎn)338是這樣選擇出的特征。
接著，說明特征對(duì)應(yīng)搜索部266b。
特征對(duì)應(yīng)搜索部266b的功能是，對(duì)于特征選擇部266a從一個(gè)圖像中選擇出的特征，在另一個(gè)圖像內(nèi)提取對(duì)應(yīng)的特征。該特征對(duì)應(yīng)搜索部266b通過以下方法來搜索對(duì)應(yīng)的特征。
這里，說明搜索范圍的設(shè)定。
上述步驟S83中創(chuàng)建的調(diào)整處理后的圖像，使用校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置272過去存儲(chǔ)的校準(zhǔn)數(shù)據(jù)。因此，在有校準(zhǔn)偏差的情況下，在核線上不一定有對(duì)應(yīng)點(diǎn)。因此，對(duì)應(yīng)搜索的范圍有時(shí)被設(shè)定為對(duì)設(shè)想的最大校準(zhǔn)偏差也適合的對(duì)應(yīng)搜索范圍。實(shí)際上，準(zhǔn)備了與左圖像內(nèi)的特征(u，v)對(duì)應(yīng)的右圖像內(nèi)的位于核線上下的區(qū)域。
例如，假定核線在右圖像內(nèi)、在水平線v＝ve上的[u1，u2]的范圍內(nèi)進(jìn)行搜索，則如圖57A、圖57B所示，在寬度為2Wu×(u2-u1+2Wv)的長(zhǎng)方形區(qū)域[u1-Wu，u2+Wu]×[ve-Wv，ve+Wv] …(104)內(nèi)進(jìn)行搜索即可。這樣，設(shè)定了搜索區(qū)域。
接著，說明基于區(qū)域匹配的對(duì)應(yīng)搜索。
在通過前述搜索范圍的設(shè)定而決定的搜索區(qū)域內(nèi)，搜索最佳的對(duì)應(yīng)。搜索最佳對(duì)應(yīng)的方法例如有文獻(xiàn)J.Weng，et al，Motion andStructure from Image Sequences，Springer-Verlag，pp.7-64，1993中示出的方法等?；蛘撸部梢允抢门c左圖像內(nèi)的特征鄰近的區(qū)域，在右圖像內(nèi)的對(duì)應(yīng)搜索區(qū)域內(nèi)搜索與該區(qū)域的像素值最類似的圖像區(qū)域的方法。
此時(shí)，假設(shè)已調(diào)整的左右圖像的坐標(biāo)(u，v)的亮度值分別為IRectL(u，v)、IRectR(u，v)，則將左圖像的坐標(biāo)(u，v)作為基準(zhǔn)，右圖像內(nèi)的位置(u′，v′)上的類似度或非類似度例如可以分別如下表示。
SAD:Σ(α,β)∈W|IL(u+α,v+β)-IR(u′+α,v′+β)|---(105)]]>SSD:Σ(α,β)∈W(IL(u+α,v+β)-IR(u′+αv′+β))2---(106)]]>NCC:1NWΣ(α,β)∈W(IL(u+α,v+β)-IWR‾)(IL(u′+α,v′+β)-IWR‾)IWL‾‾·IWR‾‾---(107)]]>這里， 和 表示左圖像的特征(u，v)附近的亮度值的平均值和標(biāo)準(zhǔn)偏差。這里， 和 表示右圖像的特征(u′，v′)附近的亮度值的平均值和標(biāo)準(zhǔn)偏差。此外，α和β是表示W(wǎng)的鄰近的下標(biāo)。
通過利用這些類似度或非類似度的值，能夠考慮各個(gè)匹配的質(zhì)量或可靠性。例如，在考慮了SAD的情況下，如果該SAD的值在對(duì)應(yīng)點(diǎn)附近得到峰值尖銳的小值，則可以說該對(duì)應(yīng)點(diǎn)的可靠性高。對(duì)這樣判斷為最佳的每個(gè)對(duì)應(yīng)點(diǎn)，要考慮其可靠性。決定了該對(duì)應(yīng)點(diǎn)(u′，v′)。當(dāng)然，在考慮可靠性的情況下，也可以設(shè)定如下條件對(duì)應(yīng)點(diǎn)(u′，v′)可靠性在閾值以上；無對(duì)應(yīng)點(diǎn)可靠性低于閾值。
在這樣考慮可靠性的情況下，當(dāng)然在左圖像或右圖像中存在具有未對(duì)應(yīng)點(diǎn)的像素。
將這樣提取出的對(duì)應(yīng)特征(u，v)和(u′，v′)注冊(cè)為式(99)所示的(uiL，viL)、(uiR，viR)即可。
這樣，取得對(duì)應(yīng)的右圖像內(nèi)的特征如圖58所示。在圖58中，用“○”所示的點(diǎn)340表示這樣取得對(duì)應(yīng)的右圖像內(nèi)的特征點(diǎn)。
返回到圖49的流程圖，在步驟S85中，特征提取裝置266還檢查上述步驟S84中注冊(cè)的特征對(duì)的數(shù)目和可靠性。該步驟中排除的條件如下所述。
即，第1個(gè)是，在注冊(cè)的特征中相對(duì)距離已知的特征1組也不存在的情況下，認(rèn)為不能校正校準(zhǔn)偏差，再次轉(zhuǎn)移到步驟S81來重復(fù)攝影處理等。第2個(gè)是，在注冊(cè)的特征對(duì)的數(shù)目少于某個(gè)規(guī)定數(shù)目的情況下，可以判定為拍攝到的立體圖像不合適，再次轉(zhuǎn)移到步驟S81來重復(fù)攝影處理等。
該攝影處理的重復(fù)，是根據(jù)特征提取裝置266的輸出數(shù)據(jù)、按照從控制裝置262發(fā)出的控制指令來進(jìn)行。這一點(diǎn)在圖42、圖43、圖62、圖64、圖66及圖69的各結(jié)構(gòu)中也同樣。
另一方面，在判斷為不符合前述排除的條件、能得到有可靠性的特征對(duì)的情況下，將特征對(duì)的集合送出到校準(zhǔn)數(shù)據(jù)校正裝置268。
在后續(xù)的步驟S86中，利用在上述步驟S84中提取出的特征，來校正校準(zhǔn)偏差。這由校準(zhǔn)數(shù)據(jù)校正裝置268進(jìn)行。這里，首先從進(jìn)行校正校準(zhǔn)數(shù)據(jù)所需的數(shù)學(xué)描述開始。這里，首先說明在給出了自然特征或已知特征的對(duì)應(yīng)關(guān)系的情況下有什么樣的約束條件。
現(xiàn)在，以左攝像機(jī)坐標(biāo)系為基準(zhǔn)，來考慮用該坐標(biāo)系規(guī)定的三維點(diǎn)(xL，yL，zL)。于是，假設(shè)同一三維點(diǎn)在右攝像機(jī)坐標(biāo)系R中用(xR，yR，zR)來描述，則在兩者之間，以e＝(φx，φy，φz，tx，ty，tz)為變量的下式成立。
xRyRzR=RLRxLyLzL+RLR=r11r12r13r21r22r23r31r32r33xLyLzL+txtytz---(108)]]>現(xiàn)在，考慮該三維點(diǎn)投影到左攝像機(jī)上的投影點(diǎn)和射影到右攝像機(jī)上的投影點(diǎn)。設(shè)在投影后實(shí)施了失真校正的左攝像機(jī)圖像的坐標(biāo)值為(upL，vpL)，與其對(duì)應(yīng)的右攝像機(jī)圖像的坐標(biāo)值為(upR，vpR)。此時(shí)歸一化了的坐標(biāo)值可以用下式u~L≡upL-u0LαuL=xLzL,v~L≡vpL-v0LαvL=yLzLu~R≡upR-u0RαuR=xRzR,v~R≡vpR-v0RαvR=yRyR---(109)]]>來表示。代入上述式(48)后，成為下式u~R=r11xL+r12yL+r13zL+txr31xL+r32yL+r33zL+tz=(r11u~L+r12v~L+r13)zL+tx(r31u~L+r32v~L+r33)zL+tzv~R=r21xL+r22yL+r23zL+tyr31xL+r32yL+r33zL+tz=(r21u~L+r22v~L+r23)zL+ty(r31u~L+r32v~L+r33)zL+tz---(110)]]>所以，對(duì)于相對(duì)應(yīng)的各左右自然特征點(diǎn)(uiL，viL)和(uiR，viR)(i＝1，2，…，n)，使如下的約束條件(約束式) 或f≡(r31u~iL+r32v~iL+r33)ty-(r21u~iL+r22v~iL+r23)tz(r31u~iL+r32v~iL+r33)tx-(r11u~iL+r12v~iL+r13)tzu~iR+(r21u~iL+r22v~iL+r23)tx-(r11u~iL+r12v~iL+r13)ty(r31u~iL+r32v~iL+r33)tx-(r11u~iL+r12v~iL+r13)tz=0---(111)]]>必須成立。
此外，此時(shí)的ziL成為下式ziL=tx-u~iRtzu~iR(r31u~iL+r32v~iL+r33)-(r11u~iL+r12v~iL+r13)=ty-v~iRtzv~iR(r31u~iL+r32v~iL+r33)-(r21u~iL+r22v~iL+r23)---(112)]]>
因此，在左原圖像和右原圖像的對(duì)應(yīng)點(diǎn)由包含失真的圖像點(diǎn)(uiL，viL)和(uiR，viR)給出時(shí)，與所有有關(guān)的制約式由u~dL=u~iL+(g1L+g3L)(u~iL)2+g4Lu~iLv~iL+g1L(v~iL)2+k1Lu~iL((u~iL)2+(v~iL)2)v~dL=v~pL+g2L(u~iL)2+g3Lu~iLv~iL+(g2L+g4L)(v~iL)2+k1Lv~L((u~iL)2+(v~iL)2)---(113)uiL=αuLu~dL+u0LviL=αvLv~dL+v0L]]>u~dR=u~iR+(g1R+g3R)(u~iR)2+g4Ru~iRv~iR+g1R(v~iR)2+k1Ru~iR((u~iR)2+(v~iR)2)v~dR=v~pR+g2R(u~iR)2+g3Lu~iRv~iR+(g2R+g4R)(v~iR)2+k1Rv~iR((u~iR)2+(v~iR)2)---(114)uiR=αuRu~dR+u0RviR=αvRv~dR+v0R]]> 或f≡(r31u~iL+r32v~iL+r33)ty-(r21u~iL+r22v~iL+r23)tz(r31u~iL+r32v~iL+r33)tx-(r11u~iL+r12v~iL+r13)tzu~iR+(r21u~iL+r22v~iL+r23)tx-(r11u~iL+r12v~iL+r13)ty(r31u~iL+r32v~iL+r33)tx-(r11u~iL+r12v~iL+r13)tz=0---(115)]]>給出。
在觀察到至少2個(gè)已知特征點(diǎn)i、j時(shí)，在設(shè)其在三維空間中的左攝像機(jī)坐標(biāo)系中的坐標(biāo)值為(xiL，yiL，ziL)、(xjL，yjL，zjL)的情況下，根據(jù)其定義，已知特征點(diǎn)間的三維距離dij是已知的，所以
dij2=(xiL-xjL)2+(yiL-YjL)2+(ziL-zjL)2=(u~iLziL-u~jLzjL)2+(v~iLziL-v~jLzjL)2+(ziL-zjL)2---(116)]]>由此，如下的約束條件gij≡(u~iLziL-u~jLzjL)2+(v~iLziL-v~jLzjL)2+(ziL-zjL)2-dij2=0---(117)]]>必須成立。這里，ziL、zjL可從式(118)中得到。
因此，在已知特征點(diǎn)的情況下，除了自然特征點(diǎn)的情況以外，還有下式ziL=tx-u~iRtzu~iR(r31u~iL+r32v~iL+r33)-(r11u~iL+r12v~iL+r13)zjL=tx-u~jRtzu~jR(r31u~jL+r32v~jL+r33)-(r11u~jL+r12v~jL+r13)---(118)]]>gij≡(u~iLziL-u~jLzjL)2+(v~iLziL-v~jLzjL)2+(ziL-zjL)2-dij2=0---(119)]]>附加了絕對(duì)距離有關(guān)的制約式(式(115)約束1個(gè)自由度的制約式)。
利用以上說明過的的約束條件，用校準(zhǔn)數(shù)據(jù)校正裝置6來校正校準(zhǔn)數(shù)據(jù)。
在設(shè)想了校準(zhǔn)偏差的情況下，設(shè)應(yīng)該校正或更新的參數(shù)為p時(shí)，說明其校正方法。
具體地說，利用擴(kuò)展卡爾曼濾波。它例如被詳細(xì)說明于文獻(xiàn)A.Kosaka and A.C.Kak，“Fast vision-guided mobile robot navigationusing model-based reasoning and prediction of uncertainties，”ComputerVision，Graphics and Image Processing-Image Understanding，Vol.56，No.3，November，pp.271-329，1992，所以這里只概略說明它。
作為校準(zhǔn)參數(shù)，首先準(zhǔn)備了根據(jù)偏差的最大值、或偏差的平均值等得到的與偏差有關(guān)的統(tǒng)計(jì)量。即，準(zhǔn)備了與參數(shù)p有關(guān)的估計(jì)誤差平均值p和估計(jì)誤差協(xié)方差矩陣∑。此外，設(shè)與從圖像中計(jì)測(cè)的測(cè)定值r有關(guān)的實(shí)際測(cè)定值為 、其測(cè)定誤差協(xié)方差矩陣為Λ。此時(shí)，各制約式為同參數(shù)p和各測(cè)定值r有關(guān)的函數(shù)，由下式給出，f(p，r)＝0 …(120)這在前面說明過了。下面說明如何用這些制約式來校正p。
具體地說，采取以下所述的步驟。
(K-1)準(zhǔn)備應(yīng)校正參數(shù)的估計(jì)平均值p和估計(jì)誤差協(xié)方差矩陣∑。
(K-2)對(duì)于各特征或特征組約束的制約式f，通過以下步驟來重復(fù)更新p的統(tǒng)計(jì)值(估計(jì)平均值p和估計(jì)誤差協(xié)方差矩陣∑)。
(K-2-1)計(jì)算M=∂f∂p.]]>其中，M用p＝p，r=r^′]]>來評(píng)價(jià)。
(K-2-2)利用與測(cè)定值r有關(guān)的計(jì)測(cè)誤差協(xié)方差矩陣Λ來計(jì)算。
G=∂f∂rΛ(∂f∂r)t]]>其中，G用p＝p，r=r^′]]>來評(píng)價(jià)。
(K-2-3)計(jì)算卡爾曼增益K。
K＝∑Mt(G+M∑Mt)-1(K-2-4)用p＝p，r=r^′]]>來評(píng)價(jià)制約式f。
(K-2-5)計(jì)算p的統(tǒng)計(jì)值(估計(jì)平均值p和估計(jì)誤差協(xié)方差矩陣∑)的更新值(pnew，∑new)(I是單位矩陣。)p‾new=p‾-KfΣnew=(I-KM)Σ]]>(K-2-6)為了用下面的制約式來進(jìn)行更新，使?jié)M足下式p＝pnew，∑＝∑new通過對(duì)所有制約式重復(fù)進(jìn)行這種更新，參數(shù)p被徐徐更新，與p有關(guān)的估計(jì)誤差協(xié)方差矩陣所示的各個(gè)參數(shù)的方差值減小，能夠堅(jiān)固地更新p。
將這種擴(kuò)展卡爾曼濾波的方式具體應(yīng)用于校準(zhǔn)偏差校正的方法中，則成為如下所述的過程子步驟S-l(S-1-1)選擇因校準(zhǔn)偏差而應(yīng)校正的參數(shù)首先，選擇應(yīng)校正的校準(zhǔn)參數(shù)。這根據(jù)前述(課題1-1)或(課題1-2)，按照p＝(c1，c12，e)、還是p＝e來決定。
(S-1-2)設(shè)定初始估計(jì)參數(shù)對(duì)應(yīng)于應(yīng)校正的校準(zhǔn)參數(shù)p的設(shè)想的最大偏差值，來設(shè)定參數(shù)p應(yīng)取的估計(jì)誤差平均值p和估計(jì)誤差協(xié)方差矩陣∑。這可以根據(jù)與校準(zhǔn)偏差有關(guān)的經(jīng)驗(yàn)法則或?qū)嶒?yàn)等來容易地決定。
子步驟S-2對(duì)于上述式(101)、式(102)所示的已知特征的集合B、D，利用上述式(115)和式(117)的制約式，來依次更新及校正校準(zhǔn)參數(shù)p。
子步驟S-3對(duì)于集合A中包含的自然特征，利用式(115)的約束條件，來校正校準(zhǔn)參數(shù)p。
通過采取這種方式，能夠容易地校正校準(zhǔn)參數(shù)。
此外，在上述方法中，假定了在圖像內(nèi)的測(cè)定值中沒有異常值、或者在對(duì)應(yīng)點(diǎn)搜索中沒有誤對(duì)應(yīng)，但是實(shí)際上除去這種異常值或除去這種誤對(duì)應(yīng)也很重要。該方法例如被詳細(xì)說明于文獻(xiàn)A.Kosaka and A.C.Kak，“Fast vision-guided mobile robot navigation using model-basedreasoning and prediction of uncertainties，”Computer Vision，Graphicsand Image Processing-Image Understanding，Vol.56，No.3，November，pp.271-329，1992、或A.Kosaka and A.C.Kak，“Stereo vision forindustrial applications，”Handbook of Industrial Robotics，SecondEdition，Edited by S.Y.Nof，John Wiley & Sons，Inc.，1999，pp.269-294等中，所以這里省略其詳細(xì)說明。當(dāng)然也可以利用這種方法。
其中，如上所述地計(jì)算了校準(zhǔn)偏差的校正參數(shù)p，但是作為擴(kuò)展卡爾曼濾波的副效應(yīng)，通過判斷在上述步驟K-2-4中算出的制約式f的值，能夠判斷校正參數(shù)p的可靠程度如何。校準(zhǔn)偏差校正裝置用該制約式f的值來計(jì)算可靠性。
返回到圖49的流程圖，在步驟S87中，根據(jù)校準(zhǔn)偏差校正裝置280算出的可靠性，來判定校準(zhǔn)偏差校正裝置算出的校正參數(shù)是否是可靠的數(shù)據(jù)。在該數(shù)據(jù)可靠的情況下，轉(zhuǎn)移到步驟S88；否則，轉(zhuǎn)移到步驟S81并重復(fù)校準(zhǔn)偏差校正的步驟。
在步驟S88中，用校正結(jié)果呈現(xiàn)裝置87來呈現(xiàn)上述步驟S87中判定出的結(jié)果。再者，將更新過的校準(zhǔn)數(shù)據(jù)保存到校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置272中。
圖59是校正結(jié)果呈現(xiàn)裝置270的示例圖。在本實(shí)施方式中，將顯示裝置用作校正結(jié)果呈現(xiàn)裝置270，更具體地說，由顯示器或LCD監(jiān)視器等構(gòu)成。當(dāng)然，該顯示器可以是其它用途的顯示器，也可以利用該顯示器的畫面一部分來顯示校正結(jié)果，為了顯示校正結(jié)果，也可以是切換畫面顯示模式的類型。
本發(fā)明實(shí)施方式的該校正結(jié)果呈現(xiàn)裝置270能夠通過與上述控制裝置262以及校準(zhǔn)數(shù)據(jù)校正裝置268協(xié)作，來顯示正在進(jìn)行校準(zhǔn)偏差校正的處理的意思(即，作為顯示該意思的指示器來工作)；此外，能夠顯示表示作為上述偏差校正的處理結(jié)果而得到的參數(shù)和上述校準(zhǔn)數(shù)據(jù)保持部中預(yù)先保持的參數(shù)之間的差異的信息；再者，能夠顯示表示與上述偏差校正有關(guān)的可靠性的狀態(tài)；再者，在未能進(jìn)行正規(guī)的偏差校正時(shí)，能夠顯示表示該意思的差錯(cuò)碼。
在圖59的顯示中，有3個(gè)欄A、B、C，在各個(gè)欄中顯示結(jié)果。
欄A的部分在校準(zhǔn)偏差校正中閃爍；在得到校正的結(jié)果時(shí)，在欄B的部分顯示與偏差量或校正量有關(guān)的結(jié)果等。此外，在欄C的部分，顯示與偏差校正有關(guān)的可靠性。除了可靠性(狀態(tài))以外，還顯示前述步驟S85、S86中所示的中間結(jié)果、或與校正處理有關(guān)的差錯(cuò)碼等。
通過采用這種方法，能夠?qū)⑿Ｕ母鞣N模式或處理結(jié)果有效地顯示給用戶或維護(hù)立體攝影裝置等的作業(yè)者等。
其他偏差校正結(jié)果的呈現(xiàn)方法有用聲音來呈現(xiàn)、用警報(bào)或聲源來呈現(xiàn)等。
其中，上述顯示裝置與包含校準(zhǔn)偏差校正裝置而構(gòu)成的距離圖像處理系統(tǒng)以及控制裝置在功能上結(jié)合，用于使用戶(駕駛員)能識(shí)別與校準(zhǔn)校正裝置(其內(nèi)部的校準(zhǔn)偏差校正部)或運(yùn)算部(用于計(jì)算距離的功能部)、以及上述攝像部(攝像裝置)的輸出關(guān)聯(lián)的所需顯示，還如前所述地作為校正結(jié)果呈現(xiàn)裝置以及該裝置的一部分工作。
圖60是前述圖49的流程圖變形的工作流程圖。
在圖60中，與圖49的流程圖不同的是步驟S97、S98及S99。其他步驟S91～S96與圖49的流程圖中的步驟S81～S86相同，所以這里省略其說明。
在步驟S97中，首先將校準(zhǔn)偏差的校正參數(shù)等結(jié)果呈現(xiàn)給用戶或作業(yè)員等。其后，在步驟S98中，由用戶或作業(yè)員來判斷該校正結(jié)果是否充分可靠。按照其結(jié)果，轉(zhuǎn)移到步驟S99并存儲(chǔ)到校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置272中，或者轉(zhuǎn)移到上述步驟S91來重復(fù)處理。
通過以上方法，能夠?qū)崿F(xiàn)可靠性更高的校準(zhǔn)偏差校正。
其中，在前述方法中，以在步驟S93中進(jìn)行調(diào)整處理為前提進(jìn)行了說明，但是如圖61的流程圖所示，當(dāng)然也可以省略調(diào)整處理來進(jìn)行整個(gè)處理。此時(shí)，核線約束未必為水平線，特征點(diǎn)的對(duì)應(yīng)搜索的處理量增加，但是很明顯，在基本結(jié)構(gòu)上也能得到同樣的效果。
該圖20的流程圖中的步驟S101～S102、S104～S107分別與圖49的流程圖中的步驟S81～S82、S85～S88相同，只有在步驟S103中從立體圖像中提取特征的工作不同。因此，這里省略各步驟的工作說明。
接著，說明本發(fā)明第13實(shí)施方式。
該第13實(shí)施方式說明立體攝影裝置和外部裝置間的位置姿態(tài)偏差的校準(zhǔn)校正。
在前述第12實(shí)施方式中，描述了立體攝影裝置內(nèi)部的校準(zhǔn)參數(shù)(課題1-1、課題1-2)的校正。在本第13實(shí)施方式中，描述進(jìn)行立體攝影裝置和外部裝置的位置姿態(tài)偏差(課題2)的校準(zhǔn)校正的方法。
圖62是本發(fā)明第13實(shí)施方式的校準(zhǔn)偏差校正裝置的基本結(jié)構(gòu)的方框圖。
在圖62中，校準(zhǔn)偏差校正裝置350對(duì)拍攝立體圖像并應(yīng)校正校準(zhǔn)偏差的攝影裝置276進(jìn)行校準(zhǔn)偏差校正。
校準(zhǔn)偏差校正裝置350與圖43所示的校準(zhǔn)偏差校正裝置280同樣，包括控制裝置262、狀況判斷裝置264、調(diào)整處理裝置282、特征提取裝置266、校準(zhǔn)數(shù)據(jù)校正裝置268、校正結(jié)果呈現(xiàn)裝置270、以及校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置272。再者，在該校準(zhǔn)偏差校正裝置350中，添加了規(guī)定基準(zhǔn)位置的外部裝置352。即，示出了根據(jù)外部裝置規(guī)定的坐標(biāo)系來測(cè)定立體攝影裝置的位置姿態(tài)的校正校準(zhǔn)數(shù)據(jù)的方法。
因此，應(yīng)校正校準(zhǔn)偏差的參數(shù)對(duì)應(yīng)于式(88)的p＝e′。
其中，校準(zhǔn)偏差校正裝置350內(nèi)的各裝置可以由硬件或電路構(gòu)成，也可以由計(jì)算機(jī)或數(shù)據(jù)處理裝置的軟件來處理。
這里，簡(jiǎn)單說明本第13實(shí)施方式中利用的特征。
具體地說，只處理已知特征。而且，該特征以外部裝置為基準(zhǔn)，只利用該位置被規(guī)定的特征。例如，如圖50A至圖50E所示，在以車輛為外部裝置時(shí)，利用位于車輛前方的已知特征。
此時(shí)，已知特征作為外部裝置規(guī)定的坐標(biāo)系中的特征，以(xiO，yiO，ziO)(i＝1，2，...，n)存儲(chǔ)在校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置中。
圖63是說明本第13實(shí)施方式的校準(zhǔn)偏差校正裝置的詳細(xì)工作的流程圖。其中，在本實(shí)施方式中，根據(jù)控制裝置262的控制來工作。
基本的步驟與圖49所示的第12實(shí)施方式的流程圖相同。即，步驟S111～S113、S115、S117～S118與前述圖49的流程圖中的步驟S81～S83、S85、S87～S88相同，步驟S114及S116不同。因此，在以下說明中，只說明不同的步驟。
在步驟S114中，從調(diào)整過的圖像中提取的特征，如前所述只有已知特征。該特征提取方法在前述第12實(shí)施方式中詳細(xì)說明過了，所以這里省略其說明。
其中，與已知特征(xiO，yiO，ziO)(i＝1，2，...，n)對(duì)應(yīng)的左圖像和右圖像的特征以(uiL，viL)、(uiR，viR)的形式來提取。
然后，在步驟S116中，校正校準(zhǔn)偏差。
即，校正校準(zhǔn)數(shù)據(jù)p＝e′。在說明該校正前，說明校準(zhǔn)數(shù)據(jù)即位置姿態(tài)參數(shù)p＝e′應(yīng)滿足的約束條件。
將立體攝影裝置的基準(zhǔn)坐標(biāo)系取為左攝像機(jī)的坐標(biāo)系L后，由左攝像機(jī)坐標(biāo)系L和右攝像機(jī)坐標(biāo)系R中觀察的圖像特征(uiL，viL)、(uiR，viR)給出。此時(shí)，如果設(shè)透鏡失真處理、調(diào)整處理后的歸一化了的攝像機(jī)圖像面上的圖像特征的位置為(u~iL,v~iL),(u~iR,v~iR),]]>則與左攝像機(jī)坐標(biāo)系L對(duì)應(yīng)的特征的三維位置(xiL，yiL，ziL)可以由下式給出。
ziL=bu~iR-u~iLxiL=u~iLziLyiL=v~iLziL---(121)]]>這里，b是攝像機(jī)間的基線長(zhǎng)度，可以表現(xiàn)為左攝像機(jī)坐標(biāo)系的原點(diǎn)和右攝像機(jī)坐標(biāo)系的原點(diǎn)間的距離。
現(xiàn)在，假設(shè)在外部裝置規(guī)定的坐標(biāo)系中，同一特征點(diǎn)由(xiO，yiO，ziO)給出，則下式成立。
xiLyiLziL=ROLxiOyiOziO+TOL=r11′r12′r13′r21′r22′r23′r31′r32′r33′xiOyiOziO+tx′ty′tz′---(122)]]>這里，六維參數(shù)(φx，φy，φz，t′x，t′y，t′z)是坐標(biāo)變換參數(shù)(LRO，LTO)中包含的參數(shù)。對(duì)于它們，必須滿足如下制約式hi=ROLxiOyiOziO+TOL-xiLyiLziL=0---(123)]]>為了校正同外部裝置和攝影裝置間的位置姿態(tài)參數(shù)有關(guān)的校準(zhǔn)偏差，可以根據(jù)特征提取部提取出的(uiL，viL)、(uiR，viR)，利用通過式(121)算出的(xiL，yiL，ziL)，利用與上述第12實(shí)施方式中說明過的處理同樣的處理、即擴(kuò)展卡爾曼濾波來校正參數(shù)p＝e′。
通過實(shí)施以上步驟的處理工作，能夠進(jìn)行立體攝影裝置和外部裝置間的位置姿態(tài)偏差的校準(zhǔn)校正。
其中，在前述方法中，以在步驟S113中進(jìn)行調(diào)整處理為前提進(jìn)行了說明，當(dāng)然也可以省略調(diào)整處理來進(jìn)行整個(gè)處理。此時(shí)，核線約束未必為水平線，特征點(diǎn)的對(duì)應(yīng)搜索的處理量增加，但是很明顯，在基本結(jié)構(gòu)上也能得到同樣的效果。
接著，第14實(shí)施方式說明外部裝置和攝影裝置間的校準(zhǔn)和攝影裝置自身的校準(zhǔn)。
在第14實(shí)施方式中，說明進(jìn)行與立體攝影裝置的內(nèi)部校準(zhǔn)參數(shù)有關(guān)的校準(zhǔn)偏差、以及進(jìn)行外部裝置和立體攝影裝置間的位置姿態(tài)偏差的校準(zhǔn)校正的方法。
本第14實(shí)施方式中利用的特征，包含前述第12實(shí)施方式的情況下包含的自然特征、和第13實(shí)施方式的情況下包含的已知特征。
圖64是本發(fā)明第14實(shí)施方式的校準(zhǔn)偏差校正裝置的基本結(jié)構(gòu)例的方框圖。
在圖64中，校準(zhǔn)偏差校正裝置356對(duì)拍攝立體圖像并應(yīng)校正校準(zhǔn)偏差的攝影裝置276進(jìn)行校準(zhǔn)偏差校正。
校準(zhǔn)偏差校正裝置356包括控制裝置262、狀況判斷裝置264、調(diào)整處理裝置282、特征提取裝置266、校準(zhǔn)數(shù)據(jù)校正裝置268、校正結(jié)果呈現(xiàn)裝置270、以及校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置272。即，與圖62所示的第13實(shí)施方式的校準(zhǔn)偏差校正裝置350在結(jié)構(gòu)上相同。
其中，校準(zhǔn)偏差校正裝置356內(nèi)的各裝置可以由硬件或電路構(gòu)成，也可以由計(jì)算機(jī)或數(shù)據(jù)處理裝置的軟件來處理。
此外，圖65是說明本發(fā)明第14實(shí)施方式的校準(zhǔn)偏差校正裝置的工作的流程圖。
基本的步驟與圖63所示的第13實(shí)施方式的流程圖相同。即，步驟S121～S123、S125、S127～S128與前述圖63的流程圖中的步驟S111～S113、S115、S117～S118相同，步驟S124及S126不同。因此，在以下說明中，只說明不同的步驟。
在步驟S124中，提取已知特征和自然特征兩者。
然后，在步驟S126中，利用已知特征和自然特征兩者，通過以下2個(gè)子步驟，來校正校準(zhǔn)參數(shù)。
更具體地說，在校準(zhǔn)數(shù)據(jù)校正裝置內(nèi)如下來實(shí)施作為子步驟C1，用前述第12實(shí)施方式的方法來校正立體攝影裝置的內(nèi)部校準(zhǔn)參數(shù)的校準(zhǔn)偏差；此外，作為子步驟C2，將上述子步驟C1中得到的立體攝影裝置的內(nèi)部校準(zhǔn)參數(shù)作為正確值，接著通過前述第13實(shí)施方式中說明過的方法，進(jìn)行外部裝置和立體攝影裝置間的位置姿態(tài)偏差的校準(zhǔn)校正。
通過以上結(jié)構(gòu)及處理過程，能夠進(jìn)行與立體攝影裝置的內(nèi)部校準(zhǔn)參數(shù)有關(guān)的校準(zhǔn)偏差、及外部裝置和立體攝影裝置間的位置姿態(tài)偏差的校準(zhǔn)校正。
接著，第15實(shí)施方式說明校準(zhǔn)偏差檢測(cè)功能的添加。
在本第15實(shí)施方式中，通過進(jìn)一步導(dǎo)入校準(zhǔn)偏差檢測(cè)裝置，使校正處理效率更高。
圖66是本發(fā)明第16實(shí)施方式的校準(zhǔn)偏差校正裝置的基本結(jié)構(gòu)例的方框圖。
在圖66中，校準(zhǔn)偏差校正裝置360對(duì)拍攝立體圖像并應(yīng)校正校準(zhǔn)偏差的攝影裝置276進(jìn)行校準(zhǔn)偏差校正。
校準(zhǔn)偏差校正裝置360具有控制裝置262、狀況判斷裝置264、調(diào)整處理裝置282、特征提取裝置266、校準(zhǔn)數(shù)據(jù)校正裝置268、校正結(jié)果呈現(xiàn)裝置270、校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置272、以及校準(zhǔn)偏差判定裝置362。
即，除了前述第14實(shí)施方式中說明過的圖64的結(jié)構(gòu)的裝置以外，還包括根據(jù)從特征提取裝置266提取出的特征來判定有無校準(zhǔn)偏差并決定偏差種類的校準(zhǔn)偏差判定裝置362。然后，在校準(zhǔn)偏差判定裝置362判定為有偏差的情況下，根據(jù)偏差種類用校準(zhǔn)數(shù)據(jù)校正裝置268來校正與校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置272中存儲(chǔ)的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
這樣，通過附加校準(zhǔn)偏差判定裝置362，能夠判定校準(zhǔn)偏差并鑒別偏差的種類。因此，能夠進(jìn)行與偏差專門對(duì)應(yīng)的校準(zhǔn)偏差的校正，能夠省略無用的計(jì)算處理。
這里，校準(zhǔn)偏差校正裝置360內(nèi)的各裝置可以由硬件或電路構(gòu)成，也可以由計(jì)算機(jī)或數(shù)據(jù)處理裝置的軟件來處理。
此外，圖67是說明本發(fā)明第15實(shí)施方式的校準(zhǔn)偏差校正裝置的工作的流程圖。
基本的步驟與圖60所示的流程圖相同。即，步驟S131～135、S138～S140與前述圖60的流程圖中的步驟S91～S95、S97～S99相同，步驟S136及S137不同。因此，在以下說明中，只說明不同的步驟。
首先，說明步驟S136的處理工作。
在校準(zhǔn)偏差檢測(cè)中，有以下3個(gè)判定。
(判定1)判定自然特征或已知特征同核線約束是否有偏差。
(判定2)判定校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置中注冊(cè)的已知特征間的距離同根據(jù)用立體圖像拍攝到的已知特征計(jì)測(cè)出的距離是否相等。
(判定3)以規(guī)定基準(zhǔn)位置的外部裝置為基準(zhǔn)，對(duì)于在校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置中注冊(cè)了其三維位置的已知特征，在假定校準(zhǔn)數(shù)據(jù)沒有偏差時(shí)，判定在立體攝影裝置拍攝的左右圖像的規(guī)定位置上是否存在該已知特征。
然后，如果設(shè)上述判定結(jié)果正確時(shí)為○、錯(cuò)誤時(shí)為×，則有以下3種情況的可能性。
情況1(判定1×)p＝(c1，c2，e)或p＝(c1，c2，e，e′)有偏差；情況2(判定1○)(判定2×)p＝e或p＝(e，e′)有偏差；情況3(判定1○)(判定2○)(判定3×)p＝e′有偏差；情況3(判定1○)(判定2○)(判定3○)校準(zhǔn)無偏差。當(dāng)然，對(duì)于這些判定，根據(jù)與偏差判定有關(guān)的計(jì)測(cè)略微有誤差的事實(shí)，來考慮測(cè)定誤差容許范圍進(jìn)行判定很重要。
接著，說明上述判定1的方法。
對(duì)于由特征提取裝置266提取出并取得對(duì)應(yīng)的n個(gè)自然特征或已知特征，利用根據(jù)事先得到的校準(zhǔn)數(shù)據(jù)來調(diào)整過的特征對(duì)的圖像坐標(biāo)值。即，假設(shè)校準(zhǔn)數(shù)據(jù)完全沒有偏差，則注冊(cè)的特征對(duì)完全滿足核線約束。反過來說，在產(chǎn)生了校準(zhǔn)偏差的情況下，可以判斷為不滿足該核線約束。
因此，對(duì)整個(gè)特征對(duì)，將不滿足核線約束的程度作為評(píng)價(jià)值，來判定校準(zhǔn)偏差。
即，設(shè)各特征對(duì)i與核線約束的偏差量為di，來計(jì)算出di=|viL-viR|---(124).]]>然后，通過下式d‾=1nΣi=1ndi=1nΣi=1n|viL-viL|---(125)]]>來計(jì)算所有特征對(duì)的平均值。然后，在該平均值d大于規(guī)定的閾值threshold的情況下，判定為校準(zhǔn)偏差很顯著。
圖68A及圖68B示出了這種狀況。在圖68B中，各特征與核線的偏差di對(duì)應(yīng)于特征點(diǎn)離核線的圖像內(nèi)距離。
此外，用上述判定方法1中說明過的方法，在對(duì)應(yīng)搜索的可靠性高時(shí)，能得到良好的結(jié)果。
然而，在對(duì)應(yīng)搜索結(jié)果中有可能包含可靠性低的結(jié)果的情況下，認(rèn)為在用判定1的方法之2，用di=|viL-viR|---(126).]]>算出的各特征的差異中，有可能包含很多噪聲分量。
在這種情況下，通過在預(yù)先去除被認(rèn)為是噪聲分量的異常值后取平均的作業(yè)來判定校準(zhǔn)偏差的方法很有效。
即，設(shè)以這種形式排除了異常值后的特征對(duì)的集合為B，并通過下式來計(jì)算B內(nèi)的di的平均值即可。
d‾B=1mΣi∈Bdi=1mΣi∈B|viL-viR|---(127)]]>
這里，m表示集合B的元素?cái)?shù)。在該平均值dB大于規(guī)定的閾值threshold時(shí)，判定為校準(zhǔn)偏差很顯著。
接著，說明判定2的方法。
設(shè)立體攝影裝置拍攝到的左右圖像內(nèi)的已知特征的對(duì)應(yīng)點(diǎn)為(uiL，viL)、(uiR，viR)，然后計(jì)算用左攝像機(jī)坐標(biāo)系規(guī)定的三維坐標(biāo)值。
當(dāng)然，在該計(jì)算中，假設(shè)沒有校準(zhǔn)偏差，利用校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置272存儲(chǔ)的校準(zhǔn)參數(shù)來進(jìn)行計(jì)算。計(jì)算這樣得到的已知特征間的距離，根據(jù)上述式(119)來計(jì)算出該距離和校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置272內(nèi)預(yù)先注冊(cè)的已知特征點(diǎn)間的距離之間有何等程度的差。如果該差小于規(guī)定的閾值，則判斷為無偏差；如果該差大于規(guī)定的閾值，則判斷為有偏差。
進(jìn)而，說明判定3的方法。
在立體圖像內(nèi)，首先利用已知特征來判定該已知特征在圖像內(nèi)是否位于應(yīng)處的位置。
為此，如下判定校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置中記錄的已知特征k的三維位置(xkO，ykO，zkO)是否位于立體攝像機(jī)拍攝的圖像內(nèi)的位置。
現(xiàn)在，設(shè)外部裝置的坐標(biāo)系為O，假設(shè)在該坐標(biāo)系中注冊(cè)了已知特征的三維位置(xkO，ykO，zkO)，計(jì)算與該點(diǎn)有關(guān)的左攝像機(jī)坐標(biāo)系L中的三維位置坐標(biāo)(xkL，ykL，zkL)和右攝像機(jī)坐標(biāo)系中的三維位置坐標(biāo)(xkR，ykR，zkR的位置。
xkLykLzkL=ROLxkOykOzkO+TOL=r11′r12′r13′r21′r22′r23′r31′r32′r33′xkOykOzkO+tx′ty′tz′---(128)]]>xkRykRzkR=RLRxkLykLzkL+TLR=r11r12r13r21r22r23r31r32r33xkLykLzkL+txtytz---(129)]]>接著，對(duì)它們計(jì)算用上述式(66)及式(67)那樣的式子算出的圖像內(nèi)的投影位置(u″kL，v″kL)、(u″kR，v″kR)。
當(dāng)然，該圖像內(nèi)的位置是假定校準(zhǔn)數(shù)據(jù)完全正確的情況下成立的式子。因此，通過計(jì)算上述式(101)的集合B所示的圖像內(nèi)的位置、和假定校準(zhǔn)數(shù)據(jù)正確的情況下的圖像位置之差，能判定是否發(fā)生了校準(zhǔn)偏差。
即，在各圖像中計(jì)算圖像內(nèi)的差fkL=(uk′L-uk′′L)2+(vk′L-vk′′L)2fkR=(uk′R-uk′′R)2+(vk′R-vk′′R)2---(130)]]>并判斷下式是否成立。
fkL>threshold]]>或fkR>threshold---(131)]]>這里，在超過了閾值threshold的情況下，可知至少發(fā)生了校準(zhǔn)偏差。此外，與前述第12實(shí)施方式中說明過的同樣，也可以將異常值除去等處理包含在其中。
即，在m個(gè)己知特征中至少s個(gè)(s≤m)滿足上述式(131)所示的不等式的情況下，判斷為發(fā)生了校準(zhǔn)偏差。
也就是說，可以利用上述的子步驟C1來判斷校準(zhǔn)偏差是否發(fā)生。
接著，說明步驟S137的處理工作。
根據(jù)校準(zhǔn)偏差判定裝置362判定出的有無偏差和偏差分類的結(jié)果，用校準(zhǔn)數(shù)據(jù)校正裝置268來校正校準(zhǔn)偏差。即，在判定為有校準(zhǔn)偏差的情況下，通過以下3個(gè)方法來進(jìn)行校準(zhǔn)偏差校正即可。
(i)對(duì)于校準(zhǔn)偏差為p＝e或p＝(c1，c2，e)的情況，通過上述第1實(shí)施方式中說明過的方法，來進(jìn)行校準(zhǔn)偏差校正。
(ii)對(duì)于校準(zhǔn)偏差為p＝e′的情況，通過上述第2實(shí)施方式中說明過的方法，來進(jìn)行校準(zhǔn)偏差校正。
(iii)對(duì)于校準(zhǔn)偏差為p＝(c1，c2，e)的情況，通過在上述第3實(shí)施方式中說明過的方法，來進(jìn)行校準(zhǔn)偏差校正。
如上所述，通過進(jìn)一步導(dǎo)入校準(zhǔn)偏差檢測(cè)裝置，對(duì)于校正處理，能夠?qū)?yīng)該校正的參數(shù)進(jìn)行分類或決定，所以能夠進(jìn)行可靠性更高、高效的校正處理。當(dāng)然，本第15實(shí)施方式中說明過的校準(zhǔn)偏差檢測(cè)裝置能夠應(yīng)用于前述第11至第14實(shí)施方式中，并且在后述第16或第17實(shí)施方式中也能夠利用。
接著，本發(fā)明第16實(shí)施方式說明專用于車載的例子。
在前述第12至第15實(shí)施方式中，未詳細(xì)說明狀況判斷裝置，但是在本第16實(shí)施方式中，以該狀況判斷裝置的功能為中心來進(jìn)行說明。
圖69是本發(fā)明第16實(shí)施方式的校準(zhǔn)偏差校正裝置的基本結(jié)構(gòu)例的方框圖。
本第16實(shí)施方式的校準(zhǔn)偏差校正裝置的結(jié)構(gòu)與前述第12至第15實(shí)施方式的不同點(diǎn)在于，外部傳感器372向校準(zhǔn)偏差校正裝置370內(nèi)的狀況判斷裝置264提供各種傳感器輸出的信號(hào)。此外，不同點(diǎn)還有，在必要時(shí)，將與校準(zhǔn)偏差檢測(cè)有關(guān)的信息送出到校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置272，將該信息寫入到校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置272中。
其中，與該圖69所示結(jié)構(gòu)的第16實(shí)施方式的校準(zhǔn)偏差校正裝置370有關(guān)的處理工作，與前述第12至第14實(shí)施方式中說明過的相同。因此，工作流程圖可參照?qǐng)D49、圖60、圖63及圖65的流程圖，這里省略圖示及其說明。
在以下的說明中，作為狀況判斷裝置264的應(yīng)用，說明在車輛上安裝了立體攝影裝置的情況。當(dāng)然很明顯，本方式并不限于車輛用的車載立體攝影裝置，也可以應(yīng)用于其他監(jiān)視攝像機(jī)系統(tǒng)等。
作為與狀況判斷裝置連接的外部傳感器，有里程計(jì)、時(shí)鐘或計(jì)時(shí)器、溫度傳感器、車輛傾斜計(jì)測(cè)傳感器或陀螺傳感器、車速傳感器、發(fā)動(dòng)機(jī)起動(dòng)傳感器、日照傳感器、雨滴傳感器等。狀況判斷裝置264用以下條件，根據(jù)車載應(yīng)用所需的條件，來判定當(dāng)前是否需要檢測(cè)校準(zhǔn)偏差。
此外，作為校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置存儲(chǔ)的校準(zhǔn)數(shù)據(jù)，包含過去進(jìn)行校準(zhǔn)時(shí)的參數(shù)p或已知特征的數(shù)據(jù)等，來寫入以下信息。
即，(a)過去進(jìn)行的立體攝影裝置的內(nèi)部校準(zhǔn)參數(shù)(c1，c2，e)；(b)過去進(jìn)行的立體攝影裝置和外部裝置間的位置姿態(tài)校準(zhǔn)參數(shù)e′；(c)過去進(jìn)行的已知特征的三維位置；(d)過去進(jìn)行校準(zhǔn)時(shí)的車輛行駛距離；(e)過去進(jìn)行校準(zhǔn)時(shí)的日期時(shí)間和時(shí)刻；(f)過去進(jìn)行校準(zhǔn)時(shí)的外部溫度；(g)過去進(jìn)行校準(zhǔn)校正或檢測(cè)時(shí)的車輛行駛距離；(h)過去進(jìn)行校準(zhǔn)校正或檢測(cè)時(shí)的日期時(shí)間和時(shí)刻；(i)過去進(jìn)行校準(zhǔn)校正或檢測(cè)時(shí)的外部溫度。
接著，說明前述狀況判斷裝置264應(yīng)如何進(jìn)行校準(zhǔn)檢測(cè)的狀況、以及判斷的方法。
在本裝置中，作為進(jìn)行校準(zhǔn)偏差檢測(cè)的條件，說明在車輛停止時(shí)進(jìn)行、在從以前檢測(cè)出偏差時(shí)起經(jīng)過了一定時(shí)間T后進(jìn)行、晴天白天進(jìn)行等3個(gè)條件成立時(shí)進(jìn)行的情況。
首先，為了滿足第1個(gè)條件，用車速傳感器或陀螺傳感器等來確認(rèn)車輛未移動(dòng)。接著，為了滿足第2個(gè)條件，計(jì)算過去進(jìn)行校準(zhǔn)偏差校正時(shí)的時(shí)刻和根據(jù)時(shí)鐘等算出的當(dāng)前時(shí)刻之間的時(shí)間差。對(duì)于第3個(gè)條件，利用日照傳感器或雨滴傳感器等，來判斷是否滿足條件。
這樣，執(zhí)行了校準(zhǔn)偏差校正后，其結(jié)果被送出到校正結(jié)果呈現(xiàn)裝置270。然后，將校正結(jié)果寫入到校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置272中。
此外，在車載應(yīng)用的情況下，作為已知特征，可以考慮各種變形。即，對(duì)各種道路交通法規(guī)定的大小或位置的規(guī)格、其他條例等決定的規(guī)格，可以將基于該規(guī)格的形狀用作用于本校準(zhǔn)偏差校正裝置的已知特征。作為這種決定的規(guī)格，可以考慮標(biāo)志、車輛上安裝的車牌、人行橫道、白線的間距等。
再者，在有些車輛的一部分進(jìn)入視野的一部分的情況下，將該車輛的一部分注冊(cè)為已知特征，也利用該特征間的相對(duì)距離，來進(jìn)行校準(zhǔn)校正。這樣的例子如前述第12實(shí)施方式中所述，所以省略其說明。
此外，用戶或維護(hù)作業(yè)者也可以積極進(jìn)行校準(zhǔn)偏差校正。即，用戶等也可以通過在攝影裝置前呈現(xiàn)大小或形狀已知的校準(zhǔn)圖案，用立體攝影裝置拍攝該校準(zhǔn)圖案，來進(jìn)行校準(zhǔn)校正。
如圖70所示，該校準(zhǔn)圖案可以是平面格子狀配置了校準(zhǔn)圖案的校準(zhǔn)板。或者，如圖71所示，也可以是以直角的3個(gè)平面的格子狀配置了校準(zhǔn)圖案的校準(zhǔn)器具。
通過采用以上方法，本校準(zhǔn)偏差校正裝置能夠應(yīng)用于車載等。
接著，本發(fā)明第17實(shí)施方式說明攝影裝置多次攝影并利用其圖像的例子。
在前述實(shí)施方式中，未指定拍攝立體圖像的次數(shù)。在本第17實(shí)施方式中，說明以提供更堅(jiān)固、更可靠的校準(zhǔn)偏差校正裝置為目的，通過從多次拍攝的立體圖像中提取更多的取得對(duì)應(yīng)的特征來構(gòu)成校準(zhǔn)偏差校正裝置的例子。
其中，本第17實(shí)施方式的校準(zhǔn)偏差校正裝置只有通過攝影裝置進(jìn)行多次攝影這一點(diǎn)與前述實(shí)施方式不同，其基本結(jié)構(gòu)相同，所以省略其說明。
圖72A及圖72B是本發(fā)明第17實(shí)施方式的校準(zhǔn)偏差校正裝置拍攝的立體圖像的狀況的圖，其中，圖72A是時(shí)刻1上的左圖像的示例圖，圖72B是與時(shí)刻1不同的時(shí)刻2上的左圖像的示例圖。這里，示出了在不同的時(shí)刻1和時(shí)刻2上拍攝到的兩組立體圖像(在圖中只示出左圖像)多次拍攝到已知特征的情況。
圖73是說明本發(fā)明第17實(shí)施方式的校準(zhǔn)偏差校正裝置的處理工作的流程圖。
其中，步驟S151～S155的處理工作與前述第12實(shí)施方式的圖49的流程圖中的步驟S81～S85分別相同。
此外，在步驟S156中，例如判斷已知特征的迄今提取出的個(gè)數(shù)是否達(dá)到了某個(gè)一定以上的個(gè)數(shù)。這里，如果該個(gè)數(shù)超過規(guī)定的數(shù)目，則轉(zhuǎn)移到步驟S157來進(jìn)行校準(zhǔn)偏差的判定及分類。接著，在步驟S158中進(jìn)行了校準(zhǔn)偏差的校正處理后，在步驟S159中呈現(xiàn)其判定結(jié)果。
另一方面，如果在上述步驟S156中未達(dá)到規(guī)定的數(shù)目，則轉(zhuǎn)移到上述步驟151，再次拍攝立體圖像。當(dāng)然，這里也可以變更攝影的場(chǎng)所或視點(diǎn)。
在步驟S160中，根據(jù)算出的可靠性，來判定校準(zhǔn)偏差校正裝置算出的校準(zhǔn)參數(shù)是否是可靠的數(shù)據(jù)。在該數(shù)據(jù)可靠的情況下轉(zhuǎn)移到步驟S161，否則轉(zhuǎn)移到上述步驟S151來重復(fù)校準(zhǔn)偏差校正的步驟。另一方面，在步驟S161中，更新過的校準(zhǔn)數(shù)據(jù)被保存到校準(zhǔn)數(shù)據(jù)存儲(chǔ)裝置272中。
其中，它們由狀況判斷裝置或控制裝置來控制。這里，用一組立體圖像提取出的已知特征分別被注冊(cè)為不同的特征組，校準(zhǔn)偏差校正的處理進(jìn)行與這些組相應(yīng)的處理。
圖74是說明本第17實(shí)施方式的校準(zhǔn)偏差校正裝置的另一處理工作的流程圖。
在該圖74所示的流程圖中，步驟S171～S175、S176～S177、S179～181的處理工作與前述圖73的流程圖中的步驟S151～S155、S157～S158、S159～S161分別相同。因此，只說明不同的處理工作的步驟。
在步驟S177中，校準(zhǔn)數(shù)據(jù)校正裝置利用新得到的特征來始終計(jì)算校準(zhǔn)數(shù)據(jù)的校正結(jié)果的精度。然后，在后續(xù)的步驟S178中，判斷該精度是否足夠。
這里，在判斷為偏差校正的精度足夠的情況下，轉(zhuǎn)移到步驟S179～S181并結(jié)束校準(zhǔn)數(shù)據(jù)校正裝置中的處理。另一方面，在判斷為精度不夠的情況下，轉(zhuǎn)移到上述步驟S171，再次拍攝立體圖像，重復(fù)提取更多的特征。
用該方式來判定如何計(jì)算校準(zhǔn)數(shù)據(jù)的校正處理的精度、從前述擴(kuò)展卡爾曼濾波的處理K-2-6中計(jì)算出的校正參數(shù)的協(xié)方差矩陣∑中得到的各參數(shù)元素的方差的值減小的程度即可。該描述例如詳細(xì)記載于A.Kosaka and A.C.Kak，“Fast vision-guided mobile robot navigationusing model-based reasoning and prediction of uncertainties，”ComputerVision，Graphics and Image Processing-Image Understanding，Vol.56，No.3，November，pp.271-329，1992中，所以這里不詳述。
根據(jù)以上實(shí)施方式，能夠用更多的特征來進(jìn)行校準(zhǔn)偏差校正處理，所以能夠提供更健壯、更可靠的校準(zhǔn)偏差校正裝置。
其中，本發(fā)明并不限于前述實(shí)施方式本身，在實(shí)施階段，可以在不脫離其主旨的范圍內(nèi)對(duì)構(gòu)件進(jìn)行變形來具體化。此外，可以通過適當(dāng)組合上述實(shí)施方式中公開的多個(gè)構(gòu)件來形成本發(fā)明。例如，也可以從實(shí)施方式所示的全部構(gòu)件中刪除幾個(gè)構(gòu)件。例如使得控制部件(支持控制裝置的控制運(yùn)算功能部等)將檢測(cè)該車輛的姿態(tài)以及位置的檢測(cè)部件的檢測(cè)輸出作為其控制中的狀態(tài)變量，而且不依據(jù)上述立體攝像機(jī)的影像，來進(jìn)行控制工作。再者，也可以適當(dāng)組合不同的實(shí)施方式中的構(gòu)件。
發(fā)明效果根據(jù)本發(fā)明，能得到一種立體攝像機(jī)支持裝置及立體攝像機(jī)的支持方法以及立體攝像機(jī)系統(tǒng)，能夠不依賴于背景等周圍的其他部分來高效地取得該被攝體自身的距離等著眼于該被攝體的信息。
此外，根據(jù)本發(fā)明，能得到一種校準(zhǔn)偏差檢測(cè)裝置及包括該裝置的立體攝像機(jī)以及立體攝像機(jī)系統(tǒng)，即使進(jìn)行三維計(jì)測(cè)等的拍攝立體圖像的攝影裝置的校準(zhǔn)是由于隨時(shí)間的變化或沖擊振動(dòng)等機(jī)械偏差，也能夠通過分析立體圖像來簡(jiǎn)單地定量地檢測(cè)校準(zhǔn)偏差。
再者，根據(jù)本發(fā)明，能得到一種校準(zhǔn)偏差校正裝置及包括該裝置的立體攝像機(jī)以及立體攝像機(jī)系統(tǒng)，即使進(jìn)行三維計(jì)測(cè)等的拍攝立體圖像的攝影裝置的校準(zhǔn)是由于隨時(shí)間的變化或沖擊振動(dòng)等機(jī)械偏差，也能夠通過分析立體圖像來簡(jiǎn)單地定量地并以絕對(duì)值來校正校準(zhǔn)偏差。
權(quán)利要求
1.一種立體攝像機(jī)支持裝置，支持用于得到具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的立體攝像機(jī)，其特征在于，包括結(jié)合部件，通過將設(shè)置上述立體攝像機(jī)的車輛側(cè)所設(shè)的支持部件、和該立體攝像機(jī)的規(guī)定部位上所設(shè)的被支持部件結(jié)合，使得上述兩個(gè)部件間的相對(duì)關(guān)系在規(guī)定范圍內(nèi)可變，從而將該立體攝像機(jī)支持在上述車輛上；和控制部，控制由上述結(jié)合部件支持在上述車輛上的立體攝像機(jī)的姿態(tài)以及位置；上述控制部控制該立體攝像機(jī)的姿態(tài)以及位置，使得上述立體攝像機(jī)得到的影像中的注目被攝體的輪廓中的位于最高水準(zhǔn)位置上的輪廓部分不依賴于上述車輛的姿態(tài)以及位置的變化，位于影像的幀上端以及其附近。
2.如權(quán)利要求1所述的立體攝像機(jī)支持裝置，其特征在于，上述控制部根據(jù)檢測(cè)該車輛的姿態(tài)以及位置的檢測(cè)部的檢測(cè)輸出來進(jìn)行控制工作。
3.如權(quán)利要求1所述的立體攝像機(jī)支持裝置，其特征在于，上述控制部依據(jù)評(píng)價(jià)并識(shí)別由上述立體攝像機(jī)得到的影像的特征的影像識(shí)別部的輸出，來進(jìn)行控制工作。
4.如權(quán)利要求1所述的立體攝像機(jī)支持裝置，其特征在于，上述控制部依據(jù)檢測(cè)該車輛的姿態(tài)以及位置的檢測(cè)部的檢測(cè)輸出、和評(píng)價(jià)并識(shí)別由上述立體攝像機(jī)得到的影像的特征的影像識(shí)別部的輸出，來進(jìn)行控制工作。
5.如權(quán)利要求2或4所述的立體攝像機(jī)支持裝置，其特征在于，上述檢測(cè)部包含檢測(cè)該車輛的傾斜的傾斜檢測(cè)部、和檢測(cè)該車輛的規(guī)定部的水準(zhǔn)位置的高度檢測(cè)部中的至少1個(gè)。
6.如權(quán)利要求5所述的立體攝像機(jī)支持裝置，其特征在于，上述傾斜檢測(cè)部檢測(cè)相對(duì)于鉛直方向或水平方向的相對(duì)角度。
7.如權(quán)利要求5所述的立體攝像機(jī)支持裝置，其特征在于，上述高度檢測(cè)部檢測(cè)該車輛相對(duì)于接地面的相對(duì)位置。
8.如權(quán)利要求1至3中任一項(xiàng)所述的立體攝像機(jī)支持裝置，其特征在于，上述控制部進(jìn)行反饋控制。
9.如權(quán)利要求1至3中任一項(xiàng)所述的立體攝像機(jī)支持裝置，其特征在于，上述控制部進(jìn)行前饋控制。
10.一種立體攝像機(jī)支持裝置，支持用于得到具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的立體攝像機(jī)，其特征在于，包括結(jié)合部件，通過將設(shè)置上述立體攝像機(jī)的物體側(cè)所設(shè)的支持部件、和該立體攝像機(jī)的規(guī)定部位上所設(shè)的被支持部件結(jié)合，使得上述兩個(gè)部件間的相對(duì)關(guān)系在規(guī)定范圍內(nèi)可變，從而將該立體攝像機(jī)支持在上述物體上；和控制部，控制由上述結(jié)合部件支持在上述物體上的立體攝像機(jī)的姿態(tài)以及位置；上述控制部控制該立體攝像機(jī)的姿態(tài)以及位置，使得由上述立體攝像機(jī)得到的影像中的注目被攝體的輪廓中的位于最高水準(zhǔn)位置上的輪廓部分，不依賴于上述物體和上述攝像視野內(nèi)的注目被攝體之間的相對(duì)姿態(tài)以及位置的變化，而位于影像的幀上端以及其附近。
11.一種立體攝像機(jī)支持方法，支持用于得到具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的立體攝像機(jī)，其特征在于，將設(shè)置上述立體攝像機(jī)的車輛側(cè)所設(shè)的支持部件、和該立體攝像機(jī)的規(guī)定部位上所設(shè)的被支持部件結(jié)合，使得上述兩個(gè)部件間的相對(duì)關(guān)系在規(guī)定范圍內(nèi)可變；控制通過上述結(jié)合被支持在上述車輛上的立體攝像機(jī)的姿態(tài)以及位置，使得由上述立體攝像機(jī)得到的影像中的注目被攝體的輪廓中的位于最高水準(zhǔn)位置上的輪廓部分，不依賴于上述車輛的姿態(tài)以及位置的變化，而位于影像的幀上端以及其附近。
12.一種立體攝像機(jī)支持方法，支持用于得到具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的立體攝像機(jī)，其特征在于，將設(shè)置上述立體攝像機(jī)的物體側(cè)所設(shè)的支持部件、和該立體攝像機(jī)的規(guī)定部位上所設(shè)的被支持部件結(jié)合，使得上述兩個(gè)部件間的相對(duì)關(guān)系在規(guī)定范圍內(nèi)可變；控制通過上述結(jié)合被支持在上述物體上的立體攝像機(jī)的姿態(tài)以及位置，使得由上述立體攝像機(jī)得到的影像中的注目被攝體的輪廓中的位于最高水準(zhǔn)位置上的輪廓部分，不依賴于上述物體和上述攝像視野內(nèi)的注目被攝體之間的相對(duì)姿態(tài)以及位置的變化，而位于影像的幀上端以及其附近。
13.如權(quán)利要求1所述的立體攝像機(jī)支持裝置，其特征在于，上述控制部將檢測(cè)上述車輛的姿態(tài)以及位置的檢測(cè)部的檢測(cè)輸出作為狀態(tài)變量，而且不依據(jù)由上述立體攝像機(jī)得到的影像來進(jìn)行控制工作。
14.一種立體攝像機(jī)系統(tǒng)，包括用于得到具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的立體攝像機(jī)，其特征在于，包括結(jié)合部件，通過將設(shè)置上述立體攝像機(jī)的車輛側(cè)所設(shè)的支持部件、和該立體攝像機(jī)的規(guī)定部位上所設(shè)的被支持部件結(jié)合，使得上述兩個(gè)部件間的相對(duì)位置在規(guī)定范圍內(nèi)可變，從而將該立體攝像機(jī)支持在上述車輛上；和控制部，控制由上述結(jié)合部件支持在上述車輛上的立體攝像機(jī)的姿態(tài)以及位置；上述控制部控制該立體攝像機(jī)的姿態(tài)以及位置，使得對(duì)于通過從在上述立體攝像機(jī)的攝像光學(xué)系統(tǒng)以及其附近設(shè)定的視點(diǎn)看該立體攝像機(jī)的攝像視野來進(jìn)行攝影而得到的影像，該影像中的注目被攝體的輪廓中的位于最高水準(zhǔn)位置上的輪廓部分不依賴于上述車輛的姿態(tài)以及位置的變化，而位于影像的幀上端以及其附近。
15.如權(quán)利要求14所述的立體攝像機(jī)系統(tǒng)，其特征在于，還包括信息處理部，根據(jù)上述立體攝像機(jī)攝影得到的影像信息來計(jì)算上述注目被攝體的距離。
16.如權(quán)利要求15所述的立體攝像機(jī)系統(tǒng)，其特征在于，上述信息處理部根據(jù)上述立體攝像機(jī)攝影得到的影像信息，來生成用于在該車輛中所應(yīng)用的顯示部上放映表示道路狀況的影像的數(shù)據(jù)。
17.如權(quán)利要求15所述的立體攝像機(jī)系統(tǒng)，其特征在于，上述信息處理部根據(jù)上述立體攝像機(jī)攝影得到的影像信息來生成如下的數(shù)據(jù)，即該數(shù)據(jù)用于在該車輛中所應(yīng)用的顯示部上，在表示道路狀況的影像上重疊顯示表示離該車輛位于等距離的道路上的點(diǎn)組的指標(biāo)來放映。
18.如權(quán)利要求15所述的立體攝像機(jī)系統(tǒng)，其特征在于，上述信息處理部根據(jù)上述立體攝像機(jī)攝影得到的影像信息，來生成用于使該車輛中所應(yīng)用的警告部發(fā)出警告的數(shù)據(jù)。
19.一種立體攝像機(jī)系統(tǒng)，包括用于得到具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的立體攝像機(jī)，其特征在于，包括結(jié)合部件，通過將設(shè)置上述立體攝像機(jī)的物體側(cè)所設(shè)的支持部件、和該立體攝像機(jī)的規(guī)定部位上所設(shè)的被支持部件結(jié)合，使得上述兩個(gè)部件間的相對(duì)位置在規(guī)定范圍內(nèi)可變，從而將該立體攝像機(jī)支持在上述物體上；和控制部，控制由上述結(jié)合部件支持在上述物體上的立體攝像機(jī)的姿態(tài)以及位置；上述控制部控制該立體攝像機(jī)的姿態(tài)以及位置，使得對(duì)于通過從在上述立體攝像機(jī)的攝像光學(xué)系統(tǒng)以及其附近設(shè)定的視點(diǎn)看該立體攝像機(jī)的攝像視野來進(jìn)行攝影而得到的影像，該影像中的注目被攝體的輪廓中的位于最高水準(zhǔn)位置上的輪廓部分不依賴于上述物體和上述攝像視野內(nèi)的注目被攝體之間的相對(duì)姿態(tài)以及位置的變化，而位于影像的幀上端以及其附近。
20.如權(quán)利要求14所述的立體攝像機(jī)系統(tǒng)，其特征在于，上述控制部在開始運(yùn)動(dòng)時(shí)將上述立體攝像機(jī)控制為如下姿態(tài)，即從在其攝像光學(xué)系統(tǒng)以及其附近設(shè)定的視點(diǎn)看該立體攝像機(jī)的攝像視野來進(jìn)行攝影時(shí)的視野的中心線基本上為水平方向的姿態(tài)。
21.如權(quán)利要求14所述的立體攝像機(jī)系統(tǒng)，其特征在于，上述控制部在開始運(yùn)動(dòng)時(shí)將上述立體攝像機(jī)控制為如下姿態(tài)，即從在其攝像光學(xué)系統(tǒng)以及其附近設(shè)定的視點(diǎn)看該立體攝像機(jī)的攝像視野來進(jìn)行攝影時(shí)的視野的中心線基本上維持上次控制中設(shè)定的最后狀態(tài)的姿態(tài)。
22.如權(quán)利要求14所述的立體攝像機(jī)系統(tǒng)，其特征在于，上述控制部在開始運(yùn)動(dòng)時(shí)將上述立體攝像機(jī)控制為如下姿態(tài)，即從在其攝像光學(xué)系統(tǒng)以及其附近設(shè)定的視點(diǎn)看該立體攝像機(jī)的攝像視野來進(jìn)行攝影時(shí)的視野的中心線為基本上比水平方向向下的姿態(tài)。
23.如權(quán)利要求14所述的立體攝像機(jī)系統(tǒng)，其特征在于，上述控制部在該車輛高速行駛時(shí)將上述立體攝像機(jī)控制為如下姿態(tài)，即從在其攝像光學(xué)系統(tǒng)以及其附近設(shè)定的視點(diǎn)看該立體攝像機(jī)的攝像視野來進(jìn)行攝影時(shí)的視野的中心線為相對(duì)向下的姿態(tài)，在低速行駛時(shí)控制為上述中心線為相對(duì)向上的姿態(tài)。
24.如權(quán)利要求14所述的立體攝像機(jī)系統(tǒng)，其特征在于，上述控制部在識(shí)別出遭遇到應(yīng)注目的被攝體的輪廓的最高水準(zhǔn)部分逃逸到影像的幀上端的更上方的較高被攝體時(shí)，將上述立體攝像機(jī)的姿態(tài)控制為向上。
25.一種立體攝像機(jī)支持裝置，支持用于得到具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的立體攝像機(jī)，其特征在于，包括結(jié)合部件，通過將設(shè)置上述立體攝像機(jī)的車輛側(cè)所設(shè)的支持部件、和該立體攝像機(jī)的規(guī)定部位上所設(shè)的被支持部件結(jié)合，使得上述兩個(gè)部件間的相對(duì)關(guān)系在規(guī)定范圍內(nèi)可變，從而將該立體攝像機(jī)支持在上述車輛上；和控制機(jī)構(gòu)，控制由上述結(jié)合部件支持在上述車輛上的立體攝像機(jī)的姿態(tài)以及位置；上述控制機(jī)構(gòu)控制該立體攝像機(jī)的姿態(tài)以及位置，使得上述立體攝像機(jī)得到的影像中的注目被攝體的輪廓中的位于最高水準(zhǔn)位置上的輪廓部分不依賴于上述車輛的姿態(tài)以及位置的變化，位于影像的幀上端以及其附近。
26.一種立體攝像機(jī)支持裝置，支持用于得到具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的立體攝像機(jī)，其特征在于，包括結(jié)合部件，通過將設(shè)置上述立體攝像機(jī)的物體側(cè)所設(shè)的支持部件、和該立體攝像機(jī)的規(guī)定部位上所設(shè)的被支持部件結(jié)合，使得上述兩個(gè)部件間的相對(duì)關(guān)系在規(guī)定范圍內(nèi)可變，從而將該立體攝像機(jī)支持在上述物體上；和控制機(jī)構(gòu)，控制由上述結(jié)合部件支持在上述物體上的立體攝像機(jī)的姿態(tài)以及位置；上述控制機(jī)構(gòu)控制該立體攝像機(jī)的姿態(tài)以及位置，使得上述立體攝像機(jī)得到的影像中的注目被攝體的輪廓中的位于最高水準(zhǔn)位置上的輪廓部分不依賴于上述物體和上述攝像視野內(nèi)的注目被攝體之間的相對(duì)姿態(tài)以及位置的變化，而位于影像的幀上端以及其附近。
27.一種立體攝像機(jī)系統(tǒng)，包括用于得到具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的立體攝像機(jī)，其特征在于，包括結(jié)合部件，通過將設(shè)置上述立體攝像機(jī)的車輛側(cè)所設(shè)的支持部件、和該立體攝像機(jī)的規(guī)定部位上所設(shè)的被支持部件結(jié)合，使得上述兩個(gè)部件間的相對(duì)位置在規(guī)定范圍內(nèi)可變，從而將該立體攝像機(jī)支持在上述車輛上；和控制機(jī)構(gòu)，控制由上述結(jié)合部件支持在上述車輛上的立體攝像機(jī)的姿態(tài)以及位置；上述控制機(jī)構(gòu)控制該立體攝像機(jī)的姿態(tài)以及位置，使得對(duì)于通過從在上述立體攝像機(jī)的攝像光學(xué)系統(tǒng)以及其附近設(shè)定的視點(diǎn)看該立體攝像機(jī)的攝像視野來進(jìn)行攝影而得到的影像，該影像中的注目被攝體的輪廓中的位于最高水準(zhǔn)位置上的輪廓部分不依賴于上述車輛的姿態(tài)以及位置的變化，而位于影像的幀上端以及其附近。
28.一種立體攝像機(jī)系統(tǒng)，包括用于得到具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的立體攝像機(jī)，其特征在于，包括結(jié)合部件，通過將設(shè)置上述立體攝像機(jī)的物體側(cè)所設(shè)的支持部件、和該立體攝像機(jī)的規(guī)定部位上所設(shè)的被支持部件結(jié)合，使得上述兩個(gè)部件間的相對(duì)位置在規(guī)定范圍內(nèi)可變，從而將該立體攝像機(jī)支持在上述物體上；和控制機(jī)構(gòu)，控制由上述結(jié)合部件支持在上述物體上的立體攝像機(jī)的姿態(tài)以及位置；上述控制機(jī)構(gòu)控制該立體攝像機(jī)的姿態(tài)以及位置，使得對(duì)于通過從在上述立體攝像機(jī)的攝像光學(xué)系統(tǒng)以及其附近設(shè)定的視點(diǎn)看該立體攝像機(jī)的攝像視野來進(jìn)行攝影而得到的影像，該影像中的注目被攝體的輪廓中的位于最高水準(zhǔn)位置上的輪廓部分不依賴于上述物體和上述攝像視野內(nèi)的注目被攝體之間的相對(duì)姿態(tài)以及位置的變化，而位于影像的框架上端以及其附近。
29.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取部，從上述攝影裝置拍攝到的立體圖像中提取特征；以及校準(zhǔn)偏差判定部，根據(jù)表示由上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
30.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理部，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取部，從上述調(diào)整處理部調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
31.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置與攝影裝置之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取部，從上述攝影裝置拍攝到的立體圖像中提取特征；以及校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
32.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置與拍攝立體圖像的攝影裝置之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理部，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取部，從上述調(diào)整處理部調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
33.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取部，從上述攝影裝置拍攝到的立體圖像中提取特征；校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；以及偏差結(jié)果呈現(xiàn)部，用于呈現(xiàn)上述校準(zhǔn)偏差判定部判定出的有無校準(zhǔn)偏差等判定結(jié)果。
34.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理部，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取部，從由上述調(diào)整處理部調(diào)整過的立體圖像中提取特征；校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；以及偏差結(jié)果呈現(xiàn)部，用于呈現(xiàn)上述校準(zhǔn)偏差判定部判定出的有無校準(zhǔn)偏差等判定結(jié)果。
35.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置與拍攝立體圖像的攝影裝置之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取部，從上述攝影裝置拍攝到的立體圖像中提取特征；校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；以及偏差結(jié)果呈現(xiàn)部，用于呈現(xiàn)上述校準(zhǔn)偏差判定部判定出的有無校準(zhǔn)偏差等判定結(jié)果。
36.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置與拍攝立體圖像的攝影裝置之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理部，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝的立體圖像實(shí)施調(diào)整處理；特征提取部，從由上述調(diào)整處理部調(diào)整過的立體圖像中提取特征；校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；以及偏差結(jié)果呈現(xiàn)部，用于呈現(xiàn)上述校準(zhǔn)偏差判定部判定出的有無校準(zhǔn)偏差等判定結(jié)果。
37.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取部，從上述攝影裝置拍攝到的立體圖像中提取特征；校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；以及狀況判斷部，按照與上述攝影裝置的校準(zhǔn)具有規(guī)定的相互關(guān)系的信息以及規(guī)定的操作，來判斷是否進(jìn)行校準(zhǔn)偏差檢測(cè)。
38.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理部，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取部，從上述調(diào)整處理部調(diào)整過的立體圖像中提取特征；校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；以及狀況判斷部，按照與上述攝影裝置的校準(zhǔn)具有規(guī)定的相互關(guān)系的信息以及規(guī)定的操作，來判斷是否進(jìn)行校準(zhǔn)偏差檢測(cè)。
39.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置與拍攝立體圖像的攝影裝置之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取部，從上述攝影裝置拍攝到的立體圖像中提取特征；校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；以及狀況判斷部，按照與上述攝影裝置的校準(zhǔn)具有規(guī)定的相互關(guān)系的信息以及規(guī)定的操作，來判斷是否進(jìn)行校準(zhǔn)偏差檢測(cè)。
40.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置與拍攝立體圖像的攝影裝置之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理部，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取部，從上述調(diào)整處理部調(diào)整過的立體圖像中提取特征；校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；以及狀況判斷部，按照與上述攝影裝置的校準(zhǔn)具有規(guī)定的相互關(guān)系的信息以及規(guī)定的操作，來判斷是否進(jìn)行校準(zhǔn)偏差檢測(cè)。
41.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取部，從上述攝影裝置拍攝到的立體圖像中提取特征；校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；偏差結(jié)果呈現(xiàn)部，用于呈現(xiàn)上述校準(zhǔn)偏差判定部判定出的有無校準(zhǔn)偏差等判定結(jié)果；以及狀況判斷部，按照與上述攝影裝置的校準(zhǔn)具有規(guī)定的相互關(guān)系的信息以及規(guī)定的操作，來判斷是否進(jìn)行校準(zhǔn)偏差檢測(cè)。
42.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理部，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取部，從上述調(diào)整處理部調(diào)整過的立體圖像中提取特征；校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；偏差結(jié)果呈現(xiàn)部，用于呈現(xiàn)上述校準(zhǔn)偏差判定部判定出的有無校準(zhǔn)偏差等判定結(jié)果；以及狀況判斷部，按照與上述攝影裝置的校準(zhǔn)具有規(guī)定的相互關(guān)系的信息以及規(guī)定的操作，來判斷是否進(jìn)行校準(zhǔn)偏差檢測(cè)。
43.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置和拍攝立體圖像的攝影裝置之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取部，從上述攝影裝置拍攝到的立體圖像中提取特征；校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；偏差結(jié)果呈現(xiàn)部，用于呈現(xiàn)上述校準(zhǔn)偏差判定部判定出的有無校準(zhǔn)偏差等判定結(jié)果；以及狀況判斷部，按照與上述攝影裝置的校準(zhǔn)具有規(guī)定的相互關(guān)系的信息以及規(guī)定的操作，來判斷是否進(jìn)行校準(zhǔn)偏差檢測(cè)。
44.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置和拍攝立體圖像的攝影裝置之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理部，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取部，從上述調(diào)整處理部調(diào)整過的立體圖像中提取特征；校準(zhǔn)偏差判定部，根據(jù)上述特征提取部提取出的特征，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；偏差結(jié)果呈現(xiàn)部，用于呈現(xiàn)上述校準(zhǔn)偏差判定部判定出的有無校準(zhǔn)偏差等判定結(jié)果；以及狀況判斷部，按照與上述攝影裝置的校準(zhǔn)具有規(guī)定的相互關(guān)系的信息以及規(guī)定的操作，來判斷是否進(jìn)行校準(zhǔn)偏差檢測(cè)。
45.如權(quán)利要求29至44中任一項(xiàng)所述的校準(zhǔn)偏差檢測(cè)裝置，其特征在于，還具備失真校正處理部，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)，對(duì)通過上述攝影裝置得到的立體圖像實(shí)施校正失真的失真處理。
46.如權(quán)利要求29至44中任一項(xiàng)所述的校準(zhǔn)偏差檢測(cè)裝置，其特征在于，上述特征提取部提取該立體圖像的、處于對(duì)應(yīng)關(guān)系的多個(gè)特征。
47.如權(quán)利要求29至44中任一項(xiàng)所述的校準(zhǔn)偏差檢測(cè)裝置，其特征在于，上述特征提取部提取通過上述攝影裝置得到的立體圖像的、處于對(duì)應(yīng)關(guān)系的多個(gè)特征，排除該提取出的多個(gè)取得對(duì)應(yīng)的特征中的、可以判定為異常的特征，供上述校準(zhǔn)偏差判定部進(jìn)行偏差判定。
48.如權(quán)利要求29至44中任一項(xiàng)所述的校準(zhǔn)偏差檢測(cè)裝置，其特征在于，上述校準(zhǔn)偏差判定部利用基于上述校準(zhǔn)數(shù)據(jù)保持部所保持的校準(zhǔn)數(shù)據(jù)的核線約束，對(duì)通過上述攝影裝置得到的立體圖像的、處于對(duì)應(yīng)關(guān)系的特征判定校準(zhǔn)偏差。
49.如權(quán)利要求29至44中任一項(xiàng)所述的校準(zhǔn)偏差檢測(cè)裝置，其特征在于，上述特征提取部包含特征選擇部，在上述攝影裝置得到的立體圖像中的一個(gè)圖像內(nèi)，選擇對(duì)校準(zhǔn)偏差檢測(cè)有效的特征；和特征對(duì)應(yīng)搜索部，從另一個(gè)圖像內(nèi)提取或搜索與該選擇出的特征相對(duì)應(yīng)的特征。
50.如權(quán)利要求29至44中任一項(xiàng)所述的校準(zhǔn)偏差檢測(cè)裝置，其特征在于，上述校準(zhǔn)數(shù)據(jù)保持部保持相對(duì)位置關(guān)系已知的多個(gè)特征的數(shù)據(jù)，上述校準(zhǔn)偏差判定部在表示上述特征提取部提取出的特征的信息之外、還利用上述校準(zhǔn)數(shù)據(jù)保持部所保持的表示上述位置關(guān)系的數(shù)據(jù)，來進(jìn)行校準(zhǔn)偏差判定。
51.如權(quán)利要求29至44中任一項(xiàng)所述的校準(zhǔn)偏差檢測(cè)裝置，其特征在于，對(duì)作為上述攝影裝置具有得到產(chǎn)生由多個(gè)視點(diǎn)造成的視差的多個(gè)像的光學(xué)系統(tǒng)和單一攝像機(jī)部的立體適配器方式的攝影裝置，進(jìn)行其校準(zhǔn)偏差檢測(cè)。
52.如權(quán)利要求29至44中任一項(xiàng)所述的校準(zhǔn)偏差檢測(cè)裝置，其特征在于，以作為上述攝影裝置的、包含多個(gè)攝像機(jī)而成的攝像系統(tǒng)為對(duì)象，進(jìn)行校準(zhǔn)偏差檢測(cè)。
53.如權(quán)利要求29至44中任一項(xiàng)所述的校準(zhǔn)偏差檢測(cè)裝置，其特征在于，檢測(cè)與車載型的上述攝像裝置有關(guān)的校準(zhǔn)偏差。
54.如權(quán)利要求37至44中任一項(xiàng)所述的校準(zhǔn)偏差檢測(cè)裝置，其特征在于，上述狀況判斷部根據(jù)外部傳感器的輸出來進(jìn)行狀況判斷。
55.如權(quán)利要求33、34、35、36、41、42、43及44中任一項(xiàng)所述的校準(zhǔn)偏差檢測(cè)裝置，其特征在于，上述偏差結(jié)果呈現(xiàn)部能夠通過與上述校準(zhǔn)偏差判定部協(xié)作，來顯示正在進(jìn)行偏差檢測(cè)的處理工作的情況。
56.如權(quán)利要求33、34、35、36、41、42、43及44中任一項(xiàng)所述的校準(zhǔn)偏差檢測(cè)裝置，其特征在于，上述偏差結(jié)果呈現(xiàn)部能夠通過與上述校準(zhǔn)偏差判定部協(xié)作，可顯示如下信息，即該信息表示作為偏差檢測(cè)的處理結(jié)果而得到的參數(shù)和上述校準(zhǔn)數(shù)據(jù)保持部中預(yù)先保持的參數(shù)之間的差異。
57.如權(quán)利要求33、34、35、36、41、42、43及44中任一項(xiàng)所述的校準(zhǔn)偏差檢測(cè)裝置，其特征在于，上述偏差結(jié)果呈現(xiàn)部能夠通過與上述校準(zhǔn)偏差判定部協(xié)作，在未能進(jìn)行正規(guī)的偏差檢測(cè)時(shí)，可顯示表示該情況的差錯(cuò)碼。
58.如權(quán)利要求33、34、35、36、41、42、43及44中任一項(xiàng)所述的校準(zhǔn)偏差檢測(cè)裝置，其特征在于，上述偏差結(jié)果呈現(xiàn)部能夠通過與上述校準(zhǔn)偏差判定部協(xié)作，可顯示表示與偏差檢測(cè)有關(guān)的可靠性的狀態(tài)。
59.如權(quán)利要求29至44中任一項(xiàng)所述的校準(zhǔn)偏差檢測(cè)裝置，其特征在于，上述特征提取部辨別與上述攝影裝置得到的立體圖像有關(guān)的可靠性，在該特征提取部辨別出與上述攝影裝置得到的立體圖像有關(guān)的可靠性不夠時(shí)，還進(jìn)行重復(fù)該攝影裝置所進(jìn)行的拍攝處理的控制。
60.一種立體攝像機(jī)，具備攝像部，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差檢測(cè)部，檢測(cè)上述攝像部的校準(zhǔn)偏差；以及運(yùn)算部，考慮上述校準(zhǔn)偏差檢測(cè)部的檢測(cè)輸出數(shù)據(jù)，并依據(jù)上述攝像部得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；其特征在于，上述校準(zhǔn)偏差檢測(cè)部具有校準(zhǔn)數(shù)據(jù)保持部，保持與上述攝像部有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取部，從上述攝像部得到的作為影像信號(hào)輸出的立體圖像中提取特征；以及校準(zhǔn)偏差判定部，根據(jù)表示由上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
61.一種立體攝像機(jī)，具備攝像部，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差檢測(cè)部，檢測(cè)上述攝像部的校準(zhǔn)偏差；以及運(yùn)算部，考慮上述校準(zhǔn)偏差檢測(cè)部的檢測(cè)輸出數(shù)據(jù)，并依據(jù)上述攝像部得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；其特征在于，上述校準(zhǔn)偏差檢測(cè)部具有校準(zhǔn)數(shù)據(jù)保持部，保持與上述攝像部有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理部，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝像部拍攝到的立體圖像進(jìn)行調(diào)整處理；特征提取部，從上述調(diào)整處理部處理的調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)偏差判定部，根據(jù)表示由上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
62.一種立體攝像機(jī)，具備攝像部，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差檢測(cè)部，檢測(cè)上述攝像部和規(guī)定預(yù)定基準(zhǔn)位置的外部裝置之間的校準(zhǔn)偏差；以及運(yùn)算部，考慮上述校準(zhǔn)偏差檢測(cè)部的檢測(cè)輸出，并依據(jù)上述攝像部得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；其特征在于，上述校準(zhǔn)偏差檢測(cè)部具有校準(zhǔn)數(shù)據(jù)保持部，保持同用于規(guī)定上述基準(zhǔn)位置的預(yù)定的外部裝置和上述攝像部之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取部，從由上述攝像部得到的作為影像信號(hào)輸出的立體圖像中提取特征；以及校準(zhǔn)偏差判定部，根據(jù)由上述特征提取部提取出的特征，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
63.一種立體攝像機(jī)，具備攝像部，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差檢測(cè)部，檢測(cè)上述攝像部和規(guī)定預(yù)定基準(zhǔn)位置的外部裝置之間的校準(zhǔn)偏差；以及運(yùn)算部，考慮上述校準(zhǔn)偏差檢測(cè)部的檢測(cè)輸出，并依據(jù)上述攝像部得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；其特征在于，上述校準(zhǔn)偏差檢測(cè)部具有校準(zhǔn)數(shù)據(jù)保持部，保持與上述攝像部有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理部，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝像部拍攝到的立體圖像進(jìn)行調(diào)整處理；特征提取部，從由上述調(diào)整處理部調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)偏差判定部，根據(jù)表示由上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
64.一種立體攝像機(jī)系統(tǒng)，包含攝像部，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差檢測(cè)部，檢測(cè)上述攝像部的校準(zhǔn)偏差；運(yùn)算部，考慮上述校準(zhǔn)偏差檢測(cè)部的檢測(cè)輸出數(shù)據(jù)，并依據(jù)上述攝像部得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；以及顯示部，用于進(jìn)行與上述校準(zhǔn)偏差檢測(cè)部、運(yùn)算部以及上述攝像部的輸出相關(guān)聯(lián)的所需的顯示；其特征在于，上述校準(zhǔn)偏差檢測(cè)部包含校準(zhǔn)數(shù)據(jù)保持部，保持與上述攝像部有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取部，從由上述攝像部得到的作為影像信號(hào)輸出的立體圖像中提取特征；以及校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；上述顯示部能夠?qū)⑸鲜鲂?zhǔn)偏差判定部的判定結(jié)果顯示在自己的顯示面上。
65.一種立體攝像機(jī)系統(tǒng)，包含攝像部，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差檢測(cè)部，檢測(cè)上述攝像部的校準(zhǔn)偏差；運(yùn)算部，考慮上述校準(zhǔn)偏差檢測(cè)部的檢測(cè)輸出數(shù)據(jù)，并依據(jù)上述攝像部得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；以及顯示部，用于進(jìn)行與上述校準(zhǔn)偏差檢測(cè)部、運(yùn)算部以及上述攝像部的輸出相關(guān)聯(lián)的所需的顯示；其特征在于，上述校準(zhǔn)偏差檢測(cè)部包含校準(zhǔn)數(shù)據(jù)保持部，保持與上述攝像部有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理部，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)，對(duì)由上述攝像部得到的作為影像信號(hào)輸出的立體圖像實(shí)施調(diào)整處理；特征提取部，從上述調(diào)整處理部調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；上述顯示部能夠?qū)⑸鲜鲂?zhǔn)偏差判定部的判定結(jié)果顯示在自己的顯示面上。
66.一種立體攝像機(jī)系統(tǒng)，包含攝像部，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差檢測(cè)部，檢測(cè)上述攝像部和規(guī)定預(yù)定基準(zhǔn)位置的外部裝置之間的校準(zhǔn)偏差；運(yùn)算部，考慮上述校準(zhǔn)偏差檢測(cè)部的檢測(cè)輸出數(shù)據(jù)，并依據(jù)上述攝像部得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；以及顯示部，用于進(jìn)行與上述校準(zhǔn)偏差檢測(cè)部、運(yùn)算部以及上述攝像部的輸出相關(guān)聯(lián)的所需的顯示；其特征在于，上述校準(zhǔn)偏差檢測(cè)部包含校準(zhǔn)數(shù)據(jù)保持部，保持與用于規(guī)定上述基準(zhǔn)位置的規(guī)定的外部裝置和上述攝像部之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取部，從上述攝像部得到的作為影像信號(hào)輸出的立體圖像中提取特征；以及校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；上述顯示部能夠?qū)⑸鲜鲂?zhǔn)偏差判定部的判定結(jié)果顯示在自己的顯示面上。
67.一種立體攝像機(jī)系統(tǒng)，包含攝像部，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差檢測(cè)部，檢測(cè)上述攝像部和規(guī)定預(yù)定基準(zhǔn)位置的外部裝置之間的校準(zhǔn)偏差；運(yùn)算部，考慮上述校準(zhǔn)偏差檢測(cè)部的檢測(cè)輸出數(shù)據(jù)，并依據(jù)上述攝像部得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；以及顯示部，用于進(jìn)行與上述校準(zhǔn)偏差檢測(cè)部、運(yùn)算部以及上述攝像部的輸出相關(guān)聯(lián)的所需的顯示；其特征在于，上述校準(zhǔn)偏差檢測(cè)部包含校準(zhǔn)數(shù)據(jù)保持部，保持與用于規(guī)定上述基準(zhǔn)位置的規(guī)定的外部裝置和上述攝像部之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理部，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)，對(duì)由上述攝像部得到的作為影像信號(hào)輸出的立體圖像實(shí)施調(diào)整處理；特征提取部，從上述調(diào)整處理部調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；上述顯示部能夠?qū)⑸鲜鲂?zhǔn)偏差判定部的判定結(jié)果顯示在自己的顯示面上。
68.如權(quán)利要求64、65、66及67中任一項(xiàng)所述的立體攝像機(jī)系統(tǒng)，其特征在于，上述顯示部能夠通過與上述校準(zhǔn)偏差判定部協(xié)作，來顯示正在進(jìn)行偏差檢測(cè)的處理工作的情況。
69.如權(quán)利要求64、65、66及67中任一項(xiàng)所述的立體攝像機(jī)系統(tǒng)，其特征在于，上述偏差結(jié)果呈現(xiàn)部能夠通過與上述校準(zhǔn)偏差判定部協(xié)作，來顯示表示作為偏差檢測(cè)的處理結(jié)果而得到的參數(shù)和上述校準(zhǔn)數(shù)據(jù)保持部中預(yù)先保持的參數(shù)之間的差異的信息。
70.如權(quán)利要求64、65、66及67中任一項(xiàng)所述的立體攝像機(jī)系統(tǒng)，其特征在于，上述偏差結(jié)果呈現(xiàn)部能夠通過與上述校準(zhǔn)偏差判定部協(xié)作，在未能進(jìn)行正規(guī)的偏差檢測(cè)時(shí)可顯示表示該情況的差錯(cuò)碼。
71.如權(quán)利要求64、65、66及67中任一項(xiàng)所述的立體攝像機(jī)系統(tǒng)，其特征在于，該特征提取部辨別與上述攝像部得到的立體圖像有關(guān)的可靠性，并且，上述校準(zhǔn)偏差檢測(cè)部還包括控制部，在該特征提取部辨別出與上述攝像部得到的立體圖像有關(guān)的可靠性不夠時(shí)，該控制部進(jìn)行重復(fù)該攝像部的拍攝處理的控制。
72.如權(quán)利要求65或66所述的立體攝像機(jī)系統(tǒng)，其特征在于，上述校準(zhǔn)偏差檢測(cè)部應(yīng)用裝備了上述攝像部的車輛的特定形狀部，作為該外部裝置。
73.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取機(jī)構(gòu)，從上述攝影裝置拍攝到的立體圖像中提取特征；以及校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
74.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理機(jī)構(gòu)，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取機(jī)構(gòu)，從上述調(diào)整處理機(jī)構(gòu)調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
75.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置和攝影裝置之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取機(jī)構(gòu)，從上述攝影裝置拍攝到的立體圖像中提取特征；以及校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取手段提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
76.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置和拍攝立體圖像的攝影裝置之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理機(jī)構(gòu)，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取機(jī)構(gòu)，從上述調(diào)整處理機(jī)構(gòu)調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
77.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取機(jī)構(gòu)，從上述攝影裝置拍攝到的立體圖像中提取特征；校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；以及偏差結(jié)果呈現(xiàn)機(jī)構(gòu)，用于呈現(xiàn)上述校準(zhǔn)偏差判定機(jī)構(gòu)判定出的有無校準(zhǔn)偏差等判定結(jié)果。
78.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理機(jī)構(gòu)，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取機(jī)構(gòu)，從上述調(diào)整處理機(jī)構(gòu)調(diào)整過的立體圖像中提取特征；校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；以及偏差結(jié)果呈現(xiàn)機(jī)構(gòu)，用于呈現(xiàn)上述校準(zhǔn)偏差判定機(jī)構(gòu)判定出的有無校準(zhǔn)偏差等判定結(jié)果。
79.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置和拍攝立體圖像的攝影裝置之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取機(jī)構(gòu)，從上述攝影裝置拍攝到的立體圖像中提取特征；校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；以及偏差結(jié)果呈現(xiàn)機(jī)構(gòu)，用于呈現(xiàn)上述校準(zhǔn)偏差判定機(jī)構(gòu)判定出的有無校準(zhǔn)偏差等判定結(jié)果。
80.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置和拍攝立體圖像的攝影裝置之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理機(jī)構(gòu)，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取機(jī)構(gòu)，從上述調(diào)整處理機(jī)構(gòu)調(diào)整過的立體圖像中提取特征；校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；以及偏差結(jié)果呈現(xiàn)機(jī)構(gòu)，用于呈現(xiàn)上述校準(zhǔn)偏差判定機(jī)構(gòu)判定出的有無校準(zhǔn)偏差等判定結(jié)果。
81.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取機(jī)構(gòu)，從上述攝影裝置拍攝到的立體圖像中提取特征；校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；以及狀況判斷機(jī)構(gòu)，按照與上述攝影裝置的校準(zhǔn)具有規(guī)定的相互關(guān)系的信息以及規(guī)定的操作，來判斷是否進(jìn)行校準(zhǔn)偏差檢測(cè)。
82.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理機(jī)構(gòu)，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取機(jī)構(gòu)，從上述調(diào)整處理機(jī)構(gòu)調(diào)整過的立體圖像中提取特征；校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；以及狀況判斷機(jī)構(gòu)，按照與上述攝影裝置的校準(zhǔn)具有規(guī)定的相互關(guān)系的信息以及規(guī)定的操作，來判斷是否進(jìn)行校準(zhǔn)偏差檢測(cè)。
83.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置和拍攝立體圖像的攝影裝置之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取機(jī)構(gòu)，從上述攝影裝置拍攝到的立體圖像中提取特征；校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；以及狀況判斷機(jī)構(gòu)，按照與上述攝影裝置的校準(zhǔn)具有規(guī)定的相互關(guān)系的信息以及規(guī)定的操作，來判斷是否進(jìn)行校準(zhǔn)偏差檢測(cè)。
84.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置和拍攝立體圖像的攝影裝置之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理機(jī)構(gòu)，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取機(jī)構(gòu)，從上述調(diào)整處理機(jī)構(gòu)調(diào)整過的立體圖像中提取特征；校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；以及狀況判斷機(jī)構(gòu)，按照與上述攝影裝置的校準(zhǔn)具有規(guī)定的相互關(guān)系的信息以及規(guī)定的操作，來判斷是否進(jìn)行校準(zhǔn)偏差檢測(cè)。
85.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取機(jī)構(gòu)，從上述攝影裝置拍攝到的立體圖像中提取特征；校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；偏差結(jié)果呈現(xiàn)機(jī)構(gòu)，用于呈現(xiàn)上述校準(zhǔn)偏差判定機(jī)構(gòu)判定出的有無校準(zhǔn)偏差等判定結(jié)果；以及狀況判斷機(jī)構(gòu)，按照與上述攝影裝置的校準(zhǔn)具有規(guī)定的相互關(guān)系的信息以及規(guī)定的操作，來判斷是否進(jìn)行校準(zhǔn)偏差檢測(cè)。
86.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理機(jī)構(gòu)，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取機(jī)構(gòu)，從上述調(diào)整處理機(jī)構(gòu)調(diào)整過的立體圖像中提取特征；校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；偏差結(jié)果呈現(xiàn)機(jī)構(gòu)，用于呈現(xiàn)上述校準(zhǔn)偏差判定機(jī)構(gòu)判定出的有無校準(zhǔn)偏差等判定結(jié)果；以及狀況判斷機(jī)構(gòu)，按照與上述攝影裝置的校準(zhǔn)具有規(guī)定的相互關(guān)系的信息以及規(guī)定的操作，來判斷是否進(jìn)行校準(zhǔn)偏差檢測(cè)。
87.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置和拍攝立體圖像的攝影裝置之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取機(jī)構(gòu)，從上述攝影裝置拍攝到的立體圖像中提取特征；校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；偏差結(jié)果呈現(xiàn)機(jī)構(gòu)，用于呈現(xiàn)上述校準(zhǔn)偏差判定機(jī)構(gòu)判定出的有無校準(zhǔn)偏差等判定結(jié)果；以及狀況判斷機(jī)構(gòu)，按照與上述攝影裝置的校準(zhǔn)具有規(guī)定的相互關(guān)系的信息以及規(guī)定的操作，來判斷是否進(jìn)行校準(zhǔn)偏差檢測(cè)。
88.一種校準(zhǔn)偏差檢測(cè)裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置和拍攝立體圖像的攝影裝置之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理機(jī)構(gòu)，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取機(jī)構(gòu)，從上述調(diào)整處理機(jī)構(gòu)調(diào)整過的立體圖像中提取特征；校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)上述特征提取機(jī)構(gòu)提取出的特征，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；偏差結(jié)果呈現(xiàn)機(jī)構(gòu)，用于呈現(xiàn)上述校準(zhǔn)偏差判定機(jī)構(gòu)判定出的有無校準(zhǔn)偏差等判定結(jié)果；以及狀況判斷機(jī)構(gòu)，按照與上述攝影裝置的校準(zhǔn)具有規(guī)定的相互關(guān)系的信息以及規(guī)定的操作，來判斷是否進(jìn)行校準(zhǔn)偏差檢測(cè)。
89.一種立體攝像機(jī)，具備攝像機(jī)構(gòu)，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)，檢測(cè)上述攝像機(jī)構(gòu)的校準(zhǔn)偏差；以及運(yùn)算機(jī)構(gòu)，考慮上述校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)的檢測(cè)輸出數(shù)據(jù)，并依據(jù)上述攝像機(jī)構(gòu)得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；其特征在于，上述校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)具有校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持與上述攝像機(jī)構(gòu)有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取機(jī)構(gòu)，從上述攝像機(jī)構(gòu)得到的作為影像信號(hào)輸出的立體圖像中提取特征；以及校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
90.一種立體攝像機(jī)，具備攝像機(jī)構(gòu)，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)，檢測(cè)上述攝像機(jī)構(gòu)的校準(zhǔn)偏差；以及運(yùn)算機(jī)構(gòu)，考慮上述校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)的檢測(cè)輸出數(shù)據(jù)，并依據(jù)上述攝像機(jī)構(gòu)得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；其特征在于，上述校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)具有校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持與上述攝像機(jī)構(gòu)有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理機(jī)構(gòu)，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝像機(jī)構(gòu)拍攝到的立體圖像進(jìn)行調(diào)整處理；特征提取機(jī)構(gòu)，從上述調(diào)整處理機(jī)構(gòu)處理的調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
91.一種立體攝像機(jī)，具備攝像機(jī)構(gòu)，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)，檢測(cè)上述攝像機(jī)構(gòu)和規(guī)定預(yù)定基準(zhǔn)位置的外部裝置之間的校準(zhǔn)偏差；以及運(yùn)算機(jī)構(gòu)，考慮上述校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)的檢測(cè)輸出，并依據(jù)上述攝像機(jī)構(gòu)得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；其特征在于，上述校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)具有校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持同上述用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置和上述攝像機(jī)構(gòu)之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取機(jī)構(gòu)，從上述攝像機(jī)構(gòu)得到的作為影像信號(hào)輸出的立體圖像中提取特征；以及校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)上述特征提取機(jī)構(gòu)提取出的特征，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
92.一種立體攝像機(jī)，具備攝像機(jī)構(gòu)，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)，檢測(cè)上述攝像機(jī)構(gòu)和規(guī)定預(yù)定基準(zhǔn)位置的外部裝置之間的校準(zhǔn)偏差；以及運(yùn)算機(jī)構(gòu)，考慮上述校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)的檢測(cè)輸出，并依據(jù)上述攝像機(jī)構(gòu)得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；其特征在于，上述校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)具有校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持與上述攝像機(jī)構(gòu)有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理機(jī)構(gòu)，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝像機(jī)構(gòu)拍攝到的立體圖像進(jìn)行調(diào)整處理；特征提取機(jī)構(gòu)，從上述調(diào)整處理機(jī)構(gòu)調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
93.一種立體攝像機(jī)系統(tǒng)，包含攝像機(jī)構(gòu)，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)，檢測(cè)上述攝像機(jī)構(gòu)的校準(zhǔn)偏差；運(yùn)算機(jī)構(gòu)，考慮上述校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)的檢測(cè)輸出數(shù)據(jù)，并依據(jù)上述攝像機(jī)構(gòu)得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；以及顯示機(jī)構(gòu)，用于進(jìn)行與上述校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)、運(yùn)算機(jī)構(gòu)以及上述攝像機(jī)構(gòu)的輸出相關(guān)聯(lián)的所需的顯示；其特征在于，上述校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)包含校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持與上述攝像機(jī)構(gòu)有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取機(jī)構(gòu)，從上述攝像機(jī)構(gòu)得到的作為影像信號(hào)輸出的立體圖像中提取特征；以及校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；上述顯示機(jī)構(gòu)能夠?qū)⑸鲜鲂?zhǔn)偏差判定機(jī)構(gòu)的判定結(jié)果顯示在自己的顯示面上。
94.一種立體攝像機(jī)系統(tǒng)，包含攝像機(jī)構(gòu)，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)，檢測(cè)上述攝像機(jī)構(gòu)的校準(zhǔn)偏差；運(yùn)算機(jī)構(gòu)，考慮上述校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)的檢測(cè)輸出數(shù)據(jù)，并依據(jù)上述攝像機(jī)構(gòu)得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；以及顯示機(jī)構(gòu)，用于進(jìn)行與上述校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)、運(yùn)算機(jī)構(gòu)以及上述攝像機(jī)構(gòu)的輸出相關(guān)聯(lián)的所需的顯示；其特征在于，上述校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)包含校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持與上述攝像機(jī)構(gòu)有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理機(jī)構(gòu)，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝像機(jī)構(gòu)得到的作為影像信號(hào)輸出的立體圖像實(shí)施調(diào)整處理；特征提取機(jī)構(gòu)，從上述調(diào)整處理機(jī)構(gòu)調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；上述顯示機(jī)構(gòu)能夠?qū)⑸鲜鲂?zhǔn)偏差判定機(jī)構(gòu)的判定結(jié)果顯示在自己的顯示面上。
95.一種立體攝像機(jī)系統(tǒng)，包含攝像機(jī)構(gòu)，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)，檢測(cè)上述攝像機(jī)構(gòu)和規(guī)定預(yù)定基準(zhǔn)位置的外部裝置之間的校準(zhǔn)偏差；運(yùn)算機(jī)構(gòu)，考慮上述校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)的檢測(cè)輸出數(shù)據(jù)，并依據(jù)上述攝像機(jī)構(gòu)得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；以及顯示機(jī)構(gòu)，用于進(jìn)行與上述校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)、運(yùn)算機(jī)構(gòu)以及上述攝像機(jī)構(gòu)的輸出相關(guān)聯(lián)的所需的顯示；其特征在于，上述校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)包含校準(zhǔn)數(shù)據(jù)存儲(chǔ)保持機(jī)構(gòu)，保持同上述用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置和上述攝像機(jī)構(gòu)之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取機(jī)構(gòu)，從上述攝像機(jī)構(gòu)得到的作為影像信號(hào)輸出的立體圖像中提取特征；以及校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；上述顯示機(jī)構(gòu)能夠?qū)⑸鲜鲂?zhǔn)偏差判定機(jī)構(gòu)的判定結(jié)果顯示在自己的顯示面上。
96.一種立體攝像機(jī)系統(tǒng)，包含攝像機(jī)構(gòu)，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)，檢測(cè)上述攝像機(jī)構(gòu)和規(guī)定預(yù)定基準(zhǔn)位置的外部裝置之間的校準(zhǔn)偏差；運(yùn)算機(jī)構(gòu)，考慮上述校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)的檢測(cè)輸出數(shù)據(jù)，并依據(jù)上述攝像機(jī)構(gòu)得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；以及顯示機(jī)構(gòu)，用于進(jìn)行與上述校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)、運(yùn)算機(jī)構(gòu)以及上述攝像機(jī)構(gòu)的輸出相關(guān)聯(lián)的所需的顯示；其特征在于，上述校準(zhǔn)偏差檢測(cè)機(jī)構(gòu)包含校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持同上述用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置和上述攝像機(jī)構(gòu)之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理機(jī)構(gòu)，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝像機(jī)構(gòu)得到的作為影像信號(hào)輸出的立體圖像實(shí)施調(diào)整處理；特征提取機(jī)構(gòu)，從上述調(diào)整處理機(jī)構(gòu)調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；上述顯示機(jī)構(gòu)能夠?qū)⑸鲜鲂?zhǔn)偏差判定機(jī)構(gòu)的判定結(jié)果顯示在自己的顯示面上。
97.一種校準(zhǔn)偏差校正裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取部，從上述攝影裝置拍攝到的立體圖像中提取特征；以及校準(zhǔn)數(shù)據(jù)校正部，根據(jù)表示上述特征提取部提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
98.一種校準(zhǔn)偏差校正裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理部，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取部，從上述調(diào)整處理部調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)數(shù)據(jù)校正部，根據(jù)表示上述特征提取部提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
99.一種校準(zhǔn)偏差校正裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定外部裝置和攝影裝置之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取部，從上述攝影裝置拍攝到的立體圖像中提取特征；以及校準(zhǔn)數(shù)據(jù)校正部，根據(jù)表示上述特征提取部提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
100.一種校準(zhǔn)偏差校正裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持對(duì)用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置和拍攝立體圖像的攝影裝置之間的校準(zhǔn)偏差進(jìn)行校正的校準(zhǔn)數(shù)據(jù)；調(diào)整處理部，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取部，從上述調(diào)整處理部處理的調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)數(shù)據(jù)校正部，根據(jù)表示上述特征提取部提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
101.一種校準(zhǔn)偏差校正裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置和拍攝立體圖像的攝影裝置之間的校準(zhǔn)、以及該攝影裝置主體的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取部，從上述攝影裝置拍攝到的立體圖像中提取特征；以及校準(zhǔn)數(shù)據(jù)校正部，根據(jù)表示上述特征提取部提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
102.一種校準(zhǔn)偏差校正裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置和拍攝立體圖像的攝影裝置之間的校準(zhǔn)、以及該攝影裝置主體的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理部，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取部，從上述調(diào)整處理部調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)數(shù)據(jù)校正部，根據(jù)表示上述特征提取部提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
103.一種校準(zhǔn)偏差校正裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)的校準(zhǔn)數(shù)據(jù)；特征提取部，從上述攝影裝置拍攝到的立體圖像中提取特征；校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定有無上述校準(zhǔn)偏差；校準(zhǔn)數(shù)據(jù)校正部，在上述校準(zhǔn)偏差判定部判定為有偏差的情況下，校正與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
104.一種校準(zhǔn)偏差校正裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持與拍攝立體圖像的攝影裝置的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理部，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取部，從上述調(diào)整處理部調(diào)整過的立體圖像中提取特征；校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定有無校準(zhǔn)偏差；校準(zhǔn)數(shù)據(jù)校正部，在上述校準(zhǔn)偏差判定部判定為有偏差的情況下，根據(jù)表示上述特征提取部提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
105.一種校準(zhǔn)偏差校正裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)的校準(zhǔn)數(shù)據(jù)；特征提取部，從上述攝影裝置拍攝到的立體圖像中提取特征；校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定有無校準(zhǔn)偏差并決定偏差的種類；校準(zhǔn)數(shù)據(jù)校正部，在上述校準(zhǔn)偏差判定部判定為有偏差的情況下，按照偏差的種類來校正與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
106.一種校準(zhǔn)偏差校正裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持部，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理部，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取部，從上述調(diào)整處理部調(diào)整過的立體圖像中提取特征；校準(zhǔn)偏差判定部，根據(jù)表示上述特征提取部提取出的特征的信息，來判定有無校準(zhǔn)偏差并決定偏差的種類；校準(zhǔn)數(shù)據(jù)校正部，在上述校準(zhǔn)偏差判定部判定為有偏差的情況下，按照偏差的種類來校正與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
107.如權(quán)利要求97至106中任一項(xiàng)所述的校準(zhǔn)偏差校正裝置，其特征在于，還具備校正結(jié)果呈現(xiàn)部，用于呈現(xiàn)上述校準(zhǔn)數(shù)據(jù)校正部校正過的校準(zhǔn)偏差校正結(jié)果。
108.如權(quán)利要求97至106中任一項(xiàng)所述的校準(zhǔn)偏差校正裝置，其特征在于，還具備狀況判斷部，按照與上述攝影裝置的校準(zhǔn)具有規(guī)定的相互關(guān)系的信息以及規(guī)定的操作，來判斷是否進(jìn)行校準(zhǔn)偏差校正。
109.如權(quán)利要求97至106中任一項(xiàng)所述的校準(zhǔn)偏差校正裝置，其特征在于，校準(zhǔn)數(shù)據(jù)保持部保持上述校準(zhǔn)數(shù)據(jù)校正部校正過的校準(zhǔn)數(shù)據(jù)。
110.如權(quán)利要求97至106中任一項(xiàng)所述的校準(zhǔn)偏差校正裝置，其特征在于，還具備失真校正處理部，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)，對(duì)通過上述攝影裝置得到的立體圖像實(shí)施失真校正處理。
111.如權(quán)利要求97至106中任一項(xiàng)所述的校準(zhǔn)偏差校正裝置，其特征在于，還具備控制部，根據(jù)上述校準(zhǔn)數(shù)據(jù)校正部校正過的數(shù)據(jù)的精度，來控制上述攝影裝置的立體圖像的重復(fù)拍攝。
112.如權(quán)利要求97至106中任一項(xiàng)所述的校準(zhǔn)偏差校正裝置，其特征在于，還具備控制部，根據(jù)上述校準(zhǔn)數(shù)據(jù)校正部在校正處理中使用的特征的數(shù)目，來控制上述攝影裝置的立體圖像的重復(fù)拍攝。
113.如權(quán)利要求97至106中任一項(xiàng)所述的校準(zhǔn)偏差校正裝置，其特征在于，上述特征提取部提取上述攝影裝置得到的立體圖像的處于對(duì)應(yīng)關(guān)系的多個(gè)特征，排除該提取出的多個(gè)取得對(duì)應(yīng)的特征中的可以判定為異常的特征后，供上述校準(zhǔn)數(shù)據(jù)校正部進(jìn)行校正處理。
114.如權(quán)利要求97至106中任一項(xiàng)所述的校準(zhǔn)偏差校正裝置，其特征在于，上述特征提取部在提取上述攝影裝置得到的立體圖像的處于對(duì)應(yīng)關(guān)系的特征時(shí)，在基于上述校準(zhǔn)數(shù)據(jù)保持部所保持的校準(zhǔn)數(shù)據(jù)的核線附近，提取可對(duì)應(yīng)的特征。
115.如權(quán)利要求97至106中任一項(xiàng)所述的校準(zhǔn)偏差校正裝置，其特征在于，上述特征提取部包含特征選擇部，在上述攝影裝置得到的立體圖像的一個(gè)圖像內(nèi)選擇對(duì)校準(zhǔn)偏差檢測(cè)有效的特征；和特征對(duì)應(yīng)搜索部，從另一個(gè)圖像內(nèi)提取或搜索與選擇出的特征對(duì)應(yīng)的特征。
116.如權(quán)利要求97至106中任一項(xiàng)所述的校準(zhǔn)偏差校正裝置，其特征在于，上述校準(zhǔn)數(shù)據(jù)保持部保持相對(duì)位置關(guān)系已知的多個(gè)特征的數(shù)據(jù)，在上述特征提取部采用與保持在上述校準(zhǔn)數(shù)據(jù)保持部中的特征有關(guān)的數(shù)據(jù)的情況下，上述校準(zhǔn)數(shù)據(jù)校正部依據(jù)該數(shù)據(jù)表示的位置關(guān)系的信息來進(jìn)行校準(zhǔn)數(shù)據(jù)校正。
117.如權(quán)利要求97至106中任一項(xiàng)所述的校準(zhǔn)偏差校正裝置，其特征在于，以作為上述攝影裝置的、包含得到產(chǎn)生由多個(gè)視點(diǎn)造成的視差的多個(gè)像的光學(xué)系統(tǒng)和單一攝像機(jī)部而成的立體適配器方式的攝影裝置為對(duì)象，進(jìn)行校準(zhǔn)偏差校正。
118.如權(quán)利要求97至106中任一項(xiàng)所述的校準(zhǔn)偏差校正裝置，其特征在于，以作為上述攝影裝置的、包含多個(gè)攝像機(jī)而構(gòu)成的攝像系統(tǒng)為對(duì)象，進(jìn)行校準(zhǔn)偏差校正。
119.如權(quán)利要求97至106中任一項(xiàng)所述的校準(zhǔn)偏差校正裝置，其特征在于，校正與車載型的上述攝像裝置有關(guān)的校準(zhǔn)偏差。
120.如權(quán)利要求108所述的校準(zhǔn)偏差校正裝置，其特征在于，上述狀況判斷部根據(jù)外部傳感器的輸出來進(jìn)行狀況判斷。
121.如權(quán)利要求99至102中任一項(xiàng)所述的校準(zhǔn)偏差校正裝置，其特征在于，應(yīng)用裝備了上述攝影裝置的車輛的特定形狀部作為該外部裝置。
122.如權(quán)利要求99至102中任一項(xiàng)所述的校準(zhǔn)偏差校正裝置，其特征在于，應(yīng)用在車輛上裝備的上述攝影裝置拍攝的車外的已知形狀物作為該外部裝置。
123.如權(quán)利要求107所述的校準(zhǔn)偏差校正裝置，其特征在于，上述校正結(jié)果呈現(xiàn)部可作為顯示正在校正校準(zhǔn)偏差的指示器來工作。
124.如權(quán)利要求107所述的校準(zhǔn)偏差校正裝置，其特征在于，上述校正結(jié)果呈現(xiàn)部可顯示通過校準(zhǔn)偏差校正而得到的參數(shù)、和預(yù)先存儲(chǔ)的校準(zhǔn)參數(shù)之間的差異。
125.如權(quán)利要求107所述的校準(zhǔn)偏差校正裝置，其特征在于，上述校正結(jié)果呈現(xiàn)部可顯示表示與校準(zhǔn)偏差校正有關(guān)的可靠性的狀態(tài)。
126.如權(quán)利要求107所述的校準(zhǔn)偏差校正裝置，其特征在于，在校準(zhǔn)偏差校正處理有差錯(cuò)的情況下，上述校正結(jié)果呈現(xiàn)部能夠呈現(xiàn)基于該差錯(cuò)的差錯(cuò)碼。
127.一種立體攝像機(jī)系統(tǒng)，包含攝像部，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差校正部，校正上述攝像部的校準(zhǔn)偏差；運(yùn)算部，考慮上述校準(zhǔn)偏差校正部的校正輸出數(shù)據(jù)，并依據(jù)上述攝像部得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；以及顯示部，用于進(jìn)行與上述校準(zhǔn)偏差校正部、運(yùn)算部以及上述攝像部的輸出相關(guān)聯(lián)的所需的顯示；其特征在于，上述校準(zhǔn)偏差校正部包含校準(zhǔn)數(shù)據(jù)保持部，保持與上述攝像部有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取部，從上述攝像部得到的作為影像信號(hào)輸出的立體圖像中提取特征；以及校準(zhǔn)數(shù)據(jù)校正部，根據(jù)表示上述特征提取部提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；上述顯示部能夠?qū)⑸鲜鲂?zhǔn)偏差校正部的校正結(jié)果顯示在自己的顯示面上。
128.一種立體攝像機(jī)系統(tǒng)，包含攝像部，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差校正部，校正上述攝像部的校準(zhǔn)偏差；運(yùn)算部，考慮上述校準(zhǔn)偏差校正部的校正輸出數(shù)據(jù)，并依據(jù)上述攝像部得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；以及顯示部，用于進(jìn)行與上述校準(zhǔn)偏差校正部、運(yùn)算部以及上述攝像部的輸出相關(guān)聯(lián)的所需的顯示；其特征在于，上述校準(zhǔn)偏差校正部包含校準(zhǔn)數(shù)據(jù)保持部，保持與上述攝像部有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理部，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝像部得到的作為影像信號(hào)輸出的立體圖像實(shí)施調(diào)整處理；特征提取部，從上述調(diào)整處理部調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)數(shù)據(jù)校正部，根據(jù)表示上述特征提取部提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；上述顯示部能夠?qū)⑸鲜鲂?zhǔn)偏差校正部的校正結(jié)果顯示在自己的顯示面上。
129.一種立體攝像機(jī)系統(tǒng)，包含攝像部，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差校正部，校正上述攝像部和規(guī)定預(yù)定基準(zhǔn)位置的外部裝置之間的校準(zhǔn)偏差；運(yùn)算部，考慮上述校準(zhǔn)偏差校正部的校正輸出數(shù)據(jù)，并依據(jù)上述攝像部得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；以及顯示部，用于進(jìn)行與上述校準(zhǔn)偏差校正部、運(yùn)算部以及上述攝像部的輸出相關(guān)聯(lián)的所需的顯示；其特征在于，上述校準(zhǔn)偏差校正部包含校準(zhǔn)數(shù)據(jù)保持部，保持同上述用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置和上述攝像部之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取部，從上述攝像部得到的作為影像信號(hào)輸出的立體圖像中提取特征；以及校準(zhǔn)數(shù)據(jù)校正部，根據(jù)表示上述特征提取部提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；上述顯示部能夠?qū)⑸鲜鲂?zhǔn)偏差校正部的校正結(jié)果顯示在自己的顯示面上。
130.一種立體攝像機(jī)系統(tǒng)，包含攝像部，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差校正部，校正上述攝像部和規(guī)定預(yù)定基準(zhǔn)位置的外部裝置之間的校準(zhǔn)偏差；運(yùn)算部，考慮上述校準(zhǔn)偏差校正部的校正輸出數(shù)據(jù)，并依據(jù)上述攝像部得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；以及顯示部，用于進(jìn)行與上述校準(zhǔn)偏差校正部、運(yùn)算部以及上述攝像部的輸出相關(guān)聯(lián)的所需的顯示；其特征在于，上述校準(zhǔn)偏差校正部包含校準(zhǔn)數(shù)據(jù)保持部，保持同用于規(guī)定上述基準(zhǔn)位置的規(guī)定的外部裝置和上述攝像部之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理部，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝像部得到的作為影像信號(hào)輸出的立體圖像實(shí)施調(diào)整處理；特征提取部，從上述調(diào)整處理部調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)數(shù)據(jù)校正部，根據(jù)表示上述特征提取部提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持部中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；上述顯示部能夠?qū)⑸鲜鲂?zhǔn)偏差校正部的校正結(jié)果顯示在自己的顯示面上。
131.如權(quán)利要求127至130中任一項(xiàng)所述的立體攝像機(jī)系統(tǒng)，其特征在于，上述顯示部能夠通過與上述校準(zhǔn)數(shù)據(jù)校正部協(xié)作，來顯示正在進(jìn)行校準(zhǔn)偏差校正的處理工作的情況。
132.如權(quán)利要求127至130中任一項(xiàng)所述的立體攝像機(jī)系統(tǒng)，其特征在于，上述顯示部能夠通過與上述校準(zhǔn)數(shù)據(jù)校正部協(xié)作，來顯示如下信息，即該信息表示作為校準(zhǔn)偏差校正的處理結(jié)果而得到的參數(shù)和上述校準(zhǔn)數(shù)據(jù)保持部中預(yù)先保持的參數(shù)之間的差異。
133.如權(quán)利要求127至130中任一項(xiàng)所述的立體攝像機(jī)系統(tǒng)，其特征在于，上述顯示部能夠通過與上述校準(zhǔn)數(shù)據(jù)校正部協(xié)作，在未能進(jìn)行正規(guī)的校準(zhǔn)偏差校正時(shí)顯示表示該情況的差錯(cuò)碼。
134.如權(quán)利要求127至130中任一項(xiàng)所述的立體攝像機(jī)系統(tǒng)，其特征在于，該特征提取部辨別與上述攝像部得到的立體圖像有關(guān)的可靠性，并且，上述校準(zhǔn)偏差校正部還包括控制部，在該特征提取部辨別出與上述攝像部得到的立體圖像有關(guān)的可靠性不夠時(shí)，該控制部進(jìn)行重復(fù)該攝像裝置的拍攝處理的控制。
135.一種校準(zhǔn)偏差校正裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取機(jī)構(gòu)，從上述攝影裝置拍攝到的立體圖像中提取特征；以及校準(zhǔn)數(shù)據(jù)校正機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
136.一種校準(zhǔn)偏差校正裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理機(jī)構(gòu)，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取機(jī)構(gòu)，從上述調(diào)整處理機(jī)構(gòu)調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)數(shù)據(jù)校正機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
137.一種校準(zhǔn)偏差校正裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置和攝影裝置之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取機(jī)構(gòu)，從上述攝影裝置拍攝到的立體圖像中提取特征；以及校準(zhǔn)數(shù)據(jù)校正機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
138.一種校準(zhǔn)偏差校正裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持對(duì)用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置和拍攝立體圖像的攝影裝置之間的校準(zhǔn)偏差進(jìn)行校正的校準(zhǔn)數(shù)據(jù)；調(diào)整處理機(jī)構(gòu)，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取機(jī)構(gòu)，從上述調(diào)整處理機(jī)構(gòu)處理的調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)數(shù)據(jù)校正機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
139.一種校準(zhǔn)偏差校正裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置和拍攝立體圖像的攝影裝置之間的校準(zhǔn)、以及該攝影裝置主體的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取機(jī)構(gòu)，從上述攝影裝置拍攝到的立體圖像中提取特征；以及校準(zhǔn)數(shù)據(jù)校正機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
140.一種校準(zhǔn)偏差校正裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持同用于規(guī)定基準(zhǔn)位置的規(guī)定的外部裝置和拍攝立體圖像的攝影裝置之間的校準(zhǔn)、以及該攝影裝置主體的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理機(jī)構(gòu)，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取機(jī)構(gòu)，從上述調(diào)整處理機(jī)構(gòu)調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)數(shù)據(jù)校正機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
141.一種校準(zhǔn)偏差校正裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)的校準(zhǔn)數(shù)據(jù)；特征提取機(jī)構(gòu)，從上述攝影裝置拍攝到的立體圖像中提取特征；校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定有無上述校準(zhǔn)偏差；校準(zhǔn)數(shù)據(jù)校正機(jī)構(gòu)，在上述校準(zhǔn)偏差判定機(jī)構(gòu)判定為有偏差的情況下，校正與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
142.一種校準(zhǔn)偏差校正裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持與拍攝立體圖像的攝影裝置的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理機(jī)構(gòu)，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取機(jī)構(gòu)，從上述調(diào)整處理機(jī)構(gòu)調(diào)整過的立體圖像中提取特征；校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定有無校準(zhǔn)偏差；校準(zhǔn)數(shù)據(jù)校正機(jī)構(gòu)，在上述校準(zhǔn)偏差判定機(jī)構(gòu)判定為有偏差的情況下，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
143.一種校準(zhǔn)偏差校正裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)的校準(zhǔn)數(shù)據(jù)；特征提取機(jī)構(gòu)，從上述攝影裝置拍攝到的立體圖像中提取特征；校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定有無校準(zhǔn)偏差并決定偏差的種類；校準(zhǔn)數(shù)據(jù)校正機(jī)構(gòu)，在上述校準(zhǔn)偏差判定機(jī)構(gòu)判定為有偏差的情況下，按照偏差的種類來校正與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
144.一種校準(zhǔn)偏差校正裝置，其特征在于，具備校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持與拍攝立體圖像的攝影裝置有關(guān)的校準(zhǔn)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理機(jī)構(gòu)，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝影裝置拍攝到的立體圖像實(shí)施調(diào)整處理；特征提取機(jī)構(gòu)，從上述調(diào)整處理機(jī)構(gòu)調(diào)整過的立體圖像中提取特征；校準(zhǔn)偏差判定機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來判定有無校準(zhǔn)偏差并決定偏差的種類；校準(zhǔn)數(shù)據(jù)校正機(jī)構(gòu)，在上述校準(zhǔn)偏差判定機(jī)構(gòu)判定為有偏差的情況下，按照偏差的種類來校正與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差。
145.一種立體攝像機(jī)系統(tǒng)，包含攝像機(jī)構(gòu)，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差校正機(jī)構(gòu)，校正上述攝像機(jī)構(gòu)的校準(zhǔn)偏差；運(yùn)算機(jī)構(gòu)，考慮上述校準(zhǔn)偏差校正機(jī)構(gòu)的校正輸出數(shù)據(jù)，并依據(jù)上述攝像機(jī)構(gòu)得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；以及顯示機(jī)構(gòu)，用于進(jìn)行與上述校準(zhǔn)偏差校正機(jī)構(gòu)、運(yùn)算機(jī)構(gòu)以及上述攝像機(jī)構(gòu)的輸出相關(guān)聯(lián)的所需的顯示；其特征在于，上述校準(zhǔn)偏差校正機(jī)構(gòu)包含校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持與上述攝像機(jī)構(gòu)有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取機(jī)構(gòu)，從上述攝像機(jī)構(gòu)得到的作為影像信號(hào)輸出的立體圖像中提取特征；以及校準(zhǔn)數(shù)據(jù)校正機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；上述顯示機(jī)構(gòu)能夠?qū)⑸鲜鲂?zhǔn)偏差校正機(jī)構(gòu)的校正結(jié)果顯示在自己的顯示面上。
146.一種立體攝像機(jī)系統(tǒng)，包含攝像機(jī)構(gòu)，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差校正機(jī)構(gòu)，校正上述攝像機(jī)構(gòu)的校準(zhǔn)偏差；運(yùn)算機(jī)構(gòu)，考慮上述校準(zhǔn)偏差校正機(jī)構(gòu)的校正輸出數(shù)據(jù)，并依據(jù)上述攝像機(jī)構(gòu)得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；以及顯示機(jī)構(gòu)，用于進(jìn)行與上述校準(zhǔn)偏差校正機(jī)構(gòu)、運(yùn)算機(jī)構(gòu)以及上述攝像機(jī)構(gòu)的輸出相關(guān)聯(lián)的所需的顯示；其特征在于，上述校準(zhǔn)偏差校正機(jī)構(gòu)包含校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持與上述攝像機(jī)構(gòu)有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理機(jī)構(gòu)，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝像機(jī)構(gòu)得到的作為影像信號(hào)輸出的立體圖像實(shí)施調(diào)整處理；特征提取機(jī)構(gòu)，從上述調(diào)整處理機(jī)構(gòu)調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)數(shù)據(jù)校正機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；上述顯示機(jī)構(gòu)能夠?qū)⑸鲜鲂?zhǔn)偏差校正機(jī)構(gòu)的校正結(jié)果顯示在自己的顯示面上。
147.一種立體攝像機(jī)系統(tǒng)，包含攝像機(jī)構(gòu)，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差校正機(jī)構(gòu)，校正上述攝像機(jī)構(gòu)和規(guī)定預(yù)定基準(zhǔn)位置的外部裝置之間的校準(zhǔn)偏差；運(yùn)算機(jī)構(gòu)，考慮上述校準(zhǔn)偏差校正機(jī)構(gòu)的校正輸出數(shù)據(jù)，并依據(jù)上述攝像機(jī)構(gòu)得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；以及顯示機(jī)構(gòu)，用于進(jìn)行與上述校準(zhǔn)偏差校正機(jī)構(gòu)、運(yùn)算機(jī)構(gòu)以及上述攝像機(jī)構(gòu)的輸出相關(guān)聯(lián)的所需的顯示；其特征在于，上述校準(zhǔn)偏差校正機(jī)構(gòu)包含校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持同用于規(guī)定上述基準(zhǔn)位置的規(guī)定的外部裝置和上述攝像機(jī)構(gòu)之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；特征提取機(jī)構(gòu)，從上述攝像機(jī)構(gòu)得到的作為影像信號(hào)輸出的立體圖像中提取特征；以及校準(zhǔn)數(shù)據(jù)校正機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；上述顯示機(jī)構(gòu)能夠?qū)⑸鲜鲂?zhǔn)偏差校正機(jī)構(gòu)的校正結(jié)果顯示在自己的顯示面上。
148.一種立體攝像機(jī)系統(tǒng)，包含攝像機(jī)構(gòu)，用于得到表示具有由相互隔離的多個(gè)視點(diǎn)造成的視差的多個(gè)影像的影像信號(hào)輸出；校準(zhǔn)偏差校正機(jī)構(gòu)，校正上述攝像機(jī)構(gòu)和規(guī)定預(yù)定基準(zhǔn)位置的外部裝置之間的校準(zhǔn)偏差；運(yùn)算機(jī)構(gòu)，考慮上述校準(zhǔn)偏差校正機(jī)構(gòu)的校正輸出數(shù)據(jù)，并依據(jù)上述攝像機(jī)構(gòu)得到的影像信號(hào)輸出來計(jì)算被攝體的距離等數(shù)據(jù)；以及顯示機(jī)構(gòu)，用于進(jìn)行與上述校準(zhǔn)偏差校正機(jī)構(gòu)、運(yùn)算機(jī)構(gòu)以及上述攝像機(jī)構(gòu)的輸出相關(guān)聯(lián)的所需的顯示；其特征在于，上述校準(zhǔn)偏差校正機(jī)構(gòu)包含校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)，保持同用于規(guī)定上述基準(zhǔn)位置的規(guī)定的外部裝置和上述攝像機(jī)構(gòu)之間的校準(zhǔn)有關(guān)的校準(zhǔn)數(shù)據(jù)；調(diào)整處理機(jī)構(gòu)，根據(jù)上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)，對(duì)上述攝像機(jī)構(gòu)得到的作為影像信號(hào)輸出的立體圖像實(shí)施調(diào)整處理；特征提取機(jī)構(gòu)，從上述調(diào)整處理機(jī)構(gòu)調(diào)整過的立體圖像中提取特征；以及校準(zhǔn)數(shù)據(jù)校正機(jī)構(gòu)，根據(jù)表示上述特征提取機(jī)構(gòu)提取出的特征的信息，來校正與上述校準(zhǔn)數(shù)據(jù)保持機(jī)構(gòu)中保持的校準(zhǔn)數(shù)據(jù)有關(guān)的校準(zhǔn)偏差；上述顯示機(jī)構(gòu)能夠?qū)⑸鲜鲂?zhǔn)偏差校正機(jī)構(gòu)的校正結(jié)果顯示在自己的顯示面上。
全文摘要
本發(fā)明的立體攝像機(jī)支持裝置包括結(jié)合部件，將立體攝像機(jī)支持在上述車輛上；和控制裝置，控制由結(jié)合部件支持在車輛上的立體攝像機(jī)的姿態(tài)以及位置。上述控制裝置控制立體攝像機(jī)的姿態(tài)以及位置，使得立體攝像機(jī)得到的影像中的注目被攝體的輪廓中的位于最高水準(zhǔn)位置上的輪廓部分，不依賴于車輛的姿態(tài)以及位置的變化，而位于影像的幀上端以及其鄰近。
文檔編號(hào)G01C3/06GK1701213SQ20048000095
公開日2005年11月23日 申請(qǐng)日期2004年5月26日 優(yōu)先權(quán)日2003年5月29日
發(fā)明者小坂明生, 三由貴史, 巖城秀和, 荒井和彥 申請(qǐng)人:奧林巴斯株式會(huì)社