專利名稱：圖像處理裝置、方法、程序以及記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、方法、程序以及記錄介質(zhì)，特別是，涉及從由多個攝影裝置進行攝影的圖像中提取與立體物相當(dāng)?shù)男畔⒌膱D像處理裝置、能應(yīng)用于該圖像處理裝置的圖像處理方法、使計算機作為所述圖像處理裝置發(fā)揮功能用的圖像處理程序、以及記錄有所述圖像處理程序的記錄介質(zhì)。
背景技術(shù)：
近年來，伴隨著攝影裝置的小型化、高性能化、低價格化，能利用攝影裝置(由攝影裝置進行攝影的圖像)的用途正在變得廣泛，作為其中一例，將攝影裝置裝載于車輛，用于從通過攝影裝置對車輛前方的空間進行攝影而得到的圖像中檢測障礙物等立體物的有無和位置、距離等，并根據(jù)需要輸出警告等用途中的情況也正在成為現(xiàn)實。但是，因為攝影裝 置將攝影對象的三維空間作為圖像記錄在二維平面上，所以存在于攝影對象的空間的立體物的三維信息在圖像上會丟失。因此，從圖像中進行立體物的檢測等空間掌握通過如下方式來進行通過用兩臺攝影裝置對相同空間進行攝影從而獲取具有與視差相當(dāng)?shù)牟顒e的一對圖像，從一對圖像中提取視差，將提取的視差對應(yīng)到空間信息的方式進行。在從具有與視差相當(dāng)?shù)牟顒e的一對圖像中的視差的提取中，一般使用塊匹配(block matching)法。塊匹配法是搜索兩個圖像中的對應(yīng)的點的方法，具有與視差相當(dāng)?shù)牟顒e的一對圖像中的對應(yīng)點的位置的差別與視差相當(dāng)。具體地說，將一對圖像的一方作為基準(zhǔn)圖像，將另一方作為比較圖像，在基準(zhǔn)圖像中的關(guān)注像素的周圍設(shè)定例如8X4像素左右的評價區(qū)域。此外，在比較圖像內(nèi)也設(shè)定同樣的評價區(qū)域，一邊使在比較圖像中的評價區(qū)域的位置移動(光柵掃描(raster scan)), 一邊反復(fù)按每個像素運算一對評價區(qū)域的差分并利用累計差分的絕對值的評價函數(shù)(E Li -Ril )或累計差分的平方值的評價函數(shù)(E Li - Ri I2)評價一對評價區(qū)域的一致度，求出一致度成為最大(評價函數(shù)的值最小(極小))的比較圖像上的評價區(qū)域的位置。這個位置就是比較圖像上的對應(yīng)點相對于基準(zhǔn)圖像中的關(guān)注像素的位置，基準(zhǔn)圖像上的關(guān)注像素和比較圖像上的對應(yīng)點的位置的差別與視差相當(dāng)。此外，如圖16所示，與基準(zhǔn)圖像上的關(guān)注像素100所對應(yīng)的物體102的距離L從視差量D、攝影裝置104LU04R的焦距f、以及攝影裝置104L、104R的距離(基線長)b由下面的(I)式求出。
L=bXf/D…(I)。通過對基準(zhǔn)圖像的所有像素進行以上的處理，從而能檢測與被作為圖像進行攝影的各個物體的距離。另外，在圖16中，附圖標(biāo)記“106”是攝像面，附圖標(biāo)記“108”是比較圖像上的對應(yīng)點(對應(yīng)像素)。作為應(yīng)用了上述的塊匹配的技術(shù)，在日本特開2001 — 92968號公報(以下，稱為專利文獻I)公開了如下技術(shù)將一方的攝像圖像中的基準(zhǔn)像素區(qū)域內(nèi)的圖像數(shù)據(jù)和與在另一方的攝像圖像中的基準(zhǔn)像素區(qū)域的垂直位置對應(yīng)的水平線上的圖像數(shù)據(jù)存儲于線路存儲器(line memory),從線路存儲器讀取基準(zhǔn)像素區(qū)域內(nèi)的圖像數(shù)據(jù)和被設(shè)定的搜索范圍內(nèi)的圖像數(shù)據(jù)，利用立體匹配(stereo matching)(塊匹配)指定基準(zhǔn)像素區(qū)域的相關(guān)目的地，基于將基準(zhǔn)像素區(qū)域的水平位置作為基準(zhǔn)的無限遠對應(yīng)點的偏離程度，校正與基準(zhǔn)像素區(qū)域相關(guān)的搜索范圍的位置。此外，在日本特開2007-235642號公報(以下，稱為專利文獻2)公開了如下技術(shù)制作通過對用裝載于車輛的照相機進行攝像的包括路面的第一圖像(斜向俯視圖)進行射影變換從而得到的頂視圖、和對在與第一圖像不同的定時用相同照相機進行攝像的第二圖像進行射影變換從而得到的頂視圖，將兩張頂視圖基于路面上的特征形狀(例如，白線、路面和立體物的邊界線、路面的紋理、輪胎螺帽等)利用圖形匹配進行對應(yīng)，將在兩張頂視圖的重復(fù)部分中產(chǎn)生了差異的區(qū)域識別為障礙物。此外，在日本特開2000-293693號公報(以下，稱為專利文獻3)公開了如下的障礙物檢測裝置將由對道路平面進行攝影的兩臺TV照相機分別進行攝影的左圖像、右圖像進行積累，提取表示在積累的左圖像、右圖像上的多條線，基于提取的多條線求出左圖像、右圖像間的對應(yīng)點，基于求出的對應(yīng)點計算在道路平面上的任意點向左圖像、右圖像的投影 位置之間成立的關(guān)系式的參數(shù)，基于由計算的參數(shù)確定的關(guān)系式將對于道路平面具有不同高度的區(qū)域檢測為障礙物區(qū)域。

發(fā)明內(nèi)容
發(fā)明要解決的課題
上述的塊匹配需要將與評價區(qū)域的所有像素數(shù)相同次數(shù)的差分運算對一個關(guān)注像素反復(fù)進行光柵掃描的次數(shù)，當(dāng)對基準(zhǔn)圖像的所有像素進行該處理時，運算的反復(fù)次數(shù)將變成莫大的次數(shù)，運算負(fù)荷非常高。因為在專利文獻I記載的技術(shù)將進行上述的塊匹配作為前提，所以存在需要工作頻率高的高性能的運算裝置、裝置結(jié)構(gòu)復(fù)雜且成本也增多、功耗的降低也困難的問題。此外，雖然在專利文獻2記載的技術(shù)利用圖形匹配進行一對圖像的對位，但是，因為不能保證一定的特征形狀(例如白線)總是存在于圖像中作為能利用于圖形匹配的路面上的特征形狀，所以對于圖像依次搜索能利用于圖形匹配的各種特征形狀，利用檢測到的特征形狀進行圖形匹配，處理時間會根據(jù)存在于圖像中的特征形狀的種類而變動，根據(jù)其種類處理時間會大幅增大。因此，在專利文獻2記載的技術(shù)不適合像例如對進行攝影的動態(tài)圖像實時進行立體物的檢測等那樣要求高速工作的用途。此外，在專利文獻3記載的技術(shù)是，基于在向左圖像、右圖像的投影位置之間成立的關(guān)系式，求出在假定左圖像上的任意的點P U，V)存在于道路平面上的情況下的右圖像上的對應(yīng)點p’ U’，V’)，基于點P和點P’的亮度差判定點P是否對應(yīng)于障礙物的技術(shù)，對于上述的關(guān)系式，要求允許誤差不足一個像素的高精度。因此，雖然在專利文獻3記載的技術(shù)中，容易受到車輛的振動和道路的傾斜等的影響，需要頻繁地重新算出關(guān)系式的參數(shù)h，但是如在專利文獻3也記載的那樣，為了算出關(guān)系式的參數(shù)h需要解八個聯(lián)立方程式算出八個未知參數(shù)，運算負(fù)荷非常高。因此，在專利文獻3記載的技術(shù)存在高速工作和判定精度的維持難以并存的問題。本發(fā)明是考慮到上述事實而做成的，其目的是得到以簡易的結(jié)構(gòu)、處理就能實現(xiàn)用短時間從由多個攝影裝置進行攝影的圖像中提取與立體物相當(dāng)?shù)男畔⒌膱D像處理裝置、圖像處理方法以及圖像處理程序。用于解決課題的方案
本發(fā)明的第一方案涉及的圖像處理裝置包括以下單元而構(gòu)成存儲單元，對沿與豎直方向?qū)?yīng)的圖像上的第二方向的圖像上的各位置分別存儲偏移量信息，該偏移量信息表示與視差相當(dāng)?shù)钠屏浚撈屏渴怯傻谝粩z影裝置進行攝影的第一圖像和由水平方向位置與所述第一攝影裝置不同的第二攝影裝置進行攝影的第二圖像的、沿與所述水平方向?qū)?yīng)的圖像上的第一方向的偏移量；獲取單元，分別獲取由所述第一攝影裝置進行攝影的第一圖像和由所述第二攝影裝置進行攝影的第二圖像；處理單元，對圖像中的沿所述第一方向的各像素列分別進行視差校正，該視差校正是使圖像中的沿所述第一方向的像素列的沿所述第一方向的圖像上的位置，根據(jù)與所述像素列的沿所述第二方向的圖像上的位置對應(yīng)的所述偏移量信息表示的所述偏移量，在所述第一圖像和所述第二圖像中相對地移動；以及生成單元，生成差分信息，該差分信息表示經(jīng)過了利用所述處理單元的所述視差校正的所述第一圖像和所述第二圖像的差分。
·
雖然在本發(fā)明的第一方案中第一圖像由第一攝影裝置進行攝影，并且第二圖像由水平方向位置與第一攝影裝置不同的第二攝影裝置進行攝影，但是，因為第一攝影裝置和第二攝影裝置的水平方向位置不同，所以會在第一圖像和第二圖像產(chǎn)生與視差相當(dāng)?shù)牟盍鞩J。在此，在本發(fā)明的第一方案中，對沿與豎直方向?qū)?yīng)的圖像上的第二方向的圖像上的各位置，在存儲單元分別存儲偏移量信息，該偏移量信息表示與視差相當(dāng)?shù)摹⒌谝粓D像和第二圖像的沿與水平方向?qū)?yīng)的圖像上的第一方向的偏移量。此外，獲取單元分別獲取由第一攝影裝置進行攝影的第一圖像和由第二攝影裝置進行攝影的第二圖像，處理單元對圖像中的沿第一方向的各像素列分別進行視差校正，該視差校正是使圖像中的沿第一方向的像素列的沿第一方向的圖像上的位置，根據(jù)與像素列的沿第二方向的圖像上的位置對應(yīng)的偏移量信息表示的偏移量，在第一圖像和第二圖像中相對地移動。像這樣，在本發(fā)明的第一方案中，通過一邊使一方圖像上的評價區(qū)域的位置移動，一邊反復(fù)進行分別設(shè)定于一對圖像上的評價區(qū)域的一致度的運算，搜索一致度成最大的評價區(qū)域的位置，從而無需進行特別指定一對圖像上的對應(yīng)點等繁雜的處理，就能通過如下的極簡單的處理來校正與視差相當(dāng)?shù)牟顒e對圖像中的沿第一方向的各像素列分別進行視差校正，該視差校正使沿與水平方向?qū)?yīng)的圖像中的第一方向的像素列的沿第一方向的圖像上的位置，根據(jù)對沿與豎直方向?qū)?yīng)的圖像上的第二方向的圖像上的各位置分別存儲于存儲單元的偏移量信息，在所述第一圖像和所述第二圖像中相對地移動。而且，生成單元生成表示經(jīng)過了利用處理單元的視差校正的第一圖像和第二圖像的差分的差分信息。因為上述的生成單元的作為處理對象的第一圖像和第二圖像是經(jīng)過了利用處理單元的視差校正的圖像，所以，由生成單元生成的差分信息表示的差分可以視為與視差相當(dāng)?shù)牟顒e以外的第一圖像和第二圖像的差別，即，可以視為起因于分別存在于第一圖像中和第二圖像中的立體物的差分。像這樣，利用本發(fā)明涉及的處理單元和生成單元的處理全都是處理負(fù)荷低的簡單的處理的處理，不會招致處理時間的長時間化和裝置結(jié)構(gòu)的復(fù)雜化。因此，根據(jù)本發(fā)明的第一方案，以簡單的結(jié)構(gòu)、處理就能實現(xiàn)用短時間從由多個攝影裝置進行攝影的圖像中提取與立體物相當(dāng)?shù)男畔?。另外，在本發(fā)明的第一方案中，在由生成單元生成的差分信息中，由于疊加于第一圖像和第二圖像的噪聲、第一攝影裝置和第二攝影裝置的相對位置的變化、存儲于存儲單元的偏移量信息的精度等各種因素，有可能混入起因于立體物以外的差分，即混入噪聲。另一方面，在生成單元生成按每個像素表示第一圖像和第二圖像的差分的差分圖像作為差分信息的情況下，在表示生成的差分圖像中的第一圖像和第二圖像存在差分的差分像素之中，與起因于立體物的差分對應(yīng)的差分像素在差分圖像上大部分集中分布、形成某種程度的面積(=像素數(shù))的區(qū)域(以下，將這個區(qū)域稱為差分區(qū)域)?；谏鲜鰞?nèi)容，本發(fā)明的第二方案是，在本發(fā)明的第一方案中，生成單元生成按每個像素表示第一圖像和第二圖像的差分的差分圖像，作為差分信息，本發(fā)明還具備消除單元，該消除單元通過將存在于由生成單元生成的差分圖像中的、表示第一圖像和第二圖像存在差分的差分像素(這個差分像素可以是表示的差分比0大的像素，也可以是表示的差分為閾值以上的像素以下相同)作為對象進行收縮處理，從而消除差分圖像的噪聲。由此，通過收縮處理這個簡易的處理能實現(xiàn)將起因于立體物以外的差分(噪聲)從差分信息(差分圖像)中消除。

此外，本發(fā)明的第三方案是，在本發(fā)明的第一方案或第二方案中，存儲于存儲單元的偏移量信息表示的偏移量是將該偏移量用像素數(shù)表示的偏移量D，偏移量D在設(shè)距第一攝影裝置和第二攝影裝置的設(shè)置位置處的地面的攝影光軸的高度為h_cam、相對于豎直方向的攝影光軸的傾斜角度為0、光學(xué)系統(tǒng)的焦距為f、圖像的沿第一方向的像素數(shù)為W、沿第二方向的像素數(shù)為h、圖像的沿第一方向的攝像尺寸為w_img、沿第二方向的攝像尺寸為h_img、沿第二方向的圖像上的位置(像素數(shù))為P、作為第一攝影裝置和第二攝影裝置的攝影光軸的距離的基線長為b時，
D = bXf/L_camX (w/2)/(w_ing/2) ... (I)
其中，L_cam是位于地面上且沿第二方向成像于圖像上的位置(像素數(shù))P的物體和第一攝影裝置或第二攝影裝置的直線距離，L是所述物體和第一攝影裝置或第二攝影裝置的距離，
L_cam= (h_cam2+L2) X cos (tan 1 (L/h_cam) - 0 )... (2)
L = tan (tan-1 ((P- (h/2)) X (h_img/2) / (h/2) /f) + 0 ) Xh_cam…(3)
偏移量D通過進行上述(I) (3 )式的運算而預(yù)先導(dǎo)出。上述的(I) (3)式的運算是與記載于例如專利文獻3的解八個聯(lián)立方程式算出八個未知參數(shù)等的運算相比較是極為簡單的運算，即使在進行重新運算偏移量D更新存儲于存儲單元的偏移量信息的處理的情況下，也能用極短時間完成處理。 此外,本發(fā)明的第四方案是，在本發(fā)明的第一 第三方案的任一個中，偏移量信息是將在沿第一方向的圖像上的各位置處的所述偏移量用像素數(shù)表示的信息，處理單元具備使第一圖像或第二圖像的輸出以像素單位進行延遲的延遲單元，一邊根據(jù)輸出對象的像素列的沿第一方向的圖像上的位置的變化切換利用延遲單元的延遲像素數(shù)，一邊進行視差校正，該視差校正是在將第一圖像和第二圖像以像素單位并列地向生成單元輸出時，利用延遲單元使第一圖像的輸出或第二圖像的輸出相對地延遲與輸出對象的像素列的沿第一方向的圖像上的位置對應(yīng)的所述偏移量表示的像素數(shù)的量。由此，例如將第一圖像和第二圖像的數(shù)據(jù)暫且存儲于存儲器等之后，與以沿第一方向的像素列單位使存儲位置相對地移動而進行上述的視差校正等的方案相比較，能在用短時間完成視差校正。
此外，本發(fā)明的第五方案是，在本發(fā)明的第四方案中，延遲單元構(gòu)成為串聯(lián)連接有多個使第一圖像或第二圖像的輸出延遲一個像素的量的延遲部，處理單元將通過了與像素數(shù)對應(yīng)的數(shù)量的延遲部的數(shù)據(jù)選擇為作為第一圖像或第二圖像輸出的數(shù)據(jù)，其中該像素數(shù)是與輸出對象的像素列的沿第一方向的圖像上的位置對應(yīng)的所述偏移量所表示的像素數(shù)，由此使作為第一圖像或第二圖像輸出的數(shù)據(jù)延遲所述像素數(shù)的量。此外,本發(fā)明的第六方案是，在本發(fā)明的第一 第五方案的任一個中，處理單兀將沿第一方向的圖像上的位置位于下述范圍的像素列從視差校正的對象中排除，該范圍是比與預(yù)先設(shè)定的水平線相當(dāng)?shù)奈恢每控Q直方向上側(cè)所對應(yīng)的范圍。此外，本發(fā)明的第七方案是，在本發(fā)明的第一 第六方案的任一個中，還具備校正單元，該校正單元對由獲取單元獲取的第一圖像和第二圖像校正下述差異的至少一個第一攝影裝置和第二攝影裝置的沿水平方向的攝影范圍的差異、攝影倍率的差異、繞攝影光軸的旋轉(zhuǎn)角的差異、以及亮度的差異，處理單元對經(jīng)過了利用校正單元的所述校正的第一圖像和第二圖像進行視差校正。由此，作為差分信息能得到消除了起因于第一攝影裝置和 第二攝影裝置的沿水平方向的攝影范圍的差異、攝影倍率的差異、繞攝影光軸的旋轉(zhuǎn)角的差異以及亮度的差異的至少一個的差分的信息。另外，對于第一攝影裝置和第二攝影裝置的沿水平方向的攝影范圍的差異，還可以代替用校正單元校正，而以在處理單元進行視差校正時同時校正的方式構(gòu)成。此外，本發(fā)明的第八方案是，在本發(fā)明的第一 第七方案的任一個中，還具備基于由生成單元生成的差分信息檢測分別存在于第一攝影裝置和第二攝影裝置的攝影范圍內(nèi)的立體物的立體物檢測單元。如前述的那樣，因為由生成單元生成的差分信息是與立體物相當(dāng)?shù)男畔?是表示起因于立體物的差分的信息)，所以，通過使用該差分信息進行立體物的檢測，從而至少能以簡易的處理檢測在第一攝影裝置和第二攝影裝置的攝影范圍內(nèi)的立體物的有無。此外，本發(fā)明的第九方案是，在本發(fā)明的第八方案中，還具備輸出利用立體物檢測單元的立體物的檢測結(jié)果的輸出單元。利用輸出單元的檢測結(jié)果的輸出方式可以是通過將表示立體物的檢測結(jié)果的文字、圖像、圖形等顯示于顯示單元從而輸出檢測結(jié)果的方式，也可以是將立體物的檢測結(jié)果用聲音輸出的方式。此外，在生成單元生成按每個像素表示第一圖像和第二圖像的差分的差分圖像作為差分信息的情況下，如前述的那樣，表示起因于立體物的差分的差分像素在差分圖像上集中分布，形成某種程度的面積(=像素數(shù))的差分區(qū)域。因此，本發(fā)明的第十方案是，在本發(fā)明的第八或第九方案中，生成單元生成按每個像素表示第一圖像和第二圖像的差分的差分圖像作為差分信息，立體物檢測單元基于存在于由生成單元生成的所述差分圖像中的、表示第一圖像和第二圖像存在差分的差分像素在差分圖像上的分布，從差分圖像中提取與立體物相當(dāng)?shù)膱D像區(qū)域，由此，檢測與立體物相當(dāng)?shù)膱D像區(qū)域在圖像上的位置。由此，能通過簡易的處理實現(xiàn)立體物的位置(更加詳細地說是與立體物相當(dāng)?shù)膱D像區(qū)域在圖像上的位置)的檢測。此外，雖然在生成單元生成按每個像素表示第一圖像和第二圖像的差分的差分圖像作為差分信息的情況下，如前述的那樣，表示起因于立體物的差分的差分像素在差分圖像上集中分布，形成某種程度的面積(=像素數(shù))的差分區(qū)域，但是該差分區(qū)域成為沿立體物的邊緣的線狀的區(qū)域的情況較多，此外，這個線狀的差分區(qū)域的寬度會根據(jù)攝影裝置和立體物的距離而變化，隨著攝影裝置和立體物的距離變大，線狀的差分區(qū)域的寬度變窄。因此，本發(fā)明的第十一方案是，在本發(fā)明的第八或第九方案中，生成單元生成按每個像素表示第一圖像和第二圖像的差分的差分圖像作為差分信息，立體物檢測單元從由生成單元生成的差分圖像中提取與立體物相當(dāng)?shù)膱D像區(qū)域，基于由存在于提取的各個圖像區(qū)域內(nèi)的、表示第一圖像和第二圖像存在差分的差分像素構(gòu)成的線狀的差分區(qū)域的寬度，檢測與對應(yīng)于各個圖像區(qū)域的立體物的距離。由此，能通過簡易的處理實現(xiàn)與對應(yīng)于各個圖像區(qū)域的立體物的距離的檢測。此外，本發(fā)明的第十二方案是，在本發(fā)明的第八、第九以及第i^一方案的任一個中，生成單元生成按每個像素表示第一圖像和第二圖像的差分的差分圖像作為差分信息，立體物檢測單元從由生成單元生成的差分圖像中提取與立體物相當(dāng)?shù)膱D像區(qū)域，一邊按各個圖像區(qū)域的每一個判定由存在于提取的各個圖像區(qū)域內(nèi)的差分像素構(gòu)成的線狀的差分區(qū)域是否已消失，一邊反復(fù)將存在于差分圖像中的、表示第一圖像和第二圖像存在差分的差分像素作為對象進行收縮處理，基于在線狀的差分區(qū)域從各個圖像區(qū)域中消失的時間點 的收縮處理的執(zhí)行次數(shù)，檢測與對應(yīng)于各個圖像區(qū)域的立體物的距離。此外，本發(fā)明的第十三方案是，在本發(fā)明的第九方案中，生成單元生成按每個像素表示第一圖像和第二圖像的差分的差分圖像作為差分信息，立體物檢測單元將存在于差分圖像中的表示第一圖像和第二圖像存在差分的差分像素作為對象進行多次收縮處理，并且判定由差分像素組成的線狀的差分區(qū)域是否已從所述差分圖像中消失，輸出單元根據(jù)在線狀的差分區(qū)域從差分圖像中消失的時間點的收縮處理的執(zhí)行次數(shù)是否未達到閾值、或在執(zhí)行了規(guī)定次數(shù)的收縮處理的時間點線狀的差分區(qū)域是否已從差分圖像中消失，切換是否輸出立體物檢測信號或切換輸出的立體物檢測信號的種類。本發(fā)明的第十三方案適合于取代像本發(fā)明的第十一或第十二方案那樣檢測與作為圖像進行攝影的各個立體物的距離，而是檢測與在作為圖像進行攝影的各個立體物之中存在于最近處的立體物的距離范圍(大概的距離)的情況，能以簡易的處理檢測與在作為圖像進行攝影的各個立體物之中存在于最近處的立體物的距離范圍(大概的距離)，能通過立體物檢測信號的輸出的有無或輸出的立體物檢測信號的種類進行告知。此外，由生成單元生成的差分信息，其起因于立體物以外的差分(噪聲)的混入量會根據(jù)第一攝影裝置和第二攝影裝置的相對位置的變化或本發(fā)明的第七方案中的利用校正單元的校正處理的精度的變化而變化?？紤]到此，本發(fā)明的第十四方案是，在本發(fā)明的第一 第十三方案的任一個中，生成單元生成按每個像素表示第一圖像和第二圖像的差分的差分圖像作為差分信息，本發(fā)明還具備像素數(shù)計數(shù)單元，該像素數(shù)計數(shù)單元對存在于由生成單元生成的差分圖像中的表示第一圖像和第二圖像存在差分的差分像素的數(shù)量進行計數(shù)，輸出計數(shù)結(jié)果。由此，通過在進行第一攝影裝置和第二攝影裝置的相對位置的調(diào)整、進行利用校正單元的校正處理的參數(shù)的調(diào)整時，每次調(diào)整都確認(rèn)差分像素的數(shù)量的計數(shù)結(jié)果，并調(diào)整為使得差分像素的數(shù)量為極小，從而能容易地實現(xiàn)調(diào)整為使第一攝影裝置和第二攝影裝置的相對位置、利用校正單元的校正處理的參數(shù)成為最佳。此外，本發(fā)明的第十五方案是，在本發(fā)明的第十四方案中，像素數(shù)計數(shù)單元對差分圖像之中存在于經(jīng)由指定單元指定的區(qū)域內(nèi)的差分像素的數(shù)量進行計數(shù)。由此，能將差分圖像之中的任意的區(qū)域作為評價對象進行第一攝影裝置和第二攝影裝置的相對位置的調(diào)整、利用校正單元的校正處理的參數(shù)的調(diào)整?？墒?，在生成單元作為差分信息進行了差分圖像的生成的情況下，起因于立體物的差分成分會在差分圖像上作為與立體物的輪廓相當(dāng)?shù)木€出現(xiàn)。但是，當(dāng)由于例如對攝影時的被拍攝體的照明的照度比較低等原因，在由第一攝影裝置進行攝影的第一圖像和由第二攝影圖像進行攝影的第二圖像中，圖像中的立體物和背景區(qū)域的亮度差變小時，在生成單元對在利用處理單元的視差校正中幾何視差已被校正的第一圖像和第二圖像進行了差分圖像的生成的情況下，存在如與起因于立體物的差分成分相當(dāng)?shù)木€的一部分埋沒在噪聲中而在差分圖像上中斷等那樣，起因于立體物的差分成分無法清楚地出現(xiàn)在差分圖像上的問題?？紤]到上述情況，本發(fā)明的第十六方案是，在本發(fā)明的第一 第十五方案的任一個中，生成單元生成按每個像素表示經(jīng)過了利用處理單元的視差校正的第一圖像和第二圖像的差分的差分圖像，由生成單元生成的差分圖像被構(gòu)成為表示在下述狀態(tài)下的第一圖像和第二圖像的差分的差分圖像，其中該狀態(tài)是通過利用處理單元的視差校正對幾何視差進·行了校正，而且沿第一方向相對地被移位了預(yù)先設(shè)定的移位量的狀態(tài)。在本發(fā)明的第十六方案中，因為由生成單元生成的差分圖像被構(gòu)成為表示在下述狀態(tài)下的第一圖像和第二圖像的差分的差分圖像，其中該狀態(tài)是幾何視差被進行校正，而且沿第一方向相對地被移位了預(yù)先設(shè)定的移位量的狀態(tài)，所以由生成單元生成的差分圖像會在第一圖像和第二圖像沒有被移位的狀態(tài)下沒有被檢測出差分的地方也檢測出差分，由此，成為包括起因于立體物的差分成分的第一圖像和第二圖像的差分與第一圖像和第二圖像沒有被移位的狀態(tài)相比在第一方向上被強調(diào)了的圖像。由此，因為與起因于立體物的差分成分相當(dāng)?shù)木€的一部分埋沒在噪聲中、在所述線的一部分產(chǎn)生中斷等情況被抑制，所以，能提高與立體物相當(dāng)?shù)男畔⒌奶崛【?。另外，由生成單元生成的差分圖像被構(gòu)成為表示在下述狀態(tài)下的第一圖像和第二圖像的差分的差分圖像，其中該狀態(tài)是通過利用處理單元的視差校正對幾何視差進行了校正，而且沿第一方向相對地被移位了預(yù)先設(shè)定的移位量的狀態(tài)的情況，能通過例如在以下說明的第十七 第十九方案的任一個實現(xiàn)。即，本發(fā)明的第十七方案是，在本發(fā)明的第十六方案中，使存儲于存儲單元的偏移量信息表示的偏移量為與所述幾何視差相當(dāng)?shù)钠屏?，處理單元在對第一圖像和第二圖像進行視差校正之前或在進行了視差校正之后，使第一圖像和第二圖像沿第一方向相對地移位預(yù)先設(shè)定的移位量。根據(jù)上述結(jié)構(gòu)，能生成表示在下述狀態(tài)下的第一圖像和第二圖像的差分的差分圖像，其中該狀態(tài)是通過利用處理單元的視差校正對幾何視差進行了校正，而且沿第一方向相對地被移位了預(yù)先設(shè)定的移位量的狀態(tài)。本發(fā)明的第十七方案因為能通過對圖像數(shù)據(jù)的處理實現(xiàn)使第一圖像和第二圖像沿第一方向相對地移位，所以，具有能容易地實現(xiàn)根據(jù)用途等變更設(shè)定移位量的優(yōu)點。此外，本發(fā)明的第十八方案是，在本發(fā)明的第十六方案中，使存儲于存儲單元的偏移量信息表示的偏移量為在與幾何視差相當(dāng)?shù)钠屏可霞由吓c預(yù)先設(shè)定的移位量相當(dāng)?shù)钠屏恐蟮钠屏浚蛘?，使存儲于存儲單元的偏移量信息表示的偏移量為與幾何視差相當(dāng)?shù)钠屏?，在用于利用處理單元的視差校正之前加上與移位量相當(dāng)?shù)钠屏俊８鶕?jù)上述結(jié)構(gòu)，也可生成表示在下述狀態(tài)下的第一圖像和第二圖像的差分的差分圖像，其中該狀態(tài)是通過利用處理單元的視差校正對幾何視差進行了校正，而且沿第一方向相對地被移位了預(yù)先設(shè)定的移位量的狀態(tài)。本發(fā)明的第十八方案因為在用于利用處理單元的視差校正的偏移量信息中包括第一圖像和第二圖像的移位量，所以，具有還可在利用處理單元的視差校正中同時進行第一圖像和第二圖像的移位，無需變更生成單元的結(jié)構(gòu)的優(yōu)點。此外，本發(fā)明的第十九方案是，在本發(fā)明的第十六方案中，使存儲于存儲單元的偏移量信息表示的偏移量為與幾何視差相當(dāng)?shù)钠屏?，第一攝影裝置和第二攝影裝置被設(shè)成如下方向，該方向使得第一攝影裝置的攝影光軸和第二攝影裝置的攝影光軸的間隔隨著從第一攝影裝置和第二攝影裝置遠離而變大，所述方向被調(diào)整為使得第一圖像和第二圖像成為被沿第一方向相對地移位了預(yù)先設(shè)定的移位量的狀態(tài)。根據(jù)上述結(jié)構(gòu)，也可生成表示在下述狀態(tài)下的第一圖像和第二圖像的差分的差分圖像，其中該狀態(tài)是通過利用處理單元的視差校正對幾何視差進行了校正，而且沿第一方向相對地被移位了預(yù)先設(shè)定的移位量的狀態(tài)?！け景l(fā)明的第十九方案因為通過調(diào)整第一攝影裝置和第二攝影裝置的方向從而實現(xiàn)使第一圖像和第二圖像沿第一方向相對地移位，所以，雖然根據(jù)用途等變更設(shè)定移位量是困難的，但與本發(fā)明的第十八方案相同地具有無需變更生成單元的結(jié)構(gòu)的優(yōu)點。此外，本發(fā)明的第二十方案是，在本發(fā)明的第十六 第十九方案的任一個中，還具備收縮處理單元，該收縮處理單元將存在于由所述生成單元生成的所述差分圖像中的、表示所述第一圖像和所述第二圖像存在差分的差分像素作為對象，執(zhí)行第一次數(shù)的沿所述第二方向的收縮處理，并且執(zhí)行比所述第一次數(shù)多的第二次數(shù)的沿所述第一方向的收縮處理。像上述的那樣，在由生成單元生成的差分圖像被構(gòu)成為表示通在下述狀態(tài)下的第一圖像和第二圖像的差分的差分圖像，其中該狀態(tài)是通過利用處理單元的視差校正對幾何視差進行了校正，而且沿第一方向相對地被移位了預(yù)先設(shè)定的移位量的狀態(tài)的情況下，差分圖像成為包括起因于立體物的差分成分的第一圖像和第二圖像的差分與第一圖像和第二圖像沒有被移位的狀態(tài)相比在第一方向上被強調(diào)了的圖像。對此，本發(fā)明的第二十方案因為使沿第一方向的收縮處理的執(zhí)行次數(shù)比沿第二方向的收縮處理的執(zhí)行次數(shù)多，所以，能抑制由于對第一圖像和第二圖像的差分未強調(diào)的第二方向過度地執(zhí)行收縮處理從而招致立體物的檢測精度降低等情況。另外，利用收縮處理單元的收縮處理與本發(fā)明的第二、第十二、第十三方案相同地能應(yīng)用于噪聲消除、與立體物的距離檢測。另外，本發(fā)明的第二十一方案是，在本發(fā)明的第十六 第十九方案的任一個中，移位量被設(shè)定為與幾何視差相當(dāng)?shù)钠屏康淖畲笾档?/2以下的大小。本發(fā)明的第二十二方案是，在本發(fā)明的第一方案中，所述第一攝影裝置和所述第二攝影裝置被設(shè)成如下方向，該方向使得所述第一攝影裝置的攝影光軸和所述第二攝影裝置的攝影光軸的間隔隨著從所述第一攝影裝置和所述第二攝影裝置遠離而變大。由此，與本發(fā)明的第十九方案相同地，無需變更生成單元的結(jié)構(gòu)就能實現(xiàn)提高與立體物相當(dāng)?shù)男畔⒌奶崛【?。本發(fā)明的第二十三方案涉及的圖像處理方法，因為存儲單元對沿與豎直方向?qū)?yīng)的圖像上的第二方向的圖像上的各位置分別存儲偏移量信息，該偏移量信息表示與視差相當(dāng)?shù)钠屏?，該偏移量是由第一攝影裝置進行攝影的第一圖像和由水平方向位置與所述第一攝影裝置不同的第二攝影裝置進行攝影的第二圖像的、沿與所述水平方向?qū)?yīng)的圖像上的第一方向的偏移量；獲取單元分別獲取由所述第一攝影裝置進行攝影的第一圖像和由所述第二攝影裝置進行攝影的第二圖像；處理單元對圖像中的沿所述第一方向的各像素列分別進行視差校正，該視差校正是使圖像中的沿所述第一方向的像素列的沿所述第一方向的圖像上的位置，根據(jù)與所述像素列的沿所述第二方向的圖像上的位置對應(yīng)的所述偏移量信息表示的所述偏移量，在所述第一圖像和所述第二圖像中相對地移動；生成單元生成表示經(jīng)過了利用所述處理單元的所述視差校正的所述第一圖像和所述第二圖像的差分的差分信息，所以，與本發(fā)明的第一方案相同地，能以簡易的結(jié)構(gòu)、處理實現(xiàn)用短時間從由多個攝影裝置進行攝影的圖像中提取與立體物相當(dāng)?shù)男畔ⅰ１景l(fā)明的第二十四方案涉及的圖像處理程序，用于使與存儲單元連接的計算機作 為獲取單元、處理單元以及生成單元發(fā)揮功能，所述存儲單元對沿與豎直方向?qū)?yīng)的圖像上的第二方向的圖像上的各位置分別存儲偏移量信息，該偏移量信息表示與視差相當(dāng)?shù)钠屏?，該偏移量是由第一攝影裝置進行攝影的第一圖像和由水平方向位置與所述第一攝影裝置不同的第二攝影裝置進行攝影的第二圖像的、沿與所述水平方向?qū)?yīng)的圖像上的第一方向的偏移量，所述獲取單元分別獲取由所述第一攝影裝置進行攝影的第一圖像和由所述第二攝影裝置進行攝影的第二圖像，所述處理單元對圖像中的沿所述第一方向的各像素列分別進行視差校正，該視差校正是使圖像中的沿所述第一方向的像素列的沿所述第一方向的圖像上的位置，根據(jù)與所述像素列的沿所述第二方向的圖像上的位置對應(yīng)的所述偏移量信息表示的所述偏移量，在所述第一圖像和所述第二圖像中相對地移動，所述生成單元生成表示經(jīng)過了利用所述處理單元的所述視差校正的所述第一圖像和所述第二圖像的差分的差分信息。因為本發(fā)明的第二十四方案涉及的圖像處理程序是用于使與上述的存儲單元連接的計算機作為上述的獲取單元、處理單元以及生成單元發(fā)揮功能的程序，所以，通過上述計算機執(zhí)行本發(fā)明的第二十四方案涉及的圖像處理程序，從而上述計算機作為本發(fā)明的第一方案涉及的圖像處理裝置發(fā)揮功能，與本發(fā)明的第一方案相同地，能以簡易的結(jié)構(gòu)、處理實現(xiàn)用短時間從由多個攝影裝置進行攝影的圖像中提取與立體物相當(dāng)?shù)男畔?。本發(fā)明的第二十五方案涉及的記錄介質(zhì)，記錄有用于使與存儲單元連接的計算機能作為獲取單元、處理單元以及生成單元發(fā)揮功能的圖像處理程序，所述存儲單元對沿與豎直方向?qū)?yīng)的圖像上的第二方向的圖像上的各位置分別存儲偏移量信息，該偏移量信息表示與視差相當(dāng)?shù)钠屏?，該偏移量是由第一攝影裝置進行攝影的第一圖像和由水平方向位置與所述第一攝影裝置不同的第二攝影裝置進行攝影的第二圖像的、沿與所述水平方向?qū)?yīng)的圖像上的第一方向的偏移量，所述獲取單元分別獲取由所述第一攝影裝置進行攝影的第一圖像和由所述第二攝影裝置進行攝影的第二圖像，所述處理單元對圖像中的沿所述第一方向的各像素列分別進行視差校正，該視差校正是使圖像中的沿所述第一方向的像素列的沿所述第一方向的圖像上的位置，根據(jù)與所述像素列的沿所述第二方向的圖像上的位置對應(yīng)的所述偏移量信息表示的所述偏移量，在所述第一圖像和所述第二圖像中相對地移動，所述生成單元生成表示經(jīng)過了利用所述處理單元的所述視差校正的所述第一圖像和所述第二圖像的差分的差分信息。因為存儲于本發(fā)明的第二十五方案涉及的記錄介質(zhì)的圖像處理程序是用于使與上述的存儲單元連接的計算機作為上述的獲取單元、處理單元以及生成單元發(fā)揮功能的程序，所以，通過上述計算機從本發(fā)明的第二十五方案涉及的記錄介質(zhì)讀出圖像處理程序并執(zhí)行，從而上述計算機作為本發(fā)明的第一方案涉及的圖像處理裝置發(fā)揮功能，與本發(fā)明的第一方案相同地，能以簡易的結(jié)構(gòu)、處理實現(xiàn)用短時間從由多個攝影裝置進行攝影的圖像中提取與立體物相當(dāng)?shù)男畔?。發(fā)明效果
如以上說明的那樣，本發(fā)明對沿與豎直方向?qū)?yīng)的圖像上的第二方向的圖像上的各位置分別存儲偏移量信息，該偏移量信息表示與視差相當(dāng)?shù)钠屏?，該偏移量是由第一攝影裝置進行攝影的第一圖像和由水平方向位置與第一攝影裝置不同的第二攝影裝置進行攝影的第二圖像的、沿與水平方向?qū)?yīng)的圖像上的第一方向的偏移量；分別獲取第一圖像和第二圖像；對圖像中的沿第一方向的各像素列分別進行視差校正，該視差校正是使圖像中·的沿所述第一方向的像素列的沿所述第一方向的圖像上的位置，根據(jù)與所述像素列的沿第二方向的圖像上的位置對應(yīng)的偏移量信息表示的偏移量，在第一圖像和第二圖像中相對地移動；生成表示經(jīng)過了視差校正的第一圖像和第二圖像的差分的差分信息，因為本發(fā)明以上述方式做成，所以具有能以簡易的結(jié)構(gòu)、處理實現(xiàn)用短時間從由多個攝影裝置進行攝影的圖像中提取與立體物相當(dāng)?shù)男畔⒌膬?yōu)秀的效果。


圖I是示出立體物檢測裝置的概略結(jié)構(gòu)的框圖。圖2是在第一實施方式中說明的差分圖像生成部的概略結(jié)構(gòu)圖。圖3A是示出用單目攝影裝置進行攝影的圖像的一例的圖像圖。圖3B是示出用左側(cè)的攝影裝置進行攝影的圖像的一例的圖像圖。圖3C是示出用右側(cè)的攝影裝置進行攝影的圖像的一例的圖像圖。圖3D是示出對右側(cè)的圖像的視差校正的一例的圖像圖。圖3E是示出對右側(cè)的圖像的視差校正結(jié)果的一例的圖像圖。圖3F是示出左側(cè)的圖像和視差校正后的右側(cè)的圖像的差分圖像的一例的圖像圖。圖4A是為了說明算出視差量信息用的運算式而示出攝影裝置和攝影對象的幾何學(xué)的位置關(guān)系的說明圖。圖4B是為了說明算出視差量信息用的運算式而示出由攝影裝置進行攝影的圖像的一例的圖像圖。圖4C是示出圖像上的Y坐標(biāo)值和視差量的關(guān)系的一例的線型圖。圖5A是示出攝影圖像(左側(cè)圖像)的一例的圖像圖。圖5B是示出攝影圖像(右側(cè)圖像)的一例的圖像圖。圖5C是示出差分圖像的一例的圖像圖。圖6A是示出差分圖像的一例的圖像圖。圖6B是示出對差分圖像的噪聲消除結(jié)果的一例的圖像圖。
圖7A是示出距離檢測用反復(fù)收縮處理執(zhí)行前的狀態(tài)的一例的圖像圖。圖7B是示出反復(fù)收縮處理次數(shù)=nl的狀態(tài)的一例的圖像圖。圖7C是示出反復(fù)收縮處理次數(shù)=n2 Onl)的狀態(tài)的一例的圖像圖。圖7D是示出反復(fù)收縮處理次數(shù)=n3 On2)的狀態(tài)的一例的圖像圖。圖8A是說明使用了差分圖像的校準(zhǔn)作業(yè)的評價用的圖像圖。圖SB是說明使用了差分圖像的校準(zhǔn)作業(yè)的評價用的圖像圖。圖SC是說明使用了差分圖像的校準(zhǔn)作業(yè)的評價用的圖像圖。 圖8D是說明使用了差分圖像的校準(zhǔn)作業(yè)的評價用的圖像圖。圖9A是示出攝影圖像的一例的圖像圖。圖9B是示出攝影圖像的一例的圖像圖。圖9C是示出攝影圖像的一例的圖像圖。圖9D是示出與圖9A的攝影圖像對應(yīng)的差分圖像的一例的圖像圖。圖9E是示出與圖9B的攝影圖像對應(yīng)的差分圖像的一例的圖像圖。圖9F是示出與圖9C的攝影圖像對應(yīng)的差分圖像的一例的圖像圖。圖10是示出在第二實施方式中說明的差分圖像生成部的一例的概略結(jié)構(gòu)圖。圖IlA是示出用單目攝影裝置進行攝影的圖像的一例的圖像圖。圖IlB是示出用左側(cè)的攝影裝置進行攝影的圖像的一例的圖像圖。圖IlC是示出用右側(cè)的攝影裝置進行攝影的圖像的一例的圖像圖。圖IlD是示出對右側(cè)圖像的移位的一例的圖像圖。圖IlE是示出對移位后的右側(cè)圖像的視差校正的一例的圖像圖。圖IlF是示出對移位后的右側(cè)圖像的視差校正結(jié)果的一例的圖像圖。圖IlG示出左側(cè)圖像和移位以及視差校正后的右側(cè)圖像的差分圖像的一例的圖像圖。圖12A是示出在不進行圖像移位就進行了反復(fù)收縮處理的情況下的處理結(jié)果的推移的一例的圖像圖。圖12B是示出在圖像移位后進行了反復(fù)收縮處理的情況下的處理結(jié)果的推移的一例的圖像圖。圖13是示出在第二實施方式中說明的差分圖像生成部的其它例子的概略結(jié)構(gòu)圖。圖14是示出在視差校正中同時還進行圖像移位的方案中的視差量信息的內(nèi)容的一例的線型圖。圖15是示出在通過攝影裝置的方向調(diào)整實現(xiàn)圖像移位的方案中的視差量信息的內(nèi)容的一例的線型圖。圖16是說明基于視差運算與物體的距離用的概略圖。
具體實施例方式以下，參照附圖詳細地說明本發(fā)明的實施方式的一例。[第一實施方式]
在圖I示出了本實施方式涉及的攝影裝置10LU0R和連接于攝影裝置10LU0R并檢測由攝影裝置IOLUOR進行攝影的圖像中的立體物的立體物檢測裝置12。攝影裝置10LU0R是能攝影動態(tài)圖像且光學(xué)特性一致的攝影裝置，在能對立體物檢測裝置12的檢測對象的立體物進行攝影的地方以能對該立體物進行攝影的方向進行設(shè)置。另外，攝影裝置10LU0R的具體的設(shè)置地方根據(jù)立體物檢測裝置12的用途而決定，例如，在立體物檢測裝置12用于存在于車輛前方的空間的立體物(障礙物)的檢測的情況下，攝影裝置10LU0R在車輛之中能對該車輛前方的空間進行攝像的地方以能對車輛前方的空間進行攝像的方向進行設(shè)置。此外，對于攝影裝置10L、10R，在設(shè)置于規(guī)定地方后，以使距地面的高度(攝影光軸離設(shè)置位置處的地面的高度h_cam)相等(連結(jié)攝影裝置10LU0R的直線與地面平行)且使各個攝影光軸隔著規(guī)定的間隔(基線長b :例如與人的雙眼相同地為7cm左右)成平行的方式調(diào)整相對位置和方向，并且進行粗略地校正攝影光軸的扭曲和倍率的差異的校準(zhǔn)作業(yè)。經(jīng)過了上述的校準(zhǔn)作業(yè)的攝影裝置10LU0R將同步地動作，通過利用攝影裝置10LU0R的攝影得到的圖像數(shù)據(jù)(動態(tài)圖像數(shù)據(jù))向立體物檢測裝置12依次輸出?！ち硗?，攝影裝置10L、IOR優(yōu)選相互連結(jié)成為一體化，以便不會隨著時間的推移產(chǎn)生相對位置的偏離等，也可以將市場上銷售的立體攝影機(stereo camera)(例如，富士膠片公司制的FinePix 3D等)作為攝影裝置10LU0R使用。攝影裝置10L、IOR是第一攝影裝置和第二攝影裝置的一例。此外，立體物檢測裝置12具備前圖像處理部14、視差校正部16、差分圖像生成部18、后圖像處理部20、差分圖像解析部22以及解析結(jié)果輸出部24，它們依次連接。另外，視差校正部16是本發(fā)明涉及的處理單元的一例，差分圖像生成部18是本發(fā)明涉及的生成單元的一例，后圖像處理部20是本發(fā)明的第二方案涉及的消除單元的一例，前圖像處理部14是本發(fā)明的第七方案涉及的校正單元的一例，差分圖像解析部22是本發(fā)明的第八方案等涉及的立體物檢測單元的一例，解析結(jié)果輸出部24是本發(fā)明的第九方案等涉及的輸出單元的一例，連接攝影裝置10LU0R和立體物檢測裝置12的信號線是本發(fā)明涉及的獲取單元的一例。此外，立體物檢測裝置12具備內(nèi)置了非易失性的存儲部28的裝置控制部26。裝置控制部26分別與前圖像處理部14、視差校正部16、差分圖像生成部18、后圖像處理部20、差分圖像解析部22和解析結(jié)果輸出部24連接，控制它們的動作。如圖2所示，從攝影裝置10LU0R輸入到立體物檢測裝置12、經(jīng)過了利用前圖像處理部14的校正處理(后述)的圖像數(shù)據(jù)從前圖像處理部14以一個像素單位按照光柵掃描的順序輸入到視差校正部16。視差校正部16具備由能保持一個像素的量的數(shù)據(jù)的多個鎖存器(latch) 32以串聯(lián)方式連接而成的鎖存器群34、36，從攝影裝置IOL輸入的圖像數(shù)據(jù)輸入到鎖存器群34，從攝影裝置IOR輸入的圖像數(shù)據(jù)輸入到鎖存器群36。雖然省略圖示，但會反復(fù)如下處理向各個鎖存器32分別輸入像素時鐘(pixel clock),在與像素時鐘同步的定時，將保持的一個像素的量的數(shù)據(jù)輸出到后級的鎖存器32，并且保持從前級的鎖存器32輸入的一個像素的量的新的數(shù)據(jù)。另外，鎖存器群34、36是本發(fā)明的第四方案涉及的延遲單元的一例，各個鎖存器32是本發(fā)明的第五方案涉及的延遲部的一例。此外，鎖存器群34的各個鎖存器32分別連接于選擇器(selector) 38，鎖存器群36的各個鎖存器32分別連接于選擇器40。選擇器38、40的數(shù)據(jù)輸出端連接于差分圖像生成部18，并且控制信號輸入端連接于視差校正控制部42，視差校正控制部42連接于視差信息存儲部44和前圖像處理部14。視差信息存儲部44連接于裝置控制部26，由裝置控制部26寫入視差量信息。另外，后面會詳細敘述，該視差量信息是本發(fā)明涉及的偏移量信息的一例，存儲由裝置控制部26寫入的視差量信息的視差信息存儲部44是本發(fā)明涉及的存儲部的一例。視差校正控制部42基于存儲于視差信息存儲部44的視差量信息，對選擇器38輸出選擇在從鎖存器群34的各個鎖存器32分別輸入的數(shù)據(jù)中輸出哪個數(shù)據(jù)的選擇信號，對選擇器40也輸出選擇在從鎖存器群36的各個鎖存器32分別輸入的數(shù)據(jù)中輸出哪個數(shù)據(jù)的選擇信號，并且在與從前圖像處理部14輸入的行同步信號同步的定時，切換向選擇器38、40輸出的選擇信號。接著，作為本第一實施方式的作用，依次說明立體物檢測裝置12在各模塊中的處理。前圖像處理部14對從攝影裝置10LU0R輸入到立體物檢測裝置12的圖像數(shù)據(jù)進行以下處理中的至少一個校正攝影裝置10LU0R的沿水平方向(圖像上的左右方向)的攝影范·圍的差異的偏移(offset)校正處理；校正攝影裝置10LU0R的攝影倍率的差異的倍率校正處理；校正攝影裝置10LU0R的繞攝影光軸的扭曲(旋轉(zhuǎn)角)的差異的扭曲校正處理；校正由攝影裝置10LU0R進行攝影的圖像的亮度的差異的亮度校正處理；校正在使用廣角鏡頭進行攝影的情況下的失真的差異的失真校正處理；以及降低噪聲的噪聲降低校正處理。在上述各校正處理之中，對與后級的視差校正處理關(guān)聯(lián)的偏移校正處理進行說明。在由攝影裝置進行攝影的圖像上，也如圖3A 圖3C所示，因為平行線在幾何學(xué)的無限遠點(消失點)相交，所以，當(dāng)重合由攝影裝置10L、10R進行攝影的圖像時，位于無限遠(與消失點相比在圖像的上下方向(Y方向)上位于上側(cè)的范圍)的被拍攝體在理論上是一致的，但實際上會產(chǎn)生偏離。這是因為以攝影裝置10LU0R的攝影光軸不平行作為主要原因，攝影裝置10LU0R的沿水平方向的攝影范圍有差異，雖然用通過校準(zhǔn)作業(yè)的機械上的調(diào)整可以消除，但是在前圖像處理部14的偏移校正處理中，通過使從攝影裝置10LU0R輸入的圖像的一方在圖像的左右方向(X方向)上移位，從而校正通過校準(zhǔn)作業(yè)的調(diào)整未能完全校正的殘差。通過該偏移校正處理，即使攝影裝置10LU0R的攝影光軸從平行有若干偏離，也能使在無限遠的距離的攝影裝置10LU0R的沿水平方向的攝影范圍看上去一致，由攝影裝置10LU0R進行攝影的圖像在將兩圖像重合的時候，被校正為位于無限遠(與消失點相比在圖像的上下方向(Y方向)位于上側(cè)的范圍)的被拍攝體精度良好地一致，越是與攝影裝置的距離小的被拍攝體(越是圖像上的位置向上下方向的下側(cè)偏移的被拍攝體)位置偏離越大，成為幾何學(xué)上正確的圖像。另外，偏移校正處理也可以不在前圖像處理部14進行，而包括在(統(tǒng)一進行)在視差校正部16進行的視差校正處理中。此外，也可以根據(jù)對利用立體物檢測裝置12的立體物檢測的要求精度等，做成由裝置控制部26在前面舉出的各校正處理中選擇在前圖像處理部14執(zhí)行的校正處理。接下來，對利用視差校正部16的視差校正進行說明。在圖3A示出了由單目攝影裝置進行攝影而得到的圖像的一例，在圖3B、圖3C分別示出了由本第一實施方式涉及的攝影裝置10LU0R對相同攝影范圍進行攝影而得到的圖像(但是是由前圖像處理部14進行了偏移校正后的圖像)的一例。如比較圖3B、圖3C所示的圖像也能明確的那樣，雖然在由攝影裝置IOL進行攝影的圖像和由攝影裝置IOR進行攝影的圖像之間產(chǎn)生與視差相當(dāng)?shù)牟顒e，但是，因為這個與視差相當(dāng)?shù)牟顒e起因于攝影裝置10LU0R的幾何學(xué)上的位置關(guān)系(設(shè)置位置相距基線長b)而產(chǎn)生，所以通過在一方的圖像上進行幾何學(xué)上的變換，從而能消除與視差相當(dāng)?shù)牟顒e(例如將由攝影裝置IOR進行攝影的圖像變換為像由攝影裝置IOL進行了攝影那樣的圖像)。這個變換(視差校正)例如對圖3C所示的圖像，像作為例子在圖3D示出的那樣，雖然可以通過使圖像的沿X方向(左右方向)的各個像素列的X坐標(biāo)值的變更量(圖像的左右方向的移動量)在與消失點(無限遠點)相比位于上邊的范圍為零、在與消失點相比位于下邊的范圍為與圖像的沿Y方向的距消失點的距離成比例變大而實現(xiàn)，但是這個X坐標(biāo)值的變更量(圖3D所示的虛線的箭頭的長度)與視差量D (在本發(fā)明中的偏移量D)相等。 也如圖4A、圖4B所示，圖像中的Y坐標(biāo)值(像素數(shù))=P的位置(在圖4A、圖4B用黑圓示出的位置)的視差量D，在設(shè)攝影光軸離攝影裝置10LU0R的設(shè)置位置處的地面的高度為h_cam、攝影光軸相對于豎直方向的傾斜角度為0、攝影裝置10LU0R的光學(xué)系統(tǒng)的焦距為f、沿圖像的X方向的像素數(shù)為W、沿Y方向的像素數(shù)為h、沿圖像的X方向的攝像尺寸為w_img、沿Y方向的攝像尺寸為h_img、攝影裝置10L、10R的基線長為b時,用
D = bXf/L_camX (w/2)/(w_ing/2) ... (I)求出，
上述(I)式中的L_cam是位于地面上且沿Y方向成像于圖像上的位置P的物體和攝影裝置10LU0R的直線距離，用
L_cam= (h_cam2+L2) X cos (tan 1 (L/h_cam) - 9 ) (2)求出。此外，因為上述(2)式
中的L是所述物體和攝影裝置10L、IOR的距離，攝影光軸和地面的交點(在圖4A、圖4B中用星號示出的位置)在圖像上的Y坐標(biāo)值為“h/2”(參照圖4B)，所以用
L = tan (tan-1 ((P- (h/2)) X (h_img/2) / (h/2) /f) + 0 ) Xh_cam…(3)求出。作為一例，在圖4C示出了在以下條件下從上述(I) (3)式求出的Y坐標(biāo)值P和視差量D的關(guān)系攝影光軸離攝影裝置10L、IOR的設(shè)置位置處的地面的高度h_cam = 0. 6m、攝影光軸相對于豎直方向的傾斜角度9 =75°、攝影裝置10LU0R的光學(xué)系統(tǒng)的焦距f =35mm、圖像的沿X方向的像素數(shù)w = 640、沿Y方向的像素數(shù)h = 480、圖像的沿X方向的攝像尺寸(35mm照片膠片換算)w_img = 36mm、沿Y方向的攝像尺寸(35mm照片膠片換算)h_img = 27mm。在這個例子中，在Y坐標(biāo)值P為無限遠點(消失點)的Y坐標(biāo)值405以下的范圍中，視差量D與無限遠點(消失點)的Y坐標(biāo)值405和Y坐標(biāo)值P的偏差成比例。本第一實施方式涉及的視差量信息是表示圖像的沿Y方向的各位置(但是是消失點的Y坐標(biāo)值以下的范圍)處的視差量D的信息，裝置控制部26通過基于預(yù)先存儲于存儲部28的各參數(shù)(h_cam、0、f、w、h、w_img、h_img、b)對圖像的沿Y方向的各位置(但是是消失點的Y坐標(biāo)值以下的范圍)分別進行(I) (3)式的運算，將通過運算得到的視差量D與Y坐標(biāo)值對應(yīng)起來，從而事先生成上述的視差量信息，將生成的視差量信息事先寫入視差校正部16的視差信息存儲部44。此外，視差校正部16的視差校正控制部42在經(jīng)過了利用前圖像處理部14的校正處理的圖像數(shù)據(jù)從前圖像處理部14以一個像素單位按照光柵掃描的順序輸入時，基于與該圖像數(shù)據(jù)同步地從前圖像處理部14輸入的行同步信號，識別從此開始從前圖像處理部14輸入的一行(圖像的沿X方向的一像素列)的量的圖像數(shù)據(jù)的在圖像上的Y坐標(biāo)值，從存儲于視差信息存儲部44的視差量信息中讀出與識別的Y坐標(biāo)值對應(yīng)的視差量D。而且，視差校正控制部42以使由攝影裝置IOL進行攝影的圖像(以下，稱為左側(cè)圖像)和由攝影裝置IOR進行攝影的圖像(以下，稱為右側(cè)圖像)之中，與無限遠點相比位于近距離的相同物體的像由于視差而偏移到光柵掃描方向的上游側(cè)的圖像的數(shù)據(jù)的輸出相對地延遲讀出的視差量D的方式，向選擇器38、40的一方輸出表示延遲像素數(shù)=視差量D的選擇信號，向另一方輸出表示延遲像素數(shù)=0的選擇信號。如比較圖3B、圖3C也能明確的那樣，在本第一實施方式中，與無限遠點相比位于近距離的相同物體的像由于視差而偏移到光柵掃描方向的上游側(cè)的圖像是由攝影裝置IOR進行攝影的右側(cè)圖像，在本第一實施方式中，向輸出左側(cè)圖像的圖像數(shù)據(jù)的選擇器38輸出延遲像素數(shù)=0的選擇信號，向輸出右側(cè)圖像的圖像數(shù)據(jù)的選擇器40輸出延遲像素數(shù)=視差量D的選擇信號。被輸入了選擇信號的選擇器38、40，如果輸入的選擇信號表示的延遲像素數(shù)為0，就將從最前級的鎖存器32輸出的圖像數(shù)據(jù)輸出到差分圖像生成部18，如果輸入的選擇信號表示的延遲像素數(shù)為I以上(=視差量D)，就將從第D+1個鎖存器32輸出的圖像數(shù)據(jù)輸 出到差分圖像生成部18。由此，與被輸入了表示延遲像素數(shù)=視差量D的選擇信號的選擇器對應(yīng)的圖像數(shù)據(jù)的一行，其在圖像上的位置會向光柵掃描方向下游側(cè)相對地移動像素數(shù)D0進而，每當(dāng)從前圖像處理部14輸入行同步信號時，視差校正控制部42就會進行上述的Y坐標(biāo)值的識別、對應(yīng)的視差量D的讀出、向選擇器38、40的選擇信號的輸出。由此，作為選擇信號輸入到選擇器40的延遲像素數(shù)(=視差量D)相對于從前圖像處理部14輸入的一行的量的圖像數(shù)據(jù)在圖像上的Y坐標(biāo)值的變化，會如圖4C所示那樣地進行變化，作為例子在圖3C示出的圖像經(jīng)過如圖3D所示的視差校正將變換為如圖3E所示那樣的圖像。因為上述的視差校正能通過如下的極為簡單的處理來實現(xiàn)，即，基于存儲于視差信息存儲部44的視差量信息，一邊根據(jù)各像素列的Y坐標(biāo)值切換移動量(延遲像素數(shù))，一邊對左側(cè)圖像和右側(cè)圖像之中的一方的圖像進行使沿X方向的像素列在圖像上的位置在X方向上移動的處理，所以，無需高性能的運算裝置等，就能包含后述的差分圖像的生成和對差分圖像的解析等的各處理在內(nèi)，對動態(tài)圖像也實時地進行處理。另外，如前述的那樣，也可以與上述的視差校正同時進行偏移校正，這可以通過以作為延遲像素數(shù)應(yīng)用在從視差信息存儲部44讀出的視差量D上加上偏移校正量之后的校正量的方式構(gòu)成視差校正控制部42，或者，以將在設(shè)定于視差量信息的各個視差量D上一律加上偏移校正量之后的信息寫入到視差信息存儲部44的方式構(gòu)成裝置控制部26而實現(xiàn)。此外，視差量信息優(yōu)選根據(jù)攝影裝置10LU0R的設(shè)置狀況進行更新。特別是，在設(shè)置于車輛等的情況下，可以想象到設(shè)置狀況由于振動等而變化的情況，與此相伴，特別是可以想象到傾斜角度9等參數(shù)的變動。作為對像這樣的參數(shù)變動的對策，優(yōu)選以如下方式構(gòu)成設(shè)置例如陀螺傳感器(gyro sensor)等測量傾斜度的元件，并且預(yù)先分別運算出由該元件測量的傾斜度為各值時的視差量信息并存儲起來，選擇性地讀出與由所述元件測量的傾斜度對應(yīng)的視差量信息進行使用(覆蓋寫入到存儲于視差信息存儲部44的視差量信息)。由此，在視差校正部16進行根據(jù)由陀螺傳感器等元件測量的傾斜度的視差校正。
此外，因為視差量D會根據(jù)由攝影裝置10LU0R進行攝影的光學(xué)條件而變化，所以在例如攝影光軸的傾斜角度0、攝影光軸的高度h_cam等光學(xué)條件被變更了的情況下，裝置控制部26會感測變更后的光學(xué)條件，基于感測到的變更后的光學(xué)條件再次進行視差量D的運算、視差量信息的生成，將生成的視差量信息覆蓋寫入到存儲于視差信息存儲部44的視差量信息。由此，在視差校正部16進行根據(jù)變更后的光學(xué)條件的視差校正。對于利用(I) (3)式的視差量D的運算，也是因為與解多個聯(lián)立方程等運算、塊匹配中的反復(fù)運算相比極為簡單且運算次數(shù)也非常少，所以無需高性能的運算裝置，就能用短時間完成運算。此外，變更后的光學(xué)條件雖然可以通過例如進行了光學(xué)條件的變更作業(yè)的作業(yè)人員進行將變更后的光學(xué)條件在裝置控制部26進行輸入、設(shè)定等的作業(yè)，從而由裝置控制部26進行感測，但不限于此，例如也可以對于攝影光軸的傾斜角度e，設(shè)置檢測傾斜角度0的角度傳感器，基于該角度傳感器的輸出進行感測。此外，也可以對于多種光學(xué)條件，預(yù)先進行視差量D的運算、視差量信息的生成并存儲于存儲部28，裝置控制部26在光學(xué)條件 變更時從存儲部28讀出與變更后的光學(xué)條件對應(yīng)的視差量信息并寫入到視差信息存儲部44。 接著，對利用差分圖像生成部18的差分圖像的生成進行說明。經(jīng)過了視差校正的左側(cè)圖像和右側(cè)圖像的圖像數(shù)據(jù)以一個像素單位并列地輸入到差分圖像生成部18，差分圖像生成部18在每當(dāng)有左側(cè)圖像和右側(cè)圖像的一個像素的量的數(shù)據(jù)輸入時都進行如下處理運算出輸入的左側(cè)圖像的一個像素的量的數(shù)據(jù)L和輸入的右側(cè)圖像的一個像素的量的數(shù)據(jù)R的差分的絕對值(Il 一 Rl )，將運算出的差分的絕對值作為該像素的亮度值。在作為被拍攝體對立體物進行攝影的圖像中，因為與立體物相當(dāng)?shù)膱D像部在圖像上的位置隨著朝向立體物的上部(隨著距地面的高度變高)其與根據(jù)視差量D算出的位置的偏離會變大，所以當(dāng)對拍攝有立體物的圖像進行前述的視差校正時，如參照示出了對在圖3C示出的圖像進行了視差校正的結(jié)果的圖3E也能明確的那樣，實際上與直立的立體物相當(dāng)?shù)膱D像部在視差校正后的圖像上成為傾斜的狀態(tài)。因此，對于差分圖像生成部18，例如在作為左側(cè)圖像的圖像數(shù)據(jù)輸入了圖3B所示的圖像的圖像數(shù)據(jù)，作為右側(cè)圖像的圖像數(shù)據(jù)輸入了圖3E所示的圖像的圖像數(shù)據(jù)的情況下，如作為例子在圖3F示出的那樣，與二維要素對應(yīng)的像素作為亮度0的像素而被擦除，可得到主要由與圖像中的立體物相當(dāng)?shù)南袼?特別是與立體物的邊緣相當(dāng)?shù)南袼?形成了具有大的差分值(亮度值)的差分像素的集合(差分區(qū)域)的差分圖像。此外，在圖5C示出了從圖5A所示的左側(cè)圖像和圖5B所示的右側(cè)圖像經(jīng)過利用前圖像處理部14的校正處理、利用視差校正部16的視差校正處理在差分圖像生成部18生成的差分圖像的一例。由于在圖5A、圖5B示出的左側(cè)圖像和右側(cè)圖像中作為被拍攝體而存在的人物、車輛等立體物，可以確認(rèn)在圖5C示出的差分圖像上也產(chǎn)生有對應(yīng)的差分區(qū)域。此夕卜，雖然在原理上隨著攝影裝置和立體物的距離變小視差會變大，但在示于圖5C的差分圖像上，能確認(rèn)攝影裝置和立體物的距離作為對應(yīng)的線狀的差分區(qū)域的寬度而出現(xiàn)(對應(yīng)于與攝影裝置的距離更近的人物的差分區(qū)域，其線狀的差分區(qū)域的寬度與對應(yīng)于車輛的線狀的差分區(qū)域的寬度相比更寬)。另外，在示于圖5C的差分圖像中，與背景的建筑和停車場的白線對應(yīng)的差分區(qū)域是起因于攝影裝置10LU0R的位置偏離和特性差別等的誤差(噪聲)。接著，對利用后圖像處理部20的后處理進行說明。如上述那樣，在由差分圖像生成部18生成的差分圖像疊加有以攝影裝置IOLUOR的位置偏離和特性差別等為原因的噪聲。因此，后圖像處理部20對從差分圖像生成部18輸入的差分圖像進行噪聲消除處理。作為噪聲消除處理，雖然可以應(yīng)用公知的平滑化濾波器等的濾波處理，但在后圖像處理部20作為噪聲消除處理進行收縮處理。收縮處理是將以關(guān)注像素為中心的周邊區(qū)域(例如3像素X 3像素的區(qū)域)內(nèi)的所有像素的最小值設(shè)定為關(guān)注像素的值的圖像處理，通過對差分圖像進行一次該收縮處理，從而差分圖像中的孤立的差分像素將被消除，差分圖像中的差分區(qū)域，其最外周的像素以一個像素寬度被消除。通過進行一次以上(雖然也取決于噪聲的混入程度，但優(yōu)選反復(fù)進行幾次的程度)該收縮處理，從而如從示出了對在圖6A示出的差分圖像進行了利用收縮處理的噪聲消除的結(jié)果的一例的圖6B也能明確的那樣，疊加于從差分圖像生成部18輸入的差分圖像的噪聲(例如，在圖6的例子中與背景的建筑和停車場的白線對應(yīng)的差分區(qū)域)被消除。與幾何視差在原理上為幾個 幾十個像素左右的情況相對地，校準(zhǔn)的誤差主要是·攝影裝置10L、IOR的位置偏離，如果攝影裝置10L、IOR的位置偏離量比視差量小，就可以通過作為噪聲消除處理反復(fù)進行多次收縮處理，從而成為起因于攝影裝置10LU0R的位置偏離的差分像素被完全擦除并殘存有與立體物對應(yīng)的差分區(qū)域的狀態(tài)。因此，因為通過上述的噪聲消除處理，允許某種程度的攝影裝置10LU0R的位置偏離和特性差別，所以能實現(xiàn)校準(zhǔn)的簡化和裝置成本的降低。另外，可以將后圖像處理部20中的收縮處理與二值化相組合，對從差分圖像生成部18輸入的差分圖像首先在進行二值化之后進行收縮處理，如果是后級的差分圖像解析部22將被二值化的差分圖像作為對象進行處理的結(jié)構(gòu)，那么也可以在對差分圖像進行收縮處理之后進行二值化。此外，將在后面詳述，在差分圖像解析部22進行檢測與立體物的距離范圍的處理的情況下，因為會對差分圖像反復(fù)進行收縮處理，所以在這種情況下也可以省略利用后圖像處理部20的噪聲消除處理(收縮處理)的執(zhí)行。接下來，對利用差分圖像解析部22的差分圖像的解析和利用解析結(jié)果輸出部24的解析結(jié)果的輸出進行說明。在利用差分圖像解析部22的差分圖像的解析中的處理內(nèi)容，根據(jù)利用立體物檢測裝置12的立體物檢測的目的和應(yīng)對利用者提供的信息的種類等而有差異。例如，對于利用立體物檢測裝置12的立體物檢測，在要求向利用者告知例如存在于攝影裝置10LU0R的攝影范圍內(nèi)的立體物(例如障礙物等)的位置的情況下，在差分圖像解析部22作為差分圖像的解析處理進行基于差分圖像檢測與立體物對應(yīng)的圖像區(qū)域的位置和范圍的位置檢測處理。另外，該位置檢測處理在由差分圖像解析部22進行后述的距離范圍檢測處理的情況下，也可以作為其預(yù)處理執(zhí)行。在上述的位置檢測處理中，在首先進行了差分圖像的二值化之后，利用投影法等公知的數(shù)據(jù)解析方法進行與立體物對應(yīng)的圖像區(qū)域的提取。例如，利用投影法提取與立體物對應(yīng)的圖像區(qū)域，可以通過如下處理實現(xiàn)對二值化后的差分圖像，通過對于沿X方向的各像素列對像素列中的差分像素的數(shù)量分別進行計數(shù)，從而求出對Y方向的差分像素的柱狀圖，并且通過對于沿Y方向的各像素列對像素列中的差分像素的數(shù)量分別進行計數(shù)，從而求出對X方向的差分像素的柱狀圖，將在對于X方向的差分像素的柱狀圖中產(chǎn)生差分像素數(shù)的峰值的X坐標(biāo)值的范圍作為與立體物對應(yīng)的圖像區(qū)域的X坐標(biāo)值的范圍進行提取，并且將在對于Y方向的差分像素的柱狀圖中產(chǎn)生差分像素數(shù)的峰值的Y坐標(biāo)值的范圍作為與立體物對應(yīng)的圖像區(qū)域的Y坐標(biāo)值的范圍進行提取。另外，上述處理是利用本發(fā)明的第十方案涉及的立體物檢測單元的處理的一例。在向利用者告知立體物的位置的情況下，可以以進行如下處理的方式構(gòu)成從差分圖像解析部22作為解析結(jié)果向解析結(jié)果輸出部24輸出與立體物對應(yīng)的圖像區(qū)域的X坐標(biāo)值和Y坐標(biāo)值的范圍，解析結(jié)果輸出部24作為輸出解析結(jié)果的處理，基于從差分圖像解析部22輸入的與立體物對應(yīng)的圖像區(qū)域的X坐標(biāo)值和Y坐標(biāo)值的范圍，對由攝影裝置IOL或攝影裝置IOR進行攝影的圖像，例如如圖7A所示，生成附加了明示與立體物對應(yīng)的圖像區(qū)域的范圍的框狀的圖形的圖像，將生成的圖像顯示于顯示器等。由此，能向利用者告知存在于攝影裝置10LU0R的攝影范圍內(nèi)的立體物的位置。此外，對于利用立體物檢測裝置12的立體物檢測，在要求向利用者告知與存在于例如攝影裝置10L、IOR的攝影范圍內(nèi)的各個立體物的大概距離(距離范圍例如距離為·大/中/小的任一個等)的情況下，在差分圖像解析部22中，在作為預(yù)處理進行了上述的位置檢測處理之后，為了檢測與存在于在位置檢測處理中提取的圖像區(qū)域中的立體物的距離范圍，進行反復(fù)收縮處理。如前面說明的那樣，在差分圖像中，與立體物對應(yīng)的線狀的差分區(qū)域的寬度根據(jù)攝影裝置和立體物的距離而變化，隨著攝影裝置和立體物的距離變小，與該立體物對應(yīng)的線狀的差分區(qū)域的寬度會變寬。在反復(fù)收縮處理中利用此一邊對差分圖像反復(fù)多次前述的收縮處理，一邊判定在位置檢測處理中提取的各個圖像區(qū)域內(nèi)的差分區(qū)域是否已消失(也可以代之以判定各個圖像區(qū)域內(nèi)的差分像素的數(shù)量是否成為規(guī)定值以下)。例如，圖7A所示的差分圖像，作為與立體物對應(yīng)的圖像區(qū)域分別提取了與人物對應(yīng)的圖像區(qū)域和與車輛對應(yīng)的圖像區(qū)域，另一方面，圖像中的樹木和白線也由于攝影裝置10LU0R的位置偏離和特性差別等的影響而作為差分區(qū)域被提取。在對這個差分圖像進行了反復(fù)收縮處理的情況下，如圖7B所示，當(dāng)反復(fù)nl次收縮處理時，與人物對應(yīng)的線狀的差分區(qū)域和與車輛對應(yīng)的線狀的差分區(qū)域其寬度分別變窄，另一方面圖像中的與樹木和白線對應(yīng)的差分區(qū)域會消失。進而，如圖7C所示，當(dāng)收縮處理的反復(fù)次數(shù)達到n2次時(n2>nl)，與車輛對應(yīng)的差分區(qū)域也消失，只殘存有與人物對應(yīng)的差分區(qū)域。此外，如圖7D所示，當(dāng)反復(fù)了 n3次收縮處理時(n3>n2)，與人物對應(yīng)的差分區(qū)域也會消失。根據(jù)以上的結(jié)果，例如在反復(fù)了 nl次收縮處理的時間點消失的差分區(qū)域可以視為噪聲，與在反復(fù)了 n2次收縮處理的時間點消失的差分區(qū)域?qū)?yīng)的立體物(在圖7的例子中是車輛)可以判定為“與攝影裝置的距離范圍大”，與在反復(fù)了 n3次收縮處理的時間點消失的差分區(qū)域?qū)?yīng)的立體物(在圖7的例子中是人物)可以判定為“與攝影裝置的距離范圍中”，在即使反復(fù)了 n3次收縮處理仍殘存有差分區(qū)域的情況下，與該差分區(qū)域?qū)?yīng)的立體物可以判定為“與攝影裝置的距離范圍小”。另外，上述處理是利用本發(fā)明的第十一、第十二方案涉及的立體物檢測單元的處理的一例。在向利用者告知與各個立體物的距離范圍的情況下，可以以進行如下處理的方式構(gòu)成從差分圖像解析部22作為解析結(jié)果除向解析結(jié)果輸出部24輸出與立體物對應(yīng)的圖像區(qū)域的X坐標(biāo)值和Y坐標(biāo)值的范圍外，還輸出與立體物對應(yīng)的每個圖像區(qū)域的距離范圍的判定結(jié)果，解析結(jié)果輸出部24作為輸出解析結(jié)果的處理，對由例如攝影裝置IOL或攝影裝置IOR進行攝影的圖像附加明示與立體物對應(yīng)的圖像區(qū)域的范圍的框狀的圖形，并且生成根據(jù)距離范圍的判定結(jié)果切換了框的顯示色的圖像，將生成的圖像顯示于顯示器等。由此，能向利用者告知存在于攝影裝置10LU0R的攝影范圍內(nèi)的立體物的位置和距離范圍。另外，也可以代替切換框的顯示色，而用文字等顯示距離范圍。另外，也可以如上述那樣，代替在進行了位置檢測處理之后進行反復(fù)收縮處理，而在進行了反復(fù)收縮處理之后進行位置檢測處理。具體地說，也可以對例如差分圖像反復(fù)n3次收縮處理，并且保存在收縮處理的反復(fù)次數(shù)為nl次、n2次的時間點的差分圖像，首先對收縮處理的反復(fù)次數(shù)為n3次的差分圖像進行與立體物對應(yīng)的圖像區(qū)域的搜索，接著，將已提取的圖像區(qū)域從搜索對象中排除，對收縮處理的反復(fù)次數(shù)為n2次的差分圖像進行與立體物對應(yīng)的圖像區(qū)域的搜索，接下來，將已提取的圖像區(qū)域從搜索對象中排除，對收縮處理的反復(fù)次數(shù)為nl次的差分圖像進行與立體物對應(yīng)的圖像區(qū)域的搜索。在圖7的例子中，從收縮處理的反復(fù)次數(shù)為n2次的差分圖像(參照圖7C)中提取與人物對應(yīng)的圖像區(qū)域，該圖 像區(qū)域從對收縮處理的反復(fù)次數(shù)為nl次的差分圖像(參照圖7B)的處理中的搜索對象中排除。在上述處理中，因為對消除了可以視為噪聲的差分區(qū)域的狀態(tài)的差分圖像進行與立體物對應(yīng)的圖像區(qū)域的搜索，所以能實現(xiàn)與立體物對應(yīng)的圖像區(qū)域的搜索的精度的提高、處理時間的縮短。此外，對于利用立體物檢測裝置12的立體物檢測，在要求向利用者告知在存在于例如攝影裝置10L、IOR的攝影范圍內(nèi)的立體物之中與攝影裝置10L、IOR的距離最小的立體物的距離范圍的情況下，差分圖像解析部22在無需作為預(yù)處理進行位置檢測處理的情況下進行上述說明的反復(fù)收縮處理，在例如在反復(fù)了 nl次收縮處理的時間點所有的差分區(qū)域都消失的情況下可以判定為“無立體物”，在反復(fù)了 n2次收縮處理的時間點所有的差分區(qū)域都消失的情況下可以判定為“與攝影裝置的距離范圍有大的立體物”，在反復(fù)了 n3次收縮處理的時間點所有的差分區(qū)域都消失的情況下可以判定為“與攝影裝置的距離范圍有中等的立體物”，在即使反復(fù)了 n3次收縮處理仍殘存有差分區(qū)域的情況下可以判定為“與攝影裝置的距離范圍有小的立體物”。另外，上述處理是利用了本發(fā)明的第十三方案涉及的立體物檢測單元的處理的一例。在向利用者告知與離攝影裝置10LU0R的距離最小的立體物的距離范圍的情況下，可以以如下方式構(gòu)成從差分圖像解析部22向解析結(jié)果輸出部24輸出上述的判定結(jié)果，解析結(jié)果輸出部24作為輸出解析結(jié)果的處理，只在有立體物的情況下輸出警告音，并且根據(jù)與立體物的距離范圍切換例如警告音的音量、警告音的輸出時間間隔以及警告音的種類(例如頻率和音色等)的至少一個。由此，能向利用者告知與離攝影裝置10LU0R的距離最小的立體物的距離范圍。另外，上述處理是利用了本發(fā)明的第十三方案涉及的輸出單元的處理的一例。另外，對于利用立體物檢測裝置12的立體物檢測，在檢測例如攝影裝置10LU0R的攝影范圍內(nèi)的立體物(例如障礙物等)的有無，并在存在障礙物時要求告知給利用者的情況下，差分圖像解析部22可以以如下方式構(gòu)成作為差分圖像的解析處理，進行對例如從后圖像處理部20輸入的差分圖像中的差分像素的數(shù)量或差分像素之中該差分像素表示的差分的大小為規(guī)定值以上的差分像素的數(shù)量進行計數(shù)的處理，在計數(shù)結(jié)果為閾值以上的情況下，進行判定為“有立體物”的處理，或?qū)⒏鱾€差分像素表示的差分對所有的差分像素進行累計，在累計結(jié)果為閾值以上的情況下，進行判定為“有立體物”的處理。在這種情況下，解析結(jié)果輸出部24可以以如下方式構(gòu)成在利用差分圖像解析部22的解析結(jié)果為“有立體物”的情況下，通過輸出例如警告音，或輸出“檢測到障礙物”等聲音信息等，以聲音告知解析結(jié)果。另外，雖然在上述中說明了將由差分圖像生成部18生成的差分圖像用于立體物的檢測的方案，但本發(fā)明不限定于此，因為起因于攝影裝置10LU0R的位置偏離等而混入到差分圖像的差分像素(噪聲)其混入量會根據(jù)攝影裝置10LU0R的位置偏離量而變化，所以也可以利用此，將差分圖像用于校準(zhǔn)作業(yè)的合適與否(攝影裝置10LU0R的位置關(guān)系的合適與否)的判定。分別在圖8A示出了由左側(cè)圖像L和右側(cè)圖像R’的組合生成的差分圖像，在圖SC示出了由左側(cè)圖像L和右側(cè)圖像R”的組合生成的差分圖像，分別在圖SB示出了以某個閾值將在圖8A示出的差分圖像進行二值化后的二值化差分圖像，在圖8D示出了以某個閾值將在圖8C示出的差分圖像進行二值化后的二值化差分圖像。另外，右側(cè)圖像R’和右側(cè)圖像R”是與攝影裝置IOL的位置關(guān)系不同的狀態(tài)的攝影裝置IOR進行攝影的圖像。 雖然攝影裝置10LU0R的位置關(guān)系的合適與否的判定通過對差分圖像中的差分像素的數(shù)量進行計數(shù)而進行，但是，因為差分圖像中的與立體物對應(yīng)的差分像素其像素數(shù)的變化相對于攝影裝置10LU0R的位置關(guān)系的變化的斜率小，所以優(yōu)選例如像在圖SB、圖8D用白框示出的那樣，由操作者將排除了差分圖像中的與立體物對應(yīng)的圖像區(qū)域的范圍指定為評價區(qū)域，對存在于由操作者指定的評價區(qū)域內(nèi)的差分像素的數(shù)量進行計數(shù)。攝影裝置10LU0R的最佳的位置關(guān)系是評價區(qū)域內(nèi)的差分像素的數(shù)量為最小的位置關(guān)系，操作者在校準(zhǔn)作業(yè)中，每次調(diào)整攝影裝置10LU0R的位置關(guān)系時都進行對評價區(qū)域內(nèi)的差分像素的數(shù)量進行計數(shù)、輸出的處理，基于輸出的差分像素的數(shù)量的變化方向(差分像素的數(shù)量是增加了還是減少了)和變化量，能識別評價區(qū)域內(nèi)的差分像素的數(shù)量變?yōu)樽钚〉臄z影裝置10LU0R的最佳的位置關(guān)系，并能調(diào)整到識別的最佳的位置關(guān)系。另外，因為評價區(qū)域內(nèi)的差分像素的數(shù)量還會根據(jù)利用前圖像處理部14的校正處理的處理條件的合適與否而變化，所以在將利用前圖像處理部14的校正處理的處理條件調(diào)整到最佳的處理條件時也能利用上述的評價區(qū)域內(nèi)的差分像素的數(shù)量的計數(shù)、輸出。上述的各方案對應(yīng)于本發(fā)明的第十四、第十五方案。此外，雖然在上述中說明了通過對差分圖像進行反復(fù)收縮處理，從而檢測立體物的距離范圍的方案，但本發(fā)明不限定于此，如前述的那樣，因為在差分圖像中與立體物對應(yīng)的線狀的差分區(qū)域的寬度會根據(jù)攝影裝置和立體物的距離而變化，隨著攝影裝置和立體物的距離變小，與該立體物對應(yīng)的線狀的差分區(qū)域的寬度變寬，所以也可以檢測(對像素數(shù)進行計數(shù))線狀的差分區(qū)域的寬度，基于檢測的寬度判定立體物的距離范圍。在本發(fā)明的第十一方案中也包括上述方案。[第二實施方式]
接著說明本發(fā)明的第二實施方式。另外，對與第一實施方式相同的部分標(biāo)注相同的附圖標(biāo)記，并省略說明。在圖9A 圖9C分別示出了用在第一實施方式中說明過的攝影裝置10L、10R進行攝影的左側(cè)圖像和右側(cè)圖像的一方的一例，在圖9D 圖9F分別示出了從圖9A 圖9C所示的圖像利用在第一實施方式中說明過的立體物檢測裝置12生成的差分圖像(經(jīng)過利用前圖像處理部14的校正處理、利用視差校正部16的視差校正處理，由差分圖像生成部18生成的差分圖像)的一例。圖9A 圖9C所示的圖像是對屋內(nèi)的場景進行攝影的圖像，因為對攝影時的被拍攝體的照明的照度比較低，所以與此相伴地圖像的對比度(contrast)降低，圖像中的立體物和背景區(qū)域的亮度差別也變小。在對這樣的圖像用在第一實施方式說明過的立體物檢測裝置12進行了差分圖像的生成的情況下，會由于例如與起因于立體物的差分成分相當(dāng)?shù)妮喞€的一部分在差分圖像上埋沒于噪聲等而造成起因于立體物的差分成分不能清楚地出現(xiàn)在差分圖像上，有可能產(chǎn)生立體物的漏檢等。例如，在圖9的例子中，雖然在圖9A 圖9C所示的圖像中，在圖像中的左側(cè)的區(qū)域內(nèi)，在從攝影裝置10LU0R比較分開的位置存在第一人物，但是在圖9D 圖9F所示的差分圖像中，與第一人物相當(dāng)?shù)妮喞€沒有清楚地出現(xiàn)。因此，有可能第一人物不會作為立體物被檢測到。此外，雖然圖9A 圖9C所示的圖像在圖像中的右側(cè)的區(qū)域內(nèi)還存在第二人 物，但是，特別是在與第二人物存在于從攝影裝置10L、IOR比較分開的位置的圖9B、圖9C的圖像對應(yīng)的圖9E、圖9F的差分圖像中，在與第二人物相當(dāng)?shù)妮喞€產(chǎn)生了中斷等，由于該輪廓線的中斷會產(chǎn)生誤檢與第二人物的距離或?qū)⒌诙宋镎`檢為多個立體物的可能性。另外，像從前面的(I)式可以明確的那樣，因為如果使基線長b增大，視差量D就會增大，所以能提高立體物的檢測精度，但是在將例如攝影裝置10LU0R作為單一的攝影模塊而一體化的情況下，基線長b的增大會招致攝影模塊的大型化，為了確保攝影模塊的剛性，會導(dǎo)致重量的增加、系統(tǒng)整體的成本的增大。此外，還會產(chǎn)生攝影模塊的設(shè)置地方的確保變得困難或設(shè)計的自由度降低等問題。因此，在本第二實施方式中將視差校正部16做成使左側(cè)圖像和右側(cè)圖像沿畫像的左右方向(X方向)相對地移位預(yù)先設(shè)定的移位量之后進行視差校正的結(jié)構(gòu)。S卩，如圖10所示，本第二實施方式涉及的視差校正部16在轉(zhuǎn)送右側(cè)圖像的圖像數(shù)據(jù)的鎖存器群36的前級(鎖存器群36和前圖像處理部14之間)設(shè)置有延遲部50。向延遲部50輸入像素時鐘，并且從裝置控制部26輸入用像素數(shù)表示左側(cè)圖像和右側(cè)圖像的相對的移位量S的移位量信息。而且，延遲部50使從前圖像處理部14按照每一個像素依次輸入的右側(cè)圖像的圖像數(shù)據(jù)延遲從裝置控制部26輸入的移位量信息表示的像素數(shù)的量之后向鎖存器群36依次輸出，由此，使左側(cè)圖像和右側(cè)圖像在圖像的左右方向(X方向)上相對地移位。作為例子，在圖IlA 圖IlC示出了與圖3A 圖3C相同的圖像，但是在這些圖像之中對圖IlC所示的右側(cè)圖像由視差校正部16的延遲部50進行了使上述的圖像數(shù)據(jù)的輸出延遲的處理的情況下，如作為例子在圖IlD示出的那樣，會向鎖存器群36輸入相對于圖IlB所示的左側(cè)圖像在圖像的左右方向(X方向)上被移位的右側(cè)圖像。由此，圖IlD所示的右側(cè)圖像經(jīng)過圖IlE所示的視差校正變換為如圖IlF所示的圖像。而且，由差分圖像生成部18生成的差分圖像如作為例子在圖IlG示出的那樣，變成表示在通過視差校正校正了幾何視差、而且被沿第一方向相對地移位了預(yù)先設(shè)定的移位量的狀態(tài)下的左側(cè)圖像和右側(cè)圖像的差分的圖像，即，變成與沒有利用延遲部50進行圖像的移位的情況相比左側(cè)圖像和右側(cè)圖像的在圖像的左右方向(X方向)上的差分被強調(diào)了的圖像。另外，雖然在圖IlG中將差分圖像上的與立體物的輪廓相當(dāng)?shù)木€作為固定的粗細的線示出，但是，因為差分圖像上的與立體物的輪廓相當(dāng)?shù)木€雖然也依賴于與立體物的距離L但實際上具有某種程度的粗細，所以在除視差校正以外還進行圖像的移位而生成差分圖像的情況下，如圖12B所示，在與立體物的輪廓相當(dāng)?shù)木€之中，特別是在圖像的上下方向(Y方向)上延伸的線的粗細被增大。由此，能抑制起因于立體物的差分成分在差分圖像上埋沒于噪聲，或者在差分圖像上的與立體物的輪廓相當(dāng)?shù)木€的一部分產(chǎn)生中斷，或者起因于立體物的差分成分不能清楚地出現(xiàn)在差分圖像上的情況。此外，如將圖12B與表示沒有進行圖像移位的情況的圖12A進行比較也能明確的那樣，通過在與立體物的輪廓相當(dāng)?shù)木€之中特別增大在圖像的上下方向(Y方向)上延伸的線的粗細，從而即使進行了反復(fù)收縮處理，差分圖像上的起因于立體物的差分成分也會變得不容易消失。因此，無需增大基線長b，就能抑制產(chǎn)生立體物的漏檢和誤檢的情況。上述方案是本發(fā)明的第十六方案，更加詳細地說是本發(fā)明的第十七方案的一例。另外，因為在本第二實施方式中生成的差分圖像是左側(cè)圖像和右側(cè)圖像的在圖像 的左右方向(X方向)上的差分被強調(diào)了的圖像，所以優(yōu)選將收縮處理分為對于圖像的左右方向(X方向)的收縮處理和對于圖像的上下方向(Y方向)的收縮處理，使對于圖像的上下方向(Y方向)的收縮處理的執(zhí)行次數(shù)比對于圖像的左右方向(X方向)的收縮處理的執(zhí)行次數(shù)少。由此，能抑制與立體物的輪廓相當(dāng)?shù)牟罘謭D像上的線之中在圖像的左右方向(X方向)上延伸的線由于反復(fù)執(zhí)行收縮處理而消失的情況。上述事項是本發(fā)明的第二十方案的一例。另外，基于本申請發(fā)明人通過進行試驗而得到的經(jīng)驗規(guī)律，在本第二實施方式中的移位量S優(yōu)選為視差校正中的校正量(幾何視差(視差量D))的最大值的1/2以下的大小。例如，在圖4C所示的例子中，因為視差校正中的校正量(視差量D)的最大值為50像素，所以移位量S成為25像素以下。上述事項是本發(fā)明的第二十一方案的一例。在圖10所示的方案中，因為由從裝置控制部26輸入到視差校正部16的延遲部50的移位量信息規(guī)定移位量S，所以根據(jù)用途等(例如，作為重點檢測對象的立體物的距離范圍等)也能容易地實現(xiàn)在“視差校正中的校正量(視差量D)的最大值的1/2”的范圍內(nèi)變更設(shè)定移位量S。另外，雖然在圖10所示的結(jié)構(gòu)中通過將延遲部50設(shè)置于鎖存器群36的前級，從而在進行視差校正之前進行圖像的移位(圖像數(shù)據(jù)的輸出的延遲)，但不限定于此，如作為例子在圖13示出的那樣，也可以通過在選擇器40的后級(選擇器40和差分圖像生成部18之間)設(shè)置延遲部50，從而在進行了視差校正之后進行圖像的移位。此外，雖然在圖10、圖13所示的結(jié)構(gòu)中，延遲部50對右側(cè)圖像進行了圖像的移位(圖像數(shù)據(jù)的輸出的延遲)，但不限定于此，也可以對左側(cè)圖像進行圖像的移位。上述各方案也是本發(fā)明的第十六方案，更加詳細地說是本發(fā)明的第十七方案的一例。此外，雖然在圖10、圖13所示的結(jié)構(gòu)中，通過用延遲部50使圖像數(shù)據(jù)的輸出延遲從而實現(xiàn)圖像的移位，但是也可以將在利用視差校正部16的視差校正中的視差校正量(延遲像素數(shù))設(shè)為在與幾何視差(視差量D)相當(dāng)?shù)男Ｕ可霞由吓c移位量S相當(dāng)?shù)男Ｕ恐蟮闹?，通過利用視差校正部16的視差校正同時進行幾何視差(視差量D)的校正和圖像的移位。雖然例如圖14所示的校正量特性d表示與幾何視差(視差量D)相當(dāng)?shù)男Ｕ?延遲像素數(shù))，但是在將與移位量S相當(dāng)?shù)男Ｕ?在圖14中作為與移位量S相當(dāng)?shù)男Ｕ?延遲像素數(shù))=5)加到該校正量特性d表示的校正量上的情況下,能得到圖14所示的校正量特性d’。通過視差校正部16按照該校正量特性d’進行視差校正，從而無需設(shè)置延遲部50等，即可同時實現(xiàn)幾何視差(視差量D)和移位量=5像素的量的圖像移位。由此，能由差分圖像生成部18生成左側(cè)圖像和右側(cè)圖像的在圖像的左右方向(X方向)上的差分被強調(diào)了的差分圖像。另外，將利用視差校正部16的視差校正中的視差校正量(延遲像素數(shù))設(shè)為在與幾何視差(視差量D)相當(dāng)?shù)男Ｕ可霞由吓c移位量S相當(dāng)?shù)男Ｕ恐蟮闹?，這可以通過進行如下處理而實現(xiàn)在例如裝置控制部26運算了視差量D的時候，在運算出的視差量D上加上移位量S，將加法運算后的值與Y坐標(biāo)值對應(yīng)起來生成視差量信息，將生成的視差量信息寫入到視差校正部16的視差信息存儲部44。此外，這也可以通過進行如下處理而實現(xiàn)從裝置控制部26向視差校正部16告知移位量S，視差校正部16的視差校正控制部42在從視差信息存儲部44讀出的視差量D上加上移位量S之后，作為選擇信號向選擇器38、40輸出。上述的方案是本發(fā)明的第十六方案，更加詳細地說是本發(fā)明的第十八方案的一例。此外，使左側(cè)圖像和右側(cè)圖像在圖像的左右方向(X方向)上相對地移位，這也可以 通過將攝影裝置IOL和攝影裝置IOR配置在使得各個攝影光軸的間隔隨著從攝影裝置IOL和攝影裝置IOR遠離而變大的方向上來實現(xiàn)。例如，在圖15示出了將攝影裝置IOR的攝影光軸相對于攝影裝置IOL的攝影光軸從平行朝向外側(cè)配置的方案。另外，圖15中的基線長b與以往相同。此外，也可以代替將攝影裝置IOR的攝影光軸從平行朝向外側(cè)配置，而將攝影裝置IOL的攝影光軸從平行朝向外側(cè)配置，還可以將攝影裝置10LU0R的攝影光軸分別從并行朝向外側(cè)配置。用圖15的配置得到的全視差量d’由在攝影裝置10LU0R的攝影光軸平行的情況下得到的視差量d (= Cl1H)和通過將攝影裝置IOR的攝影光軸從平行朝向外側(cè)配置而產(chǎn)生的視差量d3之和給出。視差量d3是不依賴于距離L的成分，根據(jù)移位量S被預(yù)先調(diào)整。例如，在視差量d3為5個像素的量的情況下，如果其它的條件相同，則視差量d與圖14所示的校正量特性d表示的延遲像素數(shù)(=視差量D)—致,全視差量d’與圖14所示的校正量特性d’表示的延遲像素數(shù)(=視差量D+移位量S) —致。這個方案與圖10、圖13所示的方案相同，通過在視差校正部16中進行校正幾何視差(視差量D)的視差校正，從而由差分圖像生成部18生成左側(cè)圖像和右側(cè)圖像的在圖像的左右方向(X方向)上的差分被強調(diào)了的差分圖像。在上述的方案中，因為為了變更移位量S，需要調(diào)整攝影裝置10L、IOR的至少一方的方向，所以實質(zhì)上移位量S的變更是困難的，但是相對第一實施方式具有無需變更立體物檢測裝置12的結(jié)構(gòu)，即可生成左側(cè)圖像和右側(cè)圖像的在圖像的左右方向(X方向)上的差分被強調(diào)了的差分圖像的優(yōu)點。另外，上述的方案是本發(fā)明的第十六方案，更加詳細地說是本發(fā)明的第十九方案的一例。此外，雖然在上述中沒有特別設(shè)置攝影光源，假定了攝影裝置10LU0R將自然光作為照明光進行攝影的方案進行了說明，但不限定于此，也可以將發(fā)出例如近紅外光的光源作為攝影光源進行設(shè)置，以用從攝影光源發(fā)出并由被拍攝體反射的光進行攝影的方式構(gòu)成攝影裝置10L、10R。此外，照明光也可以是近紅外光以外的波段的光。此外，雖然在上述中作為本發(fā)明的差分信息(差分圖像)的一例，說明了生成表示第一圖像和第二圖像的亮度的差分(或者濃度、或者在HSV色空間中的明度(其中，H是色調(diào)、S是彩度(或飽和度)、v是明度))的差分信息(差分圖像)的方案，但不限定于此，只要第一圖像和第二圖像是彩色圖像，就可以作為差分信息(差分圖像)生成表示例如第一圖像和第二圖像的色調(diào)或彩度(或飽和度)的差分的差分信息(差分圖像)。此外，也可以組合多個參數(shù)，將例如與第一圖像和第二圖像的亮度的差分、第一圖像和第二圖像的色調(diào)(或彩度)的差分的邏輯和相當(dāng)?shù)膱D像作為差分信息(差分圖像)生成。此外，也可以從對第一圖像和第二圖像分別進行邊緣提取等過濾處理而得到的圖像生成表示兩圖像的亮度等的差分的差分信息(差分圖像)。此外，雖然在上述中說明了單獨進行收縮處理的方案，但也可以與任意的過濾處理，例如膨脹處理組合，以每當(dāng)執(zhí)行多次例如收縮處理時執(zhí)行一次膨脹處理等的方式以不同的執(zhí)行次數(shù)交替地執(zhí)行收縮處理和膨脹處理。由此，能防止差分圖像的破碎。此外，還可以代替組合收縮處理和膨脹處理，而應(yīng)用細線化處理等其它的圖像處理。此外，雖然在上述中以攝影裝置10LU0R和立體物檢測裝置12裝載于車輛來檢測存在于車輛前方的空間的立體物(障礙物)的方案為例進行了說明，但本發(fā)明涉及的圖像處理裝置的用途不限于此，能應(yīng)用于例如自行式的機器人的障礙物檢測等各種用途是不言而 喻的。進而，利用本實施方式涉及的立體物檢測裝置12的處理能全部置換為利用計算機的處理，也可以由計算機進行上述處理。在這種情況下，利用計算機進行上述處理用的程序是本發(fā)明的第二十四方案涉及的圖像處理程序的一例，通過計算機執(zhí)行上述程序，從而計算機作為本發(fā)明的第一方案涉及的圖像處理裝置而發(fā)揮作用。此外，上述的程序也可以以記錄于⑶一 ROM、DVD — ROM等記錄介質(zhì)的方式提供。該方案中的記錄介質(zhì)是本發(fā)明的第二十五方案涉及的記錄介質(zhì)的一例。另外，日本申請(日本特愿2010-065166號)的公開，其整體通過參照引入到本說明書中。此外，本說明書中記載的所有的文獻、專利申請和技術(shù)標(biāo)準(zhǔn)，與具體且分別記述通過參照而引入各個文獻、專利申請和技術(shù)標(biāo)準(zhǔn)的情況相同程度地，通過參照而引入到本說明書中。
權(quán)利要求
1.一種圖像處理裝置，其包括 存儲單元，對沿與豎直方向?qū)?yīng)的圖像上的第二方向的圖像上的各位置分別存儲偏移量信息，該偏移量信息表示與視差相當(dāng)?shù)钠屏浚撈屏渴怯傻谝粩z影裝置進行攝影的第一圖像和由水平方向位置與所述第一攝影裝置不同的第二攝影裝置進行攝影的第二圖像的、沿與所述水平方向?qū)?yīng)的圖像上的第一方向的偏移量； 獲取單元，分別獲取由所述第一攝影裝置進行攝影的第一圖像和由所述第二攝影裝置進行攝影的第二圖像； 處理單元，對圖像中的沿所述第一方向的各像素列分別進行視差校正，該視差校正是使圖像中的沿所述第一方向的像素列的沿所述第一方向的圖像上的位置，根據(jù)與所述像素列的沿所述第二方向的圖像上的位置對應(yīng)的所述偏移量信息表示的所述偏移量，在所述第一圖像和所述第二圖像中相對地移動；以及 生成單元，生成差分信息，該差分信息表示經(jīng)過了利用所述處理單元的所述視差校正的所述第一圖像和所述第二圖像的差分。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中， 所述生成單元生成按每個像素表示所述第一圖像和所述第二圖像的差分的差分圖像，作為所述差分信息； 所述圖像處理裝置還具備消除單元，該消除單元通過將存在于由所述生成單元生成的所述差分圖像中的、表示所述第一圖像和所述第二圖像存在差分的差分像素作為對象進行收縮處理，從而消除所述差分圖像的噪聲。
3.根據(jù)權(quán)利要求I或權(quán)利要求2所述的圖像處理裝置，其中， 存儲于所述存儲單元的偏移量信息表示的偏移量是將該偏移量用像素數(shù)表示的偏移量D，偏移量D在設(shè)距所述第一攝影裝置和所述第二攝影裝置的設(shè)置位置處的地面的攝影光軸的高度為h_cam、相對于豎直方向的攝影光軸的傾斜角度為Θ、光學(xué)系統(tǒng)的焦距為f、圖像的沿所述第一方向的像素數(shù)為W、沿所述第二方向的像素數(shù)為h、圖像的沿所述第一方向的攝像尺寸為w_img、沿所述第二方向的攝像尺寸為h_img、沿所述第二方向的圖像上的位置(像素數(shù))為P、作為所述第一攝影裝置和所述第二攝影裝置的攝影光軸的距離的基線長為b時，D = bXf/L_camX (w/2)/(w_ing/2) ... (I) 其中，L_cam是位于地面上且沿第二方向成像于圖像上的位置(像素數(shù))P的物體和所述第一攝影裝置或所述第二攝影裝置的直線距離，L是所述物體和所述第一攝影裝置或所述第二攝影裝置的距離，L_cam=-廠(h_cam2+L2) X cos (tan 1 (L/h_cam) - θ )... (2)L = tan (tan-1 ((P- (h/2)) X (h_img/2) / (h/2) /f) + Θ ) Xh_cam…(3) 偏移量D通過進行上述(I) (3 )式的運算而預(yù)先導(dǎo)出。
4.根據(jù)權(quán)利要求I 權(quán)利要求3的任一項所述的圖像處理裝置，其中， 所述偏移量信息是將沿所述第一方向的圖像上的各位置處的所述偏移量用像素數(shù)表示的信息， 所述處理單元具備使所述第一圖像或所述第二圖像的輸出以像素單位進行延遲的延遲單元，一邊根據(jù)輸出對象的所述像素列的沿所述第一方向的圖像上的位置的變化切換利用所述延遲單元的延遲像素數(shù)，一邊進行所述視差校正，該視差校正是在將所述第一圖像和所述第二圖像以像素單位并列地向所述生成單元輸出時，利用所述延遲單元使所述第一圖像的輸出或所述第二圖像的輸出相對地延遲與輸出對象的所述像素列的沿所述第一方向的圖像上的位置對應(yīng)的所述偏移量表示的像素數(shù)的量。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中， 所述延遲單元構(gòu)成為串聯(lián)連接有多個使所述第一圖像或所述第二圖像的輸出延遲一個像素的量的延遲部， 所述處理單元將通過了與像素數(shù)對應(yīng)的數(shù)量的所述延遲部的數(shù)據(jù)選擇為作為所述第一圖像或所述第二圖像輸出的數(shù)據(jù)，其中該像素數(shù)是與輸出對象的所述像素列的沿所述第一方向的圖像上的位置對應(yīng)的所述偏移量所表示的像素數(shù)，由此使作為所述第一圖像或所述第二圖像輸出的數(shù)據(jù)延遲所述像素數(shù)的量。
6.根據(jù)權(quán)利要求I 權(quán)利要求5的任一項所述的圖像處理裝置，其中，所述處理單元將沿所述第一方向的圖像上的位置位于下述范圍的所述像素列從所述視差校正的對象中排除，該范圍是比與預(yù)先設(shè)定的水平線相當(dāng)?shù)奈恢每控Q直方向上側(cè)所對應(yīng)的范圍。
7.根據(jù)權(quán)利要求I 權(quán)利要求6的任一項所述的圖像處理裝置，其中， 還具備校正單元，該校正單元對由所述獲取單元獲取的所述第一圖像和所述第二圖像校正下述差異的至少一個所述第一攝影裝置和所述第二攝影裝置的沿所述水平方向的攝影范圍的差異、攝影倍率的差異、繞攝影光軸的旋轉(zhuǎn)角的差異、以及亮度的差異， 所述處理單元對經(jīng)過了利用所述校正單元的所述校正的所述第一圖像和所述第二圖像進行所述視差校正。
8.根據(jù)權(quán)利要求I 權(quán)利要求7的任一項所述的圖像處理裝置，其中，還具備立體物檢測單元，該立體物檢測單元基于由所述生成單元生成的差分信息，檢測分別存在于所述第一攝影裝置和所述第二攝影裝置的攝影范圍內(nèi)的立體物。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置，其中，還具備輸出單元，該輸出單元輸出利用所述立體物檢測單元的所述立體物的檢測結(jié)果。
10.根據(jù)權(quán)利要求8或權(quán)利要求9所述的圖像處理裝置，其中， 所述生成單元生成按每個像素表示所述第一圖像和所述第二圖像的差分的差分圖像，作為所述差分信息， 所述立體物檢測單元基于存在于由所述生成單元生成的所述差分圖像中的、表示所述第一圖像和所述第二圖像存在差分的差分像素在所述差分圖像上的分布，從所述差分圖像中提取與所述立體物相當(dāng)?shù)膱D像區(qū)域，由此，檢測與所述立體物相當(dāng)?shù)膱D像區(qū)域在圖像上的位置。
11.根據(jù)權(quán)利要求8或權(quán)利要求9所述的圖像處理裝置，其中， 所述生成單元生成按每個像素表示所述第一圖像和所述第二圖像的差分的差分圖像，作為所述差分信息， 所述立體物檢測單元從由所述生成單元生成的所述差分圖像中提取與所述立體物相當(dāng)?shù)膱D像區(qū)域，基于由存在于提取的各個所述圖像區(qū)域內(nèi)的、表示所述第一圖像和所述第二圖像存在差分的差分像素構(gòu)成的線狀的差分區(qū)域的寬度，檢測與對應(yīng)于各個圖像區(qū)域的立體物的距離。
12.根據(jù)權(quán)利要求8、權(quán)利要求9和權(quán)利要求11的任一項所述的圖像處理裝置，其中，所述生成單元生成按每個像素表示所述第一圖像和所述第二圖像的差分的差分圖像，作為所述差分信息， 所述立體物檢測單元從由所述生成單元生成的所述差分圖像中提取與所述立體物相當(dāng)?shù)膱D像區(qū)域，一邊按各個所述圖像區(qū)域的每一個判定由存在于提取的各個所述圖像區(qū)域內(nèi)的所述差分像素構(gòu)成的線狀的差分區(qū)域是否已消失，一邊反復(fù)將存在于所述差分圖像中的、表示所述第一圖像和所述第二圖像存在差分的差分像素作為對象進行收縮處理，基于在所述線狀的差分區(qū)域從各個所述圖像區(qū)域中消失的時間點的所述收縮處理的執(zhí)行次數(shù)，檢測與對應(yīng)于各個圖像區(qū)域的立體物的距離。
13.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中， 所述生成單元生成按每個像素表示所述第一圖像和所述第二圖像的差分的差分圖像，作為所述差分信息， 所述立體物檢測單元將存在于所述差分圖像中的、表示所述第一圖像和所述第二圖像存在差分的差分像素作為對象進行多次收縮處理，并且判定由所述差分像素構(gòu)成的線狀的差分區(qū)域是否已從所述差分圖像中消失， 所述輸出單元根據(jù)在所述線狀的差分區(qū)域從所述差分圖像中消失的時間點的所述收縮處理的執(zhí)行次數(shù)是否未達到閾值、或在執(zhí)行了規(guī)定次數(shù)的所述收縮處理的時間點所述線狀的差分區(qū)域是否已從所述差分圖像中消失，切換是否輸出立體物檢測信號或切換輸出的立體物檢測信號的種類。
14.根據(jù)權(quán)利要求I 權(quán)利要求13的任一項所述的圖像處理裝置，其中， 所述生成單元生成按每個像素表示所述第一圖像和所述第二圖像的差分的差分圖像，作為所述差分信息， 所述圖像處理裝置還具備像素數(shù)計數(shù)單元，該像素數(shù)計數(shù)單元對存在于由所述生成單元生成的所述差分圖像中的、表示所述第一圖像和所述第二圖像存在差分的差分像素的數(shù)量進行計數(shù)，輸出計數(shù)結(jié)果。
15.根據(jù)權(quán)利要求14所述的圖像處理裝置，其中，所述像素數(shù)計數(shù)單元對所述差分圖像之中存在于經(jīng)由指定單元指定的區(qū)域內(nèi)的所述差分像素的數(shù)量進行計數(shù)。
16.根據(jù)權(quán)利要求I 權(quán)利要求15的任一項所述的圖像處理裝置，其中， 所述生成單元生成按每個像素表示經(jīng)過了利用所述處理單元的所述視差校正的所述第一圖像和所述第二圖像的差分的差分圖像， 由所述生成單元生成的所述差分圖像被構(gòu)成為表示在下述狀態(tài)下的所述第一圖像和所述第二圖像的差分的差分圖像，其中該狀態(tài)是通過利用所述處理單元的所述視差校正對幾何視差進行了校正，而且沿所述第一方向相對地被移位了預(yù)先設(shè)定的移位量的狀態(tài)。
17.根據(jù)權(quán)利要求16所述的圖像處理裝置，其中， 使存儲于所述存儲單元的所述偏移量信息表示的偏移量為與所述幾何視差相當(dāng)?shù)钠屏浚鎏幚韱卧趯λ龅谝粓D像和所述第二圖像進行所述視差校正之前或在進行了所述視差校正之后，使所述第一圖像和所述第二圖像沿所述第一方向相對地移位預(yù)先設(shè)定的移位量。
18.根據(jù)權(quán)利要求16所述的圖像處理裝置，其中，使存儲于所述存儲單元的所述偏移量信息表示的偏移量為在與所述幾何視差相當(dāng)?shù)钠屏可霞由吓c預(yù)先設(shè)定的所述移位量相當(dāng)?shù)钠屏恐蟮钠屏浚蛘?，使存儲于所述存儲單元的所述偏移量信息表示的偏移量為與所述幾何視差相當(dāng)?shù)钠屏浚谟糜诶盟鎏幚韱卧乃鲆暡钚Ｕ凹由吓c所述移位量相當(dāng)?shù)钠屏俊?br> 19.根據(jù)權(quán)利要求16所述的圖像處理裝置，其中， 使存儲于所述存儲單元的所述偏移量信息表示的偏移量為與所述幾何視差相當(dāng)?shù)钠屏浚? 所述第一攝影裝置和所述第二攝影裝置被設(shè)成如下方向，該方向使得所述第一攝影裝置的攝影光軸和所述第二攝影裝置的攝影光軸的間隔隨著從所述第一攝影裝置和所述第二攝影裝置遠離而變大，所述方向被調(diào)整為使得所述第一圖像和所述第二圖像成為沿所述第一方向相對地被移位了預(yù)先設(shè)定的移位量的狀態(tài)。
20.根據(jù)權(quán)利要求16 權(quán)利要求19的任一項所述的圖像處理裝置，其中，還具備收縮處理單元，該收縮處理單元將存在于由所述生成單元生成的所述差分圖像中的、表示所述第一圖像和所述第二圖像存在差分的差分像素作為對象，執(zhí)行第一次數(shù)的沿所述第二方向的收縮處理，并且執(zhí)行比所述第一次數(shù)多的第二次數(shù)的沿所述第一方向的收縮處理。
21.根據(jù)權(quán)利要求16 權(quán)利要求19的任一項所述的圖像處理裝置，其中，所述移位量被設(shè)定為與所述幾何視差相當(dāng)?shù)钠屏康淖畲笾档?/2以下的大小。
22.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中，所述第一攝影裝置和所述第二攝影裝置被設(shè)成如下方向，該方向使得所述第一攝影裝置的攝影光軸和所述第二攝影裝置的攝影光軸的間隔隨著從所述第一攝影裝置和所述第二攝影裝置遠離而變大。
23.一種圖像處理方法，其中， 存儲單元對沿與豎直方向?qū)?yīng)的圖像上的第二方向的圖像上的各位置分別存儲偏移量信息，該偏移量信息表示與視差相當(dāng)?shù)钠屏浚撈屏渴怯傻谝粩z影裝置進行攝影的第一圖像和由水平方向位置與所述第一攝影裝置不同的第二攝影裝置進行攝影的第二圖像的、沿與所述水平方向?qū)?yīng)的圖像上的第一方向的偏移量； 獲取單元分別獲取由所述第一攝影裝置進行攝影的第一圖像和由所述第二攝影裝置進行攝影的第二圖像； 處理單元對圖像中的沿所述第一方向的各像素列分別進行視差校正，該視差校正是使圖像中的沿所述第一方向的像素列的沿所述第一方向的圖像上的位置，根據(jù)與所述像素列的沿所述第二方向的圖像上的位置對應(yīng)的所述偏移量信息表示的所述偏移量，在所述第一圖像和所述第二圖像中相對地移動； 生成單元生成差分信息，該差分信息表示經(jīng)過了利用所述處理單元的所述視差校正的所述第一圖像和所述第二圖像的差分。
24.—種圖像處理程序，其中， 所述圖像處理程序用于使與存儲單元連接的計算機能作為獲取單元、處理單元以及生成單元發(fā)揮功能， 所述存儲單元對沿與豎直方向?qū)?yīng)的圖像上的第二方向的圖像上的各位置分別存儲偏移量信息，該偏移量信息表示與視差相當(dāng)?shù)钠屏?，該偏移量是由第一攝影裝置進行攝影的第一圖像和由水平方向位置與所述第一攝影裝置不同的第二攝影裝置進行攝影的第二圖像的、沿與所述水平方向?qū)?yīng)的圖像上的第一方向的偏移量， 所述獲取單元分別獲取由所述第一攝影裝置進行攝影的第一圖像和由所述第二攝影裝置進行攝影的第二圖像， 所述處理單元對圖像中的沿所述第一方向的各像素列分別進行視差校正，該視差校正是使圖像中的沿所述第一方向的像素列的沿所述第一方向的圖像上的位置，根據(jù)與所述像素列的沿所述第二方向的圖像上的位置對應(yīng)的所述偏移量信息表示的所述偏移量，在所述第一圖像和所述第二圖像中相對地移動， 所述生成單元生成差分信息，該差分信息表示經(jīng)過了利用所述處理單元的所述視差校正的所述第一圖像和所述第二圖像的差分。
25.—種記錄介質(zhì),其中， 所述記錄介質(zhì)記錄有用于使與存儲單元連接的計算機能作為獲取單元、處理單元以及生成單元發(fā)揮功能的圖像處理程序， 所述存儲單元對沿與豎直方向?qū)?yīng)的圖像上的第二方向的圖像上的各位置分別存儲偏移量信息，該偏移量信息表示與視差相當(dāng)?shù)钠屏?，該偏移量是由第一攝影裝置進行攝影的第一圖像和由水平方向位置與所述第一攝影裝置不同的第二攝影裝置進行攝影的第二圖像的、沿與所述水平方向?qū)?yīng)的圖像上的第一方向的偏移量， 所述獲取單元分別獲取由所述第一攝影裝置進行攝影的第一圖像和由所述第二攝影裝置進行攝影的第二圖像， 所述處理單元對圖像中的沿所述第一方向的各像素列分別進行視差校正，該視差校正是使圖像中的沿所述第一方向的像素列的沿所述第一方向的圖像上的位置，根據(jù)與所述像素列的沿所述第二方向的圖像上的位置對應(yīng)的所述偏移量信息表示的所述偏移量，在所述第一圖像和所述第二圖像中相對地移動， 所述生成單元生成差分信息，該差分信息表示經(jīng)過了利用所述處理單元的所述視差校正的所述第一圖像和所述第二圖像的差分。
全文摘要
本發(fā)明通過簡易的結(jié)構(gòu)、處理實現(xiàn)用短時間從由多個攝影裝置進行攝影的圖像中提取與立體物相當(dāng)?shù)男畔ⅰ１景l(fā)明對沿圖像的Y方向的各位置將視差信息存儲于存儲部(44)，該視差信息表示由水平方向位置不同的一對攝影裝置進行攝影的一對圖像中的沿X方向的視差量，視差校正控制部(42)從存儲部(44)讀取與從前圖像處理部(14)輸入的一行的量的圖像數(shù)據(jù)的Y坐標(biāo)值對應(yīng)的視差量，以使一方的圖像數(shù)據(jù)的輸出延遲與視差量相應(yīng)的量的方式向選擇器(38、44)輸出選擇信號。差分圖像生成部(18)按每個像素運算出輸入的一對圖像數(shù)據(jù)的差分的絕對值，并將其作為檢測立體物用的差分圖像輸出。
文檔編號G06T1/00GK102792333SQ20118001451
公開日2012年11月21日 申請日期2011年3月15日 優(yōu)先權(quán)日2010年3月19日
發(fā)明者一森高示 申請人:拉碧斯半導(dǎo)體株式會社