CD或者CMOS、背面照射CMOS等固體拍攝元件。右拍攝裝置11和左拍攝裝置12可以是僅獲取亮度信息的黑白的拍攝裝置，也可以是彩色的拍攝裝置。
[0052]右拍攝裝置11和左拍攝裝置12分別幾乎同時地周期性地拍攝車輛前方的預定范圍。在路面標識有白線的情況下，在圖像上拍攝有路緣石(或者人行道臺階)以及白線。應予說明，白線只不過是劃分車道的路面標識的一個例子。在表現(xiàn)為白線的情況下，不局限于白色的線，包括有彩色的線狀標識、點線、虛線、蟲點(Botts’dots)以及貓眼(cat’s-eye)等。
[0053]拍攝裝置計算機13是具備CPU、ROM、RAM、CAN控制器、輸入輸出I/F、以及其他通常電路的計算機。如下述那樣，拍攝裝置計算機13進行變形修正/平行化、階梯差的檢測、車行道參數(shù)的推斷、以及遠方區(qū)域的線段的檢測等。
[0054]〔關(guān)于拍攝裝置計算機的功能〕
[0055]圖3表示拍攝裝置計算機13的功能框圖的一個例子。拍攝裝置計算機13具有立體圖像獲取部21、變形修正/平行化部22、邊緣提取部23、視差檢測部24、路面檢測部25、路面構(gòu)造推斷部26、階梯差判斷部27、車行道參數(shù)推斷部28、搜索范圍設定部29、以及邊緣線段檢測部30。
[0056]這些各功能在圖4的流程圖中示出的路旁物檢測裝置100的動作中發(fā)揮功能。以下，基于圖4按順序?qū)@些各功能進行說明。應予說明，每當拍攝左右一對圖像時反復執(zhí)行圖4的步驟。
[0057]< SlO圖像數(shù)據(jù)的獲取>
[0058]立體圖像獲取部21分別獲取右拍攝裝置11進行周期性地拍攝得到的圖像以及左拍攝裝置12進行周期性地拍攝得到的圖像的圖像數(shù)據(jù)，并存儲至緩存器等。
[0059]< S20變形修正/平行化>
[0060]變形修正/平行化部22使用預先獲取的拍攝裝置的外部參數(shù)以及內(nèi)部參數(shù)，來修正左右圖像的變形并進行平行化。內(nèi)部參數(shù)例如是指右拍攝裝置11和左拍攝裝置12各自的透鏡的變形、畸變像差、拍攝元件的變形、焦距等。例如通過參照基于透鏡的設計值生成的修正變換表，對圖像數(shù)據(jù)進行修正來減少透鏡的變形。通過基于使用了半徑方向的畸變像差的模型的參數(shù)推斷對圖像數(shù)據(jù)進行修正，來減少畸變像差。
[0061]外部參數(shù)例如是將拍攝裝置的安裝位置和方向進行數(shù)值化得到的。由于在左右拍攝裝置的安裝位置(例如高度)以及方向(間距、側(cè)擺、橫擺)存在稍許差別，所以存在右拍攝裝置11和左拍攝裝置12的光軸高度不完全一致且不完全平行的情況。因此，由于該外部參數(shù)的差別，例如存在右拍攝裝置11和左拍攝裝置12的拍攝系統(tǒng)以光軸為中心相對地旋轉(zhuǎn)的情況。為了減少這樣的旋轉(zhuǎn)，在立體拍攝裝置中，在出廠前由車輛廠商等進行校準。在校準中，分別利用右拍攝裝置11和左拍攝裝置12拍攝變形校正用的方格圖(chart)。校正用的方格圖描繪正方形的白格和黑格以棋盤格狀反轉(zhuǎn)的格子。例如，以右拍攝裝置11的圖像的白黑格與左拍攝裝置12的圖像的白黑格一致的方式，確定出像素彼此的對應關(guān)系。對應關(guān)系被登記于表，例如與右拍攝裝置11的全部像素對應地設定將修正前的像素位置變換至哪個像素位置。
[0062]在圖中，將用于基于內(nèi)部參數(shù)和外部參數(shù)進行左右圖像的變形修正以及平行化的數(shù)據(jù)設為查找表31。通過像這樣進行變形修正以及平行化，能夠進行高效的視差搜索。
[0063]圖5的(a)是表示平行化了的右拍攝裝置11的圖像數(shù)據(jù)和左拍攝裝置12的圖像數(shù)據(jù)的一個例子的圖。在本實施方式中，作為道路坐標系，將車輛寬度方向設為X軸，將車輛高度方向設為Y軸，以及將行進方向設為Z軸。坐標P(X，Y，Z)分別映于左拍攝裝置12的像素Pl和右拍攝裝置11的像素Pr。
[0064]<S30視差計算>
[0065]在檢測視差時，搜索像素Pr對應像素P1。由于知曉兩個圖像已被平行化，所以路旁物檢測裝置100僅與水平方向平行地搜索圖像數(shù)據(jù)即可。
[0066]應予說明，也可以針對變形修正/平行化部22進行了平行化的左右圖像數(shù)據(jù)進行視差搜索，但通過在進行邊緣強調(diào)處理之后進行視差搜索，會使搜索變得容易。因此，邊緣提取部23從左右圖像提取邊緣。已知各種邊緣提取的濾波器，但例如使用索貝爾(sobel)濾波器。
[0067]圖5的(b)是表示濾波處理的結(jié)果的一個例子的圖。在原始圖像上拍攝有白線、護欄、以及樹木等，但通過濾波處理，右拍攝裝置11和左拍攝裝置12的圖像變成強調(diào)了白線、護欄或者樹木的端部的(在圖中以白色的像素表示)圖像。
[0068]圖6的(a)是對視差的搜索進行說明的圖的一個例子。這里，著眼于右圖像數(shù)據(jù)的像素，從左圖像數(shù)據(jù)確定出與右圖像數(shù)據(jù)一致(相關(guān)性最高或者具有一定以上相關(guān)性)的區(qū)域。視差計算部27對包括所著眼的像素的區(qū)域(以下稱作“窗口 ”)，計算SAD (Sum ofAbsolute Difference:絕對差值和)或者 SSD (Sum of Squared Differences:差方和)。SAD是每個像素的像素值的差的絕對值的合計，SSD是每個像素的像素值的差的平方和。SAD和SAD的任意一個越小，意味著窗口所包含的圖像的一致度越高。
[0069]如圖示那樣，在著眼于(x，y)的像素的情況下，生成以像素(x，y)為中心的矩形窗口，從右圖像也生成以像素(x，y)為中心的窗口。視差計算部27若在左圖像的窗口和右圖像的窗口中計算SAD或者SSD，則將右圖像的窗口的整體向右偏移一個像素(pixel)，來計算SAD或者SSD，并反復進行。換句話說，由于被平行化，所以在右圖像中不將窗口向y軸方向偏移，只向X方向逐個像素地偏移即可。
[0070]圖6的(b)表不X方向的偏移量(視差)和SAD的關(guān)系的一個例子。SAD相對于偏移量示出極小值。表示幾個極小值中的最小值的像素的偏移量是在右圖像中著眼的像素(X，y)的視差。
[0071]預先決定X方向的搜索范圍。但是，視差計算部27也可以針對右圖像在X方向的全部像素求出SAD或者SSD，還可以在不決定搜索范圍而在SAD或者SSD示出了閾值以下的極小值的情況下，停止SAD或者SSD的計算。前者能夠求出最準確的視差，后者能夠高效地求出某種程度準確的視差。
[0072]應予說明，也可以如上述那樣根據(jù)亮度圖像求出視差。另外，還可以根據(jù)邊緣圖像和亮度圖像這雙方來求出視差。在使用了邊緣圖像和亮度圖像這雙方的情況下，將SAD或者SSD為極小的像素的偏移量的平均作為視差，或者對邊緣圖像和亮度圖像進行加權(quán)來決定視差。通過這樣，能夠更加準確地求出視差。
[0073]視差計算部27除了計算像素單位的整數(shù)視差之外，還計算子像素視差。已知子像素視差的求法有等角擬合、拋物線擬合等。
[0074]另外，可以在畫面的整體中獲取視差，考慮僅在附近區(qū)域使用，也可以僅在附近區(qū)域獲取視差。
[0075]圖7是表示利用等角擬合求出子像素視差的求法的一個例子的圖。在圖7中示出圖6的(b)的SAD為最小值的視差以及該SAD前后的SAD值。將SAD為最小值的視差的SAD值設為C，將與最小值相比視差小的一側(cè)的SAD值設為a，將與最小值相比視差大的一側(cè)的SAD值設為b。若a = b，則SAD為最小值的視差為子像素單位的視差。在圖示那樣為a > b的情況下，子像素視差SP成為比SAD為最小值的視差大的值。在a < b的情況下相反。在等角擬合中，針對SAD為最小值的視差，按照以下方式求出子像素視差SP。
[0076]在a > b 的情況下 SP = (a_b)/2(a_b)
[0077]在a < b 的情況下 SP = - (b_c)/2 (b_c)
[0078]視差計算部27將整數(shù)視差和子像素視差SP的和決定為注視像素的視差。若像這樣以像素單位求出視差，則能夠計算出至以像素單位映于像素的物的距離。
[0079]<S40路面推斷>
[0080]路面檢測部25根據(jù)視差圖像推斷路面的構(gòu)造。因此，首先從圖像僅推斷路面的區(qū)域。應予說明，所謂路面的區(qū)域，不區(qū)分路緣石、人行道臺階等步行者所行走的區(qū)域和車輛所行駛的車道，若是沒有立體物的平坦區(qū)域，則設為路面的區(qū)域。
[0081]圖8是對路面區(qū)域的推斷進行說明的圖的一個例子。在圖8中，在圖像上重疊表示視差信息。通過將亮度與視差對應并與圖像數(shù)據(jù)重疊，將相同視差的像素加工成為相同程度的亮度。
[0082]在圖像中拍攝有立體物的情況下，至立體物的距離在該立體物中為同程度，所以視差也為相同程度。與此相對，路面越處于遠方，視差越大，所以I方向的視差根據(jù)I值而不同。因而，從圖像的y坐標的下端向上方掃描(圖的箭頭)，在視差的差別在預定值內(nèi)的像素連續(xù)的情況下，能夠判斷為立體物。在視差的差別在預定值內(nèi)的像素不連續(xù)的情況下，能夠判斷為路面(的視差)。應予說明，由于在本實施例中檢測子像素單位的視差，所以將預定值設為小于一個像素。
[0083]在以圖示的箭頭掃描的情況下，在包括人行道、路緣石掃描路面時，視差逐漸變大，所以判斷為路面。若開始先行車輛的掃描，則視差的變化限制在預定值內(nèi)，所以判斷為立體物。
[0084]< S50路面構(gòu)造的推斷>
[0085]路面構(gòu)造推斷部26僅使用相對于車輛在附近區(qū)域的視差信息，來進行路面構(gòu)造的推斷。通過僅使用附近區(qū)域的圖像數(shù)據(jù)，能夠不使用容易包含誤差的遠方的視差信息地推斷路面構(gòu)造。附近區(qū)域是視差信息的精度有可靠性的區(qū)域，取決于立體拍攝裝置的質(zhì)量、設計。另外，在視差信息的精度受到白天和夜間的差別、或者晴天和雨天的差別等影響的情況下，即使是搭載于某車輛的同一立體拍攝裝置，也存在附近區(qū)域不固定的情況。由此，附近區(qū)域是考慮條件惡化的情況，針對視差信息的精度在閾值以上的某區(qū)域(從圖像的y坐標的下端開始預定像素個數(shù))設置了預定余量的區(qū)域(換句話說，是比視差信息的精度為閾值以上的某區(qū)域稍窄的區(qū)域)。另外，也可以利用照度傳感器等檢測白天或夜間，另外利用雨傳感器等檢測天氣，從而可變地設定附近區(qū)域。通過這樣，能夠根據(jù)給視差信息的精度帶來影響的狀況，來最大限地利用至遠方的視差信息。
[0086]首先，路面構(gòu)造推斷部26利用視差信息來計算至附近區(qū)域的路面的距離D