用W計(jì)算與圖3A中的基準(zhǔn)像素相對(duì) 應(yīng)的對(duì)應(yīng)像素的評(píng)估值的示意圖。圖4是移動(dòng)量d與評(píng)估值C之間關(guān)系的圖。對(duì)應(yīng)像素是 與基準(zhǔn)圖像內(nèi)的基準(zhǔn)像素最為類似的比較圖像內(nèi)的像素。W下,用C(p,d)表示C(x,y,d)。 [004引如圖3所示,根據(jù)基準(zhǔn)圖像內(nèi)指定基準(zhǔn)像素P (X,y)的灰度值和比較圖像內(nèi)對(duì)應(yīng)于 該基準(zhǔn)像素p(x,y)的核線化巧pipolarLine)上的多個(gè)對(duì)應(yīng)像素的候補(bǔ)q(x+d,y)的灰度 值,計(jì)算該多個(gè)對(duì)應(yīng)像素候補(bǔ)q(x+d,y)的評(píng)估值C(p,d)。d是對(duì)應(yīng)像素候補(bǔ)q相對(duì)于基準(zhǔn) 像素P的移動(dòng)量,在本實(shí)施方式中W像素單位表示d。換言之,在圖3中,在預(yù)定范圍(例如 0 <d< 25)內(nèi)W-個(gè)像素的移動(dòng)量逐個(gè)移動(dòng)像素,計(jì)算對(duì)應(yīng)像素候補(bǔ)q(x+d,y)和基準(zhǔn)像 素P(x,y)之間灰度值的評(píng)估值C(p,d)。關(guān)于表示非類似度的評(píng)估值C的計(jì)算方法,采用 SAD(SumofAbsoluteDifference)等公知方法。
[0049] 圖4是按上述方法求出的評(píng)估值C(p,d)與移動(dòng)量d之間關(guān)系的曲線圖。在圖4 中移動(dòng)量d= 5、12、19時(shí)評(píng)估值C為0,為此無(wú)法求出最小值。也就是說(shuō)無(wú)法求出質(zhì)地不清 晰對(duì)象體的評(píng)估值C。
[0050]合成評(píng)估估的計(jì)算
[005。W下參考圖5和圖6說(shuō)明合成評(píng)估值Ls(p,d)的計(jì)算方法。圖5是合成評(píng)估值計(jì) 算的示意圖。圖6是表示移動(dòng)量與合成評(píng)估值之間關(guān)系的曲線圖。本實(shí)施方式采用的合成 評(píng)估值的計(jì)算方法不僅求出非類似值C(p,d),而且把W指定基準(zhǔn)像素P(x,y)周圍的像素 P' (X',y')作為基準(zhǔn)像素時(shí)的評(píng)估值集約到基準(zhǔn)像素p(x,y)上,求出合成評(píng)估值Ls(p, d)。
[0052]W下詳述合成評(píng)估值的計(jì)算方法。在合成評(píng)估值Ls(p,d)的計(jì)算中,首先需要求 出徑路評(píng)估值Lr(P,d)。式3和式4分別用來(lái)計(jì)算徑路評(píng)估值Lr(P,d)和合成評(píng)估值Ls(P, d)〇
[0053]Lr(p,d) =C(p,d)+min{(Lr(p-r,d),Lr(p-r,d-l)+Pl,Lr(p-r,d+l)+Pl,Lr(p-r, d),L"in(p-r)+P2)}(式 3)
[0054] 式3中,r表示集約方向的方向矢量,具有X方向和y方向兩個(gè)成分。minW表示 求最小值的函數(shù)。Lrmin(p-;r)表示在r方向上移動(dòng)一個(gè)像素P之后的坐標(biāo)上改變移動(dòng)量d 時(shí)的Lr(p-r,d)的最小值。如式3所示遞歸性使用Lr。P1和P2是通過(guò)試驗(yàn)預(yù)設(shè)的固定參 數(shù),其便于讓徑路上相鄰基準(zhǔn)像素的視差值A(chǔ)具有連續(xù)性。例如P1 = 48,P2 = 96。
[00巧]如式3所示,在基準(zhǔn)像素P (X,y)的評(píng)估值C上加上圖5所示的r方向上各像素的 像素徑路評(píng)估值Lr的最小值,來(lái)計(jì)算Lr(p,d)。該樣,在計(jì)算r方向上各像素的Lr時(shí),最 先從基準(zhǔn)像素P(X,y)在r方向上最前端的像素開始計(jì)算Lr,而后沿著r方向計(jì)算Lr。
[0056]而后如圖 5 所示,計(jì)算八個(gè)方向的LrO、Lr45、Lr90、Lrl35、Lrl80、Lr225、Lr270、 Lr315,最后根據(jù)式4求出合成評(píng)估值Ls。
[0057]Lg(p,d) =EgLr(式 4)
[005引圖6是按照上述方法求出的各個(gè)合成評(píng)估值Ls(p,d)的Ls(p,d)曲線圖。圖6中 合成評(píng)估值Ls在移動(dòng)量d= 3時(shí)具有最小值,該樣,視差值A(chǔ)= 3。
[0059]在上述說(shuō)明中設(shè)r= 8,但是r并不受此局限。例如將每個(gè)方向進(jìn)一步分割為兩個(gè) 方向,8個(gè)方向成為16個(gè)方向,或分割為=個(gè)方向而成為24個(gè)方向。
[0060] 上述式4將用式3計(jì)算得到的所有關(guān)于徑路r的徑路評(píng)估值Lr合計(jì)來(lái)計(jì)算合成 評(píng)估值Ls,但是Ls的計(jì)算并不受此限制。本發(fā)明既可W用一條徑路的評(píng)估值Lr作為合成 評(píng)估值,也可W合成兩條W上的經(jīng)路的評(píng)估值Lr作為合成評(píng)估值Ls。
[0061] 上述用評(píng)估值C來(lái)表示非類似度的大小,但是也可W表示非類似度的倒數(shù)即類似 度的大小。此時(shí),采用NCC(Normalized化OSSCorrelation)等公知的算法作為評(píng)估值C 的計(jì)算方法。在該種情況下,合成評(píng)估值Ls求出的不是最小而是最大的視差值A(chǔ)。此外, 還可W表示一致度,一致度包含非類似度和類似度兩者。
[0062] 本連施方式的描i術(shù)
[0063] W下參考附圖詳述本實(shí)施方式的車載物體識(shí)別系統(tǒng)1。
[0064] 物體識(shí)別系統(tǒng)1不僅可W搭載于作為一例車輛的汽車上,而且還可W搭載于摩托 車、自行車、輪椅、農(nóng)用車輛等其他車輛上。而車輛也僅僅是移動(dòng)體的一個(gè)例子,物體識(shí)別系 統(tǒng)1還可W搭載于機(jī)器人等其他移動(dòng)體上。進(jìn)而,作為機(jī)器人,不僅只有移動(dòng)體,還有在自 動(dòng)化生產(chǎn)中固定設(shè)置的工業(yè)用機(jī)器人,因而,物體識(shí)別系統(tǒng)1也可W搭載于各種機(jī)器人上。 而固定設(shè)置的不僅有機(jī)器人,例如,物體識(shí)別系統(tǒng)1還可W作為監(jiān)視照相機(jī)。
[00巧] 連施方式的構(gòu)成
[0066] 首先參考圖7至圖9,描述本實(shí)施方式的整體構(gòu)成。
[0067] 外觀結(jié)構(gòu)
[0068] W下參考圖7和圖8描述本實(shí)施方式的物體識(shí)別系統(tǒng)1的外觀結(jié)構(gòu)。圖7A是搭 載本發(fā)明實(shí)施方式設(shè)及的物體識(shí)別系統(tǒng)的汽車的側(cè)視圖,圖7B是汽車的正視圖。圖8是物 體識(shí)別系統(tǒng)1外觀的立體圖。
[0069] 如圖7A和圖7B所示,本實(shí)施方式的物體識(shí)別系統(tǒng)1具備W對(duì)攝像裝置10a和10b, 該一對(duì)攝像裝置10a和1化被設(shè)置為能夠拍攝行駛方向前方的景象。
[0070] 如圖8所示,物體識(shí)別系統(tǒng)1 W主體部2 W及設(shè)與主體部2上的一對(duì)圓筒形攝像 裝置10a和1化構(gòu)成。
[0071] 蔣體硬件結(jié)構(gòu)
[0072]W下參考圖9描述物體識(shí)別系統(tǒng)1的整體硬件結(jié)構(gòu)。圖9是物體識(shí)別系統(tǒng)1整體 硬件結(jié)構(gòu)示意圖。
[0073] 如圖9所示,物體識(shí)別系統(tǒng)1中的主體部2具備視差值計(jì)算裝置3W及物體識(shí)別 裝置5。其中,視差值計(jì)算裝置3根據(jù)拍攝的對(duì)象體E的多張圖像來(lái)計(jì)算表示對(duì)對(duì)象體E視 差大小的視差值A(chǔ),輸出表示各像素視差值A(chǔ)的高密度視差圖像。物體識(shí)別裝置5根據(jù)視 差值計(jì)算裝置3輸出的高密度視差圖像,進(jìn)行從攝像裝置10a和1化到物體E之間距離的 測(cè)定等處理。
[0074] 在此首先描述視差值計(jì)算裝置3的硬件構(gòu)成。如圖9所示,視差值計(jì)算裝置3具備 攝像裝置10a、攝像裝置10b、信號(hào)轉(zhuǎn)換裝置20a、信號(hào)轉(zhuǎn)換裝置20b、W及圖像處理裝置30。
[0075] 攝像裝置10a用來(lái)拍攝前方的景象,生成表示圖像的模擬信號(hào),其中具有鏡頭 11a、光圈12a、W及圖像傳感器13a。鏡頭11a是讓通過(guò)鏡頭11a的物體的光折射成像的 光學(xué)元件。光圈12a用來(lái)遮擋一部分通過(guò)鏡頭11a的光,調(diào)整入射下述圖像傳感器13a的 光量。圖像傳感器13a是用來(lái)將從鏡頭11a和光圈12a輸入的光轉(zhuǎn)換為電子模擬圖像信 號(hào)的半導(dǎo)體元件,WCCD(Qiarge Coupled Devices)或CMOS(Complementary Metal Oxide Seicon化ctor)等構(gòu)成。攝像裝置10b的構(gòu)成與攝像裝置10a相同,在此省略描述。鏡頭 11a和1化被設(shè)置為雙方的透鏡表面位于同一個(gè)平面上。
[0076] 信號(hào)轉(zhuǎn)換裝置20a用來(lái)將表示攝像裝置10a拍攝的圖像的模擬信號(hào)轉(zhuǎn)換成數(shù)字信 號(hào)的圖像數(shù)據(jù),具有CDS(CorrelatedDoubleSampling) 21a、AGC(AutoGainCoutrol) 22a、 ADC(AnalogDigitalConverter) 23a、W及帖存儲(chǔ)器 24a。CDS21a對(duì)經(jīng)過(guò)圖像傳感器 13a 轉(zhuǎn)換的模擬圖像信號(hào)進(jìn)行相關(guān)性雙精度采樣,去除雜質(zhì)。AGC22a對(duì)經(jīng)過(guò)CDS21a去除雜音的 模擬圖像信號(hào)進(jìn)行增益控制,用來(lái)控制圖像信號(hào)的強(qiáng)度。ADC23a用來(lái)將經(jīng)過(guò)AGC22a增益控 制的模擬圖像信號(hào)轉(zhuǎn)換為數(shù)字形式的圖像數(shù)據(jù)。帖存儲(chǔ)器24a用來(lái)保存經(jīng)過(guò)轉(zhuǎn)換的圖像數(shù) 據(jù)。
[0077] 信號(hào)轉(zhuǎn)換裝置2化用來(lái)將表示攝像裝置1化拍攝的圖像的模擬信號(hào)轉(zhuǎn)換成數(shù)字信 號(hào)的圖像數(shù)據(jù),具有CDS2化、AGC22b、ADC23b、W及帖存儲(chǔ)器24b。同樣,CDS2化、AGC2化、 ADC23b、W及帖存儲(chǔ)器24b分別與CDS21a、AGC22a、ADC23a、W及帖存儲(chǔ)器24a具有相同構(gòu) 成,在此省略描述。
[0078] 圖像處理裝置30用來(lái)處理經(jīng)過(guò)信號(hào)轉(zhuǎn)換裝置20a和信號(hào)轉(zhuǎn)換裝置2化轉(zhuǎn)換的圖 像數(shù)據(jù),其中具備FPGA(Field Programm油le Gate Array)31、CPU(Central Processing Unit) 32、ROM巧63(1 Only Memoir) 33、RAM (Random Access Memoir) 34、I/F(Inte;rface) 35、 W及用來(lái)如圖9所示地電連接上述各元件31至35的地址線和數(shù)據(jù)線等主線39。
[0079] FPGA31使集成電路,在此執(zhí)行CPU32的指令,進(jìn)行表示圖像數(shù)據(jù)的圖像的視差值 計(jì)算等處理。CPU32控制視差值計(jì)算裝置3各項(xiàng)功能。R0M33保存用來(lái)控制視差值計(jì)算裝 置3各項(xiàng)功能的圖像處理用計(jì)算程序。RAM