專利名稱：車輛用周圍監(jiān)視裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種，設(shè)在車輛上，用于顯示拍攝車輛周圍的圖像的車輛用周圍監(jiān)視裝置。尤其涉及一種，當(dāng)車輛的周圍有障礙物時(shí)，能夠準(zhǔn)確地顯示該障礙物的存在的車輛用周圍監(jiān)視裝置。
背景技術(shù)：
近年，一般會使用，在車輛上設(shè)置攝像機(jī)，拍攝容易成為死角的車輛周邊的圖像并顯示給駕駛員的系統(tǒng)。且，如下系統(tǒng)也進(jìn)入實(shí)用化狀態(tài)，即，在車輛上設(shè)置多個攝像機(jī)，通過坐標(biāo)變換來生成如從正上方俯視的俯瞰圖像，并將生成的俯瞰圖像彼此合成后，顯示可觀測車輛周圍360。的圖像。 其中，提出如下發(fā)明方案，例如，在合各個成俯瞰圖像時(shí)，根據(jù)車輛的狀態(tài)設(shè)定圖像的接縫位置的發(fā)明方案(專利文獻(xiàn)I)?，F(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)I :日本特開2007 - 036668號公報(bào)但是，在專利文獻(xiàn)I公開的發(fā)明中，由于對具有一定高度的物體進(jìn)行向路面的投影變換而獲得其圖像，所以對自路面具有一定高度的物體進(jìn)行變換而獲得的圖像中會產(chǎn)生變形，進(jìn)而存在難以辨認(rèn)立體物體的問題。另外，當(dāng)由不同的攝像機(jī)拍攝的各個圖像的彼此接縫位置正好豎立著細(xì)柱狀物(立體物)時(shí)，如果對所拍攝的圖像進(jìn)行指向路面的投影變換，則該柱狀物被變換為在拍攝其柱狀物的攝像機(jī)的主點(diǎn)位置和柱狀物的連接方向上，向遠(yuǎn)離攝像機(jī)的方向橫向倒下的樣子。因此，如果在接縫位置合成圖像，則越過該接縫位置橫向倒下的柱狀物的變換圖像會被剪切，其結(jié)果，會存在有如下問題處于圖像接縫位置的柱狀物的變換圖像僅剩下與路面接觸的部分，即，在被合成的俯瞰圖像上，在該接縫處，會對于自路面具有一定高度的物體產(chǎn)生死角。

發(fā)明內(nèi)容
鑒于上述情況，本發(fā)明的目的在于提供一種，即使在各圖像的彼此接縫處，也不會產(chǎn)生死角，且可以無變形地準(zhǔn)確地顯示自路面具有一定高度的立體物的車輛用周圍監(jiān)視裝置。本發(fā)明涉及的車輛用周圍監(jiān)視裝置，其中，被安裝在車輛的周圍多個拍攝部中，相鄰拍攝部的拍攝范圍的一部分相互重疊；虛擬屏幕設(shè)置部在該重疊區(qū)域，設(shè)置沿相對于該車輛沿遠(yuǎn)近方向延伸的虛擬屏幕；虛擬屏幕投影圖像生成部將由相鄰的該拍攝部拍攝的各圖像投影到該虛擬屏幕上并生成虛擬屏幕投影圖像；第一視角變換部將虛擬屏幕投影圖像坐標(biāo)變換成從規(guī)定的視角位置向規(guī)定的視線方向觀測的圖像；圖像顯示部用于顯示該被坐標(biāo)變換后的圖像。
即，本發(fā)明涉及的第一車輛用周圍監(jiān)視裝置具有多個拍攝部，其被設(shè)置在車輛上對車輛周圍進(jìn)行拍攝，且相鄰拍攝部的拍攝范圍的一部分具有重疊區(qū)域；虛擬屏幕設(shè)置部，其在該拍攝范圍的重疊區(qū)域的內(nèi)部，設(shè)置沿相對于該車輛沿遠(yuǎn)近方向延伸且從路面沿垂直方向豎立的虛擬屏幕；虛擬屏幕投影圖像生成部，其將與存儲在相鄰拍攝部拍攝的各圖像的各象素中的灰度值對應(yīng)的值，存儲至從與該拍攝部的各主點(diǎn)對應(yīng)的位置向被該拍攝部拍攝的圖像的各象素延伸的半直線與該虛擬屏幕交叉的位置；第一視角變換部，其將由該虛擬屏幕投影圖像生成部生成的圖像，坐標(biāo)變換成從規(guī)定的視角位置向規(guī)定的視線方向而觀測到的圖像并輸出；圖像顯示部，其顯示從該第一視角變換部輸出的圖像。在如上組成的本發(fā)明的第一車輛用周圍監(jiān)視裝置中，虛擬屏幕設(shè)置部在相鄰拍攝部的各拍攝范圍的重疊區(qū)域中，設(shè)置沿相對于車輛沿遠(yuǎn)近方向延伸的虛擬屏幕；虛擬屏幕投影圖像生成部，將與相鄰拍攝部拍攝的各圖像的灰度值對應(yīng)的值投影到該虛擬屏幕上，并生成虛擬屏幕投影圖像；圖像顯示部顯示這樣生成的虛擬屏幕投影圖像；因此，即使在各個圖像的接縫處，也不會產(chǎn)生死角、可無變形地準(zhǔn)確地顯示自路面具有一定高度的立體物。 另外，本發(fā)明涉及的第二車輛用周圍監(jiān)視裝置具有多個拍攝部，其被設(shè)置在車輛上對車輛周圍進(jìn)行拍攝，且相鄰拍攝部的拍攝范圍的一部分具有重疊區(qū)域；虛擬屏幕設(shè)置部，其在該拍攝范圍的重疊區(qū)域的內(nèi)部，設(shè)置言沿相對于該車輛沿遠(yuǎn)近方向延伸且從路面沿垂直方向豎立的虛擬屏幕；虛擬屏幕投影圖像生成部，其將與存儲在由相鄰拍攝部拍攝的各圖像的各象素中的灰度值對應(yīng)的值，存儲至從與該拍攝部的各主點(diǎn)對應(yīng)的位置向由該拍攝部拍攝的圖像的各象素延伸的半直線與該虛擬屏幕交叉的位置；第一視角變換部，其將由該虛擬屏幕投影圖像生成部生成的圖像坐標(biāo)變換成，從規(guī)定的視角位置向規(guī)定的視線方向觀測的圖像并輸出；路面投影圖像生成部，其將存儲在由該多個拍攝部拍攝的各圖像的各象素中的灰度值，存儲至從與該拍攝部的各主點(diǎn)對應(yīng)的位置向由該拍攝部拍攝的圖像的各象素延伸的半直線與路面交叉的位置；第二視角變換部，其將由該路面投影圖像生成部生成的圖像坐標(biāo)變換成從該規(guī)定的視角位置向該規(guī)定的視線方向觀測的圖像并輸出；圖像合成部，其將從該第一視角變換部輸出的圖像和從該第二視角變換部輸出的圖像合成為I幅圖像并輸出；圖像顯示部顯示從該圖像合成部輸出的圖像。在如上組成的本發(fā)明涉及的第二車輛用周圍監(jiān)視裝置，虛擬屏幕設(shè)置部在相鄰的拍攝部的拍攝范圍的各重疊區(qū)域中，設(shè)置沿相對于車輛沿遠(yuǎn)近方向延伸的虛擬屏幕；虛擬屏幕投影圖像生成部，將與相鄰攝部拍攝的各圖像的灰度值對應(yīng)的值，投影到該虛擬屏幕上并生成虛擬屏幕投影圖像；并且，路面投影圖像生成部，將存儲在多個拍攝部拍攝的各圖像的各象素中的灰度值投影到路面上并生成路面投影圖像；圖像顯示部，通過圖像合成部將這樣生成的虛擬屏幕投影圖像和路面投影圖像被合成I幅圖像并顯示，由此，不僅能夠準(zhǔn)確地顯示存在于相鄰的拍攝范圍的邊界部分的立體物，還能夠準(zhǔn)確地顯示存在于車輛周圍的立體物。發(fā)明的效果通過本發(fā)明涉及的車輛用周圍監(jiān)視裝置，能夠不變形地準(zhǔn)確地顯示，存在于由設(shè)置在車輛周圍的多個拍攝部拍攝的圖像的接縫處、且自路面具有一定高度的立體物，因此，通過顯示的上述圖像，得以順暢地進(jìn)行車輛的泊車或調(diào)頭操作。


圖I是表示本發(fā)明的實(shí)施例I涉及的車輛用周圍監(jiān)視裝置的大致結(jié)構(gòu)的框圖。圖2 Ca)是設(shè)置本發(fā)明的實(shí)施例I的車輛的左側(cè)視圖。(b)是設(shè)置本發(fā)明的實(shí)施例I的車輛的俯視圖。圖3是虛擬設(shè)定的車輛周圍環(huán)境的配置圖。圖4 Ca)是用于說明由第一攝像機(jī)拍攝的圖像投影在第一虛擬屏幕上的情況的圖，圖4 (b)是用于說明由第二攝像機(jī)拍攝的圖像投影在第一虛擬屏幕上的情況的圖，圖4(c)是表示第一虛擬屏幕投影圖像的圖。圖5是用于說明本發(fā)明的實(shí)施例I的動作的流程圖。
圖6 (a)是用于說明由第一攝像機(jī)拍攝的圖像對路面投影的示意圖，圖6 (b)是用于說明由第二攝像機(jī)拍攝的圖像對路面投影的示意圖，圖6 (c)是用于說明由第一攝像機(jī)拍攝的圖像和由第二攝像機(jī)拍攝的圖像分別投影到路面上并合成的示意圖。圖7 (a)是用于說明由第一攝像機(jī)至第四攝像機(jī)拍攝的圖像分別投影到路面上并合成的示意圖，圖7 (b)是表示合成路面投影圖像的圖。圖8 (a)是在車輛前進(jìn)時(shí)，顯示用監(jiān)視器所顯示的圖像的例子。圖8 (b)是在車輛后退時(shí)，顯示用監(jiān)視器所顯示的圖像的例子。圖9是表示本發(fā)明的實(shí)施例I的其他顯示形態(tài)的圖。圖10是表示本發(fā)明的實(shí)施例2涉及的車輛用周圍監(jiān)視裝置的概略構(gòu)成的框圖。圖11 (a)是設(shè)置本發(fā)明的實(shí)施例2的車輛的左側(cè)視圖，圖11 (b)是設(shè)置有本發(fā)明的實(shí)施例2的車輛的俯視圖。圖12是用于說明本發(fā)明的實(shí)施例2的動作的流程圖。圖13 (a)是虛擬地設(shè)定的車輛周圍環(huán)境的配置圖。圖13 (b)是用于說明由第一攝像機(jī)至第四攝像機(jī)拍攝的4幅圖像分別變換成路面投影圖像并將它們合成的情況的圖。圖13 (c)是表示合成路面投影圖像的圖。圖14 (a)是在車輛前進(jìn)時(shí)顯示用監(jiān)視器所顯示的圖像例。圖14 (b)是在車輛后退時(shí)顯示用監(jiān)視器所顯示的圖像例。圖15是表示被透過率設(shè)定部設(shè)定的透過率參數(shù)的例子的圖。
具體實(shí)施例方式以下，參照

本發(fā)明涉及的車輛用周圍監(jiān)視裝置的實(shí)施例。實(shí)施例I實(shí)施例I是適用于車輛用周圍監(jiān)視裝置2的本發(fā)明的例子，該車輛用周圍監(jiān)視裝置2可將設(shè)置在車輛上的多個攝像機(jī)拍攝的車輛周圍圖像，以容易理解的形式顯示給駕駛員。圖I是表示本發(fā)明的實(shí)施例I涉及的車輛用周圍監(jiān)視裝置2的結(jié)構(gòu)的框圖。如圖I所示，實(shí)施例I涉及的車輛用周圍監(jiān)視裝置2包括操作檢測部10，其被設(shè)置在未圖示的車輛I上，用于檢測駕駛員對車輛用周圍監(jiān)視裝置2實(shí)施的啟動操作和結(jié)束操作；操作開關(guān)15，其被設(shè)置在駕駛員的手所能及的范圍內(nèi)，用于指示車輛用周圍監(jiān)視裝置2的啟動和結(jié)束；拍攝部20，其由用于拍攝車輛周圍的圖像的多個攝像機(jī)構(gòu)成；虛擬屏幕設(shè)置部30，其在構(gòu)成拍攝部20的多個攝像機(jī)之中，相鄰的攝像機(jī)的拍攝區(qū)域的重疊部分設(shè)置虛擬屏幕；虛擬屏幕投影圖像生成部40，其將由該相鄰的攝像機(jī)拍攝的各圖像投影在由虛擬屏幕設(shè)置部30設(shè)置的虛擬屏幕上，生成虛擬屏幕投影圖像；路面投影圖像生成部50，其將所拍攝的車輛周圍的圖像在路面上投影生成路面投影圖像；第一視角變換部60，其將由虛擬屏幕投影圖像生成部40生成的虛擬屏幕投影圖像變換成從規(guī)定的虛擬視角向規(guī)定的虛擬視線方向觀測得到的圖像；第二視角變換部70，其將由路面投影圖像生成部50生成的路面投影圖像變換成從該規(guī)定的虛擬視角向該規(guī)定的虛擬視線方向觀測得到的圖像；圖像合成部80，其將由第一視角變換部60進(jìn)行視角變換后的虛擬屏幕投影圖像和由第二視角變換部70進(jìn)行視角變換后的路面投影圖像合成為I幅圖像；圖像顯示部90，用于顯示被圖像合成部80合成的圖像。詳細(xì)而言，操作檢測部10包括啟動開關(guān)操作檢測部11，其用于檢測駕駛員的啟動開關(guān)操作、結(jié)束開關(guān)操作檢測部12，用于檢測駕駛員的結(jié)束開關(guān)操作、檔位檢測部13，用于檢測車輛的檔位、以及車速檢測部14，用于檢測車速。
詳細(xì)而言，操作開關(guān)15包括啟動開關(guān)16，其指示車輛用周圍監(jiān)視裝置2的啟動、結(jié)束開關(guān)18，其指示車輛用周圍監(jiān)視裝置2的結(jié)束。詳細(xì)而言，拍攝部20包括如圖2所示，被設(shè)置在車輛的周圍，并以相鄰的拍攝區(qū)域相互重疊的方式配置的第一攝像機(jī)22、第二攝像機(jī)24、第三攝像機(jī)26、第四攝像機(jī)28 ；以及通過AD變換將第一攝像機(jī)22的輸出信號變換成數(shù)字信號的第一解碼器23 ;通過AD變換將第二攝像機(jī)24的輸出信號變換成數(shù)字信號的第二解碼器25 ;通過AD變換將第三攝像機(jī)26的輸出信號變換成數(shù)字信號的第三解碼器27 ;通過AD變換將第四攝像機(jī)28的輸出信號變換成數(shù)字信號的第四解碼器29。詳細(xì)而言，虛擬屏幕投影圖像生成部40包括第一坐標(biāo)變換數(shù)據(jù)存儲部44和虛擬屏幕投影圖像運(yùn)算部42，第一坐標(biāo)變換數(shù)據(jù)存儲部44內(nèi)存儲有，為了生成虛擬屏幕投影圖像，根據(jù)第一攝像機(jī)22至第四攝像機(jī)28的各設(shè)置位置和虛擬屏幕的各設(shè)置位置而預(yù)先作成的坐標(biāo)變換用數(shù)據(jù)表；虛擬屏幕投影圖像運(yùn)算部42根據(jù)存儲在第一坐標(biāo)變換數(shù)據(jù)存儲部44中的坐標(biāo)變換用數(shù)據(jù)表生成虛擬屏幕投影圖像。詳細(xì)而言，路面投影圖像生成部50包括第二坐標(biāo)變換數(shù)據(jù)存儲部56、路面投影圖像運(yùn)算部52以及路面投影圖像合成部54，第二坐標(biāo)變換數(shù)據(jù)存儲部56內(nèi)存儲有，為了生成路面投影圖像，根據(jù)第一攝像機(jī)22至第四攝像機(jī)28的各設(shè)置位置而預(yù)先作成的坐標(biāo)變換用數(shù)據(jù)表；路面投影圖像運(yùn)算部52，其根據(jù)存儲在第二坐標(biāo)變換數(shù)據(jù)存儲部56中的坐標(biāo)變換用數(shù)據(jù)表，由各攝像機(jī)拍攝的圖像生成路面投影圖像；路面投影圖像合成部54，其將所生成的多個路面投影圖像合成為I幅圖像。詳細(xì)而言，第一視角變換部60包括虛擬視角位置/虛擬視線方向設(shè)定部66，其根據(jù)車輛I的行進(jìn)方向和駕駛員的開關(guān)操作來設(shè)定用于生成虛擬屏幕投影圖像和路面投影圖像的合成圖像的虛擬視角位置和虛擬視線方向；第三坐標(biāo)變換數(shù)據(jù)存儲部64，其內(nèi)存儲有用于從被虛擬視角位置/虛擬視線方向設(shè)定部66設(shè)定的虛擬視角位置向虛擬視線方向，進(jìn)行虛擬屏幕投影圖像的視角變換的坐標(biāo)變換用數(shù)據(jù)表；第一視角變換運(yùn)算部62，其根據(jù)存儲在第三坐標(biāo)變換數(shù)據(jù)存儲部64中的坐標(biāo)變換用數(shù)據(jù)表，對虛擬屏幕投影圖像進(jìn)行視角變換。詳細(xì)而言，第二視角變換部70包括第四坐標(biāo)變換數(shù)據(jù)存儲部74，其內(nèi)存儲有用于從被虛擬視角位置/虛擬視線方向設(shè)定部66設(shè)定的虛擬視角位置向虛擬視線方向，進(jìn)行路面投影圖像的視角變換的坐標(biāo)變換用數(shù)據(jù)表；第二視角變換運(yùn)算部72，其根據(jù)被存儲在第四坐標(biāo)變換數(shù)據(jù)存儲部74中的坐標(biāo)變換用數(shù)據(jù)表，對路面投影圖像進(jìn)行視角變換。詳細(xì)而言，圖像合成部80包括透過率設(shè)定部84，其在將被第一視角變換部60視角變換后的虛擬屏幕投影圖像和被第二視角變換部70視角變換后的路面投影圖像合成為I幅圖像時(shí)，用于設(shè)定圖像重疊部分的透過率；圖像合成運(yùn)算部82，其利用由透過率設(shè)定部84設(shè)定的透過率，將由第一視角變換部60進(jìn)行視角變換后的虛擬屏幕投影圖像作為前面、且將由第二視角變換部70進(jìn)行視角變換后的路面投影圖像作為背面進(jìn)行合成。更詳細(xì)來說，圖像顯示部90包括編碼器92，其將被圖像合成部80合成的圖像從數(shù)字信號變換成模擬信號；顯示用監(jiān)視器94，其是被設(shè)置在車內(nèi)，用于顯示被編碼器92變換成模擬信號的圖像的液晶監(jiān)視器等。 以下，根據(jù)圖5的流程圖，對實(shí)施例I涉及的車輛用周圍監(jiān)視裝置2的作用進(jìn)行說明。實(shí)施例I涉及的車輛用周圍監(jiān)視裝置2是，在進(jìn)行車輛的泊車時(shí)或在狹窄場所調(diào)頭時(shí)，將車輛周圍的圖像呈現(xiàn)給駕駛員來協(xié)助駕駛動作的裝置。如圖2 (a)所示，第一攝像機(jī)22被設(shè)置在車輛I的前保險(xiǎn)杠上，第二攝像機(jī)24被設(shè)置在車輛I的左車門后視鏡上，第三攝像機(jī)26被設(shè)置在車輛I的后保險(xiǎn)杠上，圖2 (a)中雖然未圖示，但第四攝像機(jī)28被設(shè)置在車輛I的右車門后視鏡上。另外，如圖2 (b)所示，各攝像機(jī)被設(shè)置成，對各自的拍攝范圍與路面由各相交線120、122、124、126相交叉的范圍進(jìn)行拍攝的方式。此外，如圖2 (b)所示，相鄰的攝像機(jī)22和24,24和26,26和28以及28和22的
各自的拍攝范圍相互重疊，并以具有第一重疊區(qū)域E1、第二重疊區(qū)域E2、第三重疊區(qū)域E3、第四重疊區(qū)域E4的方式設(shè)置。首先，圍繞為了泊車車輛I在前進(jìn)時(shí)，對實(shí)施例I的車輛用周圍監(jiān)視裝置2的工作進(jìn)行說明。駕駛員要監(jiān)視車輛周圍的圖像時(shí)，對設(shè)置在車內(nèi)的啟動開關(guān)16進(jìn)行操作。然后，通過啟動開關(guān)操作檢測部11檢測啟動開關(guān)的操作(圖5的S2)，向表示車輛用周圍監(jiān)視裝置2的狀態(tài)的變量P賦值I (圖5的S4)。由第一攝像機(jī)22至第四攝像機(jī)28拍攝的圖像分別被第一解碼器23至第四解碼器29標(biāo)本化以及量化而變換成數(shù)字圖像(圖5的S6)。此外，將第一攝像機(jī)22至第四攝像機(jī) 28 拍攝的圖像分別設(shè)定為 I1 (x,y)、I2 (x, y)> I3 (x, y)、I4 (x, y)。然后，通過虛擬屏幕設(shè)置部30，在相鄰設(shè)置的攝像機(jī)的拍攝范圍的重疊區(qū)域El、E2、E3、E4，分別設(shè)置可將各重疊區(qū)域El、E2、E3、E4的面積二等分，并沿自車輛向遠(yuǎn)近方向延伸且與路面垂直的平面狀的虛擬屏幕200、210、220、230。圖3僅示出了虛擬屏幕200的設(shè)置位置。虛擬屏幕200在圖3中以Z XOA = Z YOA的方式設(shè)置。雖然虛擬屏幕210、220、230未圖示，但以和虛擬屏幕200相同的位置關(guān)系設(shè)置。進(jìn)一步，通過虛擬屏幕投影圖像生成部40，在第一重疊區(qū)域El設(shè)置的第一虛擬屏幕200，投影變換圖像I1 (x，y)和圖像I2 (x，y);在第二重疊區(qū)域E2設(shè)置的第二虛擬屏幕210，投影變換圖像I2 (x，y)和圖像I3 (x，y);在第三重疊區(qū)域E3設(shè)置的第三虛擬屏幕220，投影變換I3 (x，y)和圖像I4 (x，y);在第四重疊區(qū)域E4設(shè)置的第四虛擬屏幕230投影變換I4 (x，y)和圖像I1 (x，y)(圖5的S7)。這里，根據(jù)圖3和圖4，對說明向第一虛擬屏幕200進(jìn)行投影變換的方法進(jìn)行說明。圖3示出了車輛I和在其左前方垂直于路面豎起的4根細(xì)的柱狀物(第一柱狀物301、第二柱狀物302、第三柱狀物303、第四柱狀物304)的情況，該等柱狀物被配置在正方形的4個頂點(diǎn)位置。此外，為簡化說明，僅對第一攝像機(jī)22和第二攝像機(jī)24的拍攝范圍進(jìn)行說明，但其他攝像機(jī)的拍攝范圍也是同樣的。而且，各攝像機(jī)22、24沿水平方向設(shè)置，第一攝像機(jī)22拍攝Z XPX’的范圍，第二攝像機(jī)24拍攝Z YQY，的范圍。另外，車輛I位于水平的路面上。 這里，在將Z XOY的二等分位置，設(shè)置垂直于路面的平面狀的第一虛擬屏幕200。在此，第一柱狀物301和第三柱狀物303為在與第一虛擬屏幕200重合的位置豎立的物體。虛擬屏幕投影圖像生成部40，如圖4 (a)所示，將由第一攝像機(jī)22拍攝的圖像I1(x, y)的灰度值投影到第一虛擬屏幕200上，并且如圖4 (b)所示，將由第二攝像機(jī)24拍攝的圖像I2 (x, y)的灰度值投影到第一虛擬屏幕200上。所謂的向虛擬屏幕進(jìn)行投影變換是指，假設(shè)被攝像機(jī)實(shí)際拍攝到的像是原本存在于虛擬屏幕上的物體的像，并將與所拍攝的圖像的灰度值對應(yīng)的值存儲在虛擬屏幕上的對應(yīng)的位置。該投影變換具體執(zhí)行如下。在圖4 (a)中，著眼于構(gòu)成反映在圖像I1 (x，y)上的第二柱狀物302的像的象素(x0，y0)。將存儲在象素(x0，y0)中的灰度值I1 (x0, y0)作為，從圖4 (a)所示的第一攝像機(jī)22的主點(diǎn)位置P向成為正在注視的第二柱狀物302的象素(X0，y0)延伸的半直線，被投影于與第一虛擬屏幕200交叉的點(diǎn)上投影，在其交叉的點(diǎn)上存儲與灰度值I1 (x0，y0)對應(yīng)的值。在圖4 Ca)所示的情形，由于第二柱狀物302的像被投影在點(diǎn)M和點(diǎn)N所夾的區(qū)間中，所以在第一虛擬屏幕200上的點(diǎn)M和點(diǎn)N所夾的區(qū)域中存儲有與第二柱狀物302的像的灰度值對應(yīng)的值，并生成第二柱狀物302的虛擬屏幕投影像302P。對圖像I1 (x,y)的全部象素進(jìn)行同樣的處理，在第一虛擬屏幕200上分別會生成第一柱狀物301的虛擬屏幕投影像301P、第三柱狀物303的虛擬屏幕投影像303P、第四柱狀物304的虛擬屏幕投影像304P (參照圖4 (a))。如果對由第二攝像機(jī)24拍攝的圖像I2 (x，y)也進(jìn)行同樣的處理，則在第一虛擬屏幕200上分別會生成第一柱狀物301的虛擬屏幕投影像301Q、第二柱狀物302的虛擬屏幕投影像302Q、第三柱狀物303的虛擬屏幕投影像303Q、第四柱狀物304的虛擬屏幕投影像304Q (參照圖4 (b))。通過對這樣生成的虛擬屏幕投影像進(jìn)行加法合成，而生成圖4 (c)所示的第一虛擬屏幕投影圖像205。此外，如果單純地進(jìn)行加法合成，則有可能超過第一虛擬屏幕投影圖像205中能夠存儲的與量化比特?cái)?shù)對應(yīng)的值，因此，在這里，將圖像I1 (x,y)的灰度值和圖像I2 (x, y)的灰度值分別取1/2倍再相加。4根柱狀物301、302、303、304垂直于路面立起，第一攝像機(jī)22和第二攝像機(jī)24為簡單起見而水平方向設(shè)置，因此在第一虛擬屏幕200上會形成，如圖4 (c)所示的沿屏幕的上下方向的帶狀的各柱狀物301、302、303、304的虛擬屏幕投影像。這里，4根柱狀物301、302、303、304和車輛I處于圖3的位置關(guān)系時(shí)，4根柱狀物301、302、303、304都通過第一攝像機(jī)22以及第二攝像機(jī)24被投影到第一虛擬屏幕200上，如圖4 (a)所示，生成從第一攝像機(jī)22觀察的4根虛擬屏幕投影像，如圖4 (b)所示，生成從第二攝像機(jī)24觀察的4根虛擬屏幕投影像。如果對這些虛擬屏幕投影像進(jìn)行加法合成，則發(fā)生虛擬屏幕投影像彼此的重合，從而如圖4 (c)所示，生成5根虛擬屏幕投影像。圖4 (c)所示的5根虛擬屏幕投影像從左側(cè)按順序分別與虛擬屏幕投影像304P、虛擬屏幕投影像302Q、虛擬屏幕投影像301P和301Q、虛擬屏幕投影像303P和303Q、虛擬屏幕投影像302P和304Q相對應(yīng)。但是，該虛擬屏幕投影像的根數(shù)當(dāng)然也取決于柱狀物的起立位置和虛擬屏幕的位置關(guān)系。
雖然向虛擬屏幕進(jìn)行的投影變換的程序，通過虛擬屏幕投影圖像運(yùn)算部42實(shí)施，但由于在圖像I1 (x，y)、圖像I2 (x，y)的每個象素計(jì)算出與第一虛擬屏幕200交叉的點(diǎn)，其計(jì)算負(fù)荷很大，因此根據(jù)第一攝像機(jī)22和第二攝像機(jī)24的配置，預(yù)先計(jì)算出投影到第一虛擬屏幕投影圖像205的任意的象素的、圖像I1 (x，y)和圖像I2 (x，y)的坐標(biāo)值，并根據(jù)該計(jì)算結(jié)果預(yù)先作成坐標(biāo)變換表，并存儲于第一坐標(biāo)變換數(shù)據(jù)存儲部44。而且，在虛擬屏幕投影圖像運(yùn)算部42中，通過根據(jù)存儲在第一坐標(biāo)變換數(shù)據(jù)存儲部44中的坐標(biāo)變換表來進(jìn)行坐標(biāo)的置換的方法，進(jìn)行投影變換，借此降低計(jì)算負(fù)荷。同樣的投影變換，還對設(shè)置在圖2的第二重疊區(qū)域E2的第二虛擬屏幕210、設(shè)置在第三重疊區(qū)域E3的第三虛擬屏幕220、設(shè)置在第四重疊區(qū)域E4的第四虛擬屏幕230執(zhí)行。借此，生成4幅虛擬屏幕投影圖像(第一虛擬屏幕投影圖像205、第二虛擬屏幕投影圖像215、第三虛擬屏幕投影圖像225、第四虛擬屏幕投影圖像235)。然后,通過路面投影圖像運(yùn)算部52,將圖像I1 (x,y)、圖像I2 (x,y)、圖像I3 (x,y)和圖像I4 (x，y)分別投影到路面上，再變換成從車輛正上方向下觀察的圖像(圖5的S8)。前述的虛擬屏幕投影圖像是假定為存在于虛擬屏幕上的物體的像反映在由攝像機(jī)拍攝的圖像中而生成的圖像，而路面投影圖像是假定為存在于路面上的物體的像反映在由攝像機(jī)拍攝的圖像上而生成的圖像。路面投影圖像的生成通過路面投影圖像運(yùn)算部52執(zhí)行，但圖像I1 (x，y)是，通過求出從第一攝像機(jī)22的主點(diǎn)位置P向由第一攝像機(jī)22拍攝的圖像I1 (x，y)的各象素延伸的半直線與路面交叉的點(diǎn)的方法進(jìn)行。關(guān)于圖像I2 (x，y)，也用同樣的方法生成路面投影圖像。這里，因?yàn)閷τ趫D像I1 (x，y)和圖像I2 (x，y)，按其每個象素算出與路面交叉的點(diǎn)的坐標(biāo)，其計(jì)算負(fù)荷較大，所以根據(jù)第一攝像機(jī)22和第二攝像機(jī)24的配置，預(yù)先計(jì)算出被投影到路面上的任意的點(diǎn)上的、圖像I1 (x，y)和圖像I2 (x，y)的坐標(biāo)值，并根據(jù)該計(jì)算結(jié)果預(yù)先作成坐標(biāo)變換表后，存儲于第二坐標(biāo)變換數(shù)據(jù)存儲部56。在路面投影圖像運(yùn)算部52中，根據(jù)存儲在第二坐標(biāo)變換數(shù)據(jù)存儲部56中的坐標(biāo)變換表，通過進(jìn)行坐標(biāo)的置換來執(zhí)行投影變換，借此降低計(jì)算負(fù)荷。在圖6中示出，在圖3的配置中，由第一攝像機(jī)22拍攝的圖像I1 (x，y)和由第二攝像機(jī)24拍攝的圖像I2 (x，y)變換成路面投影圖像的狀態(tài)。
如圖6 (a)所示，反映在由第一攝像機(jī)22拍攝的圖像I1 (x, y)中的第一柱狀物301、第二柱狀物302、第三柱狀物303、第四柱狀物304分別在路面投影圖像上，被變換成沿著連結(jié)第一攝像機(jī)22的主點(diǎn)位置P和各柱狀物的方向，從第一攝像機(jī)22向遠(yuǎn)處橫倒的狀態(tài)。另外，如圖6 (b)所示，反映在由第二攝像機(jī)24拍攝的圖像I2 (x，y)上的第一柱狀物301至第四柱狀物304，分別在路面投影圖像上，被變換成沿著連結(jié)第二攝像機(jī)24的主點(diǎn)位置Q和各柱狀物的方向，從第二攝像機(jī)24向遠(yuǎn)處橫向倒下的狀態(tài)。然后，通過路面投影圖像合成部54，將從圖像I1 (x，y)、圖像I2 (x，y)、圖像I3 (X，y)、圖像I4 (x, y)分別被變換的路面投影圖像合成為I幅圖像。參照圖6 (c)說明路面投影圖像的合成方法。圖像I1 (x，y)的路面投影圖像和圖像I2 (x,y)的路面投影圖像是，將第一攝像機(jī)22的拍攝范圍和第二攝像機(jī)24的拍攝范圍的重疊區(qū)域進(jìn)行二等分的直線AO作為邊界線而合成的。S卩，在圖6 (a)、(b)所表示的路·面投影圖像中，跨過直線AO被投影的像沒有反映在合成圖像中。通過這樣合成路面投影圖像，第一攝像機(jī)22的路面投影圖像和第二攝像機(jī)24的路面投影圖像被合成如圖6 (c)所不的樣子。從圖6 (C)可知，存在于路面投影圖像的接縫即直線AO上的第一柱狀物301和第三柱狀物303的路面投影圖像，剩下這些柱狀物與路面接觸的部分而完全消失。這里，假定在車輛I的左后方轉(zhuǎn)角部、右后方轉(zhuǎn)角部、右前方轉(zhuǎn)角部，也分別與左前方轉(zhuǎn)角部的情形相同，分別豎立有4根細(xì)的柱狀物時(shí)，由4臺攝像機(jī)拍攝的4幅圖像的路面投影圖像被合成為如圖7 (a)所示的狀態(tài)。此外，車輛I本身以及其貼近部分處于攝像機(jī)的拍攝視野以外，因此會進(jìn)行例如將灰度值置換成最小值或最大值等工作，借此保存特定數(shù)值，并將信息缺失的情況通知駕駛員。從而生成圖7 (b)所示的合成路面投影圖像300。然后，在圖5的S7生成的4幅虛擬屏幕投影圖像，被第一視角變換部60變換成從規(guī)定的視角位置朝向規(guī)定的視線方向觀測的圖像。這里，規(guī)定的視角位置和規(guī)定的視線方向是根據(jù)被操作檢測部10測出的信息由虛擬視角位置/虛擬視線方向設(shè)定部66決定的。S卩，在向表示車輛用周圍監(jiān)視裝置2的狀態(tài)的變量P賦值I時(shí)(圖5的S9)，虛擬視角被設(shè)定在車輛I的后方上空，設(shè)定從其處向下觀察車輛I的前方一側(cè)的虛擬視線方向(圖 5 的 S10)。在第三坐標(biāo)變換數(shù)據(jù)存儲部64中，存儲有用于將4幅虛擬屏幕投影圖像以從所設(shè)定的虛擬視角位置朝向所設(shè)定的虛擬視線方向觀測的方式進(jìn)行視角變換的預(yù)先作成的坐標(biāo)變換表，根據(jù)該坐標(biāo)變換表，通過第一視角變換運(yùn)算部62進(jìn)行視角變換(圖5的S12)。進(jìn)一步，在圖5的S8中生成的合成路面投影圖像300被第二視角變換部70變換成與由虛擬視角位置/虛擬視線方向設(shè)定部66所設(shè)定的相同的視角位置且朝向相同的視線方向而觀測到的圖像。具體的是，在第四坐標(biāo)變換數(shù)據(jù)存儲部74中，存儲有用于將合成路面投影圖像300以從所設(shè)定的虛擬視角位置朝向所設(shè)定的虛擬視線方向觀測的方式進(jìn)行視角變換的預(yù)先作成的坐標(biāo)變換表，并根據(jù)該坐標(biāo)變換表，通過第二視角變換運(yùn)算部72進(jìn)行視角變換(圖 5 的 S13)。然后，由第一視角變換運(yùn)算部62生成的4幅虛擬屏幕投影圖像(第一虛擬屏幕投影圖像205、第二虛擬屏幕投影圖像215、第三虛擬屏幕投影圖像225、第四虛擬屏幕投影圖像235)和由第二視角變換運(yùn)算部72生成的合成路面投影圖像300，將虛擬屏幕投影圖像(205、215、225、235)作為前面，將合成路面投影圖像300作為背面，并由圖像合成部80合成為I幅圖像(圖5的S14)。該圖像合成根據(jù)透過率設(shè)定部84決定的透過率，由圖像合成運(yùn)算部82進(jìn)行實(shí)施?，F(xiàn)在，若設(shè)由第一視角變換運(yùn)算部62生成的第一虛擬屏幕投影圖像205為K (x,y)、由第二視角變換運(yùn)算部72生成的合成路面投影圖像300為L (x, y)、由圖像合成部80合成的圖像為M (X, y),則M (X, y)可通過式I算出。M (X，y) = a XK (x, y) + (1-a ) XL (x, y)(式 I)
這里，a是透過率參數(shù)。S卩，a是在2幅圖像重合時(shí)與配置在前面的圖像的透過率對應(yīng)的值，取Oa I的范圍。a的值被預(yù)先設(shè)定，并存儲在透過率設(shè)定部84中。在實(shí)施例I的情形，設(shè)定成a = I。這是在虛擬屏幕投影圖像(205、215、225、235)和合成路面投影圖像300重合的情況下，將成為背面的合成路面投影圖像300設(shè)定為不可視狀態(tài)。此外，a的值不限定于1，可以根據(jù)最終生成的合成圖像的用途和易于觀看等，作出適當(dāng)調(diào)整。圖8 (a)給出了這樣獲得的合成圖像的例子。這里，填充黑色的區(qū)域是相當(dāng)于車輛I的存在位置及其附近的、拍攝部20的拍攝視野以外的區(qū)域、和虛擬屏幕投影圖像及合成路面投影圖像以外的區(qū)域。其中，在車輛I的存在位置中，如圖8 (a)所示，也可以重疊顯示朝后的第一車輛圖標(biāo)400,而更明確地表現(xiàn)前后的位置關(guān)系。這樣獲得的圖8 Ca)的合成圖像通過編碼器92進(jìn)行DA變換，顯示在設(shè)置于車輛I內(nèi)部的顯示用監(jiān)視器94上(圖5的S15)。此時(shí)，通過車速檢測部14經(jīng)常檢測車速，當(dāng)測出的車速超過規(guī)定值時(shí)(圖5的
S16)，將被顯示的圖像返回到本裝置啟動前的狀態(tài)(圖5的S20)，轉(zhuǎn)移到車輛用周圍監(jiān)視裝置2的非顯示狀態(tài)(圖5的SI)。另外，通過結(jié)束開關(guān)操作檢測部12檢測到結(jié)束開關(guān)18已被操作時(shí)(圖5的S18)，將被顯示的圖像返回到本裝置啟動前的狀態(tài)(圖5的S20)，轉(zhuǎn)移到車輛用周圍監(jiān)視裝置2的非顯示狀態(tài)(圖5的SI)。以上，圍繞車輛I前進(jìn)時(shí)的動作進(jìn)行了說明，但在車輛I后退時(shí)，顯示車輛后方的圖像。此情況下的工作流程與上述車輛前進(jìn)時(shí)大致相同，因此僅簡單說明不同點(diǎn)。當(dāng)通過檔位檢測部13測出檔位處于后退位置時(shí)(圖5的S3)，馬上向表示系統(tǒng)的狀態(tài)的變量P賦值2(圖5的S5)，通過虛擬視角位置/虛擬視線方向設(shè)定部66，將虛擬視角設(shè)定在車輛I的前方上空，設(shè)定從此處向下觀察車輛I的后方側(cè)的虛擬視線方向(圖5的S11)。與車輛前進(jìn)的情形相同，圖像合成運(yùn)算部82合成生成的虛擬屏幕投影圖像和合成路面投影圖像300，并如圖8 (b)所示，將作為俯瞰車輛后方的圖像顯示在顯示用監(jiān)視器94上(圖5的S15)。此時(shí)，也可以在車輛I的存在位置，重疊顯示朝前的第二車輛圖標(biāo)410，更明確地表現(xiàn)前后的位置關(guān)系。
此外，此時(shí)，通過車速檢測部14不斷監(jiān)視車速，從安全方面考慮當(dāng)車速超過規(guī)定值時(shí)(圖5的S16)，顯示車輛周圍的圖像，即將所顯示的圖像返回到本裝置啟動前的狀態(tài)(圖5的S20)，并脫離車輛用周圍監(jiān)視裝置2的顯示狀態(tài)(圖5的SI)。另外，通過檔位檢測部13不斷檢測檔位，當(dāng)測出檔位在后退位置以外的位置時(shí)(圖5的S19)，將所顯示的圖像返回到本裝置啟動前的狀態(tài)(圖5的S20)，并脫離車輛用周圍監(jiān)視裝置2的顯示狀態(tài)(圖5的SI)。根據(jù)這樣構(gòu)成的實(shí)施例I涉及的車輛用周圍監(jiān)視裝置2，即使是在相鄰的攝像機(jī)的拍攝范圍的邊界部分存在立體物，也能夠通過在該邊界部分設(shè)置虛擬屏幕，生成對該虛擬屏幕的投影圖像并顯示該投影圖像的方法，而能防止死角的產(chǎn)生，準(zhǔn)確地顯示該立體物。因此，能夠準(zhǔn)確地將車輛周圍的狀況向駕駛員傳遞，借此，能順利地對進(jìn)行泊車操作和調(diào)頭操作等的車輛進(jìn)行引導(dǎo)。
此外，在實(shí)施例I中，采用了將虛擬屏幕投影圖像和合成路面投影圖像加以合成后顯示的結(jié)構(gòu)，不過，不限定于該形式。即，也可以如圖9所示，僅顯示虛擬屏幕投影圖像。這能夠通過刪除圖I中的路面投影圖像生成部50、第二視角變換部70和圖像合成部80的結(jié)構(gòu)來實(shí)現(xiàn)。通過根據(jù)圖9的顯示方法，獲得，能夠準(zhǔn)確地顯示易成為死角產(chǎn)生的，位于圖像接縫處的車輛附近的障礙物的狀況的效果。而且，在實(shí)施例I中，采用了將4幅虛擬屏幕投影圖像和合成路面投影圖像合成為I幅圖像并顯示的結(jié)構(gòu)，但不局限于該形式。即，在車輛前進(jìn)時(shí)，如圖8 (a)所示，僅合成第一虛擬屏幕投影圖像205、第四虛擬屏幕投影圖像235、及合成路面投影圖像300來顯示亦可。這能夠通過，在虛擬視角位置/虛擬視線方向設(shè)定部66設(shè)定了虛擬視角位置和虛擬視角方向時(shí)，對于第三坐標(biāo)變換數(shù)據(jù)存儲部64發(fā)出只作成第一虛擬屏幕投影圖像205和第四虛擬屏幕投影圖像235的指示的方式來實(shí)現(xiàn)。另外，在車輛后退時(shí)，在圖8 (b)中，也可以僅合成第二虛擬屏幕投影圖像215、第三虛擬屏幕投影圖像225和合成路面投影圖像300并顯示。這能夠通過，在由虛擬視角位置/虛擬視線方向設(shè)定部66設(shè)定了虛擬視角位置和虛擬視角方向時(shí)，對于第三坐標(biāo)變換數(shù)據(jù)存儲部64，發(fā)出只作成第二虛擬屏幕投影圖像215和第三虛擬屏幕投影圖像225的指示來實(shí)現(xiàn)。由此，能夠進(jìn)一步強(qiáng)調(diào)地表示車輛的行進(jìn)方向的信息，從而能夠進(jìn)一步提高監(jiān)視器所顯示的圖像的即時(shí)可讀性。實(shí)施例2實(shí)施例2是，將由設(shè)置在車輛上的多個攝像機(jī)拍攝的車輛周圍的狀況，以易讀形式顯示給駕駛員的本發(fā)明的車輛用周圍監(jiān)視裝置4的例子。尤其，實(shí)施例2是，在車輛周圍具有障礙物檢測部，根據(jù)該障礙物檢測部的輸出，將車輛周圍的圖像變換成易懂形態(tài)，并顯示在設(shè)置于車內(nèi)的監(jiān)視器上的例子。圖10是表示本發(fā)明的實(shí)施例2涉及的車輛用周圍監(jiān)視裝置4的結(jié)構(gòu)的框圖。如圖10所示，本發(fā)明涉及的車輛用周圍監(jiān)視裝置4包括操作檢測部10，其被設(shè)置在未圖示的車輛I上，用于檢測駕駛員對車輛用周圍監(jiān)視裝置4進(jìn)行的啟動操作和結(jié)束操作；操作開關(guān)15，其被設(shè)置在駕駛員的手所能及的范圍內(nèi)，用于指示車輛用周圍監(jiān)視裝置4的啟動和結(jié)束；拍攝部20，其由用于拍攝車輛周圍的圖像的多個攝像機(jī)構(gòu)成；虛擬屏幕設(shè)置部30，其在構(gòu)成拍攝部20的多個攝像機(jī)中的，相鄰的攝像機(jī)的拍攝區(qū)域的重疊部分設(shè)置虛擬屏幕；虛擬屏幕投影圖像生成部40，其將由該相鄰的攝像機(jī)拍攝的各圖像投影到由虛擬屏幕設(shè)置部30設(shè)置的虛擬屏幕上，生成虛擬屏幕投影圖像；路面投影圖像生成部50，其將所拍攝的車輛周圍的圖像投影到路面上，生成路面投影圖像；第一視角變換部60，其將由虛擬屏幕投影圖像生成部40生成的虛擬屏幕投影圖像變換成從規(guī)定的虛擬視角朝向規(guī)定的虛擬視線方向拍攝的圖像；第二視角變換部70，其將由路面投影圖像生成部50生成的路面投影圖像變換成從該規(guī)定的虛擬視角朝向該規(guī)定的虛擬視線方向拍攝的圖像；圖像合成部80，其將被第一視角變換部60視角變換后的虛擬屏幕投影圖像和被第二視角變換部70視角變換后的路面投影圖像合成為I幅圖像；圖像顯示部90，其顯示由圖像合成部80合成的圖像；障礙物檢測部100，其檢測車輛I的周圍的障礙物的有無，并計(jì)算出至該障礙物的距離。詳細(xì)而言，操作檢測部10包括啟動開關(guān)操作檢測部11，其檢測駕駛員對車輛用周圍監(jiān)視裝置4進(jìn)行的啟動操作；結(jié)束開關(guān)操作檢測部12，用于檢測車輛用周圍監(jiān)視裝置4的結(jié)束操作；檔位檢測部13，用于檢測車輛的檔位；車速檢測部14，用于檢測車速。 詳細(xì)而言，操作開關(guān)15包括啟動開關(guān)16，其指示車輛用周圍監(jiān)視裝置4的啟動；結(jié)束開關(guān)18，其指示車輛用周圍監(jiān)視裝置4的結(jié)束。詳細(xì)而言，拍攝部20包括如圖11所示，被設(shè)置在車輛的周圍，并以相鄰的拍攝區(qū)域相互重疊的方式配置的第一攝像機(jī)22、第二攝像機(jī)24、第三攝像機(jī)26、第四攝像機(jī)28、以及，對第一攝像機(jī)22的輸出信號進(jìn)行AD變換而變換成數(shù)字信號的第一解碼器23 ;對第二攝像機(jī)24的輸出信號進(jìn)行AD變換而變換成數(shù)字信號的第二解碼器25 ;對第三攝像機(jī)26的輸出信號進(jìn)行AD變換而變換成數(shù)字信號的第三解碼器27 ;對第四攝像機(jī)28的輸出信號進(jìn) 行AD變換而變換成數(shù)字信號的第四解碼器29。詳細(xì)而言，虛擬屏幕投影圖像生成部40包括第一坐標(biāo)變換數(shù)據(jù)存儲部44和虛擬屏幕投影圖像運(yùn)算部42，第一坐標(biāo)變換數(shù)據(jù)存儲部44內(nèi)存儲有，為生成虛擬屏幕投影圖像，根據(jù)第一攝像機(jī)22至第四攝像機(jī)28的各設(shè)置位置和虛擬屏幕的各設(shè)置位置而預(yù)先作成的坐標(biāo)變換用數(shù)據(jù)表；虛擬屏幕投影圖像運(yùn)算部42根據(jù)存儲在第一坐標(biāo)變換數(shù)據(jù)存儲部44中的坐標(biāo)變換用數(shù)據(jù)表生成虛擬屏幕投影圖像。詳細(xì)而言，路面投影圖像生成部50包括第二坐標(biāo)變換數(shù)據(jù)存儲部56、路面投影圖像運(yùn)算部52以及路面投影圖像合成部54，第二坐標(biāo)變換數(shù)據(jù)存儲部56內(nèi)存儲有，為生成路面投影圖像，根據(jù)第一攝像機(jī)22至第四攝像機(jī)28的各設(shè)置位置預(yù)先作成的坐標(biāo)變換用數(shù)據(jù)表；路面投影圖像運(yùn)算部52根據(jù)被存儲在第二坐標(biāo)變換數(shù)據(jù)存儲部56中的坐標(biāo)變換用數(shù)據(jù)表，從由各攝像機(jī)拍攝的圖像生成路面投影圖像；路面投影圖像合成部54其將所生成的多個路面投影圖像合成為I幅圖像。詳細(xì)而言，第一視角變換部60包括虛擬視角位置/虛擬視線方向設(shè)定部66，其根據(jù)車輛I的行進(jìn)方向和駕駛員的開關(guān)操作，設(shè)定用于生成虛擬屏幕投影圖像和路面投影圖像的合成圖像的虛擬視角位置和虛擬視線方向；第三坐標(biāo)變換數(shù)據(jù)存儲部64，其內(nèi)存儲有用于從由虛擬視角位置/虛擬視線方向設(shè)定部66設(shè)定的虛擬視角位置朝向虛擬視線方向，進(jìn)行虛擬屏幕投影圖像的視角變換的坐標(biāo)變換用數(shù)據(jù)表；第一視角變換運(yùn)算部62根據(jù)存儲在第三坐標(biāo)變換數(shù)據(jù)存儲部64中的坐標(biāo)變換用數(shù)據(jù)表對虛擬屏幕投影圖像進(jìn)行視角變換。
詳細(xì)而言，第二視角變換部70包括第四坐標(biāo)變換數(shù)據(jù)存儲部74，其內(nèi)存儲有用于從由虛擬視角位置/虛擬視線方向設(shè)定部66設(shè)定的虛擬視角位置朝向虛擬視線方向，進(jìn)行路面投影圖像的視角變換的坐標(biāo)變換用數(shù)據(jù)表；第二視角變換運(yùn)算部72，其根據(jù)被存儲在第四坐標(biāo)變換數(shù)據(jù)存儲部74中的坐標(biāo)變換用數(shù)據(jù)表對路面投影圖像進(jìn)行視角變換。詳細(xì)而言，圖像合成部80包括透過率設(shè)定部84，其用于設(shè)定在將被第一視角變換部60視角變換后的虛擬屏幕投影圖像和被第二視角變換部70視角變換后的路面投影圖像合成為I幅圖像時(shí)，用于設(shè)定圖像重疊部分的透過率；圖像合成運(yùn)算部82，其根據(jù)由透過率設(shè)定部84設(shè)定的透過率，將被第一視角變換部60視角變換后的虛擬屏幕投影圖像作為前面，將被第二視角變換部70視角變換后的路面投影圖像作為背面進(jìn)行合成。詳細(xì)而言，圖像顯示部90包括編碼器92，其將由圖像合成部80合成的圖像從數(shù)字信號變換成模擬信號；顯示用監(jiān)視器94，其顯示被編碼器92變換成模擬信號的圖像。而且，詳細(xì)而言，障礙物檢測部100包括第一測距部102，其如圖11所示，被設(shè)置在車輛I的周圍，算出包含第一攝像機(jī)22的拍攝范圍和第二攝像機(jī)24的拍攝范圍的重疊 范圍即第一重疊區(qū)域El在內(nèi)的第一測距范圍Rl內(nèi)的障礙物的有無及至該障礙物的距離；第二測距部104，其算出包含第二攝像機(jī)24的拍攝范圍和第三攝像機(jī)26的拍攝范圍的重疊范圍即第二重疊區(qū)域E2在內(nèi)的第二測距范圍R2內(nèi)的障礙物的有無及至該障礙物的距離；第三測距部106，其算出包含第三攝像機(jī)26的拍攝范圍和第四攝像機(jī)28的拍攝范圍的重疊范圍即第三重疊區(qū)域E3在內(nèi)的第三測距范圍R3內(nèi)的障礙物的有無及至該障礙物的距離；第四測距部108，其算出包含第四攝像機(jī)28的拍攝范圍和第一攝像機(jī)22的拍攝范圍的重疊范圍即第四重疊區(qū)域E4在內(nèi)的第四測距范圍R4內(nèi)的障礙物的有無及至該障礙物的距離；距離值判定部109，其根據(jù)所測出的至該障礙物的距離值，設(shè)定圖像合成時(shí)的透過率。以下，根據(jù)圖12的流程圖說明實(shí)施例2涉及的車輛用周圍監(jiān)視裝置4的作用。本發(fā)明涉及的車輛用周圍監(jiān)視裝置4是，在進(jìn)行車輛的泊車時(shí)和在狹窄場所調(diào)頭時(shí)等時(shí)，將車輛周邊的圖像呈現(xiàn)給駕駛員來輔助駕駛動作的裝置。如圖11(a)所示，第一攝像機(jī)22被設(shè)置在車輛I的前保險(xiǎn)杠上，第二攝像機(jī)24被設(shè)置在車輛I的左車門后視鏡上，第三攝像機(jī)26被設(shè)置在車輛I的后保險(xiǎn)杠上，圖11 (a)中雖然未圖示，但第四攝像機(jī)28被設(shè)置在車輛I的右車門后視鏡上。另外，如圖11 (b)所示，第一測距部102被設(shè)置在前保險(xiǎn)杠左角，第二測距部104被設(shè)置在后保險(xiǎn)杠左角，第三測距部106被設(shè)置在后保險(xiǎn)杠右角，第四測距部108被設(shè)置在前保險(xiǎn)杠右角。這些測距部，具體由超聲波傳感器或光學(xué)式測距傳感器構(gòu)成，但只要具有測距功能，采用任何形式的測距部均可。另外，如圖11 (b)所示，各攝像機(jī)被設(shè)置成，對各自的拍攝范圍與路面由各交線120、122、124、126表示的相交的范圍進(jìn)行拍攝的方式。此外，如圖11(b)所示，相鄰的攝像機(jī)22和24、24和26、26和28以及28和22的
各自的拍攝范圍相互重疊，并以具有第一重疊區(qū)域E1、第二重疊區(qū)域E2、第三重疊區(qū)域E3、第四重疊區(qū)域E4的方式設(shè)置。而且，第一測距部102將包含第一重疊區(qū)域El的區(qū)域作為第一測距范圍R1，第二測距部104將包含第二重疊區(qū)域E2的區(qū)域作為第二測距范圍R2，第三測距部106將包含第三重疊區(qū)域E3的區(qū)域作為第三測距范圍R3，第四測距部108將包含第四重疊區(qū)域E4的區(qū)域作為第四測距范圍R4。以下，圍繞車輛I為了泊車而微速前進(jìn)時(shí)，對實(shí)施例2的工作狀態(tài)進(jìn)行說明。駕駛員要監(jiān)視車輛周圍的情況時(shí)，操作設(shè)置在車內(nèi)的啟動開關(guān)16。然后，通過啟動開關(guān)操作檢測部11檢測啟動開關(guān)操作(圖12的S2)。此時(shí)，向表示車輛用周圍監(jiān)視裝置4的狀態(tài)的變量^賦值I (圖12的S4)。由第一攝像機(jī)22至第四攝像機(jī)28拍攝的圖像分別通過第一解碼器23至第四解碼器29被標(biāo)本化以及量化而變換成數(shù)字圖像(圖12的S6)。此外，將由第一攝像機(jī)22拍攝的圖像設(shè)定為I1 (x,y),由第二攝像機(jī)24拍攝的圖像設(shè)定為I2 (x,y),由第三攝像機(jī)26拍攝的圖像設(shè)定為I3 (x，y)，由弟四攝像機(jī)28拍攝的圖像設(shè)定為I4 (x, y)0在圖像輸入的同時(shí)，通過第一測距部102至第四測距部108進(jìn)行車輛周圍的測距，各測距部輸出與存在于車輛I周圍的障礙物的距離對應(yīng)的值。 在此這里，為簡便起見，假設(shè)實(shí)施例2工作進(jìn)行動作的環(huán)境與如圖13 (a)所示的情形相同。即，與在實(shí)施例I中說明的條件相同，即在車輛I的左前方的路面垂直豎立有4根柱狀物(第一柱狀物301、第二柱狀物302、第三柱狀物303、第四柱狀物304)，在車輛I的右后方有4根柱狀物(第五柱狀物305、第六柱狀物306、第七柱狀物307、第八柱狀物308)，該等柱狀物被配置在正方形的4個頂點(diǎn)的位置，并分別垂直于路面立起。此外，車輛左前方的4根柱狀物位于在進(jìn)行泊車操作時(shí)需要喚起注意的喚起注意范圍420的內(nèi)部，車輛右后方的4根柱狀物位于喚起注意范圍420的外部。至自路面具有一定高度的物體(障礙物)的距離越近，4個測距部(102、104、106、108)輸出的與距離對應(yīng)的值越小。在實(shí)施例2的情形，從第一測距部102輸出最小的值，從第三測距部106輸出第二小的值。由于車輛I的左后方和右前方不存在障礙物，所以從第二測距部104和第四測距部108輸出表示不存在障礙物的非常大的值。然后，從4個測距部(102、104、106、108)輸出的值被發(fā)送到距離值判定部109，該距離值判定部109確定輸出規(guī)定值以下的值的測距部的有無及其位置。在本例的情況下，指定從第一測距部102輸出規(guī)定值以下的值(圖12的S7)。然后，在由距離值判定部109指定的輸出規(guī)定值以下的值的第一測距部102的測距范圍即第一測距范圍Rl覆蓋的第一重疊區(qū)域E1，通過虛擬屏幕設(shè)置部30設(shè)置可將第一重疊區(qū)域El的面積二等分，并沿從車輛向遠(yuǎn)近方向延伸且垂直于路面的平面狀的第一虛擬屏幕200。進(jìn)而，通過虛擬屏幕投影圖像生成部40在所設(shè)置的第一虛擬屏幕200上對圖像I1(x，y)和圖像I2 (x，y)進(jìn)行投影變換，從而生成虛擬屏幕投影圖像(圖12的S8)。關(guān)于虛擬屏幕投影圖像的生成方法，和實(shí)施例I中所說明的相同，這里省略其說明。虛擬屏幕投影圖像是通過虛擬屏幕投影圖像運(yùn)算部42而生成的，但在圖像I1 (X，y)、圖像I2 (x,y)的每個象素算出與第一虛擬屏幕200交叉的點(diǎn)的方法，其計(jì)算負(fù)荷很大，所以根據(jù)第一攝像機(jī)22和第二攝像機(jī)24的配置，計(jì)算出被投影到第一虛擬屏幕投影圖像205的任意的象素上的圖像I1 (x，y)和圖像I2 (x，y)的坐標(biāo)值，并根據(jù)該計(jì)算結(jié)果預(yù)先作成坐標(biāo)變換表后，存儲在第一坐標(biāo)變換數(shù)據(jù)存儲部44中。另外，在虛擬屏幕投影圖像運(yùn)算部42中，通過根據(jù)存儲在第一坐標(biāo)變換數(shù)據(jù)存儲部44中的坐標(biāo)變換表來進(jìn)行坐標(biāo)的置換的方法，進(jìn)行投影變換，借此降低計(jì)算負(fù)荷。通過該投影變換生成第一虛擬屏幕投影圖像205。然后,通過路面投影圖像運(yùn)算部52,將圖像I1 (X, y)、圖像I2 (X, y)、圖像I3 (x,y)和圖像I4 (x, y)分別投影到路面上，并變換成從車輛正上方俯視的圖像(圖12的S9)。路面投影圖像的生成方法和實(shí)施例I中說明的相同，所以這里省略其說明。路面投影圖像是通過路面投影圖像運(yùn)算部52而生成的，但在圖像I1 (x,y)的情形，通過求出從第一攝像機(jī)22的主點(diǎn)位置P朝向由第一攝像機(jī)22拍攝的圖像I1 (x，y)的各象素延伸的半直線與路面的交叉點(diǎn)的方法進(jìn)行。關(guān)于圖像I2 (x，y)，也用同樣的方法生成路面投影圖像。這里，由于對圖像I1 (x，y)和圖像I2 (x，y)，按其每個象素計(jì)算投向路面的投影點(diǎn)，其計(jì)算負(fù)荷很大，因此根據(jù)第一攝像機(jī)22和第二攝像機(jī)24的配置，預(yù)先計(jì)算出投影在路面上的任意的點(diǎn)上的圖像I1 (x，y)和圖像I2 (x，y)的坐標(biāo)值，并根據(jù)該計(jì)算結(jié)果預(yù)先 作成坐標(biāo)變換表后，存儲在第二坐標(biāo)變換數(shù)據(jù)存儲部56中。具體的路面投影圖像的生成方法與實(shí)施例I中說明的相同，這里省略其說明。實(shí)施例2工作的環(huán)境是圖13 (a)所示的情形時(shí)，由4臺攝像機(jī)拍攝的4幅圖像的路面投影圖像被合成為如圖13 (b)所示的狀態(tài)。這里，由于車輛I自身及其附近部分處于攝像機(jī)的拍攝視野以外，因此會進(jìn)行例如將灰度值置換成最小值或最大值等等工作，借此保存特定數(shù)值，并將信息欠缺的情況通知駕駛員。從而生成如圖13 (c)所示的合成路面投影圖像300。然后，在圖12的S8中生成的第一虛擬屏幕投影圖像205，被第一視角變換部60變換成從規(guī)定的視角位置朝向規(guī)定的視線方向觀測的圖像。這里，規(guī)定的視角位置和規(guī)定的視線方向是根據(jù)由操作檢測部10測出的信息通過虛擬視角位置/虛擬視線方向設(shè)定部66決定的。S卩，在向表示車輛用周圍監(jiān)視裝置4的狀態(tài)的變量P賦值I的情況下(圖12的S10)，虛擬視角被設(shè)定在車輛I的后方上空，并設(shè)定從此處向下觀察車輛I的前方側(cè)的虛擬視線方向(圖12的Sn)。在第三坐標(biāo)變換數(shù)據(jù)存儲部64中，存儲有用于將虛擬屏幕投影圖像以從所設(shè)定的虛擬視角位置朝向所設(shè)定的虛擬視線方向觀測的方式進(jìn)行視角變換的預(yù)先作成的坐標(biāo)變換表，根據(jù)該坐標(biāo)變換表，通過第一視角變換運(yùn)算部62進(jìn)行視角變換(圖12的S13)。而且，在圖12的S9中生成的合成路面投影圖像300，被第二視角變換部70變換成從與虛擬視角位置/虛擬視線方向設(shè)定部66所設(shè)定的相同的視角位置朝向相同的視線方向觀測的圖像。具體的是，在第四坐標(biāo)變換數(shù)據(jù)存儲部74中，存儲有用于將合成路面投影圖像300以從所設(shè)定的虛擬視角位置朝向所設(shè)定的虛擬視線方向觀測的方式進(jìn)行視角變換的預(yù)先作成的坐標(biāo)變換表，并根據(jù)該坐標(biāo)變換表，通過第二視角變換運(yùn)算部72進(jìn)行視角變換(圖 12 的 S14)。然后，由第一視角變換運(yùn)算部62生成的第一虛擬屏幕投影圖像205和由第二視角變換運(yùn)算部72生成的合成路面投影圖像300，將第一虛擬屏幕投影圖像205作為前面，將以合成路面投影圖像300作為背面，并通過圖像合成部80被合成為I幅圖像(圖12的S15)。該圖像合成是根據(jù)由透過率設(shè)定部84決定的規(guī)則通過圖像合成運(yùn)算部82實(shí)施的?，F(xiàn)在，若 設(shè)由第一視角變換運(yùn)算部62生成的第一虛擬屏幕投影圖像205為K (x,y)、由第二視角變換運(yùn)算部72生成的合成路面投影圖像300為L (x, y)、由圖像合成部80合成的圖像為M (X, y),則M (X, y)可通過前述的式I求得。這里，透過率參數(shù)a取Oa I的范圍的值。在實(shí)施例2中設(shè)定成a = I。這是在虛擬屏幕投影圖像(205、215、225、235)和合成路面投影圖像300重疊的情況下，將在背面被合成的合成路面投影圖像300設(shè)定為不可視狀態(tài)。圖14 (a)給出了這樣獲得的合成圖像的例子。這里，填充黑色的區(qū)域是相當(dāng)于與車輛I的存在位置極其接近的拍攝部20的拍攝視野以外的區(qū)域、和虛擬屏幕投影圖像及合成路面投影圖像以外的區(qū)域。這里，在車輛I的存在位置，也可以重疊顯示朝后的第一車輛圖標(biāo)400，更明確地表現(xiàn)前后的位置關(guān)系。通過編碼器92將這樣獲得的圖14 (a)的合成圖像進(jìn)行DA變換，并顯示在設(shè)置于車輛I內(nèi)部的顯示用監(jiān)視器94上(圖12的S16)。此時(shí)，通過車速檢測部14不斷檢測車速，當(dāng)測出的車速超過規(guī)定值時(shí)(圖12的S17)，將所顯示的圖像返回本裝置啟動前的狀態(tài)(圖12的S21)，轉(zhuǎn)移到車輛用周圍監(jiān)視裝置4的非顯示狀態(tài)(圖12的SI)。另外，在結(jié)束開關(guān)操作檢測部12檢測到結(jié)束開關(guān)18已被操作時(shí)(圖12的S19)，將被顯示的圖像返回到本裝置啟動前的狀態(tài)(圖12的S21)，轉(zhuǎn)移到車輛用周圍監(jiān)視裝置4的非顯示狀態(tài)(圖12的SI)。以上，圍繞車輛I前進(jìn)時(shí)的動作進(jìn)行了說明，但在車輛I后退時(shí)，顯示車輛后方的圖像。此情況下的工作的流程與上述車輛前進(jìn)時(shí)大致相同，因此僅說明不同點(diǎn)。當(dāng)通過檔位檢測部13檢測到檔位處于后退位置時(shí)(圖12的S3)，馬上向表示系統(tǒng)的狀態(tài)的變量P賦值2 (圖12的S5)，通過虛擬視角位置/虛擬視線方向設(shè)定部66，將虛擬視角設(shè)定在車輛I的前方上空，設(shè)定從此處向下觀察車輛I的后方側(cè)的虛擬視線方向(圖12 的 S12)。與車輛前進(jìn)的情形相同，圖像合成運(yùn)算部82合成生成的虛擬屏幕投影圖像和合成路面投影圖像300，并如圖14 (b)所示，將作為俯瞰車輛后方的圖像顯示在顯示用監(jiān)視器94中(圖12的S16)。此時(shí)，也可以在車輛I的存在位置，重疊顯示朝前的第二車輛圖標(biāo)410，而更明確地表現(xiàn)前后的位置關(guān)系。此外，通過車速檢測部14不斷檢測車速，當(dāng)檢測的車速超過規(guī)定值時(shí)(圖12的
S17)，將被顯示的圖像返回到本裝置啟動前的狀態(tài)(圖12的S21)，轉(zhuǎn)移到車輛用周圍監(jiān)視裝置4的非顯示狀態(tài)(圖12的SI)。另外，通過檔位檢測部13不斷檢測檔位，當(dāng)測出檔位處于后退位置以外的位置時(shí)(圖12的S20)，將被顯示的圖像返回到本裝置啟動前的狀態(tài)(圖12的S21)，轉(zhuǎn)移到車輛用周圍監(jiān)視裝置4的非顯示狀態(tài)(圖12的SI)。根據(jù)這樣構(gòu)成的實(shí)施例2涉及的車輛用周圍監(jiān)視裝置4，只在測出障礙物的區(qū)域內(nèi)設(shè)置虛擬屏幕，并對該其虛擬屏幕生成虛擬屏幕投影圖像并顯示，所以，只有在現(xiàn)有的車輛用周圍監(jiān)視裝置中因障礙物存在于圖像的接縫位置而成為死角時(shí)，才會顯示虛擬屏幕投影圖像，由此，能夠進(jìn)一步提高存在障礙物時(shí)的視覺可辨認(rèn)性。此外，在實(shí)施例2中，至障礙物的距離在規(guī)定值以下時(shí)，在與測出該障礙物的區(qū)域?qū)?yīng)的場所設(shè)置虛擬屏幕，通過透過率設(shè)定部84中將透過率參數(shù)a設(shè)定成I，借此，將與在該虛擬屏幕上投影生成的虛擬屏幕投影圖像重疊的合成路面投影圖像300設(shè)定為不可視狀態(tài)，并生成合成圖像，但不限于該形式。S卩，與由第一測距部102測定并輸出的至障礙物的距離對應(yīng)的值為D1、與由第二測距部104測定并輸出的至障礙物的距離對應(yīng)的值為D2、與由第三測距部106測定并輸出的至障礙物的距離對應(yīng)的值為D3、與由第四測距部108測定并輸出的至障礙物的距離對應(yīng)的值為D4，如透過率設(shè)定部84認(rèn)為，當(dāng)與各距離對應(yīng)的值Di (i = 1,2,3,4)比第一距離閾值Dmax還大時(shí)，將透過率參數(shù)a設(shè)定成0，將虛擬屏幕投影圖像設(shè)成不可視狀態(tài)，另外，當(dāng)Di比第二距離閾值Dmin還小時(shí)，將透過率參數(shù)a設(shè)定成1，將設(shè)合成路面投影圖像300設(shè)為不可視狀態(tài)，進(jìn)一步，當(dāng)Dmin < Di < Dmax時(shí),與距離對應(yīng)的值Di越小,將透過率參數(shù)a設(shè)定成不超過I的較大的值，由此，使至障礙物的距離越近，越清楚地顯示虛擬屏幕投影圖像。這樣設(shè)定的透過率參數(shù)a的例子如圖15所示。 通過如圖15所示的透過率的設(shè)定方法，可將向障礙物靠近的情形，更準(zhǔn)確地傳達(dá)給駕駛員。另外，也可以采用如下顯示方法，通過距離值判定部109，觀測與從第一測距部102至第四測距部108分別輸出的到障礙物為止的距離對應(yīng)的值Dl至D4的時(shí)間變化，各Di(i = I，2，3，4)隨著時(shí)間的經(jīng)過而變小(近)時(shí)，判斷為車輛I正在靠近障礙物，并加大a的值(在不超過I的范圍內(nèi))，使虛擬屏幕投影像的背面合成的合成路面投影像不易看到，能夠明確地傳遞靠近障礙物的情況，相反，當(dāng)各Di (i = 1，2，3，4)隨著時(shí)間的經(jīng)過而變大(遠(yuǎn))時(shí)，判斷為車輛I正在遠(yuǎn)離障礙物，使a的值(在不小于0的范圍內(nèi))變小，虛擬屏幕投影像的背面的合成路面投影像變得容易看到，能夠明確地傳遞從障礙物遠(yuǎn)離的情況。而且，在實(shí)施例2中，在將相鄰的攝像機(jī)的拍攝范圍的重疊區(qū)域的面積大致二等分的位置，設(shè)置了從車輛沿遠(yuǎn)近方向延伸的垂直于路面的平面狀的虛擬屏幕，但不限于該形式。即，測距部(102、104、106、108)也可以具有能夠沿水平方向(車輛的周圍方向)掃描測距范圍并按照水平方向的角度測定距離信息的功能，并設(shè)置向獲得障礙物信息的方向延伸的垂直于路面立起的平面狀的虛擬屏幕，生成虛擬屏幕投影圖像并使其顯示在該虛擬屏幕上。根據(jù)該方法，由于在存在障礙物的方向上設(shè)置虛擬屏幕，所以虛擬屏幕投影圖像的中的障礙物的像被拍攝該障礙物的相鄰的2臺攝像機(jī)投影到虛擬屏幕的相同位置，因此，在虛擬屏幕投影圖像上，表示障礙物的像的灰度值被加算而成為較大的值，由此，得到更明確地顯示障礙物，提高圖像的視覺辨認(rèn)性的效果。[關(guān)聯(lián)申請的相互參考]本申請根據(jù)2010年3月10日向日本國專利廳提出的專利申請2010 — 052762主張優(yōu)先權(quán)，本說明書通過參照援弓I其全部內(nèi)容。
權(quán)利要求
1.一種車輛用周圍監(jiān)視裝置，其特征在于，具有 多個拍攝部，被設(shè)置在車輛上對車輛周圍進(jìn)行拍攝，其中相鄰拍攝部的拍攝范圍的一部分具有重疊區(qū)域； 虛擬屏幕設(shè)置部，在該拍攝范圍的重疊區(qū)域的內(nèi)部設(shè)置，向相對于該車輛的遠(yuǎn)近方向延伸且沿與路面垂直的方向豎起的虛擬屏幕； 虛擬屏幕投影圖像生成部，將與存儲在相鄰拍攝部拍攝的各圖像的各象素中的灰度值對應(yīng)的值，存儲至從與該拍攝部的各個主點(diǎn)對應(yīng)的位置向由該拍攝部拍攝的圖像的各象素延伸的半直線與該虛擬屏幕交叉的位置； 第一視角變換部，將由該虛擬屏幕投影圖像生成部生成的圖像坐標(biāo)變換成從規(guī)定的視角位置向規(guī)定的視線方向觀測到的圖像并輸出；以及 圖像顯示部，其顯示從該第一視角變換部輸出的圖像。
2.—種車輛用周圍監(jiān)視裝置，其特征在于，具有 多個拍攝部，其被設(shè)置在車輛上對車輛周圍進(jìn)行拍攝，且相鄰拍攝部的拍攝范圍的一部分具有重疊區(qū)域； 虛擬屏幕設(shè)置部，其在該拍攝范圍的重疊區(qū)域的內(nèi)部設(shè)置，向相對于該車輛的遠(yuǎn)近方向延伸且沿與路面垂直的方向豎起的虛擬屏幕； 虛擬屏幕投影圖像生成部，將與存儲在相鄰拍攝部拍攝的各圖像的各象素中的灰度值對應(yīng)的值，存儲至從與該拍攝部的各個主點(diǎn)對應(yīng)的位置向由該拍攝部拍攝的圖像的各象素延伸的半直線與該虛擬屏幕交叉的位置； 第一視角變換部，其將由該虛擬屏幕投影圖像生成部生成的圖像坐標(biāo)變換成從規(guī)定的視角位置向規(guī)定的視線方向觀測到的圖像并輸出； 路面投影圖像生成部，其將存儲在由該多個拍攝部拍攝的各個圖像的各象素中的灰度值，存儲至從與該拍攝部的各主點(diǎn)對應(yīng)的位置向由該拍攝部拍攝的圖像的各象素延伸的半直線與路面交叉的位置； 第二視角變換部，其將由該路面投影圖像生成部生成的圖像，坐標(biāo)變換成從該規(guī)定的視角位置向該規(guī)定的視線方向觀測到的圖像并輸出； 圖像合成部，其將從該第一視角變換部輸出的圖像和從該第二視角變換部輸出的圖像合成為I幅圖像并輸出；以及 圖像顯示部，用于顯示從該圖像合成部輸出的圖像。
3.如權(quán)利要求I該的車輛用周圍監(jiān)視裝置，其特征在于，還具有 啟動開關(guān)和用于檢測該啟動開關(guān)被操作的情況以及車輛的檔位情況的操作檢測部；該第一視角變換部根據(jù)該啟動開關(guān)的操作情況和該檔位情況來決定該視角位置和該視線方向。
4.如權(quán)利要求I或3該的車輛用周圍監(jiān)視裝置，其特征在于，該虛擬屏幕設(shè)置部，在相鄰拍攝部的拍攝范圍的重疊區(qū)域內(nèi)，在將該重疊區(qū)域的面積的大致二等分的位置設(shè)置虛擬屏幕。
5.如權(quán)利要求I該的車輛用周圍監(jiān)視裝置，其特征在于，該虛擬屏幕設(shè)置部根據(jù)該車輛的行進(jìn)方向設(shè)定該虛擬屏幕的設(shè)置位置。
6.如權(quán)利要求I該的車輛用周圍監(jiān)視裝置，其特征在于，還具有多個障礙物檢測部，測出在相鄰拍攝部的拍攝范圍的重疊區(qū)域中，從車輛到自該車輛所在的附近的路面具有一定高度的物體的距離； 該虛擬屏幕設(shè)置部，測出到自該路面具有一定高度的物體的距離比規(guī)定值小時(shí)，或者，測出到自該路面具有一定高度的物體的距離隨時(shí)間而變小時(shí)，在與輸出該檢測結(jié)果的障礙物檢測部的設(shè)置位置對應(yīng)的該拍攝部的拍攝范圍的重疊區(qū)域的內(nèi)部設(shè)置該虛擬屏幕，并對于該虛擬屏幕生成該虛擬屏幕投影圖像并顯示。
7.如權(quán)利要求I該的車輛用周圍監(jiān)視裝置，其特征在于，該障礙物檢測部具有，在該相鄰的拍攝部的拍攝范圍的重疊區(qū)域，沿該車輛的周圍方向的全范圍內(nèi)，測出至從該車輛所在附近的路面具有一定高度的物體的距離的功能，當(dāng)測出的至從該路面具有一定高度的物體的距離比規(guī)定值小，或者到自該路面具有一定高度的物體的距離隨時(shí)間變小時(shí)，通過該虛擬屏幕設(shè)置部，向該被檢測出的物體存在的方向，設(shè)置垂直于路面豎立且向相對于該車輛的遠(yuǎn)近方向延伸的虛擬屏幕，并對該虛擬屏幕生成該虛擬屏幕投影圖像并顯示。
8.如權(quán)利要求2該的車輛用周圍監(jiān)視裝置，其特征在于，具有啟動開關(guān)和操作檢測部，該操作檢測部用于檢測該啟動開關(guān)已被操作的情況以及車輛的檔位； 根據(jù)該啟動開關(guān)的操作和該檔位該第一視角變換部以及該第二視角變換部決定該視角位置和該視線方向。
9.如權(quán)利要求2或8該的車輛用周圍監(jiān)視裝置，其特征在于，該虛擬屏幕設(shè)置部，在相鄰的該拍攝部的該拍攝范圍的重疊區(qū)域中，在將該重疊區(qū)域的面積的大致二等分的位置設(shè)置虛擬屏幕。
10.如權(quán)利要求2該的車輛用周圍監(jiān)視裝置，其特征在于，該虛擬屏幕設(shè)置部是根據(jù)該車輛的行進(jìn)方向來設(shè)定該虛擬屏幕的設(shè)置位置的。
11.如權(quán)利要求2該的車輛用周圍監(jiān)視裝置，其特征在于，具有 多個障礙物檢測部，其測出在相鄰的拍攝部的拍攝范圍的重疊區(qū)域中的、從車輛到該車輛所在附近的路面具有一定高度的物體的距離； 該虛擬屏幕設(shè)置部，其測出到自該路面具有一定高度的物體的距離比規(guī)定值小時(shí)，或者測出到自該路面具有一定高度的物體的距離隨時(shí)間變小時(shí)，將該虛擬屏幕設(shè)置在與輸出該檢測結(jié)果的障礙物檢測部的設(shè)置位置對應(yīng)的該拍攝部的拍攝范圍的重疊區(qū)域的內(nèi)部，并對該虛擬屏幕生成該虛擬屏幕投影圖像并顯示。
12.如權(quán)利要求2該的車輛用周圍監(jiān)視裝置，其特征在于， 該障礙物檢測部具有，在該相鄰的拍攝部的拍攝范圍的重疊區(qū)域中，沿該車輛的周圍方向的整個范圍內(nèi)，測出至從該車輛所在附近的自路面具有一定高度的物體的距離的功能，在測出至從該路面具有一定高度的物體的距離比規(guī)定值小，或者至從該路面具有一定高度的物體的距離隨時(shí)間變小時(shí)，通過該虛擬屏幕設(shè)置部，向該被檢測的物體存在的方向，設(shè)置垂直于路面豎立且向相對于該車輛遠(yuǎn)近方向延伸的虛擬屏幕，并對該虛擬屏幕生成該虛擬屏幕投影圖像并顯示。
13.如權(quán)利要求2該的車輛用周圍監(jiān)視裝置，其特征在于，該圖像合成部具有透過率設(shè)定部，用于設(shè)定相互重疊合成的圖像的透過率；以及圖像合成部，其根據(jù)該透過率設(shè)定部設(shè)定的透過率進(jìn)行圖像合成， 將被該第一視角變換部輸出的圖像作為前面，被該第二視角變換部輸出的圖像作為背面進(jìn)行合成，并且通過該透過率設(shè)定部設(shè)定該透過率，使被該第二視角變換部輸出的圖像變成為不可視的狀態(tài)。
14.如權(quán)利要求2該的車輛用周圍監(jiān)視裝置，其特征在于，該障礙物檢測部測出，至從該路面具有一定高度的物體的距離比規(guī)定值小，或者至從該路面具有一定高度的物體的距離隨時(shí)間變小時(shí)，通過該透過率設(shè)定部設(shè)定，在與輸出該檢測結(jié)果的障礙物檢測部的設(shè)置位置對應(yīng)的該拍攝部的拍攝范圍的重疊區(qū)域的內(nèi)部設(shè)置的虛擬屏幕投影圖像的透過率，使合成在該虛擬屏幕投影圖像的背面上的該路面投影圖像，距從該路面具有一定高度的物體的距離越近時(shí)越難以觀察。
全文摘要
本發(fā)明公開一種車輛用周圍監(jiān)視裝置，在由拍攝部(20)拍攝的圖像的接縫的內(nèi)部，通過虛擬屏幕設(shè)置部(30)設(shè)置垂直于路面且相對于車輛沿遠(yuǎn)近方向延伸的虛擬屏幕，并通過虛擬屏幕投影圖像生成部(40)將由拍攝部(20)拍攝的圖像投影變換到虛擬屏幕上，生成虛擬屏幕投影圖像，通過圖像顯示部(90)進(jìn)行顯示。
文檔編號G08G1/16GK102783143SQ20118001165
公開日2012年11月14日 申請日期2011年3月8日 優(yōu)先權(quán)日2010年3月10日
發(fā)明者佐藤德行 申請人:歌樂牌株式會社