專利名稱：車輛周圍監(jiān)視裝置及其調(diào)整方法
技術(shù)領(lǐng)域：
本發(fā)明涉及使用對車輛周圍進(jìn)行拍攝的多個攝像機(jī)的車輛周圍監(jiān)視裝置，特別是關(guān)于通過把從各個攝像機(jī)的圖像提取出的部分圖像進(jìn)行合成，而提供一種用戶便于了解車輛周圍狀況的圖像的技術(shù)。
文獻(xiàn)1所記載的裝置是把朝向后面地設(shè)置在車輛的后部中央的1臺及左右車門反光鏡附近的各1臺攝像機(jī)的用于拼接的圖像調(diào)整為在無窮遠(yuǎn)點形成一致，把寬視角的觀察圖像提供給司機(jī)。使用戶能夠通過1幅虛擬的圖像獲得車輛左右及后方的道路的狀況信息，從而易于掌握全體的狀況。
另外，在文獻(xiàn)2公開了一種在車輛的周身設(shè)置8臺用于提供車輛用影像的攝像機(jī)，通過對由各個攝像機(jī)拍攝的圖像進(jìn)行變形、合成處理作成新的圖像并通過顯示器進(jìn)行顯示的技術(shù)。尤其是在對多個攝像機(jī)的拍攝圖像進(jìn)行變形合成時，通過在被變形后的拼接圖像的鄰接邊界部分上保持圖像的連續(xù)性，可以向司機(jī)提供更接近實際的圖像。
但是，在以往的技術(shù)中，在為了使邊界部形成連續(xù)地銜接而對圖像進(jìn)行變形、合成時，原則上是應(yīng)該對在原始的攝像機(jī)圖像中所反映出的物體的形狀和距離進(jìn)行準(zhǔn)確地進(jìn)行實時計算，用此計算結(jié)果進(jìn)行圖像的變形處理。但是，由于進(jìn)行這種計算所需的成本非常高，在現(xiàn)實階段難于實施。因此，通常是采用不是對反映在邊界部上的所有物體保持其連續(xù)性，而只使反映在圖像中的一部分形成連續(xù)連接地進(jìn)行圖像變形的方法。例如，在拍攝對像在車輛周圍的情況下，使用路面作為保持連續(xù)性的部分。即所謂的路面投影方法。
但是，當(dāng)使用這種方法時，為了維持邊界部分的連續(xù)性，不得不舍去原始的攝像機(jī)圖像的一部分，因此，有可能發(fā)生在合成圖像上不能顯示攝像機(jī)所拍攝的物體的重大問題。下面參照附圖對該問題進(jìn)行說明。
圖17是表示以往系統(tǒng)中的車載攝像機(jī)的配置典型例的示意圖。在圖17所示的實例中，在車輛的左右反光鏡的一部分上分別配置攝像機(jī)CZ1、CA4，在車輛后端部的中央朝向左右后方分別配置攝像機(jī)CZ2、CZ3，兩者包括了從車輛1的駕駛席向后方看去的攝像范圍。P是柱樁、WL是表示停車區(qū)域的白線。
另外，圖18表示一例如圖17所配置的各個攝像機(jī)CZ1～CZ4的拍攝圖像。圖19是通過把圖18的攝像機(jī)圖像進(jìn)行剪切、變形、進(jìn)行連接，而合成為如同從車輛的上方向下看去的虛擬視角圖像的示意圖。在圖19中，PIZ1～PIZ4分別是從攝像機(jī)CZ1～CZ4的拍攝圖像中剪切出來的部分圖像。在圖19的實例中，各個攝像機(jī)圖像的變形、剪切及連接至少要使路面上的景物(典型的為白線WL)在相互連接的部分圖像PIZ1～PIZ4的邊界部上形成一致。
這樣的合成方法的問題是，由于舍去原始攝像機(jī)圖像的一部分而導(dǎo)致的立體物(在圖18中為立在車輛1右后側(cè)的柱樁P)的消失。
即，在圖19的合成圖像中，屬于攝像機(jī)CZ3的部分圖像PIZ3與屬于攝像機(jī)CZ4的部分圖像PIZ4之間的邊界BLZ34被設(shè)定為向車輛1的右斜后方延伸。而且，在為了使邊界BLZ34兩側(cè)的路面形成一致對各個攝像機(jī)圖像進(jìn)行變形時，反映在攝像機(jī)CZ3上的柱樁P形成向右方延伸的傾斜(圖像PA)，另一方面，反映在攝像機(jī)CZ4中的柱樁P則形成向延伸的傾斜(圖像PB)。但是由于柱樁P的圖像PA、PB都越過了邊界BLZ34，所以在圖像合成時被剪切掉。其結(jié)果，在合成圖像上形成柱樁P的根部幾乎不存在的圖像，看起來好像柱樁已經(jīng)消失。
為了避免這樣的物體消失，如圖20所示，可考慮在無論是由攝像機(jī)CZ3還是由攝像機(jī)CZ4所拍攝的區(qū)域OL上混合經(jīng)過變形的各個攝像機(jī)圖像。然而在這種情況下，由于同時顯示圖像PA、PB，所以在合成圖像上，形成雙重的柱樁P圖像，從而形成了看上去非常不易識別的圖像。
但是，即使在物體位于部分圖像的邊界附近的情況下，也有不發(fā)生如上述的在合成圖像上的消失的情況下。
圖21是表示在部分圖像的邊界部上的物體不消失的實例的示意圖。在圖21中，在邊界BLZ23附近，無論是部分圖像PIZ2所述的攝像機(jī)CZ2還是部分圖像PIZ3所述的攝像機(jī)CZ3其拍攝方向與邊界BLZ23的方向大致一致。另外，本說明書所稱的“拍攝方向”不是指攝像機(jī)光軸的朝向，而是指從攝像機(jī)向?qū)ο窬拔?這里是邊界部分)看去的方向，即，在合成圖像中，是指連接攝像機(jī)的設(shè)置位置與邊界部分的直線的方向。因此，直立在靠近一對攝像機(jī)CZ2、CZ3后部的柱樁P的圖像無論是對攝像機(jī)CZ2、CZ3的任意圖像進(jìn)行變形都形成沿邊界BLZ23延伸的傾斜。因此，在邊界BLZ23附近對部分圖像PIZ2和部分圖像PIZ3進(jìn)行混合處理，可防止柱樁P圖像在合成圖像中消失。
即，根據(jù)本發(fā)明者的分析研究，結(jié)果認(rèn)為在一般的情況下，在滿足下面的條件時，在合成圖像上不會產(chǎn)生物體消失的現(xiàn)像。
條件關(guān)于相鄰的2個部分圖像，在個邊界附近，拍攝該部分圖像的攝像機(jī)的拍攝方向與該邊界的方向大致一致；另外，相鄰的部分圖像也可以形成重疊，也可以是不重疊的對接。在邊界附近存在相鄰的部分圖像形成重合的重合區(qū)域的情況下，此時的“邊界的方向”是指該重合區(qū)域的長度方向上的中心線方向。
在滿足該條件的情況下，由于在相鄰的部分圖像的邊界附近的物體圖像可通過轉(zhuǎn)變視角使其沿著該邊界延伸，所以在合成圖像上邊界附近的物體不會消失。本發(fā)明正是基于上述所觀察到的原理而構(gòu)成的。
即，為了解決上述的問題，本發(fā)明之1所構(gòu)成的解決方法是提供一種車輛周圍監(jiān)視裝置，具有對車輛周圍進(jìn)行拍攝的至少包括第1及第2攝像機(jī)的多臺攝像機(jī)和把所述多臺攝像機(jī)的攝像圖像作為輸入、對從這些攝像機(jī)圖像中取出的部分圖像進(jìn)行合成，并把該合成圖像通過顯示裝置進(jìn)行顯示的圖像處理部，所述合成圖像是把所述第1攝像機(jī)的第1部分圖像與所述第2攝像機(jī)的第2部分圖像相互鄰接配置的圖像，配置所述第1及第2攝像機(jī)，使其拍攝方向在所述第1部分圖像和所述第2部分圖像的邊界附近分別與所述邊界的方向基本一致。
根據(jù)本發(fā)明之1，配置所述第1及第2攝像機(jī)，使其拍攝方向在所述第1部分圖像和所述第2部分圖像的邊界附近分別與所述邊界的方向基本一致。因此，在進(jìn)行圖像合成時，存在于邊界附近的物體的圖像沿著攝像機(jī)的拍攝方向，即，與邊界的方向基本一致的方向延伸變形。因此，該物體的圖像不會被切割掉，從而不會在合成圖像中消失。因此，能夠把車輛周圍的狀況信息正確地傳達(dá)給用戶，從而可輔助駕駛員進(jìn)行更安全的駕駛。
另外，本發(fā)明之2是在本發(fā)明之1所述的車輛周圍監(jiān)視裝置中，使所述第1及第2攝像機(jī)的拍攝方向與所述邊界方向所形成的角度分別小于10度。
另外，本發(fā)明之3是在本發(fā)明之1所述的車輛周圍監(jiān)視裝置中，合成圖像是在所述第1部分圖像與所述第2部分圖像的邊界處配置混合所述第1及第2部分圖像的混合圖像。
另外，本發(fā)明之4是在本發(fā)明之1所述的車輛周圍監(jiān)視裝置中，把所述第1攝像機(jī)配置在車輛前部的左或右端部上，并使其朝向右或左斜前方；把所述第2攝像機(jī)配置在車輛的左或右側(cè)部上，并使其朝向左或右斜前方。
另外，本發(fā)明之5是在本發(fā)明之4所述的車輛周圍監(jiān)視裝置中，所述多臺攝像機(jī)包括配置在該車輛的左或右側(cè)部上的朝向左或右斜后方的第3攝像機(jī)和配置在該車輛后部的左或右端部上的朝向右或左斜后方的第4攝像機(jī)。
另外，本發(fā)明之6是在本發(fā)明之1所述的車輛周圍監(jiān)視裝置中，把所述第1攝像機(jī)配置在該車輛前部的右或左端部上，并使其朝向左或右斜前方；把所述第2攝像機(jī)配置在該車輛前部的左或右端部上，并使其朝向左或右斜后方。
另外，本發(fā)明之7是在本發(fā)明之6所述的車輛周圍監(jiān)視裝置中，所述多臺攝像機(jī)包括配置在該車輛后部的左或右側(cè)部上的朝向右或左斜后方的第3攝像機(jī)和配置在該車輛后部的右或左端部上的朝向右或左斜前方的第4攝像機(jī)。
另外，本發(fā)明之8所構(gòu)成的解決方法是一種對于具有對車輛周圍進(jìn)行拍攝的多臺攝像機(jī)、和對從所述多臺攝像機(jī)圖像中取出的部分圖像進(jìn)行合成，并把該合成圖像通過顯示裝置進(jìn)行顯示的圖像處理部的車輛周圍監(jiān)視裝置進(jìn)行調(diào)整的方法，主要是配置所述多臺攝像機(jī)中的分別用于拍攝在所述合成圖像中被相互鄰接配置的部分圖像的第1及第2攝像機(jī)，使其拍攝區(qū)域相互部分重疊；對所述第1及第2攝像機(jī)以及所述圖像處理部的其中至少任意一個進(jìn)行調(diào)整，使所述第1及第2攝像機(jī)的拍攝方向在所述第1攝像機(jī)的部分圖像與所述第2攝像機(jī)的部分圖像的邊界附近分別與所述邊界的方向基本一致。
在以上的各項發(fā)明中，在攝像機(jī)配置的說明中的“或”表示監(jiān)視范圍包括以車輛右側(cè)為中心的情況和以左側(cè)為中心的情況?；蛘呤窃诒O(jiān)視車輛周圍全體的情況下，包括把攝像機(jī)向右旋轉(zhuǎn)配置的情況和向左旋轉(zhuǎn)配置的情況。這樣的配置選擇例如可根據(jù)車輛是右方向盤還是左方向盤來進(jìn)行，也可以根據(jù)其他因素進(jìn)行選擇。或者也可以進(jìn)行任意的選擇。
另外，在“傾斜”設(shè)置攝像機(jī)的情況下，攝像機(jī)在上下方向上的拍攝角度增大，在視角內(nèi)還包括攝像機(jī)的正下方的情況下，也可以把攝像機(jī)的光軸朝向設(shè)置為水平。不過在拍攝角度不充分大的情況下，為了減少攝像機(jī)正下方的死角，最好使攝像機(jī)朝向下方。在這種情況下，例如“右斜前方”是指使攝像機(jī)朝向右斜前方，相當(dāng)于仰角進(jìn)一步向下方改變。
圖2是表示一例關(guān)于本發(fā)明的在車輛上的攝像機(jī)配置的示意圖。
圖3是表示如圖2所配置的各個攝像機(jī)的圖像實例的圖例。
圖4是表示使用圖3的攝像機(jī)圖像而生成的合成圖像的實例。
圖5是表示關(guān)于本發(fā)明的一例在車輛上的攝像機(jī)配置的示意圖。
圖6是表示如圖5所配置的各個攝像機(jī)的圖像實例的圖例。
圖7是表示使用圖6的攝像機(jī)圖像而生成的合成圖像的實例。
圖8是表示關(guān)于本發(fā)明的一例在車輛上的攝像機(jī)配置的示意圖。
圖9是表示由如圖8配置的攝像機(jī)的圖像而生成的合成圖像的實例的圖。
圖10是表示關(guān)于本發(fā)明的一例在車輛上的攝像機(jī)配置的示意圖。
圖11是表示如圖10所配置的各個攝像機(jī)的圖像實例的圖例。
圖12是表示使用圖11的攝像機(jī)圖像而生成的合成圖像的實例。
圖13是表示關(guān)于本發(fā)明的一例在車輛上的攝像機(jī)配置的示意圖。
圖14是表示由如圖13配置的攝像機(jī)的圖像而生成的合成圖像的實例的圖。
圖15是表示關(guān)于本發(fā)明的一例在車輛上的攝像機(jī)配置的示意圖。
圖16是表示由如圖15配置的攝像機(jī)的圖像而生成的合成圖像的實例的圖。
圖17是表示以往的一例在駕駛輔助裝置中的攝像機(jī)配置的示意圖。
圖18是表示一例如圖17配置的各個攝像機(jī)的圖像的圖。
圖19是表示以往的一例合成圖像的部分圖像的邊界部上的物體消失的情況的圖。
圖20是表示以往的一例合成圖像的部分圖像的邊界部上的物體形成重疊的情況的圖。
圖21是表示在部分圖像的邊界部上的物體既未消失、也未形成雙重圖像的情況的圖。
圖22是表示一例重復(fù)區(qū)域的圖。
圖23是用于說明幾何變換的方位圖。
圖24是用于說明幾何變換的方位圖。
圖25是用于說明幾何變換的方位圖。
圖26是用于說明幾何變換的方位圖。
圖1是表示本發(fā)明一實施例的車輛周圍監(jiān)視裝置的方框圖。在圖1所示的裝置中，圖像處理部20把從具有多個攝像機(jī)11的攝像裝置10輸出的多個攝像機(jī)圖像作為輸入，通過對其進(jìn)行變形、合成而生成新的合成圖像。并把該合成圖像通過顯示裝置30進(jìn)行顯示。
所謂合成圖像，典型的是虛擬視角圖像。所謂虛擬視角圖像是指通過對實際攝像機(jī)的圖像進(jìn)行加工處理、并通過將其進(jìn)行拼接等的合成而獲得的如同通過虛擬攝像機(jī)所拍攝到的圖像。作為更具體的一例，例如是如同從車輛的上方向正下方拍攝的圖像(例如圖4)，該虛擬視角圖像是通過使用直接設(shè)置在車輛上的1個或多個攝像機(jī)(例如圖2中的CA1～CA4)、分別對這些攝像機(jī)圖像(例如圖3)進(jìn)行各自的加工處理及合成而生成。
本發(fā)明的顯示裝置30是典型的液晶顯示器，但也可以使用等離子顯示器等的其他顯示裝置。另外，這里所指的顯示器也可以共用車載型GPS終端顯示器(所謂車輛導(dǎo)航系統(tǒng)的顯示器)，也可以是與其獨立設(shè)置的顯示器。
攝像裝置10典型的是具有內(nèi)部設(shè)有CCD、CMOS元件等的固體攝像元件的彩色或黑白數(shù)字?jǐn)z像機(jī)11。而且，攝像裝置10也可以例如由鏡頭、棱鏡和反光鏡的組合而構(gòu)成，使射入鏡頭、棱鏡和反光鏡的入射光通過規(guī)定的光路被傳導(dǎo)至位于與攝像裝置分離的位置上的攝像元件上。
圖像處理部20把多個攝像機(jī)11的攝像圖像作為輸入，對這些攝像圖像進(jìn)行加工。這里所說的加工包括1圖像的剪切變形處理；2對變形后的部分圖像的合成處理(包括邊界處理)。對于處理1和處理2即可以分別進(jìn)行，也可以通過1個工序進(jìn)行其全部或其中的一部分的處理。在圖1中，為了通過1個工序進(jìn)行攝像圖像的加工，采用具有圖像變換表MPT的構(gòu)成。
所謂圖像變換表MPT是指記錄有合成圖像的像素與各個攝像機(jī)圖像的像素數(shù)據(jù)的對應(yīng)關(guān)系的數(shù)據(jù)表，用于高速地進(jìn)行合成圖像的生成處理。通過使用后述的幾何變換等的計算或人工操作等預(yù)先作成這樣的圖像變換表，通過利用該圖像變換表可高速地生成所需要的合成圖像。
具體的是，把圖像變換表MPT存儲在例如ROM(包括EEPROM等的可擦寫的ROM)、或RAM中。關(guān)于圖像變換表MPT的存儲，既可以例如通過把由圖像處理部20內(nèi)的處理器的計算而求出的圖像測繪數(shù)據(jù)寫入到ROM或RAM內(nèi)來實現(xiàn)，也可以使用通信線路或磁盤驅(qū)動器等的數(shù)據(jù)轉(zhuǎn)送裝置把作為定形軟件而提供的圖像變換表數(shù)據(jù)寫入到RAM或ROM內(nèi)。
<攝像機(jī)的設(shè)置>
關(guān)于本發(fā)明的攝像機(jī)的設(shè)置，應(yīng)注意以下的2點。
1.對于成為構(gòu)成邊界的2個部分圖像的基礎(chǔ)的攝像機(jī)必須使其拍攝邊界附近的方向與邊界方向一致。這是為了使其與要求項中所述的條件相同。
2.使相鄰的攝像機(jī)圖像在其邊界部分相互存在重疊。這是為了在虛擬視角圖像中，在相鄰的攝像機(jī)圖像的邊界部分上不形成死角部分。
下面，結(jié)合


本實施例的攝像機(jī)設(shè)置的具體實例。另外，在以下的說明中，“左”及“右”是相對于車輛的前進(jìn)方向而言。另外，是以方向盤右置的車輛，即，駕駛席位于右側(cè)、副駕駛席位于左側(cè)的車輛作為對像。因此，在把本發(fā)明應(yīng)用于方向盤左置的車輛的情況下，只要是攝像機(jī)的設(shè)置為左右對稱，則在以下的攝像機(jī)設(shè)置狀態(tài)的說明中，把“左”和“右”倒置即可。
(第1例)圖2表示本發(fā)明的攝像機(jī)配置的第1例、圖3表示如圖2配置的各個攝像機(jī)CA1～CA4的攝像圖像的實例。在圖2的配置例中，如下所述地配置4臺攝像機(jī)CA1～CA4。
攝像機(jī)CA1 位置車輛1的前左端朝向右斜前方視野范圍區(qū)域AA1
攝像機(jī)CA2 位置車輛1的左側(cè)車門反光鏡部朝向左斜前方視野范圍區(qū)域AA2攝像機(jī)CA3 位置車輛1的左側(cè)車門反光鏡部朝向左斜后方視野范圍區(qū)域AA3攝像機(jī)CA1 位置車輛1的后左端朝向右斜后方視野范圍區(qū)域AA4即，在圖2中，為了合成能夠觀察到在車輛1的4邊中除了駕駛席1邊的全周圍的虛擬視角圖像，如上述的那樣設(shè)置了4臺攝像機(jī)CA1～CA4。另外，P1～P4為柱樁、WL為白線。
另外，為了在車輛1的左側(cè)獲得相當(dāng)于實際的180度視野，把攝像機(jī)CA2、CA3配置成一對。即，由于現(xiàn)階段的攝像機(jī)，在單攝像機(jī)的情況下不容易實現(xiàn)既保持所要求的分辨率又確保180度的視野，所以，簡易的辦法是成對地配置2臺畫面視角約100度的攝像機(jī)。因此，如果具有可獲得滿意分辨率且可獲得180度的視野的單一的攝像裝置，則可使用其代替攝像機(jī)CA2～CA3。
圖4是示意表示使用如圖3所示的攝像機(jī)圖像而合成的從上方向下觀察車輛1周圍的虛擬視角圖像的結(jié)果的示意圖。在圖4中，PIA1～PIA4分別表示從攝像機(jī)CA1～CA4的拍攝圖像剪切出的部分圖像，BLA12是部分圖像PIA1、PIA2的邊界、BLA23是部分圖像PIA2、PIA3的邊界、BLA34是部分圖像PIA3、PIA4的邊界。另外，DA是任何攝像機(jī)CA1～CA4都拍攝不到的死角區(qū)域。
通過如本實例那樣地配置各個攝像機(jī)CA1～CA4，可滿足上述的2個條件。即，在圖4的合成圖像中，在相鄰的部分圖像間的邊界附近，拍攝該部分圖像的攝像機(jī)的拍攝方向與邊界方向大致一致。例如，從圖2及圖4中可以看到，在作為第1部分圖像的部分圖像PIA1與作為第2部分圖像的部分圖像PIA2的邊界BLA12附近，作為拍攝部分圖像PIA1的第1攝像機(jī)的攝像機(jī)CA1與作為拍攝部分圖像PIA2的第2攝像機(jī)的攝像機(jī)CA2的拍攝方向在邊界BLA12的方向上基本一致。關(guān)于邊界BLA23、BLA34也是同樣。
另外，攝像機(jī)CA1的拍攝區(qū)域AA1與攝像機(jī)CA2的拍攝區(qū)域AA2相互形成邊界超越，同樣，攝像機(jī)CA2與攝像機(jī)CA3、攝像機(jī)CA3與攝像機(jī)CA4的拍攝區(qū)域形成相互的邊界超越。
因此，在圖4的合成圖像中，通過保持反映在各個攝像機(jī)CA1～CA4中的物體的位置關(guān)系、保留使用戶易于觀察的虛擬視角圖像的優(yōu)點、同時滿足本發(fā)明的攝像機(jī)的設(shè)置條件，有效地避免了物體消失的現(xiàn)像。這是由于，例如存在于車輛1左前角部和左后角部的柱樁P3、P4與是否位于邊界BLA12、BLA34附近無關(guān)，而通過圖像合成沿著邊界延伸，被保留在合成圖像上而不會消失。
根據(jù)本實例，通過使用4臺攝像機(jī)CA1～CA4，能夠把除了駕駛者可透過車窗觀察到駕駛席一側(cè)以外的區(qū)域的車輛周圍狀況以保持其位置關(guān)系且不存在死角的圖像進(jìn)行顯示。
(第2實例)車輛前方及左側(cè)前側(cè)方的安全確認(rèn)本發(fā)明的攝像機(jī)配置，根據(jù)對車輛周圍的不同區(qū)域進(jìn)行安全確認(rèn)的需要，可以構(gòu)成除第1實例以外的各種形式。近年來，隨著客車向大型化的發(fā)展，對車輛的前方及左側(cè)前側(cè)方死角的安全確認(rèn)技術(shù)的需求日益增加。第2實例就是用于對車輛的前方及左側(cè)前側(cè)方的安全確認(rèn)。
圖5是本發(fā)明的攝像機(jī)配置的第2實例，圖6是如圖5所配置的各個攝像機(jī)CB1、CB2的拍攝圖像的實例。在圖5的配置例中，如下地配置2臺攝像機(jī)CB1、CB2。
攝像機(jī)CB1 位置車輛1的前左端朝向右斜前方視野范圍區(qū)域AB1攝像機(jī)CB2 位置車輛1的左側(cè)車門反光鏡部朝向左斜前方視野范圍區(qū)域AB2圖7是表示使用圖6的攝像機(jī)圖像而合成的虛擬視角圖像的實例的示意圖。在圖7中，PIB1、PIB2分別是從攝像機(jī)CB1、CB2的拍攝圖像剪切出的部分圖像，BLB12是部分圖像PIB1、PIB2的邊界，DB是任何攝像機(jī)CB1、CB2都拍攝不到的死角區(qū)域。
從圖5及圖7中可以看到，在作為第1部分圖像的部分圖像PIB1與作為第2部分圖像的部分圖像PIB2的邊界BLB12附近，作為拍攝部分圖像PIB1的第1攝像機(jī)的攝像機(jī)CB1與作為拍攝部分圖像PIB2的第2攝像機(jī)的攝像機(jī)CB2的拍攝方向在邊界BLB12的方向上基本一致。
圖7的合成圖像與圖4相比，雖然擴(kuò)大了死角區(qū)域，減小了可監(jiān)視的范圍，但達(dá)到了可充分確保車輛的前方及左側(cè)前側(cè)方的視野的目的。并且，通過滿足了本發(fā)明的攝像機(jī)配置條件，例如位于車輛1左前角部的柱樁P3與是否存在于邊界BLB12附近無關(guān)，通過圖像合成而沿著邊界延伸，保留在圖像上而不消失。
圖8表示本實例的其他形式的攝像機(jī)配置。在圖8的配置例中，對2臺攝像機(jī)CC1、CC2進(jìn)行如下地配置。
攝像機(jī)CC1 位置車輛1的前右端朝向左斜前方視野范圍區(qū)域AC1攝像機(jī)CC2 位置車輛1的前左端朝向左斜后方視野范圍區(qū)域AC2圖9是表示使用圖8的攝像機(jī)圖像而合成的虛擬視角圖像的實例的示意圖。虛擬視角的位置及朝向與圖7相同。在圖9中，PIC1、PIC2分別市從攝像機(jī)CC1、CC2的拍攝圖像剪切出的部分圖像，BLC12是部分圖像PIC1、PIC2的邊界，DC是任何攝像機(jī)CC1、CC2都拍攝不到的死角區(qū)域。
從圖8及圖9中可以看到，在作為第1部分圖像的部分圖像PIC1與作為第2部分圖像的部分圖像PIC2的邊界BLC12附近，作為拍攝部分圖像PIC1的第1攝像機(jī)的攝像機(jī)CC1與作為拍攝部分圖像PIC2的第2攝像機(jī)的攝像機(jī)CC2的拍攝方向在邊界BLC12的方向上基本一致。
這里，與圖7相比應(yīng)注意的點是，合成圖像中的相鄰的部分圖像間的邊界線的位置，由于攝像機(jī)的配置形式不同而發(fā)生改變。如果在圖8的攝像機(jī)配置中，把屬于攝像機(jī)CC1的部分圖像PIC1與屬于攝像機(jī)CC2的部分圖像PIC2的邊界BLC12設(shè)置在與圖7的邊界BLB12相同的位置，則柱樁P3的圖像只能保留柱樁根部的很少部分，其他大部分將會被剪切掉(未圖示)。
所以，必須要對應(yīng)攝像機(jī)的配置狀態(tài)而設(shè)定合成圖像中的相鄰的部分圖像的邊界。或者，必須考慮合成圖像中的相鄰的部分圖像的邊界的設(shè)定位置而確定各個攝像機(jī)的配置位置和朝向。因此，本發(fā)明在分別拍攝在合成圖像中相鄰配置的部分圖像的各個攝像機(jī)、及圖像處理部中，至少必須對其中任意一個進(jìn)行調(diào)整。
即，本發(fā)明把分別拍攝合成圖像中相鄰配置的部分圖像的2臺攝像機(jī)配置成使其拍攝區(qū)域形成邊界超越，對攝像機(jī)及圖像處理部中的至少一個進(jìn)行調(diào)整，在該相鄰的部分圖像的邊界附近使各個攝像機(jī)的拍攝方向分別與邊界方向基本一致。
這里，所謂拍攝方向與邊界方向的“基本”一致是指只要達(dá)到滿足下面的條件便可。即，只要滿足人在通過該邊界時基本能夠反映出其全身，或物體移動到該邊界附近時，盡管其中一部分消失，但該消失的程度不超出可確定該物體的范圍的條件便可。具體的是，各個攝像機(jī)的拍攝方向與邊界方向所成的角度應(yīng)分別小于10度。
(第3實例)除了車輛前方以外的全周圍，特別是對后方的安全確以如在第2實例中所述的那樣，隨著近年來車輛的大型化的趨勢，對車輛前側(cè)方的安全確認(rèn)顯得更為必要。關(guān)于與此對稱的對于車輛后側(cè)方的安全確認(rèn)在以前已經(jīng)進(jìn)行過研究，最近，一種使用1臺攝像機(jī)來監(jiān)視后方死角部分的安全確認(rèn)系統(tǒng)已經(jīng)開始實際應(yīng)用。然而，該系統(tǒng)還是不能充分地滿足對車輛后側(cè)方進(jìn)行大范圍、無死角監(jiān)視的要求，因此，也研制出如圖17所示的使用多個攝像機(jī)的系統(tǒng)，但是，正如前面所述的那樣，存在著在相鄰的攝像機(jī)圖像的邊界附近，物體的一部分消失的問題。
上述的第1實例是除了駕駛席的一側(cè)能夠無死角地監(jiān)視到車輛的全周圍，而在此第3實例中，通過把第1實例中的攝像機(jī)配置反時針旋轉(zhuǎn)90度，由此解決以往技術(shù)的問題，從而可實現(xiàn)對除了車輛的前方的全周圍、尤其是對后方的安全確認(rèn)。
圖10是本發(fā)明的攝像機(jī)配置的第3實例、圖11是如圖10所配置的各個攝像機(jī)CDA～CD4的拍攝圖像實例。在圖10的配置例中，對4臺攝像機(jī)CD1～CD4進(jìn)行如下的配置。
攝像機(jī)CD1 位置車輛1的后左端朝向左斜前方視野范圍區(qū)域AD1攝像機(jī)CD2 位置車輛1的后部中心朝向左斜后方視野范圍區(qū)域AD2攝像機(jī)CD3 位置車輛1的后部中心朝向右斜后方視野范圍區(qū)域AD3攝像機(jī)CD1 位置車輛1的后右端朝向右斜前方視野范圍區(qū)域AD4即，在圖10中，為了合成能夠觀察到除了車輛1前方的全周圍的虛擬視角圖像，如上述的那樣設(shè)置了4臺攝像機(jī)CD1～CD4。
圖12是示意表示使用如圖11所示的攝像機(jī)圖像而合成的從上方向下觀察車輛1周圍的虛擬視角圖像的結(jié)果的示意圖。在圖12中，PID1～PID4分別表示從攝像機(jī)CD1～CD4的拍攝圖像剪切出的部分圖像，BLD12是部分圖像PID1、PID2的邊界、BLD23是部分圖像PID2、PID3的邊界、BLD34是部分圖像PID3、PID4的邊界。另外，DD是任何攝像機(jī)CD1～CD4都拍攝不到的死角區(qū)域。
通過如本實例那樣地配置各個攝像機(jī)CD1～CD4，可滿足上述的2個條件。即，在圖12的合成圖像中，在相鄰的部分圖像的邊界附近，拍攝該部分圖像的攝像機(jī)的拍攝方向與邊界方向大致一致。例如，從圖10及圖12中可以看到，在作為第1部分圖像的部分圖像PID1與作為第2部分圖像的部分圖像PID2的邊界BLD12附近，作為拍攝部分圖像PID1的第1攝像機(jī)的攝像機(jī)CD1與作為拍攝部分圖像PID2的第2攝像機(jī)的攝像機(jī)CD2的拍攝方向在邊界BLD12的方向上基本一致。關(guān)于邊界BLD23、BLD34也是同樣。
另外，攝像機(jī)CD1的拍攝區(qū)域AD1與攝像機(jī)CD2的拍攝區(qū)域AD2相互形成邊界超越，同樣，攝像機(jī)CD2與攝像機(jī)CD3、攝像機(jī)CD3與攝像機(jī)CD4的拍攝區(qū)域形成相互的邊界超越。
因此，在圖12的合成圖像中，通過保持反映在各個攝像機(jī)CD1～CD4中的物體的位置關(guān)系、保留使用戶易于觀察的虛擬視角圖像的優(yōu)點、同時滿足本發(fā)明的攝像機(jī)的設(shè)置條件，有效地避免了物體消失的現(xiàn)像。這是由于，例如存在于車輛1左后角部和右后角部的柱樁P3、P4與是否位于邊界BLD12、BLD34附近無關(guān)，而通過圖像合成沿著邊界延伸，被保留在合成圖像上而不會消失。
根據(jù)本實例，通過使用4臺攝像機(jī)CD1～CD4，能夠把除了車輛前方的車輛周圍狀況以保持其位置關(guān)系且不存在死角的圖像進(jìn)行顯示。
另外，在圖12的合成圖像中，部分圖像PID1、PID2的邊界BLD12、及部分圖像PID3、PID4的邊界BLD 34基本位于車輛1后端的延長線上。在虛擬視角圖像中，由于對邊界兩側(cè)的原始攝像機(jī)圖像的變形方式不同，所以形成了跨越邊界的物體為不連續(xù)的圖像。該不連續(xù)性通常被認(rèn)為是降低了合成圖像的質(zhì)量。但是，從另一方面考慮，例如當(dāng)從后方接近的物體從部分圖像PID3的區(qū)域進(jìn)入到部分圖像PID4的區(qū)域時，由于可觀察到圖像上的不連續(xù)性，此時能夠判斷出物體是從車輛1的后端向前移動。因此，如圖12那樣設(shè)定邊界BLD12、BLD34具有特殊的意義。
(第4實例)車輛的全周圍在以上所述的實例中，結(jié)果都是把攝像機(jī)并排設(shè)置在一條直線上。而本實例是一例不需把攝像機(jī)并排設(shè)置在一條直線上而滿足上述的本發(fā)明的攝像機(jī)配置條件的實例。具體的是，一種使用4臺攝像機(jī)能夠無死角地監(jiān)視到車輛全周圍的攝像機(jī)配置的方式。
圖13是表示本發(fā)明第4實例的攝像機(jī)配置的示意圖。在圖13的配置例中，對4臺攝像機(jī)CE1～CE4進(jìn)行如下的配置。
攝像機(jī)CE1 位置車輛1的前右端朝向右斜后方視野范圍區(qū)域AE1攝像機(jī)CE2 位置車輛1的前左端朝向右斜前方視野范圍區(qū)域AE2攝像機(jī)CE3 位置車輛1的后左端朝向左斜前方視野范圍區(qū)域AE3攝像機(jī)CE1 位置車輛1的后右端朝向左斜后方視野范圍區(qū)域AE4即，在圖13中，為了合成能夠觀察到車輛1全周圍的虛擬視角圖像，如上述的那樣設(shè)置了4臺攝像機(jī)CE1～CE4。
圖14是示意表示使用如圖13所示的攝像機(jī)圖像而合成的從上方向下觀察車輛1周圍的虛擬視角圖像的結(jié)果的示意圖。在圖14中，PIE1～PIE4分別表示從攝像機(jī)CE1～CE4的拍攝圖像剪切出的部分圖像，BLE12是部分圖像PIE1、PIE2的邊界、BLE23是部分圖像PIE2、PIE3的邊界、BLE34是部分圖像PIE3、PIE4的邊界、BLE14是部分圖像PIE4、PIE1的邊界。
通過如本實例那樣地配置各個攝像機(jī)CE1～CE4，可滿足上述的2個條件。例如，從圖13及圖14中可以看到，在作為第1部分圖像的部分圖像PIE1與作為第2部分圖像的部分圖像PIE2的邊界BLE12附近，作為拍攝部分圖像PIE1的第1攝像機(jī)的攝像機(jī)CE1與作為拍攝部分圖像PIE2的第2攝像機(jī)的攝像機(jī)CE2的拍攝方向在邊界BLE12的方向上基本一致。關(guān)于邊界BLE23、BLE34、BLE14也是同樣。
另外，攝像機(jī)CE1的拍攝區(qū)域AE1與攝像機(jī)CE2的拍攝區(qū)域AE2相互形成邊界超越，同樣，攝像機(jī)CE2與攝像機(jī)CE3(第3攝像機(jī))、攝像機(jī)CE3與攝像機(jī)CE4(第4攝像機(jī))、攝像機(jī)CE4與攝像機(jī)CE1的拍攝區(qū)域形成相互的邊界超越。
因此，在圖14的合成圖像中，通過保持反映在各個攝像機(jī)CE1～CE4中的物體的位置關(guān)系、保留使用戶易于觀察的虛擬視角圖像的優(yōu)點、同時滿足本發(fā)明的攝像機(jī)的設(shè)置條件，有效地避免了物體消失的現(xiàn)像。這是由于，例如存在于車輛1四個角部上的柱樁P1～P4與是否位于邊界BLE12、BLE23、BLE34、BLE14附近無關(guān)，而通過圖像合成沿著邊界延伸，被保留在合成圖像上而不會消失。
圖15是本實例的另一種攝像機(jī)配置的方式。圖15的設(shè)置方式相當(dāng)于把圖13的配置方式中的各個攝像機(jī)的朝向改變180。在圖15的配置例中，對4臺攝像機(jī)CF1～CF4進(jìn)行如下地配置。
攝像機(jī)CF1 位置車輛1的前右端朝向左斜前方視野范圍區(qū)域AF1攝像機(jī)CF2 位置車輛1的前左端朝向左斜后方視野范圍區(qū)域AF2攝像機(jī)CF3 位置車輛1的后左端朝向右斜后方視野范圍區(qū)域AF3攝像機(jī)CF1 位置車輛1的后右端朝向右斜前方視野范圍區(qū)域AF4圖16是示意表示使用如圖15所示的攝像機(jī)圖像而合成的從上方向下觀察車輛1周圍的虛擬視角圖像的結(jié)果的示意圖。在圖16中，PIF1～PIF4分別表示從攝像機(jī)CF1～CF4的拍攝圖像剪切出的部分圖像，BLF12是部分圖像PIF1、PIF2的邊界、BLF23是部分圖像PIF2、PIF3的邊界、BLF34是部分圖像PIF3、PIF4的邊界、BLF14是部分圖像PIF4、PIF1的邊界。
此例也可滿足上述的2個條件。不過，與圖14比較，由于各個攝像機(jī)的朝向相差180度，所以相鄰的部分圖像的邊界被設(shè)定在不同的位置。但是，與圖14同樣，存在于車輛1四個角部上的柱樁P1～P4與是否位于邊界BLE12、BLE23、BLE34、BLE14附近無關(guān)，而通過圖像合成沿著邊界延伸，被保留在合成圖像上而不會消失。
上面，通過幾個實例對構(gòu)成本發(fā)明的發(fā)明點的攝像機(jī)配置方式進(jìn)行了說明。在這些說明中，作為虛擬視角圖像都是使用了從上方向下觀察車輛周圍的圖像，但當(dāng)然不僅限于此，例如為了對后方進(jìn)行確認(rèn)，也可以設(shè)定從車輛略前方的上方向斜后方的下方觀察的虛擬視角。
另外，在合成圖像中的相鄰的部分圖像的邊界上，也可以配置通過混合該部分圖像而形成的混合圖像。在本說明書中，把在合成圖像中的相鄰的部分圖像在其邊界部分形成重疊的區(qū)域稱為“重疊區(qū)域”。
圖22是圖17所示的車輛1后半部分的圖，概念性地表示重疊區(qū)域的一例。在圖22中，在車輛1后端的后背箱的上部中央設(shè)置一對攝像機(jī)CZ2、CZ3，攝像機(jī)CZ3拍攝車輛1的左后方(拍攝區(qū)域AR2)、攝像機(jī)CZ2拍攝車輛1的右后方(拍攝區(qū)域AR3)。而且，車輛1后方中央的區(qū)域同時被攝像機(jī)CZ2、CZ3所拍攝到。
另外，圖22(a)～圖22(c)分別表示以相同的攝像機(jī)設(shè)置條件設(shè)定重疊區(qū)域的設(shè)定例。OL是重疊區(qū)域、CL是在重疊區(qū)域OL的延長方向上的中心線、相當(dāng)于本說明書中的“邊界方向”。圖22(a)是最大限度設(shè)定重疊區(qū)域OL的例。圖22(b)是把重疊區(qū)域OL設(shè)定為使其寬度越接近車輛1越窄、越遠(yuǎn)離車輛1越寬的例。圖22(c)是把重疊區(qū)域OL設(shè)定為使其寬度在接近車輛1的部分盡量的寬、而在離開一定程度至遠(yuǎn)方的部分基本保持不變的例。
可以使用圖22(a)～圖22(c)中的任意設(shè)定例，也可以通過與在此說明的方法不同的方法設(shè)定重疊區(qū)域OL。但是應(yīng)按照如下的準(zhǔn)則來設(shè)定重疊區(qū)域OL。
·為了避免由各個攝像機(jī)拍攝的物體形成重影圖像使得不容易分辨，不應(yīng)過寬。
·為了使在重疊區(qū)域OL中的物體形成不連續(xù)，不應(yīng)過窄。
在同時兼顧到以上2點的情況下，可以認(rèn)為圖22(c)所示的例比較理想。另外，在圖22中，重疊區(qū)域OL被設(shè)定為其中心與拍攝區(qū)域AR2、AR3的重疊部分的中心重合，但也可以不一定形成中心的重合。
另外，本發(fā)明不限于所例舉的實施方式，可以在權(quán)利要求書中的各個權(quán)利要求項所述的范圍內(nèi)，對具體的構(gòu)成進(jìn)行變更和實施。
另外，在本發(fā)明中，所指的車輛包括普通汽車、輕型汽車、貨車、大客車等。另外，如果說是可應(yīng)用本發(fā)明的技術(shù)構(gòu)思的車輛，本發(fā)明所指的車輛還可以包括吊車、鏟車等的特殊車輛。
另外，在上述的實例中，是以臨時設(shè)置用于獲得合成圖像的攝像機(jī)作為前提進(jìn)行的說明。在此基礎(chǔ)上，例如在由于通過已經(jīng)設(shè)置好的攝像機(jī)不能獲得充分的監(jiān)視范圍而進(jìn)一步增加攝像機(jī)的情況下，也可以有效地利用本發(fā)明。即，對于·關(guān)于追加設(shè)置的攝像機(jī)的位置和朝向·關(guān)于在使用追加的攝像機(jī)的拍攝圖像合成新的合成圖像時，屬于原始設(shè)置的攝像機(jī)的部分圖像與屬于追加攝像機(jī)的部分圖像的邊界的位置設(shè)定也可以應(yīng)用已經(jīng)說明過的方法。
例如，在新購買的車輛上，僅在車輛后端部中央設(shè)置有朝向后方的180度視角的攝像機(jī)，之后，有可能為了使其能夠合并顯示包括后方區(qū)域和副駕駛席一側(cè)區(qū)域的合成圖像，而新增加用于拍攝副駕駛席一側(cè)區(qū)域的攝像機(jī)。在這個情況下，也可以應(yīng)用本發(fā)明的車輛周圍監(jiān)視系統(tǒng)的調(diào)整方法。
<幾何轉(zhuǎn)換>
為了作成用于合成圖像的圖像變換表，必須要確定對應(yīng)于從虛擬視角看去的合成圖像的各個像素的各個攝像機(jī)圖像的像素的坐標(biāo)。
為此，為了便于理解，可分為2個步驟，即，首先要求出與從虛擬視角看去的合成圖像的各個像素相對應(yīng)的空間坐標(biāo)系(Xw、Yw、Zw)，然后再求出與該空間坐標(biāo)系的3維坐標(biāo)相對應(yīng)的攝像機(jī)圖像的像素的坐標(biāo)。
最終的必要關(guān)系只是虛擬視角的合成圖像的各個像素與各個攝像機(jī)圖像的像素的關(guān)系，并不限于經(jīng)過該空間坐標(biāo)系的圖像變換表。但是經(jīng)過該空間坐標(biāo)系的圖像變換表用成為合成圖像的實際空間坐標(biāo)系的空間坐標(biāo)系來定義更為明確，所以在生成容易把周圍狀況與實際距離、位置關(guān)系對應(yīng)結(jié)合的合成圖像時具有重要的意義。
當(dāng)作為表示虛擬視角的位置和朝向的參數(shù)，用位置向量Tv＝(Txv、Tyv、Tzv)表示視角在空間坐標(biāo)系上的坐標(biāo)、用表示旋轉(zhuǎn)俯視坐標(biāo)系，使其與空間坐標(biāo)系的朝向形成一致的3行3列的旋轉(zhuǎn)行列式Rv表示視線的朝向時，與合成圖像的視角坐標(biāo)(Vxe、Vye、Vze)對應(yīng)的空間坐XwYwZw=RvVxeVyeVze+TV···(1)]]>其中Rv=rv11rv12rv13rv21rv22rv23rv31rv32rv33Tv=TxvTyvTzv]]>標(biāo)(Xw、Yw、Zw)可通過式(1)求出。
圖23是說明視角坐標(biāo)系與空間坐標(biāo)系的關(guān)系的圖。
如圖24所示，當(dāng)對于虛擬視角的朝向，把視線相對空間坐標(biāo)系的Y-Z平面進(jìn)行水平旋轉(zhuǎn)的角度(方位角)設(shè)為αv、把相對X-Z平面的傾角(仰角)設(shè)為βv、把攝像機(jī)的光軸旋轉(zhuǎn)(Twist)設(shè)為γv時，則旋轉(zhuǎn)行列式Rv為Rv=cosαv0-sinαv010sinαv0cosαv1000cosβv-sinβv0sinβvcosβvcosγvsinγv0-sinγvcosγv0001···(2)]]>另一方面，虛擬視角的視角坐標(biāo)系(Vxe、Vye、Vze)的Vxe、Vye與投影面上的2維坐標(biāo)Uv、Vv的關(guān)系，可通過透視投影轉(zhuǎn)換，使用焦點距離fv，用下面的式(3)表示。uv=fvVZeVxe···(3)]]>vv=fvVZeyye]]>作為焦點距離的單位，雖然有在把投影面作為膠片或CCD、用與其大小對應(yīng)的mm或英寸表示的情況和對應(yīng)合成圖像的尺寸用像素表示的情況等，但在此是采用以投影中心為中心、寬為2、高為2的標(biāo)準(zhǔn)化的投影面，考慮與其對應(yīng)的焦點距離。
因此，對于投影面上的坐標(biāo)與合成圖像的像素的關(guān)系，即，與位于距離圖像右上的(Sv、Tv)位置上的像素對應(yīng)的投影面上的坐標(biāo)(Uv、Vv)，如果把圖像的橫寬設(shè)定為Wv像素、把縱長設(shè)定為Hv像素，則可通過下式求出。
Uv＝2×Sv/Wv-1Vv＝2×Tv/Hv-1 …(4)至此，與合成圖像的任意像素(Sv、Tv)對應(yīng)的空間坐標(biāo)系的3維坐標(biāo)(Xw、Yw、Zw)可通過式(1)～(4)求出，而攝像機(jī)的位置Txv、Tyv、Tzv、攝像機(jī)的朝向αv、βv、γv、則可通過焦點距離用下面的式(5)求出。xwywzw=RvVzefvuvVzefvvvVze+Tv=(2Sv-Wvfv·Wvrv11+2Tv-Hvfv·Hvrv12+rv13)Vze+Txv(2Sv+Wvfv·Wvrv21+2Tv-Hvfv·Hvrv22+rv23)Vze+Tyv(2Sv-Wvfv·Wvrv31+2Tv-Hvfv·Hvrv32+rv33)Vze+Tzv···(5)]]>但是，在式(5)中，對應(yīng)合成圖像的坐標(biāo)(Sv、Tv)的縱深Vze未確定。換言之，還需要確定各個像素距離反映在合成圖像中的對像物的縱深距離值。
雖然只要知道從虛擬視角所看到的對像物的3維形狀，便可求出各個像素的縱深距離值，但是在一般的情況下是困難的。因此，通過把從虛擬視角所看到的對像物的形狀假定為某種模型，求出上述的Vze，從而求出合成圖像的坐標(biāo)與空間坐標(biāo)系的3維坐標(biāo)的關(guān)系。
—路面平面模型—作為其中一例，對于把對像物限定在車輛所接觸的路面平面上的情況進(jìn)行說明。
當(dāng)假定為所有的對像物都存在于空間坐標(biāo)系的平面(路面)上時，空間坐標(biāo)系的3維坐標(biāo)(Xw、Yw、Zw)滿足以下的平面的方程式。
axw+byw+czw+d＝0 …(6)
然后，將式(6)代入式(5)，求出Vze時，則構(gòu)成Vze=-fvaTxv+bTyv+cTzv+daQ1+bQ2+cQ3···(7)]]>其中Q1=rv112Sv-WvWv+rv122Tv-HvHv+rv13fv]]>Q2=rv212Sv-WvWv+rv222Tv-HvHv+rv23fv]]>Q3=rv312Sv-WvWv+rv322Tv-HvHv+rv33fv]]>然后，通過把式(7)代入式(5)，則可由虛擬視角的合成圖像的像素的坐標(biāo)(Sv、Tv)求出對應(yīng)的空間坐標(biāo)系的平面的3維坐標(biāo)(Xw、Yw、Zw)。
對于與該空間坐標(biāo)系的3維坐標(biāo)(Xw、Yw、Zw)對應(yīng)的各個攝像機(jī)圖像的各個像素的坐標(biāo)，可通過把對應(yīng)于各個攝像機(jī)的位置、朝向的Tx、Ty、Tz、α、β、γ參數(shù)代入相同的關(guān)系式中進(jìn)行計算而求出。
例如，把攝像機(jī)1的位置設(shè)為Tx1、Ty1、Tz1，把朝向設(shè)為α1、β1、γ1，則對應(yīng)合成圖像的像素(Sv、Tv)的攝像機(jī)1的攝像機(jī)坐標(biāo)系Xe1、Ye1、Ze1可以通過下面的式(8)計算出。Xe1Ye1Ze1=R1-1(XwYwZw-Tx1Ty1Tz1)···(8)]]>其中R1-1=cosγ1-sinγ10sinγ1cosγ100011000cosβ1sinβ10-sinβ1cosβ1cosα10sinα1010-sinα10cosα1]]>對于該攝像機(jī)坐標(biāo)系與攝像機(jī)圖像的坐標(biāo)系(U1、V1)的關(guān)系，通過把攝像機(jī)1的焦點距離作為f1，可通過式(3)，形成代入式U1＝f1/Ze1×Xe1V1＝f1/Ze1×Ye1 …(9)而計算出。對應(yīng)的攝像機(jī)圖像的像素，當(dāng)把攝像機(jī)圖像的尺寸設(shè)為縱向H1像素、橫向W1像素、平面形狀比為1∶1、攝像機(jī)的中心為圖像的中心時，可通過下式(10)計算。
S1＝W1/2×(Uv+1)T1＝H1/2×(Vv+1) …(10)通過以上的計算，可求出與虛擬視角圖像的像素(Sv、Tv)對應(yīng)的攝像機(jī)1的圖像的像素(S1、T1)。同樣，對于攝像機(jī)1以外的一般的攝像機(jī)n也可以計算出與(Sv、Tv)對應(yīng)的像素坐標(biāo)(Sn、Tn)。實際上，在參數(shù)表中，根據(jù)(Sn、Tn)是否在實際的攝像機(jī)圖像的范圍內(nèi)、像素的放大、縮小率是否大等的各種條件從中選出1個或多個最佳參數(shù)表，寫入攝像機(jī)編號n和該坐標(biāo)(Sn、Tn)。
—圓筒模型—在所述的路面平面模型的情況下，由于在攝像機(jī)圖像中，反映在水平線之上的物體即使沿路面平面向無限遠(yuǎn)延伸，也不會落在路面平面上，所以不能從虛擬視角所觀察到。
為了把這些物體反映在從虛擬視角觀察的合成圖像上，作為對像的3維形狀可考慮采用如圖25所示的圓筒模型。該模型可有效地應(yīng)用在虛擬視角的朝向與路面接近平行的情況等。
為了簡單起見，可考慮軸坐標(biāo)位于X軸、Z軸上的圓筒模型，把橢圓圓筒的中心設(shè)為(Xc、Zc)，使用橢圓的參數(shù)(a、c)，該模型可通過下面的式(11)表示。另外，通過在XZ平面上進(jìn)行旋轉(zhuǎn)，可容易地擴(kuò)張到具有位于X軸、Z軸以外的軸的模型。(Xw-Xc)2a2+(Zw-Zc)2c2=1···(11)]]>通過使用式(11)從式(5)中消去Vze，可求出對應(yīng)虛擬視角的合成圖像的坐標(biāo)(Sv、Tv)的空間坐標(biāo)系的3維坐標(biāo)(Xw、Yw、Zw)。通過由該坐標(biāo)與所述路面平面模型同樣地計算出對應(yīng)各個攝像機(jī)圖像的像素，可求出虛擬視角圖像的像素(Sv、Tv)與攝像機(jī)圖像的像素(Sn、Tn)的關(guān)系，并作成圖像變換表。
另外，也能夠把路面平面模型與圓筒模型相組合。首先求出路面平面模型的空間坐標(biāo)系的3維坐標(biāo)，在該3維坐標(biāo)在圓筒模型的外側(cè)或不具有與平面的交點而沒有解的情況下，然后求出圓筒模型的3維坐標(biāo)。從而可進(jìn)行路面平面模型與圓筒模型復(fù)合的合成。
—模擬圓筒模型—為了易于掌握路面平面模型周邊遠(yuǎn)方的狀況，而導(dǎo)入使周圍形成碗狀的模擬圓筒模型。模型的形狀如圖26所示。越是在遠(yuǎn)離虛擬視角圖像的周邊，越是把在遠(yuǎn)方的部分壓縮，以此方式進(jìn)行合成，從而可表示更寬的范圍。該模擬圓筒的形狀用式(12)表示。(Xw-Xc)2a2+(Yw-Yc)2b2+(Zw-Zc)2c2=1···(12)]]>碗的中心為(Xc、Yc、Zc)、具有在X軸、Y軸、Z軸方向(a、b、c)上的長度。與所述圓筒模型同樣，通過式(12)及式(5)計算出對應(yīng)虛擬視角的合成圖像的坐標(biāo)的空間坐標(biāo)系的3維坐標(biāo)(Xw、Yw、Zw)，從而可求出合成圖像的各個像素與各個攝像機(jī)圖像的像素的對應(yīng)關(guān)系。
另外，與圓筒模型同樣，也可以進(jìn)行通過與路面平面模型的組合的復(fù)合模型的合成。
如上所述，根據(jù)本發(fā)明，由于存在于相鄰的部分圖像的邊界附近的物體圖像沿著該邊界形成變形，所以在合成圖像上不會消失。因此，可把車輛周圍的信息正確地傳達(dá)給駕駛員，可實現(xiàn)更安全的駕駛。
權(quán)利要求
1.一種車輛周圍監(jiān)視裝置，具有對車輛周圍進(jìn)行拍攝的至少包括第1及第2攝像機(jī)的多臺攝像機(jī)和把所述多臺攝像機(jī)的攝像圖像作為輸入、對從這些攝像機(jī)圖像中取出的部分圖像進(jìn)行合成，并把該合成圖像通過顯示裝置進(jìn)行顯示的圖像處理部，其特征在于所述合成圖像是把所述第1攝像機(jī)的第1部分圖像與所述第2攝像機(jī)的第2部分圖像相互鄰接配置的圖像，配置所述第1及第2攝像機(jī)，使其拍攝方向在所述第1部分圖像和所述第2部分圖像的邊界附近分別與所述邊界的方向基本一致。
2.根據(jù)權(quán)利要求1所述的車輛周圍監(jiān)視裝置，其特征在于所述第1及第2攝像機(jī)的拍攝方向與所述邊界方向所形成的角度分別小于10度。
3.根據(jù)權(quán)利要求1所述的車輛周圍監(jiān)視裝置，其特征在于所述合成圖像是在所述第1部分圖像與所述第2部分圖像的邊界處配置混合所述第1及第2部分圖像的混合圖像。
4.根據(jù)權(quán)利要求1所述的車輛周圍監(jiān)視裝置，其特征在于把所述第1攝像機(jī)配置在車輛前部的左或右端部上，并使其朝向右或左斜前方；把所述第2攝像機(jī)配置在車輛的左或右側(cè)部上，并使其朝向左或右斜前方。
5.根據(jù)權(quán)利要求4所述的車輛周圍監(jiān)視裝置，其特征在于所述多臺攝像機(jī)包括配置在該車輛的左或右側(cè)部上的朝向左或右斜后方的第3攝像機(jī)和配置在該車輛后部的左或右端部上的朝向右或左斜后方的第4攝像機(jī)。
6.根據(jù)權(quán)利要求1所述的車輛周圍監(jiān)視裝置，其特征在于把所述第1攝像機(jī)配置在該車輛前部的右或左端部上，并使其朝向左或右斜前方；把所述第2攝像機(jī)配置在該車輛前部的左或右端部上，并使其朝向左或右斜后方。
7.根據(jù)權(quán)利要求6所述的車輛周圍監(jiān)視裝置，其特征在于所述多臺攝像機(jī)包括配置在該車輛后部的左或右側(cè)部上的朝向右或左斜后方的第3攝像機(jī)和配置在該車輛后部的右或左端部上的朝向右或左斜前方的第4攝像機(jī)。
8.一種車輛周圍監(jiān)視裝置的調(diào)整方法，是對于具有對車輛周圍進(jìn)行拍攝的多臺攝像機(jī)、和對從所述多臺攝像機(jī)圖像中取出的部分圖像進(jìn)行合成，并把該合成圖像通過顯示裝置進(jìn)行顯示的圖像處理部的車輛周圍監(jiān)視裝置進(jìn)行調(diào)整的方法，其特征在于配置所述多臺攝像機(jī)中的分別用于拍攝在所述合成圖像中被相互鄰接配置的部分圖像的第1及第2攝像機(jī)，使其拍攝區(qū)域相互部分重疊；對所述第1及第2攝像機(jī)以及所述圖像處理部的其中至少任意一個進(jìn)行調(diào)整，使所述第1及第2攝像機(jī)的拍攝方向在所述第1攝像機(jī)的部分圖像與所述第2攝像機(jī)的部分圖像的邊界附近分別與所述邊界的方向基本一致。
全文摘要
一種車輛周圍監(jiān)視裝置，在合成圖像上，由攝像機(jī)(CA1)拍攝的部分圖像(PIA1)與由攝像機(jī)(CA2)拍攝的部分圖像(PIA2)在邊界(BLA12)處相鄰接。在邊界(BLA12)附近，攝像機(jī)(CA1、CA2)的拍攝方向與邊界(BLA12)方向基本一致。由此使得位于邊界(BLA12)附近的柱樁(P3)圖像無論在攝像機(jī)(CA1)的圖像上還是在攝像機(jī)(CA2)的圖像上都是沿著邊界(BLA12)延伸，而不會在合成圖像上消失。在把多個攝像機(jī)的拍攝圖像進(jìn)行合成顯示的車輛周圍監(jiān)視裝置中，提供一種在相鄰的部分圖像的邊界附近，比以往更為正確、且用戶易于觀察的圖像。
文檔編號H04N7/18GK1412047SQ02146840
公開日2003年4月23日 申請日期2002年10月15日 優(yōu)先權(quán)日2001年10月15日
發(fā)明者岡本修作, 中川雅通, 森村淳, 水澤和史, 飯阪篤, 吉田崇 申請人:松下電器產(chǎn)業(yè)株式會社