專利名稱：駕駛輔助方法及駕駛輔助裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及駕駛輔助方法及駕駛輔助裝置。
背景技術(shù)：
以往，作為輔助安全駕駛的裝置，開發(fā)了利用車載照相機(jī)拍攝成為駕 駛員的死角的區(qū)域，在顯示器等上進(jìn)行顯示的車栽系統(tǒng)。作為其中之一， 提出了利用車載照相機(jī)拍攝由于車輛的前支柱而產(chǎn)生的死角區(qū)域，將攝影 圖像顯示在前支柱內(nèi)側(cè)的系統(tǒng)。前支柱是支撐前車窗、車頂?shù)淖笥业闹е?從坐在駕^上的駕駛員方向看位于斜前方，雖然遮擋了駕駛員的一部分 視野，但為了安全性是必須要確保規(guī)定寬度的構(gòu)件。
如圖12所示，上述的系統(tǒng)被安裝于車體上，具有可拍攝才聶影區(qū)域 106的照相機(jī)100、對(duì)照相機(jī)100輸出的影像信號(hào)進(jìn)行圖像處理的圖像處理 器及向前支柱101內(nèi)側(cè)進(jìn)行圖像投影的投影機(jī)等(全部省略圖示)。通過 這些，從駕駛員位置102來看，變成了如同透過前支柱101可以看見外部 背景的狀態(tài)，所以在交叉路口等處，能夠確i人車輛前側(cè)方的道路形狀、和 位于前側(cè)方的障礙物。
在將通過照相機(jī)100拍纟聶的影像信號(hào)投影到支柱101上時(shí)，由于照相 機(jī)100的視角和駕駛員的視角不一致，存在被投影到支柱101上的圖^^目
對(duì)于駕駛員通過車窗看到的背景發(fā)生傾斜或錯(cuò)位的問題。對(duì)此，在專利文 獻(xiàn)1中，將利用照相機(jī)拍攝的圖像投影變換到為了與駕駛員的視角一致而 設(shè)定的假想平面(假想屏幕平面)上。
[專利文獻(xiàn)1日本特開加05 -184225號(hào)^HIL
但是，在確定照相機(jī)100的焦點(diǎn)位置時(shí)，例如圖12所示，即使將表示 焦點(diǎn)位置的攝影面104設(shè)定到假想平面103的前面、接近假想平面103的 位置上，只要攝影面104和假想平面103有間隔，就會(huì)產(chǎn)生不能被投影到 假想平面103上的區(qū)域107、 108。另外，如圖13所示，如果將攝影面104 設(shè)定到比假想平面103還離開駕駛員位置102的位置上，則攝影面104和 假想平面103之間的區(qū)域109、 110不能被投影到支柱上而沒有用。發(fā)明內(nèi)容本發(fā)明正是鑒于上述問題點(diǎn)而完成的，其目的在于提供一種能夠?qū)⒉?會(huì)使駕駛員產(chǎn)生不協(xié)調(diào)感的圖像向支柱進(jìn)行投影的駕駛輔助方法及駕駛 輔助裝置。為了解決上述問題點(diǎn)，本發(fā)明之一是駕駛輔助方法，利用安裝于車輛 的攝影裝置，拍攝由于該車輛的支柱而產(chǎn)生的死角區(qū)域，并在上述支柱的 內(nèi)側(cè)顯示相當(dāng)于該死角區(qū)域的圖像，該駕駛輔助方法其特征在于，設(shè)定假 想平面用以將從上述攝影裝置輸入的圖像數(shù)據(jù)進(jìn)行投影，并且，將上述攝 影裝置的攝影面設(shè)定在通過上述假想平面的端點(diǎn)的位置，且上述假想平面 被由于上述支柱而產(chǎn)生的死角區(qū)域所分區(qū)，取得將焦點(diǎn)對(duì)在上述攝影面的 上述圖像數(shù)據(jù)，并將該圖像數(shù)據(jù)坐標(biāo)變換到上述假想平面，根據(jù)坐標(biāo)變換 到上述假想平面的上述圖傳教據(jù)，在上述支柱的內(nèi)側(cè)顯示相當(dāng)于由于上述 支柱而產(chǎn)生的死角區(qū)域的圖像。本發(fā)明之2是駕駛輔助裝置，利用安裝在車輛上的攝影裝置，拍攝由 于該車輛的支柱而產(chǎn)生的死角區(qū)域，并在上述支柱的內(nèi)側(cè)顯示利用上述攝 影裝置拍攝的圖像，該駕駛輔助裝置其特征在于，具有假想平面設(shè)定機(jī) 構(gòu)，設(shè)定用于將從上述攝影裝置輸入的圖像數(shù)據(jù)進(jìn)行投影的假想平面；攝 影面設(shè)定機(jī)構(gòu)，將上述攝影裝置的攝影面設(shè)定在通過上述假想平面的端點(diǎn) 的位置，且上述假想平面被由于上述支柱而產(chǎn)生的死角區(qū)域所分區(qū)；圖像 處理機(jī)構(gòu)，用于取得將焦點(diǎn)對(duì)在上述攝影面的上述圖像數(shù)據(jù)，將該圖像數(shù) 據(jù)坐標(biāo)變換到上述假想平面；輸出控制機(jī)構(gòu)，根據(jù)坐標(biāo)變換到上述假想平 面的上述圖4象數(shù)據(jù)，在上述支柱的內(nèi)側(cè)顯示由于上述支柱而產(chǎn)生的死角區(qū) 域的圖像。本發(fā)明之3，其特征在于，在本發(fā)明之2所述的駕駛輔助裝置中，上 述攝影面設(shè)定機(jī)構(gòu)，將上述攝影裝置的攝影面設(shè)定在比上述假想平面還接 近上述車輛的位置上。本發(fā)明之4，其特征在于，在本發(fā)明之2或3所述的駕駛輔助裝置中， 上述假想平面設(shè)定機(jī)構(gòu)，取得存在于車輛周邊的路面上的描繪基準(zhǔn)物的位 置，在通過該描繪基準(zhǔn)物的位置的位置處i殳定上述假想平面，上述攝影面 設(shè)定機(jī)構(gòu)根據(jù)上述攝影裝置的光軸的方位和連接上述車輛駕駛員的頭部 位置及上述描繪基準(zhǔn)物的位置的直線的方位，選擇上述攝影面交叉的上述假想平面的端點(diǎn)。
根據(jù)本發(fā)明之1，將攝影裝置的攝影面設(shè)定在通過假想平面的端點(diǎn)的 位置。因此，能夠縮小不能投影到支柱上的非顯示區(qū)域、和所拍攝的圖像 的剩余區(qū)域，并可在支柱上顯示連續(xù)性較高的、清楚自然的圖像。
根據(jù)本發(fā)明之2，駕駛輔助裝置將攝影裝置的攝影面設(shè)定在通過假想 平面的端點(diǎn)的位置。因此，能夠縮小不能投影到支柱上的非顯示區(qū)域、和 所拍攝的圖像的剩余區(qū)域，并可在支柱上顯示連續(xù)性較高的、清楚自然的 圖像。
根據(jù)本發(fā)明之3，由于將攝影裝置的攝影面設(shè)定在比假想平面還接近 車輛的位置，所以不會(huì)將焦點(diǎn)對(duì)在剩余區(qū)域，而可以顯示連續(xù)性較高的、 清楚自然的圖像。
根據(jù)本發(fā)明之4,可以根據(jù)攝影裝置的光軸的方位、連接駕駛員的頭 部位置及描繪基準(zhǔn)物的直線的方位，變更攝影面所通過的端點(diǎn)。因此，總 可以將攝影面i殳定在假想平面的前面。


圖l是本實(shí)施方式的駕駛輔助系統(tǒng)的方框圖。
圖2是用以檢測(cè)駕駛員頭部的位置檢測(cè)傳感器的說明圖。
圖3是照相機(jī)安裝位置的說明圖。
圖4是假想平面的設(shè)定位置的說明圖。
圖5是假想平面及照相機(jī)攝影面的說明圖。
圖6是假想平面及照相機(jī)攝影面的說明圖。
圖7是屏蔽圖案的說明圖。
圖8是說明投影機(jī)位置的車輛的側(cè)視圖。
圖9是說明被投影圖像的支柱內(nèi)面的主視圖。
圖10是說明投影機(jī)的投影方向的說明圖。
圖11是本實(shí)施方式的處理順序的說明圖。
圖12是以往的假想平面位置的說明圖。
圖13是以往的照相機(jī)攝影面的說明圖。
圖中l(wèi)-駕駛輔助系統(tǒng)；2-作為駕駛輔助裝置的駕駛輔助單元； 6-作為攝影裝置的照相機(jī)；20-作為假想平面設(shè)定機(jī)構(gòu)、攝影面設(shè)定機(jī)構(gòu)、圖像處理機(jī)構(gòu)及輸出控制機(jī)構(gòu)的圖像處理器；109-剩余區(qū)域；A -死角區(qū)域；AX-光軸；B1-非顯示區(qū)域；C-車輛；CP-攝影面； D-駕駛員；IM-圖像數(shù)據(jù)；La-作為直線的中心線；P-支柱；VP 一假想平面；VPl、 VP2 —端點(diǎn)。
具體實(shí)施方式
以下，根據(jù)圖1 ~圖11說明將本發(fā)明具體化的一實(shí)施方式。圖l是說 明安裝于汽車的駕駛輔助系統(tǒng)1的構(gòu)成的方框圖。駕駛輔助系統(tǒng)1^L搭載于車輛C (參照?qǐng)D3)，如圖1所示，具有 作為駕駛輔助裝置的駕駛輔助單元2、顯示器3、作為投影裝置的投影機(jī)4、 揚(yáng)聲器5、作為攝影裝置的照相機(jī)6、第1 ~第3位置檢測(cè)傳感器8a ~ 8c。駕駛輔助單元2具有控制部IO、非易失性主存儲(chǔ)器ll、 ROM12、 GPS接收部13 。控制部10為CPU 、 MPU或ASIC等，并根據(jù)存儲(chǔ)在ROM12 中的駕駛輔助程序，對(duì)各種處理進(jìn)行主控。主存儲(chǔ)器11暫時(shí)存儲(chǔ)控制部 10的運(yùn)算結(jié)果。控制部10取得GPS接收部13從GPS衛(wèi)星接收的衛(wèi)星軌道信息及時(shí) 刻信息，并利用無線電導(dǎo)航法計(jì)算出本車的絕對(duì)位置。另外，控制部10 通過駕駛輔助單元2的車輛側(cè)I/F部14，從設(shè)置于車輛C的車速傳感器30 及陀螺儀31，分別輸入車速脈沖、角速度。而且，控制部IO，根據(jù)利用車 速脈沖及角速度的自律導(dǎo)航法，計(jì)算出距基準(zhǔn)位置的相對(duì)位置，與利用無 線電導(dǎo)航法計(jì)算出的絕對(duì)位置相組合，來確定本車位置。另外，駕駛輔助單元2具有地理數(shù)據(jù)存儲(chǔ)部15。地理數(shù)據(jù)存儲(chǔ)部15 是內(nèi)裝硬盤或光盤等的外部存儲(chǔ)介質(zhì)。在此地理數(shù)據(jù)存儲(chǔ)部15中存儲(chǔ)作 為地圖數(shù)據(jù)的各路徑網(wǎng)絡(luò)數(shù)據(jù)(以下稱為縛4圣數(shù)據(jù)16)，用于搜索到達(dá)目 的地的路徑；和作為地圖數(shù)據(jù)的各地圖描繪數(shù)據(jù)17，用于向顯示器3輸出 地圖畫面3a。路徑數(shù)據(jù)16是與將全國(guó)進(jìn)行了分區(qū)的網(wǎng)格內(nèi)的il^有關(guān)的數(shù)據(jù)。i^f圣 數(shù)據(jù)16具有各網(wǎng)格的標(biāo)識(shí)符、與表示交叉路口及道路的端點(diǎn)的節(jié)點(diǎn)有關(guān) 的節(jié)點(diǎn)數(shù)據(jù)、連接各節(jié)點(diǎn)的各落艮的標(biāo)識(shí)符、落艮費(fèi)時(shí)等數(shù)據(jù)?？刂撇縄O 利用此M數(shù)據(jù)16,搜索到達(dá)目的地的推薦路徑，或，對(duì)車輛C是否接近了交叉路口等導(dǎo)航地點(diǎn)進(jìn)行判斷。
另夕卜，地圖描繪數(shù)據(jù)17是用于描繪道路形狀、背景等的數(shù)據(jù)，按將全 國(guó)地圖進(jìn)行分割的每個(gè)網(wǎng)格進(jìn)行存儲(chǔ)。在此地圖描繪數(shù)據(jù)17中存儲(chǔ)有與中 央線、分區(qū)路旁地帶的白線、斑馬線、人行橫道等的ii5M示識(shí)和信號(hào)機(jī)等 路面設(shè)置物有關(guān)的數(shù)據(jù)。具體地，將道路標(biāo)識(shí)的種類、道路標(biāo)識(shí)的位置坐 標(biāo)、路面設(shè)置物的種類、路面設(shè)置物的位置坐標(biāo)等與各地點(diǎn)的交叉路口、 彎勤目關(guān)聯(lián)地進(jìn)行存儲(chǔ)。
如圖1所示，駕駛輔助單元2具有地圖描繪處理器18。地圖描繪處理 器18從地圖數(shù)據(jù)存儲(chǔ)部15中讀出用于描繪本車位置周邊的地圖的地圖描 繪數(shù)據(jù)17,并生成地圖輸出用的數(shù)據(jù)，在顯示器3上顯示基于地圖輸出用 數(shù)據(jù)的地圖畫面3a。另夕卜，地圖描繪處理器18在此地圖畫面3a上重疊表 示本車位置的本車位置標(biāo)志3b。
另外，駕駛輔助單元2具有語音處理器24。語音處理器24含有未圖 示的語音文件，例如從揚(yáng)聲器5輸出對(duì)到達(dá)目的地的游4圣進(jìn)行導(dǎo)航的語音。 并且，駕駛輔助單元2具有外部輸入I/F部25。外部輸入I/F部25,從鄰 接于顯示器3的操作開關(guān)26、觸摸面板式的顯示器3輸入基于用戶的輸入 ^Mt的輸入信號(hào)，并輸出給控制部IO。
另外，駕駛輔助單元2，具有構(gòu)成檢測(cè)機(jī)構(gòu)的傳感器I/F部23。傳感 器I/F部23，從第1 ~第3位置檢測(cè)傳感器8a ~ 8c輸入檢測(cè)信號(hào)。第1 ~ 第3位置檢測(cè)傳感器8a~8c由超聲波傳感器構(gòu)成，如圖2所示，被安裝于 車內(nèi)的就坐于前座F的駕駛員D的周圍。第l位置檢測(cè)傳感器8a被安裝 于車內(nèi)后視鏡(圖示略)的附近，位于與駕駛員D的頭部D1幾乎相同的 高度或稍高的位置。
第2位置檢測(cè)傳感器8b,被安裝在車窗W2 (參照?qǐng)D3 )的上端附近、 位于駕駛員D的斜前方右側(cè)。第3位置檢測(cè)傳感器8c被安裝在前座F的 左側(cè)、車頂R的內(nèi)側(cè)。從各位置檢測(cè)傳感器8a~8c的未圖示的傳感器頭 發(fā)送的超聲波在駕駛員D的頭部Dl反射。各位置檢測(cè)傳感器8a ~ 8c對(duì)從 發(fā)送超聲波后到接收反射波為止的時(shí)間進(jìn)行計(jì)量，并根據(jù)該計(jì)量時(shí)間，分 別計(jì)算出到頭部D1的各相對(duì)距離。所計(jì)算出的各相對(duì)距離，通過傳感器 1/F部23輸出給控制部10。此外，也可以構(gòu)成為，根據(jù)來自各位置檢測(cè)傳 感器8a 8c的信號(hào)，計(jì)算出傳感器I/F部23到頭部D1的相對(duì)距離?？刂撇?0根據(jù)就座于駕駛席的狀態(tài)下的標(biāo)準(zhǔn)體型的駕駛員D的頭部 Dl可移動(dòng)的頭部移動(dòng)范圍和第1 ~第3位置檢測(cè)傳感器8a ~ 8c檢測(cè)出的 各相對(duì)距離，采用三角測(cè)量等，利用乂>知的方法取得作為頭部位置的頭部 中心位置Dc。
另外，如圖1所示，駕駛輔助單元2具有影傳教據(jù)輸入部22、假想 平面設(shè)定機(jī)構(gòu)、攝影面設(shè)定機(jī)構(gòu)、圖像處理^I及作為輸出控制機(jī)構(gòu)的圖 像處理器20。影像數(shù)據(jù)輸入部22，根據(jù)控制部10的控制，驅(qū)動(dòng)設(shè)置于車 輛C的照相機(jī)6 ，并輸入由照相機(jī)6拍攝的圖像數(shù)據(jù)IM。
照相機(jī)6是拍攝彩色圖像的照相機(jī)，具有透鏡、反射鏡等構(gòu)成的光學(xué) 機(jī)構(gòu)、CCD攝像元件(全部未圖示)、自動(dòng)焦點(diǎn)機(jī)構(gòu)等。如圖3所示，此 照相機(jī)6被安裝在車輛C的前支柱P (以下僅稱為支柱P)的外側(cè)，使光 軸朝向車輛C的前方。在本實(shí)施方式中，配合配置在車輛右側(cè)的駕駛席， 將照相機(jī)6安裝在駕駛席側(cè)的右側(cè)的支柱P上。此照相機(jī)6拍攝包含車輛 C的前方右側(cè)和車輛C的右側(cè)的一部分的攝影區(qū)域Z1的背景。
駕駛輔助單元2的圖像處理器20，通過影像數(shù)據(jù)輸入部22,從照相機(jī) 6取得圖^JL據(jù)IM。另外，圖像處理器20，對(duì)取得的圖^JL據(jù)IM中的被 支柱P遮擋的區(qū)域進(jìn)行修整，并且，進(jìn)行用于消除圖像歪斜的圖像處理。
對(duì)此進(jìn)行詳述，若控制部10根據(jù)5M圣數(shù)據(jù)16判斷車輛C接近了交叉 路口、彎道，則圖像處理器20取得在交叉路口、彎道駕駛員D容易注視 的可見對(duì)象物的坐標(biāo)。在本實(shí)施方式中，圖像處理器20,才艮據(jù)地圖描繪數(shù) 據(jù)17,取得作為描繪基準(zhǔn)物的人行橫道Z的坐標(biāo)。例如，如圖4所示，根 據(jù)地圖描繪數(shù)據(jù)17，取得在車輛前側(cè)方標(biāo)識(shí)的人行橫道Z的基準(zhǔn)點(diǎn)Pc的 坐標(biāo)。基準(zhǔn)點(diǎn)Pc，預(yù)先被存儲(chǔ)在地圖描繪數(shù)據(jù)17中，或由圖像處理器20 根據(jù)存儲(chǔ)在地圖描繪數(shù)據(jù)17中的人行橫道Z整體的坐標(biāo)進(jìn)行設(shè)定。
若取得了基準(zhǔn)點(diǎn)Pc的坐標(biāo)，則根據(jù)基準(zhǔn)點(diǎn)Pc的坐標(biāo)和第1 ~第3位 置檢測(cè)傳感器8a 8c檢測(cè)出的駕駛員D的頭部中心位置Dc，決定假想平 面VP的位置。假想平面VP是將由照相機(jī)6拍攝的圖像進(jìn)行投影的平面。 另外，具有當(dāng)將由照相機(jī)6拍攝的圖像數(shù)據(jù)IM坐標(biāo)變換到假想平面VP 上時(shí)，不會(huì)發(fā)生錯(cuò)位或傾斜而將存在于此假想平面VP上的物體進(jìn)行顯示 的性質(zhì)。如圖5所示，圖像處理器20,將此假想平面VP設(shè)定在包含基準(zhǔn) 點(diǎn)Pc、與連接頭部中心位置Dc和基準(zhǔn)點(diǎn)Pc的中心線La垂直的位置。另外，圖像處理器20,將假想平面VP設(shè)置在由通過駕駛員D的頭部中心位 置Dc和支柱P的各端點(diǎn)Pl、 P2的連線Ll、 L2所分區(qū)的死角區(qū)域A的 內(nèi)側(cè)。
如圖4所示，即使車輛C從設(shè)定了假想平面VP的初始位置FP移動(dòng) 到圖中雙點(diǎn)劃線所示的位置，頭部中心位置Dc和人行橫道Z的基準(zhǔn)點(diǎn)Pc 的相對(duì)距離△ L發(fā)生了變化，圖像處理器20也會(huì)將假想平面VP設(shè)定在通 it基準(zhǔn)點(diǎn)Pc且與中心線La垂直的位置。也就是說，假想平面VP，不隨 著車輛C的前進(jìn)而移動(dòng)，總是i殳定在通過基準(zhǔn)點(diǎn)Pc的位置。如圖4所示， 當(dāng)車輛旋轉(zhuǎn)時(shí)，由于連接頭部中心位置Dc和基準(zhǔn)點(diǎn)Pc的中心線La的傾 斜JL良生了變化，所以隨著該變化，假想平面也只變更其角度。
另外，圖像處理器20根據(jù)假想平面VP的位置決定攝影面CP。攝影 面CP表示照相機(jī)6的焦點(diǎn)位置，并用與照相機(jī)6的光軸AX垂直的平面 表示。如圖5所示，圖像處理器20將此攝影面CP設(shè)定在比假想平面VP 還接近車輛C的位置，且是在由死角區(qū)域A所分區(qū)的假想平面VP的左端 點(diǎn)VP1或右端點(diǎn)VP2處交叉的位置(規(guī)定位置)。這里，以駕駛員D的頭 部中心位置Dc為基準(zhǔn)，將攝影面CP設(shè)定在接近頭部中心位置Dc的位置。 此夕卜，各端點(diǎn)VP1、 VP2是分別連接頭部中心位置Dc與支柱P的端點(diǎn)Pl、 P2的接線L1、 L2和假想平面VP的交點(diǎn)。
對(duì)攝影面CP的設(shè)定方法進(jìn)行詳細(xì)地說明，則，首先，圖像處理器20 比較照相機(jī)6的光軸AX的方位和連接頭部中心位置Dc與基準(zhǔn)點(diǎn)Pc的中 心線La的方位。即，計(jì)算出光軸AX與水平方向(Y箭頭方向)所成的 角度6c和中心線La與水平方向(Y箭頭方向)所成的角度6d。而且， 比較光軸AX的角度6c的大小和中心線La的角度6d的大小。此外，X 箭頭方向是與車輛C的長(zhǎng)度方向平行的方向，Y箭頭方向;1相對(duì)于X箭頭 方向垂直的方向，是車寬方向。
如圖5所示，當(dāng)光軸AX的角度6c比中心線La的角度6d大時(shí)(6 c>6d)，要想在滿足上述條件的位置設(shè)定攝影面CP，必須將攝影面CP 設(shè)定在通過右端點(diǎn)VP2的位置。也就是說，如果在通過左端點(diǎn)VP1的位 置設(shè)定攝影面CP，則會(huì)設(shè)定在比假想平面VP離頭部中心位置Dc還遠(yuǎn)的 位置。因此，圖像處理器20將攝影面CP設(shè)定在通過假想平面VP的右端 點(diǎn)VP2的位置。另外，如圖6所示，當(dāng)光軸AX的角度6c比中心線La的角度6d大 時(shí)(6 c< 6 d )，圖像處理器20將攝影面CP設(shè)定在通過假想平面VP的左 端點(diǎn)VP1的位置。當(dāng)光軸AX的角度6 c和中心線La的角度6 d相等時(shí)，即光軸AX和 中心線La重合時(shí)，由于能夠使攝影面CP和假想平面VP重疊，所以將攝 影面CP設(shè)定在假想平面VP的位置。若設(shè)定了攝影面CP，則圖像處理器20通過影像數(shù)據(jù)輸入部22，將照 相機(jī)6的焦點(diǎn)對(duì)在攝影面CP上進(jìn)行拍攝，并取得圖像數(shù)據(jù)IM。若取得了圖傳教據(jù)IM，則對(duì)圖傳教據(jù)IM中的在假想平面VP中進(jìn)行 投影的投影部分CP1進(jìn)行修整，生成支柱死角數(shù)據(jù)BD。即如圖5所示， 圖像處理器20，對(duì)圖像數(shù)據(jù)IM中的、連接照相機(jī)位置6a和各端點(diǎn)VPl、 VP2的各直線L3、 L4間的投影部分CPl進(jìn)行修整。對(duì)投影部分CPl進(jìn) 行修整后的數(shù)據(jù)成為支柱死角數(shù)據(jù)BD。若取得了支柱死角數(shù)據(jù)BD，則圖像處理器20將支柱死角數(shù)據(jù)BD投 影變換到假想平面VP。此投影變換是將投影部分CPl的各像素坐標(biāo)變換 成假想平面VP上的各像素的處理。另外，圖像處理器20，將投影變換到假想平面VP的圖像投影變換到 包含支柱P的內(nèi)側(cè)面Pa的支柱面上。能夠根據(jù)存儲(chǔ)在ROM12中的支柱 形狀41 (參照?qǐng)D1)的3維坐標(biāo)來^1定支柱面。此外，支柱形狀41是將支 柱P的外形利用圖案或坐標(biāo)進(jìn)行表示的數(shù)據(jù)，是才艮據(jù)車種各異的數(shù)據(jù)。圖 像處理器20可根據(jù)此支柱形狀41,取得表示支柱P的外形的長(zhǎng)度方向、 車寬方向及垂直方向的3維坐標(biāo)。另外，也可作為利用了 3維坐標(biāo)的lt據(jù) 來取得支柱P的幅度和長(zhǎng)度。接著，為了將投影到支柱面的、沿著支柱P的位置及形狀的上述圖像 利用投影機(jī)4進(jìn)行投影，將該圖像與投影機(jī)4的位置配合而進(jìn)行坐標(biāo)變換。 即根據(jù)從投影機(jī)4輸出的M射到支柱P的內(nèi)側(cè)面Pa的角度，將顯示在 內(nèi)側(cè)面Pa的圖^ii行傾斜、擴(kuò)大或縮小。因此，例如，將映射(map)等 預(yù)先存儲(chǔ)在主存儲(chǔ)器11等中，根據(jù)該映射，將投影變換后的圖像作為針對(duì) 投影機(jī)4的輸出圖像再次進(jìn)行坐標(biāo)變換，且該映射預(yù)先將投影變換后的上 述圖像的各像素的坐標(biāo)和向投影機(jī)4輸出的圖像的各像素的坐標(biāo)建立了關(guān) 聯(lián)。而且，生成用于將坐標(biāo)變換后的圖像向投影機(jī)4進(jìn)行輸出的投影數(shù)據(jù)PD。另外，圖像處理器20,對(duì)于投影數(shù)據(jù)PD，根據(jù)存儲(chǔ)在ROM12中的 屏蔽圖案40(參照?qǐng)Dl及圖7)，生成用于向投影機(jī)4進(jìn)行輸出的影傳_信號(hào)。 如圖7所示，屏蔽圖案40是用于向投影數(shù)據(jù)PD附加屏蔽的數(shù)據(jù)，由沿著 支柱P的內(nèi)面形狀的圖像顯示區(qū)域40a和屏蔽40b構(gòu)成。圖像處理器20， 對(duì)于圖像顯示區(qū)域40a的區(qū)域，讀入投影數(shù)據(jù)PD;對(duì)于屏蔽40b的區(qū)域, 生成投影機(jī)4的用于不顯示的輸出用數(shù)據(jù)OD。若生成了輸出用數(shù)據(jù)OD, 則圖像處理器20向投影機(jī)4輸出該輸出用數(shù)據(jù)OD。投影機(jī)4如圖8所示，以可向車輛C的右側(cè)的支柱P的內(nèi)面投影圖像 的方式，被安裝在車頂R的內(nèi)側(cè)、駕駛員D就座的前座F的垂直方向上 方附近。如圖9所示，在支柱P的內(nèi)側(cè)面Pa貼著與支柱P的形狀一致而 切斷的屏幕SC。調(diào)整投影機(jī)4的焦點(diǎn)使其對(duì)在此屏幕SC。此外，在支柱 P的內(nèi)側(cè)面Pa是由接^lt^投影機(jī)4輸出的投影光并可顯示鮮明的圖《象的材 質(zhì)及形狀形成的情況下，也可省略屏幕SC。如圖10所示，投影機(jī)4向支柱P的屏幕SC發(fā)射投影光L，向屏幕SC 投影圖像。另外，在該屏幕SC的周圍的前窗Wl或門窗W2上，由于屏 蔽40b而不會(huì)投影圖像。下面，針對(duì)本實(shí)施方式的處理順序，按照?qǐng)Dll進(jìn)行說明。首先，駕駛 輔助單元2的控制部10，等待用以向支柱P的內(nèi)側(cè)投影背景圖像的投影模 式的開始(步驟Sl)。例如，當(dāng)^Mt觸摸面板、^Mt開關(guān)26，控制部10 通過外部輸入I/F部25，接收了模式開始請(qǐng)求時(shí)，判斷為開始投影模式。 或者，也可根據(jù)來自點(diǎn)火組件(圖示略)來的開(ON)信號(hào)，判斷開始投 影模式。若判斷為開始投影模式時(shí)(在步驟S1中"是")，控制部10^L據(jù)i2M圣 數(shù)據(jù)16,等待車輛C接近交叉路口或彎道(步驟S2)。具體地是，若控制 部10判斷車輛C的當(dāng)前位置t、了距離包含T字路的交叉路口或規(guī)定曲 率以上的彎道的規(guī)定距離范圍(例如200m)內(nèi)，則判斷接近了交叉路口 或彎道。若判斷為接近了交叉路口或彎道(在步驟S2中"是")，控制部10利 用各位置檢測(cè)傳感器8a 8c,檢測(cè)駕駛員D的頭部位置(步驟S3)。此時(shí)， 控制部10通過傳感器I/F部23，從M置檢測(cè)傳感器8a ~ 8c取得到頭部Dl的各相對(duì)距離。而且，利用各相對(duì)距離，根據(jù)三角測(cè)量的原理，確定頭 部中心位置Dc。若計(jì)算出了頭部中心位置Dc，則圖像處理器20如上所述，設(shè)定假想 平面VP(步驟S4)。當(dāng)車輛C接近了交叉路口 J (參照?qǐng)D4)時(shí)，才艮據(jù)地 圖描繪數(shù)據(jù)17取得人行橫道Z的基準(zhǔn)點(diǎn)Pc，將假想平面VP設(shè)定在通過 該基準(zhǔn)點(diǎn)Pc的位置。當(dāng)無人行橫道Z時(shí)，也可用車輛前方的停止線等的 道路標(biāo)識(shí)。當(dāng)車輛C接近彎道時(shí)，也可在道路上所標(biāo)識(shí)的中心線中的、曲 率較大的位置取基準(zhǔn)點(diǎn)Pc。進(jìn)而，圖像處理器20，設(shè)定攝影面CP (步驟S5)。此時(shí)，如上所述， 圖像處理器20比較照相機(jī)6的光軸AX的角度6c和連接頭部中心位置 Dc與基準(zhǔn)點(diǎn)Pc的中心線La的角度6d。而且，如圖5所示，當(dāng)光軸AX 的角度6c比中心線La的角度6d還大時(shí)，如上所述，將攝影面CP設(shè)定 在假想平面VP的前面、通過假想平面VP的右端點(diǎn)Y^2的位置。此時(shí)， 如圖5所示，由于左端點(diǎn)VP1和攝影面CP分開，在被支柱P遮擋的死角 區(qū)域A中，產(chǎn)生不能投影到支柱P的非顯示區(qū)域B1。雖然此非顯示區(qū)域 Bl實(shí)際上僅是一點(diǎn)點(diǎn)的區(qū)域，但在支柱P上顯示圖像時(shí)，多少損壞了顯 示在支柱P上的圖像與通過窗戶Wl、 W2看見的實(shí)際的背景之間的連續(xù) 性。另一方面，由于右端點(diǎn)VP2與攝影面CP相接，不產(chǎn)生非顯示區(qū)域 Bl，與兩端存在非顯示區(qū)域B1的情;;U目比，圖像的連續(xù)性變得良好。進(jìn)而，由于在比假想平面VP還接近駕駛員D的頭部中心位置Dc的 位置上設(shè)定了攝影面CP,所以不會(huì)產(chǎn)生對(duì)合焦點(diǎn)而進(jìn)行拍攝時(shí)的圖像中 的不被投影到支柱P的剩余區(qū)域。另外，如圖6所示，當(dāng)光軸AX的角度6c比中心線La的角度6d還 小時(shí)，將攝影面CPi殳定在通過假想平面VP的左端點(diǎn)VP1的位置。此時(shí)， 由于左端點(diǎn)VP1和攝影面CP相接，在左端點(diǎn)VP1處不產(chǎn)生非顯示區(qū)域 Bl。若設(shè)定了攝影面CP，則根據(jù)圖像處理器20已設(shè)定的攝影面CP，照 相機(jī)6將焦點(diǎn)對(duì)在攝影面CP而進(jìn)行拍攝，并取得圖像數(shù)據(jù)IM(步驟S6 )。若圖像處理器20取得了圖像數(shù)據(jù)IM，如上所述，提取圖像數(shù)據(jù)IM 中的、投影到假想平面VP的投影部分CP1 (步驟S7)，并生成支柱死角 數(shù)據(jù)BD。若生成了支柱死角數(shù)據(jù)BD，則，圖像處理器20對(duì)支柱死角數(shù)據(jù)BD 進(jìn)行投影用圖像處理(步驟S8)。具體地是，如上所述，將支柱死角數(shù)據(jù) BD投影變換到在步驟S4中已設(shè)定的假想平面VP。另外，將投影變換到 假想平面VP上的圖像，根據(jù)上述支柱形狀41,與支柱P的3維形狀一致 地進(jìn)行變換。另外，將與支柱P的3維形狀一致進(jìn)行變換后的圖像，根據(jù) 投影機(jī)4的位置進(jìn)行坐標(biāo)變換，并生成投影數(shù)據(jù)PD。另外，根據(jù)投影數(shù) 據(jù)PD及屏蔽圖案40，生成將支柱P以外的區(qū)域進(jìn)行屏蔽的輸出用數(shù)據(jù) OD。若生成了輸出用數(shù)據(jù)OD,則，圖像處理器20，向投影機(jī)4輸出該輸 出用數(shù)據(jù)OD。投影機(jī)4如圖10所示，向設(shè)置在支柱P的內(nèi)側(cè)面Pa的屏 幕SC，投影被支柱P遮擋的區(qū)域的圖像(步驟S9)。由于將顯示于屏幕 SC的投影圖像，預(yù)先投影變換到與人行橫道Z等的道路標(biāo)識(shí)對(duì)合的假想 平面VP，所以該道路標(biāo)識(shí)，與通過前窗Wl及門窗W2而可見的背景無 錯(cuò)位、無傾斜地被顯示。另外，通過攝影面CP與假想平面VP的任意一 個(gè)端點(diǎn)VP1、 VP2相接，由于假想平面VP及攝影面CP的錯(cuò)位而產(chǎn)生的 非顯示區(qū)域B1和剩余區(qū)域被縮小，可提高與通過窗戶Wl、 W2而看見的 背景之間的連續(xù)性。若利用圖像處理器20向支柱P投影了圖像，則控制部10對(duì)車輛C是 否離開了交叉路口 J或彎道進(jìn)行判斷(步驟S10)。若判斷為車輛C在交 叉路口 J或彎道內(nèi)或其附近(在步驟S10中"否")，則返回到步驟S3，重 復(fù)從頭部位置檢測(cè)(步驟S3 )到圖像投影(步驟S9 )。即，在車輛C離開 交叉路口J或彎道之前，將被支柱P遮擋的圖像投影到支柱P。若判斷為車輛C離開了交叉路口 J或彎道(在步驟S10中"是")，控 制部10判斷是否結(jié)束了投影模式(步驟Sll )。結(jié)束觸發(fā)是基于觸摸面板、 操作開關(guān)26的操作的模式結(jié)束請(qǐng)求、或點(diǎn)火組件的關(guān)斷(OFF)信號(hào)。若 輸入了這些信號(hào)，則判斷為投影模式結(jié)束(在步驟Sll中"是")，并結(jié)束 處理。根據(jù)上述實(shí)施方式，能夠取得以下的效果。(1)在上述實(shí)施方式中，圖像處理器20在車輛C接近了交叉路口或 彎道時(shí)，將假想平面VP設(shè)定在例如通過道路標(biāo)識(shí)之類對(duì)象物的基準(zhǔn)點(diǎn)Pc 的位置。另外，將照相機(jī)6的攝影面CP設(shè)定在假想平面VP的前面、通過假想平面VP的端點(diǎn)VP1、 VP2的位置。由此，與被支柱P遮擋的死角 區(qū)域A無關(guān)，可縮小不能向支柱P投影的非顯示區(qū)域B1，和對(duì)合焦點(diǎn)的 圖像中的不能向支柱P投影的剩余區(qū)域。因此，能夠在支柱P上顯示與通 過各窗戶Wl、 W2而看見的實(shí)際背景之間連續(xù)性較高的、自然且無不協(xié)調(diào) 感的圖像。(2 )在上述實(shí)施方式中，比較照相機(jī)6的光軸AX與水平方向所成的 角度6c和死角區(qū)域A的死角方向與水平方向所成的角度6d，當(dāng)角度6c 比角度6d還大時(shí)，將攝影面CP設(shè)定在通過右端點(diǎn)VP2的位置。另外， 當(dāng)角度6c比角度6d還小時(shí)，將攝影面CP設(shè)定在通過左端點(diǎn)VP1的位 置。因此，總是可將攝影面CP設(shè)定在假想平面VP的前面，所以能夠縮 小將攝影面CP設(shè)定在比假想平面VP還離開頭部中心位置Dc的位置上時(shí) 所產(chǎn)生的上述剩余區(qū)域。此外，上述實(shí)施方式也可進(jìn)行如下變更。在上述實(shí)施方式中，根據(jù)地圖描繪數(shù)據(jù)17設(shè)定了道路標(biāo)識(shí)的基準(zhǔn)點(diǎn) Pc,但是，也可對(duì)照相機(jī)6取得的圖像數(shù)據(jù)IM進(jìn)行白線識(shí)別處理，檢測(cè) 出道路標(biāo)識(shí)的白線(或黃線)。而且，也可在檢測(cè)出的白線的端部和中央 設(shè)定基準(zhǔn)點(diǎn)Pc。在上述實(shí)施方式中，將假想平面VP與人行橫道Z等的道路標(biāo)識(shí)對(duì)合， 但是，也可將與假想平面VP的位置對(duì)合的對(duì)象物進(jìn)行適當(dāng)變更。例如， 也可將假想平面VP與信號(hào)機(jī)等路面設(shè)置物對(duì)合。另外，例如也可以構(gòu)成 為，在車輛C中裝載用于計(jì)量到車輛前方的障礙物的相對(duì)距離的、作為障 礙物檢測(cè)機(jī)構(gòu)的雷達(dá)等，當(dāng)檢測(cè)到步行者、自行車等對(duì)象障礙物時(shí)，使假 想平面VP與障礙物對(duì)合。此外，障礙物例如是否為步行者、自行車的判 定，利用特4￡^測(cè)等乂>知的圖<象處理。表示人行橫道等路面標(biāo)識(shí)的位置的數(shù)據(jù)，例如也可從路車間通信或車 車間通信或分發(fā)這些數(shù)據(jù)的服務(wù)器上取得。另外，表示步行者等障礙物的 位置的數(shù)據(jù)也可從其他車輛等外部裝置接收。在上述實(shí)施方式中，在不使用語音導(dǎo)航時(shí)，也可省略語音處理器24。在上述實(shí)施方式中，通過投影機(jī)4向支柱P的內(nèi)側(cè)面Pa投影圖像， 但也可在支柱P的內(nèi)側(cè)設(shè)置薄型的作為顯示機(jī)構(gòu)的顯示器，從圖l象處理器 20向該顯示器輸出輸出用數(shù)據(jù)OD。在上述實(shí)施方式中，照相機(jī)6設(shè)置在前支柱P的外側(cè)，拍攝被前支柱 P遮擋的區(qū)域，但也可設(shè)置在車輛后方和側(cè)方等其他的支柱上。例如，也 可將照相機(jī)6安裝在車輛后方的后支柱外側(cè)，通過該照相機(jī)6拍攝被后支 柱遮擋的區(qū)域。此時(shí)，將投影機(jī)4設(shè)置在向后支柱內(nèi)面可投影圖像的位置， 圖像處理器20根據(jù)照相機(jī)6拍攝的圖像數(shù)據(jù)，將被后支柱遮擋的死角區(qū)域 的圖像投影到后支柱內(nèi)面上。由此，例如當(dāng)車輛C向停車范圍內(nèi)后退時(shí)， 駕駛員D可利用投影圖像確認(rèn)^支柱遮擋的停車范圍，所以能夠易于進(jìn) 行停車操作。另夕卜，也可在多個(gè)支柱P的外側(cè)各設(shè)置一個(gè)照相機(jī)6，并且， 根據(jù)照相機(jī)6的位置設(shè)置多臺(tái)投影機(jī)4。并且，也可在一個(gè)支柱P上設(shè)置 多個(gè)照相機(jī)6。在上述實(shí)施方式中，將投影機(jī)4設(shè)置在車輛C的車頂R的內(nèi)側(cè)，但， 只M影機(jī)4的位置是可以在支柱P的內(nèi)面上投影圖像的位置，也可例如 《殳置在>^^的上方(大略中央)等其他的位置上。
權(quán)利要求
1、一種駕駛輔助方法，利用安裝于車輛的攝影裝置，拍攝由于該車輛的支柱而產(chǎn)生的死角區(qū)域，并在上述支柱的內(nèi)側(cè)顯示相當(dāng)于該死角區(qū)域的圖像，其特征在于，設(shè)定假想平面，用以將從上述攝影裝置輸入的圖像數(shù)據(jù)進(jìn)行投影，并且，將上述攝影裝置的攝影面設(shè)定在通過上述假想平面的端點(diǎn)的位置，且上述假想平面被由于上述支柱而產(chǎn)生的死角區(qū)域所分區(qū)，取得將焦點(diǎn)對(duì)在上述攝影面的上述圖像數(shù)據(jù)，并將該圖像數(shù)據(jù)坐標(biāo)變換到上述假想平面，根據(jù)坐標(biāo)變換到上述假想平面的上述圖像數(shù)據(jù)，在上述支柱的內(nèi)側(cè)顯示相當(dāng)于由于上述支柱而產(chǎn)生的死角區(qū)域的圖像。
2、 一種駕駛輔助裝置，利用安裝于車輛的攝影裝置，拍攝由于該車輛 的支柱而產(chǎn)生的死角區(qū)域，并在上述支柱的內(nèi)側(cè)顯示利用上述攝影裝置拍 攝的圖像，其特征在于，具有假想平面設(shè)定機(jī)構(gòu)，設(shè)定用于將從上述攝影裝置輸入的圖像數(shù) 據(jù)進(jìn)行投影的假想平面；攝影面設(shè)定機(jī)構(gòu)，將上述攝影裝置的攝影面設(shè)定在通過上述假想平面 的端點(diǎn)的位置，且上述假想平面被由于上述支柱而產(chǎn)生的死角區(qū)域所分 區(qū)；圖4象處理機(jī)構(gòu)，用于取得將焦點(diǎn)對(duì)在上述攝影面的上述圖傳教據(jù)，將 該圖像數(shù)據(jù)坐標(biāo)變換到上述假想平面；輸出控制機(jī)構(gòu)，根據(jù)坐標(biāo)變換到上述假想平面的上述圖像數(shù)據(jù)，在上 述支柱的內(nèi)側(cè)顯示由于上述支柱而產(chǎn)生的死角區(qū)域的圖像。
3、 根據(jù)權(quán)利要求2所述的駕駛輔助裝置，其特征在于，上述攝影面設(shè)定機(jī)構(gòu)，將上述攝影裝置的攝影面設(shè)定在比上述假想平 面還接近上述車輛的位置。
4、 根據(jù)權(quán)利要求2或3所述的駕駛輔助裝置，其特征在于，上述假想平面設(shè)定機(jī)構(gòu)，取得存在于車輛周邊的路面上的描繪基準(zhǔn)物 的位置，在通過該描繪基準(zhǔn)物的位置的位置處設(shè)定上述假想平面，上述攝影面設(shè)定機(jī)構(gòu)才艮據(jù)上述攝影裝置的光軸的方位和連接上述車 輛駕駛員的頭部位置及上述描繪基準(zhǔn)物的位置的直線的方位，選擇上述攝影面交叉的上述假想平面的端點(diǎn)。
全文摘要
本發(fā)明提供一種能夠?qū)⒉粫?huì)使駕駛員產(chǎn)生不協(xié)調(diào)感的圖像投影到支柱上的駕駛輔助方法及駕駛輔助裝置。駕駛輔助單元(2)，用以利用安裝于車輛的照相機(jī)(6)，拍攝由于車輛的支柱而產(chǎn)生的死角區(qū)域，將通過照相機(jī)(6)拍攝的圖像投影到支柱的內(nèi)側(cè)，在駕駛輔助單元(2)中，設(shè)定投影圖像數(shù)據(jù)的假想平面，對(duì)于縮小由于假想平面和照相機(jī)(6)的攝影面的錯(cuò)位而產(chǎn)生的非顯示區(qū)域或剩余區(qū)域的規(guī)定位置，將照相機(jī)(6)的攝影面設(shè)定為上述規(guī)定位置。另外，將照相機(jī)(6)輸入的圖像數(shù)據(jù)坐標(biāo)變換到假想平面，根據(jù)被坐標(biāo)變換到假想平面上的圖像數(shù)據(jù)，在支柱的內(nèi)側(cè)顯示相當(dāng)于由于支柱而產(chǎn)生的死角區(qū)域的圖像。
文檔編號(hào)H04N7/18GK101252679SQ200810006280
公開日2008年8月27日 申請(qǐng)日期2008年2月4日 優(yōu)先權(quán)日2007年2月23日
發(fā)明者岡部英文, 洼田智氣, 高木實(shí) 申請(qǐng)人:愛信艾達(dá)株式會(huì)社