專利名稱：一種現(xiàn)實(shí)增強(qiáng)型的駕駛輔助預(yù)警系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種駕駛輔助預(yù)警系統(tǒng)。
背景技術(shù)：
隨著對汽車安全性能的關(guān)注，諸如前向避撞預(yù)警系統(tǒng)，車道偏離預(yù)警系統(tǒng)等各種駕駛輔助預(yù)警系統(tǒng)得到了越來越多的應(yīng)用，這些預(yù)警系統(tǒng)能夠在碰撞、或者偏離車道等危險(xiǎn)駕駛狀況發(fā)生之前給予駕駛員相應(yīng)的警告或者提示信息，從而避免事故的發(fā)生。但對于目前的駕駛輔助預(yù)警系統(tǒng)而言，其在預(yù)警時(shí)存在著兩方面的問題。其一，這些預(yù)警信號大都布置在儀表盤上，這在對儀表盤的必要空間造成負(fù)擔(dān)的同時(shí)，還需要駕駛員轉(zhuǎn)移視線對其報(bào)警內(nèi)容進(jìn)行察看，容易分散駕駛員的注意力，從而造成新的安全隱患。其二，目前常用預(yù)警系統(tǒng)的預(yù)警信息類似，容易造成駕駛員的誤解和混淆，因?yàn)轳{駛員在駕駛過程中需要根 據(jù)當(dāng)前的駕駛環(huán)境加工和分析其所處的駕駛狀態(tài)，這是一種復(fù)雜的信息處理過程，對于經(jīng)驗(yàn)尚淺的駕駛員而言，普通的報(bào)警圖案以及諸如“滴滴”、“嘟嘟”等預(yù)警聲不足以讓其快速有效的理解當(dāng)前的危險(xiǎn)狀況，從而使其無法快速做出正確反應(yīng)，影響了實(shí)際的預(yù)警效果。增強(qiáng)現(xiàn)實(shí)(Augmented Reality :AR)技術(shù)是通過電腦，將虛擬的信息應(yīng)用到真實(shí)世界，將真實(shí)的環(huán)境和虛擬的信息實(shí)時(shí)地疊加到了同一個(gè)畫面或空間同時(shí)存在。它不僅展現(xiàn)了真實(shí)世界的信息，而且將虛擬的信息同時(shí)也顯示出來，兩種信息相互補(bǔ)充、疊加，呈現(xiàn)給使用者一個(gè)感官效果真實(shí)的新環(huán)境。常用的車用抬頭顯示(Head Up Display :HUD)系統(tǒng)已經(jīng)初步具備了增強(qiáng)現(xiàn)實(shí)的概念，其主要是利用玻璃反射，使得駕駛員可以同時(shí)關(guān)注駕駛環(huán)境和相關(guān)的行駛數(shù)據(jù)，避免駕駛員的視線偏移而導(dǎo)致的注意力分散，增加了行車的安全性。但常用HUD系統(tǒng)的投射信息往往固定在前擋風(fēng)玻璃的某個(gè)位置，而且在顯示內(nèi)容上主要以車速、發(fā)動機(jī)轉(zhuǎn)速等實(shí)時(shí)車輛行車信息為主，功能較為單一。如果HUD系統(tǒng)的投射信息能夠疊加到當(dāng)前環(huán)境中可能發(fā)生危險(xiǎn)的因素上(諸如前方車輛、障礙物等)，那么就可以做到在對駕駛員進(jìn)行環(huán)境危險(xiǎn)預(yù)警的同時(shí)，保證其對實(shí)際駕駛環(huán)境的注意，從而避免了駕駛員注意力的分散，而且能加快駕駛員對預(yù)警信息的理解，進(jìn)一步提高預(yù)警信息和駕駛員之間的實(shí)際交互效果。

發(fā)明內(nèi)容
為了克服已有駕駛輔助預(yù)警系統(tǒng)的容易導(dǎo)致駕駛員注意力分散、預(yù)警效果較差的不足，本發(fā)明提供一種有效防止駕駛員注意力分散、提高預(yù)警效果的現(xiàn)實(shí)增強(qiáng)型的駕駛輔助預(yù)警系統(tǒng)。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是—種現(xiàn)實(shí)增強(qiáng)型的駕駛輔助預(yù)警系統(tǒng)，包括車載攝像頭單元、中央處理器單元和抬頭顯示單元，其中，所述的車載攝像頭單元包括一個(gè)用于拍攝前方道路情況前視攝像頭和兩個(gè)用于拍攝駕駛員的頭部信息的面部攝像頭，其中前視攝像頭安置于中后視鏡的前方；面部攝像頭相對稱的內(nèi)置于儀表盤的中間，三個(gè)攝像頭與所述中央處理器單元連接；所述中央處理器單元，用以根據(jù)前視攝像頭的具體圖像內(nèi)容對外界危險(xiǎn)因素的具體位置進(jìn)行識別，并在圖像中的位置進(jìn)行標(biāo)識；
所述的抬頭顯示單元安置于方向盤的前方和前擋風(fēng)玻璃的下方，用以在接收到預(yù)警命令之后，將修正的標(biāo)識信息結(jié)合報(bào)警提示圖案投射到前擋風(fēng)玻璃上。進(jìn)一步，所述中央處理器單元中，根據(jù)面部攝像頭的圖像對駕駛員的頭部位置和視線方向進(jìn)行計(jì)算，根據(jù)之前標(biāo)定好的補(bǔ)償量修正標(biāo)識前方車輛或障礙物的方框以及標(biāo)識車道線的直線或曲線的位置。更進(jìn)一步，所述中央處理器單元中，所述補(bǔ)償量將基于識別得到的前方車輛或障礙物的位置、車道線的位置，前視攝像頭的位置、駕駛員的視線朝向，駕駛員的頭部位置信息以及抬頭顯示單元的投射角度、前擋風(fēng)玻璃的曲率等進(jìn)行計(jì)算。本發(fā)明的有益效果主要表現(xiàn)在1、防止駕駛員注意力分散。本系統(tǒng)由于利用了抬頭顯示形態(tài)，駕駛員可以以正常的視線狀態(tài)觀察到預(yù)警的具體信號，避免了由于查看預(yù)警信息而導(dǎo)致的注意力分散。2、預(yù)警信息更加直觀、更容易理解。本系統(tǒng)利用前擋風(fēng)玻璃將預(yù)警信號疊加到可能導(dǎo)致危險(xiǎn)的外界因素上，這樣可以讓駕駛員在第一時(shí)間觀察到實(shí)際駕駛環(huán)境中存在的危險(xiǎn)狀況，并且很直觀的理解該危險(xiǎn)產(chǎn)生的具體原因，從而使駕駛員可以更加快速的進(jìn)行規(guī)避危險(xiǎn)的行為，全面提高預(yù)警的實(shí)際效果。3、本發(fā)明的預(yù)警系統(tǒng)可以在不分散駕駛員注意力的情況下提高實(shí)際預(yù)警的效果，結(jié)構(gòu)清晰，可以適用于各種類型的車輛。利用相同的原理，還可以投射其他實(shí)際環(huán)境信息進(jìn)行預(yù)警，例如行人檢測預(yù)警、交通指示牌信息提示等，擴(kuò)展?jié)摿薮蟆?br>

圖I是本發(fā)明裝置的硬件結(jié)構(gòu)示意圖。圖2是本發(fā)明裝置的工作流程示意圖。圖3、圖4、是本發(fā)明裝置用于前方危險(xiǎn)報(bào)警、車道線偏離報(bào)警時(shí)時(shí)的示意圖。圖I中，11是拍攝道路環(huán)境的前向攝像頭，12和13是拍攝駕駛員頭部信息的后向攝像頭，14是用于在夜晚狀態(tài)下獲取駕駛員頭部信息的補(bǔ)光紅外LED。2是中央處理器，21是視頻信號處理器，22是抬頭顯示單元控制器，23是語音芯片，24是控制按鈕，25是光敏傳感器，26是系統(tǒng)揚(yáng)聲器。3是具備反射式光學(xué)結(jié)構(gòu)的抬頭顯示單元，其中31是圖像源TFT屏幕，32是平面鏡，33是非球面反射鏡，34是增透膜，35是通過增透膜反射后形成的虛像。
具體實(shí)施例方式下面結(jié)合附圖對本發(fā)明做進(jìn)一步說明。參照圖f圖4，一種增強(qiáng)現(xiàn)實(shí)型的駕駛輔助預(yù)警系統(tǒng)，包括車載攝像頭單元、中央處理器單元、抬頭顯示單元。所述的車載攝像頭單元包括一個(gè)前視攝像頭和兩個(gè)面部攝像頭，其中前視攝像頭安置于中后視鏡的前方，用于拍攝前方道路情況；面部攝像頭相對稱的內(nèi)置于儀表盤的中間，用于拍攝駕駛員的頭部信息。三個(gè)攝像頭所拍攝的圖案將傳輸?shù)街醒胩幚砥鬟M(jìn)行處理。
所述的中央處理器安置于車輛的中控臺內(nèi)，其首先將根據(jù)前視攝像頭的具體圖像內(nèi)容對外界危險(xiǎn)因素的具體位置進(jìn)行識別，并在圖像中的相應(yīng)位置進(jìn)行標(biāo)識，例如針對前向避撞預(yù)警系統(tǒng)，其以方框的形式標(biāo)識出在自車車道中距離自車最近的前方車輛(或障礙物)；針對車道偏離預(yù)警系統(tǒng)，其以直線(或曲線)的形式標(biāo)識出行駛過程中的車道線。在進(jìn)行上述計(jì)算和處理的同時(shí)，中央處理器還將根據(jù)面部攝像頭的圖像對駕駛員的頭部位置和視線方向進(jìn)行計(jì)算，這是因?yàn)轳{駛員眼睛看到的前方圖像和前視攝像頭拍攝到的前方圖像存在視角和距離上的差異，同時(shí)不同身高的駕駛員的視野也有所差異。因此保證駕駛員在前擋風(fēng)玻璃上看到的預(yù)警信息能夠和外界危險(xiǎn)因素有效疊加，需要獲取駕駛員當(dāng)時(shí)的頭部位置信息和視線方向，在此基礎(chǔ)上，中央處理器將根據(jù)之前標(biāo)定好的補(bǔ)償量修正標(biāo)識前方車輛(或障礙物)的方框以及標(biāo)識車道線的直線(或曲線)的位置。該補(bǔ)償量將基于識別得到的前方車輛(或障礙物)的位置、車道線的位置，前視攝 像頭的位置、駕駛員的視線朝向，駕駛員的頭部位置信息以及抬頭顯示單元的投射角度、前擋風(fēng)玻璃的曲率等進(jìn)行計(jì)算。在實(shí)際駕駛過程中，當(dāng)自車距離前方車輛(或障礙物)過近，或者車輛偏離車道線超過相應(yīng)預(yù)警的閾值后，中央處理器將利用抬頭顯示單元在前擋風(fēng)玻璃上投射相應(yīng)的標(biāo)識結(jié)果，并附帶報(bào)警提示圖案(文字和警示圖標(biāo)等)。所述的抬頭顯示單元安置于方向盤的前方，前擋風(fēng)玻璃的下方。其在接收到預(yù)警命令之后，將修正的標(biāo)識信息結(jié)合報(bào)警提示圖案投射到前擋風(fēng)玻璃上，并按照一定的預(yù)警策略進(jìn)行提示(例如閃爍等)。該抬頭顯示單元主要包括一套反射式的光學(xué)結(jié)構(gòu)，其圖像源由中央處理器輸出，利用平面鏡和非平面反射鏡(例如球面反射鏡、拋物面反射鏡、雙曲面反射鏡等)的光學(xué)組合將圖像源的圖像進(jìn)行放大和光程延長，從而實(shí)現(xiàn)在前擋風(fēng)玻璃的特定位置投射所需圖案。該單元的具體結(jié)構(gòu)和工作流程在專利“多信息顯示的車用抬頭顯示裝置”(專利申請?zhí)?01210229680. 5)中有詳細(xì)描述。如圖I所示。其中車載攝像頭單元包括固定于中后視鏡處的前向攝像頭11，以及固定于儀表盤內(nèi)部的后向攝像頭12和13，其中后向攝像頭12和13向上傾斜安裝，范圍為水平方向向上15 30度，三者通過線束連接至中央處理器2，紅外補(bǔ)光LED14安裝于后向攝像頭12和13的周圍，用來在夜晚狀態(tài)下更加有效的拍攝駕駛員頭部信息的視頻。中央處理器2由實(shí)際車輛的中控臺內(nèi)部空間決定安裝位置。抬頭顯示單元3安裝與靠近前擋風(fēng)玻璃下方的位置，其中圖像源TFT屏幕31安置于反射式光學(xué)結(jié)構(gòu)的底部，其上方固定有平面鏡32，其與圖像源屏幕呈45度角。非球面反射鏡33安裝于平面鏡32的反射光路上，其也與圖像源屏幕31呈45度角，圖像修正透鏡34放置于非球面反射鏡33的正上方，增透膜35位于非球面反射鏡33的上發(fā)，附于前擋風(fēng)玻璃上。抬頭顯示單元通過一股線束與中央處理器2相連。視頻信號處理器21、抬頭顯示單元控制器22以及語音芯片23都位于中央控制器2內(nèi)部,控制按鈕24固定于儀表盤下方,與中央處理器2相連。光敏傳感器25安置于前擋風(fēng)玻璃的下方，也與中央處理器2相連。系統(tǒng)揚(yáng)聲器26固定于儀表盤下方，與中央處理器2相連。在本實(shí)施例中，攝像頭單元中的前向攝像頭采用CCD低照度定焦攝像頭，分辨率為754*486，采用NTSC的視頻格式，大小規(guī)格為22mm*22mm*31mm (殼體，不包括線束)。在實(shí)車使用時(shí)，需要對攝像頭拍攝的圖像按照設(shè)定好的圖像拍攝要求進(jìn)行初始化標(biāo)定設(shè)置。在本實(shí)施例中，在確定抬頭顯示單元3的安裝位置后，可以通過對抬頭顯示單元3的光學(xué)元件設(shè)計(jì)，使得所成的虛像35位于駕駛員前方視線適當(dāng)?shù)奈恢?，以符合駕駛員在駕駛時(shí)的視覺特性(詳細(xì)內(nèi)容請參見專利“多信息顯示的車用抬頭顯示裝置”，專利申請?zhí)?01210229680. 5)。本實(shí)施例中，中央處理器2主要包括兩種處理芯片，一種為視頻處理芯片，共有兩 片，主要用于處理3路攝像頭所采集到的視頻數(shù)據(jù)。該芯片采用TI公司的TMS320DM6437數(shù)字圖像處理器，其是專門為高性能、低成本視頻應(yīng)用開發(fā)的，主頻600MHz，支持8個(gè)8位或4個(gè)16位并行MAC運(yùn)算，峰值處理能力高達(dá)4800MIPS，可實(shí)時(shí)處理8路CIF或3路Dl格式的
H.264編碼算法。另一種為抬頭顯示單元顯示控制芯片，主要用于控制抬頭顯示單元的顯示內(nèi)容，主要采用基于Cortex -M3內(nèi)核(最高72MHz工作頻率)的控制芯片STM32F103VET6，其具有512K的儲存器，帶有FSMC接口，和SSD1963控制器組合后可以控制大尺寸TFT屏幕，SSD1963控制器可以支持顯示864 x 480 x 24位的圖片，同時(shí)具有對屏幕顯示的背光亮度、對比度、飽和度的控制功能。在本實(shí)施例中，DM6437和STM32F103VET6之間采用串口總線通訊。此外，在中央控制器2中還搭配了 TI公司生產(chǎn)的TLV320DAC3100語音芯片，該系列產(chǎn)品支持模擬與數(shù)字麥克風(fēng)，同時(shí)也能夠執(zhí)行增強(qiáng)型音頻功能，其主要是用于執(zhí)行報(bào)警功能。在本實(shí)施例中，控制按鈕23共有四種功能，第一，其可以控制系統(tǒng)整體的開閉；第二，其可以用來調(diào)整圖像源屏幕31的亮度；第三，其可以用來調(diào)整輸出報(bào)警信號的音量高低，以便為駕駛員提供最佳的使用體驗(yàn)；第四，其可以調(diào)整系統(tǒng)報(bào)警的靈敏程度。以下結(jié)合附圖3、圖4來介紹本發(fā)明裝置的工作過程駕駛員通過控制按鈕24開啟本裝置，反射式光學(xué)結(jié)構(gòu)3此時(shí)將顯示系統(tǒng)歡迎信息，這些都是設(shè)計(jì)好的圖案，儲存于內(nèi)存中。當(dāng)中央控制器2中的視頻信號處理器21接收到攝像頭11的視頻信號，即開始進(jìn)行對前方駕駛環(huán)境中車輛(或障礙物)和車道線的識別工作，并根據(jù)事先的攝像頭標(biāo)定參數(shù)進(jìn)行前車(或障礙物)和自車之間的距離，以及車輛在車道線中的位置的計(jì)算。同時(shí)中央處理器還將處理攝像頭12和13的視頻信號，檢測駕駛員的臉部和眼睛特征，識別駕駛員的面部朝向信息。在經(jīng)過計(jì)算得到各種處理結(jié)果之后，如果自車和前方車輛(或障礙物)之間的距離低于預(yù)警閾值，或者自車偏離車道中心線的距離大于預(yù)警的閾值，則將控制信號傳遞到抬頭顯示單元控制器22以及語音芯片，此時(shí)控制抬頭顯示控制器22即開始控制抬頭顯示單元3進(jìn)行前方車輛(或障礙物)的顯示報(bào)警(其具體方式如圖3所示)，或者偏離車道線的提示預(yù)警(其具體方式如圖4所示)，報(bào)警內(nèi)容以圖案伴隨閃爍方式為主，駕駛員此時(shí)就可以看到前方可能發(fā)生碰撞的車輛(或障礙物)或者車道線被提示圖案給突出顯示在前擋風(fēng)玻璃上，結(jié)合揚(yáng)聲器26發(fā)出的聲音提示，此時(shí)駕駛員就可以非常清晰快捷的明白當(dāng)前所處的危險(xiǎn)狀態(tài)，從而快速的進(jìn)行規(guī)避危險(xiǎn)的操作，當(dāng)駕駛員操作車輛恢復(fù)到安全狀態(tài)之后，該警示圖案自動消失，駕駛員可以通過控制按鈕24來調(diào)整報(bào)警的靈敏程度，同時(shí)也可以設(shè)置報(bào)警聲的大小。系統(tǒng)工作過程中，抬頭顯示控制器會實(shí)時(shí)比較圖像源屏幕31的亮度和外界光線強(qiáng)弱的對比，如果光敏傳感器25檢測到外界光線過強(qiáng)，而圖像源屏幕31亮度過暗時(shí)，或者光敏傳感器25檢測到外界光線較暗，而圖像源屏幕31的亮度過亮?xí)r，抬頭顯示控制器22都將對界面亮度進(jìn)行適當(dāng)?shù)恼{(diào)整，駕駛員也可以通過控制按鈕24設(shè)置顯示的亮度。 ·
權(quán)利要求
1.一種現(xiàn)實(shí)增強(qiáng)型的駕駛輔助預(yù)警系統(tǒng)，其特征在于包括車載攝像頭單元、中央處理器單元和抬頭顯示單元，其中，所述的車載攝像頭單元包括一個(gè)用于拍攝前方道路情況前視攝像頭和兩個(gè)用于拍攝駕駛員的頭部信息的面部攝像頭，其中前視攝像頭安置于中后視鏡的前方；面部攝像頭相對稱的內(nèi)置于儀表盤的中間，三個(gè)攝像頭與所述中央處理器單元連接；所述中央處理器單元，用以根據(jù)前視攝像頭的具體圖像內(nèi)容對外界危險(xiǎn)因素的具體位置進(jìn)行識別，并在圖像中的位置進(jìn)行標(biāo)識；所述的抬頭顯示單元安置于方向盤的前方和前擋風(fēng)玻璃的下方，用以在接收到預(yù)警命令之后，將修正的標(biāo)識信息結(jié)合報(bào)警提示圖案投射到前擋風(fēng)玻璃上。
2.如權(quán)利要求I所述的現(xiàn)實(shí)增強(qiáng)型的駕駛輔助預(yù)警系統(tǒng)，其特征在于所述中央處理器單元中，根據(jù)面部攝像頭的圖像對駕駛員的頭部位置和視線方向進(jìn)行計(jì)算，根據(jù)之前標(biāo)定好的補(bǔ)償量修正標(biāo)識前方車輛或障礙物的方框以及標(biāo)識車道線的直線或曲線的位置。
3.如權(quán)利要求I或2所述的現(xiàn)實(shí)增強(qiáng)型的駕駛輔助預(yù)警系統(tǒng)，其特征在于所述中央處理器單元中，所述補(bǔ)償量將基于識別得到的前方車輛或障礙物的位置、車道線的位置，前視攝像頭的位置、駕駛員的視線朝向，駕駛員的頭部位置信息以及抬頭顯示單元的投射角度、前擋風(fēng)玻璃的曲率等進(jìn)行計(jì)算。
全文摘要
一種現(xiàn)實(shí)增強(qiáng)型的駕駛輔助預(yù)警系統(tǒng)，包括車載攝像頭單元、中央處理器單元和抬頭顯示單元，其中，車載攝像頭單元包括一個(gè)用于拍攝前方道路情況前視攝像頭和兩個(gè)用于拍攝駕駛員的頭部信息的面部攝像頭，其中前視攝像頭安置于中后視鏡的前方；面部攝像頭相對稱的內(nèi)置于儀表盤的中間，三個(gè)攝像頭與所述中央處理器單元連接；中央處理器單元，用以根據(jù)前視攝像頭的具體圖像內(nèi)容對外界危險(xiǎn)因素的具體位置進(jìn)行識別，并在圖像中的位置進(jìn)行標(biāo)識；抬頭顯示單元安置于方向盤的前方和前擋風(fēng)玻璃的下方，用以在接收到預(yù)警命令之后，將修正的標(biāo)識信息結(jié)合報(bào)警提示圖案投射到前擋風(fēng)玻璃上。本發(fā)明有效防止駕駛員注意力分散、提高預(yù)警效果。
文檔編號G02B27/01GK102910130SQ20121041197
公開日2013年2月6日 申請日期2012年10月24日 優(yōu)先權(quán)日2012年10月24日
發(fā)明者李家文, 周也寧, 張偉, 成波 申請人:浙江工業(yè)大學(xué)