專利名稱：司機(jī)疲勞預(yù)警生物識(shí)別的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種汽車的自動(dòng)駕駛控制，尤其是通過生物信號(hào)識(shí)別司機(jī)疲勞對(duì)機(jī)動(dòng)車輛的預(yù)警系統(tǒng)。
背景技術(shù)：
涉及汽車自動(dòng)駕駛系統(tǒng)已經(jīng)是現(xiàn)有技術(shù)，其中利用軸角編碼器、力矩電機(jī)和動(dòng)作油缸可以控制方向轉(zhuǎn)角、行車速度和剎車等。如中國專利申請(qǐng)98122574.8涉及汽車自動(dòng)駕駛系統(tǒng)，它采用雙目攝像系統(tǒng)可自動(dòng)收集車前1-200m內(nèi)路況情報(bào)地面標(biāo)識(shí)、隔離帶、防撞護(hù)欄、車道標(biāo)識(shí)線識(shí)別、路障；機(jī)動(dòng)車輛數(shù)量、車道分布、距離、相對(duì)速度以及道路標(biāo)識(shí)牌信息。系統(tǒng)軟件自動(dòng)決策汽車行駛速度、汽車行進(jìn)方向和位置、自動(dòng)超車駕駛、緊急剎車、可以采用閉環(huán)系統(tǒng)進(jìn)行方向盤控制、速度控制。它可用于高速公路上的汽車自動(dòng)駕駛。
公路，尤其是高速公路，汽車的速度相當(dāng)高，以80公里/小時(shí)計(jì)，時(shí)鐘“嘀嗒”一秒瞬間，汽車行進(jìn)20余米。如果在這一瞬間由于司機(jī)過度疲勞而打瞌睡時(shí)，方向盤失控極易發(fā)生事故，造成重大損失，甚至致人于死命。尤其在當(dāng)今競(jìng)爭(zhēng)激烈，快節(jié)奏的市場(chǎng)經(jīng)濟(jì)時(shí)代，公路上如何保護(hù)司機(jī)在這方面的駕駛安全是當(dāng)務(wù)之急的研究課題。這里研究發(fā)明的司機(jī)疲勞預(yù)警系統(tǒng)就是可自動(dòng)保護(hù)司機(jī)在駕駛汽車疲勞有睡意時(shí)使之安全駕駛的裝置。列車更是如此，其速度甚至達(dá)到近二百公里。如因司機(jī)疲勞錯(cuò)失信號(hào)提示也可能會(huì)極為不利的后果。

發(fā)明內(nèi)容
本發(fā)明目的是提供一種通過生物信號(hào)提取識(shí)別司機(jī)的疲勞，從而發(fā)出警報(bào)(包括車內(nèi)提醒警報(bào)和車輛向外的警報(bào))或直接對(duì)機(jī)動(dòng)車輛干預(yù)的預(yù)警系統(tǒng)。
本發(fā)明的目的是這樣實(shí)現(xiàn)的司機(jī)疲勞預(yù)警系統(tǒng)，包括用生物信號(hào)提取識(shí)別司機(jī)的疲勞的裝置和警報(bào)發(fā)出裝置構(gòu)成，生物信號(hào)提取識(shí)別司機(jī)的疲勞的裝置包括將紅外攝像或攝像提取的面部與睡眠有關(guān)信息及實(shí)時(shí)記錄的電生理信息有機(jī)結(jié)合，輸出融合成多參數(shù)控制信息以自動(dòng)控制后車燈、減速和剎車。視頻圖像傳感器、電生理信息采集器、信號(hào)處理器視頻圖像傳感器、電生理信息采集器、信號(hào)處理器、警示信號(hào)產(chǎn)生器、控制汽車信號(hào)輸出部分構(gòu)成。
司機(jī)疲勞預(yù)警生物識(shí)別的方法，當(dāng)從生物圖像提取瞳孔信號(hào)，如變小信號(hào)、眼瞼信號(hào)，如眼瞼閉合頻率增加、眼瞼閉合時(shí)間延長、嘴形信號(hào)，如哈欠嘴形變大時(shí)的信號(hào)為主要判斷依據(jù)，再結(jié)合心率變慢、腦電出現(xiàn)慢波等生物信號(hào)綜合判斷司機(jī)進(jìn)入睡眠狀態(tài)。從而發(fā)出警報(bào)和控制汽車信號(hào)。上述判斷依據(jù)消除時(shí)解除上述信號(hào)。
在汽車司機(jī)疲勞有睡意而尚未失控方向盤時(shí)，該控制信息已發(fā)出刺激警示信號(hào)光聲信號(hào)(如音樂或警報(bào)聲)，同時(shí)后車紅燈亮，開始減速。當(dāng)汽車司機(jī)在刺激信號(hào)刺激下睡意消失，前述的一切刺激信號(hào)均消失。
本發(fā)明將檢測(cè)汽車司機(jī)駕駛時(shí)有睡意時(shí)的面部狀態(tài)(瞳孔大小、眼瞼閉合頻率、眼瞼閉合時(shí)間、哈欠嘴形等)、心率、腦電的信息的硬件模塊與信號(hào)分析處理模塊、控制信號(hào)模塊、警示信號(hào)模塊構(gòu)成的設(shè)備系統(tǒng)稱為司機(jī)疲勞預(yù)警系統(tǒng)設(shè)備系統(tǒng)。只要有類似于本“預(yù)警系統(tǒng)”設(shè)計(jì)方法的設(shè)備或裝置，均沒有超出本發(fā)明要求保護(hù)的范圍。
本發(fā)明的特點(diǎn)是司機(jī)疲勞預(yù)警系統(tǒng)構(gòu)思新穎，將紅外攝像提取的面部與睡眠有關(guān)信息及實(shí)時(shí)記錄的電生理信息有機(jī)結(jié)合，采用先進(jìn)的電子技術(shù)和信號(hào)處理技術(shù)，融合成多參數(shù)控制信息以自動(dòng)控制后車燈、減速和剎車。在汽車司機(jī)疲勞有睡意而尚未失控方向盤時(shí)，該控制信息已發(fā)出刺激警示信號(hào)(音樂或警報(bào)聲)，同時(shí)后車紅燈亮，開始減速。當(dāng)汽車司機(jī)在刺激信號(hào)刺激下睡意消失，前述的一切刺激信號(hào)均消失，汽車后車紅燈熄，速度恢復(fù)正常。如果司機(jī)睡意加深，將要使方向失控的一瞬間，控制信息可使汽車后車燈亮、減速剎車，使汽車很安全的停下來，以保人和汽車的安全。


圖1是本發(fā)明司機(jī)疲勞預(yù)警系統(tǒng)構(gòu)成框2是本發(fā)明利用圖像處理方法提取睡眠特征參數(shù)的流程的軟件編程框3是本發(fā)明利用心電分析方法提取睡眠特征參數(shù)的流程圖4是本發(fā)明利用圖像處理方法提取睡眠特征參數(shù)的流程圖5是本發(fā)明利用腦電分析方法提取睡眠特征參數(shù)的流程圖6是本發(fā)明心電數(shù)據(jù)實(shí)時(shí)處理與分析的軟件流程圖7是本發(fā)明腦電數(shù)據(jù)實(shí)時(shí)處理與分析的軟件流程具體實(shí)施方式
本“預(yù)警系統(tǒng)”設(shè)備由紅外攝像頭、視頻圖像傳感器、電生理信息采集器、信號(hào)處理器、警示信號(hào)產(chǎn)生器、控制汽車信號(hào)輸出部分等組成，如圖1所示框圖。
1、本“預(yù)警系統(tǒng)”設(shè)備的發(fā)明思路將檢測(cè)汽車司機(jī)駕駛有睡意時(shí)的面部狀態(tài)(瞳孔大小、眼瞼閉合頻率、眼瞼閉合時(shí)間、哈欠嘴形等)、心率、腦電的信息的硬件模塊與信號(hào)分析處理模塊、控制信號(hào)模塊、警示信號(hào)模塊構(gòu)成的設(shè)備系統(tǒng)稱為司機(jī)疲勞預(yù)警系統(tǒng)設(shè)備系統(tǒng)。只要有類似于本“預(yù)警系統(tǒng)”設(shè)計(jì)思路的設(shè)備或裝置，均沒有超出本發(fā)明的保護(hù)范圍。
2、本“預(yù)警系統(tǒng)”分析處理軟件發(fā)明實(shí)施例(1)面部狀態(tài)參數(shù)分析由紅外攝像頭攝像(亦可由普通攝像)，通過視頻圖像傳感器獲取的面部圖像數(shù)據(jù)信息，采用圖像處理技術(shù)提取有睡意的特征信息參數(shù)瞳孔大小，眼瞼閉合頻率、程度及時(shí)間，打哈欠頻率以及持續(xù)時(shí)間等。軟件編程框圖如圖2所示，利用圖像處理方法提取睡眠特征參數(shù)的流程。序列圖像特征處理睡眠特征參數(shù)提取。瞳孔大小，眼瞼閉合頻率、程度及時(shí)間，打哈欠頻率以及持續(xù)時(shí)間與正常時(shí)相比瞳孔變小，眼瞼閉合頻率增高、時(shí)間延長，打哈欠頻率增高以及持續(xù)了一段時(shí)間均作為發(fā)出睡眠警報(bào)的依據(jù)。
(2)電生理信息參數(shù)通過心電檢測(cè)模塊檢測(cè)有睡意時(shí)間的心電(與無睡意時(shí)的心電比較而得)，該有睡意時(shí)的心電應(yīng)有變化但其值因人而異。因此在駕駛員正常狀態(tài)駕駛時(shí)應(yīng)取得他的正常心電參數(shù)，隨后的心電參數(shù)均與它比較。軟件編程框圖如圖3所示。心電參數(shù)的獲取用常規(guī)心電圖信號(hào)提取方式或高頻心電圖信號(hào)提取方式。如圖6心電數(shù)據(jù)實(shí)時(shí)處理與分析的軟件流程(3)腦電信息參數(shù)通過腦電檢測(cè)模塊檢測(cè)腦電波數(shù)據(jù)李分析其頻率，當(dāng)有睡意時(shí)，腦電波出現(xiàn)θ波(4～8Hz)，編程框圖如圖5所示。
實(shí)時(shí)處理分析程序流程如圖7所示。圖7腦電數(shù)據(jù)實(shí)時(shí)處理與分析的軟件流程中，在這里，采取了二次采樣。因?yàn)橹恍枰?0Hz以下頻段的信號(hào)，而第一次以1000Hz采樣率進(jìn)行采樣，為了更好地恢復(fù)被采樣信號(hào)，又不產(chǎn)生過多冗余數(shù)據(jù)，故進(jìn)行低通濾波后再以100Hz進(jìn)行再抽樣。腦電參數(shù)的獲取用常規(guī)方式。
3、各參數(shù)有機(jī)結(jié)合，綜合鑒別以面部參數(shù)為主，有機(jī)結(jié)合電生理參數(shù)，敏感的綜合鑒別睡意有否。是本發(fā)明的主要內(nèi)容。
對(duì)剎車和燈光的控制采取的方法是自動(dòng)液壓油缸，根據(jù)剎車與后部剎車燈的連動(dòng)情況，亦能自動(dòng)控制后部燈光，車內(nèi)報(bào)警器為常用的光電聲音報(bào)警器。
生物圖像提取識(shí)別裝置檢測(cè)汽車司機(jī)駕駛時(shí)有睡意時(shí)，瞳孔變小、眼瞼閉合頻率增加、眼瞼閉合時(shí)間延長、哈欠嘴形變大時(shí)為主要判斷依據(jù)，再結(jié)合心率變慢、腦電出現(xiàn)慢波等生物信號(hào)綜合判斷司機(jī)進(jìn)入睡眠狀態(tài)。從而發(fā)出警報(bào)和控制汽車信號(hào)。上述判斷依據(jù)消除時(shí)解除上述信號(hào)。
生物圖像提取識(shí)別裝置一般是在與正常精神狀態(tài)時(shí)給定一生物圖像如瞳孔、眼瞼閉合頻率、眼瞼閉合時(shí)間、哈欠嘴形，當(dāng)監(jiān)測(cè)識(shí)別時(shí)，生物指標(biāo)比正常狀態(tài)的差別至一定范圍，如20％以上時(shí)發(fā)出信號(hào)。
權(quán)利要求
1.司機(jī)疲勞預(yù)警系統(tǒng)，其特征是包括用提取識(shí)別司機(jī)的疲勞的生物信號(hào)裝置和警報(bào)發(fā)出裝置構(gòu)成，生物信號(hào)提取識(shí)別司機(jī)的疲勞的裝置包括將紅外攝像提取的面部與睡眠有關(guān)信息及實(shí)時(shí)記錄的電生理信息有機(jī)結(jié)合，輸出融合成多參數(shù)控制信息以自動(dòng)控制后車燈、減速和剎車；生物信號(hào)提取識(shí)別裝置包括視頻圖像傳感器、電生理信息采集器、信號(hào)處理器，視頻圖像傳感器、電生理信息采集器、信號(hào)處理器經(jīng)微處理器輸出至警示信號(hào)產(chǎn)生器和控制汽車信號(hào)輸出。
2.如權(quán)利要求1所述的司機(jī)疲勞預(yù)警系統(tǒng)，其特征是警示信號(hào)產(chǎn)生器產(chǎn)生聲光警示信號(hào)，控制汽車信號(hào)輸出為后車紅燈亮信號(hào)和減速信號(hào)。
3.司機(jī)疲勞預(yù)警生物識(shí)別的方法，其特征是從生物圖像提取眼瞼信號(hào)閉合頻率和眼瞼閉合時(shí)間信號(hào)，并與正常狀態(tài)比較后判斷司機(jī)進(jìn)入睡眠狀態(tài)，從而發(fā)出警報(bào)和控制汽車信號(hào)。
4.如權(quán)利要求3所述的司機(jī)疲勞預(yù)警生物識(shí)別的方法，其特征是從生物圖像提取瞳孔信號(hào)，并與正常狀態(tài)比較后判斷司機(jī)進(jìn)入睡眠狀態(tài)，從而發(fā)出警報(bào)和控制汽車信號(hào)。
5.如權(quán)利要求3所述的司機(jī)疲勞預(yù)警生物識(shí)別的方法，其特征是從生物圖像提取哈欠嘴形變大時(shí)信號(hào)，并與正常狀態(tài)比較后判斷司機(jī)進(jìn)入睡眠狀態(tài)，從而發(fā)出警報(bào)和控制汽車信號(hào)。
6.如權(quán)利要求3或4所述的司機(jī)疲勞預(yù)警生物識(shí)別的方法，其特征是結(jié)合心率變慢、腦電出現(xiàn)慢波等生物信號(hào)，并與正常狀態(tài)比較后判斷司機(jī)進(jìn)入睡眠狀態(tài)，從而發(fā)出警報(bào)和控制汽車信號(hào)。
7.如權(quán)利要求3所述的司機(jī)疲勞預(yù)警生物識(shí)別的方法，其特征是生物圖像提取識(shí)別在與正常狀態(tài)比較后差別至20％以上時(shí)發(fā)出信號(hào)。
8.如權(quán)利要求3所述的司機(jī)疲勞預(yù)警生物識(shí)別的方法，其特征是睡眠狀態(tài)判斷依據(jù)消除時(shí)解除上述信號(hào)。
9.如權(quán)利要求3或4所述的司機(jī)疲勞預(yù)警生物識(shí)別的方法，其特征是眼瞼信號(hào)是眼臉閉合頻率和眼瞼閉合時(shí)間信號(hào)。
全文摘要
司機(jī)疲勞預(yù)警系統(tǒng)，包括用提取識(shí)別司機(jī)的疲勞的生物信號(hào)裝置和警報(bào)發(fā)出裝置構(gòu)成，生物信號(hào)提取識(shí)別司機(jī)的疲勞的裝置包括將紅外攝像提取的面部與睡眠有關(guān)信息及實(shí)時(shí)記錄的電生理信息有機(jī)結(jié)合，生物信號(hào)提取識(shí)別裝置包括視頻圖像傳感器、電生理信息采集器、信號(hào)處理器，視頻圖像傳感器、電生理信息采集器、信號(hào)處理器經(jīng)微處理器輸出至警示信號(hào)產(chǎn)生器和控制汽車信號(hào)輸出。生物識(shí)別的方法是當(dāng)從生物圖像提取瞳孔變小、眼瞼閉合頻率增加、眼瞼閉合時(shí)間延長、哈欠嘴形變大時(shí)為主要判斷依據(jù)，再結(jié)合心率變慢、腦電出現(xiàn)慢波等生物信號(hào)，并與正常狀態(tài)比較后判斷司機(jī)進(jìn)入睡眠狀態(tài)，從而發(fā)出警報(bào)和控制汽車信號(hào)。
文檔編號(hào)B60T7/12GK1613425SQ20041004199
公開日2005年5月11日 申請(qǐng)日期2004年9月15日 優(yōu)先權(quán)日2004年9月15日
發(fā)明者寧新寶, 陳穎, 馬小飛, 何愛軍 申請(qǐng)人:南京大學(xué)