專利名稱：用于監(jiān)視和管理司機(jī)注意力負(fù)荷的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及提高司機(jī)安全的系統(tǒng)和方法；尤其涉及補(bǔ)救睡意、注意力分散和類似的危險(xiǎn)狀態(tài)對(duì)司機(jī)的駕駛能力的影響。
背景技術(shù)：
所有類型車輛的司機(jī)通常都沒有意識(shí)到睡意和注意力分散對(duì)他們自己的車輛控制能力的影響。人們，尤其是司機(jī)，對(duì)他們自己行為能力的判斷通常是不夠的。通常，司機(jī)對(duì)他的或她的能力的的自我感覺要比實(shí)際上好得多。即使這個(gè)人基本上具有很好的駕駛技術(shù)，但是其在車輛的方向盤后面也并不始終保持不變。此外，在駕駛途中的很多時(shí)候，司機(jī)很少需要將精力放在執(zhí)行駕駛?cè)蝿?wù)上。因此，司機(jī)會(huì)有麻痹心理，在開車的時(shí)候僅投入了較少的注意力。很明顯地，司機(jī)疏忽是車輛相撞的主要原因，尤其是汽車相撞。根據(jù)國家公路和交通安全管理局(NHTSA)在一年的時(shí)間里對(duì)超過兩百五十萬件的車輛被拖走事故的調(diào)查，司機(jī)疏忽是發(fā)生碰撞的主要原因，估計(jì)占事故總數(shù)的百分之二十五到百分之五十六之間。在這些調(diào)查中，將疏忽定義為由三部分組成視覺注意力分散、思維注意力分散(看到了卻沒看見)和瞌睡。由疏忽造成的常見事故類型是追尾碰撞、道路交叉口碰撞、變道或并道碰撞、偏離道路、個(gè)別車輛的事故、在最低限速道路上發(fā)生的事故。
司機(jī)瞌睡是一個(gè)常見的現(xiàn)象。至少一項(xiàng)調(diào)查表示，百分之五十七的被調(diào)查司機(jī)表示在上年度開車時(shí)有過瞌睡的經(jīng)歷，百分之二十三的司機(jī)表示在駕駛過程中有過實(shí)際上睡著的經(jīng)歷。大家都知道疲勞會(huì)削弱司機(jī)的行為、警覺、和判斷能力。由瞌睡造成碰撞是一個(gè)嚴(yán)重的公路安全問題，并且據(jù)估計(jì)疲勞因素所造成的事故占到了所有事故的百分之二十三。
從技術(shù)的觀點(diǎn)來看，可在車輛內(nèi)使用的新信息系統(tǒng)和功能正在發(fā)展和快速增長(zhǎng)當(dāng)中，這種新信息系統(tǒng)和功能包括移動(dòng)電話、導(dǎo)航系統(tǒng)、因特網(wǎng)、及其它類型的電子服務(wù)。因?yàn)樗鼈兊膹V泛應(yīng)用，司機(jī)使用移動(dòng)電話的影響已經(jīng)首先為公眾所注目，但是導(dǎo)航系統(tǒng)和IT服務(wù)的銷售也在快速增長(zhǎng)。據(jù)估計(jì)，在美國，一年的時(shí)間內(nèi)，僅僅由于使用移動(dòng)電話造成的死亡事故就有300-1000起，這樣的死亡事故在2004年預(yù)計(jì)將達(dá)到4000起。注意力分散，比如使用手提式電話、讀標(biāo)記、吃東西、與其他乘客交談、觀察物體和操作車輛內(nèi)的裝置可能過多地分散司機(jī)的注意力，從而危害安全駕駛。駕駛安全性不會(huì)由于這些新型服務(wù)和活動(dòng)在駕駛環(huán)境中越來越常見而受到危害變得尤其重要。
由于這些新功能和技術(shù)的使用，增加了司機(jī)的勞動(dòng)負(fù)荷。在這方面，“勞動(dòng)負(fù)荷”應(yīng)該理解為一個(gè)人有多忙，和完成必需的任務(wù)所需要付出的工作量。當(dāng)司機(jī)有很多事情要做并且他正經(jīng)受高勞動(dòng)負(fù)荷的時(shí)候，司機(jī)在駕駛中需要高度集中注意力，因?yàn)橛泻芏嗍虑樾枰瑫r(shí)完成。司機(jī)通常會(huì)注意到與車輛的駕駛控制不相關(guān)的一些事情，并且因此在技術(shù)上不注意駕駛情況。這些事情通常被稱作次要任務(wù)并且可能干擾司機(jī)對(duì)主要的駕駛?cè)蝿?wù)的注意力。當(dāng)獲得司機(jī)的注意力達(dá)到一定程度而使得對(duì)駕駛的主要控制任務(wù)的注意力不足的時(shí)候，次要任務(wù)成為注意力分散的原因(包括視覺的、聽覺的、認(rèn)識(shí)的和生物力學(xué)上的注意力分散)。結(jié)果，例如保持車道和速度控制的駕駛行為受到危害，并最終危害駕駛安全。
如圖1所示，從一些次要任務(wù)是與駕駛相關(guān)的任務(wù)的意義上來講，駕駛?cè)蝿?wù)和次要任務(wù)是交錯(cuò)的。駕駛和次要任務(wù)之間的這個(gè)關(guān)系產(chǎn)生了兩件難事。首先，很難描述出哪些次要任務(wù)信息是“與駕駛情況不相干的”而哪些不是；其次，與次要任務(wù)相關(guān)的特定駕駛，例如，尋找路標(biāo)或計(jì)劃駕駛路線也可以危害安全，如圖1所示。
應(yīng)當(dāng)理解，司機(jī)經(jīng)常意識(shí)不到在駕駛?cè)蝿?wù)中注意力分散的后果。此外，司機(jī)也不可能準(zhǔn)確地確定他們何時(shí)會(huì)疲勞到警惕性嚴(yán)重下降或無法控制睡意的攻擊的程度。在此所概述的注意力管理系統(tǒng)是想要幫助處于瞌睡的、注意力分散的、與/或高度勞動(dòng)負(fù)荷的情況下的司機(jī)提高安全性。

發(fā)明內(nèi)容
在此公開的注意力管理系統(tǒng)的目的是通過幫助處于瞌睡的、注意力分散的、與/或高度勞動(dòng)負(fù)荷的情況下的司機(jī)提高安全性。為若干個(gè)注意力管理系統(tǒng)提供的功能說明的特征在于包括睡意管理、注意力分散管理、適應(yīng)于向前碰撞和變道警報(bào)系統(tǒng)的注意力分散調(diào)節(jié)的管理和勞動(dòng)負(fù)荷管理，其至少部分地根據(jù)從司機(jī)的可視行為觀察到或推斷出的駕駛需要評(píng)估來進(jìn)行控制。還說明了可以適當(dāng)?shù)厥褂糜布到y(tǒng)執(zhí)行這些司機(jī)注意力管理任務(wù)。還公開了根據(jù)人機(jī)交互(HMI)開發(fā)即時(shí)睡意和注意力分散管理的“平臺(tái)”，將其作為連續(xù)的和旅途后(post-trip)注意力反饋系統(tǒng)的說明。HMI方法的目的是通過提供危急的防撞警告和注意力反饋來使行為發(fā)生積極的變化，減少司機(jī)疏忽。


圖1是司機(jī)**和司機(jī)次要任務(wù)的互相關(guān)系的示意圖；圖2是一個(gè)流程圖，表示一個(gè)注意力管理系統(tǒng)的實(shí)施例，該系統(tǒng)包括硬件和用于感測(cè)、計(jì)算、HMI和提供電源的功能模塊；圖3是一個(gè)可以在其上面示范性地實(shí)現(xiàn)若干睡意管理對(duì)策的平臺(tái)的示意圖；圖4描述了一個(gè)向司機(jī)發(fā)出的可能顯示警告的示范性的圖標(biāo)；圖5描述了一個(gè)示范性的、交互的、司機(jī)反應(yīng)面板；圖6描述了一個(gè)司機(jī)改變凝視方向的示范性的實(shí)施例；圖7利用圖表示出了司機(jī)疏忽的組成部分的相互作用；
圖8(a)-(c)示出了多個(gè)“活動(dòng)的”圖形顯示，用于根據(jù)本發(fā)明的教導(dǎo)實(shí)時(shí)顯示司機(jī)信息；圖9示出了與最理想的注意力級(jí)別的指示對(duì)比的司機(jī)的實(shí)時(shí)反饋的示例；圖10提供了一個(gè)基于檢測(cè)到的增加的勞動(dòng)負(fù)荷/疏忽級(jí)別的示范性的格式化的說明的示例；圖11提供了一個(gè)同屏顯示旅途后反饋的示范性示出；圖12提供了一個(gè)平視或屏幕顯示的向前碰撞情況的警告；圖13提供了一個(gè)平視或屏幕顯示的關(guān)于變道碰撞情況的警告；圖14提供了一個(gè)根據(jù)本發(fā)明的系統(tǒng)和方法的示范性的流程圖，其中對(duì)司機(jī)生理特征進(jìn)行測(cè)量，例如頭部與/或眼睛運(yùn)動(dòng)。在另一個(gè)步驟，估算一個(gè)行為參數(shù)，比如司機(jī)注意力分散或注意力負(fù)荷的級(jí)別。在另一個(gè)步驟中，將關(guān)于此估算的反饋發(fā)給給司機(jī)。
具體實(shí)施例方式
在至少一個(gè)實(shí)施例中，本發(fā)明提供了一個(gè)系統(tǒng)和方法，所述的系統(tǒng)和方法能夠使得在車輛中實(shí)現(xiàn)注意力管理構(gòu)思，包括能夠?qū)崿F(xiàn)本發(fā)明的功能的示范性的硬件。在此，對(duì)若干基本問題和目的進(jìn)行闡明，包括哪些獲得的視覺支持是司機(jī)需要的，如何將它概念化以便能夠被接受；對(duì)司機(jī)的視覺行為的實(shí)時(shí)識(shí)別如何可以被用于減少駕駛錯(cuò)誤并且防止事故；實(shí)現(xiàn)的商業(yè)可能性如何。為示范性的睡意管理；注意力分散管理；適應(yīng)于向前碰撞的注意力分散和變道警報(bào)系統(tǒng)；和勞動(dòng)負(fù)荷管理提供如下功能描述。還包括用于實(shí)現(xiàn)根據(jù)視覺行為判斷駕駛需要的系統(tǒng)和方法。
一個(gè)或多個(gè)這些系統(tǒng)和方法分別地和一起描述為產(chǎn)生所謂的注意力管理系統(tǒng)。在此說明的這些系統(tǒng)的一個(gè)可能部分和若干發(fā)明的一部分，是可用于實(shí)現(xiàn)這些系統(tǒng)和方法的用于實(shí)證和試驗(yàn)的注意力支持演示。在此還說明了根據(jù)視覺行為判斷駕駛需要的例子。
在一個(gè)實(shí)施例中，注意力管理系統(tǒng)包括用于(1)感測(cè)、(2)計(jì)算、(3)HMI和(4)提供電源的硬件。單元或功能模塊可以示范性地設(shè)置(相互關(guān)連)為如圖2所示，并且適于在上述車輛如汽車和卡車中的實(shí)現(xiàn)。
使用了視覺行為傳感器，例如從SeeingMachines公司獲得的視覺行為傳感器，該視覺行為傳感器可以被安裝在車輛中。這種類型的系統(tǒng)可以包括(1)立體攝像頭、(2)個(gè)人電腦(PC)，和(3)適當(dāng)?shù)鸟{駛軟件。也可以可選地使用例如以商品名稱為SMARTEYE的而生產(chǎn)和銷售的視覺行為傳感器。
可以從CAN總線獲取車輛性能信號(hào)。還可以利用方向盤角度傳感器和車道跟蹤硬件和軟件。使用了注釋框和視頻記錄硬件。使用了車載個(gè)人電腦或具有同樣能力的計(jì)算裝置。另外，尤其是為了便于試驗(yàn)和實(shí)施，可以使用運(yùn)行諸如“Director”和“Simulink”的軟件的便攜式計(jì)算機(jī)。還可以安裝和使用xPC。從硬件的觀點(diǎn)來看，使用LED控制器硬件。通過計(jì)算裝置提供音頻HMI(警告聲音、記錄消息)。還可以使用觸摸屏用于用戶輸入。應(yīng)當(dāng)理解，這些實(shí)施例中的一些是適合于產(chǎn)品開發(fā)和便于系統(tǒng)測(cè)試的，但是當(dāng)商品化時(shí)，這些部分直接集成到車輛中。
可以包括座位振動(dòng)方案或類似的駕駛警報(bào)。在一個(gè)優(yōu)選實(shí)施例中，使用了LED HUD(平視顯示器)。還可以使用一個(gè)LED陣列(顯示器)，由LED控制器進(jìn)行控制?？梢栽谶\(yùn)載車輛上安裝用于整個(gè)系統(tǒng)的電源。
睡意管理可以以兩種結(jié)構(gòu)實(shí)現(xiàn)。在第一個(gè)例子中，它完全基于PC；也就是說不需要外部硬件或外部通信能力。這個(gè)實(shí)施例是基于具體情況的；也就是說根據(jù)實(shí)際PERCLOS(考慮到掃描模式、定影的數(shù)量和長(zhǎng)度、掃視延遲等等的分析)數(shù)據(jù)而不是實(shí)時(shí)跟蹤睡意事件。硬件功能通過這樣的如基于LED或HUD的可視顯示的刺激物或?qū)ι眢w的刺激例如座位振動(dòng)來刺激司機(jī)。在另一個(gè)實(shí)施例中，實(shí)現(xiàn)了HMI硬件和Simulink通信。
可在其上面實(shí)現(xiàn)幾個(gè)睡意管理對(duì)策和進(jìn)行試驗(yàn)的“平臺(tái)”是所需的。用于這種實(shí)現(xiàn)的示范性的平臺(tái)如圖3所示意性示出。
圖3所示可以被認(rèn)為是對(duì)控制程序的描述。這樣一個(gè)方案很容易針對(duì)不同HMI部分而改變；例如，提供(1)連續(xù)信息數(shù)據(jù)流給司機(jī)，提供(2)告誡的警告，(3)突出的危險(xiǎn)警告警報(bào)，(4)司機(jī)響應(yīng)測(cè)試，(5)旅途后總結(jié)信息，和(6)操作者輸入設(shè)置菜單。
在本發(fā)明的一個(gè)實(shí)施例中，為司機(jī)提供了一個(gè)告誡警告。司機(jī)能夠選擇警告版本，但是不能完全禁止警告。示范性的，在可選擇的聲音消息警告之后可以為司機(jī)播放一個(gè)蜂鳴聲，例如<睡意導(dǎo)致的自動(dòng)插入>，“休息一會(huì)兒”。可以另外地將一個(gè)圖標(biāo)顯示給司機(jī)，或者分別結(jié)合一個(gè)音響報(bào)警信號(hào)，或者和警告的打印版本一起顯示給司機(jī)。
示范性的圖標(biāo)警告如圖4(a)-(d)所示，如(a)急劇的眼睛閉合檢測(cè)，(b)不協(xié)調(diào)的駕駛檢測(cè)，(c)不一致的車道-保持檢測(cè)，和(d)司機(jī)睡意檢測(cè)。這些圖標(biāo)的一個(gè)或多個(gè)可以依據(jù)檢測(cè)的司機(jī)的狀態(tài)同時(shí)顯示。
在另一個(gè)實(shí)施例中，包括了一個(gè)麥克風(fēng)以便司機(jī)可以記錄或提供他或她自己的警告，就像電話應(yīng)答機(jī)及其它可定制的音頻重放裝置。
在另一個(gè)實(shí)施例中，應(yīng)用了對(duì)司機(jī)身體的刺激警告。優(yōu)選地，司機(jī)可以選擇在設(shè)置菜單中的警告類型，但是在至少一個(gè)實(shí)施例中，防止操作者完全禁止對(duì)其身體的警告。這種對(duì)身體的刺激的一個(gè)例子將是座位振動(dòng)。
在另一個(gè)版本中，一個(gè)閃爍的“HUD”LED可以用于明顯地刺激司機(jī)；再次，單獨(dú)或結(jié)合了在此所說明的其他類型的警告。在一個(gè)優(yōu)選實(shí)施例中，當(dāng)它被激活時(shí)，提供給司機(jī)實(shí)現(xiàn)同時(shí)顯示所描述的三種類型的警告的能力。
還提供了司機(jī)反應(yīng)功能；也就是說，對(duì)信號(hào)的反應(yīng)時(shí)間。針對(duì)這些功能而言，司機(jī)既能夠啟動(dòng)又能夠禁止以及選擇設(shè)置菜單中的警告版本。
在預(yù)先確定的時(shí)間量中，例如5到8秒后進(jìn)行警告，司機(jī)響應(yīng)功能起作用。示范性的，當(dāng)如圖5所示的顯示在觸摸屏上的按鈕下面的文字“按下”被按下時(shí)將有一個(gè)蜂鳴聲。如果司機(jī)不在規(guī)定的時(shí)間量?jī)?nèi)作出反應(yīng)，或根據(jù)其它的基于算法的反應(yīng)時(shí)間，那么將提出一個(gè)報(bào)警警告。持續(xù)這個(gè)狀態(tài)，直到司機(jī)停車、變得警覺并且系統(tǒng)檢測(cè)到這個(gè)改變、或司機(jī)關(guān)閉該功能。
為了將定制能力提供給操作者，可以通過以下示出的HMI部分選擇示范性的選項(xiàng)

在兩個(gè)實(shí)施例中示范性地實(shí)現(xiàn)了注意力分散管理。在第一個(gè)實(shí)施例中，注意力分散管理完全基于PC，而沒有外部硬件或通信能力。它是基于具體情況的；也就是說，以注意力分散事件的時(shí)間安排產(chǎn)生而不是實(shí)時(shí)產(chǎn)生。硬件功能是模擬的。第二個(gè)實(shí)施例是根據(jù)一個(gè)硬件實(shí)現(xiàn)的，該硬件包括實(shí)時(shí)通信的能力。
本發(fā)明的另一個(gè)方面是基于安全性閾值的注意力分散警告。提供的警告通知司機(jī)危害安全性的注意力分散的行為。根據(jù)對(duì)上文的理解，司機(jī)經(jīng)常意識(shí)不到在他們開車時(shí)，注意力分散對(duì)駕駛能力的影響。因此基于安全性的注意力分散警告的目標(biāo)是產(chǎn)生司機(jī)反饋，所述的反饋是關(guān)于減少駕駛控制任務(wù)行為的。也就是說，如果檢測(cè)到了注意力分散(例如掃視行為在適當(dāng)?shù)陌踩蚤撝抵虾?或在掃視行為期間車輛性能降低)，系統(tǒng)提供以下警報(bào)中的一個(gè)或多個(gè)?？梢蕴峁┲T如簡(jiǎn)單的蜂鳴聲的聲音或特定于性能的聲音消息，該特定于性能的聲音消息是關(guān)于已經(jīng)被檢測(cè)的性能減少的。例如，如果掃視行為超出掃視安全性閾值標(biāo)準(zhǔn)(例如EU建議4次掃視或2秒單獨(dú)的掃視持續(xù)時(shí)間，US AAA建議總共10秒持續(xù)時(shí)間的掃視)，那么可以發(fā)出“檢測(cè)到視覺注意力分散”或“眼睛離開道路太多”的消息。如果在次要任務(wù)掃視行為期間駕駛不正常，那么可以發(fā)出消息“在視覺注意力分散期間駕駛不協(xié)調(diào)”。如果在次要任務(wù)掃視行為期間車道保持不正常，可以提供例如“在視覺注意力分散期間車道保持不一致”的消息。如果在次要任務(wù)掃視行為期間檢測(cè)到急劇減速，那么可以發(fā)出例如“在視覺注意力分散期間急劇減速”的消息。如果檢測(cè)到多個(gè)原因，那么可以發(fā)出一個(gè)通用消息，例如“檢測(cè)到視覺注意力分散”。如果在次要任務(wù)掃視行為期間，在不同道路類型或不同需求級(jí)別期間檢測(cè)到控制任務(wù)干擾，那么發(fā)出一個(gè)相應(yīng)的警告。警告的形式可以包括司機(jī)記錄或提供的消息，在下文所說明的座位的前面部分的座位振動(dòng)或凝視重定向。
本發(fā)明的公開包括一個(gè)新概念“凝視重定向”的方案，如圖6所示。其中，如果檢測(cè)到司機(jī)注意力分散，則一個(gè)界面指示司機(jī)的眼睛向前看，觀察駕駛情景(例如；通過前擋風(fēng)玻璃)。示范性的，三個(gè)LED“線”(左、中或右)中的一個(gè)或多個(gè)之后的光線波動(dòng)將根據(jù)在何處檢測(cè)到司機(jī)的凝視而啟動(dòng)。光線波動(dòng)之后，可以選擇性地照亮一個(gè)較大的圓圈，然后LED的中線將被照亮；其目的是為了更清楚地將司機(jī)的注意力集中到需要的地方。幾個(gè)LED光線的準(zhǔn)確的位置和定時(shí)不是關(guān)鍵性的，顏色也不重要。實(shí)際上，定時(shí)可以低于限值；也就是說，快到不能有意識(shí)地察覺到它們。另外，適當(dāng)?shù)墓饩€可以首先慢慢地閃爍，用系統(tǒng)對(duì)司機(jī)的評(píng)估確定是否產(chǎn)生了正確的行為。否則，可以增加閃動(dòng)定時(shí)和光強(qiáng)度。
注意力分散反饋的設(shè)置菜單可以具有如下所示的示范性邏輯

在另一個(gè)方面中，本發(fā)明將來源于司機(jī)的視覺行為的駕駛需要評(píng)估與勞動(dòng)負(fù)荷管理的概念相結(jié)合。通常，“勞動(dòng)負(fù)荷管理”的概念是優(yōu)先化(prioritization)系統(tǒng)，對(duì)信息進(jìn)行分類，并且可能地延遲向司機(jī)顯示信息，直到他或她的勞動(dòng)負(fù)荷足夠地低，從而能夠避免與信息的接收相關(guān)的風(fēng)險(xiǎn)。集成的、車輛信息系統(tǒng)的界面可以用于保證給予駕駛?cè)蝿?wù)正確注意力。在此參考的注意力分散管理算法的輸出可以作為勞動(dòng)負(fù)荷管理的輸入使用。
在此公開的勞動(dòng)負(fù)荷管理的類型使用駕駛所需要的駕駛需要視覺活動(dòng)測(cè)量來精確地測(cè)量司機(jī)的勞動(dòng)負(fù)荷。這是對(duì)一個(gè)司機(jī)的“視覺活動(dòng)”如何的測(cè)量；也就是說，頭和眼睛運(yùn)動(dòng)(轉(zhuǎn)動(dòng))的變化。頭和眼睛運(yùn)動(dòng)的測(cè)量在美國臨時(shí)專利申請(qǐng)60/418,171中進(jìn)行了更加詳細(xì)的說明，該申請(qǐng)于2002年10月15日申請(qǐng)，在此特意結(jié)合其內(nèi)容作為參考，其包括了“視覺活動(dòng)”算法。此外，在此公開了駕駛需要視覺活動(dòng)測(cè)量能夠?qū)崿F(xiàn)勞動(dòng)負(fù)荷管理HMI中的新功能。
勞動(dòng)負(fù)荷管理的一個(gè)方面是暫停音響交談對(duì)話或信息。例如，這包括了系統(tǒng)初始化或自動(dòng)初始化信息(例如從文字到語言的電子郵件和非關(guān)鍵性導(dǎo)航系統(tǒng)信息)，以及隨機(jī)初始化談話對(duì)話(例如正在打入和打出的電話交談)可以在需要較多的視覺活動(dòng)期間被暫停。
作為一個(gè)例子，將一系列電子郵件發(fā)送給司機(jī)，例如來自存儲(chǔ)器的十封新的電子郵件正由文字-語音系統(tǒng)大聲地“讀”出。在這種音頻傳輸過程中，由管理系統(tǒng)檢測(cè)司機(jī)正處于需要較多的視覺活動(dòng)的時(shí)期。作為響應(yīng)，系統(tǒng)暫停了音頻傳輸，以避免分散司機(jī)的注意力，使其負(fù)荷超過預(yù)先選擇的級(jí)別；這種級(jí)別示范性地與對(duì)駕駛能力造成危害的注意力負(fù)荷相應(yīng)?？蛇x地，管理系統(tǒng)可以包括一個(gè)通過音調(diào)等給這種受到中斷的司機(jī)的音響指示，這也可以起到通知司機(jī)高度注意負(fù)荷情況的作用。音響傳輸可以根據(jù)司機(jī)開始或系統(tǒng)初始化而繼續(xù)進(jìn)行，所述的司機(jī)開始或系統(tǒng)初始化是基于系統(tǒng)已檢測(cè)到注意力負(fù)荷已足夠降低至示范性的預(yù)先選擇的水平，該示范性的預(yù)先選擇的水平與司機(jī)接收這種音響信息的安全狀況相應(yīng)。
在另一個(gè)特征中，通過所公開的管理系統(tǒng)來實(shí)現(xiàn)連續(xù)的與/或旅途后注意力負(fù)荷反饋。這個(gè)方面是基于基本的人的行為特征的，其通常稱為反饋原理；這種原理通常認(rèn)為反饋增強(qiáng)行為。這對(duì)任務(wù)/技術(shù)學(xué)習(xí)(例如學(xué)習(xí)安全駕駛)和工作動(dòng)力來說是正確的。根據(jù)對(duì)上文的理解，司機(jī)通常對(duì)他們自己的行為不能作出正確的判斷。關(guān)于任務(wù)/技術(shù)行為的直接、準(zhǔn)確、快速和連續(xù)信息的實(shí)現(xiàn)程度對(duì)提高司機(jī)行為和動(dòng)力來講是有效的關(guān)鍵要素。注意力反饋構(gòu)成本質(zhì)的駕駛反饋的形式，這種形式到現(xiàn)在為止對(duì)于司機(jī)還沒有實(shí)現(xiàn)。該方法是積極的行為適應(yīng)和生活方式變化的一種而不是危急的防撞警告。例如，一些研究員相信用于提高警覺性的主要機(jī)制是“判斷影響”。判斷影響的概念規(guī)定這種本質(zhì)的信息(司機(jī)注意力負(fù)荷和警覺狀態(tài))將影響司機(jī)對(duì)是否停下來休息、喝咖啡、減少酒精消費(fèi)或改變其它此類行為的判斷力。
注意力反饋的目的是因此通過多個(gè)時(shí)框中的一個(gè)或多個(gè)來鼓勵(lì)積極的行為變化，例如(1)即時(shí)(例如短期的補(bǔ)償行為，例如改變座姿或半途終止一個(gè)復(fù)雜的任務(wù))；(2)途中(例如停下來小睡一下，關(guān)掉移動(dòng)電話)；(3)日常(在注意力低下的一天之后睡上一覺，從前排座移開視頻屏幕)；(4)長(zhǎng)期(采用不同的睡覺方式或注意力分散姿勢(shì))。這個(gè)反饋增加了司機(jī)對(duì)疏忽的行為的自我意識(shí)并且實(shí)現(xiàn)了更好的自我管理。
考慮了兩個(gè)主反饋類型。首先是連續(xù)的車載反饋，它將實(shí)時(shí)注意力行為信息提供給了司機(jī)，這些信息可以是例如載開車時(shí)的給出的信息。這個(gè)信息以不會(huì)危害安全性的方式傳送。該方案提供了一種注意力測(cè)量計(jì)、警覺度測(cè)量計(jì)(警覺度-o-測(cè)量計(jì))、或安全/不安全駕駛行為測(cè)量計(jì)。第二反饋類型是旅途后反饋，當(dāng)停止駕駛時(shí)，將更詳細(xì)的注意力行為信息提供給司機(jī)。
把旅途后反饋保存為“文檔”還允許基于車隊(duì)的安全性反饋，以集中在與測(cè)量結(jié)果相反的源行為上，例如車禍?zhǔn)录Ｒ苍S有助于司機(jī)接受的一個(gè)選項(xiàng)是提供分層系統(tǒng)。在這種分層系統(tǒng)中，司機(jī)可以連續(xù)訪問數(shù)據(jù)，車隊(duì)管理人員可以訪問匯總的數(shù)據(jù)，可以允許監(jiān)制機(jī)構(gòu)訪問匯總數(shù)據(jù)。因此，在車隊(duì)司機(jī)的實(shí)例種，可以更好地把本發(fā)明作為有用的工具加以利用，不必使司機(jī)一定要理解使用者報(bào)告的特征。
為了能夠產(chǎn)生注意力反饋，必須使管理系統(tǒng)能夠運(yùn)轉(zhuǎn)。疏忽可以被看作由睡意/精神不佳、注意力分散和高度工作負(fù)荷因素組成。因此，如圖7所示，優(yōu)選一個(gè)組合模型，該組合模型考慮了每種類型的疏忽。其中根據(jù)本發(fā)明所配置的一個(gè)系統(tǒng)模型示出為可以有選擇地考慮司機(jī)疏忽、勞動(dòng)負(fù)荷和個(gè)人特征例如睡意和注意力分散。
在本發(fā)明的另一個(gè)方面中，提供了顯示多個(gè)信息或反饋給司機(jī)的唯一方法。在連續(xù)的注意力反饋的實(shí)例中，圖8(a)-(c)表示多種“活動(dòng)的”圖形顯示，用于顯示由管理系統(tǒng)檢測(cè)到或產(chǎn)生的實(shí)時(shí)的司機(jī)信息。作為一個(gè)例子，該顯示可以是“一般的”或綜合的注意力反饋量，例如注意/疏忽的級(jí)別，其是睡意、注意力分散和勞動(dòng)負(fù)荷的綜合測(cè)量。在圖8(a)的實(shí)例中，示出了沒有利用傾向信息的光線的簡(jiǎn)單的層疊。在圖8(b)的實(shí)例中，采用了″飛機(jī)雷達(dá)類型″的顯示，其中，一個(gè)方框被放置成圍繞當(dāng)前的級(jí)別且使傾向信息為“逐漸變暗”的形式。圖8(c)表示一個(gè)直方圖，其中，即時(shí)的“實(shí)時(shí)”信息由右邊的可延伸/回縮的條形圖(比較寬的)表示，預(yù)先選擇的持續(xù)時(shí)間周期內(nèi)的總統(tǒng)計(jì)數(shù)值(平均值、中間值等等)由左邊更加狹窄的條形圖表示。用這樣的方式表示傾向信息。在圖8(c)的示范性例子中，顯示了5個(gè)以前的周期。應(yīng)該理解，可以根據(jù)對(duì)顯示和存儲(chǔ)量的控制邏輯來顯示任何以前的周期。
在另一個(gè)方面中，本發(fā)明還提供了與最理想的注意力級(jí)別的指示對(duì)比的司機(jī)的實(shí)時(shí)反饋的示例；這種顯示的示范性的實(shí)施例如圖9所示，在此司機(jī)可以觀察他或她的相對(duì)于最佳注意力的注意力分散程度或超負(fù)荷。
在另一個(gè)方面中，本發(fā)明可以利用所提供的狀態(tài)通知來測(cè)量所檢測(cè)到的司機(jī)疏忽周期。然后司機(jī)可以“詢問”(例如通過觸摸屏幕)出現(xiàn)什么問題以及接收對(duì)檢測(cè)到的增加的勞動(dòng)負(fù)荷/疏忽級(jí)別的說明。這種反饋可以示范性地以口頭消息與/或如圖10所示的圖解的形式而提供。其中，睡意、注意力分散和勞動(dòng)負(fù)荷的三個(gè)圖形表示位于右邊，在左邊示出了相對(duì)的司機(jī)注意力的綜合效果。
如上所述，途中-報(bào)告的方面對(duì)于司機(jī)的訓(xùn)練和行為改正非常有利。因此，本發(fā)明公開的方法提供了同屏旅途后反饋，并且示范性地在圖11中示出。在這個(gè)示出的例子中，從顯示屏中選擇一個(gè)菜單選擇，用于旅途后反饋，并且以歷史格式顯示這種測(cè)量特征的相關(guān)顯示，如眼睛閉合、駕駛一致性等等的百分比。當(dāng)然可以記錄相同的信息，以便用于后來的分析和使用。
上述討論到的司機(jī)能力還可以用于其它車輛系統(tǒng)的注意力分散調(diào)節(jié)，例如前部-碰撞、后部-碰撞和變道碰撞警告(FCW、RCW和LCW)系統(tǒng)。追尾碰撞占汽車事故的百分之二十八左右。由于在超過這些碰撞的百分之六十中司機(jī)疏忽是一個(gè)主要的因素，因此碰撞警告和防撞系統(tǒng)是減少事故和挽救生命是重要的工具。本注意力管理系統(tǒng)的一個(gè)目標(biāo)是檢測(cè)疏忽和交通環(huán)境中的安全性關(guān)鍵事件是否同時(shí)出現(xiàn)；例如，前方車輛的突然剎車和司機(jī)注意力偏移道路的情況。有兩個(gè)這樣的例子可以作為視覺行為信息，以便適應(yīng)向前碰撞-和變道警告。
根據(jù)司機(jī)是否在操作可能分散注意的裝置或進(jìn)行其它類型的任務(wù)，通過動(dòng)態(tài)地調(diào)整防撞警告閾值，量化的次要任務(wù)的檢測(cè)集成(例如通過檢測(cè)按鈕按下或眼睛運(yùn)動(dòng))大大增強(qiáng)了碰撞警告系統(tǒng)。例如，如果檢測(cè)到司機(jī)正在進(jìn)行移動(dòng)電話交談，則碰撞警告系統(tǒng)可以及早產(chǎn)生警告。相比于晚到的警告或根本沒有警告，早期的碰撞警告可以幫助司機(jī)更快的作出反應(yīng)，并且更能避免碰撞。如果司機(jī)由于駕駛?cè)蝿?wù)的某個(gè)方面而疏忽，例如當(dāng)檢測(cè)到可能發(fā)生向前碰撞的時(shí)候，將目光從向前轉(zhuǎn)移到別的方向，或當(dāng)檢測(cè)到可能發(fā)生變道碰撞的時(shí)候，沒有向旁看，則較早地啟動(dòng)對(duì)這種情況的告警。研究表明，當(dāng)司機(jī)把目光轉(zhuǎn)向別處的時(shí)候，即使早一秒的警告，對(duì)防止碰撞也是卓有成效的。
如果檢測(cè)到司機(jī)注意力集中，則可以延遲警告甚至取消警告。提示警告中的延遲允許利用更多時(shí)間來進(jìn)行向前碰撞和變道警告算法，以便更確定地?cái)喽ㄊ欠裥枰?，從而減少錯(cuò)誤的警告。更進(jìn)一步，當(dāng)注視道路或側(cè)鏡的時(shí)候，司機(jī)選擇不發(fā)出碰撞警告的司機(jī)取消還將清除令人討厭的錯(cuò)誤警告。
作為一個(gè)實(shí)現(xiàn)策略，在第一階段，這種警告可以是“溫和的”，但是當(dāng)狀態(tài)惡化和事故更加臨近的時(shí)候則要增加強(qiáng)度。在向前碰撞警告的實(shí)例中，首先提出平視或屏幕顯示警告，稍后產(chǎn)生音響報(bào)警信號(hào)，表示事故狀態(tài)增強(qiáng)。這種警告的一個(gè)例子和它的控制參數(shù)(可以或不可以顯示給司機(jī))如關(guān)于向前碰撞情況的圖12和關(guān)于變道碰撞情況的圖13所示。
在上文說明的關(guān)于司機(jī)特性的檢測(cè)特征可以在其它環(huán)境中使用并且用于沒有明確描述的其它目的。檢測(cè)特征還可以被合并為應(yīng)用于其它車載系統(tǒng)中。例如，可以使用作為被動(dòng)安全設(shè)施特征的“智能”氣囊，其檢測(cè)司機(jī)的/乘客的頭部何時(shí)不在正確的位置上，以便接受所安裝的氣囊。相應(yīng)地，可以改變氣囊的安裝，以便適應(yīng)感測(cè)到的頭所在的位置。
在另一種設(shè)置中，感測(cè)到的行為可用于鑒定司機(jī)，或至少排除在方向盤后面的是經(jīng)授權(quán)的司機(jī)，從而便于預(yù)防盜竊。頭部和眼睛傳感器還可以用于自動(dòng)地設(shè)定反光鏡、座位位置等等?？陬^跟蹤可用于增強(qiáng)語音識(shí)別附件。可以采用能對(duì)迎面而來的車的燈光進(jìn)行過濾的濾光器，可以根據(jù)眼睛位置和移動(dòng)將其顯示給司機(jī)。
權(quán)利要求
1.一種用于監(jiān)視司機(jī)的生理行為的方法，包括測(cè)量司機(jī)的生理變化；根據(jù)至少所述的測(cè)量到的生理變化來估算司機(jī)的行為參數(shù)；以及通知司機(jī)所估算的司機(jī)的行為參數(shù)。
2.如權(quán)利要求1所述的用于監(jiān)視司機(jī)的生理行為的方法，其中所述的測(cè)量生理變化的步驟還包括從如下組成的組中選擇出來的至少一個(gè)步驟測(cè)量司機(jī)的眼睛運(yùn)動(dòng)；測(cè)量司機(jī)的凝視方向；測(cè)量司機(jī)的眼睛閉合量；測(cè)量司機(jī)的眨眼運(yùn)動(dòng)；測(cè)量司機(jī)的頭部移動(dòng)；測(cè)量司機(jī)的頭部位置；測(cè)量司機(jī)的頭部方向；測(cè)量司機(jī)的活動(dòng)的面部特征；以及測(cè)量司機(jī)的面部溫度圖形。
3.如權(quán)利要求2所述的用于監(jiān)視司機(jī)的生理行為的方法，其中所述的測(cè)量生理變化的步驟還包括從由如下組成的組中選擇出來的至少一個(gè)步驟測(cè)量方向盤上的握力；以及測(cè)量駕駛桿的移動(dòng)。
4.如權(quán)利要求1所述的用于監(jiān)視司機(jī)的生理行為的方法，其中所述的估算司機(jī)的行為參數(shù)的步驟包括一個(gè)或多個(gè)從由如下組成的組中選擇出來的步驟估算表示在一個(gè)預(yù)先確定的時(shí)段內(nèi)司機(jī)的眼睛閉合情況的時(shí)間權(quán)重參數(shù)；估算表示在一個(gè)預(yù)先確定的時(shí)段內(nèi)司機(jī)的凝視偏移道路的情況的時(shí)間權(quán)重參數(shù)；估算表示在一個(gè)預(yù)先確定的時(shí)段內(nèi)司機(jī)的眨眼運(yùn)動(dòng)情況的時(shí)間權(quán)重參數(shù)；估算表示在一個(gè)預(yù)先確定的時(shí)段內(nèi)司機(jī)的眼睛閉合情況的時(shí)間權(quán)重參數(shù)；估算表示在一個(gè)預(yù)先確定的時(shí)段內(nèi)司機(jī)的頭部位置的時(shí)間權(quán)重參數(shù)；以及估算表示在一個(gè)預(yù)先確定的時(shí)段內(nèi)司機(jī)的頭部移動(dòng)的時(shí)間權(quán)重參數(shù)。
5.如權(quán)利要求1所述的用于監(jiān)視司機(jī)的生理行為的方法，其中所述的通知司機(jī)的步驟包括至少一個(gè)從由提供實(shí)時(shí)反饋給司機(jī)和提供旅途后反饋給司機(jī)所組成的組中選擇出來的步驟。
6.如權(quán)利要求1所述的用于監(jiān)視司機(jī)的生理行為的方法，其中所述的通知司機(jī)的步驟包括一個(gè)提供在給出的時(shí)間周期內(nèi)的參數(shù)的直方圖的步驟。
7.如權(quán)利要求1所述的用于監(jiān)視司機(jī)的生理行為的方法，其中所述的通知司機(jī)的步驟包括一個(gè)提供參數(shù)和至少一個(gè)標(biāo)準(zhǔn)值之間的成比例比較的步驟。
8.如權(quán)利要求1所述的用于監(jiān)視司機(jī)的生理行為的方法，還包括一個(gè)向司機(jī)提供關(guān)于應(yīng)該如何改變司機(jī)的姿勢(shì)的反饋消息的步驟，所述的消息取決于所述的參數(shù)。
9.如權(quán)利要求1所述的用于監(jiān)視司機(jī)的生理行為的方法，還包括判斷所述的參數(shù)是否下降和當(dāng)估算的行為參數(shù)下降時(shí)通知司機(jī)的步驟。
10.如權(quán)利要求1所述的用于監(jiān)視司機(jī)的生理行為的方法，還包括判斷所述參數(shù)是否超出了安全范圍和當(dāng)估算的行為參數(shù)超出安全范圍時(shí)通知司機(jī)的步驟。
11.如權(quán)利要求10所述的用于監(jiān)視司機(jī)的生理行為的方法，還包括估算由位于車輛上的車輛狀態(tài)檢測(cè)裝置所提供的車輛狀態(tài)數(shù)據(jù)的步驟，估算位于車輛上的環(huán)境檢測(cè)裝置所提供的環(huán)境數(shù)據(jù)的步驟，和根據(jù)車輛狀態(tài)數(shù)據(jù)和環(huán)境數(shù)據(jù)中的至少一個(gè)確定安全范圍的步驟。
12.如權(quán)利要求11所述的用于監(jiān)視司機(jī)的生理行為的方法，其中所述的車輛狀態(tài)檢測(cè)裝置包括從由如下組成的組中選擇出來的檢測(cè)裝置駕駛桿檢測(cè)裝置；車輛速度檢測(cè)裝置；變速器檢測(cè)裝置；制動(dòng)器檢測(cè)裝置；風(fēng)門踏板檢測(cè)裝置；離合器檢測(cè)裝置；和車輪轉(zhuǎn)速檢測(cè)裝置。
13.如權(quán)利要求11所述的用于監(jiān)視司機(jī)的生理行為的方法，其中所述的環(huán)境檢測(cè)裝置包括從由如下裝置組成的組中選擇出來的檢測(cè)裝置亮度檢測(cè)裝置；道路狀態(tài)檢測(cè)裝置；車輛位置檢查裝置；靠近度檢測(cè)裝置和車道位置檢測(cè)裝置。
14.如權(quán)利要求1所述的用于監(jiān)視司機(jī)的生理行為的方法，其中所述通知司機(jī)的步驟包括通過人機(jī)界面輸出信息數(shù)據(jù)的步驟。
15.如權(quán)利要求14所述的用于監(jiān)視司機(jī)的生理行為的方法，其中所述的輸出信息數(shù)據(jù)的步驟包括至少一個(gè)從由如下組成的組中選擇的步驟在屏幕顯示器上輸出可視信息數(shù)據(jù)；在平視顯示器上輸出可視信息數(shù)據(jù)；和在聲音輸出上輸出話語信息。
全文摘要
公開了一種用于監(jiān)視司機(jī)的生理行為的系統(tǒng)和方法，其包括測(cè)量司機(jī)的生理變化，根據(jù)至少所述測(cè)量到的生理變化(1、4)來確定司機(jī)的行為參數(shù)，并且通知司機(jī)(2、3)所確定的司機(jī)行為參數(shù)(1、4)。生理變化(1、4)的測(cè)量可以包括測(cè)量司機(jī)的眼睛運(yùn)動(dòng)，測(cè)量司機(jī)的凝視方向，測(cè)量司機(jī)的眼睛閉合量，測(cè)量司機(jī)的眨眼運(yùn)動(dòng)，測(cè)量司機(jī)的頭部運(yùn)動(dòng)，測(cè)量司機(jī)的頭部位置，測(cè)量司機(jī)的頭部方向，測(cè)量司機(jī)的活動(dòng)的面部特征，以及測(cè)量司機(jī)的面部溫度圖形。
文檔編號(hào)A61B3/113GK1627915SQ03803168
公開日2005年6月15日 申請(qǐng)日期2003年2月19日 優(yōu)先權(quán)日2002年2月19日
發(fā)明者特倫特·維克托 申請(qǐng)人:沃爾沃技術(shù)公司