本公開涉及用于確定駕駛者的睡意的裝置和方法，并且更具體地，涉及獲得駕駛者的圖像并基于駕駛者的圖像來確定駕駛者的睡意的裝置和方法。

背景技術(shù)：

目前，車輛運輸方法包括使人們能夠自由行駛的兩輪摩托車、火車、船舶、飛機等。然而，在車輛行駛時，可能發(fā)生由于睡意駕駛而導(dǎo)致的嚴(yán)重損傷和財產(chǎn)損害。因此，已經(jīng)研究了用于防止駕駛者的睡意的各種方法。

特別地，當(dāng)駕駛者的連續(xù)眼瞼閉合時間大于第一閾值(dth)時，進入早期警告模式，并且保持早期警告直到駕駛者的連續(xù)眼瞼閉合時間小于1dth(其小于第一閾值(dth))為止，以警告駕駛者睡意駕駛。然而，當(dāng)基于連續(xù)眼瞼閉合時間的閾值輸出關(guān)于睡意駕駛的警告時，閾值被設(shè)定得高以防止誤檢測。因此，發(fā)生未檢測到睡意駕駛和警告延遲。

此外，當(dāng)獲得駕駛者的眼睛圖像時，未觀察到的眼睛的瞳孔被確定為閉眼。因此，當(dāng)檢測到閉眼持續(xù)一定閾值時間段時，確定駕駛者處于睡意狀態(tài)。然而，由于環(huán)境光的干擾、玻璃的反射等，從通過拍攝駕駛者而獲得的紅外圖像中獲得瞳孔圖像可能是困難的，并且基于連續(xù)眼瞼閉合時間來確定睡意可能是困難的。

在本部分中公開的以上信息僅用于增強對本發(fā)明的背景的理解，并且因此其可以包含不形成在本國對于本領(lǐng)域的普通技術(shù)人員而言已知的現(xiàn)有技術(shù)的信息。

技術(shù)實現(xiàn)要素：

本公開提供了用于在最小時間間隔內(nèi)在車輛行駛的狀態(tài)下確定駕駛者的睡意的裝置和方法。此外，本公開的方面提供了用于確定駕駛者的睡意的裝置和方法，其能夠減少由集儀表群音頻視頻導(dǎo)航(avn)操作引起的睡意駕駛的誤識別。

根據(jù)本公開的示例性實施例，一種用于確定駕駛者的睡意的裝置可以包括：成像設(shè)備，被配置為獲得駕駛者的圖像(例如，面部或其它識別特征)；和控制器，被配置為：從駕駛者的圖像確定駕駛者是否處于疲勞狀態(tài)、駕駛者是否處于眼瞼閉合狀態(tài)以及駕駛者是否處于覺醒狀態(tài)，并且被配置為：當(dāng)在駕駛者的疲勞狀態(tài)持續(xù)經(jīng)過預(yù)定的第一時間間隔之后，在預(yù)定的第二時間間隔內(nèi)交替且重復(fù)地發(fā)生駕駛者的眼瞼閉合狀態(tài)和覺醒狀態(tài)時，確定駕駛者處于睡意狀態(tài)。所述控制器可以被配置為：基于以下中的至少一個來確定駕駛者是否處于疲勞狀態(tài)：在預(yù)定的第三時間間隔期間駕駛者的眼瞼閉合的百分比是否超過預(yù)設(shè)百分比；和在預(yù)定的第四時間間隔內(nèi)駕駛者的面部運動是否在預(yù)定的范圍內(nèi)。

該裝置可以還包括：車輛行駛狀態(tài)獲得器，被配置為：確定由駕駛者駕駛的車輛的行駛狀態(tài)，其中，所述控制器可以被配置為：根據(jù)車輛的行駛狀態(tài)，基于以下中的至少一個來確定駕駛者是否處于疲勞狀態(tài)：車輛是否偏離行駛車道；和車輛是否以z字形方向行駛。所述控制器可以被配置為：基于以下中的至少一個來確定駕駛者是否處于覺醒狀態(tài)：在預(yù)定的第五時間間隔內(nèi)，是否發(fā)生駕駛者的眨眼；和駕駛者的面部運動超過預(yù)設(shè)程度。

根據(jù)本公開的另一示例性實施例，一種用于確定駕駛者的睡意的方法可以包括以下步驟：由成像設(shè)備獲得駕駛者的圖像；由控制器從該圖像確定駕駛者是否處于疲勞狀態(tài)、駕駛者是否處于眼瞼閉合狀態(tài)以及駕駛者是否處于覺醒狀態(tài)；以及當(dāng)在駕駛者的疲勞狀態(tài)持續(xù)經(jīng)過預(yù)定的第一時間間隔之后，在預(yù)定的第二時間間隔內(nèi)交替且重復(fù)地發(fā)生駕駛者的眼瞼閉合狀態(tài)和覺醒狀態(tài)時，由所述控制器確定駕駛者處于睡意狀態(tài)?；谝韵轮械闹辽僖粋€來確定駕駛者是否處于疲勞狀態(tài)：駕駛者的眼瞼閉合時間是否超過預(yù)定的第三時間間隔；和在預(yù)定的第四時間間隔期間，駕駛者的面部運動在預(yù)定范圍內(nèi)。

該方法可以還包括以下步驟：檢測駕駛者駕駛的車輛的行駛狀態(tài)，其中，可以根據(jù)車輛的行駛狀態(tài)，基于以下中的至少一個來確定駕駛者是否處于疲勞狀態(tài)：車輛偏離行駛車道；和車輛以z字形方向行駛?？梢曰谝韵轮械闹辽僖粋€來確定駕駛者是否處于覺醒狀態(tài)：在預(yù)定的第五時間間隔內(nèi)，是否發(fā)生駕駛者的眨眼；和駕駛者的面部運動是否超過預(yù)設(shè)程度。

附圖說明

從以下結(jié)合附圖的詳細描述，本公開的以上和其它目的、特征和優(yōu)點將更加明顯。

圖1是根據(jù)本公開的示例性實施例的確定駕駛者的睡意的裝置的示例性框圖；

圖2是示出根據(jù)本公開的示例性實施例的用于確定駕駛者何時處于疲勞狀態(tài)的駕駛者的面部運動的示例性曲線圖；

圖3是示出根據(jù)本公開的示例性實施例的用于確定駕駛者的睡意的圖案的示例性圖；

圖4是示出根據(jù)本公開的示例性實施例的用于確定駕駛者的睡意的方法的示例性流程圖；以及

圖5是示出根據(jù)本公開的示例性實施例的執(zhí)行用于確定駕駛者的睡意的方法的計算系統(tǒng)的示例性框圖。

附圖中每個元件的符號

100：成像設(shè)備

200：車輛行駛狀態(tài)獲得器

300：控制器

1000：計算系統(tǒng)

1100：處理器

1200：系統(tǒng)總線

1300：存儲器

1310：rom

1320：ram

1400：用戶接口輸入設(shè)備

1500：用戶接口輸出設(shè)備

1600：存儲

1700：網(wǎng)絡(luò)接口

具體實施方式

在下文中，將參照說明性附圖詳細描述本公開的一些示例性實施例。應(yīng)當(dāng)注意，在給每個附圖的部件賦予參考標(biāo)記中，相同的部件將由相同的參考標(biāo)記表示，即使它們在不同的附圖中示出。此外，在描述本公開的示例性實施例中，在其中它們可以不必要地模糊本公開的示例性實施例的理解的情況下，將不詳細描述公知的結(jié)構(gòu)或功能。

在描述本公開的示例性實施例的部件中，可以使用諸如第一、第二、a、b、(a)、(b)等的術(shù)語。這些術(shù)語僅用于區(qū)分部件與其它部件。因此，對應(yīng)部件的性質(zhì)、次序、順序等不受這些術(shù)語的限制。此外，除非另有定義，否則應(yīng)當(dāng)理解，在包括技術(shù)和科學(xué)術(shù)語的說明書中使用的所有術(shù)語具有與由本公開所屬領(lǐng)域的技術(shù)人員所理解的那些相同的含義。應(yīng)該理解，由字典定義的術(shù)語與相關(guān)技術(shù)的上下文中的含義相同，并且除非在本申請中另有明確定義，否則它們不應(yīng)理想地或過度正式地解釋。

此外，在包含由處理器、控制器/控制單元等執(zhí)行的可執(zhí)行程序指令的計算機可讀介質(zhì)上，本發(fā)明的控制邏輯可以被實施為非臨時性計算機可讀介質(zhì)。計算機可讀介質(zhì)的示例包括但不限于rom、ram、光盤(cd)-rom、磁帶、軟盤、閃存、智能卡和光學(xué)數(shù)據(jù)存儲裝置。計算機可讀記錄介質(zhì)也可以分布在網(wǎng)絡(luò)聯(lián)接的計算機系統(tǒng)中，以便計算機可讀介質(zhì)以分布方式例如被遠程信息服務(wù)器或控制器局域網(wǎng)絡(luò)(can)來存儲和執(zhí)行。

除非上下文具體陳述或顯而易見的，否則如本文所用，術(shù)語“大約”理解為在本領(lǐng)域中正常公差的范圍內(nèi)，例如在平均值的2個標(biāo)準(zhǔn)差內(nèi)?！按蠹s”可以理解為在陳述值的10％、9％、8％、7％、6％、5％、4％、3％、2％、1％、0.5％、0.1％、0.05％或0.01％內(nèi)。除非上下文另外明確，否則本文所提供的所有數(shù)值都由術(shù)語“大約”修改。

應(yīng)該理解，術(shù)語“車輛”或“車輛的”或如本文所用的其它類似術(shù)語一般包括機動車輛，諸如包括運動型多用途汽車(suv)的乘用車、公共汽車、卡車、各種商業(yè)車輛、包括各種船只和船舶的水運工具、飛行器等，并且包括混合動力車輛、電動車輛、燃燒、插入式混合動力電動車輛、氫動力車輛，以及其它代用燃料車輛(例如，得自除石油之外的資源的燃料)。

圖1是根據(jù)本公開的示例性實施例的用于確定駕駛者的睡意的裝置的示例性框圖。圖2是示出根據(jù)本公開的示例性實施例的用于確定駕駛者何時處于疲勞狀態(tài)的駕駛者的面部運動的示例性曲線圖。圖3是示出根據(jù)本公開的示例性實施例的用于確定駕駛者的睡意的圖案(pattern)的示例性圖。

首先，參考圖1，用于確定駕駛者的睡意的裝置可以包括成像設(shè)備100(例如，照相機、攝像機等)、車輛行駛狀態(tài)獲得器200和控制器300?？刂破骺梢员慌渲脼椴僮鞒上裨O(shè)備100和行駛狀態(tài)獲得器200。然而，圖1中所示的部件不是必要部件。因此，用于確定駕駛者的睡意的部件多于或少于圖1所示的部件的裝置也可以實現(xiàn)。成像設(shè)備100可以被配置為獲得駕駛者的圖像(例如，面部識別)。成像設(shè)備100可以是被配置為拍攝車輛內(nèi)駕駛者的面部(或其一部分)的照相機，并且還可以是被配置為從照相機獲得圖像的圖像接收器。此外，車輛行駛狀態(tài)獲得器200可以被配置為獲得駕駛者駕駛的車輛的行駛狀態(tài)。車輛行駛狀態(tài)獲得器200可以獲得包括但不限于以下的信息：車輛的行駛方向、車輛的行駛速度、車輛與前方車輛之間的距離、車輛是否偏離行駛車道(例如，車輛違反道路的車道)等。

此外，控制器300可以被配置為確定駕駛者的睡意狀態(tài)，可以基于由成像設(shè)備100獲得的駕駛者的圖像和由車輛行駛狀態(tài)獲得器200獲得的車輛的行駛狀態(tài)來確定駕駛者是否處于疲勞狀態(tài)、駕駛者是否處于眼瞼閉合狀態(tài)以及駕駛者是否處于覺醒狀態(tài)。因此，控制器可以被配置為基于駕駛者是否處于疲勞狀態(tài)、駕駛者是否處于眼瞼閉合狀態(tài)以及駕駛者是否處于覺醒狀態(tài)來確定駕駛者是否處于睡意狀態(tài)。

為了確定駕駛者是否處于疲勞狀態(tài)，控制器300可以考慮駕駛者在預(yù)定時間期間的眼睛閉合的百分比(perclos)是否超過一定百分比、在預(yù)定時間內(nèi)的駕駛者的面部運動是否處于預(yù)定范圍內(nèi)、車輛是否行駛在行駛車道內(nèi)、車輛是否以z字形圖案行駛等。例如，當(dāng)一定百分比被設(shè)定為約10％，并且在60秒期間駕駛者的眼睛閉合的時間例如為約6秒以上時，控制器300可以被配置為確定駕駛者處于疲勞狀態(tài)。

另外，參考圖2，駕駛者的面部運動保持在約1秒以上到約5秒的范圍內(nèi)的區(qū)間不存在多達約2秒。然而，在從約2秒到約3秒的區(qū)間，駕駛者的面部運動可以保持在約1秒以上到約5秒的范圍內(nèi)。特別地，當(dāng)駕駛者的面部運動相對于一定時間間隔最小時，控制器300可以被配置為確定駕駛者處于疲勞狀態(tài)。此外，根據(jù)車輛的行駛狀態(tài)，當(dāng)車輛行駛連續(xù)地改變車道或偏離行駛車道(例如，沒有保持在行駛車道內(nèi))時，或者當(dāng)車輛以z字形圖案行駛時，控制器300可以被配置為確定駕駛者處于疲勞狀態(tài)。由控制器300確定駕駛者是否處于疲勞狀態(tài)的方法可以是所示方法的組合，并且不限于所示方法。

控制器300可以被配置為通過基于駕駛者的圖像識別駕駛者的眼瞼是否閉合來確定駕駛者是否處于眼瞼閉合狀態(tài)。此外，為了確定駕駛者是否處于覺醒狀態(tài)，控制器300可以被配置為確定駕駛者的眨眼是否是正常眨眼，或者駕駛者的面部運動是否超過一定程度。例如，正常眨眼可以包括當(dāng)駕駛者不處于睡意狀態(tài)時的眨眼，并且可以包括在一定時間間隔內(nèi)執(zhí)行的眨眼。特別地，當(dāng)駕駛者處于睡意狀態(tài)眨眼時，在一次眨眼內(nèi)駕駛者的眼睛閉合的時間間隔是比正常眨眼更長的持續(xù)時間。

控制器300可以被配置為基于正常眨眼的發(fā)生來確定駕駛者處于覺醒狀態(tài)。另外，駕駛者的面部運動可以包括駕駛者的面部所指向的方向的改變或面部的位置的改變。當(dāng)駕駛者的面部運動超過一定程度時，控制器300可以被配置為確定駕駛者處于覺醒狀態(tài)。由控制器300確定駕駛者是否處于覺醒狀態(tài)的方法可以是所示方法的組合，并且不限于所示方法。

換句話說，基于如上述所確定的駕駛者是否處于疲勞狀態(tài)、駕駛者是否處于眼瞼閉合狀態(tài)以及駕駛者是否處于覺醒狀態(tài)，在駕駛者的疲勞狀態(tài)持續(xù)第一時間間隔以上之后，在第二時間范圍內(nèi)交替且重復(fù)地發(fā)生駕駛者在第三時間范圍期間的眼瞼閉合狀態(tài)和覺醒狀態(tài)的情況下，控制器300可以被配置為確定駕駛者處于睡意狀態(tài)。

例如，將參照圖3所示的控制器300可以被配置為確定駕駛者的睡意狀態(tài)的圖案作為示例描述當(dāng)?shù)谝粫r間設(shè)定為約5秒，第二時間設(shè)定為約4秒，并且第三時間范圍可以設(shè)定為約0.5秒以上到約1.5秒以下時的情況。疲勞狀態(tài)持續(xù)的時間間隔可以是約7秒，持續(xù)超過作為第一時間間隔的約5秒。此后，在約1秒期間(其在第三時間間隔內(nèi))可以發(fā)生駕駛者的眼瞼閉合狀態(tài)。此外，在發(fā)生眼瞼閉合狀態(tài)之后，發(fā)生覺醒狀態(tài)，并且再次發(fā)生眼瞼閉合狀態(tài)持續(xù)約1秒之后，發(fā)生覺醒狀態(tài)。換句話說，眼瞼閉合狀態(tài)和覺醒狀態(tài)可以交替且重復(fù)地發(fā)生。特別地，可以在約7秒和約10秒之間交替且重復(fù)地發(fā)生眼瞼閉合狀態(tài)和覺醒狀態(tài)，由此在作為第二時間間隔的約4秒內(nèi)發(fā)生。因此，當(dāng)發(fā)生疲勞狀態(tài)、發(fā)生駕駛者的眼瞼閉合狀態(tài)和覺醒狀態(tài)時，控制器300可以被配置為確定駕駛者處于睡意狀態(tài)。

在下文中，將基于上述配置參照圖4詳細描述用于判斷駕駛者的睡意的方法。圖4是示出根據(jù)本公開的示例性實施例的用于確定駕駛者的睡意的方法的示例性流程圖。參考圖4，根據(jù)本公開的示例性實施例的用于確定駕駛者的睡意的方法可以包括獲得駕駛者的圖像s100，從駕駛者的圖像確定駕駛者是否處于疲勞狀態(tài)、駕駛者是否處于眼瞼閉合狀態(tài)以及駕駛者是否處于覺醒狀態(tài)s200，并且當(dāng)在駕駛者的疲勞狀態(tài)持續(xù)預(yù)定的第一時間間隔之后，在預(yù)定的第二時間間隔內(nèi)交替且重復(fù)地發(fā)生駕駛者的眼瞼閉合狀態(tài)和覺醒狀態(tài)時，確定駕駛者處于睡意狀態(tài)s300。

成像設(shè)備100可以被配置為獲得駕駛者的圖像(例如，面部圖像)s100。成像設(shè)備100可以被配置為通過拍攝駕駛者的面部(例如，或其一部分)來獲得駕駛者的圖像，并且還可以從作為圖像接收器的照相機獲得圖像。此外，根據(jù)本公開的示例性實施例的車輛行駛狀態(tài)獲得器200可以被配置為獲得由駕駛者駕駛的車輛的行駛狀態(tài)s200。車輛行駛狀態(tài)獲得器200可以獲得包括車輛的行駛方向、車輛的行駛速度、車輛與前方車輛之間的距離、車輛是否違反道路的車道等的信息。可以使用安裝在車輛內(nèi)的各種傳感器來檢測各種行駛狀態(tài)信息。

控制器300可以被配置為從駕駛者的圖像確定駕駛者是否處于疲勞狀態(tài)s200、駕駛者是否處于眼瞼閉合狀態(tài)以及駕駛者是否處于覺醒狀態(tài)?？刂破?00可以使用與如下情況有關(guān)的信息來確定駕駛者是否處于疲勞狀態(tài)：駕駛者在預(yù)定時間期間的眼睛閉合的百分比(perclos)是否超過一定百分比、在預(yù)定時間上駕駛者的面部運動是否在預(yù)定范圍內(nèi)、車輛是否保持車道、車輛是否以z字形圖案行駛等。另外，控制器300可以被配置為通過基于駕駛者的圖像識別駕駛者的眼瞼是否閉合來確定駕駛者是否處于眼瞼閉合狀態(tài)。特別地，為了確定駕駛者是否處于覺醒狀態(tài)，控制器300可以考慮駕駛者的眨眼是否是正常眨眼，或者駕駛者的面部運動是否超過一定程度。

在駕駛者的疲勞狀態(tài)持續(xù)第一時間間隔以上之后，在第二時間內(nèi)，交替且重復(fù)地發(fā)生駕駛者在第三時間范圍內(nèi)的眼瞼閉合狀態(tài)和覺醒狀態(tài)s300?？刂破?00可以被配置為基于如上述所確定的駕駛者的疲勞狀態(tài)、駕駛者是否處于眼瞼閉合狀態(tài)以及駕駛者是否處于覺醒狀態(tài)來確定駕駛者處于睡意狀態(tài)?？刂破?00還可以被配置為基于圖3中所示的圖案確定睡意狀態(tài)，并且由于其詳細方法已經(jīng)在上面參照圖3進行了描述，所以將省略。

圖5是示出根據(jù)本公開的示例性實施例的執(zhí)行用于確定駕駛者的睡意的方法的計算系統(tǒng)的示例性框圖。參考圖5，計算系統(tǒng)1000可以包括經(jīng)由總線1200彼此連接的至少一個處理器1100、存儲器(memory)1300、用戶接口輸入設(shè)備1400、用戶接口輸出設(shè)備1500、存儲(storage)1600和網(wǎng)絡(luò)接口1700。處理器1100可以是被配置為執(zhí)行存儲在存儲器1300和/或存儲1600中的指令的處理的中央處理單元(cpu)或半導(dǎo)體裝置。存儲器1300和存儲1600可以包括各種類型的易失性或非易失性存儲介質(zhì)。例如，存儲器1300可以包括只讀存儲器(rom)和隨機存取存儲器(ram)。

因此，在本說明書中公開的示例性實施例的上下文中描述的方法或算法中的步驟可以直接在由處理器1100執(zhí)行的硬件、軟件模塊或它們的組合中實現(xiàn)。軟件模塊可以駐留在存儲介質(zhì)(即，存儲器1300和/或存儲1600)上，諸如隨機存取存儲器(ram)存儲器、閃存、只讀存儲器(rom)存儲器、可擦除可編程只讀存儲器(eprom)存儲器、電可擦除可編程只讀存儲器(eeprom)存儲器、寄存器、硬盤、可移動磁盤或光盤只讀存儲器(cd-rom)。說明性存儲介質(zhì)可以耦合到處理器1100，并且處理器1100可以從存儲介質(zhì)讀取信息并將信息寫入存儲介質(zhì)。替換地，存儲介質(zhì)也可以與處理器1100集成。處理器和存儲介質(zhì)也可以駐留在專用集成電路(asic)內(nèi)。asic也可以駐留在用戶終端內(nèi)。另選地，處理器和存儲介質(zhì)也可以作為單獨部件駐留在用戶終端內(nèi)。

在如上所述的確定駕駛者的睡意的裝置和方法中，上述示例性實施例的配置和方法不被限制性地應(yīng)用。換句話說，各個示例性實施例中的全部或一些可以選擇性地彼此組合，使得它們可以進行各種修改。如上所述，與當(dāng)前的睡意確定方法相比，根據(jù)本公開的示例性實施例，可以在減少的持續(xù)時間內(nèi)確定可以在車輛的操作期間可能發(fā)生的駕駛者的睡意。此外，可以減少當(dāng)基于儀表群或音頻視頻導(dǎo)航(avn)操作時可能發(fā)生的睡意的誤識別。另外，通過本公開獲得的效果不限于上述效果。特別地，本公開所屬領(lǐng)域的技術(shù)人員從以下描述中可以明顯地理解未提及的其它效果。

在上文中，雖然本公開已經(jīng)參照示例性實施例和附圖進行了描述，但本公開并不限于此，而是可以由本公開所屬領(lǐng)域的技術(shù)人員進行各種修改和改變，而不脫離以下權(quán)利要求中所要求保護的本公開的精神和范圍。