駕駛員疲勞狀況檢測方法和裝置的制造方法
【專利摘要】本發(fā)明公開了一種駕駛員疲勞狀況檢測方法及裝置，屬于智能交通技術(shù)領(lǐng)域。該方法包括：獲取駕駛員的面部圖像；根據(jù)所述面部圖像獲取所述駕駛員的形態(tài)學(xué)特征；獲取所述駕駛員的轉(zhuǎn)向操作信息；根據(jù)所述形態(tài)學(xué)特征和所述轉(zhuǎn)向操作信息，確定駕駛員的疲勞狀況。該裝置包括：圖像獲取模塊、形態(tài)獲取模塊、轉(zhuǎn)向操作信息獲取模塊、及處理模塊。本發(fā)明綜合利用駕駛員駕駛車輛時(shí)的形態(tài)學(xué)特征和轉(zhuǎn)向操作信息以判斷駕駛員的疲勞狀況，能夠更加準(zhǔn)確的對駕駛員疲勞狀況進(jìn)行判斷。
【專利說明】
駕駛員疲勞狀況檢測方法和裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及智能交通技術(shù)領(lǐng)域，特別設(shè)及一種駕駛員疲勞狀況檢測方法和裝置。
【背景技術(shù)】
[0002] 在長距離行駛過程中，或者在駕駛員長時(shí)間工作或飲酒后，駕駛員可能會(huì)處于疲 勞駕駛的狀態(tài)，在運(yùn)種狀態(tài)下，容易出現(xiàn)車輛偏離正常行駛的道路或速度過快等情況，甚至 可能引發(fā)嚴(yán)重的交通事故，造成重大的人員傷亡和財(cái)產(chǎn)損失。如果能夠?qū)︸{駛員的疲勞狀 況進(jìn)行自動(dòng)檢測，并及時(shí)報(bào)警，將有效減少交通事故的發(fā)生。
[0003] 目前，對駕駛員疲勞判斷通常采用攝像頭將駕駛員在駕駛中的面部形態(tài)特征記錄 下來，通過圖形處理模塊對采集到的數(shù)字圖像進(jìn)行運(yùn)算處理，W獲取駕駛員臉部特征，根據(jù) 駕駛員眼睛開閉狀態(tài)和次數(shù)等形態(tài)學(xué)特征來判斷駕駛員是否已經(jīng)處于疲勞狀況，并給出相 應(yīng)的警報(bào)予W警示。
[0004] 在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)存在W下問題:采用上述方式對駕 駛員處于疲勞狀況進(jìn)行判斷容易出現(xiàn)誤判，可能會(huì)頻繁提醒駕駛員注意安全，可能會(huì)影響 駕駛員注意力，甚至?xí)斐刹槐匾膿p失。

【發(fā)明內(nèi)容】

[0005] 為了能夠準(zhǔn)確確定駕駛員是否處于疲勞狀況，本發(fā)明實(shí)施例提供了一種駕駛員疲 勞狀況檢測方法和裝置。所述技術(shù)方案如下：
[0006] -方面，本發(fā)明實(shí)施例提供了一種駕駛員疲勞狀況檢測方法，所述方法包括：
[0007] 獲取駕駛員的面部圖像；
[000引根據(jù)所述面部圖像獲取所述駕駛員的形態(tài)學(xué)特征；
[0009] 獲取所述駕駛員的轉(zhuǎn)向操作信息；
[0010] 根據(jù)所述形態(tài)學(xué)特征和所述轉(zhuǎn)向操作信息，確定駕駛員的疲勞狀況。
[0011] 在本發(fā)明一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述面部圖像獲取駕駛員的形態(tài)學(xué)特 征，包括：
[0012] 對所述面部圖像進(jìn)行人臉檢測，得到人臉區(qū)域；
[0013] 提取所述人臉區(qū)域中的特征區(qū)域，所述特征區(qū)域包括眼睛區(qū)域、嘴己區(qū)域中的至 少一種.
[0014] 根據(jù)所述特征區(qū)域獲取所述駕駛員的形態(tài)學(xué)特征。
[0015] 其中，所述形態(tài)學(xué)特征包括眼睛開閉狀態(tài)、嘴己開閉狀態(tài)、巧眼頻率和打哈欠的頻 率中的至少一種，所述轉(zhuǎn)向操作信息包括統(tǒng)計(jì)類指標(biāo)及經(jīng)驗(yàn)類指標(biāo)，所述統(tǒng)計(jì)類指標(biāo)包括 根據(jù)駕駛操作參數(shù)值計(jì)算的均值、方差、均方差、極大值中的至少一種，所述駕駛操作參數(shù) 包括方向盤轉(zhuǎn)角01、方向盤轉(zhuǎn)角速率皆、橫擺角巧、橫擺角速率解、橫向位置出、和橫向速度 Clf中的至少一種，所述經(jīng)驗(yàn)類指標(biāo)包括方向盤小幅修正次數(shù)、方向盤大幅修正次數(shù)、方向 盤持續(xù)不動(dòng)次數(shù)、方向盤持續(xù)不動(dòng)時(shí)間、方向盤最大角度標(biāo)準(zhǔn)差、方向盤轉(zhuǎn)角速率最大零速 百分比及過線時(shí)間中的至少一種。
[0016] 在本發(fā)明一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述形態(tài)學(xué)特征和所述轉(zhuǎn)向操作信 息，確定駕駛員的疲勞狀況，包括：
[0017] 將所述形態(tài)學(xué)特征和所述轉(zhuǎn)向操作信息作為支持向量機(jī)的輸入，采用支持向量機(jī) 確定駕駛員的疲勞狀況，
[001引其中，所述支持向量機(jī)為：
[0019]
[0020] 其中，X為包括所述形態(tài)學(xué)特征和所述轉(zhuǎn)向操作信息的未知樣本；（xi，yi)是fi，f2， f3的支持向量；1，m，n分別是fi、f2、f3的支持向量個(gè)數(shù);ai、0i、丫 i分別是對應(yīng)支持向量的系 數(shù);bi、b2、b3分別是對應(yīng)支持向量函數(shù)的常數(shù)項(xiàng);K(xi，x)是徑向基函數(shù);fi是清醒-重度疲勞 分類器;f 2是清醒-輕度疲勞分類器;f 3是輕度疲勞-重度疲勞分類器。
[0021] 進(jìn)一步地，所述方法還包括：
[0022] 根據(jù)所述駕駛員的疲勞狀況和車輛的行駛狀態(tài)，確定是否發(fā)出警告信息。
[0023] 另一方面，本發(fā)明實(shí)施例提供了一種駕駛員疲勞狀況檢測裝置，所述裝置包括：
[0024] 圖像獲取模塊，用于獲取駕駛員的面部圖像；
[0025] 形態(tài)獲取模塊，用于根據(jù)所述圖像獲取模塊獲取到的所述面部圖像，獲取所述駕 駛員的形態(tài)學(xué)特征；
[0026] 轉(zhuǎn)向操作信息獲取模塊，用于獲取駕駛員的轉(zhuǎn)向操作信息；
[0027] 處理模塊，用于根據(jù)所述形態(tài)獲取模塊獲取到的所述形態(tài)學(xué)特征和所述轉(zhuǎn)向操作 信息獲取模塊獲取到的轉(zhuǎn)向操作信息，確定駕駛員的疲勞狀況。
[0028] 進(jìn)一步地，所述形態(tài)獲取模塊包括：
[0029] 人臉檢測子模塊，用于對所述面部圖像進(jìn)行人臉檢測，得到人臉區(qū)域；
[0030] 提取子模塊，用于提取所述人臉區(qū)域中的特征區(qū)域，所述特征區(qū)域包括眼睛區(qū)域、 嘴己區(qū)域中的至少一種；
[0031] 形態(tài)獲取子模塊，用于根據(jù)所述提取子模塊提取的特征候選區(qū)域，獲取所述駕駛 員的形態(tài)學(xué)特征。
[0032] 進(jìn)一步地，所述形態(tài)學(xué)特征包括眼睛開閉狀態(tài)、嘴己開閉狀態(tài)、巧眼頻率和打哈欠 的頻率中的至少一種，所述轉(zhuǎn)向操作信息包括統(tǒng)計(jì)類指標(biāo)及經(jīng)驗(yàn)類指標(biāo)，所述統(tǒng)計(jì)類指標(biāo) 包括根據(jù)駕駛操作參數(shù)值計(jì)算的均值、方差、均方差、極大值中的至少一種，所述駕駛操作 參數(shù)包括方向盤轉(zhuǎn)角01、方向盤轉(zhuǎn)角速率卻、橫擺角巧?、橫擺角速率<、橫向位置出、和橫向 速度af中的至少一種，所述經(jīng)驗(yàn)類指標(biāo)包括方向盤小幅修正次數(shù)、方向盤大幅修正次數(shù)、方 向盤持續(xù)不動(dòng)次數(shù)、方向盤持續(xù)不動(dòng)時(shí)間、方向盤最大角度標(biāo)準(zhǔn)差、方向盤轉(zhuǎn)角速率最大零 速百分比及過線時(shí)間中的至少一種。
[0033] 進(jìn)一步地，所述處理模塊，用于將所述形態(tài)學(xué)特征和所述轉(zhuǎn)向操作信息作為支持 向量機(jī)的輸入，采用支持向量機(jī)確定駕駛員的疲勞狀況，
[0034] 其中，所述支持向量機(jī)為：
[0035]
[0036] 其中，X為包括所述形態(tài)學(xué)特征和所述轉(zhuǎn)向操作信息的未知樣本；（xi，yi)是fi，f2， f3的支持向量；1，m，n分別是fi、f2、f3的支持向量個(gè)數(shù);ai、0i、丫 i分別是對應(yīng)支持向量的系 數(shù);bi、b2、b3分別是對應(yīng)支持向量函數(shù)的常數(shù)項(xiàng);K(xi，x)是徑向基函數(shù);fi是清醒-重度疲勞 分類器;f 2是清醒-輕度疲勞分類器;f 3是輕度疲勞-重度疲勞分類器。
[0037] 進(jìn)一步地，所述裝置還包括：
[0038] 警告模塊，用于根據(jù)所述處理模塊得到的所述駕駛員的疲勞狀況和車輛的行駛狀 態(tài)，確定是否發(fā)出警告信息。
[0039] 本發(fā)明實(shí)施例提供的技術(shù)方案帶來的有益效果是:本發(fā)明實(shí)施例綜合利用駕駛員 駕駛車輛時(shí)的形態(tài)學(xué)特征和轉(zhuǎn)向操作信息W判斷駕駛員的疲勞狀況，能夠更加準(zhǔn)確的對駕 駛員疲勞狀況進(jìn)行判斷。
【附圖說明】
[0040] 為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對實(shí)施例描述中所需要使 用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于 本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可W根據(jù)運(yùn)些附圖獲得其他 的附圖。
[0041] 圖1是本發(fā)明實(shí)施例提供的一種駕駛員疲勞狀況檢測方法的流程示意圖；
[0042] 圖2是本發(fā)明實(shí)施例提供的另一種駕駛員疲勞狀況檢測方法的流程示意圖；
[0043] 圖3是本發(fā)明實(shí)施例提供的一種駕駛員疲勞狀況檢測裝置的框圖；
[0044] 圖4是本發(fā)明實(shí)施例提供的另一種駕駛員疲勞狀況檢測裝置的框圖；
[0045] 圖5是本發(fā)明實(shí)施例中的攝像裝置及駕駛輔助系統(tǒng)在汽車上的布置示意圖。
【具體實(shí)施方式】
[0046] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對本發(fā)明實(shí)施方 式作進(jìn)一步地詳細(xì)描述。
[0047] 圖1為本發(fā)明實(shí)施例提供的一種駕駛員疲勞狀況檢測方法的流程示意圖，參考圖 1，該方法包括：
[004引Sll:獲取駕駛員的面部圖像。
[0049] S12:根據(jù)獲取的面部圖像獲取駕駛員的形態(tài)學(xué)特征。
[0050] 其中，形態(tài)學(xué)特征可W包括眼睛開閉狀態(tài)和次數(shù)、打哈欠頻率、頭部晃動(dòng)規(guī)律及眼 睛凝視時(shí)間中的至少一種。
[0051 ] S13:獲取駕駛員的轉(zhuǎn)向操作信息。
[0052] 其中，轉(zhuǎn)向操作信息包括統(tǒng)計(jì)類指標(biāo)及經(jīng)驗(yàn)類指標(biāo)，其中，統(tǒng)計(jì)類指標(biāo)包括根據(jù)駕 駛操作參數(shù)值計(jì)算的均值、方差、均方差、極大值中的至少一種，駕駛操作參數(shù)包括方向盤 轉(zhuǎn)角01、方向盤轉(zhuǎn)角速率皆、橫擺角巧、橫擺角速率解、橫向位置出、和橫向速度"f中的至少 一種，經(jīng)驗(yàn)類指標(biāo)包括方向盤小幅修正次數(shù)、方向盤大幅修正次數(shù)、方向盤持續(xù)不動(dòng)次數(shù)、 方向盤持續(xù)不動(dòng)時(shí)間、方向盤最大角度標(biāo)準(zhǔn)差、方向盤轉(zhuǎn)角速率最大零速百分比及過線時(shí) 間中的至少一種。
[0053] S14:根據(jù)形態(tài)學(xué)特征和轉(zhuǎn)向操作信息，確定駕駛員的疲勞狀況。
[0054] 本發(fā)明實(shí)施例綜合利用駕駛員駕駛車輛時(shí)的形態(tài)學(xué)特征和轉(zhuǎn)向操作信息W判斷 駕駛員的疲勞狀況，能夠更加準(zhǔn)確的對駕駛員疲勞狀況進(jìn)行判斷。
[0055] 圖2是本發(fā)明實(shí)施例提供的另一種駕駛員疲勞狀況檢測方法，參考圖2,該方法包 括：
[0056] S21:獲取駕駛員的面部圖像。
[0057] 該步驟21可W利用固定在方向盤前方儀表板之中并正對駕駛員人臉區(qū)域的攝像 裝置1獲取(結(jié)合圖5)。通常，在車輛啟動(dòng)后，攝像裝置開始對駕駛員進(jìn)行拍攝，W獲取駕駛 員的面部圖像。
[005引S22:根據(jù)獲取的面部圖像獲取駕駛員的形態(tài)學(xué)特征。
[0059] 其中，該形態(tài)學(xué)特征包括眼睛開閉狀態(tài)、嘴己開閉狀態(tài)、巧眼頻率和打哈欠的頻率 中的至少一種。
[0060] 該步驟S22可W包括：
[0061] 對面部圖像進(jìn)行人臉檢測，得到人臉區(qū)域；
[0062] 提取人臉區(qū)域中的特征區(qū)域，特征區(qū)域包括眼睛區(qū)域、嘴己區(qū)域中的至少一種；
[0063] 根據(jù)特征區(qū)域獲取駕駛員的形態(tài)學(xué)特征。
[0064] 進(jìn)一步地，對面部圖像進(jìn)行人臉檢測，得到人臉區(qū)域，可W采用如下方式:首先用 膚色信息分割圖像，利用聚類分析方法，將近膚色區(qū)域分割出來，然后根據(jù)人臉的形狀和人 臉在圖像中的位置，對人臉進(jìn)行定位。
[0065] 可選地，提取人臉區(qū)域中的特征區(qū)域，可W包括：
[0066] 提取人臉區(qū)域中的特征候選區(qū)域；
[0067] 從提取出的特征候選區(qū)域中選出特征區(qū)域。
[0068] 其中，提取人臉區(qū)域中的特征候選區(qū)域可W利用顏色差異實(shí)現(xiàn)，比如，眼睛顏色一 般深于周圍膚色區(qū)域，根據(jù)顏色差異提取出眼睛候選區(qū)域。
[0069] 其中，從提取出的特征候選區(qū)域中選出特征區(qū)域，可W采用特征與分類器結(jié)合的 方式實(shí)現(xiàn)。例如，化rr特征與SVM(Suppod Vector Machine，支持向量機(jī))分類器結(jié)合實(shí)現(xiàn)。
[0070] 下面W形態(tài)學(xué)特征為眼睛開閉狀態(tài)為例，對根據(jù)特征候選區(qū)域獲取駕駛員的形態(tài) 學(xué)特征進(jìn)行詳細(xì)說明。
[0071] 預(yù)先選取人眼的正負(fù)樣本(正樣本為眼睛圖像，負(fù)樣本為非眼睛圖像），采用正負(fù) 樣本對SVM分類器進(jìn)行訓(xùn)練。運(yùn)些樣本保存在樣本庫中，W待后續(xù)眼睛識別調(diào)用。然后采集 駕駛員駕駛車輛時(shí)的面部圖像，并對面部圖像進(jìn)行處理W將眼睛候選區(qū)域提取出來，隨后 將提取出來的眼睛候選區(qū)域輸入分類器中與樣本庫中的人眼樣本進(jìn)行匹配，如果匹配為則 眼睛區(qū)域，再根據(jù)該眼睛區(qū)域分析眼睛的開閉狀態(tài)，即得到所需的形態(tài)學(xué)特征。例如，眼睛 的開閉狀態(tài)可W為眼睛的外接矩形的高寬比。
[0072] S23:獲取駕駛員的轉(zhuǎn)向操作信息。
[0073] 其中，轉(zhuǎn)向操作信息包括統(tǒng)計(jì)類指標(biāo)及經(jīng)驗(yàn)類指標(biāo)，統(tǒng)計(jì)類指標(biāo)包括根據(jù)駕駛操 作參數(shù)值計(jì)算的均值、方差、均方差、極大值中的至少一種，駕駛操作參數(shù)包括方向盤轉(zhuǎn)角 01、方向盤轉(zhuǎn)角速率每、橫擺角巧、橫擺角速率媒、橫向位置出、和橫向速度af中的至少一 種，經(jīng)驗(yàn)類指標(biāo)包括方向盤小幅修正次數(shù)、方向盤大幅修正次數(shù)、方向盤持續(xù)不動(dòng)次數(shù)、方 向盤持續(xù)不動(dòng)時(shí)間、方向盤最大角度標(biāo)準(zhǔn)差、方向盤轉(zhuǎn)角速率最大零速百分比及過線時(shí)間 中的至少一種。
[0074] 其中，駕駛操作參數(shù)值可W從車載傳感器和CAN(Contrc)Iler Area化twork，控制 器局域網(wǎng)絡(luò))總線獲取。
[0075] 需要說明的是，本發(fā)明對該步驟S23與步驟S21~步驟S22之間的先后順序不做限 制。
[0076] 可選地，本發(fā)明實(shí)施例還可W包括：
[0077] 采集不同狀態(tài)的駕駛員駕駛車輛時(shí)的駕駛操作參數(shù)值，該駕駛操作參數(shù)包括方向 盤轉(zhuǎn)角目1、方向盤轉(zhuǎn)角速率皆、橫擺角巧、橫擺角速率捧、橫向位置出、和橫向速度af ;
[0078] 根據(jù)駕駛操作參數(shù)確定用于輸入SVM中的轉(zhuǎn)向操作信息的類型。
[0079] 其中，不同狀態(tài)包括清醒狀態(tài)，輕度疲勞，重度疲勞，醉酒駕駛，注意力不集中等狀 態(tài)。
[0080] 進(jìn)一步地，用于輸入SVM中的轉(zhuǎn)向操作信息的類型可W采用W下方式實(shí)現(xiàn)：
[0081] 采用順序向前浮動(dòng)捜索策略，從駕駛員轉(zhuǎn)向操作信息全集Y= {yi Ii = I，2,…，D} (D為轉(zhuǎn)向操作信息中的指標(biāo)的數(shù)量）中選擇任一駕駛員轉(zhuǎn)向操作信息子集Xk, WXk為輸入， 利用交叉驗(yàn)證法訓(xùn)練和測試基于SVM建立的駕駛員狀態(tài)檢測模型，測試結(jié)果作為評價(jià)準(zhǔn)則 函數(shù)值J(Xk),然后WJ(Xk)為目標(biāo)函數(shù)，從駕駛員轉(zhuǎn)向操作信息全集中篩選出使駕駛員狀態(tài) 檢測模型別準(zhǔn)確率最高的駕駛員轉(zhuǎn)向操作信息子集，該駕駛員轉(zhuǎn)向操作信息子集即為作為 支持向量機(jī)輸入的轉(zhuǎn)向操作信息的類型。
[0082] S24:將形態(tài)學(xué)特征和轉(zhuǎn)向操作信息作為支持向量機(jī)的輸入，采用支持向量機(jī)確定 駕駛員的疲勞狀況。
[0083] 其中，該步驟S24采用的支持向量機(jī)可W為：
[0084]
[0085] 其中，X為包括所述形態(tài)學(xué)特征和所述轉(zhuǎn)向操作信息的未知樣本；（xi，yi)是fi，f2， f3的支持向量；l，m，n分別是fi、f2、f3的支持向量個(gè)數(shù);〇1、扣、丫 1分別是對應(yīng)支持向量的系 數(shù);bi、b2、b3分別是對應(yīng)支持向量函數(shù)的常數(shù)項(xiàng);K(xi，x)是徑向基函數(shù);fi是清醒-重度疲勞 分類器;f 2是清醒-輕度疲勞分類器;f 3是輕度疲勞-重度疲勞分類器。
[0086] 該基于SVM的駕駛員疲勞狀態(tài)檢測模型，是W駕駛員轉(zhuǎn)向操作信息子集和形態(tài)學(xué) 特征作為SVM的輸入，采用有序無向圖法設(shè)定駕駛狀態(tài)決策得到的。
[0087] 本發(fā)明實(shí)施例中，駕駛員的疲勞狀況包括清醒、輕度疲勞和重度疲勞。在其它實(shí)施 例中，駕駛員的疲勞狀況可W只分為清醒和疲勞兩種，也可W分為比=種更多的情況，本發(fā) 明實(shí)施例對此不做限制。
[0088] 通過該步驟S24,即可實(shí)現(xiàn)根據(jù)形態(tài)學(xué)特征和所述轉(zhuǎn)向操作信息，確定駕駛員的疲 勞狀況。
[0089] S25:根據(jù)駕駛員的疲勞狀況和車輛行駛狀態(tài)，確定是否發(fā)出警告信息。
[0090] 其中，車輛行駛狀態(tài)用于指示車輛是否處于危險(xiǎn)狀態(tài)，該危險(xiǎn)狀態(tài)包括但不限于 車輛是否偏離車道、車輛是否有偏離車道的趨勢、車輛周圍設(shè)定范圍內(nèi)是否有目標(biāo)物接近 等。目標(biāo)物包括但不限于人、車輛、建筑物等。車輛行駛狀態(tài)可W采用車輛中的駕駛輔助系 統(tǒng)獲得。
[0091] 在一種實(shí)現(xiàn)方式中，該步驟S25可W包括：
[0092] 當(dāng)駕駛員輕度疲勞，并且車輛處于危險(xiǎn)狀態(tài)時(shí)，則發(fā)出一級警告；
[0093] 當(dāng)駕駛員重度疲勞，并且車輛處于危險(xiǎn)狀態(tài)時(shí)，則發(fā)出二級警告，其中，二級警告 比一級警告程度大。
[0094] 實(shí)現(xiàn)時(shí)，警告的方式可W為W設(shè)定頻率震動(dòng)方向盤、語音提醒、燈光提醒或者其中 的多種結(jié)合的方式。具體到一級警告和二級警告可W采用W下方式，比如一級警告可W采 用低頻震動(dòng)方向盤和語音提醒結(jié)合的方式，二級警告可W采用高頻震動(dòng)方向盤和語音提醒 結(jié)合的方式。
[0095] 需要說明的是，在運(yùn)種實(shí)現(xiàn)方式中，當(dāng)駕駛員處于不同的疲勞狀況時(shí)，判斷車輛是 否處于危險(xiǎn)狀態(tài)的標(biāo)準(zhǔn)可W不同，比如，當(dāng)駕駛員輕度疲勞時(shí)，若車輛已偏離車道或者車輛 周圍設(shè)定范圍內(nèi)有目標(biāo)物接近，表示車輛處于危險(xiǎn)狀態(tài);而當(dāng)駕駛員重度疲勞時(shí)，車輛有偏 離車道的趨勢或者車輛周圍設(shè)定范圍內(nèi)有目標(biāo)物接近，表示車輛處于危險(xiǎn)狀態(tài)。
[0096] 可選地，在另一種實(shí)現(xiàn)方式中，該步驟S25還可W包括：
[0097] 當(dāng)駕駛員處于疲勞狀況(包括輕度疲勞和重度疲勞），并且車輛處于危險(xiǎn)狀態(tài)時(shí)， 均采用相同的方式發(fā)出警告，警告的方式可W為W設(shè)定頻率震動(dòng)方向盤、語音提醒、燈光提 醒或者其中的多種結(jié)合的方式。
[0098] 駕駛員接收警告后，可W及時(shí)做出反應(yīng)，提高行駛安全性。
[0099] 需要說明的是，在本發(fā)明的其他實(shí)施例中，該步驟S25還可W采用W下方式替代：
[0100] 根據(jù)駕駛員的疲勞狀況，發(fā)出提示信息。
[0101] 該提示信息可W是警告信息，也可W是音樂提醒等。比如，當(dāng)駕駛員輕度疲勞時(shí)， 通過播放音樂使駕駛員集中注意力。
[0102] 本發(fā)明實(shí)施例綜合利用駕駛員駕駛車輛時(shí)的形態(tài)學(xué)特征和轉(zhuǎn)向操作信息W判斷 駕駛員的疲勞狀況，能夠更加準(zhǔn)確的對駕駛員疲勞狀況進(jìn)行判斷。此外，通過結(jié)合駕駛員的 疲勞狀況和車輛行駛狀態(tài)，向駕駛員發(fā)出警告信息，能夠?qū)︸{駛員進(jìn)行及時(shí)提醒，提高了駕 駛員駕駛時(shí)的安全性。
[0103] 圖3是本發(fā)明實(shí)施例提供的一種駕駛員疲勞狀況檢測裝置，它適圖I所示實(shí)施例所 提供的駕駛員疲勞狀況檢測方法，參考圖3,該裝置包括：圖像獲取模塊310、形態(tài)獲取模塊 320、轉(zhuǎn)向操作信息獲取模塊330和處理模塊340。
[0104] 其中，圖像獲取模塊310用于獲取駕駛員的面部圖像。形態(tài)獲取模塊320用于根據(jù) 圖像獲取模塊310獲取到的面部圖像，獲取駕駛員的形態(tài)學(xué)特征。轉(zhuǎn)向操作信息獲取模塊 330用于獲取駕駛員轉(zhuǎn)向操作信息。處理模塊340用于根據(jù)形態(tài)獲取模塊320獲取到的形態(tài) 學(xué)特征和轉(zhuǎn)向操作信息獲取模塊330獲取到的轉(zhuǎn)向操作信息，確定駕駛員的疲勞狀況。
[0105] 其中，形態(tài)學(xué)特征包括眼睛開閉狀態(tài)、嘴己開閉狀態(tài)、巧眼頻率和打哈欠的頻率中 的至少一種，所述轉(zhuǎn)向操作信息包括統(tǒng)計(jì)類指標(biāo)及經(jīng)驗(yàn)類指標(biāo)，統(tǒng)計(jì)類指標(biāo)包括根據(jù)駕駛 操作參數(shù)值計(jì)算的均值、方差、均方差、極大值中的至少一種，駕駛操作參數(shù)包括方向盤轉(zhuǎn) 角01、方向盤轉(zhuǎn)角速率<'、橫擺角巧、橫擺角速率<、橫向位置出、和橫向速度0嚴(yán)中的至少一 種，所述經(jīng)驗(yàn)類指標(biāo)包括方向盤小幅修正次數(shù)、方向盤大幅修正次數(shù)、方向盤持續(xù)不動(dòng)次 數(shù)、方向盤持續(xù)不動(dòng)時(shí)間、方向盤最大角度標(biāo)準(zhǔn)差、方向盤轉(zhuǎn)角速率最大零速百分比及過線 時(shí)間中的至少一種。
[0106] 本發(fā)明實(shí)施例綜合利用駕駛員駕駛車輛時(shí)的形態(tài)學(xué)特征和轉(zhuǎn)向操作信息W判斷 駕駛員的疲勞狀況，能夠更加準(zhǔn)確的對駕駛員疲勞狀況進(jìn)行判斷。
[0107] 圖4是本發(fā)明實(shí)施例提供的另一種駕駛員疲勞狀況檢測裝置，它適用于圖2所示實(shí) 施例所提供的駕駛員疲勞狀況檢測方法，參考圖4,該裝置包括：圖像獲取模塊410、形態(tài)獲 取模塊420、轉(zhuǎn)向操作信息獲取模塊430和處理模塊440。其中，圖像獲取模塊410用于獲取駕 駛員的面部圖像。形態(tài)獲取模塊420用于根據(jù)圖像獲取模塊410獲取到的面部圖像，獲取駕 駛員的形態(tài)學(xué)特征。轉(zhuǎn)向操作信息獲取模塊430用于獲取駕駛員轉(zhuǎn)向操作信息。處理模塊 440用于根據(jù)形態(tài)獲取模塊420獲取到的形態(tài)學(xué)特征和轉(zhuǎn)向操作信息獲取模塊430獲取到的 轉(zhuǎn)向操作信息，確定駕駛員的疲勞狀況。
[0108] 其中，形態(tài)學(xué)特征包括眼睛開閉狀態(tài)、嘴己開閉狀態(tài)、巧眼頻率和打哈欠的頻率中 的至少一種，所述轉(zhuǎn)向操作信息包括統(tǒng)計(jì)類指標(biāo)及經(jīng)驗(yàn)類指標(biāo)，統(tǒng)計(jì)類指標(biāo)包括根據(jù)駕駛 操作參數(shù)值計(jì)算的均值、方差、均方差、極大值中的至少一種，駕駛操作參數(shù)包括方向盤轉(zhuǎn) 角目1、方向盤轉(zhuǎn)角速率。f、橫擺角巧、橫擺角速率婷、橫向位置出、和橫向速度蛛中的至少一 種，所述經(jīng)驗(yàn)類指標(biāo)包括方向盤小幅修正次數(shù)、方向盤大幅修正次數(shù)、方向盤持續(xù)不動(dòng)次 數(shù)、方向盤持續(xù)不動(dòng)時(shí)間、方向盤最大角度標(biāo)準(zhǔn)差、方向盤轉(zhuǎn)角速率最大零速百分比及過線 時(shí)間中的至少一種。
[0109] 作為本實(shí)施例的一種實(shí)現(xiàn)方式，該處理模塊440用于將形態(tài)學(xué)特征和轉(zhuǎn)向操作信 息作為支持向量機(jī)的輸入，采用支持向量機(jī)W確定駕駛員的疲勞狀況，
[0110] 其中，該支持向量機(jī)為：
[0111]
[0112] 其中，X為包括所述形態(tài)學(xué)特征和所述轉(zhuǎn)向操作信息的未知樣本；（xi，yi)是fi，f2， f3的支持向量；1，m，n分別是fi、f2、f3的支持向量個(gè)數(shù);ai、0i、丫 i分別是對應(yīng)支持向量的系 數(shù);bi、b2、b3分別是對應(yīng)支持向量函數(shù)的常數(shù)項(xiàng);K(xi，x)是徑向基函數(shù);fi是清醒-重度疲勞 分類器;f 2是清醒-輕度疲勞分類器;f 3是輕度疲勞-重度疲勞分類器。
[0113] 本發(fā)明實(shí)施例中，駕駛員的疲勞狀況包括清醒、輕度疲勞和重度疲勞。在其它實(shí)施 例中，駕駛員的疲勞狀況可W只分為清醒和疲勞兩種，也可W分為比=種更多的情況，本發(fā) 明實(shí)施例對此不做限制。
[0114] 優(yōu)選地，本發(fā)明實(shí)施例還可W包括警告模塊450,該警告模塊450用于根據(jù)所述處 理模塊得到的所述駕駛員的疲勞狀況和車輛的行駛狀態(tài)，確定是否發(fā)出警告信息。
[0115] 可選地，本發(fā)明實(shí)施例中的形態(tài)獲取模塊420包括人臉檢測子模塊420a、提取子模 塊42化及形態(tài)獲取子模塊420c。
[0116] 其中，人臉檢測子模塊420a用于對面部圖像進(jìn)行人臉檢測，得到人臉區(qū)域。提取子 模塊420b用于提取人臉區(qū)域中的特征候選區(qū)域，該特征候選區(qū)域包括眼睛、嘴己中的至少 一種。形態(tài)獲取子模塊420c用于根據(jù)所述提取子模塊提取的特征候選區(qū)域，獲取駕駛員的 形態(tài)學(xué)特征。
[0117] 本發(fā)明實(shí)施例綜合利用駕駛員駕駛車輛時(shí)的形態(tài)學(xué)特征和轉(zhuǎn)向操作信息W判斷 駕駛員的疲勞狀況，能夠更加準(zhǔn)確的對駕駛員疲勞狀況進(jìn)行判斷。此外，通過結(jié)合駕駛員的 疲勞狀況和車輛行駛狀態(tài)，向駕駛員發(fā)出警告信息，能夠?qū)︸{駛員進(jìn)行及時(shí)提醒，提高了駕 駛員駕駛時(shí)的安全性。
[0118] 需要說明的是:上述實(shí)施例提供的駕駛員疲勞狀況判斷裝置在判斷駕駛員的疲勞 狀況時(shí)，僅W上述各功能模塊的劃分進(jìn)行舉例說明，實(shí)際應(yīng)用中，可W根據(jù)需要而將上述功 能分配由不同的功能模塊完成，即將系統(tǒng)的內(nèi)部結(jié)構(gòu)劃分成不同的功能模塊，W完成W上 描述的全部或者部分功能。另外，上述實(shí)施例提供的駕駛員疲勞狀況判斷裝置與駕駛員疲 勞狀況判斷方法實(shí)施例屬于同一構(gòu)思，其具體實(shí)現(xiàn)過程詳見方法實(shí)施例，運(yùn)里不再寶述。
[0119] 上述本發(fā)明實(shí)施例序號僅僅為了描述，不代表實(shí)施例的優(yōu)劣。
[0120] 本領(lǐng)域普通技術(shù)人員可W理解實(shí)現(xiàn)上述實(shí)施例的全部或部分步驟可W通過硬件 來完成，也可W通過程序來指令相關(guān)的硬件完成，所述的程序可W存儲(chǔ)于一種計(jì)算機(jī)可讀 存儲(chǔ)介質(zhì)中，上述提到的存儲(chǔ)介質(zhì)可W是只讀存儲(chǔ)器，磁盤或光盤等。
[0121] W上所述僅為本發(fā)明的較佳實(shí)施例，并不用W限制本發(fā)明，凡在本發(fā)明的精神和 原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種駕駛員疲勞狀況檢測方法，其特征在于，所述方法包括： 獲取駕駛員的面部圖像； 根據(jù)所述面部圖像獲取所述駕駛員的形態(tài)學(xué)特征； 獲取所述駕駛員的轉(zhuǎn)向操作信息； 根據(jù)所述形態(tài)學(xué)特征和所述轉(zhuǎn)向操作信息，確定駕駛員的疲勞狀況。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述面部圖像獲取駕駛員的形態(tài) 學(xué)特征，包括： 對所述面部圖像進(jìn)行人臉檢測，得到人臉區(qū)域； 提取所述人臉區(qū)域中的特征區(qū)域，所述特征區(qū)域包括眼睛區(qū)域、嘴巴區(qū)域中的至少一 種； 根據(jù)所述特征區(qū)域獲取所述駕駛員的形態(tài)學(xué)特征。3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述形態(tài)學(xué)特征包括眼睛開閉狀態(tài)、嘴巴 開閉狀態(tài)、眨眼頻率和打哈欠的頻率中的至少一種，所述轉(zhuǎn)向操作信息包括統(tǒng)計(jì)類指標(biāo)及 經(jīng)驗(yàn)類指標(biāo)，所述統(tǒng)計(jì)類指標(biāo)包括根據(jù)駕駛操作參數(shù)值計(jì)算的均值、方差、均方差、極大值 中的至少一種，所述駕駛操作參數(shù)包括方向盤轉(zhuǎn)角0i、方向盤轉(zhuǎn)角速率af、橫擺角@、橫擺 角速率<、.橫向位置Hi、和橫向速度af中的至少一種，所述經(jīng)驗(yàn)類指標(biāo)包括方向盤小幅修 正次數(shù)、方向盤大幅修正次數(shù)、方向盤持續(xù)不動(dòng)次數(shù)、方向盤持續(xù)不動(dòng)時(shí)間、方向盤最大角 度標(biāo)準(zhǔn)差、方向盤轉(zhuǎn)角速率最大零速百分比及過線時(shí)間中的至少一種。4. 根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，所述根據(jù)所述形態(tài)學(xué)特征和所述 轉(zhuǎn)向操作信息，確定駕駛員的疲勞狀況，包括： 將所述形態(tài)學(xué)特征和所述轉(zhuǎn)向操作信息作為支持向量機(jī)的輸入，采用支持向量機(jī)確定 駕駛員的疲勞狀況， 其中，所述支持向量機(jī)為：其中，X為包括所述形態(tài)學(xué)特征和所述轉(zhuǎn)向操作信息的未知樣本；（xi，yi)是fi，f2，f3的 支持向量；1，111，11分別是；^、€2、€3的支持向量個(gè)數(shù);(^、01、丫1分別是對應(yīng)支持向量的系數(shù) ； bhbhh分別是對應(yīng)支持向量函數(shù)的常數(shù)項(xiàng);K(Xl，x)是徑向基函數(shù)是清醒-重度疲勞分 類器;f 2是清醒-輕度疲勞分類器;f3是輕度疲勞-重度疲勞分類器。5. 根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，所述方法還包括： 根據(jù)所述駕駛員的疲勞狀況和車輛的行駛狀態(tài)，確定是否發(fā)出警告信息。6. -種駕駛員疲勞狀況檢測裝置，其特征在于，所述裝置包括： 圖像獲取模塊，用于獲取駕駛員的面部圖像； 形態(tài)獲取模塊，用于根據(jù)所述圖像獲取模塊獲取到的所述面部圖像，獲取所述駕駛員 的形態(tài)學(xué)特征； 轉(zhuǎn)向操作信息獲取模塊，用于獲取駕駛員的轉(zhuǎn)向操作信息； 處理模塊，用于根據(jù)所述形態(tài)獲取模塊獲取到的所述形態(tài)學(xué)特征和所述轉(zhuǎn)向操作信息 獲取模塊獲取到的轉(zhuǎn)向操作信息，確定駕駛員的疲勞狀況。7. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述形態(tài)獲取模塊包括： 人臉檢測子模塊，用于對所述面部圖像進(jìn)行人臉檢測，得到人臉區(qū)域； 提取子模塊，用于提取所述人臉區(qū)域中的特征區(qū)域，所述特征區(qū)域包括眼睛區(qū)域、嘴巴 區(qū)域中的至少一種； 形態(tài)獲取子模塊，用于根據(jù)所述提取子模塊提取的特征候選區(qū)域，獲取所述駕駛員的 形態(tài)學(xué)特征。8. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述形態(tài)學(xué)特征包括眼睛開閉狀態(tài)、嘴巴 開閉狀態(tài)、眨眼頻率和打哈欠的頻率中的至少一種，所述轉(zhuǎn)向操作信息包括統(tǒng)計(jì)類指標(biāo)及 經(jīng)驗(yàn)類指標(biāo)，所述統(tǒng)計(jì)類指標(biāo)包括根據(jù)駕駛操作參數(shù)值計(jì)算的均值、方差、均方差、極大值 中的至少一種，所述駕駛操作參數(shù)包括方向盤轉(zhuǎn)角01、方向盤轉(zhuǎn)角速率af 擺角6、橫擺 角速率《f、橫向位置出、和橫向速度if中的至少一種，所述經(jīng)驗(yàn)類指標(biāo)包括方向盤小幅修正 次數(shù)、方向盤大幅修正次數(shù)、方向盤持續(xù)不動(dòng)次數(shù)、方向盤持續(xù)不動(dòng)時(shí)間、方向盤最大角度 標(biāo)準(zhǔn)差、方向盤轉(zhuǎn)角速率最大零速百分比及過線時(shí)間中的至少一種。9. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述處理模塊，用于將所述形態(tài)學(xué)特征和 所述轉(zhuǎn)向操作信息作為支持向量機(jī)的輸入，采用支持向量機(jī)確定駕駛員的疲勞狀況， 其中，所述支持向量機(jī)為：其中，X為包括所述形態(tài)學(xué)特征和所述轉(zhuǎn)向操作信息的未知樣本；（xi，yi)是fi，f2，f3的 支持向量；1，111，11分別是；^、€2、€3的支持向量個(gè)數(shù);(^、01、丫1分別是對應(yīng)支持向量的系數(shù) ； bhbhh分別是對應(yīng)支持向量函數(shù)的常數(shù)項(xiàng);K(Xl，x)是徑向基函數(shù)是清醒-重度疲勞分 類器;f 2是清醒-輕度疲勞分類器;f3是輕度疲勞-重度疲勞分類器。10. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述裝置還包括： 警告模塊，用于根據(jù)所述處理模塊得到的所述駕駛員的疲勞狀況和車輛的行駛狀態(tài)， 確定是否發(fā)出警告信息。
【文檔編號】G06K9/00GK105956548SQ201610278281
【公開日】2016年9月21日
【申請日】2016年4月29日
【發(fā)明人】方嘯, 范賢根, 張茂勝
【申請人】奇瑞汽車股份有限公司