一種基于機器視覺的駕駛員疲勞駕駛檢測系統(tǒng)及檢測方法
【技術領域】
[0001] 本發(fā)明屬于機器視覺、機器學習技術領域，具體涉及一種基于機器視覺的駕駛員 疲勞駕駛檢測系統(tǒng)及檢測方法。
【背景技術】
[0002] 疲勞駕駛是導致交通事故發(fā)生的主要原因之一。在世界各地，每年都有許多車禍 是由疲勞駕駛所導致。據美國國家公路安全管理局（NHTSA)的調查數據統(tǒng)計，每年由疲勞 駕駛引起的交通事故達100, 〇〇〇起，占交通事故總量的16%以上。疲勞駕駛檢測系統(tǒng)能夠 實時地檢測駕駛員的疲勞狀態(tài)并在疲勞駕駛發(fā)生時及時地向車內人員發(fā)出警報，這對預防 因疲勞駕駛而產生的交通事故的發(fā)生和避免因事故發(fā)生而造成的巨大費用損失有著重要 的作用。
[0003] 現(xiàn)有的疲勞駕駛檢測系統(tǒng)依據的信息主要有三種，分別為駕駛員生理信息，車輛 行為信息以及駕駛員面部圖像信息。基于駕駛員生理信息的疲勞檢測系統(tǒng)，在檢測時需要 相應的信息采集設備，如心電圖儀，腦電圖儀等，與駕駛員進行直接接觸，嚴重干擾了駕駛 員的正常駕駛。同時，由于這些設備昂貴的價格和龐大的體積，進一步阻礙了這類系統(tǒng)的推 廣普及?；谲囕v行為信息的疲勞檢測系統(tǒng)，由于不同車型以及不同路況之間的差異，要采 集方向盤轉角、油門踏板力、車輛與道路中線距離等車輛行為信息較為困難。又因為不同的 駕駛員有不同的駕駛習慣，難以統(tǒng)一疲勞判斷標準，導致這類系統(tǒng)的疲勞判斷準確率不高。 基于駕駛員面部圖像的疲勞檢測系統(tǒng)，通過提取圖像中的疲勞特征，例如眼部特征（眨眼 頻率），頭部特征（抬頭低頭）以及嘴部特征（打哈氣），來判斷駕駛員的疲勞狀態(tài)，但是現(xiàn) 有的此類系統(tǒng)有三大缺陷：第一，現(xiàn)有系統(tǒng)主要通過單一的面部特征來判斷疲勞狀態(tài)，導致 了它們在復雜的駕駛環(huán)境下適應性較差的問題；第二，現(xiàn)有系統(tǒng)不能夠進行自我改進來適 應不同駕駛員各自的特點；第三，現(xiàn)有系統(tǒng)由于計算速度不足的原因導致了系統(tǒng)的實時性 不強。

【發(fā)明內容】

[0004] 針對現(xiàn)有技術的不足，本發(fā)明提出一種基于機器視覺的駕駛員疲勞駕駛檢測系統(tǒng) 及檢測方法，以達到降低侵入性和成本，提高適應和實時性的目的。
[0005] -種基于機器視覺的駕駛員疲勞駕駛檢測系統(tǒng)，該系統(tǒng)包括五官及面部的定位與 追蹤模塊、疲勞特征狀態(tài)判斷及綜合疲勞判斷模塊和基于駕駛員反饋的在線學習模塊，其 中，
[0006] 五官及面部的定位與追蹤模塊：用于接收攝像頭所拍攝的追蹤圖像，并對追蹤圖 像中人物的五官及面部進行定位，將五官及面部圖像截取出，發(fā)送至疲勞特征狀態(tài)判斷及 綜合疲勞判斷模塊中；
[0007] 疲勞特征狀態(tài)判斷及綜合疲勞判斷模塊：
[0008] 初始化時，用于獲得截取后圖像像素和人工標定疲勞特征所屬分類的訓練集，基 于極限學習機對疲勞特征狀態(tài)分類器進行訓練；再獲得多組追蹤圖像的五官及面部疲勞特 征狀態(tài)向量和對應人物的疲勞狀態(tài)形成訓練集，并基于極限學習機對疲勞狀態(tài)分類器進行 訓練；
[0009] 實際檢測時，用于獲得截取后圖像的像素矩陣，并將上述像素矩陣轉換為特征向 量，根據轉換后的特征向量，采用疲勞特征狀態(tài)分類器和疲勞狀態(tài)分類器判斷駕駛員是否 屬于疲勞狀態(tài)，若是則發(fā)出警告提醒駕駛員并判斷駕駛員是否有發(fā)送反饋信號，否則繼續(xù) 檢測；若有駕駛員反饋信號，則將反饋信號發(fā)送至基于駕駛員反饋的在線學習模塊中；
[0010] 基于駕駛員反饋的在線學習模塊：用于根據駕駛員反饋信號進行在線學習，重新 對疲勞狀態(tài)分類器進行訓練。
[0011] 采用基于機器視覺的駕駛員疲勞駕駛檢測系統(tǒng)進行的檢測方法，包括以下步驟：
[0012] 步驟1、使用攝像頭采集疲勞狀態(tài)下的人物視頻和未疲勞狀態(tài)下的人物視頻；
[0013] 步驟2、設置視頻所需提取的連續(xù)圖像幀的個數，獲得追蹤圖像；
[0014] 步驟3、定位追蹤圖像中人物的五官及面部的所在位置并截取，獲得截取后圖像像 素和人工標定疲勞特征所屬分類的訓練集，基于極限學習機對疲勞特征狀態(tài)分類器進行訓 練；
[0015] 步驟4、獲得多組追蹤圖像的五官及面部疲勞特征狀態(tài)向量和對應人物的疲勞狀 態(tài)形成訓練集，并基于極限學習機對疲勞狀態(tài)分類器進行訓練；
[0016] 步驟5、通過車載裝置中的攝像頭采集駕駛員行車過程中的人物圖像；
[0017] 步驟6、對駕駛員的五官及面部進行定位并截??；
[0018] 步驟7、獲得截取后圖像的像素矩陣，并將上述像素矩陣轉換為特征向量；
[0019] 步驟8、根據轉換后的特征向量，采用疲勞特征狀態(tài)分類器和疲勞狀態(tài)分類器判斷 車主是否屬于疲勞狀態(tài)，若是，則執(zhí)行步驟9 ;否則，返回執(zhí)行步驟5 ;
[0020] 步驟9、發(fā)出警告提醒駕駛員并判斷駕駛員是否有發(fā)送反饋信號，若是，則執(zhí)行步 驟10,否則執(zhí)行步驟5;
[0021] 步驟10、根據駕駛員反饋信號進行在線學習，重新對疲勞狀態(tài)分類器進行訓練，返 回執(zhí)行步驟5,直至檢測結束。
[0022] 步驟3所述的定位追蹤圖像中人物的五官及面部的所在位置并截取，獲得截取后 圖像像素和人工標定疲勞特征所屬分類的訓練集，具體為：
[0023] 截圖的圖像包括眼睛、嘴和面部，將截取后的圖像的像素矩陣轉換為特征向量；
[0024] 通過人工標定的方式確定所截取圖像中的疲勞特征所述的分類：
[0025] 當疲勞特征為眼睛時，所屬分類包括睜眼和閉眼；
[0026] 當疲勞特征為嘴時，所屬分類包括張嘴和閉嘴；
[0027] 當疲勞特征為面部時，所屬分類包括抬頭和低頭。
[0028] 步驟4所述的獲得多組追蹤圖像的五官及面部疲勞特征狀態(tài)向量和對應人物的 疲勞狀態(tài)形成訓練集，具體為：
[0029] 所述的追蹤圖像為連續(xù)多張圖像，獲得追蹤圖像中每個圖像的五官及面部疲勞特 征狀態(tài)，即確定疲勞特征的所屬分類，形成五官及面部疲勞特征向量；將多組五官及面部疲 勞特征向量和對應人物的實際疲勞狀態(tài)形成訓練集。
[0030] 步驟4所述的五官及面部疲勞特征狀態(tài)向量和步驟7所述的特征向量，采用主成 分析法對其進行降維處理。
[0031] 步驟10所述的根據駕駛員反饋信號進行在線學習，具體為：
[0032] 獲得產生疲勞狀態(tài)判斷錯誤時駕駛員人物圖像的五官及面部截圖，將截取后圖像 的像素矩陣轉換為特征向量，將該特征向量替換步驟4所述訓練集中的特征向量，重新基 于極限學習機對疲勞狀態(tài)分類器進行訓練。
[0033] 本發(fā)明優(yōu)點：
[0034] 本發(fā)明提出一種基于機器視覺的駕駛員疲勞駕駛檢測系統(tǒng)及檢測方法，該系統(tǒng)屬 于非侵入式檢測系統(tǒng)，在檢測時通過攝像頭采集所需信息，不影響駕駛員的正常駕駛，且本 系統(tǒng)所需的設備價格低、體積小，僅需在車內安裝藍牙攝像頭，在手機內安裝相應的app軟 件，便可實現(xiàn)對駕駛員的疲勞檢測；相對于基于車輛行為信息的疲勞檢測系統(tǒng)，本系統(tǒng)采集 信息方便易行，使用時僅需外加攝像頭即可適應任何車型及路況，擁有一致的疲勞判斷標 準和較高的疲勞判斷準確率；相對于基于駕駛員面部圖像的疲勞檢測系統(tǒng)，本系統(tǒng)綜合了 眼部、嘴部和臉部疲勞特征，提高了在復雜的駕駛環(huán)境下疲勞判斷的準確率，并結合機器學 習相關技術根據駕駛員的反饋來快速更新系統(tǒng)自身參數以適應不同駕駛員自身的不同特 點；而且本系統(tǒng)采用極限學習機來進行疲勞特征狀態(tài)以及疲勞綜合判斷，系統(tǒng)訓練時間短， 計算速度快，實時性強。
【附圖說明】
[0035] 圖1為本發(fā)明一種實施例的基于機器視覺的駕駛員疲勞駕駛檢測系統(tǒng)結構框圖；
[0036] 圖2為本發(fā)明一種實施例的基于機器視覺的駕駛員疲勞駕駛檢測方法流程圖；
[0037] 圖3為本發(fā)明一種實施例的采集圖像示意圖；
[0038] 圖4為本發(fā)明一種實施例的采集圖像截取部分示意圖，其中，圖（a)為眼部效果 圖，圖（b)為嘴部效果圖，圖（c)為面部效果圖。
【具體實施方式】
[0039] 下面結合附圖對本發(fā)明一種實施例做進一步說明。
[0040] 本發(fā)明實施例中，如圖1所示，一種基于機器視覺的駕駛員疲勞駕駛檢測系統(tǒng)包 括五官及面部的定位與追蹤模塊、疲勞特征狀態(tài)判斷及綜合疲勞判斷模塊和基于駕駛員反 饋的在線學習模塊，其中，
[0041] 五官及面部的定位與追蹤模塊：用于接收攝像頭所拍攝的追蹤圖像，并對追蹤圖 像中人物的五官及面部進行定位，將五官