專利名稱：基于視頻人臉分析的火車司機(jī)狀態(tài)監(jiān)控方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及遠(yuǎn)程火車司機(jī)狀態(tài)監(jiān)控報警系統(tǒng)中的圖像處理、圖像分析、人臉檢測、眼睛圖像分類技術(shù)，特別涉及一種基于視頻人臉分析的火車司機(jī)狀態(tài)監(jiān)控方法及相關(guān)裝置。
背景技術(shù)：
火車司機(jī)狀態(tài)的自動識別與遠(yuǎn)程控制技術(shù)是鐵路安全監(jiān)控系統(tǒng)朝著自動化智能化發(fā)展的必然趨勢?，F(xiàn)有的機(jī)車遠(yuǎn)程監(jiān)控系統(tǒng)主要實(shí)現(xiàn)機(jī)車環(huán)境監(jiān)控視頻的遠(yuǎn)程傳輸，無法完成火車司機(jī)狀態(tài)的自動識別與報警，也無法提供實(shí)時的現(xiàn)場提醒。如果司機(jī)出現(xiàn)長時間離崗或疲勞等狀態(tài)，處于遠(yuǎn)程管理中心的安全值班人員又沒有及時發(fā)現(xiàn)的話，則很容易造成重大的鐵路安全事故，將會給國家和人民的生命財(cái)產(chǎn)安全帶來不可挽回的巨大損失。因此，如何利用先進(jìn)的視頻圖像分析技術(shù)，結(jié)合創(chuàng)新的火車司機(jī)狀態(tài)識別報警流程和處理手段，開發(fā)出基于視頻人臉分析的火車司機(jī)狀態(tài)識別技術(shù)對于加強(qiáng)火車司機(jī)狀態(tài)遠(yuǎn)程監(jiān)控，保證鐵路運(yùn)行的安全，是一項(xiàng)非常現(xiàn)實(shí)而急迫的實(shí)際應(yīng)用需求。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于視頻人臉分析的火車司機(jī)狀態(tài)監(jiān)控方法及裝置，能更好地解決現(xiàn)有機(jī)車遠(yuǎn)程監(jiān)控系統(tǒng)實(shí)際應(yīng)用中普遍存在自動化水平低、無法提供實(shí)時的現(xiàn)場提醒信號等問題。根據(jù)本發(fā)明的一個方面，提供了一種基于視頻人臉分析的火車司機(jī)狀態(tài)監(jiān)控方法，包括實(shí)時采集火車司機(jī)的監(jiān)控視頻圖像；對采集到的監(jiān)控視頻圖像進(jìn)行人臉檢測，獲取司機(jī)臉部圖像或未獲取司機(jī)臉部圖像的檢測結(jié)果；通過對所述檢測結(jié)果進(jìn)行分析，獲得司機(jī)在崗狀態(tài)信息；根據(jù)所述司機(jī)在崗狀態(tài)信息，確定司機(jī)是否離崗，并在確定司機(jī)離崗時，發(fā)出司機(jī)離崗提醒及報警信息；以及通過對所獲取的司機(jī)臉部圖像進(jìn)行分析，獲得司機(jī)疲勞狀態(tài)信息；根據(jù)所述司機(jī)疲勞狀態(tài)信息，確定司機(jī)是否疲勞，并在確定司機(jī)疲勞時，發(fā)出司機(jī)疲勞提醒及報警信息。優(yōu)選地，所述的人臉檢測步驟包括利用由級聯(lián)在一起的判別人臉特征的多個強(qiáng)分類器和配置給每個強(qiáng)分類器的輔助判決模塊，依次對所述監(jiān)控視頻圖像中屬于人臉部分的待檢測圖像進(jìn)行人臉真假判決；若最后一級強(qiáng)分類器的人臉真假判決結(jié)果為真，或者最后一級強(qiáng)分類器的輔助判決模塊的人臉真假判決結(jié)果為真，則將該待檢測圖像確定為司機(jī)臉部圖像。優(yōu)選地，某個所述輔助判決模塊在其強(qiáng)分類器的人臉真假判決結(jié)果為假時，對所述待檢測圖像進(jìn)行人臉真假輔助判決，并在人臉真假輔助判決結(jié)果為真時，將待檢測圖像送至下一級強(qiáng)分類器進(jìn)行人臉真假判決。優(yōu)選地，所述獲得司機(jī)在崗狀態(tài)信息的步驟包括在預(yù)設(shè)臉部圖像統(tǒng)計(jì)時間內(nèi)，對所述獲取司機(jī)臉部圖像的檢測結(jié)果進(jìn)行統(tǒng)計(jì)；將得到的統(tǒng)計(jì)結(jié)果與預(yù)設(shè)臉部圖像統(tǒng)計(jì)閾值進(jìn)行比較，并根據(jù)比較結(jié)果，獲得司機(jī)在崗狀態(tài)信息。優(yōu)選地，所述對所獲取的司機(jī)臉部圖像進(jìn)行分析的步驟包括利用角點(diǎn)檢測原理，獲得司機(jī)眼睛的左眼角和右眼角的位置，并根據(jù)所述左眼角和右眼角的位置，計(jì)算司機(jī)眼睛的高度、寬度、眼睛中心位置的垂直坐標(biāo)；利用所述高度、寬度、眼睛中心位置的垂直坐標(biāo)，精確定位司機(jī)眼睛位置，并在所述司機(jī)臉部圖像中提取司機(jī)眼睛位置的圖像，得到司機(jī)眼睛圖像。優(yōu)選地，所述對所獲取的司機(jī)臉部圖像進(jìn)行分析的步驟還包括對所述司機(jī)眼睛圖像的灰度分布進(jìn)行統(tǒng)計(jì)，得到眼睛圖像歸一化直方圖；將所述眼睛圖像歸一化直方圖分別與睜眼圖像集歸一化直方圖、閉眼圖像集歸一化直方圖進(jìn)行相似性處理，得到眼睛圖像相對睜眼圖像集的睜眼相似度和眼睛圖像相對閉眼圖像集的閉眼相似度；比較所述睜眼相似度和所述閉眼相似度，并根據(jù)比較結(jié)果，確定所述眼睛圖像是睜眼狀態(tài)或閉眼狀態(tài)，以便獲取司機(jī)疲勞狀態(tài)信息。優(yōu)選地，通過對所述睜眼圖像集和所述閉眼圖像集的灰度分布分別進(jìn)行統(tǒng)計(jì)，得到睜眼圖像集歸一化直方圖、閉眼圖像集歸一化直方圖。優(yōu)選地，所述對所獲取的司機(jī)臉部圖像進(jìn)行分析的步驟還包括對所述司機(jī)眼睛圖像的眼睛閉合度進(jìn)行分析，將得到的分析結(jié)果與預(yù)設(shè)眼睛閉合度閾值進(jìn)行比較，并根據(jù)比較結(jié)果，確定所述司機(jī)眼睛圖像是睜眼狀態(tài)或閉眼狀態(tài)，以便獲取司機(jī)疲勞狀態(tài)信息。優(yōu)選地,所述確定司機(jī)是否疲勞的步驟包括在預(yù)設(shè)眼睛狀態(tài)統(tǒng)計(jì)時間內(nèi)，根據(jù)所述司機(jī)疲勞狀態(tài)信息，對眼睛圖像的閉眼狀態(tài)進(jìn)行統(tǒng)計(jì)；當(dāng)所得到的閉眼狀態(tài)統(tǒng)計(jì)結(jié)果大于預(yù)設(shè)閉眼狀態(tài)閾值時，或者當(dāng)預(yù)設(shè)連續(xù)閉眼狀態(tài)統(tǒng)計(jì)時間內(nèi)連續(xù)檢測到閉眼狀態(tài)時，確定司機(jī)處于疲勞狀態(tài)。根據(jù)本發(fā)明的另一方面，提供了一種基于視頻人臉分析的火車司機(jī)狀態(tài)監(jiān)控裝置，包括視頻采集單元，用于實(shí)時采集火車司機(jī)的監(jiān)控視頻圖像；視頻人臉智能分析單元，用于對采集到的監(jiān)控視頻圖像進(jìn)行人臉檢測，獲取司機(jī)臉部圖像或未獲取司機(jī)臉部圖像的檢測結(jié)果，通過對所述檢測結(jié)果進(jìn)行分析，獲得司機(jī)在崗狀態(tài)信息，并根據(jù)所述司機(jī)崗狀態(tài)信息，確定司機(jī)是否離崗，以及通過對所獲取的司機(jī)臉部圖像進(jìn)行分析，獲得司機(jī)疲勞狀態(tài)信息，并根據(jù)所述司機(jī)疲勞狀態(tài)信息，確定司機(jī)是否疲勞；現(xiàn)場語音提醒單元，用于在確定司機(jī)離崗時，發(fā)出司機(jī)離崗提醒及報警信息，以及在確定司機(jī)疲勞時，發(fā)出司機(jī)疲勞提醒及報警信息。
與現(xiàn)有技術(shù)相比較，本發(fā)明的有益效果在于本發(fā)明通過對機(jī)車監(jiān)控視頻圖像進(jìn)行人臉檢測、眼睛定位、眼睛狀態(tài)識別、司機(jī)疲勞狀態(tài)和離崗狀態(tài)等分析處理，實(shí)現(xiàn)了火車司機(jī)狀態(tài)的自動識別與報警提醒，從而解決了火車司機(jī)狀態(tài)的無法自動識別報警與實(shí)時現(xiàn)場提醒等問題。


圖1是本發(fā)明實(shí)施例提供的基于視頻人臉分析的火車司機(jī)狀態(tài)監(jiān)控方法原理框圖；圖2是本發(fā)明實(shí)施例提供的基于視頻人臉分析的火車司機(jī)狀態(tài)監(jiān)控裝置的結(jié)構(gòu)框圖；圖3是圖2中視頻人臉智能分析單元的結(jié)構(gòu)框圖；圖4是本發(fā)明實(shí)施例提供的一維簡單特征的類型圖；圖5是本發(fā)明實(shí)施例提供的改進(jìn)的AdaBoost算法的框架圖；圖6是本發(fā)明實(shí)施例提供的“三庭五眼”原則的基本原理圖；圖7是本發(fā)明實(shí)施例提供的一個典型的火車司機(jī)狀態(tài)監(jiān)控場景；圖8是本發(fā)明實(shí)施例提供的采用視頻人臉分析獲得的司機(jī)疲勞狀態(tài)分析結(jié)果示意圖。
具體實(shí)施例方式以下結(jié)合附圖對本發(fā)明的優(yōu)選實(shí)施例進(jìn)行詳細(xì)說明，應(yīng)當(dāng)理解，以下所說明的優(yōu)選實(shí)施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。本發(fā)明公開了 一種基于視頻人臉分析的火車司機(jī)狀態(tài)監(jiān)控方法及裝置，利用人臉檢測原理(例如AdaBoost人臉檢測算法)，對實(shí)時的監(jiān)控視頻圖像進(jìn)行人臉檢測；通過對檢測到的臉部圖像進(jìn)行分析獲得眼睛圖像；利用灰度直方圖匹配算法對眼睛圖像進(jìn)行分類，判斷司機(jī)眼睛狀態(tài)；通過對眼睛狀態(tài)進(jìn)行統(tǒng)計(jì)判斷，獲得司機(jī)的疲勞狀態(tài)，并形成相應(yīng)的現(xiàn)場提醒和遠(yuǎn)程報警信息。此外，通過分析視頻人臉檢測結(jié)果，獲得司機(jī)的在崗狀態(tài)，并形成相應(yīng)的現(xiàn)場提醒和遠(yuǎn)程報警信息。本發(fā)明結(jié)合視頻人臉分析處理功能和視頻服務(wù)器功能，利用3G無線寬帶模塊，實(shí)現(xiàn)了火車司機(jī)狀態(tài)的遠(yuǎn)程自動監(jiān)控報警功能。圖1是本發(fā)明實(shí)施例提供的基于視頻人臉分析的火車司機(jī)狀態(tài)監(jiān)控方法原理框圖，如圖1所示，步驟包括步驟101、實(shí)時采集火車司機(jī)的監(jiān)控視頻圖像。步驟102、對采集到的監(jiān)控視頻圖像進(jìn)行人臉檢測，獲取司機(jī)臉部圖像或未獲取司機(jī)臉部圖像的檢測結(jié)果。所述步驟102中，所述的人臉檢測步驟包括利用由級聯(lián)在一起的判別人臉特征的多個強(qiáng)分類器和配置給每個強(qiáng)分類器的輔助判決模塊，依次對所述監(jiān)控視頻圖像中屬于人臉部分的待檢測圖像進(jìn)行人臉真假判決；若最后一級強(qiáng)分類器的人臉真假判決結(jié)果為真，或者最后一級強(qiáng)分類器的輔助判決模塊的人臉真假判決結(jié)果為真，則將該待檢測圖像確定為司機(jī)臉部圖像。其中，某個所述輔助判決模塊在其強(qiáng)分類器的人臉真假判決結(jié)果為假時，對所述待檢測圖像進(jìn)行人臉真假輔助判決，并在人臉真假輔助判決結(jié)果為真時，將待檢測圖像送至下一級強(qiáng)分類器進(jìn)行人臉真假判決。步驟103、通過對所述檢測結(jié)果進(jìn)行分析，獲得司機(jī)在崗狀態(tài)信息。所述步驟103中，所述獲得司機(jī)在崗狀態(tài)信息的步驟包括在預(yù)設(shè)臉部圖像統(tǒng)計(jì)時間內(nèi)，對所述獲取司機(jī)臉部圖像的檢測結(jié)果進(jìn)行統(tǒng)計(jì)；將得到的統(tǒng)計(jì)結(jié)果與預(yù)設(shè)臉部圖像統(tǒng)計(jì)閾值進(jìn)行比較，并根據(jù)比較結(jié)果，獲得司機(jī)在崗狀態(tài)信息。步驟104、根據(jù)所述司機(jī)在崗狀態(tài)信息，確定司機(jī)是否離崗，并在確定司機(jī)離崗時，發(fā)出司機(jī)離崗提醒及報警信息。步驟105、通過對所獲取的司機(jī)臉部圖像進(jìn)行分析，獲得司機(jī)疲勞狀態(tài)信息。所述步驟105中，所述對所獲取的司機(jī)臉部圖像進(jìn)行分析的步驟包括在所述司機(jī)臉部圖像中，初步定位司機(jī)眼睛位置；利用角點(diǎn)檢測原理，獲得司機(jī)眼睛的左眼角和右眼角的位置，并根據(jù)所述左眼角和右眼角的位置，計(jì)算司機(jī)眼睛的高度、寬度、眼睛中心位置的垂直坐標(biāo)；利用所述高度、寬度、眼睛中心位置的垂直坐標(biāo)，精確定位司機(jī)眼睛位置，獲取司機(jī)眼睛圖像。對所述司機(jī)眼睛圖像的灰度分布進(jìn)行統(tǒng)計(jì)，得到眼睛圖像歸一化直方圖；將所述眼睛圖像歸一化直方圖分別與睜眼圖像集歸一化直方圖、閉眼圖像集歸一化直方圖進(jìn)行相似性處理，得到眼睛圖像相對睜眼圖像集的睜眼相似度和眼睛圖像相對閉眼圖像集的閉眼相似度；比較所述睜眼相似度和所述閉眼相似度，并根據(jù)比較結(jié)果，確定所述眼睛圖像是睜眼狀態(tài)或閉眼狀態(tài)，以便獲取司機(jī)疲勞狀態(tài)信息。其中，所述睜眼圖像集歸一化直方圖和所述閉眼圖像集歸一化直方圖通過對所述睜眼圖像集和所述閉眼圖像集的灰度分布分別進(jìn)行統(tǒng)計(jì)?；蛘?，對所述司機(jī)眼睛圖像的眼睛閉合度進(jìn)行分析，將得到的分析結(jié)果與預(yù)設(shè)眼睛閉合度閾值進(jìn)行比較，并根據(jù)比較結(jié)果，確定所述司機(jī)眼睛圖像是睜眼狀態(tài)或閉眼狀態(tài)，以便獲取司機(jī)疲勞狀態(tài)信息。步驟106、根據(jù)所述司機(jī)疲勞狀態(tài)信息，確定司機(jī)是否疲勞，并在確定司機(jī)疲勞時，發(fā)出司機(jī)疲勞提醒及報警信息。所述步驟106中，所述確定司機(jī)是否疲勞的步驟包括在預(yù)設(shè)眼睛狀態(tài)統(tǒng)計(jì)時間內(nèi)，根據(jù)所述司機(jī)疲勞狀態(tài)信息，對眼睛圖像的閉眼狀態(tài)進(jìn)行統(tǒng)計(jì)；當(dāng)所得到的閉眼狀態(tài)統(tǒng)計(jì)結(jié)果大于預(yù)設(shè)閉眼狀態(tài)閾值時，或者當(dāng)預(yù)設(shè)連續(xù)閉眼狀態(tài)統(tǒng)計(jì)時間內(nèi)連續(xù)檢測到閉眼狀態(tài)時，確定司機(jī)處于疲勞狀態(tài)。圖2顯示了本發(fā)明的基于視頻人臉分析的火車司機(jī)狀態(tài)監(jiān)控裝置，包括視頻采集單元，用于實(shí)時采集火車司機(jī)的監(jiān)控視頻圖像。視頻人臉智能分析單元，用于對采集到的監(jiān)控視頻圖像進(jìn)行人臉檢測，獲取司機(jī)臉部圖像或未獲取司機(jī)臉部圖像的檢測結(jié)果，通過對所述檢測結(jié)果進(jìn)行分析，獲得司機(jī)在崗狀態(tài)信息，并根據(jù)所述司機(jī)崗狀態(tài)信息，確定司機(jī)是否離崗，以及通過對所獲取的司機(jī)臉部圖像進(jìn)行分析，獲得司機(jī)疲勞狀態(tài)信息，并根據(jù)所述司機(jī)疲勞狀態(tài)信息，確定司機(jī)是否疲勞?，F(xiàn)場語音提醒單元，用于在確定司機(jī)離崗時，發(fā)出司機(jī)離崗提醒及報警信息，以及在確定司機(jī)疲勞時，發(fā)出司機(jī)疲勞提醒及報警信息。也就是說，所述現(xiàn)場語音提醒單元用于根據(jù)現(xiàn)場處理結(jié)果進(jìn)行相應(yīng)的語音提醒及報警等。視頻編解碼與傳輸單元，用于將所述視頻采集單元采集的現(xiàn)場司機(jī)的監(jiān)控視頻圖像進(jìn)行H. 264編碼，并通過網(wǎng)絡(luò)接口進(jìn)行傳輸，提供遠(yuǎn)程視頻監(jiān)控功能。報警信息遠(yuǎn)程傳輸單元，用于將現(xiàn)場形成的提醒及報警信息通過網(wǎng)絡(luò)接口傳到監(jiān)控中心。遠(yuǎn)程控制與語音對講單元，用于遠(yuǎn)程監(jiān)控中心對裝置進(jìn)行遠(yuǎn)程控制，并用于監(jiān)控中心與火車司機(jī)的語音對講。無線寬帶網(wǎng)絡(luò)單元，用于將現(xiàn)場監(jiān)控視頻圖像和提醒及報警信息進(jìn)行無線網(wǎng)絡(luò)傳輸，主要包括3G無線模塊和嵌入式驅(qū)動。圖3顯示了圖2中的視頻人臉智能分析單元的結(jié)構(gòu)，所述視頻人臉智能分析單元通過對實(shí)時的監(jiān)控視頻圖像進(jìn)行處理，獲得司機(jī)的疲勞狀態(tài)和在崗狀態(tài)，并形成相應(yīng)的現(xiàn)場提醒和遠(yuǎn)程報警信息，其包括人臉檢測單元，用于對監(jiān)控視頻圖像進(jìn)行人臉檢測處理，獲得圖像中的司機(jī)臉部圖像。眼睛定位單元，用于對司機(jī)臉部圖像進(jìn)行分析，定位和提取眼睛圖像。眼睛狀態(tài)識別單元，用于通過對眼睛圖像進(jìn)行灰度直方圖匹配，獲得眼睛狀態(tài)。司機(jī)狀態(tài)分析單元，用于對設(shè)定時間內(nèi)的司機(jī)眼睛狀態(tài)進(jìn)行統(tǒng)計(jì)分析，獲得司機(jī)的疲勞狀態(tài)；通過對設(shè)定時間內(nèi)監(jiān)控視頻圖像中檢測到人臉的圖像幀數(shù)進(jìn)行統(tǒng)計(jì)獲得司機(jī)的在崗狀態(tài)。下面結(jié)合附圖4至圖6對本發(fā)明進(jìn)行詳細(xì)說明—、對實(shí)時采集的監(jiān)控視頻圖像進(jìn)行人臉檢測，獲得司機(jī)的臉部圖像。

本發(fā)明利用由級聯(lián)在一起的判別人臉特征的多個強(qiáng)分類器和配置給每個強(qiáng)分類器的輔助判決模塊，依次對所述監(jiān)控視頻圖像中屬于人臉部分的待檢測圖像進(jìn)行人臉真假判決；若最后一級強(qiáng)分類器的人臉真假判決結(jié)果為真，或者最后一級強(qiáng)分類器的輔助判決模塊的人臉真假判決結(jié)果為真，則將該待檢測圖像確定為司機(jī)臉部圖像。其中，某個所述輔助判決模塊在其強(qiáng)分類器的人臉真假判決結(jié)果為假時，對所述待檢測圖像進(jìn)行人臉真假輔助判決，并在人臉真假輔助判決結(jié)果為真時，將待檢測圖像送至下一級強(qiáng)分類器進(jìn)行人臉真假判決。以AdaBoost人臉檢測原理為例,所述AdaBoost人臉檢測原理是一種基于積分圖、級聯(lián)檢測器和AdaBoost算法的人臉檢測原理，其基本思想是將大量的分類能力一般的弱分類器通過一定方法疊加起來，構(gòu)成一個強(qiáng)分類器。AdaBoost人臉檢測原理用于人臉檢測時，從人臉圖像中抽取大量的不同尺度和位置的一維簡單特征構(gòu)成弱分類器。這些簡單特征構(gòu)成的分類器都有一定的人臉和非人臉區(qū)分性，最終的分類系統(tǒng)使用數(shù)千個這樣的一維簡單特征分類器組合起來達(dá)到很好的分類效果，如圖4所示，給出了這些一維簡單特征的類型。所述AdaBoost算法描述如下已知有η個訓(xùn)練樣本(X1, y2)，. . .，(xn, yn)的訓(xùn)練集，其中
Io 負(fù)樣本 H⑴
y^ii正樣本1=1’2一n⑴在訓(xùn)練樣本中，共有I個正樣本，m個負(fù)樣本，待分類物體有k個不同尺度和位置的簡單特征，表示為A(x)，其中I < j < k。對于第i個樣本Xi，它的特征為{fj (X)，f2 (X)，· · ·，fj (X)，· · ·，fk (X)}(2)對應(yīng)于每個輸入特征&都有一個簡單的二值分類器。第j個特征的弱分類器由一個閾值Θ P —個特征A和一個指示不等式方向的偏置P」構(gòu)成
權(quán)利要求
1.基于視頻人臉分析的火車司機(jī)狀態(tài)監(jiān)控方法，其特征在于，包括 實(shí)時采集火車司機(jī)的監(jiān)控視頻圖像； 對采集到的監(jiān)控視頻圖像進(jìn)行人臉檢測，獲取司機(jī)臉部圖像或未獲取司機(jī)臉部圖像的檢測結(jié)果； 通過對所述檢測結(jié)果進(jìn)行分析，獲得司機(jī)在崗狀態(tài)信息； 根據(jù)所述司機(jī)在崗狀態(tài)信息，確定司機(jī)是否離崗，并在確定司機(jī)離崗時，發(fā)出司機(jī)離崗提醒及報警信息；以及 通過對所獲取的司機(jī)臉部圖像進(jìn)行分析，獲得司機(jī)疲勞狀態(tài)信息； 根據(jù)所述司機(jī)疲勞狀態(tài)信息，確定司機(jī)是否疲勞，并在確定司機(jī)疲勞時，發(fā)出司機(jī)疲勞提醒及報警信息。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的人臉檢測步驟包括 利用由級聯(lián)在一起的判別人臉特征的多個強(qiáng)分類器和配置給每個強(qiáng)分類器的輔助判決模塊，依次對所述監(jiān)控視頻圖像中屬于人臉部分的待檢測圖像進(jìn)行人臉真假判決； 若最后一級強(qiáng)分類器的人臉真假判決結(jié)果為真，或者最后一級強(qiáng)分類器的輔助判決模塊的人臉真假判決結(jié)果為真，則將該待檢測圖像確定為司機(jī)臉部圖像。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，某個所述輔助判決模塊在其強(qiáng)分類器的人臉真假判決結(jié)果為假時，對所述待檢測圖像進(jìn)行人臉真假輔助判決，并在人臉真假輔助判決結(jié)果為真時，將待檢測圖像送至下一級強(qiáng)分類器進(jìn)行人臉真假判決。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲得司機(jī)在崗狀態(tài)信息的步驟包括 在預(yù)設(shè)臉部圖像統(tǒng)計(jì)時間內(nèi)，對所述獲取司機(jī)臉部圖像的檢測結(jié)果進(jìn)行統(tǒng)計(jì)； 將得到的統(tǒng)計(jì)結(jié)果與預(yù)設(shè)臉部圖像統(tǒng)計(jì)閾值進(jìn)行比較，并根據(jù)比較結(jié)果，獲得司機(jī)在崗狀態(tài)信息。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所獲取的司機(jī)臉部圖像進(jìn)行分析的步驟包括 利用角點(diǎn)檢測原理，獲得司機(jī)眼睛的左眼角和右眼角的位置，并根據(jù)所述左眼角和右眼角的位置，計(jì)算司機(jī)眼睛的高度、寬度、眼睛中心位置的垂直坐標(biāo)； 利用所述高度、寬度、眼睛中心位置的垂直坐標(biāo)，精確定位司機(jī)眼睛位置，并在所述司機(jī)臉部圖像中提取司機(jī)眼睛位置的圖像，得到司機(jī)眼睛圖像。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述對所獲取的司機(jī)臉部圖像進(jìn)行分析的步驟還包括 對所述司機(jī)眼睛圖像的灰度分布進(jìn)行統(tǒng)計(jì)，得到眼睛圖像歸一化直方圖； 將所述眼睛圖像歸一化直方圖分別與睜眼圖像集歸一化直方圖、閉眼圖像集歸一化直方圖進(jìn)行相似性處理，得到眼睛圖像相對睜眼圖像集的睜眼相似度和眼睛圖像相對閉眼圖像集的閉眼相似度； 比較所述睜眼相似度和所述閉眼相似度，并根據(jù)比較結(jié)果，確定所述眼睛圖像是睜眼狀態(tài)或閉眼狀態(tài)，以便獲取司機(jī)疲勞狀態(tài)信息。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，通過對所述睜眼圖像集和所述閉眼圖像集的灰度分布分別進(jìn)行統(tǒng)計(jì)，得到睜眼圖像集歸一化直方圖、閉眼圖像集歸一化直方圖。
8.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述對所獲取的司機(jī)臉部圖像進(jìn)行分析的步驟還包括 對所述司機(jī)眼睛圖像的眼睛閉合度進(jìn)行分析，將得到的分析結(jié)果與預(yù)設(shè)眼睛閉合度閾值進(jìn)行比較，并根據(jù)比較結(jié)果，確定所述司機(jī)眼睛圖像是睜眼狀態(tài)或閉眼狀態(tài)，以便獲取司機(jī)疲勞狀態(tài)信息。
9.根據(jù)權(quán)利要求6或8所述的方法，其特征在于，所述確定司機(jī)是否疲勞的步驟包括 在預(yù)設(shè)眼睛狀態(tài)統(tǒng)計(jì)時間內(nèi)，根據(jù)所述司機(jī)疲勞狀態(tài)信息，對眼睛圖像的閉眼狀態(tài)進(jìn)行統(tǒng)計(jì)； 當(dāng)所得到的閉眼狀態(tài)統(tǒng)計(jì)結(jié)果大于預(yù)設(shè)閉眼狀態(tài)閾值時，或者當(dāng)預(yù)設(shè)連續(xù)閉眼狀態(tài)統(tǒng)計(jì)時間內(nèi)連續(xù)檢測到閉眼狀態(tài)時，確定司機(jī)處于疲勞狀態(tài)。
10.基于視頻人臉分析的火車司機(jī)狀態(tài)監(jiān)控裝置，其特征在于，包括 視頻采集單元，用于實(shí)時采集火車司機(jī)的監(jiān)控視頻圖像； 視頻人臉智能分析單元，用于對采集到的監(jiān)控視頻圖像進(jìn)行人臉檢測，獲取司機(jī)臉部圖像或未獲取司機(jī)臉部圖像的檢測結(jié)果，通過對所述檢測結(jié)果進(jìn)行分析，獲得司機(jī)在崗狀態(tài)信息，并根據(jù)所述司機(jī)崗狀態(tài)信息，確定司機(jī)是否離崗，以及通過對所獲取的司機(jī)臉部圖像進(jìn)行分析，獲得司機(jī)疲勞狀態(tài)信息，并根據(jù)所述司機(jī)疲勞狀態(tài)信息，確定司機(jī)是否疲勞；現(xiàn)場語音提醒單元，用于在確定司機(jī)離崗時，發(fā)出司機(jī)離崗提醒及報警信息，以及在確定司機(jī)疲勞時，發(fā)出司機(jī)疲勞提醒及報警信息。
全文摘要
本發(fā)明公開一種基于視頻人臉分析的火車司機(jī)狀態(tài)監(jiān)控方法及裝置，方法包括實(shí)時采集火車司機(jī)的監(jiān)控視頻圖像；對采集到的監(jiān)控視頻圖像進(jìn)行人臉檢測，得到獲取司機(jī)臉部圖像或未獲取司機(jī)臉部圖像的檢測結(jié)果；通過對所述檢測結(jié)果進(jìn)行分析，獲得司機(jī)在崗狀態(tài)信息；根據(jù)所述司機(jī)在崗狀態(tài)信息，確定司機(jī)是否離崗，并在確定司機(jī)離崗時，發(fā)出司機(jī)離崗提醒及報警信息；以及通過對所獲取的司機(jī)臉部圖像進(jìn)行分析，獲得司機(jī)疲勞狀態(tài)信息；根據(jù)所述司機(jī)疲勞狀態(tài)信息，確定司機(jī)是否疲勞，并在確定司機(jī)疲勞時，發(fā)出司機(jī)疲勞提醒及報警信息。本發(fā)明能夠完成火車司機(jī)狀態(tài)的自動識別與報警提醒，實(shí)現(xiàn)了火車司機(jī)狀態(tài)的自動識別報警與實(shí)時現(xiàn)場提醒。
文檔編號G06K9/00GK103065121SQ20121054048
公開日2013年4月24日 申請日期2012年12月13日 優(yōu)先權(quán)日2012年12月13日
發(fā)明者李秋華, 杜鹢, 任芳 申請人:李秋華, 杜鹢, 任芳