本發(fā)明屬于軌道交通控制領(lǐng)域，特別涉及一種基于kinect的軌道列車駕駛員狀態(tài)的實(shí)時監(jiān)測和預(yù)警方法與系統(tǒng)。

背景技術(shù)：

列車行駛過程中，列車駕駛員的生理狀態(tài)對列車的安全運(yùn)行有很大的影響。列車駕駛員的生理狀態(tài)主要包括生理健康狀態(tài)和疲勞狀態(tài)。根據(jù)交通事故統(tǒng)計(jì)年鑒，約15-20％的鐵路交通事故和駕駛疲勞有關(guān)，疲勞駕駛嚴(yán)重影響列車駕駛員的警覺性、應(yīng)變性及安全駕駛能力。為了防范疲勞駕駛帶來的軌道列車安全隱患，駕駛室里的司機(jī)腳下有一個按鈕，要求司機(jī)在一定時間內(nèi)就得踩一次，一旦超出規(guī)定時間沒有踩，該按鈕就會發(fā)出警示，提示司機(jī)做出反應(yīng)。如果司機(jī)在幾秒之內(nèi)沒有做出回應(yīng)，列車就會自動減速停車。軌道列車操作繁瑣，信號種類多，司機(jī)常常要手眼口并用，因此必須集中高度的注意力，現(xiàn)有的裝置要求司機(jī)在一定的時間內(nèi)對警示裝置做出反應(yīng)，容易分散司機(jī)的注意力。同時隨著高速鐵路規(guī)模的擴(kuò)大，駕駛員工作強(qiáng)度增大，對駕駛員的生理健康監(jiān)測引起了人們越來越大的重視。

列車駕駛員工作強(qiáng)度大，注意力要求高度集中，為了避免司機(jī)誤操作，當(dāng)遇上車門開關(guān)、開車、停車、通過車站、遇上速度限制和識別不同的鐵路信號時，司機(jī)使用相關(guān)操作手勢并說出對應(yīng)指令。這種方式雖然在一定程度讓司機(jī)減少誤判情況，但是缺少糾錯機(jī)制和反饋機(jī)制，不能從根本上完全消除誤判情況。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供了一種基于kinect的軌道列車駕駛員狀態(tài)的實(shí)時監(jiān)測和預(yù)警方法與系統(tǒng)，其目的在于，利用kinect傳感器陣列采集駕駛員的綜合駕駛狀態(tài)，從根本上完全消除司機(jī)看錯誤判信號和指令的情況，實(shí)現(xiàn)了對軌道列車駕駛員駕駛狀態(tài)的識別、監(jiān)測和預(yù)警。

一種基于kinect的軌道列車駕駛員狀態(tài)的實(shí)時監(jiān)測和預(yù)警方法，包括以下步驟：

步驟1：利用設(shè)置于駕駛室前方的kinect傳感器陣列采集駕駛員工作狀態(tài)信息；

所述駕駛員工作狀態(tài)信息包括駕駛員彩色圖像數(shù)據(jù)、深度數(shù)據(jù)、骨骼圖像數(shù)據(jù)以及語音數(shù)據(jù)；

步驟2：對駕駛員工作狀態(tài)信息進(jìn)行數(shù)據(jù)處理；

對采集到的駕駛員彩色圖像進(jìn)行駕駛員心率檢測；

對采集到的駕駛員彩色圖像進(jìn)行面部特征提取，采用歐拉視頻放大方法，讀取每幀面部特征圖像的rgb代表像素，利用帶通濾波器對rgb代表像素進(jìn)行濾波處理，并對濾波后的像素進(jìn)行pca分析(主元分析)和光譜分析，讀取駕駛員心率，并將心率數(shù)據(jù)發(fā)送給心率監(jiān)測預(yù)警模塊和疲勞監(jiān)測預(yù)警模塊；

對采集到的駕駛員彩色圖像進(jìn)行身份識別，同時，從提取的面部特征中的眼部區(qū)域特征，識別閉眼動作，獲得閉眼時間占總測試時間的比例perclos值；

kinect傳感器面部圖像處理模塊對駕駛員面部特征進(jìn)行提取，對駕駛員的身份識別，記錄同一駕駛員的駕駛時間，并發(fā)送給kinect傳感器疲勞監(jiān)測模塊。同時，提取駕駛員的眼部區(qū)域，識別閉眼動作，計(jì)算perclos值(閉眼時間占總測試時間的比例)，并發(fā)送給疲勞監(jiān)測預(yù)警模塊。

利用駕駛員的身份識別，精準(zhǔn)的提取了同一駕駛員的所有相關(guān)信息，避免了誤檢。

對采集到的駕駛員骨骼數(shù)據(jù)和深度圖像進(jìn)行手勢識別與匹配，獲得駕駛員發(fā)出的手勢指令信號；

kinect傳感器手勢識別模塊對采集到的駕駛員骨骼數(shù)據(jù)和手部的深度圖像進(jìn)行手勢識別，并在手勢模型數(shù)據(jù)庫中的手勢內(nèi)容匹配，手勢模型數(shù)據(jù)庫包括上述“軌道彎道、道岔、進(jìn)路、信號”對應(yīng)的安全確認(rèn)的標(biāo)準(zhǔn)動作手勢。與手勢模型數(shù)據(jù)庫中匹配得到對應(yīng)的指令信號信息，并發(fā)送給誤判監(jiān)測預(yù)警模塊。

對采集到的駕駛員語音數(shù)據(jù)進(jìn)行語音關(guān)鍵詞提取，并結(jié)合面部特征中的唇部區(qū)域特征，識別出唇部動態(tài)動作，將語音關(guān)鍵詞和唇部動作進(jìn)行特征融合匹配，獲取駕駛員發(fā)出的語音指令信號；

所述kinect傳感器語音識別模塊對采集到的駕駛員語音進(jìn)行識別，提取語音關(guān)鍵詞，語音關(guān)鍵詞包括“軌道彎道、道岔、進(jìn)路、信號”。對采集到的駕駛員面部圖像檢測，識別唇部區(qū)域，通過對唇部特征提取和分析，識別出唇部動態(tài)動作，對唇部動作和語音進(jìn)行特征融合，讀取駕駛員語音信息及其對應(yīng)的信號指令內(nèi)容，并發(fā)送給誤判監(jiān)測預(yù)警模塊。

步驟4：對步驟3的數(shù)據(jù)處理結(jié)果進(jìn)行預(yù)警；

若駕駛員心率數(shù)據(jù)超過人體正常心率閾值，發(fā)出預(yù)警信號，并將預(yù)警信息上報(bào)監(jiān)控中心；

利用駕駛員年齡、心率、連續(xù)駕駛時間以及連續(xù)駕駛時間內(nèi)的perclos值輸入駕駛員疲勞駕駛狀態(tài)模型，得到駕駛員疲勞狀態(tài)，若駕駛員處于疲勞狀態(tài)，則發(fā)出預(yù)警信號，并將預(yù)警信息上報(bào)監(jiān)控中心；

若列車信號指令信號、識別的手勢指令信號和語音指令信號不匹配時，則發(fā)出預(yù)警信號，并將預(yù)警信息上報(bào)監(jiān)控中心。

進(jìn)一步地，所述kinect傳感器采集陣列由3組相同的kinect傳感器組成，3組kinect傳感器依次排列在一個內(nèi)角分別為55°、125°的等腰梯形裝置上。

使3組kinect傳感器視角邊界和語音有效范圍彼此重疊，將駕駛室環(huán)境分為3個工作區(qū)域，實(shí)現(xiàn)kinect傳感器對軌道列車司機(jī)室圖像和語音采集的全覆蓋；

進(jìn)一步地，所述駕駛員疲勞駕駛狀態(tài)模型的構(gòu)建過程如下：

將采集的歷史數(shù)據(jù)中的至少1000組駕駛員年齡、心率、連續(xù)駕駛時間以及連續(xù)駕駛時間內(nèi)的perclos值和對應(yīng)的駕駛員疲勞狀態(tài)作為訓(xùn)練數(shù)據(jù)，以駕駛員年齡、心率、連續(xù)駕駛時間以及連續(xù)駕駛時間內(nèi)的perclos值作為神經(jīng)網(wǎng)絡(luò)中輸入層神經(jīng)元，以駕駛員的疲勞狀態(tài)作為輸出層神經(jīng)元，預(yù)設(shè)隱藏層神經(jīng)元個數(shù)，不斷的對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，自適應(yīng)調(diào)整神經(jīng)網(wǎng)絡(luò)權(quán)值，獲得駕駛員疲勞駕駛狀態(tài)模型。

一種基于kinect的軌道列車駕駛員狀態(tài)的實(shí)時監(jiān)測和預(yù)警系統(tǒng)，包括：

kincet傳感器采集陣列，用于采集駕駛員工作狀態(tài)信息并將采集的信息發(fā)送至數(shù)據(jù)處理模塊；

所述駕駛員工作狀態(tài)信息包括駕駛員彩色圖像數(shù)據(jù)、深度數(shù)據(jù)、骨骼圖像數(shù)據(jù)以及語音數(shù)據(jù)；

數(shù)據(jù)處理模塊，用于對采集的駕駛員工作狀態(tài)信息進(jìn)行檢測和識別，同時將檢測和識別結(jié)果發(fā)送至預(yù)警裝置；

所述處理處理模塊包括kinect傳感器心率檢測模塊、kinect傳感器面部圖像處理模塊、kinect傳感器手勢識別模塊及kinect傳感器語音識別模塊；

所述檢測和識別結(jié)果包括駕駛員心率、身份識別結(jié)果、閉眼時間占總測試時間的比例perclos值、手勢指令信號和語音指令信號；

預(yù)警裝置，用于依據(jù)數(shù)據(jù)處理模塊得到的檢測和識別結(jié)果數(shù)據(jù)進(jìn)行預(yù)警；

若駕駛員心率數(shù)據(jù)超過人體正常心率閾值，發(fā)出預(yù)警信號，并將預(yù)警信息上報(bào)監(jiān)控中心；

利用駕駛員年齡、心率、連續(xù)駕駛時間以及連續(xù)駕駛時間內(nèi)的perclos值輸入駕駛員疲勞駕駛狀態(tài)模型，得到駕駛員疲勞狀態(tài)，若駕駛員處于疲勞狀態(tài)，則發(fā)出預(yù)警信號，并將預(yù)警信息上報(bào)監(jiān)控中心；

若列車信號指令信號、識別的手勢指令信號和語音指令信號不匹配時，則發(fā)出預(yù)警信號，并將預(yù)警信息上報(bào)監(jiān)控中心。

進(jìn)一步地，所述kinect傳感器采集陣列由3組相同的kinect傳感器組成，將3組kinect傳感器依次排列在一個內(nèi)角分別為55°、125°的等腰梯形裝置上。

進(jìn)一步地，所述處理模塊對采集的信息處理過程如下：

所述kinect傳感器心率檢測模塊對采集到的駕駛員彩色圖像進(jìn)行駕駛員心率檢測；

所述kinect傳感器面部圖像處理模塊對采集到的駕駛員彩色圖像進(jìn)行身份識別，同時，從提取的面部特征中的眼部區(qū)域特征，識別閉眼動作，獲得閉眼時間占總測試時間的比例perclos值；

所述kinect傳感器手勢識別模塊對采集到的駕駛員骨骼數(shù)據(jù)和深度圖像進(jìn)行手勢識別與匹配，獲得駕駛員發(fā)出的手勢指令信號；

所述kinect傳感器語音識別模塊對采集到的駕駛員語音數(shù)據(jù)進(jìn)行語音關(guān)鍵詞提取，并結(jié)合面部特征中的唇部區(qū)域特征，識別出唇部動態(tài)動作，將語音關(guān)鍵詞和唇部動作進(jìn)行特征融合匹配，獲取駕駛員發(fā)出的語音指令信號。

有益效果

本發(fā)明提供了一種基于kinect的軌道列車駕駛員狀態(tài)的實(shí)時監(jiān)測和預(yù)警方法與系統(tǒng)，該方法通過對kinect傳感器進(jìn)行巧妙的設(shè)置，綜合利用kinect傳感器的各項(xiàng)檢測功能，充分發(fā)揮和利用kinect傳感器內(nèi)置的三軸加速度計(jì)、彩色攝像頭、紅外線攝像頭和麥克風(fēng)陣列功能，只使用一種kinect傳感器，實(shí)現(xiàn)了列車啟動檢測、駕駛員心率監(jiān)測、疲勞監(jiān)測、誤判監(jiān)測多種功能，利用kinect傳感器獲取的彩色圖像數(shù)據(jù)、深度圖像數(shù)據(jù)、骨骼圖像數(shù)據(jù)和語音數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，同時通過kinect傳感器采集陣列，能在駕駛員不同頭部姿態(tài)任意角度獲取心率數(shù)據(jù)；融合使用各項(xiàng)檢測數(shù)據(jù)，結(jié)合軌道列車駕駛員語音信息、駕駛員手勢信息、列車指令信號信息特征融合的方法，從技術(shù)方案上直接避免司機(jī)看錯誤判信號和指令的情況；加入駕駛員的駕駛時間的先驗(yàn)知識(鐵路司機(jī)駕駛時間規(guī)定)，提高對駕駛員疲勞狀態(tài)評估的正確率；該系統(tǒng)結(jié)構(gòu)簡單、操作方便，大大的降低了監(jiān)測和預(yù)警系統(tǒng)的成本，且具有準(zhǔn)確的監(jiān)測和預(yù)警效果。

附圖說明

圖1為本發(fā)明所述方法的流程示意圖；

圖2為本發(fā)明中所使用的kinect傳感器采集陣列結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合附圖和實(shí)例對本發(fā)明做進(jìn)一步地說明。

如圖1所示，一種基于kinect的軌道列車駕駛員狀態(tài)的實(shí)時監(jiān)測和預(yù)警方法，包括以下步驟：

步驟1：利用設(shè)置于駕駛室前方的kinect傳感器陣列采集駕駛員工作狀態(tài)信息；

所述駕駛員工作狀態(tài)信息包括駕駛員彩色圖像數(shù)據(jù)、深度數(shù)據(jù)、骨骼圖像數(shù)據(jù)以及語音數(shù)據(jù)；

步驟2：對駕駛員工作狀態(tài)信息進(jìn)行數(shù)據(jù)處理；

對采集到的駕駛員彩色圖像進(jìn)行駕駛員心率檢測；

對采集到的駕駛員彩色圖像進(jìn)行面部特征提取，采用歐拉視頻放大方法，讀取每幀面部特征圖像的rgb代表像素，利用帶通濾波器對rgb代表像素進(jìn)行濾波處理，并對濾波后的像素進(jìn)行pca分析(主元分析)和光譜分析，讀取駕駛員心率，并將心率數(shù)據(jù)發(fā)送給心率監(jiān)測預(yù)警模塊和疲勞監(jiān)測預(yù)警模塊；

對采集到的駕駛員彩色圖像進(jìn)行身份識別，同時，從提取的面部特征中的眼部區(qū)域特征，識別閉眼動作，獲得閉眼時間占總測試時間的比例perclos值；

kinect傳感器面部圖像處理模塊對駕駛員面部特征進(jìn)行提取，對駕駛員的身份識別，記錄同一駕駛員的駕駛時間，并發(fā)送給kinect傳感器疲勞監(jiān)測模塊。同時，提取駕駛員的眼部區(qū)域，識別閉眼動作，計(jì)算perclos值(閉眼時間占總測試時間的比例)，并發(fā)送給疲勞監(jiān)測預(yù)警模塊。

對采集到的駕駛員骨骼數(shù)據(jù)和深度圖像進(jìn)行手勢識別與匹配，獲得駕駛員發(fā)出的手勢指令信號；

kinect傳感器手勢識別模塊對采集到的駕駛員骨骼數(shù)據(jù)和手部的深度圖像進(jìn)行手勢識別，并在手勢模型數(shù)據(jù)庫中的手勢內(nèi)容匹配，手勢模型數(shù)據(jù)庫包括上述“軌道彎道、道岔、進(jìn)路、信號”對應(yīng)的安全確認(rèn)的標(biāo)準(zhǔn)動作手勢。與手勢模型數(shù)據(jù)庫中匹配得到對應(yīng)的指令信號信息，并發(fā)送給誤判監(jiān)測預(yù)警模塊。

手勢模型數(shù)據(jù)庫是針對大量的鐵路中信號指令手勢建立；

對采集到的駕駛員語音數(shù)據(jù)進(jìn)行語音關(guān)鍵詞提取，并結(jié)合面部特征中的唇部區(qū)域特征，識別出唇部動態(tài)動作，將語音關(guān)鍵詞和唇部動作進(jìn)行特征融合匹配，獲取駕駛員發(fā)出的語音指令信號；

所述kinect傳感器語音識別模塊對采集到的駕駛員語音進(jìn)行識別，提取語音關(guān)鍵詞，語音關(guān)鍵詞包括“軌道彎道、道岔、進(jìn)路、信號”。對采集到的駕駛員面部圖像檢測，識別唇部區(qū)域，通過對唇部特征提取和分析，識別出唇部動態(tài)動作，對唇部動作和語音進(jìn)行特征融合，讀取駕駛員語音信息及其對應(yīng)的信號指令內(nèi)容，并發(fā)送給誤判監(jiān)測預(yù)警模塊。

kinect麥克風(fēng)陣列捕獲的音頻數(shù)據(jù)流通過音頻增強(qiáng)效果算法處理來屏蔽環(huán)境噪聲。在軌道列車司機(jī)室內(nèi)，即使駕駛員離麥克風(fēng)一定的距離，也能夠進(jìn)行語音命令的識別。kinect陣列技術(shù)包含有效的噪聲消除和回波抑制算法，同時采用波束成形技術(shù)通過每個獨(dú)立設(shè)備的響應(yīng)時間確定音源位置，并盡可能避免司機(jī)室環(huán)境噪聲的影響。

步驟4：對步驟3的數(shù)據(jù)處理結(jié)果進(jìn)行預(yù)警；

若駕駛員心率數(shù)據(jù)超過人體正常心率閾值，發(fā)出預(yù)警信號，并將預(yù)警信息上報(bào)監(jiān)控中心；

利用駕駛員年齡、心率、連續(xù)駕駛時間以及連續(xù)駕駛時間內(nèi)的perclos值輸入駕駛員疲勞駕駛狀態(tài)模型，得到駕駛員疲勞狀態(tài)，若駕駛員處于疲勞狀態(tài)，則發(fā)出預(yù)警信號，并將預(yù)警信息上報(bào)監(jiān)控中心；

若列車信號指令信號、識別的手勢指令信號和語音指令信號不匹配時，則發(fā)出預(yù)警信號，并將預(yù)警信息上報(bào)監(jiān)控中心。

如圖2所示，所述kinect傳感器采集陣列由3組相同的kinect傳感器組成，3組kinect傳感器依次排列在一個內(nèi)角分別為55°、125°的等腰梯形裝置上，在圖2中1,2,3分別表示三組kinect傳感器，xoy平面為水平面。

使3組kinect傳感器視角邊界和語音有效范圍彼此重疊，將駕駛室環(huán)境分為3個工作區(qū)域，實(shí)現(xiàn)kinect傳感器對軌道列車司機(jī)室圖像和語音采集的全覆蓋；

所述駕駛員疲勞駕駛狀態(tài)模型的構(gòu)建過程如下：

將采集的歷史數(shù)據(jù)中的至少1000組駕駛員年齡、心率、連續(xù)駕駛時間以及連續(xù)駕駛時間內(nèi)的perclos值和對應(yīng)的駕駛員疲勞狀態(tài)作為訓(xùn)練數(shù)據(jù)，以駕駛員年齡、心率、連續(xù)駕駛時間以及連續(xù)駕駛時間內(nèi)的perclos值作為神經(jīng)網(wǎng)絡(luò)中輸入層神經(jīng)元，以駕駛員的疲勞狀態(tài)作為輸出層神經(jīng)元，預(yù)設(shè)隱藏層神經(jīng)元個數(shù)，不斷的對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，自適應(yīng)調(diào)整神經(jīng)網(wǎng)絡(luò)權(quán)值，獲得駕駛員疲勞駕駛狀態(tài)模型。

一種基于kinect的軌道列車駕駛員狀態(tài)的實(shí)時監(jiān)測和預(yù)警系統(tǒng)，包括：

kincet傳感器采集陣列，用于采集駕駛員工作狀態(tài)信息并將采集的信息發(fā)送至數(shù)據(jù)處理模塊；

所述駕駛員工作狀態(tài)信息包括駕駛員彩色圖像數(shù)據(jù)、深度數(shù)據(jù)、骨骼圖像數(shù)據(jù)以及語音數(shù)據(jù)；

數(shù)據(jù)處理模塊，用于對采集的駕駛員工作狀態(tài)信息進(jìn)行檢測和識別，同時將檢測和識別結(jié)果發(fā)送至預(yù)警裝置；

所述處理處理模塊包括kinect傳感器心率檢測模塊、kinect傳感器面部圖像處理模塊、kinect傳感器手勢識別模塊及kinect傳感器語音識別模塊；

所述檢測和識別結(jié)果包括駕駛員心率、身份識別結(jié)果、閉眼時間占總測試時間的比例perclos值、手勢指令信號和語音指令信號；

預(yù)警裝置，用于依據(jù)數(shù)據(jù)處理模塊得到的檢測和識別結(jié)果數(shù)據(jù)進(jìn)行預(yù)警；

若駕駛員心率數(shù)據(jù)超過人體正常心率閾值，發(fā)出預(yù)警信號，并將預(yù)警信息上報(bào)監(jiān)控中心；

利用駕駛員年齡、心率、連續(xù)駕駛時間以及連續(xù)駕駛時間內(nèi)的perclos值輸入駕駛員疲勞駕駛狀態(tài)模型，得到駕駛員疲勞狀態(tài)，若駕駛員處于疲勞狀態(tài)，則發(fā)出預(yù)警信號，并將預(yù)警信息上報(bào)監(jiān)控中心；

若列車信號指令信號、識別的手勢指令信號和語音指令信號不匹配時，則發(fā)出預(yù)警信號，并將預(yù)警信息上報(bào)監(jiān)控中心。

所述kinect傳感器采集陣列由3組相同的kinect傳感器組成，將3組kinect傳感器依次排列在一個內(nèi)角分別為55°、125°的等腰梯形裝置上。

所述處理模塊對采集的信息處理過程如下：

所述kinect傳感器心率檢測模塊對采集到的駕駛員彩色圖像進(jìn)行駕駛員心率檢測；

本發(fā)明采用kinect傳感器采集陣列，擴(kuò)展了kinect傳感器功能，同時通過kinect傳感器采集陣列采集圖像數(shù)據(jù)，能在駕駛員不同頭部姿態(tài)任意角度獲取心率數(shù)據(jù)；

所述kinect傳感器面部圖像處理模塊對采集到的駕駛員彩色圖像進(jìn)行身份識別，同時，從提取的面部特征中的眼部區(qū)域特征，識別閉眼動作，獲得閉眼時間占總測試時間的比例perclos值；

所述kinect傳感器手勢識別模塊對采集到的駕駛員骨骼數(shù)據(jù)和深度圖像進(jìn)行手勢識別與匹配，獲得駕駛員發(fā)出的手勢指令信號；

所述kinect傳感器語音識別模塊對采集到的駕駛員語音數(shù)據(jù)進(jìn)行語音關(guān)鍵詞提取，并結(jié)合面部特征中的唇部區(qū)域特征，識別出唇部動態(tài)動作，將語音關(guān)鍵詞和唇部動作進(jìn)行特征融合匹配，獲取駕駛員發(fā)出的語音指令信號。

綜上所述，本發(fā)明只采用一種kinect傳感器實(shí)現(xiàn)了對列車駕駛員的全狀態(tài)監(jiān)測和預(yù)警，結(jié)構(gòu)簡單，實(shí)現(xiàn)了對列車駕駛員生理狀態(tài)、疲勞狀態(tài)和操作狀態(tài)的監(jiān)測，明顯提高軌道列車的運(yùn)營安全性。

以上內(nèi)容是本發(fā)明具體實(shí)施方式的進(jìn)一步詳細(xì)說明，不能認(rèn)定本發(fā)明的具體實(shí)施方式僅限于此，對于本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡單的推演或替換，都應(yīng)當(dāng)視為本發(fā)明由所提交的權(quán)利要求書確定的專利保護(hù)范圍。