本發(fā)明涉及車輛，特別是涉及一種基于多模態(tài)信號(hào)監(jiān)測(cè)的駕駛員狀態(tài)評(píng)估方法、系統(tǒng)、電子設(shè)備、存儲(chǔ)介質(zhì)及車輛。

背景技術(shù)：

1、目前，現(xiàn)有的駕駛員狀態(tài)監(jiān)測(cè)主要通過單一的傳感器或設(shè)備，如攝像頭、心率傳感器等，獲取駕駛員的生理或行為信息，然后通過特定的算法進(jìn)行分析，判斷駕駛員的狀態(tài)。

2、例如，一些技術(shù)通過分析駕駛員的面部表情、眼球運(yùn)動(dòng)等視覺信息，來判斷駕駛員是否疲勞或分心；還有一些技術(shù)通過監(jiān)測(cè)駕駛員的心率、血壓等生理信息，來評(píng)估駕駛員的健康狀況。但現(xiàn)有的駕駛員狀態(tài)監(jiān)測(cè)技術(shù)通常只依賴于單一的傳感器或設(shè)備，獲取的信息有限，可能會(huì)導(dǎo)致狀態(tài)檢測(cè)的準(zhǔn)確性和可靠性不足。同時(shí)，在處理多源數(shù)據(jù)時(shí)，往往無法有效地融合和利用不同模態(tài)的信息，這可能會(huì)丟失一些重要的信息，影響駕駛狀態(tài)檢測(cè)的結(jié)果。最后，現(xiàn)有的技術(shù)在發(fā)現(xiàn)駕駛狀態(tài)異常后，往往無法及時(shí)采取有效的干預(yù)措施，以確保駕駛安全。

3、因此，本申請(qǐng)?zhí)峁┮环N基于多模態(tài)信號(hào)監(jiān)測(cè)的駕駛員狀態(tài)評(píng)估方法以解決上述技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于多模態(tài)信號(hào)監(jiān)測(cè)的駕駛員狀態(tài)評(píng)估方法、系統(tǒng)、電子設(shè)備、存儲(chǔ)介質(zhì)及車輛，用以解決現(xiàn)有技術(shù)中狀態(tài)檢測(cè)信息較單一，多源數(shù)據(jù)易丟失，導(dǎo)致狀態(tài)檢測(cè)準(zhǔn)確性不足的技術(shù)問題。

2、為了解決上述技術(shù)問題，本發(fā)明提供了一種基于多模態(tài)信號(hào)監(jiān)測(cè)的駕駛員狀態(tài)評(píng)估方法，包括：

3、信號(hào)采集步驟，包括實(shí)時(shí)采集駕駛員的多模態(tài)信號(hào)，其中，所述多模態(tài)信號(hào)包括視頻信號(hào)、音頻信號(hào)、心電信號(hào)以及車輛狀態(tài)信號(hào)；

4、特征提取步驟，包括對(duì)所述多模態(tài)信號(hào)進(jìn)行預(yù)處理，并進(jìn)行關(guān)鍵特征提取，得到多模態(tài)特征，其中，所述多模態(tài)特征包括駕駛員以及駕駛行為特征；

5、特征融合步驟，包括將所述多模態(tài)特征進(jìn)行融合，得到融合特征，其中，所述融合特征用于描述駕駛員狀態(tài)；

6、狀態(tài)評(píng)估步驟，包括將所述融合特征輸入到預(yù)設(shè)的模型中，以劃分駕駛員的異常狀態(tài)，當(dāng)所述異常狀態(tài)超過預(yù)設(shè)條件時(shí)，對(duì)所述駕駛員進(jìn)行相應(yīng)提醒。

7、在其中一些具體實(shí)施例中，信號(hào)采集步驟，包括實(shí)時(shí)采集駕駛員的多模態(tài)信號(hào)，其中，所述多模態(tài)信號(hào)包括視頻信號(hào)、音頻信號(hào)、心電信號(hào)以及車輛狀態(tài)信號(hào)，進(jìn)一步包括：

8、所述視頻信號(hào)采集，包括實(shí)時(shí)捕捉駕駛員的面部和動(dòng)作信號(hào)；

9、所述音頻信號(hào)采集，包括實(shí)時(shí)捕捉駕駛員的語音指令以及交談內(nèi)容；

10、所述心電信號(hào)采集，包括實(shí)時(shí)監(jiān)測(cè)駕駛員的心電信號(hào)；

11、所述車輛狀態(tài)信號(hào)采集，包括實(shí)時(shí)讀取車速、油門踏板、剎車踏板以及方向盤轉(zhuǎn)角信號(hào)。

12、在其中一些具體實(shí)施例中，特征提取步驟，包括對(duì)所述多模態(tài)信號(hào)進(jìn)行預(yù)處理，并進(jìn)行關(guān)鍵特征提取，得到多模態(tài)特征，其中，所述多模態(tài)特征包括駕駛員以及駕駛行為特征，進(jìn)一步包括：

13、對(duì)所述視頻信號(hào)進(jìn)行預(yù)處理以及關(guān)鍵特征提取，包括提取面部正視圖，基于所述面部正視圖，進(jìn)行直方圖均衡化、分辨率縮放以及人臉特征點(diǎn)檢測(cè)，并計(jì)算頭部姿態(tài)以及眼部和嘴部的活動(dòng)特征；

14、對(duì)所述心電信號(hào)進(jìn)行預(yù)處理以及關(guān)鍵特征提取，包括降噪處理以及心率變異性計(jì)算，獲取心臟活動(dòng)的特征參數(shù)；

15、對(duì)所述車輛狀態(tài)信號(hào)進(jìn)行預(yù)處理以及關(guān)鍵特征提取，包括計(jì)算所述駕駛行為的特征參數(shù)，并分析駕駛習(xí)慣。

16、在其中一些具體實(shí)施例中，特征融合步驟，包括將所述多模態(tài)特征進(jìn)行融合，得到融合特征，其中，所述融合特征用于描述駕駛員狀態(tài)，進(jìn)一步包括：

17、將所述多模態(tài)特征依次拼接為多維向量；

18、基于pearson相關(guān)系數(shù)法以及主成分分析法對(duì)所述多維向量進(jìn)行降維處理，得到所述融合特征。

19、在其中一些具體實(shí)施例中，狀態(tài)評(píng)估步驟，包括將所述融合特征輸入到預(yù)設(shè)的模型中，以劃分駕駛員的異常狀態(tài)，當(dāng)所述異常狀態(tài)超過預(yù)設(shè)條件時(shí)，對(duì)所述駕駛員進(jìn)行相應(yīng)提醒，進(jìn)一步包括：

20、將所述融合特征輸入到預(yù)先訓(xùn)練好的lstm模型中進(jìn)行狀態(tài)評(píng)估，并劃分所述異常狀態(tài)，其中，所述異常狀態(tài)包括疲勞狀態(tài)、分心狀態(tài)以及憤怒狀態(tài)；

21、當(dāng)駕駛員的所述異常狀態(tài)超過所述預(yù)設(shè)條件時(shí)，以視覺、觸覺、嗅覺或聽覺中的至少一種方式對(duì)駕駛員進(jìn)行提醒。

22、在其中一些具體實(shí)施例中，還包括配置與模型訓(xùn)練步驟：

23、配置所述多模態(tài)信號(hào)的實(shí)時(shí)采集、預(yù)處理、特征提取以及狀態(tài)評(píng)估任務(wù)；

24、基于標(biāo)注好的駕駛員狀態(tài)數(shù)據(jù)以及車輛狀態(tài)數(shù)據(jù)對(duì)所述lstm模型進(jìn)行訓(xùn)練，通過交叉驗(yàn)證法評(píng)估所述lstm模型的泛化能力和準(zhǔn)確性；

25、將訓(xùn)練好的所述lstm模型進(jìn)行部署，以用于實(shí)時(shí)狀態(tài)評(píng)估。

26、基于同一構(gòu)思，本發(fā)明還提供一種基于多模態(tài)信號(hào)監(jiān)測(cè)的駕駛員狀態(tài)評(píng)估系統(tǒng)，包括：

27、信號(hào)采集模塊，配置為包括實(shí)時(shí)采集駕駛員的多模態(tài)信號(hào)，其中，所述多模態(tài)信號(hào)包括視頻信號(hào)、音頻信號(hào)、心電信號(hào)以及車輛狀態(tài)信號(hào)；

28、特征提取模塊，配置為包括對(duì)所述多模態(tài)信號(hào)進(jìn)行預(yù)處理，并進(jìn)行關(guān)鍵特征提取，得到多模態(tài)特征，其中，所述多模態(tài)特征包括駕駛員以及駕駛行為特征；

29、特征融合模塊，配置為包括將所述多模態(tài)特征進(jìn)行融合，得到融合特征，其中，所述融合特征用于描述駕駛員狀態(tài)；

30、狀態(tài)評(píng)估模塊，配置為包括將所述融合特征輸入到預(yù)設(shè)的模型中，以劃分駕駛員的異常狀態(tài)，當(dāng)所述異常狀態(tài)超過預(yù)設(shè)條件時(shí)，對(duì)所述駕駛員進(jìn)行相應(yīng)提醒。

31、基于同一構(gòu)思，本發(fā)明還提供一種電子設(shè)備，包括：處理器、通信接口、存儲(chǔ)器和通信總線，其中，處理器，通信接口，存儲(chǔ)器通過通信總線完成相互間的通信；所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行基于多模態(tài)信號(hào)監(jiān)測(cè)的駕駛員狀態(tài)評(píng)估方法的步驟。

32、基于同一構(gòu)思，本發(fā)明還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其存儲(chǔ)有可由電子設(shè)備執(zhí)行的計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序在所述電子設(shè)備上運(yùn)行時(shí)，使得所述電子設(shè)備執(zhí)行基于多模態(tài)信號(hào)監(jiān)測(cè)的駕駛員狀態(tài)評(píng)估方法的步驟。

33、基于同一構(gòu)思，本發(fā)明還提供一種車輛，所述車輛設(shè)置有如上所述的基于多模態(tài)信號(hào)監(jiān)測(cè)的駕駛員狀態(tài)評(píng)估系統(tǒng)。

34、與現(xiàn)有技術(shù)相比，其有益效果在于：

35、本發(fā)明公開了一種基于多模態(tài)信號(hào)監(jiān)測(cè)的駕駛員狀態(tài)評(píng)估方法、系統(tǒng)、電子設(shè)備、存儲(chǔ)介質(zhì)及車輛，可多維度的檢測(cè)駕駛員狀態(tài)，提升狀態(tài)評(píng)估的準(zhǔn)確性，并可相應(yīng)進(jìn)行提醒，保障駕駛安全。

技術(shù)特征：

1.一種基于多模態(tài)信號(hào)監(jiān)測(cè)的駕駛員狀態(tài)評(píng)估方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于多模態(tài)信號(hào)監(jiān)測(cè)的駕駛員狀態(tài)評(píng)估方法，其特征在于，信號(hào)采集步驟，包括實(shí)時(shí)采集駕駛員的多模態(tài)信號(hào)，其中，所述多模態(tài)信號(hào)包括視頻信號(hào)、音頻信號(hào)、心電信號(hào)以及車輛狀態(tài)信號(hào)，進(jìn)一步包括：

3.根據(jù)權(quán)利要求1所述的基于多模態(tài)信號(hào)監(jiān)測(cè)的駕駛員狀態(tài)評(píng)估方法，其特征在于，特征提取步驟，包括對(duì)所述多模態(tài)信號(hào)進(jìn)行預(yù)處理，并進(jìn)行關(guān)鍵特征提取，得到多模態(tài)特征，其中，所述多模態(tài)特征包括駕駛員以及駕駛行為特征，進(jìn)一步包括：

4.根據(jù)權(quán)利要求1所述的基于多模態(tài)信號(hào)監(jiān)測(cè)的駕駛員狀態(tài)評(píng)估方法，其特征在于，特征融合步驟，包括將所述多模態(tài)特征進(jìn)行融合，得到融合特征，其中，所述融合特征用于描述駕駛員狀態(tài)，進(jìn)一步包括：

5.根據(jù)權(quán)利要求1所述的基于多模態(tài)信號(hào)監(jiān)測(cè)的駕駛員狀態(tài)評(píng)估方法，其特征在于，狀態(tài)評(píng)估步驟，包括將所述融合特征輸入到預(yù)設(shè)的模型中，以劃分駕駛員的異常狀態(tài)，當(dāng)所述異常狀態(tài)超過預(yù)設(shè)條件時(shí)，對(duì)所述駕駛員進(jìn)行相應(yīng)提醒，進(jìn)一步包括：

6.根據(jù)權(quán)利要求5所述的基于多模態(tài)信號(hào)監(jiān)測(cè)的駕駛員狀態(tài)評(píng)估方法，其特征在于，還包括配置與模型訓(xùn)練步驟：

7.一種基于多模態(tài)信號(hào)監(jiān)測(cè)的駕駛員狀態(tài)評(píng)估系統(tǒng)，其特征在于，包括：

8.一種電子設(shè)備，其特征在于，包括：處理器、通信接口、存儲(chǔ)器和通信總線，其中，處理器，通信接口，存儲(chǔ)器通過通信總線完成相互間的通信；所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行權(quán)利要求1至6中任一項(xiàng)所述方法的步驟。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其存儲(chǔ)有可由電子設(shè)備執(zhí)行的計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序在所述電子設(shè)備上運(yùn)行時(shí)，使得所述電子設(shè)備執(zhí)行權(quán)利要求1至6中任一項(xiàng)所述方法的步驟。

10.一種車輛，其特征在于，所述車輛設(shè)置有如權(quán)利要求7所述的基于多模態(tài)信號(hào)監(jiān)測(cè)的駕駛員狀態(tài)評(píng)估系統(tǒng)。

技術(shù)總結(jié)
本發(fā)明涉及車輛技術(shù)領(lǐng)域，公開了一種基于多模態(tài)信號(hào)監(jiān)測(cè)的駕駛員狀態(tài)評(píng)估方法、系統(tǒng)、電子設(shè)備、存儲(chǔ)介質(zhì)及車輛，包括實(shí)時(shí)采集駕駛員的多模態(tài)信號(hào)，其中，所述多模態(tài)信號(hào)包括視頻信號(hào)、音頻信號(hào)、心電信號(hào)以及車輛狀態(tài)信號(hào)；對(duì)所述多模態(tài)信號(hào)進(jìn)行預(yù)處理，并進(jìn)行關(guān)鍵特征提取，得到多模態(tài)特征，其中，所述多模態(tài)特征包括駕駛員以及駕駛行為特征；將所述多模態(tài)特征進(jìn)行融合，得到融合特征，其中，所述融合特征用于描述駕駛員狀態(tài)；將所述融合特征輸入到預(yù)設(shè)的模型中，以劃分駕駛員的異常狀態(tài)，當(dāng)所述異常狀態(tài)超過預(yù)設(shè)條件時(shí)，對(duì)所述駕駛員進(jìn)行相應(yīng)提醒。本發(fā)明可多維度的檢測(cè)駕駛員狀態(tài)，提升狀態(tài)評(píng)估的準(zhǔn)確性，并可相應(yīng)進(jìn)行提醒，保障駕駛安全。

技術(shù)研發(fā)人員：吳秋杰
受保護(hù)的技術(shù)使用者：中國第一汽車股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19