本發(fā)明涉及通信領(lǐng)域,具體而言,涉及一種駕駛員狀態(tài)識別方法、裝置、存儲介質(zhì)及處理器。
背景技術(shù):
隨著科技的發(fā)展和進(jìn)步,智能設(shè)備已經(jīng)充滿了人們的生活,比如智能手機(jī)、智能家居、智能電器、智能交通工具等等。智能駕駛技術(shù)就是車的智能,不僅能降低對駕駛員的要求,使駕駛員更輕松,也能使駕駛行為更安全。自動駕駛是車在智能系統(tǒng)控制下,完成車道保持、超車并道、紅燈停綠燈行、燈語笛語交互等駕駛行為;駕駛員在智能駕駛的過程中還可以進(jìn)行人工干預(yù),就是說駕駛員可以在智能系統(tǒng)的一系列提示下,對實際的道路情況做出相應(yīng)的反應(yīng)。在智能駕駛的過程中,需要對駕駛員的狀態(tài)進(jìn)行識別。
目前識別駕駛員模式的方案主要是針對疲勞駕駛的識別,在檢測到駕駛員眼睛狀態(tài)表示“犯困”時采取預(yù)警、自動靠邊等措施。這就導(dǎo)致了智能駕駛時對駕駛員狀態(tài)的識別非常單一,從而使得智能駕駛的智能程度無法進(jìn)一步提高。
針對相關(guān)技術(shù)中智能駕駛技術(shù)的智能程度較低的問題,目前還沒有有效地解決方案。
技術(shù)實現(xiàn)要素:
本發(fā)明實施例提供了一種駕駛員狀態(tài)識別方法、裝置、存儲介質(zhì)及處理器,以至少解決相關(guān)技術(shù)中智能駕駛技術(shù)的智能程度較低的問題。
根據(jù)本發(fā)明的一個實施例,提供了一種駕駛員狀態(tài)識別方法,包括:從駕駛員的預(yù)設(shè)身體部位采集所述駕駛員的身體信息,其中,所述預(yù)設(shè)身體部位包括:所述駕駛員的眼部;從所述身體信息中獲取特征信息,其中,所述特征信息用于指示所述預(yù)設(shè)身體部位所處的狀態(tài);根據(jù)所述特征信息從多個駕駛狀態(tài)中識別所述駕駛員所處的目標(biāo)駕駛狀態(tài)。
可選地,所述身體信息包括以下至少之一:角膜反射率信息、眼角信息、眼皮位置信息、瞳孔中心信息、光斑信息、虹膜條紋信息、眼窩信息。
可選地,從所述身體信息中獲取所述特征信息包括以下之一:
根據(jù)所述身體信息獲取所述駕駛員的第一眼動信息,將所述第一眼動信息作為所述特征信息,其中,所述第一眼動信息包括以下至少之一:注視點信息、瞳孔直徑信息、上下眼皮距離信息;
根據(jù)所述身體信息獲取所述駕駛員的第二眼動信息,其中,所述第二眼動信息包括以下至少之一:注視點信息、瞳孔直徑信息、上下眼皮距離信息;根據(jù)所述第二眼動信息以及預(yù)設(shè)參數(shù)獲取所述特征信息,其中,所述預(yù)設(shè)參數(shù)包括時間參數(shù),所述特征信息包括以下至少之一:注視信息、眼跳信息、平滑尾隨信息、瞳孔大小變化信息、眨眼信息、眼皮聳拉信息、閉眼信息。
可選地,根據(jù)所述特征信息從所述多個駕駛狀態(tài)中識別所述駕駛員所處的所述目標(biāo)駕駛狀態(tài)包括:判斷所述特征信息中的第一信息是否落入第一預(yù)設(shè)閾值范圍;在判斷出所述第一信息落入所述第一預(yù)設(shè)閾值范圍的情況下,確定所述目標(biāo)駕駛狀態(tài)為第一駕駛狀態(tài);在判斷出所述第一信息未落入所述第一預(yù)設(shè)閾值范圍的情況下,判斷所述特征信息中的第二信息是否落入第二預(yù)設(shè)閾值范圍;在判斷出所述第二信息落入所述第二預(yù)設(shè)閾值范圍的情況下,確定所述目標(biāo)駕駛狀態(tài)為第二駕駛狀態(tài)。
可選地,根據(jù)所述特征信息從所述多個駕駛狀態(tài)中識別所述駕駛員所處的所述目標(biāo)駕駛狀態(tài)包括:確定所述特征信息所落入的第三預(yù)設(shè)閾值范圍,得到目標(biāo)閾值范圍;根據(jù)所述第三預(yù)設(shè)閾值范圍與所述多個駕駛狀態(tài)之間的對應(yīng)關(guān)系確定所述目標(biāo)閾值范圍對應(yīng)的所述目標(biāo)駕駛狀態(tài)。
可選地,根據(jù)所述特征信息從所述多個駕駛狀態(tài)中識別所述駕駛員所處的所述目標(biāo)駕駛狀態(tài)包括:判斷所述特征信息中的第三信息是否落入第四預(yù)設(shè)閾值范圍,并判斷所述特征信息中的第四信息是否落入第五預(yù)設(shè)閾值范圍;在先判斷出所述第三信息是否落入所述第四預(yù)設(shè)閾值范圍的情況下,根據(jù)所述第三信息是否落入所述第四預(yù)設(shè)閾值范圍的第一判斷結(jié)果識別所述駕駛員所處的所述目標(biāo)駕駛狀態(tài);在先判斷出所述第四信息是否落入所述第五預(yù)設(shè)閾值范圍的情況下,根據(jù)所述第四信息是否落入所述第五預(yù)設(shè)閾值范圍的第二判斷結(jié)果識別所述駕駛員所處的所述目標(biāo)駕駛狀態(tài)。
可選地,根據(jù)所述特征信息從所述多個駕駛狀態(tài)中識別所述駕駛員所處的所述目標(biāo)駕駛狀態(tài)包括:根據(jù)樣本數(shù)據(jù)訓(xùn)練分類器模型,其中,所述樣本數(shù)據(jù)為已知特征信息與駕駛狀態(tài)之間的對應(yīng)關(guān)系的數(shù)據(jù),所述分類器模型用于對輸入的特征信息進(jìn)行分類輸出所述輸入的特征信息對應(yīng)的駕駛狀態(tài);將所述特征信息輸入所述分類器模型;獲取所述分類器模型的輸出結(jié)果,將所述輸出結(jié)果指示的駕駛狀態(tài)作為所述目標(biāo)駕駛狀態(tài)。
可選地,在根據(jù)所述特征信息識別所述駕駛員所處的所述目標(biāo)駕駛狀態(tài)之后,所述方法還包括:獲取所述目標(biāo)駕駛狀態(tài)對應(yīng)的控制信息;根據(jù)所述控制信息控制所述駕駛員駕駛的設(shè)備。
根據(jù)本發(fā)明的又一個實施例,還提供了一種存儲介質(zhì),所述存儲介質(zhì)包括存儲的程序,其中,所述程序運行時保存上述任一項所述的方法的過程信息。
根據(jù)本發(fā)明的又一個實施例,還提供了一種處理器,所述處理器用于運行程序,其中,所述程序運行時執(zhí)行上述任一項所述的方法。
根據(jù)本發(fā)明的另一個實施例,還提供了一種駕駛員狀態(tài)識別裝置,包括:采集模塊,用于從駕駛員的預(yù)設(shè)身體部位采集所述駕駛員的身體信息,其中,所述預(yù)設(shè)身體部位包括:所述駕駛員的眼部;第一獲取模塊,用于從所述身體信息中獲取特征信息,其中,所述特征信息用于指示所述預(yù)設(shè)身體部位所處的狀態(tài);識別模塊,用于根據(jù)所述特征信息從多個駕駛狀態(tài)中識別所述駕駛員所處的目標(biāo)駕駛狀態(tài)。
可選地,所述身體信息包括以下至少之一:角膜反射率信息、眼角信息、眼皮位置信息、瞳孔中心信息、光斑信息、虹膜條紋信息、眼窩信息。
可選地,從所述第一獲取模塊包括以下之一:第一獲取單元,用于根據(jù)所述身體信息獲取所述駕駛員的第一眼動信息,將所述第一眼動信息作為所述特征信息,其中,所述第一眼動信息包括以下至少之一:注視點信息、瞳孔直徑信息、上下眼皮距離信息;第二獲取單元,用于根據(jù)所述身體信息獲取所述駕駛員的第二眼動信息,其中,所述第二眼動信息包括以下至少之一:注視點信息、瞳孔直徑信息、上下眼皮距離信息;根據(jù)所述第二眼動信息以及預(yù)設(shè)參數(shù)獲取所述特征信息,其中,所述預(yù)設(shè)參數(shù)包括時間參數(shù),所述特征信息包括以下至少之一:注視信息、眼跳信息、平滑尾隨信息、瞳孔大小變化信息、眨眼信息、眼皮聳拉信息、閉眼信息。
可選地,所述識別模塊包括:第一判斷單元,用于判斷所述特征信息中的第一信息是否落入第一預(yù)設(shè)閾值范圍;第一確定單元,用于在判斷出所述第一信息落入所述第一預(yù)設(shè)閾值范圍的情況下,確定所述目標(biāo)駕駛狀態(tài)為第一駕駛狀態(tài);第二判斷單元,用于在判斷出所述第一信息未落入所述第一預(yù)設(shè)閾值范圍的情況下,判斷所述特征信息中的第二信息是否落入第二預(yù)設(shè)閾值范圍;第二確定模塊,用于在判斷出所述第二信息落入所述第二預(yù)設(shè)閾值范圍的情況下,確定所述目標(biāo)駕駛狀態(tài)為第二駕駛狀態(tài)。
可選地,所述識別模塊包括:第三確定單元,用于確定所述特征信息所落入的第三預(yù)設(shè)閾值范圍,得到目標(biāo)閾值范圍;第四確定單元,用于根據(jù)所述第三預(yù)設(shè)閾值范圍與所述多個駕駛狀態(tài)之間的對應(yīng)關(guān)系確定所述目標(biāo)閾值范圍對應(yīng)的所述目標(biāo)駕駛狀態(tài)。
可選地,所述識別模塊包括:第三判斷單元,用于判斷所述特征信息中的第三信息是否落入第四預(yù)設(shè)閾值范圍,并判斷所述特征信息中的第四信息是否落入第五預(yù)設(shè)閾值范圍;第一識別單元,用于在先判斷出所述第三信息是否落入所述第四預(yù)設(shè)閾值范圍的情況下,根據(jù)所述第三信息是否落入所述第四預(yù)設(shè)閾值范圍的第一判斷結(jié)果識別所述駕駛員所處的所述目標(biāo)駕駛狀態(tài);第二識別單元,用于在先判斷出所述第四信息是否落入所述第五預(yù)設(shè)閾值范圍的情況下,根據(jù)所述第四信息是否落入所述第五預(yù)設(shè)閾值范圍的第二判斷結(jié)果識別所述駕駛員所處的所述目標(biāo)駕駛狀態(tài)。
可選地,所述識別模塊包括:訓(xùn)練單元,用于根據(jù)樣本數(shù)據(jù)訓(xùn)練分類器模型,其中,所述樣本數(shù)據(jù)為已知特征信息與駕駛狀態(tài)之間的對應(yīng)關(guān)系的數(shù)據(jù),所述分類器模型用于對輸入的特征信息進(jìn)行分類輸出所述輸入的特征信息對應(yīng)的駕駛狀態(tài);輸入單元,用于將所述特征信息輸入所述分類器模型;第三獲取單元,用于獲取所述分類器模型的輸出結(jié)果,將所述輸出結(jié)果指示的駕駛狀態(tài)作為所述目標(biāo)駕駛狀態(tài)。
可選地,所述裝置還包括:第二獲取模塊,用于獲取所述目標(biāo)駕駛狀態(tài)對應(yīng)的控制信息;控制模塊,用于根據(jù)所述控制信息控制所述駕駛員駕駛的設(shè)備。
通過本發(fā)明,從駕駛員的預(yù)設(shè)身體部位采集駕駛員的身體信息;從身體信息中獲取特征信息,其中,特征信息用于指示預(yù)設(shè)身體部位所處的狀態(tài);根據(jù)特征信息從多個駕駛狀態(tài)中識別駕駛員所處的目標(biāo)駕駛狀態(tài),由此可見,采用上述方案從采集到的駕駛員的預(yù)設(shè)身體部位的身體信息中獲取能夠指示預(yù)設(shè)身體部位所處的狀態(tài)的特征信息,再從多個駕駛狀態(tài)中識別出特征信息對應(yīng)的目標(biāo)駕駛狀態(tài),實現(xiàn)了對駕駛員的多種駕駛狀態(tài)的識別,因此,提高了智能駕駛技術(shù)的智能程度,從而解決了相關(guān)技術(shù)中提高了智能駕駛技術(shù)的智能程度的問題。
附圖說明
此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解,構(gòu)成本申請的一部分,本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明,并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中:
圖1是本發(fā)明實施例的一種駕駛員狀態(tài)識別方法的移動終端的硬件結(jié)構(gòu)框圖;
圖2是根據(jù)本發(fā)明實施例的一種駕駛員狀態(tài)識別方法的流程圖;
圖2a是根據(jù)本發(fā)明實施例的一種駕駛員識別狀態(tài)的決策樹算法示意圖;
圖3是根據(jù)本發(fā)明可選實施例的一種駕駛員狀態(tài)識別方法的示意圖;
圖4是根據(jù)本發(fā)明實施例的一種駕駛員狀態(tài)識別裝置的結(jié)構(gòu)框圖一;
圖5是根據(jù)本發(fā)明實施例的一種駕駛員狀態(tài)識別裝置的結(jié)構(gòu)框圖二;
圖6是根據(jù)本發(fā)明實施例的一種駕駛員狀態(tài)識別裝置的結(jié)構(gòu)框圖三;
圖7是根據(jù)本發(fā)明實施例的一種駕駛員狀態(tài)識別裝置的結(jié)構(gòu)框圖四;
圖8是根據(jù)本發(fā)明實施例的一種駕駛員狀態(tài)識別裝置的結(jié)構(gòu)框圖五;
圖9是根據(jù)本發(fā)明可選實施例的一種駕駛員狀態(tài)識別裝置的結(jié)構(gòu)框圖。
具體實施方式
下文中將參考附圖并結(jié)合實施例來詳細(xì)說明本發(fā)明。需要說明的是,在不沖突的情況下,本申請中的實施例及實施例中的特征可以相互組合。
需要說明的是,本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別類似的對象,而不必用于描述特定的順序或先后次序。
實施例1
本申請實施例1所提供的方法實施例可以在移動終端、計算機(jī)終端或者類似的運算裝置中執(zhí)行。以運行在移動終端上為例,圖1是本發(fā)明實施例的一種駕駛員狀態(tài)識別方法的移動終端的硬件結(jié)構(gòu)框圖,如圖1所示,移動終端10可以包括一個或多個(圖中僅示出一個)處理器102(處理器102可以包括但不限于微處理器mcu或可編程邏輯器件fpga等的處理裝置)、用于存儲數(shù)據(jù)的存儲器104、以及用于通信功能的傳輸裝置106。本領(lǐng)域普通技術(shù)人員可以理解,圖1所示的結(jié)構(gòu)僅為示意,其并不對上述電子裝置的結(jié)構(gòu)造成限定。例如,移動終端10還可包括比圖1中所示更多或者更少的組件,或者具有與圖1所示不同的配置。
存儲器104可用于存儲應(yīng)用軟件的軟件程序以及模塊,如本發(fā)明實施例中的駕駛員狀態(tài)識別方法對應(yīng)的程序指令/模塊,處理器102通過運行存儲在存儲器104內(nèi)的軟件程序以及模塊,從而執(zhí)行各種功能應(yīng)用以及數(shù)據(jù)處理,即實現(xiàn)上述的方法。存儲器104可包括高速隨機(jī)存儲器,還可包括非易失性存儲器,如一個或者多個磁性存儲裝置、閃存、或者其他非易失性固態(tài)存儲器。在一些實例中,存儲器104可進(jìn)一步包括相對于處理器102遠(yuǎn)程設(shè)置的存儲器,這些遠(yuǎn)程存儲器可以通過網(wǎng)絡(luò)連接至移動終端10。上述網(wǎng)絡(luò)的實例包括但不限于互聯(lián)網(wǎng)、企業(yè)內(nèi)部網(wǎng)、局域網(wǎng)、移動通信網(wǎng)及其組合。
傳輸裝置106用于經(jīng)由一個網(wǎng)絡(luò)接收或者發(fā)送數(shù)據(jù)。上述的網(wǎng)絡(luò)具體實例可包括移動終端10的通信供應(yīng)商提供的無線網(wǎng)絡(luò)。在一個實例中,傳輸裝置106包括一個網(wǎng)絡(luò)適配器(networkinterfacecontroller,nic),其可通過基站與其他網(wǎng)絡(luò)設(shè)備相連從而可與互聯(lián)網(wǎng)進(jìn)行通訊。在一個實例中,傳輸裝置106可以為射頻(radiofrequency,rf)模塊,其用于通過無線方式與互聯(lián)網(wǎng)進(jìn)行通訊。
在本實施例中提供了一種駕駛員狀態(tài)識別方法,圖2是根據(jù)本發(fā)明實施例的一種駕駛員狀態(tài)識別方法的流程圖,如圖2所示,該流程包括如下步驟:
步驟s202,從駕駛員的預(yù)設(shè)身體部位采集駕駛員的身體信息,其中,預(yù)設(shè)身體部位包括:駕駛員的眼部;
步驟s204,從身體信息中獲取特征信息,其中,特征信息用于指示預(yù)設(shè)身體部位所處的狀態(tài);
步驟s206,根據(jù)特征信息從多個駕駛狀態(tài)中識別駕駛員所處的目標(biāo)駕駛狀態(tài)。
可選地,上述駕駛員狀態(tài)識別方法可以但不限于應(yīng)用于智能駕駛的場景中。例如:交通工具的智能駕駛場景中。
可選地,上述駕駛員狀態(tài)識別方法可以但不限于應(yīng)用于智能設(shè)備,例如:智能交通工具、智能機(jī)器人等等。
可選地,在本實施例中,上述預(yù)設(shè)身體部位可以但不限于包括:眼部,頭部,腿部,手部,軀干等等。
可選地,在本實施例中,上述特征信息用于指示預(yù)設(shè)身體部位所處的狀態(tài)。例如:以預(yù)設(shè)身體部位為眼部為例,從身體信息中獲取的特征信息可以但不限于包括以下至少之一:注視信息、眼跳信息、平滑尾隨信息、瞳孔大小變化信息、眨眼信息、眼皮聳拉信息、閉眼信息。
可選地,可以但不限于利用圖像采集來獲取駕駛員的身體信息?;蛘撸€可以但不限于通過檢測駕駛員的身體的生物電流來獲取駕駛員的身體信息。
可選地,在本實施例中,上述駕駛狀態(tài)可以但不限于包括:緊急狀態(tài)、涉獵狀態(tài)、搜尋狀態(tài)、尾隨狀態(tài)、疲勞/不佳駕駛狀態(tài)等等。針對上述不同的駕駛狀態(tài),駕駛員有不同的身體反應(yīng),可以根據(jù)這些反應(yīng)對智能設(shè)備進(jìn)行不同的控制。例如:(1)緊急狀態(tài),此時駕駛員發(fā)現(xiàn)了危險目標(biāo)(比如障礙物),智能駕駛系統(tǒng)可以集中計算能力克服緊急狀況;(2)涉獵狀態(tài),此時駕駛員心情輕松,目光四處搜羅,可能在尋找飯館、游玩地之類,智能系統(tǒng)可以給駕駛員推薦注視物的相關(guān)信息,例如在前擋風(fēng)屏實時顯示餐館特色,人均消費;(3)搜尋狀態(tài),此時駕駛員有明確的目標(biāo),但是在確認(rèn)細(xì)節(jié)。比如已經(jīng)駕駛到目的地附近,但是要確認(rèn)交接人,確認(rèn)門牌號等。(4)尾隨狀態(tài),此時駕駛員緊盯前車關(guān)鍵部位(如后燈),精神較為集中,此時駕駛系統(tǒng)需要合理判斷尾隨距離,和周邊情況,并提示是否可以超車并線等。(5)疲勞/不佳駕駛狀態(tài),此時駕駛員目光渙散,眼神游離,智能系統(tǒng)判斷駕駛員狀態(tài)不佳,可以預(yù)警或者自動靠邊停車。
通過上述步驟,從駕駛員的預(yù)設(shè)身體部位采集駕駛員的身體信息;從身體信息中獲取特征信息,其中,特征信息用于指示預(yù)設(shè)身體部位所處的狀態(tài);根據(jù)特征信息從多個駕駛狀態(tài)中識別駕駛員所處的目標(biāo)駕駛狀態(tài),由此可見,采用上述方案從采集到的駕駛員的預(yù)設(shè)身體部位的身體信息中獲取能夠指示預(yù)設(shè)身體部位所處的狀態(tài)的特征信息,再從多個駕駛狀態(tài)中識別出特征信息對應(yīng)的目標(biāo)駕駛狀態(tài),實現(xiàn)了對駕駛員的多種駕駛狀態(tài)的識別,因此,提高了智能駕駛技術(shù)的智能程度,從而解決了相關(guān)技術(shù)中提高了智能駕駛技術(shù)的智能程度的問題。
可選地,上述身體信息包括以下至少之一:角膜反射率信息、眼角信息、眼皮位置信息、瞳孔中心信息、光斑信息、虹膜條紋信息、眼窩信息。
可選地,可以但不限于采用以下方式之一從身體信息中獲取特征信息:
方式一,可以根據(jù)身體信息獲取駕駛員的第一眼動信息,并直接將第一眼動信息作為特征信息。例如:根據(jù)身體信息獲取駕駛員的第一眼動信息,將第一眼動信息作為特征信息,其中,第一眼動信息包括以下至少之一:注視點信息、瞳孔直徑信息、上下眼皮距離信息。
方式二,眼睛的特征信息可以由眼動信息結(jié)合其他預(yù)設(shè)參數(shù)決定,比如:眼動特征可以但不限于包括:注視點、瞳孔直徑、上下眼皮距離,其他預(yù)設(shè)參數(shù)可以但不限于包括:時間等。眼動信息可以由眼睛的身體信息分析計算得出,再由眼動信息和預(yù)設(shè)參數(shù)分析得出駕駛員眼部的特征信息。例如:可以根據(jù)身體信息獲取駕駛員的第二眼動信息,其中,第二眼動信息包括以下至少之一:注視點信息、瞳孔直徑信息、上下眼皮距離信息,再根據(jù)第二眼動信息以及預(yù)設(shè)參數(shù)獲取特征信息,其中,預(yù)設(shè)參數(shù)包括時間參數(shù),特征信息包括以下至少之一:注視信息、眼跳信息、平滑尾隨信息、瞳孔大小變化信息、眨眼信息、眼皮聳拉信息、閉眼信息。
在本實施例中,人眼行為有注視、眼跳和平滑追隨運動三種模式。這三類行為只要用眼動速度即可區(qū)分,其中注視時候又有眼震顫、微眼跳等3類行為。下面對人眼行為進(jìn)行說明和描述。
1.注視
或者稱為“注視野fixationfield”,此時獲取當(dāng)前注視點及邊緣視野的信息,并進(jìn)行內(nèi)部加工(包括3種加工——對當(dāng)前注視位置進(jìn)行編碼、加工、對場景進(jìn)行分類;從當(dāng)前注視邊緣視野確定下一個感興趣區(qū)域;計劃和準(zhǔn)備下一次眼跳)。注視靜止對象是,視線并非完全不動,而是伴隨漂移(drift),震顫(tremor/nystagmus)和微小不隨意的眼跳(involuntarysaccades)。
注視持續(xù)時間:大于100ms,通常為200~600ms。
2.漂移
不規(guī)則的、緩慢的視軸變化,雙眼漂移無固定關(guān)系。
幅度:5`以下
速度:6`/s
3.眼震顫
振幅:20``~40``
頻率為:70~90次/秒。
4.微眼跳
對靜止物體某的注視超過一定時間(0.3~0.5s),或當(dāng)注視點在視網(wǎng)膜上的成像由于漂移而偏離中央窩時,就會出現(xiàn)微眼跳,以校正視網(wǎng)膜上的成像。
時間間隔:0.03~0.05s
持續(xù)時間:10~20ms
幅度:20``視角。
視網(wǎng)膜某一固定位置接受不變的刺激一定時間后,會造成視覺模糊或視覺對象消失的情況,上述漂移,震顫和微眼跳(都屬于固視微動)能消除視網(wǎng)膜不適應(yīng)。
5.眼跳
眼球快速移動以便到達(dá)下一個注視點,以使注視內(nèi)容落在視網(wǎng)膜最敏感區(qū)域(中央窩)附近。一般認(rèn)為眼跳開始后,路徑就不會改變,一般認(rèn)為人們不能從眼跳過程中獲取任何信息。
持續(xù)時間:30~120ms(也有文獻(xiàn)說10~80ms)
覆蓋視角:1~40度,通常在15~20度之間。
速度:最高可達(dá)400~600度/s,在中間點達(dá)到最大值。
刺激開始到出現(xiàn)眼跳的潛伏期:150~200ms。
不應(yīng)期:下一次眼跳開始的100~120ms。
平滑尾隨
眼球跟追運動物體持續(xù)運動。有研究者指出可以作為精神分裂癥的生物標(biāo)志。
速度:1~30度/s。
可選地,可以但不限于通過以下兩種方式從多個駕駛狀態(tài)中識別駕駛員所處的目標(biāo)駕駛狀態(tài):
方式一,首先對駕駛狀態(tài)中優(yōu)先權(quán)高的駕駛狀態(tài)對應(yīng)的特征信息中的部分信息進(jìn)行處理,判斷該駕駛員是否處于優(yōu)先權(quán)高的駕駛狀態(tài),如果是,則確定駕駛員的駕駛狀態(tài),如果否,則再對優(yōu)先權(quán)低的駕駛狀態(tài)進(jìn)行確認(rèn)。例如:判斷特征信息中的第一信息是否落入第一預(yù)設(shè)閾值范圍;在判斷出第一信息落入第一預(yù)設(shè)閾值范圍的情況下,確定目標(biāo)駕駛狀態(tài)為第一駕駛狀態(tài);在判斷出第一信息未落入第一預(yù)設(shè)閾值范圍的情況下,判斷特征信息中的第二信息是否落入第二預(yù)設(shè)閾值范圍;在判斷出第二信息落入第二預(yù)設(shè)閾值范圍的情況下,確定目標(biāo)駕駛狀態(tài)為第二駕駛狀態(tài)。
在一個可選的實施方式中,以預(yù)設(shè)身體部位為眼部為例,先比照駕駛員的上下眼皮距離,如果直接閉眼耷拉到一定程度(例如:上眼皮遮蓋住瞳孔中心或更多)就是認(rèn)定駕駛員處于疲勞狀態(tài),不用判斷其他狀態(tài)了。如果不是疲勞狀態(tài),則可以比照瞳孔直徑變化、注視點和注視目標(biāo),來判定是不是緊急狀態(tài),如果能認(rèn)定是緊急狀態(tài)則不用比其他的了。如果不是緊急狀態(tài),則比照眼跳、注視、平滑尾隨及其他信息,判定是否為跟車狀態(tài)等。
方式二,全部特征都分別進(jìn)行計算,各個駕駛狀態(tài)都分別進(jìn)行對比。對全部的特征信息進(jìn)行處理,再在多個駕駛狀態(tài)中查找與特征信息匹配的駕駛狀態(tài)作為目標(biāo)駕駛狀態(tài)。例如:確定特征信息所落入的第三預(yù)設(shè)閾值范圍,得到目標(biāo)閾值范圍;根據(jù)第三預(yù)設(shè)閾值范圍與多個駕駛狀態(tài)之間的對應(yīng)關(guān)系確定目標(biāo)閾值范圍對應(yīng)的目標(biāo)駕駛狀態(tài)。
方式三,對駕駛狀態(tài)中所有的駕駛狀態(tài)對應(yīng)的特征信息中的部分信息進(jìn)行處理,全部特征都分別進(jìn)行計算,由于不同特征計算的時間不同,對于先計算出的所有特征涉及到的駕駛狀態(tài)進(jìn)行比對,判斷該駕駛員是否處于該駕駛狀態(tài),如果是,則確定駕駛員的駕駛狀態(tài),其他未計算完成的特征無須再進(jìn)行計算,如果否,則繼續(xù)進(jìn)行其他特征的計算,對計算完成的特征涉及到的其他駕駛狀態(tài)進(jìn)行比對,依次類推,直到確定駕駛狀態(tài)進(jìn)行確認(rèn)。例如:判斷特征信息中的第三信息是否落入第四預(yù)設(shè)閾值范圍,并判斷特征信息中的第四信息是否落入第五預(yù)設(shè)閾值范圍;在先判斷出第三信息是否落入第四預(yù)設(shè)閾值范圍的情況下,根據(jù)第三信息是否落入第四預(yù)設(shè)閾值范圍的第一判斷結(jié)果識別駕駛員所處的目標(biāo)駕駛狀態(tài);在先判斷出第四信息是否落入第五預(yù)設(shè)閾值范圍的情況下,根據(jù)第四信息是否落入第五預(yù)設(shè)閾值范圍的第二判斷結(jié)果識別駕駛員所處的目標(biāo)駕駛狀態(tài)。
方式四、基于分類器判斷駕駛員狀態(tài)的方法,利用已知特征信息與駕駛狀態(tài)之間的對應(yīng)關(guān)系的數(shù)據(jù)訓(xùn)練分類器模型,再根據(jù)分類器模型識別特征信息對應(yīng)的駕駛狀態(tài),其中,分類器模型可以但不限于包括:邏輯斯特回歸模型、決策樹模型、支持向量機(jī)模型等。例如:根據(jù)樣本數(shù)據(jù)訓(xùn)練分類器模型,其中,樣本數(shù)據(jù)為已知特征信息與駕駛狀態(tài)之間的對應(yīng)關(guān)系的數(shù)據(jù),分類器模型用于對輸入的特征信息進(jìn)行分類輸出輸入的特征信息對應(yīng)的駕駛狀態(tài);將特征信息輸入分類器模型;獲取分類器模型的輸出結(jié)果,將輸出結(jié)果指示的駕駛狀態(tài)作為目標(biāo)駕駛狀態(tài)。
在一個可選的實施方式中,上述分類器模型以決策樹為例。決策樹是機(jī)器學(xué)習(xí)中的一個預(yù)測模型,它表示對象屬性和對象值之間的一種映射,樹中的每一個節(jié)點表示對象屬性的判斷條件,其分支表示符合節(jié)點條件的對象。樹的葉子節(jié)點表示對象所屬的預(yù)測結(jié)果。
可選地,在本實施例中決策樹的構(gòu)建使用id3算法。決策樹的葉子節(jié)點為最終駕駛狀態(tài)。具體步驟如下:
(1)在樣本集中計算各特征信息的信息增益gain;
(2)選擇使得gain值最大的特征作為決策樹節(jié)點,即為預(yù)設(shè)條件;
(3)若樣本集中的樣本符合預(yù)設(shè)條件,則歸為相應(yīng)的目標(biāo)駕駛狀態(tài);
(4)若樣本集中的樣本不符合預(yù)設(shè)條件,組合成新的樣本集重復(fù)步驟(1)
(5)當(dāng)樣本集狀態(tài)種類被劃分為預(yù)設(shè)數(shù)量時,停止迭代。
其中,信息增益gain表示數(shù)據(jù)集在特征的作用后,其信息熵減少的值。對于決策樹節(jié)點最合適的特征選擇,就是使得gain值最大的特征。具體地,
gain(a)=info(d)-infoa(d)
其中,a為某種特征信息,info(d)為原始樣本數(shù)據(jù)集d的信息熵。計算如下:
其中,d表示駕駛狀態(tài)的訓(xùn)練數(shù)據(jù)集,c表示駕駛狀態(tài)類別數(shù),pii表示類別i樣本數(shù)量占所有樣本的比例。
infoa(d)為數(shù)據(jù)集d在特征a作用后的信息熵,計算如下:
其中k表示樣本d被分為k個部分。
以下,對特征信息做具體闡述??蛇x地,在本實施例中由眼部信息,眼動信息及預(yù)設(shè)信息獲取的特征信息用于駕駛狀態(tài)的判斷。由以下映射得到:
a(xs,xm,xp)→s
其中,s=(s1,s2,si,...,sn)t,0<i<n,s為駕駛狀態(tài)的n維向量表示。n代表駕駛狀態(tài)數(shù)量,本實施例中為5。當(dāng)si=1并且
其中,眼動信息xm由以下三個部分構(gòu)成:
(1)注視點信息:mg=mg(x,y)
(2)瞳孔直徑信息:mp=mp(z)
(3)上下眼皮距離信息:md=md(d)
預(yù)設(shè)參數(shù)xp由以下三個部分構(gòu)成:
以上三種信息的時間參數(shù):t=(tg,tp,td)t
以上三種信息在預(yù)設(shè)中分別采用的閾值:v=(vg,vp,vd)t
以上三種信息在預(yù)設(shè)中分別所占的權(quán)重:ω=(ωg,ωp,ωd)t
其中時間參數(shù)和閾值用于輔助表示眼動信息,加入時間參數(shù)的眼動信息表示為——mg=mg(x,y,tg,vg),mp=mp(z,tp,vp),md=md(d,td,vd);權(quán)重用于訓(xùn)練階段決策樹分支節(jié)點的確定。
訓(xùn)練階段,定義估計函數(shù)用以預(yù)測駕駛狀態(tài)類別:
h(xm)=hω(xm)=ωgmg+ωpmp+ωdmd
定義決策樹的損失函數(shù)如下:
定義目標(biāo)函數(shù)如下:
h(ω)(xm(i))為樣本di的預(yù)測駕駛狀態(tài)類別,y(i)為其真實的駕駛狀態(tài)類別,這里使用梯度下降法調(diào)整ω使得決策樹當(dāng)前節(jié)點的損失函數(shù)取得最小值。這樣,在決策樹的每一個節(jié)點處,都能得到相應(yīng)的特征向量權(quán)重參數(shù)ω。在滿足gain值最大的條件下,確定該節(jié)點的判定閾值。
測試階段,對于每一個測試樣本ti,在當(dāng)前決策樹節(jié)點中,由估計函數(shù)h(xm)求得駕駛狀態(tài)。當(dāng)h(xm)在判定閾值范圍內(nèi),將該樣本劃分為相應(yīng)目標(biāo)駕駛狀態(tài)。否則,進(jìn)入下一節(jié)點繼續(xù)判斷。
圖2a是根據(jù)本發(fā)明實施例的一種駕駛員識別狀態(tài)的決策樹算法示意圖,如圖2a所示,向分類器模型輸入特征信息,分類器模型將在第一預(yù)設(shè)中判斷該特征信息是否滿足第一預(yù)設(shè)的閾值范圍,如果滿足,則輸出駕駛狀態(tài)1作為目標(biāo)駕駛狀態(tài),如果不滿足,則判斷該特征信息是否滿足第二預(yù)設(shè)的閾值范圍,如果滿足,則輸出駕駛狀態(tài)2作為目標(biāo)駕駛狀態(tài),如果不滿足,則判斷該特征信息是否滿足第三預(yù)設(shè)的閾值范圍,如果滿足,則輸出駕駛狀態(tài)3作為目標(biāo)駕駛狀態(tài),如果不滿足,則判斷該特征信息是否滿足第四預(yù)設(shè)的閾值范圍,如果滿足,則輸出駕駛狀態(tài)4作為目標(biāo)駕駛狀態(tài),以此類推。
可選地,在本實施例中,獲取駕駛員身體信息的同時還可以獲取環(huán)境信息,從而整合身體信息和環(huán)境信息來對駕駛員狀態(tài)進(jìn)行識別。
可選地,在上述步驟s206之后,可以根據(jù)駕駛員的目標(biāo)駕駛狀態(tài)對駕駛員駕駛的設(shè)備進(jìn)行控制。例如:獲取目標(biāo)駕駛狀態(tài)對應(yīng)的控制信息,根據(jù)控制信息控制駕駛員駕駛的設(shè)備。
可選地,在本實施例中,也可以結(jié)合心電、膚點等探測方法進(jìn)一步加強(qiáng)狀態(tài)判斷的準(zhǔn)確性。
下面結(jié)合本發(fā)明可選實施例進(jìn)行詳細(xì)說明。
本發(fā)明優(yōu)選實施例提供了一種駕駛員狀態(tài)識別方法。圖3是根據(jù)本發(fā)明可選實施例的一種駕駛員狀態(tài)識別方法的示意圖,如圖3所示,以獲取眼部信息為例,可以獲取駕駛員的身體信息(例如:角膜反射率信息、眼角信息、眼皮位置信息、瞳孔中心信息、光斑信息、虹膜條紋信息、眼窩信息等等),根據(jù)身體信息得到駕駛員的眼動信息(例如:注視點信息、瞳孔直徑信息、上下眼皮距離信息),再根據(jù)眼動信息以及環(huán)境信息(例如:駕駛的設(shè)備的外部圖像、實時路況、位置信息、駕駛員的身份信息等等)得到駕駛員眼睛的特征信息,比如:根據(jù)注視點信息得到注視信息、眼跳信息和平滑尾隨信息,根據(jù)瞳孔直徑信息得到瞳孔大小變化信息,根據(jù)上下眼皮距離信息得到眨眼信息、眼皮聳拉信息、閉眼信息等等,再根據(jù)上述特征信息進(jìn)行駕駛員狀態(tài)識別,從駕駛員狀態(tài)分類中獲取目標(biāo)駕駛狀態(tài),其中,駕駛員狀態(tài)分類可以但不限于包括:危險駕駛狀態(tài),涉獵狀態(tài),緊急狀態(tài),搜尋狀態(tài),尾隨狀態(tài)等等,根據(jù)獲取的目標(biāo)駕駛狀態(tài)對應(yīng)的操作控制駕駛的設(shè)備從而做出智能反應(yīng)。
例如:在一個可選的實施方式中,以目標(biāo)駕駛狀態(tài)為涉獵狀態(tài)為例,采集駕駛員頭部/眼部/體態(tài)信息。其眼跳、注意力分布特征、瞳孔直徑大小符合涉獵模式。結(jié)合外部圖像、gps地圖信息確認(rèn)注視目標(biāo)。發(fā)現(xiàn)駕駛員注視了很多餐館、餐飲信息。為駕駛員實時在擋風(fēng)屏顯示(或發(fā)送至手機(jī))注視餐館的人均消費、特色、評價等信息;介紹附近餐館路徑、距離等信息。
在另一個可選的實施方式中,以目標(biāo)駕駛狀態(tài)為緊急狀態(tài)為例。采集駕駛員頭部/眼部/體態(tài)信息。其眼跳、眼部特征、瞳孔直徑大小符合緊急模式。智能系統(tǒng)計算資源緊急分配給注視目標(biāo),開啟緊急模式。智能系統(tǒng)結(jié)合外部圖像、雷達(dá)快速判斷注視目標(biāo)外形、分類、可能造成的危險等級。智能系統(tǒng)形成應(yīng)急處理策略。根據(jù)策略快速反應(yīng)。
實施例2
在本實施例中還提供了一種駕駛員狀態(tài)識別裝置,該裝置用于實現(xiàn)上述實施例及優(yōu)選實施方式,已經(jīng)進(jìn)行過說明的不再贅述。如以下所使用的,術(shù)語“模塊”可以實現(xiàn)預(yù)定功能的軟件和/或硬件的組合。盡管以下實施例所描述的裝置較佳地以軟件來實現(xiàn),但是硬件,或者軟件和硬件的組合的實現(xiàn)也是可能并被構(gòu)想的。
圖4是根據(jù)本發(fā)明實施例的一種駕駛員狀態(tài)識別裝置的結(jié)構(gòu)框圖一,如圖4所示,該裝置包括:
采集模塊42,用于從駕駛員的預(yù)設(shè)身體部位采集駕駛員的身體信息,其中,預(yù)設(shè)身體部位包括:駕駛員的眼部;
第一獲取模塊44,耦合至采集模塊42,用于從身體信息中獲取特征信息,其中,特征信息用于指示預(yù)設(shè)身體部位所處的狀態(tài);
識別模塊46,耦合至第一獲取模塊44,用于根據(jù)特征信息從多個駕駛狀態(tài)中識別駕駛員所處的目標(biāo)駕駛狀態(tài)。
可選地,上述駕駛員狀態(tài)識別裝置可以但不限于應(yīng)用于智能駕駛的場景中。例如:交通工具的智能駕駛場景中。
可選地,上述駕駛員狀態(tài)識別裝置可以但不限于應(yīng)用于智能設(shè)備,例如:智能交通工具、智能機(jī)器人等等。
可選地,在本實施例中,上述預(yù)設(shè)身體部位可以但不限于包括:眼部,頭部,腿部,手部,軀干等等。
可選地,在本實施例中,上述特征信息用于指示預(yù)設(shè)身體部位所處的狀態(tài)。例如:以預(yù)設(shè)身體部位為眼部為例,從身體信息中獲取的特征信息可以但不限于包括以下至少之一:注視信息、眼跳信息、平滑尾隨信息、瞳孔大小變化信息、眨眼信息、眼皮聳拉信息、閉眼信息。
可選地,可以但不限于利用圖像采集來獲取駕駛員的身體信息?;蛘?,還可以但不限于通過檢測駕駛員的身體的生物電流來獲取駕駛員的身體信息。
可選地,在本實施例中,上述駕駛狀態(tài)可以但不限于包括:緊急狀態(tài)、涉獵狀態(tài)、搜尋狀態(tài)、尾隨狀態(tài)、疲勞/不佳駕駛狀態(tài)等等。針對上述不同的駕駛狀態(tài),駕駛員有不同的身體反應(yīng),可以根據(jù)這些反應(yīng)對智能設(shè)備進(jìn)行不同的控制。例如:(1)緊急狀態(tài),此時駕駛員發(fā)現(xiàn)了危險目標(biāo)(比如障礙物),智能駕駛系統(tǒng)可以集中計算能力克服緊急狀況;(2)涉獵狀態(tài),此時駕駛員心情輕松,目光四處搜羅,可能在尋找飯館、游玩地之類,智能系統(tǒng)可以給駕駛員推薦注視物的相關(guān)信息,例如在前擋風(fēng)屏實時顯示餐館特色,人均消費;(3)搜尋狀態(tài),此時駕駛員有明確的目標(biāo),但是在確認(rèn)細(xì)節(jié)。比如已經(jīng)駕駛到目的地附近,但是要確認(rèn)交接人,確認(rèn)門牌號等。(4)尾隨狀態(tài),此時駕駛員緊盯前車關(guān)鍵部位(如后燈),精神較為集中,此時駕駛系統(tǒng)需要合理判斷尾隨距離,和周邊情況,并提示是否可以超車并線等。(5)疲勞/不佳駕駛狀態(tài),此時駕駛員目光渙散,眼神游離,智能系統(tǒng)判斷駕駛員狀態(tài)不佳,可以預(yù)警或者自動靠邊停車。
通過上述裝置,采集模塊從駕駛員的預(yù)設(shè)身體部位采集駕駛員的身體信息;第一獲取模塊從身體信息中獲取特征信息,其中,特征信息用于指示預(yù)設(shè)身體部位所處的狀態(tài);識別模塊根據(jù)特征信息從多個駕駛狀態(tài)中識別駕駛員所處的目標(biāo)駕駛狀態(tài),由此可見,采用上述方案從采集到的駕駛員的預(yù)設(shè)身體部位的身體信息中獲取能夠指示預(yù)設(shè)身體部位所處的狀態(tài)的特征信息,再從多個駕駛狀態(tài)中識別出特征信息對應(yīng)的目標(biāo)駕駛狀態(tài),實現(xiàn)了對駕駛員的多種駕駛狀態(tài)的識別,因此,提高了智能駕駛技術(shù)的智能程度,從而解決了相關(guān)技術(shù)中提高了智能駕駛技術(shù)的智能程度的問題
可選地,上述身體信息包括以下至少之一:角膜反射率信息、眼角信息、眼皮位置信息、瞳孔中心信息、光斑信息、虹膜條紋信息、眼窩信息。
圖5是根據(jù)本發(fā)明實施例的一種駕駛員狀態(tài)識別裝置的結(jié)構(gòu)框圖二,如圖5所示,可選地,第一獲取模塊44包括以下之一:
第一獲取單元52,用于根據(jù)身體信息獲取駕駛員的第一眼動信息,將第一眼動信息作為特征信息,其中,第一眼動信息包括以下至少之一:注視點信息、瞳孔直徑信息、上下眼皮距離信息;
第二獲取單元54,耦合至第一獲取單元52,用于根據(jù)身體信息獲取駕駛員的第二眼動信息,其中,第二眼動信息包括以下至少之一:注視點信息、瞳孔直徑信息、上下眼皮距離信息;根據(jù)第二眼動信息以及預(yù)設(shè)參數(shù)獲取特征信息,其中,預(yù)設(shè)參數(shù)包括時間參數(shù),特征信息包括以下至少之一:注視信息、眼跳信息、平滑尾隨信息、瞳孔大小變化信息、眨眼信息、眼皮聳拉信息、閉眼信息。
可選地,在預(yù)設(shè)身體部位為眼部的情況下,眼睛的特征信息可以由眼動信息結(jié)合其他預(yù)設(shè)參數(shù)決定,比如:眼動特征可以但不限于包括:注視點、瞳孔直徑、上下眼皮距離,其他預(yù)設(shè)參數(shù)可以但不限于包括:時間等。眼動信息可以由眼睛的身體信息分析計算得出,再由眼動信息和預(yù)設(shè)參數(shù)分析得出駕駛員眼部的特征信息。特征信息也可以直接由眼動信息來確定。
在本實施例中,人眼行為有注視、眼跳和平滑追隨運動三種模式。這三類行為只要用眼動速度即可區(qū)分,其中注視時候又有眼震顫、微眼跳等3類行為。下面對人眼行為進(jìn)行說明和描述。
1.注視
或者稱為“注視野fixationfield”,此時獲取當(dāng)前注視點及邊緣視野的信息,并進(jìn)行內(nèi)部加工(包括3種加工——對當(dāng)前注視位置進(jìn)行編碼、加工、對場景進(jìn)行分類;從當(dāng)前注視邊緣視野確定下一個感興趣區(qū)域;計劃和準(zhǔn)備下一次眼跳)。注視靜止對象是,視線并非完全不動,而是伴隨漂移(drift),震顫(tremor/nystagmus)和微小不隨意的眼跳(involuntarysaccades)。
注視持續(xù)時間:大于100ms,通常為200~600ms。
2.漂移
不規(guī)則的、緩慢的視軸變化,雙眼漂移無固定關(guān)系。
幅度:5`以下
速度:6`/s
3.眼震顫
振幅:20``~40``
頻率為:70~90次/秒。
4.微眼跳
對靜止物體某的注視超過一定時間(0.3~0.5s),或當(dāng)注視點在視網(wǎng)膜上的成像由于漂移而偏離中央窩時,就會出現(xiàn)微眼跳,以校正視網(wǎng)膜上的成像。
時間間隔:0.03~0.05s
持續(xù)時間:10~20ms
幅度:20``視角。
視網(wǎng)膜某一固定位置接受不變的刺激一定時間后,會造成視覺模糊或視覺對象消失的情況,上述漂移,震顫和微眼跳(都屬于固視微動)能消除視網(wǎng)膜不適應(yīng)。
5.眼跳
眼球快速移動以便到達(dá)下一個注視點,以使注視內(nèi)容落在視網(wǎng)膜最敏感區(qū)域(中央窩)附近。一般認(rèn)為眼跳開始后,路徑就不會改變,一般認(rèn)為人們不能從眼跳過程中獲取任何信息。
持續(xù)時間:30~120ms(也有文獻(xiàn)說10~80ms)
覆蓋視角:1~40度,通常在15~20度之間。
速度:最高可達(dá)400~600度/s,在中間點達(dá)到最大值。
刺激開始到出現(xiàn)眼跳的潛伏期:150~200ms。
不應(yīng)期:下一次眼跳開始的100~120ms。
平滑尾隨
眼球跟追運動物體持續(xù)運動。有研究者指出可以作為精神分裂癥的生物標(biāo)志。
速度:1~30度/s。
圖6是根據(jù)本發(fā)明實施例的一種駕駛員狀態(tài)識別裝置的結(jié)構(gòu)框圖三,如圖6所示,可選地,識別模塊46包括:
第一判斷單元62,用于判斷特征信息中的第一信息是否落入第一預(yù)設(shè)閾值范圍;
第一確定單元64,耦合至第一判斷單元62,用于在判斷出第一信息落入第一預(yù)設(shè)閾值范圍的情況下,確定目標(biāo)駕駛狀態(tài)為第一駕駛狀態(tài);
第二判斷單元66,耦合至第一判斷單元62,用于在判斷出第一信息未落入第一預(yù)設(shè)閾值范圍的情況下,判斷特征信息中的第二信息是否落入第二預(yù)設(shè)閾值范圍;
第二確定模塊68,耦合至第二判斷單元66,用于在判斷出第二信息落入第二預(yù)設(shè)閾值范圍的情況下,確定目標(biāo)駕駛狀態(tài)為第二駕駛狀態(tài)。
可選地,可以首先對駕駛狀態(tài)中優(yōu)先權(quán)高的駕駛狀態(tài)對應(yīng)的特征信息中的部分信息進(jìn)行處理,判斷該駕駛員是否處于優(yōu)先權(quán)高的駕駛狀態(tài),如果是,則確定駕駛員的駕駛狀態(tài),如果否,則再對優(yōu)先權(quán)低的駕駛狀態(tài)進(jìn)行確認(rèn)。例如:判斷特征信息中的第一信息是否落入第一預(yù)設(shè)閾值范圍;在判斷出第一信息落入第一預(yù)設(shè)閾值范圍的情況下,確定目標(biāo)駕駛狀態(tài)為第一駕駛狀態(tài);在判斷出第一信息未落入第一預(yù)設(shè)閾值范圍的情況下,判斷特征信息中的第二信息是否落入第二預(yù)設(shè)閾值范圍;在判斷出第二信息落入第二預(yù)設(shè)閾值范圍的情況下,確定目標(biāo)駕駛狀態(tài)為第二駕駛狀態(tài)。
在一個可選的實施方式中,以預(yù)設(shè)身體部位為眼部為例,先比照駕駛員的上下眼皮距離,如果直接閉眼耷拉到一定程度(例如:上眼皮遮蓋住瞳孔中心或更多)就是認(rèn)定駕駛員處于疲勞狀態(tài),不用判斷其他狀態(tài)了。如果不是疲勞狀態(tài),則可以比照瞳孔直徑變化、注視點和注視目標(biāo),來判定是不是緊急狀態(tài),如果能認(rèn)定是緊急狀態(tài)則不用比其他的了。如果不是緊急狀態(tài),則比照眼跳、注視、平滑尾隨及其他信息,判定是否為跟車狀態(tài)等。
圖7是根據(jù)本發(fā)明實施例的一種駕駛員狀態(tài)識別裝置的結(jié)構(gòu)框圖四,如圖7所示,可選地,識別模塊46包括:
第三確定單元72,用于確定特征信息所落入的第三預(yù)設(shè)閾值范圍,得到目標(biāo)閾值范圍;
第四確定單元74,耦合至第三確定單元72,用于根據(jù)第三預(yù)設(shè)閾值范圍與多個駕駛狀態(tài)之間的對應(yīng)關(guān)系確定目標(biāo)閾值范圍對應(yīng)的目標(biāo)駕駛狀態(tài)。
可選地,可以全部特征都分別進(jìn)行計算,各個駕駛狀態(tài)都分別進(jìn)行對比。對全部的特征信息進(jìn)行處理,再在多個駕駛狀態(tài)中查找與特征信息匹配的駕駛狀態(tài)作為目標(biāo)駕駛狀態(tài)。
方式三,對駕駛狀態(tài)中所有的駕駛狀態(tài)對應(yīng)的特征信息中的部分信息進(jìn)行處理,全部特征都分別進(jìn)行計算,由于不同特征計算的時間不同,對于先計算出的所有特征涉及到的駕駛狀態(tài)進(jìn)行比對,判斷該駕駛員是否處于該駕駛狀態(tài),如果是,則確定駕駛員的駕駛狀態(tài),其他未計算完成的特征無須再進(jìn)行計算,如果否,則繼續(xù)進(jìn)行其他特征的計算,對計算完成的特征涉及到的其他駕駛狀態(tài)進(jìn)行比對,依次類推,直到確定駕駛狀態(tài)進(jìn)行確認(rèn)。例如:識別模塊包括:第三判斷單元,用于判斷特征信息中的第三信息是否落入第四預(yù)設(shè)閾值范圍,并判斷特征信息中的第四信息是否落入第五預(yù)設(shè)閾值范圍;第一識別單元,用于在先判斷出第三信息是否落入第四預(yù)設(shè)閾值范圍的情況下,根據(jù)第三信息是否落入第四預(yù)設(shè)閾值范圍的第一判斷結(jié)果識別駕駛員所處的目標(biāo)駕駛狀態(tài);第二識別單元,用于在先判斷出第四信息是否落入第五預(yù)設(shè)閾值范圍的情況下,根據(jù)第四信息是否落入第五預(yù)設(shè)閾值范圍的第二判斷結(jié)果識別駕駛員所處的目標(biāo)駕駛狀態(tài)。
方式四、基于分類器判斷駕駛員狀態(tài)的方法,利用已知特征信息與駕駛狀態(tài)之間的對應(yīng)關(guān)系的數(shù)據(jù)訓(xùn)練分類器模型,再根據(jù)分類器模型識別特征信息對應(yīng)的駕駛狀態(tài),其中,分類器模型可以但不限于包括:邏輯斯特回歸模型、決策樹模型、支持向量機(jī)模型等。例如:識別模塊包括:訓(xùn)練單元,用于根據(jù)樣本數(shù)據(jù)訓(xùn)練分類器模型,其中,樣本數(shù)據(jù)為已知特征信息與駕駛狀態(tài)之間的對應(yīng)關(guān)系的數(shù)據(jù),分類器模型用于對輸入的特征信息進(jìn)行分類輸出輸入的特征信息對應(yīng)的駕駛狀態(tài);輸入單元,用于將特征信息輸入分類器模型;第三獲取單元,用于獲取分類器模型的輸出結(jié)果,將輸出結(jié)果指示的駕駛狀態(tài)作為目標(biāo)駕駛狀態(tài)。
在一個可選的實施方式中,上述分類器模型以決策樹為例。決策樹是機(jī)器學(xué)習(xí)中的一個預(yù)測模型,它表示對象屬性和對象值之間的一種映射,樹中的每一個節(jié)點表示對象屬性的判斷條件,其分支表示符合節(jié)點條件的對象。樹的葉子節(jié)點表示對象所屬的預(yù)測結(jié)果。
可選地,在本實施例中決策樹的構(gòu)建使用id3算法。決策樹的葉子節(jié)點為最終駕駛狀態(tài)。具體步驟如下:
(6)在樣本集中計算各特征信息的信息增益gain;
(7)選擇使得gain值最大的特征作為決策樹節(jié)點,即為預(yù)設(shè)條件;
(8)若樣本集中的樣本符合預(yù)設(shè)條件,則歸為相應(yīng)的目標(biāo)駕駛狀態(tài);
(9)若樣本集中的樣本不符合預(yù)設(shè)條件,組合成新的樣本集重復(fù)步驟(1)
(10)當(dāng)樣本集狀態(tài)種類被劃分為預(yù)設(shè)數(shù)量時,停止迭代。
其中,信息增益gain表示數(shù)據(jù)集在特征的作用后,其信息熵減少的值。對于決策樹節(jié)點最合適的特征選擇,就是使得gain值最大的特征。具體地,
gain(a)=info(d)-infoa(d)
其中,a為某種特征信息,info(d)為原始樣本數(shù)據(jù)集d的信息熵。計算如下:
其中,d表示駕駛狀態(tài)的訓(xùn)練數(shù)據(jù)集,c表示駕駛狀態(tài)類別數(shù),pi表示類別i樣本數(shù)量占所有樣本的比例。
infoa(d)為數(shù)據(jù)集d在特征a作用后的信息熵,計算如下:
其中k表示樣本d被分為k個部分。
以下,對特征信息做具體闡述。可選地,在本實施例中由眼部信息,眼動信息及預(yù)設(shè)信息獲取的特征信息用于駕駛狀態(tài)的判斷。由以下映射得到:
a(xs,xm,xp)→s
其中,s=(s1,s2,si,...,sn)t,0<i<n,s為駕駛狀態(tài)的n維向量表示。n代表駕駛狀態(tài)數(shù)量,本實施例中為5。當(dāng)si=1并且
其中,眼動信息xm由以下三個部分構(gòu)成:
(4)注視點信息:mg=mg(x,y)
(5)瞳孔直徑信息:mp=mp(z)
(6)上下眼皮距離信息:md=md(d)
預(yù)設(shè)參數(shù)xp由以下三個部分構(gòu)成:
以上三種信息的時間參數(shù):t=(tg,tp,td)t
以上三種信息在預(yù)設(shè)中分別采用的閾值:v=(vg,vp,vd)t
以上三種信息在預(yù)設(shè)中分別所占的權(quán)重:ω=(ωg,ωp,ωd)t
其中時間參數(shù)和閾值用于輔助表示眼動信息,加入時間參數(shù)的眼動信息表示為——mg=mg(x,y,tg,vg),mp=mp(z,tp,vp),md=md(d,td,vd);權(quán)重用于訓(xùn)練階段決策樹分支節(jié)點的確定。
訓(xùn)練階段,定義估計函數(shù)用以預(yù)測駕駛狀態(tài)類別:
h(xm)=hω(xm)=ωgmg+ωpmp+ωdmd
定義決策樹的損失函數(shù)如下:
定義目標(biāo)函數(shù)如下:
h(ω)(xm(i))為樣本di的預(yù)測駕駛狀態(tài)類別,y(i)為其真實的駕駛狀態(tài)類別,這里使用梯度下降法調(diào)整ω使得決策樹當(dāng)前節(jié)點的損失函數(shù)取得最小值。這樣,在決策樹的每一個節(jié)點處,都能得到相應(yīng)的特征向量權(quán)重參數(shù)ω。在滿足gain值最大的條件下,確定該節(jié)點的判定閾值。
測試階段,對于每一個測試樣本ti,在當(dāng)前決策樹節(jié)點中,由估計函數(shù)h(xm)求得駕駛狀態(tài)。當(dāng)h(xm)在判定閾值范圍內(nèi),將該樣本劃分為相應(yīng)目標(biāo)駕駛狀態(tài)。否則,進(jìn)入下一節(jié)點繼續(xù)判斷。
圖2a是根據(jù)本發(fā)明實施例的一種駕駛員識別狀態(tài)的決策樹算法示意圖,如圖2a所示,向分類器模型輸入特征信息,分類器模型將在第一預(yù)設(shè)中判斷該特征信息是否滿足第一預(yù)設(shè)的閾值范圍,如果滿足,則輸出駕駛狀態(tài)1作為目標(biāo)駕駛狀態(tài),如果不滿足,則判斷該特征信息是否滿足第二預(yù)設(shè)的閾值范圍,如果滿足,則輸出駕駛狀態(tài)2作為目標(biāo)駕駛狀態(tài),如果不滿足,則判斷該特征信息是否滿足第三預(yù)設(shè)的閾值范圍,如果滿足,則輸出駕駛狀態(tài)3作為目標(biāo)駕駛狀態(tài),如果不滿足,則判斷該特征信息是否滿足第四預(yù)設(shè)的閾值范圍,如果滿足,則輸出駕駛狀態(tài)4作為目標(biāo)駕駛狀態(tài),以此類推。
圖8是根據(jù)本發(fā)明實施例的一種駕駛員狀態(tài)識別裝置的結(jié)構(gòu)框圖五,如圖8所示,可選地,上述裝置還包括:
第二獲取模塊82,耦合至識別模塊46,用于獲取目標(biāo)駕駛狀態(tài)對應(yīng)的控制信息;
控制模塊84,耦合至第二獲取模塊82,用于根據(jù)控制信息控制駕駛員駕駛的設(shè)備。
可選地,在本實施例中,也可以結(jié)合心電、膚點等探測方法進(jìn)一步加強(qiáng)狀態(tài)判斷的準(zhǔn)確性。
需要說明的是,上述各個模塊是可以通過軟件或硬件來實現(xiàn)的,對于后者,可以通過以下方式實現(xiàn),但不限于此:上述模塊均位于同一處理器中;或者,上述模塊分別位于多個處理器中。
下面結(jié)合本發(fā)明可選實施例進(jìn)行詳細(xì)說明。
本發(fā)明優(yōu)選實施例提供了一種駕駛員狀態(tài)識別裝置。圖9是根據(jù)本發(fā)明可選實施例的一種駕駛員狀態(tài)識別裝置的結(jié)構(gòu)框圖,如圖9所示,該裝置包括傳統(tǒng)智能駕駛系統(tǒng)和眼動跟蹤裝置,其中,傳統(tǒng)智能駕駛系統(tǒng)包括:對外攝像頭、雷達(dá)、gps、其他探測器、計算中心等設(shè)備,眼動跟蹤裝置包括:對內(nèi)攝像頭、輸出單元、控制電路等設(shè)備。
在本可選實施例中,在原智能駕駛系統(tǒng)基本裝備基礎(chǔ)上增加眼動跟蹤裝置,包含對內(nèi)攝像頭,用于拍攝駕駛員面部/眼部圖像;控制電路,用于控制眼動探測裝置動作;輸出單元,用于將眼動跟蹤裝置處理的信息傳送給計算中心。
通過上述裝置,計算駕駛員眼睛注視點和/或瞳孔直徑和/或眼睛狀態(tài)信息,并將這些信息與其他信息整合識別出駕駛員的駕駛狀態(tài)。
可選地,在本實施例中,眼睛的注視點、瞳孔直徑等的計算中心可以與原智能系統(tǒng)計算中心統(tǒng)一,也可獨立,計算完成后把結(jié)果輸出給原智能系統(tǒng)的計算中心。
以上實施例僅用以說明本發(fā)明的技術(shù)方案而非對其進(jìn)行限制,本領(lǐng)域的普通技術(shù)人員可以對本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換,而不脫離本發(fā)明的精神和范圍,本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求所述為準(zhǔn)。
實施例3
通過以上的實施方式的描述,本領(lǐng)域的技術(shù)人員可以清楚地了解到根據(jù)上述實施例的方法可借助軟件加必需的通用硬件平臺的方式來實現(xiàn),當(dāng)然也可以通過硬件,但很多情況下前者是更佳的實施方式?;谶@樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計算機(jī)軟件產(chǎn)品存儲在一個存儲介質(zhì)(如rom/ram、磁碟、光盤)中,包括若干指令用以使得一臺終端設(shè)備(可以是手機(jī),計算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述的方法。
本發(fā)明的實施例還提供了一種存儲介質(zhì),該存儲介質(zhì)包括存儲的程序,其中,上述程序運行時執(zhí)行上述任一項所述的方法。
可選地,在本實施例中,上述存儲介質(zhì)可以被設(shè)置為存儲用于執(zhí)行以下步驟的程序代碼:
s1,從駕駛員的預(yù)設(shè)身體部位采集駕駛員的身體信息,其中,預(yù)設(shè)身體部位包括:駕駛員的眼部;
s2,從身體信息中獲取特征信息,其中,特征信息用于指示預(yù)設(shè)身體部位所處的狀態(tài);
s3,根據(jù)特征信息從多個駕駛狀態(tài)中識別駕駛員所處的目標(biāo)駕駛狀態(tài)。
可選地,身體信息包括以下至少之一:角膜反射率信息、眼角信息、眼皮位置信息、瞳孔中心信息、光斑信息、虹膜條紋信息、眼窩信息。
可選地,存儲介質(zhì)還被設(shè)置為存儲用于執(zhí)行上述實施例記載的方法步驟的程序代碼:
根據(jù)身體信息獲取駕駛員的第一眼動信息,將第一眼動信息作為特征信息,其中,第一眼動信息包括以下至少之一:注視點信息、瞳孔直徑信息、上下眼皮距離信息;或者,
根據(jù)身體信息獲取駕駛員的第二眼動信息,其中,第二眼動信息包括以下至少之一:注視點信息、瞳孔直徑信息、上下眼皮距離信息;根據(jù)第二眼動信息以及預(yù)設(shè)參數(shù)獲取特征信息,其中,預(yù)設(shè)參數(shù)包括時間參數(shù),特征信息包括以下至少之一:注視信息、眼跳信息、平滑尾隨信息、瞳孔大小變化信息、眨眼信息、眼皮聳拉信息、閉眼信息。
可選地,存儲介質(zhì)還被設(shè)置為存儲用于執(zhí)行上述實施例記載的方法步驟的程序代碼:判斷特征信息中的第一信息是否落入第一預(yù)設(shè)閾值范圍;在判斷出第一信息落入第一預(yù)設(shè)閾值范圍的情況下,確定目標(biāo)駕駛狀態(tài)為第一駕駛狀態(tài);在判斷出第一信息未落入第一預(yù)設(shè)閾值范圍的情況下,判斷特征信息中的第二信息是否落入第二預(yù)設(shè)閾值范圍;在判斷出第二信息落入第二預(yù)設(shè)閾值范圍的情況下,確定目標(biāo)駕駛狀態(tài)為第二駕駛狀態(tài)。
可選地,存儲介質(zhì)還被設(shè)置為存儲用于執(zhí)行上述實施例記載的方法步驟的程序代碼:確定特征信息所落入的第三預(yù)設(shè)閾值范圍,得到目標(biāo)閾值范圍;根據(jù)第三預(yù)設(shè)閾值范圍與多個駕駛狀態(tài)之間的對應(yīng)關(guān)系確定目標(biāo)閾值范圍對應(yīng)的目標(biāo)駕駛狀態(tài)。
可選地,存儲介質(zhì)還被設(shè)置為存儲用于執(zhí)行上述實施例記載的方法步驟的程序代碼:獲取目標(biāo)駕駛狀態(tài)對應(yīng)的控制信息;根據(jù)控制信息控制駕駛員駕駛的設(shè)備。
可選地,在本實施例中,上述存儲介質(zhì)可以包括但不限于:u盤、只讀存儲器(rom,read-onlymemory)、隨機(jī)存取存儲器(ram,randomaccessmemory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
本發(fā)明的實施例還提供了一種處理器,該處理器用于運行程序,其中,該程序運行時執(zhí)行上述任一項方法中的步驟。
可選地,在本實施例中,上述程序用于執(zhí)行以下步驟:
s1,從駕駛員的預(yù)設(shè)身體部位采集駕駛員的身體信息,其中,所述預(yù)設(shè)身體部位包括:所述駕駛員的眼部;
s2,從身體信息中獲取特征信息,其中,特征信息用于指示預(yù)設(shè)身體部位所處的狀態(tài);
s3,根據(jù)特征信息從多個駕駛狀態(tài)中識別駕駛員所處的目標(biāo)駕駛狀態(tài)。
可選地,本實施例中的具體示例可以參考上述實施例及可選實施方式中所描述的示例,本實施例在此不再贅述。
顯然,本領(lǐng)域的技術(shù)人員應(yīng)該明白,上述的本發(fā)明的各模塊或各步驟可以用通用的計算裝置來實現(xiàn),它們可以集中在單個的計算裝置上,或者分布在多個計算裝置所組成的網(wǎng)絡(luò)上,可選地,它們可以用計算裝置可執(zhí)行的程序代碼來實現(xiàn),從而,可以將它們存儲在存儲裝置中由計算裝置來執(zhí)行,并且在某些情況下,可以以不同于此處的順序執(zhí)行所示出或描述的步驟,或者將它們分別制作成各個集成電路模塊,或者將它們中的多個模塊或步驟制作成單個集成電路模塊來實現(xiàn)。這樣,本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。
以上所述僅為本發(fā)明的優(yōu)選實施例而已,并不用于限制本發(fā)明,對于本領(lǐng)域的技術(shù)人員來說,本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi),所作的任何修改、等同替換、改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。