本發(fā)明涉及瞌睡探測裝置，特別是，涉及用于探測車輛駕駛中的駕駛者的瞌睡而將瞌睡駕駛防患于未然的裝置。

背景技術(shù)：

作為瞌睡駕駛的探測裝置，已提出用相機(jī)拍攝駕駛者的臉部并根據(jù)圖像判斷瞌睡狀態(tài)的裝置、根據(jù)駕駛者的脈博變化判斷瞌睡狀態(tài)的裝置等各種瞌睡駕駛探測裝置。

例如，在專利文獻(xiàn)1中公開了通過從駕駛者的睜眼度的度數(shù)分布提取極值并檢測極值的時間變化來推定駕駛者的狀態(tài)變化。在該技術(shù)中，提取睜眼時的極值和閉眼時的極值，在閉眼狀態(tài)的極值處于變高的傾向的情況下判斷為駕駛者正在犯困。

但是，在上述技術(shù)中，例如存在如下問題：在如連續(xù)反復(fù)眨眼的情況這樣閉眼狀態(tài)和睜眼狀態(tài)在短時間內(nèi)反復(fù)出現(xiàn)的情況下，也會誤判斷為閉眼狀態(tài)的極值變高了。另外，有時會由于干擾光而導(dǎo)致檢測暫時中斷，不一定能連續(xù)地進(jìn)行測量。

而且，由于是根據(jù)一定的測量時間內(nèi)的頻度分布判斷閉眼狀態(tài)，因此，還存在如果不是經(jīng)過了測量時間之后就無法檢測閉眼狀態(tài)的問題。即，有可能無法確定在測量時間內(nèi)的什么時點轉(zhuǎn)變?yōu)殚]眼狀態(tài)，實際上轉(zhuǎn)變?yōu)殚]眼狀態(tài)的時刻與檢測出閉眼狀態(tài)的時刻產(chǎn)生時間差，產(chǎn)生延遲。

另一方面，在專利文獻(xiàn)2中，為了將眨眼、干擾光的影響作為噪聲排除而使用了閾值，但如果在判斷閉眼狀態(tài)時使用閾值，由閾值的定義所致的誤差就無法避免。本來，眼睛的大小存在個體差異，并受表情、姿勢等各種因素影響，因此設(shè)定閾值本身就很困難。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：特開2008-99884號公報

專利文獻(xiàn)2：特開2010-184067號公報

技術(shù)實現(xiàn)要素：

發(fā)明要解決的問題

本發(fā)明是鑒于上述這樣的現(xiàn)狀而完成的，其目的在于，在瞌睡探測裝置中，排除眨眼、干擾光等的影響，提高檢測精度和響應(yīng)性。

用于解決問題的方案

為了解決上述問題，本發(fā)明的瞌睡探測裝置具備：

根據(jù)對象者的雙眼圖像檢測眼瞼開度的單元；

按規(guī)定幀率記錄作為時間序列數(shù)據(jù)的上述眼瞼開度的單元；以及

瞌睡判斷單元，其從上述時間序列數(shù)據(jù)的包含最新幀在內(nèi)的連續(xù)的規(guī)定數(shù)量的探測對象幀中提取劃分先行組和后續(xù)組的邊界幀，并將上述先行組的時間序列數(shù)據(jù)與上述后續(xù)組的時間序列數(shù)據(jù)的分離度為最大的邊界幀作為閉眼開始時刻。

發(fā)明效果

根據(jù)上述構(gòu)成，在瞌睡探測裝置的通常實施中，在探測剛剛開始之后不會開始瞌睡，因此，在剛剛開始之后，眼瞼開度在整個探測對象幀中處于睜眼的級別，先行組與后續(xù)組的分離度持續(xù)取極小的值，但當(dāng)表現(xiàn)出瞌睡的傾向時，后續(xù)組會出現(xiàn)眼瞼開度低的級別而分離度上升。因此，能夠根據(jù)連續(xù)的時間序列數(shù)據(jù)直接檢測出前后的變化點，在提高檢測精度和響應(yīng)性上是有利的。

而且，如眨眼這樣的短時間的變化或干擾光所致的數(shù)據(jù)缺失幾乎不會導(dǎo)致分離度變化，不僅如此，即使眼睛的大小、睜開程度等個體差異、姿勢變化、臉部的傾斜動作等導(dǎo)致圖像產(chǎn)生了所取得大小的差異，也由于它們在作為先行組的數(shù)據(jù)而以時間序列進(jìn)行記錄的時點已預(yù)先考慮，因而不需要用于排除它們的處理過程或預(yù)處理，能夠簡化處理、裝置，并且在防止誤檢測上是有利的。

在本發(fā)明的優(yōu)選方式中，構(gòu)成為：上述瞌睡判斷單元對上述規(guī)定數(shù)量的探測對象幀的所有幀，設(shè)各幀是邊界幀，求出上述先行組的時間序列數(shù)據(jù)與上述后續(xù)組的時間序列數(shù)據(jù)之間的作為分離度的方差，提取上述方差為最大的邊界幀作為閉眼開始時刻。根據(jù)該方式，在先行組與后續(xù)組的分離度的判斷中，對各組進(jìn)行幀數(shù)的加權(quán)，因此，在將眨眼等暫時且零星的變動所致的影響排除而進(jìn)行穩(wěn)定的瞌睡探測上是有利的。

本發(fā)明的瞌睡探測裝置也可以通過具備運算處理裝置(計算機(jī))來實施，上述運算處理裝置能執(zhí)行：

通過對象者的雙眼圖像檢測眼瞼開度的步驟；

按照規(guī)定幀率記錄作為時間序列數(shù)據(jù)的上述眼瞼開度的步驟；

從上述時間序列數(shù)據(jù)的記錄單元讀取包含最新幀在內(nèi)的連續(xù)的規(guī)定數(shù)量的探測對象幀的時間序列數(shù)據(jù)的步驟；

對上述規(guī)定數(shù)量的探測對象幀的所有幀，通過各幀的邊界幀將上述探測對象幀的時間序列數(shù)據(jù)劃分為先行組和后續(xù)組，算出上述先行組的時間序列數(shù)據(jù)與上述后續(xù)組的時間序列數(shù)據(jù)之間的分離度的步驟；以及

提取上述各先行組與后續(xù)組的時間序列數(shù)據(jù)的分離度為最大的邊界幀作為閉眼開始時刻的步驟。

另外，在本發(fā)明的更優(yōu)選的方式中，構(gòu)成為：上述規(guī)定數(shù)量的探測對象幀的幀數(shù)N、上述先行組的時間序列數(shù)據(jù)的平均值μ1、上述后續(xù)組的時間序列數(shù)據(jù)的平均值μ2、上述邊界幀k的分離度ηk由下式算出：

ηk＝(μ1-μ2)²

(其中，若μ2＞μ1，則ηk＝0)。根據(jù)該方式，具有既能夠維持檢測精度又能夠簡化計算和處理的優(yōu)點。

在本發(fā)明的優(yōu)選方式中，構(gòu)成為：上述瞌睡判斷單元檢測出上述閉眼開始時刻后，在閉眼狀態(tài)經(jīng)過規(guī)定時間之后判斷為瞌睡。根據(jù)該方式，通過將規(guī)定時間設(shè)定為根據(jù)瞌睡檢測裝置的使用目的而可容許的時間，能夠?qū)υ撌褂媚康牟划a(chǎn)生影響的程度的閉眼動作排除。

本發(fā)明的瞌睡探測裝置優(yōu)選作為車輛的瞌睡駕駛防止系統(tǒng)來實施。例如構(gòu)成為：上述對象者是車輛的駕駛者，在上述瞌睡判斷單元判斷為瞌睡時，向上述駕駛者輸出警報或者向上述車輛輸出控制信號。

附圖說明

圖1是示出本發(fā)明的瞌睡探測裝置的實施方式的框圖。

圖2是示出實施本發(fā)明的瞌睡探測裝置的車輛的概要圖。

圖3是示出眼瞼開度的檢測的概要圖。

圖4是示出本發(fā)明的瞌睡探測裝置的動作的流程圖。

圖5是示出眼瞼開度的經(jīng)時變化的坐標(biāo)圖。

圖6是示出本發(fā)明的瞌睡探測裝置的閉眼開始時刻的檢測過程的流程圖。

圖7是示出類分離度和閉眼開始時刻的檢測的坐標(biāo)圖。

圖8是示出姿勢發(fā)生了變化的情況下的眼瞼開度的經(jīng)時變化的坐標(biāo)圖。

圖9是示出時間序列(a)～(d)的眼瞼開度的經(jīng)時變化的坐標(biāo)圖(左側(cè))和示出分離度的經(jīng)時變化的坐標(biāo)圖(右側(cè))。

附圖標(biāo)記說明

1 瞌睡探測裝置

2L,2R 雙眼

3 上眼瞼

4 車輛

10 車輛信息記錄部

11 圖像記錄部

12 眼瞼開度檢測部

13 時間序列數(shù)據(jù)記錄部

14 類分離度算出部

15 閉眼開始時刻檢測部

16 閉眼結(jié)束時刻檢測部

17 瞌睡狀態(tài)判斷部

18 警報顯示控制信號輸出部

20 車輛信息檢測單元

21 相機(jī)

22 警報裝置

30 駕駛者

N 探測對象幀數(shù)

O_L,O_R 眼瞼開度

η,ηk 分離度

μ1,μ2 平均值

具體實施方式

以下，參照附圖詳細(xì)說明本發(fā)明的實施方式。

圖2示出將本發(fā)明的瞌睡探測裝置1作為瞌睡駕駛防止系統(tǒng)來實施的車輛4的概要，在圖中，瞌睡駕駛防止系統(tǒng)由瞌睡探測裝置1、車輛信息檢測單元20、相機(jī)21和警報裝置22等構(gòu)成，根據(jù)相機(jī)21所拍攝的圖像經(jīng)時地檢測駕駛者30的眼瞼開度，在判斷為駕駛者30正逐漸轉(zhuǎn)變?yōu)轭癄顟B(tài)的情況下，通過警報裝置22執(zhí)行促使駕駛者30清醒等的防止措施。

車輛信息檢測單元20取得作為有線或者無線信號的車輛各部的傳感器輸出，例如優(yōu)選使用將車速、方向盤轉(zhuǎn)角、油門開度、制動器開關(guān)、轉(zhuǎn)向燈開關(guān)的操作狀態(tài)等車輛信息作為無線信號取得的車載網(wǎng)絡(luò)(CAN)。

相機(jī)21為能拍攝駕駛者30的至少雙眼部分，朝向駕駛者30的臉部，設(shè)置于儀表板或管柱罩，優(yōu)選采用使用了CCD、CMOS等固體攝像元件的數(shù)碼相機(jī)。

如圖1所示，瞌睡探測裝置1主要由車輛信息記錄部10、圖像記錄部11、眼瞼開度檢測部12、時間序列數(shù)據(jù)記錄部13、類分離度算出部14、閉眼開始時刻檢測部15、閉眼結(jié)束時刻檢測部16、瞌睡狀態(tài)判斷部17、信號輸出部18構(gòu)成。

它們優(yōu)選由計算機(jī)構(gòu)成，上述計算機(jī)包括存儲能以執(zhí)行它們各自的功能的方式動作的程序和數(shù)據(jù)的ROM、進(jìn)行運算處理的CPU、讀出上述程序并成為上述CPU的作業(yè)區(qū)域和運算結(jié)果的暫時存儲區(qū)域的RAM、連接輸入側(cè)外部設(shè)備(20,21)的輸入接口、連接輸出側(cè)外部設(shè)備(22)的輸出接口等。

以下，參照圖1的框圖和圖4的流程圖詳細(xì)說明瞌睡探測裝置1的各部的動作。

車輛信息記錄部10記錄通過車輛信息檢測單元20取得的車輛信息，例如，在車速為零的情況下視為處于停車中，在檢測出方向盤轉(zhuǎn)角、油門開度、制動開關(guān)、轉(zhuǎn)向燈開關(guān)等的操作的情況下，視為駕駛者30處于清醒中而使瞌睡探測裝置1不發(fā)揮作用(S101)。另外，還能夠根據(jù)車速來變更后述的瞌睡狀態(tài)判斷的持續(xù)時間。

圖像記錄部11將通過相機(jī)21取得的圖像按規(guī)定的幀率作為時間序列數(shù)據(jù)進(jìn)行記錄(S102)?？梢允菍⒑笫龅念袛嗨枰膸瑪?shù)的數(shù)據(jù)暫時保持并依次更新的方式，也可以是在存儲到規(guī)定的存儲容量后依次重寫的方式。

眼瞼開度檢測部12對所記錄的圖像進(jìn)行處理來進(jìn)行求出眼瞼開度的圖像處理(S103)。求出眼瞼開度的圖像處理過程能夠利用圖像處理和圖像識別的公知技術(shù)。例如，當(dāng)將如圖3所示的雙眼2L,2R的圖像二值化時，眼瞼的線和瞳孔部分會成為黑色像素。因此，在所得到的二值圖像中，沿上下橫穿雙眼2L,2R的各像素列中的黑色像素數(shù)的最大值與左右瞳孔的中央的上下方向?qū)挾葘?yīng)，成為眼瞼開度O_L,O_R。

此外，在記錄剛剛開始之后(駕駛剛剛開始之后)，可視為處于圖中3′所示的清醒狀態(tài)，因此，也可以將與該情況下的眼瞼開度(O_LMAX,O_RMAX)的比例作為眼瞼開度O_L,O_R(％)，但在本發(fā)明中，如上所述，為了檢測睜眼狀態(tài)與閉眼狀態(tài)的分離度，無需求出眼瞼開度的絕對值或以此為基準(zhǔn)的眼瞼開度本身，能夠?qū)⒑谏袼財?shù)的最大值直接用作眼瞼開度O_L,O_R。另外，也可以采用左右的眼瞼開度O_L,O_R的平均值，從只要其中一方處于睜眼狀態(tài)即可的觀點出發(fā)，也能夠采用左右兩個值之中的較大者。反過來說，也可以采用左右兩個值之中的較小者。

時間序列數(shù)據(jù)記錄部13將由眼瞼開度檢測部12求出的眼瞼開度O_L,O_R按規(guī)定的幀率作為時間序列數(shù)據(jù)進(jìn)行記錄(S104)。幀率沒有特別限定，但考慮到眨眼動作的特性而優(yōu)選10～30幀/秒。

當(dāng)幀率過高時，裝置的負(fù)荷會增大，要想確保所需要的處理速度就需要增大裝置成本。

另外，在時間序列數(shù)據(jù)記錄部13中，僅保持判斷瞌睡狀態(tài)所需的最小限度的幀數(shù)的數(shù)據(jù)，依次消去過去的數(shù)據(jù)，并新追加當(dāng)前幀的數(shù)據(jù)。由此，進(jìn)行動作以不斷更新并保持過去一定時間的時間序列數(shù)據(jù)。

圖5是示出眼瞼開度的時間序列數(shù)據(jù)的一例的坐標(biāo)圖，以當(dāng)前時刻為基準(zhǔn)，在-10～-3秒附近，眼瞼開度是90％左右的睜眼狀態(tài)，可以看出眨眼所致的瞬間性的眼瞼開度下降、干擾光等所致的暫時性的數(shù)據(jù)缺失。從這樣的睜眼狀態(tài)起，在-3秒以后，很快變?yōu)殚]眼狀態(tài)。

雖然在后面詳述，但考慮到車速等，為了根據(jù)分離度探測閉眼狀態(tài)持續(xù)2秒以上的情況，優(yōu)選保持其至少2倍的4秒鐘的時間序列數(shù)據(jù)。在本實施方式中，為能進(jìn)行可靠的檢測，設(shè)想保持5秒鐘的時間序列數(shù)據(jù)的情況下，在30幀/秒的幀率時，保持N＝150幀的時間序列數(shù)據(jù)。

如圖7所示，類分離度算出部14將如上述這樣取得的N幀的時間序列數(shù)據(jù)劃分為先行組C1和后續(xù)組C2，算出先行組C1的時間序列數(shù)據(jù)與后續(xù)組C2的時間序列數(shù)據(jù)的分離度，求出該分離度為最大的邊界值(S105)。在駕駛開始時基本上可以視為駕駛者30是清醒的，因此，探測最初開始時，在先行組C1中記錄有眼瞼開度高的睜眼狀態(tài)類的時間序列數(shù)據(jù)，在探測到瞌睡的情況下，在后續(xù)組中會出現(xiàn)眼瞼開度低的閉眼狀態(tài)類的時間序列數(shù)據(jù)。

2個類之間的分離度作為類間方差σ_B²與總方差σ_T²之比η能夠由下式求出。

η＝σ_B²/σ_T²＝ω₁ω₂(μ1-μ2)²/(ω₁+ω₂)²σ_T²

在此，μ1,μ2是各類的平均值，ω₁,ω₂是各類的數(shù)據(jù)數(shù)量。

通過求出該分離度η為最大的類間的邊界值，能夠確定從睜眼狀態(tài)類向閉眼狀態(tài)類的變化點。此時，總方差σ_T2對各個數(shù)據(jù)來說是恒定值，因此，只要求出類間方差σ_B²中的各類的平均值μ1,μ2之差的平方為最大的邊界值即可。

具體來說，類分離度算出部14在將作為檢測對象的N幀劃分為先行組C1和后續(xù)組C2的邊界幀k為0～N的各幀的情況下，算出先行組C1的時間序列數(shù)據(jù)與后續(xù)組C2的時間序列數(shù)據(jù)的分離度η，將分離度η為最大的邊界幀k作為閉眼開始時刻。

閉眼開始時刻檢測部15測量從由類分離度算出部14求出閉眼開始時刻(開始幀)起經(jīng)過的時間(S106)。在瞌睡狀態(tài)判斷部17中，在根據(jù)車速設(shè)定的規(guī)定時間(規(guī)定幀)以上持續(xù)檢測出分離度η的最大值的情況下，判斷為產(chǎn)生了瞌睡(S109)。

此外，在閉眼開始時刻檢測部15檢測出閉眼開始時刻(開始幀)后，由閉眼結(jié)束時刻檢測部16檢測出從閉眼狀態(tài)類向睜眼狀態(tài)類的變化點的情況下(S107)，算出其間的所需要的時間(S108)，判斷為產(chǎn)生了瞌睡(S109)。

在信號輸出部18中，在由瞌睡狀態(tài)判斷部17判斷為瞌睡狀態(tài)的情況下，參照車輛信息記錄部10所取得的當(dāng)前的車輛信息(S110)，在車輛處于行駛中而未進(jìn)行方向盤、油門、制動器、轉(zhuǎn)向燈等的操作的情況下，向警報裝置22輸出控制信號(S111)，發(fā)出用于促使駕駛者清醒的警報。

同時，也可以在車輛的顯示部進(jìn)行警告顯示，還可以執(zhí)行使車輛自動停車等的處理。另一方面，在根據(jù)車輛信息判斷為處于駕駛中的情況下，不輸出控制信號。

接著，參照圖6的流程圖和圖7的坐標(biāo)圖來說明根據(jù)時間序列數(shù)據(jù)檢測閉眼開始時刻的過程的具體例。

首先，讀出時間序列數(shù)據(jù)記錄部13所記錄的一定幀數(shù)(0～N)的眼瞼開度數(shù)據(jù)(S201)。在此，將瞌睡狀態(tài)設(shè)為2秒以上，為了檢測該瞌睡狀態(tài)，在30幀/秒的幀率下讀出相當(dāng)于5秒的幀數(shù)(N＝150)的數(shù)據(jù)。此外，在圖示例中，將當(dāng)前的幀編號設(shè)為0，越往過去則幀編號越大，但只要時刻與幀番號能取得對應(yīng)，也可以將最老的幀編號設(shè)為0。

接著，將與先行組C1(睜眼狀態(tài)類)和后續(xù)組C2(閉眼狀態(tài)類)的邊界幀對應(yīng)的計算用標(biāo)志k初始化(S202)。

然后，計算后續(xù)組C2(0～k)的范圍的眼瞼閉度數(shù)據(jù)的平均值μ2(S203)，計算先行組C1(k十1～N)的范圍的眼瞼開度數(shù)據(jù)的平均值μ1(S204)。

通過下式計算與邊界幀對應(yīng)的計算標(biāo)志k處的分離度ηk，并將其進(jìn)行記錄(S205)。

ηk＝(μ1-μ2)²

其中，若μ2＞μ1，則ηk＝0

對與邊界幀對應(yīng)的計算標(biāo)志k的值進(jìn)行增計數(shù)(S206)。

判斷與邊界幀對應(yīng)的計算標(biāo)志k的值是否達(dá)到N(S207)，在計算標(biāo)志k的值未達(dá)到N的情況下，返回步驟(S203)，重復(fù)至步驟(S206)為止的循環(huán)處理。

在與邊界幀對應(yīng)的計算標(biāo)志k的值達(dá)到N的情況下，結(jié)束循環(huán)處理，從通過循環(huán)處理求出的分離度η1～ηN-1之中，決定分離度為最大的邊界幀kmax(S208)。

將邊界幀kmax作為閉眼開始時刻輸出(S209)。

(臉部朝向上下變化的情況的應(yīng)對)

接著，圖8示出臉部朝向上下變化的情況下的眼瞼開度的經(jīng)時變化。在駕駛者30的臉部朝向變?yōu)槌匣蛘叱碌那闆r下，圖3的圖像從表觀上來看顯得眼睛變細(xì)了，因此，眼瞼開度檢測部12檢測出的眼瞼開度O_L,O_R與初始狀態(tài)中的眼瞼開度(O_LMAX,O_RMAX)相比，整體上成為較低的值。

但是，在本發(fā)明的瞌睡探測裝置1中，對眼瞼開度O_L,O_R本身不進(jìn)行閾值判斷，而是求出先行組C1與后續(xù)組C2的分離度，由此，能夠直接檢測出閉眼開始時刻(邊界幀k)，因此，即使是在臉部朝向上下變化的情況下產(chǎn)生了個體差異，也不需要進(jìn)行參數(shù)調(diào)整、校準(zhǔn)等，當(dāng)然，在更換了駕駛者的情況下也是如此。

(閉眼開始時刻的檢測、瞌睡判斷例)

圖9的(a)～(d)的左側(cè)4個坐標(biāo)圖分別示出按每1秒(30幀)的時間差推移的眼瞼開度的經(jīng)時變化，以下，參照附圖來說明閉眼開始時刻的檢測和瞌睡判斷結(jié)果例。

首先，在圖9(a)中，雖然經(jīng)過了眨眼所致的瞬間性的閉眼狀態(tài)、干擾光所致的數(shù)據(jù)缺失，但它們并未對分離度產(chǎn)生顯著的影響，持續(xù)睜眼狀態(tài)，但眼瞼開度在時刻A下降，分離度為最大。此時，將時刻A作為閉眼開始時刻，但從后續(xù)的圖可知，在這之后時刻A不再是最大分離度的時點，會將其從閉眼開始時刻排除在外。

另一方面，在圖9(b)中，分離度在時刻B為最大，時刻B被作為閉眼開始時刻，在后續(xù)的圖9(c)和(d)中，時刻B的最大分離度持續(xù)，在(d)中，閉眼狀態(tài)持續(xù)規(guī)定時間(2秒)而判斷為瞌睡狀態(tài)。

此外，在上述實施方式中，說明了求出各類的平均值μ1,μ2之差的平方為最大的邊界值作為分離度η為最大的類間的邊界值，從而確定從睜眼狀態(tài)類向閉眼狀態(tài)類的變化點的情況，但也能夠通過求出各類的平均值μ1,μ2之差的絕對值為最大的邊界值來確定從睜眼狀態(tài)類向閉眼狀態(tài)類的變化點。不過，分離度η的變化會變小。

另一方面，在將分離度作為類間方差σ_B²與總方差σ_T2之比η來求出的情況下，各類的數(shù)據(jù)數(shù)量ω₁,ω₂會反映進(jìn)去，因此，在到達(dá)睜眼狀態(tài)類向閉眼狀態(tài)類的變化點后，分離度不會如圖9(b)所示的那樣急劇上升，可以說對眨眼等暫時性變動的穩(wěn)定性高。

以上，說明了本發(fā)明的實施方式，但本發(fā)明不限于上述實施方式，能基于本發(fā)明的技術(shù)思想進(jìn)一步進(jìn)行各種變形和變更。

例如，在上述實施方式中，說明了實施于車輛的瞌睡駕駛防止系統(tǒng)的情況，但本發(fā)明的瞌睡探測裝置也能實施于要求注視監(jiān)視器的操作員業(yè)務(wù)等車輛以外的瞌睡探測。