基于特征融合的眼睛狀態(tài)識(shí)別方法
【技術(shù)領(lǐng)域】
[0001] 本方法屬于圖像處理和模式識(shí)別領(lǐng)域，涉及一種基于特征融合的眼睛狀態(tài)識(shí)別方 法。
【背景技術(shù)】
[0002] 眼睛狀態(tài)的識(shí)別在人機(jī)交互、駕駛員疲勞檢測、視線跟蹤等很多領(lǐng)域都有重要的 作用，其判別的準(zhǔn)確率直接影響這些系統(tǒng)的性能。在實(shí)際應(yīng)用中，為了保證眼睛狀態(tài)判別的 方法能夠全天候使用，目前最常用的方法就是使用主動(dòng)紅外光源和濾光片結(jié)合的圖像采集 方法。但在紅外照明加濾光片的情況下，人眼圖像與正常光照下的人眼圖像出現(xiàn)較大的區(qū) 另IJ ;另外實(shí)際應(yīng)用中頭部的大幅度轉(zhuǎn)動(dòng)使得人眼圖像發(fā)生較大形變，導(dǎo)致原本提取的特征 失效。因此，選擇合適的人眼特征和設(shè)計(jì)性能優(yōu)良的眼睛狀態(tài)分類器是提高眼睛狀態(tài)識(shí)別 的關(guān)鍵。
[0003] 根據(jù)眼睛狀態(tài)識(shí)別方法采用的特征和模型可以分為基于外貌特征的眼睛狀態(tài)判 別方法和基于統(tǒng)計(jì)學(xué)習(xí)的眼睛狀態(tài)判別方法：
[0004] 基于外貌特征的眼睛狀態(tài)判別方法，利用眼睛的一些固有外觀特征進(jìn)行識(shí)別，比 如眼睛虹膜的形狀、眼瞼的曲率、眼睛的灰度分布等。眼睛的一些固有外觀特征會(huì)受到外界 的環(huán)境影響而發(fā)生改變，在實(shí)際不可控的條件下，這種方法往往變得并不可靠。
[0005] 基于統(tǒng)計(jì)學(xué)習(xí)的眼睛狀態(tài)判別方法，這種方法往往需要大量不同變化模式下的訓(xùn) 練樣本，這樣才能讓學(xué)習(xí)模型能夠有足夠好的泛化能力，因此它在處理不確定樣本數(shù)據(jù)時(shí)， 比基于外貌特征的識(shí)別方法表現(xiàn)出更好的穩(wěn)定性和魯棒性。
[0006] 在基于統(tǒng)計(jì)學(xué)習(xí)的眼睛狀態(tài)判別方法中，常用的特征主要有光照不變特征和不變 矩特征。其中光照不變特征是一種在不同光照環(huán)境下能夠保持不變的特征，可以克服眼睛 狀態(tài)識(shí)別過程中光照變化的影響，常用的光照不變特征主要有Gabor特征、HOG特征、LBP特 征；不變矩是一種具有平移、旋轉(zhuǎn)和比例不變性的圖像特征，可以克服眼睛狀態(tài)識(shí)別過程中 頭部轉(zhuǎn)動(dòng)和距離的影響，常用的矩特征主要有Hu矩、Zernike矩、小波矩等。
[0007] 在實(shí)際應(yīng)用場景中，眼睛狀態(tài)識(shí)別易受到頭部運(yùn)動(dòng)、復(fù)雜光照的影響，單個(gè)特征無 法滿足實(shí)際應(yīng)用的魯棒性要求，需要在對(duì)眼睛圖像進(jìn)行多種特征的提取和效果分析的基礎(chǔ) 上，提出了一種特征融合的眼睛狀態(tài)識(shí)別算法。

【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的在于提出一種基于特征融合的眼睛狀態(tài)識(shí)別方法，此方法更好的解 決頭部運(yùn)動(dòng)和復(fù)雜光照變化場景下眼睛狀態(tài)的識(shí)別問題，本閥門能夠?qū)崟r(shí)地準(zhǔn)確地輸出眼 睛狀態(tài)，從而提高相應(yīng)智能系統(tǒng)的魯棒性。本發(fā)明通過如下技術(shù)方案實(shí)現(xiàn)。
[0009] 基于特征融合的眼睛狀態(tài)識(shí)別方法，該方法包括：（1)人臉區(qū)域和眼睛定位；（2) 偽Zernike矩特征向量與Gabor特征向量的提?。唬?)偽Zernike矩特征向量與Gabor特 征向量的融合；(4)眼睛狀態(tài)識(shí)別模型的訓(xùn)練；（5)對(duì)新輸入眼睛狀態(tài)的判別。
[0010] 上述方法中，所述的步驟⑵，包括：
[0011] 1. 1):通過圖像采集系統(tǒng)采集適量的眼睛圖像，包括睜眼和閉眼，并歸一化到 64X48像素大小，作為訓(xùn)練樣本圖像。
[0012] 1. 2):分別提取訓(xùn)練樣本圖像的不變矩特征偽Zernike矩特征向量和光照不變特 征Gabor特征向量，并利用PCA (Principal Component Analysis,主成分分析）方法Gabor 特征向量進(jìn)行降維并采用LDA(Linear Discriminant Analysis，線性判別分析）對(duì)降維 后的Gabor特征向量進(jìn)行重建類內(nèi)散布矩陣和類間散布矩陣，從而獲得降維及重建后的 Gabor特征向量。
[0013] 1. 3):將偽Zernike矩特征向量與降維及重建后的Gabor特征向量進(jìn)行歸一化與 維數(shù)補(bǔ)齊，然后進(jìn)行并行融合，得到PZ_GAB特征融合特征向量。
[0014] 上述方法中，所述的步驟（4)，包括：
[0015] 2. 1):把所有訓(xùn)練樣本圖像的PZ_GAB融合特征向量輸入到基于徑向基核函數(shù) SVM(Support Vector Machine,支持向量機(jī)）模型進(jìn)行訓(xùn)練，得到眼睛狀態(tài)識(shí)別模型。
[0016] 上述方法中，所述步驟（3)包括：對(duì)在步驟（2)中得到眼睛樣本圖像的偽Zernike 矩特征向量與降維及重建后的Gabor特征向量進(jìn)行融合，從而得到融合后的眼睛特征向量 PZ_GAB特征
[0017] 上述方法中，所述的步驟（3)，包括：
[0018] 3. 1):通過圖像采集系統(tǒng)采集得一幀圖像，對(duì)此幀圖像分別進(jìn)行人臉和眼睛定位， 如果定位成功，獲取眼睛區(qū)域圖像，執(zhí)行步驟3. 2,否則跳過此幀圖像，繼續(xù)獲取下一幀圖 像。
[0019] 3. 2):將步驟3. 1獲取的眼睛區(qū)域大小歸一化到64X48像素大小，分別提取偽 Zernike矩特征向量和Gabor特征向量，并利用PCA方法對(duì)Gabor特征向量進(jìn)行降維，采用 LDA (Linear Discriminant Analysis，線性判別分析）對(duì)降維后的Gabor特征向量進(jìn)行重 建類內(nèi)散布矩陣和類間散布矩陣。將偽Zernike矩特征向量與降維及重建后的Gabor特征 向量進(jìn)行并行融合，得到PZ_GAB特征融合特征向量。
[0020] 3. 2):將步驟3. 2中融合得到的特征向量輸入到步驟2中訓(xùn)練得到的眼睛狀態(tài)識(shí) 別模型進(jìn)行眼睛狀態(tài)識(shí)別，最終輸出此幀圖像眼睛狀態(tài)。
[0021] 與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點(diǎn)和技術(shù)效果：
[0022] 1、本發(fā)明針對(duì)眼睛狀態(tài)識(shí)別易受到復(fù)雜光照變化與頭部運(yùn)動(dòng)的影響而造成識(shí)別 精度不高的問題，結(jié)合光照不變特征與不變矩特征而提出了一種新的特征融合算法。本發(fā) 明能夠克服睜閉眼、眼鏡反光、頭部轉(zhuǎn)動(dòng)等因素的影響，魯棒地定位眼睛位置并準(zhǔn)確輸出眼 睛狀態(tài)信息，從而提高相應(yīng)智能系統(tǒng)的魯棒性；
[0023] 2、本方法采用特征降維后計(jì)算復(fù)雜度低，能夠滿足系統(tǒng)的實(shí)時(shí)性要求；
【附圖說明】
[0024] 圖1是本發(fā)明一種基于特征融合的眼睛狀態(tài)識(shí)別方法的整體流程圖。
[0025] 圖2是特征融合的眼睛狀態(tài)識(shí)別流程圖。
【具體實(shí)施方式】
[0026] 下面結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】做進(jìn)一步說明。
[0027] 結(jié)合圖1，本發(fā)明一種基于特征融合的眼睛狀態(tài)識(shí)別方法，【具體實(shí)施方式】如下：
[0028] 步驟1 :訓(xùn)練基于Haar特征的眼睛級(jí)聯(lián)分類檢測器，通過圖像采集系統(tǒng)采集適量 的眼睛圖像，包括睜眼和閉眼，將包含眉毛和眼睛的圖像作為正樣本，非眼睛圖像作為負(fù)樣 本，通過Adaboost算法訓(xùn)練基于Haar特征的眼睛級(jí)聯(lián)分類檢測器。
[0029] 步驟2 :訓(xùn)練眼睛狀態(tài)識(shí)別模型，結(jié)合圖2,具體步驟如下：
[0030] 2. 1):通過與步驟1中相同的圖像采集系統(tǒng)適量的眼睛圖像，包括睜眼和閉眼，并 歸一化到64X48像素大小，作為訓(xùn)練樣本圖像。
[0031] 2. 2):提取樣本眼睛圖像的偽Zernike矩特征，具體步驟如下：
[0032] a):在提取眼睛圖像的偽Zernike矩特征之前，本發(fā)明先采用一種快速有效的自 適應(yīng)閾值算法對(duì)眼睛圖像進(jìn)行二值化。遍歷眼睛圖像，選取圖像中最大與最小像素值的中 間像素值作為閾值，從而對(duì)圖像進(jìn)行二值化。此閾值通過像素值域空間百分比進(jìn)行選擇，本 發(fā)明中根據(jù)經(jīng)驗(yàn)值取像素值域