一種智能手機(jī)使用的眼睛疲勞檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及到智能手機(jī)操作系統(tǒng)的應(yīng)用層技術(shù)，和人臉識(shí)別、人眼識(shí)別等圖像處 理技術(shù)。 技術(shù)背景
[0002] 智能手機(jī)的易用性、可玩性（娛樂、社交、多媒體視頻等功能），給人們帶來(lái)了很 多便利，極大豐富了大家的生活，讓大家對(duì)智能手機(jī)產(chǎn)生了非常嚴(yán)重的依賴。據(jù)GOOGLE和 IPS0S聯(lián)合推出的對(duì)中國(guó)市場(chǎng)智能手機(jī)情況調(diào)查報(bào)告稱，中國(guó)城市智能手機(jī)的普及從2012 年的33%上升至47%。其中大約有70%的用戶每天都會(huì)使用智能手機(jī)訪問互聯(lián)網(wǎng)，智能手 機(jī)已經(jīng)成為了他們生活不可分離的重要部分，而且大部分人在晚上也有使用智能手機(jī)的習(xí) 慣。不可避免地，智能手機(jī)的過度使用給用戶的身心健康帶來(lái)了重大的影響，其中數(shù)字眼疲 勞問題就是一個(gè)非常值得重視的問題。數(shù)字眼疲勞就是長(zhǎng)時(shí)間在數(shù)字屏幕前產(chǎn)生不適。一 些典型的癥狀包括眼干、眼睛發(fā)紅甚至眼睛發(fā)炎，視力模糊，更為嚴(yán)重的可以造成后背、頸 部和肩膀疼痛等問題。而智能手機(jī)的普及無(wú)疑成為了其中最為主要的幕后兇手。智能手機(jī) 除了造成眼睛聚焦系統(tǒng)疲勞之外，它釋放出的高能量可見光是會(huì)給視力健康帶來(lái)長(zhǎng)期影響 的。研究顯示，過度暴露在高能量可見光下會(huì)危害視網(wǎng)膜，引發(fā)年齡相關(guān)性黃斑變性與白內(nèi) 障等眼部疾病的可能性會(huì)增加，隨后會(huì)變得更加嚴(yán)重。而且大部分人并未意識(shí)到使用智能 手機(jī)等電子設(shè)備帶來(lái)的這些消極影響。所以設(shè)計(jì)一種可以檢測(cè)用戶在使用智能手機(jī)過程中 的視覺疲勞問題并作提醒或者強(qiáng)制性介入是非常有必要的。
[0003] 雖然市場(chǎng)上已經(jīng)出現(xiàn)了一些可以在一定程度上保護(hù)眼睛的光學(xué)眼睛，但這都沒有 從根本上解決使用電子設(shè)備的眼疲勞問題，反而很容易縱容了用戶過程使用這些電子設(shè) 置，在保護(hù)好眼睛的前提下過長(zhǎng)時(shí)間使用這些設(shè)備還是是導(dǎo)致其他方面的身心問題，影響 正常的工作生活。同時(shí)這些有效果的設(shè)備都是比較昂貴的，也是接觸式的，并不使用于大部 分人。為了避免這些問題同時(shí)又能很好地解決數(shù)字眼疲勞問題，本發(fā)明提出了一種基于智 能手機(jī)設(shè)置的眼疲勞檢測(cè)和預(yù)防的解決方法。這是一種通過手機(jī)攝像設(shè)備非接觸性地采 集用戶人臉圖像，并利用現(xiàn)在智能手機(jī)比較強(qiáng)大的計(jì)算能力來(lái)處理圖像檢測(cè)人眼的疲勞狀 態(tài)，最后也借助智能手機(jī)的交互設(shè)備（如顯示屏、擴(kuò)音器等設(shè)備）和手機(jī)操作系統(tǒng)的控制接 口來(lái)達(dá)到反饋結(jié)果的目的。整個(gè)過程不依賴于其它硬件設(shè)備，很好地達(dá)到了控制成本的目 的，只需要在軟件的設(shè)計(jì)實(shí)現(xiàn)上優(yōu)化處理就能達(dá)到比較理想的效果。
[0004] 在使用電子設(shè)備的眼疲勞檢測(cè)和預(yù)防并沒有得到較多的關(guān)注，有少量發(fā)明人使用 檢測(cè)人眼到數(shù)字屏幕距離的方法提醒用戶使用設(shè)備保持合適的距離，無(wú)法檢測(cè)到用戶使用 電子設(shè)備的疲勞程度，不能恰當(dāng)?shù)貫橛脩舻钠谔岢鲱A(yù)防依據(jù)，這也是沒有很多解決預(yù)防 眼疲勞的這個(gè)問題。
[0005] 為了實(shí)時(shí)了解用戶眼睛使用的情況，我們通過分析采集到視頻序列幀，能夠得到 用戶實(shí)時(shí)的用眼疲勞程度，根據(jù)其疲勞程度使用不同的干預(yù)手段。這樣可以很有效地防止 過度用眼而導(dǎo)致的不良影響。

【發(fā)明內(nèi)容】

[0006] 為了提高大家在智能手機(jī)等移動(dòng)智能電子設(shè)備試使用過程的護(hù)眼意識(shí)，以及有效 保護(hù)眼睛過度疲勞而導(dǎo)致的身心健康問題，本發(fā)明提出了一種能有效監(jiān)測(cè)用戶用眼狀態(tài)和 干預(yù)過度用眼的方法。
[0007] 為了實(shí)現(xiàn)上述目的，我們基于現(xiàn)在使用最為普遍的智能手機(jī)設(shè)備作為硬件平臺(tái)， 而不依賴于其它復(fù)雜昂貴的第三方硬件。
[0008] 優(yōu)選地，我們選用較為適當(dāng)?shù)囊曨l圖像采樣頻率，既可以實(shí)現(xiàn)比較理想的檢測(cè)效 果，在一定精度范圍內(nèi)反應(yīng)眼睛疲勞程度，又可以很好地減輕對(duì)智能手機(jī)其它運(yùn)行任務(wù)的 影響，保持智能設(shè)備的可用性。
[0009] 在人眼定位之前，對(duì)處理圖像作必要的預(yù)處理，可以較好地提高人眼定位的效率 和正確率。包括膚色分割和人臉定位，其中在人臉定位后使用了支持向量機(jī)SVM對(duì)定位的 人臉進(jìn)行驗(yàn)證，有效剔除非定位錯(cuò)位區(qū)域，同時(shí)還可以縮小定位的精確區(qū)域。鑒于智能手機(jī) 用戶使用習(xí)慣和閱讀姿勢(shì)的差別，還需要對(duì)人臉區(qū)域進(jìn)行必要的矯正，達(dá)到輸出正臉圖像 的目的。
[0010] 優(yōu)選的，使用一種全局掃描并驗(yàn)證的策略，即采用級(jí)聯(lián)結(jié)構(gòu)來(lái)組織分類器，采用Adaboost算法學(xué)習(xí)分類器。這種算法很好地排除了特征點(diǎn)定位誤差的影響，分類性能有大 幅提高，并且速度并沒有明顯下降，基本達(dá)到實(shí)時(shí)。該算法的存儲(chǔ)量很小，大約2M左右，無(wú) 論在魯棒性、正確率和速度方面都達(dá)到了很好的性能。
[0011] 人眼定位的常用投影方法有快速和高效的特征，但是在各種復(fù)雜環(huán)境中沒有較好 地精確度。本發(fā)明使用了尺度不變梯度積分投影算法（SGIPF)用來(lái)作為人臉圖像中人眼區(qū) 域分割，得到了較精確的包含人雙眼的的最小矩形，即使在低質(zhì)量圖像的輸入情況下。
[0012] 為了提高程度上提高人眼定位的效率和檢測(cè)的實(shí)時(shí)性，使用卡爾曼濾波提取每個(gè) 人眼的位置和運(yùn)動(dòng)狀態(tài)這些特征參數(shù)，關(guān)聯(lián)連續(xù)圖像幀的這些特征參數(shù)可以對(duì)運(yùn)行目標(biāo)進(jìn) 行跟蹤和預(yù)測(cè)。這個(gè)跟蹤過程包含不斷反復(fù)的預(yù)估-測(cè)量-修正的過程。
[0013] 優(yōu)選的，在得到包含雙眼的矩形區(qū)域前提下，簡(jiǎn)單計(jì)算矩形面積作為判斷眼睛睜 閉的依據(jù)是比較直接高效的辦法。鑒于個(gè)體人眼面積差異的情況，需要將用戶的最大和最 小眼睛矩形面積值作為閾值選取的參考依據(jù)。
[0014] 有益效果
[0015] 為了提高大家在智能手機(jī)等移動(dòng)智能電子設(shè)備試使用過程的護(hù)眼意識(shí)，以及有效 保護(hù)眼睛過度疲勞而導(dǎo)致的身心健康問題，本發(fā)明提出了一種能有效監(jiān)測(cè)用戶用眼狀態(tài)和 干預(yù)過度用眼的方法。本方案使用基于成熟算法的改進(jìn)技術(shù)上來(lái)檢測(cè)智能手機(jī)使用時(shí)的眼 疲勞，可以避免光照、戴眼鏡以及低質(zhì)量圖像等情況下對(duì)檢測(cè)結(jié)果有較大影響的因素。能夠 得到用戶實(shí)時(shí)的用眼疲勞程度，根據(jù)其疲勞程度使用不同的干預(yù)手段。這樣可以很有效地 防止過度用眼而導(dǎo)致的不良影響。
【附圖說(shuō)明】
[0016] 圖1為系統(tǒng)工作涉及的硬件模塊
[0017] 圖2為整體處理流程的設(shè)計(jì)
[0018] 圖3為人眼檢測(cè)流程
[0019] 圖4為定位包含人眼的最小矩形效果圖
[0020] 具體實(shí)施方法
[0021] 為使本發(fā)明的目的，技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明實(shí)施方 式作進(jìn)一步的詳細(xì)描述。
[0022] 為了提高人眼疲勞檢測(cè)的實(shí)時(shí)性、準(zhǔn)確度，本發(fā)明實(shí)施例提供了一種基于手機(jī)平 臺(tái)的眼疲勞檢測(cè)方法，參見圖2、3。其中圖2闡述了系統(tǒng)整體的處理流程，其中人眼定位和 人眼疲勞的評(píng)價(jià)是重要的兩個(gè)步驟，下面將結(jié)合圖3詳細(xì)描述：
[0023] 201以每隔120毫秒的時(shí)間采集一幀圖像數(shù)據(jù)；
[0024] 其中，在應(yīng)用PERCL0S方法對(duì)眼睛疲勞程度進(jìn)行判定時(shí)，圖像的采樣率需要達(dá)到 一定的要求。采樣間隔時(shí)間至少小于等于120ms時(shí)，PERCL0S的值是穩(wěn)定的，這樣才不會(huì)影 響疲勞判定結(jié)果。
[0025] 203使用膚色模型分割膚色區(qū)域進(jìn)行人臉檢測(cè)
[0026] 1)將采集到的圖像計(jì)算出灰度值，然后將其在YCbCr顏色空間進(jìn)行非線性分段色 變換到Y(jié)Cb'Cr'的顏色空間中。
[0027] 2)求出圖像灰度值的變換點(diǎn)看是否位于該橢圓中，從而確定是否是人臉膚色。如 果是，執(zhí)行步驟3);如果否，則輸入當(dāng)前幀的下一幀被檢測(cè)視頻圖像，重新執(zhí)行步驟1)，直 至遍歷完被檢測(cè)視頻圖像的所有幀；
[0028] 其中，由光線補(bǔ)償和非線性分段色彩變換可知，膚色點(diǎn)聚集在一個(gè)橢圓中。因 此，我們要將采集的圖片的膚色區(qū)域和非膚色區(qū)域分離，就需要先將圖像二值化，令
=e1只有當(dāng)s<e1，則認(rèn)為是膚色點(diǎn)。
[0029] 206進(jìn)行人臉定位采用的是級(jí)聯(lián)AdaBoost方法和SimpleSVM驗(yàn)證的算法。其中， 利用級(jí)聯(lián)AdaBoost人臉檢測(cè)的步驟如下：
[0030] 1)根據(jù)訓(xùn)練樣本，針對(duì)每個(gè)可能的矩形特征訓(xùn)練一個(gè)弱分類器；
[0031] 2)選擇合適的弱分類器，根據(jù)級(jí)聯(lián)AdaBoost算法，計(jì)算每個(gè)弱分類器的分類結(jié)果 的分類錯(cuò)誤率，并選擇具有最小錯(cuò)誤率的弱分類器，依據(jù)此分類器的分類結(jié)果更新樣本權(quán) 重，權(quán)重更新的結(jié)果是增加此分類器分類錯(cuò)誤的樣本的權(quán)重，以使后面選擇的弱分類器著 重訓(xùn)練這些樣本。
[0032]3)重復(fù)步驟2)，直至選出個(gè)弱分類器；
[0033] 4)級(jí)聯(lián)選出的T個(gè)弱分類器，按如下式子構(gòu)成強(qiáng)分類器；
[0034]
[0035]5)重復(fù)步驟2)至4)，構(gòu)造級(jí)聯(lián)強(qiáng)分類器；
[0036]6)對(duì)于輸入的圖像，將每個(gè)可能的子窗口輸入訓(xùn)練好的級(jí)聯(lián)分類器中，得到檢測(cè) 結(jié)果，然后合并一些相鄰的子窗口得到最終的人臉檢測(cè)結(jié)果。為了得到更為經(jīng)精確的輸出 結(jié)果，還需要使用SVM分類器作進(jìn)一步的掃描。這兩種分類器處理后的輸出結(jié)果才作為最 終輸出的人臉。
[0037] 207對(duì)于檢測(cè)階段輸出的人臉，雖然大致上是正面端正的，但是對(duì)于不同姿態(tài)下和 低分辨率下的小尺度人臉，為達(dá)到準(zhǔn)確性和快速性，還可用SimpleDAM進(jìn)一步校正。使用 SimpleDAM人臉矯正的具體步驟如下：
[0038] 1)初始化當(dāng)前紋理為檢測(cè)結(jié)果框定的人臉紋理t-t。，
[0039]2)根據(jù)當(dāng)前紋理，由條狀和紋理之間的線性關(guān)系公式s=R*t+ε，得到三個(gè)特征 點(diǎn)的位置。如果三個(gè)特征點(diǎn)的位置和平均位置很接近，則結(jié)束。
[0040] 其中，其中t是經(jīng)過一定校正的人臉紋理在其主分量空間（PCA)的投影，s是形狀 在其主分量空間的投影。在我們的方法中，考慮最簡(jiǎn)單的情況，只需要三對(duì)對(duì)應(yīng)點(diǎn)，就可以 將非正面端正的人臉，校正到正面端正的姿態(tài)。我們假設(shè)，人臉檢測(cè)輸出所框定的人臉紋理 向量，與這張臉上的三個(gè)特征點(diǎn)"雙眼和嘴巴中心"組成的向量之間，存在簡(jiǎn)單的的線性關(guān) 系s=R*t+ε。
[0041] 3)根據(jù)三個(gè)特征點(diǎn)的