專利名稱：人眼檢測方法和人眼檢測設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人眼檢測方法和人眼檢測設(shè)備。
背景技術(shù)：
隨著人臉關(guān)鍵點定位技術(shù)的應(yīng)用需求越來越大，人眼檢測技術(shù)的重要性也越來越突顯。人眼檢測技術(shù)可以作為圖像處理和視頻分析領(lǐng)域多種應(yīng)用項目的基礎(chǔ)性工作，比如人臉識別、人臉圖像檢索以及駕駛員疲勞狀態(tài)檢測等等。常規(guī)人眼檢測依賴于以下現(xiàn)象，即當(dāng)用近紅外光源照射人臉 時，通常人臉反白光，而人眼處形成黑洞，因此通過比較圖像中各處圖像塊的像素值，就可以判斷出人眼的大致區(qū)域。例如，專利文件US 20060077558A1提出了一種用來確定瞳孔準(zhǔn)確位置的人眼檢測設(shè)備。該設(shè)備包括圖像采集單元，用來采集人眼圖像；以及瞳孔檢測單元，用來確定瞳孔在圖像中的位置。該技術(shù)的實施依賴于特定的環(huán)境，具體是針對在封閉環(huán)境中以光源照射人臉的情況下所得的人臉圖像進(jìn)行人眼檢測。因此需要額外的硬件裝備，嚴(yán)重限制其應(yīng)用范圍。

發(fā)明內(nèi)容
鑒于現(xiàn)有技術(shù)中存在的上述問題而做出本發(fā)明。根據(jù)本發(fā)明實施例的一個方面，提出了一種人眼檢測方法，包括人臉區(qū)域確定步驟，在輸入的圖像中確定人臉區(qū)域；人眼范圍確定步驟，在人臉區(qū)域中確定人眼范圍；以及人眼定位步驟，基于主動形狀模型，以人眼范圍確定與人眼相應(yīng)的特征點的初始位置，通過擬合確定人眼位置。根據(jù)本發(fā)明實施例的另一個方面，提出了一種人眼檢測設(shè)備，包括人臉區(qū)域確定裝置，在輸入的圖像中確定人臉區(qū)域；人眼范圍確定裝置，在人臉區(qū)域中確定人眼范圍；以及人眼定位裝置，基于主動形狀模型，以人眼范圍確定與人眼相應(yīng)的特征點的初始位置，通過擬合確定人眼位置。按照本發(fā)明的實施例，通過一種包括人眼粗定位模塊和人眼精定位模塊的混合結(jié)構(gòu)，由粗到細(xì)地實現(xiàn)快速準(zhǔn)確的人眼定位。通過閱讀結(jié)合附圖考慮的以下本發(fā)明的優(yōu)選實施例的詳細(xì)描述，將更好地理解本發(fā)明的以上和其他目標(biāo)、特征、優(yōu)點和技術(shù)及工業(yè)重要性。


圖I示出按照本發(fā)明實施例的人眼檢測方法的總體流程圖。圖2示出本發(fā)明實施例可以采用的用于檢測人臉區(qū)域的級聯(lián)檢測器的示意圖。圖3包括圖3A、圖3B、圖3C，示出了基于圖像塊灰度和確定人眼范圍的方法的示意說明圖，圖3A示出人臉圖像的示例，圖3B示出根據(jù)人眼和人臉的拓?fù)潢P(guān)系確定的人眼搜索范圍的不意，圖3C不出基于圖像塊灰度和確定人眼范圍的不意。圖4示出本發(fā)明實施例可以采用的用于檢測人眼范圍的級聯(lián)檢測器的示意圖。圖5示出實施利用級聯(lián)檢測器確定人眼范圍的方法的示意圖。圖6示出用于檢測人眼范圍的級聯(lián)檢測器所采用的Haar特征示例，其中，圖6A示出線性Haar特征示例，圖6B示出邊緣Haar特征示例，圖6C示出中心環(huán)繞Haar特征示例。圖7示意性地示出在人臉圖像中確定人眼范圍的結(jié)果示例。圖8包括圖8A和圖SB，示出示意性地示出主動形狀模型的實現(xiàn)示例，其中，圖8A示意性地示出在人臉圖像上所標(biāo)注的特征點集合的位置，圖8B示出其中某個特征點更新時的搜索范圍。圖9示出按照本發(fā)明實施例的人眼檢測設(shè)備的總體框圖。 圖10示出按照本發(fā)明實施例的人眼檢測系統(tǒng)的總體框11包括圖IlA和圖11B，示意性地對比出在不確定人眼范圍的情況下和確定人眼范圍的情況下的最終人眼定位精度，圖IlA所示為不進(jìn)行人眼粗定位的情況下的人眼定位結(jié)果，圖IlB所示為進(jìn)行人眼粗定位的情況下的人眼定位結(jié)果。
具體實施例方式
下面結(jié)合附圖描述本發(fā)明實施例。圖I示出按照本發(fā)明實施例的人眼檢測方法的總體流程圖。如圖I所示，該人眼檢測方法可以包括人臉區(qū)域確定步驟S100，在輸入的圖像中確定人臉區(qū)域；人眼范圍確定步驟S200，在人臉區(qū)域中確定人眼范圍；以及人眼定位步驟S300，基于主動形狀模型，以所述人眼范圍確定與人眼相應(yīng)的特征點的初始位置，通過擬合確定人眼位置。本發(fā)明實施例所處理的圖像可以通過各種已知輸入技術(shù)來輸入，諸如從各種存儲設(shè)備讀入、從網(wǎng)絡(luò)獲取、或利用掃描儀掃描得到等等，經(jīng)過處理所得到的結(jié)果可以通過各種已知輸出技術(shù)來輸出，諸如存儲到各種存儲設(shè)備、經(jīng)由網(wǎng)絡(luò)輸出、或利用打印機(jī)打印出等
坐寸o在人臉區(qū)域確定步驟S100，可以利用各種已知的人臉檢測技術(shù)來實現(xiàn)在輸入的圖像中確定人臉區(qū)域。圖2示出本發(fā)明實施例可以采用的用于檢測人臉區(qū)域的級聯(lián)檢測器的示意圖。例如，利用由圖2所示的多層檢測單元構(gòu)成的級聯(lián)檢測器來檢測人臉區(qū)域，其中I到n各個層次的檢測單元構(gòu)成級聯(lián)結(jié)構(gòu)，輸入的圖像從第I層次的檢測單元開始，逐步判斷是否包含人臉區(qū)域，如果在某個層次的檢測單元被判斷為非，則該圖像歸于非人臉一類，圖像經(jīng)過所有層次的檢測單元都判斷為是人臉圖像之后，輸出人臉區(qū)域。從I到n各個層次的檢測單元可以利用Adaboost算法進(jìn)行訓(xùn)練，用于在檢測中去除圖像中的一部分非人臉區(qū)域。該人臉檢測器也可由其它類型的檢測器構(gòu)成，如支持向量機(jī)檢測器(或者稱分類器)或者神經(jīng)網(wǎng)絡(luò)檢測器(或者稱分類器)。本領(lǐng)域技術(shù)人員可以理解，為了便于此后的人眼檢測過程，可以將所獲得的人臉區(qū)域歸一化到同一尺寸，成為統(tǒng)一尺寸的人臉圖像，用于此后的處理。在人眼范圍確定步驟S200，可以采用多種途徑來在人臉圖像中初步、粗略地確定人眼的大致范圍。例如，作為可以普遍適用的手段，在人眼范圍確定步驟S200中，可以按照人眼和人臉的拓?fù)浣Y(jié)構(gòu)信息在人臉區(qū)域中初步限定人眼范圍，在初步限定的人眼范圍中，基于圖像塊灰度和算法，將灰度和最小的圖像塊作為人眼范圍。圖3包括圖3A、圖3B、圖3C，示出了上述基于圖像塊灰度和確定人眼范圍的方法的示意說明圖，圖3A示出人臉圖像的示例，圖3B示出根據(jù)人眼和人臉的拓?fù)潢P(guān)系確定的人眼搜索范圍的示意，圖3C示出基于圖像塊灰度和確定人眼范圍的示意。針對例如圖3A所示的人臉圖像，首先根據(jù)人類通常的人眼與人臉的大致位置關(guān)系在人臉圖像中劃定兩個區(qū)域Rl和R2，初步限定人眼范圍，如圖3B所示。然后，在區(qū)域Rl和R2中根據(jù)人眼區(qū)域的通常尺寸劃定一滑動局部圖像塊，在區(qū)域Rl和R2中逐步移動該局部圖像塊，當(dāng)其中像素的灰度和最小時的局部圖像塊確定為人眼范圍rl和r2，如圖3C所
/Jn o此基于圖像塊灰度和確定人眼范圍的方法對于所有情況的人臉區(qū)域都適用，并且可以在很短的時間內(nèi)得到人眼大致位置。
上述基于圖像塊灰度和確定人眼范圍的方法屬于利用紋理灰度信息對人眼范圍進(jìn)行粗略定位的方法，然而，本領(lǐng)域技術(shù)人員可以理解，可用的方法不局限于灰度信息，還可以采用紋理的梯度信息或者統(tǒng)計分布信息對人眼范圍進(jìn)行大致定位。此方法可以根據(jù)人眼在人臉的相對位置，在有限的區(qū)域內(nèi)快速進(jìn)行人眼大致定位，而且由于比較諸如灰度的紋理特征，因此可以檢測到一個區(qū)域作為人眼范圍。而且，本領(lǐng)域技術(shù)人員可以理解，確定人眼范圍不限于上述手段，也可以采用下文描述的利用Adaboost人眼檢測器的方法。在人眼范圍確定步驟S200，除上述方法外，還可以利用由多個層次的檢測單元級聯(lián)而成的級聯(lián)檢測器，通過逐級地利用檢測單元在人臉區(qū)域內(nèi)對滑動子窗口進(jìn)行掃描得到人眼候選范圍，將在最后級的檢測單元得到的人眼候選范圍確定為人眼范圍。圖4示出本發(fā)明實施例可以采用的用于檢測人眼范圍的級聯(lián)檢測器的示意圖。在此采用的圖4所示的級聯(lián)檢測器可以類似于在上述人臉區(qū)域確定步驟SlOO中采用的如圖2所示的級聯(lián)檢測器，當(dāng)然，檢測對象不同，采用的特征也就不同，然而，技術(shù)原理和訓(xùn)練方法可以是類似的，可以相互借鑒，在人眼范圍確定步驟S200中采用的級聯(lián)檢測器的各級檢測單元可以利用正樣本和負(fù)樣本通過Adaboost算法訓(xùn)練得到。圖5示出實施利用級聯(lián)檢測器確定人眼范圍的方法的示意圖。所用的級聯(lián)檢測器例如是Adaboost級聯(lián)檢測器。依據(jù)人類的人眼和人臉的拓?fù)浣Y(jié)構(gòu)知識，人眼位于人臉的上半部，因此，人眼區(qū)域掃描時將只在該上半部人臉區(qū)域進(jìn)行多尺度多位置的搜索。圖6示出用于檢測人眼范圍的級聯(lián)檢測器所采用的Haar特征示例，其中，圖6A示出線性Haar特征示例，圖6B示出邊緣Haar特征示例，圖6C示出中心環(huán)繞Haar特征示例。可以采用的Haar特征不限于圖6所示，本領(lǐng)域技術(shù)人員可以理解，其它Haar特征模板例如圖6所示的模板的各種組合也可以應(yīng)用于本發(fā)明的實施例。Haar特征表示局部紋理的對比信息。除Haar特征之外，可以用于本發(fā)明實施例的特征還能夠涵蓋各種滿足實時性要求的局部紋理描述符，諸如原始圖像的積分圖像、及圖像的梯度信息等等。如上所述，圖4所示的級聯(lián)檢測器的各級的檢測單元例如是利用Adaboost算法訓(xùn)練得到的Adaboost檢測單元。如圖5所示,Adaboost檢測單元在上半部人臉區(qū)域內(nèi)，從較小尺度的矩形框開始，在X軸和y軸分別按照預(yù)定步長移動，遍歷整個上半部人臉區(qū)域，然后放大矩形框尺度，重復(fù)上述過程。該檢測單元通過在人臉區(qū)域內(nèi)對多尺度多位置的子窗口(矩形框)進(jìn)行掃描，得到部分人眼候選區(qū)域進(jìn)行后續(xù)處理。在每次矩形框處于某個位置時，矩形框范圍內(nèi)的圖像框作為圖4中待處理的“圖像”經(jīng)歷各層次檢測單元的檢測，Adaboost檢測單元利用諸如圖6所示的Haar特征，檢測矩形框范圍內(nèi)圖像框的Haar特征在如何程度上符合所訓(xùn)練的人眼樣本的情況，據(jù)此來判斷其是否能夠通過該層次的人眼的檢測。每級的Adaboost檢測單元可以去除圖像中的一部分非人眼區(qū)域，因而可以通過所有層次檢測單元的圖像區(qū)域認(rèn)為是人眼范圍。上述利用級聯(lián)檢測器確定人眼范圍的方法屬于基于分類器對人眼進(jìn)行定位的方法，本領(lǐng)域技術(shù)人員可以理解，在此可用的方法可以不局限于Adaboost分類策略，還可以利用支持向量機(jī)或者神經(jīng)網(wǎng)絡(luò)等多種分類器手段。基于級聯(lián)檢測器檢測人眼范圍的方法通?？梢栽诤芏痰臅r間內(nèi)實現(xiàn)人眼范圍的確定，但是缺點在于需要復(fù)雜的分類器訓(xùn)練過程，而且有時候該檢測器可能檢測不到人眼區(qū)域。

考慮到上述不同方法的特點，還可以將人眼范圍確定步驟S200設(shè)計如下。如圖I所示，先在步驟S220，采用前述的利用級聯(lián)檢測器確定人眼范圍的方法，S卩，利用由多個層次的檢測單元級聯(lián)而成的級聯(lián)檢測器，通過逐級地利用檢測單元在人臉區(qū)域內(nèi)對滑動子窗口進(jìn)行掃描得到人眼候選范圍，將在最后級的檢測單元得到的人眼候選范圍確定為人眼范圍。然而，如果在步驟S230，發(fā)現(xiàn)檢測器檢測不到人眼區(qū)域，不可確定人眼范圍，則在步驟S240，作為備選策略，利用前述的基于圖像塊灰度和確定人眼范圍的方法。S卩，如果無法通過所述級聯(lián)檢測器確定人眼范圍，則按照人眼和人臉的拓?fù)浣Y(jié)構(gòu)信息在人臉區(qū)域中初步限定人眼范圍，在初步限定的人眼范圍中，基于圖像塊灰度和算法，將灰度和最小的圖像塊作為人眼范圍。圖7示意性地示出在人臉圖像中確定人眼范圍的結(jié)果示例。所示矩形框Ql為利用Adaboost級聯(lián)檢測器檢測人眼范圍。所示矩形框Q2和Q3為基于圖像塊灰度和確定人眼范圍的方法確定的人眼范圍。盡管Adaboost檢測器在某些人臉區(qū)域檢測不到人眼位置，例如未檢測出圖7所示人臉的右眼，然而圖像塊灰度和方法可以作為備選手段大致確定人眼范圍。不論在人眼范圍確定步驟S200通過何種途徑獲得人眼范圍，關(guān)于人眼范圍的信息可以用來作為此后人眼定位步驟S300中的主動形狀模型的初始參數(shù)，該主動形狀模型最終收斂時的位置可以作為人眼定位的結(jié)果輸出。圖8包括圖8A和圖8B,示出示意性地示出主動形狀模型的實現(xiàn)示例,其中，圖8A示意性地示出在人臉圖像上所標(biāo)注的特征點集合的位置，圖8B示出其中某個特征點更新時的搜索范圍。其中，所述主動形狀模型為通過樣本訓(xùn)練而得到的人臉的多個特征點的屬性的集合，其中所述多個特征點至少包括與人眼相對應(yīng)的點，所述屬性至少包括相應(yīng)點的位置信息、位置約束條件和紋理信息。首先要利用樣本訓(xùn)練得到主動形狀模型，表現(xiàn)為人臉上具有代表性的一系列點(稱為特征點)的屬性集合，圖8A中示意性地示出了完成訓(xùn)練之后在人臉上標(biāo)注的一系列特征點，下面以其中某個Pi點為例進(jìn)行說明。多個特征點中至少包括與人眼相對應(yīng)的點，Pi點即是其中之一，每個特征點都具有多個屬性。屬性可以大體上分為兩類，一類是與位置有關(guān)的參數(shù)，至少包括x(橫坐標(biāo))，Y(縱坐標(biāo))，S (尺度信息)，0 (旋轉(zhuǎn)角度信息)以及b(空間變化信息)，對于所有特征點的位置信息進(jìn)行歸一化處理，圖8A中所示的特征點Pi (坐標(biāo)(Xi，Yi))，可以表示為(Xi，Yi，s，0，bi)，其中s和0特征點集合的參數(shù)，各個特征點的s和0相同，其它參數(shù)取決于各個特征點而可能不同。另一類屬性是特征點周圍紋理分布的匹配模板，該匹配模板可采用多種紋理特征獲取，如一維的梯度特征或者二維的局部二值模型(Local Binary Pattern,LBP)特征。在訓(xùn)練過程中，還可以由全部特征點的X、Y坐標(biāo)構(gòu)成位置向量，對多幅樣本圖像的位置向量構(gòu)成的矩陣進(jìn)行主成分分析，保存最大的若干個(例如m個)特征值\及其對應(yīng)的特征向量，作為后續(xù)擬合時的形狀限制條件，即訓(xùn)練所得的一組特征點的位置約束條件。在經(jīng)過訓(xùn)練得到主動形狀模型之后，可以開始對于已經(jīng)確定人眼范圍的待處理圖像的擬合過程，利用人眼定位步驟S300進(jìn)行人眼定位。人眼定位步驟S300可以包括初始位置確定步驟，可以將訓(xùn)練得到的人臉的多個特征點中與人眼相應(yīng)的特征點匹配至所述人眼范圍的中心點，作為與人眼相應(yīng)的特征點的初始位置，所述多個特征點中的其它特征點以保持所述多個特征點拓?fù)潢P(guān)系的方式調(diào)整位 置；更新步驟，可以根據(jù)所述多個特征點的各個特征點的紋理信息，在各個特征點的位置鄰域中尋找紋理信息最接近的點，把所述各個特征點的位置更新為該點位置；修正步驟，可以利用所述多個特征點中各個特征點的位置約束條件對該特征點的更新后的位置進(jìn)行修正；判斷步驟，可以根據(jù)特征點集合中各個特征點的修正后的位置與更新前的位置的關(guān)系判斷與人眼相應(yīng)的特征點的修正后的位置是否是人眼位置。為了進(jìn)行擬合過程，首先在初始位置確定步驟中確定各個特征點的初始位置，也就是將訓(xùn)練所得的特征點集合在待處理的人臉圖像中放置在初始位置，由于已經(jīng)大致確定出人眼的范圍，因此可以以人眼范圍中點為特征點中與人眼相對應(yīng)的特征點的初始位置。由于從確定的人眼范圍內(nèi)開始處理，因此在此后的擬合過程中，可能獲得更快的收斂。例如，如果在人眼范圍確定步驟S200中確定的人眼范圍為矩形，則可以以矩形的對角線交點為與人眼相應(yīng)的特征點(也稱為“人眼特征點”)的初始位置。在待處理圖像的人眼范圍中點之間的距離與訓(xùn)練所得的人眼特征點之間的距離不一致的情況下，無法吻合，此時可以將兩個人眼特征點分別移動相等的距離達(dá)到人眼范圍中點，并按照各個特征點之間拓?fù)潢P(guān)系不變、相對位置不變，調(diào)整該組特征點的s和0參數(shù)，從而調(diào)整其它各個特征點的位置。然后，從更新步驟開始，進(jìn)入擬合的迭代過程。在位置更新時，可以采用特征點周圍的二維紋理統(tǒng)計信息，例如采用局部二值模特征作為紋理模板進(jìn)行匹配，以此在每一步位置更新時找到特征點在當(dāng)時的最優(yōu)位置。各個特征點的紋理信息可以為局部二值模板，紋理信息最接近的點為相應(yīng)特征點鄰域內(nèi)的各點中與該特征點的局部二值模板距離最近的點。紋理特征并不局限于二維紋理統(tǒng)計信息，也可以利用諸如一維的梯度信息或者二維的紋理灰度信息，均可以實現(xiàn)位置更新。在擬合過程中，對于每個特征點，每次在其鄰域進(jìn)行搜索，選出與該特征點紋理模板最為接近的位置作為該特征點的新位置。例如，如圖8B所示，對于特征點Pi，在其一定大小的鄰域(如圖8B中所示矩形窗口)內(nèi)遍歷所有鄰域點，計算出每個鄰域點的紋理向量(即作為特征點屬性的紋理信息所構(gòu)成的向量)，然后將這些紋理向量與該特征點在訓(xùn)練時得到的紋理向量進(jìn)行匹配，匹配距離最近的鄰域點即為該點的新位置。將特征點集合中所有特征點都進(jìn)行位置更新后，對該集合的參數(shù)進(jìn)行更新。其中，每個特征點的紋理向量可以利用多種紋理特征，例如一維梯度特征、二維LBP特征、或者二維梯度特征等等。當(dāng)對集合中所有特征點的位置信息更新完畢后，進(jìn)入上述修正步驟?？梢詤⒄辗菍＠募?T. F. Cootes, D. Cooper, C. J. Taylor and J. Graham, " ActiveShape Models-Their Training and Application. " Computer Vision and ImageUnderstanding. V01. 61, No. I, Jan. 1995, pp. 38-59.中所記載的手段來進(jìn)行此修正過程。在修正步驟中，利用每個特征點的位置約束條件對其新位置進(jìn)行修正。各個特征點的b是體現(xiàn)空間變化信息的一個向量，例如，對于點Pi，當(dāng)其位置更新后，新位置與原位置的Xi和Yi坐標(biāo)的變化值A(chǔ)Xi和AYi構(gòu)成一個向量，將該向量投影到該組特征點的前述m個特征向量上，得到m個投影值構(gòu)成m維的bi向量，由于各個特征向量分別對應(yīng)于一個特征值，因此bi向量的各個維度分別對應(yīng)于一個特征值\。此時，判斷各維的bi分量是
否超出相應(yīng)的限制，例如判斷是否P㈨|<3#，其中bi(k) Sbi向量的第k維分量，Ak
為與之對應(yīng)的特征值。如果該bi分量超出相應(yīng)的限制范圍，則將該bi值分量設(shè)定為該限制范圍的上限值。從而根據(jù)修正后的bi向量調(diào)整Pi點的AXi和AYi值，在根據(jù)調(diào)整后的A Xi和A Yi值調(diào)整該點的新位置坐標(biāo)。本領(lǐng)域技術(shù)人員可以理解，判斷b參數(shù)是否超出限制，也可以采用其它標(biāo)準(zhǔn)，例如判斷是否< 2或< 4。通過修正過程使得特征點集合可以基本保證原本的
相對空間結(jié)構(gòu)，以免在擬合過程中造成特征點集合的空間形狀出現(xiàn)異常，以致產(chǎn)生噪音點。然后，在判斷步驟，利用特征點集合的新位置信息與原位置信息來判斷與人眼相對應(yīng)的特征點的位置是否可以認(rèn)為是人眼位置。具體是，如果新位置信息與原位置信息之間的差異已經(jīng)小于某預(yù)定閾值，則認(rèn)為擬合已經(jīng)完成，主動形狀模型已經(jīng)最終收斂于所輸入的人臉形狀的位置，其中與人眼相對應(yīng)的特征點的當(dāng)前位置即認(rèn)為是人眼位置。即，如果與人眼相應(yīng)的特征點的修正后的位置和同一次迭代中的更新步驟中所述各個特征點中與人眼相應(yīng)的特征點的更新前的位置之間的差異小于預(yù)定閾值，則與人眼相應(yīng)的特征點的修正后的位置判斷為人眼位置。而在判斷步驟中，如果判斷與人眼相應(yīng)的特征點的修正后的位置不是人眼位置，則將所述各個特征點的修正后的位置作為所述各個特征點的位置代入所述更新步驟再次進(jìn)行處理。在不能認(rèn)為已經(jīng)完成擬合的情況下，如果通過對比計算得到的點的新位置信息與上一次迭代時該點的位置信息，能夠發(fā)現(xiàn)其變化小于另一預(yù)定閾值，則表明過程在收斂。在此情況下，能夠判斷出該主動形狀模型會最終收斂于輸入人臉形狀的位置。采用整個人臉模型可以通過人臉形狀約束而增強(qiáng)定位人眼位置的準(zhǔn)確性。迭代的擬合過程有如下可能，如果收斂則得到特征點最終位置，此時人眼點的信息即為人眼位置；如果發(fā)散(即不收斂)則擬合失敗，此時可以以在步驟S200所確定的人眼范圍的中點作為人眼位置。也可以設(shè)定一個迭代次數(shù)閾值，當(dāng)?shù)螖?shù)到達(dá)該閾值后，迭代結(jié)束，輸出此時的人眼特征點的位置信息。本發(fā)明還可以相應(yīng)地實施為一種用于實施上述人眼檢測方法的人眼檢測設(shè)備，圖9示出按照本發(fā)明實施例的人眼檢測設(shè)備的總體框圖。如圖9所示，一種人眼檢測設(shè)備10，包括人臉區(qū)域確定裝置100，可以執(zhí)行前述人臉區(qū)域確定步驟S100，在輸入的圖像中確定人臉區(qū)域；人眼范圍確定裝置200，可以執(zhí)行前述人眼范圍確定步驟S200，在所述人臉區(qū)域中確定人眼范圍；以及人眼定位裝置300，可以執(zhí)行前述人眼定位步驟S300，基于主動形狀模型，以所述人眼范圍確定與人眼相應(yīng)的特征點的初始位置，通過擬合確定人眼位置。所述人眼范圍確定裝置200可以實施為基于圖像塊灰度和確定人眼范圍的裝置，執(zhí)行基于圖像塊灰度和確定人眼范圍的步驟S240，按照人眼和人臉的拓?fù)浣Y(jié)構(gòu)信息在人臉區(qū)域中初步限定人眼范圍，在初步限定的人眼范圍中，基于圖像塊灰度和算法，將灰度和最小的圖像塊作為人眼范圍?；蛘?，所述人眼范圍確定裝置20 0可以實施為利用級聯(lián)檢測器確定人眼范圍的裝置，執(zhí)行利用級聯(lián)檢測器確定人眼范圍的步驟S220，利用由多個層次的檢測單元級聯(lián)而成的級聯(lián)檢測器，通過逐級地利用檢測單元在人臉區(qū)域內(nèi)對滑動子窗口進(jìn)行掃描得到人眼候選范圍，將在最后級的檢測單元得到的人眼候選范圍確定為人眼范圍?；蛘?，所述人眼范圍確定裝置200也可以包括基于圖像塊灰度和確定人眼范圍的裝置和利用級聯(lián)檢測器確定人眼范圍的裝置二者，先由利用級聯(lián)檢測器確定人眼范圍的裝置執(zhí)行利用級聯(lián)檢測器確定人眼范圍的步驟S220，如果無法通過所述級聯(lián)檢測器確定人眼范圍，則由基于圖像塊灰度和確定人眼范圍的裝置執(zhí)行基于圖像塊灰度和確定人眼范圍的步驟S240，按照人眼和人臉的拓?fù)浣Y(jié)構(gòu)信息在人臉區(qū)域中初步限定人眼范圍，在初步限定的人眼范圍中，基于圖像塊灰度和算法，將灰度和最小的圖像塊作為人眼范圍。其中，所述級聯(lián)檢測器的各級檢測單元利用正樣本和負(fù)樣本通過Adaboost算法訓(xùn)練得到。人眼定位裝置300所采用的主動形狀模型為通過樣本訓(xùn)練而得到的人臉的多個特征點的屬性的集合，其中所述多個特征點至少包括與人眼相對應(yīng)的點，所述屬性至少包括相應(yīng)點的位置信息、位置約束條件和紋理信息。人眼定位裝置300可以包括初始位置確定裝置,可以執(zhí)行前述初始位置確定步驟，將訓(xùn)練得到的人臉的多個特征點中與人眼相應(yīng)的特征點匹配至所述人眼范圍的中心點，作為與人眼相應(yīng)的特征點的初始位置，所述多個特征點中的其它特征點以保持所述多個特征點拓?fù)潢P(guān)系的方式調(diào)整位置；更新裝置，可以執(zhí)行前述更新步驟，根據(jù)所述多個特征點的各個特征點的紋理信息，在各個特征點的位置鄰域中尋找紋理信息最接近的點，把所述各個特征點的位置更新為該點位置；修正裝置，可以執(zhí)行前述修正步驟，利用所述多個特征點中各個特征點的位置約束條件對該特征點的更新后的位置進(jìn)行修正；判斷裝置，可以執(zhí)行前述判斷步驟，根據(jù)特征點集合中各個特征點的修正后的位置與更新前的位置的關(guān)系判斷與人眼相應(yīng)的特征點的修正后的位置是否是人眼位置。其中，各個特征點的所述紋理信息為局部二值模板，紋理信息最接近的點為相應(yīng)特征點鄰域內(nèi)的各點中與該特征點的局部二值模板距離最近的點。所述判斷裝置如果判斷與人眼相應(yīng)的特征點的修正后的位置不是人眼位置，則將所述各個特征點的修正后的位置作為所述各個特征點的位置代入所述更新裝置再次進(jìn)行處理。本發(fā)明還可以通過一種人眼檢測系統(tǒng)來實施。圖10是示出按照本發(fā)明實施例的人眼檢測系統(tǒng)1000的總體框圖，如圖10所示，人眼檢測系統(tǒng)1000可以包括輸入設(shè)備1100，用于從外部輸入將要檢測處理的圖像，例如可以包括鍵盤、鼠標(biāo)器、掃描儀、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸入設(shè)備等等；處理設(shè)備1200，用于實施上述的按照本發(fā)明實施例的人眼檢測方法，或者實施為上述的按照本發(fā)明實施例的人眼檢測設(shè)備，例如可以包括計算機(jī)的中央處理器或其它的具有處理能力的芯片等等；輸出設(shè)備1300，用于向外部輸出實施上述人眼檢測過程所得的結(jié)果，例如可以包括顯示器、打印機(jī)、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸出設(shè)備等等；以及存儲設(shè)備1400，用于以易失或非易失的方式存儲上述人眼檢測處理過程所涉及的圖像、所得的結(jié)果、命令、中間數(shù)據(jù)等等，例如可以包括隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、硬盤、或半導(dǎo)體存儲器等等的各種易失或非易失性存儲器。圖11包括圖IlA和圖11B，示意性地對比出在不確定人眼范圍(即不進(jìn)行粗定位)的情況下和確定人眼范圍(即進(jìn)行粗定位)的情況下的最終人眼定位精度，圖IlA所示為不進(jìn)行人眼粗定位的情況下的人眼定位結(jié)果，圖IlB所示為進(jìn)行人眼粗定位的情況下的人眼定位結(jié)果。通過對比可以看出，如果在通過主動形狀模型進(jìn)行擬合迭代之前，先進(jìn)行人眼大致位置，即人眼范圍的確定，則主動形狀模型特征點集合的初始位置會更為準(zhǔn)確，得到更為準(zhǔn)確的人眼位置信息，圖IlB中確定的人眼位置位于瞳孔，而圖IlA中的人眼位置相對于瞳孔有一些偏離。此外，先進(jìn)行人眼大致位置的確定后，利用主動形狀模型的擬合過程中的收斂速度也大大加快。
·
按照本發(fā)明實施例的人眼檢測方法、人眼檢測設(shè)備、及人眼檢測系統(tǒng)采用由粗到精的檢測策略，提出了一種混合方案來實現(xiàn)快速準(zhǔn)確的人眼定位。該混合方案包括用于大致確定人眼范圍的人眼粗定位模塊和用于人眼定位的人眼精定位模塊。在人眼粗定位模塊中，可以采用Adaboost分類器來進(jìn)行人眼范圍的選取。但是，在某些情況下，例如當(dāng)受光照或眼鏡等影響時，Adaboost分類器可能檢測不到人眼區(qū)域，無法給出人眼范圍。如果發(fā)生這種情況，可以考慮基于局部圖像塊灰度累加值(即圖像塊灰度和)的人眼區(qū)域檢測算法作為備選算法，由于通常人眼區(qū)域比較黑，因此選擇灰度累加值比較低的區(qū)域來作為人眼范圍。然后，在人眼精定位模塊中，采用主動形狀模型來對人眼進(jìn)行精準(zhǔn)定位。由于在人眼范圍確定過程中，即人眼粗定位中，已經(jīng)確定人眼范圍即人眼的粗略位置，以此作為主動形狀模型的初始位置進(jìn)行迭代，可以大大加快算法的收斂速度。從而，本發(fā)明的實施例可以在加速人眼定位速度的同時保證人眼定位的精度。在說明書中說明的一系列操作能夠通過硬件、軟件、或者硬件與軟件的組合來執(zhí)行。當(dāng)由軟件執(zhí)行該一系列操作時，可以把其中的計算機(jī)程序安裝到內(nèi)置于專用硬件的計算機(jī)中的存儲器中，使得計算機(jī)執(zhí)行該計算機(jī)程序?；蛘撸梢园延嬎銠C(jī)程序安裝到能夠執(zhí)行各種類型的處理的通用計算機(jī)中，使得計算機(jī)執(zhí)行該計算機(jī)程序。例如，可以把計算機(jī)程序預(yù)先存儲到作為記錄介質(zhì)的硬盤或者R0M(只讀存儲器)中?；蛘撸梢耘R時或者永久地存儲(記錄)計算機(jī)程序到可移動記錄介質(zhì)中，諸如軟盤、⑶-ROM(光盤只讀存儲器)、M0 (磁光)盤、DVD (數(shù)字多功能盤)、磁盤、或半導(dǎo)體存儲器?？梢园堰@樣的可移動記錄介質(zhì)作為封裝軟件提供。本發(fā)明已經(jīng)參考具體實施例進(jìn)行了詳細(xì)說明。然而，很明顯，在不背離本發(fā)明的精神的情況下，本領(lǐng)域技術(shù)人員能夠?qū)嵤├龍?zhí)行更改和替換。換句話說，本發(fā)明用說明的形式公開，而不是被限制地解釋。要判斷本發(fā)明的要旨，應(yīng)該考慮所附的權(quán)利要求。
權(quán)利要求
1.一種人眼檢測方法，包括 人臉區(qū)域確定步驟，在輸入的圖像中確定人臉區(qū)域； 人眼范圍確定步驟，在所述人臉區(qū)域中確定人眼范圍；以及 人眼定位步驟，基于主動形狀模型，以所述人眼范圍確定與人眼相應(yīng)的特征點的初始位置，通過擬合確定人眼位置。
2.按照權(quán)利要求I所述的人眼檢測方法，其中，在所述人眼范圍確定步驟中，按照人眼和人臉的拓?fù)浣Y(jié)構(gòu)信息在人臉區(qū)域中初步限定人眼范圍，在初步限定的人眼范圍中，基于圖像塊灰度和算法，將灰度和最小的圖像塊作為人眼范圍。
3.按照權(quán)利要求I所述的人眼檢測方法，其中，在所述人眼范圍確定步驟中，利用由多個層次的檢測單元級聯(lián)而成的級聯(lián)檢測器，通過逐級地利用檢測單元在人臉區(qū)域內(nèi)對滑動子窗口進(jìn)行掃描得到人眼候選范圍，將在最后級的檢測單元得到的人眼候選范圍確定為人眼范圍。
4.按照權(quán)利要求3所述的人眼檢測方法，其中，如果無法通過所述級聯(lián)檢測器確定人眼范圍，則按照人眼和人臉的拓?fù)浣Y(jié)構(gòu)信息在人臉區(qū)域中初步限定人眼范圍，在初步限定的人眼范圍中，基于圖像塊灰度和算法，將灰度和最小的圖像塊作為人眼范圍。
5.按照權(quán)利要求3所述的人眼檢測方法，其中，所述級聯(lián)檢測器的各級檢測單元利用正樣本和負(fù)樣本通過Adaboost算法訓(xùn)練得到。
6.按照權(quán)利要求I所述的人眼檢測方法，其中，所述主動形狀模型為通過樣本訓(xùn)練而得到的人臉的多個特征點的屬性的集合，其中所述多個特征點至少包括與人眼相對應(yīng)的點，所述屬性至少包括相應(yīng)點的位置信息、位置約束條件和紋理信息。
7.按照權(quán)利要求6所述的人眼檢測方法，其中，所述人眼定位步驟包括 初始位置確定步驟，將訓(xùn)練得到的人臉的多個特征點中與人眼相應(yīng)的特征點匹配至所述人眼范圍的中心點，作為與人眼相應(yīng)的特征點的初始位置，所述多個特征點中的其它特征點以保持所述多個特征點拓?fù)潢P(guān)系的方式調(diào)整位置； 更新步驟，根據(jù)所述多個特征點的各個特征點的紋理信息，在各個特征點的位置鄰域中尋找紋理信息最接近的點，把所述各個特征點的位置更新為該點位置； 修正步驟，利用所述多個特征點中各個特征點的位置約束條件對該特征點的更新后的位置進(jìn)行修正； 判斷步驟，根據(jù)特征點集合中各個特征點的修正后的位置與更新前的位置的關(guān)系判斷與人眼相應(yīng)的特征點的修正后的位置是否是人眼位置。
8.按照權(quán)利要求7所述的人眼檢測方法，其中， 各個特征點的所述紋理信息為局部二值模板，紋理信息最接近的點為相應(yīng)特征點鄰域內(nèi)的各點中與該特征點的局部二值模板距離最近的點。
9.按照權(quán)利要求7所述的人眼檢測方法，其中，在所述判斷步驟中，如果判斷與人眼相應(yīng)的特征點的修正后的位置不是人眼位置，則將所述各個特征點的修正后的位置作為所述各個特征點的位置代入所述更新步驟再次進(jìn)行處理。
10.一種人眼檢測設(shè)備，包括 人臉區(qū)域確定裝置，在輸入的圖像中確定人臉區(qū)域； 人眼范圍確定裝置，在所述人臉區(qū)域中確定人眼范圍；以及人眼定位 裝置，基于主動形狀模型，以所述人眼范圍確定與人眼相應(yīng)的特征點的初始位置，通過擬合確定人眼位置。
全文摘要
本發(fā)明提供一種人眼檢測方法，包括人臉區(qū)域確定步驟，在輸入的圖像中確定人臉區(qū)域；人眼范圍確定步驟，在人臉區(qū)域中確定人眼范圍；以及人眼定位步驟，基于主動形狀模型，以人眼范圍確定與人眼相應(yīng)的特征點的初始位置，通過擬合確定人眼位置。本發(fā)明還相應(yīng)地提供一種人眼檢測設(shè)備、及一種人眼檢測系統(tǒng)。
文檔編號G06K9/62GK102799888SQ201110140349
公開日2012年11月28日 申請日期2011年5月27日 優(yōu)先權(quán)日2011年5月27日
發(fā)明者鐘誠, 劉童, 師忠超, 王剛 申請人:株式會社理光