專利名稱：人臉模型訓(xùn)練模塊及方法、人臉實時認(rèn)證系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人臉圖像的模型訓(xùn)練模塊及方法，與人臉實時認(rèn)證系統(tǒng)及方法，尤其涉及一種基于Gabor特征和支持向量機(jī)的人臉模型訓(xùn)練模塊及方法，與實時認(rèn)證系統(tǒng)及方法。
背景技術(shù)：
人臉識別是將輸入的人臉圖像與已知庫中的模板進(jìn)行比較并確定身份相似程度，是目前計算機(jī)視覺與模式識別研究領(lǐng)域非常熱門的一個研究課題。與其它生物特征(如指紋、虹膜、DNA等)相比，利用人臉進(jìn)行身份識別更直接、自然。而其它一些生物特征則需要采用主動的信息采集方式，需要使用者的合作與配合，也給使用者帶來不便。而人臉識別采用被動式的信息獲取方式，在識別的整個過程中無需使用者的介入，因而使用起來更友好、更方便。另外，人臉是人們區(qū)分不同人的重要途徑，是最主要的信息來源之一，因此人臉識別是一種較指紋、視網(wǎng)膜和虹膜更自然的識別方式，具有更廣泛的應(yīng)用前景和實用價值。
人臉認(rèn)證是人臉識別的一個分支，人臉認(rèn)證系統(tǒng)要求計算機(jī)不僅可以識別訓(xùn)練庫中已訓(xùn)練好用戶的人臉，還可以拒識不是庫中用戶的人臉。人臉認(rèn)證算法在多個領(lǐng)域如視頻監(jiān)控、簽到系統(tǒng)、人機(jī)交互、系統(tǒng)開機(jī)等有著非常大的應(yīng)用潛力。
數(shù)十年來，大量研究人員在人臉識別領(lǐng)域提出了非常多的研究方法。最早的方法是基于特征點的方法，即根據(jù)人臉關(guān)鍵特征點的結(jié)構(gòu)關(guān)系識別人臉，其次是基于圖像的方法，從人臉的輸入圖像抽取特征，并采用統(tǒng)計識別方法進(jìn)行識別，或者在訓(xùn)練模板與測試模板間采取模板匹配的方法。后來又出現(xiàn)了基于三維的方法，目的是識別各種不同姿態(tài)的人臉。但總體來說，在人臉認(rèn)證的精度和穩(wěn)定度上尚須進(jìn)一步的提高。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題在于提供一種人臉模型訓(xùn)練模塊及方法，以及人臉實時認(rèn)證系統(tǒng)及方法，以實現(xiàn)人臉模型的生成，以及精確的人臉識別與認(rèn)證。
為解決上述技術(shù)問題，本發(fā)明提供了一種人臉實時認(rèn)證方法，包括如下步驟(1)通過人臉樣本圖像，為每個需要認(rèn)證的用戶訓(xùn)練獲得一個支持向量機(jī)人臉模型；(2)采集攝像頭輸入的視頻圖像，搜索并檢測圖像中的正面人臉，并對其進(jìn)行持續(xù)追蹤與驗證，確保追蹤的人臉是正面人臉；(3)自動標(biāo)定正面人臉中的器官特征點，并據(jù)此對檢測到的人臉進(jìn)行預(yù)處理；(4)計算經(jīng)過預(yù)處理后的人臉圖像的Gabor特征，從高維Gabor特征中挑選出分類能力最強(qiáng)的部分Gabor特征組成低維特征向量；(5)將挑選后的低維特征向量輸入到所述人臉模型中，進(jìn)行人臉識別，返回與各人臉模型的相似度數(shù)據(jù)；(6)根據(jù)所述返回的相似度數(shù)據(jù)，輸出最終的人臉認(rèn)證結(jié)果。
其中，所述步驟(1)包括(1A)針對每個需要認(rèn)證的用戶，采集正樣本與反樣本人臉圖像；(1B)對所有樣本人臉進(jìn)行標(biāo)定，確定人臉樣本中的人臉器官特征點位置；(1C)根據(jù)標(biāo)定結(jié)果，對所有樣本圖像進(jìn)行預(yù)處理；(1D)計算經(jīng)過預(yù)處理后的樣本圖像的Gabor特征，從高維Gabor特征中挑選出分類能力最強(qiáng)的部分Gabor特征組成低維特征向量；(1E)利用所述低維特征向量，采用支持向量機(jī)對不同認(rèn)證用戶進(jìn)行訓(xùn)練，為每個用戶獲得一個支持向量機(jī)人臉模型。
為解決上述技術(shù)問題，本發(fā)明還提供一種人臉模型訓(xùn)練方法，包括如下步驟(A)針對每個需要認(rèn)證的用戶，采集正樣本與反樣本人臉圖像；(B)對所有樣本人臉進(jìn)行標(biāo)定，確定人臉樣本中的人臉器官特征點位置；(C)根據(jù)標(biāo)定結(jié)果，對所有樣本圖像進(jìn)行預(yù)處理；(D)計算經(jīng)過預(yù)處理后的樣本圖像的Gabor特征，從高維Gabor特征中挑選出分類能力最強(qiáng)的部分Gabor特征組成低維特征向量；(E)利用所述低維特征向量，采用支持向量機(jī)對不同認(rèn)證用戶進(jìn)行訓(xùn)練，為每個用戶獲得一個支持向量機(jī)人臉模型。
為解決上述技術(shù)問題，本發(fā)明進(jìn)而提供一種人臉實時認(rèn)證系統(tǒng)，包括訓(xùn)練模塊，用于通過人臉樣本圖像，為每個需要認(rèn)證的用戶訓(xùn)練獲得一個支持向量機(jī)人臉模型；認(rèn)證模塊，包括采集追蹤單元，用于采集攝像頭輸入的視頻圖像，搜索并檢測圖像中的正面人臉，并對其進(jìn)行持續(xù)追蹤與驗證，確保追蹤的人臉是正面人臉；預(yù)處理單元，用于自動標(biāo)定正面人臉中的器官特征點，并據(jù)此對檢測到的人臉進(jìn)行預(yù)處理；特征計算單元，用于計算經(jīng)過預(yù)處理后的人臉圖像的Gabor特征；特征挑選單元，用于從計算獲得的高維Gabor特征中挑選出分類能力最強(qiáng)的部分Gabor特征組成低維特征向量；識別認(rèn)證單元，用于將挑選后的低維特征向量輸入到所述人臉模型中，進(jìn)行人臉識別，返回與各人臉模型的相似度數(shù)據(jù)，并根據(jù)所述返回的相似度數(shù)據(jù)，輸出最終的人臉認(rèn)證結(jié)果。
其中，所述訓(xùn)練模塊，可以包括
樣本采集單元，用于針對每個需要認(rèn)證的用戶，采集正樣本與反樣本人臉圖像；預(yù)處理單元，用于根據(jù)對所有樣本人臉中的人臉器官特征點位置的標(biāo)定，對所有樣本圖像進(jìn)行預(yù)處理；特征計算單元，用于計算經(jīng)過預(yù)處理后的人臉圖像的Gabor特征；特征挑選單元，用于從計算獲得的高維Gabor特征中挑選出分類能力最強(qiáng)的部分Gabor特征組成低維特征向量；模型訓(xùn)練單元，用于利用所述低維特征向量，采用支持向量機(jī)對不同認(rèn)證用戶進(jìn)行訓(xùn)練，為每個用戶獲得一個支持向量機(jī)人臉模型。
為解決上述技術(shù)問題，本發(fā)明還提供一種人臉模型訓(xùn)練模塊，包括樣本采集單元，用于針對每個需要認(rèn)證的用戶，采集正樣本與反樣本人臉圖像；預(yù)處理單元，用于根據(jù)對所有樣本人臉中的人臉器官特征點位置的標(biāo)定，對所有樣本圖像進(jìn)行預(yù)處理；特征計算單元，用于計算經(jīng)過預(yù)處理后的人臉圖像的Gabor特征；特征挑選單元，用于從計算獲得的高維Gabor特征中挑選出分類能力最強(qiáng)的部分Gabor特征組成低維特征向量；模型訓(xùn)練單元，用于利用所述低維特征向量，采用支持向量機(jī)對不同認(rèn)證用戶進(jìn)行訓(xùn)練，為每個用戶獲得一個支持向量機(jī)人臉模型。
本發(fā)明提出的人臉模型訓(xùn)練模塊及訓(xùn)練方法，以及視頻序列中人臉的實時認(rèn)證系統(tǒng)及方法，利用人臉跟蹤結(jié)果將一段時間的識別結(jié)果結(jié)合起來，大大提高了識別的準(zhǔn)確率，并且可準(zhǔn)確拒識非訓(xùn)練用戶的人臉，算法有一定的抗光照干擾和姿態(tài)干擾能力，抗表情等干擾能力強(qiáng)。


圖1為根據(jù)本發(fā)明實施例所述的人臉認(rèn)證系統(tǒng)的框圖；圖2為根據(jù)本發(fā)明實施例所述的人臉認(rèn)證流程圖；圖3為根據(jù)本發(fā)明實施例所述的樣本訓(xùn)練流程示意圖；圖4為根據(jù)本發(fā)明實施例所述的人臉樣本的標(biāo)定與采集示意圖；圖5為根據(jù)本發(fā)明實施例所述的人臉圖像非線性矯正示意圖；圖6為根據(jù)本發(fā)明實施例所述的非線性矯正原理示意圖；圖7為根據(jù)本發(fā)明實施例所述的人臉圖像光照處理結(jié)果示意圖；圖8為根據(jù)本發(fā)明實施例所述的基于AdaBoost的特征抽取方法流程圖；圖9為根據(jù)本發(fā)明實施例所述的支持向量機(jī)最優(yōu)分類面示意圖；圖10A、圖10B為根據(jù)本發(fā)明實施例所述的人臉認(rèn)證輸出結(jié)果示意圖。
具體實施例方式
本發(fā)明的實施例中，首先提供了一種基于Gabor特征和支持向量機(jī)的人臉模型訓(xùn)練模塊，包括樣本采集單元，用于針對每個需要認(rèn)證的用戶，采集正樣本與反樣本人臉圖像；預(yù)處理單元，用于根據(jù)對所有樣本人臉中的人臉器官特征點位置的標(biāo)定，對所有樣本圖像進(jìn)行預(yù)處理；特征計算單元，用于計算經(jīng)過預(yù)處理后的人臉圖像的Gabor特征；特征挑選單元，用于從計算獲得的高維Gabor特征中挑選出分類能力最強(qiáng)的部分Gabor特征組成低維特征向量；模型訓(xùn)練單元，用于利用所述低維特征向量，采用一對多支持向量機(jī)對不同認(rèn)證用戶進(jìn)行訓(xùn)練，為每個用戶獲得一個一對多的支持向量機(jī)人臉模型。
該訓(xùn)練模塊對應(yīng)的訓(xùn)練方法，可以包括針對每個需要認(rèn)證的用戶，采集正樣本與反樣本人臉圖像；對所有樣本人臉進(jìn)行標(biāo)定，確定人臉樣本中的人臉器官特征點位置；根據(jù)標(biāo)定結(jié)果，對所有樣本圖像進(jìn)行預(yù)處理；計算經(jīng)過預(yù)處理后的樣本圖像的Gabor特征，從高維Gabor特征中挑選出分類能力最強(qiáng)的部分Gabor特征組成低維特征向量；利用所述低維特征向量，采用一對多支持向量機(jī)對不同認(rèn)證用戶進(jìn)行訓(xùn)練，為每個用戶獲得一個一對多的支持向量機(jī)人臉模型。
利用上述訓(xùn)練模塊與訓(xùn)練方法獲得的人臉模型，本發(fā)明實施例進(jìn)一步實現(xiàn)了完整的人臉實時認(rèn)證過程，可以從攝像頭拍攝的圖像序列中實時檢測并跟蹤序列中的人臉，對目標(biāo)人臉進(jìn)行識別和認(rèn)證。實際上，本發(fā)明提供的人臉認(rèn)證系統(tǒng)及方法，并不依賴于上述人臉模型訓(xùn)練模塊及訓(xùn)練方法，使用任何訓(xùn)練模塊與訓(xùn)練方法獲得的人臉模型，都可以適用于本發(fā)明的認(rèn)證過程。
下面，以利用上述訓(xùn)練模塊獲得的人臉模型為例，對本發(fā)明所述的人臉實時認(rèn)證過程進(jìn)行詳細(xì)說明本發(fā)明實施例在系統(tǒng)上可以包括訓(xùn)練和認(rèn)證兩個模塊，其中訓(xùn)練模塊需要采集用戶的人臉樣本并進(jìn)行訓(xùn)練，獲取多個用戶的人臉模型，而認(rèn)證模塊則將視頻序列中人臉的檢測跟蹤結(jié)果與訓(xùn)練好的人臉模型結(jié)合起來，判斷輸入人臉是否是訓(xùn)練好的用戶；如果不是，系統(tǒng)給出拒識的結(jié)果。
如圖1所示，為根據(jù)本發(fā)明實施例所述的人臉認(rèn)證系統(tǒng)的框圖。訓(xùn)練模塊的目的是由大量的人臉樣本圖像訓(xùn)練用戶的人臉識別模型。首先獲取大量的反樣本人臉，即這些樣本中肯定不會包含用戶的人臉，接著采集多個認(rèn)證用戶的正面人臉數(shù)據(jù)；對所有的正反樣本人臉進(jìn)行標(biāo)定，確定人臉樣本兩個眼睛和嘴巴的精確位置；我們結(jié)合標(biāo)定結(jié)果對所有的樣本圖像進(jìn)行歸一化和矯正，將所有樣本的眼睛和嘴巴矯正到固定的位置；人臉矯正完畢后我們結(jié)合一幅標(biāo)準(zhǔn)的灰度圖像對矯正后的樣本進(jìn)行光照處理，使樣本圖像各個部分的平均光照與標(biāo)準(zhǔn)圖像保持一致；接著采用FFT變換和FFT反變換計算所有樣本圖像的多尺度多方向Gabor特征；由于每個樣本的Gabor特征維數(shù)達(dá)到了8萬，對這么高維的特征進(jìn)行訓(xùn)練將是非常困難的，因此本發(fā)明的實施例采用了基于AdaBoost的特征挑選方法，結(jié)合正反樣本數(shù)據(jù)從這些特征中挑選出分類能力最強(qiáng)的數(shù)千維特征出來，將挑選出的特征組成新的低維Gabor特征向量；特征選擇完畢后再采用一對多的支持向量機(jī)(SVM)算法對不同用戶進(jìn)行訓(xùn)練，在對各個用戶進(jìn)行訓(xùn)練時，訓(xùn)練的正樣本特征就是該用戶樣本對應(yīng)的挑選后的低維Gabor特征向量，而反特征則包含了所有的反樣本的特征向量以及其他用戶的特征，這樣我們可以為每個用戶獲取一個一對多SVM模型。至此，人臉模型訓(xùn)練完畢。
人臉認(rèn)證模塊需要從視頻攝像頭的輸入圖像序列中實時檢測跟蹤人臉，并結(jié)合人臉模型進(jìn)行識別，綜合多幀識別數(shù)據(jù)輸出最后的認(rèn)證結(jié)果。我們首先實時采集攝像頭輸入的視頻圖像，搜索并檢測圖像中的正面人臉，接著對檢測的人臉進(jìn)行持續(xù)跟蹤，并隨時進(jìn)行驗證，判斷跟蹤的人臉是否是正面人臉；如果跟蹤人臉是正面人臉，認(rèn)證模塊自動標(biāo)定正面人臉中的眼睛和嘴巴，獲取三個標(biāo)定點；由眼睛、嘴巴三個標(biāo)定點對檢測的人臉進(jìn)行預(yù)處理，包括人臉矯正、人臉歸一化和光照處理；預(yù)處理完畢后接著計算人臉的Gabor特征；結(jié)合訓(xùn)練模塊中AdaBoost的特征挑選算法的返回結(jié)果從高維Gabor特征中挑選出分類能力最強(qiáng)的部分Gabor特征組成低維特征向量；將挑選的特征向量輸入到人臉模型中，進(jìn)行人臉識別，返回各個人臉的相似度數(shù)據(jù)；最后再將當(dāng)前人臉前面數(shù)幀圖像的相似度數(shù)據(jù)與當(dāng)前幀的相似度數(shù)據(jù)結(jié)合起來，輸出最終的人臉認(rèn)證結(jié)果。
如圖2所示，為根據(jù)本發(fā)明實施例所述的人臉認(rèn)證流程圖，首先通過人臉樣本圖像，為每個需要認(rèn)證的用戶訓(xùn)練獲得一個一對多的支持向量機(jī)人臉模型(步驟201)；采集攝像頭輸入的視頻圖像，搜索并檢測圖像中的正面人臉，并對其進(jìn)行持續(xù)追蹤與驗證，確保追蹤的人臉是正面人臉(步驟202)；自動標(biāo)定正面人臉中的器官特征點，并據(jù)此對檢測到的人臉進(jìn)行預(yù)處理(步驟203)；然后計算經(jīng)過預(yù)處理后的人臉圖像的Gabor特征，從高維Gabor特征中挑選出分類能力最強(qiáng)的部分Gabor特征組成低維特征向量(步驟204)；將挑選后的低維特征向量輸入到所述人臉模型中，進(jìn)行人臉識別，返回與各人臉模型的相似度數(shù)據(jù)(步驟205)；結(jié)合連續(xù)數(shù)幀圖像的相似度數(shù)值，輸出最終的人臉認(rèn)證結(jié)果(步驟206)。
圖2中步驟201所述的訓(xùn)練過程，可以采用多種方式進(jìn)行訓(xùn)練，如圖3所示，為本發(fā)明實施例采用的樣本訓(xùn)練流程示意圖，首先針對每個需要認(rèn)證的用戶，采集正樣本與反樣本人臉圖像(步驟301)；對所有樣本人臉進(jìn)行標(biāo)定，確定人臉樣本中的人臉器官特征點位置(步驟302)；根據(jù)標(biāo)定結(jié)果，對所有樣本圖像進(jìn)行預(yù)處理(步驟303)；計算經(jīng)過預(yù)處理后的樣本圖像的Gabor特征，從高維Gabor特征中挑選出分類能力最強(qiáng)的部分Gabor特征組成低維特征向量(步驟304)；利用所述低維特征向量，采用一對多支持向量機(jī)對不同認(rèn)證用戶進(jìn)行訓(xùn)練，為每個用戶獲得一個一對多的支持向量機(jī)人臉模型(步驟305)。
圖2中步驟202所述的人臉追蹤，也可以通過多種方法實現(xiàn)，例如中國專利申請200510135668.8中提供的一種視頻序列中人臉的實時檢測與持續(xù)追蹤的方法及系統(tǒng)，該申請采用AdaBoost訓(xùn)練算法訓(xùn)練正面人臉的分層檢測模型，并分尺度搜索輸入的視頻圖像，確定圖像中多個人臉的位置；接著系統(tǒng)對檢測的人臉在后續(xù)幾幀進(jìn)行驗證，驗證完畢再結(jié)合基于Mean shift和顏色直方圖的人臉跟蹤算法實現(xiàn)人臉的持續(xù)跟蹤；在跟蹤過程中可進(jìn)行人臉的驗證，確定跟蹤結(jié)果的準(zhǔn)確性。該系統(tǒng)已在多場景中對多個人臉進(jìn)行了測試，測試結(jié)果表明本文的人臉檢測和跟蹤算法可以快速準(zhǔn)確檢測不同表情、不同膚色、不同光照條件下的多個正面人臉，可以檢測-20°到20°深度旋轉(zhuǎn)、-20°到20°平面旋轉(zhuǎn)的人臉，可實時跟蹤任意姿態(tài)人臉，包括側(cè)面、旋轉(zhuǎn)人臉等。
圖2中步驟203所述的人臉器官特征點定位，也有很多種方法可以實現(xiàn)，例如中國專利申請200610011673.2中提供的定位方法。根據(jù)本發(fā)明的實施例，可以通過以下步驟確定雙眼位置(1)在已獲人臉位置信息的基礎(chǔ)上，采用統(tǒng)計方式確定左眼搜索區(qū)域和右眼搜索區(qū)域，并確定左眼初選位置與右眼初選位置；(2)在所述左眼與右眼搜索區(qū)域內(nèi)，分別采用左眼局部特征檢測器與右眼局部特征檢測器，對所有左眼初選位置和右眼初選位置進(jìn)行判別，并為每個初選位置確定一個單眼相似度數(shù)值；(3)從所有左眼初選位置與右眼初選位置中，分別選擇相似度數(shù)值最大的前N1個位置作為左眼候選位置和右眼候選位置，并將所有左眼和右眼候選位置配成雙眼候選對，以每一個候選對為基準(zhǔn)確定雙眼區(qū)域；(4)采用雙眼區(qū)域檢測器作為全局約束，對所述每一個雙眼區(qū)域進(jìn)行判別，為其中每個雙眼候選對確定一個雙眼相似度數(shù)值；(5)選擇雙眼相似度數(shù)值最大的前M1個雙眼候選對，對其中的所有左眼候選位置與所有右眼候選位置分別計算平均值，作為左眼特征點位置與右眼特征點位置。
并可以通過以下步驟確定嘴巴位置(1)在已獲眼睛位置信息的基礎(chǔ)上，采用統(tǒng)計方式確定嘴巴位置搜索區(qū)域，并確定嘴巴初選位置；(2)在嘴巴位置搜索區(qū)域內(nèi)，采用嘴巴局部特征檢測器對每一個嘴巴初選位置進(jìn)行判別，并為之確定一個嘴巴局部相似度數(shù)值；(3)選擇嘴巴局部相似度數(shù)值最大的前N2個初選位置作為嘴巴候選位置，對于每個候選位置，以左眼特征點位置、右眼特征點位置、嘴巴候選位置為基準(zhǔn)，確定臉部區(qū)域；(4)采用臉部區(qū)域檢測器作為全局約束，對每個所述確定的臉部區(qū)域進(jìn)行判別，為其中的每個嘴巴候選位置確定一個嘴巴全局相似度數(shù)值；(5)選擇嘴巴全局相似度數(shù)值最大的前M，個候選位置，計算這些候選位置的平均值，作為嘴巴特征點位置。
圖2中步驟203所述的預(yù)處理步驟，以及圖3中步驟303所述的預(yù)處理步驟，過程都是相似的，下面主要以對樣本圖像的預(yù)處理為例來進(jìn)一步說明。
在進(jìn)行人臉識別前，必須對輸入人臉圖像的尺寸、位置和灰度進(jìn)行預(yù)處理，使不同的人臉圖像的尺寸、灰度保持一致。另外，不同圖像中人臉的位置應(yīng)該保持一致，這可通過眼睛、嘴巴定位的方法，使輸入圖像中人臉眼睛、嘴巴的位置基本固定，再對整幅圖像進(jìn)行仿射變換或非線性矯正。只有經(jīng)過這些預(yù)處理后，同一個人的多個輸入人臉在某些特征上才會具有一定的相似性，而不同的人臉也才會具有一定的差異，此時才可以采用統(tǒng)計模式識別算法進(jìn)行模型的訓(xùn)練與識別。
參考圖3中的步驟301，由于本發(fā)明采用支持向量機(jī)(SVM)的方式實現(xiàn)人臉認(rèn)證(對于支持向量機(jī)的算法描述，可以參見邊肇祺、張學(xué)工等人所著的《模式識別》，清華大學(xué)出版社，2000年)，因此需要收集大量反樣本人臉，以提高人臉認(rèn)證的準(zhǔn)確度。這些反樣本最好應(yīng)盡量覆蓋不同表情、不同膚色、不同年齡的人臉，包含-20°到20°深度旋轉(zhuǎn)的人臉，包含戴與不戴眼鏡人臉。
人臉認(rèn)證的正樣本人臉是指待認(rèn)證用戶的人臉樣本，這類數(shù)據(jù)需要在實際應(yīng)用時由程序自動采集用戶的樣本，并自動對用戶樣本進(jìn)行預(yù)處理和特征計算。
參考圖3中的步驟302，對所有反樣本，本發(fā)明可以通過手動標(biāo)定所有反樣本人臉的關(guān)鍵特征點，為每個正樣本人臉標(biāo)定了三個點兩眼中心、嘴巴中心。而對于待認(rèn)證用戶的正樣本可以采取自動標(biāo)定的方法，獲取三個點的坐標(biāo)，如圖4所示。
接著，本發(fā)明根據(jù)這些標(biāo)定點可以對各個人臉進(jìn)行幾何歸一化，即將人臉圖像的主要器官位置矯正到標(biāo)準(zhǔn)位置，減小樣本間的尺度、平移和平面旋轉(zhuǎn)差異，然后根據(jù)器官位置剪裁出人臉區(qū)域成為人臉樣本，使人臉樣本盡量少地引入背景干擾，且不同人臉樣本的器官位置具有一致性。
本發(fā)明引入了一幅標(biāo)準(zhǔn)人臉圖像對各個人臉樣本進(jìn)行幾何歸一化和人臉區(qū)域的裁剪。首先確定待識別人臉窗口的尺度wd×ht為44×48，即寬為44，高為48。接著獲取一幅標(biāo)準(zhǔn)的正面人臉圖像，標(biāo)準(zhǔn)圖像中兩眼的y坐標(biāo)一致，人臉也完全對稱，如圖4中的4A所示，標(biāo)定該圖像的三個關(guān)鍵特征點。根據(jù)該圖像中雙眼的距離和位置確定裁剪的正方形人臉區(qū)域的位置。設(shè)兩眼的距離為r，兩眼連線的中心點為(xcenter，ycenter)，采集矩形的寬設(shè)為2r，即兩倍雙眼間距，則矩形裁剪區(qū)域的坐標(biāo)(xleft，ytop，xright，ybottom)為xleftytopxrightybottom=xcenter-rytop-0.5rxcenter+rytop+ht]]>將裁剪的人臉區(qū)域歸一化到44×48的尺寸，如圖4中的4B，并獲取歸一化后三個標(biāo)定點的坐標(biāo)[xstad(i)，ystad(i)]，i＝0，1，2，前兩個為眼睛中心點，最后一個為嘴唇中心點。
任意給定原始人臉樣本和標(biāo)定的三個特征點[xlabel(i)，ylabel(i)]，i＝0，1，2，如圖4中的4C，比較直接的裁剪方法是計算這三個點與標(biāo)準(zhǔn)圖像歸一化后三點坐標(biāo)間的仿射變換系數(shù)。另外，仿射變換式中不能加入人臉各個方向的拉伸變換，我們僅考慮旋轉(zhuǎn)和整體縮放兩個變換。接著由仿射變換系數(shù)可以計算該裁剪圖像中任意一點到原始樣本中對應(yīng)點坐標(biāo)，進(jìn)而獲取裁剪人臉中所有點的象素值，如圖4中的4D所示。
不過基于仿射變換的算法存在著比較明顯的缺陷。首先當(dāng)人臉樣本帶表情或者輸入人臉非正面時，采用這種方法獲取的裁剪人臉的眼睛嘴唇中心點與標(biāo)準(zhǔn)圖像的眼睛嘴唇中心點偏差會比較大，特別是帶姿態(tài)樣本裁剪后的嘴唇中心點還不在圖像垂直中心軸上，眼睛位置也有差異，如圖5所示，5A是原始圖像和標(biāo)定點，5B是裁剪圖像。因此對于同一人不同姿態(tài)表情的人臉，其裁剪圖像中人臉眼睛嘴唇位置差異較大，這一定程度會降低識別算法抗表情、姿態(tài)干擾的能力。
本發(fā)明的實施例采用了一種非線性矯正方法，即采用非線性的方法將輸入人臉三個中心點完全矯正到標(biāo)準(zhǔn)人臉三點的位置。首先僅考慮眼睛的兩個中心點，采用仿射變換算法在輸入人臉與標(biāo)準(zhǔn)人臉的標(biāo)定點之間計算仿射變換系數(shù)，此時同樣只考慮旋轉(zhuǎn)和整體縮放兩個變換。即xlabel(i)ylabel(i)=scosθ-ssinθssinθscosθxstad(i)ystad(i)+ab=c-dadcbxstad(i)ystad(i)1,i=0,1]]>上式中有四個未知數(shù)，四個等式，只有唯一的一個解，設(shè)為(a，b，c，d)，圖5中的5C是僅采用這四個系數(shù)獲取的裁剪結(jié)果。由這個仿射變換系數(shù)可以計算出輸入樣本中三個特征點在裁剪人臉中的對應(yīng)點，設(shè)為[xtrans(i)，ytrans(i)]，i＝0，1，2。前兩個變換坐標(biāo)即眼睛的位置與標(biāo)準(zhǔn)臉的眼睛位置完全一致，但受姿態(tài)、表情等干擾，嘴巴位置差別可能比較大。為此我們需要將嘴巴位置矯正到標(biāo)準(zhǔn)位置。
如圖6所示，圖中A、B點是標(biāo)準(zhǔn)圖像中的中心點，D點是A、B的中央點，Cstad是標(biāo)準(zhǔn)嘴唇中央點，C是變換后的嘴唇點。非線性矯正過程分兩步進(jìn)行，首先在y方向進(jìn)行矯正，使矯正后嘴唇點的y坐標(biāo)與Cstad一致，如圖6中的C′點。然后再進(jìn)行x方向的矯正，我們將D與C′連接起來，DC′連線將人臉分為左右半邊，考慮水平方向的某條直線，設(shè)其y坐標(biāo)為y1，其與DC′直線的交點坐標(biāo)E為(x1，y1)。由于我們需要將(x1，y1)移至(xD，y1)，其中xD為D的x坐標(biāo)，因此需要對(xD，y1)左右兩邊的點分別進(jìn)行線性變換，將E移至中軸線DCstad上?？紤]某點(x，y1)，對左邊的點x＜x1，其矯正后點的坐標(biāo)為(x·xD/x1，y1)，對右邊的點x≥x1，其矯正后點的坐標(biāo)為[2xD-xD·(2xD-x)/(2xD-x1)，y1]?？梢钥闯?，如果C′在Cstad的右側(cè)，則需要對左側(cè)的人臉進(jìn)行壓縮，對右側(cè)人臉進(jìn)行拉伸，這樣可以將DC′直線上所有點都矯正到人臉垂直中軸線DCstad上。
在獲取非線性矯正系數(shù)后，接著結(jié)合原始圖像獲取矯正后的人臉，設(shè)裁剪后的人臉圖像為I，該圖像尺寸為44×48，其中某點坐標(biāo)為(x，y)，根據(jù)非線性矯正系數(shù)獲取其矯正前的坐標(biāo)(x′，y′)，再由仿射變換系數(shù)獲取原始圖像中該點的坐標(biāo)(xori，yori)xoriyori=c-dadcbx′y′1]]>為消除噪聲的影響，裁剪后的圖像中(x，y)的象素值設(shè)為對應(yīng)點(xori，yori)鄰域范圍內(nèi)所有點象素值的均值，如圖5中的5D所示。
此外，受外界光照、成像設(shè)備等因素干擾，人臉圖像亮度或?qū)Ρ榷葧霈F(xiàn)異常，出現(xiàn)強(qiáng)陰影或反光等情況，另外不同人種的膚色間也存在這差異，因此需要對幾何歸一化和矯正后的人臉樣本進(jìn)行灰度均衡化處理，改善其灰度分布，增強(qiáng)模式間的一致性。不過，人臉識別中的光照問題一直是比較困難但也是非常重要的問題。多年來已經(jīng)有了非常多的光照處理算法，但性能都比較一般，抗各種環(huán)境光干擾的能力都比較差。由于基于統(tǒng)計方法的人臉識別算法需要采集人臉的正樣本并進(jìn)行訓(xùn)練，但人臉正樣本的光照一般比較單一，即使對加入不同光照的正樣本，訓(xùn)練數(shù)據(jù)也只能覆蓋少數(shù)幾種光照分布。而實際場景中光照是非常復(fù)雜的，而同樣的人臉但光照差別較大時灰度也會存在這明顯的差異，計算出的圖像特征也會存在這差別。另外，如果輸入人臉的光照不均勻，部分區(qū)域光照強(qiáng)，部分區(qū)域光照弱一些，此時即使對圖像進(jìn)行全圖的歸一化、直方圖均衡等，都很難得到光照比較均勻的人臉數(shù)據(jù)，這就會大大降低人臉識別的精度。
本發(fā)明實施例采用的光照處理算法可以分兩步進(jìn)行，首先對圖像進(jìn)行整體的灰度歸一化，接著結(jié)合標(biāo)準(zhǔn)圖像進(jìn)行局部的灰度歸一化。
整體歸一化比較簡單，給定一幅標(biāo)準(zhǔn)人臉圖像，如圖4中的4B，計算標(biāo)準(zhǔn)人臉灰度的均值Ps和方差σs，接著計算輸入樣本灰度的均值P和方差σ，其任一象素值I(x，y)歸一化后的象素值為I′(x，y)＝[I(x，y)-P]·σs/σ+Ps設(shè)標(biāo)準(zhǔn)圖像某點(x，y)的象素值為S(x，y)，輸入人臉灰度歸一化后該點值為I′(x，y)。由于這兩幅圖像中眼睛、嘴巴的位置已經(jīng)完全對應(yīng)，因此樣本中各個器官的位置與標(biāo)準(zhǔn)人臉的器官位置差別也不會太大。也就是說兩幅圖像各個局部的灰度應(yīng)該近似一致，如果灰度不一致，則可以認(rèn)為是輸入人臉的光照不均勻，需要進(jìn)行灰度的矯正，由此可以用標(biāo)準(zhǔn)人臉的灰度去矯正輸入人臉的灰度。
基于此考慮，本發(fā)明實施例對各個象素點分別進(jìn)行處理，考慮其中某個點(x，y)，抽取其鄰域范圍內(nèi)所有象素點，鄰域長寬均為W，我們統(tǒng)計輸入樣本中(x，y)鄰域內(nèi)W×W個點灰度的均值，設(shè)為AI(x，y)，再統(tǒng)計標(biāo)準(zhǔn)樣本中(x，y)鄰域內(nèi)W×W個點灰度的均值，設(shè)為AS(x，y)。AI(x，y)反映的當(dāng)前鄰域內(nèi)亮度的大小，AS(x，y)反映的是標(biāo)準(zhǔn)人臉局部光照的強(qiáng)度，如果兩者差異較大，則表示輸入人臉當(dāng)前點附近光照不均勻，需要對該點的灰度進(jìn)行矯正，又AS(x，y)與AI(x，y)的比值可以近似反映光照強(qiáng)度的比值，因此可以直接將該點的灰度值乘以這個比值，作為矯正結(jié)果，即(x，y)點處理后新的灰度值Ir(x，y)為Ir(x，y)＝I′(x，y)·AS(x，y)/AI(x，y)W的選擇比較關(guān)鍵，W不能太大，否則灰度矯正沒有效果，W也不能太小，否則矯正后的人臉圖像與標(biāo)準(zhǔn)人臉比較接近，本文將W設(shè)為15，獲取最佳結(jié)果。如圖7所示，為光照處理前和光照處理后的結(jié)果對比示意圖，其中，7A為整體灰度歸一化后的人臉圖像；7B為根據(jù)本發(fā)明的實施例進(jìn)行灰度矯正后的人臉圖像。
圖2中步驟204以及圖3中步驟304所述的特征抽取步驟，在人臉識別中是非常關(guān)鍵的環(huán)節(jié)。常用的特征有灰度特征、邊緣特征、小波特征、Gabor特征等。其中Gabor為人臉圖像提供多尺度、多方向的精細(xì)描述，表現(xiàn)出優(yōu)秀的時頻聚集性，具備很強(qiáng)的刻畫細(xì)節(jié)與局部結(jié)構(gòu)的能力。它具有帶通濾波的性質(zhì)，既能部分地抵抗慢變光照的影響，也能濾去一些高頻噪聲。同時，二維Gabor濾波器的沖激響應(yīng)函數(shù)與哺乳動物的視皮層中簡單型細(xì)胞對圖像信號的響應(yīng)非常相似，在理論上具備堅實的基礎(chǔ)。因此，本發(fā)明的實施例在實現(xiàn)人臉識別時選擇Gabor特征。
二維Gabor濾波器的沖激響應(yīng)表示為
ψj(x)=||kj||σ2exp(-||kj||·||x||2σ2)[exp(ikjx)-exp(-σ22)]]]>其中σ＝2π，我們考慮了5個頻率v＝0，...，4，8個方向μ＝0，...，7，則有 在人臉圖像的每個點，可以都計算5個頻率，8個方向，共40維Gabor特征，計算方式是將輸入圖像與各個頻率各個方向的沖激響應(yīng)進(jìn)行卷積，即Gj(x)＝∫Ir(x′)ψj(x-x′)dx′為了提高Gabor特征的計算效率，可以采用FFT算法對這個卷積過程進(jìn)行加速，先對Ir(x′)和ψj(x′)分別進(jìn)行FFT變換，將變換后的結(jié)果相乘再進(jìn)行反FFT變換，就可以得到圖像中所有點對于某個頻率某個方向的Gabor特征。總的Gabor特征數(shù)為5×8×44×48＝84480，這個數(shù)據(jù)量是非常大的，直接采用分類算法對如此高維的特征進(jìn)行訓(xùn)練和識別是非常困難的，因此還需要進(jìn)行特征的挑選，大幅度降低特征的維數(shù)。
每幅人臉Gabor特征的維數(shù)高達(dá)84480，而總的訓(xùn)練樣本數(shù)有一萬多，而在分類器訓(xùn)練時采用的是1對多的SVM算法，因此可以采用基于AdaBoost的特征挑選算法，結(jié)合1對多的分類方式和正反樣本數(shù)據(jù)從這些特征中挑選出分類能力最強(qiáng)的數(shù)千維特征如2000維特征出來，將挑選出的特征組成新的低維Gabor特征向量，特征選擇完畢后再采用一對多的支持向量機(jī)(SVM)算法對不同用戶進(jìn)行訓(xùn)練。這樣訓(xùn)練算法的計算量和存儲的人臉模型的數(shù)據(jù)量都大大降低。在認(rèn)證過程中，算法只需要計算出人臉的Gabor特征，結(jié)合已有的特征挑選結(jié)果挑選出低維特征，再對低維特征向量進(jìn)行識別。
下面簡單介紹一下本發(fā)明實施例所采用的基于AdaBoost的特征抽取方法，如圖8所示步驟801給定兩類樣本，樣本數(shù)為L，正樣本數(shù)為Lp，反樣本數(shù)為Ln。
步驟802初始化，設(shè)置權(quán)重，正樣本為1/2Lp，反樣本為1/2Ln。
首先，為正反圖像樣本集設(shè)定權(quán)值，在一個具體的實施例中，可以將反圖像樣本集所占的權(quán)重設(shè)置為1/2，將所有正圖像樣本集所占的權(quán)重設(shè)置為1/2。當(dāng)然，在其它的實施例中，也完全可以將所有反圖像樣本集所占的權(quán)重設(shè)置為2/5，將所有反圖像樣本集所占的權(quán)重設(shè)置為3/5。也就是說，可以根據(jù)需要為正反圖像樣本集設(shè)定權(quán)重。之后，要為每個正反圖像樣本設(shè)定權(quán)重，在一個具體的實施例中，可以設(shè)定每個正樣本的權(quán)重為正樣本集權(quán)重的1/Lp，設(shè)定每個反樣本的權(quán)重為反樣本集總權(quán)重的1/Ln。當(dāng)然，也可以將重要的正反圖像樣本設(shè)定較高的權(quán)重。
步驟803設(shè)定迭代輪次t＝1，2，...，T。
步驟804考慮所有從未入選的特征，利用單個特征訓(xùn)練弱分類器，根據(jù)訓(xùn)練樣本集的權(quán)值得到最優(yōu)的閾值參數(shù)，使得所有樣本的加權(quán)錯誤率最小，這樣可以為每個弱分類器及其對應(yīng)的特征獲取一個錯誤率。
采用第j個弱分類器hj(x)根據(jù)設(shè)定的閾值與每個圖像樣本的第j個特征Gj(x)去判斷各個樣本圖像是正樣本還是反樣本，由此可以統(tǒng)計出該弱分類器的加權(quán)錯誤率。
每個弱分類器都只處理對應(yīng)的一個特征，其可表示為hj(x)=1,ifgj(x)>low_θjandgj(x)<high_θj0,otherwise]]>其中，low_θj是弱分類器hj(x)的低閾值，high_θj是弱分類器hj(x)的高閾值，如果當(dāng)前圖像樣本的第j個特征Gj(x)的數(shù)值大于低閾值且低于高閾值時，所述弱分類器hj(x)輸出為1，其表示當(dāng)前圖像樣本被判斷為正樣本；反之，所述弱分類器hj(x)輸出為0，其表示當(dāng)前圖像樣本被判斷為反樣本。其中，弱分類器hj(x)的低閾值和高閾值是根據(jù)圖像樣本的權(quán)重設(shè)定。
關(guān)于弱分類器對圖像樣本的分類，具體來講就是，首先，第j個弱分類器hj(x)根據(jù)第1個圖像樣本第j個特征Gj(x)判斷第1個圖像樣本是正樣本還是反樣本，接下來，根據(jù)第2個圖像樣本第j個特征Gj(x)判斷第2個圖像樣本是正樣本還是反樣本，......，直到，第j個弱分類器hj(x)根據(jù)第L個圖像樣本第j個特征Gj(x)判斷第L個圖像樣本是正樣本還是反樣本。
步驟805統(tǒng)計出每個弱分類器hj(x)的錯誤率，選定錯誤率最小的預(yù)定數(shù)目個弱分類器并將其對應(yīng)的特征作為當(dāng)前輪的特征挑選結(jié)果。
每個弱分類器hj(x)都要對L個圖像樣本是正樣本還是反樣本進(jìn)行判斷，其中必定有判斷錯的樣本，換句話說，弱分類器hj(x)可能將正樣本認(rèn)定為反樣本，也可能將正樣本認(rèn)定為反樣本。將該弱分類器統(tǒng)計錯誤的圖像樣本的權(quán)重求得，就可以得到這個弱分類器hj(x)的加權(quán)錯誤率。之后，將錯誤率最小的預(yù)定數(shù)目個弱分類器對應(yīng)的特征作為當(dāng)前輪的特征挑選結(jié)果。在一個實施例中，所述預(yù)定數(shù)目是1，也可以是，2或3等等，操作者可以根據(jù)實際情況設(shè)定這個數(shù)目。
步驟806減小選定的弱分類器判斷正確的圖像樣本的權(quán)重，增加選定的弱分類器判斷錯誤的圖像樣本的權(quán)重，并對更新后的圖像樣本的權(quán)重進(jìn)行歸一化，使所有樣本的權(quán)重之和等于1，返回103，進(jìn)入下一輪迭代，直至完成設(shè)定輪次，挑選出預(yù)定數(shù)目的特征。
上面的挑選方法針對的是兩類問題。對于多類問題，可以結(jié)合模式分類算法的實現(xiàn)架構(gòu)設(shè)計挑選方法。如果模式分類算法采用的是一對多的架構(gòu)，我們將特征挑選過程分解為多個兩類問題，每個兩類問題中其中一類是某類樣本，另一類則對應(yīng)其他樣本。如果模式識別問題采用的是一對一的架構(gòu)，即將多類模式識別問題分解為多個兩類一對一問題，每個兩類問題中的一類為任一類輸入樣本，第二類為另一類輸入樣本。這樣在特征挑選時需要考慮多個類似圖8的AdaBoost模塊流程，我們將各個AdaBoost模塊流程同步實現(xiàn)，即將所有AdaBoost模塊的第t輪弱分類器返回的錯誤率加起來，將總的錯誤率最小的特征返回，作為該輪的特征挑選結(jié)果。各輪特征挑選完畢后再根據(jù)當(dāng)前的各個AdaBoost模塊的錯誤率更新權(quán)重，挑選下一組特征。
圖2中步驟201以及圖3中步驟305所述支持向量機(jī)(SVM)是統(tǒng)計學(xué)習(xí)理論發(fā)展出的一種模式識別方法。該算法是從線性可分情況下的最優(yōu)分類面提出的?？紤]圖9中所示的兩類線性可分情況，設(shè)樣本集(xi，yi)，i＝1，…，n，x∈Rd，y∈{+1，-1}，其中yi是模式xi的類別標(biāo)號，Hw·x+b＝0為分類界面，H1、H2分別為平行于H且與H距離為1/‖w‖的兩平面，它們之間的距離叫做分類間隔(margin)。支持向量機(jī)的基本思想就是希望找到一個最優(yōu)線性分類面，使分類間隔盡量大，即‖w‖盡量小，并且在訓(xùn)練集上分類錯誤盡量少。最優(yōu)分類面的求解問題實際上一個不等式約束下的二次函數(shù)極值問題，其最優(yōu)解為w=Σi=1nαiyixi]]>其中αi為權(quán)重。對多數(shù)樣本αi為為零，少數(shù)不為零的αi對應(yīng)的就是支持向量，即位于H1和H2兩平面上的樣本。最優(yōu)分類函數(shù)則為f(x)=sgn[(w·x)+b]=sgn[Σi=1nαiyi(xi·x)+b]]]>sgn()為符號函數(shù)。f(x)為1則表示識別為第一類樣本，即y＝1，否則認(rèn)為識別為第二類樣本。將上式中特征向量的點擊運算改為內(nèi)積，且內(nèi)積滿足Mercer條件，就可以將線性SVM擴(kuò)展為廣義的非線性SVM，即f(x)=sgn[(w·x)+b]=sgn[Σi=1nαiyiK(xi,x)+b]]]>采用不同的內(nèi)積函數(shù)將導(dǎo)致不同的支持向量機(jī)算法，如多項式內(nèi)積、S形函數(shù)、徑向核函數(shù)(RBF)等，與線性SVM相比，非線性SVM將最優(yōu)分類面擴(kuò)展為非線性的，可以實現(xiàn)很多線性不可分情形的分類，因此分類準(zhǔn)確率也得到提高。我們在實現(xiàn)人臉識別時，采用了基于RBF的SVM算法，即K(x,xi)=exp{-||x-xi||σ2}]]>SVM在用于多類人臉的識別時，有一對一和一對多兩種實現(xiàn)形式。一對一的SVM是在算法為任兩類樣本訓(xùn)練SVM分類器，這樣如果有N類樣本，則需要訓(xùn)練N×(N-1)/2個分類器。識別時將樣本依次輸入到各個SVM分類器中，每次判決都將淘汰一類樣本。當(dāng)然如果某個分類器對應(yīng)的兩個樣本均已淘汰，則跳過該分類器，所有判決完成后剩下的那個類別就是識別結(jié)果。一對一分類器的主要問題是訓(xùn)練時只考慮了各類訓(xùn)練樣本，大量的反樣本數(shù)據(jù)都浪費掉了，且這種分類器無法實現(xiàn)反樣本的拒識，因此無法應(yīng)用于人臉認(rèn)證算法。
一對多的SVM算法只需要為每個類別分別訓(xùn)練一個分類器，每次訓(xùn)練時正樣本就是該類別的訓(xùn)練數(shù)據(jù)，而反樣本則包含了其他各類數(shù)據(jù)及所有的反樣本數(shù)據(jù)。由于這個方法考慮了眾多的反樣本數(shù)據(jù)，訓(xùn)練完后得到的最優(yōu)分界面可以比較準(zhǔn)確地將當(dāng)前類別樣本與其他類別樣本分離開來，因此在實現(xiàn)多個人臉的自動認(rèn)證時，一對多的SVM算法有非常好的應(yīng)用價值。
一對多SVM的認(rèn)證過程也比較簡單，將輸入樣本挑選后的特征輸入到N個SVM分類器中，如果所有分類器會拒識輸入特征，則認(rèn)為輸入人臉與訓(xùn)練庫中所有類別都不相似，算法輸出拒識的結(jié)果；反之，如果輸入特征僅通過了一個分類器，而被其他所有分類器拒識，則該分類器對應(yīng)的類別就是人臉識別的結(jié)果；另一種特殊情況就是輸入特征通過了不止一個SVM分類器，算法認(rèn)為其與多個類別相似，從我們實驗結(jié)果看，這種情形非常少見，因為我們在分類器訓(xùn)練時各類樣本都互為其他類別的反樣本，但當(dāng)不同類別的人臉比較相似時，這種情況也會出現(xiàn)。此時我們采取一種簡化方法解決這個問題，由于各個一對多SVM算法都會為每個樣本輸出一個判決數(shù)值J(x)=Σi=1nαiyiK(xi,x)+b,]]>這個數(shù)值在一定程度上也反映了輸入樣本與對應(yīng)類別的接近程度，及與對應(yīng)反樣本的差距大小。該數(shù)值越大，則表示輸入樣本與當(dāng)前類別越相似，與其他類別差異越大。因此我們根據(jù)這個判決數(shù)值的大小處理這種特殊情況，即將來輸出拒識結(jié)果的SVM分類器返回的J(x)=Σi=1nαiyiK(xi,x)+b]]>進(jìn)行排序，將最大數(shù)對應(yīng)的類別作為人臉識別的結(jié)果。這盡管是一個近似的結(jié)果，但從實際結(jié)果看，這個方法的效果還是非常不錯的。
下面結(jié)合一對多SVM，對圖2中步驟205、206所述的相似度的計算進(jìn)行說明。
基于一對多SVM的人臉認(rèn)證算法會為每個輸入人臉輸出一個判決數(shù)據(jù)Jn(x)，n＝0，1，…，N-1，反映了當(dāng)前人臉與對應(yīng)類別的相似程度。我們將各個類別臉形數(shù)幀的判決數(shù)據(jù)組合起來，得到一個反映多幀識別信息的新的判決數(shù)Ln(x)，n＝0，1，…，N-1，我們將這個數(shù)作為各個類別的識別相似度。設(shè)在前面k-1幀我們求得一個相似度為Lnk-1(x)，n＝0，1，…，N-1，第k幀的SVM返回數(shù)為Jnk(x)，n＝0，1，…，N-1，則k幀的相似度計算式為Lnk(x)=min(max(Lnk-1(x)+Jnk,min_data),max_data)]]>即人臉的相似度是累加的，不過累加數(shù)需要限制最大和最小值。這樣當(dāng)連續(xù)數(shù)幀某個類別的Jn(x)都大于零時，則總的相似度Ln(x)將逐漸增加；反之則逐漸減少。如果在第k幀所有類別的Lkn(x)都小于零，則拒識該人臉；如果有一個或者多個Lkn(x)大于零，則將數(shù)值最大Lkn(x)對應(yīng)的類別作為人臉認(rèn)證的結(jié)果。如圖10A所示，為一幀輸入人臉，圖10B是輸出結(jié)果，圖中各人的Lkn(x)用柱狀圖顯示，中間黑線是相似度判決閾值，本發(fā)明將這個閾值直接設(shè)為零。
綜上所述，本發(fā)明的識別對象主要是正面人臉，輸入攝像頭是視頻攝像頭。本發(fā)明實現(xiàn)人臉的認(rèn)證時，采取的是基于圖像的方法，在人臉檢測與關(guān)鍵器官定位的基礎(chǔ)上，采用統(tǒng)計識別算法對輸入人臉進(jìn)行識別，首先檢測出圖像中的正面人臉，接著獲取人臉兩眼中心點、嘴巴中心點的位置?；谶@三個點對人臉樣本進(jìn)行歸一化和光照處理，抽取多分辨率多方向Gabor特征，并將處理后的Gabor特征輸入到支持向量機(jī)(SVM)中，進(jìn)行訓(xùn)練和識別。另外，本發(fā)明的輸入對象是視頻攝像頭采集的圖像序列，因此可以在人臉跟蹤的基礎(chǔ)上將多幀人臉的認(rèn)證結(jié)果綜合起來，提高人臉認(rèn)證的精度和穩(wěn)定度。
權(quán)利要求
1.一種人臉實時認(rèn)證方法，其特征在于，包括如下步驟(1)通過人臉樣本圖像，為每個需要認(rèn)證的用戶訓(xùn)練獲得一個支持向量機(jī)人臉模型；(2)采集攝像頭輸入的視頻圖像，搜索并檢測圖像中的正面人臉，并對其進(jìn)行持續(xù)追蹤與驗證，確保追蹤的人臉是正面人臉；(3)自動標(biāo)定正面人臉中的器官特征點，并據(jù)此對檢測到的人臉進(jìn)行預(yù)處理；(4)計算經(jīng)過預(yù)處理后的人臉圖像的Gabor特征，從高維Gabor特征中挑選出分類能力最強(qiáng)的部分Gabor特征組成低維特征向量；(5)將挑選后的低維特征向量輸入到所述人臉模型中，進(jìn)行人臉識別，返回與各人臉模型的相似度數(shù)據(jù)；(6)根據(jù)所述返回的相似度數(shù)據(jù)，輸出最終的人臉認(rèn)證結(jié)果。
2.如權(quán)利要求1所述的方法，其特征在于，所述步驟(6)，是結(jié)合連續(xù)數(shù)幀圖像的相似度數(shù)值，輸出最終的人臉認(rèn)證結(jié)果。
3.如權(quán)利要求1所述的方法，其特征在于，所述步驟(1)包括(1A)針對每個需要認(rèn)證的用戶，采集正樣本與反樣本人臉圖像；(1B)對所有樣本人臉進(jìn)行標(biāo)定，確定人臉樣本中的人臉器官特征點位置；(1C)根據(jù)標(biāo)定結(jié)果，對所有樣本圖像進(jìn)行預(yù)處理；(1D)計算經(jīng)過預(yù)處理后的樣本圖像的Gabor特征，從高維Gabor特征中挑選出分類能力最強(qiáng)的部分Gabor特征組成低維特征向量；(1E)利用所述低維特征向量，采用支持向量機(jī)對不同認(rèn)證用戶進(jìn)行訓(xùn)練，為每個用戶獲得一個的支持向量機(jī)人臉模型。
4.如權(quán)利要求1或3所述的方法，其特征在于，所述器官特征點包括雙眼與嘴巴特征點。
5.如權(quán)利要求4所述的方法，其特征在于，所述預(yù)處理步驟，包括(A1)根據(jù)標(biāo)定的雙眼位置，采用仿射變換算法在輸入人臉圖像與標(biāo)準(zhǔn)人臉圖像的標(biāo)定點之間計算仿射變換系數(shù)；(B1)利用所述仿射變換系數(shù)，根據(jù)預(yù)定的待識別人臉窗口的尺度，獲得基于雙眼的人臉裁剪圖像；(C1)根據(jù)所述仿射變換系數(shù)，計算出輸入圖像中雙眼與嘴巴特征點在裁剪圖像中的對應(yīng)點A、B、C，并根據(jù)雙眼位置A、B確定雙眼中心點D與標(biāo)準(zhǔn)嘴巴中心點Cstad；(D1)將C點在y方向上進(jìn)行矯正，使矯正后的嘴巴中心點C′的y坐標(biāo)與Cstad的y坐標(biāo)一致；(E1)以DC′連線為分界線，如果C′在Cstad的右側(cè)，則對所述分界線左側(cè)的人臉進(jìn)行壓縮，對分界線右側(cè)的人臉進(jìn)行拉伸，如果C′在Cstad的左側(cè)，則對所述分界線右側(cè)的人臉進(jìn)行壓縮，對分界線左側(cè)的人臉進(jìn)行拉伸，以將DC′直線上的點矯正到人臉垂直中軸線DCstad上。
6.如權(quán)利要求5所述的方法，其特征在于，進(jìn)一步包括(F1)將矯正后的裁剪圖像中的象素值(X，Y)設(shè)為對應(yīng)點(Xort，Yort)鄰域范圍內(nèi)所有點象素值的均值，其中，所述對應(yīng)點(Xort，Yort)通過點(X，Y)在矯正前的坐標(biāo)(X′，Y′)利用仿射變換系數(shù)獲得。
7.如權(quán)利要求1或3所述的方法，其特征在于，所述預(yù)處理步驟，包括(A2)確定一副標(biāo)準(zhǔn)灰度人臉圖像，并計算人臉圖像灰度的均值Ps和方差σs；(B2)計算當(dāng)前輸入人臉圖像的灰度的均值P和方差σ，并利用公式I′(x，y)＝[I(x，y)-P]·σs/σ+Ps對輸入人臉圖像進(jìn)行整體灰度歸一化，其中，I(x，y)為整體歸一化前的輸入人臉圖像象素灰度值，I′(x，y)為整體歸一化后的輸入人臉圖像象素灰度值。
8.如權(quán)利要求7所述的方法，其特征在于，所述預(yù)處理步驟，進(jìn)一步包括(C2)利用公式Ir(x，y)＝I′(x，y)·AS(x，y)/AI(x，y)，對當(dāng)前輸入人臉圖像進(jìn)行局部灰度歸一化，其中，AI(x，y)為當(dāng)前輸入圖像中象素點(x，y)鄰域內(nèi)的灰度均值，AS(x，y)為所述標(biāo)準(zhǔn)人臉圖像中對應(yīng)象素點(x，y)鄰域內(nèi)的灰度均值，Ir(x，y)為局部歸一化后的輸入人臉圖像象素灰度值。
9.如權(quán)利要求2所述的方法，其特征在于，步驟(6)所述連續(xù)數(shù)幀圖像的相似度數(shù)值的計算公式為Lnk(x)=min(max(Lnk-1(x)+Jnk,min_data),max_data);]]>其中，Lkn(x)為第K幀所有人臉模型的相似度，Jn(x)，n＝0，1，…，N-1，為不同人臉模型為每個人臉圖像返回的相似度判決數(shù)據(jù)，Lnk-1(x)，n＝0，1，…，N-1，為前面K-1幀的相似度。
10.如權(quán)利要求9所述的方法，其特征在于，如果在第k幀所有人臉模型的Lkn(x)都小于零，則拒識該人臉；如果有一個或者多個Lkn(x)大于零，則將數(shù)值最大的Lkn(x)對應(yīng)的人臉模型作為人臉認(rèn)證的結(jié)果。
11.一種人臉模型訓(xùn)練方法，其特征在于，包括如下步驟(A)針對每個需要認(rèn)證的用戶，采集正樣本與反樣本人臉圖像；(B)對所有樣本人臉進(jìn)行標(biāo)定，確定人臉樣本中的人臉器官特征點位置；(C)根據(jù)標(biāo)定結(jié)果，對所有樣本圖像進(jìn)行預(yù)處理；(D)計算經(jīng)過預(yù)處理后的樣本圖像的Gabor特征，從高維Gabor特征中挑選出分類能力最強(qiáng)的部分Gabor特征組成低維特征向量；(E)利用所述低維特征向量，采用支持向量機(jī)對不同認(rèn)證用戶進(jìn)行訓(xùn)練，為每個用戶獲得一個的支持向量機(jī)人臉模型。
12.如權(quán)利要求11所述的方法，其特征在于，所述步驟(C)，包括(C1)確定一副標(biāo)準(zhǔn)灰度人臉圖像，并計算人臉圖像灰度的均值Ps和方差σs；(C2)計算當(dāng)前輸入人臉圖像的灰度的均值P和方差σ，并利用公式I′(x，y)＝[I(x，y)-P]·σs/σ+Ps對輸入人臉圖像進(jìn)行整體灰度歸一化，其中，I(x，y)為整體歸一化前的輸入人臉圖像象素灰度值，I′(x，y)為整體歸一化后的輸入人臉圖像象素灰度值。
13.一種人臉實時認(rèn)證系統(tǒng)，其特征在于，包括訓(xùn)練模塊，用于通過人臉樣本圖像，為每個需要認(rèn)證的用戶訓(xùn)練獲得一個支持向量機(jī)人臉模型；認(rèn)證模塊，包括采集追蹤單元，用于采集攝像頭輸入的視頻圖像，搜索并檢測圖像中的正面人臉，并對其進(jìn)行持續(xù)追蹤與驗證，確保追蹤的人臉是正面人臉；預(yù)處理單元，用于自動標(biāo)定正面人臉中的器官特征點，并據(jù)此對檢測到的人臉進(jìn)行預(yù)處理；特征計算單元，用于計算經(jīng)過預(yù)處理后的人臉圖像的Gabor特征；特征挑選單元，用于從計算獲得的高維Gabor特征中挑選出分類能力最強(qiáng)的部分Gabor特征組成低維特征向量；識別認(rèn)證單元，用于將挑選后的低維特征向量輸入到所述人臉模型中，進(jìn)行人臉識別，返回與各人臉模型的相似度數(shù)據(jù)，并根據(jù)所述返回的相似度數(shù)據(jù)，輸出最終的人臉認(rèn)證結(jié)果。
14.如權(quán)利要求13所述的系統(tǒng)，其特征在于，所述識別認(rèn)證單元，是結(jié)合連續(xù)數(shù)幀圖像的相似度數(shù)值，輸出最終的人臉認(rèn)證結(jié)果。
15.如權(quán)利要求13所述的系統(tǒng)，其特征在于，所述訓(xùn)練模塊，包括樣本采集單元，用于針對每個需要認(rèn)證的用戶，采集正樣本與反樣本人臉圖像；預(yù)處理單元，用于根據(jù)對所有樣本人臉中的人臉器官特征點位置的標(biāo)定，對所有樣本圖像進(jìn)行預(yù)處理；特征計算單元，用于計算經(jīng)過預(yù)處理后的人臉圖像的Gabor特征；特征挑選單元，用于從計算獲得的高維Gabor特征中挑選出分類能力最強(qiáng)的部分Gabor特征組成低維特征向量；模型訓(xùn)練單元，用于利用所述低維特征向量，采用支持向量機(jī)對不同認(rèn)證用戶進(jìn)行訓(xùn)練，為每個用戶獲得一個支持向量機(jī)人臉模型。
16.一種人臉模型訓(xùn)練模塊，其特征在于，包括樣本采集單元，用于針對每個需要認(rèn)證的用戶，采集正樣本與反樣本人臉圖像；預(yù)處理單元，用于根據(jù)對所有樣本人臉中的人臉器官特征點位置的標(biāo)定，對所有樣本圖像進(jìn)行預(yù)處理；特征計算單元，用于計算經(jīng)過預(yù)處理后的人臉圖像的Gabor特征；特征挑選單元，用于從計算獲得的高維Gabor特征中挑選出分類能力最強(qiáng)的部分Gabor特征組成低維特征向量；模型訓(xùn)練單元，用于利用所述低維特征向量，采用支持向量機(jī)對不同認(rèn)證用戶進(jìn)行訓(xùn)練，為每個用戶獲得一個支持向量機(jī)人臉模型。
全文摘要
本發(fā)明公開了一種人臉模型訓(xùn)練模塊及方法，與人臉實時認(rèn)證系統(tǒng)及方法，認(rèn)證過程中，首先通過人臉樣本圖像，為每個需要認(rèn)證的用戶訓(xùn)練獲得一個支持向量機(jī)人臉模型；再通過采集攝像頭輸入的視頻圖像，搜索并檢測圖像中的正面人臉，并對其進(jìn)行持續(xù)追蹤與驗證；然后自動標(biāo)定正面人臉中的器官特征點，并據(jù)此對檢測到的人臉進(jìn)行預(yù)處理；計算經(jīng)過預(yù)處理后的人臉圖像的Gabor特征，從高維Gabor特征中挑選出低維特征向量；將挑選后的低維特征向量輸入到所述人臉模型中，進(jìn)行人臉識別，返回與各人臉模型的相似度數(shù)據(jù)；根據(jù)所述返回的相似度數(shù)據(jù)，輸出最終的人臉認(rèn)證結(jié)果。本發(fā)明提高了人臉識別認(rèn)證的準(zhǔn)確率。
文檔編號G06K9/36GK1885310SQ20061001208
公開日2006年12月27日 申請日期2006年6月1日 優(yōu)先權(quán)日2006年6月1日
發(fā)明者黃英, 鄧亞峰, 王浩 申請人:北京中星微電子有限公司