一種基于Android平臺的實時人臉關鍵點定位方法
【技術領域】
[0001] 本發(fā)明設及計算機視覺技術領域，設及一種人臉關鍵點定位方法。
【背景技術】
[0002] 人臉檢測和關鍵點定位技術作為計算機視覺研究的關鍵技術，目前已廣泛應用于 智能監(jiān)控、身份識別、表情分析等方面。人臉關鍵點定位是指在人臉圖像中精確定位到人的 眼睛、嘴己、鼻子等特定的面部器官，并獲取其幾何參數(shù)，從而為表情分析或人臉識別等研 究提供準確的信息。
[0003]目前，人臉關鍵點的定位在計算機上已有較好的實現(xiàn)，實時性和準確性都很 高，代表性的工作有主動形狀模型（Active化apeModel,ASM),貝葉斯切空間形狀模型 炬ayesianTangent化耶eModel，BTSM)，主動外觀模型（ActiveAppearanceModel，AAM)， 受約束的局部模型（ConstrainedLocalModel,化M)等等。但已有的算法計算復雜度較 高，在計算、存儲能力有限的移動平臺上鮮有應用。
[0004] 如今，在中國有幾億的智能終端（主要是手機，平板電腦）用戶，智能終端逐漸成 為人們的信息載體。移動平臺性能也得到了大幅提升，運就為移動平臺上人臉特征點實時 定位跟蹤提供了可能。但目前已有的人臉特征點定位跟蹤算法普遍計算復雜度較高、內(nèi)存 消耗較大、處理速度較慢，很難直接移植到移動平臺。

【發(fā)明內(nèi)容】

[0005] 為了解決上述問題，本發(fā)明公開了高效率、高精度的"顯式形狀回歸"人臉關鍵點 定位方法，通過直接學習一個矢量回歸函數(shù)來預測整個人臉的關鍵點。固有的形狀約束被 自然地編碼到我們的級聯(lián)學習框架中，并且被由粗到細地應用在測試的過程中。本發(fā)明力 圖在多個方面全面提升算法的性能，具體體現(xiàn)在特征選取和模型訓練方面做了較大改進， 使算法運行效率大幅提升，并同時保證了定位的準確性，能夠?qū)崿F(xiàn)在移動平臺上實時進行 人臉特征點的檢測定位。
[0006] 本發(fā)明分為訓練和測試兩個階段。訓練階段主要學習回歸模型。區(qū)別于大部分回 歸方法，本方法并不是用固定參數(shù)的形狀模型。本發(fā)明通過直接學習一個矢量回歸函數(shù)來 預測整個人臉的關鍵點，然后在訓練集上顯式地最小化定位誤差。
[0007] 為了實現(xiàn)高效的回歸，我們使用簡單的像素差分特征，即在圖像中的兩個像素的 強度差。運樣的特征計算復雜度非常小，就是根據(jù)關鍵點的位置和一個偏移量，取得該位置 的像素值，然后計算兩個運樣的像素的差值，從而得到了形狀索引特征。該方法中采用的是 局部坐標而非全局坐標系，極大的增強了特征的魯棒性。
[0008] 為了使像素差特征保持幾何不變性，通過估計得到的形狀來索引像素點。運里W 局部坐標來索引像素Ai= (Ax\Ayi)，1為標準化臉上的一個關鍵點。運樣的索引方式 可W對尺度，旋轉(zhuǎn)等變化保持不變性并且使得算法更加魯棒。同時運種索引也可W幫助我 們在一些靜態(tài)的點周圍列舉出更多有用的特征（比如眼睛中屯、的點要比鼻尖更暗，然而兩 個眼睛的中屯、又是相似的）。在實際實現(xiàn)的過程中，我們把局部坐標系轉(zhuǎn)換回原始圖像的全 局坐標系中來得到形狀索引像素點，然后在計算像素差特征。運樣的方法使得測試階段的 運行速度更快。設一個樣本的估計形狀為S。那么第m個關鍵點的位置通過III0S獲取， 運里的jii從形狀向量里得到第m個關鍵點的x，y坐標。A1為局部坐標系，那么在原始圖 像上相應的全局坐標系可W表達為巧?！杜?。么/。對于不同的樣本A1是完全相同的，但 是用于提取底層像素點的全局坐標系會相應地調(diào)節(jié)來保證幾何不變性。
[0009] 本發(fā)明使用了一個兩級的增強回歸器，即第一級10級，第二層500級。在運個二 級結(jié)構(gòu)中，第一級中每個節(jié)點都是500個弱分類器的級聯(lián)，也就是一個第二層的回歸器。在 第二層回歸器中，特征是保持不變，而在第一層中，特征是變化的。在第一層，每一個節(jié)點的 輸出都是上一個節(jié)點的輸入。都是在上一級估計的關鍵點上在取的特征。
[0010] 本發(fā)明采用一個兩層的加強回歸模式，即基本人臉關鍵點定位框架（外部層）和 階段回歸器Rt(內(nèi)部層）級聯(lián)模式。內(nèi)部層階段回歸器又稱作原始回歸器。外部層與內(nèi)部 層回歸器的一個關鍵區(qū)別在于形狀索引特征在內(nèi)部層回歸中是固定的。也就是特征只對應 于前一次估計的形狀St1并且在當前原始回歸器學習好之前保持不變。保持內(nèi)部層回歸中 的形狀索引特征不變可W使訓練階段更加節(jié)省時間并且使得學習到的內(nèi)部層回歸器更加 穩(wěn)定。在本發(fā)明中回歸器的結(jié)構(gòu)可W描述為T= 10，K= 500,即第一層（外部層）10級， 第二層（內(nèi)部層）500級。在第一層中的每一個節(jié)點都是500個弱分類器的級聯(lián)，也就是第 二層回歸器。第一層每一個節(jié)點的輸入都是上一個節(jié)點的輸出。第二層回歸器采用所謂的 fern結(jié)構(gòu)。每一個fern是5個特征和闊值的組合，將特征空間分割成/個bins。
[0011] 每一個binb對應于一個回歸輸出yb:
，代表在第b 個bin中的樣本。yb的最優(yōu)解為
為了防止訓練時的過擬合引入一個收縮因子
當bin中的樣本數(shù)量足夠大時beta影響較小，反之則會起到較低估計 值得幅度。
[0012] 原始回歸器：本發(fā)明用fern代表原始回歸器，一個fern是F個特征和闊值的組 合，將特征空間和所有訓練樣本劃分到/個bin里面。每個bin與一個回歸輸出yb密切相 關?；硎居柧殬颖镜幕貧w目標，那么一個bin的輸出就是最小化落入運個bin的所有 訓練樣本到回歸目標的均方距離
是在第b個bin中的樣本。 它的最優(yōu)解是對bin中的所有回歸目標取均值；
％了避免過擬合引入一個 收縮因子P:
可W看出當訓練樣本數(shù)足夠大的時候，收縮因子0 幾乎沒有影響，否則P會降低估計的量級。
[0013] 本專利完整的方法操作流程如下：
[0014] 步驟1、收集訓練圖片集，并對訓練集人臉圖片標定關鍵點；
[0015] 步驟2、計算每一個訓練樣本標準化目標
M0S即為標 準化的的目標樣本；
[0016] 步驟3、組合訓練樣本集合{/,.，&，《措，每個樣本包含了一個訓練圖像、一個真實 形狀和一個初始形狀；隨機選取訓練集中的n個樣本作為每一個訓練樣本的初始形狀；
[0017] 步驟4、根據(jù)每一個關鍵點的位置提取形狀索引特征；
[0018] 步驟5、采用相關性分析方法選擇適量的特征作為最終的特征；
[0019] 步驟6、設置回歸結(jié)構(gòu)：采用2-level增強回歸結(jié)構(gòu)作為基本人臉配準框架（外部 層），在每一層外部層設置內(nèi)部階段回歸器Rt(內(nèi)部層）；
[0020] 步驟7、計算每一個階段的回歸器Rt:

[0021] 步驟8、使用人臉檢測的方法估計人臉窗口；根據(jù)訓練好的回歸模型預測人臉關 鍵點位置

【附圖說明】
[0022] 圖1是本發(fā)明基于Amlroid平臺的實時人臉關鍵點定位方法的基本流程示意圖。
【具體實施方式