一種可抗姿態(tài)和表情變化的三維人臉校準(zhǔn)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理及模式識(shí)別技術(shù)領(lǐng)域，尤其涉及三維人臉識(shí)別方向中抗姿態(tài) 變化的人臉校準(zhǔn)方法。
【背景技術(shù)】
[0002] 在當(dāng)今信息時(shí)代，個(gè)人身份的有效識(shí)別與認(rèn)證在安保系統(tǒng)中，比如機(jī)場(chǎng)安檢、門禁 監(jiān)督等，是一個(gè)非常重要的問題。傳統(tǒng)的身份驗(yàn)證的方法有著使用不便、安全性低等缺點(diǎn)， 生物特征識(shí)別作為一種新型的身份識(shí)別方法，因其具有安全性、易維護(hù)性、普遍性等優(yōu)點(diǎn)， 為上述問題提供了解決方向。
[0003] 生物特征識(shí)別技術(shù)是指，利用人體固有的生理信息及行為作為特征，通過智能計(jì) 算進(jìn)行身份識(shí)別及驗(yàn)證的技術(shù)。人臉識(shí)別是生物特征識(shí)別的一個(gè)分支，具有易被采集、友 好、用戶接受度高等優(yōu)勢(shì)。三維人臉識(shí)別是指利用三維圖像進(jìn)行人臉識(shí)別的技術(shù)。三維人 臉帶有人臉的原始幾何形狀信息，有望克服現(xiàn)今人臉識(shí)別中遇到的姿態(tài)變化的問題。
[0004] 現(xiàn)在提出的三維人臉識(shí)別方法一般都是針對(duì)沒有姿態(tài)或只帶很小姿態(tài)的人臉，但 是在三維人臉識(shí)別的實(shí)際應(yīng)用中，需要實(shí)現(xiàn)具有任意姿態(tài)的人臉識(shí)別，而這仍然是個(gè)難題。 姿態(tài)不變的三維人臉識(shí)別的難點(diǎn)都在于，在人臉帶有較大姿態(tài)變化的情況下，不僅人臉數(shù) 據(jù)會(huì)隨著旋轉(zhuǎn)而發(fā)生較大變化，而且人臉也會(huì)因?yàn)樽哉趽踉谀承﹨^(qū)域上損失較多數(shù)據(jù)，從 而人臉不完整，失去對(duì)稱性。表情變化會(huì)使人臉變形，從而人臉幾何結(jié)構(gòu)發(fā)生變化，導(dǎo)致三 維數(shù)據(jù)變化。在這種情況下，如何能準(zhǔn)確地校準(zhǔn)人臉，將人臉姿態(tài)校準(zhǔn)到正面，并填補(bǔ)損失 的數(shù)據(jù)，從而與人臉訓(xùn)練庫(kù)中采集的人臉更好地匹配，就是需要解決的問題。但是，很多方 法基于三維表面曲率或者基于二維輪廓，這些特征都容易受到三維人臉數(shù)據(jù)損失的影響， 所以人臉校準(zhǔn)仍具是一個(gè)難題，至今仍然沒有良好魯棒性的方法能解決上述問題。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于針對(duì)目前三維人臉識(shí)別中人臉校準(zhǔn)領(lǐng)域內(nèi)現(xiàn)有技術(shù)的不足，提 出了一種可抗姿態(tài)和表情變化的三維人臉校準(zhǔn)方法，該方法在人臉有較大姿態(tài)變化的情況 下，仍然具有較強(qiáng)的魯棒性。
[0006] 本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：一種可抗姿態(tài)和表情變化的三維人 臉校準(zhǔn)方法，包括以下步驟：
[0007] (1)構(gòu)造主動(dòng)外觀模型階段，具體包括以下子步驟：
[0008] (I. 1)采集訓(xùn)練人臉：通過三維圖像獲取設(shè)備獲取中性姿態(tài)（即無任何姿勢(shì)變化） 的人臉，作為人臉訓(xùn)練庫(kù)，手動(dòng)定位重要標(biāo)記點(diǎn)，并通過掃描人臉與背景的分界線獲得人臉 的外輪廓點(diǎn)，得到足夠的標(biāo)記點(diǎn)；
[0009] (1. 2)生成人臉深度圖：在三維人臉?biāo)谧鴺?biāo)系中，在x-y坐標(biāo)軸上以一定分辨率 為間隔建立網(wǎng)格，將z軸坐標(biāo)值采用雙立方插值的方法插值到相應(yīng)x-y網(wǎng)格上，填補(bǔ)空洞， 得到三維人臉網(wǎng)格圖，將三維人臉網(wǎng)格圖對(duì)x-y坐標(biāo)系投影，z軸坐標(biāo)作為像素值，獲得深 度圖，將對(duì)應(yīng)的三維標(biāo)記點(diǎn)投影到x-y坐標(biāo)系上，獲得深度圖上標(biāo)記點(diǎn)的二維坐標(biāo)；
[0010] (1. 3)人臉預(yù)處理：對(duì)步驟1. 2獲取的人臉深度圖進(jìn)行中值濾波去掉峰值點(diǎn)，進(jìn)行 高斯平滑濾波平滑人臉去除噪聲，降采樣到10萬像素大小范圍內(nèi)的人臉；
[0011] (1.4)校準(zhǔn)人臉形狀：由訓(xùn)練人臉?biāo)械臉?biāo)記點(diǎn)構(gòu)成的網(wǎng)格圖表示人臉形狀，采 用普式分析的方法將人臉形狀對(duì)齊到統(tǒng)一形狀；
[0012] (1. 5)生成形狀模型：將所有訓(xùn)練人臉的形狀減去統(tǒng)一形狀，并采用主成份分析 的方法獲取主成份，作為形狀向量；形狀模型表示如下：
[0013]
【主權(quán)項(xiàng)】
1. 一種可抗姿態(tài)和表情變化的三維人臉校準(zhǔn)方法，其特征在于，該方法包括以下步 驟： (1) 構(gòu)造主動(dòng)外觀模型階段，具體包括以下子步驟： (1. 1)采集訓(xùn)練人臉：通過三維圖像獲取設(shè)備獲取中性姿態(tài)的人臉，作為人臉訓(xùn)練庫(kù)， 手動(dòng)定位重要標(biāo)記點(diǎn)，并通過掃描人臉與背景的分界線獲得人臉的外輪廓點(diǎn)，得到足夠的 標(biāo)記點(diǎn)； (1.2) 生成人臉深度圖：在三維人臉?biāo)谧鴺?biāo)系中，在x-y坐標(biāo)軸上以一定分辨率為間 隔建立網(wǎng)格，將z軸坐標(biāo)值采用雙立方插值的方法插值到相應(yīng)x-y網(wǎng)格上，填補(bǔ)空洞，得到 三維人臉網(wǎng)格圖，將三維人臉網(wǎng)格圖對(duì)x-y坐標(biāo)系投影，z軸坐標(biāo)作為像素值，獲得深度圖， 將對(duì)應(yīng)的三維標(biāo)記點(diǎn)投影到x-y坐標(biāo)系上，獲得深度圖上標(biāo)記點(diǎn)的二維坐標(biāo)； (1. 3)人臉預(yù)處理：對(duì)步驟1. 2獲取的人臉深度圖進(jìn)行中值濾波去掉峰值點(diǎn)，進(jìn)行高斯 平滑濾波平滑人臉去除噪聲，降采樣到10萬像素大小范圍內(nèi)的人臉； (1. 4)校準(zhǔn)人臉形狀：由訓(xùn)練人臉?biāo)械臉?biāo)記點(diǎn)構(gòu)成的網(wǎng)格圖表示人臉形狀，采用普 式分析的方法將人臉形狀對(duì)齊到統(tǒng)一形狀； (1. 5)生成形狀模型：將所有訓(xùn)練人臉的形狀減去統(tǒng)一形狀，并采用主成份分析的方 法獲取主成份，作為形狀向量；形狀模型表示如下：
其中？1表示形狀參數(shù)，s ^表示形狀模型的基本形狀，s表示任意形狀模型的實(shí)例，s = (X1, Y1, X2, y2,. . .，xv, yv)T，SiQ = 1，2,. . .，η)表示形狀向量，η表示形狀的維數(shù)，V表示標(biāo) 記點(diǎn)的個(gè)數(shù)； (1. 6)訓(xùn)練人臉形狀標(biāo)準(zhǔn)化：將基本形狀Stl進(jìn)行三角形網(wǎng)格化，并將所有訓(xùn)練人臉的 外觀根據(jù)其形狀向基本形狀Stl變形，形成具有基本形狀的人臉，其中變形采用分段線性變 形方法，即將兩個(gè)網(wǎng)格形狀內(nèi)的對(duì)應(yīng)三角形進(jìn)行仿射變換； (1. 7)生成主動(dòng)外觀模型：將步驟1. 6形狀標(biāo)準(zhǔn)化的訓(xùn)練人臉，采用主成份分析的方法 獲取主成份，作為外觀向量；外觀模型表示如下：
其中λ廣示外觀模型的參數(shù)，M(X)表示任意外觀模型的實(shí)例，Atl(X)表示標(biāo)準(zhǔn)外觀模 板，Ai(X) (i = 1，2,...，m)表示外觀向量，M(x)、Atl(X)和Ai(X)均為二維圖像，m表示外觀 向量的維數(shù)； (2) 測(cè)試人臉校準(zhǔn)階段，具體包括以下子步驟： (2. 1)采集人臉測(cè)試庫(kù)：通過三維圖像獲取設(shè)備獲取不同姿態(tài)及表情變化的三維人 臉，作為人臉測(cè)試庫(kù)； (2.2) 生成人臉深度圖：對(duì)于測(cè)試庫(kù)中所有三維人臉，在三維人臉?biāo)谧鴺?biāo)系中，在 x-y坐標(biāo)軸上以一定分辨率為間隔建立網(wǎng)格，將z軸坐標(biāo)值采用雙立方插值的方法插值到 相應(yīng)x-y網(wǎng)格上，填補(bǔ)空洞，得到三維人臉網(wǎng)格圖，將三維人臉網(wǎng)格圖對(duì)x-y坐標(biāo)系投影，z 軸坐標(biāo)作為像素值，獲得深度圖； (2. 3)人臉預(yù)處理：對(duì)步驟2. 2獲取的人臉深度圖進(jìn)行中值濾波去掉峰值點(diǎn)，進(jìn)行高斯 平滑濾波平滑人臉去除噪聲，降采樣到10萬像素大小范圍內(nèi)的人臉； (2. 4)人臉粗校準(zhǔn)，具體子步驟如下： (2. 4. 1)在訓(xùn)練庫(kù)中選擇中性姿態(tài)和中性表情的人臉，以鼻尖點(diǎn)為基準(zhǔn)進(jìn)行疊加并平 均，得到平均臉，從平均臉上分割出鼻子區(qū)域，作為平均鼻子模型； (2.4.2)將測(cè)試庫(kù)中所有的三維人臉以旋轉(zhuǎn)角度β繞Y軸旋轉(zhuǎn)，得到一系列旋轉(zhuǎn)后的 三維人臉；其中β e [-90°，90° ]，以6°為步長(zhǎng)，每張測(cè)試庫(kù)中的人臉均有R = 31個(gè)旋 轉(zhuǎn)角度；旋轉(zhuǎn)公式如下：
其中，某三維坐標(biāo)點(diǎn)表示為（Xi, Yi, Zi) (i = 1，2,…，N),對(duì)應(yīng)輸出的旋轉(zhuǎn)坐標(biāo)點(diǎn)為 ，zf );根據(jù)步驟2. 2中的方法，將旋轉(zhuǎn)后的三維人臉轉(zhuǎn)化為深度圖； (2. 4. 3)將步驟2. 4. 2得到的人臉深度圖與步驟2. 4. 1得到的平均鼻子模型進(jìn)行以標(biāo) 準(zhǔn)互相關(guān)為準(zhǔn)則的模板匹配，得到標(biāo)準(zhǔn)互相關(guān)圖； (2. 4. 4)計(jì)算標(biāo)準(zhǔn)互相關(guān)圖的最大相關(guān)系數(shù)，最大相關(guān)系數(shù)在標(biāo)準(zhǔn)互相關(guān)圖中的位置 為鼻子區(qū)域所在位置，獲得對(duì)應(yīng)的鼻尖點(diǎn)及旋轉(zhuǎn)角度 (2.4.5)根據(jù)式（3)以旋轉(zhuǎn)角度0,繞Y軸旋轉(zhuǎn)測(cè)試人臉，進(jìn)行粗校準(zhǔn)； (2. 4. 6)以檢測(cè)的鼻尖點(diǎn)為圓心以人臉寬度為直徑作圓分割出人臉的有效區(qū)域； (2. 5)將經(jīng)過粗校準(zhǔn)的人臉與主動(dòng)外觀模型進(jìn)行匹配，設(shè)置目標(biāo)函數(shù)，通過迭代的方式 計(jì)算模型的參數(shù)，最小化目標(biāo)函數(shù)可表示為：
其中W(x ;ρ)表示分段線性變形函數(shù)，I為測(cè)試人臉深度圖，A = [A1, A2, ...，Am]表示外 觀向量的組合，λ = [ λ λ 2,. . .，λ m]表示外觀參數(shù)的組合； (2. 6)采用反向融合方式通過迭代搜索進(jìn)行參數(shù)更新直到目標(biāo)函數(shù)收斂，具體子步驟 如下： (2.6.1) 預(yù)計(jì)算：計(jì)算標(biāo)準(zhǔn)外觀模板Atl及外觀向量AiQ = l，2，...，m)的梯度▽為， ο W βψ 計(jì)算W(X ;ρ)在P = 0處的雅可比矩陣二一，計(jì)算梯度圖像,== op Φ 計(jì)算A的投影正交補(bǔ)集P = E-AAt; (2.6.2) 根據(jù)W(x;p)將人臉圖像I變形為I(W(x;p)); m (2· 6. 3)計(jì)算梯度聯(lián)合圖像 =戶(Λ + Σ?) = PJ/L'，其中 J = [J。，J1, · · ·，JJ i=l 表示梯度圖像Ji (i = 〇, 1，...，m)的組合，A =[1,A] e ;計(jì)算海森矩陣 Hfsic - JfsicJfsic '， (2. 6. 4)計(jì)算形狀參數(shù)P的迭代更新量Δρ = "S.J- /g ;更新仿射 變換/?) e 。好ΙκΔ/?)'，。表示融合計(jì)算； (2. 6. 5)計(jì)算外觀參數(shù)λ的迭代更新量Δ λ = At (I-Aci-A λ -J Δ ρ)，更新參數(shù) λ - λ+Λ λ，返回步驟2. 6.2迭代，直至目標(biāo)函數(shù)收斂，此時(shí)，輸入測(cè)試人臉變形為基本形 狀，實(shí)現(xiàn)可抗姿態(tài)和表情變化的三維人臉校準(zhǔn)。
【專利摘要】本發(fā)明公開了一種可抗姿態(tài)和表情變化的三維人臉校準(zhǔn)方法，包含構(gòu)造主動(dòng)外觀模型階段和人臉校準(zhǔn)階段。構(gòu)造主動(dòng)外觀模型是指，通過三維圖像獲取設(shè)備獲取三維人臉，手動(dòng)標(biāo)定人臉重要標(biāo)記點(diǎn)，通過人臉的網(wǎng)格形狀及外觀信息構(gòu)造基于深度圖的主動(dòng)外觀模型；測(cè)試人臉校準(zhǔn)階段是指，首先通過平均鼻子模型將人臉粗校準(zhǔn)，然后將測(cè)試人臉與基于深度圖的主動(dòng)外觀模型進(jìn)行匹配，將人臉進(jìn)行精校準(zhǔn)。本發(fā)明通過由粗到精的方法能對(duì)抗人臉的姿態(tài)和表情變化，保證在自然條件下的人臉也能被準(zhǔn)確校準(zhǔn)，并且通過將三維人臉轉(zhuǎn)化為深度圖上處理，提高了校準(zhǔn)效率，對(duì)促進(jìn)三維人臉在身份認(rèn)證方向上的實(shí)際應(yīng)用有著重要作用。
【IPC分類】G06K9-00, G06T15-00
【公開號(hào)】CN104657713
【申請(qǐng)?zhí)枴緾N201510067374
【發(fā)明人】胡浩基, 劉蓉
【申請(qǐng)人】浙江大學(xué)
【公開日】2015年5月27日
【申請(qǐng)日】2015年2月9日