一種基于自適應(yīng)形變模型的任意視角人臉三維重構(gòu)方法
【專利摘要】本發(fā)明涉及一種基于自適應(yīng)形變模型的任意視角人臉三維重構(gòu)方法，其步驟為：1)獲取人臉圖像數(shù)據(jù)并篩選出清晰度較高的人臉圖像作為原始數(shù)據(jù)；2)進(jìn)行特征點(diǎn)定位；3)利用特征定位結(jié)果粗略估計(jì)人臉角度；4)建立人臉三維形變模型，并將人臉特征點(diǎn)通過平移、縮放操作調(diào)整到與人臉三維形變模型在同一尺度上，并抽取出與人臉特征點(diǎn)對應(yīng)點(diǎn)的坐標(biāo)信息形成稀疏人臉三維形變模型；5)根據(jù)人臉角度粗略估計(jì)值和稀疏人臉三維形變模型，進(jìn)行微粒群算法迭代人臉三維重構(gòu)，得到人臉三維幾何模型；6)得到人臉三維幾何模型后，采用紋理張貼的方法將輸入二維圖像中的人臉紋理信息映射到人臉三維幾何模型，得到完整的人臉三維模型。本發(fā)明可以廣泛在各種身份識別領(lǐng)域中應(yīng)用。
【專利說明】一種基于自適應(yīng)形變模型的任意視角人臉三維重構(gòu)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)，特別是關(guān)于一種基于自適應(yīng)形變模型的任意視角人臉三維重構(gòu)方法。
【背景技術(shù)】
[0002]在公共安全、智能安防等領(lǐng)域廣泛應(yīng)用的大規(guī)模覆蓋的視頻監(jiān)控系統(tǒng)，對基于監(jiān)控圖像的行人身份識別技術(shù)提出了新的要求。近年來在很多公共區(qū)域發(fā)生的惡性刑事案件中都是通過視頻監(jiān)控系統(tǒng)來獲取犯罪嫌疑人的人臉圖像，因此如何利用獲取到多視角人臉圖像并迅速識別出犯罪嫌疑人，對迅速偵破案件，減少經(jīng)濟(jì)損失，降低社會(huì)不良影響等具有十分重要的意義。
[0003]目前常見的多視角人臉識別技術(shù)可以分為基于知識的方法和基于統(tǒng)計(jì)學(xué)習(xí)的方法?；谥R的方法采用人臉局部特征，如眼睛、鼻子、眉毛、嘴唇和下巴等，通過它們的形狀、位置信息以及特征之間的拓?fù)浣Y(jié)構(gòu)信息實(shí)現(xiàn)人臉識別。例如，現(xiàn)有技術(shù)中公開的關(guān)于基于器官的人臉分塊和分層次搜索技術(shù)，是將人臉特征信息表示為不同器官特征信息組合實(shí)現(xiàn)人臉識別?；谥R的方法對由于人臉正面方向與圖像傳感器感知方向存在差異而造成的人臉姿態(tài)角度形變具有一定的魯棒性，但是當(dāng)角度變化范圍較大時(shí)識別成功率將大大降低?；诮y(tǒng)計(jì)學(xué)習(xí)的方法是通過模板匹配、子空間分析等特征提取方法找出在眾多人臉圖像信息中能夠表征人臉特異性的特征，并與數(shù)據(jù)庫中人臉特征進(jìn)行匹配識別的方法。該方法以大量人臉特征信息為訓(xùn)練樣本，采用主成分分析(Principal Component Analysis,PCA)等特征約簡方法發(fā)掘特征中重要性權(quán)值較大的組成部分，實(shí)現(xiàn)特征數(shù)據(jù)的降維，然后組成人臉識別數(shù)據(jù)庫。當(dāng)輸入新的人臉圖像時(shí)，首先采用與構(gòu)建人臉識別數(shù)據(jù)庫相同的人臉特征提取方法提取特征，并通過特征約簡方法保留主要特征，然后將保留的人臉主要特征與人臉識別數(shù)據(jù)庫中信息進(jìn)行匹配，判斷相似度，實(shí)現(xiàn)人臉識別?；诮y(tǒng)計(jì)分析的方法通常除了考慮人臉面部特征的形狀信息外，同時(shí)也考慮面部紋理信息，所以當(dāng)人臉姿態(tài)角度或者照明條件發(fā)生變化時(shí)，其識別性能會(huì)顯著下降。
[0004]任意視角人臉三維重構(gòu)是解決多視角人臉識別問題的一條新途徑。利用人臉三維模型可以投影變換得到任意視角的人臉圖像，因而可以有效解決人臉姿態(tài)變化導(dǎo)致的人臉識別準(zhǔn)確度下降問題。人臉三維重構(gòu)是指利用圖像傳感器所獲取的人臉二維圖像數(shù)據(jù)重構(gòu)出人臉三維模型，該技術(shù)可以適用于人臉識別、3D可視電話、3D游戲設(shè)計(jì)等多個(gè)領(lǐng)域。通常的人臉三維重構(gòu)是利用單張人臉正面圖像實(shí)現(xiàn)的，這種情況要求所獲取到的人臉圖像具有很好的正面性，即一張圖像中包含了完整的人臉形狀和紋理信息，這種要求需要在目標(biāo)配合的情況時(shí)才容易完成，因此不能適用于采用視頻監(jiān)控?cái)?shù)據(jù)源的人臉圖像重構(gòu)?；诜钦嫒四槇D像的三維重構(gòu)研究還處于起步狀態(tài)，Sung等人利用一張非正面的人臉圖像同時(shí)結(jié)合一個(gè)人臉3D形變模型實(shí)現(xiàn)了人臉三維模型的重構(gòu)，其中人臉3D形變模型是利用多個(gè)人臉的3D形狀數(shù)據(jù)線性組合形成的模型，改變該模型的參數(shù)理論上可以實(shí)現(xiàn)任意的人臉3D形狀合成。JinguHeo等人利用一張正面人臉圖像和一張90°側(cè)面人臉圖像的特征點(diǎn)計(jì)算得到一個(gè)稀疏人臉3D形狀，然后將該稀疏人臉3D形狀用于優(yōu)化通用人臉彈性模型的參數(shù)實(shí)現(xiàn)人臉三維重構(gòu)，其中通用彈性模型是人臉3D形變模型的一種簡化模型，其假設(shè)人臉的3D形狀在深度信息上具有很強(qiáng)的共同點(diǎn)，因而人臉特征點(diǎn)的深度信息的變化范圍可以大大減小。已有的人臉三維重構(gòu)方法主要著眼于解決目標(biāo)比較配合的情況下的重構(gòu)，所采用的人臉二維圖像一般是正面的，且照明條件良好。而在視頻監(jiān)控的環(huán)境中，人臉圖像是在目標(biāo)無意識情況下獲取的，可能存在視角變化很大等情況，因而現(xiàn)有的研究很難滿足任意視角人臉三維重構(gòu)的要求。
[0005]基于以上分析，任意視角人臉三維重構(gòu)是智能安防領(lǐng)域的重要技術(shù)以及研究熱點(diǎn)，現(xiàn)有的人臉三維重構(gòu)方法難以滿足需求。

【發(fā)明內(nèi)容】

[0006]針對上述問題，本發(fā)明的目的是為了解決任意視角人臉三維重構(gòu)問題，根據(jù)人臉三維形變模型、微粒群算法等理論方法，提出了一種基于自適應(yīng)形變模型的任意視角人臉三維重構(gòu)方法。
[0007]為實(shí)現(xiàn)上述目的，本發(fā)明采取以下技術(shù)方案:一種基于自適應(yīng)形變模型的任意視角人臉三維重構(gòu)方法，其包括以下步驟:1)利用現(xiàn)有技術(shù)中的視頻監(jiān)控系統(tǒng)獲取人臉圖像數(shù)據(jù)，并篩選出清晰度較高的人臉圖像，作為任意視角人臉三維重構(gòu)的原始數(shù)據(jù)；2)對步驟I)中篩選出的人臉圖像進(jìn)行特征點(diǎn)定位，采用變視角人臉特征定位方法確定不同角度人臉圖像中的特征點(diǎn)位置；3)利用特征定位結(jié)果粗略估計(jì)人臉角度，并將粗略估計(jì)的人臉角度作為三維模型匹配過程中的初步投影角度參數(shù)；4)建立人臉三維形變模型，并將人臉特征點(diǎn)通過平移、縮放操作調(diào)整到與人臉三維形變模型在同一尺度上，并從人臉三維形變模型中抽取出與人臉特征點(diǎn)對應(yīng)點(diǎn)的坐標(biāo)信息，形成稀疏人臉三維形變模型；5)根據(jù)步驟
3)中獲得的人臉角度粗略估計(jì)值以及步驟4)中獲得的稀疏人臉三維形變模型，進(jìn)行微粒群算法迭代人臉三維重構(gòu)，得到人臉三維幾何模型；其重構(gòu)過程如下:采用微粒群算法對人臉角度及稀疏人臉三維形變模型參數(shù)進(jìn)行優(yōu)化，并判斷優(yōu)化結(jié)果誤差是否已經(jīng)收斂穩(wěn)定或者是否達(dá)到預(yù)先設(shè)定的要求，是則進(jìn)入步驟6);反之，返回繼續(xù)進(jìn)行參數(shù)優(yōu)化；6)得到人臉三維幾何模型后，采用紋理張貼的方法將輸入二維圖像中的人臉紋理信息映射到人臉三維幾何模型，得到完整的人臉三維模型。
[0008]所述步驟2)中，所述變視角人臉特征定位方法確定不同角度人臉圖像中特征點(diǎn)位置方法如下:①建立變視角主動(dòng)表觀模型，變視角主動(dòng)表觀模型由多個(gè)普通主動(dòng)表觀模型構(gòu)成，每個(gè)普通主動(dòng)表觀模型由形狀模型和紋理模型組成；②根據(jù)變視角主動(dòng)表觀模型對人臉進(jìn)行特征點(diǎn)定位:將人臉圖像輸入到不同角度的普通主動(dòng)表觀模型中，選擇特征匹配誤差最小的輸出，作為人臉特征定位的結(jié)果。
[0009]所述步驟①中，所述普通主動(dòng)表觀模型建立方法如下:(a)建立形狀模型:首先，采集多個(gè)具有代表性的不同人臉圖像組成訓(xùn)練集圖像；其次，采用手動(dòng)特征點(diǎn)標(biāo)定的方法從訓(xùn)練集中獲得每一張人臉的特征點(diǎn)位置，進(jìn)而獲取其形狀向量X ;并采用現(xiàn)有技術(shù)PCA方法提取形狀向量的主要分量，進(jìn)而得到形狀模型；(b)采用與步驟(a)相同的方法建立紋理模型；(C)將形狀模型和紋理模型加權(quán)融合后得到普通主動(dòng)表觀模型。
[0010]所述步驟3)中，所述粗略估計(jì)人臉角度的體過程如下:假定人臉的形狀參數(shù)與人臉姿態(tài)角度是存在線性關(guān)系的，采用變視角主動(dòng)表觀模型得到任意視角人臉特征定位結(jié)果后，估計(jì)該人臉圖像角度信息，其估計(jì)公式為:bs = bs0+bsxcos Θ +bsysin Θ，式中，bs表示變視角主動(dòng)表觀模型特征定位過程中利用形狀模型獲得的形狀參數(shù)向量；bs(l是在變視角主動(dòng)表觀模型的建模過程中所采用的訓(xùn)練集中圖像的形狀參數(shù)向量加權(quán)平均后得到的形狀參數(shù)向量平均值；bsx和bsy是根據(jù)訓(xùn)練集中圖像的形狀參數(shù)向量和角度信息擬合得到的形狀系數(shù)向量；Θ是每一張人臉訓(xùn)練集圖像所對應(yīng)的角度；由于每一張人臉訓(xùn)練集圖像所對應(yīng)的角度Θ以及形狀參數(shù)bs均是已知的，因而形狀參數(shù)平均值bs(Jg通過訓(xùn)練集圖像的形狀參數(shù)加權(quán)得到，于是通過最小二乘法估計(jì)出bsx和bsy的最優(yōu)值，根據(jù)上式得到的人臉角度
估計(jì)為
【權(quán)利要求】
1.一種基于自適應(yīng)形變模型的任意視角人臉三維重構(gòu)方法，其包括以下步驟: 1)利用現(xiàn)有技術(shù)中的視頻監(jiān)控系統(tǒng)獲取人臉圖像數(shù)據(jù)，并篩選出清晰度較高的人臉圖像，作為任意視角人臉三維重構(gòu)的原始數(shù)據(jù)； 2)對步驟I)中篩選出的人臉圖像進(jìn)行特征點(diǎn)定位，采用變視角人臉特征定位方法確定不同角度人臉圖像中的特征點(diǎn)位置； 3)利用特征定位結(jié)果粗略估計(jì)人臉角度，并將粗略估計(jì)的人臉角度作為三維模型匹配過程中的初步投影角度參數(shù)； 4)建立人臉三維形變模型，并將人臉特征點(diǎn)通過平移、縮放操作調(diào)整到與人臉三維形變模型在同一尺度上，并從人臉三維形變模型中抽取出與人臉特征點(diǎn)對應(yīng)點(diǎn)的坐標(biāo)信息，形成稀疏人臉三維形變模型； 5)根據(jù)步驟3)中獲得的人臉角度粗略估計(jì)值以及步驟4)中獲得的稀疏人臉三維形變模型，進(jìn)行微粒群算法迭代人臉三維重構(gòu)，得到人臉三維幾何模型；其重構(gòu)過程如下:采用微粒群算法對人臉角 度及稀疏人臉三維形變模型參數(shù)進(jìn)行優(yōu)化，并判斷優(yōu)化結(jié)果誤差是否已經(jīng)收斂穩(wěn)定或者是否達(dá)到預(yù)先設(shè)定的要求，是則進(jìn)入步驟6);反之，返回繼續(xù)進(jìn)行參數(shù)優(yōu)化； 6)得到人臉三維幾何模型后，采用紋理張貼的方法將輸入二維圖像中的人臉紋理信息映射到人臉三維幾何模型，得到完整的人臉三維模型。
2.如權(quán)利要求1所述的一種基于自適應(yīng)形變模型的任意視角人臉三維重構(gòu)方法，其特征在于:所述步驟2)中，所述變視角人臉特征定位方法確定不同角度人臉圖像中特征點(diǎn)位置方法如下: ①建立變視角主動(dòng)表觀模型，變視角主動(dòng)表觀模型由多個(gè)普通主動(dòng)表觀模型構(gòu)成，每個(gè)普通主動(dòng)表觀模型由形狀模型和紋理模型組成； ②根據(jù)變視角主動(dòng)表觀模型對人臉進(jìn)行特征點(diǎn)定位:將人臉圖像輸入到不同角度的普通主動(dòng)表觀模型中，選擇特征匹配誤差最小的輸出，作為人臉特征定位的結(jié)果。
3.如權(quán)利要求2所述的一種基于自適應(yīng)形變模型的任意視角人臉三維重構(gòu)方法，其特征在于:所述步驟①中，所述普通主動(dòng)表觀模型建立方法如下: (a)建立形狀模型:首先，采集多個(gè)具有代表性的不同人臉圖像組成訓(xùn)練集圖像；其次，采用手動(dòng)特征點(diǎn)標(biāo)定的方法從訓(xùn)練集中獲得每一張人臉的特征點(diǎn)位置，進(jìn)而獲取其形狀向量X ;并采用現(xiàn)有技術(shù)PCA方法提取形狀向量的主要分量，進(jìn)而得到形狀模型； (b)采用與步驟(a)相同的方法建立紋理模型； (C)將形狀模型和紋理模型加權(quán)融合后得到普通主動(dòng)表觀模型。
4.如權(quán)利要求1或2或3所述的一種基于自適應(yīng)形變模型的任意視角人臉三維重構(gòu)方法，其特征在于:所述步驟3)中，所述粗略估計(jì)人臉角度的體過程如下: 假定人臉的形狀參數(shù)與人臉姿態(tài)角度是存在線性關(guān)系的，采用變視角主動(dòng)表觀模型得到任意視角人臉特征定位結(jié)果后，估計(jì)該人臉圖像角度信息，其估計(jì)公式為:
bs = bs0+bsxcos Θ +bsysin θ， 式中，bs表示變視角主動(dòng)表觀模型特征定位過程中利用形狀模型獲得的形狀參數(shù)向量；bs(l是在變視角主動(dòng)表觀模型的建模過程中所采用的訓(xùn)練集中圖像的形狀參數(shù)向量加權(quán)平均后得到的形狀參數(shù)向量平均值；bsx和bsy是根據(jù)訓(xùn)練集中圖像的形狀參數(shù)向量和角度信息擬合得到的形狀系數(shù)向量；Θ是每一張人臉訓(xùn)練集圖像所對應(yīng)的角度；由于每一張人臉訓(xùn)練集圖像所對應(yīng)的角度Θ以及形狀參數(shù)bs均是已知的，因而形狀參數(shù)平均值bs(Jg通過訓(xùn)練集圖像的形狀參數(shù)加權(quán)得到，于是通過最小二乘法估計(jì)出bsx和bsy的最優(yōu)值，根據(jù)上式得到的人臉角度估計(jì)為:
5.如權(quán)利要求1或2或3所述的一種基于自適應(yīng)形變模型的任意視角人臉三維重構(gòu)方法，其特征在于:所述步驟4)中，所述稀疏人臉三維形變模型的建立方法為: ①建立人臉三維形變模型:由不同人臉的三維激光掃描數(shù)據(jù)經(jīng)過PCA變換降維得到人臉三維形變模型，其方法如下: 人臉三維激光掃描數(shù)據(jù)表示為:
Si (X” Yij Z” Xg，y2，Z2，...，Xn，ynJ Zn)， 其中i = 1，2，...，m,m表示人臉數(shù)量；n表示人臉面部掃描點(diǎn)的數(shù)量；x, y, z分別表示人臉面部掃描點(diǎn)的X，Y, Z坐標(biāo)； PCA變換之后，人臉三維形變模型S’表示為:
S1 = S+ Pa， 其中f表示掃描得到的人臉三維數(shù)據(jù)歸一化加權(quán)平均之后得到的平均形狀；P表示前m個(gè)特征向量；δ表示與m個(gè)特征向量相關(guān)的人臉三維形變模型參數(shù)，α=(α,.α2,…，amf ； ②利用已有數(shù)據(jù)庫中的人臉數(shù)據(jù)來構(gòu)造人臉三維形變模型； ③從人臉三維形變模型中提取與人臉特征定位時(shí)采用的眼角、鼻尖、嘴唇以及輪廓各個(gè)特征點(diǎn)相對應(yīng)的三維數(shù)據(jù)點(diǎn)組成稀疏人臉三維形變模型，將原人臉三維形變模型稱之為稠密人臉三維形變模型；稀疏人臉三維形變模型參數(shù)能直接用于稠密人臉三維形變模型中構(gòu)造人臉三維形狀，則稀疏人臉三維形變模型表示為:
s; =J,+ /?,?, 其中^為稀疏人臉三維形變模型中采用的人臉特征點(diǎn)的平均形狀，Pf表示稠密人臉三維形變模型的特征向量P中與所采用的人臉特征點(diǎn)對應(yīng)的子特征向量，s’{則為稀疏人臉三維形變模型合成的人臉特征點(diǎn)形狀； ④對于任意的稀疏人臉三維形變模型參數(shù)δ,將該參數(shù)確定的稀疏人臉三維形變模型投影到輸入人臉圖像對應(yīng)的姿態(tài)角度方向上，并與步驟2)中采用變視角主動(dòng)表觀模型來確定的人臉特征點(diǎn)并進(jìn)行匹配，計(jì)算對應(yīng)特征點(diǎn)歐氏距離平方和，通過最小化特征點(diǎn)的歐式距離平方和確定稀疏人臉三維形變模型參數(shù)，進(jìn)而形成稀疏人臉三維形變模型。
6.如權(quán)利要求1或2或3所述的一種基于自適應(yīng)形變模型的任意視角人臉三維重構(gòu)方法，其特征在于:所述步驟5)中，采用所述微粒群算法對人臉角度及稀疏人臉三維形變模型參數(shù)進(jìn)行優(yōu)化方法如下: ①考慮不同視角人臉遮擋問題，將被遮擋的特征點(diǎn)去除，然后構(gòu)建人臉三維重構(gòu)誤差函數(shù)； ②采用微粒群算法優(yōu)化稀疏人臉三維形變模型參數(shù)δ取值，形成自適應(yīng)的人臉三維形變模型: 令Xi = [xn, xi2,..., xiN]表示粒子i的位置向量，Vi = [vn, vi2,..., viN]表示對應(yīng)的速度向量，N表示待解決問題的維度；在搜索過程中，每一個(gè)粒子均保持對自身所經(jīng)歷的最佳位置Pi = [pn, pi2,...，piN]以及全局最優(yōu)位置Gi = [pgl, pg2,...，pgN]的持續(xù)跟蹤,粒子的位置和速度更新方程為:
7.如權(quán)利要求6所述的一種基于自適應(yīng)形變模型的任意視角人臉三維重構(gòu)方法，其特征在于:所述步驟5)的步驟①中，所述人臉三維重構(gòu)誤差函數(shù)構(gòu)建方法為: (a)假設(shè)Sfe= (X1, Y1, X2, y2,...xk, yk)2為輸入人臉圖像中未產(chǎn)生遮擋的人臉特征點(diǎn)的X、Y坐標(biāo)；Df = (X1, Y1, Z1 ；x2, j2, z2 ；...；xk, yk, zk)2為稀疏人臉三維模型中與Sf0對應(yīng)的人臉特征點(diǎn)三維坐標(biāo)；假定輸入人臉圖像主要是在相對Y軸的方向具有旋轉(zhuǎn)的角度，設(shè)為θ°，則稀疏人臉三維模型對應(yīng)的旋轉(zhuǎn)矩陣為:
8.如權(quán)利要求1或2或3所述的一種基于自適應(yīng)形變模型的任意視角人臉三維重構(gòu)方法，其特征在于:所述步驟6)中，所述完整的人臉三維模型建立方法為: ①從多張輸入的人臉圖像中選擇一張紋理質(zhì)量比較高的圖像作為待張貼紋理數(shù)據(jù)的來源； ②由于輸入圖像通常不是正面的，存在自遮擋現(xiàn)象，故只提取未被遮擋的一側(cè)人臉圖像紋理?目息； ③采用鏡面對稱的方式將提取的未被遮擋的一側(cè)人臉圖像紋理信息拓展為整張人臉紋理信息，然后以該輸入人臉圖像的特征點(diǎn)及鏡面對稱后的特征點(diǎn)作為控制點(diǎn)，采用三角剖分算法對控制點(diǎn)進(jìn)行三角剖分； ④將步驟5)所生成的人臉三維幾何模型投影到正面視角，形成二維的人臉形狀圖像，并采用與步驟③相同的方法進(jìn)行三角剖分；然后采用分段仿射變換的方法將三角剖分后的三角形對齊到投影生成的二維人臉形狀圖像三角剖分后的三角形中； ⑤根據(jù)上一步驟的三角形對應(yīng)關(guān)系，將人臉紋理信息映射到人臉形狀圖像對應(yīng)的三角形中，得到正面人臉圖像的紋理信息； ⑥人臉形狀圖像與人臉三維幾何模型之間點(diǎn)的對應(yīng)關(guān)系將正面人臉圖像的紋理信息對應(yīng)到三維幾何模型上，形成完整的人臉三維模型。
【文檔編號】G06T17/00GK104036546SQ201410305762
【公開日】2014年9月10日 申請日期:2014年6月30日 優(yōu)先權(quán)日:2014年6月30日
【發(fā)明者】王雪, 林奎成 申請人:清華大學(xué)