一種自動(dòng)多視角人臉自拍圖像的三維人臉重建方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，特別涉及一種自動(dòng)多視角人臉自拍圖像的三維人臉 重建方法及系統(tǒng)。
【背景技術(shù)】
[0002] 人臉重建是三維重建的重要研究方向之一，在影視、游戲、三維人臉識別等領(lǐng)域有 著廣泛的應(yīng)用前景，受到計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺、機(jī)器視覺、計(jì)算機(jī)輔助設(shè)計(jì)等領(lǐng)域研 究者的重視。從數(shù)據(jù)采集的角度出發(fā)，三維人臉重建主要分為主動(dòng)測距設(shè)備和被動(dòng)成像設(shè) 備。主動(dòng)測距設(shè)備如激光掃描儀，能夠掃描得到靜態(tài)物體精確的三維信息，然而其價(jià)格昂 貴、掃描時(shí)間長、掃描范圍有限，很難用于實(shí)時(shí)性要求較高的應(yīng)用；相對的，深度攝像機(jī)能夠 實(shí)時(shí)采集動(dòng)態(tài)物體，然而其對應(yīng)生成的深度圖分辨率低、精度低、噪聲大。被動(dòng)成像設(shè)備使 用最普遍的是攝像機(jī)，由于設(shè)備簡單價(jià)格低廉，且目前已存在大量二維人臉圖像，因此從多 視角二維人臉圖像中恢復(fù)三維人臉結(jié)構(gòu)的方法得到廣泛關(guān)注。由于人臉圖像紋理稀疏，因 此需要解決特征點(diǎn)匹配過程中存在的二義性問題。
[0003] 文獻(xiàn)【Y.Lin,G.Medioni,andJ.Choi.Accurate3dfacereconstructionfrom weaklycalibratedwidebaselineimageswithprofilecontours.InComputer VisionandPatternRecognition(CVPR), 2010IEEEConferenceon,pages1490 - 1497. IEEE，2010.】提出一種弱標(biāo)定條件下，基于寬基線的多視角人臉重建方法。該方法輸入五個(gè) 不同姿態(tài)（〇度正臉、正負(fù)45度、正負(fù)90度側(cè)臉）下的人臉圖像，。通過尋找任意三個(gè)相鄰 視角下穩(wěn)定的匹配點(diǎn)估計(jì)攝像機(jī)相對位置關(guān)系，再結(jié)合多視角顏色一致性、平滑性以及側(cè) 面人臉輪廓信息分別在圓柱坐標(biāo)系下水平、垂直方向建立基于體素的目標(biāo)函數(shù)并求解。但 是，實(shí)際應(yīng)用中，自動(dòng)獲取的側(cè)面輪廓往往無法滿足重建精度的要求；另一方面，從實(shí)驗(yàn)結(jié) 果看到，該方法重建的人臉模型在某些視角下存在較大形變。由于人臉圖像紋理特征稀疏， 該類基于特征點(diǎn)匹配的方法在找不到對應(yīng)點(diǎn)時(shí)便會失效。
[0004] 文獻(xiàn)【H.HanandA.K.Jain. 3dfacetexturemodelingfromuncalibrated frontalandprofileimages.InBiometrics:Theory,ApplicationsandSystems (BTAS)，2〇12IEEEFifthInternationalConferenceon,pages223 _23〇.IEEE, 2〇l2.】 提出了一種基于兩幅圖像（如〇度正臉和90度側(cè)臉）的三維人臉重建方法。該算法主要 基于三維形變模型（3DMM)，并結(jié)合人臉標(biāo)記點(diǎn)：首先利用正面人臉標(biāo)記點(diǎn)估算形變和紋理 參數(shù)；再進(jìn)一步利用側(cè)面標(biāo)記點(diǎn)進(jìn)行模型修正。該算法同樣依賴于手動(dòng)標(biāo)記的側(cè)面人臉標(biāo) 記點(diǎn)；同時(shí)，重建出來的人臉模型在某些視角（如45度）下存在一定程度的形變。另外，該 類基于3DMM的人臉重建方法需要結(jié)合一個(gè)對齊好的三維人臉數(shù)據(jù)庫，重建結(jié)果由人臉數(shù) 據(jù)庫線性疊加得到，因此該類方法依賴于對齊好的先驗(yàn)數(shù)據(jù)庫，且缺乏描述三維人臉細(xì)節(jié) 的能力。
[0005] 現(xiàn)有的基于多視角圖像的人臉重建方法的不足主要為：1)由于人臉圖像紋理特 征稀疏的特殊性，基于傳統(tǒng)特征點(diǎn)匹配的方法在實(shí)際應(yīng)用中不適用，很難用傳統(tǒng)的基于特 征點(diǎn)匹配的方法來獲得稠密的三維數(shù)據(jù)；2)需要繁瑣的人工交互；3)依賴于外部三維人臉 數(shù)據(jù)庫，且重建結(jié)果的精確度依賴于數(shù)據(jù)庫的豐富程度。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)中所存在的上述不足，提供一種自動(dòng)多視角人臉 自拍圖像的三維人臉重建方法及系統(tǒng)，其可重建出稠密、精細(xì)的三維人臉模型，同時(shí)該重建 方法不依賴于外部數(shù)據(jù)庫，可實(shí)現(xiàn)全自動(dòng)人臉重建，不要求用戶進(jìn)行人工交互。
[0007] 為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明采用的技術(shù)方案是：一種自動(dòng)多視角人臉自拍圖 像的三維人臉重建方法，包括如下步驟：
[0008] 步驟一、對同一個(gè)人的多個(gè)視角的人臉圖像自動(dòng)定位標(biāo)記點(diǎn)；
[0009] 步驟二、根據(jù)定位出的標(biāo)記點(diǎn)與參考人臉模型上的標(biāo)記點(diǎn)建立目標(biāo)函數(shù)求解攝像 機(jī)參數(shù)Pi;其中所述目標(biāo)函數(shù)為
【主權(quán)項(xiàng)】
1. 一種自動(dòng)多視角人臉自拍圖像的三維人臉重建方法，其特征在于，包括如下步驟： 步驟一、對同一個(gè)人的多個(gè)視角的人臉圖像進(jìn)行自動(dòng)標(biāo)記點(diǎn)定位； 步驟二、根據(jù)定位出的標(biāo)記點(diǎn)與參考人臉模型上的標(biāo)記點(diǎn)建立目標(biāo)函數(shù)求解攝像機(jī)參 數(shù)P;其中所述目標(biāo)函數(shù)為_
xi為第i個(gè)人臉圖像Ii上定位的標(biāo) 記點(diǎn)mi= {xl,x2,…，xn},Xi為參考人臉模型上的標(biāo)記點(diǎn)Mi= {XI，X2,…，Xn},mi與Mi --對應(yīng)，參數(shù)Pi表示三維點(diǎn)到圖像Ii的投影變換矩陣，n為標(biāo)記點(diǎn)個(gè)數(shù)； 步驟三，建立重建目標(biāo)函數(shù)E=Edata+EMlOT+Es_th，對目標(biāo)函數(shù)優(yōu)化，使用多標(biāo)簽圖像分 割算法求解該目標(biāo)函數(shù)得到三維人臉模型。
2. 根據(jù)權(quán)利要求1所述的自動(dòng)多視角人臉自拍圖像的三維人臉重建方法，其特征在 于，重建目標(biāo)函數(shù)定義為E=Edata+EralOT+Es_h; 其中，數(shù)據(jù)項(xiàng)為
i是二維圖像空間上的每個(gè)像素，\表示待估計(jì)模型 上像素i對應(yīng)的深度，Di表示參考模型上像素i對應(yīng)的深度；多視角顏色一致項(xiàng)為
>其中，（kpk2)表示不同視角對，Pk即視角k對應(yīng)的投 i 影矩陣，表示像素i對應(yīng)的三維空間中的三維點(diǎn)； 深度平滑項(xiàng)為
其中，N⑴是像素i所在的鄰域集，Xi、Xj分 " 9 別表示像素i，j對應(yīng)的深度。
3. 根據(jù)權(quán)利要求1或2所述的自動(dòng)多視角人臉自拍圖像的三維人臉重建方法，其特征 在于，所述步驟一中采用基于回歸的方法或基于局部優(yōu)化的方法對每個(gè)視角的人臉圖像自 動(dòng)定位標(biāo)記點(diǎn)，所述標(biāo)記點(diǎn)包括內(nèi)外眼角、鼻尖、嘴角、輪廓等。
4. 根據(jù)權(quán)利要求3所述的自動(dòng)多視角人臉自拍圖像的三維人臉重建方法，其特征在 于，優(yōu)化目標(biāo)函數(shù)E應(yīng)滿足以下條件：a)輸出的三維人臉模型與參考人臉模型近似；b)輸 出的三維人臉模型與多視角的人臉圖像之間滿足顏色一致性；c)輸出的三維人臉模型局 部鄰域內(nèi)滿足深度變化平滑性。
5. 根據(jù)權(quán)利要求3所述的自動(dòng)多視角人臉自拍圖像的三維人臉重建方法，其特征在 于，所述參考人臉模型上的標(biāo)記點(diǎn)提前進(jìn)行標(biāo)記。
6. -種自動(dòng)多視角人臉自拍圖像的三維人臉重建系統(tǒng)，其特征在于，包括： 標(biāo)記點(diǎn)定位模塊，用于對同一個(gè)人的多個(gè)視角的人臉圖像自動(dòng)定位標(biāo)記點(diǎn)； 攝像機(jī)參數(shù)估計(jì)模塊，用于根據(jù)定位出的標(biāo)記點(diǎn)與參考人臉模型上的標(biāo)記點(diǎn)建立目 標(biāo)函數(shù)求解攝像機(jī)參數(shù)P;其中所述目標(biāo)函數(shù)為
xi為第i個(gè)人 臉圖像Ii上定位的標(biāo)記點(diǎn)mi= {xl,x2,…，xn},Xi為參考人臉模型上的標(biāo)記點(diǎn)Mi= {XI，X2,…，Xn}，mi與Mi--對應(yīng)，參數(shù)Pi表示三維點(diǎn)到對應(yīng)圖像的投影變換矩陣，n為 標(biāo)記點(diǎn)個(gè)數(shù)；； 優(yōu)化求解模塊，用于對重建目標(biāo)函數(shù)E=Edata+EralOT+Es_th優(yōu)化，使用多標(biāo)簽圖像分割 算法求解該目標(biāo)函數(shù)得到三維人臉模型。
7. 根據(jù)權(quán)利要求5所述的自動(dòng)多視角人臉自拍圖像的三維人臉重建系統(tǒng)，其特征在 于，重建目標(biāo)函數(shù)為E=Edata+EralOT+Es_h; 其中，數(shù)據(jù)項(xiàng)為
i是二維圖像空間上的每個(gè)像素，\表示待估計(jì)模型 上像素i對應(yīng)的深度，Di表示參考模型上像素i對應(yīng)的深度； 多視角顏色一致項(xiàng)為
其中，（kpk2)表示不同視角對，Pk即視角k對應(yīng)的投 影矩陣，Z嚴(yán)表示像素i對應(yīng)的三維空間中的三維點(diǎn)； 深度平滑項(xiàng)為
其中，N(i)是像素i所在的鄰域集，Xi、Xj分 別表示像素i，j對應(yīng)的深度。
8. 根據(jù)權(quán)利要求6或7所述的自動(dòng)多視角人臉自拍圖像的三維人臉重建系統(tǒng)，其特征 在于，所述標(biāo)記點(diǎn)定位模塊采用基于回歸的方法或基于局部優(yōu)化的方法對每個(gè)視角的人臉 圖像自動(dòng)定位標(biāo)記點(diǎn)，所述標(biāo)記點(diǎn)包括內(nèi)外眼角、鼻尖、嘴角、輪廓等。
9. 根據(jù)權(quán)利要求8所述的自動(dòng)多視角人臉自拍圖像的三維人臉重建系統(tǒng)，其特征在 于，所述優(yōu)化求解模塊優(yōu)化目標(biāo)函數(shù)E應(yīng)滿足以下條件：a)輸出的三維人臉模型與參考人 臉模型近似；b)輸出的三維人臉模型與多視角的人臉圖像之間滿足顏色一致性；c)輸出的 三維人臉模型局部鄰域內(nèi)滿足深度變化平滑性。
10. 根據(jù)權(quán)利要求8所述的自動(dòng)多視角人臉自拍圖像的三維人臉重建系統(tǒng)，其特征在 于，所述參考人臉模型上的標(biāo)記點(diǎn)提前進(jìn)行標(biāo)記。
【專利摘要】本發(fā)明公開了一種自動(dòng)多視角人臉自拍圖像的三維人臉重建方法，包括：對同一個(gè)人的多個(gè)視角的人臉圖像自動(dòng)定位標(biāo)記點(diǎn)；根據(jù)定位出的標(biāo)記點(diǎn)與參考人臉模型上對應(yīng)的標(biāo)記點(diǎn)建立目標(biāo)函數(shù)求解攝像機(jī)參數(shù)；設(shè)計(jì)重建目標(biāo)函數(shù)，將三維人臉重建問題轉(zhuǎn)換為馬爾科夫隨機(jī)場下的多標(biāo)簽圖像分割問題，并使用多標(biāo)簽圖像分割算法求解。發(fā)明方法可重建出稠密精細(xì)的三維人臉模型，同時(shí)該方法不依賴于外部數(shù)據(jù)庫，可實(shí)現(xiàn)全自動(dòng)人臉重建，不要求用戶進(jìn)行人工交互。
【IPC分類】G06T7-00
【公開號】CN104574432
【申請?zhí)枴緾N201510080860
【發(fā)明人】李靚
【申請人】四川川大智勝軟件股份有限公司
【公開日】2015年4月29日
【申請日】2015年2月15日