基于多視角手機自拍圖像的三維人臉重建方法
【技術領域】
[0001] 本發(fā)明涉及計算機視覺領域，特別涉及一種基于多視角手機自拍圖像的三維人臉 重建方法。
【背景技術】
[0002] 手機是目前使用最多的便攜電子設備。隨著手機拍照的普及，人們可以很容易利 用手機自拍獲得人臉各個角度的圖像。同時，每個人手機中也存有大量的自拍人臉圖像。然 而，目前手機卻沒有深度傳感器，不能實時得到人臉的深度圖像并建立人臉三維模型，使手 機自拍缺乏立體感和生動性。
[0003] 申請?zhí)枮镃N201310161450. 4,發(fā)明名稱為一種手機或平板電腦的三維成像裝置的 中國專利公開了通過手機建立人臉三維模型的方案，其是在手機或平板電腦上安裝兩個空 間分離的攝像頭，所述的手機或平板電腦內設有將左右通道圖像合成三維圖像、存儲圖像、 對三維圖像進行比較鑒別的圖像處理軟件。但是該方案基于兩個攝像頭采集的左右通道圖 像重建出的人臉三維模型不夠精確。另外，該方案中在手機或平板電腦上安裝的兩個攝像 頭之間的相互位置關系固定，基于兩個攝像頭的左右通道圖像重建出人臉三維模型，對于 目前常用的背面或前面具有單個攝像頭的手機，該方案無法適用。

【發(fā)明內容】

[0004] 本發(fā)明的目的在于克服現(xiàn)有技術中所存在的上述不足，提供一種基于多視角手機 自拍圖像的三維人臉重建方法及系統(tǒng)，以利用手機自拍圖像快速的重建出精確的三維人臉 模型。
[0005] 為了實現(xiàn)上述發(fā)明目的，本發(fā)明采用的技術方案是：
[0006] -種基于多視角手機自拍圖像的三維人臉重建方法，包括：
[0007] 對手機自拍的同一個人的N個不同角度的人臉圖像自動定位標記點，其中N> = 2， 且為整數(shù)；
[0008] 根據(jù)所述標記點建立第一能量函數(shù)求解攝像機參數(shù)Pk (k= 1，···，Ν)，所述第一能 量函數(shù)為
【主權項】
1. 一種基于多視角手機自拍圖像的=維人臉重建方法，其特征在于，包括： 步驟一，對手機自拍的同一個人的N個不同角度的人臉圖像自動定位標記點，其中N〉 =2,且為整數(shù)； 步驟二，根據(jù)所述標記點建立第一能量函數(shù)求解攝像機參數(shù)Pk化=1，…，腳，所述第 一能量函數(shù)為 其中i表示像素點，mi表示第i個標記點，mi的上 標k代表輸入圖像視角編號，Xi表示第i個標記點對應的S維點坐標，參數(shù)化表示S維 點到對應圖像的投影變換矩陣； 步驟=，根據(jù)所述攝像機參數(shù)建立重建目標函數(shù)E = Edw。巧。。巧,mwth，對目標函數(shù)優(yōu) 化，使用多標簽圖像分割算法求解該目標函數(shù)得到=維人臉模型。
2. 根據(jù)權利要求1所述的自動多視角人臉自拍圖像的=維人臉重建方法，其特征在 于，所述目標函數(shù)為E = Edata+Etai"+Esmwth; 其中，數(shù)據(jù)項關
I i是二維圖像空間上的每個像素，Xi表示待估計模型 上像素i對應的深度，町表示參考模型上像素i對應的深度； 多視角顏色一致項3
其中，（ki，k2)表示不同視角對， Pk即視角k對應的投影矩陣，為"^表示像素i對應的S維空間中的S維點； 深度平滑項為
其中，N(i)是像素i所在的鄰域集，Xi、Xj分 別表示像素i，j對應的深度。
3. 根據(jù)權利要求1所述的基于多視角手機自拍圖像的=維人臉重建方法，其特征在 于，所述手機自拍的同一個人的N個不同角度的人臉圖像來自于：用手機立即自拍出一個 人N個角度的人臉圖像；或者從手機中找到某個人N張不同角度的人臉圖像。
4. 根據(jù)權利要求1所述的基于多視角手機自拍圖像的=維人臉重建方法，其特征在 于，對手機自拍的同一個人的N個不同角度的人臉圖像自動定位標記點具體為；對手機自 拍的同一個人的N個不同角度的每張人臉圖像通過基于回歸的方法或基于局部優(yōu)化的方 法自動定位標記點，所述標記點包括內外眼角、鼻尖、嘴角、輪廓等。
5. 根據(jù)權利要求1所述的基于多視角手機自拍圖像的=維人臉重建方法，其特征在 于，采用迭代求解的方法求解攝像機參數(shù)Pk。
6. 根據(jù)權利要求1所述的基于多視角手機自拍圖像的=維人臉重建方法，其特征在 于，建立重建目標函數(shù)滿足W下條件；a)基于局部平面假設的多視角顏色一致性約束；b) 深度變化與圖像變化一致假設，即灰度變化大的區(qū)域深度也發(fā)生跳變，灰度變化小的區(qū)域 深度變化平緩。
7. 根據(jù)權利要求1所述的基于多視角手機自拍圖像的=維人臉重建方法，其特征在 于，所述目標函數(shù)采用alpha-expansion算法求解。


【專利摘要】本發(fā)明公開了一種基于多視角手機自拍圖像的三維人臉重建方法，包括:對手機自拍的同一個人的N個不同角度的人臉圖像自動定位標記點；根據(jù)所述標記點建立第一能量函數(shù)求解攝像機參數(shù)Pk(k＝1,…,N)，所述第一能量函數(shù)為：i表示像素編號，k表示輸入圖像視角編號，mi表示第i個標記點，Xi表示第i個標記點對應的三維點坐標,參數(shù)Pk表示三維點到對應圖像的投影變換矩陣；根據(jù)所述攝像機參數(shù)建立重建目標函數(shù)E＝Edata+Ecolor+Esmooth，對目標函數(shù)優(yōu)化，使用多標簽圖像分割算法求解該目標函數(shù)得到三維人臉模型。本發(fā)明利用手機自拍圖像快速的重建出精確的三維人臉模型。
【IPC分類】G06T7-00
【公開號】CN104599284
【申請?zhí)枴緾N201510080565
【發(fā)明人】李靚
【申請人】四川川大智勝軟件股份有限公司
【公開日】2015年5月6日
【申請日】2015年2月15日