一種3d人臉重建的方法及其裝置制造方法
【專利摘要】本申請實施方式提供了一種3D人臉重建的方法，該方法包括：獲取用于3D人臉重建的圖像，并從所述圖像中獲取預(yù)設(shè)數(shù)量的作為3D人臉重建特征點的圖像特征點信息，圖像特征點的集合用于反映人臉輪廓；獲取3D平均人臉模型；確定圖像特征點在3D平均人臉模型中的對應(yīng)點，基于圖像特征點的信息以及圖像特征點與3D平均人臉模型中的對應(yīng)點之間的對應(yīng)關(guān)系進行擬合運算，得到3D人臉重建的形變模型系數(shù)，根據(jù)所述形變模型系數(shù)修正3D平均人臉模型，得到重建的初步3D人臉；獲得初步3D人臉上各點的紋理坐標(biāo)，實現(xiàn)3D人臉重建。本申請的實施方式還提供了一種3D人臉重建的裝置。本申請實施方式可以針對任意圖像進行3D人臉重建。
【專利說明】
【技術(shù)領(lǐng)域】
[0001] 本申請的實施方式涉及信息數(shù)據(jù)處理【技術(shù)領(lǐng)域】，尤其涉及一種3D人臉重建的方 法及其裝置。 一種3D人臉重建的方法及其裝置

【背景技術(shù)】
[0002] 在信息處理環(huán)境中，基于圖片數(shù)據(jù)進行3D人臉重建已得到廣泛應(yīng)用。目前3D人臉 重建的方法是從多個角度采集多張人臉圖片，然后對這些人臉圖片進行對齊和綜合運算， 得到3D人臉。但是，這種3D人臉重建方法對用于重建對象的圖片有特殊要求，即一般僅能 針對含有人臉的圖片進行，而對于不含有人臉的圖片則不能實現(xiàn)3D人臉重建，降低了用戶 體驗。此外，這種3D人臉重建通過多張圖片盡管能夠還原出人臉的深度信息，但是，其中的 對齊和綜合運算計算量較大，重建方式極為繁瑣，不利于提高3D人臉重建的效率。


【發(fā)明內(nèi)容】

[0003] 為了解決上述問題，本申請實施方式提供了一種3D人臉重建的方法及其裝置，以 便針對無論是否含有人臉的圖片均能實現(xiàn)3D人臉重建。
[0004] 本申請實施方式提供的3D人臉重建的方法包括：
[0005] 獲取用于3D人臉重建的圖像，并從所述圖像中獲取預(yù)設(shè)數(shù)量的作為3D人臉重建 特征點的圖像特征點信息，圖像特征點的集合用于反映人臉輪廓；
[0006] 獲取3D平均人臉模型；
[0007] 確定圖像特征點在3D平均人臉模型中的對應(yīng)點，基于圖像特征點的信息以及圖 像特征點與3D平均人臉模型中的對應(yīng)點之間的對應(yīng)關(guān)系進行擬合運算，得到3D人臉重建 的形變模型系數(shù)，根據(jù)所述形變模型系數(shù)對3D平均人臉模型進行處理，得到重建的初步3D 人臉；
[0008] 獲得所述初步3D人臉上各點的紋理坐標(biāo)，實現(xiàn)3D人臉重建。
[0009] 優(yōu)選地，所述方法還包括在獲得3D平均人臉模型時，獲取主成分分量；
[0010] 所述基于圖像特征點的信息以及圖像特征點與3D平均人臉模型中的對應(yīng)點之間 的對應(yīng)關(guān)系進行擬合運算，得到3D人臉重建的形變模型系數(shù)，根據(jù)所述形變模型系數(shù)對3D 平均人臉模型進行處理，得到重建的初步3D人臉，具體包括：
[0011] 按照如下公式構(gòu)建代價函數(shù)E :
[0012]

【權(quán)利要求】
1. 一種3D人臉重建的方法，其特征在于，所述方法包括： 獲取用于3D人臉重建的圖像，并從所述圖像中獲取預(yù)設(shè)數(shù)量的作為3D人臉重建特征 點的圖像特征點信息，圖像特征點的集合用于反映人臉輪廓； 獲取3D平均人臉模型； 確定圖像特征點在3D平均人臉模型中的對應(yīng)點，基于圖像特征點的信息以及圖像特 征點與3D平均人臉模型中的對應(yīng)點之間的對應(yīng)關(guān)系進行擬合運算，得到3D人臉重建的形 變模型系數(shù)，根據(jù)所述形變模型系數(shù)對3D平均人臉模型進行處理，得到重建的初步3D人 臉； 獲得所述初步3D人臉上各點的紋理坐標(biāo)，實現(xiàn)3D人臉重建。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括在獲得3D平均人臉模型 時，獲取主成分分量； 所述基于圖像特征點的信息以及圖像特征點與3D平均人臉模型中的對應(yīng)點之間的對 應(yīng)關(guān)系進行擬合運算，得到3D人臉重建的形變模型系數(shù)，根據(jù)所述形變模型系數(shù)對3D平均 人臉模型進行處理，得到重建的初步3D人臉，具體包括： 按照如下公式構(gòu)建代價函數(shù)E :
其中：Yimage為圖像特征點向量，X為3D平均人臉模型向量，S為主成分分量構(gòu)成的分量 矩陣，diag為由〇 i形成的對角陣，〇 i為第i個主成分分量的標(biāo)準差，c為各個主成分分量 對應(yīng)的形變模型系數(shù)，L為3D平均人臉模型到圖像的投影矩陣，用于反映圖像特征點與3D 平均人臉模型中的對應(yīng)點之間的對應(yīng)關(guān)系； 求解所述代價函數(shù)E，得到形變模型系數(shù)c ; 根據(jù)所述形變模型系數(shù)c按照如下公式計算得到初步3D人臉Xmmtel :
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，各個圖像特征點的分布具有一定的概率， 用模糊矩陣A表示圖像特征點的概率分布，則所述代價函數(shù)為 ：
4. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述獲取主成分分量具體包括： 選取3D人臉模型庫，對該3D人臉模型庫進行主成分分析得到主成分分量。
5. 根據(jù)權(quán)利要求4所述的方法，其特征在于，所述對3D人臉模型庫進行主成分分析得 到主成分分量具體包括： 從3D人臉模型庫中獲取Μ個3D人臉模型的頂點數(shù)據(jù)，人臉模型頂點數(shù)據(jù)表示為： Xi - (Xl，y" Zl，X2，5^2，Z2，· · ·，XN，^N，ZN) E R 其中：Xi為第i個3D人臉模型的頂點坐標(biāo)組成的幾何形狀向量，N為頂點個數(shù)，R3N為 實數(shù)空間； 對Μ個3D人臉模型的頂點數(shù)據(jù)按照如下公式計算3D平均人臉模型：
基于3D平均人臉模型按照如下公式得到協(xié)方差矩陣：
利用協(xié)方差矩陣(iv = S )_S7求解，得到主成分分量構(gòu)成的分量矩陣S。
6. 根據(jù)權(quán)利要求1至5中任何一項所述的方法，其特征在于，所述獲得初步3D人臉上 各點的紋理坐標(biāo)具體包括： 按照如下公式計算紋理坐標(biāo)系數(shù)，即《,"和Pd(x)函數(shù)的系數(shù)：
其中：d下標(biāo)表示坐標(biāo)軸的方向，Gd為圖像特征點在3D人臉上的對應(yīng)點的坐標(biāo)值，K為 特征點個數(shù)，φ?(χ, Xi)表示點X與圖像特征點在3D人臉上的對應(yīng)點Xi距離的RBF函數(shù)， Pd(x)表示基于點X的一次線性函數(shù)； 利用所述紋理坐標(biāo)系數(shù)求得初步3D人臉上各點的紋理坐標(biāo)。
7. -種3D人臉重建的裝置，其特征在于，所述裝置包括：第一獲取單元、第二獲取單 元、擬合運算單元、人臉重建單元和紋理獲得單元，其中： 所述第一獲取單元，用于獲取用于3D人臉重建的圖像，并從所述圖像中獲取預(yù)設(shè)數(shù)量 的作為3D人臉重建特征點的圖像特征點信息，圖像特征點的集合用于反映人臉輪廓； 所述第二獲取單元，用于獲取3D平均人臉模型； 所述擬合運算單元，用于確定圖像特征點在3D平均人臉模型中的對應(yīng)點，基于圖像 特征點的信息以及圖像特征點與3D平均人臉模型中的對應(yīng)點之間的對應(yīng)關(guān)系進行擬合運 算，得到3D人臉重建的形變模型系數(shù)； 所述人臉重建單元，用于根據(jù)所述形變模型系數(shù)對3D平均人臉模型進行處理，得到重 建的初步3D人臉； 所述紋理獲得單元，用于獲得所述初步3D人臉上各點的紋理坐標(biāo)，實現(xiàn)3D人臉重建。
8. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述第二獲取單元，還用于在獲取3D平均 人臉模型時，獲取主成分分量，則所述擬合運算單元包括對應(yīng)點確定子單元、代價函數(shù)構(gòu)建 子單元和代價函數(shù)求解子單元，其中： 所述對應(yīng)點確定子單元，用于確定圖像特征點在3D平均人臉模型中的對應(yīng)點； 所述代價函數(shù)構(gòu)建子單元，用于按照如下公式構(gòu)建代價函數(shù)E :
其中：Yimage為圖像特征點向量，f為3D平均人臉模型向量，S為主成分分量構(gòu)成的分量 矩陣，diag為由〇 i形成的對角陣，〇 i為第i個主成分分量的標(biāo)準差，c為各個主成分分量 對應(yīng)的形變模型系數(shù)，L為3D平均人臉模型到圖像的投影矩陣，用于反映圖像特征點與3D 平均人臉模型中的對應(yīng)點之間的對應(yīng)關(guān)系； 所述代價函數(shù)求解子單元，用于求解所述代價函數(shù)E，得到形變模型系數(shù)c ; 所述人臉重建單元，具體用于根據(jù)所述形變模型系數(shù)c按照如下公式計算得到初步3D 人臉 Xm(xtel :
9. 根據(jù)權(quán)利要求7或8所述的裝置，其特征在于，所述第二獲取單元包括模型庫選取子 單兀和主成分分析子單兀，其中： 所述模型庫選取子單元，用于選取3D人臉模型庫； 所述主成分分析子單元，用于對該3D人臉模型庫進行主成分分析得到主成分分量。
10. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述主成分分析子單元包括：頂點數(shù)據(jù) 獲取子單元、平均模型獲取子單元和協(xié)方差矩陣求解子單元，其中 ： 所述頂點數(shù)據(jù)獲取子單元，用于從3D人臉模型庫中獲取Μ個3D人臉模型的頂點數(shù)據(jù)， 人臉模型頂點數(shù)據(jù)可以表示為： Xi - (Xl，y" Zl，X2，5^2，Z2，· · ·，XN，^N，ZN) E R 其中：Xi為第i個3D人臉模型的頂點坐標(biāo)組成的幾何形狀向量，N為頂點個數(shù)，R3N為 實數(shù)空間； 所述平均模型獲取子單元，用于對Μ個3D人臉模型的頂點數(shù)據(jù)按照如下公式計算3D 平均人臉模型：
所述協(xié)方差矩陣求解子單元，用于基于3D平均人臉模型按照如下公式得到協(xié)方差矩 陣：
并利用協(xié)方差矩陣C# = S )_ 5"求解，得到主成分分量構(gòu)成的分量矩陣S。
【文檔編號】G06T17/00GK104157010SQ201410436238
【公開日】2014年11月19日 申請日期:2014年8月29日 優(yōu)先權(quán)日:2014年8月29日
【發(fā)明者】吳松城, 吳智華, 陳軍宏 申請人:廈門幻世網(wǎng)絡(luò)科技有限公司