專利名稱：一種基于gpu的三維人臉表情合成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人臉表情的合成方法，更具體地，本發(fā)明涉及一種基于GPU的三 維人臉表情合成方法，尤其涉及一種以建立表情模型和表殘差模型、基于統(tǒng)計(jì)建模的三維 人臉表情合成方法。
背景技術(shù)：
在社會交往中，人臉表情能夠傳達(dá)重要、豐富的信息。隨著計(jì)算機(jī)技術(shù)的快速發(fā) 展，表情合成技術(shù)在圖形圖像處理、計(jì)算機(jī)輔助設(shè)計(jì)等領(lǐng)域受到越來越多研究人員的關(guān)注。 它在游戲娛樂、媒體制作、虛擬現(xiàn)實(shí)設(shè)計(jì)、遠(yuǎn)程虛擬通訊、遠(yuǎn)程醫(yī)療服務(wù)、虛擬視頻會議、虛 擬角色交互應(yīng)用等方面有著重要的用途?；谌S形狀數(shù)據(jù)的表情合成是目前新興的一個研究方向。隨著三維掃描設(shè)備的 成熟，三維形狀數(shù)據(jù)作為一類新型數(shù)據(jù)日益普及，如何對三維人臉形狀進(jìn)行有效的表情合 成正成為新的研究熱點(diǎn)。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于GPU的三維人臉表情合成方法，其步驟如下(1)三維人臉模型非剛性變形對齊將通用模型G向每一個三維人臉模型0進(jìn)行 非剛性對齊，并用變形后的通用模型代替原來的三維人臉模型；步驟(1)采用的變形方法是基于能量最小化的迭代變形方法。定義了兩個能量函 數(shù)，分別是平滑誤差函數(shù)
權(quán)利要求
一種基于GPU的三維人臉表情合成方法，步驟如下1)三維人臉模型非剛性變形對齊將一個通用人臉網(wǎng)格模型向每一個待處理的三維人臉模型進(jìn)行非剛性變形對齊，變形后的通用網(wǎng)格模型在形狀上與原來的模型保持一致；用變形后的網(wǎng)格模型代替原來的三維人臉模型，用于后續(xù)步驟；2)GPU加速的測地法向空間計(jì)算經(jīng)過步驟1)處理后，選取某類中性表情模型若干個組成訓(xùn)練樣本集，其中每個模型分別對應(yīng)不同的人；利用GPU并行處理技術(shù)對該訓(xùn)練集中樣本的法向量特征進(jìn)行主測地分析，得到主測地子空間的投影矩陣，以及該訓(xùn)練樣本集中的模型經(jīng)投影后，在主測地子空間中的表示；從而完成GPU加速的測地法向空間計(jì)算；3)GPU加速的表情殘差空間計(jì)算按照步驟2)中的樣本選取方法，將表情模型訓(xùn)練樣本集中的每個情感模型和對應(yīng)的中性表情模型，組成一個樣本對；所有樣本對組成表情殘差模型訓(xùn)練樣本集；對該樣本集中的每個樣本對，使用GPU并行計(jì)算它的兩個三維人臉模型之間的表情殘差向量；所有樣本對的表情殘差向量組成表情殘差空間；4)基于GPU的表情模型訓(xùn)練經(jīng)過步驟2)和步驟3)的計(jì)算后，得到樣本集在表情空間和表情殘差空間中的表示；繼而利用GPU的并行計(jì)算方法對上述兩個空間進(jìn)行徑向基函數(shù)回歸分析，從而實(shí)現(xiàn)基于GPU的表情模型訓(xùn)練；5)表情殘差推導(dǎo)及表情合成對每個測試的中性模型，首先按照步驟2)中方法計(jì)算其在表情子空間中的低維表示；其次利用步驟4)中得到的空間映射關(guān)系，推導(dǎo)出其表情殘差；最后，利用變形技術(shù)將推導(dǎo)出的表情殘差作用于測試中性模型，確定出向?qū)?，?jīng)過基于向?qū)У奶荻葓鲇?jì)算，從而達(dá)到表情合成的目的。
2.根據(jù)權(quán)利要求1所述的基于GPU的三維人臉表情合成方法，其特征是步驟(1)采 用的變形方法是基于能量最小化的迭代變形方法，即定義了式(1)和(2)所示的兩個能量 函數(shù)，分別是平滑誤差函數(shù)
3.根據(jù)權(quán)利要求1所述的基于GPU的三維人臉表情合成方法，其特征是步驟2)的 GPU加速的測地法向空間計(jì)算是使用GPU并行地對訓(xùn)練集中樣本的法向量特征進(jìn)行主測地分析，得到訓(xùn)練樣本在主測地子空間中的表示，該子空間即為表情空間。
4.根據(jù)權(quán)利要求1所述的基于GPU的三維人臉表情合成方法，其特征是步驟3)中的 GPU加速的表情殘差空間計(jì)算用于度量同一個人的情感模型和中性模型之間的變化差異， 表情殘差空間用于定量描述某種的表情變化規(guī)律，使用GPU并行計(jì)算同一個人的情感模型 和中性模型之間表情殘差。
5.根據(jù)權(quán)利要求1或4所述的基于GPU的三維人臉表情合成方法，其特征是步驟3) 中的GPU加速的表情殘差空間計(jì)算采用GPU多線程并發(fā)執(zhí)行的方式，每一個GPU線程計(jì)算 對應(yīng)三角面片的表情殘差。
6.根據(jù)權(quán)利要求1所述的基于GPU的三維人臉表情合成方法，其特征是步驟4)的基 于GPU的表情模型訓(xùn)練是采用徑向基函數(shù)回歸的方法建立表情空間和表情殘差空間之間 的映射關(guān)系，利用GPU的并行計(jì)算方法對上述兩個空間進(jìn)行徑向基函數(shù)回歸分析，從而實(shí) 現(xiàn)基于GPU的表情模型訓(xùn)練。
7.根據(jù)權(quán)利要求6所述的基于GPU的三維人臉表情合成方法，其特征是步驟(4)中 使用的徑向基函數(shù)如下式(4)所示
8.根據(jù)權(quán)利要求1所述的基于GPU的三維人臉表情合成方法，其特征是步驟(5)中 采用的變形技術(shù)是基于泊松方程的變形技術(shù)，其線性系統(tǒng)的建立如下式
9.根據(jù)權(quán)利要求1所述的基于GPU的三維人臉表情合成方法，其特征是步驟(5)中 采用的變形技術(shù)是用推導(dǎo)出的表情殘差為變形向?qū)А?br> 10.根據(jù)權(quán)利要求9所述的基于GPU的三維人臉表情合成方法，其特征是步驟(5)中 基于向?qū)У奶荻葓鲇?jì)算是對每個三角面片建立局部坐標(biāo)系，然后用推導(dǎo)出的表情殘差進(jìn)行 變換。
全文摘要
本發(fā)明公開了一種基于表情建模的三維人臉表情合成方法，步驟如下(1)三維人臉模型的非剛性對齊；(2)建立表情空間；(3)表情殘差空間的計(jì)算；(4)建立表情空間和表情殘差空間的映射關(guān)系；(5)表情殘差推導(dǎo)和表情合成。本發(fā)明可有效地在中性三維人臉模型上進(jìn)行三維人臉表情合成，并且本發(fā)明采用GPU的方法可以更加快捷準(zhǔn)確地合成人臉表情。
文檔編號G06T17/00GK101976453SQ20101029677
公開日2011年2月16日 申請日期2010年9月26日 優(yōu)先權(quán)日2010年9月26日
發(fā)明者傅俊康, 吳朝暉, 潘綱, 韓松 申請人:浙江大學(xué)