專(zhuān)利名稱(chēng)：基于測(cè)地距的徑向基函數(shù)人臉表情重定向與動(dòng)畫(huà)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于測(cè)地距的徑向基函數(shù)人臉表情重定向與動(dòng)畫(huà)方法，屬于圖像處理技術(shù)領(lǐng)域。
背景技術(shù)：
近年來(lái)，隨著動(dòng)漫產(chǎn)業(yè)、三維游戲及三維影視制作等領(lǐng)域的發(fā)展，計(jì)算機(jī)人臉表情動(dòng)畫(huà)技術(shù)得到了廣泛的關(guān)注。人臉表情動(dòng)畫(huà)主要研究如何在計(jì)算機(jī)中真實(shí)地模擬人臉表情變化。面部表情是人們之間信息交流的ー種方式，通過(guò)表情的變化也可以判斷出人們的感情狀態(tài)。在數(shù)字娛樂(lè)領(lǐng)域，特別是 在影視和游戲制作中，人臉表情動(dòng)畫(huà)發(fā)揮著舉足輕重的作用。此外，在視頻會(huì)議、計(jì)算機(jī)輔助教學(xué)、虛擬現(xiàn)實(shí)、人機(jī)交互界面設(shè)計(jì)及心理學(xué)等領(lǐng)域，人臉表情動(dòng)畫(huà)的相關(guān)研究和應(yīng)用也越來(lái)越吸引人們的注意。因此，提高人臉表情動(dòng)畫(huà)制作的效率，增強(qiáng)動(dòng)畫(huà)的真實(shí)感，降低動(dòng)畫(huà)制作的成本，對(duì)于推動(dòng)整個(gè)數(shù)字娛樂(lè)產(chǎn)業(yè)的發(fā)展，促進(jìn)國(guó)家文化產(chǎn)業(yè)的進(jìn)步和國(guó)民經(jīng)濟(jì)增長(zhǎng)具有現(xiàn)實(shí)意義。人臉是ー個(gè)生理結(jié)構(gòu)及其精細(xì)的組織，復(fù)雜的肌肉收縮可以產(chǎn)生細(xì)微的表情變化。同時(shí)，人們很容易感知到不自然的表情。這樣，要制作真實(shí)感的人臉表情動(dòng)畫(huà)常常需要技術(shù)嫻熟的專(zhuān)業(yè)動(dòng)畫(huà)制作人員花費(fèi)大量的時(shí)間。運(yùn)動(dòng)捕捉技木通過(guò)粘貼在表演者體表或面部的標(biāo)記點(diǎn)來(lái)記錄其相應(yīng)位置的運(yùn)動(dòng)信息，這些運(yùn)動(dòng)信息可以被用于驅(qū)動(dòng)其他的計(jì)算機(jī)合成的虛擬模型產(chǎn)生類(lèi)似的動(dòng)作或者表情變化?；谶\(yùn)動(dòng)捕捉的人臉表情動(dòng)畫(huà)通過(guò)重用表演者的表情運(yùn)動(dòng)數(shù)據(jù)，使其他的虛擬模型產(chǎn)生真實(shí)感的表情。數(shù)據(jù)的重用節(jié)約了動(dòng)畫(huà)制作的成本,而且數(shù)據(jù)是來(lái)自真實(shí)的表情運(yùn)動(dòng),也增加了動(dòng)畫(huà)的真實(shí)感。為了使計(jì)算機(jī)合成的虛擬模型利用捕捉的表情運(yùn)動(dòng)數(shù)據(jù)產(chǎn)生表情，需要解決兩個(gè)方面的問(wèn)題首先，由于捕捉模型和最終的目標(biāo)動(dòng)畫(huà)模型不是同一個(gè)模型，相應(yīng)的表情運(yùn)動(dòng)也不屬于同一個(gè)坐標(biāo)空間，為了使目標(biāo)模型產(chǎn)生相似的表情，需要對(duì)原始的運(yùn)動(dòng)空間進(jìn)行轉(zhuǎn)換，即將原始表情重定向到目標(biāo)模型，實(shí)現(xiàn)從原始人臉模型的運(yùn)動(dòng)空間到目標(biāo)人臉模型的運(yùn)動(dòng)空間的轉(zhuǎn)換。很多學(xué)者就該問(wèn)題也提出了許多解決辦法，其中比較常用的是徑向基函數(shù)(Radical basis functions,徑向基函數(shù))方法。徑向基函數(shù)方法是ー種全局的插值方法，但是人臉是ー個(gè)具有開(kāi)放區(qū)域的特殊結(jié)構(gòu)，特別是在眼睛和嘴部區(qū)域，運(yùn)動(dòng)存在不連續(xù)的情況。這樣，在使用全局的徑向基函數(shù)方法將原始模型的運(yùn)動(dòng)重定向到目標(biāo)模型時(shí)，忽略了人臉特殊的網(wǎng)格結(jié)構(gòu)，使得求解出的目標(biāo)模型的運(yùn)動(dòng)產(chǎn)生錯(cuò)誤，利用這樣的運(yùn)動(dòng)信息驅(qū)動(dòng)目標(biāo)人臉必然使模型的運(yùn)動(dòng)失真，產(chǎn)生不自然的表情。其次，使用運(yùn)動(dòng)捕捉技術(shù)得到的只是原始人臉模型上稀疏的標(biāo)記點(diǎn)的運(yùn)動(dòng)信息，通過(guò)重定向方法得到是目標(biāo)人臉模型上相應(yīng)標(biāo)記點(diǎn)的運(yùn)動(dòng)情況，而計(jì)算機(jī)合成的目標(biāo)人臉模型上至少有上千個(gè)頂點(diǎn)，如何利用少量的標(biāo)記點(diǎn)運(yùn)動(dòng)變形整個(gè)人臉模型產(chǎn)生表情動(dòng)畫(huà)是ー個(gè)重要的問(wèn)題。不少學(xué)者也提出了各種動(dòng)畫(huà)方案，其中，基于物理模型的方法，通過(guò)建立一個(gè)人臉的仿生模型，利用動(dòng)力學(xué)方程使得人臉模型產(chǎn)生動(dòng)畫(huà)，但是由于人臉結(jié)構(gòu)的復(fù)雜性，該方法的建模難度比較大，并且很難實(shí)現(xiàn)表情的重定向。形狀融合方法，將人臉表情看作是關(guān)鍵表情的加權(quán)和，只要找到關(guān)鍵表情和表情融合的權(quán)重就可使目標(biāo)ホ旲型廣生表情動(dòng)畫(huà)。這種方法可以產(chǎn)生真實(shí)的人臉動(dòng)畫(huà)，但是需要大量的表情來(lái)構(gòu)建關(guān)鍵表情，而且動(dòng)畫(huà)的質(zhì)量依賴(lài)于融合權(quán)重的求解。此外，使用徑向基函數(shù)方法對(duì)標(biāo)記點(diǎn)進(jìn)行插值求解其余頂點(diǎn)的運(yùn)動(dòng)也比較常見(jiàn)，徑向基函數(shù)方法的優(yōu)點(diǎn)是運(yùn)算量比較小，能夠滿(mǎn)足實(shí)時(shí)動(dòng)畫(huà)的效率要求。徑向基函數(shù)方法通過(guò)標(biāo)記點(diǎn)和頂點(diǎn)之間的關(guān)聯(lián)求解頂點(diǎn)運(yùn)動(dòng)，這種關(guān)聯(lián)是通過(guò)它們之間的歐式距離來(lái)反應(yīng)的，一般距離越小，頂點(diǎn)受到標(biāo)記點(diǎn)的影響就越大。但是，在實(shí)際的人臉表情運(yùn)動(dòng)中，并不是所有頂點(diǎn)都是這樣，特別是在嘴唇張開(kāi)時(shí)，上下嘴唇上的運(yùn)動(dòng)是沒(méi)有關(guān)聯(lián)的。這樣，僅僅根據(jù)歐式距建立 的這種關(guān)聯(lián)是不正確的，最終得到的動(dòng)畫(huà)質(zhì)量也難以保證。

發(fā)明內(nèi)容
為了克服上述的不足，本發(fā)明的目的在于提供Equation Chapter ISection I基于測(cè)地距的徑向基函數(shù)人臉表情重定向與動(dòng)畫(huà)方法，該方法通過(guò)使用基于測(cè)地距的徑向基函數(shù)方法，著重解決人臉表情重定向過(guò)程中的空間轉(zhuǎn)換問(wèn)題和動(dòng)畫(huà)過(guò)程中的變形問(wèn)題，從而有效避免了動(dòng)畫(huà)過(guò)程中的失真情況，并且該方法相對(duì)簡(jiǎn)單，計(jì)算量較小，可以有效地保證動(dòng)畫(huà)的效率。本發(fā)明采取的技術(shù)方案如下第一歩首幀運(yùn)動(dòng)捕捉數(shù)據(jù)的預(yù)處理，其包括以下3個(gè)步驟步驟I :導(dǎo)入ー個(gè)表情運(yùn)動(dòng)捕捉序列，提取首幀運(yùn)動(dòng)捕捉序列，對(duì)首幀序列中的標(biāo)記點(diǎn)位置進(jìn)行三角剖分，形成一個(gè)首幀序列的三角網(wǎng)格；步驟2 :根據(jù)人臉的語(yǔ)義特征，在首幀序列的三角網(wǎng)格中，去除眼睛及嘴部區(qū)域的偽關(guān)聯(lián)；步驟3 :依據(jù)去除偽關(guān)聯(lián)后的首幀序列的三角網(wǎng)格中標(biāo)記點(diǎn)之間的關(guān)聯(lián)，求解標(biāo)記點(diǎn)之間的測(cè)地距；第二步構(gòu)建表情運(yùn)動(dòng)重定向模型；建立首幀運(yùn)動(dòng)捕捉數(shù)據(jù)與目標(biāo)人臉模型標(biāo)記點(diǎn)之間的映射關(guān)系，其可以表示如下
m, = Σ wZザ(I I Pf — P0J I Igeo ) + iIiP0i ),所述ズ是首巾貞運(yùn)動(dòng)捕捉序列中的標(biāo)記點(diǎn)的空間坐標(biāo)(X^ypZi);所述Xi, Yi和Zi的単位均為毫米；Ilズ-パIU是首幀序列中兩個(gè)標(biāo)記點(diǎn)之間的測(cè)地距，所述測(cè)地距單位是毫米％是待求的權(quán)值系數(shù)；n是標(biāo)記點(diǎn)的個(gè)數(shù)，所述η是ー個(gè)整數(shù)，根據(jù)初始設(shè)置的標(biāo)記點(diǎn)個(gè)數(shù)其值為60 是目標(biāo)人臉模型上第i個(gè)標(biāo)記點(diǎn)的空間坐標(biāo)(Xi^pZi);所述Xi，Yi和Zi的単位均為毫米，I彡i，j彡n;g(/)是ー個(gè)多項(xiàng)式，其是ー個(gè)仿射變換，在求解公式
η
=2>,#(|| pf -p] IU) + 9(ズ)組成的線(xiàn)性系統(tǒng)時(shí)，同時(shí)計(jì)算該多項(xiàng)式項(xiàng)
權(quán)利要求
1.基于測(cè)地距的徑向基函數(shù)人臉表情重定向與動(dòng)畫(huà)方法，其特征在于 第一歩首幀運(yùn)動(dòng)捕捉數(shù)據(jù)的預(yù)處理，其包括以下3個(gè)步驟 步驟I :導(dǎo)入一個(gè)表情運(yùn)動(dòng)摘捉序列，提取首巾貞運(yùn)動(dòng)摘捉序列，對(duì)首巾貞序列中的標(biāo)記點(diǎn)位置進(jìn)行三角剖分，形成一個(gè)首幀序列的三角網(wǎng)格； 步驟2:根據(jù)人臉的語(yǔ)義特征，在首幀序列的三角網(wǎng)格中，去除眼睛及嘴部區(qū)域的偽關(guān)聯(lián)； 步驟3 :依據(jù)去除偽關(guān)聯(lián)后的首幀序列的三角網(wǎng)格中標(biāo)記點(diǎn)之間的關(guān)聯(lián)，求解標(biāo)記點(diǎn)之間的測(cè)地距； 第二步構(gòu)建表情運(yùn)動(dòng)重定向模型； 建立首幀運(yùn)動(dòng)捕捉數(shù)據(jù)與目標(biāo)人臉模型標(biāo)記點(diǎn)之間的映射關(guān)系，其可以表示如下
全文摘要
本發(fā)明公開(kāi)了一種基于運(yùn)動(dòng)捕捉數(shù)據(jù)的人臉表情重定向和動(dòng)畫(huà)算法。通過(guò)建立一個(gè)基于測(cè)地距的徑向基函數(shù)人臉表情的重定向模型，實(shí)現(xiàn)了從運(yùn)動(dòng)捕捉數(shù)據(jù)空間到目標(biāo)人臉模型運(yùn)動(dòng)空間的轉(zhuǎn)換，在轉(zhuǎn)換的過(guò)程中考慮了人臉網(wǎng)格的結(jié)構(gòu)，著重解決了使用徑向基函數(shù)進(jìn)行空間轉(zhuǎn)換過(guò)程中全局性問(wèn)題。在人臉表情動(dòng)畫(huà)階段，利用了空間轉(zhuǎn)換的結(jié)果，使用基于測(cè)地距徑向基函數(shù)的人臉變形模型，對(duì)運(yùn)動(dòng)數(shù)據(jù)進(jìn)行插值，獲取整個(gè)模型的變形結(jié)果。本發(fā)明可將同一個(gè)捕捉序列應(yīng)用到不同的人臉模型，模型轉(zhuǎn)換比較容易，同時(shí)針對(duì)不同的捕捉序列也可用于同一個(gè)目標(biāo)模型，實(shí)現(xiàn)了運(yùn)動(dòng)捕捉數(shù)據(jù)的重用，同時(shí)也具有較強(qiáng)的動(dòng)畫(huà)真實(shí)感。
文檔編號(hào)G06T13/40GK102855652SQ20121028473
公開(kāi)日2013年1月2日 申請(qǐng)日期2012年8月10日 優(yōu)先權(quán)日2012年8月10日
發(fā)明者魏小鵬, 張強(qiáng), 李蓓蓓 申請(qǐng)人:大連大學(xué)