專利名稱：一種虛擬發(fā)型插值及漸變動(dòng)畫(huà)生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字媒體領(lǐng)域的虛擬人物建模以及圖像編輯方法，尤其涉及虛擬人物的發(fā)型建模與編輯方法。
背景技術(shù)：
本發(fā)明相關(guān)的技術(shù)背景簡(jiǎn)述如下:一、虛擬角色的發(fā)型建模盡管在業(yè)界的實(shí)際應(yīng)用中已有許多軟件可以輔助創(chuàng)作人員完成手工的虛擬發(fā)型建模工作，但是其往往極其復(fù)雜耗時(shí)，需要熟練的技巧以及繁雜的手工操作，因此會(huì)大大產(chǎn)品的延長(zhǎng)創(chuàng)作周期以及成本開(kāi)銷(WARD，K.，BERTAILS, F.，KIM, T.-Y., MARSCHNER, S.R., CANI, M.-P., AND LIN, M.C.2007.Asurvey on hairmodeling:styling, simulation, and rendering.1EEE Transactions on Visualizationand Computer Graphicsl3，2，213 - 234.)。于是在此基礎(chǔ)上，一些現(xiàn)有方法嘗試釆集真實(shí)的發(fā)型圖像來(lái)合成更為真實(shí)的發(fā)型模型并減少工作量，但是多數(shù)此類基于圖像的建模方法需要釆集不同光照、不同視點(diǎn)或不同焦距下的多張圖像才可能得到足夠真實(shí)的發(fā)型三維結(jié)構(gòu)(PARIS，S.，BRICE N0，H.，AND SILL10N, F.2004.Capture of hair geometryfrom multiple images.ACM Trans.Graph.23，3，712 - 719.; WEI, Y.，0FEK, E.，QUANj L，ANDSHUMj H.-Y.2005.Modeling hair from multiple views.ACM Trans.Graph.24, 3, 816 -820.; PARIS, S.，CHANG, W.，K0ZHUSHNYAN，0.1.，JAR0SZ，W.，MATUSIK，W.，ZWICKER, M.，AND DURAND, F.2008.Hair photobooth: geometric and photometric acquisitionof real hairstyles.ACM Trans.Graph.27,3,30:1 - 30: 9.; JAKOB, W.，MOON, J.T.，AND MARSCHNER, S.2009.Capturing hair assemblies fiber by fiber.ACM Trans.Graph.28，5，164:1 - 164:9.) Bonneel等人提出了一個(gè)發(fā)型外觀估計(jì)方法，用以從單張室內(nèi)閃光燈拍攝的圖片中得到統(tǒng)計(jì)上類似的三維發(fā)型模型(B0NNEEL，N.`，PARIS, S.，PANNE, M.V.D.，DURAND, F.，ANDDRETTAKIS, G.2009.Single photoestimation of hair appearance.Computer GraphicsForum28, 1171 - 1180.)，但是其合成的發(fā)型模型并不能在像素級(jí)別上擬合原圖像中的人物發(fā)型，因此并不適用于圖像發(fā)型編輯應(yīng)用中。Luo等人發(fā)現(xiàn)發(fā)絲方向特征通常比原始圖像的像素顏色更為可靠，在多試點(diǎn)發(fā)型建模中使用方向信息來(lái)估計(jì)更準(zhǔn)確的發(fā)型體(LU0，L.，LI，H.，PARIS, S.，WEI SE, T.，PAULY, M.，AND RUSINKIEWICZ, S.2012.Mult1-view hair captureusing orientation fields.1n Proc.CVPR2012.),但是此方法生成的發(fā)型通過(guò)多邊形網(wǎng)格來(lái)表示，并不符合數(shù)字媒體產(chǎn)業(yè)對(duì)發(fā)型模型的質(zhì)量需求。Beeler等人提出了一個(gè)同時(shí)采集稀疏面部毛發(fā)和被遮擋的皮面表面的方法(BEELER, T.，BICKEL, B.，NORIS, G.，BEARDSLEY, P.,MARSCHNER, S., SUMNER, R.ff., AND GROSS, M.2012.Coup I ed3D reconstruction of sparsefacial hair and skin.ACM Trans.Graph.31，4.),該方法得到的高質(zhì)量建模結(jié)果印證了毛發(fā)對(duì)刻畫(huà)虛擬角色真實(shí)性的重要性，但其只能應(yīng)用于面部的稀疏的較短毛發(fā)，例如胡須與眉毛，無(wú)法用于普通的頭發(fā)。二、漸變動(dòng)畫(huà)的生成計(jì)算機(jī)輔助的圖像與形狀漸變動(dòng)畫(huà)生成從十幾年前就已開(kāi)始被廣泛研究并部分應(yīng)用于電影特效制作以及圖像編輯之中(WOLBERG, G.1998.1mage morphing: asurvey.The Visual Computer 14，360 - 372.;LAZARUS, F.，AND VERROUST,A.1998.Three-dimensional metamorphosis: a survey.The Visual Computer 14,373 -389.;ALEXA，M.，C0HEN-0R，D.，AND LEVIN,D.2000.As-rigid-as-possible shapeinterpolation.1n Proc.SIGGRAPH’ 00，157 - 164.)，由于人類對(duì)人臉天然的興趣，肖像變換是其中最為深入研究的方向之一(BICHSEL，M.1996.Automatic interpolationand recognition of face images by morphing.1n Proc.1EEE InternationalConference on Automatic Face and Gesture Recognition, 128 - 135.;YANG, F., SHECHTMAN，E.，WANG，J.，B0URDEV，L.，AND METAXASjD.2012.Face morphing using3D-awareappearance optimization.1n Proc.Graphics Interface, 93 - 99.)。但是多數(shù)現(xiàn)有的方法只針對(duì)人臉，并沒(méi)有對(duì)發(fā)型進(jìn)行特殊變換處理，而是將其視為背景簡(jiǎn)單使用交叉漸隱(cross-fading)方法進(jìn)行漸變，無(wú)法達(dá)到自然的中間效果。一個(gè)可能的原因是不同于人臉，難以確定發(fā)型對(duì)象之間的合適對(duì)應(yīng)關(guān)系。重生成漸變(regenerativemorphing) (SHECHTMAN, E.，RAV-ACHA, A.，IRANI,M.，AND SEITZ, S.2010.Regenerative morphing.1n Proc.CVPR.)以及圖像融合(imagemelding) (DARABI, S.，SHECHTMAN, E.，BARNES, C.，GOLDMAN, D.B.，AND SEN, P.2012.1magemelding:Combining inconsistent images using patch-based synthesis.ACM Trans.Graph.)是兩種基于圖像塊(patch)的漸變合成技術(shù)，可用于自動(dòng)生成兩幅不相關(guān)圖像間的平滑插值。但是他們的結(jié)果是通用的圖像編輯方法，并未考慮人體發(fā)型本身的特殊特性，通常無(wú)法保持發(fā)型的視覺(jué)自然性以及物理合理性。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供一種針對(duì)虛擬角色三維發(fā)型模型的合成以及漸變動(dòng)畫(huà)的生成方法。該方法對(duì)多個(gè)不同的以三維發(fā)絲曲線為基本單元的發(fā)型模型進(jìn)行插值合成中間時(shí)刻的新發(fā)型，可應(yīng)用于數(shù)字媒體等相關(guān)領(lǐng)域中虛擬角色發(fā)型的輔助設(shè)計(jì)合成以及漸變動(dòng)畫(huà)生成等諸多方面，具有很高的實(shí)用價(jià)值。本發(fā)明的目的是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)的:一種虛擬發(fā)型插值及漸變動(dòng)畫(huà)生成方法，包括如下步驟:(I)發(fā)型模型數(shù)據(jù)的導(dǎo)入與預(yù)處理:導(dǎo)入通用發(fā)型模型數(shù)據(jù)，進(jìn)行匹配與校準(zhǔn)處理；(2)多重對(duì)應(yīng)的發(fā)絲關(guān)聯(lián):通過(guò)求解步驟I處理后的輸入發(fā)型模型發(fā)絲質(zhì)量傳輸問(wèn)題來(lái)得到發(fā)型模型之間多對(duì)多的發(fā)絲對(duì)應(yīng)關(guān)系及相應(yīng)的權(quán)值；(3)多重尺度的發(fā)絲關(guān)聯(lián):通過(guò)對(duì)步驟I處理后的輸入發(fā)型模型進(jìn)行聚類及層次結(jié)構(gòu)的構(gòu)建，得到自頂?shù)较碌陌l(fā)絲聚類及代表發(fā)絲，從而進(jìn)行多重尺度下的發(fā)絲對(duì)應(yīng)以獲得分簇聚集效果并減小計(jì)算開(kāi)銷；(4)多輸入的發(fā)型插值:通過(guò)將二元發(fā)型漸變擴(kuò)展至多個(gè)輸入發(fā)型模型并保證高效性，得到插值得到的新發(fā)型模型結(jié)果；(5)發(fā)型模型結(jié)果的導(dǎo)出:將上述步驟得到的發(fā)型模型結(jié)果以通用格式導(dǎo)出與存儲(chǔ)。本發(fā)明的有益效果是對(duì)三維角色發(fā)型模型進(jìn)行滿足物理規(guī)律的對(duì)應(yīng)關(guān)系構(gòu)建，從而得以實(shí)現(xiàn)快速的發(fā)型插值以及漸變動(dòng)畫(huà)的生成效果，可應(yīng)用于數(shù)字媒體等相關(guān)產(chǎn)業(yè)中虛擬角色的發(fā)型建模以及動(dòng)畫(huà)合成等諸多領(lǐng)域。本發(fā)明首次提出了對(duì)不同形態(tài)、拓?fù)涞陌l(fā)型模型的插值方法，能夠保證發(fā)型插值結(jié)果在視覺(jué)與物理特性上的真實(shí)性，相比已有方法可以大大提升結(jié)果的真實(shí)感，從而滿足許多復(fù)雜動(dòng)態(tài)發(fā)型設(shè)計(jì)與動(dòng)畫(huà)應(yīng)用的需求。


圖1是本發(fā)明與某些現(xiàn)有方法的對(duì)比示意，圖中，(a)為圖像變形方法得到的插值結(jié)果，(b)為圖像融合方法得到的插值結(jié)果，(c)為使用簡(jiǎn)單的發(fā)絲一一對(duì)應(yīng)得到的插值結(jié)果;圖2是本發(fā)明中使用多重尺度發(fā)絲對(duì)應(yīng)與使用單尺度發(fā)絲對(duì)應(yīng)的對(duì)比示意，圖中，(C)為使用單尺度發(fā)絲對(duì)應(yīng)得到的插值結(jié)果，Cd)為使用多尺度發(fā)絲對(duì)應(yīng)得到的插值結(jié)果;圖3是本發(fā)明中多輸入發(fā)型插值結(jié)果的示意。
具體實(shí)施例方式本發(fā)明的核心技術(shù)是對(duì)輸入發(fā)型模型構(gòu)建以發(fā)絲為單位的對(duì)應(yīng)關(guān)系并基于此完成插值計(jì)算、漸變動(dòng)畫(huà)生成等功能。本發(fā)明的核心方法主要分為如下五個(gè)部分:數(shù)據(jù)的導(dǎo)入與預(yù)處理、多重對(duì)應(yīng)的發(fā)絲關(guān)聯(lián)、多重尺度的發(fā)絲關(guān)聯(lián)、多輸入的發(fā)型插值以及結(jié)果的導(dǎo)出與應(yīng)用。1.數(shù)據(jù)的收集與預(yù)處理:本方法應(yīng)用于業(yè)界通用的發(fā)型幾何模型，在進(jìn)行后續(xù)的處理之前，需要對(duì)模型數(shù)據(jù)進(jìn)行預(yù)處理以使得輸入模型滿足本方法的基本要求并具有合理的相對(duì)尺寸。1.1數(shù)據(jù)的收集本方法應(yīng)用于業(yè)界通用的發(fā)型模型數(shù)據(jù)，發(fā)型模型由大量較均勻分布的三維發(fā)絲曲線構(gòu)成，類似于真實(shí)人類發(fā)型的幾何結(jié)構(gòu)。本方法要求輸入的發(fā)型模型中所有發(fā)絲均附著于虛擬的角色頭部模型表面，以保證對(duì)應(yīng)匹配的可行性。同時(shí)，本方法需要輸入附著的頭部模型的幾何數(shù)據(jù)，以方便后續(xù)的校準(zhǔn)操作。1.2數(shù)據(jù)的預(yù)處理為得到合理的結(jié)果，所有輸入發(fā)型模型必須首先校準(zhǔn)到同樣的尺寸與方位。由于發(fā)型本身難以進(jìn)行精確的對(duì)齊，本方法使用1.1步中得到的輸入發(fā)型模型對(duì)應(yīng)的頭部模型來(lái)計(jì)算相對(duì)的變換參數(shù)(空間位置、模型尺寸與朝向等)，并將頭部模型以及附著的發(fā)型模型同時(shí)進(jìn)行校準(zhǔn)。2.多重對(duì)應(yīng)的發(fā)絲關(guān)聯(lián):通過(guò)求解輸入發(fā)型模型發(fā)絲間質(zhì)量傳輸問(wèn)題來(lái)得到輸入發(fā)型模型之間多對(duì)多的發(fā)絲對(duì)應(yīng)關(guān)系及相應(yīng)的權(quán)值。2.1發(fā)絲特征向量的構(gòu)建
為了衡量發(fā)絲運(yùn)動(dòng)的顯著程度，本方法計(jì)算分屬不同輸入發(fā)型模型的兩條任意發(fā)絲Ii與^之間對(duì)應(yīng)的傳輸開(kāi)銷d( Ii, ^)，即從Ii運(yùn)動(dòng)到^的變化程度，來(lái)選擇發(fā)絲之間的對(duì)應(yīng)關(guān)系，使得插值過(guò)程中發(fā)絲的變動(dòng)最小。本方法通過(guò)對(duì)發(fā)絲I i計(jì)算高維的特征向量(feature vector) Ui來(lái)對(duì)發(fā)絲幾何特性進(jìn)行參數(shù)化的表達(dá)(WANG, L., YU, Y., ZHOU, K., AND GUO, B.2009.Example-based hair geometry synthesis.ACM Transactions on Graphics28, 3, 56:1 - 9.)。發(fā)絲之間的傳輸開(kāi)銷 d( ^ ” Ij)表不為兩者特征向量之間的L2距離，也即兩者在幾何形態(tài)以及空間距離上的差異性:I j) =L2 (Ui, Uj)；2.2傳輸模型的構(gòu)建本方法將輸入發(fā)型模型中的所有發(fā)絲表示為一個(gè)二分圖(b1-partite graph)中不同區(qū)域的節(jié)點(diǎn)，所有的邊(二分圖中的邊僅連接不同區(qū)域頂點(diǎn)，即屬于不同輸入發(fā)型的發(fā)絲節(jié)點(diǎn))代表這一對(duì)發(fā)絲在插值過(guò)程中的對(duì)應(yīng)關(guān)系，并定義其上的傳輸開(kāi)銷。對(duì)于一對(duì)分屬不同輸入發(fā)型對(duì)象的發(fā)絲I i e Stl與^ e S1，使用步驟1.1的方法計(jì)算兩者的傳輸開(kāi)銷(Kli, I)。同時(shí)，每個(gè)發(fā)絲都對(duì)應(yīng)于一個(gè)正值的權(quán)值^(€)，正比于其發(fā)絲長(zhǎng)度I I |。對(duì)任一發(fā)型模型對(duì)象，將其發(fā)絲的權(quán)值和正則化為一相等的常數(shù)以避免不同輸入發(fā)型中發(fā)絲的平均長(zhǎng)度對(duì)結(jié)果的影響。發(fā)絲對(duì)應(yīng)關(guān)系的計(jì)算則等價(jià)于尋找發(fā)絲Ii與^對(duì)應(yīng)邊的傳輸流f(i，j)，使得來(lái)源發(fā)型模型節(jié)點(diǎn)的發(fā)絲權(quán)值能夠以最小的傳輸開(kāi)銷傳輸至目標(biāo)發(fā)型模型節(jié)點(diǎn)。求解f(i，j)使得傳輸開(kāi)銷最小，表示如下:
權(quán)利要求
1.種虛擬發(fā)型插值及漸變動(dòng)畫(huà)生成方法，其特征在于，包括如下步驟: (1)發(fā)型模型數(shù)據(jù)的導(dǎo)入與預(yù)處理:導(dǎo)入通用發(fā)型模型數(shù)據(jù)，進(jìn)行匹配與校準(zhǔn)處理； (2)多重對(duì)應(yīng)的發(fā)絲關(guān)聯(lián):通過(guò)求解步驟I處理后的輸入發(fā)型模型發(fā)絲質(zhì)量傳輸問(wèn)題來(lái)得到發(fā)型模型之間多對(duì)多的發(fā)絲對(duì)應(yīng)關(guān)系及相應(yīng)的權(quán)值； (3)多重尺度的發(fā)絲關(guān)聯(lián):通過(guò)對(duì)步驟I處理后的輸入發(fā)型模型進(jìn)行聚類及層次結(jié)構(gòu)的構(gòu)建，得到自頂?shù)较碌陌l(fā)絲聚類及代表發(fā)絲，從而進(jìn)行多重尺度下的發(fā)絲對(duì)應(yīng)以獲得分簇聚集效果并減小計(jì)算開(kāi)銷； (4)多輸入的發(fā)型插值:通過(guò)將二元發(fā)型漸變擴(kuò)展至多個(gè)輸入發(fā)型模型并保證高效性，得到插值得到的新發(fā)型模型結(jié)果； (5)發(fā)型模型結(jié)果的導(dǎo)出:將上述步驟得到的發(fā)型模型結(jié)果以通用格式導(dǎo)出與存儲(chǔ)。
2.據(jù)權(quán)利要求1所述的虛擬發(fā)型插值及漸變動(dòng)畫(huà)生成方法，其特征在于，所述步驟2包括如下子步驟: (2.1)對(duì)所有步驟I處理后的輸入發(fā)型模型的發(fā)絲計(jì)算其特征向量，并以此為標(biāo)準(zhǔn)表示任意兩條發(fā)絲之間的幾何相似性； (2.2)對(duì)步驟I處理后的輸入發(fā)型模型的所有發(fā)絲類比為圖節(jié)點(diǎn)建立二分圖模型，令步驟2.1中得到的發(fā)絲幾何相似性為發(fā)絲節(jié)點(diǎn)的傳輸開(kāi)銷，并設(shè)其權(quán)值質(zhì)量為發(fā)絲的長(zhǎng)度，構(gòu)建Monge-Kantorovich最小傳輸問(wèn)題,使得對(duì)應(yīng)關(guān)系的開(kāi)銷最小； (2.3)使用修改后的網(wǎng)絡(luò)單純形算法來(lái)求解步驟2.2的最小傳輸問(wèn)題，得到發(fā)絲對(duì)應(yīng)關(guān)系及權(quán)值。
3.據(jù)權(quán)利要求1所述所述的虛擬發(fā)型插值及漸變動(dòng)畫(huà)生成方法，其特征在于，所述步驟3包括如下子步驟: (3.1)對(duì)步驟I處理后的輸入發(fā)型模型依照幾何形狀相似性與空間距離進(jìn)行聚類，建立多重尺度的發(fā)型層次結(jié)構(gòu)； (3.2)對(duì)步驟3.1得到的發(fā)型層次結(jié)構(gòu)中的每一層按照步驟2中的方法求解代表發(fā)絲的多重對(duì)應(yīng)關(guān)系。
4.據(jù)權(quán)利要求2所述的虛擬發(fā)型插值及漸變動(dòng)畫(huà)生成方法，其特征在于，所述步驟4包括如下子步驟: (4.1)將步驟2.2中的二分圖模型擴(kuò)展為多分圖，劃分區(qū)域數(shù)量對(duì)應(yīng)于輸入發(fā)型模型的個(gè)數(shù)； (4.2)對(duì)任意一步驟I處理后的輸入發(fā)型模型均按照步驟2和3所述的方法構(gòu)建多重尺度下的多重對(duì)應(yīng)發(fā)絲關(guān)聯(lián)，并按照多分圖的邊權(quán)值選擇可插值發(fā)絲節(jié)點(diǎn)； (4.3)對(duì)指定的插值時(shí)間，計(jì)算插值位置在所有輸入發(fā)型模型對(duì)應(yīng)的多邊形中的重心坐標(biāo)，對(duì)每一發(fā)型層次結(jié)構(gòu)中的可插值代表發(fā)絲計(jì)算加權(quán)平均后的新插值發(fā)絲作為最終插值結(jié)果。
全文摘要
本發(fā)明公開(kāi)了一種虛擬發(fā)型插值及漸變動(dòng)畫(huà)生成方法，該方法首先進(jìn)行發(fā)型模型數(shù)據(jù)的導(dǎo)入與預(yù)處理然后通過(guò)輸入發(fā)型模型發(fā)絲質(zhì)量傳輸問(wèn)題來(lái)得到發(fā)型模型之間多對(duì)多的發(fā)絲對(duì)應(yīng)關(guān)系及相應(yīng)的權(quán)值；通過(guò)對(duì)輸入發(fā)型模型進(jìn)行聚類及層次結(jié)構(gòu)的構(gòu)建，得到自頂?shù)较碌陌l(fā)絲聚類及代表發(fā)絲；通過(guò)將二元發(fā)型漸變擴(kuò)展至多個(gè)輸入發(fā)型模型并保證高效性，得到插值得到的新發(fā)型模型結(jié)果；該方法應(yīng)用于業(yè)界廣泛采用的以三維發(fā)絲曲線為基本單元構(gòu)成的虛擬發(fā)型幾何對(duì)象，可實(shí)現(xiàn)對(duì)多個(gè)不同輸入發(fā)型對(duì)象進(jìn)行插值以合成中間時(shí)刻的新發(fā)型，并可應(yīng)用于數(shù)字媒體等領(lǐng)域中虛擬角色發(fā)型的輔助設(shè)計(jì)合成以及漸變角色動(dòng)畫(huà)的生成等諸多方面。
文檔編號(hào)G06T19/00GK103093488SQ20131004784
公開(kāi)日2013年5月8日 申請(qǐng)日期2013年2月2日 優(yōu)先權(quán)日2013年2月2日
發(fā)明者王律迪, 周昆, 翁彥琳 申請(qǐng)人:浙江大學(xué)