專利名稱：基于異構(gòu)特征降維的二維角色卡通生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于非負風格分解的風格化二維卡通生成方法，具體涉及一種二維骨骼特征表達式的非負風格分解及其解法以及二維卡通動畫的風格化生成方法，屬于計算機動畫和計算機機器學習的綜合領(lǐng)域。
背景技術(shù)：
隨著關(guān)于計算機二維卡通動畫和機器學習的研究在工業(yè)、娛樂領(lǐng)域內(nèi)的大量投入應(yīng)用，基于已有二維卡通角色視頻數(shù)據(jù)重用的二維卡通生成方法逐漸成為了一個重要的、 綜合的研究熱點。盡管目前關(guān)于這個領(lǐng)域的研究還是處于探索未成形的階段，但是已經(jīng)產(chǎn)生了一些非常具有參考價值的方法。研究者已經(jīng)開發(fā)了一些二維卡通數(shù)據(jù)重用的合成方法。比如，發(fā)表在2004年會議 SIGGRAPH上的論文《Cartoon textures》所提出的方法是，使用者必須首先提供所需要合成的新的卡通序列中的首幀和尾幀，整個合成的過程通過對已有卡通幀的計算重排獲得，用戶無法按照自己的需求控制合成的結(jié)果。發(fā)表在2002年會議SIGGRAPH上的論文《Motion texture :a two-level statistical modelfor character motion synthesis》，石if究者成功地通過重用三維運動數(shù)據(jù)來獲得新的三維卡通運動。以上的方法激發(fā)了我們開發(fā)一種基于二維角色卡通數(shù)據(jù)重用的生成方法。目前已經(jīng)有一些比較成熟的二維和三維動作風格化分解以及遷移的方法，這些方法代表了目前比較流行的風格化生成技術(shù)。比如，發(fā)表在2000年會議SIGGRAPH上的論文 ((Style machines》，利用隱馬爾科夫模型(HMM)來生成高度非線性的某些常規(guī)動作，比如該方法以舞蹈動作作為例子，通過生成一系列具有各種差異性風格的舞蹈動作展現(xiàn)了方法的有效性。發(fā)表在期刊ACM ToG上的論文《Style translation for human motion》，作者建立了線性時間可變(LTI)模型來描述所輸入的各種動作以及輸出的動作風格，并提出了迭代式運動扭曲(IMW)算法來對齊不同的動作。前面所述的這些方法，主要是用來針對真實環(huán)境下利用三維運動捕獲技術(shù)所獲得的真實三維動作的，不適用于本方法所針對的具有夸張?zhí)匦缘亩S卡通動作數(shù)據(jù)。發(fā)表在2002 年會議 SIGGRAPH 上的論文《Turning to the masters motioncapturing cartoons》，提出了一種構(gòu)建三維真實動作和夸張的卡通風格之間聯(lián)系的方法；作者通過將關(guān)鍵幀插值技術(shù)與仿射變換技術(shù)進行結(jié)合，將具有非剛性特性的形體變化進行捕獲，同時重定向到目標形體上；但是，該項技術(shù)依然需要用戶自己手工定義若干幀變化形體的關(guān)鍵幀。類似地，發(fā)表在2003年會議SCA上的論文《Stylizing motion with drawings》提出了一種將三維捕獲數(shù)據(jù)賦以夸張化的風格生成機制，這種生成機制中包括了骨骼和幾何的變換，從而形成三維的動畫效果。在最近這些年，利用非負矩陣分解方法結(jié)合L-I范式來獲得特征表達式的有效分解也得到了研究者的重視，形成了一些比較有代表性的方法。在期刊NeuralComputation
Wifei((Separating style and content with bilinear models〉〉，了一禾中過面部表情數(shù)據(jù)捕獲技術(shù)所獲取的面部運動，通過雙線性模型(BM)分解成動作本體以及動作風格的方法。發(fā)表在2009年會議SCA上的論文《Style learning and transferring for facial animation editing》，作者提出了基于限制的高斯過程模型(CBGPM)來學習面部運動的編輯風格。以上針對面部運動風格矩陣分解的方法，都是通過深入研究如光照、 朝向、膚色等變換因素對于風格的影響來進行學習的。發(fā)表在2007年會議ICML上的論文 ((Multifactorgaussian process models for style-content separation)) i^iiS 于多模態(tài)高斯過程模型(MGPM)來學習三維真實人物模型的周期性運動及其風格；實際上， 這種多模態(tài)高斯過程模型，本質(zhì)上是高斯過程隱變量模型的一種變化形式。發(fā)表在2009年會議 SIGGRAPH 上的論文《Face poser !Interactive modeling of 3dfacial expressions using facial priors》，作者提出并詳述了基于核函數(shù)的非線性分解方法，并將人臉的表情化運動的分解成為動作實體以及表情表征兩個互相影響的因素。

發(fā)明內(nèi)容
本發(fā)明的目的是為了克服目前風格化生成中基于本體和風格分離的二維卡通合成方法的局限性，提供了一種基于非負風格分解的風格化二維卡通生成方法?；诜秦擄L格分解的風格化二維卡通生成方法的步驟如下1)從某個二維卡通動畫人物的二維卡通視頻中提取包含卡通人物完整動作的視頻段，對視頻段經(jīng)過視頻圖像技術(shù)處理后，利用自定義的關(guān)鍵幀提取方法提取卡通人物的二維卡通關(guān)鍵幀序列，并對二維卡通關(guān)鍵幀序列進行歸一化與中心化處理；對經(jīng)過處理的二維卡通關(guān)鍵幀序列利用自定義的特征提取方法，獲得對應(yīng)的二維骨骼特征表達式；獲得幾個二維卡通動畫人物對應(yīng)的二維骨骼特征表達式，并對這些二維骨骼特征表達式按照自定義的動作類別進行分類，建立二維卡通人物的動作數(shù)據(jù)庫；2)針對某個二維卡通動畫人物的二維骨骼特征表達式，利用自定義的非負風格分解的目標函數(shù)及其解法，通過迭代的求取方法來獲得該二維骨骼特征表達式對應(yīng)的風格基向量和隱組件；利用已獲得的隱組件，通過二次函數(shù)求導(dǎo)的方式，獲得對應(yīng)的保持基于語義理解的降維矩陣；3)按照用戶指定需要進行生成二維卡通動作的二維卡通動畫人物，從二維卡通動畫人物的動作數(shù)據(jù)庫中提取對應(yīng)的二維骨骼特征表達式，用非負風格分解方法獲得對應(yīng)的隱組件，并與別的二維骨骼特征表達式用非負風格分解方法獲得的風格基向量進行重合成，形成異構(gòu)的二維骨骼特征表達式；用異構(gòu)的二維骨骼特征表達式按照自定義的特征點驅(qū)動方法，通過關(guān)鍵點形變技術(shù)來獲得某二維卡通動畫人物風格化的二維卡通關(guān)鍵幀進而獲得基于非負風格分解的風格化二維卡通。所述步驟1)包括從某個二維卡通動畫人物的二維卡通視頻中，提取包含卡通人物完整動作的視頻段v。art，對^^進行傅里葉變化降噪處理，消除背景以及視頻噪聲對于后面處理的影響；從 Vcart中渲染出來的視頻幀，利用Hausdorff距離算法獲得卡通視頻序列中幀與幀之間的距
離矩陣M。 t = Rnxn，其中η為V。art所渲染出來的幀數(shù)量，Mirt表示卡通視頻幀中第i幀和第j幀之間的Hausdorff距離，矩陣M。 t中的每一項分別乘以系數(shù)1 一 McW來完
f ^cart_max
成Hausdorff距離的歸一化處理，其中的d。art _為矩陣M。 t中的最大值，在獲得經(jīng)過歸一化的M—之后，按照設(shè)定的閾值deart來過濾矩陣中的對角值，分別將得到的MHt > dcart 所對應(yīng)的第i幀作為關(guān)鍵幀，由此得到二維卡通關(guān)鍵幀序列D^rt, I art ..., GrJ，其中m為關(guān)鍵幀的數(shù)量；針對已經(jīng)獲得的二維卡通關(guān)鍵幀序列0iart,Ifart, ...,i^rtl·定義Ai為每一幀關(guān)
鍵幀Ikrt對應(yīng)的包含有二維卡通動畫人物完整輪廓的區(qū)域面積，定義常量&，對于二維卡通關(guān)鍵幀序列中的每一幀關(guān)鍵幀gart，經(jīng)過如下的公式來獲得歸一化大小至Ca的關(guān)鍵幀Icart = Icart X ~1通過公式1獲得經(jīng)過歸一化的關(guān)鍵幀序列Giart,^art,...,I島rtl·針對序列中的
每一幀關(guān)鍵幀gart，利用Sobel輪廓提取方法獲得其對應(yīng)的Ai中的二維卡通動畫人物完整的輪廓邊緣，在輪廓邊緣隨機取樣t個點，計算該t個點的幾何坐標中心以及該幾何坐標中心與圖像中心點之間的坐標位移Ay^1JdfAi按照坐標位移進行平移，從而完成Gart的中心化處理，對關(guān)鍵幀依次經(jīng)過處理，獲得經(jīng)過中心化的關(guān)鍵幀序列Gc1artJLt,…JSrt};針對完成歸一化和中心化的二維卡通關(guān)鍵幀序列Phrti^art,...d^rtl·針對
每一幀關(guān)鍵幀I^rt,按照二維卡通動畫人物的肢體體征，在二維卡通動畫人物的頭部、 四肢、軀干各部分取關(guān)鍵點總計17個，獲得該關(guān)鍵幀對應(yīng)的二維骨骼特征表達向量 Xi = [Xi1,YiVi2Ji2,…,Xi17,y 7]，其中X丨和y丨是關(guān)鍵幀4rt第]·個關(guān)鍵點的χ與y坐標;
針對二維卡通關(guān)鍵幀序列il^rt,lirt,...,i^rt)，獲得其對應(yīng)的二維骨骼特征表達式X = [XijX2,…Xm] e RmXd，其中每一幀關(guān)鍵幀I^rt由對應(yīng)的二維骨骼特征表達向量&來表示， d為特征的維度；獲得屬于不同二維卡通動畫人物的二維骨骼特征表達式X，形成二維骨骼表達式集合O^hmKhai^i，其中變量char表示二維卡通動畫人物的種類，t表示二維卡通動畫人物的數(shù)量；將二維骨骼表達式集合0(ehai"}ihaf=l按照二維卡通人物動作的不同分為r類，從而建立二維卡通人物的動作數(shù)據(jù)庫。所述的步驟2)包括對于某個二維卡通動畫人物的二維骨骼特征表達式X，按照如下的目標函數(shù)來進行非負風格分解以及求取保持基于語義理解的降維矩陣W
C(U,V,W) = Hiinu兄w臺 IIX - UVIIl + 0 Vij + p||WV - Y||p2 其中權(quán)值α彡0和β彡0為復(fù)雜平衡度系數(shù)；矩陣U = [U1, U2,…，ud] e Rmxd 以它的每個列向量作為風格基向量，矩陣V= [V1, V2,…，vm]T e Rdxd包含每個風格基向量
7所對應(yīng)的隱組件，在該目標函數(shù)中所要遵循的約束條件是Uij彡0且Vij彡0，并且IIuiII = 1;矩陣Y= [yi，y2，…，ym]Te {0，1}丨為分類信息真實值矩陣，r為分類的數(shù)量，其中當 &屬于第1類的時候，那么Yil的值為1，否則為0;矩陣交為矩陣V= [vi; V2,…，vm]T的重
構(gòu)矩陣，重構(gòu)過程如下定義矩陣M =^Elij-IViVjr，集合Pili為矩陣M的前r個的特征
向量，則矩陣▽為集合{3#=1按照如下定義方式的線性組合
權(quán)利要求
1.一種基于非負風格分解的風格化二維卡通生成方法，其特征在于它的步驟如下1)從某個二維卡通動畫人物的二維卡通視頻中提取包含卡通人物完整動作的視頻段， 對視頻段經(jīng)過視頻圖像技術(shù)處理后，利用自定義的關(guān)鍵幀提取方法提取卡通人物的二維卡通關(guān)鍵幀序列，并對二維卡通關(guān)鍵幀序列進行歸一化與中心化處理；對經(jīng)過處理的二維卡通關(guān)鍵幀序列利用自定義的特征提取方法，獲得對應(yīng)的二維骨骼特征表達式；獲得幾個二維卡通動畫人物對應(yīng)的二維骨骼特征表達式，并對這些二維骨骼特征表達式按照自定義的動作類別進行分類，建立二維卡通人物的動作數(shù)據(jù)庫；2)針對某個二維卡通動畫人物的二維骨骼特征表達式，利用自定義的非負風格分解的目標函數(shù)及其解法，通過迭代的求取方法來獲得該二維骨骼特征表達式對應(yīng)的風格基向量和隱組件；利用已獲得的隱組件，通過二次函數(shù)求導(dǎo)的方式，獲得對應(yīng)的保持基于語義理解的降維矩陣；3)按照用戶指定需要進行生成二維卡通動作的二維卡通動畫人物，從二維卡通動畫人物的動作數(shù)據(jù)庫中提取對應(yīng)的二維骨骼特征表達式，用非負風格分解方法獲得對應(yīng)的隱組件，并與別的二維骨骼特征表達式用非負風格分解方法獲得的風格基向量進行重合成，形成異構(gòu)的二維骨骼特征表達式；用異構(gòu)的二維骨骼特征表達式按照自定義的特征點驅(qū)動方法，通過關(guān)鍵點形變技術(shù)來獲得某二維卡通動畫人物風格化的二維卡通關(guān)鍵幀進而獲得基于非負風格分解的風格化二維卡通。
2.根據(jù)權(quán)利要求1所述的一種基于非負風格分解的風格化二維卡通生成方法，其特征在于所述步驟1)包括從某個二維卡通動畫人物的二維卡通視頻中，提取包含卡通人物完整動作的視頻段 V。art，對V。 t 行傅里葉變化降噪處理，消除背景以及視頻噪聲對于后面處理的影響；從 Vcart中渲染出來的視頻幀，利用Hausdorff距離算法獲得卡通視頻序列中幀與幀之間的距離矩陣M。 t = Rnxn，其中η為V。art所渲染出來的幀數(shù)量，M^rt表示卡通視頻幀中第1幀和第 j幀之間的Hausdorff距離，矩陣M。art中的每一項分別乘以系數(shù)1 一 Mcart/來完* ^cart.max成Hausdorff距離的歸一化處理，其中的d。art _為矩陣M。 t中的最大值，在獲得經(jīng)過歸一化的軋㈣之后，按照設(shè)定的閾值3eart來過濾矩陣中的對角值，分別將得到的> 5cart所對應(yīng)的第i幀作為關(guān)鍵幀，由此得到二維卡通關(guān)鍵幀序列·[L1art, iLrt ..., Igrti，其中m為關(guān)鍵幀的數(shù)量；針對已經(jīng)獲得的二維卡通關(guān)鍵幀序列il^rt,^art, ...,I^rt),定義Ai為每一幀關(guān)鍵幀 ^art對應(yīng)的包含有二維卡通動畫人物完整輪廓的區(qū)域面積，定義常量Ca，對于二維卡通關(guān)鍵幀序列中的每一幀關(guān)鍵幀I^rt，經(jīng)過如下的公式來獲得歸一化大小至Ca的關(guān)鍵幀 >A.Γ ^ = Γ ^ X —11Cart 1Cart 八 rA。a通過公式1獲得經(jīng)過歸一化的關(guān)鍵_序歹丨…d^riJ, 針對序列中的每一幀關(guān)鍵幀^art,利用Sobel輪廓提取方法獲得其對應(yīng)的Ai中的二維卡通動畫人物完整的輪廓邊緣，在輪廓邊緣隨機取樣t個點，計算該t個點的幾何坐標中心04en,y“n) 以及該幾何坐標中心與圖像中心點之間的坐標位移AyierJdf Ai按照坐標位移 Aj^en)進行平移，從而完成I^rt的中心化處理，對關(guān)鍵幀依次經(jīng)過處理，獲得經(jīng)過中心化的關(guān)鍵幀序列P^ti 〗Lt,…，I^rt)；針對完成歸一化和中心化的二維卡通關(guān)鍵幀序列PJartiI^rt,...,igrJ，針對每一幀關(guān)鍵幀^art,按照二維卡通動畫人物的肢體體征，在二維卡通動畫人物的頭部、 四肢、軀干各部分取關(guān)鍵點總計17個，獲得該關(guān)鍵幀對應(yīng)的二維骨骼特征表達向量
3.根據(jù)權(quán)利要求1所述的一種基于非負風格分解的風格化二維卡通生成方法，其特征在于所述步驟2)包括對于某個二維卡通動畫人物的二維骨骼特征表達式X，按照如下的目標函數(shù)來進行非負風格分解以及求取保持基于語義理解的降維矩陣W
4.根據(jù)權(quán)利要求1所述的一種基于非負風格分解的風格化二維卡通生成方法，其特征在于所述步驟3)包括按照用戶指定需要進行生成二維卡通動作的二維卡通動畫人物char = 1，首先按照步驟1)所述的二維卡通動畫人物的動作數(shù)據(jù)庫中提取對應(yīng)的二維骨骼特征表達式Χ。- = :，按照步驟幻所述非負風格分解方法獲得對應(yīng)的隱組件V-pi ；將該隱組件，與別的二維骨骼特征表達式Xcto = 2按照步驟2~)所述非負風格分解方法獲得的風格基向量Ucto = 2進行重合成，形成異構(gòu)的二維骨骼特征表達式
全文摘要
本發(fā)明公開了一種基于非負風格分解的風格化二維卡通生成方法。本發(fā)明利用了機器學習的知識，實現(xiàn)了基于非負風格分解的風格化二維卡通生成的功能。首先輸入二維卡通動畫人物的二維卡通關(guān)鍵幀序列，系統(tǒng)提取對應(yīng)的二維骨骼特征表達式，并分解成二維卡通動作的風格基向量和隱組件；將得到的風格基向量與異構(gòu)的隱組件結(jié)合來重新生成具有特定卡通動畫人物風格的二維骨骼特征表達式，并驅(qū)動二維卡通動畫人物的形體形成風格化的二維卡通關(guān)鍵幀。本發(fā)明通過分解二維卡通動作至風格基向量與隱組件，減少了傳統(tǒng)方法分離動作本體與風格帶來的實施困難；同時解決了傳統(tǒng)非負矩陣分解方法不能保持卡通數(shù)據(jù)基于語義連貫性的問題，提高了準確性、擴大了應(yīng)用范圍。
文檔編號G06T13/80GK102231209SQ201110107099
公開日2011年11月2日 申請日期2011年4月19日 優(yōu)先權(quán)日2011年4月19日
發(fā)明者莊越挺, 梁璋, 肖俊 申請人:浙江大學