生成運(yùn)動(dòng)合成數(shù)據(jù)的方法和生成運(yùn)動(dòng)合成數(shù)據(jù)的設(shè)備的制作方法
【專利摘要】一種用于從記錄的兩個(gè)運(yùn)動(dòng)剪輯中生成運(yùn)動(dòng)合成數(shù)據(jù)的方法，包括：將運(yùn)動(dòng)幀變換（s10）到標(biāo)準(zhǔn)坐標(biāo)；將運(yùn)動(dòng)幀的高頻運(yùn)動(dòng)數(shù)據(jù)與低頻運(yùn)動(dòng)數(shù)據(jù)進(jìn)行分離（s20）；從不同的運(yùn)動(dòng)剪輯中確定（s30）幀距離低于閾值的至少兩個(gè)運(yùn)動(dòng)幀，并定義（s35）所述至少兩個(gè)運(yùn)動(dòng)幀之間的轉(zhuǎn)換點(diǎn)；在所確定的運(yùn)動(dòng)幀之間對(duì)高頻運(yùn)動(dòng)數(shù)據(jù)和低頻運(yùn)動(dòng)數(shù)據(jù)分別內(nèi)插（s40）運(yùn)動(dòng)數(shù)據(jù)；并且從三個(gè)分段中生成（s50）運(yùn)動(dòng)路徑：一個(gè)分段是來自第一運(yùn)動(dòng)剪輯的直到轉(zhuǎn)換點(diǎn)的變換后的運(yùn)動(dòng)數(shù)據(jù)，一個(gè)分段是內(nèi)插的運(yùn)動(dòng)數(shù)據(jù)，以及一個(gè)分段是從所述轉(zhuǎn)換點(diǎn)開始的、來自第二運(yùn)動(dòng)剪輯的變換后的運(yùn)動(dòng)數(shù)據(jù)。
【專利說明】生成運(yùn)動(dòng)合成數(shù)據(jù)的方法和生成運(yùn)動(dòng)合成數(shù)據(jù)的設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種生成運(yùn)動(dòng)合成數(shù)據(jù)的方法和一種生成運(yùn)動(dòng)合成數(shù)據(jù)的設(shè)備。
【背景技術(shù)】
[0002]該部分旨在向讀者介紹可能與以下描述和/或要求權(quán)利的本發(fā)明的各個(gè)方面有關(guān)的技術(shù)的各個(gè)方面。相信該討論有助于向讀者提供便于更好地理解本發(fā)明的各個(gè)方面的背景信息。相應(yīng)地，應(yīng)理解，要鑒于此來閱讀這些敘述而不是對(duì)現(xiàn)有技術(shù)的承認(rèn)。
[0003]動(dòng)畫人是多種范圍的媒體的重要部分，并且它們?cè)趭蕵贰⒂?xùn)練、可視化和其它應(yīng)用中是很常見的。將人的運(yùn)動(dòng)動(dòng)畫制作得令人信服是比較困難的，主要是兩個(gè)原因:運(yùn)動(dòng)自身本質(zhì)上是復(fù)雜的，并且由于人類觀察者熟悉自然的人類運(yùn)動(dòng)，因此他們對(duì)錯(cuò)誤是非常敏感的。
[0004]可以將用于對(duì)人物進(jìn)行動(dòng)畫制作而生成人類動(dòng)作的方法分為3類:關(guān)鍵幀制作(keyframing)、物理模擬和運(yùn)動(dòng)捕捉。在關(guān)鍵巾貞制作動(dòng)畫方法中,手動(dòng)地規(guī)定人物姿勢(shì)的序列。這種方法需要投入對(duì)于多數(shù)應(yīng)用而言高得驚人的時(shí)間和藝術(shù)才能。還可以使用物理規(guī)律來建模和模擬人類運(yùn)動(dòng):這種方法在物理上看上去是可行的，但是微妙的“個(gè)性”是難以再現(xiàn)的。最終，基于運(yùn)動(dòng)捕捉的方法更普遍:這種方法記錄生動(dòng)的人物的運(yùn)動(dòng)，并且然后忠實(shí)并且準(zhǔn)確地播放動(dòng)畫?？梢允褂眠\(yùn)動(dòng)捕捉數(shù)據(jù)來高效地創(chuàng)建真實(shí)人員能夠執(zhí)行的任何運(yùn)動(dòng)的高逼真度的動(dòng)畫，并且它已經(jīng)變成電影和視頻游戲產(chǎn)業(yè)中的標(biāo)準(zhǔn)工具。
[0005]然而，因?yàn)檫\(yùn)動(dòng)捕捉數(shù)據(jù)僅僅能夠再現(xiàn)已經(jīng)記錄的運(yùn)動(dòng)，對(duì)于動(dòng)畫制作的人物的動(dòng)作，它提供了很少的控制。數(shù)據(jù)驅(qū)動(dòng)的運(yùn)動(dòng)合成方法用于基于現(xiàn)有的運(yùn)動(dòng)捕捉數(shù)據(jù)來生成新的運(yùn)動(dòng)?；谶\(yùn)動(dòng)圖形的方法是一組能夠從運(yùn)動(dòng)捕捉數(shù)據(jù)庫中合成新的運(yùn)動(dòng)的方法。圖1圖示了運(yùn)動(dòng)圖形的原理思想。在圖1中，節(jié)點(diǎn)1，...，8表示短的運(yùn)動(dòng)剪輯，并且節(jié)點(diǎn)之間的有向邊指示運(yùn)動(dòng)剪輯之間的轉(zhuǎn)換信息。根據(jù)優(yōu)化規(guī)則使用“深度第一搜索”從運(yùn)動(dòng)圖形中合成新的運(yùn)動(dòng)。
[0006]不同運(yùn)動(dòng)剪輯之間的運(yùn)動(dòng)轉(zhuǎn)換僅僅在相似姿勢(shì)上發(fā)生。如圖3所示，不同種類的運(yùn)動(dòng)剪輯，例如，行走和偷偷走動(dòng)，僅僅相似的姿勢(shì)(標(biāo)記，marked-up )可以用作轉(zhuǎn)換點(diǎn)。通常通過與圖像匹配算法相似的運(yùn)動(dòng)序列匹配算法自動(dòng)地找到相似的姿勢(shì)。計(jì)算運(yùn)動(dòng)剪輯A中的一幀和運(yùn)動(dòng)剪輯B中的另一幀之間的相似程度度量。可以使用度量低于閾值的幀作為轉(zhuǎn)換姿勢(shì)。在圖4中，對(duì)于運(yùn)動(dòng)剪輯A中的幀[i]和運(yùn)動(dòng)剪輯B中的幀[j]之間的度量的計(jì)算，還可以在計(jì)算時(shí)考慮相鄰的幀以有助于保留運(yùn)動(dòng)的動(dòng)態(tài)性。如圖5所示，例如通過使用被附加到每個(gè)接合點(diǎn)(joint)的虛擬標(biāo)記來執(zhí)行運(yùn)動(dòng)的分析?？梢栽谙嗨瞥潭榷攘坑?jì)算時(shí)使用這些標(biāo)記的位置；可以根據(jù)下式來計(jì)算度量
_7]W
[0008]其中Wi是人物的每個(gè)接合點(diǎn)的權(quán)重，-Θ ,Xtl, Ztl是可以將幀[i]處的運(yùn)動(dòng)剪輯A與幀[j]處的運(yùn)動(dòng)剪輯B對(duì)齊的優(yōu)化變換，Pi和P/分別是運(yùn)動(dòng)剪輯A和運(yùn)動(dòng)剪輯B中的標(biāo)記位置。在文獻(xiàn) J.Lee、J.ChaiλΡ.Reitsma、J.Hodgins 和 N.Pollard 的《Interactive controlof avatars animated with human motion data》(ACM Transactions on Graphics，21 (3):491-500,2002)中，使用不同的方法來計(jì)算度量:
[0009]
【權(quán)利要求】
1.一種用于從記錄的至少兩個(gè)運(yùn)動(dòng)剪輯中生成運(yùn)動(dòng)合成數(shù)據(jù)的方法，包括以下步驟: -對(duì)運(yùn)動(dòng)剪輯的每個(gè)幀，將運(yùn)動(dòng)幀變換(SlO)到標(biāo)準(zhǔn)坐標(biāo)； -將運(yùn)動(dòng)幀的高頻運(yùn)動(dòng)數(shù)據(jù)與運(yùn)動(dòng)幀的低頻運(yùn)動(dòng)數(shù)據(jù)進(jìn)行分離(s20); -從所述記錄的至少兩個(gè)運(yùn)動(dòng)剪輯中的不同的運(yùn)動(dòng)剪輯中確定(s30)幀距離低于閾值的至少兩個(gè)運(yùn)動(dòng)幀，并且定義(s35)所述至少兩個(gè)運(yùn)動(dòng)幀之間的轉(zhuǎn)換點(diǎn)； -在所確定的至少兩個(gè)運(yùn)動(dòng)幀之間內(nèi)插(s40)運(yùn)動(dòng)數(shù)據(jù)，其中對(duì)高頻運(yùn)動(dòng)數(shù)據(jù)和低頻運(yùn)動(dòng)數(shù)據(jù)分別進(jìn)行內(nèi)插； -從三個(gè)分段中生成(s50)運(yùn)動(dòng)路徑，其中第一分段是來自所述不同運(yùn)動(dòng)剪輯中的第一個(gè)直到轉(zhuǎn)換點(diǎn)的變換后的運(yùn)動(dòng)數(shù)據(jù)，第二分段是內(nèi)插的運(yùn)動(dòng)數(shù)據(jù)，第三分段是從所述轉(zhuǎn)換點(diǎn)開始的、來自所述不同的運(yùn)動(dòng)剪輯中的第二個(gè)的變換后的運(yùn)動(dòng)數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的方法,其中內(nèi)插使用B樣條(NURBS)曲線規(guī)整。
3.根據(jù)權(quán)利要求1-2中任一項(xiàng)所述的方法，其中所述確定包括路徑擬合步驟(s301)，其中執(zhí)行運(yùn)動(dòng)圖形深度搜索(s301 a )。
4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其中，對(duì)于第一運(yùn)動(dòng)剪輯中的至少一個(gè)幀，確定來自不同的第二和第三運(yùn)動(dòng)剪輯的兩個(gè)或者更多個(gè)幀，并且對(duì)第一運(yùn)動(dòng)運(yùn)動(dòng)剪輯的所述至少一個(gè)幀，定義(s35, s37)至少兩個(gè)轉(zhuǎn)換點(diǎn)。
5.根據(jù)權(quán)利要求4所述的方法，還包括步驟:在運(yùn)動(dòng)路徑重新計(jì)算時(shí)，對(duì)于第一運(yùn)動(dòng)剪輯中的所述至少一個(gè)幀選擇(s38)另一轉(zhuǎn)換點(diǎn)。
6.根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的方法，其中，將高頻運(yùn)動(dòng)數(shù)據(jù)與低頻運(yùn)動(dòng)數(shù)據(jù)相分離的步驟(s20)包括:對(duì)變換后的運(yùn)動(dòng)數(shù)據(jù)執(zhí)行頻率分析，或者在所述變換步驟之前對(duì)運(yùn)動(dòng)數(shù)據(jù)執(zhí)行頻率分析。
7.根據(jù)權(quán)利要求1-6中任一項(xiàng)所述的方法，其中，在將高頻運(yùn)動(dòng)數(shù)據(jù)與低頻運(yùn)動(dòng)數(shù)據(jù)相分離的步驟中使用小波變換。
8.根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的方法，其中，確定幀距離低于閾值的至少兩個(gè)運(yùn)動(dòng)幀的步驟(s30)包括計(jì)算幀距離(s303)的步驟。
9.根據(jù)權(quán)利要求1-8中任一項(xiàng)所述的方法，還包括:在運(yùn)動(dòng)數(shù)據(jù)庫中存儲(chǔ)(s60)所定義的轉(zhuǎn)換點(diǎn)的轉(zhuǎn)換點(diǎn)數(shù)據(jù)的步驟。
10.根據(jù)權(quán)利要求1-9任一項(xiàng)所述的方法，還包括:將生成的運(yùn)動(dòng)路徑的運(yùn)動(dòng)數(shù)據(jù)分配(s70)給動(dòng)畫人物的步驟。
11.一種從記錄的至少兩個(gè)運(yùn)動(dòng)剪輯中生成運(yùn)動(dòng)合成數(shù)據(jù)的設(shè)備，包括: -變換部件(110)，用于對(duì)運(yùn)動(dòng)剪輯的每個(gè)幀，將運(yùn)動(dòng)幀變換到標(biāo)準(zhǔn)坐標(biāo)； -分離部件(120)，用于將運(yùn)動(dòng)幀的高頻運(yùn)動(dòng)數(shù)據(jù)與運(yùn)動(dòng)幀的低頻運(yùn)動(dòng)數(shù)據(jù)進(jìn)行分離；-確定部件(130)，用于從所記錄的至少兩個(gè)運(yùn)動(dòng)剪輯中的不同的運(yùn)動(dòng)剪輯中確定幀距離低于閾值的至少兩個(gè)運(yùn)動(dòng)幀，并且用于定義所述至少兩個(gè)運(yùn)動(dòng)幀之間的轉(zhuǎn)換點(diǎn)； -內(nèi)插部件(140)，用于在所確定的至少兩個(gè)運(yùn)動(dòng)幀之間內(nèi)插運(yùn)動(dòng)數(shù)據(jù)，其中對(duì)高頻運(yùn)動(dòng)數(shù)據(jù)和低頻運(yùn)動(dòng)數(shù)據(jù)分別進(jìn)行內(nèi)插；以及 -運(yùn)動(dòng)路徑合成部件(150)，用于從三個(gè)分段中生成運(yùn)動(dòng)路徑，其中第一分段是來自所述不同運(yùn)動(dòng)剪輯中的第一個(gè)直到轉(zhuǎn)換點(diǎn)的變換后的運(yùn)動(dòng)數(shù)據(jù)，第二分段是內(nèi)插的運(yùn)動(dòng)數(shù)據(jù)，第三分段是從所述轉(zhuǎn)換點(diǎn)開始的、來自所述不同的運(yùn)動(dòng)剪輯中的第二個(gè)的變換后的運(yùn)動(dòng)數(shù)據(jù)。
12.根據(jù)權(quán)利要求11所述的設(shè)備，其中，確定部件(130)包括執(zhí)行路徑擬合的路徑擬合部件(1301)，其中路徑擬合包括運(yùn)動(dòng)圖形深度搜索。
13.根據(jù)權(quán)利要求11或12所述的設(shè)備，還包括選擇部件(1308)，用于在運(yùn)動(dòng)路徑重新計(jì)算時(shí)(例如在檢測(cè)到障礙物對(duì)象之后)，對(duì)于第一運(yùn)動(dòng)剪輯中的所述至少一個(gè)幀選擇另一轉(zhuǎn)換點(diǎn)。
14.根據(jù)權(quán)利要求11-13中任一項(xiàng)所述的設(shè)備，其中，用于將高頻運(yùn)動(dòng)數(shù)據(jù)與低頻運(yùn)動(dòng)數(shù)據(jù)相分離的分離部件(120)包括頻率分析部件(1201)，用于對(duì)變換后的運(yùn)動(dòng)數(shù)據(jù)執(zhí)行頻率分析，或者在所述變換之前對(duì)運(yùn)動(dòng)數(shù)據(jù)執(zhí)行頻率分析。
15.根據(jù)權(quán)利要求11-14中任一項(xiàng)所述的設(shè)備，還包括存儲(chǔ)部件(131)和存儲(chǔ)控制部件(132)，用于生成運(yùn)動(dòng)數(shù)據(jù)庫并且在運(yùn)動(dòng)數(shù)據(jù)庫中存儲(chǔ)轉(zhuǎn)換點(diǎn)數(shù)據(jù)。
【文檔編號(hào)】G06T7/20GK103582901SQ201080071259
【公開日】2014年2月12日 申請(qǐng)日期:2010年12月29日 優(yōu)先權(quán)日:2010年12月29日
【發(fā)明者】滕軍, 夏志進(jìn), 蔡康穎, 楊繼珩 申請(qǐng)人:湯姆遜許可公司