專利名稱：綜合運(yùn)動(dòng)捕捉的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總地涉及運(yùn)動(dòng)捕捉，更具體而言涉及綜合運(yùn)動(dòng)捕捉，其中身體運(yùn)動(dòng)捕捉和
臉部運(yùn)動(dòng)捕捉被基本同時(shí)地執(zhí)行，并且結(jié)果被綜合成單個(gè)運(yùn)動(dòng)捕捉輸出。
背景技術(shù)：
現(xiàn)有的用于運(yùn)動(dòng)捕捉("MOCAP")的方法和系統(tǒng)利用了某些專用技術(shù)來進(jìn)行臉部 和身體運(yùn)動(dòng)捕捉。這些技術(shù)共享某些共同的元素，例如利用多個(gè)MOCAP相機(jī)獲取運(yùn)動(dòng)，重建 捕捉運(yùn)動(dòng)的物理空間的三維("3-D")虛擬空間模擬，并且通過構(gòu)成該虛擬空間的體積性幀 的時(shí)間序列來跟蹤和標(biāo)注被耦合在演員身體各處的標(biāo)志的圖像。然而，每類運(yùn)動(dòng)捕捉都具 有能夠以不同方式克服的獨(dú)特固有難點(diǎn)。

發(fā)明內(nèi)容
這里公開的某些實(shí)現(xiàn)方式提供了綜合運(yùn)動(dòng)捕捉。 在一個(gè)方面中，公開了一種綜合運(yùn)動(dòng)捕捉方法。該方法包括向演員的身體和臉部 施加具有已知圖案的標(biāo)記材料；將至少一個(gè)第一視頻運(yùn)動(dòng)捕捉相機(jī)配置為捕捉所述演員的 身體上的標(biāo)記材料；將至少一個(gè)第二視頻運(yùn)動(dòng)捕捉相機(jī)配置為捕捉所述演員的臉部上的標(biāo) 記材料；基本同時(shí)地利用所述至少一個(gè)第一視頻運(yùn)動(dòng)捕捉相機(jī)捕捉身體運(yùn)動(dòng)數(shù)據(jù)并利用所 述至少一個(gè)第二視頻運(yùn)動(dòng)捕捉相機(jī)捕捉臉部運(yùn)動(dòng)數(shù)據(jù)；以及綜合所述身體運(yùn)動(dòng)數(shù)據(jù)和所述 臉部運(yùn)動(dòng)數(shù)據(jù)。 在另一方面中，公開了一種綜合運(yùn)動(dòng)捕捉系統(tǒng)。該系統(tǒng)包括施加到演員的身體和 臉部的具有已知圖案的標(biāo)記材料；用于捕捉所述演員的身體上的標(biāo)記材料的至少一個(gè)第一 視頻運(yùn)動(dòng)捕捉相機(jī)；用于捕捉所述演員的臉部上的標(biāo)記材料的至少一個(gè)第二視頻運(yùn)動(dòng)捕捉 相機(jī)；處理器，其被配置為基本同時(shí)地利用所述至少一個(gè)第一視頻運(yùn)動(dòng)捕捉相機(jī)捕捉身 體運(yùn)動(dòng)數(shù)據(jù)并利用所述至少一個(gè)第二視頻運(yùn)動(dòng)捕捉相機(jī)捕捉臉部運(yùn)動(dòng)數(shù)據(jù)；以及綜合所述 身體運(yùn)動(dòng)數(shù)據(jù)和所述臉部運(yùn)動(dòng)數(shù)據(jù)。 在檢閱以下詳細(xì)描述和附圖后，本領(lǐng)域的普通技術(shù)人員將更容易清楚本發(fā)明的其 他特征和優(yōu)點(diǎn)。


通過研究附圖可以部分掌握本發(fā)明的結(jié)構(gòu)和操作方面的細(xì)節(jié)，附圖中 圖1示出了根據(jù)本發(fā)明一種實(shí)現(xiàn)方式用于身體運(yùn)動(dòng)捕捉的專用"已知圖案"標(biāo)志
的樣本收集； 圖2示出了具有用于充分地解析臉部表情的165個(gè)以上的標(biāo)志(或特征)的人臉 的二維("2-D")"展開"掃描； 圖3示出了墨水標(biāo)志在演員臉部的模型上的示例性放置；
圖4是具有根據(jù)一種實(shí)現(xiàn)方式的標(biāo)志放置位置的人體的圖示；
4
圖5是在圖4所示的人體上的標(biāo)志放置的后視圖； 圖6A和6B示出了基本上定義了身體上表達(dá)運(yùn)動(dòng)的主要肢體(片段)和區(qū)域(例 如，頭部、肩部、臀部、踝部等等)的3-D模型的標(biāo)志放置； 圖7示出了采取與圖6A和6B所示基本相同的姿勢的同一人體的側(cè)視圖； 圖8示出了采取與圖6A和6B所示基本相同的姿勢的同一人體的頂視圖和底視
圖； 圖9是根據(jù)一種實(shí)現(xiàn)方式的綜合運(yùn)動(dòng)捕捉系統(tǒng)的功能框圖；并且 圖10是描述根據(jù)一種實(shí)現(xiàn)方式用于綜合臉部和身體運(yùn)動(dòng)捕捉的方法的流程圖。
具體實(shí)施例方式
這里公開的本發(fā)明的某些實(shí)現(xiàn)方式提供了綜合運(yùn)動(dòng)捕捉。 一種實(shí)現(xiàn)方式利用了稀 疏相機(jī)覆蓋。在該實(shí)現(xiàn)方式中，一個(gè)高清("HD")運(yùn)動(dòng)捕捉("M0CAP")視頻相機(jī)被用于 演員的身體，另一 HD M0CAP視頻相機(jī)被用于演員的臉部，并且一膠片相機(jī)被用于捕捉整個(gè) 表演(例如，"膠片板")。在運(yùn)動(dòng)捕捉表演期間，通過基本同時(shí)地獲取臉部和身體數(shù)據(jù)兩者， 以及膠片板，來實(shí)現(xiàn)綜合運(yùn)動(dòng)捕捉。 在閱讀此說明書后，本領(lǐng)域的技術(shù)人員將會(huì)清楚在各種替換實(shí)現(xiàn)方式和替換應(yīng)用 中如何實(shí)現(xiàn)本發(fā)明。然而，雖然這里將描述本發(fā)明的各種實(shí)現(xiàn)方式，但是應(yīng)當(dāng)理解，這些實(shí) 施例僅是通過示例方式而不是限制方式給出的。這樣，這里對各種替換實(shí)現(xiàn)方式的詳細(xì)描 述不應(yīng)當(dāng)被解釋為限制所附權(quán)利要求中記載的本發(fā)明的范圍或廣度。 身體運(yùn)動(dòng)捕捉通常包括捕捉演員的驅(qū)干、頭部、四肢、手部和足部的運(yùn)動(dòng)。這些運(yùn) 動(dòng)可被認(rèn)為是相對粗大的運(yùn)動(dòng)。M0CAP相機(jī)被放置在大到足以涵蓋演員的表演的"捕捉體 積"附近。所得到的重建的3-D虛擬空間模擬該捕捉體積，并且耦合到演員身體的標(biāo)志的圖 像通過重建的虛擬空間的幀而在時(shí)間上被跟蹤。因?yàn)檠輪T身體運(yùn)動(dòng)相對粗大，所以大標(biāo)志 可用于標(biāo)識演員身體、頭部、四肢、手部和足部上的點(diǎn)。大標(biāo)志比起較小的標(biāo)志來更容易在 所得到的體積幀中定位。 與之不同，臉部運(yùn)動(dòng)捕捉包括僅捕捉演員臉部的運(yùn)動(dòng)。由于表達(dá)各種人類表情所 需的臉部肌肉的微妙使用，這些運(yùn)動(dòng)被認(rèn)為是相對細(xì)微的運(yùn)動(dòng)。因此，捕捉體積通常只大到 足以涵蓋頭部，或者甚至只涵蓋臉部。另外，與更粗大的身體運(yùn)動(dòng)不同，捕捉微妙的表情性 臉部運(yùn)動(dòng)需要多得多的相對較小的標(biāo)志。如人臉的二維("2-D")"展開"掃描的圖2所 示，165個(gè)以上的標(biāo)志或者更多個(gè)被用于充分地解析臉部表情。 因?yàn)檫@些類型的運(yùn)動(dòng)捕捉中的差異，以及對多個(gè)專用相機(jī)和捕捉體積的精細(xì)要 求，用于提高捕捉臉部和身體運(yùn)動(dòng)兩者的效率的MOCAP系統(tǒng)和方法極大地提升了技術(shù)水 平。 圖9所示的一種實(shí)現(xiàn)方式利用了稀疏相機(jī)覆蓋。在該實(shí)現(xiàn)方式中，一個(gè)高清 ("HD")運(yùn)動(dòng)捕捉("M0CAP")視頻相機(jī)920被用于演員的身體，另一HD MOCAP視頻相機(jī) 922被用于演員的臉部，并且一膠片相機(jī)924被用于捕捉整個(gè)表演(例如，"膠片板")。在 一另實(shí)現(xiàn)方式中， 一個(gè)或多個(gè)HD相機(jī)被用于演員的身體，另一個(gè)或多個(gè)HD相機(jī)被用于演員 的臉部，并且一個(gè)或多個(gè)膠片相機(jī)被用于捕捉整個(gè)表演。在另一實(shí)現(xiàn)方式中，對于每個(gè)演員 的身體使用一個(gè)HD相機(jī)，對于每個(gè)演員的臉部使用一個(gè)HD相機(jī)，并且使用捕捉整個(gè)表演的一個(gè)或多個(gè)膠片相機(jī)，來捕捉多個(gè)演員的運(yùn)動(dòng)。在另一實(shí)現(xiàn)方式中，對于每個(gè)演員的身體使 用一個(gè)或多個(gè)HD相機(jī)，對于每個(gè)演員的臉部使用另一個(gè)或多個(gè)HD相機(jī)，并且用一個(gè)或多個(gè) 膠片相機(jī)來捕捉整個(gè)表演。在運(yùn)動(dòng)捕捉表演期間，通過基本同時(shí)的獲取臉部和身體數(shù)據(jù)，以 及膠片板，來實(shí)現(xiàn)綜合運(yùn)動(dòng)捕捉。 圖9是根據(jù)一種實(shí)現(xiàn)方式的綜合運(yùn)動(dòng)捕捉系統(tǒng)900的功能框圖。綜合運(yùn)動(dòng)捕捉系 統(tǒng)900包括運(yùn)動(dòng)捕捉處理器910、運(yùn)動(dòng)捕捉相機(jī)920、922、膠片相機(jī)924、用戶工作站930、以 及按預(yù)定圖案適當(dāng)配備有標(biāo)志/涂繪材料960的演員的身體940和臉部950。在一些實(shí)現(xiàn) 方式中，可以使用其他材料或特征。雖然圖9只示出了 11個(gè)標(biāo)志960B-960F，但在身體940 和臉部950上可使用多得多的標(biāo)志。運(yùn)動(dòng)捕捉處理器910通過線路或無線地連接到工作站 930。運(yùn)動(dòng)捕捉處理器910通常被配置為接收來自工作站930控制數(shù)據(jù)分組。
如圖所示，兩個(gè)運(yùn)動(dòng)捕捉相機(jī)920、922和一個(gè)膠片相機(jī)924連接到運(yùn)動(dòng)捕捉處理 器910。 一個(gè)HD M0CAP視頻相機(jī)920用于演員的身體，另一HD MOCAP視頻相機(jī)922用于演 員的臉部，并且一膠片相機(jī)924用于捕捉整個(gè)表演。MOCAP視頻相機(jī)920聚焦于施加有標(biāo)志 960B-960F的演員身體940，并且MOCAP視頻相機(jī)922聚焦于施加有墨水標(biāo)志960A的演員 臉部950。在一些實(shí)現(xiàn)方式中，被配置為聚焦于演員臉部950的相機(jī)922可被附著于演員的 頭部(例如，附著在演員佩戴的頭盔上)。在其他實(shí)現(xiàn)方式中，相機(jī)922可以跟蹤臉部950 上的其他標(biāo)志或臉部特征。 標(biāo)志/特征960A的放置被配置為捕捉臉部950的運(yùn)動(dòng)，而標(biāo)志960B-960F的放置 被配置為捕捉包括演員的手部970、臂部972、腿部974、978和足部976在內(nèi)的身體940的 運(yùn)動(dòng)。 墨水標(biāo)志在演員臉部的模型上的示例性放置在圖3中示出。在該實(shí)現(xiàn)方式中，臉 部標(biāo)志包括演員臉部上的墨水標(biāo)志，這些標(biāo)志作為視頻中的"特征"(特征還包括例如斑點(diǎn) 或眼角)被跟蹤。隨后從所跟蹤的特征創(chuàng)建運(yùn)動(dòng)捕捉數(shù)據(jù)。該方法可通過預(yù)先掃描演員臉 部并且執(zhí)行FACS調(diào)查(例如參見2007年7月27日提交的題為"FACS Cleaning"的美國專 利申請No. 11/829,711)來得到增強(qiáng)。還可以在獲取MOCAP數(shù)據(jù)的同時(shí)獲取表面數(shù)據(jù)。在 其他實(shí)現(xiàn)方式中，臉部墨水標(biāo)志是利用紅外("IR")墨水、發(fā)光涂料和/或化妝品、和/或 量子納米點(diǎn)、納米點(diǎn)墨水和/或納米點(diǎn)化妝品來作成的。 臉部表面捕捉掃描也可從用于捕捉臉部運(yùn)動(dòng)的HD視頻中獲取。在一種實(shí)現(xiàn)方式 中，一種特殊的圖案被投影到演員臉部上，并且與MOCAP數(shù)據(jù)一起被捕捉。該圖案可包括可 見光、IR光、或幾乎任何波長的光，并且匹配的帶通濾波器可用于實(shí)時(shí)地或者在后期處理期 間隔離出該圖案。該圖案可以僅被投影在第一幀和另一幀上，或者被周期性地投影，例如每 隔一幀投影。取決于情況可使用許多不同的投影頻率。該圖案還可包括例如已知的(可識 別的)隨機(jī)圖案、網(wǎng)格，或者幾乎任何類型的圖案。 除了利用HD相機(jī)獲取的墨水標(biāo)記外，反光標(biāo)志也可結(jié)合傳統(tǒng)的MOCAP相機(jī)配置使 用。這種配置可提供實(shí)時(shí)的臉部(和身體)捕捉和顯示，而HD相機(jī)布置則提供了后期處理 期間的更高分辨率和改進(jìn)的標(biāo)注。 在一種實(shí)現(xiàn)方式中，利用以一個(gè)HD相機(jī)獲得的視頻數(shù)據(jù)來執(zhí)行2-D跟蹤，以捕捉 臉部運(yùn)動(dòng)。例如，在HD視頻數(shù)據(jù)的幀與幀之間跟蹤臉部上的墨水標(biāo)志。通過利用HD相機(jī) 可獲得的高分辨率，促進(jìn)了對相對較小的墨水點(diǎn)的跟蹤。在另一實(shí)現(xiàn)方式中，使用兩個(gè)或更
6多個(gè)HD相機(jī)，據(jù)此可執(zhí)行2-D跟蹤。此外，可執(zhí)行3-D跟蹤，包括重建如上所述的3-D虛擬空間，并且獲得源自于HD相機(jī)的高分辨率的額外益處。另外，F(xiàn)ACS類型處理可以增強(qiáng)3-D中的跟蹤和臉部模型重建。 在圖9所示的實(shí)現(xiàn)方式中，標(biāo)志960B捕捉臂部972的運(yùn)動(dòng)；標(biāo)志960C捕捉身體940的運(yùn)動(dòng)；標(biāo)志960D、960E捕捉腿部974的運(yùn)動(dòng)；并且標(biāo)志960F捕捉足部976的運(yùn)動(dòng)。另外，標(biāo)志960A-960F上的圖案的獨(dú)特性提供了可用于獲得標(biāo)志的標(biāo)識和朝向的信息。標(biāo)志960D被配置為纏繞在演員腿部的一條圖案。 圖1示出了根據(jù)本發(fā)明一種實(shí)現(xiàn)方式用于身體運(yùn)動(dòng)捕捉的專用"已知圖案"標(biāo)志的樣本收集。每個(gè)標(biāo)志包括小的黑白方塊的6X6矩陣。標(biāo)識和朝向信息通過6X6矩陣內(nèi)白方塊的獨(dú)特放置而被編碼在每個(gè)標(biāo)志中。這些標(biāo)志的特征在于，在任何旋轉(zhuǎn)狀態(tài)中都是可識別的。這些標(biāo)志特有的旋轉(zhuǎn)不變性使得能夠得出位置和朝向信息兩者。標(biāo)志的朝向隨后可用于確定可被模擬為"片段"的物體或者說耦合有標(biāo)志的肢體或其他身體附肢的朝向。即，處于上前臂的一個(gè)標(biāo)志和處于腕部的另一標(biāo)志可用于基于標(biāo)志的朝向來確定前臂本身的朝向。另外，模擬前臂的骨骼基本結(jié)構(gòu)的棒狀片段的運(yùn)動(dòng)可被模擬。在每種情況下，旋轉(zhuǎn)標(biāo)志不會(huì)導(dǎo)致在確定標(biāo)志的身份和朝向方面的含糊，從而證明了此方案對于編碼信息的有效性。將會(huì)認(rèn)識到，使用除這里通過示例公開的黑白元素的6X6矩陣之外的布置的編碼方案也可被實(shí)現(xiàn)。例如，標(biāo)志可以不被配置為矩陣，而是被配置為圓形碰撞測試圖案，其中對于每個(gè)標(biāo)志具有不同的設(shè)計(jì)，以便能夠區(qū)分位置和朝向。在其他示例中，標(biāo)志形狀可以是平坦的矩形矩陣。在另一示例中，形狀本身就可以是代碼。 在另一實(shí)現(xiàn)方式中，標(biāo)志的編碼方案包括"主動(dòng)"以及"被動(dòng)"編碼。例如，如上所述，被動(dòng)編碼的圖案包括被運(yùn)動(dòng)捕捉相機(jī)捕捉并被解碼的代碼。經(jīng)解碼的數(shù)據(jù)可被進(jìn)一步用于數(shù)字字符的運(yùn)動(dòng)的綜合。然而，在要捕捉的標(biāo)志的視覺/光信號臨時(shí)變化的情況下，可使用主動(dòng)編碼。 在另一實(shí)現(xiàn)方式中，圖案可使用熒光材料。這些圖案用作"主標(biāo)志"，其具有"主動(dòng)身份"，但卻被"被動(dòng)供能"。(與之相比，"主動(dòng)供能"的標(biāo)志通常發(fā)出某種能量，例如LED，其發(fā)光)。 圖4是具有根據(jù)一種實(shí)現(xiàn)方式的標(biāo)志放置位置的人體的圖示。所示出的標(biāo)志利用與圖l所示類似的方案編碼了標(biāo)識和朝向信息。它們被基本對稱地定位，并且使得身體的每個(gè)主要肢體(即，片段)都被至少一個(gè)標(biāo)志所定義。所示出的標(biāo)志中大約一半位于在所示出的正面視圖中不可見的身體表面上，并且改為包括指向其近似的封閉位置(occludedposition)的箭頭。在模型背面上標(biāo)志的放置的視圖在圖5中示出。 參考圖9，運(yùn)動(dòng)捕捉相機(jī)920、922涵蓋一捕捉空間，在該捕捉空間中演員的身體940和臉部950在運(yùn)動(dòng)中。即使當(dāng)任何標(biāo)志的視圖相對于運(yùn)動(dòng)捕捉相機(jī)920、922的某個(gè)子集被封閉時(shí)，另一子集也將保留被封閉的標(biāo)志的視圖并捕捉其運(yùn)動(dòng)。從而，這樣配備了標(biāo)志的演員的幾乎所有運(yùn)動(dòng)都可利用聯(lián)系圖9描述的系統(tǒng)來捕捉。 圖6A和6B分別示出了如圖4所述的配備有標(biāo)志的人體模型的正視圖和后視圖。如圖所示，只有模型的向著前方的表面上的標(biāo)志是可見的。其余標(biāo)志被部分或全部封閉。圖7示出了采取與圖6所示基本相同的姿勢的同一人體的側(cè)視圖，圖8示出了其頂視圖和底視圖。從而，在任何給定時(shí)刻，放置在捕捉空間附近的運(yùn)動(dòng)捕捉相機(jī)920、922可見到大量標(biāo)志。如圖所示，標(biāo)志不僅可以圖案不同，還可以大小不同。例如，一些標(biāo)志是3英寸的方塊，而其他的是2英寸的方塊。 另外，圖6A和6B所示的3-D模型上的標(biāo)志放置基本上定義了身體上表達(dá)運(yùn)動(dòng)的主要肢體(片段)和區(qū)域(例如，頭部、肩部、臀部、踝部等等)。當(dāng)對所捕捉的數(shù)據(jù)執(zhí)行跟蹤時(shí)，放置有標(biāo)志的身體位置是可定位的，并且其朝向是可確定的。另外，由標(biāo)志放置所定義的身體的片段，例如肘部和肩部之間的上臂片段，由于基本放置在該片段每端的標(biāo)志也將是可定位的。上臂片段的位置和朝向也可以根據(jù)從定義上臂的各個(gè)標(biāo)志得出的朝向來確定。 返回參考圖9，運(yùn)動(dòng)捕捉相機(jī)920、922被運(yùn)動(dòng)捕捉處理器910控制，以捕捉標(biāo)志的二維("2-D")圖像的同步序列。這些同步圖像被綜合成圖像幀，每個(gè)圖像幀表示圖像幀的時(shí)間序列中的一幀。即，每個(gè)個(gè)體圖像幀包括綜合的多個(gè)同時(shí)獲取的2-D圖像，每個(gè)2-D圖像由一個(gè)體運(yùn)動(dòng)捕捉相機(jī)920或922生成。這樣捕捉的2-D圖像能夠可被存儲(chǔ)，或在用戶工作站930處被實(shí)時(shí)查看，或者既被存儲(chǔ)又在用戶工作站930處被實(shí)時(shí)查看。
運(yùn)動(dòng)捕捉處理器910執(zhí)行2-D圖像的綜合(即，執(zhí)行"重建")，以生成三維("3-D"或"體積性")標(biāo)志數(shù)據(jù)的幀序列。體積性幀的這個(gè)序列常被稱為一"拍"(beat)，其也可被認(rèn)為是電影技術(shù)中的一個(gè)"鏡頭"(take)。傳統(tǒng)上，標(biāo)志是分立的物體或可視點(diǎn)，并且重建的標(biāo)志數(shù)據(jù)包括多個(gè)分立的標(biāo)志數(shù)據(jù)點(diǎn)，其中每個(gè)標(biāo)志數(shù)據(jù)點(diǎn)表示耦合到對象(例如，演員)的一標(biāo)志的空間(即，3-D)位置。從而，每個(gè)體積性幀包括表示對象的空間模型的多個(gè)運(yùn)動(dòng)數(shù)據(jù)點(diǎn)。運(yùn)動(dòng)捕捉處理器910取得體積性幀序列，并且執(zhí)行跟蹤功能，以將每個(gè)幀的標(biāo)志數(shù)據(jù)點(diǎn)與該序列中先前和隨后幀的標(biāo)志數(shù)據(jù)點(diǎn)相關(guān)聯(lián)(或者說"映射")。
在一種實(shí)現(xiàn)方式中，一個(gè)或多個(gè)已知圖案被印刷到條帶960D上。條帶960D隨后被纏繞在演員的每個(gè)肢體(即，附肢)上，以使得每個(gè)肢體具有至少兩個(gè)條帶。例如，在圖9中示出了兩個(gè)條帶960D，它們纏繞在演員的左大腿978上。然而，只要用一個(gè)條帶就足以標(biāo)記末端效應(yīng)體(例如，手部、足部、頭部)。 一旦被捕捉，如上所述，纏繞的條帶960D的印刷圖案就使得運(yùn)動(dòng)捕捉處理器910能夠從任何角度跟蹤表示演員肢體的每個(gè)"片段"的位置和朝向，其中一片段上只有少達(dá)一個(gè)標(biāo)志可見。如圖9所示，演員的大腿978在運(yùn)動(dòng)捕捉處理器910被視為一片段。通過將具有多個(gè)標(biāo)志的帶圖案條帶960D以基本上圓形的方式纏繞在一肢體上，可以確定肢體(即，片段)的"質(zhì)點(diǎn)"。利用標(biāo)志的多個(gè)帶圖案條帶960D，可以確定質(zhì)心，以提供肢體內(nèi)的骨骼的估計(jì)或模型。另外，可以根據(jù)施加在片段上的一個(gè)(或多個(gè)，如果可見的話)標(biāo)志和/或條帶來確定關(guān)于整個(gè)片段的朝向、平移和旋轉(zhuǎn)信息。
圖10是根據(jù)一種實(shí)現(xiàn)方式的綜合臉部和身體運(yùn)動(dòng)捕捉的方法1000的流程圖。在框IOIO，具有已知圖案或可識別的隨機(jī)圖案的標(biāo)記材料被施加到一表面。在一種實(shí)現(xiàn)方式，該表面是演員身體的一個(gè)表面，并且圖案包括耦合到演員身體的多個(gè)標(biāo)志。在另一實(shí)現(xiàn)方式中，圖案包括耦合到演員身體的單個(gè)標(biāo)志(例如，標(biāo)志條帶)。該圖案還可形成為條帶960D，并且附著于演員的四肢、手部和足部周圍，如聯(lián)系圖9所述。標(biāo)志還包括反射性球體、粘著在演員身體上的紋身、涂繪在演員身體上材料、或者演員的固有特征(例如，痣或皺紋)。在另一實(shí)現(xiàn)方式中，該表面是演員臉部的表面，并且標(biāo)記材料包括施加到演員臉部的墨水或涂料標(biāo)記；天然臉部特征，例如斑點(diǎn)或臉角；或者施加到臉部的任何其他標(biāo)志或標(biāo)記。
8
除了已知圖案標(biāo)志外，演員還可在身體上被裝備以大量LED。在一種實(shí)現(xiàn)方式中，演員穿著其上部署有LED的特殊套裝。在一個(gè)示例中，LED被部署成包括線條的圖案。LED的線條可以相隔已知的距離，從而形成網(wǎng)格。LED的這種網(wǎng)格結(jié)合已知圖案標(biāo)志被跟蹤(在
一種實(shí)現(xiàn)方式，與已知圖案標(biāo)志同時(shí)被跟蹤)。已知圖案標(biāo)志用于通過向在其他方面基本統(tǒng)一部署的多個(gè)相同LED提供獨(dú)特的身份信息，來改進(jìn)網(wǎng)格圖案的跟蹤分辨率和標(biāo)注。從而，改進(jìn)了虛擬空間中的時(shí)間跟蹤和標(biāo)注的連續(xù)性。 在另一實(shí)現(xiàn)方式中，通過對構(gòu)成網(wǎng)格的線條使用不同顏色的LED，來實(shí)現(xiàn)LED的跟蹤分辨率和標(biāo)注的進(jìn)一步改進(jìn)。不同顏色的線條的交點(diǎn)(即，網(wǎng)格的頂點(diǎn))因此在跟蹤期間獲得更高的可識別性。與之相比，構(gòu)成網(wǎng)格的相似顏色的LED個(gè)體上將是難以跟蹤的，并且旋轉(zhuǎn)和朝向信息將難以得出。即，相似顏色的LED可被認(rèn)為是"被動(dòng)身份"、"主動(dòng)供能"、"次標(biāo)志"。然而，在一種實(shí)現(xiàn)方式中，通過將LED配置為根據(jù)可識別的時(shí)間序列而脈動(dòng)或閃爍，來向LED賦予"主動(dòng)身份"特性。 然后在捕捉空間中設(shè)立起運(yùn)動(dòng)捕捉相機(jī)。在一種實(shí)現(xiàn)方式中，至少一個(gè)HD M0CAP視頻相機(jī)被配置為用于對演員身體進(jìn)行運(yùn)動(dòng)捕捉(在框1020處)，并且至少一個(gè)另外的HDM0CAP視頻相機(jī)被配置為用于對演員臉部進(jìn)行運(yùn)動(dòng)捕捉(在框1030處)。另外， 一膠片相機(jī)被設(shè)立來在膠片板上捕捉整個(gè)表演。然后，在框1040，身體運(yùn)動(dòng)數(shù)據(jù)和臉部運(yùn)動(dòng)數(shù)據(jù)被基本上同時(shí)地捕捉。所捕捉到的身體運(yùn)動(dòng)數(shù)據(jù)和臉部運(yùn)動(dòng)數(shù)據(jù)在框1050處被綜合。
在一種實(shí)現(xiàn)方式中，利用以一個(gè)HD獲得的視頻運(yùn)動(dòng)數(shù)據(jù)來執(zhí)行2-D跟蹤，以捕捉身體運(yùn)動(dòng)。例如，在HD視頻數(shù)據(jù)的幀與幀之間跟蹤身體和四腳上的已知圖案標(biāo)志。通過利用HD相機(jī)可獲得的高分辨率，促進(jìn)了對已知圖案的跟蹤。在另一實(shí)現(xiàn)方式中，使用兩個(gè)或更多個(gè)HD相機(jī)，據(jù)此可執(zhí)行2-D跟蹤。此外，可執(zhí)行3-D跟蹤，包括重建如上所述的3-D虛擬空間，并且獲得源自于HD相機(jī)的高分辨率的額外益處。另外，F(xiàn)ACS類型求解可以增強(qiáng)3-D中的跟蹤和臉部模型重建。預(yù)定的骨骼模型可用于幫助利用多個(gè)HD相機(jī)獲得的實(shí)際數(shù)據(jù)進(jìn)行的骨骼模擬的構(gòu)造，以捕捉身體運(yùn)動(dòng)數(shù)據(jù)。 在一種實(shí)現(xiàn)方式中，實(shí)現(xiàn)以上描述的臉部和身體運(yùn)動(dòng)捕捉方法的系統(tǒng)被用改進(jìn)的跟蹤方法來增強(qiáng)。多點(diǎn)跟蹤器被實(shí)現(xiàn)來跟蹤主圖案和次圖案兩者。求解器隨后解析出來自次標(biāo)志的平移信息(次標(biāo)志不提供旋轉(zhuǎn)或朝向信息)，并且將來自主標(biāo)志的平移和旋轉(zhuǎn)解析到骨骼模型上。求解器可用于把主標(biāo)志和次標(biāo)志的骨骼數(shù)據(jù)和位置信息重投影到原始膠片板上。從而，通過確保解析出的數(shù)據(jù)與在膠片板上獲取的圖像同步，可以在較早階段識別和/或矯正跟蹤、標(biāo)注和處理的其他階段中的不一致。 已經(jīng)描述了本發(fā)明的各種示例性實(shí)現(xiàn)方式。然而，本領(lǐng)域的普通技術(shù)人員將會(huì)認(rèn)識到，其他實(shí)現(xiàn)方式也是可能的，并且在本發(fā)明的范圍內(nèi)。例如，已知且可識別的隨機(jī)圖案可被印刷、涂繪或墨涂到演員或物體的表面上。另外，印刷、涂繪、墨涂、紋身、量子納米點(diǎn)和固有身體特征的任何組合都可用于獲得期望的圖案。
因此，本發(fā)明并不僅限于以上描述的那些實(shí)施例。
權(quán)利要求
一種方法，包括向演員的身體和臉部施加具有已知圖案的標(biāo)記材料；將至少一個(gè)第一視頻運(yùn)動(dòng)捕捉相機(jī)配置為捕捉所述演員的身體上的標(biāo)記材料；將至少一個(gè)第二視頻運(yùn)動(dòng)捕捉相機(jī)配置為捕捉所述演員的臉部上的標(biāo)記材料；基本同時(shí)地利用所述至少一個(gè)第一視頻運(yùn)動(dòng)捕捉相機(jī)捕捉身體運(yùn)動(dòng)數(shù)據(jù)并利用所述至少一個(gè)第二視頻運(yùn)動(dòng)捕捉相機(jī)捕捉臉部運(yùn)動(dòng)數(shù)據(jù)；以及綜合所述身體運(yùn)動(dòng)數(shù)據(jù)和所述臉部運(yùn)動(dòng)數(shù)據(jù)。
2. 如權(quán)利要求1所述的方法，其中所述至少一個(gè)第二視頻運(yùn)動(dòng)捕捉相機(jī)被配置為被佩 戴在所述演員的頭部上。
3. 如權(quán)利要求1所述的方法，其中所述演員的身體上的標(biāo)記材料包括 編碼有一代碼的標(biāo)志。
4. 如權(quán)利要求3所述的方法，其中所述代碼包括標(biāo)識和朝向信息。
5. 如權(quán)利要求3所述的方法，其中所述標(biāo)志是獨(dú)特點(diǎn)圖案的矩陣。
6. 如權(quán)利要求3所述的方法，其中所述標(biāo)志是圓形碰撞測試圖案。
7. 如權(quán)利要求1所述的方法，其中所述演員的臉部上的標(biāo)記材料包括 涂繪在所述臉部上的墨水標(biāo)記。
8. 如權(quán)利要求7所述的方法，其中涂繪在所述臉部上的墨水標(biāo)記包括 紅外墨水、發(fā)光涂料/化妝品以及量子納米點(diǎn)中的至少一種。
9. 如權(quán)利要求1所述的方法，其中所述演員的臉部上的標(biāo)記材料包括 所述演員的臉部上的固有特征。
10. 如權(quán)利要求9所述的方法，其中所述固有特征包括痣、皺紋、斑點(diǎn)和眼角中的至少一種。
11. 如權(quán)利要求1所述的方法，其中所述臉部運(yùn)動(dòng)數(shù)據(jù)包括 通過執(zhí)行臉部表面捕捉掃描而獲得的數(shù)據(jù)。
12. 如權(quán)利要求1所述的方法，還包括 將一膠片相機(jī)配置為捕捉整個(gè)表演。
13. 如權(quán)利要求1所述的方法，其中施加標(biāo)記材料包括將某種圖案的光投影到所述演 員的臉部上。
14. 一種系統(tǒng)，包括施加到演員的身體和臉部的具有已知圖案的標(biāo)記材料；用于捕捉所述演員的身體上的標(biāo)記材料的至少一個(gè)第一視頻運(yùn)動(dòng)捕捉相機(jī)； 用于捕捉所述演員的臉部上的標(biāo)記材料的至少一個(gè)第二視頻運(yùn)動(dòng)捕捉相機(jī)； 處理器，其被配置為基本同時(shí)地利用所述至少一個(gè)第一視頻運(yùn)動(dòng)捕捉相機(jī)捕捉身體運(yùn)動(dòng)數(shù)據(jù)并利用所述 至少一個(gè)第二視頻運(yùn)動(dòng)捕捉相機(jī)捕捉臉部運(yùn)動(dòng)數(shù)據(jù)；以及 綜合所述身體運(yùn)動(dòng)數(shù)據(jù)和所述臉部運(yùn)動(dòng)數(shù)據(jù)。
15. 如權(quán)利要求14所述的系統(tǒng)，還包括頭盔，用于佩戴在所述演員的頭部上并且安裝所述至少一個(gè)第二視頻運(yùn)動(dòng)捕捉相機(jī)。
16. 如權(quán)利要求14所述的系統(tǒng)，其中所述演員的身體上的標(biāo)記材料包括具有編碼的標(biāo)識和朝向信息的標(biāo)志。
17. 如權(quán)利要求14所述的系統(tǒng)，其中所述演員的臉部上的標(biāo)記材料包括 涂抹在所述臉部上的墨水標(biāo)記。
18. 如權(quán)利要求14所述的系統(tǒng)，其中所述臉部運(yùn)動(dòng)數(shù)據(jù)包括 通過執(zhí)行臉部表面捕捉掃描而獲得的數(shù)據(jù)。
全文摘要
一種方法包括向演員的身體和臉部施加具有已知圖案的標(biāo)記材料；將至少一個(gè)第一視頻運(yùn)動(dòng)捕捉相機(jī)配置為捕捉所述演員的身體上的標(biāo)記材料；將至少一個(gè)第二視頻運(yùn)動(dòng)捕捉相機(jī)配置為捕捉所述演員的臉部上的標(biāo)記材料；基本同時(shí)地利用所述至少一個(gè)第一視頻運(yùn)動(dòng)捕捉相機(jī)捕捉身體運(yùn)動(dòng)數(shù)據(jù)并利用所述至少一個(gè)第二視頻運(yùn)動(dòng)捕捉相機(jī)捕捉臉部運(yùn)動(dòng)數(shù)據(jù)；以及綜合所述身體運(yùn)動(dòng)數(shù)據(jù)和所述臉部運(yùn)動(dòng)數(shù)據(jù)。
文檔編號G06T17/00GK101796545SQ200880105669
公開日2010年8月4日 申請日期2008年9月4日 優(yōu)先權(quán)日2007年9月4日
發(fā)明者保勞格·哈瓦爾達(dá)爾, 德曼·喬丹 申請人:索尼公司;索尼電影娛樂公司