專利名稱：實時運動捕捉的方法和設備的制作方法
技術領域：
本發(fā)明一般涉及視頻處理，更具體地說，涉及追蹤圖像深度和/或與圖像相關的標記以提供視頻游戲應用的實時運動捕捉。
背景技術：
電影、視頻游戲和其它有關的視頻產品捕捉距離與維度信息。關于電影，可以分開捕捉演員或運動人物的動作。例如，當執(zhí)行活動時，可由多臺攝像機拍攝運動人物。附在運動人物上的對象(即，球狀物)能夠追蹤動作。追蹤的動作然后存儲在數(shù)據(jù)庫中，以便隨后在電影或視頻游戲中使用。這些動作可通過運行數(shù)據(jù)庫中存儲的動作的幀來回放。
圖1是身體上布滿多個球狀物以存儲其動作的一個人的示意圖。人100具有分布于其身上的多個球狀物102。然后人100將執(zhí)行由多個攝像機104捕捉的某些活動。然后捕捉的視頻數(shù)據(jù)可根據(jù)需要編輯，以定義視頻數(shù)據(jù)106。然后視頻數(shù)據(jù)106被存儲在數(shù)據(jù)庫108中，以隨后檢索用于插入電影中。
相對圖1描述的方案在不需要實時運動捕捉的受控環(huán)境下工作良好，例如電影編輯。此外，由于捕捉并存儲了人的動作，因此該人只須佩戴一次球狀物。然而，關于圖1所描述的運動捕捉僅用于被動方式中，即，編輯者在編輯電影時將存儲的動作插入電影中。因此，所捕捉的動作不控制電影的任何方面，并隨后被插入電影中。對于視頻游戲同樣成立，即，所捕捉的運動不用于控制視頻游戲的任何方面。部分地，復雜的計算能力以及逐點掃描的需要造成無法將所捕捉的運動用于實時控制。
因此，有解決現(xiàn)有技術問題的需要，要提供一種用于提供能夠控制視頻游戲各個方面(諸如對象和角色動作)的實時運動捕捉的方法和設備。

發(fā)明內容
概況地說，本發(fā)明通過提供一種通過玩視頻游戲人的實時運動捕捉能夠控制視頻游戲角色和對象的方法與設備來滿足上述需要。應理解的是，可以多種方式實現(xiàn)本發(fā)明，包括作為方法、系統(tǒng)、計算機可讀媒體或裝置。下面描述本發(fā)明的幾個發(fā)明的實施例。
在一個實施例中，提供用于實時運動捕捉以便控制視頻游戲角色的方法。該方法始于定義控制對象的模型。然后，標識模型上的標記位置。接著，捕捉與控制對象相關的動作。然后，解釋與控制對象相關的動作，以改變模型的姿勢。接著，根據(jù)模型姿勢的改變控制顯示屏上呈現(xiàn)的角色動作。
在另一實施例中，提供一種通過實時運動捕捉來控制與計算裝置通信的顯示屏上呈現(xiàn)的對象的方法。該方法始于標識與正追蹤對象相關的深度圖像。然后，標識與顯示屏上所呈現(xiàn)對象及正追蹤對象二者相關的模型。接著，將模型擬合到(fit to)深度圖像以捕捉與正追蹤對象相關的運動。然后，根據(jù)模型到深度圖像的擬合來實時控制顯示屏上呈現(xiàn)的對象。
在又一實施例中，提供一種通過實時運動捕捉來控制顯示屏上所呈現(xiàn)圖像的動作的方法。該方法始于定義人的模型。然后，標識此人模型上的標記位置。接著，提供對應于此人模型某部分的深度圖像。該模型部分包括標記。然后，將標記的位置與深度圖像上的點相關聯(lián)。接著，基于深度圖像的配置定位模型部分。然后，根據(jù)該模型部分的定位來控制顯示屏上所顯示的視頻角色。
在再一實施例中，提供具有程序指令的計算機可讀媒體，該指令用于通過實時運動捕捉來控制與計算裝置通信的顯示屏上呈現(xiàn)的對象。所述計算機可讀媒體包括用于標識正追蹤對象深度圖像的程序指令；以及用于標識與顯示屏上所呈現(xiàn)對象及正追蹤對象二者相關的模型的程序指令。還包括將模型擬合到深度圖像以捕捉與正追蹤對象相關的運動的程序指令。還提供了用于根據(jù)模型到深度圖像的擬合來實時控制顯示屏上所呈現(xiàn)對象的程序指令。
在另一實施例中，提供一種能夠通過與控制圖像相關的實時運動捕捉來控制對象的系統(tǒng)。該系統(tǒng)包括計算裝置。提供了與該計算裝置通信的顯示屏。該顯示屏配置為顯示對象的圖像，其中通過計算裝置將對應于對象圖像的數(shù)據(jù)提供給顯示屏。包括與該計算裝置通信的視頻捕捉裝置。該視頻捕捉裝置能夠追蹤控制對象。視頻捕捉裝置配置為當控制對象移動時，轉換與該控制對象相關的運動以控制顯示屏上所顯示對象的運動。
在又一實施例中，提供一種能夠通過與控制圖像相關的實時運動捕捉來控制視頻角色的系統(tǒng)。該系統(tǒng)包括計算裝置。提供用于顯示來自該計算裝置所接收數(shù)據(jù)的視頻角色圖像的部件，以及用于捕捉與控制對象相關深度圖像的部件。包括用于將模型擬合到深度圖像以定義控制對象動作的部件。還包括用于當控制對象移動時轉換該控制對象的動作以控制顯示屏上與視頻角色相關運動的部件。
通過參照附圖及舉例說明本發(fā)明原理，根據(jù)下面的詳細描述，本發(fā)明的其它方面與優(yōu)點變得更為明顯。


通過下面參照附圖的詳細描述易于理解本發(fā)明，并且相同的標號指示相同的構件。
圖1是身上布有多個球狀物以存儲其動作的人的示意圖。
圖2是根據(jù)本發(fā)明一個實施例的簡化示意圖，說明用于控制視頻游戲角色的實時運動捕捉。
圖3是根據(jù)本發(fā)明的一個實施例的人模型的示意圖，其中該模型包括描繪關節(jié)角的標記。
圖4A至4C說明根據(jù)本發(fā)明一個實施例可由控制對象作為標記佩戴的示范性圖案。
圖5是根據(jù)本發(fā)明一個實施例用于控制與顯示屏上所呈現(xiàn)的角色相關的動作的控制對象實時運動捕捉的示意圖。
圖6A是根據(jù)本發(fā)明一個實施例具有包含在其上的標記的連體服的示意圖。
圖6B是圖6A連體服的備選實施例。
圖7是根據(jù)本發(fā)明一個實施例說明監(jiān)視標記圖像幀的最佳技術的示意圖。
圖8是根據(jù)本發(fā)明一個實施例的模型的示意圖，描繪由深度圖像填充的區(qū)域。
圖9是可用于實現(xiàn)本發(fā)明實施例的與圖形顯示器上的對象交互的示范性用戶輸入系統(tǒng)的框圖。
圖10說明根據(jù)本發(fā)明實施例用于用戶與圖形顯示器上的對象交互的輸入系統(tǒng)。
圖11是配置為實現(xiàn)在此描述的本發(fā)明實施例的計算機處理系統(tǒng)的簡化框圖。
圖12是根據(jù)本發(fā)明實施例用于控制顯示屏上所呈現(xiàn)角色的實時運動捕捉的操作方法流程圖。
具體實施例方式
本發(fā)明描述一種允許可用于控制視頻游戲角色或對象的實時運動捕捉的系統(tǒng)、設備與方法。然而，對本領域技術人員顯然的是，可在沒有某些或全部這些具體細節(jié)的情況下實現(xiàn)本發(fā)明。在其他實例中，沒有詳細描述公知的過程操作，以避免不必要地混淆本發(fā)明。在“背景技術”部分描述了圖1。
本發(fā)明的實施例提供了一種允許實時運動捕捉以控制視頻游戲角色或對象的系統(tǒng)與方法。玩視頻游戲人的動作用于控制與該視頻游戲相關的顯示屏上的角色。因此，玩視頻游戲人的實時運動捕捉用來控制顯示屏上的角色。在此，與離線編輯并隨后在后面的時間點插入到電影中的動作捕捉相反，捕捉玩視頻游戲人的原始動作數(shù)據(jù)，并將其用于實時控制目的。
在一個實施例中，顯示屏上所呈現(xiàn)人物角色的動作受控于作為控制對象的用戶或人的動作。用戶的動作可通過視頻捕捉裝置(也稱為圖像捕捉裝置，諸如網(wǎng)絡攝像機或某些其他合適類型的攝像機)捕捉。在一個實施例中，視頻捕捉裝置配置為捕捉控制對象的深度圖像。控制對象的深度圖像提供與距離或深度相關的數(shù)據(jù)，該距離或深度與相對于視頻捕捉裝置的各像素相關。因此，與控制對象相關并定義關節(jié)角位置的骨架可映射到人物角色乃至非人物角色。在另一實施例中，由控制對象佩戴的標記可用來指示關節(jié)角的位置。使用標記定義的位置將深度圖像與骨架結合起來，以創(chuàng)建控制對象。控制對象的運動然后又用于控制顯示屏上的角色圖像。例如，該角色圖像可能是來自視頻游戲的圖像。因此，玩視頻游戲者能夠控制顯示于顯示屏上的角色圖像。以下將更詳細描述，在此描述的本發(fā)明的實施例，包括用于通過標記控制視頻角色的實時運動捕捉。在另一實施例中，配置為提供深度信息的視頻捕捉裝置可與用于控制視頻角色的實時運動捕捉的標記一起使用或不與之一起使用。如下所述，該標記可包括顏色、圖案、反向反射材料、光等。
圖2是根據(jù)本發(fā)明一個實施例的簡化示意圖，說明用于控制視頻游戲角色的實時運動捕捉。運動捕捉輸入120存儲在運動捕捉數(shù)據(jù)庫124中。控制對象運動122通過捕捉裝置(例如網(wǎng)絡攝像機)捕捉，并與存儲在數(shù)據(jù)庫124中的相應運動捕捉輸入120相關聯(lián)。然后，相關的運動捕捉輸入與來自數(shù)據(jù)庫的輸出運動126所表示的一樣呈現(xiàn)在顯示屏上。例如，控制對象運動122可以捕捉玩視頻游戲者的某些運動或動作。在一個實施例中，運動捕捉數(shù)據(jù)庫124存儲多個捕捉專業(yè)運動員運動的運動捕捉輸入文件120。因此，控制對象運動122與對應于控制對象運動的類似運動捕捉輸入120相關聯(lián)，并且該類似運動捕捉輸入實時呈現(xiàn)于顯示屏上。因此，提供了控制對象(例如玩視頻游戲者)實時控制專業(yè)運動員運動或動作的效果。應該理解到，該運動捕捉輸入也可以是藝術家動畫數(shù)據(jù)，例如非人類游戲角色、動畫角色圖像等。在另一實施例中，控制對象運動122用作限制信息。在此，限制信息驅動角色圖像的動畫，因此，控制對象運動122直接控制游戲角色的運動。應該理解的是，實際的模擬系統(tǒng)可以完成這個特征。在一個實施例中，游戲角色反映出該控制對象的運動。在另一實施例中，映射控制對象的特定動作，以引起游戲角色的不同動作。例如，當控制對象移動肢體即臂或腿時，可以映射該肢體動作，從而使視頻游戲角色的眉毛可以動。應該理解到，任何類型的控制對象動作都可映射到角色圖像(例如視頻游戲角色)任何不同類型的動作。
仍參照圖2，在一個更具體的例子中，控制對象運動122可描繪玩籃球視頻游戲的人，其中此人執(zhí)行如塊122a中所描繪的投籃運動。塊122a的投籃運動與存儲在數(shù)據(jù)庫124中專業(yè)籃球運動員的投籃運動相關聯(lián)。在可視屏幕上顯示專業(yè)籃球運動員的投籃運動，如塊126a描繪的。因此，玩此視頻游戲者的運動捕捉用于實時控制執(zhí)行類似運動的專業(yè)角色。應該理解到，給出的籃球例子用于說明性目的而非限制的。也就是說，玩此視頻游戲者的運動可對應于任何體育運動。此外，玩此視頻游戲者的運動可與非體育運動相關聯(lián)。例如，捕捉的玩此視頻游戲者的運動可用來控制動物或視頻游戲顯示的其它非人類生物對象乃至無生命對象的動作。
圖3是根據(jù)本發(fā)明一個實施例的人的模型示意圖，其中該模型包括描繪關節(jié)角的標記。在一個實施例中，該模型是骨架圖像。如在此所用的，骨架圖像指的是所追蹤的任何結構模型，并不局限于模型是硬的但具有關節(jié)的關節(jié)式模型。而且，可用變化的精度(例如各種關節(jié)限制)來定義骨架圖像。當然，與骨架圖像或模型相關的關節(jié)與肢體越多，需要追蹤的數(shù)據(jù)越多。在此，標記140a-140i分布于骨架圖像142。標記140a與140d對應于手腕位置，標記140b與140c對應于眉毛位置，而標記140e對應于軀干。標記140g與140f對應于膝蓋，而標記140h和140i對應于腳裸。當然，在此描述的實施例并不局限于圖3中所示的標記位置或標記數(shù)，可使用或多或少的標記。例如，耳機141可用作指示控制對象頭部位置的標記。本領域技術人員會理解可用頭帶作為標記。在此，可以提供耳朵可插入式裝置，其中該耳朵可插入式裝置作為標記并為控制對象提供聲音。因此，例如攝像機的視頻捕捉裝置提供玩視頻游戲者的圖像，其中玩視頻游戲者佩戴了標記。例如，標記可配置為人能佩戴的條帶，或可插入此人(即，控制對象)衣服中的標記。然后軟件可以分析所捕捉的具有標記的人的圖像，以產生具有如標記140a-140i所提供的已知關節(jié)角位置的骨架圖像142。
在一個實施例中，視頻捕捉裝置配置為提供深度圖像，該深度圖像可用于填充骨架圖像部分，并在三維空間定位該骨架圖像。因此，標記140a-140i提供關于附件或肢體起始位置的數(shù)據(jù)，并且來自視頻捕捉裝置的深度圖像能在三維空間填充該附件或肢體。在此所用的術語附件和肢體并不意味著限制為人(即，控制對象)，可控制同樣由深度圖像捕捉的對象。因此，該附件或肢體可包括作為控制對象的人所控制的對象。在另一實施例中，視頻捕捉裝置不具備深度捕捉能力，并且標記將指示附件或肢體起始點在空間中的已知位置。在此，臂、手、腿、腳或某些其它附件可從存儲相關附件典型配置的數(shù)據(jù)庫填入。例如，可在開始游戲之前獲得控制對象的深度圖像，并且該深度圖像可作為模型存儲在數(shù)據(jù)庫中，以在需要時用于實時控制視頻游戲角色。在又一實施例中，使用視頻捕捉裝置來捕捉沒有標記的玩視頻游戲者的運動。在此，作出關于對象位置的某種假設，例如哪只手、腳等是來自左側或右側，以便轉換用于控制視頻游戲角色所捕捉的運動。由此，在上述每個實施例中，所捕捉的運動用于實時控制與視頻游戲角色相關的運動。
應當理解標記可采用各種形式。例如，可使用具有特定形狀、顏色、圖案、反射能力或某些其它有區(qū)別質量的材料，以使視頻捕捉裝置能通過標記在空間中識別一個點。本領域技術人員會理解到，可使用反向反射材料提供有區(qū)別的反射能力。此外，與視頻捕捉裝置相關的光可與反向反射帶結合使用，以提供控制對象特定附件的起始點在空間中的位置。在一個實施例中，標記可采用閃光的形式。在此，該光可以是不可見光，如紅外光。該光可在設定頻率閃爍，其中該設定頻率對應于特定的人或團隊。
圖4A至4C說明根據(jù)本發(fā)明一個實施例可由控制對象作為標記佩戴的示范性圖案。該示范性圖案包括圖4A的斜紋圖案、圖4B的方塊圖案與圖4C的網(wǎng)狀線圖案。對本領域技術人員將顯而易見的是，圖4A-4C所示圖案并不意味著限制于此，可使用能夠由視頻捕捉裝置識別的任何類型圖案。應該理解到，在一個實施例中，可使用不同圖案來區(qū)分左右肢。例如，圖3的標記140d可包括圖4A的圖案，而圖3的標記140a可包括圖4B的圖案。因此，可以區(qū)分左右腕。此外，可與圖案結合使用形狀、顏色等來定義標記。因此，即使圖案因動作而變形，標記仍可使用備用指示器。
圖5是根據(jù)本發(fā)明一個實施例用于控制與顯示屏上呈現(xiàn)的角色相關的動作的控制對象實時運動捕捉的示意圖。對應于玩視頻游戲者的骨架圖像142由視頻捕捉裝置148追蹤。在一個實施例中，視頻捕捉裝置148配置為捕捉每個像素的深度數(shù)據(jù)。例如，可使用3DVSTSTEMS或CANESTA所提供的深度攝像機作為在此描述實施例的捕捉深度數(shù)據(jù)的視頻捕捉裝置148。在玩視頻游戲者作為標記佩戴反向反射帶的情況下，攝像機148包括光150。在一個實施例中，光150可以是紅外光。在另一個實施例中，光150是閃光，以便可以區(qū)分場景中永久光與要追蹤的標記，即，來自反向反射帶的閃光反射。反向反射帶反射來自光150的所有光，因此，反向反射帶在由視頻捕捉裝置148提供的圖像數(shù)據(jù)中將是亮點。該亮點或空白將指示與標記相關的附件的起點。例如，標記140d與右腕相關，并將指示包括右腕(也可包括手或前臂)的深度圖像的起點。當然，手可控制如上所述的對象。應該理解到，攝像機148可包括幾個不同顏色的閃光。在此，反向反射帶或任何合適的反射標記可設計成反射不同的顏色，由此使得可以區(qū)分多個反射標記。
圖5的標記140c指示軀干的位置。如上所述，控制對象可在所定義的位置佩戴任何數(shù)量的標記。對本領域技術人員顯而易見的是，捕捉裝置可將特定標記標識為與特定附件(即，相對于圖5的手腕或軀干)相關聯(lián)。在視頻捕捉裝置148配置為提供深度圖像的情況下，該視頻捕捉裝置提供數(shù)據(jù)，以用參照圖8所述的深度信息填充骨架圖像140的身體其余部分。攝像機148包括配置為將深度信息與標記位置結合的微處理器152，以產生并追蹤控制對象(即，玩視頻游戲的人)的圖像。微處理器152可以執(zhí)行參照圖9所述的處理功能。攝像機148與計算裝置154通信，計算裝置154又與顯示裝置156通信。在一個實施例中，計算裝置154是視頻游戲控制臺，諸如索尼計算機娛樂公司制造的“PLAYSTATION 2”。在另一實施例中，光150可配置為發(fā)射紅外光譜內的光，以使指向控制對象的可見光最少。
圖6A是根據(jù)本發(fā)明一個實施例的連體服的示意圖，在該連體服中包含有標記。標記162a至162i可結合在連體服160中對應于參照圖3討論的位置的關節(jié)位置。在一個實施例中，可用標識穿著具有某體育人物、名人、團隊標識等衣服的人的數(shù)據(jù)對軀干標記162e編碼。此外，可對標記編碼，以在視頻游戲期間為穿此衣服的人提供增強特征。例如，該連體服可通過更多的身體盔甲或其它強化為用戶提供額外的保護，這會誘使消費者購買視頻游戲所用的連體服。
圖6B是圖6A連體服的備選實施例。在此，反向反射材料的微纖維織入了連體服中，即，結合到整個連體服160的織物中。因此，反向反射材料遍布整個連體服。在此，連體服對深度攝像機會表現(xiàn)為最大，但優(yōu)選用于攝像機不能捕捉深度數(shù)據(jù)的實施例。也就是說，在視頻捕捉裝置配置為提供二維圖像數(shù)據(jù)的情況下，最好具有盡可能多的作為反射的控制對象，以便更容易追蹤用于實時控制視頻游戲角色的控制對象。當然，如在關鍵部位放置的帶的反射材料所要覆蓋的控制對象不必滿足如上討論的。
圖7是根據(jù)本發(fā)明一個實施例說明監(jiān)視標記的圖像幀的最佳技術示意圖。這里，區(qū)域170定義骨架圖像142周圍的區(qū)域。因此，不是搜索標記的全部數(shù)據(jù)幀，只在圍繞骨架圖像142所定義的部分幀搜索連續(xù)幀。在此，將搜索部分幀174-2至174-n，以提高性能。骨架圖像142顯示為控制對象172，其中對象172是一把劍。應該理解到，當控制對象主要指人時，此人可以控制如劍、球、球拍等的對象。因此，也可捕捉與所控制對象相關的運動，以實時控制顯示屏上的類似對象，例如，在視頻角色控制一把劍的情況下。
圖8是根據(jù)本發(fā)明一個實施例描繪由深度圖像填充區(qū)域的模型的示意圖。如參考圖3討論的，例如攝像機的視頻捕捉裝置提供玩視頻游戲者的圖像，其中玩視頻游戲者佩戴有標記。用標記分析捕捉的此人圖像，以創(chuàng)建具有如標記140a-140i所提供的已知關節(jié)角位置的骨架圖像142，也稱為模型。在一個實施例中，佩戴標記者站在視頻捕捉裝置前面，以定義如上所述方式存儲的控制對象的模型或身體網(wǎng)。也就是說，最初執(zhí)行校準步驟，以定義控制對象的模型深度圖像。然后，使用該深度圖像或部分深度圖像填入骨架142中以創(chuàng)建三維圖像。各個標記定義要定位的相應深度圖像部分的位置。例如，左右前臂分別定義于區(qū)域180c與180e中。上半身與下半身分別定義于區(qū)域180d與180b中，而左脛部與右脛部分別定義于區(qū)域180a與180f中。此外，分別以標記140a、140d、140i與140h定義手與腳。因此，標記定義起始位置，并使用深度圖像填入其余部分以提供三維控制對象，以便實時控制視頻游戲角色的運動。
圖9是可用于實現(xiàn)本發(fā)明實施例的與圖形顯示器上對象交互的示范性用戶輸入系統(tǒng)框圖。如圖9所示，用戶輸入系統(tǒng)由視頻捕捉裝置200、輸入圖像處理器202、輸出圖像處理器204和視頻顯示裝置206組成。視頻捕捉裝置200可以是能夠捕捉連續(xù)視頻圖像的任何裝置，并且在一個實施例中，是視頻攝像機(諸如“網(wǎng)絡攝像機”)或類似的圖像捕捉裝置。如上所述，視頻捕捉裝置可配置為提供深度圖像。輸入圖像處理器202將捕捉的控制對象視頻圖像轉換成傳送至輸出圖像處理器的信號。在一個實施例中，輸入圖像處理器202被編程為通過深度信息在捕捉的視頻圖像中從背景分離出控制對象，并響應控制對象的姿勢和/或動作生成輸出信號。輸出圖像處理器106被編程為響應從輸入圖像處理器104接收的信號在視頻顯示裝置108上引起對象的平移和/或旋轉運動。
本發(fā)明的這些及附加方面可通過執(zhí)行軟件指令的一個或多個處理器實現(xiàn)。根據(jù)本發(fā)明的一個實施例，單處理器執(zhí)行如圖5所示的輸入圖像處理與輸出圖像處理。然而，如圖中所示并為了便于描述，在輸入圖像處理器202與輸出圖像處理器204之間分開示出了處理操作。應當注意，本發(fā)明決不解釋為限制于任何特定的處理器配置，例如多于一個處理器。給出圖9所示的多處理塊只是為了便于描述。
圖10是根據(jù)本發(fā)明實施例說明用于用戶與圖形顯示器上的對象交互的輸入系統(tǒng)。該輸入系統(tǒng)環(huán)境包括控制對象212、視頻捕捉裝置214、視頻顯示裝置216和包含處理器功能的控制臺208，例如視頻游戲機。輸入系統(tǒng)環(huán)境中的控制對象212應位于視頻捕捉裝置214的視野210內。處理系統(tǒng)208可由娛樂系統(tǒng)或游戲控制臺實現(xiàn)，例如處理與計算機娛樂系統(tǒng)Sony PlaystationTMII或SonyPlaystationTMI型。然而應當注意，處理系統(tǒng)208可以在其它計算機系統(tǒng)類型中實現(xiàn)，如個人計算機、工作站、膝上型計算機、無線計算裝置或能夠接收并處理圖形圖像數(shù)據(jù)的任何其它類型計算裝置。當然，控制對象212可以結合如上所述的標記，和/或視頻捕捉裝置214可包括深度捕捉能力。
圖11是配置為實現(xiàn)在此描述的本發(fā)明實施例的計算機處理系統(tǒng)的簡化框圖。該處理系統(tǒng)可以表示基于計算機的娛樂系統(tǒng)實施例，其包括耦合到主存儲器220與圖形處理單元(GPU)226的中央處理單元(CPU)224。CPU 224還耦合到輸入/輸出處理器(IOP)總線228。在一個實施例中，GPU 226包括快速處理基于像素的圖形數(shù)據(jù)的內部緩沖器。此外，GPU 226可以包括輸出處理部分或功能，以將處理的圖像數(shù)據(jù)轉換成標準電視頻號，例如NTSC或PAL，以便傳輸?shù)竭B接于娛樂系統(tǒng)或其元件外部的顯示裝置227。備選地，可將數(shù)據(jù)輸出信號提供給除電視監(jiān)視器之外的顯示裝置，如計算機監(jiān)視器、LCD(液晶顯示)裝置或其它類型顯示裝置。
I0P總線228將CPU 224耦合到各種輸入/輸出裝置及其它總線或裝置。IOP總線228連接到輸入/輸出處理器存儲器230、控制器232、存儲卡234、通用串行總線(USB)端口236、IEEE1394(也被稱為火線接口)端口238和總線250?？偩€250將幾個其它系統(tǒng)構件耦合到CPU 224，包括操作系統(tǒng)(OS)ROM 240、閃速存儲器242、聲音處理單元(SPU)244、光盤控制單元246和硬盤驅動器(HDD)248。在本實施例的一個方面，視頻捕捉裝置可直接連接到IOP總線228，以便通過其傳輸?shù)紺PU 224；其中可使用來自視頻捕捉裝置的數(shù)據(jù)改變或更新在GPU 226中用于生成圖形圖像的值。而且，本發(fā)明的實施例可使用本領域已知的任何適當?shù)膱D像處理配置與技術。
實施本發(fā)明各方面的程序或計算機指令可由幾種不同方法提供。例如，可以存儲在HDD 248、閃速存儲器242、OS ROM 240或存儲卡232中的程序的形式提供與圖形圖像交互的用戶輸入方法。備選地，可通過一個或多個耦合到CPU 224的輸入端口將該程序下載到處理單元。定義輸入方法的程序模塊可提供有由CPU 224執(zhí)行并在顯示裝置227上顯示的游戲或應用程序，或者它們可與應用程序分開提供，諸如用于從局部主存儲器220執(zhí)行。
本發(fā)明的實施例還考慮了分布式圖像處理配置。例如，本發(fā)明不限于捕捉的圖像和在一個乃至兩個位置進行顯示圖像處理，如在CPU中或在CPU與另一元件中。例如，可同樣容易地在可執(zhí)行處理的相關CPU、處理器或裝置中進行輸入圖像處理；本質上所有圖像處理都可遍布互連系統(tǒng)。因此，本發(fā)明不限于任何特定圖像處理硬件電路和/或軟件。在此描述的實施例也不限于任何通用硬件電路和/或軟件的特定組合，也不限于由處理構件執(zhí)行的指令的任何特定源。
圖12是根據(jù)本發(fā)明一個實施例用于控制顯示屏上所呈現(xiàn)角色的實時運動捕捉的方法操作流程圖。該方法始于操作260，在此定義控制對象的骨架圖像或模型?？刂茖ο罂梢允桥c呈現(xiàn)于顯示屏上的角色相關的玩視頻游戲者。應當理解，此人可站在視頻捕捉裝置前面的視頻捕捉裝置視野內，以便定義如上所述人的模型。因此，骨架圖像或模型可通過自校準過程來定義，其中人站在視頻捕捉裝置前。然后此方法進一步到操作262，在此標識骨架圖像或模型上的標記位置。例如，如參照圖3、5和8所描述的，標記可指示骨架圖像或模型上關節(jié)角的位置。應理解，標記可采用如本文所述的各種形式。
然后圖12的方法繼續(xù)到操作264，在此捕捉與控制對象相關的動作。在一個實施例中，該動作通過配置為提供深度圖像(即，與z軸及x軸和y軸相關的圖像數(shù)據(jù))的攝像機捕捉。在另一實施例中，通過如網(wǎng)絡攝像機的數(shù)字視頻攝像機在二維空間中捕捉動作。然后本方法到操作266，在此響應控制對象的動作，改變骨架圖像或模型的姿勢。也就是說，移動骨架圖像以與控制對象的動作一致。應當理解，當使用深度攝像機作為視頻捕捉裝置時，在此可提供與骨架圖像相對應的深度圖像。定位骨架圖像以與深度圖像的姿勢一致。
為了示范與說明的目的，骨架圖像可被視為定位為與深度圖像姿勢一致的布娃娃。當控制對象移動時，深度圖像追蹤控制對象的移動，反過來，也同樣移動骨架圖像以追隨深度圖像。因此，控制對象的動作由骨架圖像重復。如上所述，可在沒有深度攝像機的情況下使用標記。類似地，可在沒有標記的情況下使用深度攝像機。應當理解，深度攝像機捕捉三維數(shù)據(jù)，然而，深度攝像機不具備將三維數(shù)據(jù)映射到骨架的能力。標記提供了空間中已知的數(shù)據(jù)點，因而標記使深度數(shù)據(jù)能夠映射到骨架。當然，在不使用標記的情況下可進行某種假設，使得深度數(shù)據(jù)可映射到骨架。也就是說，標記消除了這種假設的需要諸如關節(jié)角的實際點由標記標注，并且相應的深度數(shù)據(jù)可從標記所標識的點填入。然后該方法進到操作268，在此根據(jù)骨架姿勢的改變控制顯示屏上所呈現(xiàn)角色的動作。在此，實時控制角色的動作。也就是說，當控制對象移動時，由此通過使用具深度信息和/或標記的圖像數(shù)據(jù)定位骨架。
在一個實施例中，使能通過與控制圖像相關的實時運動捕捉來控制對象的系統(tǒng)包含根據(jù)各構件功能定義的各種構件。該系統(tǒng)包括計算裝置，例如游戲控制臺。該系統(tǒng)可包括用于顯示來自計算裝置所接收數(shù)據(jù)的顯示對象圖像的部件。在此，用于顯示圖像的部件可以是包括電視監(jiān)視器的任何適合的顯示屏。包括用于捕捉與控制對象相關的深度圖像的部件。在一個實施例中，用于捕捉深度圖像的部件可以由能夠提供深度數(shù)據(jù)的攝像機提供，例如可從上述3DVSYSTEMS或CANESTA得到的攝像機。提供將骨架圖像或模型擬合到深度圖像以定義控制對象動作的部件。例如，微處理器可提供將骨架圖像擬合到深度圖像以定義控制對象動作的部件。如上所述，這種處理可通過一個或多個微處理器提供。提供了當控制對象移動時用于轉換控制對象的動作以控制顯示屏上與顯示對象相關運動的部件。在此又是微處理器(如圖形處理單元)可實現(xiàn)用于轉換控制對象的動作以控制與顯示對象相關運動的部件。當然，用于執(zhí)行上述功能的微處理器可包含在芯片組內。
總之，上述發(fā)明描述了提供用于控制視頻游戲角色的實時運動捕捉的方法與系統(tǒng)。上述實施例允許可用于控制視頻游戲角色或對象的實時運動捕捉。結合標記追蹤深度的能力可提供用于標識正追蹤人(控制對象)肢體/身體的起始點。然后填入此人，以類似真實的角色或人。因此，一旦標識出深度圖像，就可從具有深度圖像的數(shù)據(jù)庫或通過視頻捕捉裝置捕捉的深度圖像填入與深度圖像相關的骨架圖像?？山Y合可以或不可以捕捉深度圖像的視頻捕捉裝置使用各種形式的標記。實例可包括固定放置的可佩戴反向反射帶，例如放置在手腕、膝蓋、頭上等。備選地，可提供結合不同類型標記(補片、可標識的線等)的連體服或衣服。在一個實施例中，一旦標識(或檢測)出動作，對動作數(shù)據(jù)庫的參考就可在數(shù)據(jù)庫中定位相應的動作。例如，如果游戲用戶選擇特定角色，例如著名球員，則該動作可以像由該真實的著名球員所執(zhí)行的。這些動作將存儲在數(shù)據(jù)庫中。所獲得的數(shù)據(jù)庫動作由此將用于控制是游戲部分的角色(人/骨架)。在一個實施例中，配置為追蹤深度的攝像機或硬件可包括配置為進行填入的處理器、專用電路或DSP，數(shù)據(jù)庫查找用戶的動作，并將其轉換成“屏幕上”的動作。如上所述，術語骨架圖像可廣泛定義為包括任何被追蹤對象的任何模型，不論此對象是人、有生命還是無生命的對象。
回想上述實施例，應理解到，本發(fā)明可采用各種計算機實現(xiàn)的涉及存儲在計算機系統(tǒng)中數(shù)據(jù)的操作。這些操作包括需要物理處理物理量的操作。通常，雖然不是必要的，這些量采用能夠被存儲、傳送、組合、比較及其它處理的電或磁信號的形式。而且，所執(zhí)行的處理通常指的是諸如生產、標識、確定或比較等術語。
上述發(fā)明可用其它計算機系統(tǒng)配置實踐，包括手持式裝置、微處理器系統(tǒng)、基于微處理器或可編程消費電子設備、迷你計算機、大型計算機等。本發(fā)明也可在分布式計算機環(huán)境中實踐，其中由通過通信網(wǎng)絡鏈接的遠程處理裝置執(zhí)行任務。
本發(fā)明也可實施為計算機可讀媒體上的計算機可讀代碼。計算機可讀媒體是可存儲計算機系統(tǒng)隨后可讀取數(shù)據(jù)的任何數(shù)據(jù)存儲裝置。計算機可讀媒體的實例包括硬盤驅動器、網(wǎng)絡附加存儲(NAS)、只讀存儲器、隨機存取存儲器、CD-ROM、CD-R、CD-RW、磁帶及其它光學與非光學數(shù)據(jù)存儲裝置。計算機可讀媒體也可分布于耦合計算機系統(tǒng)的網(wǎng)絡上，以使計算機可讀代碼以分布方式存儲和執(zhí)行。
雖然出于清楚理解的目的，已詳細描述了本發(fā)明，但顯而易見的是，在所附權利要求書的范圍內可實踐某些變化與修改。因此，所提出的實施例被認為是說明性的而非限制性的，并且本發(fā)明并不局限于在此給出的細節(jié)，而是可在所附權利要求書的范圍與等效物內進行修改。在權利要求書中，元件和/或步驟并不意味任何特定的操作順序，除非在權利要求書中明確說明。
權利要求
1.一種通過實時運動捕捉來控制與計算裝置通信的顯示屏上所呈現(xiàn)對象的方法，包括標識與正追蹤對象相關的深度圖像；標識與顯示屏上所呈現(xiàn)對象和正追蹤對象二者相關的模型；將所述模型擬合到所述深度圖像以捕捉與正追蹤對象相關的運動；以及根據(jù)所述模型到所述深度圖像的擬合來實時控制顯示屏上所呈現(xiàn)的對象。
2.如權利要求1所述的方法，其中所述正追蹤對象是與所述計算裝置交互的人，并且所述模型是所述人的骨架圖像。
3.如權利要求1所述的方法，其中所述計算裝置是視頻游戲控制臺。
4.如權利要求1所述的方法，其中在顯示屏上呈現(xiàn)的所述對象是視頻游戲角色。
5.如權利要求1所述的方法，其中標識與正追蹤對象相關的深度圖像的方法操作包括通過使能夠提供深度數(shù)據(jù)的視頻捕捉裝置來捕捉所述深度圖像。
6.如權利要求1所述的方法，其中標識與正追蹤對象相關的深度圖像的所述方法操作包括從與所述計算裝置相關聯(lián)的數(shù)據(jù)庫中檢索所述深度圖像。
7.如權利要求1所述的方法，其中標識與正追蹤對象相關的深度圖像的所述方法操作包括通過與所述對象相關聯(lián)的標記來追蹤所述對象的動作。
8.如權利要求7所述的方法，其中通過與所述對象相關聯(lián)的標記來追蹤所述對象動作的方法操作包括標識由所述標記引起的無效區(qū)域。
9.一種具有用于通過實時運動捕捉來控制與計算裝置通信的顯示屏上所呈現(xiàn)對象的程序指令的計算機可讀媒體，包括用于標識正追蹤對象的深度圖像的程序指令；用于標識與顯示屏上所呈現(xiàn)對象和正追蹤對象二者相關的模型的程序指令；用于將所述模型擬合到所述深度圖像以捕捉與所述正追蹤對象相關運動的程序指令；以及用于根據(jù)所述模型到所述深度圖像的擬合來實時控制所述顯示屏上所呈現(xiàn)對象的程序指令。
10.如權利要求9所述的計算機可讀媒體，其中所述正追蹤對象是人。
11.如權利要求9所述的計算機可讀媒體，其中所述顯示屏上所呈現(xiàn)的對象是視頻游戲角色。
12.如權利要求9所述的計算機可讀媒體，其中所述深度圖像由能夠提供深度數(shù)據(jù)的視頻捕捉裝置捕捉。
13.如權利要求9所述的計算機可讀媒體，其中用于標識與正追蹤對象相關的深度圖像的所述程序指令包括用于通過與所述對象相關聯(lián)的標記來追蹤所述對象動作的程序指令。
14.如權利要求13所述的計算機可讀媒體，其中用于通過與所述對象相關聯(lián)的標記來追蹤所述對象動作的所述程序指令包括用于標識由所述標記引起的無效區(qū)域的程序指令。
15.一種使能夠通過與控制圖像相關的實時運動捕捉來控制對象的系統(tǒng)，包括計算裝置；與所述計算裝置通信的顯示屏，所述顯示屏配置為顯示對象的圖像，對應于所述對象圖像的數(shù)據(jù)由所述計算裝置提供；與所述計算裝置通信的視頻捕捉裝置，所述視頻捕捉裝置使能夠追蹤控制對象，所述視頻捕捉裝置配置為當所述控制對象移動時，轉換與所述控制對象相關的運動以控制所述顯示屏上所顯示對象的運動。
16.如權利要求15所述的系統(tǒng)，其中所述計算裝置是視頻游戲控制臺。
17.如權利要求15所述的系統(tǒng)，還包括配置為由所述控制對象佩戴的標記，所述標記指示與所述顯示屏上所顯示對象相關的模型上的深度圖像的位置，所述深度圖像由所述視頻捕捉裝置提供。
18.如權利要求15所述的系統(tǒng)，其中所述控制對象是人。
19.如權利要求15所述的系統(tǒng)，其中所述視頻捕捉裝置能夠提供與所述控制對象圖像相關的深度數(shù)據(jù)。
20.如權利要求17所述的系統(tǒng)，其中所述標記是從由顏色、圖案、反向反射材料和發(fā)光器件組成的組中選擇的。
全文摘要
提供了用于控制視頻游戲角色的實時運動捕捉方法。在一個實施例中，方法始于定義控制對象的模型。然后，在模型上標識標記的位置。接著，捕捉與控制對象相關的動作。然后，解釋與該控制對象相關的動作，以改變模型的姿勢。接著，根據(jù)模型姿勢的改變來控制顯示屏上所呈現(xiàn)的角色動作。還提供了計算機可讀媒體與使能夠通過實時運動捕捉來控制視頻角色的處理系統(tǒng)。
文檔編號G06T7/20GK1764931SQ200380110242
公開日2006年4月26日 申請日期2003年10月6日 優(yōu)先權日2003年2月11日
發(fā)明者R·L·馬克斯 申請人:索尼電腦娛樂公司