專利名稱：人體姿態(tài)捕捉裝置及其實現(xiàn)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人體姿態(tài)(位置、動作)的捕捉裝置及其捕捉方法。
背景技術(shù)：
體感游戲是一類須由玩家用身體的各種動作和/或聲音的配合來進行的一種游戲方式。很多大型游戲設(shè)備都設(shè)置了體感游戲方式，比如摩托賽車就會設(shè)置一臺摩托車模型來讓玩家騎在上面操縱游戲畫面中的虛擬摩托車來進行游戲。其優(yōu)點是增強游戲的趣味性，真實感強。但缺點是大型的游戲設(shè)備占用空間大、耗電量大、維護困難，玩家無法搬入自家的客廳中進行游玩。而可以放在家庭中進行游玩的體感游戲設(shè)備通常有以下兩種，它們都是對玩家的動作進行捕獲來進行游戲一種是內(nèi)置傳感器的游戲手柄，傳感器可以有一個或多個，傳感器的類型包括地磁傳感器、加速度傳感器、重力傳感器、紅外光敏感攝像頭等。玩家可以拿著手柄做出各種動作進行游戲。另一種是視頻捕獲設(shè)備，也可以有一個或多個，視頻捕獲設(shè)備的類型包括RGB攝像頭、紅外攝像頭、三維深度攝像頭等。視頻捕獲設(shè)備可以用來識別和追蹤玩家的身體動作進行游戲。針對使用三維深度攝像頭的情況，還可定位出玩家在視頻捕獲設(shè)備前的絕對位置和身體各個部位距離該設(shè)備的絕對距離。但上述兩種體感游戲設(shè)備都存在著各自的局限性對于游戲手柄來說，只能捕獲到玩家持游戲手柄的一只手或手臂(當玩家單手持握游戲手柄時)或者雙手或手臂(當玩家雙手持握游戲手柄時)的單一動作(如轉(zhuǎn)動、揮動等)，無法同時捕獲到玩家身體其他部位(未佩戴游戲手柄的部位)的動作，也無法定位玩家距離顯示屏幕前的絕對距離。對于視頻捕獲設(shè)備來說，雖然可以對一人(或多人)的多個身體部位的動作進行捕捉，但是無法捕捉到諸如手臂、頭部、腿部等肢體轉(zhuǎn)動等動作。當人體快速運動時，還容易產(chǎn)生跟蹤丟失等情況。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種人體姿態(tài)的捕捉裝置，可以精確地定位人體位置，并捕獲人體動作。為此，本發(fā)明還要提供所述人體姿態(tài)的捕捉裝置的實現(xiàn)方法。為解決上述技術(shù)問題，本發(fā)明人體姿態(tài)的捕捉裝置包括游戲手柄、視頻捕獲設(shè)備、 數(shù)據(jù)接收處理端、顯示設(shè)備；所述游戲手柄上包括一個或多個傳感器，所述傳感器為加速度傳感器、陀螺儀傳感器、地磁場傳感器、紅外線傳感器中的一種或多種，所述傳感器測量所述游戲手柄的運動方向、運動速度、轉(zhuǎn)動角度、轉(zhuǎn)動速度；所述視頻捕獲設(shè)備包括RGB攝像頭、紅外攝像頭、三維深度攝像頭中的一種或多種，所述視頻捕獲設(shè)備拍攝包括使用者身體在內(nèi)的視頻捕獲畫面；所述數(shù)據(jù)接收處理端根據(jù)所述游戲手柄和所述視頻捕獲設(shè)備的測量數(shù)據(jù)，在所述顯示設(shè)備上顯示使用者的身體輪廓及身體各部位的運動姿態(tài)。進一步地，當所述視頻捕獲設(shè)備包括三維深度攝像頭時，所述三維深度攝像頭測量人體各部分與三維深度攝像頭之間的距離。所述人體姿態(tài)的捕捉裝置的實現(xiàn)方法為當使用者在視頻捕獲設(shè)備的捕獲范圍之內(nèi)，所述視頻捕獲設(shè)備拍攝包括使用者身體在內(nèi)的視頻捕獲畫面，并傳輸給數(shù)據(jù)接收處理端；使用者單手或雙手持握游戲手柄，和/或游戲手柄捆綁在使用者身體上，所述游戲手柄測量使用者持握或捆綁游戲手柄部位的運動方向、運動速度、轉(zhuǎn)動角度、轉(zhuǎn)動速度， 并提交給數(shù)據(jù)接收處理端；所述數(shù)據(jù)接收處理端根據(jù)所述視頻捕獲設(shè)備傳輸?shù)臄?shù)據(jù)，在視頻捕獲畫面中提取出用戶身體輪廓及身體各部位的位置，并在顯示設(shè)備上顯示出具有相同的身體輪廓及身體各部位的位置的虛擬人物；所述數(shù)據(jù)接收處理端還根據(jù)所述游戲手柄和/或視頻捕獲設(shè)備傳輸?shù)臄?shù)據(jù)，在顯示設(shè)備上對虛擬人物的身體各部位行與游戲手柄傳輸?shù)臄?shù)據(jù)相同的運動方向、運動速度、 轉(zhuǎn)動角度、轉(zhuǎn)動速度。進一步地，當所述視頻捕獲設(shè)備包括三維深度攝像頭時，所述三維深度攝像頭測量人體各部分與三維深度攝像頭之間的距離，并傳輸給數(shù)據(jù)接收處理端。本發(fā)明人體姿態(tài)捕捉裝置及其實現(xiàn)方法能在顯示設(shè)備上跟蹤顯示使用者的身體各部位形狀、位置和運動、轉(zhuǎn)動情況。


圖1是本發(fā)明人體姿態(tài)捕捉裝置的結(jié)構(gòu)示意圖；圖2是本發(fā)明人體姿態(tài)捕捉裝置在使用時的一個實施例的示意圖。圖中附圖標記說明10-游戲手柄；20-視頻捕獲設(shè)備；21-三維深度攝像頭的紅外或激光發(fā)射裝置； 22-麥克風(fēng)；23-RGB攝像頭；24-三維深度攝像頭；30-數(shù)據(jù)接收處理端；40-顯示設(shè)備； 50-使用者；51-使用者的運動姿態(tài)；60-虛擬人物；61-虛擬人物的運動姿態(tài)。
具體實施例方式請參閱圖1，本發(fā)明人體姿態(tài)的捕捉裝置包括游戲手柄10、視頻捕獲設(shè)備20、數(shù)據(jù)接收處理端30和顯示設(shè)備40。所述游戲手柄10上包括一個或多個傳感器，所述傳感器為加速度傳感器、陀螺儀傳感器、地磁場傳感器、紅外線傳感器中的一種或多種，所述傳感器測量所述游戲手柄的運動方向、運動速度、轉(zhuǎn)動角度、轉(zhuǎn)動速度。所述視頻捕獲設(shè)備20包括RGB攝像頭、紅外攝像頭、三維深度攝像頭中的一種或多種，所述視頻捕獲設(shè)備拍攝包括使用者身體在內(nèi)的視頻捕獲畫面。當所述視頻捕獲設(shè)備包括三維深度攝像頭時，所述三維深度攝像頭還通過發(fā)射對人體無害的射線來測量人體各部分與三維深度攝像頭之間的距離。三維深度攝像頭的工作原理在中國發(fā)明專利申請公布說明書CN101288105A(
公開日2008年10月15日)中有記載。所述數(shù)據(jù)接收處理端30根據(jù)所述游戲手柄10和所述視頻捕獲設(shè)備20的測量數(shù)據(jù)，在所述顯示設(shè)備40上顯示使用者的身體輪廓及身體各部位的運動姿態(tài)。所述數(shù)據(jù)接收處理端30例如為計算機。所述游戲手柄10與數(shù)據(jù)接收處理端30 之間以有線或無線方式相連接。所述視頻捕獲設(shè)備20與數(shù)據(jù)接收處理端30之間也以有線或無線方式相連接。有線方式例如為USB接口或串口。無線方式例如為藍牙。請參閱圖2，這是本發(fā)明人體姿態(tài)捕捉裝置在使用時的示意圖。所述人體姿態(tài)的捕捉裝置的實現(xiàn)方法為當使用者50在視頻捕獲設(shè)備20的捕獲范圍之內(nèi)，所述視頻捕獲設(shè)備20拍攝包括使用者50身體在內(nèi)的視頻捕獲畫面，并傳輸給數(shù)據(jù)接收處理端30(未圖示)。圖2中的視頻捕獲設(shè)備20包括三維深度攝像頭對、三維深度攝像頭M的紅外或激光發(fā)射裝置21、麥克風(fēng)22和RGB攝像頭23。當所述視頻捕獲設(shè)備20包括三維深度攝像頭M時，所述三維深度攝像頭M測量使用者50的身體各部分與三維深度攝像頭M之間的距離，并傳輸給數(shù)據(jù)接收處理端30。使用者50單手或雙手持握游戲手柄10，和/或游戲手柄10捆綁在使用者50身體 (如頭部、頸部、軀干、腿部)上，所述游戲手柄10測量使用者50持握或捆綁游戲手柄10的部位的運動方向、運動速度、轉(zhuǎn)動角度、轉(zhuǎn)動速度，并提交給數(shù)據(jù)接收處理端30。所述數(shù)據(jù)接收處理端30根據(jù)所述視頻捕獲設(shè)備20傳輸?shù)臄?shù)據(jù)，在視頻捕獲畫面中提取出使用者50的身體輪廓及身體各部位的位置，并在顯示設(shè)備40上顯示出具有相同的身體輪廓及身體各部位的位置的虛擬人物60。具體而言，所述視頻捕獲設(shè)備20傳輸?shù)臄?shù)據(jù)為每個像素的二維坐標(x、y)。當視頻捕獲設(shè)備20中包括三維深度攝像頭時，所述視頻捕獲設(shè)備20傳輸?shù)臄?shù)據(jù)為每個像素的三維坐標(x、y、z)。數(shù)據(jù)接收處理端30會根據(jù)所述視頻捕獲設(shè)備20傳輸?shù)臄?shù)據(jù)來定位使用者50的頭、頸、軀干、四肢等的二維或三維坐標。這些坐標的精確度都是由攝像頭的內(nèi)部參數(shù)決定的。然后數(shù)據(jù)接收處理端30根據(jù)這些坐標提取出使用者50的身體輪廓、位置，并在顯示設(shè)備40中顯示身體各部位的輪廓、位置大致相同的虛擬人物60。所述根據(jù)使用者50的身體各部分坐標提取身體輪廓和位置的方法為首先建立一組包含人體頭部、軀干和四肢的模板，至少包括身體正面、身體斜側(cè)面、身體正側(cè)面的模板。當使用者50站在視頻捕獲設(shè)備20捕獲范圍內(nèi)時，先通過全部掃描方式找到與視頻捕獲設(shè)備20距離最近的一個像素點，該點與視頻捕獲設(shè)備20的距離為a。再搜索與視頻捕獲設(shè)備20的距離為a 士 At(At為設(shè)定的閾值)范圍內(nèi)的全部像素點。接著在搜索的像素點集合中只保留每個像素與該集合中鄰近像素之間的距離小于b(b為給定值)的像素點。再將符合上述兩次篩選的像素點的集合與上述模板組進行匹配，匹配算法例如為連續(xù)隱馬爾可夫模型。所述在顯示設(shè)備40中顯示虛擬人物60的方法為先提取出使用者50的身體輪廓各個點的坐標；然后計算出使用者50身體的每個區(qū)域(比如頭部，雙手雙腳，手臂和腿部， 軀干和腰部等)的重心點；再根據(jù)這些點映射到虛擬人物60的相應(yīng)區(qū)域的重心點。
5
所述數(shù)據(jù)接收處理端30還根據(jù)所述游戲手柄10和/或視頻捕獲設(shè)備20傳輸?shù)臄?shù)據(jù)，在顯示設(shè)備40上對虛擬人物60的身體各部位進行動作，虛擬人物60的動作與游戲手柄10傳輸?shù)倪\動方向、運動速度、轉(zhuǎn)動角度、轉(zhuǎn)動速度相吻合。對于使用者50身體各部位的線性運動，游戲手柄10中的傳感器可以捕捉并發(fā)送給數(shù)據(jù)接收處理端30 ；數(shù)據(jù)接收處理端30也可根據(jù)視頻捕獲設(shè)備20的不同畫面計算得出。當游戲手柄10和視頻捕獲設(shè)備20同時捕捉使用者50的線性運動時，一方可對另一方的捕捉結(jié)果進行補償、修正。對于使用者50身體各部位的轉(zhuǎn)動運動，則只能由游戲手柄10中的傳感器進行捕捉，視頻捕獲設(shè)備20無法捕捉。此時，使用者50發(fā)生轉(zhuǎn)動的身體部位持握或佩戴的游戲手柄10可以通過內(nèi)置的傳感器實時采集到旋轉(zhuǎn)值A(chǔ)d。數(shù)據(jù)接收處理端30則讓顯示設(shè)備40 中的虛擬人物60的相應(yīng)手臂發(fā)生旋轉(zhuǎn)值為AD的旋轉(zhuǎn)動作。其中AD = F(Ad), F為映射函數(shù)。這樣，使用者50面對視頻捕獲設(shè)備20、且隨身攜帶游戲手柄10做動作(包括身體部位的轉(zhuǎn)動)時，顯示設(shè)備40上的虛擬人物60也會進行同樣的動作(姿勢和幅度)。進一步地，還可根據(jù)逆向運動學(xué)原理使虛擬人物的動作更為逼真。關(guān)于逆向運動學(xué)的應(yīng)用在中國發(fā)明專利申請公開說明書CN1461460A(
公開日2003年12月10日)有記載。例如使用者做揮手動作時，視頻捕獲設(shè)備就會按照游戲手柄揮動的方向和速度跟蹤手臂的位置，這樣會有效防止跟蹤數(shù)據(jù)的丟失。
權(quán)利要求
1.一種人體姿態(tài)捕捉裝置，其特征是，所述裝置包括游戲手柄、視頻捕獲設(shè)備、數(shù)據(jù)接收處理端、顯示設(shè)備；所述游戲手柄上包括一個或多個傳感器，所述傳感器為加速度傳感器、陀螺儀傳感器、 地磁場傳感器、紅外線傳感器中的一種或多種，所述傳感器測量所述游戲手柄的運動方向、 運動速度、轉(zhuǎn)動角度、轉(zhuǎn)動速度；所述視頻捕獲設(shè)備包括RGB攝像頭、紅外攝像頭、三維深度攝像頭中的一種或多種，所述視頻捕獲設(shè)備拍攝包括使用者身體在內(nèi)的視頻捕獲畫面；所述數(shù)據(jù)接收處理端根據(jù)所述游戲手柄和所述視頻捕獲設(shè)備的測量數(shù)據(jù)，在所述顯示設(shè)備上顯示使用者的身體輪廓及身體各部位的運動姿態(tài)。
2.根據(jù)權(quán)利要求1所述的人體姿態(tài)捕捉裝置，其特征是，當所述視頻捕獲設(shè)備包括三維深度攝像頭時，所述三維深度攝像頭測量人體各部分與三維深度攝像頭之間的距離。
3.如權(quán)利要求1所述的人體姿態(tài)捕捉裝置的實現(xiàn)方法，其特征是，所述方法為當使用者在視頻捕獲設(shè)備的捕獲范圍之內(nèi)，所述視頻捕獲設(shè)備拍攝包括使用者身體在內(nèi)的視頻捕獲畫面，并傳輸給數(shù)據(jù)接收處理端；使用者單手或雙手持握游戲手柄，和/或游戲手柄捆綁在使用者身體上，所述游戲手柄測量使用者持握或捆綁游戲手柄部位的運動方向、運動速度、轉(zhuǎn)動角度、轉(zhuǎn)動速度，并提交給數(shù)據(jù)接收處理端；所述數(shù)據(jù)接收處理端根據(jù)所述視頻捕獲設(shè)備傳輸?shù)臄?shù)據(jù)，在視頻捕獲畫面中提取出用戶身體輪廓及身體各部位的位置，并在顯示設(shè)備上顯示出具有相同的身體輪廓及身體各部位的位置的虛擬人物；所述數(shù)據(jù)接收處理端還根據(jù)所述游戲手柄和/或視頻捕獲設(shè)備傳輸?shù)臄?shù)據(jù)，在顯示設(shè)備上對虛擬人物的身體各部位行與游戲手柄傳輸?shù)臄?shù)據(jù)相同的運動方向、運動速度、轉(zhuǎn)動角度、轉(zhuǎn)動速度。
4.根據(jù)權(quán)利要求3所述的人體姿態(tài)捕捉裝置的實現(xiàn)方法，其特征是，當所述視頻捕獲設(shè)備包括三維深度攝像頭時，所述三維深度攝像頭測量人體各部分與三維深度攝像頭之間的距離，并傳輸給數(shù)據(jù)接收處理端。
5.根據(jù)權(quán)利要求3所述的人體姿態(tài)捕捉裝置的實現(xiàn)方法，其特征是，對于使用者身體各部位的線性運動，由所述游戲手柄和/或視頻捕獲設(shè)備捕捉；對于使用者身體各部位的轉(zhuǎn)動運動，則只能由所述游戲手柄進行捕捉。
全文摘要
本發(fā)明公開了一種人體姿態(tài)捕捉裝置，包括游戲手柄、視頻捕獲設(shè)備、數(shù)據(jù)接收處理端、顯示設(shè)備。游戲手柄上包括一個或多個加速度傳感器、陀螺儀傳感器、地磁場傳感器、紅外線傳感器中的一種或多種，傳感器測量游戲手柄的運動方向、運動速度、轉(zhuǎn)動角度、轉(zhuǎn)動速度。視頻捕獲設(shè)備包括RGB攝像頭、紅外攝像頭、三維深度攝像頭中的一種或多種，視頻捕獲設(shè)備拍攝包括使用者身體在內(nèi)的視頻捕獲畫面。數(shù)據(jù)接收處理端根據(jù)游戲手柄和視頻捕獲設(shè)備的測量數(shù)據(jù)，在顯示設(shè)備上顯示使用者的身體輪廓及身體各部位的運動姿態(tài)。本發(fā)明還公開了所述人體姿態(tài)捕捉裝置的實現(xiàn)方法。本發(fā)明能在顯示設(shè)備上跟蹤顯示使用者的身體各部位形狀、位置和運動、轉(zhuǎn)動情況。
文檔編號A63F13/06GK102553232SQ201010576789
公開日2012年7月11日 申請日期2010年12月7日 優(yōu)先權(quán)日2010年12月7日
發(fā)明者葛沖 申請人:鼎億公司, 鼎億數(shù)碼科技(上海)有限公司