專利名稱：一種基于關鍵標記點的人體姿態(tài)稀疏重建方法
技術領域：
本發(fā)明涉及三維圖形學和虛擬現(xiàn)實領域，尤其涉及一種人體姿態(tài)稀疏重建方法。
背景技術：
人體運動捕獲技術已被廣泛應用到動畫制作，電影特效，計算機游戲等娛樂領域，帶來巨大的經(jīng)濟效益。盡管目前各種商業(yè)捕獲系統(tǒng)已經(jīng)能夠以很高的時空分辨率進行跟蹤和記錄人體運動，但是由于需要非常高成本的軟件、設備和數(shù)據(jù)采集過程(穿戴很麻煩，商用設備通常需要用戶穿戴40 -50個仔細貼放的反光標記點，或者18個磁力或慣性傳感器)，另外，它們通常會對表演的演員和采集環(huán)境有特殊的要求與限制，導致它們不適合家用。在一些家庭娛樂應用中并不需要捕獲到十分精確的人體姿態(tài)，往往只需要知道當前表演交互的用戶是走、是跑、是蹲抑或是跳，只需要知道手和腳位于空間中的大概區(qū)域而并不關心手指、腳趾、肘部、膝蓋的精確坐標，此時，使用精密的商用捕獲設備就顯然是殺雞用牛刀。對低成本的非精密的運動捕獲系統(tǒng)的需求日益強烈，使得能夠通過很少的傳感器就提取出用戶有意義的運動信息的系統(tǒng)變得很具有吸引力，因為它們極大地減少了設備脫戴的時間和數(shù)據(jù)采集過程的復雜度。這些系統(tǒng)實現(xiàn)的具體技術手段雖然各有不同，但是主體上的思想就是利用捕獲的低維控制信號來恢復出人體姿態(tài)。因此，如何利用低維度的控制信號恢復出盡可能自然真實的高維度運動姿態(tài)就稱為一個極具挑戰(zhàn)性的問題。利用低維的控制信號來捕獲全身運動的時候，有許多維度是沒有受到約束的，這些維度的數(shù)據(jù)要么需要根據(jù)逆向運動學的方法被計算出來，要么需要根據(jù)數(shù)據(jù)庫中數(shù)據(jù)被合成或者重建出來。傳統(tǒng)的逆向運動學(Inverse Kinematics),在已知人體末端節(jié)點位置的情況下，利用運動學公式解欠定的非線性系統(tǒng)來計算出人體所有關節(jié)點的參數(shù)配置，縱使加了人體測量學方面的約束，逆向運動學的求解計算過程仍然是非常復雜，而且最終計算出來的姿態(tài)可能不夠自然。這時，以事先捕獲的運動數(shù)據(jù)為支撐的數(shù)據(jù)驅(qū)動的方法就顯現(xiàn)出了威力。近年來，基于數(shù)據(jù)驅(qū)動的去噪方法逐漸興起，這些方法利用已捕獲的純凈的運動數(shù)據(jù)作為數(shù)據(jù)庫支持，以當前輸入的控制信號作為查詢條件，查找與之最為匹配的近鄰姿態(tài)，利用這些近鄰姿態(tài)進行重構，各個方法的差異主要體現(xiàn)在如何重構上面。這種方法使得運動數(shù)據(jù)可以重復利用，進一步降低了工業(yè)成本和提高了運動捕獲的性價比。

發(fā)明內(nèi)容
本發(fā)明是通過以下技術方案來實現(xiàn)的:提供一種基于關鍵標記點的三維人體運動姿態(tài)稀疏重建方法，包括如下步驟:( I)下載純凈人體運動數(shù)據(jù)庫；(2)使用運動捕獲設備捕獲人體運動數(shù)據(jù):我們希望使用盡可能少的關節(jié)點信息來恢復出全身的姿態(tài)，從人的直覺來看，四肢和頭部都至少需要保留一個末端節(jié)點，另外我們需要跟蹤貼于臀部的根節(jié)點的全局位置和朝向，以方便對輸入信號進行平移和旋轉(zhuǎn)。因此，使用Vicon運動捕獲系統(tǒng)對貼于人體這六個關鍵關節(jié)處的反光標記點的軌跡信息進行捕捉；(3)對步驟I獲得的數(shù)據(jù)進行預處理:將步驟I中數(shù)據(jù)庫的數(shù)據(jù)從BVH格式轉(zhuǎn)化為TRC格式，同時對每個姿態(tài)進行平移、旋轉(zhuǎn)變換；平移變換主要是將運動數(shù)據(jù)的位于臀部的root節(jié)點移動到全局坐標系的原點去，而旋轉(zhuǎn)變換是將身體軀干所在的平面(由身體上貼的marker點所擬合出來的平面)的法向量與全局坐標系中的x坐標對齊，保證所有處理
后的姿態(tài)具有相同的位置和朝向；記下變換矩陣Mtrans，其反變換為MnI ;(4)對步驟3輸出的平移和旋轉(zhuǎn)后的運動數(shù)據(jù)構建索引:為了使得輸入的控制信號能夠在數(shù)據(jù)庫中快速查找到與之最為匹配的運動姿態(tài)，我們對經(jīng)過步驟3處理后的數(shù)據(jù)，提取出這些姿態(tài)與輸入控制信號相對應的關節(jié)點信息，即頭部、左手腕、右手腕、左腳跟以及右腳跟5個關節(jié)點，共15維度的數(shù)據(jù)構建k-d樹索引。(5)在數(shù)據(jù)庫中查找與輸入控制信號最匹配的運動姿態(tài):對于t時刻輸入的控制信號λ G RW其中k為控制關節(jié)點的數(shù)目，3*k中的3表示X，y, Z三個坐標維度；我們在數(shù)
據(jù)庫中利用k-d樹查找與之最為接近的η個特征向量
權利要求
1.一種基于關鍵標記點的三維人體運動姿態(tài)稀疏重建方法，其特征在于，包括如下步驟: 步驟1:下載純凈人體運動數(shù)據(jù)庫； 步驟2:使用運動捕獲設備捕獲低維控制點信號:對貼于人體六個關鍵關節(jié)處的反光標記點的軌跡信息進行捕捉，這六個關節(jié)點為:根節(jié)點、頭節(jié)點、左手腕、右手腕、左腳跟和右腳跟，分別對應于運動數(shù)據(jù)中的ROOT、HEAD、LWRIST、RWRIST、LHEEL和RHEEL關節(jié)點；步驟3:對步驟I中獲得的數(shù)據(jù)庫中的數(shù)據(jù)進行預處理:將步驟I中下載的數(shù)據(jù)庫的數(shù)據(jù)從BVH格式轉(zhuǎn)化為TRC格式，同時對每個姿態(tài)進行平移和旋轉(zhuǎn)變換；平移變換主要是將運動數(shù)據(jù)的位于臀部的ROOT節(jié)點移動到全局坐標系的原點去，而旋轉(zhuǎn)變換是將身體軀干所在的平面的法向量與全局坐標系中的X坐標對齊，保證所有處理后的姿態(tài)具有相同的位置和朝向；記下變換矩陣Mtrans，其反變換為1/=5 ；步驟4:對步驟3輸出的平移和旋轉(zhuǎn)變換后的運動數(shù)據(jù)構建索引:對經(jīng)過步驟3處理后的數(shù)據(jù)，提取對應于HEAD、LffRIST, RffRIST, LHEEL, RHEEL關節(jié)點數(shù)據(jù)作為索引構建k - d樹表示數(shù)據(jù)庫中姿態(tài)集合，m為數(shù)據(jù)庫的幀數(shù)，d表示人體運動數(shù)據(jù)的維度；矩陣P表示數(shù)據(jù)庫運動矩陣:P=[Pl，P2,, Pffl];定義Φ操作為提取矩陣對應的非零行向量拼成子矩陣，定義掩碼矩陣M e做其與HEAD、LWRIST、RWRIST、LHEEL、RHEEL關節(jié)點相關的維度元素都為1，其他行元素為O ;則數(shù)據(jù)庫特征矩陣Ι) = Φ(Ρ Α/) , DeRtxm，其中k=5 X 3=15表示控制信號和k - d樹的維度，最后對D構建k - d樹索引；步驟5:在數(shù)據(jù)庫中查找與步 驟2中捕獲的關節(jié)點控制信號最匹配的運動姿態(tài):對于第t幀的輸入的控制信號，其中k為控制關節(jié)點的數(shù)目，3*k中的3表示X，y, z三個坐標維度；在數(shù)據(jù)庫中利用k-d樹查找與之最為接近的η個特征向量GR3I，定 ,/ 玉，一，■*.義這η個近鄰特征組成的矩陣為恢復字典DSt 二],這些特征對應的數(shù)據(jù)庫姿態(tài)子矩陣為€ ，pt2 ,-,Ptn _ ；步驟6:對步驟2捕獲的關節(jié)點信息進行基于近鄰姿態(tài)的線性回歸，恢復出局部坐標系下運動姿態(tài):由于目標在于使得恢復出來的姿態(tài)由Pt中的姿態(tài)線性組成，于是問題轉(zhuǎn)化為求解重建系數(shù)，使得恢復的姿態(tài)系數(shù)求解公式為能量最小化方程，定義為: "=argminw； (Econtrol(ω() + I2Esmoorh(cot))， 其中To力要求解的重建系數(shù)，E_tMl(cot)表示控制項，即保證恢復出來的姿態(tài)要盡可能滿足低維控制信號的約束要求，Es_th(cot)表示平滑項，如果僅僅考慮當前的控制信號的約束，可能會使得恢復的幀與幀間出現(xiàn)高頻的抖動，通過將前一幀恢復出來的姿態(tài)加入約束，可以保證平滑性要求，λ2表示平滑項的權重； 定義:
全文摘要
本發(fā)明公開了一種基于關鍵標記點的人體姿態(tài)稀疏重建方法，該方法對于數(shù)據(jù)庫中人體運動數(shù)據(jù)提取出與關鍵標記點對應的關節(jié)點信息構建k-d樹索引，然后對每幀輸入的控制信號，在數(shù)據(jù)庫中查找與之最為匹配的近鄰，由它們構成恢復字典，利用稀疏表達的優(yōu)化框架并將前一幀恢復的結(jié)果納入當前幀的平滑約束中，恢復出全身的運動姿態(tài)，恢復出來的缺失的關鍵點信息足夠自然，并在時序上沒有抖動。
文檔編號G06F17/30GK103150752SQ20131004789
公開日2013年6月12日 申請日期2013年2月2日 優(yōu)先權日2013年2月2日
發(fā)明者肖俊, 林海, 莊越挺 申請人:浙江大學