一種基于視覺的實時人體全身體運(yùn)動捕捉方法及其系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及電子信息學(xué)科學(xué)領(lǐng)域，特別是基于視覺的實時人體全身體運(yùn)動捕捉 方法及其系統(tǒng)。
【背景技術(shù)】
[0002] 人體運(yùn)動分析是當(dāng)前計算機(jī)圖形學(xué)和計算機(jī)視覺研究的熱門問題之一。其原因在 于人體運(yùn)動數(shù)據(jù)在許多領(lǐng)'e娛樂和人機(jī)交互領(lǐng)域。例如，在許多視頻游戲或計算機(jī)動畫 種，人體運(yùn)動數(shù)據(jù)常被用來驅(qū)動虛擬角色，使得虛擬角色的動作自然逼真；對人體運(yùn)動如手 勢的跟蹤識別，可將人體姿勢、手勢等動作轉(zhuǎn)化為一定的計算機(jī)命令，從而作為一種人機(jī)交 互的方式；第三類主要應(yīng)用是在醫(yī)療和體育方面，例如步態(tài)分析是醫(yī)學(xué)治療中對人體動作、 身體力學(xué)機(jī)能、以及肌肉活動能力等觀察和分析的一種方法，其核心在于對觀察對象的關(guān) 節(jié)位置、姿勢等系統(tǒng)觀測和評估；在體育訓(xùn)練中，運(yùn)動分析技術(shù)也常常用來幫助教練與運(yùn)動 員分析訓(xùn)練運(yùn)動中的情況，用以提高運(yùn)動水平。
[0003] 通過人眼觀察、攝像或攝影等方式可以對人體運(yùn)動進(jìn)行分析。但是，要獲得準(zhǔn)確定 量的人體運(yùn)動數(shù)據(jù)，只有采用專門的動作捕捉設(shè)備。當(dāng)前，動作捕捉設(shè)備主要分為三類，第 一類是光學(xué)傳感捕捉設(shè)備，即通過攝像捕獲到穿戴設(shè)備上的標(biāo)志點(diǎn)的運(yùn)動軌跡，然后分析 計算出人體的關(guān)節(jié)運(yùn)動數(shù)據(jù)；第二類是機(jī)械捕捉設(shè)備，其通過直接測量人體關(guān)節(jié)角度等數(shù) 據(jù)，一般需要被測量者穿戴上類似于骨架結(jié)構(gòu)的機(jī)械測量設(shè)備；第三類是電磁傳感捕捉設(shè) 備，即采用電磁傳感器測量和計算人體關(guān)節(jié)角度等數(shù)據(jù)，也需要穿戴特制的電磁傳輸和接 收設(shè)備或標(biāo)志。上述動作捕捉設(shè)備都需要人體對象穿戴上復(fù)雜的傳感標(biāo)志設(shè)備，這有時候 會對人體對象的運(yùn)動產(chǎn)生限制或影響；并且這些設(shè)備需要昂貴的配套計算和分析設(shè)備，設(shè) 備總體價格非常昂貴。這是很多有動作捕捉需求的一般用戶無法承受的。這促使人們尋找 更加便宜而方便的動作捕捉技術(shù)。
[0004] 近幾年，在計算機(jī)視覺和計算機(jī)圖形學(xué)領(lǐng)域，無標(biāo)識的運(yùn)動捕捉技術(shù)成為研究熱 點(diǎn)。無標(biāo)識運(yùn)動捕捉即采用非接觸的基于圖像的方法，從圖像中直接計算出人體對象的姿 態(tài)運(yùn)動數(shù)據(jù)，從而不再需要傳統(tǒng)動作捕捉技術(shù)所必要的穿戴設(shè)備，達(dá)到快捷、方便的目的。 然而，從圖像直接恢復(fù)三維人體姿態(tài)存在以下困難：1)人體三維姿態(tài)運(yùn)動是高維度的，包 含至少30個以上自由度；而圖像數(shù)據(jù)是二維的，由圖像得到觀測數(shù)據(jù)由于光照、運(yùn)動模糊 或攝像機(jī)輕微抖動等因素影響往往包含噪聲，并且其與人體三維姿態(tài)往往是存在復(fù)雜的 非線性關(guān)系；2)人體的形體尺寸各異，并且姿態(tài)運(yùn)動是無約束的，難以建立準(zhǔn)確的動態(tài)模 型或?qū)ζ溥M(jìn)行準(zhǔn)確的預(yù)測，這對姿態(tài)估計和人體建模都帶來很大挑戰(zhàn)；3)人體在運(yùn)動過程 中，各肢體常常會存在遮擋或緊密接觸，這種自遮擋在二維圖像中往往造成觀測數(shù)據(jù)的奇 異，從而有可能造成姿態(tài)估計的奇異值。為了使得問題簡單，當(dāng)前幾乎所有方法會對人體對 象的運(yùn)動、捕捉環(huán)境以及攝像機(jī)等因素加以某些限制。比如會要求捕捉環(huán)境中只有單個人 體，只限在室內(nèi)環(huán)境，且背景簡單、光照可控。
[0005] 與單攝像機(jī)方法相比，采用多攝像機(jī)的方法能夠更好的處理自遮擋、奇異值等問 題，能夠獲得更高的精度和穩(wěn)定性。雖然有多種多攝像機(jī)方法，但是很少有方法能夠獲得與 傳統(tǒng)基于標(biāo)識的動作捕捉技術(shù)相匹配的性能，其在人體跟蹤的精度、穩(wěn)定性和實時性方面 都要差得比較多。因此，研究能夠獲得更高精度、具有更好的穩(wěn)定性和實時性的無標(biāo)識運(yùn)動 捕捉方法具有重要的理論和應(yīng)用價值。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明公開了一種基于視覺的實時人體全身體運(yùn)動捕捉方法及其系統(tǒng)，該方法能 夠通過非接觸的計算機(jī)視覺方法，無須額外的穿戴標(biāo)識設(shè)備，可實現(xiàn)對人體全身骨架姿態(tài) 數(shù)據(jù)實時獲取并實時對虛擬角色驅(qū)動。
[0007] 本發(fā)明的技術(shù)方案是：
[0008] -種基于視覺的實時人體全身體運(yùn)動捕捉方法，其特征在于，包括以下步驟：
[0009] Sl:多攝像機(jī)同步拍攝獲取人體對象視頻圖像；
[0010] S2:多像機(jī)視頻圖像數(shù)據(jù)中重建三維形體數(shù)據(jù)；
[0011] 通過對獲取的多攝像機(jī)圖像進(jìn)行處理,重建出人體三維點(diǎn)云和三維光流；重建三 維點(diǎn)云采取計算機(jī)視覺中基于輪廓的三維重建方法；重建三維光流采用基于二維光流重建 三維光流場的方法；
[0012] S3 :運(yùn)動捕捉初始化；將三維人體模型匹配到初始時刻對應(yīng)的人體對象三維形體 數(shù)據(jù)，使得三維人體模型的尺寸和姿態(tài)與初始時刻人體對象的尺寸和姿態(tài)相符；具體包括 下面兩個步驟：
[0013] S3. 1 :三維形體重建和三維人體模型：采取計算機(jī)視覺中基于輪廓的三維重建方 法，重建出人體對象點(diǎn)云或體塊數(shù)據(jù)；設(shè)計或由第三方圖形軟件比如Maya獲得一種尺寸、 姿態(tài)可調(diào)的三維虛擬人體模型；
[0014] S3. 2 :采用一種基于模型的姿態(tài)和尺寸估計方法，將人體模型準(zhǔn)確的匹配到重建 出的三維人體形態(tài)數(shù)據(jù)上，使得虛擬人體模型以相同的姿態(tài)和相近的形體尺寸呈現(xiàn)；
[0015] S4 :三維骨架姿態(tài)估計和跟蹤；具體包括下面三個步驟：
[0016] S4. 1 :基于一種隨機(jī)搜索方法的姿態(tài)估計：綜合運(yùn)用前一時刻姿態(tài)估計結(jié)果、人 體模型及運(yùn)動模型，采用一種生成采樣的隨機(jī)搜索方法，從隨時間變化的人體動態(tài)姿態(tài)的 近似概率分布模型中把當(dāng)前時刻的姿態(tài)估計出來；
[0017] S4. 2 :基于局部優(yōu)化的姿態(tài)參數(shù)修正：對由步驟S4. 1中姿態(tài)估計的結(jié)果，采用一 種局部優(yōu)化方法，對局部姿態(tài)參數(shù)進(jìn)行修正；
[0018] S4. 3:姿態(tài)數(shù)據(jù)平滑處理：對一定時間窗口的姿態(tài)數(shù)據(jù)進(jìn)行平滑處理，對異常的 姿態(tài)參數(shù)進(jìn)行修正，使得獲取的姿態(tài)運(yùn)動數(shù)據(jù)無跳躍或震顫異常；
[0019] S5 :由獲得的姿態(tài)運(yùn)動數(shù)據(jù)驅(qū)動虛擬角色同步運(yùn)動；
[0020] 將獲得姿態(tài)運(yùn)動數(shù)據(jù)通過插件直接由第三方軟件進(jìn)行角色驅(qū)動，達(dá)到虛擬角色與 人體對象實時同步的效果。
[0021] 本發(fā)明中，步驟3. 2的具體步驟如下：
[0022] S3. 2. 1、采用分等級優(yōu)化的方法，先后對上身、左右下肢、左右上肢、頭部進(jìn)行匹 配，具體過程如下：首先對軀干的位置和方位參數(shù)進(jìn)行估計，包括三個位置和三個旋轉(zhuǎn)參 數(shù)；然后對頭部、大腿和上臂關(guān)節(jié)參數(shù)進(jìn)行估計；最后對小腿和下臂的關(guān)節(jié)參數(shù)進(jìn)行估計；
[0023] 其中對軀干的位置（Xtl,y(l，Ztl)和方位參數(shù)以，灼，慫)估計采用如下方法：
[0024] al、對重建的人體點(diǎn)云通過切片的方法檢測得到軀干部位對應(yīng)的點(diǎn)云集合；其 中切片方法是指以一定的采樣間隔獲取三維點(diǎn)云在垂直于軀干平面或堅直平面上的點(diǎn)集 合；
[0025] bl、計算所找到的點(diǎn)云集合的重心位置(U,F):
【主權(quán)項】
1. 一種基于視覺的實時人體全身體運(yùn)動捕捉方法，其特征在于，包括以下步驟： S1 :多攝像機(jī)同步拍攝獲取人體對象視頻圖像； S2:多像機(jī)視頻圖像數(shù)據(jù)中重建三維形體數(shù)據(jù)； 通過對獲取的多攝像機(jī)圖像進(jìn)行處理，重建出人體三維點(diǎn)云和三維光流；重建三維點(diǎn) 云采取計算機(jī)視覺中基于輪廓的三維重建方法；重建三維光流采用基于二維光流重建三維 光流場的方法； 53 :運(yùn)動捕捉初始化；將三維人體模型匹配到初始時刻對應(yīng)的人體對象三維形體數(shù) 據(jù)，使得三維人體模型的尺寸和姿態(tài)與初始時刻人體對象的尺寸和姿態(tài)相符；具體包括下 面兩個步驟： S3. 1 :三維形體重建和三維人體模型：采取計算機(jī)視覺中基于輪廓的三維重建方法， 重建出人體對象點(diǎn)云或體塊數(shù)據(jù)；設(shè)計或由第三方圖形軟件比如Maya獲得一種尺寸、姿態(tài) 可調(diào)的三維虛擬人體模型； 53. 2 :采用一種基于模型的姿態(tài)和尺寸估計方法，將人體模型準(zhǔn)確的匹配到重建出的 三維人體形態(tài)數(shù)據(jù)上，使得虛擬人體模型以相同的姿態(tài)和相近的形體尺寸呈現(xiàn)； 54 :三維骨架姿態(tài)估計和跟蹤；具體包括下面三個步驟： 54. 1 :基于一種隨機(jī)搜索方法的姿態(tài)估計：綜合運(yùn)用前一時刻姿態(tài)估計結(jié)果、人體模 型及運(yùn)動模型，采用一種生成采樣的隨機(jī)搜索方法，從隨時間變化的人體動態(tài)姿態(tài)的近似 概率分布模型中把當(dāng)前時刻的姿態(tài)估計出來； S4. 2 :基于局部優(yōu)化的姿態(tài)參數(shù)修正：對由步驟S4. 1中姿態(tài)估計的結(jié)果，采用一種局 部優(yōu)化方法，對局部姿態(tài)參數(shù)進(jìn)行修正； S4. 3 :姿態(tài)數(shù)據(jù)平滑處理：對一定時間窗口的姿態(tài)數(shù)據(jù)進(jìn)行平滑處理，對異常的姿態(tài) 參數(shù)進(jìn)行修正，使得獲取的姿態(tài)運(yùn)動數(shù)據(jù)無跳躍或震顫異常； 55 :由獲得的姿態(tài)運(yùn)動數(shù)據(jù)驅(qū)動虛擬角色同步運(yùn)動； 將獲得姿態(tài)運(yùn)動數(shù)據(jù)通過插件直接由第三方軟件進(jìn)行角色驅(qū)動，達(dá)到