專(zhuān)利名稱(chēng)：：基于動(dòng)態(tài)模板的光學(xué)運(yùn)動(dòng)捕捉數(shù)據(jù)處理方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及光學(xué)人體運(yùn)動(dòng)捕捉散亂數(shù)據(jù)處理，特別是為了消除由于噪聲數(shù)據(jù)和缺失數(shù)據(jù)所導(dǎo)致的在數(shù)據(jù)處理中的誤差累積問(wèn)題的技術(shù)和方法。
背景技術(shù)：
：近年來(lái)，隨著計(jì)算機(jī)軟硬件技術(shù)的進(jìn)歩，虛擬現(xiàn)實(shí)(Virtual-Reality)技術(shù)得到了飛速的發(fā)展，運(yùn)動(dòng)捕捉數(shù)據(jù)處理的研究是虛擬現(xiàn)實(shí)技術(shù)重要的研究領(lǐng)域之一，虛擬人是真實(shí)人類(lèi)在計(jì)算機(jī)生成空間(虛擬環(huán)境)中的幾何特性與行為特性的表示，主要包括人臉表情仿真(FacialExpressionSimulation)及人體運(yùn)動(dòng)合成(HumanMotionSynthesize)兩個(gè)主要方而。在現(xiàn)實(shí)世界中廣泛應(yīng)用于工業(yè)、農(nóng)業(yè)、交通、文教衛(wèi)生和體育等許多行業(yè)，特別是在體育科學(xué)研究、運(yùn)動(dòng)訓(xùn)練指導(dǎo)、現(xiàn)代影視、動(dòng)畫(huà)和游戲制作等領(lǐng)域的應(yīng)用，有重耍的作用和意義。因此，提高運(yùn)動(dòng)捕捉的精度、效率，降低設(shè)備成本，對(duì)推動(dòng)影視制作、游戲娛樂(lè)、動(dòng)漫產(chǎn)業(yè)的快速發(fā)展，構(gòu)建相互支撐的動(dòng)漫產(chǎn)業(yè)鏈，促進(jìn)國(guó)家文化產(chǎn)業(yè)發(fā)展進(jìn)而帶動(dòng)國(guó)民經(jīng)濟(jì)增長(zhǎng)具有重要的作用和深刻意義。到目甜為止，常用的運(yùn)動(dòng)捕捉技術(shù)從原理上說(shuō)可分為機(jī)械式、聲學(xué)式、電磁式和光學(xué)式。不同原理的設(shè)備各有其優(yōu)缺點(diǎn)，一般可從以下幾個(gè)方面進(jìn)行評(píng)價(jià)定位精度；實(shí)時(shí)性；使用方便程度；可捕捉運(yùn)動(dòng)范圍大??；成本；抗干擾性；多目標(biāo)捕捉能力。光學(xué)式運(yùn)動(dòng)捕捉的優(yōu)點(diǎn)是表演者活動(dòng)范圍大，無(wú)電纜、機(jī)械裝置的限制，表演者可以自由地表演，使用很方便。其采樣速率較高，可以滿(mǎn)足多數(shù)高速運(yùn)動(dòng)測(cè)量的需要。Marker的價(jià)格便宜，便于擴(kuò)充。這種方法的缺點(diǎn)是系統(tǒng)價(jià)格昂貴，雖然它可以捕捉實(shí)時(shí)運(yùn)動(dòng)，但后處理(包括Marker的識(shí)別、跟蹤、空間坐標(biāo)的計(jì)算)的工作量較大，對(duì)于表演場(chǎng)地的光照、反射情況有-定的要求，裝置定標(biāo)也較為煩瑣。特別是當(dāng)運(yùn)動(dòng)復(fù)雜時(shí)，不同部位的Marker有可能發(fā)生混淆、遮擋，產(chǎn)生錯(cuò)誤結(jié)果，這時(shí)需要人工干預(yù)后處理過(guò)程。光學(xué)式運(yùn)動(dòng)捕獲的優(yōu)點(diǎn)使得其在應(yīng)用領(lǐng)域占有重要份額。但由于其數(shù)據(jù)固有問(wèn)題使得其后期的數(shù)據(jù)處理尤為重要。通過(guò)分析散亂數(shù)據(jù)特征，總結(jié)出光學(xué)式運(yùn)動(dòng)捕捉散亂數(shù)據(jù)的特點(diǎn)如下。①采集到的信息僅有Marker點(diǎn)的三維坐標(biāo)信息，數(shù)據(jù)以散亂無(wú)序(沒(méi)有被標(biāo)定)的形式存在；②由于標(biāo)記點(diǎn)被道具、四肢、軀干或者其他標(biāo)記點(diǎn)遮擋，存在缺失點(diǎn)數(shù)據(jù)，時(shí)常缺失點(diǎn)會(huì)連續(xù)缺失；③由于攝像延遲會(huì)出現(xiàn)噪聲點(diǎn)；④運(yùn)動(dòng)員在做劇烈的運(yùn)動(dòng)時(shí)，Marker點(diǎn)相對(duì)于人體會(huì)出現(xiàn)位移，從而改變了運(yùn)動(dòng)數(shù)據(jù)之間的拓?fù)浣Y(jié)構(gòu)。基于以上四點(diǎn)，數(shù)據(jù)后續(xù)處理運(yùn)算復(fù)雜度較大，數(shù)據(jù)跟蹤匹配的主要困難在于如何提取合適的散亂數(shù)據(jù)的特征信息，及遮擋等情況給跟蹤與匹配帶來(lái)的困難如何建立起快速搜索匹配算法，實(shí)時(shí)準(zhǔn)確地對(duì)運(yùn)動(dòng)數(shù)據(jù)實(shí)現(xiàn)跟蹤。剛體匹配方法是一種傳統(tǒng)的數(shù)據(jù)處理方法，由于人體骨骼結(jié)構(gòu)為相對(duì)剛性鉸接結(jié)構(gòu)，所以可以將其看作是剛體。在進(jìn)行Marker點(diǎn)的匹配跟蹤時(shí)，可根據(jù)剛休結(jié)構(gòu)的幾何特性進(jìn)行跟蹤匹配。根據(jù)人體骨架結(jié)構(gòu)和上文所述的Marker點(diǎn)布點(diǎn)方案，設(shè)計(jì)幾何匹配關(guān)系線(xiàn)段匹配、三角形匹配、四邊形匹配、對(duì)角四邊形匹配和剛性四邊形(四面體)匹配。匹配方法是首先建立匹配模版，根據(jù)模版的幾何特性在待標(biāo)定的散亂數(shù)據(jù)中查找與模板匹配或近似匹配的幾何結(jié)構(gòu)(線(xiàn)段長(zhǎng)度、向量夾角)，找到則標(biāo)定。例如，對(duì)于剛性四邊形匹配,要判定四條邊和兩對(duì)角線(xiàn)都滿(mǎn)足條件，本文中適用于頭部、腰部等剛性部位的匹配。在一般運(yùn)動(dòng)幅度下，上述形狀匹配的方法已經(jīng)基本能夠達(dá)到較高的標(biāo)定精度且算法實(shí)現(xiàn)簡(jiǎn)單能夠滿(mǎn)足實(shí)時(shí)性要求。但由于以下三點(diǎn)原因極大地影響了匹配精度①M(fèi)arker點(diǎn)是設(shè)置在表演者的緊身衣上，在運(yùn)動(dòng)過(guò)程中緊身衣會(huì)彈性伸縮。②肌肉和皮膚在運(yùn)動(dòng)過(guò)程中相對(duì)于骨骼會(huì)拉伸和滑動(dòng)。③數(shù)據(jù)捕捉過(guò)程中的滯后和數(shù)據(jù)預(yù)處理點(diǎn)簇聚類(lèi)的影響。因此，在劇烈運(yùn)動(dòng)下剛性結(jié)構(gòu)將遭到破壞，剛體上的Marker之間的距離會(huì)有伸縮，因此基于固定模版的匹配將出現(xiàn)誤差現(xiàn)象。從而設(shè)計(jì)一種能夠根據(jù)當(dāng)甜幀的具體姿態(tài)，獲得動(dòng)態(tài)模板進(jìn)行剛體匹配，從而減少誤差，消除誤差累積問(wèn)題的數(shù)據(jù)處理算法仍然是一個(gè)具有挑戰(zhàn)性的任務(wù)。
發(fā)明內(nèi)容本發(fā)明的目的在于提出了一種用于被動(dòng)式光學(xué)人體運(yùn)動(dòng)捕捉數(shù)據(jù)方法，該方法通過(guò)建立運(yùn)動(dòng)特征數(shù)據(jù)庫(kù)，著重解決在運(yùn)動(dòng)過(guò)程中剛體結(jié)構(gòu)被破壞所導(dǎo)致的在數(shù)據(jù)處理中的誤差累積問(wèn)題，從而提高運(yùn)動(dòng)數(shù)據(jù)跟蹤匹配效率，使得在處理過(guò)程中無(wú)需手工干預(yù)，并且單幀數(shù)據(jù)處理耗時(shí)滿(mǎn)足運(yùn)動(dòng)捕捉的實(shí)時(shí)性要求。本發(fā)明的技術(shù)方案是基于動(dòng)態(tài)模板的光學(xué)運(yùn)動(dòng)捕捉數(shù)據(jù)處理方法，包括以下步驟-(1)運(yùn)動(dòng)數(shù)據(jù)預(yù)處理，處理方法是對(duì)聚集在一起的數(shù)據(jù)進(jìn)行合并，相對(duì)距離在一個(gè)閾值內(nèi)的所有Marker點(diǎn)認(rèn)為是由攝像機(jī)的延遲所造成，是同一個(gè)Marker點(diǎn)的幻化；(2)建立動(dòng)態(tài)模板庫(kù)模型。模板庫(kù)根據(jù)人體肢體分為頭、肩、手臂、軀干、腰、腿和腳七個(gè)模塊，關(guān)聯(lián)形態(tài)表現(xiàn)為數(shù)據(jù)庫(kù)表與表的關(guān)聯(lián)。基T運(yùn)動(dòng)生物力學(xué)的三維人體運(yùn)動(dòng)模型屮關(guān)于關(guān)節(jié)結(jié)構(gòu)分類(lèi)、不同類(lèi)型自由度的定義以及一些主要關(guān)節(jié)運(yùn)動(dòng)分析，結(jié)合本專(zhuān)利對(duì)人體結(jié)構(gòu)模型的定義，給出動(dòng)態(tài)模板庫(kù)中各主要運(yùn)動(dòng)肢體的關(guān)聯(lián)設(shè)計(jì)；肩部的運(yùn)動(dòng)關(guān)聯(lián)分析設(shè)定肩部線(xiàn)段長(zhǎng)度與脊椎骨的夾角和與脊椎骨垂直的向量的夾角進(jìn)行映射；脊柱部的運(yùn)動(dòng)關(guān)聯(lián)分析其與髖關(guān)節(jié)平面的夾角來(lái)描述其長(zhǎng)度變化；手部的運(yùn)動(dòng)關(guān)聯(lián)分析設(shè)定手部前端線(xiàn)段長(zhǎng)度和后端線(xiàn)段長(zhǎng)度與兩線(xiàn)向量夾角進(jìn)行映射；腿部的運(yùn)動(dòng)關(guān)聯(lián)分析小腿長(zhǎng)度可與大腿和小腿之間的夾角值進(jìn)行映射；(3)基于三樣條插值的動(dòng)態(tài)擬合模板模型。在數(shù)據(jù)標(biāo)定吋，需從動(dòng)態(tài)模版庫(kù)中查詢(xún)當(dāng)前幀的模板，由于動(dòng)態(tài)模版庫(kù)中姿態(tài)有限可能無(wú)法找到與當(dāng)前幀精確一致的運(yùn)動(dòng)模板數(shù)據(jù)，利用與當(dāng)前幀姿態(tài)相近的運(yùn)動(dòng)數(shù)據(jù)采用三次樣條插值的方法擬合出近似的運(yùn)動(dòng)模板數(shù)據(jù)，人體運(yùn)動(dòng)是一個(gè)連貫的動(dòng)作，肢體運(yùn)動(dòng)具有光滑性特征，而三次樣條插值函數(shù)曲線(xiàn)具有較高的光滑性，結(jié)合三次樣條插值函數(shù)定義，實(shí)現(xiàn)從動(dòng)態(tài)模版庫(kù)中獲取當(dāng)前幀的模版；(4)基于動(dòng)態(tài)模板的運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè)與跟蹤算法，具體步驟如下-歩驟l:首先，對(duì)數(shù)據(jù)預(yù)處理。處理方法是對(duì)聚集在一起的數(shù)據(jù)進(jìn)行合并，相對(duì)距離在一個(gè)閾值內(nèi)的所有Marker點(diǎn)認(rèn)為是ttj攝像機(jī)的延遲所造成，是同一個(gè)Marker點(diǎn)的幻化，預(yù)處理后使數(shù)據(jù)點(diǎn)個(gè)數(shù)基本接近實(shí)際Marker點(diǎn)數(shù)目，很大程度上提高了后續(xù)的數(shù)據(jù)處理效率；歩驟2:逐幀進(jìn)行形狀匹配。依據(jù)標(biāo)準(zhǔn)模版對(duì)各肢體進(jìn)行上面提到的五種匹配關(guān)系進(jìn)行匹配，為了適應(yīng)剛體形狀偏差，設(shè)定誤差允許范圍x，如果全部成功匹配且匹配結(jié)果只有一個(gè)正確跟蹤則成功標(biāo)定，對(duì)于運(yùn)動(dòng)幅度比較大交叉比較多的運(yùn)動(dòng)，匹配結(jié)果不只一個(gè)，這種情況轉(zhuǎn)入歩驟3;歩驟3:運(yùn)用動(dòng)態(tài)模版信息剔除噪聲匹配結(jié)果，仍以肩部為例，肩部的動(dòng)態(tài)模版信息主要和脊椎部關(guān)聯(lián)，為了獲取當(dāng)前幀的肩部模版信息要通過(guò)査詢(xún)當(dāng)前幀脊椎部的匹配情況，根據(jù)姿態(tài)參數(shù)在動(dòng)態(tài)模版庫(kù)中進(jìn)行三樣條插值擬合，擬合出映射參數(shù)，用映射參數(shù)和3前姿態(tài)參數(shù)比較，如夾角和線(xiàn)段長(zhǎng)度和在動(dòng)態(tài)模版中擬合的對(duì)應(yīng)姿態(tài)下的夾角和線(xiàn)段長(zhǎng)度不吻合，說(shuō)明是錯(cuò)誤匹配結(jié)果，去除之；如相同，匹配塊是正確的匹配結(jié)果，標(biāo)定Marker點(diǎn)，結(jié)束驗(yàn)證；步驟4:在當(dāng)前幀所有模塊通過(guò)步驟2、歩驟3兩步處理完成后，進(jìn)行最后的結(jié)構(gòu)效驗(yàn)。具體包括以下技術(shù)環(huán)節(jié)1.特征點(diǎn)擺放方式根據(jù)人體近剛性特點(diǎn)，在關(guān)節(jié)處擺放標(biāo)記點(diǎn)，標(biāo)記點(diǎn)擺放具體位置盡量避免被遮擋和滑動(dòng)現(xiàn)象。2.建立動(dòng)態(tài)模板庫(kù)模型動(dòng)態(tài)模板庫(kù)的標(biāo)準(zhǔn)是姿態(tài)豐富和關(guān)聯(lián)合理。姿態(tài)豐富要求動(dòng)態(tài)模版庫(kù)中應(yīng)該盡暈多地包含運(yùn)動(dòng)的各種姿態(tài)和不同幅度的動(dòng)作，使得在數(shù)據(jù)處理過(guò)程中的模版檢索能夠盡可能滿(mǎn)足；5關(guān)聯(lián)合理要求肢體之間的關(guān)聯(lián)應(yīng)該是相互使動(dòng)關(guān)系，例如影響肩部Marker點(diǎn)連線(xiàn)的長(zhǎng)度變化應(yīng)該和手臂、背部的運(yùn)動(dòng)變化有關(guān)而和腳腿部關(guān)系不大?；谶\(yùn)動(dòng)生物力學(xué)的三維人體運(yùn)動(dòng)模型中關(guān)于關(guān)節(jié)結(jié)構(gòu)分類(lèi)、不同類(lèi)型自由度的定義以及一些主要關(guān)節(jié)運(yùn)動(dòng)分析，結(jié)合本文人體結(jié)構(gòu)模型的定義，給出動(dòng)態(tài)模版庫(kù)中各運(yùn)動(dòng)肢體的關(guān)聯(lián)設(shè)計(jì)。在人體的運(yùn)動(dòng)中肩部、脊椎部、手部和腿部等器官的運(yùn)動(dòng)具有復(fù)雜性，我們對(duì)這幾個(gè)部位的運(yùn)動(dòng)關(guān)聯(lián)作詳細(xì)介紹。(1)肩部的運(yùn)動(dòng)關(guān)聯(lián)分析肩關(guān)節(jié)是球窩型關(guān)節(jié)，有三個(gè)自由度，其運(yùn)動(dòng)范圍廣、幅度大，與之鏈接的鎖骨是L型關(guān)節(jié)，由于其相對(duì)滑動(dòng)的特點(diǎn)使得肩上的四Marker點(diǎn)之間的長(zhǎng)度變化較大，因此閃點(diǎn)難以標(biāo)定。根據(jù)其與鎖骨的聯(lián)系和運(yùn)動(dòng)姿態(tài)，我們?cè)O(shè)定長(zhǎng)度與脊椎骨的夾角和與脊椎骨垂直的向量的夾角進(jìn)行映射。公式表示為L(zhǎng):FOd，x》.其中L為肩部向量長(zhǎng)度，x,為肩部向量與脊椎骨的夾角，X2為肩部向量與脊椎骨垂直的向量的夾角.其肩部模型圖形顯示見(jiàn)附圖3。(2)脊柱部的運(yùn)動(dòng)關(guān)聯(lián)分析-脊柱由24塊獨(dú)立的椎骨、1塊骶骨、1塊尾骨以及連結(jié)它們的23塊椎間盤(pán)、關(guān)節(jié)和韌帶裝置構(gòu)成。脊柱之間的運(yùn)動(dòng)幅度雖然有限，但整個(gè)脊柱的運(yùn)動(dòng)范圍仍很大。脊杵繞額狀軸可做屈伸運(yùn)動(dòng)；繞矢狀軸可做側(cè)屈運(yùn)動(dòng)；繞垂直軸可做回旋運(yùn)動(dòng)和環(huán)轉(zhuǎn)運(yùn)動(dòng)。本文人體結(jié)構(gòu)模型的脊柱部是由四Marker點(diǎn)描述，通過(guò)分析其與髖關(guān)節(jié)(平面)的夾角來(lái)描述其長(zhǎng)度變化。映射公式為L(zhǎng)^F(x,，X2).其中L為脊椎部向量長(zhǎng)度，x,為脊椎部向量與髖關(guān)節(jié)(平面)前側(cè)向量的夾角，&為脊椎部向量與髖關(guān)節(jié)(平面)左側(cè)向量的夾角。(3)手部的運(yùn)動(dòng)關(guān)聯(lián)分析根據(jù)本Marker點(diǎn)的貼點(diǎn)方式，手部在腕部水平貼兩個(gè)點(diǎn)，在中指關(guān)節(jié)的第二個(gè)關(guān)節(jié)上貼一個(gè)點(diǎn)。腕關(guān)節(jié)屬于鞍狀關(guān)節(jié)，其上下活動(dòng)比較大，左右活動(dòng)比較小。當(dāng)上下活動(dòng)時(shí)手部皮膚伸縮必然導(dǎo)致手部?jī)删€(xiàn)段長(zhǎng)度變化；當(dāng)左右活動(dòng)時(shí)兩線(xiàn)段長(zhǎng)度也有變化，但其長(zhǎng)度之和基本不變。出此分析得出關(guān)聯(lián)結(jié)果用公式描述為(L,L2)4(x),其中L、L2為向量的長(zhǎng)度，x為向量L與向量U的夾角.L,+L2=H，其中H為在上下活動(dòng)姿態(tài)下兩線(xiàn)段之和的恒定值。(4)腿部的運(yùn)動(dòng)關(guān)聯(lián)分析-膝關(guān)節(jié)屬于鉸鏈關(guān)節(jié)，與之相連的踝關(guān)節(jié)是球窩關(guān)節(jié)其都有一個(gè)自由度。影響小腿部長(zhǎng)度變化的因素主要是肌肉的拉伸和皮膚的滑動(dòng)，因此小腿長(zhǎng)度可與大腿和小腿之間的火角值進(jìn)行映射，具體公式描述L=F(x)，其x為小腿向量與大腿向量之間的夾角，L為大腿向量長(zhǎng)度。其它關(guān)節(jié)的運(yùn)動(dòng)關(guān)聯(lián)分析方法基本上和這些雷同不在贅述，到此動(dòng)態(tài)模板庫(kù)基本建立完成。實(shí)際工作時(shí)，要由表演者盡可能地表演不同幅度的動(dòng)作，成功標(biāo)定運(yùn)動(dòng)數(shù)據(jù)，豐富動(dòng)態(tài)模版庫(kù)。其實(shí)，.動(dòng)態(tài)模板庫(kù)的豐富過(guò)程是不斷漸進(jìn)的過(guò)程，每當(dāng)有成功處理的數(shù)據(jù)時(shí)都可以把運(yùn)動(dòng)數(shù)據(jù)添加到運(yùn)動(dòng)模版庫(kù)中。動(dòng)態(tài)模板庫(kù)的結(jié)構(gòu)示意圖見(jiàn)附圖4。3.建立基于三樣條插值的動(dòng)態(tài)擬合模板模型在數(shù)據(jù)標(biāo)定時(shí)，需從動(dòng)態(tài)模版庫(kù)中杳詢(xún)當(dāng)前幀的模板，由于動(dòng)態(tài)模版庫(kù)中姿態(tài)有限可能無(wú)法找到與當(dāng)前幀精確一致的運(yùn)動(dòng)模板數(shù)據(jù)。我們提出利用與當(dāng)前幀姿態(tài)相近的運(yùn)動(dòng)數(shù)據(jù)采用三次樣條插值的方法擬合出近似的運(yùn)動(dòng)模板數(shù)據(jù)。人體運(yùn)動(dòng)是一個(gè)連貫的動(dòng)作，肢體運(yùn)動(dòng)具有光滑性特征，而三次樣條插值函數(shù)曲線(xiàn)具有較高的光滑性。定義l三樣條插值函數(shù)設(shè)給定函數(shù)F(x)在區(qū)間[a,b]上的節(jié)點(diǎn)為:a<=x。<Xl<......<x<=b，及節(jié)點(diǎn)上的函數(shù)值F(Xi)=y,(i=0，l，……，n)。F(x)的三次樣條插值函數(shù)s(x)要滿(mǎn)足s(x—y'(i=0,l，,.,,,it)W由三次樣條函數(shù)的定義得到s(x)是[a，b]上的分段三次插值多項(xiàng)式，即'.....(2)、mW'xn其中Sk(X)應(yīng)是子區(qū)間[Xk,Xw]上的兩點(diǎn)三次插值多項(xiàng)式，并且山于s(x)GC2[a,b],故有Iims，x戶(hù)Hn〗s，x)(P-o,u;k-〗么",〗》(襲^^數(shù)階數(shù))(4)在實(shí)際應(yīng)用中我們?cè)O(shè)定邊界約束條件為自然邊界條件，需要滿(mǎn)足S'(Xd戶(hù)F),,S'〖&》=F'n(5)通過(guò)(l)、(3)、(4)、(5)四類(lèi)條件求得F(x)的三次樣條插值函數(shù)s(x)。三次樣條插值函數(shù)在動(dòng)態(tài)模版匹配中的應(yīng)用，結(jié)合三次樣條插值函數(shù)定義，實(shí)現(xiàn)從動(dòng)態(tài)模版庫(kù)中獲取當(dāng)前幀的模版，詳細(xì)算法歩驟敘述如下步驟l:根據(jù)當(dāng)甜幀的姿態(tài)參數(shù)，在動(dòng)態(tài)模版庫(kù)中搜索近似姿態(tài)。以求肩部關(guān)節(jié)線(xiàn)段(5、9)長(zhǎng)度為例，首先得出向量(5、9)與向量(5、6)之間的夾角xb向量(5、9)與向量(5、8)的夾角X2.在動(dòng)態(tài)模版庫(kù)中搜索對(duì)應(yīng)誤差范圍在y內(nèi)的兩夾角對(duì)(a,，bi)……(a，b)，其巾n為滿(mǎn)足誤差范圍內(nèi)的值對(duì)個(gè)數(shù)，a,為夾角值，a,為在夾角bi對(duì)應(yīng)下的線(xiàn)段(5、9)的長(zhǎng)度。歩驟2:算法實(shí)現(xiàn)三次樣條插值多項(xiàng)式求解，調(diào)用函數(shù)ThreePline();歩驟3:輸入為n,{Xi,y,}，ii，u,p。，pn輸出為S(u)。其中p。和p。為邊界條件，在本算法處理時(shí)選擇自然邊界條件，即PFPn-O。S(u)即為所求當(dāng)前幀該姿態(tài)下的模版長(zhǎng)度。附圖5所示為利用該算法擬合的插值，圓圈內(nèi)點(diǎn)為與其相近的紅色點(diǎn)所擬合的結(jié)果，可看出平滑效果比較好。4.基于動(dòng)態(tài)模板的運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè)與跟蹤算法由于運(yùn)動(dòng)數(shù)據(jù)是散亂數(shù)據(jù)，在對(duì)當(dāng)前幀進(jìn)行有序標(biāo)定時(shí)，無(wú)法確定當(dāng)甜幀各肢體的姿態(tài)，逆向思維，利用后續(xù)驗(yàn)證的方法來(lái)驗(yàn)證當(dāng)前匹配的正確性。運(yùn)動(dòng)數(shù)據(jù)的預(yù)測(cè)與跟蹤方法是在基十剛體的形狀匹配方法上的改進(jìn)。由于攝像延遲會(huì)出現(xiàn)噪聲點(diǎn)，在匹配之前要先對(duì)運(yùn)動(dòng)數(shù)據(jù)進(jìn)行簡(jiǎn)單的去噪處理以保證處理后的每幀數(shù)據(jù)基本上接近Marker點(diǎn)數(shù)。在進(jìn)行形狀匹配時(shí)，首先利用標(biāo)準(zhǔn)模版對(duì)上面提到的各個(gè)模塊在各自(根據(jù)動(dòng)態(tài)模版中各線(xiàn)段長(zhǎng)度的上下界)的誤差范圍內(nèi)進(jìn)行匹配，匹配結(jié)果可能有不只一個(gè)滿(mǎn)足條件，這時(shí)利用動(dòng)態(tài)模版中的數(shù)據(jù)信息對(duì)噪聲結(jié)果進(jìn)行一一排除，找出最相近的匹配結(jié)果進(jìn)行標(biāo)定。下面敘述算法處理詳細(xì)歩驟歩驟1:首先，對(duì)數(shù)據(jù)預(yù)處理。處理方法是對(duì)聚集在一起的數(shù)據(jù)進(jìn)行合并，相對(duì)距離在一個(gè)閾值內(nèi)的所有Marker點(diǎn)認(rèn)為是由攝像機(jī)的延遲所造成，是同一個(gè)Marker點(diǎn)的幻化。預(yù)處理后使數(shù)據(jù)點(diǎn)個(gè)數(shù)基本接近實(shí)際Marker點(diǎn)數(shù)目，很大程度上提高了后續(xù)的數(shù)據(jù)處理效率。歩驟2:逐幀進(jìn)行形狀匹配。依據(jù)標(biāo)準(zhǔn)模版對(duì)各肢體進(jìn)行上面提到的五種匹配關(guān)系進(jìn)行匹配，為了適應(yīng)剛體形狀偏差，設(shè)定誤差允許范圍x。如果全部成功匹配且匹配結(jié)果只有-個(gè)IH確跟蹤則成功標(biāo)定。而對(duì)于運(yùn)動(dòng)幅度比較大交叉比較多的運(yùn)動(dòng)，可能匹配結(jié)果不只一個(gè)，例如滿(mǎn)足肩部四邊形結(jié)構(gòu)的匹配結(jié)果可能有兩套以上，這種情況轉(zhuǎn)入3.步驟3:運(yùn)用動(dòng)態(tài)模版信息剔除噪聲匹配結(jié)果。仍以肩部為例，肩部的動(dòng)態(tài)模版信息主要和脊椎部關(guān)聯(lián)，為了獲取當(dāng)前幀的肩部模版信息要通過(guò)査詢(xún)當(dāng)甜幀脊椎部的匹配情況，根據(jù)姿態(tài)參數(shù)在動(dòng)態(tài)模版庫(kù)中進(jìn)行三樣條插值擬合，擬合出映射參數(shù)，用映射參數(shù)和當(dāng)甜姿態(tài)8參數(shù)比較，如夾角和線(xiàn)段長(zhǎng)度和在動(dòng)態(tài)模版中擬合的對(duì)應(yīng)姿態(tài)下的夾角和線(xiàn)段長(zhǎng)度不吻合，說(shuō)明是錯(cuò)誤匹配結(jié)果，去除之；如相同，我們認(rèn)為此匹配塊是正確的匹配結(jié)果，標(biāo)定Marker點(diǎn)，結(jié)束驗(yàn)證。步驟4:在當(dāng)前幀所有模塊通過(guò)2、3兩步處理完成后，進(jìn)行最后的結(jié)構(gòu)效驗(yàn)，結(jié)構(gòu)效驗(yàn)主要解決肢體對(duì)稱(chēng)性問(wèn)題。本發(fā)明與現(xiàn)有技術(shù)相比具有以下優(yōu)點(diǎn)1、一般的人體運(yùn)動(dòng)數(shù)據(jù)跟蹤匹配方法是在固定模板的前'提下進(jìn)行處理的，但在劇烈運(yùn)動(dòng)下剛性結(jié)構(gòu)將遭到破壞，剛體上的Marker之間的距離會(huì)有伸縮，因此基于固定模版的匹配將出現(xiàn)誤差現(xiàn)象?；趧?dòng)態(tài)模板庫(kù)的匹配方法能夠消除誤差累積現(xiàn)象，在每幀數(shù)據(jù)處理時(shí)都能在動(dòng)態(tài)模板庫(kù)中搜尋或擬合出當(dāng)前的精確模板，從而減少匹配誤差，提高匹配效率，達(dá)到數(shù)據(jù)自動(dòng)處理，無(wú)需人工調(diào)整，滿(mǎn)足實(shí)時(shí)性要求。2、該方法具有良好的可擴(kuò)展性；表現(xiàn)在(1)特征數(shù)據(jù)庫(kù)可以隨著運(yùn)動(dòng)數(shù)據(jù)的豐富不斷得到豐富，用己標(biāo)定的數(shù)據(jù)填充特征數(shù)據(jù)庫(kù)，從而可以簡(jiǎn)單地得到豐富的姿態(tài)特征數(shù)據(jù)庫(kù)。(2)該方法適合于其他數(shù)據(jù)處理方法，特征數(shù)據(jù)庫(kù)可以作為一個(gè)獨(dú)立的單元，來(lái)為不同的數(shù)據(jù)處理方法提供約束條件。圖1本發(fā)明算法流程圖。圖2標(biāo)記點(diǎn)擺放方法。圖3肩部模型關(guān)聯(lián)示意圖。圖4動(dòng)態(tài)模板庫(kù)的結(jié)構(gòu)示意圖。圖5三次樣條插值結(jié)果圖。圖6系統(tǒng)實(shí)現(xiàn)結(jié)果，上圖是散亂數(shù)據(jù)下圖對(duì)應(yīng)處理數(shù)據(jù)。具體實(shí)施例方式本發(fā)明的實(shí)施例是在以本發(fā)明技術(shù)方案為前提下進(jìn)行實(shí)施的，給出了詳細(xì)的實(shí)施方式和具體的操作過(guò)程，但本發(fā)明的保護(hù)范圍不限于下述實(shí)施例。實(shí)例選取-組體操運(yùn)動(dòng)進(jìn)行驗(yàn)證，運(yùn)動(dòng)人體標(biāo)記點(diǎn)的貼點(diǎn)方式如圖2所示，標(biāo)記點(diǎn)個(gè)數(shù)為32，采樣頻率60fps。具體實(shí)施歩驟為歩驟l:采集原始數(shù)據(jù)。原始數(shù)據(jù)存儲(chǔ)格式如下FRAME1MARKER1-116.271363-114.849685162.238128MARKER1-109.013663-94.76932393.733788MARKER2-110.722049-72.05035187.020620MARKER3-129.460634-133.89104781.189525FRA穀其中FRAMEn表示為第n幀數(shù)據(jù)MAMERm表示第m個(gè)特征標(biāo)記點(diǎn)，隨后的三個(gè)數(shù)分別表示其x，y，z坐標(biāo)，單位mm。歩驟2:載入運(yùn)動(dòng)數(shù)據(jù)。歩驟3:數(shù)據(jù)歸一化。由于數(shù)據(jù)捕獲時(shí)，表演員的身體有差異，高矮胖瘦各不同，獲取數(shù)據(jù)對(duì)應(yīng)的表演者的身體參數(shù)(身高、臂長(zhǎng)、腿長(zhǎng)、腰圍、胸圍、手型和腳型等)，這些參數(shù)如果數(shù)據(jù)中沒(méi)有給出(如第三方數(shù)據(jù))，可單幀手動(dòng)獲取。人體模型的數(shù)據(jù)歸一化處理研究己經(jīng)趨于成熟，王維等人在論文《基于國(guó)際人體測(cè)量學(xué)數(shù)據(jù)的虛擬人縮放方法》通過(guò)研究Jack軟件中人體模型表示方法和人體測(cè)量學(xué)數(shù)據(jù)之間的映射關(guān)系，提出一種人體測(cè)量學(xué)數(shù)據(jù)的人體模型動(dòng)態(tài)縮放方法。并利用該方法在Jack軟件中建立了基于國(guó)際人體測(cè)量學(xué)數(shù)據(jù)的人體模型動(dòng)態(tài)縮放子系統(tǒng)。本專(zhuān)利應(yīng)用此方法，把運(yùn)動(dòng)數(shù)據(jù)轉(zhuǎn)換為適合固定人體模型的數(shù)據(jù)，進(jìn)行歸-化。歩驟4:數(shù)據(jù)預(yù)處理。根據(jù)滿(mǎn)足幀數(shù)調(diào)節(jié)去噪?yún)?shù)進(jìn)行去噪處理，處理后數(shù)據(jù)每幀保持在和所貼標(biāo)記點(diǎn)數(shù)目大致相同，本專(zhuān)利規(guī)定32個(gè)標(biāo)記點(diǎn)。歩驟5:加載動(dòng)態(tài)模板庫(kù)，模板庫(kù)根據(jù)人體肢體分為頭、肩、手臂、軀干、腰、腿和腳七個(gè)模塊，其關(guān)聯(lián)定義由第二節(jié)提到的肢體關(guān)聯(lián)模型給出定義，關(guān)聯(lián)形態(tài)表現(xiàn)為數(shù)據(jù)庫(kù)表與表的關(guān)聯(lián)。例如肩部關(guān)聯(lián)，在獲得當(dāng)前模板的肩部具體長(zhǎng)度(在本專(zhuān)利中表現(xiàn)為線(xiàn)段59的長(zhǎng)度)，利用公式L二F(U2)。肩部表的格式和數(shù)據(jù)如下表AcanthaNumberangle—oneangle—twodistance167.27416992187581.889472961425823.72375265.356788635253989.479911804199222.9198363.208293914794990.625106811523420.95225463.254184722900490.352882385253921.39528歩驟6:循環(huán)所有幀數(shù)據(jù)，對(duì)每幀調(diào)用基于動(dòng)態(tài)模板的運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè)與跟蹤算法。該算法在發(fā)明專(zhuān)利內(nèi)容第4節(jié)已經(jīng)詳細(xì)敘述，此過(guò)程可用偽碼描述為FORi二ltom一nCut,FrameResultTemp[]=RIGIDB0DY(i);m一pConnection-〉Open("Provider二Microsof't.Jet.OLEDB.4.O;DataSource二DynamicTemplate.mdb〃，〃"，〃"，adModeUnknown);Result[]二DY廳ICPROCESS(ResultTemp[]);，歩驟7:處理后的運(yùn)動(dòng)數(shù)據(jù)輸出，以文件形式輸出，數(shù)據(jù)格式為-F廳ElMARKER1-102.613005-66.8843762.368223MARKER1-120.167395-82.583491139.118830MARKER2-115.241901-128.29310185.508738MARKERS—133.748703—128.622772102.070744FRAME2其中FRAMEn表示為第n幀數(shù)據(jù)，具體幀數(shù)和原始數(shù)據(jù)一樣。MARKERm表示第m個(gè)特征標(biāo)記點(diǎn)，隨后的三個(gè)數(shù)分別表示其x，y，z坐標(biāo)，中.位mm。在本專(zhuān)利中數(shù)據(jù)處理后m的最大值同定為32,與原始數(shù)據(jù)對(duì)比對(duì)應(yīng)值不變，變化的是原始數(shù)據(jù)中每幀數(shù)據(jù)可能不為32個(gè)。且標(biāo)記點(diǎn)順序與模板中標(biāo)記點(diǎn)順序一致。附圖6為利用本文所提算法并經(jīng)過(guò)優(yōu)化后對(duì)一組光學(xué)捕捉散亂運(yùn)動(dòng)進(jìn)行數(shù)據(jù)處理的界面，分別顯示散亂數(shù)據(jù)和對(duì)應(yīng)的處理結(jié)果。運(yùn)用本文所提方法，算法經(jīng)過(guò)優(yōu)化后，該系統(tǒng)對(duì)不同復(fù)雜度的光學(xué)捕捉數(shù)據(jù)進(jìn)行處理，處理結(jié)果表明準(zhǔn)確處理率根據(jù)動(dòng)作復(fù)雜度不同分布在75%-100%之間，表一所示，對(duì)于一般交叉較少運(yùn)動(dòng)幅度變化不是很大的常規(guī)數(shù)據(jù)匹配成功率能込到90%以上，對(duì)于運(yùn)動(dòng)幅度很大的運(yùn)動(dòng)，成功定標(biāo)率在80%左右。該方法自動(dòng)遞歸處理，無(wú)須手動(dòng)千預(yù)，經(jīng)測(cè)試，對(duì)于以每秒60幀采集的散亂數(shù)據(jù)，爭(zhēng)幀數(shù)據(jù)處理過(guò)程耗時(shí)t〈l/60s，每幀處理耗時(shí)相近，處理效率能夠滿(mǎn)足實(shí)時(shí)性要求。表一各組運(yùn)動(dòng)數(shù)據(jù)實(shí)驗(yàn)結(jié)果<table>tableseeoriginaldocumentpage12</column></row><table>權(quán)利要求1、基于動(dòng)態(tài)模板的光學(xué)運(yùn)動(dòng)捕捉數(shù)據(jù)處理方法，其特征在于，包括以下步驟(1)運(yùn)動(dòng)數(shù)據(jù)預(yù)處理處理方法是對(duì)聚集在一起的數(shù)據(jù)進(jìn)行合并，相對(duì)距離在一個(gè)閾值內(nèi)的所有Marker點(diǎn)認(rèn)為是由攝像機(jī)的延遲所造成，是同一個(gè)Marker點(diǎn)的幻化；(2)建立動(dòng)態(tài)模板庫(kù)模型模板庫(kù)根據(jù)人體肢體分為頭、肩、手臂、軀干、腰、腿和腳七個(gè)模塊，關(guān)聯(lián)形態(tài)表現(xiàn)為數(shù)據(jù)庫(kù)表與表的關(guān)聯(lián)?；谶\(yùn)動(dòng)生物力學(xué)的三維人體運(yùn)動(dòng)模型中關(guān)于關(guān)節(jié)結(jié)構(gòu)分類(lèi)、不同類(lèi)型自由度的定義以及一些主要關(guān)節(jié)運(yùn)動(dòng)分析，結(jié)合本專(zhuān)利對(duì)人體結(jié)構(gòu)模型的定義，給出動(dòng)態(tài)模板庫(kù)中各主要運(yùn)動(dòng)肢體的關(guān)聯(lián)設(shè)計(jì)；肩部的運(yùn)動(dòng)關(guān)聯(lián)分析設(shè)定肩部線(xiàn)段長(zhǎng)度與脊椎骨的夾角和與脊椎骨垂直的向量的夾角進(jìn)行映射；脊柱部的運(yùn)動(dòng)關(guān)聯(lián)分析其與髖關(guān)節(jié)平面的夾角來(lái)描述其長(zhǎng)度變化；手部的運(yùn)動(dòng)關(guān)聯(lián)分析設(shè)定手部前端線(xiàn)段長(zhǎng)度和后端線(xiàn)段長(zhǎng)度與兩線(xiàn)向量夾角進(jìn)行映射；腿部的運(yùn)動(dòng)關(guān)聯(lián)分析小腿長(zhǎng)度可與大腿和小腿之間的夾角值進(jìn)行映射；(3)基于三樣條插值的動(dòng)態(tài)擬合模板模型在數(shù)據(jù)標(biāo)定時(shí)，需從動(dòng)態(tài)模版庫(kù)中查詢(xún)當(dāng)前幀的模板，由于動(dòng)態(tài)模版庫(kù)中姿態(tài)有限可能無(wú)法找到與當(dāng)前幀精確一致的運(yùn)動(dòng)模板數(shù)據(jù)，利用與當(dāng)前幀姿態(tài)相近的運(yùn)動(dòng)數(shù)據(jù)采用三次樣條插值的方法擬合出近似的運(yùn)動(dòng)模板數(shù)據(jù)，人體運(yùn)動(dòng)是一個(gè)連貫的動(dòng)作，結(jié)合三次樣條插值函數(shù)定義，實(shí)現(xiàn)從動(dòng)態(tài)模版庫(kù)中獲取當(dāng)前幀的模版；(4)基于動(dòng)態(tài)模板的運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè)與跟蹤步驟1首先，對(duì)數(shù)據(jù)預(yù)處理，處理方法是對(duì)聚集在一起的數(shù)據(jù)進(jìn)行合并，相對(duì)距離在一個(gè)閾值內(nèi)的所有Marker點(diǎn)認(rèn)為是由攝像機(jī)的延遲所造成，是同一個(gè)Marker點(diǎn)的幻化，預(yù)處理后使數(shù)據(jù)點(diǎn)個(gè)數(shù)基本接近實(shí)際Marker點(diǎn)數(shù)目；步驟2逐幀進(jìn)行形狀匹配，依據(jù)標(biāo)準(zhǔn)模版對(duì)各肢體進(jìn)行上面提到的五種匹配關(guān)系進(jìn)行匹配，設(shè)定誤差允許范圍x，如果全部成功匹配且匹配結(jié)果只有一個(gè)正確跟蹤則成功標(biāo)定，若匹配結(jié)果不只一個(gè)，轉(zhuǎn)入步驟3；步驟3運(yùn)用動(dòng)態(tài)模版信息剔除噪聲匹配結(jié)果，根據(jù)姿態(tài)參數(shù)在動(dòng)態(tài)模版庫(kù)中進(jìn)行三樣條插值擬合，擬合出映射參數(shù)，用映射參數(shù)和當(dāng)前姿態(tài)參數(shù)比較，如夾角和線(xiàn)段長(zhǎng)度和在動(dòng)態(tài)模版中擬合的對(duì)應(yīng)姿態(tài)下的夾角和線(xiàn)段長(zhǎng)度不吻合，說(shuō)明是錯(cuò)誤匹配結(jié)果，去除之；如相同，匹配塊是正確的匹配結(jié)果，標(biāo)定Marker點(diǎn)，結(jié)束驗(yàn)證；步驟4在當(dāng)前幀所有模塊通過(guò)步驟2、步驟3兩步處理完成后，進(jìn)行最后的結(jié)構(gòu)效驗(yàn)。全文摘要本發(fā)明公開(kāi)了基于動(dòng)態(tài)模板的光學(xué)運(yùn)動(dòng)捕捉數(shù)據(jù)處理方法。通過(guò)建立運(yùn)動(dòng)特征數(shù)據(jù)庫(kù)，提出一種改進(jìn)的基于剛體的光學(xué)運(yùn)動(dòng)捕捉數(shù)據(jù)處理方法，著重解決在運(yùn)動(dòng)過(guò)程中剛體結(jié)構(gòu)被破壞的問(wèn)題，通過(guò)運(yùn)動(dòng)特征數(shù)據(jù)庫(kù)建立一個(gè)動(dòng)態(tài)的匹配模版，從而有效地解決了傳統(tǒng)的剛體匹配僅用唯一匹配模版所造成的失配和誤差累積問(wèn)題。本發(fā)明利用運(yùn)動(dòng)特征數(shù)據(jù)庫(kù)檢索信息，在跟蹤匹配過(guò)程中自動(dòng)調(diào)整各剛體長(zhǎng)度的誤差參數(shù)，在處理過(guò)程中無(wú)需手工干預(yù)自動(dòng)完成，并且單幀數(shù)據(jù)處理耗時(shí)滿(mǎn)足運(yùn)動(dòng)捕捉的實(shí)時(shí)性要求。文檔編號(hào)G06T17/00GK101533526SQ20091001122公開(kāi)日2009年9月16日申請(qǐng)日期2009年4月18日優(yōu)先權(quán)日2009年4月18日發(fā)明者升吳,強(qiáng)張,魏小鵬申請(qǐng)人:大連大學(xué)