專利名稱：基于單目攝像機(jī)和多平面鏡折反射裝置的運(yùn)動(dòng)捕捉方法
技術(shù)領(lǐng)域：
本發(fā)明提供了一種新型的運(yùn)動(dòng)捕捉方法，具體涉及一種基于單目攝像機(jī)和多平面 鏡折反射裝置的運(yùn)動(dòng)捕捉方法。
背景技術(shù)：
運(yùn)動(dòng)捕捉技術(shù)涉及尺寸測(cè)量、物理空間里物體的定位及方位測(cè)定等方面可以由計(jì) 算機(jī)直接理解處理的數(shù)據(jù)。在運(yùn)動(dòng)物體的關(guān)鍵部位設(shè)置跟蹤器，由運(yùn)動(dòng)捕捉系統(tǒng)捕捉跟蹤 器位置，再經(jīng)過計(jì)算機(jī)處理后向用戶提供可以在動(dòng)畫制作中應(yīng)用的數(shù)據(jù)。當(dāng)數(shù)據(jù)被計(jì)算機(jī) 識(shí)別后，動(dòng)畫師即可以在計(jì)算機(jī)產(chǎn)生的鏡頭中調(diào)整、控制運(yùn)動(dòng)的物體。運(yùn)動(dòng)捕捉技術(shù)的出現(xiàn)可以追溯到二十世紀(jì)七十年代末，當(dāng)時(shí)迪士尼公司為了提高 動(dòng)畫角色的動(dòng)作質(zhì)量而提出的這一方法，后因效果不理想而放棄。此后，運(yùn)動(dòng)捕捉技術(shù)吸引 了越來越多研究人員和開發(fā)商的目光，并從實(shí)驗(yàn)性研究逐步走向了實(shí)用化和商業(yè)化。隨著 計(jì)算機(jī)軟硬件技術(shù)的飛速發(fā)展，目前在發(fā)達(dá)國(guó)家，運(yùn)動(dòng)捕捉已經(jīng)得到廣泛的應(yīng)用，成功地應(yīng) 用于影視特效、動(dòng)畫制作、虛擬現(xiàn)實(shí)、游戲、人體工程學(xué)、模擬訓(xùn)練、生物力學(xué)研究等許多方目前的運(yùn)動(dòng)捕捉系統(tǒng)，為了提高系統(tǒng)的穩(wěn)定性同時(shí)獲得精確的捕捉數(shù)據(jù)，大多數(shù) 都采用由光學(xué)式運(yùn)動(dòng)捕捉和高速拍照攝像機(jī)陣列組成的運(yùn)動(dòng)捕捉系統(tǒng)，這樣，為了保證系 統(tǒng)獲得的運(yùn)動(dòng)捕捉的數(shù)據(jù)的穩(wěn)定和準(zhǔn)確，就不可避免的會(huì)遇到多相機(jī)標(biāo)定和立體匹配這兩 個(gè)經(jīng)典難題，同時(shí)還要解決多臺(tái)相機(jī)同步采集的難題，這也在很大程度上關(guān)系到結(jié)果的魯 棒性和準(zhǔn)確性。

發(fā)明內(nèi)容
本發(fā)明的目的是在傳統(tǒng)運(yùn)動(dòng)捕捉系統(tǒng)的基礎(chǔ)上提出的一種更簡(jiǎn)單易用，可擴(kuò)展性 更強(qiáng)，更易于推廣的基于單目攝像機(jī)和多平面鏡折反射裝置的運(yùn)動(dòng)捕捉方法；旨在解決傳 統(tǒng)運(yùn)動(dòng)捕捉系統(tǒng)中由于使用了攝像機(jī)陣列而引起的多相機(jī)標(biāo)定和同步控制的難題，進(jìn)而提 高獲取的標(biāo)志點(diǎn)匹配的精度，從而提高對(duì)標(biāo)志點(diǎn)三維重建的準(zhǔn)確性和系統(tǒng)的穩(wěn)定性。為實(shí)現(xiàn)這一目的，首先利用多平面鏡和單目攝像機(jī)，搭建數(shù)據(jù)采集系統(tǒng)，調(diào)整真實(shí) 攝像機(jī)的拍攝角度和光圈，對(duì)拍攝區(qū)域的運(yùn)動(dòng)物體進(jìn)行數(shù)據(jù)采集。采用閾值法取得標(biāo)志點(diǎn)， 應(yīng)用區(qū)域填空法得到標(biāo)志點(diǎn)的中心位置，對(duì)得到的標(biāo)志點(diǎn)進(jìn)行三維重建，利用極線約束進(jìn) 行對(duì)應(yīng)點(diǎn)的匹配，采取歧義性最小的攝像機(jī)組合對(duì)標(biāo)志點(diǎn)進(jìn)行三維重建，可以在最大程度 上保證系統(tǒng)的穩(wěn)定性。最后，將處理得到的標(biāo)志點(diǎn)運(yùn)動(dòng)軌跡與三維模型相結(jié)合，進(jìn)行運(yùn)動(dòng)編 輯。本發(fā)明的技術(shù)方案如下(流程參見圖1)一種運(yùn)動(dòng)捕捉方法，其特征在于，-該方法利用一臺(tái)單目攝像機(jī)和一個(gè)由多平面鏡折反射裝置進(jìn)行圖像捕捉；_捕捉方法如下
4
A.數(shù)據(jù)預(yù)處理階段，包括三個(gè)步驟1)圖像數(shù)據(jù)采集，計(jì)算鏡面夾角。用攝像機(jī)以30° 100°的俯角拍攝照片，在同 一張照片中同時(shí)獲取不同視點(diǎn)的場(chǎng)景，選取不同場(chǎng)景中的對(duì)應(yīng)點(diǎn)，計(jì)算場(chǎng)景中平面鏡的夾 角；2)標(biāo)定真實(shí)攝像機(jī)。選取不同場(chǎng)景中對(duì)應(yīng)的點(diǎn)，對(duì)真實(shí)的攝像機(jī)進(jìn)行內(nèi)外參數(shù)的 標(biāo)定；3)標(biāo)定虛擬攝像機(jī)。真實(shí)的攝像機(jī)與虛擬攝像機(jī)之間有如下幾何關(guān)系X2+Y2+Z2 = R2其中，(X，Y，Ζ)是真實(shí)相機(jī)和虛擬相機(jī)光心的世界坐標(biāo)，R為正數(shù)，是光心到鏡面 交線的距離，亦即全局比例因子。由于所有場(chǎng)景中只有唯一一臺(tái)真實(shí)相機(jī)，所以每臺(tái)相機(jī)的 內(nèi)參數(shù)都相同，亦即真實(shí)相機(jī)的內(nèi)參數(shù)，同時(shí)利用以上公式體現(xiàn)的真實(shí)相機(jī)和虛擬相機(jī)之 間的關(guān)系，就可以方便地獲取每臺(tái)相機(jī)的外參數(shù)，記錄每臺(tái)相機(jī)的內(nèi)外參數(shù)；B.標(biāo)識(shí)點(diǎn)的跟蹤和獲取階段，包括一個(gè)步驟4)采集運(yùn)動(dòng)場(chǎng)景數(shù)據(jù)并處理。利用光學(xué)式運(yùn)動(dòng)捕捉技術(shù)對(duì)運(yùn)動(dòng)物體進(jìn)行運(yùn)動(dòng)軌跡 的數(shù)據(jù)采集，抽取每個(gè)視點(diǎn)場(chǎng)景中的對(duì)應(yīng)點(diǎn)數(shù)據(jù)，獲取標(biāo)識(shí)點(diǎn)的中心坐標(biāo)；C.三維重建和運(yùn)動(dòng)數(shù)據(jù)編輯階段，包括兩個(gè)步驟5)恢復(fù)標(biāo)識(shí)點(diǎn)的三維坐標(biāo)。將每個(gè)試點(diǎn)場(chǎng)景進(jìn)行對(duì)應(yīng)點(diǎn)數(shù)據(jù)的配準(zhǔn)，根據(jù)標(biāo)定的 攝像機(jī)參數(shù)，恢復(fù)數(shù)據(jù)點(diǎn)的三維坐標(biāo)并記錄；6)運(yùn)動(dòng)數(shù)據(jù)編輯。由于人體的骨骼結(jié)構(gòu)在本質(zhì)上是結(jié)構(gòu)化的，所以，對(duì)應(yīng)人體骨骼 的樹形結(jié)構(gòu)，選擇盆骨的位置為樹根，將運(yùn)動(dòng)捕捉數(shù)據(jù)結(jié)構(gòu)化。建立樹形結(jié)構(gòu)之后，整個(gè)運(yùn) 動(dòng)捕捉數(shù)據(jù)的描述就比較簡(jiǎn)單了，而且一些基本的約束可以隱含在結(jié)構(gòu)中，無須顯式的表 達(dá)。提取運(yùn)動(dòng)捕捉數(shù)據(jù)的關(guān)鍵幀，驅(qū)動(dòng)三維模型。其中，所述多平面鏡折反射裝置由兩面平面鏡組成；兩平面鏡鏡面相對(duì)，俯視成 “V”字?jǐn)[放。本發(fā)明的有益效果本發(fā)明采用單目攝像機(jī)，同時(shí)充分利用多平面鏡間的折反射 關(guān)系，徹底解決了傳統(tǒng)的運(yùn)動(dòng)捕捉系統(tǒng)中由于使用攝像機(jī)陣列而面臨的多相機(jī)標(biāo)定的難題 以及同步控制的問題，從而達(dá)到了提高標(biāo)志點(diǎn)三維恢復(fù)精度和系統(tǒng)穩(wěn)定性的目的；同時(shí)大 大降低了系統(tǒng)的成本，系統(tǒng)具備良好的可擴(kuò)展性，使運(yùn)動(dòng)捕捉變得簡(jiǎn)單易行。


圖1為本發(fā)明的系統(tǒng)流程圖；圖2為本發(fā)明的裝置結(jié)構(gòu)示意圖；圖3為實(shí)施例中的數(shù)據(jù)樣圖。
具體實(shí)施方案為了更好的理解本發(fā)明的技術(shù)方案，以下結(jié)合附圖做進(jìn)一步的詳細(xì)說明。由圖1的系統(tǒng)流程圖可以看出系統(tǒng)的整個(gè)處理過程由三個(gè)階段組成數(shù)據(jù)預(yù)處 理、標(biāo)識(shí)點(diǎn)的跟蹤和獲取、三維重建和運(yùn)動(dòng)數(shù)據(jù)編輯。1、數(shù)據(jù)預(yù)處理
5
該階段包括步驟1)圖像數(shù)據(jù)采集，計(jì)算鏡面夾角——圖3為數(shù)據(jù)樣圖，步驟2) 標(biāo)定真實(shí)攝像機(jī)和步驟3)標(biāo)定虛擬攝像機(jī)，還有為了保證系統(tǒng)的實(shí)時(shí)性而進(jìn)行的背景建 模。由于本發(fā)明的硬件采集系統(tǒng)是由單目攝像機(jī)和多平面鏡組成——如圖2，故而不 必考慮相機(jī)陣列中涉及的同步控制采集圖像的問題，可以直接采集運(yùn)動(dòng)場(chǎng)景的數(shù)據(jù)。然后 利用 X. Ying，K. Peng, R.Ren，H. Zha，“Geometric Properties of Multiple Reflections in Catadioptric Camera with TwoPlanar Mirrors，，，to appear in I Proc. EEE Int. Conf. on Computer Vision and Pattern Recognition(CVPR* 10),San Francisco，CA，USA，June 13-18,2010方法，對(duì)攝像機(jī)進(jìn)行內(nèi)外參數(shù)標(biāo)定，對(duì)背景進(jìn)行建模，以便保證系統(tǒng)的實(shí)時(shí)性。2、標(biāo)識(shí)點(diǎn)的跟蹤和獲取本階段包括步驟4)采集運(yùn)動(dòng)場(chǎng)景數(shù)據(jù)并處理。標(biāo)志點(diǎn)的跟蹤和獲取的方法是首 先用獲取的圖像序列和背景圖像相減，得到前景；再利用閾值的方法獲取標(biāo)識(shí)點(diǎn)，再用區(qū)域 填空的方法得到標(biāo)識(shí)點(diǎn)的中心位置。本發(fā)明利用國(guó)際上流行的多高斯或單高斯分布對(duì)每一 個(gè)像素進(jìn)行建模，同時(shí)用獲取的圖像序列實(shí)時(shí)地更新背景圖像?？紤]到系統(tǒng)的實(shí)時(shí)性，背景 建模已經(jīng)在數(shù)據(jù)預(yù)處理階段完成。具體做法如下本發(fā)明的光源系統(tǒng)采用主動(dòng)發(fā)光的LED燈，將符合要求亮度的LED燈粘貼到被實(shí) 驗(yàn)者的衣服上，對(duì)實(shí)驗(yàn)實(shí)的光照環(huán)境進(jìn)行適當(dāng)?shù)牟贾茫怪疂M足實(shí)驗(yàn)要求的光照條件。相機(jī) 亮度調(diào)整到一定的亮度范圍(低亮度)，相機(jī)拍攝到的場(chǎng)景圖像中只顯示標(biāo)志點(diǎn)。這將大大 降低標(biāo)志點(diǎn)的檢測(cè)難度，。圖像中需要檢測(cè)的像素個(gè)數(shù)與標(biāo)志點(diǎn)的個(gè)數(shù)成正比。鑒于以上 原因，本發(fā)明采用簡(jiǎn)單的閾值法和區(qū)域生長(zhǎng)算法來求取標(biāo)志點(diǎn)的區(qū)域。經(jīng)過實(shí)驗(yàn)驗(yàn)證該方法簡(jiǎn)單、有效、快速、實(shí)用，對(duì)相機(jī)的幀率影響較小。程序流程1)設(shè)定標(biāo)志點(diǎn)的閾值。2)將超過閾值的點(diǎn)進(jìn)行區(qū)域生長(zhǎng)，生成不同的區(qū)域。3)求取每個(gè)區(qū)域的(X，y)坐標(biāo)的均值作為標(biāo)志點(diǎn)的中心位置。3、三維重建和運(yùn)動(dòng)數(shù)據(jù)編輯本階段包括步驟5)恢復(fù)標(biāo)識(shí)點(diǎn)的三維坐標(biāo)和步驟6)運(yùn)動(dòng)數(shù)據(jù)編輯。當(dāng)一個(gè)標(biāo)志 點(diǎn)被至少兩臺(tái)攝像機(jī)同時(shí)拍攝到時(shí)，這個(gè)標(biāo)志點(diǎn)的三維位置將是唯一確定的。目前，國(guó)際上 綁定的優(yōu)化方法是基于兩臺(tái)攝像機(jī)的。本發(fā)明采用的方法是當(dāng)一個(gè)標(biāo)志點(diǎn)僅僅在兩個(gè)視 點(diǎn)場(chǎng)景中出現(xiàn)時(shí)，將用傳統(tǒng)的方法來重建它；當(dāng)一個(gè)標(biāo)志點(diǎn)出現(xiàn)在至少三個(gè)視點(diǎn)場(chǎng)景中時(shí)， 選用三個(gè)歧義性最小、可靠性最高的視點(diǎn)場(chǎng)景來重建它。這里的歧義性最小是指該標(biāo)志點(diǎn) 在三個(gè)視點(diǎn)場(chǎng)景中為同一個(gè)標(biāo)志點(diǎn)的概率最大。該方法有效的解決了歧義性影響系統(tǒng)穩(wěn)定 性的問題。另一方面，圖像匹配一直是視覺領(lǐng)域的經(jīng)典難題，本發(fā)明中，由于獲取的圖像內(nèi)容 比較簡(jiǎn)單，并且由于使用平面鏡的關(guān)系，不同視點(diǎn)的場(chǎng)景之間的幾何關(guān)系很容易根據(jù)平面 鏡之間的位置關(guān)系確定，所以，本發(fā)明只采用了極線約束的方法進(jìn)行點(diǎn)的匹配。將處理后的運(yùn)動(dòng)數(shù)據(jù)與人體骨骼對(duì)應(yīng)起來，由于人體的骨骼結(jié)構(gòu)在本質(zhì)上是結(jié)構(gòu) 化的，所以，對(duì)應(yīng)人體骨骼的樹形結(jié)構(gòu)，選擇盆骨的位置為樹根，將運(yùn)動(dòng)捕捉數(shù)據(jù)結(jié)構(gòu)化。建
6立樹形結(jié)構(gòu)之后，整個(gè)運(yùn)動(dòng)捕捉數(shù)據(jù)的描述就比較簡(jiǎn)單了，而且一些基本的約束可以隱含 在結(jié)構(gòu)中，無須顯式的表達(dá)。使用優(yōu)化的聚類方法提取運(yùn)動(dòng)捕捉數(shù)據(jù)的關(guān)鍵幀，驅(qū)動(dòng)三維模 型。使用本發(fā)明提出的運(yùn)動(dòng)捕捉系統(tǒng)，可以利用數(shù)據(jù)本身的特征自動(dòng)標(biāo)定攝像機(jī)，由 于沒有使用攝像機(jī)陣列，從根本上解決了多相機(jī)標(biāo)定的重大難題和同步控制的問題，大大 提高了數(shù)據(jù)對(duì)應(yīng)點(diǎn)的匹配精度，使提取的運(yùn)動(dòng)軌跡更加準(zhǔn)確。另外本方法在很大程度上解 決了運(yùn)動(dòng)人體自遮擋的問題，利用其中幾個(gè)點(diǎn)的信息可以估計(jì)并恢復(fù)出在遮擋位置該點(diǎn)的 信息。本系統(tǒng)的提出使運(yùn)動(dòng)捕捉變得更加穩(wěn)定可靠、簡(jiǎn)單易用。需要注意的是，公布實(shí)施例的目的在于幫助進(jìn)一步理解本發(fā)明，但是本領(lǐng)域的技 術(shù)人員可以理解在不脫離本發(fā)明及所附權(quán)利要求的精神和范圍內(nèi)，各種替換和修改都是 可能的。因此，本發(fā)明不應(yīng)局限于實(shí)施例所公開的內(nèi)容，本發(fā)明要求保護(hù)的范圍以權(quán)利要求 書界定的范圍為準(zhǔn)。
權(quán)利要求
一種運(yùn)動(dòng)捕捉方法，其特征在于， 該方法利用一臺(tái)單目攝像機(jī)和一個(gè)由多平面鏡折反射裝置進(jìn)行圖像捕捉； 捕捉方法如下A.數(shù)據(jù)預(yù)處理階段，包括三個(gè)步驟1)圖像數(shù)據(jù)采集，計(jì)算鏡面夾角；2)標(biāo)定真實(shí)攝像機(jī)；3)標(biāo)定虛擬攝像機(jī)；B.標(biāo)識(shí)點(diǎn)的跟蹤和獲取階段，包括一個(gè)步驟4)采集運(yùn)動(dòng)場(chǎng)景數(shù)據(jù)并處理；C.三維重建和運(yùn)動(dòng)數(shù)據(jù)編輯階段，包括兩個(gè)步驟5)恢復(fù)標(biāo)識(shí)點(diǎn)的三維坐標(biāo)；6)運(yùn)動(dòng)數(shù)據(jù)編輯。
2.如權(quán)利要求1所述的方法，其特征在于，所述多平面鏡折反射裝置由兩面平面鏡組 成；兩平面鏡鏡面相對(duì)，俯視成“V”字?jǐn)[放。
3.如權(quán)利要求1所述的方法，其特征在于，所述步驟1)的實(shí)現(xiàn)方法為用攝像機(jī)以 30° 100°的俯角拍攝照片，在同一張照片中同時(shí)獲取不同視點(diǎn)的場(chǎng)景，選取不同場(chǎng)景中 的對(duì)應(yīng)點(diǎn)，計(jì)算場(chǎng)景中平面鏡的夾角。
4.如權(quán)利要求3所述的方法，其特征在于，所述步驟2)的實(shí)現(xiàn)方法為選取不同場(chǎng)景 中對(duì)應(yīng)的點(diǎn)，對(duì)真實(shí)的攝像機(jī)進(jìn)行內(nèi)外參數(shù)的標(biāo)定。
5.如權(quán)利要求4所述的方法，其特征在于，所述步驟3)的實(shí)現(xiàn)方法為真實(shí)的攝像機(jī)與虛擬攝像機(jī)之間有如下幾何關(guān)系X2+Y2+Z2 = R2其中，(X，Y，ζ)是真實(shí)相機(jī)和虛擬相機(jī)光心的世界坐標(biāo)；R為正數(shù)，是光心到鏡面交線 的距離；每臺(tái)相機(jī)的內(nèi)參數(shù)都等于真實(shí)相機(jī)的內(nèi)參數(shù)，利用上面公式求出每臺(tái)相機(jī)的外參 數(shù)；記錄每臺(tái)相機(jī)的內(nèi)外參數(shù)。
6.如權(quán)利要求5所述的方法，其特征在于，所述步驟4)的實(shí)現(xiàn)方法為利用光學(xué)式運(yùn) 動(dòng)捕捉技術(shù)對(duì)運(yùn)動(dòng)物體進(jìn)行運(yùn)動(dòng)軌跡的數(shù)據(jù)采集，抽取每個(gè)視點(diǎn)場(chǎng)景中的對(duì)應(yīng)點(diǎn)數(shù)據(jù)，獲 取標(biāo)識(shí)點(diǎn)的中心坐標(biāo)。
7.如權(quán)利要求6所述的方法，其特征在于，所述步驟5)的實(shí)現(xiàn)方法為將每個(gè)試點(diǎn)場(chǎng) 景進(jìn)行對(duì)應(yīng)點(diǎn)數(shù)據(jù)的配準(zhǔn)，根據(jù)標(biāo)定的攝像機(jī)參數(shù)，恢復(fù)數(shù)據(jù)點(diǎn)的三維坐標(biāo)并記錄。
8.如權(quán)利要求7所述的方法，其特征在于，所述步驟6)的實(shí)現(xiàn)方法為對(duì)應(yīng)人體骨骼 的樹形結(jié)構(gòu)，選擇盆骨的位置為樹根，將運(yùn)動(dòng)捕捉數(shù)據(jù)結(jié)構(gòu)化；提取運(yùn)動(dòng)捕捉數(shù)據(jù)的關(guān)鍵 幀，驅(qū)動(dòng)三維模型。
9.如權(quán)利要求1所述的方法，其特征在于，在數(shù)據(jù)預(yù)處理階段還包括為了保證系統(tǒng)的 實(shí)時(shí)性而進(jìn)行的背景建模步驟。
10.如權(quán)利要求1所述的方法，其特征在于，利用閾值法和區(qū)域生長(zhǎng)算法來求取標(biāo)志點(diǎn) 的區(qū)域，方法如下a)設(shè)定標(biāo)志點(diǎn)的閾值；b)將超過閾值的點(diǎn)進(jìn)行區(qū)域生長(zhǎng)，生成不同的區(qū)域；c)求取每個(gè)區(qū)域的(x，y)坐標(biāo)的均值作為標(biāo)志點(diǎn)的中心位置。
全文摘要
本發(fā)明提供了一種基于單目攝像機(jī)和多平面鏡折反射裝置的新型運(yùn)動(dòng)捕捉方法。利用多平面鏡和單目攝像機(jī)，對(duì)拍攝區(qū)域的運(yùn)動(dòng)物體進(jìn)行數(shù)據(jù)采集；采用閾值法取得標(biāo)志點(diǎn)，對(duì)標(biāo)志點(diǎn)進(jìn)行三維重建；最后，將處理得到的標(biāo)志點(diǎn)運(yùn)動(dòng)軌跡與三維模型相結(jié)合，進(jìn)行運(yùn)動(dòng)編輯。本發(fā)明采用單目攝像機(jī)，同時(shí)充分利用多平面鏡間的折反射關(guān)系，徹底解決了傳統(tǒng)的運(yùn)動(dòng)捕捉系統(tǒng)中由于使用攝像機(jī)陣列而面臨的多相機(jī)標(biāo)定的難題以及同步控制的問題，從而達(dá)到了提高標(biāo)志點(diǎn)三維恢復(fù)精度和系統(tǒng)穩(wěn)定性的目的；同時(shí)大大降低了系統(tǒng)的成本，系統(tǒng)具備良好的可擴(kuò)展性，使運(yùn)動(dòng)捕捉變得簡(jiǎn)單易行。
文檔編號(hào)G06T17/00GK101930628SQ20101028890
公開日2010年12月29日 申請(qǐng)日期2010年9月21日 優(yōu)先權(quán)日2010年9月21日
發(fā)明者任仁, 侯璐璐, 別懷偉, 彭琨, 查紅彬, 英向華 申請(qǐng)人:北京大學(xué)