本發(fā)明涉及身體形狀估計(jì)領(lǐng)域，尤其是涉及了一種基于3d掃描的人物身體形狀估計(jì)方法。

背景技術(shù)：

隨著新興三維非接觸測(cè)量技術(shù)的發(fā)展，三維全人體掃描技術(shù)已經(jīng)成為科學(xué)家們關(guān)注和研究的重要課題之一，它被用來(lái)偵測(cè)和分析人類個(gè)體的形狀和外觀數(shù)據(jù)，其應(yīng)用領(lǐng)域非常廣泛，如人體三維數(shù)據(jù)收集、人像打??；服裝設(shè)計(jì)、虛擬試衣、個(gè)性化量身定做；美體塑身行業(yè)體型分析、評(píng)價(jià)；影視行業(yè)真人三維建模；醫(yī)學(xué)工程、生理解剖；工業(yè)模型掃描與設(shè)計(jì)；文物研究與修復(fù)等。然而，先前使用的模型太過(guò)簡(jiǎn)單，無(wú)法跟蹤復(fù)雜的姿態(tài)，缺乏細(xì)節(jié)部分的檢測(cè)，精確度不高，因此無(wú)法滿足使用需求。

本發(fā)明提出了一種基于3d掃描的人物身體形狀估計(jì)方法，先使用多人物線性模型(mplm)確定姿勢(shì)向量，模擬形狀和姿勢(shì)的相關(guān)變形，再用皮膚項(xiàng)、布料項(xiàng)、模型耦合項(xiàng)和先驗(yàn)項(xiàng)定義單幀目標(biāo)函數(shù)，接著將單幀目標(biāo)擴(kuò)展到多個(gè)幀并聯(lián)合優(yōu)化，通過(guò)再次使用單幀目標(biāo)獲得單個(gè)形狀估計(jì)，最后使用融合形狀進(jìn)行跟蹤，使估計(jì)的形狀保持靠近融合形狀。本發(fā)明使用多人物線性模型跟蹤復(fù)雜的姿勢(shì)，能夠高效地估計(jì)聯(lián)合模型參數(shù)和主體特定的自由形狀；同時(shí)，還增加了細(xì)節(jié)部分的檢測(cè)，提高了精確度。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)模型太過(guò)簡(jiǎn)單、無(wú)法跟蹤復(fù)雜的姿態(tài)等問(wèn)題，本發(fā)明的目的在于提供一種基于3d掃描的人物身體形狀估計(jì)方法，先使用多人物線性模型(mplm)確定姿勢(shì)向量，模擬形狀和姿勢(shì)的相關(guān)變形，再用皮膚項(xiàng)、布料項(xiàng)、模型耦合項(xiàng)和先驗(yàn)項(xiàng)定義單幀目標(biāo)函數(shù)，接著將單幀目標(biāo)擴(kuò)展到多個(gè)幀并聯(lián)合優(yōu)化，通過(guò)再次使用單幀目標(biāo)獲得單個(gè)形狀估計(jì)，最后使用融合形狀進(jìn)行跟蹤，使估計(jì)的形狀保持靠近融合形狀。

為解決上述問(wèn)題，本發(fā)明提供一種基于3d掃描的人物身體形狀估計(jì)方法，其主要內(nèi)容包括：

(一)使用身體模型確定姿勢(shì)向量；

(二)定義單幀目標(biāo)函數(shù)；

(三)融合形狀估計(jì)；

(四)姿勢(shì)和形狀跟蹤。

其中，所述的使用身體模型確定姿勢(shì)向量，多人物線性模型(mplm)使用具有6890個(gè)頂點(diǎn)的學(xué)習(xí)裝配模板t的主體模型；根據(jù)形狀參數(shù)和骨架姿態(tài)適配mplm的頂點(diǎn)位置；人體的骨骼結(jié)構(gòu)由運(yùn)動(dòng)鏈建模，運(yùn)動(dòng)鏈由通過(guò)24個(gè)關(guān)節(jié)連接的剛性骨段組成；每個(gè)關(guān)節(jié)建模為具有3個(gè)旋轉(zhuǎn)自由度(dof)的球形關(guān)節(jié)，用指數(shù)坐標(biāo)ω進(jìn)行參數(shù)化；包括平移在內(nèi)，姿勢(shì)θ由3×23+3＝72個(gè)參數(shù)的姿勢(shì)向量確定。

進(jìn)一步地，所述的多人物線性模型(mplm)，為了模擬形狀和姿勢(shì)的相關(guān)變形，mplm以加總的方式修改模板，并從變形的模板預(yù)測(cè)關(guān)節(jié)位置；

m(β,θ)＝w(t(β,θ),j(β),θ,w)(1)

t(β,θ)＝tμ+bs(β)+bp(θ)(2)

其中，是線性混合蒙皮函數(shù)，其在靜止姿態(tài)tμ、聯(lián)合位置j、姿態(tài)θ和混合權(quán)重w中取頂點(diǎn)，并返回所提出的頂點(diǎn)；參數(shù)bs(β)和bp(θ)是來(lái)自模板的頂點(diǎn)偏移向量；使用m引用mplm生成的網(wǎng)格。

其中，所述的定義單幀目標(biāo)函數(shù)，將單幀目標(biāo)函數(shù)定義為：

e(test,m(β,0),θ；s)＝λskines+λcec+λcplecpl+λprioreprior(3)

其中，es是皮膚項(xiàng)，ec是布料項(xiàng)，ecpl是模型耦合項(xiàng)，eprior包括姿勢(shì)、形狀和平移的先驗(yàn)項(xiàng)；

m(β,0)＝tu+bs(β)(4)

tu是mplm的默認(rèn)模板，β是形狀空間的系數(shù)。

進(jìn)一步地，所述的皮膚項(xiàng)，懲罰項(xiàng)與模型的偏差，掃描標(biāo)記為皮膚si∈ss的點(diǎn)；為了使損失函數(shù)平滑，先計(jì)算對(duì)齊的點(diǎn)與最近的布料點(diǎn)的測(cè)地距離，并應(yīng)用邏輯函數(shù)來(lái)映射0和1之間的測(cè)地距離；將此函數(shù)命名為結(jié)果值以最近距離傳播到掃描點(diǎn)，并用于對(duì)每個(gè)掃描殘余加權(quán)；靠近皮膚-布料邊界的點(diǎn)具有平滑減小的重量；

其中，dist是點(diǎn)到表面距離，ρ(·)是geman-mcclure懲罰函數(shù)；dist()計(jì)算網(wǎng)格三角形、邊或點(diǎn)上最接近的基元；在每種情況下相應(yīng)地計(jì)算分析導(dǎo)數(shù)。

進(jìn)一步地，所述的布料項(xiàng)，由于ec＝eo+ei，外部懲罰項(xiàng)穿透網(wǎng)格的布點(diǎn)，擬合項(xiàng)鼓勵(lì)網(wǎng)格靠近布料表面；假設(shè)進(jìn)行閉合掃描，并將模型推入內(nèi)部；外部項(xiàng)在數(shù)學(xué)上是標(biāo)記為布料的每個(gè)掃描點(diǎn)的懲罰的總和s∈sc，其穿透形狀網(wǎng)格：

其中，如果掃描點(diǎn)si位于網(wǎng)格內(nèi)部，則δi返回1的指示符函數(shù)，否則為0；通過(guò)計(jì)算網(wǎng)格表面法線、連接掃描頂點(diǎn)和網(wǎng)格中最近點(diǎn)的矢量之間的角度，可獲得激活δi。

進(jìn)一步地，所述的耦合項(xiàng)，僅優(yōu)化es和ec導(dǎo)致結(jié)果不穩(wěn)定，因?yàn)闆](méi)有強(qiáng)制人體測(cè)量約束；因此，限制模板test，保持接近統(tǒng)計(jì)形狀主體模型；

ecpl(test,m(0,β))＝‖diag(w)(test-m(0,β))‖²(7)

其中，對(duì)角矩陣diag(w)簡(jiǎn)單地增加了諸如手和腳部分的耦合強(qiáng)度；聯(lián)合優(yōu)化test和β，形狀的模型表示被拉向test，反之亦然；優(yōu)化的結(jié)果是詳細(xì)的估計(jì)test和形狀β的模型表示。

進(jìn)一步地，所述的先驗(yàn)項(xiàng)，使用從mplm的姿勢(shì)訓(xùn)練集計(jì)算高斯先驗(yàn)對(duì)姿勢(shì)進(jìn)行正則化；具體來(lái)說(shuō)，在姿勢(shì)上執(zhí)行馬氏距離：

其中，從姿態(tài)訓(xùn)練集中計(jì)算平均值μθ和協(xié)方差類似的先驗(yàn)可以強(qiáng)制在形狀空間系數(shù)β，為了優(yōu)化單幀目標(biāo)，使用自動(dòng)分解工具計(jì)算導(dǎo)數(shù)。

其中，所述的融合形狀估計(jì)，將單幀目標(biāo)擴(kuò)展到多幀，并聯(lián)合優(yōu)化單個(gè)test，β和nframes姿勢(shì)按順序?qū)⑺袙呙栌涗浀絾蝹€(gè)衣物模板；使用單幀目標(biāo)函數(shù)λc＝0；由此獲得每幀穿著的模板模板集包含非剛性布料運(yùn)動(dòng)；裸體形狀位于所有的衣物模板內(nèi)部；收集所有模板，并將其視為單個(gè)點(diǎn)云，稱之為融合掃描因此，可以通過(guò)再次使用單幀目標(biāo)獲得單個(gè)形狀估計(jì)：

所獲得的融合形狀已經(jīng)相當(dāng)準(zhǔn)確。

其中，所述的姿勢(shì)和形狀跟蹤，使用融合形狀進(jìn)行跟蹤，使估計(jì)的形狀保持靠近融合形狀；通過(guò)將估計(jì)耦合到融合形狀來(lái)實(shí)現(xiàn)：

用上式表示，故耦合項(xiàng)現(xiàn)在是

附圖說(shuō)明

圖1是本發(fā)明一種基于3d掃描的人物身體形狀估計(jì)方法的系統(tǒng)流程圖。

圖2是本發(fā)明一種基于3d掃描的人物身體形狀估計(jì)方法的皮膚項(xiàng)。

圖3是本發(fā)明一種基于3d掃描的人物身體形狀估計(jì)方法的融合形狀估計(jì)。

具體實(shí)施方式

需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。

圖1是本發(fā)明一種基于3d掃描的人物身體形狀估計(jì)方法的系統(tǒng)流程圖。主要包括使用身體模型確定姿勢(shì)向量，定義單幀目標(biāo)函數(shù)，融合形狀估計(jì)，姿勢(shì)和形狀跟蹤。

使用身體模型確定姿勢(shì)向量，多人物線性模型(mplm)使用具有6890個(gè)頂點(diǎn)的學(xué)習(xí)裝配模板t的主體模型；根據(jù)形狀參數(shù)和骨架姿態(tài)適配mplm的頂點(diǎn)位置；人體的骨骼結(jié)構(gòu)由運(yùn)動(dòng)鏈建模，運(yùn)動(dòng)鏈由通過(guò)24個(gè)關(guān)節(jié)連接的剛性骨段組成；每個(gè)關(guān)節(jié)建模為具有3個(gè)旋轉(zhuǎn)自由度(dof)的球形關(guān)節(jié)，用指數(shù)坐標(biāo)ω進(jìn)行參數(shù)化；包括平移在內(nèi)，姿勢(shì)θ由3×23+3＝72個(gè)參數(shù)的姿勢(shì)向量確定。

為了模擬形狀和姿勢(shì)的相關(guān)變形，mplm以加總的方式修改模板，并從變形的模板預(yù)測(cè)關(guān)節(jié)位置；

m(β,θ)＝w(t(β,θ),j(β),θ,w)(1)

t(β,θ)＝tμ+bs(β)+bp(θ)(2)

其中，是線性混合蒙皮函數(shù)，其在靜止姿態(tài)tμ、聯(lián)合位置j、姿態(tài)θ和混合權(quán)重w中取頂點(diǎn)，并返回所提出的頂點(diǎn)；參數(shù)bs(β)和bp(θ)是來(lái)自模板的頂點(diǎn)偏移向量；使用m引用mplm生成的網(wǎng)格。

將單幀目標(biāo)函數(shù)定義為：

e(test,m(β,0),θ；s)＝λskines+λcec+λcplecpl+λprioreprior(3)

其中，es是皮膚項(xiàng)，ec是布料項(xiàng)，ecpl是模型耦合項(xiàng)，eprior包括姿勢(shì)、形狀和平移的先驗(yàn)項(xiàng)；

m(β,0)＝tu+bs(β)(4)

tu是mplm的默認(rèn)模板，β是形狀空間的系數(shù)。

布料項(xiàng)，由于ec＝eo+ei，外部懲罰項(xiàng)穿透網(wǎng)格的布點(diǎn)，擬合項(xiàng)鼓勵(lì)網(wǎng)格靠近布料表面；假設(shè)進(jìn)行閉合掃描，并將模型推入內(nèi)部；外部項(xiàng)在數(shù)學(xué)上是標(biāo)記為布料的每個(gè)掃描點(diǎn)的懲罰的總和s∈sc，其穿透形狀網(wǎng)格：

其中，如果掃描點(diǎn)si位于網(wǎng)格內(nèi)部，則δi返回1的指示符函數(shù)，否則為0；通過(guò)計(jì)算網(wǎng)格表面法線、連接掃描頂點(diǎn)和網(wǎng)格中最近點(diǎn)的矢量之間的角度，可獲得激活δi。

耦合項(xiàng)，僅優(yōu)化es和ec導(dǎo)致結(jié)果不穩(wěn)定，因?yàn)闆](méi)有強(qiáng)制人體測(cè)量約束；因此，限制模板test，保持接近統(tǒng)計(jì)形狀主體模型；

ecpl(test，m(0，β))＝||diag(w)(test-m(0，β))||²(6)

其中，對(duì)角矩陣diag(w)簡(jiǎn)單地增加了諸如手和腳部分的耦合強(qiáng)度；聯(lián)合優(yōu)化test和β，形狀的模型表示被拉向test，反之亦然；優(yōu)化的結(jié)果是詳細(xì)的估計(jì)test和形狀β的模型表示。

先驗(yàn)項(xiàng)，使用從mplm的姿勢(shì)訓(xùn)練集計(jì)算高斯先驗(yàn)對(duì)姿勢(shì)進(jìn)行正則化；具體來(lái)說(shuō)，在姿勢(shì)上執(zhí)行馬氏距離：

其中，從姿態(tài)訓(xùn)練集中計(jì)算平均值μθ和協(xié)方差類似的先驗(yàn)可以強(qiáng)制在形狀空間系數(shù)β，為了優(yōu)化單幀目標(biāo)，使用自動(dòng)分解工具計(jì)算導(dǎo)數(shù)。

姿勢(shì)和形狀跟蹤，使用融合形狀進(jìn)行跟蹤，使估計(jì)的形狀保持靠近融合形狀；通過(guò)將估計(jì)耦合到融合形狀來(lái)實(shí)現(xiàn)：

用上式表示，故耦合項(xiàng)現(xiàn)在是

圖2是本發(fā)明一種基于3d掃描的人物身體形狀估計(jì)方法的皮膚項(xiàng)。懲罰項(xiàng)與模型的偏差，掃描標(biāo)記為皮膚si∈ss的點(diǎn)；為了使損失函數(shù)平滑，先計(jì)算對(duì)齊的點(diǎn)與最近的布料點(diǎn)的測(cè)地距離，并應(yīng)用邏輯函數(shù)來(lái)映射0和1之間的測(cè)地距離；將此函數(shù)命名為結(jié)果值以最近距離傳播到掃描點(diǎn)，并用于對(duì)每個(gè)掃描殘余加權(quán)；靠近皮膚-布料邊界的點(diǎn)具有平滑減小的重量；

其中，dist是點(diǎn)到表面距離，ρ(·)是geman-mcclure懲罰函數(shù)；dist()計(jì)算網(wǎng)格三角形、邊或點(diǎn)上最接近的基元；在每種情況下相應(yīng)地計(jì)算分析導(dǎo)數(shù)。

圖3是本發(fā)明一種基于3d掃描的人物身體形狀估計(jì)方法的融合形狀估計(jì)。將單幀目標(biāo)擴(kuò)展到多幀，并聯(lián)合優(yōu)化單個(gè)test，β和nframes姿勢(shì)按順序?qū)⑺袙呙栌涗浀絾蝹€(gè)衣物模板；使用單幀目標(biāo)函數(shù)λc＝0；由此獲得每幀穿著的模板模板集包含非剛性布料運(yùn)動(dòng)；裸體形狀位于所有的衣物模板內(nèi)部；收集所有模板，并將其視為單個(gè)點(diǎn)云，稱之為融合掃描因此，可以通過(guò)再次使用單幀目標(biāo)獲得單個(gè)形狀估計(jì)：

所獲得的融合形狀已經(jīng)相當(dāng)準(zhǔn)確。

對(duì)于本領(lǐng)域技術(shù)人員，本發(fā)明不限制于上述實(shí)施例的細(xì)節(jié)，在不背離本發(fā)明的精神和范圍的情況下，能夠以其他具體形式實(shí)現(xiàn)本發(fā)明。此外，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍，這些改進(jìn)和變型也應(yīng)視為本發(fā)明的保護(hù)范圍。因此，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。