專利名稱：一種基于優(yōu)化思想的人體姿態(tài)變形方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，特別是一種基于優(yōu)化思想的人體姿態(tài)變形方法。
背景技術(shù)：
從二維的視頻中獲取三維的人體姿態(tài)信息是計(jì)算機(jī)視覺(jué)、模式識(shí)別、虛擬現(xiàn)實(shí)、智能人機(jī)接口領(lǐng)域的熱點(diǎn)和難點(diǎn)問(wèn)題。在本文中，按照慣例，我們統(tǒng)一將“二維”簡(jiǎn)寫為“2D”，“三維”簡(jiǎn)寫為“3D”。
在已知初始人體姿態(tài)3D信息的前提下，如何根據(jù)視頻內(nèi)容對(duì)初始姿態(tài)進(jìn)行變形，從而得到視頻中對(duì)應(yīng)的3D信息是其中一個(gè)非常重要的子問(wèn)題，它不僅具有重要的研究意義，而且在游戲、關(guān)鍵幀3D動(dòng)畫、以及基于實(shí)例數(shù)據(jù)的3D信息獲取等方面具有廣闊的應(yīng)用前景。例如，在基于視頻的人體運(yùn)動(dòng)分析領(lǐng)域，我們只要有一個(gè)小樣本的3D人體姿態(tài)庫(kù)，就可以根據(jù)視頻圖像，恢復(fù)出對(duì)應(yīng)的人體姿態(tài)信息。再如，在動(dòng)畫領(lǐng)域中，只要給定一個(gè)小樣本的2D關(guān)鍵幀及其對(duì)應(yīng)的3D姿態(tài)信息，就可以將所有2D動(dòng)畫幀的3D信息恢復(fù)出來(lái)，輕松的實(shí)現(xiàn)3D動(dòng)畫的效果。
因此，基于視頻內(nèi)容的人體姿態(tài)變形技術(shù)不僅有重大的理論意義，也具有廣泛的應(yīng)用領(lǐng)域以及重要的實(shí)用價(jià)值。但是，在國(guó)內(nèi)外的現(xiàn)有的基于視頻的運(yùn)動(dòng)分析以及重構(gòu)軟件中，都沒(méi)有提供基于視頻內(nèi)容的人體姿態(tài)變形技術(shù)功能。在進(jìn)行相關(guān)的專利檢索時(shí)，也沒(méi)有檢索到任何相關(guān)專利的信息。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于優(yōu)化思想的人體姿態(tài)變形方法，實(shí)現(xiàn)在已知初始3D姿態(tài)的情況下，根據(jù)視頻內(nèi)容，對(duì)3D姿態(tài)進(jìn)行變形，從而恢復(fù)視頻中對(duì)應(yīng)的人體3D姿態(tài)信息。
為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于優(yōu)化思想的人體姿態(tài)變形方法，用于在已知初始人體三維姿態(tài)信息的基礎(chǔ)上，根據(jù)視頻中人體信息內(nèi)容，將初始人體3D姿態(tài)根據(jù)視頻內(nèi)容進(jìn)行變形，從而求取出視頻中對(duì)應(yīng)的3D人體結(jié)構(gòu)信息；該方法包括以下步驟1)對(duì)于給定的通用參數(shù)化3D人體模型，根據(jù)視頻內(nèi)容對(duì)其進(jìn)行定制；2)提取視頻中人體輪廓信息；3)將3D人體姿態(tài)(表面幾何模型描述)在2D平面上投影，形成2D模型輪廓；4)按照基于優(yōu)化算法的變形準(zhǔn)則對(duì)參數(shù)化3D人體模型姿態(tài)進(jìn)行變形。
上述技術(shù)方案中，步驟1)中所述的通用的參數(shù)化3D人體模型是這樣實(shí)現(xiàn)的參數(shù)化3D人體模型包括人體關(guān)節(jié)角度參數(shù)xa，內(nèi)部比例參數(shù)(縮放因子)xi；因此，人體模型可以表示為x＝(xa，xi)。
上述技術(shù)方案中，步驟4)中按照基于優(yōu)化算法的變形準(zhǔn)則對(duì)參數(shù)化3D人體模型姿態(tài)進(jìn)行變形是這樣實(shí)現(xiàn)的變形準(zhǔn)則包括1)模型輪廓被視頻輪廓的包含準(zhǔn)則；2)模型輪廓與視頻輪廓重疊最大化準(zhǔn)則；3)關(guān)節(jié)角度約束準(zhǔn)則；以上變形準(zhǔn)則的執(zhí)行是通過(guò)數(shù)學(xué)優(yōu)化目標(biāo)函數(shù)實(shí)現(xiàn)的。
其中，上述的模型輪廓被視頻輪廓包含準(zhǔn)則是指設(shè)Sa為人體模型的2D投影輪廓區(qū)域，Sg為視頻輪廓區(qū)域，通過(guò)自動(dòng)調(diào)整參數(shù)化3D人體模型的模型縮放因子，使3D人體模型姿態(tài)的2D投影輪廓Sa被視頻輪廓Sg覆蓋，即Sa∈Sg。
上述的模型輪廓與視頻輪廓重疊最大化準(zhǔn)則是指設(shè)Sa為人體模型的2D投影輪廓區(qū)域，Sg為視頻輪廓區(qū)域，通過(guò)自動(dòng)調(diào)整參數(shù)化3D人體模型的模型縮放因子參數(shù)和關(guān)節(jié)角度參數(shù)，使3D人體模型姿態(tài)的2D投影輪廓Sa與視頻輪廓Sg的重疊最大，即兩個(gè)輪廓Sa與Sg的差集最小，即Sa∈Sg，Sg∈Sa同時(shí)成立。
上述的關(guān)節(jié)角度約束準(zhǔn)則是指人的各個(gè)關(guān)節(jié)的活動(dòng)區(qū)域都有特定的范圍，在自動(dòng)調(diào)整參數(shù)化人體模型的關(guān)節(jié)角度參數(shù)xa時(shí)，要遵守滿足生物學(xué)原理的人體關(guān)節(jié)角度約束，同時(shí)，要避免角度參數(shù)的不合理造成的肢體穿透現(xiàn)象。
本發(fā)明的優(yōu)點(diǎn)在于1、本發(fā)明方法實(shí)現(xiàn)了對(duì)基于視頻內(nèi)容的人體姿態(tài)變形方法，不僅具有重要的理論意義，而且具有廣泛的應(yīng)用范圍和重大的使用價(jià)值。
2、本發(fā)明方法可用于各種類型的運(yùn)動(dòng)對(duì)象，具有良好的通用性。


圖1為基于優(yōu)化思想的人體姿態(tài)變形技術(shù)流程圖。
具體實(shí)施例方式
下面結(jié)合附圖，對(duì)本發(fā)明所述方法進(jìn)行進(jìn)一步地說(shuō)明。
如圖1所示，為本方法的流程圖，流程圖中虛線框內(nèi)表示操作，實(shí)線框內(nèi)表示相關(guān)操作得到的結(jié)果。
本發(fā)明的一種基于優(yōu)化思想的人體姿態(tài)變形技術(shù)主要分成以下步驟步驟1.定義一個(gè)通用的參數(shù)化3D人體模型，并根據(jù)視頻內(nèi)容定制3D模型參數(shù)；參數(shù)化3D人體模型包括人體關(guān)節(jié)角度參數(shù)xa，內(nèi)部比例參數(shù)(縮放因子)xi；因此，人體模型可以表示為x＝(xa，xi)；根據(jù)視頻中人體的形體信息，對(duì)通用的3D參數(shù)化人體模型的形體進(jìn)行相應(yīng)調(diào)整，使得兩者在形體上相吻合；步驟2.提取視頻中人體輪廓信息；提取視頻中人體輪廓的方法很多，我們采用簡(jiǎn)單的背景剪除的方法。
步驟3.將3D人體姿態(tài)(表面幾何模型描述)在2D平面上投影，形成2D模型輪廓；步驟4.定義變形準(zhǔn)則，并采用基于優(yōu)化算法的方法對(duì)相應(yīng)的目標(biāo)函數(shù)進(jìn)行計(jì)算，以達(dá)到對(duì)參數(shù)化3D人體模型姿態(tài)按照視頻內(nèi)容進(jìn)行變形的目的。
變形準(zhǔn)則包括a1、模型輪廓被視頻輪廓的包含準(zhǔn)則。設(shè)Sa為人體模型的2D投影輪廓區(qū)域，Sg為視頻輪廓區(qū)域。通過(guò)自動(dòng)調(diào)整參數(shù)化3D人體模型的模型縮放因子，使3D人體模型姿態(tài)的2D投影輪廓Sa被視頻輪廓Sg覆蓋，即Sa∈Sg。量化的準(zhǔn)則函數(shù)為ea(xi)＝|P(Person(xi，xa))-Sg|；其中，P為投影矩陣，Person(xi)為參數(shù)化的人體模型。
b1、模型輪廓與視頻輪廓重疊最大化準(zhǔn)則。設(shè)Sa為人體模型的2D投影輪廓區(qū)域，Sg為視頻輪廓區(qū)域。通過(guò)自動(dòng)調(diào)整參數(shù)化3D人體模型的模型縮放因子參數(shù)和關(guān)節(jié)角度參數(shù)，使3D人體模型姿態(tài)的2D投影輪廓Sa與視頻輪廓Sg的重疊最大，即兩個(gè)輪廓Sa與Sg的差集最小。即Sa∈Sg，Sg∈Sa同時(shí)成立。量化的準(zhǔn)則函數(shù)為es(xi,xa)=minxi,xa(P(Person(xi,xa))-Sg).]]>c1、關(guān)節(jié)角度約束準(zhǔn)則。人的各個(gè)關(guān)節(jié)的活動(dòng)區(qū)域都有特定的范圍。在自動(dòng)調(diào)整參數(shù)化人體模型的關(guān)節(jié)角度參數(shù)xa時(shí)，要遵守滿足生物學(xué)原理的人體關(guān)節(jié)角度約束，同時(shí)，要避免角度參數(shù)的不合理造成的肢體穿透現(xiàn)象。
以上變形準(zhǔn)則的執(zhí)行是通過(guò)對(duì)目標(biāo)函數(shù)進(jìn)行數(shù)值優(yōu)化來(lái)實(shí)現(xiàn)的。具體來(lái)說(shuō)，給定初始人體模型姿態(tài)x＝(xa，xi)，結(jié)合以上三個(gè)變形準(zhǔn)則，目標(biāo)函數(shù)f(x)可以表示為f(x)＝ea(xi)+es(xa，xi)+ep(xa)。
其中，ea為量化的模型輪廓被視頻輪廓的包含準(zhǔn)則；es為模型輪廓與視頻輪廓重疊最大化準(zhǔn)則；ep為人體關(guān)節(jié)角度約束。需要注意的是，在以上的三個(gè)量化準(zhǔn)則中，ea只對(duì)模型縮放因子xi進(jìn)行操作，es同時(shí)對(duì)縮放因子和人體關(guān)節(jié)角度參數(shù)進(jìn)行變化，而ep只對(duì)人體關(guān)節(jié)角度參數(shù)xa進(jìn)行處理。
通過(guò)最小化目標(biāo)函數(shù)，即 可以得到最終的視頻的3D人體姿態(tài)信息。優(yōu)化的實(shí)現(xiàn)過(guò)程是一個(gè)迭代的數(shù)值計(jì)算過(guò)程，具體數(shù)值計(jì)算方法很多，例如LM方法等。
權(quán)利要求
1.一種基于優(yōu)化思想的人體姿態(tài)變形方法，用于在已知初始人體三維姿態(tài)信息的基礎(chǔ)上，根據(jù)視頻中人體信息內(nèi)容，將初始人體3D姿態(tài)根據(jù)視頻內(nèi)容進(jìn)行變形，從而求取出視頻中對(duì)應(yīng)的3D人體結(jié)構(gòu)信息；該方法包括以下步驟1)對(duì)于給定的通用參數(shù)化3D人體模型，根據(jù)視頻內(nèi)容對(duì)其進(jìn)行定制；2)提取視頻中人體輪廓信息；3)將3D人體姿態(tài)在2D平面上投影，形成2D模型輪廓；4)按照基于優(yōu)化算法的變形準(zhǔn)則對(duì)參數(shù)化3D人體模型姿態(tài)進(jìn)行變形。
2.根據(jù)權(quán)利要求1所述的基于優(yōu)化思想的人體姿態(tài)變形方法，其特征在于，步驟1)所述的通用參數(shù)化3D人體模型是這樣實(shí)現(xiàn)的參數(shù)化3D人體模型包括人體關(guān)節(jié)角度參數(shù)xa，內(nèi)部比例參數(shù)xi；因此，人體模型可以表示為x＝(xa，xi)。
3.根據(jù)權(quán)利要求1所述的基于優(yōu)化思想的人體姿態(tài)變形方法，其特征在于，步驟4)中按照基于優(yōu)化算法的變形準(zhǔn)則對(duì)參數(shù)化3D人體模型姿態(tài)進(jìn)行變形是這樣實(shí)現(xiàn)的變形準(zhǔn)則包括1)模型輪廓被視頻輪廓的包含準(zhǔn)則；2)模型輪廓與視頻輪廓重疊最大化準(zhǔn)則；3)關(guān)節(jié)角度約束準(zhǔn)則；以上變形準(zhǔn)則的執(zhí)行是通過(guò)數(shù)學(xué)優(yōu)化目標(biāo)函數(shù)實(shí)現(xiàn)的。
4.根據(jù)權(quán)利要求3所述的基于優(yōu)化思想的人體姿態(tài)變形方法，其特征在于，所述的按照模型輪廓被視頻輪廓包含準(zhǔn)則是指設(shè)Sa為人體模型的2D投影輪廓區(qū)域，Sg為視頻輪廓區(qū)域，通過(guò)自動(dòng)調(diào)整參數(shù)化3D人體模型的模型縮放因子，使3D人體模型姿態(tài)的2D投影輪廓Sa被視頻輪廓Sg覆蓋，即Sa∈Sg。
5.根據(jù)權(quán)利要求3所述的基于優(yōu)化思想的人體姿態(tài)變形方法，其特征在于，所述的模型輪廓與視頻輪廓重疊最大化準(zhǔn)則是指設(shè)Sa為人體模型的2D投影輪廓區(qū)域，Sg為視頻輪廓區(qū)域，通過(guò)自動(dòng)調(diào)整參數(shù)化3D人體模型的模型縮放因子參數(shù)和關(guān)節(jié)角度參數(shù)，使3D人體模型姿態(tài)的2D投影輪廓Sa與視頻輪廓Sg的重疊最大，即兩個(gè)輪廓Sa與Sg的差集最小，即Sa∈Sg，Sg∈Sa同時(shí)成立。
6.根據(jù)權(quán)利要求3所述的基于優(yōu)化思想的人體姿態(tài)變形方法，其特征在于，所述的關(guān)節(jié)角度約束準(zhǔn)則是指人的各個(gè)關(guān)節(jié)的活動(dòng)區(qū)域都有特定的范圍，在自動(dòng)調(diào)整參數(shù)化人體模型的關(guān)節(jié)角度參數(shù)xa時(shí)，要遵守滿足生物學(xué)原理的人體關(guān)節(jié)角度約束，同時(shí)，要避免角度參數(shù)的不合理造成的肢體穿透現(xiàn)象。
7.根據(jù)權(quán)利要求3所述的基于視頻內(nèi)容的人體姿態(tài)變形方法，其特征在于，所述的變形準(zhǔn)則的執(zhí)行是通過(guò)數(shù)學(xué)優(yōu)化目標(biāo)函數(shù)的實(shí)現(xiàn)具體來(lái)說(shuō)，給定初始人體模型姿態(tài)x＝(xa，xi)，結(jié)合以上三個(gè)變形準(zhǔn)則，目標(biāo)函數(shù)f(x)可以表示為f(x)＝ea(xi)+es(xa，xi)+ep(xa)；其中，ea為量化的模型輪廓被視頻輪廓的包含準(zhǔn)則；es為模型輪廓與視頻輪廓重疊最大化準(zhǔn)則；ep為人體關(guān)節(jié)角度約束，需要注意的是，在以上的三個(gè)量化準(zhǔn)則中，ea只對(duì)模型縮放因子xi進(jìn)行操作，es同時(shí)對(duì)縮放因子和人體關(guān)節(jié)角度參數(shù)進(jìn)行變化，而ep只對(duì)人體關(guān)節(jié)角度參數(shù)xa進(jìn)行處理；通過(guò)最小化目標(biāo)函數(shù)，即 可以得到最終的視頻的3D人體姿態(tài)信息。
全文摘要
本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，特別是一種基于優(yōu)化思想的人體姿態(tài)變形方法。用于在已知初始人體三維姿態(tài)信息的基礎(chǔ)上，根據(jù)視頻中人體信息內(nèi)容，將初始人體3D姿態(tài)根據(jù)視頻內(nèi)容進(jìn)行變形，從而求取出視頻中對(duì)應(yīng)的3D人體結(jié)構(gòu)信息；該方法包括以下步驟1)定義一個(gè)通用的參數(shù)化3D人體模型；2)根據(jù)視頻內(nèi)容定制3D人體模型；3)提取視頻中人體輪廓信息；4)將3D人體姿態(tài)在2D平面上投影，形成2D模型輪廓；5)按照基于優(yōu)化算法的變形準(zhǔn)則對(duì)參數(shù)化3D人體模型姿態(tài)進(jìn)行變形。本發(fā)明的優(yōu)點(diǎn)在于可用于各種類型的已知初始3D信息的運(yùn)動(dòng)對(duì)象的3D結(jié)構(gòu)參數(shù)恢復(fù)，具有良好的通用性；應(yīng)用領(lǐng)域廣泛，具有廣闊的實(shí)用前景。
文檔編號(hào)G06T7/00GK1710611SQ20051001217
公開日2005年12月21日 申請(qǐng)日期2005年7月14日 優(yōu)先權(quán)日2005年7月14日
發(fā)明者邱顯杰, 王兆其, 夏時(shí)洪 申請(qǐng)人:中國(guó)科學(xué)院計(jì)算技術(shù)研究所