單幅圖像的人體三維姿態(tài)重構方法
【專利摘要】本發(fā)明公開了一種單幅圖像的人體三維姿態(tài)重構方法，其包括以下步驟：步驟一，建立人體的標準三維骨架模型；步驟二，在人體圖像中生成人體關節(jié)點及肢體端點的位置；步驟三，估計弱透視投影的比例參數(shù)；步驟四，將標準三維骨架中的所有節(jié)點與圖像中的相應標記初步對齊；步驟五，采用優(yōu)化算法進行優(yōu)化。本發(fā)明提高了三維姿態(tài)重構的效率。
【專利說明】單幅圖像的人體三維姿態(tài)重構方法
【技術領域】
[0001]本發(fā)明涉及一種三維姿態(tài)重構方法，特別是涉及一種單幅圖像的人體三維姿態(tài)重構方法。
【背景技術】
[0002]人體姿態(tài)三維重構是近年來計算機視覺領域中備受關注的前沿方向，它從包含人體在人體圖像序列中檢測、運動分析、三維人體跟蹤以及行為進行理解與描述，屬于圖像分析和理解的范疇。從技術角度而言，人的運動分析的研究內容相當豐富，主要涉及到模式識另IJ、圖像處理、計算機視覺、人工智能等學科知識；同時，動態(tài)場景中運動的快速分割、人體的姿態(tài)變化、人體自遮擋等也為人體姿態(tài)三維重建帶來了很大的挑戰(zhàn)。
[0003]由于人體三維姿態(tài)重構與人體三維運動分析在高級人機交互、安全監(jiān)控、視頻會議、醫(yī)療診斷及基于內容的圖像存儲與檢索等方面具有廣泛的應用前景和潛在的經(jīng)濟價值，從而激發(fā)了國內外廣大科研工作者及相關商家的濃厚興趣，尤其在美國、英國等國家已經(jīng)開展了大量相關項目的研究。人體姿態(tài)三維重構目前主要應用于智能視頻監(jiān)控、智能人機接口、虛擬現(xiàn)實以及游戲制作、體育運動分析以及康復評價。
[0004]從方法上考慮，人體姿態(tài)三維重構分為多相機方法和單相機方法。多相機方法包括運動捕捉器、空間雕刻法、立體視覺、結構光方法；微軟公司開發(fā)的Kinects采用的是結構光方法；雖然三維圖像獲取使用了一個相機，實質上屬于多相機方法。相對而言，由于二維圖像失去了目標物體的三維信息，從單個相機的一幅圖像中重構人體的三維姿態(tài)具有更大的困難與挑戰(zhàn)。在單相機人體三維姿態(tài)重構中，通常所采用的圖像特征包括二維人體輪廓特征、人體圖像邊緣特征、紋理特征等，但是重構的效率較低。本方法采用人體圖像的二維節(jié)點標志特征，配合使用人體三維骨架模型，是一個新的有效的方法。

【發(fā)明內容】

[0005]本發(fā)明所要解決的技術問題是提供一種單幅圖像的人體三維姿態(tài)重構方法，其提高了三維姿態(tài)重構的效率。
[0006]本發(fā)明是通過下述技術方案來解決上述技術問題的:一種單幅圖像的人體三維姿態(tài)重構方法，其特征在于，所述單幅圖像的人體三維姿態(tài)重構方法包括以下步驟:
[0007]步驟一，建立人體的標準三維骨架模型；
[0008]步驟二，在人體圖像中生成人體關節(jié)點及肢體端點的位置；
[0009]步驟三，估計弱透視投影的比例參數(shù)，比例參數(shù)是圖像中的人體相鄰關節(jié)點間的距離與標準三維骨架模型中對應的肢體長度比例的最大值，按照所估計出的弱透視投影比例參數(shù)將標準三維骨架放大；
[0010]步驟四，保持骨架的肢體長度不變，從根節(jié)點開始，依次調節(jié)標準三維骨架中的人體節(jié)點的位置，實現(xiàn)標準三維骨架中的所有節(jié)點皆與圖像中相應的標記點基本的初步對齊；[0011]步驟五，采用優(yōu)化算法進行人體姿態(tài)優(yōu)化，使標準三維骨架的所有節(jié)點在人體圖像上的弱透視投影與相應的圖像標記點位置之差的總合為最小。
[0012]優(yōu)選地，所述單幅圖像的人體三維姿態(tài)重構方法采用了人體骨架的結構對骨架節(jié)點的運動約束。
[0013]優(yōu)選地，所述圖像的產(chǎn)生采用弱透視投影模型。
[0014]優(yōu)選地，所所步驟五的人體姿態(tài)優(yōu)化實現(xiàn)人體三維骨架各節(jié)點在圖像平面上的弱透視投影與圖像中的人體節(jié)點標記的最佳對齊。
[0015]優(yōu)選地，所述步驟五優(yōu)化后，人體骨架節(jié)點的三維坐標位置以及弱透視投影比例參數(shù)將被確定下來，從而重構了人體的三維姿態(tài)。
[0016]本發(fā)明的積極進步效果在于:本發(fā)明單幅圖像的人體三維姿態(tài)重構方法提高了三維姿態(tài)重構的效率。本發(fā)明具有重構參數(shù)少，效率高等優(yōu)點，可應用于智能視頻監(jiān)控、智能人機接口、虛擬現(xiàn)實以及游戲制作、體育運動分析以及健康評價等方面。本發(fā)明具體涉及在弱透視投影情況下采用圖像人體二維標記與人體三維骨架的節(jié)點位置配準實現(xiàn)人體骨架的三維姿態(tài)重建，屬于計算機視覺領域。本發(fā)明將三維姿態(tài)重構過程中所需要的七個全局變量減少到一個。由于三維重構中的待確定變量的數(shù)目減少，從而降低了運算過程的非線性程度，使得運算的收斂范圍增大，提高了重構中對人體三維初始姿態(tài)誤差的容忍，同時，簡化了運算過程，提高了計算速度，大大地提高了三維姿態(tài)重構的效率。
【專利附圖】

【附圖說明】
[0017]圖1為本發(fā)明實施例中采用的人體的標準三維骨架模型的示意圖。
[0018]圖2為本發(fā)明采用的單幅人體圖像的示意圖。
[0019]圖3為本發(fā)明采用的人體圖像與二維標記的示意圖。
[0020]圖4為本發(fā)明進行圖像二維標記與人體三維骨架節(jié)點對齊的示意圖。
【具體實施方式】
[0021]下面結合附圖給出本發(fā)明較佳實施例，以詳細說明本發(fā)明的技術方案。
[0022]本發(fā)明是一種從單幅二維圖像重構人體三維姿態(tài)的方法，具體涉及在弱透視投影情況下采用圖像人體二維標記與人體三維骨架的節(jié)點位置配準實現(xiàn)人體骨架的三維姿態(tài)重建。本發(fā)明基于以下三個規(guī)定:1)圖像的產(chǎn)生采用弱透視投影模型；2)圖像標記點采用圖像中的人體關節(jié)點或者肢體端點；3)人體三維姿態(tài)采用標準三維骨架表示，如圖1所示，其中圓點表示骨架節(jié)點。本發(fā)明采用人體三維骨架模型實現(xiàn)人體姿態(tài)三維重建，用人體骨架模型的肢體約束限制人體關節(jié)點在三維空間的位置。標準三維骨架的三維姿態(tài)由三維骨架的節(jié)點與圖像中的相應人體節(jié)點標記最佳對齊來實現(xiàn)。本發(fā)明以前幀圖像所得到的人體三維姿態(tài)作為當前幀圖像對應的人體三維姿態(tài)的估算姿態(tài)，將單幅圖像的人體三維姿態(tài)重構方法應用到視頻圖像的人體三維姿態(tài)重建與人體三維跟蹤。在弱透視投影情況下，人體標記點的圖像坐標和對應的三維節(jié)點空間坐標存在一個比例關系，即X=sx, Y=sy,其中(X，y, z)是人體三維骨架模型上的節(jié)點坐標；(X，Y)是圖像上對應的二維標記坐標。
[0023]本發(fā)明單幅圖像的人體三維姿態(tài)重構方法包括以下步驟:
[0024]步驟一，根據(jù)圖1，建立人體的標準三維骨架模型；將標準三維骨架中的人體節(jié)點依次進行定義，比如腰關節(jié)點定義為根節(jié)點(即零號節(jié)點O);依次將頸關節(jié)點、頭頂點、左肩關節(jié)點、左肘關節(jié)點、左手關節(jié)點、右肩關節(jié)點、右肘關節(jié)點、右手關節(jié)點、左胯節(jié)點、左膝節(jié)點、左腳節(jié)點、右胯節(jié)點、右膝節(jié)點、右腳節(jié)點等，分別定義為一號節(jié)點1、二號節(jié)點2、三號節(jié)點3、四號節(jié)點4、五號節(jié)點5、六號節(jié)點6、七號節(jié)點7、八號節(jié)點8、九號節(jié)點9、十號節(jié)點10、十一號節(jié)點11、十二號節(jié)點12、十三號節(jié)點13、十四號節(jié)點14等；根據(jù)應用需要，實施時亦可以對模型進行修改，臂如在根節(jié)點和頸節(jié)點之間增加一個“胸節(jié)點”。
[0025]步驟二，在人體圖像中生成(可以由軟件自動生成或者手工生成)人體關節(jié)點及肢體端點的位置；這些人體節(jié)點的位置坐標可以采用人機交互的方法獲取，也可以利用軟件自動獲取(比如在以下文件中公開的技術:M.Andriluka, S.Roth, and B.Schiele,“Pictorial Structures Revisited:People Detection and Articulated PoseEstimation, ” CVPR,2009)；
[0026]步驟三，估計弱透視投影的比例參數(shù)，比例參數(shù)s是圖像中的人體相鄰關節(jié)點間的距離與標準三維骨架模型中對應的肢體長度比例的最大值，按照所估計出的弱透視投影比例參數(shù)將標準三維骨架放大；
[0027]步驟四，保持骨架的肢體長度不變，從根節(jié)點開始，依次調節(jié)標準三維骨架中的人體節(jié)點的位置，實現(xiàn)標準三維骨架中的所有節(jié)點皆與圖像中相應的標記點基本的初步對齊，具體如下:依次調節(jié)標準三維骨架中的一號節(jié)點的位置，使其與圖像中的頸節(jié)點標記對齊；調節(jié)二號節(jié)點，使其與圖像中的頭節(jié)點標記對齊；調節(jié)三號節(jié)點，使其與圖像中的左肩節(jié)點標記對齊；調節(jié)四號節(jié)點，使其與圖像中的左肘節(jié)點標記對齊；調節(jié)五號節(jié)點，使其與圖像中的左手節(jié)點標記對齊，依次操作直至調節(jié)完十四號節(jié)點為止，最后實現(xiàn)標準三維骨架中的所有節(jié)點皆與圖像中相應的標記點基本初步對齊；
[0028]步驟五，采用優(yōu)化算法進行人體姿態(tài)優(yōu)化，使標準三維骨架的所有節(jié)點在人體圖像上的弱透視投影與相應的圖像標記點位置之差的總合為最小。經(jīng)過優(yōu)化，人體骨架節(jié)點的三維坐標位置以及弱透視投影比例參數(shù)將被確定下來，如此人體的三維姿態(tài)重構完成，從而所獲得骨架關節(jié)點的三維坐標位置，人體三維姿態(tài)亦可以轉換成骨架肢體圍繞該肢體的上節(jié)點(即靠根節(jié)點較近的節(jié)點)旋轉來標示；
[0029]本發(fā)明所提出的方法可以拓展到視頻圖像的人體三維姿態(tài)重建與人體三維跟蹤。具體方法是以前幀圖像所得到的人體三維姿態(tài)作為步驟五的結果，重復步驟五和步驟六的過程，直至視頻結束。本發(fā)明采用了人體骨架的結構對骨架節(jié)點的運動約束。圖像的產(chǎn)生采用弱透視投影模型。步驟五的人體姿態(tài)優(yōu)化實現(xiàn)人體三維骨架各節(jié)點在圖像平面上的弱透視投影與圖像中的人體節(jié)點標記的最佳對齊。步驟五優(yōu)化后，人體骨架節(jié)點的三維坐標位置以及弱透視投影比例參數(shù)將被確定下來，從而重構了人體的三維姿態(tài)。
[0030]以下結合圖2至圖4對本發(fā)明的技術方案作進一步詳細說明。本例選用圖2所示的人體圖像，希望采用本發(fā)明給出的方法重構圖中人體對應的三維骨架的姿態(tài)，具體實施步驟如下所示:
[0031]一，建立人體的標準三維骨架模型。跟據(jù)人體解剖學統(tǒng)計，取軀干長度為550像素單位，頭頸間長度32單位，頸節(jié)點至肩節(jié)點220單位，上臂280單位，小臂250單位，根節(jié)點至跨節(jié)點90單位、大腿450單位、下腿420單位。將骨架中的腰關節(jié)點定義為根節(jié)點(即零號節(jié)點)；依次將頸關節(jié)點、頭節(jié)點、左肩關節(jié)點、左肘關節(jié)點、左手關節(jié)點等，定義為一號節(jié)點、二號節(jié)點、三號節(jié)點、四號節(jié)點、五號節(jié)點等。
[0032]二，在人體圖像中，采用人機交互方法，用鼠標標出人體圖像的關節(jié)點位置，結果如圖3所示。獲取相應節(jié)點的圖像坐標值(Xi，Yi)，其中下標i對應人體骨架的節(jié)點編號。
[0033]三，估計弱透視投影比例參數(shù)。根據(jù)勾股定理計算圖像標記點間的人體肢體長度。以圖像中的二維人體肢體長度與三維骨架中對應的肢體長度的比例系數(shù)的最大值為弱透視投影比例參數(shù)，即如下式(I):
[0034]S=Max(LijZlij1......................................................(I)
[0035]其中，Lij為圖像中的人體肢體長度；lu為三維骨架中對應的人體肢體長度。
[0036]四，將放大以后的三維骨架中的根節(jié)點與圖像中的腰節(jié)點標記對齊，骨架根節(jié)點的z坐標可以是任意值。在本實施例中，為了使在任何姿態(tài)情況下人體三維骨架中的任何節(jié)點的z坐標都不出現(xiàn)負值，此處取z=3000。調整人體三維骨架的根節(jié)點位置，使其基本滿足如下式(2):
[0037]X0 ^ sx0 ；Y0 ^ sy0 ；z0=3000..................(2)
[0038]在人體三維骨架的約束下，即三維骨架中的肢體只能圍繞該肢體上靠近根節(jié)點較近的那個節(jié)點做三維旋轉運動，從一號節(jié)點開始，依序調節(jié)人體三維骨架中的各個節(jié)點位置，使其與圖像中的相應關節(jié)點基本對齊。即如下式(3):
[0039]Xi ^ SX1-,Yi ^ Sy1...............(3)
[0040]其中，i=l，2，3，…
[0041]五，采用退火粒子濾波方法(實際上可以采用任何數(shù)值優(yōu)化方法)，在人體三維骨架的約束下使人體三維骨架各節(jié)點在人體圖像平面上的弱透視投影與圖像中的人體節(jié)點標記得到最佳對齊，即如下式(4):
[0042]
【權利要求】
1.一種單幅圖像的人體三維姿態(tài)重構方法，其特征在于，所述單幅圖像的人體三維姿態(tài)重構方法包括以下步驟: 步驟一，建立人體的標準三維骨架模型； 步驟二，在人體圖像中生成人體關節(jié)點及肢體端點的位置； 步驟三，估計弱透視投影的比例參數(shù)，比例參數(shù)是圖像中的人體相鄰關節(jié)點間的距離與標準三維骨架模型中對應的肢體長度比例的最大值，按照所估計出的弱透視投影比例參數(shù)將標準三維骨架放大； 步驟四，保持骨架的肢體長度不變，從根節(jié)點開始，依次調節(jié)標準三維骨架中的人體節(jié)點的位置，實現(xiàn)標準三維骨架中的所有節(jié)點皆與圖像中相應的標記點基本的初步對齊； 步驟五，采用優(yōu)化算法進行人體姿態(tài)優(yōu)化，使標準三維骨架的所有節(jié)點在人體圖像上的弱透視投影與相應的圖像標記點位置之差的總合為最小。
2.如權利要求1所述的單幅圖像的人體三維姿態(tài)重構方法，其特征在于，所述單幅圖像的人體三維姿態(tài)重構方法采用了人體骨架的結構對骨架節(jié)點的運動約束。
3.如權利要求1所述的單幅圖像的人體三維姿態(tài)重構方法，其特征在于，所述圖像的產(chǎn)生采用弱透視投影模型。
4.如權利要求1所述的單幅圖像的人體三維姿態(tài)重構方法，其特征在于，所述步驟五的人體姿態(tài)優(yōu)化實現(xiàn)人體三維骨架各節(jié)點在圖像平面上的弱透視投影與圖像中的人體節(jié)點標記的最佳對齊。
5.如權利要求1所述的單幅圖像的人體三維姿態(tài)重構方法，其特征在于，所述步驟五優(yōu)化后，人體骨架節(jié)點的三維坐標位置以及弱透視投影比例參數(shù)將被確定下來，從而重構了人體的三維姿態(tài)。
【文檔編號】G06T17/00GK103942829SQ201410134422
【公開日】2014年7月23日 申請日期:2014年4月2日 優(yōu)先權日:2014年4月2日
【發(fā)明者】劉允才, 熊君君, 黃英, 卞亞濤 申請人:上海交通大學, 北京三星通信技術研究有限公司