一種運動人體姿態(tài)相似性度量方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計算機視覺和模式識別的技術(shù)領(lǐng)域，具體地涉及一種運動人體姿態(tài)相 似性度量方法。
【背景技術(shù)】
[0002] 近年來人體姿態(tài)相似性度量已成為多個領(lǐng)域的研究熱點，它在智能視頻監(jiān)控、人 機交互、虛擬現(xiàn)實等方面有著廣泛的應(yīng)用前景，特別是在動作捕獲技術(shù)中的廣泛使用。人體 姿態(tài)是運動數(shù)據(jù)中重要的組成部分，對于人體姿態(tài)度量學(xué)習(xí)也因此開始得到廣泛的研究。 盡管現(xiàn)今對于人體行為相似性度量的方式不同，但都具有大致相同的研究步驟，并且在行 為相似性度量方法的設(shè)計上相互之間也具有可借鑒性。一般行為相似性度量研究的關(guān)鍵步 驟包括行為表示方法和行為分析算法?，F(xiàn)從這兩方面對與本發(fā)明最接近的現(xiàn)有算法進行描 述：
[0003] 人體姿態(tài)特征的表示是一個對原始數(shù)據(jù)進行加工處理以獲得行為描述特征量的 過程。對于人體姿態(tài)的理解也可以分為兩個方面：一方面在人體姿態(tài)研究中通常采用佩戴 式傳感器，該方法可以獲取頭部、四肢或者軀干等身體部位的運動信息如旋轉(zhuǎn)角、空間運 動軌跡等，可見基于佩戴式傳感器的研究方式重在恢復(fù)人體的三維運動信息。例如CMU運 動捕獲數(shù)據(jù)庫（CMU Graphics Lab Motion Capture Database)，可以利用其采集的3D數(shù)據(jù) 作為人體姿態(tài)表示的原始數(shù)據(jù)。另一方面將基于視覺的人體姿態(tài)表示方法研究歸納起來主 要包括采用人體形狀特征的姿態(tài)表示方法、采用三維信息的姿態(tài)表示方法和依據(jù)運動特征 的姿態(tài)表示方法等。利用人體形狀特征的姿態(tài)表示方法構(gòu)造簡單且品于實現(xiàn)，常用的模型 主要包括棍棒模型、橢圓模型等。Park等人在進行駕駛員行為分析研究中采用橢圓結(jié)構(gòu)模 型表示人體頭部、軀干和四肢，Alexei用13個特征點來表示人體結(jié)構(gòu)，通過分析特征點的 運動軌跡進行人體姿態(tài)的相似性度量。人體輪廓等外觀特征也可以用于人體動作描述，Liu 等人使用人體頭部、上肢和下肢等身體主要部位的比例關(guān)系來表示人體姿態(tài)，Chung等人 通過計算目標(biāo)像素距離投影的高斯分布來描述坐、站和躺下等基本動作，Wang等人對人體 區(qū)域進行R變換以研究辦公室環(huán)境下的人體異常行為。利用三維視覺技術(shù)表示人體行為雖 然具有視角不變性，但是其計算量較大且對系統(tǒng)性能要求較高，故并不常用?；谶\動特 征的人體姿態(tài)表示是目前較為常用的方法，如Zhu等人采用光流法研究網(wǎng)球運動中的擊球 動作，此外利用時空特征點表示行為也是一種常用的方法。
[0004] 人體姿態(tài)相似性度量算法研究屬于模式識別和人工智能的范疇。根據(jù)算法特點 可以分為模板匹配法和狀態(tài)空間法。模板匹配法是指將提取的行為表示特征序列與參考 模板進行逐一匹配，依據(jù)匹配的相似度判別行為。Bobick與David使用計算運動能量圖 像（Motion Energylmages, MEX)和運動歷史圖（Motion Historylmages, MHI)分析人體姿 態(tài)，Veeraraghavan等人使用動態(tài)時間規(guī)整算法（Dynamic Time Warping, DTW)匹配動作序 列。模板匹配方法無需大量的樣本，計算量小，但是對行為持續(xù)時間和噪聲比較敏感。與 模板匹配法不同，狀態(tài)空間法將每種靜態(tài)姿勢都視為狀態(tài)空間中的一個節(jié)點，節(jié)點之間依 據(jù)概率關(guān)聯(lián)起來，運動序列則可以看作是不同節(jié)點間的一次遍歷過程，目前狀態(tài)空間法己 經(jīng)廣泛應(yīng)用于運動序列的檢測和分析中，常用的方法有隱馬爾科夫模型（Hidden Markov Model, HMM),動態(tài)貝葉斯網(wǎng)絡(luò)（Dynamic Bayesian Network, DBN)、神經(jīng)網(wǎng)絡(luò)等。如 Zhang 等人使用兩層HMM模型研究會議過程中個體間的交互行為，Luo采用動態(tài)貝葉斯網(wǎng)絡(luò)進行 人體行為相似性度量研究并與HMM方法進行了比較，Buccolieri通過祌經(jīng)網(wǎng)絡(luò)分析人體輪 廓特征來相似性度量姿態(tài)。狀態(tài)空間法雖然克服了模板匹配的不足，但是往往需要大量的 的迭代運算，因此應(yīng)根據(jù)實際情況選擇合適的研究方法。
[0005] 上述兩個步驟的不足之處包括以下兩個方面。首先人體的姿態(tài)表示，即構(gòu)造的人 體姿態(tài)特征多是直接使用關(guān)節(jié)點的坐標(biāo)或關(guān)節(jié)點之間方向向量作為姿態(tài)數(shù)據(jù)，但是這種簡 單的數(shù)據(jù)集合不能夠充分的體現(xiàn)人體的姿態(tài)，姿態(tài)相似度的度量人體姿態(tài)非常依賴人體不 同部位之間的關(guān)系；其次，一般歐氏距離是最簡單的度量學(xué)習(xí)方法，但是其不能充分的體現(xiàn) 人體姿態(tài)的語義。
[0006] 為解決以上人體姿態(tài)度量學(xué)習(xí)方法的不足，一方面我們提出利用關(guān)節(jié)點之間的幾 何屬性和不同部位之間的關(guān)系構(gòu)成構(gòu)造人體姿態(tài)特征集合。另一方面，為了更加體現(xiàn)人體 相鄰部位之間的約束關(guān)系以及不同部位組合的重要性（更能表達人體的姿態(tài)部位組合）， 我們提出了一種基于稀疏表示的行為相似性度量算法。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的技術(shù)解決問題是：克服現(xiàn)有技術(shù)的不足，提供一種運動人體姿態(tài)相似性 度量方法，其計算效率更高、準(zhǔn)確度更高。
[0008] 本發(fā)明的技術(shù)解決方案是：這種運動人體姿態(tài)相似性度量方法，包括以下步驟：
[0009] (1)根據(jù)公式（2)馬氏距離的距離度量模型：
[0011] 其中，X = (X1, . . .，xN}為給定訓(xùn)練的姿態(tài)數(shù)據(jù)集，N是姿態(tài)數(shù)目，xjp X ^分別表示 一個人體姿態(tài)的特征向量，W為最優(yōu)度量矩陣，d(Xl，Xj)M為姿態(tài)X i和姿態(tài)X j之間的距離；
[0012] (2)構(gòu)建人體特征向量，對于每一個人體姿態(tài)取相鄰關(guān)節(jié)點的方向向量作為組成 特征向量的數(shù)據(jù)；
[0013] (3)構(gòu)建融合主姿態(tài)特征和細節(jié)特征的稀疏表示的姿態(tài)距離度量模型；
[0014] (4)得到最終表達式（9)，再采用序列二次規(guī)劃算法進行優(yōu)化求解
[0016] 其中，Wi為最優(yōu)度量矩陣分量，k D k2, k3為不同部分對應(yīng)的權(quán)值，E i為主姿態(tài)特征 約束項，E2為細節(jié)特征約束項，E 1^為正則約束項。
[0017] 本發(fā)明由于采用小維數(shù)的特征向量，所以計算效率更高；由于對不同尺度進行稀 疏表示，在保證人體整體姿態(tài)相似的情況下，再保證人體中主要姿態(tài)更加相似，所以提高了 人體姿態(tài)相似性度量的準(zhǔn)確度。
【附圖說明】
[0018] 圖1為本發(fā)明原理；
[0019] 圖2為本發(fā)明具體流程圖；
[0020] 圖3為定義的人體姿態(tài)，圓圈代表關(guān)節(jié)點，加粗的圓圈代表主姿態(tài)特征，未加粗的 圓圈細節(jié)特征。
【具體實施方式】
[0021] 這種運動人體姿態(tài)相似性度量方法，包括以下步驟：
[0022] (1)根據(jù)公式（2)馬氏距離的距離度量模型：
[0024] 其中，X= Ix1,...，xN}為給定訓(xùn)練的姿態(tài)數(shù)據(jù)集，N是姿態(tài)數(shù)目，XdP X]*別表示 一個人體姿態(tài)的特征向量，W為最優(yōu)度量矩陣，d(Xl，Xj)M為姿態(tài)X i和姿態(tài)X j之間的距離；
[0025] (2)構(gòu)建人體特征向量，對于每一個人體姿態(tài)取相鄰關(guān)節(jié)點的方向向量作為組成 特征向量的數(shù)據(jù)；
[0026] (3)構(gòu)建融合主姿態(tài)特征和細節(jié)特征的稀疏表示的姿態(tài)距離度量模型；
[0027] (4)得到最終表達式（9)，再采用序列二次規(guī)劃算法進行優(yōu)化求解
[0029] 其中，Wi為最優(yōu)度量矩陣分量，k D k2, k3為不同部分對應(yīng)的權(quán)值，E i為主姿態(tài)特征 約束項，E2為細節(jié)特征約束項，E 1^為正則約束項。
[0030] 本發(fā)明由于采用小維數(shù)的特征向量，所以計算效率更高；由于對不同尺度進行稀 疏表示，在保證人體整體姿態(tài)相似的情況下，再保證人體中主要姿態(tài)更加相似，所以提高了 人體姿態(tài)相似性度量的準(zhǔn)確度。
[0031] 優(yōu)選地，所述步驟（2)中根據(jù)表達人體姿態(tài)重要性構(gòu)造特征向量分為兩個部分：
[0032] 第一部分是取最重要的關(guān)節(jié)點構(gòu)造出方向向量，作為構(gòu)成特征向量的數(shù)據(jù)；
[0033] 第二部分是將所有相鄰的關(guān)節(jié)點相連接，構(gòu)造出方向向量，作為構(gòu)成特征向量的 細節(jié)特征數(shù)據(jù)；
[0034] 利用以上兩部分?jǐn)?shù)據(jù)構(gòu)造人體姿態(tài)特征向量，根據(jù)不同數(shù)據(jù)體現(xiàn)人體姿態(tài)意義的 不同，第一項保持姿態(tài)數(shù)據(jù)所有特征向量的稀疏表示，第二項保持姿態(tài)數(shù)據(jù)的主姿態(tài)分量 的稀疏表示，所述步驟（3)中對不同的項采用稀疏表示：
[0035] 第一項中根據(jù)公式（3)將每個樣本的特征向量由除自己以外的所有
[0036] 樣本進行稀疏表示：
[0038] 其中，X1是第i個樣本對應(yīng)的姿態(tài)特征向量，{a dpi,...,N表示將X1由余下N-I個 樣本進行稀疏表示的系數(shù)，r表示稀疏項權(quán)值；根據(jù)公式（4)計算第i個樣本由N-I個樣本 進行稀疏表不后的殘差： CN 105184767 A ^ ^ lJ 4/8 貝
[0040] 其中j由公式（3)給出，ei為稀疏表示后的殘差，x種x j分別表示一 個人體姿態(tài)的特征向量；
[0041] 第一項的目標(biāo)函數(shù)E1由公式（5)得出：
[0043] 其中θι，…，eN*公式⑷給出。
[0044] 第二項中根據(jù)公式（5)將每個樣本的主姿態(tài)特征分量由除自己以外的所有樣本 的主姿態(tài)特征分量進行稀疏表示：
[0045] 第二項中根據(jù)公式（5)將上一步得到的每個樣本稀疏表示的殘差的主姿態(tài)特征 分量由上一步稀疏表示系數(shù)為零對應(yīng)樣本的主姿態(tài)特征分量進行第二次稀疏表示：
[0047] ejl :1?)是第i個樣本的稀疏表示的殘差向量e;對應(yīng)的主姿態(tài)特征分量，X ;(1 : Hi1)是第i個樣本特征向量Xi對應(yīng)的主姿態(tài)特征分量，表示將Xi由上一步稀疏 表示系數(shù)為零對應(yīng)樣本的主姿態(tài)特征分量進行二次稀疏表示后的展開系數(shù)，r'表示二次 稀疏項權(quán)值。
[0048] 根據(jù)公式（7)計算第i個樣本的主姿態(tài)特征向量由上一步稀疏表示系數(shù)為零對應(yīng) 樣本的主姿態(tài)特征分量進行稀疏表示后的殘差：
[0050] 其中岫公式（6)給出；第二項的目標(biāo)函數(shù)E2由公式⑶得出：
[0052] 其中e' i，···，e' N由公式（7)給出，W(1 :mi，：）表示由度量矩陣評前叫行構(gòu)成 的子矩陣。
[0053] 以下對本發(fā)明進行更詳細的說明。
[0054] 本發(fā)明針對傳統(tǒng)姿態(tài)度量不能充分人體姿態(tài)相似性的問題，提出了一種基于的人 體姿態(tài)度量學(xué)習(xí)方法。本發(fā)明以CMU運動捕獲數(shù)據(jù)庫提供的人體3D骨架點坐標(biāo)點（38點） 作為原始數(shù)據(jù)，選取其中的16個坐標(biāo)點做本發(fā)明的輸入數(shù)據(jù)，計算出能夠估測3D人體姿態(tài) 相似性的度量。本發(fā)明進行實驗共有如下六個步驟：
[0055] ⑴問題定義
[0056] 本發(fā)明給定訓(xùn)練的姿態(tài)數(shù)據(jù)集為X = (X1, ...，xN}，N是姿態(tài)數(shù)目，X1表示一個姿態(tài) 的特征向量。學(xué)習(xí)一個馬氏距離的距離度量公式：
[0058] 其中，M就是要學(xué)習(xí)的矩陣，X= {Xl，...，xN}為給定訓(xùn)練的姿態(tài)數(shù)據(jù)集，N是姿態(tài) 數(shù)目，xJP X ^分別表示一個人體姿態(tài)的特征向量，d(x