基于局部線性嵌入的運動捕捉數(shù)據(jù)的關鍵幀提取方法
【專利摘要】本發(fā)明公開了一種基于局部線性嵌入的運動捕捉數(shù)據(jù)的關鍵幀提取方法，包括以下步驟：S1：采用局部線性嵌入方法對運動捕捉數(shù)據(jù)進行降維，采用平滑濾波去除噪聲得到反映原始運動的一維特征曲線；S2：提取特征曲線上的局部極值點獲得初始關鍵幀；S3：在初始關鍵幀之間，根據(jù)其特征曲線幅度差值和設定的閾值插入相應的幀數(shù)，得到最終的關鍵幀集合。本發(fā)明采用LLE算法對運動捕捉數(shù)據(jù)進行降維，根據(jù)降維后的一維特征曲線進行兩次關鍵幀提取，著重解決針對一段運動序列，可以自動的提取出一定數(shù)目的關鍵運動姿態(tài)，對該段運動有一個較好的視覺概括性，同時重建后的運動序列，可以保持一個較低的誤差率。
【專利說明】
【技術領域】
[0001] 本發(fā)明屬于圖像處理【技術領域】，尤其涉及一種基于局部線性嵌入的運動捕捉數(shù)據(jù) 的關鍵幀提取方法。 基于局部線性嵌入的運動捕捉數(shù)據(jù)的關鍵幀提取方法

【背景技術】
[0002] 在近幾十年，隨著運動捕獲技術的興起和發(fā)展，以及設備技術的進步，大量的三維 人體運動捕獲數(shù)據(jù)生成，并被廣泛的應用在計算機動畫，電影特技，醫(yī)學仿真和游戲等領 域。伴隨著存在一個問題，由于捕捉數(shù)據(jù)的龐大導致運動捕捉數(shù)據(jù)庫的規(guī)模也很龐大，怎樣 才能充分地利用這些已有的運動捕捉數(shù)據(jù)，如何從運動庫中獲取用戶所需要的運動。關鍵 幀技術是一種有效的解決方法，選擇運動中最重要最關鍵的幀作為關鍵幀，代表整個運動 序列，對此段運動有一個較好的視覺概括性，同時又可以進行運動重建，還原原始運動，保 持一個較低的誤差率。
[0003] 目前從采樣方式主要分為兩大類：等間隔采樣和自適應采樣。等間隔采樣有可能 出現(xiàn)過采樣和欠采樣的問題，自適應采樣可以在變化小的地方少采樣而在變化大的地方多 采樣，于是可以解決前者的不足?，F(xiàn)有的運動捕獲數(shù)據(jù)關鍵幀提取技術主要分為三大類： 基于曲線簡化、聚類和基于矩陣分解的技術。在基于曲線簡化技術這種方法中，如何避免維 數(shù)災難帶來的問題，華僑大學在2012年發(fā)表的基于中心距離特征的人體運動序列關鍵幀 提取中提取四肢到中心點的距離得到一組中心距離特征的方案，該方案提取的距離特征 并不能很好的代表運動數(shù)據(jù)。以及北京航空航天大學在2011年發(fā)表的基于混合遺傳算法 的人體運動捕獲數(shù)據(jù)關鍵幀提取等，此方案消耗時間比較長。對于降維后的特征曲線采 用曲線簡化的方案提取關鍵幀這樣的方案如浙江大學在2006年發(fā)表的基于分層曲線簡化 的運動捕捉數(shù)據(jù)關鍵巾貞提取以及2009年發(fā)表的"3D Human Motion Retrieval Based on Key-Frames"等。但這些方法在保證壓縮比的情況下誤差率依然較大。


【發(fā)明內(nèi)容】

[0004] 根據(jù)現(xiàn)有技術存在的問題，本發(fā)明公開了一種基于局部線性嵌入的運動捕捉數(shù)據(jù) 的關鍵幀提取方法，包括以下步驟：
[0005] S1 :采用局部線性嵌入方法對運動捕捉數(shù)據(jù)進行降維，采用平滑濾波去除噪聲得 到反映原始運動的一維特征曲線；
[0006] S2 :提取特征曲線上的局部極值點獲得初始關鍵幀；
[0007] S3 :在初始關鍵幀之間，根據(jù)其特征曲線幅度差值和設定的閾值插入相應的幀數(shù)， 得到最終的關鍵幀集合。
[0008] 進一步的，S1中采用局部線性嵌入方法對運動捕捉數(shù)據(jù)進行降維時具體包括以下 步驟：
[0009] S11 :在高維空間中選擇K個近鄰點，對于高維空間中的每個樣本點Xi(i = 1，2,…，N)，N為樣本的總數(shù)，計算每個樣本點與其它樣本點之間的歐式距離；
[0010] S12 :由每個樣本點的近鄰點計算該樣本點的局部重建權值矩陣；
[0011] S13 :根據(jù)該樣本點的局部重建權值矩陣和其近鄰點計算出該樣本點的輸出值；
[0012] 進一步的，S3具體包括以下步驟：
[0013] S31 :計算相鄰的初始關鍵巾貞之間的特征曲線的幅度差值vary, vary表示初始關 鍵幀集合中兩相鄰幀的幅度差值；
[0014] S32 :設置一個閾值Φ i，如果vary〈閾值Φ i，則不插入關鍵中貞；如果vary〉閾值 Φ i，則在對應初始關鍵幀之間插入一幀或多幀；
[0015] S33 :當幅度差值vary〉閾值Φ i時，設對應的初始關鍵幀為和f2，先將作為 當前幀，設f_ = 為臨時變量，按幀序號抽取下一幀用fnrat表示，根據(jù)特征曲線幅度 檢測fnext和fnew間的幅度差值va%，設置另一個閾值Φ2，如果vary, Φ2,則不作處理；如 果vary) Φ 2，則將fnext加入到的關鍵中貞集合中，令fnext = fnew ;
[0016] S34 :重復S32和S33直到所有幀處理完畢，得到最終關鍵幀集合。
[0017] 由于采用了上述技術方案，本發(fā)明提供的基于局部線性嵌入的運動捕捉數(shù)據(jù)的關 鍵幀提取方法，采用LLE算法對運動捕捉數(shù)據(jù)進行降維，根據(jù)降維后的一維特征曲線進行 兩次關鍵幀提取，著重解決針對一段運動序列，可以自動的提取出一定數(shù)目的關鍵運動姿 態(tài)，對該段運動有一個較好的視覺概括性，同時重建后的運動序列，可以保持一個較低的誤 差率。本發(fā)明具有以下有益效果：
[0018] 1、采用了 LLE算法對原始運動捕捉數(shù)據(jù)進行降維，很好的揭示了運動背后的本質 特征，而且避免了維數(shù)災難帶來的問題。
[0019] 2、采用兩次關鍵幀提取的方法，第一次依據(jù)特征曲線的局部極值點作為初始關鍵 幀，第二次依據(jù)特征曲線幅度差值插幀獲得最終關鍵幀，可以根據(jù)不同的運動設定不同的 閾值自動的獲取一定數(shù)目的采樣幀數(shù)，在平緩的運動處提取較少的關鍵幀，在劇烈的運動 處提取較多的關鍵幀數(shù)。所提取的關鍵幀既能很好的概括原始運動，同時又有一個較低的 誤差率和壓縮比。

【專利附圖】

【附圖說明】
[0020] 為了更清楚地說明本申請實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn) 有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 申請中記載的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下， 還可以根據(jù)這些附圖獲得其他的附圖。
[0021] 圖1為本發(fā)明中方法的流程圖；
[0022] 圖2為在MTALAB中顯示的人體骨骼模型圖；
[0023] 圖3為"踢球"運動的特征曲線及初始關鍵幀分布圖；（圖中圓圈表示最初的關鍵 幀）；
[0024] 圖4為"踢球"運動的特征曲線及最終關鍵幀分布圖；（圖中圓圈表示最初的關鍵 中貞，星號表不為最終的關鍵巾貞）；
[0025] 圖5 "踢球"運動的不同關鍵幀提取方法比較結果展示圖，其中：圖5(a)為本發(fā)明 方法的結果展示圖；圖5(b)為均勻采樣方法的結果展示圖，（方框代表過采樣和欠采樣）； 圖5(c)為曲線簡化方法的結果展示圖，（方框代表過采樣和欠采樣）；圖5(d)為四元數(shù)距 離方法的結果展示圖；
[0026] 圖6為采用本發(fā)明方法對六種不同運動類型（踢球，跳，跑-停止，走，跳舞， 走-跳-走）的壓縮率比較圖；
[0027] 圖7為本發(fā)明公開的方法、四元數(shù)距離方法、曲線簡化和均勻采樣方法對六種采 樣運動的重建誤差比較圖；（a)踢球誤差（提取33個關鍵幀）；(b)跳的誤差（提取24個 關鍵幀）；（c)跑-停止的誤差（提取11個關鍵幀）；（d)走的誤差（提取16個關鍵幀）； (e)跳舞的誤差（提取37個關鍵幀）；(f)走-跳-走的誤差（提取50個關鍵幀）。

【具體實施方式】
[0028] 為使本發(fā)明的技術方案和優(yōu)點更加清楚，下面結合本發(fā)明實施例中的附圖，對本 發(fā)明實施例中的技術方案進行清楚完整的描述：
[0029] 如圖1、圖2所示基于局部線性嵌入的運動捕捉數(shù)據(jù)的關鍵幀提取方法：具體包括 以下步驟：
[0030] S1 :采用局部線性嵌入方法對運動捕捉數(shù)據(jù)進行降維，采用平滑濾波去除噪聲得 到反映原始運動的一維特征曲線；
[0031] S2 :提取特征曲線上的局部極值點獲得初始關鍵幀；
[0032] S3 :在初始關鍵幀之間，根據(jù)其特征曲線幅度差值和設定的閾值插入相應的幀數(shù)， 得到最終的關鍵幀集合。
[0033] 進一步的，S1中采用局部線性嵌入方法對運動捕捉數(shù)據(jù)進行降維時具體包括以下 步驟：
[0034] S11 :在高維空間中選擇K個近鄰點，對于高維空間中的每個樣本點Xji = 1，2,…，N)，N為樣本的總數(shù)，計算每個樣本點與其它樣本點之間的歐式距離；
[0035] S12 :由每個樣本點的近鄰點計算該樣本點的局部重建權值矩陣；
[0036] S13 :根據(jù)該樣本點的局部重建權值矩陣和其近鄰點計算出該樣本點的輸出值；
[0037] 進一步的，S3具體包括以下步驟：
[0038] S31 :計算相鄰的初始關鍵巾貞之間的特征曲線的幅度差值vary, vary表示初始關 鍵幀集合中兩相鄰幀的幅度差值；
[0039] S32 :設置一個閾值Φ i，如果vary〈閾值Φ i，則不插入關鍵中貞；如果vary〉閾值 Φ i，則在對應初始關鍵幀之間插入一幀或多幀；
[0040] S33 :當幅度差值vary〉閾值Φ i時，設對應的初始關鍵幀為和f2，先將作為 當前幀，設f_ = 為臨時變量，按幀序號抽取下一幀用fnrat表示，根據(jù)特征曲線幅度 檢測fnext和fnew間的幅度差值va%，設置另一個閾值Φ2，如果vary, Φ2,則不作處理；如 果vary) Φ 2，則將fnext加入到的關鍵中貞集合中，令fnext = fnew ;
[0041] S34 :重復S32和S33直到所有幀處理完畢，得到最終關鍵幀集合。
[0042] 實施例：
[0043] 步驟一：從CMU數(shù)據(jù)庫中選擇一個具有代表性的運動，'踢球'運動（總幀數(shù)為801 幀）。采用LLE對'踢球'運動進行降維，采用Lowess平滑濾波，設置相應的參數(shù)對特征曲 線去噪，得到一維特征曲線進而進行關鍵幀提取。
[0044] 步驟二：在MATLAB中，根據(jù)特征曲線曲率變化情況找到曲線上的局部極值點，得 到初始關鍵幀集合。如圖3所示。
[0045] 步驟三：基于特征曲線幅度的分裂算法提取的最終關鍵幀如圖4所示。我們提取 的局部極值點作為初始關鍵幀有圓圈表示，同時星號表示最終的關鍵幀。通過研究發(fā)現(xiàn)，當 運動劇烈姿態(tài)變化較大時對應的特征曲線幅度變化較大，需要插入額外的關鍵幀，當運動 姿態(tài)變化較小時對應的特征曲線幅度變化較小，不需要插入額外關鍵幀。通過這個方法我 們可以有效的獲得最終的關鍵幀集合。
[0046] 步驟四：不同關鍵幀提取算法的比較。我們采用了四種方法：本發(fā)明方法，均勻采 用，曲線簡化，只有四元數(shù)距離的方法，從一個'踢球'運動中提取相同數(shù)目的關鍵幀（壓縮 比相同）。不同方法提取關鍵幀的比較結果如圖5所示。我們提取了 33個關鍵幀，本發(fā)明 方法很好的概括了該運動，避免了過采樣和欠采樣問題。
[0047] 步驟五：采用本發(fā)明方法測試六種不同類型的運動序列，其中包括踢球，跳，跑， 走，跳舞，走-跳-走。如圖6所示，從表1發(fā)現(xiàn)本發(fā)明方法得到的壓縮比在8%以內(nèi)。
[0048] 表1.六種運動類型的壓縮比比較
[0049]

【權利要求】
1. 一種基于局部線性嵌入的運動捕捉數(shù)據(jù)的關鍵幀提取方法，其特征在于包括以下步 驟： 51 :采用局部線性嵌入方法對運動捕捉數(shù)據(jù)進行降維，采用平滑濾波去除噪聲得到反 映原始運動的一維特征曲線； 52 :提取特征曲線上的局部極值點獲得初始關鍵幀； 53 :在初始關鍵幀之間，根據(jù)其特征曲線幅度差值和設定的閾值插入相應的幀數(shù)，得到 最終的關鍵巾貞集合。
2. 根據(jù)權利要求1所述的基于局部線性嵌入的運動捕捉數(shù)據(jù)的關鍵幀提取方法，其特 征還在于：S1中采用局部線性嵌入方法對運動捕捉數(shù)據(jù)進行降維時具體包括以下步驟： 511 :在高維空間中選擇K個近鄰點，對于高維空間中的每個樣本點Xi(i = 1，2，···，Ν)， Ν為樣本的總數(shù)，計算每個樣本點與其它樣本點之間的歐式距離； 512 :由每個樣本點的近鄰點計算該樣本點的局部重建權值矩陣； 513 :根據(jù)該樣本點的局部重建權值矩陣和其近鄰點計算出該樣本點的輸出值。
3. 根據(jù)權利要求1所述的基于局部線性嵌入的運動捕捉數(shù)據(jù)的關鍵幀提取方法，其特 征還在于：S3具體包括以下步驟： 531 :計算相鄰的初始關鍵巾貞之間的特征曲線的幅度差值vary, vary表示初始關鍵中貞 集合中兩相鄰幀的幅度差值； 532 :設置一個閾值t，如果vary〈閾值t，則不插入關鍵巾貞；如果vary〉閾值t，則 在對應初始關鍵幀之間插入一幀或多幀； 533 :當幅度差值vary〉閾值Φ i時，設對應的初始關鍵幀為和f2，先將作為當前 幀，設= f\，為臨時變量，按幀序號抽取下一幀用fMxt表示，根據(jù)特征曲線幅度檢 測fnext和4?間的幅度差值 varyi，設置另一個閾值七，如果varyi〈七，則不作處理；如果 vary^ Φ 2，則將fnrart加入到的關鍵巾貞集合中，令fmxt = fn" ; 534 :重復S32和S33直到所有幀處理完畢，得到最終關鍵幀集合。
【文檔編號】G06T7/20GK104156986SQ201410431450
【公開日】2014年11月19日 申請日期:2014年8月28日 優(yōu)先權日:2014年8月28日
【發(fā)明者】張強, 董旭龍, 周東生, 魏小鵬 申請人:大連大學