向，找到集合當中沿此方向距離最 遠的點，作為大拇指指尖點，最近的點作為大拇指指根點。確定大拇指所在位置，結合方法 1，可確定之后其他手指彎曲時指尖點位置。
[0070]本文通過實現(xiàn)多邊形擬合、K-COS、CSS三種利用手部輪廓提取特征點方法，對CSS提取手部特征點方法同其它兩種方法進行了對比實驗。在實驗中，一共讀入24種隨機手部 輪廓，將同一手部輪廓分別按照上述三種方法進行特征點提取。CSS方法能夠較好的剔除手 部輪廓中凸起并不明顯的點，將其不算入手指指尖點，而多邊形擬合和K-C0S兩種方法常 常會將凸起的手腕點誤算為指尖點。同時，對于凸起相對不明顯的手指，CSS和K-C0S方法 可得到五指指尖，而多邊形擬合方法無法只根據(jù)輪廓得到手指指尖點。
[0071] 接下來，對于全部手型輪廓集合，分別按照三種方法提取手部指尖點，統(tǒng)計每種方 法均方根誤差、最大誤差、缺失手指、算錯手指四種指標。
[0072] 實驗結果如表1~4所示，可以看出CSS方法檢測手指指尖特征點正確率較好（如 表1，表1示出了三種方法各個手指指尖點均方根誤差），同時最大誤差同另外兩種方法相 比較低（如表2,表2示出了三種方法各個手指指尖點最大誤差）。對于完全彎曲的手指， 三種方法都不能只根據(jù)輪廓很好的檢測出全部手指（如表3,表3示出了三種方法丟失手指 數(shù)量），對于彎曲手指指尖點的檢測，需要根據(jù)角度閾值方法得到指尖點坐標。在排除手部 輪廓凸點中非指尖點的效果上，CSS方法有良好的排除能力（如表4,表4示出了三種方法 算錯手指數(shù)量）。
[0073]表1
[0079]
[0080]表 4
[0082] 以上所述，僅是本發(fā)明的較佳實施例，并非對本發(fā)明作任何形式上的限制，凡是依 據(jù)本發(fā)明的技術實質對以上實施例所作的任何簡單修改、等同變化與修飾，均仍屬本發(fā)明 技術方案的保護范圍。
【主權項】
1. 提出一種基于深度圖的手部特征點檢測方法，包括以下步驟： (1) 手部分割：利用Kinect采集到人體運動視頻序列來提取手部，通過深度圖利用 OPENNI得到人體手部位置信息，通過設定搜索區(qū)域及深度閾值方法，初步獲得手心點；利 用OPENCV的find_contours函數(shù)得到手部輪廓；通過找到手輪廓內最大內接圓圓心，精確 確定手部手心點，通過計算所有手部內部點到輪廓點之間的最短距離m，在最短距離中找到 最大值M，M所代表的手部內部點為手心點，內接圓半徑R = M ; (2) 特征點提?。和ㄟ^不斷對手部輪廓進行高斯平滑，并結合曲率閾值從而得到CSS曲 率圖，根據(jù)圖中CSS輪廓分析極限值得出手部指尖點及指谷點坐標，同時需要補全根據(jù)CSS 曲率圖無法得到的手部指谷點； (3) 補全缺失手指，利用角度閾值和深度跳變結合的方式來補全缺失手指，從而找到彎 曲手指的指尖點。2. 根據(jù)權利要求1所述的基于深度圖的手部特征點檢測方法，其特征在于：所述步驟 (1)中在計算手部內部點到每一個手部輪廓點的最小距離m時，如果當前最小距離比當前 的最大距離M小，假設這一點并不是處在中心點位置，忽略計算此點到其他手部輪廓點的 距離。3. 根據(jù)權利要求2所述的基于深度圖的手部特征點檢測方法，其特征在于：所述步驟 (1) 中在手部內部和手部輪廓的N個連續(xù)的點中，只計算一個點，N多1。4. 根據(jù)權利要求3所述的基于深度圖的手部特征點檢測方法，其特征在于：N = 8。5. 根據(jù)權利要求4所述的基于深度圖的手部特征點檢測方法，其特征在于：所述步驟 (2) 包括以下分步驟： (2. 1)根據(jù)公式（1)計算手部輪廓每一點的曲率，設輪廓每一點（x(t)，y(t))，t = 0, · · N-I Ho=(mm - myu)) / (-^2 (〇+>·2 (〇) (ι) 其中仍和沖),KO表示輪廓中位置為t的點的一階導和二階導，曲率閾值為g， 計算出輪廓中每一點曲率經(jīng)過g的點，并記錄到CSS曲線圖； (2.2) 根據(jù)公式（2)利用高斯平滑，對手部輪廓不斷進行平滑處理 x'(t) = .\it)(E)g(t,a) y'(t)= y(t)<S)g(t,a) (2) 其中表示卷積，g(t，〇)表示高斯函數(shù)，不斷對手部輪廓進行高斯平滑，直到所有點 的曲率都經(jīng)過指定閾值；獲取CSS曲線（t，σ )，其中σ代表使得參數(shù)點t對應卷積曲線曲 率位于2~2. 5之間的取值；在不斷平滑過程中，每點曲率范圍跳變在0. 5以內，保證所有 點的曲率都位于2~2. 5之間；通過尋找CSS曲線圖中的局部極大值點，找到手指指尖點 集； (2.3) 指谷點的計算與步驟（2.2)中指尖點計算相同，但對應卷積曲線曲率位 于-1. 5~-1之間； (2. 4)遺漏指谷點補充：若第一個指尖點位置比第一個指谷點位置靠前，則此指尖點 之前缺失一個指谷點，根據(jù)第一個指尖點和指谷點在手部輪廓中的相對位置的距離，在指 尖點前方估算出對應指谷點坐標，并將新指谷點放入指谷點集合中；若當最后一個指尖點 位置比第最后指谷點位置靠后，則此指尖點之后缺失一個指谷點，則根據(jù)最后一個指尖點 和指谷點在手部輪廓中的相對位置的距離，在指尖點后方估算出對應指谷點坐標，并將新 指谷點放入指谷點集合中； (2.5)估算手指關節(jié)點：先判斷大拇指指尖是否已被檢測，點列的前15%~25%內，若 已檢測出指尖點，則判斷為大拇指指尖，否則認為大拇指指尖未被檢測；兩個指谷點中點為 指根，結合指尖點，利用其平均得到手指的關節(jié)點，大拇指為兩個關節(jié)點，其它手指為三個 關節(jié)點。6.根據(jù)權利要求5所述的基于深度圖的手部特征點檢測方法，其特征在于：所述步驟 (3)包括以下分步驟： (3. 1)若大拇指已被檢測：設定另外四指中的指根與大拇指指根以及掌心連線的余弦 argcos 的范圍：0· 8+g ~I. 4+g, I. 4+g ~I. 7+g，I. 7+g ~2+g，>2+g，g = (45-depth) *0· 03， depth表示當前深度；根據(jù)此范圍判斷CSS未檢測到的手指類型：計算CSS已檢測到的手指 指根同掌心以及大拇指指根的角度，如果沒有角度落入之前設定好的角度閾值內，則認為 對應手指類型的指尖點缺失；以手掌心為起點，取該手指對應搜索范圍的中值角度，搜索在 此直線上深度跳變最大的點，取為由于手指彎曲而丟失的手指指尖點坐標； (3.2)若大拇指未被檢測：搜索手部輪廓內所有點當中深度最小的點集合，在該集合 當中，以手輪廓15%~25%排序點的中點，朝掌心方向，找到集合當中沿此方向距離最遠 的點，作為大拇指指尖點，最近的點作為大拇指指根點。
【專利摘要】本發(fā)明公開了一種基于深度圖的手部特征點檢測方法，包括步驟：(1)利用Kinect采集到人體運動視頻序列來提取手部，通過深度圖利用OPENNI得到人體手部位置信息，通過設定搜索區(qū)域及深度閾值方法，初步獲得手心點；利用OPENCV的find_contours函數(shù)得到手部輪廓；通過找到手輪廓內最大內接圓圓心，精確確定手部手心點，通過計算所有手部內部點到輪廓點之間的最短距離m，在最短距離中找到最大值M，M所代表的手部內部點為手心點，內接圓半徑R＝M；(2)通過不斷對手部輪廓進行高斯平滑，并結合曲率閾值從而得到CSS曲率圖，根據(jù)圖中CSS輪廓分析極限值得出手部指尖點及指谷點坐標，補全根據(jù)CSS曲率圖無法得到的手部指谷點；(3)補全缺失手指。
【IPC分類】G06T7/20, G06K9/62
【公開號】CN104899600
【申請?zhí)枴緾N201510282688
【發(fā)明人】孔德慧, 李淳, 王少帆, 尹寶才
【申請人】北京工業(yè)大學
【公開日】2015年9月9日
【申請日】2015年5月28日