一種基于深度圖的手部特征點(diǎn)檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)模式識(shí)別和計(jì)算機(jī)視覺的技術(shù)領(lǐng)域，具體地涉及一種基于深度 圖的手部特征點(diǎn)檢測(cè)方法。
【背景技術(shù)】
[0002] 手勢(shì)交互是新型人機(jī)交互研宄中一種重要的交互方式，這種交互是非接觸性的、 自然的交互，更符合人的自然行為，因此基于手勢(shì)的交互方式將是未來人機(jī)交互發(fā)展的趨 勢(shì)。手勢(shì)識(shí)別技術(shù)涉及人工智能、模式識(shí)別、機(jī)器學(xué)習(xí)、計(jì)算機(jī)圖形學(xué)等眾多學(xué)科。另外手 勢(shì)的研宄設(shè)計(jì)到數(shù)學(xué)、計(jì)算機(jī)圖形學(xué)、機(jī)器人運(yùn)動(dòng)學(xué)、醫(yī)學(xué)等諸多學(xué)科。因此，手勢(shì)識(shí)別的研 宄具有非常重要的研宄價(jià)值與研宄意義。當(dāng)前基于手勢(shì)交互的研宄主要集中在基于RGB光 學(xué)圖像的處理上，包括人手檢測(cè)、目標(biāo)跟蹤、手勢(shì)識(shí)別三部分。
[0003] 手勢(shì)檢測(cè)用于檢測(cè)獲取控制權(quán)的手勢(shì)，主要分為靜態(tài)手勢(shì)與動(dòng)態(tài)手勢(shì)兩種方式， 靜態(tài)手勢(shì)的檢測(cè)應(yīng)用的是基于區(qū)域特征的目標(biāo)檢測(cè)方法，比如Haar特征、H0G特征、膚色特 征、形狀特征等，動(dòng)態(tài)手勢(shì)的檢測(cè)主要是基于運(yùn)動(dòng)的檢測(cè)算法，根據(jù)運(yùn)動(dòng)區(qū)域的特征檢測(cè)某 種預(yù)定義的手勢(shì)。目前手勢(shì)檢測(cè)研宄較為成熟，但受光照、背景等的影響。
[0004] 目標(biāo)跟蹤分為非變形目標(biāo)的跟蹤與變形目標(biāo)的跟蹤。非變形目標(biāo)跟蹤主要基于形 狀、輪廓、模板等特征，結(jié)合粒子濾波等目標(biāo)搜索算法，疊加目標(biāo)小角度旋轉(zhuǎn)、縮放、平移等 仿射變換實(shí)現(xiàn)跟蹤，跟蹤較好且能準(zhǔn)確判斷目標(biāo)是否跟蹤丟失。變形目標(biāo)跟蹤主要基于顏 色等區(qū)域特征，結(jié)合Camshift、MeanShift等搜索算法實(shí)現(xiàn)區(qū)域的跟蹤。
[0005] 手勢(shì)識(shí)別部分與傳感器無關(guān)，主要是針對(duì)跟蹤結(jié)果生成的目標(biāo)序列進(jìn)行軌跡、時(shí) 間序列等的識(shí)別，主要算法有HMM、DTW、模板匹配等，根據(jù)對(duì)序列的切分與分類結(jié)果識(shí)別其 中的有效手勢(shì)并交由系統(tǒng)后端進(jìn)行處理。
[0006] 但由于RGB圖像無法獲取物體在三維空間中的信息，相關(guān)的算法受到周圍環(huán)境、 光照、背景等因素的影響，在目標(biāo)檢測(cè)與跟蹤上魯棒性交叉，難以實(shí)現(xiàn)復(fù)雜場(chǎng)景下的任意目 標(biāo)檢測(cè)和在線跟蹤，應(yīng)用收到很大的限制。因此，越來越多的研宄者開始利用深度圖像來進(jìn) 行目標(biāo)的檢測(cè)和跟蹤，從而將目標(biāo)于背景分離開來，提高目標(biāo)檢測(cè)與跟蹤的準(zhǔn)確率?，F(xiàn)有的 深度程序應(yīng)用研宄主要集中在基于人體控制的研宄，通過對(duì)人體骨骼提取實(shí)現(xiàn)體感控制與 行為識(shí)別，這些檢查算法要求人體的大部分出現(xiàn)在場(chǎng)景中，并且不能與其他目標(biāo)連接，應(yīng)用 范圍受到了限制。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的技術(shù)解決問題是：克服現(xiàn)有技術(shù)的不足，提供一種基于深度圖的手部特 征點(diǎn)檢測(cè)方法，其克服基于RGB光學(xué)圖像以及深度圖像手部檢測(cè)算法等在實(shí)際手勢(shì)交互場(chǎng) 景中的局限性，能夠基于深度圖像進(jìn)行手部特征點(diǎn)識(shí)別。
[0008] 本發(fā)明的技術(shù)解決方案是：這種基于深度圖的手部特征點(diǎn)檢測(cè)方法，包括以下步 驟：
[0009] (1)手部分割：利用Kinect采集到人體運(yùn)動(dòng)視頻序列來提取手部，通過深度圖利 用0PENNI得到人體手部位置信息，通過設(shè)定搜索區(qū)域及深度閾值方法，初步獲得手心點(diǎn)； 利用0PENCV的find_contours函數(shù)得到手部輪廓；通過找到手輪廓內(nèi)最大內(nèi)接圓圓心，精 確確定手部手心點(diǎn)，通過計(jì)算所有手部?jī)?nèi)部點(diǎn)到輪廓點(diǎn)之間的最短距離m，在最短距離中找 到最大值M，M所代表的手部?jī)?nèi)部點(diǎn)為手心點(diǎn)，內(nèi)接圓半徑R=M;
[0010] (2)特征點(diǎn)提?。涸O(shè)計(jì)實(shí)現(xiàn)了一種改進(jìn)的基于CSS曲率圖進(jìn)行手部特征點(diǎn)（指尖 點(diǎn)及指谷點(diǎn)）檢測(cè)的方法。通過不斷對(duì)手部輪廓進(jìn)行高斯平滑，并結(jié)合曲率閾值從而得到 CSS曲率圖，根據(jù)圖中CSS輪廓分析極限值得出手部指尖點(diǎn)及指谷點(diǎn)坐標(biāo)，同時(shí)需要補(bǔ)全根 據(jù)CSS曲率圖無法得到的手部指谷點(diǎn)；
[0011] (3)補(bǔ)全缺失手指，提出一種利用角度閾值和深度跳變結(jié)合的方式來補(bǔ)全缺失手 指的方法，從而找到彎曲手指的指尖點(diǎn)。
[0012] 本發(fā)明采用微軟公司的Kinect傳感器，通過Kinect獲取人體運(yùn)動(dòng)深度圖像與彩 色圖像，通過深度圖利用0PENNI得到人體骨架點(diǎn)信息，通過0PENCV的find_contours函數(shù) 得到手部輪廓，通過找到手輪廓內(nèi)最大內(nèi)接圓圓心，確定手部手心點(diǎn)，從而克服基于RGB光 學(xué)圖像以及深度圖像等手部檢測(cè)算法在實(shí)際手勢(shì)交互場(chǎng)景中的局限性，能夠基于深度圖像 進(jìn)行手部特征點(diǎn)識(shí)別。
【附圖說明】
[0013] 圖1根據(jù)本發(fā)明的一種基于深度圖的手部特征點(diǎn)檢測(cè)方法的流程圖。
[0014] 圖2根據(jù)本發(fā)明的裁剪手腕的流程圖。
[0015] 圖3根據(jù)本發(fā)明的獲取指尖CSS曲線流程圖
[0016] 圖4根據(jù)本發(fā)明的補(bǔ)全指谷點(diǎn)流程圖。
【具體實(shí)施方式】
[0017] 這種基于深度圖的手部特征點(diǎn)檢測(cè)方法，包括以下步驟：
[0018] (1)手部分割：利用Kinect采集到人體運(yùn)動(dòng)視頻序列來提取手部，通過深度圖利 用0PENNI得到人體手部位置信息，通過設(shè)定搜索區(qū)域及深度閾值方法，初步獲得手心點(diǎn)； 利用0PENCV的find_contours函數(shù)得到手部輪廓；通過找到手輪廓內(nèi)最大內(nèi)接圓圓心，精 確確定手部手心點(diǎn)，通過計(jì)算所有手部?jī)?nèi)部點(diǎn)到輪廓點(diǎn)之間的最短距離m，在最短距離中找 到最大值M，M所代表的手部?jī)?nèi)部點(diǎn)為手心點(diǎn)，內(nèi)接圓半徑R=M;
[0019] (2)特征點(diǎn)提取：設(shè)計(jì)實(shí)現(xiàn)了一種改進(jìn)的基于CSS曲率圖進(jìn)行手部特征點(diǎn)（指尖 點(diǎn)及指谷點(diǎn)）檢測(cè)的方法。通過不斷對(duì)手部輪廓進(jìn)行高斯平滑，并結(jié)合曲率閾值從而得到 CSS曲率圖，根據(jù)圖中CSS輪廓分析極限值得出手部指尖點(diǎn)及指谷點(diǎn)坐標(biāo)，同時(shí)需要補(bǔ)全根 據(jù)CSS曲率圖無法得到的手部指谷點(diǎn)；
[0020] (3)補(bǔ)全缺失手指，提出一種利用角度閾值和深度跳變結(jié)合的方式來補(bǔ)全缺失手 指的方法，從而找到彎曲手指的指尖點(diǎn)。
[0021] 本發(fā)明采用微軟公司的Kinect傳感，通過Kinect獲取人體運(yùn)動(dòng)深度圖像與彩色 圖像，通過深度圖利用0PENNI得到人體骨架點(diǎn)信息，通過0PENCV的find_c〇nt〇urs函數(shù)得 到手部輪廓，通過找到手輪廓內(nèi)最大內(nèi)接圓圓心，確定手部手心點(diǎn)，從而克服基于RGB光學(xué) 圖像以及深度圖像人體檢測(cè)算法等在實(shí)際手勢(shì)交互場(chǎng)景中的局限性，能夠基于深度圖像進(jìn) 行手勢(shì)分割。
[0022] 優(yōu)選地，所述步驟（1)中在計(jì)算手部?jī)?nèi)部點(diǎn)到每一個(gè)手部輪廓點(diǎn)的最小距離m時(shí)， 如果當(dāng)前最小距離比當(dāng)前的最大距離M小，假設(shè)這一點(diǎn)并不是處在中心點(diǎn)位置，忽略計(jì)算 此點(diǎn)到其他手部輪廓點(diǎn)的距離。
[0023] 優(yōu)選地，所述步驟（1)中在手部?jī)?nèi)部和手部輪廓的N個(gè)連續(xù)的點(diǎn)中，只計(jì)算一個(gè) 點(diǎn)，N彡1〇
[0024]優(yōu)選地，N= 8。
[0025] 優(yōu)選地，所述步驟（2)包括以下分步驟：
[0026] (2. 1)根據(jù)公式（1)計(jì)算手部輪廓每一點(diǎn)的曲率，設(shè)輪廓每一點(diǎn)（x(t)，y(t))，t= 0, ? ?N-l
[0028] 其中雄),.)>(0和邱),KO表示輪廓中位置為t的點(diǎn)的一階導(dǎo)和二階導(dǎo)，曲率閾值 為g，計(jì)算出輪廓中每一點(diǎn)曲率經(jīng)過g的點(diǎn)，并記錄到css曲線圖；
[0029] (2. 2)根據(jù)公式（2)利用高斯平滑，對(duì)手部輪廓不斷進(jìn)行平滑處理
[0031] 其中?表示卷積，g(t，0)表示高斯函數(shù)，不斷對(duì)手部輪廓進(jìn)行高斯平滑，直到所 有點(diǎn)的曲率都經(jīng)過指定閾值；獲取CSS曲線（t，〇 )，其中〇代表使得參數(shù)點(diǎn)t對(duì)應(yīng)卷積曲 線曲率位于2~2. 5之間的取值；在不斷平滑過程中，每點(diǎn)曲率范圍跳變?cè)?. 5以內(nèi)，保證 所有點(diǎn)的曲率都位于2~2. 5之間；通過尋找CSS曲線圖中的局部極大值點(diǎn)，找到手指