一種基于Kinect傳感器的雙手跟蹤方法與裝置制造方法
【專利摘要】本發(fā)明提供了一種基于Kinect傳感器的雙手跟蹤方法與裝置，所述跟蹤方法，包括：S1.視頻采集步驟；S2.檢測步驟一；S3.單手跟蹤步驟；S4.檢測步驟二；S5.雙手跟蹤步驟，對已經(jīng)檢測到的雙手進(jìn)行跟蹤。由于檢測第二只手時利用了第一只手的信息，所以本發(fā)明的跟蹤方法能夠快速、準(zhǔn)確的跟蹤用戶雙手的運動，且計算復(fù)雜度低。
【專利說明】—種基于Kinect傳感器的雙手跟蹤方法與裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及人機(jī)交互領(lǐng)域中手勢識別和雙手跟蹤，尤其涉一種基于Kinect傳感器的雙手跟蹤方法與裝置。
【背景技術(shù)】
[0002]隨著計算機(jī)技術(shù)的迅猛發(fā)展和人們科技觀念的進(jìn)步，用戶對計算機(jī)的感知能力提出了越來越高的要求。傳統(tǒng)的人機(jī)交互模式主要依賴于物理鍵盤和鼠標(biāo)，其比較單一的以文本為主的輸入方式已經(jīng)不能滿足人們的需求，而更注重“以人為本”的新型人機(jī)交互方式打破了傳統(tǒng)模式的束縛，把輸入方式轉(zhuǎn)變成圖像和聲音等更加豐富自然的形式，大大改善了用戶的體驗。近年來人們在人臉識別、語音識別、人體姿態(tài)識別、手勢識別等研究領(lǐng)域都取得了長足的進(jìn)步。
[0003]手勢在人們的生活中扮演著極其重要的角色，基于計算機(jī)視覺的手勢識別是實現(xiàn)新一代人機(jī)交互所不可或缺的一項關(guān)鍵技術(shù)。手勢識別中的關(guān)鍵和大多數(shù)難點都存在于人手的跟蹤部分。其面臨的主要挑戰(zhàn)有:一、復(fù)雜背景的干擾，如人臉和別的類膚色背景；二、手在運動過程中會發(fā)生形變；三、光照的變化對手的外觀影響很大；四、系統(tǒng)運行實時性的要求。
[0004]目前手勢識別技術(shù)大多是針對單手情況，所用的定位跟蹤方法有=Camshift(Continuously Adaptive Mean-SHIFT)算法，特征空間匹配法等。這些已有的方法只是在特定的條件下取得不錯的效果。雙手的跟蹤和識別相比于單手又有新的特點和挑戰(zhàn)，如在雙手發(fā)生相互遮擋之后如何準(zhǔn)確分辨和跟蹤雙手?，F(xiàn)有技術(shù)中有的做法是限制兩只手在遮擋前后形狀不變，雙手遮擋分開后，利用遮擋前的雙手形狀信息進(jìn)行識別。但這種方法對人手限制較大，不夠自然方便。微軟公司的Kinect為手勢跟蹤和識別提供了很大的便利，它提供的深度信息大大簡化了背景去除步驟?，F(xiàn)有技術(shù)中有利用Kinect提供的深度圖像和彩色圖像建立雙手的3D模型并進(jìn)行跟蹤的方法，可準(zhǔn)確定位到雙手關(guān)節(jié)等細(xì)節(jié)信息，但這種方法計算復(fù)雜度非常高，即便在使用GPU (Graphic Processing Unit)加速的情況下也不能達(dá)到實時跟蹤。因Kinect本身帶有提取和跟蹤人體骨架的功能，故現(xiàn)有技術(shù)中也有用在骨架上尋找手部節(jié)點的方法提取手部位置從而跟蹤人手，但這種方法要求用戶的姿態(tài)是標(biāo)準(zhǔn)的坐姿或者站姿，對用戶姿勢限制太多，且識別和追蹤效果不夠理想。

【發(fā)明內(nèi)容】

[0005]本發(fā)明所要解決的技術(shù)問題是:克服前述現(xiàn)有技術(shù)的缺陷，提供一種可以處理復(fù)雜背景和不同光照情況且對人手姿態(tài)限制很少的基于Kinect傳感器的雙手跟蹤方法，包括:
[0006]SI視頻采集步驟，從Kinect傳感器獲取分辨率和幀率都相同的彩色視頻流和深度視頻流；
[0007]S2檢測步驟一，從所獲取的彩色視頻流和深度視頻流的圖像中檢測第一只做起始手勢的手；
[0008]S3單手跟蹤步驟，利用前ー幀或兩幀以上圖像中第一只手的位置信息和尺寸信息對第一只手進(jìn)行定位和跟蹤；
[0009]S4檢測步驟ニ，利用第一只手的位置信息和尺寸信息檢測第二只手；
[0010]S5雙手跟蹤步驟，對已經(jīng)檢測到的雙手進(jìn)行跟蹤。
[0011]根據(jù)實施例，本發(fā)明還可采用以下優(yōu)選的技術(shù)方案:
[0012]所述步驟S2中進(jìn)ー步包括:S2_1樣本訓(xùn)練步驟；S2_2模式選擇步驟；S2_3起始手勢判定步驟。
[0013]所述步驟S2-1中，選用SVM分類器(Support Vector Machine)學(xué)習(xí)和訓(xùn)練手部的形態(tài)學(xué)信息，選取幾何不變矩作為訓(xùn)練特征。
[0014]所述步驟S2-2中，當(dāng)光線適當(dāng)吋，選用膚色模式，即用膚色濾波結(jié)合深度濾波的方法提取第一只手；當(dāng)光線太暗或太亮?xí)r，選用形狀模式，即用深度濾波結(jié)合形狀濾波的方法提取第一只手。
[0015]所述步驟S2-3中，起始手勢定義為:手向前伸出且距離身體在閾值d以上。
[0016]所述步驟S3中的定位是:利用已得到的前ー幀或兩幀以上圖像中第一只手的位置及其外接矩形預(yù)測當(dāng)前巾貞圖像中第一只手的ROI (Region Of Interest),在此ROI內(nèi)做深度濾波以定位當(dāng)前幀圖像中第一只手的位置。
[0017]所述步驟S5中的雙手跟蹤包括:
[0018]I)雙手在相互遮擋之前的分離狀態(tài)吋，對兩個目標(biāo)進(jìn)行分別跟蹤，即根據(jù)前ー幀或兩幀以上圖像中兩只手的位置和尺寸信息分別預(yù)測當(dāng)前幀圖像兩目標(biāo)各自的R0I，并在這兩個區(qū)域內(nèi)分別檢測；
[0019]2)雙手在相互遮擋狀態(tài)時，檢測到的兩個目標(biāo)軌跡重合，視為對同一目標(biāo)進(jìn)行跟蹤;
[0020]3)雙手在相互遮擋后分開時，根據(jù)遮擋前后雙手在深度方向上位置關(guān)系的不變性辨別雙手，并分別跟蹤。
[0021]本發(fā)明還提供一種基于Kinect的雙手跟蹤裝置，包括如下模塊:
[0022]視頻采集模塊，用于從Kinect傳感器獲取分辨率和幀率都相同的彩色視頻流和深度視頻流；
[0023]檢測模塊一，用于從所獲取的彩色圖像和深度圖像中檢測第一只做起始手勢的手;
[0024]單手跟蹤模塊，包括定位単元和跟蹤單元，用于利用前ー幀或兩幀以上圖像中第一只手的位置信息和尺寸信息對第一只手進(jìn)行定位和跟蹤；
[0025]檢測模塊ニ，用于利用第一只手的位置信息和尺寸信息檢測第二只手；
[0026]雙手跟蹤模塊，用于對已經(jīng)檢測到的雙手進(jìn)行跟蹤。
[0027]根據(jù)實施例還可采用以下優(yōu)選的技術(shù)方案:
[0028]所述檢測模塊ー包括樣本訓(xùn)練單元、模式選擇單元和起始手勢判定単元。
[0029]所述樣本訓(xùn)練單元選用SVM分類器學(xué)習(xí)和訓(xùn)練手部的形態(tài)學(xué)信息，選取幾何不變矩作為訓(xùn)練特征。
[0030]所述模式選擇單元用于:當(dāng)光線適當(dāng)時，選用膚色模式，即用膚色濾波結(jié)合深度濾波的方法提取第一只手；當(dāng)光線太暗或太亮?xí)r，選用形狀模式，即用深度濾波結(jié)合形狀濾波的方法提取第一只手。
[0031]所述起始手勢判定單元中，起始手勢定義為:手向前伸出且距離身體在閾值d以上。
[0032]所述定位單元用于:利用已得到的前一幀或兩幀以上圖像中第一只手的位置及其外接矩形預(yù)測當(dāng)前幀圖像中第一只手的R0I，在此ROI內(nèi)做深度濾波以定位當(dāng)前幀圖像中第一只手的位置。
[0033]所述雙手跟蹤模塊用于:
[0034]I)雙手在相互遮擋之前的分離狀態(tài)時，對兩個目標(biāo)進(jìn)行分別跟蹤，即根據(jù)前一幀或兩幀以上圖像中兩只手的位置和尺寸信息分別預(yù)測當(dāng)前幀圖像兩目標(biāo)各自的R0I，并在這兩個區(qū)域內(nèi)分別檢測；
[0035]2)雙手在相互遮擋狀態(tài)時，檢測到的兩個目標(biāo)軌跡重合，視為對同一目標(biāo)進(jìn)行跟蹤;
[0036]3)雙手在相互遮擋后分開時，根據(jù)遮擋前后雙手在深度方向上位置關(guān)系的不變性辨別雙手，并分別跟蹤。
[0037]本發(fā)明與現(xiàn)有技術(shù)對比的有益效果是:
[0038]由于檢測第二只手時利用了第一只手的信息，所以本發(fā)明的跟蹤方法能夠快速、準(zhǔn)確的跟蹤用戶雙手的運動，且計算復(fù)雜度低。
[0039]一個優(yōu)選的技術(shù)方案中，由于采用了深度濾波的方法并在跟蹤過程中設(shè)定了目標(biāo)的感興趣區(qū)域R0I，所以可以不受復(fù)雜背景的干擾，因為深度濾波可以去除目標(biāo)后方干擾物如用戶的臉部的影響；而設(shè)定ROI區(qū)域使得只在目標(biāo)附近的區(qū)域檢測下一幀圖像中的目標(biāo)，去除了 ROI區(qū)域外的物體，如旁觀者的手部和臉部等的干擾；以上還帶來另一好處，就是對用戶的姿態(tài)限制很少。
[0040]另一個優(yōu)選的技術(shù)方案中，用戶可以根據(jù)光線情況選擇合適的檢測模式，使得此方法能夠適應(yīng)不同光線的情況。
[0041]再一個優(yōu)選的技術(shù)方案中，在跟蹤過程中檢測手時不使用其形狀信息，因此手在運動過程中的形變不影響跟蹤效果。
【專利附圖】

【附圖說明】
[0042]圖1是本發(fā)明一個實施例的雙手跟蹤的流程圖。
[0043]圖2是一個實施例的檢測第一只手初始手勢的流程圖。
【具體實施方式】
[0044]下面對照附圖和結(jié)合優(yōu)選【具體實施方式】對本發(fā)明進(jìn)行詳細(xì)的闡述。
[0045]實施例1
[0046]一種基于Kinect的雙手跟蹤方法，包括:
[0047]SI視頻采集步驟，從Kinect傳感器獲取分辨率和幀率都相同的彩色視頻流和深度視頻流；
[0048]S2檢測步驟一，從所獲取的彩色視頻流和深度視頻流的圖像中檢測第一只做起始手勢的手；
[0049]S3單手跟蹤步驟，利用前ー幀或兩幀以上中第一只手的位置信息和尺寸信息對第一只手進(jìn)行定位和跟蹤；
[0050]S4檢測步驟ニ，利用第一只手的位置信息和尺寸信息檢測第二只手；
[0051 ] S5雙手跟蹤步驟，對已經(jīng)檢測到的雙手進(jìn)行跟蹤。
[0052]所述步驟S2中進(jìn)ー步包括:S2_1樣本訓(xùn)練步驟；S2_2模式選擇步驟；S2_3起始手勢判定步驟。
[0053]所述步驟S2-1中，選用SVM分類器學(xué)習(xí)和訓(xùn)練手部的形態(tài)學(xué)信息，選取幾何不變矩作為訓(xùn)練特征。
[0054]所述步驟S2-2中，當(dāng)光線適當(dāng)時，選用膚色模式，即用膚色濾波結(jié)合深度濾波的方法提取第一只手；當(dāng)光線太暗或太亮?xí)r，選用形狀模式，即用深度濾波結(jié)合形狀濾波的方法提取第一只手。
[0055]所述步驟S2-3中，起始手勢定義為:手向前伸出且距離身體在閾值d以上。
[0056]所述步驟S3中的定位是:利用已得到的前ー幀或兩幀以上圖像中第一只手的位置及其外接矩形預(yù)測當(dāng)前幀圖像中第一只手的R0I，在此ROI內(nèi)做深度濾波以定位當(dāng)前幀圖像中第一只手的位置。
[0057]所述步驟S5中的雙手跟蹤包括:
[0058]I)雙手在相互遮擋之前的分離狀態(tài)吋，對兩個目標(biāo)進(jìn)行分別跟蹤，即根據(jù)前ー幀或兩幀以上圖像中兩只手的位置和尺寸信息分別預(yù)測當(dāng)前幀圖像兩目標(biāo)各自的R0I，并在這兩個區(qū)域內(nèi)分別檢測；
[0059]2)雙手在相互遮擋狀態(tài)時，檢測到的兩個目標(biāo)軌跡重合，視為對同一目標(biāo)進(jìn)行跟蹤;
[0060]3)雙手在相互遮擋后分開時，根據(jù)遮擋前后雙手在深度方向上位置關(guān)系的不變性辨別雙手，并分別跟蹤。
[0061]實施例2
[0062]如圖1所示，是本實施例的雙手跟蹤的流程圖，包括:
[0063]步驟I)獲取視頻流。譬如使用Kinect傳感器獲取分辨率為640*480，幀率為30fps的彩色視頻流和深度視頻流。
[0064]步驟2)檢測第一只手。即從獲取到的彩色圖和深度圖中檢測第一只手。具體是根據(jù)深度信息和膚色信息或者形狀信息尋找最近的足夠大的目標(biāo)物體作為第一只手。
[0065]步驟3)判斷是否檢測到初始手勢。即判斷找到的第一只手是否在做起始手勢。當(dāng)手向前伸出，距離身體在閾值d以上時，判定此手做出有效起始手勢，跟蹤開始。標(biāo)記此手為Handl,把其三維位置信息存入此手的軌跡trajl中。
[0066]其中d —般設(shè)為15?25cm。
[0067]步驟4)跟蹤單只手。即跟蹤檢測到的所述第一只手Handl。具體可以是:根據(jù)前兩幀圖像中手的位置和尺寸信息，預(yù)測當(dāng)前幀圖像中目標(biāo)的可能位置區(qū)域，即感興趣區(qū)域ROK在深度圖的ROI區(qū)域內(nèi)尋找最可能的目標(biāo)，把目標(biāo)的三維位置信息存入Handl的軌跡trajl中。所述前兩幀是指跟蹤過程中當(dāng)前幀之前的兩幀圖像，如當(dāng)前幀是ft，那么前兩幀指ft_i和ft_2。當(dāng)然，利用前兩幀只是ー個優(yōu)選的做法，也不一定必須是前“兩”幀，如當(dāng)開始跟蹤時，前面只有一幀圖像中(檢測到第一只手的那幀)有手的信息，那就只能利用前一幀的手的位置尺寸信息。
[0068]這個步驟主要作用是利用“前N幀”的信息對當(dāng)前幀目標(biāo)的位置做預(yù)測。N越大，可以參考的信息越多，但預(yù)測公式會更復(fù)雜。另外，N越大，前面第N幀圖像的參考價值越小，所以N不是越大越好，取2或3可能比較合適。
[0069]步驟5)檢測第二只手。因雙手手勢的自然起始狀態(tài)是兩只手伸出相近的深度距離，擺出相似的手勢，因此可以利用當(dāng)前幀圖像中第一只手Handl的位置和尺寸信息在全局范圍內(nèi)檢測第二只手。對深度圖做濾波，尋找面積和深度位置與第一只手都相似的目標(biāo)，這種方法相對于利用顔色信息或者形狀信息重新搜索另外一只手的方法更加簡單快速。
[0070]步驟6)判斷是否檢測到目標(biāo)。即判定步驟5是否找到第二只手，如果找到了，標(biāo)為第二只手Hand2，把其三維位置信息存入Hand2的軌跡traj2中；如果沒找到，則繼續(xù)跟蹤單只手。
[0071]步驟7)跟蹤雙手。即在找到第二只手之后對雙手(Handl和Hand2)進(jìn)行跟蹤。在兩只手沒有相互遮擋或者重疊的時候，相當(dāng)于對兩個單獨的目標(biāo)進(jìn)行跟蹤，根據(jù)前兩幀圖像中目標(biāo)的位置和尺寸信息預(yù)測當(dāng)前幀圖像中兩目標(biāo)的可能位置區(qū)域，設(shè)定兩個目標(biāo)的各自的感興趣區(qū)域ROI1和R0I2，并在深度圖的ROI1和ROI2范圍內(nèi)做深度濾波分別尋找最有可能的目標(biāo)。當(dāng)兩只手相互遮擋或者重疊時，在ROI1和ROI2內(nèi)檢測到的是同一目標(biāo)，兩只手的位置信息相同，軌跡重合。當(dāng)兩只手相互遮擋之后再分開時，根據(jù)遮擋前和遮擋后兩手的深度值關(guān)系的不變性來分辨Handl和Hand2，即如果在遮擋前Handl在Hand2之前，那么遮擋分開后Handl應(yīng)該仍然在Hand2之前。
[0072]步驟8)輸出手的軌跡。即分辨出兩手后，把其各自三維位置信息分別存入對應(yīng)的軌跡中。
[0073]如圖2所示，是本實施例中檢測第一只手初始手勢的流程圖，主要包括:
[0074]步驟201，獲取彩色圖像和深度圖像JAKinect獲取分辨率為640*480，幀率為30fps的RGB彩色圖像和灰度深度圖像。
[0075]步驟202判斷光線是否合適。根據(jù)光照強(qiáng)弱選擇檢測模式，如果光照適中，選擇膚色模式；如果光照太弱或者太亮，選擇形狀模式。
[0076]步驟203膚色濾波。膚色模式首先把RGB圖片轉(zhuǎn)換到膚色更為集中的YCbCr顔色空間，其中Y表示明亮度(Luminance、Luma), Cb和Cr都指色彩，Cb指藍(lán)色色度，Cr指紅色色度。轉(zhuǎn)換公式如下:
[0077]Y=0.299*R+0.587*G+0.114*B
[0078]Cr= (R-Y) *0.713+128
[0079]Cb= (B-Y) *0.564+128
[0080]然后進(jìn)行膚色濾波，用橢圓膚色模型對YCbCr色彩空間的彩色圖片進(jìn)行濾波得到膚色的ニ值圖像mask I。
[0081]步驟204深度濾波:結(jié)合深度圖對膚色ニ值圖像maskl進(jìn)行深度濾波。從maskl中找到所有面積大于手部最小面積Amin的連通域，選出其中面積最大的3個，得到新的膚色ニ值圖像mask2。在mask2中選取深度最小的連通域SRn,對其進(jìn)行深度濾波,選取深度范圍在[Dmin, Dmin+1]內(nèi)的區(qū)域作為準(zhǔn)目標(biāo)區(qū)域Re。其中,Dmin為連通域SRn的最小深度值，I為用于分割手部的閾值，一般設(shè)為5~8cm (此處是指從手的最前端如指尖到手腕的深度距離，后文所述“分割手部的閾值”的設(shè)定含義與此處相同)。
[0082]步驟205樣本訓(xùn)練:形狀模式要求用戶和攝像頭之間沒有物體干擾，用戶處于最前方，且做起始手勢時手掌要張開。首先采集張開手掌的正負(fù)樣本數(shù)據(jù)庫，再選取特征和分類器學(xué)習(xí)訓(xùn)練手形。由于幾何不變矩一Hu矩具有平移、旋轉(zhuǎn)和尺度不變性，選擇它作為訓(xùn)練分類器的特征。Hu矩定義如下:
[0083]其中，1^是(p+q)階歸一化中心矩。
[0084]
[0085]
[0086]
[0087]
【權(quán)利要求】
1.一種基于Kinect傳感器的雙手跟蹤方法，其特征在于包括: SI視頻采集步驟，從Kinect傳感器獲取分辨率和幀率都相同的彩色視頻流和深度視頻流； S2檢測步驟一，從所獲取的彩色視頻流和深度視頻流的圖像中檢測第一只做起始手勢的手; S3單手跟蹤步驟，利用前一幀或兩幀以上圖像中第一只手的位置信息和尺寸信息對第一只手進(jìn)行定位和跟蹤； S4檢測步驟二，利用第一只手的位置信息和尺寸信息檢測第二只手； S5雙手跟蹤步驟，對已經(jīng)檢測到的雙手進(jìn)行跟蹤。
2.如權(quán)利要求1所述的基于Kinect傳感器的雙手跟蹤方法，其特征在于所述步驟S2中進(jìn)一步包括: S2-1樣本訓(xùn)練步驟； S2-2模式選擇步驟； S2-3起始手勢判定步驟。
3.如權(quán)利要求2所述的基于Kinect傳感器的雙手跟蹤方法，其特征在于:所述步驟S2-1中，選用SVM分類器(Support Vector Machine)學(xué)習(xí)和訓(xùn)練手部的形態(tài)學(xué)信息,選取幾何不變矩作為訓(xùn)練特征。
4.如權(quán)利要求2所述的基于Kinect傳感器的雙手跟蹤方法，其特征在于:所述步驟S2-2中，當(dāng)光線適當(dāng)時，選用膚色模式，即用膚色濾波結(jié)合深度濾波的方法提取第一只手；當(dāng)光線太暗或太亮?xí)r，選用形狀模式，即用深度濾波結(jié)合形狀濾波的方法提取第一只手。
5.如權(quán)利要求2所述的基于Kinect傳感器的雙手跟蹤方法，其特征在于:所述步驟S2-3中,起始手勢定義為:手向前伸出且距離身體在閾值d以上。
6.如權(quán)利要求1所述的基于Kinect傳感器的雙手跟蹤方法，其特征在于，所述步驟S3中的定位是:利用已得到的前一幀或兩幀以上圖像中第一只手的位置及其外接矩形預(yù)測當(dāng)前幀圖像中第一只手的ROI (Region Of Interest)，在此ROI內(nèi)做深度濾波以定位當(dāng)前幀圖像中第一只手的位置。
7.如權(quán)利要求1所述的基于Kinect傳感器的雙手跟蹤方法，其特征在于，所述步驟S5中的雙手跟蹤包括: O雙手在相互遮擋之前的分離狀態(tài)時，對兩個目標(biāo)進(jìn)行分別跟蹤，即根據(jù)前一幀或兩幀以上圖像中兩只手的位置和尺寸信息分別預(yù)測當(dāng)前幀圖像兩目標(biāo)各自的R0I，并在這兩個區(qū)域內(nèi)分別檢測； 2)雙手在相互遮擋狀態(tài)時，檢測到的兩個目標(biāo)軌跡重合，視為對同一目標(biāo)進(jìn)行跟蹤； 3)雙手在相互遮擋后分開時，根據(jù)遮擋前后雙手在深度方向上位置關(guān)系的不變性辨別雙手，并分別跟蹤。
8.一種基于Kinect傳感器的雙手跟蹤裝置，其特征在于包括如下模塊: 視頻采集模塊，用于從Kinect傳感器獲取分辨率和幀率都相同的彩色視頻流和深度視頻流； 檢測模塊一，用于從所獲取的彩色圖像和深度圖像中檢測第一只做起始手勢的手； 單手跟蹤模塊，包括定位單元和跟蹤單元，用于利用前一幀或者兩幀以上圖像中第一只手的位置信息和尺寸信息對第一只手進(jìn)行定位和跟蹤； 檢測模塊二，用于利用第一只手的位置信息和尺寸信息檢測第二只手； 雙手跟蹤模塊，用于對已經(jīng)檢測到的雙手進(jìn)行跟蹤。
9.如權(quán)利要求8所述的基于Kinect傳感器的雙手跟蹤裝置，其特征在于:所述檢測模塊ー包括樣本訓(xùn)練單元、模式選擇單元和起始手勢判定単元。
10.如權(quán)利要求9所述的基于Kinect傳感器的雙手跟蹤裝置，其特征在于:所述樣本訓(xùn)練單元選用SVM分類器學(xué)習(xí)和訓(xùn)練手部的形態(tài)學(xué)信息，選取幾何不變矩作為訓(xùn)練特征。
11.如權(quán)利要求9所述的基于Kinect傳感器的雙手跟蹤裝置，其特征在于，所述模式選擇單元用于: 當(dāng)光線適當(dāng)時，選用膚色模式，即用膚色濾波結(jié)合深度濾波的方法提取第一只手； 當(dāng)光線太暗或太亮?xí)r，選用形狀模式，即用深度濾波結(jié)合形狀濾波的方法提取第一只手。
12.如權(quán)利要求9所述的基于Kinect傳感器的雙手跟蹤裝置，其特征在于:所述起始手勢判定單元中，起始手勢定義為:手向前伸出且距離身體在閾值d以上。
13.如權(quán)利要求8所述的基于Kinect傳感器的雙手跟蹤裝置，其特征在于，所述定位單元用干:利用 已得到的前ー幀或者兩幀以上圖像中第一只手的位置及其外接矩形預(yù)測當(dāng)前幀圖像中第一只手的ROI，在此ROI內(nèi)做深度濾波以定位當(dāng)前幀圖像中第一只手的位置。
14.如權(quán)利要求8所述的基于Kinect傳感器的雙手跟蹤裝置，其特征在于，所述雙手跟蹤豐旲塊用于: 1)雙手在相互遮擋之前的分離狀態(tài)吋，對兩個目標(biāo)進(jìn)行分別跟蹤，即根據(jù)前一幀或者兩幀以上圖像中兩只手的位置和尺寸信息分別預(yù)測當(dāng)前幀圖像兩目標(biāo)各自的R0I，并在這兩個區(qū)域內(nèi)分別檢測； 2)雙手在相互遮擋狀態(tài)時，檢測到的兩個目標(biāo)軌跡重合，視為對同一目標(biāo)進(jìn)行跟蹤； 3)雙手在相互遮擋后分開時，根據(jù)遮擋前后雙手在深度方向上位置關(guān)系的不變性辨別雙手，并分別跟蹤。
【文檔編號】G06K9/66GK103530892SQ201310497334
【公開日】2014年1月22日 申請日期:2013年10月21日 優(yōu)先權(quán)日:2013年10月21日
【發(fā)明者】朱艷敏, 袁博 申請人:清華大學(xué)深圳研究生院