基于深度圖像的手勢(shì)識(shí)別方法和裝置制造方法
【專利摘要】提供了一種基于深度圖像的手勢(shì)識(shí)別方法、手勢(shì)識(shí)別裝置、開啟人機(jī)交互系統(tǒng)的方法和裝置。該手勢(shì)識(shí)別方法，可以包括：基于包括手部區(qū)域的深度圖像序列，檢測(cè)手部候選區(qū)域的三維運(yùn)動(dòng)軌跡；以及根據(jù)手部候選區(qū)域的三維運(yùn)動(dòng)軌跡，識(shí)別預(yù)定手勢(shì)。本發(fā)明實(shí)施例的上述手勢(shì)識(shí)別方法和裝置充分利用了連續(xù)識(shí)別圖像中的運(yùn)動(dòng)信息；由于未使用膚色模型，而是采用連續(xù)圖像的時(shí)空域運(yùn)動(dòng)信息和連續(xù)的深度值變化信息進(jìn)行手勢(shì)識(shí)別，因此該手勢(shì)識(shí)別方法性能較魯棒，所受光照條件影響較??；由于基于運(yùn)動(dòng)軌跡進(jìn)行手勢(shì)識(shí)別，它能在相對(duì)較遠(yuǎn)的距離范圍內(nèi)使用。
【專利說明】基于深度圖像的手勢(shì)識(shí)別方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明總體地涉及手勢(shì)識(shí)別，更具體地涉及基于深度圖像的手勢(shì)識(shí)別方法和裝置。
【背景技術(shù)】
[0002]已經(jīng)提出了一些基于圖像處理的手勢(shì)識(shí)別技術(shù)。
[0003]美國(guó)專利“US7340077B2”中，提出了一種基于深度傳感器的手勢(shì)識(shí)別系統(tǒng)。該方法通過對(duì)在一定時(shí)間范圍內(nèi)姿態(tài)的組合進(jìn)行手勢(shì)識(shí)別，主要針對(duì)所識(shí)別部分的形狀、位置和方向進(jìn)行手勢(shì)識(shí)別，最后通過識(shí)別到的手勢(shì)對(duì)相關(guān)的電器設(shè)備進(jìn)行控制。該方法主要采用靜態(tài)圖像信息進(jìn)行識(shí)別，丟掉了連續(xù)視頻圖像中的大量運(yùn)動(dòng)信息。另外，手勢(shì)的識(shí)別主要是基于組合姿態(tài)，因此用戶必須做多個(gè)姿態(tài)模式去完成一個(gè)手勢(shì)，這對(duì)于用戶操作不是很方便。
[0004]美國(guó)專利公開“US20120069168A1”提出了一種對(duì)電視進(jìn)行控制的手勢(shì)識(shí)別系統(tǒng)。手勢(shì)(手掌張開與閉合)用于電視的“選擇”和“確定”功能操作。首先，手的姿態(tài)(“開”或者“合”)被檢測(cè)基于手掌中心和手掌底部之間的計(jì)算距離，然后手勢(shì)(手掌張開與閉合)能被識(shí)別，基于手的“開”和“合”之間的狀態(tài)轉(zhuǎn)換關(guān)系。在該系統(tǒng)中，為了有效判斷手的開合狀態(tài)，用戶與電視的距離必須在有效的距離范圍內(nèi)。因此該方法不太適用于遠(yuǎn)距離操作。同時(shí)該系統(tǒng)采用膚色模型進(jìn)行手的檢測(cè)，檢測(cè)結(jié)果將很容易受到環(huán)境光照變化的影響。
[0005]題目為“Hand Gesture Recognition for Human-Machine Interaction，，, Journalof WSCG，2004的文章提出了一種實(shí)時(shí)的基于手勢(shì)識(shí)別的視覺應(yīng)用系統(tǒng)。首先，采用膚色模型進(jìn)行運(yùn)動(dòng)手區(qū)域分割；然后基于HausdorfT距離進(jìn)行手的姿態(tài)識(shí)別。該方法同樣容易受到光照的影響。
[0006]另外，有些文章使用2D運(yùn)動(dòng)軌跡進(jìn)行手勢(shì)識(shí)別，通常他們都是基于靜態(tài)圖像進(jìn)行特征提取或者采用膚色模型進(jìn)行前景分割。

【發(fā)明內(nèi)容】

[0007]根據(jù)本發(fā)明的實(shí)施例，提供了一種基于深度圖像的手勢(shì)識(shí)別方法，可以包括:基于包括手部區(qū)域的深度圖像序列，檢測(cè)手部候選區(qū)域的三維運(yùn)動(dòng)軌跡；以及根據(jù)手部候選區(qū)域的三維運(yùn)動(dòng)軌跡，識(shí)別預(yù)定手勢(shì)。
[0008]根據(jù)本發(fā)明的另一實(shí)施例，提供了一種開啟人機(jī)交互系統(tǒng)的方法，包括:獲得包括手部區(qū)域的深度圖像序列；基于包括手部區(qū)域的深度圖像序列，檢測(cè)手部候選區(qū)域的三維運(yùn)動(dòng)軌跡；根據(jù)手部候選區(qū)域的三維運(yùn)動(dòng)軌跡，識(shí)別抬手手勢(shì)；以及如果識(shí)別到抬手手勢(shì)，則開啟人機(jī)交互系統(tǒng)，進(jìn)入人機(jī)交互狀態(tài)中。
[0009]根據(jù)本發(fā)明的另一實(shí)施例，提供了一種基于深度圖像識(shí)別人體部位預(yù)定動(dòng)作的方法，可以包括:基于包括該人體部位區(qū)域的深度圖像序列，檢測(cè)人體部位候選區(qū)域的三維運(yùn)動(dòng)軌跡；以及根據(jù)人體部位候選區(qū)域的三維運(yùn)動(dòng)軌跡，識(shí)別人體部位的預(yù)定動(dòng)作。[0010]根據(jù)本發(fā)明的另一實(shí)施例，提供了一種基于深度圖像的手勢(shì)識(shí)別裝置，可以包括:三維運(yùn)動(dòng)軌跡檢測(cè)部件，用于基于包括手部區(qū)域的深度圖像序列，檢測(cè)手部候選區(qū)域的三維運(yùn)動(dòng)軌跡；以及手勢(shì)識(shí)別部件，用于根據(jù)手部候選區(qū)域的三維運(yùn)動(dòng)軌跡，識(shí)別預(yù)定手勢(shì)。
[0011]根據(jù)本發(fā)明實(shí)施例的基于深度圖像的手勢(shì)識(shí)別方法和裝置因?yàn)閷⑸疃扔蛏系倪\(yùn)動(dòng)軌跡納入手勢(shì)識(shí)別過程，因此充分利用了連續(xù)識(shí)別圖像中的運(yùn)動(dòng)信息；由于未使用膚色模型，而是采用連續(xù)圖像的時(shí)空域運(yùn)動(dòng)信息和連續(xù)的深度值變化信息進(jìn)行手勢(shì)識(shí)別，因此該手勢(shì)識(shí)別方法性能較魯棒，所受光照條件影響較小；由于基于運(yùn)動(dòng)軌跡進(jìn)行手勢(shì)識(shí)別，它能在相對(duì)較遠(yuǎn)的距離范圍內(nèi)使用。根據(jù)本發(fā)明實(shí)施例的手勢(shì)識(shí)別方法耗時(shí)短且魯棒性高。
[0012]根據(jù)本發(fā)明實(shí)施例的開啟人機(jī)交互系統(tǒng)的技術(shù)，提供了一種便利、可靠的系統(tǒng)啟動(dòng)控制方式，提示用戶是否已經(jīng)進(jìn)入系統(tǒng)控制狀態(tài)，防止用戶無意識(shí)動(dòng)作被錯(cuò)誤識(shí)別為可操作手勢(shì)，從而提供了一種更具用戶友好性的人機(jī)交互方式。
【專利附圖】

【附圖說明】
[0013]圖1示意性地示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的手勢(shì)識(shí)別技術(shù)用于人機(jī)交互的情景不意圖。
[0014]圖2示出了根據(jù)本發(fā)明第一實(shí)施例的手勢(shì)識(shí)別方法的總體流程圖。
[0015]圖3示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的無需識(shí)別用戶手部來檢測(cè)用戶手部候選區(qū)域的三維運(yùn)動(dòng)軌跡的示例性方法的流程圖。
[0016]圖4示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的基于三維運(yùn)動(dòng)軌跡識(shí)別抬手手勢(shì)的一個(gè)方法的總體流程圖。
[0017]圖5為根據(jù)本發(fā)明一個(gè)實(shí)施例的三維運(yùn)動(dòng)軌跡在不同維上的運(yùn)動(dòng)軌跡分解圖。
[0018]圖6(a)到6(c)示意性地示出了三維運(yùn)動(dòng)軌跡的形式和運(yùn)動(dòng)特征提取的示意圖。
[0019]圖7示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的基于可變大小的滑動(dòng)窗口從輸入的運(yùn)動(dòng)軌跡特征來識(shí)別手勢(shì)的方法的流程圖。
[0020]圖8示出根據(jù)本發(fā)明第二實(shí)施例的手勢(shì)識(shí)別方法的流程圖。
[0021]圖9示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的人體測(cè)量學(xué)模型驗(yàn)證預(yù)定手勢(shì)的方法的流程圖。
[0022]圖10(al)到(a3)、(bl)到(b3)以及(c)示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的、使用直方圖分析方法的頭部中心線定位、肩部水平方向定位、以及作為示例抬手手勢(shì)末端的手與頭部的相互位置關(guān)系的示意圖。
[0023]圖11示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種開啟人機(jī)交互系統(tǒng)的方法的流程圖。
[0024]圖12示出了根據(jù)本發(fā)明實(shí)施例的基于深度圖像的手勢(shì)識(shí)別裝置的功能配置框圖。
[0025]圖13是示出按照本發(fā)明實(shí)施例的手勢(shì)識(shí)別系統(tǒng)的總體硬件框圖。
【具體實(shí)施方式】
[0026]為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。
[0027]將按下列順序進(jìn)行描述:[0028]1、應(yīng)用場(chǎng)景示例
[0029]2、手勢(shì)識(shí)別方法的第一實(shí)施例
[0030]2.1手勢(shì)識(shí)別方法的總體流程
[0031]2.2、三維運(yùn)動(dòng)軌跡的獲取
[0032]2.3、基于三維運(yùn)動(dòng)軌跡識(shí)別抬手手勢(shì)
[0033]2.4、三維運(yùn)動(dòng)軌跡的運(yùn)動(dòng)特征提取
[0034]2.5、基于三維運(yùn)動(dòng)軌跡的運(yùn)動(dòng)特征識(shí)別預(yù)定手勢(shì)
[0035]2.6、利用窗口大小可變的滑動(dòng)窗口的手勢(shì)識(shí)別
[0036]3、手勢(shì)識(shí)別方法的第二實(shí)施例
[0037]3.1第二實(shí)施例的手勢(shì)識(shí)別方法的總體流程
[0038]3.2、根據(jù)人體測(cè)量學(xué)模型驗(yàn)證預(yù)定手勢(shì)
[0039]4、人機(jī)交互系統(tǒng)的開啟方法
[0040]5、基于深度圖像的手勢(shì)識(shí)別裝置
[0041]6、系統(tǒng)硬件配置
[0042]7、總結(jié)
[0043]1、應(yīng)用場(chǎng)景示例
[0044]圖1示意性地示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的手勢(shì)識(shí)別技術(shù)用于人機(jī)交互的情景的示意圖。如圖1所示，用戶站在諸如計(jì)算機(jī)的人機(jī)交互設(shè)備前，諸如雙目攝像機(jī)的立體攝像機(jī)，拍攝人的例如左右圖像序列或者直接得到深度圖像序列，并將其發(fā)給諸如個(gè)人計(jì)算機(jī)的手勢(shì)識(shí)別設(shè)備，個(gè)人計(jì)算機(jī)分析深度圖像序列而進(jìn)行手勢(shì)識(shí)別，并基于手勢(shì)識(shí)別的結(jié)果進(jìn)行響應(yīng)，例如如果識(shí)別到這是一個(gè)用于啟動(dòng)的抬手手勢(shì)，則得出這個(gè)有效的啟動(dòng)信號(hào)，并發(fā)出啟動(dòng)信號(hào)；反之如果識(shí)別到這并非用于啟動(dòng)的抬手手勢(shì)，則得出這是無效的啟動(dòng)信號(hào)，不發(fā)出啟動(dòng)信號(hào)。當(dāng)然，這只是一個(gè)示意性示例，用于識(shí)別手勢(shì)的設(shè)備不限于計(jì)算機(jī)，可以是例如游戲機(jī)，投影儀，電視機(jī)等等。
[0045]如本領(lǐng)域人員公知的，深度圖像(Depth image)是圖像中的像素點(diǎn)的值為深度的圖像。相比于灰度圖像，深度圖像具有物體的深度(距離)信息，因此特別適合于需要立體信息的各種應(yīng)用。
[0046]另外，如公知的，一個(gè)像素點(diǎn)的深度值和視差值之間具有簡(jiǎn)單的換算關(guān)系，因此本發(fā)明的深度圖像的含義是廣義的，包括視差圖像。
[0047]2、手勢(shì)識(shí)別方法的第一實(shí)施例
[0048]2.1手勢(shì)識(shí)別方法的總體流程
[0049]圖2示出了根據(jù)本發(fā)明第一實(shí)施例的手勢(shì)識(shí)別方法100的總體流程圖。
[0050]如圖2所示，在步驟110中，基于包括手部區(qū)域的深度圖像序列，檢測(cè)手部候選區(qū)域的三維運(yùn)動(dòng)軌跡。
[0051]該深度圖像序列可以是從諸如雙目相機(jī)的任何一種可以獲取深度圖像的相機(jī)傳遞的，或者可以是本地實(shí)時(shí)從灰度圖像計(jì)算得到的，或者是通過網(wǎng)絡(luò)從外部深入的等等。
[0052]這里的三維運(yùn)動(dòng)軌跡，是指與傳統(tǒng)的二維圖像的二維軌跡不同，具有深度(距離)信息的運(yùn)動(dòng)軌跡，也即軌跡上的每個(gè)運(yùn)動(dòng)軌跡點(diǎn)具有既平面(x，y)坐標(biāo)信息，也具有表征深度(距離)的Z坐標(biāo)信息。[0053]檢測(cè)手部候選區(qū)域的三維運(yùn)動(dòng)軌跡的方法可以粗略分為基于手部識(shí)別的方法和基于手部過濾的方法。
[0054]在基于手部識(shí)別的方法中，例如，從最初的深度圖像中，首先根據(jù)手部區(qū)域的特征，通過匹配處理等識(shí)別手部區(qū)域并確定手部區(qū)域的位置，然后利用運(yùn)動(dòng)跟蹤技術(shù)在后續(xù)的深度圖像中跟蹤手部，從而得到手部的三維運(yùn)動(dòng)軌跡。這里，為了從識(shí)別出手部，如果還存在對(duì)應(yīng)的灰度圖像，則也可以結(jié)合基于膚色模型的手部識(shí)別的技術(shù)。
[0055]在基于手部過濾的方法中，并不首先進(jìn)行手部區(qū)域識(shí)別，而是首先檢測(cè)深度圖像中的運(yùn)動(dòng)塊區(qū)域，然后例如基于手部的特種特征來從運(yùn)動(dòng)塊區(qū)域中選擇(或過濾)手部運(yùn)動(dòng)塊區(qū)域。這種方式可以無需識(shí)別手部，從而可以更快速的進(jìn)行手勢(shì)識(shí)別，特別適合實(shí)時(shí)的人機(jī)交互處理。后面將參考圖3來描述基于手部過濾的檢測(cè)手部候選區(qū)域的三維運(yùn)動(dòng)軌跡。
[0056]不過，上述手部候選區(qū)域的三維運(yùn)動(dòng)軌跡檢測(cè)方式僅為示例，本發(fā)明并不局限于此，任何能夠基于深度圖像序列，得到某對(duì)象的三維運(yùn)動(dòng)軌跡的技術(shù)均可以應(yīng)用于本發(fā)明。
[0057]在步驟120中，根據(jù)手部候選區(qū)域的三維運(yùn)動(dòng)軌跡，識(shí)別預(yù)定手勢(shì)。
[0058]一般而言，不同的手勢(shì)對(duì)應(yīng)于不同的三維運(yùn)動(dòng)軌跡，因此可以通過分析上述獲得的手部候選區(qū)域的三維運(yùn)動(dòng)軌跡，而進(jìn)行預(yù)定手勢(shì)的識(shí)別。
[0059]例如，對(duì)于抬手手勢(shì)，以人自身為參照物來說，其三維運(yùn)動(dòng)軌跡是個(gè)從下面開始向前凸到上面終止的拋物線；如果分解為深度域和與深度域垂直的二維平面域上的兩個(gè)運(yùn)動(dòng)軌跡，則在深度域上，相對(duì)于面前的攝像機(jī)而言，為距離從遠(yuǎn)到近再到遠(yuǎn)的拋物線，而在二維平面域上，為從下到上的直線運(yùn)動(dòng)。
[0060]再例如，作為與抬手手勢(shì)相對(duì)的放手手勢(shì)，以人自身為參照物來說，其三維運(yùn)動(dòng)軌跡是個(gè)從上面開始向前凸到下面終止的拋物線；如果分解為深度域和與深度域垂直的二維平面域上的兩個(gè)運(yùn)動(dòng)軌跡，則在深度域上，相對(duì)于面前的攝像機(jī)而言，為距離從遠(yuǎn)到近再到遠(yuǎn)的拋物線，而在二維平面域上，為從上到下的直線運(yùn)動(dòng)。順便說一下，關(guān)于抬手手勢(shì)和放手手勢(shì)之間的區(qū)別，還可根據(jù)按時(shí)間順序的位置點(diǎn)之間的關(guān)系所指示的運(yùn)動(dòng)方向、終點(diǎn)時(shí)刻的手部位置等來判斷。
[0061]再例如，對(duì)于畫圓手勢(shì)，其三維運(yùn)動(dòng)軌跡為近似圓形。對(duì)于擺手手勢(shì)，其運(yùn)動(dòng)軌跡為往復(fù)的鐘擺運(yùn)動(dòng)軌跡。
[0062]再例如，對(duì)于從手部自然下垂到向前推的手部運(yùn)動(dòng)，其三維軌跡可以視為半抬手加向前推的結(jié)合，其中向前推的動(dòng)作在深度域中為直線運(yùn)動(dòng)，而在平面域中近似不動(dòng)。
[0063]后續(xù)，將參考圖4、5、6，以抬手手勢(shì)為例，說明通過分析深度域上的運(yùn)動(dòng)軌跡和二維平面域上的運(yùn)動(dòng)軌跡兩者來識(shí)別抬手手勢(shì)的過程。
[0064]上面結(jié)合圖1說明了根據(jù)本發(fā)明實(shí)施例的基于深度圖像識(shí)別預(yù)定手勢(shì)的方法。不過，本發(fā)明并不局限于手勢(shì)識(shí)別，也可以應(yīng)用于其他人體部位的動(dòng)作識(shí)別，例如應(yīng)用于腳部的動(dòng)作識(shí)別，例如向前踢腳的腳步動(dòng)作識(shí)別。顯然，本發(fā)明也并不局限于應(yīng)用于人類，也可以應(yīng)用于其他能動(dòng)的物體，例如，動(dòng)物、機(jī)器人等。
[0065]2.2、三維運(yùn)動(dòng)軌跡的獲取
[0066]圖3示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的無需識(shí)別用戶手部來檢測(cè)用戶手部候選區(qū)域的三維運(yùn)動(dòng)軌跡的示例性方法110的流程圖。該示例性方法110可以應(yīng)用于圖2中所示的步驟SI 10。[0067]如圖3所示，在步驟Slll中，獲取深度圖像中的運(yùn)動(dòng)塊區(qū)域。
[0068]作為示例，運(yùn)動(dòng)塊區(qū)域的檢測(cè)和獲取可以通過常用的幀間差方法來實(shí)現(xiàn)。具體地，例如將當(dāng)前幀和前一幀相減，將有關(guān)區(qū)域的差值與預(yù)定的運(yùn)動(dòng)差分閾值相比，如果當(dāng)前的區(qū)域差值大于預(yù)定差分閾值，則將當(dāng)前區(qū)域檢測(cè)為運(yùn)動(dòng)區(qū)域塊。上面的區(qū)域可以例如通過連通域檢測(cè)得到。
[0069]作為替代示例，可以基于背景差來獲取運(yùn)動(dòng)塊區(qū)域，具體地，例如通過當(dāng)前圖像減去背景圖來進(jìn)行運(yùn)動(dòng)塊區(qū)域的獲取，關(guān)于背景圖的形成可以通過前面多幀圖像的累積和求均值得到。在步驟S112中，根據(jù)運(yùn)動(dòng)塊區(qū)域的位置、面積和形狀中的至少一個(gè)，從運(yùn)動(dòng)塊區(qū)域中選取手部候選區(qū)域。
[0070]例如，可以根據(jù)運(yùn)動(dòng)塊區(qū)域的位置、面積和形狀等和預(yù)先得知的人手的一般位置、面積和形狀的知識(shí)，來從運(yùn)動(dòng)塊區(qū)域中選取手部候選區(qū)域。具體地，如果該運(yùn)動(dòng)塊區(qū)域可能為手的運(yùn)動(dòng)區(qū)域，那么該區(qū)域面積大小應(yīng)該接近于人類平均手的面積大小。如果該運(yùn)動(dòng)塊區(qū)域面積過大或者過小，可剔除該區(qū)域。類似地，人類的手的形狀在長(zhǎng)寬比例上也存在一個(gè)固定比例，也可以根據(jù)運(yùn)動(dòng)塊區(qū)域是否滿足該比例關(guān)系來過濾運(yùn)動(dòng)塊區(qū)域。再例如，人手和人身體之間的距離一般在一定范圍之內(nèi)，如果運(yùn)動(dòng)塊區(qū)域不在此范圍之內(nèi)，也可以將運(yùn)動(dòng)塊區(qū)域剔除于手部候選運(yùn)動(dòng)區(qū)域之外。如果一個(gè)運(yùn)動(dòng)塊區(qū)域同時(shí)滿足位置、面積和形狀條件，則該運(yùn)動(dòng)塊為手區(qū)域。當(dāng)然，應(yīng)該至多選擇兩個(gè)運(yùn)動(dòng)塊區(qū)域作為手部候選運(yùn)動(dòng)區(qū)域，因此如果存在多于兩個(gè)運(yùn)動(dòng)塊區(qū)域滿足根據(jù)人手的位置、面積和形狀的過濾條件，則可以評(píng)估它們符合人手區(qū)域的置信度(或可能性)，從中選擇至多兩個(gè)運(yùn)動(dòng)塊區(qū)域來作為手部候選運(yùn)動(dòng)區(qū)域。下文中，為便于描述，以從所有運(yùn)動(dòng)塊中選出一個(gè)手部候選運(yùn)動(dòng)塊區(qū)域?yàn)槔右哉f明。
[0071]此外，上面基于人類手部的位置、面積和形狀的預(yù)先知識(shí)來從運(yùn)動(dòng)塊區(qū)域中選擇手部候選運(yùn)動(dòng)區(qū)域。不過這僅為示例，也可以根據(jù)各種其他因素、利用各種技術(shù)來選擇最可能為手部的運(yùn)動(dòng)塊區(qū)域，例如在存在灰度圖像的情況下，可以結(jié)合膚色模型來選擇手部的運(yùn)動(dòng)塊區(qū)域。
[0072]在步驟113中，計(jì)算并記錄手部候選區(qū)域的位置信息。作為示例，可以計(jì)算手部候選區(qū)域的質(zhì)心點(diǎn)位置信息，作為手部候選區(qū)域的位置信息。所謂手部候選區(qū)域的質(zhì)心點(diǎn)位置可以例如通過對(duì)手部候選區(qū)域內(nèi)的所有位置求平均得到。
[0073]在步驟114中，得到對(duì)應(yīng)于深度圖像序列的位置信息序列。
[0074]具體地，例如，可以在每次系統(tǒng)獲取到當(dāng)前手部運(yùn)動(dòng)塊的質(zhì)心點(diǎn)后，將該質(zhì)心點(diǎn)根據(jù)時(shí)間先后順序放入“運(yùn)動(dòng)點(diǎn)位置信息序列”存儲(chǔ)器中，“運(yùn)動(dòng)點(diǎn)位置信息序列”就形成了三維(3D)運(yùn)動(dòng)軌跡。此外，當(dāng)運(yùn)動(dòng)點(diǎn)序列長(zhǎng)度大于設(shè)定的運(yùn)動(dòng)序列長(zhǎng)度時(shí)，可以通過刪除老的運(yùn)動(dòng)點(diǎn)，放入新的運(yùn)動(dòng)點(diǎn)，進(jìn)行運(yùn)動(dòng)軌跡點(diǎn)更新。
[0075]在一個(gè)示例中，在運(yùn)動(dòng)點(diǎn)位置信息序列中，可以與位置信息相關(guān)聯(lián)地存儲(chǔ)對(duì)應(yīng)的時(shí)間信息。
[0076]在一個(gè)示例中，如果運(yùn)動(dòng)點(diǎn)序列長(zhǎng)度還未達(dá)到設(shè)定序列長(zhǎng)度時(shí)，系統(tǒng)可以不啟動(dòng)后續(xù)的3D運(yùn)動(dòng)軌跡分析。
[0077]2.3、基于三維運(yùn)動(dòng)軌跡識(shí)別抬手手勢(shì)
[0078]圖4示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的基于三維運(yùn)動(dòng)軌跡識(shí)別抬手手勢(shì)的一個(gè)方法120的總體流程圖。該方法120可以應(yīng)用于圖2中所示的步驟S120。
[0079]如圖4所示，在步驟S121中，對(duì)所獲得的三維運(yùn)動(dòng)軌跡進(jìn)行運(yùn)動(dòng)特征提取。下面將參考圖5和圖6對(duì)此給出示例性具體描述。
[0080]在步驟S122中，基于所獲取的三維運(yùn)動(dòng)軌跡的運(yùn)動(dòng)特征，進(jìn)行手勢(shì)識(shí)別。
[0081]例如，可以通過將所獲得的三維運(yùn)動(dòng)軌跡的運(yùn)動(dòng)特征與預(yù)定手勢(shì)對(duì)應(yīng)的運(yùn)動(dòng)模型相比較，來識(shí)別該三維運(yùn)動(dòng)軌跡是否表征預(yù)定手勢(shì)。下面將參考圖7對(duì)此給出示例性具體描述。
[0082]不過，圖4所示的基于三維運(yùn)動(dòng)軌跡來識(shí)別預(yù)定手勢(shì)的方法僅為示例。例如，在某些情況下，可以不進(jìn)行運(yùn)動(dòng)特征提取，而僅通過數(shù)值分析來分析該三維運(yùn)動(dòng)軌跡是否滿足具體的數(shù)學(xué)形式例如拋物線形式來進(jìn)行手勢(shì)識(shí)別。
[0083]2.4、三維運(yùn)動(dòng)軌跡的運(yùn)動(dòng)特征提取
[0084]三維運(yùn)動(dòng)軌跡可以通過以對(duì)應(yīng)于各幀深度圖像的各個(gè)軌跡點(diǎn)的自己的運(yùn)動(dòng)特征和整體三維運(yùn)動(dòng)軌跡的特征來刻畫，
[0085]圖5為根據(jù)本發(fā)明一個(gè)實(shí)施例的三維運(yùn)動(dòng)軌跡在不同維上的運(yùn)動(dòng)軌跡分解圖。
[0086]如圖5所示，示例性地，每個(gè)軌跡點(diǎn)的自己的運(yùn)動(dòng)特征121可以包括:二維時(shí)空域特征1211、軌跡點(diǎn)的深度 域運(yùn)動(dòng)特征1222，每個(gè)軌跡點(diǎn)的二維時(shí)空域特征和深度域運(yùn)動(dòng)特征均和該軌跡點(diǎn)的時(shí)間點(diǎn)相關(guān)聯(lián)。二維時(shí)空域特征可以包括軌跡點(diǎn)的位置、速度、角度。軌跡點(diǎn)的深度域運(yùn)動(dòng)特征可以包括軌跡點(diǎn)的深度值。
[0087]下面參考圖6 (a)到6 (c)來示意性地描述三維運(yùn)動(dòng)軌跡的形式和運(yùn)動(dòng)特征提取。
[0088]圖6(a)示出了世界坐標(biāo)系，其中Z軸為深度傳感器方向或者說深度方向。圖6 (b)為從X-Y平面觀察到的2D時(shí)空域運(yùn)動(dòng)軌跡，對(duì)應(yīng)于圖6(a)中由標(biāo)記601指出的部分。圖6 (c)為Z軸上觀察到的ID深度值運(yùn)動(dòng)軌跡，對(duì)應(yīng)于圖6 (a)中由標(biāo)記602指出的部分。圖中的深度值z(mì)表示從深度傳感器到運(yùn)動(dòng)塊之間的水平距離。
[0089]下面首先描述X-Y平面中的2D運(yùn)動(dòng)軌跡的特征提取。
[0090]從正視圖(X-Y平面)中觀察到的抬手2D運(yùn)動(dòng)軌跡近似于圖6 (b)中的直線運(yùn)動(dòng)。在時(shí)間范圍[ts, te],手部質(zhì)心點(diǎn)P從開始點(diǎn)Ps運(yùn)動(dòng)到終止點(diǎn)Ρε, tm為時(shí)間范圍[ts, te]之間的中間時(shí)刻點(diǎn)。由于不同的用戶抬手習(xí)慣不一樣，因此運(yùn)動(dòng)軌跡開始點(diǎn)可能不同，運(yùn)動(dòng)軌跡終止點(diǎn)也可能不同，可能的多條運(yùn)動(dòng)軌跡例如如圖6(b)所示。
[0091]根據(jù)本發(fā)明的一個(gè)實(shí)施例，X-Y平面中的直線運(yùn)動(dòng)特征包括:各個(gè)軌跡點(diǎn)的位置、運(yùn)動(dòng)速度和運(yùn)動(dòng)方向，以及整體軌跡而言的運(yùn)動(dòng)范圍。
[0092]每個(gè)軌跡點(diǎn)Pi在X-Y平面中的位置可以用2D坐標(biāo)(Xi，Yi)來表示。
[0093]運(yùn)動(dòng)速度speed可以由下面的公式(I)計(jì)算得到(公式I是否應(yīng)是計(jì)算Y方向的速度)。
[0094]sPeed1 = , ' = 1，2，…./i，r0 = tjn =te
l1- ,η(I)
[0095]其中，Clis(PilPi^1)為當(dāng)前運(yùn)動(dòng)塊質(zhì)心點(diǎn)PjP上一幀質(zhì)心點(diǎn)Ph之間的空間距離，例如歐式距離，\表示當(dāng)前幀的時(shí)刻，表示上一幀的時(shí)刻，假設(shè)要分析的連續(xù)軌跡點(diǎn)的數(shù)目(等于窗口大小，或者說要分析的幀數(shù))為η，η為大于等于2的整數(shù)，可以根據(jù)需要選取，例如取15，20等。[0096]運(yùn)動(dòng)方向可以用運(yùn)動(dòng)角度Θ來表示，而運(yùn)動(dòng)角度Θ的正切tan Θ可以用下式(2)表不。
[0097]
【權(quán)利要求】
1.一種基于深度圖像的手勢(shì)識(shí)別方法，包括: 基于包括手部區(qū)域的深度圖像序列，檢測(cè)手部候選區(qū)域的三維運(yùn)動(dòng)軌跡；以及 根據(jù)手部候選區(qū)域的三維運(yùn)動(dòng)軌跡，識(shí)別預(yù)定手勢(shì)。
2.根據(jù)權(quán)利要求1的手勢(shì)識(shí)別方法，還包括: 如果根據(jù)手部候選區(qū)域的三維運(yùn)動(dòng)軌跡識(shí)別出預(yù)定手勢(shì)，則確定手部候選區(qū)域與人體其他部位之間的位置關(guān)系是否符合做出預(yù)定手勢(shì)情況下的人體測(cè)量學(xué)模型，以驗(yàn)證該預(yù)定手勢(shì)。
3.根據(jù)權(quán)利要求1的手勢(shì)識(shí)別方法，其中，如果手部候選區(qū)域的三維運(yùn)動(dòng)軌跡在深度方向上符合拋物線運(yùn)動(dòng)模型，以及在垂直于深度方向的平面上的二維運(yùn)動(dòng)軌跡符合直線運(yùn)動(dòng)模型，則識(shí)別出向上抬手手勢(shì)或向下放手手勢(shì)。
4.根據(jù)權(quán)利要求1的手勢(shì)識(shí)別方法，基于深度圖像序列，檢測(cè)手部候選區(qū)域的三維運(yùn)動(dòng)軌跡包括: 獲取深度圖像中的運(yùn)動(dòng)塊區(qū)域； 從運(yùn)動(dòng)塊區(qū)域中選取手部候選區(qū)域；計(jì)算并記錄手部候選區(qū)域的位置信息；以及 得到對(duì)應(yīng)于深度圖像序列的位置信息序列。
5.根據(jù)權(quán)利要求4 的手勢(shì)識(shí)別方法，其中三維運(yùn)動(dòng)軌跡包括對(duì)應(yīng)于各幀深度圖像的各個(gè)軌跡點(diǎn)的自己的運(yùn)動(dòng)特征， 每個(gè)軌跡點(diǎn)的自己的運(yùn)動(dòng)特征包括:包括軌跡點(diǎn)的位置、速度、角度的二維時(shí)空域特征、包括軌跡點(diǎn)的深度值的深度域運(yùn)動(dòng)特征，每個(gè)軌跡點(diǎn)的二維時(shí)空域特征和深度域運(yùn)動(dòng)特征均和該軌跡點(diǎn)的時(shí)間點(diǎn)相關(guān)聯(lián)。
6.根據(jù)權(quán)利要求5的手勢(shì)識(shí)別方法，其中，采用窗口大小可變的滑動(dòng)窗口來決定基于哪些以及多少深度圖像來進(jìn)行三維運(yùn)動(dòng)軌跡檢測(cè)和分析，窗口的大小表示以連續(xù)多少幀的深度圖像作為手勢(shì)識(shí)別的輸入； 如果基于預(yù)定大小的滑動(dòng)窗口內(nèi)的深度圖像序列的三維運(yùn)動(dòng)軌跡不能同時(shí)匹配與預(yù)定手勢(shì)對(duì)應(yīng)的深度域上的運(yùn)動(dòng)模型和與深度域垂直的平面上的二維運(yùn)動(dòng)軌跡模型，則增大該滑動(dòng)窗口的大小以便將更多的深度圖像幀作為手勢(shì)識(shí)別的輸入，并繼續(xù)進(jìn)行該增大后的滑動(dòng)窗口的大小對(duì)應(yīng)的三維運(yùn)動(dòng)軌跡與該預(yù)定手勢(shì)對(duì)應(yīng)的運(yùn)動(dòng)軌跡模型的匹配。
7.根據(jù)權(quán)利要求2的手勢(shì)識(shí)別方法，其中確定手部候選區(qū)域與人體其他部位之間的位置關(guān)系是否符合做出預(yù)定手勢(shì)情況下的人體測(cè)量學(xué)模型包括: 對(duì)深度圖像進(jìn)行前景分割，以得到人體區(qū)域； 從人體區(qū)域中檢測(cè)頭部區(qū)域，計(jì)算頭部區(qū)域的位置； 基于頭部位置和手部位置之間的垂直距離是否落入第一預(yù)定范圍，以及頭部位置和手部位置之間的空間距離是否落入第二預(yù)定范圍，驗(yàn)證手勢(shì)是否為預(yù)定手勢(shì)。
8.一種開啟人機(jī)交互系統(tǒng)的方法，包括: 獲得包括手部區(qū)域的深度圖像序列； 基于包括手部區(qū)域的深度圖像序列，檢測(cè)手部候選區(qū)域的三維運(yùn)動(dòng)軌跡； 根據(jù)手部候選區(qū)域的三維運(yùn)動(dòng)軌跡，識(shí)別抬手手勢(shì)；以及 如果識(shí)別到抬手手勢(shì)，則開啟人機(jī)交互系統(tǒng)，進(jìn)入人機(jī)交互狀態(tài)中。
9.一種基于深度圖像的手勢(shì)識(shí)別裝置，包括:三維運(yùn)動(dòng)軌跡檢測(cè)部件，用于基于包括手部區(qū)域的深度圖像序列，檢測(cè)手部候選區(qū)域的三維運(yùn)動(dòng)軌跡；以及 手勢(shì)識(shí)別部件，用于根據(jù)手部候選區(qū)域的三維運(yùn)動(dòng)軌跡，識(shí)別預(yù)定手勢(shì)。
10.一種基于深度圖像識(shí)別人體部位預(yù)定動(dòng)作的方法，包括: 基于包括該人體部位區(qū)域的深度圖像序列，檢測(cè)人體部位候選區(qū)域的三維運(yùn)動(dòng)軌跡；以及 根據(jù)人體部位候選區(qū)域的三維運(yùn)動(dòng)軌跡，識(shí)別人體部位的預(yù)定動(dòng)作。
【文檔編號(hào)】G06K9/00GK103839040SQ201210490622
【公開日】2014年6月4日 申請(qǐng)日期:2012年11月27日 優(yōu)先權(quán)日:2012年11月27日
【發(fā)明者】梁玲燕, 趙穎 申請(qǐng)人:株式會(huì)社理光